画像処理装置、および画像位置合せ方法
【課題】異なる画像撮像装置にて得られた第一の画像と第二の画像の位置合せにおいて、同一部位の画素値、形状、撮像視野が異なる場合にも高速かつ高精度で位置合わせを実現する。
【解決手段】第一の画像と第二の画像の位置合わせするために、どちらか一方の画像（例えば第二の画像）を分割領域に分割し（ステップ２０４）、分割領域に所定の物性値を設定し（ステップ２０５）、もう一方の画像（例えば第二の画像）と類似した画素値、形状、撮像視野を持つ画像（疑似画像と呼ぶ）を作成し（ステップ２０７）、特徴が同一の疑似画像と第二の画像を位置合わせする（ステップ２０９）ことで、第一の画像と第二の画像を位置合わせする。
【解決手段】第一の画像と第二の画像の位置合わせするために、どちらか一方の画像（例えば第二の画像）を分割領域に分割し（ステップ２０４）、分割領域に所定の物性値を設定し（ステップ２０５）、もう一方の画像（例えば第二の画像）と類似した画素値、形状、撮像視野を持つ画像（疑似画像と呼ぶ）を作成し（ステップ２０７）、特徴が同一の疑似画像と第二の画像を位置合わせする（ステップ２０９）ことで、第一の画像と第二の画像を位置合わせする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に係り、特に複数の画像診断装置により得られた画像同士を位置合せする画像位置合せ技術に関する。
【背景技術】
【０００２】
近年、医用画像診断は非侵襲的に体内の情報を得ることができるため、広く行われている。Ｘ線コンピュータ断層撮影（Computer Tomography：ＣＴ）装置や核磁気共鳴撮影（Magnetic Resonance Imaging：ＭＲＩ）装置、陽電子放射断層撮影（Positron Emission Tomography：ＰＥＴ）装置や単一光子放射断層撮影（Single Photon Emission Computed Tomography：ＳＰＥＣＴ）装置など、様々な種類の画像診断装置による三次元画像が診断や経過観察に活用されている。Ｘ線ＣＴ装置は一般に歪みが少なく、空間分解能の高い画像を得ることができるが、軟部組織の組織学的変化があまり反映されない。一方、ＭＲＩ装置は軟部組織を高いコントラストで描出できる。また、ＰＥＴ装置やＳＰＥＣＴ装置は代謝レベルなどの生理的な情報を画像化することができるため機能画像と呼ばれるが、Ｘ線ＣＴ装置やＭＲＩ装置などと比較して臓器形態を明瞭に描出できない。さらに超音波（Ultrasound：ＵＳ）装置は小型で移動性能が高く、リアルタイム撮像が可能であり、特に軟組織の形態、動きを描画できる。しかしプローブの形状により撮像領域が限定され、またＣＴ画像、ＭＲＩ画像と言った形態が明瞭な画像と比較すると画像内のノイズが多いため軟組織の形態も明瞭ではない。このように、各種の画像診断装置は夫々が長所と短所を併せ持つ。
【０００３】
従って、複数装置により得られた画像（以下、マルチモダリティ画像と呼ぶ）を位置合せすることは、夫々の短所を補い合うと共に、夫々の長所を活用することができるため、診断、治療計画、さらには治療時の対象部位把握に有用である。例えば、Ｘ線ＣＴ画像とＰＥＴ画像を位置合せすることによって、腫瘍の位置がどの臓器のどの部分であるかを正確に判定することが可能になる。またＣＴ画像から得られる患者体輪郭情報とＵＳ画像から得られる軟組織の位置情報から臓器や腫瘍といった治療対象部位を正確に把握可能になる。
【０００４】
マルチモダリティ画像を診断や治療に有効に活用するためには、画像が正確に、かつ容易に位置合せされる必要がある。しかし、複数装置にて得られた画像は、同一の被検体を撮像してもその生成機序が異なるため、同一部位が同一の画素値、分布を持つわけではない。また、ＣＴ画像やＭＲＩ画像のような被検体の体輪郭や臓器の形態が明瞭に描画されている画像とＵＳ画像やＰＥＴ画像のように形態が不明瞭な場合がある。さらにＵＳ画像のように被検体の体輪郭や臓器が画像視野内に描出されていない場合には、対応する部位が明瞭でないため、位置合せが困難である。
【０００５】
最近では、ＵＳ装置のリアルタイム撮像の特長を活かして、現在の被検体の状況をモニタし得られるＵＳ画像と、事前に撮像したＣＴ画像とを比較しながら位置合せし、術中に治療対象の位置や大きさをモニタリングしている。たとえばラジオ波焼灼療法（Radio Frequency Ablation：ＲＦＡ）では、モニタ中のＵＳ画像と事前撮像したＣＴ画像とを比較しながら治療を行っている。このようにマルチモダリティ画像位置合せの中でも、特にリアルタイムに取得される画像と事前に撮像された鮮明な形態画像を、術中に容易で高速かつ高精度に位置合せする手法のニーズが高まっている。
【０００６】
従来のマルチモダリティ画像位置合せに用いられている手法として、(a)手動法：位置合わせ対象画像を操作者が手動で移動させる、(b)ポイント・サーフェス画像重ね合わせ法：位置合わせする画像内の特徴形状（点、線、曲面）を手動もしくは半自動で設定し互いの画像で対応する特徴形状合わせる、(c)ボクセル画像重ね合わせ法：画像がもつ画素値の類似度を計算し位置合せする、が知られている（非特許文献１）。
【０００７】
また、ＣＴ画像と超音波画像の位置合せにおいて、ＣＴ画像から超音波画像の類似画像を作成し、位置合せに用いる方法が提案されている（非特許文献２）。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】渡部浩司、「マルチモダリティの画像位置合わせと重ね合わせ」日本放射線技術学会雑誌 第５９巻 第１号 ２００３年
【非特許文献２】Wolfgang Wein, 他,「Automatic CT-ultrasound registration for diagnostic imaging and image-guided intervention」, Medical Image Analysis , 12, 577-585, 2008
【非特許文献３】Frederik Maes, 他，「Multimodality image registration by maximization of mutual information」，IEEE Trans. Med. Image., Vol.16, No.2, 1997.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
マルチモダリティ画像の位置合せに用いられている手法は、非特許文献１に記載されているが、(a)手動法は、手間と時間がかかる上に、位置合せの精度が操作者の主観に影響されるという問題点を有する。(b)ポイント・サーフェス画像重ね合わせ法は、対応する形状が決まれば自働に位置合せ可能であるが、対応ポイントやサーフェスを自動で抽出するには手動で行う必要があり、(a)と同様の問題点を有する。(c)ボクセル画像重ね合わせ法は、(a)、(b)に対し自動化は比較的容易であり、位置合せする画像内に被検体の体輪郭がボクセルの画素値が異なるにせよ、その形状全体が描出されている必要があり、例えばＵＳ画像のように被検体の体輪郭や臓器の一部しか描出されていない画像と全体が描出されているＣＴ、ＭＲＩ画像を位置合せすることは困難である。
【００１０】
また、マルチモダリティ画像の中でもＣＴ画像と超音波画像の位置合せに関して、非特許文献２に記載の手法があるが、ＣＴ画像上に描画されていない軟組織等は、ＣＴ画像から作成される類似画像上にも描画されず、位置合せ対象が軟組織である場合には、十分な位置合せが出来ない。
【００１１】
このマルチモダリティ画像同士の位置合せを自動に高速かつ高精度に行うことが困難な主要因は、位置合わせする互いの画像の画素値、描画形状、撮像視野が異なってしまっていることである。そのため従来は、操作者が医学的な知識や撮像装置や得られる画像の特徴を理解した上で、画像同士の対応する箇所を判断しながら位置合わせしてきた。
【００１２】
本発明の目的は、マルチモダリティ画像の位置合せにおいて、撮像装置が異なることに起因して、同一被検体の同一部位を撮像しても同一の画素値、同一の形状、同一の撮像視野として描画されていない画像の位置合わせを自動に高速かつ高精度に行うことが可能な処理装置、および画像位置合せ方法を提供することにある。
【課題を解決するための手段】
【００１３】
上記の目的を達成するため、本発明においては、複数の画像の位置合せを行う画像処理装置であって、異なる画像撮像装置で撮像した第一の画像と第二の画像を表示可能な表示部と、第二の画像に対する処理を指示入力する入力部と、第二の画像に対して処理を行う処理部を備え、処理部は、第二の画像を所定の領域に分割し、この分割領域各々に対して所定の物性値を設定することにより、第一の画像の画像特徴量を演算して疑似画像を生成し、生成した疑似画像を用いて第一の画像と第二の画像の位置合せを行う画像処理装置、および画像位置合せ方法を提供する。
【００１４】
また、処理部は、第二の画像から画像特徴量を演算する際、更に分割領域にない追加領域を画像に付加し、この追加領域に対しても物性値を設定した後、画像特徴量を演算する画像処理装置、および画像位置合せ方法を提供する。
【００１５】
さらに、処理部は、第二の画像に基づき画像特徴量を演算する際、分割領域に対応する理論物性値と分割領域の画素値の領域平均を用いる画像処理装置、および画像位置合せ方法を提供する。
【００１６】
すなわち、上記の目的を達成するため、本発明においては、第一の画像と第二の画像の位置合わせするために、どちらか一方の画像（例えば第二の画像）から、もう一方の画像（例えば第一の画像）と類似した画素値、形状、撮像視野を持つ画像（以下、疑似画像と呼ぶ）を作成し、第一の画像と画像の特徴量が同じである疑似画像とを位置合わせすることにより、第一の画像と第二の画像の位置合わせを行う。この疑似画像を作成する際、第二の画像を所定の分割領域に分割する。
【００１７】
また、疑似画像を作成する過程で、どちらか一方の画像（例えば第二の画像）分布から、もう一方（例えば第一の画像）の画像撮像装置の生成機序に関連した、被検体の物理特性（物性値）分布を計算する。
【００１８】
更に、物理特性（物性値）分布を計算した元画像に、物理特性分布が異なる領域（分割領域）が明瞭に描画されていない場合には、物理特性領域の位置および形状（付加領域）を付加する。
【００１９】
またさらに、この物理特性分布から、画像が持つ画素値および描画されている形状、撮像視野の特徴と類似した特徴量を持つ画像（疑似画像）を高速に計算する。
【発明の効果】
【００２０】
本発明により、異なる装置にて撮像された第一の画像と第二の画像の位置合せにおいて、一方の画像から、もう一方に類似した画像を高速に作成することで、撮像対象である被検体の同一部位の画素値、形状、撮像視野を容易に比較できるようになるため、自動で高速かつ高精度な画像位置合せが可能となる。
【００２１】
また、類似した画像を作成する過程で、元画像に位置合せの対象となる領域を指定、付加することで、より高精度な画像位置合せが可能となる。
【図面の簡単な説明】
【００２２】
【図１】第１の実施例に係る医用画像位置合せシステムの全体構成を示す図である。
【図２】第１の実施例に係る、画像位置合わせ処理フローを示す図である。
【図３Ａ】第１の実施例に係る、画像領域分割処理を示す図である。
【図３Ｂ】第１の実施例に係る、画像領域分割処理で設定する物性値パラメータを示す図である。
【図４Ａ】第１の実施例に係る、画素値追跡処理（その１）を説明する図である。
【図４Ｂ】第１の実施例に係る、画素値追跡処理（その２）を説明する図である。
【図４Ｃ】第１の実施例に係る、画素値追跡処理（ｓの３）を説明する図である。
【図５】第１の実施例に係る、画素値と畳込み演算する関数の図である。
【図６】第１の実施例に係る、作成される疑似画像の一例を説明する図である。
【図７】第１の実施例に係る、画像位置合せ結果をモニタ上に配置方法を示す図である。
【図８Ａ】第１の実施例に係る、画像上で描画されていない領域指定を示す図である。
【図８Ｂ】第１の実施例に係る、画像上で描画されていない領域指定を設定する物性値パラメータを示す図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照して本発明を実施するための形態を詳細に説明する。なお、本明細書においては、画像Ａと画像Ｂのデータを、それぞれ画像Ａデータと画像Ｂデータ、第一の画像データと第二の画像データ、或いは画像データＡと画像データＢと称する場合がある。
【実施例１】
【００２４】
第１の実施例に係る画像位置合せシステムの全体構成を図１に示す。まずシステムを構成する各装置について説明する。画像診断装置として機能する画像撮像装置１０１はその本体、撮像された画像や撮像に必要とされるパラメータを表示する表示部としてのモニタ１０２、画像撮像装置１０１に対しモニタ１０２上に表示されたユーザーインターフェースを通して指示を与えるための入力手段１０３から構成される。入力手段１０３は、一般的にはキーボードやマウス等である。また、モニタ１０２上のユーザーインターフェースとしてはグラフィカルユーザーインタフェース（ＧＵＩ）が良く用いられる。
【００２５】
さらに、画像撮像装置１０１本体は、図示のとおり、その内部に通信をするための通信装置１０４、撮像データから画像を作成するための画像作成処理装置１０５、処理結果や画像等のデータまた画像作成プログラムを保存するための記憶装置１０６、画像撮像装置１０１本体および画像作成処理装置１０５を制御するための制御装置１０７、画像作成演算する際に記憶装置１０６に保存してある画像作成プログラム及び処理に必要なデータを一時的に保管するための主記憶装置１０８を備える。この構成は、通常の通信インタフェースと、処理部である中央処理部（Central Processing Unit：ＣＰＵ）と記憶部であるメモリを備えたコンピュータで構成できることは言うまでもない。すなわち、画像作成処理装置１０５と制御装置１０７はＣＰＵの処理に対応する。
【００２６】
画像データサーバ１１０は、ネットワーク１０９に接続し他の装置とデータの交換をするための通信装置１１１、データを保存するための記憶装置１１２、画像データサーバ１１０の各内部装置を制御しデータに対し例えばデータ容量の圧縮等の演算を実施するデータ演算処理装置１１３、及びデータ演算処理装置１１３が使用する処理プログラムや処理対象データを一時的に格納するための主記憶装置１１４から構成される。このサーバ１１０もデータ演算処理装置１１３が上述した処理部であるＣＰＵに対応し、通常のコンピュータで構成されることは言うまでもない。
【００２７】
また、画像撮像装置１０１は通信装置１０４とネットワーク１０９を介して画像データサーバ１１０へ撮像画像を送信し、画像データサーバ１１０内の記憶装置１１２に画像データを保存することが可能である。
【００２８】
画像処理装置１１５は、その本体１１８と演算結果の表示及びユーザーインターフェースを表示するためのモニタ１１６とモニタ１１６上に表示されるユーザーインターフェースを通じ画像位置合せ本体装置１１８への指示を入力するための入力部としての入力手段１１７から構成される。入力手段１１７としては、キーボードやマウス等が用いられる。
【００２９】
さらに、画像処理装置本体１１８は、入力データ及び演算結果を送信するための通信装置１１９、画像位置合せ演算処理装置１２０、データ及び画像位置合せ演算プログラムを保存するための記憶装置１２５、演算プログラムや入力データ等を画像位置合せ演算処理装置１２０にて使用するために一時的に格納するための主記憶装置１２６より構成される。画像位置合せ演算装置１２０は、画像位置合せ演算を実行するための領域分割演算処理装置１２１、物性値適用演算処理装置１２２、物性値分布からの画素値算出演算処理装置１２３、移動量算出演算処理装置１２４からなる。画像位置合せ演算処理装置１２０による画像位置合せ演算処理の詳細に関しては後述するが、この画像処理装置１１５も、その本体１１８の画像位置合せ演算処理装置１２０が上述した処理部であるＣＰＵに対応しており、通常のコンピュータで構成されることは言うまでもない。
【００３０】
また、画像処理装置１１５は、通信装置１１９とネットワーク１０９を介して画像撮像装置１０１もしくは画像データサーバ１１０から位置合わせ対象となる画像を取得することが可能である。
【００３１】
図２を用いて、第１の実施例の画像位置合せシステムにおける画像位置合せの流れについて説明する。位置合せ対照の画像データは、本実施例では、画像撮像装置１０１として超音波診断装置、撮像された画像Ａを超音波画像とし、画像データサーバ１１０に蓄積された画像ＢをＣＴ画像とし、これら２つの画像を画像処理装置１１５にて位置合せする場合を例に説明する。なお、本明細書において、画像Ａ、画像Ｂをそれぞれ第一の画像、第二の画像と呼ぶ。
【００３２】
まず画像撮像装置１０１を用いて被検体の対象臓器や疾患部位を撮像し、画像作成処理装置１０５にて作成された超音波画像Ａは記憶装置１０６に保存される。また画像撮像装置１０１にて撮像された領域を含んだ撮像領域のＣＴ画像Ｂが画像データサーバに保存されている。画像処理装置１１５は、ネットワーク１０９を介して画像撮像装置１０１から超音波画像Ａを、画像データサーバ１１０からＣＴ画像Ｂを読み込み（ステップ２０１とステップ２０２）、記憶装置１２５および主記憶装置１２６に格納する（ステップ２０３）。
【００３３】
画像撮像装置１０１の記憶装置１０６に保存されている第一の画像である画像Ａおよび画像データサーバ１１０の記憶装置１１２に保存されている第二の画像である画像Ｂは画像撮像装置１０１の分野にて一般的に使用されている標準規格ダイコム（Digital Imaging and Communication in Medicine：ＤＩＣＯＭ）フォーマットであるとする。
【００３４】
本実施例では、画像Ａと画像Ｂを位置合せするために、まず第二の画像である画像Ｂを主要臓器毎に領域分割する（ステップ２０４）。画像Ｂの領域分割方法について図３Ａ、３Ｂを用いて説明する。
【００３５】
図３Ａ、３Ｂに示したように、第二の画像である画像Ｂ３０１を、例えば撮像部位が腹部であれば空気、軟組織、臓器、血管、骨の５つ、あるいは６つの領域に領域分割する。図３Ａでは、領域１〜領域６に領域分割した画像３０２を示しており、各分割領域１〜６は図３Ｂに示すように、空気、脂肪、水・筋肉、肝臓、腎臓・血管、骨の部位内容に対応している。
【００３６】
この領域分割は、画素値を元にその上限と下限の閾値をあらかじめ設定しておき、その値を用いて領域を分割する方法が最も一般的である。しかし、撮像条件、撮像装置の違いや被検体が異なるような場合、同一部位の画素値にはばらつきがあるため、常に同一の上限と下限が適用できるとは限らない。領域分割が巧く行かない場合には、疑似画像上に現れる臓器の形状にも影響し、さらには位置合せ精度が低下してしまうため、正しく領域分割することが求められる。
【００３７】
画素値の分布に応じて、画素値の上限と下限の閾値を算出する手法としてクラスタリング法がある。クラスタリング法では、指定した分割数に応じて、その領域の中央値とその周辺に分布する値とのばらつきが最小となる様に中央値をもとめる手法で、被検体による画素値のばらつきに応じて上限と下限の閾値を求めることができる。本実施例では、撮像条件や、被検体が異なる場合にも高精度な領域分割を実現するための一手法として、クラスタリング法を用いる。
【００３８】
なお、領域の分割数は操作者により任意に設定可能である。例えば、撮像部位によって画像上に描画されている臓器の個数は異なるため、より多くの領域に分割したり、分割数を制限したりすることもできる。画像Ｂを少なくとも２つ以上の領域に分割していれば、位置合せに用いることが可能である。
【００３９】
次に、分割した各領域に対して、画像Ａの生成機序に基づいて同様な特徴を計算するための物性値パラメータを設定する（ステップ２０５）。超音波の人体各部位における理論的な物性値（理論物性値）は既に知られているため、図３Ｂに示すように、その物性値を分割領域に設定することが可能である。しかし、分割した領域に物性値をそのまま設定すると、画像Ｂが持っていた画素値の細かい変化がなくなり、領域内がすべて均一な画素値になってしまう。
【００４０】
そこで、本実施例では、分割領域内の画素値分布を活かすため、図３Ｂに示した各領域の画素値の領域平均値（Ａｖｇ１〜４）３０４と理論物性値（Ｖａｌｕｅ１〜４）３０５を用いて以下の式にて元画素値ｆ（ｘ、ｙ）から設定する物性値ｆnew（ｘ、ｙ）を計算して画像特徴量を算出する。なお、図３Ｂに示した例においては、領域２と領域３、および領域４と領域５をそれぞれ一つの領域として領域平均（Ａｖｇ）、理論物性値（Ｖａｌｕｅ）を設定している。
【００４１】
【数１】
【００４２】
ここで、ｗは元の画素値分布をどの程度考慮するかを制御可能なパラメータである。これにより画像Ｂ自身が持つ画素値分布を考慮した物性値の設定が可能になり、画像Ａと同様の特性を持つ画像３０３を得ることが可能となる。ここで、上述の領域分割および物性値設定が十分かどうかを操作者が判断することにより（ステップ２０６）、十分でない場合にはステップ２０５に戻り領域分割および物性値設定、画像特徴量算出を繰り返し行うことが可能である。このようにして計算した物性値ｆnew（ｘ、ｙ）の分布画像に対し、直線上の画素を追跡し、畳み込み演算を用いて画像Ａと類似した画素値分布（疑似画像）を計算する（ステップ２０７）。
【００４３】
続いて、図４Ａ〜４Ｃを用いて、本実施例における画素値の追跡方法の一例としてレイトレース法を説明する。物性値分布画像に対して仮想直線を考慮し、直線が画像と交差する画素に着目する。図４Ａのように直線が画像左方向から垂直に交差する場合には、２Ｎ＋１個（図４Ａでは９個）の画素（灰色）を抽出することができる。また図４Ｂのように直線が画像左方向から斜めに交わる場合にも、通過する画素に注目すると垂直に交差する場合と同様に２Ｎ＋１個の画素を抽出可能である。抽出した２Ｎ＋１個の画素値を画像処理装置１１５の主記憶装置１２６に保存する。疑似画像上i番目の画素値は、図４Ｃに示すように、主記憶装置１２６に保存した２Ｎ＋１個の画素値（・・・、Ｖ[ｉ−１]、Ｖ[ｉ]、Ｖ[ｉ＋１]、・・・）と、図５にその一例を示した畳み込み関数の値である畳み込み値（・・・、ｇ[ｉ−１]、ｇ[ｉ]、ｇ[ｉ＋１]、・・・）を用いて以下の式にて計算する（ステップ２０７）。
【００４４】
【数２】
【００４５】
画像データＢ６０１に基づき、上記演算により得られるＩ（ｘ、ｙ）の疑似画像は、図６の６０２に示したように、物性値差が大きい境界で画素値が高くなり、画像Ａと類似した画素値分布が得られ、また同図に示すように、第一の画像である画像Ａと同様な撮像視野のみを画像化することが出来る。
【００４６】
なお、Ｎの値は操作者により任意に設定可能である。画像撮像装置１０１が超音波装置であれば、超音波の周波数に応じた値を設定することができる。また、上記計算を適用する範囲は、位置合せの対照となる撮像視野を設定、変更することが可能である。
【００４７】
図２のステップ２０７に示す疑似画像を求める計算は、図４Ａ〜図６において断面内の計算、すなわち断面画像を生成する例を説明した。しかし、このレイトレース法を利用して疑似画像を求める計算は、３次元画像に対して直線を仮定し、画素値を追跡して計算する、つまり３次元の疑似画像に適用することも可能である。
【００４８】
続いて、図２のステップ２０８において、第一の画像である画像データＡと、第二の画像である画像データＢから作成された疑似画像に対し評価関数を演算して比較するには、広く知られている非特許文献３に記載のある相互情報量最大化法を使用することができる。相互情報量最大化法は、二つの画像間の類似度を求める方法であり、本実施例では画像データＡと画像データＢとの類似度を計算し、類似度が最大の画像位置変換パラメータを算出する。通常、相互情報量最大化法は画素値の特徴が異なる画像に対して適用されることが多く、比較する画像の対応する位置にある画素値に対して最小自乗法を用いて移動量を探索する手法や、画素値の相関係数が高い移動量を探索する手法と比較して計算時間がかかってしまう。しかし、本実施例では第一の画像である画像データＡに対して、第二の画像である画像データＢに基づく疑似画像を作成しており、画素値の持つ特徴に相関があるため、上記の最小自乗法や相関係数を用いて移動量を算出することで、より高速な位置合せが可能となる。
【００４９】
画像位置合わせは、評価関数を演算する都度、位置合せが十分であるか操作者が判断し（ステップ２０９）、十分でない場合には画像位置を変換し（ステップ２１０）、再度、評価関数を演算する手順に戻り上記演算を繰り返し、位置合せが十分な場合には演算を終了するよう構成するとより好適である。この画像位置変換で求めた位置変換パラメータは主記憶領域１２６に保持される。
【００５０】
本実施例における疑似画像はそもそも画像データＢから作成したものであるため、画像データＢと疑似画像の位置の対応は一意に決まる。そのため、ＣＰＵなどの処理部で、画像データＡと疑似画像に対して求めた位置変換パラメータを第二の画像である画像データＢに適用し、位置合せ第二画像のデータである位置合せ画像データＢを求め（ステップ２１１）、主記憶装置１２６に保持する。必要があれば、位置合せ第二画像のデータである位置合せ画像データＢを画像処理装置本体１１８の記憶部である記憶装置１２５に保存することも可能である。図２の処理部が実行する処理フローの最後のステップ２１２において、第一の画像である画像データＡ、位置合せ第二画像である位置合せ画像データＢ、疑似画像をモニタ１１６に表示する。
【００５１】
本実施例のモニタ上に表示する画面の一例を図７により説明する。図７に示すように、操作者は、画像データＡ、位置合せ画像データＢ、疑似画像データの任意の組み合わせを選択的に表示するよう入力部から指示し、モニタ上に重ね合わせ表示しながら位置合せ結果を確認することが可能である。同図において、７０１はモニタ画面、７０２画像選択領域を、７０３は任意の画像の組合せで表示可能な領域を示し、７０４は画像データＡと位置合せ画像データＢの重ね合わせ表示の一例を示している。
【００５２】
以上詳述したように、本実施例が提供する画像位置合せシステムと画像位置合せ方法により、異なる撮像装置により得られた画像において、撮像対象である被検体の同一部位の画素値、形状、撮像視野が異なる場合にも、疑似画像を作成することで、高速で高精度な画像位置合せが可能となる。
【００５３】
なお、その機能を損なうことなく上述した実施例１に述べた構成は種々の変形が可能である。まず、実施例１では画像撮像装置１０１、画像データサーバ１１０、画像処理装置１１５を独立した装置として記述したが、これらは全てがひとつの装置、すなわち各々の機能に対応するプログラムを有する一つのコンピュータで構成されても良い。また、画像撮像装置１０１及び画像処理装置１１５を1台の装置とするなど、上述の装置や機能の内、いくつかを一つの装置、すなわち一つのコンピュータで構成しても良い。
【００５４】
また、実施例１では、画像撮像装置１０１から画像処理装置１１５へ送信する画像データＡ及び画像データサーバ１１０から画像処理装置１１５へ送信する画像データＢのフォーマット（データ形式）にダイコム（ＤＩＣＯＭ）フォーマットを使用しているが、もちろん他のフォーマット、例えばＪＰＥＧ画像やビットマップ画像等のフォーマットを用いてもかまわない。
【００５５】
さらに、実施例１では、画像データサーバ１１０にデータファイルを保存するような構成を取っているが、直接、画像撮像装置１０１と画像処理装置１１５とが通信し、データファイルを交換しても良い。またさらに、画像ファイルは、画像データサーバ１１０に保管せずに画像処理装置１１５の記憶装置１２６に保管しても良い。さらにまた、ネットワーク１０９によるデータファイル等の通信を用いる形態を説明したが、データファイルの交換手段として他の記憶媒体たとえばフロッピー（登録商標）ディスクやＣＤ−Ｒ等の可搬型大容量記憶媒体を用いても良い。
【００５６】
上述した実施例では、画像撮像装置１０１として超音波装置について説明したが、超音波装置以外にも、内視鏡画像と言った装置であっても、疑似画像作成時の畳込み関数を変えるだけで、本実施例をそのまま適用できることは言うまでもない。また、上述したように、ステップ２０６にて疑似画像を３次元画像として計算することが可能であるため、位置合せする画像が３次元画像であっても本実施例は適用することができる。
【実施例２】
【００５７】
次に、第２の実施例として、図２のステップ２０５において操作者により画像上に描画されていない領域を新たに指定し、その領域の物性値を設定する方法について図８Ａ、８Ｂを用いて説明する。画像データＢ８０１を領域分割した画像８０２に対し、操作者によりモニタ１１６に表示されたユーザーインターフェースを介し、入力手段１１７を用いて領域（追加領域５）を追加で指定し、画像８０３を得ることができる。指定した領域に対し、物性値を（Ｖａｌｕｅ５）設定する。これにより、画像データＡに描画されている臓器、疾患などの関心部位が、画像データＢでは描画されていないであっても、上記方法を用いて画像Ｂ上にその形状および物性値を付加することで、ステップ２０６で生成する疑似画像において、関心部位を描画することが出来る。疑似画像上に関心部位が描画されているため画像Ａと位置合せをすることにより、その位置合せの精度を向上することが出来る。
【００５８】
なお追加領域５の指定方法は、フリーハンド、ポリゴン形状などさまざまな方法を適用することが出来る。また、図８Ａ、８Ｂでは領域を断面内で指定しているが、複数の断面にまたがって、３次元の領域を指定することも可能である。
【産業上の利用可能性】
【００５９】
本発明は、画像処理装置に係り、特に複数の画像診断装置により得られた画像同士を位置合せする画像位置合せ技術として有用である。
【符号の説明】
【００６０】
１０１…画像撮像装置
１０２…モニタ
１０３…入力手段
１０４…通信装置
１０５…画像作成処理装置
１０６…記憶装置
１０７…制御装置
１０８…主記憶装置
１０９…ネットワーク
１１０…画像データサーバ
１１１…通信装置
１１２…記憶装置
１１３…データ演算処理装置
１１４…主記憶装置
１１５…画像処理装置
１１６…モニタ
１１７…入力手段
１１８…演算装置
１１９…通信装置
１２０…画像位置合せ演算装置
１２１…領域分割演算処理装置
１２２…物性値適用演算処理装置
１２３…画素値算出演算処理装置
１２４…移動量算出演算処理装置
１２５…記憶装置
１２６…主記憶装置。
【技術分野】
【０００１】
本発明は、画像処理装置に係り、特に複数の画像診断装置により得られた画像同士を位置合せする画像位置合せ技術に関する。
【背景技術】
【０００２】
近年、医用画像診断は非侵襲的に体内の情報を得ることができるため、広く行われている。Ｘ線コンピュータ断層撮影（Computer Tomography：ＣＴ）装置や核磁気共鳴撮影（Magnetic Resonance Imaging：ＭＲＩ）装置、陽電子放射断層撮影（Positron Emission Tomography：ＰＥＴ）装置や単一光子放射断層撮影（Single Photon Emission Computed Tomography：ＳＰＥＣＴ）装置など、様々な種類の画像診断装置による三次元画像が診断や経過観察に活用されている。Ｘ線ＣＴ装置は一般に歪みが少なく、空間分解能の高い画像を得ることができるが、軟部組織の組織学的変化があまり反映されない。一方、ＭＲＩ装置は軟部組織を高いコントラストで描出できる。また、ＰＥＴ装置やＳＰＥＣＴ装置は代謝レベルなどの生理的な情報を画像化することができるため機能画像と呼ばれるが、Ｘ線ＣＴ装置やＭＲＩ装置などと比較して臓器形態を明瞭に描出できない。さらに超音波（Ultrasound：ＵＳ）装置は小型で移動性能が高く、リアルタイム撮像が可能であり、特に軟組織の形態、動きを描画できる。しかしプローブの形状により撮像領域が限定され、またＣＴ画像、ＭＲＩ画像と言った形態が明瞭な画像と比較すると画像内のノイズが多いため軟組織の形態も明瞭ではない。このように、各種の画像診断装置は夫々が長所と短所を併せ持つ。
【０００３】
従って、複数装置により得られた画像（以下、マルチモダリティ画像と呼ぶ）を位置合せすることは、夫々の短所を補い合うと共に、夫々の長所を活用することができるため、診断、治療計画、さらには治療時の対象部位把握に有用である。例えば、Ｘ線ＣＴ画像とＰＥＴ画像を位置合せすることによって、腫瘍の位置がどの臓器のどの部分であるかを正確に判定することが可能になる。またＣＴ画像から得られる患者体輪郭情報とＵＳ画像から得られる軟組織の位置情報から臓器や腫瘍といった治療対象部位を正確に把握可能になる。
【０００４】
マルチモダリティ画像を診断や治療に有効に活用するためには、画像が正確に、かつ容易に位置合せされる必要がある。しかし、複数装置にて得られた画像は、同一の被検体を撮像してもその生成機序が異なるため、同一部位が同一の画素値、分布を持つわけではない。また、ＣＴ画像やＭＲＩ画像のような被検体の体輪郭や臓器の形態が明瞭に描画されている画像とＵＳ画像やＰＥＴ画像のように形態が不明瞭な場合がある。さらにＵＳ画像のように被検体の体輪郭や臓器が画像視野内に描出されていない場合には、対応する部位が明瞭でないため、位置合せが困難である。
【０００５】
最近では、ＵＳ装置のリアルタイム撮像の特長を活かして、現在の被検体の状況をモニタし得られるＵＳ画像と、事前に撮像したＣＴ画像とを比較しながら位置合せし、術中に治療対象の位置や大きさをモニタリングしている。たとえばラジオ波焼灼療法（Radio Frequency Ablation：ＲＦＡ）では、モニタ中のＵＳ画像と事前撮像したＣＴ画像とを比較しながら治療を行っている。このようにマルチモダリティ画像位置合せの中でも、特にリアルタイムに取得される画像と事前に撮像された鮮明な形態画像を、術中に容易で高速かつ高精度に位置合せする手法のニーズが高まっている。
【０００６】
従来のマルチモダリティ画像位置合せに用いられている手法として、(a)手動法：位置合わせ対象画像を操作者が手動で移動させる、(b)ポイント・サーフェス画像重ね合わせ法：位置合わせする画像内の特徴形状（点、線、曲面）を手動もしくは半自動で設定し互いの画像で対応する特徴形状合わせる、(c)ボクセル画像重ね合わせ法：画像がもつ画素値の類似度を計算し位置合せする、が知られている（非特許文献１）。
【０００７】
また、ＣＴ画像と超音波画像の位置合せにおいて、ＣＴ画像から超音波画像の類似画像を作成し、位置合せに用いる方法が提案されている（非特許文献２）。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】渡部浩司、「マルチモダリティの画像位置合わせと重ね合わせ」日本放射線技術学会雑誌 第５９巻 第１号 ２００３年
【非特許文献２】Wolfgang Wein, 他,「Automatic CT-ultrasound registration for diagnostic imaging and image-guided intervention」, Medical Image Analysis , 12, 577-585, 2008
【非特許文献３】Frederik Maes, 他，「Multimodality image registration by maximization of mutual information」，IEEE Trans. Med. Image., Vol.16, No.2, 1997.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
マルチモダリティ画像の位置合せに用いられている手法は、非特許文献１に記載されているが、(a)手動法は、手間と時間がかかる上に、位置合せの精度が操作者の主観に影響されるという問題点を有する。(b)ポイント・サーフェス画像重ね合わせ法は、対応する形状が決まれば自働に位置合せ可能であるが、対応ポイントやサーフェスを自動で抽出するには手動で行う必要があり、(a)と同様の問題点を有する。(c)ボクセル画像重ね合わせ法は、(a)、(b)に対し自動化は比較的容易であり、位置合せする画像内に被検体の体輪郭がボクセルの画素値が異なるにせよ、その形状全体が描出されている必要があり、例えばＵＳ画像のように被検体の体輪郭や臓器の一部しか描出されていない画像と全体が描出されているＣＴ、ＭＲＩ画像を位置合せすることは困難である。
【００１０】
また、マルチモダリティ画像の中でもＣＴ画像と超音波画像の位置合せに関して、非特許文献２に記載の手法があるが、ＣＴ画像上に描画されていない軟組織等は、ＣＴ画像から作成される類似画像上にも描画されず、位置合せ対象が軟組織である場合には、十分な位置合せが出来ない。
【００１１】
このマルチモダリティ画像同士の位置合せを自動に高速かつ高精度に行うことが困難な主要因は、位置合わせする互いの画像の画素値、描画形状、撮像視野が異なってしまっていることである。そのため従来は、操作者が医学的な知識や撮像装置や得られる画像の特徴を理解した上で、画像同士の対応する箇所を判断しながら位置合わせしてきた。
【００１２】
本発明の目的は、マルチモダリティ画像の位置合せにおいて、撮像装置が異なることに起因して、同一被検体の同一部位を撮像しても同一の画素値、同一の形状、同一の撮像視野として描画されていない画像の位置合わせを自動に高速かつ高精度に行うことが可能な処理装置、および画像位置合せ方法を提供することにある。
【課題を解決するための手段】
【００１３】
上記の目的を達成するため、本発明においては、複数の画像の位置合せを行う画像処理装置であって、異なる画像撮像装置で撮像した第一の画像と第二の画像を表示可能な表示部と、第二の画像に対する処理を指示入力する入力部と、第二の画像に対して処理を行う処理部を備え、処理部は、第二の画像を所定の領域に分割し、この分割領域各々に対して所定の物性値を設定することにより、第一の画像の画像特徴量を演算して疑似画像を生成し、生成した疑似画像を用いて第一の画像と第二の画像の位置合せを行う画像処理装置、および画像位置合せ方法を提供する。
【００１４】
また、処理部は、第二の画像から画像特徴量を演算する際、更に分割領域にない追加領域を画像に付加し、この追加領域に対しても物性値を設定した後、画像特徴量を演算する画像処理装置、および画像位置合せ方法を提供する。
【００１５】
さらに、処理部は、第二の画像に基づき画像特徴量を演算する際、分割領域に対応する理論物性値と分割領域の画素値の領域平均を用いる画像処理装置、および画像位置合せ方法を提供する。
【００１６】
すなわち、上記の目的を達成するため、本発明においては、第一の画像と第二の画像の位置合わせするために、どちらか一方の画像（例えば第二の画像）から、もう一方の画像（例えば第一の画像）と類似した画素値、形状、撮像視野を持つ画像（以下、疑似画像と呼ぶ）を作成し、第一の画像と画像の特徴量が同じである疑似画像とを位置合わせすることにより、第一の画像と第二の画像の位置合わせを行う。この疑似画像を作成する際、第二の画像を所定の分割領域に分割する。
【００１７】
また、疑似画像を作成する過程で、どちらか一方の画像（例えば第二の画像）分布から、もう一方（例えば第一の画像）の画像撮像装置の生成機序に関連した、被検体の物理特性（物性値）分布を計算する。
【００１８】
更に、物理特性（物性値）分布を計算した元画像に、物理特性分布が異なる領域（分割領域）が明瞭に描画されていない場合には、物理特性領域の位置および形状（付加領域）を付加する。
【００１９】
またさらに、この物理特性分布から、画像が持つ画素値および描画されている形状、撮像視野の特徴と類似した特徴量を持つ画像（疑似画像）を高速に計算する。
【発明の効果】
【００２０】
本発明により、異なる装置にて撮像された第一の画像と第二の画像の位置合せにおいて、一方の画像から、もう一方に類似した画像を高速に作成することで、撮像対象である被検体の同一部位の画素値、形状、撮像視野を容易に比較できるようになるため、自動で高速かつ高精度な画像位置合せが可能となる。
【００２１】
また、類似した画像を作成する過程で、元画像に位置合せの対象となる領域を指定、付加することで、より高精度な画像位置合せが可能となる。
【図面の簡単な説明】
【００２２】
【図１】第１の実施例に係る医用画像位置合せシステムの全体構成を示す図である。
【図２】第１の実施例に係る、画像位置合わせ処理フローを示す図である。
【図３Ａ】第１の実施例に係る、画像領域分割処理を示す図である。
【図３Ｂ】第１の実施例に係る、画像領域分割処理で設定する物性値パラメータを示す図である。
【図４Ａ】第１の実施例に係る、画素値追跡処理（その１）を説明する図である。
【図４Ｂ】第１の実施例に係る、画素値追跡処理（その２）を説明する図である。
【図４Ｃ】第１の実施例に係る、画素値追跡処理（ｓの３）を説明する図である。
【図５】第１の実施例に係る、画素値と畳込み演算する関数の図である。
【図６】第１の実施例に係る、作成される疑似画像の一例を説明する図である。
【図７】第１の実施例に係る、画像位置合せ結果をモニタ上に配置方法を示す図である。
【図８Ａ】第１の実施例に係る、画像上で描画されていない領域指定を示す図である。
【図８Ｂ】第１の実施例に係る、画像上で描画されていない領域指定を設定する物性値パラメータを示す図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照して本発明を実施するための形態を詳細に説明する。なお、本明細書においては、画像Ａと画像Ｂのデータを、それぞれ画像Ａデータと画像Ｂデータ、第一の画像データと第二の画像データ、或いは画像データＡと画像データＢと称する場合がある。
【実施例１】
【００２４】
第１の実施例に係る画像位置合せシステムの全体構成を図１に示す。まずシステムを構成する各装置について説明する。画像診断装置として機能する画像撮像装置１０１はその本体、撮像された画像や撮像に必要とされるパラメータを表示する表示部としてのモニタ１０２、画像撮像装置１０１に対しモニタ１０２上に表示されたユーザーインターフェースを通して指示を与えるための入力手段１０３から構成される。入力手段１０３は、一般的にはキーボードやマウス等である。また、モニタ１０２上のユーザーインターフェースとしてはグラフィカルユーザーインタフェース（ＧＵＩ）が良く用いられる。
【００２５】
さらに、画像撮像装置１０１本体は、図示のとおり、その内部に通信をするための通信装置１０４、撮像データから画像を作成するための画像作成処理装置１０５、処理結果や画像等のデータまた画像作成プログラムを保存するための記憶装置１０６、画像撮像装置１０１本体および画像作成処理装置１０５を制御するための制御装置１０７、画像作成演算する際に記憶装置１０６に保存してある画像作成プログラム及び処理に必要なデータを一時的に保管するための主記憶装置１０８を備える。この構成は、通常の通信インタフェースと、処理部である中央処理部（Central Processing Unit：ＣＰＵ）と記憶部であるメモリを備えたコンピュータで構成できることは言うまでもない。すなわち、画像作成処理装置１０５と制御装置１０７はＣＰＵの処理に対応する。
【００２６】
画像データサーバ１１０は、ネットワーク１０９に接続し他の装置とデータの交換をするための通信装置１１１、データを保存するための記憶装置１１２、画像データサーバ１１０の各内部装置を制御しデータに対し例えばデータ容量の圧縮等の演算を実施するデータ演算処理装置１１３、及びデータ演算処理装置１１３が使用する処理プログラムや処理対象データを一時的に格納するための主記憶装置１１４から構成される。このサーバ１１０もデータ演算処理装置１１３が上述した処理部であるＣＰＵに対応し、通常のコンピュータで構成されることは言うまでもない。
【００２７】
また、画像撮像装置１０１は通信装置１０４とネットワーク１０９を介して画像データサーバ１１０へ撮像画像を送信し、画像データサーバ１１０内の記憶装置１１２に画像データを保存することが可能である。
【００２８】
画像処理装置１１５は、その本体１１８と演算結果の表示及びユーザーインターフェースを表示するためのモニタ１１６とモニタ１１６上に表示されるユーザーインターフェースを通じ画像位置合せ本体装置１１８への指示を入力するための入力部としての入力手段１１７から構成される。入力手段１１７としては、キーボードやマウス等が用いられる。
【００２９】
さらに、画像処理装置本体１１８は、入力データ及び演算結果を送信するための通信装置１１９、画像位置合せ演算処理装置１２０、データ及び画像位置合せ演算プログラムを保存するための記憶装置１２５、演算プログラムや入力データ等を画像位置合せ演算処理装置１２０にて使用するために一時的に格納するための主記憶装置１２６より構成される。画像位置合せ演算装置１２０は、画像位置合せ演算を実行するための領域分割演算処理装置１２１、物性値適用演算処理装置１２２、物性値分布からの画素値算出演算処理装置１２３、移動量算出演算処理装置１２４からなる。画像位置合せ演算処理装置１２０による画像位置合せ演算処理の詳細に関しては後述するが、この画像処理装置１１５も、その本体１１８の画像位置合せ演算処理装置１２０が上述した処理部であるＣＰＵに対応しており、通常のコンピュータで構成されることは言うまでもない。
【００３０】
また、画像処理装置１１５は、通信装置１１９とネットワーク１０９を介して画像撮像装置１０１もしくは画像データサーバ１１０から位置合わせ対象となる画像を取得することが可能である。
【００３１】
図２を用いて、第１の実施例の画像位置合せシステムにおける画像位置合せの流れについて説明する。位置合せ対照の画像データは、本実施例では、画像撮像装置１０１として超音波診断装置、撮像された画像Ａを超音波画像とし、画像データサーバ１１０に蓄積された画像ＢをＣＴ画像とし、これら２つの画像を画像処理装置１１５にて位置合せする場合を例に説明する。なお、本明細書において、画像Ａ、画像Ｂをそれぞれ第一の画像、第二の画像と呼ぶ。
【００３２】
まず画像撮像装置１０１を用いて被検体の対象臓器や疾患部位を撮像し、画像作成処理装置１０５にて作成された超音波画像Ａは記憶装置１０６に保存される。また画像撮像装置１０１にて撮像された領域を含んだ撮像領域のＣＴ画像Ｂが画像データサーバに保存されている。画像処理装置１１５は、ネットワーク１０９を介して画像撮像装置１０１から超音波画像Ａを、画像データサーバ１１０からＣＴ画像Ｂを読み込み（ステップ２０１とステップ２０２）、記憶装置１２５および主記憶装置１２６に格納する（ステップ２０３）。
【００３３】
画像撮像装置１０１の記憶装置１０６に保存されている第一の画像である画像Ａおよび画像データサーバ１１０の記憶装置１１２に保存されている第二の画像である画像Ｂは画像撮像装置１０１の分野にて一般的に使用されている標準規格ダイコム（Digital Imaging and Communication in Medicine：ＤＩＣＯＭ）フォーマットであるとする。
【００３４】
本実施例では、画像Ａと画像Ｂを位置合せするために、まず第二の画像である画像Ｂを主要臓器毎に領域分割する（ステップ２０４）。画像Ｂの領域分割方法について図３Ａ、３Ｂを用いて説明する。
【００３５】
図３Ａ、３Ｂに示したように、第二の画像である画像Ｂ３０１を、例えば撮像部位が腹部であれば空気、軟組織、臓器、血管、骨の５つ、あるいは６つの領域に領域分割する。図３Ａでは、領域１〜領域６に領域分割した画像３０２を示しており、各分割領域１〜６は図３Ｂに示すように、空気、脂肪、水・筋肉、肝臓、腎臓・血管、骨の部位内容に対応している。
【００３６】
この領域分割は、画素値を元にその上限と下限の閾値をあらかじめ設定しておき、その値を用いて領域を分割する方法が最も一般的である。しかし、撮像条件、撮像装置の違いや被検体が異なるような場合、同一部位の画素値にはばらつきがあるため、常に同一の上限と下限が適用できるとは限らない。領域分割が巧く行かない場合には、疑似画像上に現れる臓器の形状にも影響し、さらには位置合せ精度が低下してしまうため、正しく領域分割することが求められる。
【００３７】
画素値の分布に応じて、画素値の上限と下限の閾値を算出する手法としてクラスタリング法がある。クラスタリング法では、指定した分割数に応じて、その領域の中央値とその周辺に分布する値とのばらつきが最小となる様に中央値をもとめる手法で、被検体による画素値のばらつきに応じて上限と下限の閾値を求めることができる。本実施例では、撮像条件や、被検体が異なる場合にも高精度な領域分割を実現するための一手法として、クラスタリング法を用いる。
【００３８】
なお、領域の分割数は操作者により任意に設定可能である。例えば、撮像部位によって画像上に描画されている臓器の個数は異なるため、より多くの領域に分割したり、分割数を制限したりすることもできる。画像Ｂを少なくとも２つ以上の領域に分割していれば、位置合せに用いることが可能である。
【００３９】
次に、分割した各領域に対して、画像Ａの生成機序に基づいて同様な特徴を計算するための物性値パラメータを設定する（ステップ２０５）。超音波の人体各部位における理論的な物性値（理論物性値）は既に知られているため、図３Ｂに示すように、その物性値を分割領域に設定することが可能である。しかし、分割した領域に物性値をそのまま設定すると、画像Ｂが持っていた画素値の細かい変化がなくなり、領域内がすべて均一な画素値になってしまう。
【００４０】
そこで、本実施例では、分割領域内の画素値分布を活かすため、図３Ｂに示した各領域の画素値の領域平均値（Ａｖｇ１〜４）３０４と理論物性値（Ｖａｌｕｅ１〜４）３０５を用いて以下の式にて元画素値ｆ（ｘ、ｙ）から設定する物性値ｆnew（ｘ、ｙ）を計算して画像特徴量を算出する。なお、図３Ｂに示した例においては、領域２と領域３、および領域４と領域５をそれぞれ一つの領域として領域平均（Ａｖｇ）、理論物性値（Ｖａｌｕｅ）を設定している。
【００４１】
【数１】
【００４２】
ここで、ｗは元の画素値分布をどの程度考慮するかを制御可能なパラメータである。これにより画像Ｂ自身が持つ画素値分布を考慮した物性値の設定が可能になり、画像Ａと同様の特性を持つ画像３０３を得ることが可能となる。ここで、上述の領域分割および物性値設定が十分かどうかを操作者が判断することにより（ステップ２０６）、十分でない場合にはステップ２０５に戻り領域分割および物性値設定、画像特徴量算出を繰り返し行うことが可能である。このようにして計算した物性値ｆnew（ｘ、ｙ）の分布画像に対し、直線上の画素を追跡し、畳み込み演算を用いて画像Ａと類似した画素値分布（疑似画像）を計算する（ステップ２０７）。
【００４３】
続いて、図４Ａ〜４Ｃを用いて、本実施例における画素値の追跡方法の一例としてレイトレース法を説明する。物性値分布画像に対して仮想直線を考慮し、直線が画像と交差する画素に着目する。図４Ａのように直線が画像左方向から垂直に交差する場合には、２Ｎ＋１個（図４Ａでは９個）の画素（灰色）を抽出することができる。また図４Ｂのように直線が画像左方向から斜めに交わる場合にも、通過する画素に注目すると垂直に交差する場合と同様に２Ｎ＋１個の画素を抽出可能である。抽出した２Ｎ＋１個の画素値を画像処理装置１１５の主記憶装置１２６に保存する。疑似画像上i番目の画素値は、図４Ｃに示すように、主記憶装置１２６に保存した２Ｎ＋１個の画素値（・・・、Ｖ[ｉ−１]、Ｖ[ｉ]、Ｖ[ｉ＋１]、・・・）と、図５にその一例を示した畳み込み関数の値である畳み込み値（・・・、ｇ[ｉ−１]、ｇ[ｉ]、ｇ[ｉ＋１]、・・・）を用いて以下の式にて計算する（ステップ２０７）。
【００４４】
【数２】
【００４５】
画像データＢ６０１に基づき、上記演算により得られるＩ（ｘ、ｙ）の疑似画像は、図６の６０２に示したように、物性値差が大きい境界で画素値が高くなり、画像Ａと類似した画素値分布が得られ、また同図に示すように、第一の画像である画像Ａと同様な撮像視野のみを画像化することが出来る。
【００４６】
なお、Ｎの値は操作者により任意に設定可能である。画像撮像装置１０１が超音波装置であれば、超音波の周波数に応じた値を設定することができる。また、上記計算を適用する範囲は、位置合せの対照となる撮像視野を設定、変更することが可能である。
【００４７】
図２のステップ２０７に示す疑似画像を求める計算は、図４Ａ〜図６において断面内の計算、すなわち断面画像を生成する例を説明した。しかし、このレイトレース法を利用して疑似画像を求める計算は、３次元画像に対して直線を仮定し、画素値を追跡して計算する、つまり３次元の疑似画像に適用することも可能である。
【００４８】
続いて、図２のステップ２０８において、第一の画像である画像データＡと、第二の画像である画像データＢから作成された疑似画像に対し評価関数を演算して比較するには、広く知られている非特許文献３に記載のある相互情報量最大化法を使用することができる。相互情報量最大化法は、二つの画像間の類似度を求める方法であり、本実施例では画像データＡと画像データＢとの類似度を計算し、類似度が最大の画像位置変換パラメータを算出する。通常、相互情報量最大化法は画素値の特徴が異なる画像に対して適用されることが多く、比較する画像の対応する位置にある画素値に対して最小自乗法を用いて移動量を探索する手法や、画素値の相関係数が高い移動量を探索する手法と比較して計算時間がかかってしまう。しかし、本実施例では第一の画像である画像データＡに対して、第二の画像である画像データＢに基づく疑似画像を作成しており、画素値の持つ特徴に相関があるため、上記の最小自乗法や相関係数を用いて移動量を算出することで、より高速な位置合せが可能となる。
【００４９】
画像位置合わせは、評価関数を演算する都度、位置合せが十分であるか操作者が判断し（ステップ２０９）、十分でない場合には画像位置を変換し（ステップ２１０）、再度、評価関数を演算する手順に戻り上記演算を繰り返し、位置合せが十分な場合には演算を終了するよう構成するとより好適である。この画像位置変換で求めた位置変換パラメータは主記憶領域１２６に保持される。
【００５０】
本実施例における疑似画像はそもそも画像データＢから作成したものであるため、画像データＢと疑似画像の位置の対応は一意に決まる。そのため、ＣＰＵなどの処理部で、画像データＡと疑似画像に対して求めた位置変換パラメータを第二の画像である画像データＢに適用し、位置合せ第二画像のデータである位置合せ画像データＢを求め（ステップ２１１）、主記憶装置１２６に保持する。必要があれば、位置合せ第二画像のデータである位置合せ画像データＢを画像処理装置本体１１８の記憶部である記憶装置１２５に保存することも可能である。図２の処理部が実行する処理フローの最後のステップ２１２において、第一の画像である画像データＡ、位置合せ第二画像である位置合せ画像データＢ、疑似画像をモニタ１１６に表示する。
【００５１】
本実施例のモニタ上に表示する画面の一例を図７により説明する。図７に示すように、操作者は、画像データＡ、位置合せ画像データＢ、疑似画像データの任意の組み合わせを選択的に表示するよう入力部から指示し、モニタ上に重ね合わせ表示しながら位置合せ結果を確認することが可能である。同図において、７０１はモニタ画面、７０２画像選択領域を、７０３は任意の画像の組合せで表示可能な領域を示し、７０４は画像データＡと位置合せ画像データＢの重ね合わせ表示の一例を示している。
【００５２】
以上詳述したように、本実施例が提供する画像位置合せシステムと画像位置合せ方法により、異なる撮像装置により得られた画像において、撮像対象である被検体の同一部位の画素値、形状、撮像視野が異なる場合にも、疑似画像を作成することで、高速で高精度な画像位置合せが可能となる。
【００５３】
なお、その機能を損なうことなく上述した実施例１に述べた構成は種々の変形が可能である。まず、実施例１では画像撮像装置１０１、画像データサーバ１１０、画像処理装置１１５を独立した装置として記述したが、これらは全てがひとつの装置、すなわち各々の機能に対応するプログラムを有する一つのコンピュータで構成されても良い。また、画像撮像装置１０１及び画像処理装置１１５を1台の装置とするなど、上述の装置や機能の内、いくつかを一つの装置、すなわち一つのコンピュータで構成しても良い。
【００５４】
また、実施例１では、画像撮像装置１０１から画像処理装置１１５へ送信する画像データＡ及び画像データサーバ１１０から画像処理装置１１５へ送信する画像データＢのフォーマット（データ形式）にダイコム（ＤＩＣＯＭ）フォーマットを使用しているが、もちろん他のフォーマット、例えばＪＰＥＧ画像やビットマップ画像等のフォーマットを用いてもかまわない。
【００５５】
さらに、実施例１では、画像データサーバ１１０にデータファイルを保存するような構成を取っているが、直接、画像撮像装置１０１と画像処理装置１１５とが通信し、データファイルを交換しても良い。またさらに、画像ファイルは、画像データサーバ１１０に保管せずに画像処理装置１１５の記憶装置１２６に保管しても良い。さらにまた、ネットワーク１０９によるデータファイル等の通信を用いる形態を説明したが、データファイルの交換手段として他の記憶媒体たとえばフロッピー（登録商標）ディスクやＣＤ−Ｒ等の可搬型大容量記憶媒体を用いても良い。
【００５６】
上述した実施例では、画像撮像装置１０１として超音波装置について説明したが、超音波装置以外にも、内視鏡画像と言った装置であっても、疑似画像作成時の畳込み関数を変えるだけで、本実施例をそのまま適用できることは言うまでもない。また、上述したように、ステップ２０６にて疑似画像を３次元画像として計算することが可能であるため、位置合せする画像が３次元画像であっても本実施例は適用することができる。
【実施例２】
【００５７】
次に、第２の実施例として、図２のステップ２０５において操作者により画像上に描画されていない領域を新たに指定し、その領域の物性値を設定する方法について図８Ａ、８Ｂを用いて説明する。画像データＢ８０１を領域分割した画像８０２に対し、操作者によりモニタ１１６に表示されたユーザーインターフェースを介し、入力手段１１７を用いて領域（追加領域５）を追加で指定し、画像８０３を得ることができる。指定した領域に対し、物性値を（Ｖａｌｕｅ５）設定する。これにより、画像データＡに描画されている臓器、疾患などの関心部位が、画像データＢでは描画されていないであっても、上記方法を用いて画像Ｂ上にその形状および物性値を付加することで、ステップ２０６で生成する疑似画像において、関心部位を描画することが出来る。疑似画像上に関心部位が描画されているため画像Ａと位置合せをすることにより、その位置合せの精度を向上することが出来る。
【００５８】
なお追加領域５の指定方法は、フリーハンド、ポリゴン形状などさまざまな方法を適用することが出来る。また、図８Ａ、８Ｂでは領域を断面内で指定しているが、複数の断面にまたがって、３次元の領域を指定することも可能である。
【産業上の利用可能性】
【００５９】
本発明は、画像処理装置に係り、特に複数の画像診断装置により得られた画像同士を位置合せする画像位置合せ技術として有用である。
【符号の説明】
【００６０】
１０１…画像撮像装置
１０２…モニタ
１０３…入力手段
１０４…通信装置
１０５…画像作成処理装置
１０６…記憶装置
１０７…制御装置
１０８…主記憶装置
１０９…ネットワーク
１１０…画像データサーバ
１１１…通信装置
１１２…記憶装置
１１３…データ演算処理装置
１１４…主記憶装置
１１５…画像処理装置
１１６…モニタ
１１７…入力手段
１１８…演算装置
１１９…通信装置
１２０…画像位置合せ演算装置
１２１…領域分割演算処理装置
１２２…物性値適用演算処理装置
１２３…画素値算出演算処理装置
１２４…移動量算出演算処理装置
１２５…記憶装置
１２６…主記憶装置。
【特許請求の範囲】
【請求項１】
複数の画像の位置合せを行う画像処理装置であって、
異なる画像撮像装置で撮像した第一の画像と第二の画像を表示可能な表示部と、前記第二の画像に対する処理を指示入力する入力部と、
前記第二の画像に対して処理を行う処理部を備え、
前記処理部は、前記第二の画像を所定の領域に分割し、前記分割領域各々に対して物性値を設定し、前記第一の画像の画像特徴量を演算して疑似画像を生成し、生成した前記疑似画像を用いて前記第一の画像と前記第二の画像の位置合せを行う、
ことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記処理部は、前記第二の画像から前記画像特徴量を演算する際、更に前記分割領域にない追加領域を付加し、前記追加領域に対して物性値を設定した後、前記画像特徴量を演算する、
ことを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置であって、
前記処理部は、前記第二の画像から前記画像特徴量を演算する際、前記分割領域に対応する理論物性値と前記分割領域の画素値の領域平均を用いる、
ことを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置であって、
前記処理部は、前記疑似画像を生成する際、前記画像特徴量に対してレイトレース法を適用する、
ことを特徴とする画像処理装置。
【請求項５】
請求項１に記載の画像処理装置であって、
前記処理部は、前記表示部に前記第一の画像と前記疑似画像を同時に表示するよう制御する、
ことを特徴とする画像処理装置。
【請求項６】
請求項１に記載の画像処理装置であって、
前記処理部は、前記第二の画像を用いて位置合せ第二画像を算出し、前記表示部に位置合せ第二画像と前記第一の画像を重ね合わせ表示するよう制御する、
ことを特徴とする画像処理装置。
【請求項７】
請求項１に記載の画像処理装置であって、
前記処理部は、前記第二の画像を用いて位置合せ第二画像を算出し、前記表示部に前記第一の画像、前記位置合せ第二画像、前記疑似画像を選択的に表示するよう制御する、
ことを特徴とする画像処理装置。
【請求項８】
異なる画像撮像装置で撮像した第一の画像と第二の画像を表示可能な表示部と、前記第二の画像のデータに対して処理を行う処理部を備えた画像処理装置における画像位置合せ方法であって、
前記第二の画像を所定の領域に分割し、
前記分割領域各々に対して物性値を設定し、
前記第一の画像の画像特徴量を演算して疑似画像を生成し、
生成した前記疑似画像を用いて前記第一の画像と前記第二の画像の位置合せを行う、
ことを特徴とする画像位置合せ方法。
【請求項９】
請求項８に記載の画像位置合せ方法であって、
前記第二の画像から前記画像特徴量を演算する際、更に前記分割領域にない追加領域を付加し、前記追加領域に対して物性値を設定した後、前記画像特徴量を演算する、
ことを特徴とする画像位置合せ方法。
【請求項１０】
請求項８に記載の画像位置合せ方法であって、
前記第二の画像から前記画像特徴量を演算する際、前記分割領域に対応する理論物性値と前記分割領域の画素値の領域平均を用いる、
ことを特徴とする画像位置合せ方法。
【請求項１１】
請求項８に記載の画像位置合せ方法であって、
前記疑似画像を生成する際、前記画像特徴量に対してレイトレース法を適用する、
ことを特徴とする画像位置合せ方法。
【請求項１２】
請求項８に記載の画像位置合せ方法であって、
前記表示部に前記第一の画像と前記疑似画像を同時に表示する、
ことを特徴とする画像位置合せ方法。
【請求項１３】
請求項８に記載の画像位置合せ方法であって、
前記第二の画像を用いて位置合せ第二画像を算出し、前記表示部に位置合せ第二画像と前記第一の画像を重ね合わせ表示する、
ことを特徴とする画像位置合せ方法。
【請求項１４】
請求項８に記載の画像位置合せ方法であって、
前記第二の画像を用いて位置合せ第二画像を算出し、前記表示部に前記第一の画像、前記位置合せ第二画像、前記疑似画像を選択的に表示する、
ことを特徴とする画像位置合せ方法。
【請求項１５】
請求項８に記載の画像位置合せ方法であって、
前記第一の画像は超音波画像であり、前記第二の画像はＸ線ＣＴ装置で撮像した画像である、
ことを特徴とする画像位置合せ方法。
【請求項１】
複数の画像の位置合せを行う画像処理装置であって、
異なる画像撮像装置で撮像した第一の画像と第二の画像を表示可能な表示部と、前記第二の画像に対する処理を指示入力する入力部と、
前記第二の画像に対して処理を行う処理部を備え、
前記処理部は、前記第二の画像を所定の領域に分割し、前記分割領域各々に対して物性値を設定し、前記第一の画像の画像特徴量を演算して疑似画像を生成し、生成した前記疑似画像を用いて前記第一の画像と前記第二の画像の位置合せを行う、
ことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記処理部は、前記第二の画像から前記画像特徴量を演算する際、更に前記分割領域にない追加領域を付加し、前記追加領域に対して物性値を設定した後、前記画像特徴量を演算する、
ことを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置であって、
前記処理部は、前記第二の画像から前記画像特徴量を演算する際、前記分割領域に対応する理論物性値と前記分割領域の画素値の領域平均を用いる、
ことを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置であって、
前記処理部は、前記疑似画像を生成する際、前記画像特徴量に対してレイトレース法を適用する、
ことを特徴とする画像処理装置。
【請求項５】
請求項１に記載の画像処理装置であって、
前記処理部は、前記表示部に前記第一の画像と前記疑似画像を同時に表示するよう制御する、
ことを特徴とする画像処理装置。
【請求項６】
請求項１に記載の画像処理装置であって、
前記処理部は、前記第二の画像を用いて位置合せ第二画像を算出し、前記表示部に位置合せ第二画像と前記第一の画像を重ね合わせ表示するよう制御する、
ことを特徴とする画像処理装置。
【請求項７】
請求項１に記載の画像処理装置であって、
前記処理部は、前記第二の画像を用いて位置合せ第二画像を算出し、前記表示部に前記第一の画像、前記位置合せ第二画像、前記疑似画像を選択的に表示するよう制御する、
ことを特徴とする画像処理装置。
【請求項８】
異なる画像撮像装置で撮像した第一の画像と第二の画像を表示可能な表示部と、前記第二の画像のデータに対して処理を行う処理部を備えた画像処理装置における画像位置合せ方法であって、
前記第二の画像を所定の領域に分割し、
前記分割領域各々に対して物性値を設定し、
前記第一の画像の画像特徴量を演算して疑似画像を生成し、
生成した前記疑似画像を用いて前記第一の画像と前記第二の画像の位置合せを行う、
ことを特徴とする画像位置合せ方法。
【請求項９】
請求項８に記載の画像位置合せ方法であって、
前記第二の画像から前記画像特徴量を演算する際、更に前記分割領域にない追加領域を付加し、前記追加領域に対して物性値を設定した後、前記画像特徴量を演算する、
ことを特徴とする画像位置合せ方法。
【請求項１０】
請求項８に記載の画像位置合せ方法であって、
前記第二の画像から前記画像特徴量を演算する際、前記分割領域に対応する理論物性値と前記分割領域の画素値の領域平均を用いる、
ことを特徴とする画像位置合せ方法。
【請求項１１】
請求項８に記載の画像位置合せ方法であって、
前記疑似画像を生成する際、前記画像特徴量に対してレイトレース法を適用する、
ことを特徴とする画像位置合せ方法。
【請求項１２】
請求項８に記載の画像位置合せ方法であって、
前記表示部に前記第一の画像と前記疑似画像を同時に表示する、
ことを特徴とする画像位置合せ方法。
【請求項１３】
請求項８に記載の画像位置合せ方法であって、
前記第二の画像を用いて位置合せ第二画像を算出し、前記表示部に位置合せ第二画像と前記第一の画像を重ね合わせ表示する、
ことを特徴とする画像位置合せ方法。
【請求項１４】
請求項８に記載の画像位置合せ方法であって、
前記第二の画像を用いて位置合せ第二画像を算出し、前記表示部に前記第一の画像、前記位置合せ第二画像、前記疑似画像を選択的に表示する、
ことを特徴とする画像位置合せ方法。
【請求項１５】
請求項８に記載の画像位置合せ方法であって、
前記第一の画像は超音波画像であり、前記第二の画像はＸ線ＣＴ装置で撮像した画像である、
ことを特徴とする画像位置合せ方法。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図２】
【図３Ａ】
【図３Ｂ】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【公開番号】特開２０１１−１２５４３１（Ｐ２０１１−１２５４３１Ａ）
【公開日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願番号】特願２００９−２８５２４２（Ｐ２００９−２８５２４２）
【出願日】平成２１年１２月１６日（２００９．１２．１６）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願日】平成２１年１２月１６日（２００９．１２．１６）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]