画像処理装置、画像処理方法、プログラム、及び記憶媒体
【課題】 二つの異なる画像（例えば、超音波画像とＭＲＩなどの医用画像）の位置合わせの精度をあげる。
【解決手段】 第一の画像における被検体の弾性に関する情報と、第二の画像における被検体の弾性に関するとの少なくともいずれか一方に基づいて、第一の画像と第二の画像の位置合わせを行う。
【解決手段】 第一の画像における被検体の弾性に関する情報と、第二の画像における被検体の弾性に関するとの少なくともいずれか一方に基づいて、第一の画像と第二の画像の位置合わせを行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像装置で撮像した画像の位置合わせ処理する技術に関し、特に、被
検体の弾性情報を用いた画像処理に関する。
【背景技術】
【０００２】
医療の分野において、医師は、被検体を撮像した医用画像をモニタに表示し、表示された医用画像を読影して病変部の状態や経時変化を観察する。この種の医用画像を撮像する装置（モダリティ）としては、Ｘ線コンピュータ断層撮影装置（Ｘ線ＣＴ）、核磁気共鳴映像装置（ＭＲＩ）、核医学診断装置（ＳＰＥＣＴやＰＥＴ）、超音波画像診断装置（ＵＳ）等が挙げられる。上記のモダリティの夫々は、そのモダリティに特有な物理量を計測することで、被検体の内部組織を画像化している。夫々のモダリティで取得される画像は夫々が異なる性質を有しているので、医師は一般的に、複数のモダリティを併用して診断を行っている。例えば、ＭＲＩと超音波画像診断装置の夫々で被検体を撮像し、得られた情報を総合的に判断することで診断が行われる。
【０００３】
しかし、複数のモダリティで同一の被検体を撮像したとしても、夫々の画像は基準となる座標系が異なっている。従って、被検体の上のある地点は、夫々の画像では異なる位置に写し出されることになる。従来は、夫々のモダリティで撮像した画像は幾何学的な関連付けがなされた上で医師に提示されるわけではなく、夫々のモダリティで独立に得た画像の情報を医師が思考の過程で関連付け統合しているに過ぎなかった。そのため、異なるモダリティで得た画像の対応関係が直感的に理解しにいという課題があった。
【０００４】
そこで、複数のモダリティで得た画像同士の位置合わせを行い、その対応関係を直感的に理解できる形で医師に提示する試み、特に、対話的に撮像される超音波断層像に他のモダリティで得た三次元医用画像を対応付けて提示する試みがなされている。例えば、特許文献１では、被検体のＭＲＩ画像を事前に撮像しておいて、撮像中の超音波断層像に対応するＭＲＩの断層像を生成して、それを超音波断層像と並べて表示するアプリケーションが提案されている。これによると、超音波断層像とＭＲＩ画像の対応関係がわかりやすく、診断の効率や精度の向上への貢献が期待できる。また、超音波画像診断装置では描出されにくい情報（例えばある種の腫瘍の位置）がＭＲＩでは描出されているような状況下において情報を相補的に補うことが出来る。これにより穿刺ガイド等の精度をあげて行うことが可能となる。
【０００５】
超音波断層像と他の三次元医用画像との位置合わせを行うためには、超音波断層像が切り出している断面の位置を何らかの手段によって取得しなくてはならない。この課題に対するアプローチの一つに、外部センサを用いて超音波プローブの位置と姿勢を計測する方法がある。例えば特許文献１では、磁場によって位置と姿勢を計測するセンサを超音波プローブに取り付けることで、その位置と姿勢を計測している。
【０００６】
一方、超音波断層像と三次元医用画像との画像情報を利用して、これら二つのモダリティの位置合わせを行うことが従来から検討されている。例えば、非特許文献１に開示されている手法では、事前に取得したＣＴ画像に基づいて、超音波のシミュレーション画像が生成される。そして、実際に超音波画像診断装置で撮像した超音波断層像と前記シミュレーション画像との対応付けを画像情報に基づいて行うことで、モダリティ間の位置合わせが実行される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特登録０３８７１７４７号広報
【非特許文献】
【０００８】
【非特許文献１】Ｗ． Ｗｅｉｎ，Ｂ．Ｒｏｐｅｒ，ａｎｄ Ｎ．Ｎａｖａｂ，“Ａｕｔｏｍａｔｉｃ ｒｅｇｉｓｔｒａｔｉｏｎ ａｎｄ ｆｕｓｉｏｎ ｏｆ ｕｌｔｒａｓｏｕｎｄ ｗｉｔｈ ＣＴ ｆｏｒ ｒａｄｉｏｔｈｅｒａｐｙ，”Ｐｒｏｃ．ＭＩＣＣＡＩ ２００５，ｖｏｌ．２，ｐｐ．３０３−３１１，２００５．
【非特許文献２】Ｔ．Ｊ．Ｃａｒｔｅｒ，Ｃ．Ｔａｎｎｅｒ，Ｗ．Ｒ．Ｃｒｕｍ，ａｎｄ Ｄ．Ｊ．Ｈａｗｋｅｓ，“Ｂｉｏｍｅｃｈａｎｉｃａｌ ｍｏｄｅｌ ｉｎｉｔｉａｌｉｚｅｄ ｎｏｎ−ｒｉｇｉｄ ｒｅｇｉｓｔｒａｔｉｏｎ ｆｏｒ ｉｍａｇｅ−ｇｕｉｄｅｄ ｂｒｅａｓｔ ｓｕｒｇｅｒｙ”，Ｐｒｏｃ．ＭＩＣＣＡＩ ２００６ Ｗｏｒｋｓｈｏｐ ｏｎ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｂｉｏｍｅｃｈａｎｉｃｓ ｆｏｒ Ｍｅｄｉｃｉｎｅ，ｐｐ．１０４−１１２，２００６．
【非特許文献３】Ｔ．Ｗ．Ｓｅｄｅｒｂｅｒｇ，“Ｆｒｅｅ−ｆｏｒｍ ｄｅｆｏｒｍａｔｉｏｎ ｏｆ ｓｏｌｉｄ ｇｅｏｍｅｔｒｉｃ ｍｏｄｅｌｓ，”Ｐｒｏｃ．ＳＩＧＧＲＡＰＨ’８６，ｖｏｌ．２０，ｎｏ．４，ｐｐ．１５１−１６０，１９８６．
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、外部センサに基づく方法の場合、被検体は剛体であって変形はしないという仮定が必要である。しかし、被検体が剛体であるという仮定は、診療部位によっては成り立ち難い場合がある。例えば、乳腺科領域において乳がんの検査を行う場合には、被検体である乳房を剛体と仮定することは困難である。特に、ＭＲＩの撮像を伏臥位（うつ伏せ）で行い、超音波による撮像を仰臥位（あお向け）で行うという通常の検査フローにおいては、重力の影響で乳房の形状が大きく変化してしまう。また、超音波の撮像はプローブを被検体の表面に押し当てて行うため、プローブによる圧力で被検体が変形することもある。
【００１０】
一方、画像情報に基づいて位置合わせを行う従来技術では、被検体が非剛体であることを考慮した上で、画像間における変形の補正を含めた位置合わせを行うことが可能である。しかし、変形には非常に多くの自由度が存在するために局所解に陥ってしまい、正しい位置合わせ結果が得られない場合があるという課題があった。
【００１１】
本発明は、上記の課題に鑑みてなされたものであり、二つの異なる画像間の位置合わせの精度を上げることを目的とする。
【課題を解決するための手段】
【００１２】
上記の目的を達成するための、本発明の一態様によるによる画像処理装置は以下の構成を備える。すなわち、
第一の画像と第二の画像との位置合わせを行う画像処理装置であって、
前記第一の画像における被検体の弾性に関する情報を取得する第一の弾性情報取得手段と、
前記第二の画像における被検体の弾性に関する情報を取得する第二の弾性情報取得手段と、
前記第一の弾性情報と前記第二の弾性情報との少なくともいずれか一方に基づいて、前記第一の画像と前記第二の画像の位置合わせを行う位置合わせ手段と、
を有する。
【発明の効果】
【００１３】
本発明の構成により、二つの異なる画像間の位置合わせの精度をあげることができる。
【図面の簡単な説明】
【００１４】
【図１】第１実施形態に係る画像処理装置１０と接続される機器の構成を示す図である。
【図２】第１実施形態に係る画像処理装置１０の機能構成を示す図である。
【図３】第１実施形態に係る画像処理装置１０の各部をソフトウェアにより実現することのできるコンピュータの基本構成を示す図である。
【図４】第１実施形態に係る画像処理装置１０の処理手順を示すフローチャートである。
【図５】第１実施形態に係る位置合わせ処理部２５０の処理手順を示すフローチャートである。
【図６】第２実施形態に係る画像処理装置６００の機能構成を示す図である。
【図７】第２実施形態に係る画像処理装置６００の処理手順を示すフローチャートである。
【図８】第３実施形態に係る画像処理装置８００の機能構成を示す図である。
【図９】第３実施形態に係る位置合わせ処理部８５０の処理手順を示すフローチャートである。
【図１０】第４実施形態に係る位置合わせ処理部１０５０の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、添付図面に従って本発明に係る画像処理装置及び方法の好ましい実施形態について詳説する。ただし、発明の範囲は図示例に限定されるものではない。
【００１６】
［第１実施形態］
本実施形態における画像処理装置は、事前に撮像した被検体のＭＲＩ画像と、操作者（技師や医師）が対話的に撮像している当該被検体の超音波断層像の夫々を取得し、超音波断層像に対応するＭＲＩの断層像を生成して表示する機能を提供する。
【００１７】
図１は、本実施形態に係る画像処理装置１０と接続される機器の構成図である。図１に示すように、画像処理装置１０は、超音波画像診断装置２０、核磁気共鳴映像装置３０、及び位置姿勢センサ４０とをしめす。これらの装置は、イーサネット（登録商標）等によるＬＡＮ（ローカルエリアネットワーク）５０を介して接続されている。なお、これらの機器との接続方式はこれに限るものではなく、例えば、ＵＳＢやＩＥＥＥ１３９４等のインターフェイスを介して行ってもよい。
【００１８】
超音波画像診断装置２０には、１次元アレイの超音波探触子群からなる超音波プローブ２５が接続されており、超音波画像診断装置２０は被検体の２次元の超音波断層像を撮像する。超音波断層像の計測は、超音波プローブ２５を不図示の被検体に接触させ、超音波プローブ２５から超音波信号を送信し、その反射信号を当該超音波プローブ２５で受信することによって行われる。本実施形態に係る超音波画像診断装置２０は、断層像として、被検体における第一の画像としてのＢモード像、及び第一の弾性情報としての弾性画像を生成する。この弾性画像（以下、「超音波弾性画像」と呼ぶ場合がある）は、Ｂモード画像に撮像されている被検体の弾性に関する情報を表している。超音波弾性画像の生成方法は、超音波プローブ２５から与えた圧力による画像の変形量に基づく方式や、拍動等を利用する方式等が提案されているが、何れの方法を用いてもよい。超音波画像診断装置２０が生成した夫々の断層像は、ＬＡＮ５０を介して画像処理装置１０へと送信される。
【００１９】
核磁気共鳴映像装置３０は、被検体の内部組織の磁気共鳴現象に係る物理特性を３次元的に画像化し、第二の画像としての三次元のＭＲＩ画像を生成する。ここで、核磁気共鳴映像装置３０によって撮像する画像は、例えばＴ１強調画像である。また、読影の必要性に応じてＴ２強調画像やその他のモードで得た画像を撮像してもよいし、造影を行ってもよい。また、複数のモードで撮像を行ってもよい。共鳴映像装置３０が生成したＭＲＩ画像は、ＬＡＮ５０を介して画像処理装置１０へと送信される。
【００２０】
位置姿勢センサ４０は、超音波プローブ２５の位置と姿勢を計測し、ＬＡＮ５０を介してこれを画像処理装置１０へと送信する。ここで、位置姿勢センサ４０としては何れの方式のセンサを用いてもよい。例えば、磁場を利用する磁気式のセンサや、マーカとカメラからなる光学式のセンサを用いることができる。
【００２１】
次に、図２を用いて、本実施形態に係る画像処理装置１０の機能構成を説明する。図２は、画像処理装置１０の機能ブロック図である。図２に示す通り、画像処理装置１０は、超音波断層像取得部２１０、プローブ位置姿勢取得部２２０、ＭＲＩ画像取得部２３０、弾性情報推定部２４０、位置合わせ処理部２５０、ＭＲＩ断層像生成部２６０、及び表示部２７０を備えて構成される。
【００２２】
第一の画像取得手段及び第一の弾性情報取得手段としての超音波断層像取得部２１０は、超音波画像診断装置２０によって撮像される超音波断層像（Ｂモード像及び弾性画像）を取得する。
【００２３】
プローブ位置姿勢取得部２２０は、位置姿勢センサ４０によって計測される超音波プローブ２５の位置と姿勢の計測値を取得する。
【００２４】
第二の画像取得手段としてのＭＲＩ画像取得部２３０は、核磁気共鳴映像装置３０によって撮像されるＭＲＩ画像を取得する。
【００２５】
第二の弾性情報取得手段としての弾性情報推定部２４０は、ＭＲＩ画像取得部２３０が取得したＭＲＩ画像に基づいて、第二の弾性情報としてＭＲＩ画像に係る被検体の弾性に関する情報を推定し、ＭＲＩ弾性画像を生成する。
【００２６】
位置合わせ処理部２５０は、超音波断層像取得部２１０が取得した超音波断層像と、ＭＲＩ画像取得部２３０が取得したＭＲＩ画像との非剛体変形位置合わせを行う。具体的には、ＭＲＩ画像の変形パラメータと、ＭＲＩ座標系における超音波断層像の位置と姿勢を導出し、これをＭＲＩ断層像生成部２６０へと出力する。なお、位置合わせ処理部２５０における処理の詳細については、図５のフローチャートを用いて後に説明する。
【００２７】
ＭＲＩ断層像生成部２６０は、位置合わせ処理部２５０によって得られた位置合わせ結果に応じて、超音波断層像に対応するＭＲＩの断層画像を生成する。つまり予め撮像されたＭＲＩ画像から超音波断層像に対応する領域の画像を取得する。
【００２８】
また、表示部２７０は、超音波断層像取得部２１０が得た超音波のＢモード画像と、ＭＲＩ断層像生成部２６０で生成したＭＲＩの断層画像を、モニタ上の左右または上下に並べた状態で表示する。
【００２９】
なお、図２に示した画像処理装置１０の各部は、コンピュータのＣＰＵにより実行することでその機能を実現するソフトウェアとして実現してもよい。本実施形態では、画像処理装置１０の各部は夫々ソフトウェアにより実現されており、同一のコンピュータにインストールされているものとする。
【００３０】
図３は、画像処理装置１０の各部の機能をソフトウェアで実現するためのコンピュータの基本構成を示す図である。
【００３１】
ＣＰＵ３０１は、ＲＡＭ３０２やＲＯＭ３０３に格納されたプログラムやデータを用いてコンピュータ全体の制御を行う。また、画像処理装置１０の各部に対応するソフトウェアの実行を制御して、各部の機能を実現する。
【００３２】
ＲＡＭ３０２は、外部記憶装置３０４からロードされたプログラムやデータを一時的に記憶するエリアを備えると共に、ＣＰＵ３０１が各種の処理を行うために必要とするワークエリアを備える。ＲＯＭ３０３は、一般にコンピュータのＢＩＯＳや設定データなどが格納されている。外部記憶装置３０４は、ハードディスクドライブなどの大容量情報記憶装置として機能する装置であって、ここにオペレーティングシステムやＣＰＵ３０１が実行するプログラム等を保存する。また本実施形態の説明において既知としている情報はここに保存されており、必要に応じてＲＡＭ３０２にロードされる。
【００３３】
モニタ３０５は、液晶ディスプレイなどにより構成されている。例えば、表示部２７０が出力する内容を表示することができる。キーボード３０６、マウス３０７は入力デバイスであり、操作者はこれらを用いて、各種の指示を画像処理装置１０に与えることができる。
【００３４】
インターフェイス３０８は、画像処理装置１０と外部の機器との間で各種データのやりとりを行うためのものであり、ＩＥＥＥ１３９４やＵＳＢ、イーサネット（登録商標）ポート等によって構成される。インターフェイス３０８を介して取得したデータは、ＲＡＭ３０２に取り込まれる。超音波断層像取得部２１０やプローブ位置姿勢取得部２２０、ＭＲＩ画像取得部２３０等の機能は、インターフェイス３０８を介して実現される。
【００３５】
上述した各構成要素は、バス３０９によって相互に接続される。
【００３６】
次に、図４のフローチャートを参照して、本実施形態の画像処理装置１０が実行する具体的な処理の手順を説明する。なお、本実施形態における画像処理装置１０の各部の機能は、各部の機能を実現するプログラムをＣＰＵ３０１が実行し、コンピュータ全体を制御することで実現される。なお、以下の処理を行う前段で、同フローチャートに従ったプログラムコードは、例えば外部記憶装置３０４からＲＡＭ３０２に既にロードされているものとする。
【００３７】
（ステップＳ４１０）
ステップＳ４１０において、ＭＲＩ画像取得部２３０は、核磁気共鳴映像装置３０によって撮像されるＭＲＩ画像を取得する。そして、取得したＭＲＩ画像を、弾性情報推定部２４０、位置合わせ処理部２５０、及びＭＲＩ断層像生成部２６０へと送信する。なお、ＭＲＩ画像取得部２３０によるＭＲＩ画像の取得は、核磁気共鳴映像装置３０から直接行ってもよい。あるいは、核磁気共鳴映像装置３０が撮像した画像を不図示の医用画像記録装置に記録し、医用画像記録装置から所望の画像を読み出して取得してもよい。
【００３８】
（ステップＳ４２０）
ステップＳ４２０において、弾性情報推定部２４０は、ステップＳ４１０で取得したＭＲＩ画像に画像処理を施し、当該ＭＲＩ画像に係る被検体の弾性に関する情報（第二の弾性情報）を推定し、ＭＲＩ弾性画像を生成する。そして、生成したＭＲＩ弾性画像を位置合わせ処理部２５０へと送信する。
【００３９】
本ステップにおける処理は、例えば、非特許文献２に開示されている方法によって行うことができる。すなわち、取得したＭＲＩ画像に画像処理を施し、弾性率の異なる組織（例えば被検体が乳房である場合には、脂肪、乳腺、胸筋等）を表す領域に画像を分割する。そして、統計情報として予め保持している各組織の弾性パラメータを夫々の領域に代入した３次元画像を生成し、これをＭＲＩ弾性画像とする。
【００４０】
（ステップＳ４３０）
ステップＳ４３０において、超音波断層像取得部２１０は、超音波画像診断装置２０によって撮像される超音波断層像（Ｂモード像及び弾性画像）を取得する。そして、取得したＢモード画像を位置合わせ処理部２５０及び表示部２７０へと送信する。また、取得した超音波弾性画像を、位置合わせ処理部２５０へと送信する。なお、超音波断層像取得部２１０による超音波断層像の取得は、超音波画像診断装置２０の撮像と同期して直接行ってもよい。あるいは、超音波画像診断装置２０が過去に撮像した断層像を不図示の医用画像記録装置に記録し、当該医用画像記録装置から所望の断層像を読み出して取得してもよい。
【００４１】
（ステップＳ４４０）
ステップＳ４４０において、プローブ位置姿勢取得部２２０は、位置姿勢センサ４０によって計測される超音波プローブ２５の位置と姿勢の計測値を取得する。そして、取得した計測値を、ＭＲＩ座標系（ステップＳ４１０で取得したＭＲＩ画像を定義する座標系）における超音波断層像の位置と姿勢に変換し、これを位置合わせ処理部２５０へと送信する。
【００４２】
なお、本実施形態においては、位置姿勢センサ４０が定めるセンサ座標系とＭＲＩ座標系との関係は予め校正されており、その変換式は既知の情報としてプローブ位置姿勢取得部２２０に保持されているものとする。また、超音波プローブ２５と超音波断層像との間の関係も予め校正されており、その変換式は既知の情報としてプローブ位置姿勢取得部２２０に保持されているものとする。センサ座標系におけるプローブの位置と姿勢をＭＲＩ座標系における超音波断層像の位置と姿勢に変換する処理は、これらの変換式を用いた座標変換によって公知の方法で行うことが可能であるので、詳細な説明は省略する。
【００４３】
ここで、ＭＲＩ撮像時の被検体の姿勢と超音波プローブ２５を使用して撮像している際の被検体の姿勢は異なる。そのため、被検体は弾性であるため重力の影響を受けており、被検体の形状は完全に一致しない。また、ステップＳ４４０で得られるＭＲＩ座標系における超音波断層像の位置と姿勢は、被検体の弾力により誤差が含まれたものとなる。すなわち、この位置と姿勢を用いてＭＲＩ断層像を生成したとしても、超音波断層像に完全に対応する断層像を得ることは困難である。ステップＳ４５０で行う位置合わせ処理の一つの目的は、夫々の画像を有する情報を利用して補正することにある。
【００４４】
（ステップＳ４５０）
ステップＳ４５０において、位置合わせ処理部２５０は、上記のステップで取得した情報に基づいて、ステップＳ４１０で取得したＭＲＩ画像と、ステップＳ４３０で取得したＢモード画像との非剛体変形位置合わせを行う。具体的には、ＭＲＩ画像の変形パラメータ（本実施形態では、ＭＲＩ座標系上にグリッド状に設定した制御点の変位）と、ＭＲＩ座標系における超音波断層像の位置と姿勢を導出する。そして、これをＭＲＩ断層像生成部２６０へと出力する。なお、本ステップにおける処理の詳細については、図５のフローチャートを用いて後に説明する。
【００４５】
（ステップＳ４６０）
ステップＳ４６０において、ＭＲＩ断層像生成部２６０は、ステップＳ４５０で得たＭＲＩ画像の変形パラメータと、ＭＲＩ座標系における超音波断層像の位置と姿勢に基づいて、超音波断層像に対応するＭＲＩの断層画像を生成する。具体的には、まず始めに、夫々の制御点の変位に応じて、Ｂ−Ｓｐｌｉｎｅ等の公知の補間手法を利用して、変形後のＭＲＩ画像をボリュームデータとして生成する。そして、超音波断層像の位置と姿勢に基づいてＭＲＩ座標系上における超音波断層像上の各点の座標を求め、それらの点の画素値を、その近傍における変形後のＭＲＩ画像の画素値の内挿によって算出する。なお、変形後のＭＲＩ画像をボリュームデータとして生成せずに、必要な点の座標についてのみ変形後のＭＲＩ画像の画素値を算出してもよい。
【００４６】
なお、ＭＲＩ断層像生成部２６０が生成する画像は超音波断層像の位置と姿勢に対応するＭＲＩの断層像そのものでなくてもよい。例えば、表示に必要な強調処理やノイズ除去処理をＭＲＩ断層像に施したものであってもよい。また、当該断面に直交する一定範囲のＭＲＩ画像の値を積算した画像を生成してもよい。また、当該断面に対するＭＲＩ画像のＭＩＰ（Ｍａｘｉｍｕｍ Ｉｎｔｅｎｓｉｔｙ Ｐｒｏｊｅｃｔｉｏｎ：最大輝度投影像）を生成してもよい。その他、ＭＲＩ画像から生成可能な当該断面に関連する画像であれば、何れの画像であってもよい。
【００４７】
（ステップＳ４７０）
ステップＳ４７０において、表示部２７０は、ステップＳ４３０で取得した超音波のＢモード画像と、ステップＳ４６０で生成したＭＲＩ断層画像を、モニタ３０５上の左右または上下に並べた状態で表示する。
【００４８】
（ステップＳ４８０）
ステップＳ４８０において、画像処理装置１０は、処理を終了する指示が操作者から入力されたか否かを判定する。処理を終了する指示を取得した場合には、全ての処理を終了する。一方、処理を終了する指示を取得しなかった場合には、ステップＳ４３０へと処理を戻す。そして、新たな超音波断層像（超音波断層像が時系列的に撮像されている場合には、次フレームの超音波断層像）に対してステップＳ４３０からステップＳ４７０までの処理を実行する。なお、操作者からの指示の入力は、例えばキーボード３０６を介して行うことができる。
【００４９】
以上によって、画像処理装置１０の処理が行われる。
【００５０】
次に、図５のフローチャートを参照して、ステップＳ４５０で位置合わせ処理部２５０が実行する非剛体変形位置合わせ処理の手順を説明する。以下の処理において、位置合わせ処理部２５０は、位置合わせの未知パラメータであるｓ１及びｓ２の推定を行う。ここでｓ１は、ＭＲＩ座標系における超音波断層像の位置と姿勢の推定値を表している。ｓ１は例えば、位置を表す３自由度の値と、姿勢を表す３自由度の値（オイラー角や四元数など）からなる。一方ｓ２は、ＭＲＩ画像の変形パラメータの推定値を表している。本実施形態では、ＭＲＩ座標系上にグリッド状に設定した制御点の変位を変形パラメータとする。
【００５１】
（ステップＳ５０５）
ステップＳ５０５において、位置合わせ処理部２５０は、ステップＳ４２０で生成したＭＲＩ弾性画像に基づいて、重力に基づくＭＲＩ画像の変形パラメータを推定する。
【００５２】
本実施形態では、ＭＲＩ撮像時の被検体の姿勢と超音波撮像時の被検体の姿勢が、異なる場合がある。これにより、重力方向の差異によって生じる被検体の変形が位置合わせに有効となる場合がある。そのため、超音波撮像時の被検体の姿勢で仮想的に撮像したＭＲＩ画像を、ステップＳ４１０で得たＭＲＩ画像を変形することによって生成する。そのための変形パラメータを、重力方向に関する情報とＭＲＩ画像の弾性情報から推定する。例えば、公知の有限要素法等を用いたシミュレーションによって、重力に基づく変形パラメータ（制御点の変位）を推定する（非特許文献２を参照）。すなわち、ステップＳ４２０で得た被検体の弾性情報を用いて、超音波撮像時の被検体の姿勢である場合に被検体にかかる重力を想定してＭＲＩ画像を変形する。なお、同様に超音波撮像時の画像を変形することもできる。
【００５３】
（ステップＳ５１０）
ステップＳ５１０において、位置合わせ処理部２５０は、位置合わせの未知パラメータに初期値を設定する。具体的には、ｓ１の初期値として、ステップＳ４４０で得たＭＲＩ座標系における超音波断層像の位置と姿勢の計測値を設定する。また、ｓ２の初期値として、ステップＳ５０５で求めた重力に基づく変形パラメータを設定する。
【００５４】
（ステップＳ５１５）
ステップＳ５１５において、位置合わせ処理部２５０は、ステップＳ５１０で設定した
初期値に基づく位置合わせの整合性を評価する。すなわち、変形パラメータｓ２に基づく
変形を施したＭＲＩ画像に対する、ｓ１に位置する超音波断層像の位置合わせの整合性し
て、その評価値を算出する。
【００５５】
ここで、位置合わせの整合性は、ＭＲＩ画像と超音波断層像の整合性のみではなく、ＭＲＩ弾性画像と超音波弾性画像との整合性も考慮して評価する。弾性情報はモダリティに依らずに被検体に固有の情報を表しているので、整合性評価の精度の向上が期待できる。
つまり、画像だけで位置あわせする場合には、局所解に収束する場合がある。これに弾性情報を加えることで真値の値に収束を近づけることが出来る。
【００５６】
本実施形態では、整合性の評価値ｅを次式によって算出する。
【００５７】
【数１】
【００５８】
ここで、ＦＵＳ、ＦＭＲＩ、ＩＵＳ、ＩＭＲＩは夫々、超音波弾性画像、ＭＲＩ弾性画像、超音波断層像、及びＭＲＩ画像を表している。また、ｅＦは、パラメータとしてｓ１，ｓ２を仮定した場合の、超音波弾性画像とＭＲＩ弾性画像の整合性を表す評価値である。また、ｅＩは、パラメータとしてｓ１，ｓ２を仮定した場合の、超音波断層像とＭＲＩ画像の整合性を表す評価値である。また、αは、ｅＦとｅＩの混合比率を表すパラメータであり、０から１の間の値をとる。位置合わせ処理部２５０は、被検体の弾性情報の値に基づいてαの値を変える。予め定められる範囲のいずれの範囲に被検体の弾性があるかでαの値を変える。これにより、αは被検体の部位により適応的に定められる。例えば乳房のように軟部組織でできている場合には弾性が高い範囲にあるのでαの値を上げる。手足のように骨部が主とした構成となる場合には、弾性が低い範囲を含むのでαの値を下げる。また、被検体の弾性情報の、平均値、中間値、モード等の統計量によりαの値を変更してもよい。これにより弾性により変形が大きい場合には超音波弾性画像とＭＲＩ弾性画像の整合性を表す評価値の比率を上げることが出来る。また、位置合わせ処理部２５０は、超音波弾性画像、ＭＲＩ弾性画のそれぞれの姿勢に応じてもαの値を変更する場合がある。つまり両画像における被写体の撮影時の姿勢が近い場合にはαの値を下げ、異なる場合にはαの値を上げる。そこで、位置合わせ処理部２５０は、両画像における被写体の撮影時の姿勢の相関を数値化しておき、その値に応じてαの値を変更する。例えば被検体の姿勢を水平から垂直までの角度で数値化しておき、両画像おける被検体の角度、及び両画像における被検体の角度の差でαの値を変更する。
【００５９】
なお、αの値は固定値として予め定めておいてもよいし、画像処理装置１０の操作者が必要に応じて設定できるような構成であってもよい。
【００６０】
なお、超音波弾性画像とＭＲＩ弾性画像との整合性ｅＦは、次式によって算出される。
【００６１】
【数２】
【００６２】
ここでＦ’ＭＲＩは、位置合わせのパラメータをｓ１，ｓ２と仮定して超音波断層像の断面に対応する断面を切り出した、ＭＲＩ弾性画像の断層像を表している。この断層像の生成は、ステップＳ４６０と同様な処理によって行うことができる。また、ｅ’Ｆは、超音波弾性画像と、ＭＲＩ弾性画像から切り出した断層像との整合性を表す評価値である。
ｅ’Ｆの算出は、例えば平均二乗誤差基準に基づいて、次式によって算出する。
【００６３】
【数３】
【００６４】
ここで、Ωは超音波弾性画像上の各点の座標を表している。また、Ｍは加算した画素数を表している。なお、ｅ’Ｆを算出する方法としては、これ以外にも、絶対値誤差基準や相互相関基準、相互情報量基準、正規化相互情報量基準といった、画像間の整合性や類似度を評価するための公知の評価基準を用いてもよい。また、これ以外にも、画像から勾配等の画像特徴量を抽出した後に整合性を評価するなど、様々な方法が考えられる。また、上記のいずれかの基準に類する他の基準を用いてもよいし、上記の基準を加重和などによって組み合わせて用いてもよい。
【００６５】
同様に、超音波断層像とＭＲＩ画像との整合性ｅＩは、次式によって算出される。
【００６６】
【数４】
【００６７】
ここでＩ’ＭＲＩは、位置合わせのパラメータをｓ１，ｓ２と仮定して超音波断層像の断面に対応する断面を切り出した、ＭＲＩ画像の断層像を表している。この断層像の生成は、ステップＳ４６０と同様な処理によって行うことができる。また、ｅ’Ｉは、超音波弾性画像と、ＭＲＩ画像から切り出した断層像との整合性を表す評価値である。なお、ｅ’Ｉの算出は、ｅ’Ｆの算出と同様な方法で行うことが可能であるので、詳細な説明は省略する。
【００６８】
（ステップＳ５２０）
ステップＳ５２０において、位置合わせ処理部２５０は、ステップＳ５１５で算出した位置合わせの整合性の評価値が十分か否かを判定する。そして、評価値が予め定めた閾値よりも大きい場合には、位置合わせが十分なされているものとして、ステップＳ５６０へと処理を進める。一方、評価値が予め定めた閾値未満の場合には、ステップＳ５２５へと処理を進め、以降の位置合わせ処理を実行する。
【００６９】
以下のステップにおける位置合わせの処理は、ｓ１の推定とｓ２の推定を交互に繰り返すことによって実現される。まず、ステップＳ５２５からステップＳ５３５の処理によって、超音波断層像の位置と姿勢の推定値ｓ１に補正を加えることで、変形後のＭＲＩ画像と超音波断層像との間の剛体位置合わせを行う。
【００７０】
（ステップＳ５２５）
ステップＳ５２５において、位置合わせ処理部２５０は、超音波断層像の位置と姿勢の現在の推定値ｓ１に異なる微小変化を加え、位置と姿勢の幾つかの仮説を生成する。そして、夫々の位置と姿勢の仮説について、変形パラメータｓ２（ここでは固定値として扱う）に基づく変形を施したＭＲＩ画像に対する超音波断層像の位置合わせの整合性を評価し、その評価値を算出する。ここで、位置合わせの整合性の評価値の算出は、ステップＳ５１５と同様の方法によって行う。
【００７１】
（ステップＳ５３０）
ステップＳ５３０において、位置合わせ処理部２５０は、ステップＳ５２５で算出した評価値の最大値を選択する。そして、その最大値を与える仮説（最善の仮説）を、超音波断層像の位置と姿勢の新たな推定値ｓ１とする。ただし、求めた最大値が現在の推定値に対する評価値と比べて小さい場合には、推定値の更新は行わない。
【００７２】
（ステップＳ５３５）
ステップＳ５３５において、位置合わせ処理部２５０は、超音波断層像の位置と姿勢の推定値の更新が収束しているか否かを判定する。そして、推定値の更新が収束していないと判定した場合には、ステップＳ５２５へと処理を進めて仮説の生成と選択を再度実行する。一方、推定値の更新が収束していると判定した場合には、ステップＳ５４０へと処理を進める。例えば、ステップＳ５３０における評価値の値が一定値よりも小さい場合に、推定値の更新が収束していると判断する。あるいは、更新前後における推定値の差分が閾値以下の場合に、推定値の更新が収束していると判断してもよい。その他、何れの方法によって収束を判定してもよい。また、この判定は、例えば繰り返し処理を行った回数をカウントし、そのカウント値が予め設定した回数以上になった場合に繰り返し処理を終了させることができる。この方法によれば、ある一定時間以内に一連の繰り返し計算が終了することを期待でき、システム全体の実時間性の確保ができるなどの効果がある。
【００７３】
次に、ステップＳ５４０からステップＳ５５０の処理によって、ＭＲＩ画像の変形パラメータｓ２（夫々の制御点の変位）に補正を加えることで、変形後のＭＲＩ画像と超音波断層像との間の非剛体位置合わせを行う。
【００７４】
（ステップＳ５４０）
ステップＳ５４０において、位置合わせ処理部２５０は、変形パラメータの推定値ｓ２に異なる微小変化を加え、変形パラメータの幾つかの仮説を生成する。そして、夫々の仮説に基づく変形を施したＭＲＩ画像に対する、ｓ１（ここでは固定値として扱う）に位置する超音波断層像の位置合わせの整合性を評価し、その評価値を算出する。ここで、位置合わせの整合性の評価値の算出は、ステップＳ５１５と同様の方法によって行う。
【００７５】
なお、仮説の生成は、現在のパラメータの整合性の評価の際に、夫々の制御点付近の局所領域における位置合わせの整合性を夫々算出しておいて、その整合性に応じて変位を操作するような構成であることが望ましい。すなわち、局所領域における位置合わせの整合性がとれている（評価値が小さい）場合には、その領域に影響を及ぼす制御点の変位は正しいとする。そして、修正が必要な制御点の変位にのみ微小変化を与える。あるいは、評価値に応じて微小変化の大きさを調整する。これによると、仮説の組み合わせ爆発を防ぎ、処理時間の高速化を図ることができる。
【００７６】
また、変形パラメータである各制御点の変位の微小変化の範囲を、夫々の制御点付近におけるＭＲＩ弾性画像の値に応じて調整してもよい。すなわち、制御点付近の弾性が大きい場合には制御点が変位しうる範囲を広く設定し、弾性が小さい場合には制御点が変位しうる範囲を狭く設定するという調整を行ってもよい。
【００７７】
（ステップＳ５４５）
ステップＳ５４５において、位置合わせ処理部２５０は、ステップＳ５４０で算出した評価値の最大値を選択する。そして、その最大値を与える仮説（最善の仮説）を、変形パラメータの新たな推定値ｓ２とする。ただし、求めた最大値が現在の推定値に対する評価値と比べて小さい場合には、推定値の更新は行わない。
【００７８】
（ステップＳ５５０）
ステップＳ５５０において、位置合わせ処理部２５０は、変形パラメータの推定値の更新が収束しているか否かを判定する。そして、推定値の更新が収束していないと判定した場合には、ステップＳ５４０へと処理を進めて仮説の生成と選択を再度実行する。一方、推定値の更新が収束していると判定した場合には、ステップＳ５５５へと処理を進める。
例えば、ステップＳ５４５における評価値の改善度合いが閾値以下の場合に、推定値の更新が収束していると判断する。あるいは、更新前後における変形パラメータの差分が閾値以下の場合に、推定値の更新が収束していると判断してもよい。その他、何れの方法によって収束を判定してもよい。また、この判定は、例えば繰り返し処理を行った回数をカウントし、そのカウント値が予め設定した回数以上になった場合に繰り返し処理を終了させることができる。この方法によれば、ある一定時間以内に一連の繰り返し計算が終了することを期待でき、システム全体の実時間性の確保ができるなどの効果がある。
【００７９】
（ステップＳ５５５）
ステップＳ５５５において、位置合わせ処理部２５０は、上記の処理を反復して行うか否かを判定する。処理を反復して行う場合には、ステップＳ５２５へと処理を進め、現在のパラメータのさらなる更新を実行する。一方、反復しない場合には、ステップＳ５６０へと処理を進める。判定は、例えば、処理の最大反復回数を予め定めておいて、ステップＳ５２５からステップＳ５５０までの処理をその回数だけ反復したか否かによって行えばよい。このとき、位置合わせの整合性の評価値が十分な場合には、反復回数に係らずに処理を終了するような構成であってもよい。また、ステップＳ５３０とステップＳ５４５の何れにおいても推定値が更新されなくなるまで、処理を反復するような構成としてもよい。
【００８０】
（ステップＳ５６０）
ステップＳ５６０において、位置合わせ処理部２５０は、以上の工程で求めたＭＲＩ画像の変形パラメータｓ２と超音波断層像の位置と姿勢ｓ１を、位置合わせの結果としてＭＲＩ断層像生成部２６０へと出力する。
【００８１】
以上によって、ステップＳ４５０における非剛体変形位置合わせの処理が実行される。
【００８２】
以上の処理によって、本実施形態における画像処理装置１０によれば、位置合わせのパラメータを推定する過程において夫々のモダリティから得た弾性情報の整合性を勘案することで、ＭＲＩ画像と超音波断層像との位置合わせを高精度に行うことが可能となる。
【００８３】
［第２実施形態］
本実施形態に係る画像処理装置は、被検体のＭＲＩ画像と３次元超音波画像の夫々を取得し、これらの画像を位置合わせして表示する機能を提供する。
【００８４】
本実施形態に係る画像処理装置は、第１実施形態と異なる第二の弾性情報取得手段を有している。第１実施形態では、ＭＲＩ画像から組織構造を推定し、統計値に基づいてＭＲＩ画像の弾性情報を推定していた。一方、本実施形態では、複数の姿勢で取得したＭＲＩ画像を利用して当該ＭＲＩ画像に関する被検体の弾性情報を推定する。これによると、被検体の実際の変形に基づいた弾性情報が取得できるので、より高い精度の弾性情報を取得できる。
【００８５】
また、第１実施形態では、第一のモダリティとして、超音波プローブ２５が１次元アレイの超音波探触子群からなり、２次元の超音波断層像を撮像する超音波画像診断装置２０を用いていた。一方、本実施形態では、第一のモダリティとして、超音波プローブ２５が２次元アレイの超音波探触子群からなり、３次元の超音波画像を撮像する超音波画像診断装置２０を使用する。これによると、位置合わせに用いる情報量が増加するので、位置合わせの曖昧さが減少し、正確な位置合わせが可能となる。
【００８６】
本実施形態に係る画像処理装置６００と接続される機器の構成図は、図１と同様である。すなわち、第１実施形態に係る画像処理装置１０と同様に、超音波画像診断装置２０、核磁気共鳴映像装置３０、及び位置姿勢センサ４０が、ＬＡＮ５０を介して接続されている。
【００８７】
超音波画像診断装置２０には、２次元アレイの超音波探触子群からなる超音波プローブ２５が接続されており、超音波画像診断装置２０は被検体の３次元超音波画像（Ｂモード像及び超音波弾性画像）を撮像する。超音波画像診断装置２０が生成した夫々の画像は、ＬＡＮ５０を介して画像処理装置６００へと送信される。
【００８８】
核磁気共鳴映像装置３０は、第１実施形態と同様に、被検体のＭＲＩ画像を撮像する。
ただし、本実施形態においては、被検体の撮像を複数の姿勢（以下の説明では、伏臥位と伏臥位とする）において行うことが、第１実施形態とは異なっている。それぞれの姿勢で撮像したＭＲＩ画像は、ＬＡＮ５０を介して画像処理装置６００へと送信される。
【００８９】
位置姿勢センサ４０は、第１実施形態と同様に、超音波プローブ２５の位置と姿勢を計測し、ＬＡＮ５０を介してこれを画像処理装置６００へと送信する。
【００９０】
図６は、画像処理装置６００の機能ブロック図である。図６に示す通り、画像処理装置６００は、超音波画像取得部６１０、プローブ位置姿勢取得部６２０、ＭＲＩ画像取得部６３０、弾性情報推定部６４０、位置合わせ処理部６５０、表示画像生成部６６０、及び表示部６７０を備えて構成される。
【００９１】
超音波画像取得部６１０は、超音波画像診断装置２０によって撮像される３次元超音波画像（Ｂモード像及び弾性画像）を取得する。
【００９２】
プローブ位置姿勢取得部６２０は、位置姿勢センサ４０によって計測される超音波プローブ２５の位置と姿勢の計測値を取得する。
【００９３】
ＭＲＩ画像取得部６３０は、核磁気共鳴映像装置３０によって撮像される複数姿勢のＭＲＩ画像を取得する。
【００９４】
弾性情報推定部６４０は、ＭＲＩ画像取得部６３０が取得した複数姿勢のＭＲＩ画像に基づいて、一方のＭＲＩ画像（以下の説明では、伏臥位とする）を基準とした被検体の弾性に関する情報（第二の弾性情報）を推定し、ＭＲＩ弾性画像を生成する。
【００９５】
位置合わせ処理部６５０は、超音波画像取得部６１０が取得した超音波画像と、ＭＲＩ画像取得部６３０が取得したＭＲＩ画像の一方（以下の説明では、伏臥位とする）との非剛体変形位置合わせを行う。具体的には、伏臥位のＭＲＩ画像の変形パラメータと、ＭＲＩ座標系における超音波画像の位置と姿勢を導出し、これを表示画像生成部６６０へと出力する。
【００９６】
表示画像生成部６６０は、位置合わせ処理部６５０によって得られた位置合わせ結果に応じて表示画像を生成する。また、表示部６７０は、表示画像生成部６６０が生成した表示画像をモニタに表示する。
【００９７】
なお、図６に示した画像処理装置６００の各部は、コンピュータのＣＰＵにより実行することでその機能を実現するソフトウェアとして実現してもよい。本実施形態では、画像処理装置６００の各部は夫々ソフトウェアにより実現されており、同一のコンピュータにインストールされているものとする。なお、画像処理装置６００の各部の機能をソフトウェアで実現するためのコンピュータの基本構成は図３と同様であるので、説明を省略する。
【００９８】
次に、図７のフローチャートを参照して、本実施形態の画像処理装置６００が実行する具体的な処理の手順を説明する。なお、本実施形態における画像処理装置６００の各部の機能は、各部の機能を実現するプログラムをＣＰＵ３０１が実行し、コンピュータ全体を制御することで実現される。なお、以下の処理を行う前段で、同フローチャートに従ったプログラムコードは、例えば外部記憶装置３０４からＲＡＭ３０２に既にロードされているものとする。
【００９９】
（ステップＳ７１０）
ステップＳ７１０において、ＭＲＩ画像取得部６３０は、核磁気共鳴映像装置３０によって撮像される複数姿勢のＭＲＩ画像を取得する。そして、取得したＭＲＩ画像を、弾性情報推定部６４０、位置合わせ処理部６５０、及び表示画像生成部６６０へと送信する。
なお、ＭＲＩ画像取得部６３０によるＭＲＩ画像の取得は、核磁気共鳴映像装置３０から直接行ってもよい。あるいは、核磁気共鳴映像装置３０が撮像した画像を不図示の医用画像記録装置に記録し、医用画像記録装置から所望の画像を読み出して取得してもよい。
【０１００】
（ステップＳ７２０）
ステップＳ７２０において、弾性情報推定部６４０は、ステップＳ７１０で取得した複数姿勢（ここでは仰臥位と伏臥位）のＭＲＩ画像の位置合わせを行う。そして、その結果に基づいて、一方のＭＲＩ画像（ここでは伏臥位のＭＲＩ画像）を基準とした被検体の弾性に関する情報を推定し、ＭＲＩ弾性画像を生成する。そして、生成したＭＲＩ弾性画像を位置合わせ処理部６５０へと送信する。
【０１０１】
具体的には、まず、伏臥位のＭＲＩ画像と仰臥位のＭＲＩ画像の非剛体変形位置合わせを、輝度情報の類似性に基づく公知の方法を用いて行う。例えば、伏臥位のＭＲＩ画像上にグリッド状の画素間の対応点を設定し、輝度情報の類似性を利用して、仰臥位のＭＲＩ画像上における対応点の位置を推定する。この処理には、例えばＦＦＤ（Ｆｒｅｅ Ｆｏｒｍ Ｄｅｆｏｒｍａｔｉｏｎ）法（例えば非特許文献３を参照）を利用することができる。そして、夫々の対応画素間について、近傍の制御点までの距離の平均を求め、この値を同地点における弾性率を表す数値（弾性係数。この値は、大きいほど柔らかいことを表す）とする。最後に、対応画素点以外の座標における弾性係数を補間によって算出することで、ＭＲＩ弾性画像を生成する。なお、ここでの位置合わせの対象は同一モダリティであるので、輝度情報のみを用いた場合であっても比較的良好に行うことができる。
【０１０２】
（ステップＳ７３０）
ステップＳ７３０において、超音波画像取得部６１０は、超音波画像診断装置２０によって撮像される３次元超音波画像（Ｂモード像及び弾性画像）を取得する。そして、取得したＢモード画像を位置合わせ処理部６５０及び表示画像生成部６６０へと送信する。また、取得した超音波弾性画像を、位置合わせ処理部６５０へと送信する。なお、超音波画像取得部６１０による３次元超音波画像の取得は、超音波画像診断装置２０の撮像と同期して直接行ってもよい。あるいは、超音波画像診断装置２０が過去に撮像した画像を不図示の医用画像記録装置に記録し、当該医用画像記録装置から所望の画像を読み出して取得してもよい。
【０１０３】
（ステップＳ７４０）
ステップＳ７４０において、プローブ位置姿勢取得部６２０は、第１実施形態におけるステップＳ４４０と同様に、位置姿勢センサ４０によって計測される超音波プローブ２５の位置と姿勢の計測値を取得する。そして、取得した計測値を、ＭＲＩ座標系（ステップＳ７１０で取得した伏臥位のＭＲＩ画像を定義する座標系）における３次元超音波画像の位置と姿勢に変換し、これを位置合わせ処理部６５０へと送信する。
【０１０４】
（ステップＳ７５０）
ステップＳ７５０において、位置合わせ処理部６５０は、一方のＭＲＩ画像（ここでは伏臥位のＭＲＩ画像）を処理対象として、ステップＳ７３０で取得した３次元超音波画像との非剛体変形位置合わせを行う。具体的には、伏臥位のＭＲＩ画像の変形パラメータ（本実施形態では、ＭＲＩ座標系上にグリッド状に設定した制御点の変位）と、ＭＲＩ座標系における３次元超音波画像の位置と姿勢を導出する。そして、これを表示画像生成部６６０へと出力する。
【０１０５】
なお、本ステップにおける位置合わせの処理は、第１実施形態のステップＳ４５０の処理（詳細は図５のフローチャートに示されている）と同様に行うことができる。ただし、超音波画像が３次元データであることに対応して、ステップＳ５１５、ステップＳ５２５、及びステップＳ５４０における整合性の評価値の算出方法が異なっている。具体的には、式３における弾性画像上の各点を表すΩを、二次元平面から三次元空間へと拡張すればよい。
【０１０６】
また、第１実施形態では、ＭＲＩ弾性画像を利用して変形パラメータｓ２の初期値を求めていた（ステップＳ５０５）。しかし、本実施形態では、ステップＳ５０５の処理を行わずに、ステップＳ７２０における位置合わせの結果から得られる伏臥位から仰臥位への変形パラメータをｓ２の初期値として用いてもよい。これによると、仰臥位のＭＲＩ画像を取得した際の被検体の姿勢が超音波画像取得時の被検体の姿勢に近い場合には、より正確な初期値を得ることができる。
【０１０７】
（ステップＳ７６０）
ステップＳ７６０において、表示画像生成部６６０は、ステップＳ７５０で得たＭＲＩ画像の変形パラメータと、ＭＲＩ座標系における３次元超音波画像の位置と姿勢に基づいて表示画像を生成する。具体的には、超音波画像の座標系を基準とした３次元超音波画像の３断面画像と、これに対応するＭＲＩ画像の３断面画像を生成する。ＭＲＩ画像の３断面画像は、夫々の制御点の変位に応じて伏臥位のＭＲＩ画像を変形させた後に、３次元超音波画像の位置と姿勢に基づいて、変形後のＭＲＩ画像から超音波画像の各断面に対応する断面を切り出すことで生成する。なお、表示画像は３断面画像に限るものではなく、例えば、それぞれの画像のＭＩＰ画像などであってもよい。なお、何れの表示形態を選択するかを、例えばキーボード３０６等を介したユーザインタフェースによって切り替えられる構成であってもよい。
【０１０８】
（ステップＳ７７０）
ステップＳ７７０において、表示部６７０は、ステップＳ７６０で生成した表示画像をモニタ３０５に並べて表示する。
【０１０９】
（ステップＳ７８０）
ステップＳ７８０において、画像処理装置６００は、処理を終了する指示が操作者から入力されたか否かを判定する。処理を終了する指示を取得した場合には、全ての処理を終了する。一方、処理を終了する指示を取得しなかった場合には、ステップＳ７３０へと処理を戻す。そして、新たな３次元超音波画像（３次元超音波画像が時系列的に撮像されている場合には、次フレームの３次元超音波画像）に対してステップＳ７３０からステップＳ７７０までの処理を実行する。なお、操作者からの指示の入力は、例えばキーボード３０６等を介して行うことができる。
【０１１０】
以上によって、画像処理装置６００の処理が行われる。
【０１１１】
なお、本実施形態では、ＭＲＩ画像を変形させることで位置合わせを行っていたが、双方のモダリティの画像が３次元で与えられている場合には、何れのモダリティの画像を変形させて位置合わせを行ってもよい。
【０１１２】
なお、本実施形態では、２次元アレイの超音波プローブを用いて３次元超音波画像を得ていたが、３次元超音波画像の取得方法はこれに限定されるものではない。例えば、１次元アレイの超音波プローブを利用して、複数の地点で撮像した２次元の超音波断層像を統合することで３次元超音波画像を取得してもよい。また、超音波の三次元データは密である必要は無く、離散的な複数の地点で撮像した超音波断層像群と、ＭＲＩ画像との位置合わせを行うこともできる。この場合、複数の地点で撮像した超音波断層像群を疎な３次元超音波画像と考えて、ステップＳ７５０の処理において、超音波断層像群上の点をΩと定義すればよい。
【０１１３】
［第３実施形態］
本実施形態に係る画像処理装置は、事前に撮像した被検体のＭＲＩ画像と、操作者（技師や医師）が対話的に撮像している当該被検体の超音波断層像の夫々を取得し、超音波断層像に対応するＭＲＩの断層像を生成して表示する機能を提供する。
【０１１４】
本実施形態に係る画像処理装置８００と接続される機器の構成図は、図１と同様である。すなわち、第１実施形態に係る画像処理装置１０と同様に、超音波画像診断装置２０、核磁気共鳴映像装置３０、及び位置姿勢センサ４０が、ＬＡＮ５０を介して接続されている。なお、これらの機器に関する説明は、第１実施形態と同様であるので省略する。
【０１１５】
図８は、画像処理装置８００の機能ブロック図である。図８に示す通り、画像処理装置８００は、超音波断層像取得部２１０、プローブ位置姿勢取得部２２０、ＭＲＩ画像取得部２３０、弾性情報推定部２４０、位置合わせ処理部８５０、ＭＲＩ断層像生成部２６０、及び表示部２７０を備えて構成される。なお、位置合わせ処理部８５０以外の各部の機能は第１実施形態と同様であるので、その説明を省略する。
【０１１６】
位置合わせ処理部８５０は、第１実施形態に係る位置合わせ処理部２５０と同様に、超音波断層像取得部２１０が取得した超音波断層像と、ＭＲＩ画像取得部２３０が取得したＭＲＩ画像との非剛体変形位置合わせを行う。具体的には、ＭＲＩ画像の変形パラメータと、ＭＲＩ座標系における超音波断層像の位置と姿勢を導出し、これをＭＲＩ断層像生成部２６０へと出力する。なお、本実施形態に係る位置合わせ処理部８５０は、弾性情報推定部２４０から入力したＭＲＩ画像に関する弾性情報を、変形パラメータの推定工程において更新していくことが、第１実施形態に係る位置合わせ処理部２５０とは異なっている。
【０１１７】
位置合わせ処理部８５０は、仮定した変形パラメータに基づいてＭＲＩ画像に係る被検体の弾性に関する情報（第二の弾性情報）を更新する弾性情報更新部８５２（第二の弾性情報推定手段）を有している。また、弾性情報の整合性を利用して位置合わせの評価を行う評価部８５４を有している。なお、これら各部の機能を含む位置合わせ処理部８５０における処理の内容は、図９のフローチャートを用いて後に説明する。
【０１１８】
なお、図８に示した画像処理装置８００の各部は、コンピュータのＣＰＵにより実行することでその機能を実現するソフトウェアとして実現してもよい。本実施形態では、画像処理装置８００の各部は夫々ソフトウェアにより実現されており、同一のコンピュータにインストールされているものとする。なお、画像処理装置８００の各部の機能をソフトウェアで実現するためのコンピュータの基本構成は図３と同様であるので、説明を省略する。
【０１１９】
本実施形態の画像処理装置８００が実行する具体的な処理の手順は、図４のフローチャートと同様であるので、説明を省略する。ただし、本実施形態では、ステップＳ４５０で位置合わせ処理部８５０が実行する位置合わせ処理の内容が、第１実施形態とは異なっている。
【０１２０】
以下、図９のフローチャートを参照して、ステップＳ４５０で位置合わせ処理部８５０が実行する位置合わせ処理の手順を説明する。なお、本実施形態における位置合わせ処理は、上記の実施形態と同様に、ＭＲＩ座標系における超音波断層像の位置と姿勢ｓ１と、ＭＲＩ画像の変形パラメータｓ２の導出によって実現される。
【０１２１】
（ステップＳ９０５）
ステップＳ９０５において、位置合わせ処理部２５０は、ステップＳ４２０で生成したＭＲＩ弾性画像に基づいて、重力に基づくＭＲＩ画像の変形パラメータを推定する。なお、ステップＳ９０５の処理は、第１実施形態におけるステップＳ５０５の処理と同様であるので、詳細な説明は省略する。
【０１２２】
（ステップＳ９１０）
ステップＳ９１０において、位置合わせ処理部８５０は、位置合わせの未知パラメータに初期値を設定する。ステップＳ９１０の処理は、第１実施形態におけるステップＳ５１０の処理と同様であるので、詳細な説明は省略する。
【０１２３】
第１実施形態と同様に本実施形態においても、位置合わせの処理は、ｓ１の推定とｓ２の推定を交互に繰り返すことによって実現される。
【０１２４】
まず、ステップＳ９１５からステップＳ９２５の処理によって、超音波断層像の位置と姿勢の推定値ｓ１に補正を加えることで、ＭＲＩ画像と超音波断層像との間の剛体位置合わせを行う。なお、ステップＳ９１５，ステップＳ９２０，及びステップＳ９２５の夫々の処理は、第１実施形態におけるステップＳ５２５、ステップＳ５３０、及びステップＳ５３５の処理と同様であるので、詳細な説明は省略する。
【０１２５】
次に、ステップＳ９３０からステップＳ９５０の処理によって、ＭＲＩ画像の変形パラメータｓ２（夫々の制御点の変位）に補正を加えることで、ＭＲＩ画像と超音波断層像との間の非剛体位置合わせを行う。
【０１２６】
（ステップＳ９３０）
ステップＳ９３０において、弾性情報更新部８５２は、変形パラメータの推定値ｓ２に異なる微小変化を加え、変形パラメータの幾つかの仮説を生成する。
【０１２７】
なお、この操作は、現在のパラメータの整合性の評価の際に、夫々の制御点付近の局所領域における位置合わせの整合性を夫々算出しておいて、その整合性に応じて変位を操作するような構成であることが望ましい。すなわち、局所領域における位置合わせの整合性がとれている（評価値が小さい）場合には、その領域に影響を及ぼす制御点の変位は正しいとする。そして、修正が必要な制御点の変位にのみ微小変化を与える。あるいは、評価値に応じて微小変化の大きさを調整する。これによると、仮説の組み合わせ爆発を防ぎ、処理時間の高速化を図ることができる。
【０１２８】
（ステップＳ９３５）
ステップＳ９３５において、弾性情報更新部８５２は、ステップＳ９３０で生成した夫々の変形の仮説に基づいて、ＭＲＩ画像の弾性情報を推定（現在のＭＲＩ弾性画像を更新）する。例えば、夫々の制御点について、近傍の制御点までの距離の平均を求め、この値を同地点における弾性率を表す数値（弾性係数。この値は、大きいほど柔らかいことを表す）とする。そして、制御点以外の座標における弾性係数を補間することで、ＭＲＩ弾性画像を生成する。
【０１２９】
（ステップＳ９４０）
ステップＳ９４０において、評価部８５４は、ステップＳ９３０で生成した夫々の変形の仮説に基づいて、ｓ１（ここでは固定値として扱う）に位置する超音波断層像の位置合わせの整合性を評価し、その評価値を算出する。ここで、位置合わせの整合性の評価値の算出は、第１実施形態におけるステップＳ５１５と同様の方法によって行う。評価値の算出に用いるＭＲＩ弾性画像として、夫々の仮説に応じてステップＳ９３５で生成した画像を利用することが、本実施形態の特徴である。
【０１３０】
（ステップＳ９４５）
ステップＳ９４５において、評価部８５４は、ステップＳ９４０で算出した評価値の最大値を選択する。そして、その最大値を与える仮説（最善の仮説）を、変形パラメータの新たな推定値ｓ２とする。ただし、求めた最大値が現在の推定値に対する評価値と比べて小さい場合には、推定値の更新は行わない。
【０１３１】
（ステップＳ９５０）
ステップＳ９５０において、位置合わせ処理部８５０は、変形パラメータの推定値の更新が収束しているか否かを判定する。そして、推定値の更新が収束していないと判定した場合には、ステップＳ９３０へと処理を進めて仮説の生成と選択を再度実行する。一方、推定値の更新が収束していると判定した場合には、ステップＳ９５５へと処理を進める。
ステップＳ９５０の処理は、第１実施形態におけるステップＳ５５０の処理と同様であるので、詳細な説明は省略する。
【０１３２】
（ステップＳ９５５）
ステップＳ９５５において、位置合わせ処理部８５０は、上記の処理を反復して行うか否かを判定する。処理を反復して行う場合には、ステップＳ９１５へと処理を進め、現在のパラメータのさらなる更新を実行する。一方、反復しない場合には、ステップＳ９６０へと処理を進める。ステップＳ９５５の処理は、第１実施形態におけるステップＳ５５５の処理と同様であるので、詳細な説明は省略する。
【０１３３】
（ステップＳ９６０）
ステップＳ９６０において、位置合わせ処理部８５０は、以上の工程で求めたＭＲＩ画像の変形パラメータｓ２と超音波断層像の位置と姿勢ｓ１を、位置合わせの結果としてＭＲＩ断層像生成部２６０へと出力する。
【０１３４】
以上によって、ステップＳ４５０における非剛体変形位置合わせの処理が実行される。
【０１３５】
なお、本実施形態では弾性情報推定部２４０で推定した弾性画像を弾性画像の初期値として用いていたが、この弾性画像は必ずしも必要ではない。例えば、被検体の平均的な弾性係数が統計的に得られている場合には、その値を初期値として用いてもよい。また、弾性に関する事前知識がない場合には、弾性情報推定部２４０の処理とステップＳ９０５の処理を省き、変位パラメータの初期値（各制御点の変位）を０として以降の処理を実行してもよい。
【０１３６】
以上の処理によって、本実施形態における画像処理装置８００によれば、位置合わせのパラメータを推定する過程において弾性情報の整合性を勘案することで、ＭＲＩ画像と超音波断層像との位置合わせを高精度に行うことが可能となる。本実施形態ではさらに、変形の推定に応じて弾性画像を更新することで、弾性情報の比較をより高精度に行うことが可能となる。
【０１３７】
従来の方法では、位置合わせの対象である二つの画像間には変形が無いことが望ましい。一方、本実施形態では、二つの画像間に変形があることを利用して、位置合わせの過程でそこから導き出される弾性の情報を位置合わせに活用する。この点が、本実施形態の特徴といえる。
【０１３８】
［第４実施形態］
本実施形態に係る画像処理装置は、事前に撮像した被検体のＭＲＩ画像と、操作者（技師や医師）が対話的に撮像している当該被検体の超音波断層像の夫々を取得し、超音波断層像に対応するＭＲＩの断層像を生成して表示する機能を提供する。
【０１３９】
本実施形態に係る画像処理装置１０００と接続される機器の構成図は、図１と同様である。すなわち、第１実施形態に係る画像処理装置１０と同様に、超音波画像診断装置２０、核磁気共鳴映像装置３０、及び位置姿勢センサ４０が、ＬＡＮ５０を介して接続されている。なお、これらの機器に関する説明は、第１実施形態と同様であるので省略する。
【０１４０】
本実施形態に係る画像処理装置１０００の機能ブロック図は、図８と同様である。但し、位置合わせ処理部の動作が第３実施形態とは異なっている（本実施形態ではこれを位置合わせ処理部１０５０と呼ぶ）。なお、位置合わせ処理部１０５０以外の各部の機能は第３実施形態と同様であるので、その説明を省略する。
【０１４１】
位置合わせ処理部１０５０は、第３実施形態に係る位置合わせ処理部８５０と同様に、超音波断層像取得部２１０が取得した超音波断層像と、ＭＲＩ画像取得部２３０が取得したＭＲＩ画像との非剛体変形位置合わせを行う。具体的には、ＭＲＩ画像の変形パラメータと、ＭＲＩ座標系における超音波断層像の位置と姿勢を導出し、これをＭＲＩ断層像生成部２６０へと出力する。
【０１４２】
位置合わせ処理部１０５０は、仮定した弾性情報（第二の弾性情報）に基づいて変形パラメータを推定する弾性情報更新部１０５２（第二の弾性情報推定手段）と、弾性情報の整合性を利用して位置合わせの評価を行う評価部１０５４を有している。なお、これら各部の機能を含む位置合わせ処理部１０５０における処理の内容は、図１０のフローチャートを用いて後に説明する。
【０１４３】
なお、画像処理装置１０００の各部は、コンピュータのＣＰＵにより実行することでその機能を実現するソフトウェアとして実現してもよい。本実施形態では、画像処理装置１００００の各部は夫々ソフトウェアにより実現されており、同一のコンピュータにインストールされているものとする。なお、画像処理装置１０００の各部の機能をソフトウェアで実現するためのコンピュータの基本構成は図３と同様であるので、説明を省略する。
【０１４４】
本実施形態の画像処理装置１０００が実行する具体的な処理の手順は、図４のフローチャートと同様であるので、説明を省略する。ただし、本実施形態では、ステップＳ４５０で位置合わせ処理部１０５０が実行する位置合わせ処理の内容が、第１実施形態及び第３実施形態とは異なっている。
【０１４５】
以下、図１０のフローチャートを参照して、ステップＳ４５０で位置合わせ処理部１０５０が実行する位置合わせ処理の手順を説明する。なお、本実施形態における位置合わせ処理は、上記の実施形態と同様に、ＭＲＩ座標系における超音波断層像の位置と姿勢ｓ１と、ＭＲＩ画像の変形パラメータｓ２の導出によって実現される。
【０１４６】
（ステップＳ１００５）
ステップＳ１００５において、位置合わせ処理部２５０は、ステップＳ４２０で生成したＭＲＩ弾性画像に基づいて、重力に基づくＭＲＩ画像の変形パラメータを推定する。なお、ステップＳ１００５の処理は、第１実施形態におけるステップＳ５０５の処理と同様であるので、詳細な説明は省略する。
【０１４７】
（ステップＳ１０１０）
ステップＳ１０１０において、位置合わせ処理部８５０は、位置合わせの未知パラメータに初期値を設定する。ステップＳ１０１０の処理は、第１実施形態におけるステップＳ５１０の処理と同様であるので、詳細な説明は省略する。
【０１４８】
本実施形態においても、位置合わせの処理は、ｓ１の推定とｓ２の推定を交互に繰り返すことによって実現される。
【０１４９】
まず、ステップＳ１０１５からステップＳ１０２５の処理によって、超音波断層像の位置と姿勢の推定値ｓ１に補正を加えることで、ＭＲＩ画像と超音波断層像との間の剛体位置合わせを行う。なお、ステップＳ１０１５、ステップＳ１０２０、及びステップＳ１０２５の夫々の処理は、第１実施形態におけるステップＳ５２５、ステップＳ５３０、及びステップＳ５３５の処理と同様であるので、説明は省略する。
【０１５０】
次に、ステップＳ１０３０からステップＳ１０５０の処理によって、ＭＲＩ画像の変形パラメータｓ２（夫々の制御点の変位）に補正を加えることで、ＭＲＩ画像と超音波断層像との間の非剛体位置合わせを行う。
【０１５１】
（ステップＳ１０３０）
ステップＳ１０３０において、弾性情報更新部１０５２は、現時点でのＭＲＩ画像弾性画像に対して幾つかの補正の仮説を生成する。具体的には、弾性画像上に設定されている制御点の弾性係数に微小な変化を加える。そして、補間によって画像全体の弾性係数を得る。
【０１５２】
なお、この操作は、現在のパラメータの整合性の評価の際に、夫々の制御点付近の局所領域における位置合わせの整合性を夫々算出しておいて、その整合性に応じて変化量を操作するような構成であることが望ましい。すなわち、局所領域における位置合わせの整合性がとれている（評価値が小さい）場合には、その領域に影響を及ぼす制御点の弾性係数は正しいとする。そして、修正が必要な制御点の弾性係数のみに新たな仮説を生成する。
あるいは、評価値の大きさに応じて仮説を生成する際の変化量を調整する。これによると、仮説の組み合わせ爆発を防ぎ、処理時間の高速化を図ることができる。
【０１５３】
（ステップＳ１０３５）
ステップＳ１０３５において、弾性情報更新部１０５２は、ステップＳ１０３０で生成した夫々の仮説に基づいて、ステップＳ１００５と同様な処理によって、重力による変形パラメータを推定する。そして、得られた変形パラメータをｓ２の候補群とする。
【０１５４】
（ステップＳ１０４０）
ステップＳ１０４０において、評価部１０５４は、ステップＳ１０３５で求めた変形パラメータの候補群に基づいて、ｓ１（ここでは固定値として扱う）に位置する超音波断層像の位置合わせの整合性を評価し、その評価値を算出する。ここで、位置合わせの整合性の評価値の算出は、第１実施形態におけるステップＳ５１５と同様の方法によって行う。
評価値の算出に用いるＭＲＩ弾性画像として、ステップＳ１０３０で生成した仮説を利用することが、本実施形態の特徴である。
【０１５５】
（ステップＳ１０４５）
ステップＳ１０４５において、評価部１０５４は、ステップＳ１０４０で算出した評価値の最大値を選択する。そして、その最大値を与えるｓ２の候補を、変形パラメータの新たな推定値ｓ２とする。ただし、求めた最大値が現在の推定値に対する評価値と比べて小さい場合には、推定値の更新は行わない。
【０１５６】
（ステップＳ１０５０）
ステップＳ１０５０において、位置合わせ処理部１０５０は、変形パラメータの推定値の更新が収束しているか否かを判定する。そして、推定値の更新が収束していないと判定した場合には、ステップＳ１０３０へと処理を進めて仮説の生成と選択を再度実行する。
一方、推定値の更新が収束していると判定した場合には、ステップＳ１０５５へと処理を進める。ステップＳ１０５０の処理は、第１実施形態におけるステップＳ５５０の処理と同様であるので、詳細な説明は省略する。
【０１５７】
（ステップＳ１０５５）
ステップＳ１０５５において、位置合わせ処理部１０５０は、上記の処理を反復して行うか否かを判定する。処理を反復して行う場合には、ステップＳ１０１５へと処理を進め、現在のパラメータのさらなる更新を実行する。一方、反復しない場合には、ステップＳ１０６０へと処理を進める。ステップＳ１０５５の処理は、第１実施形態におけるステップＳ５５５の処理と同様であるので、詳細な説明は省略する。
【０１５８】
（ステップＳ１０６０）
ステップＳ１０６０において、位置合わせ処理部１０５０は、以上の工程で求めたＭＲＩ画像の変形パラメータｓ２と超音波断層像の位置と姿勢ｓ１を、位置合わせの結果としてＭＲＩ断層像生成部２６０へと出力する。
【０１５９】
以上によって、ステップＳ４５０における非剛体変形位置合わせの処理が実行される。
【０１６０】
なお、本実施形態では弾性情報推定部２４０で推定した弾性画像を弾性画像の初期値として用いていたが、この弾性画像は必ずしも必要ではない。例えば、被検体の平均的な弾性係数が統計的に得られている場合には、その値を初期値として用いてもよい。また、弾性に関する事前知識がない場合には、弾性情報推定部２４０の処理とステップＳ１００５の処理を省き、変位パラメータの初期値（各制御点の変位）を０として以降の処理を実行してもよい。
【０１６１】
なお、本実施形態では重力に基づく変形のみを仮定していたが、実際の変形がそれ以外の要因を含んでいる場合には、重力に基づく変形以外の変形を考慮してもよい。例えば、ステップＳ１０４５の処理の後に、第１実施形態のステップＳ５４０及びステップＳ５４５に相当する処理を実行してもよい。これによると、重力変形では表現できない変形パラメータを推定することができる。
【０１６２】
本実施形態によっても、第３の実施形態と同様な効果を得ることができる。
【０１６３】
（変形例１）
第１及び第２実施形態では、図５に示したフローチャートに従って非剛体変形位置合わせの処理を行っていた。しかし、位置合わせ処理部２５０（６５０）が実行する処理の手順は上記に限定されるものではない。また、第３、第４実施形態についても同様である。
【０１６４】
例えば、変形が重力のみに基づいていると仮定できる場合には、被検体に対するＭＲＩ撮像時の重力方向と超音波撮像時の重力方向を、変形パラメータｓ２として推定してもよい。ここで、既知の値として与えられている重力方向は、ｓ２の初期値として利用する。
そして、非剛体位置合わせに係る処理（ステップＳ５４０からステップＳ５５０の処理）のうちのステップＳ５４０を、次のように変更すればよい。まず、現在のｓ２（すなわち、重力方向の推定値）に異なる微小変化を加え、幾つかの仮説を生成する。そして、夫々の仮説について、ステップＳ５０５と同様な処理によって制御点の変位を推定する。そして、推定した変位に基づく変形を施したＭＲＩ画像に対する、ｓ１（ここでは固定値として扱う）に位置する超音波断層像の位置合わせの整合性を評価し、その評価値を算出する。以下、仮説の選択（Ｓ５４５）と収束の判定（Ｓ５５０）は、前記と同様に行えばよい。
【０１６５】
なお、重力の方向と、重力方向では表現できない制御点の変位とを、二段階の変形パラメータとしてそれぞれ推定する構成としてもよい。この場合、ステップＳ５３５とステップＳ５４０の間に、重力方向を推定する上記の処理を追加すればよい。
【０１６６】
また、被検体の姿勢を正確に制御できる場合には、変形パラメータの推定はステップＳ５０５でのみ行い、それ以降は剛体位置合わせのみを行う（すなわち、ステップＳ５４０からステップＳ５５０の処理は実行しない）という構成であってもよい。また、重力による被検体の変形が小さい場合には、ステップＳ５０５の処理を省略してもよい。また、変形がほとんど生じない被検体の場合には、被検体を剛体であると仮定して、ステップＳ５０５及びステップＳ５４０からステップＳ５５０の処理を省略してもよい。この場合、実行される位置合わせの処理は剛体位置合わせとなる。すなわち、推定されるパラメータはＭＲＩ座標系における超音波断層像の位置と姿勢のみとなる。
【０１６７】
また、複数の仮説を生成して夫々の評価値を求め、最善の仮説を選択していくという上記のアプローチ以外の方法であってもよい。例えば、以下のような方法で位置合わせを行ってもよい。まず、超音波断層像（及び超音波弾性画像）を複数のブロックに分割する。
次に、夫々のブロックと、当該ブロックの近傍に設定した探索範囲内から切り出したＭＲＩ画像（及びＭＲＩ弾性画像）の夫々との整合性を評価する。次に、最も整合するＭＲＩ画像（及びＭＲＩ弾性画像）を選択して、その位置（対応点）をブロックごとに取得する。そして、得られた対応点の集合に基づいて、超音波断層像の位置と姿勢を更新する。このとき、整合性の評価には、ＭＲＩ弾性画像と超音波弾性画像の整合性と、ＭＲＩ画像と超音波断層画像の整合性を用いればよい。
【０１６８】
なお、位置合わせ処理部２５０が実行する処理の手順は上記に限定されるものではなく、位置合わせのパラメータを推定する過程において夫々のモダリティから得た弾性情報の整合性を勘案する方法であれば、何れの方法であってもよい。
【０１６９】
（変形例２）
第１，第３，第４実施形態では、弾性情報推定部２４０はＭＲＩ画像から組織構造を推定し、それに基づいてＭＲＩ画像の弾性情報を推定していた。また、第２実施形態では、複数の姿勢で取得したＭＲＩ画像を利用して当該ＭＲＩ画像に関する被検体の弾性情報を推定していた。しかし、弾性情報の取得方法はこれに限るものではなく、他の何れの方法で取得してもよい。例えば、ある姿勢で撮影したＭＲＩ画像から抽出した組織構造に基づいて弾性情報を推定した後に、それを利用して他の姿勢で得たＭＲＩ画像との位置合わせを行い、さらに、その位置合わせ結果から弾性情報を推定しなおしてもよい。また、核磁気共鳴映像装置３０がＭＲＩ弾性画像を生成する機能を有している場合には、画像処理装置１０が核磁気共鳴映像装置３０からＭＲＩ弾性画像を取得する構成であってもよい。
【０１７０】
（変形例３）
上記の実施形態では、位置合わせの結果を利用して超音波断層像に対応するＭＲＩ断層像を生成してこれを超音波断層像と並べて表示していたが、必ずしもこの処理を行う必要はない。例えば、生成したＭＲＩ断層像を外部記憶装置３０４に記録する構成であってもよい。また、インターフェイス３０８を介して外部に出力する構成であってもよい。また、生成したＭＲＩ断層像と超音波断層像とを重ね合わせて表示してもよい。
【０１７１】
また、ＭＲＩ断層像を生成するのではなく、ＭＲＩ画像上で同定されている注目部位（例えば腫瘍）の位置を３次元的に保持しておいて、超音波断層像上における当該注目部位の位置を求めるのに位置合わせの結果を利用してもよい。そして、得られた情報を超音波断層像上に重畳表示するようなアプリケーションを構成してもよい。また、位置合わせの結果であるＭＲＩの変形パラメータと超音波断層像の位置と姿勢を、他のアプリケーションから利用可能な形態でＲＡＭ３０２や外部記憶装置３０４に保存する構成であってもよい。また、インターフェイス３０８を介してこれらを外部に出力する構成であってもよい。
【０１７２】
（変形例４）
上記の実施形態では、三次元医用画像を取得する第二のモダリティとしてＭＲＩを用いていたが、第二のモダリティはこれに限定されるものではない。例えば、Ｘ線ＣＴやＳＰＥＣＴ、ＰＥＴなどの三次元医用画像を生成するその他のモダリティであってもよい。同様に、第一のモダリティも超音波画像診断装置以外であってもよい。例えば、レーザー光源と超音波探触子を有するプローブを用いて被検体を撮像する光音響トモグラフィ（ＰＡＴ：Ｐｈｏｔｏ−ａｃｏｕｓｔｉｃ Ｔｏｍｏｇｒａｐｈｙ）装置であってもよい。また、第一のモダリティと第二のモダリティは必ずしも異なるモダリティで無くてもよく、異なる条件下において同一のモダリティによって取得した画像であってもよい。例えば、同一モダリティの別機種（例えば複数のメーカーの機器）で取得した画像同士であってもよいし、単一の機器によって異なる条件で撮影した画像同士であってもよい。
【０１７３】
（その他の実施形態）
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【０１７４】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１７５】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１７６】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【０１７７】
なお、上述した本実施の形態における記述は、本発明に係る好適な画像処理装置の一例であり、本発明はこれに限定されるものではない。
【符号の説明】
【０１７８】
１０ 画像処理装置
２０ 超音波画像診断装置
２５ 超音波プローブ
３０ 核磁気共鳴映像装置
４０ 位置姿勢センサ
２１０ 超音波断層像取得部
２２０ プローブ位置姿勢取得部
２３０ ＭＲＩ画像取得部
２４０ 弾性情報推定部
２５０ 位置合わせ処理部
２６０ ＭＲＩ断層像生成部
６００ 画像処理装置
６１０ 超音波画像取得部
６２０ プローブ位置姿勢取得部
６３０ ＭＲＩ画像取得部
６４０ 弾性情報推定部
６５０ 位置合わせ処理部
８００ 画像処理装置
８５０ 位置合わせ処理部
８５２ 弾性情報更新部
８５４ 評価部
１０００ 画像処理装置
１０５０ 位置合わせ処理部
１０５２ 弾性情報更新部
１０５４ 評価部
【技術分野】
【０００１】
本発明は、複数の撮像装置で撮像した画像の位置合わせ処理する技術に関し、特に、被
検体の弾性情報を用いた画像処理に関する。
【背景技術】
【０００２】
医療の分野において、医師は、被検体を撮像した医用画像をモニタに表示し、表示された医用画像を読影して病変部の状態や経時変化を観察する。この種の医用画像を撮像する装置（モダリティ）としては、Ｘ線コンピュータ断層撮影装置（Ｘ線ＣＴ）、核磁気共鳴映像装置（ＭＲＩ）、核医学診断装置（ＳＰＥＣＴやＰＥＴ）、超音波画像診断装置（ＵＳ）等が挙げられる。上記のモダリティの夫々は、そのモダリティに特有な物理量を計測することで、被検体の内部組織を画像化している。夫々のモダリティで取得される画像は夫々が異なる性質を有しているので、医師は一般的に、複数のモダリティを併用して診断を行っている。例えば、ＭＲＩと超音波画像診断装置の夫々で被検体を撮像し、得られた情報を総合的に判断することで診断が行われる。
【０００３】
しかし、複数のモダリティで同一の被検体を撮像したとしても、夫々の画像は基準となる座標系が異なっている。従って、被検体の上のある地点は、夫々の画像では異なる位置に写し出されることになる。従来は、夫々のモダリティで撮像した画像は幾何学的な関連付けがなされた上で医師に提示されるわけではなく、夫々のモダリティで独立に得た画像の情報を医師が思考の過程で関連付け統合しているに過ぎなかった。そのため、異なるモダリティで得た画像の対応関係が直感的に理解しにいという課題があった。
【０００４】
そこで、複数のモダリティで得た画像同士の位置合わせを行い、その対応関係を直感的に理解できる形で医師に提示する試み、特に、対話的に撮像される超音波断層像に他のモダリティで得た三次元医用画像を対応付けて提示する試みがなされている。例えば、特許文献１では、被検体のＭＲＩ画像を事前に撮像しておいて、撮像中の超音波断層像に対応するＭＲＩの断層像を生成して、それを超音波断層像と並べて表示するアプリケーションが提案されている。これによると、超音波断層像とＭＲＩ画像の対応関係がわかりやすく、診断の効率や精度の向上への貢献が期待できる。また、超音波画像診断装置では描出されにくい情報（例えばある種の腫瘍の位置）がＭＲＩでは描出されているような状況下において情報を相補的に補うことが出来る。これにより穿刺ガイド等の精度をあげて行うことが可能となる。
【０００５】
超音波断層像と他の三次元医用画像との位置合わせを行うためには、超音波断層像が切り出している断面の位置を何らかの手段によって取得しなくてはならない。この課題に対するアプローチの一つに、外部センサを用いて超音波プローブの位置と姿勢を計測する方法がある。例えば特許文献１では、磁場によって位置と姿勢を計測するセンサを超音波プローブに取り付けることで、その位置と姿勢を計測している。
【０００６】
一方、超音波断層像と三次元医用画像との画像情報を利用して、これら二つのモダリティの位置合わせを行うことが従来から検討されている。例えば、非特許文献１に開示されている手法では、事前に取得したＣＴ画像に基づいて、超音波のシミュレーション画像が生成される。そして、実際に超音波画像診断装置で撮像した超音波断層像と前記シミュレーション画像との対応付けを画像情報に基づいて行うことで、モダリティ間の位置合わせが実行される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特登録０３８７１７４７号広報
【非特許文献】
【０００８】
【非特許文献１】Ｗ． Ｗｅｉｎ，Ｂ．Ｒｏｐｅｒ，ａｎｄ Ｎ．Ｎａｖａｂ，“Ａｕｔｏｍａｔｉｃ ｒｅｇｉｓｔｒａｔｉｏｎ ａｎｄ ｆｕｓｉｏｎ ｏｆ ｕｌｔｒａｓｏｕｎｄ ｗｉｔｈ ＣＴ ｆｏｒ ｒａｄｉｏｔｈｅｒａｐｙ，”Ｐｒｏｃ．ＭＩＣＣＡＩ ２００５，ｖｏｌ．２，ｐｐ．３０３−３１１，２００５．
【非特許文献２】Ｔ．Ｊ．Ｃａｒｔｅｒ，Ｃ．Ｔａｎｎｅｒ，Ｗ．Ｒ．Ｃｒｕｍ，ａｎｄ Ｄ．Ｊ．Ｈａｗｋｅｓ，“Ｂｉｏｍｅｃｈａｎｉｃａｌ ｍｏｄｅｌ ｉｎｉｔｉａｌｉｚｅｄ ｎｏｎ−ｒｉｇｉｄ ｒｅｇｉｓｔｒａｔｉｏｎ ｆｏｒ ｉｍａｇｅ−ｇｕｉｄｅｄ ｂｒｅａｓｔ ｓｕｒｇｅｒｙ”，Ｐｒｏｃ．ＭＩＣＣＡＩ ２００６ Ｗｏｒｋｓｈｏｐ ｏｎ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｂｉｏｍｅｃｈａｎｉｃｓ ｆｏｒ Ｍｅｄｉｃｉｎｅ，ｐｐ．１０４−１１２，２００６．
【非特許文献３】Ｔ．Ｗ．Ｓｅｄｅｒｂｅｒｇ，“Ｆｒｅｅ−ｆｏｒｍ ｄｅｆｏｒｍａｔｉｏｎ ｏｆ ｓｏｌｉｄ ｇｅｏｍｅｔｒｉｃ ｍｏｄｅｌｓ，”Ｐｒｏｃ．ＳＩＧＧＲＡＰＨ’８６，ｖｏｌ．２０，ｎｏ．４，ｐｐ．１５１−１６０，１９８６．
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、外部センサに基づく方法の場合、被検体は剛体であって変形はしないという仮定が必要である。しかし、被検体が剛体であるという仮定は、診療部位によっては成り立ち難い場合がある。例えば、乳腺科領域において乳がんの検査を行う場合には、被検体である乳房を剛体と仮定することは困難である。特に、ＭＲＩの撮像を伏臥位（うつ伏せ）で行い、超音波による撮像を仰臥位（あお向け）で行うという通常の検査フローにおいては、重力の影響で乳房の形状が大きく変化してしまう。また、超音波の撮像はプローブを被検体の表面に押し当てて行うため、プローブによる圧力で被検体が変形することもある。
【００１０】
一方、画像情報に基づいて位置合わせを行う従来技術では、被検体が非剛体であることを考慮した上で、画像間における変形の補正を含めた位置合わせを行うことが可能である。しかし、変形には非常に多くの自由度が存在するために局所解に陥ってしまい、正しい位置合わせ結果が得られない場合があるという課題があった。
【００１１】
本発明は、上記の課題に鑑みてなされたものであり、二つの異なる画像間の位置合わせの精度を上げることを目的とする。
【課題を解決するための手段】
【００１２】
上記の目的を達成するための、本発明の一態様によるによる画像処理装置は以下の構成を備える。すなわち、
第一の画像と第二の画像との位置合わせを行う画像処理装置であって、
前記第一の画像における被検体の弾性に関する情報を取得する第一の弾性情報取得手段と、
前記第二の画像における被検体の弾性に関する情報を取得する第二の弾性情報取得手段と、
前記第一の弾性情報と前記第二の弾性情報との少なくともいずれか一方に基づいて、前記第一の画像と前記第二の画像の位置合わせを行う位置合わせ手段と、
を有する。
【発明の効果】
【００１３】
本発明の構成により、二つの異なる画像間の位置合わせの精度をあげることができる。
【図面の簡単な説明】
【００１４】
【図１】第１実施形態に係る画像処理装置１０と接続される機器の構成を示す図である。
【図２】第１実施形態に係る画像処理装置１０の機能構成を示す図である。
【図３】第１実施形態に係る画像処理装置１０の各部をソフトウェアにより実現することのできるコンピュータの基本構成を示す図である。
【図４】第１実施形態に係る画像処理装置１０の処理手順を示すフローチャートである。
【図５】第１実施形態に係る位置合わせ処理部２５０の処理手順を示すフローチャートである。
【図６】第２実施形態に係る画像処理装置６００の機能構成を示す図である。
【図７】第２実施形態に係る画像処理装置６００の処理手順を示すフローチャートである。
【図８】第３実施形態に係る画像処理装置８００の機能構成を示す図である。
【図９】第３実施形態に係る位置合わせ処理部８５０の処理手順を示すフローチャートである。
【図１０】第４実施形態に係る位置合わせ処理部１０５０の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、添付図面に従って本発明に係る画像処理装置及び方法の好ましい実施形態について詳説する。ただし、発明の範囲は図示例に限定されるものではない。
【００１６】
［第１実施形態］
本実施形態における画像処理装置は、事前に撮像した被検体のＭＲＩ画像と、操作者（技師や医師）が対話的に撮像している当該被検体の超音波断層像の夫々を取得し、超音波断層像に対応するＭＲＩの断層像を生成して表示する機能を提供する。
【００１７】
図１は、本実施形態に係る画像処理装置１０と接続される機器の構成図である。図１に示すように、画像処理装置１０は、超音波画像診断装置２０、核磁気共鳴映像装置３０、及び位置姿勢センサ４０とをしめす。これらの装置は、イーサネット（登録商標）等によるＬＡＮ（ローカルエリアネットワーク）５０を介して接続されている。なお、これらの機器との接続方式はこれに限るものではなく、例えば、ＵＳＢやＩＥＥＥ１３９４等のインターフェイスを介して行ってもよい。
【００１８】
超音波画像診断装置２０には、１次元アレイの超音波探触子群からなる超音波プローブ２５が接続されており、超音波画像診断装置２０は被検体の２次元の超音波断層像を撮像する。超音波断層像の計測は、超音波プローブ２５を不図示の被検体に接触させ、超音波プローブ２５から超音波信号を送信し、その反射信号を当該超音波プローブ２５で受信することによって行われる。本実施形態に係る超音波画像診断装置２０は、断層像として、被検体における第一の画像としてのＢモード像、及び第一の弾性情報としての弾性画像を生成する。この弾性画像（以下、「超音波弾性画像」と呼ぶ場合がある）は、Ｂモード画像に撮像されている被検体の弾性に関する情報を表している。超音波弾性画像の生成方法は、超音波プローブ２５から与えた圧力による画像の変形量に基づく方式や、拍動等を利用する方式等が提案されているが、何れの方法を用いてもよい。超音波画像診断装置２０が生成した夫々の断層像は、ＬＡＮ５０を介して画像処理装置１０へと送信される。
【００１９】
核磁気共鳴映像装置３０は、被検体の内部組織の磁気共鳴現象に係る物理特性を３次元的に画像化し、第二の画像としての三次元のＭＲＩ画像を生成する。ここで、核磁気共鳴映像装置３０によって撮像する画像は、例えばＴ１強調画像である。また、読影の必要性に応じてＴ２強調画像やその他のモードで得た画像を撮像してもよいし、造影を行ってもよい。また、複数のモードで撮像を行ってもよい。共鳴映像装置３０が生成したＭＲＩ画像は、ＬＡＮ５０を介して画像処理装置１０へと送信される。
【００２０】
位置姿勢センサ４０は、超音波プローブ２５の位置と姿勢を計測し、ＬＡＮ５０を介してこれを画像処理装置１０へと送信する。ここで、位置姿勢センサ４０としては何れの方式のセンサを用いてもよい。例えば、磁場を利用する磁気式のセンサや、マーカとカメラからなる光学式のセンサを用いることができる。
【００２１】
次に、図２を用いて、本実施形態に係る画像処理装置１０の機能構成を説明する。図２は、画像処理装置１０の機能ブロック図である。図２に示す通り、画像処理装置１０は、超音波断層像取得部２１０、プローブ位置姿勢取得部２２０、ＭＲＩ画像取得部２３０、弾性情報推定部２４０、位置合わせ処理部２５０、ＭＲＩ断層像生成部２６０、及び表示部２７０を備えて構成される。
【００２２】
第一の画像取得手段及び第一の弾性情報取得手段としての超音波断層像取得部２１０は、超音波画像診断装置２０によって撮像される超音波断層像（Ｂモード像及び弾性画像）を取得する。
【００２３】
プローブ位置姿勢取得部２２０は、位置姿勢センサ４０によって計測される超音波プローブ２５の位置と姿勢の計測値を取得する。
【００２４】
第二の画像取得手段としてのＭＲＩ画像取得部２３０は、核磁気共鳴映像装置３０によって撮像されるＭＲＩ画像を取得する。
【００２５】
第二の弾性情報取得手段としての弾性情報推定部２４０は、ＭＲＩ画像取得部２３０が取得したＭＲＩ画像に基づいて、第二の弾性情報としてＭＲＩ画像に係る被検体の弾性に関する情報を推定し、ＭＲＩ弾性画像を生成する。
【００２６】
位置合わせ処理部２５０は、超音波断層像取得部２１０が取得した超音波断層像と、ＭＲＩ画像取得部２３０が取得したＭＲＩ画像との非剛体変形位置合わせを行う。具体的には、ＭＲＩ画像の変形パラメータと、ＭＲＩ座標系における超音波断層像の位置と姿勢を導出し、これをＭＲＩ断層像生成部２６０へと出力する。なお、位置合わせ処理部２５０における処理の詳細については、図５のフローチャートを用いて後に説明する。
【００２７】
ＭＲＩ断層像生成部２６０は、位置合わせ処理部２５０によって得られた位置合わせ結果に応じて、超音波断層像に対応するＭＲＩの断層画像を生成する。つまり予め撮像されたＭＲＩ画像から超音波断層像に対応する領域の画像を取得する。
【００２８】
また、表示部２７０は、超音波断層像取得部２１０が得た超音波のＢモード画像と、ＭＲＩ断層像生成部２６０で生成したＭＲＩの断層画像を、モニタ上の左右または上下に並べた状態で表示する。
【００２９】
なお、図２に示した画像処理装置１０の各部は、コンピュータのＣＰＵにより実行することでその機能を実現するソフトウェアとして実現してもよい。本実施形態では、画像処理装置１０の各部は夫々ソフトウェアにより実現されており、同一のコンピュータにインストールされているものとする。
【００３０】
図３は、画像処理装置１０の各部の機能をソフトウェアで実現するためのコンピュータの基本構成を示す図である。
【００３１】
ＣＰＵ３０１は、ＲＡＭ３０２やＲＯＭ３０３に格納されたプログラムやデータを用いてコンピュータ全体の制御を行う。また、画像処理装置１０の各部に対応するソフトウェアの実行を制御して、各部の機能を実現する。
【００３２】
ＲＡＭ３０２は、外部記憶装置３０４からロードされたプログラムやデータを一時的に記憶するエリアを備えると共に、ＣＰＵ３０１が各種の処理を行うために必要とするワークエリアを備える。ＲＯＭ３０３は、一般にコンピュータのＢＩＯＳや設定データなどが格納されている。外部記憶装置３０４は、ハードディスクドライブなどの大容量情報記憶装置として機能する装置であって、ここにオペレーティングシステムやＣＰＵ３０１が実行するプログラム等を保存する。また本実施形態の説明において既知としている情報はここに保存されており、必要に応じてＲＡＭ３０２にロードされる。
【００３３】
モニタ３０５は、液晶ディスプレイなどにより構成されている。例えば、表示部２７０が出力する内容を表示することができる。キーボード３０６、マウス３０７は入力デバイスであり、操作者はこれらを用いて、各種の指示を画像処理装置１０に与えることができる。
【００３４】
インターフェイス３０８は、画像処理装置１０と外部の機器との間で各種データのやりとりを行うためのものであり、ＩＥＥＥ１３９４やＵＳＢ、イーサネット（登録商標）ポート等によって構成される。インターフェイス３０８を介して取得したデータは、ＲＡＭ３０２に取り込まれる。超音波断層像取得部２１０やプローブ位置姿勢取得部２２０、ＭＲＩ画像取得部２３０等の機能は、インターフェイス３０８を介して実現される。
【００３５】
上述した各構成要素は、バス３０９によって相互に接続される。
【００３６】
次に、図４のフローチャートを参照して、本実施形態の画像処理装置１０が実行する具体的な処理の手順を説明する。なお、本実施形態における画像処理装置１０の各部の機能は、各部の機能を実現するプログラムをＣＰＵ３０１が実行し、コンピュータ全体を制御することで実現される。なお、以下の処理を行う前段で、同フローチャートに従ったプログラムコードは、例えば外部記憶装置３０４からＲＡＭ３０２に既にロードされているものとする。
【００３７】
（ステップＳ４１０）
ステップＳ４１０において、ＭＲＩ画像取得部２３０は、核磁気共鳴映像装置３０によって撮像されるＭＲＩ画像を取得する。そして、取得したＭＲＩ画像を、弾性情報推定部２４０、位置合わせ処理部２５０、及びＭＲＩ断層像生成部２６０へと送信する。なお、ＭＲＩ画像取得部２３０によるＭＲＩ画像の取得は、核磁気共鳴映像装置３０から直接行ってもよい。あるいは、核磁気共鳴映像装置３０が撮像した画像を不図示の医用画像記録装置に記録し、医用画像記録装置から所望の画像を読み出して取得してもよい。
【００３８】
（ステップＳ４２０）
ステップＳ４２０において、弾性情報推定部２４０は、ステップＳ４１０で取得したＭＲＩ画像に画像処理を施し、当該ＭＲＩ画像に係る被検体の弾性に関する情報（第二の弾性情報）を推定し、ＭＲＩ弾性画像を生成する。そして、生成したＭＲＩ弾性画像を位置合わせ処理部２５０へと送信する。
【００３９】
本ステップにおける処理は、例えば、非特許文献２に開示されている方法によって行うことができる。すなわち、取得したＭＲＩ画像に画像処理を施し、弾性率の異なる組織（例えば被検体が乳房である場合には、脂肪、乳腺、胸筋等）を表す領域に画像を分割する。そして、統計情報として予め保持している各組織の弾性パラメータを夫々の領域に代入した３次元画像を生成し、これをＭＲＩ弾性画像とする。
【００４０】
（ステップＳ４３０）
ステップＳ４３０において、超音波断層像取得部２１０は、超音波画像診断装置２０によって撮像される超音波断層像（Ｂモード像及び弾性画像）を取得する。そして、取得したＢモード画像を位置合わせ処理部２５０及び表示部２７０へと送信する。また、取得した超音波弾性画像を、位置合わせ処理部２５０へと送信する。なお、超音波断層像取得部２１０による超音波断層像の取得は、超音波画像診断装置２０の撮像と同期して直接行ってもよい。あるいは、超音波画像診断装置２０が過去に撮像した断層像を不図示の医用画像記録装置に記録し、当該医用画像記録装置から所望の断層像を読み出して取得してもよい。
【００４１】
（ステップＳ４４０）
ステップＳ４４０において、プローブ位置姿勢取得部２２０は、位置姿勢センサ４０によって計測される超音波プローブ２５の位置と姿勢の計測値を取得する。そして、取得した計測値を、ＭＲＩ座標系（ステップＳ４１０で取得したＭＲＩ画像を定義する座標系）における超音波断層像の位置と姿勢に変換し、これを位置合わせ処理部２５０へと送信する。
【００４２】
なお、本実施形態においては、位置姿勢センサ４０が定めるセンサ座標系とＭＲＩ座標系との関係は予め校正されており、その変換式は既知の情報としてプローブ位置姿勢取得部２２０に保持されているものとする。また、超音波プローブ２５と超音波断層像との間の関係も予め校正されており、その変換式は既知の情報としてプローブ位置姿勢取得部２２０に保持されているものとする。センサ座標系におけるプローブの位置と姿勢をＭＲＩ座標系における超音波断層像の位置と姿勢に変換する処理は、これらの変換式を用いた座標変換によって公知の方法で行うことが可能であるので、詳細な説明は省略する。
【００４３】
ここで、ＭＲＩ撮像時の被検体の姿勢と超音波プローブ２５を使用して撮像している際の被検体の姿勢は異なる。そのため、被検体は弾性であるため重力の影響を受けており、被検体の形状は完全に一致しない。また、ステップＳ４４０で得られるＭＲＩ座標系における超音波断層像の位置と姿勢は、被検体の弾力により誤差が含まれたものとなる。すなわち、この位置と姿勢を用いてＭＲＩ断層像を生成したとしても、超音波断層像に完全に対応する断層像を得ることは困難である。ステップＳ４５０で行う位置合わせ処理の一つの目的は、夫々の画像を有する情報を利用して補正することにある。
【００４４】
（ステップＳ４５０）
ステップＳ４５０において、位置合わせ処理部２５０は、上記のステップで取得した情報に基づいて、ステップＳ４１０で取得したＭＲＩ画像と、ステップＳ４３０で取得したＢモード画像との非剛体変形位置合わせを行う。具体的には、ＭＲＩ画像の変形パラメータ（本実施形態では、ＭＲＩ座標系上にグリッド状に設定した制御点の変位）と、ＭＲＩ座標系における超音波断層像の位置と姿勢を導出する。そして、これをＭＲＩ断層像生成部２６０へと出力する。なお、本ステップにおける処理の詳細については、図５のフローチャートを用いて後に説明する。
【００４５】
（ステップＳ４６０）
ステップＳ４６０において、ＭＲＩ断層像生成部２６０は、ステップＳ４５０で得たＭＲＩ画像の変形パラメータと、ＭＲＩ座標系における超音波断層像の位置と姿勢に基づいて、超音波断層像に対応するＭＲＩの断層画像を生成する。具体的には、まず始めに、夫々の制御点の変位に応じて、Ｂ−Ｓｐｌｉｎｅ等の公知の補間手法を利用して、変形後のＭＲＩ画像をボリュームデータとして生成する。そして、超音波断層像の位置と姿勢に基づいてＭＲＩ座標系上における超音波断層像上の各点の座標を求め、それらの点の画素値を、その近傍における変形後のＭＲＩ画像の画素値の内挿によって算出する。なお、変形後のＭＲＩ画像をボリュームデータとして生成せずに、必要な点の座標についてのみ変形後のＭＲＩ画像の画素値を算出してもよい。
【００４６】
なお、ＭＲＩ断層像生成部２６０が生成する画像は超音波断層像の位置と姿勢に対応するＭＲＩの断層像そのものでなくてもよい。例えば、表示に必要な強調処理やノイズ除去処理をＭＲＩ断層像に施したものであってもよい。また、当該断面に直交する一定範囲のＭＲＩ画像の値を積算した画像を生成してもよい。また、当該断面に対するＭＲＩ画像のＭＩＰ（Ｍａｘｉｍｕｍ Ｉｎｔｅｎｓｉｔｙ Ｐｒｏｊｅｃｔｉｏｎ：最大輝度投影像）を生成してもよい。その他、ＭＲＩ画像から生成可能な当該断面に関連する画像であれば、何れの画像であってもよい。
【００４７】
（ステップＳ４７０）
ステップＳ４７０において、表示部２７０は、ステップＳ４３０で取得した超音波のＢモード画像と、ステップＳ４６０で生成したＭＲＩ断層画像を、モニタ３０５上の左右または上下に並べた状態で表示する。
【００４８】
（ステップＳ４８０）
ステップＳ４８０において、画像処理装置１０は、処理を終了する指示が操作者から入力されたか否かを判定する。処理を終了する指示を取得した場合には、全ての処理を終了する。一方、処理を終了する指示を取得しなかった場合には、ステップＳ４３０へと処理を戻す。そして、新たな超音波断層像（超音波断層像が時系列的に撮像されている場合には、次フレームの超音波断層像）に対してステップＳ４３０からステップＳ４７０までの処理を実行する。なお、操作者からの指示の入力は、例えばキーボード３０６を介して行うことができる。
【００４９】
以上によって、画像処理装置１０の処理が行われる。
【００５０】
次に、図５のフローチャートを参照して、ステップＳ４５０で位置合わせ処理部２５０が実行する非剛体変形位置合わせ処理の手順を説明する。以下の処理において、位置合わせ処理部２５０は、位置合わせの未知パラメータであるｓ１及びｓ２の推定を行う。ここでｓ１は、ＭＲＩ座標系における超音波断層像の位置と姿勢の推定値を表している。ｓ１は例えば、位置を表す３自由度の値と、姿勢を表す３自由度の値（オイラー角や四元数など）からなる。一方ｓ２は、ＭＲＩ画像の変形パラメータの推定値を表している。本実施形態では、ＭＲＩ座標系上にグリッド状に設定した制御点の変位を変形パラメータとする。
【００５１】
（ステップＳ５０５）
ステップＳ５０５において、位置合わせ処理部２５０は、ステップＳ４２０で生成したＭＲＩ弾性画像に基づいて、重力に基づくＭＲＩ画像の変形パラメータを推定する。
【００５２】
本実施形態では、ＭＲＩ撮像時の被検体の姿勢と超音波撮像時の被検体の姿勢が、異なる場合がある。これにより、重力方向の差異によって生じる被検体の変形が位置合わせに有効となる場合がある。そのため、超音波撮像時の被検体の姿勢で仮想的に撮像したＭＲＩ画像を、ステップＳ４１０で得たＭＲＩ画像を変形することによって生成する。そのための変形パラメータを、重力方向に関する情報とＭＲＩ画像の弾性情報から推定する。例えば、公知の有限要素法等を用いたシミュレーションによって、重力に基づく変形パラメータ（制御点の変位）を推定する（非特許文献２を参照）。すなわち、ステップＳ４２０で得た被検体の弾性情報を用いて、超音波撮像時の被検体の姿勢である場合に被検体にかかる重力を想定してＭＲＩ画像を変形する。なお、同様に超音波撮像時の画像を変形することもできる。
【００５３】
（ステップＳ５１０）
ステップＳ５１０において、位置合わせ処理部２５０は、位置合わせの未知パラメータに初期値を設定する。具体的には、ｓ１の初期値として、ステップＳ４４０で得たＭＲＩ座標系における超音波断層像の位置と姿勢の計測値を設定する。また、ｓ２の初期値として、ステップＳ５０５で求めた重力に基づく変形パラメータを設定する。
【００５４】
（ステップＳ５１５）
ステップＳ５１５において、位置合わせ処理部２５０は、ステップＳ５１０で設定した
初期値に基づく位置合わせの整合性を評価する。すなわち、変形パラメータｓ２に基づく
変形を施したＭＲＩ画像に対する、ｓ１に位置する超音波断層像の位置合わせの整合性し
て、その評価値を算出する。
【００５５】
ここで、位置合わせの整合性は、ＭＲＩ画像と超音波断層像の整合性のみではなく、ＭＲＩ弾性画像と超音波弾性画像との整合性も考慮して評価する。弾性情報はモダリティに依らずに被検体に固有の情報を表しているので、整合性評価の精度の向上が期待できる。
つまり、画像だけで位置あわせする場合には、局所解に収束する場合がある。これに弾性情報を加えることで真値の値に収束を近づけることが出来る。
【００５６】
本実施形態では、整合性の評価値ｅを次式によって算出する。
【００５７】
【数１】
【００５８】
ここで、ＦＵＳ、ＦＭＲＩ、ＩＵＳ、ＩＭＲＩは夫々、超音波弾性画像、ＭＲＩ弾性画像、超音波断層像、及びＭＲＩ画像を表している。また、ｅＦは、パラメータとしてｓ１，ｓ２を仮定した場合の、超音波弾性画像とＭＲＩ弾性画像の整合性を表す評価値である。また、ｅＩは、パラメータとしてｓ１，ｓ２を仮定した場合の、超音波断層像とＭＲＩ画像の整合性を表す評価値である。また、αは、ｅＦとｅＩの混合比率を表すパラメータであり、０から１の間の値をとる。位置合わせ処理部２５０は、被検体の弾性情報の値に基づいてαの値を変える。予め定められる範囲のいずれの範囲に被検体の弾性があるかでαの値を変える。これにより、αは被検体の部位により適応的に定められる。例えば乳房のように軟部組織でできている場合には弾性が高い範囲にあるのでαの値を上げる。手足のように骨部が主とした構成となる場合には、弾性が低い範囲を含むのでαの値を下げる。また、被検体の弾性情報の、平均値、中間値、モード等の統計量によりαの値を変更してもよい。これにより弾性により変形が大きい場合には超音波弾性画像とＭＲＩ弾性画像の整合性を表す評価値の比率を上げることが出来る。また、位置合わせ処理部２５０は、超音波弾性画像、ＭＲＩ弾性画のそれぞれの姿勢に応じてもαの値を変更する場合がある。つまり両画像における被写体の撮影時の姿勢が近い場合にはαの値を下げ、異なる場合にはαの値を上げる。そこで、位置合わせ処理部２５０は、両画像における被写体の撮影時の姿勢の相関を数値化しておき、その値に応じてαの値を変更する。例えば被検体の姿勢を水平から垂直までの角度で数値化しておき、両画像おける被検体の角度、及び両画像における被検体の角度の差でαの値を変更する。
【００５９】
なお、αの値は固定値として予め定めておいてもよいし、画像処理装置１０の操作者が必要に応じて設定できるような構成であってもよい。
【００６０】
なお、超音波弾性画像とＭＲＩ弾性画像との整合性ｅＦは、次式によって算出される。
【００６１】
【数２】
【００６２】
ここでＦ’ＭＲＩは、位置合わせのパラメータをｓ１，ｓ２と仮定して超音波断層像の断面に対応する断面を切り出した、ＭＲＩ弾性画像の断層像を表している。この断層像の生成は、ステップＳ４６０と同様な処理によって行うことができる。また、ｅ’Ｆは、超音波弾性画像と、ＭＲＩ弾性画像から切り出した断層像との整合性を表す評価値である。
ｅ’Ｆの算出は、例えば平均二乗誤差基準に基づいて、次式によって算出する。
【００６３】
【数３】
【００６４】
ここで、Ωは超音波弾性画像上の各点の座標を表している。また、Ｍは加算した画素数を表している。なお、ｅ’Ｆを算出する方法としては、これ以外にも、絶対値誤差基準や相互相関基準、相互情報量基準、正規化相互情報量基準といった、画像間の整合性や類似度を評価するための公知の評価基準を用いてもよい。また、これ以外にも、画像から勾配等の画像特徴量を抽出した後に整合性を評価するなど、様々な方法が考えられる。また、上記のいずれかの基準に類する他の基準を用いてもよいし、上記の基準を加重和などによって組み合わせて用いてもよい。
【００６５】
同様に、超音波断層像とＭＲＩ画像との整合性ｅＩは、次式によって算出される。
【００６６】
【数４】
【００６７】
ここでＩ’ＭＲＩは、位置合わせのパラメータをｓ１，ｓ２と仮定して超音波断層像の断面に対応する断面を切り出した、ＭＲＩ画像の断層像を表している。この断層像の生成は、ステップＳ４６０と同様な処理によって行うことができる。また、ｅ’Ｉは、超音波弾性画像と、ＭＲＩ画像から切り出した断層像との整合性を表す評価値である。なお、ｅ’Ｉの算出は、ｅ’Ｆの算出と同様な方法で行うことが可能であるので、詳細な説明は省略する。
【００６８】
（ステップＳ５２０）
ステップＳ５２０において、位置合わせ処理部２５０は、ステップＳ５１５で算出した位置合わせの整合性の評価値が十分か否かを判定する。そして、評価値が予め定めた閾値よりも大きい場合には、位置合わせが十分なされているものとして、ステップＳ５６０へと処理を進める。一方、評価値が予め定めた閾値未満の場合には、ステップＳ５２５へと処理を進め、以降の位置合わせ処理を実行する。
【００６９】
以下のステップにおける位置合わせの処理は、ｓ１の推定とｓ２の推定を交互に繰り返すことによって実現される。まず、ステップＳ５２５からステップＳ５３５の処理によって、超音波断層像の位置と姿勢の推定値ｓ１に補正を加えることで、変形後のＭＲＩ画像と超音波断層像との間の剛体位置合わせを行う。
【００７０】
（ステップＳ５２５）
ステップＳ５２５において、位置合わせ処理部２５０は、超音波断層像の位置と姿勢の現在の推定値ｓ１に異なる微小変化を加え、位置と姿勢の幾つかの仮説を生成する。そして、夫々の位置と姿勢の仮説について、変形パラメータｓ２（ここでは固定値として扱う）に基づく変形を施したＭＲＩ画像に対する超音波断層像の位置合わせの整合性を評価し、その評価値を算出する。ここで、位置合わせの整合性の評価値の算出は、ステップＳ５１５と同様の方法によって行う。
【００７１】
（ステップＳ５３０）
ステップＳ５３０において、位置合わせ処理部２５０は、ステップＳ５２５で算出した評価値の最大値を選択する。そして、その最大値を与える仮説（最善の仮説）を、超音波断層像の位置と姿勢の新たな推定値ｓ１とする。ただし、求めた最大値が現在の推定値に対する評価値と比べて小さい場合には、推定値の更新は行わない。
【００７２】
（ステップＳ５３５）
ステップＳ５３５において、位置合わせ処理部２５０は、超音波断層像の位置と姿勢の推定値の更新が収束しているか否かを判定する。そして、推定値の更新が収束していないと判定した場合には、ステップＳ５２５へと処理を進めて仮説の生成と選択を再度実行する。一方、推定値の更新が収束していると判定した場合には、ステップＳ５４０へと処理を進める。例えば、ステップＳ５３０における評価値の値が一定値よりも小さい場合に、推定値の更新が収束していると判断する。あるいは、更新前後における推定値の差分が閾値以下の場合に、推定値の更新が収束していると判断してもよい。その他、何れの方法によって収束を判定してもよい。また、この判定は、例えば繰り返し処理を行った回数をカウントし、そのカウント値が予め設定した回数以上になった場合に繰り返し処理を終了させることができる。この方法によれば、ある一定時間以内に一連の繰り返し計算が終了することを期待でき、システム全体の実時間性の確保ができるなどの効果がある。
【００７３】
次に、ステップＳ５４０からステップＳ５５０の処理によって、ＭＲＩ画像の変形パラメータｓ２（夫々の制御点の変位）に補正を加えることで、変形後のＭＲＩ画像と超音波断層像との間の非剛体位置合わせを行う。
【００７４】
（ステップＳ５４０）
ステップＳ５４０において、位置合わせ処理部２５０は、変形パラメータの推定値ｓ２に異なる微小変化を加え、変形パラメータの幾つかの仮説を生成する。そして、夫々の仮説に基づく変形を施したＭＲＩ画像に対する、ｓ１（ここでは固定値として扱う）に位置する超音波断層像の位置合わせの整合性を評価し、その評価値を算出する。ここで、位置合わせの整合性の評価値の算出は、ステップＳ５１５と同様の方法によって行う。
【００７５】
なお、仮説の生成は、現在のパラメータの整合性の評価の際に、夫々の制御点付近の局所領域における位置合わせの整合性を夫々算出しておいて、その整合性に応じて変位を操作するような構成であることが望ましい。すなわち、局所領域における位置合わせの整合性がとれている（評価値が小さい）場合には、その領域に影響を及ぼす制御点の変位は正しいとする。そして、修正が必要な制御点の変位にのみ微小変化を与える。あるいは、評価値に応じて微小変化の大きさを調整する。これによると、仮説の組み合わせ爆発を防ぎ、処理時間の高速化を図ることができる。
【００７６】
また、変形パラメータである各制御点の変位の微小変化の範囲を、夫々の制御点付近におけるＭＲＩ弾性画像の値に応じて調整してもよい。すなわち、制御点付近の弾性が大きい場合には制御点が変位しうる範囲を広く設定し、弾性が小さい場合には制御点が変位しうる範囲を狭く設定するという調整を行ってもよい。
【００７７】
（ステップＳ５４５）
ステップＳ５４５において、位置合わせ処理部２５０は、ステップＳ５４０で算出した評価値の最大値を選択する。そして、その最大値を与える仮説（最善の仮説）を、変形パラメータの新たな推定値ｓ２とする。ただし、求めた最大値が現在の推定値に対する評価値と比べて小さい場合には、推定値の更新は行わない。
【００７８】
（ステップＳ５５０）
ステップＳ５５０において、位置合わせ処理部２５０は、変形パラメータの推定値の更新が収束しているか否かを判定する。そして、推定値の更新が収束していないと判定した場合には、ステップＳ５４０へと処理を進めて仮説の生成と選択を再度実行する。一方、推定値の更新が収束していると判定した場合には、ステップＳ５５５へと処理を進める。
例えば、ステップＳ５４５における評価値の改善度合いが閾値以下の場合に、推定値の更新が収束していると判断する。あるいは、更新前後における変形パラメータの差分が閾値以下の場合に、推定値の更新が収束していると判断してもよい。その他、何れの方法によって収束を判定してもよい。また、この判定は、例えば繰り返し処理を行った回数をカウントし、そのカウント値が予め設定した回数以上になった場合に繰り返し処理を終了させることができる。この方法によれば、ある一定時間以内に一連の繰り返し計算が終了することを期待でき、システム全体の実時間性の確保ができるなどの効果がある。
【００７９】
（ステップＳ５５５）
ステップＳ５５５において、位置合わせ処理部２５０は、上記の処理を反復して行うか否かを判定する。処理を反復して行う場合には、ステップＳ５２５へと処理を進め、現在のパラメータのさらなる更新を実行する。一方、反復しない場合には、ステップＳ５６０へと処理を進める。判定は、例えば、処理の最大反復回数を予め定めておいて、ステップＳ５２５からステップＳ５５０までの処理をその回数だけ反復したか否かによって行えばよい。このとき、位置合わせの整合性の評価値が十分な場合には、反復回数に係らずに処理を終了するような構成であってもよい。また、ステップＳ５３０とステップＳ５４５の何れにおいても推定値が更新されなくなるまで、処理を反復するような構成としてもよい。
【００８０】
（ステップＳ５６０）
ステップＳ５６０において、位置合わせ処理部２５０は、以上の工程で求めたＭＲＩ画像の変形パラメータｓ２と超音波断層像の位置と姿勢ｓ１を、位置合わせの結果としてＭＲＩ断層像生成部２６０へと出力する。
【００８１】
以上によって、ステップＳ４５０における非剛体変形位置合わせの処理が実行される。
【００８２】
以上の処理によって、本実施形態における画像処理装置１０によれば、位置合わせのパラメータを推定する過程において夫々のモダリティから得た弾性情報の整合性を勘案することで、ＭＲＩ画像と超音波断層像との位置合わせを高精度に行うことが可能となる。
【００８３】
［第２実施形態］
本実施形態に係る画像処理装置は、被検体のＭＲＩ画像と３次元超音波画像の夫々を取得し、これらの画像を位置合わせして表示する機能を提供する。
【００８４】
本実施形態に係る画像処理装置は、第１実施形態と異なる第二の弾性情報取得手段を有している。第１実施形態では、ＭＲＩ画像から組織構造を推定し、統計値に基づいてＭＲＩ画像の弾性情報を推定していた。一方、本実施形態では、複数の姿勢で取得したＭＲＩ画像を利用して当該ＭＲＩ画像に関する被検体の弾性情報を推定する。これによると、被検体の実際の変形に基づいた弾性情報が取得できるので、より高い精度の弾性情報を取得できる。
【００８５】
また、第１実施形態では、第一のモダリティとして、超音波プローブ２５が１次元アレイの超音波探触子群からなり、２次元の超音波断層像を撮像する超音波画像診断装置２０を用いていた。一方、本実施形態では、第一のモダリティとして、超音波プローブ２５が２次元アレイの超音波探触子群からなり、３次元の超音波画像を撮像する超音波画像診断装置２０を使用する。これによると、位置合わせに用いる情報量が増加するので、位置合わせの曖昧さが減少し、正確な位置合わせが可能となる。
【００８６】
本実施形態に係る画像処理装置６００と接続される機器の構成図は、図１と同様である。すなわち、第１実施形態に係る画像処理装置１０と同様に、超音波画像診断装置２０、核磁気共鳴映像装置３０、及び位置姿勢センサ４０が、ＬＡＮ５０を介して接続されている。
【００８７】
超音波画像診断装置２０には、２次元アレイの超音波探触子群からなる超音波プローブ２５が接続されており、超音波画像診断装置２０は被検体の３次元超音波画像（Ｂモード像及び超音波弾性画像）を撮像する。超音波画像診断装置２０が生成した夫々の画像は、ＬＡＮ５０を介して画像処理装置６００へと送信される。
【００８８】
核磁気共鳴映像装置３０は、第１実施形態と同様に、被検体のＭＲＩ画像を撮像する。
ただし、本実施形態においては、被検体の撮像を複数の姿勢（以下の説明では、伏臥位と伏臥位とする）において行うことが、第１実施形態とは異なっている。それぞれの姿勢で撮像したＭＲＩ画像は、ＬＡＮ５０を介して画像処理装置６００へと送信される。
【００８９】
位置姿勢センサ４０は、第１実施形態と同様に、超音波プローブ２５の位置と姿勢を計測し、ＬＡＮ５０を介してこれを画像処理装置６００へと送信する。
【００９０】
図６は、画像処理装置６００の機能ブロック図である。図６に示す通り、画像処理装置６００は、超音波画像取得部６１０、プローブ位置姿勢取得部６２０、ＭＲＩ画像取得部６３０、弾性情報推定部６４０、位置合わせ処理部６５０、表示画像生成部６６０、及び表示部６７０を備えて構成される。
【００９１】
超音波画像取得部６１０は、超音波画像診断装置２０によって撮像される３次元超音波画像（Ｂモード像及び弾性画像）を取得する。
【００９２】
プローブ位置姿勢取得部６２０は、位置姿勢センサ４０によって計測される超音波プローブ２５の位置と姿勢の計測値を取得する。
【００９３】
ＭＲＩ画像取得部６３０は、核磁気共鳴映像装置３０によって撮像される複数姿勢のＭＲＩ画像を取得する。
【００９４】
弾性情報推定部６４０は、ＭＲＩ画像取得部６３０が取得した複数姿勢のＭＲＩ画像に基づいて、一方のＭＲＩ画像（以下の説明では、伏臥位とする）を基準とした被検体の弾性に関する情報（第二の弾性情報）を推定し、ＭＲＩ弾性画像を生成する。
【００９５】
位置合わせ処理部６５０は、超音波画像取得部６１０が取得した超音波画像と、ＭＲＩ画像取得部６３０が取得したＭＲＩ画像の一方（以下の説明では、伏臥位とする）との非剛体変形位置合わせを行う。具体的には、伏臥位のＭＲＩ画像の変形パラメータと、ＭＲＩ座標系における超音波画像の位置と姿勢を導出し、これを表示画像生成部６６０へと出力する。
【００９６】
表示画像生成部６６０は、位置合わせ処理部６５０によって得られた位置合わせ結果に応じて表示画像を生成する。また、表示部６７０は、表示画像生成部６６０が生成した表示画像をモニタに表示する。
【００９７】
なお、図６に示した画像処理装置６００の各部は、コンピュータのＣＰＵにより実行することでその機能を実現するソフトウェアとして実現してもよい。本実施形態では、画像処理装置６００の各部は夫々ソフトウェアにより実現されており、同一のコンピュータにインストールされているものとする。なお、画像処理装置６００の各部の機能をソフトウェアで実現するためのコンピュータの基本構成は図３と同様であるので、説明を省略する。
【００９８】
次に、図７のフローチャートを参照して、本実施形態の画像処理装置６００が実行する具体的な処理の手順を説明する。なお、本実施形態における画像処理装置６００の各部の機能は、各部の機能を実現するプログラムをＣＰＵ３０１が実行し、コンピュータ全体を制御することで実現される。なお、以下の処理を行う前段で、同フローチャートに従ったプログラムコードは、例えば外部記憶装置３０４からＲＡＭ３０２に既にロードされているものとする。
【００９９】
（ステップＳ７１０）
ステップＳ７１０において、ＭＲＩ画像取得部６３０は、核磁気共鳴映像装置３０によって撮像される複数姿勢のＭＲＩ画像を取得する。そして、取得したＭＲＩ画像を、弾性情報推定部６４０、位置合わせ処理部６５０、及び表示画像生成部６６０へと送信する。
なお、ＭＲＩ画像取得部６３０によるＭＲＩ画像の取得は、核磁気共鳴映像装置３０から直接行ってもよい。あるいは、核磁気共鳴映像装置３０が撮像した画像を不図示の医用画像記録装置に記録し、医用画像記録装置から所望の画像を読み出して取得してもよい。
【０１００】
（ステップＳ７２０）
ステップＳ７２０において、弾性情報推定部６４０は、ステップＳ７１０で取得した複数姿勢（ここでは仰臥位と伏臥位）のＭＲＩ画像の位置合わせを行う。そして、その結果に基づいて、一方のＭＲＩ画像（ここでは伏臥位のＭＲＩ画像）を基準とした被検体の弾性に関する情報を推定し、ＭＲＩ弾性画像を生成する。そして、生成したＭＲＩ弾性画像を位置合わせ処理部６５０へと送信する。
【０１０１】
具体的には、まず、伏臥位のＭＲＩ画像と仰臥位のＭＲＩ画像の非剛体変形位置合わせを、輝度情報の類似性に基づく公知の方法を用いて行う。例えば、伏臥位のＭＲＩ画像上にグリッド状の画素間の対応点を設定し、輝度情報の類似性を利用して、仰臥位のＭＲＩ画像上における対応点の位置を推定する。この処理には、例えばＦＦＤ（Ｆｒｅｅ Ｆｏｒｍ Ｄｅｆｏｒｍａｔｉｏｎ）法（例えば非特許文献３を参照）を利用することができる。そして、夫々の対応画素間について、近傍の制御点までの距離の平均を求め、この値を同地点における弾性率を表す数値（弾性係数。この値は、大きいほど柔らかいことを表す）とする。最後に、対応画素点以外の座標における弾性係数を補間によって算出することで、ＭＲＩ弾性画像を生成する。なお、ここでの位置合わせの対象は同一モダリティであるので、輝度情報のみを用いた場合であっても比較的良好に行うことができる。
【０１０２】
（ステップＳ７３０）
ステップＳ７３０において、超音波画像取得部６１０は、超音波画像診断装置２０によって撮像される３次元超音波画像（Ｂモード像及び弾性画像）を取得する。そして、取得したＢモード画像を位置合わせ処理部６５０及び表示画像生成部６６０へと送信する。また、取得した超音波弾性画像を、位置合わせ処理部６５０へと送信する。なお、超音波画像取得部６１０による３次元超音波画像の取得は、超音波画像診断装置２０の撮像と同期して直接行ってもよい。あるいは、超音波画像診断装置２０が過去に撮像した画像を不図示の医用画像記録装置に記録し、当該医用画像記録装置から所望の画像を読み出して取得してもよい。
【０１０３】
（ステップＳ７４０）
ステップＳ７４０において、プローブ位置姿勢取得部６２０は、第１実施形態におけるステップＳ４４０と同様に、位置姿勢センサ４０によって計測される超音波プローブ２５の位置と姿勢の計測値を取得する。そして、取得した計測値を、ＭＲＩ座標系（ステップＳ７１０で取得した伏臥位のＭＲＩ画像を定義する座標系）における３次元超音波画像の位置と姿勢に変換し、これを位置合わせ処理部６５０へと送信する。
【０１０４】
（ステップＳ７５０）
ステップＳ７５０において、位置合わせ処理部６５０は、一方のＭＲＩ画像（ここでは伏臥位のＭＲＩ画像）を処理対象として、ステップＳ７３０で取得した３次元超音波画像との非剛体変形位置合わせを行う。具体的には、伏臥位のＭＲＩ画像の変形パラメータ（本実施形態では、ＭＲＩ座標系上にグリッド状に設定した制御点の変位）と、ＭＲＩ座標系における３次元超音波画像の位置と姿勢を導出する。そして、これを表示画像生成部６６０へと出力する。
【０１０５】
なお、本ステップにおける位置合わせの処理は、第１実施形態のステップＳ４５０の処理（詳細は図５のフローチャートに示されている）と同様に行うことができる。ただし、超音波画像が３次元データであることに対応して、ステップＳ５１５、ステップＳ５２５、及びステップＳ５４０における整合性の評価値の算出方法が異なっている。具体的には、式３における弾性画像上の各点を表すΩを、二次元平面から三次元空間へと拡張すればよい。
【０１０６】
また、第１実施形態では、ＭＲＩ弾性画像を利用して変形パラメータｓ２の初期値を求めていた（ステップＳ５０５）。しかし、本実施形態では、ステップＳ５０５の処理を行わずに、ステップＳ７２０における位置合わせの結果から得られる伏臥位から仰臥位への変形パラメータをｓ２の初期値として用いてもよい。これによると、仰臥位のＭＲＩ画像を取得した際の被検体の姿勢が超音波画像取得時の被検体の姿勢に近い場合には、より正確な初期値を得ることができる。
【０１０７】
（ステップＳ７６０）
ステップＳ７６０において、表示画像生成部６６０は、ステップＳ７５０で得たＭＲＩ画像の変形パラメータと、ＭＲＩ座標系における３次元超音波画像の位置と姿勢に基づいて表示画像を生成する。具体的には、超音波画像の座標系を基準とした３次元超音波画像の３断面画像と、これに対応するＭＲＩ画像の３断面画像を生成する。ＭＲＩ画像の３断面画像は、夫々の制御点の変位に応じて伏臥位のＭＲＩ画像を変形させた後に、３次元超音波画像の位置と姿勢に基づいて、変形後のＭＲＩ画像から超音波画像の各断面に対応する断面を切り出すことで生成する。なお、表示画像は３断面画像に限るものではなく、例えば、それぞれの画像のＭＩＰ画像などであってもよい。なお、何れの表示形態を選択するかを、例えばキーボード３０６等を介したユーザインタフェースによって切り替えられる構成であってもよい。
【０１０８】
（ステップＳ７７０）
ステップＳ７７０において、表示部６７０は、ステップＳ７６０で生成した表示画像をモニタ３０５に並べて表示する。
【０１０９】
（ステップＳ７８０）
ステップＳ７８０において、画像処理装置６００は、処理を終了する指示が操作者から入力されたか否かを判定する。処理を終了する指示を取得した場合には、全ての処理を終了する。一方、処理を終了する指示を取得しなかった場合には、ステップＳ７３０へと処理を戻す。そして、新たな３次元超音波画像（３次元超音波画像が時系列的に撮像されている場合には、次フレームの３次元超音波画像）に対してステップＳ７３０からステップＳ７７０までの処理を実行する。なお、操作者からの指示の入力は、例えばキーボード３０６等を介して行うことができる。
【０１１０】
以上によって、画像処理装置６００の処理が行われる。
【０１１１】
なお、本実施形態では、ＭＲＩ画像を変形させることで位置合わせを行っていたが、双方のモダリティの画像が３次元で与えられている場合には、何れのモダリティの画像を変形させて位置合わせを行ってもよい。
【０１１２】
なお、本実施形態では、２次元アレイの超音波プローブを用いて３次元超音波画像を得ていたが、３次元超音波画像の取得方法はこれに限定されるものではない。例えば、１次元アレイの超音波プローブを利用して、複数の地点で撮像した２次元の超音波断層像を統合することで３次元超音波画像を取得してもよい。また、超音波の三次元データは密である必要は無く、離散的な複数の地点で撮像した超音波断層像群と、ＭＲＩ画像との位置合わせを行うこともできる。この場合、複数の地点で撮像した超音波断層像群を疎な３次元超音波画像と考えて、ステップＳ７５０の処理において、超音波断層像群上の点をΩと定義すればよい。
【０１１３】
［第３実施形態］
本実施形態に係る画像処理装置は、事前に撮像した被検体のＭＲＩ画像と、操作者（技師や医師）が対話的に撮像している当該被検体の超音波断層像の夫々を取得し、超音波断層像に対応するＭＲＩの断層像を生成して表示する機能を提供する。
【０１１４】
本実施形態に係る画像処理装置８００と接続される機器の構成図は、図１と同様である。すなわち、第１実施形態に係る画像処理装置１０と同様に、超音波画像診断装置２０、核磁気共鳴映像装置３０、及び位置姿勢センサ４０が、ＬＡＮ５０を介して接続されている。なお、これらの機器に関する説明は、第１実施形態と同様であるので省略する。
【０１１５】
図８は、画像処理装置８００の機能ブロック図である。図８に示す通り、画像処理装置８００は、超音波断層像取得部２１０、プローブ位置姿勢取得部２２０、ＭＲＩ画像取得部２３０、弾性情報推定部２４０、位置合わせ処理部８５０、ＭＲＩ断層像生成部２６０、及び表示部２７０を備えて構成される。なお、位置合わせ処理部８５０以外の各部の機能は第１実施形態と同様であるので、その説明を省略する。
【０１１６】
位置合わせ処理部８５０は、第１実施形態に係る位置合わせ処理部２５０と同様に、超音波断層像取得部２１０が取得した超音波断層像と、ＭＲＩ画像取得部２３０が取得したＭＲＩ画像との非剛体変形位置合わせを行う。具体的には、ＭＲＩ画像の変形パラメータと、ＭＲＩ座標系における超音波断層像の位置と姿勢を導出し、これをＭＲＩ断層像生成部２６０へと出力する。なお、本実施形態に係る位置合わせ処理部８５０は、弾性情報推定部２４０から入力したＭＲＩ画像に関する弾性情報を、変形パラメータの推定工程において更新していくことが、第１実施形態に係る位置合わせ処理部２５０とは異なっている。
【０１１７】
位置合わせ処理部８５０は、仮定した変形パラメータに基づいてＭＲＩ画像に係る被検体の弾性に関する情報（第二の弾性情報）を更新する弾性情報更新部８５２（第二の弾性情報推定手段）を有している。また、弾性情報の整合性を利用して位置合わせの評価を行う評価部８５４を有している。なお、これら各部の機能を含む位置合わせ処理部８５０における処理の内容は、図９のフローチャートを用いて後に説明する。
【０１１８】
なお、図８に示した画像処理装置８００の各部は、コンピュータのＣＰＵにより実行することでその機能を実現するソフトウェアとして実現してもよい。本実施形態では、画像処理装置８００の各部は夫々ソフトウェアにより実現されており、同一のコンピュータにインストールされているものとする。なお、画像処理装置８００の各部の機能をソフトウェアで実現するためのコンピュータの基本構成は図３と同様であるので、説明を省略する。
【０１１９】
本実施形態の画像処理装置８００が実行する具体的な処理の手順は、図４のフローチャートと同様であるので、説明を省略する。ただし、本実施形態では、ステップＳ４５０で位置合わせ処理部８５０が実行する位置合わせ処理の内容が、第１実施形態とは異なっている。
【０１２０】
以下、図９のフローチャートを参照して、ステップＳ４５０で位置合わせ処理部８５０が実行する位置合わせ処理の手順を説明する。なお、本実施形態における位置合わせ処理は、上記の実施形態と同様に、ＭＲＩ座標系における超音波断層像の位置と姿勢ｓ１と、ＭＲＩ画像の変形パラメータｓ２の導出によって実現される。
【０１２１】
（ステップＳ９０５）
ステップＳ９０５において、位置合わせ処理部２５０は、ステップＳ４２０で生成したＭＲＩ弾性画像に基づいて、重力に基づくＭＲＩ画像の変形パラメータを推定する。なお、ステップＳ９０５の処理は、第１実施形態におけるステップＳ５０５の処理と同様であるので、詳細な説明は省略する。
【０１２２】
（ステップＳ９１０）
ステップＳ９１０において、位置合わせ処理部８５０は、位置合わせの未知パラメータに初期値を設定する。ステップＳ９１０の処理は、第１実施形態におけるステップＳ５１０の処理と同様であるので、詳細な説明は省略する。
【０１２３】
第１実施形態と同様に本実施形態においても、位置合わせの処理は、ｓ１の推定とｓ２の推定を交互に繰り返すことによって実現される。
【０１２４】
まず、ステップＳ９１５からステップＳ９２５の処理によって、超音波断層像の位置と姿勢の推定値ｓ１に補正を加えることで、ＭＲＩ画像と超音波断層像との間の剛体位置合わせを行う。なお、ステップＳ９１５，ステップＳ９２０，及びステップＳ９２５の夫々の処理は、第１実施形態におけるステップＳ５２５、ステップＳ５３０、及びステップＳ５３５の処理と同様であるので、詳細な説明は省略する。
【０１２５】
次に、ステップＳ９３０からステップＳ９５０の処理によって、ＭＲＩ画像の変形パラメータｓ２（夫々の制御点の変位）に補正を加えることで、ＭＲＩ画像と超音波断層像との間の非剛体位置合わせを行う。
【０１２６】
（ステップＳ９３０）
ステップＳ９３０において、弾性情報更新部８５２は、変形パラメータの推定値ｓ２に異なる微小変化を加え、変形パラメータの幾つかの仮説を生成する。
【０１２７】
なお、この操作は、現在のパラメータの整合性の評価の際に、夫々の制御点付近の局所領域における位置合わせの整合性を夫々算出しておいて、その整合性に応じて変位を操作するような構成であることが望ましい。すなわち、局所領域における位置合わせの整合性がとれている（評価値が小さい）場合には、その領域に影響を及ぼす制御点の変位は正しいとする。そして、修正が必要な制御点の変位にのみ微小変化を与える。あるいは、評価値に応じて微小変化の大きさを調整する。これによると、仮説の組み合わせ爆発を防ぎ、処理時間の高速化を図ることができる。
【０１２８】
（ステップＳ９３５）
ステップＳ９３５において、弾性情報更新部８５２は、ステップＳ９３０で生成した夫々の変形の仮説に基づいて、ＭＲＩ画像の弾性情報を推定（現在のＭＲＩ弾性画像を更新）する。例えば、夫々の制御点について、近傍の制御点までの距離の平均を求め、この値を同地点における弾性率を表す数値（弾性係数。この値は、大きいほど柔らかいことを表す）とする。そして、制御点以外の座標における弾性係数を補間することで、ＭＲＩ弾性画像を生成する。
【０１２９】
（ステップＳ９４０）
ステップＳ９４０において、評価部８５４は、ステップＳ９３０で生成した夫々の変形の仮説に基づいて、ｓ１（ここでは固定値として扱う）に位置する超音波断層像の位置合わせの整合性を評価し、その評価値を算出する。ここで、位置合わせの整合性の評価値の算出は、第１実施形態におけるステップＳ５１５と同様の方法によって行う。評価値の算出に用いるＭＲＩ弾性画像として、夫々の仮説に応じてステップＳ９３５で生成した画像を利用することが、本実施形態の特徴である。
【０１３０】
（ステップＳ９４５）
ステップＳ９４５において、評価部８５４は、ステップＳ９４０で算出した評価値の最大値を選択する。そして、その最大値を与える仮説（最善の仮説）を、変形パラメータの新たな推定値ｓ２とする。ただし、求めた最大値が現在の推定値に対する評価値と比べて小さい場合には、推定値の更新は行わない。
【０１３１】
（ステップＳ９５０）
ステップＳ９５０において、位置合わせ処理部８５０は、変形パラメータの推定値の更新が収束しているか否かを判定する。そして、推定値の更新が収束していないと判定した場合には、ステップＳ９３０へと処理を進めて仮説の生成と選択を再度実行する。一方、推定値の更新が収束していると判定した場合には、ステップＳ９５５へと処理を進める。
ステップＳ９５０の処理は、第１実施形態におけるステップＳ５５０の処理と同様であるので、詳細な説明は省略する。
【０１３２】
（ステップＳ９５５）
ステップＳ９５５において、位置合わせ処理部８５０は、上記の処理を反復して行うか否かを判定する。処理を反復して行う場合には、ステップＳ９１５へと処理を進め、現在のパラメータのさらなる更新を実行する。一方、反復しない場合には、ステップＳ９６０へと処理を進める。ステップＳ９５５の処理は、第１実施形態におけるステップＳ５５５の処理と同様であるので、詳細な説明は省略する。
【０１３３】
（ステップＳ９６０）
ステップＳ９６０において、位置合わせ処理部８５０は、以上の工程で求めたＭＲＩ画像の変形パラメータｓ２と超音波断層像の位置と姿勢ｓ１を、位置合わせの結果としてＭＲＩ断層像生成部２６０へと出力する。
【０１３４】
以上によって、ステップＳ４５０における非剛体変形位置合わせの処理が実行される。
【０１３５】
なお、本実施形態では弾性情報推定部２４０で推定した弾性画像を弾性画像の初期値として用いていたが、この弾性画像は必ずしも必要ではない。例えば、被検体の平均的な弾性係数が統計的に得られている場合には、その値を初期値として用いてもよい。また、弾性に関する事前知識がない場合には、弾性情報推定部２４０の処理とステップＳ９０５の処理を省き、変位パラメータの初期値（各制御点の変位）を０として以降の処理を実行してもよい。
【０１３６】
以上の処理によって、本実施形態における画像処理装置８００によれば、位置合わせのパラメータを推定する過程において弾性情報の整合性を勘案することで、ＭＲＩ画像と超音波断層像との位置合わせを高精度に行うことが可能となる。本実施形態ではさらに、変形の推定に応じて弾性画像を更新することで、弾性情報の比較をより高精度に行うことが可能となる。
【０１３７】
従来の方法では、位置合わせの対象である二つの画像間には変形が無いことが望ましい。一方、本実施形態では、二つの画像間に変形があることを利用して、位置合わせの過程でそこから導き出される弾性の情報を位置合わせに活用する。この点が、本実施形態の特徴といえる。
【０１３８】
［第４実施形態］
本実施形態に係る画像処理装置は、事前に撮像した被検体のＭＲＩ画像と、操作者（技師や医師）が対話的に撮像している当該被検体の超音波断層像の夫々を取得し、超音波断層像に対応するＭＲＩの断層像を生成して表示する機能を提供する。
【０１３９】
本実施形態に係る画像処理装置１０００と接続される機器の構成図は、図１と同様である。すなわち、第１実施形態に係る画像処理装置１０と同様に、超音波画像診断装置２０、核磁気共鳴映像装置３０、及び位置姿勢センサ４０が、ＬＡＮ５０を介して接続されている。なお、これらの機器に関する説明は、第１実施形態と同様であるので省略する。
【０１４０】
本実施形態に係る画像処理装置１０００の機能ブロック図は、図８と同様である。但し、位置合わせ処理部の動作が第３実施形態とは異なっている（本実施形態ではこれを位置合わせ処理部１０５０と呼ぶ）。なお、位置合わせ処理部１０５０以外の各部の機能は第３実施形態と同様であるので、その説明を省略する。
【０１４１】
位置合わせ処理部１０５０は、第３実施形態に係る位置合わせ処理部８５０と同様に、超音波断層像取得部２１０が取得した超音波断層像と、ＭＲＩ画像取得部２３０が取得したＭＲＩ画像との非剛体変形位置合わせを行う。具体的には、ＭＲＩ画像の変形パラメータと、ＭＲＩ座標系における超音波断層像の位置と姿勢を導出し、これをＭＲＩ断層像生成部２６０へと出力する。
【０１４２】
位置合わせ処理部１０５０は、仮定した弾性情報（第二の弾性情報）に基づいて変形パラメータを推定する弾性情報更新部１０５２（第二の弾性情報推定手段）と、弾性情報の整合性を利用して位置合わせの評価を行う評価部１０５４を有している。なお、これら各部の機能を含む位置合わせ処理部１０５０における処理の内容は、図１０のフローチャートを用いて後に説明する。
【０１４３】
なお、画像処理装置１０００の各部は、コンピュータのＣＰＵにより実行することでその機能を実現するソフトウェアとして実現してもよい。本実施形態では、画像処理装置１００００の各部は夫々ソフトウェアにより実現されており、同一のコンピュータにインストールされているものとする。なお、画像処理装置１０００の各部の機能をソフトウェアで実現するためのコンピュータの基本構成は図３と同様であるので、説明を省略する。
【０１４４】
本実施形態の画像処理装置１０００が実行する具体的な処理の手順は、図４のフローチャートと同様であるので、説明を省略する。ただし、本実施形態では、ステップＳ４５０で位置合わせ処理部１０５０が実行する位置合わせ処理の内容が、第１実施形態及び第３実施形態とは異なっている。
【０１４５】
以下、図１０のフローチャートを参照して、ステップＳ４５０で位置合わせ処理部１０５０が実行する位置合わせ処理の手順を説明する。なお、本実施形態における位置合わせ処理は、上記の実施形態と同様に、ＭＲＩ座標系における超音波断層像の位置と姿勢ｓ１と、ＭＲＩ画像の変形パラメータｓ２の導出によって実現される。
【０１４６】
（ステップＳ１００５）
ステップＳ１００５において、位置合わせ処理部２５０は、ステップＳ４２０で生成したＭＲＩ弾性画像に基づいて、重力に基づくＭＲＩ画像の変形パラメータを推定する。なお、ステップＳ１００５の処理は、第１実施形態におけるステップＳ５０５の処理と同様であるので、詳細な説明は省略する。
【０１４７】
（ステップＳ１０１０）
ステップＳ１０１０において、位置合わせ処理部８５０は、位置合わせの未知パラメータに初期値を設定する。ステップＳ１０１０の処理は、第１実施形態におけるステップＳ５１０の処理と同様であるので、詳細な説明は省略する。
【０１４８】
本実施形態においても、位置合わせの処理は、ｓ１の推定とｓ２の推定を交互に繰り返すことによって実現される。
【０１４９】
まず、ステップＳ１０１５からステップＳ１０２５の処理によって、超音波断層像の位置と姿勢の推定値ｓ１に補正を加えることで、ＭＲＩ画像と超音波断層像との間の剛体位置合わせを行う。なお、ステップＳ１０１５、ステップＳ１０２０、及びステップＳ１０２５の夫々の処理は、第１実施形態におけるステップＳ５２５、ステップＳ５３０、及びステップＳ５３５の処理と同様であるので、説明は省略する。
【０１５０】
次に、ステップＳ１０３０からステップＳ１０５０の処理によって、ＭＲＩ画像の変形パラメータｓ２（夫々の制御点の変位）に補正を加えることで、ＭＲＩ画像と超音波断層像との間の非剛体位置合わせを行う。
【０１５１】
（ステップＳ１０３０）
ステップＳ１０３０において、弾性情報更新部１０５２は、現時点でのＭＲＩ画像弾性画像に対して幾つかの補正の仮説を生成する。具体的には、弾性画像上に設定されている制御点の弾性係数に微小な変化を加える。そして、補間によって画像全体の弾性係数を得る。
【０１５２】
なお、この操作は、現在のパラメータの整合性の評価の際に、夫々の制御点付近の局所領域における位置合わせの整合性を夫々算出しておいて、その整合性に応じて変化量を操作するような構成であることが望ましい。すなわち、局所領域における位置合わせの整合性がとれている（評価値が小さい）場合には、その領域に影響を及ぼす制御点の弾性係数は正しいとする。そして、修正が必要な制御点の弾性係数のみに新たな仮説を生成する。
あるいは、評価値の大きさに応じて仮説を生成する際の変化量を調整する。これによると、仮説の組み合わせ爆発を防ぎ、処理時間の高速化を図ることができる。
【０１５３】
（ステップＳ１０３５）
ステップＳ１０３５において、弾性情報更新部１０５２は、ステップＳ１０３０で生成した夫々の仮説に基づいて、ステップＳ１００５と同様な処理によって、重力による変形パラメータを推定する。そして、得られた変形パラメータをｓ２の候補群とする。
【０１５４】
（ステップＳ１０４０）
ステップＳ１０４０において、評価部１０５４は、ステップＳ１０３５で求めた変形パラメータの候補群に基づいて、ｓ１（ここでは固定値として扱う）に位置する超音波断層像の位置合わせの整合性を評価し、その評価値を算出する。ここで、位置合わせの整合性の評価値の算出は、第１実施形態におけるステップＳ５１５と同様の方法によって行う。
評価値の算出に用いるＭＲＩ弾性画像として、ステップＳ１０３０で生成した仮説を利用することが、本実施形態の特徴である。
【０１５５】
（ステップＳ１０４５）
ステップＳ１０４５において、評価部１０５４は、ステップＳ１０４０で算出した評価値の最大値を選択する。そして、その最大値を与えるｓ２の候補を、変形パラメータの新たな推定値ｓ２とする。ただし、求めた最大値が現在の推定値に対する評価値と比べて小さい場合には、推定値の更新は行わない。
【０１５６】
（ステップＳ１０５０）
ステップＳ１０５０において、位置合わせ処理部１０５０は、変形パラメータの推定値の更新が収束しているか否かを判定する。そして、推定値の更新が収束していないと判定した場合には、ステップＳ１０３０へと処理を進めて仮説の生成と選択を再度実行する。
一方、推定値の更新が収束していると判定した場合には、ステップＳ１０５５へと処理を進める。ステップＳ１０５０の処理は、第１実施形態におけるステップＳ５５０の処理と同様であるので、詳細な説明は省略する。
【０１５７】
（ステップＳ１０５５）
ステップＳ１０５５において、位置合わせ処理部１０５０は、上記の処理を反復して行うか否かを判定する。処理を反復して行う場合には、ステップＳ１０１５へと処理を進め、現在のパラメータのさらなる更新を実行する。一方、反復しない場合には、ステップＳ１０６０へと処理を進める。ステップＳ１０５５の処理は、第１実施形態におけるステップＳ５５５の処理と同様であるので、詳細な説明は省略する。
【０１５８】
（ステップＳ１０６０）
ステップＳ１０６０において、位置合わせ処理部１０５０は、以上の工程で求めたＭＲＩ画像の変形パラメータｓ２と超音波断層像の位置と姿勢ｓ１を、位置合わせの結果としてＭＲＩ断層像生成部２６０へと出力する。
【０１５９】
以上によって、ステップＳ４５０における非剛体変形位置合わせの処理が実行される。
【０１６０】
なお、本実施形態では弾性情報推定部２４０で推定した弾性画像を弾性画像の初期値として用いていたが、この弾性画像は必ずしも必要ではない。例えば、被検体の平均的な弾性係数が統計的に得られている場合には、その値を初期値として用いてもよい。また、弾性に関する事前知識がない場合には、弾性情報推定部２４０の処理とステップＳ１００５の処理を省き、変位パラメータの初期値（各制御点の変位）を０として以降の処理を実行してもよい。
【０１６１】
なお、本実施形態では重力に基づく変形のみを仮定していたが、実際の変形がそれ以外の要因を含んでいる場合には、重力に基づく変形以外の変形を考慮してもよい。例えば、ステップＳ１０４５の処理の後に、第１実施形態のステップＳ５４０及びステップＳ５４５に相当する処理を実行してもよい。これによると、重力変形では表現できない変形パラメータを推定することができる。
【０１６２】
本実施形態によっても、第３の実施形態と同様な効果を得ることができる。
【０１６３】
（変形例１）
第１及び第２実施形態では、図５に示したフローチャートに従って非剛体変形位置合わせの処理を行っていた。しかし、位置合わせ処理部２５０（６５０）が実行する処理の手順は上記に限定されるものではない。また、第３、第４実施形態についても同様である。
【０１６４】
例えば、変形が重力のみに基づいていると仮定できる場合には、被検体に対するＭＲＩ撮像時の重力方向と超音波撮像時の重力方向を、変形パラメータｓ２として推定してもよい。ここで、既知の値として与えられている重力方向は、ｓ２の初期値として利用する。
そして、非剛体位置合わせに係る処理（ステップＳ５４０からステップＳ５５０の処理）のうちのステップＳ５４０を、次のように変更すればよい。まず、現在のｓ２（すなわち、重力方向の推定値）に異なる微小変化を加え、幾つかの仮説を生成する。そして、夫々の仮説について、ステップＳ５０５と同様な処理によって制御点の変位を推定する。そして、推定した変位に基づく変形を施したＭＲＩ画像に対する、ｓ１（ここでは固定値として扱う）に位置する超音波断層像の位置合わせの整合性を評価し、その評価値を算出する。以下、仮説の選択（Ｓ５４５）と収束の判定（Ｓ５５０）は、前記と同様に行えばよい。
【０１６５】
なお、重力の方向と、重力方向では表現できない制御点の変位とを、二段階の変形パラメータとしてそれぞれ推定する構成としてもよい。この場合、ステップＳ５３５とステップＳ５４０の間に、重力方向を推定する上記の処理を追加すればよい。
【０１６６】
また、被検体の姿勢を正確に制御できる場合には、変形パラメータの推定はステップＳ５０５でのみ行い、それ以降は剛体位置合わせのみを行う（すなわち、ステップＳ５４０からステップＳ５５０の処理は実行しない）という構成であってもよい。また、重力による被検体の変形が小さい場合には、ステップＳ５０５の処理を省略してもよい。また、変形がほとんど生じない被検体の場合には、被検体を剛体であると仮定して、ステップＳ５０５及びステップＳ５４０からステップＳ５５０の処理を省略してもよい。この場合、実行される位置合わせの処理は剛体位置合わせとなる。すなわち、推定されるパラメータはＭＲＩ座標系における超音波断層像の位置と姿勢のみとなる。
【０１６７】
また、複数の仮説を生成して夫々の評価値を求め、最善の仮説を選択していくという上記のアプローチ以外の方法であってもよい。例えば、以下のような方法で位置合わせを行ってもよい。まず、超音波断層像（及び超音波弾性画像）を複数のブロックに分割する。
次に、夫々のブロックと、当該ブロックの近傍に設定した探索範囲内から切り出したＭＲＩ画像（及びＭＲＩ弾性画像）の夫々との整合性を評価する。次に、最も整合するＭＲＩ画像（及びＭＲＩ弾性画像）を選択して、その位置（対応点）をブロックごとに取得する。そして、得られた対応点の集合に基づいて、超音波断層像の位置と姿勢を更新する。このとき、整合性の評価には、ＭＲＩ弾性画像と超音波弾性画像の整合性と、ＭＲＩ画像と超音波断層画像の整合性を用いればよい。
【０１６８】
なお、位置合わせ処理部２５０が実行する処理の手順は上記に限定されるものではなく、位置合わせのパラメータを推定する過程において夫々のモダリティから得た弾性情報の整合性を勘案する方法であれば、何れの方法であってもよい。
【０１６９】
（変形例２）
第１，第３，第４実施形態では、弾性情報推定部２４０はＭＲＩ画像から組織構造を推定し、それに基づいてＭＲＩ画像の弾性情報を推定していた。また、第２実施形態では、複数の姿勢で取得したＭＲＩ画像を利用して当該ＭＲＩ画像に関する被検体の弾性情報を推定していた。しかし、弾性情報の取得方法はこれに限るものではなく、他の何れの方法で取得してもよい。例えば、ある姿勢で撮影したＭＲＩ画像から抽出した組織構造に基づいて弾性情報を推定した後に、それを利用して他の姿勢で得たＭＲＩ画像との位置合わせを行い、さらに、その位置合わせ結果から弾性情報を推定しなおしてもよい。また、核磁気共鳴映像装置３０がＭＲＩ弾性画像を生成する機能を有している場合には、画像処理装置１０が核磁気共鳴映像装置３０からＭＲＩ弾性画像を取得する構成であってもよい。
【０１７０】
（変形例３）
上記の実施形態では、位置合わせの結果を利用して超音波断層像に対応するＭＲＩ断層像を生成してこれを超音波断層像と並べて表示していたが、必ずしもこの処理を行う必要はない。例えば、生成したＭＲＩ断層像を外部記憶装置３０４に記録する構成であってもよい。また、インターフェイス３０８を介して外部に出力する構成であってもよい。また、生成したＭＲＩ断層像と超音波断層像とを重ね合わせて表示してもよい。
【０１７１】
また、ＭＲＩ断層像を生成するのではなく、ＭＲＩ画像上で同定されている注目部位（例えば腫瘍）の位置を３次元的に保持しておいて、超音波断層像上における当該注目部位の位置を求めるのに位置合わせの結果を利用してもよい。そして、得られた情報を超音波断層像上に重畳表示するようなアプリケーションを構成してもよい。また、位置合わせの結果であるＭＲＩの変形パラメータと超音波断層像の位置と姿勢を、他のアプリケーションから利用可能な形態でＲＡＭ３０２や外部記憶装置３０４に保存する構成であってもよい。また、インターフェイス３０８を介してこれらを外部に出力する構成であってもよい。
【０１７２】
（変形例４）
上記の実施形態では、三次元医用画像を取得する第二のモダリティとしてＭＲＩを用いていたが、第二のモダリティはこれに限定されるものではない。例えば、Ｘ線ＣＴやＳＰＥＣＴ、ＰＥＴなどの三次元医用画像を生成するその他のモダリティであってもよい。同様に、第一のモダリティも超音波画像診断装置以外であってもよい。例えば、レーザー光源と超音波探触子を有するプローブを用いて被検体を撮像する光音響トモグラフィ（ＰＡＴ：Ｐｈｏｔｏ−ａｃｏｕｓｔｉｃ Ｔｏｍｏｇｒａｐｈｙ）装置であってもよい。また、第一のモダリティと第二のモダリティは必ずしも異なるモダリティで無くてもよく、異なる条件下において同一のモダリティによって取得した画像であってもよい。例えば、同一モダリティの別機種（例えば複数のメーカーの機器）で取得した画像同士であってもよいし、単一の機器によって異なる条件で撮影した画像同士であってもよい。
【０１７３】
（その他の実施形態）
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【０１７４】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１７５】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１７６】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【０１７７】
なお、上述した本実施の形態における記述は、本発明に係る好適な画像処理装置の一例であり、本発明はこれに限定されるものではない。
【符号の説明】
【０１７８】
１０ 画像処理装置
２０ 超音波画像診断装置
２５ 超音波プローブ
３０ 核磁気共鳴映像装置
４０ 位置姿勢センサ
２１０ 超音波断層像取得部
２２０ プローブ位置姿勢取得部
２３０ ＭＲＩ画像取得部
２４０ 弾性情報推定部
２５０ 位置合わせ処理部
２６０ ＭＲＩ断層像生成部
６００ 画像処理装置
６１０ 超音波画像取得部
６２０ プローブ位置姿勢取得部
６３０ ＭＲＩ画像取得部
６４０ 弾性情報推定部
６５０ 位置合わせ処理部
８００ 画像処理装置
８５０ 位置合わせ処理部
８５２ 弾性情報更新部
８５４ 評価部
１０００ 画像処理装置
１０５０ 位置合わせ処理部
１０５２ 弾性情報更新部
１０５４ 評価部
【特許請求の範囲】
【請求項１】
第一の画像と第二の画像との位置合わせを行う画像処理装置であって、
前記第一の画像における被検体の弾性に関する情報を取得する第一の弾性情報取得手段と、
前記第二の画像における被検体の弾性に関する情報を取得する第二の弾性情報取得手段と、
前記第一の弾性情報と前記第二の弾性情報との少なくともいずれか一方に基づいて、前記第一の画像と前記第二の画像の位置合わせを行う位置合わせ手段と、
を有することを特徴とする画像処理装置。
【請求項２】
位置合わせ手段は、前記第二の弾性情報に基づいて重力に応じた変形を前記第二の画像に対してすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第二の弾性情報取得手段は、複数の姿勢で被検体を撮像した複数の画像における対応画素間の距離に基づいて、被検体の弾性に関する情報を前記第二の弾性情報として推定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記第一の弾性情報と前記第二の弾性情報との整合性を評価する評価手段とを更に備え、
前記位置合わせ手段は、前記評価手段で算出した値が一定値に達するまで、前記第一の画像と前記第二の画像の少なくとも一方を変形することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項５】
前記評価手段は、前記第一の弾性情報と前記第二の弾性情報との整合性を評価するとともに、前記第一の画像と前記第二の画像との整合性をも評価し、弾性情報の整合性と画像の整合性との評価の比率を被検体の弾性情報に基づいて変更することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
【請求項６】
前記評価手段は、前記第一の弾性情報と前記第二の弾性情報との整合性を評価するとともに、前記第一の画像と前記第二の画像との整合性をも評価し、弾性情報の整合性と画像の整合性との評価の比率を被検体の撮影時の姿勢に基づいて変更することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
【請求項７】
前記第一の画像は超音波画像診断装置で撮像されたことを特徴とする請求項１乃至請求項６のいずれか一項に記載の画像処理装置。
【請求項８】
前記第二の画像はＭＲＩで撮像されたことを特徴とする請求項１乃至請求項７のいずれか一項に記載の画像処理装置。
【請求項９】
第一の画像と第二の画像との位置合わせを行う画像処理方法であって、
前記第一の画像における被検体の弾性に関する情報を取得する第一の弾性情報取得工程と、
前記第二の画像における被検体の弾性に関する情報を取得する第二の弾性情報取得工程と、
前記第一の弾性情報と前記第二の弾性情報との少なくともいずれか一方に基づいて、前記第一の画像と前記第二の画像の位置合わせを行う位置合わせ工程と、
を有することを特徴とする画像処理方法。
【請求項１０】
請求項９に記載の画像処理方法をコンピュータに実行させるプログラム。
【請求項１１】
請求項１０に記載のプログラムを記憶した、コンピュータが読み取り可能な記憶媒体。
【請求項１】
第一の画像と第二の画像との位置合わせを行う画像処理装置であって、
前記第一の画像における被検体の弾性に関する情報を取得する第一の弾性情報取得手段と、
前記第二の画像における被検体の弾性に関する情報を取得する第二の弾性情報取得手段と、
前記第一の弾性情報と前記第二の弾性情報との少なくともいずれか一方に基づいて、前記第一の画像と前記第二の画像の位置合わせを行う位置合わせ手段と、
を有することを特徴とする画像処理装置。
【請求項２】
位置合わせ手段は、前記第二の弾性情報に基づいて重力に応じた変形を前記第二の画像に対してすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第二の弾性情報取得手段は、複数の姿勢で被検体を撮像した複数の画像における対応画素間の距離に基づいて、被検体の弾性に関する情報を前記第二の弾性情報として推定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記第一の弾性情報と前記第二の弾性情報との整合性を評価する評価手段とを更に備え、
前記位置合わせ手段は、前記評価手段で算出した値が一定値に達するまで、前記第一の画像と前記第二の画像の少なくとも一方を変形することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項５】
前記評価手段は、前記第一の弾性情報と前記第二の弾性情報との整合性を評価するとともに、前記第一の画像と前記第二の画像との整合性をも評価し、弾性情報の整合性と画像の整合性との評価の比率を被検体の弾性情報に基づいて変更することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
【請求項６】
前記評価手段は、前記第一の弾性情報と前記第二の弾性情報との整合性を評価するとともに、前記第一の画像と前記第二の画像との整合性をも評価し、弾性情報の整合性と画像の整合性との評価の比率を被検体の撮影時の姿勢に基づいて変更することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
【請求項７】
前記第一の画像は超音波画像診断装置で撮像されたことを特徴とする請求項１乃至請求項６のいずれか一項に記載の画像処理装置。
【請求項８】
前記第二の画像はＭＲＩで撮像されたことを特徴とする請求項１乃至請求項７のいずれか一項に記載の画像処理装置。
【請求項９】
第一の画像と第二の画像との位置合わせを行う画像処理方法であって、
前記第一の画像における被検体の弾性に関する情報を取得する第一の弾性情報取得工程と、
前記第二の画像における被検体の弾性に関する情報を取得する第二の弾性情報取得工程と、
前記第一の弾性情報と前記第二の弾性情報との少なくともいずれか一方に基づいて、前記第一の画像と前記第二の画像の位置合わせを行う位置合わせ工程と、
を有することを特徴とする画像処理方法。
【請求項１０】
請求項９に記載の画像処理方法をコンピュータに実行させるプログラム。
【請求項１１】
請求項１０に記載のプログラムを記憶した、コンピュータが読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−５９６５８（Ｐ２０１３−５９６５８Ａ）
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願番号】特願２０１２−２６１３０７（Ｐ２０１２−２６１３０７）
【出願日】平成２４年１１月２９日（２０１２．１１．２９）
【分割の表示】特願２００８−２９６６９８（Ｐ２００８−２９６６９８）の分割
【原出願日】平成２０年１１月２０日（２００８．１１．２０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願日】平成２４年１１月２９日（２０１２．１１．２９）
【分割の表示】特願２００８−２９６６９８（Ｐ２００８−２９６６９８）の分割
【原出願日】平成２０年１１月２０日（２００８．１１．２０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]