画像処理装置、画像処理方法及びプログラム
【課題】対象物体の三次元画像と断層画像との対応が分かりやすく、なお且つ、三次元画像の全体の中における断層画像の位置が分かりやすいように表示する仕組みを提供する。
【解決手段】対象物体の三次元画像を取得する医用画像取得部１００１と、対象物体の断層画像を取得する断層画像取得部１００２と、前記三次元画像における前記断層画像の断面を算出する算出部１００４と、前記三次元画像を前記断面で分割し、当該分割した２つの分割三次元画像のうち、一方の分割三次元画像の前記断面を第１の視点から見た第１のレンダリング画像を生成するとともに、他方の分割三次元画像の前記断面を第２の視点から見た第２のレンダリング画像を生成する分割三次元画像生成部１００５と、前記第１のレンダリング画像の前記断面の対応する位置に前記断層画像を重畳する重畳画像生成部１００７を備える。
【解決手段】対象物体の三次元画像を取得する医用画像取得部１００１と、対象物体の断層画像を取得する断層画像取得部１００２と、前記三次元画像における前記断層画像の断面を算出する算出部１００４と、前記三次元画像を前記断面で分割し、当該分割した２つの分割三次元画像のうち、一方の分割三次元画像の前記断面を第１の視点から見た第１のレンダリング画像を生成するとともに、他方の分割三次元画像の前記断面を第２の視点から見た第２のレンダリング画像を生成する分割三次元画像生成部１００５と、前記第１のレンダリング画像の前記断面の対応する位置に前記断層画像を重畳する重畳画像生成部１００７を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、種々の医用画像収集装置（モダリティ）で撮影された医用画像を処理する画像処理装置及び画像処理方法、並びに、当該画像処理方法をコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
医療の分野において、医師は医用画像収集装置（モダリティ）を用いて患者を撮影し、得られた医用画像を読影して病変部の位置や状態、経時変化を観察する。医用画像を生成する医用画像収集装置としては、単純Ｘ線撮影装置、Ｘ線コンピュータ断層撮影装置（Ｘ線ＣＴ）、核磁気共鳴映像装置（ＭＲＩ）、超音波断層画像診断装置（ＵＳ）などが挙げられる。夫々の装置は特性が異なるため、撮影する部位や疾病などに適した装置を複数選択して用いる。例えばＭＲＩを用いて患者を撮影し、ＭＲＩによって撮影された画像（ＭＲＩ画像）を参照しながら超音波断層画像を撮影することで、病変部の位置や拡がりなどの診断に有効な情報を得ることができる。
【０００３】
超音波断層画像とＭＲＩ画像との両画像間の対応する部位を対応付けて診断することは効果的であり、そのためには夫々の画像の位置や対応がわかりやすい表示をすることが必要である。
【０００４】
この課題に対するアプローチの１つとして、三次元画像をわかりやすく表示するために、三次元画像を切断面で分割し、複数の視点から見た見開き状態としてボリュームレンダリングする方法がある。特許文献１には、ボリュームデータに切断面を設定して生成した複数の分割データ毎に、独立した光源を設け、独立したボクセル追跡処理を行い、得られた各投影画像を合成することで、各切断面が見開きとなる画像をリアルタイムで表示する技術が開示されている。この技術により、複雑な血管走行、臓器の構造や位置関係の観察が容易となる。そのため、医療における診断能力を向上させることができる。
【０００５】
一方、異なるモダリティで撮影された医用画像の対応する組織を複合的に観察するために、夫々の画像中の特徴を利用して位置合わせして表示する技術が従来から検討されている。例えば、非特許文献１に開示されている手法では、ＣＴによって撮影された画像（ＣＴ画像）の肝臓部分と対応する超音波断層画像とを位置合わせし、ＣＴ画像中の位置に超音波断層画像を重畳表示している。この技術により、あるモダリティで撮影された画像の注目する部分と、異なるモダリティで撮影された画像とを複合的に観察することが可能となる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−２７６０６６号公報
【非特許文献】
【０００７】
【非特許文献１】W. Wein et al. "Simulation and fully automatic multimodal registration of medical ultrasound," Proc. MICCAI 2007, Part I, LNCS 4791, pp.136-143, 2007.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に記載の従来例では、複数のモダリティで撮影された画像を対応付けて観察する場合には、その画像同士が重なる部分において画像間の対応が分かりにくいという課題があった。一方、非特許文献１に記載の従来例では、重畳した断層画像と三次元画像が重なる部位においては、いずれかの画像が見えなくなり、画像間の比較ができないという課題があった。
【０００９】
本発明は上述した課題に鑑みてなされたものであり、対象物体の三次元画像と断層画像との対応が分かりやすく、なお且つ、三次元画像の全体の中における断層画像の位置が分かりやすいように表示する仕組みを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、対象物体の三次元画像を取得する三次元画像取得手段と、前記三次元画像とは異なる前記対象物体の断層画像を取得する断層画像取得手段と、前記三次元画像における前記断層画像の断面を算出する算出手段と、前記三次元画像を前記断面で分割し、当該分割した２つの分割三次元画像のうち、一方の分割三次元画像の前記断面を第１の視点から見た第１のレンダリング画像を生成するとともに、他方の分割三次元画像の前記断面を前記第１の視点とは異なる第２の視点から見た第２のレンダリング画像を生成するレンダリング画像生成手段と、前記三次元画像の前記断面における断面画像を生成する断面画像生成手段と、前記第１のレンダリング画像の前記断面の対応する位置に前記断層画像を重畳するとともに、前記第２のレンダリング画像の前記断面に前記断面画像を重畳する重畳手段とを有する。
また、本発明は、上述した画像処理装置による画像処理方法、及び、当該画像処理方法をコンピュータに実行させるためのプログラムを含む。
【発明の効果】
【００１１】
本発明によれば、対象物体の三次元画像と断層画像との対応が分かりやすく、なお且つ、三次元画像の全体の中における断層画像の位置が分かりやすいように表示する仕組みを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態に係る画像処理システムの機能構成の一例を示す図である。
【図２】第１の実施形態に係る画像処理システムのハードウェア構成の一例を示す図である。
【図３】第１の実施形態に係る画像処理装置による画像処理方法の処理手順の一例を示すフローチャートである。
【図４】第１の実施形態を示し、図３のステップＳ３０５の処理により生成されたＭＲＩ断面画像を示す図である。
【図５】第１の実施形態を示し、超音波断層画像と超音波断層画像座標系を説明する図である。
【図６】第１の実施形態を示し、図３のステップＳ３０４の処理を説明する図である。
【図７】第１の実施形態を示し、図６に示す座標系において２つの視点の位置を示した図である。
【図８】第１の実施形態を示し、図７に示す超音波断面と２つの視点との位置関係を示す図である。
【図９】第１の実施形態を示し、図３のステップＳ３０８の処理結果を説明する図である。
【図１０】第２の実施形態に係る画像処理システムの機能構成の一例を示す図である。
【図１１】第２の実施形態に係る画像処理装置による画像処理方法の処理手順の一例を示すフローチャートである。
【図１２】第２の実施形態を示し、超音波断層画像が表示された超音波断面、第１の視点及び病変の位置関係の一例を示す図である。
【図１３】第２の実施形態を示し、第１の視点の位置から一方の分割ＭＲＩ画像を見て生成された第１のレンダリング画像の図である。
【図１４】第２の実施形態を示し、図１１のステップＳ１１０９の処理を説明するための図である。
【図１５】第２の実施形態に係る変形例２−３で行われる処理を説明する図である。
【発明を実施するための形態】
【００１３】
以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。
【００１４】
［第１の実施形態］
本実施形態に係る画像処理装置は、超音波プローブで指定した断面で三次元画像（ＭＲＩ画像）を切り開いた２つの分割ＭＲＩ画像を生成する。そして、本実施形態に係る画像処理装置は、一方の分割ＭＲＩ画像の断面部分には超音波断層画像を重畳し、他方の分割ＭＲＩ画像の断面部分には三次元画像の断面画像を重畳し、夫々生成した画像を表示する。本実施形態では、人体の乳房を対象物体とする場合を例として説明する。
【００１５】
図１は、第１の実施形態に係る画像処理システムの機能構成の一例を示す図である。この図１には、特に、画像処理システムに含まれる画像処理装置１００の機能構成の一例が示されている。
【００１６】
医用画像撮影装置１１０は、ＭＲＩで対象物体の所定の三次元領域を撮影して医用画像として三次元ＭＲＩ画像を生成する。医用画像撮影装置１１０の撮影により得られた三次元ＭＲＩ画像は、画像処理装置１００内部の医用画像取得部１００１に入力される。なお、本実施形態では、ＭＲＩ画像中の対象物体の形状は、超音波検査時の形状と略同一であるものとする。これは、例えば、超音波検査時と同一の体位でＭＲＩ撮影を行っているものとする。あるいは、伏臥位での乳房形状から仰臥位での乳房形状への変形を公知の物理変形シミュレーション等の技術により推定することで、伏臥位で撮影されたＭＲＩ画像と仰臥位で撮影した超音波画像との間の補正処理が既に行われているものとする。
【００１７】
超音波断層画像撮影装置１２０は、超音波を送受信する不図示の超音波プローブを対象物体に接触させることで、対象物体の内部を超音波撮影して超音波断層画像を生成する。本実施形態では、超音波断層画像撮影装置１２０は、対象物体の所定の二次元領域を撮影して二次元のＢモード超音波断層画像を生成する。超音波断層画像撮影装置１２０の撮影により得られた二次元のＢモード超音波断層画像は、画像処理装置１００内部の超音波断層画像取得部１００２に入力される。
【００１８】
位置姿勢計測装置１３０は、超音波断層画像撮影装置１２０が持つ不図示の超音波プローブの位置と姿勢を計測する。例えば、位置姿勢計測装置１３０は、米国Ｐｏｌｈｅｍｕｓ社のＦＡＳＴＲＡＫ等によって構成され、センサ座標系（位置姿勢計測装置１３０が基準として定める座標系）における超音波プローブの位置と姿勢を計測する。なお、位置姿勢計測装置１３０は、超音波プローブの位置と姿勢が計測できるのであれば、どのように構成されていても良い。位置姿勢計測装置１３０で計測された超音波プローブの位置と姿勢の計測値は、画像処理装置１００内部の位置姿勢計測値取得部１００３に入力される。
【００１９】
画像処理装置１００は、医用画像撮影装置１１０、超音波断層画像撮影装置１２０、位置姿勢計測装置１３０と接続される。
【００２０】
画像処理装置１００内部の医用画像取得部１００１は、医用画像撮影装置１１０で撮影された医用画像である対象物体の三次元ＭＲＩ画像を取得し、これを分割三次元画像生成部１００５及び断面画像生成部１００６へ出力する。
【００２１】
画像処理装置１００内部の超音波断層画像取得部１００２は、超音波断層画像撮影装置１２０で撮影された対象物体の超音波断層画像を取得し、これを重畳画像生成部１００７へ出力する。
【００２２】
画像処理装置１００内部の位置姿勢計測値取得部１００３は、位置姿勢計測装置１３０で計測された超音波プローブの位置と姿勢の計測値を取得し、これを切断面算出部１００４へ出力する。
【００２３】
画像処理装置１００内部の切断面算出部１００４は、位置姿勢計測値取得部１００３から得た超音波プローブの位置と姿勢の計測値から、ＭＲＩ画像中の超音波プローブの位置と姿勢を求め、そこから超音波断層画像がＭＲＩ画像を分割する切断面を算出する。そして、切断面算出部１００４は、算出した切断面に係る情報を、分割三次元画像生成部１００５、断面画像生成部１００６、重畳画像生成部１００７へ出力する。
【００２４】
画像処理装置１００内部の分割三次元画像生成部１００５は、医用画像取得部１００１から得たＭＲＩ画像と、切断面算出部１００４から得たＭＲＩ画像の切断面に係る情報に基づき、三次元画像（ＭＲＩ画像）を切り開いて２つの分割ＭＲＩ画像を生成する。そして、分割三次元画像生成部１００５は、生成した分割三次元画像である２つの分割ＭＲＩ画像を重畳画像生成部１００７へ出力する。
【００２５】
画像処理装置１００内部の断面画像生成部１００６は、医用画像取得部１００１から得たＭＲＩ画像と、切断面算出部１００４から得たＭＲＩ画像の切断面に係る情報に基づき、前記切断面に対応するＭＲＩ画像の断面画像を生成する。そして、断面画像生成部１００６は、生成したＭＲＩ画像の断面画像（ＭＲＩ断面画像）を重畳画像生成部１００７へ出力する。
【００２６】
画像処理装置１００内部の重畳画像生成部１００７は、超音波断層画像取得部１００２から得た超音波断層画像と、切断面算出部１００４から得た切断面に係る情報と、分割三次元画像生成部１００５から得た２つの分割ＭＲＩ画像と、断面画像生成部１００６から得たＭＲＩ断面画像に基づき、一方の分割ＭＲＩ画像の断面に超音波断層画像を重畳し、他方の分割ＭＲＩ画像の断面にＭＲＩ断面画像を重畳した画像（重畳画像）を生成する。そして、重畳画像生成部１００７は、生成した重畳画像を画像表示部１００８へ出力する。
【００２７】
画像処理装置１００内部の画像表示部１００８は、重畳画像生成部１００７が生成した重畳画像を表示する処理を実行する。
【００２８】
図２は、第１の実施形態に係る画像処理システムのハードウェア構成の一例を示す図である。ここで、図２において、図１に示す構成と同様の構成については、同じ符号を付している。
【００２９】
本実施形態の画像処理システムは、画像処理装置１００、医用画像撮影装置１１０、超音波断層画像撮影装置１２０、位置姿勢計測装置１３０、医用画像記録装置２３０、及び、ローカルエリアネットワーク（ＬＡＮ）２４０を有して構成される。
【００３０】
画像処理装置１００は、例えば、パーソナルコンピュータ（ＰＣ）などで実現することができる。画像処理装置１００は、中央演算処理装置（ＣＰＵ）２１１、主メモリ２１２、磁気ディスク２１３、表示メモリ２１４、モニタ２１５、マウス２１６、キーボード２１７、及び、共通バス２１８のハードウェアを有して構成されている。
【００３１】
ＣＰＵ２１１は、主として画像処理装置１００の各構成要素の動作を制御して、画像処理装置１００の動作を統括的に制御する。
【００３２】
主メモリ２１２は、ＣＰＵ２１１が実行する制御プログラムを格納したり、ＣＰＵ２１１によるプログラム実行時の作業領域を提供したりする。
【００３３】
磁気ディスク２１３は、オペレーティングシステム（ＯＳ）、周辺機器のデバイスドライブ、各種アプリケーションソフト等を格納する。
【００３４】
表示メモリ２１４は、モニタ２１５に表示するための表示用データを一時記憶する。
【００３５】
モニタ２１５は、例えばＣＲＴモニタや液晶モニタ等であり、表示メモリ２１４からの表示用データに基づいて画像を表示する。
【００３６】
マウス２１６及びキーボード２１７は、ユーザによるポインティング入力及び文字やコマンド等の入力をそれぞれ行う。
【００３７】
共通バス２１８は、画像処理装置１００の上記各構成要素を互いに通信可能に接続する。
【００３８】
本実施形態においては、画像処理装置１００は、ＬＡＮ２４０を介して医用画像記録装置２３０から医用画像データ等を読み出して取得することができる。また、画像処理装置１００は、ＬＡＮ２４０を経由して医用画像撮影装置１１０から直接に医用画像データ等を取得できるようにしても良い。なお、本発明の実施形態はこれに限定されず、例えば、画像処理装置１００にＵＳＢメモリ等の外部記憶装置を接続し、この外部記憶装置から医用画像データ等を読み込んで取得するようにしても良い。また、この外部記憶装置に本実施形態に係る画像処理システムの処理結果を保存するようにしても良い。また、超音波断層画像撮影装置１２０で撮影した超音波断層画像と、位置姿勢計測装置１３０で計測された位置・姿勢データを医用画像記録装置２３０に記録しておいて、画像処理装置１００が医用画像記録装置２３０から超音波断層画像と位置・姿勢データを読み出して取得できるようにしても良い。
【００３９】
次に、本実施形態に係る画像処理装置１００が行う全体の動作に関して、図３のフローチャートを用いて詳しく説明する。
図３は、第１の実施形態に係る画像処理装置１００による画像処理方法の処理手順の一例を示すフローチャートである。本実施形態では、主メモリ２１２に格納されている、各機能構成（図１）の機能を実現するためのプログラムを、ＣＰＵ２１１が実行することにより、図３に示すフローチャートの処理が実現される。
【００４０】
（ステップＳ３００）：ＭＲＩ画像（三次元画像）の取得
ステップＳ３００において、医用画像取得部１００１は、医用画像撮影装置１１０によって対象物体を撮影した結果得られた医用画像である三次元ＭＲＩ画像を取得する。医用画像である三次元ＭＲＩ画像を取得する医用画像取得部１００１は、「三次元画像取得手段」を構成し、また、ステップＳ３００は、「三次元画像取得ステップ」を構成する。このステップＳ３００で取得されるＭＲＩ画像の座標系としては、Ｚ軸を人体の足から頭への方向、Ｙ軸を人体の胸部から背中への方向、Ｘ軸を人体の左右方向と定義したＭＲＩ画像座標系６０１（後述する図６）とする。また、撮影の対象物体が人体の乳房であるため、このステップＳ３００で取得されるＭＲＩ画像は、後述する図６に示すように、皮膚６０２や乳頭６０３のような表面構造と、乳腺６０４や骨６０５、大胸筋６０６といった内部構造からなるものである。
【００４１】
（ステップＳ３０１）：超音波断層画像の取得
ステップＳ３０１において、超音波断層画像取得部１００２は、超音波断層画像撮影装置１２０によって対象物体を撮影することにより得られた超音波断層画像５０１（後述する図５）を取得する。なお、この超音波断層画像５０１は、ドップラーや、エラストグラフィなどでも良い。本実施形態では、取得する超音波断層画像５０１が対象物体の二次元Ｂモード超音波断層画像である場合を例として説明を行う。
【００４２】
図５は、第１の実施形態を示し、超音波断層画像と超音波断層画像座標系を説明する図である。
図５には、超音波断層画像５０１として乳房領域の超音波断層画像の一例が示されている。取得する超音波断層画像５０１の座標としては、超音波断層画像を含む平面をＸＹ平面とし、それと直行する軸をＺ軸と定義した超音波断層画像座標系５０２を用いる。本実施形態では、超音波断層画像５０１の画像情報は、ｚ＝０の平面上のみに存在することになる。ここで、ＸUSを、超音波断層画像座標系５０２における三次元の位置座標を表すベクトルとし、本実施形態では、４次元の拡張ベクトルとして表現されているものとする。
【００４３】
（ステップＳ３０２）：超音波プローブの位置・姿勢の取得
ステップＳ３０２において、位置姿勢計測値取得部１００３は、位置姿勢計測装置１３０によって計測された、対象物体を超音波断層画像撮影装置１２０で撮影している際の超音波プローブのセンサ座標系における位置と姿勢を取得する。ここで、センサ座標系における超音波プローブの位置・姿勢を、４行４列の行列ＴPROBE_SENSORで表すものとする。
【００４４】
（ステップＳ３０３）：ＭＲＩ画像における超音波断層画像の断面（切断面）の算出
ステップＳ３０３において、切断面算出部１００４は、まず、ステップＳ３０２で取得したセンサ座標系における超音波プローブの位置と姿勢を、センサ座標系と対象物体との位置関係に基づいて、ＭＲＩ画像座標系６０１（後述する図６）における超音波プローブの位置と姿勢に変換する。そして、切断面算出部１００４は、ＭＲＩ画像における超音波断層画像の断面（切断面）を算出する。
【００４５】
ここで、図５に示す超音波断層画像座標系５０２から超音波プローブの座標系への変換規則をＴUS_PROBEとし、既知の校正手法によって、回転・並進・スケーリングで表現される４行４列の行列として予め算出されているものとする。超音波断層画像座標系５０２からセンサ座標系への変換規則ＴUS_SENSORは、下記の（１）式で示されるように、ＴUS_PROBEとＴPROBE_SENSORの乗算で算出される。また、センサ座標系からＭＲＩ画像座標系６０１（後述する図６）への変換規則ＴSENSOR_MRIを乳房の剛体部分などを用いて予め求めておくことで、下記の（２）式を用いて、超音波断層画像座標系５０２からＭＲＩ画像座標系６０１への変換規則ＴUS_MRIが求められる。超音波断層画像５０１の四隅の座標をＸ1US，Ｘ2US，Ｘ3US、Ｘ4USとする。この四隅の座標と変換規則ＴUS_MRIとの乗算から得られる４点で囲まれる領域を、ＭＲＩ画像中での超音波断層画像の断面（後述する図６の超音波断面６０７）とし、超音波断面６０７を部分領域として含む平面を指定断面６０８（後述する図６）とする。
ＴUS_SENSOR＝ＴUS_PROBE・ＴPROBE_SENSOR ・・・（１）
ＴUS_MRI＝ＴUS_SENSOR・ＴSENSOR_MRI ・・・（２）
【００４６】
（ステップＳ３０４）：切断面（指定断面）でＭＲＩ画像を分割した分割ＭＲＩ画像（分割三次元画像）の生成
ステップＳ３０４において、分割三次元画像生成部１００５は、ステップＳ３０３で得られた切断面（後述する図６の指定断面６０８）で、ステップＳ３００で得られたＭＲＩ画像を２つに分割した分割ＭＲＩ画像（分割三次元画像）を生成する。
【００４７】
図６は、第１の実施形態を示し、図３のステップＳ３０４の処理を説明する図である。具体的に、図６は、指定断面６０８でＭＲＩ画像を２つに分割した図である。本実施形態では、超音波断層画像座標系５０２のＺ座標が負の方を分割ＭＲＩ画像６０９、超音波断層画像座標系５０２のＺ座標が正の方を分割ＭＲＩ画像６１０と定義する。図６では、分割ＭＲＩ画像６０９は人体の足側、分割ＭＲＩ画像６１０は人体の頭側の画像となっている。なお、説明の都合上、図６では、分割ＭＲＩ画像６０９と分割ＭＲＩ画像６１０が離れたように描かれているが、実際には前記２つの分割ＭＲＩ画像の位置関係は、指定断面６０８を介して一体となっている。分割三次元画像生成部１００５は、前記２つの分割ＭＲＩ画像に対して異なる２つの位置に仮想的な視点を設定する処理を実行する。
【００４８】
図７は、第１の実施形態を示し、図６に示す座標系において２つの視点の位置を示した図である。図７において、超音波断層画像座標系５０２のＺ座標が負になる方の視点を第１の視点７０１、超音波断層画像座標系５０２のＺ座標が正になる方の視点を第２の視点７０２と定義する。ここで、分割三次元画像生成部１００５は、以下に述べる複数の条件を満たす位置に視点を設定する。
【００４９】
図８は、第１の実施形態を示し、図７に示す超音波断面６０７と２つの視点７０１及び７０２との位置関係を示す図である。
【００５０】
図８（ａ）は２つの視点７０１及び７０２の位置関係を示したものであり、それぞれの見る方向を視線８０１及び視線８０２とすると、これらは、超音波断面６０７の中心部に向かっている。これを第１の視点設定の条件とする。
【００５１】
また、図８（ｂ）は超音波断層画像座標系５０２のＹ座標が負の方向から見た図であり、それぞれの視点７０１及び７０２からの視線８０１及び８０２と超音波断面６０７とのなす角度はθとなり、超音波断面６０７を中心として対称の位置になっている。これを第２の視点設定の条件とする。
【００５２】
また、図８（ｃ）はＸ座標が正の方向から見た図であり、超音波断面６０７と２つの視点７０１及び７０２との距離は等しくなっている。これを第３の視点設定の条件とする。
【００５３】
分割三次元画像生成部１００５は、上記第１から第３の視点設定の条件を満たす位置に第１の視点７０１及び第２の視点７０２を設定する処理を実行する。
次に、分割三次元画像生成部１００５は、第１の視点７０１の位置から一方の分割ＭＲＩ画像６１０を観察した第１のレンダリング画像Ｉrender1を、ボリュームレンダリング手法を用いて生成する。同様にして、分割三次元画像生成部１００５は、第２の視点７０２の位置から他方の分割ＭＲＩ画像６０９を観察した第２のレンダリング画像Ｉrender2を生成する。第１のレンダリング画像Ｉrender1及び第２のレンダリング画像Ｉrender2を生成する分割三次元画像生成部１００５は、「レンダリング画像生成手段」を構成し、また、ステップＳ３０４は、「レンダリング画像生成ステップ」を構成する。
【００５４】
（ステップＳ３０５）：切断面に対応したＭＲＩ断面画像の生成
ステップＳ３０５において、断面画像生成部１００６は、ステップＳ３０３で得られた切断面（図６の指定断面６０８）をＭＲＩ画像の断面とするＭＲＩ断面画像を生成する。
図４は、第１の実施形態を示し、図３のステップＳ３０５の処理により生成されたＭＲＩ断面画像を示す図である。図４に示すＭＲＩ断面画像４０１は、ＭＲＩ画像の前記切断面（図６の指定断面６０８）に含まれる各画素に基づいて描画した画像となっている。図４のＭＲＩ断面画像座標系４０２は、ＭＲＩ断面画像４０１を含む平面をＸＹ平面とし、それと直行する軸をＺ軸と定義している。
【００５５】
（ステップＳ３０６）：レンダリング画像Ｉrender1に超音波断層画像５０１を重畳
ステップＳ３０６において、重畳画像生成部１００７は、ステップＳ３０１で取得された超音波断層画像５０１を、ステップＳ３０４で生成した第１のレンダリング画像Ｉrender1（一方の分割ＭＲＩ画像６１０）の断面上に重畳し、重畳画像Ｉ1を生成する。具体的に、超音波断層画像５０１は、ステップＳ３０２で取得した超音波プローブの位置・姿勢、ステップＳ３０３で取得した超音波断面６０７、及び、ステップＳ３０４で設定した第１の視点７０１に基づいて、重畳される。超音波断層画像５０１の各画素は、超音波断層画像座標系５０２におけるそれぞれの座標ＸUSと、ステップＳ３０３で求めた変換規則ＴUS_MRIから求められるＭＲＩ画像座標系６０１における座標ＸMRIで示される位置に重畳される。
【００５６】
（ステップＳ３０７）：レンダリング画像Ｉrender2にＭＲＩ断面画像４０１を重畳
ステップＳ３０７において、重畳画像生成部１００７は、ステップＳ３０５で生成されたＭＲＩ断面画像４０１を、ステップＳ３０４で生成した第２のレンダリング画像Ｉrender2（他方の分割ＭＲＩ画像６０９）の断面上に重畳し、重畳画像Ｉ2を生成する。具体的に、ＭＲＩ断面画像４０１は、ステップＳ３０３で取得した指定断面６０８と、ステップＳ３０４で設定した第２の視点７０２に基づいて、重畳される。その結果、ＭＲＩ断面画像４０１は、ＭＲＩ画像座標系６０１と、ＭＲＩ断面画像座標系４０２のそれぞれの軸と方向が一致するように重畳される。なお、重畳画像生成部１００７は、前記ＭＲＩ断面画像４０１から体内領域の抽出を行い、前記体内領域だけを重畳する。
【００５７】
（ステップＳ３０８）：重畳画像の表示
ステップＳ３０８において、画像表示部１００８は、ステップＳ３０６で生成された重畳画像Ｉ1と、ステップＳ３０７で生成された重畳画像Ｉ2とを並べて表示する。
図９は、第１の実施形態を示し、図３のステップＳ３０８の処理結果を説明する図である。ステップＳ３０８の処理により、図９に示すようなＭＲＩ画像を指定断面６０８で切り開いた重畳画像Ｉ1及びＩ2を有する画像が得られる。具体的に、図９に示すように、重畳画像Ｉ1は、一方の分割ＭＲＩ画像６１０の超音波断面６０７に超音波断層画像５０１が重畳されている。また、重畳画像Ｉ2は、他方の分割ＭＲＩ画像６０９の指定断面６０８にＭＲＩ断面画像４０１が重畳されている。そして、各重畳画像Ｉ1及びＩ2は、切断面（指定断面６０８）を見せるようにそれぞれ表示されている。
【００５８】
以上のステップＳ３００〜Ｓ３０８の処理を経ることによって、画像処理装置１００による画像処理方法の処理が実施される。
【００５９】
上述した第１の実施形態に係る画像処理システムによれば、２つの分割ＭＲＩ画像６０９及び６１０の両方を表示するようにしたので、どちらか一方のみを表示する場合と比べて、対象物体全体における切断面の位置を確認し易くすることができる。
また、一方の分割ＭＲＩ画像６１０の超音波断面６０７に超音波断層画像５０１を重畳して表示するようにしたので、ＭＲＩ画像中における超音波断層画像５０１の位置・姿勢を把握することができる。
加えて、他方の分割ＭＲＩ画像６０９の指定断面６０８にＭＲＩ断面画像４０１を重畳して表示するようにしたので、撮影した超音波断層画像５０１と対応するＭＲＩ断面画像４０１との比較が容易になる。これにより、超音波断層画像５０１とＭＲＩ断面画像４０１の両方による詳細な診断を容易に行うことができる。
ＭＲＩと超音波断層画像撮影装置で撮影された医用画像について、画像同士の比較と、画像間の位置関係の把握とが同時に可能になることが本実施形態の最大の特徴と言える。
【００６０】
次に、第１の実施形態における変形例について以下に説明する。
【００６１】
＜変形例１−１＞：三次元画像がＭＲＩ画像以外の場合
上述した第１の実施形態では、三次元画像がＭＲＩ画像である場合を例として説明したが、本発明の実施形態においてはこれに限らない。例えば、医用画像撮影装置１１０は、Ｘ線ＣＴや、光音響トモグラフィ装置、三次元超音波装置であっても良く、これらの装置で撮影された三次元画像を適用しても良い。
【００６２】
＜変形例１−２＞：両側にＭＲＩ断面画像を重畳する
上述した第１の実施形態では、ＭＲＩ画像における指定断面６０８に対応するＭＲＩ断面画像４０１を第２のレンダリング画像Ｉrender2（他方の分割ＭＲＩ画像６０９）のみに重畳したが、本発明の実施形態においてはこれに限らない。例えば、第１のレンダリング画像Ｉrender1（一方の分割ＭＲＩ画像６１０）、及び、第２のレンダリング画像Ｉrender2（他方の分割ＭＲＩ画像６０９）のそれぞれについて、指定断面６０８に対応するＭＲＩ断面画像を矛盾しないように対応付けて重畳することも可能である。そして、第１のレンダリング画像Ｉrender1（一方の分割ＭＲＩ画像６１０）の対応する位置に超音波断層画像５０１を重畳しても良い。これにより、超音波断層画像５０１と、超音波断層画像５０１で注目している領域に対応するＭＲＩ断面画像とを比較できるだけでなく、注目している領域外におけるＭＲＩ断面画像についても把握でき、より多くの臨床情報を画像として示すことが可能になる。
【００６３】
＜変形例１−３＞：ＭＲＩ断面画像を重畳しない
上述した第１の実施形態では、第２のレンダリング画像Ｉrender2（他方の分割ＭＲＩ画像６０９）について、指定断面６０８に対応するＭＲＩ断面画像を重畳したが、ＭＲＩ断面画像を重畳しなくても良い。これにより、第２のレンダリング画像Ｉrender2（他方の分割ＭＲＩ画像６０９）における、超音波断層画像座標系５０２のＺ座標が負となる方向に存在する内部構造を観察することが可能となる。さらに、組織の三次元的位置や構造を把握しながら、超音波断層画像５０１を観察することができる。
【００６４】
＜変形例１−４＞：超音波断層画像重畳側に手前側の内部構造を描画
分割ＭＲＩ画像６０９中に含まれる骨６０５について、指定断面６０８にＭＲＩ断面画像４０１を重畳した場合、第２の視点７０２から観察するとＭＲＩ断面画像４０１の裏に隠れてしまい、見えない状態となる。上述した第１の実施形態では、分割ＭＲＩ画像６１０において、超音波断層画像座標系５０２のＺ座標が負となる領域（「手前領域」とする）については何も描画しないが、本発明の実施形態においてはこれに限らない。例えば、分割ＭＲＩ画像６１０の手前領域における分割ＭＲＩ画像６０９中の骨６０５などの内部構造データを取得する内部構造データ取得手段を更に設け、取得した内部構造データに基づく内部構造を分割ＭＲＩ画像６１０の手前領域に描画しても良い。ここで、分割ＭＲＩ画像６１０の手前領域に分割ＭＲＩ画像６０９に含まれる骨６０５を描画すると、指定断面６０８から骨６０５が突出しているような画像となる。第１のレンダリング画像Ｉrender1（一方の分割ＭＲＩ画像６１０）には超音波断層画像５０１が重畳されているが、超音波断面６０７はＭＲＩ画像に対して小さいため、超音波断層画像５０１と骨６０５とが重なる部分は少ない。そのため、両者が重なる部分は、超音波断層画像５０１を描画するとしても、骨６０５を観察することへの影響は少ない。これにより、ＭＲＩ断面画像４０１、骨６０５の構造、超音波断層画像５０１の３者の比較が可能になる。また、手前領域に描画するＭＲＩ画像の内部構造は骨６０５に限らず、大胸筋６０６などでも良い。さらに、骨６０５と大胸筋６０６の両方を描画しても良い。
【００６５】
＜変形例１−５＞：ボリュームレンダリング以外の描画方法
上述した第１の実施形態では、分割ＭＲＩ画像６０９及び分割ＭＲＩ画像６１０の描画方法としてボリュームレンダリングを用いたが、本発明の実施形態においてはこれに限らない。例えば、対象とするＭＲＩ画像の皮膚６０２などの体表表面情報のみを抽出して三次元画像を構築するサーフェスレンダリングなどの描画方法でも良い。加えて、大胸筋６０６などの表面情報を更に抽出して体表表面情報と合わせてサーフェスレンダリングして描画しても良い。
【００６６】
［第２の実施形態］
以下に示す第２の実施形態の説明では、上述した第１の実施形態と異なる部分を中心に説明を行う。
【００６７】
本実施形態に係る画像処理装置は、まず、乳房領域におけるＭＲＩ画像について、超音波プローブで指定した指定断面６０８によって画像を分割することで、切り開いた２つの分割ＭＲＩ画像を生成する。続いて、本実施形態に係る画像処理装置は、撮影した超音波断層画像５０１を一方の分割ＭＲＩ画像の対応する位置に重畳表示する。そして、本実施形態に係る画像処理装置は、ＭＲＩ画像中の注目領域を分割ＭＲＩ画像中に表示する。さらに、本実施形態に係る画像処理装置は、分割ＭＲＩ画像をボリュームレンダリングする際の視点と、重畳した超音波断層画像５０１と、病変の位置によって、どちらの分割ＭＲＩ画像に超音波断層画像５０１を重畳するかを判断し、必要に応じて超音波断層画像５０１を重畳する分割ＭＲＩ画像を切り替える。本実施形態では、ＭＲＩ画像中で病変が１つ検出され、その病変を注目領域とした場合について説明する。
【００６８】
図１０は、第２の実施形態に係る画像処理システムの機能構成の一例を示す図である。図１０において、図１に示す第１の実施形態に係る画像処理システムの機能構成と同様の機能構成については、同じ名称を付しており、その詳細な説明は省略する。
【００６９】
画像処理装置１０００内部の切断面算出部１０００４は、位置姿勢計測値取得部１０００３から得た超音波プローブの位置と姿勢の計測値から、ＭＲＩ画像中の超音波プローブの位置と姿勢を求め、そこから超音波断層画像がＭＲＩ画像を分割する切断面（指定断面６０８）を算出する。そして、切断面算出部１０００４は、算出した切断面に係る情報を、分割三次元画像生成部１０００５、重畳画像生成部１０００７及び切り替え判定部１００１０に出力する。
【００７０】
画像処理装置１０００内部の分割三次元画像生成部１０００５は、医用画像取得部１０００１から得たＭＲＩ画像と、切断面算出部１０００４から得たＭＲＩ画像の切断面に係る情報に基づき、三次元画像（ＭＲＩ画像）を切り開いて２つの分割ＭＲＩ画像を生成する。そして、分割三次元画像生成部１０００５は、生成した分割三次元画像である２つの分割ＭＲＩ画像を重畳画像生成部１０００７及び切り替え判定部１００１０へ出力する。
【００７１】
画像処理装置１０００内部の病変位置取得部１０００９は、医用画像取得部１０００１が出力する医用画像のＭＲＩ画像に含まれる病変について、ＭＲＩ画像座標系６０１での位置を取得する。そして、病変位置取得部１０００９は、取得した病変位置に係る情報を、重畳画像生成部１０００７及び切り替え判定部１００１０へ出力する。
【００７２】
画像処理装置１０００内部の切り替え判定部１００１０は、切断面算出部１０００４から出力された切断面に係る情報と、分割三次元画像生成部１０００５から出力された分割ＭＲＩ画像と、病変位置取得部１０００９から出力されたＭＲＩ画像座標系６０１における病変位置に係る情報に基づいて、超音波断層画像５０１を重畳する分割ＭＲＩ画像の切り替え判定を行う。そして、切り替え判定部１００１０は、判定結果を重畳画像生成部１０００７へ出力する。
【００７３】
画像処理装置１０００内部の重畳画像生成部１０００７は、入力された超音波断層画像５０１と、分割ＭＲＩ画像と、切断面（指定断面６０８）に係る情報と、病変位置に係る情報に基づき、重畳画像を生成する。また、重畳画像生成部１０００７は、切り替え判定部１００１０から得た切り替え判定結果に基づき、以下の処理を行う。
【００７４】
具体的に重畳画像生成部１０００７は、切り替え判定結果が示す方の分割ＭＲＩ画像の対応する位置に超音波断層画像５０１を重畳し、他方の分割ＭＲＩ画像の対応する位置に病変を描画し、２つの分割ＭＲＩ画像を並べた画像を生成する。そして、重畳画像生成部１０００７は、生成した画像を画像表示部１０００８へ出力する。
【００７５】
また、第２の実施形態に係る画像処理装置１０００のハードウェア構成については、図２に示す第１の実施形態に係る画像処理装置１００のハードウェア構成と同様のため、その説明は省略する。
【００７６】
次に、本実施形態に係る画像処理装置１０００が行う全体の動作に関して、図１１のフローチャートを用いて詳しく説明する。
図１１は、第２の実施形態に係る画像処理装置１０００による画像処理方法の処理手順の一例を示すフローチャートである。なお、図１１において、Ｓ１１００〜Ｓ１１０２、Ｓ１１０４〜Ｓ１１０５及びＳ１１１０の処理は、それぞれ、図３に示す第１の実施形態におけるＳ３００〜Ｓ３０２、Ｓ３０３〜Ｓ３０４及びＳ３０８の処理と共通する部分であるので、その説明は省略する。
【００７７】
まず、図１１に示す本実施形態に係る画像処理装置１０００による処理では、図３に示すＳ３００〜Ｓ３０２に対応するＳ１１００〜Ｓ１１０２を経る。その後、以下に示すＳ１１０３に進む。
【００７８】
（ステップＳ１１０３）：ＭＲＩ画像中の病変位置の取得
ステップＳ１１０３において、病変位置取得部１０００９は、ステップＳ１１００で得られたＭＲＩ画像から病変位置を取得する。ここで、病変位置は、医師等がＭＲＩ画像を見ながら操作部を介して病変であると指定した位置であり、その位置は、ＭＲＩ画像座標系６０１における座標で表された位置とする。注目領域である病変の位置を取得する病変位置取得部１０００９は、「注目領域位置取得手段」を構成し、また、ステップＳ１１０３は、「注目領域位置取得ステップ」を構成する。
【００７９】
ステップＳ１１０３の処理が終了すると、続いて、図３に示すＳ３０３〜Ｓ３０４に対応するＳ１１０４〜Ｓ１１０５を経る。その後、以下に示すＳ１１０６に進む。
【００８０】
（ステップＳ１１０６）:分割ＭＲＩ画像に超音波断層画像を重畳
ステップＳ１１０６において、重畳画像生成部１０００７は、ステップＳ１１０４で得た切断面（超音波断面６０７）に係る情報に基づいて、ステップＳ１１０１で得た超音波断層画像５０１を、第１のレンダリング画像Ｉrender1（一方の分割ＭＲＩ画像６１０）に重畳した画像を生成する。
【００８１】
（ステップＳ１１０７）：分割ＭＲＩ画像に病変を描画
ステップＳ１１０７において、重畳画像生成部１０００７は、まず、ステップＳ１１０５で得られた２つの分割ＭＲＩ画像のうち、ステップＳ１１０３で得られた病変位置に基づいて病変が含まれる方の分割ＭＲＩ画像を判断する。そして、重畳画像生成部１０００７は、病変が含まれる方の分割ＭＲＩ画像中の対応する位置に病変を描画する。ここでは、病変は、第１のレンダリング画像Ｉrender1（一方の分割ＭＲＩ画像６１０）の内部に含まれるものとして説明する。
【００８２】
（ステップＳ１１０８）：超音波断層画像の切り替えを判断
ステップＳ１１０８において、切り替え判定部１００１０は、ステップＳ１１０４で得た切断面（超音波断面６０７）に係る情報と、ステップＳ１１０３で得た病変位置に係る情報と、ステップＳ１１０５で設定される第１の視点７０１の位置に基づいて、超音波断層画像５０１を重畳表示する分割ＭＲＩ画像を切り替えるか否かの判断を行う。具体的に、切り替え判定部１００１０は、第１の視点７０１から病変を見た際に、超音波断層画像５０１が当該病変を隠しているか否かの判断に応じて、超音波断層画像５０１を重畳表示する分割ＭＲＩ画像を切り替えるか否かの判断を行う。
【００８３】
図１２は、第２の実施形態を示し、超音波断層画像５０１が表示された超音波断面６０７、第１の視点７０１及び病変１２０１の位置関係の一例を示す図である。また、図１３は、第２の実施形態を示し、第１の視点７０１の位置から一方の分割ＭＲＩ画像６１０を見て生成された第１のレンダリング画像Ｉrender1の図である。
【００８４】
図１２（ａ）には、超音波断面６０７、第１の視点７０１及び病変１２０１の位置関係の一例を示されている。この場合、図１２（ｂ）に示すように、第１の視点７０１と病変１２０１とを結ぶ直線１２０２上に超音波断面６０７があるとき、生成される画像は、図１３に示すように、病変１２０１が超音波断層画像５０１の裏に隠れ、観察することができないものになる。超音波断層画像撮影装置やＭＲＩなどの複数のモダリティで撮影された画像を複合して観察することの大きな目的は、病変１２０１を探索し異なるモダリティ画像同士を比較するということにあるので、上記のような状況では、その目的を達成することは難しい。そこで、このような場合には、一方の分割ＭＲＩ画像に重畳している超音波断層画像５０１を他方の分割ＭＲＩ画像に重畳するように切り替えるという判断になる。
【００８５】
ステップＳ１１０８の判断の結果、超音波断層画像５０１が病変１２０１を隠していない場合には、ステップＳ１１１０に進み、画像表示部１００８は、重畳画像生成部１０００７で生成された画像を表示する。
一方、ステップＳ１１０８の判断の結果、超音波断層画像５０１が病変１２０１を隠している場合には、ステップＳ１１０９に進む。
【００８６】
（ステップＳ１１０９）：超音波断層画像を重畳する分割ＭＲＩ画像を切り替えた画像を生成
ステップＳ１１０９において、重畳画像生成部１０００７は、ステップＳ１１０８の判断の結果に基づいて、超音波断層画像５０１を重畳するレンダリング画像（分割ＭＲＩ画像）の切り替えを行う。
【００８７】
図１４は、第２の実施形態を示し、図１１のステップＳ１１０９の処理を説明するための図である。具体的に、図１４には、図１３の場合から、超音波断層画像５０１を重畳するレンダリング画像（分割ＭＲＩ画像）の切り替えを行った場合を示している。この切り替えを行うと、新たに重畳される超音波断層画像５０１は、切り替え先の分割ＭＲＩ画像のＭＲＩ画像座標系６０１と矛盾しないように重畳される。つまり、２つの分割ＭＲＩ画像は指定断面６０８に対して鏡像の関係にあるので、新たに重畳される超音波断層画像５０１は、元々重畳されていた超音波断層画像５０１とは鏡像の関係にあるような画像となる。
【００８８】
ステップＳ１１０９の処理が終了すると、ステップＳ１１１０に進み、画像表示部１００８は、重畳画像生成部１０００７で生成された画像を表示する。
【００８９】
以上のステップＳ１１００〜Ｓ１１１０の処理を経ることによって、画像処理装置１０００による画像処理方法の処理が実施される。
【００９０】
上述した第２の実施形態係る画像処理システムによれば、ＭＲＩ画像から検出した病変１２０１を、重畳した超音波断層画像５０１で隠すことなく表示することが可能となる。
ＭＲＩで撮影された三次元画像のＭＲＩ画像における注目領域と、超音波断層画像撮影装置で撮影された二次元画像の超音波断層画像との位置関係に基づき、二次元画像を重畳する位置を切り替えることが本実施形態の最大の特徴と言える。
【００９１】
次に、第２の実施形態における変形例について以下に説明する。
【００９２】
＜変形例２−１＞：注目領域は複数でも良い
上述した第２の実施形態では、注目領域として取得された１つの病変１２０１と超音波断層画像５０１との位置関係に基づいて、超音波断層画像５０１を重畳するレンダリング画像（分割ＭＲＩ画像）を切り替えるようにしたが、本発明の実施形態においてはこれに限らない。例えば、ＭＲＩ画像中から取得された注目領域が複数ある場合、医師等のユーザが１つの注目領域をマウスやキーボード等の操作部を用いて指定し、指定された１つの注目領域と超音波断面６０７との位置関係に応じて超音波断層画像５０１を重畳するレンダリング画像（分割ＭＲＩ画像）の切り替えを行うなどしても良い。
【００９３】
＜変形例２−２＞：一方の分割ＭＲＩ画像に超音波断層画像を重畳し、他方の分割ＭＲＩ画像にＭＲＩ断面画像を重畳し、ＭＲＩ断面画像が病変を隠さないように切り替え
上述した第２の実施形態では、第１の視点７０１と超音波断層画像５０１と分割ＭＲＩ画像６１０中の病変１２０１との位置関係に基づきどちらの分割ＭＲＩ画像に超音波断層画像５０１を重畳するかを切り替えるとしたが、本発明の実施形態においてはこれに限らない。例えば、分割ＭＲＩ画像のどちらに病変１２０１が含まれているかに基づいて、超音波断層画像５０１とＭＲＩ断面画像４０１をどちらに重畳するかという判定をしても良い。この場合、図１０の構成に、図１の断面画像生成部１００６に相当する「断面画像生成部１０００６」を追加することになる。
【００９４】
仮に、第２のレンダリング画像Ｉrender2（他方の分割ＭＲＩ画像６０９）中にＭＲＩ断面画像４０１と病変１２０１を描画する場合には、病変１２０１がＭＲＩ断面画像４０１の裏側に隠れ、第２の視点７０２からは観察することができなくなってしまう。そこで、この場合、本変形例では、ＭＲＩ断面画像４０１を第１のレンダリング画像Ｉrender1（一方の分割ＭＲＩ画像６１０）に重畳し、超音波断層画像５０１を第２のレンダリング画像Ｉrender2（他方の分割ＭＲＩ画像６０９）に重畳する。そうすることで、ＭＲＩ断面画像４０１と比較して超音波断層画像５０１の方が画像の面積が小さいため、病変１２０１を隠すことが少なくなる。そのため、病変位置を確認しながら超音波断層画像５０１を撮影しやすくなるという効果がある。
【００９５】
＜変形例２−３＞：超音波断層画像を重畳する分割ＭＲＩ画像はそのままで、病変の表示位置を切り替え
上述した第２の実施形態では、視点と超音波断層画像５０１と分割ＭＲＩ画像中の病変１２０１との位置関係に基づいて超音波断層画像５０１を重畳するレンダリング画像（分割ＭＲＩ画像）を切り替えるとしたが、本発明の実施形態においてはこれに限らない。例えば、超音波断層画像５０１の裏側に病変１２０１が隠れて、視点から観察することができない場合に、病変１２０１を描画するレンダリング画像（分割ＭＲＩ画像）を切り替えても良い。
【００９６】
図１５は、第２の実施形態に係る変形例２−３で行われる処理を説明する図である。
図１３では、病変１２０１が第１のレンダリング画像Ｉrender1（一方の分割ＭＲＩ画像６１０）の側に描画されており、第１の視点７０１から見ると超音波断層画像５０１の裏側に病変１２０１が隠れ観察することができない。そこで、図１２（ｂ）に示すように直線１２０２上に超音波断面６０７がある場合、図１５に示すように、病変１２０１を第２のレンダリング画像Ｉrender2（他方の分割ＭＲＩ画像６０９）の側に描画する。なお、この場合には、病変１２０１は、指定断面６０８と第２の視点７０２との間に表示されることになる。このような画像を表示することで、超音波断面６０７と病変１２０１との位置関係を把握しながら超音波断層画像５０１を撮影することが可能になる。
【００９７】
［その他の実施形態］
その他、上述の実施形態において、ユーザは、キーボード２１７の特定のキーを押下する操作等により、（ａ）表示された超音波断層画像のオン／オフ、（ｂ）超音波断層画像を重畳表示するボリューム画像の切り替え、（ｃ）超音波断層画像の位置を画面上でずらす処理、をそれぞれ行うことができる。これにより、注目位置に応じて配置された超音波断層画像が診断者にとって望ましいものではなかった場合に診断者にとって好ましい表示態様へと修正することができる。また超音波断層画像とともにＭＲＩ断面画像も重畳表示されている場合には、（ｄ）ＭＲＩ断面画像と超音波断層画像を個別にまたは一括でオン／オフ、（ｅ）ＭＲＩ断面画像と超音波断層画像とで重畳の対象とするボリューム画像を交換する処理、（ｆ）ＭＲＩ断面画像と超音波断層画像とを個別にまたは一括で表示位置を変更することができる。これによってＭＲＩ断面画像の表示態様に関しても超音波断層画像の表示態様と同様に変更することができる。
また、本発明は、以下の処理を実行することによっても実現される。
即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記録媒体は、本発明に含まれる。
【００９８】
なお、上述した本発明の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００９９】
１００ 画像処理装置、１１０ 医用画像撮影装置、１２０ 超音波断層画像撮影装置、１３０ 位置姿勢計測装置、１００１ 医用画像取得部、１００２ 超音波断層画像取得部、１００３ 位置姿勢計測値取得部、１００４ 切断面算出部、１００５ 分割三次元画像生成部、１００６ 断面画像生成部、１００７ 重畳画像生成部、１００８ 画像表示部
【技術分野】
【０００１】
本発明は、種々の医用画像収集装置（モダリティ）で撮影された医用画像を処理する画像処理装置及び画像処理方法、並びに、当該画像処理方法をコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
医療の分野において、医師は医用画像収集装置（モダリティ）を用いて患者を撮影し、得られた医用画像を読影して病変部の位置や状態、経時変化を観察する。医用画像を生成する医用画像収集装置としては、単純Ｘ線撮影装置、Ｘ線コンピュータ断層撮影装置（Ｘ線ＣＴ）、核磁気共鳴映像装置（ＭＲＩ）、超音波断層画像診断装置（ＵＳ）などが挙げられる。夫々の装置は特性が異なるため、撮影する部位や疾病などに適した装置を複数選択して用いる。例えばＭＲＩを用いて患者を撮影し、ＭＲＩによって撮影された画像（ＭＲＩ画像）を参照しながら超音波断層画像を撮影することで、病変部の位置や拡がりなどの診断に有効な情報を得ることができる。
【０００３】
超音波断層画像とＭＲＩ画像との両画像間の対応する部位を対応付けて診断することは効果的であり、そのためには夫々の画像の位置や対応がわかりやすい表示をすることが必要である。
【０００４】
この課題に対するアプローチの１つとして、三次元画像をわかりやすく表示するために、三次元画像を切断面で分割し、複数の視点から見た見開き状態としてボリュームレンダリングする方法がある。特許文献１には、ボリュームデータに切断面を設定して生成した複数の分割データ毎に、独立した光源を設け、独立したボクセル追跡処理を行い、得られた各投影画像を合成することで、各切断面が見開きとなる画像をリアルタイムで表示する技術が開示されている。この技術により、複雑な血管走行、臓器の構造や位置関係の観察が容易となる。そのため、医療における診断能力を向上させることができる。
【０００５】
一方、異なるモダリティで撮影された医用画像の対応する組織を複合的に観察するために、夫々の画像中の特徴を利用して位置合わせして表示する技術が従来から検討されている。例えば、非特許文献１に開示されている手法では、ＣＴによって撮影された画像（ＣＴ画像）の肝臓部分と対応する超音波断層画像とを位置合わせし、ＣＴ画像中の位置に超音波断層画像を重畳表示している。この技術により、あるモダリティで撮影された画像の注目する部分と、異なるモダリティで撮影された画像とを複合的に観察することが可能となる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−２７６０６６号公報
【非特許文献】
【０００７】
【非特許文献１】W. Wein et al. "Simulation and fully automatic multimodal registration of medical ultrasound," Proc. MICCAI 2007, Part I, LNCS 4791, pp.136-143, 2007.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に記載の従来例では、複数のモダリティで撮影された画像を対応付けて観察する場合には、その画像同士が重なる部分において画像間の対応が分かりにくいという課題があった。一方、非特許文献１に記載の従来例では、重畳した断層画像と三次元画像が重なる部位においては、いずれかの画像が見えなくなり、画像間の比較ができないという課題があった。
【０００９】
本発明は上述した課題に鑑みてなされたものであり、対象物体の三次元画像と断層画像との対応が分かりやすく、なお且つ、三次元画像の全体の中における断層画像の位置が分かりやすいように表示する仕組みを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、対象物体の三次元画像を取得する三次元画像取得手段と、前記三次元画像とは異なる前記対象物体の断層画像を取得する断層画像取得手段と、前記三次元画像における前記断層画像の断面を算出する算出手段と、前記三次元画像を前記断面で分割し、当該分割した２つの分割三次元画像のうち、一方の分割三次元画像の前記断面を第１の視点から見た第１のレンダリング画像を生成するとともに、他方の分割三次元画像の前記断面を前記第１の視点とは異なる第２の視点から見た第２のレンダリング画像を生成するレンダリング画像生成手段と、前記三次元画像の前記断面における断面画像を生成する断面画像生成手段と、前記第１のレンダリング画像の前記断面の対応する位置に前記断層画像を重畳するとともに、前記第２のレンダリング画像の前記断面に前記断面画像を重畳する重畳手段とを有する。
また、本発明は、上述した画像処理装置による画像処理方法、及び、当該画像処理方法をコンピュータに実行させるためのプログラムを含む。
【発明の効果】
【００１１】
本発明によれば、対象物体の三次元画像と断層画像との対応が分かりやすく、なお且つ、三次元画像の全体の中における断層画像の位置が分かりやすいように表示する仕組みを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態に係る画像処理システムの機能構成の一例を示す図である。
【図２】第１の実施形態に係る画像処理システムのハードウェア構成の一例を示す図である。
【図３】第１の実施形態に係る画像処理装置による画像処理方法の処理手順の一例を示すフローチャートである。
【図４】第１の実施形態を示し、図３のステップＳ３０５の処理により生成されたＭＲＩ断面画像を示す図である。
【図５】第１の実施形態を示し、超音波断層画像と超音波断層画像座標系を説明する図である。
【図６】第１の実施形態を示し、図３のステップＳ３０４の処理を説明する図である。
【図７】第１の実施形態を示し、図６に示す座標系において２つの視点の位置を示した図である。
【図８】第１の実施形態を示し、図７に示す超音波断面と２つの視点との位置関係を示す図である。
【図９】第１の実施形態を示し、図３のステップＳ３０８の処理結果を説明する図である。
【図１０】第２の実施形態に係る画像処理システムの機能構成の一例を示す図である。
【図１１】第２の実施形態に係る画像処理装置による画像処理方法の処理手順の一例を示すフローチャートである。
【図１２】第２の実施形態を示し、超音波断層画像が表示された超音波断面、第１の視点及び病変の位置関係の一例を示す図である。
【図１３】第２の実施形態を示し、第１の視点の位置から一方の分割ＭＲＩ画像を見て生成された第１のレンダリング画像の図である。
【図１４】第２の実施形態を示し、図１１のステップＳ１１０９の処理を説明するための図である。
【図１５】第２の実施形態に係る変形例２−３で行われる処理を説明する図である。
【発明を実施するための形態】
【００１３】
以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。
【００１４】
［第１の実施形態］
本実施形態に係る画像処理装置は、超音波プローブで指定した断面で三次元画像（ＭＲＩ画像）を切り開いた２つの分割ＭＲＩ画像を生成する。そして、本実施形態に係る画像処理装置は、一方の分割ＭＲＩ画像の断面部分には超音波断層画像を重畳し、他方の分割ＭＲＩ画像の断面部分には三次元画像の断面画像を重畳し、夫々生成した画像を表示する。本実施形態では、人体の乳房を対象物体とする場合を例として説明する。
【００１５】
図１は、第１の実施形態に係る画像処理システムの機能構成の一例を示す図である。この図１には、特に、画像処理システムに含まれる画像処理装置１００の機能構成の一例が示されている。
【００１６】
医用画像撮影装置１１０は、ＭＲＩで対象物体の所定の三次元領域を撮影して医用画像として三次元ＭＲＩ画像を生成する。医用画像撮影装置１１０の撮影により得られた三次元ＭＲＩ画像は、画像処理装置１００内部の医用画像取得部１００１に入力される。なお、本実施形態では、ＭＲＩ画像中の対象物体の形状は、超音波検査時の形状と略同一であるものとする。これは、例えば、超音波検査時と同一の体位でＭＲＩ撮影を行っているものとする。あるいは、伏臥位での乳房形状から仰臥位での乳房形状への変形を公知の物理変形シミュレーション等の技術により推定することで、伏臥位で撮影されたＭＲＩ画像と仰臥位で撮影した超音波画像との間の補正処理が既に行われているものとする。
【００１７】
超音波断層画像撮影装置１２０は、超音波を送受信する不図示の超音波プローブを対象物体に接触させることで、対象物体の内部を超音波撮影して超音波断層画像を生成する。本実施形態では、超音波断層画像撮影装置１２０は、対象物体の所定の二次元領域を撮影して二次元のＢモード超音波断層画像を生成する。超音波断層画像撮影装置１２０の撮影により得られた二次元のＢモード超音波断層画像は、画像処理装置１００内部の超音波断層画像取得部１００２に入力される。
【００１８】
位置姿勢計測装置１３０は、超音波断層画像撮影装置１２０が持つ不図示の超音波プローブの位置と姿勢を計測する。例えば、位置姿勢計測装置１３０は、米国Ｐｏｌｈｅｍｕｓ社のＦＡＳＴＲＡＫ等によって構成され、センサ座標系（位置姿勢計測装置１３０が基準として定める座標系）における超音波プローブの位置と姿勢を計測する。なお、位置姿勢計測装置１３０は、超音波プローブの位置と姿勢が計測できるのであれば、どのように構成されていても良い。位置姿勢計測装置１３０で計測された超音波プローブの位置と姿勢の計測値は、画像処理装置１００内部の位置姿勢計測値取得部１００３に入力される。
【００１９】
画像処理装置１００は、医用画像撮影装置１１０、超音波断層画像撮影装置１２０、位置姿勢計測装置１３０と接続される。
【００２０】
画像処理装置１００内部の医用画像取得部１００１は、医用画像撮影装置１１０で撮影された医用画像である対象物体の三次元ＭＲＩ画像を取得し、これを分割三次元画像生成部１００５及び断面画像生成部１００６へ出力する。
【００２１】
画像処理装置１００内部の超音波断層画像取得部１００２は、超音波断層画像撮影装置１２０で撮影された対象物体の超音波断層画像を取得し、これを重畳画像生成部１００７へ出力する。
【００２２】
画像処理装置１００内部の位置姿勢計測値取得部１００３は、位置姿勢計測装置１３０で計測された超音波プローブの位置と姿勢の計測値を取得し、これを切断面算出部１００４へ出力する。
【００２３】
画像処理装置１００内部の切断面算出部１００４は、位置姿勢計測値取得部１００３から得た超音波プローブの位置と姿勢の計測値から、ＭＲＩ画像中の超音波プローブの位置と姿勢を求め、そこから超音波断層画像がＭＲＩ画像を分割する切断面を算出する。そして、切断面算出部１００４は、算出した切断面に係る情報を、分割三次元画像生成部１００５、断面画像生成部１００６、重畳画像生成部１００７へ出力する。
【００２４】
画像処理装置１００内部の分割三次元画像生成部１００５は、医用画像取得部１００１から得たＭＲＩ画像と、切断面算出部１００４から得たＭＲＩ画像の切断面に係る情報に基づき、三次元画像（ＭＲＩ画像）を切り開いて２つの分割ＭＲＩ画像を生成する。そして、分割三次元画像生成部１００５は、生成した分割三次元画像である２つの分割ＭＲＩ画像を重畳画像生成部１００７へ出力する。
【００２５】
画像処理装置１００内部の断面画像生成部１００６は、医用画像取得部１００１から得たＭＲＩ画像と、切断面算出部１００４から得たＭＲＩ画像の切断面に係る情報に基づき、前記切断面に対応するＭＲＩ画像の断面画像を生成する。そして、断面画像生成部１００６は、生成したＭＲＩ画像の断面画像（ＭＲＩ断面画像）を重畳画像生成部１００７へ出力する。
【００２６】
画像処理装置１００内部の重畳画像生成部１００７は、超音波断層画像取得部１００２から得た超音波断層画像と、切断面算出部１００４から得た切断面に係る情報と、分割三次元画像生成部１００５から得た２つの分割ＭＲＩ画像と、断面画像生成部１００６から得たＭＲＩ断面画像に基づき、一方の分割ＭＲＩ画像の断面に超音波断層画像を重畳し、他方の分割ＭＲＩ画像の断面にＭＲＩ断面画像を重畳した画像（重畳画像）を生成する。そして、重畳画像生成部１００７は、生成した重畳画像を画像表示部１００８へ出力する。
【００２７】
画像処理装置１００内部の画像表示部１００８は、重畳画像生成部１００７が生成した重畳画像を表示する処理を実行する。
【００２８】
図２は、第１の実施形態に係る画像処理システムのハードウェア構成の一例を示す図である。ここで、図２において、図１に示す構成と同様の構成については、同じ符号を付している。
【００２９】
本実施形態の画像処理システムは、画像処理装置１００、医用画像撮影装置１１０、超音波断層画像撮影装置１２０、位置姿勢計測装置１３０、医用画像記録装置２３０、及び、ローカルエリアネットワーク（ＬＡＮ）２４０を有して構成される。
【００３０】
画像処理装置１００は、例えば、パーソナルコンピュータ（ＰＣ）などで実現することができる。画像処理装置１００は、中央演算処理装置（ＣＰＵ）２１１、主メモリ２１２、磁気ディスク２１３、表示メモリ２１４、モニタ２１５、マウス２１６、キーボード２１７、及び、共通バス２１８のハードウェアを有して構成されている。
【００３１】
ＣＰＵ２１１は、主として画像処理装置１００の各構成要素の動作を制御して、画像処理装置１００の動作を統括的に制御する。
【００３２】
主メモリ２１２は、ＣＰＵ２１１が実行する制御プログラムを格納したり、ＣＰＵ２１１によるプログラム実行時の作業領域を提供したりする。
【００３３】
磁気ディスク２１３は、オペレーティングシステム（ＯＳ）、周辺機器のデバイスドライブ、各種アプリケーションソフト等を格納する。
【００３４】
表示メモリ２１４は、モニタ２１５に表示するための表示用データを一時記憶する。
【００３５】
モニタ２１５は、例えばＣＲＴモニタや液晶モニタ等であり、表示メモリ２１４からの表示用データに基づいて画像を表示する。
【００３６】
マウス２１６及びキーボード２１７は、ユーザによるポインティング入力及び文字やコマンド等の入力をそれぞれ行う。
【００３７】
共通バス２１８は、画像処理装置１００の上記各構成要素を互いに通信可能に接続する。
【００３８】
本実施形態においては、画像処理装置１００は、ＬＡＮ２４０を介して医用画像記録装置２３０から医用画像データ等を読み出して取得することができる。また、画像処理装置１００は、ＬＡＮ２４０を経由して医用画像撮影装置１１０から直接に医用画像データ等を取得できるようにしても良い。なお、本発明の実施形態はこれに限定されず、例えば、画像処理装置１００にＵＳＢメモリ等の外部記憶装置を接続し、この外部記憶装置から医用画像データ等を読み込んで取得するようにしても良い。また、この外部記憶装置に本実施形態に係る画像処理システムの処理結果を保存するようにしても良い。また、超音波断層画像撮影装置１２０で撮影した超音波断層画像と、位置姿勢計測装置１３０で計測された位置・姿勢データを医用画像記録装置２３０に記録しておいて、画像処理装置１００が医用画像記録装置２３０から超音波断層画像と位置・姿勢データを読み出して取得できるようにしても良い。
【００３９】
次に、本実施形態に係る画像処理装置１００が行う全体の動作に関して、図３のフローチャートを用いて詳しく説明する。
図３は、第１の実施形態に係る画像処理装置１００による画像処理方法の処理手順の一例を示すフローチャートである。本実施形態では、主メモリ２１２に格納されている、各機能構成（図１）の機能を実現するためのプログラムを、ＣＰＵ２１１が実行することにより、図３に示すフローチャートの処理が実現される。
【００４０】
（ステップＳ３００）：ＭＲＩ画像（三次元画像）の取得
ステップＳ３００において、医用画像取得部１００１は、医用画像撮影装置１１０によって対象物体を撮影した結果得られた医用画像である三次元ＭＲＩ画像を取得する。医用画像である三次元ＭＲＩ画像を取得する医用画像取得部１００１は、「三次元画像取得手段」を構成し、また、ステップＳ３００は、「三次元画像取得ステップ」を構成する。このステップＳ３００で取得されるＭＲＩ画像の座標系としては、Ｚ軸を人体の足から頭への方向、Ｙ軸を人体の胸部から背中への方向、Ｘ軸を人体の左右方向と定義したＭＲＩ画像座標系６０１（後述する図６）とする。また、撮影の対象物体が人体の乳房であるため、このステップＳ３００で取得されるＭＲＩ画像は、後述する図６に示すように、皮膚６０２や乳頭６０３のような表面構造と、乳腺６０４や骨６０５、大胸筋６０６といった内部構造からなるものである。
【００４１】
（ステップＳ３０１）：超音波断層画像の取得
ステップＳ３０１において、超音波断層画像取得部１００２は、超音波断層画像撮影装置１２０によって対象物体を撮影することにより得られた超音波断層画像５０１（後述する図５）を取得する。なお、この超音波断層画像５０１は、ドップラーや、エラストグラフィなどでも良い。本実施形態では、取得する超音波断層画像５０１が対象物体の二次元Ｂモード超音波断層画像である場合を例として説明を行う。
【００４２】
図５は、第１の実施形態を示し、超音波断層画像と超音波断層画像座標系を説明する図である。
図５には、超音波断層画像５０１として乳房領域の超音波断層画像の一例が示されている。取得する超音波断層画像５０１の座標としては、超音波断層画像を含む平面をＸＹ平面とし、それと直行する軸をＺ軸と定義した超音波断層画像座標系５０２を用いる。本実施形態では、超音波断層画像５０１の画像情報は、ｚ＝０の平面上のみに存在することになる。ここで、ＸUSを、超音波断層画像座標系５０２における三次元の位置座標を表すベクトルとし、本実施形態では、４次元の拡張ベクトルとして表現されているものとする。
【００４３】
（ステップＳ３０２）：超音波プローブの位置・姿勢の取得
ステップＳ３０２において、位置姿勢計測値取得部１００３は、位置姿勢計測装置１３０によって計測された、対象物体を超音波断層画像撮影装置１２０で撮影している際の超音波プローブのセンサ座標系における位置と姿勢を取得する。ここで、センサ座標系における超音波プローブの位置・姿勢を、４行４列の行列ＴPROBE_SENSORで表すものとする。
【００４４】
（ステップＳ３０３）：ＭＲＩ画像における超音波断層画像の断面（切断面）の算出
ステップＳ３０３において、切断面算出部１００４は、まず、ステップＳ３０２で取得したセンサ座標系における超音波プローブの位置と姿勢を、センサ座標系と対象物体との位置関係に基づいて、ＭＲＩ画像座標系６０１（後述する図６）における超音波プローブの位置と姿勢に変換する。そして、切断面算出部１００４は、ＭＲＩ画像における超音波断層画像の断面（切断面）を算出する。
【００４５】
ここで、図５に示す超音波断層画像座標系５０２から超音波プローブの座標系への変換規則をＴUS_PROBEとし、既知の校正手法によって、回転・並進・スケーリングで表現される４行４列の行列として予め算出されているものとする。超音波断層画像座標系５０２からセンサ座標系への変換規則ＴUS_SENSORは、下記の（１）式で示されるように、ＴUS_PROBEとＴPROBE_SENSORの乗算で算出される。また、センサ座標系からＭＲＩ画像座標系６０１（後述する図６）への変換規則ＴSENSOR_MRIを乳房の剛体部分などを用いて予め求めておくことで、下記の（２）式を用いて、超音波断層画像座標系５０２からＭＲＩ画像座標系６０１への変換規則ＴUS_MRIが求められる。超音波断層画像５０１の四隅の座標をＸ1US，Ｘ2US，Ｘ3US、Ｘ4USとする。この四隅の座標と変換規則ＴUS_MRIとの乗算から得られる４点で囲まれる領域を、ＭＲＩ画像中での超音波断層画像の断面（後述する図６の超音波断面６０７）とし、超音波断面６０７を部分領域として含む平面を指定断面６０８（後述する図６）とする。
ＴUS_SENSOR＝ＴUS_PROBE・ＴPROBE_SENSOR ・・・（１）
ＴUS_MRI＝ＴUS_SENSOR・ＴSENSOR_MRI ・・・（２）
【００４６】
（ステップＳ３０４）：切断面（指定断面）でＭＲＩ画像を分割した分割ＭＲＩ画像（分割三次元画像）の生成
ステップＳ３０４において、分割三次元画像生成部１００５は、ステップＳ３０３で得られた切断面（後述する図６の指定断面６０８）で、ステップＳ３００で得られたＭＲＩ画像を２つに分割した分割ＭＲＩ画像（分割三次元画像）を生成する。
【００４７】
図６は、第１の実施形態を示し、図３のステップＳ３０４の処理を説明する図である。具体的に、図６は、指定断面６０８でＭＲＩ画像を２つに分割した図である。本実施形態では、超音波断層画像座標系５０２のＺ座標が負の方を分割ＭＲＩ画像６０９、超音波断層画像座標系５０２のＺ座標が正の方を分割ＭＲＩ画像６１０と定義する。図６では、分割ＭＲＩ画像６０９は人体の足側、分割ＭＲＩ画像６１０は人体の頭側の画像となっている。なお、説明の都合上、図６では、分割ＭＲＩ画像６０９と分割ＭＲＩ画像６１０が離れたように描かれているが、実際には前記２つの分割ＭＲＩ画像の位置関係は、指定断面６０８を介して一体となっている。分割三次元画像生成部１００５は、前記２つの分割ＭＲＩ画像に対して異なる２つの位置に仮想的な視点を設定する処理を実行する。
【００４８】
図７は、第１の実施形態を示し、図６に示す座標系において２つの視点の位置を示した図である。図７において、超音波断層画像座標系５０２のＺ座標が負になる方の視点を第１の視点７０１、超音波断層画像座標系５０２のＺ座標が正になる方の視点を第２の視点７０２と定義する。ここで、分割三次元画像生成部１００５は、以下に述べる複数の条件を満たす位置に視点を設定する。
【００４９】
図８は、第１の実施形態を示し、図７に示す超音波断面６０７と２つの視点７０１及び７０２との位置関係を示す図である。
【００５０】
図８（ａ）は２つの視点７０１及び７０２の位置関係を示したものであり、それぞれの見る方向を視線８０１及び視線８０２とすると、これらは、超音波断面６０７の中心部に向かっている。これを第１の視点設定の条件とする。
【００５１】
また、図８（ｂ）は超音波断層画像座標系５０２のＹ座標が負の方向から見た図であり、それぞれの視点７０１及び７０２からの視線８０１及び８０２と超音波断面６０７とのなす角度はθとなり、超音波断面６０７を中心として対称の位置になっている。これを第２の視点設定の条件とする。
【００５２】
また、図８（ｃ）はＸ座標が正の方向から見た図であり、超音波断面６０７と２つの視点７０１及び７０２との距離は等しくなっている。これを第３の視点設定の条件とする。
【００５３】
分割三次元画像生成部１００５は、上記第１から第３の視点設定の条件を満たす位置に第１の視点７０１及び第２の視点７０２を設定する処理を実行する。
次に、分割三次元画像生成部１００５は、第１の視点７０１の位置から一方の分割ＭＲＩ画像６１０を観察した第１のレンダリング画像Ｉrender1を、ボリュームレンダリング手法を用いて生成する。同様にして、分割三次元画像生成部１００５は、第２の視点７０２の位置から他方の分割ＭＲＩ画像６０９を観察した第２のレンダリング画像Ｉrender2を生成する。第１のレンダリング画像Ｉrender1及び第２のレンダリング画像Ｉrender2を生成する分割三次元画像生成部１００５は、「レンダリング画像生成手段」を構成し、また、ステップＳ３０４は、「レンダリング画像生成ステップ」を構成する。
【００５４】
（ステップＳ３０５）：切断面に対応したＭＲＩ断面画像の生成
ステップＳ３０５において、断面画像生成部１００６は、ステップＳ３０３で得られた切断面（図６の指定断面６０８）をＭＲＩ画像の断面とするＭＲＩ断面画像を生成する。
図４は、第１の実施形態を示し、図３のステップＳ３０５の処理により生成されたＭＲＩ断面画像を示す図である。図４に示すＭＲＩ断面画像４０１は、ＭＲＩ画像の前記切断面（図６の指定断面６０８）に含まれる各画素に基づいて描画した画像となっている。図４のＭＲＩ断面画像座標系４０２は、ＭＲＩ断面画像４０１を含む平面をＸＹ平面とし、それと直行する軸をＺ軸と定義している。
【００５５】
（ステップＳ３０６）：レンダリング画像Ｉrender1に超音波断層画像５０１を重畳
ステップＳ３０６において、重畳画像生成部１００７は、ステップＳ３０１で取得された超音波断層画像５０１を、ステップＳ３０４で生成した第１のレンダリング画像Ｉrender1（一方の分割ＭＲＩ画像６１０）の断面上に重畳し、重畳画像Ｉ1を生成する。具体的に、超音波断層画像５０１は、ステップＳ３０２で取得した超音波プローブの位置・姿勢、ステップＳ３０３で取得した超音波断面６０７、及び、ステップＳ３０４で設定した第１の視点７０１に基づいて、重畳される。超音波断層画像５０１の各画素は、超音波断層画像座標系５０２におけるそれぞれの座標ＸUSと、ステップＳ３０３で求めた変換規則ＴUS_MRIから求められるＭＲＩ画像座標系６０１における座標ＸMRIで示される位置に重畳される。
【００５６】
（ステップＳ３０７）：レンダリング画像Ｉrender2にＭＲＩ断面画像４０１を重畳
ステップＳ３０７において、重畳画像生成部１００７は、ステップＳ３０５で生成されたＭＲＩ断面画像４０１を、ステップＳ３０４で生成した第２のレンダリング画像Ｉrender2（他方の分割ＭＲＩ画像６０９）の断面上に重畳し、重畳画像Ｉ2を生成する。具体的に、ＭＲＩ断面画像４０１は、ステップＳ３０３で取得した指定断面６０８と、ステップＳ３０４で設定した第２の視点７０２に基づいて、重畳される。その結果、ＭＲＩ断面画像４０１は、ＭＲＩ画像座標系６０１と、ＭＲＩ断面画像座標系４０２のそれぞれの軸と方向が一致するように重畳される。なお、重畳画像生成部１００７は、前記ＭＲＩ断面画像４０１から体内領域の抽出を行い、前記体内領域だけを重畳する。
【００５７】
（ステップＳ３０８）：重畳画像の表示
ステップＳ３０８において、画像表示部１００８は、ステップＳ３０６で生成された重畳画像Ｉ1と、ステップＳ３０７で生成された重畳画像Ｉ2とを並べて表示する。
図９は、第１の実施形態を示し、図３のステップＳ３０８の処理結果を説明する図である。ステップＳ３０８の処理により、図９に示すようなＭＲＩ画像を指定断面６０８で切り開いた重畳画像Ｉ1及びＩ2を有する画像が得られる。具体的に、図９に示すように、重畳画像Ｉ1は、一方の分割ＭＲＩ画像６１０の超音波断面６０７に超音波断層画像５０１が重畳されている。また、重畳画像Ｉ2は、他方の分割ＭＲＩ画像６０９の指定断面６０８にＭＲＩ断面画像４０１が重畳されている。そして、各重畳画像Ｉ1及びＩ2は、切断面（指定断面６０８）を見せるようにそれぞれ表示されている。
【００５８】
以上のステップＳ３００〜Ｓ３０８の処理を経ることによって、画像処理装置１００による画像処理方法の処理が実施される。
【００５９】
上述した第１の実施形態に係る画像処理システムによれば、２つの分割ＭＲＩ画像６０９及び６１０の両方を表示するようにしたので、どちらか一方のみを表示する場合と比べて、対象物体全体における切断面の位置を確認し易くすることができる。
また、一方の分割ＭＲＩ画像６１０の超音波断面６０７に超音波断層画像５０１を重畳して表示するようにしたので、ＭＲＩ画像中における超音波断層画像５０１の位置・姿勢を把握することができる。
加えて、他方の分割ＭＲＩ画像６０９の指定断面６０８にＭＲＩ断面画像４０１を重畳して表示するようにしたので、撮影した超音波断層画像５０１と対応するＭＲＩ断面画像４０１との比較が容易になる。これにより、超音波断層画像５０１とＭＲＩ断面画像４０１の両方による詳細な診断を容易に行うことができる。
ＭＲＩと超音波断層画像撮影装置で撮影された医用画像について、画像同士の比較と、画像間の位置関係の把握とが同時に可能になることが本実施形態の最大の特徴と言える。
【００６０】
次に、第１の実施形態における変形例について以下に説明する。
【００６１】
＜変形例１−１＞：三次元画像がＭＲＩ画像以外の場合
上述した第１の実施形態では、三次元画像がＭＲＩ画像である場合を例として説明したが、本発明の実施形態においてはこれに限らない。例えば、医用画像撮影装置１１０は、Ｘ線ＣＴや、光音響トモグラフィ装置、三次元超音波装置であっても良く、これらの装置で撮影された三次元画像を適用しても良い。
【００６２】
＜変形例１−２＞：両側にＭＲＩ断面画像を重畳する
上述した第１の実施形態では、ＭＲＩ画像における指定断面６０８に対応するＭＲＩ断面画像４０１を第２のレンダリング画像Ｉrender2（他方の分割ＭＲＩ画像６０９）のみに重畳したが、本発明の実施形態においてはこれに限らない。例えば、第１のレンダリング画像Ｉrender1（一方の分割ＭＲＩ画像６１０）、及び、第２のレンダリング画像Ｉrender2（他方の分割ＭＲＩ画像６０９）のそれぞれについて、指定断面６０８に対応するＭＲＩ断面画像を矛盾しないように対応付けて重畳することも可能である。そして、第１のレンダリング画像Ｉrender1（一方の分割ＭＲＩ画像６１０）の対応する位置に超音波断層画像５０１を重畳しても良い。これにより、超音波断層画像５０１と、超音波断層画像５０１で注目している領域に対応するＭＲＩ断面画像とを比較できるだけでなく、注目している領域外におけるＭＲＩ断面画像についても把握でき、より多くの臨床情報を画像として示すことが可能になる。
【００６３】
＜変形例１−３＞：ＭＲＩ断面画像を重畳しない
上述した第１の実施形態では、第２のレンダリング画像Ｉrender2（他方の分割ＭＲＩ画像６０９）について、指定断面６０８に対応するＭＲＩ断面画像を重畳したが、ＭＲＩ断面画像を重畳しなくても良い。これにより、第２のレンダリング画像Ｉrender2（他方の分割ＭＲＩ画像６０９）における、超音波断層画像座標系５０２のＺ座標が負となる方向に存在する内部構造を観察することが可能となる。さらに、組織の三次元的位置や構造を把握しながら、超音波断層画像５０１を観察することができる。
【００６４】
＜変形例１−４＞：超音波断層画像重畳側に手前側の内部構造を描画
分割ＭＲＩ画像６０９中に含まれる骨６０５について、指定断面６０８にＭＲＩ断面画像４０１を重畳した場合、第２の視点７０２から観察するとＭＲＩ断面画像４０１の裏に隠れてしまい、見えない状態となる。上述した第１の実施形態では、分割ＭＲＩ画像６１０において、超音波断層画像座標系５０２のＺ座標が負となる領域（「手前領域」とする）については何も描画しないが、本発明の実施形態においてはこれに限らない。例えば、分割ＭＲＩ画像６１０の手前領域における分割ＭＲＩ画像６０９中の骨６０５などの内部構造データを取得する内部構造データ取得手段を更に設け、取得した内部構造データに基づく内部構造を分割ＭＲＩ画像６１０の手前領域に描画しても良い。ここで、分割ＭＲＩ画像６１０の手前領域に分割ＭＲＩ画像６０９に含まれる骨６０５を描画すると、指定断面６０８から骨６０５が突出しているような画像となる。第１のレンダリング画像Ｉrender1（一方の分割ＭＲＩ画像６１０）には超音波断層画像５０１が重畳されているが、超音波断面６０７はＭＲＩ画像に対して小さいため、超音波断層画像５０１と骨６０５とが重なる部分は少ない。そのため、両者が重なる部分は、超音波断層画像５０１を描画するとしても、骨６０５を観察することへの影響は少ない。これにより、ＭＲＩ断面画像４０１、骨６０５の構造、超音波断層画像５０１の３者の比較が可能になる。また、手前領域に描画するＭＲＩ画像の内部構造は骨６０５に限らず、大胸筋６０６などでも良い。さらに、骨６０５と大胸筋６０６の両方を描画しても良い。
【００６５】
＜変形例１−５＞：ボリュームレンダリング以外の描画方法
上述した第１の実施形態では、分割ＭＲＩ画像６０９及び分割ＭＲＩ画像６１０の描画方法としてボリュームレンダリングを用いたが、本発明の実施形態においてはこれに限らない。例えば、対象とするＭＲＩ画像の皮膚６０２などの体表表面情報のみを抽出して三次元画像を構築するサーフェスレンダリングなどの描画方法でも良い。加えて、大胸筋６０６などの表面情報を更に抽出して体表表面情報と合わせてサーフェスレンダリングして描画しても良い。
【００６６】
［第２の実施形態］
以下に示す第２の実施形態の説明では、上述した第１の実施形態と異なる部分を中心に説明を行う。
【００６７】
本実施形態に係る画像処理装置は、まず、乳房領域におけるＭＲＩ画像について、超音波プローブで指定した指定断面６０８によって画像を分割することで、切り開いた２つの分割ＭＲＩ画像を生成する。続いて、本実施形態に係る画像処理装置は、撮影した超音波断層画像５０１を一方の分割ＭＲＩ画像の対応する位置に重畳表示する。そして、本実施形態に係る画像処理装置は、ＭＲＩ画像中の注目領域を分割ＭＲＩ画像中に表示する。さらに、本実施形態に係る画像処理装置は、分割ＭＲＩ画像をボリュームレンダリングする際の視点と、重畳した超音波断層画像５０１と、病変の位置によって、どちらの分割ＭＲＩ画像に超音波断層画像５０１を重畳するかを判断し、必要に応じて超音波断層画像５０１を重畳する分割ＭＲＩ画像を切り替える。本実施形態では、ＭＲＩ画像中で病変が１つ検出され、その病変を注目領域とした場合について説明する。
【００６８】
図１０は、第２の実施形態に係る画像処理システムの機能構成の一例を示す図である。図１０において、図１に示す第１の実施形態に係る画像処理システムの機能構成と同様の機能構成については、同じ名称を付しており、その詳細な説明は省略する。
【００６９】
画像処理装置１０００内部の切断面算出部１０００４は、位置姿勢計測値取得部１０００３から得た超音波プローブの位置と姿勢の計測値から、ＭＲＩ画像中の超音波プローブの位置と姿勢を求め、そこから超音波断層画像がＭＲＩ画像を分割する切断面（指定断面６０８）を算出する。そして、切断面算出部１０００４は、算出した切断面に係る情報を、分割三次元画像生成部１０００５、重畳画像生成部１０００７及び切り替え判定部１００１０に出力する。
【００７０】
画像処理装置１０００内部の分割三次元画像生成部１０００５は、医用画像取得部１０００１から得たＭＲＩ画像と、切断面算出部１０００４から得たＭＲＩ画像の切断面に係る情報に基づき、三次元画像（ＭＲＩ画像）を切り開いて２つの分割ＭＲＩ画像を生成する。そして、分割三次元画像生成部１０００５は、生成した分割三次元画像である２つの分割ＭＲＩ画像を重畳画像生成部１０００７及び切り替え判定部１００１０へ出力する。
【００７１】
画像処理装置１０００内部の病変位置取得部１０００９は、医用画像取得部１０００１が出力する医用画像のＭＲＩ画像に含まれる病変について、ＭＲＩ画像座標系６０１での位置を取得する。そして、病変位置取得部１０００９は、取得した病変位置に係る情報を、重畳画像生成部１０００７及び切り替え判定部１００１０へ出力する。
【００７２】
画像処理装置１０００内部の切り替え判定部１００１０は、切断面算出部１０００４から出力された切断面に係る情報と、分割三次元画像生成部１０００５から出力された分割ＭＲＩ画像と、病変位置取得部１０００９から出力されたＭＲＩ画像座標系６０１における病変位置に係る情報に基づいて、超音波断層画像５０１を重畳する分割ＭＲＩ画像の切り替え判定を行う。そして、切り替え判定部１００１０は、判定結果を重畳画像生成部１０００７へ出力する。
【００７３】
画像処理装置１０００内部の重畳画像生成部１０００７は、入力された超音波断層画像５０１と、分割ＭＲＩ画像と、切断面（指定断面６０８）に係る情報と、病変位置に係る情報に基づき、重畳画像を生成する。また、重畳画像生成部１０００７は、切り替え判定部１００１０から得た切り替え判定結果に基づき、以下の処理を行う。
【００７４】
具体的に重畳画像生成部１０００７は、切り替え判定結果が示す方の分割ＭＲＩ画像の対応する位置に超音波断層画像５０１を重畳し、他方の分割ＭＲＩ画像の対応する位置に病変を描画し、２つの分割ＭＲＩ画像を並べた画像を生成する。そして、重畳画像生成部１０００７は、生成した画像を画像表示部１０００８へ出力する。
【００７５】
また、第２の実施形態に係る画像処理装置１０００のハードウェア構成については、図２に示す第１の実施形態に係る画像処理装置１００のハードウェア構成と同様のため、その説明は省略する。
【００７６】
次に、本実施形態に係る画像処理装置１０００が行う全体の動作に関して、図１１のフローチャートを用いて詳しく説明する。
図１１は、第２の実施形態に係る画像処理装置１０００による画像処理方法の処理手順の一例を示すフローチャートである。なお、図１１において、Ｓ１１００〜Ｓ１１０２、Ｓ１１０４〜Ｓ１１０５及びＳ１１１０の処理は、それぞれ、図３に示す第１の実施形態におけるＳ３００〜Ｓ３０２、Ｓ３０３〜Ｓ３０４及びＳ３０８の処理と共通する部分であるので、その説明は省略する。
【００７７】
まず、図１１に示す本実施形態に係る画像処理装置１０００による処理では、図３に示すＳ３００〜Ｓ３０２に対応するＳ１１００〜Ｓ１１０２を経る。その後、以下に示すＳ１１０３に進む。
【００７８】
（ステップＳ１１０３）：ＭＲＩ画像中の病変位置の取得
ステップＳ１１０３において、病変位置取得部１０００９は、ステップＳ１１００で得られたＭＲＩ画像から病変位置を取得する。ここで、病変位置は、医師等がＭＲＩ画像を見ながら操作部を介して病変であると指定した位置であり、その位置は、ＭＲＩ画像座標系６０１における座標で表された位置とする。注目領域である病変の位置を取得する病変位置取得部１０００９は、「注目領域位置取得手段」を構成し、また、ステップＳ１１０３は、「注目領域位置取得ステップ」を構成する。
【００７９】
ステップＳ１１０３の処理が終了すると、続いて、図３に示すＳ３０３〜Ｓ３０４に対応するＳ１１０４〜Ｓ１１０５を経る。その後、以下に示すＳ１１０６に進む。
【００８０】
（ステップＳ１１０６）:分割ＭＲＩ画像に超音波断層画像を重畳
ステップＳ１１０６において、重畳画像生成部１０００７は、ステップＳ１１０４で得た切断面（超音波断面６０７）に係る情報に基づいて、ステップＳ１１０１で得た超音波断層画像５０１を、第１のレンダリング画像Ｉrender1（一方の分割ＭＲＩ画像６１０）に重畳した画像を生成する。
【００８１】
（ステップＳ１１０７）：分割ＭＲＩ画像に病変を描画
ステップＳ１１０７において、重畳画像生成部１０００７は、まず、ステップＳ１１０５で得られた２つの分割ＭＲＩ画像のうち、ステップＳ１１０３で得られた病変位置に基づいて病変が含まれる方の分割ＭＲＩ画像を判断する。そして、重畳画像生成部１０００７は、病変が含まれる方の分割ＭＲＩ画像中の対応する位置に病変を描画する。ここでは、病変は、第１のレンダリング画像Ｉrender1（一方の分割ＭＲＩ画像６１０）の内部に含まれるものとして説明する。
【００８２】
（ステップＳ１１０８）：超音波断層画像の切り替えを判断
ステップＳ１１０８において、切り替え判定部１００１０は、ステップＳ１１０４で得た切断面（超音波断面６０７）に係る情報と、ステップＳ１１０３で得た病変位置に係る情報と、ステップＳ１１０５で設定される第１の視点７０１の位置に基づいて、超音波断層画像５０１を重畳表示する分割ＭＲＩ画像を切り替えるか否かの判断を行う。具体的に、切り替え判定部１００１０は、第１の視点７０１から病変を見た際に、超音波断層画像５０１が当該病変を隠しているか否かの判断に応じて、超音波断層画像５０１を重畳表示する分割ＭＲＩ画像を切り替えるか否かの判断を行う。
【００８３】
図１２は、第２の実施形態を示し、超音波断層画像５０１が表示された超音波断面６０７、第１の視点７０１及び病変１２０１の位置関係の一例を示す図である。また、図１３は、第２の実施形態を示し、第１の視点７０１の位置から一方の分割ＭＲＩ画像６１０を見て生成された第１のレンダリング画像Ｉrender1の図である。
【００８４】
図１２（ａ）には、超音波断面６０７、第１の視点７０１及び病変１２０１の位置関係の一例を示されている。この場合、図１２（ｂ）に示すように、第１の視点７０１と病変１２０１とを結ぶ直線１２０２上に超音波断面６０７があるとき、生成される画像は、図１３に示すように、病変１２０１が超音波断層画像５０１の裏に隠れ、観察することができないものになる。超音波断層画像撮影装置やＭＲＩなどの複数のモダリティで撮影された画像を複合して観察することの大きな目的は、病変１２０１を探索し異なるモダリティ画像同士を比較するということにあるので、上記のような状況では、その目的を達成することは難しい。そこで、このような場合には、一方の分割ＭＲＩ画像に重畳している超音波断層画像５０１を他方の分割ＭＲＩ画像に重畳するように切り替えるという判断になる。
【００８５】
ステップＳ１１０８の判断の結果、超音波断層画像５０１が病変１２０１を隠していない場合には、ステップＳ１１１０に進み、画像表示部１００８は、重畳画像生成部１０００７で生成された画像を表示する。
一方、ステップＳ１１０８の判断の結果、超音波断層画像５０１が病変１２０１を隠している場合には、ステップＳ１１０９に進む。
【００８６】
（ステップＳ１１０９）：超音波断層画像を重畳する分割ＭＲＩ画像を切り替えた画像を生成
ステップＳ１１０９において、重畳画像生成部１０００７は、ステップＳ１１０８の判断の結果に基づいて、超音波断層画像５０１を重畳するレンダリング画像（分割ＭＲＩ画像）の切り替えを行う。
【００８７】
図１４は、第２の実施形態を示し、図１１のステップＳ１１０９の処理を説明するための図である。具体的に、図１４には、図１３の場合から、超音波断層画像５０１を重畳するレンダリング画像（分割ＭＲＩ画像）の切り替えを行った場合を示している。この切り替えを行うと、新たに重畳される超音波断層画像５０１は、切り替え先の分割ＭＲＩ画像のＭＲＩ画像座標系６０１と矛盾しないように重畳される。つまり、２つの分割ＭＲＩ画像は指定断面６０８に対して鏡像の関係にあるので、新たに重畳される超音波断層画像５０１は、元々重畳されていた超音波断層画像５０１とは鏡像の関係にあるような画像となる。
【００８８】
ステップＳ１１０９の処理が終了すると、ステップＳ１１１０に進み、画像表示部１００８は、重畳画像生成部１０００７で生成された画像を表示する。
【００８９】
以上のステップＳ１１００〜Ｓ１１１０の処理を経ることによって、画像処理装置１０００による画像処理方法の処理が実施される。
【００９０】
上述した第２の実施形態係る画像処理システムによれば、ＭＲＩ画像から検出した病変１２０１を、重畳した超音波断層画像５０１で隠すことなく表示することが可能となる。
ＭＲＩで撮影された三次元画像のＭＲＩ画像における注目領域と、超音波断層画像撮影装置で撮影された二次元画像の超音波断層画像との位置関係に基づき、二次元画像を重畳する位置を切り替えることが本実施形態の最大の特徴と言える。
【００９１】
次に、第２の実施形態における変形例について以下に説明する。
【００９２】
＜変形例２−１＞：注目領域は複数でも良い
上述した第２の実施形態では、注目領域として取得された１つの病変１２０１と超音波断層画像５０１との位置関係に基づいて、超音波断層画像５０１を重畳するレンダリング画像（分割ＭＲＩ画像）を切り替えるようにしたが、本発明の実施形態においてはこれに限らない。例えば、ＭＲＩ画像中から取得された注目領域が複数ある場合、医師等のユーザが１つの注目領域をマウスやキーボード等の操作部を用いて指定し、指定された１つの注目領域と超音波断面６０７との位置関係に応じて超音波断層画像５０１を重畳するレンダリング画像（分割ＭＲＩ画像）の切り替えを行うなどしても良い。
【００９３】
＜変形例２−２＞：一方の分割ＭＲＩ画像に超音波断層画像を重畳し、他方の分割ＭＲＩ画像にＭＲＩ断面画像を重畳し、ＭＲＩ断面画像が病変を隠さないように切り替え
上述した第２の実施形態では、第１の視点７０１と超音波断層画像５０１と分割ＭＲＩ画像６１０中の病変１２０１との位置関係に基づきどちらの分割ＭＲＩ画像に超音波断層画像５０１を重畳するかを切り替えるとしたが、本発明の実施形態においてはこれに限らない。例えば、分割ＭＲＩ画像のどちらに病変１２０１が含まれているかに基づいて、超音波断層画像５０１とＭＲＩ断面画像４０１をどちらに重畳するかという判定をしても良い。この場合、図１０の構成に、図１の断面画像生成部１００６に相当する「断面画像生成部１０００６」を追加することになる。
【００９４】
仮に、第２のレンダリング画像Ｉrender2（他方の分割ＭＲＩ画像６０９）中にＭＲＩ断面画像４０１と病変１２０１を描画する場合には、病変１２０１がＭＲＩ断面画像４０１の裏側に隠れ、第２の視点７０２からは観察することができなくなってしまう。そこで、この場合、本変形例では、ＭＲＩ断面画像４０１を第１のレンダリング画像Ｉrender1（一方の分割ＭＲＩ画像６１０）に重畳し、超音波断層画像５０１を第２のレンダリング画像Ｉrender2（他方の分割ＭＲＩ画像６０９）に重畳する。そうすることで、ＭＲＩ断面画像４０１と比較して超音波断層画像５０１の方が画像の面積が小さいため、病変１２０１を隠すことが少なくなる。そのため、病変位置を確認しながら超音波断層画像５０１を撮影しやすくなるという効果がある。
【００９５】
＜変形例２−３＞：超音波断層画像を重畳する分割ＭＲＩ画像はそのままで、病変の表示位置を切り替え
上述した第２の実施形態では、視点と超音波断層画像５０１と分割ＭＲＩ画像中の病変１２０１との位置関係に基づいて超音波断層画像５０１を重畳するレンダリング画像（分割ＭＲＩ画像）を切り替えるとしたが、本発明の実施形態においてはこれに限らない。例えば、超音波断層画像５０１の裏側に病変１２０１が隠れて、視点から観察することができない場合に、病変１２０１を描画するレンダリング画像（分割ＭＲＩ画像）を切り替えても良い。
【００９６】
図１５は、第２の実施形態に係る変形例２−３で行われる処理を説明する図である。
図１３では、病変１２０１が第１のレンダリング画像Ｉrender1（一方の分割ＭＲＩ画像６１０）の側に描画されており、第１の視点７０１から見ると超音波断層画像５０１の裏側に病変１２０１が隠れ観察することができない。そこで、図１２（ｂ）に示すように直線１２０２上に超音波断面６０７がある場合、図１５に示すように、病変１２０１を第２のレンダリング画像Ｉrender2（他方の分割ＭＲＩ画像６０９）の側に描画する。なお、この場合には、病変１２０１は、指定断面６０８と第２の視点７０２との間に表示されることになる。このような画像を表示することで、超音波断面６０７と病変１２０１との位置関係を把握しながら超音波断層画像５０１を撮影することが可能になる。
【００９７】
［その他の実施形態］
その他、上述の実施形態において、ユーザは、キーボード２１７の特定のキーを押下する操作等により、（ａ）表示された超音波断層画像のオン／オフ、（ｂ）超音波断層画像を重畳表示するボリューム画像の切り替え、（ｃ）超音波断層画像の位置を画面上でずらす処理、をそれぞれ行うことができる。これにより、注目位置に応じて配置された超音波断層画像が診断者にとって望ましいものではなかった場合に診断者にとって好ましい表示態様へと修正することができる。また超音波断層画像とともにＭＲＩ断面画像も重畳表示されている場合には、（ｄ）ＭＲＩ断面画像と超音波断層画像を個別にまたは一括でオン／オフ、（ｅ）ＭＲＩ断面画像と超音波断層画像とで重畳の対象とするボリューム画像を交換する処理、（ｆ）ＭＲＩ断面画像と超音波断層画像とを個別にまたは一括で表示位置を変更することができる。これによってＭＲＩ断面画像の表示態様に関しても超音波断層画像の表示態様と同様に変更することができる。
また、本発明は、以下の処理を実行することによっても実現される。
即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記録媒体は、本発明に含まれる。
【００９８】
なお、上述した本発明の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００９９】
１００ 画像処理装置、１１０ 医用画像撮影装置、１２０ 超音波断層画像撮影装置、１３０ 位置姿勢計測装置、１００１ 医用画像取得部、１００２ 超音波断層画像取得部、１００３ 位置姿勢計測値取得部、１００４ 切断面算出部、１００５ 分割三次元画像生成部、１００６ 断面画像生成部、１００７ 重畳画像生成部、１００８ 画像表示部
【特許請求の範囲】
【請求項１】
対象物体の三次元画像を取得する三次元画像取得手段と、
前記三次元画像とは異なる前記対象物体の断層画像を取得する断層画像取得手段と、
前記三次元画像における前記断層画像の断面を算出する算出手段と、
前記三次元画像を前記断面で分割し、当該分割した２つの分割三次元画像のうち、一方の分割三次元画像の前記断面を第１の視点から見た第１のレンダリング画像を生成するとともに、他方の分割三次元画像の前記断面を前記第１の視点とは異なる第２の視点から見た第２のレンダリング画像を生成するレンダリング画像生成手段と、
前記三次元画像の前記断面における断面画像を生成する断面画像生成手段と、
前記第１のレンダリング画像の前記断面の対応する位置に前記断層画像を重畳するとともに、前記第２のレンダリング画像の前記断面に前記断面画像を重畳する重畳手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記重畳手段は、前記第１のレンダリング画像の前記断面に前記断面画像を更に重畳し、その後、前記第１のレンダリング画像の前記断面の対応する位置に前記断層画像を重畳することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記他方の分割三次元画像における内部構造データを取得する内部構造データ取得手段と、
前記第１のレンダリング画像の前記断面における手前領域に前記内部構造データに基づく内部構造を描画する描画手段と
を更に有することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第１の視点は、前記一方の分割三次元画像の前記断面を見せる位置に設定され、前記第２の視点は、前記他方の分割三次元画像の前記断面を見せる位置に設定されることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
対象物体の三次元画像を取得する三次元画像取得ステップと、
前記三次元画像とは異なる前記対象物体の断層画像を取得する断層画像取得ステップと、
前記三次元画像における前記断層画像の断面を算出する算出ステップと、
前記三次元画像を前記断面で分割し、当該分割した２つの分割三次元画像のうち、一方の分割三次元画像の前記断面を第１の視点から見た第１のレンダリング画像を生成するとともに、他方の分割三次元画像の前記断面を前記第１の視点とは異なる第２の視点から見た第２のレンダリング画像を生成するレンダリング画像生成ステップと、
前記三次元画像の前記断面における断面画像を生成する断面画像生成ステップと、
前記第１のレンダリング画像の前記断面の対応する位置に前記断層画像を重畳するとともに、前記第２のレンダリング画像の前記断面に前記断面画像を重畳する重畳ステップと
を有することを特徴とする画像処理方法。
【請求項６】
対象物体の三次元画像を取得する三次元画像取得ステップと、
前記三次元画像とは異なる前記対象物体の断層画像を取得する断層画像取得ステップと、
前記三次元画像における前記断層画像の断面を算出する算出ステップと、
前記三次元画像を前記断面で分割し、当該分割した２つの分割三次元画像のうち、一方の分割三次元画像の前記断面を第１の視点から見た第１のレンダリング画像を生成するとともに、他方の分割三次元画像の前記断面を前記第１の視点とは異なる第２の視点から見た第２のレンダリング画像を生成するレンダリング画像生成ステップと、
前記三次元画像の前記断面における断面画像を生成する断面画像生成ステップと、
前記第１のレンダリング画像の前記断面の対応する位置に前記断層画像を重畳するとともに、前記第２のレンダリング画像の前記断面に前記断面画像を重畳する重畳ステップと
をコンピュータに実行させるためのプログラム。
【請求項１】
対象物体の三次元画像を取得する三次元画像取得手段と、
前記三次元画像とは異なる前記対象物体の断層画像を取得する断層画像取得手段と、
前記三次元画像における前記断層画像の断面を算出する算出手段と、
前記三次元画像を前記断面で分割し、当該分割した２つの分割三次元画像のうち、一方の分割三次元画像の前記断面を第１の視点から見た第１のレンダリング画像を生成するとともに、他方の分割三次元画像の前記断面を前記第１の視点とは異なる第２の視点から見た第２のレンダリング画像を生成するレンダリング画像生成手段と、
前記三次元画像の前記断面における断面画像を生成する断面画像生成手段と、
前記第１のレンダリング画像の前記断面の対応する位置に前記断層画像を重畳するとともに、前記第２のレンダリング画像の前記断面に前記断面画像を重畳する重畳手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記重畳手段は、前記第１のレンダリング画像の前記断面に前記断面画像を更に重畳し、その後、前記第１のレンダリング画像の前記断面の対応する位置に前記断層画像を重畳することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記他方の分割三次元画像における内部構造データを取得する内部構造データ取得手段と、
前記第１のレンダリング画像の前記断面における手前領域に前記内部構造データに基づく内部構造を描画する描画手段と
を更に有することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第１の視点は、前記一方の分割三次元画像の前記断面を見せる位置に設定され、前記第２の視点は、前記他方の分割三次元画像の前記断面を見せる位置に設定されることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
対象物体の三次元画像を取得する三次元画像取得ステップと、
前記三次元画像とは異なる前記対象物体の断層画像を取得する断層画像取得ステップと、
前記三次元画像における前記断層画像の断面を算出する算出ステップと、
前記三次元画像を前記断面で分割し、当該分割した２つの分割三次元画像のうち、一方の分割三次元画像の前記断面を第１の視点から見た第１のレンダリング画像を生成するとともに、他方の分割三次元画像の前記断面を前記第１の視点とは異なる第２の視点から見た第２のレンダリング画像を生成するレンダリング画像生成ステップと、
前記三次元画像の前記断面における断面画像を生成する断面画像生成ステップと、
前記第１のレンダリング画像の前記断面の対応する位置に前記断層画像を重畳するとともに、前記第２のレンダリング画像の前記断面に前記断面画像を重畳する重畳ステップと
を有することを特徴とする画像処理方法。
【請求項６】
対象物体の三次元画像を取得する三次元画像取得ステップと、
前記三次元画像とは異なる前記対象物体の断層画像を取得する断層画像取得ステップと、
前記三次元画像における前記断層画像の断面を算出する算出ステップと、
前記三次元画像を前記断面で分割し、当該分割した２つの分割三次元画像のうち、一方の分割三次元画像の前記断面を第１の視点から見た第１のレンダリング画像を生成するとともに、他方の分割三次元画像の前記断面を前記第１の視点とは異なる第２の視点から見た第２のレンダリング画像を生成するレンダリング画像生成ステップと、
前記三次元画像の前記断面における断面画像を生成する断面画像生成ステップと、
前記第１のレンダリング画像の前記断面の対応する位置に前記断層画像を重畳するとともに、前記第２のレンダリング画像の前記断面に前記断面画像を重畳する重畳ステップと
をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１３−４８６８８（Ｐ２０１３−４８６８８Ａ）
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願番号】特願２０１１−１８７８０８（Ｐ２０１１−１８７８０８）
【出願日】平成２３年８月３０日（２０１１．８．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願日】平成２３年８月３０日（２０１１．８．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]