画像処理装置、画像処理方法、撮影システム及びプログラム
【課題】 そこで本発明は、撮影された３次元画像を基準として断層画像が位置を把握しやすくする。
【解決手段】 ３次元画像取得部１０１０は、ＭＲＩ撮影装置１１０が撮影した被検体のＭＲＩ画像を取得する。規則算出部１０２０は３次元画像取得部１０１０が取得したＭＲＩ画像に基づき、変形前の被検体を基準として変形後の被検体に生じる変形を推定した結果として、被検体の変形に関する変換規則を算出する。断層画像取得部１０３０は、超音波撮影装置１２０が撮影した被検体の超音波画像を取得する。対応算出部１０５０は、超音波画像診断装置１２０が撮影した撮影面および撮影領域に対応する前記ＭＲＩ画像におけるＭＲＩ対応面およびＭＲＩ対応領域を前記変換規則に基づいて算出する。表示制御部１０８０は、撮像領域に対応する領域を表示部１４０に表示させる。
【解決手段】 ３次元画像取得部１０１０は、ＭＲＩ撮影装置１１０が撮影した被検体のＭＲＩ画像を取得する。規則算出部１０２０は３次元画像取得部１０１０が取得したＭＲＩ画像に基づき、変形前の被検体を基準として変形後の被検体に生じる変形を推定した結果として、被検体の変形に関する変換規則を算出する。断層画像取得部１０３０は、超音波撮影装置１２０が撮影した被検体の超音波画像を取得する。対応算出部１０５０は、超音波画像診断装置１２０が撮影した撮影面および撮影領域に対応する前記ＭＲＩ画像におけるＭＲＩ対応面およびＭＲＩ対応領域を前記変換規則に基づいて算出する。表示制御部１０８０は、撮像領域に対応する領域を表示部１４０に表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮影画像を処理する画像処理装置、画像処理方法、撮影システム及び当該画像処理をコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
現在、医療をはじめとする様々な分野で、異なる複数の撮影装置で同一の被検体を撮影し各撮影装置の利点を生かして多面的に観察することが行われている。
例えば医療の分野において、医師は医用画像収集装置で患者を撮影し、得られた医用画像を読影して病変部の位置や状態、経時変化を観察する。医用画像を生成する装置としては、単純Ｘ線撮影装置、Ｘ線コンピュータ断層撮影装置（Ｘ線ＣＴ撮影装置）、核磁気共鳴映像装置（ＭＲＩ撮影装置）、超音波撮影装置（ＵＳ）などがあげられる。夫々の装置は特性が異なるため、撮影する部位や疾病などに適した装置を複数選択して用いる。例えば患者のＭＲＩを撮影し、ＭＲＩの画像を参照しながら超音波画像を撮影することで、病変部の位置や広がりなどの診断に有効な情報を得ることができる。
超音波画像と３次元ＭＲＩ画像の両画像間の対応する部位を対応付けて診断することは効果的であり、そのためには夫々の画像の位置や対応をわかりやすく表示することが求められる。
特に超音波画像とＭＲＩ画像の両画像間の対応する部位に変形が生じている場合には、撮影画像をそのまま表示しただけでは空間的に複雑な対応関係を把握することが難しい。そこで非特許文献１では画像間の被検体の変形を推定し３次元ＭＲＩ画像に変形補正を施すことで、両者の画像の対応を示す技術が非特許文献１に開示されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Ｔ． Ｃａｒｔｅｒ， Ｃ． Ｔａｎｎｅｒ， Ｎ ．Ｂ． Ｎｅｗｍａｎ， Ｄ． Ｂａｒｒａｔｔ ａｎｄ Ｄ． Ｈａｗｋｅｓ， “ＭＲ Ｎａｖｉｇａｔｅｄ Ｂｒｅａｓｔ Ｓｕｒｇｅｒｙ： Ｍｅｔｈｏｄ ａｎｄ Ｉｎｉｔｉａｌ Ｃｌｉｎｉｃａｌ Ｅｘｐｅｒｉｅｎｃｅ，” ＭＩＣＣＡＩ２００８， Ｐａｒｔ ＩＩ， ＬＮＣＳ ５２４２， ｐｐ．３５６−３６３， ２００８．
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら上述のような３次元画像に変形より３次元画像が観察しにくくなる場合がある。そこで本発明は、撮影された３次元画像を基準として断層画像が位置を把握しやすくすることを目的とする。
【課題を解決するための手段】
【０００５】
そこで本発明の一態様に係る画像処理装置は、第一の変形状態の被検体を撮影して得られる、３次元画像を取得する３次元画像取得手段と、第二の変形状態の前記被検体を撮影して得られる、断層画像を取得する断層取得手段と、前記３次元画像において前記断層画像の撮像領域に対応する領域を前記第一の変形状態と前記第二の変形状態との間の変換規則に基づき算出する対応算出手段と、前記対応する領域を表示部に表示させる表示制御手段と、を有することを特徴とする。
【発明の効果】
【０００６】
このように断層撮影の撮影領域が撮影された３次元画像中においてどのような領域に対応するかを表示させることで、医師等の観察者に３次元画像を基準とした被検体の観察を容易にすることができる。
【図面の簡単な説明】
【０００７】
【図１】第１実施形態に係る撮影システム１０の機能構成を示す図である。
【図２】第１実施形態に係る撮影システム１０の装置構成を示す図である。
【図３】第１実施形態に係る画像処理装置１００の処理手順を示すフローチャートである。
【図４】第１実施形態に係るＭＲＩ画像を説明する図である
【図５】第１実施形態に係る超音波画像を説明する図である
【図６】第１実施形態に係る図３のステップＳ３０７の処理を説明する図である。
【図７】第２実施形態に係る撮影システム７０の機能構成を示す図である。
【図８】第２実施形態に係る画像処理装置７００の処理手順を示すフローチャートである。
【図９】第２実施形態に係るステップＳ８０７の処理を説明する図である。
【図１０】第３実施形態に係る撮影システム３０の機能構成を示す図である。
【発明を実施するための形態】
【０００８】
以下、添付図面に従って本発明の好ましい実施形態を説明する。
【０００９】
［第１実施形態］
本実施例に係る画像処理装置は、変形を生じる被検体の三次元のＭＲＩ画像および二次元の超音波画像を異なる変形状態において撮影した画像を取得する。そして、三次元のＭＲＩ画像において、超音波画像を撮影した二次元の断面に対応する曲面を算出し、その曲面上に超音波画像を投影した変形超音波画像を生成する。さらに前記曲面でＭＲＩ画像を切断したＭＲＩ対応面画像（曲面画像）も生成し、前記変形超音波画像と共に表示する。なお、本実施例では人体の乳房を被検体とし、ＭＲＩ画像撮影時と超音波画像撮影時との間で、被検体に対して異なる方向に重力が作用し、被検体に変形が生じる場合を例として説明する。より具体的には伏臥位（第１の変形状態）で撮影したＭＲＩ画像と、仰臥位（第２の変形状態）で撮影した超音波画像を取得する場合を例として説明する。以後、説明を簡易化するために、ＭＲＩ画像撮影時の伏臥位における被検体の変形状態（第一の変形状態）を変形前態、超音波撮影時の仰臥位における被検体の変形状態（第二の変形状態）を変形後と呼称する。
【００１０】
図１に基づいて本実施形態に係る撮影システム１０の構成を説明する。
【００１１】
ＭＲＩ撮影装置１１０は、被検体の所定の三次元領域をＭＲＩ撮影したＭＲＩ画像を取得する。ここでＭＲＩ画像には変形前の状態で被検体が撮影される。
【００１２】
超音波撮影装置１２０は超音波を送受信する不図示の超音波プローブを被検体に接触させることで、被検体の内部を断層撮影し、二次元超音波断層画像を得る。本実施形態では、被検体の所定の二次元領域を撮影した二次元のＢモード超音波画像を取得する。
【００１３】
位置姿勢計測装置１３０は超音波撮影装置１２０が持つ不図示の超音波プローブの位置と姿勢を計測する。例えば、米国Ｐｏｌｈｅｍｕｓ社のＦＡＳＴＲＡＫ等によって構成され、センサ座標系（位置姿勢計測装置１３０が基準として定める座標系）における超音波プローブの位置姿勢を計測する。なお、位置姿勢計測装置１３０は、超音波プローブの位置姿勢が計測できるのであれば、どのように構成されていても良い。
【００１４】
画像処理装置１００にはＭＲＩ撮影装置１１０、超音波撮影装置１２０、位置姿勢計測装置１３０、表示部１４０が接続されている。
３次元画像取得部１０１０は、ＭＲＩ撮影装置１１０が撮影した被検体のＭＲＩ画像を取得し、規則算出部１０２０、対応画像生成部１０６０、及び表示制御部１０８０へ出力する。
【００１５】
規則算出部１０２０は３次元画像取得部１０１０が取得したＭＲＩ画像に基づき、変形前の被検体を基準として変形後の被検体に生じる変形を推定した結果として、被検体の変形に関する変換規則を算出する。そして、算出した変換規則は、対応算出部１０５０へ出力する。
【００１６】
断層画像取得部１０３０（断層取得部）は、超音波撮影装置１２０が撮影した被検体の超音波画像を取得し、対応算出部１０５０、変形画像生成部１０７０へ出力する。
【００１７】
計測値取得部１０４０は、位置姿勢計測装置１３０が出力する超音波プローブの位置姿勢の計測値を取得し、対応算出部１０５０へ出力する。
【００１８】
対応算出部１０５０は、計測値取得部１０４０が取得した超音波プローブの位置姿勢と、規則算出部１０２０が算出した変形推定値と、断層画像取得部１０３０が取得した超音波画像に基づき、次の処理を行う。すなわち、超音波画像診断装置１２０が撮影した撮影面および撮影領域に対応するような、前記ＭＲＩ画像におけるＭＲＩ対応面およびＭＲＩ対応領域を前記変形推定値に基づいて算出する。そして、ＭＲＩ対応面およびＭＲＩ対応領域に関する情報を対応画像生成部１０６０、変形画像生成部１０７０へ出力する。
【００１９】
対応画像生成部１０６０（第一の生成部）は、対応算出部１０５０が算出したＭＲＩ対応面の位置でＭＲＩ画像を切断した断面画像（ＭＲＩ対応面画像）を生成し、表示制御部１０８０へ出力する。
【００２０】
変形画像生成部１０７０（第二の生成部）は、対応算出部１０５０が算出したＭＲＩ対応領域に断層画像取得部１０３０が取得した超音波画像を投影した変形超音波画像を生成し、表示制御部１０８０へ出力する。
【００２１】
表示制御部１０８０は、生成された画像を表示部１４０に表示させる制御を行う。表示制御部１０８０は３次元画像取得部１０１０から得たＭＲＩ画像と、対応画像生成部１０６０が生成したＭＲＩ対応面画像および、変形画像生成部１０７０が生成した変形超音波画像に基づき表示画像データを生成する。そして、表示画像を表示部１４０へと出力する。
【００２２】
表示部１４０は、表示制御部１０８０が生成した表示画像を表示する。
【００２３】
上述の図２、第１実施形態に係る画像処理装置１００のハードウェア構成を示す図である。本実施形態の撮影システム１０は画像処理装置１００、ＭＲＩ撮影装置１１０、医用画像記録装置２３０、ローカルエリアネットワーク（ＬＡＮ）２４０、超音波撮影装置１２０、位置姿勢計測装置１３０により構成される。
【００２４】
画像処理装置１００は、例えばパーソナルコンピュータ（ＰＣ）などで実現することができる。画像処理装置１００は、中央演算処理装置（ＣＰＵ）２１１、主メモリ２１２、磁気ディスク２１３、表示メモリ２１４を有し、モニタ２１５、マウス２１６、キーボード２１７が接続されている。 ＣＰＵ２１１は、主として画像処理装置１００の各構成要素の動作を制御する。主メモリ２１２は、図３に示す処理を実行するための制御プログラムを格納したり、ＣＰＵ２１１によるプログラム実行時の作業領域を提供したりする。
【００２５】
磁気ディスク２１３は、オペレーティングシステム（ＯＳ）、周辺機器のデバイスドライブ、後述する位置合わせ処理等を行うためのプログラムを含む各種アプリケーションソフト等を格納する。
【００２６】
表示メモリ２１４は、モニタ２１５のための表示用データを一時記憶する。モニタ２１５は、例えばＣＲＴモニタや液晶モニタ等であり、表示メモリ２１４からのデータに基づいて画像を表示する。マウス２１６及びキーボード２１７はユーザによるポインティング入力及び文字やコマンド等の入力をそれぞれ行う。上記各構成要素は共通バス２１８により互いに通信可能に接続されている。
【００２７】
本実例において、画像処理装置１００は、ＬＡＮ２４０を介して医用画像記録装置２３０から医用画像データ等を読み出して取得することができる。また、ＬＡＮ２４０を経由してＭＲＩ撮影装置１１０から直接に医用画像データ等を取得できるようにしても良い。本発明の形態はこれに限定されず、例えば画像処理装置１００にＵＳＢメモリ等の外部記憶装置を接続し、これらの装置から医用画像データ等を読み込んで取得するようにしても良い。また、これらの装置に本システムの処理結果を保存するようにしても良い。また、超音波撮影装置１２０で撮影した超音波画像を医用画像記録装置２３０に記録しておいて、画像処理装置１００が医用画像記録装置２３０から超音波画像を読み出して取得できるようにしても良い。
【００２８】
主メモリ２１２に格納されているプログラムをＣＰＵ２１１が実行することにより、画像処理装置１００のハードウェアとソフトウェアが協働して図１に示す各部の機能が実現される。なお、図１の各部の一部または全部がハードウェアとして実装され、プログラムは各部のパラメータ設定や処理手順を制御するものであってもよい。
【００２９】
次に、画像処理装置１００が行う全体の動作に関して、図３のフローチャートを用いて詳しく説明する。本実施形態では、主メモリ２１２に格納されている各部の機能を実現するプログラムをＣＰＵ２１１が実行することにより実現される。
【００３０】
（ステップＳ３００）：医用画像の取得
ステップＳ３００において、３次元画像取得部１０１０は、ＭＲＩ撮影装置１１０によって被検体を撮影した３次元画像を取得する。図４に３次元画像の一例を示す。ここでＭＲＩ画像４００はＭＲＩ画像座標系４０１により定義された三次元空間において複数枚の断面画像により構成され、各断面画像上の各画素の三次元座標値と輝度値の対をＭＲＩ画像４００の情報として取得するものとする。ここでＭＲＩ画像４００を構成する座標値の集合をＲＭＲＩとする。
【００３１】
（ステップＳ３０１）：被検体の変形推定
ステップＳ３０１において、規則算出部１０２０は、３次元画像取得部１０１０が取得したＭＲＩ画像に基づいて、被検体の変形を推定した結果として、被検体の変形に関する変換規則を算出する処理を実行する。ここで被検体の変形に関する変換規則とは、変形前と変形後との間に被検体に生じる変形を、変形前を基準として記述した情報であり、例えば数１に示す関数ｆｄｅｆｏｒｍ（ｘ，ｙ，ｚ）である。
【００３２】
【数１】
【００３３】
ここで（ｘ，ｙ，ｚ）はＭＲＩ画像座標系における任意の位置を表す座標値であり、（ｘ’，ｙ’，ｚ’）は前記座標値が示す部位に対応する変形後の被検体における位置をＭＲＩ画像座標系で表した座標値である。関数ｆｄｅｆｏｒｍは例えば（ｘ，ｙ，ｚ）に関する多項式などの連続的な関数であっても良いし、離散的な関数であっても良い。関数ｆｄｅｆｏｒｍを求める処理は、例えば非特許文献１に記載の有限要素法などに基づく既知の変形シミュレーション技術により実現できる。変形の推定結果の一例を図４に示す。ここで変形前の被検体４０２はＭＲＩ画像で撮影された被検体の形状を表している。変形後の被検体の推定結果４０３は、前記変形前の被検体４０２の形状が重力による影響で変形した状態の推定結果を示している。ＭＲＩ画像座標系４０１において変形前の被検体４０２の形状と変形後の被検体の推定結果４０３の関係は前記数１の関数ｆｄｅｆｏｒｍによって記述される。すなわち、数１の右辺の関数ｆｄｅｆｏｒｍの引数として変形前の被検体４０２の任意の部位の座標値を与えると、変形後の被検体の推定結果４０３における前記部位と対応する部位の座標値が左辺値として得られる。
【００３４】
（ステップＳ３０２）：超音波画像の取得
ステップＳ３０２において、断層画像取得部１０３０は、超音波撮影装置１２０によって対象物体を撮影した超音波画像を取得する。なお、超音波画像はドップラーや、エラストグラフィなどであっても良い。本実施例では、取得する超音波画像が対象物体の二次元Ｂモード断層画像である場合を例として説明を行う。図５に超音波画像の一例を示す。超音波画像５００は超音波画像座標系５０１における座標値と輝度値の対として取得される。ここで超音波画像座標系５０１は、超音波画像を含む平面をｘ−ｙ平面とし、それと直行する軸をｚ軸と定義する。したがって、本実施形態では超音波画像５００の画素はｚ＝０の平面上のみに存在することになる。ここでｚ＝０の平面を超音波画像座標系５０１における超音波画像面ＳＵＳと表記する。また、超音波画像面ＳＵＳに含まれ、超音波画像５００が含まれる有限な平面領域を超音波画像領域ＲＵＳと表記する。また超音波画像５００を構成する各画素の輝度値の集合をＩＵＳと表記し、各要素は前記ＲＵＳの各要素と対応づけて記録する。なお、超音波画像面ＳＵＳと超音波画像領域ＲＵＳは前記超音波画像座標系５０１を基準として記述されていることとすする。
【００３５】
（ステップＳ３０３）：撮影断面の位置・姿勢の取得
ステップＳ３０３において、計測値取得部１０４０は、位置姿勢計測装置１３０の計測結果に基づいて、対象物体を撮影した際の超音波画像座標系５０１とＭＲＩ画像座標系４０１の位置姿勢の関係を取得する。ここで位置姿勢計測装置１３０は、装置固有の基準座標系を持ち、その座標系における位置姿勢計測値を出力する。本実施形態における計測値取得部１０４０は、既知の校正技術を用いて前記計測値を変換することでＭＲＩ画像座標系４０１における超音波画像座標系５０１の位置姿勢の関係を取得する。具体的には超音波画像座標６０１における座標値をＭＲＩ画像座標系４０１における座標値へと変換するための４行４列の剛体変換行列を取得する。
【００３６】
（ステップＳ３０４）：対応の算出
Ｓ３０４において、対応算出部１０５０は、ステップＳ３０２で取得した超音波画像に関する超音波画像面ＳＵＳと超音波画像領域ＲＵＳに関し、変形前の被検体を撮影したＭＲＩ画像４００におけるＭＲＩ対応領域とＭＲＩ対応面を算出する。ここで、ＭＲＩ対応領域とは超音波画像領域ＲＵＳが示す被検体の領域に対応するＭＲＩ画像４００における領域である。同様にＭＲＩ対応面とは超音波画像面ＳＵＳに対応するＭＲＩ画像における面である。超音波画像５００の撮影時とＭＲＩ画像４００の撮影時との間では被検体に変形が生じているため、超音波画像領域ＲＵＳはＭＲＩ対応領域とはＭＲＩ画像座標系４０１において必ずしも一致した領域とはならない。同様に、超音波画像面ＳＵＳとＭＲＩ対応面とも必ずしも一致した面とはならない。対応算出部１０５０は、ステップＳ３０１で取得した被検体の変形の推定値に基づいて、ＭＲＩ対応面とＭＲＩ対応領域を算出する処理を実行する。以下、ステップＳ３０４において対応算出部１０５０が実行する具体的な処理を詳しく説明する。
【００３７】
対応算出部１０５０は、ステップＳ３０３で取得した剛体変換行列を用いて、ステップＳ３０２で取得した超音波画像面ＳＵＳ（すなわちｚ＝０の平面）をＭＲＩ画像座標系４０１における平面Ｓ’ＵＳへと変換する。具体的には、ステップＳ３０３で取得した剛体変換行列の逆行列をＴとし、ＭＲＩ画像座標系４０１における座標値（ｘ，ｙ，ｚ）に関して、（Ｔ３１）ｘ＋（Ｔ３２）ｙ＋（Ｔ３３）ｚ＋（Ｔ３４）＝０となる平面をＳ’ＵＳとする。ここでＴｉｊは行列Ｔのｉ行ｊ列の要素を表すものとする。また、超音波画像領域ＲＵＳの夫々を、ＭＲＩ画像座標系４０１における超音波画像領域Ｒ’ＵＳへと変換する。具体的には超音波画像領域ＲＵＳの各要素の座標値に、ステップＳ３０３で取得した剛体変換行列を乗じる処理を実行する。
【００３８】
次に、ステップＳ３０１で取得したＭＲＩ画像４００を構成する画素の座標値ＲＭＲＩの夫々に対して、数１を用いることで変形後の座標値群ＲＭＲＩ＿Ｄを算出する。変形前の座標値群ＲＭＲＩと変形後の座標値群ＲＭＲＩ＿Ｄの夫々を構成する個々の要素は互いに対応づけて保存する。そして、変形後の座標値群ＲＭＲＩ＿Ｄの夫々の座標値に関して、超音波画像領域Ｒ’ＵＳを構成する夫々の座標値との間の距離を算出し、その距離が最も小さい（近接する）座標値を求める。そして、その距離が所定の範囲内となるＲＭＲＩ＿Ｄの部分集合（ＲＭＲＩ＿Ｄ＿ＮＥＡＲＥＳＴ）を求め、さらにそれと対応付けられている変形前の座標値の集合（ＲＭＲＩ＿ＮＥＡＲＥＳＴ）も求める。さらにＲＭＲＩ＿Ｄ＿ＮＥＡＲＥＳＴの各要素と最近傍となるＲ’ＵＳの要素の集合（Ｒ’ＵＳ＿ＮＥＡＲＥＳＴ）を得る。つまり、ＲＭＲＩ＿ＮＥＡＲＥＳＴとＲＭＲＩ＿Ｄ＿ＮＥＡＲＥＳＴを構成する各要素は数１に示した関係となり、ＲＭＲＩ＿Ｄ＿ＮＥＡＲＥＳＴの各要素はＲ’ＵＳ＿ＮＥＡＲＥＳＴの対応する要素との距離が前記所定の範囲内となる。本実施形態において、対応算出部１０５０が算出するＭＲＩ対応領域はＲＭＲＩ＿ＮＥＡＲＥＳＴであり、その付帯情報として、各要素が対応付けられているＲＭＲＩ＿Ｄ＿ＮＥＡＲＥＳＴ及びＲ’ＵＳ＿ＮＥＡＲＥＳＴと共に記録する。
【００３９】
同様に前記算出した変形後の座標値群ＲＭＲＩ＿Ｄの中で、前記超音波画像面Ｓ’ＵＳとの距離が所定の範囲内の座標値の集合（ＳＭＲＩ＿Ｄ）を求め、これと対応づけられている変形前の座標値の集合（ＳＭＲＩ）を得る。これをＭＲＩ対応面として記録する。
【００４０】
ＭＲＩ対応領域及びＭＲＩ対応面は、前記の説明のように座標値の集合として記録しても良いし、これをさらに多項式等を用いた陰関数として連続的な曲面として記録し直しても良い。これは既知の技術で実行可能であるから説明は省略する。
【００４１】
またＭＲＩ対応領域及びＭＲＩ対応面を求める方法は前記の方法に限らない。例えば数１に示した関数ｆｄｅｆｏｒｍの逆関数を予め求めておく。そして、超音波画像領域Ｒ’ＵＳおよびそれを含む超音波画像面Ｓ’ＵＳを構成する座標値の集合を前記逆関数により変換した座標値を求め、それらの集合としてＭＲＩ対応領域、ＭＲＩ対応面を求めるようにしても良い。
【００４２】
ＭＲＩ画像座標系４０１において超音波画像領域Ｒ’ＵＳ、超音波画像面Ｓ’ＵＳは平面上に存在するが、ＭＲＩ対応領域、ＭＲＩ対応面は被検体の変形の推定に基づいて算出されるため、必ずしも平面上に存在するとは限らない。例えばステップＳ３０１で推定した変形が空間に対して非線形であれば、ＭＲＩ対応領域、ＭＲＩ対応面は曲面等となる。
【００４３】
（ステップＳ３０５）： ＭＲＩ対応面画像の生成
ステップＳ３０５において、対応画像生成部１０６０は、ステップＳ３０４で得たＭＲＩ対応面に基づいてＭＲＩ対応面画像を生成する。ＭＲＩ対応面画像はステップＳ３０４で取得したＭＲＩ対応面を構成する座標値の集合ＳＭＲＩと、その各要素の座標値に対応するＭＲＩ画像４００の輝度値の対として生成する。
【００４４】
（ステップＳ３０６）：変形超音波画像の生成
ステップＳ３０６において、変形画像生成部１０７０は、変形後の被検体を撮影した超音波画像５００を、変形前の被検体の対応する領域に変形させた変形超音波画像を生成する処理を実行する。ここで生成する変形超音波画像もステップＳ３０５で生成したＭＲＩ対応面画像と同様に画像を構成する座標値と輝度値の対として生成する。ここで座標値は、ステップＳ３０４で取得したＭＲＩ対応領域（ＲＭＲＩ＿ＮＥＡＲＥＳＴ）を用いることができる。輝度値は、ステップＳ３０４でＭＲＩ対応領域の付帯情報として記録した前記ＲＭＲＩ＿ＮＥＡＲＥＳＴの各要素と最近傍となる超音波画像の座標値の集合Ｒ’ＵＳ＿ＮＥＡＲＥＳＴにおける超音波画像５００の輝度値である。すなわち、変形超音波画像とはＭＲＩ画像座標系４０１においてＭＲＩ対応領域が示す領域に、ステップＳ３０１で推定した変形に基づいて、超音波画像を投影した画像となる。
【００４５】
（ステップＳ３０７）：表示画像の生成
ステップＳ３０７において、表示制御部１０８０はステップＳ３００で取得したＭＲＩ画像及び、ステップＳ３０５で生成したＭＲＩ対応面画像及び、ステップＳ３０６で生成した変形超音波画像に基づいて表示画像を生成する処理を実行する。表示画像の生成については様々な方法が考えられるが、例えばＭＲＩ画像をボリュームレンダリングした二次元画像上に、前記ＭＲＩ対応面画像および変形超音波画像を重畳して表示するようにできる。これについて図６に基づき用いて詳しく説明する。図６（ａ）は、ステップＳ３００で取得したＭＲＩ画像のボリュームレンダリングしたレンダリング画像６００を示している。ここでレンダリング画像６００は二次元画像であり、変形前の被検体を撮影したＭＲＩ画像を任意に定めた仮想的な視点から観察した様子をレンダリングした画像である。図６（ｂ）は、ステップＳ３０５で生成したＭＲＩ対応面画像を前記同様の仮想的な視点から観察した様子を示している。図６（ｃ）には、ステップＳ３０６で生成した変形超音波画像を前記同様に仮想的な視点から観察した様子を示している。表示制御部１０８０は、図６（ｄ）に示すように、レンダリング画像６００にＭＲＩ対応面画像６１０を重畳し、さらに変形超音波画像６２０を重畳した画像を表示画像６３０として生成する。ここでレンダリング画像６００を生成する際には、ＭＲＩ画像の前記ＭＲＩ対応面よりも視点側に近い手間側領域６４０の不透明度を下げる、もしくは、その領域をレンダリング処理の対象外とするなどとしても良い。これにより、変形前の被検体４０２とＭＲＩ対応面画像６１０、変形超音波画像６２０の位置関係を把握しやすい表示画像を生成できる。
【００４６】
（ステップＳ３０８）：画像を表示
ステップＳ３０８において、表示部１４０は、ステップＳ３０７で生成した表示画像を表示メモリ２１４に送信することで、モニタ２１５に表示する処理を実行する。
【００４７】
（ステップＳ３０９）：終了判定
ステップＳ３０９において画像処理装置１００は、全体の処理を終了するか否かの判定を行う。例えば、モニタ２１５上に表示された終了ボタンを操作者がマウス２１６でクリックするなどして、終了の判定を入力する。終了すると判定した場合には、画像処理装置１００の処理の全体を終了させる。一方、終了すると判定しなかった場合には、ステップＳ３０２へと処理を戻し、新たに取得される超音波画像５００および位置姿勢の計測結果に対して、ステップＳ３０２からステップＳ３０８までの処理を再度実行する。
以上によって、画像処理装置１００の処理が実施される。
【００４８】
以上に説明した、本実施形態における撮影システム１０によれば、変形後の被検体を超音波撮影する際に、その撮影領域と、変形前の被検体を撮影したＭＲＩ画像との対応領域との位置関係を分かりやすく表示することができる。また、超音波撮影した撮影領域に対応するＭＲＩ画像の対応領域の画像を好適な条件で観察することができる。
【００４９】
さらに、超音波撮影により取得した被検体の断面画像を、三次元画像の中の対応領域に投影して表示する仕組みを提供できる。そのため、前記超音波画像の各部位が、変形状態の異なる被検体を撮影した三次元画像中においてどの位置に対応するのかを医師に明確に提示することができる。
【００５０】
超音波撮影をしている被検体の断面領域に対応する、三次元画像の対応領域の画像を表示する仕組みを提供できる。そのため、前記変形状態の異なる被検体を撮影した三次元画像の前記超音波撮影をしている領域に対応する領域の画像を医師に明確に提示することができる。
【００５１】
（変形例１−１）：ＭＲＩ断面画像を重畳しない
前記の第１実施形態では、ＭＲＩ対応面画像を生成し、ＭＲＩ画像のボリュームレンダリング画像に重畳して表示する場合を例として説明したが、本発明の実施はこれに限定されない。例えば、ステップＳ３０５の処理を省略し、ステップＳ３０７ではＭＲＩ画像をステップＳ３０４で算出したＭＲＩ対応面でクリッピングしたボリュームレンダリング画像を生成し、それに変形超音波画像を重畳するようにできる。これによれば、ＭＲＩ対応面画像の生成処理と、その画像の重畳処理を実行する必要がないため、処理を簡略化・高速化できる。
【００５２】
また前記の第１実施形態では、ＭＲＩ対応領域ＲＭＲＩ＿ＮＥＡＲＥＳＴに超音波画像５００の輝度値を投影した画像を前記変形超音波画像とする場合を例として説明したが、本発明の実施はこれに限定されない。例えば変形超音波画像は、変形後のＭＲＩ画像における超音波画像５００の撮影領域Ｒ’ＵＳの境界に対応する枠線であっても良い。具体的には、前記Ｒ’ＵＳのうち超音波画像５００の撮影領域の境界に対応する座標値の部分集合をＲ’’ＵＳとし、以下の処理を実行する。すなわち、変形後の座標値群ＲＭＲＩ＿Ｄの夫々の座標値に対し、Ｒ’’ＵＳを構成する夫々の座標値との間の距離を算出し、その距離が最も小さい（近接する）座標値を求める。そして、その距離が所定の範囲内となるＲＭＲＩ＿Ｄの部分集合（Ｒ’’ＭＲＩ＿Ｄ＿ＮＥＡＲＥＳＴ）を求め、さらにそれと対応付けられている変形前の座標値の集合（Ｒ’’ＭＲＩ＿ＮＥＡＲＥＳＴ）も求める。そして、変形超音波画像は、前記Ｒ’’ＭＲＩ＿ＮＥＡＲＥＳＴにより構成される枠線とすることができる。これによれば、前記ＭＲＩ対応領域の算出処理では、前記枠線に対応する処理だけを実行すれば良いから、処理を簡略化・高速化できる。
【００５３】
（変形例１−３）：ボリュームレンダリング以外
前記の第１実施形態では、表示画像の生成方法としてＭＲＩ画像をボリュームレンダリングした画像に基づく場合を例として説明したが、本発明の実施形態はこれに限らない。例えば、対象とするＭＲＩ画像に映る被検体の皮膚や大胸筋、乳腺などの内部組織構造を抽出し、それらの輪郭に基づくサーフェスレンダリングした画像に基づくようにしても良い。
【００５４】
［第２実施形態］
本実施形態では、変形した超音波画像に対応するＭＲＩ断面を表示する代わりに、三次元のＭＲＩ画像を構成する複数の断面画像のうち任意の断面画像を注目断面画像として設定し、その断面画像と共に前記第１実施形態で説明した変形超音波画像を表示する。
【００５５】
図７は本実施形態に係る撮影システム７０の構成を説明する図である。なお、第１実施形態の撮影システム１０と共通する構成には同一の符号を付し、その説明は省略する。
【００５６】
断面生成部１１００は、３次元画像取得部１０１０が取得した三次元のＭＲＩ画像と、ユーザの操作入力などに基づき、前記ＭＲＩ画像から注目断面画像を生成する。生成した注目断面画像は表示制御部１０８０へ送信する。
【００５７】
次に、本実施形態に係る画像処理装置７００が行う全体の動作に関して、図８のフローチャートを用いて詳しく説明する。なお、ステップＳ８００からステップＳ８０１の処理は図３に示した第１実施形態の画像処理装置１００が行うステップＳ３００からステップＳ３０１と同一の処理であるため説明は省略する。同様に、ステップＳ８０３からステップＳ８０６の処理もステップＳ３０２からステップＳ３０６の処理と、ステップＳ８０８からステップＳ８０９の処理はステップＳ３０８からステップＳ３０９と同一であるため説明は省略する。以降、ステップＳ８０２とステップＳ８０７の処理について説明する。
【００５８】
（ステップＳ８０２）：ＭＲＩ注目断面画像を取得
ステップＳ８０２において、断面生成部１１００は、ステップＳ８００で取得したＭＲＩ画像からユーザの操作などに基づき病変等が映る注目断面を選択し、それをＭＲＩ注目断面画像として取得する。ＭＲＩ注目断面画像は二次元の画像であり、その画像を構成する各画素の座標値と輝度値の対として取得する。ここで座標値はステップＳ８００で取得したＭＲＩ画像に関するＭＲＩ画像座標系を基準とした座標値である。
【００５９】
（ステップＳ８０７）：表示画像の生成
ステップＳ８０７において表示制御部１０８０は、ステップＳ８０２で生成したＭＲＩ注目断面画像とステップＳ８０６で生成した変形超音波画像に基づき表示画像を生成する処理を実行する。この処理の具体的な例を図９に示す。図９は表示制御部１０８０が生成する表示画像９５０の一例を表す図である。表示画像９５０には変形超音波画像７２０とＭＲＩ注目断面画像９５１とが描画される。これらの画像を構成する各画素値はＭＲＩ画像座標系における座標値と輝度値を持っている。前記座標値が示す位置に前記輝度値を持つ画素を配置する処理を前記各画像について実行する。それをＭＲＩ画像座標系において任意に設定した仮想的な視点位置から観察した様子をレンダリングすることで、表示画像９５０を生成する。
【００６０】
以上によって、画像処理装置７００の処理が実施される。
【００６１】
以上、本実施形態における撮影システム７０によれば、変形超音波画像と共にユーザが指定したＭＲＩ注目断面画像が常に表示される。そのため、超音波撮影装置が撮影している領域と前記ＭＲＩ注目断面画像との位置関係を把握することができる。例えば注目する病変の領域がＭＲＩ画像上で定まっている場合に、その領域を含むＭＲＩ注目断面画像をユーザが設定することで、当該領域と超音波画像との位置関係を容易に把握できる画像を表示できる。
【００６２】
（変形例２−１）：ＭＲＩ注目断面画像は複数枚でも良い
前記第２実施形態では、ＭＲＩ画像中から１枚の断面画像をユーザが選択し、それをＭＲＩ注目断面画像として生成する場合を例として説明したが、本発明の実施はこれに限定されない。例えば、ＭＲＩ画像中に複数の病変等を含む領域が存在する場合に、断面生成部１１００は、ユーザ入力の取得等により夫々の領域を含むＭＲＩ注目断面画像を複数枚生成するようにしても良い。また、ＭＲＩ注目断面画像の設定は、ユーザによる直接的な設定を取得する場合に限らない。例えばユーザが入力した注目する領域の座標値を取得し、その領域を含む直行三断面を自動的にＭＲＩ注目断面画像として設定するようにしても良い。これ以外にも、例えば本実施形態の画像処理装置７００を不図示の読影レポートシステムと接続し、ＭＲＩ画像の注目断面に関する情報を前記読影レポートシステムから取得し、これに基づいてＭＲＩ注目断面画像を生成するようにしても良い。
【００６３】
また、複数のＭＲＩ注目断面画像が生成される場合には、表示制御部１０８０は、前記複数のＭＲＩ注目断面画像の全てを描画するようにしても良いし、その一部だけを表示するようにしても良い。一部だけを表示する場合には、ユーザの入力操作等によってその切り替えを行うようにしても良い。それ以外にも例えば、変形超音波画像とＭＲＩ注目断面画像との位置関係や、視点位置との位置関係等に基づいて表示を切り替えるようにもできる。
【００６４】
以上の第２実施形態の変形例によれば、三次元画像中のユーザが注目する断面画像と共に、超音波撮影をしている被検体の断面領域に対応する対応領域を表示する仕組みを提供できる。ＭＲＩ画像中における病変等の注目領域が描出される複数のＭＲＩ断面と、超音波画像の撮影領域および撮影画像との比較を容易に行えるという効果がある。そのため、前記注目する断面画像と前記三次元画像の中の超音波撮影の領域の関係を医師に明確に提示することができる。
【００６５】
［第３実施形態］
３次元ＭＲＩ画像と２次元超音波断層画像（超音波画像）のそれぞれの撮影時の変形状態が同一または実質的に同一とみなされる場合には変形規則の算出や変形画像の生成を行わず、３次元ＭＲＩ画像上に超音波断層画像を重畳して表示する。
【００６６】
加えて変形状態が異なる場合には３次元ＭＲＩ画像を基準に超音波画像を変形する表示と、超音波画像を基準に３次元ＭＲＩ画像を変形する表示とを同時にまたは切り替えて行う。
【００６７】
図１０に従い本発明の構成及び処理の流れを説明する。なお、先述の実施例と同様の構成及び処理については説明を省略する。
【００６８】
撮影システム３０は超音波撮影装置１２０と画像処理装置１０００を有しており、超音波撮影に応じて断層画像取得部１０３０が断層画像を適宜取得し表示制御部１０８０が表示部１４０に表示させる。また３次元画像取得部１０１０は、医用画像記録装置２３０から超音波撮影の同一被検者の既に撮影済みの３次元ＭＲＩ画像を取得する。３次元ＭＲＩ画像の付帯情報として３次元ＭＲＩ画像の撮影体位の情報を取得する。
【００６９】
判定部１０９０は、３次元ＭＲＩ画像の撮影体位の情報から被検体の変形状態を取得する。なお、撮影体位の情報そのものを変形状態を示す情報として扱っても良い。また、超音波撮影装置１２０に対して設定された被検体の撮影条件に基づいて被検体の変形状態を取得する。判定部１０９０は３次元ＭＲＩ画像と超音波断層画像の変形状態を比較し、異なっているか否かを判定する。ここで、変形状態が実質的に同一と判断できる場合には異なっているという判定をしないこととする。例えば、立位と座位で撮影体位が異なっていたとしても、被検体を乳房とした撮影である場合には変形状態は実質的に同一と考えられるため、変形状態は異なっているという判定をしない。
【００７０】
なお判定は異ならないという判定をされるか否かに応じて行うこととしたが、これに限らず同一であるか否かを判定することとしても、同一であるか異なるかを判定することとしてもよい。
【００７１】
判定の結果、変形状態が異なっていると判定されなかった場合には、３次元ＭＲＩ画像および超音波画像の変形を行わず、対応算出部１０５０は両画像の対応関係を算出し、３次元ＭＲＩ画像の対応する位置に２次元超音波断層画像を重畳表示する。
【００７２】
判定の結果、変形状態が異なっていると判定された場合には、先述の実施形態通りの３次元ＭＲＩ画像を基準に超音波画像を変形する表示を行うが、ユーザの指定に応じて超音波画像を基準に３次元ＭＲＩ画像を変形する表示を同時にまたは切り替えて行う。
【００７３】
以下、３次元ＭＲＩ画像を変形して表示する場合を説明する。
【００７４】
規則算出部１０２０で異なる変形状態間での変換規則を３次元ＭＲＩ画像に基づき算出する。もちろん予め医用画像記録装置２３０に記録された変換規則を用いることとしてもよい。また、当該３次元ＭＲＩ画像から算出せずとも、平均的な変換規則を用いることとしてもよく、その場合には処理が簡便になる。
【００７５】
対応算出部１０５０は変換規則に基づいてＭＲＩ画像を変形し、２次元超音波断層画像の撮像領域の対応位置を算出する。２次元の超音波断層画像である場合、撮像領域は面となる。断面生成部１１００は２次元超音波断層画像の撮像面に対応する断面によるＭＲＩ断面画像を生成する。
【００７６】
表示制御部１０８０は変形された３次元ＭＲＩ画像から生成されたＭＲＩ断面画像と、変形されていない２次元の超音波断層画像とを表示部１４０に表示する。並べて表示することとしても、対応関係が分かりやすいように超音波断層画像をＭＲＩ断面画像に重畳して表示することとしてもよい。
【００７７】
表示前、または表示中に受けたユーザによる不図示の操作部（マウス２１６やキーボード２１７）を介した指示に応じて、表示制御部１０８０は超音波画像を変形した表示のみか、ＭＲＩ画像を変形した表示のみか、両方を同時に表示するかを切り替える。
【００７８】
これによって、変形状態が著しく大きい場合や、超音波画像を基準に観察したい場合には超音波画像を変形せず３次元ＭＲＩ画像を変形して表示させることでユーザがより被検体を観察しやすくなる。
【００７９】
また、変形状態が異ならない場合には変形せずに対応関係を表示するとともに、変形状態が異なる場合には一方を変形して対応関係を表示することで、医師等の検査者に２種類の画像の対応関係を容易に把握させることができる。乳房ではＭＲＩ撮影と超音波撮影での変形状態が異なる場合が多く、腹部等の撮影では変形状態が異ならない場合がある。よって、異なる撮影部位で得られた画像についても本実施形態の処理により統一的に扱うことができる。また、同じ乳房撮影でも撮影目的その他の状況に応じてＭＲＩ撮影と超音波撮影で変形状態が異なる場合と、異ならない場合とを統一的に扱うことができる。
【００８０】
なお、撮影時の変形状態が異なっている場合で、一方の画像を他方に合わせて変形表示した場合には、いずれの画像が変形され、いずれの画像が変形されていないかを示す表示を、文字によるメッセージ、色、点滅、枠線の形状等の表示形態を変えることでユーザに知らせることができる。また、変形状態が異ならない場合には、両画像とも変形された画像ではないことを示す情報を表示することで、特に本実施例のように複数の表示が可能なシステムにおいてはユーザにどのような処理を経て表示された画像であるかを分かりやすく示すことができる。
【００８１】
なお、本実施形態では変形状態の判別処理と、ＭＲＩ画像を変形する表示と超音波画像を変形する表示とを並べて／切り替えて表示する表示制御処理との両方を実現するシステムを説明した。これに限らず、判別処理と表示制御処理の一方のみを実現するシステムであっても良い。
【００８２】
［その他の実施形態］
なお、上述した本実施の形態における記述は、本発明に係る好適な画像処理装置の一例であり、本発明はこれに限定されるものではない。
【００８３】
上述の実施例では、被検体を人体の乳房とする場合を例として説明したが、本発明の実施はこれに限らず、任意の被検体であってもよい。
【００８４】
上述の実施形態では、三次元画像はＭＲＩ画像である場合を例として説明したが、本発明の実施はこれに限らない。例えば、ＭＲＩ撮影装置１１０はＸ線ＣＴ撮影装置や、光音響トモグラフィ装置、三次元超音波装置であってもよい。
【００８５】
上述の実施形態では、第一の変形状態である被写体を撮影した画像と、第二の変形状態である被写体を撮影した画像のうち、一方を他方に合わせて変形する例を説明しているが、これに限られず、ユーザの便宜である場合には、第一の変形状態及び第二の変形状態のいずれとも異なる第三の変形状態に合わせて両方の画像を変形することとしてもよい。この場合、第一の実施形態を例にとれば規則算出部１０２０は第一の変形状態から第三の変形状態へと変形するための変換規則と、第二の変形状態から第三の変形状態へと変形するための変換規則と算出する。変換規則は、所定の変形状態で撮影された３次元画像を第一、第二、第三の変形状態とした際の画像情報に基づいて算出することができる。対応算出部１０５０は第３の変形状態とした場合の２画像の対応関係を算出する。対応画像生成部１０６０と変形画像生成部は１０７０それぞれＭＲＩ画像と超音波画像から第三の変形状態へと変形した画像を生成する。そして表示制御部１０８０の制御に応じてこれら変形された２画像を表示させることとする。これにより、例えばある基準となる変形状態（第三の変形状態）があり、撮影された２画像がいずれも第三の変形状態と異なる画像であった場合には、基準の変形状態に合わせて複数の画像を統一的に観察することができる。
【００８６】
上述の実施形態では、超音波画像を変形して表示することとしたが、変形前の超音波画像に付いても並べて／切り替えて表示させることとすることができる。例えば、変形状態が大きく超音波画像が観察し難い画像となったときには、ユーザの指示に応じて変形前の超音波画像を表示制御部１０８０が表示部１４０に表示させることとすれば、ＭＲＩ画像と超音波画像の対応関係を分かりやすく表示しつつ、超音波画像を観察しやすくすることができる。
【００８７】
第一実施形態または第二実施形態では画像処理装置にＭＲＩ撮影装置１１０及び超音波撮影装置１２０の両方が接続することとしているがこれに限られない。例えば第三実施形態のように超音波撮影装置１２０だけが接続されることとしても、ＭＲＩ撮影装置１１０だけが接続されることとしてもよい。あるいは、撮影装置とは直接接続されず、撮影装置により撮影された医用画像記録装置２３０に記録された画像を画像処理装置が取得することとしてもよい。
【００８８】
３次元ＭＲＩ画像及び２次元超音波断層画像をそれぞれ医用画像記録装置２３０から取得する場合、３次元画像取得部１０１０及び断層画像取得部１０３０は同一の機能およびハードウェアにより達成されうる。
【００８９】
また本発明の目的は、前述した実施形態の機能を実現するプログラムコードを記録した記録媒体を装置に供給し、その装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００９０】
また、コンピュータが読み出したプログラムコードを実行することにより、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、前述した実施形態の機能が実現される場合も本発明に含まれる。
【００９１】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【符号の説明】
【００９２】
１０ 撮影システム
１００ 画像処理装置
１１０ ＭＲＩ画像撮影装置
１２０ 超音波撮影装置
１４０ 表示部
１０１０ ３次元画像取得部
１０２０ 規則算出部
１０３０ 断層画像取得部
１０４０ 計測値取得部
１０５０ 対応算出部
１０６０ 対応画像生成部
１０７０ 変形画像生成部
１０８０ 表示制御部
【技術分野】
【０００１】
本発明は、複数の撮影画像を処理する画像処理装置、画像処理方法、撮影システム及び当該画像処理をコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
現在、医療をはじめとする様々な分野で、異なる複数の撮影装置で同一の被検体を撮影し各撮影装置の利点を生かして多面的に観察することが行われている。
例えば医療の分野において、医師は医用画像収集装置で患者を撮影し、得られた医用画像を読影して病変部の位置や状態、経時変化を観察する。医用画像を生成する装置としては、単純Ｘ線撮影装置、Ｘ線コンピュータ断層撮影装置（Ｘ線ＣＴ撮影装置）、核磁気共鳴映像装置（ＭＲＩ撮影装置）、超音波撮影装置（ＵＳ）などがあげられる。夫々の装置は特性が異なるため、撮影する部位や疾病などに適した装置を複数選択して用いる。例えば患者のＭＲＩを撮影し、ＭＲＩの画像を参照しながら超音波画像を撮影することで、病変部の位置や広がりなどの診断に有効な情報を得ることができる。
超音波画像と３次元ＭＲＩ画像の両画像間の対応する部位を対応付けて診断することは効果的であり、そのためには夫々の画像の位置や対応をわかりやすく表示することが求められる。
特に超音波画像とＭＲＩ画像の両画像間の対応する部位に変形が生じている場合には、撮影画像をそのまま表示しただけでは空間的に複雑な対応関係を把握することが難しい。そこで非特許文献１では画像間の被検体の変形を推定し３次元ＭＲＩ画像に変形補正を施すことで、両者の画像の対応を示す技術が非特許文献１に開示されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Ｔ． Ｃａｒｔｅｒ， Ｃ． Ｔａｎｎｅｒ， Ｎ ．Ｂ． Ｎｅｗｍａｎ， Ｄ． Ｂａｒｒａｔｔ ａｎｄ Ｄ． Ｈａｗｋｅｓ， “ＭＲ Ｎａｖｉｇａｔｅｄ Ｂｒｅａｓｔ Ｓｕｒｇｅｒｙ： Ｍｅｔｈｏｄ ａｎｄ Ｉｎｉｔｉａｌ Ｃｌｉｎｉｃａｌ Ｅｘｐｅｒｉｅｎｃｅ，” ＭＩＣＣＡＩ２００８， Ｐａｒｔ ＩＩ， ＬＮＣＳ ５２４２， ｐｐ．３５６−３６３， ２００８．
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら上述のような３次元画像に変形より３次元画像が観察しにくくなる場合がある。そこで本発明は、撮影された３次元画像を基準として断層画像が位置を把握しやすくすることを目的とする。
【課題を解決するための手段】
【０００５】
そこで本発明の一態様に係る画像処理装置は、第一の変形状態の被検体を撮影して得られる、３次元画像を取得する３次元画像取得手段と、第二の変形状態の前記被検体を撮影して得られる、断層画像を取得する断層取得手段と、前記３次元画像において前記断層画像の撮像領域に対応する領域を前記第一の変形状態と前記第二の変形状態との間の変換規則に基づき算出する対応算出手段と、前記対応する領域を表示部に表示させる表示制御手段と、を有することを特徴とする。
【発明の効果】
【０００６】
このように断層撮影の撮影領域が撮影された３次元画像中においてどのような領域に対応するかを表示させることで、医師等の観察者に３次元画像を基準とした被検体の観察を容易にすることができる。
【図面の簡単な説明】
【０００７】
【図１】第１実施形態に係る撮影システム１０の機能構成を示す図である。
【図２】第１実施形態に係る撮影システム１０の装置構成を示す図である。
【図３】第１実施形態に係る画像処理装置１００の処理手順を示すフローチャートである。
【図４】第１実施形態に係るＭＲＩ画像を説明する図である
【図５】第１実施形態に係る超音波画像を説明する図である
【図６】第１実施形態に係る図３のステップＳ３０７の処理を説明する図である。
【図７】第２実施形態に係る撮影システム７０の機能構成を示す図である。
【図８】第２実施形態に係る画像処理装置７００の処理手順を示すフローチャートである。
【図９】第２実施形態に係るステップＳ８０７の処理を説明する図である。
【図１０】第３実施形態に係る撮影システム３０の機能構成を示す図である。
【発明を実施するための形態】
【０００８】
以下、添付図面に従って本発明の好ましい実施形態を説明する。
【０００９】
［第１実施形態］
本実施例に係る画像処理装置は、変形を生じる被検体の三次元のＭＲＩ画像および二次元の超音波画像を異なる変形状態において撮影した画像を取得する。そして、三次元のＭＲＩ画像において、超音波画像を撮影した二次元の断面に対応する曲面を算出し、その曲面上に超音波画像を投影した変形超音波画像を生成する。さらに前記曲面でＭＲＩ画像を切断したＭＲＩ対応面画像（曲面画像）も生成し、前記変形超音波画像と共に表示する。なお、本実施例では人体の乳房を被検体とし、ＭＲＩ画像撮影時と超音波画像撮影時との間で、被検体に対して異なる方向に重力が作用し、被検体に変形が生じる場合を例として説明する。より具体的には伏臥位（第１の変形状態）で撮影したＭＲＩ画像と、仰臥位（第２の変形状態）で撮影した超音波画像を取得する場合を例として説明する。以後、説明を簡易化するために、ＭＲＩ画像撮影時の伏臥位における被検体の変形状態（第一の変形状態）を変形前態、超音波撮影時の仰臥位における被検体の変形状態（第二の変形状態）を変形後と呼称する。
【００１０】
図１に基づいて本実施形態に係る撮影システム１０の構成を説明する。
【００１１】
ＭＲＩ撮影装置１１０は、被検体の所定の三次元領域をＭＲＩ撮影したＭＲＩ画像を取得する。ここでＭＲＩ画像には変形前の状態で被検体が撮影される。
【００１２】
超音波撮影装置１２０は超音波を送受信する不図示の超音波プローブを被検体に接触させることで、被検体の内部を断層撮影し、二次元超音波断層画像を得る。本実施形態では、被検体の所定の二次元領域を撮影した二次元のＢモード超音波画像を取得する。
【００１３】
位置姿勢計測装置１３０は超音波撮影装置１２０が持つ不図示の超音波プローブの位置と姿勢を計測する。例えば、米国Ｐｏｌｈｅｍｕｓ社のＦＡＳＴＲＡＫ等によって構成され、センサ座標系（位置姿勢計測装置１３０が基準として定める座標系）における超音波プローブの位置姿勢を計測する。なお、位置姿勢計測装置１３０は、超音波プローブの位置姿勢が計測できるのであれば、どのように構成されていても良い。
【００１４】
画像処理装置１００にはＭＲＩ撮影装置１１０、超音波撮影装置１２０、位置姿勢計測装置１３０、表示部１４０が接続されている。
３次元画像取得部１０１０は、ＭＲＩ撮影装置１１０が撮影した被検体のＭＲＩ画像を取得し、規則算出部１０２０、対応画像生成部１０６０、及び表示制御部１０８０へ出力する。
【００１５】
規則算出部１０２０は３次元画像取得部１０１０が取得したＭＲＩ画像に基づき、変形前の被検体を基準として変形後の被検体に生じる変形を推定した結果として、被検体の変形に関する変換規則を算出する。そして、算出した変換規則は、対応算出部１０５０へ出力する。
【００１６】
断層画像取得部１０３０（断層取得部）は、超音波撮影装置１２０が撮影した被検体の超音波画像を取得し、対応算出部１０５０、変形画像生成部１０７０へ出力する。
【００１７】
計測値取得部１０４０は、位置姿勢計測装置１３０が出力する超音波プローブの位置姿勢の計測値を取得し、対応算出部１０５０へ出力する。
【００１８】
対応算出部１０５０は、計測値取得部１０４０が取得した超音波プローブの位置姿勢と、規則算出部１０２０が算出した変形推定値と、断層画像取得部１０３０が取得した超音波画像に基づき、次の処理を行う。すなわち、超音波画像診断装置１２０が撮影した撮影面および撮影領域に対応するような、前記ＭＲＩ画像におけるＭＲＩ対応面およびＭＲＩ対応領域を前記変形推定値に基づいて算出する。そして、ＭＲＩ対応面およびＭＲＩ対応領域に関する情報を対応画像生成部１０６０、変形画像生成部１０７０へ出力する。
【００１９】
対応画像生成部１０６０（第一の生成部）は、対応算出部１０５０が算出したＭＲＩ対応面の位置でＭＲＩ画像を切断した断面画像（ＭＲＩ対応面画像）を生成し、表示制御部１０８０へ出力する。
【００２０】
変形画像生成部１０７０（第二の生成部）は、対応算出部１０５０が算出したＭＲＩ対応領域に断層画像取得部１０３０が取得した超音波画像を投影した変形超音波画像を生成し、表示制御部１０８０へ出力する。
【００２１】
表示制御部１０８０は、生成された画像を表示部１４０に表示させる制御を行う。表示制御部１０８０は３次元画像取得部１０１０から得たＭＲＩ画像と、対応画像生成部１０６０が生成したＭＲＩ対応面画像および、変形画像生成部１０７０が生成した変形超音波画像に基づき表示画像データを生成する。そして、表示画像を表示部１４０へと出力する。
【００２２】
表示部１４０は、表示制御部１０８０が生成した表示画像を表示する。
【００２３】
上述の図２、第１実施形態に係る画像処理装置１００のハードウェア構成を示す図である。本実施形態の撮影システム１０は画像処理装置１００、ＭＲＩ撮影装置１１０、医用画像記録装置２３０、ローカルエリアネットワーク（ＬＡＮ）２４０、超音波撮影装置１２０、位置姿勢計測装置１３０により構成される。
【００２４】
画像処理装置１００は、例えばパーソナルコンピュータ（ＰＣ）などで実現することができる。画像処理装置１００は、中央演算処理装置（ＣＰＵ）２１１、主メモリ２１２、磁気ディスク２１３、表示メモリ２１４を有し、モニタ２１５、マウス２１６、キーボード２１７が接続されている。 ＣＰＵ２１１は、主として画像処理装置１００の各構成要素の動作を制御する。主メモリ２１２は、図３に示す処理を実行するための制御プログラムを格納したり、ＣＰＵ２１１によるプログラム実行時の作業領域を提供したりする。
【００２５】
磁気ディスク２１３は、オペレーティングシステム（ＯＳ）、周辺機器のデバイスドライブ、後述する位置合わせ処理等を行うためのプログラムを含む各種アプリケーションソフト等を格納する。
【００２６】
表示メモリ２１４は、モニタ２１５のための表示用データを一時記憶する。モニタ２１５は、例えばＣＲＴモニタや液晶モニタ等であり、表示メモリ２１４からのデータに基づいて画像を表示する。マウス２１６及びキーボード２１７はユーザによるポインティング入力及び文字やコマンド等の入力をそれぞれ行う。上記各構成要素は共通バス２１８により互いに通信可能に接続されている。
【００２７】
本実例において、画像処理装置１００は、ＬＡＮ２４０を介して医用画像記録装置２３０から医用画像データ等を読み出して取得することができる。また、ＬＡＮ２４０を経由してＭＲＩ撮影装置１１０から直接に医用画像データ等を取得できるようにしても良い。本発明の形態はこれに限定されず、例えば画像処理装置１００にＵＳＢメモリ等の外部記憶装置を接続し、これらの装置から医用画像データ等を読み込んで取得するようにしても良い。また、これらの装置に本システムの処理結果を保存するようにしても良い。また、超音波撮影装置１２０で撮影した超音波画像を医用画像記録装置２３０に記録しておいて、画像処理装置１００が医用画像記録装置２３０から超音波画像を読み出して取得できるようにしても良い。
【００２８】
主メモリ２１２に格納されているプログラムをＣＰＵ２１１が実行することにより、画像処理装置１００のハードウェアとソフトウェアが協働して図１に示す各部の機能が実現される。なお、図１の各部の一部または全部がハードウェアとして実装され、プログラムは各部のパラメータ設定や処理手順を制御するものであってもよい。
【００２９】
次に、画像処理装置１００が行う全体の動作に関して、図３のフローチャートを用いて詳しく説明する。本実施形態では、主メモリ２１２に格納されている各部の機能を実現するプログラムをＣＰＵ２１１が実行することにより実現される。
【００３０】
（ステップＳ３００）：医用画像の取得
ステップＳ３００において、３次元画像取得部１０１０は、ＭＲＩ撮影装置１１０によって被検体を撮影した３次元画像を取得する。図４に３次元画像の一例を示す。ここでＭＲＩ画像４００はＭＲＩ画像座標系４０１により定義された三次元空間において複数枚の断面画像により構成され、各断面画像上の各画素の三次元座標値と輝度値の対をＭＲＩ画像４００の情報として取得するものとする。ここでＭＲＩ画像４００を構成する座標値の集合をＲＭＲＩとする。
【００３１】
（ステップＳ３０１）：被検体の変形推定
ステップＳ３０１において、規則算出部１０２０は、３次元画像取得部１０１０が取得したＭＲＩ画像に基づいて、被検体の変形を推定した結果として、被検体の変形に関する変換規則を算出する処理を実行する。ここで被検体の変形に関する変換規則とは、変形前と変形後との間に被検体に生じる変形を、変形前を基準として記述した情報であり、例えば数１に示す関数ｆｄｅｆｏｒｍ（ｘ，ｙ，ｚ）である。
【００３２】
【数１】
【００３３】
ここで（ｘ，ｙ，ｚ）はＭＲＩ画像座標系における任意の位置を表す座標値であり、（ｘ’，ｙ’，ｚ’）は前記座標値が示す部位に対応する変形後の被検体における位置をＭＲＩ画像座標系で表した座標値である。関数ｆｄｅｆｏｒｍは例えば（ｘ，ｙ，ｚ）に関する多項式などの連続的な関数であっても良いし、離散的な関数であっても良い。関数ｆｄｅｆｏｒｍを求める処理は、例えば非特許文献１に記載の有限要素法などに基づく既知の変形シミュレーション技術により実現できる。変形の推定結果の一例を図４に示す。ここで変形前の被検体４０２はＭＲＩ画像で撮影された被検体の形状を表している。変形後の被検体の推定結果４０３は、前記変形前の被検体４０２の形状が重力による影響で変形した状態の推定結果を示している。ＭＲＩ画像座標系４０１において変形前の被検体４０２の形状と変形後の被検体の推定結果４０３の関係は前記数１の関数ｆｄｅｆｏｒｍによって記述される。すなわち、数１の右辺の関数ｆｄｅｆｏｒｍの引数として変形前の被検体４０２の任意の部位の座標値を与えると、変形後の被検体の推定結果４０３における前記部位と対応する部位の座標値が左辺値として得られる。
【００３４】
（ステップＳ３０２）：超音波画像の取得
ステップＳ３０２において、断層画像取得部１０３０は、超音波撮影装置１２０によって対象物体を撮影した超音波画像を取得する。なお、超音波画像はドップラーや、エラストグラフィなどであっても良い。本実施例では、取得する超音波画像が対象物体の二次元Ｂモード断層画像である場合を例として説明を行う。図５に超音波画像の一例を示す。超音波画像５００は超音波画像座標系５０１における座標値と輝度値の対として取得される。ここで超音波画像座標系５０１は、超音波画像を含む平面をｘ−ｙ平面とし、それと直行する軸をｚ軸と定義する。したがって、本実施形態では超音波画像５００の画素はｚ＝０の平面上のみに存在することになる。ここでｚ＝０の平面を超音波画像座標系５０１における超音波画像面ＳＵＳと表記する。また、超音波画像面ＳＵＳに含まれ、超音波画像５００が含まれる有限な平面領域を超音波画像領域ＲＵＳと表記する。また超音波画像５００を構成する各画素の輝度値の集合をＩＵＳと表記し、各要素は前記ＲＵＳの各要素と対応づけて記録する。なお、超音波画像面ＳＵＳと超音波画像領域ＲＵＳは前記超音波画像座標系５０１を基準として記述されていることとすする。
【００３５】
（ステップＳ３０３）：撮影断面の位置・姿勢の取得
ステップＳ３０３において、計測値取得部１０４０は、位置姿勢計測装置１３０の計測結果に基づいて、対象物体を撮影した際の超音波画像座標系５０１とＭＲＩ画像座標系４０１の位置姿勢の関係を取得する。ここで位置姿勢計測装置１３０は、装置固有の基準座標系を持ち、その座標系における位置姿勢計測値を出力する。本実施形態における計測値取得部１０４０は、既知の校正技術を用いて前記計測値を変換することでＭＲＩ画像座標系４０１における超音波画像座標系５０１の位置姿勢の関係を取得する。具体的には超音波画像座標６０１における座標値をＭＲＩ画像座標系４０１における座標値へと変換するための４行４列の剛体変換行列を取得する。
【００３６】
（ステップＳ３０４）：対応の算出
Ｓ３０４において、対応算出部１０５０は、ステップＳ３０２で取得した超音波画像に関する超音波画像面ＳＵＳと超音波画像領域ＲＵＳに関し、変形前の被検体を撮影したＭＲＩ画像４００におけるＭＲＩ対応領域とＭＲＩ対応面を算出する。ここで、ＭＲＩ対応領域とは超音波画像領域ＲＵＳが示す被検体の領域に対応するＭＲＩ画像４００における領域である。同様にＭＲＩ対応面とは超音波画像面ＳＵＳに対応するＭＲＩ画像における面である。超音波画像５００の撮影時とＭＲＩ画像４００の撮影時との間では被検体に変形が生じているため、超音波画像領域ＲＵＳはＭＲＩ対応領域とはＭＲＩ画像座標系４０１において必ずしも一致した領域とはならない。同様に、超音波画像面ＳＵＳとＭＲＩ対応面とも必ずしも一致した面とはならない。対応算出部１０５０は、ステップＳ３０１で取得した被検体の変形の推定値に基づいて、ＭＲＩ対応面とＭＲＩ対応領域を算出する処理を実行する。以下、ステップＳ３０４において対応算出部１０５０が実行する具体的な処理を詳しく説明する。
【００３７】
対応算出部１０５０は、ステップＳ３０３で取得した剛体変換行列を用いて、ステップＳ３０２で取得した超音波画像面ＳＵＳ（すなわちｚ＝０の平面）をＭＲＩ画像座標系４０１における平面Ｓ’ＵＳへと変換する。具体的には、ステップＳ３０３で取得した剛体変換行列の逆行列をＴとし、ＭＲＩ画像座標系４０１における座標値（ｘ，ｙ，ｚ）に関して、（Ｔ３１）ｘ＋（Ｔ３２）ｙ＋（Ｔ３３）ｚ＋（Ｔ３４）＝０となる平面をＳ’ＵＳとする。ここでＴｉｊは行列Ｔのｉ行ｊ列の要素を表すものとする。また、超音波画像領域ＲＵＳの夫々を、ＭＲＩ画像座標系４０１における超音波画像領域Ｒ’ＵＳへと変換する。具体的には超音波画像領域ＲＵＳの各要素の座標値に、ステップＳ３０３で取得した剛体変換行列を乗じる処理を実行する。
【００３８】
次に、ステップＳ３０１で取得したＭＲＩ画像４００を構成する画素の座標値ＲＭＲＩの夫々に対して、数１を用いることで変形後の座標値群ＲＭＲＩ＿Ｄを算出する。変形前の座標値群ＲＭＲＩと変形後の座標値群ＲＭＲＩ＿Ｄの夫々を構成する個々の要素は互いに対応づけて保存する。そして、変形後の座標値群ＲＭＲＩ＿Ｄの夫々の座標値に関して、超音波画像領域Ｒ’ＵＳを構成する夫々の座標値との間の距離を算出し、その距離が最も小さい（近接する）座標値を求める。そして、その距離が所定の範囲内となるＲＭＲＩ＿Ｄの部分集合（ＲＭＲＩ＿Ｄ＿ＮＥＡＲＥＳＴ）を求め、さらにそれと対応付けられている変形前の座標値の集合（ＲＭＲＩ＿ＮＥＡＲＥＳＴ）も求める。さらにＲＭＲＩ＿Ｄ＿ＮＥＡＲＥＳＴの各要素と最近傍となるＲ’ＵＳの要素の集合（Ｒ’ＵＳ＿ＮＥＡＲＥＳＴ）を得る。つまり、ＲＭＲＩ＿ＮＥＡＲＥＳＴとＲＭＲＩ＿Ｄ＿ＮＥＡＲＥＳＴを構成する各要素は数１に示した関係となり、ＲＭＲＩ＿Ｄ＿ＮＥＡＲＥＳＴの各要素はＲ’ＵＳ＿ＮＥＡＲＥＳＴの対応する要素との距離が前記所定の範囲内となる。本実施形態において、対応算出部１０５０が算出するＭＲＩ対応領域はＲＭＲＩ＿ＮＥＡＲＥＳＴであり、その付帯情報として、各要素が対応付けられているＲＭＲＩ＿Ｄ＿ＮＥＡＲＥＳＴ及びＲ’ＵＳ＿ＮＥＡＲＥＳＴと共に記録する。
【００３９】
同様に前記算出した変形後の座標値群ＲＭＲＩ＿Ｄの中で、前記超音波画像面Ｓ’ＵＳとの距離が所定の範囲内の座標値の集合（ＳＭＲＩ＿Ｄ）を求め、これと対応づけられている変形前の座標値の集合（ＳＭＲＩ）を得る。これをＭＲＩ対応面として記録する。
【００４０】
ＭＲＩ対応領域及びＭＲＩ対応面は、前記の説明のように座標値の集合として記録しても良いし、これをさらに多項式等を用いた陰関数として連続的な曲面として記録し直しても良い。これは既知の技術で実行可能であるから説明は省略する。
【００４１】
またＭＲＩ対応領域及びＭＲＩ対応面を求める方法は前記の方法に限らない。例えば数１に示した関数ｆｄｅｆｏｒｍの逆関数を予め求めておく。そして、超音波画像領域Ｒ’ＵＳおよびそれを含む超音波画像面Ｓ’ＵＳを構成する座標値の集合を前記逆関数により変換した座標値を求め、それらの集合としてＭＲＩ対応領域、ＭＲＩ対応面を求めるようにしても良い。
【００４２】
ＭＲＩ画像座標系４０１において超音波画像領域Ｒ’ＵＳ、超音波画像面Ｓ’ＵＳは平面上に存在するが、ＭＲＩ対応領域、ＭＲＩ対応面は被検体の変形の推定に基づいて算出されるため、必ずしも平面上に存在するとは限らない。例えばステップＳ３０１で推定した変形が空間に対して非線形であれば、ＭＲＩ対応領域、ＭＲＩ対応面は曲面等となる。
【００４３】
（ステップＳ３０５）： ＭＲＩ対応面画像の生成
ステップＳ３０５において、対応画像生成部１０６０は、ステップＳ３０４で得たＭＲＩ対応面に基づいてＭＲＩ対応面画像を生成する。ＭＲＩ対応面画像はステップＳ３０４で取得したＭＲＩ対応面を構成する座標値の集合ＳＭＲＩと、その各要素の座標値に対応するＭＲＩ画像４００の輝度値の対として生成する。
【００４４】
（ステップＳ３０６）：変形超音波画像の生成
ステップＳ３０６において、変形画像生成部１０７０は、変形後の被検体を撮影した超音波画像５００を、変形前の被検体の対応する領域に変形させた変形超音波画像を生成する処理を実行する。ここで生成する変形超音波画像もステップＳ３０５で生成したＭＲＩ対応面画像と同様に画像を構成する座標値と輝度値の対として生成する。ここで座標値は、ステップＳ３０４で取得したＭＲＩ対応領域（ＲＭＲＩ＿ＮＥＡＲＥＳＴ）を用いることができる。輝度値は、ステップＳ３０４でＭＲＩ対応領域の付帯情報として記録した前記ＲＭＲＩ＿ＮＥＡＲＥＳＴの各要素と最近傍となる超音波画像の座標値の集合Ｒ’ＵＳ＿ＮＥＡＲＥＳＴにおける超音波画像５００の輝度値である。すなわち、変形超音波画像とはＭＲＩ画像座標系４０１においてＭＲＩ対応領域が示す領域に、ステップＳ３０１で推定した変形に基づいて、超音波画像を投影した画像となる。
【００４５】
（ステップＳ３０７）：表示画像の生成
ステップＳ３０７において、表示制御部１０８０はステップＳ３００で取得したＭＲＩ画像及び、ステップＳ３０５で生成したＭＲＩ対応面画像及び、ステップＳ３０６で生成した変形超音波画像に基づいて表示画像を生成する処理を実行する。表示画像の生成については様々な方法が考えられるが、例えばＭＲＩ画像をボリュームレンダリングした二次元画像上に、前記ＭＲＩ対応面画像および変形超音波画像を重畳して表示するようにできる。これについて図６に基づき用いて詳しく説明する。図６（ａ）は、ステップＳ３００で取得したＭＲＩ画像のボリュームレンダリングしたレンダリング画像６００を示している。ここでレンダリング画像６００は二次元画像であり、変形前の被検体を撮影したＭＲＩ画像を任意に定めた仮想的な視点から観察した様子をレンダリングした画像である。図６（ｂ）は、ステップＳ３０５で生成したＭＲＩ対応面画像を前記同様の仮想的な視点から観察した様子を示している。図６（ｃ）には、ステップＳ３０６で生成した変形超音波画像を前記同様に仮想的な視点から観察した様子を示している。表示制御部１０８０は、図６（ｄ）に示すように、レンダリング画像６００にＭＲＩ対応面画像６１０を重畳し、さらに変形超音波画像６２０を重畳した画像を表示画像６３０として生成する。ここでレンダリング画像６００を生成する際には、ＭＲＩ画像の前記ＭＲＩ対応面よりも視点側に近い手間側領域６４０の不透明度を下げる、もしくは、その領域をレンダリング処理の対象外とするなどとしても良い。これにより、変形前の被検体４０２とＭＲＩ対応面画像６１０、変形超音波画像６２０の位置関係を把握しやすい表示画像を生成できる。
【００４６】
（ステップＳ３０８）：画像を表示
ステップＳ３０８において、表示部１４０は、ステップＳ３０７で生成した表示画像を表示メモリ２１４に送信することで、モニタ２１５に表示する処理を実行する。
【００４７】
（ステップＳ３０９）：終了判定
ステップＳ３０９において画像処理装置１００は、全体の処理を終了するか否かの判定を行う。例えば、モニタ２１５上に表示された終了ボタンを操作者がマウス２１６でクリックするなどして、終了の判定を入力する。終了すると判定した場合には、画像処理装置１００の処理の全体を終了させる。一方、終了すると判定しなかった場合には、ステップＳ３０２へと処理を戻し、新たに取得される超音波画像５００および位置姿勢の計測結果に対して、ステップＳ３０２からステップＳ３０８までの処理を再度実行する。
以上によって、画像処理装置１００の処理が実施される。
【００４８】
以上に説明した、本実施形態における撮影システム１０によれば、変形後の被検体を超音波撮影する際に、その撮影領域と、変形前の被検体を撮影したＭＲＩ画像との対応領域との位置関係を分かりやすく表示することができる。また、超音波撮影した撮影領域に対応するＭＲＩ画像の対応領域の画像を好適な条件で観察することができる。
【００４９】
さらに、超音波撮影により取得した被検体の断面画像を、三次元画像の中の対応領域に投影して表示する仕組みを提供できる。そのため、前記超音波画像の各部位が、変形状態の異なる被検体を撮影した三次元画像中においてどの位置に対応するのかを医師に明確に提示することができる。
【００５０】
超音波撮影をしている被検体の断面領域に対応する、三次元画像の対応領域の画像を表示する仕組みを提供できる。そのため、前記変形状態の異なる被検体を撮影した三次元画像の前記超音波撮影をしている領域に対応する領域の画像を医師に明確に提示することができる。
【００５１】
（変形例１−１）：ＭＲＩ断面画像を重畳しない
前記の第１実施形態では、ＭＲＩ対応面画像を生成し、ＭＲＩ画像のボリュームレンダリング画像に重畳して表示する場合を例として説明したが、本発明の実施はこれに限定されない。例えば、ステップＳ３０５の処理を省略し、ステップＳ３０７ではＭＲＩ画像をステップＳ３０４で算出したＭＲＩ対応面でクリッピングしたボリュームレンダリング画像を生成し、それに変形超音波画像を重畳するようにできる。これによれば、ＭＲＩ対応面画像の生成処理と、その画像の重畳処理を実行する必要がないため、処理を簡略化・高速化できる。
【００５２】
また前記の第１実施形態では、ＭＲＩ対応領域ＲＭＲＩ＿ＮＥＡＲＥＳＴに超音波画像５００の輝度値を投影した画像を前記変形超音波画像とする場合を例として説明したが、本発明の実施はこれに限定されない。例えば変形超音波画像は、変形後のＭＲＩ画像における超音波画像５００の撮影領域Ｒ’ＵＳの境界に対応する枠線であっても良い。具体的には、前記Ｒ’ＵＳのうち超音波画像５００の撮影領域の境界に対応する座標値の部分集合をＲ’’ＵＳとし、以下の処理を実行する。すなわち、変形後の座標値群ＲＭＲＩ＿Ｄの夫々の座標値に対し、Ｒ’’ＵＳを構成する夫々の座標値との間の距離を算出し、その距離が最も小さい（近接する）座標値を求める。そして、その距離が所定の範囲内となるＲＭＲＩ＿Ｄの部分集合（Ｒ’’ＭＲＩ＿Ｄ＿ＮＥＡＲＥＳＴ）を求め、さらにそれと対応付けられている変形前の座標値の集合（Ｒ’’ＭＲＩ＿ＮＥＡＲＥＳＴ）も求める。そして、変形超音波画像は、前記Ｒ’’ＭＲＩ＿ＮＥＡＲＥＳＴにより構成される枠線とすることができる。これによれば、前記ＭＲＩ対応領域の算出処理では、前記枠線に対応する処理だけを実行すれば良いから、処理を簡略化・高速化できる。
【００５３】
（変形例１−３）：ボリュームレンダリング以外
前記の第１実施形態では、表示画像の生成方法としてＭＲＩ画像をボリュームレンダリングした画像に基づく場合を例として説明したが、本発明の実施形態はこれに限らない。例えば、対象とするＭＲＩ画像に映る被検体の皮膚や大胸筋、乳腺などの内部組織構造を抽出し、それらの輪郭に基づくサーフェスレンダリングした画像に基づくようにしても良い。
【００５４】
［第２実施形態］
本実施形態では、変形した超音波画像に対応するＭＲＩ断面を表示する代わりに、三次元のＭＲＩ画像を構成する複数の断面画像のうち任意の断面画像を注目断面画像として設定し、その断面画像と共に前記第１実施形態で説明した変形超音波画像を表示する。
【００５５】
図７は本実施形態に係る撮影システム７０の構成を説明する図である。なお、第１実施形態の撮影システム１０と共通する構成には同一の符号を付し、その説明は省略する。
【００５６】
断面生成部１１００は、３次元画像取得部１０１０が取得した三次元のＭＲＩ画像と、ユーザの操作入力などに基づき、前記ＭＲＩ画像から注目断面画像を生成する。生成した注目断面画像は表示制御部１０８０へ送信する。
【００５７】
次に、本実施形態に係る画像処理装置７００が行う全体の動作に関して、図８のフローチャートを用いて詳しく説明する。なお、ステップＳ８００からステップＳ８０１の処理は図３に示した第１実施形態の画像処理装置１００が行うステップＳ３００からステップＳ３０１と同一の処理であるため説明は省略する。同様に、ステップＳ８０３からステップＳ８０６の処理もステップＳ３０２からステップＳ３０６の処理と、ステップＳ８０８からステップＳ８０９の処理はステップＳ３０８からステップＳ３０９と同一であるため説明は省略する。以降、ステップＳ８０２とステップＳ８０７の処理について説明する。
【００５８】
（ステップＳ８０２）：ＭＲＩ注目断面画像を取得
ステップＳ８０２において、断面生成部１１００は、ステップＳ８００で取得したＭＲＩ画像からユーザの操作などに基づき病変等が映る注目断面を選択し、それをＭＲＩ注目断面画像として取得する。ＭＲＩ注目断面画像は二次元の画像であり、その画像を構成する各画素の座標値と輝度値の対として取得する。ここで座標値はステップＳ８００で取得したＭＲＩ画像に関するＭＲＩ画像座標系を基準とした座標値である。
【００５９】
（ステップＳ８０７）：表示画像の生成
ステップＳ８０７において表示制御部１０８０は、ステップＳ８０２で生成したＭＲＩ注目断面画像とステップＳ８０６で生成した変形超音波画像に基づき表示画像を生成する処理を実行する。この処理の具体的な例を図９に示す。図９は表示制御部１０８０が生成する表示画像９５０の一例を表す図である。表示画像９５０には変形超音波画像７２０とＭＲＩ注目断面画像９５１とが描画される。これらの画像を構成する各画素値はＭＲＩ画像座標系における座標値と輝度値を持っている。前記座標値が示す位置に前記輝度値を持つ画素を配置する処理を前記各画像について実行する。それをＭＲＩ画像座標系において任意に設定した仮想的な視点位置から観察した様子をレンダリングすることで、表示画像９５０を生成する。
【００６０】
以上によって、画像処理装置７００の処理が実施される。
【００６１】
以上、本実施形態における撮影システム７０によれば、変形超音波画像と共にユーザが指定したＭＲＩ注目断面画像が常に表示される。そのため、超音波撮影装置が撮影している領域と前記ＭＲＩ注目断面画像との位置関係を把握することができる。例えば注目する病変の領域がＭＲＩ画像上で定まっている場合に、その領域を含むＭＲＩ注目断面画像をユーザが設定することで、当該領域と超音波画像との位置関係を容易に把握できる画像を表示できる。
【００６２】
（変形例２−１）：ＭＲＩ注目断面画像は複数枚でも良い
前記第２実施形態では、ＭＲＩ画像中から１枚の断面画像をユーザが選択し、それをＭＲＩ注目断面画像として生成する場合を例として説明したが、本発明の実施はこれに限定されない。例えば、ＭＲＩ画像中に複数の病変等を含む領域が存在する場合に、断面生成部１１００は、ユーザ入力の取得等により夫々の領域を含むＭＲＩ注目断面画像を複数枚生成するようにしても良い。また、ＭＲＩ注目断面画像の設定は、ユーザによる直接的な設定を取得する場合に限らない。例えばユーザが入力した注目する領域の座標値を取得し、その領域を含む直行三断面を自動的にＭＲＩ注目断面画像として設定するようにしても良い。これ以外にも、例えば本実施形態の画像処理装置７００を不図示の読影レポートシステムと接続し、ＭＲＩ画像の注目断面に関する情報を前記読影レポートシステムから取得し、これに基づいてＭＲＩ注目断面画像を生成するようにしても良い。
【００６３】
また、複数のＭＲＩ注目断面画像が生成される場合には、表示制御部１０８０は、前記複数のＭＲＩ注目断面画像の全てを描画するようにしても良いし、その一部だけを表示するようにしても良い。一部だけを表示する場合には、ユーザの入力操作等によってその切り替えを行うようにしても良い。それ以外にも例えば、変形超音波画像とＭＲＩ注目断面画像との位置関係や、視点位置との位置関係等に基づいて表示を切り替えるようにもできる。
【００６４】
以上の第２実施形態の変形例によれば、三次元画像中のユーザが注目する断面画像と共に、超音波撮影をしている被検体の断面領域に対応する対応領域を表示する仕組みを提供できる。ＭＲＩ画像中における病変等の注目領域が描出される複数のＭＲＩ断面と、超音波画像の撮影領域および撮影画像との比較を容易に行えるという効果がある。そのため、前記注目する断面画像と前記三次元画像の中の超音波撮影の領域の関係を医師に明確に提示することができる。
【００６５】
［第３実施形態］
３次元ＭＲＩ画像と２次元超音波断層画像（超音波画像）のそれぞれの撮影時の変形状態が同一または実質的に同一とみなされる場合には変形規則の算出や変形画像の生成を行わず、３次元ＭＲＩ画像上に超音波断層画像を重畳して表示する。
【００６６】
加えて変形状態が異なる場合には３次元ＭＲＩ画像を基準に超音波画像を変形する表示と、超音波画像を基準に３次元ＭＲＩ画像を変形する表示とを同時にまたは切り替えて行う。
【００６７】
図１０に従い本発明の構成及び処理の流れを説明する。なお、先述の実施例と同様の構成及び処理については説明を省略する。
【００６８】
撮影システム３０は超音波撮影装置１２０と画像処理装置１０００を有しており、超音波撮影に応じて断層画像取得部１０３０が断層画像を適宜取得し表示制御部１０８０が表示部１４０に表示させる。また３次元画像取得部１０１０は、医用画像記録装置２３０から超音波撮影の同一被検者の既に撮影済みの３次元ＭＲＩ画像を取得する。３次元ＭＲＩ画像の付帯情報として３次元ＭＲＩ画像の撮影体位の情報を取得する。
【００６９】
判定部１０９０は、３次元ＭＲＩ画像の撮影体位の情報から被検体の変形状態を取得する。なお、撮影体位の情報そのものを変形状態を示す情報として扱っても良い。また、超音波撮影装置１２０に対して設定された被検体の撮影条件に基づいて被検体の変形状態を取得する。判定部１０９０は３次元ＭＲＩ画像と超音波断層画像の変形状態を比較し、異なっているか否かを判定する。ここで、変形状態が実質的に同一と判断できる場合には異なっているという判定をしないこととする。例えば、立位と座位で撮影体位が異なっていたとしても、被検体を乳房とした撮影である場合には変形状態は実質的に同一と考えられるため、変形状態は異なっているという判定をしない。
【００７０】
なお判定は異ならないという判定をされるか否かに応じて行うこととしたが、これに限らず同一であるか否かを判定することとしても、同一であるか異なるかを判定することとしてもよい。
【００７１】
判定の結果、変形状態が異なっていると判定されなかった場合には、３次元ＭＲＩ画像および超音波画像の変形を行わず、対応算出部１０５０は両画像の対応関係を算出し、３次元ＭＲＩ画像の対応する位置に２次元超音波断層画像を重畳表示する。
【００７２】
判定の結果、変形状態が異なっていると判定された場合には、先述の実施形態通りの３次元ＭＲＩ画像を基準に超音波画像を変形する表示を行うが、ユーザの指定に応じて超音波画像を基準に３次元ＭＲＩ画像を変形する表示を同時にまたは切り替えて行う。
【００７３】
以下、３次元ＭＲＩ画像を変形して表示する場合を説明する。
【００７４】
規則算出部１０２０で異なる変形状態間での変換規則を３次元ＭＲＩ画像に基づき算出する。もちろん予め医用画像記録装置２３０に記録された変換規則を用いることとしてもよい。また、当該３次元ＭＲＩ画像から算出せずとも、平均的な変換規則を用いることとしてもよく、その場合には処理が簡便になる。
【００７５】
対応算出部１０５０は変換規則に基づいてＭＲＩ画像を変形し、２次元超音波断層画像の撮像領域の対応位置を算出する。２次元の超音波断層画像である場合、撮像領域は面となる。断面生成部１１００は２次元超音波断層画像の撮像面に対応する断面によるＭＲＩ断面画像を生成する。
【００７６】
表示制御部１０８０は変形された３次元ＭＲＩ画像から生成されたＭＲＩ断面画像と、変形されていない２次元の超音波断層画像とを表示部１４０に表示する。並べて表示することとしても、対応関係が分かりやすいように超音波断層画像をＭＲＩ断面画像に重畳して表示することとしてもよい。
【００７７】
表示前、または表示中に受けたユーザによる不図示の操作部（マウス２１６やキーボード２１７）を介した指示に応じて、表示制御部１０８０は超音波画像を変形した表示のみか、ＭＲＩ画像を変形した表示のみか、両方を同時に表示するかを切り替える。
【００７８】
これによって、変形状態が著しく大きい場合や、超音波画像を基準に観察したい場合には超音波画像を変形せず３次元ＭＲＩ画像を変形して表示させることでユーザがより被検体を観察しやすくなる。
【００７９】
また、変形状態が異ならない場合には変形せずに対応関係を表示するとともに、変形状態が異なる場合には一方を変形して対応関係を表示することで、医師等の検査者に２種類の画像の対応関係を容易に把握させることができる。乳房ではＭＲＩ撮影と超音波撮影での変形状態が異なる場合が多く、腹部等の撮影では変形状態が異ならない場合がある。よって、異なる撮影部位で得られた画像についても本実施形態の処理により統一的に扱うことができる。また、同じ乳房撮影でも撮影目的その他の状況に応じてＭＲＩ撮影と超音波撮影で変形状態が異なる場合と、異ならない場合とを統一的に扱うことができる。
【００８０】
なお、撮影時の変形状態が異なっている場合で、一方の画像を他方に合わせて変形表示した場合には、いずれの画像が変形され、いずれの画像が変形されていないかを示す表示を、文字によるメッセージ、色、点滅、枠線の形状等の表示形態を変えることでユーザに知らせることができる。また、変形状態が異ならない場合には、両画像とも変形された画像ではないことを示す情報を表示することで、特に本実施例のように複数の表示が可能なシステムにおいてはユーザにどのような処理を経て表示された画像であるかを分かりやすく示すことができる。
【００８１】
なお、本実施形態では変形状態の判別処理と、ＭＲＩ画像を変形する表示と超音波画像を変形する表示とを並べて／切り替えて表示する表示制御処理との両方を実現するシステムを説明した。これに限らず、判別処理と表示制御処理の一方のみを実現するシステムであっても良い。
【００８２】
［その他の実施形態］
なお、上述した本実施の形態における記述は、本発明に係る好適な画像処理装置の一例であり、本発明はこれに限定されるものではない。
【００８３】
上述の実施例では、被検体を人体の乳房とする場合を例として説明したが、本発明の実施はこれに限らず、任意の被検体であってもよい。
【００８４】
上述の実施形態では、三次元画像はＭＲＩ画像である場合を例として説明したが、本発明の実施はこれに限らない。例えば、ＭＲＩ撮影装置１１０はＸ線ＣＴ撮影装置や、光音響トモグラフィ装置、三次元超音波装置であってもよい。
【００８５】
上述の実施形態では、第一の変形状態である被写体を撮影した画像と、第二の変形状態である被写体を撮影した画像のうち、一方を他方に合わせて変形する例を説明しているが、これに限られず、ユーザの便宜である場合には、第一の変形状態及び第二の変形状態のいずれとも異なる第三の変形状態に合わせて両方の画像を変形することとしてもよい。この場合、第一の実施形態を例にとれば規則算出部１０２０は第一の変形状態から第三の変形状態へと変形するための変換規則と、第二の変形状態から第三の変形状態へと変形するための変換規則と算出する。変換規則は、所定の変形状態で撮影された３次元画像を第一、第二、第三の変形状態とした際の画像情報に基づいて算出することができる。対応算出部１０５０は第３の変形状態とした場合の２画像の対応関係を算出する。対応画像生成部１０６０と変形画像生成部は１０７０それぞれＭＲＩ画像と超音波画像から第三の変形状態へと変形した画像を生成する。そして表示制御部１０８０の制御に応じてこれら変形された２画像を表示させることとする。これにより、例えばある基準となる変形状態（第三の変形状態）があり、撮影された２画像がいずれも第三の変形状態と異なる画像であった場合には、基準の変形状態に合わせて複数の画像を統一的に観察することができる。
【００８６】
上述の実施形態では、超音波画像を変形して表示することとしたが、変形前の超音波画像に付いても並べて／切り替えて表示させることとすることができる。例えば、変形状態が大きく超音波画像が観察し難い画像となったときには、ユーザの指示に応じて変形前の超音波画像を表示制御部１０８０が表示部１４０に表示させることとすれば、ＭＲＩ画像と超音波画像の対応関係を分かりやすく表示しつつ、超音波画像を観察しやすくすることができる。
【００８７】
第一実施形態または第二実施形態では画像処理装置にＭＲＩ撮影装置１１０及び超音波撮影装置１２０の両方が接続することとしているがこれに限られない。例えば第三実施形態のように超音波撮影装置１２０だけが接続されることとしても、ＭＲＩ撮影装置１１０だけが接続されることとしてもよい。あるいは、撮影装置とは直接接続されず、撮影装置により撮影された医用画像記録装置２３０に記録された画像を画像処理装置が取得することとしてもよい。
【００８８】
３次元ＭＲＩ画像及び２次元超音波断層画像をそれぞれ医用画像記録装置２３０から取得する場合、３次元画像取得部１０１０及び断層画像取得部１０３０は同一の機能およびハードウェアにより達成されうる。
【００８９】
また本発明の目的は、前述した実施形態の機能を実現するプログラムコードを記録した記録媒体を装置に供給し、その装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００９０】
また、コンピュータが読み出したプログラムコードを実行することにより、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、前述した実施形態の機能が実現される場合も本発明に含まれる。
【００９１】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【符号の説明】
【００９２】
１０ 撮影システム
１００ 画像処理装置
１１０ ＭＲＩ画像撮影装置
１２０ 超音波撮影装置
１４０ 表示部
１０１０ ３次元画像取得部
１０２０ 規則算出部
１０３０ 断層画像取得部
１０４０ 計測値取得部
１０５０ 対応算出部
１０６０ 対応画像生成部
１０７０ 変形画像生成部
１０８０ 表示制御部
【特許請求の範囲】
【請求項１】
第一の変形状態の被検体を撮影して得られる、３次元画像を取得する３次元画像取得手段と、
第二の変形状態の前記被検体を撮影して得られる、断層画像を取得する断層取得手段と、
前記３次元画像において前記断層画像の撮像領域に対応する領域を前記第一の変形状態と前記第二の変形状態との間の変換規則に基づき算出する対応算出手段と、
前記対応する領域を表示部に表示させる表示制御手段と、
を有することを特徴とする画像処理装置。
【請求項２】
第一の変形状態と第二の変形状態との間の変換規則に基づいて前記断層画像を変換し新たな断層画像を生成する生成手段を更に有し、
前記表示制御手段は、前記新たな断層画像を前記３次元画像と対応させて表示させる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記対応算出手段により算出された、前記断層画像の撮像面に対応する面による前記３次元画像の断面画像を生成する断面生成手段を更に有し、
前記表示制御手段は、前記対応する領域を前記生成された断面画像に重畳して表示させる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記対応算出手段により算出された、前記断層画像の撮像面に対応する面による前記３次元画像の断面画像を生成する第一の生成手段を更に有し、
第一の変形状態と第二の変形状態との間の変換規則に基づいて前記断層画像を変換し新たな断層画像を生成する第二の生成手段と、
前記表示制御手段は、前記断層画像を前記生成された断面画像に重畳して表示させる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記対応算出手段は、前記断層画像の撮像面に対応する曲面を算出することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記３次元画像から注目断面を取得する断面生成部を更に有し、
前記表示制御手段は、前記対応する領域と前記注目断面との位置関係を示すように表示させる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記３次元画像と前記断層画像について前記被検者の変形状態が異なるか否かを判定する判定手段を更に有し、
前記表示制御手段は、前記判定手段により変形状態が異なると判定された場合には前記対応する領域を表示部に表示させ、変形状態が異なると判定されなかった場合には前記撮像領域を表示部に表示させる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記表示制御手段は、前記３次元画像を前記変換規則に基づいて変換した３次元画像に前記撮像領域を重畳して表示させる
ことを特徴とする請求項１または７に記載の画像処理装置。
【請求項９】
前記３次元画像に基づいて前記変換規則を算出する算出手段を更に有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記断層取得手段は、前記画像処理装置と接続された超音波撮影装置で撮影された断層画像を取得し、
前記３次元画像取得手段は、前記画像処理装置と接続されたＭＲＩ撮影装置またはＣＴ撮影装置の少なくとも一方で撮影された３次元画像を取得する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記断層取得手段は、仰臥位の被検体が撮影されることで得られる断層画像を取得し、
前記３次元画像取得手段は、伏臥位の被検体が撮影されることで得られる３次元画像を取得する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
仰臥位の被検体を撮影して得られる仰臥位の２次元超音波画像を取得する取得手段と、
伏臥位の前記被検体を撮影して得られる伏臥位の３次元画像を取得する取得手段と、
伏臥位と仰臥位との間の変換規則を算出する算出手段と、
前記変換規則に基づいて前記仰臥位の２次元超音波画像から伏臥位の２次元超音波画像を得る生成手段と、
を有することを特徴とする画像処理装置。
【請求項１３】
前記生成された伏臥位の２次元超音波画像と前記伏臥位の３次元画像とを表示部に表示させる表示制御手段を更に有することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
請求項１乃至１３のいずれか１項に記載の画像処理装置と、
前記表示部と、
前記断層画像を撮影する超音波撮影装置と、
を有することを特徴とする撮影システム。
【請求項１５】
第一の変形状態の被検体を撮影して得られる、３次元画像を取得するステップと、
第二の変形状態の前記被検体を撮影して得られる、断層画像を取得するステップと、
前記３次元画像において前記断層画像の撮像領域に対応する領域を前記第一の変形状態と前記第二の変形状態との間の変換規則に基づき算出するステップと、
前記対応する領域を表示部に表示させるステップと、
を有することを特徴とする画像処理方法。
【請求項１６】
第一の変形状態の被検体を撮影して得られる、３次元画像を取得する処理と、
第二の変形状態の前記被検体を撮影して得られる、断層画像を取得する処理と、
前記３次元画像において前記断層画像の撮像領域に対応する領域を前記第一の変形状態と前記第二の変形状態との間の変換規則に基づき算出する処理と、
前記対応する領域を表示部に表示するための表示画像データを生成する処理と、
をコンピュータに実行させるためのプログラム。
【請求項１】
第一の変形状態の被検体を撮影して得られる、３次元画像を取得する３次元画像取得手段と、
第二の変形状態の前記被検体を撮影して得られる、断層画像を取得する断層取得手段と、
前記３次元画像において前記断層画像の撮像領域に対応する領域を前記第一の変形状態と前記第二の変形状態との間の変換規則に基づき算出する対応算出手段と、
前記対応する領域を表示部に表示させる表示制御手段と、
を有することを特徴とする画像処理装置。
【請求項２】
第一の変形状態と第二の変形状態との間の変換規則に基づいて前記断層画像を変換し新たな断層画像を生成する生成手段を更に有し、
前記表示制御手段は、前記新たな断層画像を前記３次元画像と対応させて表示させる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記対応算出手段により算出された、前記断層画像の撮像面に対応する面による前記３次元画像の断面画像を生成する断面生成手段を更に有し、
前記表示制御手段は、前記対応する領域を前記生成された断面画像に重畳して表示させる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記対応算出手段により算出された、前記断層画像の撮像面に対応する面による前記３次元画像の断面画像を生成する第一の生成手段を更に有し、
第一の変形状態と第二の変形状態との間の変換規則に基づいて前記断層画像を変換し新たな断層画像を生成する第二の生成手段と、
前記表示制御手段は、前記断層画像を前記生成された断面画像に重畳して表示させる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記対応算出手段は、前記断層画像の撮像面に対応する曲面を算出することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記３次元画像から注目断面を取得する断面生成部を更に有し、
前記表示制御手段は、前記対応する領域と前記注目断面との位置関係を示すように表示させる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記３次元画像と前記断層画像について前記被検者の変形状態が異なるか否かを判定する判定手段を更に有し、
前記表示制御手段は、前記判定手段により変形状態が異なると判定された場合には前記対応する領域を表示部に表示させ、変形状態が異なると判定されなかった場合には前記撮像領域を表示部に表示させる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記表示制御手段は、前記３次元画像を前記変換規則に基づいて変換した３次元画像に前記撮像領域を重畳して表示させる
ことを特徴とする請求項１または７に記載の画像処理装置。
【請求項９】
前記３次元画像に基づいて前記変換規則を算出する算出手段を更に有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記断層取得手段は、前記画像処理装置と接続された超音波撮影装置で撮影された断層画像を取得し、
前記３次元画像取得手段は、前記画像処理装置と接続されたＭＲＩ撮影装置またはＣＴ撮影装置の少なくとも一方で撮影された３次元画像を取得する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記断層取得手段は、仰臥位の被検体が撮影されることで得られる断層画像を取得し、
前記３次元画像取得手段は、伏臥位の被検体が撮影されることで得られる３次元画像を取得する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
仰臥位の被検体を撮影して得られる仰臥位の２次元超音波画像を取得する取得手段と、
伏臥位の前記被検体を撮影して得られる伏臥位の３次元画像を取得する取得手段と、
伏臥位と仰臥位との間の変換規則を算出する算出手段と、
前記変換規則に基づいて前記仰臥位の２次元超音波画像から伏臥位の２次元超音波画像を得る生成手段と、
を有することを特徴とする画像処理装置。
【請求項１３】
前記生成された伏臥位の２次元超音波画像と前記伏臥位の３次元画像とを表示部に表示させる表示制御手段を更に有することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
請求項１乃至１３のいずれか１項に記載の画像処理装置と、
前記表示部と、
前記断層画像を撮影する超音波撮影装置と、
を有することを特徴とする撮影システム。
【請求項１５】
第一の変形状態の被検体を撮影して得られる、３次元画像を取得するステップと、
第二の変形状態の前記被検体を撮影して得られる、断層画像を取得するステップと、
前記３次元画像において前記断層画像の撮像領域に対応する領域を前記第一の変形状態と前記第二の変形状態との間の変換規則に基づき算出するステップと、
前記対応する領域を表示部に表示させるステップと、
を有することを特徴とする画像処理方法。
【請求項１６】
第一の変形状態の被検体を撮影して得られる、３次元画像を取得する処理と、
第二の変形状態の前記被検体を撮影して得られる、断層画像を取得する処理と、
前記３次元画像において前記断層画像の撮像領域に対応する領域を前記第一の変形状態と前記第二の変形状態との間の変換規則に基づき算出する処理と、
前記対応する領域を表示部に表示するための表示画像データを生成する処理と、
をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−３９８（Ｐ２０１３−３９８Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３５３５３（Ｐ２０１１−１３５３５３）
【出願日】平成２３年６月１７日（２０１１．６．１７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１７日（２０１１．６．１７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]