情報処理装置、情報処理方法、情報処理システム、及びプログラム
【課題】 三次元画像データ中の病変部に対応する部位を、他の断層画像から探索して同定する作業を容易にする。
【解決手段】 三次元画像データを取得する三次元画像データ取得手段と、前記三次元画像データ中の注目領域の位置を取得する位置取得手段と、断層画像を取得する断層画像取得手段と、前記断層画像の姿勢を取得する姿勢取得手段と、前記位置と姿勢とに基づいて三次元画像データから断面画像を生成する断面画像取得手段と、前記断層画像と前記断面画像を併せて表示する表示手段とを備える。
【解決手段】 三次元画像データを取得する三次元画像データ取得手段と、前記三次元画像データ中の注目領域の位置を取得する位置取得手段と、断層画像を取得する断層画像取得手段と、前記断層画像の姿勢を取得する姿勢取得手段と、前記位置と姿勢とに基づいて三次元画像データから断面画像を生成する断面画像取得手段と、前記断層画像と前記断面画像を併せて表示する表示手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モダリティ、撮影体位、撮影日時等の撮影条件が異なる画像の位置合わせをするための情報処理装置、情報処理方法、情報処理システム、及びプログラムに関する。
【背景技術】
【０００２】
医療の分野において、医師は被検体を撮像した医用画像（被検体内部の三次元的な情報を表す断層画像群からなる三次元画像データ）をモニタに表示し、表示された画像を読影して病変部の診断を行う。断層画像群を撮像する医用画像収集装置（以下、モダリティと呼ぶ）としては、超音波画像診断装置、磁気共鳴映像装置（以下、ＭＲＩ装置と呼ぶ）、Ｘ線コンピュータ断層撮影装置（以下、Ｘ線ＣＴ装置と呼ぶ）などが挙げられる。
【０００３】
これらのモダリティで撮像された個々の断層画像群を観察するだけでは、病変部の状態を正しく診断することは困難である。そこで、複数のモダリティで撮像された夫々の断層画像群や、異なる日時に撮像された夫々の断層画像群中の病変部を比較することによって、病変部の状態を正しく診断しようとする試みがなされている。
【０００４】
複数種類の断層画像を診断に利用するためには、夫々の断層画像群における対応を取るための位置合わせをすることが重要である。モダリティの違いや被検体の変形等の影響で画像処理による自動化が困難であるため、位置合わせは医師等の作業者が画像を見ながら手動で行う。作業者は、一方の画像で病変部等の注目病変部の画像を見ながら、病変部の形状やその周辺部の見え方等の類似性を手がかりにして、その病変部を他方の画像群から見つけるという操作が行われる。
【０００５】
特許文献１には、Ｘ線ＣＴ装置で得た注目病変部を含む断面の画像を静止表示した上で、超音波探触子を操作して対応病変部を含む超音波断層画像を探索するというフローが示されている。一方で、病変部を一つの断面画像で観察するだけでは病変部を正しく診断できない場合がある。特許文献２には、常に病変部を含む断面画像を表示させて、注目断面を任意方向に回転操作する手法が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】国際公開番号ＷＯ２００４−９８４１４号公報
【特許文献２】特開２００５−１６９０７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら特許文献１に記載の方法では、静止表示した注目断面画像に表示された注目病変部の位置を超音波断層画像により探索し、かつ被写体に対する断面の傾きをも合わせる必要があり、困難を伴っていた。
【０００８】
また特許文献２に記載の技術を考慮すれば、静止表示した断面画像を変更することができるが、変更された断面画像に対して位置と、断面の傾きを合わせるという作業をしなければならない点に変わりはなかった。
【課題を解決するための手段】
【０００９】
本発明はかかる課題を解決するためになされたものであり、被検体の三次元画像における所定の領域の位置と、前記被検体の第一の二次元断面画像の姿勢とに基づき、前記三次元画像から前記領域を通りかつ前記姿勢に対応する第二の二次元断面画像を取得する取得手段と、前記第一の二次元断面画像と前記第二の二次元断面画像を表示部に表示させる表示制御手段と、を有することを特徴とする。
【発明の効果】
【００１０】
かかる構成を有する本発明によれば、一の断層画像を指定すると、その断層画像と平行かつ病変部を含む断面画像を取得することができる。これにより、断面の被写体に対する傾きを合わせる必要はなく、病変部の位置のみを合わせればよいため、作業負荷を軽減することができる。
【図面の簡単な説明】
【００１１】
【図１】実施例１に係る情報処理装置の機器構成を示す図である。
【図２】情報処理装置の各部をソフトウェアにより実現することのできるコンピュータの基本構成を示す図である。
【図３】ＭＲＩボリュームデータから超音波断層画像に応じた断面画像を生成する処理の概要を示した図である。
【図４】情報処理装置の全体の処理手順を示すフローチャートである。
【図５】断層画像と断面画像の合成表示方法を説明する図である。
【図６】実施例２に係る情報処理装置の機器構成を説明する図である。
【図７】情報処理装置の全体の処理手順を示すフローチャートである。
【図８】断層画像を選択する処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、添付図面に従って本発明に係る情報処理システムの好ましい実施形態について詳説する。ただし、発明の範囲は図示例に限定されるものではない。
【実施例１】
【００１３】
本実施例に係る情報処理システムは、三次元画像データ中の注目領域（例えば、注目病変部）を含み、実時間で撮像している超音波断層画像と同じ姿勢の断面画像を三次元画像データから切り出す。そうすることで、三次元画像データ中の注目領域に対応する部位（対応病変部）を含む断層画像（断面画像）を、操作者（医師や技師）が容易に描出できるようにする。なお本実施例では、被検体内部の三次元的な情報を表す断層画像群を三次元画像データとして取り扱う場合について説明する。以下、本実施例に係る情報処理システムについて説明する。
【００１４】
図１は本実施例における情報処理システムの構成を示す。同図に示すように、本実施例における情報処理装置１００は、断層画像取得部１１０、位置姿勢取得部１１２、三次元画像データ取得部１２０、位置取得部１２２、断面画像取得部１３０、画像合成部１４０、表示制御部１５０によって構成される。そして、三次元画像データを保持するデータサーバ１９０に接続されている。また、情報処理装置１００は、被検体の超音波断層画像を撮像する第２医用画像収集装置１８０としての超音波画像診断装置にも接続されている。
【００１５】
データサーバ１９０が保持する三次元画像データは、第１医用画像収集装置１７０としてのＭＲＩ装置やＸ線ＣＴ装置などによって被検体を予め撮像して得られた参照断層画像群である。なお、以下では第１医用画像収集装置１７０としてＭＲＩ装置を用いる場合を例に説明する。
【００１６】
ＭＲＩ装置で撮像された参照断層画像群を構成する各断層画像の位置姿勢は、ＭＲＩ装置座標系における位置姿勢で表されている。ここでＭＲＩ装置座標系とは、ＭＲＩ装置を基準とした空間中の１点を原点として定義した座標系のことを表す。ＭＲＩ装置座標系で表現された三次元画像データは、三次元画像データ取得部１２０を介して情報処理装置１００に入力される。
【００１７】
さらに、データサーバ１９０は、三次元画像データ中の注目領域として、予め指定された病変部（注目病変部）の位置を保持している。注目病変部の位置は、例えば、操作者が不図示の画像ビューア上に参照断層画像群を順次表示して、注目病変部が写っている断層画像を選び出し、不図示のマウスで注目病変部をクリックすることによって指定することができる。データサーバ１９０が保持する注目病変部の位置は、位置取得部１２２を介して情報処理装置１００に入力される。なお、以下の説明では、注目病変部の位置も、三次元画像データと同様にＭＲＩ装置座標系で表されているものとする。
【００１８】
第２医用画像収集装置１８０としての超音波画像診断装置は、被検体の超音波断層画像を実時間で撮像する。超音波画像診断装置によって得られた超音波断層画像は、断層画像取得部１１０を介して情報処理装置１００に逐次入力される。
【００１９】
通常、操作者は、超音波画像診断装置の撮像部（不図示）としての超音波探触子を手に持って、これを自由に動かしながら被検体の撮像を行う。そのため、超音波断層画像が被検体を基準とした空間中のどの位置姿勢を撮像したものなのかが明らかではない。そこで、本実施例では、不図示の位置姿勢センサを超音波画像診断装置に装着して、超音波探触子の位置姿勢を計測する。位置姿勢センサは、例えば、米国Ｐｏｌｈｅｍｕｓ社のＦＡＳＴＲＡＫ等によって構成される。なお、位置姿勢センサは、超音波探触子の位置姿勢が計測できるのであれば、どのように構成されていてもよい。
【００２０】
以上のようにして得られた超音波探触子の位置姿勢は、位置姿勢取得部１１２を介して情報処理装置１００に入力される。ここで、超音波探触子の位置姿勢は、例えば基準座標系における位置姿勢で表されている。ここで基準座標系とは、被検体を基準とした空間中の１点を原点として定義した座標系のことを表す。以下では、特に断りのない限り、超音波探触子や各種画像の位置姿勢は基準座標系で定義されているものとする。なお、超音波探触子の位置姿勢は、不図示のキーボードやマウスなどを用いて操作者が予め入力してもよい。
【００２１】
断層画像取得部１１０は、情報処理装置１００へ入力される超音波断層画像を第一の二次元断面画像として取得する。そして、必要に応じてデジタルデータに変換して、位置姿勢取得部１１２が取得する位置姿勢に対応付けて保持する。そして、画像合成部１４０からの要求にしたがって、保持している超音波断層画像を画像合成部１４０へと出力する。
【００２２】
位置姿勢取得部１１２は、情報処理装置１００へ入力される超音波探触子の位置姿勢を取得して、これに基づいて超音波断層画像の位置姿勢を算出する。そして、断層画像取得部１１０が取得する超音波断層画像に対応付けてこれを保持する。そして、断面画像取得部１３０からの要求にしたがって、保持している位置姿勢を断面画像取得部１３０へと出力する。また、位置姿勢取得部１１２は、操作者が指定した対応病変部の位置を取得して、注目病変部位置との間のオフセットを算出して、位置姿勢センサの計測誤差として補正する。具体的には、超音波断層画像の位置をオフセット分だけ補正する。
【００２３】
三次元画像データ取得部１２０は、情報処理装置１００へ入力される三次元画像データ（参照断層画像群）を取得してこれを保持する。そして、断面画像取得部１３０からの要求にしたがって、保持している三次元画像データを断面画像取得部１３０へと出力する。
【００２４】
位置取得部１２２は、情報処理装置１００へ入力される注目病変部の位置を取得してこれを保持する。そして、断面画像取得部１３０からの要求にしたがって、保持している注目病変部の位置を断面画像取得部１３０へと出力する。
【００２５】
断面画像取得部１３０は、三次元画像データ取得部１２０の出力である三次元画像データと、位置取得部１２２の出力である注目病変部の位置とを入力する。また、位置姿勢取得部１１２の出力である超音波断層画像の位置姿勢を入力する。そして、これらのデータに基づいて、超音波断層画像と同じ姿勢でかつ注目病変部を含んだ断面画像（第二の二次元断面画像）を三次元画像データから生成して、画像合成部１４０へと出力する。
【００２６】
画像合成部１４０は、断層画像取得部１１０の出力である超音波断層画像と、断面画像取得部１３０の出力である断面画像とを入力する。そして、入力した超音波断層画像と断面画像とを合成し、得られた合成画像を表示制御部１５０あるいは外部へと出力する。
【００２７】
表示制御部１５０は、画像合成部１４０の出力である合成画像を取得し、これを表示部１６０に表示する。これにより、操作者は二つの断面画像を見比べて、超音波探触子により撮影された画像に注目領域である病変部が映っているか否かを判別することができる。仮に二つの断層画像に同一の病変部が映れば、その超音波探触子を押し当てた被検体の位置に病変部が存在することが分かる。また、超音波断層画像若しくは被検体と、ＭＲＩの三次元画像データとの位置合わせが行われたことになる。
【００２８】
なお、図１に示した各部（断層画像取得部１１０、位置姿勢取得部１１２、三次元画像データ取得部１２０、位置取得部１２２、断面画像取得部１３０、画像合成部１４０、表示制御部１５０）の少なくとも一部は、独立した装置として実現してもよい。または、夫々一つもしくは複数のコンピュータにインストールし、コンピュータのＣＰＵにより実行することで、その機能を実現するソフトウェアとして実現してもよい。本実施例では、各部はそれぞれソフトウェアにより実現され、同一のコンピュータにインストールされているものとする。
【００２９】
図２は、断層画像取得部１１０、位置姿勢取得部１１２、三次元画像データ取得部１２０、位置取得部１２２、断面画像取得部１３０、画像合成部１４０の夫々の機能を、ソフトウェアを実行することで実現するためのコンピュータの基本構成を示す図である。
【００３０】
ＣＰＵ１００１は、ＲＡＭ１００２やＲＯＭ１００３に格納されたプログラムやデータを用いてコンピュータ全体の制御を行う。また、断層画像取得部１１０、位置姿勢取得部１１２、三次元画像データ取得部１２０、位置取得部１２２、断面画像取得部１３０、画像合成部１４０の夫々におけるソフトウェアの実行を制御して、各部の機能を実現する。
【００３１】
ＲＡＭ１００２は、外部記憶装置１００７や記憶媒体ドライブ１００８からロードされたプログラムやデータを一時的に記憶するエリアを備えると共に、ＣＰＵ１００１が各種の処理を行うために必要とするワークエリアを備える。
【００３２】
ＲＯＭ１００３は、一般にコンピュータのプログラムや設定データなどが格納されている。キーボード１００４、マウス１００５は入力デバイスであり、操作者はこれらを用いて、各種の指示をＣＰＵ１００１に入力することができる。
【００３３】
表示部１００６は、ＣＲＴや液晶ディスプレイなどにより構成されており、図１における表示部１６０がこれに相当する。表示部１００６は、画像合成部１４０が生成する合成画像の他に、画像処理のために表示すべきメッセージやＧＵＩ等を表示することができる。
【００３４】
外部記憶装置１００７は、ハードディスクドライブなどの大容量情報記憶装置として機能する装置であって、ここにＯＳ（オペレーティングシステム）やＣＰＵ１００１が実行するプログラム等を保存する。また本実施例の説明において、既知であると説明する情報はここに保存されており、必要に応じてＲＡＭ１００２にロードされる。
【００３５】
記憶媒体ドライブ１００８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記憶されているプログラムやデータをＣＰＵ１００１からの指示に従って読み出して、ＲＡＭ１００２や外部記憶装置１００７に出力する。
【００３６】
Ｉ／Ｆ１００９は、アナログビデオポートあるいはＩＥＥＥ１３９４等のデジタル入出力ポートや、合成画像などの情報を外部へ出力するためのイーサネット(登録商標)ポート等によって構成される。夫々が入力したデータはＩ／Ｆ１００９を介してＲＡＭ１００２に取り込まれる。断層画像取得部１１０、位置姿勢取得部１１２、三次元画像データ取得部１２０、および位置取得部１２２の機能の一部は、Ｉ／Ｆ１００９によって実現される。
【００３７】
上述した各構成要素は、バス１０１０によって相互に接続される。
【００３８】
上述の情報処理システムにより実現される処理の概要を、図３を用いて説明する。この処理は、ＭＲＩの三次元画像データと超音波断層画像の位置合わせを行うことを目的として、超音波断層画像と、それに応じてＭＲＩの三次元画像データから生成（取得）された断面画像を表示部１６０に表示させる処理である。図３の上方左側には、被検体と超音波探触子が示されている。また、図３の上方右側には、ＭＲＩの三次元画像データから生成されるボリュームデータと、超音波断層画像に基づいて生成されるＭＲＩボリュームデータの断面画像が示されている。図３の下方には、超音波探触子により取得された超音波断層画像と、ＭＲＩボリュームデータから生成されたＭＲＩの断面画像の表示態様が示されている。
【００３９】
操作者（医師や技師等）は、超音波探触子を被検体に押し当て、被検体の超音波断層画像を取得する。図３上方左側には、超音波断層画像を実線で、超音波断層画像を含む平面を点線で示している。超音波探触子の位置姿勢がセンサにより計測できるので、被検体に対する超音波断層画像の位置姿勢の情報を取得することができる。
【００４０】
一方、ＭＲＩの三次元画像データ上では、操作者が手動でまたは画像処理により自動で病変部が特定されている。なお、ここでは病変部に限らず、特徴的な形状等が現れるような注目領域が特定できていれば良い。操作者は、このＭＲＩの三次元画像データ上で特定された領域を、被検体を撮影した超音波断層画像上において探索する。
【００４１】
上述の情報処理システムは、超音波断層画像の位置姿勢と注目領域（注目病変部）の位置が与えられると、これらの情報に基づいてＭＲＩの三次元画像データから断面画像を生成（取得）する。ここで生成する断面画像は、先述の超音波断層画像を含む平面と平行な断面画像であって、かつ、注目領域を通る断面画像である。このような断面画像を生成することで、超音波探触子がどのような姿勢であっても、二つの断面画像（超音波断層画像とＭＲＩの断面画像）の被検体に対する傾き（姿勢）を常に揃えて表示できる。その結果、操作者は超音波探触子を押し当てる位置のみをＭＲＩデータと合わせればよい。傾きを揃える手間を省くことができるため、操作者による位置合わせを容易にさせることができる。
【００４２】
超音波断層画像と、ＭＲＩの断面画像はそれぞれ表示部に表示される。操作者は超音波探触子を押し当てる位置を変えながら夫々の画像に映った内容が一致するか否かを見比べて、位置合わせを行うことができる。
【００４３】
図４は、情報処理装置１００が行う全体の処理手順を示すフローチャートである。同フローチャートは、本実施例ではＣＰＵ１００１が各部の機能を実現するプログラムを実行することにより実現される。なお、以下の処理を行う前段で、同フローチャートに従ったプログラムコードは、例えば外部記憶装置１００７からＲＡＭ１００２に既にロードされているものとする。
【００４４】
（Ｓ４０００） （三次元画像データの取得）
ステップＳ４０００において、情報処理装置１００は、三次元画像データ取得部１２０の処理として、データサーバ１９０から三次元画像データとして参照断層画像群を取得する。また、位置取得部１２２の処理として、データサーバ１９０から注目領域（注目病変部）の位置を取得する。なお、三次元画像データの各断層画像の位置姿勢および注目病変部の位置は、既知の値として予め記憶している基準座標系からＭＲＩ装置座標系への変換行列に基づいて、本ステップで基準座標系に変換される。
【００４５】
（Ｓ４０１０） （断層画像の取得）
ステップＳ４０１０において、情報処理装置１００は、断層画像取得部１１０の処理として、第２医用画像収集装置１８０から超音波断層画像を取得する。また、位置姿勢取得部１１２の処理として、上記超音波断層画像を撮像した際の超音波探触子の位置姿勢を第２医用画像収集装置１８０から取得する。そして、既知の値として予め記憶している超音波探触子と超音波断層画像の相対位置姿勢を利用して、超音波探触子の位置姿勢から超音波断層画像の位置姿勢を算出する。
【００４６】
（Ｓ４０２０） （断面画像の生成）
ステップＳ４０２０において、情報処理装置１００は、断面画像取得部１３０の処理として、ステップＳ４０００で得た注目病変部の位置と、ステップＳ４０１０で得た超音波断層画像の位置姿勢とに基づいて、三次元画像データから断面画像を生成する。
【００４７】
はじめに、断面画像取得部１３０は、前処理として、ステップＳ４０００で取得した参照断層画像群から、各断層画像の各画素を三次元的に配置・補間することで、三次元のボクセルに輝度値を格納した三次元ボリュームデータを復元する。なお、この前処理は、ステップＳ４０２０の処理を最初に行う際に一度だけ実行すればよい。
【００４８】
次に、断面画像取得部１３０は、注目病変部の位置と超音波断層画像の姿勢に基づく断面（平面）を算出する。具体的には、まず、基準座標系と断面座標系（断面の位置姿勢を表す座標系）が一致するように、断面の（断面座標系の）位置姿勢を初期化する。次に、断面の姿勢が超音波断層画像の姿勢と一致するように、基準座標系の中で断面を回転させる。そして、断面座標系の原点が注目病変部の位置に一致するように、断面を並行移動させる。以上によって算出された断面は、注目病変部を面内に含んで（すなわち、断面を表す平面が注目領域を通って）、かつ、超音波断層画像と同一の姿勢を有する（超音波断層画像と平行な）断面となる。最後に、断面上において断面画像を生成する範囲を算出する。例えば、超音波断層画像の位置姿勢に基づいて超音波断層画像の４隅の点の位置を算出し、夫々の点から上記断面に下ろした垂線の足からなる４点によって、生成する断面画像の範囲を決定する。
【００４９】
最後に、断面画像取得部１３０は、上記で求めた断面に対応する画像を、三次元ボリュームデータから切り出して生成する。なお、指定した断面の画像を三次元ボリュームデータから切り出して生成する方法については周知であるので、その詳細に関する説明は省略する。
【００５０】
（Ｓ４０３０） （画像の合成）
ステップＳ４０３０において、情報処理装置１００は、画像合成部１４０の処理として、ステップＳ４０１０で得た超音波断層画像と、ステップＳ４０２０で得た断面画像とを合成する。そして、表示制御部１５０の処理として、合成した画像を表示部１６０に表示する。また、必要に応じて、Ｉ／Ｆ１００９を介してこれを外部へと出力し、さらに、他のアプリケーションから利用可能な状態としてＲＡＭ１００２上に格納する。
【００５１】
例えば、超音波断層画像と断面画像を異なる色で描画して重ね合わせて表示してもよいし、あるいは、超音波断層画像と断面画像のいずれか一方のみを選択して表示できるようにしてもよい。また、一つの画面を縦または横に分割して、一方に超音波断層画像を表示し他方に断面画像を表示してもよいし、二つの画面に夫々表示してもよい。図５（ａ）は、一つの画面を縦に分割して、注目病変部５０１０を含む断面画像５０２０と超音波断層画像５０４０を、横に並べて表示した例を示す。なお、この例では、対応病変部５０３０が超音波断層画像５０４０上に描出されている様子を示している。
【００５２】
さらに、注目病変部の位置を示す円などの図形を、超音波断層画像に重ね合わせて表示してもよい。この表示は、例えば、注目病変部の位置に所定の大きさの仮想的な球があると仮定して、超音波断層画像をなす断面によってその球を切断したときの円を描画することによって実現される。これによると、当該図形を、対応病変部を探索する際の手がかりとして利用することができる。なお、超音波断層画像の位置姿勢が精度良く計測されていて、かつ、三次元画像データ取得時と超音波断層画像撮像時の間で被検体が変形していないという理想的な条件下であれば、対応病変部は上記の球の中心（すなわち、注目病変部の位置）に存在する。しかし、実際には、超音波断層画像の位置姿勢の計測誤差や、撮影体位の差異や超音波探触子の圧力に起因する被検体の変形が影響するため、対応病変部は上記の球の中心には存在しない。
【００５３】
また、注目病変部の位置を示す図形を断面画像上に表示してもよい。また、超音波断層画像の姿勢変化を視覚的に表す矢印などの図形を表示してもよいし、三次元ボリュームデータをボリュームレンダリングした上に断面画像の位置姿勢を表す平面などの図形を重ね合わせて描画してもよい。また、図形を重ね合わせるか否かを選択できるようにしてもよい。図５（ｂ）は、断面画像５０２０上と超音波断層画像５０４０上の夫々に、注目病変部５０１０の位置を示す円５０５０及び円５０６０を重ね合わせて表示した例を示す。
【００５４】
なお、以下で説明するステップＳ４０４０からステップＳ４０６０の処理において操作者が特別な指示を入力しない限りにおいては、上記で述べたステップＳ４０１０からステップＳ４０３０の処理が反復的に実行される。それにより、注目病変部を含んでかつ超音波断層画像と同じ姿勢を有する断面画像が、超音波探触子の操作に応じて時々刻々と取得される超音波断層画像と同期した形で表示部１６０に表示される。その結果、本ステップで表示する合成画像を操作者が観察しながら超音波探触子を操作することで、対応病変部を描出する超音波断層画像の探索を容易に行うことが可能となる。
【００５５】
以下の処理（ステップＳ４０４０及びＳ４０５０）では、超音波断層画像における対応病変部の位置を指定することで、注目病変部の位置と対応病変部が実際に存在する位置との間のずれの補正を行う。
【００５６】
（Ｓ４０４０） （位置指定）
ステップＳ４０４０において、情報処理装置１００は、位置姿勢取得部１１２の処理として、超音波探触子を操作して得られる超音波断層画像上の対応病変部の位置が指定されたか否かの判定を行う。対応病変部の位置は、例えば、表示部１６０に表示された超音波断層画像上における対応病変部の位置（例えば図５（ａ）の５０３０）を、操作者がマウス１００５でクリックすることによって指定する。対応病変部の位置が指定された場合には、超音波断層画像上における対応病変部の位置と、超音波断層画像の位置姿勢に基づいて、基準座標系における対応病変部の位置を算出する。そして、ステップＳ４０５０へと処理を進める。一方、位置が指定されていない場合には、ステップＳ４０６０へと処理を進める。
【００５７】
（Ｓ４０５０） （オフセット分の補正）
ステップＳ４０５０において、情報処理装置１００は、位置姿勢取得部１１２の処理として、ステップＳ４０４０で取得した対応病変部の位置と、ステップＳ４０００で取得した注目病変部の位置との間のオフセットを算出する。そして、以降におけるステップＳ４０１０の処理において、超音波断層画像の位置の算出値からオフセット分を差し引くことによって、位置姿勢センサの計測誤差や被検体の変形などの影響を補正する。そして、注目病変部の位置に対応病変部が実際に存在するようにする。なお、超音波断層画像の位置の算出値からオフセット分を差し引くのではなく、基準座標系からＭＲＩ装置座標系への変換行列をオフセット分だけ補正してもよい（ただしこの場合は、ステップＳ４０００で行った座標変換処理を再度実行する）。
【００５８】
（Ｓ４０６０） （取得終了）
ステップＳ４０６０において、情報処理装置１００は、全体の処理を終了するか否かの判定を行う。例えば、表示部１６０上に配置された終了ボタンを操作者がマウス１００５でクリックするなどして、終了の判定を入力する。終了すると判定した場合には、情報処理装置１００の処理の全体を終了させる。一方、終了すると判定しなかった場合には、ステップＳ４０１０へと処理を戻し、新たに撮像される超音波断層画像に対して、ステップＳ４０１０からステップＳ３０６０までの処理を再度実行する。その際に、操作者は形状や周辺部の見え方等の類似性を参考にして、対応病変部が含まれていると考えられる方向に超音波探触子を移動させる。
【００５９】
以上によって、超音波断層画像と同じ姿勢で注目病変部を含む断面画像が三次元画像データから切り出されて、超音波断層画像と断面画像との合成画像が生成される。
【００６０】
以上のように、本実施例に係る情報処理装置によると、注目領域（注目病変部）を含み、かつ取得した対象断層画像と同じ姿勢の断面画像を三次元画像データ（参照断層画像群）から切り出すことができる。切り出した断面画像の姿勢が取得した対象断層画像の姿勢と常に一致するので、形状や周辺部の見え方等の類似性を参考にしながら、対応病変部を探すことが容易となる。
【００６１】
（変形例１） （変形に応じてＭＲＩ断面画像の傾きを変更する）
本実施例では、超音波断層画像とそれに応じて取得されるＭＲＩ断面画像は被検体に対する傾きが同じ、すなわち平行としたが、本発明の適用例はこれに限られない。撮影体位や超音波探触子の押し当てによる変形や、撮影日の違いによる変化に伴って、被検体の状態が変化する場合には、必ずしも超音波断層画像とＭＲＩ画像を平行とすることが適切でない場合がありうる。例えば、超音波探触子の押し当てによる変形の場合であれば、超音波探触子の鉛直方向下向きに圧迫されることによる変形が起こっていると仮定し、変形に応じた量だけＭＲＩ画像の傾きを変更する。変更量の導出には、周知の柔軟物変形モデルを用いて行うことが考えられる。
【００６２】
このように被検体の変形を考慮してＭＲＩ断面画像を生成することにより、超音波断層画像とより正確に対応したＭＲＩ断面画像を生成することができるため、位置合わせを行うものの作業効率を上げると共に、より正確な位置合わせを実現させることができる。
【００６３】
（変形例２） （ＭＲＩ断層画像群以外）
本実施例では、三次元画像データとして、ＭＲＩ装置やＸ線ＣＴ装置によって被検体を事前に撮像して得られた参照断層画像群をデータサーバ１９０から取得して用いる場合を例に述べた。しかし、使用する三次元画像データはこれに限られるものではない。
【００６４】
例えば、参照断層画像群から予め復元した輝度値配列データ（三次元ボリュームデータ）をデータサーバ１９０が保持している場合には、これを三次元画像データとして取得して用いる構成であってもよい。この場合、ステップＳ４０２０における三次元ボリュームデータの生成処理を省略できる。
【００６５】
また、過去に超音波画像診断装置によって被検体を撮像して得られた断層画像群から予め復元した輝度値配列データ（三次元ボリュームデータ）をデータサーバ１９０が保持している場合には、これを三次元画像データとして用いる構成であってもよい。データサーバ１９０（あるいは、不図示の情報処理装置）は、位置姿勢つきの超音波断層画像を超音波診断装置から取得して、断層画像間の位置関係に基づいて三次元ボリュームデータを復元する。この場合には、被検体への超音波探触子の当て方が過去の撮像とで異なっていたとしても、同一姿勢の断面で両者を比較できるため、病変部の経時変化の観察が容易となる。
【００６６】
また、事前に三次元超音波探触子を用いて直接的に取得された三次元ボリュームデータをデータサーバ１９０が保持している場合には、これを三次元画像データとして用いる構成であってもよい。
【００６７】
（変形例３） （位置合わせの対象となる断層画像）
実施例１において位置合わせの対象となる２種類の断層画像（断面画像）は、超音波断層画像とＭＲＩ断層画像群（ＭＲＩボリュームデータ）であったが、本発明の適用はこれに限られない。例えば、これら以外の異なる複数のモダリティにより撮影された断層画像に対して位置合わせをしても良い。この場合、第一の撮影方法（モダリティ）で撮影された第一の二次元断層画像と、第二の撮影方法（モダリティ）撮影された第二の二次元断層画像の位置合わせを容易に行うことが可能になる。
【００６８】
また、同一のモダリティによる断層画像であっても、被検体の撮影時の体位や、撮影に用いるモダリティのパラメータ等の撮影条件、経過観察等のため撮影日等が異なる場合なども、得られる断層画像が変化する場合があり、本発明を適用できる。
【００６９】
（変形例４） （表示のバリエーション）
本実施例では、ステップＳ４０２０の処理において、算出した断面に基づいて、三次元画像データの断面画像を生成していた。しかし、断面画像の生成はこれに限られるものではない。
【００７０】
例えば、ＭＲＩの三次元ボリュームデータに画像処理を施して見え方を調整した新たな三次元ボリュームデータを生成して、その新たな三次元ボリュームデータの断面を断面画像として生成してもよい。例えば、エッジ強調処理や、臓器セグメンテーション結果に基づく擬似カラー処理等を施したボリュームデータを生成して、その断面画像を生成してもよい。また、公知の方法で、ＭＲＩ画像をあたかも超音波画像診断装置によって撮像されたかのような画像に変換する処理を施したボリュームデータを生成して、その断面画像を生成してもよい。もちろん、ＭＲＩの三次元ボリュームデータから断面画像を生成した後に、断面画像に対して上述したような画像処理を施してもよい。
【００７１】
また、算出した断面に基づいて三次元画像データから画像を生成するものであれば、生成する断面画像は、その断面上のボクセル値を画像化した画像でなくてもよい。例えば、断面を中心として法線方向に所定の範囲を設定した上で、当該範囲内における法線方向のボクセル値の最大値を断面上の各点に関して求めた最大値投影画像を断面画像としてもよい。ここでは、算出した断面に関して生成される上記のような画像を含め、広義の意味で「断面画像」と呼ぶ。
【００７２】
（変形例５） （３Ｄ探触子でＭＰＲ像を取得）
本実施例では、超音波画像診断装置で断層画像を撮像する場合を例に述べたが、超音波画像診断装置で取得するデータはこれに限られるものではない。例えば、三次元の超音波探触子でＭＰＲ（Ｍｕｌｔｉ Ｐｌａｎａｒ Ｒｅｆｏｒｍａｔ）像を取得する場合にも、上記の実施例の手法が適用可能である。すなわち、複数の断面の夫々に対して上記の実施例の手法をそのまま適用すればよい。
【００７３】
（変形例６） （姿勢センサ利用）
本実施例では、位置姿勢センサを超音波画像診断装置に装着して、超音波探触子の位置姿勢を計測する場合を例に述べたが、位置に関しては必ずしも計測する必要はない。例えば、姿勢センサを超音波画像診断装置に装着して、超音波探触子の姿勢のみを計測してもよい。
【００７４】
この場合、位置姿勢取得部１１２は、超音波探触子の姿勢と、予め算出して記憶された超音波断層画像の超音波探触子座標系における位置姿勢とに基づいて、超音波断層画像の基準座標系における姿勢を算出して、断面画像取得部１３０へと出力する。
【００７５】
なお、この場合、ステップＳ４０２０において断面画像取得部１３０が実行する処理の一部（断面上において断面画像を生成する範囲を決定する処理）が上記とは異なったものとなる。すなわち、超音波断層画像の４隅の点の位置が未知となるので、断面画像を生成する範囲を、例えば断面画像内における注目領域を中心とした所定の領域によって設定する。
【００７６】
以上によって、位置姿勢センサを用いる場合よりも簡便な装置構成で、注目病変部に対応する対応病変部を含む断層画像を超音波探触子の操作によって容易に描出することができる。ただし、この場合は、超音波断層画像の位置は計測できないので、ステップＳ４０３０における注目病変部の位置を示す円５０６０の描画と、ステップＳ４０４０及びステップＳ４０５０におけるずれの補正処理は実行しない。
【００７７】
（変形例７） （注目病変部の位置を指定）
本実施例では、データサーバ１９０が予め指定された注目病変部の位置を保持している場合を例に述べたが、情報処理装置の内部で注目病変部の位置を指定してもよい。その場合、情報処理装置に病変指定部が追加される。
【００７８】
病変指定部は、三次元画像データ取得部１２０の出力である三次元画像データを構成する個々の断層画像を表示部１６０に順次表示する。そして、断層画像上に注目病変部が写ったところで、表示画像上におけるその位置を操作者が例えばマウス１００５でクリックすることによって指定する。その後断層画像上における病変部の位置と、当該断層画像の位置姿勢に基づいて、基準座標系における注目病変部の位置を算出する。なお、以上の処理は、ステップＳ４０００とステップＳ４０１０の間に実行すればよい。
【００７９】
また、ステップＳ４０３０で表示した断面画像上（例えば図５（ａ）の５０２０）において、注目病変部の位置を再設定することが可能な構成であってもよい。これを実現するには、ステップＳ４０４０において、対応病変部の位置取得と同様な処理を注目病変部に対しても行えばよい。すなわち、表示部１６０に表示された断面画像上における注目病変部の位置（例えば図５（ａ）の５０１０）を操作者がマウス１００５でクリックすることによって指定し、当該断面の位置姿勢に基づいて注目病変部の位置を算出すればよい。本変形例に係る情報処理装置によると、対応病変部を含む断層画像の描出結果に基づいて、注目病変部の位置を正確に指定し直すことが可能となる。
【００８０】
（変形例８） （連動／非連動）
本実施例では、断層画像と同じ姿勢の断面画像を三次元画像データから切り出す場合を例に述べた。すなわち、断層画像の姿勢と断面画像の姿勢とが最初から一致している（姿勢には深刻な誤差は無い）場合に有効な方法について述べた。しかし、これに限らず、断層画像の姿勢にオフセットを付加した姿勢の断面画像を三次元画像データから切り出してもよい。例えば、表示部１６０上に表示された断面画像上において、マウスの左ボタンを押下したままドラッグ操作することで、ドラッグの方向と変位量に応じたオフセット（回転軸と回転角）を設定してもよい。このとき操作者は、入力に合わせて断面画像のみが回転するような操作感を得る。これにより、断層画像の姿勢と断面画像の姿勢とが一致していない場合に、それらが一致するように合わせ込むことができる。
【００８１】
（変形例９） （姿勢の設定方法）
本実施例では、断層画像と同じ姿勢の断面画像を生成する場合を例に述べた。しかし、これに限らず、断層画像の姿勢に対応して（基づいて）何れかの方法で求めた姿勢の断面画像を生成してもよい。例えば、過去の（前にステップＳ４０２０の処理をした際の）断層画像の姿勢と現在の断層画像の姿勢に基づいて、生成する断面画像の姿勢を決定してもよい。例えば、過去の断層画像の姿勢と現在の断層画像の姿勢との加重平均を断面画像の姿勢としてもよい。これによると、姿勢の計測ノイズに起因するジッタを除去できるという効果がある。また、前時刻の（前にステップＳ４０２０の処理をした際の）断面の姿勢と現在の断層画像の姿勢に基づいて、生成する断面画像の姿勢を決定してもよい。例えば、前時刻の断面の姿勢と現在の断層画像の姿勢との加重平均を断面画像の姿勢としてもよい。これによると、断面の姿勢が急激に変化しないというスムージングの効果がある。
【実施例２】
【００８２】
実施例１では、実時間で撮像している超音波断層画像を取り扱う場合について説明した。しかし、取り扱う断層画像は、実時間で撮像している超音波断層画像に限らず、予め撮像された超音波断層画像群であってもよい。本実施例に係る情報処理装置は、予め撮像された超音波断層画像群から、三次元画像データ中の注目領域（注目病変部）に対応する部位（対応病変部）を含む断層画像を操作者（医師や技師）が容易に描出できるようにするための機能を提供する。以下、本実施例に係る情報処理装置について、実施例１との相違部分についてのみ説明する。
【００８３】
図６は、本実施例に係る情報処理装置の構成を示す。なお、図１と同じ部分については同じ番号、記号を付けており、その説明を省略する。本実施例における情報処理装置６００は、断層画像取得部６１０、位置姿勢取得部６１２、三次元画像データ取得部１２０、位置取得部６２２、断面画像取得部１３０、画像合成部１４０、表示制御部１５０、断層画像選択部６６０によって構成される。そして、被検体を予め撮像して得られた三次元画像データ（第１の実施例と同様）および超音波断層画像群を保持するデータサーバ６９０に接続されている。
【００８４】
データサーバ６９０が保持する超音波断層画像群は、第２医用画像収集装置１８０としての超音波画像診断装置によって被検体を事前に撮像して得られた断層画像群である。被検体を撮像した超音波断層画像群は、断層画像選択部６６０を介して情報処理装置６００に入力される。本実施例では、各超音波断層画像の位置姿勢もデータサーバ６９０が保持しており、断層画像選択部６６０を介して情報処理装置６００に入力されるものとする。
【００８５】
位置取得部６２２は、実施例１における位置取得部１２２の動作に加え、断層画像選択部６６０からの要求にしたがって、保持している注目病変部の位置を、断層画像選択部６６０へと出力する。
【００８６】
断層画像選択部６６０は、情報処理装置６００へ入力される各超音波断層画像と位置取得部６２２が出力する注目病変部の位置関係に基づいて、超音波断層画像群から一つ以上の断層画像を選択する。そして、選択した断層画像（以下では選択断層画像と呼ぶ）を断層画像取得部６１０へと出力する。また、選択断層画像の位置姿勢を位置姿勢取得部６１２へと出力する。
【００８７】
断層画像取得部６１０及び位置姿勢取得部６１２は、断層画像選択部６６０が出力したデータを取得する点が、実施例における断層画像取得部１１０及び位置姿勢取得部１１２と異なっている。なお、断層画像選択部６６０は断層画像の位置姿勢を出力するので、超音波探触子の位置姿勢から超音波断層画像の位置姿勢を算出する処理は不要となる。
【００８８】
なお、情報処理装置６００を構成する上記各部の夫々の機能をソフトウェアの実行によって実現するコンピュータの基本構成は、実施例１における図２と同様である。
【００８９】
図７は、情報処理装置６００が行う全体の処理手順を示すフローチャートである。同フローチャートは、本実施例ではＣＰＵ１００１が各部の機能を実現するプログラムを実行することにより実現される。なお、以下の処理を行う前段で、同フローチャートに従ったプログラムコードは、例えば外部記憶装置１００７からＲＡＭ１００２に既にロードされているものとする。
【００９０】
（Ｓ７０００） （データの入力）
ステップＳ７０００において、情報処理装置６００は、実施例１におけるステップＳ４０００と同様な処理を行う。さらに、情報処理装置６００は、断層画像選択部６６０の処理として、データサーバ６９０から超音波断層画像群と各超音波断層画像の位置姿勢とを取得する。
【００９１】
（Ｓ７０１０） （断層画像の選択）
ステップＳ７０１０において、情報処理装置６００は、断層画像選択部６６０の処理として、ステップＳ７０００で得た注目病変部の位置と、各超音波断層画像の位置姿勢とに基づいて、選択断層画像を選択する。そして、選択断層画像を断層画像取得部６１０へと出力し、また、選択断層画像の位置姿勢を位置姿勢取得部６１２へと出力する。なお、本ステップにおける断層画像選択部６６０の処理の詳細は、図８に示すフローチャートを用いて後に詳しく説明する。
【００９２】
以下、ステップＳ７０２０からステップＳ７０６０までの処理は、実施例１におけるステップＳ４０２０からステップＳ４０６０までの処理と同様であるので、詳細な説明は省略する。
【００９３】
図８は、上述のステップＳ７０１０における断層画像選択部６６０の処理手順を示すフローチャートである。
【００９４】
（Ｓ８０００） （未選択か否かの判定）
ステップＳ８０００において、断層画像選択部６６０は、断層画像の選択処理をまだ一度も行っていないかどうかを判定する。まだ一度も選択処理を行っていない場合には、ステップＳ８０１０へと処理を進める。一方、既に選択処理を行っている場合には、ステップＳ８０７０へと処理を進める。
【００９５】
（Ｓ８０１０） （データの入力）
ステップＳ８０１０において、断層画像選択部６６０は、注目病変部の位置を位置取得部６２２から取得する。また、超音波断層画像から注目病変部までの最小距離を表すｄｍｉｎに、初期値として大きな値（例えば１０００ｍｍ）を設定する。
【００９６】
断層画像選択部６６０は、以下に示すステップＳ８０２０からステップＳ８０６０の処理によって、注目病変部までの距離を最小とする超音波断層画像を、超音波断層画像群の中から選択する。
【００９７】
（Ｓ８０２０） （未処理の断層画像の選択）
ステップＳ８０２０において、断層画像選択部６６０は、ステップＳ８０００でデータサーバ６９０から取得した超音波断層画像群の中から、未処理の超音波断層画像をひとつ選択する。例えば、超音波画像診断装置によって撮像された時刻の順番にしたがって、順次選択する。
【００９８】
（Ｓ８０３０） （病変部までの距離の算出）
ステップＳ８０３０において、断層画像選択部６６０は、ステップＳ８０２０で選択した超音波断層画像から注目病変部までの距離を算出する。
【００９９】
具体的には、まず、当該超音波断層画像の超音波断層画像座標系における注目病変部の位置を次式によって算出する。
【０１００】
【数１】
【０１０１】
ここで、ｘｉ＝［ｘｉ ｙｉ ｚｉ １］Ｔは超音波断層画像座標系における注目病変部の位置であり、ｘｗ＝［ｘｗ ｙｗ ｚｗ １］Ｔは基準座標系における注目病変部の位置である。そしてＴｉｗは、超音波断層画像の位置姿勢を表す、超音波断層画像座標系から基準座標系への４ｘ４の変換行列である。
【０１０２】
そして、超音波断層画像から注目病変部までの距離ｄを、次式によって算出する。
【０１０３】
【数２】
【０１０４】
（Ｓ８０４０） （最小距離の更新）
ステップＳ８０４０において、断層画像選択部６６０は、ステップＳ８０３０で得た距離ｄが現在のｄｍｉｎよりも小さいかどうかを判定する。ｄがｄｍｉｎよりも小さかった場合には、ｄｍｉｎの値をｄの値に更新する。そして、ｄｍｉｎを与える超音波断層画像を、注目病変部に最も近い断層画像として暫定的に保持する。
【０１０５】
（Ｓ８０５０） （判定）
ステップＳ８０５０において、断層画像選択部６６０は、全ての超音波断層画像に対して処理を終えたか否かの判定を行い、処理を終えていない場合にはステップＳ８０２０へと処理を戻す。一方、処理を終えているのであればステップＳ８０６０へと処理を進める。
【０１０６】
（Ｓ８０６０） （断層画像の選択）
ステップＳ８０６０において、断層画像選択部６６０は、ステップＳ８０４０で最後に保持した（すなわち、注目病変部までの距離が最小となる）超音波断層画像を、選択断層画像として選択する。
【０１０７】
もし仮に、超音波断層画像の位置姿勢が精度良く計測されていて、かつ、三次元画像データ取得時と超音波断層画像撮像時の間で被検体が変形していないという理想的な条件下であれば、上記で得た選択断層画像中には対応病変部が確実に存在する。しかし実際には、超音波断層画像の位置姿勢の計測誤差や、撮影体位の差異や超音波探触子の圧力に起因する被検体の変形などの影響により、選択断層画像中に対応病変部が実際に存在するとは限らない。
【０１０８】
なお、取得した超音波断層画像群が複数の部分断層画像群から成り立っている場合には、断層画像選択部６６０は、上記のステップＳ８０２０からステップＳ８０６０までの処理を、夫々の部分断層画像群に対して実行する。そして、夫々の部分断層画像群から選択断層画像の候補を１枚ずつ選択して、表示部１６０にこれらを並べて表示する。そして、操作者からの指示（例えば、表示した選択断層画像の候補をマウスでクリックする）に従って、最終的な選択断層画像を選択する。
【０１０９】
（Ｓ８０７０） （断層画像の再選択）
ステップＳ８０７０において、断層画像選択部６６０は、選択断層画像の近傍の断層画像を再選択する。具体的には、選択断層画像が撮像された時刻の直前または直後に撮像された断層画像を、改めて選択断層画像として選択する。例えば、不図示のＵＩを介して操作者から「１フレーム前」の指示を取得した場合には、現在の選択断層画像の１時刻前に撮像した断層画像を新たな選択断層画像として選択する。同様に、「１フレーム後」の指示を取得した場合には、現在の選択断層画像の１時刻後に撮像した断層画像を新たな選択断層画像として選択する。同様に、「順方向再生」の指示を取得した場合には、本ステップの処理を実行する毎に、撮像時刻の順番に従って断層画像を順送りする（直後の時刻に撮像された断層画像を選択する）。また、「逆方向再生」の指示を取得した場合には、本ステップの処理を実行する毎に、撮像時刻の逆順に断層画像を逆送りする（直前の時刻に撮像された断層画像を選択する）。また、「停止」の指示を取得した場合には、上記「順方向再生」や「逆方向再生」の指示を無効にする（すなわち、断層画像の再選択を行わない）。その他、時系列画像の表示を操作する一般的な指示のいずれを用いて再選択を行ってもよい。なお、これらの指示は、例えば、コマンドをキーボードの特定のキーに割り当てることで入力すればよい。または、画面上に操作ボタンや操作バーを配置してマウスでクリックやドラッグするなどして入力してもよい。また、取得した超音波断層画像群が複数の部分断層画像群から成り立っている場合には、ステップＳ８０６０と同様な操作者からの指示（表示した選択断層画像の候補をマウスでクリックする）に応じて、選択する部分断層画像群を切り替える処理を行う。
【０１１０】
ここで、位置姿勢センサの計測誤差の最大値や被検体の変形の最大値からずれの最大値が推定可能である場合には、探索範囲を限定することができる。例えば、ずれの最大値が１０ｍｍの場合には、ステップＳ８０３０で得られる距離ｄが１０ｍｍ以内となる断層画像のみを再選択できるようにしてもよい。これによると、対応病変部の存在する可能性が高い断層画像のみが表示されるので、対応病変部を探す作業をより効率的に行うことができる。
【０１１１】
（Ｓ８０８０） （断層画像の出力）
ステップＳ８０８０において、断層画像選択部６６０は、ステップＳ８０６０またはステップＳ８０７０で選択した選択断層画像を断層画像取得部６１０へと出力する。また、選択断層画像の姿勢を位置姿勢取得部６１２へと出力する。なお、選択断層画像の姿勢は、Ｔｉｗの一部を構成する３ｘ３の回転行列Ｒｉｗによって表すことができる。
【０１１２】
以上のように、本実施例に係る情報処理装置によると、注目病変部の近傍を撮影しているであろう断層画像が、断層画像群から選択される。そして、注目病変部を含み、かつ、選択した断層画像と同じ姿勢の断面画像を三次元画像データ（参照断層画像群）から切り出すことができる。切り出した断面画像の姿勢が選択した断層画像の姿勢と常に一致するので、形状や周辺部の見え方等の類似性を参考にしながら、対応病変部を探すことが容易となる。
【０１１３】
（変形例１） （超音波断層画像以外）
本実施例では、断層画像を撮影する第２医用画像収集装置１８０として超音波画像診断装置を用いる場合を例に述べたが、断層画像を撮影する医用画像収集装置はこれに限られるものではない。例えば、ＭＲＩ装置やＸ線ＣＴ装置などの断層画像を撮影可能な医用画像収集装置を用いる場合にも、上記の実施例の手法が適用可能である。
【０１１４】
（変形例２） （姿勢の設定方法）
本実施例では、夫々の断層画像と同じ姿勢の断面画像を生成する場合を例に述べた。しかし、これに限らず、断層画像の姿勢に対応して（基づいて）何れかの方法で求めた姿勢の断面画像を生成してもよい。例えば、ステップＳ７０１０で選択した断層画像の姿勢と、その前後の時刻の断層画像の姿勢との加重平均によって、生成する断面画像の姿勢を決定してもよい。これによると、姿勢の計測ノイズに起因するジッタを除去できるという効果がある。また、部分断層画像群を代表する姿勢（代表姿勢）を生成する断面画像の姿勢としてもよい。例えば、注目病変部に最も近い断層画像の姿勢を代表姿勢としてもよいし、部分断層画像群の姿勢の平均を代表姿勢としてもよい。これによると、断層画像に概ね一致する姿勢の断面画像が静止して表示されるので、画像が静止していて見やすいという効果がある。
【０１１５】
（その他の実施例）
以上、実施例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様を取ることが可能である。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【０１１６】
なお本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施例の機能が達成される場合を含む。この場合、供給されるプログラムは実施例で図に示したフローチャートに対応したコンピュータプログラムである。
【０１１７】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１１８】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【０１１９】
コンピュータプログラムを供給するためのコンピュータ読み取り可能な記憶媒体としては以下が挙げられる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などである。
【０１２０】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１２１】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布するという形態を取ることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。
【０１２２】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施例の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施例の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される。
【０１２３】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施例の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行う。
【符号の説明】
【０１２４】
１００ 情報処理装置
１１０ 断層画像取得部
１１２ 位置姿勢取得部
１２０ 三次元画像データ取得部
１２２ 位置取得部
１３０ 断面画像取得部
１４０ 画像合成部
１５０ 表示制御部
【技術分野】
【０００１】
本発明は、モダリティ、撮影体位、撮影日時等の撮影条件が異なる画像の位置合わせをするための情報処理装置、情報処理方法、情報処理システム、及びプログラムに関する。
【背景技術】
【０００２】
医療の分野において、医師は被検体を撮像した医用画像（被検体内部の三次元的な情報を表す断層画像群からなる三次元画像データ）をモニタに表示し、表示された画像を読影して病変部の診断を行う。断層画像群を撮像する医用画像収集装置（以下、モダリティと呼ぶ）としては、超音波画像診断装置、磁気共鳴映像装置（以下、ＭＲＩ装置と呼ぶ）、Ｘ線コンピュータ断層撮影装置（以下、Ｘ線ＣＴ装置と呼ぶ）などが挙げられる。
【０００３】
これらのモダリティで撮像された個々の断層画像群を観察するだけでは、病変部の状態を正しく診断することは困難である。そこで、複数のモダリティで撮像された夫々の断層画像群や、異なる日時に撮像された夫々の断層画像群中の病変部を比較することによって、病変部の状態を正しく診断しようとする試みがなされている。
【０００４】
複数種類の断層画像を診断に利用するためには、夫々の断層画像群における対応を取るための位置合わせをすることが重要である。モダリティの違いや被検体の変形等の影響で画像処理による自動化が困難であるため、位置合わせは医師等の作業者が画像を見ながら手動で行う。作業者は、一方の画像で病変部等の注目病変部の画像を見ながら、病変部の形状やその周辺部の見え方等の類似性を手がかりにして、その病変部を他方の画像群から見つけるという操作が行われる。
【０００５】
特許文献１には、Ｘ線ＣＴ装置で得た注目病変部を含む断面の画像を静止表示した上で、超音波探触子を操作して対応病変部を含む超音波断層画像を探索するというフローが示されている。一方で、病変部を一つの断面画像で観察するだけでは病変部を正しく診断できない場合がある。特許文献２には、常に病変部を含む断面画像を表示させて、注目断面を任意方向に回転操作する手法が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】国際公開番号ＷＯ２００４−９８４１４号公報
【特許文献２】特開２００５−１６９０７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら特許文献１に記載の方法では、静止表示した注目断面画像に表示された注目病変部の位置を超音波断層画像により探索し、かつ被写体に対する断面の傾きをも合わせる必要があり、困難を伴っていた。
【０００８】
また特許文献２に記載の技術を考慮すれば、静止表示した断面画像を変更することができるが、変更された断面画像に対して位置と、断面の傾きを合わせるという作業をしなければならない点に変わりはなかった。
【課題を解決するための手段】
【０００９】
本発明はかかる課題を解決するためになされたものであり、被検体の三次元画像における所定の領域の位置と、前記被検体の第一の二次元断面画像の姿勢とに基づき、前記三次元画像から前記領域を通りかつ前記姿勢に対応する第二の二次元断面画像を取得する取得手段と、前記第一の二次元断面画像と前記第二の二次元断面画像を表示部に表示させる表示制御手段と、を有することを特徴とする。
【発明の効果】
【００１０】
かかる構成を有する本発明によれば、一の断層画像を指定すると、その断層画像と平行かつ病変部を含む断面画像を取得することができる。これにより、断面の被写体に対する傾きを合わせる必要はなく、病変部の位置のみを合わせればよいため、作業負荷を軽減することができる。
【図面の簡単な説明】
【００１１】
【図１】実施例１に係る情報処理装置の機器構成を示す図である。
【図２】情報処理装置の各部をソフトウェアにより実現することのできるコンピュータの基本構成を示す図である。
【図３】ＭＲＩボリュームデータから超音波断層画像に応じた断面画像を生成する処理の概要を示した図である。
【図４】情報処理装置の全体の処理手順を示すフローチャートである。
【図５】断層画像と断面画像の合成表示方法を説明する図である。
【図６】実施例２に係る情報処理装置の機器構成を説明する図である。
【図７】情報処理装置の全体の処理手順を示すフローチャートである。
【図８】断層画像を選択する処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、添付図面に従って本発明に係る情報処理システムの好ましい実施形態について詳説する。ただし、発明の範囲は図示例に限定されるものではない。
【実施例１】
【００１３】
本実施例に係る情報処理システムは、三次元画像データ中の注目領域（例えば、注目病変部）を含み、実時間で撮像している超音波断層画像と同じ姿勢の断面画像を三次元画像データから切り出す。そうすることで、三次元画像データ中の注目領域に対応する部位（対応病変部）を含む断層画像（断面画像）を、操作者（医師や技師）が容易に描出できるようにする。なお本実施例では、被検体内部の三次元的な情報を表す断層画像群を三次元画像データとして取り扱う場合について説明する。以下、本実施例に係る情報処理システムについて説明する。
【００１４】
図１は本実施例における情報処理システムの構成を示す。同図に示すように、本実施例における情報処理装置１００は、断層画像取得部１１０、位置姿勢取得部１１２、三次元画像データ取得部１２０、位置取得部１２２、断面画像取得部１３０、画像合成部１４０、表示制御部１５０によって構成される。そして、三次元画像データを保持するデータサーバ１９０に接続されている。また、情報処理装置１００は、被検体の超音波断層画像を撮像する第２医用画像収集装置１８０としての超音波画像診断装置にも接続されている。
【００１５】
データサーバ１９０が保持する三次元画像データは、第１医用画像収集装置１７０としてのＭＲＩ装置やＸ線ＣＴ装置などによって被検体を予め撮像して得られた参照断層画像群である。なお、以下では第１医用画像収集装置１７０としてＭＲＩ装置を用いる場合を例に説明する。
【００１６】
ＭＲＩ装置で撮像された参照断層画像群を構成する各断層画像の位置姿勢は、ＭＲＩ装置座標系における位置姿勢で表されている。ここでＭＲＩ装置座標系とは、ＭＲＩ装置を基準とした空間中の１点を原点として定義した座標系のことを表す。ＭＲＩ装置座標系で表現された三次元画像データは、三次元画像データ取得部１２０を介して情報処理装置１００に入力される。
【００１７】
さらに、データサーバ１９０は、三次元画像データ中の注目領域として、予め指定された病変部（注目病変部）の位置を保持している。注目病変部の位置は、例えば、操作者が不図示の画像ビューア上に参照断層画像群を順次表示して、注目病変部が写っている断層画像を選び出し、不図示のマウスで注目病変部をクリックすることによって指定することができる。データサーバ１９０が保持する注目病変部の位置は、位置取得部１２２を介して情報処理装置１００に入力される。なお、以下の説明では、注目病変部の位置も、三次元画像データと同様にＭＲＩ装置座標系で表されているものとする。
【００１８】
第２医用画像収集装置１８０としての超音波画像診断装置は、被検体の超音波断層画像を実時間で撮像する。超音波画像診断装置によって得られた超音波断層画像は、断層画像取得部１１０を介して情報処理装置１００に逐次入力される。
【００１９】
通常、操作者は、超音波画像診断装置の撮像部（不図示）としての超音波探触子を手に持って、これを自由に動かしながら被検体の撮像を行う。そのため、超音波断層画像が被検体を基準とした空間中のどの位置姿勢を撮像したものなのかが明らかではない。そこで、本実施例では、不図示の位置姿勢センサを超音波画像診断装置に装着して、超音波探触子の位置姿勢を計測する。位置姿勢センサは、例えば、米国Ｐｏｌｈｅｍｕｓ社のＦＡＳＴＲＡＫ等によって構成される。なお、位置姿勢センサは、超音波探触子の位置姿勢が計測できるのであれば、どのように構成されていてもよい。
【００２０】
以上のようにして得られた超音波探触子の位置姿勢は、位置姿勢取得部１１２を介して情報処理装置１００に入力される。ここで、超音波探触子の位置姿勢は、例えば基準座標系における位置姿勢で表されている。ここで基準座標系とは、被検体を基準とした空間中の１点を原点として定義した座標系のことを表す。以下では、特に断りのない限り、超音波探触子や各種画像の位置姿勢は基準座標系で定義されているものとする。なお、超音波探触子の位置姿勢は、不図示のキーボードやマウスなどを用いて操作者が予め入力してもよい。
【００２１】
断層画像取得部１１０は、情報処理装置１００へ入力される超音波断層画像を第一の二次元断面画像として取得する。そして、必要に応じてデジタルデータに変換して、位置姿勢取得部１１２が取得する位置姿勢に対応付けて保持する。そして、画像合成部１４０からの要求にしたがって、保持している超音波断層画像を画像合成部１４０へと出力する。
【００２２】
位置姿勢取得部１１２は、情報処理装置１００へ入力される超音波探触子の位置姿勢を取得して、これに基づいて超音波断層画像の位置姿勢を算出する。そして、断層画像取得部１１０が取得する超音波断層画像に対応付けてこれを保持する。そして、断面画像取得部１３０からの要求にしたがって、保持している位置姿勢を断面画像取得部１３０へと出力する。また、位置姿勢取得部１１２は、操作者が指定した対応病変部の位置を取得して、注目病変部位置との間のオフセットを算出して、位置姿勢センサの計測誤差として補正する。具体的には、超音波断層画像の位置をオフセット分だけ補正する。
【００２３】
三次元画像データ取得部１２０は、情報処理装置１００へ入力される三次元画像データ（参照断層画像群）を取得してこれを保持する。そして、断面画像取得部１３０からの要求にしたがって、保持している三次元画像データを断面画像取得部１３０へと出力する。
【００２４】
位置取得部１２２は、情報処理装置１００へ入力される注目病変部の位置を取得してこれを保持する。そして、断面画像取得部１３０からの要求にしたがって、保持している注目病変部の位置を断面画像取得部１３０へと出力する。
【００２５】
断面画像取得部１３０は、三次元画像データ取得部１２０の出力である三次元画像データと、位置取得部１２２の出力である注目病変部の位置とを入力する。また、位置姿勢取得部１１２の出力である超音波断層画像の位置姿勢を入力する。そして、これらのデータに基づいて、超音波断層画像と同じ姿勢でかつ注目病変部を含んだ断面画像（第二の二次元断面画像）を三次元画像データから生成して、画像合成部１４０へと出力する。
【００２６】
画像合成部１４０は、断層画像取得部１１０の出力である超音波断層画像と、断面画像取得部１３０の出力である断面画像とを入力する。そして、入力した超音波断層画像と断面画像とを合成し、得られた合成画像を表示制御部１５０あるいは外部へと出力する。
【００２７】
表示制御部１５０は、画像合成部１４０の出力である合成画像を取得し、これを表示部１６０に表示する。これにより、操作者は二つの断面画像を見比べて、超音波探触子により撮影された画像に注目領域である病変部が映っているか否かを判別することができる。仮に二つの断層画像に同一の病変部が映れば、その超音波探触子を押し当てた被検体の位置に病変部が存在することが分かる。また、超音波断層画像若しくは被検体と、ＭＲＩの三次元画像データとの位置合わせが行われたことになる。
【００２８】
なお、図１に示した各部（断層画像取得部１１０、位置姿勢取得部１１２、三次元画像データ取得部１２０、位置取得部１２２、断面画像取得部１３０、画像合成部１４０、表示制御部１５０）の少なくとも一部は、独立した装置として実現してもよい。または、夫々一つもしくは複数のコンピュータにインストールし、コンピュータのＣＰＵにより実行することで、その機能を実現するソフトウェアとして実現してもよい。本実施例では、各部はそれぞれソフトウェアにより実現され、同一のコンピュータにインストールされているものとする。
【００２９】
図２は、断層画像取得部１１０、位置姿勢取得部１１２、三次元画像データ取得部１２０、位置取得部１２２、断面画像取得部１３０、画像合成部１４０の夫々の機能を、ソフトウェアを実行することで実現するためのコンピュータの基本構成を示す図である。
【００３０】
ＣＰＵ１００１は、ＲＡＭ１００２やＲＯＭ１００３に格納されたプログラムやデータを用いてコンピュータ全体の制御を行う。また、断層画像取得部１１０、位置姿勢取得部１１２、三次元画像データ取得部１２０、位置取得部１２２、断面画像取得部１３０、画像合成部１４０の夫々におけるソフトウェアの実行を制御して、各部の機能を実現する。
【００３１】
ＲＡＭ１００２は、外部記憶装置１００７や記憶媒体ドライブ１００８からロードされたプログラムやデータを一時的に記憶するエリアを備えると共に、ＣＰＵ１００１が各種の処理を行うために必要とするワークエリアを備える。
【００３２】
ＲＯＭ１００３は、一般にコンピュータのプログラムや設定データなどが格納されている。キーボード１００４、マウス１００５は入力デバイスであり、操作者はこれらを用いて、各種の指示をＣＰＵ１００１に入力することができる。
【００３３】
表示部１００６は、ＣＲＴや液晶ディスプレイなどにより構成されており、図１における表示部１６０がこれに相当する。表示部１００６は、画像合成部１４０が生成する合成画像の他に、画像処理のために表示すべきメッセージやＧＵＩ等を表示することができる。
【００３４】
外部記憶装置１００７は、ハードディスクドライブなどの大容量情報記憶装置として機能する装置であって、ここにＯＳ（オペレーティングシステム）やＣＰＵ１００１が実行するプログラム等を保存する。また本実施例の説明において、既知であると説明する情報はここに保存されており、必要に応じてＲＡＭ１００２にロードされる。
【００３５】
記憶媒体ドライブ１００８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記憶されているプログラムやデータをＣＰＵ１００１からの指示に従って読み出して、ＲＡＭ１００２や外部記憶装置１００７に出力する。
【００３６】
Ｉ／Ｆ１００９は、アナログビデオポートあるいはＩＥＥＥ１３９４等のデジタル入出力ポートや、合成画像などの情報を外部へ出力するためのイーサネット(登録商標)ポート等によって構成される。夫々が入力したデータはＩ／Ｆ１００９を介してＲＡＭ１００２に取り込まれる。断層画像取得部１１０、位置姿勢取得部１１２、三次元画像データ取得部１２０、および位置取得部１２２の機能の一部は、Ｉ／Ｆ１００９によって実現される。
【００３７】
上述した各構成要素は、バス１０１０によって相互に接続される。
【００３８】
上述の情報処理システムにより実現される処理の概要を、図３を用いて説明する。この処理は、ＭＲＩの三次元画像データと超音波断層画像の位置合わせを行うことを目的として、超音波断層画像と、それに応じてＭＲＩの三次元画像データから生成（取得）された断面画像を表示部１６０に表示させる処理である。図３の上方左側には、被検体と超音波探触子が示されている。また、図３の上方右側には、ＭＲＩの三次元画像データから生成されるボリュームデータと、超音波断層画像に基づいて生成されるＭＲＩボリュームデータの断面画像が示されている。図３の下方には、超音波探触子により取得された超音波断層画像と、ＭＲＩボリュームデータから生成されたＭＲＩの断面画像の表示態様が示されている。
【００３９】
操作者（医師や技師等）は、超音波探触子を被検体に押し当て、被検体の超音波断層画像を取得する。図３上方左側には、超音波断層画像を実線で、超音波断層画像を含む平面を点線で示している。超音波探触子の位置姿勢がセンサにより計測できるので、被検体に対する超音波断層画像の位置姿勢の情報を取得することができる。
【００４０】
一方、ＭＲＩの三次元画像データ上では、操作者が手動でまたは画像処理により自動で病変部が特定されている。なお、ここでは病変部に限らず、特徴的な形状等が現れるような注目領域が特定できていれば良い。操作者は、このＭＲＩの三次元画像データ上で特定された領域を、被検体を撮影した超音波断層画像上において探索する。
【００４１】
上述の情報処理システムは、超音波断層画像の位置姿勢と注目領域（注目病変部）の位置が与えられると、これらの情報に基づいてＭＲＩの三次元画像データから断面画像を生成（取得）する。ここで生成する断面画像は、先述の超音波断層画像を含む平面と平行な断面画像であって、かつ、注目領域を通る断面画像である。このような断面画像を生成することで、超音波探触子がどのような姿勢であっても、二つの断面画像（超音波断層画像とＭＲＩの断面画像）の被検体に対する傾き（姿勢）を常に揃えて表示できる。その結果、操作者は超音波探触子を押し当てる位置のみをＭＲＩデータと合わせればよい。傾きを揃える手間を省くことができるため、操作者による位置合わせを容易にさせることができる。
【００４２】
超音波断層画像と、ＭＲＩの断面画像はそれぞれ表示部に表示される。操作者は超音波探触子を押し当てる位置を変えながら夫々の画像に映った内容が一致するか否かを見比べて、位置合わせを行うことができる。
【００４３】
図４は、情報処理装置１００が行う全体の処理手順を示すフローチャートである。同フローチャートは、本実施例ではＣＰＵ１００１が各部の機能を実現するプログラムを実行することにより実現される。なお、以下の処理を行う前段で、同フローチャートに従ったプログラムコードは、例えば外部記憶装置１００７からＲＡＭ１００２に既にロードされているものとする。
【００４４】
（Ｓ４０００） （三次元画像データの取得）
ステップＳ４０００において、情報処理装置１００は、三次元画像データ取得部１２０の処理として、データサーバ１９０から三次元画像データとして参照断層画像群を取得する。また、位置取得部１２２の処理として、データサーバ１９０から注目領域（注目病変部）の位置を取得する。なお、三次元画像データの各断層画像の位置姿勢および注目病変部の位置は、既知の値として予め記憶している基準座標系からＭＲＩ装置座標系への変換行列に基づいて、本ステップで基準座標系に変換される。
【００４５】
（Ｓ４０１０） （断層画像の取得）
ステップＳ４０１０において、情報処理装置１００は、断層画像取得部１１０の処理として、第２医用画像収集装置１８０から超音波断層画像を取得する。また、位置姿勢取得部１１２の処理として、上記超音波断層画像を撮像した際の超音波探触子の位置姿勢を第２医用画像収集装置１８０から取得する。そして、既知の値として予め記憶している超音波探触子と超音波断層画像の相対位置姿勢を利用して、超音波探触子の位置姿勢から超音波断層画像の位置姿勢を算出する。
【００４６】
（Ｓ４０２０） （断面画像の生成）
ステップＳ４０２０において、情報処理装置１００は、断面画像取得部１３０の処理として、ステップＳ４０００で得た注目病変部の位置と、ステップＳ４０１０で得た超音波断層画像の位置姿勢とに基づいて、三次元画像データから断面画像を生成する。
【００４７】
はじめに、断面画像取得部１３０は、前処理として、ステップＳ４０００で取得した参照断層画像群から、各断層画像の各画素を三次元的に配置・補間することで、三次元のボクセルに輝度値を格納した三次元ボリュームデータを復元する。なお、この前処理は、ステップＳ４０２０の処理を最初に行う際に一度だけ実行すればよい。
【００４８】
次に、断面画像取得部１３０は、注目病変部の位置と超音波断層画像の姿勢に基づく断面（平面）を算出する。具体的には、まず、基準座標系と断面座標系（断面の位置姿勢を表す座標系）が一致するように、断面の（断面座標系の）位置姿勢を初期化する。次に、断面の姿勢が超音波断層画像の姿勢と一致するように、基準座標系の中で断面を回転させる。そして、断面座標系の原点が注目病変部の位置に一致するように、断面を並行移動させる。以上によって算出された断面は、注目病変部を面内に含んで（すなわち、断面を表す平面が注目領域を通って）、かつ、超音波断層画像と同一の姿勢を有する（超音波断層画像と平行な）断面となる。最後に、断面上において断面画像を生成する範囲を算出する。例えば、超音波断層画像の位置姿勢に基づいて超音波断層画像の４隅の点の位置を算出し、夫々の点から上記断面に下ろした垂線の足からなる４点によって、生成する断面画像の範囲を決定する。
【００４９】
最後に、断面画像取得部１３０は、上記で求めた断面に対応する画像を、三次元ボリュームデータから切り出して生成する。なお、指定した断面の画像を三次元ボリュームデータから切り出して生成する方法については周知であるので、その詳細に関する説明は省略する。
【００５０】
（Ｓ４０３０） （画像の合成）
ステップＳ４０３０において、情報処理装置１００は、画像合成部１４０の処理として、ステップＳ４０１０で得た超音波断層画像と、ステップＳ４０２０で得た断面画像とを合成する。そして、表示制御部１５０の処理として、合成した画像を表示部１６０に表示する。また、必要に応じて、Ｉ／Ｆ１００９を介してこれを外部へと出力し、さらに、他のアプリケーションから利用可能な状態としてＲＡＭ１００２上に格納する。
【００５１】
例えば、超音波断層画像と断面画像を異なる色で描画して重ね合わせて表示してもよいし、あるいは、超音波断層画像と断面画像のいずれか一方のみを選択して表示できるようにしてもよい。また、一つの画面を縦または横に分割して、一方に超音波断層画像を表示し他方に断面画像を表示してもよいし、二つの画面に夫々表示してもよい。図５（ａ）は、一つの画面を縦に分割して、注目病変部５０１０を含む断面画像５０２０と超音波断層画像５０４０を、横に並べて表示した例を示す。なお、この例では、対応病変部５０３０が超音波断層画像５０４０上に描出されている様子を示している。
【００５２】
さらに、注目病変部の位置を示す円などの図形を、超音波断層画像に重ね合わせて表示してもよい。この表示は、例えば、注目病変部の位置に所定の大きさの仮想的な球があると仮定して、超音波断層画像をなす断面によってその球を切断したときの円を描画することによって実現される。これによると、当該図形を、対応病変部を探索する際の手がかりとして利用することができる。なお、超音波断層画像の位置姿勢が精度良く計測されていて、かつ、三次元画像データ取得時と超音波断層画像撮像時の間で被検体が変形していないという理想的な条件下であれば、対応病変部は上記の球の中心（すなわち、注目病変部の位置）に存在する。しかし、実際には、超音波断層画像の位置姿勢の計測誤差や、撮影体位の差異や超音波探触子の圧力に起因する被検体の変形が影響するため、対応病変部は上記の球の中心には存在しない。
【００５３】
また、注目病変部の位置を示す図形を断面画像上に表示してもよい。また、超音波断層画像の姿勢変化を視覚的に表す矢印などの図形を表示してもよいし、三次元ボリュームデータをボリュームレンダリングした上に断面画像の位置姿勢を表す平面などの図形を重ね合わせて描画してもよい。また、図形を重ね合わせるか否かを選択できるようにしてもよい。図５（ｂ）は、断面画像５０２０上と超音波断層画像５０４０上の夫々に、注目病変部５０１０の位置を示す円５０５０及び円５０６０を重ね合わせて表示した例を示す。
【００５４】
なお、以下で説明するステップＳ４０４０からステップＳ４０６０の処理において操作者が特別な指示を入力しない限りにおいては、上記で述べたステップＳ４０１０からステップＳ４０３０の処理が反復的に実行される。それにより、注目病変部を含んでかつ超音波断層画像と同じ姿勢を有する断面画像が、超音波探触子の操作に応じて時々刻々と取得される超音波断層画像と同期した形で表示部１６０に表示される。その結果、本ステップで表示する合成画像を操作者が観察しながら超音波探触子を操作することで、対応病変部を描出する超音波断層画像の探索を容易に行うことが可能となる。
【００５５】
以下の処理（ステップＳ４０４０及びＳ４０５０）では、超音波断層画像における対応病変部の位置を指定することで、注目病変部の位置と対応病変部が実際に存在する位置との間のずれの補正を行う。
【００５６】
（Ｓ４０４０） （位置指定）
ステップＳ４０４０において、情報処理装置１００は、位置姿勢取得部１１２の処理として、超音波探触子を操作して得られる超音波断層画像上の対応病変部の位置が指定されたか否かの判定を行う。対応病変部の位置は、例えば、表示部１６０に表示された超音波断層画像上における対応病変部の位置（例えば図５（ａ）の５０３０）を、操作者がマウス１００５でクリックすることによって指定する。対応病変部の位置が指定された場合には、超音波断層画像上における対応病変部の位置と、超音波断層画像の位置姿勢に基づいて、基準座標系における対応病変部の位置を算出する。そして、ステップＳ４０５０へと処理を進める。一方、位置が指定されていない場合には、ステップＳ４０６０へと処理を進める。
【００５７】
（Ｓ４０５０） （オフセット分の補正）
ステップＳ４０５０において、情報処理装置１００は、位置姿勢取得部１１２の処理として、ステップＳ４０４０で取得した対応病変部の位置と、ステップＳ４０００で取得した注目病変部の位置との間のオフセットを算出する。そして、以降におけるステップＳ４０１０の処理において、超音波断層画像の位置の算出値からオフセット分を差し引くことによって、位置姿勢センサの計測誤差や被検体の変形などの影響を補正する。そして、注目病変部の位置に対応病変部が実際に存在するようにする。なお、超音波断層画像の位置の算出値からオフセット分を差し引くのではなく、基準座標系からＭＲＩ装置座標系への変換行列をオフセット分だけ補正してもよい（ただしこの場合は、ステップＳ４０００で行った座標変換処理を再度実行する）。
【００５８】
（Ｓ４０６０） （取得終了）
ステップＳ４０６０において、情報処理装置１００は、全体の処理を終了するか否かの判定を行う。例えば、表示部１６０上に配置された終了ボタンを操作者がマウス１００５でクリックするなどして、終了の判定を入力する。終了すると判定した場合には、情報処理装置１００の処理の全体を終了させる。一方、終了すると判定しなかった場合には、ステップＳ４０１０へと処理を戻し、新たに撮像される超音波断層画像に対して、ステップＳ４０１０からステップＳ３０６０までの処理を再度実行する。その際に、操作者は形状や周辺部の見え方等の類似性を参考にして、対応病変部が含まれていると考えられる方向に超音波探触子を移動させる。
【００５９】
以上によって、超音波断層画像と同じ姿勢で注目病変部を含む断面画像が三次元画像データから切り出されて、超音波断層画像と断面画像との合成画像が生成される。
【００６０】
以上のように、本実施例に係る情報処理装置によると、注目領域（注目病変部）を含み、かつ取得した対象断層画像と同じ姿勢の断面画像を三次元画像データ（参照断層画像群）から切り出すことができる。切り出した断面画像の姿勢が取得した対象断層画像の姿勢と常に一致するので、形状や周辺部の見え方等の類似性を参考にしながら、対応病変部を探すことが容易となる。
【００６１】
（変形例１） （変形に応じてＭＲＩ断面画像の傾きを変更する）
本実施例では、超音波断層画像とそれに応じて取得されるＭＲＩ断面画像は被検体に対する傾きが同じ、すなわち平行としたが、本発明の適用例はこれに限られない。撮影体位や超音波探触子の押し当てによる変形や、撮影日の違いによる変化に伴って、被検体の状態が変化する場合には、必ずしも超音波断層画像とＭＲＩ画像を平行とすることが適切でない場合がありうる。例えば、超音波探触子の押し当てによる変形の場合であれば、超音波探触子の鉛直方向下向きに圧迫されることによる変形が起こっていると仮定し、変形に応じた量だけＭＲＩ画像の傾きを変更する。変更量の導出には、周知の柔軟物変形モデルを用いて行うことが考えられる。
【００６２】
このように被検体の変形を考慮してＭＲＩ断面画像を生成することにより、超音波断層画像とより正確に対応したＭＲＩ断面画像を生成することができるため、位置合わせを行うものの作業効率を上げると共に、より正確な位置合わせを実現させることができる。
【００６３】
（変形例２） （ＭＲＩ断層画像群以外）
本実施例では、三次元画像データとして、ＭＲＩ装置やＸ線ＣＴ装置によって被検体を事前に撮像して得られた参照断層画像群をデータサーバ１９０から取得して用いる場合を例に述べた。しかし、使用する三次元画像データはこれに限られるものではない。
【００６４】
例えば、参照断層画像群から予め復元した輝度値配列データ（三次元ボリュームデータ）をデータサーバ１９０が保持している場合には、これを三次元画像データとして取得して用いる構成であってもよい。この場合、ステップＳ４０２０における三次元ボリュームデータの生成処理を省略できる。
【００６５】
また、過去に超音波画像診断装置によって被検体を撮像して得られた断層画像群から予め復元した輝度値配列データ（三次元ボリュームデータ）をデータサーバ１９０が保持している場合には、これを三次元画像データとして用いる構成であってもよい。データサーバ１９０（あるいは、不図示の情報処理装置）は、位置姿勢つきの超音波断層画像を超音波診断装置から取得して、断層画像間の位置関係に基づいて三次元ボリュームデータを復元する。この場合には、被検体への超音波探触子の当て方が過去の撮像とで異なっていたとしても、同一姿勢の断面で両者を比較できるため、病変部の経時変化の観察が容易となる。
【００６６】
また、事前に三次元超音波探触子を用いて直接的に取得された三次元ボリュームデータをデータサーバ１９０が保持している場合には、これを三次元画像データとして用いる構成であってもよい。
【００６７】
（変形例３） （位置合わせの対象となる断層画像）
実施例１において位置合わせの対象となる２種類の断層画像（断面画像）は、超音波断層画像とＭＲＩ断層画像群（ＭＲＩボリュームデータ）であったが、本発明の適用はこれに限られない。例えば、これら以外の異なる複数のモダリティにより撮影された断層画像に対して位置合わせをしても良い。この場合、第一の撮影方法（モダリティ）で撮影された第一の二次元断層画像と、第二の撮影方法（モダリティ）撮影された第二の二次元断層画像の位置合わせを容易に行うことが可能になる。
【００６８】
また、同一のモダリティによる断層画像であっても、被検体の撮影時の体位や、撮影に用いるモダリティのパラメータ等の撮影条件、経過観察等のため撮影日等が異なる場合なども、得られる断層画像が変化する場合があり、本発明を適用できる。
【００６９】
（変形例４） （表示のバリエーション）
本実施例では、ステップＳ４０２０の処理において、算出した断面に基づいて、三次元画像データの断面画像を生成していた。しかし、断面画像の生成はこれに限られるものではない。
【００７０】
例えば、ＭＲＩの三次元ボリュームデータに画像処理を施して見え方を調整した新たな三次元ボリュームデータを生成して、その新たな三次元ボリュームデータの断面を断面画像として生成してもよい。例えば、エッジ強調処理や、臓器セグメンテーション結果に基づく擬似カラー処理等を施したボリュームデータを生成して、その断面画像を生成してもよい。また、公知の方法で、ＭＲＩ画像をあたかも超音波画像診断装置によって撮像されたかのような画像に変換する処理を施したボリュームデータを生成して、その断面画像を生成してもよい。もちろん、ＭＲＩの三次元ボリュームデータから断面画像を生成した後に、断面画像に対して上述したような画像処理を施してもよい。
【００７１】
また、算出した断面に基づいて三次元画像データから画像を生成するものであれば、生成する断面画像は、その断面上のボクセル値を画像化した画像でなくてもよい。例えば、断面を中心として法線方向に所定の範囲を設定した上で、当該範囲内における法線方向のボクセル値の最大値を断面上の各点に関して求めた最大値投影画像を断面画像としてもよい。ここでは、算出した断面に関して生成される上記のような画像を含め、広義の意味で「断面画像」と呼ぶ。
【００７２】
（変形例５） （３Ｄ探触子でＭＰＲ像を取得）
本実施例では、超音波画像診断装置で断層画像を撮像する場合を例に述べたが、超音波画像診断装置で取得するデータはこれに限られるものではない。例えば、三次元の超音波探触子でＭＰＲ（Ｍｕｌｔｉ Ｐｌａｎａｒ Ｒｅｆｏｒｍａｔ）像を取得する場合にも、上記の実施例の手法が適用可能である。すなわち、複数の断面の夫々に対して上記の実施例の手法をそのまま適用すればよい。
【００７３】
（変形例６） （姿勢センサ利用）
本実施例では、位置姿勢センサを超音波画像診断装置に装着して、超音波探触子の位置姿勢を計測する場合を例に述べたが、位置に関しては必ずしも計測する必要はない。例えば、姿勢センサを超音波画像診断装置に装着して、超音波探触子の姿勢のみを計測してもよい。
【００７４】
この場合、位置姿勢取得部１１２は、超音波探触子の姿勢と、予め算出して記憶された超音波断層画像の超音波探触子座標系における位置姿勢とに基づいて、超音波断層画像の基準座標系における姿勢を算出して、断面画像取得部１３０へと出力する。
【００７５】
なお、この場合、ステップＳ４０２０において断面画像取得部１３０が実行する処理の一部（断面上において断面画像を生成する範囲を決定する処理）が上記とは異なったものとなる。すなわち、超音波断層画像の４隅の点の位置が未知となるので、断面画像を生成する範囲を、例えば断面画像内における注目領域を中心とした所定の領域によって設定する。
【００７６】
以上によって、位置姿勢センサを用いる場合よりも簡便な装置構成で、注目病変部に対応する対応病変部を含む断層画像を超音波探触子の操作によって容易に描出することができる。ただし、この場合は、超音波断層画像の位置は計測できないので、ステップＳ４０３０における注目病変部の位置を示す円５０６０の描画と、ステップＳ４０４０及びステップＳ４０５０におけるずれの補正処理は実行しない。
【００７７】
（変形例７） （注目病変部の位置を指定）
本実施例では、データサーバ１９０が予め指定された注目病変部の位置を保持している場合を例に述べたが、情報処理装置の内部で注目病変部の位置を指定してもよい。その場合、情報処理装置に病変指定部が追加される。
【００７８】
病変指定部は、三次元画像データ取得部１２０の出力である三次元画像データを構成する個々の断層画像を表示部１６０に順次表示する。そして、断層画像上に注目病変部が写ったところで、表示画像上におけるその位置を操作者が例えばマウス１００５でクリックすることによって指定する。その後断層画像上における病変部の位置と、当該断層画像の位置姿勢に基づいて、基準座標系における注目病変部の位置を算出する。なお、以上の処理は、ステップＳ４０００とステップＳ４０１０の間に実行すればよい。
【００７９】
また、ステップＳ４０３０で表示した断面画像上（例えば図５（ａ）の５０２０）において、注目病変部の位置を再設定することが可能な構成であってもよい。これを実現するには、ステップＳ４０４０において、対応病変部の位置取得と同様な処理を注目病変部に対しても行えばよい。すなわち、表示部１６０に表示された断面画像上における注目病変部の位置（例えば図５（ａ）の５０１０）を操作者がマウス１００５でクリックすることによって指定し、当該断面の位置姿勢に基づいて注目病変部の位置を算出すればよい。本変形例に係る情報処理装置によると、対応病変部を含む断層画像の描出結果に基づいて、注目病変部の位置を正確に指定し直すことが可能となる。
【００８０】
（変形例８） （連動／非連動）
本実施例では、断層画像と同じ姿勢の断面画像を三次元画像データから切り出す場合を例に述べた。すなわち、断層画像の姿勢と断面画像の姿勢とが最初から一致している（姿勢には深刻な誤差は無い）場合に有効な方法について述べた。しかし、これに限らず、断層画像の姿勢にオフセットを付加した姿勢の断面画像を三次元画像データから切り出してもよい。例えば、表示部１６０上に表示された断面画像上において、マウスの左ボタンを押下したままドラッグ操作することで、ドラッグの方向と変位量に応じたオフセット（回転軸と回転角）を設定してもよい。このとき操作者は、入力に合わせて断面画像のみが回転するような操作感を得る。これにより、断層画像の姿勢と断面画像の姿勢とが一致していない場合に、それらが一致するように合わせ込むことができる。
【００８１】
（変形例９） （姿勢の設定方法）
本実施例では、断層画像と同じ姿勢の断面画像を生成する場合を例に述べた。しかし、これに限らず、断層画像の姿勢に対応して（基づいて）何れかの方法で求めた姿勢の断面画像を生成してもよい。例えば、過去の（前にステップＳ４０２０の処理をした際の）断層画像の姿勢と現在の断層画像の姿勢に基づいて、生成する断面画像の姿勢を決定してもよい。例えば、過去の断層画像の姿勢と現在の断層画像の姿勢との加重平均を断面画像の姿勢としてもよい。これによると、姿勢の計測ノイズに起因するジッタを除去できるという効果がある。また、前時刻の（前にステップＳ４０２０の処理をした際の）断面の姿勢と現在の断層画像の姿勢に基づいて、生成する断面画像の姿勢を決定してもよい。例えば、前時刻の断面の姿勢と現在の断層画像の姿勢との加重平均を断面画像の姿勢としてもよい。これによると、断面の姿勢が急激に変化しないというスムージングの効果がある。
【実施例２】
【００８２】
実施例１では、実時間で撮像している超音波断層画像を取り扱う場合について説明した。しかし、取り扱う断層画像は、実時間で撮像している超音波断層画像に限らず、予め撮像された超音波断層画像群であってもよい。本実施例に係る情報処理装置は、予め撮像された超音波断層画像群から、三次元画像データ中の注目領域（注目病変部）に対応する部位（対応病変部）を含む断層画像を操作者（医師や技師）が容易に描出できるようにするための機能を提供する。以下、本実施例に係る情報処理装置について、実施例１との相違部分についてのみ説明する。
【００８３】
図６は、本実施例に係る情報処理装置の構成を示す。なお、図１と同じ部分については同じ番号、記号を付けており、その説明を省略する。本実施例における情報処理装置６００は、断層画像取得部６１０、位置姿勢取得部６１２、三次元画像データ取得部１２０、位置取得部６２２、断面画像取得部１３０、画像合成部１４０、表示制御部１５０、断層画像選択部６６０によって構成される。そして、被検体を予め撮像して得られた三次元画像データ（第１の実施例と同様）および超音波断層画像群を保持するデータサーバ６９０に接続されている。
【００８４】
データサーバ６９０が保持する超音波断層画像群は、第２医用画像収集装置１８０としての超音波画像診断装置によって被検体を事前に撮像して得られた断層画像群である。被検体を撮像した超音波断層画像群は、断層画像選択部６６０を介して情報処理装置６００に入力される。本実施例では、各超音波断層画像の位置姿勢もデータサーバ６９０が保持しており、断層画像選択部６６０を介して情報処理装置６００に入力されるものとする。
【００８５】
位置取得部６２２は、実施例１における位置取得部１２２の動作に加え、断層画像選択部６６０からの要求にしたがって、保持している注目病変部の位置を、断層画像選択部６６０へと出力する。
【００８６】
断層画像選択部６６０は、情報処理装置６００へ入力される各超音波断層画像と位置取得部６２２が出力する注目病変部の位置関係に基づいて、超音波断層画像群から一つ以上の断層画像を選択する。そして、選択した断層画像（以下では選択断層画像と呼ぶ）を断層画像取得部６１０へと出力する。また、選択断層画像の位置姿勢を位置姿勢取得部６１２へと出力する。
【００８７】
断層画像取得部６１０及び位置姿勢取得部６１２は、断層画像選択部６６０が出力したデータを取得する点が、実施例における断層画像取得部１１０及び位置姿勢取得部１１２と異なっている。なお、断層画像選択部６６０は断層画像の位置姿勢を出力するので、超音波探触子の位置姿勢から超音波断層画像の位置姿勢を算出する処理は不要となる。
【００８８】
なお、情報処理装置６００を構成する上記各部の夫々の機能をソフトウェアの実行によって実現するコンピュータの基本構成は、実施例１における図２と同様である。
【００８９】
図７は、情報処理装置６００が行う全体の処理手順を示すフローチャートである。同フローチャートは、本実施例ではＣＰＵ１００１が各部の機能を実現するプログラムを実行することにより実現される。なお、以下の処理を行う前段で、同フローチャートに従ったプログラムコードは、例えば外部記憶装置１００７からＲＡＭ１００２に既にロードされているものとする。
【００９０】
（Ｓ７０００） （データの入力）
ステップＳ７０００において、情報処理装置６００は、実施例１におけるステップＳ４０００と同様な処理を行う。さらに、情報処理装置６００は、断層画像選択部６６０の処理として、データサーバ６９０から超音波断層画像群と各超音波断層画像の位置姿勢とを取得する。
【００９１】
（Ｓ７０１０） （断層画像の選択）
ステップＳ７０１０において、情報処理装置６００は、断層画像選択部６６０の処理として、ステップＳ７０００で得た注目病変部の位置と、各超音波断層画像の位置姿勢とに基づいて、選択断層画像を選択する。そして、選択断層画像を断層画像取得部６１０へと出力し、また、選択断層画像の位置姿勢を位置姿勢取得部６１２へと出力する。なお、本ステップにおける断層画像選択部６６０の処理の詳細は、図８に示すフローチャートを用いて後に詳しく説明する。
【００９２】
以下、ステップＳ７０２０からステップＳ７０６０までの処理は、実施例１におけるステップＳ４０２０からステップＳ４０６０までの処理と同様であるので、詳細な説明は省略する。
【００９３】
図８は、上述のステップＳ７０１０における断層画像選択部６６０の処理手順を示すフローチャートである。
【００９４】
（Ｓ８０００） （未選択か否かの判定）
ステップＳ８０００において、断層画像選択部６６０は、断層画像の選択処理をまだ一度も行っていないかどうかを判定する。まだ一度も選択処理を行っていない場合には、ステップＳ８０１０へと処理を進める。一方、既に選択処理を行っている場合には、ステップＳ８０７０へと処理を進める。
【００９５】
（Ｓ８０１０） （データの入力）
ステップＳ８０１０において、断層画像選択部６６０は、注目病変部の位置を位置取得部６２２から取得する。また、超音波断層画像から注目病変部までの最小距離を表すｄｍｉｎに、初期値として大きな値（例えば１０００ｍｍ）を設定する。
【００９６】
断層画像選択部６６０は、以下に示すステップＳ８０２０からステップＳ８０６０の処理によって、注目病変部までの距離を最小とする超音波断層画像を、超音波断層画像群の中から選択する。
【００９７】
（Ｓ８０２０） （未処理の断層画像の選択）
ステップＳ８０２０において、断層画像選択部６６０は、ステップＳ８０００でデータサーバ６９０から取得した超音波断層画像群の中から、未処理の超音波断層画像をひとつ選択する。例えば、超音波画像診断装置によって撮像された時刻の順番にしたがって、順次選択する。
【００９８】
（Ｓ８０３０） （病変部までの距離の算出）
ステップＳ８０３０において、断層画像選択部６６０は、ステップＳ８０２０で選択した超音波断層画像から注目病変部までの距離を算出する。
【００９９】
具体的には、まず、当該超音波断層画像の超音波断層画像座標系における注目病変部の位置を次式によって算出する。
【０１００】
【数１】
【０１０１】
ここで、ｘｉ＝［ｘｉ ｙｉ ｚｉ １］Ｔは超音波断層画像座標系における注目病変部の位置であり、ｘｗ＝［ｘｗ ｙｗ ｚｗ １］Ｔは基準座標系における注目病変部の位置である。そしてＴｉｗは、超音波断層画像の位置姿勢を表す、超音波断層画像座標系から基準座標系への４ｘ４の変換行列である。
【０１０２】
そして、超音波断層画像から注目病変部までの距離ｄを、次式によって算出する。
【０１０３】
【数２】
【０１０４】
（Ｓ８０４０） （最小距離の更新）
ステップＳ８０４０において、断層画像選択部６６０は、ステップＳ８０３０で得た距離ｄが現在のｄｍｉｎよりも小さいかどうかを判定する。ｄがｄｍｉｎよりも小さかった場合には、ｄｍｉｎの値をｄの値に更新する。そして、ｄｍｉｎを与える超音波断層画像を、注目病変部に最も近い断層画像として暫定的に保持する。
【０１０５】
（Ｓ８０５０） （判定）
ステップＳ８０５０において、断層画像選択部６６０は、全ての超音波断層画像に対して処理を終えたか否かの判定を行い、処理を終えていない場合にはステップＳ８０２０へと処理を戻す。一方、処理を終えているのであればステップＳ８０６０へと処理を進める。
【０１０６】
（Ｓ８０６０） （断層画像の選択）
ステップＳ８０６０において、断層画像選択部６６０は、ステップＳ８０４０で最後に保持した（すなわち、注目病変部までの距離が最小となる）超音波断層画像を、選択断層画像として選択する。
【０１０７】
もし仮に、超音波断層画像の位置姿勢が精度良く計測されていて、かつ、三次元画像データ取得時と超音波断層画像撮像時の間で被検体が変形していないという理想的な条件下であれば、上記で得た選択断層画像中には対応病変部が確実に存在する。しかし実際には、超音波断層画像の位置姿勢の計測誤差や、撮影体位の差異や超音波探触子の圧力に起因する被検体の変形などの影響により、選択断層画像中に対応病変部が実際に存在するとは限らない。
【０１０８】
なお、取得した超音波断層画像群が複数の部分断層画像群から成り立っている場合には、断層画像選択部６６０は、上記のステップＳ８０２０からステップＳ８０６０までの処理を、夫々の部分断層画像群に対して実行する。そして、夫々の部分断層画像群から選択断層画像の候補を１枚ずつ選択して、表示部１６０にこれらを並べて表示する。そして、操作者からの指示（例えば、表示した選択断層画像の候補をマウスでクリックする）に従って、最終的な選択断層画像を選択する。
【０１０９】
（Ｓ８０７０） （断層画像の再選択）
ステップＳ８０７０において、断層画像選択部６６０は、選択断層画像の近傍の断層画像を再選択する。具体的には、選択断層画像が撮像された時刻の直前または直後に撮像された断層画像を、改めて選択断層画像として選択する。例えば、不図示のＵＩを介して操作者から「１フレーム前」の指示を取得した場合には、現在の選択断層画像の１時刻前に撮像した断層画像を新たな選択断層画像として選択する。同様に、「１フレーム後」の指示を取得した場合には、現在の選択断層画像の１時刻後に撮像した断層画像を新たな選択断層画像として選択する。同様に、「順方向再生」の指示を取得した場合には、本ステップの処理を実行する毎に、撮像時刻の順番に従って断層画像を順送りする（直後の時刻に撮像された断層画像を選択する）。また、「逆方向再生」の指示を取得した場合には、本ステップの処理を実行する毎に、撮像時刻の逆順に断層画像を逆送りする（直前の時刻に撮像された断層画像を選択する）。また、「停止」の指示を取得した場合には、上記「順方向再生」や「逆方向再生」の指示を無効にする（すなわち、断層画像の再選択を行わない）。その他、時系列画像の表示を操作する一般的な指示のいずれを用いて再選択を行ってもよい。なお、これらの指示は、例えば、コマンドをキーボードの特定のキーに割り当てることで入力すればよい。または、画面上に操作ボタンや操作バーを配置してマウスでクリックやドラッグするなどして入力してもよい。また、取得した超音波断層画像群が複数の部分断層画像群から成り立っている場合には、ステップＳ８０６０と同様な操作者からの指示（表示した選択断層画像の候補をマウスでクリックする）に応じて、選択する部分断層画像群を切り替える処理を行う。
【０１１０】
ここで、位置姿勢センサの計測誤差の最大値や被検体の変形の最大値からずれの最大値が推定可能である場合には、探索範囲を限定することができる。例えば、ずれの最大値が１０ｍｍの場合には、ステップＳ８０３０で得られる距離ｄが１０ｍｍ以内となる断層画像のみを再選択できるようにしてもよい。これによると、対応病変部の存在する可能性が高い断層画像のみが表示されるので、対応病変部を探す作業をより効率的に行うことができる。
【０１１１】
（Ｓ８０８０） （断層画像の出力）
ステップＳ８０８０において、断層画像選択部６６０は、ステップＳ８０６０またはステップＳ８０７０で選択した選択断層画像を断層画像取得部６１０へと出力する。また、選択断層画像の姿勢を位置姿勢取得部６１２へと出力する。なお、選択断層画像の姿勢は、Ｔｉｗの一部を構成する３ｘ３の回転行列Ｒｉｗによって表すことができる。
【０１１２】
以上のように、本実施例に係る情報処理装置によると、注目病変部の近傍を撮影しているであろう断層画像が、断層画像群から選択される。そして、注目病変部を含み、かつ、選択した断層画像と同じ姿勢の断面画像を三次元画像データ（参照断層画像群）から切り出すことができる。切り出した断面画像の姿勢が選択した断層画像の姿勢と常に一致するので、形状や周辺部の見え方等の類似性を参考にしながら、対応病変部を探すことが容易となる。
【０１１３】
（変形例１） （超音波断層画像以外）
本実施例では、断層画像を撮影する第２医用画像収集装置１８０として超音波画像診断装置を用いる場合を例に述べたが、断層画像を撮影する医用画像収集装置はこれに限られるものではない。例えば、ＭＲＩ装置やＸ線ＣＴ装置などの断層画像を撮影可能な医用画像収集装置を用いる場合にも、上記の実施例の手法が適用可能である。
【０１１４】
（変形例２） （姿勢の設定方法）
本実施例では、夫々の断層画像と同じ姿勢の断面画像を生成する場合を例に述べた。しかし、これに限らず、断層画像の姿勢に対応して（基づいて）何れかの方法で求めた姿勢の断面画像を生成してもよい。例えば、ステップＳ７０１０で選択した断層画像の姿勢と、その前後の時刻の断層画像の姿勢との加重平均によって、生成する断面画像の姿勢を決定してもよい。これによると、姿勢の計測ノイズに起因するジッタを除去できるという効果がある。また、部分断層画像群を代表する姿勢（代表姿勢）を生成する断面画像の姿勢としてもよい。例えば、注目病変部に最も近い断層画像の姿勢を代表姿勢としてもよいし、部分断層画像群の姿勢の平均を代表姿勢としてもよい。これによると、断層画像に概ね一致する姿勢の断面画像が静止して表示されるので、画像が静止していて見やすいという効果がある。
【０１１５】
（その他の実施例）
以上、実施例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様を取ることが可能である。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【０１１６】
なお本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施例の機能が達成される場合を含む。この場合、供給されるプログラムは実施例で図に示したフローチャートに対応したコンピュータプログラムである。
【０１１７】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１１８】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【０１１９】
コンピュータプログラムを供給するためのコンピュータ読み取り可能な記憶媒体としては以下が挙げられる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などである。
【０１２０】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１２１】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布するという形態を取ることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。
【０１２２】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施例の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施例の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される。
【０１２３】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施例の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行う。
【符号の説明】
【０１２４】
１００ 情報処理装置
１１０ 断層画像取得部
１１２ 位置姿勢取得部
１２０ 三次元画像データ取得部
１２２ 位置取得部
１３０ 断面画像取得部
１４０ 画像合成部
１５０ 表示制御部
【特許請求の範囲】
【請求項１】
被検体の三次元画像における所定の領域の位置と、前記被検体の第一の二次元断面画像の姿勢とに基づき、前記三次元画像から前記領域を通りかつ前記姿勢に対応する第二の二次元断面画像を取得する取得手段と、
前記第一の二次元断面画像と前記第二の二次元断面画像を表示部に表示させる表示制御手段と、
を有することを特徴とする情報処理装置。
【請求項２】
前記被検体の変形に応じて、前記第二の二次元断面画像の被検体に対する傾きを変更する変更手段を有することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記取得手段は、前記第二の二次元断面画像を前記第一の二次元断面画像と平行にすることを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記第一の二次元断面画像は、前記被検体に超音波探触子を押し当てることにより取得される超音波断層画像であることを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記取得手段は、前記超音波探触子の位置及び姿勢の情報に基づいて前記第一の二次元断面画像の姿勢を得ることを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記取得手段は、前記被検体の断層画像群と前記領域との位置関係に基づいて前記被検体の断層画像群から選択することにより前記第一の二次元断面画像を取得することを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記第一の二次元断面画像と前記三次元画像は、モダリティ、撮影条件、前記被検体の撮影体位、または撮影日の少なくともいずれかが異なる画像であることを特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記第一の二次元断面画像は超音波断層画像であり、前記三次元画像はＭＲＩ画像であることを特徴とする請求項７に記載の情報処理装置。
【請求項９】
被検体の第一の二次元断面画像を通る平面が指定されたことに応じて、前記二次元断面画像と平行かつ所定の領域を通る平面による第二の二次元断面画像を取得する取得手段と、
前記第一の二次元断層画像と前記第二の二次元断面画像を表示部に表示させる表示制御手段と
を有することを特徴とする情報処理装置。
【請求項１０】
第一の撮影方法による被検体の第一の二次元断面画像が指定されたことに応じて、前記第一の二次元断面画像と平行で前記被検体の所定の領域を通る第二の二次元断面画像を第二の撮影方法により取得する取得手段と、
前記第一の二次元断面画像と、前記第二の二次元断面画像とを表示部に表示させる表示制御手段と
を有することを特徴とする情報処理装置。
【請求項１１】
第一の撮影方法で被検体を撮影した方向と、第二の撮影方法で取得された三次元画像の領域とに基づき、前記三次元画像から前記領域を通りかつ前記方向に対応する二次元断面画像を取得する取得手段と、
前記二次元断面画像を表示部に表示させる表示制御手段と、
を有することを特徴とする情報処理装置。
【請求項１２】
被検体の三次元画像における所定の領域の位置と、前記被検体の第一の二次元断面画像の姿勢とに基づき、前記三次元画像から前記領域を通りかつ前記姿勢に対応する第二の二次元断面画像を取得するステップと、
前記第一の二次元断面画像と前記第二の二次元断面画像を表示部に表示させるステップと、
を有することを特徴とする情報処理方法。
【請求項１３】
被検体の三次元画像における所定の領域の位置と、前記被検体の第一の二次元断面画像の姿勢とに基づき、前記三次元画像から前記領域を通りかつ前記姿勢に対応する第二の二次元断面画像を取得する処理と、
前記第一の二次元断面画像と前記第二の二次元断面画像を表示部に表示させる処理と、
を有する処理をコンピュータに実行させることを特徴とするプログラム。
【請求項１４】
被検体の三次元画像における所定の領域の位置と、前記被検体の第一の二次元断面画像の姿勢とに基づき、前記三次元画像から前記領域を通りかつ前記姿勢に対応する第二の二次元断面画像を取得する取得手段と、
前記第一の二次元断層画像と前記第二の二次元断面画像を表示部に表示させる表示制御手段と、
を有することを特徴とする情報処理システム。
【請求項１】
被検体の三次元画像における所定の領域の位置と、前記被検体の第一の二次元断面画像の姿勢とに基づき、前記三次元画像から前記領域を通りかつ前記姿勢に対応する第二の二次元断面画像を取得する取得手段と、
前記第一の二次元断面画像と前記第二の二次元断面画像を表示部に表示させる表示制御手段と、
を有することを特徴とする情報処理装置。
【請求項２】
前記被検体の変形に応じて、前記第二の二次元断面画像の被検体に対する傾きを変更する変更手段を有することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記取得手段は、前記第二の二次元断面画像を前記第一の二次元断面画像と平行にすることを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記第一の二次元断面画像は、前記被検体に超音波探触子を押し当てることにより取得される超音波断層画像であることを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記取得手段は、前記超音波探触子の位置及び姿勢の情報に基づいて前記第一の二次元断面画像の姿勢を得ることを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記取得手段は、前記被検体の断層画像群と前記領域との位置関係に基づいて前記被検体の断層画像群から選択することにより前記第一の二次元断面画像を取得することを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記第一の二次元断面画像と前記三次元画像は、モダリティ、撮影条件、前記被検体の撮影体位、または撮影日の少なくともいずれかが異なる画像であることを特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記第一の二次元断面画像は超音波断層画像であり、前記三次元画像はＭＲＩ画像であることを特徴とする請求項７に記載の情報処理装置。
【請求項９】
被検体の第一の二次元断面画像を通る平面が指定されたことに応じて、前記二次元断面画像と平行かつ所定の領域を通る平面による第二の二次元断面画像を取得する取得手段と、
前記第一の二次元断層画像と前記第二の二次元断面画像を表示部に表示させる表示制御手段と
を有することを特徴とする情報処理装置。
【請求項１０】
第一の撮影方法による被検体の第一の二次元断面画像が指定されたことに応じて、前記第一の二次元断面画像と平行で前記被検体の所定の領域を通る第二の二次元断面画像を第二の撮影方法により取得する取得手段と、
前記第一の二次元断面画像と、前記第二の二次元断面画像とを表示部に表示させる表示制御手段と
を有することを特徴とする情報処理装置。
【請求項１１】
第一の撮影方法で被検体を撮影した方向と、第二の撮影方法で取得された三次元画像の領域とに基づき、前記三次元画像から前記領域を通りかつ前記方向に対応する二次元断面画像を取得する取得手段と、
前記二次元断面画像を表示部に表示させる表示制御手段と、
を有することを特徴とする情報処理装置。
【請求項１２】
被検体の三次元画像における所定の領域の位置と、前記被検体の第一の二次元断面画像の姿勢とに基づき、前記三次元画像から前記領域を通りかつ前記姿勢に対応する第二の二次元断面画像を取得するステップと、
前記第一の二次元断面画像と前記第二の二次元断面画像を表示部に表示させるステップと、
を有することを特徴とする情報処理方法。
【請求項１３】
被検体の三次元画像における所定の領域の位置と、前記被検体の第一の二次元断面画像の姿勢とに基づき、前記三次元画像から前記領域を通りかつ前記姿勢に対応する第二の二次元断面画像を取得する処理と、
前記第一の二次元断面画像と前記第二の二次元断面画像を表示部に表示させる処理と、
を有する処理をコンピュータに実行させることを特徴とするプログラム。
【請求項１４】
被検体の三次元画像における所定の領域の位置と、前記被検体の第一の二次元断面画像の姿勢とに基づき、前記三次元画像から前記領域を通りかつ前記姿勢に対応する第二の二次元断面画像を取得する取得手段と、
前記第一の二次元断層画像と前記第二の二次元断面画像を表示部に表示させる表示制御手段と、
を有することを特徴とする情報処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−１２５５６７（Ｐ２０１１−１２５５６７Ａ）
【公開日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願番号】特願２００９−２８８４５４（Ｐ２００９−２８８４５４）
【出願日】平成２１年１２月１８日（２００９．１２．１８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願日】平成２１年１２月１８日（２００９．１２．１８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]