情報処理装置、撮影システム、情報処理方法および情報処理をコンピュータに実行させるためのプログラム
【課題】 被検者と3次元画像との位置合わせを効率的かつ精度よく行う。
【解決手段】 第1特徴位置取得部1020は、MRI画像取得部1010が取得したMRI画像に描出される被検体の胸骨および肋骨に近接する体表の位置を取得する。第2特徴位置取得部1040は、計測値取得部1030が取得した計測値を利用して、被検体の胸骨および肋骨に近接する体表の位置を取得する。変換規則算出部1050は、第1特徴位置取得部1020が取得した情報と、第2特徴位置取得部が取得した情報とに基づき、センサ座標系とMRI画像座標系との間の位置座標の変換規則を算出する。
【解決手段】 第1特徴位置取得部1020は、MRI画像取得部1010が取得したMRI画像に描出される被検体の胸骨および肋骨に近接する体表の位置を取得する。第2特徴位置取得部1040は、計測値取得部1030が取得した計測値を利用して、被検体の胸骨および肋骨に近接する体表の位置を取得する。変換規則算出部1050は、第1特徴位置取得部1020が取得した情報と、第2特徴位置取得部が取得した情報とに基づき、センサ座標系とMRI画像座標系との間の位置座標の変換規則を算出する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、種々の医用画像撮影装置で撮影した医用画像を処理する情報処理装置、情報処理方法、情報処理をコンピュータに実行させるためのプログラム、並びに医用画像を撮影する撮影システムに関する。
【背景技術】
【0002】
患者の検査や病変部の観察のため、複数の医用画像撮影装置(モダリティ)により得られた画像が用いられている医師により行われている。ここで医用分野において用いられるモダリティとしては単純X線撮影装置、X線コンピュータ断層撮影装置(X線CT)、核磁気共鳴映像装置(MRI)、超音波画像診断装置(US)などがあげられる。
【0003】
このような異なる複数のモダリティで得られる画像同士の位置を対応付けることにより、被検者の同一部位を異なる複数種類の画像で観察することが可能となる。例えば、予め撮影された3次元MRI画像から、超音波撮影装置で撮影される超音波画像と対応するMRI断層画像を取得し、両画像を比較しながら診断することが可能となる。これを実現するための技術として、特許文献1には、位置センサの基準物体と患者が載置されるベッドとの位置関係を設定し、位置センサ付きの超音波探触子で体表上の既定の1点を指定することで超音波画像とMRI画像とを対応関係を得る技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2008−279272号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1のように位置センサの基準物体と患者が載置されるベッドとの位置関係を設定することは煩雑な作業であり、また被検体の1点で対応関係を得る方法ではベッド上で患者の向きや姿勢の変更に対応できず大きな誤差を生じるおそれがある。
【課題を解決するための手段】
【0006】
そこで本発明の一態様に係る情報処理装置は、3次元画像における被検体の胸骨に基づく複数の位置を取得する第1の取得手段と、前記被検体における該被検体の胸骨に基づく複数の位置を取得する第2の取得手段と、前記第1の取得手段および前記第2の取得手段により取得された複数の位置に基づいて、前記被検体と前記3次元画像との位置の対応関係を算出する算出手段と、を有することを特徴とする。
【発明の効果】
【0007】
本発明によれば、被検体において指定しやすい胸骨に基づく複数の位置を指定することで、被検者と3次元画像とで胸骨の位置および向きを合わせるため、被検者と3次元画像との対応関係を効率的かつ精度よく得ることができる。
【図面の簡単な説明】
【0008】
【図1】画像診断システム1の構成を示す図である。
【図2】画像診断システム1のハードウェア構成を示す図である。
【図3】画像診断システム1の撮影機能の概要を示す図である。
【図4】画像診断システム1に係る被写体の位置を測定する機能の概要を示す図である。
【図5】画像診断システム1による処理の概要を示すフローチャートである。
【図6】座標変換の算出処理を詳細に示すフローチャートである。
【図7】肋骨に基づく位置の座標の取得処理を示すフローチャートである。
【図8】表示制御部1090によりモニタ(表示部)140に表示される画像を示す図である。
【図9】第1特徴位置取得部1020または第2特徴位置取得部1030による座標位置の取得処理を判定する判定部1100の処理を示すフローチャートである。
【図10】画像診断システム1によるその他の処理の概要を示すフローチャートである。
【図11】その他の座標変換の算出処理を詳細に示すフローチャートである。
【図12】画像診断システム1によるその他の処理の概要を示すフローチャートである。
【図13】その他の座標変換の算出処理を詳細に示すフローチャートである。
【発明を実施するための形態】
【0009】
本発明の実施形態について以下の実施例に分けて説明する。
【実施例1】
【0010】
図1に基づいて実施例1に係る画像診断システム1の構成を説明する。画像診断システム1は情報処理装置100、MRI画像撮影装置110、超音波画像撮影装置120、位置姿勢計測装置130、表示部1400、操作部1500を有する。
MRI画像撮影装置110は、人体である被検体の内部の3次元領域に関する情報を核磁気共鳴法により取得したMRI画像を取得する装置である。ここでMRI画像には基準となる座標系(MRI画像座標系)が定められ、その座標系における前記3次元領域の情報は複数の画素により表されるものとする。
【0011】
超音波画像撮影装置120は超音波を送受信する不図示の超音波プローブを被検体に接触させることで、被検体の内部を超音波撮影する。本実施例において、超音波画像撮影装置120は、被検体の断面領域を撮影した2次元のBモード超音波画像を撮影する。
【0012】
位置姿勢計測装置130は3次元空間における前記超音波プローブの位置と姿勢を計測する装置であり、例えば磁気式や光学式の6自由度計測装置を超音波プローブに装着することで構成される。ここで超音波プローブの位置と姿勢とは、超音波プローブを基準として定める座標系(プローブ座標系)と、位置姿勢計測装置130が基準として定める座標系(センサ座標系)との間の相対的な位置と姿勢の関係を意味する。プローブ座標系は、超音波プローブの撮影面(被検体と接する面)の中心を原点とし、超音波ビームの放射方向をY軸とする。また超音波画像撮影装置120が撮影する超音波画像の撮影面に含まれ、前記Y軸と直交する方向をX軸とする。そして、X軸とY軸の外積の方向をZ軸とする。プローブ座標系は上記のようにして定める直交座標系である。センサ座標系は、位置姿勢計測装置130が基準として定める直交座標系であり、例えば計測を行う3次元空間に固定して設置される不図示の計測ステーションを基準とする。
【0013】
情報処理装置100はMRI画像取得部1010、第1特徴位置取得部1020、計測値取得部1030、第2特徴位置取得部1040、変換規則算出部1050、対応面画像生成部1060、超音波画像取得部1070、表示画像生成部1080、表示制御部1090、判定部1100、出力部1110を有する。
MRI画像取得部1010は、MRI画像撮影装置110が撮影した被検体のMRI画像を取得する。
【0014】
第1特徴位置取得部1020は、MRI画像取得部1010が取得したMRI画像に描出される被検体の胸骨および肋骨に近接する体表の位置を、MRI画像座標系(第1の座標系)における胸骨に基づく位置および肋骨に基づく位置の座標として取得する。
【0015】
計測値取得部1030は、位置姿勢計測装置130が計測した超音波プローブの位置と姿勢の計測値を、並進と回転により表される4行4列の剛体変換行列として取得する。ただし、前記計測値はセンサ座標系を基準とする。
【0016】
第2特徴位置取得部1040は、計測値取得部1030が取得した計測値を利用して、被検体の胸骨および肋骨に近接する体表の位置を、センサ座標系(第2の座標系)における被検体の胸骨に基づく位置および肋骨に基づく位置の座標として取得する。
【0017】
変換規則算出部1050は、第1特徴位置取得部1020が取得した情報と、第2特徴位置取得部が取得した情報とに基づき、センサ座標系とMRI画像座標系との間の位置座標の変換規則を算出する。被検体と3次元画像との位置の対応関係が算出される。
【0018】
対応断面画像生成部1060は、計測値取得部1030が取得した超音波プローブの位置と姿勢の情報および、座標変換算出部1050が算出した変換規則および、MRI画像取得部1010が取得したMRI画像に基づき、対応断面画像を生成する。対応断面画像とは、超音波プローブが撮影する被検体の領域と対応する領域をMRI画像から切り出した画像である。
【0019】
超音波画像取得部1070は、超音波画像撮影装置120が取得した被検体の内部を超音波撮影した超音波画像を取得する。
表示画像生成部1080は、対応断面画像生成部1060が生成した対応断面画像および、超音波画像取得部1070が取得した超音波画像に基づき、表示画像を生成する。
【0020】
表示制御部1090は、生成された表示画像を表示部に表示させる。判定部1100は、第2特徴位置取得部1040が取得する被検体の位置が、変換規則算出部1050により変換規則を算出するのに際して不足しているか否か、および精度よく算出するのに適切な位置であるか否かを判定する。出力部1110は判定の結果、取得されるべき位置の不足や不適切な位置が取得された場合に表示部1400に警告を出力させる。なお、必ずしも表示による警告でなくともよく、音声等によるものであってもよい。
【0021】
図2は、本実施形態に係る画像診断システムのハードウェア構成を示す図である。本実施形態の画像診断システムは情報処理装置100、MRI画像撮影装置110、超音波画像撮影装置120、位置姿勢計測装置130、モニタ140、マウス150、キーボード160により構成される。
【0022】
情報処理装置100は、中央演算処理装置(CPU)211、主メモリ212、磁気ディスク213、表示メモリ214を有する。また情報処理装置100はモニタ140、マウス150、キーボード160と接続されている。上述の各構成要素は共通バス218により互いに通信可能に接続されている。
【0023】
CPU211は、主として情報処理装置100の各構成要素の動作を制御する。主メモリ212は、後述する図5、図6に示すフローチャートに記載の処理を実現するためのプログラムが格納されている。また主メモリ212はCPU211によるプログラム実行時の作業領域を提供する。磁気ディスク213は、オペレーティングシステム(OS)、周辺機器のデバイスドライブ、後述する処理等を行うためのプログラムを含む各種アプリケーションソフト等を格納する。表示メモリ214は、モニタ140のための表示用データを一時記憶する。モニタ140は、例えばCRTモニタや液晶モニタ等であり、表示メモリ214からのデータと基づいて画像を表示する。マウス150およびキーボード160はユーザによるポインティング入力および文字やコマンド等の入力をそれぞれ行う。
主メモリ212に記憶されたプログラムがCPU211により展開され実行されることにより、情報処理装置100のハードウェアとソフトウェアが協働して情報処理装置100は先述の図1に示す機能を有する。例えばモニタ140は表示部1400として機能する。また後述する図5、図6に記載の処理が情報処理装置100により実現される。
【0024】
図3に基づいて上述の画像診断システム1の撮影機能を説明する。超音波画像撮影装置120には超音波プローブ2000が備えられ、超音波プローブ2000の撮影面2020を被検体2030に接触させて撮影面2020を介して被検体2030の信号を得ることにより超音波画像撮影装置120は被検体2030の超音波画像を撮影する。
超音波プローブ2000には位置姿勢計測装置130が備える位置姿勢センサ2010が固定して装着される。これにより、位置姿勢計測装置130は、位置姿勢計測基準2040を基準として超音波プローブ2000の位置と姿勢を計測する。
【0025】
被検体3030に対して超音波およびMRIの2種類の撮影が行われる。
被検体3030の超音波撮影は、超音波画像撮影装置120が備える超音波プローブ3000を被検体の体表に接するように保持することにより行われる。その結果、被検体3030における超音波画像撮影領域3100を撮影した超音波画像2110が取得される。超音波画像撮影領域3100は、超音波プローブ3000を体表に接触させた場合、被検体3030の内部の断層画像が得られる。
この超音波画像3110には超音波画像座標系3120が定義される。この座標系は例えば超音波画像3110の左上の画素の位置を原点とし、横方向をX軸、縦方向をY軸、それらの外積方向をZ軸とする座標系である。
【0026】
このとき、位置姿勢計測装置130は、超音波プローブ3000の位置と姿勢を位置姿勢計測基準3040を基準とした計測値として取得する。これにより超音波プローブ3000により定まる超音波画像の撮影領域3100の位置と姿勢も、同様に位置姿勢計測基準3040を基準とした計測値として取得される。ここで、位置姿勢計測基準2040を基準とする座標系(センサ座標系)と、超音波画像座標系との間の関係は、位置姿勢計測装置130の計測結果により一意に定まる。
【0027】
一方MRI撮影では、MRI画像撮影装置120に撮影領域3200を設定し、その領域における被検体3030の複数のMRI画像3210が得られる。このMRI画像は被検体3200の3次元的な構造を撮影して得られる3次元画像である。
MRI画像にはMRI画像座標系3220が定義される。この座標系は例えばMRI画像撮影装置120が基準とする座標系である。
MRI画像座標系3220とセンサ座標系との間の関係を求めることができれば、MRI画像座標系3220と超音波画像座標系3120との間の関係も求めることができる。それにより、MRI画像3210と超音波画像3110の夫々に描出される被検体3030の体内の画像を位置を合わせて比較して観察できるようになる。
【0028】
図4に基づいてMRI画像座標系3220とセンサ座標系との間の関係を求めるための計測処理の概要を説明する。MRI画像座標系(第1の座標系)とセンサ座標系(第2の座標系)の夫々の座標系において、人体である被検体の胸骨および肋骨に近接する体表の位置を取得し、それらに基づいて前記座標系の間の座標変換を算出する。
【0029】
被検体3030の内部には胸骨4050と肋骨4060が存在する。検査者は超音波プローブ3000の撮影面3020を被検体3030の胸骨上の少なくとも2つの計測点4070および肋骨上の少なくとも2つの計測点4080に接触させ、そのときの撮影面3020の位置と姿勢を計測する。これにより、位置姿勢計測基準3040を基準とした被検体3030の胸骨上の計測点4070の位置と、肋骨上の計測点の位置とを計測する。
【0030】
胸骨付近の体表の位置を測定することとしているのは、超音波プローブ3000など体外から非侵襲的に被写体の位置を特定する場合に、胸骨の位置を指定しやすいからである。また被検体が仰向けからうつ伏せまたはその逆へと姿勢を変えても変形しにくいからである。特に胸部の診断を行う場合には胸部に近くかつ検査者が精度良く指定できる胸骨が望ましい。また、胸骨のうち第2肋骨の付け根の部分付近の体表位置は体外からでも特に精度よく指定でき、また被検体への負担も少ない。また別の位置としては、みぞおち付近(胸骨の下端)も精度よく指定することが容易であり、望ましい。
【0031】
肋骨の位置も、被検体の体外から位置を計測しやすく、また被検体の変形の影響も受けにくいため、3次元画像との位置合わせには好適である。特に、左右の肋骨が被検体の体軸に対して略対象であるという仮定の下、対となる左右の肋骨について、胸骨に対して対称な点をそれぞれ指定することで位置合わせの精度を向上させることができるとともに、位置の指定もしやすくなる。
【0032】
なお後述するが肋骨の位置を指定することとするのはあくまでも本発明の実施例の1つである。肋骨の位置を指定しない実施例については後に述べる。
【0033】
上述のように取得された被検体の位置と、MRI画像において指定された位置との対応関係を得ることで、超音波プローブによって撮影された超音波画像と、それに対応するMRI画像の対応領域(対応断面)を得ることができる。これによってMRI画像と超音波画像の両方を用いて肺や乳房等の胸部の画像診断を精密かつ効率的に行うことができる。
【0034】
次に、情報処理装置100が行う処理を図5のフローチャートに従い説明する。上述の通り、主メモリ212に格納されている各部の機能を実現するプログラムをCPU211が実行することにより実現される。また以下に説明する情報処理装置100が行う各処理の結果は、主メモリ212に格納することにより記録される。
【0035】
なお、計測値取得部1030は処理のステップに関わらず、位置姿勢計測装置130が計測した超音波プローブの位置と姿勢に関する計測値を逐次取得するとともに、その情報を保持し、他の処理部からの要求に応じて最新の計測結果を出力する。また、超音波画像取得部1070も同様に処理のステップに関わらず、超音波画像撮影装置120が撮影した超音波画像を逐次取得するとともに、その情報を保持し、他の処理部からの要求に応じて最新の超音波画像を出力する。
【0036】
(ステップS500)
ステップS500において、MRI画像取得部1010はMRI撮影装置110が被検体を撮影した3次元のMRI画像を取得する。MRI画像は複数の画素により構成され、各画素は輝度値と位置に関する情報を持つものとする。ここで各画素の位置はMRI画像が基準とする座標系(MRI画像座標系)における3次元の位置座標である。
【0037】
(ステップS510)
ステップS510において、第1特徴位置取得部1020はMRI画像に描出される被検体の胸骨および肋骨に近接する体表の位置をMRI画像座標系における位置として取得する。被検体の胸骨および肋骨に近接する体表の位置とは、例えば被検体の体表の中で、胸骨表面および肋骨の表面位置に空間的に最も近い位置の事を意味する。ここで、胸骨に近接する体表の位置は、被検体の胸骨の上端、および胸骨の下端の位置に夫々近接する体表の位置とすることができる。また、肋骨に近接する体表の位置は、例えば被検体の左右夫々の第2肋骨の位置に近接する体表の位置とすることができる。ここで、肋骨に近接する体表の位置は必ずしも被検体の第2肋骨の位置に近接する体表の位置でなくても良く、例えば被検体の第1肋骨や、第3肋骨など任意の肋骨の位置に近接する体表の位置であっても良い。ただし、後に説明するステップS520において指標とする被検体の肋骨と同じ肋骨であることが望ましい。胸骨および肋骨に近接する体表の位置の取得は、例えば以下の仕組みにより取得することができる。すなわちモニタ140にMRI画像のアキシャル像、サジタル像、コロナル像など、任意の断面を切り出した画像(断面画像)を表示する。前記断面の位置や姿勢をユーザによるマウス150やキーボード160等の操作に基づいて切り替える。そして、その断面画像に写る胸骨および肋骨に近接する体表の位置を、ユーザがマウス150の操作などにより指定した位置を取得する。前記断面の位置や姿勢、およびユーザが指定した断面画像上の位置に基づき、胸骨および肋骨に近接する体表のMRI画像座標系における位置を算出する。
【0038】
なお、以上の説明では、ユーザがマウス150の操作などにより、肋骨および胸骨に近接する体表の位置をMRI画像上で指定することにより、当該位置を取得する場合を例として説明したが、本発明の実施はこれに限らない。例えば、第1特徴位置取得部1020はユーザがマウス150の操作などにより胸骨および肋骨の位置を指定した情報を取得し、その位置に近接する体表の位置を画像処理等によって算出するようにしても良い。例えば、MRI画像を画像処理することで被検体の体表の形状を密な点群などの形態で抽出し、その点群の中から、前記ユーザが指定した位置に近接する点を選択することにより実現できる。
【0039】
以上の処理により取得した胸骨の上端(第2肋骨の付け根の部分)に近接する体表位置のMRI画像座標系における位置をpM1として記録する。同様に胸骨の下端に近接する体表位置をpM2、左第2肋骨に近接する体表位置をpM3、右第2肋骨に近接する体表位置をpM4として記録する。ここで、pM3とpM4は被検体に対して左右対称となる位置であることが望ましい。この理由については後述するステップS533の処理の説明で詳しく述べる。前記4つの位置は、ユーザが指定を行った順にpM1、pM2、pM3、pM4と記録するようにしても良いし、ユーザによるキーボード160入力に基づいて任意の順番で記録するようにしても良い。ここでpM1、pM2、pM3、pM4は、3次元空間における位置を表す拡張ベクトルとして記録する。前記4つの点の全ての位置の入力を終えたらステップS520へと処理を進める。
【0040】
以上の説明では、ユーザの入力操作に基づいて被検体の胸骨および肋骨に近接する体表の位置を取得する場合を例として説明したが、本発明の実施はこれに限らない。例えば前記データを外部の記録装置等に記録しておき、それを情報処理装置100へ入力するようにして取得しても良い。
【0041】
(ステップS520)
ステップS520において、第2特徴位置取得部1040はセンサ座標系における被検体の胸骨および肋骨に近接する体表の位置の取得を行う。この処理は例えば以下のように実行される。ユーザは被検体の胸骨の上端位置(第2肋骨の付け根の部分)に近接する体表の位置に超音波プローブの撮影面の中心が触れるように保持する。そして、位置取得の実行命令をユーザによるキーボード160の操作等などにより取得した際に、計測値取得部1030が取得したセンサ座標系における超音波プローブの位置と姿勢に関する最新の計測結果を取得する。そして、超音波プローブの撮影面の中心位置をpU1として記録する。同様に胸骨の下端に近接する体表の位置をpU2、左第2肋骨に近接する体表の位置をpU3、右第2肋骨に近接する体表の位置をpU4として記録する。ここで、pU3とpU4は被検体に対して左右対称となる位置であることが望ましい。この理由については後述するステップS533の処理の説明において詳しく述べる。前記4つの位置は、ユーザが指定を行った順にpU1、pU2、pU3、pU4と記録するようにしても良いし、ユーザによるキーボード160入力に基づいて任意の順番で記録するようにしても良い。ここでpU1、pU2、pU3、pU4は、3次元空間における位置を表す拡張ベクトルとして記録する。
【0042】
以上の説明では、センサ座標系において位置と姿勢が計測されている超音波プローブを用い、その撮影面の中心の位置を取得することにより被検体の胸骨および肋骨に近接する体表の位置を取得する場合を例として説明したが、本発明の実施はこれに限らない。例えば、超音波プローブではなくスタイラス等の装置を用いても良い。この場合、前記スタイラスの先端をセンサ座標系において計測し、前記被検体の所定の部位に前記スタイラスの先端を接触させたときの、前記スタイラスの先端の位置を取得するようにしても良い。
【0043】
以上の処理により、第2特徴位置取得部1040は胸骨および肋骨に近接する体表の位置の取得を行い、それが終了したら処理をステップS530へと進める。
【0044】
(ステップS530)
ステップS530において、変換規則算出部1050はセンサ座標系とMRI画像座標系との間の座標変換に関する変換規則の算出を行う。言い換えれば第1特徴位置取得部1020が取得した胸骨および肋骨に基づく複数の位置と、第2特徴位置取得部1040が取得した胸骨および肋骨に基づく複数の位置との対応関係を算出することにより、被検体と前記3次元画像との位置の対応関係を算出する。詳細は図6に従い後述する。
【0045】
(ステップS540)
ステップS540において、対応断面画像生成部1060は、所定のフレームレートに応じて逐次入力される超音波画像に対応するMRIの対応断面画像を、超音波プローブの位置姿勢と、ステップS530で取得した変換規則とを利用して生成する。さらに表示画像生成部1080は前記対応断面画像と超音波画像とを比較して観察するための表示画像を生成する。より具体的には以下の処理を実行する。まずプローブ座標系における超音波画像の撮影領域を取得する。例えば超音波画像が矩形の場合には、その4隅の位置を取得する。次に、計測値取得部1030から超音波プローブの位置と姿勢に関する最新の計測値を取得し、それに基づいて前記4隅の位置のセンサ座標系における位置を算出する。さらに、ステップS530で算出した変換規則M4に基づき、前記位置をMRI画像座標系に変換することで、MRI画像座標系における4隅の位置を算出する。そして、その4隅の位置を結ぶMRI画像座標系における矩形領域を算出し、その領域におけるMRI画像を切り出すことにより対応断面画像を生成する。そして、表示画像生成部1080は超音波画像取得部1070が取得した最新の超音波画像を取得する。そして、対応断面画像生成部1060が取得した対応断面画像と、前記超音波画像とを比較して観察できるようにした表示画像を生成し、モニタ140等に表示する。表示画像の具体例としては対応断面画像と超音波画像とを並べた画像や、両画像の一方に他方を重畳した画像などである。これにより、ユーザが超音波画像と、それに対応するMRI画像の対応断面画像とを比較して観察できる仕組みが提供される。なお、以上で示したステップS540の処理は、所定のコマンドをユーザが入力するまで、時々刻々と入力される超音波画像に対して繰り返し実行される。
【0046】
(ステップS550)
ステップS550において情報処理装置100は、処理を終了するか否かの判定に基づき、終了と判定した場合には処理を終了させ、そうでない場合にはステップS520に処理を戻す。この判定は、ユーザによるマウス150やキーボード160による入力操作に基づいて行うことができる。従って、ユーザはステップS540において情報処理装置100がモニタ140に表示した超音波画像と対応断面画像を観察して、ステップS530で実行した座標変換が適切に実行されたか否かを判断して、情報処理装置100の処理を切り替える操作を行うことができる。例えば、座標変換が適切であると判定した場合には処理を終了させ、そうでない場合にはセンサ座標系における胸骨および肋骨の夫々に近接する体表の位置の入力と座標変換の算出をやり直すことができる。
【0047】
また、座標変換が適切であると判定した場合に処理を終了させるのではなく、さらにMRI画像と超音波画像とを用いて、被検体の変形に関する補正等も含む、より精密に座標変換を補正する処理をさらに実行するようにしても良い。その場合、ステップS530で算出した座標変換に関する変換規則を初期値として利用することができる。
【0048】
図6のフローチャートに従いステップS530の処理手順を詳細に説明する。
【0049】
(ステップS531)
ステップS531において、変換規則算出部1050はセンサ座標系における胸骨の上端に近接する体表の位置pU1をMRI画像座標系における胸骨の上端(第2肋骨の付け根の部分)に近接する体表の位置pM1とを合わせるような座標変換を求める処理を行う。これは、第2肋骨の付け根の部分は体外から最も精度よくかつ容易に指定できる点であるとして、当該点を優先させた位置合わせを行うためである。
【0050】
ここで座標変換は剛体変換行列M1により表す。剛体変換行列M1は数1の関係となる4行4列の行列である。
pM1 =M1pU1 ・・・数1
さらに変換規則算出部1050は、剛体変換行列M1を用いて、センサ座標系における胸骨と肋骨に近接する体表の位置pU1、pU2、pU3、pU4を剛体変換した位置pU1’、pU2’、pU3’、pU4’を算出する。なお、本実施例に係る変換では、pU1とpU1’とは同一の位置である。
【0051】
(ステップS532)
ステップS532において、変換規則算出部1050はステップS531で座標変換した胸骨の上端に近接する体表の位置と、胸骨の下端に近接する体表の位置とを結ぶ直線(胸骨軸)を、それに対応するMRI座標系における胸骨軸に一致させる座標変換を求める処理を行う。具体的には次の処理を行う。まず、ステップS531で座標変換した胸骨の上端(第2肋骨の付け根の位置)に近接する体表の位置と、胸骨の下端に近接する体表の位置とで定義される胸骨の方向のベクトルdU2を数2の計算により求める。
【0052】
【数1】
【0053】
同様にMRI画像座標系における、胸骨の上端に近接する体表の位置と、胸骨の下端に近接する体表の位置とで定義される胸骨の方向のベクトルdM2を数3の計算により求める。
【0054】
【数2】
【0055】
次に、ベクトルdU2(位置姿勢計測装置130で計測された被検体の胸骨方向)とベクトルdM2(3次元MRI画像において指定された被検体の胸骨方向)の方向を一致させるための回転軸の方向を表すベクトルda2を数4のベクトル同士の外積計算により求める。
【0056】
【数3】
【0057】
次に、数4で求めたベクトルda2が表す方向を軸とした回転量(回転角)θ2を数5の計算により求める。
【0058】
【数4】
【0059】
そして、ステップS531で座標変換した胸骨の上端に近接する体表の位置pU1’を中心とし、ベクトルda2の方向を軸とし、回転量θ2だけ回転させる剛体変換行列M2を算出する。ここで剛体変換行列M2は4行4列の行列であり、既知の手法により算出できる。M2は第1特徴位置取得部1020により取得された被検体の第2肋骨の付け根部分に基づく位置と、第2特徴位置取得部1040により取得された3次元MRI画像における第2肋骨の付け根部分に基づく位置とが合うような被検体と3次元画像との対応関係を示す。
【0060】
胸骨の上端(第2肋骨の付け根の位置)の計測値をもっとも信用できる値としつつ、次に信用できると考えられる胸骨の下端の位置を用いて胸骨の位置を合わせることで、精度良く位置合わせをすることができる。
【0061】
さらに変換規則算出部1050は、ステップS531で剛体変換した胸骨と肋骨に近接する体表の位置pU1’、pU2’、pU3’、pU4’ の夫々をさらに剛体変換行列M2により剛体変換した位置pU1”、pU2”、pU3”、pU4”を算出する。なお、本実施例に係る変換では、pU1とpU1’とpU1”とは同一の位置である。
【0062】
(ステップS533)
ステップS533において変換規則算出部1050はMRI画像座標系における胸骨および肋骨に近接する体表の位置および、ステップS532で算出した胸骨および肋骨に近接する体表の位置に基づき、胸骨軸周りの回転を補正する座標変換を算出する。
【0063】
図7はステップS510で取得した胸骨および肋骨に近接する体表の位置pM1、pM3、pM4、およびステップS520で取得した胸骨および肋骨に近接する体表の位置pU1、pU3、pU4の概略を示す図である。実際の被検体の前記の位置は3次元空間上に存在するが、ここでは紙面による説明の都合上、被検体のアキシャル断面上に前記位置を投影した図7を用いて説明する。また、pU1、pU3、pU4とpM1、pM3、pM4は夫々異なる座標系における位置であるが、ここでは被検体を基準として前記各位置が示す部位を図示する。この図7において、左肋骨に近接する体表700および右肋骨に近接する体表710は被検体の体表730の中で、肋骨に近接する部位を表す。図7に示すように被検体の左右の肋骨に近接する体表は、3次元空間中において、被検体の体軸に対して略対称な曲線として捉えることができる。ここで、ステップS510で取得したpM3およびpM4は、左肋骨に近接する体表700および右肋骨に近接する体表710の夫々の曲線上の何れかの位置である。同様にステップS520において取得するpU3およびpU4も同様に、左肋骨に近接する体表700および右肋骨に近接する体表710の夫々の曲線上の何れかの位置である。ただし、図示するようにpM3とpU3およびpM4とpU4は必ずしも被検体の同一の部位であるとは限らない。そのため、仮に取得されるpM3、pM4、pU3、pU4が肋骨に近接する体表上で完全な自由度を持つ場合には、これらの点を用いて胸骨軸周りの回転を補正する座標変換を算出するのは容易ではない。そこで、本実施例ではステップS510およびステップS520において、左右の肋骨に近接する体表の位置を被検体の体軸に対して略対称となる位置をユーザに取得させることにより簡易な処理で前記座標変換を算出できるようにする。
【0064】
ステップS533において変換規則算出部1050が行う具体的な処理について説明する。まず、ステップS532で算出した胸骨の上端に近接する体表の位置、および胸骨の下端に近接する体表の位置、および左第2肋骨に近接する体表の位置を含む平面の法線nULを求める。この処理は数6の計算により実行される。
【0065】
【数5】
【0066】
同様に、胸骨の上端に近接する体表の位置、および胸骨の下端に近接する体表の位置、および右第2肋骨に近接する体表の位置を含む平面の法線nURを数7により求める。
【0067】
【数6】
【0068】
さらに、法線nUL、法線nURの平均ベクトルnUを数8により求める。
【0069】
【数7】
【0070】
またMRI画像座標系における胸骨および肋骨に近接する体表位置に基づいて、数9、数10、数11の計算により法線nMR、nMRおよび、それらの平均ベクトルnRを求める。
【0071】
【数8】
【0072】
【数9】
【0073】
【数10】
【0074】
次に、ベクトルnU、およびベクトルnRの方向を一致させるための回転の軸da3と回転量θ3を数12、数13の計算により求める。
【0075】
【数11】
【0076】
【数12】
【0077】
そして、ステップS532で座標変換した胸骨の上端に近接する体表の位置pU1”を中心とし、ベクトルda3の方向を軸とし、回転量θ3だけ回転させる剛体変換行列M3を算出する。M3は第1特徴位置取得部1020および第2特徴位置取得部1040により取得された肋骨に基づく位置の対応関係に基づいて、被検体と3次元MRI画像との胸骨を軸とする回転方向の対応関係を示す。剛体変換行列M2は4行4列の行列であり、既知の手法により算出できる。
【0078】
(ステップS534)
ステップS534において変換規則算出部1050は剛体変換行列M1、M2、M3を合成した剛体変換行列M4を算出する。このM4はセンサ座標系における位置座標を、MRI画像座標系における対応する位置座標へと変換する剛体変換である。この算出は数14の計算により行う。
【0079】
【数13】
【0080】
以上に説明したステップS531からステップS534の処理により、変換規則算出部1050はセンサ座標系における位置座標を、MRI画像座標系における対応する位置座標へと変換する剛体変換M4を算出する。以上によって、情報処理装置100の処理が実施される。
【0081】
ステップS530ではさらに以下の処理を行うようにしても良い。すなわち、ステップS520で取得したセンサ座標系における胸骨および肋骨に近接する体表の位置を、前記M4を用いて剛体変換した位置を3次元的な位置関係が認識できるようにモニタ140などに表示する。さらに、ステップS510で取得したMRI画像座標系における被検体の胸骨および肋骨に近接する体表の位置を、前記同様に表示する。これによれば、前記表示した胸骨および肋骨に近接する体表の位置の位置関係をユーザに提示することができ、ステップS531からステップS534までの処理が好適に実行されたか否かをユーザが把握できる効果がある。
【0082】
図8にステップS540で表示制御部1090が表示部1400に表示させる表示画像800の例を示す。表示画像800では、MRI断層画像810と超音波画像820が並べられている。表示画像800は超音波画像820の撮影中に表示部1400に表示される。変換規則算出部1050により算出された被検体と3次元画像との対応関係に基づいて、撮影された超音波画像820に対応するMRI断層画像810が生成される。
【0083】
以上に説明した、本実例における画像診断システム1によれば、煩雑な操作を必要とすることなく、高精度にセンサ座標系とMRI画像座標系との変換規則を算出できる仕組みを提供できる。
【0084】
(変形例1−1)
上述の例では3次元画像と被検体との対応関係を得る際に検査者が手動で被検者の体表位置を指定するという作業が生じうる。そこで情報処理装置100は検査者の負担を軽減するため、計測に対してユーザ支援情報を提示する機能を有する。
【0085】
図9のフローチャートに従い検査者の作業を支援する処理を説明する。この処理は、先述の図5のステップS520において第2特徴位置取得部1040が被検体の測定位置を取得するたびに行われるものである。
【0086】
ステップS900で判定部1100は第2特徴位置取得部1040により取得された特徴位置を取得する。
【0087】
ステップS910で判定部1100は取得された位置が閾値よりも大きく外れた位置であるか否かを判定する。1つの例では、既定の位置が取得されたか否かを判定する。上述の例であれば、胸骨(における第2肋骨の付け根と、下端)に基づく2点と、胸骨に対して対称な肋骨上の2点である。取得された特徴位置がいずれかに該当するかを判定する。
【0088】
また別の例では第2特徴位置取得部により取得された胸骨の複数の位置が、胸骨の位置については一般的な被検体の胸骨の大きさを超える範囲で分布している場合には、計測が失敗していると判定する。
【0089】
また別の例では、ベッドに横になった被検体を測定するという前提の下では胸骨の方向はベッドの方向と略平行か、少なくともベッドと胸骨の方向がなす各は所定の角度範囲に収まると考えられる。そこで判定部1100は胸骨に基づく複数の位置から得られる胸骨の位置がベッドの水平方向と所定以上の角度をなす場合には計測が失敗していると判定する。
【0090】
また別の例では、胸骨の3点以上の位置が指定されている場合において、1点が他の点に対して所定の閾値よりも大きく外れていると判定された場合には、計測が失敗していると判定する。計測が失敗していると判定された場合にはステップS920に進む。計測が失敗していると判定されなかった場合にはステップS920を飛ばしてステップS930に進む。
【0091】
ステップS920で出力部1110は取得された位置が不適切な位置であるとして、表示部1400に警告を示す旨の表示をさせる。
【0092】
ステップS930で、判定部1100は取得されたすべての特徴位置について判定を行ったか否かを判定する。未だ判定されていない点がある場合にはステップS900に進む。すべての入力された点について判定を終えている場合にはステップS940に進む。
【0093】
ステップS940で判定部1100は既定のすべての特徴位置が取得されたか否かを判定する。上述の例であれば、胸骨(における第2肋骨の付け根と、下端)に基づく2点と、胸骨に対して対称な肋骨上の2点である。すべて取得済みと判定された場合にはステップS950を飛ばして処理を終える。すべて取得済みと判定されなかった場合には、ステップS950に進む。ステップS950で出力部は、未取得の特徴位置がある旨の警告情報を出力し、表示部1400は係る情報を表示する。
【0094】
なお、上述の処理は第2特徴位置取得部1040による取得処理に対して行われるだけでなく、第1特徴位置取得部1020による取得処理に対して行われることとすれば、検査者が行う3次元画像における特徴位置の指定作業の負担を軽減することができる。
【0095】
また、ユーザに対する支援情報の提示は前記の例に限らず、例えばpU3とpU4が被検体に対して左右対称な位置としてユーザが取得するのを補助するための支援情報を提示するようにできる。例えば、取得済みのpU1、pU2、pU3、pU4の位置情報に基づき、pU1とpU2とを結ぶ直線とpU3とpU4の夫々の距離を算出し、それらの距離の差が所定の値以上の場合には位置の取得をやり直すことを促すメッセージ等を提示するようにできる。また、pU1、pU2、pU3を取得した後にpU4を取得する場面において、pU1とpU2とを結ぶ直線からpU3までの距離と、pU1とpU2とを結ぶ直線から超音波プローブの撮影面中心の現在の位置までの距離の差に関する情報を提示してもよい。例えば、前記の距離の差が所定の値以下の場合にビープ音を鳴らすような構成をよってもよいし、ビープ音の間隔を前記の距離の差に応じて制御することで、距離が近いほど短い間隔でビープ音が提示されるようにもできる。
【0096】
また、これ以外にも、取得済みのpU1、pU2、pU3、pU4の位置の関係を3次元的に把握できるような画像等の情報をモニタ140に表示するようにしても良い。以上の方法によれば、pU3とpU4が被検体に対して左右対称な位置としてユーザが取得するのを補助できるため、ステップS530以降の処理に好適な情報を取得できる効果がある。
【0097】
また別の例としては、計測処理を実行する際に、第2特徴位置取得部1040はユーザに対する支援情報を提示する。例えば、人体の胸部を模したシェーマ図に胸骨および肋骨の位置を記したマークをさらに描画し、その画像をモニタ140に表示するようにしても良い。このとき、胸骨および肋骨に近接する体表の位置の取得状況に応じて、前記シェーマ図に描画するマークを切り替えるようにしても良い。例えば、前記位置を所定の順で取得する場合には、現在の取得状況に応じて、次に取得する位置に関するマークの種類を変えて表示するようにしても良い。また前記位置を任意の順で取得する場合には、前記位置の取得に関して取得済みと未取得のものとを区別できるようにマークの種類を変えて表示するようにしても良い。以上の方法によれば、取得すべき胸骨および肋骨に近接する体表の位置の取得をユーザに促すことができる。
【0098】
(変形例1−2)
実施例1では、ステップS520の処理において、被検体の肋骨に近接する体表の位置をユーザが左右夫々で1点ずつ指定した位置を取得する場合を例として説明したが、本発明の実施はこれに限らない。例えば、左右のいずれか一方の肋骨に近接する体表の位置は、肋骨に近接する体表上の複数の位置をユーザが指定し、それを取得するようにできる。例えば被験者の左側の肋骨に近接する体表位置として複数の位置pU3i(1≦i≦N ただしNは複数の位置の数)をユーザが指定し、それを取得するようにできる。この場合、第2特徴位置取得部は、前記複数の位置pU3i(1≦i≦N)の中から座標変換の算出に適した位置を選択するようにできる。例えば、胸骨の上端に近接する体表の位置pU1と、右側の肋骨に近接する体表の位置pU4との距離dU14を算出する。さらに、前記左側の肋骨に近接する体表の複数の位置の夫々について、胸骨の上端に近接する体表位置pU1との距離dU13i(1≦i≦N)を算出する。そして、距離dU13i(1≦i≦N)の中から、距離dU14にも近いものを選択して、それをpU3とするようにできる。以上の方法によれば、センサ座標系における被検体の肋骨に近接する体表の位置の取得に関して、ユーザが被検体の体軸に対して左右対称な位置を自ら選択する煩雑さを解消できるため、より簡便な操作で処理を実行できる効果がある。
【0099】
(変形例1−3)
実施例1のステップS510およびステップS520では、被検体の胸骨の上端および胸骨の下端にそれぞれ近接する体表の位置を取得する場合を例として説明したが、本発明の実施はこれに限らない。例えば、MRI画像座標系とセンサ座標系において対応付けができる位置であれば、胸骨の上端または下端に近接する体表の位置でなくてもよい。また、胸骨の下端に近接する体表の位置は、必ずしもMRI画像座標系とセンサ座標系において対応づけられる位置でなくても良い。
【0100】
(変形例1−4)
実施例1では、被検体の胸骨と肋骨に近接する体表の位置を用いてセンサ座標系とMRI画像座標系との間の座標変換を算出する場合を例として説明したが、本発明の実施はこれに限らない。例えば、被検体の胸骨と肋骨の位置を用いてセンサ座標系とMRI画像座標系との間の座標変換を算出するようにしても良い。この場合、ステップS510において第1特徴位置取得部は、ユーザによるマウス150やキーボード160の入力操作等に基づいてMRI画像における被検体の胸骨と肋骨の位置を取得する。また、ステップS520において第2特徴位置取得部は、超音波画像取得部1070が取得した超音波画像をモニタ140に表示すると共に、ユーザによるマウス150の入力操作等により胸骨および肋骨の前記超音波画像上での位置を取得する。そして、計測値取得部1030が取得した超音波プローブの位置および姿勢に関する計測値と前記超音波画像上で指定された位置とから、センサ座標系における胸骨および肋骨の位置を算出する。以上の方法によれば、実施例1で用いた体表の位置に比べて、撮影環境などによる位置の変動の少ない胸骨および肋骨の位置を直接的に用いることができるため、より精度の高い変換規則が算出できる。
【0101】
なお、センサ座標系における胸骨および肋骨の位置を取得する方法は、上記の方法以外であっても良い。例えば、実施例1のステップS520と同様の処理を実行した後に、超音波プローブの表面から超音波ビームの放射方向に所定の距離だけ離れた位置を胸骨および肋骨の位置として取得するようにしても良い。ここで前記所定の距離は、例えば体表と胸骨および体表と肋骨との間の統計上の平均的な距離を用いるようにしても良い。また被験者の年齢、性別、体重、その他の臨床情報など取得し、それに基づいて定めるようにしても良い。これ以外にも、MRI画像における胸骨および肋骨の位置と、夫々に近接する体表の位置との両方を取得し、MRI画像における胸骨と近接する体表との距離、および肋骨と近接する体表との距離を求め、それを前記所定の距離として用いるようにしても良い。また、その際に、MRI画像の撮影時と、超音波画像の撮影時における被検体の体位等の違いを考慮して前記距離に変更を施す仕組みをさらに加えても良い。以上の方法によれば、超音波画像上でユーザが骨の位置を指定する操作が不要であるから、より簡便な操作で処理を実行できる。また別の観点では、3次元MRI画像では特徴的な胸骨の位置を指定し、位置姿勢計測装置130を有する超音波プローブでは指定しやすい体表上の位置を指定することで、検査者の位置合わせ作業の負担を軽減することができる。
【実施例2】
【0102】
実施例1では、第1特徴位置取得部1020および第2特徴位置取得部1040が、被検体の胸骨および肋骨に近接する体表の位置を4個の点群として取得する場合を例として説明したが、本発明の実施はこれに限らない。本実施例では肋骨に近接する体表の位置として、複数の点の集合(点群)を取得する場合を例として説明する。
【0103】
本実施例に係る画像診断システムの構成は実施例1と同様のため説明を省略するが、主メモリ212に記憶されているプログラムが、図10および図11の処理を実現するものである点が異なっている。
【0104】
次に、本実施例に係る画像診断システム1が行う全体の処理手順について図10のフローチャートを用いて詳しく説明する。
【0105】
(ステップS1000)
ステップS1000の処理は実施例1のステップS500の処理と同様であるため、説明を省略する。
【0106】
(ステップS1010)
ステップS1010において、第1特徴位置取得部1020はMRI画像に描出される被検体の胸骨および肋骨に近接する体表の位置をMRI画像座標系における位置として取得する。胸骨に近接する体表の位置の取得は、実施例1と同様であるため詳しい説明は省略する。MRI画像座標系における胸骨の上端および下端に近接する体表位置の位置を夫々、pM1、pM2として記録する。
【0107】
次に、肋骨に近接する体表の位置の取得について説明する。肋骨に近接する体表の位置の取得は、実施例1と同様に被検体の左右夫々の第2肋骨の表面の位置に近接する体表の位置を取得するが、複数の点の集合(点群)として取得することが実施例1と異なる。肋骨に近接する体表の位置の点群を取得する仕組みは以下のようにして実現できる。まず、実施例1と同様にモニタ140にMRI画像のアキシャル像、サジタル像、コロナル像など、任意の断面を切り出した画像(断面画像)を表示し、前記断面の位置や姿勢をユーザによるマウス150やキーボード160等の操作に基づいて切り替える。そして、その断面画像に写る胸骨および肋骨に近接する体表の位置を、ユーザがマウス150の操作などにより指定した位置を取得する。前記断面の位置や姿勢、およびユーザが指定した断面画像上の位置に基づき、胸骨および肋骨に近接する体表のMRI画像座標系における位置を算出する。ただし、実施例1とは異なり、ユーザがマウス150の操作などにより指定する位置を複数個取得できるようにする。以上の処理により取得した左第2肋骨に近接する体表位置の点群をpM3i(1≦i≦NML)右第2肋骨に近接する体表位置の点群をpM4j(1≦j≦NMR)として記録する。ただし、NMLは左第2肋骨に近接する体表位置の点群の数、NMRは右第2肋骨に近接する体表位置の点群の数である。
【0108】
(ステップS1020)
ステップS1020において、第2特徴位置取得部1040はセンサ座標系における被検体の胸骨および肋骨に近接する体表の位置の取得を行う。胸骨に近接する体表の位置の取得は、実施例1と同様であるため詳しい説明は省略する。センサ座標系における胸骨の上端および下端に近接する体表位置の位置を夫々、pU1、pU2として記録する。
【0109】
次に、肋骨に近接する体表の位置の取得について説明する。肋骨に近接する体表の位置の取得は、実施例1と同様に被検体の左右夫々の第2肋骨の表面の位置に近接する体表の位置を取得するが、複数の点の集合(点群)として取得することが実施例1と異なる。肋骨に近接する体表の位置の点群を取得する仕組みは以下のようにして実現できる。まず、ユーザに被検体の左第2肋骨の体軸側に近接する体表の位置に超音波プローブの撮影面の中心が触れるように保持させる。そして、位置の取得開始の実行命令をキーボード160の操作等などによりユーザに入力させる。その後、ユーザに左第2肋骨に近接する体表の位置に沿うように超音波プローブを被検体の脇側の方へと移動させる。そして、左第2肋骨の被検体の脇側の端まで超音波プローブが到達したら、キーボード160の操作等などによりユーザに位置の取得終了の実行命令を行わせる。第2特徴位置取得部1040はユーザによる前記取得開始の実行命令を取得したら、計測値取得部1030が取得したセンサ座標系における超音波プローブの位置と姿勢に関する最新の計測結果を逐次取得して記録する処理を繰り返して実行する。そして、ユーザによる前記取得終了の実行命令を取得するまで前記処理を継続する。以上の処理により第2特徴位置取得部1040は被検体の左第2肋骨に近接する体表の位置の点群を取得する。取得した左第2肋骨に近接する体表の点群をpU3k(i≦k≦NUL)として記録する。ただし、NULは左第2肋骨に近接する体表の点群の数である。さらに第2特徴位置取得部1040は前記処理と同様にして右第2肋骨に近接する体表の位置の点群を取得し、pU4l(1≦l≦NUR)として記録する。ただし、NURは右第2肋骨に近接する体表の点群の数である。
【0110】
(ステップS1030)
ステップS1030において、変換規則算出部1050はセンサ座標系とMRI画像座標系との間の座標変換に関する変換規則の算出を行う。処理の詳細は図10に従い後述する。
【0111】
ステップS1040およびステップS1050の処理は実施例1のステップS540およびステップS550の処理と同様であるため、説明を省略する。
【0112】
図11フローチャートに従いステップS1030の処理の詳細を説明する。
【0113】
(ステップS1031)
ステップS1031は実施例1のステップS531と同様の処理により、剛体変換行列M1を算出する。そして、ステップS1020で取得した胸骨および肋骨に近接する体表の位置を剛体変換した位置pU1’、pU2’、 pU3k’(i≦k≦NUL)、 pU4l’(1≦l≦NUR)を算出する。
【0114】
(ステップS1032)
ステップS1032は実施例1のステップS531と同様の処理により、剛体変換行列M2を算出する。そして、ステップS1031で取得した胸骨および肋骨に近接する体表の位置を剛体変換した位置pU1”、pU2”、 pU3k”(i≦k≦NUL)、 pU4l”(1≦l≦NUR)を算出する。
【0115】
(ステップS1033)
ステップS1033において、変換規則算出部1050はMRI画像座標系における胸骨および肋骨に近接する体表の位置および、ステップS532で算出した胸骨および肋骨に近接する体表の位置に基づき、胸骨軸周りの回転を補正する座標変換を算出する。この座標変換は、pU1”とpU2”を通る直線を軸とし、pU3k” (i≦k≦NUL)とpM3i(1≦i≦NML)、pU4l” (1≦l≦NUR)とpM4j(1≦j≦NMR)とを夫々略一致させる回転である。具体的には、pU1”とpU2”により一意に定まる回転軸に関する回転量をICP(Iterative Closest Point)法を用いることにより算出する。回転量の算出はICP法以外にも最急降下法やニュートン法などの如何なる最適化方法を用いても良い。
【0116】
以上の方法により、pU3k” (i≦k≦NUL)とpM3i(1≦i≦NML)、pU4l” (1≦l≦NUR)とpM4j(1≦j≦NMR)とを夫々略一致させる座標変換を剛体変換行列M3として算出する。
【0117】
(ステップS1034)
ステップS1034の処理は実施例1のステップS534と同様であるため説明を省略する。
【0118】
以上に説明したステップS1031からステップS1034の処理により、変換規則算出部1050はセンサ座標系における位置座標を、MRI画像座標系における対応する位置座標へと変換する剛体変換M4を算出する。
【0119】
以上、本実例における画像診断システム1によれば、肋骨に近接する体表の位置を複数の点の集合(点群)として取得して胸骨軸周りの回転を算出することができる。そのため、実施例1で説明した画像診断システムと比較して、より精度の高い座標変換を算出できる効果がある。また、ユーザは肋骨に近接する体表位置を、被検体の体軸に対して左右対称となるよう入力する必要が無いため、より簡便に本画像診断システムを操作できる仕組みを提供できる効果がある。
【0120】
(変形例2−1)
実施例2では、MRI画像座標系およびセンサ座標系の夫々において、肋骨に近接する体表の位置を点群として取得する場合を例として説明したが、本発明の実施はこれに限らない。例えば、ステップS1020で第2特徴位置取得部1040が取得するセンサ座標系における肋骨に近接する体表の位置は、実施例1と同様に、左右の第2肋骨に対して夫々1点の位置pU3、pU4であっても良い。この場合、ステップS1034において変換規則算出部1050は、pU1”とpU2”により一意に定まる回転軸に関する回転量をpU3”とpM3i(1≦i≦NML)、pU4”とpM4j(1≦j≦NMR)とを略一致するように算出することができる。この具体的な方法は、ICP法などの公知の方法により算出できる。以上の方法によれば、センサ座標系における肋骨に近接する体表の位置を実施例1と同様に簡便に取得することができ、なおかつ実施例2とほぼ同等の高い精度で座標変換を算出できる効果がある。
【0121】
また本発明の実施はこれに限らず、例えば、ステップS1010で第1特徴位置取得部1020が取得するMRI画像座標系における肋骨に近接する位置を、左右の第2肋骨に対して夫々1点の位置として取得するようにしても良く、前記の方法と同様の効果が期待できる。
【0122】
また前記回転量の算出処理では、肋骨に近接する体表の位置に関する左右夫々の情報を同等の重みで扱うようにしても良いし、それらの重みの差をつけて扱うようにしても良い。重みづけの差は、例えばpU3とpU1との間の距離と、pU4とpU1との間の距離に基づいて定めるようにできる。このとき、pU3とpU1との間の距離がpU4とpU1との間の距離よりも大きい場合には前記回転量の算出の処理において、左肋骨に関する位置の情報により大きい重みを付け、そうでない場合には右肋骨に関する位置の情報により大きい重みを付けるようにできる。これによれば、胸骨および肋骨に近接する体表の位置の取得に関する誤差を考慮し、より信頼できる情報を重要視した処理ができるため、前記回転量をより好適に算出できる効果がある。
【0123】
(変形例2−2)
本発明は以下のように実施することができる。すなわち、第1特徴位置取得部1020および第2特徴位置取得部1040の夫々が、肋骨に近接する体表の位置を、左右1点ずつ、もしくは点群、のいずれかを取得する処理を切り替えて実行できるようにしても良い。そして、第1特徴位置取得部1020と第2特徴位置取得部1040の両方が肋骨に近接する体表の位置を左右1点ずつ取得した場合には、実施例1のステップS530からステップS550の処理を実行するようにできる。また第1特徴位置取得部1020と第2特徴位置取得部1040の両方が肋骨に近接する体表の位置を点群として取得した場合には実施例2のステップS1030からステップS1050の処理を実行するようにできる。また、第1特徴位置取得部1020と第2特徴位置取得部1040のいずれか一方が肋骨に近接する体表の位置を左右1点ずつ取得し、他方が点群として取得した場合に変形例2−1で説明した処理を実行するようにできる。
【0124】
以上の方法によれば、肋骨に近接する体表位置の入力の手間と、座標変換の算出の精度の両方の観点において、ユーザが望む好適な処理方法を選択して実行できる仕組みを提供できる。
【実施例3】
【0125】
実施例1および実施例2では、MRI画像座標系およびセンサ座標系の夫々の座標系において、被検体の胸骨および肋骨に近接する体表の位置を取得して前記座標系間の関係(座標変換)を算出する場合を例として説明したが、本発明の実施はこれに限らない。例えば、被検体の肋骨に近接する体表の位置は必ずしも取得しなくても良い。
【0126】
本実施例では、MRI画像座標系およびセンサ座標系の夫々の座標系において、被検体の胸骨に近接する体表の位置、および被検体の前方方位を取得して前記座標系間の関係(座標変換)を算出する場合を例として説明する。
【0127】
本実施例に係る処理システムの構成は実施例1と同様のため説明を省略するが、主メモリ212に記憶されているプログラムが図12および図13のフローチャートの処理を実行するためのプログラムである点が異なっている。
図12のフローチャートに従い画像診断システム1の処理を説明する。
【0128】
(ステップS1200)
実施例1におけるステップS500と同様の処理であるため、説明を省略する。
【0129】
(ステップS1210)
ステップS1210において、第1特徴位置取得部1020はMRI画像に描出される被検体の胸骨に近接する体表の位置および被検体の前方方位を取得する。胸骨に近接する体表の位置の取得は、実施例1と同様であるため詳しい説明は省略する。MRI画像座標系における胸骨の上端および下端に近接する体表位置の位置を夫々、pM1、pM2として記録する。
【0130】
次に、被検体の前方方位の取得について説明する。被検体の前方方位は、被検体の後方から前方に向かう方位であり、被検体の姿勢に対して正しく撮影されたアキシャル断面画像における上方へ向かう方向である。アキシャル断面において、被検体としての人体は、通常、被検体の中心を通り、前方方位に向かう直線に対して左右にほぼ対称(鏡像)となる。本実施例において、前方方位は、MRI断面画像をユーザが観察し、その方位をマウス150などにより取得する。ここで前方方位はMRI画像座標系における単位ベクトルvMとして取得し、記録する。この時、被検体の前方方位は必ずしもユーザの入力操作に基づいて取得する必要はなく、例えばMRI画像に描出される被検体の姿勢をMRI画像に付随するDICOMヘッダなどの情報から取得し、それに基づいて被検体の前方方位を取得するようにしても良い。
【0131】
(ステップS1220)
ステップS1220において、第2特徴位置取得部1040はセンサ座標系における被検体の胸骨に近接する体表の位置および被検体の左右対称軸を取得する。胸骨に近接する体表の位置の取得は、実施例1と同様であるため詳しい説明は省略する。センサ座標系における胸骨の上端および下端に近接する体表位置の位置を夫々、pU1、pU2として記録する。
【0132】
次に、被検体の左右対称軸の取得について説明する。センサ座標系において、被検体の前方方位は例えば、前記胸骨に近接する体表の位置を取得する際の超音波プローブの姿勢に基づいて取得することができる。すなわち、胸骨に近接する体表位置にユーザが超音波プローブを接触させる際に、超音波プローブから放射される超音波ビームの放射方向(プローブ座標系におけるy軸)を被検体の体表に対してほぼ垂直になるように接触させる。この時の、プローブ座標系におけるy軸の方向をセンサ座標系に変換し、変換後の方向をセンサ座標系における方位を表す単位ベクトルvUとして取得し、記録する。この時、被検体の前方方位は必ずしも超音波プローブの姿勢に基づいて取得する必要はない。例えば、被検体が仰臥位となる検査時において、被検体が寝るベッドの上方向と位置姿勢計測装置130の計測基準の任意の軸方向とを予め一致させておく。これにより、超音波プローブの位置および姿勢に関する計測値によらず、前記任意の軸方向の単位ベクトルをvUとして取得するようにしても良い。
【0133】
(ステップS1230)
ステップS1230において、変換規則算出部1050はセンサ座標系とMRI画像座標系との間の座標変換に関する変換規則の算出を行う。
【0134】
(ステップS1240)
実施例1におけるステップS540と同様の処理であるため、説明を省略する。
【0135】
(ステップS1250)
実施例1におけるステップS550と同様の処理であるため、説明を省略する。
【0136】
図13のフローチャートに従いステップS1230の処理の詳細を説明する。
【0137】
(ステップS1231)
ステップS1231は実施例1のステップS531と同様の処理により、剛体変換行列M1を算出する。そして、ステップS1220で取得した胸骨に近接する体表の位置pU1、pU2を剛体変換した位置pU1’、pU2’を算出する。
【0138】
(ステップS1232)
ステップS1232は実施例1のステップS532と同様の処理により、剛体変換行列M2を算出する。そして、ステップS1231で取得した胸骨に近接する体表の位置pU1’、pU2’を剛体変換した位置pU1”、pU2” および被検体の前方方位vUを剛体変換した方位vU”算出する。
【0139】
(ステップS1233)
ステップS1233において、変換規則算出部1050は以下の処理を実行する。すなわち、MRI画像座標系における胸骨に近接する体表の位置および被検体の前方方位と、ステップS1232で算出した胸骨および肋骨に近接する体表の位置および被検体の前方方位に基づき、胸骨軸周りの回転を補正する座標変換を算出する。この座標変換は、pU1”とpU2”を通る直線を軸とし、vU”とvMとを略一致させる回転であり、公知の非線形最適化の方法により実行できる。
【0140】
以上の方法により算出した座標変換を剛体変換行列M3として算出する。
【0141】
(ステップS1234)
ステップS1234の処理は実施例1のステップS534と同様であるため説明を省略する。
【0142】
以上に説明した、本実施例における処理システムによれば、被検体の肋骨に近接する体表の位置の取得に関する処理を必要としないため、より簡便な方法でセンサ座標系とMRI画像座標系との変換規則を算出できる仕組みを提供できる。
【0143】
(変形例3−1)
実施例3では、MRI画像座標系とセンサ座標系の夫々における、胸骨に近接する体表の位置と、被検体の前方方位とを取得し、それらを略一致させるように両座標系間の座標変換を算出する場合を例として説明したが、本発明の実施はこれに限らない。例えば、第1特徴位置取得部1020および第2特徴位置取得部1040は、必ずしもMRI画像座標系およびセンサ座標系における被検体の前方方位を取得しなくても良い。この場合、ステップS1233において変換規則算出部1050は、MRI画像と超音波画像とを取得し、それらの画像に描出される解剖学的な特徴や輝度値の統計的などに基づいて胸骨軸周りの回転に関する座標変換を算出するようにしても良い。この方法によれば、MRI画像座標系およびセンサ座標系における被検体の前方方位を取得する必要がないため、よりそれを取得する際に混入する恐れのある誤差の影響を低減することができる効果がある。
【0144】
(その他の実施例)
上述の実施例では3次元医用画像の一例としてMRI画像を用いる場合を説明したが、被検体の3次元画像であればよく、たとえばX線CT画像やPET画像などであってもよい。
【0145】
上述の実施例では、MRI画像座標系とセンサ座標系との変換規則を算出することにより、MRI画像と、センサ座標系において位置と姿勢が計測された超音波画像とを比較して観察できる仕組みを提供する場合を一例として示した。しかし、本発明の実施はこれに限らない。本発明の本質は、人体の解剖学的な特徴である胸骨の構造を指標として、人体を撮影して得た画像や、人体を計測して得た計測値や、人体を模擬して得た図などのデータ同士またはデータ間の空間的な対応を求めることにある。従って本発明の実施は以下に例示するように様々な形態が考えられる。
【0146】
例えば、実施例1における超音波プローブに代えて、センサ座標系において位置と姿勢が計測された穿刺装置を用いても良い。この場合、例えばMRI画像において穿刺のターゲットとなる位置を定めておき、そのターゲットに対する穿刺装置の位置や姿勢を提示するようにできる。また、位置姿勢が測定できる3次元ポインティングデバイスであってもよい。
【0147】
また、例えば、MRI画像とX線CT画像等の他の3次元医用画像とを比較して観察することを目的として、MRI画像座標系と、他の3次元医用画像が基準とする座標系との変換規則を算出するようにもできる。この場合、実施例1で取得する、センサ座標系における被検体の胸骨および肋骨に近接する体表の位置に代えて、前記他の3次元医用画像に描出される被検体における胸骨および肋骨に近接する体表の位置を用いるようにできる。
【0148】
また、例えば、MRI画像と標準的な人体の概略形状等を記したシェーマ図との空間的な対応付けを行う場合にも適用できる。この場合、前記シェーマ図が基準とする座標系において、胸骨および肋骨の位置に関する情報を取得することにより、MRI画像とシェーマ図との空間的な対応関係を取得することができる。この場合、例えばMRI画像座標系において病変等の注目領域を取得し、それに対応する領域をシェーマ図上に提示するようにできる。
【0149】
上述の実施例では本発明をソフトウェアとコンピュータのハードウェアにより実現する例を示したが、この場合当該ソフトウェアを記憶した記憶媒体も本発明を構成することは言うまでもない。
【0150】
上述の情報処理装置100はCPUを含む電子計算機(コンピュータ)とソフトウェアとの協働によって実現されるが、情報処理装置100の各機能ブロックの一部を回路、一部をソフトウェアにより実装してもよい。回路のまとまりは機能ブロック単位に限定されることはなく、機能の一部のみを回路として実装することとしてもよい。
【0151】
また、情報処理装置100の各機能を複数の装置に分散させた情報処理し須t眼右とすることも可能である。
【0152】
上述の実施例はあくまで実施形態を例示したものであり、本発明はこれら実施例に限定されるものではない。
【符号の説明】
【0153】
1 画像診断システム
100 情報処理装置
1020 第1特徴位置取得部
1030 計測値取得部
1040 第2特徴位置取得部
1050 変換規則算出部
1060 対応面画像生成部
1090 表示制御部
1400 表示部
【技術分野】
【0001】
本発明は、種々の医用画像撮影装置で撮影した医用画像を処理する情報処理装置、情報処理方法、情報処理をコンピュータに実行させるためのプログラム、並びに医用画像を撮影する撮影システムに関する。
【背景技術】
【0002】
患者の検査や病変部の観察のため、複数の医用画像撮影装置(モダリティ)により得られた画像が用いられている医師により行われている。ここで医用分野において用いられるモダリティとしては単純X線撮影装置、X線コンピュータ断層撮影装置(X線CT)、核磁気共鳴映像装置(MRI)、超音波画像診断装置(US)などがあげられる。
【0003】
このような異なる複数のモダリティで得られる画像同士の位置を対応付けることにより、被検者の同一部位を異なる複数種類の画像で観察することが可能となる。例えば、予め撮影された3次元MRI画像から、超音波撮影装置で撮影される超音波画像と対応するMRI断層画像を取得し、両画像を比較しながら診断することが可能となる。これを実現するための技術として、特許文献1には、位置センサの基準物体と患者が載置されるベッドとの位置関係を設定し、位置センサ付きの超音波探触子で体表上の既定の1点を指定することで超音波画像とMRI画像とを対応関係を得る技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2008−279272号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1のように位置センサの基準物体と患者が載置されるベッドとの位置関係を設定することは煩雑な作業であり、また被検体の1点で対応関係を得る方法ではベッド上で患者の向きや姿勢の変更に対応できず大きな誤差を生じるおそれがある。
【課題を解決するための手段】
【0006】
そこで本発明の一態様に係る情報処理装置は、3次元画像における被検体の胸骨に基づく複数の位置を取得する第1の取得手段と、前記被検体における該被検体の胸骨に基づく複数の位置を取得する第2の取得手段と、前記第1の取得手段および前記第2の取得手段により取得された複数の位置に基づいて、前記被検体と前記3次元画像との位置の対応関係を算出する算出手段と、を有することを特徴とする。
【発明の効果】
【0007】
本発明によれば、被検体において指定しやすい胸骨に基づく複数の位置を指定することで、被検者と3次元画像とで胸骨の位置および向きを合わせるため、被検者と3次元画像との対応関係を効率的かつ精度よく得ることができる。
【図面の簡単な説明】
【0008】
【図1】画像診断システム1の構成を示す図である。
【図2】画像診断システム1のハードウェア構成を示す図である。
【図3】画像診断システム1の撮影機能の概要を示す図である。
【図4】画像診断システム1に係る被写体の位置を測定する機能の概要を示す図である。
【図5】画像診断システム1による処理の概要を示すフローチャートである。
【図6】座標変換の算出処理を詳細に示すフローチャートである。
【図7】肋骨に基づく位置の座標の取得処理を示すフローチャートである。
【図8】表示制御部1090によりモニタ(表示部)140に表示される画像を示す図である。
【図9】第1特徴位置取得部1020または第2特徴位置取得部1030による座標位置の取得処理を判定する判定部1100の処理を示すフローチャートである。
【図10】画像診断システム1によるその他の処理の概要を示すフローチャートである。
【図11】その他の座標変換の算出処理を詳細に示すフローチャートである。
【図12】画像診断システム1によるその他の処理の概要を示すフローチャートである。
【図13】その他の座標変換の算出処理を詳細に示すフローチャートである。
【発明を実施するための形態】
【0009】
本発明の実施形態について以下の実施例に分けて説明する。
【実施例1】
【0010】
図1に基づいて実施例1に係る画像診断システム1の構成を説明する。画像診断システム1は情報処理装置100、MRI画像撮影装置110、超音波画像撮影装置120、位置姿勢計測装置130、表示部1400、操作部1500を有する。
MRI画像撮影装置110は、人体である被検体の内部の3次元領域に関する情報を核磁気共鳴法により取得したMRI画像を取得する装置である。ここでMRI画像には基準となる座標系(MRI画像座標系)が定められ、その座標系における前記3次元領域の情報は複数の画素により表されるものとする。
【0011】
超音波画像撮影装置120は超音波を送受信する不図示の超音波プローブを被検体に接触させることで、被検体の内部を超音波撮影する。本実施例において、超音波画像撮影装置120は、被検体の断面領域を撮影した2次元のBモード超音波画像を撮影する。
【0012】
位置姿勢計測装置130は3次元空間における前記超音波プローブの位置と姿勢を計測する装置であり、例えば磁気式や光学式の6自由度計測装置を超音波プローブに装着することで構成される。ここで超音波プローブの位置と姿勢とは、超音波プローブを基準として定める座標系(プローブ座標系)と、位置姿勢計測装置130が基準として定める座標系(センサ座標系)との間の相対的な位置と姿勢の関係を意味する。プローブ座標系は、超音波プローブの撮影面(被検体と接する面)の中心を原点とし、超音波ビームの放射方向をY軸とする。また超音波画像撮影装置120が撮影する超音波画像の撮影面に含まれ、前記Y軸と直交する方向をX軸とする。そして、X軸とY軸の外積の方向をZ軸とする。プローブ座標系は上記のようにして定める直交座標系である。センサ座標系は、位置姿勢計測装置130が基準として定める直交座標系であり、例えば計測を行う3次元空間に固定して設置される不図示の計測ステーションを基準とする。
【0013】
情報処理装置100はMRI画像取得部1010、第1特徴位置取得部1020、計測値取得部1030、第2特徴位置取得部1040、変換規則算出部1050、対応面画像生成部1060、超音波画像取得部1070、表示画像生成部1080、表示制御部1090、判定部1100、出力部1110を有する。
MRI画像取得部1010は、MRI画像撮影装置110が撮影した被検体のMRI画像を取得する。
【0014】
第1特徴位置取得部1020は、MRI画像取得部1010が取得したMRI画像に描出される被検体の胸骨および肋骨に近接する体表の位置を、MRI画像座標系(第1の座標系)における胸骨に基づく位置および肋骨に基づく位置の座標として取得する。
【0015】
計測値取得部1030は、位置姿勢計測装置130が計測した超音波プローブの位置と姿勢の計測値を、並進と回転により表される4行4列の剛体変換行列として取得する。ただし、前記計測値はセンサ座標系を基準とする。
【0016】
第2特徴位置取得部1040は、計測値取得部1030が取得した計測値を利用して、被検体の胸骨および肋骨に近接する体表の位置を、センサ座標系(第2の座標系)における被検体の胸骨に基づく位置および肋骨に基づく位置の座標として取得する。
【0017】
変換規則算出部1050は、第1特徴位置取得部1020が取得した情報と、第2特徴位置取得部が取得した情報とに基づき、センサ座標系とMRI画像座標系との間の位置座標の変換規則を算出する。被検体と3次元画像との位置の対応関係が算出される。
【0018】
対応断面画像生成部1060は、計測値取得部1030が取得した超音波プローブの位置と姿勢の情報および、座標変換算出部1050が算出した変換規則および、MRI画像取得部1010が取得したMRI画像に基づき、対応断面画像を生成する。対応断面画像とは、超音波プローブが撮影する被検体の領域と対応する領域をMRI画像から切り出した画像である。
【0019】
超音波画像取得部1070は、超音波画像撮影装置120が取得した被検体の内部を超音波撮影した超音波画像を取得する。
表示画像生成部1080は、対応断面画像生成部1060が生成した対応断面画像および、超音波画像取得部1070が取得した超音波画像に基づき、表示画像を生成する。
【0020】
表示制御部1090は、生成された表示画像を表示部に表示させる。判定部1100は、第2特徴位置取得部1040が取得する被検体の位置が、変換規則算出部1050により変換規則を算出するのに際して不足しているか否か、および精度よく算出するのに適切な位置であるか否かを判定する。出力部1110は判定の結果、取得されるべき位置の不足や不適切な位置が取得された場合に表示部1400に警告を出力させる。なお、必ずしも表示による警告でなくともよく、音声等によるものであってもよい。
【0021】
図2は、本実施形態に係る画像診断システムのハードウェア構成を示す図である。本実施形態の画像診断システムは情報処理装置100、MRI画像撮影装置110、超音波画像撮影装置120、位置姿勢計測装置130、モニタ140、マウス150、キーボード160により構成される。
【0022】
情報処理装置100は、中央演算処理装置(CPU)211、主メモリ212、磁気ディスク213、表示メモリ214を有する。また情報処理装置100はモニタ140、マウス150、キーボード160と接続されている。上述の各構成要素は共通バス218により互いに通信可能に接続されている。
【0023】
CPU211は、主として情報処理装置100の各構成要素の動作を制御する。主メモリ212は、後述する図5、図6に示すフローチャートに記載の処理を実現するためのプログラムが格納されている。また主メモリ212はCPU211によるプログラム実行時の作業領域を提供する。磁気ディスク213は、オペレーティングシステム(OS)、周辺機器のデバイスドライブ、後述する処理等を行うためのプログラムを含む各種アプリケーションソフト等を格納する。表示メモリ214は、モニタ140のための表示用データを一時記憶する。モニタ140は、例えばCRTモニタや液晶モニタ等であり、表示メモリ214からのデータと基づいて画像を表示する。マウス150およびキーボード160はユーザによるポインティング入力および文字やコマンド等の入力をそれぞれ行う。
主メモリ212に記憶されたプログラムがCPU211により展開され実行されることにより、情報処理装置100のハードウェアとソフトウェアが協働して情報処理装置100は先述の図1に示す機能を有する。例えばモニタ140は表示部1400として機能する。また後述する図5、図6に記載の処理が情報処理装置100により実現される。
【0024】
図3に基づいて上述の画像診断システム1の撮影機能を説明する。超音波画像撮影装置120には超音波プローブ2000が備えられ、超音波プローブ2000の撮影面2020を被検体2030に接触させて撮影面2020を介して被検体2030の信号を得ることにより超音波画像撮影装置120は被検体2030の超音波画像を撮影する。
超音波プローブ2000には位置姿勢計測装置130が備える位置姿勢センサ2010が固定して装着される。これにより、位置姿勢計測装置130は、位置姿勢計測基準2040を基準として超音波プローブ2000の位置と姿勢を計測する。
【0025】
被検体3030に対して超音波およびMRIの2種類の撮影が行われる。
被検体3030の超音波撮影は、超音波画像撮影装置120が備える超音波プローブ3000を被検体の体表に接するように保持することにより行われる。その結果、被検体3030における超音波画像撮影領域3100を撮影した超音波画像2110が取得される。超音波画像撮影領域3100は、超音波プローブ3000を体表に接触させた場合、被検体3030の内部の断層画像が得られる。
この超音波画像3110には超音波画像座標系3120が定義される。この座標系は例えば超音波画像3110の左上の画素の位置を原点とし、横方向をX軸、縦方向をY軸、それらの外積方向をZ軸とする座標系である。
【0026】
このとき、位置姿勢計測装置130は、超音波プローブ3000の位置と姿勢を位置姿勢計測基準3040を基準とした計測値として取得する。これにより超音波プローブ3000により定まる超音波画像の撮影領域3100の位置と姿勢も、同様に位置姿勢計測基準3040を基準とした計測値として取得される。ここで、位置姿勢計測基準2040を基準とする座標系(センサ座標系)と、超音波画像座標系との間の関係は、位置姿勢計測装置130の計測結果により一意に定まる。
【0027】
一方MRI撮影では、MRI画像撮影装置120に撮影領域3200を設定し、その領域における被検体3030の複数のMRI画像3210が得られる。このMRI画像は被検体3200の3次元的な構造を撮影して得られる3次元画像である。
MRI画像にはMRI画像座標系3220が定義される。この座標系は例えばMRI画像撮影装置120が基準とする座標系である。
MRI画像座標系3220とセンサ座標系との間の関係を求めることができれば、MRI画像座標系3220と超音波画像座標系3120との間の関係も求めることができる。それにより、MRI画像3210と超音波画像3110の夫々に描出される被検体3030の体内の画像を位置を合わせて比較して観察できるようになる。
【0028】
図4に基づいてMRI画像座標系3220とセンサ座標系との間の関係を求めるための計測処理の概要を説明する。MRI画像座標系(第1の座標系)とセンサ座標系(第2の座標系)の夫々の座標系において、人体である被検体の胸骨および肋骨に近接する体表の位置を取得し、それらに基づいて前記座標系の間の座標変換を算出する。
【0029】
被検体3030の内部には胸骨4050と肋骨4060が存在する。検査者は超音波プローブ3000の撮影面3020を被検体3030の胸骨上の少なくとも2つの計測点4070および肋骨上の少なくとも2つの計測点4080に接触させ、そのときの撮影面3020の位置と姿勢を計測する。これにより、位置姿勢計測基準3040を基準とした被検体3030の胸骨上の計測点4070の位置と、肋骨上の計測点の位置とを計測する。
【0030】
胸骨付近の体表の位置を測定することとしているのは、超音波プローブ3000など体外から非侵襲的に被写体の位置を特定する場合に、胸骨の位置を指定しやすいからである。また被検体が仰向けからうつ伏せまたはその逆へと姿勢を変えても変形しにくいからである。特に胸部の診断を行う場合には胸部に近くかつ検査者が精度良く指定できる胸骨が望ましい。また、胸骨のうち第2肋骨の付け根の部分付近の体表位置は体外からでも特に精度よく指定でき、また被検体への負担も少ない。また別の位置としては、みぞおち付近(胸骨の下端)も精度よく指定することが容易であり、望ましい。
【0031】
肋骨の位置も、被検体の体外から位置を計測しやすく、また被検体の変形の影響も受けにくいため、3次元画像との位置合わせには好適である。特に、左右の肋骨が被検体の体軸に対して略対象であるという仮定の下、対となる左右の肋骨について、胸骨に対して対称な点をそれぞれ指定することで位置合わせの精度を向上させることができるとともに、位置の指定もしやすくなる。
【0032】
なお後述するが肋骨の位置を指定することとするのはあくまでも本発明の実施例の1つである。肋骨の位置を指定しない実施例については後に述べる。
【0033】
上述のように取得された被検体の位置と、MRI画像において指定された位置との対応関係を得ることで、超音波プローブによって撮影された超音波画像と、それに対応するMRI画像の対応領域(対応断面)を得ることができる。これによってMRI画像と超音波画像の両方を用いて肺や乳房等の胸部の画像診断を精密かつ効率的に行うことができる。
【0034】
次に、情報処理装置100が行う処理を図5のフローチャートに従い説明する。上述の通り、主メモリ212に格納されている各部の機能を実現するプログラムをCPU211が実行することにより実現される。また以下に説明する情報処理装置100が行う各処理の結果は、主メモリ212に格納することにより記録される。
【0035】
なお、計測値取得部1030は処理のステップに関わらず、位置姿勢計測装置130が計測した超音波プローブの位置と姿勢に関する計測値を逐次取得するとともに、その情報を保持し、他の処理部からの要求に応じて最新の計測結果を出力する。また、超音波画像取得部1070も同様に処理のステップに関わらず、超音波画像撮影装置120が撮影した超音波画像を逐次取得するとともに、その情報を保持し、他の処理部からの要求に応じて最新の超音波画像を出力する。
【0036】
(ステップS500)
ステップS500において、MRI画像取得部1010はMRI撮影装置110が被検体を撮影した3次元のMRI画像を取得する。MRI画像は複数の画素により構成され、各画素は輝度値と位置に関する情報を持つものとする。ここで各画素の位置はMRI画像が基準とする座標系(MRI画像座標系)における3次元の位置座標である。
【0037】
(ステップS510)
ステップS510において、第1特徴位置取得部1020はMRI画像に描出される被検体の胸骨および肋骨に近接する体表の位置をMRI画像座標系における位置として取得する。被検体の胸骨および肋骨に近接する体表の位置とは、例えば被検体の体表の中で、胸骨表面および肋骨の表面位置に空間的に最も近い位置の事を意味する。ここで、胸骨に近接する体表の位置は、被検体の胸骨の上端、および胸骨の下端の位置に夫々近接する体表の位置とすることができる。また、肋骨に近接する体表の位置は、例えば被検体の左右夫々の第2肋骨の位置に近接する体表の位置とすることができる。ここで、肋骨に近接する体表の位置は必ずしも被検体の第2肋骨の位置に近接する体表の位置でなくても良く、例えば被検体の第1肋骨や、第3肋骨など任意の肋骨の位置に近接する体表の位置であっても良い。ただし、後に説明するステップS520において指標とする被検体の肋骨と同じ肋骨であることが望ましい。胸骨および肋骨に近接する体表の位置の取得は、例えば以下の仕組みにより取得することができる。すなわちモニタ140にMRI画像のアキシャル像、サジタル像、コロナル像など、任意の断面を切り出した画像(断面画像)を表示する。前記断面の位置や姿勢をユーザによるマウス150やキーボード160等の操作に基づいて切り替える。そして、その断面画像に写る胸骨および肋骨に近接する体表の位置を、ユーザがマウス150の操作などにより指定した位置を取得する。前記断面の位置や姿勢、およびユーザが指定した断面画像上の位置に基づき、胸骨および肋骨に近接する体表のMRI画像座標系における位置を算出する。
【0038】
なお、以上の説明では、ユーザがマウス150の操作などにより、肋骨および胸骨に近接する体表の位置をMRI画像上で指定することにより、当該位置を取得する場合を例として説明したが、本発明の実施はこれに限らない。例えば、第1特徴位置取得部1020はユーザがマウス150の操作などにより胸骨および肋骨の位置を指定した情報を取得し、その位置に近接する体表の位置を画像処理等によって算出するようにしても良い。例えば、MRI画像を画像処理することで被検体の体表の形状を密な点群などの形態で抽出し、その点群の中から、前記ユーザが指定した位置に近接する点を選択することにより実現できる。
【0039】
以上の処理により取得した胸骨の上端(第2肋骨の付け根の部分)に近接する体表位置のMRI画像座標系における位置をpM1として記録する。同様に胸骨の下端に近接する体表位置をpM2、左第2肋骨に近接する体表位置をpM3、右第2肋骨に近接する体表位置をpM4として記録する。ここで、pM3とpM4は被検体に対して左右対称となる位置であることが望ましい。この理由については後述するステップS533の処理の説明で詳しく述べる。前記4つの位置は、ユーザが指定を行った順にpM1、pM2、pM3、pM4と記録するようにしても良いし、ユーザによるキーボード160入力に基づいて任意の順番で記録するようにしても良い。ここでpM1、pM2、pM3、pM4は、3次元空間における位置を表す拡張ベクトルとして記録する。前記4つの点の全ての位置の入力を終えたらステップS520へと処理を進める。
【0040】
以上の説明では、ユーザの入力操作に基づいて被検体の胸骨および肋骨に近接する体表の位置を取得する場合を例として説明したが、本発明の実施はこれに限らない。例えば前記データを外部の記録装置等に記録しておき、それを情報処理装置100へ入力するようにして取得しても良い。
【0041】
(ステップS520)
ステップS520において、第2特徴位置取得部1040はセンサ座標系における被検体の胸骨および肋骨に近接する体表の位置の取得を行う。この処理は例えば以下のように実行される。ユーザは被検体の胸骨の上端位置(第2肋骨の付け根の部分)に近接する体表の位置に超音波プローブの撮影面の中心が触れるように保持する。そして、位置取得の実行命令をユーザによるキーボード160の操作等などにより取得した際に、計測値取得部1030が取得したセンサ座標系における超音波プローブの位置と姿勢に関する最新の計測結果を取得する。そして、超音波プローブの撮影面の中心位置をpU1として記録する。同様に胸骨の下端に近接する体表の位置をpU2、左第2肋骨に近接する体表の位置をpU3、右第2肋骨に近接する体表の位置をpU4として記録する。ここで、pU3とpU4は被検体に対して左右対称となる位置であることが望ましい。この理由については後述するステップS533の処理の説明において詳しく述べる。前記4つの位置は、ユーザが指定を行った順にpU1、pU2、pU3、pU4と記録するようにしても良いし、ユーザによるキーボード160入力に基づいて任意の順番で記録するようにしても良い。ここでpU1、pU2、pU3、pU4は、3次元空間における位置を表す拡張ベクトルとして記録する。
【0042】
以上の説明では、センサ座標系において位置と姿勢が計測されている超音波プローブを用い、その撮影面の中心の位置を取得することにより被検体の胸骨および肋骨に近接する体表の位置を取得する場合を例として説明したが、本発明の実施はこれに限らない。例えば、超音波プローブではなくスタイラス等の装置を用いても良い。この場合、前記スタイラスの先端をセンサ座標系において計測し、前記被検体の所定の部位に前記スタイラスの先端を接触させたときの、前記スタイラスの先端の位置を取得するようにしても良い。
【0043】
以上の処理により、第2特徴位置取得部1040は胸骨および肋骨に近接する体表の位置の取得を行い、それが終了したら処理をステップS530へと進める。
【0044】
(ステップS530)
ステップS530において、変換規則算出部1050はセンサ座標系とMRI画像座標系との間の座標変換に関する変換規則の算出を行う。言い換えれば第1特徴位置取得部1020が取得した胸骨および肋骨に基づく複数の位置と、第2特徴位置取得部1040が取得した胸骨および肋骨に基づく複数の位置との対応関係を算出することにより、被検体と前記3次元画像との位置の対応関係を算出する。詳細は図6に従い後述する。
【0045】
(ステップS540)
ステップS540において、対応断面画像生成部1060は、所定のフレームレートに応じて逐次入力される超音波画像に対応するMRIの対応断面画像を、超音波プローブの位置姿勢と、ステップS530で取得した変換規則とを利用して生成する。さらに表示画像生成部1080は前記対応断面画像と超音波画像とを比較して観察するための表示画像を生成する。より具体的には以下の処理を実行する。まずプローブ座標系における超音波画像の撮影領域を取得する。例えば超音波画像が矩形の場合には、その4隅の位置を取得する。次に、計測値取得部1030から超音波プローブの位置と姿勢に関する最新の計測値を取得し、それに基づいて前記4隅の位置のセンサ座標系における位置を算出する。さらに、ステップS530で算出した変換規則M4に基づき、前記位置をMRI画像座標系に変換することで、MRI画像座標系における4隅の位置を算出する。そして、その4隅の位置を結ぶMRI画像座標系における矩形領域を算出し、その領域におけるMRI画像を切り出すことにより対応断面画像を生成する。そして、表示画像生成部1080は超音波画像取得部1070が取得した最新の超音波画像を取得する。そして、対応断面画像生成部1060が取得した対応断面画像と、前記超音波画像とを比較して観察できるようにした表示画像を生成し、モニタ140等に表示する。表示画像の具体例としては対応断面画像と超音波画像とを並べた画像や、両画像の一方に他方を重畳した画像などである。これにより、ユーザが超音波画像と、それに対応するMRI画像の対応断面画像とを比較して観察できる仕組みが提供される。なお、以上で示したステップS540の処理は、所定のコマンドをユーザが入力するまで、時々刻々と入力される超音波画像に対して繰り返し実行される。
【0046】
(ステップS550)
ステップS550において情報処理装置100は、処理を終了するか否かの判定に基づき、終了と判定した場合には処理を終了させ、そうでない場合にはステップS520に処理を戻す。この判定は、ユーザによるマウス150やキーボード160による入力操作に基づいて行うことができる。従って、ユーザはステップS540において情報処理装置100がモニタ140に表示した超音波画像と対応断面画像を観察して、ステップS530で実行した座標変換が適切に実行されたか否かを判断して、情報処理装置100の処理を切り替える操作を行うことができる。例えば、座標変換が適切であると判定した場合には処理を終了させ、そうでない場合にはセンサ座標系における胸骨および肋骨の夫々に近接する体表の位置の入力と座標変換の算出をやり直すことができる。
【0047】
また、座標変換が適切であると判定した場合に処理を終了させるのではなく、さらにMRI画像と超音波画像とを用いて、被検体の変形に関する補正等も含む、より精密に座標変換を補正する処理をさらに実行するようにしても良い。その場合、ステップS530で算出した座標変換に関する変換規則を初期値として利用することができる。
【0048】
図6のフローチャートに従いステップS530の処理手順を詳細に説明する。
【0049】
(ステップS531)
ステップS531において、変換規則算出部1050はセンサ座標系における胸骨の上端に近接する体表の位置pU1をMRI画像座標系における胸骨の上端(第2肋骨の付け根の部分)に近接する体表の位置pM1とを合わせるような座標変換を求める処理を行う。これは、第2肋骨の付け根の部分は体外から最も精度よくかつ容易に指定できる点であるとして、当該点を優先させた位置合わせを行うためである。
【0050】
ここで座標変換は剛体変換行列M1により表す。剛体変換行列M1は数1の関係となる4行4列の行列である。
pM1 =M1pU1 ・・・数1
さらに変換規則算出部1050は、剛体変換行列M1を用いて、センサ座標系における胸骨と肋骨に近接する体表の位置pU1、pU2、pU3、pU4を剛体変換した位置pU1’、pU2’、pU3’、pU4’を算出する。なお、本実施例に係る変換では、pU1とpU1’とは同一の位置である。
【0051】
(ステップS532)
ステップS532において、変換規則算出部1050はステップS531で座標変換した胸骨の上端に近接する体表の位置と、胸骨の下端に近接する体表の位置とを結ぶ直線(胸骨軸)を、それに対応するMRI座標系における胸骨軸に一致させる座標変換を求める処理を行う。具体的には次の処理を行う。まず、ステップS531で座標変換した胸骨の上端(第2肋骨の付け根の位置)に近接する体表の位置と、胸骨の下端に近接する体表の位置とで定義される胸骨の方向のベクトルdU2を数2の計算により求める。
【0052】
【数1】
【0053】
同様にMRI画像座標系における、胸骨の上端に近接する体表の位置と、胸骨の下端に近接する体表の位置とで定義される胸骨の方向のベクトルdM2を数3の計算により求める。
【0054】
【数2】
【0055】
次に、ベクトルdU2(位置姿勢計測装置130で計測された被検体の胸骨方向)とベクトルdM2(3次元MRI画像において指定された被検体の胸骨方向)の方向を一致させるための回転軸の方向を表すベクトルda2を数4のベクトル同士の外積計算により求める。
【0056】
【数3】
【0057】
次に、数4で求めたベクトルda2が表す方向を軸とした回転量(回転角)θ2を数5の計算により求める。
【0058】
【数4】
【0059】
そして、ステップS531で座標変換した胸骨の上端に近接する体表の位置pU1’を中心とし、ベクトルda2の方向を軸とし、回転量θ2だけ回転させる剛体変換行列M2を算出する。ここで剛体変換行列M2は4行4列の行列であり、既知の手法により算出できる。M2は第1特徴位置取得部1020により取得された被検体の第2肋骨の付け根部分に基づく位置と、第2特徴位置取得部1040により取得された3次元MRI画像における第2肋骨の付け根部分に基づく位置とが合うような被検体と3次元画像との対応関係を示す。
【0060】
胸骨の上端(第2肋骨の付け根の位置)の計測値をもっとも信用できる値としつつ、次に信用できると考えられる胸骨の下端の位置を用いて胸骨の位置を合わせることで、精度良く位置合わせをすることができる。
【0061】
さらに変換規則算出部1050は、ステップS531で剛体変換した胸骨と肋骨に近接する体表の位置pU1’、pU2’、pU3’、pU4’ の夫々をさらに剛体変換行列M2により剛体変換した位置pU1”、pU2”、pU3”、pU4”を算出する。なお、本実施例に係る変換では、pU1とpU1’とpU1”とは同一の位置である。
【0062】
(ステップS533)
ステップS533において変換規則算出部1050はMRI画像座標系における胸骨および肋骨に近接する体表の位置および、ステップS532で算出した胸骨および肋骨に近接する体表の位置に基づき、胸骨軸周りの回転を補正する座標変換を算出する。
【0063】
図7はステップS510で取得した胸骨および肋骨に近接する体表の位置pM1、pM3、pM4、およびステップS520で取得した胸骨および肋骨に近接する体表の位置pU1、pU3、pU4の概略を示す図である。実際の被検体の前記の位置は3次元空間上に存在するが、ここでは紙面による説明の都合上、被検体のアキシャル断面上に前記位置を投影した図7を用いて説明する。また、pU1、pU3、pU4とpM1、pM3、pM4は夫々異なる座標系における位置であるが、ここでは被検体を基準として前記各位置が示す部位を図示する。この図7において、左肋骨に近接する体表700および右肋骨に近接する体表710は被検体の体表730の中で、肋骨に近接する部位を表す。図7に示すように被検体の左右の肋骨に近接する体表は、3次元空間中において、被検体の体軸に対して略対称な曲線として捉えることができる。ここで、ステップS510で取得したpM3およびpM4は、左肋骨に近接する体表700および右肋骨に近接する体表710の夫々の曲線上の何れかの位置である。同様にステップS520において取得するpU3およびpU4も同様に、左肋骨に近接する体表700および右肋骨に近接する体表710の夫々の曲線上の何れかの位置である。ただし、図示するようにpM3とpU3およびpM4とpU4は必ずしも被検体の同一の部位であるとは限らない。そのため、仮に取得されるpM3、pM4、pU3、pU4が肋骨に近接する体表上で完全な自由度を持つ場合には、これらの点を用いて胸骨軸周りの回転を補正する座標変換を算出するのは容易ではない。そこで、本実施例ではステップS510およびステップS520において、左右の肋骨に近接する体表の位置を被検体の体軸に対して略対称となる位置をユーザに取得させることにより簡易な処理で前記座標変換を算出できるようにする。
【0064】
ステップS533において変換規則算出部1050が行う具体的な処理について説明する。まず、ステップS532で算出した胸骨の上端に近接する体表の位置、および胸骨の下端に近接する体表の位置、および左第2肋骨に近接する体表の位置を含む平面の法線nULを求める。この処理は数6の計算により実行される。
【0065】
【数5】
【0066】
同様に、胸骨の上端に近接する体表の位置、および胸骨の下端に近接する体表の位置、および右第2肋骨に近接する体表の位置を含む平面の法線nURを数7により求める。
【0067】
【数6】
【0068】
さらに、法線nUL、法線nURの平均ベクトルnUを数8により求める。
【0069】
【数7】
【0070】
またMRI画像座標系における胸骨および肋骨に近接する体表位置に基づいて、数9、数10、数11の計算により法線nMR、nMRおよび、それらの平均ベクトルnRを求める。
【0071】
【数8】
【0072】
【数9】
【0073】
【数10】
【0074】
次に、ベクトルnU、およびベクトルnRの方向を一致させるための回転の軸da3と回転量θ3を数12、数13の計算により求める。
【0075】
【数11】
【0076】
【数12】
【0077】
そして、ステップS532で座標変換した胸骨の上端に近接する体表の位置pU1”を中心とし、ベクトルda3の方向を軸とし、回転量θ3だけ回転させる剛体変換行列M3を算出する。M3は第1特徴位置取得部1020および第2特徴位置取得部1040により取得された肋骨に基づく位置の対応関係に基づいて、被検体と3次元MRI画像との胸骨を軸とする回転方向の対応関係を示す。剛体変換行列M2は4行4列の行列であり、既知の手法により算出できる。
【0078】
(ステップS534)
ステップS534において変換規則算出部1050は剛体変換行列M1、M2、M3を合成した剛体変換行列M4を算出する。このM4はセンサ座標系における位置座標を、MRI画像座標系における対応する位置座標へと変換する剛体変換である。この算出は数14の計算により行う。
【0079】
【数13】
【0080】
以上に説明したステップS531からステップS534の処理により、変換規則算出部1050はセンサ座標系における位置座標を、MRI画像座標系における対応する位置座標へと変換する剛体変換M4を算出する。以上によって、情報処理装置100の処理が実施される。
【0081】
ステップS530ではさらに以下の処理を行うようにしても良い。すなわち、ステップS520で取得したセンサ座標系における胸骨および肋骨に近接する体表の位置を、前記M4を用いて剛体変換した位置を3次元的な位置関係が認識できるようにモニタ140などに表示する。さらに、ステップS510で取得したMRI画像座標系における被検体の胸骨および肋骨に近接する体表の位置を、前記同様に表示する。これによれば、前記表示した胸骨および肋骨に近接する体表の位置の位置関係をユーザに提示することができ、ステップS531からステップS534までの処理が好適に実行されたか否かをユーザが把握できる効果がある。
【0082】
図8にステップS540で表示制御部1090が表示部1400に表示させる表示画像800の例を示す。表示画像800では、MRI断層画像810と超音波画像820が並べられている。表示画像800は超音波画像820の撮影中に表示部1400に表示される。変換規則算出部1050により算出された被検体と3次元画像との対応関係に基づいて、撮影された超音波画像820に対応するMRI断層画像810が生成される。
【0083】
以上に説明した、本実例における画像診断システム1によれば、煩雑な操作を必要とすることなく、高精度にセンサ座標系とMRI画像座標系との変換規則を算出できる仕組みを提供できる。
【0084】
(変形例1−1)
上述の例では3次元画像と被検体との対応関係を得る際に検査者が手動で被検者の体表位置を指定するという作業が生じうる。そこで情報処理装置100は検査者の負担を軽減するため、計測に対してユーザ支援情報を提示する機能を有する。
【0085】
図9のフローチャートに従い検査者の作業を支援する処理を説明する。この処理は、先述の図5のステップS520において第2特徴位置取得部1040が被検体の測定位置を取得するたびに行われるものである。
【0086】
ステップS900で判定部1100は第2特徴位置取得部1040により取得された特徴位置を取得する。
【0087】
ステップS910で判定部1100は取得された位置が閾値よりも大きく外れた位置であるか否かを判定する。1つの例では、既定の位置が取得されたか否かを判定する。上述の例であれば、胸骨(における第2肋骨の付け根と、下端)に基づく2点と、胸骨に対して対称な肋骨上の2点である。取得された特徴位置がいずれかに該当するかを判定する。
【0088】
また別の例では第2特徴位置取得部により取得された胸骨の複数の位置が、胸骨の位置については一般的な被検体の胸骨の大きさを超える範囲で分布している場合には、計測が失敗していると判定する。
【0089】
また別の例では、ベッドに横になった被検体を測定するという前提の下では胸骨の方向はベッドの方向と略平行か、少なくともベッドと胸骨の方向がなす各は所定の角度範囲に収まると考えられる。そこで判定部1100は胸骨に基づく複数の位置から得られる胸骨の位置がベッドの水平方向と所定以上の角度をなす場合には計測が失敗していると判定する。
【0090】
また別の例では、胸骨の3点以上の位置が指定されている場合において、1点が他の点に対して所定の閾値よりも大きく外れていると判定された場合には、計測が失敗していると判定する。計測が失敗していると判定された場合にはステップS920に進む。計測が失敗していると判定されなかった場合にはステップS920を飛ばしてステップS930に進む。
【0091】
ステップS920で出力部1110は取得された位置が不適切な位置であるとして、表示部1400に警告を示す旨の表示をさせる。
【0092】
ステップS930で、判定部1100は取得されたすべての特徴位置について判定を行ったか否かを判定する。未だ判定されていない点がある場合にはステップS900に進む。すべての入力された点について判定を終えている場合にはステップS940に進む。
【0093】
ステップS940で判定部1100は既定のすべての特徴位置が取得されたか否かを判定する。上述の例であれば、胸骨(における第2肋骨の付け根と、下端)に基づく2点と、胸骨に対して対称な肋骨上の2点である。すべて取得済みと判定された場合にはステップS950を飛ばして処理を終える。すべて取得済みと判定されなかった場合には、ステップS950に進む。ステップS950で出力部は、未取得の特徴位置がある旨の警告情報を出力し、表示部1400は係る情報を表示する。
【0094】
なお、上述の処理は第2特徴位置取得部1040による取得処理に対して行われるだけでなく、第1特徴位置取得部1020による取得処理に対して行われることとすれば、検査者が行う3次元画像における特徴位置の指定作業の負担を軽減することができる。
【0095】
また、ユーザに対する支援情報の提示は前記の例に限らず、例えばpU3とpU4が被検体に対して左右対称な位置としてユーザが取得するのを補助するための支援情報を提示するようにできる。例えば、取得済みのpU1、pU2、pU3、pU4の位置情報に基づき、pU1とpU2とを結ぶ直線とpU3とpU4の夫々の距離を算出し、それらの距離の差が所定の値以上の場合には位置の取得をやり直すことを促すメッセージ等を提示するようにできる。また、pU1、pU2、pU3を取得した後にpU4を取得する場面において、pU1とpU2とを結ぶ直線からpU3までの距離と、pU1とpU2とを結ぶ直線から超音波プローブの撮影面中心の現在の位置までの距離の差に関する情報を提示してもよい。例えば、前記の距離の差が所定の値以下の場合にビープ音を鳴らすような構成をよってもよいし、ビープ音の間隔を前記の距離の差に応じて制御することで、距離が近いほど短い間隔でビープ音が提示されるようにもできる。
【0096】
また、これ以外にも、取得済みのpU1、pU2、pU3、pU4の位置の関係を3次元的に把握できるような画像等の情報をモニタ140に表示するようにしても良い。以上の方法によれば、pU3とpU4が被検体に対して左右対称な位置としてユーザが取得するのを補助できるため、ステップS530以降の処理に好適な情報を取得できる効果がある。
【0097】
また別の例としては、計測処理を実行する際に、第2特徴位置取得部1040はユーザに対する支援情報を提示する。例えば、人体の胸部を模したシェーマ図に胸骨および肋骨の位置を記したマークをさらに描画し、その画像をモニタ140に表示するようにしても良い。このとき、胸骨および肋骨に近接する体表の位置の取得状況に応じて、前記シェーマ図に描画するマークを切り替えるようにしても良い。例えば、前記位置を所定の順で取得する場合には、現在の取得状況に応じて、次に取得する位置に関するマークの種類を変えて表示するようにしても良い。また前記位置を任意の順で取得する場合には、前記位置の取得に関して取得済みと未取得のものとを区別できるようにマークの種類を変えて表示するようにしても良い。以上の方法によれば、取得すべき胸骨および肋骨に近接する体表の位置の取得をユーザに促すことができる。
【0098】
(変形例1−2)
実施例1では、ステップS520の処理において、被検体の肋骨に近接する体表の位置をユーザが左右夫々で1点ずつ指定した位置を取得する場合を例として説明したが、本発明の実施はこれに限らない。例えば、左右のいずれか一方の肋骨に近接する体表の位置は、肋骨に近接する体表上の複数の位置をユーザが指定し、それを取得するようにできる。例えば被験者の左側の肋骨に近接する体表位置として複数の位置pU3i(1≦i≦N ただしNは複数の位置の数)をユーザが指定し、それを取得するようにできる。この場合、第2特徴位置取得部は、前記複数の位置pU3i(1≦i≦N)の中から座標変換の算出に適した位置を選択するようにできる。例えば、胸骨の上端に近接する体表の位置pU1と、右側の肋骨に近接する体表の位置pU4との距離dU14を算出する。さらに、前記左側の肋骨に近接する体表の複数の位置の夫々について、胸骨の上端に近接する体表位置pU1との距離dU13i(1≦i≦N)を算出する。そして、距離dU13i(1≦i≦N)の中から、距離dU14にも近いものを選択して、それをpU3とするようにできる。以上の方法によれば、センサ座標系における被検体の肋骨に近接する体表の位置の取得に関して、ユーザが被検体の体軸に対して左右対称な位置を自ら選択する煩雑さを解消できるため、より簡便な操作で処理を実行できる効果がある。
【0099】
(変形例1−3)
実施例1のステップS510およびステップS520では、被検体の胸骨の上端および胸骨の下端にそれぞれ近接する体表の位置を取得する場合を例として説明したが、本発明の実施はこれに限らない。例えば、MRI画像座標系とセンサ座標系において対応付けができる位置であれば、胸骨の上端または下端に近接する体表の位置でなくてもよい。また、胸骨の下端に近接する体表の位置は、必ずしもMRI画像座標系とセンサ座標系において対応づけられる位置でなくても良い。
【0100】
(変形例1−4)
実施例1では、被検体の胸骨と肋骨に近接する体表の位置を用いてセンサ座標系とMRI画像座標系との間の座標変換を算出する場合を例として説明したが、本発明の実施はこれに限らない。例えば、被検体の胸骨と肋骨の位置を用いてセンサ座標系とMRI画像座標系との間の座標変換を算出するようにしても良い。この場合、ステップS510において第1特徴位置取得部は、ユーザによるマウス150やキーボード160の入力操作等に基づいてMRI画像における被検体の胸骨と肋骨の位置を取得する。また、ステップS520において第2特徴位置取得部は、超音波画像取得部1070が取得した超音波画像をモニタ140に表示すると共に、ユーザによるマウス150の入力操作等により胸骨および肋骨の前記超音波画像上での位置を取得する。そして、計測値取得部1030が取得した超音波プローブの位置および姿勢に関する計測値と前記超音波画像上で指定された位置とから、センサ座標系における胸骨および肋骨の位置を算出する。以上の方法によれば、実施例1で用いた体表の位置に比べて、撮影環境などによる位置の変動の少ない胸骨および肋骨の位置を直接的に用いることができるため、より精度の高い変換規則が算出できる。
【0101】
なお、センサ座標系における胸骨および肋骨の位置を取得する方法は、上記の方法以外であっても良い。例えば、実施例1のステップS520と同様の処理を実行した後に、超音波プローブの表面から超音波ビームの放射方向に所定の距離だけ離れた位置を胸骨および肋骨の位置として取得するようにしても良い。ここで前記所定の距離は、例えば体表と胸骨および体表と肋骨との間の統計上の平均的な距離を用いるようにしても良い。また被験者の年齢、性別、体重、その他の臨床情報など取得し、それに基づいて定めるようにしても良い。これ以外にも、MRI画像における胸骨および肋骨の位置と、夫々に近接する体表の位置との両方を取得し、MRI画像における胸骨と近接する体表との距離、および肋骨と近接する体表との距離を求め、それを前記所定の距離として用いるようにしても良い。また、その際に、MRI画像の撮影時と、超音波画像の撮影時における被検体の体位等の違いを考慮して前記距離に変更を施す仕組みをさらに加えても良い。以上の方法によれば、超音波画像上でユーザが骨の位置を指定する操作が不要であるから、より簡便な操作で処理を実行できる。また別の観点では、3次元MRI画像では特徴的な胸骨の位置を指定し、位置姿勢計測装置130を有する超音波プローブでは指定しやすい体表上の位置を指定することで、検査者の位置合わせ作業の負担を軽減することができる。
【実施例2】
【0102】
実施例1では、第1特徴位置取得部1020および第2特徴位置取得部1040が、被検体の胸骨および肋骨に近接する体表の位置を4個の点群として取得する場合を例として説明したが、本発明の実施はこれに限らない。本実施例では肋骨に近接する体表の位置として、複数の点の集合(点群)を取得する場合を例として説明する。
【0103】
本実施例に係る画像診断システムの構成は実施例1と同様のため説明を省略するが、主メモリ212に記憶されているプログラムが、図10および図11の処理を実現するものである点が異なっている。
【0104】
次に、本実施例に係る画像診断システム1が行う全体の処理手順について図10のフローチャートを用いて詳しく説明する。
【0105】
(ステップS1000)
ステップS1000の処理は実施例1のステップS500の処理と同様であるため、説明を省略する。
【0106】
(ステップS1010)
ステップS1010において、第1特徴位置取得部1020はMRI画像に描出される被検体の胸骨および肋骨に近接する体表の位置をMRI画像座標系における位置として取得する。胸骨に近接する体表の位置の取得は、実施例1と同様であるため詳しい説明は省略する。MRI画像座標系における胸骨の上端および下端に近接する体表位置の位置を夫々、pM1、pM2として記録する。
【0107】
次に、肋骨に近接する体表の位置の取得について説明する。肋骨に近接する体表の位置の取得は、実施例1と同様に被検体の左右夫々の第2肋骨の表面の位置に近接する体表の位置を取得するが、複数の点の集合(点群)として取得することが実施例1と異なる。肋骨に近接する体表の位置の点群を取得する仕組みは以下のようにして実現できる。まず、実施例1と同様にモニタ140にMRI画像のアキシャル像、サジタル像、コロナル像など、任意の断面を切り出した画像(断面画像)を表示し、前記断面の位置や姿勢をユーザによるマウス150やキーボード160等の操作に基づいて切り替える。そして、その断面画像に写る胸骨および肋骨に近接する体表の位置を、ユーザがマウス150の操作などにより指定した位置を取得する。前記断面の位置や姿勢、およびユーザが指定した断面画像上の位置に基づき、胸骨および肋骨に近接する体表のMRI画像座標系における位置を算出する。ただし、実施例1とは異なり、ユーザがマウス150の操作などにより指定する位置を複数個取得できるようにする。以上の処理により取得した左第2肋骨に近接する体表位置の点群をpM3i(1≦i≦NML)右第2肋骨に近接する体表位置の点群をpM4j(1≦j≦NMR)として記録する。ただし、NMLは左第2肋骨に近接する体表位置の点群の数、NMRは右第2肋骨に近接する体表位置の点群の数である。
【0108】
(ステップS1020)
ステップS1020において、第2特徴位置取得部1040はセンサ座標系における被検体の胸骨および肋骨に近接する体表の位置の取得を行う。胸骨に近接する体表の位置の取得は、実施例1と同様であるため詳しい説明は省略する。センサ座標系における胸骨の上端および下端に近接する体表位置の位置を夫々、pU1、pU2として記録する。
【0109】
次に、肋骨に近接する体表の位置の取得について説明する。肋骨に近接する体表の位置の取得は、実施例1と同様に被検体の左右夫々の第2肋骨の表面の位置に近接する体表の位置を取得するが、複数の点の集合(点群)として取得することが実施例1と異なる。肋骨に近接する体表の位置の点群を取得する仕組みは以下のようにして実現できる。まず、ユーザに被検体の左第2肋骨の体軸側に近接する体表の位置に超音波プローブの撮影面の中心が触れるように保持させる。そして、位置の取得開始の実行命令をキーボード160の操作等などによりユーザに入力させる。その後、ユーザに左第2肋骨に近接する体表の位置に沿うように超音波プローブを被検体の脇側の方へと移動させる。そして、左第2肋骨の被検体の脇側の端まで超音波プローブが到達したら、キーボード160の操作等などによりユーザに位置の取得終了の実行命令を行わせる。第2特徴位置取得部1040はユーザによる前記取得開始の実行命令を取得したら、計測値取得部1030が取得したセンサ座標系における超音波プローブの位置と姿勢に関する最新の計測結果を逐次取得して記録する処理を繰り返して実行する。そして、ユーザによる前記取得終了の実行命令を取得するまで前記処理を継続する。以上の処理により第2特徴位置取得部1040は被検体の左第2肋骨に近接する体表の位置の点群を取得する。取得した左第2肋骨に近接する体表の点群をpU3k(i≦k≦NUL)として記録する。ただし、NULは左第2肋骨に近接する体表の点群の数である。さらに第2特徴位置取得部1040は前記処理と同様にして右第2肋骨に近接する体表の位置の点群を取得し、pU4l(1≦l≦NUR)として記録する。ただし、NURは右第2肋骨に近接する体表の点群の数である。
【0110】
(ステップS1030)
ステップS1030において、変換規則算出部1050はセンサ座標系とMRI画像座標系との間の座標変換に関する変換規則の算出を行う。処理の詳細は図10に従い後述する。
【0111】
ステップS1040およびステップS1050の処理は実施例1のステップS540およびステップS550の処理と同様であるため、説明を省略する。
【0112】
図11フローチャートに従いステップS1030の処理の詳細を説明する。
【0113】
(ステップS1031)
ステップS1031は実施例1のステップS531と同様の処理により、剛体変換行列M1を算出する。そして、ステップS1020で取得した胸骨および肋骨に近接する体表の位置を剛体変換した位置pU1’、pU2’、 pU3k’(i≦k≦NUL)、 pU4l’(1≦l≦NUR)を算出する。
【0114】
(ステップS1032)
ステップS1032は実施例1のステップS531と同様の処理により、剛体変換行列M2を算出する。そして、ステップS1031で取得した胸骨および肋骨に近接する体表の位置を剛体変換した位置pU1”、pU2”、 pU3k”(i≦k≦NUL)、 pU4l”(1≦l≦NUR)を算出する。
【0115】
(ステップS1033)
ステップS1033において、変換規則算出部1050はMRI画像座標系における胸骨および肋骨に近接する体表の位置および、ステップS532で算出した胸骨および肋骨に近接する体表の位置に基づき、胸骨軸周りの回転を補正する座標変換を算出する。この座標変換は、pU1”とpU2”を通る直線を軸とし、pU3k” (i≦k≦NUL)とpM3i(1≦i≦NML)、pU4l” (1≦l≦NUR)とpM4j(1≦j≦NMR)とを夫々略一致させる回転である。具体的には、pU1”とpU2”により一意に定まる回転軸に関する回転量をICP(Iterative Closest Point)法を用いることにより算出する。回転量の算出はICP法以外にも最急降下法やニュートン法などの如何なる最適化方法を用いても良い。
【0116】
以上の方法により、pU3k” (i≦k≦NUL)とpM3i(1≦i≦NML)、pU4l” (1≦l≦NUR)とpM4j(1≦j≦NMR)とを夫々略一致させる座標変換を剛体変換行列M3として算出する。
【0117】
(ステップS1034)
ステップS1034の処理は実施例1のステップS534と同様であるため説明を省略する。
【0118】
以上に説明したステップS1031からステップS1034の処理により、変換規則算出部1050はセンサ座標系における位置座標を、MRI画像座標系における対応する位置座標へと変換する剛体変換M4を算出する。
【0119】
以上、本実例における画像診断システム1によれば、肋骨に近接する体表の位置を複数の点の集合(点群)として取得して胸骨軸周りの回転を算出することができる。そのため、実施例1で説明した画像診断システムと比較して、より精度の高い座標変換を算出できる効果がある。また、ユーザは肋骨に近接する体表位置を、被検体の体軸に対して左右対称となるよう入力する必要が無いため、より簡便に本画像診断システムを操作できる仕組みを提供できる効果がある。
【0120】
(変形例2−1)
実施例2では、MRI画像座標系およびセンサ座標系の夫々において、肋骨に近接する体表の位置を点群として取得する場合を例として説明したが、本発明の実施はこれに限らない。例えば、ステップS1020で第2特徴位置取得部1040が取得するセンサ座標系における肋骨に近接する体表の位置は、実施例1と同様に、左右の第2肋骨に対して夫々1点の位置pU3、pU4であっても良い。この場合、ステップS1034において変換規則算出部1050は、pU1”とpU2”により一意に定まる回転軸に関する回転量をpU3”とpM3i(1≦i≦NML)、pU4”とpM4j(1≦j≦NMR)とを略一致するように算出することができる。この具体的な方法は、ICP法などの公知の方法により算出できる。以上の方法によれば、センサ座標系における肋骨に近接する体表の位置を実施例1と同様に簡便に取得することができ、なおかつ実施例2とほぼ同等の高い精度で座標変換を算出できる効果がある。
【0121】
また本発明の実施はこれに限らず、例えば、ステップS1010で第1特徴位置取得部1020が取得するMRI画像座標系における肋骨に近接する位置を、左右の第2肋骨に対して夫々1点の位置として取得するようにしても良く、前記の方法と同様の効果が期待できる。
【0122】
また前記回転量の算出処理では、肋骨に近接する体表の位置に関する左右夫々の情報を同等の重みで扱うようにしても良いし、それらの重みの差をつけて扱うようにしても良い。重みづけの差は、例えばpU3とpU1との間の距離と、pU4とpU1との間の距離に基づいて定めるようにできる。このとき、pU3とpU1との間の距離がpU4とpU1との間の距離よりも大きい場合には前記回転量の算出の処理において、左肋骨に関する位置の情報により大きい重みを付け、そうでない場合には右肋骨に関する位置の情報により大きい重みを付けるようにできる。これによれば、胸骨および肋骨に近接する体表の位置の取得に関する誤差を考慮し、より信頼できる情報を重要視した処理ができるため、前記回転量をより好適に算出できる効果がある。
【0123】
(変形例2−2)
本発明は以下のように実施することができる。すなわち、第1特徴位置取得部1020および第2特徴位置取得部1040の夫々が、肋骨に近接する体表の位置を、左右1点ずつ、もしくは点群、のいずれかを取得する処理を切り替えて実行できるようにしても良い。そして、第1特徴位置取得部1020と第2特徴位置取得部1040の両方が肋骨に近接する体表の位置を左右1点ずつ取得した場合には、実施例1のステップS530からステップS550の処理を実行するようにできる。また第1特徴位置取得部1020と第2特徴位置取得部1040の両方が肋骨に近接する体表の位置を点群として取得した場合には実施例2のステップS1030からステップS1050の処理を実行するようにできる。また、第1特徴位置取得部1020と第2特徴位置取得部1040のいずれか一方が肋骨に近接する体表の位置を左右1点ずつ取得し、他方が点群として取得した場合に変形例2−1で説明した処理を実行するようにできる。
【0124】
以上の方法によれば、肋骨に近接する体表位置の入力の手間と、座標変換の算出の精度の両方の観点において、ユーザが望む好適な処理方法を選択して実行できる仕組みを提供できる。
【実施例3】
【0125】
実施例1および実施例2では、MRI画像座標系およびセンサ座標系の夫々の座標系において、被検体の胸骨および肋骨に近接する体表の位置を取得して前記座標系間の関係(座標変換)を算出する場合を例として説明したが、本発明の実施はこれに限らない。例えば、被検体の肋骨に近接する体表の位置は必ずしも取得しなくても良い。
【0126】
本実施例では、MRI画像座標系およびセンサ座標系の夫々の座標系において、被検体の胸骨に近接する体表の位置、および被検体の前方方位を取得して前記座標系間の関係(座標変換)を算出する場合を例として説明する。
【0127】
本実施例に係る処理システムの構成は実施例1と同様のため説明を省略するが、主メモリ212に記憶されているプログラムが図12および図13のフローチャートの処理を実行するためのプログラムである点が異なっている。
図12のフローチャートに従い画像診断システム1の処理を説明する。
【0128】
(ステップS1200)
実施例1におけるステップS500と同様の処理であるため、説明を省略する。
【0129】
(ステップS1210)
ステップS1210において、第1特徴位置取得部1020はMRI画像に描出される被検体の胸骨に近接する体表の位置および被検体の前方方位を取得する。胸骨に近接する体表の位置の取得は、実施例1と同様であるため詳しい説明は省略する。MRI画像座標系における胸骨の上端および下端に近接する体表位置の位置を夫々、pM1、pM2として記録する。
【0130】
次に、被検体の前方方位の取得について説明する。被検体の前方方位は、被検体の後方から前方に向かう方位であり、被検体の姿勢に対して正しく撮影されたアキシャル断面画像における上方へ向かう方向である。アキシャル断面において、被検体としての人体は、通常、被検体の中心を通り、前方方位に向かう直線に対して左右にほぼ対称(鏡像)となる。本実施例において、前方方位は、MRI断面画像をユーザが観察し、その方位をマウス150などにより取得する。ここで前方方位はMRI画像座標系における単位ベクトルvMとして取得し、記録する。この時、被検体の前方方位は必ずしもユーザの入力操作に基づいて取得する必要はなく、例えばMRI画像に描出される被検体の姿勢をMRI画像に付随するDICOMヘッダなどの情報から取得し、それに基づいて被検体の前方方位を取得するようにしても良い。
【0131】
(ステップS1220)
ステップS1220において、第2特徴位置取得部1040はセンサ座標系における被検体の胸骨に近接する体表の位置および被検体の左右対称軸を取得する。胸骨に近接する体表の位置の取得は、実施例1と同様であるため詳しい説明は省略する。センサ座標系における胸骨の上端および下端に近接する体表位置の位置を夫々、pU1、pU2として記録する。
【0132】
次に、被検体の左右対称軸の取得について説明する。センサ座標系において、被検体の前方方位は例えば、前記胸骨に近接する体表の位置を取得する際の超音波プローブの姿勢に基づいて取得することができる。すなわち、胸骨に近接する体表位置にユーザが超音波プローブを接触させる際に、超音波プローブから放射される超音波ビームの放射方向(プローブ座標系におけるy軸)を被検体の体表に対してほぼ垂直になるように接触させる。この時の、プローブ座標系におけるy軸の方向をセンサ座標系に変換し、変換後の方向をセンサ座標系における方位を表す単位ベクトルvUとして取得し、記録する。この時、被検体の前方方位は必ずしも超音波プローブの姿勢に基づいて取得する必要はない。例えば、被検体が仰臥位となる検査時において、被検体が寝るベッドの上方向と位置姿勢計測装置130の計測基準の任意の軸方向とを予め一致させておく。これにより、超音波プローブの位置および姿勢に関する計測値によらず、前記任意の軸方向の単位ベクトルをvUとして取得するようにしても良い。
【0133】
(ステップS1230)
ステップS1230において、変換規則算出部1050はセンサ座標系とMRI画像座標系との間の座標変換に関する変換規則の算出を行う。
【0134】
(ステップS1240)
実施例1におけるステップS540と同様の処理であるため、説明を省略する。
【0135】
(ステップS1250)
実施例1におけるステップS550と同様の処理であるため、説明を省略する。
【0136】
図13のフローチャートに従いステップS1230の処理の詳細を説明する。
【0137】
(ステップS1231)
ステップS1231は実施例1のステップS531と同様の処理により、剛体変換行列M1を算出する。そして、ステップS1220で取得した胸骨に近接する体表の位置pU1、pU2を剛体変換した位置pU1’、pU2’を算出する。
【0138】
(ステップS1232)
ステップS1232は実施例1のステップS532と同様の処理により、剛体変換行列M2を算出する。そして、ステップS1231で取得した胸骨に近接する体表の位置pU1’、pU2’を剛体変換した位置pU1”、pU2” および被検体の前方方位vUを剛体変換した方位vU”算出する。
【0139】
(ステップS1233)
ステップS1233において、変換規則算出部1050は以下の処理を実行する。すなわち、MRI画像座標系における胸骨に近接する体表の位置および被検体の前方方位と、ステップS1232で算出した胸骨および肋骨に近接する体表の位置および被検体の前方方位に基づき、胸骨軸周りの回転を補正する座標変換を算出する。この座標変換は、pU1”とpU2”を通る直線を軸とし、vU”とvMとを略一致させる回転であり、公知の非線形最適化の方法により実行できる。
【0140】
以上の方法により算出した座標変換を剛体変換行列M3として算出する。
【0141】
(ステップS1234)
ステップS1234の処理は実施例1のステップS534と同様であるため説明を省略する。
【0142】
以上に説明した、本実施例における処理システムによれば、被検体の肋骨に近接する体表の位置の取得に関する処理を必要としないため、より簡便な方法でセンサ座標系とMRI画像座標系との変換規則を算出できる仕組みを提供できる。
【0143】
(変形例3−1)
実施例3では、MRI画像座標系とセンサ座標系の夫々における、胸骨に近接する体表の位置と、被検体の前方方位とを取得し、それらを略一致させるように両座標系間の座標変換を算出する場合を例として説明したが、本発明の実施はこれに限らない。例えば、第1特徴位置取得部1020および第2特徴位置取得部1040は、必ずしもMRI画像座標系およびセンサ座標系における被検体の前方方位を取得しなくても良い。この場合、ステップS1233において変換規則算出部1050は、MRI画像と超音波画像とを取得し、それらの画像に描出される解剖学的な特徴や輝度値の統計的などに基づいて胸骨軸周りの回転に関する座標変換を算出するようにしても良い。この方法によれば、MRI画像座標系およびセンサ座標系における被検体の前方方位を取得する必要がないため、よりそれを取得する際に混入する恐れのある誤差の影響を低減することができる効果がある。
【0144】
(その他の実施例)
上述の実施例では3次元医用画像の一例としてMRI画像を用いる場合を説明したが、被検体の3次元画像であればよく、たとえばX線CT画像やPET画像などであってもよい。
【0145】
上述の実施例では、MRI画像座標系とセンサ座標系との変換規則を算出することにより、MRI画像と、センサ座標系において位置と姿勢が計測された超音波画像とを比較して観察できる仕組みを提供する場合を一例として示した。しかし、本発明の実施はこれに限らない。本発明の本質は、人体の解剖学的な特徴である胸骨の構造を指標として、人体を撮影して得た画像や、人体を計測して得た計測値や、人体を模擬して得た図などのデータ同士またはデータ間の空間的な対応を求めることにある。従って本発明の実施は以下に例示するように様々な形態が考えられる。
【0146】
例えば、実施例1における超音波プローブに代えて、センサ座標系において位置と姿勢が計測された穿刺装置を用いても良い。この場合、例えばMRI画像において穿刺のターゲットとなる位置を定めておき、そのターゲットに対する穿刺装置の位置や姿勢を提示するようにできる。また、位置姿勢が測定できる3次元ポインティングデバイスであってもよい。
【0147】
また、例えば、MRI画像とX線CT画像等の他の3次元医用画像とを比較して観察することを目的として、MRI画像座標系と、他の3次元医用画像が基準とする座標系との変換規則を算出するようにもできる。この場合、実施例1で取得する、センサ座標系における被検体の胸骨および肋骨に近接する体表の位置に代えて、前記他の3次元医用画像に描出される被検体における胸骨および肋骨に近接する体表の位置を用いるようにできる。
【0148】
また、例えば、MRI画像と標準的な人体の概略形状等を記したシェーマ図との空間的な対応付けを行う場合にも適用できる。この場合、前記シェーマ図が基準とする座標系において、胸骨および肋骨の位置に関する情報を取得することにより、MRI画像とシェーマ図との空間的な対応関係を取得することができる。この場合、例えばMRI画像座標系において病変等の注目領域を取得し、それに対応する領域をシェーマ図上に提示するようにできる。
【0149】
上述の実施例では本発明をソフトウェアとコンピュータのハードウェアにより実現する例を示したが、この場合当該ソフトウェアを記憶した記憶媒体も本発明を構成することは言うまでもない。
【0150】
上述の情報処理装置100はCPUを含む電子計算機(コンピュータ)とソフトウェアとの協働によって実現されるが、情報処理装置100の各機能ブロックの一部を回路、一部をソフトウェアにより実装してもよい。回路のまとまりは機能ブロック単位に限定されることはなく、機能の一部のみを回路として実装することとしてもよい。
【0151】
また、情報処理装置100の各機能を複数の装置に分散させた情報処理し須t眼右とすることも可能である。
【0152】
上述の実施例はあくまで実施形態を例示したものであり、本発明はこれら実施例に限定されるものではない。
【符号の説明】
【0153】
1 画像診断システム
100 情報処理装置
1020 第1特徴位置取得部
1030 計測値取得部
1040 第2特徴位置取得部
1050 変換規則算出部
1060 対応面画像生成部
1090 表示制御部
1400 表示部
【特許請求の範囲】
【請求項1】
3次元画像における被検体の胸骨に基づく複数の位置を取得する第1の取得手段と、
前記被検体における該被検体の胸骨に基づく複数の位置を取得する第2の取得手段と、
前記第1の取得手段および前記第2の取得手段により取得された複数の位置に基づいて、前記被検体と前記3次元画像との位置の対応関係を算出する算出手段と、
を有することを特徴とする情報処理装置。
【請求項2】
前記第2の取得手段は、位置姿勢計測装置で計測された被検体の体表の位置に基づいて
前記被検体における該被検体の胸骨に基づく複数の位置を取得する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記第2の取得手段は、位置姿勢計測装置により位置姿勢が計測されている前記超音波プローブの撮影面が前記被検体に接触する位置に基づいて、前記被検体における該被検体の胸骨に基づく複数の位置を取得する
ことを特徴とする請求項2に記載の情報処理装置。
【請求項4】
超音波プローブの撮影面が前記被検体に接触することで得られる信号に基づいて得られる超音波画像に対応する断層画像を前記3次元画像から前記算出された対応関係に基づいて生成する画像生成手段と、
を更に有することを特徴とする請求項1に記載の情報処理装置。
【請求項5】
前記得られた超音波画像と前記生成された断層画像とを表示部に表示させる表示制御手段と、
を有することを特徴とする請求項4に記載の情報処理装置。
【請求項6】
前記第1の取得手段は、前記被検体の3次元画像における該被検体の胸骨のうち第2肋骨の付け根部分に基づく位置を少なくとも取得し、
前記第2の取得手段は前記被検体における該被検体の胸骨のうち第2肋骨の付け根部分に基づく位置を少なくとも取得し、
前記算出手段は、前記第1の取得手段により取得された前記被検体の第2肋骨の付け根部分に基づく位置と、前記第2の取得手段により取得された前記3次元画像における第2肋骨の付け根部分に基づく位置とが合うように前記被検体と前記3次元画像との対応関係を算出する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項7】
前記第1の取得手段は更に、前記被検体の3次元画像における該被検体の胸骨の下端に基づく位置を少なくとも取得し、
前記第2の取得手段は前記被検体における該被検体の胸骨の下端に基づく位置を少なくとも取得し、
前記算出手段は更に、前記3次元画像における前記第2肋骨の付け根部分に基づく位置と前記胸骨の下端に基づく位置とにより定義される方向と、前記被検体における前記第2肋骨の付け根部分に基づく位置と前記胸骨の下端に基づく位置とにより定義される方向とが合うように前記被検体と前記3次元画像との対応関係を算出する
ことを特徴とする請求項6に記載の情報処理装置。
【請求項8】
前記第1の取得手段は更に、前記被検体の3次元MRI画像における該被検体の肋骨に基づく複数の位置を取得し、
前記第2の取得手段は更に、前記被検体における該被検体の肋骨に基づく複数の位置を取得し、
前記算出手段は、前記第1の取得手段が取得した前記胸骨および肋骨に基づく複数の位置と、第2の取得手段が取得した前記胸骨および肋骨に基づく複数の位置との対応関係を算出することにより、前記被検体と前記3次元画像との位置の対応関係を算出する
ことを特徴とする請求項1乃至7のいずれか1項に記載の情報処理装置。
【請求項9】
前記算出手段は、前記第1の取得手段および第2の取得手段により取得された胸骨に基づく位置の対応関係に基づいて前記被検体と前記3次元画像との胸骨の位置の対応関係を算出し、前記第1の取得手段および第2の取得手段により取得された肋骨に基づく位置の対応関係に基づいて、前記被検体と前記3次元画像との胸骨を軸とする回転方向の対応関係を算出する
ことを特徴とする請求項8に記載の情報処理装置。
【請求項10】
前記第2の取得手段は、少なくとも左右1対の肋骨のそれぞれに基づく複数の位置を取得し、
前記取得された肋骨のそれぞれに基づく複数の位置の少なくとも1組が前記取得された胸骨に基づく位置に対して対称な位置にあるか否かを判定する判定手段と、
前記対称な位置にないと判定された場合に警告を出力する出力手段と、
を更に有することを特徴とする請求項8に記載の情報処理装置。
【請求項11】
前記第2の取得手段により胸骨に基づく複数の位置と、左右1対の肋骨のそれぞれに基づく複数の位置とが取得されたか否かを判定する判定手段と、
前記取得されていないと判定された場合に警告を出力する出力手段と、
を更に有することを特徴とする請求項1乃至10のいずれか1項に記載の情報処理装置。
【請求項12】
前記第2の取得手段は、前記被検体における該被検体の胸骨付近の体表の位置を複数取得する
ことを特徴とする請求項1乃至11のいずれか1項に記載の情報処理装置。
【請求項13】
前記第1の取得手段は、被検体の3次元画像における胸骨の位置を複数取得し、
前記算出手段は、前記取得された体表の位置と前記被検体の3次元画像とに基づいて前記被検体の胸骨の位置を算出し、
前記算出手段は更に、前記算出された前記被検体の胸骨の位置と前記第1の取得手段により取得された胸骨の位置とに基づいて前記被検体と前記3次元画像との位置の対応関係を算出する
ことを特徴とする請求項12に記載の情報処理装置。
【請求項14】
前記被検体のMRI画像、CT画像、PET画像のいずれかを前記被検体の3次元画像として取得する取得手段と、
を更に有することを特徴とする請求項1乃至13のいずれか1項に記載の情報処理装置。
【請求項15】
第1の座標系における被検体の胸骨上の複数の位置を取得する第1の取得手段と、
第2の座標系における被検体の胸骨上の複数の位置を取得する第2の取得手段と、
前記第1の座標系および第2の座標系の夫々における前記位置に基づき、前記第1の座標系と前記第2の座標系の相対関係を算出する算出手段と、
を有することを特徴とする情報処理装置。
【請求項16】
接触した被検体の位置からの信号を得る超音波プローブと、
超音波プローブが得る信号に基づいて超音波画像を得る撮像部と、
前記算出された対応関係に基づいて、前記生成される超音波画像に対応する断層画像を前記3次元画像から生成する画像生成手段と、
被検体の3次元画像における該被検体の胸骨に基づく複数の位置を取得する第1の取得手段と、
前記超音波プローブが前記被検体に接触する位置に基づいて、前記被検体における該被検体の胸骨に基づく複数の位置を取得する第2の取得手段と、
前記第1の取得手段および前記第2の取得手段により取得された複数の位置に基づいて、前記被検体と前記3次元画像との位置の対応関係を算出する算出手段と、
を有することを特徴とする撮影システム。
【請求項17】
被検体の3次元画像における該被検体の胸骨に基づく複数の位置を取得するステップと、
前記被検体における該被検体の胸骨に基づく複数の位置を取得するステップと、
前記取得された3次元画像における複数の位置および前記取得された被検体における複数の位置に基づいて、前記被検体と前記3次元画像との位置の対応関係を算出するステップと、
を有することを特徴とする情報処理方法。
【請求項18】
被検体の3次元画像における該被検体の胸骨に基づく複数の位置を取得する第1の取得処理と、
前記被検体における該被検体の胸骨に基づく複数の位置を取得する第2の取得手段と、
前記第1の取得処理および前記第2の取得処理により取得された複数の位置に基づいて、前記被検体と前記3次元画像との位置の対応関係を算出する算出処理と、
をコンピュータに実行させるためのプログラム。
【請求項1】
3次元画像における被検体の胸骨に基づく複数の位置を取得する第1の取得手段と、
前記被検体における該被検体の胸骨に基づく複数の位置を取得する第2の取得手段と、
前記第1の取得手段および前記第2の取得手段により取得された複数の位置に基づいて、前記被検体と前記3次元画像との位置の対応関係を算出する算出手段と、
を有することを特徴とする情報処理装置。
【請求項2】
前記第2の取得手段は、位置姿勢計測装置で計測された被検体の体表の位置に基づいて
前記被検体における該被検体の胸骨に基づく複数の位置を取得する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記第2の取得手段は、位置姿勢計測装置により位置姿勢が計測されている前記超音波プローブの撮影面が前記被検体に接触する位置に基づいて、前記被検体における該被検体の胸骨に基づく複数の位置を取得する
ことを特徴とする請求項2に記載の情報処理装置。
【請求項4】
超音波プローブの撮影面が前記被検体に接触することで得られる信号に基づいて得られる超音波画像に対応する断層画像を前記3次元画像から前記算出された対応関係に基づいて生成する画像生成手段と、
を更に有することを特徴とする請求項1に記載の情報処理装置。
【請求項5】
前記得られた超音波画像と前記生成された断層画像とを表示部に表示させる表示制御手段と、
を有することを特徴とする請求項4に記載の情報処理装置。
【請求項6】
前記第1の取得手段は、前記被検体の3次元画像における該被検体の胸骨のうち第2肋骨の付け根部分に基づく位置を少なくとも取得し、
前記第2の取得手段は前記被検体における該被検体の胸骨のうち第2肋骨の付け根部分に基づく位置を少なくとも取得し、
前記算出手段は、前記第1の取得手段により取得された前記被検体の第2肋骨の付け根部分に基づく位置と、前記第2の取得手段により取得された前記3次元画像における第2肋骨の付け根部分に基づく位置とが合うように前記被検体と前記3次元画像との対応関係を算出する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項7】
前記第1の取得手段は更に、前記被検体の3次元画像における該被検体の胸骨の下端に基づく位置を少なくとも取得し、
前記第2の取得手段は前記被検体における該被検体の胸骨の下端に基づく位置を少なくとも取得し、
前記算出手段は更に、前記3次元画像における前記第2肋骨の付け根部分に基づく位置と前記胸骨の下端に基づく位置とにより定義される方向と、前記被検体における前記第2肋骨の付け根部分に基づく位置と前記胸骨の下端に基づく位置とにより定義される方向とが合うように前記被検体と前記3次元画像との対応関係を算出する
ことを特徴とする請求項6に記載の情報処理装置。
【請求項8】
前記第1の取得手段は更に、前記被検体の3次元MRI画像における該被検体の肋骨に基づく複数の位置を取得し、
前記第2の取得手段は更に、前記被検体における該被検体の肋骨に基づく複数の位置を取得し、
前記算出手段は、前記第1の取得手段が取得した前記胸骨および肋骨に基づく複数の位置と、第2の取得手段が取得した前記胸骨および肋骨に基づく複数の位置との対応関係を算出することにより、前記被検体と前記3次元画像との位置の対応関係を算出する
ことを特徴とする請求項1乃至7のいずれか1項に記載の情報処理装置。
【請求項9】
前記算出手段は、前記第1の取得手段および第2の取得手段により取得された胸骨に基づく位置の対応関係に基づいて前記被検体と前記3次元画像との胸骨の位置の対応関係を算出し、前記第1の取得手段および第2の取得手段により取得された肋骨に基づく位置の対応関係に基づいて、前記被検体と前記3次元画像との胸骨を軸とする回転方向の対応関係を算出する
ことを特徴とする請求項8に記載の情報処理装置。
【請求項10】
前記第2の取得手段は、少なくとも左右1対の肋骨のそれぞれに基づく複数の位置を取得し、
前記取得された肋骨のそれぞれに基づく複数の位置の少なくとも1組が前記取得された胸骨に基づく位置に対して対称な位置にあるか否かを判定する判定手段と、
前記対称な位置にないと判定された場合に警告を出力する出力手段と、
を更に有することを特徴とする請求項8に記載の情報処理装置。
【請求項11】
前記第2の取得手段により胸骨に基づく複数の位置と、左右1対の肋骨のそれぞれに基づく複数の位置とが取得されたか否かを判定する判定手段と、
前記取得されていないと判定された場合に警告を出力する出力手段と、
を更に有することを特徴とする請求項1乃至10のいずれか1項に記載の情報処理装置。
【請求項12】
前記第2の取得手段は、前記被検体における該被検体の胸骨付近の体表の位置を複数取得する
ことを特徴とする請求項1乃至11のいずれか1項に記載の情報処理装置。
【請求項13】
前記第1の取得手段は、被検体の3次元画像における胸骨の位置を複数取得し、
前記算出手段は、前記取得された体表の位置と前記被検体の3次元画像とに基づいて前記被検体の胸骨の位置を算出し、
前記算出手段は更に、前記算出された前記被検体の胸骨の位置と前記第1の取得手段により取得された胸骨の位置とに基づいて前記被検体と前記3次元画像との位置の対応関係を算出する
ことを特徴とする請求項12に記載の情報処理装置。
【請求項14】
前記被検体のMRI画像、CT画像、PET画像のいずれかを前記被検体の3次元画像として取得する取得手段と、
を更に有することを特徴とする請求項1乃至13のいずれか1項に記載の情報処理装置。
【請求項15】
第1の座標系における被検体の胸骨上の複数の位置を取得する第1の取得手段と、
第2の座標系における被検体の胸骨上の複数の位置を取得する第2の取得手段と、
前記第1の座標系および第2の座標系の夫々における前記位置に基づき、前記第1の座標系と前記第2の座標系の相対関係を算出する算出手段と、
を有することを特徴とする情報処理装置。
【請求項16】
接触した被検体の位置からの信号を得る超音波プローブと、
超音波プローブが得る信号に基づいて超音波画像を得る撮像部と、
前記算出された対応関係に基づいて、前記生成される超音波画像に対応する断層画像を前記3次元画像から生成する画像生成手段と、
被検体の3次元画像における該被検体の胸骨に基づく複数の位置を取得する第1の取得手段と、
前記超音波プローブが前記被検体に接触する位置に基づいて、前記被検体における該被検体の胸骨に基づく複数の位置を取得する第2の取得手段と、
前記第1の取得手段および前記第2の取得手段により取得された複数の位置に基づいて、前記被検体と前記3次元画像との位置の対応関係を算出する算出手段と、
を有することを特徴とする撮影システム。
【請求項17】
被検体の3次元画像における該被検体の胸骨に基づく複数の位置を取得するステップと、
前記被検体における該被検体の胸骨に基づく複数の位置を取得するステップと、
前記取得された3次元画像における複数の位置および前記取得された被検体における複数の位置に基づいて、前記被検体と前記3次元画像との位置の対応関係を算出するステップと、
を有することを特徴とする情報処理方法。
【請求項18】
被検体の3次元画像における該被検体の胸骨に基づく複数の位置を取得する第1の取得処理と、
前記被検体における該被検体の胸骨に基づく複数の位置を取得する第2の取得手段と、
前記第1の取得処理および前記第2の取得処理により取得された複数の位置に基づいて、前記被検体と前記3次元画像との位置の対応関係を算出する算出処理と、
をコンピュータに実行させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2012−213557(P2012−213557A)
【公開日】平成24年11月8日(2012.11.8)
【国際特許分類】
【出願番号】特願2011−81993(P2011−81993)
【出願日】平成23年4月1日(2011.4.1)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成24年11月8日(2012.11.8)
【国際特許分類】
【出願日】平成23年4月1日(2011.4.1)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]