超音波診断システム及び超音波診断・治療システム
【課題】既存の超音波画像形成装置を活用して臓器等の立体画像を形成し、また治療用超音波を照射対象へ容易に合わせ込むことができる、したがって非侵襲でありながら正確な診断と治療ができる、超音波診断システム及び超音波診断・治療システムを提供する。
【解決手段】超音波画像形成装置が出力する超音波断層画像から輪郭を抽出した後、プローブの三次元座標情報に基づいて輪郭データを仮想三次元空間内に配置する。輪郭データを複数取得して補間演算を実施すると、仮想三次元空間内に臓器の三次元画像を形成できる。また、トランスデューサと超音波照射対象との配置状態を仮想三次元空間で表示するだけでなく、トランスデューサの焦点と超音波照射対象との距離を測距画像で視覚的に示すことで、合焦作業が極めて簡易になり、医師の治療行為を大幅に助けることができるのみならず、治療の精度を大幅に改善する。
【解決手段】超音波画像形成装置が出力する超音波断層画像から輪郭を抽出した後、プローブの三次元座標情報に基づいて輪郭データを仮想三次元空間内に配置する。輪郭データを複数取得して補間演算を実施すると、仮想三次元空間内に臓器の三次元画像を形成できる。また、トランスデューサと超音波照射対象との配置状態を仮想三次元空間で表示するだけでなく、トランスデューサの焦点と超音波照射対象との距離を測距画像で視覚的に示すことで、合焦作業が極めて簡易になり、医師の治療行為を大幅に助けることができるのみならず、治療の精度を大幅に改善する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、超音波診断システム及び超音波診断・治療システムに関する。
より詳細には、超音波を用いて非侵襲で患者を診断し、超音波を用いて非侵襲で患者に対する治療行為を行う、超音波診断・治療システムに関する。
【背景技術】
【0002】
近年の医療技術の進歩は著しく、人体の体内の状態を詳細に検査できる技術が発達している。中でも、超音波を用いる超音波検査装置は、X線等と比較すると人体に対する負荷が極めて低いので、妊婦に胎児の映像を見せる等の用途に用いられている。
なお、本発明に類似すると思われる技術内容を、非特許文献1に示す。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】高橋修一、内山明彦、鈴木直樹:「術野内外の3次元構造と位置関係が観察可能な肝切除支援システム」、電子情報通信学会論文誌、Vol. J83-D-II, No.6, pp.1548-1555, 2000
【発明の概要】
【発明が解決しようとする課題】
【0004】
現在、医療現場で用いられている、超音波画像形成装置ともいえる超音波検査装置は、人体の局所的な二次元の断層像を得るに留まっている。このため、患部や臓器を立体的に視認する用途には適していない。
【0005】
また、近年では高い濃度の医薬をマイクロカプセルやマイクロバブルなどの薬物担体(以下、薬物担体)に収納し、血管内に放流して、薬物担体が患部に到達したら超音波を照射してカプセルを破壊し、医薬を患部に適用する、という「ドラッグデリバリーシステム」という技術の研究が進んでいる。更に、薬物担体を破壊する程度の比較的弱い(安全な)超音波よりも強力な、単独で生体組織そのものにダメージを与えて治療を行う、高密度焦点式超音波(HIFU, High-Intensity Focused Ultrasound)を用いた治療の研究も進められている。これ以降、本明細書ではドラッグデリバリーシステムに用いる超音波と、HIFUを総じて「治療用超音波」と定義する。
このような治療用超音波を患者に適用するために超音波検査装置を用いる場合、二次元の断層像だけでは治療用超音波を照射するための照準を合わせることが非常に困難である。
超音波画像形成装置を用いて、CTスキャンのような立体画像をリアルタイムに得ることができれば、このような用途に適うであろう。
【0006】
本発明は係る課題を解決し、既存の超音波画像形成装置を活用して臓器等の立体画像を形成し、また治療用超音波を照射対象へ容易に合わせ込むことができる、したがって非侵襲でありながら正確な診断と治療ができる、超音波診断システム及び超音波診断・治療システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明の超音波診断システムは、計測対象に超音波を照射して反射音の情報を得るプローブと、プローブが接続されて計測対象の内部の断層画像を得る超音波画像形成装置と、プローブに固定される第一のマーカと、第一のマーカの空間座標情報を取得する空間座標取得装置と、断層画像から輪郭を抽出した輪郭画像を作成し、第一のマーカの空間座標情報に基づいて輪郭画像を仮想三次元空間内に配置し、複数の輪郭画像を補間演算して立体画像を仮想三次元空間内に配置する画像合成装置と、画像合成装置が形成した仮想三次元空間を表示する表示部とを備える。
【0008】
超音波画像形成装置が出力する超音波断層画像から輪郭を抽出した後、プローブの三次元座標情報に基づいて輪郭データを仮想三次元空間内に配置する。輪郭データを複数取得して補間演算を実施すると、仮想三次元空間内に臓器の三次元画像を形成できる。
【発明の効果】
【0009】
本発明により、既存の超音波画像形成装置を活用して臓器等の立体画像を形成し、また治療用超音波を照射対象へ容易に合わせ込むことができる、したがって非侵襲でありながら正確な診断と治療ができる、超音波診断システム及び超音波診断・治療システムを提供できる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施形態である、超音波診断・治療システムの外観図である。
【図2】プローブの全体図である。
【図3】トランスデューサの全体図である。
【図4】較正板の外観斜視図である。
【図5】較正板の上面図である。
【図6】VR/AR画像合成装置の機能ブロック図である。
【図7】本実施形態の超音波診断・治療システムで行われる、診断及び治療の全体的な作業の流れを示すフローチャートである。
【図8】初期較正処理の流れを示すフローチャートである。
【図9】プローブの筐体を含む平面と観察平面との間の誤差を示す概略図である。
【図10】観察平面の較正作業を示す概略図である。
【図11】臓器三次元画像形成処理の流れを示すフローチャートである。
【図12】臓器三次元画像形成処理の流れを示す概略図である。
【図13】表示部に表示される仮想三次元空間の図である。
【図14】VR/AR画像合成装置によって表示部に表示される、トランスデューサの超音波照射対象に対する位置決めの表示画面を示す図である。
【発明を実施するための形態】
【0011】
本実施形態の概略を説明する。
本実施形態の超音波診断・治療システムは、患者(被験者)に対して非侵襲的な診断と治療を実現する。
「エコー検査」として周知の超音波画像形成装置のプローブに、光学式三次元計測装置が認識できるマーカを固定させる。VR/AR画像合成装置は、超音波画像形成装置が出力する、二次元の超音波断層画像から輪郭を抽出し、光学式三次元計測装置が検出したプローブの三次元位置及び姿勢に基づいて、輪郭画像を仮想三次元空間内に配置する。VR/AR画像合成装置は複数の輪郭を補完合成して、仮想三次元空間内に臓器の立体画像を形成する。
更に、治療用超音波を発する超音波治療装置のトランスデューサにも、光学式三次元計測装置が認識できるマーカを固定させる。そして、VR/AR画像合成装置が検出した患部或は標的の三次元画像に対して、トランスデューサの超音波射出方向及び射出距離を算出して、仮想三次元空間内に再現する。
【0012】
[システム外観]
図1は、本発明の実施形態である、超音波診断・治療システムの外観図である。但し、一部の機器については詳細な図示を省略し、概略的にブロックで図示している。
手術台102には被験者ともいえる患者103が横たわっている。この患者103に対し、図示しない医師は、周知の超音波画像形成装置104のプローブ105を、映像化したい臓器のある体表面に押し当てて撮影する。こうして、超音波画像形成装置104は超音波断層画像を得る。
一方、手術台102の側には赤外線ステレオカメラ106が三脚107によって固定されている。赤外線ステレオカメラ106は、手術台102の上の患者103の撮影対象となる臓器の周囲を認識できるように配置されている。赤外線ステレオカメラ106には空間座標取得装置108が接続されている。
プローブ105には、空間座標取得装置108が三次元空間内の位置及び姿勢を認識できるためのマーカ105aが取り付けられており、空間座標取得装置108はプローブ105の三次元空間内の位置及び姿勢のデータを出力する。
【0013】
赤外線ステレオカメラ106と空間座標取得装置108は、「Polaris(登録商標) Vicra」(http://www.ndigital.com/medical/polarisfamily.php)という既存の製品である。空間座標取得装置108は、赤外線ステレオカメラ106が認識可能な空間内にマーカの存在を認識すると、マーカの空間内における位置情報を、並進行列と回転行列の形式で出力する。また、空間座標取得装置108はマーカを最大六個まで認識可能である。
【0014】
VR/AR画像合成装置109は、空間座標取得装置108が出力する、プローブ105の三次元空間内の位置及び姿勢のデータを受けて、仮想三次元空間内にプローブ105の三次元画像を描画し、ディスプレイ110に表示する。更に、超音波画像形成装置104が出力する超音波断層画像を受けて、超音波断層画像から撮影された臓器の輪郭を抽出し、仮想三次元空間内に配置する。仮想三次元空間内に臓器の輪郭を複数配置したら、VR/AR画像合成装置109は各々の輪郭同士を補間演算して、臓器の三次元画像をディスプレイ110に表示する。
なお、VR/AR画像合成装置109の「VR」は「Virtual Reality(仮想現実)」を、「AR」は「Argument Reality(拡張現実)」を指す。
【0015】
医師は、VR/AR画像合成装置109が患者103の臓器の画像をディスプレイ110に表示した状態で、操作部111を操作して、ディスプレイ110に表示されている立体画像から、患部或は治療薬入りマイクロカプセル等の、超音波を照射する対象(照射対象)を選択して決定する。次に、医師は照射対象をプローブ105で捕捉した状態を維持しながら、超音波治療装置112のトランスデューサ113を操作して、トランスデューサ113が照射する超音波が照射対象を貫通するように、トランスデューサ113の位置決めを行う。
トランスデューサ113にもプローブ105と同様のマーカ113aが取り付けられており、空間座標取得装置108はトランスデューサ113の三次元空間内の位置及び姿勢のデータを出力する。更に、VR/AR画像合成装置109にはトランスデューサ113が照射する超音波の音圧分布データが予め記憶されているので、トランスデューサ113の焦点位置は判明している。医師は、この焦点位置に照射対象が合致するようにトランスデューサ113を操作して、患者103の照射対象近傍の適切な位置に、最適な方向及び角度でトランスデューサ113を位置決めする。
そして、医師は超音波治療装置112を稼働させて、トランスデューサ113から治療用超音波を発し、照射対象に照射する。
【0016】
VR/AR画像合成装置109は、VR/AR画像合成装置109自身が作成した仮想三次元空間内にプローブ105とトランスデューサ113を正しく配置させるために、VR/AR画像合成装置109自身が動作を開始した初期状態において、プローブ105とトランスデューサ113の基準位置を決定する必要がある。手術台102の片隅に配置されている較正板114は、VR/AR画像合成装置109の初期状態にプローブ105とトランスデューサ113が置かれて、プローブ105とトランスデューサ113の基準位置を決定するために存在する。
【0017】
図2はプローブ105の全体図である。プローブ105は先端の探触子本体201と把持部202と、把持部202に取り付けられたマーカ105aよりなる。
探触子本体201はその内部に多数の超音波振動子と超音波センサを内蔵する。把持部202は操作者である医師がプローブ105を持つための握り部分であるが、その内部にはA/D変換器を含む電子回路を内蔵する。
【0018】
把持部202にはマーカ105aがケーブルタイ203で括りつけられている。勿論、マーカ105aの固定手段は接着やネジ止め等の種々の手法が利用できる。マーカ105aは固定棒と四つの赤外線反射球体205よりなる。赤外線反射球体205は、直径が約5mm乃至2cm程度の大きさのプラスチックの球体であり、表面に赤外線反射塗料が塗布されている。四つの赤外線反射球体205は、一平面上に、平行な辺を持たない四角形を構成するように配置されている。四つの赤外線反射球体205が平行な辺を持たない四角形を構成する理由は、空間座標取得装置108が計測対象物の姿勢を把握するために必要だからである。四角形に並行な辺の組が存在すると、その四角形の表と裏の認識が極めて困難になるからである。
【0019】
図3はトランスデューサ113の全体図である。トランスデューサ113は振動子本体301と、振動子本体301に取り付けられたマーカ113aよりなる。
振動子本体301はその内部に超音波振動子を内蔵する。振動子本体301は操作者である医師がトランスデューサ113を持つための握り部分でもある。
振動子本体301にはプローブ105に取り付けられたものと同様のマーカ113aがケーブルタイ203で括りつけられている。マーカ113aの固定手段も前述と同様である。
【0020】
図4は較正板114の外観斜視図である。
図5は較正板114の上面図である。
較正板114には赤外線ステレオカメラ106が位置を検出できるように、六つの赤外線反射球体205が設けられている。
較正板114の内側には、トランスデューサ113を配置するための指標401が描かれている。指標401に付されている目盛りは、直径が異なるトランスデューサ113の種類に対応するために設けられている。
指標401の横には、プローブ105の探触子本体201が装着できる凹部501が設けられている。凹部501の上には、プローブ105の把持部202を固定するガイド棒402が筒403に固定されている。
【0021】
[機能と動作]
図6はVR/AR画像合成装置109の機能ブロック図である。
VR/AR画像合成装置109の実体は周知のパソコンである。パソコンに所定のOSとアプリケーションプログラムを稼働させ、VR/AR画像合成装置109として機能させる。
VR/AR画像合成装置109は、空間座標取得装置108から図示しないUSBインターフェースを通じて三次元座標情報をリアルタイムで取得する。また、超音波画像形成装置104が出力する超音波断層画像信号が図示しないビデオキャプチャカードによって変換されたデジタルの超音波断層画像データを取得して、処理を行う。
【0022】
三次元座標情報は、座標データ選択部601に入力される。座標データ選択部601は制御部602によって制御され、初期状態記憶部603、プローブ位置形成部604、トランスデューサ位置形成部605のいずれかに選択的に三次元座標情報を供給する。
初期状態記憶部603は、プローブ105とトランスデューサ113が較正板114に配置されている時の三次元座標情報を算出して記憶する。初期状態記憶部603は、プローブ105とトランスデューサ113の三次元座標情報を算出する際、予め較正板114の寸法情報である較正板データ613を参照して、較正板114の位置を把握する。
プローブ位置形成部604は、プローブ105の現在の仮想三次元空間内における三次元位置及び姿勢を、初期状態記憶部603に記憶されている三次元座標情報を基準に現在の三次元座標情報から算出する。
トランスデューサ位置形成部605は、トランスデューサ113の現在の仮想三次元空間内における三次元位置及び姿勢の情報を、初期状態記憶部603に記憶されている三次元座標情報を基準に現在の三次元座標情報から算出する。
【0023】
プローブ画像データ606は、仮想三次元空間内にプローブ105を描写するための三次元ベクトルデータである。
トランスデューサ画像データ607は、仮想三次元空間内にトランスデューサ113を描写するための三次元ベクトルデータである。
トランスデューサ焦点データ608は、トランスデューサ113が治療用超音波を発生した際の、超音波の焦点位置を描写するための三次元ベクトルデータである。
【0024】
プローブ位置形成部604が出力する、プローブ105の現在の仮想三次元空間内における三次元位置及び姿勢の情報は、画像選択合成部609に入力される。画像選択合成部609は、プローブ画像データ606を、プローブ105の現在の仮想三次元空間内における三次元位置及び姿勢の情報に基づいて仮想三次元空間内に配置する描画を実行する。
【0025】
一方、臓器画像形成部610には、超音波画像形成装置104から図示しないビデオキャプチャカードを通じて得られる超音波断層画像データが入力される。臓器画像形成部610は、超音波断層画像データに写っている臓器の画像から臓器の輪郭を抽出して、輪郭データを作成し、画像選択合成部609に供給する。
画像選択合成部609は、輪郭データと、プローブ105の現在の仮想三次元空間内における三次元位置及び姿勢の情報に基づいて、仮想三次元空間内に輪郭を配置する描画を行う。
【0026】
画像選択合成部609が形成する、仮想三次元空間内の輪郭データは、三次元画像形成部611に供給される。三次元画像形成部611は、仮想三次元空間内に存在する複数の輪郭データ同士を補間演算して、仮想三次元空間内に臓器の立体画像を形成し、この臓器の立体画像データを画像選択合成部609に供給する。
【0027】
画像選択合成部609は、仮想三次元空間内にプローブ105の三次元画像とトランスデューサ113の三次元画像を描画すると共に、臓器の輪郭又は臓器の三次元画像を選択的に描画する。こうして画像選択合成部609によって作成された仮想三次元空間の映像情報は、ディスプレイ110である表示部612に表示される。
【0028】
図7は本実施形態の超音波診断・治療システム101で行われる、診断及び治療の全体的な作業の流れを示すフローチャートである。
処理を開始すると(S701)、医師は最初にVR/AR画像合成装置109がプローブ105及びトランスデューサ113の仮想三次元空間における位置及び姿勢を正確に描写するための初期較正処理を行う(S702)。初期較正処理が終わると、VR/AR画像合成装置109は表示部612に表示する仮想三次元空間内にプローブ105及びトランスデューサ113をリアルタイムに描写することができる(S703)。
【0029】
次に、医師はプローブ105を撮影したい患者103の臓器の近傍に配置して、超音波画像形成装置104を操作して、臓器の三次元画像を得られる程度迄、超音波断層画像データを繰り返し取得する。そして、VR/AR画像合成装置109は臓器の三次元画像を形成する(S704)。
【0030】
こうして臓器の三次元画像が得られると、医師は自身の所見に基づいて、臓器の三次元画像の何処が治療用超音波を照射する対象であるのかを決定することができる(S705)。
医師は、超音波を照射する対象(照射対象)を決定したら、VR/AR画像合成装置109を操作して、表示部612に位置決め状態の表示を行わせる(S706)。医師はプローブ105が撮影する超音波断層画像に照射対象が含まれるように、表示部612に表示される画像を見ながらプローブ105を位置決めしつつ、トランスデューサ113の焦点位置が照射対象に合致するように、トランスデューサ113を位置決めする。
位置決めが終了したら、医師は超音波治療装置112を稼働させて、トランスデューサ113から治療用超音波を発し、照射対象に照射して(S707)、処理を終了する(S708)。
【0031】
図8は初期較正処理の流れを示すフローチャートである。図7のステップS702の詳細である。
処理を開始すると(S801)、VR/AR画像合成装置109の初期状態記憶部603は、最初に空間座標取得装置108から較正板114の識別情報を受信し、較正板データ613を参照して、較正板114の座標と姿勢の情報を算出して取得する(S802)。この、較正板114の座標と姿勢の情報は、仮想三次元空間の基準となる。
【0032】
次に、初期状態記憶部603は空間座標取得装置108から較正板114に配置されているプローブ105の識別情報を受信し、プローブ105の座標と姿勢の情報を算出して取得する(S803)。この時点の、プローブ105の座標と姿勢の情報は、仮想三次元空間におけるプローブ105の基準となる。
【0033】
次に、初期状態記憶部603は空間座標取得装置108から較正板114に配置されているトランスデューサ113の識別情報を受信し、トランスデューサ113の座標と姿勢の情報を算出して取得する(S804)。この時点の、トランスデューサ113の座標と姿勢の情報は、仮想三次元空間におけるトランスデューサ113の基準となる。
【0034】
次に、VR/AR画像合成装置109は空間座標取得装置108からプローブ105の座標と姿勢を連続的に取得しつつ、超音波画像形成装置104から超音波断層画像データを取得して、プローブ105が形成する観察平面の較正処理を行い(S805)、一連の処理を終了する。
【0035】
以下に、プローブ105の観察平面と、ステップS805における観察平面の較正処理の詳細について説明する。
図9は、プローブ105の筐体を含む平面(以下「プローブ平面」)と観察平面との間の誤差を示す概略図である。
プローブ105が撮影する超音波画像に基づく輪郭の画像が仮想三次元空間内で正確に配置されるためには、三次元空間内のプローブ105自身の座標と姿勢を正確に検出するだけでなく、プローブ105が撮影する超音波画像が形成する二次元の平面が、プローブ105に対してどのように配置されるのかも正確に把握できていなければならない。この、プローブ105が撮影する超音波画像が形成する二次元の平面を、本明細書では観察平面P902と呼ぶ。
【0036】
プローブ105が形成する観察平面P902は、必ずしもプローブ105の筐体(プローブ平面P901)と一致或は並行であるとは限らない。プローブ105の探触子本体201は手作りであるので、プローブ平面P901と観察平面P902との間には、若干の誤差を含む。誤差は、二方向のねじれ角と距離の、三要素である。
したがって、VR/AR画像合成装置109は、プローブ105の筐体の姿勢に対する観察平面P902との位置関係を正確に把握できていなければならない。
【0037】
そこで、プローブ105の筐体の姿勢に対する観察平面P902との位置関係を検出することで、観察平面P902の較正を行う。
図10は、観察平面P902の較正作業を示す概略図である。これは「Cross Wire」と呼ばれる周知の較正方法である。
中空の箱1001には釣り糸1002が縦と横とで二本、張られている。箱1001の内壁には吸音材1003が敷き詰められている。プローブ105がこの釣り糸1002の交点を異なる角度で数十回程度、超音波画像の撮影を行う。そうして得たプローブ105の位置及び姿勢のデータを集計して所定の演算を行うと、プローブ105の形状に対する観察平面P902を算出することができる。
【0038】
図11は、臓器三次元画像形成処理の流れを示すフローチャートである。図7のステップS704の詳細である。
処理を開始すると(S1101)、VR/AR画像合成装置109は医師が操作部111或はプローブ105を操作することによって生じるトリガ信号の入力を待つ(S1102)。
【0039】
これ以降はループ処理である。
トリガ信号の指示内容が三次元合成画像を作成する指示でない、画像の輪郭を取得する命令であれば(S1103のNO)、VR/AR画像合成装置109の制御部602は臓器画像形成部610を制御する。すると、臓器画像形成部610は超音波画像形成装置104からビデオキャプチャカードを通じて超音波画像データを取得する(S1104)。
【0040】
次に、臓器画像形成部610は超音波画像データから輪郭を抽出して(S1105)、画像選択合成部609に輪郭データを出力する。画像選択合成部609は、プローブ位置形成部604から得たプローブ105の三次元位置及び姿勢の情報と、初期状態記憶部603に格納されている観察平面P902の情報に基づいて、仮想三次元空間内に輪郭を配置する(S1106)。表示部612は、輪郭が描画された仮想三次元空間を表示する(S1107)。
【0041】
ステップS1107の後は、再びステップS1102に戻り、トリガ信号の指示内容が三次元合成画像を作成する指示でない限り、ステップS1104乃至ステップS1107の処理が繰り返される。
【0042】
ステップS1103で、トリガ信号の指示内容が三次元合成画像を作成する指示であれば(S1103のYES)、VR/AR画像合成装置109の制御部602は三次元画像形成部611と画像選択合成部609を制御して、三次元画像形成部611に既に取得済みの三次元輪郭画像から三次元の補完合成処理を行わせ(S1108)、画像選択合成部609に臓器の三次元合成画像を仮想三次元空間内に配置して表示させて(S1109)、一連の処理を終了する(S1110)。
【0043】
図12(a)、(b)、(c)及び(d)は、臓器三次元画像形成処理の流れを示す概略図である。
図12(a)は、プローブ105から超音波画像形成装置104によって得られる超音波画像である。図11のステップS1104の状態である。
図12(b)は、超音波画像から抽出した輪郭の画像データを模式的に示す図である。図11のステップS1105の状態である。
図12(c)は、仮想三次元空間内に輪郭を複数個配置した状態を模式的に示す図である。図11のステップS1106及びS1107の状態である。
図12(d)は、仮想三次元空間内に複数個配置された輪郭同士を三次元補完合成した状態を模式的に示す図である。図11のステップS1108及びS1109の状態である。
【0044】
超音波画像形成装置のプローブはCTスキャンと異なり、患者の皮膚に密着させる必要があるので、CTスキャンのように取得した超音波断層画像を並列に並べて三次元画像を形成することが不可能である。そこで、発明者はプローブの三次元座標情報を取得して、これに基づいて超音波断層画像を三次元に展開することを考えた。超音波断層画像はそれ自身が多量のデータであり、そのまま三次元に展開することが困難である。そこで、超音波断層画像から輪郭を抽出して輪郭データを得る処理を加えることで、扱うデータ量を低減し、更に仮想三次元空間内に展開することを容易にした。また、近接する輪郭同士を補間演算することで、元の立体、つまり臓器の立体画像を得ることができた。
【0045】
図13は、表示部612に表示される仮想三次元空間の図である。
VR/AR画像合成装置109が表示部612に表示する仮想三次元空間には、プローブ105、プローブ105から発生する観察平面P902、トランスデューサ113、そして三次元補完合成によって描画された臓器1302と超音波照射対象1303が配置され、描かれている。
【0046】
プローブ105の三次元画像は、図6のプローブ画像データ606を基に、プローブ位置形成部604が出力するプローブ105の現在の仮想三次元空間内における三次元位置及び姿勢の情報を用いて、画像選択合成部609が仮想三次元空間内に配置して描画する。
【0047】
プローブ105に付随する観察平面P902の三次元画像は、初期状態記憶部603に記憶されている観察平面P902の情報を基に、プローブ位置形成部604が出力するプローブ105の現在の仮想三次元空間内における三次元位置及び姿勢の情報を用いて、画像選択合成部609が仮想三次元空間内に配置して描画する。
【0048】
トランスデューサ113の三次元画像と、トランスデューサ113に付随する焦点1304の三次元画像は、図6のトランスデューサ画像データ607を基に、トランスデューサ位置形成部605が出力するトランスデューサ113の現在の仮想三次元空間内における三次元位置及び姿勢の情報を用いて、画像選択合成部609が仮想三次元空間内に配置して描画する。
【0049】
臓器1302の三次元画像は、図6の臓器画像形成部610が出力する輪郭の画像データを、プローブ位置形成部604が出力するプローブ105の現在の仮想三次元空間内における三次元位置及び姿勢の情報と初期状態記憶部603に記憶されている観察平面P902の情報を用いて、画像選択合成部609が仮想三次元空間内に配置し、更に三次元画像形成部611が三次元補完合成して、仮想三次元空間内に描画する。
【0050】
超音波照射対象1303の画像は、医師がトランスデューサ113を操作して、トランスデューサ113の先端に設けられる焦点1304を医師が自身の所見に基づいて所望の場所に配置した上で、トランスデューサ113或はVR/AR画像合成装置109の操作部111を操作することによって、画像選択合成部609が仮想三次元空間内に固定の球形の画像を形成する。
【0051】
図14(a)、(b)、(c)、(d)、(e)及び(f)は、VR/AR画像合成装置109によって表示部612に表示される、トランスデューサ113の超音波照射対象1303に対する位置決めの表示画面を示す図である。これらの図は図7のステップS707の動作状態を説明する図である。
【0052】
図14(a)は、仮想三次元空間内にプローブ105と観察平面P902とトランスデューサ113が描画されている状態の、表示部612の表示画面である。図14(a)では、観察平面P902上の超音波照射対象1303に対し、トランスデューサ113の焦点位置が遠くに離れている。
図14(b)は、図14(a)の状態で、超音波照射対象1303からトランスデューサ113の焦点位置との距離を半径とする円を描いた状態の、表示部612の表示画面である。この表示画面は、測距画像ともいえる。更に、トランスデューサ113の方向ベクトルと超音波照射対象1303との間のずれも、超音波照射対象1303から延びる線で表している。
【0053】
図14(c)は、仮想三次元空間内にプローブ105と観察平面P902とトランスデューサ113が描画されている状態の、表示部612の表示画面である。図14(c)では、観察平面P902上の超音波照射対象1303に対し、トランスデューサ113の焦点位置がほぼ合致している。
図14(d)は、図14(c)の状態で、超音波照射対象1303からトランスデューサ113の焦点位置との距離を半径とする円を描いた状態の、表示部612の表示画面である。更に、トランスデューサ113の方向ベクトルと超音波照射対象1303との間のずれも、超音波照射対象1303から延びる線で表している。図14(b)と比べると、円は明らかに小さくなっており、また超音波照射対象1303から延びる線の長さも明らかに短くなっていることから、この状態でトランスデューサ113から超音波を発生させると、超音波照射対象1303に的確に治療用超音波を照射できることが判る。
【0054】
図14(e)は、仮想三次元空間内にプローブ105と観察平面P902とトランスデューサ113が描画されている状態の、表示部612の表示画面である。図14(e)では、観察平面P902上の超音波照射対象1303に対し、トランスデューサ113が近すぎているため、却って焦点位置が離れてしまっている。
図14(f)は、図14(e)の状態で、超音波照射対象1303からトランスデューサ113の焦点位置との距離を半径とする円を描いた状態の、表示部612の表示画面である。更に、トランスデューサ113の方向ベクトルと超音波照射対象1303との間のずれも、超音波照射対象1303から延びる線で表している。
【0055】
以上、図14(a)乃至(f)に示したように、表示部に仮想三次元空間を表示するだけでなく、焦点と超音波照射対象との距離を円の半径として表示することで、トランスデューサの焦点を容易に超音波照射対象へ合焦させることができる。
【0056】
本実施形態は以下のような応用例が可能である。
(1)本実施形態では、プローブ105及びトランスデューサ113の三次元上の位置及び姿勢をリアルタイムに取得するために、赤外線を用いた光学式三次元計測装置を採用した。位置と姿勢を取得する手段は、この赤外線の光学式三次元計測装置に限らず、可視光を用いる装置や磁気式の装置であってもよい。
なお、三次元計測装置の動作方式が異なれば、これに対応するマーカの形状等も変わることとなる。したがって、マーカも図1、図2、図3、図4、図5及び図9に示す、赤外線反射球体205を用いる形態に限られない。
【0057】
(2)超音波画像形成装置104と、空間座標取得装置108と、VR/AR画像合成装置109は、周知の電子計算機で構成されている。したがって、データ処理能力の高い電子計算機を用いれば、これらの装置を一体化することも可能である。本システムが実用化されれば、超音波治療装置112も含めて、全ての機能を凝縮した装置として提供することも可能である。
【0058】
本実施形態では、超音波診断・治療システムを開示した。
超音波画像形成装置が出力する超音波断層画像から輪郭を抽出した後、プローブの三次元座標情報に基づいて輪郭データを仮想三次元空間内に配置する。輪郭データを複数取得して補間演算を実施すると、仮想三次元空間内に臓器の三次元画像を形成できる。
これまで、プローブを肌に密着させなければ超音波断層画像を撮影できなかったが、プローブの三次元座標情報を取得することと、輪郭を抽出することで、超音波を用いた三次元立体画像を形成することができる。
【0059】
また、トランスデューサと超音波照射対象との配置状態を仮想三次元空間で表示するだけでなく、トランスデューサの焦点と超音波照射対象との距離を測距画像で視覚的に示すことで、合焦作業が極めて簡易になり、医師の治療行為を大幅に助けることができるのみならず、治療の精度を大幅に改善する。
【0060】
以上、本発明の実施形態例について説明したが、本発明は上記実施形態例に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。
【符号の説明】
【0061】
101…超音波診断・治療システム、102…手術台、103…患者、104…超音波画像形成装置、105…プローブ、105a…マーカ、106…赤外線ステレオカメラ、107…三脚、108…空間座標取得装置、109…VR/AR画像合成装置、110…ディスプレイ、111…操作部、112…超音波治療装置、113…トランスデューサ、113a…マーカ、114…較正板、201…探触子本体、202…把持部、203…ケーブルタイ、205…赤外線反射球体、301…振動子本体、401…指標、402…ガイド棒、403…筒、501…凹部、601…座標データ選択部、602…制御部、603…初期状態記憶部、604…プローブ位置形成部、605…トランスデューサ位置形成部、606…プローブ画像データ、607…トランスデューサ画像データ、608…トランスデューサ焦点データ、609…画像選択合成部、610…臓器画像形成部、611…三次元画像形成部、612…表示部、613…較正板データ、1001…箱、1002…釣り糸、1003…吸音材、1302…臓器、1303…超音波照射対象、1304…焦点、P901…プローブ平面、P902…観察平面
【技術分野】
【0001】
本発明は、超音波診断システム及び超音波診断・治療システムに関する。
より詳細には、超音波を用いて非侵襲で患者を診断し、超音波を用いて非侵襲で患者に対する治療行為を行う、超音波診断・治療システムに関する。
【背景技術】
【0002】
近年の医療技術の進歩は著しく、人体の体内の状態を詳細に検査できる技術が発達している。中でも、超音波を用いる超音波検査装置は、X線等と比較すると人体に対する負荷が極めて低いので、妊婦に胎児の映像を見せる等の用途に用いられている。
なお、本発明に類似すると思われる技術内容を、非特許文献1に示す。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】高橋修一、内山明彦、鈴木直樹:「術野内外の3次元構造と位置関係が観察可能な肝切除支援システム」、電子情報通信学会論文誌、Vol. J83-D-II, No.6, pp.1548-1555, 2000
【発明の概要】
【発明が解決しようとする課題】
【0004】
現在、医療現場で用いられている、超音波画像形成装置ともいえる超音波検査装置は、人体の局所的な二次元の断層像を得るに留まっている。このため、患部や臓器を立体的に視認する用途には適していない。
【0005】
また、近年では高い濃度の医薬をマイクロカプセルやマイクロバブルなどの薬物担体(以下、薬物担体)に収納し、血管内に放流して、薬物担体が患部に到達したら超音波を照射してカプセルを破壊し、医薬を患部に適用する、という「ドラッグデリバリーシステム」という技術の研究が進んでいる。更に、薬物担体を破壊する程度の比較的弱い(安全な)超音波よりも強力な、単独で生体組織そのものにダメージを与えて治療を行う、高密度焦点式超音波(HIFU, High-Intensity Focused Ultrasound)を用いた治療の研究も進められている。これ以降、本明細書ではドラッグデリバリーシステムに用いる超音波と、HIFUを総じて「治療用超音波」と定義する。
このような治療用超音波を患者に適用するために超音波検査装置を用いる場合、二次元の断層像だけでは治療用超音波を照射するための照準を合わせることが非常に困難である。
超音波画像形成装置を用いて、CTスキャンのような立体画像をリアルタイムに得ることができれば、このような用途に適うであろう。
【0006】
本発明は係る課題を解決し、既存の超音波画像形成装置を活用して臓器等の立体画像を形成し、また治療用超音波を照射対象へ容易に合わせ込むことができる、したがって非侵襲でありながら正確な診断と治療ができる、超音波診断システム及び超音波診断・治療システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明の超音波診断システムは、計測対象に超音波を照射して反射音の情報を得るプローブと、プローブが接続されて計測対象の内部の断層画像を得る超音波画像形成装置と、プローブに固定される第一のマーカと、第一のマーカの空間座標情報を取得する空間座標取得装置と、断層画像から輪郭を抽出した輪郭画像を作成し、第一のマーカの空間座標情報に基づいて輪郭画像を仮想三次元空間内に配置し、複数の輪郭画像を補間演算して立体画像を仮想三次元空間内に配置する画像合成装置と、画像合成装置が形成した仮想三次元空間を表示する表示部とを備える。
【0008】
超音波画像形成装置が出力する超音波断層画像から輪郭を抽出した後、プローブの三次元座標情報に基づいて輪郭データを仮想三次元空間内に配置する。輪郭データを複数取得して補間演算を実施すると、仮想三次元空間内に臓器の三次元画像を形成できる。
【発明の効果】
【0009】
本発明により、既存の超音波画像形成装置を活用して臓器等の立体画像を形成し、また治療用超音波を照射対象へ容易に合わせ込むことができる、したがって非侵襲でありながら正確な診断と治療ができる、超音波診断システム及び超音波診断・治療システムを提供できる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施形態である、超音波診断・治療システムの外観図である。
【図2】プローブの全体図である。
【図3】トランスデューサの全体図である。
【図4】較正板の外観斜視図である。
【図5】較正板の上面図である。
【図6】VR/AR画像合成装置の機能ブロック図である。
【図7】本実施形態の超音波診断・治療システムで行われる、診断及び治療の全体的な作業の流れを示すフローチャートである。
【図8】初期較正処理の流れを示すフローチャートである。
【図9】プローブの筐体を含む平面と観察平面との間の誤差を示す概略図である。
【図10】観察平面の較正作業を示す概略図である。
【図11】臓器三次元画像形成処理の流れを示すフローチャートである。
【図12】臓器三次元画像形成処理の流れを示す概略図である。
【図13】表示部に表示される仮想三次元空間の図である。
【図14】VR/AR画像合成装置によって表示部に表示される、トランスデューサの超音波照射対象に対する位置決めの表示画面を示す図である。
【発明を実施するための形態】
【0011】
本実施形態の概略を説明する。
本実施形態の超音波診断・治療システムは、患者(被験者)に対して非侵襲的な診断と治療を実現する。
「エコー検査」として周知の超音波画像形成装置のプローブに、光学式三次元計測装置が認識できるマーカを固定させる。VR/AR画像合成装置は、超音波画像形成装置が出力する、二次元の超音波断層画像から輪郭を抽出し、光学式三次元計測装置が検出したプローブの三次元位置及び姿勢に基づいて、輪郭画像を仮想三次元空間内に配置する。VR/AR画像合成装置は複数の輪郭を補完合成して、仮想三次元空間内に臓器の立体画像を形成する。
更に、治療用超音波を発する超音波治療装置のトランスデューサにも、光学式三次元計測装置が認識できるマーカを固定させる。そして、VR/AR画像合成装置が検出した患部或は標的の三次元画像に対して、トランスデューサの超音波射出方向及び射出距離を算出して、仮想三次元空間内に再現する。
【0012】
[システム外観]
図1は、本発明の実施形態である、超音波診断・治療システムの外観図である。但し、一部の機器については詳細な図示を省略し、概略的にブロックで図示している。
手術台102には被験者ともいえる患者103が横たわっている。この患者103に対し、図示しない医師は、周知の超音波画像形成装置104のプローブ105を、映像化したい臓器のある体表面に押し当てて撮影する。こうして、超音波画像形成装置104は超音波断層画像を得る。
一方、手術台102の側には赤外線ステレオカメラ106が三脚107によって固定されている。赤外線ステレオカメラ106は、手術台102の上の患者103の撮影対象となる臓器の周囲を認識できるように配置されている。赤外線ステレオカメラ106には空間座標取得装置108が接続されている。
プローブ105には、空間座標取得装置108が三次元空間内の位置及び姿勢を認識できるためのマーカ105aが取り付けられており、空間座標取得装置108はプローブ105の三次元空間内の位置及び姿勢のデータを出力する。
【0013】
赤外線ステレオカメラ106と空間座標取得装置108は、「Polaris(登録商標) Vicra」(http://www.ndigital.com/medical/polarisfamily.php)という既存の製品である。空間座標取得装置108は、赤外線ステレオカメラ106が認識可能な空間内にマーカの存在を認識すると、マーカの空間内における位置情報を、並進行列と回転行列の形式で出力する。また、空間座標取得装置108はマーカを最大六個まで認識可能である。
【0014】
VR/AR画像合成装置109は、空間座標取得装置108が出力する、プローブ105の三次元空間内の位置及び姿勢のデータを受けて、仮想三次元空間内にプローブ105の三次元画像を描画し、ディスプレイ110に表示する。更に、超音波画像形成装置104が出力する超音波断層画像を受けて、超音波断層画像から撮影された臓器の輪郭を抽出し、仮想三次元空間内に配置する。仮想三次元空間内に臓器の輪郭を複数配置したら、VR/AR画像合成装置109は各々の輪郭同士を補間演算して、臓器の三次元画像をディスプレイ110に表示する。
なお、VR/AR画像合成装置109の「VR」は「Virtual Reality(仮想現実)」を、「AR」は「Argument Reality(拡張現実)」を指す。
【0015】
医師は、VR/AR画像合成装置109が患者103の臓器の画像をディスプレイ110に表示した状態で、操作部111を操作して、ディスプレイ110に表示されている立体画像から、患部或は治療薬入りマイクロカプセル等の、超音波を照射する対象(照射対象)を選択して決定する。次に、医師は照射対象をプローブ105で捕捉した状態を維持しながら、超音波治療装置112のトランスデューサ113を操作して、トランスデューサ113が照射する超音波が照射対象を貫通するように、トランスデューサ113の位置決めを行う。
トランスデューサ113にもプローブ105と同様のマーカ113aが取り付けられており、空間座標取得装置108はトランスデューサ113の三次元空間内の位置及び姿勢のデータを出力する。更に、VR/AR画像合成装置109にはトランスデューサ113が照射する超音波の音圧分布データが予め記憶されているので、トランスデューサ113の焦点位置は判明している。医師は、この焦点位置に照射対象が合致するようにトランスデューサ113を操作して、患者103の照射対象近傍の適切な位置に、最適な方向及び角度でトランスデューサ113を位置決めする。
そして、医師は超音波治療装置112を稼働させて、トランスデューサ113から治療用超音波を発し、照射対象に照射する。
【0016】
VR/AR画像合成装置109は、VR/AR画像合成装置109自身が作成した仮想三次元空間内にプローブ105とトランスデューサ113を正しく配置させるために、VR/AR画像合成装置109自身が動作を開始した初期状態において、プローブ105とトランスデューサ113の基準位置を決定する必要がある。手術台102の片隅に配置されている較正板114は、VR/AR画像合成装置109の初期状態にプローブ105とトランスデューサ113が置かれて、プローブ105とトランスデューサ113の基準位置を決定するために存在する。
【0017】
図2はプローブ105の全体図である。プローブ105は先端の探触子本体201と把持部202と、把持部202に取り付けられたマーカ105aよりなる。
探触子本体201はその内部に多数の超音波振動子と超音波センサを内蔵する。把持部202は操作者である医師がプローブ105を持つための握り部分であるが、その内部にはA/D変換器を含む電子回路を内蔵する。
【0018】
把持部202にはマーカ105aがケーブルタイ203で括りつけられている。勿論、マーカ105aの固定手段は接着やネジ止め等の種々の手法が利用できる。マーカ105aは固定棒と四つの赤外線反射球体205よりなる。赤外線反射球体205は、直径が約5mm乃至2cm程度の大きさのプラスチックの球体であり、表面に赤外線反射塗料が塗布されている。四つの赤外線反射球体205は、一平面上に、平行な辺を持たない四角形を構成するように配置されている。四つの赤外線反射球体205が平行な辺を持たない四角形を構成する理由は、空間座標取得装置108が計測対象物の姿勢を把握するために必要だからである。四角形に並行な辺の組が存在すると、その四角形の表と裏の認識が極めて困難になるからである。
【0019】
図3はトランスデューサ113の全体図である。トランスデューサ113は振動子本体301と、振動子本体301に取り付けられたマーカ113aよりなる。
振動子本体301はその内部に超音波振動子を内蔵する。振動子本体301は操作者である医師がトランスデューサ113を持つための握り部分でもある。
振動子本体301にはプローブ105に取り付けられたものと同様のマーカ113aがケーブルタイ203で括りつけられている。マーカ113aの固定手段も前述と同様である。
【0020】
図4は較正板114の外観斜視図である。
図5は較正板114の上面図である。
較正板114には赤外線ステレオカメラ106が位置を検出できるように、六つの赤外線反射球体205が設けられている。
較正板114の内側には、トランスデューサ113を配置するための指標401が描かれている。指標401に付されている目盛りは、直径が異なるトランスデューサ113の種類に対応するために設けられている。
指標401の横には、プローブ105の探触子本体201が装着できる凹部501が設けられている。凹部501の上には、プローブ105の把持部202を固定するガイド棒402が筒403に固定されている。
【0021】
[機能と動作]
図6はVR/AR画像合成装置109の機能ブロック図である。
VR/AR画像合成装置109の実体は周知のパソコンである。パソコンに所定のOSとアプリケーションプログラムを稼働させ、VR/AR画像合成装置109として機能させる。
VR/AR画像合成装置109は、空間座標取得装置108から図示しないUSBインターフェースを通じて三次元座標情報をリアルタイムで取得する。また、超音波画像形成装置104が出力する超音波断層画像信号が図示しないビデオキャプチャカードによって変換されたデジタルの超音波断層画像データを取得して、処理を行う。
【0022】
三次元座標情報は、座標データ選択部601に入力される。座標データ選択部601は制御部602によって制御され、初期状態記憶部603、プローブ位置形成部604、トランスデューサ位置形成部605のいずれかに選択的に三次元座標情報を供給する。
初期状態記憶部603は、プローブ105とトランスデューサ113が較正板114に配置されている時の三次元座標情報を算出して記憶する。初期状態記憶部603は、プローブ105とトランスデューサ113の三次元座標情報を算出する際、予め較正板114の寸法情報である較正板データ613を参照して、較正板114の位置を把握する。
プローブ位置形成部604は、プローブ105の現在の仮想三次元空間内における三次元位置及び姿勢を、初期状態記憶部603に記憶されている三次元座標情報を基準に現在の三次元座標情報から算出する。
トランスデューサ位置形成部605は、トランスデューサ113の現在の仮想三次元空間内における三次元位置及び姿勢の情報を、初期状態記憶部603に記憶されている三次元座標情報を基準に現在の三次元座標情報から算出する。
【0023】
プローブ画像データ606は、仮想三次元空間内にプローブ105を描写するための三次元ベクトルデータである。
トランスデューサ画像データ607は、仮想三次元空間内にトランスデューサ113を描写するための三次元ベクトルデータである。
トランスデューサ焦点データ608は、トランスデューサ113が治療用超音波を発生した際の、超音波の焦点位置を描写するための三次元ベクトルデータである。
【0024】
プローブ位置形成部604が出力する、プローブ105の現在の仮想三次元空間内における三次元位置及び姿勢の情報は、画像選択合成部609に入力される。画像選択合成部609は、プローブ画像データ606を、プローブ105の現在の仮想三次元空間内における三次元位置及び姿勢の情報に基づいて仮想三次元空間内に配置する描画を実行する。
【0025】
一方、臓器画像形成部610には、超音波画像形成装置104から図示しないビデオキャプチャカードを通じて得られる超音波断層画像データが入力される。臓器画像形成部610は、超音波断層画像データに写っている臓器の画像から臓器の輪郭を抽出して、輪郭データを作成し、画像選択合成部609に供給する。
画像選択合成部609は、輪郭データと、プローブ105の現在の仮想三次元空間内における三次元位置及び姿勢の情報に基づいて、仮想三次元空間内に輪郭を配置する描画を行う。
【0026】
画像選択合成部609が形成する、仮想三次元空間内の輪郭データは、三次元画像形成部611に供給される。三次元画像形成部611は、仮想三次元空間内に存在する複数の輪郭データ同士を補間演算して、仮想三次元空間内に臓器の立体画像を形成し、この臓器の立体画像データを画像選択合成部609に供給する。
【0027】
画像選択合成部609は、仮想三次元空間内にプローブ105の三次元画像とトランスデューサ113の三次元画像を描画すると共に、臓器の輪郭又は臓器の三次元画像を選択的に描画する。こうして画像選択合成部609によって作成された仮想三次元空間の映像情報は、ディスプレイ110である表示部612に表示される。
【0028】
図7は本実施形態の超音波診断・治療システム101で行われる、診断及び治療の全体的な作業の流れを示すフローチャートである。
処理を開始すると(S701)、医師は最初にVR/AR画像合成装置109がプローブ105及びトランスデューサ113の仮想三次元空間における位置及び姿勢を正確に描写するための初期較正処理を行う(S702)。初期較正処理が終わると、VR/AR画像合成装置109は表示部612に表示する仮想三次元空間内にプローブ105及びトランスデューサ113をリアルタイムに描写することができる(S703)。
【0029】
次に、医師はプローブ105を撮影したい患者103の臓器の近傍に配置して、超音波画像形成装置104を操作して、臓器の三次元画像を得られる程度迄、超音波断層画像データを繰り返し取得する。そして、VR/AR画像合成装置109は臓器の三次元画像を形成する(S704)。
【0030】
こうして臓器の三次元画像が得られると、医師は自身の所見に基づいて、臓器の三次元画像の何処が治療用超音波を照射する対象であるのかを決定することができる(S705)。
医師は、超音波を照射する対象(照射対象)を決定したら、VR/AR画像合成装置109を操作して、表示部612に位置決め状態の表示を行わせる(S706)。医師はプローブ105が撮影する超音波断層画像に照射対象が含まれるように、表示部612に表示される画像を見ながらプローブ105を位置決めしつつ、トランスデューサ113の焦点位置が照射対象に合致するように、トランスデューサ113を位置決めする。
位置決めが終了したら、医師は超音波治療装置112を稼働させて、トランスデューサ113から治療用超音波を発し、照射対象に照射して(S707)、処理を終了する(S708)。
【0031】
図8は初期較正処理の流れを示すフローチャートである。図7のステップS702の詳細である。
処理を開始すると(S801)、VR/AR画像合成装置109の初期状態記憶部603は、最初に空間座標取得装置108から較正板114の識別情報を受信し、較正板データ613を参照して、較正板114の座標と姿勢の情報を算出して取得する(S802)。この、較正板114の座標と姿勢の情報は、仮想三次元空間の基準となる。
【0032】
次に、初期状態記憶部603は空間座標取得装置108から較正板114に配置されているプローブ105の識別情報を受信し、プローブ105の座標と姿勢の情報を算出して取得する(S803)。この時点の、プローブ105の座標と姿勢の情報は、仮想三次元空間におけるプローブ105の基準となる。
【0033】
次に、初期状態記憶部603は空間座標取得装置108から較正板114に配置されているトランスデューサ113の識別情報を受信し、トランスデューサ113の座標と姿勢の情報を算出して取得する(S804)。この時点の、トランスデューサ113の座標と姿勢の情報は、仮想三次元空間におけるトランスデューサ113の基準となる。
【0034】
次に、VR/AR画像合成装置109は空間座標取得装置108からプローブ105の座標と姿勢を連続的に取得しつつ、超音波画像形成装置104から超音波断層画像データを取得して、プローブ105が形成する観察平面の較正処理を行い(S805)、一連の処理を終了する。
【0035】
以下に、プローブ105の観察平面と、ステップS805における観察平面の較正処理の詳細について説明する。
図9は、プローブ105の筐体を含む平面(以下「プローブ平面」)と観察平面との間の誤差を示す概略図である。
プローブ105が撮影する超音波画像に基づく輪郭の画像が仮想三次元空間内で正確に配置されるためには、三次元空間内のプローブ105自身の座標と姿勢を正確に検出するだけでなく、プローブ105が撮影する超音波画像が形成する二次元の平面が、プローブ105に対してどのように配置されるのかも正確に把握できていなければならない。この、プローブ105が撮影する超音波画像が形成する二次元の平面を、本明細書では観察平面P902と呼ぶ。
【0036】
プローブ105が形成する観察平面P902は、必ずしもプローブ105の筐体(プローブ平面P901)と一致或は並行であるとは限らない。プローブ105の探触子本体201は手作りであるので、プローブ平面P901と観察平面P902との間には、若干の誤差を含む。誤差は、二方向のねじれ角と距離の、三要素である。
したがって、VR/AR画像合成装置109は、プローブ105の筐体の姿勢に対する観察平面P902との位置関係を正確に把握できていなければならない。
【0037】
そこで、プローブ105の筐体の姿勢に対する観察平面P902との位置関係を検出することで、観察平面P902の較正を行う。
図10は、観察平面P902の較正作業を示す概略図である。これは「Cross Wire」と呼ばれる周知の較正方法である。
中空の箱1001には釣り糸1002が縦と横とで二本、張られている。箱1001の内壁には吸音材1003が敷き詰められている。プローブ105がこの釣り糸1002の交点を異なる角度で数十回程度、超音波画像の撮影を行う。そうして得たプローブ105の位置及び姿勢のデータを集計して所定の演算を行うと、プローブ105の形状に対する観察平面P902を算出することができる。
【0038】
図11は、臓器三次元画像形成処理の流れを示すフローチャートである。図7のステップS704の詳細である。
処理を開始すると(S1101)、VR/AR画像合成装置109は医師が操作部111或はプローブ105を操作することによって生じるトリガ信号の入力を待つ(S1102)。
【0039】
これ以降はループ処理である。
トリガ信号の指示内容が三次元合成画像を作成する指示でない、画像の輪郭を取得する命令であれば(S1103のNO)、VR/AR画像合成装置109の制御部602は臓器画像形成部610を制御する。すると、臓器画像形成部610は超音波画像形成装置104からビデオキャプチャカードを通じて超音波画像データを取得する(S1104)。
【0040】
次に、臓器画像形成部610は超音波画像データから輪郭を抽出して(S1105)、画像選択合成部609に輪郭データを出力する。画像選択合成部609は、プローブ位置形成部604から得たプローブ105の三次元位置及び姿勢の情報と、初期状態記憶部603に格納されている観察平面P902の情報に基づいて、仮想三次元空間内に輪郭を配置する(S1106)。表示部612は、輪郭が描画された仮想三次元空間を表示する(S1107)。
【0041】
ステップS1107の後は、再びステップS1102に戻り、トリガ信号の指示内容が三次元合成画像を作成する指示でない限り、ステップS1104乃至ステップS1107の処理が繰り返される。
【0042】
ステップS1103で、トリガ信号の指示内容が三次元合成画像を作成する指示であれば(S1103のYES)、VR/AR画像合成装置109の制御部602は三次元画像形成部611と画像選択合成部609を制御して、三次元画像形成部611に既に取得済みの三次元輪郭画像から三次元の補完合成処理を行わせ(S1108)、画像選択合成部609に臓器の三次元合成画像を仮想三次元空間内に配置して表示させて(S1109)、一連の処理を終了する(S1110)。
【0043】
図12(a)、(b)、(c)及び(d)は、臓器三次元画像形成処理の流れを示す概略図である。
図12(a)は、プローブ105から超音波画像形成装置104によって得られる超音波画像である。図11のステップS1104の状態である。
図12(b)は、超音波画像から抽出した輪郭の画像データを模式的に示す図である。図11のステップS1105の状態である。
図12(c)は、仮想三次元空間内に輪郭を複数個配置した状態を模式的に示す図である。図11のステップS1106及びS1107の状態である。
図12(d)は、仮想三次元空間内に複数個配置された輪郭同士を三次元補完合成した状態を模式的に示す図である。図11のステップS1108及びS1109の状態である。
【0044】
超音波画像形成装置のプローブはCTスキャンと異なり、患者の皮膚に密着させる必要があるので、CTスキャンのように取得した超音波断層画像を並列に並べて三次元画像を形成することが不可能である。そこで、発明者はプローブの三次元座標情報を取得して、これに基づいて超音波断層画像を三次元に展開することを考えた。超音波断層画像はそれ自身が多量のデータであり、そのまま三次元に展開することが困難である。そこで、超音波断層画像から輪郭を抽出して輪郭データを得る処理を加えることで、扱うデータ量を低減し、更に仮想三次元空間内に展開することを容易にした。また、近接する輪郭同士を補間演算することで、元の立体、つまり臓器の立体画像を得ることができた。
【0045】
図13は、表示部612に表示される仮想三次元空間の図である。
VR/AR画像合成装置109が表示部612に表示する仮想三次元空間には、プローブ105、プローブ105から発生する観察平面P902、トランスデューサ113、そして三次元補完合成によって描画された臓器1302と超音波照射対象1303が配置され、描かれている。
【0046】
プローブ105の三次元画像は、図6のプローブ画像データ606を基に、プローブ位置形成部604が出力するプローブ105の現在の仮想三次元空間内における三次元位置及び姿勢の情報を用いて、画像選択合成部609が仮想三次元空間内に配置して描画する。
【0047】
プローブ105に付随する観察平面P902の三次元画像は、初期状態記憶部603に記憶されている観察平面P902の情報を基に、プローブ位置形成部604が出力するプローブ105の現在の仮想三次元空間内における三次元位置及び姿勢の情報を用いて、画像選択合成部609が仮想三次元空間内に配置して描画する。
【0048】
トランスデューサ113の三次元画像と、トランスデューサ113に付随する焦点1304の三次元画像は、図6のトランスデューサ画像データ607を基に、トランスデューサ位置形成部605が出力するトランスデューサ113の現在の仮想三次元空間内における三次元位置及び姿勢の情報を用いて、画像選択合成部609が仮想三次元空間内に配置して描画する。
【0049】
臓器1302の三次元画像は、図6の臓器画像形成部610が出力する輪郭の画像データを、プローブ位置形成部604が出力するプローブ105の現在の仮想三次元空間内における三次元位置及び姿勢の情報と初期状態記憶部603に記憶されている観察平面P902の情報を用いて、画像選択合成部609が仮想三次元空間内に配置し、更に三次元画像形成部611が三次元補完合成して、仮想三次元空間内に描画する。
【0050】
超音波照射対象1303の画像は、医師がトランスデューサ113を操作して、トランスデューサ113の先端に設けられる焦点1304を医師が自身の所見に基づいて所望の場所に配置した上で、トランスデューサ113或はVR/AR画像合成装置109の操作部111を操作することによって、画像選択合成部609が仮想三次元空間内に固定の球形の画像を形成する。
【0051】
図14(a)、(b)、(c)、(d)、(e)及び(f)は、VR/AR画像合成装置109によって表示部612に表示される、トランスデューサ113の超音波照射対象1303に対する位置決めの表示画面を示す図である。これらの図は図7のステップS707の動作状態を説明する図である。
【0052】
図14(a)は、仮想三次元空間内にプローブ105と観察平面P902とトランスデューサ113が描画されている状態の、表示部612の表示画面である。図14(a)では、観察平面P902上の超音波照射対象1303に対し、トランスデューサ113の焦点位置が遠くに離れている。
図14(b)は、図14(a)の状態で、超音波照射対象1303からトランスデューサ113の焦点位置との距離を半径とする円を描いた状態の、表示部612の表示画面である。この表示画面は、測距画像ともいえる。更に、トランスデューサ113の方向ベクトルと超音波照射対象1303との間のずれも、超音波照射対象1303から延びる線で表している。
【0053】
図14(c)は、仮想三次元空間内にプローブ105と観察平面P902とトランスデューサ113が描画されている状態の、表示部612の表示画面である。図14(c)では、観察平面P902上の超音波照射対象1303に対し、トランスデューサ113の焦点位置がほぼ合致している。
図14(d)は、図14(c)の状態で、超音波照射対象1303からトランスデューサ113の焦点位置との距離を半径とする円を描いた状態の、表示部612の表示画面である。更に、トランスデューサ113の方向ベクトルと超音波照射対象1303との間のずれも、超音波照射対象1303から延びる線で表している。図14(b)と比べると、円は明らかに小さくなっており、また超音波照射対象1303から延びる線の長さも明らかに短くなっていることから、この状態でトランスデューサ113から超音波を発生させると、超音波照射対象1303に的確に治療用超音波を照射できることが判る。
【0054】
図14(e)は、仮想三次元空間内にプローブ105と観察平面P902とトランスデューサ113が描画されている状態の、表示部612の表示画面である。図14(e)では、観察平面P902上の超音波照射対象1303に対し、トランスデューサ113が近すぎているため、却って焦点位置が離れてしまっている。
図14(f)は、図14(e)の状態で、超音波照射対象1303からトランスデューサ113の焦点位置との距離を半径とする円を描いた状態の、表示部612の表示画面である。更に、トランスデューサ113の方向ベクトルと超音波照射対象1303との間のずれも、超音波照射対象1303から延びる線で表している。
【0055】
以上、図14(a)乃至(f)に示したように、表示部に仮想三次元空間を表示するだけでなく、焦点と超音波照射対象との距離を円の半径として表示することで、トランスデューサの焦点を容易に超音波照射対象へ合焦させることができる。
【0056】
本実施形態は以下のような応用例が可能である。
(1)本実施形態では、プローブ105及びトランスデューサ113の三次元上の位置及び姿勢をリアルタイムに取得するために、赤外線を用いた光学式三次元計測装置を採用した。位置と姿勢を取得する手段は、この赤外線の光学式三次元計測装置に限らず、可視光を用いる装置や磁気式の装置であってもよい。
なお、三次元計測装置の動作方式が異なれば、これに対応するマーカの形状等も変わることとなる。したがって、マーカも図1、図2、図3、図4、図5及び図9に示す、赤外線反射球体205を用いる形態に限られない。
【0057】
(2)超音波画像形成装置104と、空間座標取得装置108と、VR/AR画像合成装置109は、周知の電子計算機で構成されている。したがって、データ処理能力の高い電子計算機を用いれば、これらの装置を一体化することも可能である。本システムが実用化されれば、超音波治療装置112も含めて、全ての機能を凝縮した装置として提供することも可能である。
【0058】
本実施形態では、超音波診断・治療システムを開示した。
超音波画像形成装置が出力する超音波断層画像から輪郭を抽出した後、プローブの三次元座標情報に基づいて輪郭データを仮想三次元空間内に配置する。輪郭データを複数取得して補間演算を実施すると、仮想三次元空間内に臓器の三次元画像を形成できる。
これまで、プローブを肌に密着させなければ超音波断層画像を撮影できなかったが、プローブの三次元座標情報を取得することと、輪郭を抽出することで、超音波を用いた三次元立体画像を形成することができる。
【0059】
また、トランスデューサと超音波照射対象との配置状態を仮想三次元空間で表示するだけでなく、トランスデューサの焦点と超音波照射対象との距離を測距画像で視覚的に示すことで、合焦作業が極めて簡易になり、医師の治療行為を大幅に助けることができるのみならず、治療の精度を大幅に改善する。
【0060】
以上、本発明の実施形態例について説明したが、本発明は上記実施形態例に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。
【符号の説明】
【0061】
101…超音波診断・治療システム、102…手術台、103…患者、104…超音波画像形成装置、105…プローブ、105a…マーカ、106…赤外線ステレオカメラ、107…三脚、108…空間座標取得装置、109…VR/AR画像合成装置、110…ディスプレイ、111…操作部、112…超音波治療装置、113…トランスデューサ、113a…マーカ、114…較正板、201…探触子本体、202…把持部、203…ケーブルタイ、205…赤外線反射球体、301…振動子本体、401…指標、402…ガイド棒、403…筒、501…凹部、601…座標データ選択部、602…制御部、603…初期状態記憶部、604…プローブ位置形成部、605…トランスデューサ位置形成部、606…プローブ画像データ、607…トランスデューサ画像データ、608…トランスデューサ焦点データ、609…画像選択合成部、610…臓器画像形成部、611…三次元画像形成部、612…表示部、613…較正板データ、1001…箱、1002…釣り糸、1003…吸音材、1302…臓器、1303…超音波照射対象、1304…焦点、P901…プローブ平面、P902…観察平面
【特許請求の範囲】
【請求項1】
計測対象に超音波を照射して反射音の情報を得るプローブと、
前記プローブが接続されて前記計測対象の内部の断層画像を得る超音波画像形成装置と、
前記プローブに固定される第一のマーカと、
前記第一のマーカの空間座標情報を取得する空間座標取得装置と、
前記断層画像から輪郭を抽出した輪郭画像を作成し、前記第一のマーカの前記空間座標情報に基づいて前記輪郭画像を仮想三次元空間内に配置し、複数の前記輪郭画像を補間演算して立体画像を前記仮想三次元空間内に配置する画像合成装置と、
前記画像合成装置が形成した前記仮想三次元空間を表示する表示部と
を備える超音波診断システム。
【請求項2】
更に、
前記プローブを据え付けて初期状態の位置を定めるための較正板と、
前記較正板に固定される第二のマーカと
を備え、
前記空間座標取得装置は、前記第二のマーカの空間座標情報を取得でき、
前記画像合成装置は、前記較正板の寸法に関するデータを保持しており、空間座標取得装置から前記較正板の空間座標情報を取得して前記較正板の正確な座標情報を算出する、請求項1記載の超音波診断システム。
【請求項3】
計測対象に超音波を照射して反射音の情報を得るプローブと、
前記プローブが接続されて前記計測対象の内部の断層画像を得る超音波画像形成装置と、
前記プローブに固定される第一のマーカと、
所定の超音波照射対象へ超音波を照射する、超音波の焦点を有するトランスデューサと、
前記トランスデューサに接続されて前記トランスデューサに超音波を発生させる超音波治療装置と、
前記トランスデューサに固定される第二のマーカと、
前記プローブ及び前記トランスデューサを据え付けて初期状態の位置を定めるための較正板と、
前記較正板に固定される第三のマーカと、
前記第一のマーカ、前記第二のマーカ及び前記第三のマーカの空間座標情報を取得する空間座標取得装置と、
前記断層画像から輪郭を抽出した輪郭画像を作成し、前記第一のマーカの前記空間座標情報に基づいて前記輪郭画像を仮想三次元空間内に配置し、複数の前記輪郭画像を補間演算して立体画像を前記仮想三次元空間内に配置し、所定の指示に応じて前記トランスデューサが超音波を照射する超音波照射対象を前記仮想三次元空間内に配置し、前記トランスデューサの前記焦点と前記超音波照射対象との距離を示す測距画像を前記仮想三次元空間と共に描画する画像合成装置と、
前記画像合成装置が形成した前記仮想三次元空間及び前記測距画像を表示する表示部と
を備える超音波診断・治療システム。
【請求項1】
計測対象に超音波を照射して反射音の情報を得るプローブと、
前記プローブが接続されて前記計測対象の内部の断層画像を得る超音波画像形成装置と、
前記プローブに固定される第一のマーカと、
前記第一のマーカの空間座標情報を取得する空間座標取得装置と、
前記断層画像から輪郭を抽出した輪郭画像を作成し、前記第一のマーカの前記空間座標情報に基づいて前記輪郭画像を仮想三次元空間内に配置し、複数の前記輪郭画像を補間演算して立体画像を前記仮想三次元空間内に配置する画像合成装置と、
前記画像合成装置が形成した前記仮想三次元空間を表示する表示部と
を備える超音波診断システム。
【請求項2】
更に、
前記プローブを据え付けて初期状態の位置を定めるための較正板と、
前記較正板に固定される第二のマーカと
を備え、
前記空間座標取得装置は、前記第二のマーカの空間座標情報を取得でき、
前記画像合成装置は、前記較正板の寸法に関するデータを保持しており、空間座標取得装置から前記較正板の空間座標情報を取得して前記較正板の正確な座標情報を算出する、請求項1記載の超音波診断システム。
【請求項3】
計測対象に超音波を照射して反射音の情報を得るプローブと、
前記プローブが接続されて前記計測対象の内部の断層画像を得る超音波画像形成装置と、
前記プローブに固定される第一のマーカと、
所定の超音波照射対象へ超音波を照射する、超音波の焦点を有するトランスデューサと、
前記トランスデューサに接続されて前記トランスデューサに超音波を発生させる超音波治療装置と、
前記トランスデューサに固定される第二のマーカと、
前記プローブ及び前記トランスデューサを据え付けて初期状態の位置を定めるための較正板と、
前記較正板に固定される第三のマーカと、
前記第一のマーカ、前記第二のマーカ及び前記第三のマーカの空間座標情報を取得する空間座標取得装置と、
前記断層画像から輪郭を抽出した輪郭画像を作成し、前記第一のマーカの前記空間座標情報に基づいて前記輪郭画像を仮想三次元空間内に配置し、複数の前記輪郭画像を補間演算して立体画像を前記仮想三次元空間内に配置し、所定の指示に応じて前記トランスデューサが超音波を照射する超音波照射対象を前記仮想三次元空間内に配置し、前記トランスデューサの前記焦点と前記超音波照射対象との距離を示す測距画像を前記仮想三次元空間と共に描画する画像合成装置と、
前記画像合成装置が形成した前記仮想三次元空間及び前記測距画像を表示する表示部と
を備える超音波診断・治療システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2011−224266(P2011−224266A)
【公開日】平成23年11月10日(2011.11.10)
【国際特許分類】
【出願番号】特願2010−99212(P2010−99212)
【出願日】平成22年4月22日(2010.4.22)
【出願人】(504132881)国立大学法人東京農工大学 (595)
【Fターム(参考)】
【公開日】平成23年11月10日(2011.11.10)
【国際特許分類】
【出願日】平成22年4月22日(2010.4.22)
【出願人】(504132881)国立大学法人東京農工大学 (595)
【Fターム(参考)】
[ Back to top ]