説明

超音波診断装置

【課題】超音波プローブの操作に関する3次元的な情報を提示すること。
【解決手段】実施形態の超音波診断装置は、モニタ2と、画像生成部15と、取得装置4と、レンダリング処理部16と、制御部18とを備える。モニタ2は、視差画像群を表示し、観察者により立体的に認識される立体画像を表示する。画像生成部15は、被検体Pの体表に当接された超音波プローブ1が受信した反射波に基づいて超音波画像を生成する。取得装置4は、撮影時における超音波プローブ1の3次元位置情報を取得する。レンダリング処理部16は、3次元位置情報に基づいて、超音波プローブ1が立体画像として仮想的に認識されるための視差画像群であるプローブ画像群を生成する。制御部18は、撮影状況の特徴を示す特徴画像とプローブ画像群とが、3次元位置情報に基づく位置関係でモニタ2に表示されるように制御する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、超音波診断装置に関する。
【背景技術】
【0002】
超音波診断装置は、超音波プローブを当てた直下の組織が描出された超音波画像をリアルタイムで生成表示できることから、今日の医療において重要な役割を果たしている。
【0003】
また、読影医への情報提供や再検査時の再現性に寄与するために、撮影部位の情報を示す「印」をモニタ上に自動的に表示する技術も知られている。ここで、「印」とは、検査対象となる臓器を示すマーク(ボディーマークやピクトグラムと呼ばれる)や、当該臓器における超音波の走査位置などを示すマーク(プローブマークと呼ばれる)である。
【0004】
観察者(読影医や検査技師)は、モニタにて超音波画像とともに表示されるボディーマーク上のプローブマークを参照することで、超音波プローブの位置情報とスキャン方向を読み取ることができる。しかし、モニタ上に表示される「印」から読み取られる情報は、2次元の情報である。このため、モニタの観察者は、読影に適した超音波画像を撮影するために、検査技師等の操作者が被検体の体表上で行なった超音波プローブの操作に関する3次元情報を読み取ることができない。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2010−201049号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明が解決しようとする課題は、超音波プローブの操作に関する3次元的な情報を提示することができる超音波診断装置を提供することである。
【課題を解決するための手段】
【0007】
実施形態の超音波診断装置は、表示部と、画像生成部と、取得部と、レンダリング処理部と、制御部とを備える。表示部は、所定視差数の視差画像である視差画像群を表示し、観察者により立体的に認識される立体画像を表示する。画像生成部は、被検体の体表に当接された超音波プローブが受信した反射波に基づいて超音波画像を生成する。取得部は、前記超音波画像の撮影時における前記超音波プローブの3次元位置情報を取得する。レンダリング処理部は、前記取得部により取得された前記3次元位置情報に基づいて、前記超音波プローブが立体画像として仮想的に認識されるための視差画像群であるプローブ画像群をボリュームレンダリング処理により生成する。制御部は、撮影状況の特徴を示す特徴画像として、前記超音波画像及び前記超音波プローブが当接された前記被検体の当接面を示す当接面画像の少なくとも1つと、前記プローブ画像群とが、前記3次元位置情報に基づく位置関係で前記表示部にて表示されるように制御する。
【図面の簡単な説明】
【0008】
【図1】図1は、第1の実施形態に係る超音波診断装置の構成例を説明するための図である。
【図2A】図2Aは、2視差画像により立体表示を行なう立体表示モニタの一例を説明するための図(1)である。
【図2B】図2Bは、2視差画像により立体表示を行なう立体表示モニタの一例を説明するための図(2)である。
【図3】図3は、9視差画像により立体表示を行なう立体表示モニタの一例を説明するための図である。
【図4】図4は、視差画像群を生成するためのボリュームレンダリング処理の一例を説明するための図である。
【図5A】図5Aは、取得装置を説明するための図(1)である。
【図5B】図5Bは、取得装置を説明するための図(2)である。
【図6】図6は、取得装置を説明するための図(3)である。
【図7A】図7Aは、取得装置を説明するための図(4)である。
【図7B】図7Bは、取得装置を説明するための図(5)である。
【図7C】図7Cは、取得装置を説明するための図(6)である。
【図8】図8は、第1の実施形態に係る制御部の表示制御の一例を説明するための図(1)である。
【図9】図9は、第1の実施形態に係る制御部の表示制御の一例を説明するための図(2)である。
【図10】図10は、図8及び図9を用いて説明した第1の実施形態に係る制御部の表示制御の別形態を説明するための図(1)である。
【図11】図11は、図8及び図9を用いて説明した第1の実施形態に係る制御部の表示制御の別形態を説明するための図(2)である。
【図12】図12は、第1の実施形態に係る超音波診断装置の処理を説明するためのフローチャートである。
【図13】図13は、3次元位置情報の取得方法の変形例を説明するための図である。
【図14】図14は、第2の実施形態を説明するための図である。
【図15】図15は、第2の実施形態に係る超音波診断装置の処理を説明するためのフローチャートである。
【図16A】図16Aは、第3の実施形態を説明するための図(1)である。
【図16B】図16Bは、第3の実施形態を説明するための図(2)である。
【図17】図17は、第3の実施形態を説明するための図(3)である。
【図18】図18は、第3の実施形態に係る超音波診断装置の処理を説明するためのフローチャートである。
【図19】図19は、第1〜第3の実施形態の変形例を説明するための図(1)である。
【図20】図20は、第1〜第3の実施形態の変形例を説明するための図(2)である。
【発明を実施するための形態】
【0009】
以下、添付図面を参照して、超音波診断装置の実施形態を詳細に説明する。
【0010】
最初に、以下の実施形態で用いる用語について説明すると、「視差画像群」とは、ボリュームデータに対して、所定の視差角ずつ視点位置を移動させてボリュームレンダリング処理を行なうことで生成された画像群のことである。すなわち、「視差画像群」は、「視点位置」が異なる複数の「視差画像」から構成される。また、「視差角」とは、「視差画像群」を生成するために設定された各視点位置のうち隣接する視点位置とボリュームデータによって表される空間内の所定位置(例えば、空間の中心)とにより定まる角度のことである。また、「視差数」とは、立体表示モニタにて立体視されるために必要となる「視差画像」の数のことである。また、以下で記載する「9視差画像」とは、9つの「視差画像」から構成される「視差画像群」のことである。また、以下で記載する「2視差画像」とは、2つの「視差画像」から構成される「視差画像群」のことである。また、「立体画像」とは、「視差画像群」を表示する立体表示モニタを参照する観察者により立体視される画像のことである。
【0011】
(第1の実施形態)
まず、第1の実施形態に係る超音波診断装置の構成について説明する。図1は、第1の実施形態に係る超音波診断装置の構成例を説明するための図である。図1に示すように、第1の実施形態に係る超音波診断装置は、超音波プローブ1と、モニタ2と、入力装置3と、取得装置4と、装置本体10とを有する。
【0012】
超音波プローブ1は、複数の圧電振動子を有し、これら複数の圧電振動子は、後述する装置本体10が有する送信部11から供給される駆動信号に基づき超音波を発生する。また、超音波プローブ1は、被検体Pからの反射波を受信して電気信号に変換する。また、超音波プローブ1は、圧電振動子に設けられる整合層と、圧電振動子から後方への超音波の伝播を防止するバッキング材等を有する。なお、超音波プローブ1は、装置本体10と着脱自在に接続される。
【0013】
超音波プローブ1から被検体Pに超音波が送信されると、送信された超音波は、被検体Pの体内組織における音響インピーダンスの不連続面で次々と反射され、反射波信号として超音波プローブ1が有する複数の圧電振動子にて受信される。受信される反射波信号の振幅は、超音波が反射される不連続面における音響インピーダンスの差に依存する。なお、送信された超音波パルスが、移動している血流や心臓壁等の表面で反射された場合の反射波信号は、ドプラ効果により、移動体の超音波送信方向に対する速度成分に依存して、周波数偏移を受ける。
【0014】
なお、第1の実施形態は、超音波プローブ1が、超音波により被検体Pを2次元で走査する超音波プローブである場合であっても、被検体Pを3次元で走査する超音波プローブである場合であっても適用可能である。被検体Pを3次元で走査する超音波プローブ1としては、被検体Pを2次元で走査する複数の超音波振動子を所定の角度(揺動角度)で揺動させることで、被検体Pを3次元で走査するメカニカルスキャンプローブがある。また、被検体Pを3次元で走査する超音波プローブ1としては、複数の超音波振動子がマトリックス状に配置されることで、被検体Pを3次元で超音波走査することが可能な2次元超音波プローブである。なお、2次元超音波プローブは、超音波を集束して送信することで、被検体Pを2次元で走査することも可能である。
【0015】
以下では、超音波プローブ1が、超音波により被検体Pを2次元で走査する超音波プローブである場合について説明する。
【0016】
入力装置3は、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボール、ジョイスティック、力覚提示装置等を有し、超音波診断装置の操作者からの各種設定要求を受け付け、装置本体10に対して受け付けた各種設定要求を転送する。
【0017】
モニタ2は、超音波診断装置の操作者が入力装置3を用いて各種設定要求を入力するためのGUI(Graphical User Interface)を表示したり、装置本体10において生成された超音波画像等を表示したりする。
【0018】
ここで、第1の実施形態に係るモニタ2は、所定視差数の視差画像である視差画像群を表示し、観察者により立体的に認識される立体画像を表示するモニタ(以下、立体表示モニタ)である。以下、立体表示モニタについて説明する。
【0019】
現在最も普及している一般的な汎用モニタは、2次元画像を2次元で表示するものであり、2次元画像を立体表示することができない。仮に、観察者が汎用モニタにて立体視を要望する場合、汎用モニタに対して画像を出力する装置は、平行法や交差法により観察者が立体視可能な2視差画像を並列表示させる必要がある。又は、汎用モニタに対して画像を出力する装置は、例えば、左目用の部分に赤色のセロハンが取り付けられ、右目用の部分に青色のセロハンが取り付けられたメガネを用いて余色法により観察者が立体視可能な画像を表示する必要がある。
【0020】
一方、立体表示モニタとしては、2視差画像(両眼視差画像とも称する)を表示することで、両眼視差による立体視を可能とするモニタ(以下、2視差モニタと記載する)がある。
【0021】
図2A及び図2Bは、2視差画像により立体表示を行なう立体表示モニタの一例を説明するための図である。図2A及び図2Bに示す一例は、シャッター方式により立体表示を行なう立体表示モニタであり、モニタを観察する観察者が装着する立体視用メガネとしてシャッターメガネが用いられる。かかる立体表示モニタは、モニタにて2視差画像を交互に出射する。例えば、図2Aに示すモニタは、左目用の画像と右目用の画像を、120Hzにて交互に出射する。ここで、モニタには、図2Aに示すように、赤外線出射部が設置され、赤外線出射部は、画像が切り替わるタイミングに合わせて赤外線の出射を制御する。
【0022】
また、赤外線出射部から出射された赤外線は、図2Aに示すシャッターメガネの赤外線受光部により受光される。シャッターメガネの左右それぞれの枠には、シャッターが取り付けられており、シャッターメガネは、赤外線受光部が赤外線を受光したタイミングに合わせて左右のシャッターそれぞれの透過状態及び遮光状態を交互に切り替える。以下、シャッターにおける透過状態及び遮光状態の切り替え処理について説明する。
【0023】
各シャッターは、図2Bに示すように、入射側の偏光板と出射側の偏光板とを有し、更に、入射側の偏光板と出射側の偏光板との間に液晶層を有する。また、入射側の偏光板と出射側の偏光板とは、図2Bに示すように、互いに直交している。ここで、図2Bに示すように、電圧が印加されていない「OFF」の状態では、入射側の偏光板を通った光は、液晶層の作用により90度回転し、出射側の偏光板を透過する。すなわち、電圧が印加されていないシャッターは、透過状態となる。
【0024】
一方、図2Bに示すように、電圧が印加された「ON」の状態では、液晶層の液晶分子による偏光回転作用が消失するため、入射側の偏光板を通った光は、出射側の偏光板で遮られてしまう。すなわち、電圧が印加されたシャッターは、遮光状態となる。
【0025】
そこで、例えば、赤外線出射部は、モニタ上に左目用の画像が表示されている期間、赤外線を出射する。そして、赤外線受光部は、赤外線を受光している期間、左目のシャッターに電圧を印加せず、右目のシャッターに電圧を印加させる。これにより、図2Aに示すように、右目のシャッターが遮光状態となり、左目のシャッターが透過状態となるため、観察者の左目に左目用の画像が入射する。一方、赤外線出射部は、モニタ上に右目用の画像が表示されている期間、赤外線の出射を停止する。そして、赤外線受光部は、赤外線が受光されない期間、右目のシャッターに電圧を印加せず、左目のシャッターに電圧を印加させる。これにより、左目のシャッターが遮光状態となり、右目のシャッターが透過状態であるため、観察者の右目に右目用の画像が入射する。このように、図2A及び図2Bに示す立体表示モニタは、モニタに表示される画像とシャッターの状態を連動させて切り替えることで、観察者が立体視可能な画像を表示させる。
【0026】
なお、2視差モニタとしては、シャッター方式により立体表示を行なう装置以外にも、偏光メガネ方式により立体表示を行なう装置や、視差バリア方式により立体表示を行なう装置等がある。
【0027】
更に、近年実用化された立体表示モニタとしては、レンチキュラーレンズ等の光線制御子を用いることで、例えば、9視差画像等の多視差画像を観察者が裸眼にて立体視可能とするものがある。かかる立体表示モニタは、両眼視差による立体視を可能とし、更に、観察者の視点移動に合わせて観察される映像も変化する運動視差による立体視も可能とする。
【0028】
図3は、9視差画像により立体表示を行なう立体表示モニタの一例を説明するための図である。図3に示す立体表示モニタには、液晶パネル等の平面状の表示面200の前面に、光線制御子が配置される。例えば、図3に示す立体表示モニタには、光線制御子として、光学開口が垂直方向に延びる垂直レンチキュラーシート201が表示面200の前面に貼り付けられている。なお、図3に示す一例では、垂直レンチキュラーシート201の凸部が前面となるように貼り付けられているが、垂直レンチキュラーシート201の凸部が表示面200に対向するように貼り付けられる場合であっても良い。
【0029】
表示面200には、図3に示すように、縦横比が3:1であり、縦方向にサブ画素である赤(R)、緑(G)、青(B)の3つが配置された画素202がマトリクス状に配置される。図3に示す立体表示モニタは、9つの画像により構成される9視差画像を、所定フォーマット(例えば格子状)に配置した中間画像に変換したうえで、表示面200に出力する。すなわち、図3に示す立体表示モニタは、9視差画像にて同一位置にある9つの画素それぞれを、9列の画素202に割り振って出力させる。9列の画素202は、視点位置の異なる9つの画像を同時に表示する単位画素群203となる。
【0030】
表示面200において単位画素群203として同時に出力された9視差画像は、例えば、LED(Light Emitting Diode)バックライトにより平行光として放射され、更に、垂直レンチキュラーシート201により、多方向に放射される。9視差画像の各画素の光が多方向に放射されることにより、観察者の右目及び左目に入射する光は、観察者の位置(視点の位置)に連動して変化する。すなわち、観察者の見る角度により、右目に入射する視差画像と左目に入射する視差画像とは、視差角が異なる。これにより、観察者は、例えば、図3に示す9つの位置それぞれにおいて、撮影対象を立体的に視認できる。また、観察者は、例えば、図3に示す「5」の位置において、撮影対象に対して正対した状態で立体的に視認できるとともに、図3に示す「5」以外それぞれの位置において、撮影対象の向きを変化させた状態で立体的に視認できる。なお、図3に示す立体表示モニタは、あくまでも一例である。9視差画像を表示する立体表示モニタは、図3に示すように、「RRR・・・、GGG・・・、BBB・・・」の横ストライプ液晶である場合であっても良いし、「RGBRGB・・・」の縦ストライプ液晶である場合であっても良い。また、図3に示す立体表示モニタは、図3に示すように、レンチキュラーシートが垂直となる縦レンズ方式である場合であっても良いし、レンチキュラーシートが斜めとなる斜めレンズ方式である場合であっても良い。以下、図3を用いて説明した立体表示モニタを9視差モニタと記載する。
【0031】
すなわち、2視差モニタは、画像間の視差角が所定角度となる2つの視差画像である視差画像群(2視差画像)を表示することで、観察者により立体的に認識される立体画像を表示する立体表示モニタである。また、9視差モニタは、画像間の視差角が所定角度となる9つの視差画像である視差画像群(9視差画像)を表示することで、観察者により立体的に認識される立体画像を表示する立体表示モニタである。
【0032】
なお、第1の実施形態は、モニタ2が2視差モニタである場合であっても、9視差モニタである場合であっても適用可能である。以下では、モニタ2が9視差モニタである場合について説明する。
【0033】
図1に戻って、取得装置4は、超音波プローブ1の3次元位置情報を取得する。具体的には、取得装置4は、超音波画像の撮影時における超音波プローブ1の3次元位置情報を取得する装置である。より具体的には、取得装置4は、超音波画像の撮影時において、超音波プローブ1が当接される被検体Pの当接面に対する超音波プローブ1の3次元位置情報を取得する装置である。ここで、超音波プローブ1が体表式プローブである場合、当接面は、被検体Pの体表となる。かかる場合、取得装置4は、超音波画像の撮影時における被検体Pの体表に対する超音波プローブ1の3次元位置情報を取得する。また、超音波プローブ1が経食道心エコー検査(transesophageal echocardiography)に用いられるTEEプローブ等のように体腔内プローブである場合、当接面は、超音波プローブ1が挿入される被検体Pの管腔の内壁となる。かかる場合、取得装置4は、超音波画像の撮影時における被検体Pの管腔内壁に対する超音波プローブ1の3次元位置情報を取得する。なお、本実施形態に係る取得装置4が取得する超音波プローブ1の3次元位置情報は、当接面に対する超音波プローブ1の3次元位置情報に限定されるものではない。本実施形態では、例えば、超音波診断装置やベッド等に、基準位置を設定するための「センサや、磁気信号を送信するトランスミッター」を取り付け、取り付けたセンサやトランスミッターに対する超音波プローブ1の位置を、超音波プローブ1の3次元位置情報としても良い。
【0034】
例えば、取得装置4は、超音波プローブ1に取り付けられた位置センサであるセンサ群41と、トランスミッター42と、信号処理部43とを有する。センサ群41は、位置センサであり、例えば、磁気センサである。トランスミッター42は、任意の位置に配置され、自装置を中心として外側に向かって磁場を形成する。
【0035】
センサ群41は、トランスミッター42によって形成された3次元の磁場を検出して、検出した磁場の情報を信号に変換して、信号処理部43に出力する。信号処理部43は、センサ群41から受信した信号に基づいて、トランスミッター42を原点とする空間におけるセンサ群41の位置(座標)を算出し、算出した位置を後述する制御部18に出力する。なお、被検体Pの撮影は、超音波プローブ1に装着されたセンサ群41が、トランスミッター42の磁場を正確に検出することが可能な磁場エリア内で行われる。
【0036】
第1の実施形態のセンサ群41については、後に詳述する。
【0037】
図1に示す装置本体10は、超音波プローブ1が受信した反射波に基づいて超音波画像データを生成する装置であり、送信部11と、受信部12と、Bモード処理部13と、ドプラ処理部14と、画像生成部15と、レンダリング処理部16と、画像メモリ17と、制御部18と、内部記憶部19とを有する。
【0038】
送信部11は、トリガ発生回路、送信遅延回路及びパルサ回路等を有し、超音波プローブ1に駆動信号を供給する。パルサ回路は、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返し発生する。また、送信遅延回路は、超音波プローブ1から発生される超音波をビーム状に集束して送信指向性を決定するために必要な圧電振動子ごとの遅延時間を、パルサ回路が発生する各レートパルスに対し与える。また、トリガ発生回路は、レートパルスに基づくタイミングで、超音波プローブ1に駆動信号(駆動パルス)を印加する。すなわち、遅延回路は、各レートパルスに対し与える遅延時間を変化させることで、圧電振動子面からの送信方向を任意に調整する。
【0039】
なお、送信部11は、後述する制御部18の指示に基づいて、所定のスキャンシーケンスを実行するために、送信周波数、送信駆動電圧等を瞬時に変更可能な機能を有している。特に、送信駆動電圧の変更は、瞬間にその値を切り替え可能なリニアアンプ型の発信回路、または、複数の電源ユニットを電気的に切り替える機構によって実現される。
【0040】
受信部12は、アンプ回路、A/D変換器、加算器等を有し、超音波プローブ1が受信した反射波信号に対して各種処理を行なって反射波データを生成する。アンプ回路は、反射波信号をチャンネルごとに増幅してゲイン補正処理を行なう。A/D変換器は、ゲイン補正された反射波信号をA/D変換し、デジタルデータに受信指向性を決定するのに必要な遅延時間を与える。加算器は、A/D変換器によって処理された反射波信号の加算処理を行なって反射波データを生成する。加算器の加算処理により、反射波信号の受信指向性に応じた方向からの反射成分が強調される。
【0041】
このように、送信部11及び受信部12は、超音波の送受信における送信指向性と受信指向性とを制御する。
【0042】
ここで、超音波プローブ1が3次元走査可能である場合、送信部11は、超音波プローブ1から被検体Pに対して3次元の超音波ビームを送信させることも可能であり、受信部12は、超音波プローブ1が受信した3次元の反射波信号から3次元の反射波データを生成することも可能である。
【0043】
Bモード処理部13は、受信部12から反射波データを受信し、対数増幅、包絡線検波処理等を行なって、信号強度が輝度の明るさで表現されるデータ(Bモードデータ)を生成する。
【0044】
ドプラ処理部14は、受信部12から受信した反射波データから速度情報を周波数解析し、ドプラ効果による血流や組織、造影剤エコー成分を抽出し、平均速度、分散、パワー等の移動体情報を多点について抽出したデータ(ドプラデータ)を生成する。
【0045】
なお、第1の実施形態に係るBモード処理部13及びドプラ処理部14は、2次元の反射波データ及び3次元の反射波データの両方について処理可能である。すなわち、Bモード処理部13は、2次元の反射波データから2次元のBモードデータを生成し、3次元の反射波データから3次元のBモードデータを生成することも可能である。また、ドプラ処理部14は、2次元の反射波データから2次元のドプラデータを生成し、3次元の反射波データから3次元のドプラデータを生成することも可能である。
【0046】
画像生成部15は、被検体Pの体表に当接された超音波プローブ1が受信した反射波に基づいて超音波画像を生成する。すなわち、画像生成部15は、Bモード処理部13及びドプラ処理部14が生成したデータから超音波画像データを生成する。具体的には、画像生成部15は、Bモード処理部13が生成した2次元のBモードデータから反射波の強度を輝度にて表したBモード画像データを生成する。また、画像生成部15は、ドプラ処理部14が生成した2次元のドプラデータから移動体情報を表す平均速度画像、分散画像、パワー画像、又は、これらの組み合わせ画像としてのカラードプラ画像データを生成する。
【0047】
ここで、画像生成部15は、一般的には、超音波走査の走査線信号列を、テレビなどに代表されるビデオフォーマットの走査線信号列に変換(スキャンコンバート)し、表示用の超音波画像データを生成する。具体的には、画像生成部15は、超音波プローブ1による超音波の走査形態に応じて座標変換を行なうことで、表示用の超音波画像データを生成する。また、画像生成部15は、超音波画像データに、種々のパラメータの文字情報、目盛り、ボディーマーク等を合成する。
【0048】
更に、画像生成部15は、3次元の超音波画像データを生成することも可能である。すなわち、画像生成部15は、Bモード処理部13が生成した3次元のBモードデータに対して座標変換を行なうことで、3次元のBモード画像データを生成することも可能である。また、画像生成部15は、ドプラ処理部14が生成した3次元のドプラデータに対して座標変換を行なうことで、3次元のカラードプラ画像データを生成することも可能である。
【0049】
レンダリング処理部16は、ボリュームデータに対して各種レンダリング処理を行なう。具体的には、レンダリング処理部16は、実空間における被検体Pを撮影することで生成された3次元の超音波画像データであるボリュームデータや、仮想空間に設定された仮想ボリュームデータに対して各種レンダリング処理を行なう処理部である。例えば、レンダリング処理部16は、3次元の超音波画像データをレンダリング処理することで、表示用の2次元超音波画像データを生成する。また、レンダリング処理部16は、仮想ボリュームデータをレンダリング処理することで、表示用の2次元超音波画像データに重畳される2次元画像データを生成する。
【0050】
レンダリング処理部16が行なうレンダリング処理としては、断面再構成法(MPR:Multi Planer Reconstruction)を行なってMPR画像を再構成する処理がある。また、レンダリング処理部16が行なうレンダリング処理としては、ボリュームデータに対して「Curved MPR」を行なう処理や、ボリュームデータに対して「Intensity Projection」を行なう処理がある。
【0051】
更に、レンダリング処理部16が行なうレンダリング処理としては、3次元の情報を反映した2次元画像を生成するボリュームレンダリング処理がある。すなわち、レンダリング処理部16は、3次元の超音波画像データや仮想ボリュームデータに対して基準視点を中心とする複数視点からボリュームレンダリング処理を行なうことで視差画像群を生成する。具体的には、レンダリング処理部16は、モニタ2が9視差モニタであることから、ボリュームデータに対して基準視点を中心とする9つの視点からボリュームレンダリング処理を行なうことで、9視差画像を生成する。
【0052】
レンダリング処理部16は、後述する制御部18の制御の下、図4に示すボリュームレンダリング処理を行なうことで9視差画像を生成する。図4は、視差画像群を生成するためのボリュームレンダリング処理の一例を説明するための図である。
【0053】
例えば、レンダリング処理部16が、図4の「9視差画像生成方式(1)」に示すように、レンダリング条件として、平行投影法を受け付け、更に、基準視点の位置(5)と視差角「1度」とを受け付けたとする。かかる場合、レンダリング処理部16は、視差角が「1度」おきとなるように、視点の位置を(1)〜(9)に平行移動して、平行投影法により視差角(視線方向間の角度)が1度ずつ異なる9つの視差画像を生成する。なお、平行投影法を行なう場合、レンダリング処理部16は、視線方向に沿って無限遠から平行な光線を照射する光源を設定する。
【0054】
或いは、レンダリング処理部16が、図4の「9視差画像生成方式(2)」に示すように、レンダリング条件として、透視投影法を受け付け、更に、基準視点の位置(5)と視差角「1度」とを受け付けたとする。かかる場合、レンダリング処理部16は、ボリュームデータの中心(重心)を中心に視差角が「1度」おきとなるように、視点の位置を(1)〜(9)に回転移動して、透視投影法により視差角が1度ずつ異なる9つの視差画像を生成する。なお、透視投影法を行なう場合、レンダリング処理部16は、視線方向を中心に光を3次元的に放射状に照射する点光源や面光源を各視点にて設定する。また、透視投影法を行なう場合、レンダリング条件によっては、視点(1)〜(9)は、平行移動される場合であってもよい。
【0055】
なお、レンダリング処理部16は、表示されるボリュームレンダリング画像の縦方向に対しては、視線方向を中心に光を2次元的に放射状に照射し、表示されるボリュームレンダリング画像の横方向に対しては、視線方向に沿って無限遠から平行な光線を照射する光源を設定することで、平行投影法と透視投影法とを併用したボリュームレンダリング処理を行なってもよい。
【0056】
このようにして生成された9つの視差画像が、視差画像群である。すなわち、視差画像群は、ボリュームデータから生成された立体表示用の画像群である。
【0057】
なお、モニタ2が2視差モニタである場合、レンダリング処理部16は、基準視点を中心にして、例えば、視差角が「1度」となる2つの視点を設定することで、2視差画像を生成する。
【0058】
また、レンダリング処理部16は、所定の形状が描出された2次元画像を生成するための描画機能も有する。
【0059】
ここで、上述したように、レンダリング処理部16は、3次元の超音波画像データだけでなく、仮想ボリュームデータからもボリュームレンダリング処理により、視差画像群を生成する。そして、画像生成部15は、超音波画像データと、レンダリング処理部16が生成した視差画像群それぞれとを合成した合成画像群を生成する。なお、第1の実施形態に係るレンダリング処理部16が仮想ボリュームデータから生成する視差画像群や、第1の実施形態に係る画像生成部15が生成する合成画像群については、後に詳述する。
【0060】
画像メモリ17は、画像生成部15及びレンダリング処理部16が生成した画像データを記憶するメモリである。また、画像メモリ17は、Bモード処理部13やドプラ処理部14が生成したデータを記憶することも可能である。
【0061】
内部記憶部19は、超音波送受信、画像処理及び表示処理を行なうための制御プログラムや、診断情報(例えば、患者ID、医師の所見等)や、診断プロトコルや各種ボディーマーク等の各種データを記憶する。また、内部記憶部19は、必要に応じて、画像メモリ17が記憶する画像データの保管等にも使用される。
【0062】
更に、内部記憶部19は、取得装置4が、センサ群41の位置情報を被検体Pの当接面(例えば、体表)に対する超音波プローブ1の3次元位置情報として取得するためのオフセット情報を記憶する。なお、オフセット情報については、後に詳述する。
【0063】
制御部18は、超音波診断装置の処理全体を制御する。具体的には、制御部18は、入力装置3を介して操作者から入力された各種設定要求や、内部記憶部19から読込んだ各種制御プログラム及び各種データに基づき、送信部11、受信部12、Bモード処理部13、ドプラ処理部14、画像生成部15及びレンダリング処理部16の処理を制御する。例えば、制御部18は、取得装置4が取得した超音波プローブ1の3次元位置情報に基づいて、レンダリング処理部16のボリュームレンダリング処理を制御する。
【0064】
また、制御部18は、画像メモリ17や内部記憶部19が記憶する表示用の超音波画像データをモニタ2にて表示するように制御する。具体的には、第1の実施形態に係る制御部18は、9視差画像を所定フォーマット(例えば格子状)に配置した中間画像に変換し、立体表示モニタとしてのモニタ2に出力することで、観察者(超音波診断装置の操作者)により立体的に認識される立体画像を表示させる。
【0065】
以上、第1の実施形態に係る超音波診断装置の全体構成について説明した。かかる構成のもと、第1の実施形態に係る超音波診断装置は、超音波プローブ1の操作に関する3次元的な情報を提示するために、以下の処理を行なう。
【0066】
すなわち、上述したように、取得装置4は、超音波画像の撮影時における超音波プローブ1の3次元位置情報を取得する。具体的には、取得装置4は、超音波プローブ1に取り付けられた位置センサ(センサ群41)を用いて3次元位置情報を取得する。図5A、図5B、図5C、図6、図7A、図7B及び図7Cは、取得装置を説明するための図である。
【0067】
例えば、超音波プローブ1の表面には、図5Aに示すように、センサ群41として、磁気センサ41a、磁気センサ41b及び磁気センサ41cの3つの磁気センサが取り付けられる。磁気センサ41a及び磁気センサ41bは、図5Aに示すように振動子が配列される方向に平行に取り付けられる。また、磁気センサ41cは、図5Aに示すように超音波プローブ1の上端近傍に、取り付けられる。
【0068】
ここで、内部記憶部19は、センサ群41が取り付けられる位置情報として、例えば、図5Bに示すオフセット情報(L1〜L4)を記憶する。距離「L1」は、図5Bに示すように、磁気センサ41a及び磁気センサ41bそれぞれが取り付けられる位置を結ぶ直線と、磁気センサ41cが取り付けられる位置との距離である。
【0069】
また、距離「L2」は、磁気センサ41a及び磁気センサ41bそれぞれが取り付けられる位置を結ぶ直線と、振動子の配列面との距離である。換言すると、距離「L2」は、図5Bに示すように、磁気センサ41a及び磁気センサ41bそれぞれが取り付けられる位置を結ぶ直線と、当接面(例えば、被検体Pの体表)との距離となる。
【0070】
また、距離「L3」は、図5Bに示すように、磁気センサ41aと磁気センサ41cとの振動子配列方向における距離である。また、距離「L4」は、図5Bに示すように、磁気センサ41bと磁気センサ41cとの振動子配列方向における距離である。
【0071】
操作者は、例えば、画像診断用に最適なBモード画像を撮影するために、被検体Pの体表に当てた状態で、図6に示すように、超音波プローブ1を様々な方向に移動させる。取得装置4の信号処理部43は、図5Bに示すオフセット情報を用いることで、取得したセンサ群41の位置(座標)から、図6に示す撮影時の超音波プローブ1の被検体Pの体表に対する3次元位置情報を取得することができる。
【0072】
なお、操作者は、取得装置4に超音波プローブ1の3次元位置情報を取得させる際、必要に応じて、3次元位置情報の取得パターンを選択することができる。例えば、被検体Pに対する角度を固定した状態で、超音波プローブ1を平行移動して撮影を行なう場合、操作者は、センサ群41の中で1つの磁気センサの位置のみ、或いは、センサ群41の重心位置を取得装置4に取得させると選択する(第1の取得パターン)。第1の取得パターンが選択された場合、取得装置4は、図7Aに示すように、超音波プローブ1の実空間における3次元位置情報を、1本の軌跡として取得する。図7Aに示す3次元位置情報は、超音波プローブ1が接触している被検体Pの体表や管腔内壁の位置情報となる。なお、基準位置を、ベッドや超音波診断装置本体に設定している場合は、3次元位置情報は、被検体Pとの関係ではなく、絶対座標における位置情報として表される。第1の取得パターンは、例えば、超音波エラストグラフィー法を行なう際に、操作者が超音波プローブ1を体表に対して垂直方向に上下移動させる際に選択される。
【0073】
また、例えば、被検体Pに対する角度を固定した状態で、超音波プローブ1を任意方向で移動して撮影を行なう場合がある。かかる場合、操作者は、例えば、磁気センサ41a及び磁気センサ41bの位置を取得装置4に取得させると選択する(第2の取得パターン)。第2の取得パターンが選択された場合、取得装置4は、図7Bに示すように、超音波プローブ1の実空間における3次元位置情報を、2本の軌跡として取得する。図7Bに示す3次元位置情報は、超音波プローブ1が接触している被検体Pの体表や管腔内壁の位置及び超音波ビームの方位方向に関する位置情報となる。第2の取得パターンが選択された場合、取得装置4は、操作者による超音波プローブ1の回転移動の3次元位置情報も取得することができる。
【0074】
また、例えば、超音波プローブ1を任意角度及び任意方向で移動して撮影を行なう場合がある。かかる場合、操作者は、センサ群41すべての位置を取得装置4に取得させると選択する(第3の取得パターン)。第3の取得パターンが選択された場合、取得装置4は、超音波プローブ1の実空間における3次元位置情報を、3本の軌跡として取得する。これにより、取得装置4は、図7Bに示すように、操作者による超音波プローブ1の傾きの度合いに関する3次元位置情報も取得することができる。第3の取得パターンが選択された場合、取得装置4は、超音波プローブ1が接触している被検体Pの体表や管腔内壁の位置、超音波ビームの方位方向及び超音波ビームの深さ方向に関する位置情報となる。例えば、第3の取得パターンは、一般的な撮影にて選択されるパターンであり、例えば、心尖部アプローチによる心尖部四腔像の撮影をする際に選択される。
【0075】
以下では、第3の取得パターンが選択されたうえで、Bモード画像の撮影が行なわれる場合について説明する。また、以下では、体表式プローブである超音波プローブ1により超音波走査が行なわれる場合について説明する。すなわち、以下では、当接面が被検体Pの体表である場合について説明する。かかる場合、取得装置4は、操作者が操作することで、被検体Pの体表上で移動する超音波プローブ1の3次元位置情報を取得する。そして、取得装置4は、取得した3次元位置情報を制御部18に通知する。制御部18は、取得装置4から撮影時の超音波プローブ1の体表に対する3次元位置情報を取得し、取得した3次元位置情報に基づいて、超音波プローブ1の仮想ボリュームデータに対してレンダリング処理を行なうように制御する。
【0076】
具体的には、レンダリング処理部16は、取得装置4により取得された3次元位置情報に基づいて、超音波プローブ1が立体画像として仮想的に認識されるための視差画像群であるプローブ画像群をボリュームレンダリング処理により生成する。一例を挙げると、レンダリング処理部16は、3次元位置情報に基づいて、仮想空間上に設定した超音波プローブ1の仮想ボリュームデータ(以下、仮想プローブ3Dデータと記載する)を平行移動や回転移動する。そして、レンダリング処理部16は、移動した仮想プローブ3Dデータに対して、基準視点を設定する。例えば、基準視点は、撮影されたBモード画像に対して正対する位置に設定される。そして、レンダリング処理部16は、基準視点を中心として、例えば、仮想プローブ3Dデータの重心に対して、視差角が1度おきとなる9つの視点を設定する。
【0077】
そして、レンダリング処理部16は、例えば、9つの視点から仮想プローブ3Dデータの重心に向かって透視投影法を用いたボリュームレンダリング処理を行なうことで、プローブ画像群「プローブ画像(1)〜(9)」を生成する。
【0078】
制御部18は、撮影状況の特徴を示す特徴画像として、画像生成部15が生成した超音波画像及び超音波プローブ1が当接された被検体Pの当接面を示す当接面画像の少なくとも1つと、プローブ画像群とが、3次元位置情報に基づく位置関係でモニタ2にて表示されるように制御する。本実施形態では、当接面画像は、被検体Pの体表を示す体表画像となる。例えば、特徴画像としての超音波画像は、プローブ画像群を生成するために用いられた3次元位置情報が取得された時点で、超音波プローブ1が受信した反射波から生成されたBモード画像である。或いは、特徴画像としての当接面画像である体表画像は、具体的には、超音波画像の撮影部位を模式的に示すボディーマークである。より具体的には、特徴画像としての体表画像は、撮影部位を立体的に描出した3Dボディーマークや、撮影部位のボリュームデータから生成されたレンダリング画像である。体表画像としてのレンダリング画像は、例えば、撮影部位である乳腺組織のサーフェースレンダリング画像である。或いは、体表画像としてのレンダリング画像は、例えば、撮影部位である乳腺組織のMPR画像である。或いは、体表画像としてのレンダリング画像は、例えば、撮影部位である乳腺組織のサーフェースレンダリング画像に対して、乳腺組織の一断面であるMPR画像を合成した画像である。
【0079】
上記の表示制御を行なう場合、例えば、制御部18は、「プローブ画像(1)〜(9)」それぞれに対して、Bモード画像が3次元位置情報に基づく位置関係にて合成された合成画像群「合成画像(1)〜(9)」を画像生成部15に生成させる。或いは、例えば、制御部18は、「プローブ画像(1)〜(9)」それぞれに対して、Bモード画像及び体表画像(乳房の3Dボディーマークや乳腺組織のレンダリング画像)が3次元位置情報に基づく位置関係にて合成された合成画像群「合成画像(1)〜(9)」を画像生成部15に生成させる。そして、制御部18は、合成画像群「合成画像(1)〜(9)」を、9列の画素202(図3を参照)それぞれにて表示させることで、モニタ2に合成画像群の立体画像を表示させる。更に、制御部18は、モニタ2に表示させた合成画像群(プローブ画像群及び特徴画像)を画像メモリ17、又は、内部記憶部19に格納する。例えば、制御部18は、モニタ2に表示させた合成画像群に、検査IDを対応付けて格納する。
【0080】
図8及び図9は、第1の実施形態に係る制御部の表示制御の一例を説明するための図である。例えば、特徴画像としてBモード画像が指定されている場合、制御部18の表示制御により、モニタ2は、図8に示すように、プローブ画像群とBモード画像「F1」とが3次元位置情報に基づく位置関係にて合成された合成画像群を表示する。
【0081】
或いは、例えば、特徴画像としてBモード画像及び撮影部位を示すレンダリング画像が指定されている場合、制御部18の表示制御により、モニタ2は、図9に示すように、プローブ画像群とBモード画像「F1」と乳腺組織のレンダリング画像「F2」とが3次元位置情報に基づく位置関係にて合成された合成画像群を表示する。
【0082】
また、上記で説明した一例では、特定の超音波画像の撮影時における合成画像群が表示され、格納される場合について説明した。しかし、本実施形態は、複数の超音波画像の撮影時における複数の合成画像群が表示され、格納される場合であっても良い。図10及び図11は、図8及び図9を用いて説明した第1の実施形態に係る制御部の表示制御の別形態を説明するための図である。
【0083】
画像生成部15は、超音波プローブ1が時系列に沿って受信した反射波に基づいて時系列に沿った複数の超音波画像を生成する。具体的には、画像生成部15は、乳房の腫瘍部位が明瞭に描出されたBモード画像を撮影するために操作者が超音波プローブ1を操作している期間、時系列に沿った複数のBモード画像を生成する。例えば、画像生成部15は、時間「t1」のBモード画像「F1(t1)」や、時間「t2」のBモード画像「F1(t2)」を生成する。
【0084】
取得装置4は、時系列に沿った3次元位置情報を当該撮影時の時間情報に対応付けて取得する。具体的には、取得装置4は、時系列に沿った複数の超音波画像それぞれの撮影時における3次元位置情報を当該撮影時の時間情報に対応付けて取得する。例えば、取得装置4は、時間「t1」に取得された3次元位置情報を取得するとともに、取得した3次元位置情報に時間情報「t1」を対応付けて制御部18に通知する。また、例えば、取得装置4は、時間「t2」に取得された3次元位置情報を取得するとともに、取得した3次元位置情報に時間情報「t2」を対応付けて制御部18に通知する。
【0085】
レンダリング処理部16は、時系列に沿った3次元位置情報及び時間情報に基づいて、時系列に沿った複数のプローブ画像群を生成する。具体的には、レンダリング処理部16は、時系列に沿った複数の超音波画像それぞれの撮影時における3次元位置情報及び時間情報に基づいて、時系列に沿った複数のプローブ画像群を生成する。例えば、レンダリング処理部16は、時間「t1」に取得された3次元位置情報に基づいて、時間「t1」における超音波プローブ1の立体画像(以下、3Dプローブ画像と記載する)である「3DP(t1)」を表示するための「プローブ画像群(t1)」を生成する。また、例えば、レンダリング処理部16は、時間「t2」に取得された3次元位置情報に基づいて、時間「t2」における3Dプローブ画像である「3DP(t2)」を表示するための「プローブ画像群(t2)」を生成する。
【0086】
制御部18は、時系列に沿った複数のプローブ画像群それぞれと、特徴画像としての時系列に沿った複数の超音波画像それぞれとがモニタ2にて表示されるように制御する。
【0087】
例えば、制御部18の制御により、画像生成部15は、「プローブ画像群(t1)」と、Bモード画像「F1(t1)」と、乳腺組織のレンダリング画像「F2」とを、時間「t1」に取得された3次元位置情報に基づく位置関係にて合成した「合成画像群(t1)」を生成する。また、画像生成部15は、「プローブ画像群(t2)」と、Bモード画像「F1(t2)」と、乳腺組織のレンダリング画像「F2」とを、時間「t2」に取得された3次元位置情報に基づく位置関係にて合成した「合成画像群(t2)」を生成する。
【0088】
制御部18は、画像生成部15が生成した合成画像群をモニタ2に表示させる。これにより、モニタ2は、図10に示すように、乳腺組織のレンダリング画像「F2」上に「3Dプローブ画像3DP(t1)」及びBモード画像「F1(t1)」を表示し、更に、乳腺組織のレンダリング画像「F2」上に「3Dプローブ画像3DP(t2)」及びBモード画像「F1(t2)」を表示する。なお、図10に示す表示形態の一例では、各時間の3Dプローブ画像とBモード画像とが、まとめて重畳表示されているが、本実施形態は、各時間の超音波プローブ1の立体画像とBモード画像とが動画表示される場合や、並列表示される場合であっても良い。
【0089】
或いは、時系列に沿った複数のプローブ画像群が生成される場合、以下の処理が行なわれても良い。すなわち、レンダリング処理部16は、2次元画像の描画機能により、3次元位置情報及び時間情報に基づいて、当接面画像である体表画像の形状を時系列に沿って変化させることで時系列に沿った複数の当接面画像である複数の体表画像を生成する。具体的には、レンダリング処理部16は、2次元画像の描画機能により、時系列に沿った複数の超音波画像それぞれの撮影時における3次元位置情報及び時間情報に基づいて、体表画像の形状を時系列に沿って変化させることで時系列に沿った複数の体表画像を生成する。そして、制御部18は、時系列に沿った複数のプローブ画像群それぞれと、特徴画像としての時系列に沿った複数の体表画像それぞれとがモニタ2にて表示されるように制御する。
【0090】
例えば、レンダリング処理部16は、エラストグラフィー撮影時に取得した3次元位置情報に基づいて、被検体Pの体表が圧迫される様相が描出されたボディーマークを時系列に沿って生成する。そして、制御部18の制御により、画像生成部15は、時系列に沿った複数のプローブ画像群それぞれと、時系列に沿った複数のボディーマークとそれぞれとを、該当する時間に取得された3次元位置情報に基づく位置関係にて合成した時系列に沿った複数の合成画像群を生成する。
【0091】
制御部18は、画像生成部15が生成した合成画像群をモニタ2に表示させる。これにより、モニタ2は、図11に示すように、超音波プローブ1を用いた操作による体表の圧迫状況を示す立体画像を表示する。なお、図11には図示しないが、制御部18は、画像生成部15が生成したエラストグラフィーをプローブ画像群及びボディーマークとともに表示させても良い。
【0092】
次に、図12を用いて、第1の実施形態に係る超音波診断装置の処理について説明する。図12は、第1の実施形態に係る超音波診断装置の処理を説明するためのフローチャートである。なお、以下では、超音波プローブ1が被検体Pに当てられた状態で、超音波画像の撮影が開始された後の処理について説明する。
【0093】
図12に示すように、第1の実施形態に係る超音波診断装置の制御部18は、取得装置4により3次元位置情報が取得されたか否かを判定する(ステップS101)。ここで、3次元位置情報が取得されない場合(ステップS101否定)、制御部18は、3次元位置情報が取得されるまで待機する。
【0094】
一方、3次元位置情報が取得された場合(ステップS101肯定)、制御部18の制御により、レンダリング処理部16は、プローブ画像群を生成する(ステップS102)。なお、プローブ画像群の生成と並行して、画像生成部15は、超音波画像を生成する。
【0095】
そして、制御部18の制御により、画像生成部15は、プローブ画像群と特徴画像との合成画像群を生成する(ステップS103)。そして、制御部18の制御により、モニタ2は、合成画像群を表示する(ステップS104)。
【0096】
そして、制御部18は、合成画像群を画像メモリ17に格納し(ステップS105)、処理を終了する。なお、合成画像群を時系列に沿って生成する場合、制御部18は、引き続き、ステップS101の判定処理を行なう。また、特徴画像として変形したボディーマークを表示する際には、変形ボディーマークは、ステップS102にてプローブ画像群とともに、レンダリング処理部16により生成される。
【0097】
上述してきたように、第1の実施形態では、例えば、図8に示す立体画像を参照することで、モニタ2の観察者は、超音波プローブ1が如何なる操作状態である時に、Bモード画像「F1」が撮影されたかを3次元的に把握することができる。また、第1の実施形態では、例えば、図9に示す立体画像を参照することで、モニタ2の観察者は、超音波プローブ1が被検体Pの体表に対して如何なる方向及び角度で当てられている時に、Bモード画像「F1」が撮影されたかを3次元的に把握することができる。また、画像メモリ17等に格納された合成画像群の表示要求を行なうことで、モニタ2の観察者は、Bモード画像「F1」の撮影時における超音波プローブ1の3次元的な操作状況を確認することができる。
【0098】
また、図10に示す立体画像を参照することで、モニタ2の観察者は、被検体Pの体表に当てた状態で、超音波プローブ1を操作者がどのように3次元的に操作することで、画像診断用の超音波画像を撮影したのかを時系列に沿って把握することができる。また、図11に示す立体画像を参照することで、モニタ2の観察者は、画像生成部15が生成したエラストグラフィーが、超音波プローブ1により被検体Pの体表をどの程度圧迫することで撮影された画像であるのかを把握することができる。また、画像メモリ17等に格納された時系列に沿った複数の合成画像群の表示要求を行なうことで、モニタ2の観察者は、画像撮影時における超音波プローブ1の3次元的な操作状況を確認することができる。
【0099】
従って、第1の実施形態によれば、超音波プローブ1の操作に関する3次元的な情報を提示することができる。また、第1の実施形態に係る超音波診断装置を用いることで、超音波画像読影者への提供情報の品質向上や、再検査時の再現性品質の向上、検査手技の操作者によるばらつきの低減による診断品質の向上等に寄与することができる。
【0100】
なお、上記では、磁気センサを用いて3次元位置情報を取得する場合について説明したが、3次元位置情報の取得方法は、これに限定されるものではない。図13は、3次元位置情報の取得方法の変形例を説明するための図である。例えば、変形例では、超音波プローブ1の表面には、図13に示すように、マーカーが取り付けられる。また、かかる場合、図13に示すように、マーカーと振動子配列面との距離や、マーカーと超音波プローブ1の端部との距離等がオフセット情報として内部記憶部19に格納される。
【0101】
そして、撮影時において、複数のカメラによりマーカーを複数方向から撮影する。そして、例えば、制御部18は、オフセット情報を用いて撮影された複数の画像を解析することで3次元位置情報を取得する。また、3次元位置情報は、加速度センサにより取得される場合であっても良い。
【0102】
(第2の実施形態)
第2の実施形態では、過去に撮影された超音波画像に対して、プローブ画像群を生成する場合について説明する。
【0103】
例えば、第2の実施形態では、制御部18は、取得装置4ではなく、入力装置2を介して、3次元位置情報を取得する。すなわち、制御部18は、画像生成部15により過去に生成された超音波画像を参照する観察者が、入力装置3を介して入力した入力情報に基づいて、当該超音波画像の撮影時における3次元位置情報を取得する。
【0104】
図14は、第2の実施形態を説明するための図である。一例を挙げると、モニタ2は、制御部18の制御により、図14に示すように、観察者が指定した過去の超音波画像(過去画像)を表示するとともに、観察者が指定した過去画像の撮影部位を示すレンダリング画像を表示する。観察者は、モニタ2を参照して、例えば、入力装置3が有する加速度センサが内蔵された力覚提示装置3aや、ジョイスティック3bを操作することで、自身が過去に撮影した超音波画像の撮影時における超音波プローブ1の向きや角度を入力する。かかる入力情報を用いて、制御部18は、過去画像撮影時における3次元位置情報を取得し、レンダリング処理部16は、入力情報に基づく3次元位置情報を用いて、プローブ画像群を生成する。
【0105】
これにより、制御部18は、図9に例示したような立体画像をモニタ2に表示させる。更に、制御部18は、図9に例示したような立体画像を表示するために用いた合成画像群を、例えば、画像メモリ17に格納する。
【0106】
なお、上記の3次元位置情報に関する入力情報は、入力装置3のマウスやキーボードを用いて入力される場合であっても良い。或いは、上記の3次元位置情報に関する入力情報は、第1の実施形態で説明したセンサ群41が取り付けられた超音波プローブ1を入力装置として用い、取得装置4が取得する場合であっても良い。
【0107】
次に、図15を用いて、第2の実施形態に係る超音波診断装置の処理について説明する。図15は、第2の実施形態に係る超音波診断装置の処理を説明するためのフローチャートである。なお、以下では、モニタ2にて過去の超音波画像が表示された後の処理について説明する。
【0108】
図15に示すように、第2の実施形態に係る超音波診断装置の制御部18は、モニタ2の観察者から入力装置3を介して、3次元位置情報に関する入力情報が入力されたか否かを判定する(ステップS201)。ここで、3次元位置情報に関する入力情報が入力されない場合(ステップS201否定)、制御部18は、入力されるまで待機する。
【0109】
一方、3次元位置情報に関する入力情報が入力された場合(ステップS201肯定)、制御部18の制御により、レンダリング処理部16は、プローブ画像群を生成する(ステップS202)。
【0110】
そして、制御部18の制御により、画像生成部15は、プローブ画像群と特徴画像との合成画像群を生成する(ステップS203)。そして、制御部18の制御により、モニタ2は、合成画像群を表示する(ステップS204)。
【0111】
そして、制御部18は、合成画像群を画像メモリ17に格納し(ステップS205)、処理を終了する。
【0112】
上述してきたように、第2の実施形態では、過去に撮影された超音波画像を参照した観察者の入力情報からプローブ画像群を合成表示できる。従って、第2の実施形態では、過去に撮影された超音波画像についても、超音波プローブ1の操作に関する3次元的な情報を提示することができる。なお、第2の実施形態は、過去に撮影された時系列に沿った複数の超音波画像を参照して、時系列に沿った複数のプローブ画像群が生成される場合であっても良い。
【0113】
(第3の実施形態)
第3の実施形態では、過去に撮影された超音波画像と同一部位の撮影を行なうために、第1の実施形態で説明した合成画像群を用いる場合について、図16A、図16B及び図17等を用いて説明する。図16A、図16B及び図17は、第3の実施形態を説明するための図である。
【0114】
第3の実施形態に係る制御部18は、画像メモリ17から取得した被検体Pの過去の超音波画像及びプローブ画像群をモニタ2の表示領域における第1領域に表示させる。具体的には、制御部18は、操作者が被検体Pの過去の検査IDを指定すると、指定された検査IDの合成画像群を画像メモリ17から取得する。以下、指定された検査IDの合成画像群である過去の合成画像群を、過去画像群と記載する。
【0115】
例えば、取得される過去画像群は、図10に例示した、過去の時系列に沿ったBモード画像と、撮影部位を示すレンダリング画像と、当該過去画像撮影時の超音波プローブ1のプローブ画像群との「時系列に沿った複数の過去画像群」である。かかる場合、操作者は、時系列に沿った複数の過去画像群の動画を参照して、経過観察をしたい特徴部位である過去の腫瘍部位「T」が最も明瞭に描出された過去画像群を指定する。これにより、モニタ2は、図16Aの第1領域にて、過去の腫瘍部位「T」が描出された過去画像群を表示する。
【0116】
そして、第3の実施形態に係る制御部18は、被検体Pの現時点で撮影される超音波画像をモニタ2の表示領域における第2領域に表示させる。かかる表示制御により、モニタ2の観察者である超音波プローブ1の操作者は、センサ群41が取り付けられた超音波プローブ1を操作して、過去の腫瘍部位「T」に該当する現在の腫瘍部位「T’」が含まれるBモード画像を第2領域に表示させる(図16Aを参照)。
【0117】
そして、第3の実施形態に係る制御部18は、取得装置4が取得した現時点での超音波画像の撮影時における超音波プローブ1の3次元位置情報に合致した過去の超音波画像及びプローブ画像群が第1領域にて表示されるように制御する。すなわち、取得装置4は、図16Bに示すように、現時点での超音波画像(以下、現在画像)の撮影時における超音波プローブ1の3次元位置情報を取得する。そして、制御部18は、3次元位置情報に合致したプローブ画像群が合成されている過去画像群を「時系列に沿った複数の過去画像群」から選択して第1領域に表示させる。すなわち、制御部18は、図16Bに示すように、3次元位置情報に合致した過去画像群を表示させる。
【0118】
上記の表示制御により第1領域及び第2領域に表示される画像を参照することで、超音波プローブ1の操作者は、過去の腫瘍部位「T」と略同様の位置に現在の腫瘍部位「T’」が描出される現在画像が表示されるまで、超音波プローブ1を操作する。
【0119】
これにより、モニタ2は、図17に示すように、過去の腫瘍部位「T」と同じ位置に現在の腫瘍部位「T’」が描出された現在画像を第2領域に表示する。第2領域に表示された現在画像は、操作者が、例えば、入力装置3の確定ボタンを押下して確定入力を行なうことで、制御部18により画像メモリ17に格納される。
【0120】
なお、現時点での超音波プローブ1の操作状況によっては、「時系列に沿った複数の過去画像群」から、3次元位置情報に合致したプローブ画像群が合成されている過去画像群を選択できない場合がある。かかる場合、レンダリング処理部16は、3次元位置情報に合致したプローブ画像群を新規に生成する。更に、レンダリング処理部16は、3次元位置情報に合致した超音波画像を、補間処理により生成する。
【0121】
例えば、制御部18は、現時点での3次元位置情報の座標に近い座標を有する過去の3次元位置情報が取得された際に生成された過去の超音波画像を2つ選択する。そして、レンダリング処理部16は、制御部18が選択した2つの超音波画像それぞれの奥行き情報用いて、補間処理により、現時点での3次元位置情報に合致する超音波画像を新規に生成する。これにより、画像生成部15は、現時点での3次元位置情報に合致した合成画像群を過去画像群として新規に生成する。
【0122】
次に、図18を用いて、第3の実施形態に係る超音波診断装置の処理について説明する。図18は、第3の実施形態に係る超音波診断装置の処理を説明するためのフローチャートである。なお、以下では、モニタ2の第1領域にて時系列に沿った複数の過去画像群が動画表示された後の処理について説明する。
【0123】
図18に示すように、第3の実施形態に係る超音波診断装置の制御部18は、特徴部位が最も明瞭に描出された過去画像群が指定されたか否かを判定する(ステップS301)。ここで、過去画像群が指定されない場合(ステップS301否定)、制御部18は、指定されるまで待機する。
【0124】
一方、過去画像群が指定された場合(ステップS301肯定)、制御部18の制御により、モニタ2は、指定された過去画像群と現在画像とを並列表示する(ステップS302)。
【0125】
そして、制御部18は、取得装置4が現時点での3次元位置情報を取得したか否かを判定する(ステップS303)。ここで、取得していない場合(ステップS303否定)、制御部18は、現時点での3次元位置情報が取得されるまで待機する。一方、現時点での3次元位置情報が取得された場合(ステップS303肯定)、制御部18は、現時点での3次元位置情報に合致する過去画像群が存在するか否かを判定する(ステップS304)。
【0126】
ここで、現時点での3次元位置情報に合致する過去画像群が存在する場合(ステップS304肯定)、制御部18は、合致する過去画像群を選択し、選択した過去画像群と現在画像とを並列表示させる(ステップS305)。
【0127】
一方、現時点での3次元位置情報に合致する過去画像群が存在しない場合(ステップS304否定)、制御部18の制御により、レンダリング処理部16及び画像生成部15は、協同して、現時点での3次元位置情報に合致する過去画像群を補間処理により新規に生成する(ステップS306)。そして、制御部18は、新規に生成された過去画像群と現在画像とを並列表示させる(ステップS307)。
【0128】
ステップS305、又は、ステップS307の後、制御部18は、操作者から確定入力を受け付けたか否かを判定する(ステップS308)。ここで、確定入力を受け付けない場合(ステップS308否定)、制御部18は、ステップS303に戻って、現時点での3次元位置情報を取得したか否かを判定する。
【0129】
一方、確定入力を受け付けた場合(ステップS308肯定)、制御部18は、確定入力時の超音波画像(現在画像)を格納し(ステップS309)、処理を終了する。
【0130】
上述してきたように、第3の実施形態では、過去の検査時における超音波画像の特徴部位の経過観察をする際に、モニタ2の観察者は、現時点での3次元位置情報に合致する超音波プローブ1の立体画像及び現時点での3次元位置情報で撮影された過去の超音波画像を参照しながら、現時点で撮影されている超音波画像を参照することができる。すなわち、モニタ2の観察者は、過去の超音波プローブ1の3次元的な操作状況を把握しながら超音波プローブ1を操作することで、現時点での特徴部位の経過観察を行なうことができる。従って、第3の実施形態では、再検査時の再現性品質をより向上させることができる。
【0131】
なお、上述した第1〜第3の実施形態では、モニタ2が9視差モニタである場合について説明した。しかし、上述した第1〜第3の実施形態は、モニタ2が2視差モニタである場合であっても適用可能である。
【0132】
また、上述した第1〜第3の実施形態では、プローブ画像群に合成される超音波画像がBモード画像である場合について説明した。しかし、上述した第1〜第3の実施形態は、プローブ画像群に合成される超音波画像がカラードプラ画像である場合であっても良い。また、上述した第1〜第3の実施形態は、プローブ画像群に合成される超音波画像が、3次元の超音波画像データから生成された視差画像群である場合であっても良い。
【0133】
以下、プローブ画像群に合成される超音波画像の変形例について、図19及び図20を用いて説明する。図19及び図20は、第1〜第3の実施形態の変形例を説明するための図である。
【0134】
近年、管腔を含むボリュームデータから、管腔内の観察が可能な仮想内視鏡(VE:Virtual Endoscopy)画像を生成表示することが行なわれている。VE画像の表示方法としては、管腔の芯線に沿って視点を移動することで、VE画像を動画表示するフライスルー(Flythrough)表示がある。例えば、超音波診断装置を用いて、乳腺のフライスルー表示を行なう場合、操作者は、3次元走査が可能な超音波プローブ1(メカニカルスキャンプローブ等)を被検体Pの乳房に当接して「乳腺を含むボリュームデータ」を収集する。そして、例えば、図1に示すレンダリング処理部16は、管腔の輝度値に対応する輝度値を有する画素(ボクセル)を抽出することで、ボリュームデータから管腔領域を抽出する。そして、例えば、レンダリング処理部16は、抽出した管腔領域を細線化処理することで、管腔の芯線を抽出する。そして、例えば、レンダリング処理部16は、透視投影法により、芯線上の視点からのVE画像を生成する。なお、レンダリング処理部16は、管腔の芯線に沿って視点を移動することで、フライスルー表示用の複数のVE画像を生成する。
【0135】
フライスルー表示が行なわれる場合、取得装置4は、VE画像を生成するために用いられたボリュームデータ収集時における超音波プローブ1の3次元位置情報を取得する。そして、制御部18は、上述した第1の実施形態で説明した制御処理を行なうことで、特徴画像とプローブ画像群を構成するプローブ画像それぞれとの合成画像群をモニタ2に表示させ、画像メモリ17に格納させる。図19は、フライスルー表示が行なわれる場合に、制御部18の制御によりモニタ2に表示される画像の一例を示している。図19に示す画像100は、レンダリング処理部16が3次元位置情報に基づいて生成したプローブ画像群をモニタ2に表示した結果、観察者が超音波プローブ1を立体的に観察できる3Dプローブ画像である。
【0136】
また、図19に示す画像101は、当接面画像としての体表画像であり、例えば、撮影部位である乳房を立体的に描出した3Dボディーマークである。また、図19に示す画像102は、ボリュームデータにおいて、フライスルー表示に用いられた管腔領域を含む領域の画像である。例えば、図19に示す画像102は、輝度値を白黒反転させたcavityモードにより、レンダリング処理部16が生成した管腔画像である。輝度値を白黒反転させることで、管腔の視認性を向上させることができる。また、図19に示す点線で構成される画像103は、3次元位置情報及び超音波走査条件に基づいて、レンダリング処理部16が生成した3次元の超音波走査範囲を模式的に示すものである。また、図19に示す画像104は、フライスルー表示されるVE画像である。画像101〜画像104は、特徴画像となる。ここで、図19に示す一例では、制御部18の制御により、画像100〜画像103が、3次元位置情報に基づく位置関係でモニタ2にて表示される。また、図19に示す一例では、制御部18の制御により、画像100〜画像103の下に、画像104が配置される。
【0137】
なお、制御部18は、画像102の代わりに、画像103を配置しても良い。また、画像102は、1つの視点を用いてレンダリング処理部16がボリュームデータから生成したボリュームレンダリング画像であっても良い。また、画像102は、レンダリング処理部16が9つの視点を用いてボリュームデータから生成した9視差画像を表示した立体画像であっても良い。また、画像100は、第2の実施形態で説明したように、観察者が入力した情報により生成される場合であっても良い。
【0138】
図19に例示する立体画像を参照することで、観察者は、画像103のフライスルー表示のために行なわれた超音波プローブ1の3次元的な操作状況を把握することができる。また、図19に例示する立体画像を表示するために生成された合成画像群を保存し、例えば第3の実施形態で説明した処理を行なうことで、過去の検査でフライスルー表示された画像103と略同じ位置のVE画像群を用いたフライスルー表示を行なうことができる。
【0139】
また、上述した第1〜第3の実施形態で説明した制御処理は、体腔内プローブを用いる場合でも適用可能である。図20の左上図は、TEEプローブの一例を示している。このTEEプローブの先端部には、図20の左下図に示すように、磁気センサ50a、50b及び50cが取り付けられている。なお、図20の左下図に示す磁気センサ50a、50b及び50cの配置は、あくまでも一例である。超音波プローブ1としてのTEEプローブの3次元位置情報が取得可能であるならば、磁気センサ50a、50b及び50cは、任意の位置に配置可能である。
【0140】
操作者は、図20の右上図に示すように、TEEプローブを被検体Pの食道に挿入し、TEEプローブの先端を食道の内壁に当接して心臓の2次元走査や3次元走査を行なう。かかる状態で、取得装置4は、心臓を含む領域のデータを収集した時点におけるTEEプローブの3次元位置情報を取得する。そして、制御部18は、上述した第1の実施形態で説明した制御処理を行なうことで、特徴画像とプローブ画像群を構成するプローブ画像それぞれとの合成画像群をモニタ2に表示させ、画像メモリ17に格納させる。図20の右下図は、経食道心エコー検査が行なわれる場合に、制御部18の制御によりモニタ2に表示される画像の一例を示している。図20の右下図に示す画像200は、レンダリング処理部16が3次元位置情報に基づいて生成したプローブ画像群をモニタ2で表示した結果、観察者がTEEプローブを立体的に観察できる3Dプローブ画像である。また、図20の右下図に示す画像201は、当接面画像であり、食道内壁を示すボディーマークである。なお、当接面画像として、画像201とともに、撮影部位である心臓を立体的に描出した3Dボディーマークや、心臓のサーフェースレンダリング画像が用いられる場合であっても良い。また、当接面画像としては、例えば、図20の右上図に示すような、人体モデルが用いられる場合であっても良い。また、図20の右下図に示す画像202は、心臓を含むボリュームデータからレンダリング処理部16が生成したMPR画像である。画像201及び画像202は、特徴画像となる。ここで、図20の右下図に示す一例では、制御部18の制御により、画像200〜画像202が3次元位置情報に基づく位置関係でモニタ2にて表示される。
【0141】
なお、画像202は、1つの視点を用いてレンダリング処理部16がボリュームデータから生成したボリュームレンダリング画像であっても良い。また、画像202は、レンダリング処理部16が9つの視点を用いてボリュームデータから生成した9視差画像を表示した立体画像であっても良い。また、画像200は、第2の実施形態で説明したように、観察者が入力した情報により生成される場合であっても良い。
【0142】
図20の右下図に例示する画像を参照することで、観察者は、画像202の表示を行なうために行なわれたTEEプローブの3次元的な操作状況を把握することができる。また、図20の右下図に例示する立体画像を表示するために生成された合成画像群を保存し、例えば第3の実施形態で説明した処理を行なうことで、過去の検査で表示された画像203と略同じ位置の超音波画像の表示を行なうことができる。なお、取得装置4は、トランスミッター42と被検体Pとの位置関係等を用いて、TEEプローブが挿入された長さや深さ等の情報も取得することができる。制御部18は、かかる情報も、合成画像群の情報に加えることが可能である。これにより、画像202を収集するために必要となるTEEプローブの操作状況をより正確に提供することができる。
【0143】
以上、説明したとおり、第1〜第3の実施形態及び変形例によれば、超音波プローブの操作に関する3次元的な情報を提示することができる。
【0144】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0145】
1 超音波プローブ
2 モニタ
3 入力装置
4 取得装置
41 センサ群
42 トランスミッター
43 信号処理部
10 装置本体
11 送信部
12 受信部
13 Bモード処理部
14 ドプラ処理部
15 画像生成部
16 レンダリング処理部
17 画像メモリ
18 制御部
19 内部記憶部

【特許請求の範囲】
【請求項1】
所定視差数の視差画像である視差画像群を表示し、観察者により立体的に認識される立体画像を表示する表示部と、
被検体に当接された超音波プローブが受信した反射波に基づいて超音波画像を生成する画像生成部と、
前記超音波画像の撮影時における前記超音波プローブの3次元位置情報を取得する取得部と、
前記取得部により取得された前記3次元位置情報に基づいて、前記超音波プローブが立体画像として仮想的に認識されるための視差画像群であるプローブ画像群をボリュームレンダリング処理により生成するレンダリング処理部と、
撮影状況の特徴を示す特徴画像として、前記超音波画像及び前記超音波プローブが当接された前記被検体の当接面を示す当接面画像の少なくとも1つと、前記プローブ画像群とが、前記3次元位置情報に基づく位置関係で前記表示部にて表示されるように制御する制御部と、
を備える、超音波診断装置。
【請求項2】
前記画像生成部は、前記超音波プローブが時系列に沿って受信した反射波に基づいて時系列に沿った複数の超音波画像を生成し、
前記取得部は、前記時系列に沿った3次元位置情報を撮影時の時間情報に対応付けて取得し、
前記レンダリング処理部は、前記3次元位置情報及び前記時間情報に基づいて、時系列に沿った複数のプローブ画像群を生成し、
前記制御部は、前記時系列に沿った複数のプローブ画像群それぞれと、前記特徴画像としての前記時系列に沿った複数の超音波画像それぞれとが前記表示部にて表示されるように制御する、請求項1に記載の超音波診断装置。
【請求項3】
前記レンダリング処理部は、前記3次元位置情報及び前記時間情報に基づいて、前記当接面画像の形状を時系列に沿って変化させることで時系列に沿った複数の当接面画像を生成し、
前記制御部は、前記時系列に沿った複数のプローブ画像群それぞれと、前記特徴画像としての前記時系列に沿った複数の当接面画像それぞれとが前記表示部にて表示されるように制御する、請求項2に記載の超音波診断装置。
【請求項4】
前記取得部は、前記超音波プローブに取り付けられた位置センサを用いて前記3次元位置情報を取得する、請求項1に記載の超音波診断装置。
【請求項5】
前記取得部は、前記画像生成部により過去に生成された超音波画像を参照する観察者が所定の入力部を介して入力した入力情報に基づいて、当該超音波画像の撮影時における3次元位置情報を取得し、
前記レンダリング処理部は、前記入力情報に基づく3次元位置情報を用いて、前記プローブ画像群を生成する、請求項1に記載の超音波診断装置。
【請求項6】
前記制御部は、前記表示部にて表示された前記プローブ画像群及び前記特徴画像を所定の記憶部に格納する、請求項1に記載の超音波診断装置。
【請求項7】
前記制御部は、
前記所定の記憶部から取得した被検体の過去の超音波画像及びプローブ画像群を前記表示部の第1表示領域に表示させ、当該被検体の現時点で撮影される超音波画像を前記表示部の第2表示領域に表示させ、
更に、前記制御部は、
前記取得部が取得した現時点での超音波画像の撮影時における前記超音波プローブの3次元位置情報に合致した過去の超音波画像及びプローブ画像群が前記第1表示領域にて表示されるように制御する、請求項6に記載の超音波診断装置。

【図1】
image rotate

【図2A】
image rotate

【図2B】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5A】
image rotate

【図5B】
image rotate

【図6】
image rotate

【図7A】
image rotate

【図7B】
image rotate

【図7C】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図15】
image rotate

【図16B】
image rotate

【図18】
image rotate

【図20】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図14】
image rotate

【図16A】
image rotate

【図17】
image rotate

【図19】
image rotate


【公開番号】特開2013−6020(P2013−6020A)
【公開日】平成25年1月10日(2013.1.10)
【国際特許分類】
【出願番号】特願2012−113555(P2012−113555)
【出願日】平成24年5月17日(2012.5.17)
【出願人】(000003078)株式会社東芝 (54,554)
【出願人】(594164542)東芝メディカルシステムズ株式会社 (4,066)
【Fターム(参考)】