超音波診断装置
【課題】より手軽な構成で面倒な作業なしに、価値の高い超音波プローブの位置、姿勢の情報を得る。
【解決手段】ヘッドマウントディスプレイ（ＨＭＤ）１１は、ＣＣＤ３９が内蔵されたビデオカメラ部３８を有する。ビデオカメラ部３８は、超音波プローブ１０と超音波プローブ１０があてがわれている箇所の画像（手元画像）を撮影する。プロセッサ部１５の主制御部５０は、超音波プローブ１０で得られる超音波画像と、撮影タイミングが略同じ手元画像を関連付けてフレームメモリ５６に記憶させる。主制御部５０は、保存ボタン１７ｂの操作により選択された超音波画像および手元画像をフレームメモリ５６から読み出し、記憶装置１８に出力する。
【解決手段】ヘッドマウントディスプレイ（ＨＭＤ）１１は、ＣＣＤ３９が内蔵されたビデオカメラ部３８を有する。ビデオカメラ部３８は、超音波プローブ１０と超音波プローブ１０があてがわれている箇所の画像（手元画像）を撮影する。プロセッサ部１５の主制御部５０は、超音波プローブ１０で得られる超音波画像と、撮影タイミングが略同じ手元画像を関連付けてフレームメモリ５６に記憶させる。主制御部５０は、保存ボタン１７ｂの操作により選択された超音波画像および手元画像をフレームメモリ５６から読み出し、記憶装置１８に出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ヘッドマウントディスプレイを備えた超音波診断装置に関する。
【背景技術】
【０００２】
従来、医療分野において、超音波プローブを患者（被検体）の体表にあてがい、得られた超音波画像をモニタで観察する超音波診断が盛んである。こうした超音波診断では、術者は超音波プローブ（手元）とモニタの超音波画像を交互に見ながら行うため視線移動が煩わしく、また、モニタの超音波画像を注視しすぎて患者の状態観察がおろそかになるという問題があった。この問題を解決するため、透過型のヘッドマウントディスプレイ（以下、ＨＭＤと略す）を術者に装着させ、ＨＭＤのスクリーンに超音波画像を表示して、手元と超音波画像を同時に観察することが可能な超音波診断装置が提案されている（特許文献１参照）。
【０００３】
一方、検査後の超音波画像の読影時に参考にしたり、手技の再現性を確保するために、超音波プローブを体表のどこにどのようにあてがっているか、すなわち超音波プローブの位置、姿勢（体表に対する角度）といった情報を記憶しておきたいというニーズがある。このニーズに応えるため、手技の様子を映すビデオカメラをベッドサイドに設置して、ビデオカメラの映像と超音波画像を合成してモニタに表示し、且つ合成画像を記憶装置に記憶する超音波診断装置が提案されている（特許文献２参照）。
【０００４】
特許文献２には、患者の頭部側と脚側にビデオカメラを２台用意し、手元が術者の腕等で一方のビデオカメラの死角になった場合は、他方のビデオカメラに切り替える旨が開示されている。さらにビデオカメラは１台でもよいことが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−１５７５４２号公報
【特許文献２】特開２００６−０００４００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献２に記載のビデオカメラが２台の場合は切り替えが面倒であり、１台の場合は手元が死角になったときにビデオカメラを移動させる必要があってやはり面倒である。また、訪問医療や出張検診等の病院外の利用を考えると、ビデオカメラが嵩ばるため機動性の点で難がある。
【０００７】
超音波プローブの位置、姿勢を記憶するという主旨からいえば、少なくとも超音波プローブと超音波プローブがあてがわれている箇所を撮影しさえすればいいが、特許文献２では該箇所以外の周辺の映像も撮影しているため情報の価値が低い。
【０００８】
また、ビデオカメラの映像と超音波画像の合成画像が常に記憶されるので、記憶装置の容量を圧迫する。
【０００９】
本発明は、上記背景を鑑みてなされたものであり、その目的は、より手軽な構成で面倒な作業なしに、価値の高い超音波プローブの位置、姿勢の情報を得ることにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の超音波診断装置は、被検体の被観察部位に超音波を送信するとともに被観察部位からの反射波を受信し、反射波に応じた検出信号を出力する超音波トランスデューサが内蔵された超音波プローブと、術者に装着され、被検体の状態観察が可能であるとともに、検出信号を元に生成された超音波画像の表示が可能な表示部を有するヘッドマウントディスプレイであり、被検体に対する前記超音波プローブの位置、姿勢を映した手元画像を撮影するための撮像手段が搭載されたヘッドマウントディスプレイと、所定のフレーム分の超音波画像の記憶を指示する操作入力手段と、記憶手段と、前記操作入力手段からの操作入力信号に応じて、略同じタイミングで撮影された超音波画像および手元画像を関連付けて前記記憶手段に記憶させる記憶制御手段と、を備えることを特徴とする。
【００１１】
なお、「略同じタイミング」とは、関連付けて記憶する超音波画像および手元画像の撮影タイミングのずれが、例えば０．１秒以内の場合をいう。
【００１２】
超音波画像および手元画像を表示手段に合成表示させる表示制御手段を備えることが好ましい。表示手段は超音波診断装置に備え付けのモニタ、あるいは備え付けのものと別のモニタでもよいし、前記ヘッドマウントディスプレイの表示部でもよい。
【発明の効果】
【００１３】
本発明によれば、被検体に対する超音波プローブの位置、姿勢を映した手元画像を撮影するための撮像手段をヘッドマウントディスプレイに搭載し、操作入力に応じて撮影タイミングが略同じ超音波画像および手元画像を関連付けて記憶するので、より手軽な構成で面倒な作業なしに、価値の高い超音波プローブの位置、姿勢の情報を得ることができる。
【図面の簡単な説明】
【００１４】
【図１】超音波診断装置の概略および手技の様子を示す図である。
【図２】超音波プローブの外観斜視図である。
【図３】ヘッドマウントディスプレイの外観斜視図である。
【図４】超音波診断装置の電気的構成を示すブロック図である。
【図５】モニタの表示例を示す説明図である。
【図６】超音波画像と手元画像の生成タイミングを示すタイミングチャートである。
【図７】超音波診断の手順を示すフローチャートである。
【発明を実施するための形態】
【００１５】
図１において、超音波診断装置２は、超音波プローブ１０、透過型のヘッドマウントディスプレイ（以下、ＨＭＤと略す）１１、および超音波観測器１２で構成される。超音波プローブ１０は、術者Ｏｐに把持され、ベッド１３に安静に寝かされた患者Ｐａの腹部等の体表にあてがわれる。ＨＭＤ１１は、術者Ｏｐに装着され、周囲の視野を確保しながら超音波画像を観察することが可能である。超音波観測器１２は、ベッド１３脇の可搬カート１４に載せられたプロセッサ部１５、モニタ１６、操作部１７、および記憶装置１８を有する。記憶装置１８には、例えばハードディスクドライブやＭＯ等のリムーバブルディスクのドライバが内蔵されている。
【００１６】
図２において、超音波プローブ１０は、プロセッサ部１５にコネクタ接続されるケーブル２５と、術者Ｏｐが把持する把持部２６と、超音波トランスデューサ（以下、ＵＴと略す）アレイ２７が内蔵された先端部２８とからなる。ＵＴアレイ２７は、周知の如く複数のＵＴを所定ピッチで配列したもので、図ではコンベックス型を例示している。
【００１７】
図３において、ＨＭＤ１１は眼鏡様の形態であり、術者Ｏｐの左右の眼と対面するレンズ部３５と、レンズ部３５の左右両サイドに折り畳み自在に設けられた蔓部３６とからなる。レンズ部３５は周囲の視野を確保するために略透明であり、且つ超音波画像を映し出して術者Ｏｐの観察に供するスクリーン（表示部）を兼ねる。
【００１８】
左側のレンズ部３５と蔓部３６の継ぎ目には、撮影レンズ３７が前面に露呈されたビデオカメラ部３８が設けられている。ビデオカメラ部３８には、撮影レンズ３７を通して術者Ｏｐの視線の先を撮影するためのＣＣＤ３９が収納されている。
【００１９】
一方右側の蔓部３６には、プロセッサ部１５にコネクタ接続されるケーブル４０が引き出された収納部４１が設けられている。収納部４１には、ＣＣＤ３９の駆動を制御するドライバ（図示せず）や、アナログ信号処理回路（ＡＦＥ）４２、デジタル信号処理回路（ＤＳＰ、ともに図４参照）４３、レンズ部３５に超音波画像を表示させるための表示制御部（図示せず）等の電子回路が収納されている。なお、これらの電子回路は、ＨＭＤ１１ではなくプロセッサ部１５に内蔵させてもよい。
【００２０】
ＡＦＥ４２は、ＣＣＤ３９から出力された撮像信号を増幅してＡ／Ｄ変換を施し、撮像信号をデジタル化する。ＤＳＰ４３は、ＡＦＥ４２からのデジタルの撮像信号に対して、色分離、色補間、ゲイン補正、ホワイトバランス調整、ガンマ補正等の各種信号処理を施して画像（以下、手元画像という）を生成する。手元画像は、例えば３０フレーム／秒のフレームレートで生成される（図６参照）。
【００２１】
図４において、プロセッサ部１５の主制御部５０は、超音波観測器１２全体の動作を統括的に制御する。主制御部５０は、図示しないデータバスやアドレスバス、制御線を介して各部と接続している。ＲＯＭ５１には、超音波観測器１２の動作を制御するための各種プログラム（ＯＳ、アプリケーションプログラム等）やデータ（グラフィックデータ等）が記憶されている。主制御部５０は、ＲＯＭ５１から必要なプログラムやデータを読み出して、作業用メモリであるＲＡＭ５２に展開し、読み出したプログラムを逐次処理する。
【００２２】
また、主制御部５０は、操作部１７から操作入力信号を受け、これに応じた動作を各部に実行させる。操作部１７には、フリーズボタン１７ａと保存ボタン１７ｂが設けられている。フリーズボタン１７ａは、超音波画像の動画表示を静止画表示に切り替える際に操作される。保存ボタン１７ｂは、所定のフレーム分（例えば１〜数フレーム分）の超音波画像および手元画像を記憶装置１８に記憶させる際に操作される。
【００２３】
送受信部５３はパルサおよびレシーバからなり、ＵＴアレイ２７を構成するＵＴの個数分設けられている。送受信部５３は、複数のパルサの中から駆動させるパルサを選択して、これを所定の時間間隔で順次切り替える。具体的には、例えば送受信チャンネル（ＵＴの個数）が１２８チャンネルであった場合、１２８チャンネルのうち、隣接する４８チャンネルを１つのブロックとして、該チャンネルに任意の遅延差を与えて駆動させるように選択し、超音波および反射波の１回の送受信毎に、駆動させるチャンネルを１〜数個ずつずらす。送受信部５３のパルサは、主制御部５０から送信される駆動信号に基づいて、ＵＴに超音波を発生させるための励振パルスを送信する。こうすることで、患者Ｐａの被観察部位に超音波が走査される。
【００２４】
送受信部５３のレシーバは、患者Ｐａの被観察部位からの反射波を受信してＵＴから出力された検出信号を増幅してＡ／Ｄ変換し、Ａ／Ｄ変換でデジタル化した検出信号を画像処理部５４に出力する。画像処理部５４は、送受信部５３からの検出信号に対して直交検波処理を施し、検出信号を複素ベースバンド化する。そして、複数回の超音波および反射波の送受信で得られた検出信号に対して、整相加算により受信フォーカス処理を施し、超音波画像（例えばＢモード画像）を生成する。超音波画像は、例えば１０フレーム／秒のフレームレートで生成される（図６参照）。
【００２５】
図５に示すように、表示制御部５５は、患者情報や検査部位の情報等とともに、超音波画像ＰＸとビデオカメラ部３８からの手元画像ＰＹとをモニタ１６に並列表示させる。また、表示制御部５５は、超音波画像ＰＸをＨＭＤ１１に出力する。ＨＭＤ１１のレンズ部３５には、表示制御部５５からの超音波画像ＰＸが表示される。なお、モニタ１６に表示されるのと同じ超音波画像ＰＸと手元画像ＰＹの合成画像をＨＭＤ１１に出力してもよい。あるいは、モニタ１６とは別の外部モニタに合成画像を出力してもよい。
【００２６】
ＨＭＤ１１のレンズ部３５は略透明で、且つ超音波画像を表示するスクリーンとして機能するので、手技中は超音波プローブ１０に術者Ｏｐの視線が集中される。従って手元画像ＰＹには、術者ＯｐがＨＭＤ１１を装着して手技をする際の視線の先、つまり超音波プローブ１０と超音波プローブ１０があてがわれている箇所が映し出される。
【００２７】
図４に戻って、主制御部５０には、フレームメモリ５６が接続されている。フレームメモリ５６は、複数フレーム、例えばそれぞれ１００フレーム分の超音波画像および手元画像を一時的に記憶する。フレームメモリ５６は、複数フレーム分の超音波画像および手元画像のうちの最も古いものを削除し、ＨＭＤ１１および画像処理部５４から順次送られてくる最新の超音波画像および手元画像に順次更新する。フレームメモリ５６は、撮影タイミングが略同じ、すなわち、ＵＴへの反射波の受信開始時間と、ＣＣＤ３９の信号電荷の蓄積開始時間の差が例えば０．１秒以内の超音波画像および手元画像のペアを関連付けて記憶する。ＵＴへの反射波の受信開始時間とＣＣＤ３９の信号電荷の蓄積開始時間の差を０．１秒以内としたのは、０．１秒よりも大きい差があると、超音波画像および手元画像の同時性が保てなくなるおそれがあるからである。
【００２８】
フリーズボタン１７ａが操作された際には、フレームメモリ５６の更新が一時停止される。このため、フリーズボタン１７ａの操作時に生成された超音波画像および手元画像、並びにそれ以前の複数フレーム分（１００フレーム分記憶する場合は過去の９９フレーム分）の超音波画像および手元画像がフレームメモリ５６にストックされる。
【００２９】
フリーズボタン１７ａの操作でフレームメモリ５６にストックされた複数フレーム分の超音波画像および手元画像は、記憶装置１８に記憶させる所定のフレーム分の画像を選択する際の候補としてモニタ１６に表示される。表示された画像は、操作部１７を操作することによりフレーム送り、フレーム戻しが可能である。術者Ｏｐは、モニタ１６に表示される超音波画像および手元画像の合成画像から適当なものを選択し、保存ボタン１７ｂを操作する。主制御部５０は、保存ボタン１７ｂの操作に応じて、術者Ｏｐにより選択された所定のフレーム分の超音波画像、およびこれに関連付けられた手元画像をフレームメモリ５６から読み出し、記憶装置１８に出力する。
【００３０】
ここで図６に示すように、撮影タイミングが略同じ超音波画像および手元画像の生成タイミングは、超音波画像のほうが手元画像よりもΔＴ分遅くなる。超音波画像および手元画像の生成タイミングとは、画像処理部５４およびＤＳＰ４３から超音波画像および手元画像がそれぞれ出力されるタイミングのことである。撮影タイミングが略同じ超音波画像と手元画像で生成タイミングがΔＴずれるのは、送受信部５３、画像処理部５４での各種処理に掛かる時間がＡＦＥ４２やＤＳＰ４３よりも長いためである。
【００３１】
このため、矢印で繋がれた超音波画像「１」と手元画像「１」とは、生成タイミングはΔＴずれているが撮影タイミングは略同じである。超音波画像「２」、「３」、「４」、「５」、・・・と手元画像「４」、「７」、「１０」、「１３」、・・・も同様である。
【００３２】
主制御部５０は、各画像の生成タイミングのΔＴ分の遅れを考慮して、先にＨＭＤ１１から入力された手元画像と、これよりΔＴ遅れて画像処理部５４から入力された超音波画像のペア、つまり撮影タイミングが略同じ各画像のペアをフレームメモリ５６に関連付けて記憶させる。また、表示制御部５５も同様に、撮影タイミングが略同じ各画像をモニタ１６に並列表示させる。
【００３３】
次に、図７を参照して、上記構成の超音波診断装置２で超音波診断を行う手順を説明する。術者Ｏｐは、操作部１７を操作して、患者Ｐａの情報や検査日の日付等を入力した後、検査開始を指示する操作入力信号を入力する。そして、ＨＭＤ１１を装着したうえで、患者Ｐａの体表に超音波プローブ１０の先端部２８をあてがい、超音波診断を開始する。
【００３４】
操作部１７から検査開始の操作入力信号を受けると、主制御部５０は、送受信部５３を駆動制御してＵＴに超音波および反射波の送受信を行わせる。この超音波走査によりＵＴから出力された検出信号は、送受信部５３で増幅、Ａ／Ｄ変換された後、画像処理部５４で直交検波、受信フォーカス処理等が施され、これにより超音波画像が生成される。画像処理部５４で生成された超音波画像は、主制御部５０および表示制御部５５に出力される。
【００３５】
また、検査開始とともにＨＭＤ１１が起動され、撮影レンズ３７からの像光がＣＣＤ３９で撮像される。ＣＣＤ３９から出力された撮像信号は、ＡＦＥ４２、ＤＳＰ４３で各種処理が施され、これにより手元画像が生成される。生成された手元画像は、主制御部５０および表示制御部５５に出力される。
【００３６】
主制御部５０に入力された超音波画像および手元画像は、略同じ撮影タイミングのペアが関連付けられてフレームメモリ５６に順次一時記憶される。また、表示制御部５５により超音波画像および手元画像がモニタ１６に並列表示される。さらに、表示制御部５５からＨＭＤ１１に超音波画像が送られ、レンズ部３５に表示される。術者Ｏｐは、レンズ部３５を介して患者Ｐの状態観察を行うとともに、レンズ部３５に表示された超音波画像を観察する（Ｓ１０）。
【００３７】
術者Ｏｐは、超音波画像に病変候補が映し出された場合等にフリーズボタン１７ａを操作する（Ｓ１１でＹＥＳ）。フリーズボタン１７ａが操作されると、主制御部５０によりフレームメモリ５６の更新が一時停止される（Ｓ１２）。そして、表示制御部５５によりモニタ１６の表示が動画からフリーズボタン１７ａが操作されたときに得られた静止画に切り替えられる（Ｓ１３）。術者Ｏｐは、操作部１７を操作して静止画をフレーム送り、またはフレーム戻しさせつつ、記憶装置１８に記憶すべき画像を選択する。なお、図示は省略したが、Ｓ１３の状態でフリーズボタン１７ａを再度操作すると、フレームメモリ５６の更新一時停止、および候補画像の表示が解除され、Ｓ１０の状態に戻る。
【００３８】
記憶装置１８に記憶すべき画像が決まり、術者Ｏｐにより保存ボタン１７ｂが操作されると（Ｓ１４でＹＥＳ）、選択された所定のフレーム分の超音波画像およびそれと関連付けられた、略同じ撮影タイミングの手元画像とが主制御部５０から記憶装置１８に出力されて記憶される（Ｓ１５）。これら一連の処理は、操作部１７から検査終了を指示する操作入力信号が入力される（Ｓ１６でＹＥＳ）まで続けられる。
【００３９】
以上説明したように、ＨＭＤ１１にＣＣＤ３９を内蔵したビデオカメラ部３８を搭載したので、検査後の読影時等に必要な超音波プローブ１０と超音波プローブ１０があてがわれている箇所を容易且つ確実に撮影することができる。該箇所は術者Ｏｐが手技中に注視する箇所であるため、ビデオカメラを別に用意する場合のように、手元が死角になることも少ない。従ってビデオカメラを切り替えたりビデオカメラの場所を移動させる手間が省ける。また、ＨＭＤ１１とビデオカメラ部３８が一体であるため持ち運びが楽であり、訪問医療や出張検診等の病院外の利用にも適している。
【００４０】
保存ボタン１７ｂの操作に応じて、撮影タイミングが略同じ所定のフレーム分の超音波画像および手元画像を記憶装置１８に記憶させるので、検査時間全ての動画を記憶する場合と比べて記憶装置１８の容量を圧迫するおそれがない。記憶装置１８に記憶した各画像は、検査後の読影時の参照や手技の再現性確保に役立てることができる。
【００４１】
なお、ＵＴの反射波の受信開始時間、およびＣＣＤ３９の電荷の蓄積開始時間に同期した識別フラグを主制御部５０から画像処理部５４およびＤＳＰ４３に発行し、各部で識別フラグを超音波画像と手元画像に付加して両者を関連付けてもよい。もとより識別フラグの発行に際しては、上記実施形態と同様に各画像の生成タイミングの差ΔＴを考慮する。
【００４２】
上記実施形態では、主制御部５０でソフト的に撮影タイミングが略同じ超音波画像と手元画像を関連付けて記憶させているが、主制御部５０とは別に、各画像を関連付けて記憶させるための専用のハードウェアを設けてもよい。
【００４３】
上記実施形態では、フレームメモリ５６に複数フレーム分の超音波画像および手元画像を記憶し、フリーズボタン１７ａが操作されたときにフレームメモリ５６の更新を停止して、複数フレーム分の各画像をモニタ１６に表示させ、記憶すべき画像を選択させているが、本発明はこれに限定されない。フリーズボタン１７ａ、フレームメモリ５６を無くすか、あるいは設定によって、保存ボタン１７ｂの操作でフレームメモリ５６を介さず記憶装置１８に直接所定のフレーム分の超音波画像および手元画像を記憶させてもよい。
【００４４】
また、撮影タイミングが略同じ１フレーム分の超音波画像と手元画像のペアを記憶するとして説明したが、上記実施形態のように手元画像のフレームレートが超音波画像よりも高い場合や、「撮影タイミングが略同じ」の定義によっては、１フレーム分の超音波画像に対して撮影タイミングが略同じ手元画像が複数存在することがあり得る。例えば図６において、超音波画像「３」に対しては、手元画像「７」とその前後０．１秒以内の「５」、「６」、「８」、「９」が、段落［００２７］の「撮影タイミングが略同じ」の定義に当てはまる。従って、１フレーム分ではなく、定義に当てはまる全ての手元画像を超音波画像と関連付けて記憶してもよい。
【００４５】
記憶装置１８に記憶させるべき画像を選択する際に、モニタ１６ではなくＨＭＤ１１のレンズ部３５に候補画像を表示してもよい。また、フリーズボタン１７ａや保存ボタン１７ｂ、候補画像のフレーム送り、フレーム戻しのための操作ボタンを、操作部１７ではなく超音波プローブ１０に設けてもよい。記憶すべき画像の選択や各ボタンの操作を視線移動なしで行うことができる。
【００４６】
上記実施形態で説明した各部材は一例であり、本発明の主旨を逸脱しない限り、如何様にも変更可能である。例えば、超音波プローブはコンベックス型ではなく、リニア型でもよい。あるいは、ＨＭＤは眼鏡様の形態ではなく、レンズ部と蔓部を上下動可能なヒンジで接続し、ＨＭＤを装着したままレンズ部を眼の前の位置と額の前の位置とで移動可能な構成としてもよい。また、超音波プローブ、ＨＭＤとプロセッサ間の信号の遣り取りを無線化してもよい。
【符号の説明】
【００４７】
２ 超音波診断装置
１０ 超音波プローブ
１１ ヘッドマウントディスプレイ（ＨＭＤ）
１２ 超音波観測器
１５ プロセッサ部
１６ モニタ
１７ 操作部
１７ａ フリーズボタン
１７ｂ 保存ボタン
１８ 記憶装置
２７ 超音波トランスデューサアレイ（ＵＴアレイ）
３８ ビデオカメラ部
３９ ＣＣＤ
５０ 主制御部
５５ 表示制御部
５６ フレームメモリ
【技術分野】
【０００１】
本発明は、ヘッドマウントディスプレイを備えた超音波診断装置に関する。
【背景技術】
【０００２】
従来、医療分野において、超音波プローブを患者（被検体）の体表にあてがい、得られた超音波画像をモニタで観察する超音波診断が盛んである。こうした超音波診断では、術者は超音波プローブ（手元）とモニタの超音波画像を交互に見ながら行うため視線移動が煩わしく、また、モニタの超音波画像を注視しすぎて患者の状態観察がおろそかになるという問題があった。この問題を解決するため、透過型のヘッドマウントディスプレイ（以下、ＨＭＤと略す）を術者に装着させ、ＨＭＤのスクリーンに超音波画像を表示して、手元と超音波画像を同時に観察することが可能な超音波診断装置が提案されている（特許文献１参照）。
【０００３】
一方、検査後の超音波画像の読影時に参考にしたり、手技の再現性を確保するために、超音波プローブを体表のどこにどのようにあてがっているか、すなわち超音波プローブの位置、姿勢（体表に対する角度）といった情報を記憶しておきたいというニーズがある。このニーズに応えるため、手技の様子を映すビデオカメラをベッドサイドに設置して、ビデオカメラの映像と超音波画像を合成してモニタに表示し、且つ合成画像を記憶装置に記憶する超音波診断装置が提案されている（特許文献２参照）。
【０００４】
特許文献２には、患者の頭部側と脚側にビデオカメラを２台用意し、手元が術者の腕等で一方のビデオカメラの死角になった場合は、他方のビデオカメラに切り替える旨が開示されている。さらにビデオカメラは１台でもよいことが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−１５７５４２号公報
【特許文献２】特開２００６−０００４００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献２に記載のビデオカメラが２台の場合は切り替えが面倒であり、１台の場合は手元が死角になったときにビデオカメラを移動させる必要があってやはり面倒である。また、訪問医療や出張検診等の病院外の利用を考えると、ビデオカメラが嵩ばるため機動性の点で難がある。
【０００７】
超音波プローブの位置、姿勢を記憶するという主旨からいえば、少なくとも超音波プローブと超音波プローブがあてがわれている箇所を撮影しさえすればいいが、特許文献２では該箇所以外の周辺の映像も撮影しているため情報の価値が低い。
【０００８】
また、ビデオカメラの映像と超音波画像の合成画像が常に記憶されるので、記憶装置の容量を圧迫する。
【０００９】
本発明は、上記背景を鑑みてなされたものであり、その目的は、より手軽な構成で面倒な作業なしに、価値の高い超音波プローブの位置、姿勢の情報を得ることにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の超音波診断装置は、被検体の被観察部位に超音波を送信するとともに被観察部位からの反射波を受信し、反射波に応じた検出信号を出力する超音波トランスデューサが内蔵された超音波プローブと、術者に装着され、被検体の状態観察が可能であるとともに、検出信号を元に生成された超音波画像の表示が可能な表示部を有するヘッドマウントディスプレイであり、被検体に対する前記超音波プローブの位置、姿勢を映した手元画像を撮影するための撮像手段が搭載されたヘッドマウントディスプレイと、所定のフレーム分の超音波画像の記憶を指示する操作入力手段と、記憶手段と、前記操作入力手段からの操作入力信号に応じて、略同じタイミングで撮影された超音波画像および手元画像を関連付けて前記記憶手段に記憶させる記憶制御手段と、を備えることを特徴とする。
【００１１】
なお、「略同じタイミング」とは、関連付けて記憶する超音波画像および手元画像の撮影タイミングのずれが、例えば０．１秒以内の場合をいう。
【００１２】
超音波画像および手元画像を表示手段に合成表示させる表示制御手段を備えることが好ましい。表示手段は超音波診断装置に備え付けのモニタ、あるいは備え付けのものと別のモニタでもよいし、前記ヘッドマウントディスプレイの表示部でもよい。
【発明の効果】
【００１３】
本発明によれば、被検体に対する超音波プローブの位置、姿勢を映した手元画像を撮影するための撮像手段をヘッドマウントディスプレイに搭載し、操作入力に応じて撮影タイミングが略同じ超音波画像および手元画像を関連付けて記憶するので、より手軽な構成で面倒な作業なしに、価値の高い超音波プローブの位置、姿勢の情報を得ることができる。
【図面の簡単な説明】
【００１４】
【図１】超音波診断装置の概略および手技の様子を示す図である。
【図２】超音波プローブの外観斜視図である。
【図３】ヘッドマウントディスプレイの外観斜視図である。
【図４】超音波診断装置の電気的構成を示すブロック図である。
【図５】モニタの表示例を示す説明図である。
【図６】超音波画像と手元画像の生成タイミングを示すタイミングチャートである。
【図７】超音波診断の手順を示すフローチャートである。
【発明を実施するための形態】
【００１５】
図１において、超音波診断装置２は、超音波プローブ１０、透過型のヘッドマウントディスプレイ（以下、ＨＭＤと略す）１１、および超音波観測器１２で構成される。超音波プローブ１０は、術者Ｏｐに把持され、ベッド１３に安静に寝かされた患者Ｐａの腹部等の体表にあてがわれる。ＨＭＤ１１は、術者Ｏｐに装着され、周囲の視野を確保しながら超音波画像を観察することが可能である。超音波観測器１２は、ベッド１３脇の可搬カート１４に載せられたプロセッサ部１５、モニタ１６、操作部１７、および記憶装置１８を有する。記憶装置１８には、例えばハードディスクドライブやＭＯ等のリムーバブルディスクのドライバが内蔵されている。
【００１６】
図２において、超音波プローブ１０は、プロセッサ部１５にコネクタ接続されるケーブル２５と、術者Ｏｐが把持する把持部２６と、超音波トランスデューサ（以下、ＵＴと略す）アレイ２７が内蔵された先端部２８とからなる。ＵＴアレイ２７は、周知の如く複数のＵＴを所定ピッチで配列したもので、図ではコンベックス型を例示している。
【００１７】
図３において、ＨＭＤ１１は眼鏡様の形態であり、術者Ｏｐの左右の眼と対面するレンズ部３５と、レンズ部３５の左右両サイドに折り畳み自在に設けられた蔓部３６とからなる。レンズ部３５は周囲の視野を確保するために略透明であり、且つ超音波画像を映し出して術者Ｏｐの観察に供するスクリーン（表示部）を兼ねる。
【００１８】
左側のレンズ部３５と蔓部３６の継ぎ目には、撮影レンズ３７が前面に露呈されたビデオカメラ部３８が設けられている。ビデオカメラ部３８には、撮影レンズ３７を通して術者Ｏｐの視線の先を撮影するためのＣＣＤ３９が収納されている。
【００１９】
一方右側の蔓部３６には、プロセッサ部１５にコネクタ接続されるケーブル４０が引き出された収納部４１が設けられている。収納部４１には、ＣＣＤ３９の駆動を制御するドライバ（図示せず）や、アナログ信号処理回路（ＡＦＥ）４２、デジタル信号処理回路（ＤＳＰ、ともに図４参照）４３、レンズ部３５に超音波画像を表示させるための表示制御部（図示せず）等の電子回路が収納されている。なお、これらの電子回路は、ＨＭＤ１１ではなくプロセッサ部１５に内蔵させてもよい。
【００２０】
ＡＦＥ４２は、ＣＣＤ３９から出力された撮像信号を増幅してＡ／Ｄ変換を施し、撮像信号をデジタル化する。ＤＳＰ４３は、ＡＦＥ４２からのデジタルの撮像信号に対して、色分離、色補間、ゲイン補正、ホワイトバランス調整、ガンマ補正等の各種信号処理を施して画像（以下、手元画像という）を生成する。手元画像は、例えば３０フレーム／秒のフレームレートで生成される（図６参照）。
【００２１】
図４において、プロセッサ部１５の主制御部５０は、超音波観測器１２全体の動作を統括的に制御する。主制御部５０は、図示しないデータバスやアドレスバス、制御線を介して各部と接続している。ＲＯＭ５１には、超音波観測器１２の動作を制御するための各種プログラム（ＯＳ、アプリケーションプログラム等）やデータ（グラフィックデータ等）が記憶されている。主制御部５０は、ＲＯＭ５１から必要なプログラムやデータを読み出して、作業用メモリであるＲＡＭ５２に展開し、読み出したプログラムを逐次処理する。
【００２２】
また、主制御部５０は、操作部１７から操作入力信号を受け、これに応じた動作を各部に実行させる。操作部１７には、フリーズボタン１７ａと保存ボタン１７ｂが設けられている。フリーズボタン１７ａは、超音波画像の動画表示を静止画表示に切り替える際に操作される。保存ボタン１７ｂは、所定のフレーム分（例えば１〜数フレーム分）の超音波画像および手元画像を記憶装置１８に記憶させる際に操作される。
【００２３】
送受信部５３はパルサおよびレシーバからなり、ＵＴアレイ２７を構成するＵＴの個数分設けられている。送受信部５３は、複数のパルサの中から駆動させるパルサを選択して、これを所定の時間間隔で順次切り替える。具体的には、例えば送受信チャンネル（ＵＴの個数）が１２８チャンネルであった場合、１２８チャンネルのうち、隣接する４８チャンネルを１つのブロックとして、該チャンネルに任意の遅延差を与えて駆動させるように選択し、超音波および反射波の１回の送受信毎に、駆動させるチャンネルを１〜数個ずつずらす。送受信部５３のパルサは、主制御部５０から送信される駆動信号に基づいて、ＵＴに超音波を発生させるための励振パルスを送信する。こうすることで、患者Ｐａの被観察部位に超音波が走査される。
【００２４】
送受信部５３のレシーバは、患者Ｐａの被観察部位からの反射波を受信してＵＴから出力された検出信号を増幅してＡ／Ｄ変換し、Ａ／Ｄ変換でデジタル化した検出信号を画像処理部５４に出力する。画像処理部５４は、送受信部５３からの検出信号に対して直交検波処理を施し、検出信号を複素ベースバンド化する。そして、複数回の超音波および反射波の送受信で得られた検出信号に対して、整相加算により受信フォーカス処理を施し、超音波画像（例えばＢモード画像）を生成する。超音波画像は、例えば１０フレーム／秒のフレームレートで生成される（図６参照）。
【００２５】
図５に示すように、表示制御部５５は、患者情報や検査部位の情報等とともに、超音波画像ＰＸとビデオカメラ部３８からの手元画像ＰＹとをモニタ１６に並列表示させる。また、表示制御部５５は、超音波画像ＰＸをＨＭＤ１１に出力する。ＨＭＤ１１のレンズ部３５には、表示制御部５５からの超音波画像ＰＸが表示される。なお、モニタ１６に表示されるのと同じ超音波画像ＰＸと手元画像ＰＹの合成画像をＨＭＤ１１に出力してもよい。あるいは、モニタ１６とは別の外部モニタに合成画像を出力してもよい。
【００２６】
ＨＭＤ１１のレンズ部３５は略透明で、且つ超音波画像を表示するスクリーンとして機能するので、手技中は超音波プローブ１０に術者Ｏｐの視線が集中される。従って手元画像ＰＹには、術者ＯｐがＨＭＤ１１を装着して手技をする際の視線の先、つまり超音波プローブ１０と超音波プローブ１０があてがわれている箇所が映し出される。
【００２７】
図４に戻って、主制御部５０には、フレームメモリ５６が接続されている。フレームメモリ５６は、複数フレーム、例えばそれぞれ１００フレーム分の超音波画像および手元画像を一時的に記憶する。フレームメモリ５６は、複数フレーム分の超音波画像および手元画像のうちの最も古いものを削除し、ＨＭＤ１１および画像処理部５４から順次送られてくる最新の超音波画像および手元画像に順次更新する。フレームメモリ５６は、撮影タイミングが略同じ、すなわち、ＵＴへの反射波の受信開始時間と、ＣＣＤ３９の信号電荷の蓄積開始時間の差が例えば０．１秒以内の超音波画像および手元画像のペアを関連付けて記憶する。ＵＴへの反射波の受信開始時間とＣＣＤ３９の信号電荷の蓄積開始時間の差を０．１秒以内としたのは、０．１秒よりも大きい差があると、超音波画像および手元画像の同時性が保てなくなるおそれがあるからである。
【００２８】
フリーズボタン１７ａが操作された際には、フレームメモリ５６の更新が一時停止される。このため、フリーズボタン１７ａの操作時に生成された超音波画像および手元画像、並びにそれ以前の複数フレーム分（１００フレーム分記憶する場合は過去の９９フレーム分）の超音波画像および手元画像がフレームメモリ５６にストックされる。
【００２９】
フリーズボタン１７ａの操作でフレームメモリ５６にストックされた複数フレーム分の超音波画像および手元画像は、記憶装置１８に記憶させる所定のフレーム分の画像を選択する際の候補としてモニタ１６に表示される。表示された画像は、操作部１７を操作することによりフレーム送り、フレーム戻しが可能である。術者Ｏｐは、モニタ１６に表示される超音波画像および手元画像の合成画像から適当なものを選択し、保存ボタン１７ｂを操作する。主制御部５０は、保存ボタン１７ｂの操作に応じて、術者Ｏｐにより選択された所定のフレーム分の超音波画像、およびこれに関連付けられた手元画像をフレームメモリ５６から読み出し、記憶装置１８に出力する。
【００３０】
ここで図６に示すように、撮影タイミングが略同じ超音波画像および手元画像の生成タイミングは、超音波画像のほうが手元画像よりもΔＴ分遅くなる。超音波画像および手元画像の生成タイミングとは、画像処理部５４およびＤＳＰ４３から超音波画像および手元画像がそれぞれ出力されるタイミングのことである。撮影タイミングが略同じ超音波画像と手元画像で生成タイミングがΔＴずれるのは、送受信部５３、画像処理部５４での各種処理に掛かる時間がＡＦＥ４２やＤＳＰ４３よりも長いためである。
【００３１】
このため、矢印で繋がれた超音波画像「１」と手元画像「１」とは、生成タイミングはΔＴずれているが撮影タイミングは略同じである。超音波画像「２」、「３」、「４」、「５」、・・・と手元画像「４」、「７」、「１０」、「１３」、・・・も同様である。
【００３２】
主制御部５０は、各画像の生成タイミングのΔＴ分の遅れを考慮して、先にＨＭＤ１１から入力された手元画像と、これよりΔＴ遅れて画像処理部５４から入力された超音波画像のペア、つまり撮影タイミングが略同じ各画像のペアをフレームメモリ５６に関連付けて記憶させる。また、表示制御部５５も同様に、撮影タイミングが略同じ各画像をモニタ１６に並列表示させる。
【００３３】
次に、図７を参照して、上記構成の超音波診断装置２で超音波診断を行う手順を説明する。術者Ｏｐは、操作部１７を操作して、患者Ｐａの情報や検査日の日付等を入力した後、検査開始を指示する操作入力信号を入力する。そして、ＨＭＤ１１を装着したうえで、患者Ｐａの体表に超音波プローブ１０の先端部２８をあてがい、超音波診断を開始する。
【００３４】
操作部１７から検査開始の操作入力信号を受けると、主制御部５０は、送受信部５３を駆動制御してＵＴに超音波および反射波の送受信を行わせる。この超音波走査によりＵＴから出力された検出信号は、送受信部５３で増幅、Ａ／Ｄ変換された後、画像処理部５４で直交検波、受信フォーカス処理等が施され、これにより超音波画像が生成される。画像処理部５４で生成された超音波画像は、主制御部５０および表示制御部５５に出力される。
【００３５】
また、検査開始とともにＨＭＤ１１が起動され、撮影レンズ３７からの像光がＣＣＤ３９で撮像される。ＣＣＤ３９から出力された撮像信号は、ＡＦＥ４２、ＤＳＰ４３で各種処理が施され、これにより手元画像が生成される。生成された手元画像は、主制御部５０および表示制御部５５に出力される。
【００３６】
主制御部５０に入力された超音波画像および手元画像は、略同じ撮影タイミングのペアが関連付けられてフレームメモリ５６に順次一時記憶される。また、表示制御部５５により超音波画像および手元画像がモニタ１６に並列表示される。さらに、表示制御部５５からＨＭＤ１１に超音波画像が送られ、レンズ部３５に表示される。術者Ｏｐは、レンズ部３５を介して患者Ｐの状態観察を行うとともに、レンズ部３５に表示された超音波画像を観察する（Ｓ１０）。
【００３７】
術者Ｏｐは、超音波画像に病変候補が映し出された場合等にフリーズボタン１７ａを操作する（Ｓ１１でＹＥＳ）。フリーズボタン１７ａが操作されると、主制御部５０によりフレームメモリ５６の更新が一時停止される（Ｓ１２）。そして、表示制御部５５によりモニタ１６の表示が動画からフリーズボタン１７ａが操作されたときに得られた静止画に切り替えられる（Ｓ１３）。術者Ｏｐは、操作部１７を操作して静止画をフレーム送り、またはフレーム戻しさせつつ、記憶装置１８に記憶すべき画像を選択する。なお、図示は省略したが、Ｓ１３の状態でフリーズボタン１７ａを再度操作すると、フレームメモリ５６の更新一時停止、および候補画像の表示が解除され、Ｓ１０の状態に戻る。
【００３８】
記憶装置１８に記憶すべき画像が決まり、術者Ｏｐにより保存ボタン１７ｂが操作されると（Ｓ１４でＹＥＳ）、選択された所定のフレーム分の超音波画像およびそれと関連付けられた、略同じ撮影タイミングの手元画像とが主制御部５０から記憶装置１８に出力されて記憶される（Ｓ１５）。これら一連の処理は、操作部１７から検査終了を指示する操作入力信号が入力される（Ｓ１６でＹＥＳ）まで続けられる。
【００３９】
以上説明したように、ＨＭＤ１１にＣＣＤ３９を内蔵したビデオカメラ部３８を搭載したので、検査後の読影時等に必要な超音波プローブ１０と超音波プローブ１０があてがわれている箇所を容易且つ確実に撮影することができる。該箇所は術者Ｏｐが手技中に注視する箇所であるため、ビデオカメラを別に用意する場合のように、手元が死角になることも少ない。従ってビデオカメラを切り替えたりビデオカメラの場所を移動させる手間が省ける。また、ＨＭＤ１１とビデオカメラ部３８が一体であるため持ち運びが楽であり、訪問医療や出張検診等の病院外の利用にも適している。
【００４０】
保存ボタン１７ｂの操作に応じて、撮影タイミングが略同じ所定のフレーム分の超音波画像および手元画像を記憶装置１８に記憶させるので、検査時間全ての動画を記憶する場合と比べて記憶装置１８の容量を圧迫するおそれがない。記憶装置１８に記憶した各画像は、検査後の読影時の参照や手技の再現性確保に役立てることができる。
【００４１】
なお、ＵＴの反射波の受信開始時間、およびＣＣＤ３９の電荷の蓄積開始時間に同期した識別フラグを主制御部５０から画像処理部５４およびＤＳＰ４３に発行し、各部で識別フラグを超音波画像と手元画像に付加して両者を関連付けてもよい。もとより識別フラグの発行に際しては、上記実施形態と同様に各画像の生成タイミングの差ΔＴを考慮する。
【００４２】
上記実施形態では、主制御部５０でソフト的に撮影タイミングが略同じ超音波画像と手元画像を関連付けて記憶させているが、主制御部５０とは別に、各画像を関連付けて記憶させるための専用のハードウェアを設けてもよい。
【００４３】
上記実施形態では、フレームメモリ５６に複数フレーム分の超音波画像および手元画像を記憶し、フリーズボタン１７ａが操作されたときにフレームメモリ５６の更新を停止して、複数フレーム分の各画像をモニタ１６に表示させ、記憶すべき画像を選択させているが、本発明はこれに限定されない。フリーズボタン１７ａ、フレームメモリ５６を無くすか、あるいは設定によって、保存ボタン１７ｂの操作でフレームメモリ５６を介さず記憶装置１８に直接所定のフレーム分の超音波画像および手元画像を記憶させてもよい。
【００４４】
また、撮影タイミングが略同じ１フレーム分の超音波画像と手元画像のペアを記憶するとして説明したが、上記実施形態のように手元画像のフレームレートが超音波画像よりも高い場合や、「撮影タイミングが略同じ」の定義によっては、１フレーム分の超音波画像に対して撮影タイミングが略同じ手元画像が複数存在することがあり得る。例えば図６において、超音波画像「３」に対しては、手元画像「７」とその前後０．１秒以内の「５」、「６」、「８」、「９」が、段落［００２７］の「撮影タイミングが略同じ」の定義に当てはまる。従って、１フレーム分ではなく、定義に当てはまる全ての手元画像を超音波画像と関連付けて記憶してもよい。
【００４５】
記憶装置１８に記憶させるべき画像を選択する際に、モニタ１６ではなくＨＭＤ１１のレンズ部３５に候補画像を表示してもよい。また、フリーズボタン１７ａや保存ボタン１７ｂ、候補画像のフレーム送り、フレーム戻しのための操作ボタンを、操作部１７ではなく超音波プローブ１０に設けてもよい。記憶すべき画像の選択や各ボタンの操作を視線移動なしで行うことができる。
【００４６】
上記実施形態で説明した各部材は一例であり、本発明の主旨を逸脱しない限り、如何様にも変更可能である。例えば、超音波プローブはコンベックス型ではなく、リニア型でもよい。あるいは、ＨＭＤは眼鏡様の形態ではなく、レンズ部と蔓部を上下動可能なヒンジで接続し、ＨＭＤを装着したままレンズ部を眼の前の位置と額の前の位置とで移動可能な構成としてもよい。また、超音波プローブ、ＨＭＤとプロセッサ間の信号の遣り取りを無線化してもよい。
【符号の説明】
【００４７】
２ 超音波診断装置
１０ 超音波プローブ
１１ ヘッドマウントディスプレイ（ＨＭＤ）
１２ 超音波観測器
１５ プロセッサ部
１６ モニタ
１７ 操作部
１７ａ フリーズボタン
１７ｂ 保存ボタン
１８ 記憶装置
２７ 超音波トランスデューサアレイ（ＵＴアレイ）
３８ ビデオカメラ部
３９ ＣＣＤ
５０ 主制御部
５５ 表示制御部
５６ フレームメモリ
【特許請求の範囲】
【請求項１】
被検体の被観察部位に超音波を送信するとともに被観察部位からの反射波を受信し、反射波に応じた検出信号を出力する超音波トランスデューサが内蔵された超音波プローブと、
術者に装着され、被検体の状態観察が可能であるとともに、検出信号を元に生成された超音波画像の表示が可能な表示部を有するヘッドマウントディスプレイであり、被検体に対する前記超音波プローブの位置、姿勢を映した手元画像を撮影するための撮像手段が搭載されたヘッドマウントディスプレイと、
所定のフレーム分の超音波画像の記憶を指示する操作入力手段と、
記憶手段と、
前記操作入力手段からの操作入力信号に応じて、略同じタイミングで撮影された超音波画像および手元画像を関連付けて前記記憶手段に記憶させる記憶制御手段と、を備えることを特徴とする超音波診断装置。
【請求項２】
超音波画像および手元画像を表示手段に合成表示させる表示制御手段を備えることを特徴とする請求項１に記載の超音波診断装置。
【請求項１】
被検体の被観察部位に超音波を送信するとともに被観察部位からの反射波を受信し、反射波に応じた検出信号を出力する超音波トランスデューサが内蔵された超音波プローブと、
術者に装着され、被検体の状態観察が可能であるとともに、検出信号を元に生成された超音波画像の表示が可能な表示部を有するヘッドマウントディスプレイであり、被検体に対する前記超音波プローブの位置、姿勢を映した手元画像を撮影するための撮像手段が搭載されたヘッドマウントディスプレイと、
所定のフレーム分の超音波画像の記憶を指示する操作入力手段と、
記憶手段と、
前記操作入力手段からの操作入力信号に応じて、略同じタイミングで撮影された超音波画像および手元画像を関連付けて前記記憶手段に記憶させる記憶制御手段と、を備えることを特徴とする超音波診断装置。
【請求項２】
超音波画像および手元画像を表示手段に合成表示させる表示制御手段を備えることを特徴とする請求項１に記載の超音波診断装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−１８３０５６（Ｐ２０１１−１８３０５６Ａ）
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願番号】特願２０１０−５３５０２（Ｐ２０１０−５３５０２）
【出願日】平成２２年３月１０日（２０１０．３．１０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願日】平成２２年３月１０日（２０１０．３．１０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]