説明

超音波診断装置及び超音波画像生成方法

【課題】穿刺術を行なう際に穿刺器具の先端部を超音波画像に正確、かつ的確に、また見易く表示することができる超音波診断装置及び超音波画像生成方法を提供する。
【解決手段】複数フレームの時系列エコー信号からフレーム間の差分エコー信号を生成する差分エコー信号生成手段と、差分エコー信号に基づいて先端検出処理を行い、被検体に刺入された穿刺器具先端部を含む1以上の先端候補を検出する先端候補検出手段と、先端候補を表示強調処理する先端候補処理手段とを具備し、画像表示手段に、表示強調処理された先端候補を、エコー信号から生成された超音波画像に重ねて表示することにより、前記課題を解決する。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、超音波診断装置及び超音波画像生成方法に関し、特に、穿刺術を行なう際に穿刺針などの穿刺器具の先端部を超音波画像に正確かつ的確に表示するのに用いられる超音波診断装置及び超音波画像生成方法に関する。
【背景技術】
【0002】
従来から、医療分野において、超音波画像を利用した超音波診断装置が実用化されている。一般に、この種の超音波診断装置は、振動子アレイを内蔵した超音波プローブと、この超音波プローブに接続された装置本体とを有しており、超音波プローブから被検体に向けて超音波を送信し、被検体からの超音波エコーを超音波プローブで受信して、その受信信号を装置本体で電気的に処理することにより超音波画像が生成される。
また、超音波診断装置は、細胞組織診断のため、医師が穿刺器具、例えば穿刺針を所望の部位に穿刺して組織サンプルを採取する穿刺術を行う場合にも用いられている。
【0003】
穿刺術においては、医師は、確実に目的物や目的部位まで穿刺針を到達させるため、超音波画像を見ながら予め決めた刺入経路(穿刺針が被検者中を刺入される経路)通りに穿刺針を刺入させる。
このような穿刺術を行なう場合には、目的部位や目的物等の治療対象まで穿刺針を到達させ、治療対象から余分な液体を抜くこと(ドレナージ)や、治療対象に注液すること(PEIT)等を行う必要があるため、モニタ(超音波画像)上で穿刺針、特にその先端部を確実かつ正確に、また適切にを確認できることが重要である。
【0004】
そこで、特許文献1に開示の超音波撮像技術では、被検体内に挿入された穿刺針の先端位置を正確に検出するため、振動付与機構を穿刺針の基端に取り付け、穿刺針を機械的に振動させながら穿刺し、ドップラ信号に基づいて、穿刺針をドップラ画像化し、Bモード画像に重ねて表示して、穿刺針を画像化している。
また、特許文献2に開示の超音波診断装置では、超音波プローブにより得られたBモード超音波断層画像フレームデータをメモリに蓄積し、前回蓄積されたフレームデータと現在得られたフレームデータの差分を計算し、空間変化をディジタルデータとして得、これを現在得られたフレームデータに加算することにより所望の穿刺針画像をBモード超音波画像に表示している。その結果、特許文献2では、特許文献1に開示の超音波撮像技術で必要な振動付与機構やドップラモード処理が不要であり、Bモード超音波断層画像フレームデータのみから鮮明な穿刺針画像を表示できるとしている。
【0005】
また、特許文献3に開示の超音波ガイド下穿刺システムでは、穿刺針が刺入された被検体からの超音波探触子による受信信号を処理してBモード画像信号を生成し、Bモード画像信号に基づいてBモード超音波断層像を表示装置に表示すると共に、表示されている超音波画像より高輝度部でかつ輝度が大きく変化した部分を抽出し、この抽出した部分を色付けし、この色付けした抽出部分を最新の超音波断層像上に重畳して表示している。その結果、特許文献3では、一度患者に刺入した穿刺針の針先を見失うことなく、確実かつ良好に、処置及び検査を行える超音波ガイド下穿刺システムを安価に提供できるとしている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特許第4030644号
【特許文献2】特開2001−269339号公報
【特許文献3】特開2000−107178号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
ところで、特許文献1に開示の技術では、穿刺針を機械的に振動するための特別な機構が必要になり、装置が大型化し、コストがアップするばかりか、超音波ガイド下の中心静脈穿刺を行う場合、血管からのドップラ信号と穿刺針からのドップラ信号の分離ができないという問題がある。
ここで、穿刺術は、穿刺針が細くなればなるほど患者への負担軽減や侵襲性低減となるため、リスク等に合わせて可能な限り細い穿刺針が選択される。しかし、穿刺針が細くなるに従って、超音波画像上への描出力も低下してしまい、穿刺針が途切れ途切れに描出されてしまい、穿刺針の位置または形状は明確に表示できないという問題がある。
【0008】
また、特許文献2に開示の技術では、特許文献1に開示の技術の上記問題点を解消することができ、Bモード超音波断層画像フレームデータのみから鮮明な穿刺針画像を表示できるとしている。
しかしながら、上述したように、細い穿刺針が使用される場合、Bモード超音波断層画像フレームデータ自体が、穿刺針の位置または形状は明確に表示するのが難しいデータであるので、差分データから穿刺針の刺入による正確な空間変化データのみを得ることができず、正確な穿刺針画像を得ることができないという問題がある。
さらに、穿刺針を患者等の被検体に刺入する際に、穿刺針のみが空間的に変化する場合だけではなく、患者等の動きに応じて被検体が動いて空間変化が生じたり、被検体自体が穿刺針の刺入に応じて変化して空間変化が生じたりすることが起こるので、その場合、特許文献2における差分データには、穿刺針の刺入のみならず、被検体の動きや被検体自体の変化による空間変化データが含まれることになり、穿刺針の刺入による空間変化データのみを分離できず、穿刺針画像のみを分離できないという問題があった。また、通常、Bモード超音波断層画像フレームデータ自体にはノイズが含まれているため、差分データにもノイズに起因するデータが含まれることになり、ノイズに起因するデータを分離する処理をしない限り、穿刺針画像のみを得ることが分離できないという問題がある。
【0009】
さらに、特許文献3に開示の技術でも、特許文献2に開示の技術と同様に、最新画像データとこれより1画面前の画像データとを比較して、超音波断層画像の高輝度部の変化のある部分を抽出して、穿刺針の針先部として着色表示しているが、高輝度部の変化のある部分は、穿刺針の刺入より生じた高輝度部の変化のみならず、被検体の動きや被検体自体の変化やノイズによる高輝度部の変化として存在する場合があり、この場合には、刺入による穿刺針の針先部の移動のみを分離できず、穿刺針の針先部のみを分離できないという問題がある。
また、特許文献3に開示の技術では、超音波断層画像の高輝度部が穿刺針であるとしているが、どのような高輝度部が穿刺針に該当するかを判断するのは難しく、上述したように、細い穿刺針が使用される場合、穿刺針の位置または形状をは明確に表示するのが難しい超音波断層画像中で、穿刺針に該当する高輝度部のみを抽出することはできないという問題もある。
【0010】
本発明の目的は、前記従来技術の問題点を解消し、穿刺術を行なう際に、穿刺針などの穿刺器具を機械的に振動するための特別な機構やドップラモード処理を用いることなく、穿刺器具の先端部を超音波画像に正確、かつ的確に、また見易く表示することができる超音波診断装置及び超音波画像生成方法を提供することにある。
【課題を解決するための手段】
【0011】
上記目的を達成するために、本発明の超音波診断装置は、穿刺器具が刺入された被検体に超音波を送信すると共に、前記被検体及び前記穿刺器具による前記超音波の反射波を受信し、受信した反射波に基づいて時系列フレームのエコー信号を生成する超音波送受手段と、該超音波送受手段によって生成された前記エコー信号に基づいて前記被検体の超音波画像を生成する超音波画像生成手段と、該超音波画像生成手段によって生成された前記超音波画像を表示する画像表示手段と、複数の時系列フレームの前記エコー信号から時系列フレーム間の差分エコー信号を生成する差分エコー信号生成手段と、該差分エコー信号生成手段で生成された前記差分エコー信号に基づいて先端検出処理を行い、前記穿刺器具先端部を含む1以上の先端候補を検出する先端候補検出手段と、前記先端候補検出手段により検出された前記穿刺器具の前記先端候補を表示強調処理して、前記穿刺器具の前記先端候補が表示強調処理された先端画像を生成する先端候補処理手段と、を具備し、前記画像表示手段は、前記先端候補処理手段によって表示強調処理された前記穿刺器具の前記先端画像を、前記超音波画像生成手段によって生成された前記超音波画像に重ねて表示することを特徴とする。
【0012】
ここで、前記先端候補検出手段は、前記先端検出処理として、前記差分エコー信号生成手段で生成された前記差分エコー信号の輝度差に基づいて、前記穿刺器具の前記先端候補を検出することが好ましい。
また、前記先端候補処理手段は、前記差分エコー信号の輝度差の正負に応じて、前記先端候補検出手段により検出された前記穿刺器具の前記先端候補を表示強調処理することが好ましい。
また、前記先端候補処理手段は、前記表示強調処理として、前記先端候補検出手段により検出された前記穿刺器具の前記先端候補を色付けしてカラー先端画像を生成するか、又は、前記先端候補の輝度を上げて高輝度先端画像を生成するか、若しくは、前記先端候補を色付けした上で輝度を上げて高輝度カラー先端画像を生成する処理を行うことが好ましい。
また、前記先端候補検出手段は、さらに、前記差分エコー信号の輝度差の正負を判別し、前記先端候補処理手段は、前記先端候補検出手段によって判別された前記差分エコー信号の輝度差の正負に応じて、前記先端候補検出手段により検出された前記穿刺器具の前記先端候補を表示強調処理する色相及び輝度を変更することが好ましい。
【0013】
また、前記差分エコー信号生成手段は、さらに、生成した前記差分エコー信号に基づいて差分画像を生成するものであり、前記先端候補検出手段は、前記差分エコー信号生成手段で生成された前記差分画像に、前記先端検出処理を行い、前記穿刺器具の前記先端候補を検出することが好ましい。
また、前記先端候補検出手段は、前記先端検出処理として、前記差分エコー信号生成手段で生成された前記差分画像に、所定輝度差以上の部分を抽出する処理を施して前記穿刺器具の前記先端候補を検出することが好ましい。
また、前記先端候補検出手段は、前記先端検出処理として、前記差分エコー信号生成手段で生成された前記差分画像の中の所定輝度差以上の部分を抽出するために、前記差分画像に対して階調処理を行うためのルックアップテーブルを用いたルックアップテーブル処理を行い、前記穿刺器具の前記先端候補を検出することが好ましい。
前記先端候補検出手段による前記ルックアップテーブル処理で用いられる前記ルックアップテーブルは、前記超音波画像及び前記差分画像の少なくとも一方に応じて調整されるものであることが好ましい。
【0014】
また、前記先端候補検出手段は、前記先端検出処理として、前記差分画像の輝度差、並びに該輝度差で検出された領域の大きさ及び密度に基づいて、前記穿刺器具の前記先端候補を検出することが好ましい。
また、前記先端候補検出手段は、前記差分画像に、前記先端検出処理として、先端強調フィルタ処理を行い、前記穿刺器具の前記先端候補を検出することが好ましい。
また、前記先端候補検出手段は、前記差分画像に、前記先端検出処理として、メディアンフィルタ処理、又は、所定の点の近傍画素の輝度和を求めて該輝度和が大きい箇所のみ強調するフィルタ処理を行い、前記穿刺器具の前記先端候補を検出することが好ましい。
また、前記先端候補検出手段は、前記画像表示手段に表示されたフレームより過去の時刻に検出された前記穿刺器具の前記先端候補の近傍領域を探索して、表示フレームに基づく前記差分画像から前記穿刺器具の前記先端候補を検出することが好ましい。
また、前記先端候補検出手段は、前記画像表示手段に表示されたフレームより過去の2時刻に検出された前記穿刺器具の前記先端候補を結んだ直線の近傍領域を探索して、表示フレームに基づく前記差分画像から前記穿刺器具の前記先端候補を検出することが好ましい。
【0015】
また、前記差分エコー信号生成手段は、前記差分画像を作成する前記時系列フレーム間の時間差を調整できる機能を備えることが好ましい。
また、前記差分エコー信号生成手段は、前記差分画像を作成するための過去のフレームは2フレーム以上前の複数のフレームを用いることが好ましい。
また、前記差分エコー信号生成手段は、前処理として、前記時系列エコー信号に、スペックルパターンを軽減する信号処理、前記穿刺器具の方向にぼかす信号処理、及び/又は、前記穿刺器具をつなげる信号処理を行った後に、前記差分エコー信号を生成することが好ましい。
また、前記画像表示手段は、過去の時刻に検出した前記穿刺器具の前記先端候補の画像も表示し、前記穿刺器具の刺入軌跡を表示することが好ましい。
また、前記先端候補処理手段は、前記先端候補点検出手段により検出された前記穿刺器具の前記先端候補を表示強調処理して、前記穿刺器具の前記先端候補が表示強調処理された先端強調画像を生成し、前記画像表示手段は、前記先端候補処理手段によって生成された前記穿刺器具の前記先端候補が表示強調処理された前記先端強調画像を、前記超音波画像生成手段によって生成された前記超音波画像に重ねて表示することが好ましい。
さらに、前記先端候補処理手段によって生成された前記穿刺器具の前記先端候補が表示強調処理された前記先端画像を、前記超音波画像生成手段によって生成された前記超音波画像に重ねるように合成して合成画像を生成する画像合成手段と、を具備し、前記画像表示手段は、前記画像合成手段によって合成された前記合成画像を表示することが好ましい。
【0016】
また、上記の目的を達成するために、本発明の超音波画像生成方法は、穿刺器具が刺入された被検体に超音波を送信して、前記被検体及び前記穿刺器具による前記超音波の反射波を受信し、受信した反射波に基づいて複数フレームの時系列エコー信号を生成し、生成された前記時系列エコー信号に基づいて、前記被検体の超音波画像を生成すると共に、前記複数フレームの前記時系列エコー信号から時系列フレーム間の差分エコー信号を生成し、生成された前記差分エコー信号に基づいて先端検出処理を行い、前記穿刺器具先端部を含む1以上の先端候補を検出し、検出された前記穿刺器具の前記先端候補を表示強調処理し、前記穿刺器具の前記先端候補を、前記超音波画像生成手段によって生成された前記超音波画像に重ねて表示部に表示することを特徴とする。
【発明の効果】
【0017】
本発明によれば、穿刺術を行なう際に、穿刺針などの穿刺器具を機械的に振動するための特別な機構やドップラモード処理を用いることなく、穿刺器具の先端部を超音波画像に正確、かつ的確に、また見易く表示することができる。
その結果、本発明によれば、細い穿刺針などの穿刺器具を用いる場合であっても、確実に穿刺器具の先端部を目的部位まで到達させることができる。
【図面の簡単な説明】
【0018】
【図1】本発明の超音波診断装置の一実施形態の構成を模式的に示すブロック図である。
【図2】図1に示す超音波診断装置の合成画像生成部の穿刺針先端検出部の一実施例の詳細を示すブロック図である。
【図3】図1に示す超音波診断装置の合成画像生成部の差分画像生成部で得られる差分画像の一例を表す図である。
【図4】穿刺針の刺入軌跡を表示した超音波画像の一例を表す図である。
【図5】(A)及び(B)は、それぞれ図2に示す穿刺針先端検出部で用いられる差分画像及び差分画像に施す先端強調フィルタの一例を表す図である。
【図6】図1に示す合成画像生成部の時系列フレーム差分画像生成部の一実施例を示すブロック図である。
【図7】図6に示す時系列フレーム差分画像生成部の穿刺針処理部の一実施例を示す機能ブロック図である。
【図8】(A)、(B)及び(C)は、図7に示す穿刺針処理部のフィルタ適用処理部で処理される1フレームの超音波画像、適用される穿刺針強調フィルタ及び処理後の穿刺針強調超音波画像の一例を表す図である。
【図9】図6に示す時系列フレーム差分画像生成部の穿刺針処理部の他の実施例を示す機能ブロック図である。
【図10】図9に示す穿刺針処理部の穿刺針領域特定部及び穿刺針先端位置特定部の詳細な構成を示した機能ブロック図である。
【図11】(A)は、本発明におけるBモード画像、(B)は、(A)に示すBモード画像に閾値処理をした後のエッジ画像、(C)は、(B)に示すエッジ画像にハフ変換を行って特定した直線を重畳表示したエッジ画像、(D)は、(C)に示すエッジ画像に穿刺針存在領域を重畳表示したエッジ画像の一例を表す図である。
【図12】(A)は、図11(D)に示す穿刺針存在領域における先端位置特定方法を示す模式図、(B)は、(A)による穿刺針の先端位置と穿刺針の始点とを結んだ直線を表す模式図である。
【図13】本発明の超音波画像生成方法の要部の一例を示すフローチャートである。
【図14】(A)及び(B)は、2つの時系列フレームの超音波画像、(C)は、(A)及び(B)に示す超音波画像の差分画像、並びに(D)は、(C)に示す差分画像に施すルックアップテーブル処理のための先端強調フィルタ、(E)は、(C)に示す差分画像のルックアップテーブル処理画像の一例を表す図である。
【図15】図14(D)に示す先端強調フィルタのフィルタ係数を決定するベースとなるガウスフィルタの一例を表す図である。
【図16】図14(C)に示す差分画像の2値化処理後の穿刺針の先端候補点の分布を表す図である。
【図17】本発明の超音波画像生成方法の要部の他の一例を示すフローチャートである。
【図18】本発明の超音波診断装置の診断装置本体の他の実施形態の構成を模式的に示すブロック図である。
【発明を実施するための形態】
【0019】
本発明に係る超音波診断装置及び超音波画像生成方法を、添付の図面に示す好適実施形態に基づいて以下に詳細に説明する。
【0020】
図1は、本発明の超音波画像生成方法を実施する本発明の超音波診断装置の一実施形態の構成を模式的に示すブロック図であり、図2は、図1に示す超音波診断装置の合成画像生成部の穿刺針先端検出部の一実施例の詳細を示すブロック図である。
本発明の超音波診断装置10は、図1に示すように、被検体、特に穿刺針等の穿刺器具が刺入された被検体に対して超音波を照射(送信)し、被検体及び穿刺器具から反射される超音波(エコー)を受信して得られたエコー信号から超音波画像、特に穿刺器具の先端部を合成した超音波画像を生成して表示し、超音波画像診断に供する装置であって、超音波プローブ12と、この超音波プローブ12が接続される診断装置本体14と有する。以下では、穿刺器具として、穿刺針を代表例として説明するが、本発明は、これに限定されるわけではない。
【0021】
超音波プローブ12は、探触子とも呼ばれ、被検体に押し当てて用いられ、超音波を送受信し、受信エコー信号を診断装置本体14に出力するもので、プローブ本体16と、通信ケーブル18と、穿刺アダプタ20と、を有する。
プローブ本体16は、電気信号を超音波に変換して照射(送信)すると共に、被検体から反射された超音波を受信して電気信号(エコー信号)に変換する変換器であって、基本的に、公知の超音波プローブであり、リニアスキャン方式、コンベックススキャン方式、セクタスキャン方式等いずれの方式の超音波プローブであってもよい。
なお、プローブ本体16の詳細な構成については、後述する。
【0022】
プローブ本体16は、超音波の送信及び受信を行なうための超音波送受信面(図示せず)を有し、この超音波送受信面と逆側に通信ケーブル18が接続され、超音波送受信面の一方の側面には、穿刺アダプタ20が配置されている。
通信ケーブル18は、プローブ本体16からエコー信号を診断装置本体14に伝送するためのものである。
【0023】
穿刺アダプタ20は、超音波診断装置10を用いて穿刺術を行なう際に、穿刺針等の穿刺器具を被検体に刺入させるためのガイドとなるものである。穿刺アダプタ20には、穿刺針を被検体に一定の角度で刺入させるためのガイド溝が形成されており、穿刺針は、このガイド溝に沿って刺入されることで、被検体に一定の角度で刺入される。すなわち、被検体に対する穿刺アダプタ20のガイド溝の角度により、穿刺針が被検体に刺入される角度(以下、刺入角度という)が決まる。穿刺アダプタ20のガイド溝は、被検体に対してする角度を変化させることができ、刺入角度を調節することができるようになっている。
穿刺アダプタ20は、プローブ本体16と物理的に接続されているのみならず、電気的にも接続されているのが好ましい。この場合には、穿刺アダプタ20に刺入角度に関する情報を保持させることができる。このような穿刺アダプタ20がプローブ本体16と物理的に接続されると電気的にも接続されるので、刺入角度を表す信号をプローブ本体16に出力することができる。また、穿刺アダプタ20は、被検体に対する溝の角度が変更される毎に現在の刺入角度を表す信号をプローブ本体16に出力することができる。
【0024】
図1に示すように、プローブ本体16は、複数の超音波トランスデューサ34と、複数の受信信号処理部36と、送信駆動部38と、送信制御部40と、受信制御部42と、プローブ制御部44とを有する。
複数の超音波トランスデューサ34は、1次元又は2次元の振動子アレイを構成するもので、複数のトランスデューサ34の各々に対応して複数の受信信号処理部36がそれぞれ接続されている。また、複数のトランスデューサ34に送信駆動部38を介して送信制御部40が接続され、複数の受信信号処理部36に受信制御部42が接続され、これら送信制御部40および受信制御部42にプローブ制御部44が接続されている。
また、受信信号処理部36は診断装置本体14のデータ格納部46に、プローブ制御部44は、本体制御部54に、通信ケーブルを介して、それぞれ接続されている。
【0025】
複数のトランスデューサ34は、それぞれ送信駆動部38から供給される駆動信号に従って超音波を被検体に向けて送信すると共に、被検体からの超音波エコーを受信して受信信号を出力する。各トランスデューサ34は、例えば、PZT(チタン酸ジルコン酸鉛)に代表される圧電セラミックや、PVDF(ポリフッ化ビニリデン)に代表される高分子圧電素子等からなる圧電体の両端に電極を形成した振動子によって構成される。
そのような振動子の電極にパルス状又は連続波の電圧を印加すると、振動子の圧電体が伸縮し、それぞれの振動子からパルス状又は連続波の超音波が発生して、それらの超音波の合成により超音波ビームが形成される。また、それぞれの振動子は、伝搬する超音波を受信することにより伸縮して電気信号を発生し、それらの電気信号は、超音波の受信信号として出力される。
【0026】
送信駆動部38は、例えば、複数のパルサを含んでおり、送信制御部40によって選択された送信遅延パターンに基づいて、複数のトランスデューサ34から送信される超音波が被検体内の組織のエリアをカバーする幅広の超音波ビームを形成するようにそれぞれの駆動信号の遅延量を調節して複数のトランスデューサ34に供給する。
【0027】
各チャンネルの受信信号処理部36は、受信制御部42の制御の下で、対応するトランスデューサ34から出力される受信信号に対して増幅およびデジタル(A/D)変換処理を施し、更に直交検波処理又は直交サンプリング処理を施すことにより複素ベースバンド信号を生成し、複素ベースバンド信号をサンプリングすることにより、組織のエリアの情報を含むサンプルデータを生成する。受信信号処理部36は、複素ベースバンド信号をサンプリングして得られるデータに高能率符号化のためのデータ圧縮処理を施すことによりサンプルデータを生成してもよい。
なお、本明細書では、信号は、ハードウエアにおいて主に信号レベル(信号値)をも表すものとしても用いられ、データは、ソフトウエアにおいて処理されるもので、大きさ(データ値)を表すものとしても用いられる。
プローブ制御部44は、診断装置本体14から伝送される各種の制御信号に基づいて、プローブ本体16の各部の制御を行う。
【0028】
一方、図1に示すように、診断装置本体14は、データ格納部46と、合成画像生成部48と、表示部52と、本体制御部54と、操作部56と、格納部58とを有する。
診断装置本体14において、データ格納部46には、合成画像生成部48が接続されており、また、プローブ本体16の複数の受信信号処理部36が接続されている。合成画像生成部48には、表示制御部50を介して表示部52が接続されている。合成画像生成部48及び表示制御部50には、本体制御部54が接続されている。さらに、本体制御部54には、操作部56と、格納部58とがそれぞれ接続されている。
【0029】
データ格納部46は、メモリまたはハードディスク等によって構成され、通信ケーブル18を介して超音波プローブ12の受信信号処理部36から時系列的に伝送される少なくとも1フレーム分のサンプルデータを格納する。
合成画像生成部48は、データ格納部46から読み出される1フレーム毎のサンプルデータに受信フォーカス処理を施して、1フレームのBモード画像である超音波画像の画像データ(Bモード画像信号)、特に穿刺針の先端部が表示強調された先端画像が合成された合成超音波画像などの超音波診断画像の画像データ(画像信号)を生成する。
なお、本明細書では、画像を各画素の画像データ又は画像信号の集合体であるとみなすことができるので、画像を表す画像データ又は画像信号の集合体を単に画像ともいう。
合成画像生成部48の詳細については、後述する。
【0030】
表示制御部50は、合成画像生成部48によって生成された超音波画像の画像信号に基づいて、表示部52に、超音波画像、特に穿刺針先端部が表示強調された超音波診断画像を表示させる制御をするためのもので、DSC(digital scan converter:デジタル・スキャン・コンバータ)を有する。表示制御部50では、このDSCにおいて、超音波画像の画像信号を、通常のテレビジョン信号の走査方式に従う画像信号に変換(ラスター変換)し、階調処理等の必要な画像処理を施すことにより、表示部52に表示させるための表示用画像信号に変換する。
表示部52は、表示制御部50で変換された表示用画像信号に基づいて超音波画像を表示するためのもので、例えば、LCD等のディスプレイ装置やモニタを含んでおり、表示制御部50の制御の下で、表示強調処理された穿刺針の先端部を超音波画像に重ねて表示する。
【0031】
操作部56は、オペレータが超音波診断装置10を動作させるための入力操作を行うためのもので、撮影メニュー、撮影条件等を設定し、被検体の撮像を指示する部位である。操作部56には、撮影メニュー、撮影条件などを設定するための入力キー、ダイヤルボタン、トラックボール、タッチパネル等の入力手段が設けられる。
また、操作部56は、ターゲット(目的部位)の位置の入力/設定、及び、刺入角度の設定の指示を入力するための機能も有する。さらに、操作部56は、穿刺針の刺入位置の指示を入力する機能を有していても良い。操作部56は、入力されたターゲットの位置の設定の指示、及び刺入角度の設定の指示、さらには、刺入位置の指示等を本体制御部54に供給する。
【0032】
本体制御部54は、合成画像生成部48及び表示制御部50を始めとして診断装置本体14内の各部の制御を行うものである。本体制御部54は、通信ケーブル18を介してプローブ本体16のプローブ制御部44と接続されており、プローブ本体16の動作を制御する制御信号をプローブ制御部44に供給する。
格納部58は、メモリ又はハードディスク等によって構成され、本体制御部54によって制御される合成画像生成部48及び表示制御部50を始めとして診断装置本体14内の各部を動作させるための動作プログラムを格納する。本体制御部54は、必要に応じて、格納部58から、診断装置本体14内の各部を動作させるための動作プログラムを読み出し、読みだした動作プログラムに従って診断装置本体14内の各部を動作させる。
【0033】
合成画像生成部48は、画像生成部64と、時系列フレーム画像記憶部(以下、単に画像記憶部ともいう)66と、時系列フレーム差分画像生成部(以下、単に差分画像生成部ともいう)68と、穿刺針先端検出部(以下、単に先端検出部ともいう)70と、画像合成部72と、を有する。
画像生成部64は、データ格納部46から読み出される1フレーム毎のサンプルデータから断層画像情報であるBモード画像信号を生成するためのもので、整相加算部60と、画像処理部62とを有する。
整相加算部60は、本体制御部54において設定された受信方向に応じて、予め記憶されている複数の受信遅延パターンの中から1つの受信遅延パターンを選択し、選択された受信遅延パターンに基づいて、データ格納部46から読み出された1フレーム毎のサンプルデータによって表される複数の複素ベースバンド信号にそれぞれの遅延を与えて位相を合わせてから加算(整相加算)することにより、受信フォーカス処理(ビームフォーミング)を行う。整相加算部60では、この受信フォーカス処理により、1フレーム毎に超音波エコーの焦点が絞り込まれたベースバンド信号(音線信号)、いわゆる1フレーム毎のエコー信号が生成される。
【0034】
画像処理部62は、整相加算部60によって生成される1フレーム毎のエコー信号(音線信号)に基づいて、被検体内の組織に関する断層画像情報であるBモード画像信号を生成する。画像処理部62は、帯域通過フィルタ、STC(自己補正型タイミング制御:sensitivity time control)部を備える高周波増幅器、対数増幅器及び輝度変換器等を含んでいる。
ここで、帯域通過フィルタは、超音波エコーの伝播時間に応じて通過帯域を変化させ、S/N比を向上させる。高周波増幅器のSTC部は、伝播時間に応じて増幅する利得を制御して、エコー信号(音線信号)に対して、超音波の反射位置の深度に応じて、距離による減衰の補正を施す。対数増幅器は、広い範囲にわたって変動するエコー信号の振幅の変動範囲を圧縮して増幅する。輝度変換器は、この振幅を輝度に変換してエコー信号を輝度変調のかかった1本の輝線で表示する、断層画像情報である1フレーム毎のBモード画像信号を生成する。
【0035】
時系列フレーム画像記憶部66は、複数のフレームの画像を表すBモード画像信号を、時系列フレームの画像として時系列的に記憶するメモリであり、データ格納部46と同様に、メモリまたはハードディスク等によって構成される。
時系列フレーム差分画像生成部68は、画像記憶部66に記憶される2つの時系列フレームの画像(Bモード画像信号)間の差分を求めて、差分画像(差分画像信号)を生成する。
なお、差分画像生成部68の好ましい詳細な構成については、後述する。
【0036】
穿刺針先端検出部70は、本発明の最も特徴とする部分であって、差分画像生成部68で生成された差分画像から先端検出処理を行い、例えば、差分画像の各画素の輝度差を用いて穿刺針先端部を含む1以上の先端候補を検出し、検出された先端候補に対して表示強調処理を行い、表示強調処理された先端画像を生成するためのものである。
先端検出部70では、図3に示すように、差分画像100において、刺入される穿刺針102を生成すると、穿刺針102の先端部104の移動した部分が差分として得られるので、穿刺針102の穿刺で一番重要な先端部104のみを検出することが可能となる。先端検出部70では、穿刺針102の先端部104に該当する1つの先端候補106のみを検出するのが最も好ましいが、通常、差分画像100には、穿刺針102以外の穿刺対象の動きやノイズ等があるために、複数の先端候補106が検出されてしまい、穿刺針102の先端部104に該当する1個の先端候補のみを必ずを検出できるわけではないことは、上述した通りである。
【0037】
そこで、本発明においては、先端検出部70で検出された先端候補が、1個又は所定個数、例えば6個以下である場合には、それらの先端候補に対して、表示強調処理として、例えば色付け処理をし、かつ/又は輝度を挙げる処理をして、カラー及び/又は高輝度先端画像を生成するのが好ましい。なお、先端検出部70で検出された先端候補が多い、例えば6個超である場合には確度の低い先端候補を除いて、1個以上6個以下の先端候補に絞り込むのが好ましく、もちろん、1個の先端候補に絞り込むのが最も好ましく、絞り込まれた先端候補に対して、同様に、表示強調処理をして、カラー及び/又は高輝度先端画像を生成するのが好ましい。
なお、先端検出部70の詳細な構成については、後述する。
【0038】
画像合成部72は、画像処理部62で生成されたBモード画像である超音波画像に、先端検出部70で生成された先端画像(穿刺針先端部強調画像)を合成して合成超音波画像を生成するものである。
こうして、画像合成部72で生成された合成超音波画像(画像信号)は、表示制御部50に伝送される。
【0039】
図示例の超音波診断装置10の診断装置本体14では、表示制御部50にDSCが備えられており、画像合成部72で合成された合成超音波画像(画像信号)を表示部52に表示させるための表示用画像信号に変換しているが、本発明はこれに限定されず、画像合成部72にDSCを備えておき、このDSCにおいて、画像合成部72で合成された合成超音波画像(画像信号)を、通常のテレビジョン信号の走査方式に従う画像信号に変換(ラスター変換)し、階調処理等の必要な画像処理を施すことにより、モニタ表示用Bモード画像信号を生成しても良い。
また、画像処理部62に、DSCを備えておき、このDSCにおいて、STC部によって補正されたエコー信号(音線信号)や、輝度変調されたBモード画像信号を、通常のテレビジョン信号の走査方式に従う画像信号に変換(ラスター変換)し、階調処理等の必要な画像処理を施すことにより、モニタ表示用Bモード画像信号を生成しても良い。この場合に、表示用画像信号を穿刺針の先端部の検出に用いれば、表示制御部50及び画像合成部72にDSCが備えられていなくても良い。
【0040】
次に、本発明の最も特徴とする穿刺針先端検出部70の詳細な構成について説明する。
穿刺針先端検出部70は、図2に示すように、先端候補検出部74と、先端候補処理部76と、先端候補記憶部78と、穿刺針情報及び条件記憶部(以下、単に情報記憶部という)80とを有する。
先端候補検出部74は、差分画像生成部68で生成された差分画像に対して先端検出処理を行い、穿刺針の先端部を含む1以上の先端候補を検出するためのものであり、候補点抽出処理部(以下、抽出処理部ともいう)82と、先端候補特定処理部(以下、特定処理部ともいう)84とを有する。
【0041】
候補点抽出処理部82は、先端検出処理の1つとして、まず差分画像の輝度差や輝度値に基づいて所定条件の輝度差分値を有する点、例えば、2値化処理や、フィルタ処理や、階調処理等のためのLUT(ルックアップテーブル)処理をして、周辺部分の輝度に対して所定輝度差以上又は以下の領域や部分(画素の集合部分)、若しくは、所定輝度値以上又は以下の領域を、穿刺針の先端候補点として抽出する。
なお、抽出処理部82においては、差分画像で輝度差等に応じて検出された先端候補点や領域の密度や大きさに基づいて、穿刺針の先端候補を選別して抽出するのが好ましい。具体的には、メディアンフィルタ処理や、所定の点の近傍画素の輝度和を求め輝度和が大きい箇所や、所定の閾値を超える部分を先端候補点として抽出しても良いし、先端候補としても良い。
【0042】
また、抽出処理部82においては、先端候補記憶部78に記憶されている、過去に検出された先端候補の位置を参照して、先端候補抽出領域を予め設定してから、LUT処理を行うのが好ましい。特に、抽出処理部82においては、過去に検出された2個点以上の穿刺針の先端候補を結ぶ直線近傍上の領域より、ある一定以上の輝度差の領域を穿刺針の先端候補点として抽出しても良いし、先端候補として検出しても良い。
こうすることにより、穿刺針の進む動きや方向を考慮して先端候補点や先端候補を探すことができるので、より正確な先端候補点の抽出処理や先端候補の検出処理をすることができる。
【0043】
先端候補特定処理部84は、抽出処理部82で穿刺針の先端候補点が複数抽出された場合に、先端検出処理の1つとして、確度の低い先端候補点を除去する処理を行って、例えば、相関の高い領域の中心点のみを先端候補として特定することにより、先端候補点の数を所定数、例えば、1個以上で6個以下、最も好ましくは1個に絞り込み、絞り込まれた先端候補点を検出すべき先端候補として特定する。
このような確度の低い先端候補点を除去する処理としては、抽出処理部82でLUT処理した後、先端候補点が複数残る場合には、特定処理部84において、過去に検出された複数の先端候補の位置点との距離が最小となる点から先端候補点を絞るのが好ましい。即ち、過去の穿刺針の先端候補の検出結果を複数、先端候補記憶部78に保存しておき、例えば、図4に示すように、5フレーム分の検出結果点(先端候補)と、現在検出した先端候補点のうち、2点間の距離が最小となる候補点を現在の検出結果としてもよい。このような方法は、図4に示すように、抽出処理部82で単純な先端候補点の抽出において、複数の先端候補点が抽出された時に、特定処理部84で先端候補点を絞り込む時に有効である。
【0044】
特定処理部84は、抽出処理部82で抽出された穿刺針の先端候補点が、所定数、例えば上述したように、1個以上で6個以下である場合には、それらの候補点をそのまま検出すべき穿刺針の先端候補として特定しても良いし、より少ない個数、好ましくは、1個になるまで絞り込んでも良い。
なお、抽出処理部82で抽出される先端候補点が、常に、先端候補検出部74で検出すべき先端候補の所定の個数より少なくなる場合には、例えば、1個以上で6個以下となる場合には、特定処理部84は設けなくても良い。
【0045】
なお、抽出処理部82でLUT処理した結果、穿刺針の先端候補点を1個も抽出できなかった場合には、先端候補記憶部78に記憶されている、前回又は過去に検出された先端候補を今回検出すべき先端候補点として抽出しても、先端候補として検出しても良いし、過去に検出された先端候補から新たな先端候補点又は先端候補を推定しても良い。抽出処理部82で抽出又は推定された先端候補点は、特定処理部84で、今回検出すべき先端候補として特定される。また、特定処理部84で、過去に検出された先端候補自体、若しくは推定された先端候補を、直接、今回検出すべき先端候補として特定しても良い。
このような場合には、穿刺針の刺入による動きがなかったことが想定されるので、前回又は過去に検出された先端候補を利用しても良いことが分かる。
【0046】
また、先端候補検出部74において、現在のフレームで最適な先端候補を検出できなかった時にも、先端候補記憶部78に記憶されている、過去の検出結果を利用して表示部52に表示してもよい。例えば、過去の検出結果が複数点あれば、直線の式と穿刺針の刺入する速度も求められるので、これら2つから推測される点を先端候補として表示しても良い。或いは、先端候補検出部74で最後に検出に成功した時の点をそのまま先端候補として表示し続けるようにしてもよい。
こうして、先端候補検出部74は、所定数、例えば1個以上6個以下の先端候補を検出する。なお、本発明において、先端候補検出部74が検出する先端候補の個数を6個とするのが好ましいのは、本願発明者が、少なくとも6個の先端候補を検出しておけば、その6個の中に穿刺針の先端部が含まれている確率が高いことを確認しているからである。
【0047】
上述した例では、抽出処理部82や特定処理部84では、先端検出処理として、2値化処理や、フィルタ処理や、階調処理等のLUT処理が行われているが、本発明はこれに限定されず、抽出処理部82で抽出される穿刺針の先端候補点の個数を上記の所定数とするために、2値化処理後に階調処理等のLUT処理を行い、輝度差の大きい方から所定数選択するようにしても良い。
また、抽出処理部82又は特定処理部84のLUT処理に用いるLUTを、画像生成部64で生成される超音波画像(Bモード画像)及び差分画像生成部68で生成される差分画像の少なくとも一方に応じて調整しても良い。即ち、LUT処理では、穿刺針の刺入方向に重み付けを与えた穿刺針先端部が含まれる大きさの先端強調フィルタを用いるのが好ましい。このような先端強調フィルタは、差分画像に適用されるので、穿刺針の動きを検出するフィルタということができる。
このような、先端強調フィルタとしては、フィルタ形状を階段状として、穿刺針が刺入される方向にある画素を重み付け加算に用いる形態のフィルタや、フィルタ形状を矩形とし、穿刺針が刺入される方向にある画素のフィルタ係数を大とした重み付け加算を行う形態のフィルタを用いることができる。
【0048】
ここで、先端検出部70において、穿刺針の先端部の画像を含む差分画像及び差分画像に施すLUT処理に用いる先端強調フィルタの一例を図5(A)及び(B)に示す。
図5(B)に示す縦81×横81のサイズを持つ先端強調フィルタは、図5(A)に示す差分画像における穿刺針の刺入方向に重み付けが与えられ、穿刺針先端部を含むサイズ(大きさ)を持ち、刺入方向にある画素のフィルタ係数を大とした重み付け加算を行う矩形のフィルタである。
このような先端強調フィルタは、対象画素が中心に来るように縦横共に奇数画素となっており、各画素のフィルタ係数は、次式(1)に示すガウス関数を適用して決定することができる。即ち、図5(B)に示す先端強調フィルタは、次式(1)に示すガウス関数を適用して生成されたフィルタである。
【0049】
【数1】

【0050】
ここで、f(x、y)はフィルタ係数、μx、μyはx、y方向の平均、σ、σはx、y方向の分散、ρは相関値であり、μx=μy=0、σ=σ=40、ρ=0.9である。図5(B)は、フィルタのフィルタ係数の大小を、濃度の濃淡で表すものである。このようにして、穿刺針が刺入される方向にある画素に対するフィルタ係数を大とするフィルタ係数を作成することができる。
図5(B)において、中央に近い程フィルタ係数は大きく、中央の画素を中心とした同心楕円上のフィルタ係数は同一となっている。なお、図5(B)においては、理解の容易性ために、同心楕円を、境界を付けて描いているが、図示のような境界が存在しているわけではないことは言うまでもない。楕円の長手方向は穿刺針の刺入方向と同方向である。すなわち、穿刺針の刺入方向のフィルタ係数を大とすることで、穿刺針が存在する可能性が高い位置にある画素のフィルタ係数を大とした重み付け加算を行う。
【0051】
このようにして作成された刺入角度に応じた縦横比を持つ先端強調フィルタを情報記憶部80に記憶しておく。
本発明においては、刺入角度に応じて使用する先端強調フィルタを決定して、情報記憶部80に記憶しておき、先端候補検出部74において、差分画像に対して、情報記憶部80に記憶されていた先端強調フィルタを用いて周囲の画素との重み付け加算を行う先端強調処理を行うことにより、穿刺針の先端部の確度の高い候補である先端候補を検出することができる。
【0052】
なお、差分画像で検出された領域の密度や大きさを求める場合において、図5(B)に示す先端強調フィルタのように、穿刺針の先端部が含まれるサイズのフィルタを以下のようにして作成することができる。
フィルタの穿刺針の先端部が含まれるサイズは、複数、例えば、穿刺針の太さに合わせて「大、中、小」、また、穿刺針の刺入角に合わせて「10°、30°、60°」などの10°〜60°の間で複数種類用意していても良い。また、穿刺針のサイズ(G)や、穿刺目的(FNA(Fine Needle Aspiration Cytology:穿刺吸引細胞診)、CNB(Core Needle Biopsy:針生検)、RFA(Radiofrequency Ablation:ラジオ波焼灼)等)や、刺入角度などの穿刺情報を利用してサイズ決定してもよい。
また、上述したように、フィルタの重み付けは、ガウス関数などを利用しても良い。また、この場合には、平均・分散・相関などで重みの割合をユーザが変更できるパラメータとして用意しても良い。
【0053】
また、フィルタのサイズや重み付けフィルタの重みの変更は、ユーザが事前に設定画面で選択しておいても良いし、または、ファンクションキーなどに機能を割り当て、超音波プローブ12の走査中に変更できるようにしても良い。
なお、本発明に用いられる先端強調フィルタとしては、例えば、本出願人の出願に係る同時継続出願である特願2010−216512号明細書「音波画像生成装置および超音波画像生成方法」に記載された穿刺器具強調処理に用いられる種々の穿刺器具強調フィルタを挙げることができる。
【0054】
また、抽出処理部82や特定処理部84でLUT処理を行って、穿刺針の先端候補点の抽出や先端候補の検出を行う場合には、差分画像から穿刺針の先端強調フィルタを適用したサイズで先端候補点周辺を色付けしてもよい。こうすることにより、色付けられた領域内の先端候補点を先端候補として検出することができ、検出された先端候補が穿刺針の先端部である確度や確率を上げることができる。
さらに、先端候補検出部74の抽出処理部82及び/又は特定処理部84は、表示部52に表示されたフレームに基づく差分画像において、表示フレームより過去の時刻に検出された穿刺針の先端候補の近傍領域、好ましくは、表示フレームより過去の2時刻に検出された穿刺針の先端候補を結んだ直線の近傍領域を探索して、表示フレームに基づく差分画像から穿刺針の先端候補を検出するのも好ましい。こうすることにより、対象部位に刺入される穿刺針の動き、即ち移動を考慮して、穿刺針の先端部である確率の高い先端候補を検出することができる。
【0055】
先端候補処理部76は、表示部52に表示した際に術者に識別し易くするために、先端候補検出部74で検出された1以上の所定数の先端候補又はその座標に対して表示強調処理を行い、表示強調された穿刺針の先端候補の画像、即ち、穿刺針の先端候補が表示強調された先端画像を生成するものである。
先端候補処理部76では、表示強調処理として、先端候補検出部74で検出された穿刺針の先端候補を色付けして、カラー表示するためのカラー先端画像を生成するのが好ましく、又は、先端候補の輝度を上げて高輝度先端画像を生成するのが好ましく、若しくは、先端候補を色付けした上で輝度を上げて高輝度カラー先端画像を生成するのも好ましい。
【0056】
なお、先端候補やその座標の色付けや高輝度化をする個数は、1個であるのが好ましいが、2個以上でも良いし、過去に検出した先端候補やその座標を利用してもよい。また、図4に示すように、先端候補処理部76において、過去の時刻に検出した穿刺針の先端画像も表示強調して表示部52に重畳表示して、穿刺針の軌跡が表示されるようにしても良い。
穿刺針の先端候補やその座標の色付けや高輝度化をする領域は、先端候補の領域自体であっても良いし、先端候補の座標の任意領域、例えば、その座標を含む長方形、楕円形、真円、正方形等の領域であってもよい。また、その領域の大きさは、事前に設定することができ、また、ファンクションキーなどの割り当てにより、超音波プローブ12の走査中に変更してもよい。
さらに、色付けや高輝度化をする領域は、先端候補検出部74において先端候補を検出する際の先端強調フィルタによる重みづけを利用してもよい。
【0057】
ここで、先端候補検出部74において差分画像の輝度差の正負を判別しておき、先端候補処理部76では、先端候補検出部74で判別された差分画像の輝度差の正負に応じて、先端候補検出部74で検出された穿刺針の先端候補を表示強調処理するのが好ましく、より好ましくは、先端候補検出部74で検出された穿刺針の先端候補を表示強調処理する色相及び輝度を変更するのが良い。このように、表示強調処理された先端候補の色相及び輝度を変更して表示部52に表示することにより、例えば、差分画像の輝度差が正の場合には、対象部位への挿入時に穿刺針の先端部を視認することができ、負の場合には、穿刺針を抜く時に穿刺針の先端部が視認することができるという効果が有る。
また、先端候補検出部74では差分画像の輝度差の正負を判別せず、先端候補処理部76において、輝度差の絶対値にて色付け又は高輝度化をしたカラー先端画像を生成して、表示部52に表示してもよい。
【0058】
先端候補記憶部78は、メモリ又はハードディスク等によって構成され、先端候補検出部74で検出された先端候補(その位置(座標)や大きさ等)を記憶しておく記憶部である。先端候補記憶部78は、過去の時刻の複数の先端候補を記憶しておいても良い。
先端候補記憶部78は、記憶している過去の時刻の複数の先端候補を、先端候補検出部74における検出へのに利用に供するために先端候補検出部74の抽出処理部82や特定処理部84に出力すると共に、先端候補処理部76における表示強調処理や、表示部52への表示に供するために、先端候補処理部76にも出力する。
【0059】
穿刺針情報及び条件記憶部80は、メモリ又はハードディスク等によって構成され、穿刺針に関する情報、及び先端候補検出部74において先端候補を検出する検出条件や検出処理のための処理条件や、先端候補処理部76において表示強調処理する処理条件等を記憶しておく記憶部である。ここで、穿刺針に関する情報とは、穿刺針の種類、太さ、刺入位置(穿刺針が被検者に刺入される位置)、刺入角度(穿刺針が被検者に刺入される角度)及び刺入経路、穿刺ターゲット(目的物や部位)等である。また、検出条件や処理条件は、具体的には、先端候補検出部74で抽出される先端候補点の抽出条件、例えば、差分画像の輝度差や輝度値の大きさや、抽出点の密度や大きさ等の閾値等の条件や、抽出に使用する各種のLUTや先端強調フィルタ等の各種のフィルタや、そのサイズや重み等の条件や、先端候補処理部76における先端候補の先端候補の色付けや高輝度化や輝度上げ等の先端候補の表示強調処理の内容や、その対象となる先端候補の領域の大きさや形状等の処理条件である。
【0060】
情報記憶部80は、ユーザからの操作部56による入力等により穿刺針に関する情報や先端候補の検出条件や処理条件を本体制御部54を介して取得して記憶し、記憶されている情報や条件を、先端候補検出部74の抽出処理部82や特定処理部84に出力すると共に、先端候補処理部76にも出力する。
先端検出部70は、基本的に以上のように構成される。
【0061】
次に、図1に示す差分画像生成部68の好ましい構成について説明する。
図6は、図1に示す合成画像生成部の時系列フレーム差分画像生成部の一実施例を示すブロック図である。
差分画像生成部68は、図6に示すように、前処理部86と、差分処理部88と、を有し、前処理部86は、スペックルノイズ除去部90と、層構造除去部92と、穿刺針処理部94と、を有する。
【0062】
前処理部86は、画像生成部64で生成され、フレーム画像記憶部66に記憶されている2つの時系列フレームのBモード画像信号間の差分画像を生成する前に、差分画像における穿刺針の先端部の検出の確度上げるために、差分処理の対象となる2つの時系列フレームの内の少なくとも1つのフレームのBモード画像信号(フレーム画像)に対して、ノイズや層構造の除去処理や、穿刺針強調処理や、穿刺針画像連結処理等の前処理を行うものである。なお、穿刺針強調処理や穿刺針画像連結処理等の信号処理は、ノイズ除去後のBモード画像信号に対して穿刺針を明確化するため行うものである。
ところで、前処理部86は、スペックルノイズ除去部74、層構造除去部76、及び穿刺針処理部94の全てを備えているのが好ましいが、少なくとも1つを備えるものであってもよい。
【0063】
差分処理部88は、スペックルノイズ及び層構造が除去された2つの時系列フレームのBモード画像信号(画像)間の差分を求めて、差分画像(差分画像信号)を生成する。
ここで、差分処理部88は、検査者や術者の手技等により、穿刺針の挿入速度が変わるので、差分画像を作成する2つの時系列フレーム間の時間差を調整できる機能を備え、2つの時系列フレームのフレーム間隔を任意に設定可能であるのが好ましい。また、差分画像を作成するための過去のフレームは2フレーム以上前の複数のフレームを用いるのが好ましい。なお、差分画像(画素信号)には、差分値の絶対値をも含んでいても良い。
なお、差分画像生成部68は、前処理部86及び差分処理部88を備えているのが好ましいが、差分処理部88を備えていれば、前処理部86は、備えていなくても良い。
【0064】
スペックルノイズ除去部90は、画像生成部64で生成され、画像記憶部66に記憶されている2つの時系列フレームのBモード画像信号(フレーム画像)の差分処理の前処理として、これらのBモード画像信号のスペックルパターンを軽減する信号処理を行い、スペックルノイズを除去させる。このスペックルノイズ除去処理には、例えば、メディアンフィルタを適用するのが好ましいが、空間コンパウンド法、周波数コンパウンド法、モフォロジー処理等を適用しても良い。
層構造除去部92は、スペックルノイズ除去部90でスペックルノイズが除去されたBモード画像信号に対して、層構造の除去処理を行い、穿刺針の方向に伸びる明るい線を除去する。例えば、CFAR(Constant False Alarm Rate)処理およびMIP(Maximum intensity projection)処理を行う。CFAR処理としては、特開2006−305337号公報に記載の方法を用いることができる。
こうして、層構造除去部92で層構造の除去処理を行うことにより、穿刺針処理部94による後の信号処理において、穿刺針以外の連結部分を除去することができる。
【0065】
また、穿刺針処理部94は、フレーム画像の穿刺針を明確化するために、穿刺針の方向にぼかして穿刺針をつなげる信号処理や、穿刺針の特徴点から穿刺針をつなげる信号処理を行う。したがって、穿刺針処理部94は、穿刺針の方向にぼかして穿刺針をつなげる信号処理を行う穿刺針強調処理部94aと、穿刺針の特徴点から穿刺針をつなげる信号処理を行う穿刺針連結処理部94bとの少なくとも一方を備えるものである。
図7に、図6に示す時系列フレーム差分画像生成部の穿刺針処理部の一実施例である穿刺針強調処理部を示す。
穿刺針強調処理部94aは、図7に示すように、フィルタ適用処理部96と、エッジ強調処理部98と、を備える。
【0066】
フィルタ適用処理部96は、層構造除去部92やスペックルノイズ除去部90でスペックルノイズや層構造等のノイズが除去されたBモード画像信号に対して、ぼかしフィルタを適用するものである。即ち、フィルタ適用処理部96は、情報記憶部80に記憶された刺入角度に基づいて、使用するぼかしフィルタを特定して情報記憶部80から読み出し、例えば、刺入角度が10度の場合は、刺入角度10度用のぼかしフィルタを読み出し、読み出したぼかしフィルタをノイズ除去後のBモード画像データに適用する。ここで用いられるぼかしフィルタは、穿刺針の刺入角度に合ったフィルタであるため、穿刺針が刺入される方向に画像をぼかして、途切れ途切れだった穿刺針画像の繋がりを良くすることができる。
【0067】
エッジ強調処理部102は、ぼかしフィルタが適用されたBモード画像データに対してBモード画像のエッジ強調処理を行う。この後、例えば、穿刺針に対して垂直方向の1次元エッジ強調処理を行って、穿刺針のエッジを強調する。なお、差分処理部88に出力する前に、穿刺針が刺入される方向に繋がりが良くなった、エッジを強調後のBモード画像(画像データ)と元のBモード画像(画像データ)とを重畳合成して合成フレーム画像(画像データ)を生成しても良い。これにより、組織内における穿刺針の全体像が明確化されたフレーム画像を、差分処理部88に出力することができる。
【0068】
なお、フィルタ適用処理部96で穿刺針の方向にぼかす信号処理に用いられるぼかしフィルタとしては、上述した先端検出部70で使用する先端強調フィルタフィルタと同様に、形状を階段状として、穿刺針が刺入される方向にある画素を重み付け加算に用いる形態のフィルタや、フィルタ形状を矩形とし、穿刺針が刺入される方向にある画素のフィルタ係数を大とした重み付け加算を行う形態のフィルタを用いることができる。ここで、このようなフィルタをぼかしフィルタとして用いる場合には、先端検出部70で用いられる先端強調フィルタを、フレーム画像における穿刺針の刺入方向に重み付けを与え、穿刺針を含むサイズを持つように変更して穿刺針強調フィルタとして作成する必要がある。
すなわち、フィルタ適用処理部96では、ぼかしフィルタとして、図5(B)に示すように、フィルタ形状を矩形とし、穿刺針が刺入される方向にある画素のフィルタ係数を大とした重み付け加算を行う態様の穿刺針強調フィルタを用いることもできる。
【0069】
このような穿刺針強調フィルタを、1フレームのBモード画像(フレーム画像)に対して、穿刺針の刺入方向又は刺入角に合わせて適用した例を図8に示す。
図8(A)、(B)及び(C)は、それぞれ、フレーム画像(Bモード画像)、穿刺針強調フィルタ及び穿刺針強調画像を示す。
ここで、図8(A)に示すフレーム画像は、図7に示す穿刺針処理部94aのフィルタ適用処理部96で処理される、穿刺針強調処理を行っていない1フレームの超音波画像(Bモード画像)である。
図8(B)に示す穿刺針強調フィルタは、図8(A)に示す1フレーム画像に適用される、縦に55画素、横に7画素のサイズを持つ穿刺針強調フィルタである。
図8(C)に示す穿刺針強調画像は、穿刺針強調フィルタを、フレーム画像に対して穿刺針の刺入方向又は刺入角に合わせて適用して得られた穿刺針強調超音波画像であり、穿刺針強調処理前のBモード画像を刺入角度方向にぼかした画像となる。このため、図8(C)に示すように、得られた穿刺針強調画像では、穿刺針がつながって表示される。
なお、図8(A)及び(C)は、穿刺針強調フィルタ処理による違いを分かりやすくするために、スペックルノイズ除去、層構造の除去およびエッジ強調は行っていない。
【0070】
このように、図8(B)に示す穿刺針強調フィルタは、図5(B)に示す先端強調フィルタをベースとして、穿刺針強調フィルタのサイズとなるようにリニア補間することで、穿刺針強調フィルタに用いられるフィルタ係数を生成することができる。すなわち、図5(B)に示す縦81×横81のサイズを持つフィルタを、リニア補間することにより、図8(B)に示す、縦に15画素、横に27画素のサイズを持つ穿刺針強調フィルタを作成することができる。こうして得られた縦に15画素、横に27画素のサイズを持つ穿刺針強調フィルタは、刺入角度10度の場合における穿刺針強調フィルタである。刺入角度に応じてリニア補間による縦横比が決定される。この穿刺針強調フィルタにおいても、中心部のフィルタ係数が最も大きく、次いで穿刺針が刺入される方向に沿ってフィルタ係数を大きく分布させている。中心にある対象画素は、対象画素を中心とした周囲の縦15画素×横27画素を用いて重み付け加算される。各画素が持つ値に対し、この穿刺針強調フィルタのフィルタ係数を乗じて重み付け加算を行った結果が対象画素の値となる。このようにして作成された刺入角度に応じた縦横比を持つ穿刺針強調フィルタを情報記憶部80に記憶しておく。
【0071】
本実施形態においては、刺入角度に応じて使用する穿刺針強調フィルタを決定し、決定した穿刺針強調フィルタを用いて、周囲の画素との重み付け加算を行う穿刺針強調処理を全画素に対して行い、穿刺針を強調処理した画像を生成することができる。
なお、ここでは、縦55画素、横7画素のサイズに変換する場合を例にとって説明したが、異なるサイズを持つ穿刺針強調フィルタにおいても、ベースとなる図5(B)に示す縦81×横81のサイズを持つフィルタに対してリニア補間をすることで、各穿刺針強調フィルタのサイズに対応したフィルタ係数を生成することができる。
【0072】
このような穿刺針強調フィルタ等のぼかしフィルタとしては、穿刺針が途切れる間隔を含む程度大きいサイズとするのが好ましい。このぼかしフィルタのサイズは、複数、例えば、穿刺針の太さに合わせて「大、中、小」、また、穿刺針の刺入角に合わせて「10°、30°、60°」などの10°〜60°の間で複数種類用意していても良い。複数種類用意していても良い。また、穿刺針のサイズ(G)や、穿刺目的(FNA、CNB、RFA等)や、刺入角度などの穿刺情報を利用してサイズ決定してもよい。
また、穿刺針の方向にぼかす信号処理に用いる重み付けフィルタとしては、ガウスフィルタなどを利用しても良い。また、この場合には、平均・分散・相関などで重みの割合をユーザが変更できるパラメータとして用意しても良い。
【0073】
また、ぼかしフィルタのサイズや重み付けフィルタの重みの変更は、ユーザが事前に設定画面で選択しておいても良いし、または、ファンクションキーなどに機能を割り当て、超音波プローブ12の走査中に変更できるようにしても良い。
なお、ぼかしフィルタとしては、例えば、本出願人の出願に係る同時継続出願である特願2010−216512号明細書「音波画像生成装置および超音波画像生成方法」に記載された穿刺器具強調処理に用いられる種々の穿刺器具強調フィルタを挙げることができる。
なお、フィルタ適用処理部96で穿刺針の方向にぼかす信号処理としては、ぼかしフィルタとして穿刺針強調フィルタを用いた穿刺針強調処理を挙げることができ、例えば、上記特願2010−216512号明細書「音波画像生成装置および超音波画像生成方法」に記載された穿刺器具強調処理を適用することができる。
【0074】
即ち、ぼかしフィルタとしては、フィルタ形状を階段状とし、穿刺針が刺入される方向にある画素を重み付け加算に用いる形態の穿刺器具強調フィルタも用いることができる。すなわち、穿刺針強調処理を行う対象の画素(以下対象画素という)の値(画像データ)を、対象画素の周囲にある特定の画素の値(画像データ)と重み付け加算する穿刺針強調フィルタを用いることができる。この時、フィルタ適用処理部96は、対象画素の位置を順に異ならせ、Bモード画像中の全ての画素の画像データに対して、刺入角度に応じて決定した穿刺針強調フィルタによる穿刺針強調処理を行う。
このような穿刺針強調フィルタとしては、複数のフィルタ要素を1列として、刺入角度に応じて列をずらしながら複数列を階段状に連結し、連結された複数列からなる複数のフィルタ要素の中心、若しくは略中心にある要素を対象画素とし、対象画素のフィルタ係数に対して両側に増加若しくは減少するフィルタ係数を持つフィルタなどを挙げることもできる。
このような穿刺針強調フィルタのフィルタ係数は、例えば、次式(2)に示すガウスフィルタを用いて生成される。
【0075】
【数2】

【0076】
ここで、μは平均、σは分散、xは中心になる要素を0とした場合の図面縦方向の画素の位置を表す。例えば、x=−1及びx=1は中心要素の前後又は左右の隣接画素の位置となる。このように、ガウスフィルタを用いて、各画素のフィルタ係数を決定することで、対象画素に近い位置にある画素のフィルタ係数をより増加させた重み付け加算を行うことができる。
【0077】
図9に、図6に示す時系列フレーム差分画像生成部の穿刺針処理部の一実施例である穿刺針連結処理部を示す。
穿刺針連結処理部94bは、穿刺針の特徴点から穿刺針をつなげる信号処理を行うものである。このような信号処理としては、例えば、穿刺針の特徴点を利用し、ハフ変換などで、直線を表示する処理や、穿刺針の特徴点を利用し、最小二乗誤差により直線をフィッティングさせる処理や、穿刺針先端を表わす特徴点の位置座標を任意の期間中メモリに保管し、全ての点を通る直線や曲線で結ぶ処理などを挙げることができる。
このような穿刺針連結処理部94bは、図9に示すように、穿刺針候補点抽出部100と、候補点位置記憶部102と、穿刺針領域特定部104と、穿刺針先端位置特定部106と、穿刺針画像生成部108と、穿刺針連結画像生成部110と、を備える。
【0078】
穿刺針特徴点抽出部(以下、特徴点抽出部という)100は、情報記憶部80に記憶された穿刺針に関する情報及び層構造除去部92やスペックルノイズ除去部90でスペックルノイズや層構造等のノイズが除去されたBモード画像データを用いて、穿刺針の特徴点を抽出する。具体的には、Bモード画像データに対して、エッジ抽出フィルタを適用し、閾値処理を行って、エッジ画像データを作成して、エッジ画像データから穿刺針上の特徴点を抽出する。穿刺針は、表面がなめらかで超音波の散乱が起こりにくいため、Bモード画像中においては途切れ途切れで表示される。従って、穿刺針が存在するBモード画像データに対して閾値処理を行えば、途切れ途切れとなった穿刺針の一部を表す特徴点が抽出できる。穿刺針の特徴点を抽出する時間間隔は、ユーザが変更できる。なお、Bモード画像中には、組織等の穿刺針以外に由来する高輝度点も存在するため、閾値処理で抽出される特徴点は、穿刺針由来のものだけではない。組織等に由来する穿刺針特徴点は、エッジ画像に基づいて穿刺針の位置を特定する場合にノイズとなる。
【0079】
特徴点位置記憶部(以下、位置記憶部という)102は、特徴点抽出部100によって抽出された全ての穿刺針特徴点の位置を記憶し、穿刺針特徴点の位置を穿刺針領域特定部(以下、領域特定部という)104へ出力する。
領域特定部104は、位置記憶部102に記憶された複数の穿刺針特徴点の分布に基づき、穿刺針及び穿刺針の延長線を表す直線(穿刺針候補直線)を生成する。領域特定部104は、生成した直線を含む領域を穿刺針が存在する領域として特定する。
穿刺針先端位置特定部(以下、位置特定部という)106は、領域特定部104によって特定された穿刺針が存在する可能性が高い領域の輝度情報に基づいて穿刺針の先端位置を特定し、特定した先端位置を穿刺針画像生成部108へ出力する。
【0080】
穿刺針画像生成部108は、領域特定部104によって生成された穿刺針及び穿刺針の延長線を表す直線と、位置特定部106によって特定された穿刺針の先端位置とに基づいて、穿刺針を表す画像を生成して穿刺針連結画像生成部(以下、連結画像生成部という)110へ出力する。穿刺針を表す画像は様々な形態からユーザが選択することができる。例えば、穿刺針を直線で表す形態や、穿刺針の輪郭を表す形態や、点の集合として穿刺針を表す形態等である。ここで、穿刺針の輪郭を表す場合は、情報記憶部80から穿刺針情報を読み出すことで穿刺針の輪郭を生成する。また、穿刺針を表す輝度等は、ユーザが設定することができる。例えば、穿刺針を表す画像の輝度は、ユーザが好みの輝度としても良いし、Bモード画像中にある穿刺針と思われる部分の輝度と同等程度の輝度としても良い。
連結画像生成部110は、層構造除去部92から出力されたBモード画像データに、穿刺針画像生成部108によって生成された、つなげられた穿刺針を表す画像が重畳された合成Bモード画像データを生成する。連結画像生成部110は、合成Bモード画像データを差分処理部88へ出力する。
【0081】
図10は、図9に示す穿刺針領域特定部104及び穿刺針先端位置特定部106のより詳細な構成を示した機能ブロック図である。
領域特定部104は、穿刺針直線生成部112及び穿刺針領域生成部114を有する。
穿刺針直線生成部(以下、直線生成部という)112は、位置記憶部102から出力されたBモード画像中に分布した穿刺針特徴点に対してハフ変換を行い、穿刺針候補直線を生成する。穿刺針候補直線は、穿刺針特徴点を最も多く通る直線である。直線生成部112は、生成した穿刺針候補直線上にある点の位置座標を穿刺針領域生成部(以下、領域生成部という)114へ出力する。
【0082】
領域生成部114は、直線生成部112によって生成された穿刺針候補直線を所定の幅に広げ、穿刺針候補直線に含まれる領域を穿刺針が存在する領域(穿刺針存在領域)として特定する。領域生成部114は、特定した穿刺針存在領域に含まれる点の位置座標を位置特定部106へ出力する。
位置特定部106は、平均輝度演算部116、最大輝度特定部118、最小輝度特定部120及び穿刺針先端位置演算部122を有する。
【0083】
図11(A)〜(D)及び図12(A)〜(B)を用いて、Bモード画像から穿刺針先端位置の求める方法及び穿刺針を表す画像を生成する方法をより詳細に説明すると共に、位置特定部106の各構成要素の機能についても説明する。
図11(A)において、Bモード画像の左上端部を原点とし、左上端部から右上端部への横軸をX軸、左上端部から左下端部への縦軸をY軸としたXY直交座標系に画像が位置する場合を考える。Bモード画像の左上端部から右上端部への方向をX軸の正の方向、Bモード画像の左上端部から左下端部への方向をY軸の正の方向とする。以下、特に説明がなければ、画像に対するXY直交座標系の定義は同様のものとする。
【0084】
図11(A)は、穿刺針を含む被検者のBモード画像を示す。図11(A)中の穿刺針は、途切れ途切れで表示され、穿刺針の正確な位置が分かりにくい。そこで、穿刺針連結処理部94bは、まず、図11(A)のようなBモード画像から穿刺針が存在する可能性が高い領域を特定し、その領域内における穿刺針を含む直線上の強度分布から、穿刺針の先端位置を特定する。また、穿刺針連結処理部94bは、穿刺針の先端位置を基に穿刺針を表す画像を生成し、Bモード画像に重畳して、差分処理部88に出力する。
特徴点抽出部100は、図11(A)に示すBモード画像に対し、穿刺針の刺入角度に応じたエッジ抽出フィルタ(重み付け加算フィルタ)の適用を行って、穿刺針の刺入角度方向に画像の繋がりを良くする。また、特徴点抽出部100は、エッジ抽出フィルタを適用したBモード画像に対して閾値処理を行い、閾値以上の輝度を持った特徴点(穿刺針特徴点)のみが白く残るエッジ画像(図11(B)参照)を作成する。直線生成部112はエッジ画像中の穿刺針特徴点の分布から、穿刺針候補直線の位置を求める。
【0085】
図11(B)に示すエッジ画像には、Bモード画像中で高輝度に表示されていた複数の穿刺針特徴点が分布している。エッジ画像中に分布した各穿刺針特徴点は、穿刺針が存在する位置に表れるものが、主に、穿刺針に由来する点であり、穿刺針が存在する位置に関係なく、画面全体に表れるものが、組織等の穿刺針以外に由来する点である。組織等に由来する穿刺針特徴点は、エッジ画像に基づいて穿刺針の位置を特定する場合にノイズとなる。そこで、直線生成部112は、図11(B)に示すようなノイズを含んだエッジ画像に対してハフ変換を行い、穿刺針に由来する穿刺針特徴点を最も多く通る穿刺針候補直線を生成する。エッジ画像がノイズを含んでいても、穿刺針に由来する穿刺針特徴点は直線的な繋がりがあるため、ハフ変換により穿刺針由来の穿刺針特徴点による直線的な繋がりに沿った直線が生成できる。生成した穿刺針候補直線130をエッジ画像データに重ねて表示した画像が、図11(C)に示される。図11(C)の穿刺針候補直線130が、穿刺針及び穿刺針の延長線を表す。
【0086】
穿刺針及び穿刺針の延長を表した穿刺針候補直線130は、穿刺針と、穿刺針でない部分との境界が不明なため、穿刺針候補直線130上における穿刺針と穿刺針でない部分との境界位置、すなわち穿刺針の先端位置を求める。図11(D)は、ハフ変換によって生成した穿刺針候補直線130を、領域生成部114によって所定の幅に広げて領域132を重畳表示したエッジ画像を表す。領域132は、穿刺針候補直線130を含んだ領域である。領域生成部114は、領域132を穿刺針が存在する穿刺針存在領域と特定する。ハフ変換によって抽出された穿刺針候補直線130は、穿刺針由来の穿刺針特徴点を多数通る直線であるため、多数の穿刺針特徴点が含まれる領域が穿刺針存在領域132として特定される。穿刺針連結処理部94bは、このようにして領域132を作成し、穿刺針が存在する可能性が高い領域を絞りこむ。ここで穿刺針候補直線130を広げる所定の幅とは、情報記憶部80から読みだした穿刺針の太さとしても良いし、Bモード画像またはエッジ画像を見ながらユーザが設定しても良い。
【0087】
次に、位置特定部106の平均輝度演算部116は、領域132の長手方向が水平となるまで図11(D)に示すエッジ画像を回転させ、領域132の長手方向をX’軸、領域132の短手方向をY’軸としてX’Y’直交座標系を定義する。平均輝度演算部116は、領域132内において、Y’座標方向に並んだ点(X’座標の値が同じ点)の加算平均を行う。図12(A)は、領域132から先端位置を特定する方法を示すため、エッジ画像中の領域132と、領域132内の穿刺針を含む直線上(領域132内のX’座標の値が同じ点を加算平均した結果1次元となった領域132)の平均輝度の分布を示すグラフとを対応させて描いた図である。図12(A)に示すグラフは、横軸をX’座標上の位置、縦軸を平均輝度として領域132における走査方向(X’方向)から見た平均輝度分布を表したグラフである。最大輝度特定部118及び最小輝度特定部120は、図12(A)に示すグラフに基づいて、平均輝度の最大値及び最小値を求める。なお、図12(A)に示すグラフは、説明を分かりやすくするために簡略化して描かれている。
【0088】
穿刺針先端位置演算部(以下、位置演算部)122は、図12(A)に示す領域132内におけるX’座標上の位置と平均輝度との関係を表したグラフに対し、X’座標の最大値側から原点側に向かって平均輝度の値を調べ、穿刺針の先端位置を特定する。具体的には、位置演算部122は、穿刺針が存在しないため最小値付近の値を示していた平均輝度が、大きく増加して最大値と最小値との差分に対して初めて8割の輝度となった点134を穿刺針の先端位置として特定する。ここで、X’座標の最大値側から調べる理由は、穿刺針が存在しないと予想される側から調べることで、輝度の大幅な変化を穿刺針の先端位置として特定することができるためである。原点側から調べると、穿刺針が途切れる位置で平均輝度は最小値付近の値を示し、その次に、穿刺針が検出された点を先端と特定する可能性がある。なお、ここでは穿刺針の先端を実質的に特定できる点として経験的に望ましい点である、最大値と最小値との差分に対して8割の点を穿刺針の先端位置としたが、必ずしも8割でなくても良い。しかし、あまり平均輝度の最小値側に近い点を設定すると、ノイズを先端位置としてしまう可能性があるため、平均輝度の最大値と最小値の差分に対して5割以上の点が望ましい。
【0089】
領域132内において、穿刺針が存在しない領域の平均輝度は、おおよそ0となる。そのため、穿刺針が存在しないX’座標の最大値側から0側に向かって平均輝度の値を調べると、しばらく0付近の値が続く。穿刺針が存在しない領域から穿刺針が存在する領域に入ると、平均輝度は、急激に大きくなる。これは、穿刺針が、高輝度で検出されるためである。位置演算部122は、このような穿刺針の有無による平均輝度の変化に基づいて穿刺針の先端位置である点134を特定する。穿刺針の先端位置である点134を特定した穿刺針先端位置演算部122は、X’Y’直交座標系をXY直交座標系に変換し、点134のX座標及びY座標を求める。
【0090】
穿刺針画像生成部108は、穿刺針候補直線130と、穿刺針の先端位置134とに基づいて、穿刺針を表す直線を生成する。具体的には、穿刺針候補直線130を、X座標0の位置から、穿刺針の先端位置134のX座標と同じX座標を持つ穿刺針候補直線130上の点136までの線分として、穿刺針を表す直線である線分140を生成する。図12(B)は、穿刺針画像生成部108が生成した線分140を描いた模式図である。図12(B)中の点138は、穿刺針候補直線130がエッジ画像の左辺と交わる点である。
【0091】
穿刺針連結処理部94bは、穿刺針の先端位置の検出及び穿刺針を表す画像の生成を所定の時間間隔で繰り返し、最も新しく生成した穿刺針を表す画像を、Bモード画像に重畳して、差分処理部88に出力する。穿刺針連結処理部94bは、穿刺針の先端位置を特定し、生成した穿刺針画像(穿刺針を表す画像)をBモード画像に重畳することで、穿刺針の位置が明確となったフレーム画像を差分処理部88に出力することができる。
なお、穿刺針をつなげる穿刺器具連結処理としては、例えば、本出願人の出願に係る同時継続出願である特願2010−216764号明細書「音波画像生成装置および超音波画像生成方法」に記載されたた穿刺針連結処理を適用することができる。
穿刺針連結処理部94bにおいて行う穿刺針連結処理を、先端検出部70で行うLUT処理としておこなっても良い。
本発明の超音波画像診断装置は、基本的に以上のように構成される。
【0092】
以下に、本発明の超音波画像診断装置の作用及び本発明の超音波画像生成方法について説明する。
図13は、本発明の超音波画像生成方法の要部の一例を示すフローチャートであり、差分画像の生成ステップから穿刺針の先端候補が色付けされた先端画像がBモード画像に重畳された合成画像のを生成ステップまでを示す。
まず、操作者は、超音波プローブ12の超音波送受信面を被検体の表面に当接する。この状態で、プローブ本体16の送信駆動部38から供給される駆動信号に従って複数のトランスデューサ34から超音波が送信され、被検体からの超音波エコーを受信した各トランスデューサ34から出力された受信信号がそれぞれ対応する受信信号処理部36に供給されてサンプルデータが生成され、通信ケーブル18を介して診断装置本体14へ伝送されてデータ格納部46に格納される。さらに、データ格納部46から1フレーム毎のサンプルデータが読み出され、合成画像生成部48の画像生成部64で1フレーム毎のBモード画像データが生成され、時系列フレームのBモード画像データがフレーム画像記憶部66に記憶される。
【0093】
次に、図13に従って、穿刺針の先端候補が表示強調処理として色付けされた先端画像
がBモード画像に重畳された合成画像を生成する。
図13に示すように、まず、ステップS10において、フレーム画像記憶部66から読みだされた、図14(A)及び(B)に示す現フレームより前のフレームと現フレームとの2つの時系列フレームのBモード画像データから、差分画像生成部68で差分処理を行い、図14(C)に示すフレームの差分画像を生成する。
【0094】
次に、ステップS12において、先端検出部70の先端候補検出部74の候補点抽出部82で、図14(D)に示す先端強調フィルタを適用したLUT処理を行い、先端候補点を抽出する。図14(D)に示す先端強調フィルタは、穿刺針の刺入方向に沿ってぼかすための縦15画素横27画素の矩形状のフィルタであり、図15に示すガウスフィルタによって穿刺針の刺入方向に沿って重み付けされたフィルタ係数を持つ。こうして先端強調フィルタを適用したLUT処理を行ったLUT処理画像を図14(E)に示す。
なお、図16に、図14(C)に示すフレームの差分画像に対して輝度差による2値化処理を行った処理画像の穿刺針先端を含む矩形領域の穿刺針の先端候補点の分布を示す。同図から分かるように、2値化処理後においては、穿刺針の先端候補点が穿刺針先端近傍以外にも複数存在していることが分かる。
【0095】
続いて、ステップS14において、先端候補特定処理部84で、穿刺針、特にその先端部と相関の高い領域の先端候補点の中心点のみを先端候補として特定する。
ステップ16において、先端候補特定処理部84で差分画像中の先端候補の抽出・特定が終了したか否かが判断され、終了していなければ、ステップS14に戻って先端候補の抽出・特定を続け、終了していれば、ステップS18に移る。
ステップS18において、先端候補処理部76で、ステップS14で特定された先端候補に色付けを行い、先端画像を生成する。
次に、ステップS20において、画像合成部72で、ステップS18で生成された先端画像と現フレームの超音波画像(Bモード画像)とを合成して、先端候補処理部76で色付けされた先端候補を現フレームの超音波画像に重畳した合成画像を生成する。
次に、ステップ22において、画像合成部72で合成画像の生成処理が終了したか否かが判断され、終了していなければ、ステップS10に戻って差分画像の生成からステップS20の合成画像の生成まで処理が繰り返され、終了していれば、この処理が終了する。
【0096】
この後、画像合成部72で合成された合成画像は、表示制御部50に送られ、表示用合成画像信号に変換され、表示部52に、色付けされた先端候補が現フレームの超音波画像に重畳された合成画像が表示される。
以上のように、本発明の超音波画像生成方法は、実施される。
図13に示す例は、差分画像から先端候補が必ず検出される例であるが、検出されない場合も当然含まれるので、以下に、先端候補が検出されない場合をも含む処理について説明する。
【0097】
図17は、本発明の超音波画像生成方法の先端候補が検出されない場合をも含む例を示すフローチャートである。
まず、ステップS30において、現フレームより前のフレームBモード画像データから
現フレームのBモード画像データを減算して現フレームの差分画像データを生成する。
次に、ステップS32において、差分画像データに対してLUT処理や先端候補の特定処理を行い、穿刺針の先端候補を検出する。
ステップ34において、ステップS32で穿刺針の先端候補が検出されたか否かが判断され、検出されていれば、検出成功としてステップ36に移り、検出されていなければ、ステップ46に移る。
【0098】
ステップS36において、ステップS32で検出された穿刺針の先端候補の情報を含む検出情報をメモリ(先端候補記憶部78)に記憶して保存する。
ステップS38において、検出された先端候補をメモリから読み出し、読みだした先端候補に色付けを行い、穿刺針の先端画像を生成する。
ステップS40において、ステップS38で生成された先端画像を現フレームの超音波画像(Bモード画像)に重ね合わせて、色付けされた先端候補が現フレームの超音波画像に重畳された合成画像を生成する。
ステップ42において、表示部52に、色付けされた先端候補が現フレームの超音波画像に重畳された合成画像が表示される。
次に、ステップ44において、穿刺針の先端候補の検出及び合成画像の表示を続行するか否かが判断され、続行であれば、ステップS30に戻って差分画像データの生成からステップS42の合成画像の表示まで処理が繰り返され、続行でなければ、この処理が終了する。
【0099】
一方、 ステップ34で穿刺針の先端候補の検出不成功と判断された場合には、ステップ46において、メモリ内の過去の穿刺針の先端候補の検出情報を使用するか否かの判断がなされ、使用するのであれば、ステップ48に移り、使用しないのであれば、ステップ50に移る。
ステップ48に移ると、ステップ48では、メモリから読み出した検出情報を用いて、過去の穿刺針の先端候補に色付けを行い、穿刺針の先端画像を生成し、ステップS40に移る。ステップ48で生成された穿刺針の先端画像は、ステップS40において、現フレームの超音波画像(Bモード画像)に重ね合わせられ、合成画像が生成される。
ステップ50に移ると、ステップ50では、検出情報がなく、先端候補が存在しないので、現フレームの超音波画像を表示部52に表示し、ステップS44に移る。ステップ44では、上述したように、検出続行か否かが判断され、判断に応じて検出が続行され、また、処理が終了する。
【0100】
図1に示す実施形態は、上述したように、画像生成部64の画像処理部62において生成されたBモード画像信号に基づいて、2つのフレームの差分画像の生成、先端候補の検出、先端画像の生成、及び先端画像と現フレームの超音波画像(Bモード画像)との重畳合成を行っているが、本発明はこれに限定されず、Bモード画像信号の代わりに、図18に示すように、画像生成部64の整相加算部60においてビームフォーミング処理がなされたベースバンド信号(音線信号)、すなわちフレーム毎のエコー信号に基づいて、2つのフレームの差分画像の生成、先端候補の検出、先端画像の生成、及び先端画像と現フレームの超音波画像との重畳合成を行っても良い。したがって、本発明では、フレームエコー信号とBモード画像信号との間の如何なる信号を用いても良い。
【0101】
図18は、本発明の超音波診断装置の診断装置本体の他の実施形態の構成を模式的に示すブロック図である。
同図に示す診断装置本体14aは、データ格納部46と、合成画像生成部48aと、表示部52とを有し、さらに、図示しないが、図1と同様に、本体制御部と、操作部と、格納部とを有する。また、合成画像生成部48aは、画像生成部64と、時系列フレームエコー信号記憶部(以下、エコー信号記憶部ともいう)66aと、時系列フレーム差分エコー信号生成部(以下、単に差分エコー信号生成部ともいう)68aと、穿刺針先端検出部(先端検出部)70aと、画像合成部72aと、を有する。
なお、図18に示す診断装置本体14aの合成画像生成部48aのエコー信号記憶部66a、差分エコー信号生成部68a、先端検出部70a、及び画像合成部72aは、図1に示す診断装置本体14の合成画像生成部48の画像記憶部66、差分画像生成部68、先端検出部70、及び画像合成部72と、エコー信号に基づいて各要素の処理を行うか、Bモード画像信号に基づいて各要素の処理を行うかの点では異なるのみで、即ち、処理の対象とする信号(データ)が異なるのみで、各様の処理の内容は略同一であるので、各要素の同一の処理内容については、詳細な説明を省略する。
【0102】
エコー信号記憶部66aは、複数のフレームの画像を表すエコー信号を時系列的に記憶するメモリである。
差分エコー信号生成部68aは、エコー信号記憶部66aに記憶される2つの時系列フレームのエコー信号間の差分を求めて、差分エコー信号を生成する。
先端検出部70aは、本発明の最も特徴とする部分であって、差分エコー信号生成部68aで生成された差分エコー信号から先端検出処理を行い、穿刺針先端部を含む1以上の先端候補を検出し、検出された先端候補に対して表示強調処理を行い、表示強調処理された先端画像を生成する。なお、差分エコー信号から検出された先端候補に対しては、画像処理部62と同様の変換処理を行ってBモード画像信号としておき、先端画像は、Bモード画像信号で表わされているのが好ましい。
【0103】
画像合成部72aは、画像処理部62で生成されたBモード画像である現フレームの超音波画像に、先端検出部70aで生成された先端画像(穿刺針先端部強調画像)を合成して合成超音波画像を生成するものである。
なお、先端検出部70aで生成された先端画像がBモード画像信号で表わされていない場合には、画像合成部72aでは、先端画像に対して画像処理部62と同様の変換処理を行って、Bモード画像信号とした後に、先端画像をBモード画像である現フレームの超音波画像に重畳合成する。
また、画像処理部62で生成されたBモード画像である現フレームの超音波画像がDSCでスキャンコンバートされた表示用画像信号で表わされている場合には、Bモード画像に変換された先端画像も表示用画像信号で表わされるようにDSCでスキャンコンバートしておく必要がある。
なお、処理対象となる信号やデータのBモード画像信号化や、スキャンコンバートは、画像合成部72aで合成する際に同じになっていれば、どの段階で行っても良い。スキャンコンバートは、もちろん、表示制御部50で行う場合には、合成画像生成部48a内で行う必要はない。
【0104】
本発明における各構成は、主に、中央演算装置(CPU)とCPUに各種の処理を行わせるためのソフトウェアとによって構成されるが、これらをデジタル回路またはアナログ回路で構成しても良い。なお、これらのソフトウェアは、内部メモリに記憶される。
また、本発明に係る超音波画像生成方法のアルゴリズムをプログラミング言語によって記述し、必要に応じてコンパイルし、超音波画像生成方法プログラムをメモリ(記録媒体)に記憶して他の装置の情報処理手段によって実行させれば、本発明に係る超音波診断装置と同様の機能を実現することができる。すなわち、本発明の超音波画像生成方法をコンピュータ(CPU)に実行させるためのプログラムであっても、そのプログラムを記録した記録媒体であっても、本発明の実施形態に含まれるのは言うまでもない。
【0105】
以上、本発明に係る超音波診断装置及び超音波画像生成方法について種々の実施例を挙げて説明したが、本発明は、上記実施例に限定はされず、本発明を逸脱しない範囲において、各種の改良や変更を行なってもよいのは、もちろんである。
【符号の説明】
【0106】
10 超音波診断装置
12 超音波プローブ
14、14a 診断装置本体
16 プローブ本体
18 通信ケーブル
20 穿刺アダプタ
34 超音波トランスデューサ
36 受信信号処理部
38 送信駆動部
40 送信制御部
42 受信制御部
44 プローブ制御部
46 データ格納部
48、48a 合成画像生成部
50 表示制御部
52 表示部
54 本体制御部
56 操作部
58 格納部
60 整相加算部
62 画像処理部
64 画像生成部
66 時系列フレーム画像記憶部(画像記憶部)
66a 時系列フレームエコー信号記憶部(エコー信号記憶部)
68 時系列フレーム差分画像生成部(差分画像生成部)
68a 時系列フレーム差分エコー信号生成部(差分エコー信号生成部)
70,70a 穿刺針先端検出部(先端検出部)
72,72a 画像合成部
74 先端候補検出部
76 先端候補処理部
78 先端候補記憶部
80 穿刺針情報及び条件記憶部(情報記憶部)
82 候補点抽出処理部(抽出処理部)
84 先端候補特定処理部(特定処理部)

【特許請求の範囲】
【請求項1】
穿刺器具が刺入された被検体に超音波を送信すると共に、前記被検体及び前記穿刺器具による前記超音波の反射波を受信し、受信した反射波に基づいて時系列フレームのエコー信号を生成する超音波送受手段と、
該超音波送受手段によって生成された前記エコー信号に基づいて前記被検体の超音波画像を生成する超音波画像生成手段と、
該超音波画像生成手段によって生成された前記超音波画像を表示する画像表示手段と、
複数の時系列フレームの前記エコー信号から時系列フレーム間の差分エコー信号を生成する差分エコー信号生成手段と、
該差分エコー信号生成手段で生成された前記差分エコー信号に基づいて先端検出処理を行い、前記穿刺器具先端部を含む1以上の先端候補を検出する先端候補検出手段と、
前記先端候補検出手段により検出された前記穿刺器具の前記先端候補を表示強調処理して、前記穿刺器具の前記先端候補が表示強調処理された先端画像を生成する先端候補処理手段と、を具備し、
前記画像表示手段は、前記先端候補処理手段によって表示強調処理された前記穿刺器具の前記先端画像を、前記超音波画像生成手段によって生成された前記超音波画像に重ねて表示することを特徴とする超音波診断装置。
【請求項2】
前記先端候補検出手段は、前記先端検出処理として、前記差分エコー信号生成手段で生成された前記差分エコー信号の輝度差に基づいて、前記穿刺器具の前記先端候補を検出する請求項1に記載の超音波診断装置。
【請求項3】
前記先端候補処理手段は、前記差分エコー信号の輝度差の正負に応じて、前記先端候補検出手段により検出された前記穿刺器具の前記先端候補を表示強調処理する請求項1又は2に記載の超音波診断装置。
【請求項4】
前記先端候補処理手段は、前記表示強調処理として、前記先端候補検出手段により検出された前記穿刺器具の前記先端候補を色付けしてカラー先端画像を生成するか、又は、前記先端候補の輝度を上げて高輝度先端画像を生成するか、若しくは、前記先端候補を色付けした上で輝度を上げて高輝度カラー先端画像を生成する処理を行う請求項1〜3のいずれかに記載の超音波診断装置。
【請求項5】
前記先端候補検出手段は、さらに、前記差分エコー信号の輝度差の正負を判別し、
前記先端候補処理手段は、前記先端候補検出手段によって判別された前記差分エコー信号の輝度差の正負に応じて、前記先端候補検出手段により検出された前記穿刺器具の前記先端候補を表示強調処理する色相及び輝度を変更する請求項1〜4のいずれかに記載の超音波診断装置。
【請求項6】
前記差分エコー信号生成手段は、さらに、生成した前記差分エコー信号に基づいて差分画像を生成するものであり、
前記先端候補検出手段は、前記差分エコー信号生成手段で生成された前記差分画像に、前記先端検出処理を行い、前記穿刺器具の前記先端候補を検出する請求項1〜5のいずれかに記載の超音波診断装置。
【請求項7】
前記先端候補検出手段は、前記先端検出処理として、前記差分エコー信号生成手段で生成された前記差分画像に、所定輝度差以上の部分を抽出する処理を施して前記穿刺器具の前記先端候補を検出する請求項6に記載の超音波診断装置。
【請求項8】
前記先端候補検出手段は、前記先端検出処理として、前記差分エコー信号生成手段で生成された前記差分画像の中の所定輝度差以上の部分を抽出するために、前記差分画像に対して階調処理を行うためのルックアップテーブルを用いたルックアップテーブル処理を行い、前記穿刺器具の前記先端候補を検出する請求項6又は7に記載の超音波診断装置。
【請求項9】
前記先端候補検出手段による前記ルックアップテーブル処理で用いられる前記ルックアップテーブルは、前記超音波画像及び前記差分画像の少なくとも一方に応じて調整されるものである請求項8に記載の超音波診断装置。
【請求項10】
前記先端候補検出手段は、前記先端検出処理として、前記差分画像の輝度差、並びに該輝度差で検出された領域の大きさ及び密度に基づいて、前記穿刺器具の前記先端候補を検出する請求項6〜9のいずれかに記載の超音波診断装置。
【請求項11】
前記先端候補検出手段は、前記差分画像に、前記先端検出処理として、先端強調フィルタ処理を行い、前記穿刺器具の前記先端候補を検出する請求項6〜9のいずれかに記載の超音波診断装置。
【請求項12】
前記先端候補検出手段は、前記差分画像に、前記先端検出処理として、メディアンフィルタ処理、又は、所定の点の近傍画素の輝度和を求めて該輝度和が大きい箇所のみ強調するフィルタ処理を行い、前記穿刺器具の前記先端候補を検出する請求項6〜9のいずれかに記載の超音波診断装置。
【請求項13】
前記先端候補検出手段は、前記画像表示手段に表示されたフレームより過去の時刻に検出された前記穿刺器具の前記先端候補の近傍領域を探索して、表示フレームに基づく前記差分画像から前記穿刺器具の前記先端候補を検出する請求項6〜12のいずれかに記載の超音波診断装置。
【請求項14】
前記先端候補検出手段は、前記画像表示手段に表示されたフレームより過去の2時刻に検出された前記穿刺器具の前記先端候補を結んだ直線の近傍領域を探索して、表示フレームに基づく前記差分画像から前記穿刺器具の前記先端候補を検出する請求項6〜12のいずれかに記載の超音波診断装置。
【請求項15】
前記差分エコー信号生成手段は、前記差分画像を作成する前記時系列フレーム間の時間差を調整できる機能を備える請求項6〜14のいずれかに記載の超音波診断装置。
【請求項16】
前記差分エコー信号生成手段は、前記差分画像を作成するための過去のフレームは2フレーム以上前の複数のフレームを用いる請求項6〜15のいずれかに記載の超音波診断装置。
【請求項17】
前記差分エコー信号生成手段は、前処理として、前記時系列エコー信号に、スペックルパターンを軽減する信号処理、前記穿刺器具の方向にぼかす信号処理、及び/又は、前記穿刺器具をつなげる信号処理を行った後に、前記差分エコー信号を生成する請求項1〜16のいずれかに記載の超音波診断装置。
【請求項18】
前記画像表示手段は、過去の時刻に検出した前記穿刺器具の前記先端候補の画像も表示し、前記穿刺器具の刺入軌跡を表示する請求項1〜17のいずれかに記載の超音波診断装置。
【請求項19】
さらに、前記先端候補処理手段によって生成された前記穿刺器具の前記先端候補が表示強調処理された前記先端画像を、前記超音波画像生成手段によって生成された前記超音波画像に重ねるように合成して合成画像を生成する画像合成手段と、を具備し、
前記画像表示手段は、前記画像合成手段によって合成された前記合成画像を表示する請求項1〜18のいずれかに記載の超音波診断装置。
【請求項20】
穿刺器具が刺入された被検体に超音波を送信すると共に、前記被検体及び前記穿刺器具による前記超音波の反射波を受信し、受信した反射波に基づいて時系列フレームのエコー信号を生成する超音波送受手段と、
該超音波送受手段によって生成された前記エコー信号に基づいて前記被検体の超音波画像を生成する超音波画像生成手段と、
該超音波画像生成手段によって生成された前記超音波画像を表示する画像表示手段と、
前記超音波画像生成手段で生成された複数の時系列フレームの前記超音波画像から時系列フレーム間の差分画像を生成する差分画像生成手段と、
該差分画像生成手段で生成された前記差分画像に基づいて先端検出処理を行い、前記穿刺器具先端部を含む1以上の先端候補を検出する先端候補検出手段と、
前記先端候補検出手段により検出された前記穿刺器具の前記先端候補を表示強調処理して、前記穿刺器具の前記先端候補が表示強調処理された先端画像を生成する先端候補処理手段と、を具備し、
前記画像表示手段は、前記先端候補処理手段によって表示強調処理された前記穿刺器具の前記先端画像を、前記超音波画像生成手段によって生成された前記超音波画像に重ねて表示することを特徴とする超音波診断装置。
【請求項21】
穿刺器具が刺入された被検体に超音波を送信して、
前記被検体及び前記穿刺器具による前記超音波の反射波を受信し、
受信した反射波に基づいて複数フレームの時系列エコー信号を生成し、
生成された前記時系列エコー信号に基づいて、前記被検体の超音波画像を生成すると共に、
前記複数フレームの前記時系列エコー信号から時系列フレーム間の差分エコー信号を生成し、
生成された前記差分エコー信号に基づいて先端検出処理を行い、前記穿刺器具先端部を含む1以上の先端候補を検出し、
検出された前記穿刺器具の前記先端候補を表示強調処理し、
前記穿刺器具の前記先端候補を、前記超音波画像生成手段によって生成された前記超音波画像に重ねて表示部に表示することを特徴とする超音波画像生成方法。
【請求項22】
穿刺器具が刺入された被検体に超音波を送信して、
前記被検体及び前記穿刺器具による前記超音波の反射波を受信し、
受信した反射波に基づいて複数フレームの時系列エコー信号を生成し、
生成された前記時系列エコー信号に基づいて、前記被検体の超音波画像を生成し、
生成された複数の時系列フレームの前記超音波画像から時系列フレーム間の差分画像を生成し、
生成された前記差分画像に基づいて先端検出処理を行い、前記穿刺器具先端部を含む1以上の先端候補を検出し、
検出された前記穿刺器具の前記先端候補を表示強調処理し、
前記穿刺器具の前記先端候補を、前記超音波画像生成手段によって生成された前記超音波画像に重ねて表示部に表示することを特徴とする超音波画像生成方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図6】
image rotate

【図7】
image rotate

【図9】
image rotate

【図10】
image rotate

【図13】
image rotate

【図17】
image rotate

【図18】
image rotate

【図4】
image rotate

【図5】
image rotate

【図8】
image rotate

【図11】
image rotate

【図12】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate