説明

複数解像度適応フィルタリング

【課題】画像を分析し、そこから、フィルタリングに使用される画像の特徴を抽出するシステムおよび方法を提供すること。
【解決手段】特徴および構造に基づいて、諸実施形態は、異なる方位で異なるフィルタ構成を用いてどのようにフィルタリングするかを決定する。諸実施形態に従って利用されるフィルタは、特徴の空間的態様および/または時間的態様に関して適応式である。諸実施形態による画像処理は、さまざまなレベルの解像度でサブ画像に対して実行される。

【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本願は、その開示が参照によって本明細書に組み込まれている、2005年11月23日に出願した同時係属の米国仮出願第60/739,871号、名称「Multi−Resolution Adaptive Filtering」の優先権を主張するものである。
【0002】
本発明は、全般的には画像処理に関し、具体的には、画像雑音を減らす画像処理に関す
る。
【背景技術】
【0003】
スペックル雑音(speckle noise)に、たとえば超音波画像で生成されるコヒーレント雑音が含まれる。たとえば、超音波画像を形成する時に、コヒーレント・プロセスであるビーム・フォーミング・プロセスが、通常、超音波ビームを形成するために実行され、この超音波ビームから超音波画像が導出される。多数のビーム・フォーミング・プロセスは、ある種の「ごま塩雑音」をもたらし、このごま塩雑音が、真の画像情報に重畳される。この雑音を、「スペックル雑音」と呼ぶ。類似する現象が、レーダーで発生する。
【0004】
超音波産業の多くの人が、コンパウンディング(compounding)技法を合成することに基づいてスペックル雑音をフィルタ・アウトすることを試みてきた。すなわち、多くの人が、異なる周波数帯で画像を処理し、これらの異なる周波数帯を一緒に一体化してスペックル雑音を減らすことによって、スペックル雑音を軽減することを試みてきた。
【0005】
試みられてきた、スペックル雑音を減らすもう1つの形が、空間コンパウンディングの使用である。空間コンパウンディングでは、複数の画像が、異なる「ルック方向(look direction)」または異なる画角(angle of view)から生成され、これらの画像が、一緒に一体化されて、スペックル雑音が平均によって除かれる。
【0006】
前述のスペックル雑音削減技法の両方が、しばしば、あるレベルのスペックル雑音抑制を達成する。しかし、これらの技法は、短所がないわけではない。たとえば、周波数コンパウンディングには、ある軸解像度の妥協がある。というのは、周波数帯が、より小さくより狭い帯域幅信号に区分されるからである。このより狭いバンディングが、軸解像度の妥協をもたらす。空間コンパウンディングの使用は、異なるルック方向からの複数のビューの獲得によって達成されるが、最終的な画像獲得のフレーム・レートを低下させる。したがって、リアルタイム画像が、低い品質の動きまたはアニメーションを有する場合がある。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】米国仮出願第60/739,871号
【特許文献2】米国特許第5722314号
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は、画像を分析し、画像の局所的特徴を抽出し、そのような特徴に適応フィルタを適用することによってスペックル雑音を軽減するシステムおよび方法を対象とする。
【課題を解決するための手段】
【0009】
画像内で識別された特徴のうちのさまざまな特徴に基づいて、諸実施形態は、スペックル雑音を効果的に抑制することによって画像品質を高めるために、異なる方位でのフィルタリングおよび/または異なるフィルタ・パラメータを用いるフィルタリングを適用するためのフィルタ構成を判定する。適用されるフィルタは、そのフィルタが適用される特定の特徴に関して、たとえば空間的および/または時間的に、適応式であることが好ましい。
【0010】
本発明の実施形態は、前述の適応フィルタを使用して、さまざまなレベルの解像度でサブ画像に対する処理を実行する。たとえば、1つの高解像度画像を、それぞれが次の画像表現より低い解像度を有する複数の画像表現に分解することができる。諸実施形態は、各そのような画像表現内の局所的特徴を識別し、それにフィルタを適用するように動作し、ここで、適用されるフィルタは、その特定の画像表現に存在する対応する特徴に関する方位および/またはパラメータを用いて選択される。画像の画像表現内の特徴に関する情報を、画像表現の異なる1つにフィルタリングを適用するプロセスの間で共有することができる。フィルタリングが各画像表現に適用された後に、好ましい実施形態は、フィルタリングされた画像表現から、フィルタリングされた画像を再構成する。前述の画像分解、分解された画像表現のフィルタリング、およびフィルタリングされた画像表現の再構成を、同一の画像に関して複数回(たとえば、反復して、または画像の変更時もしくは画像への変更の適用時に)実行することができる。
【0011】
さまざまな知識ベースを、本発明の諸実施形態の適応フィルタを適用する際に利用することができる。たとえば、さまざまなフィルタ・パラメータを特徴の諸態様(たとえば、ステップ関数、稜線、表面の傾き、テクスチャ、画素輝度勾配など)に関連付ける知識ベースを、画像内で識別された特定の特徴に関して使用される適応フィルタおよび/または適応フィルタ・パラメータを選択する際に利用することができる。それに加えてまたはその代わりに、さまざまなフィルタ・パラメータを特定の画像タイプに通常存在する特徴(たとえば、特定の解剖学的構造、特定の手順など)に関連付ける知識ベースを、画像内で識別された特定の特徴に関して使用される適応フィルタおよび/または適応フィルタ・パラメータを選択する際に利用することができる。
【0012】
前述は、次の本発明の詳細な説明をよりよく理解できるようにするために、本発明の特徴および技術的利点の概要をどちらかといえばおおまかに述べたものである。本発明の追加の特徴および利点を、下で説明するが、これは、本発明の請求の対象を形成する。当業者は、開示される概念および特定の実施形態を、本発明と同一の目的を実行するための他の構造の変更または設計の基礎としてすぐに利用できることを諒解するに違いない。当業者は、そのような同等の構成が、添付の特許請求の範囲に示された本発明の趣旨および範囲から逸脱しないことも認めるに違いない。本発明に固有と思われる、その編成と動作の方法の両方に関する新規の特徴は、さらなる目的および利点と一緒に、添付図面と共に考慮される時に次の説明からよりよく理解される。しかし、図面のそれぞれが、例示および説明だけのために提供され、本発明の限定の定義としては意図されていないことを特に理解されたい。
【図面の簡単な説明】
【0013】
【図1】本発明の実施形態による適応フィルタおよび/またはステアラブル(steerable)フィルタの画像への適用を示す図である。
【図2A】本発明の実施形態によるイントラフレーム処理を使用する2次元信号処理を示す図である。
【図2B】本発明の実施形態によるインターフレーム処理を使用する2次元信号処理を示す図である。
【図3】本発明の実施形態による3次元信号処理を示す図である。
【図4A】本発明の実施形態に従ってフィルタリングできる、雑音のあるステップ関数信号を示す図である。
【図4B】本発明の実施形態による、図4Aの雑音のあるステップ関数信号への適応フィルタリングの適用を示す図である。
【図5】図4Aの雑音のあるステップ関数信号への通常の非適応フィルタの適用を示す図である。
【図6】本発明の実施形態の適応フィルタが1次元空間内でどのように動作できるかを示す図である。
【図7A】適応フィルタリングが図6の1次元の事例に似て適用される2次元の事例を示す図である。
【図7B】適応フィルタリングが図6の1次元の事例に似て適用される2次元の事例を示す図である。
【図8A】本発明の実施形態によるリッジ特徴に適用される例示的対称適応フィルタを示す図である。
【図8B】本発明の実施形態によるリッジ特徴に適用される例示的対称適応フィルタを示す図である。
【図9A】本発明の実施形態による特徴の交差点で適用される例示的対称適応フィルタを示す図である。
【図9B】本発明の実施形態による特徴の交差点で適用される例示的対称適応フィルタを示す図である。
【図10A】本発明の少なくとも1つの実施形態で使用されるさまざまな例のステアラブル・フィルタを示す図である。
【図10B】本発明の少なくとも1つの実施形態で使用されるさまざまな例のステアラブル・フィルタを示す図である。
【図11】本発明の実施形態のフィルタのグラフ表現を示す図である。
【図12】本発明のさまざまな実施形態による画像内のエッジ方向および勾配方向を示す図である。
【図13A】本発明の実施形態に従って利用できるガウス・フィルタ・カーネルの単純な例の実施形態を示す図である。
【図13B】本発明の実施形態に従って利用できるガウス・フィルタ・カーネルの単純な例の実施形態を示す図である。
【図13C】本発明の実施形態に従って利用できるガウス・フィルタ・カーネルの単純な例の実施形態を示す図である。
【図14】本発明のさまざまな実施形態と共に使用するために適合された診断超音波システムの例示的信号経路を示す図である。
【図15】本発明のさまざまな実施形態による画像フィルタリングで使用できる処理ユニットを示す機能ブロック図である。
【図16】図15の分解ブロックの実施形態に関する詳細を示す図である。
【図17】図15の処理ブロックの実施形態に関する詳細を示す図である。
【図18】図15の再構成ブロックの実施形態に関する詳細を示す図である。
【図19】本発明の実施形態に従って適合された例示的ディジタル信号プロセッサ・ハードウェア構成を示す図である。
【発明を実施するための形態】
【0014】
本発明のより完全な理解のために、これから、添付図面と共に解釈される次の説明に言
及する。
【0015】
注意を図1に向けると、本発明の実施形態による画像100への適応フィルタの適用の表現が示されている。具体的には、図1には、本発明の実施形態による例示的フィルタを表す円111〜114および楕円121〜127が含まれる。これらの円および楕円は、画像内に存在するさまざまな対応する特徴(たとえば、構造、テクスチャ、勾配、斜面、関数など)に関してなど、画像100の上に重ねられている。本発明の好ましい実施形態による動作では、前述のフィルタは、異なるサイズであり、画像に関して異なる方位で適用され、かつ/またはさまざまなパラメータを使用するが、スペックル雑音を平滑化によって除去し、かつ/またはフィルタ・アウトするために、開発され、画像に適用される。そのようなフィルタは、フィルタリング性能の最善の品質を提供するために、局所的特徴に適合されることが好ましい。たとえば、諸実施形態のフィルタリング・プロセッサは、前述のフィルタを使用して、類似する画素の平均をとりながら異なる画素の平均をとるのを避けることによって、異なる位置にある画素の平均をとる。したがって、このシステムは、フィルタリング・プロセスにある画素を含めることが望ましいか否かを適応式に判定することが好ましい。1つまたは複数の知識ベースを、画像100などの画像の特定の特徴に関する使用のためのフィルタおよび/またはフィルタ・パラメータを選択する際に利用することができる。
【0016】
本発明の諸実施形態は、画像フィルタリングの提供に関してサブ画像処理を実施する。たとえば、諸実施形態の複数解像度サブ画像処理ステップは、画像を異なる解像度のサブ画像または画像表現に分解し、ここで、1つまたは複数の適応フィルタが、スペックル雑音を抑制するために各サブ画像に存在するさまざまな特徴に適用される。任意のそのようなサブ画像に関して使用されるフィルタは、上で述べたように、異なるサイズとし、画像に関して異なる方位で適用し、かつ/またはさまざまなパラメータを使用することができる。すなわち、本発明の諸実施形態は、サブ画像のめいめいの1つ内の特徴に局所的に依存する挙動を含む複数のフィルタを実施する。好ましい実施形態による動作では、サブ画像が、前述の適応フィルタを使用して処理されたならば、処理されたサブ画像が、画像を再構成するために組み合わされ、この画像が、その後、エンド・ユーザに提示されるか、フィルタリングされた画像として他の形で使用されるか保管される。
【0017】
さまざまな実施形態による適応フィルタの例の特性に、平坦な表面のフィルタリングおよび平滑化、傾斜のついた表面のフィルタリング、表面の間の鋭いエッジの保存、リッジ特徴での雑音のフィルタリング、鋭い角の保存などを含めることができる。たとえば、平坦な表面を有する特定の特徴に関して実施できるフィルタは、その同一表面上の画素すなわち、類似する特性を有する画素の平均をとることができる。しかし、表面が、平坦な表面ではなく、それに関連するある斜面を有する曲がった表面である場合に、諸実施形態は、その斜面を乱さずに、同一の斜面に沿って画素をグループ化し、フィルタリングするフィルタを実施することができる。上面表面と側面表面(たとえば、複数の表面が可視の場合の立方体のビュー)など、表面の間に鋭いエッジがある場合に、諸実施形態に従って実施されるフィルタは、エッジの鋭さを保存するように動作することが好ましく、これによって、エッジの破壊およびひずみが最小になる。画像特徴または構造がリッジ(たとえば、線に似た構造)を含む場合に、本発明の諸実施形態に従って実施されるフィルタは、リッジの形状を保存し、リッジの鋭さも保存する。線の交差があり(たとえば、2つのリッジが交差し)、交差の位置に角がもたらされる場合に、本発明の諸実施形態に従って実施されるフィルタは、非常に鋭くなるようにその角を保存する。本発明の好ましい実施形態の動作では、1つまたは複数のフィルタが、画像内の識別された特徴に関連する前述の特性を使用して開発され、これによって、スペックル低減プロセスでの高い画像品質が容易になる。
【0018】
注意を図2A、2B、および3に向けると、本発明のさまざまな実施形態を、複数次元で適用できることがわかる。たとえば、本発明の概念を実施するアルゴリズムを、1次元信号処理、2次元画像処理、3次元画像処理、および4次元画像処理に適用することができる。諸実施形態による4次元信号処理は、3次元空間および時間(たとえば、X、Y、Z、および時間)を意味する。諸実施形態による3次元信号処理は、2次元空間および時間(たとえば、X、Y、および時間)または3次元空間(たとえば、X、Y、およびZ)を意味する。
【0019】
2次元信号処理の例が、図2Aの画像シーケンスに関して示されており、ここで、t軸は時間であり、X軸およびY軸は2次元画像の空間次元である。図2Aに示された例では、前述のフィルタリングをもたらす画像処理が、この図でフレーム201〜209として示された、時間シーケンス内のフレームごとに独立に提供される(すなわち、イントラフレーム処理)。すなわち、この処理は、フレームの時間シーケンスから入手可能なインターフレーム情報(たとえば、次のフレームから獲得される情報)を使用せずに、フレームごとの基礎で行われる。本発明のさまざまな実施形態は、インターフレーム(この例では空間情報)フィルタ特徴およびイントラフレーム(この例では時間情報)フィルタ特徴の一方または両方を使用することができる。
【0020】
3次元信号処理の例を、図2Bに示す。具体的には、図2Bに示された例は、インターフレーム情報の使用を示す。図示のインターフレーム信号処理では、グループ211〜214のフレームなどの連続するフレームが、フィルタ性能を改善するために、この処理に含まれる。たとえば、図2Bのグループ211の連続するフレームに存在する特徴に関して適用されるフィルタを、連続するフレーム内で入手可能な情報を利用するために、t軸に沿った方位にすることができる。そのようなフレーム・グループは、特徴が相関される一連のフレームによって、任意の個数のフレームによって、移動ウィンドウによって、などによって定義することができる。本発明の諸実施形態は、さまざまな画像特徴に関するフィルタリングを提供するために、異なるフレームを含むフレーム・グループ(たとえば、第1特徴に関するグループ211および第2特徴に関するグループ212)を実施することができる。しかし、前述のフレーム・グループが選択され、さまざまな特徴に関するそのようなインターフレーム情報の使用は、関連情報がインターフレームで提供される場合の改善された画像処理を提供するのに利用することができる。
【0021】
前述の概念は、空間情報の異なる度合に関して適用することができ、したがって、2次元空間画像処理に関する使用に限定されないことを諒解されたい。図3の例は、3次元物体シーケンスに関する前述の概念の適用を示す。たとえば、画像が、データの3次元ブロックを含むが、このデータのブロックが、異なる時に獲得される場合に、ブロック画像シーケンス(この図ではブロック310および302として図示)を獲得することができ、前述の概念を、画像品質を改善するために適用することができる。
【0022】
次の式は、さまざまな実施形態による2カテゴリのフィルタを記述したフィルタ定式化を提供する。
【0023】
【数1】

上に示されたフィルタの第1カテゴリ(式(1))は、対称フィルタを含む。上に示されたフィルタの第2カテゴリ(式(2))は、非対称フィルタを含み、ここで、uは、特徴の支配的方位(dominantorientation)である。対称フィルタと非対称フルタの両方を、適応式とすることができる。この例示的フィルタ定式化は、複数の異なるパラメータの関数である。ここで、r、x、y、およびzは、空間情報を含み、tは、時間情報を含み、gは、グレイスケール情報(たとえば、差分グレイスケール情報)を含み、fは、総称項(たとえば、他の関連情報)である。
【0024】
スペックル低減動作が本発明の諸実施形態に従って行われる座標系を、極座標系(たとえば、半径または距離rなどの半径座標を使用する)またはデカルト座標系(たとえば、X軸、Y軸、およびZ軸に沿った座標を使用する)とすることができることを諒解されたい。超音波情報は、基本的に、異なるルック方向から獲得されるデータであり、その結果、このデータを、極座標に従って画像に組み立てることができるようになる。しかし、線形アレイは通常は長方形なので、ディスプレイ・モードのほとんどはデカルトである。スキャンヘッドは、通常は極座標を使用し、ディスプレイは、通常は直交座標を使用し、したがって、しばしば、超音波システム・スキャンヘッドによって獲得された画像データに関して使用される極座標系から、超音波システム・ディスプレイによって表示される画像データに関して使用される直交座標系への再構成プロセスがある。すなわち、ほとんどの超音波システムは、極座標から直交座標に変換する(スキャン変換プロセスと称する)。本明細書で説明するフィルタリングは、極座標空間および/または直交座標空間で適用することができる。
【0025】
式(1)の右辺で記述されているものは、カスケード(たとえば、複数の異なるガウス・フィルタ)が使用されることである。ガウス・フィルタは、Gと呼ばれる単一のフィルタにカスケードされる。示されたフィルタ式は、rすなわち距離に関して対称であり、したがって、すべての次元で対称であり、一様である。式(1)の実施形態のデルタg(Δg)は、異なる次元内のグレイスケールに関する勾配などの勾配情報を含む。f関数は、この例示的実施形態で、たとえば、総称関数に対処するために設けられている。複数の異なる追加の関連情報が存在する場合など、複数のそのようなf関数を、本発明の諸実施形態に従って使用できることを諒解されたい。
【0026】
式(2)は、非対称フィルタを提供し、この式は、すべての次元で一様でない。すなわち、このフィルタは、特徴軸に直交する軸と対照して特徴軸に沿ってなど、選択された方位に関して異なってフィルタリングを適用する。本発明の諸実施形態によるそのような非対称フィルタの使用は、フィルタリングされる画像内の特徴の諸態様を保存することにおいて特に有用である場合がある。上の式(1)と同様に、上に示された式(2)は、カスケード(たとえば、複数の異なるガウス・フィルタ)を使用する。この例示的な非対称フィルタを、異なる方位に分解できることを諒解されたい。フィルタ方位は、1つまたは複数の特徴方位を抽出するために局所的特徴を分析することによって決定することができる。その後、フィルタを、その特徴の支配的方位に沿って好ましく適用することができる。
【0027】
注意を図4Aおよび4Bに向けると、本発明の実施形態による適応フィルタリングの適用の例示的な例が示されている。説明される概念を単純にするために、図4Aおよび4Bの例は、1次元信号処理適応フィルタリングの図を提供する。図4Aに示されているように、ステップ関数信号401として図示された、ステップ関数である信号がある。雑音信号402によって表されるものなどの雑音が、このステップ関数信号に導入される場合に、このステップ関数信号は、雑音のあるステップ関数信号403によって示されるものなど、雑音のあるステップ関数信号になる。図4の信号が、たとえば画像信号から抽出された単一の特徴を表すことを諒解されたい。所与の信号内に、類似するトレース・モードに基づいて抽出される多数の他の可能な特徴がある場合がある。
【0028】
図4Bでフィルタ410として示された、本発明の実施形態の適応フィルタは、雑音を除去し、したがって、フィルタリングされたステップ関数信号404として図示された、元の信号(図4Aに示されたステップ関数信号401)を近似するフィルタリングされた信号を表すために、雑音のあるステップ関数信号403に適用されることが好ましい。諸実施形態によるそのようなフィルタの適用は、雑音を抑制し、ステップ関数のエッジを保存するためである。したがって、ステップ関数の鋭いエッジが、図示の実施形態のフィルタリングされたステップ関数信号404に残っている。したがって、本発明の諸実施形態による適応フィルタは、鋭い特徴エッジ、角、線などを保存するためなど、特徴境界に関して特に有用である。
【0029】
図5に、本発明の諸実施形態の適応フィルタの利点を示すために、前述の雑音のあるステップ関数信号への通常の非適応フィルタの適用を示す。図5のフィルタは、信号に適応しない。フィルタ・カーネル510として図示され、本明細書でG(h)と称するガウス・カーネルが、図示され、従来の非適応フィルタを表す。ステップ関数のエッジに、ガウス・カーネルG(h)が存在する。同様に、エッジから離れた少数の点に、同一のガウス・カーネルG(h)が存在する。したがって、このガウス・カーネルを適用し、信号の平均をとることによって、従来のフィルタは、フィルタリングされたステップ関数信号504を提供するが、このフィルタリングされたステップ関数信号504では、雑音が平滑化によって除去されるだけではなく、ステップ関数のエッジも平滑化によって除去され、したがってもはや鋭くはない。具体的には、領域521および522でのエッジの鋭さが、今では、フィルタによって提供される平滑化によって減らされ、したがって、この信号から形成される超音波画像は、ぼけた境界として現れるエッジをもたらすはずである。
【0030】
図5に示された従来の非適応フィルタと異なって、図4Bの適応フィルタ410は、ステップ関数特徴の鋭いエッジを保存する。図6に、本発明の実施形態の適応フィルタ410が1次元空間内でどのように動作できるかを示す。具体的には、図6に、抽出された特徴、この図ではステップ関数が、雑音を減らすために適用されるフィルタを制御するのにどのように使用されるかを示す。
【0031】
雑音のあるステップ関数信号403に関して任意の特定の点で利用されるフィルタ・カーネルは、図6ではフィルタ・カーネル611〜615として表されている。図5のフィルタ・カーネル510と異なって、図6のフィルタ・カーネルは、適応式である。したがって、このフィルタ・カーネルがステップ関数に近付く時に、このフィルタ・カーネルは、そのステップ関数特徴に対応するように適合される。フィルタ・カーネル613および612によって表されるガウス・カーネルの形状が、左側で鋭いエッジを有するが、右側が、図5に示されたフィルタ・カーネル510に似て滑らかであることに留意されたい。具体的には、図示の実施形態で、フィルタ・カーネル613は、このフィルタ・カーネルの約半分に0をセットされ、このガウス・カーネルの半分だけが、雑音のある信号をフィルタ・アウトするために適用されるようになっている。しかし、フィルタ・カーネル612は、このフィルタ・カーネルの約1/3だけに0をセットされ、このガウス・カーネルの約2/3が、雑音のある信号をフィルタ・アウトするために適用されるようになっている。このフィルタが、ステップ関数エッジから離れて移動する時に、フィルタ・カーネルは、図6に示されたものに似た形になる。ステップ関数のエッジで図示の実施形態の適応フィルタを使用することによって、この信号の左側は、この信号の右側に平均されなくな
る。
【0032】
図6に示された実施形態による動作では、ステップ関数エッジに近付く時に、適応フィルタが、自動的に重みを減らすか、フィルタ係数を変更し、このステップ関数エッジの右側の信号が、このステップ関数エッジの左側の信号と共に平均をとられなくなる。「エッジ」を含むのに十分に大きい信号の過渡が存在するか否かに関わりなく、前述のフィルタ関数を、調べられる任意の信号に適用することができることを諒解されたい。しかし、特徴または構造が、エッジを含むのに十分に大きいならば、フィルタの重み付けが操作され、その結果、そのエッジの両側の画素が一緒に平均をとられなくなることが好ましい。すなわち、諸実施形態は、エッジを探すように動作し、エッジが見つかった時には、フィルタの重み付けが、そのエッジでフィルタの重みを0または0付近にするように、そのエッジに向かって調整される。そのようなエッジを、多次元空間内で定義することができ、したがって、エッジで動作する適応フィルタの前述の概念が、上で示した1次元の例に限定されないことを諒解されたい。さらに、そのようなエッジが定義される次元は、空間次元に限定されず、したがって、時間的に定義することができる。
【0033】
図7Aおよび7Bに、適応フィルタリングが上で述べた図6の1次元の事例に似て適用される2次元の事例を示す。2次元の事例では、本発明の諸実施形態は、2次元においてではあるが、上で説明したように実行される。たとえば、図7Aに示されているように、完全なガウス・フィルタ(フィルタ・カーネル711として図示)を、2次元の雑音のあるステップ関数信号(雑音のあるステップ関数信号703として図示)の平坦な表面(たとえば、上下の台地)に適用することができる。しかし、ステップ関数エッジの近くで、このフィルタ・カーネルは、右側が上部だけを平滑化するようにフィルタ重みを減らすことが好ましい(たとえば、フィルタ・カーネル712は、このフィルタがそのステップ関数エッジに近付く時に、このフィルタ・カーネルの約1/3に0をセットされる)。したがって、左側の情報は、エッジの右側の情報と一緒に平均をとられなくなる。図7Bに、この適応フィルタの適用の後の、フィルタリングされたステップ関数信号704で、ステップ関数の鋭いエッジが保存されることを示す。
【0034】
上で述べたように、前述の適応フィルタの実施形態に関して使用される式(1)および(2)は、カスケードされたフィルタ(上の例では、カスケードされたガウス関数)であり、これは、比較的むずかしいフィルタをもたらす。しかし、局所的特徴がエッジにある場合に、フィルタ・カーネルは、自動的に重みを減らすことが好ましい。重みが減らされた時に、諸実施形態のフィルタは、図6のフィルタ・カーネル612から615によって示されているように、エッジでは完全なカーネルでなくなり、したがって、適用されるフィルタは、信号処理に関して、完全なフィルタ・カーネルよりかなり要求の厳しくないフィルタとすることができる。
【0035】
上で述べたように、式(1)および(2)によって表されるフィルタ・カテゴリに、対称フィルタ(式(1))および非対称フィルタ(式(2))が含まれる。相違は、非対称フィルタが、それに適用される方位を有し、対称フィルタが、すべての異なる方向に対して等方性であることである。したがって、式(1)を使用して実現されるフィルタは、距離の関数としてのフィルタリングをもたらし、式(2)を使用して実現されるフィルタは、勾配の関数としてのフィルタリングをもたらす。上で述べた概念は、両方のフィルタ・カテゴリに関して与えることができる(たとえば、特徴からの距離に関するおよび/または特徴勾配に関するフィルタ重み付けの調整)。
【0036】
図8Aおよび8Bは、本発明の実施形態による、リッジでの例示的対称適応フィルタを示す。図示の実施形態によるフィルタは、画像特徴に適合される。図8Aに示されているように、完全なガウス・フィルタ(フィルタ・カーネル811として図示)を、雑音のあるリッジ信号(雑音のあるリッジ信号803として図示)の平坦な表面(たとえば、背景)に適用することができる。しかし、このフィルタ・カーネルは、リッジ特徴の頂部だけが平坦化されるように、リッジでフィルタ重みを減らすことが好ましい(たとえば、フィルタ・カーネル812は、リッジ特徴に適用される時に、このフィルタ・カーネルの左側約3/1および右側約3/1のそれぞれに0をセットされる)。したがって、リッジ特徴の左右の背景表面からの情報は、リッジ上の情報と一緒に平均をとられなくなる。図8Bに、この適応フィルタの適用の後に、フィルタリングされたリッジ信号804でリッジの鋭いエッジが保存されることを示す。
【0037】
図9Aおよび9Bに、特徴の交差点(たとえば、リッジの交差点)での、本発明の実施形態による例示的対称適応フィルタを示す。図示の実施形態のフィルタは、中央付近で画像特徴に適合される。図9Aに示されているように、完全なガウス・フィルタ(フィルタ・カーネル911として図示)を、雑音のあるリッジ交差信号(雑音のあるリッジ交差信号903として図示)の平坦な表面(たとえば、背景)に適用することができる。しかし、このフィルタは、リッジおよびリッジ交差部でフィルタ重みを減らすことが好ましい(たとえば、フィルタ・カーネル912は、このフィルタが適用されるリッジ交差の部分に対応してフィルタ・カーネルの諸部分に0をセットされる)。図示の実施形態のフィルタ・カーネル912が、たとえば、フィルタ・カーネル812と比較してより複雑な形状をとり、この形状が、リッジのエッジを保存するほかに、リッジ交差の角を保存することを諒解されたい。したがって、リッジ特徴の左右の背景表面からの情報は、リッジ上の情報と一緒に平均をとられなくなる。図9Bに、この適応フィルタの適用の後に、フィルタリングされたリッジ交差信号904でリッジの鋭いエッジならびにリッジ交差の角の鋭いエッジが保存されることを示す。
【0038】
上で述べたように、好ましい実施形態によれば、適応フィルタは、角を保存することを試み、特徴の交差に関連するエッジの鋭さを保存することも試みる。適応フィルタは、一般に前述の達成において良好に働くが、ある種の応用例でいくつかの制限がある。具体的には、対称フィルタを使用すると、フィルタリング重みが、局所的特徴の関数であり、この場合に、重みが抑制される時に、効果的なフィルタリング・カーネル・サイズがより小さくなる。その結果、特徴エッジの付近でのフィルタリング効果が、表面より小さくなる。この現象は、図8Aで見ることができ、図8Aでは、完全なガウス・フィルタが、背景領域に適用されるが、ガウス・フィルタのサブセットだけが、リッジ・エッジに沿って適用されるはずである。したがって、画像の異なる部分で適用されるフィルタの量は、同一でなくなり、リッジから離れた領域と比較してリッジ付近により多くの雑音が残される、フィルタリングされた信号がもたらされるはずである。図6Aおよび9Aに、その中のめいめいの特徴に関するこの現象が示されている。
【0039】
したがって、本発明の諸実施形態は、特徴エッジでの前述の不揃いなフィルタリング効果を補償するために、ステアラブル・フィルタリング・プロセスを実施する。諸実施形態は、特徴の方位に従って複数の異なるステアラブル・フィルタを展開する。これらのステアラブル・フィルタは、抽出するか分類することができ、このシステムは、これらのフィルタを当の方位に適用して、エッジ周囲の追加のフィルタリングを行うことが好ましい。たとえば、あるステアラブル・フィルタを、図8Aの雑音のあるリッジ信号803のリッジに沿った適用のために提供することができるが、あるステアラブル・フィルタを、雑音のあるリッジ信号803の背景平面およびリッジ交差によって定義されるエッジに沿った背景への適用のために提供することができる。本発明のさまざまな実施形態には、性能を改善するために、対称フィルタに加えてステアラブル非対称フィルタが含まれる。そのような実施形態では、システムは、特徴の方位に基づいて、その特徴に非対称フィルタを適用する。
【0040】
図10Aおよび10Bは、本発明の少なくとも1つの実施形態で使用されるさまざまな例のステアラブル・フィルタを示す。好ましい実施形態によれば、フィルタリングされる信号内の局所的特徴の方位が、判定される(たとえば、特徴の支配的角度θを判定することができる)。局所的特徴の方位に対応する方位にされたステアラブル・フィルタが、作成されることが好ましい(たとえば、角度θ の方位にされた非対称ステアラブル・フィルタ)。次に、このステアラブル・フィルタが、フィルタリングされた画像を提供するために、判定された方位で特徴に適用される。
【0041】
図10Aおよび10Bの図には、XY空間で実行される空間センタリングが示されているが、同一の概念を、他の次元(たとえば、Z軸および時間軸)に拡張することができる。たとえば、さまざまな実施形態を、4次元(たとえば、X、Y、Z、および時間)に適合させることができる。前述の次元のうちの1つまたは複数が、空間である必要がなく、したがって、時間、輝度などを含むことができることに留意されたい。複数の次元(たとえば、XYZで測定される3次元)がある場合に、このシステムは、異なる次元で異なる方位にされた異なるフィルタを有することができる。
【0042】
下で示す式は、本発明のさまざまな実施形態による比較的単純な2次元の事例に関するステアラブル非対称フィルタを表す。
【0043】
【数2】

ここで、図11に示されているように、式(3)のvは、特徴エッジに垂直な勾配方向であり、式(3)のuは、特徴エッジに平行である。式(3)の実施形態には、上で述べた非対称フィルタ式(2)から導出された、2つの指数表現、ここでは2つのガウス式(Gaussian expression)がある。第1のガウス式は、uおよびvを含み、特徴の方位を示す。次のガウス式は、u方向に沿ったグレイスケールの勾配(g)と、v方向に沿った特徴の勾配とを表す。図11に示された楕円は、結果のフィルタを示す表現を提供する。図示の実施形態では、このフィルタが、u 方向に沿って広がり、より小さい範囲まで、垂直のv 方向に沿って広がる。これがガウス・フィルタであると仮定すると、ガウシアンの広がりは、シグマuおよびシグマv によって記述される。図示の実施形態のシグマvは、シグマuより小さい。シグマは、XY軸に関するこのu軸の方位であり、XY軸は、画像の品質であり、uは、特徴の方向である。シグマgは、この特定のガウス関数の広がりである。
【0044】
図示の実施形態のuv空間は、特徴空間であるが、次の式によって表すことができる回転変換である。
【0045】
【数3】

したがって、ステアラブル・フィルタは、画像空間内で次の式に従って表すことができ、ここで、λ>>λかつ|∇g|>>|∇g|と仮定する。
【0046】
【数4】

【0047】
上から、諸実施形態によるシステムが、特徴の方位を識別でき、たとえば式(3)または(5)によって定義されるフィルタ・カーネルを使用して、その特徴の特定の方向に沿って働くようにフィルタを適合させることができることを諒解されたい。この方向は、フィルタ自体の方向とすることができる。本発明の諸実施形態によれば、表面を、特徴とすることができ、勾配自体を、特徴とすることができ、構造の位置を、特徴とすることなどができる。
【0048】
関数Gは、uv空間内で、
【0049】
【数5】

として表すことができる。λ>>λであり、vが勾配方向であると仮定し、σ>>σであるものとすると、式(6)の勾配を、下で示されているように表すことができる。
【0050】
【数6】

ここで、
【0051】
【数7】

は、特徴エッジに平行なベクトルであり、
【0052】
【数8】

は、フィルタリング領域内の(x,y)にある点である。
【0053】
勾配方向は、峻度が2次元空間で変化することを示す。言い換えると、グレイスケールが変化する時に、これを地形のように記述することができる。急峻な側では、勾配がより大きい。通常、その特定の方向で画像を平滑化することは望ましくない(たとえば、「崖から落ちる」のを避ける)。したがって、本発明の諸実施形態は、最も急峻な勾配の方向と異なる方向で平滑化関数を適用する。たとえば、最大勾配方向が、勾配Gvである場合に、このシステムは、最大勾配がv 方向なので、u方向に沿ってフィルタを適用する。言い換えると、さまざまな実施形態は、勾配が最大である方向に垂直な方向に沿って平滑化フィルタを適用する。
【0054】
特徴エッジ方位は、本発明の諸実施形態に従って、輝度勾配のヤコビアンによって定義されるヘッシアン行列から固有ベクトルを見つけることによって見つけることができる。ヘッシアン行列Mは、下で表される。
【0055】
【数9】

入力画像Iは、導関数をとる前に、まずガウス・フィルタGによって正規化することができる(J=G*I)。ヘッシアン行列Mの固有値および固有ベクトルを、下記によって計算し、表すことができる。
【0056】
【数10】

ここで、λ>λであり、vは、軸に対して角度θの方位にされたエッジに垂直なベクトルであり、uは、式(9)のエッジに平行である。
【0057】
前述の例は、特徴エッジを突き止めるのに固有ベクトルを利用するが、本発明の諸実施形態は、特徴エッジを突き止めるための追加のまたは代替の技法を実施することができる。たとえば、さまざまな既知のディジタル画像処理技法、コンピュータ・ビジョン信号処理技法、形態論画像処理などを、本発明の諸実施形態に従って利用して、特徴を突き止めることができる。本発明の諸実施形態は、たとえば、特徴を突き止めるためにファジイ論理を実施することができ、ここで、ファジイ論理コントローラは、推定上の特徴のさまざまな属性を分析して、最善の特徴一致決定を行うことができる。
【0058】
図12に、本発明のさまざまな実施形態によるエッジ方向および勾配方向を示す。図12に示された画像は、図7B、8B、および9Bに関して上で示したものより複雑な2次元画像である。図12の実施形態では、第3次元が、グレイスケールである。平行の矢印によって示される勾配方向は、2次元表面内のある急峻な変化を示す。勾配方向に垂直なのが、エッジ方向である。好ましい実施形態によれば、適応フィルタが、エッジ方向に沿って適用される。フィルタ方位を、上で述べた式(6)〜(9)の数学的計算に基づい計算できることを諒解されたい。
【0059】
図12で表された物体に、前に説明したさまざまなプリミティブ特徴の合成が含まれることを諒解されたい。具体的には、図12の物体は、エッジ、リッジ、および斜面を有する。ある物体が、局所性において特徴のそのような組合せを有する時に、本発明の諸実施形態によって実施される適応フィルタを、特徴のうちのさまざまな1つに適合されたさまざまなフィルタ構成の合成物、たとえば、上で説明したフィルタ構成の組合せとすることができる。
【0060】
図13A〜13Cは、本発明の実施形態に従って利用できるガウス・フィルタ・カーネルの単純な例の実施形態を示す。図13Aは、1次元ガウス・フィルタ・カーネルを示し、図13Bは、2次元ガウス・フィルタ・カーネルを示す。図示の例では、連続体でのガウス・フィルタ・カーネルの実施に、多数の点が含まれる。このガウス・フィルタ・カーネルは、中心極限定理を使用して二項展開として近似される。中心極限定理は、ガウス関数に関する多数の点が判定されるまで、パターンを継続できることを教示する。この定理によれば、ガウシアンを二項カーネルによって近似でき、この二項カーネルを近傍の平均の繰り返しによって生成することができる。
【0061】
図13Cは、図13Bの2次元フィルタが、少なくとも4つの方向でステアラブルであることを示す。具体的には、図13C は、2次元の4つの方向でのステアラブル・フィルタを記述する単純なフィルタを表す。もちろん、この概念は、任意の個数の方向(たとえば、6方向)に適用することができる。図13C のフィルタ・カーネルのa、b、c、d、e、f、およびgの値は、ガウス関数の真直度に従って(たとえば、σおよびσのパラメータによって)定義することができる。図13Cに示された実施形態の主方向は、aaである。3つの点の方向は、babになり、方向の残りは、ガウス関数に従って異なる係数で満たされ、異なるシグマを有する。
【0062】
本発明の諸実施形態による動作では、システムが、特徴を調べ、その特徴があるタイプの判断基準(たとえば、画素類似性)に従う場合に、フィルタリングに関する情報をグループ化する。判断基準が満足される場合に、対応する画素が、フィルタ・プロセスに含まれることが好ましい。そうでない場合に、この特定の画素は、フィルタ・プロセスに含まれない。言い換えると、本発明のアルゴリズムは、画素を調べるように動作することができ、その画素が、隣の画素と十分に似ていない場合に、これらの画素は、一緒に平均をとられない。しかし、エッジ方位が非常に似ている場合には、諸実施形態は、一緒に画素の平均をとることができる。一般に、ある画素が表面に近い場合に、その画素は、むしろ平坦区域の画素であり、画素を一緒にフィルタリングすることが望ましい。たとえば画素が異なる領域にあるので、急峻な変化がある場合には、一般に、それらの画素を一緒にフィルタリングすることは望ましくない。
【0063】
前述の例を、単一の特徴に関して述べたが、1つの画像信号に複数の特徴が含まれる場合があることを諒解されたい。したがって、本発明の諸実施形態は、そのような特徴のうちのさまざまな特徴を識別し、上で説明したように、そのような特徴に関して1つまたは複数のフィルタを選択し、かつ/または適用するように動作する。さらに、画像フィルタリングを最適化するために、本発明の諸実施形態は、画像フィルタリングの提供に関してサブ画像処理を実施する。上で述べたように、本発明の諸実施形態は、1つの画像を異なる解像度のサブ画像または画像表現に分解する。前述の適応フィルタおよびステアラブル・フィルタのうちの1つまたは複数が、各そのようなサブ画像に存在するさまざまな特徴に適用される。任意のそのようなサブ画像に関して使用されるフィルタは、異なるサイズのフィルタとし、画像に関して異なる方位で適用し、かつ/またはさまざまなパラメータを使用することができるが、各そのようなフィルタは、上で述べたように選択し、適用することができる。
【0064】
図14に、本発明のさまざまな実施形態と共に使用するために適合された診断超音波システム1400の例示的信号経路を示す。しかし、本発明が、特定の信号経路に限定されないことを諒解されたい。図示の信号経路に、当技術分野で周知のように超音波トランスデューサ・アレイを含むことができるものなど、スキャンヘッド1401が含まれる。他の実施形態は、スキャンヘッド1401を、ラジオ周波数実施形態でのアンテナ・アレイなど、さまざまな回路網に置換することができる。フロント・エンド特定用途向け集積回路(ASIC)として設けることができるものなどのフロント・エンド回路網1402が、たとえば、アナログ− ディジタル信号変換、ディジタル− アナログ信号変換、ビームフォーミング、および/または他のフロント・エンド処理を提供することができる。ディジタル信号プロセッサ(DSP)として設けることができるものなどの信号プロセッサ1403が、たとえば、あるレベルの信号フィルタリング、合成開口形成、周波数コンパウンディング、ドップラ処理、および/または他の高度な処理を提供することができる。バック・エンドASICとして設けることができるものなどのバック・エンド回路網1405が、たとえば、スキャン変換、ビデオ信号出力などを提供することができる。陰極線管表示システム、液晶表示システムなどを含むことができるものなどのディスプレイ1406が、スキャンヘッド1401、フロント・エンド回路網1402、信号プロセッサ1403、およびバック・エンド回路網1405によって処理された超音波信号から生成されたビデオ画像などの情報をユーザに表示するユーザ・インターフェースを提供する。本発明の諸実施形態による使用のために適合させることのできるスキャンヘッド、フロント・エンド回路網、信号プロセッサ、バック・エンド回路網、およびディスプレイを含む信号経路を有する超音波システムに案する追加の詳細は、その開示が参照によって本明細書に組み込まれている米国特許第5,722,314号に図示され、記載されている。
【0065】
図14に示された例示的信号経路では、本発明の実施形態の適応フィルタリングが、外部DSP1404内で実行される。具体的には、図示の実施形態の外部DSP1404は、バック・エンド回路網1405とインターフェースされて、そこからディジタル画像情報(バック・エンド回路網1405によるスキャン変換の前であれ後であれ)を受け取り、フィルタリングされた画像情報をバック・エンド回路網1405に供給する。しかし、代替実施形態は、診断超音波システム信号経路の内部であれ外部であれ、および/または診断超音波システムに関連して使用されるものであれなかれ、他の回路内で適応フィルタリングを実施することができる。たとえば、本発明の諸実施形態の適応フィルタリングを、望まれる場合に信号プロセッサ1403の一部として提供することができる。
【0066】
本発明の実施形態によれば、外部DSP1404は、上で説明した適応フィルタ・カーネルおよびステアラブル・フィルタ・カーネルを実施するソフトウェアの制御の下で動作する。具体的には、一実施形態の外部DSP1404は、ディジタル画像信号内の1つまたは複数の特徴を識別し、そのような特徴の方位を判定し、その特徴に適用されるフィルタ・カーネルを選択し、かつ/または構成し、画像信号にフィルタ・カーネルを適用するためにアルゴリズムを実施する。イメージ・フィルタリングに関するサブ画像処理が提供される場合に、外部DSP1404は、さらに、本発明の諸実施形態による画像信号の複数解像度分解とフィルタリングされた信号の複数解像度再構成とを提供することができる。
【0067】
外部DSP1404の実施形態は、知識ベース1414を含むかこれと通じているものとすることができ、この知識ベース1414には、フィルタ構成情報、フィルタ・カーネル・パラメータ選択判断基準、フィルタ・カーネル・パラメータ、ならびに/または適応フィルタおよびステアラブル・フィルタの展開、構成、および適用に有用な他の情報が保管される。たとえば、知識ベース1414に、1つまたは複数のフィルタ・カーネル構成、パラメータなどを、画像信号内で識別できる特定の構造に関連付ける情報を保管することができる。それに加えてまたはその代わりに、知識ベース1414に、特定の構造、構造方位などを識別する際に使用される情報を保管することができる。
【0068】
その中の情報またはその一部がインデクシングされるか他の形でコンテキスト内でアクセス可能である高度な知識ベースを、本発明の諸実施形態に従って利用することができる。たとえば、診断超音波システム1400を、心臓スキャン、腎臓スキャン、上部消化管スキャンなどの複数の事前定義の手順または動作モードに関して使用することができる。知識ベース1414は、これらの手順または動作モードのうちのさまざまなものに合わせて調整されたまたはそれに固有の情報を保管することができ、ユーザが手順のうちの選択された1つでの使用のために診断超音波システム1400を構成する時に、知識ベース1414の関連部分が、そのような手順に典型的な特定の構造、そのような手順に典型的な構造方位、そのような手順に合わせて調整された1つまたは複数のフィルタ・カーネル構成、そのような手順に合わせて調整されたフィルタ・パラメータなどを識別するための情報を入手するためにアクセスされるようになっている。たとえば、特徴を、前述のファジイ論理を使用することによるなど、画像信号内で識別することができ、知識ベースにアクセスして、その特徴に関して使用される特定のフィルタ・カーネルおよび/またはフィルタ・パラメータを選択することができる。どの特徴が画像信号内に存在する可能性が高いかに関する事前の知識がある(たとえば、選択された動作モードまたは実行される特定の手順を介して) 場合に、その情報を、特徴識別および/またはフィルタ選択決定で考慮することができる。もちろん、諸実施形態の知識ベース1414には、それに加えてまたはその代わりに、より広い適用可能性を有する情報または事前に決定されないユーザに対処するなど、他の形で特定のコンテキストに合わせて調整されない情報を含めることができる。
【0069】
図15に、本発明のさまざまな実施形態による、図14の外部DSP1404に対応するものとすることのできるものなどの処理ユニットの機能ブロック図を示す。図示の実施形態では、前処理構成要素1500が、前フィルタリング、マッピング・プロセス、または本発明の適応フィルタリングおよびステアラブル・フィルタリングの前に行われる他のプロセスなど、入力画像データに対して行われる処理を提供する。
【0070】
前処理の後に、画像信号が、図示の実施形態では分解ブロック1501によって、画像の複数解像度表現(サブ画像)に分解される。一実施形態は、N個までのサブ画像を有することができ、その結果、入力画像をN 個のサブ画像に分解できるようになる(他のサブ画像がそこから分解される元の画像を、本明細書で説明するフィルタリングに関する「サブ画像」として含めることができることを理解されたい)。たとえば、分解ブロック1501は、高解像度画像信号から開始し、その信号を最初の信号の解像度の半分の第1の分解された画像信号に分解し、第1の分解された画像信号を第1の分解された画像信号の解像度の半分(最初の信号の解像度の1/4)の第2の分解された画像信号に分解し、以下同様にして、それぞれが次のサブ画像の半分の解像度を有するN個のサブ画像を提供することができる。たとえば、各次元で128画素を有する画像を検討すると、解像度の次のレベルは、64×64であり、次に32×32、次に16×16、次に8×8などになるはずである。本発明の好ましい実施形態による分解は、トップ・ダウンから(たとえば、最高解像度から最低解像度へと)達成される。
【0071】
本発明が、解像度のレベルの個数またはサブ画像の間の分解のレベルによって限定されないことを諒解されたい。同様に、本発明は、分解の形によって限定されない。したがって、ウェーブレット分解と、現在既知または今後開発されるさまざまな他の形とを含む、画像を分解するさまざまな方法を使用することができる。
【0072】
本発明による複数解像度画像処理の概念を、人間の目によって示すことができる。見る人が、画像から10フィート離れて立っている場合に、解像度は、より低くなり、見られるものは、画像内の構造または大域的特徴である。しかし、見る人が、近付き、たとえば画像から1フィート離れている場合に、見る人は、おそらく大域的特徴を見ることを犠牲にして、画像内のより多くの詳細を見る。
【0073】
異なるレベルの抽象化が、抽象化のレベル内でさまざまな特徴、たとえば大域的特徴、より局所化された特徴、および非常に局所化された特徴を識別し、それらにフィルタリングを適用するために、本発明の諸実施形態に従って実施される。たとえば、諸実施形態は、特徴の側面を検出することができ、特徴の異なる側面が、特徴の異なる側面でスペックル低減フィルタを適用する。このシステムは、より低い解像度のサブ画像を使用して、画像の大域的特徴を抽出し、より高い解像度のサブ画像を使用して、保存されるべき詳細を抽出することができる。
【0074】
図15をもう一度参照すると、分解ブロック1501は、フィルタ処理のための画像のサブ画像への分解を提供する。分解ブロック1501の出力は、図示の実施形態ではHからLn−1として図示されているが、処理ブロック1502に供給され、処理ブロック1502は、本発明の諸実施形態による適応フィルタリングおよび/またはステアラブル・フィルタリングを提供する。したがって、前に述べたフィルタが図示の実施形態に従って画像に適用されるのは、処理ブロック1502内である。
【0075】
好ましい実施形態の処理ブロック1502は、一種の依存性を実証する。すなわち、処理ブロックに供給されるめいめいのサブ画像のほかに、使用可能な場合に、より低解像度のブロックからの特徴に関する情報も、処理ブロックに供給される(たとえば、処理ブロック1502aによって処理される特徴に関する情報が、処理ブロック1502bに伝搬される)。この追加情報は、より低解像度のサブ画像からの基礎を提供し、この基礎が、より高解像度のサブ画像に関して行われる処理を案内する。したがって、本発明の好ましい実施形態は、ボトム・アップから(たとえば最低解像度から最高解像度へ)の、処理ブロック1502を使用する画像フィルタリングを提供する。そのようなボトム・アップ処理は、大域的特徴を識別する際ならびに局所化された特徴および非常に局所化された特徴に入り込む際の利点および処理の経済をもたらす。
【0076】
処理ブロック1502によって出力される処理されたサブ画像は、図示の実施形態ではPからPN−1として図示されているが、複数解像度画像再構成のために再構成ブロック1503に供給される。すなわち、諸実施形態の再構成ブロック1503は、サブ画像の組合せ(たとえば、行われる分解の反対)をもたらす。図示の実施形態のシステムは、個々の処理ブロック1502からの出力をインテリジェントな形で組み合わせて、人間のユーザ用のフィルタリングされた画像を作る。本発明の諸実施形態による画像再構成は、アップサンプリングおよび組合せを実施することができる。たとえば、より低解像度のサブ画像を、次のより高解像度のサブイメージの解像度にアップサンプリングし、この2つのサブ画像を組み合わせることができる。そのようなアップサンプリングおよび組合せは、元の画像の解像度に達するまで繰り返すことができる。したがって、本発明の好ましい実施形態は、ボトム・アップから(たとえば、最低解像度から最高解像度へ)の、再構成ブロック1503を使用する画像再構成を提供する。しかし、現在既知のまたは今後開発されるすべての形を1つまたは複数の実施形態で使用することができるので、本発明が、組合せの形によって限定されないことを諒解されたい。
【0077】
後処理構成要素1504を、画像再構成の後に、望みの追加信号処理をもたらすために使用することができる。たとえば、本発明に従って画像が処理された後に、輝度を高めること、グレイスケールを再マッピングすること、医療処理の世話をするために追加フィルタリングを行うことなどが望ましい場合がある。したがって、後処理構成要素1504によって提供される後処理は、通常、全体的な信号処理のうちの小さい構成要素である。
【0078】
上で図14に関して述べたように、知識ベース1414を使用して、さまざまな応用例固有データを保管することができる。処理ブロック1502で行われる処理は、しばしば、特徴、画像に期待されるさまざまな属性などに依存し、したがって、知識ベース1414は、さまざまな特徴に合わせて処理を調整するのに有用な情報を供給することができる。使用されるスキャンヘッドのタイプ、使用される送るアプリケーションのタイプなどに依存する、この処理に対するある制御を提供することが望ましい場合もある。たとえば、心臓病学は、心臓病固有機器を使用する場合がある。この処理の応用例固有調整は、知識ベース1414からの情報を使用して実行され、知識ベース1414は、処理ブロックによって利用される追加パラメータを供給する。知識ベースに、たとえば、利用できる画像の構成に関する以前の知識を含めることができる。たとえば、画像が心臓の画像であることがわかっている場合に、諸実施形態は、アプリケーションを心臓の結像によりよいものにする特殊化されたアルゴリズムを適用することができる。
【0079】
図16に、分解ブロック1501の実施形態に関する詳細を示す。図16の実施形態では、デシメーション・フィルタが、次のより高次の画像またはサブ画像の半分の解像度を有するサブ画像を作るのに使用される。たとえば、デシメーション・フィルタ1600が、半分の解像度を有するサブ画像1602を作るために、元の雑音のある画像信号に関して使用される。このサブ画像は、もう1つのサブ画像を作る次のデシメーション・フィルタへの入力として使用される。このサブ画像は、補間フィルタ1601への入力(サブ画像1603として図示)としても使用される。この補間フィルタは、元の画像の滑らかな版を再構成するのに使用される。この平滑化された版は、元の画像から減算されて、元の画像の高域通過版が作られる。
【0080】
図17に、処理ブロック1502の実施形態に関する詳細を示す。上で述べたように、処理ブロック1502は、本発明の諸実施形態の適応フィルタが適用される場所である。したがって、入力信号は、サブ画像のうちの1つである。このサブ画像入力と、使用可能な場合に、より低解像度のサブ画像処理からの特徴に関する情報とから、局所的特徴が、特徴抽出ブロック1701によって抽出される。特徴に関する情報は、より高次の解像度のサブ画像に関して使用される処理ブロックに特徴情報を供給するために、図示の実施形態の特徴抽出ブロック1701によってアップサンプラ・ブロック1704に供給される。特徴に関する情報は、特徴抽出ブロック1701によってフィルタ構成ブロック1703にも供給される。フィルタ構成ブロック1703は、好ましくは知識ベースから入手可能な情報と組み合わせて、特徴情報を使用して、上で詳細に述べたようにサブ画像に適用される1つまたは複数の適応フィルタおよび/またはステアラブル・フィルタを選択し、構成し、かつ/または計算する。フィルタ構成ブロック1703によって決定された1つまたは複数のフィルタが、フィルタリング・ブロック1702によってサブ画像に適用される。フィルタリング・ブロック1702によって適用される適応フィルタおよび/または空間時間フィルタが、単一のフィルタである必要がないことを諒解されたい。たとえば、対称フィルタとそれに続く非対称フィルタのカスケードを、本発明の諸実施形態に従ってサブ画像に適用することができる。
【0081】
図からわかるように、図17の処理ブロック1502は、次のより高解像度の処理ブロックで使用される抽出された特徴に関する情報(適当である場合に)を出力し、次のより低解像度の処理ブロックからの特徴に関する情報(適当である場合に)が、処理ブロック1502に供給される。より低解像度のブロックの特徴に関する情報は、適応フィルタ係数を計算するか他の形で選択するために、現在の解像度レベルで抽出された特徴に関する情報と共に使用されることが好ましい。この例では、使用される特徴が、2つの隣接した解像度レベルからの特徴であり、これは、異なる処理ブロックの間の一貫性を実現するのを助けることができる。
【0082】
図18に、再構成ブロック1503の実施形態に関する詳細を示す。図18の実施形態は、サブ画像処理ブロック1502の出力が、合成画像を形成するためにどのように組み合わされるかを示す。具体的には、再マッピング・ブロック1801が、必要に応じて画像輝度の再調整を可能にする。ここで使用されるマッピング機能は、図14の知識ベース1414から入手される。再マッピング・ブロック1801の出力は、次のより高いサブ画像の解像度へのサブ画像のアップサンプリングのためにアップサンプラ1802に供給される。その後、コンバイナ1803が、アップサンプリングされたサブ画像を次のより高いサブ画像と組合せ、以下同様である。
【0083】
図19に、外部DSP1404に関して上で述べた機能ブロックを提供するために1つまたは複数の実施形態に従って適合された例示的D S P ハードウェア構成を示す。図示の実施形態に、雑音のある画像信号を受け取るため、フィルタリングされた画像信号の出力を供給するため、知識ベース1414とインターフェースするためなど、このDSPを他の回路網とインターフェースするためのI/Oポート1904が含まれる。図示の実施形態のDSP1404に、DMAエンジン1903、フレーム・バッファ1905、高速メモリ1902、およびDSPコア1901が含まれる。図示の実施形態のDSP1404に、DMAエンジン1903、フレーム・バッファ1905、高速メモリ1902、およびDSPコア1901が含まれる。DSPコア1901に、算術論理ユニット(ALU)が含まれる。高速メモリ1902は、計算中にDSPコア1901によって使用されるメモリを提供する。DMAエンジン1903は、高速メモリ1902と外部の通常はより低速のメモリ(フレーム・バッファ1905がある)との間のバックグラウンド・データ転送を容易にする。DSPの特定の構成が図19に示されているが、本発明が、上で説明した複数解像度適応フィルタリングを実施するために特定のDSPまたは他の種類のプロセッサに限定されないことを諒解されたい。実際に、そのような処理を、たとえば、フィールド・プログラマブル・ゲート・アレイ(FPGA)、特定用途向け集積回路(ASIC)、汎用マイクロプロセッサ、または類似物によって実行することができる。
【0084】
いくつかの実施形態の利点は、適応フィルタが、エッジを保存することによってよりよい解像度を提供できることである。複数解像度分解と組み合わされた時に、高性能処理をより効率的に実行できるようになる場合がある。いくつかの実施形態のもう1つの利点は、複数解像度処理が、高水準特徴から低水準詳細までの情報を信号から抽出する、より効率的な形を提供できることである。実際に、いくつかの実施形態は、より効率的な処理がより低い電力使用およびより少ないコンピューティング機能を用いてより高い性能を提供するので、ポータブル・デバイスで実施可能である。
【0085】
イメージングに用いられる計算の多くが、微分方程式を解いている。たとえば、画像の大きい面積にまたがる支配的特徴を抽出しなければならない場合に、伝統的な処理デバイスを使用すると、非常に大きいフィルタが作成される場合がある。しかし、本発明のさまざまな実施形態は、信号をより低い解像度のサブイメージに分解し、これによって、より少数の画素または点が処理されるので、より小さいカーネルを用いて特徴を識別できるようになる。たとえば、異なる画素に適合された30×30または50×50のカーネルを仮定する。しかし、複数解像度分解が使用される本発明の概念を使用すると、より小さいフィルタ・カーネル、たとえば3× 3または5× 5を使用することができる。追加の性能強化を、事前に計算されたルックアップ・テーブルの使用および処理ブロック1502に関するものなど、単純化された技法の使用を介して実現することができる。より低い電力使用およびより低いコストを有する高性能フィルタリングは、超音波デバイスなど、高品質ポータブル・イメージング・デバイスを提供することができる。
【0086】
本発明およびその利点を詳細に説明したが、さまざまな変更、置換、および改変を、添付の特許請求の範囲によって定義される本発明の趣旨および範囲から逸脱せずに行うことができることを理解されたい。さらに、本願の範囲は、本明細書で説明したプロセス、機械、製品、材料の組成、手段、方法、およびステップの特定の実施形態に限定されることを意図されていない。当業者は、本発明の開示から、本明細書で説明した対応する実施形態と実質的に同一の機能を実行するか実質的に同一の結果を達成する、現在存在するか今後開発されるプロセス、機械、製品、材料の組成、手段、方法、またはステップを、本発明に従って利用できることを、たやすく諒解するであろう。したがって、添付の特許請求の範囲は、その範囲内に、そのようなプロセス、機械、製品、材料の組成、手段、方法、またはステップを含むことが意図されている。
【符号の説明】
【0087】
100 画像
111〜114 円
121〜127 楕円
201〜209 フレーム
211〜214 グループ
310および302 ブロック
401 ステップ関数信号
402 雑音信号
403 雑音のあるステップ関数信号
404 フィルタリングされたステップ関数信号
410 フィルタ
504 フィルタリングされたステップ関数信号
510 フィルタ・カーネル
521および522 領域
611〜615 フィルタ・カーネル
703 雑音のあるステップ関数信号
704 フィルタリングされたステップ関数信号
711 フィルタ・カーネル
712 フィルタ・カーネル
803 雑音のあるリッジ信号
804 フィルタリングされたリッジ信号
811 フィルタ・カーネル
812 フィルタ・カーネル
903 雑音のあるリッジ交差信号
904 フィルタリングされたリッジ交差信号
911 フィルタ・カーネル
1400 診断超音波システム
1401 スキャンヘッド
1402 フロント・エンド回路網
1403 信号プロセッサ
1404 外部D S P
1405 バック・エンド回路網
1406 ディスプレイ
1414 知識ベース
1500 前処理構成要素
1501 分解ブロック
1502 処理ブロック
1503 再構成ブロック
1504 後処理構成要素
1600 デシメーション・フィルタ
1601 補間フィルタ
1602 サブ画像
1603 サブ画像
1701 特徴抽出ブロック
1702 フィルタリング・ブロック
1703 フィルタ構成ブロック
1704 アップサンプラ・ブロック
1801 再マッピング・ブロック
1802 アップサンプラ
1803 コンバイナ
1901 DSPコア
1902 高速メモリ
1903 DMAエンジン
1904 I/Oポート
1905 フレーム・バッファ

【特許請求の範囲】
【請求項1】
画像を処理する方法であって、
前記画像を複数のサブ画像に分解することと、
前記複数のサブ画像の各サブ画像内の1つまたは複数の特徴を判定することと、
前記複数のサブ画像の各サブ画像に異なる適応フィルタを適用することであって、前記適応フィルタが、前記1つまたは複数の関連する特徴の態様に適応式であることと
を含む方法。
【請求項2】
前記複数のサブ画像が、異なる解像度のサブ画像を含む、請求項1に記載の方法。
【請求項3】
前記複数のサブ画像の前記サブ画像が、それぞれ、次のより高解像度のサブ画像の半分の解像度である、請求項2に記載の方法。
【請求項4】
前記分解が、前記異なる解像度の最高解像度から最低解像度へと達成される、請求項2に記載の方法。
【請求項5】
各サブ画像内の1つまたは複数の特徴の前記判定が、
特定のサブ画像の1つまたは複数の特徴を判定する際に使用するために、前記複数のサブ画像の別のサブ画像に関する特徴情報を受け入れること
を含む、請求項1に記載の方法。
【請求項6】
各サブ画像内の1つまたは複数の特徴の前記判定が、最低解像度から最高解像度へと達成される、請求項5に記載の方法。
【請求項7】
各サブ画像内の1つまたは複数の特徴の前記判定が、
サブ画像内の特徴エッジを識別すること
を含む、請求項1に記載の方法。
【請求項8】
各サブ画像内の1つまたは複数の特徴の前記判定が、
サブ画像内の勾配を識別すること
を含む、請求項1に記載の方法。
【請求項9】
各サブ画像内の1つまたは複数の特徴の前記判定が、
ホスト・システムの特定の動作モードに関連する画像特徴に関する情報を保管する知識ベースにアクセスすること
を含む、請求項1に記載の方法。
【請求項10】
各サブ画像内の1つまたは複数の特徴の前記判定が、
ホスト・システムを使用して実行される特定の手順に関連する画像特徴に関する情報を保管する知識ベースにアクセスすること
を含む、請求項1に記載の方法。
【請求項11】
適応フィルタの前記適用が、
サブ画像の特徴をフィルタリングする際にインターフレーム情報を使用すること
を含む、請求項1に記載の方法。
【請求項12】
適応フィルタの前記適用が、
サブ画像の特徴をフィルタリングする際にイントラフレーム情報を使用すること
を含む、請求項1に記載の方法。
【請求項13】
前記適応フィルタが、サブ画像の関連する特徴のエッジに関して適応式である、請求項1に記載の方法。
【請求項14】
前記適応フィルタが、サブ画像の関連する特徴の斜面に関して適応式である、請求項1に記載の方法。
【請求項15】
前記適応フィルタが、サブ画像の関連する特徴の勾配に関して適応式である、請求項1に記載の方法。
【請求項16】
適応フィルタの前記適用に使用される1つまたは複数のフィルタ・パラメータを、前記1つまたは複数の特徴の関数として決定すること
をさらに含む、請求項1に記載の方法。
【請求項17】
前記1つまたは複数のフィルタ・パラメータの前記決定が、
前記特徴に関する情報を保管する知識ベースにアクセスすること
を含む、請求項16に記載の方法。
【請求項18】
前記1つまたは複数の特徴のうちの少なくとも1つの方位を判定すること
をさらに含む、請求項1に記載の方法。
【請求項19】
適応フィルタの前記適用が、
前記少なくとも1つの特徴の前記方位の関数として複数の前記適応フィルタのうちの適応フィルタをステアリングすること
を含む、請求項18に記載の方法。
【請求項20】
前記方位が、空間的方位を含む、請求項18に記載の方法。
【請求項21】
前記方位が、時間的方位を含む、請求項18に記載の方法。
【請求項22】
前記複数のサブ画像からのフィルタリングされた画像を、適応フィルタを各前記サブ画像に別々に適用した後に再構成すること
をさらに含む、請求項1に記載の方法。
【請求項23】
前記画像の前記分解、適応フィルタの前記適用、および前記フィルタリングされた画像の前記再構成が、複数回実行される、請求項22に記載の方法。
【請求項24】
前記複数回の回が、前記画像に関する新しい処理点の導入に関連する、請求項23に記載の方法。
【請求項25】
画像を処理する方法であって、
前記画像を複数のサブ画像に分解することと、
前記複数のサブ画像の各サブ画像内の1つまたは複数の特徴のエッジを判定することと、
前記1つまたは複数の特徴のエッジの関数として1つまたは複数の適応フィルタ・パラメータを決定することと、
前記複数のサブ画像の各サブ画像に別々に適応フィルタを適用することであって、前記適応フィルタが、前記1つまたは複数の関連する特徴の態様に適応式であり、前記適応フィルタが、前記適応フィルタ・パラメータのうちの1つまたは複数を実施する、適用することと
前記複数のサブ画像からのフィルタリングされた画像を、適応フィルタを各前記サブ画像に別々に適用した後に再構成することと
を含む方法。
【請求項26】
前記サブ画像が、異なる解像度のサブ画像を含み、前記各異なる解像度が、次のより高い解像度の半分である、請求項25に記載の方法。
【請求項27】
前記画像の前記分解が、最高解像度から最低解像度へと達成され、前記フィルタリングされた画像の前記再構成が、最低解像度から最高解像度へと達成される、請求項25に記載の方法。
【請求項28】
各前記サブ画像内の1つまたは複数の特徴の前記判定が、
最低解像度のサブ画像内の第1の1つまたは複数の特徴を判定することと、
前記1つまたは複数の特徴に関する情報を、より高解像度のサブ画像内の1つまたは複数の特徴を判定するプロセスに提供することと、
前記第1の1つまたは複数の特徴に関する前記情報を使用して、前記より高解像度のサブ画像内の第2の1つまたは複数の特徴を判定することと
を含む、請求項25に記載の方法。
【請求項29】
前記1つまたは複数の適応フィルタ・パラメータの前記判定が、
前記特徴に関する情報を保管する知識ベースにアクセスすること
を含む、請求項25に記載の方法。
【請求項30】
前記適応フィルタが、サブ画像の関連する特徴の空間的態様に関して適応式である、請求項25に記載の方法。
【請求項31】
前記適応フィルタが、サブ画像の関連する特徴の時間的態様に関して適応式である、請求項25に記載の方法。
【請求項32】
前記1つまたは複数の特徴のうちの少なくとも1つの方位を判定すること
をさらに含む、請求項25に記載の方法。
【請求項33】
適応フィルタの前記適用が、
前記少なくとも1つの特徴の前記方位の関数として複数の前記適応フィルタのうちの適応フィルタをステアリングすること
を含む、請求項32に記載の方法。
【請求項34】
画像を処理するシステムであって、
画像データを受け取り、それから複数のサブ画像を作るように動作可能な複数解像度画像デコンポーザであって、前記サブ画像のそれぞれが、異なる解像度を有する、複数解像度画像デコンポーザと、
前記複数のサブ画像の関連するサブ画像内の1つまたは複数の特徴の空間的及び時間的な態様の内の少なくとも一方を判定し、前記1つまたは複数の特徴の関数として前記関連するサブ画像のフィルタリングを提供するようにそれぞれが動作可能な複数の処理ブロックであって、前記処理ブロックのうちの1つまたは複数が、前記複数の処理ブロックの別の処理ブロックによって別のサブ画像に関して判定された特徴に関する情報を受け取る、複数の処理ブロックと、
前記複数の処理ブロックからの出力を受け取り、それから組み合わされた画像を作るように動作可能な画像リコンストラクタと
を含むシステム。
【請求項35】
前記複数の処理ブロックが、ディジタル信号プロセッサによって提供される、請求項34に記載のシステム。
【請求項36】
前記複数解像度画像デコンポーザおよび前記画像リコンストラクタが、前記ディジタル信号プロセッサによって提供される、請求項35に記載のシステム。
【請求項37】
前記複数の処理ブロックによる使用のためのフィルタ・パラメータ情報を保管するデータベース
をさらに含む、請求項34に記載のシステム。
【請求項38】
前記フィルタ・パラメータ情報が、前記処理ブロックによって決定可能として特定の特徴に関連する、請求項37に記載のシステム。
【請求項39】
前記フィルタ・パラメータ情報が、前記システムの特定の動作モードに関連する、請求項37に記載のシステム。
【請求項40】
前記フィルタ・パラメータ情報が、前記システムを使用して実行される特定の手順に関連する、請求項37に記載のシステム。
【請求項41】
前記フィルタリングが、適応フィルタリングを含む、請求項34に記載のシステム。
【請求項42】
前記フィルタリングが、ステアリングされるフィルタリングを含む、請求項34に記載のシステム。
【請求項43】
前記ステアリングされるフィルタリングが、前記特徴のうちの関連する特徴の方位の関数として前記フィルタをステアリングすることを含む、請求項42に記載のシステム。
【請求項44】
前記適応フィルタが、前記画像の前記特徴のエッジにおいてフィルタの重みを減らすことにより適用される、請求項1に記載の方法。
【請求項45】
前記適応フィルタが、前記画像の前記特徴のエッジにおいてフィルタの重みを減らすことにより適用される、請求項25に記載の方法。
【請求項46】
前記適応フィルタリングが、前記画像の前記特徴のエッジにおいてフィルタの重みを減らすことにより適用される、請求項41に記載のシステム。
【請求項47】
前記適応フィルタが、サブ画像の関連する特徴の空間的態様に関して適応式である、請求項1に記載の方法。
【請求項48】
前記適応フィルタが、サブ画像の関連する特徴の時間的態様に関して適応式である、請求項1に記載の方法。

【図1】
image rotate

【図2A】
image rotate

【図2B】
image rotate

【図3】
image rotate

【図4A】
image rotate

【図4B】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7A】
image rotate

【図7B】
image rotate

【図8A】
image rotate

【図8B】
image rotate

【図9A】
image rotate

【図9B】
image rotate

【図10A】
image rotate

【図10B】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13A】
image rotate

【図13B】
image rotate

【図13C】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate


【公開番号】特開2012−228572(P2012−228572A)
【公開日】平成24年11月22日(2012.11.22)
【国際特許分類】
【出願番号】特願2012−179404(P2012−179404)
【出願日】平成24年8月13日(2012.8.13)
【分割の表示】特願2006−315084(P2006−315084)の分割
【原出願日】平成18年11月22日(2006.11.22)
【出願人】(505284921)ソノサイト、インク (10)
【Fターム(参考)】