画像処理装置および画像処理方法
【課題】複数のフレーム画像に存在する特定の周波数のノイズ成分を効果的に除去する。
【解決手段】動画像を構成する各々のフレーム画像を、時間に沿って順次入力する画像入力部１と、画像入力部１からの動画像を複数の周波数帯域に分割する周波数分解部２と、分割した各動画像のなかで、特に時間に依存する分割した動画像の成分を消去または縮小する係数変更部３と、係数変更部３で消去または縮小した成分に基づいて、周波数分解部２とは逆の処理を行なうことで、周波数分解部２で分割した全ての動画像を再構成し、その再構成した動画像を時間毎に分割して、復元したフレーム画像を生成する画像再構成部４と、画像再構成部４で復元したフレーム画像を出力する画像出力部５と、を備えている。
【解決手段】動画像を構成する各々のフレーム画像を、時間に沿って順次入力する画像入力部１と、画像入力部１からの動画像を複数の周波数帯域に分割する周波数分解部２と、分割した各動画像のなかで、特に時間に依存する分割した動画像の成分を消去または縮小する係数変更部３と、係数変更部３で消去または縮小した成分に基づいて、周波数分解部２とは逆の処理を行なうことで、周波数分解部２で分割した全ての動画像を再構成し、その再構成した動画像を時間毎に分割して、復元したフレーム画像を生成する画像再構成部４と、画像再構成部４で復元したフレーム画像を出力する画像出力部５と、を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、超音波画像などの各種画像の鮮明化を可能にした画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
現在、医療分野においては、視覚的に非常に理解しやすいという特徴を生かして、超音波画像をはじめとして、レントゲン像，ＭＲＩ画像，ＣＴ画像などの多くの医用画像が診断に用いられている。
【０００３】
その中でも超音波画像は、レントゲン像とは異なり、撮影時における被曝の危険が少なく、またＭＲＩ画像に比べて撮影装置が安価かつ小型であり、リアルタイムの診断が可能なことから、心臓・循環器領域や産婦人科領域をはじめとして、さまざまな領域で診断に利用される。しかし超音波画像は、他の医用画像と比較してノイズによる影響が大きく、組織境界像が鮮明に得られない場合が多く、病巣が小さい場合などに、経験の浅い検査士が判断するのが困難になり、正確な診断を行なうために熟練が必要となる。
【０００４】
また近年は、例えばメタボリック症候群への対応など、ヘルスケアを目的として、医療従事者に限らず誰でも対応ができる低価格な超音波画像装置の需要が高まっている。その場合、一般の人でも正確に診断できるような判りやすい画像を得ることが重要なため、画像のノイズを軽減し、かつ組織境界部を明確化できる画像処理方法や画像処理装置が求められていた。
【０００５】
こうした問題に対し、特許文献１では、動画像を構成する各フレームの画像について、第１フレーム画像を複数の周波数領域に分解し、その複数の周波数領域のうち所望の周波数帯域に属する係数を、第１フレーム画像よりも前のフレーム画像である第２フレーム画像の同じ周波数領域に属する係数を用いて変更し、全ての周波数領域について係数の変更処理が終わると、その変更した係数に基づいて画像を再構築し、その画像を第１フレーム画像として出力することで、不必要なノイズの強調を抑制しつつ画像信号の強調を行なうことができる画像処理方法が提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−９４５５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記特許文献１では、隣り合うフレーム画像に施される２次元離散ウェーブレット変換の解析結果の差を考慮して、画像の鮮明化を図る提案がなされているが、複数のフレーム画像に存在する比較的周波数の低いノイズ成分をフィルタリングすることが難しく、より一層の画像の鮮明化が求められていた。
【０００８】
本発明は上記課題に鑑みなされたもので、複数のフレーム画像に存在する特定の周波数のノイズ成分を効果的に除去できる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、上記目的を達成するために、動画像を構成する各フレーム画像を順次入力する入力手段と、前記動画像を複数の周波数帯域に分割する分解手段と、前記分割した各動画像のなかで、時間に依存する分割した動画像の成分のうち、目的とする周波数成分の展開係数を消去または縮小する変更手段と、前記消去または縮小した成分に基づいて、前記分解手段とは逆の処理を行なうことで、前記分割した全ての動画像を再構成し、その再構成した動画像を時間毎に分割して、復元したフレーム画像を生成する再構成手段と、前記復元したフレーム画像を出力する出力手段と、を備えることを特徴とする。
【００１０】
ここでの変更手段は、前記分割した動画像のなかで、時間に依存しない高周波成分を示す分割した動画像の成分を拡大する構成を有する。
【００１１】
また前記分解手段は、前記動画像の縦，横，および時間の各方向について、ウェーブレット変換処理を行なうものであり、前記再構成手段は、前記分割した全ての動画像の縦，横，および時間の各方向について、ウェーブレット逆変換処理を行なうものであることを特徴とする。
【００１２】
その場合の前記成分は、前記ウェーブレット変換処理を行なうことで得られるウェーブレット展開係数である。
【００１３】
また、前記分解手段によるウェーブレット変換処理と、前記再構成手段によるウェーブレット逆変換処理は、好ましくはDaubecheies10のマザーウェーブレットを用いて行われる。
【００１４】
本発明の画像処理方法は、上記目的を達成するために、動画像を構成する各フレーム画像を順次入力する入力工程と、前記動画像を複数の周波数帯域に分割する分解工程と、前記分割した各動画像のなかで、時間に依存する分割した動画像の成分のうち、目的とする周波数成分の展開係数を消去または縮小する変更工程と、前記消去または縮小した成分に基づいて、前記分解手段とは逆の処理を行なうことで、前記分割した全ての動画像を再構成し、その再構成した動画像を時間毎に分割して、復元したフレーム画像を生成する再構成工程と、前記復元したフレーム画像を出力する出力工程と、を備える。
【００１５】
またこうした画像処理方法を、コンピュータに実行させるプログラムについても、同様の目的を達成できる。
【００１６】
さらに、当該プログラムを格納したコンピュータが読み取り可能な記憶媒体についても、同様の目的を達成できる。
【発明の効果】
【００１７】
上記画像処理装置や画像処理方法では、動画像を構成する各フレーム画像について、複数の周波数帯域に分解するのではなく、３次元の動画像そのものを複数の周波数帯域に分解する。そして、時間に依存する分割した動画像について、適切な周波数の成分を任意に選択し、これを削除あるいは縮小して、分割した全ての動画像を再構成すれば、複数のフレーム画像に存在する特定の周波数のノイズ成分を効果的に除去することが可能になる。
【００１８】
そしてこれは、上記画像処理方法をコンピュータに実行させるプログラムや、そのプログラムを格納したコンピュータが読み取り可能な記憶媒体についても、実現可能である。
【００１９】
また、時間に依存しない高周波成分を示す分割した動画像の成分を拡大した上で、分割した全ての動画像を再構成すれば、復元した個々のフレーム画像について、エッジを強調したより鮮明な画像を得ることができる。
【００２０】
さらに、分解手段や再構成手段が行なう処理に関し、広く知られているウェーブレット変換やウェーブレット逆変換の各処理を利用することができ、その上でウェーブレット展開係数を変更するだけで、より鮮明なフレーム画像を出力することが可能になる。
【００２１】
また、Daubecheies10のマザーウェーブレットを用いることで、最終的なフレーム画像を得る上で、優れた画像の再構成を実現でき、また良好な分解能を得ることができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の好ましい一実施形態を示す画像処理装置のブロック構成図である。
【図２】同上、周波数分解部の構成を示すブロック図である。
【図３】同上、２次元信号の帯域分割を模式的に示す画像の平面図である。
【図４】同上、２次元信号の帯域分割の手順を示す概略図である。
【図５】同上、３次元ウェーブレット解析による一連の処理手順を説明する概略図である。
【図６】同上、画像再構成部の構成を示すブロック図である。
【図７】同上、図１の画像処理装置を含む超音波エコー画像システムの概略構成図である。
【図８】同上、図７のシステムで得られた各画像の平面図である。
【図９】同上、図８の要部拡大図である。
【発明を実施するための形態】
【００２３】
以下、本発明の好ましい実施形態について、添付図面を参照しながら詳細に説明する。
【００２４】
図１は、本実施例における画像処理装置１００の機能構成を示している。同図において、画像処理装置１００は、画像入力部１と、周波数分解部２と、係数変更部３と、画像再構成部４と、画像出力部５とを備えて構成される。
【００２５】
画像入力部１は、動画像を構成する各フレームの画像（画像信号）を入力するもので、画像の供給源としては、例えば図示しないが、医療用の画像診断装置に組み込まれる撮像装置があり、この撮像装置からの超音波画像，レントゲン像，ＭＲＩ画像，ＣＴ画像などが、電気的なアナログ画像信号として画像入力部１に送出される。画像入力部１は、当該アナログ画像信号に対してＡ／Ｄ変換を施し、これを複数の画素を二次元配列してなるディジタル画像信号として後段の周波数分解部２に送出する。
【００２６】
本実施形態において、画像入力部１に入力される動画像は、所定のフレームレートで、且つ各フレームの画像が所定の解像度であるとする。
【００２７】
また、それらの各フレームの画像は、単独の色成分からなるモノクロ画像であっても、複数の色成分からなるカラー画像であっても構わない。後者のカラー画像の場合、後述する各処理は各々の色成分に対して行われることになる。
【００２８】
各フレームの画像が複数の色成分を有する場合、画像入力部１は色空間変換部１１を備えてもよい。この色空間変換部１１は、画像入力部１に入力する各フレームの画像がＲＧＢの３つの色成分を有する場合、ＲＧＢからＹＵＶに色空間を変換するもので、後続の処理については、色空間変換部１１で変換した後の各色成分に対して行なうようにすればよい。
【００２９】
周波数分解部２には、画像入力部１からフレーム単位で画像が入力されるが、ここでの周波数分解部２は、特に時系列順に並べられた複数のフレーム画像群を一つの動画像データとして、これを複数の周波数帯域に分解し、そのフレーム画像群について分解した周波数帯域の係数を係数変換部３に送出する機能を有している。
【００３０】
前記複数のフレーム画像群を複数の周波数帯域に分解する手法として、本実施形態では３次元離散ウェーブレット変換を利用して多重解析度分析（multi resolution analysis，ＭＲＡ）を行なう機能が、周波数分解部２に設けられる。この周波数分解部２では、前記フレーム画像群を低い周波数成分と高い周波数成分に分解する処理ルーチンを繰り返し複数回行なうことで、その特徴を解析できる。
【００３１】
周波数分解部２の機能構成についてさらに詳しく説明すると、当該周波数分解部２は図２に示すように、複数のローパスフィルタ（ＬＰＦ）６１〜６３と、複数のハイパスフィルタ（ＨＰＦ）６４〜６６と、各々のフィルタ６１〜６６から出力される信号成分の周波数帯域をＮ分の１倍（１／Ｎ）にするダウンサンプラ６７〜７２との組み合わせにより構成される。図２の構成は、最も一般的なウェーブレット変換処理であるオクターブ分割を複数レベルに渡って行なう場合の構成例を示している。また、階層の数を表すレベル数は３（レベル１〜レベル３）であり、画像信号を低域と高域に分割し、且つ低域成分のみを階層的に分割する構成を取っているが、レベル数は３以外であっても構わない。
【００３２】
図２において、周波数分解部２に入力する画像信号は、先ずレベル１のローパスフィルタ６１とハイパスフィルタ６４とにより帯域分割され、得られた低域側の信号と高域側の信号は、それぞれ対応するダウンサンプラ６７，６８によって、その周波数帯域（解像度）がＮ分の１倍に間引かれる。
【００３３】
前記ダウンサンプラ６７から出力される低域側の信号は、次のレベル２のローパスフィルタ６２とハイパスフィルタ６５によってさらに帯域分割される。これら帯域分割により得られた低域側の信号と高域側の信号は、それぞれ対応するダウンサンプラ６９，７０によって、その周波数帯域（解像度）がＮ分の１倍に間引かれる。
【００３４】
前記ダウンサンプラ６９から出力される低域側の信号は、次のレベル３のローパスフィルタ６３とハイパスフィルタ６６によってさらに帯域分割される。これら帯域分割により得られた低域側の信号と高域側の信号は、それぞれ対応するダウンサンプラ７１，７２によって、その周波数帯域（解像度）がＮ分の１倍に間引かれる。
【００３５】
このような処理を所定のレベルまで行うことで、低域側の信号を階層的に帯域分割した各周波数帯域の信号が順次生成されていく。図２の例では、レベル３まで帯域分割した結果、ＬＬＬ信号，ＬＬＨ信号，ＬＨ信号１１１，Ｈ信号が各々生成されていることを示している。なお、ここでの「Ｌ」は低域成分であることを表し、「Ｈ」は高域成分であることを表している。
【００３６】
図３には、レベル３まで２次元のオリジナル画像を帯域分割した結果得られる帯域成分を図示する。但し、この図３での「Ｌ」及び「Ｈ」の表記法は、１次元信号を扱った上記の説明とは異なる。左側の記号表記は画像の横方向に関する周波数成分を表し、右側の記号表記は画像の縦方向に関する周波数成分を示し、さらに左端の添え字（下付き数字）はレベルを示す。そのため例えば「ＨＬ１」は、レベル１において画像横方向については高周波成分を、画像縦方向については低周波成分を示すことになる。またここでも、各レベルにおいて「ＬＬ」領域を対象として繰り返し帯域分割を行なうことで、より低周波数の帯域信号を抽出できる。
【００３７】
こうした帯域分割の概念を、図４において模式的に示す。ここでは、レベル０の帯域分割の対象となるオリジナルの原画像を「ＬＬ０」として表し、そこからレベル１のローパスフィルタ６１とハイパスフィルタ６４を用いて、画像の横方向と縦方向のそれぞれについて、低周波数と高周波数に分割した「ＬＬ１」，「ＨＬ１」，「ＬＨ１」，「ＨＨ１」の各分割画像を得る。
【００３８】
これらの各分割画像はダウンサンプラ６７，６８によって、その周波数帯域がＮ分の１倍に間引かれた後、「ＬＬ１」の分割画像について、そこからレベル２のローパスフィルタ６２とハイパスフィルタ６５を用いて、画像の横方向と縦方向のそれぞれについて、低周波数と高周波数に分割した「ＬＬ２」，「ＨＬ２」，「ＬＨ２」，「ＨＨ２」の各分割画像を得る。
【００３９】
これらの各分割画像はダウンサンプラ６９，７０によって、その周波数帯域がＮ分の１倍に間引かれた後、「ＬＬ２」の分割画像について、そこからレベル３のローパスフィルタ６３とハイパスフィルタ６６を用いて、画像の横方向と縦方向のそれぞれについて、低周波数と高周波数に分割した「ＬＬ３」，「ＨＬ３」，「ＬＨ３」，「ＨＨ３」の各分割画像を得る。
【００４０】
これらの各分割画像はダウンサンプラ７１，７２によって、その周波数帯域がＮ分の１倍に間引かれ、最終的には図３に示すような、「ＨＬ１」，「ＬＨ１」，「ＨＨ１」，「ＨＬ２」，「ＬＨ２」，「ＨＨ２」，「ＬＬ３」，「ＨＬ３」，「ＬＨ３」，「ＨＨ３」の各分割画像を得ることができる。
【００４１】
以上、１次元信号と２次元信号に関するウェーブレット変換を利用した多重解析度分析の構成と手法について説明したが、本発明では特に３次元の動画像データについて、周波数分解部２が同様の多重解析度分析を行なう機能を有する。これは図５に示すように、画像入力部１から時間軸Ｔに沿って順次送り出され、横軸Ｘと縦軸Ｙに展開する各フレームの画像１１０について、周波数分解部２が所定時間内の複数の画像１１０を一つの動画像データ１２０として扱い、この動画像データ１２０を上記手法に従って帯域分割することで達成される。このように本実施形態では、動画像を取り扱う場合に、単一時刻に得られるフレーム画像１１０毎ではなく、時間軸Ｔをも考慮したウェーブレット変換処理を行なうことで、横軸Ｘおよび縦軸Ｙのみならず時間軸Ｔに対しても、高周波成分と低周波成分について動画像データ１２０を分離することが可能になる。
【００４２】
その具体的な処理手順を説明すると、図５（ａ）に示すように、前記周波数分解部２は、処理すべきオリジナルの３次元の動画像データ１２０を、先ずレベル１のローパスフィルタ６１とハイパスフィルタ６４とにより帯域分割し、動画像データ１２０の時間軸Ｔ，縦軸Ｙおよび横軸Ｘの各方向について、低周波数と高周波数に分割した「ＬＬＬ」，「ＨＬＬ」，「ＬＨＬ」，「ＨＨＬ」，「ＬＬＨ」，「ＨＬＨ」，「ＬＨＨ」，「ＨＨＨ」の各分割動画像データ１２０’を得る。得られた分割動画像データ１２０’は、それぞれ対応するダウンサンプラ６７，６８によって、その周波数帯域がＮ分の１倍に間引かれる。
【００４３】
ここで、左側の記号表記は動画像データ１２０の時間軸Ｔ方向に関する周波数成分を表し、中央の記号表記は動画像データ１２０の縦軸Ｙ方向に関する周波数成分を示し、右側の記号表記は動画像データ１２０の横軸Ｘ方向に関する周波数成分を示す。図５（ａ）では、便宜的に横軸Ｘ方向の周波数成分が「＊＊Ｈ」の表記を省略している。
【００４４】
図５（ｂ）に示すように、周波数分解部２は、「ＬＬＬ」の分割動画像データ１２０’について、そこからレベル２のローパスフィルタ６２とハイパスフィルタ６５を用いて、当該分割動画像データ１２０’の時間軸Ｔ，縦軸Ｙおよび横軸Ｘの各方向について、低周波数と高周波数に分割した「ＬＬＬ」，「ＨＬＬ」，「ＬＨＬ」，「ＨＨＬ」，「ＬＬＨ」，「ＨＬＨ」，「ＬＨＨ」，「ＨＨＨ」の各分割動画像データ１２０’’を得る。
【００４５】
これらの各分割動画像データ１２０’’はダウンサンプラ６９，７０によって、その周波数帯域がＮ分の１倍に間引かれた後、「ＬＬＬ」の分割画像について、そこからレベル３のローパスフィルタ６３とハイパスフィルタ６６を用いて、当該分割動画像データ１２０’の時間軸Ｔ，縦軸Ｙおよび横軸Ｘの各方向について、低周波数と高周波数に分割した「ＬＬＬ」，「ＨＬＬ」，「ＬＨＬ」，「ＨＨＬ」，「ＬＬＨ」，「ＨＬＨ」，「ＬＨＨ」，「ＨＨＨ」の各分割動画像データ１２０’’’を得る。
【００４６】
これらの各分割動画像データ１２０’’’はダウンサンプラ７１，７２によって、その周波数帯域がＮ分の１倍に間引かれ、最終的には１つの動画像データ１２０から、図５（ｃ）に示すような複数の帯域分割された分割動画像データ１２０’，１２０’’，１２０’’’を得ることができる。
【００４７】
上述した動画像データ１２０の帯域分割を行なう上で必要なローパスフィルタ６１〜６３とハイパスフィルタ６４〜６６は、ウェーブレット変換におけるスケーリング関数と、ウェーブレット関数（マザーウェーブレット）にそれぞれ対応する。マザーウェーブレットとして用いられる関数は種々知られているが、ここでは次の数１で表されるDaubecheies関数ψ（ｘ）を適用する。
【００４８】
【数１】
【００４９】
なお、上記数１において、ｋは整数、ｑｋは数列で、φ（ｘ）はスケーリング関数である。このスケーリング関数φ（ｘ）は、数１に示すDaubecheiesのマザーウェーブレットψ（ｘ）との間でトゥースケール関係を満たしており、次の数２で表せる。
【００５０】
【数２】
【００５１】
上記数２において、ｐｋは数列である。これらの数列ｐｋ，ｑｋは、マザーウェーブレット毎に値が決まっている。
【００５２】
一方、オリジナルの動画像データ１２０を構成する各画素の輝度信号または色差信号をフーリエ変換することで、次の数３に示す数列ｃ０，ｋを決定する。
【００５３】
【数３】
【００５４】
上記数３において、ｆ（ｘ）はオリジナル信号を示す。このオリジナル信号ｆ（ｘ）ひいては数列ｃ０，ｋがわかれば、次の数４および数５の各式を考慮して、出発点となる数列ｃ０，ｋの成分を、漸近的に数列ｃｊ−１，ｋと数列ｄｊ−１，ｋに分解すれば、オリジナルの動画像データ１２０を周波数成分毎に分解できる。
【００５５】
【数４】
【００５６】
【数５】
【００５７】
ここで、ｊは０以下の整数で、ｊ−１の絶対値は分解過程の繰り返し回数を示し、前述のレベルに相当する。また、ｌは整数である。
【００５８】
上記数４および数５は、オリジナル信号ｆ（ｘ）を表す数列ｃ０，ｋがあるとき、そこから数列ｃｊ−１，ｋと数列ｄｊ−１，ｋが求まり、すなわち次のレベルの低周波成分と高周波成分の各関数ｆ（ｘ），ｇ（ｘ）が求まることを意味する。ここで、関数ｆ（ｘ），ｇ（ｘ）は直交条件を満たす関係にあり、上記Daubecheiesのマザーウェーブレットψ（ｘ）そのものが、直交ウェーブレットとしての性質を有している。また、数４および数５は、入力ｃｊ，ｋに、ディジタルローパスフィルタａｋと、ディジタルハイパスフィルタｂｋを各々畳み込んだ式といえる。これらの数列ａｋ，ｂｋは、マザーウェーブレット毎に値が決まっている。
【００５９】
上記説明中、各数列ａｋ，ｂｋ，ｐｋ，ｑｋは次の関係式が成立する。
【００６０】
【数６】
【００６１】
さらに本実施形態では、後述する画像再構成において優れており、またフィルタとしての分解能が良いとされるDaubecheies10のマザーウェーブレットψ（ｘ）を用いる関係で、上記数６の数列ｈｋは、次のように値が決まる。
【００６２】
【数７】
【００６３】
周波数分解部２は、上述した動画像データ１２０の帯域分割を行なう際に、最終的な画像の再構成時に必要なパラメータとなるスケーリング係数ｓｋ（ｊ）およびウェーブレット展開係数ωｋ（ｊ）を算出し、これを後段の係数変更部３に送出する。ここで、スケーリング係数ｓｋ（ｊ）は、前記スケーリング関数φ（ｘ）に基づいて、次のように表せる。
【００６４】
【数８】
【００６５】
上記数８は、前述したトゥースケール関係によって次のようになる。
【００６６】
【数９】
【００６７】
そのため、レベル０のスケーリング係数ｓｋ（０）から、逐次レベルの大きいスケーリング係数ｓｋ（１），ｓｋ（２），ｓｋ（３）…を求めることができる。
【００６８】
一方、ウェーブレット展開係数ωｋ（ｊ）は、前記マザーウェーブレットψ（ｘ）に基づいて、次のように表せる。
【００６９】
【数１０】
【００７０】
上記数１０は、同じくトゥースケール関係によって次のようになる。
【００７１】
【数１１】
【００７２】
そのため、各レベルのウェーブレット展開係数ωｋ（ｊ）は、それよりも一つ小さいレベルのスケーリング係数ｓｋ（ｊ−１）から求めることができる。
【００７３】
こうして、動画像データ１２０をウェーブレット解析することで得られるスケーリング係数ｓｋ（ｊ）やウェーブレット展開係数ωｋ（ｊ）が、周波数分解部２から係数変更部３に送出されると、次に係数変更部３は、適切な周波数成分を任意に選択し、その周波数成分に関わるウェーブレット展開係数ωｋ（ｊ）を削除または縮小し、目的とする周波数成分の画像ノイズを除去または軽減する処理を行なう。
【００７４】
これは図５（ｃ）に示すように、周波数分解部２で得られた各周波数成分の分割動画像データ１２０’，１２０’’，１２０’’’のなかで、特に時間軸Ｔに依存する分割動画像データ１２０Ａ（図中、網掛けの部分）について、そのウェーブレット展開係数ωｋ（ｊ）を消去または縮小することで達成される。
【００７５】
一方、本実施形態における係数変更部３は、後述の再構成される個々のフレーム画像１３０について、エッジを強調した画像を得るために、時間軸Ｔに依存しない動画像データ１２０’，１２０’’，１２０’’’のなかで、高周波成分を示す分割動画像データ１２０Ｂ（図中、斜線の部分）について、そのウェーブレット展開係数ωｋ（ｊ）を拡大若しくは等倍する機能を備えている。
【００７６】
こうして、係数変更部３によって適切な周波数成分を示すウェーブレット展開係数ωｋ（ｊ）の変更が加えられると、変更後のウェーブレット展開係数ωｋ（ｊ）とスケーリング係数ｓｋ（ｊ）とを含めたパラメータ情報が、画像再構成部４に送出される。
【００７７】
画像再構成部４は、前記周波数分解部２による画像解析の処理とは逆の処理（ウェーブレット逆変換処理）を行なって、図５に示す復号後のフレーム画像１３０を再構成するもので、これは図６に示すように、複数のローパスフィルタ（ＬＰＦ）８１〜８３と、複数のハイパスフィルタ（ＨＰＦ）８４〜８６と、各々のフィルタ８１〜８６に入力する信号成分の周波数帯域をＮ倍にするアップサンプラ８７〜９２と、加算器９３〜９５の組み合わせにより構成される。なお、同図において階層の数を表すレベル数は３であるが、これは前記周波数分解部２のレベル数に一致させて、適宜変更が可能である。
【００７８】
図６において、周波数分解部２から出力される各帯域成分のうち、ＬＬＬ信号とＬＬＨ信号は、それぞれアップサンプラ８７，８８によって、その周波数帯域がＮ倍にアップサンプルされる。アップサンプラ８７でアップサンプルされたＬＬＬ信号は、ローパスフィルタ８１によってフィルタリングされると共に、アップサンプラ８８でアップサンプルされたＬＬＨ信号は、ハイパスフィルタ８４によってフィルタリングされ、それぞれの信号を加算器９３で帯域合成する。ここでの処理により、レベル３の逆変換が完了する。
【００７９】
以下同様に、上述の逆変換処理をレベル１まで繰り返し行なえば、最終的な逆変換後のフレーム画像１３０が得られる。
【００８０】
すなわち、加算器９３からの出力信号は、アップサンプラ８９によりさらにＮ倍の周波数帯域にアップサンプルされた後、ローパスフィルタ８２によってフィルタリングされて加算器９４に送られる。また、周波数分解部２からのＬＨ信号は、アップサンプラ９０によりさらにＮ倍の周波数帯域にアップサンプルされた後、ハイパスフィルタ８５によってフィルタリングされて加算器９４に送られる。当該加算器９４が、ローパスフィルタ８２およびハイパスフィルタ８５からの各信号を帯域合成することにより、レベル２の逆変換が完了する。
【００８１】
加算器９４からの出力信号は、アップサンプラ９１によりさらにＮ倍の周波数帯域にアップサンプルされた後、ローパスフィルタ８３によってフィルタリングされて加算器９５に送られる。また、周波数分解部２からのＨ信号は、アップサンプラ９２によりさらにＮ倍の周波数帯域にアップサンプルされた後、ハイパスフィルタ８６によってフィルタリングされて加算器９５に送られる。当該加算器９５が、ローパスフィルタ８３およびハイパスフィルタ８６からの各信号を帯域合成することにより、レベル１の逆変換が完了する。
【００８２】
以上が、１次元信号に関するウェーブレット逆変換の構成と手法について説明したが、本発明では特に３次元の動画像データについて、画像再構成部４が同様のウェーブレット逆変換を行なう機能を有する。
【００８３】
その具体的な処理手順を説明すると、図５（ｃ）において、前記画像再構成部４は、レベル３の各分割動画像データ１２０’’’に関し、時間軸Ｔ，縦軸Ｙおよび横軸Ｘの各方向について、何れも低周波の周波数成分を持つ「ＬＬＬ」の分割動画像データ１２０’’’を、アップサンプラ８７でアップサンプルし、これをローパスフィルタ８１でフィルタリングする。一方、それ以外の「ＨＬＬ」，「ＬＨＬ」，「ＨＨＬ」，「ＬＬＨ」，「ＨＬＨ」，「ＬＨＨ」，「ＨＨＨ」の各分割動画像データ１２０’’ ’を、別なアップサンプラ８８でアップサンプルし、これをハイパスフィルタ８４でフィルタリングする。ローパスフィルタ８１およびハイパスフィルタ８４からの各データを加算器９３で帯域合成することで、図５（ｂ）における「ＬＬＬ」の分割動画像データ１２０’’が再構成される。
【００８４】
同様に、加算器９３から出力される「ＬＬＬ」の分割動画像データ１２０’’を、アップサンプラ８９でアップサンプルし、これをローパスフィルタ８２でフィルタリングする。一方、それ以外の「ＨＬＬ」，「ＬＨＬ」，「ＨＨＬ」，「ＬＬＨ」，「ＨＬＨ」，「ＬＨＨ」，「ＨＨＨ」の各分割動画像データ１２０’ ’を、別なアップサンプラ９０でアップサンプルし、これをハイパスフィルタ８５でフィルタリングする。ローパスフィルタ８２およびハイパスフィルタ８５からの各データを加算器９４で帯域合成することで、図５（ａ）における「ＬＬＬ」の分割動画像データ１２０’が再構成される。
【００８５】
さらに、加算器９４から出力される「ＬＬＬ」の分割動画像データ１２０’を、アップサンプラ９１でアップサンプルし、これをローパスフィルタ８３でフィルタリングする。一方、それ以外の「ＨＬＬ」，「ＬＨＬ」，「ＨＨＬ」，「ＬＬＨ」，「ＨＬＨ」，「ＬＨＨ」，「ＨＨＨ」の各分割動画像データ１２０’ を、別なアップサンプラ９２でアップサンプルし、これをハイパスフィルタ８６でフィルタリングする。ローパスフィルタ８３およびハイパスフィルタ８６からの各データを加算器９５で帯域合成することで、元の動画像データ１２０を再構成することができる。
【００８６】
画像再構成部４はさらに、復元した動画像データ１２０を時間軸Ｔに沿って２次元のフレーム画像１３０に分割し、その一つまたは複数を選択して画像出力部５に送出する。画像出力部５は、画像再構成部４により得られた再構成画像すなわちフレーム画像１３０を出力するもので、これは例えば表示装置や印刷装置などで具現化される。
【００８７】
こうした一連の処理の過程で、個々のローパスフィルタ８１〜８３やハイパスフィルタ８４〜８６の特性は、前記係数変更部３からのウェーブレット展開係数ωｋ（ｊ）やスケーリング係数ｓｋ（ｊ）によって決定される。つまり、周波数分解部２から出力される各分割動画像データ１２０’，１２０’’，１２０’’’は、これらのウェーブレット展開係数ωｋ（ｊ）やスケーリング係数ｓｋ（ｊ）によって、適宜変更が加えられて再構成される。
【００８８】
そのため、係数変更部３によって時間軸Ｔに依存するウェーブレット展開係数ωｋ（ｊ）を消去或いは縮小したことにより、画像再構成部４で逆変換した後の各フレーム画像１３０は、時間に依存した比較的周波数の低いノイズ成分が消去される。また、時間軸Ｔに依存しない高周波成分を示すウェーブレット展開係数ωｋ（ｊ）を拡大したことにより、画像再構成部４で逆変換した後の各フレーム画像１３０は、エッジを強調した鮮明な画像となる。
【００８９】
次に、上記構成や手法を実現する実験例とその結果を説明する。図７は、上記画像処理装置１００を含む超音波エコー画像システムの概略構成を示すもので、同図において、Ｓは超音波画像を取得する際の試料となる被対象物で、ここでは新鮮な豚前足を使用して、脂肪，筋肉および骨の境界を解析対象としている。被対象物Ｓは、容器たる水槽２０１に投入された水Ｗに浸されているが、これは後述する超音波プローブ２０５の測定力により、被対象物Ｓの軟部組織が変形しないようにする水浸法を適用しているためである。また、２０２は水Ｗの温度を検知する水温計、２０３は水Ｗ内に置かれたヒータであり、図示しないヒータ制御装置が水温計２０２からの温度情報に基づき、水Ｗの温度を例えば３６℃に保持するように、ヒータ２０３の加熱量を制御している。
【００９０】
２０５は、被対象物Ｓに向けて設けられた超音波プローブであり、当該プローブ２０５は、固定用ジグに相当するプローブ保持装置２０６を介して、アクチュエータとして利用するＮＣ工作機械のチャック２０７に取り付けられる。これにより、チャック２０７の回転に伴い、超音波プローブ２０５を被対称物Ｓに向かって、若しくは被対称物Ｓから離れるように移動させることが可能になり、被測定物Ｓを捜査するに際して、得られる画像の再現性を考慮している。
【００９１】
前記超音波プローブ２０５は、被対象物Ｓの超音波画像を生成する超音波画像装置２１１にケーブル２１２を介して接続される。この装置２１１は、主に生体の皮下脂肪層の厚さを計測するヘルスケアを目的として開発された低価格機であり、一例として計測可能な最大深度は105ｍｍである。また、ここで使用する超音波プローブ２０５は、中心周波数が６ＭＨｚの素子を64個配置しており、37ｍｍの有効測定幅を有する。
【００９２】
前記超音波画像装置２１１は、前記画像処理装置１００のハードウェア構成を具現化するコンピュータ（ＰＣ）２２１にケーブル２１３を介して接続される。ＰＣ２２１は周知のように、ＣＰＵや記憶装置などを備える制御処理部２２３と、キー操作が可能な操作部２２４と、超音波画像装置２１１からの超音波画像を取り込む入力インターフェース２２５と、ＬＥＤなどの表示部２２６などにより構成され、前記画像入力部１が入力インターフェース２２５に相当し、周波数分解部２，係数変更部３および画像再構成部４が制御処理部２２３に相当し、画像出力部５が表示部２２６に相当する。なお、画像処理装置１００のハードウェア構成は、図７に示すものに限られない。
【００９３】
上記構成において、実験ではＮＣ工作機械のテーブル速度ひいては超音波プローブ２０５の送り速度を153.692ｍｍ／ｍｉｎに設定し、超音波画像装置２１１によって130ｍＳｅｃのサンプリングタイムで被対象物Ｓの超音波画像を取得した。これらの超音波画像をＰＣ２２１に取り込み、上記画像処理装置１００を利用して、オリジナルのフレーム画像１１０から、再構成したフレーム画像１３０を出力した結果を図８に示す。
【００９４】
同図において、１２０はＰＣ２２１の制御処理部２２３に取り込まれるオリジナルの動画像データである。これは上述したように、時間軸Ｔに沿って、サンプリングタイム毎に取得した各フレーム画像１１０の集合体から構成される。図８（ａ）は、ウェーブレット変換前の一つのフレーム画像１１０を示している。
【００９５】
図８（ｂ）は、周波数分解部２による３次元ウェーブレット解析を行なった一例であり、図中横方向は時間軸Ｔ、縦方向は一つのフレーム画像１１０における縦軸Ｙについて表示している。係数変更部３は、時間に依存する分割動画像データ１２０Ａの成分を削除すると共に、時間に依存しない高周波成分を示す分割動画像データ１２０Ｂの成分を２倍に拡大して、これを画像再構成部４に送出し、解析画像を逆変換する。
【００９６】
図８（ｃ）は、このような手順で得られた再構成後のフレーム画像１３０である。図８（ａ）に示すオリジナルのフレーム画像１１０と比較すると、被対象物Ｓの組織境界が強調されていること、並びにノイズが消えていることが判る。
【００９７】
図９は、図８（ａ）に示すオリジナルのフレーム画像１１０の要部１５０と、図８（ｃ）に示す再変換後のフレーム画像１３０の要部１６０を、それぞれ拡大したものである。要部１５０，１６０は同じ位置にあって、オリジナルのフレーム画像１１０に存在したノイズＮが、再変換後のフレーム画像１３０では除去されていることが判る。
【００９８】
なお、本例の係数変更部３は、時間に依存する分割動画像データ１２０Ａに関し、その全ての展開係数を削除（すなわち、ウェーブレット展開係数ωｋ（ｊ）を０に置き換える）処理を行なうが、例えば心臓等の常に動く臓器のエコー画像では、同様の処理を行なうと必ずしも適切ではない場合が予想されるため、その場合は時間に依存する分割動画像データ１２０Ａのうち、全ての展開係数ではなく、目的とする特定の周波数成分の展開係数を削除（消去）または縮小するようにしてもよい。これにより、常に動く被対象物Ｓであっても、複数のフレーム画像１１０に存在する特定の周波数のノイズ成分を効果的に除去することができる。
【００９９】
以上のように、本実施形態における画像処理装置１００は、動画像としての動画像データ１２０を構成する各々のフレーム画像１１０を、時間すなわち時間軸Ｔに沿って順次入力する入力手段としての画像入力部１と、動画像データ１２０を複数の周波数帯域に分割する分解手段としての周波数分解部２と、分割した各動画像データ１２０’，１２０’’，１２０’’’のなかで、時間軸Ｔに依存する分割した動画像データ１２０Ａの成分を消去または縮小する変更手段としての係数変更部３と、係数変更部３で消去または縮小した成分に基づいて、周波数分解部２とは逆の処理を行なうことで、周波数分解部２で分割した全ての動画像データ１２０’，１２０’’，１２０’’’を再構成し、その再構成した動画像データ１２０を時間毎に分割して、復元したフレーム画像１３０を生成する再構成手段としての画像再構成部４と、画像再構成部４で復元したフレーム画像１３０を出力する出力手段としての画像出力部５と、を備えている。
【０１００】
ここでは動画像データ１２０を構成する各フレーム画像１１０について、複数の周波数帯域に分解するのではなく、３次元の動画像データ１２０そのものを複数の周波数帯域に分解する。そして、時間軸Ｔに依存する分割した動画像データ１２０Ａについて、適切な周波数の成分を任意に選択し、これを削除あるいは縮小して、分割した全ての動画像データ１２０’，１２０’’，１２０’’’を再構成すれば、複数のフレーム画像１１０に存在する特定の周波数のノイズ成分を効果的に除去することが可能になる。
【０１０１】
また、本実施形態における係数変更部３は、前記分割した動画像データ１２０’，１２０’’，１２０’’’のなかで、特に時間軸Ｔに依存しない高周波成分を示す分割した動画像データ１２０Ｂの成分を拡大するものであり、これにより分割した全ての動画像データ１２０’，１２０’’，１２０’’’を再構成すれば、復元した個々のフレーム画像１３０について、エッジを強調したより鮮明な画像を得ることができる。
【０１０２】
また、本実施形態における周波数分解部２は、動画像データ１２０の横軸Ｘ，縦軸Ｙ，および時間軸Ｔの各方向について、それぞれ低周波と高周波に帯域を分割するウェーブレット変換処理を行なう構成を有し、画像再構成部４は、分割した全ての動画像データ１２０’，１２０’’，１２０’’’の横軸Ｘ，縦軸Ｙ，および時間軸Ｔの各方向について、周波数分解部２とは逆のウェーブレット逆変換処理を行なう構成を有する。
【０１０３】
こうすれば、広く知られているウェーブレット変換やウェーブレット逆変換の各処理を利用することができる。
【０１０４】
また上述した成分とは、ウェーブレット変換処理を行なうことで得られるウェーブレット展開係数ωｋ（ｊ）であり、そのウェーブレット展開係数ωｋ（ｊ）を変更するだけで、より鮮明なフレーム画像１３０を出力することが可能になる。
【０１０５】
さらに、周波数分解部２によるウェーブレット変換処理と、画像再構成部４によるウェーブレット逆変換処理を、本実施形態のようなDaubecheies10のマザーウェーブレットを用いて行えば、最終的なフレーム画像１３０を得る上で、優れた画像の再構成を実現でき、また良好な分解能を得ることができる。
【０１０６】
本実施形態では、こうした画像処理装置１００の構成だけでなく、画像処理装置１００が処理実行する方法についても、同様の作用効果が得られる。好ましい画像処理方法は、画像入力部１が行なう工程と、周波数分解部２が行なう工程と、係数変更部３が行なう工程と、画像再構成部４が行なう工程と、画像出力部５が行なう工程を備え、これらの各工程が順に実行されることで、複数のフレーム画像１１０に存在する特定の周波数のノイズ成分を効果的に除去することができる。
【０１０７】
また本発明は、それ以外の実施形態によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、任意のシステムや装置に供給する。そして、そのシステムまたは装置に組み込まれたコンピュータ（ＣＰＵやＭＰＵ）が、その記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が、前述した実施形態の機能を実現することとなり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【０１０８】
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働するオペレーティングシステムなどが実際の処理の一部または全部を行なう。その処理によって前述した実施形態の機能が実現される場合も、本発明に含まれることはいうまでもない。
【０１０９】
さらに、その記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張コードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれたとする。その後、そのプログラムコードの指示に基づいて、その機能拡張カードや、機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行なう。その処理によって前述した実施形態の機能が実現される場合も、本発明に含まれることはいうまでもない。
【０１１０】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明した方法に対応するプログラムコードが格納されることになる。
【０１１１】
なお、本発明は上記実施例に限定されるものではなく、本発明の要旨の範囲において種々の変形実施が可能である。上記実施形態では、超音波画像の鮮明化に関する提案を行なったが、本発明はそれ以外のあらゆる画像に関する鮮明化に寄与する。よって、本発明の該当する産業上の利用分野としては、超音波エコー装置製造業のみならず、動画解析装置製造業などにも波及するものである。
【符号の説明】
【０１１２】
１ 画像入力部（入力手段）
２ 周波数分解部（分解手段）
３ 係数変更部（変更手段）
４ 画像再構成部（再構成手段）
５ 画像出力部（出力手段）
１００ 画像処理装置
【技術分野】
【０００１】
本発明は、超音波画像などの各種画像の鮮明化を可能にした画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
現在、医療分野においては、視覚的に非常に理解しやすいという特徴を生かして、超音波画像をはじめとして、レントゲン像，ＭＲＩ画像，ＣＴ画像などの多くの医用画像が診断に用いられている。
【０００３】
その中でも超音波画像は、レントゲン像とは異なり、撮影時における被曝の危険が少なく、またＭＲＩ画像に比べて撮影装置が安価かつ小型であり、リアルタイムの診断が可能なことから、心臓・循環器領域や産婦人科領域をはじめとして、さまざまな領域で診断に利用される。しかし超音波画像は、他の医用画像と比較してノイズによる影響が大きく、組織境界像が鮮明に得られない場合が多く、病巣が小さい場合などに、経験の浅い検査士が判断するのが困難になり、正確な診断を行なうために熟練が必要となる。
【０００４】
また近年は、例えばメタボリック症候群への対応など、ヘルスケアを目的として、医療従事者に限らず誰でも対応ができる低価格な超音波画像装置の需要が高まっている。その場合、一般の人でも正確に診断できるような判りやすい画像を得ることが重要なため、画像のノイズを軽減し、かつ組織境界部を明確化できる画像処理方法や画像処理装置が求められていた。
【０００５】
こうした問題に対し、特許文献１では、動画像を構成する各フレームの画像について、第１フレーム画像を複数の周波数領域に分解し、その複数の周波数領域のうち所望の周波数帯域に属する係数を、第１フレーム画像よりも前のフレーム画像である第２フレーム画像の同じ周波数領域に属する係数を用いて変更し、全ての周波数領域について係数の変更処理が終わると、その変更した係数に基づいて画像を再構築し、その画像を第１フレーム画像として出力することで、不必要なノイズの強調を抑制しつつ画像信号の強調を行なうことができる画像処理方法が提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−９４５５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記特許文献１では、隣り合うフレーム画像に施される２次元離散ウェーブレット変換の解析結果の差を考慮して、画像の鮮明化を図る提案がなされているが、複数のフレーム画像に存在する比較的周波数の低いノイズ成分をフィルタリングすることが難しく、より一層の画像の鮮明化が求められていた。
【０００８】
本発明は上記課題に鑑みなされたもので、複数のフレーム画像に存在する特定の周波数のノイズ成分を効果的に除去できる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、上記目的を達成するために、動画像を構成する各フレーム画像を順次入力する入力手段と、前記動画像を複数の周波数帯域に分割する分解手段と、前記分割した各動画像のなかで、時間に依存する分割した動画像の成分のうち、目的とする周波数成分の展開係数を消去または縮小する変更手段と、前記消去または縮小した成分に基づいて、前記分解手段とは逆の処理を行なうことで、前記分割した全ての動画像を再構成し、その再構成した動画像を時間毎に分割して、復元したフレーム画像を生成する再構成手段と、前記復元したフレーム画像を出力する出力手段と、を備えることを特徴とする。
【００１０】
ここでの変更手段は、前記分割した動画像のなかで、時間に依存しない高周波成分を示す分割した動画像の成分を拡大する構成を有する。
【００１１】
また前記分解手段は、前記動画像の縦，横，および時間の各方向について、ウェーブレット変換処理を行なうものであり、前記再構成手段は、前記分割した全ての動画像の縦，横，および時間の各方向について、ウェーブレット逆変換処理を行なうものであることを特徴とする。
【００１２】
その場合の前記成分は、前記ウェーブレット変換処理を行なうことで得られるウェーブレット展開係数である。
【００１３】
また、前記分解手段によるウェーブレット変換処理と、前記再構成手段によるウェーブレット逆変換処理は、好ましくはDaubecheies10のマザーウェーブレットを用いて行われる。
【００１４】
本発明の画像処理方法は、上記目的を達成するために、動画像を構成する各フレーム画像を順次入力する入力工程と、前記動画像を複数の周波数帯域に分割する分解工程と、前記分割した各動画像のなかで、時間に依存する分割した動画像の成分のうち、目的とする周波数成分の展開係数を消去または縮小する変更工程と、前記消去または縮小した成分に基づいて、前記分解手段とは逆の処理を行なうことで、前記分割した全ての動画像を再構成し、その再構成した動画像を時間毎に分割して、復元したフレーム画像を生成する再構成工程と、前記復元したフレーム画像を出力する出力工程と、を備える。
【００１５】
またこうした画像処理方法を、コンピュータに実行させるプログラムについても、同様の目的を達成できる。
【００１６】
さらに、当該プログラムを格納したコンピュータが読み取り可能な記憶媒体についても、同様の目的を達成できる。
【発明の効果】
【００１７】
上記画像処理装置や画像処理方法では、動画像を構成する各フレーム画像について、複数の周波数帯域に分解するのではなく、３次元の動画像そのものを複数の周波数帯域に分解する。そして、時間に依存する分割した動画像について、適切な周波数の成分を任意に選択し、これを削除あるいは縮小して、分割した全ての動画像を再構成すれば、複数のフレーム画像に存在する特定の周波数のノイズ成分を効果的に除去することが可能になる。
【００１８】
そしてこれは、上記画像処理方法をコンピュータに実行させるプログラムや、そのプログラムを格納したコンピュータが読み取り可能な記憶媒体についても、実現可能である。
【００１９】
また、時間に依存しない高周波成分を示す分割した動画像の成分を拡大した上で、分割した全ての動画像を再構成すれば、復元した個々のフレーム画像について、エッジを強調したより鮮明な画像を得ることができる。
【００２０】
さらに、分解手段や再構成手段が行なう処理に関し、広く知られているウェーブレット変換やウェーブレット逆変換の各処理を利用することができ、その上でウェーブレット展開係数を変更するだけで、より鮮明なフレーム画像を出力することが可能になる。
【００２１】
また、Daubecheies10のマザーウェーブレットを用いることで、最終的なフレーム画像を得る上で、優れた画像の再構成を実現でき、また良好な分解能を得ることができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の好ましい一実施形態を示す画像処理装置のブロック構成図である。
【図２】同上、周波数分解部の構成を示すブロック図である。
【図３】同上、２次元信号の帯域分割を模式的に示す画像の平面図である。
【図４】同上、２次元信号の帯域分割の手順を示す概略図である。
【図５】同上、３次元ウェーブレット解析による一連の処理手順を説明する概略図である。
【図６】同上、画像再構成部の構成を示すブロック図である。
【図７】同上、図１の画像処理装置を含む超音波エコー画像システムの概略構成図である。
【図８】同上、図７のシステムで得られた各画像の平面図である。
【図９】同上、図８の要部拡大図である。
【発明を実施するための形態】
【００２３】
以下、本発明の好ましい実施形態について、添付図面を参照しながら詳細に説明する。
【００２４】
図１は、本実施例における画像処理装置１００の機能構成を示している。同図において、画像処理装置１００は、画像入力部１と、周波数分解部２と、係数変更部３と、画像再構成部４と、画像出力部５とを備えて構成される。
【００２５】
画像入力部１は、動画像を構成する各フレームの画像（画像信号）を入力するもので、画像の供給源としては、例えば図示しないが、医療用の画像診断装置に組み込まれる撮像装置があり、この撮像装置からの超音波画像，レントゲン像，ＭＲＩ画像，ＣＴ画像などが、電気的なアナログ画像信号として画像入力部１に送出される。画像入力部１は、当該アナログ画像信号に対してＡ／Ｄ変換を施し、これを複数の画素を二次元配列してなるディジタル画像信号として後段の周波数分解部２に送出する。
【００２６】
本実施形態において、画像入力部１に入力される動画像は、所定のフレームレートで、且つ各フレームの画像が所定の解像度であるとする。
【００２７】
また、それらの各フレームの画像は、単独の色成分からなるモノクロ画像であっても、複数の色成分からなるカラー画像であっても構わない。後者のカラー画像の場合、後述する各処理は各々の色成分に対して行われることになる。
【００２８】
各フレームの画像が複数の色成分を有する場合、画像入力部１は色空間変換部１１を備えてもよい。この色空間変換部１１は、画像入力部１に入力する各フレームの画像がＲＧＢの３つの色成分を有する場合、ＲＧＢからＹＵＶに色空間を変換するもので、後続の処理については、色空間変換部１１で変換した後の各色成分に対して行なうようにすればよい。
【００２９】
周波数分解部２には、画像入力部１からフレーム単位で画像が入力されるが、ここでの周波数分解部２は、特に時系列順に並べられた複数のフレーム画像群を一つの動画像データとして、これを複数の周波数帯域に分解し、そのフレーム画像群について分解した周波数帯域の係数を係数変換部３に送出する機能を有している。
【００３０】
前記複数のフレーム画像群を複数の周波数帯域に分解する手法として、本実施形態では３次元離散ウェーブレット変換を利用して多重解析度分析（multi resolution analysis，ＭＲＡ）を行なう機能が、周波数分解部２に設けられる。この周波数分解部２では、前記フレーム画像群を低い周波数成分と高い周波数成分に分解する処理ルーチンを繰り返し複数回行なうことで、その特徴を解析できる。
【００３１】
周波数分解部２の機能構成についてさらに詳しく説明すると、当該周波数分解部２は図２に示すように、複数のローパスフィルタ（ＬＰＦ）６１〜６３と、複数のハイパスフィルタ（ＨＰＦ）６４〜６６と、各々のフィルタ６１〜６６から出力される信号成分の周波数帯域をＮ分の１倍（１／Ｎ）にするダウンサンプラ６７〜７２との組み合わせにより構成される。図２の構成は、最も一般的なウェーブレット変換処理であるオクターブ分割を複数レベルに渡って行なう場合の構成例を示している。また、階層の数を表すレベル数は３（レベル１〜レベル３）であり、画像信号を低域と高域に分割し、且つ低域成分のみを階層的に分割する構成を取っているが、レベル数は３以外であっても構わない。
【００３２】
図２において、周波数分解部２に入力する画像信号は、先ずレベル１のローパスフィルタ６１とハイパスフィルタ６４とにより帯域分割され、得られた低域側の信号と高域側の信号は、それぞれ対応するダウンサンプラ６７，６８によって、その周波数帯域（解像度）がＮ分の１倍に間引かれる。
【００３３】
前記ダウンサンプラ６７から出力される低域側の信号は、次のレベル２のローパスフィルタ６２とハイパスフィルタ６５によってさらに帯域分割される。これら帯域分割により得られた低域側の信号と高域側の信号は、それぞれ対応するダウンサンプラ６９，７０によって、その周波数帯域（解像度）がＮ分の１倍に間引かれる。
【００３４】
前記ダウンサンプラ６９から出力される低域側の信号は、次のレベル３のローパスフィルタ６３とハイパスフィルタ６６によってさらに帯域分割される。これら帯域分割により得られた低域側の信号と高域側の信号は、それぞれ対応するダウンサンプラ７１，７２によって、その周波数帯域（解像度）がＮ分の１倍に間引かれる。
【００３５】
このような処理を所定のレベルまで行うことで、低域側の信号を階層的に帯域分割した各周波数帯域の信号が順次生成されていく。図２の例では、レベル３まで帯域分割した結果、ＬＬＬ信号，ＬＬＨ信号，ＬＨ信号１１１，Ｈ信号が各々生成されていることを示している。なお、ここでの「Ｌ」は低域成分であることを表し、「Ｈ」は高域成分であることを表している。
【００３６】
図３には、レベル３まで２次元のオリジナル画像を帯域分割した結果得られる帯域成分を図示する。但し、この図３での「Ｌ」及び「Ｈ」の表記法は、１次元信号を扱った上記の説明とは異なる。左側の記号表記は画像の横方向に関する周波数成分を表し、右側の記号表記は画像の縦方向に関する周波数成分を示し、さらに左端の添え字（下付き数字）はレベルを示す。そのため例えば「ＨＬ１」は、レベル１において画像横方向については高周波成分を、画像縦方向については低周波成分を示すことになる。またここでも、各レベルにおいて「ＬＬ」領域を対象として繰り返し帯域分割を行なうことで、より低周波数の帯域信号を抽出できる。
【００３７】
こうした帯域分割の概念を、図４において模式的に示す。ここでは、レベル０の帯域分割の対象となるオリジナルの原画像を「ＬＬ０」として表し、そこからレベル１のローパスフィルタ６１とハイパスフィルタ６４を用いて、画像の横方向と縦方向のそれぞれについて、低周波数と高周波数に分割した「ＬＬ１」，「ＨＬ１」，「ＬＨ１」，「ＨＨ１」の各分割画像を得る。
【００３８】
これらの各分割画像はダウンサンプラ６７，６８によって、その周波数帯域がＮ分の１倍に間引かれた後、「ＬＬ１」の分割画像について、そこからレベル２のローパスフィルタ６２とハイパスフィルタ６５を用いて、画像の横方向と縦方向のそれぞれについて、低周波数と高周波数に分割した「ＬＬ２」，「ＨＬ２」，「ＬＨ２」，「ＨＨ２」の各分割画像を得る。
【００３９】
これらの各分割画像はダウンサンプラ６９，７０によって、その周波数帯域がＮ分の１倍に間引かれた後、「ＬＬ２」の分割画像について、そこからレベル３のローパスフィルタ６３とハイパスフィルタ６６を用いて、画像の横方向と縦方向のそれぞれについて、低周波数と高周波数に分割した「ＬＬ３」，「ＨＬ３」，「ＬＨ３」，「ＨＨ３」の各分割画像を得る。
【００４０】
これらの各分割画像はダウンサンプラ７１，７２によって、その周波数帯域がＮ分の１倍に間引かれ、最終的には図３に示すような、「ＨＬ１」，「ＬＨ１」，「ＨＨ１」，「ＨＬ２」，「ＬＨ２」，「ＨＨ２」，「ＬＬ３」，「ＨＬ３」，「ＬＨ３」，「ＨＨ３」の各分割画像を得ることができる。
【００４１】
以上、１次元信号と２次元信号に関するウェーブレット変換を利用した多重解析度分析の構成と手法について説明したが、本発明では特に３次元の動画像データについて、周波数分解部２が同様の多重解析度分析を行なう機能を有する。これは図５に示すように、画像入力部１から時間軸Ｔに沿って順次送り出され、横軸Ｘと縦軸Ｙに展開する各フレームの画像１１０について、周波数分解部２が所定時間内の複数の画像１１０を一つの動画像データ１２０として扱い、この動画像データ１２０を上記手法に従って帯域分割することで達成される。このように本実施形態では、動画像を取り扱う場合に、単一時刻に得られるフレーム画像１１０毎ではなく、時間軸Ｔをも考慮したウェーブレット変換処理を行なうことで、横軸Ｘおよび縦軸Ｙのみならず時間軸Ｔに対しても、高周波成分と低周波成分について動画像データ１２０を分離することが可能になる。
【００４２】
その具体的な処理手順を説明すると、図５（ａ）に示すように、前記周波数分解部２は、処理すべきオリジナルの３次元の動画像データ１２０を、先ずレベル１のローパスフィルタ６１とハイパスフィルタ６４とにより帯域分割し、動画像データ１２０の時間軸Ｔ，縦軸Ｙおよび横軸Ｘの各方向について、低周波数と高周波数に分割した「ＬＬＬ」，「ＨＬＬ」，「ＬＨＬ」，「ＨＨＬ」，「ＬＬＨ」，「ＨＬＨ」，「ＬＨＨ」，「ＨＨＨ」の各分割動画像データ１２０’を得る。得られた分割動画像データ１２０’は、それぞれ対応するダウンサンプラ６７，６８によって、その周波数帯域がＮ分の１倍に間引かれる。
【００４３】
ここで、左側の記号表記は動画像データ１２０の時間軸Ｔ方向に関する周波数成分を表し、中央の記号表記は動画像データ１２０の縦軸Ｙ方向に関する周波数成分を示し、右側の記号表記は動画像データ１２０の横軸Ｘ方向に関する周波数成分を示す。図５（ａ）では、便宜的に横軸Ｘ方向の周波数成分が「＊＊Ｈ」の表記を省略している。
【００４４】
図５（ｂ）に示すように、周波数分解部２は、「ＬＬＬ」の分割動画像データ１２０’について、そこからレベル２のローパスフィルタ６２とハイパスフィルタ６５を用いて、当該分割動画像データ１２０’の時間軸Ｔ，縦軸Ｙおよび横軸Ｘの各方向について、低周波数と高周波数に分割した「ＬＬＬ」，「ＨＬＬ」，「ＬＨＬ」，「ＨＨＬ」，「ＬＬＨ」，「ＨＬＨ」，「ＬＨＨ」，「ＨＨＨ」の各分割動画像データ１２０’’を得る。
【００４５】
これらの各分割動画像データ１２０’’はダウンサンプラ６９，７０によって、その周波数帯域がＮ分の１倍に間引かれた後、「ＬＬＬ」の分割画像について、そこからレベル３のローパスフィルタ６３とハイパスフィルタ６６を用いて、当該分割動画像データ１２０’の時間軸Ｔ，縦軸Ｙおよび横軸Ｘの各方向について、低周波数と高周波数に分割した「ＬＬＬ」，「ＨＬＬ」，「ＬＨＬ」，「ＨＨＬ」，「ＬＬＨ」，「ＨＬＨ」，「ＬＨＨ」，「ＨＨＨ」の各分割動画像データ１２０’’’を得る。
【００４６】
これらの各分割動画像データ１２０’’’はダウンサンプラ７１，７２によって、その周波数帯域がＮ分の１倍に間引かれ、最終的には１つの動画像データ１２０から、図５（ｃ）に示すような複数の帯域分割された分割動画像データ１２０’，１２０’’，１２０’’’を得ることができる。
【００４７】
上述した動画像データ１２０の帯域分割を行なう上で必要なローパスフィルタ６１〜６３とハイパスフィルタ６４〜６６は、ウェーブレット変換におけるスケーリング関数と、ウェーブレット関数（マザーウェーブレット）にそれぞれ対応する。マザーウェーブレットとして用いられる関数は種々知られているが、ここでは次の数１で表されるDaubecheies関数ψ（ｘ）を適用する。
【００４８】
【数１】
【００４９】
なお、上記数１において、ｋは整数、ｑｋは数列で、φ（ｘ）はスケーリング関数である。このスケーリング関数φ（ｘ）は、数１に示すDaubecheiesのマザーウェーブレットψ（ｘ）との間でトゥースケール関係を満たしており、次の数２で表せる。
【００５０】
【数２】
【００５１】
上記数２において、ｐｋは数列である。これらの数列ｐｋ，ｑｋは、マザーウェーブレット毎に値が決まっている。
【００５２】
一方、オリジナルの動画像データ１２０を構成する各画素の輝度信号または色差信号をフーリエ変換することで、次の数３に示す数列ｃ０，ｋを決定する。
【００５３】
【数３】
【００５４】
上記数３において、ｆ（ｘ）はオリジナル信号を示す。このオリジナル信号ｆ（ｘ）ひいては数列ｃ０，ｋがわかれば、次の数４および数５の各式を考慮して、出発点となる数列ｃ０，ｋの成分を、漸近的に数列ｃｊ−１，ｋと数列ｄｊ−１，ｋに分解すれば、オリジナルの動画像データ１２０を周波数成分毎に分解できる。
【００５５】
【数４】
【００５６】
【数５】
【００５７】
ここで、ｊは０以下の整数で、ｊ−１の絶対値は分解過程の繰り返し回数を示し、前述のレベルに相当する。また、ｌは整数である。
【００５８】
上記数４および数５は、オリジナル信号ｆ（ｘ）を表す数列ｃ０，ｋがあるとき、そこから数列ｃｊ−１，ｋと数列ｄｊ−１，ｋが求まり、すなわち次のレベルの低周波成分と高周波成分の各関数ｆ（ｘ），ｇ（ｘ）が求まることを意味する。ここで、関数ｆ（ｘ），ｇ（ｘ）は直交条件を満たす関係にあり、上記Daubecheiesのマザーウェーブレットψ（ｘ）そのものが、直交ウェーブレットとしての性質を有している。また、数４および数５は、入力ｃｊ，ｋに、ディジタルローパスフィルタａｋと、ディジタルハイパスフィルタｂｋを各々畳み込んだ式といえる。これらの数列ａｋ，ｂｋは、マザーウェーブレット毎に値が決まっている。
【００５９】
上記説明中、各数列ａｋ，ｂｋ，ｐｋ，ｑｋは次の関係式が成立する。
【００６０】
【数６】
【００６１】
さらに本実施形態では、後述する画像再構成において優れており、またフィルタとしての分解能が良いとされるDaubecheies10のマザーウェーブレットψ（ｘ）を用いる関係で、上記数６の数列ｈｋは、次のように値が決まる。
【００６２】
【数７】
【００６３】
周波数分解部２は、上述した動画像データ１２０の帯域分割を行なう際に、最終的な画像の再構成時に必要なパラメータとなるスケーリング係数ｓｋ（ｊ）およびウェーブレット展開係数ωｋ（ｊ）を算出し、これを後段の係数変更部３に送出する。ここで、スケーリング係数ｓｋ（ｊ）は、前記スケーリング関数φ（ｘ）に基づいて、次のように表せる。
【００６４】
【数８】
【００６５】
上記数８は、前述したトゥースケール関係によって次のようになる。
【００６６】
【数９】
【００６７】
そのため、レベル０のスケーリング係数ｓｋ（０）から、逐次レベルの大きいスケーリング係数ｓｋ（１），ｓｋ（２），ｓｋ（３）…を求めることができる。
【００６８】
一方、ウェーブレット展開係数ωｋ（ｊ）は、前記マザーウェーブレットψ（ｘ）に基づいて、次のように表せる。
【００６９】
【数１０】
【００７０】
上記数１０は、同じくトゥースケール関係によって次のようになる。
【００７１】
【数１１】
【００７２】
そのため、各レベルのウェーブレット展開係数ωｋ（ｊ）は、それよりも一つ小さいレベルのスケーリング係数ｓｋ（ｊ−１）から求めることができる。
【００７３】
こうして、動画像データ１２０をウェーブレット解析することで得られるスケーリング係数ｓｋ（ｊ）やウェーブレット展開係数ωｋ（ｊ）が、周波数分解部２から係数変更部３に送出されると、次に係数変更部３は、適切な周波数成分を任意に選択し、その周波数成分に関わるウェーブレット展開係数ωｋ（ｊ）を削除または縮小し、目的とする周波数成分の画像ノイズを除去または軽減する処理を行なう。
【００７４】
これは図５（ｃ）に示すように、周波数分解部２で得られた各周波数成分の分割動画像データ１２０’，１２０’’，１２０’’’のなかで、特に時間軸Ｔに依存する分割動画像データ１２０Ａ（図中、網掛けの部分）について、そのウェーブレット展開係数ωｋ（ｊ）を消去または縮小することで達成される。
【００７５】
一方、本実施形態における係数変更部３は、後述の再構成される個々のフレーム画像１３０について、エッジを強調した画像を得るために、時間軸Ｔに依存しない動画像データ１２０’，１２０’’，１２０’’’のなかで、高周波成分を示す分割動画像データ１２０Ｂ（図中、斜線の部分）について、そのウェーブレット展開係数ωｋ（ｊ）を拡大若しくは等倍する機能を備えている。
【００７６】
こうして、係数変更部３によって適切な周波数成分を示すウェーブレット展開係数ωｋ（ｊ）の変更が加えられると、変更後のウェーブレット展開係数ωｋ（ｊ）とスケーリング係数ｓｋ（ｊ）とを含めたパラメータ情報が、画像再構成部４に送出される。
【００７７】
画像再構成部４は、前記周波数分解部２による画像解析の処理とは逆の処理（ウェーブレット逆変換処理）を行なって、図５に示す復号後のフレーム画像１３０を再構成するもので、これは図６に示すように、複数のローパスフィルタ（ＬＰＦ）８１〜８３と、複数のハイパスフィルタ（ＨＰＦ）８４〜８６と、各々のフィルタ８１〜８６に入力する信号成分の周波数帯域をＮ倍にするアップサンプラ８７〜９２と、加算器９３〜９５の組み合わせにより構成される。なお、同図において階層の数を表すレベル数は３であるが、これは前記周波数分解部２のレベル数に一致させて、適宜変更が可能である。
【００７８】
図６において、周波数分解部２から出力される各帯域成分のうち、ＬＬＬ信号とＬＬＨ信号は、それぞれアップサンプラ８７，８８によって、その周波数帯域がＮ倍にアップサンプルされる。アップサンプラ８７でアップサンプルされたＬＬＬ信号は、ローパスフィルタ８１によってフィルタリングされると共に、アップサンプラ８８でアップサンプルされたＬＬＨ信号は、ハイパスフィルタ８４によってフィルタリングされ、それぞれの信号を加算器９３で帯域合成する。ここでの処理により、レベル３の逆変換が完了する。
【００７９】
以下同様に、上述の逆変換処理をレベル１まで繰り返し行なえば、最終的な逆変換後のフレーム画像１３０が得られる。
【００８０】
すなわち、加算器９３からの出力信号は、アップサンプラ８９によりさらにＮ倍の周波数帯域にアップサンプルされた後、ローパスフィルタ８２によってフィルタリングされて加算器９４に送られる。また、周波数分解部２からのＬＨ信号は、アップサンプラ９０によりさらにＮ倍の周波数帯域にアップサンプルされた後、ハイパスフィルタ８５によってフィルタリングされて加算器９４に送られる。当該加算器９４が、ローパスフィルタ８２およびハイパスフィルタ８５からの各信号を帯域合成することにより、レベル２の逆変換が完了する。
【００８１】
加算器９４からの出力信号は、アップサンプラ９１によりさらにＮ倍の周波数帯域にアップサンプルされた後、ローパスフィルタ８３によってフィルタリングされて加算器９５に送られる。また、周波数分解部２からのＨ信号は、アップサンプラ９２によりさらにＮ倍の周波数帯域にアップサンプルされた後、ハイパスフィルタ８６によってフィルタリングされて加算器９５に送られる。当該加算器９５が、ローパスフィルタ８３およびハイパスフィルタ８６からの各信号を帯域合成することにより、レベル１の逆変換が完了する。
【００８２】
以上が、１次元信号に関するウェーブレット逆変換の構成と手法について説明したが、本発明では特に３次元の動画像データについて、画像再構成部４が同様のウェーブレット逆変換を行なう機能を有する。
【００８３】
その具体的な処理手順を説明すると、図５（ｃ）において、前記画像再構成部４は、レベル３の各分割動画像データ１２０’’’に関し、時間軸Ｔ，縦軸Ｙおよび横軸Ｘの各方向について、何れも低周波の周波数成分を持つ「ＬＬＬ」の分割動画像データ１２０’’’を、アップサンプラ８７でアップサンプルし、これをローパスフィルタ８１でフィルタリングする。一方、それ以外の「ＨＬＬ」，「ＬＨＬ」，「ＨＨＬ」，「ＬＬＨ」，「ＨＬＨ」，「ＬＨＨ」，「ＨＨＨ」の各分割動画像データ１２０’’ ’を、別なアップサンプラ８８でアップサンプルし、これをハイパスフィルタ８４でフィルタリングする。ローパスフィルタ８１およびハイパスフィルタ８４からの各データを加算器９３で帯域合成することで、図５（ｂ）における「ＬＬＬ」の分割動画像データ１２０’’が再構成される。
【００８４】
同様に、加算器９３から出力される「ＬＬＬ」の分割動画像データ１２０’’を、アップサンプラ８９でアップサンプルし、これをローパスフィルタ８２でフィルタリングする。一方、それ以外の「ＨＬＬ」，「ＬＨＬ」，「ＨＨＬ」，「ＬＬＨ」，「ＨＬＨ」，「ＬＨＨ」，「ＨＨＨ」の各分割動画像データ１２０’ ’を、別なアップサンプラ９０でアップサンプルし、これをハイパスフィルタ８５でフィルタリングする。ローパスフィルタ８２およびハイパスフィルタ８５からの各データを加算器９４で帯域合成することで、図５（ａ）における「ＬＬＬ」の分割動画像データ１２０’が再構成される。
【００８５】
さらに、加算器９４から出力される「ＬＬＬ」の分割動画像データ１２０’を、アップサンプラ９１でアップサンプルし、これをローパスフィルタ８３でフィルタリングする。一方、それ以外の「ＨＬＬ」，「ＬＨＬ」，「ＨＨＬ」，「ＬＬＨ」，「ＨＬＨ」，「ＬＨＨ」，「ＨＨＨ」の各分割動画像データ１２０’ を、別なアップサンプラ９２でアップサンプルし、これをハイパスフィルタ８６でフィルタリングする。ローパスフィルタ８３およびハイパスフィルタ８６からの各データを加算器９５で帯域合成することで、元の動画像データ１２０を再構成することができる。
【００８６】
画像再構成部４はさらに、復元した動画像データ１２０を時間軸Ｔに沿って２次元のフレーム画像１３０に分割し、その一つまたは複数を選択して画像出力部５に送出する。画像出力部５は、画像再構成部４により得られた再構成画像すなわちフレーム画像１３０を出力するもので、これは例えば表示装置や印刷装置などで具現化される。
【００８７】
こうした一連の処理の過程で、個々のローパスフィルタ８１〜８３やハイパスフィルタ８４〜８６の特性は、前記係数変更部３からのウェーブレット展開係数ωｋ（ｊ）やスケーリング係数ｓｋ（ｊ）によって決定される。つまり、周波数分解部２から出力される各分割動画像データ１２０’，１２０’’，１２０’’’は、これらのウェーブレット展開係数ωｋ（ｊ）やスケーリング係数ｓｋ（ｊ）によって、適宜変更が加えられて再構成される。
【００８８】
そのため、係数変更部３によって時間軸Ｔに依存するウェーブレット展開係数ωｋ（ｊ）を消去或いは縮小したことにより、画像再構成部４で逆変換した後の各フレーム画像１３０は、時間に依存した比較的周波数の低いノイズ成分が消去される。また、時間軸Ｔに依存しない高周波成分を示すウェーブレット展開係数ωｋ（ｊ）を拡大したことにより、画像再構成部４で逆変換した後の各フレーム画像１３０は、エッジを強調した鮮明な画像となる。
【００８９】
次に、上記構成や手法を実現する実験例とその結果を説明する。図７は、上記画像処理装置１００を含む超音波エコー画像システムの概略構成を示すもので、同図において、Ｓは超音波画像を取得する際の試料となる被対象物で、ここでは新鮮な豚前足を使用して、脂肪，筋肉および骨の境界を解析対象としている。被対象物Ｓは、容器たる水槽２０１に投入された水Ｗに浸されているが、これは後述する超音波プローブ２０５の測定力により、被対象物Ｓの軟部組織が変形しないようにする水浸法を適用しているためである。また、２０２は水Ｗの温度を検知する水温計、２０３は水Ｗ内に置かれたヒータであり、図示しないヒータ制御装置が水温計２０２からの温度情報に基づき、水Ｗの温度を例えば３６℃に保持するように、ヒータ２０３の加熱量を制御している。
【００９０】
２０５は、被対象物Ｓに向けて設けられた超音波プローブであり、当該プローブ２０５は、固定用ジグに相当するプローブ保持装置２０６を介して、アクチュエータとして利用するＮＣ工作機械のチャック２０７に取り付けられる。これにより、チャック２０７の回転に伴い、超音波プローブ２０５を被対称物Ｓに向かって、若しくは被対称物Ｓから離れるように移動させることが可能になり、被測定物Ｓを捜査するに際して、得られる画像の再現性を考慮している。
【００９１】
前記超音波プローブ２０５は、被対象物Ｓの超音波画像を生成する超音波画像装置２１１にケーブル２１２を介して接続される。この装置２１１は、主に生体の皮下脂肪層の厚さを計測するヘルスケアを目的として開発された低価格機であり、一例として計測可能な最大深度は105ｍｍである。また、ここで使用する超音波プローブ２０５は、中心周波数が６ＭＨｚの素子を64個配置しており、37ｍｍの有効測定幅を有する。
【００９２】
前記超音波画像装置２１１は、前記画像処理装置１００のハードウェア構成を具現化するコンピュータ（ＰＣ）２２１にケーブル２１３を介して接続される。ＰＣ２２１は周知のように、ＣＰＵや記憶装置などを備える制御処理部２２３と、キー操作が可能な操作部２２４と、超音波画像装置２１１からの超音波画像を取り込む入力インターフェース２２５と、ＬＥＤなどの表示部２２６などにより構成され、前記画像入力部１が入力インターフェース２２５に相当し、周波数分解部２，係数変更部３および画像再構成部４が制御処理部２２３に相当し、画像出力部５が表示部２２６に相当する。なお、画像処理装置１００のハードウェア構成は、図７に示すものに限られない。
【００９３】
上記構成において、実験ではＮＣ工作機械のテーブル速度ひいては超音波プローブ２０５の送り速度を153.692ｍｍ／ｍｉｎに設定し、超音波画像装置２１１によって130ｍＳｅｃのサンプリングタイムで被対象物Ｓの超音波画像を取得した。これらの超音波画像をＰＣ２２１に取り込み、上記画像処理装置１００を利用して、オリジナルのフレーム画像１１０から、再構成したフレーム画像１３０を出力した結果を図８に示す。
【００９４】
同図において、１２０はＰＣ２２１の制御処理部２２３に取り込まれるオリジナルの動画像データである。これは上述したように、時間軸Ｔに沿って、サンプリングタイム毎に取得した各フレーム画像１１０の集合体から構成される。図８（ａ）は、ウェーブレット変換前の一つのフレーム画像１１０を示している。
【００９５】
図８（ｂ）は、周波数分解部２による３次元ウェーブレット解析を行なった一例であり、図中横方向は時間軸Ｔ、縦方向は一つのフレーム画像１１０における縦軸Ｙについて表示している。係数変更部３は、時間に依存する分割動画像データ１２０Ａの成分を削除すると共に、時間に依存しない高周波成分を示す分割動画像データ１２０Ｂの成分を２倍に拡大して、これを画像再構成部４に送出し、解析画像を逆変換する。
【００９６】
図８（ｃ）は、このような手順で得られた再構成後のフレーム画像１３０である。図８（ａ）に示すオリジナルのフレーム画像１１０と比較すると、被対象物Ｓの組織境界が強調されていること、並びにノイズが消えていることが判る。
【００９７】
図９は、図８（ａ）に示すオリジナルのフレーム画像１１０の要部１５０と、図８（ｃ）に示す再変換後のフレーム画像１３０の要部１６０を、それぞれ拡大したものである。要部１５０，１６０は同じ位置にあって、オリジナルのフレーム画像１１０に存在したノイズＮが、再変換後のフレーム画像１３０では除去されていることが判る。
【００９８】
なお、本例の係数変更部３は、時間に依存する分割動画像データ１２０Ａに関し、その全ての展開係数を削除（すなわち、ウェーブレット展開係数ωｋ（ｊ）を０に置き換える）処理を行なうが、例えば心臓等の常に動く臓器のエコー画像では、同様の処理を行なうと必ずしも適切ではない場合が予想されるため、その場合は時間に依存する分割動画像データ１２０Ａのうち、全ての展開係数ではなく、目的とする特定の周波数成分の展開係数を削除（消去）または縮小するようにしてもよい。これにより、常に動く被対象物Ｓであっても、複数のフレーム画像１１０に存在する特定の周波数のノイズ成分を効果的に除去することができる。
【００９９】
以上のように、本実施形態における画像処理装置１００は、動画像としての動画像データ１２０を構成する各々のフレーム画像１１０を、時間すなわち時間軸Ｔに沿って順次入力する入力手段としての画像入力部１と、動画像データ１２０を複数の周波数帯域に分割する分解手段としての周波数分解部２と、分割した各動画像データ１２０’，１２０’’，１２０’’’のなかで、時間軸Ｔに依存する分割した動画像データ１２０Ａの成分を消去または縮小する変更手段としての係数変更部３と、係数変更部３で消去または縮小した成分に基づいて、周波数分解部２とは逆の処理を行なうことで、周波数分解部２で分割した全ての動画像データ１２０’，１２０’’，１２０’’’を再構成し、その再構成した動画像データ１２０を時間毎に分割して、復元したフレーム画像１３０を生成する再構成手段としての画像再構成部４と、画像再構成部４で復元したフレーム画像１３０を出力する出力手段としての画像出力部５と、を備えている。
【０１００】
ここでは動画像データ１２０を構成する各フレーム画像１１０について、複数の周波数帯域に分解するのではなく、３次元の動画像データ１２０そのものを複数の周波数帯域に分解する。そして、時間軸Ｔに依存する分割した動画像データ１２０Ａについて、適切な周波数の成分を任意に選択し、これを削除あるいは縮小して、分割した全ての動画像データ１２０’，１２０’’，１２０’’’を再構成すれば、複数のフレーム画像１１０に存在する特定の周波数のノイズ成分を効果的に除去することが可能になる。
【０１０１】
また、本実施形態における係数変更部３は、前記分割した動画像データ１２０’，１２０’’，１２０’’’のなかで、特に時間軸Ｔに依存しない高周波成分を示す分割した動画像データ１２０Ｂの成分を拡大するものであり、これにより分割した全ての動画像データ１２０’，１２０’’，１２０’’’を再構成すれば、復元した個々のフレーム画像１３０について、エッジを強調したより鮮明な画像を得ることができる。
【０１０２】
また、本実施形態における周波数分解部２は、動画像データ１２０の横軸Ｘ，縦軸Ｙ，および時間軸Ｔの各方向について、それぞれ低周波と高周波に帯域を分割するウェーブレット変換処理を行なう構成を有し、画像再構成部４は、分割した全ての動画像データ１２０’，１２０’’，１２０’’’の横軸Ｘ，縦軸Ｙ，および時間軸Ｔの各方向について、周波数分解部２とは逆のウェーブレット逆変換処理を行なう構成を有する。
【０１０３】
こうすれば、広く知られているウェーブレット変換やウェーブレット逆変換の各処理を利用することができる。
【０１０４】
また上述した成分とは、ウェーブレット変換処理を行なうことで得られるウェーブレット展開係数ωｋ（ｊ）であり、そのウェーブレット展開係数ωｋ（ｊ）を変更するだけで、より鮮明なフレーム画像１３０を出力することが可能になる。
【０１０５】
さらに、周波数分解部２によるウェーブレット変換処理と、画像再構成部４によるウェーブレット逆変換処理を、本実施形態のようなDaubecheies10のマザーウェーブレットを用いて行えば、最終的なフレーム画像１３０を得る上で、優れた画像の再構成を実現でき、また良好な分解能を得ることができる。
【０１０６】
本実施形態では、こうした画像処理装置１００の構成だけでなく、画像処理装置１００が処理実行する方法についても、同様の作用効果が得られる。好ましい画像処理方法は、画像入力部１が行なう工程と、周波数分解部２が行なう工程と、係数変更部３が行なう工程と、画像再構成部４が行なう工程と、画像出力部５が行なう工程を備え、これらの各工程が順に実行されることで、複数のフレーム画像１１０に存在する特定の周波数のノイズ成分を効果的に除去することができる。
【０１０７】
また本発明は、それ以外の実施形態によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、任意のシステムや装置に供給する。そして、そのシステムまたは装置に組み込まれたコンピュータ（ＣＰＵやＭＰＵ）が、その記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が、前述した実施形態の機能を実現することとなり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【０１０８】
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働するオペレーティングシステムなどが実際の処理の一部または全部を行なう。その処理によって前述した実施形態の機能が実現される場合も、本発明に含まれることはいうまでもない。
【０１０９】
さらに、その記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張コードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれたとする。その後、そのプログラムコードの指示に基づいて、その機能拡張カードや、機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行なう。その処理によって前述した実施形態の機能が実現される場合も、本発明に含まれることはいうまでもない。
【０１１０】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明した方法に対応するプログラムコードが格納されることになる。
【０１１１】
なお、本発明は上記実施例に限定されるものではなく、本発明の要旨の範囲において種々の変形実施が可能である。上記実施形態では、超音波画像の鮮明化に関する提案を行なったが、本発明はそれ以外のあらゆる画像に関する鮮明化に寄与する。よって、本発明の該当する産業上の利用分野としては、超音波エコー装置製造業のみならず、動画解析装置製造業などにも波及するものである。
【符号の説明】
【０１１２】
１ 画像入力部（入力手段）
２ 周波数分解部（分解手段）
３ 係数変更部（変更手段）
４ 画像再構成部（再構成手段）
５ 画像出力部（出力手段）
１００ 画像処理装置
【特許請求の範囲】
【請求項１】
動画像を構成する各フレーム画像を順次入力する入力手段と、
前記動画像を複数の周波数帯域に分割する分解手段と、
前記分割した各動画像のなかで、時間に依存する分割した動画像の成分のうち、目的とする周波数成分の展開係数を消去または縮小する変更手段と、
前記消去または縮小した成分に基づいて、前記分解手段とは逆の処理を行なうことで、前記分割した全ての動画像を再構成し、その再構成した動画像を時間毎に分割して、復元したフレーム画像を生成する再構成手段と、
前記復元したフレーム画像を出力する出力手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記変更手段は、前記分割した動画像のなかで、時間に依存しない高周波成分を示す分割した動画像の成分を拡大するものであることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記分解手段は、前記動画像の縦，横，および時間の各方向について、ウェーブレット変換処理を行なうものであり、
前記再構成手段は、前記分割した全ての動画像の縦，横，および時間の各方向について、ウェーブレット逆変換処理を行なうものであることを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記成分は、前記ウェーブレット変換処理を行なうことで得られるウェーブレット展開係数であることを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記分解手段によるウェーブレット変換処理と、前記再構成手段によるウェーブレット逆変換処理は、Daubecheies10のマザーウェーブレットを用いて行われることを特徴とする請求項３記載の画像処理装置。
【請求項６】
動画像を構成する各フレーム画像を順次入力する入力工程と、
前記動画像を複数の周波数帯域に分割する分解工程と、
前記分割した各動画像のなかで、時間に依存する分割した動画像の成分のうち、目的とする周波数成分の展開係数を消去または縮小する変更工程と、
前記消去または縮小した成分に基づいて、前記分解手段とは逆の処理を行なうことで、前記分割した全ての動画像を再構成し、その再構成した動画像を時間毎に分割して、復元したフレーム画像を生成する再構成工程と、
前記復元したフレーム画像を出力する出力工程と、を備えることを特徴とする画像処理方法。
【請求項７】
コンピュータに請求項６記載の画像処理方法を実行させることを特徴とするプログラム。
【請求項８】
請求項７に記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項１】
動画像を構成する各フレーム画像を順次入力する入力手段と、
前記動画像を複数の周波数帯域に分割する分解手段と、
前記分割した各動画像のなかで、時間に依存する分割した動画像の成分のうち、目的とする周波数成分の展開係数を消去または縮小する変更手段と、
前記消去または縮小した成分に基づいて、前記分解手段とは逆の処理を行なうことで、前記分割した全ての動画像を再構成し、その再構成した動画像を時間毎に分割して、復元したフレーム画像を生成する再構成手段と、
前記復元したフレーム画像を出力する出力手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記変更手段は、前記分割した動画像のなかで、時間に依存しない高周波成分を示す分割した動画像の成分を拡大するものであることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記分解手段は、前記動画像の縦，横，および時間の各方向について、ウェーブレット変換処理を行なうものであり、
前記再構成手段は、前記分割した全ての動画像の縦，横，および時間の各方向について、ウェーブレット逆変換処理を行なうものであることを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記成分は、前記ウェーブレット変換処理を行なうことで得られるウェーブレット展開係数であることを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記分解手段によるウェーブレット変換処理と、前記再構成手段によるウェーブレット逆変換処理は、Daubecheies10のマザーウェーブレットを用いて行われることを特徴とする請求項３記載の画像処理装置。
【請求項６】
動画像を構成する各フレーム画像を順次入力する入力工程と、
前記動画像を複数の周波数帯域に分割する分解工程と、
前記分割した各動画像のなかで、時間に依存する分割した動画像の成分のうち、目的とする周波数成分の展開係数を消去または縮小する変更工程と、
前記消去または縮小した成分に基づいて、前記分解手段とは逆の処理を行なうことで、前記分割した全ての動画像を再構成し、その再構成した動画像を時間毎に分割して、復元したフレーム画像を生成する再構成工程と、
前記復元したフレーム画像を出力する出力工程と、を備えることを特徴とする画像処理方法。
【請求項７】
コンピュータに請求項６記載の画像処理方法を実行させることを特徴とするプログラム。
【請求項８】
請求項７に記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−５５４１５（Ｐ２０１１−５５４１５Ａ）
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願番号】特願２００９−２０４６３５（Ｐ２００９−２０４６３５）
【出願日】平成２１年９月４日（２００９．９．４）
【出願人】（３０４０２７２７９）国立大学法人 新潟大学 (310)
【Ｆターム（参考）】
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願日】平成２１年９月４日（２００９．９．４）
【出願人】（３０４０２７２７９）国立大学法人 新潟大学 (310)
【Ｆターム（参考）】
[ Back to top ]