説明

画像処理装置、画像処理方法、及び画像処理プログラム

【課題】画像に対する反復フィルタ処理の過程において、反復フィルタ処理を適切なタイミングで停止することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することである。
【解決手段】本実施形態は、画像処理装置及びその方法に関するものであり、該画像処理装置は、入力画像に対して反復フィルタ処理を実施するフィルタ装置と、前記反復フィルタ処理過程において各フィルタリング毎に得られるフィルタリング画像の反復回数に伴う変化速度に基づいて前記反復フィルタ処理を停止するか否かを確定する反復フィルタ処理停止装置とを具備する。

【発明の詳細な説明】
【技術分野】
【0001】
本実施形態は画像処理分野に関し、具体的には、画像(例えば、医学画像)に対してノイズを低減するための画像処理装置及びその方法に関する。
【背景技術】
【0002】
画像のノイズ低減は、画像処理における重要なアイテムの一つである。例えば、医学画像処理において、装置の信号検出性能や画像生成アルゴリズムが適合していない、又は、造影剤量が少ない等の諸原因によって、CT(Computed Tomography)装置やMRI(Magnetic Resonance Imaging)装置・超音波(Ultrasound)診断装置等の医療診断装置により取得された医学画像にノイズが含まれてしまうことがある。これら画像におけるノイズは、医者の診断に多大な影響を及ぼし、後に続く画像処理(例えば、画像分割、計測、ボリュームレンダリング(Volume Rending)等)の正確性にも影響を及ぼしてしまう。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】P.Perona,J.Malik,“Scale-Space and Edge Detection Using Anisotropic Diffusion”,Proceedings of IEEE,Computer Society Workshop on Computer Vision刊行,1987年11月,第16−22頁
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明が解決しようとする課題は、画像に対する反復フィルタ処理の過程において、反復フィルタ処理を適切なタイミングで停止することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することである。
【課題を解決するための手段】
【0005】
実施形態に係る画像処理装置は、フィルタ装置と、反復フィルタ処理停止装置とを備える。フィルタ装置は、入力画像に対して反復フィルタ処理を実施する。反復フィルタ処理停止装置は、前記反復フィルタ処理の過程における各反復毎に得られるフィルタリング画像の反復回数に伴う変化速度に基づいて、前記反復フィルタ処理を停止するか否かを確定する。
【図面の簡単な説明】
【0006】
【図1】図1は、一実施形態に係る画像処理装置の構成を示すブロック図である。
【図2】図2は、上記実施形態に係る画像処理方法を示すフロー図である。
【図3】図3は、本実施形態の一つの具体的実施例に係る画像処理装置の構成を示すブロック図である。
【図4】図4は、上記具体的実施例に係る画像処理方法を示すフロー図である。
【図5】図5は、反復フィルタ処理を停止する時間を確定するための一つの具体的例を示すフロー図である。
【図6】図6は、それぞれ異なる類型の画像に対して反復フィルタ処理過程におけるフィルタリング画像とノイズ画像の関係係数の変化曲線を示す図である。
【図7】図7は、本実施形態の実施例に基づく応用場面の一つの例を示す図である。
【図8】図8は、本実施形態の他の一具体的実施例に基づく画像処理装置の構成を示すブロック図である。
【図9】図9は、本実施形態の他の一具体的実施例に基づく画像処理装置の構成を示すブロック図である。
【図10】図10は、図8に示す実施例の画像処理方法を示すフロー図である。
【図11】図11は、図9に示す実施例の画像処理方法を示すフロー図である。
【図12】図12は、それぞれ反復フィルタ処理過程におけるフィルタリング画像とノイズ画像の分散の変化曲線を示す図である。
【図13】図13は、本実施形態の他の一具体的実施例に基づく画像処理装置の構成を示すブロック図である。
【図14】図14は、上記具体的実施例に基づく画像処理方法を示すフロー図である。
【図15】図15は、上記具体的実施例の一つの具体的応用例を示す図である。
【図16】図16は、本実施形態の他の一実施例に基づく画像処理装置の構成を示すブロック図である。
【図17】図17は、上記実施例に基づく画像処理方法を示すフロー図である。
【図18】図18は、画像における各画像単位の勾配値分布の例を示す図である。
【図19】図19は、本実施形態を実現するためのコンピュータの構成を示すブロック図である。
【発明を実施するための形態】
【0007】
以下において、本実施形態の基本的理解のために、その一例の概要について説明する。ただし、この概要は、本実施形態のキーワードや重要な部分を確定するものではなく、本実施形態の範囲を限定するものでもない。その目的は、単に、本実施形態の概念を簡潔に説明するためのものであり、その後に論述する更に詳細な説明の序章にすぎない。
【0008】
本実施形態に係る画像処理装置は、入力画像に対して反復フィルタ(iterative filter)処理を実施するフィルタ装置と、前記反復フィルタ処理の過程において各フィルタ処理毎に得られるフィルタリング画像の反復回数に伴う変化速度に基づいて、前記反復フィルタ処理を停止するか否かを確定する反復フィルタ停止装置と、を備えたことを特徴とする。
【0009】
本実施形態に係る画像処理方法は、入力画像に対して反復フィルタ処理を実施するステップと、前記反復フィルタ処理過程において各フィルタ処理毎に得られるフィルタリング画像の反復回数に伴う変化速度に基づいて前記反復フィルタ処理を停止するか否かを確定するステップを含んだことを特徴とする。
【0010】
また、本実施形態は、更に上述方法を実現するためのコンピュータプログラムを提供する。
【0011】
更に、本実施形態は、更に少なくともコンピュータ読み取り可能な媒体形式のコンピュータプログラム製品を提供し、その上、上述方法を実現するためのコンピュータプログラムコードを提供する。
【0012】
以下、本実施形態の構成や目的・特徴・優位性についての理解を助けるため、図面を参照しながら説明する。図面中の各構成は単に本実施形態の原理を示すためのものである。図面において、同じ又は類似する技術特徴や各構成については、同じ又は類似する附番や表記を用いて説明する。
【0013】
以下、本実施形態について図面を参照しながら説明する。本実施形態の一つの図面又は一つの実施例において説明される構成や特徴は、一つ又は複数の他の図面又は実施例における構成や特徴と組み合わせることが可能である。なお、説明をわかりやすくするために、図面と説明において本実施形態と関係の無い内容や、当業者にとって既知の構成や処理に関する表示や説明については省略する。
【0014】
画像処理を実施している時、通常は画像に対して反復フィルタ処理を実施して、できるだけ画像中のノイズを除去することができる。もし反復の回数が少なすぎると、ノイズ低減の効果は十分期待できるものにはならず、かと言って、もし反復の回数が多すぎると、画像における有用な情報まで平滑化されてしまい、画像が不鮮明になって、その後の処理に影響を及ぼす。そこで、本実施形態では、画像の反復フィルタ処理の過程において、反復フィルタ処理の適切なタイミングでの停止を実現することができる画像処理装置及びその方法を提供する。
【0015】
ここで、本実施形態に基づく装置及び方法は、各類型の画像に対するノイズ低減処理に適用することが可能である。例えば、本実施形態に基づく装置及び方法は、医学画像に対するノイズ低減処理に適用することが可能である。ここでの医学画像は、医療画像診断装置で取得した被験者のデータに基づいて生成された画像である。ここでの医療画像診断装置は、X線画像診断装置、超音波画像診断装置、CT装置、MRI装置、PET(Positron Emission Tomography)装置等に限定されない。図7は、医療画像診断装置を利用して医学画像の取得を示す図である。図7に示すとおり、各種画像生成装置(例えば、上記医療画像診断装置)に予め定められた或いはユーザが定義したスキャンプロトコルを持たせる。CT装置を例にして説明すると、例えば、心臓同期スキャン(cardiac synchronization)、腹部4相強調スキャン(abdominal 4 phases enhance)、ダイナミックスキャン等のプロトコルを持たせることが可能であり、図7に示すプロトコル1、プロトコル2、・・・・・、プロトコルN(N≧1)のように、いくつかのプロトコルを利用して、複数の画像シーケンス(例えば、図7に示すシーケンス1、シーケンス2、・・・・・、シーケンスN等)を得ることができる。それゆえ、処理を必要とする画像は、医療画像診断装置により対応するプロトコルに基づいて患者データを取得して生成された医学画像であって良い。
【0016】
図1は、本実施形態の一つの実施例に基づく画像処理装置の構成を示すブロック図であり、図2は、この実施例に基づく画像処理方法を示すフロー図である。
【0017】
図1に示すとおり、画像処理装置100は、フィルタ装置101と反復フィルタ処理停止装置103を具備することが可能である。画像処理装置100は、図2に示す方法を用いて画像フィルタ処理を実施することができる。以下、図2に示す方法フローを参考にしながら、画像処理装置100における各構成の機能について説明する。
【0018】
フィルタ装置101は、該画像処理装置に入力された入力画像に対して反復フィルタ処理を実施する(図2のステップ202)。実際の応用場面に基づいて、フィルタ装置101(即ち、ステップ202)は、いずれかの適切なフィルタリング方法、例えば、非線形拡散(Non-Linear Diffusion:NLD)フィルタリング方法、線形フィルタリング方法、異方性拡散(Anisotropic Diffusion:ATD)フィルタリング方法等を採用することができる。なお、ここではこれらに限定しない。
【0019】
フィルタ装置101は、各フィルタ処理後、得られたフィルタリング画像を反復フィルタ処理停止装置103へ出力し、反復フィルタ処理停止装置103は、各フィルタ処理後に得られたフィルタリング画像に基づいて反復フィルタ処理を停止するか否かを判断する。具体的には、反復フィルタ処理停止装置103は、反復フィルタ処理過程におけるフィルタリング画像の反復回数に伴う増大変化の変化率に基づいて反復フィルタ処理を停止するか否かを判断することができる(図2のステップ206)。例えば、もし反復フィルタ処理停止装置103が、フィルタリング画像の変化速度が予め定められた閾値に等しいか或いはそれより小さいと判断した場合、これは、この時のフィルタ処理操作の画像に対する影響は小さくなり、つまり軽減されたノイズの程度は小さくなったと言える。そうなれば、フィルタ装置101に対して反復フィルタ処理を停止するように指示をすることが可能である。そうでなければ、フィルタ装置101に対して継続して次の反復を実施するように指示をする。
【0020】
ここでのフィルタリング画像の“変化”は、直前のフィルタ処理で得られるフィルタリング画像とその前のフィルタ処理(“その前”とは、直前の反復の前に実施された、ある一回の反復フィルタリング処理(例えば、その一回前の反復等)を意味する。なおこれに限定されない)で得られたフィルタリング画像との間の差を意味する。画像に対する反復フィルタ処理過程において、反復回数の増大に伴って、各フィルタ処理毎に得られるフィルタリング画像とその前のフィルタ処理にて得られたフィルタリング画像と比較した変化(即ち、差)が反復回数に伴って小さくなる。つまり、反復回数の増大に伴って、フィルタリング画像の変化速度が緩慢になる。図1と図2に示す装置と方法はこの原理に基づいており、フィルタリング画像の変化速度に基づいて反復フィルタ処理を停止する時間を確定する。このような方法と装置を利用して、反復フィルタ処理を停止する適切な時間を有効に確定することができ、画像における大部分のノイズを除去できると共に、画像における有用な情報が不鮮明になってしまわないことも保証することがきる。さらに、人の手により反復フィルタ処理を停止する時間を設定するといったような煩雑さも回避することができ、画像処理の更なる自動化を実現することができる。
【0021】
フィルタリング画像の反復過程における変化は、その異なる特徴や特性にまで反映することができ、例えば、各反復毎に得られるフィルタリング画像とノイズ画像との相関性の反復過程における変化、フィルタリング画像又はノイズ画像のある画像特徴(例えば、分散又は標準差)の値の反復過程における変化等にも反映できる。なお、これらに限らず、例えば、上記の各種変化の数学的組み合わせでも良い。以下、図3〜図15を参照しながら、反復フィルタ処理過程におけるフィルタリング画像の変化速度に基づいて反復フィルタ処理の停止をするか否かの判断をする画像処理装置及びその方法について、更に具体的な一実施例について説明する。
【0022】
図3は、一つの具体的実施例に基づく画像処理装置の構成を示すブロック図であり、図4は、その具体的実施例に基づく画像処理方法を示すフロー図である。
【0023】
上述のとおり、反復フィルタ処理過程において、各フィルタ処理で得られるフィルタリング画像は、その前のフィルタ処理で得られるフィルタ画像と比較して変化が小さくなる、すなわち変化速度が緩やかになる。反復フィルタ処理の開始段階において、各フィルタ処理で軽減されるノイズは比較的多く、反復回数の増大に伴って、画像におけるノイズはどんどん少なくなり、画像自身もだんだん平滑になっていく。フィルタリング画像の変化速度はフィルタリング画像の勾配(gradient)に正比例し、画像自身がだんだん平滑になるのに伴って、画像の勾配の変化が小さくなるので、フィルタリング画像の変化速度は緩やかになる。それに対応して、フィルタリング画像におけるノイズ量の変化に伴って、それとフィルタ処理にて除去されるノイズ画像との相関性も変化が発生する。つまり、前記相関性の変化もフィルタリング画像の変化を反映し、相関性の変化速度もフィルタリング画像の変化速度を反映する。図6の(A)、(B)及び(C)は、それぞれこの相関性の反復フィルタ処理過程における変化曲線を示している。図6の(A)、(B)及び(C)における曲線は、それぞれ3つの異なる画像(図に示す例では、3つの画像はそれぞれ超音波診断装置(UL)、X線CT装置(CT)及び磁気共鳴診断装置(MRI)で異なる人体部位を撮影して得られた医学画像である。)に対する反復フィルタ処理過程における各フィルタ処理にて得られるフィルタリング画像と相対するノイズ画像の相関係数の時間(反復回数)に伴う変化動向を示している。図6の(A)、(B)及び(C)に示すとおり、反復フィルタ処理の開始段階において、フィルタリング画像とノイズ画像の相関係数の値は減少傾向を示し、この傾向はノイズが除去されればされるほど大きくなる。一定時間経過後、相関係数の曲線は底となり(図中の“x”で表記された底点T1、T2)、そして底点の後、フィルタリング画像とノイズの相関係数は再び緩やかな増大傾向を示し、この傾向は底点の後、反復回数の増大に伴い、画像中の有用な情報もだんだん平滑化されて失われ、つまり、有用な情報も除去されてしまう、もしくはノイズ画像が入り込み、ひいては、フィルタリング画像とフィルタ処理後のノイズ画像との間の相関性を再び増大させることになる。既存の方法では、上記底点を探し出して、そこを反復フィルタ処理を停止する時間として確定している。この既存の方法では、フィルタリング画像とノイズ画像の相関係数の最小となる時間を反復フィルタ処理を停止する時間点として確定している(例えば、Pavel Mrazekの論文“Selection of Optimal Stopping Time for Nonlinear Diffusion Filtering”(“Scale-Space and Morphology in Computer Vision”刊行,第三回国際会議,2001年を参照)(以下、この論文文献を、関連文献1と称す。)。図6の(A)に示す状況においては、底点T1はただ一点存在しており、且つその底点の位置は正確な停止時間に対応しているので、このような状況においては、上述の既存方法を利用して正確な停止時間を確定することができる。ただし、上記の既存方法は、図6の(B)又は(C)に示す状況においては適用できない。なぜなら、例えば、図6の(B)に示す曲線において、底点T2が出現している位置は正確な停止時間より明らかに遅れており、且つ底点T2の後も相関係数曲線はフラットな状態を保持(即ち、底点T2の後、相関係数値はほとんど変化がない状態)しており、したがって、このような状況においてもし上述の既存方法を利用しようとすれば、確定した時間点を底点T2としたとしても、それは正確な停止時間ではない。また、例えば、図6の(C)に示す曲線においては、単調に減少し続け、底点が無いので、このような状況においてたとえ上述の既存方法を利用したとしても、相関係数の最小の時間点が探し出すことができず、正確な停止時間を確定することができない。
【0024】
本出願の発明者は、図6の(A)、(B)及び(C)の3つの曲線に示すとおり、底点の有無に関係なく、この3つの曲線は、反復フィルタ処理の開始段階において、全て単調減少を示し、減少変化率は時間の経過に伴って緩やかになっていくことを見出した。図3と図4に示す装置と方法では、フィルタリング画像とノイズ画像の間の相関性が反復フィルタ処理過程において減少するその変化率(相関性が最小となる時間点ではない)を利用して、反復フィルタ処理を停止する時間を確定する。
【0025】
図3に示すとおり、画像処理装置300は、フィルタ装置301と反復フィルタ処理停止装置303を備え、反復フィルタ処理停止装置303は、ノイズ画像取得部303−1、相関性取得部303−2及び停止判断部303−3を備える。画像処理装置300は、図4に示す方法フローを用いて画像フィルタ処理を実施する。以下、図4に示す方法フロー(流れ)を参考にしながら、画像処理装置300における各装置及び各部の機能について説明する。
【0026】
フィルタ装置301と図1に示すフィルタ装置101は類似するので、いかなる適切な方法を用いて該画像処理装置に入力された入力画像に対して反復フィルタ処理を実施するかについては(図4のステップ402)、ここでは説明を省略する。
【0027】
フィルタ装置301は、各フィルタ処理後、得られるフィルタリング画像をノイズ画像取得部303−1へ出力する。ノイズ画像取得部303−1は、各フィルタ処理後、得られるフィルタリング画像と入力画像に基づいてノイズ画像を推定する(図4のステップ406−1)。
【0028】
一つの例として、各フィルタ処理後、得られるフィルタリング画像と入力画像との間の差分画像を計算し、それをノイズ画像とすることができる。入力画像をI0、直前のフィルタ処理後のフィルタリング画像をIstとした場合、対応するノイズ画像Intは、以下の式で推定できる。
【0029】
【数1】

【0030】
なお、各フィルタ処理後、いずれかの適切なその他の方法を用いてノイズ画像を推定することができる(例えば、式(1)に基づいて計算して得られた差分画像の絶対値、即ち、Int=|I0−Ist|をノイズ画像とすることができる。もちろん他の方法によりノイズ画像を指定しても良いが、ここでは、いちいち列挙して詳述はしない)。
【0031】
ノイズ画像取得部303−1は、得られたノイズ画像を相関性取得部303−2へ出力し、相関性取得部303−2は、該ノイズ画像と直前の反復にて得られたフィルタリング画像の相関性を推定し(図4のステップ406−2)、推定結果を停止判断部303−3へ出力する。
【0032】
一つの例として、両者画像間の相関性を表徴するため、ノイズ画像とフィルタリング画像の間の相関係数を計算する。例えば、両者画像間の相関係数は、以下の式を用いて計算することができる。
【0033】
【数2】

【0034】
ここで、ρtは、直前の反復で得られたフィルタリング画像Istと対応するノイズ画像Intとの間の相関係数を表し、E(・)は、平均値関数(mean value)を表す。
【0035】
なお、相関係数以外の他のパラメータを用いて両者画像間の相関性を表して、上記の式(2)に対していずれかの形式の数学的変化を求めるようにしても良く、それゆえ、本実施形態は上述の例に限定されることは無い。
【0036】
停止判断部303−3は、各フィルタ処理で得られたフィルタリング画像とノイズ画像との間の相関性が前記反復フィルタ処理過程において減少するその変化率に基づいて反復フィルタ処理を停止するか否かを確定する(図4のステップ406−3)。もし、停止判断部303−3が、相関性の減少変化率が既に予め定めた閾値に等しいか又はそれより小さいと判断した場合、フィルタ装置301に対して反復フィルタ処理の停止を指示する。そうでなければ、フィルタ装置301に対して次の反復の実施を指示する。
【0037】
図5は、相関性の減少変化率を表す特徴値に基づいて、反復の停止時間を確定する一例を示している。図5に示すとおり、ステップ406−31において、停止判断部303−3は、現在のフィルタ処理で得られたフィルタリング画像とノイズ画像との間の相関性の値及びその前のフィルタ処理後に推定された相関性の値に基づいて、相関性が反復回数に伴って増大又は減少する変化率を表すのに用いる特徴値を計算する。その後、ステップ406−32において、停止判断部303−3は、該特徴値と予め定められた閾値との間で予め定めた条件を満足するか否かを判断し、反復フィルタ処理を停止するか、そうでなければ、次の反復を継続して実施するようにする。
【0038】
一つの具体的例として、前記特徴値は、フィルタリング画像とノイズ画像の相関性の反復回数に伴う変化曲線(図6の(A)、(B)又は(C)に示す相関係数曲線)の傾斜角度である。例えば、前記傾斜角度θは、以下の式を用いて計算することができる。
【0039】
【数3】

【0040】
ここで、ρtは、時間tにおいて得られたフィルタリング画像Istと対応するノイズ画像Intの間の相関係数を表し、ρt-Δtは、時間t−Δtにおいて得られたフィルタリング画像Is(t-Δt)と対応するノイズ画像In(t-Δt)の間の相関係数を表し、Δtは、時間間隔を表す。
【0041】
その他の一具体的例として、前記傾斜角度は弧度(ラジアン)を用いても表現できる。
【0042】
【数4】

【0043】
停止判断部303−3が、計算して得られた傾斜角度θrad又はθが、予め定められた閾値に等しい或いはそれより小さい場合、フィルタ装置301に対して、反復フィルタ処理の停止を指示する。そうでなければ、フィルタ装置301に対して、次の反復の実施を指示する。
【0044】
その他の具体例として、前記特徴値は、フィルタリング画像とノイズ画像の関連性の反復回数に伴う変化曲線(図6の(A)、(B)又は(C)に示す相関係数曲線)の傾斜率であっても良い。例えば、前記傾斜率kslopeは、以下の式を用いて計算することができる。
【0045】
【数5】

【0046】
ここで、ρtは、時間tにおいて得られるフィルタリング画像Istと対応するノイズ画像Intとの間の相関係数を表し、ρt-Δtは、時間t−Δtにおいて得られるフィルタリング画像Is(t-Δt)と対応するノイズ画像In(t-Δt)の間の相関係数を表し、Δtは、時間間隔を表す。
【0047】
停止判断部303−3が、計算して得られた傾斜率kslopeが、予め定められた閾値と等しい又はそれより小さい場合、フィルタ装置301に対して反復フィルタ処理を停止するように指示する。そうでなければ、フィルタ装置301に対して次の反復を実施するように指示する。
【0048】
ここで、フィルタリング画像とノイズ画像との間の相関性の前記反復フィルタ処理過程における減少変化率を表す特徴値としては、上述の相関係数曲線の傾斜角度や傾斜率に限られない。前記特徴値として、相関性の減少変化率を表す他の特徴を用いても構わない。例えば、直前のフィルタ処理後に推定した相関係数とその前のフィルタ処理後に推定した相関係数ρt-Δtとの間の差(又は、該差の逆数)を前記特徴値として用いてもかまわない。上述の差が予め定められた閾値と等しい又はそれより小さい場合(又は、上述の差の逆数が予め定められた閾値に等しい又はそれより大きい場合)、反復フィルタ処理を停止する、そうでなければ、継続して次の反復を実施する。この他、上述の各種特徴値の計算方式に対して、いかなる形式の数学的変化を求めるようにしても良い。
【0049】
その他、ここで、上述の実施例/例示において前記の予め定められた閾値は、実際の応用場面に基づいて予め確定されたものであり、異なる類型(又は特性)に対する画像により分析して得られた実験値や経験値であっても良い。異なる応用場面や採用する異なる特徴値パラメータに従って、該閾値は異なる値を採用することができる。例えば、前記入力画像が医療画像診断装置を介して得られたデータに基づいて生成された医学画像である場合、実験又は経験に基づいて、各種スキャンプロトコル又は画像生成装置の類型に従って予め対応する閾値を確定することができる。又は、複数のスキャンプロトコル又は画像生成装置に従う複数の閾値(例えば、プロファイル等の形式でもって)をメモリ部(該メモリ部は、画像処理装置に内在するメモリ装置であっても良いし、画像処理装置外部のメモリ装置であって該画像処理装置を経由して送るようにしても良い)へ保存する。このように、反復フィルタ処理過程において、入力画像のスキャンプロトコル又は画像生成装置の類型に基づいて対応する閾値を取得して(例えば、メモリ部から取り込む)、相関性の減少変化率を判断する根拠とすることができるので、更に画像処理の自動化の程度を向上させることができる。
【0050】
図3〜5に示す画像処理装置又はその方法を参照する中において、フィルタリング画像とノイズ画像の相関性の減少変化率を利用することにより、反復フィルタ処理を停止する時間を有効に確定することができ、画像における大部分のノイズを除去できると共に、画像における有用な情報を平滑化により失われることがないようにすることも可能である。
【0051】
図8及び図9は、それぞれ他の2つの具体的実施例に基づく画像処理装置の構造を示すブロック図であり、図10及び図11は、それぞれこの2つの具体的実施例に基づく画像処理方法を示すフロー図である。図3〜図5に示す実施例では、フィルタリング画像とノイズ画像の相関性の減少する変化率を利用して反復フィルタ処理過程におけるフィルタリング画像の変化速度を表す。図8〜図11に示す実施例では、フィルタリング画像又はノイズ画像の予め定められた画像特徴の反復フィルタ処理過程における変化速度を利用してフィルタリング画像の変化速度を表す。
【0052】
ここでの予め定められた画像特徴は、反復フィルタ処理過程におけるフィルタリング画像の変化のいかなる画像特徴値をも反映することができ、例えば、フィルタリング画像又はノイズ画像の分散又は標準差、フィルタリング画像又はノイズ画像の画素の平均勾配、フィルタリング画像又はノイズ画像のグレイスケール(gray scale)のダイナミックレンジ(即ち、最大グレイスケールと最小グレイスケールとの差)等であっても良い。ここでは、いちいち列挙して詳述はしない。
【0053】
図12の(A)及び(B)は、それぞれ、反復フィルタ処理過程において、フィルタリング画像とノイズ画像の分散を例にした変化曲線を示している。図12の(A)に示すとおり、反復回数の増大に伴って、フィルタリング画像の分散は単調に減少し、且つ減少変化率は緩やかになっていく。図12の(B)に示すとおり、反復回数の増大に伴って、ノイズ画像の分散は単調に増大し、且つ増大変化率は緩やかになっていく。上記の方法を利用してノイズ画像を推定することができる。説明は重複するので省略する。
【0054】
以下、図8及び図10を参照しながら、フィルタリング画像の予め定められた画像特徴の変化速度を利用してフィルタ処理停止時間を確定する実施例について説明する。
【0055】
図8に示すとおり、画像処理装置800は、フィルタ装置801と反復フィルタ処理停止装置803を備え、更に、反復フィルタ処理停止装置803は、画像特徴計算部803−4と停止判断部803−3を備える。画像処理装置800は、図10に示す画像処理方法を用いて画像フィルタ処理を実施することができる。
【0056】
フィルタ装置801は、該画像処理装置へ入力された入力画像に対して反復フィルタ処理(図10のステップ1002)を実施するためのものであって、上記におけるフィルタ装置101及び301と類似するものであり、ここでは、詳細な説明は省略する。
【0057】
フィルタ装置801は、各フィルタ処理後、得られたフィルタリング処理を画像特徴計算部803−4へ出力し、画像特徴計算部803−4を介して、各フィルタ処理で得られたフィルタリング画像の予め定められた画像特徴値を計算する(図10に示すステップ10006−1)。例えば、フィルタリング画像の分散又は標準差を計算し、計算結果を停止判断部803−3へ出力する。停止判断部803−3は、反復フィルタ処理過程における前記画像特徴(例えば、分散又は標準差)値の反復回数の増加に伴う変化率(例えば、分散又は標準差の減少変化率)に基づいて反復フィルタ処理を停止するか否かを確定する。もし、停止判断部803−3が、前記画像特徴値の変化速度が予め定められた閾値と等しい又はそれよりも小さいと判断した場合、フィルタ装置801に対して反復フィルタ処理の停止を指示する。そうでなければ、フィルタ装置801に対して、次の反復の実施を継続する指示をする。
【0058】
具体的例として、停止判断部803−3は、画像特徴計算部803−4の計算結果に基づいて、予め定められた画像特徴値の反復フィルタ処理過程における変化速度を表す特徴値を計算する。例えば、該特徴値は、予め定められた画像特徴値が反復回数の増加に伴って変化する曲線の傾斜角度又は傾斜率(例えば、図12の(A)に示す曲線の傾斜角度又は傾斜率であって、上述の公式(3)−(5)を用いて算出することができる。詳細については省略)、又は、該特徴値は、直前のフィルタ処理で得られたフィルタリング画像の予め定められた画像特徴値とその前のフィルタ処理で得られたフィルタリング画像の予め定められた画像特徴値との間の差(又は、該差の逆数)であって良い。ここでは、いちいち列挙して詳述はしない。その後、停止判断部803−3は、計算して得られた特徴値と予め定めた閾値との間で予め定めた関係を満足するか否かを判断し(例えば、傾斜角度、傾斜率又は上述差を特徴値として用いる状況下で、特徴値が予め定められた閾値に等しい又はそれより小さいか否かを判断する、又は、上述差の逆数を特徴値として用いる状況下で、特徴値が予め定められた閾値に等しい又はそれより大きいか否かを判断する)、フィルタ装置801に対して反復フィルタ処理の停止を指示する、そうでなければ、フィルタ装置801に対して次の反復を継続して実施するように指示をする。上述実施例/例示のように、ここでの閾値は、実際の応用場面に基づいて予め確定されるものである。異なる応用場面又はそこで用いられる異なる特徴パラメータに従って該閾値は異なる値をとる(例えば、図12の(A)に示す画像特徴値の変化曲線により予め閾値を確定し、これらの曲線は、異なる類型(又は特性)の画像に対して分析することにより取得できる。ここでは、更なる詳細な説明は省略する。)。なお、ここでは、それは、具体的数値に限定されない。
【0059】
以下、図9と図11を参照しながら、ノイズ画像の予め定めた画像特徴値の変化速度を利用してフィルタ処理の停止時間を確定する実施例について説明する。
【0060】
図9に示すとおり、画像処理装置900は、フィルタ装置901と反復フィルタ処理停止装置903を備える。反復フィルタ処理停止装置903は、図8に示す実施例と同様に、画像特徴計算部903−4と停止判断部903−3を備え、図8に示す実施例と異なるのは、反復フィルタ処理停止装置903は、更にノイズ画像取得部903−1を備えることにある。画像処理装置900は、図11に示すような画像処理方法を用いて画像フィルタ処理を実施することができる。
【0061】
フィルタ装置901は、上記のフィルタ装置101や301と同様に、画像処理装置に入力された入力画像に対して反復フィルタ処理を実施するものである(図11のステップ1102)。なお、ここでは重複する部分は説明を省略する。
【0062】
フィルタ装置901は、各フィルタ処理後、得られたフィルタリング画像をノイズ画像取得部903−1へ出力する。ノイズ画像取得部903−1は、各フィルタ処理後に、得られたフィルタリング画像と入力画像に基づいてノイズ画像を推定する(図11のステップ1106−1)。ノイズ画像取得部903−1は、上述の図3や図4に示す方法を用いてノイズ画像を推定する。なお、ここでは重複する部分は説明を省略する。
【0063】
ノイズ画像取得部903−1は、得られたノイズ画像を画像特徴計算部903−4へ出力し、画像特徴計算部903−4を介してノイズ画像の予め定められた画像特徴値を計算する(図11に示すステップ1106−2)、例えば、ノイズ画像の分散又は標準差を計算し、計算結果を停止判断部903―3へ出力する。
【0064】
停止判断部903−3は、反復フィルタ処理過程においてノイズ画像の画像特徴値(例えば、分散や標準差)の反復回数に伴う増大変化の変化率(例えば、分散又は標準差の増大の変化率)に基づいて反復フィルタ処理を停止するか否かを確定する。もし、停止判断部903−3が、ノイズ画像の前記画像特徴値の変化速度が予め定めたレベルに達したと判断した場合、フィルタ装置901に対して反復フィルタ処理の停止を指示する。そうでなければ、フィルタ装置901に対して次の反復の実施を継続する指示をする。
【0065】
具体的例として、停止判断部903−3は、画像特徴計算部903−4の計算結果に基づいて、予め定められた画像特徴値の反復フィルタ処理過程における変化速度を表す特徴値を計算する。例えば、該特徴値は、予め定められた画像特徴値の反復回数に伴い増大変化する曲線の傾斜角又は傾斜率を反映するもの(例えば、図12の(B)に示す曲線の傾斜角度又は傾斜率であり、上述の式(3)−(5)を用いて計算できる。詳細は重複するので省略)、又は、該特徴値は、直前のフィルタ処理で得られたノイズ画像の予め定められた画像特徴値と、その前のフィルタ処理で得られたノイズ画像の予め定められた画像特徴値との間の差(又は、該差の逆数)である。ここでは、いちいち列挙して詳述はしない。その後、停止判断部903−3は、計算して得られた特徴値と予め定められた閾値との間で予め定められた関係を満足するか否かを判断し(例えば、傾斜角、傾斜率又は上述差を特徴値とする場合、特徴値が予め定められた閾値と等しい又はそれより小さいかどうかを判断する。上述差の逆数を特徴値とする場合、特徴値が予め定められた閾値と等しいか又はそれより大きいかどうかを判断する)、フィルタ装置901に対して反復フィルタ処理の停止を指示する、又は、フィルタ装置901に対して次の反復の実施を継続するよう指示する。上述実施例/例示のように、ここでは、前記の閾値は実際の応用場面に基づいて予め決められたものである。異なる応用場面とそこで用いられる異なる特徴パラメータに従って、該閾値は異なる値(例えば、図12の(B)に示す画像特徴値の変化曲線により予め閾値を確定することができる。この曲線は、異なる類型(又は特性)の画像に対して分析を実施することにより得ることができる。)を用いることができる。なお、ここではその具体的数値に限定されない。
【0066】
図8〜図11に示す画像処理装置や方法において、反復フィルタ処理過程においてフィルタリング画像又はノイズ画像の予め定められた画像特徴値を利用することにより、反復フィルタ処理を停止する時間を有効に確定することができ、画像中の大部分のノイズを除去できると共に、画像中の有用な情報が平滑化により失うことを防ぐことができる。
【0067】
具体的例として、図8〜図11に示す画像処理装置又は方法を参考にして、以下の式により画像の分散を計算し、前記予め定められた画像特徴値とすることができる。
【0068】
【数6】

【0069】
ここで、Iは画像を表し(例えば、上述のフィルタリング画像やノイズ画像)、Dは該画像の分散を表す。
【0070】
図13は、他の一具体的実施例に基づく画像処理装置の構造を示すブロック図であり、14は、該具体的実施例に基づく画像処理方法を示すフロー図である。上記の実施例はそれぞれノイズ画像とフィルタリング画像との間の相関性、又は、ノイズ画像(又はフィルタリング画像)の予め定められた画像特徴値の反復フィルタ処理過程における変化速度を利用し、そして図13と図14に示す実施例は両者を組み合わせることを考える。例えば、図6の(A)、(B)、(C)に示すとおり、ノイズ画像とフィルタリング画像の間の相関性が反復フィルタ処理の開始段階は単調減少し、そのあと緩やかに増大(例えば、図6の(A)及び(B)に示すとおり)、又は、緩やかな減少が続き(例えば、図6の(C)のとおり)、図12の(B)に示すとおり、ノイズ画像の分散は反復フィルタ処理過程において単調に増大する。もし、両者が適切な方法により組み合わさる場合(両者が組み合わさった場合の具体的実施例としては、例えば、以下の文中で図13−15を参照しながら説明するようなものを挙げることができる。)、生成される組み合わせ特徴値の反復回数に伴う変化曲線も反復フィルタ処理過程において画像の変化を反映する。例えば、図6の(B)に示すような相関性曲線の底点が時間方向下流へ延びていく状況下では、ノイズ画像の分散は単調増大するので、組み合わせ特徴値の曲線は底点を時間方向上流へ適切な位置まで遡るようシフトする。また、例えば、図6の(C)に示すような相関性が単調減少する状況下では、ノイズ画像の分散は単調増大するので、組み合わせ特徴値の曲線には底点が出現すると共に該底点は正確な停止時間に対応する。図15の(A)は、ノイズ画像とフィルタリング画像の相関係数を示したものであり、ノイズ画像の分散及び両者の組み合わせ特徴値の反復回数に伴う変化を示す図である。図15の(A)において、縦軸は相関係数を表し、分散及び組み合わせ特徴の値を取り、横軸は反復時間を表す。図15の(A)に示すとおり、組み合わせ特徴値の曲線のt=0.4の時間点にて底点(極小値)が出現し、前記組み合わせ特徴値の反復回数に伴って増大して出現する底点(即ち、極小値)を用いて、反復フィルタ処理を停止する時間を確定することができる。
【0071】
説明をわかりやすくするために、以下では、ノイズ画像の分散を前記予め定められた画像特徴とし、ノイズ画像とフィルタリング画像の相関係数が前記相関性を表すものとして説明する。なお、その他の例としては、ノイズ画像のその他の画像特徴(例えば、標準差など)、又は、フィルタリング画像の分散や標準差の逆数など、又は、フィルタリング画像とノイズ画像の間の相関性のその他のパラメータでも良い。ここでは、いちいち列挙して詳述はしない。
【0072】
図13に示すとおり、画像処理装置1300は、フィルタ装置1301と反復フィルタ処理停止装置1303を備え、更に、反復フィルタ処理停止装置1303は、ノイズ画像取得部1303−1、相関性取得部1303−2、画像特徴計算部1303−4、組み合わせ部1303−5及び停止判断部1303−3を備える。画像処理装置1300は、図14に示すような画像処理方法を用いて画像フィルタ処理を実施する。
【0073】
上述のフィルタ装置101や301のように、フィルタ装置1301は、該画像処理装置に入力された入力画像に対して反復フィルタ処理を実施するものである(図14のステップ1402)。ここでは、重複する部分については説明を省略する。
【0074】
フィルタ装置1301は、各フィルタ処理後、得られたフィルタリング画像をノイズ画像取得部1303−1に出力する。ノイズ画像取得部1303−1は、各フィルタ処理後に得られたフィルタリング画像と入力画像とに基づいてノイズ画像を推定し(図14のステップ1406−1)、ノイズ画像取得部1303−1は、上述の図3と図4に示す方法を参考にしてノイズ画像を推定する。ここでは、重複する部分については説明を省略する。
【0075】
ノイズ画像取得部1303−1は、得られたノイズ画像を、それぞれ相関性取得部1303−2と画像特徴計算部1303−4へ出力する。相関性取得部1303−2は、該ノイズ画像と直前のフィルタ処理で得られたフィルタリング画像との相関性を推定し(図14のステップ1406−2)、推定結果を組み合わせ部1303−5へ出力する。例えば、相関性取得部1303−2は、2つの画像間の相関性を表徴するため、ノイズ画像とフィルタリング画像との間の相関係数を計算する(例えば、上述の方法を用いて計算できる。重複する説明は省略。)。
【0076】
画像特徴計算部1303−4は、ノイズ画像の予め定められた画像特徴値を計算し(例えば、図14のステップ1406−4)、例えば、ノイズ画像の分散を計算し(例えば、上記式(6)を用いて)、計算結果を組み合わせ部1303−5へ出力する。
【0077】
組み合わせ部1303−5は、相関性取得部1303−2により取得した相関性値と画像特徴計算部1303−4により計算して得られた分散とを組み合わせて、組み合わせ特徴値を生成する(例えば、図14のステップ1406−5)。例えば、C1を単調増大するノイズ画像の分散曲線とし、C2をノイズ画像とフィルタリング画像の相関曲線とすると、組み合わせ特徴値は次のように表せる。
【0078】
【数7】

【0079】
ここで、Ccombineは組み合わせ特徴値を表し、f(・)は曲線C1に対する数学的変化を表し、g(・)は曲線C2に対する数学的変化を表す。
【0080】
一例として、組み合わせ部1303−5は、相関性取得部1303−2により取得した相関性値と画像特徴計算部1303−4により計算して得られた分散値を計算して和を求め、該和を組み合わせ特徴値とすることができる。ただし、状況によっては、フィルタリング画像とノイズ画像の相関係数の値を取る範囲は、しばしばノイズ画像の分散の値を取る範囲と異なる。それゆえ、相関性値と分散値の和曲線は、上述の底点(極小値)が存在しない可能性がある。したがって、2つの曲線をマッチングさせるように調整する必要がある。以下、相関性取得部1303−2により得られた相関性値と画像特徴計算部1303−4により計算して得られた分散値とを組み合わせることについて、その一例を示す。
【0081】
一例として、フィルタ処理の前に、画像処理装置(例えば、フィルタ装置1301)は、先ずオリジナルの入力画像に対してノーマライズ処理を行う。言い換えると、図14のステップ1402の前に、入力画像のノーマライズ処理を行うステップを含む。このように、各反復の後で、ノイズ画像取得部1303−1は、ノーマライズされた入力画像を用いて得られた前記相関性値(相関性取得部1303−2により得られる)と前記分散値(画像特徴計算部1303−4により得られる)の和を求め、該和を組み合わせ特徴値とする。
【0082】
その他の一例として、画像特徴計算部1303−4は、各反復の後、ノイズ画像取得部1303−1にて推定されたノイズ画像に対してノーマライズを実施し(該例においては、オリジナル入力画像に対してノーマライズを実施する必要はない)、ノーマライズされたノイズ画像の分散を計算し、ノーマライズされたノイズ画像の分散を組み合わせ部1303−5へ出力する。ノイズ画像のダイナミック範囲(例えば、[Nmin,Nmax]を用いて画像のダイナミック範囲を表すことができる)を[0,1]へノーマライズする。異なる類型の入力画像に対しては、各反復で生成されるノイズ画像のダイナミック範囲は異なり、ノーマライズが一つの同じダイナミック範囲に基づいて実施されない状態を引き起こす。それゆえ、一つの標準ダイナミック範囲を指定し、各反復時に全てその標準ダイナミック範囲でもって[0,1]へのノーマライズを実施する。例えば、ある種類の入力画像に対して、相応する標準ダイナミック範囲を[Smin,Smax]と設定し(ここで、異なる入力画像に対しては、異なる標準ダイナミック範囲を用いることができる)、ノーマライズ処理は、以下の式(8)により実施することができる。
【0083】
【数8】

ここで、Nはノイズ画像の画素値を表し、N’はノーマライズ処理後の画素値を表す。
【0084】
ここで、実際の応用場面では、実際の必要性に応じて上述の標準ダイナミックレンジを確定するものであって、本実施形態を上記実施例に限るべきではない。例えば、医学画像の場合、標準ダイナミックレンジは、入力画像を取得した医療画像診断装置の異なる類型に基づいて確定するものである。その他の例では、入力画像のスキャンプロトコル等に基づいて確定しても良い。ここでは、いちいち列挙して詳述はしない。
【0085】
該例において、相関性取得部1303−2は、ノイズ画像取得部1303−1により推定されたノイズ画像(ノーマライズされたノイズ画像ではない)に基づいて上記相関性を計算する。
【0086】
その他の一例として、組み合わせ部1303−5は、計算して得られたノイズ画像の分散に対して変換処理を実施し、その後、変換後の分散と相関性取得部1303−2にて得られた相関性値の和を求め、該和を組み合わせ特徴値とする。例えば、組み合わせ部1303−5は、画像特徴計算部1303−4により計算して得られたノイズ画像の分散に対して変換処理を実施し、その後、変換処理後の分散値に相関性取得部1303−2により得られた相関性値を加え、得られた和を上記組み合わせ特徴値とする。例えば、組み合わせ部1303−5は、以下の式を介して、画像特徴計算部1303−4により計算して得られたノイズ画像の分散に対して変換処理を実施する。
【0087】
【数9】

【0088】
ここで、Viは画像特徴計算部1303−4により計算して得られたノイズ画像の分散を表し、Vi’は組み合わせ部1303−5により分散値Viに対して変換を実施して得られた変換値を表し、i(i=1,2,・・・)は反復時間を表し、offsetは平行移動係数を表し、offset=√V1のV1は一回目の反復後に画像特徴計算部1303−4にて計算して得られたノイズ画像の分散を表し、aiは反復回数の増大に伴って増大する係数であり、該係数は1より大きく、例えば、ai=1.0+c×i(cはゼロより大きい予め定められた定数)である。式(9)において、分散値Viの平方根を求めることにより、変換後の分散値Vi’は大きくなり、平行移動係数offsetにより,変換処理後の分散曲線を平行移動し、ゼロから開始するようにする。係数aiにより,変換処理後の分散曲線の増大変化率は増大し、反復回数の増大に伴って、該増大変化率も増大する。図15の(B)は、上記変換後のノイズ画像の分散、ノイズ画像のフィルタリング画像との相関係数及び両者の和が反復回数に伴って変化する様子を示した図である。図15の(B)に示すとおり、相関係数曲線と比べ、得られる和曲線の底点は時間方向上流へ遡るようシフトされる。何回もの検証により、もし、図15の(B)に示す相関係数曲線の底点を反復フィルタ処理を停止する時間とすると、反復フィルタ処理を経た出力画像における有用な情報は曖昧となってしまう。もし、和曲線の底点を用いれば、反復フィルタ処理を経た出力画像においても、オリジナルの入力画像における有用な情報は保たれると共に、大部分のノイズは除去される。
【0089】
その他、上記の式(9)におけるパラメータcは実際の応用場面に基づいて予め確定した値であり、例えば、異なる類型(又は特性)の画像に対して分析を実施して得られる実験値又は経験値であって良い。上記の式(9)により、c値が小さければ小さいほど、変換後の分散曲線はなだらかになり、反対に、c値が大きければ大きいほど、変換後の分散曲線の増大変化率は速くなることを知ることができる。ただし、c値は小さすぎてはいけない。小さすぎてしまうと、組み合わせ部1303−5により得られる組み合わせ特徴値の反復回数に伴う変化曲線は単調減少を引き起こす可能性があり、その場合、極小値が出現しないことになってしまう。かといって、c値は大きすぎてもいけない。大きすぎると、組み合わせ部1303−5により得られる組み合わせ特徴値の反復回数に伴う変化曲線の増大変化率は速過ぎることになってしまう可能性があり、そうなると、曲線の底点を適切な反復フィルタ処理停止時間点よりも早く出現させてしまうことになってしまう。それゆえ、異なる類型(又は特性)の画像に対して分析を実施する時には、異なるcの値によって導かれる異なる変換分散曲線に基づいて最適なc値を確定し、変換分散曲線と相関性曲線の和曲線に底点を出現させるようにし、且つ底点の位置を反復停止時間点が適切になるようにちょうど良く対応するようにする。
【0090】
実際の適用においては、各類型(特性)毎の画像に対して予め設定された対応するc値を選択する。各類型(例えば、各種画像生成装置又はスキャンプロトコル)毎の画像は、同じc値を対応させることができ、異なる類型の画像は異なるc値を対応させることができる。具体的例として、複数類型の画像に対して、複数の異なるc0値を予め決め、これらの値(例えば、プロファイル形式)をメモリ部に記憶させる(該メモリ部は、画像処理装置に内在するメモリ装置であっても良いし、画像処理装置外部のメモリ装置であって該画像処理装置を経由して送るようにしても良い)。このように、実際の画像処理過程においては、人が事前になにかを行うといった必要はなく、複数類型の画像に対して処理を実施し、画像処理の自動化レベルを大きく向上させることができる。
【0091】
その他の具体的な一例として、組み合わせ部1303−5は、以下の式により、画像特徴計算部1303−4にて計算して得られた分散に対して変換処理を実施する。
【0092】
【数10】

【0093】
ここで、Viは画像特徴計算部1303−4にて計算して得られたノイズ画像の分散を表し、Vi’は、組み合わせ部1303−5にて分散値Viに対して変換処理を実施した後に得られる変換値を表し、αは、予め定められた変換パラメータを表す。パラメータαは、実際の応用場面に基づいて予め決められた値であり、例えば、異なる類型(又は特性)の画像に対して分析を実施して得られる実験値又は経験値であって、異なる類型(又は特性)の画像に対して分析を実施する時には、異なるα値により導かれる異なる変換分散曲線に基づいて、最適なα値を確定し、変換分散曲線と相関性曲線の和曲線に底点を出現させるようにし、且つ底点の位置を反復停止時間点が適切になるようにちょうど良く対応するようにする。もちろん、これに限定されるものではない。実際の適用においては、各類型(特性)毎の画像に対して予め設定された対応するα値を選択する。各類型毎の画像(例えば、各種画像生成装置で生成された画像又は各種スキャンプロトコルに基づいて生成された画像)は、同じα値を対応させることができ、異なる類型の画像は異なるα値を対応させることができる。
【0094】
組み合わせ部1303−5は、得られた組み合わせ特徴値を停止判断部1303−3へ出力する。停止判断部1303−3は、前記組み合わせ特徴値が反復フィルタ処理過程において極小値(底点)に達した時に、フィルタ装置1301に対して反復フィルタ処理を停止する指示をする(図14のステップ1406−3)ものである。具体的には、停止判断部1303−3は、組み合わせ特徴値が極小値に達したか否かを判断し、フィルタ装置1301に対して反復フィルタ処理の停止を指示するか、又は、フィルタ装置1301に対して次の反復を継続して実施するよう指示をするものである。停止判断部1303−3は、適した方法を用いて組み合わせ特徴値が底点(極小値)に達したか否かを判断することができ、例えば、直前のフィルタ処理で得られた組み合わせ特徴値とその前のフィルタ処理で得られた組み合わせ特徴値を比較し、もし前者が後者に等しいか又は大きい場合、組み合わせ特徴値は増大する傾向を示し、それゆえ、反復フィルタ処理を停止することができる。当然ながら、停止判断部1303−3は、その他の方法を用いて組み合わせ特徴値が底点に達したか否かを判断しても良い。ここでは、いちいち列挙して詳述はしない。
【0095】
図13〜図15に示す画像処理装置又は方法において、フィルタリング画像とノイズ画像との相関係数及びノイズ画像の予め定められた画像特徴値の組み合わせ特徴値を利用することにより、反復フィルタ処理を停止する時間を有効に確定することができ、画像における大部分のノイズを除去できると共に、画像における有用な情報を平滑化で失うこともない。
【0096】
本実施形態の一つの実施例として、非線形拡散フィルタ法を用いて反復フィルタ処理を実施する画像処理装置又は方法を提供することができる。
【0097】
P.PeronaとJ.Malikの論文“Scale-Space and Edge Detection Using Anisotropic Diffusion”(Proceedings of IEEE,Computer Society Workshop on Computer Vision刊行,1987年11月,第16−22頁)(以下、関連文献2と称す。)には、非線形拡散フィルタ法(ここで、該関連文献2では、その開示している方法を異方性拡散(ATD)と称しているが、該方法の本質は非線形拡散であるということであって、正真正銘の異方性拡散であるということではない。にもかかわらず、本分野の論文やその他の文献によっては、依然として関連文献2の方法を異方性拡散と呼ぶものもある)が開示され、その中に以下の等式(P-M等式と呼ぶ)が開示されている。
【0098】
【数11】

【0099】
上記の式では、Iは画像を表し、g拡散係数を表す。拡散係数gは画像勾配|∇I|の関数であって、以下のように表すことができる。
【0100】
【数12】

【0101】
式(11)におけるKは勾配閾値と称す。勾配閾値Kは画像における境界の感度を表すパラメータである。
【0102】
図16、図17に示す実施例は、画像の勾配分布を利用して非線形拡散フィルタにおいて用いる勾配閾値Kを確定する画像処理装置及びその方法を提供するものである。図16は該実施例に基づく画像処理装置の構成を示すブロック図であり、図17は該実施例に基づく画像処理方法を示すフロー図である。
【0103】
図16に示すとおり、画像処理装置1600は、フィルタ装置1601、勾配閾値確定装置1605、及び反復フィルタ処理停止装置1603を備える。画像処理装置1600は、図17に示す画像処理方法を用いて画像フィルタ処理を実施することができる。
【0104】
フィルタ装置1601は、非線形拡散フィルタ法に基づき、入力画像に対して反復フィルタ処理を実施し(図17のステップ1702)、且つ、各反復を実施後、得られるフィルタリング画像を反復フィルタ処理停止装置1603へ出力する。フィルタ装置1601は、いかなる非線形拡散フィルタ計算方法を用いてフィルタ処理を実施しても良く、ここでは、これに限定されるものではない。
【0105】
反復フィルタ処理停止装置1603は、フィルタリング画像の反復フィルタ処理過程における反復回数に伴って増大変化する変化率に基づいて、反復フィルタ処理を停止するか否かを確定する(図17のステップ1706)。具体的には、反復フィルタ処理停止装置1603は、上述実施例/例示における反復フィルタ処理停止装置103、303、803、903又は1303と同様な機能と構造(例えば、上述の図2〜図15に示す方法を参考にして反復フィルタ処理停止時間を確定)を備える。ここでは、重複する説明は省略する。
【0106】
勾配閾値確定装置1605は、フィルタ装置1601にて、各フィルタ処理前に、入力画像又は一回前のフィルタ処理で得られたフィルタリング画像における各画像単位の勾配値(図17のステップ1710)を計算するためのものであり、画像中のあらゆる画像単位の勾配分布に基づいて勾配閾値Kを確定する(図17のステップ1712)。ここで、“画像単位の勾配値”とは、その画像単位の隣接領域に対する階調(Gray scale)変化値をいう。
【0107】
ここでの画像単位とは、画像の画素であり、例えば、2次元画像の画素(pixel)又は3次元画像の画素(voxel)等である。図18は、画像の各画像単位の勾配値分布を示す一例である。図18では、横軸は画像単位の勾配値を表し、縦軸は、勾配値に対応する画像単位の個数を表す。一例として、勾配閾値確定装置1605は、入力画像に対応する比例値を取得し、該比例値に従って、勾配分布に基づいて勾配閾値Kを計算し、画像における勾配値が勾配閾値Kよりも小さい画像単位の個数とあらゆる画像単位の個数との比が前記比例値に近づくようにする(当然ながら、該比例に対してその他の数学的変化をさせることは可能で、例えば、その反映画像の勾配値が勾配閾値Kよりも小さい画像単位の個数と勾配値が勾配閾値Kよりも小さくない画像単位の個数の比であっても良い)。
【0108】
一具体的例として、画像単位の勾配値を、小さいほうから大きいほう、又は大きいほうから小さいほうへ順番に並べ、その並べたものの中で前記比例値に対応する勾配値を勾配閾値とし、勾配値が勾配閾値Kよりも小さい画像単位の個数とすべての画像単位の個数との比が前記比例値へ近づくようにする。他の具体的例として、画像の画像単位の勾配のヒストグラム(Histogram)を計算し、ヒストグラムに基づいて勾配閾値を決め、勾配値が勾配閾値Kよりも小さい画像単位の個数とすべての画像単位の個数との比が前記比例値へ近づくようにする。
【0109】
ここでの比例値とは、入力画像の類型又は特性(例えば、医学画像の画像生成装置又はスキャンプロトコル等)に基づいて予め決められた値であり、P(0<P<1)を使って表すことができる。各種類型の画像は同じ比例値に対応可能で、異なる画像類型は異なる比例値に対応可能である。ここで、実際の応用場面では、各種画像類型に対して、複数の該類型の画像を分析して予め相応の比例値を確定することにより、後続の非線形拡散フィルタ処理において使用できる。ここでは詳細な説明は省略する。例えば、予め決めた複数の画像類型に対応する複数の比例値(例えば、プロファイル形式)をメモリ部(該メモリ部は、画像処理装置に内在するメモリ装置であっても良いし、画像処理装置外部のメモリ装置であって該画像処理装置を経由して送るようにしても良い)へ保存する。実際の非線形拡散フィルタ処理において、勾配閾値確定装置1605は、入力画像の類型又は特性(例えば、画像生成装置の種類又はスキャンプロトコル等)に対応づけて保存している相応の比例値を取得する。こうすることで、人が手動で該パラメータを設定することなく、更に画像処理の自動化レベルを向上させることができる。異なる応用場面では該比例値の大小は異なるので、ここでも、該比例値の数字は具体的に限定されない。
【0110】
勾配閾値確定装置1605は、いかなる適切な方法を用いて画像の画像単位の勾配値を計算し、画像における画像単位の勾配分布に基づいて勾配閾値を確定しても良く、一例として、例えば、画像をn次元画像(n(n≧1)とすれば、以下の式に基づいて画像単位の勾配値を計算できる。
【0111】
【数13】

【0112】
ここで、D1,D2,・・・,Dnは、画像の次元数(n次元)を表し、|Igrad(D1,D2,・・・,Dn)|は、画像上の位置(D1,D2,・・・,Dn)における画素の勾配値を表し、さらに、IDk(1≦k≦n)は、その画素の第Dk次元上の導関数を表す。
【0113】
各反復において、勾配閾値確定装置1605は、計算して得られる勾配閾値をフィルタ装置1601へ出力し、フィルタ装置1601は、勾配閾値確定装置1605にて決めた勾配閾値に基づいて非線形拡散フィルタ処理を実施する(図17のステップ1702)。
【0114】
本実施形態の実施例に基づく画像処理方法と装置は、各種画像のフィルタ処理に応用することができる。これらの画像は1次元又は多次元(例えば、2次元又は3次元等)であって、例えば、本実施形態の実施例に基づく画像処理方法と装置は、医学画像(例えば、医療画像診断装置により取得されたデータに基づいて生成された画像)のノイズ軽減処理に応用可能である。一例として、上述方法の各ステップ及び上述装置の各構成及び/又は部分は、医療画像診断装置(例えば、X線診断装置、超音波診断装置、CT装置、磁気共鳴診断装置、PET装置等)のソフトウエア、ファームウエア、ハードウエア又はそれらの組み合わせとして、また、該医療画像診断装置の中の一部分として実施することができる。一例として、既存の医療画像診断装置において、本実施形態の上述方法及び/又は装置に基づいて実施することができ、しかも、既存の医療画像診断装置の各構成部分に対してある程度改良をするだけで即実施可能となる。その他の例として、上述方法の各ステップ及び上述装置の各構成及び/又は部分は、前記医療画像診断装置とは独立した装置として実施してもよい。上述装置の各構成や部分は、ソフトウエア、ファームウエア、ハードウエア又はそれらの組み合わせた方式により構成することができるが、使用する具体的手段や方式は当業者の周知のものであり、ここでは特に述べることはしない。
【0115】
一例として、上述方法の各ステップ及び上述装置の各構成及び/又は部分はソフトウエア、ファームウエア、ハードウエア又はそれらの組み合わせとして実施しても良い。ソフトウエア又はファームウエアを介して実現した場合、上述方法のソフトウエアプログラムを実施するため、メモリ媒体から又はネットワークを介して専用のハードウエア構造のコンピュータ(例えば、図19に示す汎用コンピュータ1900)へダウンロードして構成することができ、該コンピュータに各種プログラムがダウンロードされた状態で、各種機能等を実施することができる。
【0116】
図19において、演算処理部(即ち、CPU)1901は、読み出し専用メモリ(ROM)1902の中に記憶されているプログラム、又は、記憶部1908から読み書き兼用メモリ(RAM)1903へ書き込まれたプログラムに基づいて、各種処理を実施する。RAM1903では、必要に応じて、CPU1901が各種処理等を実施するときに必要なデータも記憶しておく。CPU1901、ROM1902及びRAM1903は、綜合ライン1904を経由してそれぞれ接続されている。入力/出力インターフェース1905も、綜合ライン1904につながっている。
【0117】
下記の各部は、入力/出力インターフェース1905に接続されている:入力部1906(キーボード、マウス等を含む)、出力部1907(モニタ、例えば、ブラウン管(CRT)、液晶モニタ(LCD)等や、スピーカ等を含む)、記憶部1908(キーボードを含む)、通信部1909(ネットワークインターフェースカード、例えば、LANカード、モデム等)。通信部1909は、ネットワーク(例えば、インターネット)を介して通信処理を実施する。必要に応じて、駆動器1910も入力/出力インターフェース1905に接続可能である。取り外し可能な媒体1911は、例えば、磁気ディスク、光ディスク、MO、半導体メモリ等であって、必要に応じて駆動器1910に装着され、必要に応じてコンピュータプログラムを読み出して、記憶部1908へダウンロードされる。
【0118】
ソフトウエアを介して上述システム処理を実施する場合、ネットワーク(例えば、インターネット又は記憶媒体(例えば、取り外し可能な媒体1911))からプログラムをダウンロードしても良い。
【0119】
当業者においては、このような記憶媒体は図19に示すようなプログラムを記憶した記憶媒体は、装置とは離れたところからユーザにプログラムを提供する取り外し可能な媒体1911に限らない。取り外し可能な媒体1911の例としては、磁気ディスク(フロッピー(登録商標)ディスク、光ディスク(CD−ROMやDVDを含む)、磁気光ディスク(MiniDisc(MD、登録商標)を含む)らを含む。また、記憶媒体はROM1902であっても良く、記憶部1908に含まれるハードディスク等、その中にプログラムが記憶され、それらを含む装置からユーザへプログラムが送られる形態でも良い。
【0120】
本実施形態では、更に、メモリとして、機器読み取り可能なコマンドコードを記憶しているプログラム製品でも応用でき、前記コマンドコードが機器を介して読み取られると、本実施形態の実施例における方法が実施される。
【0121】
上述機器読み取り可能なコマンドコードを記憶しているプログラム製品を受け入れるための記憶媒体も本実施形態に適用できる。その記憶媒体は、ハードディスク、光ディスク、磁気光ディスク、メモリカード、メモリスティックには限定されない。
【0122】
上記の本実施形態の具体的実施例においては、一つの実施方式に示す特徴について、同様の方法を一つ又は複数のほかの実施方法方の中で適用したり、その他の実施方法と組み合わせたり、又はその他の実施方法における特徴に替えるといったことも可能である。
【0123】
さらに、“包含する/含む”といった用語を使用したときは、特徴・構成・ステップ又は構造の存在を指し示す。ただし、その他の特徴・構成・ステップ又は構造の存在や付加の排除を意味するものではない。
【0124】
上記実施例においては、数字構成の図番記号を用いて各ステップや構成を表記している。ただし、これらの図番記号は単なる説明や画図の都合への考慮によるものであって、その順序やいかなるほかの限定を表すものではない、と当業者は理解すべきである。
【0125】
このほか、本実施形態の方法は、詳細な説明の欄において説明された時間順序に沿って実施されるものに限らず、その他の時間順序に沿って、同時に、又は独立して実施されても良い。それゆえ、本願の詳細な説明において説明された方法の実施順序は、本実施形態の技術範囲に対する構成を制限するものではない。
【0126】
上記では、既に、本実施形態の具体的実施例の説明をもって、本実施形態の説明を行っているものの、上述のすべての実施例はすべて単なる例示に過ぎず、限定するものではない。当業者は、特許請求の主旨や範囲において、本実施形態の各種手直し・改良又は同等物の設計を行うことが可能である。これらの手直し・改良又は同等物は、本実施形態の保護範囲内に含まれるものである。
【符号の説明】
【0127】
100 画像処理装置
101 フィルタ装置
103 反復フィルタ処理停止装置

【特許請求の範囲】
【請求項1】
入力画像に対して反復フィルタ処理を実施するフィルタ装置と、
前記反復フィルタ処理の過程において各フィルタ処理毎に得られるフィルタリング画像の反復回数に伴う変化速度に基づいて、前記反復フィルタ処理を停止するか否かを確定する反復フィルタ処理停止装置と、
を備えたことを特徴とする画像処理装置。
【請求項2】
前記反復フィルタ処理停止装置は、
前記フィルタ装置が各フィルタ処理を実施する毎に、前記フィルタ処理によって得られたフィルタリング画像及び前記入力画像に基づいて、ノイズ画像を推定するノイズ画像取得部と、
前記ノイズ画像と前記フィルタリング画像との相関性を推定する相関性取得部と、
前記反復フィルタ処理の過程において前記相関性が減少する変化速度に基づいて、前記反復フィルタ処理を停止するか否かを確定する停止判断部と、
を備えたことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記停止判断部は、前記反復フィルタ処理の過程において前記相関性が減少する変化率を示す特徴値を計算し、前記特徴値と所定の閾値との間で所定の関係を満足するか否かを判定し、前記特徴値と前記所定の閾値との間で前記所定の関係を満足していた場合に、前記反復フィルタ処理を停止することを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記相関性取得部は、前記相関性を示すために、前記ノイズ画像と前記フィルタリング画像との間の相関係数を計算することを特徴とする請求項3に記載の画像処理装置。
【請求項5】
前記特徴値は、前記反復フィルタ処理の過程における反復回数の増加に伴う前記相関係数の減少を表す曲線の傾斜度を示す値であることを特徴とする請求項4に記載の画像処理装置。
【請求項6】
前記所定の閾値は、前記入力画像に基づく特性に基づいて予め決められた値であることを特徴とする請求項3〜5のいずれか一つに記載の画像処理装置。
【請求項7】
前記反復フィルタ処理停止装置は、
各フィルタ処理毎に、フィルタリング画像の所定の画像特徴値を計算する画像特徴計算部と、
前記所定の画像特徴の反復回数に伴う増大変化の変化率に基づいて、前記反復フィルタ処理を停止するか否かを確定する停止判断部と、
を具備することを特徴とする請求項1に記載の画像処理装置。
【請求項8】
前記反復フィルタ処理停止装置は、
前記フィルタ装置が各フィルタ処理を実施する毎に、前記フィルタ処理によって得られたフィルタリング画像と前記入力画像に基づいて、ノイズ画像を推定するノイズ画像取得部をさらに備え、
前記画像特徴計算部は、前記フィルタリング画像の前記所定の画像特徴値を示すために、前記ノイズ画像の所定の画像特徴値を計算することを特徴とする請求項7に記載の画像処理装置。
【請求項9】
前記所定の画像特徴は、画像の分散又は標準差であることを特徴とする請求項7又は8に記載の画像処理装置。
【請求項10】
前記停止判断部は、前記反復フィルタ処理過程における前記所定の画像特徴の変化の変化率を表す特徴値を計算し、前記特徴値と所定の閾値との間で所定の関係を満足するか否かを判断し、前記特徴値と前記所定の閾値との間で前記所定の関係を満足していた場合に、前記反復フィルタ処理を停止することを特徴とする請求項7又は8に記載の画像処理装置。
【請求項11】
前記特徴値は、前記反復フィルタ処理過程における反復回数の増加に伴う前記所定の画像特徴の変化を表す曲線の傾斜度を示す値であることを特徴とする請求項10に記載の画像処理装置。
【請求項12】
前記反復フィルタ処理停止装置は、
前記ノイズ画像の所定の画像特徴値を計算する画像特徴計算部と、
前記相関性と前記ノイズ画像の前記所定の画像特徴値とを組み合わせて、組み合わせ特徴値を得る組み合わせ部とさらに備え、
前記停止判断部は、前記反復フィルタ処理の過程において前記組み合わせ特徴値が極小値に達した時に、前記反復フィルタ処理を停止することを特徴とする請求項2に記載の画像処理装置。
【請求項13】
前記所定の画像特徴は、画像の分散又は標準差であることを特徴とする請求項12に記載の画像処理装置。
【請求項14】
前記画像特徴計算部は、変換後の所定の画像特徴値を得るために、計算して得られた前記ノイズ画像の所定の画像特徴値に対して変換を実施し、
前記組み合わせ部は、前記相関性と変換後の所定の画像特徴値との和を計算することを特徴とする請求項12又は13に記載の画像処理装置。
【請求項15】
前記相関性取得部は、前記相関性を示すために、前記ノイズ画像と前記フィルタリング画像との間の相関係数を計算することを特徴とする請求項12又は13に記載の画像処理装置。
【請求項16】
前記フィルタ装置は、非線形拡散方法に基づいてフィルタ処理を実施することを特徴とする請求項1〜5のいずれか一つに記載の画像処理装置。
【請求項17】
フィルタ装置が各フィルタ処理を実施する前に、前記入力画像又は前回のフィルタ処理で得られたフィルタリング画像における各一画像単位の勾配値を計算し、前記画像における全ての画像単位の勾配分布に基づいて勾配閾値を確定する勾配閾値確定装置をさらに備え、
前記フィルタ装置は、前記勾配閾値確定装置が確定した勾配閾値を利用して、非線形拡散方式に基づいてフィルタ処理を実施することを特徴とする請求項16に記載の画像処理装置。
【請求項18】
前記勾配閾値確定装置は、前記入力画像に応じた比例値を取得し、勾配度分布及び前記比例値に基づいて前記勾配閾値を計算し、
画像における前記勾配閾値より小さい勾配値を有する画像単位の個数と、画像における全ての画像単位の個数との比が、前記比例値と略同一であることを特徴とする請求項17に記載の画像処理装置。
【請求項19】
前記比例値は、前記入力画像の特性に基づいて予め決められた値であることを特徴とする請求項18に記載の画像処理装置。
【請求項20】
前記入力画像は、医療画診断装置により取得されたデータに基づいて生成された医学画像であることを特徴とする請求項1〜5のいずれか一つに記載の画像処理装置。
【請求項21】
入力画像に対して反復フィルタ処理を実施するステップと、
前記反復フィルタ処理過程において各フィルタ処理毎に得られるフィルタリング画像の反復回数に伴う変化速度に基づいて前記反復フィルタ処理を停止するか否かを確定するステップと、
を含んだことを特徴とする画像処理方法。
【請求項22】
入力画像に対して反復フィルタ処理を実施する手順と、
前記反復フィルタ処理過程において各フィルタ処理毎に得られるフィルタリング画像の反復回数に伴う変化速度に基づいて前記反復フィルタ処理を停止するか否かを確定する手順と、
をコンピュータに実行させることを特徴とする画像処理プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate


【公開番号】特開2012−174275(P2012−174275A)
【公開日】平成24年9月10日(2012.9.10)
【国際特許分類】
【出願番号】特願2012−34225(P2012−34225)
【出願日】平成24年2月20日(2012.2.20)
【出願人】(000003078)株式会社東芝 (54,554)
【出願人】(594164542)東芝メディカルシステムズ株式会社 (4,066)
【Fターム(参考)】