Notice: Undefined variable: fterm_desc_sub in /mnt/www/biblio_conv.php on line 353
ノイズレベル推定装置、ノイズレベル推定方法及びプログラム
説明

ノイズレベル推定装置、ノイズレベル推定方法及びプログラム

【課題】ノイズを含んでいる一枚の画像から、当該画像のノイズレベルを簡単かつ正確に推定できるようにしたノイズレベル推定装置を提供する。
【解決手段】ノイズレベル推定装置は、画像から画像パッチ集合を生成する画像パッチ集合生成部と、画像パッチ集合生成部で生成された画像パッチ集合に基づき、画像のノイズレベルを推定するノイズレベル推定部とを備え、ノイズレベル推定部は、画像パッチ集合に基づき、画像パッチ集合に対応する分散共分散行列を算出する分散共分散行列算出部と、分散共分散行列算出部で算出された分散共分散行列の最小固有値を算出する最小固有値算出部と、最小固有値算出部で算出された最小固有値に基づき、ノイズレベルを算出するノイズレベル算出部とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デジタル画像処理技術に関し、特に、デジタル画像から当該デジタル画像のノイズレベルを推定する、ノイズレベル推定装置、ノイズレベル推定方法及びプログラムに関する。
【背景技術】
【0002】
近年、画像取得装置の一つとして、デジタルカメラは急速に普及している。高品位な画質を得るために、デジタルカメラで撮影されたデジタル画像に対し、様々なデジタル画像処理が施される。数多くのデジタル画像処理(以下、単に、「画像処理」と言う。)の中で、ノイズ低減処理が画質に大きな影響を与えるため、大変重要な画像処理の一つであることが広く知られている。
【0003】
ところで、多くのノイズ低減処理では、例えば、非特許文献1にも非特許文献2にも開示されたように、ノイズレベルが既知であることをノイズ低減処理の前提としているため、実際に、ノイズ低減処理を行う際に、入力としてのデジタル画像(以下、単に、「画像」とも言う。)の他に、その画像のノイズレベルを設定する必要がある。
【0004】
一般に、ノイズ低減処理では、ノイズ低減の効果を強くすると、ノイズ低減は行われるものの、同時に画像のエッジも劣化してしまうという問題点も存在する。よって、ノイズレベルに応じて、ノイズ低減の効果を調整する必要がある。このため、多くのノイズ低減処理では、ノイズレベルを推定する必要がある。このため、デジタル画像からノイズレベルを推定する、ノイズレベル推定技術が強く望まれている。
【0005】
既存のノイズレベル推定技術として、例えば、特許文献2に、ビデオシーケンスに対してフレーム間の相関を利用した、ビデオシーケンスのノイズレベルの推定方法が開示されている。
【0006】
また、特許文献1では、カラーのデジタル画像(以下、単に、「カラー画像」とも言う。)に対して、色差画像を生成し、帯域毎に分割し、更にエッジ部分を取り除いた結果に対して、標準偏差を算出することにより、当該カラー画像のノイズレベルを推定する、画像処理方法が開示されている。
【0007】
更に、非特許文献3では、デジタル画像に対して、離散コサイン変換(DCT変換)の基底と同じフィルタをかけ、その統計的性質からノイズレベルを推定する方法が提案されている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2005−277503号公報
【特許文献2】特開2000−69487号公報
【非特許文献】
【0009】
【非特許文献1】ジェー. ポーティラ(J. Portilla)、ブィ. ストレラ(V. Strela)、エム. ジェー. ウェインライト(M. J. Wainwright)、イー. ピー. シモンセリ(E. P. Simoncelli)共著,「イメージ デノイジング ユージング スケール ミックスチャー オフ ガウシアン イン ザ ウェーブレット ドメイン (Image Denoising using Scale Mixture of Gaussians in the Wavelet Domain)」,IEEE トランスアクションズ オン イメージ プロセシング(IEEE Transactions on Image Processing),第12巻,第12号,p.1338-1351,2003年
【非特許文献2】ケイ. ダボブィ(K. Dabov)、エイ. フォイ(A. Foi)、ブィ. カトコニック(V. Katkovnik)、ケイ. イギアザリアン(K. Egiazarian)共著,「イメージ デノイジング バイ スパース 3D トランスフォーム ドメイン コラボレイティブ フィルタリング (Image denoising by sparse 3Dtransform-domain collaborative filtering)」,IEEE トランスアクションズ オン イメージ プロセシング(IEEE Transactions on Image Processing),第16巻,第8号,p.2080-2095,2007年
【非特許文献3】ディー. ゾラン(D. Zoran)、ワイ. ワイス(Y. Weiss)共著,「スケール インバリアンス アンド ノイズ イン ナチュラル イメージズ (Scale Invariance and Noise in Natural Images)」,インターナショナル カンファレンス オン コンピュータ ビジョン (International conference on computer vision),2009年
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかしながら、特許文献1に開示された画像処理方法は、複数のカラーチャネルを持つカラー画像(以下、単に「複数チャネル画像」とも言う。)を処理対象としており、グレースケール画像のような単一のカラーチャネルを持つ画像(以下、単に「単一チャネル画像」とも言う。)を処理対象としていないため、特許文献1に開示された画像処理方法を、単一チャネル画像に適用することができない。
【0011】
換言すれば、特許文献1に開示された画像処理方法で、グレースケール画像のような単一チャネル画像のノイズレベルを推定することができない。
【0012】
本発明は、上述のような事情よりなされたものであり、本発明の目的は、複数チャネル画像・単一チャネル画像を問わず、ノイズを含んでいる一枚の画像から、当該画像のノイズレベルを簡単かつ正確に推定できるようにした、ノイズレベル推定装置、ノイズレベル推定方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0013】
本発明は、ノイズを含む一枚の画像から当該画像のノイズレベルを推定するノイズレベル推定装置に関し、本発明の上記目的は、前記画像から画像パッチ集合を生成する、画像パッチ集合生成部と、前記画像パッチ集合生成部で生成された画像パッチ集合に基づき、前記ノイズレベルを推定する、ノイズレベル推定部とを備え、前記ノイズレベル推定部は、前記画像パッチ集合に基づき、前記画像パッチ集合に対応する分散共分散行列を算出する、分散共分散行列算出部と、前記分散共分散行列算出部で算出された分散共分散行列の最小固有値を算出する、最小固有値算出部と、前記最小固有値算出部で算出された最小固有値に基づき、前記ノイズレベルを算出する、ノイズレベル算出部とを備えることにより、或いは、前記画像から画像パッチ集合を生成する、画像パッチ集合生成部と、前記画像パッチ集合生成部で生成された画像パッチ集合に基づき、前記ノイズレベルを推定する、ノイズレベル推定部とを備え、前記ノイズレベル推定部は、前記画像パッチ集合に基づき、平均補正済み画像パッチ集合を生成する、画像パッチ平均補正部と、前記画像パッチ平均補正部で生成された平均補正済み画像パッチ集合の最小特異値を算出する、最小特異値算出部と、前記最小特異値算出部で算出された最小特異値に基づき、前記ノイズレベルを算出する、ノイズレベル算出部とを備えることによって効果的に達成される。
【0014】
また、本発明の上記目的は、ノイズを含む一枚の画像から当該画像のノイズレベルを推定するノイズレベル推定装置であって、前記画像から高周波成分画像を抽出する高周波成分抽出部と、前記高周波成分抽出部で抽出された高周波成分画像から高周波成分画像パッチ集合を生成する高周波成分画像パッチ集合生成部と、前記高周波成分画像パッチ集合に基づき、前記ノイズレベルを推定するノイズレベル推定部とを備えることにより、或いは、ノイズを含む一枚の画像から当該画像のノイズレベルを推定するノイズレベル推定装置であって、前記画像から画像パッチ集合を生成する画像パッチ集合生成部と、前記画像パッチ集合生成部で生成された画像パッチ集合から、高周波成分画像パッチ集合を抽出する高周波成分画像パッチ抽出部と、前記高周波成分画像パッチ集合に基づき、前記ノイズレベルを推定するノイズレベル推定部とを備えることにより、或いは、前記ノイズレベル推定部は、前記高周波成分画像パッチ集合に基づき、前記高周波成分画像パッチ集合に対応する分散共分散行列を算出する分散共分散行列算出部と、前記分散共分散行列算出部で算出された分散共分散行列の最小固有値を算出する最小固有値算出部と、前記最小固有値算出部で算出された最小固有値に基づき、前記ノイズレベルを算出するノイズレベル算出部と、を備えることにより、或いは、前記ノイズレベル推定部は、前記高周波成分画像パッチ集合に基づき、平均補正済み高周波成分画像パッチ集合を生成する、高周波成分画像パッチ平均補正部と、前記高周波成分画像パッチ平均補正部で生成された平均補正済み高周波成分画像パッチ集合の最小特異値を算出する、最小特異値算出部と、前記最小特異値算出部で算出された最小特異値に基づき、前記ノイズレベルを算出する、ノイズレベル算出部と、を備えることによって効果的に達成される。
【0015】
また、本発明の上記目的は、ノイズを含む一枚の画像から当該画像のノイズレベルを推定するノイズレベル推定装置であって、前記画像から画像パッチ集合を生成する画像パッチ集合生成部と、前記画像パッチ集合生成部で生成された画像パッチ集合から、複数の画像パッチを選択し、選択した複数の画像パッチを選択画像パッチ集合とする画像パッチ選択部と、前記画像パッチ選択部で得られた選択画像パッチ集合に基づき、前記ノイズレベルを推定するノイズレベル推定部とを備えることにより、或いは、前記画像パッチ選択部は、前記画像パッチ集合に属する全ての画像パッチに対して、所定の指標算出方法に基づき、画像パッチの指標を算出する、指標算出部と、前記画像パッチ集合に属する全ての画像パッチに対して、前記指標算出部で算出された指標及び所定の閾値に基づき、指標閾値に基づく画像パッチ選択処理を行うことにより、画像パッチを選択し、選択した画像パッチを選択画像パッチ集合とする、指標閾値に基づく画像パッチ選択部とを備え、前記指標閾値に基づく画像パッチ選択処理では、前記指標と前記所定の閾値を比較し、前記指標が前記所定の閾値以下である場合に、前記指標に対応する画像パッチを選択し、前記指標が前記所定の閾値より大きい場合に、前記指標に対応する画像パッチを選択しないようにすることにより、或いは、前記画像パッチ選択部は、前記画像パッチ集合に属する全ての画像パッチに対して、所定の指標算出方法に基づき、画像パッチの指標を算出する、指標算出部と、前記画像パッチ集合の中から、前記指標算出部で算出された指標の中で一番小さい指標から昇順に、又は、前記指標算出部で算出された指標の中で一番大きい指標から降順に、所定個数の指標に対応する画像パッチを選択し、選択した画像パッチを選択画像パッチ集合とする、上位指標に基づく画像パッチ選択部とを備えることによって効果的に達成される。
【0016】
また、本発明の上記目的は、前記指標算出部は、x微分算出部と、y微分算出部と、微分行列生成部と、最大固有値算出部とを備え、前記指標算出部では、前記画像パッチ集合に属する全ての画像パッチに対して、前記x微分算出部が、画像パッチのx微分を画像パッチ毎に算出するとともに、前記y微分算出部が、画像パッチのy微分を画像パッチ毎に算出し、前記微分行列生成部が、前記x微分算出部で算出された画像パッチのx微分、及び、前記y微分算出部で算出された画像パッチのy微分を用い、画像パッチの微分行列を画像パッチ毎に生成し、前記最大固有値算出部が、前記画像パッチの微分行列の最大固有値を画像パッチ毎に算出し、算出した最大固有値を画像パッチの指標として出力することにより、或いは、前記指標算出部は、x微分算出部と、y微分算出部と、xy微分行列生成部と、最大特異値算出部とを備え、前記指標算出部では、前記画像パッチ集合に属する全ての画像パッチに対して、前記x微分算出部が、画像パッチのx微分を画像パッチ毎に算出するとともに、前記y微分算出部が、画像パッチのy微分を画像パッチ毎に算出し、前記xy微分行列生成部が、前記x微分算出部で算出された画像パッチのx微分、及び、前記y微分算出部で算出された画像パッチのy微分を用い、画像パッチのxy微分行列を画像パッチ毎に生成し、前記最大特異値算出部が、前記画像パッチのxy微分行列の最大特異値を画像パッチ毎に算出し、算出した最大特異値を画像パッチの指標として出力することにより、或いは、前記指標算出部が、画像パッチ集合に属する全ての画像パッチに対して、次の数式に基づき、画像パッチの分散を画像パッチ毎に算出し、算出した画像パッチの分散を画像パッチの指標として出力し、


ただし、

は画像パッチ

の分散を表し、Mは画像パッチ


の画素数を表し、

は画像パッチ

のk番目の画素の画素値を表すことによって効果的に達成される。
【0017】
また、本発明の上記目的は、前記ノイズレベル推定部は、前記選択画像パッチ集合に基づき、前記選択画像パッチ集合に対応する分散共分散行列を算出する、分散共分散行列算出部と、前記分散共分散行列算出部で算出された分散共分散行列の最小固有値を算出する、最小固有値算出部と、前記最小固有値算出部で算出された最小固有値に基づき、前記ノイズレベルを算出する、ノイズレベル算出部とを備えることにより、或いは、前記ノイズレベル推定部は、前記選択画像パッチ集合に基づき、平均補正済み選択画像パッチ集合を生成する、選択画像パッチ平均補正部と、前記選択画像パッチ平均補正部で生成された平均補正済み選択画像パッチ集合の最小特異値を算出する、最小特異値算出部と、前記最小特異値算出部で算出された最小特異値に基づき、前記ノイズレベルを算出する、ノイズレベル算出部とを備えることによって効果的に達成される。
【0018】
また、本発明の上記目的は、ノイズを含む一枚の画像から、ノイズレベル推定を繰り返すことにより、当該画像のノイズレベルを推定するノイズレベル推定装置であって、画像パッチ集合生成部と、指標算出部と、指標閾値に基づく画像パッチ選択部と、ノイズレベル推定部と、閾値変換部と、ノイズレベル推定繰り返し終了判定部とを備え、前記画像パッチ集合生成部は、前記画像から画像パッチ集合を生成し、前記指標算出部は、前記画像パッチ集合に属する全ての画像パッチに対して、所定の指標算出方法に基づき、画像パッチの指標を算出し、前記指標閾値に基づく画像パッチ選択部は、前記画像パッチ集合に属する全ての画像パッチに対して、前記指標算出部で算出された指標、及び、前記閾値変換部からの閾値に基づき、指標閾値に基づく画像パッチ選択処理を行うことにより、画像パッチを選択し、選択した画像パッチを選択画像パッチ集合とし、前記ノイズレベル推定部は、前記画像パッチ集合又は前記選択画像パッチ集合に基づき、前記ノイズレベルを推定し、推定したノイズレベルを前記ノイズレベル推定繰り返し終了判定部に出力し、前記閾値変換部は、前記ノイズレベル推定繰り返し終了判定部からの前記ノイズレベルを前記閾値に変換し、変換した閾値を前記指標閾値に基づく画像パッチ選択部に出力し、前記ノイズレベル推定繰り返し終了判定部は、所定の判定条件に基づき、ノイズレベル推定繰り返し終了を判定し、ノイズレベル推定繰り返し終了と判定しない場合に、前記ノイズレベル推定部からの前記ノイズレベルを前記閾値変換部に出力し、ノイズレベル推定繰り返し終了と判定した場合に、前記ノイズレベル推定部からの前記ノイズレベルを、前記ノイズレベル推定装置が推定したノイズレベルとすることによって効果的に達成される。
【0019】
また、本発明の上記目的は、ノイズを含む一枚の画像から当該画像のノイズレベルを推定するノイズレベル推定装置であって、高周波成分抽出部と、高周波成分画像パッチ集合生成部と、低周波成分抽出部と、低周波成分画像パッチ集合生成部と、低周波成分画像パッチ選択部と、対応高周波成分画像パッチ抽出部と、ノイズレベル推定部とを備え、前記高周波成分抽出部が、前記画像に対し、高周波成分抽出処理を行うことにより、前記画像の高周波成分画像を抽出し、前記高周波成分画像パッチ集合生成部が、前記高周波成分画像に対して、高周波成分画像パッチ集合生成処理を行うことにより、高周波成分画像パッチ集合を生成し、前記低周波成分抽出部が、前記画像に対し、低周波成分抽出処理を行うことにより、前記画像の低周波成分画像を抽出し、前記低周波成分画像パッチ集合生成部が、前記低周波成分画像に対して、低周波成分画像パッチ集合生成処理を行うことにより、低周波成分画像パッチ集合を生成し、前記低周波成分画像パッチ選択部が、前記低周波成分画像パッチ集合の中から、所定の画像パッチ選択方法に基づき、複数の低周波成分画像パッチを選択し、選択した複数の低周波成分画像パッチを選択低周波成分画像パッチ集合とし、前記対応高周波成分画像パッチ抽出部が、前記選択低周波成分画像パッチ集合に属する全ての低周波成分画像パッチに対し、対応高周波成分画像パッチ抽出処理を行うことにより、これら全ての低周波成分画像パッチに対応する高周波成分画像パッチを、対応高周波成分画像パッチとして抽出し、抽出したこれらの対応高周波成分画像パッチを対応高周波成分画像パッチ集合とし、前記ノイズレベル推定部が、前記対応高周波成分画像パッチ集合に基づき、前記ノイズレベルを推定し、前記対応高周波成分画像パッチ抽出処理は、低周波成分画像パッチと同じ画素位置を有する高周波成分画像パッチを、対応高周波成分画像パッチとして抽出する処理であることにより、或いは、前記ノイズレベル推定部は、前記対応高周波成分画像パッチ集合に基づき、前記対応高周波成分画像パッチ集合に対応する分散共分散行列を算出する、分散共分散行列算出部と、前記分散共分散行列算出部で算出された分散共分散行列の最小固有値を算出する、最小固有値算出部と、前記最小固有値算出部で算出された最小固有値に基づき、前記ノイズレベルを算出する、ノイズレベル算出部とを備えることにより、或いは、前記ノイズレベル推定部は、前記対応高周波成分画像パッチ集合に基づき、平均補正済み対応高周波成分画像パッチ集合を生成する、対応高周波成分画像パッチ平均補正部と、前記対応高周波成分画像パッチ平均補正部で生成された平均補正済み対応高周波成分画像パッチ集合の最小特異値を算出する、最小特異値算出部と、前記最小特異値算出部で算出された最小特異値に基づき、前記ノイズレベルを算出する、ノイズレベル算出部とを備えることによって効果的に達成される。
【発明の効果】
【0020】
本発明に係るノイズレベル推定装置によれば、ノイズを含んでいる一枚の画像から、当該画像のノイズレベルを簡単かつ正確に推定できる。
【0021】
本発明の発明者らは、異なるレベルのノイズを付加した100枚のデジタル画像に対し、非特許文献3に記載された従来のノイズ推定方法を用いてノイズレベルを推定したノイズレベル推定結果と、本発明を用いてノイズレベルを推定したノイズレベル推定結果を比較することにより、本発明の効果を検証した。
【0022】
表1は、100枚のデジタル画像に対して、従来のノイズ推定方法による推定されたノイズレベルの平均値と、本発明による推定されたノイズレベルの平均値を示している。
【0023】
【表1】

【0024】
表1から分かるように、特に、ノイズレベルが大きい範囲、具体的には、ノイズレベルが15以上の場合に、本発明が非特許文献3に記載された従来のノイズ推定方法よりも正確にノイズレベルを推定できていることが確認できた。
【図面の簡単な説明】
【0025】
【図1】本発明に係るノイズレベル推定装置の第1実施形態(ノイズレベル推定装置1)を示すブロック構成図である。
【図2】本発明に係るノイズレベル推定装置の画像パッチ集合生成部で行われる画像パッチ集合生成処理を説明するための模式図である。
【図3】本発明に係るノイズレベル推定装置のノイズレベル推定部40の第1実施形態を示すブロック構成図である。
【図4】本発明に係るノイズレベル推定装置のノイズレベル推定部40の第2実施形態を示すブロック構成図である。
【図5】本発明に係るノイズレベル推定装置の第2実施形態(ノイズレベル推定装置2)を示すブロック構成図である。
【図6】本発明に係るノイズレベル推定装置の第3実施形態(ノイズレベル推定装置3)を示すブロック構成図である。
【図7】本発明に係るノイズレベル推定装置の第4実施形態(ノイズレベル推定装置4)を示すブロック構成図である。
【図8】本発明に係るノイズレベル推定装置の画像パッチ選択部30の第1実施形態を示すブロック構成図である。
【図9】本発明に係るノイズレベル推定装置の画像パッチ選択部30の第2実施形態を示すブロック構成図である。
【図10】本発明に係るノイズレベル推定装置の第5実施形態(ノイズレベル推定装置5)を示すブロック構成図である。
【図11】図10に示す本発明のノイズレベル推定装置5の処理流れを示すフロー図である。
【図12】本発明に係るノイズレベル推定装置の指標算出部310の一実施形態を示すブロック構成図である。
【図13】本発明に係るノイズレベル推定装置の第6実施形態(ノイズレベル推定装置6)を示すブロック構成図である。
【発明を実施するための形態】
【0026】
本発明は、複数チャネル画像・単一チャネル画像を問わず、ノイズを含んでいる一枚のデジタル画像から、当該画像のノイズレベルを簡単かつ正確に推定できるようにした、ノイズレベル推定装置、ノイズレベル推定方法及びプログラムに関する。
【0027】
以下、本発明を実施するための形態について、図面を参照しながら詳細に説明する。
【0028】
図1は、本発明に係るノイズレベル推定装置の第1実施形態(以下、単に「ノイズレベル推定装置1」とも言う。)を示すブロック構成図である。以下、図1を用いて、ノイズレベル推定装置1を詳細に説明する。
【0029】
図1に示すように、ノイズレベル推定装置1は、ノイズを含む一枚のデジタル静止画像(以下、単に、「入力画像」又は「画像」とも言う。)から、その画像のノイズレベルを推定するための装置であり、入力画像から画像パッチ集合を生成する画像パッチ集合生成部10と、画像パッチ集合生成部10で生成された画像パッチ集合に基づき、入力画像のノイズレベルを推定するノイズレベル推定部40とから構成される。
【0030】
前述したように、デジタル静止画像であれば、複数チャネル画像・単一チャネル画像を問わず、本発明に係るノイズレベル推定技術を適用し、その画像のノイズレベルを簡単かつ正確に推定することができる。
【0031】
また、デジタル静止画像に限らず、動画像のフレームに、本発明に係るノイズレベル推定技術を適用し、そのフレームのノイズレベルを簡単かつ正確に推定することが可能であり、本発明を動画像のノイズレベル推定にも適用することができると言える。
【0032】
以下、説明上の便宜から、本発明のノイズレベル推定装置に入力されるデジタル画像は、例えば、グレースケール画像のような単一チャネル画像(即ち、単一のカラーチャネルを持つ画像)であることを前提とする。
【0033】
また、本発明に係るノイズレベル推定技術を複数チャネル画像(複数のカラーチャネルを持つカラー画像)に適用する場合に、各カラーチャネルに対して、後述のような、単一チャネル画像を入力画像とする本発明に係るノイズレベル推定装置で行われる処理を繰り返せばよい。
【0034】
図1に示すように、ノイズレベル推定装置1では、まず、画像パッチ集合生成部10が、入力画像から、当該入力画像の画像パッチ集合を生成する。
【0035】
具体的に、画像パッチ集合生成部10は、入力画像から画像パッチ集合を得るために、入力画像に対して、画像パッチ集合生成処理を行うことにより、画像パッチ集合を生成する。画像パッチ集合生成処理は、図2に示すように、入力画像に対して、画素位置をずらしながら、複数の画像パッチを生成する処理である。
【0036】
本発明では、画像パッチ集合生成処理において、画素位置のずらし量を任意に設定することができるが、ずらし量の一具体例として、1画素であり、つまり、画素位置を1画素ずらしながら、複数の画像パッチを生成する。
【0037】
本発明では、画像パッチ集合生成処理により得られた複数の画像パッチを一つの集合(即ち、画像パッチ集合)としている。画像パッチは、その画像パッチに属する全ての画素の画素値を一列に並べることにより、列ベクトルに変換することができる。つまり、一つの画像パッチは、一つの列ベクトルに対応する。
【0038】
以下、画像パッチの一具体例として、画像内のm画素×n画素の矩形領域を画像パッチとする(図2を参照する。)。説明上の便宜から、以下の説明では、画像パッチを矩形領域(m画素×n画素)としているが、本発明において、画像パッチは矩形領域に限定されることがなく、任意の形状(例えば、多角形)を有する領域を画像パッチとすることができる。
【0039】
次に、ノイズレベル推定装置1では、図1に示すように、ノイズレベル推定部40が、画像パッチ集合生成部10で生成された画像パッチ集合に基づき、入力画像のノイズレベルを推定する。
【0040】
このようにして、本発明のノイズレベル推定装置1によれば、入力画像から、その画像のノイズレベルを推定することができる。
【0041】
次に、本発明に係るノイズレベル推定装置のノイズレベル推定部40の実施形態について、図3及び図4を参照しながら詳細に説明する。ノイズレベル推定部40は、画像パッチ集合生成部10で生成された画像パッチ集合に基づき、入力画像のノイズレベルを推定する。
【0042】
図3は、本発明に係るノイズレベル推定装置のノイズレベル推定部40の第1実施形態を示すブロック構成図である。また、図4は、本発明に係るノイズレベル推定装置のノイズレベル推定部40の第2実施形態を示すブロック構成図である。
【0043】
図3のノイズレベル推定部40の第1実施形態に示されたように、ノイズレベル推定部40は、画像パッチ集合に対応する分散共分散行列の最小固有値に基づいてノイズレベルを推定するようにしており、分散共分散行列算出部410と、最小固有値算出部420と、ノイズレベル算出部430とから構成される。
【0044】
図3に示すように、ノイズレベル推定部40では、まず、分散共分散行列算出部410が、画像パッチ集合に基づき、その画像パッチ集合に対応する分散共分散行列を算出する。次に、最小固有値算出部420が、分散共分散行列算出部410で算出された分散共分散行列の最小固有値を算出する。そして、ノイズレベル算出部430が、最小固有値算出部420で算出された最小固有値に基づき、入力画像のノイズレベルを算出する。
【0045】
ここで、数式を参照しながら、分散共分散行列算出部410、最小固有値算出部420、及びノイズレベル算出部430で行われる処理を具体的に説明する。
【0046】
既述したように、一つの画像パッチは、一つの列ベクトルに対応する。よって、画像パッチ集合を列ベクトルの集合とすることが可能になり、画像パッチ集合を意味する列ベクトル並べた行列

は、下記数1によって表すことができる。以下、この行列

を単に「画像パッチ集合」とも言う。
【0047】
【数1】

ここで、

は入力画像におけるi番目の画像パッチに対応する列ベクトルを表す。以下、この列ベクトル

を単に「i番目の画像パッチ」とも言う。また、Nは画像パッチ集合の要素数を表す。つまり、Nは入力画像から得られた複数の画像パッチの個数である。
【0048】
次に、各画像パッチから画像パッチの平均を引いて得られた行列

(即ち、各画像パッチに対し、画像パッチの平均を補正して得られた、画像パッチ集合)は、下記数2によって表すことができる。以下、この行列

を単に「平均補正済み画像パッチ集合」とも言う。
【0049】
【数2】

ここで、

は画像パッチの平均であり、下記数3に基づいて算出される。
【0050】
【数3】

そして、画像パッチ集合

に対応する分散共分散行列

は、下記数4に基づいて算出される。
【0051】
【数4】

分散共分散行列算出部410が、上記数1、数2、数3及び数4に基づき、画像パッチ集合

から画像パッチ集合

に対応する分散共分散行列

を算出するための分散共分散行列算出処理を行うことにより、画像パッチ集合

に対応する分散共分散行列

を算出する。
【0052】
次に、最小固有値算出部420が、最小固有値算出処理を行うことにより、画像パッチ集合

に対応する分散共分散行列

の最小固有値

を算出する。
【0053】
最後に、ノイズレベル算出部430が、下記数5に基づき、ノイズレベル算出処理を行うことにより、入力画像のノイズレベル

を算出する。
【0054】
【数5】

ここで、

は入力画像のノイズレベルであり、即ち、入力画像のノイズの標準偏差に対応する値でもある。
【0055】
本発明に係るノイズレベル推定装置のノイズレベル推定部40の第1実施形態について、上述のように説明したが、以下、本発明に係るノイズレベル推定装置のノイズレベル推定部40の第2実施形態について説明する。
【0056】
本発明のノイズレベル推定部40の第1実施形態では、画像パッチ集合に対応する分散共分散行列の最小固有値に基づいてノイズレベルを推定することを特徴としているのに対し、本発明のノイズレベル推定部40の第2実施形態では、平均補正済み画像パッチ集合の最小特異値に基づいてノイズレベルを推定することを特徴としている。
【0057】
ここで、本発明のノイズレベル推定部40の第2実施形態に係るノイズレベル推定の原理について説明する。
【0058】
一般的に、行列

の間に、

の関係が成立する。本発明では、この関係に着目し、入力画像のノイズレベルを推定する際に、画像パッチ集合に対応する分散共分散行列の最小固有値を算出し、算出した最小固有値に基づき、入力画像のノイズレベルを算出する(即ち、本発明のノイズレベル推定部40の第1実施形態)かわりに、平均補正済み画像パッチ集合の最小特異値を算出し、算出した最小特異値に基づき、入力画像のノイズレベルを算出する(即ち、本発明のノイズレベル推定部40の第2実施形態)ようにしても良い。
【0059】
図4のノイズレベル推定部40の第2実施形態に示されたように、ノイズレベル推定部40は、平均補正済み画像パッチ集合の最小特異値に基づいてノイズレベルを推定するようにしており、画像パッチ平均補正部411と、最小特異値算出部421と、ノイズレベル算出部431とから構成される。
【0060】
図4に示すように、ノイズレベル推定部40では、まず、画像パッチ平均補正部411が、画像パッチ集合に基づき、平均補正済み画像パッチ集合を生成する。次に、最小特異値算出部421が、画像パッチ平均補正部411で生成された平均補正済み画像パッチ集合の最小特異値を算出する。そして、ノイズレベル算出部431が、最小特異値算出部421で算出された最小特異値に基づき、入力画像のノイズレベルを算出する。
【0061】
ここで、数式を参照しながら、画像パッチ平均補正部411、最小特異値算出部421、及びノイズレベル算出部431で行われる処理を具体的に説明する。
【0062】
まず、画像パッチ平均補正部411が、上記数1、数2及び数3に基づき、画像パッチ集合

から平均補正済み画像パッチ集合

を生成するための平均補正済み画像パッチ集合生成処理を行うことにより、平均補正済み画像パッチ集合

を算出する。
【0063】
次に、最小特異値算出部421が、最小特異値算出処理を行うことにより、平均補正済み画像パッチ集合

の最小特異値

を算出する。
【0064】
最後に、ノイズレベル算出部431が、下記数6に基づき、ノイズレベル算出処理を行うことにより、入力画像のノイズレベル

を算出する。
【0065】
【数6】

ここで、

は入力画像のノイズレベルであり、即ち、入力画像のノイズの標準偏差に対応する値でもある。
【0066】
図5は、本発明に係るノイズレベル推定装置の第2実施形態(以下、単に「ノイズレベル推定装置2」とも言う。)を示すブロック構成図である。以下、図5を用いて、ノイズレベル推定装置2を詳細に説明する。
【0067】
図5に示すように、ノイズレベル推定装置2は、入力画像から、その画像のノイズレベルを推定するための装置であり、入力画像から高周波成分画像を抽出する高周波成分抽出部20と、高周波成分抽出部20で抽出された高周波成分画像から高周波成分画像パッチ集合を生成する高周波成分画像パッチ集合生成部11と、高周波成分画像パッチ集合生成部11で生成された高周波成分画像パッチ集合に基づき、入力画像のノイズレベルを推定するノイズレベル推定部40とから構成される。
【0068】
図5に示すように、ノイズレベル推定装置2では、まず、高周波成分抽出部20が、入力画像に対し、高周波成分抽出処理を行うことにより、当該入力画像の高周波成分画像を抽出する。
【0069】
ここで、高周波成分抽出処理の一具体例として、入力画像に対し、ハイパスフィルタをかけることにより、入力画像の高周波成分画像を抽出するようにしても良い。
【0070】
また、高周波成分抽出処理の他の具体例として、まず、入力画像に対し、ローパスフィルタ(例えば、ガウシアンフィルタやバイラテラルフィルタなどのローパスフィルタ)をかけることにより、入力画像の低周波成分画像を生成し、次に、入力画像から、生成された低周波成分画像を減算することによって、入力画像の高周波成分画像を抽出するようにしても良い。
【0071】
つまり、本発明で言う「高周波成分抽出処理」は、入力画像の高周波成分画像を抽出するための処理であり、上述した2つの具体例に限定されることがなく、入力画像の高周波成分画像を抽出できる処理であれば、その処理を本発明の「高周波成分抽出処理」とすることができる。
【0072】
次に、ノイズレベル推定装置2では、図5に示すように、高周波成分画像パッチ集合生成部11が、高周波成分抽出部20で抽出された高周波成分画像から、高周波成分画像パッチ集合を生成する。
【0073】
具体的に、高周波成分画像パッチ集合生成部11は、高周波成分画像から高周波成分画像パッチ集合を得るために、高周波成分画像に対して、高周波成分画像パッチ集合生成処理を行うことにより、高周波成分画像パッチ集合を生成する。
【0074】
高周波成分画像パッチ集合生成処理は、基本的に、前述した画像パッチ集合生成処理と同じであるため、その詳細な説明は省略する。
【0075】
ただし、画像パッチ集合生成処理は、入力画像に対して、画素位置をずらしながら、複数の画像パッチを生成する処理であるのに対し、高周波成分画像パッチ集合生成処理は、高周波成分画像に対して、画素位置をずらしながら、複数の高周波成分画像パッチを生成する処理である。
【0076】
本発明では、高周波成分画像パッチ集合生成処理により得られた複数の高周波成分画像パッチを一つの集合(即ち、高周波成分画像パッチ集合)とする。
【0077】
次に、ノイズレベル推定装置2では、図5に示すように、ノイズレベル推定部40が、高周波成分画像パッチ集合生成部11で生成された高周波成分画像パッチ集合に基づき、入力画像のノイズレベルを推定する。
【0078】
ここで、ノイズレベル推定装置2のノイズレベル推定部40にて行われる処理は、基本的に、前述したノイズレベル推定装置1のノイズレベル推定部40にて行われる処理と同じであるため、その詳細な説明は省略する。
【0079】
ただし、ノイズレベル推定装置1のノイズレベル推定部40にて行われる処理は、画像パッチ集合に対して行われる処理であるのに対し、ノイズレベル推定装置2のノイズレベル推定部40にて行われる処理は、高周波成分画像パッチ集合に対して行われる処理である。
【0080】
つまり、前述したノイズレベル推定部40の第1実施形態(図3参照)及び第2実施形態(図4参照)を、ノイズレベル推定装置2のノイズレベル推定部40に適用することができる。ただし、ノイズレベル推定部40の第1実施形態及び第2実施形態では、画像パッチ集合を入力としているのに対し、ノイズレベル推定装置2のノイズレベル推定部40では、高周波成分画像パッチ集合を入力としている。
【0081】
このようにして、本発明のノイズレベル推定装置2によれば、入力画像から、その画像のノイズレベルを推定することができる。
【0082】
図6は、本発明に係るノイズレベル推定装置の第3実施形態(以下、単に「ノイズレベル推定装置3」とも言う。)を示すブロック構成図である。以下、図6を用いて、ノイズレベル推定装置3を詳細に説明する。
【0083】
図6に示すように、ノイズレベル推定装置3は、入力画像から、その画像のノイズレベルを推定するための装置であり、入力画像から画像パッチ集合を生成する画像パッチ集合生成部10と、画像パッチ集合生成部10で生成された画像パッチ集合から高周波成分画像パッチ集合を抽出する高周波成分画像パッチ抽出部21と、高周波成分画像パッチ抽出部21で抽出された高周波成分画像パッチ集合に基づき、入力画像のノイズレベルを推定するノイズレベル推定部40とから構成される。
【0084】
図6に示すように、ノイズレベル推定装置3では、まず、画像パッチ集合生成部10が、入力画像から、当該入力画像の画像パッチ集合を生成する。
【0085】
ここで、ノイズレベル推定装置3の画像パッチ集合生成部10にて行われる処理は、前述したノイズレベル推定装置1の画像パッチ集合生成部10にて行われる処理と同じであるため、その詳細な説明は省略する。
【0086】
次に、ノイズレベル推定装置3では、図6に示すように、高周波成分画像パッチ抽出部21が、画像パッチ集合生成部10で生成された画像パッチ集合に属する全ての画像パッチに対し、高周波成分画像パッチ抽出処理を行うことにより、これら全ての画像パッチの高周波成分画像パッチを抽出し、抽出したこれらの高周波成分画像パッチを高周波成分画像パッチ集合とする。
【0087】
ここで、高周波成分画像パッチ抽出処理の具体例について説明する。例えば、高周波成分画像パッチ抽出処理では、画像パッチに対し、まず、その画像パッチの一次関数で近似した結果を、その画像パッチの低周波成分画像パッチとし、次に、その画像パッチから低周波成分画像パッチを減算することにより、その画像パッチの高周波成分画像パッチを抽出する。
【0088】
つまり、本発明で言う「高周波成分画像パッチ抽出処理」は、画像パッチ集合から高周波成分画像パッチ集合を抽出するための処理であり、本発明は上述した具体例に限定されることがなく、画像パッチ集合から高周波成分画像パッチ集合を抽出できる処理であれば、その処理を本発明の「高周波成分画像パッチ抽出処理」とすることができる。
【0089】
次に、ノイズレベル推定装置3では、図6に示すように、ノイズレベル推定部40が、高周波成分画像パッチ抽出部21で抽出された高周波成分画像パッチ集合に基づき、入力画像のノイズレベルを推定する。
【0090】
ここで、ノイズレベル推定装置3のノイズレベル推定部40にて行われる処理は、前述したノイズレベル推定装置2のノイズレベル推定部40にて行われる処理と同じであるため、その詳細な説明は省略する。
【0091】
このようにして、本発明のノイズレベル推定装置3によれば、入力画像から、その画像のノイズレベルを推定することができる。
【0092】
図7は、本発明に係るノイズレベル推定装置の第4実施形態(以下、単に「ノイズレベル推定装置4」とも言う。)を示すブロック構成図である。以下、図7を用いて、ノイズレベル推定装置4を詳細に説明する。
【0093】
図7に示すように、ノイズレベル推定装置4は、入力画像から、その画像のノイズレベルを推定するための装置であり、入力画像から画像パッチ集合を生成する画像パッチ集合生成部10と、画像パッチ集合生成部10で生成された画像パッチ集合の中から複数の画像パッチを選択し、選択した複数の画像パッチを選択画像パッチ集合とする画像パッチ選択部30と、画像パッチ選択部30で得られた選択画像パッチ集合に基づき、入力画像のノイズレベルを推定するノイズレベル推定部40とから構成される。
【0094】
図7に示すように、ノイズレベル推定装置4では、まず、画像パッチ集合生成部10が、入力画像から、当該入力画像の画像パッチ集合を生成する。
【0095】
ここで、ノイズレベル推定装置4の画像パッチ集合生成部10にて行われる処理は、前述したノイズレベル推定装置1の画像パッチ集合生成部10にて行われる処理と同じであるため、その詳細な説明は省略する。
【0096】
次に、ノイズレベル推定装置4では、図7に示すように、画像パッチ選択部30が、まず、画像パッチ集合生成部10で生成された画像パッチ集合の中から、所定の画像パッチ選択方法に基づき、複数の画像パッチを選択し、次に、選択した複数の画像パッチを選択画像パッチ集合とする。
【0097】
次に、ノイズレベル推定装置4では、図7に示すように、ノイズレベル推定部40が、画像パッチ選択部30で得られた選択画像パッチ集合に基づき、入力画像のノイズレベルを推定する。
【0098】
ここで、ノイズレベル推定装置4のノイズレベル推定部40にて行われる処理は、基本的に、前述したノイズレベル推定装置1のノイズレベル推定部40にて行われる処理と同じであるため、その詳細な説明は省略する。
【0099】
ただし、ノイズレベル推定装置1のノイズレベル推定部40にて行われる処理は、画像パッチ集合に対して行われる処理であるのに対し、ノイズレベル推定装置4のノイズレベル推定部40にて行われる処理は、選択画像パッチ集合に対して行われる処理である。
【0100】
つまり、前述したノイズレベル推定部40の第1実施形態(図3参照)及び第2実施形態(図4参照)を、ノイズレベル推定装置4のノイズレベル推定部40に適用することができる。ただし、ノイズレベル推定部40の第1実施形態及び第2実施形態では、画像パッチ集合を入力としているのに対し、ノイズレベル推定装置4のノイズレベル推定部40では、選択画像パッチ集合を入力としている。
【0101】
このようにして、本発明のノイズレベル推定装置4によれば、入力画像から、その画像のノイズレベルを推定することができる。
【0102】
ここで、本発明に係るノイズレベル推定装置の画像パッチ選択部30の実施形態について、図8及び図9を参照しながら詳細に説明する。画像パッチ選択部30は、画像パッチ集合生成部10で生成された画像パッチ集合に基づき、選択画像パッチ集合を生成する。
【0103】
図8は、本発明に係るノイズレベル推定装置の画像パッチ選択部30の第1実施形態を示すブロック構成図である。また、図9は、本発明に係るノイズレベル推定装置の画像パッチ選択部30の第2実施形態を示すブロック構成図である。
【0104】
図8の画像パッチ選択部30の第1実施形態に示されたように、画像パッチ選択部30は、指標算出部310と、指標閾値に基づく画像パッチ選択部320とから構成される。
【0105】
画像パッチ選択部30の第1実施形態では、図8に示すように、まず、指標算出部310が、画像パッチ集合生成部10で生成された画像パッチ集合に属する全ての画像パッチに対して、所定の指標算出方法に基づき、これら画像パッチの指標を算出する。ここで、一つの画像パッチに基づいて、一つの指標が算出されるため、以下、この指標を「画像パッチの指標」とも言う。
【0106】
次に、画像パッチ選択部30の第1実施形態では、指標閾値に基づく画像パッチ選択部320が、画像パッチ集合生成部10で生成された画像パッチ集合の中から、指標算出部310で算出された指標及び所定の閾値に基づき、画像パッチを選択し、選択した画像パッチを選択画像パッチ集合とする。なお、所定の閾値は、予め設定された値である。
【0107】
具体的に、指標閾値に基づく画像パッチ選択部320では、画像パッチ集合に属する全ての画像パッチに対して、指標閾値に基づく画像パッチ選択処理を行うことにより、画像パッチを選択し、選択した画像パッチを選択画像パッチ集合とする。
【0108】
ここで、指標閾値に基づく画像パッチ選択処理では、画像パッチの指標と所定の閾値を比較し、その指標が所定の閾値以下である場合に、当該指標に対応する画像パッチを選択し、また、その指標が所定の閾値より大きい場合に、当該指標に対応する画像パッチを選択しない。
【0109】
本発明に係るノイズレベル推定装置の画像パッチ選択部30の第1実施形態について、上述のように説明したが、以下、本発明に係るノイズレベル推定装置の画像パッチ選択部30の第2実施形態について説明する。
【0110】
図9の画像パッチ選択部30の第2実施形態に示されたように、画像パッチ選択部30は、指標算出部310と、上位指標に基づく画像パッチ選択部321とから構成される。
【0111】
画像パッチ選択部30の第2実施形態では、図9に示すように、まず、指標算出部310が、画像パッチ集合生成部10で生成された画像パッチ集合に属する全ての画像パッチに対して、所定の指標算出方法に基づき、これら画像パッチの指標を算出する。
【0112】
次に、画像パッチ選択部30の第2実施形態では、上位指標に基づく画像パッチ選択部321が、画像パッチ集合生成部10で生成された画像パッチ集合の中から、所定個数の上位指標に対応する画像パッチを選択し、選択した画像パッチを選択画像パッチ集合とする。
【0113】
ここで、所定個数とは、例えば、画像パッチ集合生成部10で生成された画像パッチ集合に属する全ての画像パッチの総数の何パーセント(一例として、例えば、25%)に相当する個数である。勿論、本発明では、所定個数が全ての画像パッチの総数の何パーセントに相当する個数であることに限定されることはなく、所定個数を他の方法で決定するようにしても良い。
【0114】
また、「所定個数の上位指標に対応する画像パッチ」とは、指標算出部310で算出された指標の中で一番小さい指標から昇順に、又は、指標算出部310で算出された指標の中で一番大きい指標から降順に、所定個数の指標に対応する画像パッチを意味する。
【0115】
つまり、上位指標に基づく画像パッチ選択部321が、画像パッチ集合の中から、指標算出部310で算出された指標の中で一番小さい指標から昇順に、又は、指標算出部310で算出された指標の中で一番大きい指標から降順に、所定個数の指標に対応する画像パッチを選択し、選択した画像パッチを選択画像パッチ集合とする。
【0116】
図10は、本発明に係るノイズレベル推定装置の第5実施形態(以下、単に「ノイズレベル推定装置5」とも言う。)を示すブロック構成図である。図11は、図10に示す本発明のノイズレベル推定装置5の処理流れを示すフロー図である。以下、図10と図11を用いて、ノイズレベル推定装置5を詳細に説明する。
【0117】
図10に示すように、ノイズレベル推定装置5は、入力画像から、その画像のノイズレベルを推定するための装置であり、画像パッチ集合生成部12と、指標算出部310と、指標閾値に基づく画像パッチ選択部320と、ノイズレベル推定部41と、ノイズレベル推定繰り返し終了判定部50と、閾値変換部60とから構成される。
【0118】
ノイズレベル推定装置5の一番大きな特徴は、ノイズレベル推定処理を繰り返すことにより、ノイズレベルを推定することであり、具体的に、ノイズレベル推定部41で推定されたノイズレベルを、画像パッチを選択する際に必要な閾値に変換し、次に、変換された閾値、画像パッチ集合及び指標に基づき、選択画像パッチ集合を生成し、更に、生成した選択画像パッチ集合に基づき、ノイズレベル推定部41によりノイズレベルを推定することであり、即ち、ノイズレベル推定部41で推定されたノイズレベルに基づき、画像パッチを選択する際に必要な閾値を変換しながら、ノイズレベル推定繰り返し終了判定部50でノイズレベル推定繰り返し終了と判定されるまでに、入力画像のノイズレベルを繰り返し推定することである。
【0119】
ここで、入力画像からその画像のノイズレベルを推定するために、図10と図11を参照しながら、ノイズレベル推定装置5にて行われる処理の流れについて説明する。
【0120】
まず、ノイズレベル推定装置5では、画像パッチ集合生成部12が、入力画像から、当該入力画像の画像パッチ集合を生成するとともに、ノイズレベル推定処理の繰り返し回数kを0と設定する(図11のステップS100を参照)。
【0121】
ここで、ノイズレベル推定装置5の画像パッチ集合生成部12にて行われる、繰り返し回数kを0と設定する処理を除いた処理は、前述したノイズレベル推定装置1の画像パッチ集合生成部10にて行われる処理と同じであるため、その詳細な説明は省略する。
【0122】
次に、ノイズレベル推定装置5では、指標算出部310が、画像パッチ集合生成部12で生成された画像パッチ集合に属する全ての画像パッチに対して、所定の指標算出方法に基づき、これら画像パッチの指標を算出する(図11のステップS110を参照)。
【0123】
ここで、ノイズレベル推定装置5の指標算出部310にて行われる処理は、前述した画像パッチ選択部30の第1実施形態(図8参照)における指標算出部310にて行われる処理と同じであるため、その詳細な説明は省略する。
【0124】
次に、ノイズレベル推定装置5では、ノイズレベル推定部41が、画像パッチ集合生成部12で得られた画像パッチ集合に基づき、ノイズレベル

を推定する(図11のステップS120を参照)。ノイズレベル推定部41で推定されたノイズレベル

は、ノイズレベル推定繰り返し終了判定部50に入力される。ここで、繰り返し回数kの値が0であるため、画像パッチ集合に基づいて推定されたノイズレベル

となる。
【0125】
なお、ノイズレベル推定装置5のノイズレベル推定部41にて行われる処理は、前述したノイズレベル推定装置1のノイズレベル推定部40にて行われる処理と同じであるため、その詳細な説明は省略する。
【0126】
次に、ノイズレベル推定装置5では、ノイズレベル推定繰り返し終了判定部50が、ノイズレベル推定部41から入力されたノイズレベル

に基づき、ノイズレベル推定繰り返し終了に関する第1の判定条件、即ち、k>0を満たすか否かを判定する(図11のステップS130を参照)。
【0127】
このとき、ノイズレベル推定部41からノイズレベル推定繰り返し終了判定部50に入力されたノイズレベルは、

であるため、kの値は0となり、第1の判定条件(k>0)を満たさない。よって、ノイズレベル推定繰り返し終了判定部50が、ノイズレベル推定繰り返し終了と判定せず、ノイズレベル

を閾値変換部60に出力するようにする。
【0128】
次に、ノイズレベル推定装置5では、閾値変換部60が、閾値変換処理を行うことにより、ノイズレベル推定繰り返し終了判定部50からのノイズレベル

を閾値τに変換し、変換した閾値τを指標閾値に基づく画像パッチ選択部320に出力する(図11のステップS150を参照)。
【0129】
具体的に、閾値変換処理では、単調増加関数

を利用することにより、ノイズレベル

を閾値τに変換する。ここで言う「単調増加関数」とは、x<yであれば、f(x)<f(y)を満足する関数である。
【0130】
具体的な単調増加関数の一例として、例えば、

である。つまり、下記数7に基づき、閾値変換処理を行うことにより、ノイズレベル

を閾値τに変換する。
【0131】
【数7】

ただし、γは実験的に設定する所定のパラメータである。γの一例としては、例えば、3である。
【0132】
次に、ノイズレベル推定装置5では、指標閾値に基づく画像パッチ選択部320が、画像パッチ集合生成部12で生成された画像パッチ集合の中から、指標算出部310で算出された指標、及び、閾値変換部60で変換された閾値τに基づき、画像パッチを選択し、選択した画像パッチを選択画像パッチ集合とする(図11のステップS160を参照)。
【0133】
ここで、ノイズレベル推定装置5の指標閾値に基づく画像パッチ選択部320にて行われる処理は、前述した画像パッチ選択部30の第1実施形態(図8参照)における指標閾値に基づく画像パッチ選択部320にて行われる処理と同じであるため、その詳細な説明は省略する。ちなみに、閾値変換部60で変換された閾値τは、所定の閾値として利用される。
【0134】
次に、ノイズレベル推定装置5では、繰り返し回数kの値を1増加させるようにする(図11のステップS170を参照)。
【0135】
次に、ノイズレベル推定装置5では、ノイズレベル推定部41が、指標閾値に基づく画像パッチ選択部320で得られた選択画像パッチ集合に基づき、ノイズレベル

を推定する(図11のステップS180を参照)。ノイズレベル推定部41で推定されたノイズレベル

は、ノイズレベル推定繰り返し終了判定部50に入力される。
【0136】
このときに、ノイズレベル推定装置5のノイズレベル推定部41にて行われる処理(即ち、ステップS180での処理)は、前述したノイズレベル推定装置4のノイズレベル推定部40にて行われる処理と同じであるため、その詳細な説明は省略する。
【0137】
次に、ノイズレベル推定装置5では、ノイズレベル推定繰り返し終了判定部50が、ノイズレベル推定部41から入力されたノイズレベル

に基づき、ノイズレベル推定繰り返し終了に関する第2の判定条件、即ち、

が十分小さくなっていること(その一例として、

ここで、所定の値は、例えば、0.01である。)を満たすか否かを判定する(図11のステップS140を参照)。
【0138】
ステップS140において、ノイズレベル推定繰り返し終了判定部50が、上記第2の判定条件を満たさないと判定した場合に、即ち、ノイズレベル推定繰り返し終了と判定しない場合に、ノイズレベル

を閾値変換部60に出力する。
【0139】
そして、ノイズレベル推定装置5では、閾値変換部60が、閾値変換処理を行うことにより、ノイズレベル推定繰り返し終了判定部50からのノイズレベル

を閾値τに変換し、変換した閾値τを指標閾値に基づく画像パッチ選択部320に出力する(図11のステップS150を参照)。なお、図11のステップS150での処理は既述したため、その説明は省略する。
【0140】
次に、ノイズレベル推定装置5では、指標閾値に基づく画像パッチ選択部320が、画像パッチ集合生成部12で生成された画像パッチ集合の中から、指標算出部310で算出された指標、及び、閾値変換部60で変換された閾値τに基づき、画像パッチを選択し、選択した画像パッチを選択画像パッチ集合とする(図11のステップS160を参照)。なお、図11のステップS160での処理は既述したため、その説明は省略する。
【0141】
次に、ノイズレベル推定装置5では、繰り返し回数kの値を1増加させるようにする(図11のステップS170を参照)。
【0142】
次に、ノイズレベル推定装置5では、ノイズレベル推定部41が、指標閾値に基づく画像パッチ選択部320で得られた選択画像パッチ集合に基づき、ノイズレベル

を推定する(図11のステップS180を参照)。ノイズレベル推定部41で推定されたノイズレベル

は、ノイズレベル推定繰り返し終了判定部50に入力される。
【0143】
そして、ノイズレベル推定繰り返し終了判定部50が、ノイズレベル推定部41から入力されたノイズレベル

に基づき、ノイズレベル推定繰り返し終了に関する第2の判定条件を満たすか否かを判定する(図11のステップS140を参照)。
【0144】
このように、ノイズレベル推定繰り返し終了判定部50が、上記第2の判定条件を満たしたと判定するまでに、ノイズレベル推定装置5では、ステップS140での処理、ステップS150での処理、ステップS160での処理、ステップS170での処理、及びステップS180での処理を繰り返すようにしている。
【0145】
一方、ステップS140において、ノイズレベル推定繰り返し終了判定部50が、上記第2の判定条件を満たしたと判定した場合に、即ち、ノイズレベル推定繰り返し終了と判定した場合に、ノイズレベル

を、ノイズレベル推定装置5が推定したノイズレベルとして外部に出力する(図11のステップS190を参照)。これで、ノイズレベル推定装置5での処理が終了する。
【0146】
つまり、本発明のノイズレベル推定装置5では、上記第1の判定条件を満たした上で、更に、上記第2の判定条件も満たした場合に(つまり、上記第1の判定条件及び上記第2の判定条件を満たした場合に)、ノイズレベル推定繰り返し終了と判定し、ノイズレベル推定繰り返し終了と判定されたときのノイズレベル

を、入力画像のノイズレベルとして出力する。
【0147】
ここで、本発明のノイズレベル推定装置において、画像パッチ集合から、画像パッチを選択し、選択した画像パッチのみで構成される、選択画像パッチ集合に基づき、入力画像のノイズレベルを推定する理由について説明する。
【0148】
画像パッチを選択しない本発明のノイズレベル推定装置(前述したノイズレベル推定装置1、ノイズレベル推定装置2、及びノイズレベル推定装置3)を用いて、ノイズを含む画像のノイズレベルを推定する場合に、そのノイズを含む画像から生成された画像パッチ集合が、画像テクスチャやエッジを含まないフラットな領域のみの画像パッチ集合であれば、画像のノイズレベルを正確に推定することが出来る。
【0149】
ところで、ノイズの信号エネルギーと、ノイズのない画像の信号エネルギーを分離することが困難であるため、ノイズを含む画像から生成された画像パッチ集合が、テクスチャやエッジなどの画像の信号エネルギーを含む画像パッチ集合であれば、画像パッチを選択しない本発明のノイズレベル推定装置を用いて、ノイズを含む画像のノイズレベルを推定する場合に、そのノイズを含む画像の真のノイズレベルと比較して、大きい値のノイズレベルが推定される可能性がある。
【0150】
そこで、本発明の発明者らは、このような可能性を解消するために、画像パッチ集合から、ノイズレベルの推定に用いる画像パッチを選択するノイズレベル推定装置(前述したノイズレベル推定装置4、ノイズレベル推定装置5、及び後述するノイズレベル推定装置6)を発明した。
【0151】
つまり、本発明では、画像パッチ集合から画像パッチを選択する際に、フラットな領域の画像パッチのみを選択するため、後述する本発明の指標算出部310の実施形態に示されるように、画像パッチの微分行列の最大固有値、画像パッチのxy微分行列の最大特異値、又は、画像パッチの分散を画像パッチの指標として、画像パッチを選択するようにする。
【0152】
画像パッチの微分行列の最大固有値、画像パッチのxy微分行列の最大特異値、又は、画像パッチの分散を画像パッチの指標として選択した画像パッチは、フラットな領域の画像パッチとなり、このように選択した画像パッチのみで構成される、選択画像パッチ集合に基づき、画像のノイズレベルを推定する場合に、画像のノイズレベルを正確に推定することが出来る。
【0153】
このように、本発明のノイズレベル推定装置を用いて、ノイズを含む画像のノイズレベルを推定する際に、ノイズを含む画像から生成される画像パッチ集合から、画像パッチを選択する必要がある。
【0154】
しかしながら、フラットな領域の画像パッチのみを選択するために適する閾値は、画像パッチに含まれるノイズレベルに依存する。そのため、予め適切な閾値を設定することが、困難になる可能性がある。
【0155】
そこで、本発明の発明者らは、このような状況に鑑みて、適切な閾値でフラットな領域の画像パッチのみを選択するために、推定されたノイズレベルに基づいて、フラットな領域の画像パッチのみを選択するための閾値を再設定(変換)しながら、繰り返し処理により、画像のノイズレベルをするといった技術的思想を、前述したノイズレベル推定装置5に適用した。
【0156】
本発明のノイズレベル推定装置5によれば、テクスチャやエッジなどの画像の信号エネルギーを含む画像パッチ集合であっても、ノイズレベルを正確に推定することができる。
【0157】
次に、本発明に係るノイズレベル推定装置の指標算出部310の実施形態について、説明する。指標算出部310は、画像パッチ集合生成部10で生成された画像パッチ集合に属する全ての画像パッチに対して、所定の指標算出方法に基づき、これら画像パッチの指標を算出する。
【0158】
図12は、本発明に係るノイズレベル推定装置の指標算出部310の一実施形態を示すブロック構成図である。
【0159】
図12に示されたように、指標算出部310は、画像パッチ毎に、画像パッチの微分で構成される微分行列の最大固有値をその画像パッチの指標として算出するようにしており、x微分算出部311と、y微分算出部312と、微分行列生成部313と、最大固有値算出部314とから構成される。
【0160】
図12に示すように、指標算出部310では、まず、画像パッチ集合に属する全ての画像パッチに対して、x微分算出部311が画像パッチのx微分を画像パッチ毎に算出するとともに、y微分算出部312が画像パッチのy微分を画像パッチ毎に算出する。
【0161】
次に、指標算出部310では、微分行列生成部313が、x微分算出部311で算出された画像パッチのx微分、及び、y微分算出部312で算出された画像パッチのy微分を用い、下記数8及び数9に基づき、画像パッチの微分行列を画像パッチ毎に生成する。
【0162】
【数8】

【0163】
【数9】

ただし、

は入力画像におけるi番目の画像パッチの微分行列である。


はx微分算出部311で算出された、入力画像におけるi番目の画像パッチのx微分に対応する列ベクトルを表す。また、

はy微分算出部312で算出された、入力画像におけるi番目の画像パッチのy微分に対応する列ベクトルを表す。さらに、以下、行列

を単に、「入力画像におけるi番目の画像パッチのxy微分行列」とも言う。
【0164】
そして、指標算出部310では、最大固有値算出部314が、画像パッチの微分行列の最大固有値を画像パッチ毎に算出し、算出した最大固有値を画像パッチの指標として出力する。
【0165】
このように、図12に示された本発明に係るノイズレベル推定装置の指標算出部310によれば、画像パッチ集合から、その画像パッチ集合に属する全ての画像パッチの指標(即ち、画像パッチの微分行列の最大固有値)を算出することができる。
【0166】
なお、前述したように、

の関係が成立するので、本発明の指標算出部310では、画像パッチの微分行列の最大固有値を画像パッチの指標として算出するかわりに、画像パッチのxy微分行列の最大特異値を画像パッチの指標として算出するようにしても良い。
【0167】
その場合に、指標算出部310では、x微分算出部311で算出された画像パッチのx微分、及び、y微分算出部312で算出された画像パッチのy微分を用い、上記数9に基づき、画像パッチのxy微分行列

を画像パッチ毎に生成し、そして、画像パッチのxy微分行列の最大特異値を画像パッチ毎に算出し、算出した最大特異値を画像パッチの指標として出力する。
【0168】
つまり、微分行列生成部313の代わりに、図12の指標算出部310は、x微分算出部311で算出された画像パッチのx微分、及び、y微分算出部312で算出された画像パッチのy微分を用い、上記数9に基づき、画像パッチのxy微分行列を画像パッチ毎に生成する、xy微分行列生成部を備えれば良い。
【0169】
また、最大固有値算出部314の代わりに、図12の指標算出部310は、xy微分行列生成部で生成された画像パッチのxy微分行列の最大特異値を画像パッチ毎に算出し、算出した最大特異値を画像パッチの指標として出力する、最大特異値算出部を備えれば良い。
【0170】
以上では、画像パッチの微分に基づいたパラメーター(即ち、画像パッチの微分行列の最大固有値、又は、画像パッチのxy微分行列の最大特異値)を画像パッチの指標として算出する、指標算出部310の実施形態について説明したが、次に、画像パッチの分散を画像パッチの指標として算出する指標算出部310の実施形態について、説明する。
【0171】
この実施形態では、指標算出部310が、まず、画像パッチ集合に属する全ての画像パッチに対して、下記数10及び数11に基づき、画像パッチの分散を画像パッチ毎に算出し、次に、算出した画像パッチの分散を画像パッチの指標として出力する。
【0172】
【数10】

【0173】
【数11】

ただし、

は入力画像におけるi番目の画像パッチ(以下、単に

とも言う。)の分散である。また、

の画素数をMとする。さらに、

のk番目の画素の画素値を

とする。
【0174】
図13は、本発明に係るノイズレベル推定装置の第6実施形態(以下、単に「ノイズレベル推定装置6」とも言う。)を示すブロック構成図である。以下、図13を用いて、ノイズレベル推定装置6を詳細に説明する。
【0175】
図13に示すように、ノイズレベル推定装置6は、入力画像から、その画像のノイズレベルを推定するための装置であり、高周波成分抽出部20と、高周波成分画像パッチ集合生成部11と、低周波成分抽出部25と、低周波成分画像パッチ集合生成部16と、低周波成分画像パッチ選択部35と、対応高周波成分画像パッチ抽出部22と、ノイズレベル推定部40とから構成される。
【0176】
図13に示すように、ノイズレベル推定装置6では、高周波成分抽出部20が、入力画像に対し、高周波成分抽出処理を行うことにより、当該入力画像の高周波成分画像を抽出する。高周波成分画像パッチ集合生成部11が、高周波成分抽出部20で抽出された高周波成分画像から高周波成分画像パッチ集合を得るために、高周波成分画像に対して、高周波成分画像パッチ集合生成処理を行うことにより、高周波成分画像パッチ集合を生成する。
【0177】
ここで、ノイズレベル推定装置6の高周波成分抽出部20にて行われる処理は、前述したノイズレベル推定装置2の高周波成分抽出部20にて行われる処理と同じであるため、その詳細な説明は省略する。また、ノイズレベル推定装置6の高周波成分画像パッチ集合生成部11にて行われる処理は、前述したノイズレベル推定装置2の高周波成分画像パッチ集合生成部11にて行われる処理と同じであるため、その詳細な説明は省略する。
【0178】
また、低周波成分抽出部25が、入力画像に対し、低周波成分抽出処理を行うことにより、当該入力画像の低周波成分画像を抽出する。低周波成分画像パッチ集合生成部16が、低周波成分抽出部25で抽出された低周波成分画像から低周波成分画像パッチ集合を得るために、低周波成分画像に対して、低周波成分画像パッチ集合生成処理を行うことにより、低周波成分画像パッチ集合を生成する。
【0179】
ここで、低周波成分抽出処理の一具体例として、入力画像に対し、ローパスフィルタをかけることにより、入力画像の低周波成分画像を抽出するようにしても良い。
【0180】
また、低周波成分抽出処理の他の具体例として、入力画像から、高周波成分抽出部20で抽出された高周波成分画像を減算することによって、入力画像の低周波成分画像を抽出するようにしても良い。
【0181】
つまり、本発明で言う「低周波成分抽出処理」は、入力画像の低周波成分画像を抽出するための処理であり、上述した2つの具体例に限定されることがなく、入力画像の低周波成分画像を抽出できる処理であれば、その処理を本発明の「低周波成分抽出処理」とすることができる。
【0182】
また、低周波成分画像パッチ集合生成処理は、基本的に、前述した画像パッチ集合生成処理と同じであるため、その詳細な説明は省略する。
【0183】
ただし、画像パッチ集合生成処理は、入力画像に対して、画素位置をずらしながら、複数の画像パッチを生成する処理であるのに対し、低周波成分画像パッチ集合生成処理は、低周波成分画像に対して、画素位置をずらしながら、複数の低周波成分画像パッチを生成する処理である。
【0184】
本発明では、低周波成分画像パッチ集合生成処理により得られた複数の低周波成分画像パッチを一つの集合(即ち、低周波成分画像パッチ集合)とする。
【0185】
次に、低周波成分画像パッチ選択部35が、まず、低周波成分画像パッチ集合生成部16で生成された低周波成分画像パッチ集合の中から、所定の画像パッチ選択方法に基づき、複数の低周波成分画像パッチを選択し、次に、選択した複数の低周波成分画像パッチを選択低周波成分画像パッチ集合とする。
【0186】
ここで、ノイズレベル推定装置6の低周波成分画像パッチ選択部35にて行われる処理は、基本的に、前述したノイズレベル推定装置4の画像パッチ選択部30にて行われる処理と同じであるため、その詳細な説明は省略する。
【0187】
ただし、画像パッチ選択部30にて行われる処理は、画像パッチ集合から選択画像パッチ集合を得るための処理であるのに対し、低周波成分画像パッチ選択部35にて行われる処理は、低周波成分画像パッチ集合から選択低周波成分画像パッチ集合を得るための処理である。
【0188】
次に、対応高周波成分画像パッチ抽出部22が、低周波成分画像パッチ選択部35で得られた選択低周波成分画像パッチ集合に属する全ての低周波成分画像パッチに対し、対応高周波成分画像パッチ抽出処理を行うことにより、これら全ての低周波成分画像パッチ(即ち、選択された低周波成分画像パッチ)に対応する高周波成分画像パッチを、対応高周波成分画像パッチとして抽出し、抽出したこれらの対応高周波成分画像パッチを対応高周波成分画像パッチ集合とする。
【0189】
ここで、対応高周波成分画像パッチ抽出処理とは、選択された低周波成分画像パッチと同じ画素位置を有する高周波成分画像パッチを、選択された低周波成分画像パッチに対応する高周波成分画像パッチ(即ち、対応高周波成分画像パッチ)として抽出する処理である。
【0190】
そして、ノイズレベル推定部40が、対応高周波成分画像パッチ抽出部22で得られた対応高周波成分画像パッチ集合に基づき、入力画像のノイズレベルを推定する。
【0191】
ここで、ノイズレベル推定装置6のノイズレベル推定部40にて行われる処理は、基本的に、前述したノイズレベル推定装置1のノイズレベル推定部40にて行われる処理と同じであるため、その詳細な説明は省略する。
【0192】
ただし、ノイズレベル推定装置1のノイズレベル推定部40にて行われる処理は、画像パッチ集合に対して行われる処理であるのに対し、ノイズレベル推定装置6のノイズレベル推定部40にて行われる処理は、対応高周波成分画像パッチ集合に対して行われる処理である。
【0193】
つまり、前述したノイズレベル推定部40の第1実施形態(図3参照)及び第2実施形態(図4参照)を、ノイズレベル推定装置6のノイズレベル推定部40に適用することができる。ただし、ノイズレベル推定部40の第1実施形態及び第2実施形態では、画像パッチ集合を入力としているのに対し、ノイズレベル推定装置6のノイズレベル推定部40では、対応高周波成分画像パッチ集合を入力としている。
【0194】
このようにして、本発明のノイズレベル推定装置6によれば、入力画像から、その画像のノイズレベルを推定することができる。
【0195】
なお、図13に示すように、ノイズレベル推定装置6では、高周波成分画像が高周波成分抽出部20により抽出され、低周波成分画像が低周波成分抽出部25により抽出されるといった実施形態になっているが、高周波成分画像と低周波成分画像を一つの抽出処理部により抽出するようにしても良い。また、ノイズレベル推定装置6では、高周波成分画像パッチ集合が高周波成分画像パッチ集合生成部11により生成され、低周波成分画像パッチ集合が低周波成分画像パッチ集合生成部16により生成されるといった実施形態になっているが、高周波成分画像パッチ集合と低周波成分画像パッチ集合を一つの画像パッチ集合生成部により生成するようにしても良い。
【0196】
なお、本発明に係るノイズレベル推定装置は、コンピュータシステムを利用し、ソフトウェア(コンピュータプログラム)により実装されることができ、そして、ASIC(Application Specific Integrated Circuit)、GPU(Graphics Processing Unit)やFPGA(Field Programmable Gate Array)などのハードウェアにより実装されることも勿論できる。
【符号の説明】
【0197】
ノイズレベル推定装置 1,2,3,4,5,6
画像パッチ集合生成部 10,12
高周波成分画像パッチ集合生成部 11
低周波成分画像パッチ集合生成部 16
高周波成分抽出部 20
高周波成分画像パッチ抽出部 21
対応高周波成分画像パッチ抽出部 22
低周波成分抽出部 25
画像パッチ選択部 30
低周波成分画像パッチ選択部 35
ノイズレベル推定部 40,41
ノイズレベル推定繰り返し終了判定部 50
閾値変換部 60
指標算出部 310
x微分算出部 311
y微分算出部 312
微分行列生成部 313
最大固有値算出部 314
指標閾値に基づく画像パッチ選択部 320
上位指標に基づく画像パッチ選択部 321
分散共分散行列算出部 410
画像パッチ平均補正部 411
最小固有値算出部 420
最小特異値算出部 421
ノイズ算出部 430,431

【特許請求の範囲】
【請求項1】
ノイズを含む一枚の画像から当該画像のノイズレベルを推定するノイズレベル推定装置であって、
前記画像から画像パッチ集合を生成する、画像パッチ集合生成部と、
前記画像パッチ集合生成部で生成された画像パッチ集合に基づき、前記ノイズレベルを推定する、ノイズレベル推定部と、
を備え、
前記ノイズレベル推定部は、
前記画像パッチ集合に基づき、前記画像パッチ集合に対応する分散共分散行列を算出する、分散共分散行列算出部と、
前記分散共分散行列算出部で算出された分散共分散行列の最小固有値を算出する、最小固有値算出部と、
前記最小固有値算出部で算出された最小固有値に基づき、前記ノイズレベルを算出する、ノイズレベル算出部と、
を備えることを特徴とするノイズレベル推定装置。
【請求項2】
前記分散共分散行列算出部では、次の数式に基づき、分散共分散行列算出処理を行うことにより、前記分散共分散行列を算出し、

ここで、

は前記画像パッチ集合を表し、

は前記画像におけるi番目の画像パッチを表し、Nは前記画像パッチ集合の要素数を表し、

は平均補正済み画像パッチ集合を表し、

は画像パッチの平均を表し、

は前記分散共分散行列を表し、
前記最小固有値算出部では、最小固有値算出処理を行うことにより、前記分散共分散行列の前記最小固有値

を算出し、
前記ノイズレベル算出部では、

に基づき、ノイズレベル算出処理を行うことにより、前記ノイズレベルを算出し、
ここで、

は前記ノイズレベルを表す請求項1に記載のノイズレベル推定装置。
【請求項3】
ノイズを含む一枚の画像から当該画像のノイズレベルを推定するノイズレベル推定装置であって、
前記画像から画像パッチ集合を生成する、画像パッチ集合生成部と、
前記画像パッチ集合生成部で生成された画像パッチ集合に基づき、前記ノイズレベルを推定する、ノイズレベル推定部と、
を備え、
前記ノイズレベル推定部は、
前記画像パッチ集合に基づき、平均補正済み画像パッチ集合を生成する、画像パッチ平均補正部と、
前記画像パッチ平均補正部で生成された平均補正済み画像パッチ集合の最小特異値を算出する、最小特異値算出部と、
前記最小特異値算出部で算出された最小特異値に基づき、前記ノイズレベルを算出する、ノイズレベル算出部と、
を備えることを特徴とするノイズレベル推定装置。
【請求項4】
前記画像パッチ平均補正部では、次の数式に基づき、平均補正済み画像パッチ集合生成処理を行うことにより、前記平均補正済み画像パッチ集合を算出し、

ここで、

は前記平均補正済み画像パッチ集合を表し、

は前記画像パッチ集合を表し、

は前記画像におけるi番目の画像パッチを表し、Nは前記画像パッチ集合の要素数を表し、

は画像パッチの平均を表し、
前記最小特異値算出部が、最小特異値算出処理を行うことにより、前記平均補正済み画像パッチ集合の前記最小特異値

を算出し、
前記ノイズレベル算出部が、

に基づき、ノイズレベル算出処理を行うことにより、前記ノイズレベルを算出し、
ここで、

は前記ノイズレベルを表す請求項3に記載のノイズレベル推定装置。
【請求項5】
ノイズを含む一枚の画像から当該画像のノイズレベルを推定するノイズレベル推定装置であって、
前記画像から高周波成分画像を抽出する、高周波成分抽出部と、
前記高周波成分抽出部で抽出された高周波成分画像から、高周波成分画像パッチ集合を生成する、高周波成分画像パッチ集合生成部と、
前記高周波成分画像パッチ集合に基づき、前記ノイズレベルを推定する、ノイズレベル推定部と、
を備えることを特徴とするノイズレベル推定装置。
【請求項6】
ノイズを含む一枚の画像から当該画像のノイズレベルを推定するノイズレベル推定装置であって、
前記画像から画像パッチ集合を生成する、画像パッチ集合生成部と、
前記画像パッチ集合生成部で生成された画像パッチ集合から、高周波成分画像パッチ集合を抽出する、高周波成分画像パッチ抽出部と、
前記高周波成分画像パッチ集合に基づき、前記ノイズレベルを推定する、ノイズレベル推定部と、
を備えることを特徴とするノイズレベル推定装置。
【請求項7】
前記ノイズレベル推定部は、
前記高周波成分画像パッチ集合に基づき、前記高周波成分画像パッチ集合に対応する分散共分散行列を算出する、分散共分散行列算出部と、
前記分散共分散行列算出部で算出された分散共分散行列の最小固有値を算出する、最小固有値算出部と、
前記最小固有値算出部で算出された最小固有値に基づき、前記ノイズレベルを算出する、ノイズレベル算出部と、
を備える請求項5又は請求項6に記載のノイズレベル推定装置。
【請求項8】
前記ノイズレベル推定部は、
前記高周波成分画像パッチ集合に基づき、平均補正済み高周波成分画像パッチ集合を生成する、高周波成分画像パッチ平均補正部と、
前記高周波成分画像パッチ平均補正部で生成された平均補正済み高周波成分画像パッチ集合の最小特異値を算出する、最小特異値算出部と、
前記最小特異値算出部で算出された最小特異値に基づき、前記ノイズレベルを算出する、ノイズレベル算出部と、
を備える請求項5又は請求項6に記載のノイズレベル推定装置。
【請求項9】
ノイズを含む一枚の画像から当該画像のノイズレベルを推定するノイズレベル推定装置であって、
前記画像から画像パッチ集合を生成する、画像パッチ集合生成部と、
前記画像パッチ集合生成部で生成された画像パッチ集合から、複数の画像パッチを選択し、選択した複数の画像パッチを選択画像パッチ集合とする、画像パッチ選択部と、
前記画像パッチ選択部で得られた選択画像パッチ集合に基づき、前記ノイズレベルを推定する、ノイズレベル推定部と、
を備えることを特徴とするノイズレベル推定装置。
【請求項10】
前記画像パッチ選択部は、
前記画像パッチ集合に属する全ての画像パッチに対して、所定の指標算出方法に基づき、画像パッチの指標を算出する、指標算出部と、
前記画像パッチ集合に属する全ての画像パッチに対して、前記指標算出部で算出された指標及び所定の閾値に基づき、指標閾値に基づく画像パッチ選択処理を行うことにより、画像パッチを選択し、選択した画像パッチを選択画像パッチ集合とする、指標閾値に基づく画像パッチ選択部と、
を備え、
前記指標閾値に基づく画像パッチ選択処理では、前記指標と前記所定の閾値を比較し、前記指標が前記所定の閾値以下である場合に、前記指標に対応する画像パッチを選択し、前記指標が前記所定の閾値より大きい場合に、前記指標に対応する画像パッチを選択しないようにしている請求項9に記載のノイズレベル推定装置。
【請求項11】
前記画像パッチ選択部は、
前記画像パッチ集合に属する全ての画像パッチに対して、所定の指標算出方法に基づき、画像パッチの指標を算出する、指標算出部と、
前記画像パッチ集合の中から、前記指標算出部で算出された指標の中で一番小さい指標から昇順に、又は、前記指標算出部で算出された指標の中で一番大きい指標から降順に、所定個数の指標に対応する画像パッチを選択し、選択した画像パッチを選択画像パッチ集合とする、上位指標に基づく画像パッチ選択部と、
を備える請求項9に記載のノイズレベル推定装置。
【請求項12】
前記指標算出部は、x微分算出部と、y微分算出部と、微分行列生成部と、最大固有値算出部とを備え、
前記指標算出部では、前記画像パッチ集合に属する全ての画像パッチに対して、前記x微分算出部が、画像パッチのx微分を画像パッチ毎に算出するとともに、前記y微分算出部が、画像パッチのy微分を画像パッチ毎に算出し、
前記微分行列生成部が、前記x微分算出部で算出された画像パッチのx微分、及び、前記y微分算出部で算出された画像パッチのy微分を用い、画像パッチの微分行列を画像パッチ毎に生成し、
前記最大固有値算出部が、前記画像パッチの微分行列の最大固有値を画像パッチ毎に算出し、算出した最大固有値を画像パッチの指標として出力する請求項10又は請求項11に記載のノイズレベル推定装置。
【請求項13】
前記指標算出部は、x微分算出部と、y微分算出部と、xy微分行列生成部と、最大特異値算出部とを備え、
前記指標算出部では、前記画像パッチ集合に属する全ての画像パッチに対して、前記x微分算出部が、画像パッチのx微分を画像パッチ毎に算出するとともに、前記y微分算出部が、画像パッチのy微分を画像パッチ毎に算出し、
前記xy微分行列生成部が、前記x微分算出部で算出された画像パッチのx微分、及び、前記y微分算出部で算出された画像パッチのy微分を用い、画像パッチのxy微分行列を画像パッチ毎に生成し、
前記最大特異値算出部が、前記画像パッチのxy微分行列の最大特異値を画像パッチ毎に算出し、算出した最大特異値を画像パッチの指標として出力する請求項10又は請求項11に記載のノイズレベル推定装置。
【請求項14】
前記指標算出部が、画像パッチ集合に属する全ての画像パッチに対して、次の数式に基づき、画像パッチの分散を画像パッチ毎に算出し、算出した画像パッチの分散を画像パッチの指標として出力し、


ただし、

は画像パッチ

の分散を表し、Mは画像パッチ

の画素数を表し、

は画像パッチ

のk番目の画素の画素値を表す請求項10又は請求項11に記載のノイズレベル推定装置。
【請求項15】
前記ノイズレベル推定部は、
前記選択画像パッチ集合に基づき、前記選択画像パッチ集合に対応する分散共分散行列を算出する、分散共分散行列算出部と、
前記分散共分散行列算出部で算出された分散共分散行列の最小固有値を算出する、最小固有値算出部と、
前記最小固有値算出部で算出された最小固有値に基づき、前記ノイズレベルを算出する、ノイズレベル算出部と、
を備える請求項9乃至請求項14の何れかに記載のノイズレベル推定装置。
【請求項16】
前記ノイズレベル推定部は、
前記選択画像パッチ集合に基づき、平均補正済み選択画像パッチ集合を生成する、選択画像パッチ平均補正部と、
前記選択画像パッチ平均補正部で生成された平均補正済み選択画像パッチ集合の最小特異値を算出する、最小特異値算出部と、
前記最小特異値算出部で算出された最小特異値に基づき、前記ノイズレベルを算出する、ノイズレベル算出部と、
を備える請求項9乃至請求項14の何れかに記載のノイズレベル推定装置。
【請求項17】
ノイズを含む一枚の画像から、ノイズレベル推定を繰り返すことにより、当該画像のノイズレベルを推定するノイズレベル推定装置であって、
画像パッチ集合生成部と、指標算出部と、指標閾値に基づく画像パッチ選択部と、ノイズレベル推定部と、閾値変換部と、ノイズレベル推定繰り返し終了判定部とを備え、
前記画像パッチ集合生成部は、前記画像から画像パッチ集合を生成し、
前記指標算出部は、前記画像パッチ集合に属する全ての画像パッチに対して、所定の指標算出方法に基づき、画像パッチの指標を算出し、
前記指標閾値に基づく画像パッチ選択部は、前記画像パッチ集合に属する全ての画像パッチに対して、前記指標算出部で算出された指標、及び、前記閾値変換部からの閾値に基づき、指標閾値に基づく画像パッチ選択処理を行うことにより、画像パッチを選択し、選択した画像パッチを選択画像パッチ集合とし、
前記ノイズレベル推定部は、前記画像パッチ集合又は前記選択画像パッチ集合に基づき、前記ノイズレベルを推定し、推定したノイズレベルを前記ノイズレベル推定繰り返し終了判定部に出力し、
前記閾値変換部は、前記ノイズレベル推定繰り返し終了判定部からの前記ノイズレベルを前記閾値に変換し、変換した閾値を前記指標閾値に基づく画像パッチ選択部に出力し、
前記ノイズレベル推定繰り返し終了判定部は、所定の判定条件に基づき、ノイズレベル推定繰り返し終了を判定し、ノイズレベル推定繰り返し終了と判定しない場合に、前記ノイズレベル推定部からの前記ノイズレベルを前記閾値変換部に出力し、ノイズレベル推定繰り返し終了と判定した場合に、前記ノイズレベル推定部からの前記ノイズレベルを、前記ノイズレベル推定装置が推定したノイズレベルとすることを特徴とするノイズレベル推定装置。
【請求項18】
前記所定の判定条件は、第1の判定条件と第2の判定条件であり、
前記第1の判定条件は、k>0(ただし、kはノイズレベル推定処理の繰り返し回数である。)であり、
前記第2の判定条件は、

である(ただし、

は前記ノイズレベル推定部により推定されたノイズレベルである。)。
前記ノイズレベル推定繰り返し終了判定部では、前記第1の判定条件及び前記第2の判定条件を満たした場合に、ノイズレベル推定繰り返し終了と判定する請求項17に記載のノイズレベル推定装置。
【請求項19】
前記指標算出部は、x微分算出部と、y微分算出部と、微分行列生成部と、最大固有値算出部とを備え、
前記指標算出部では、前記画像パッチ集合に属する全ての画像パッチに対して、前記x微分算出部が、画像パッチのx微分を画像パッチ毎に算出するとともに、前記y微分算出部が、画像パッチのy微分を画像パッチ毎に算出し、
前記微分行列生成部が、前記x微分算出部で算出された画像パッチのx微分、及び、前記y微分算出部で算出された画像パッチのy微分を用い、画像パッチの微分行列を画像パッチ毎に生成し、
前記最大固有値算出部が、前記画像パッチの微分行列の最大固有値を画像パッチ毎に算出し、算出した最大固有値を画像パッチの指標として出力する請求項17又は請求項18に記載のノイズレベル推定装置。
【請求項20】
前記指標算出部は、x微分算出部と、y微分算出部と、xy微分行列生成部と、最大特異値算出部とを備え、
前記指標算出部では、前記画像パッチ集合に属する全ての画像パッチに対して、前記x微分算出部が、画像パッチのx微分を画像パッチ毎に算出するとともに、前記y微分算出部が、画像パッチのy微分を画像パッチ毎に算出し、
前記xy微分行列生成部が、前記x微分算出部で算出された画像パッチのx微分、及び、前記y微分算出部で算出された画像パッチのy微分を用い、画像パッチのxy微分行列を画像パッチ毎に生成し、
前記最大特異値算出部が、前記画像パッチのxy微分行列の最大特異値を画像パッチ毎に算出し、算出した最大特異値を画像パッチの指標として出力する請求項17又は請求項18に記載のノイズレベル推定装置。
【請求項21】
前記指標算出部が、画像パッチ集合に属する全ての画像パッチに対して、次の数式に基づき、画像パッチの分散を画像パッチ毎に算出し、算出した画像パッチの分散を画像パッチの指標として出力し、

ただし、

は画像パッチ

の分散を表し、Mは画像パッチ

の画素数を表し、

は画像パッチ

のk番目の画素の画素値を表す請求項17又は請求項18に記載のノイズレベル推定装置。
【請求項22】
ノイズを含む一枚の画像から当該画像のノイズレベルを推定するノイズレベル推定装置であって、
高周波成分抽出部と、高周波成分画像パッチ集合生成部と、低周波成分抽出部と、低周波成分画像パッチ集合生成部と、低周波成分画像パッチ選択部と、対応高周波成分画像パッチ抽出部と、ノイズレベル推定部とを備え、
前記高周波成分抽出部が、前記画像に対し、高周波成分抽出処理を行うことにより、前記画像の高周波成分画像を抽出し、
前記高周波成分画像パッチ集合生成部が、前記高周波成分画像に対して、高周波成分画像パッチ集合生成処理を行うことにより、高周波成分画像パッチ集合を生成し、
前記低周波成分抽出部が、前記画像に対し、低周波成分抽出処理を行うことにより、前記画像の低周波成分画像を抽出し、
前記低周波成分画像パッチ集合生成部が、前記低周波成分画像に対して、低周波成分画像パッチ集合生成処理を行うことにより、低周波成分画像パッチ集合を生成し、
前記低周波成分画像パッチ選択部が、前記低周波成分画像パッチ集合の中から、所定の画像パッチ選択方法に基づき、複数の低周波成分画像パッチを選択し、選択した複数の低周波成分画像パッチを選択低周波成分画像パッチ集合とし、
前記対応高周波成分画像パッチ抽出部が、前記選択低周波成分画像パッチ集合に属する全ての低周波成分画像パッチに対し、対応高周波成分画像パッチ抽出処理を行うことにより、これら全ての低周波成分画像パッチに対応する高周波成分画像パッチを、対応高周波成分画像パッチとして抽出し、抽出したこれらの対応高周波成分画像パッチを対応高周波成分画像パッチ集合とし、
前記ノイズレベル推定部が、前記対応高周波成分画像パッチ集合に基づき、前記ノイズレベルを推定し、
前記対応高周波成分画像パッチ抽出処理は、低周波成分画像パッチと同じ画素位置を有する高周波成分画像パッチを、対応高周波成分画像パッチとして抽出する処理であることを特徴とするノイズレベル推定装置。
【請求項23】
前記ノイズレベル推定部は、
前記対応高周波成分画像パッチ集合に基づき、前記対応高周波成分画像パッチ集合に対応する分散共分散行列を算出する、分散共分散行列算出部と、
前記分散共分散行列算出部で算出された分散共分散行列の最小固有値を算出する、最小固有値算出部と、
前記最小固有値算出部で算出された最小固有値に基づき、前記ノイズレベルを算出する、ノイズレベル算出部と、
を備える請求項22に記載のノイズレベル推定装置。
【請求項24】
前記ノイズレベル推定部は、
前記対応高周波成分画像パッチ集合に基づき、平均補正済み対応高周波成分画像パッチ集合を生成する、対応高周波成分画像パッチ平均補正部と、
前記対応高周波成分画像パッチ平均補正部で生成された平均補正済み対応高周波成分画像パッチ集合の最小特異値を算出する、最小特異値算出部と、
前記最小特異値算出部で算出された最小特異値に基づき、前記ノイズレベルを算出する、ノイズレベル算出部と、
を備える請求項22に記載のノイズレベル推定装置。
【請求項25】
ノイズを含む一枚の画像から当該画像のノイズレベルを推定するノイズレベル推定方法であって、
前記画像から画像パッチ集合を生成する、画像パッチ集合生成ステップと、
前記画像パッチ集合生成ステップで生成された画像パッチ集合に基づき、前記ノイズレベルを推定する、ノイズレベル推定ステップと、
を有し、
前記ノイズレベル推定ステップは、
前記画像パッチ集合に基づき、前記画像パッチ集合に対応する分散共分散行列を算出する、分散共分散行列算出ステップと、
前記分散共分散行列算出ステップで算出された分散共分散行列の最小固有値を算出する、最小固有値算出ステップと、
前記最小固有値算出ステップで算出された最小固有値に基づき、前記ノイズレベルを算出する、ノイズレベル算出ステップと、
を有することを特徴とするノイズレベル推定方法。
【請求項26】
前記分散共分散行列算出ステップでは、次の数式に基づき、分散共分散行列算出処理を行うことにより、前記分散共分散行列を算出し、

ここで、

は前記画像パッチ集合を表し、

は前記画像におけるi番目の画像パッチを表し、Nは前記画像パッチ集合の要素数を表し、

は平均補正済み画像パッチ集合を表し、

は画像パッチの平均を表し、

は前記分散共分散行列を表し、
前記最小固有値算出ステップでは、最小固有値算出処理を行うことにより、前記分散共分散行列の前記最小固有値

を算出し、
前記ノイズレベル算出ステップでは、

に基づき、ノイズレベル算出処理を行うことにより、前記ノイズレベルを算出し、
ここで、

は前記ノイズレベルを表す請求項25に記載のノイズレベル推定方法。
【請求項27】
ノイズを含む一枚の画像から当該画像のノイズレベルを推定するノイズレベル推定方法であって、
前記画像から画像パッチ集合を生成する、画像パッチ集合生成ステップと、
前記画像パッチ集合生成ステップで生成された画像パッチ集合に基づき、前記ノイズレベルを推定する、ノイズレベル推定ステップと、
を有し、
前記ノイズレベル推定ステップは、
前記画像パッチ集合に基づき、平均補正済み画像パッチ集合を生成する、画像パッチ平均補正ステップと、
前記画像パッチ平均補正ステップで生成された平均補正済み画像パッチ集合の最小特異値を算出する、最小特異値算出ステップと、
前記最小特異値算出ステップで算出された最小特異値に基づき、前記ノイズレベルを算出する、ノイズレベル算出ステップと、
を有することを特徴とするノイズレベル推定方法。
【請求項28】
前記画像パッチ平均補正ステップでは、次の数式に基づき、平均補正済み画像パッチ集合生成処理を行うことにより、前記平均補正済み画像パッチ集合を算出し、

ここで、

は前記平均補正済み画像パッチ集合を表し、

は前記画像パッチ集合を表し、

は前記画像におけるi番目の画像パッチを表し、Nは前記画像パッチ集合の要素数を表し、

は画像パッチの平均を表し、
前記最小特異値算出ステップが、最小特異値算出処理を行うことにより、前記平均補正済み画像パッチ集合の前記最小特異値

を算出し、
前記ノイズレベル算出ステップが、

に基づき、ノイズレベル算出処理を行うことにより、前記ノイズレベルを算出し、
ここで、

は前記ノイズレベルを表す請求項27に記載のノイズレベル推定方法。
【請求項29】
ノイズを含む一枚の画像から当該画像のノイズレベルを推定するノイズレベル推定方法であって、
前記画像から高周波成分画像を抽出する、高周波成分抽出ステップと、
前記高周波成分抽出ステップで抽出された高周波成分画像から、高周波成分画像パッチ集合を生成する、高周波成分画像パッチ集合生成ステップと、
前記高周波成分画像パッチ集合に基づき、前記ノイズレベルを推定する、ノイズレベル推定ステップと、
を有することを特徴とするノイズレベル推定方法。
【請求項30】
ノイズを含む一枚の画像から当該画像のノイズレベルを推定するノイズレベル推定方法であって、
前記画像から画像パッチ集合を生成する、画像パッチ集合生成ステップと、
前記画像パッチ集合生成ステップで生成された画像パッチ集合から、高周波成分画像パッチ集合を抽出する、高周波成分画像パッチ抽出ステップと、
前記高周波成分画像パッチ集合に基づき、前記ノイズレベルを推定する、ノイズレベル推定ステップと、
を有することを特徴とするノイズレベル推定方法。
【請求項31】
前記ノイズレベル推定ステップは、
前記高周波成分画像パッチ集合に基づき、前記高周波成分画像パッチ集合に対応する分散共分散行列を算出する、分散共分散行列算出ステップと、
前記分散共分散行列算出ステップで算出された分散共分散行列の最小固有値を算出する、最小固有値算出ステップと、
前記最小固有値算出ステップで算出された最小固有値に基づき、前記ノイズレベルを算出する、ノイズレベル算出ステップと、
を有する請求項29又は請求項30に記載のノイズレベル推定方法。
【請求項32】
前記ノイズレベル推定ステップは、
前記高周波成分画像パッチ集合に基づき、平均補正済み高周波成分画像パッチ集合を生成する、高周波成分画像パッチ平均補正ステップと、
前記高周波成分画像パッチ平均補正ステップで生成された平均補正済み高周波成分画像パッチ集合の最小特異値を算出する、最小特異値算出ステップと、
前記最小特異値算出ステップで算出された最小特異値に基づき、前記ノイズレベルを算出する、ノイズレベル算出ステップと、
を有する請求項29又は請求項30に記載のノイズレベル推定方法。
【請求項33】
ノイズを含む一枚の画像から当該画像のノイズレベルを推定するノイズレベル推定方法であって、
前記画像から画像パッチ集合を生成する、画像パッチ集合生成ステップと、
前記画像パッチ集合生成ステップで生成された画像パッチ集合から、複数の画像パッチを選択し、選択した複数の画像パッチを選択画像パッチ集合とする、画像パッチ選択ステップと、
前記画像パッチ選択ステップで得られた選択画像パッチ集合に基づき、前記ノイズレベルを推定する、ノイズレベル推定ステップと、
を有することを特徴とするノイズレベル推定方法。
【請求項34】
前記画像パッチ選択ステップは、
前記画像パッチ集合に属する全ての画像パッチに対して、所定の指標算出方法に基づき、画像パッチの指標を算出する、指標算出ステップと、
前記画像パッチ集合に属する全ての画像パッチに対して、前記指標算出ステップで算出された指標及び所定の閾値に基づき、指標閾値に基づく画像パッチ選択処理を行うことにより、画像パッチを選択し、選択した画像パッチを選択画像パッチ集合とする、指標閾値に基づく画像パッチ選択ステップと、
を有し、
前記指標閾値に基づく画像パッチ選択処理では、前記指標と前記所定の閾値を比較し、前記指標が前記所定の閾値以下である場合に、前記指標に対応する画像パッチを選択し、前記指標が前記所定の閾値より大きい場合に、前記指標に対応する画像パッチを選択しないようにしている請求項33に記載のノイズレベル推定方法。
【請求項35】
前記画像パッチ選択ステップは、
前記画像パッチ集合に属する全ての画像パッチに対して、所定の指標算出方法に基づき、画像パッチの指標を算出する、指標算出ステップと、
前記画像パッチ集合の中から、前記指標算出ステップで算出された指標の中で一番小さい指標から昇順に、又は、前記指標算出ステップで算出された指標の中で一番大きい指標から降順に、所定個数の指標に対応する画像パッチを選択し、選択した画像パッチを選択画像パッチ集合とする、上位指標に基づく画像パッチ選択ステップと、
を有する請求項33に記載のノイズレベル推定方法。
【請求項36】
前記指標算出ステップは、x微分算出ステップと、y微分算出ステップと、微分行列生成ステップと、最大固有値算出ステップとを有し、
前記画像パッチ集合に属する全ての画像パッチに対して、前記x微分算出ステップが、画像パッチのx微分を画像パッチ毎に算出するとともに、前記y微分算出ステップが、画像パッチのy微分を画像パッチ毎に算出し、
前記微分行列生成ステップが、前記x微分算出ステップで算出された画像パッチのx微分、及び、前記y微分算出ステップで算出された画像パッチのy微分を用い、画像パッチの微分行列を画像パッチ毎に生成し、
前記最大固有値算出ステップが、前記画像パッチの微分行列の最大固有値を画像パッチ毎に算出し、算出した最大固有値を画像パッチの指標とする請求項34又は請求項35に記載のノイズレベル推定方法。
【請求項37】
前記指標算出ステップは、x微分算出ステップと、y微分算出ステップと、xy微分行列生成ステップと、最大特異値算出ステップとを有し、
前記画像パッチ集合に属する全ての画像パッチに対して、前記x微分算出ステップが、画像パッチのx微分を画像パッチ毎に算出するとともに、前記y微分算出ステップが、画像パッチのy微分を画像パッチ毎に算出し、
前記xy微分行列生成ステップが、前記x微分算出ステップで算出された画像パッチのx微分、及び、前記y微分算出ステップで算出された画像パッチのy微分を用い、画像パッチのxy微分行列を画像パッチ毎に生成し、
前記最大特異値算出ステップが、前記画像パッチのxy微分行列の最大特異値を画像パッチ毎に算出し、算出した最大特異値を画像パッチの指標とする請求項34又は請求項35に記載のノイズレベル推定方法。
【請求項38】
前記指標算出ステップが、画像パッチ集合に属する全ての画像パッチに対して、次の数式に基づき、画像パッチの分散を画像パッチ毎に算出し、算出した画像パッチの分散を画像パッチの指標とし、

ただし、

は画像パッチ

の分散を表し、Mは画像パッチ

の画素数を表し、

は画像パッチ

のk番目の画素の画素値を表す請求項34又は請求項35に記載のノイズレベル推定方法。
【請求項39】
前記ノイズレベル推定ステップは、
前記選択画像パッチ集合に基づき、前記選択画像パッチ集合に対応する分散共分散行列を算出する、分散共分散行列算出ステップと、
前記分散共分散行列算出ステップで算出された分散共分散行列の最小固有値を算出する、最小固有値算出ステップと、
前記最小固有値算出ステップで算出された最小固有値に基づき、前記ノイズレベルを算出する、ノイズレベル算出ステップと、
を有する請求項33乃至請求項38の何れかに記載のノイズレベル推定方法。
【請求項40】
前記ノイズレベル推定ステップは、
前記選択画像パッチ集合に基づき、平均補正済み選択画像パッチ集合を生成する、選択画像パッチ平均補正ステップと、
前記選択画像パッチ平均補正ステップで生成された平均補正済み選択画像パッチ集合の最小特異値を算出する、最小特異値算出ステップと、
前記最小特異値算出ステップで算出された最小特異値に基づき、前記ノイズレベルを算出する、ノイズレベル算出ステップと、
を有する請求項33乃至請求項38の何れかに記載のノイズレベル推定方法。
【請求項41】
ノイズを含む一枚の画像から、ノイズレベル推定を繰り返すことにより、当該画像のノイズレベルを推定するノイズレベル推定方法であって、
画像パッチ集合生成ステップと、指標算出ステップと、指標閾値に基づく画像パッチ選択ステップと、ノイズレベル推定ステップと、閾値変換ステップと、ノイズレベル推定繰り返し終了判定ステップとを有し、
前記画像パッチ集合生成ステップは、前記画像から画像パッチ集合を生成し、
前記指標算出ステップは、前記画像パッチ集合に属する全ての画像パッチに対して、所定の指標算出方法に基づき、画像パッチの指標を算出し、
前記指標閾値に基づく画像パッチ選択ステップは、前記画像パッチ集合に属する全ての画像パッチに対して、前記指標算出ステップで算出された指標、及び、前記閾値変換ステップで変換された閾値に基づき、指標閾値に基づく画像パッチ選択処理を行うことにより、画像パッチを選択し、選択した画像パッチを選択画像パッチ集合とし、
前記ノイズレベル推定ステップは、前記画像パッチ集合又は前記選択画像パッチ集合に基づき、前記ノイズレベルを推定し、
前記閾値変換ステップは、前記ノイズレベル推定ステップで推定された前記ノイズレベルを前記閾値に変換し、
前記ノイズレベル推定繰り返し終了判定ステップは、所定の判定条件に基づき、ノイズレベル推定繰り返し終了を判定し、ノイズレベル推定繰り返し終了と判定した場合に、前記ノイズレベル推定ステップで推定された前記ノイズレベルを、前記ノイズレベル推定方法により推定されたノイズレベルとすることを特徴とするノイズレベル推定方法。
【請求項42】
前記所定の判定条件は、第1の判定条件と第2の判定条件であり、
前記第1の判定条件は、k>0(ただし、kはノイズレベル推定処理の繰り返し回数である。)であり、
前記第2の判定条件は、

である(ただし、

は前記ノイズレベル推定ステップで推定されたノイズレベルである。)。
前記ノイズレベル推定繰り返し終了判定ステップでは、前記第1の判定条件及び前記第2の判定条件を満たした場合に、ノイズレベル推定繰り返し終了と判定する請求項41に記載のノイズレベル推定方法。
【請求項43】
前記指標算出ステップは、x微分算出ステップと、y微分算出ステップと、微分行列生成ステップと、最大固有値算出ステップとを有し、
前記画像パッチ集合に属する全ての画像パッチに対して、前記x微分算出ステップが、画像パッチのx微分を画像パッチ毎に算出するとともに、前記y微分算出ステップが、画像パッチのy微分を画像パッチ毎に算出し、
前記微分行列生成ステップが、前記x微分算出ステップで算出された画像パッチのx微分、及び、前記y微分算出ステップで算出された画像パッチのy微分を用い、画像パッチの微分行列を画像パッチ毎に生成し、
前記最大固有値算出ステップが、前記画像パッチの微分行列の最大固有値を画像パッチ毎に算出し、算出した最大固有値を画像パッチの指標とする請求項41又は請求項42に記載のノイズレベル推定方法。
【請求項44】
前記指標算出ステップは、x微分算出ステップと、y微分算出ステップと、xy微分行列生成ステップと、最大特異値算出ステップとを有し、
前記画像パッチ集合に属する全ての画像パッチに対して、前記x微分算出ステップが、画像パッチのx微分を画像パッチ毎に算出するとともに、前記y微分算出ステップが、画像パッチのy微分を画像パッチ毎に算出し、
前記xy微分行列生成ステップが、前記x微分算出ステップで算出された画像パッチのx微分、及び、前記y微分算出ステップで算出された画像パッチのy微分を用い、画像パッチのxy微分行列を画像パッチ毎に生成し、
前記最大特異値算出ステップが、前記画像パッチのxy微分行列の最大特異値を画像パッチ毎に算出し、算出した最大特異値を画像パッチの指標とする請求項41又は請求項42に記載のノイズレベル推定方法。
【請求項45】
前記指標算出ステップが、画像パッチ集合に属する全ての画像パッチに対して、次の数式に基づき、画像パッチの分散を画像パッチ毎に算出し、算出した画像パッチの分散を画像パッチの指標とし、

ただし、

は画像パッチ

の分散を表し、Mは画像パッチ

の画素数を表し、

は画像パッチ

のk番目の画素の画素値を表す請求項41又は請求項42に記載のノイズレベル推定方法。
【請求項46】
ノイズを含む一枚の画像から当該画像のノイズレベルを推定するノイズレベル推定方法であって、
高周波成分抽出ステップと、高周波成分画像パッチ集合生成ステップと、低周波成分抽出ステップと、低周波成分画像パッチ集合生成ステップと、低周波成分画像パッチ選択ステップと、対応高周波成分画像パッチ抽出ステップと、ノイズレベル推定ステップとを有し、
前記高周波成分抽出ステップが、前記画像に対し、高周波成分抽出処理を行うことにより、前記画像の高周波成分画像を抽出し、
前記高周波成分画像パッチ集合生成ステップが、前記高周波成分画像に対して、高周波成分画像パッチ集合生成処理を行うことにより、高周波成分画像パッチ集合を生成し、
前記低周波成分抽出ステップが、前記画像に対し、低周波成分抽出処理を行うことにより、前記画像の低周波成分画像を抽出し、
前記低周波成分画像パッチ集合生成ステップが、前記低周波成分画像に対して、低周波成分画像パッチ集合生成処理を行うことにより、低周波成分画像パッチ集合を生成し、
前記低周波成分画像パッチ選択ステップが、前記低周波成分画像パッチ集合の中から、所定の画像パッチ選択方法に基づき、複数の低周波成分画像パッチを選択し、選択した複数の低周波成分画像パッチを選択低周波成分画像パッチ集合とし、
前記対応高周波成分画像パッチ抽出ステップが、前記選択低周波成分画像パッチ集合に属する全ての低周波成分画像パッチに対し、対応高周波成分画像パッチ抽出処理を行うことにより、これら全ての低周波成分画像パッチに対応する高周波成分画像パッチを、対応高周波成分画像パッチとして抽出し、抽出したこれらの対応高周波成分画像パッチを対応高周波成分画像パッチ集合とし、
前記ノイズレベル推定ステップが、前記対応高周波成分画像パッチ集合に基づき、前記ノイズレベルを推定し、
前記対応高周波成分画像パッチ抽出処理は、低周波成分画像パッチと同じ画素位置を有する高周波成分画像パッチを、対応高周波成分画像パッチとして抽出する処理であることを特徴とするノイズレベル推定方法。
【請求項47】
前記ノイズレベル推定ステップは、
前記対応高周波成分画像パッチ集合に基づき、前記対応高周波成分画像パッチ集合に対応する分散共分散行列を算出する、分散共分散行列算出ステップと、
前記分散共分散行列算出ステップで算出された分散共分散行列の最小固有値を算出する、最小固有値算出ステップと、
前記最小固有値算出ステップで算出された最小固有値に基づき、前記ノイズレベルを算出する、ノイズレベル算出ステップと、
を有する請求項46に記載のノイズレベル推定方法。
【請求項48】
前記ノイズレベル推定ステップは、
前記対応高周波成分画像パッチ集合に基づき、平均補正済み対応高周波成分画像パッチ集合を生成する、対応高周波成分画像パッチ平均補正ステップと、
前記対応高周波成分画像パッチ平均補正ステップで生成された平均補正済み対応高周波成分画像パッチ集合の最小特異値を算出する、最小特異値算出ステップと、
前記最小特異値算出ステップで算出された最小特異値に基づき、前記ノイズレベルを算出する、ノイズレベル算出ステップと、
を有する請求項46に記載のノイズレベル推定方法。
【請求項49】
請求項25乃至請求項48の何れかに記載のノイズレベル推定方法をコンピュータに実行させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate


【公開番号】特開2013−25368(P2013−25368A)
【公開日】平成25年2月4日(2013.2.4)
【国際特許分類】
【出願番号】特願2011−156656(P2011−156656)
【出願日】平成23年7月15日(2011.7.15)
【出願人】(304021417)国立大学法人東京工業大学 (1,821)
【Fターム(参考)】