画像処理装置、方法及びプログラム
【課題】画像の鮮鋭感を維持しながら、ノイズを除去することにある。
【解決手段】一実施形態の画像処理装置は、相関算出部、選択部、距離算出部、特徴量算出部、重み算出部及び画素値算出部を含む。相関算出部は、画像中の第１画素を含む第１領域と、複数の第１基底ベクトルとの相関を算出する。選択部は、相関の大きさに従って、第１基底ベクトルから１以上の第２基底ベクトルを選択する。距離算出部は、第２基底ベクトルによって生成される部分空間上で、第１領域と、複数の第２画素をそれぞれ含む複数の第２領域との距離を算出する。特徴量算出部は、第１基底ベクトルのうちの第３基底ベクトルに対応する相関を用いて、特徴量を算出する。重み算出部は、距離及び特徴量に応じて、第２画素に割り当てる重みを算出する。画素値算出部は、重みに応じて第２画素の画素値を加重平均して、出力画素値を算出する。
【解決手段】一実施形態の画像処理装置は、相関算出部、選択部、距離算出部、特徴量算出部、重み算出部及び画素値算出部を含む。相関算出部は、画像中の第１画素を含む第１領域と、複数の第１基底ベクトルとの相関を算出する。選択部は、相関の大きさに従って、第１基底ベクトルから１以上の第２基底ベクトルを選択する。距離算出部は、第２基底ベクトルによって生成される部分空間上で、第１領域と、複数の第２画素をそれぞれ含む複数の第２領域との距離を算出する。特徴量算出部は、第１基底ベクトルのうちの第３基底ベクトルに対応する相関を用いて、特徴量を算出する。重み算出部は、距離及び特徴量に応じて、第２画素に割り当てる重みを算出する。画素値算出部は、重みに応じて第２画素の画素値を加重平均して、出力画素値を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像のノイズを低減する画像処理装置、方法及びプログラムに関する。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置で取得された画像に発生するランダムノイズを低減する画像処理技術として、例えば、Ｎｏｎ−ｌｏｃａｌ Ｍｅａｎｓと呼ばれるアルゴリズムがある。このアルゴリズムを利用する画像処理装置は、処理対象の画素の周辺画素の画素値を加重平均して得られる平均画素値を、この画素の新たな画素値として出力している。
【０００３】
加重平均処理に用いる重みは、パラメータで制御される。このパラメータを平滑化強度と呼ぶ。ノイズを効果的に低減するために平滑化強度を高く設定すると、画像内のテクスチャ（模様）部にボケが発生し、その結果、画像の鮮鋭感が失われる。反対に、画像の鮮鋭感を維持するために平滑化強度を低く設定すると、ノイズが十分に低減されず、さらに、画像内の平坦部にムラが生じることがある。従来、平滑化強度は、１つの画像に対して固定値とされる。即ち、画像中の各画素で同じ平滑化強度が用いられる。このため、ノイズの除去と鮮鋭感の維持とを両立することができない問題がある。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Ａ． Ｂｕａｄｅｓｓ， Ｂ． Ｃｏｌｌ， Ｊ．−Ｍ． Ｍｏｒｅｌ， “Ａ Ｎｏｎ−ｌｏｃａｌ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｉｍａｇｅ Ｄｅｎｏｉｓｉｎｇ，” Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ２００５， ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ， ｖｏｌ．２， ｐｐ．６０−６５．
【非特許文献２】河田諭志，五十川賢造，松本信幸，“自然画像の主成分分析を用いたＮｏｎ−ｌｏｃａｌ Ｍｅａｎｓによるノイズ除去，” ＳＳＩＩ２０１０，第１６回画像センシングシンポジウム，ＩＳ２−０６ １−６．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従って、画像の鮮鋭感を維持しながら、ノイズを十分に除去することができる画像処理装置が求められている。
【０００６】
本発明が解決しようとする課題は、画像の鮮鋭感を維持しながら、ノイズを除去することができる画像処理装置、方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００７】
一実施形態に係る画像処理装置は、相関算出部、選択部、距離算出部、特徴量算出部、重み算出部、及び画素値算出部を含む。相関算出部は、画像中の第１画素を含む第１領域と、予め用意される複数の第１基底ベクトルであって領域の局所構造を示す基底ベクトルのそれぞれとの相関を算出する。選択部は、前記相関の大きさに従って、前記複数の第１基底ベクトルから１つ以上の第２基底ベクトルを選択する。距離算出部は、前記第２基底ベクトルによって生成される部分空間上で、前記第１領域と、複数の第２領域のそれぞれとの距離を算出する。前記複数の第２領域は、前記画像中の複数の第２画素をそれぞれ含む。特徴量算出部は、前記相関のうち、第１基底ベクトルのうちの所定の第３基底ベクトルに対応する相関を用いて、前記第１領域の特徴を示す特徴量を算出する。重み算出部は、前記距離及び前記特徴量に応じて、前記第２画素のそれぞれに割り当てる重みを算出する。画素値算出部は、複数の前記重みに応じて複数の前記第２画素の画素値を加重平均して、出力画素値を算出する。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る画像処理装置を概略的に示すブロック図。
【図２】図１の画像処理装置の動作の一例を示すフローチャート。
【図３】図１の画像処理装置が処理する画像を概略的に示す図。
【図４】第２の実施形態に係る画像処理装置を概略的に示すブロック図。
【図５】図４の画像処理装置の動作の一例を示すフローチャート。
【発明を実施するための形態】
【０００９】
以下、必要に応じて図面を参照しながら、実施形態に係る画像処理装置、方法及びプログラムを説明する。なお、以下の実施形態では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
【００１０】
（第１の実施形態）
図１は、第１の実施形態に係る画像処理装置１００を概略的に示している。この画像処理装置１００は、図１に示されるように、相関算出部１０１、選択部１０２、射影部１０３、距離算出部１０４、特徴量算出部１０５、重み算出部１０７、及び画素値算出部１０８を備えている。
【００１１】
画像処理装置１００では、処理すべき画像（以下、入力画像という）は、相関算出部１０１、射影部１０３及び画素値算出部１０８へ送られる。この入力画像は、例えばカラー画像であり、入力画像を形成する各画素は、赤色、緑色及び青色の画素値を有する。本実施形態では、説明を簡単にするために、各画素が１つの画素値を有するものとして説明する。なお、入力画像は、カラー画像である例に限定されず、モノクロ画像であってもよい。入力画像がモノクロ画像である場合、入力画像内の各画素は、輝度値を画素値として有する。
【００１２】
相関算出部１０１は、入力画像に含まれる複数の画素から処理対象として選択された画素（以下、第１画素という）を含む第１領域と、予め用意される複数の基底ベクトルのそれぞれとの相関を算出する。これらの基底ベクトルは、例えば、相関算出部１０１の内部メモリ（図示せず）に予め格納されている。或いは、基底ベクトルは、相関算出部１０１などが適宜参照することができるように、図示しない記憶部に予め記憶されていてもよい。
【００１３】
選択部１０２は、相関算出部１０１によって算出された相関の大きさに従って、予め用意される複数の基底ベクトルから１つ以上の基底ベクトルを選択する。
【００１４】
射影部１０３は、選択部１０２によって選択された基底ベクトルにより生成される部分空間へ、第１領域及び複数の第２領域を射影する。第２領域は、入力画像中の第２画素を含む領域である。
【００１５】
距離算出部１０４は、前記部分空間上で、第１領域と第２領域のそれぞれとの距離を算出する。
【００１６】
特徴量算出部１０５は、予め用意される複数の基底ベクトルの中から選定される１以上の基底ベクトルに対応する相関を用いて、後述する平滑化強度を制御するための特徴量を算出する。
【００１７】
重み算出部１０７は、距離算出部１０４によって算出された距離と特徴量算出部１０５によって算出された特徴量とに基づいて、第２画素のそれぞれに割り当てる重みを算出する。
【００１８】
画素値算出部１０８は、重み算出部１０７によって算出された重みに従って第２画素の画素値を加重平均することにより、第１画素に割り当てる新たな画素値を算出する。
【００１９】
予め用意される基底ベクトル（第１基底ベクトルともいう）を生成する方法の一例を説明する。
まず、ノイズが重畳していない種々のカラー画像が用意され、これらの画像から所定サイズの部分画像が抽出される。次に、各部分画像に含まれる画素値を並べたベクトルがサンプルベクトルとして生成される。そして、部分画像のそれぞれから生成されたサンプルベクトルに対して主成分分析を行うことにより、基底ベクトルが生成される。例えば、部分画像が縦７画素及び横７画素の矩形ブロックであり、且つ、各画素が３色（赤色、緑色及び青色）の画素値を有する場合、１４７（＝７×７×３）個の基底ベクトルが生成される。この場合、各基底ベクトルは、１４７個の要素からなる。
【００２０】
このようにして生成された基底ベクトルは、テクスチャ（模様）部と高い相関を持つ基底ベクトル、エッジ部と高い相関を持つ基底ベクトル、平坦部と高い相関を持つ基底ベクトル、ノイズと高い相関を持つ基底ベクトルなどを含む。
【００２１】
本実施形態の画像処理装置１００は、主成分分析の結果として生成された基底ベクトルの一部を使用する。具体的には、本実施形態では、主成分分析の結果として生成された基底ベクトルの中から、所定値より小さい固有値を持つ基底ベクトルを削除する。大きな固有値を持つ基底ベクトルは、一般的な画像に多く存在する局所構造を表す。これに対し、小さい固有値を持つ基底ベクトルは、画像の局所構造の表現にはあまり寄与せず、さらに、入力画像に重畳しているノイズと高い相関を持つ可能性がある。従って、小さい固有値を持つ基底ベクトルを削除した基底ベクトルで生成される部分空間上で領域間の距離を算出することにより、ノイズの影響を低減した状態で領域間の距離を算出することができる。
【００２２】
出力画像の画質向上の観点からは、画像処理装置１００において使用される基底ベクトルに、小さい固有値を持つ基底ベクトルが含まれないことが望ましい。しかしながら、画像処理装置１００において使用される基底ベクトルには、小さい固有値を持つ基底ベクトルが含まれていてもよい。さらに、画像処理装置１００は、主成分分析の結果として生成された全ての基底ベクトルを使用しても構わない。
【００２３】
なお、基底ベクトルを生成する方法は、主成分分析に基づく方法に限定されず、正準相関分析に基づいていてもよい。さらに、基底ベクトルとしては、２次元離散フーリエ変換の基底、２次元離散ウェーブレット変換、２次元離散コサイン変換の基底などを利用してもよい。
【００２４】
次に、図２を参照して、画像処理装置１００の動作について説明する。
図２は、画像処理装置１００の動作の一例を概略的に示している。より詳細には、図２は、入力画像中の１つの画素に対して施される画像処理の手順を示している。本実施形態では、入力画像を形成する画素は、所定の順序で、例えば、ラスタスキャン順に１画素ずつ選択される。選択された画素（即ち、第１画素）は、以下に説明する手順に従って処理される。
【００２５】
ステップＳ２０１では、相関算出部１０１は、第１画素を含む第１領域と、予め用意される複数の（例えばＮ個の）基底ベクトルのそれぞれとの相関を算出する。本実施形態では、第１領域は、図３に示すように、第１画素３０１を中心とする入力画像３００上の局所領域３０２である。図３では、１つの小ブロックが１つの画素を示す。図３の例では、第１領域３０２は、縦３画素及び横３画素の矩形ブロックである。なお、第１領域３０２のサイズ及び形状は、図３に示される例に限定されず、任意に設定することができる。また、第１画素３０１が第１領域３０２の中心に位置していなくてもよい。
【００２６】
第１画素３０１が入力画像３００の端部に（例えば、左上の隅に）位置する画素である場合、第１領域３０２は、入力画像３００の外側の領域を含む。入力画像３００の外側の領域には、画素が配置されていないので、第１領域３０２は、入力画像３００の外側の領域に対応する画素位置に画素値を持たない。このような画素値を持たない画素位置には、入力画像３００の端部の画素値がコピーされる。なお、第１領域３０２が入力画像３００内に収まるように、入力画像３００の端部を除いて、第１画素３０１を選択するようにしてもよい。
【００２７】
ステップＳ２０１で第１領域と基底ベクトルとの相関を算出する具体的な方法を説明する。一例として、相関算出部１０１は、第１領域中の画素値を並べることにより生成されるベクトル（第１ベクトルという）と、Ｎ個の基底ベクトルのそれぞれとの内積を算出し、算出した内積の絶対値又は二乗値を相関として取得する。ここで、第１画素を入力画像中の第ｉ番目の画素とし、第１ベクトルをｖｉと表す。また、第１ベクトルｖｉの第ｋ番目の要素を（ｖｉ）ｋと表す。さらに、Ｎ個の基底ベクトルのうちの第ｎ番目の基底ベクトルをａｎと表し、基底ベクトルａｎの第ｋ番目の要素を（ａｎ）ｋと表す。第１領域と基底ベクトルとの相関ｐｎが第１ベクトルｖｉと基底ベクトルａｎとの内積の絶対値として算出される場合、相関ｐｎは、下記の数式（１）に従って算出される。
【数１】
【００２８】
なお、Ｎ個全ての基底ベクトルに関して第１領域との相関を算出する例を説明したが、これらの基底ベクトルのうちの１以上の基底ベクトルを、相関を算出する対象から除外してもよい。例えば、相関算出部１０１は、要素の総和の絶対値が最大である基底ベクトルと第１ベクトルとの相関を算出しなくてもよい。
【００２９】
要素の総和の絶対値が大きい基底ベクトルと第１領域との相関は、概して、要素の総和の絶対値が小さい基底ベクトルと第１領域との相関より大きい値になる。これは、特に、第１領域が明るい領域（即ち、平均画素値が大きい領域）である場合に顕著になる。このため、明るい領域では、次のステップＳ２０２において、要素の総和の絶対値が比較的に大きい少数の基底ベクトルのみが選択されることがある。即ち、明るい領域では、この領域がテクスチャ部か平坦部かを区別することができない。このように特定の基底ベクトルのみが選択される場合、最終的な出力画像において、平坦部にムラが発生したり、テクスチャ部にボケが発生することになる。従って、要素の総和の絶対値が比較的大きい１以上の基底ベクトルを除外して相関を算出することにより、第１領域の局所構造を適切に表現する基底ベクトルが選択されるようになり、最終的な出力画像におけるムラ及びボケの発生を防止することができる。
【００３０】
さらに、第１領域と基底ベクトルとの相関は、第１ベクトルと基底ベクトルとの内積に基づいて算出される例に限定されず、いかなる方法で算出されてもよい。
【００３１】
ステップＳ２０２では、選択部１０２は、ステップＳ２０１で算出された相関に従って、予め用意される基底ベクトルの中から、１つ以上の基底ベクトル（第２基底ベクトルともいう）を選択する。具体的には、選択部１０２は、基底ベクトルの相関の合計が閾値に達するまで、相関が大きい順に１以上の基底ベクトルを選択する。閾値ＰＴは、例えば、下記の数式（２）に示されるように、ステップＳ２０１で算出された相関ｐｎの総和の７割の値に設定される。
【数２】
【００３２】
このステップＳ２０２では、第１領域との相関が大きい基底ベクトルが選択される。これにより、後段の処理において、第１領域の局所構造を反映した部分空間上で第１領域と第２領域との距離が算出されるので、第１領域と似た構造を有する第２領域を精度よく探索することができる。
【００３３】
ステップＳ２０２で選択された基底ベクトルの数をｄとする。また、選択部１０２により選択された基底ベクトルをベクトルｂｎ（ｎ＝１，…，ｄ）で表示する。例えば、選択部１０２が３つの基底ベクトルａ１、ａ３及びａ８を選択した場合、以下の数式では、ａ１、ａ３及びａ８をそれぞれｂ１、ｂ２及びｂ３と表示する。なお、前述したように、特定の基底ベクトルを除外して相関を算出する場合、選択部１０２により選択された基底ベクトルは、除外された基底ベクトルを含む。例えば、基底ベクトルａ１が除外され、且つ、基底ベクトルａ２、ａ３及びａ６が選択される場合、選択部１０２は、基底ベクトルａ１、ａ２、ａ３及びａ６をそれぞれ基底ベクトルｂ１、ｂ２、ｂ３及びｂ４として出力する。
【００３４】
ステップＳ２０３では、射影部１０３は、選択部１０２により選択された基底ベクトルｂｎにより生成される部分空間へ、第１領域及び複数の第２領域を射影して、第１射影ベクトル及び複数の第２射影ベクトルを生成する。本実施形態では、第２領域は、図３に示されるように、第２画素３０３を中心とする縦３画素及び横３画素の矩形ブロック３０４である。典型的には、第２領域３０４は、第１領域３０２と同じサイズ及び同じ形状に設定される。第２画素３０３は、所定の探索範囲３０８に含まれる画素である。ここで、第２画素３０３を入力画像３００中の第ｊ番目の画素とする。図３では、探索範囲３０８は、第１画素３０１を中心とする縦９画素及び横９画素の矩形ブロックである。この場合、第２画素の数（即ち、第２領域の数）は、８１（＝９×９）個である。なお、探索範囲３０８のサイズ及び形状は、任意に設定することができる。さらに、探索範囲３０８に第１画素３０１が含まれていなくてもよい。
【００３５】
具体的には、射影部１０３は、下記の数式（３）に従って、第１領域から生成される第１ベクトルｖｉに対してベクトル変換を施して、第１射影ベクトルｖｉ´を生成する。
【数３】
【００３６】
ここで、ｆｉ，ｎは、第１ベクトルｖｉと基底ベクトルｂｎとの内積である。
【００３７】
さらに、射影部１０３は、第２領域中の画素値を要素として並べた第２ベクトルｖｊを生成する。そして、射影部１０３は、下記の数式（４）に従って、第２ベクトルｖｊに対してベクトル変換を施して、第２射影ベクトルｖｊ´を生成する。
【数４】
【００３８】
ステップＳ２０４では、距離算出部１０４は、基底ベクトルｂｎにより生成される部分空間上で、第１領域と第２領域との距離を算出する。具体的には、距離算出部１０４は、下記の数式（５）に従って、ステップＳ２０３で生成された第１射影ベクトルｖｉ´と第２射影ベクトルｖｊ´との距離Ｄ（ｉ，ｊ）を算出する。距離Ｄ（ｉ，ｊ）は、複数の第２領域のそれぞれについて算出される。
【数５】
【００３９】
なお、距離は、数式（５）に示される差分二乗和の例に限らず、差分絶対値和などで算出されてもよい。
【００４０】
ステップＳ２０５では、特徴量算出部１０５は、予め用意される複数の基底ベクトルのうちの１以上の所定の基底ベクトル（第３基底ベクトル）に対応する相関に基づいて、平滑化強度を制御するための特徴量を算出する。具体的には、まず、特徴量算出部１０５は、所定の基底ベクトルのそれぞれと第１領域との相関を相関算出部１０１から受け取る。続いて、特徴量算出部１０５は、相関算出部１０１から受け取った相関を合計し、この合計値を特徴量Ｔ（ｉ）として取得する。所定の基底ベクトルとしては、予め用意されるＮ個の基底ベクトルの中から、テクスチャ部との相関が高い基底ベクトルが選定される。これにより、第１画素ｉがテクスチャ部に属する画素であれば特徴量Ｔ（ｉ）は大きい値になり、第１画素ｉが平坦部に属する画素であれば特徴量Ｔ（ｉ）は小さい値になる。
【００４１】
なお、特徴量は、所定の基底ベクトルに対応する相関の合計に限らず、所定の基底ベクトルに対応する相関の合計と、予め用意されるＮ個全ての基底ベクトルに対応する相関の合計との比に基づく値であってもよい。
【００４２】
ステップＳ２０６では、重み算出部１０７は、ステップＳ２０４で算出された距離Ｄ（ｉ，ｊ）及びステップＳ２０５で算出された特徴量Ｔ（ｉ）に基づいて、第２画素ｊに割り当てる重みＷ（ｊ）を算出する。重みＷ（ｊ）は、距離Ｄ（ｉ，ｊ）及び特徴量Ｔに対して単調減少する。即ち、重みＷ（ｊ）は、距離Ｄ（ｉ，ｊ）が大きくなるほど小さく、且つ、特徴量Ｔ（ｉ）が大きくなるほど小さくなる。一例として、重みＷ（ｊ）は、下記の数式（６）に従って算出される。
【数６】
【００４３】
ここで、ｈは入力画像全体における平滑化の程度を指定するパラメータである。本実施形態では、このパラメータの二乗値ｈ２を平滑化強度と呼ぶ。平滑化強度ｈ２を高く設定すると、全ての画素ｊに割り当てられる重みＷ（ｊ）が相対的に大きくなり、即ち、強く平滑化されるようになる。その結果、入力画像のノイズが大きく低減される。
【００４４】
本実施形態では、第１画素ｉごとに特徴量Ｔ（ｉ）で平滑化強度が制御される。即ち、数式（６）においては、因子ｈ２／Ｔ（ｉ）を第１画素ｉに適用する平滑化強度と見なすことができる。この観点によれば、第１画素ｉがテクスチャ部に属する画素であれば特徴量Ｔ（ｉ）は大きい値になることから、テクスチャ部では、平滑化強度が低くなるように制御される。一方、第１画素ｉが平坦部に属する画素であれば特徴量Ｔ（ｉ）は小さい値になることから、平坦部では、平滑化強度が高くなるように制御される。従って、第１画素が属する領域の特徴（局所構造）に応じて、第１画素ｉに適用する平滑化強度が制御される。
【００４５】
ステップＳ２０７では、画素値算出部１０８は、ステップＳ２０６で算出された重みＷ（ｊ）に従って、探索範囲内の第２画素の画素値を加重平均する。例えば、画素値算出部１０８は、下記の数式（７）に従って、第２画素ｊの画素値ｙ（ｊ）の加重平均値ｙ´（ｉ）を算出する。
【数７】
【００４６】
ここで、Ω（ｉ）は、第２画素を探索する範囲を示す。
【００４７】
画素値算出部１０８は、算出した加重平均値ｙ´（ｉ）を第１画素ｉの新たな画素値として出力する。即ち、加重平均値ｙ´（ｉ）は、出力画像中の画素ｉの画素値として使用される。
【００４８】
上述したように、第１画素がテクスチャ部に属する画素である場合、この第１画素に関して算出される特徴量は大きい値になる。この場合、探索範囲内の全ての画素に割り当てられる重みは相対的に小さくなるので、過度な平滑化が行われない。その結果、テクスチャ部では、鮮鋭感を維持することができる。一方、第１画素が平坦部に属する画素である場合、特徴量は小さい値になる。この場合、探索範囲内の全ての画素に割り当てられる重みは相対的に大きくなるので、平滑化が強く行われる。その結果、平坦部では、ノイズを効果的に低減することができる。
【００４９】
以上のように、本実施形態に係る画像処理装置においては、テクスチャ部との相関が高くなる基底ベクトルを用いて特徴量を算出し、この特徴量に応じて平滑化強度を制御することにより、画像の鮮鋭感を維持しながらもノイズを低減することができる。
【００５０】
（第１の実施形態の変形例）
第１の実施形態の変形例に係る画像処理装置は、図１に示される第１の実施形態の画像処理装置１００と同じ構成を有する。第１の実施形態の変形例は、特徴量算出部による特徴量の算出方法が第１の実施形態と異なる。
【００５１】
第１の実施形態の変形例に係る特徴量算出部は、第１基底ベクトルのうちの所定の基底ベクトル（第３基底ベクトル）に対応する相関の合計と、第１基底ベクトルのうちの第３基底ベクトルと異なる基底ベクトル（第４基底ベクトルともいう）に対応する相関の合計と、に基づいて、特徴量を算出する。例えば、第３基底ベクトルに対応する相関をｐａ〜ｐｂ、第４基底ベクトルに対応する相関をｐｃ〜ｐｄと表すと、特徴量は、下記の数式（８）、（９）及び（１０）のいずれかにより算出される。
【数８】
【００５２】
【数９】
【００５３】
【数１０】
【００５４】
前述したように、第３基底ベクトルは、第１基底ベクトルのうち、テクスチャ部と相関が高い基底ベクトルである。第４基底ベクトルとしては、例えば、第１基底ベクトルのうち平坦部と相関が高い基底ベクトルが用いられる。テクスチャ部と相関が高い基底ベクトルを第３基底ベクトルとして、平坦部と相関が高い基底ベクトルを第４基底ベクトルとして用いることにより、鮮鋭感を維持したいテクスチャ部では過度な平滑化を防ぎ、平坦部では平滑化を強く行うといった制御が可能となる。
【００５５】
或いは、特徴量算出部１０５は、下記の数式（１１）に示されるように、第１基底ベクトルに対応する相関の合計と、第３基底ベクトルに対応する相関の合計と、第４基底ベクトルに対応する相関の合計と、に基づいて、特徴量を算出してもよい。
【数１１】
【００５６】
（第２の実施形態）
図４は、第２の実施形態に係る画像処理装置４００を概略的に示している。図４の画像処理装置４００は、図１の画像処理装置１００の構成に加えて、強調部４０１を備えている。強調部４０１は、特徴量算出部１０５によって算出された特徴量に応じて、画素値算出部１０８によって算出された画素値を強調する。
【００５７】
図５は、画像処理装置４００の動作の一例を示している。図５のステップＳ５０１〜Ｓ５０７は、図２のステップＳ２０１〜Ｓ２０７と同じ動作であるので、説明を省略する。
【００５８】
ステップＳ５０１〜Ｓ５０７では、入力画像の各画素に新たな画素値（出力画素値）が割り当てられる。ステップＳ５０８では、強調部４０１は、特徴量算出部１０５によって算出された特徴量に応じて、出力画素値を強調する。強調方法としては、例えば、アンシャープマスクのような先鋭化処理を利用することができる。一例では、強調部４０１は、特徴量がより大きい画素に対してより強く鮮鋭化処理を行う。他の例では、強調部４０１は、特徴量が所定値より大きい画素（即ち、テクスチャ部の画素）に対して鮮鋭化処理を行う。さらに他の例では、特徴量が所定値より大きい画素に対して、その特徴量が大きいほど強く鮮鋭化処理を行う。
【００５９】
さらに、強調部４０１は、部分空間上で表現されるベクトル（第１及び第２投影ベクトル）において、第１基底ベクトルのうちの所定の１つ以上の基底ベクトルに対応する成分を定数倍するなどして強調を行ってもよい。例えば、第ｇ番目の基底ベクトルに対応する成分を強調する場合、数式（３）の係数ｆｉ，ｇをｃ倍（ｃは実数である。）する。
【００６０】
以上のように、第２の実施形態に係る画像処理装置は、画素値算出部１０８により算出された画素値を強調する強調部を備えることにより、最終的な出力画像をより鮮鋭化することができる。
【００６１】
上述した各実施形態によれば、テクスチャ部との相関が高くなる基底ベクトル（第３基底ベクトル）を用いて特徴量を算出して、この特徴量に応じて平滑化強度を制御することにより、画像の鮮鋭感を維持しながらもノイズを低減することができる。
【００６２】
なお、上述した画像処理装置の各々は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることで実現することができる。即ち、相関算出部１０１、選択部１０２、射影部１０３、距離算出部１０４、特徴量算出部１０５、重み算出部１０７、画素値算出部１０８、及び強調部４０１は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、画像処理装置は、上記のプログラムをコンピュータ装置に予めインストールすることで実現してもよく、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、或いは、ネットワークを介して上記プログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、予め用意される基底ベクトルを格納する内部メモリは、上記のコンピュータ装置に内蔵或いは外付けされたメモリ、ハードディスク、若しくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。
【００６３】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６４】
１００…画像処理装置、１０１…相関算出部、１０２…選択部、１０３…射影部、１０４…距離算出部、１０５…特徴量算出部、１０７…重み算出部、１０８…画素値算出部、４００…画像処理装置、４０１…強調部。
【技術分野】
【０００１】
本発明の実施形態は、画像のノイズを低減する画像処理装置、方法及びプログラムに関する。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置で取得された画像に発生するランダムノイズを低減する画像処理技術として、例えば、Ｎｏｎ−ｌｏｃａｌ Ｍｅａｎｓと呼ばれるアルゴリズムがある。このアルゴリズムを利用する画像処理装置は、処理対象の画素の周辺画素の画素値を加重平均して得られる平均画素値を、この画素の新たな画素値として出力している。
【０００３】
加重平均処理に用いる重みは、パラメータで制御される。このパラメータを平滑化強度と呼ぶ。ノイズを効果的に低減するために平滑化強度を高く設定すると、画像内のテクスチャ（模様）部にボケが発生し、その結果、画像の鮮鋭感が失われる。反対に、画像の鮮鋭感を維持するために平滑化強度を低く設定すると、ノイズが十分に低減されず、さらに、画像内の平坦部にムラが生じることがある。従来、平滑化強度は、１つの画像に対して固定値とされる。即ち、画像中の各画素で同じ平滑化強度が用いられる。このため、ノイズの除去と鮮鋭感の維持とを両立することができない問題がある。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Ａ． Ｂｕａｄｅｓｓ， Ｂ． Ｃｏｌｌ， Ｊ．−Ｍ． Ｍｏｒｅｌ， “Ａ Ｎｏｎ−ｌｏｃａｌ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｉｍａｇｅ Ｄｅｎｏｉｓｉｎｇ，” Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ２００５， ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ， ｖｏｌ．２， ｐｐ．６０−６５．
【非特許文献２】河田諭志，五十川賢造，松本信幸，“自然画像の主成分分析を用いたＮｏｎ−ｌｏｃａｌ Ｍｅａｎｓによるノイズ除去，” ＳＳＩＩ２０１０，第１６回画像センシングシンポジウム，ＩＳ２−０６ １−６．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従って、画像の鮮鋭感を維持しながら、ノイズを十分に除去することができる画像処理装置が求められている。
【０００６】
本発明が解決しようとする課題は、画像の鮮鋭感を維持しながら、ノイズを除去することができる画像処理装置、方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００７】
一実施形態に係る画像処理装置は、相関算出部、選択部、距離算出部、特徴量算出部、重み算出部、及び画素値算出部を含む。相関算出部は、画像中の第１画素を含む第１領域と、予め用意される複数の第１基底ベクトルであって領域の局所構造を示す基底ベクトルのそれぞれとの相関を算出する。選択部は、前記相関の大きさに従って、前記複数の第１基底ベクトルから１つ以上の第２基底ベクトルを選択する。距離算出部は、前記第２基底ベクトルによって生成される部分空間上で、前記第１領域と、複数の第２領域のそれぞれとの距離を算出する。前記複数の第２領域は、前記画像中の複数の第２画素をそれぞれ含む。特徴量算出部は、前記相関のうち、第１基底ベクトルのうちの所定の第３基底ベクトルに対応する相関を用いて、前記第１領域の特徴を示す特徴量を算出する。重み算出部は、前記距離及び前記特徴量に応じて、前記第２画素のそれぞれに割り当てる重みを算出する。画素値算出部は、複数の前記重みに応じて複数の前記第２画素の画素値を加重平均して、出力画素値を算出する。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る画像処理装置を概略的に示すブロック図。
【図２】図１の画像処理装置の動作の一例を示すフローチャート。
【図３】図１の画像処理装置が処理する画像を概略的に示す図。
【図４】第２の実施形態に係る画像処理装置を概略的に示すブロック図。
【図５】図４の画像処理装置の動作の一例を示すフローチャート。
【発明を実施するための形態】
【０００９】
以下、必要に応じて図面を参照しながら、実施形態に係る画像処理装置、方法及びプログラムを説明する。なお、以下の実施形態では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
【００１０】
（第１の実施形態）
図１は、第１の実施形態に係る画像処理装置１００を概略的に示している。この画像処理装置１００は、図１に示されるように、相関算出部１０１、選択部１０２、射影部１０３、距離算出部１０４、特徴量算出部１０５、重み算出部１０７、及び画素値算出部１０８を備えている。
【００１１】
画像処理装置１００では、処理すべき画像（以下、入力画像という）は、相関算出部１０１、射影部１０３及び画素値算出部１０８へ送られる。この入力画像は、例えばカラー画像であり、入力画像を形成する各画素は、赤色、緑色及び青色の画素値を有する。本実施形態では、説明を簡単にするために、各画素が１つの画素値を有するものとして説明する。なお、入力画像は、カラー画像である例に限定されず、モノクロ画像であってもよい。入力画像がモノクロ画像である場合、入力画像内の各画素は、輝度値を画素値として有する。
【００１２】
相関算出部１０１は、入力画像に含まれる複数の画素から処理対象として選択された画素（以下、第１画素という）を含む第１領域と、予め用意される複数の基底ベクトルのそれぞれとの相関を算出する。これらの基底ベクトルは、例えば、相関算出部１０１の内部メモリ（図示せず）に予め格納されている。或いは、基底ベクトルは、相関算出部１０１などが適宜参照することができるように、図示しない記憶部に予め記憶されていてもよい。
【００１３】
選択部１０２は、相関算出部１０１によって算出された相関の大きさに従って、予め用意される複数の基底ベクトルから１つ以上の基底ベクトルを選択する。
【００１４】
射影部１０３は、選択部１０２によって選択された基底ベクトルにより生成される部分空間へ、第１領域及び複数の第２領域を射影する。第２領域は、入力画像中の第２画素を含む領域である。
【００１５】
距離算出部１０４は、前記部分空間上で、第１領域と第２領域のそれぞれとの距離を算出する。
【００１６】
特徴量算出部１０５は、予め用意される複数の基底ベクトルの中から選定される１以上の基底ベクトルに対応する相関を用いて、後述する平滑化強度を制御するための特徴量を算出する。
【００１７】
重み算出部１０７は、距離算出部１０４によって算出された距離と特徴量算出部１０５によって算出された特徴量とに基づいて、第２画素のそれぞれに割り当てる重みを算出する。
【００１８】
画素値算出部１０８は、重み算出部１０７によって算出された重みに従って第２画素の画素値を加重平均することにより、第１画素に割り当てる新たな画素値を算出する。
【００１９】
予め用意される基底ベクトル（第１基底ベクトルともいう）を生成する方法の一例を説明する。
まず、ノイズが重畳していない種々のカラー画像が用意され、これらの画像から所定サイズの部分画像が抽出される。次に、各部分画像に含まれる画素値を並べたベクトルがサンプルベクトルとして生成される。そして、部分画像のそれぞれから生成されたサンプルベクトルに対して主成分分析を行うことにより、基底ベクトルが生成される。例えば、部分画像が縦７画素及び横７画素の矩形ブロックであり、且つ、各画素が３色（赤色、緑色及び青色）の画素値を有する場合、１４７（＝７×７×３）個の基底ベクトルが生成される。この場合、各基底ベクトルは、１４７個の要素からなる。
【００２０】
このようにして生成された基底ベクトルは、テクスチャ（模様）部と高い相関を持つ基底ベクトル、エッジ部と高い相関を持つ基底ベクトル、平坦部と高い相関を持つ基底ベクトル、ノイズと高い相関を持つ基底ベクトルなどを含む。
【００２１】
本実施形態の画像処理装置１００は、主成分分析の結果として生成された基底ベクトルの一部を使用する。具体的には、本実施形態では、主成分分析の結果として生成された基底ベクトルの中から、所定値より小さい固有値を持つ基底ベクトルを削除する。大きな固有値を持つ基底ベクトルは、一般的な画像に多く存在する局所構造を表す。これに対し、小さい固有値を持つ基底ベクトルは、画像の局所構造の表現にはあまり寄与せず、さらに、入力画像に重畳しているノイズと高い相関を持つ可能性がある。従って、小さい固有値を持つ基底ベクトルを削除した基底ベクトルで生成される部分空間上で領域間の距離を算出することにより、ノイズの影響を低減した状態で領域間の距離を算出することができる。
【００２２】
出力画像の画質向上の観点からは、画像処理装置１００において使用される基底ベクトルに、小さい固有値を持つ基底ベクトルが含まれないことが望ましい。しかしながら、画像処理装置１００において使用される基底ベクトルには、小さい固有値を持つ基底ベクトルが含まれていてもよい。さらに、画像処理装置１００は、主成分分析の結果として生成された全ての基底ベクトルを使用しても構わない。
【００２３】
なお、基底ベクトルを生成する方法は、主成分分析に基づく方法に限定されず、正準相関分析に基づいていてもよい。さらに、基底ベクトルとしては、２次元離散フーリエ変換の基底、２次元離散ウェーブレット変換、２次元離散コサイン変換の基底などを利用してもよい。
【００２４】
次に、図２を参照して、画像処理装置１００の動作について説明する。
図２は、画像処理装置１００の動作の一例を概略的に示している。より詳細には、図２は、入力画像中の１つの画素に対して施される画像処理の手順を示している。本実施形態では、入力画像を形成する画素は、所定の順序で、例えば、ラスタスキャン順に１画素ずつ選択される。選択された画素（即ち、第１画素）は、以下に説明する手順に従って処理される。
【００２５】
ステップＳ２０１では、相関算出部１０１は、第１画素を含む第１領域と、予め用意される複数の（例えばＮ個の）基底ベクトルのそれぞれとの相関を算出する。本実施形態では、第１領域は、図３に示すように、第１画素３０１を中心とする入力画像３００上の局所領域３０２である。図３では、１つの小ブロックが１つの画素を示す。図３の例では、第１領域３０２は、縦３画素及び横３画素の矩形ブロックである。なお、第１領域３０２のサイズ及び形状は、図３に示される例に限定されず、任意に設定することができる。また、第１画素３０１が第１領域３０２の中心に位置していなくてもよい。
【００２６】
第１画素３０１が入力画像３００の端部に（例えば、左上の隅に）位置する画素である場合、第１領域３０２は、入力画像３００の外側の領域を含む。入力画像３００の外側の領域には、画素が配置されていないので、第１領域３０２は、入力画像３００の外側の領域に対応する画素位置に画素値を持たない。このような画素値を持たない画素位置には、入力画像３００の端部の画素値がコピーされる。なお、第１領域３０２が入力画像３００内に収まるように、入力画像３００の端部を除いて、第１画素３０１を選択するようにしてもよい。
【００２７】
ステップＳ２０１で第１領域と基底ベクトルとの相関を算出する具体的な方法を説明する。一例として、相関算出部１０１は、第１領域中の画素値を並べることにより生成されるベクトル（第１ベクトルという）と、Ｎ個の基底ベクトルのそれぞれとの内積を算出し、算出した内積の絶対値又は二乗値を相関として取得する。ここで、第１画素を入力画像中の第ｉ番目の画素とし、第１ベクトルをｖｉと表す。また、第１ベクトルｖｉの第ｋ番目の要素を（ｖｉ）ｋと表す。さらに、Ｎ個の基底ベクトルのうちの第ｎ番目の基底ベクトルをａｎと表し、基底ベクトルａｎの第ｋ番目の要素を（ａｎ）ｋと表す。第１領域と基底ベクトルとの相関ｐｎが第１ベクトルｖｉと基底ベクトルａｎとの内積の絶対値として算出される場合、相関ｐｎは、下記の数式（１）に従って算出される。
【数１】
【００２８】
なお、Ｎ個全ての基底ベクトルに関して第１領域との相関を算出する例を説明したが、これらの基底ベクトルのうちの１以上の基底ベクトルを、相関を算出する対象から除外してもよい。例えば、相関算出部１０１は、要素の総和の絶対値が最大である基底ベクトルと第１ベクトルとの相関を算出しなくてもよい。
【００２９】
要素の総和の絶対値が大きい基底ベクトルと第１領域との相関は、概して、要素の総和の絶対値が小さい基底ベクトルと第１領域との相関より大きい値になる。これは、特に、第１領域が明るい領域（即ち、平均画素値が大きい領域）である場合に顕著になる。このため、明るい領域では、次のステップＳ２０２において、要素の総和の絶対値が比較的に大きい少数の基底ベクトルのみが選択されることがある。即ち、明るい領域では、この領域がテクスチャ部か平坦部かを区別することができない。このように特定の基底ベクトルのみが選択される場合、最終的な出力画像において、平坦部にムラが発生したり、テクスチャ部にボケが発生することになる。従って、要素の総和の絶対値が比較的大きい１以上の基底ベクトルを除外して相関を算出することにより、第１領域の局所構造を適切に表現する基底ベクトルが選択されるようになり、最終的な出力画像におけるムラ及びボケの発生を防止することができる。
【００３０】
さらに、第１領域と基底ベクトルとの相関は、第１ベクトルと基底ベクトルとの内積に基づいて算出される例に限定されず、いかなる方法で算出されてもよい。
【００３１】
ステップＳ２０２では、選択部１０２は、ステップＳ２０１で算出された相関に従って、予め用意される基底ベクトルの中から、１つ以上の基底ベクトル（第２基底ベクトルともいう）を選択する。具体的には、選択部１０２は、基底ベクトルの相関の合計が閾値に達するまで、相関が大きい順に１以上の基底ベクトルを選択する。閾値ＰＴは、例えば、下記の数式（２）に示されるように、ステップＳ２０１で算出された相関ｐｎの総和の７割の値に設定される。
【数２】
【００３２】
このステップＳ２０２では、第１領域との相関が大きい基底ベクトルが選択される。これにより、後段の処理において、第１領域の局所構造を反映した部分空間上で第１領域と第２領域との距離が算出されるので、第１領域と似た構造を有する第２領域を精度よく探索することができる。
【００３３】
ステップＳ２０２で選択された基底ベクトルの数をｄとする。また、選択部１０２により選択された基底ベクトルをベクトルｂｎ（ｎ＝１，…，ｄ）で表示する。例えば、選択部１０２が３つの基底ベクトルａ１、ａ３及びａ８を選択した場合、以下の数式では、ａ１、ａ３及びａ８をそれぞれｂ１、ｂ２及びｂ３と表示する。なお、前述したように、特定の基底ベクトルを除外して相関を算出する場合、選択部１０２により選択された基底ベクトルは、除外された基底ベクトルを含む。例えば、基底ベクトルａ１が除外され、且つ、基底ベクトルａ２、ａ３及びａ６が選択される場合、選択部１０２は、基底ベクトルａ１、ａ２、ａ３及びａ６をそれぞれ基底ベクトルｂ１、ｂ２、ｂ３及びｂ４として出力する。
【００３４】
ステップＳ２０３では、射影部１０３は、選択部１０２により選択された基底ベクトルｂｎにより生成される部分空間へ、第１領域及び複数の第２領域を射影して、第１射影ベクトル及び複数の第２射影ベクトルを生成する。本実施形態では、第２領域は、図３に示されるように、第２画素３０３を中心とする縦３画素及び横３画素の矩形ブロック３０４である。典型的には、第２領域３０４は、第１領域３０２と同じサイズ及び同じ形状に設定される。第２画素３０３は、所定の探索範囲３０８に含まれる画素である。ここで、第２画素３０３を入力画像３００中の第ｊ番目の画素とする。図３では、探索範囲３０８は、第１画素３０１を中心とする縦９画素及び横９画素の矩形ブロックである。この場合、第２画素の数（即ち、第２領域の数）は、８１（＝９×９）個である。なお、探索範囲３０８のサイズ及び形状は、任意に設定することができる。さらに、探索範囲３０８に第１画素３０１が含まれていなくてもよい。
【００３５】
具体的には、射影部１０３は、下記の数式（３）に従って、第１領域から生成される第１ベクトルｖｉに対してベクトル変換を施して、第１射影ベクトルｖｉ´を生成する。
【数３】
【００３６】
ここで、ｆｉ，ｎは、第１ベクトルｖｉと基底ベクトルｂｎとの内積である。
【００３７】
さらに、射影部１０３は、第２領域中の画素値を要素として並べた第２ベクトルｖｊを生成する。そして、射影部１０３は、下記の数式（４）に従って、第２ベクトルｖｊに対してベクトル変換を施して、第２射影ベクトルｖｊ´を生成する。
【数４】
【００３８】
ステップＳ２０４では、距離算出部１０４は、基底ベクトルｂｎにより生成される部分空間上で、第１領域と第２領域との距離を算出する。具体的には、距離算出部１０４は、下記の数式（５）に従って、ステップＳ２０３で生成された第１射影ベクトルｖｉ´と第２射影ベクトルｖｊ´との距離Ｄ（ｉ，ｊ）を算出する。距離Ｄ（ｉ，ｊ）は、複数の第２領域のそれぞれについて算出される。
【数５】
【００３９】
なお、距離は、数式（５）に示される差分二乗和の例に限らず、差分絶対値和などで算出されてもよい。
【００４０】
ステップＳ２０５では、特徴量算出部１０５は、予め用意される複数の基底ベクトルのうちの１以上の所定の基底ベクトル（第３基底ベクトル）に対応する相関に基づいて、平滑化強度を制御するための特徴量を算出する。具体的には、まず、特徴量算出部１０５は、所定の基底ベクトルのそれぞれと第１領域との相関を相関算出部１０１から受け取る。続いて、特徴量算出部１０５は、相関算出部１０１から受け取った相関を合計し、この合計値を特徴量Ｔ（ｉ）として取得する。所定の基底ベクトルとしては、予め用意されるＮ個の基底ベクトルの中から、テクスチャ部との相関が高い基底ベクトルが選定される。これにより、第１画素ｉがテクスチャ部に属する画素であれば特徴量Ｔ（ｉ）は大きい値になり、第１画素ｉが平坦部に属する画素であれば特徴量Ｔ（ｉ）は小さい値になる。
【００４１】
なお、特徴量は、所定の基底ベクトルに対応する相関の合計に限らず、所定の基底ベクトルに対応する相関の合計と、予め用意されるＮ個全ての基底ベクトルに対応する相関の合計との比に基づく値であってもよい。
【００４２】
ステップＳ２０６では、重み算出部１０７は、ステップＳ２０４で算出された距離Ｄ（ｉ，ｊ）及びステップＳ２０５で算出された特徴量Ｔ（ｉ）に基づいて、第２画素ｊに割り当てる重みＷ（ｊ）を算出する。重みＷ（ｊ）は、距離Ｄ（ｉ，ｊ）及び特徴量Ｔに対して単調減少する。即ち、重みＷ（ｊ）は、距離Ｄ（ｉ，ｊ）が大きくなるほど小さく、且つ、特徴量Ｔ（ｉ）が大きくなるほど小さくなる。一例として、重みＷ（ｊ）は、下記の数式（６）に従って算出される。
【数６】
【００４３】
ここで、ｈは入力画像全体における平滑化の程度を指定するパラメータである。本実施形態では、このパラメータの二乗値ｈ２を平滑化強度と呼ぶ。平滑化強度ｈ２を高く設定すると、全ての画素ｊに割り当てられる重みＷ（ｊ）が相対的に大きくなり、即ち、強く平滑化されるようになる。その結果、入力画像のノイズが大きく低減される。
【００４４】
本実施形態では、第１画素ｉごとに特徴量Ｔ（ｉ）で平滑化強度が制御される。即ち、数式（６）においては、因子ｈ２／Ｔ（ｉ）を第１画素ｉに適用する平滑化強度と見なすことができる。この観点によれば、第１画素ｉがテクスチャ部に属する画素であれば特徴量Ｔ（ｉ）は大きい値になることから、テクスチャ部では、平滑化強度が低くなるように制御される。一方、第１画素ｉが平坦部に属する画素であれば特徴量Ｔ（ｉ）は小さい値になることから、平坦部では、平滑化強度が高くなるように制御される。従って、第１画素が属する領域の特徴（局所構造）に応じて、第１画素ｉに適用する平滑化強度が制御される。
【００４５】
ステップＳ２０７では、画素値算出部１０８は、ステップＳ２０６で算出された重みＷ（ｊ）に従って、探索範囲内の第２画素の画素値を加重平均する。例えば、画素値算出部１０８は、下記の数式（７）に従って、第２画素ｊの画素値ｙ（ｊ）の加重平均値ｙ´（ｉ）を算出する。
【数７】
【００４６】
ここで、Ω（ｉ）は、第２画素を探索する範囲を示す。
【００４７】
画素値算出部１０８は、算出した加重平均値ｙ´（ｉ）を第１画素ｉの新たな画素値として出力する。即ち、加重平均値ｙ´（ｉ）は、出力画像中の画素ｉの画素値として使用される。
【００４８】
上述したように、第１画素がテクスチャ部に属する画素である場合、この第１画素に関して算出される特徴量は大きい値になる。この場合、探索範囲内の全ての画素に割り当てられる重みは相対的に小さくなるので、過度な平滑化が行われない。その結果、テクスチャ部では、鮮鋭感を維持することができる。一方、第１画素が平坦部に属する画素である場合、特徴量は小さい値になる。この場合、探索範囲内の全ての画素に割り当てられる重みは相対的に大きくなるので、平滑化が強く行われる。その結果、平坦部では、ノイズを効果的に低減することができる。
【００４９】
以上のように、本実施形態に係る画像処理装置においては、テクスチャ部との相関が高くなる基底ベクトルを用いて特徴量を算出し、この特徴量に応じて平滑化強度を制御することにより、画像の鮮鋭感を維持しながらもノイズを低減することができる。
【００５０】
（第１の実施形態の変形例）
第１の実施形態の変形例に係る画像処理装置は、図１に示される第１の実施形態の画像処理装置１００と同じ構成を有する。第１の実施形態の変形例は、特徴量算出部による特徴量の算出方法が第１の実施形態と異なる。
【００５１】
第１の実施形態の変形例に係る特徴量算出部は、第１基底ベクトルのうちの所定の基底ベクトル（第３基底ベクトル）に対応する相関の合計と、第１基底ベクトルのうちの第３基底ベクトルと異なる基底ベクトル（第４基底ベクトルともいう）に対応する相関の合計と、に基づいて、特徴量を算出する。例えば、第３基底ベクトルに対応する相関をｐａ〜ｐｂ、第４基底ベクトルに対応する相関をｐｃ〜ｐｄと表すと、特徴量は、下記の数式（８）、（９）及び（１０）のいずれかにより算出される。
【数８】
【００５２】
【数９】
【００５３】
【数１０】
【００５４】
前述したように、第３基底ベクトルは、第１基底ベクトルのうち、テクスチャ部と相関が高い基底ベクトルである。第４基底ベクトルとしては、例えば、第１基底ベクトルのうち平坦部と相関が高い基底ベクトルが用いられる。テクスチャ部と相関が高い基底ベクトルを第３基底ベクトルとして、平坦部と相関が高い基底ベクトルを第４基底ベクトルとして用いることにより、鮮鋭感を維持したいテクスチャ部では過度な平滑化を防ぎ、平坦部では平滑化を強く行うといった制御が可能となる。
【００５５】
或いは、特徴量算出部１０５は、下記の数式（１１）に示されるように、第１基底ベクトルに対応する相関の合計と、第３基底ベクトルに対応する相関の合計と、第４基底ベクトルに対応する相関の合計と、に基づいて、特徴量を算出してもよい。
【数１１】
【００５６】
（第２の実施形態）
図４は、第２の実施形態に係る画像処理装置４００を概略的に示している。図４の画像処理装置４００は、図１の画像処理装置１００の構成に加えて、強調部４０１を備えている。強調部４０１は、特徴量算出部１０５によって算出された特徴量に応じて、画素値算出部１０８によって算出された画素値を強調する。
【００５７】
図５は、画像処理装置４００の動作の一例を示している。図５のステップＳ５０１〜Ｓ５０７は、図２のステップＳ２０１〜Ｓ２０７と同じ動作であるので、説明を省略する。
【００５８】
ステップＳ５０１〜Ｓ５０７では、入力画像の各画素に新たな画素値（出力画素値）が割り当てられる。ステップＳ５０８では、強調部４０１は、特徴量算出部１０５によって算出された特徴量に応じて、出力画素値を強調する。強調方法としては、例えば、アンシャープマスクのような先鋭化処理を利用することができる。一例では、強調部４０１は、特徴量がより大きい画素に対してより強く鮮鋭化処理を行う。他の例では、強調部４０１は、特徴量が所定値より大きい画素（即ち、テクスチャ部の画素）に対して鮮鋭化処理を行う。さらに他の例では、特徴量が所定値より大きい画素に対して、その特徴量が大きいほど強く鮮鋭化処理を行う。
【００５９】
さらに、強調部４０１は、部分空間上で表現されるベクトル（第１及び第２投影ベクトル）において、第１基底ベクトルのうちの所定の１つ以上の基底ベクトルに対応する成分を定数倍するなどして強調を行ってもよい。例えば、第ｇ番目の基底ベクトルに対応する成分を強調する場合、数式（３）の係数ｆｉ，ｇをｃ倍（ｃは実数である。）する。
【００６０】
以上のように、第２の実施形態に係る画像処理装置は、画素値算出部１０８により算出された画素値を強調する強調部を備えることにより、最終的な出力画像をより鮮鋭化することができる。
【００６１】
上述した各実施形態によれば、テクスチャ部との相関が高くなる基底ベクトル（第３基底ベクトル）を用いて特徴量を算出して、この特徴量に応じて平滑化強度を制御することにより、画像の鮮鋭感を維持しながらもノイズを低減することができる。
【００６２】
なお、上述した画像処理装置の各々は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることで実現することができる。即ち、相関算出部１０１、選択部１０２、射影部１０３、距離算出部１０４、特徴量算出部１０５、重み算出部１０７、画素値算出部１０８、及び強調部４０１は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、画像処理装置は、上記のプログラムをコンピュータ装置に予めインストールすることで実現してもよく、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、或いは、ネットワークを介して上記プログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、予め用意される基底ベクトルを格納する内部メモリは、上記のコンピュータ装置に内蔵或いは外付けされたメモリ、ハードディスク、若しくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。
【００６３】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６４】
１００…画像処理装置、１０１…相関算出部、１０２…選択部、１０３…射影部、１０４…距離算出部、１０５…特徴量算出部、１０７…重み算出部、１０８…画素値算出部、４００…画像処理装置、４０１…強調部。
【特許請求の範囲】
【請求項１】
画像中の第１画素を含む第１領域と、予め用意される複数の第１基底ベクトルであって領域の局所構造を示す基底ベクトルのそれぞれとの相関を算出する相関算出部と、
前記相関の大きさに従って、前記複数の第１基底ベクトルから１つ以上の第２基底ベクトルを選択する選択部と、
前記第２基底ベクトルによって生成される部分空間上で、前記第１領域と、複数の第２領域のそれぞれとの距離を算出する距離算出部であって、前記複数の第２領域は、前記画像中の複数の第２画素をそれぞれ含む、距離算出部と、
前記相関のうち、第１基底ベクトルのうちの所定の第３基底ベクトルに対応する相関を用いて、前記第１領域の特徴を示す特徴量を算出する特徴量算出部と、
前記距離及び前記特徴量に応じて、前記第２画素のそれぞれに割り当てる重みを算出する重み算出部と、
複数の前記重みに応じて複数の前記第２画素の画素値を加重平均して、出力画素値を算出する画素値算出部と、
を具備することを特徴とする画像処理装置。
【請求項２】
前記特徴量算出部は、前記第３基底ベクトルに対応する相関の絶対値の合計を算出し、該合計が大きいほど大きくなる前記特徴量を算出し、
前記重み算出部は、前記特徴量が大きいほど前記重みを小さく設定する、ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特徴量算出部は、前記所定の基底ベクトルに対応する相関の二乗和を算出し、該二乗和が大きいほど大きくなる前記特徴量を算出し、
前記重み算出部は、前記特徴量が大きいほど前記重みを小さく設定する、ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記特徴量算出部は、前記第３基底ベクトルに対応する相関の二乗和と、前記第１基底ベクトルに対応する相関の二乗和との比を算出し、該比が大きいほど大きくなる前記特徴量を算出し、
前記重み算出部は、前記特徴量が大きいほど前記重みを小さく設定する、ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記特徴量算出部は、前記第３基底ベクトルに対応する相関の絶対値の合計と、該第３基底ベクトルとは異なる第１基底ベクトルのうちの所定の第４基底ベクトルに対応する相関の絶対値の合計と、に基づいて、前記特徴量を算出する、ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記特徴量に応じて、前記出力画素値を強調する強調部をさらに具備する請求項１乃至請求項５のいずれか一項に記載の画像処理装置。
【請求項７】
前記強調部は、前記第１領域に対して先鋭化処理を行う、ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記強調部は、前記部分空間上で、前記第１基底ベクトルのうちの所定の１つ以上の第４基底ベクトルに対応する成分を強調する、ことを特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記相関算出部は、前記第１領域中の画素値を並べた第１ベクトルを生成し、当該第１ベクトルと前記第１基底ベクトルのそれぞれとの相関を算出する、ことを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
画像中の第１画素を含む第１領域と、予め用意される複数の第１基底ベクトルであって領域の局所構造を示す基底ベクトルのそれぞれとの相関を算出することと、
前記相関の大きさに従って、前記複数の第１基底ベクトルから１つ以上の第２基底ベクトルを選択することと、
前記第２基底ベクトルによって生成される部分空間上で、前記第１領域と、複数の第２領域のそれぞれとの距離を算出することと、だだし、前記複数の第２領域は、前記画像中の複数の第２画素をそれぞれ含み、
前記相関のうち、第１基底ベクトルのうちの所定の第３基底ベクトルに対応する相関を用いて、前記第１領域の特徴を示す特徴量を算出することと、
前記距離及び前記特徴量に応じて、前記第２画素のそれぞれに割り当てる重みを算出することと、
複数の前記重みに応じて複数の前記第２画素の画素値を加重平均して、出力画素値を算出することと、
を具備することを特徴とする画像処理方法。
【請求項１１】
コンピュータに、
画像中の第１画素を含む第１領域と、予め用意される複数の第１基底ベクトルであって領域の局所構造を示す基底ベクトルのそれぞれとの相関を算出する機能と、
前記相関の大きさに従って、前記複数の第１基底ベクトルから１つ以上の第２基底ベクトルを選択する機能と、
前記第２基底ベクトルによって生成される部分空間上で、前記第１領域と、複数の第２領域のそれぞれとの距離を算出する機能と、だだし、前記複数の第２領域は、前記画像中の複数の第２画素をそれぞれ含み、
前記相関のうち、第１基底ベクトルのうちの所定の第３基底ベクトルに対応する相関を用いて、前記第１領域の特徴を示す特徴量を算出する機能と、
前記距離及び前記特徴量に応じて、前記第２画素のそれぞれに割り当てる重みを算出する機能と、
複数の前記重みに応じて複数の前記第２画素の画素値を加重平均して、出力画素値を算出する機能と、
を実現させるためのプログラム。
【請求項１】
画像中の第１画素を含む第１領域と、予め用意される複数の第１基底ベクトルであって領域の局所構造を示す基底ベクトルのそれぞれとの相関を算出する相関算出部と、
前記相関の大きさに従って、前記複数の第１基底ベクトルから１つ以上の第２基底ベクトルを選択する選択部と、
前記第２基底ベクトルによって生成される部分空間上で、前記第１領域と、複数の第２領域のそれぞれとの距離を算出する距離算出部であって、前記複数の第２領域は、前記画像中の複数の第２画素をそれぞれ含む、距離算出部と、
前記相関のうち、第１基底ベクトルのうちの所定の第３基底ベクトルに対応する相関を用いて、前記第１領域の特徴を示す特徴量を算出する特徴量算出部と、
前記距離及び前記特徴量に応じて、前記第２画素のそれぞれに割り当てる重みを算出する重み算出部と、
複数の前記重みに応じて複数の前記第２画素の画素値を加重平均して、出力画素値を算出する画素値算出部と、
を具備することを特徴とする画像処理装置。
【請求項２】
前記特徴量算出部は、前記第３基底ベクトルに対応する相関の絶対値の合計を算出し、該合計が大きいほど大きくなる前記特徴量を算出し、
前記重み算出部は、前記特徴量が大きいほど前記重みを小さく設定する、ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特徴量算出部は、前記所定の基底ベクトルに対応する相関の二乗和を算出し、該二乗和が大きいほど大きくなる前記特徴量を算出し、
前記重み算出部は、前記特徴量が大きいほど前記重みを小さく設定する、ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記特徴量算出部は、前記第３基底ベクトルに対応する相関の二乗和と、前記第１基底ベクトルに対応する相関の二乗和との比を算出し、該比が大きいほど大きくなる前記特徴量を算出し、
前記重み算出部は、前記特徴量が大きいほど前記重みを小さく設定する、ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記特徴量算出部は、前記第３基底ベクトルに対応する相関の絶対値の合計と、該第３基底ベクトルとは異なる第１基底ベクトルのうちの所定の第４基底ベクトルに対応する相関の絶対値の合計と、に基づいて、前記特徴量を算出する、ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記特徴量に応じて、前記出力画素値を強調する強調部をさらに具備する請求項１乃至請求項５のいずれか一項に記載の画像処理装置。
【請求項７】
前記強調部は、前記第１領域に対して先鋭化処理を行う、ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記強調部は、前記部分空間上で、前記第１基底ベクトルのうちの所定の１つ以上の第４基底ベクトルに対応する成分を強調する、ことを特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記相関算出部は、前記第１領域中の画素値を並べた第１ベクトルを生成し、当該第１ベクトルと前記第１基底ベクトルのそれぞれとの相関を算出する、ことを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
画像中の第１画素を含む第１領域と、予め用意される複数の第１基底ベクトルであって領域の局所構造を示す基底ベクトルのそれぞれとの相関を算出することと、
前記相関の大きさに従って、前記複数の第１基底ベクトルから１つ以上の第２基底ベクトルを選択することと、
前記第２基底ベクトルによって生成される部分空間上で、前記第１領域と、複数の第２領域のそれぞれとの距離を算出することと、だだし、前記複数の第２領域は、前記画像中の複数の第２画素をそれぞれ含み、
前記相関のうち、第１基底ベクトルのうちの所定の第３基底ベクトルに対応する相関を用いて、前記第１領域の特徴を示す特徴量を算出することと、
前記距離及び前記特徴量に応じて、前記第２画素のそれぞれに割り当てる重みを算出することと、
複数の前記重みに応じて複数の前記第２画素の画素値を加重平均して、出力画素値を算出することと、
を具備することを特徴とする画像処理方法。
【請求項１１】
コンピュータに、
画像中の第１画素を含む第１領域と、予め用意される複数の第１基底ベクトルであって領域の局所構造を示す基底ベクトルのそれぞれとの相関を算出する機能と、
前記相関の大きさに従って、前記複数の第１基底ベクトルから１つ以上の第２基底ベクトルを選択する機能と、
前記第２基底ベクトルによって生成される部分空間上で、前記第１領域と、複数の第２領域のそれぞれとの距離を算出する機能と、だだし、前記複数の第２領域は、前記画像中の複数の第２画素をそれぞれ含み、
前記相関のうち、第１基底ベクトルのうちの所定の第３基底ベクトルに対応する相関を用いて、前記第１領域の特徴を示す特徴量を算出する機能と、
前記距離及び前記特徴量に応じて、前記第２画素のそれぞれに割り当てる重みを算出する機能と、
複数の前記重みに応じて複数の前記第２画素の画素値を加重平均して、出力画素値を算出する機能と、
を実現させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１３−４１３９８（Ｐ２０１３−４１３９８Ａ）
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願番号】特願２０１１−１７７５２５（Ｐ２０１１−１７７５２５）
【出願日】平成２３年８月１５日（２０１１．８．１５）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願日】平成２３年８月１５日（２０１１．８．１５）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]