画像処理装置、方法及びプログラム
【課題】画像のノイズを効果的に除去することにある。
【解決手段】一実施形態の画像処理装置は、参照画像生成部、相違度算出部、重み算出部、及び画素値算出部を備える。参照画像生成部は、対象画像の信号成分が含まれる第１の周波数帯域のパワーを上げること、及び対象画像のノイズ成分が含まれる第２の周波数帯域のパワーを下げることの少なくとも一方を行うことにより、対象画像から参照画像を生成する。相違度算出部は、参照画像内の第１領域と、参照画像内の複数の第２領域のそれぞれとの間の相違度を算出する。重み算出部は、前記相違度が小さいほど大きくなる重みを前記複数の第２領域のそれぞれについて算出する。画素値算出部は、参照画像で算出された重みを対象画像に適用して、対象画像内で画素値を加重平均することにより、出力画素値を算出する。
【解決手段】一実施形態の画像処理装置は、参照画像生成部、相違度算出部、重み算出部、及び画素値算出部を備える。参照画像生成部は、対象画像の信号成分が含まれる第１の周波数帯域のパワーを上げること、及び対象画像のノイズ成分が含まれる第２の周波数帯域のパワーを下げることの少なくとも一方を行うことにより、対象画像から参照画像を生成する。相違度算出部は、参照画像内の第１領域と、参照画像内の複数の第２領域のそれぞれとの間の相違度を算出する。重み算出部は、前記相違度が小さいほど大きくなる重みを前記複数の第２領域のそれぞれについて算出する。画素値算出部は、参照画像で算出された重みを対象画像に適用して、対象画像内で画素値を加重平均することにより、出力画素値を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、方法及びプログラムに関する。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置で取得された画像にランダムに発生するノイズを低減する画像処理技術として、Ｎｏｎ−ｌｏｃａｌ Ｍｅａｎｓ法と呼ばれるアルゴリズムが知られている。Ｎｏｎ−ｌｏｃａｌ Ｍｅａｎｓ法は、処理対象の画素（以下、注目画素と呼ぶ）を中心とするブロック（以下、注目ブロックという）と、注目画素の周辺にある画素（以下、周辺画素という）を中心とするブロック（以下、周辺ブロックという）との間の相違度に応じた重みにより、周辺画素の画素値を加重平均し、注目画素の画素値を加重平均の結果得られた画素値に置き換える（非特許文献１参照）。しかしながら、Ｎｏｎ−ｌｏｃａｌ Ｍｅａｎｓ法では、ノイズが重畳している画像で相違度を算出するので、ノイズの影響を受けて相違度が正しく算出されないことがある。その結果、ノイズ除去後の画像に過剰な平滑化やアーチファクト（artifact）が発生することがある。
【０００３】
さらに、ノイズを除去する画像（対象画像）とは別に撮影したノイズの少ない画像（参照画像）で相違度を算出する手法が開示されている（非特許文献２参照）。この手法では、低照度の環境において通常のカメラでフラッシュを焚かずに撮影した画像を対象画像として用い、同じシーンを近赤外線カメラで撮影した画像を参照画像として用いる。ノイズの少ない参照画像で相違度を算出するので、相違度を正しく算出することができ、その結果、対象画像から効果的にノイズを除去することができる。しかしながら、対象画像とは別に特殊な撮像装置を用いて参照画像を撮影する必要があるという問題がある。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】A. Buades, B. Coll, and J. M. Morel, ”A Non Local Algorithm for Image Denoising” Proc. IEEE Int. Conf. on Computer Vision and Pattern Recognition, vol.2, pp.60-65, 2005.
【非特許文献２】Sousuke Matsui, Takahiro Okabe, Mihoko Shimano, Yoichi Sato, “Image Enhancement of Low-Light Scenes with Near-Infrared Flash Images”, IPSJ Trans., vol.2, pp.215-223, 2010．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
画像処理技術においては、対象画像と同じシーンを撮影した参照画像を必要とすることなく、１枚の対象画像からノイズを効果的に除去できることが求められている。
【０００６】
本発明が解決しようとする課題は、１枚の画像からノイズを効果的に低減することができる画像処理装置、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
一実施形態に係る画像処理装置は、参照画像生成部、相違度算出部、重み算出部、及び画素値算出部を備える。参照画像生成部は、入力された対象画像の信号成分が含まれる第１の周波数帯域のパワーを上げること、及び該対象画像のノイズ成分が含まれる第２の周波数帯域のパワーを下げることの少なくとも一方を行うことにより、該対象画像から参照画像を生成する。相違度算出部は、前記参照画像内の第１領域と、前記参照画像内の複数の第２領域のそれぞれとの間の相違度を算出する。前記第１領域は第１画素を含み、前記複数の第２領域は複数の第２画素をそれぞれ１つ含む。重み算出部は、前記相違度が小さいほど大きくなる重みを前記複数の第２領域のそれぞれについて算出し、該重みを前記複数の第２画素のそれぞれに割り当てる。画素値算出部は、複数の前記重みを、前記複数の第２画素のそれぞれと同じ位置にある前記対象画像内の複数の第３画素にそれぞれ適用して、該複数の第３画素の画素値を加重平均することにより、出力画素値を算出する。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る画像処理装置を概略的に示すブロック図。
【図２】図１に示した相違度算出部が相違度を算出する方法を説明する図。
【図３】図１に示した画像処理装置の動作例を示すフローチャート。
【図４】第２の実施形態に係る画像処理装置を概略的に示すブロック図。
【図５】図１に示した参照画像生成部が用いるバンドパスフィルタが平滑化フィルタである場合において、このバンドパスフィルタの周波数応答を概略的に示すグラフ。
【図６】図１に示した参照画像生成部が用いるバンドパスフィルタが強調フィルタである場合において、このバンドパスフィルタの周波数応答を概略的に示すグラフ。
【図７】図４に示した画像処理装置の動作例を示すフローチャート。
【図８】第３の実施形態に係る画像処理装置を概略的に示すブロック図。
【図９】図８に示した探索領域設定部が探索領域を設定する方法を説明する図。
【図１０】図８に示した画像処理装置の動作例を示すフローチャート。
【図１１】第４の実施形態に係る画像処理装置を概略的に示すブロック図。
【発明を実施するための形態】
【０００９】
以下、必要に応じて図面を参照しながら、実施形態に係る画像処理装置、方法及びプログラムを説明する。
【００１０】
（第１の実施形態）
図１は、第１の実施形態に係る画像処理装置１００を概略的に示している。この画像処理装置１００は、図１に示されるように、参照画像生成部１０１、相違度算出部１０２、重み算出部１０３、及び画素値算出部１０４を備える。画像処理装置１００において、処理すべき画像１５０は、参照画像生成部１０１及び画素値算出部１０４へ入力される。ここでは、処理すべき画像１５０を対象画像と呼ぶ。本実施形態では、説明を簡単にするために、対象画像１５０を構成する複数の画素の各々が１つの画素値を保持すると仮定する。なお、カラー画像のように各画素が複数の画素値（例えば、赤色、緑色及び青色の画素値）を保持する画像にも本実施形態を適用できることは明らかである。
【００１１】
参照画像生成部１０１は、対象画像１５０から、この対象画像１５０に重畳しているノイズを低減した参照画像１５１を生成する。相違度算出部１０２は、参照画像１５１内の第１画素を含む第１領域と参照画像１５１内の第２画素を含む第２領域との間の相違度を算出する。相違度を示す相違度情報１５２は、重み算出部１０３へ送られる。重み算出部１０３は、相違度に応じて、第２画素に割り当てる重みを算出する。第２画素に割り当てられた重みを示す重み情報１５３は、画素値算出部１０４へ送られる。画素値算出部１０４は、第２画素の重みを用いて、対象画像１５０内で第２画素と同じ位置にある画素が保持する画素値を加重平均することにより、出力画素値を算出する。画素値算出部１０４は、第１画素と同じ位置にある対象画像１５０内の画素の画素値を算出した出力画素値に置き換えた出力画像１５４を生成する。
【００１２】
次に、画像処理装置１００内の各部をより詳細に説明する。
参照画像生成部１０１は、対象画像１５０のノイズを低減した参照画像１５１を生成する。具体的には、参照画像生成部１０１は、ノイズを低減するために、（１）対象画像１５０の信号成分が含まれる周波数帯域のパワーを上げること、及び（２）対象画像１５０のノイズ成分が含まれる周波数帯域のパワーを下げること、の少なくとも一方を対象画像１５０に対して行う。このノイズ低減処理は、例えば、以下に例示するバンドパスフィルタを用いて対象画像１５０をフィルタリングすることで実行される。本実施形態では、対象画像１５０の信号成分が含まれる周波数帯域を第１の周波数帯域と呼び、対象画像１５０のノイズ成分が含まれる周波数帯域を第２の周波数帯域と呼ぶ。なお、第１の周波数帯域にノイズ成分が含まれることもあり、また、第２の周波数帯域に信号成分が含まれることもあることに留意されたい。
【００１３】
一例では、バンドパスフィルタは、第１の周波数帯域のパワーを上げ、且つ、第２の周波数帯域のパワーを下げるフィルタである。ここで、周波数帯域のパワーを下げるとは、この周波数帯域のパワーをより低い値にすることを意味し、この周波数帯域中の全部又は一部の帯域のパワーをゼロにすることを含む。このバンドパスフィルタは、例えば、平滑化フィルタと強調フィルタとを組み合わせて用いることにより実現することができる。平滑化フィルタとしては、ガウシアンフィルタ、移動平均フィルタ、バイラテラルフィルタ、εフィルタなどを利用することができる。ガウシアンフィルタは、異方性を有するものであってもよい。強調フィルタとしては、鮮鋭化フィルタ、アンシャープマスクなどを利用することができる。なお、バンドパスフィルタは、平滑化フィルタと強調フィルタとの組み合わせて用いる例に限らず、フーリエ変換又はウェーブレット変換などの変換手法により対象画像１５０を周波数変換し、第１の周波数帯域のパワーを上げて、第２の周波数帯域のパワーを下げるフィルタであってもよい。
【００１４】
他の例では、バンドパスフィルタは、第１の周波数帯域のパワーを上げるフィルタである。このバンドパスフィルタは、強調フィルタにより実現することができる。強調フィルタとしては、鮮鋭化フィルタ、アンシャープマスクなどを利用することができる。或いは、バンドパスフィルタは、フーリエ変換又はウェーブレット変換などの変換手法により対象画像１５０を周波数変換し、第１の周波数帯域のパワーを上げるフィルタであってもよい。
【００１５】
さらに他の例では、バンドパスフィルタは、第２の周波数帯域のパワーを下げるフィルタである。このバンドパスフィルタは、例えば、平滑化フィルタにより実現することができる。或いは、バンドパスフィルタは、フーリエ変換又はウェーブレット変換などの変換手法により対象画像１５０を周波数変換し、第２の周波数帯域のパワーを下げるフィルタであってもよい。
【００１６】
参照画像生成部１０１では、対象画像１５０の信号成分が含まれる第１の周波数帯域のパワーを上げ、且つ、対象画像１５０のノイズ成分が含まれる第２の周波数帯域のパワーを下げるバンドパスフィルタを用いる場合、対象画像１５０の構造を維持しつつノイズを効果的に低減した参照画像１５１を生成することができる。また、第１の周波数帯域のパワーを上げるバンドパスフィルタを用いる場合、対象画像１５０の構造を強調し、ノイズを相対的に低減した参照画像１５１を生成することができる。また、第２の周波数帯域のパワーを下げるバンドパスフィルタを用いる場合、ノイズを効果的に低減した参照画像１５１を生成することができる。上記のいずれの場合にも、１枚の対象画像１５０から、対象画像１５０よりもノイズが低減している参照画像１５１を得ることができる。
【００１７】
相違度算出部１０２は、参照画像１５１内の第１画素を含む第１領域と参照画像１５１内の第２画素を含む第２領域との間の相違度を算出する。相違度算出部１０２は、ノイズの少ない参照画像１５１を用いて領域間の相違度を算出するので、ノイズの影響を受けることなく、第１領域と第２領域との間の相違度を正しく算出することができる。第１領域と第２領域との間の相違度は、例えば下記数式（１）に従って算出される。
【００１８】
【数１】
【００１９】
ここで、ｘは第１画素の位置を表す位置ベクトルであり、ｙは第２画素の位置を表す位置ベクトルであり、ω（ｘ）は第１領域内の画素の位置を表す位置ベクトルの集合である。また、Ｄ（ｘ，ｙ）は第１領域と第２領域との間の相違度を表し、ＩＲ（ｚ）は位置ベクトルｚで特定される参照画像１５１内の画素が保持している画素値を表す。さらに、ａは設計者が適宜に設定する定数である。
【００２０】
図２を参照して相違度を算出する方法を具体的に説明する。ここでは、対象画像１５０内のある画素が処理対象になっている場合を説明する。この処理対象の画素を注目画素と呼ぶ。図２に示される参照画像１５１内の画素２１０は、対象画像１５０内の注目画素と同じ座標に位置する画素である。この画素２１０を第１画素と呼ぶ。参照画像１５１には、例えば第１画素２１０の位置（座標）に応じて、探索領域２３０が設定される。図２では、探索領域２３０は、第１画素２１０を中心とする矩形領域（画素ブロックともいう）である。さらに、相違度算出部１０２は、探索領域２３０から１つの画素２２０を順次に選択して処理する。探索領域２３０から選択された画素を第２画素と呼ぶ。なお、探索領域２３０内に第１画素２１０が含まれる場合、第１画素２１０を除いた探索領域２３０から第２画素２２０が選択されてもよい。本実施形態では、第１領域は、第１画素２１０を中心とする矩形領域２１１であり、第２領域は、第２画素２２０を中心とする矩形領域２２１である。
【００２１】
探索領域２３０には複数の画素が含まれているので、相違度算出部１０２は、第１領域２１１と複数の第２領域２２１のそれぞれとの間の相違度を算出する。具体的には、相違度算出部１０２は、探索領域２３０から１つの画素を第２画素２２０として選択し、第１領域２１１と第２画素２２０を中心とする第２領域２２１との間の相違度を算出する処理を繰り返し実行する。
【００２２】
なお、参照画像１５１に設定される探索領域２３０は、図２に示される第１画素２１０を中心とする矩形領域である例に限定されない。例えば、探索領域２３０の中心に第１画素２１０が位置していなくてもよく、或いは、探索領域２３０内に第１画素２１０が含まれていなくてもよい。さらに、探索領域２３０のサイズ及び形状は適宜に設定することができる。或いは、探索領域２３０は、参照画像１５１全体であってもよい。
【００２３】
さらに、第１領域２１１は、図２に示される第１画素２１０を中心とする矩形領域である例に限定されない。例えば、第１領域２１１の中心に第１画素２１０が位置していなくてもよい。さらに、第１領域２１１のサイズ及び形状は適宜に設定することができる。同様に、第２領域２２１は、図２に示される第２画素２２０を中心とする矩形領域である例に限定されない。典型的には、第２領域２２１は、第１領域２１１と同じ方法で設定される。例えば、第１画素２１０を中心とする縦９画素及び横９画素の画素ブロックを第１領域と設定する場合、第２画素２２０を中心とする縦９画素及び横９画素の画素ブロックを第２領域と設定する。
【００２４】
第１領域２１１と第２領域２２１との相違度Ｄ（ｘ，ｙ）は、例えば上記数式（１）のように、第１領域２１１内の各画素の画素値と第２領域２２１内の対応する画素の画素値との差に基づいて算出される。相違度Ｄ（ｘ，ｙ）は、第１領域２１１の画像構造がどのくらい第２領域２２１の画像構造と相違しているかを表す。第１領域２１１の画像構造が第２領域２２１の画像構造と相違しているほど、相違度Ｄ（ｘ，ｙ）は、より大きい値になる。言い換えると、第１領域２１１の画像構造が第２領域２２１の画像構造と類似しているほど、相違度Ｄ（ｘ，ｙ）は、より小さい値になる。
【００２５】
なお、相違度Ｄ（ｘ，ｙ）は、数式（１）に限らず、下記の数式（２）、数式（３）又は数式（４）などに従って算出されてもよい。
【００２６】
【数２】
【００２７】
【数３】
【００２８】
【数４】
【００２９】
重み算出部１０３は、相違度が小さいほど重みがより大きい値になるように、第２画素２２０に割り当てる重みを決定する。一例では、第２画素２２０に割り当てる重みｗ（ｘ，ｙ）は、下記数式（５）に従って算出される。
【００３０】
【数５】
【００３１】
ここで、ｈは設計者が適宜に設定する定数である。さらに、Ｚ（ｘ）は下記数式（６）に従って算出される。
【００３２】
【数６】
【００３３】
数式（６）において、Ω（ｘ）は、探索領域２３０内の第２画素２２０の位置を表す位置ベクトルの集合である。
【００３４】
このように、第２領域２２１の画像構造が第１領域２１１の画像構造と相違しているほど、その第２領域２２１内の所定位置（例えば、中心）の第２画素２２０に小さな重みが割り当てられる。即ち、第２領域２２１の画像構造が第１領域２１１の画像構造と類似しているほど、その第２領域２２１内の所定位置の第２画素２２０に大きな重みが割り当てられる。
【００３５】
画素値算出部１０４は、第２画素２２０に割り当てられた重みを、対象画像１５０内で第２画素２２０と同じ位置にある画素（第３画素ともいう）に適用して、第３画素の画素値を加重平均することにより、出力画素値を算出する。例えば、出力画素値は、下記数式（７）に従って算出される。
【００３６】
【数７】
【００３７】
ここで、Ｉ（ｙ）は、位置ベクトルｙで特定される対象画像１５０内の画素の画素値であり、Ｉ０（ｘ）は、位置ベクトルｘで特定される出力画像１５４内の画素の画素値である。
【００３８】
上記構成を備える画像処理装置１００は、対象画像１５０からノイズの少ない参照画像１５１を生成し、この参照画像１５１を用いて領域間の相違度を算出する。これにより、ノイズの影響が抑制され、領域間の相違度を正しく算出することができる。この結果、画像処理装置１００は、対象画像１５０に対し平滑化を適切に行うことができるようになり、対象画像１５０からノイズを効果的に除去若しくは低減することができる。
【００３９】
なお、第１画素２１０又は第２画素２２０が参照画像１５１の端部に（例えば、左上の隅に）位置する画素である場合、第１領域２１１又は第２領域２２１は、参照画像１５１の外側の領域を含む。参照画像１５１の外側の領域には、画素が配置されていないので、第１領域２１１又は第２領域２２１は、参照画像１５１の外側の領域に対応する画素位置に画素値を持たない。このような場合、参照画像１５１の外側の領域が参照画像１５１の端部と連続していると仮定し、参照画像１５１の外側の領域に参照画像１５１の端部の画素値を割り当ててもよい。或いは、参照画像１５１の鏡像を用いて、参照画像１５１の外側の領域に画素値を割り当ててもよい。さらに或いは、第１領域２１１又は第２領域２２１が参照画像１５１内に収まるように、第１領域２１１又は第２領域２２１を変形してもよい。さらに、第１領域２１１又は第２領域２２１が参照画像１５１内に収まるように、参照画像１５１の端部の画素をノイズ除去処理の対象から除外してもよい。
【００４０】
次に、画像処理装置１００の動作について説明する。
図３は、画像処理装置１００が実行する画像処理の手順を概略的に示している。対象画像１５０が参照画像生成部１０１及び画素値算出部１０４に入力されると、図３に示される画像処理が開始する。
【００４１】
ステップＳ３０１では、参照画像生成部１０１は、対象画像１５０のノイズを低減した参照画像１５１を生成する。具体的には、参照画像生成部１０１は、（１）対象画像１５０の信号成分が含まれる第１の周波数帯域のパワーを上げること、及び（２）対象画像１５０のノイズ成分が含まれる第２の周波数帯域のパワーを下げること、のうちの少なくとも一方を行うことにより、対象画像１５０から参照画像１５１を生成する。
【００４２】
ステップＳ３０２では、相違度算出部１０２は、参照画像１５１内の第１画素２１０を含む第１領域２１１と参照画像１５１内の第２画素２２０を含む第２領域２２１との間の相違度を算出する。具体的には、まず、対象画像１５０から１つの画素が注目画素として選択される。続いて、注目画素と同じ位置にある参照画像１５１内の画素２１０が第１画素として選択され、参照画像１５１内の探索領域２３０から１つの画素が第２画素２２０として選択される。続いて、第１画素２１０を中心とする第１領域２１１と第２画素２２０を中心とする第２領域２２１との間の相違度Ｄ（ｘ，ｙ）が、例えば上記数式（１）に従って算出される。
【００４３】
ステップＳ３０３では、重み算出部１０３は、ステップＳ３０２で算出された相違度から重みを算出する。具体的には、重みｗ（ｘ，ｙ）は、上記数式（５）に従って算出される。算出された重みは、第２領域２２１の中心に位置する第２画素２２０に割り当てられる。
【００４４】
ステップＳ３０４では、探索領域２３０内の全ての画素を処理したか否かが判断される。未処理の画素が残っている場合、ステップＳ３０２に戻る。ステップＳ３０２に戻ると、探索領域２３０から１つの未処理の画素が第２画素２２０として選択される。そして、ステップＳ３０２の処理及びステップＳ３０３の処理が実行される。このようにして、探索領域２３０内の全ての画素が処理されるまで、ステップＳ３０２の処理及びステップＳ３０３の処理が繰り返し実行される。探索領域２３０内の全ての画素を処理し終えると、ステップＳ３０５に進む。
【００４５】
なお、上記数式（６）に示される値Ｚ（ｘ）は、探索領域２３０内の全ての画素について相違度を算出し終えた後に算出することができるものである。このため、実際の計算では、例えば、初めは数式（５）のＺ（ｘ）を１としておき、探索領域２３０内の全ての画素について相違度及び重みを算出し、それらを逐次加算することで値Ｚ（ｘ）を算出する。その後に、既に算出されている重みをＺ（ｘ）で割ることで、加算平均の際に用いる重みを得る。或いは、探索領域２３０内の全ての画素について相違度を算出した後に、加算平均の際に用いる重みを数式（５）に従って算出するようにしてもよい。
【００４６】
ステップＳ３０５では、画素値算出部１０４は、複数の第２画素のそれぞれに割り当てられた重みを、複数の第２画素のそれぞれと同じ位置にある対象画像１５０内の複数の第３画素にそれぞれ適用して、複数の第３画素の画素値を加重平均することにより、出力画素値を算出する。出力画素値は、例えば上記数式（７）に従って算出される。
【００４７】
ステップＳ３０６では、対象画像１５０内の全ての画素を処理したか否かが判断される。未処理の画素が残っている場合、ステップＳ３０２に戻る。ステップＳ３０２に戻ると、対象画像１５０内の未処理の画素が新たな注目画素として選択され、この注目画素と同じ位置にある参照画像１５１内の画素が新たな第１画素２１０として選択される。その後、ステップＳ３０２からステップＳ３０５の処理が実行される。対象画像１５０内の全ての画素を処理し終えると、画像処理は終了する。
【００４８】
このようにして、画像処理装置１００においては、対象画像１５０とは別に撮影された参照画像を必要とせず、１台の撮像装置（例えば、デジタルカメラなど）で撮影した１枚の対象画像１５０から、ノイズを効果的に除去若しくは低減することができる。
【００４９】
以上のように、第１の実施形態に係る画像処理装置１００は、（１）対象画像の信号成分を含む第１の周波数帯域のパワーを上げること、及び（２）対象画像のノイズ成分を含む第２の周波数帯域のパワーを下げること、の少なくとも一方を対象画像に対して行うことにより、対象画像よりもノイズの少ない参照画像を生成し、この参照画像を用いて領域間の相違度を算出している。これにより、ノイズの影響が抑制され、領域間の相違度を正しく算出することができる。その結果、画像処理装置１００は、対象画像１５０に対し平滑化を適切に行うことができるようになり、１枚の対象画像からノイズを効果的に除去若しくは低減することができる。
【００５０】
（第２の実施形態）
図４は、第２の実施形態に係る画像処理装置４００を概略的に示している。この画像処理装置４００は、図４に示されるように、参照画像生成部４０１、相違度算出部１０２、重み算出部１０３、画素値算出部１０４、及び周波数帯域設定部４０２を備える。図４において、図１に示した符号と同様の符号を同一部分、同一箇所に付してその説明を省略する。また、図４の参照画像生成部４０１は図１の参照画像生成部１０１にほとんど同じ動作を行うので、参照画像生成部４０１については参照画像生成部１０１と異なる動作を中心に説明する。
【００５１】
周波数帯域設定部４０２には、対象画像１５０に含まれる周期的な繰り返し構造を示す構造情報４５１が供給される。構造情報４５１は、対象画像１５０の周期パターンに関する情報、例えば、周期的な繰り返し構造における繰り返し単位の大きさ及び繰り返し周期などの情報を含むことができる。周波数帯域設定部４０２は、構造情報４５１に従って、対象画像１５０の周期的な繰り返し構造が含まれる周波数帯域を決定する。決定された周波数帯域を示す周波数帯域情報４５０は、参照画像生成部４０１へ送られる。
【００５２】
参照画像生成部４０１は、周波数帯域情報４５０に従って、対象画像１５０のノイズを低減した参照画像１５１を生成する。具体的には、参照画像生成部４０１は、ノイズを低減するために、（１）周波数帯域情報４５０により指定される周波数帯域のパワーを上げること、及び（２）周波数帯域情報４５０により指定される周波数帯域とは異なる周波数帯域のパワーを下げること、の少なくとも一方を対象画像１５０に対して行う。このノイズ低減処理は、例えば、以下に例示するバンドパスフィルタを用いて対象画像１５０をフィルタリングすることで実行される。以下では、周波数帯域情報４５０により指定される周波数帯域、即ち、対象画像１５０の周期的な繰り返し構造が含まれる周波数帯域を第１の周波数帯域と呼び、第１の周波数帯域と異なる周波数帯域を第２の周波数帯域と呼ぶ。一例では、第２の周波数帯域は、第１の周波数帯域より高い周波数帯域である。
【００５３】
一例では、バンドパスフィルタは、第１の周波数帯域のパワーを上げ、且つ、第２の周波数帯域のパワーを下げるフィルタである。このバンドパスフィルタは、例えば、平滑化フィルタと強調フィルタとを組み合わせて用いることにより実現することができる。平滑化フィルタとしては、ガウシアンフィルタ、移動平均フィルタ、バイラテラルフィルタ、εフィルタなどを利用することができる。ガウシアンフィルタは、異方性を有するものであってもよい。平滑化フィルタは、周波数応答を設定するためのパラメータを有する。このパラメータを調整することにより、第２の周波数帯域のパワーを下げる周波数応答を持つフィルタを設計することができる。例えば、平滑化フィルタとしてガウシアンフィルタを使用する場合、ガウス関数の標準偏差を調整することにより所望の周波数応答を得ることができる。
強調フィルタとしては、鮮鋭化フィルタ、アンシャープマスクなどを利用することができる。強調フィルタは、周波数応答を設定するためのパラメータを有する。このパラメータを調整することにより、第１の周波数帯域のパワーを上げる周波数応答を有するフィルタを設計することができる。例えば、強調フィルタとして鮮鋭化フィルタを使用する場合、フィルタ係数の乗数を調整することにより所望の周波数応答を得ることができる。
なお、バンドパスフィルタは、平滑化フィルタと強調フィルタとの組み合わせて用いる例に限らず、フーリエ変換又はウェーブレット変換などの変換手法により対象画像１５０を周波数変換し、第１の周波数帯域のパワーを上げて、第２の周波数帯域のパワーを下げるフィルタであってもよい。
【００５４】
他の例では、バンドパスフィルタは、第１の周波数帯域のパワーを上げるフィルタである。このバンドパスフィルタは、上述のような強調フィルタにより実現することができる。或いは、バンドパスフィルタは、フーリエ変換又はウェーブレット変換などの変換手法により対象画像１５０を周波数変換し、第１の周波数帯域のパワーを上げるフィルタであってもよい。
【００５５】
さらに他の例では、バンドパスフィルタは、第２の周波数帯域のパワーを下げるフィルタである。このバンドパスフィルタは、上述のような平滑化フィルタにより実現することができる。或いは、バンドパスフィルタは、フーリエ変換又はウェーブレット変換などの変換手法により対象画像１５０を周波数変換し、第２の周波数帯域のパワーを下げるフィルタであってもよい。
【００５６】
バンドパスフィルタとして平滑化フィルタを用いる例について具体的に説明する。説明を簡単にするために、対象画像１５０が１次元の画像であると仮定する。図５は、１次元の画像である対象画像１５０のパワースペクトルを概略的に示している。図５では、横軸を周波数とし、縦軸をパワーとしている。対象画像１５０のパワースペクトルは実線で示され、平滑化後の対象画像１５０（即ち、参照画像１５１）のパワースペクトルは一点鎖線で示され、平滑化フィルタの周波数応答は破線で示されている。
【００５７】
周波数帯域情報４５０から対象画像１５０の画像構造が含まれる第１の周波数帯域がわかるので、この第１の周波数帯域とは異なる第２の周波数帯域を、ノイズ成分を主に含む周波数帯域と見なすことができる。この例では、周波数帯域情報４５０により指定される第１の周波数帯域は、０Ｈｚ以上、Ｆ１Ｈｚ以下の周波数帯域であり、第２の周波数帯域は、Ｆ１Ｈｚより高い周波数帯域である。図５に示されるような、第２の周波数帯域のパワーを下げる周波数応答を持つ平滑化フィルタを用いて対象画像１５０をフィルタリングすることにより、対象画像１５０の構造を維持しつつノイズを効果的に低減した参照画像１５１を生成することができる。
【００５８】
さらに、バンドパスフィルタとして強調フィルタを用いる他の例について具体的に説明する。説明を簡単にするために、対象画像１５０が１次元の画像であると仮定する。図６は、１次元の画像である対象画像１５０のパワースペクトルを概略的に示している。図６では、横軸を周波数とし、縦軸をパワーとしている。さらに、対象画像１５０のパワースペクトルは実線で示され、強調後の対象画像１５０（即ち、参照画像１５１）のパワースペクトルは一点鎖線で示され、強調フィルタの周波数応答は破線で示されている。この例では、周波数帯域情報４５０により指定される第１の周波数帯域は、０Ｈｚ以上、Ｆ２Ｈｚ以下の周波数帯域であり、第２の周波数帯域は、Ｆ２Ｈｚより高い周波数帯域である。図６に示されるような、第１の周波数帯域の周波数成分を強調する周波数応答を持つ強調フィルタを用いて対象画像１５０をフィルタリングすることにより、対象画像１５０の構造を強調し、ノイズを相対的に低減した参照画像１５１を生成することができる。
【００５９】
次に、画像処理装置４００の動作について説明する。
図７は、画像処理装置４００が実行する画像処理の手順を概略的に示している。図７のステップＳ７０１では、周波数帯域設定部４０２は、対象画像１５０に含まれる周期的な繰り返し構造を示す構造情報４５１に従って、第１の周波数帯域を設定する。なお、構造情報４５１は、対象画像１５０に含まれる周期的な繰り返し構造を示す情報である例に限らず、周期的な繰り返し構造が含まれる第１の周波数帯域そのものを示す情報であってもよい。
【００６０】
ステップＳ７０２では、参照画像生成部４０１は、周波数帯域情報４５０に従って、対象画像１５０のノイズを低減した参照画像１５１を生成する。具体的には、参照画像生成部４０１は、（１）周波数帯域情報４５０により指定される第１の周波数帯域のパワーを上げること、及び（２）第１の周波数帯域とは異なる第２の周波数帯域のパワーを下げること、のうちの少なくとも一方を行うことにより、対象画像１５０から参照画像１５１を生成する。
【００６１】
ステップＳ７０２の後に続くステップＳ７０３〜Ｓ７０７は、それぞれ図３のステップＳ３０２〜Ｓ３０６と同一であるので、ステップＳ７０３〜Ｓ７０７についての説明は省略する。
【００６２】
以上のように、第２の実施形態に係る画像処理装置４００は、対象画像の構造を示す構造情報に従って対象画像の画像構造を含む第１の周波数帯域を設定し、（１）第１の周波数帯域のパワーを上げること、及び（２）第１の周波数帯域とは異なる第２の周波数帯域のパワーを下げること、の少なくとも一方を行うことにより、対象画像１５０から参照画像を生成している。これにより、ノイズがより少ない参照画像を生成することができ、領域間の相違度をより正しく算出することができる。その結果、出力画像を第１の実施形態よりも高画質化することができる。
【００６３】
（第３の実施形態）
図８は、第３の実施形態に係る画像処理装置８００を概略的に示している。この画像処理装置８００は、図８に示されるように、参照画像生成部１０１、相違度算出部８０２、重み算出部１０３、画素値算出部１０４、及び探索領域設定部８０１を備える。図８において、図１に示した符号と同様の符号を同一部分、同一箇所に付してその説明を省略する。また、図８の相違度算出部８０２は図１の相違度算出部１０２とほとんど同じ動作を行うので、相違度算出部８０２については相違度算出部１０２と異なる動作を中心に説明する。
【００６４】
探索領域設定部８０１には、対象画像１５０に含まれる周期的な繰り返し構造を示す構造情報４５１が供給される。構造情報４５１は、前述したように、対象画像１５０の周期パターンに関する情報、例えば、対象画像１５０の周期的な繰り返し構造における繰り返し単位の大きさ及び繰り返し周期などを含む。さらに、探索領域設定部８０１には、第１画素２１０及び第１領域２１１の少なくとも一方の位置（座標）を示す位置情報８５２が相違度算出部８０２から与えられる。探索領域設定部８０１は、構造情報４５１を参照して、第１領域２１１と同一の構造又は似た構造を持つ領域を探索領域として設定する。設定した探索領域を示す探索領域情報８５１は、相違度算出部８０２へ与えられる。相違度算出部８０２は、探索領域情報８５１に従って、参照画像１５１に探索領域を定める。
【００６５】
図９を参照して、探索領域設定部８０１が探索領域を設定する方法を具体的に説明する。
図９は、対象画像１５０が周期的な繰り返し構造を持つ場合において、探索領域を設定する方法を例示している。図９の対象画像１５０は、横方向に長い領域９０１が縦方向に周期的に並んだ構造を有する。注目画素９０２は、参照画像１５１内の第１画素２１０に対応し、局所領域９０３は、参照画像１５１の第１領域２１１に対応する。注目画素９０２が領域９０１内の画素である場合、領域９０１と同一の構造又は似た構造を持つ領域９０４が探索領域として設定される。図９では、領域９０４は斜線を施されている。探索領域は、図９に示される領域９０４である例に限定されない。探索領域は、図９の領域９０４を横方向に拡大した領域であってもよく、上下方向に位置する他の領域９０１に設定されてもよい。
【００６６】
なお、周期的な繰り返し構造は、図９に示される横長の領域９０１が縦方向に並んだ構造に限定されず、周期的な繰り返しを定義可能な構造であればいかなるものであってもよい。例えば、周期的な繰り返し構造は、縦長の領域が横方向に並んだ構造であってもよく、縦長の領域と横長の領域とが格子状に交差している構造であってもよい。或いは、周期的な繰り返し構造は、渦巻き状の構造又は同心円状の構造であってもよい。
【００６７】
次に、画像処理装置８００の動作について説明する。
【００６８】
図１０は、画像処理装置８００が実行する画像処理の手順を概略的に示している。図１０のステップＳ１００１では、参照画像生成部１０１は、対象画像１５０のノイズを低減した参照画像１５１を生成する。ステップＳ１００１の処理は、図３のステップＳ３０１の処理と同じなので、詳細な説明を省略する。
【００６９】
ステップＳ１００２では、探索領域設定部８０１は、構造情報４５１に従って探索領域を設定する。具体的には、まず、対象画像１５０から１つの画素９０２が注目画素として選択される。探索領域設定部８０１は、上述したように、注目画素９０２を含む領域９０３と同一の構造又は似た構造を持つ領域９０４を探索領域として定め、この探索領域９０４の位置を示す探索領域情報８５１を相違度算出部８０２に送る。
【００７０】
ステップＳ１００３では、相違度算出部１０２は、参照画像１５１内の第１領域２１１と参照画像１５１内の第２領域２２１との間の相違度を算出する。具体的には、まず、注目画素９０２と同じ位置にある参照画像１５１内の画素２１０が第１画素として選択される。続いて、相違度算出部１０２は、探索領域設定部８０１から受け取った探索領域情報８５１に従って、参照画像１５１に探索領域２３０を設定する。設定された探索領域２３０から１つの画素が第２画素２２０として選択される。その後に、第１画素２１０を中心とする第１領域２１１と第２画素２２０を中心とする第２領域２２１との間の相違度Ｄ（ｘ，ｙ）が、例えば上記数式（１）に従って算出される。
【００７１】
ステップＳ１００３に後に続くステップＳ１００４〜Ｓ１００７は、それぞれ図３のステップＳ３０３〜Ｓ３０６と同一であるので、ステップＳ１００４〜Ｓ１００７についての説明は省略する。
【００７２】
以上のように、第３の実施形態に係る画像処理装置８００は、対象画像の構造を示す構造情報に従って探索領域を設定することにより、第１領域と画像構造が同一又は似ている領域を効率的に探索することができる。これにより、探索領域に含まれる画素の数が低減されるので、相違度及び出力画素値を計算するコストを低減することができる。さらに、探索領域を第１領域と画像構造が同一又は似ている領域に限定することができるので、ノイズの影響をより効果的に抑制することができ、その結果、出力画像を第１の実施形態よりも高画質化することができる。
【００７３】
（第４の実施形態）
第２及び第３の実施形態に係る画像処理装置では、装置外部から構造情報が供給される。これに対し、第４の実施形態に係る画像処理装置は、対象画像に基づいて構造情報を取得する。
【００７４】
図１１は、第４の実施形態に係る画像処理装置１１００を概略的に示している。図１１の画像処理装置１１００は、図４の画像処理装置４００の構成に追加して、構造情報取得部１１０１及び構造情報記憶部１１０２を備える。図１１において、図４に示した符号と同様の符号を同一部分、同一箇所に付してその説明を省略する。
【００７５】
構造情報記憶部１１０２は、予め用意される複数の学習画像を、これら学習画像に含まれる周期的な繰り返し構造をそれぞれ示す参照構造情報とともに記憶している。構造情報取得部１１０１は、対象画像１５０で構造情報記憶部１１０２を参照して、対象画像１５０に対応する学習画像を選定し、選定した学習画像に対応付けられている参照構造情報１１５０を取得する。構造情報取得部１１０１は、取得した参照構造情報１１５０を構造情報４５１として出力する。
【００７６】
このようにして、第４の実施形態に係る画像処理装置１１００は、対象画像１５０から、この対象画像１５０に含まれる周期的な繰り返し構造を示す構造情報４５１を取得することができる。なお、第４の実施形態では、構造情報取得部１１０１及び構造情報記憶部１１０２を第２の実施形態に係る画像処理装置４００に追加した例を説明したが、第３の実施形態に係る画像処理装置８００に、これら構造情報取得部１１０１及び構造情報記憶部１１０２が設けられてもよい。
【００７７】
上述した実施形態の各々に係る画像処理装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることで実現することも可能である。即ち、参照画像生成部、相違度算出部、重み算出部、画素値算出部、周波数帯域設定部、探索領域設定部、及び構造情報取得部は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、画像処理装置は、上記のプログラムをコンピュータ装置に予めインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して或いはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また。構造情報記憶部は、上記のコンピュータ装置に内蔵或いは外付けされたメモリ、ハードディスクドライブ若しくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。
【００７８】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７９】
１００…画像処理装置、１０１…参照画像生成部、１０２…相違度算出部、１０３…重み算出部、１０４…画素値算出部、１５０…対象画像（入力画像）、１５１…参照画像、１５４…出力画像、２１０…第１画素、２１１…第１領域、２２０…第２画素、２２１…第２領域、２３０…探索領域、４００…画像処理装置、４０１…参照画像生成部、４０２…周波数帯域設定部、４５０…構造情報、８００…画像処理装置、８０１…探索領域設定部、８０２…相違度算出部、１１００…画像処理装置、１１０１…構造情報取得部、１１０２…構造情報記憶部。
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、方法及びプログラムに関する。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置で取得された画像にランダムに発生するノイズを低減する画像処理技術として、Ｎｏｎ−ｌｏｃａｌ Ｍｅａｎｓ法と呼ばれるアルゴリズムが知られている。Ｎｏｎ−ｌｏｃａｌ Ｍｅａｎｓ法は、処理対象の画素（以下、注目画素と呼ぶ）を中心とするブロック（以下、注目ブロックという）と、注目画素の周辺にある画素（以下、周辺画素という）を中心とするブロック（以下、周辺ブロックという）との間の相違度に応じた重みにより、周辺画素の画素値を加重平均し、注目画素の画素値を加重平均の結果得られた画素値に置き換える（非特許文献１参照）。しかしながら、Ｎｏｎ−ｌｏｃａｌ Ｍｅａｎｓ法では、ノイズが重畳している画像で相違度を算出するので、ノイズの影響を受けて相違度が正しく算出されないことがある。その結果、ノイズ除去後の画像に過剰な平滑化やアーチファクト（artifact）が発生することがある。
【０００３】
さらに、ノイズを除去する画像（対象画像）とは別に撮影したノイズの少ない画像（参照画像）で相違度を算出する手法が開示されている（非特許文献２参照）。この手法では、低照度の環境において通常のカメラでフラッシュを焚かずに撮影した画像を対象画像として用い、同じシーンを近赤外線カメラで撮影した画像を参照画像として用いる。ノイズの少ない参照画像で相違度を算出するので、相違度を正しく算出することができ、その結果、対象画像から効果的にノイズを除去することができる。しかしながら、対象画像とは別に特殊な撮像装置を用いて参照画像を撮影する必要があるという問題がある。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】A. Buades, B. Coll, and J. M. Morel, ”A Non Local Algorithm for Image Denoising” Proc. IEEE Int. Conf. on Computer Vision and Pattern Recognition, vol.2, pp.60-65, 2005.
【非特許文献２】Sousuke Matsui, Takahiro Okabe, Mihoko Shimano, Yoichi Sato, “Image Enhancement of Low-Light Scenes with Near-Infrared Flash Images”, IPSJ Trans., vol.2, pp.215-223, 2010．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
画像処理技術においては、対象画像と同じシーンを撮影した参照画像を必要とすることなく、１枚の対象画像からノイズを効果的に除去できることが求められている。
【０００６】
本発明が解決しようとする課題は、１枚の画像からノイズを効果的に低減することができる画像処理装置、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
一実施形態に係る画像処理装置は、参照画像生成部、相違度算出部、重み算出部、及び画素値算出部を備える。参照画像生成部は、入力された対象画像の信号成分が含まれる第１の周波数帯域のパワーを上げること、及び該対象画像のノイズ成分が含まれる第２の周波数帯域のパワーを下げることの少なくとも一方を行うことにより、該対象画像から参照画像を生成する。相違度算出部は、前記参照画像内の第１領域と、前記参照画像内の複数の第２領域のそれぞれとの間の相違度を算出する。前記第１領域は第１画素を含み、前記複数の第２領域は複数の第２画素をそれぞれ１つ含む。重み算出部は、前記相違度が小さいほど大きくなる重みを前記複数の第２領域のそれぞれについて算出し、該重みを前記複数の第２画素のそれぞれに割り当てる。画素値算出部は、複数の前記重みを、前記複数の第２画素のそれぞれと同じ位置にある前記対象画像内の複数の第３画素にそれぞれ適用して、該複数の第３画素の画素値を加重平均することにより、出力画素値を算出する。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る画像処理装置を概略的に示すブロック図。
【図２】図１に示した相違度算出部が相違度を算出する方法を説明する図。
【図３】図１に示した画像処理装置の動作例を示すフローチャート。
【図４】第２の実施形態に係る画像処理装置を概略的に示すブロック図。
【図５】図１に示した参照画像生成部が用いるバンドパスフィルタが平滑化フィルタである場合において、このバンドパスフィルタの周波数応答を概略的に示すグラフ。
【図６】図１に示した参照画像生成部が用いるバンドパスフィルタが強調フィルタである場合において、このバンドパスフィルタの周波数応答を概略的に示すグラフ。
【図７】図４に示した画像処理装置の動作例を示すフローチャート。
【図８】第３の実施形態に係る画像処理装置を概略的に示すブロック図。
【図９】図８に示した探索領域設定部が探索領域を設定する方法を説明する図。
【図１０】図８に示した画像処理装置の動作例を示すフローチャート。
【図１１】第４の実施形態に係る画像処理装置を概略的に示すブロック図。
【発明を実施するための形態】
【０００９】
以下、必要に応じて図面を参照しながら、実施形態に係る画像処理装置、方法及びプログラムを説明する。
【００１０】
（第１の実施形態）
図１は、第１の実施形態に係る画像処理装置１００を概略的に示している。この画像処理装置１００は、図１に示されるように、参照画像生成部１０１、相違度算出部１０２、重み算出部１０３、及び画素値算出部１０４を備える。画像処理装置１００において、処理すべき画像１５０は、参照画像生成部１０１及び画素値算出部１０４へ入力される。ここでは、処理すべき画像１５０を対象画像と呼ぶ。本実施形態では、説明を簡単にするために、対象画像１５０を構成する複数の画素の各々が１つの画素値を保持すると仮定する。なお、カラー画像のように各画素が複数の画素値（例えば、赤色、緑色及び青色の画素値）を保持する画像にも本実施形態を適用できることは明らかである。
【００１１】
参照画像生成部１０１は、対象画像１５０から、この対象画像１５０に重畳しているノイズを低減した参照画像１５１を生成する。相違度算出部１０２は、参照画像１５１内の第１画素を含む第１領域と参照画像１５１内の第２画素を含む第２領域との間の相違度を算出する。相違度を示す相違度情報１５２は、重み算出部１０３へ送られる。重み算出部１０３は、相違度に応じて、第２画素に割り当てる重みを算出する。第２画素に割り当てられた重みを示す重み情報１５３は、画素値算出部１０４へ送られる。画素値算出部１０４は、第２画素の重みを用いて、対象画像１５０内で第２画素と同じ位置にある画素が保持する画素値を加重平均することにより、出力画素値を算出する。画素値算出部１０４は、第１画素と同じ位置にある対象画像１５０内の画素の画素値を算出した出力画素値に置き換えた出力画像１５４を生成する。
【００１２】
次に、画像処理装置１００内の各部をより詳細に説明する。
参照画像生成部１０１は、対象画像１５０のノイズを低減した参照画像１５１を生成する。具体的には、参照画像生成部１０１は、ノイズを低減するために、（１）対象画像１５０の信号成分が含まれる周波数帯域のパワーを上げること、及び（２）対象画像１５０のノイズ成分が含まれる周波数帯域のパワーを下げること、の少なくとも一方を対象画像１５０に対して行う。このノイズ低減処理は、例えば、以下に例示するバンドパスフィルタを用いて対象画像１５０をフィルタリングすることで実行される。本実施形態では、対象画像１５０の信号成分が含まれる周波数帯域を第１の周波数帯域と呼び、対象画像１５０のノイズ成分が含まれる周波数帯域を第２の周波数帯域と呼ぶ。なお、第１の周波数帯域にノイズ成分が含まれることもあり、また、第２の周波数帯域に信号成分が含まれることもあることに留意されたい。
【００１３】
一例では、バンドパスフィルタは、第１の周波数帯域のパワーを上げ、且つ、第２の周波数帯域のパワーを下げるフィルタである。ここで、周波数帯域のパワーを下げるとは、この周波数帯域のパワーをより低い値にすることを意味し、この周波数帯域中の全部又は一部の帯域のパワーをゼロにすることを含む。このバンドパスフィルタは、例えば、平滑化フィルタと強調フィルタとを組み合わせて用いることにより実現することができる。平滑化フィルタとしては、ガウシアンフィルタ、移動平均フィルタ、バイラテラルフィルタ、εフィルタなどを利用することができる。ガウシアンフィルタは、異方性を有するものであってもよい。強調フィルタとしては、鮮鋭化フィルタ、アンシャープマスクなどを利用することができる。なお、バンドパスフィルタは、平滑化フィルタと強調フィルタとの組み合わせて用いる例に限らず、フーリエ変換又はウェーブレット変換などの変換手法により対象画像１５０を周波数変換し、第１の周波数帯域のパワーを上げて、第２の周波数帯域のパワーを下げるフィルタであってもよい。
【００１４】
他の例では、バンドパスフィルタは、第１の周波数帯域のパワーを上げるフィルタである。このバンドパスフィルタは、強調フィルタにより実現することができる。強調フィルタとしては、鮮鋭化フィルタ、アンシャープマスクなどを利用することができる。或いは、バンドパスフィルタは、フーリエ変換又はウェーブレット変換などの変換手法により対象画像１５０を周波数変換し、第１の周波数帯域のパワーを上げるフィルタであってもよい。
【００１５】
さらに他の例では、バンドパスフィルタは、第２の周波数帯域のパワーを下げるフィルタである。このバンドパスフィルタは、例えば、平滑化フィルタにより実現することができる。或いは、バンドパスフィルタは、フーリエ変換又はウェーブレット変換などの変換手法により対象画像１５０を周波数変換し、第２の周波数帯域のパワーを下げるフィルタであってもよい。
【００１６】
参照画像生成部１０１では、対象画像１５０の信号成分が含まれる第１の周波数帯域のパワーを上げ、且つ、対象画像１５０のノイズ成分が含まれる第２の周波数帯域のパワーを下げるバンドパスフィルタを用いる場合、対象画像１５０の構造を維持しつつノイズを効果的に低減した参照画像１５１を生成することができる。また、第１の周波数帯域のパワーを上げるバンドパスフィルタを用いる場合、対象画像１５０の構造を強調し、ノイズを相対的に低減した参照画像１５１を生成することができる。また、第２の周波数帯域のパワーを下げるバンドパスフィルタを用いる場合、ノイズを効果的に低減した参照画像１５１を生成することができる。上記のいずれの場合にも、１枚の対象画像１５０から、対象画像１５０よりもノイズが低減している参照画像１５１を得ることができる。
【００１７】
相違度算出部１０２は、参照画像１５１内の第１画素を含む第１領域と参照画像１５１内の第２画素を含む第２領域との間の相違度を算出する。相違度算出部１０２は、ノイズの少ない参照画像１５１を用いて領域間の相違度を算出するので、ノイズの影響を受けることなく、第１領域と第２領域との間の相違度を正しく算出することができる。第１領域と第２領域との間の相違度は、例えば下記数式（１）に従って算出される。
【００１８】
【数１】
【００１９】
ここで、ｘは第１画素の位置を表す位置ベクトルであり、ｙは第２画素の位置を表す位置ベクトルであり、ω（ｘ）は第１領域内の画素の位置を表す位置ベクトルの集合である。また、Ｄ（ｘ，ｙ）は第１領域と第２領域との間の相違度を表し、ＩＲ（ｚ）は位置ベクトルｚで特定される参照画像１５１内の画素が保持している画素値を表す。さらに、ａは設計者が適宜に設定する定数である。
【００２０】
図２を参照して相違度を算出する方法を具体的に説明する。ここでは、対象画像１５０内のある画素が処理対象になっている場合を説明する。この処理対象の画素を注目画素と呼ぶ。図２に示される参照画像１５１内の画素２１０は、対象画像１５０内の注目画素と同じ座標に位置する画素である。この画素２１０を第１画素と呼ぶ。参照画像１５１には、例えば第１画素２１０の位置（座標）に応じて、探索領域２３０が設定される。図２では、探索領域２３０は、第１画素２１０を中心とする矩形領域（画素ブロックともいう）である。さらに、相違度算出部１０２は、探索領域２３０から１つの画素２２０を順次に選択して処理する。探索領域２３０から選択された画素を第２画素と呼ぶ。なお、探索領域２３０内に第１画素２１０が含まれる場合、第１画素２１０を除いた探索領域２３０から第２画素２２０が選択されてもよい。本実施形態では、第１領域は、第１画素２１０を中心とする矩形領域２１１であり、第２領域は、第２画素２２０を中心とする矩形領域２２１である。
【００２１】
探索領域２３０には複数の画素が含まれているので、相違度算出部１０２は、第１領域２１１と複数の第２領域２２１のそれぞれとの間の相違度を算出する。具体的には、相違度算出部１０２は、探索領域２３０から１つの画素を第２画素２２０として選択し、第１領域２１１と第２画素２２０を中心とする第２領域２２１との間の相違度を算出する処理を繰り返し実行する。
【００２２】
なお、参照画像１５１に設定される探索領域２３０は、図２に示される第１画素２１０を中心とする矩形領域である例に限定されない。例えば、探索領域２３０の中心に第１画素２１０が位置していなくてもよく、或いは、探索領域２３０内に第１画素２１０が含まれていなくてもよい。さらに、探索領域２３０のサイズ及び形状は適宜に設定することができる。或いは、探索領域２３０は、参照画像１５１全体であってもよい。
【００２３】
さらに、第１領域２１１は、図２に示される第１画素２１０を中心とする矩形領域である例に限定されない。例えば、第１領域２１１の中心に第１画素２１０が位置していなくてもよい。さらに、第１領域２１１のサイズ及び形状は適宜に設定することができる。同様に、第２領域２２１は、図２に示される第２画素２２０を中心とする矩形領域である例に限定されない。典型的には、第２領域２２１は、第１領域２１１と同じ方法で設定される。例えば、第１画素２１０を中心とする縦９画素及び横９画素の画素ブロックを第１領域と設定する場合、第２画素２２０を中心とする縦９画素及び横９画素の画素ブロックを第２領域と設定する。
【００２４】
第１領域２１１と第２領域２２１との相違度Ｄ（ｘ，ｙ）は、例えば上記数式（１）のように、第１領域２１１内の各画素の画素値と第２領域２２１内の対応する画素の画素値との差に基づいて算出される。相違度Ｄ（ｘ，ｙ）は、第１領域２１１の画像構造がどのくらい第２領域２２１の画像構造と相違しているかを表す。第１領域２１１の画像構造が第２領域２２１の画像構造と相違しているほど、相違度Ｄ（ｘ，ｙ）は、より大きい値になる。言い換えると、第１領域２１１の画像構造が第２領域２２１の画像構造と類似しているほど、相違度Ｄ（ｘ，ｙ）は、より小さい値になる。
【００２５】
なお、相違度Ｄ（ｘ，ｙ）は、数式（１）に限らず、下記の数式（２）、数式（３）又は数式（４）などに従って算出されてもよい。
【００２６】
【数２】
【００２７】
【数３】
【００２８】
【数４】
【００２９】
重み算出部１０３は、相違度が小さいほど重みがより大きい値になるように、第２画素２２０に割り当てる重みを決定する。一例では、第２画素２２０に割り当てる重みｗ（ｘ，ｙ）は、下記数式（５）に従って算出される。
【００３０】
【数５】
【００３１】
ここで、ｈは設計者が適宜に設定する定数である。さらに、Ｚ（ｘ）は下記数式（６）に従って算出される。
【００３２】
【数６】
【００３３】
数式（６）において、Ω（ｘ）は、探索領域２３０内の第２画素２２０の位置を表す位置ベクトルの集合である。
【００３４】
このように、第２領域２２１の画像構造が第１領域２１１の画像構造と相違しているほど、その第２領域２２１内の所定位置（例えば、中心）の第２画素２２０に小さな重みが割り当てられる。即ち、第２領域２２１の画像構造が第１領域２１１の画像構造と類似しているほど、その第２領域２２１内の所定位置の第２画素２２０に大きな重みが割り当てられる。
【００３５】
画素値算出部１０４は、第２画素２２０に割り当てられた重みを、対象画像１５０内で第２画素２２０と同じ位置にある画素（第３画素ともいう）に適用して、第３画素の画素値を加重平均することにより、出力画素値を算出する。例えば、出力画素値は、下記数式（７）に従って算出される。
【００３６】
【数７】
【００３７】
ここで、Ｉ（ｙ）は、位置ベクトルｙで特定される対象画像１５０内の画素の画素値であり、Ｉ０（ｘ）は、位置ベクトルｘで特定される出力画像１５４内の画素の画素値である。
【００３８】
上記構成を備える画像処理装置１００は、対象画像１５０からノイズの少ない参照画像１５１を生成し、この参照画像１５１を用いて領域間の相違度を算出する。これにより、ノイズの影響が抑制され、領域間の相違度を正しく算出することができる。この結果、画像処理装置１００は、対象画像１５０に対し平滑化を適切に行うことができるようになり、対象画像１５０からノイズを効果的に除去若しくは低減することができる。
【００３９】
なお、第１画素２１０又は第２画素２２０が参照画像１５１の端部に（例えば、左上の隅に）位置する画素である場合、第１領域２１１又は第２領域２２１は、参照画像１５１の外側の領域を含む。参照画像１５１の外側の領域には、画素が配置されていないので、第１領域２１１又は第２領域２２１は、参照画像１５１の外側の領域に対応する画素位置に画素値を持たない。このような場合、参照画像１５１の外側の領域が参照画像１５１の端部と連続していると仮定し、参照画像１５１の外側の領域に参照画像１５１の端部の画素値を割り当ててもよい。或いは、参照画像１５１の鏡像を用いて、参照画像１５１の外側の領域に画素値を割り当ててもよい。さらに或いは、第１領域２１１又は第２領域２２１が参照画像１５１内に収まるように、第１領域２１１又は第２領域２２１を変形してもよい。さらに、第１領域２１１又は第２領域２２１が参照画像１５１内に収まるように、参照画像１５１の端部の画素をノイズ除去処理の対象から除外してもよい。
【００４０】
次に、画像処理装置１００の動作について説明する。
図３は、画像処理装置１００が実行する画像処理の手順を概略的に示している。対象画像１５０が参照画像生成部１０１及び画素値算出部１０４に入力されると、図３に示される画像処理が開始する。
【００４１】
ステップＳ３０１では、参照画像生成部１０１は、対象画像１５０のノイズを低減した参照画像１５１を生成する。具体的には、参照画像生成部１０１は、（１）対象画像１５０の信号成分が含まれる第１の周波数帯域のパワーを上げること、及び（２）対象画像１５０のノイズ成分が含まれる第２の周波数帯域のパワーを下げること、のうちの少なくとも一方を行うことにより、対象画像１５０から参照画像１５１を生成する。
【００４２】
ステップＳ３０２では、相違度算出部１０２は、参照画像１５１内の第１画素２１０を含む第１領域２１１と参照画像１５１内の第２画素２２０を含む第２領域２２１との間の相違度を算出する。具体的には、まず、対象画像１５０から１つの画素が注目画素として選択される。続いて、注目画素と同じ位置にある参照画像１５１内の画素２１０が第１画素として選択され、参照画像１５１内の探索領域２３０から１つの画素が第２画素２２０として選択される。続いて、第１画素２１０を中心とする第１領域２１１と第２画素２２０を中心とする第２領域２２１との間の相違度Ｄ（ｘ，ｙ）が、例えば上記数式（１）に従って算出される。
【００４３】
ステップＳ３０３では、重み算出部１０３は、ステップＳ３０２で算出された相違度から重みを算出する。具体的には、重みｗ（ｘ，ｙ）は、上記数式（５）に従って算出される。算出された重みは、第２領域２２１の中心に位置する第２画素２２０に割り当てられる。
【００４４】
ステップＳ３０４では、探索領域２３０内の全ての画素を処理したか否かが判断される。未処理の画素が残っている場合、ステップＳ３０２に戻る。ステップＳ３０２に戻ると、探索領域２３０から１つの未処理の画素が第２画素２２０として選択される。そして、ステップＳ３０２の処理及びステップＳ３０３の処理が実行される。このようにして、探索領域２３０内の全ての画素が処理されるまで、ステップＳ３０２の処理及びステップＳ３０３の処理が繰り返し実行される。探索領域２３０内の全ての画素を処理し終えると、ステップＳ３０５に進む。
【００４５】
なお、上記数式（６）に示される値Ｚ（ｘ）は、探索領域２３０内の全ての画素について相違度を算出し終えた後に算出することができるものである。このため、実際の計算では、例えば、初めは数式（５）のＺ（ｘ）を１としておき、探索領域２３０内の全ての画素について相違度及び重みを算出し、それらを逐次加算することで値Ｚ（ｘ）を算出する。その後に、既に算出されている重みをＺ（ｘ）で割ることで、加算平均の際に用いる重みを得る。或いは、探索領域２３０内の全ての画素について相違度を算出した後に、加算平均の際に用いる重みを数式（５）に従って算出するようにしてもよい。
【００４６】
ステップＳ３０５では、画素値算出部１０４は、複数の第２画素のそれぞれに割り当てられた重みを、複数の第２画素のそれぞれと同じ位置にある対象画像１５０内の複数の第３画素にそれぞれ適用して、複数の第３画素の画素値を加重平均することにより、出力画素値を算出する。出力画素値は、例えば上記数式（７）に従って算出される。
【００４７】
ステップＳ３０６では、対象画像１５０内の全ての画素を処理したか否かが判断される。未処理の画素が残っている場合、ステップＳ３０２に戻る。ステップＳ３０２に戻ると、対象画像１５０内の未処理の画素が新たな注目画素として選択され、この注目画素と同じ位置にある参照画像１５１内の画素が新たな第１画素２１０として選択される。その後、ステップＳ３０２からステップＳ３０５の処理が実行される。対象画像１５０内の全ての画素を処理し終えると、画像処理は終了する。
【００４８】
このようにして、画像処理装置１００においては、対象画像１５０とは別に撮影された参照画像を必要とせず、１台の撮像装置（例えば、デジタルカメラなど）で撮影した１枚の対象画像１５０から、ノイズを効果的に除去若しくは低減することができる。
【００４９】
以上のように、第１の実施形態に係る画像処理装置１００は、（１）対象画像の信号成分を含む第１の周波数帯域のパワーを上げること、及び（２）対象画像のノイズ成分を含む第２の周波数帯域のパワーを下げること、の少なくとも一方を対象画像に対して行うことにより、対象画像よりもノイズの少ない参照画像を生成し、この参照画像を用いて領域間の相違度を算出している。これにより、ノイズの影響が抑制され、領域間の相違度を正しく算出することができる。その結果、画像処理装置１００は、対象画像１５０に対し平滑化を適切に行うことができるようになり、１枚の対象画像からノイズを効果的に除去若しくは低減することができる。
【００５０】
（第２の実施形態）
図４は、第２の実施形態に係る画像処理装置４００を概略的に示している。この画像処理装置４００は、図４に示されるように、参照画像生成部４０１、相違度算出部１０２、重み算出部１０３、画素値算出部１０４、及び周波数帯域設定部４０２を備える。図４において、図１に示した符号と同様の符号を同一部分、同一箇所に付してその説明を省略する。また、図４の参照画像生成部４０１は図１の参照画像生成部１０１にほとんど同じ動作を行うので、参照画像生成部４０１については参照画像生成部１０１と異なる動作を中心に説明する。
【００５１】
周波数帯域設定部４０２には、対象画像１５０に含まれる周期的な繰り返し構造を示す構造情報４５１が供給される。構造情報４５１は、対象画像１５０の周期パターンに関する情報、例えば、周期的な繰り返し構造における繰り返し単位の大きさ及び繰り返し周期などの情報を含むことができる。周波数帯域設定部４０２は、構造情報４５１に従って、対象画像１５０の周期的な繰り返し構造が含まれる周波数帯域を決定する。決定された周波数帯域を示す周波数帯域情報４５０は、参照画像生成部４０１へ送られる。
【００５２】
参照画像生成部４０１は、周波数帯域情報４５０に従って、対象画像１５０のノイズを低減した参照画像１５１を生成する。具体的には、参照画像生成部４０１は、ノイズを低減するために、（１）周波数帯域情報４５０により指定される周波数帯域のパワーを上げること、及び（２）周波数帯域情報４５０により指定される周波数帯域とは異なる周波数帯域のパワーを下げること、の少なくとも一方を対象画像１５０に対して行う。このノイズ低減処理は、例えば、以下に例示するバンドパスフィルタを用いて対象画像１５０をフィルタリングすることで実行される。以下では、周波数帯域情報４５０により指定される周波数帯域、即ち、対象画像１５０の周期的な繰り返し構造が含まれる周波数帯域を第１の周波数帯域と呼び、第１の周波数帯域と異なる周波数帯域を第２の周波数帯域と呼ぶ。一例では、第２の周波数帯域は、第１の周波数帯域より高い周波数帯域である。
【００５３】
一例では、バンドパスフィルタは、第１の周波数帯域のパワーを上げ、且つ、第２の周波数帯域のパワーを下げるフィルタである。このバンドパスフィルタは、例えば、平滑化フィルタと強調フィルタとを組み合わせて用いることにより実現することができる。平滑化フィルタとしては、ガウシアンフィルタ、移動平均フィルタ、バイラテラルフィルタ、εフィルタなどを利用することができる。ガウシアンフィルタは、異方性を有するものであってもよい。平滑化フィルタは、周波数応答を設定するためのパラメータを有する。このパラメータを調整することにより、第２の周波数帯域のパワーを下げる周波数応答を持つフィルタを設計することができる。例えば、平滑化フィルタとしてガウシアンフィルタを使用する場合、ガウス関数の標準偏差を調整することにより所望の周波数応答を得ることができる。
強調フィルタとしては、鮮鋭化フィルタ、アンシャープマスクなどを利用することができる。強調フィルタは、周波数応答を設定するためのパラメータを有する。このパラメータを調整することにより、第１の周波数帯域のパワーを上げる周波数応答を有するフィルタを設計することができる。例えば、強調フィルタとして鮮鋭化フィルタを使用する場合、フィルタ係数の乗数を調整することにより所望の周波数応答を得ることができる。
なお、バンドパスフィルタは、平滑化フィルタと強調フィルタとの組み合わせて用いる例に限らず、フーリエ変換又はウェーブレット変換などの変換手法により対象画像１５０を周波数変換し、第１の周波数帯域のパワーを上げて、第２の周波数帯域のパワーを下げるフィルタであってもよい。
【００５４】
他の例では、バンドパスフィルタは、第１の周波数帯域のパワーを上げるフィルタである。このバンドパスフィルタは、上述のような強調フィルタにより実現することができる。或いは、バンドパスフィルタは、フーリエ変換又はウェーブレット変換などの変換手法により対象画像１５０を周波数変換し、第１の周波数帯域のパワーを上げるフィルタであってもよい。
【００５５】
さらに他の例では、バンドパスフィルタは、第２の周波数帯域のパワーを下げるフィルタである。このバンドパスフィルタは、上述のような平滑化フィルタにより実現することができる。或いは、バンドパスフィルタは、フーリエ変換又はウェーブレット変換などの変換手法により対象画像１５０を周波数変換し、第２の周波数帯域のパワーを下げるフィルタであってもよい。
【００５６】
バンドパスフィルタとして平滑化フィルタを用いる例について具体的に説明する。説明を簡単にするために、対象画像１５０が１次元の画像であると仮定する。図５は、１次元の画像である対象画像１５０のパワースペクトルを概略的に示している。図５では、横軸を周波数とし、縦軸をパワーとしている。対象画像１５０のパワースペクトルは実線で示され、平滑化後の対象画像１５０（即ち、参照画像１５１）のパワースペクトルは一点鎖線で示され、平滑化フィルタの周波数応答は破線で示されている。
【００５７】
周波数帯域情報４５０から対象画像１５０の画像構造が含まれる第１の周波数帯域がわかるので、この第１の周波数帯域とは異なる第２の周波数帯域を、ノイズ成分を主に含む周波数帯域と見なすことができる。この例では、周波数帯域情報４５０により指定される第１の周波数帯域は、０Ｈｚ以上、Ｆ１Ｈｚ以下の周波数帯域であり、第２の周波数帯域は、Ｆ１Ｈｚより高い周波数帯域である。図５に示されるような、第２の周波数帯域のパワーを下げる周波数応答を持つ平滑化フィルタを用いて対象画像１５０をフィルタリングすることにより、対象画像１５０の構造を維持しつつノイズを効果的に低減した参照画像１５１を生成することができる。
【００５８】
さらに、バンドパスフィルタとして強調フィルタを用いる他の例について具体的に説明する。説明を簡単にするために、対象画像１５０が１次元の画像であると仮定する。図６は、１次元の画像である対象画像１５０のパワースペクトルを概略的に示している。図６では、横軸を周波数とし、縦軸をパワーとしている。さらに、対象画像１５０のパワースペクトルは実線で示され、強調後の対象画像１５０（即ち、参照画像１５１）のパワースペクトルは一点鎖線で示され、強調フィルタの周波数応答は破線で示されている。この例では、周波数帯域情報４５０により指定される第１の周波数帯域は、０Ｈｚ以上、Ｆ２Ｈｚ以下の周波数帯域であり、第２の周波数帯域は、Ｆ２Ｈｚより高い周波数帯域である。図６に示されるような、第１の周波数帯域の周波数成分を強調する周波数応答を持つ強調フィルタを用いて対象画像１５０をフィルタリングすることにより、対象画像１５０の構造を強調し、ノイズを相対的に低減した参照画像１５１を生成することができる。
【００５９】
次に、画像処理装置４００の動作について説明する。
図７は、画像処理装置４００が実行する画像処理の手順を概略的に示している。図７のステップＳ７０１では、周波数帯域設定部４０２は、対象画像１５０に含まれる周期的な繰り返し構造を示す構造情報４５１に従って、第１の周波数帯域を設定する。なお、構造情報４５１は、対象画像１５０に含まれる周期的な繰り返し構造を示す情報である例に限らず、周期的な繰り返し構造が含まれる第１の周波数帯域そのものを示す情報であってもよい。
【００６０】
ステップＳ７０２では、参照画像生成部４０１は、周波数帯域情報４５０に従って、対象画像１５０のノイズを低減した参照画像１５１を生成する。具体的には、参照画像生成部４０１は、（１）周波数帯域情報４５０により指定される第１の周波数帯域のパワーを上げること、及び（２）第１の周波数帯域とは異なる第２の周波数帯域のパワーを下げること、のうちの少なくとも一方を行うことにより、対象画像１５０から参照画像１５１を生成する。
【００６１】
ステップＳ７０２の後に続くステップＳ７０３〜Ｓ７０７は、それぞれ図３のステップＳ３０２〜Ｓ３０６と同一であるので、ステップＳ７０３〜Ｓ７０７についての説明は省略する。
【００６２】
以上のように、第２の実施形態に係る画像処理装置４００は、対象画像の構造を示す構造情報に従って対象画像の画像構造を含む第１の周波数帯域を設定し、（１）第１の周波数帯域のパワーを上げること、及び（２）第１の周波数帯域とは異なる第２の周波数帯域のパワーを下げること、の少なくとも一方を行うことにより、対象画像１５０から参照画像を生成している。これにより、ノイズがより少ない参照画像を生成することができ、領域間の相違度をより正しく算出することができる。その結果、出力画像を第１の実施形態よりも高画質化することができる。
【００６３】
（第３の実施形態）
図８は、第３の実施形態に係る画像処理装置８００を概略的に示している。この画像処理装置８００は、図８に示されるように、参照画像生成部１０１、相違度算出部８０２、重み算出部１０３、画素値算出部１０４、及び探索領域設定部８０１を備える。図８において、図１に示した符号と同様の符号を同一部分、同一箇所に付してその説明を省略する。また、図８の相違度算出部８０２は図１の相違度算出部１０２とほとんど同じ動作を行うので、相違度算出部８０２については相違度算出部１０２と異なる動作を中心に説明する。
【００６４】
探索領域設定部８０１には、対象画像１５０に含まれる周期的な繰り返し構造を示す構造情報４５１が供給される。構造情報４５１は、前述したように、対象画像１５０の周期パターンに関する情報、例えば、対象画像１５０の周期的な繰り返し構造における繰り返し単位の大きさ及び繰り返し周期などを含む。さらに、探索領域設定部８０１には、第１画素２１０及び第１領域２１１の少なくとも一方の位置（座標）を示す位置情報８５２が相違度算出部８０２から与えられる。探索領域設定部８０１は、構造情報４５１を参照して、第１領域２１１と同一の構造又は似た構造を持つ領域を探索領域として設定する。設定した探索領域を示す探索領域情報８５１は、相違度算出部８０２へ与えられる。相違度算出部８０２は、探索領域情報８５１に従って、参照画像１５１に探索領域を定める。
【００６５】
図９を参照して、探索領域設定部８０１が探索領域を設定する方法を具体的に説明する。
図９は、対象画像１５０が周期的な繰り返し構造を持つ場合において、探索領域を設定する方法を例示している。図９の対象画像１５０は、横方向に長い領域９０１が縦方向に周期的に並んだ構造を有する。注目画素９０２は、参照画像１５１内の第１画素２１０に対応し、局所領域９０３は、参照画像１５１の第１領域２１１に対応する。注目画素９０２が領域９０１内の画素である場合、領域９０１と同一の構造又は似た構造を持つ領域９０４が探索領域として設定される。図９では、領域９０４は斜線を施されている。探索領域は、図９に示される領域９０４である例に限定されない。探索領域は、図９の領域９０４を横方向に拡大した領域であってもよく、上下方向に位置する他の領域９０１に設定されてもよい。
【００６６】
なお、周期的な繰り返し構造は、図９に示される横長の領域９０１が縦方向に並んだ構造に限定されず、周期的な繰り返しを定義可能な構造であればいかなるものであってもよい。例えば、周期的な繰り返し構造は、縦長の領域が横方向に並んだ構造であってもよく、縦長の領域と横長の領域とが格子状に交差している構造であってもよい。或いは、周期的な繰り返し構造は、渦巻き状の構造又は同心円状の構造であってもよい。
【００６７】
次に、画像処理装置８００の動作について説明する。
【００６８】
図１０は、画像処理装置８００が実行する画像処理の手順を概略的に示している。図１０のステップＳ１００１では、参照画像生成部１０１は、対象画像１５０のノイズを低減した参照画像１５１を生成する。ステップＳ１００１の処理は、図３のステップＳ３０１の処理と同じなので、詳細な説明を省略する。
【００６９】
ステップＳ１００２では、探索領域設定部８０１は、構造情報４５１に従って探索領域を設定する。具体的には、まず、対象画像１５０から１つの画素９０２が注目画素として選択される。探索領域設定部８０１は、上述したように、注目画素９０２を含む領域９０３と同一の構造又は似た構造を持つ領域９０４を探索領域として定め、この探索領域９０４の位置を示す探索領域情報８５１を相違度算出部８０２に送る。
【００７０】
ステップＳ１００３では、相違度算出部１０２は、参照画像１５１内の第１領域２１１と参照画像１５１内の第２領域２２１との間の相違度を算出する。具体的には、まず、注目画素９０２と同じ位置にある参照画像１５１内の画素２１０が第１画素として選択される。続いて、相違度算出部１０２は、探索領域設定部８０１から受け取った探索領域情報８５１に従って、参照画像１５１に探索領域２３０を設定する。設定された探索領域２３０から１つの画素が第２画素２２０として選択される。その後に、第１画素２１０を中心とする第１領域２１１と第２画素２２０を中心とする第２領域２２１との間の相違度Ｄ（ｘ，ｙ）が、例えば上記数式（１）に従って算出される。
【００７１】
ステップＳ１００３に後に続くステップＳ１００４〜Ｓ１００７は、それぞれ図３のステップＳ３０３〜Ｓ３０６と同一であるので、ステップＳ１００４〜Ｓ１００７についての説明は省略する。
【００７２】
以上のように、第３の実施形態に係る画像処理装置８００は、対象画像の構造を示す構造情報に従って探索領域を設定することにより、第１領域と画像構造が同一又は似ている領域を効率的に探索することができる。これにより、探索領域に含まれる画素の数が低減されるので、相違度及び出力画素値を計算するコストを低減することができる。さらに、探索領域を第１領域と画像構造が同一又は似ている領域に限定することができるので、ノイズの影響をより効果的に抑制することができ、その結果、出力画像を第１の実施形態よりも高画質化することができる。
【００７３】
（第４の実施形態）
第２及び第３の実施形態に係る画像処理装置では、装置外部から構造情報が供給される。これに対し、第４の実施形態に係る画像処理装置は、対象画像に基づいて構造情報を取得する。
【００７４】
図１１は、第４の実施形態に係る画像処理装置１１００を概略的に示している。図１１の画像処理装置１１００は、図４の画像処理装置４００の構成に追加して、構造情報取得部１１０１及び構造情報記憶部１１０２を備える。図１１において、図４に示した符号と同様の符号を同一部分、同一箇所に付してその説明を省略する。
【００７５】
構造情報記憶部１１０２は、予め用意される複数の学習画像を、これら学習画像に含まれる周期的な繰り返し構造をそれぞれ示す参照構造情報とともに記憶している。構造情報取得部１１０１は、対象画像１５０で構造情報記憶部１１０２を参照して、対象画像１５０に対応する学習画像を選定し、選定した学習画像に対応付けられている参照構造情報１１５０を取得する。構造情報取得部１１０１は、取得した参照構造情報１１５０を構造情報４５１として出力する。
【００７６】
このようにして、第４の実施形態に係る画像処理装置１１００は、対象画像１５０から、この対象画像１５０に含まれる周期的な繰り返し構造を示す構造情報４５１を取得することができる。なお、第４の実施形態では、構造情報取得部１１０１及び構造情報記憶部１１０２を第２の実施形態に係る画像処理装置４００に追加した例を説明したが、第３の実施形態に係る画像処理装置８００に、これら構造情報取得部１１０１及び構造情報記憶部１１０２が設けられてもよい。
【００７７】
上述した実施形態の各々に係る画像処理装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることで実現することも可能である。即ち、参照画像生成部、相違度算出部、重み算出部、画素値算出部、周波数帯域設定部、探索領域設定部、及び構造情報取得部は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、画像処理装置は、上記のプログラムをコンピュータ装置に予めインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して或いはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また。構造情報記憶部は、上記のコンピュータ装置に内蔵或いは外付けされたメモリ、ハードディスクドライブ若しくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。
【００７８】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７９】
１００…画像処理装置、１０１…参照画像生成部、１０２…相違度算出部、１０３…重み算出部、１０４…画素値算出部、１５０…対象画像（入力画像）、１５１…参照画像、１５４…出力画像、２１０…第１画素、２１１…第１領域、２２０…第２画素、２２１…第２領域、２３０…探索領域、４００…画像処理装置、４０１…参照画像生成部、４０２…周波数帯域設定部、４５０…構造情報、８００…画像処理装置、８０１…探索領域設定部、８０２…相違度算出部、１１００…画像処理装置、１１０１…構造情報取得部、１１０２…構造情報記憶部。
【特許請求の範囲】
【請求項１】
入力された対象画像の信号成分が含まれる第１の周波数帯域のパワーを上げること、及び該対象画像のノイズ成分が含まれる第２の周波数帯域のパワーを下げることの少なくとも一方を行うことにより、該対象画像から参照画像を生成する参照画像生成部と、
前記参照画像内の第１領域と、前記参照画像内の複数の第２領域のそれぞれとの間の相違度を算出し、前記第１領域は第１画素を含み、前記複数の第２領域は複数の第２画素をそれぞれ１つ含む、相違度算出部と、
前記相違度が小さいほど大きくなる重みを前記複数の第２領域のそれぞれについて算出し、該重みを前記複数の第２画素のそれぞれに割り当てる重み算出部と、
複数の前記重みを、前記複数の第２画素のそれぞれと同じ位置にある前記対象画像内の複数の第３画素にそれぞれ適用して、該複数の第３画素の画素値を加重平均することにより、出力画素値を算出する画素値算出部と、
を具備することを特徴とする画像処理装置。
【請求項２】
前記対象画像に含まれる周期的な繰り返し構造を表す構造情報によって指定される周波数帯域を前記第１の周波数帯域として設定する周波数帯域設定部をさらに具備することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
予め用意される複数の学習画像から前記対象画像に対応する学習画像を選定し、該選定した学習画像に対応付けられている構造情報を請求項２に記載の構造情報として取得する構造情報取得部をさらに具備することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記周波数帯域設定部は、前記第１の周波数帯域より高い周波数帯域を前記第２の周波数帯域に設定する、ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記対象画像の構造を表す構造情報に従って、前記第１領域の画像構造と同一の構造を持つ探索領域を設定する探索領域設定部をさらに具備し、
前記複数の第２画素は、前記探索領域に含まれる画素である、ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記参照画像生成部は、前記第１の周波数帯域のパワーを上げ、且つ、前記第２の周波数帯域のパワーを下げるために、平滑化フィルタと強調フィルタを組み合わせて使用する、ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記参照画像生成部は、前記第１の周波数帯域のパワーを上げるために強調フィルタを使用する、ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記第１画素は、前記第１領域の中心に位置し、前記複数の第２画素はそれぞれ、前記複数の第２領域の中心に位置する、ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
入力された対象画像の信号成分が含まれる第１の周波数帯域のパワーを上げること、及び該対象画像のノイズ成分が含まれる第２の周波数帯域のパワーを下げることの少なくとも一方を行うことにより、該対象画像から参照画像を生成することと、
前記参照画像内の第１領域と、前記参照画像内の複数の第２領域のそれぞれとの間の相違度を算出することと、前記第１領域は第１画素を含み、前記複数の第２領域は複数の第２画素をそれぞれ１つ含み、
前記相違度が小さいほど大きくなる重みを前記複数の第２領域のそれぞれについて算出し、該重みを前記複数の第２画素のそれぞれに割り当てることと、
複数の前記重みを、前記複数の第２画素のそれぞれと同じ位置にある前記対象画像内の複数の第３画素にそれぞれ適用して、該複数の第３画素の画素値を加重平均することにより、出力画素値を算出することと、
を具備することを特徴とする画像処理方法。
【請求項１０】
コンピュータを、
入力された対象画像の信号成分が含まれる第１の周波数帯域のパワーを上げること、及び該対象画像のノイズ成分が含まれる第２の周波数帯域のパワーを下げることの少なくとも一方を行うことにより、該対象画像から参照画像を生成する参照画像生成手段と、
前記参照画像内の第１領域と、前記参照画像内の複数の第２領域のそれぞれとの間の相違度を算出し、前記第１領域は第１画素を含み、前記複数の第２領域は複数の第２画素をそれぞれ１つ含む、相違度算出手段と、
前記相違度が小さいほど大きくなる重みを前記複数の第２領域のそれぞれについて算出し、該重みを前記複数の第２画素のそれぞれに割り当てる重み算出手段と、
複数の前記重みを、前記複数の第２画素のそれぞれと同じ位置にある前記対象画像内の複数の第３画素にそれぞれ適用して、該複数の第３画素の画素値を加重平均することにより、出力画素値を算出する画素値算出手段として機能させるための画像処理プログラム。
【請求項１】
入力された対象画像の信号成分が含まれる第１の周波数帯域のパワーを上げること、及び該対象画像のノイズ成分が含まれる第２の周波数帯域のパワーを下げることの少なくとも一方を行うことにより、該対象画像から参照画像を生成する参照画像生成部と、
前記参照画像内の第１領域と、前記参照画像内の複数の第２領域のそれぞれとの間の相違度を算出し、前記第１領域は第１画素を含み、前記複数の第２領域は複数の第２画素をそれぞれ１つ含む、相違度算出部と、
前記相違度が小さいほど大きくなる重みを前記複数の第２領域のそれぞれについて算出し、該重みを前記複数の第２画素のそれぞれに割り当てる重み算出部と、
複数の前記重みを、前記複数の第２画素のそれぞれと同じ位置にある前記対象画像内の複数の第３画素にそれぞれ適用して、該複数の第３画素の画素値を加重平均することにより、出力画素値を算出する画素値算出部と、
を具備することを特徴とする画像処理装置。
【請求項２】
前記対象画像に含まれる周期的な繰り返し構造を表す構造情報によって指定される周波数帯域を前記第１の周波数帯域として設定する周波数帯域設定部をさらに具備することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
予め用意される複数の学習画像から前記対象画像に対応する学習画像を選定し、該選定した学習画像に対応付けられている構造情報を請求項２に記載の構造情報として取得する構造情報取得部をさらに具備することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記周波数帯域設定部は、前記第１の周波数帯域より高い周波数帯域を前記第２の周波数帯域に設定する、ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記対象画像の構造を表す構造情報に従って、前記第１領域の画像構造と同一の構造を持つ探索領域を設定する探索領域設定部をさらに具備し、
前記複数の第２画素は、前記探索領域に含まれる画素である、ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記参照画像生成部は、前記第１の周波数帯域のパワーを上げ、且つ、前記第２の周波数帯域のパワーを下げるために、平滑化フィルタと強調フィルタを組み合わせて使用する、ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記参照画像生成部は、前記第１の周波数帯域のパワーを上げるために強調フィルタを使用する、ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記第１画素は、前記第１領域の中心に位置し、前記複数の第２画素はそれぞれ、前記複数の第２領域の中心に位置する、ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
入力された対象画像の信号成分が含まれる第１の周波数帯域のパワーを上げること、及び該対象画像のノイズ成分が含まれる第２の周波数帯域のパワーを下げることの少なくとも一方を行うことにより、該対象画像から参照画像を生成することと、
前記参照画像内の第１領域と、前記参照画像内の複数の第２領域のそれぞれとの間の相違度を算出することと、前記第１領域は第１画素を含み、前記複数の第２領域は複数の第２画素をそれぞれ１つ含み、
前記相違度が小さいほど大きくなる重みを前記複数の第２領域のそれぞれについて算出し、該重みを前記複数の第２画素のそれぞれに割り当てることと、
複数の前記重みを、前記複数の第２画素のそれぞれと同じ位置にある前記対象画像内の複数の第３画素にそれぞれ適用して、該複数の第３画素の画素値を加重平均することにより、出力画素値を算出することと、
を具備することを特徴とする画像処理方法。
【請求項１０】
コンピュータを、
入力された対象画像の信号成分が含まれる第１の周波数帯域のパワーを上げること、及び該対象画像のノイズ成分が含まれる第２の周波数帯域のパワーを下げることの少なくとも一方を行うことにより、該対象画像から参照画像を生成する参照画像生成手段と、
前記参照画像内の第１領域と、前記参照画像内の複数の第２領域のそれぞれとの間の相違度を算出し、前記第１領域は第１画素を含み、前記複数の第２領域は複数の第２画素をそれぞれ１つ含む、相違度算出手段と、
前記相違度が小さいほど大きくなる重みを前記複数の第２領域のそれぞれについて算出し、該重みを前記複数の第２画素のそれぞれに割り当てる重み算出手段と、
複数の前記重みを、前記複数の第２画素のそれぞれと同じ位置にある前記対象画像内の複数の第３画素にそれぞれ適用して、該複数の第３画素の画素値を加重平均することにより、出力画素値を算出する画素値算出手段として機能させるための画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−１１５６９７（Ｐ２０１３−１１５６９７Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２６１６４９（Ｐ２０１１−２６１６４９）
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]