画像処理装置及び画像処理方法
【課題】 画像全体に存在するノイズのみならず、一部の画素に生じるノイズも存在する画像に対して効率的にノイズを低減する。
【解決手段】 入力画像の、処理対象画素を含む局所的な領域の複数の画素の信号レベルを平滑化した値を算出するとともに、入力画像にフィルタ処理を適用してインパルスノイズを低減したプレノイズ低減画像から、処理対象画素のエッジの程度を示す特徴量を算出する。そして、特徴量に応じた割合で、処理対象画素の信号レベルと平滑化した値とを加重加算し、加重加算結果をノイズ低減処理後の信号レベルとして出力する。
【解決手段】 入力画像の、処理対象画素を含む局所的な領域の複数の画素の信号レベルを平滑化した値を算出するとともに、入力画像にフィルタ処理を適用してインパルスノイズを低減したプレノイズ低減画像から、処理対象画素のエッジの程度を示す特徴量を算出する。そして、特徴量に応じた割合で、処理対象画素の信号レベルと平滑化した値とを加重加算し、加重加算結果をノイズ低減処理後の信号レベルとして出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及び画像処理方法に関し、特には画像のノイズを低減するための画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
エッジ保存効果を有する画像のノイズ低減方法として、Ｌｅｅの方法（例えば、非特許文献１参照）が知られている。この方法では、以下の式（１）、（２）に示すように、画素がＸＹ方向に整列してなる画像の画素の信号レベルの分散を算出し、この分散に基づいてノイズ低減を行う。
【０００３】
【０００４】
式（１）のｇ（ｘ，ｙ）は画像の座標（ｘ，ｙ）に位置する画素の信号レベルである。Ｅ（ｇ（ｘ，ｙ））は座標（ｘ，ｙ）を中心とした局所的な領域の画素の信号レベルの平均値である。具体的には、座標（ｘ，ｙ）の画素を中心とした５画素×５画素の範囲に配置された画素の信号レベルの平均値である。式（２）のσ２ｇ（ｘ，ｙ）は座標（ｘ，ｙ）を中心とした局所的な領域の画素の信号レベルの分散である。具体的には、座標（ｘ，ｙ）の画素を中心とした５画素×５画素の範囲に配置された画素の信号レベルの分散である。σ２n（ｘ，ｙ）は座標（ｘ，ｙ）の画素を中心とした５画素×５画素の範囲に配置された画素の信号レベルに含まれるノイズレベルの分散である。
【０００５】
また、エッジ特徴量ｐ（ｘ，ｙ）は、座標（ｘ，ｙ）の画素のエッジの程度を表す。特徴量ｐ（ｘ，ｙ）は０〜１の値をとり、式（２）から明らかなように、予め測定しておいたノイズの分散値σ２n（ｘ，ｙ）が大きいほど特徴量ｐ（ｘ，ｙ）は小さな値となり、局所的な分散値σ２ｇ（ｘ，ｙ）が大きいほど特徴量ｐ（ｘ，ｙ）は大きな値となる。そのため、式（１）に示すように、ノイズ低減後の信号レベルｒ（ｘ，ｙ）の、元の信号レベルｇ（ｘ，ｙ）に対する局所的な平均値Ｅ（ｇ（ｘ，ｙ））が占める比率は、ノイズの分散値σ２n（ｘ，ｙ）が大きいほど大きくなる。反対に、ノイズ低減後の信号レベルｒ（ｘ，ｙ）の、元の信号レベルｇ（ｘ，ｙ）に対する局所的な平均値Ｅ（ｇ（ｘ，ｙ））が占める比率は、局所的な分散値σ２ｇ（ｘ，ｙ）が大きいほど小さくなる。
【０００６】
また、画像のエッジ部では、画像の局所的な分散値σ２ｇ（ｘ，ｙ）が大きくなる。そのため、画像のエッジ部では、エッジ特徴量ｐ（ｘ，ｙ）の値が１に近づき、ノイズ低減後の信号レベルｒ（ｘ，ｙ）に占める元の信号レベルｇ（ｘ，ｙ）の割合が多くなる。これにより、画像のエッジ部では、局所的な平均値Ｅ（ｇ（ｘ，ｙ））によって、元の信号レベルのエッジがなまってしまうことを抑制することができる。
【０００７】
一方、画素欠損による輝点ノイズや暗点ノイズ、後述のランダム・テレグラフ・シグナル（ＲＴＳ）ノイズのような、インパルス状のノイズが存在する画像は、局所的な分散値σ２ｇ（ｘ，ｙ）が大きくなりエッジ部と判断されやすい。そのため、これらのノイズが発生する位置では、特徴量ｐ（ｘ，ｙ）の値が大きくなり、ノイズ低減効果が小さくなる。
【０００８】
図２３は、エッジ特徴量ｐ（ｘ，ｙ）と、画像の標準偏差σｇ（ｘ，ｙ）の関係を示す図である。図２３は１４ビット／画素の画像でのノイズの標準偏差σn（ｘ，ｙ）が２５０のときの例を示しており、横軸はノイズの標準偏差σn（ｘ，ｙ）、縦軸はエッジ特徴量ｐ（ｘ，ｙ）である。
【０００９】
インパルスノイズの除去にはメディアンフィルタが多用されるが、メディアンフィルタの適用は画像の高周波部分に歪みを生じさせ、画像の詳細な情報が失われる原因となる。また、デジタルカメラで撮像素子として用いられる光電変換素子に起因するノイズには、光電変換時の暗電流ノイズ、光ショットノイズの他、増幅回路における熱ノイズや１／ｆノイズのような低周波ノイズが含まれることが知られている（例えば非特許文献２）。
【００１０】
これらノイズのうち、特に暗電流ノイズ、光ショットノイズの値は信号レベルに依存するため、これらのノイズの分散値σ２n（ｘ，ｙ）も信号レベルに依存する。さらに近年の画素の微細化に伴い、特にＣＭＯＳイメージセンサでは画素の読み出しトランジスタが発生するランダム・テレグラフ・シグナル（ＲＴＳ）ノイズという低周波ノイズにより、画像に白点状のノイズが発生することが知られている（例えば非特許文献３）。
【００１１】
ノイズレベルが大きい場合や、デジタルカメラの熱ノイズのように空間的に広がりのあるノイズの場合には、サイズの大きなカーネル（Ｍ×Ｎ画素とする）を用いて上述の式（１）及び式（２）に基づくノイズ低減処理を行うことが効果的である。しかし、カーネルサイズを大きくした場合、演算量が増加するという問題がある。この問題に対処する方法として、異なる複数の解像度を有する画像を用いた手法（例えば、特許文献１、特許文献２参照）が提案されている。
【００１２】
また、デジタルカメラの生成する画像ファイルの形式は２つに大別できることが一般によく知られている。１つは、デジタルカメラ内でいわゆる現像処理が行われた後に記録される、ＪＰＥＧ、ＴＩＦＦといった汎用的なファイル形式である。もう１つは、イメージセンサの出力をそのまま記録した、ＲＡＷ形式と呼ばれる機種依存のファイル形式である。
【００１３】
ＲＡＷ形式の特徴は、画質を劣化させることなく様々なパラメータ（露出値、ホワイトバランス値など）を変更した結果を得ることが可能なことである（例えば、特許文献３を参照）。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特許第３１９３８０６号公報
【特許文献２】特許第３９９５８５４号公報
【特許文献３】特開２００４−１２８８０９号公報
【非特許文献】
【００１５】
【非特許文献１】J.S.LEE, "Digital enhancement and noise filtering by use of local statistics", IEEE Transactions on Pattern Analysis and Machine Intelligence, PAMI-2, pp.165-168, 1980
【非特許文献２】H.Tian, B.Fowler, and A.E.Gamal, "Analysis of temporal noisein cmos photodiode active pixel sensor", IEEE J. Solid State Circuits, vol. 36.Jan. pp.92-101, 2001
【非特許文献３】J.Y. Kim, et al., "Characterization and Improvement of Random Noise in 1/3.2" UXGA CMOS Image Sensor with 2.8um Pixel Using 0.13um-technology", IEEE Workshop on CCD and AIS, p.149, 2005
【発明の概要】
【発明が解決しようとする課題】
【００１６】
近年、デジタルカメラはイメージセンサの高画素化により画素が微細化し、イメージセンサの高感度化と相まって、センサに起因するノイズが増大する傾向にある。デジタルカメラにおいては様々なノイズの発生原因が存在するため、様々なノイズ特性が反映された信号に対して画像処理を行っている。画素の微細化に伴ってインパルス状のノイズが生じる場合があり、このようなパルス状のノイズを上述した式（１）、（２）を用いた処理で除去しようとした場合、ノイズの除去レベルを上げる必要がある。しかし、除去レベルを上げると画像の高周波成分が失われ、エッジがぼやけてしまうといった問題があった。
【００１７】
本発明はこのような従来技術の課題に鑑みなされたものであり、画像全体に存在するノイズのみならず、一部の画素に生じるノイズも存在する画像に対して効率的にノイズを低減する画像処理装置及び画像処理方法を提供する。
【課題を解決するための手段】
【００１８】
上述の目的は、入力画像のインパルスノイズを低減したプレノイズ低減画像を生成するノイズ低減手段と、入力画像の、処理対象画素を含む局所的な領域の複数の画素の信号レベルを平滑した値を算出する平滑化手段と、プレノイズ低減画像を用いて、処理対象画素のエッジの程度を示す特徴量を算出する特徴量算出手段と、特徴量に応じた割合で、処理対象画素の信号レベルと平滑化した値とを加重加算し、加重加算の結果を入力画像のノイズ低減処理後の信号レベルとして出力する加算手段とを有し、加算手段は、エッジの程度が高いことを示す特徴量を有する画素ほど、平滑化した値の割合が小さくなるように加重加算することを特徴とする画像処理装置によって達成される。
【発明の効果】
【００１９】
このような構成により、本発明によれば、画像全体に存在するノイズのみならず、一部の画素に生じるノイズも存在する画像に対して効率的にノイズを低減することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施形態に係る画像処理装置が処理する画像データを生成するデジタルカメラの構成例を示すブロック図である。
【図２】図１の画像処理回路５２６における画像処理の概要を示すブロック図である。
【図３】カラーフィルタにおけるベイヤー配列の例を示す図である。
【図４】本発明の第１の実施形態に係る画像処理装置の一例としての情報処理装置の構成を示すブロック図である。
【図５】図４の情報処理装置によって実現される画像処理を、模式的に機能ブロックで表した図である。
【図６】図６は図５における画像処理部８０４が実現する画像処理の流れを模式的に示した図である。
【図７】図６の輝度ノイズ低減処理部１９１における内部処理フローを示した図である。
【図８】複数のＩＳＯ感度について、あらかじめプレノイズ低減画像１２から画像の平坦部において測定した輝度レベルノイズ標準偏差の例を示す図である。
【図９】画像のエッジ部分における信号レベルの変化をシミュレートした例を示す図である。
【図１０】図９に示すエッジ部分の画像に対してエッジ特徴量ｐを計算した結果を示す図である。
【図１１】エッジ特徴量ｐの値と、ノイズ低減後信号レベルｒに寄与する各信号レベル（元の信号レベルｇ（ｘ，ｙ）、９画素平均値ａｖｅ９、２５画素平均値ａｖｅ２５）の割合の関係を示す図である。
【図１２】本発明の第２の実施形態に係る画像処理装置における輝度ノイズ低減処理部の処理内容及び流れを示す図である。
【図１３】空間ローパスフィルタの例を示す図である。
【図１４】本発明の第２の実施形態に係る画像処理装置における輝度ノイズ低減処理部の別の処理内容及び流れを示す図である。
【図１５】本発明の第３の実施形態に係る画像処理装置における画像処理部の処理内容及び流れを示す図である。
【図１６】本発明の第３の実施形態に係る画像処理装置における入力画像の構成例を示す図である。
【図１７】本発明の第３の実施形態に係る画像処理装置における入力画像の別の構成例を示す図である。
【図１８】本発明の第４の実施形態に係る画像処理装置において、ＴＩＦＦ形式の画像データ（ＲＧＢ画像）に対してノイズ低減処理を行う際の手順の例を示す図である。
【図１９】本発明の第４の実施形態に係る画像処理装置において、ＪＰＥＧ形式の画像データ（ＹＣ画像）に対してノイズ低減処理を行う際の手順の例を示す図である。
【図２０】本発明の第５の実施形態に係る画像処理装置において、画像処理部が行うノイズ特性推定処理の内容を説明するフローチャートである。
【図２１】グレー平坦部のＲＧＢ階調値とＲＧＢ毎のノイズの標準偏差の関係例を示す図である。
【図２２】図２０のＳ４１０で行うグレー平坦部探索処理の詳細を説明するフローチャートである。
【図２３】エッジ特徴量ｐ（ｘ，ｙ）と、画像の標準偏差σｇ（ｘ，ｙ）の関係を示す図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照して本発明を好適かつ例示的な実施形態に基づいて詳細に説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像処理装置が処理する画像データを生成するデジタルカメラ５００の構成例を示すブロック図である。本実施形態においてはレンズ一体型のデジタルカメラに関して説明するが、レンズ交換型のデジタルカメラであってもよい。
【００２２】
レンズ５０１から入射した被写体光は、絞り５０２、赤外カットフィルタ５０３及び光学ローパスフィルタ（ＬＰＦ）５０４を通過し、撮像素子５２０の受光面上に結像される。図１において、レンズ５０１は模式的に１枚のレンズとして図示されているが、レンズ駆動回路５０６によって駆動可能なフォーカシングレンズを含む、複数枚のレンズを有している。また、絞り５０２は絞り駆動回路５０７によって駆動される。なお、メカニカルシャッターを絞り５０２として用いてもよい。本実施形態において、撮像素子５２０はＣＣＤイメージセンサやＣＭＯＳイメージセンサで構成されており、本実施形態では、ＣＭＯＳイメージセンサであるものとする。
【００２３】
撮像素子５２０の受光面にはフォトダイオードを用いた光電変換素子（画素）が複数配列されている。また、光電変換素子の光学ＬＰＦ側の面には、例えば、Ｒ（赤）・Ｇ（緑）・Ｂ（青）から構成されるベイヤー配列の原色カラーフィルタが、１色が１つの光電変換素子に対応するように配置されている。なお、本実施形態のデジタルカメラ５００は、撮像素子及びカラーフィルタを１つずつ用いる単板式であるが、Ｒ用、Ｇ用、Ｂ用の３組のカラーフィルタ及び撮像素子を用いる３板式など、複数の撮像素子を用いる構成であってもよい。
【００２４】
撮像素子５２０に結像された被写体像は、各光電変換素子において、入射光量に応じた量の電荷に変換される。タイミングジェネレータ（ＴＧ）５０８が発生する信号は、水平基準パルス生成用ドライバ（Ｘ−Ｄｒ）５２１と、垂直基準パルス生成用ドライバ（Ｙ−Ｄｒ）５２２に供給される。そして、水平基準パルス生成用ドライバ５２１と垂直基準パルス生成用ドライバ５２２により撮像素子５２０の読み出し画素が選択され、選択された画素の光電変換素子に蓄積された電荷が電圧信号に変換されて、撮像素子５２０から出力される。
【００２５】
撮像素子５２０から出力された電圧信号は、相関二重サンプリング回路（ＣＤＳ）５２３でサンプリングされ、設定されたＩＳＯ感度に応じて自動ゲイン制御回路（ＡＧＣ）５２４で増幅された後、Ａ／Ｄ変換回路（Ａ／Ｄ）５０９でデジタル信号に変換される。
【００２６】
Ａ／Ｄ５０９の出力するデジタル信号（ＲＡＷ画像データ）は、画像処理部５２５に入力され、ＷＢ算出回路５２９によりホワイトバランスゲインを算出した後、メモリ制御回路５１４によって制御されるメインメモリ５１７に格納される。
【００２７】
Ａ／Ｄ５０９の出力するＲＡＷ画像データはまた、可逆圧縮（ロスレス圧縮）を行う可逆圧縮回路５１３で可逆圧縮された後、ＣＰＵバス５２８を介してメモリカード制御回路５１５へ供給され、メモリカード５１８にＲＡＷ形式の画像ファイルとして保存される。
【００２８】
また、Ａ／Ｄ５０９の出力するＲＡＷ画像データは、画像処理回路５２６にも入力され、ＲＧＢ形式からＹＣｂＣｒ形式に変換され、さらにラスタブロック変換された後、ＪＰＥＧ圧縮回路５２７でＪＰＥＧ形式に圧縮符号化される。ＪＰＥＧ圧縮回路５２７から出力されたＪＰＥＧ形式の画像データは、ＣＰＵバス５２８を介してメモリカード制御回路５１５に供給され、メモリカード５１８にＪＰＥＧ形式のファイルとして保存される。また、このＪＰＥＧ形式のファイルは、表示制御回路５１６に読み出され、そのサイズが変換されてディスプレイ５１９に画像として表示される。
ＣＰＵ５１０は内部のメモリに保持されたプログラムを実行することにより、デジタルカメラ５００全体を制御する。操作部５１１はユーザの指示をＣＰＵ５１０に伝えるためのスイッチであり、レリーズボタンや十字キーなどを含んでいる。
【００２９】
ここで、画像処理回路５２６で行わる画像処理についてさらに詳しく説明する。
図２は、画像処理回路５２６における画像処理の概要を示すブロック図である。メインメモリ５１７から入力されるＲＡＷ画像データ７００は、黒補正回路７１０に入力される。黒補正回路７１０では暗電流による黒浮きを、撮像素子５２０の遮光部（ＯＢ部）の座標領域における画像データの積算平均値から概算し、画像データから積算平均値を減算する。黒補正回路７１０で黒補正された画像データは、レンズ補正回路７２０に入力される。
【００３０】
レンズ補正回路７２０は、レンズ５０１の光学特性、具体的には、レンズ５０１で生じる周辺減光及び倍率色収差を補正する。周辺減光は周辺領域画素の信号レベルを増幅することで、倍率色収差は基準となる色に沿うように色毎に像高方向に画像の拡大縮小を行うことでそれぞれ補正することができる。
【００３１】
レンズ補正回路７２０において補正された画像データは、ホワイトバランス補正回路７３０に入力される。ホワイトバランス補正回路７３０では、予め画像処理部５２５のＷＢ算出回路５２９で算出されたホワイトバランスゲインを画像データに適用する。もしくは、予め設定されている光源（例えばデイライト、タングステン、蛍光灯等）に応じたホワイトバランスゲインを画像データに適用する。ホワイトバランス補正回路７３０でホワイトバランス補正された画像データは、色補間回路７４０で色補間される。色補間回路７４０では、撮像素子５２０に設けられたカラーフィルタの色配列に応じて、各画素において不足する色情報を補間により求める。
【００３２】
例えば、図３に示す様にＲＧＢ画素が格子状に配列されたベイヤー配列のカラーフィルタ２００を用いているとする。この場合、色補間回路７４０は、Ｒ画素についてはＧとＢの情報を、Ｇ画素についてはＲとＢの情報を、Ｂ画素についてはＲとＧの情報をそれぞれ周辺画素から補間して求める。
【００３３】
これにより、カラー画像を生成するためのＲ、Ｇ、Ｂの３プレーンが得られる。
次に、ＲＧＢの３プレーンが揃った画像データは、色調整回路７５０において、例えば、式（３）に示すような３×３のマトリクス演算等で色の最適化が行われる。
【００３４】
【００３５】
ここで、式（３）のｍ１１〜ｍ３３は最適化の係数である。
【００３６】
色調整後の画像データ（Ｒｃ，Ｇｃ，Ｂｃ）はガンマ（γ）補正回路７６０によって式（４）のようにガンマ補正される。
【００３７】
【００３８】
ガンマ変換された画像データ（Ｒγ，Ｇγ，Ｂγ）は、偽色抑圧処理や、エッジ強調処理を行なうため、ＹＣ変換回路７７０により、式（５）に示すようにＲＧＢ信号からＹＣｂＣｒという輝度成分と色差成分の信号に変換される。
【００３９】
【００４０】
式（５）のｋ１１〜ｋ３３は変換係数である。
【００４１】
ＪＰＥＧ形式の画像データを作成する場合、ＹＣｂＣｒ形式に変換された信号のうち輝度成分Ｙは、輝度処理回路７９０でエッジ強調処理される。また、色差成分ＣｂＣｒは、色処理回路７８０で偽色抑圧処理される。具体的には、色差成分ＣｂＣｒに対してメディアンフィルタを適用することにより、孤立点を除去する。エッジ強調処理及び偽色抑圧処理されたＹＣｂＣｒ形式の出力画像データＹＣ７９９は、ＪＰＥＧ圧縮回路５２７にてＪＰＥＧ形式に符号化される。
【００４２】
図４は、本発明の第１の実施形態に係る画像処理装置の一例としての情報処理装置の構成を示すブロック図である。
情報処理装置６００としては一般的なパーソナルコンピュータを用いることができる。図４において、ＣＰＵ６０９はメモリ６０３に保持されたプログラムを実行することにより、後述する画像処理を始めとする各処理を実現する。
【００４３】
ハードディスク６０４には情報処理装置６００における基本ソフト（ＯＳ）やアプリケーションプログラム等が格納されており、プログラムはハードディスク６０４からメモリ６０３に読み込まれてＣＰＵ６０９に実行される。
【００４４】
ディスプレイ６０７はＣＰＵ６０９の制御下で各種表示を行う。情報処理装置６００の利用者はキーボード６０１やマウス６０２等の入力デバイスを用いて情報処理装置６００を操作する。カードリーダ６０５はデジタルカメラ５００に着脱可能なメモリカード５１８の読み取りが可能であり、メモリカード５１８に記録されているＲＡＷ形式またはＪＰＥＧ形式の画像ファイルをメモリ６０３やハードディスク６０４に取り込むことができる。
【００４５】
以下では、上述のデジタルカメラ５００によって生成されたＲＡＷ形式の画像ファイルを、情報処理装置６００上で動作する画像処理アプリケーションでソフトウェア的に処理するものとして説明する。しかし、以下に述べる画像処理の一部又は全部をハードウェアによって実現してもよい。
【００４６】
図５は、情報処理装置６００によって実現される画像処理を、模式的に機能ブロックで表した図である。図６は図５における画像処理部８０４（情報処理装置６００が実行する画像処理アプリケーション）が実現する画像処理の流れを模式的に示した図である。
【００４７】
ＲＡＷ画像データ取得部８０１によってＲＡＷ画像ファイル８００から取得されたＲＡＷ画像データ及び、メタデータ取得部８０３で取得されたメタデータは、画像処理部８０４の黒補正処理部１１０に入力される。黒補正処理部１１０では撮像素子５２０の遮光部（ＯＢ部）の座標領域における画像データの積算平均値である黒画像データをメタデータから取得し、画像データから積算平均値を減算する。黒補正処理部１１０で黒補正された画像データは、レンズ補正処理部１２０に入力される。
【００４８】
レンズ補正処理部１２０は、ＲＡＷ画像が撮影された際に用いられたレンズ５０１の光学特性、具体的には、レンズ５０１で生じる周辺減光及び倍率色収差を補正する。
【００４９】
なお、黒補正処理部１１０及びレンズ補正処理部１２０の処理に必要な黒画像データ及びレンズ情報（あるいは補正値）は、ＲＡＷ画像ファイルのヘッダにメタデータとして添付されている。メタデータには、黒画像データやレンズ情報以外にも、撮影条件（ＩＳＯ感度、絞り、シャッタースピードなど）や、画像処理に関する情報（ホワイトバランス係数、γカーブなど）、撮像装置の固有情報（カラーフィルタの色配列情報など）が含まれている。これらメタデータは、メタデータ取得部８０３によってＲＡＷ画像ファイルから取得され、画像処理部８０４へ渡される。
【００５０】
レンズ補正処理部１２０において補正された画像データは補間処理部１４０に入力され色補間される。補間処理部１４０では、撮像素子５２０に設けられたカラーフィルタの色配列に応じて、各画素において不足する色情報を補間により求める。カラーフィルタの色配列に関する情報もまたＲＡＷ画像ファイルに含まれている。
【００５１】
例えば、図３に示す様にＲＧＢ画素が格子状に配列されたベイヤー配列のカラーフィルタを用いているとする。補間処理部１４０は、Ｒ画素についてはＧとＢの情報を、Ｇ画素についてはＲとＢの情報を、Ｂ画素についてはＲとＧの情報をそれぞれ周辺画素から補間して求める。これにより、カラー画像を生成するためのＲ、Ｇ、Ｂの３プレーンが得られ、次に、ＲＧＢの３プレーンが揃った画像データは、中間画像データ１４５として、一旦メモリ６０３に保存される。
【００５２】
ここまでの処理は、画像処理アプリケーションのユーザ８１０が指定する画像処理設定値、例えばユーザ指定ホワイトバランス設定値８０８やユーザ指定明るさ調整設定値８０７に依存せず行うことができる。ユーザ８１０が指定する画像処理設定値に依存した処理は、メモリ６０３に保存した中間画像データ１４５を元に処理を行うことで、ユーザ設定値を反映するために必要な画像処理の一部を省略できる。
【００５３】
メモリ６０３に保存した中間画像データ１４５はゲイン補正処理部１５０に入力される。ゲイン補正処理部１５０では、ホワイトバランス補正と明るさ調整処理が行われる。
【００５４】
ユーザ設定パラメータ変換部８０９は、ユーザ８１０が指定したユーザ指定ホワイトバランス設定値８０８を、ゲイン補正処理部１５０で用いるための、ＲＧＢの色毎のゲイン値（ｗｂＲ，ｗｂＧ，ｗｂＢ）に変換する。また、ユーザ設定パラメータ変換部８０９は、ユーザ８１０が指定したユーザ指定明るさ調整設定値８０７を、ゲイン補正処理部１５０で用いるための、ＲＧＢ各色に共通のゲイン値（ｂｒｉｇｈｔＧａｉｎ）にそれぞれ変換する。式（６）に示すように、ＲＧＢ色ごとのゲイン（ｇａｉｎＲ，ｇａｉｎＧ，ｇａｉｎＢ）を求める。
【００５５】
そして、このゲインを、式（７）に示すように、画像データのＲ、Ｇ、Ｂ成分にそれぞれ乗じる。
【００５６】
【００５７】
ゲイン補正処理されたＲｗｂ、Ｇｗｂ、Ｂｗｂからなる画像データは、色調整処理部１５５において、例えば、式（３）に示したような３画素×３画素のマトリクス演算等で色の最適化が行われ、Ｒｃ、Ｇｃ、Ｂｃからなる画像データが生成される。色調整後の画像データ（Ｒｃ，Ｇｃ，Ｂｃ）はγ補正処理部１６０でガンマ変換される。
【００５８】
ガンマ変換された画像データは、偽色抑圧処理や、エッジ強調処理を行なうため、ＹＣ変換処理部１７０により、式（５）に示したようにＲＧＢ信号からＹＣｂＣｒという輝度成分と色差成分の信号に変換される。
【００５９】
ＹＣｂＣｒ変換された信号のうちの輝度成分Ｙは、輝度ノイズ低減処理部１９１によってざらざらしたノイズが抑制された後、シャープネス処理部１９２でエッジ強調される。また、メディアン処理部１８１はＹＣｂＣｒ変換された信号のうちの色差成分ＣｂＣｒに対してメディアンフィルタを適用して偽色を抑圧し、さらに色ノイズ低減処理部１８２は局所的に色バランスがずれた領域を均質化する。エッジ強調処理及び偽色抑圧処理されたＹＣｂＣｒ形式の画像データはユーザ指定出力ファイル形式８０６に従って出力ファイル形式に合わせた変換処理が行われ、出力画像８０５として出力される。出力ファイル形式には例えばＪＰＥＧ形式やＴＩＦＦ形式がある。
【００６０】
ここで、上述の輝度ノイズ低減処理部１９１の処理について詳細に説明する。
図７は、輝度ノイズ低減処理部１９１における内部処理フローを示した図である。
輝度ノイズ低減処理は、画像データの輝度成分Ｙを入力画像１０とする。メディアンフィルタ処理部１１は、３×３タップのメディアンフィルタを入力画像１０の処理対象である座標（ｘ，ｙ）の画素を中心とした領域に適用し、ＲＴＳノイズや画素欠損により生じたインパルス状のノイズを除去したプレノイズ低減画像１２を作成する。あるいは、処理対象である座標（ｘ，ｙ）の画素の信号レベルｇ（ｘ，ｙ）と隣接する画素の信号レベルの差分を求め、全ての隣接する画素との差分が閾値を超えた場合に、ｇ（ｘ，ｙ）をこれら隣接する画素の信号レベルの平均値で置換するようにしてもよい。
【００６１】
エッジ特徴量算出処理部１３は、プレノイズ低減画像１２から、処理対象画素を中心とした３画素×３画素の範囲に配置された画素の信号レベルを用いて、その処理対象である座標（ｘ，ｙ）の画素を中心とした局所的なエッジ特徴量ｐ（ｘ，ｙ）を算出する。エッジ特徴量ｐ（ｘ，ｙ）を求める領域は、ここでは処理対象画素を中心とした３画素×３画素の範囲としたが、画像の大きさやノイズ低減の程度の応じて５画素×５画素や、７画素×７画素など、領域の広さを変更してもよい。ただし、この領域の広さに沿うように、メディアンフィルタのタップ数や、後述するノイズの分散値および局所的な信号レベルの分散値を求める領域の広さも変更する必要がある。エッジ特徴量ｐ（ｘ，ｙ）はエッジの程度を表す０から１の値であり、エッジの程度が高いほど大きな値を有する。あらかじめメディアンフィルタによってインパルス状のノイズを抑制した画像からエッジ特徴量ｐ（ｘ，ｙ）を算出することにより、インパルス状のノイズをエッジ領域と判断されやすくなる問題を回避することができる。
【００６２】
エッジ特徴量算出処理部１３では背景技術で述べたＬｅｅの方法と同様の式（２）を用い、処理対象画素ごとにエッジ特徴量ｐを算出する。ここで、Ｌｅｅの方法では、座標（ｘ，ｙ）を中心としたエッジ特徴量ｐ（ｘ，ｙ）の算出と、座標（ｘ，ｙ）の画素を中心とした局所的な領域の平均値Ｅ（ｇ（ｘ，ｙ））の算出を、いずれもメディアンフィルタを施していない元の画像に対して行っている。これに対し、本実施形態では、エッジ特徴量算出処理部１３では、ＲＴＳノイズや画素欠損により生じたインパルス状のノイズを除去したプレノイズ低減画像１２を用い、局所平均値算出処理部１４ではプレノイズ低減画像１２ではなく元の入力画像１０を用いる。
【００６３】
本実施形態におけるエッジ特徴量ｐ（ｘ，ｙ）の算出は、プレノイズ低減後の画像の座標（ｘ，ｙ）に位置する画素の信号レベルｕ（ｘ，ｙ）を用いて式（８）のように表すことができる。
【００６４】
【００６５】
式（８）でσ２n（ｘ，ｙ）はプレノイズ低減画像の座標（ｘ，ｙ）の画素を中心とした局所的な領域における画素の信号レベルに含まれるノイズの分散値である。σ２ｕ（ｘ，ｙ）はプレノイズ低減画像の座標（ｘ，ｙ）の画素を中心とした局所的な領域における画素の信号レベルの分散値である。ノイズの分散値σ２n（ｘ，ｙ）はカメラ機種、ＩＳＯ感度、輝度レベルに依存した値であり、あらかじめ測定して用意した値を用いることができる。また、ノイズの分散値σ２n（ｘ，ｙ）は座標（ｘ，ｙ）に依存せず、ＩＳＯ感度、輝度レベルにのみ依存した値としてもよい。
【００６６】
図８は、複数のＩＳＯ感度について、あらかじめプレノイズ低減画像１２から画像の平坦部において測定した輝度レベルのノイズ標準偏差（ノイズの分散値を１／２乗した値）の例を示している。このように、ＩＳＯ感度に応じてノイズの分散値を変更する。
【００６７】
プレノイズ低減画像の局所的な分散値σ２ｕ（ｘ，ｙ）は、式（９）で表される、座標（ｘ，ｙ）の画素を中心とした５画素×５画素の局所的な領域における画素の信号レベルの分散値である。また、式（９）におけるｍ（ｘ，ｙ）は、座標（ｘ，ｙ）の画素を中心とした５画素×５画素の局所的な領域における画素の信号レベルの平均値であり、式（１０）のように表すことができる。
【００６８】
【００６９】
図９は画像のエッジ部分における信号レベルの変化をシミュレートした例を示す図であり、想定したエッジに対してガウス状のノイズとインパルス状のノイズを付加している。インパルス状のノイズは、ｘ座標で２０，３０，４０，９０，１５０，及び１９０付近に見られる。
【００７０】
図１０は、図９に示すエッジ部分の画像に対してエッジ特徴量ｐを計算した結果を示す図である。
エッジ特徴量ｐ（ｘ，ｙ）の算出と局所的な平均値Ｅ（ｇ（ｘ，ｙ））の算出をいずれもメディアンフィルタを施していない元の画像に対して行うＬｅｅの方法では、インパルス状のノイズ部分で特徴量ｐ（ｘ，ｙ）の値が１に近づいていることが図１０からわかる。式（１）から、特徴量ｐが１に近い場合には、元の信号レベル、つまりこの場合はノイズを発生させている信号レベルがほぼそのままノイズ除去後の信号レベルとなることがわかる。これに対し、エッジ特徴量をプレノイズ低減画像（メディアン値）から求める本実施形態の方法では、インパルス状のノイズ部分における特徴量ｐ（ｘ，ｙ）は０の値に近く、インパルスノイズを軽減することが可能であることが分かる。
【００７１】
図７の局所平均値算出処理部１４では、入力画像１０から、式（１１）に示すように座標（ｘ，ｙ）の画素を中心とした５画素×５画素の画素の信号レベルの平均値ａｖｅ２５を算出する。また、局所平均値算出処理部１４は、式（１２）に示すように座標（ｘ，ｙ）の画素を中心とした３画素×３画素の画素の信号レベルの平均値ａｖｅ９を算出する。
【００７２】
【００７３】
図７の加重平均処理部１５では、エッジ特徴量算出処理部１３で得たエッジ特徴量ｐ（ｘ，ｙ）の値に応じて、入力画像１０の座標（ｘ，ｙ）の画素を中心とした局所的な平均値Ｅ（ｇ（ｘ，ｙ））と、入力画像１０の座標（ｘ，ｙ）の画素の信号レベルｇ（ｘ，ｙ）を加重加算する。そして得られた値ｒ（ｘ，ｙ）をノイズ低減後の出力画像１６の信号レベルとする。
【００７４】
具体的には、加重平均処理部１５はまず、入力画像１０の座標（ｘ，ｙ）の画素を中心とした局所的な平均値Ｅ（ｇ（ｘ，ｙ））を、式（１３）に従って求める。
【００７５】
【００７６】
式（１３）において、ｆ（ｐ（ｘ，ｙ））はエッジ特徴量ｐ（ｘ，ｙ）の関数である。そして、エッジ特徴量ｐ（ｘ，ｙ）が大きいほどタップ数の小さな平均値であるａｖｅ９の重みが大きく、逆にエッジ特徴量ｐ（ｘ，ｙ）が小さいほどタップ数の大きな平均値であるａｖｅ２５の重みが大きくなるようにする。
【００７７】
このような重み付けは、ｆ（ｐ（ｘ，ｙ））を例えば式（１４）のように計算することにより実現することができる。
【００７８】
【００７９】
次に、加重平均処理部１５は、座標（ｘ，ｙ）の画素のノイズ低減後の信号レベルｒ（ｘ，ｙ）を、エッジ特徴量ｐ（ｘ，ｙ）を用いて、式（１５）に従って求める。
【００８０】
【００８１】
式（１５）から明らかなように、座標（ｘ，ｙ）の画素のノイズ低減後の出力画像１６の信号レベルｒ（ｘ，ｙ）は、エッジ特徴量ｐ（ｘ，ｙ）が大きければ、すなわち、エッジ部分である可能性の高い位置の画素ならば、元の信号レベルｇ（ｘ，ｙ）に近い値となる。反対に座標（ｘ，ｙ）の画素のノイズ低減後の信号レベルｒは、エッジ特徴量ｐ（ｘ，ｙ）が小さければ、すなわち平坦部である可能性の高い位置の画素であれば、局所的な平均値Ｅ（ｇ（ｘ，ｙ））に近い値となる。
【００８２】
図１１は、エッジ特徴量ｐ（ｘ，ｙ）の値と、ノイズ低減後の信号レベルｒ（ｘ，ｙ）に寄与する各信号レベル（元の信号レベルｇ（ｘ，ｙ）、９画素平均値ａｖｅ９、２５画素平均値ａｖｅ２５）の割合の関係を示す図である。
【００８３】
図１１から、式（１３）及び式（１４）のような加重加算した場合、エッジ特徴量ｐ（ｘ，ｙ）が０から０．１付近までの、より平坦部に近い領域では２５画素の平均値ａｖｅ２５の寄与が支配的であり、信号レベルを平坦化している様子がわかる。
【００８４】
以上説明したように、本実施形態では、処理対象となる画素の元の信号レベルと、その画素を中心とした局所的な領域の信号レベルの平均値とを、画像のエッジ特徴量に応じて加重加算して画像のノイズを低減している。エッジ特徴量の算出には、インパルス状のノイズを除去した画像を用いているのに対して、局所的な平均値の算出にはインパルス状のノイズを除去する前の元の画像を用いる。これにより、画像全体に存在するノイズのみならず、画素の微細化などに伴って画像に生じるインパルス状のノイズについても、画像の高周波成分の損失を抑制しながら効率的に低減することができる。
【００８５】
なお、ノイズ低減後の信号レベルｒ（ｘ，ｙ）を求める際に、元の信号レベルｇ（ｘ，ｙ）と局所的な平均値Ｅ（ｇ（ｘ，ｙ））を加重加算したが、これに限られるものではない。座標（ｘ，ｙ）の処理対象画素を中心とした局所的な平均値Ｅ（ｇ（ｘ，ｙ））に代えて、座標（ｘ，ｙ）の処理対象画素の信号レベルと、その周囲の画素の信号レベルを重み付け加算することで、処理対象画素の信号レベルを平滑化した値を用いてもよい。すなわち、元の信号レベルｇ（ｘ，ｙ）に対して平滑化が施されることで、元の信号レベルｇ（ｘ，ｙ）よりも高周波成分が抑制された信号レベルであれば、平均値Ｅ（ｇ（ｘ，ｙ））に限らず、ノイズ低減後の信号レベルｒ（ｘ，ｙ）の算出に用いることができる。
【００８６】
（第２の実施形態）
次に本発明の第２の実施形態について説明する。
本実施形態は、第１の実施形態で説明した輝度ノイズ低減処理を、多重解像度処理に適用するものである。本実施形態においても、第１の実施形態と同様、輝度ノイズ低減処理は情報処理装置６００のＣＰＵ６０９が画像処理アプリケーションを実行することにより実現されるものとする。本実施形態では、図６に示した輝度ノイズ低減処理部１９１の処理内容のみが第１の実施形態と異なるため、以下では輝度ノイズ低減処理部１９１の処理内容のみを説明する。
【００８７】
図１２は、本実施形態に係る輝度ノイズ低減処理部の処理内容及び流れを示す図である。
輝度ノイズ低減処理部１９１は、ＹＣ変換処理部１７０が出力する輝度画像データを入力画像２０とし、メディアンフィルタ処理３１によりＲＴＳノイズや画素欠損により生じたインパルス状のノイズを除去したプレノイズ低減画像２１を作成する。第１の実施形態で説明したように、隣接する画素との差分が閾値以上である場合に、処理対象画素の信号レベルを、その画素に隣接する画素の信号レベルから求めた値に置換するようにしてもよい。
【００８８】
次に縮小画像生成手段であるピラミッド画像作成処理３２によってまず、入力画像２０に、図１３に示したような空間ローパスフィルタを施したのち、水平１／２、垂直１／２画素にサブサンプリングして、面積が１／４の縮小画像２２を作成する。さらにピラミッド画像作成処理３２により、縮小画像２２をさらに水平１／２、垂直１／２画素にサブサンプリングし、面積１／１６の縮小画像２４を作成する。
【００８９】
また、ピラミッド画像作成処理３２では、メディアンフィルタ処理３１で生成されたプレノイズ低減画像２１に対しても同様のサブサンプリングを適用し、プレノイズ低減画像の面積１／４の縮小画像２３、面積１／１６の縮小画像２５を作成する。
【００９０】
ピラミッド画像作成処理３２によって縮小画像２２〜２５を作成したら、適用平均値算出処理３３において、入力画像２０を用いて２種類の平均値ａｖｅ９及びａｖｅ２５を式（１１）、式（１２）から求める。
また、並行してエッジ特徴量算出処理３４において、プレノイズ低減画像２１に対して式（８）に基づく座標（ｘ，ｙ）の画素のエッジ特徴量ｐ（ｘ，ｙ）を算出する。
【００９１】
その後、第１適応的ＮＲ（ノイズリダクション）処理３５において、式（１３）、式（１４）、及び式（１５）を用い、非縮小画像に対するノイズ低減後の座標（ｘ，ｙ）の画素の信号レベルｒ（ｘ，ｙ）を計算する。次に判定処理３６において、エッジ特徴量算出処理３４にて得られたプレノイズ低減画像２１の座標（ｘ，ｙ）の画素における局所的な分散値σ２ｕ（ｘ，ｙ）と、プレノイズ低減画像２１の１／４縮小画像２３のノイズの分散値σ２n４（ｘ，ｙ）を比較する。１／４縮小画像２３におけるノイズの分散値は、図８に示したように、あらかじめＩＳＯ感度毎に測定した値を用いることができる。ノイズの分散値σ２n４（ｘ，ｙ）は座標（ｘ，ｙ）に依存せず、ＩＳＯ感度にのみ依存した値としてもよい。
【００９２】
輝度ノイズ低減処理部１９１は、プレノイズ低減画像２１の局所的な分散値σ２ｕ（ｘ，ｙ）が閾値σ２n４（ｘ，ｙ）以上である場合には、座標（ｘ，ｙ）はエッジ部である可能性が高いと判断する。この場合、輝度ノイズ低減処理部１９１は１／４縮小画像での処理を行わず、直ちに混合処理４４を行う。一方、プレノイズ低減画像２１の局所的な分散値σ２ｕ（ｘ，ｙ）が閾値σ２n４（ｘ，ｙ）より小さい場合には、座標（ｘ，ｙ）は平坦部である可能性が高いと判断する。これは、そのプレノイズ低減画像２１の局所的な領域の信号レベルは、入力画像２０の１／４縮小画像２２で残存する周波数のノイズ成分が占める割合が大きいと考えられるためである。この場合、輝度ノイズ低減処理部１９１は入力画像２０の１／４縮小画像２２を用いた適用平均値算出処理３７と、プレノイズ低減画像２１の１／４縮小画像２３を用いたエッジ特徴量算出処理３８を行う。
【００９３】
適用平均値算出処理３７において、入力画像２０の１／４縮小画像２２を用いて２種類の平均値ａｖｅ９及びａｖｅ２５を式（１１）、式（１２）から求める。
また、並行してエッジ特徴量算出処理３８において、プレノイズ低減画像２１の１／４縮小画像２３に対して式（８）に基づくエッジ特徴量ｐ（ｘ，ｙ）を算出する。
【００９４】
その後、第２適応的ＮＲ処理３９において、式（１３）、式（１４）、及び式（１５）を用い、１／４縮小画像２２に対するノイズ低減後の信号レベルｒ（ｘ，ｙ）を計算する。第２適応的ＮＲ処理３９においては、式（１５）中の元の信号レベルｇ（ｘ，ｙ）に代えて、入力画像２０のノイズ低減後の信号レベルｒ（ｘ，ｙ）（第１適応的ＮＲ処理３５の処理結果）を用いる。
【００９５】
次に判定処理４０において、エッジ特徴量算出処理３８にて得られたプレノイズ低減画像２１の１／４縮小画像２３の座標（ｘ，ｙ）の画素における局所的な分散値σ２ｕ４（ｘ，ｙ）と、プレノイズ低減画像２１の１／１６縮小画像２５のノイズの分散値σ２n１６（ｘ，ｙ）を比較する。１／１６縮小画像２５におけるノイズの分散値は、図８に示したように、あらかじめＩＳＯ感度毎に測定した値を用いることができる。ノイズの分散値σ２n１６（ｘ，ｙ）は座標（ｘ，ｙ）には依存せず、ＩＳＯ感度にのみ依存した値としてもよい。
【００９６】
プレノイズ低減画像２１の１／４縮小画像２３の局所的な分散値σ２ｕ４（ｘ，ｙ）が閾値σ２n１６（ｘ，ｙ）以上である場合には、座標（ｘ，ｙ）はエッジ部である可能性が高いと判断する。この場合、輝度ノイズ低減処理部１９１は１／４縮小画像での処理を行わず、混合処理４４を行う。一方、プレノイズ低減画像２１の１／４縮小画像２３の局所的な分散値σ２ｕ４（ｘ，ｙ）が閾値σ２n１６（ｘ，ｙ） より小さい場合には、座標（ｘ，ｙ）は平坦部である可能性が高いと判断する。これは、そのプレノイズ低減画像２１の１／４縮小画像２３の局所的な領域の信号レベルは、入力画像２０の１／１６縮小画像２４で残存する周波数のノイズ成分が占める割合が大きいと考えられるためである。この場合、輝度ノイズ低減処理部１９１は入力画像２０の１／１６縮小画像２４を用いた適用平均値算出処理４１と、プレノイズ低減画像２１の１／１６縮小画像２５を用いたエッジ特徴量算出処理４２を行う。
【００９７】
適用平均値算出処理４１では、入力画像２０の１／１６縮小画像２４を用いて２種類の平均値ａｖｅ９及びａｖｅ２５を式（１１）、式（１２）から求める。
また、並行してエッジ特徴量算出処理４２において、プレノイズ低減画像２１の１／１６縮小画像２５に対して式（８）に基づくエッジ特徴量ｐ（ｘ，ｙ）を算出する。
【００９８】
その後、第３適応的ＮＲ処理４３において、式（１３）、式（１４）、及び式（１５）を用い、１／１６縮小画像２４に対するノイズ低減後の信号レベルｒ（ｘ，ｙ）を計算する。第３適応的ＮＲ処理４３においては、式（１５）中の元の信号レベルｇ（ｘ，ｙ）に代えて、１／４縮小画像２３のノイズ低減後の信号レベルｒ（ｘ，ｙ）（第２適応的ＮＲ処理３９の処理結果）を用いる。
【００９９】
混合処理４４では、式（１６）に示すように、入力画像２０の信号レベルｇ（ｘ，ｙ）と、第１適応的ＮＲ処理３５、第２適応的ＮＲ処理３９、及び第３適応的ＮＲ処理４３のいずれかで得られたノイズ低減画像ｒ（ｘ，ｙ）とを、ＩＳＯ感度に応じて加重平均する。これにより、最終的なノイズ低減後の出力画像２６の信号レベルnｒ（ｘ，ｙ）を得る。
【０１００】
式（１７）において、Ｍｍａｘは所定の係数であり、例えば０．７が設定される。
【０１０１】
これら式（１６）、（１７）によれば、画像のＩＳＯ感度が高いほどｉｐ（ｉｓｏ）の値が小さくなり、ノイズ低減後の出力画像の信号レベルｒ（ｘ，ｙ）に対する入力画像２０の信号レベルｇ（ｘ，ｙ）が小さくなる。すなわち、ＩＳＯ感度が高くなり、ノイズの信号レベルに対する増幅率が大きくなるほど、ノイズ低減後の出力画像の信号レベルｒ（ｘ，ｙ）の重み付けを大きくしている。そのため、ノイズ低減後の出力画像の信号レベルｒ（ｘ，ｙ）のみを用いた場合に平坦部でノイズ除去強度が強すぎるために生じる、ディテール（画像の高周波成分）の消失を抑制することができる。
なお、最終的に得ようとする画像がサイズを小さくした縮小画像である場合には、処理時間を要する等倍画像での処理（３３〜３６）を行わず、１／４縮小画像２２，２３を用いた処理（３７，３８）から行ってもよい。
また、混合処理４４を省略し、適応的ＮＲ処理３５、３９および４３の各々で式（１５）、（１６）に代えて式（１８）を用いることで、最終的なノイズ低減後の出力画像２６の信号レベルｎｒ（ｘ，ｙ）を求めるようにしてもよい。
【０１０２】
【０１０３】
この式（１８）によれば、エッジ特徴量ｐ（ｘ，ｙ）が大きいほど、あるいは、ＩＳＯ感度が小さいほど、局所的な平均値Ｅ（ｇ（ｘ，ｙ））に対するもとの信号レベルｇ（ｘ，ｙ）の比率が大きくなり、画像の高周波成分が保持されやすくなる。反対に、エッジ特徴量ｐが小さいほど、あるいは、ＩＳＯ感度が大きいほど、もとの信号レベルｇ（ｘ，ｙ）に対する局所的な平均値Ｅ（ｇ（ｘ，ｙ））の比率が大きくなり、ノイズ成分が抑制されやすくなる。
【０１０４】
なお、本実施形態の変形例として、プレノイズ低減画像２１からは縮小画像を生成せず、エッジ特徴量ｐの算出は縮小しないプレノイズ低減画像２１からのみ行うようにしても良い。この場合の輝度ノイズ低減処理部の処理内容及び流れを図１４に示す。
【０１０５】
図１４において、図１２と同じ構成には同じ参照数字を付し、重複する説明は省略する。
図１４と図１２との比較から明らかなように、ピラミッド画像作成処理３２では入力画像２０に対してのみ１／４縮小画像２２と１／１６縮小画像２４を生成し、プレノイズ低減画像２１については縮小画像を生成しない。
【０１０６】
そして、判定処理３６においては、入力画像２０の１／４縮小画像２２におけるノイズの分散値σ２n４（ｘ，ｙ）と、入力画像２０の座標（ｘ，ｙ）における局所的な分散値σ２ｇ（ｘ，ｙ）を比較する。
【０１０７】
輝度ノイズ低減処理部１９１は、入力画像２０の座標（ｘ，ｙ）における局所的な分散値σ２ｇ（ｘ，ｙ）が閾値σ２n４（ｘ，ｙ）以上である場合には、座標（ｘ，ｙ）はエッジ部である可能性が高いと判断する。この場合、輝度ノイズ低減処理部１９１は１／４縮小画像での処理を行わず、直ちに混合処理４４を行う。一方、入力画像２０の座標（ｘ，ｙ）における局所的な分散値σ２ｇ（ｘ，ｙ）が閾値σ２n４（ｘ，ｙ）より小さい場合には、座標（ｘ，ｙ）は平坦部である可能性が高いと判断する。入力画像２０の局所的な分散値σ２ｇ（ｘ，ｙ）が閾値σ２n４（ｘ，ｙ）より小さいということは、その入力画像２０の局所的な領域の信号レベルは、入力画像２０の１／４縮小画像２２で残存する周波数のノイズ成分が占める割合が大きいと考えられるためである。この場合、輝度ノイズ低減処理部１９１は入力画像２０の１／４縮小画像２２を用いた適用平均値算出処理３７を行う。
【０１０８】
判定処理４０においては、入力画像２０の１／１６縮小画像２４におけるノイズの分散値σ２n１６（ｘ，ｙ）と、入力画像２０の１／４縮小画像２２の座標（ｘ，ｙ）における局所的な分散値σ２ｇ４（ｘ，ｙ）を比較する。
【０１０９】
輝度ノイズ低減処理部１９１は、入力画像２０の１／４縮小画像２２の座標（ｘ，ｙ）における局所的な分散値σ２ｇ４（ｘ，ｙ）が閾値σ２n１６（ｘ，ｙ）以上である場合には、座標（ｘ，ｙ）はエッジ部である可能性が高いと判断する。この場合、輝度ノイズ低減処理部１９１は１／１６縮小画像での処理を行わず、混合処理４４を行う。一方、入力画像２０の１／４縮小画像２２の座標（ｘ，ｙ）における局所的な分散値σ２ｇ４（ｘ，ｙ）が閾値σ２n１６（ｘ，ｙ）より小さい場合には、座標（ｘ，ｙ）は平坦部である可能性が高いと判断する。これは、その入力画像２０の１／４縮小画像２２の局所的な領域の信号レベルは、入力画像２０の１／１６縮小画像２４で残存する周波数のノイズ成分が占める割合が大きいと考えられるためである。この場合、輝度ノイズ低減処理部１９１は入力画像２０の１／１６縮小画像２４を用いた適用平均値算出処理４１を行う。
【０１１０】
これらのノイズの分散値は、図８に示したように、あらかじめＩＳＯ感度毎に測定した値を用いることができる。また、入力画像２０および１／４縮小画像２２の座標（ｘ，ｙ）における局所的な分散値σ２ｇ（ｘ，ｙ）、σ２ｇ４（ｘ，ｙ）は、プレノイズ低減画像の局所的な分散値σ２ｕ（ｘ，ｙ）と同様に式（９）、（１０）を用いて求めることができる。
【０１１１】
また、縮小画像に対する適応的ＮＲ処理４（３９）、適応的ＮＲ処理１６（４３）で用いる特徴量ｐは、エッジ特徴量算出処理３４がプレノイズ低減画像２１に対して求めた特徴量ｐの中の、対応する画素における値を利用する。
【０１１２】
このように構成することで、低解像度の縮小画像を生成するための処理や、縮小画像に対してエッジ特徴量を求めるための処理に必要な負荷を無くすことができる。そのため、処理時間の短縮が可能になる。
【０１１３】
なお、適用平均値処理３３、３７および４１は、画像処理部５２５内部の１つの適用平均値処理回路に実行させることが可能である。同様に、エッジ特徴量算出処理３４、３８および４２は、画像処理部５２５内部の１つのエッジ特徴量算出処理回路に実行させることが可能である。同様に、第１適応的ＮＲ処理３５、第２適応的ＮＲ処理３９および第３適応的ＮＲ処理４３は、画像処理部５２５内部の１つの適応的ＮＲ処理回路に実行させることが可能である。さらに、判定処理３６および４０は、画像処理部５２５内部の１つの判定処理回路に実行させることが可能である。
【０１１４】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
図６を用いて説明した、画像処理部８０４（情報処理装置６００が実行する画像処理アプリケーション）が実現する画像処理の流れにおいて、色補間処理部１４０と、輝度ノイズ低減処理部１９１の処理は比較的長い処理時間を要する。そのため、ユーザビリティの観点から、図６のような画像処理の流れの中でも、できるだけ初めに行うことが好ましい。
【０１１５】
また一般に、ある特定の画像劣化原因に対する補正処理を、複数の画像劣化要因に対して順次実行する場合、画像劣化原因の発生順に対して逆順に補正処理を適用したり、補正すべき画像劣化原因以外については影響を与えたりしないようにすることが好ましい。
【０１１６】
例えば画像ノイズの原因は、撮像素子における光電変換過程、アナログ信号の転送、およびアナログ信号の増幅の過程にあり、レンズ補正処理部１２０が補正対象とする、レンズ５０１が原因の周辺減光や収差とは無関係である。しかし、画像中のノイズ特性は、周辺減光補正処理の影響を受けて変化する。そのため、周辺減光補正処理をノイズ低減処理の前に行った場合、上述のノイズの分散値に基づくノイズ低減処理において、周辺減光補正された画像の周辺部のノイズをエッジ領域と判断してしまうおそれがある。その場合、実際にはノイズが多いにもかかわらず、ノイズ低減処理の効果が弱くなる。従って、ノイズ低減処理はノイズ特性に影響を与える他の補正処理よりも先に行うことがより好ましいと考えられる。
【０１１７】
そのため、本実施形態では図１５に示すように、ノイズ低減処理部１０５をレンズ補正処理部１２０よりも前に配置し、ノイズ低減処理をレンズ補正処理より先に実行するようにしている。
【０１１８】
図１５のノイズ低減処理部１０５は、撮像素子が備えるカラーフィルタの構成に応じて、同一色の画素で構成される画像毎に第１の実施形態で説明した輝度ノイズ低減処理を適用する。例えばベイヤー配列のカラーフィルタを備えた撮像素子を用いる場合、図１６に示すようにＲ，Ｇ１，Ｇ２，Ｂの画素配列の同種の画素から構成される４つの画像（２０１，２０２，２０３，２０４）に上述した輝度ノイズ低減処理を適用することができる。あるいは、図１７に示すように、緑画素についてはＧ１画素とＧ２画素を区別せずに３つの画像（２０１，２０５，２０４）に上述した輝度ノイズ低減処理を適用してもよい。なお、図１７の場合、Ｇ１画素とＧ２画素との間の画素（ＩｔｐＧ）は、周辺画素から補間により生成する。
【０１１９】
このように、本実施形態では、ノイズ低減処理をノイズ特性に影響を与える他の補正処理よりも前に行うことで、より効果的なノイズ低減が期待できる。
【０１２０】
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。
これまで、本発明を、デジタルカメラで撮影したＲＡＷ画像データを取り扱う画像処理アプリケーションに適用した例を説明してきた。ＲＡＷ形式での記録が可能なデジタルカメラでは、他の形式、代表的にはＪＰＥＧ形式でも並行して記録可能なものがある。あるいは、ＲＡＷ画像ファイルを生成する際、プレビュー用の画像として、ヘッダ部分にＪＰＥＧ形式の画像データを埋め込む場合もある。
【０１２１】
このように、同一の画像についてＲＡＷ形式と他の形式（ここではＪＰＥＧ形式とする）の画像データが存在する場合、画像処理アプリケーションでそれらが同様に処理されることが期待される場合がある。この場合、例えばどちらの形式の画像に対しても同じノイズ低減効果を得たい場合、同じノイズ低減処理を適用することが好ましい。
【０１２２】
より厳密には、ノイズ低減処理の手法が同じであるだけでなく、第３の実施形態で説明した理由により、複数の画像処理手順におけるどの位置でノイズ低減処理を行うかも同じであることが望ましい。
【０１２３】
例えば図６、図１８、図１９に示すような段階で第１の実施形態または第２の実施形態で説明したノイズ低減処理を行うことが考えられる。図６は、第１の実施形態で説明したようにＲＡＷ画像データに対してノイズ低減処理を行う場合の処理フローである。また、図１８はＴＩＦＦ形式の画像データ（ＲＧＢ画像）に対して、図１９はＪＰＥＧ形式の画像データ（ＹＣ画像）に対してノイズ低減処理を行う際の手順の例である。ノイズ低減処理はいずれも輝度データに対して適用する。
【０１２４】
図１８において、入力画像３００（ＴＩＦＦ形式の画像データ）は信号レベルをＲＧＢで表しているため、ＲＧＢ／ＹＣ変換処理部３１０において、輝度成分と色差成分とに変換する。そして、輝度成分に対して輝度処理及びノイズ低減処理部３３０でエッジ強調処理及び上述の輝度ノイズ低減処理を適用する。また、色処理部３２０では色差成分に対して偽色抑圧処理を行う。そして、ＹＣ／ＲＧＢ変換処理部３４０で、再度ＲＧＢ成分への変換を行い、ノイズ低減処理後のＴＩＦＦ形式の画像データを出力画像３５０として出力する。
【０１２５】
図１９では、入力画像３６０（ＪＰＥＧ形式の画像データ）は既に輝度成分と色差成分とに分離されている。そのため、直ちに色処理部３２０及び輝度処理及びノイズ低減処理部３３０での処理を行い、ノイズ低減処理後のＪＰＥＧ形式の画像データを出力画像３７０として出力する。なお、図１９に記載していないが、実際には入力画像の復号化及び、ノイズ低減処理後の再符号化が行われる。
【０１２６】
この際に用いるノイズの分散値はセンサのノイズ特性が撮影条件（例えばＩＳＯ感度）と画像処理内容（例えばホワイトバランスゲイン、ガンマカーブ）に依存して以下の式（１９）のように変化する。画像ファイルのヘッダに含まれるメタデータなどから撮影条件や画像処理内容が得られる場合、ノイズ低減処理が行われるまでにどのような画像処理が行われたかに応じてノイズの特徴である分散値を決定する。
【０１２７】
式（１９）は図６のようにゲイン補正処理部１５０でのゲイン補正後にγ補正処理部１６０でγ補正を行った画像に対して上述の輝度ノイズ低減処理を適用する場合の、ノイズの分散値（標準偏差σn２（ｘ，ｙ））を得る場合の計算例である。
【０１２８】
式（１９）ではＲＡＷ画像データ入力時のノイズの標準偏差σn（ｘ，ｙ）にホワイトバランスゲインと明るさ調整ゲインを乗算した値（ｇａｉｎ）を掛けた後、ガンマカーブ（γ）を適用した値σn２（ｘ，ｙ）を計算している。
【０１２９】
【０１３０】
ノイズの分散は、式（１９）で得られる標準偏差σn２（ｘ，ｙ）を二乗した値を用いればよい。
【０１３１】
このように、本実施形態によれば、異なる形式の画像データに対して同一のノイズ低減処理を適用するので、同じ画像でデータ形式の異なる画像データに対し、同様のノイズ低減処理結果を得ることができる。
【０１３２】
（第５の実施形態）
次に、本発明の第５の実施形態について説明する。
第４の実施形態では、画像ファイルのヘッダに含まれるメタデータから撮像条件、画像処理内容の情報を取得して、それら情報に応じたノイズ分散値を用いてノイズ低減処理を行うものであった。
【０１３３】
しかし、このような情報が必ず画像ファイルから取得できるとは限らない。撮影条件や画像処理内容が不明なＪＰＥＧ画像やＴＩＦＦ画像に対してノイズ低減処理を行う場合、画像に含まれるノイズ特性をあらかじめ推定することは困難である。そのため、本実施形態においては、画像データそのものからノイズ特性を推定する。
【０１３４】
デジタルカメラの出力画像におけるノイズ特性はグレー階調値に依存することを利用し、グレーの平坦部分を画像中から探索し、グレー平坦部におけるＲＧＢ毎の階調値と標準偏差を得ることでノイズ特性を推定することができる。
【０１３５】
図２０は、本実施形態における画像処理部８０４が行うノイズ特性推定処理の内容を説明するフローチャートである。
まず、Ｓ４００で画像処理部８０４は、入力画像から縮小画像を生成する。これは、細かなテクスチャーやインパルスノイズによる影響を避けて高速に平坦部を得るためである。なお、入力画像はプレノイズ低減画像であってもよい。
【０１３６】
そして、画像処理部８０４は、縮小画像からグレー平坦部を探索し（Ｓ４１０）、探索したグレー平坦部から、推定ノイズ特性としてノイズの標準偏差σn（ｘ，ｙ）を求める（Ｓ４２０）。例えば、図２１に示すような関係を利用して、グレー平坦部のＲＧＢ階調値から、ＲＧＢ毎のノイズの標準偏差を求める。画像処理部８０４はノイズの標準偏差σn（ｘ，ｙ）からノイズ分散値を求め、このノイズ分散値を、輝度ノイズ低減処理部１９１でＲ画像、Ｇ画像及びＢ画像に対する輝度ノイズ低減処理で用いる。
【０１３７】
この際、標準偏差は縮小画像から求めているため、縮小前の画像から求めた場合よりも小さい値となる。従って、Ｓ４００における縮小画像の生成に用いるローパスフィルタの特性と標準偏差の変化の関係を考慮して、標準偏差からノイズの分散値を求める。そのためには、予め、縮小画像の生成に用いるローパスフィルタに対してノイズの分散値がどのように変化するかを実測で調べておけばよい。あるいは、ノイズの空間周波数特性を仮定し、ローパスフィルタによるノイズの変化をローパスフィルタの周波数応答によって推定しておけばよい。
【０１３８】
図２２は、図２０のＳ４１０で行うグレー平坦部探索処理の詳細を説明するフローチャートである。
画像処理部８０４は、例えば７ｘ７タップのカーネル内で、ＲＧＢ各色の平均値を算出する（Ｓ４１１、Ｓ４１２）。そして、画像処理部８０４は、求めた平均値の分散値（または標準偏差）および尖度を算出し（Ｓ４１３）、ＲＧＢの平均値が所定の範囲内にあり、かつ尖度が所定の範囲内にある場合、そのカーネル（領域）がグレー平坦部であると判断する。分散値や尖度を求めるための演算には時間を要するため、ノイズ推定に必要な階調域の情報が得られない領域については演算を行わないようにすることが望ましい。
【０１３９】
このように、本実施形態によれば、画像からノイズ特定を推定することにより、ノイズ推定に必要な情報が画像ファイルのメタデータ（属性情報）から得られない場合でも、適切なノイズ低減処理を実行することができる。
【０１４０】
（他の実施形態）
上述の実施形態においては、情報処理装置において本発明のノイズ低減処理を実行するものとして説明したが、撮像装置において同様のノイズ低減処理を適用することも可能である。この場合、図２における輝度処理回路で実行することができる。
【０１４１】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は画像処理装置及び画像処理方法に関し、特には画像のノイズを低減するための画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
エッジ保存効果を有する画像のノイズ低減方法として、Ｌｅｅの方法（例えば、非特許文献１参照）が知られている。この方法では、以下の式（１）、（２）に示すように、画素がＸＹ方向に整列してなる画像の画素の信号レベルの分散を算出し、この分散に基づいてノイズ低減を行う。
【０００３】
【０００４】
式（１）のｇ（ｘ，ｙ）は画像の座標（ｘ，ｙ）に位置する画素の信号レベルである。Ｅ（ｇ（ｘ，ｙ））は座標（ｘ，ｙ）を中心とした局所的な領域の画素の信号レベルの平均値である。具体的には、座標（ｘ，ｙ）の画素を中心とした５画素×５画素の範囲に配置された画素の信号レベルの平均値である。式（２）のσ２ｇ（ｘ，ｙ）は座標（ｘ，ｙ）を中心とした局所的な領域の画素の信号レベルの分散である。具体的には、座標（ｘ，ｙ）の画素を中心とした５画素×５画素の範囲に配置された画素の信号レベルの分散である。σ２n（ｘ，ｙ）は座標（ｘ，ｙ）の画素を中心とした５画素×５画素の範囲に配置された画素の信号レベルに含まれるノイズレベルの分散である。
【０００５】
また、エッジ特徴量ｐ（ｘ，ｙ）は、座標（ｘ，ｙ）の画素のエッジの程度を表す。特徴量ｐ（ｘ，ｙ）は０〜１の値をとり、式（２）から明らかなように、予め測定しておいたノイズの分散値σ２n（ｘ，ｙ）が大きいほど特徴量ｐ（ｘ，ｙ）は小さな値となり、局所的な分散値σ２ｇ（ｘ，ｙ）が大きいほど特徴量ｐ（ｘ，ｙ）は大きな値となる。そのため、式（１）に示すように、ノイズ低減後の信号レベルｒ（ｘ，ｙ）の、元の信号レベルｇ（ｘ，ｙ）に対する局所的な平均値Ｅ（ｇ（ｘ，ｙ））が占める比率は、ノイズの分散値σ２n（ｘ，ｙ）が大きいほど大きくなる。反対に、ノイズ低減後の信号レベルｒ（ｘ，ｙ）の、元の信号レベルｇ（ｘ，ｙ）に対する局所的な平均値Ｅ（ｇ（ｘ，ｙ））が占める比率は、局所的な分散値σ２ｇ（ｘ，ｙ）が大きいほど小さくなる。
【０００６】
また、画像のエッジ部では、画像の局所的な分散値σ２ｇ（ｘ，ｙ）が大きくなる。そのため、画像のエッジ部では、エッジ特徴量ｐ（ｘ，ｙ）の値が１に近づき、ノイズ低減後の信号レベルｒ（ｘ，ｙ）に占める元の信号レベルｇ（ｘ，ｙ）の割合が多くなる。これにより、画像のエッジ部では、局所的な平均値Ｅ（ｇ（ｘ，ｙ））によって、元の信号レベルのエッジがなまってしまうことを抑制することができる。
【０００７】
一方、画素欠損による輝点ノイズや暗点ノイズ、後述のランダム・テレグラフ・シグナル（ＲＴＳ）ノイズのような、インパルス状のノイズが存在する画像は、局所的な分散値σ２ｇ（ｘ，ｙ）が大きくなりエッジ部と判断されやすい。そのため、これらのノイズが発生する位置では、特徴量ｐ（ｘ，ｙ）の値が大きくなり、ノイズ低減効果が小さくなる。
【０００８】
図２３は、エッジ特徴量ｐ（ｘ，ｙ）と、画像の標準偏差σｇ（ｘ，ｙ）の関係を示す図である。図２３は１４ビット／画素の画像でのノイズの標準偏差σn（ｘ，ｙ）が２５０のときの例を示しており、横軸はノイズの標準偏差σn（ｘ，ｙ）、縦軸はエッジ特徴量ｐ（ｘ，ｙ）である。
【０００９】
インパルスノイズの除去にはメディアンフィルタが多用されるが、メディアンフィルタの適用は画像の高周波部分に歪みを生じさせ、画像の詳細な情報が失われる原因となる。また、デジタルカメラで撮像素子として用いられる光電変換素子に起因するノイズには、光電変換時の暗電流ノイズ、光ショットノイズの他、増幅回路における熱ノイズや１／ｆノイズのような低周波ノイズが含まれることが知られている（例えば非特許文献２）。
【００１０】
これらノイズのうち、特に暗電流ノイズ、光ショットノイズの値は信号レベルに依存するため、これらのノイズの分散値σ２n（ｘ，ｙ）も信号レベルに依存する。さらに近年の画素の微細化に伴い、特にＣＭＯＳイメージセンサでは画素の読み出しトランジスタが発生するランダム・テレグラフ・シグナル（ＲＴＳ）ノイズという低周波ノイズにより、画像に白点状のノイズが発生することが知られている（例えば非特許文献３）。
【００１１】
ノイズレベルが大きい場合や、デジタルカメラの熱ノイズのように空間的に広がりのあるノイズの場合には、サイズの大きなカーネル（Ｍ×Ｎ画素とする）を用いて上述の式（１）及び式（２）に基づくノイズ低減処理を行うことが効果的である。しかし、カーネルサイズを大きくした場合、演算量が増加するという問題がある。この問題に対処する方法として、異なる複数の解像度を有する画像を用いた手法（例えば、特許文献１、特許文献２参照）が提案されている。
【００１２】
また、デジタルカメラの生成する画像ファイルの形式は２つに大別できることが一般によく知られている。１つは、デジタルカメラ内でいわゆる現像処理が行われた後に記録される、ＪＰＥＧ、ＴＩＦＦといった汎用的なファイル形式である。もう１つは、イメージセンサの出力をそのまま記録した、ＲＡＷ形式と呼ばれる機種依存のファイル形式である。
【００１３】
ＲＡＷ形式の特徴は、画質を劣化させることなく様々なパラメータ（露出値、ホワイトバランス値など）を変更した結果を得ることが可能なことである（例えば、特許文献３を参照）。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特許第３１９３８０６号公報
【特許文献２】特許第３９９５８５４号公報
【特許文献３】特開２００４−１２８８０９号公報
【非特許文献】
【００１５】
【非特許文献１】J.S.LEE, "Digital enhancement and noise filtering by use of local statistics", IEEE Transactions on Pattern Analysis and Machine Intelligence, PAMI-2, pp.165-168, 1980
【非特許文献２】H.Tian, B.Fowler, and A.E.Gamal, "Analysis of temporal noisein cmos photodiode active pixel sensor", IEEE J. Solid State Circuits, vol. 36.Jan. pp.92-101, 2001
【非特許文献３】J.Y. Kim, et al., "Characterization and Improvement of Random Noise in 1/3.2" UXGA CMOS Image Sensor with 2.8um Pixel Using 0.13um-technology", IEEE Workshop on CCD and AIS, p.149, 2005
【発明の概要】
【発明が解決しようとする課題】
【００１６】
近年、デジタルカメラはイメージセンサの高画素化により画素が微細化し、イメージセンサの高感度化と相まって、センサに起因するノイズが増大する傾向にある。デジタルカメラにおいては様々なノイズの発生原因が存在するため、様々なノイズ特性が反映された信号に対して画像処理を行っている。画素の微細化に伴ってインパルス状のノイズが生じる場合があり、このようなパルス状のノイズを上述した式（１）、（２）を用いた処理で除去しようとした場合、ノイズの除去レベルを上げる必要がある。しかし、除去レベルを上げると画像の高周波成分が失われ、エッジがぼやけてしまうといった問題があった。
【００１７】
本発明はこのような従来技術の課題に鑑みなされたものであり、画像全体に存在するノイズのみならず、一部の画素に生じるノイズも存在する画像に対して効率的にノイズを低減する画像処理装置及び画像処理方法を提供する。
【課題を解決するための手段】
【００１８】
上述の目的は、入力画像のインパルスノイズを低減したプレノイズ低減画像を生成するノイズ低減手段と、入力画像の、処理対象画素を含む局所的な領域の複数の画素の信号レベルを平滑した値を算出する平滑化手段と、プレノイズ低減画像を用いて、処理対象画素のエッジの程度を示す特徴量を算出する特徴量算出手段と、特徴量に応じた割合で、処理対象画素の信号レベルと平滑化した値とを加重加算し、加重加算の結果を入力画像のノイズ低減処理後の信号レベルとして出力する加算手段とを有し、加算手段は、エッジの程度が高いことを示す特徴量を有する画素ほど、平滑化した値の割合が小さくなるように加重加算することを特徴とする画像処理装置によって達成される。
【発明の効果】
【００１９】
このような構成により、本発明によれば、画像全体に存在するノイズのみならず、一部の画素に生じるノイズも存在する画像に対して効率的にノイズを低減することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施形態に係る画像処理装置が処理する画像データを生成するデジタルカメラの構成例を示すブロック図である。
【図２】図１の画像処理回路５２６における画像処理の概要を示すブロック図である。
【図３】カラーフィルタにおけるベイヤー配列の例を示す図である。
【図４】本発明の第１の実施形態に係る画像処理装置の一例としての情報処理装置の構成を示すブロック図である。
【図５】図４の情報処理装置によって実現される画像処理を、模式的に機能ブロックで表した図である。
【図６】図６は図５における画像処理部８０４が実現する画像処理の流れを模式的に示した図である。
【図７】図６の輝度ノイズ低減処理部１９１における内部処理フローを示した図である。
【図８】複数のＩＳＯ感度について、あらかじめプレノイズ低減画像１２から画像の平坦部において測定した輝度レベルノイズ標準偏差の例を示す図である。
【図９】画像のエッジ部分における信号レベルの変化をシミュレートした例を示す図である。
【図１０】図９に示すエッジ部分の画像に対してエッジ特徴量ｐを計算した結果を示す図である。
【図１１】エッジ特徴量ｐの値と、ノイズ低減後信号レベルｒに寄与する各信号レベル（元の信号レベルｇ（ｘ，ｙ）、９画素平均値ａｖｅ９、２５画素平均値ａｖｅ２５）の割合の関係を示す図である。
【図１２】本発明の第２の実施形態に係る画像処理装置における輝度ノイズ低減処理部の処理内容及び流れを示す図である。
【図１３】空間ローパスフィルタの例を示す図である。
【図１４】本発明の第２の実施形態に係る画像処理装置における輝度ノイズ低減処理部の別の処理内容及び流れを示す図である。
【図１５】本発明の第３の実施形態に係る画像処理装置における画像処理部の処理内容及び流れを示す図である。
【図１６】本発明の第３の実施形態に係る画像処理装置における入力画像の構成例を示す図である。
【図１７】本発明の第３の実施形態に係る画像処理装置における入力画像の別の構成例を示す図である。
【図１８】本発明の第４の実施形態に係る画像処理装置において、ＴＩＦＦ形式の画像データ（ＲＧＢ画像）に対してノイズ低減処理を行う際の手順の例を示す図である。
【図１９】本発明の第４の実施形態に係る画像処理装置において、ＪＰＥＧ形式の画像データ（ＹＣ画像）に対してノイズ低減処理を行う際の手順の例を示す図である。
【図２０】本発明の第５の実施形態に係る画像処理装置において、画像処理部が行うノイズ特性推定処理の内容を説明するフローチャートである。
【図２１】グレー平坦部のＲＧＢ階調値とＲＧＢ毎のノイズの標準偏差の関係例を示す図である。
【図２２】図２０のＳ４１０で行うグレー平坦部探索処理の詳細を説明するフローチャートである。
【図２３】エッジ特徴量ｐ（ｘ，ｙ）と、画像の標準偏差σｇ（ｘ，ｙ）の関係を示す図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照して本発明を好適かつ例示的な実施形態に基づいて詳細に説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像処理装置が処理する画像データを生成するデジタルカメラ５００の構成例を示すブロック図である。本実施形態においてはレンズ一体型のデジタルカメラに関して説明するが、レンズ交換型のデジタルカメラであってもよい。
【００２２】
レンズ５０１から入射した被写体光は、絞り５０２、赤外カットフィルタ５０３及び光学ローパスフィルタ（ＬＰＦ）５０４を通過し、撮像素子５２０の受光面上に結像される。図１において、レンズ５０１は模式的に１枚のレンズとして図示されているが、レンズ駆動回路５０６によって駆動可能なフォーカシングレンズを含む、複数枚のレンズを有している。また、絞り５０２は絞り駆動回路５０７によって駆動される。なお、メカニカルシャッターを絞り５０２として用いてもよい。本実施形態において、撮像素子５２０はＣＣＤイメージセンサやＣＭＯＳイメージセンサで構成されており、本実施形態では、ＣＭＯＳイメージセンサであるものとする。
【００２３】
撮像素子５２０の受光面にはフォトダイオードを用いた光電変換素子（画素）が複数配列されている。また、光電変換素子の光学ＬＰＦ側の面には、例えば、Ｒ（赤）・Ｇ（緑）・Ｂ（青）から構成されるベイヤー配列の原色カラーフィルタが、１色が１つの光電変換素子に対応するように配置されている。なお、本実施形態のデジタルカメラ５００は、撮像素子及びカラーフィルタを１つずつ用いる単板式であるが、Ｒ用、Ｇ用、Ｂ用の３組のカラーフィルタ及び撮像素子を用いる３板式など、複数の撮像素子を用いる構成であってもよい。
【００２４】
撮像素子５２０に結像された被写体像は、各光電変換素子において、入射光量に応じた量の電荷に変換される。タイミングジェネレータ（ＴＧ）５０８が発生する信号は、水平基準パルス生成用ドライバ（Ｘ−Ｄｒ）５２１と、垂直基準パルス生成用ドライバ（Ｙ−Ｄｒ）５２２に供給される。そして、水平基準パルス生成用ドライバ５２１と垂直基準パルス生成用ドライバ５２２により撮像素子５２０の読み出し画素が選択され、選択された画素の光電変換素子に蓄積された電荷が電圧信号に変換されて、撮像素子５２０から出力される。
【００２５】
撮像素子５２０から出力された電圧信号は、相関二重サンプリング回路（ＣＤＳ）５２３でサンプリングされ、設定されたＩＳＯ感度に応じて自動ゲイン制御回路（ＡＧＣ）５２４で増幅された後、Ａ／Ｄ変換回路（Ａ／Ｄ）５０９でデジタル信号に変換される。
【００２６】
Ａ／Ｄ５０９の出力するデジタル信号（ＲＡＷ画像データ）は、画像処理部５２５に入力され、ＷＢ算出回路５２９によりホワイトバランスゲインを算出した後、メモリ制御回路５１４によって制御されるメインメモリ５１７に格納される。
【００２７】
Ａ／Ｄ５０９の出力するＲＡＷ画像データはまた、可逆圧縮（ロスレス圧縮）を行う可逆圧縮回路５１３で可逆圧縮された後、ＣＰＵバス５２８を介してメモリカード制御回路５１５へ供給され、メモリカード５１８にＲＡＷ形式の画像ファイルとして保存される。
【００２８】
また、Ａ／Ｄ５０９の出力するＲＡＷ画像データは、画像処理回路５２６にも入力され、ＲＧＢ形式からＹＣｂＣｒ形式に変換され、さらにラスタブロック変換された後、ＪＰＥＧ圧縮回路５２７でＪＰＥＧ形式に圧縮符号化される。ＪＰＥＧ圧縮回路５２７から出力されたＪＰＥＧ形式の画像データは、ＣＰＵバス５２８を介してメモリカード制御回路５１５に供給され、メモリカード５１８にＪＰＥＧ形式のファイルとして保存される。また、このＪＰＥＧ形式のファイルは、表示制御回路５１６に読み出され、そのサイズが変換されてディスプレイ５１９に画像として表示される。
ＣＰＵ５１０は内部のメモリに保持されたプログラムを実行することにより、デジタルカメラ５００全体を制御する。操作部５１１はユーザの指示をＣＰＵ５１０に伝えるためのスイッチであり、レリーズボタンや十字キーなどを含んでいる。
【００２９】
ここで、画像処理回路５２６で行わる画像処理についてさらに詳しく説明する。
図２は、画像処理回路５２６における画像処理の概要を示すブロック図である。メインメモリ５１７から入力されるＲＡＷ画像データ７００は、黒補正回路７１０に入力される。黒補正回路７１０では暗電流による黒浮きを、撮像素子５２０の遮光部（ＯＢ部）の座標領域における画像データの積算平均値から概算し、画像データから積算平均値を減算する。黒補正回路７１０で黒補正された画像データは、レンズ補正回路７２０に入力される。
【００３０】
レンズ補正回路７２０は、レンズ５０１の光学特性、具体的には、レンズ５０１で生じる周辺減光及び倍率色収差を補正する。周辺減光は周辺領域画素の信号レベルを増幅することで、倍率色収差は基準となる色に沿うように色毎に像高方向に画像の拡大縮小を行うことでそれぞれ補正することができる。
【００３１】
レンズ補正回路７２０において補正された画像データは、ホワイトバランス補正回路７３０に入力される。ホワイトバランス補正回路７３０では、予め画像処理部５２５のＷＢ算出回路５２９で算出されたホワイトバランスゲインを画像データに適用する。もしくは、予め設定されている光源（例えばデイライト、タングステン、蛍光灯等）に応じたホワイトバランスゲインを画像データに適用する。ホワイトバランス補正回路７３０でホワイトバランス補正された画像データは、色補間回路７４０で色補間される。色補間回路７４０では、撮像素子５２０に設けられたカラーフィルタの色配列に応じて、各画素において不足する色情報を補間により求める。
【００３２】
例えば、図３に示す様にＲＧＢ画素が格子状に配列されたベイヤー配列のカラーフィルタ２００を用いているとする。この場合、色補間回路７４０は、Ｒ画素についてはＧとＢの情報を、Ｇ画素についてはＲとＢの情報を、Ｂ画素についてはＲとＧの情報をそれぞれ周辺画素から補間して求める。
【００３３】
これにより、カラー画像を生成するためのＲ、Ｇ、Ｂの３プレーンが得られる。
次に、ＲＧＢの３プレーンが揃った画像データは、色調整回路７５０において、例えば、式（３）に示すような３×３のマトリクス演算等で色の最適化が行われる。
【００３４】
【００３５】
ここで、式（３）のｍ１１〜ｍ３３は最適化の係数である。
【００３６】
色調整後の画像データ（Ｒｃ，Ｇｃ，Ｂｃ）はガンマ（γ）補正回路７６０によって式（４）のようにガンマ補正される。
【００３７】
【００３８】
ガンマ変換された画像データ（Ｒγ，Ｇγ，Ｂγ）は、偽色抑圧処理や、エッジ強調処理を行なうため、ＹＣ変換回路７７０により、式（５）に示すようにＲＧＢ信号からＹＣｂＣｒという輝度成分と色差成分の信号に変換される。
【００３９】
【００４０】
式（５）のｋ１１〜ｋ３３は変換係数である。
【００４１】
ＪＰＥＧ形式の画像データを作成する場合、ＹＣｂＣｒ形式に変換された信号のうち輝度成分Ｙは、輝度処理回路７９０でエッジ強調処理される。また、色差成分ＣｂＣｒは、色処理回路７８０で偽色抑圧処理される。具体的には、色差成分ＣｂＣｒに対してメディアンフィルタを適用することにより、孤立点を除去する。エッジ強調処理及び偽色抑圧処理されたＹＣｂＣｒ形式の出力画像データＹＣ７９９は、ＪＰＥＧ圧縮回路５２７にてＪＰＥＧ形式に符号化される。
【００４２】
図４は、本発明の第１の実施形態に係る画像処理装置の一例としての情報処理装置の構成を示すブロック図である。
情報処理装置６００としては一般的なパーソナルコンピュータを用いることができる。図４において、ＣＰＵ６０９はメモリ６０３に保持されたプログラムを実行することにより、後述する画像処理を始めとする各処理を実現する。
【００４３】
ハードディスク６０４には情報処理装置６００における基本ソフト（ＯＳ）やアプリケーションプログラム等が格納されており、プログラムはハードディスク６０４からメモリ６０３に読み込まれてＣＰＵ６０９に実行される。
【００４４】
ディスプレイ６０７はＣＰＵ６０９の制御下で各種表示を行う。情報処理装置６００の利用者はキーボード６０１やマウス６０２等の入力デバイスを用いて情報処理装置６００を操作する。カードリーダ６０５はデジタルカメラ５００に着脱可能なメモリカード５１８の読み取りが可能であり、メモリカード５１８に記録されているＲＡＷ形式またはＪＰＥＧ形式の画像ファイルをメモリ６０３やハードディスク６０４に取り込むことができる。
【００４５】
以下では、上述のデジタルカメラ５００によって生成されたＲＡＷ形式の画像ファイルを、情報処理装置６００上で動作する画像処理アプリケーションでソフトウェア的に処理するものとして説明する。しかし、以下に述べる画像処理の一部又は全部をハードウェアによって実現してもよい。
【００４６】
図５は、情報処理装置６００によって実現される画像処理を、模式的に機能ブロックで表した図である。図６は図５における画像処理部８０４（情報処理装置６００が実行する画像処理アプリケーション）が実現する画像処理の流れを模式的に示した図である。
【００４７】
ＲＡＷ画像データ取得部８０１によってＲＡＷ画像ファイル８００から取得されたＲＡＷ画像データ及び、メタデータ取得部８０３で取得されたメタデータは、画像処理部８０４の黒補正処理部１１０に入力される。黒補正処理部１１０では撮像素子５２０の遮光部（ＯＢ部）の座標領域における画像データの積算平均値である黒画像データをメタデータから取得し、画像データから積算平均値を減算する。黒補正処理部１１０で黒補正された画像データは、レンズ補正処理部１２０に入力される。
【００４８】
レンズ補正処理部１２０は、ＲＡＷ画像が撮影された際に用いられたレンズ５０１の光学特性、具体的には、レンズ５０１で生じる周辺減光及び倍率色収差を補正する。
【００４９】
なお、黒補正処理部１１０及びレンズ補正処理部１２０の処理に必要な黒画像データ及びレンズ情報（あるいは補正値）は、ＲＡＷ画像ファイルのヘッダにメタデータとして添付されている。メタデータには、黒画像データやレンズ情報以外にも、撮影条件（ＩＳＯ感度、絞り、シャッタースピードなど）や、画像処理に関する情報（ホワイトバランス係数、γカーブなど）、撮像装置の固有情報（カラーフィルタの色配列情報など）が含まれている。これらメタデータは、メタデータ取得部８０３によってＲＡＷ画像ファイルから取得され、画像処理部８０４へ渡される。
【００５０】
レンズ補正処理部１２０において補正された画像データは補間処理部１４０に入力され色補間される。補間処理部１４０では、撮像素子５２０に設けられたカラーフィルタの色配列に応じて、各画素において不足する色情報を補間により求める。カラーフィルタの色配列に関する情報もまたＲＡＷ画像ファイルに含まれている。
【００５１】
例えば、図３に示す様にＲＧＢ画素が格子状に配列されたベイヤー配列のカラーフィルタを用いているとする。補間処理部１４０は、Ｒ画素についてはＧとＢの情報を、Ｇ画素についてはＲとＢの情報を、Ｂ画素についてはＲとＧの情報をそれぞれ周辺画素から補間して求める。これにより、カラー画像を生成するためのＲ、Ｇ、Ｂの３プレーンが得られ、次に、ＲＧＢの３プレーンが揃った画像データは、中間画像データ１４５として、一旦メモリ６０３に保存される。
【００５２】
ここまでの処理は、画像処理アプリケーションのユーザ８１０が指定する画像処理設定値、例えばユーザ指定ホワイトバランス設定値８０８やユーザ指定明るさ調整設定値８０７に依存せず行うことができる。ユーザ８１０が指定する画像処理設定値に依存した処理は、メモリ６０３に保存した中間画像データ１４５を元に処理を行うことで、ユーザ設定値を反映するために必要な画像処理の一部を省略できる。
【００５３】
メモリ６０３に保存した中間画像データ１４５はゲイン補正処理部１５０に入力される。ゲイン補正処理部１５０では、ホワイトバランス補正と明るさ調整処理が行われる。
【００５４】
ユーザ設定パラメータ変換部８０９は、ユーザ８１０が指定したユーザ指定ホワイトバランス設定値８０８を、ゲイン補正処理部１５０で用いるための、ＲＧＢの色毎のゲイン値（ｗｂＲ，ｗｂＧ，ｗｂＢ）に変換する。また、ユーザ設定パラメータ変換部８０９は、ユーザ８１０が指定したユーザ指定明るさ調整設定値８０７を、ゲイン補正処理部１５０で用いるための、ＲＧＢ各色に共通のゲイン値（ｂｒｉｇｈｔＧａｉｎ）にそれぞれ変換する。式（６）に示すように、ＲＧＢ色ごとのゲイン（ｇａｉｎＲ，ｇａｉｎＧ，ｇａｉｎＢ）を求める。
【００５５】
そして、このゲインを、式（７）に示すように、画像データのＲ、Ｇ、Ｂ成分にそれぞれ乗じる。
【００５６】
【００５７】
ゲイン補正処理されたＲｗｂ、Ｇｗｂ、Ｂｗｂからなる画像データは、色調整処理部１５５において、例えば、式（３）に示したような３画素×３画素のマトリクス演算等で色の最適化が行われ、Ｒｃ、Ｇｃ、Ｂｃからなる画像データが生成される。色調整後の画像データ（Ｒｃ，Ｇｃ，Ｂｃ）はγ補正処理部１６０でガンマ変換される。
【００５８】
ガンマ変換された画像データは、偽色抑圧処理や、エッジ強調処理を行なうため、ＹＣ変換処理部１７０により、式（５）に示したようにＲＧＢ信号からＹＣｂＣｒという輝度成分と色差成分の信号に変換される。
【００５９】
ＹＣｂＣｒ変換された信号のうちの輝度成分Ｙは、輝度ノイズ低減処理部１９１によってざらざらしたノイズが抑制された後、シャープネス処理部１９２でエッジ強調される。また、メディアン処理部１８１はＹＣｂＣｒ変換された信号のうちの色差成分ＣｂＣｒに対してメディアンフィルタを適用して偽色を抑圧し、さらに色ノイズ低減処理部１８２は局所的に色バランスがずれた領域を均質化する。エッジ強調処理及び偽色抑圧処理されたＹＣｂＣｒ形式の画像データはユーザ指定出力ファイル形式８０６に従って出力ファイル形式に合わせた変換処理が行われ、出力画像８０５として出力される。出力ファイル形式には例えばＪＰＥＧ形式やＴＩＦＦ形式がある。
【００６０】
ここで、上述の輝度ノイズ低減処理部１９１の処理について詳細に説明する。
図７は、輝度ノイズ低減処理部１９１における内部処理フローを示した図である。
輝度ノイズ低減処理は、画像データの輝度成分Ｙを入力画像１０とする。メディアンフィルタ処理部１１は、３×３タップのメディアンフィルタを入力画像１０の処理対象である座標（ｘ，ｙ）の画素を中心とした領域に適用し、ＲＴＳノイズや画素欠損により生じたインパルス状のノイズを除去したプレノイズ低減画像１２を作成する。あるいは、処理対象である座標（ｘ，ｙ）の画素の信号レベルｇ（ｘ，ｙ）と隣接する画素の信号レベルの差分を求め、全ての隣接する画素との差分が閾値を超えた場合に、ｇ（ｘ，ｙ）をこれら隣接する画素の信号レベルの平均値で置換するようにしてもよい。
【００６１】
エッジ特徴量算出処理部１３は、プレノイズ低減画像１２から、処理対象画素を中心とした３画素×３画素の範囲に配置された画素の信号レベルを用いて、その処理対象である座標（ｘ，ｙ）の画素を中心とした局所的なエッジ特徴量ｐ（ｘ，ｙ）を算出する。エッジ特徴量ｐ（ｘ，ｙ）を求める領域は、ここでは処理対象画素を中心とした３画素×３画素の範囲としたが、画像の大きさやノイズ低減の程度の応じて５画素×５画素や、７画素×７画素など、領域の広さを変更してもよい。ただし、この領域の広さに沿うように、メディアンフィルタのタップ数や、後述するノイズの分散値および局所的な信号レベルの分散値を求める領域の広さも変更する必要がある。エッジ特徴量ｐ（ｘ，ｙ）はエッジの程度を表す０から１の値であり、エッジの程度が高いほど大きな値を有する。あらかじめメディアンフィルタによってインパルス状のノイズを抑制した画像からエッジ特徴量ｐ（ｘ，ｙ）を算出することにより、インパルス状のノイズをエッジ領域と判断されやすくなる問題を回避することができる。
【００６２】
エッジ特徴量算出処理部１３では背景技術で述べたＬｅｅの方法と同様の式（２）を用い、処理対象画素ごとにエッジ特徴量ｐを算出する。ここで、Ｌｅｅの方法では、座標（ｘ，ｙ）を中心としたエッジ特徴量ｐ（ｘ，ｙ）の算出と、座標（ｘ，ｙ）の画素を中心とした局所的な領域の平均値Ｅ（ｇ（ｘ，ｙ））の算出を、いずれもメディアンフィルタを施していない元の画像に対して行っている。これに対し、本実施形態では、エッジ特徴量算出処理部１３では、ＲＴＳノイズや画素欠損により生じたインパルス状のノイズを除去したプレノイズ低減画像１２を用い、局所平均値算出処理部１４ではプレノイズ低減画像１２ではなく元の入力画像１０を用いる。
【００６３】
本実施形態におけるエッジ特徴量ｐ（ｘ，ｙ）の算出は、プレノイズ低減後の画像の座標（ｘ，ｙ）に位置する画素の信号レベルｕ（ｘ，ｙ）を用いて式（８）のように表すことができる。
【００６４】
【００６５】
式（８）でσ２n（ｘ，ｙ）はプレノイズ低減画像の座標（ｘ，ｙ）の画素を中心とした局所的な領域における画素の信号レベルに含まれるノイズの分散値である。σ２ｕ（ｘ，ｙ）はプレノイズ低減画像の座標（ｘ，ｙ）の画素を中心とした局所的な領域における画素の信号レベルの分散値である。ノイズの分散値σ２n（ｘ，ｙ）はカメラ機種、ＩＳＯ感度、輝度レベルに依存した値であり、あらかじめ測定して用意した値を用いることができる。また、ノイズの分散値σ２n（ｘ，ｙ）は座標（ｘ，ｙ）に依存せず、ＩＳＯ感度、輝度レベルにのみ依存した値としてもよい。
【００６６】
図８は、複数のＩＳＯ感度について、あらかじめプレノイズ低減画像１２から画像の平坦部において測定した輝度レベルのノイズ標準偏差（ノイズの分散値を１／２乗した値）の例を示している。このように、ＩＳＯ感度に応じてノイズの分散値を変更する。
【００６７】
プレノイズ低減画像の局所的な分散値σ２ｕ（ｘ，ｙ）は、式（９）で表される、座標（ｘ，ｙ）の画素を中心とした５画素×５画素の局所的な領域における画素の信号レベルの分散値である。また、式（９）におけるｍ（ｘ，ｙ）は、座標（ｘ，ｙ）の画素を中心とした５画素×５画素の局所的な領域における画素の信号レベルの平均値であり、式（１０）のように表すことができる。
【００６８】
【００６９】
図９は画像のエッジ部分における信号レベルの変化をシミュレートした例を示す図であり、想定したエッジに対してガウス状のノイズとインパルス状のノイズを付加している。インパルス状のノイズは、ｘ座標で２０，３０，４０，９０，１５０，及び１９０付近に見られる。
【００７０】
図１０は、図９に示すエッジ部分の画像に対してエッジ特徴量ｐを計算した結果を示す図である。
エッジ特徴量ｐ（ｘ，ｙ）の算出と局所的な平均値Ｅ（ｇ（ｘ，ｙ））の算出をいずれもメディアンフィルタを施していない元の画像に対して行うＬｅｅの方法では、インパルス状のノイズ部分で特徴量ｐ（ｘ，ｙ）の値が１に近づいていることが図１０からわかる。式（１）から、特徴量ｐが１に近い場合には、元の信号レベル、つまりこの場合はノイズを発生させている信号レベルがほぼそのままノイズ除去後の信号レベルとなることがわかる。これに対し、エッジ特徴量をプレノイズ低減画像（メディアン値）から求める本実施形態の方法では、インパルス状のノイズ部分における特徴量ｐ（ｘ，ｙ）は０の値に近く、インパルスノイズを軽減することが可能であることが分かる。
【００７１】
図７の局所平均値算出処理部１４では、入力画像１０から、式（１１）に示すように座標（ｘ，ｙ）の画素を中心とした５画素×５画素の画素の信号レベルの平均値ａｖｅ２５を算出する。また、局所平均値算出処理部１４は、式（１２）に示すように座標（ｘ，ｙ）の画素を中心とした３画素×３画素の画素の信号レベルの平均値ａｖｅ９を算出する。
【００７２】
【００７３】
図７の加重平均処理部１５では、エッジ特徴量算出処理部１３で得たエッジ特徴量ｐ（ｘ，ｙ）の値に応じて、入力画像１０の座標（ｘ，ｙ）の画素を中心とした局所的な平均値Ｅ（ｇ（ｘ，ｙ））と、入力画像１０の座標（ｘ，ｙ）の画素の信号レベルｇ（ｘ，ｙ）を加重加算する。そして得られた値ｒ（ｘ，ｙ）をノイズ低減後の出力画像１６の信号レベルとする。
【００７４】
具体的には、加重平均処理部１５はまず、入力画像１０の座標（ｘ，ｙ）の画素を中心とした局所的な平均値Ｅ（ｇ（ｘ，ｙ））を、式（１３）に従って求める。
【００７５】
【００７６】
式（１３）において、ｆ（ｐ（ｘ，ｙ））はエッジ特徴量ｐ（ｘ，ｙ）の関数である。そして、エッジ特徴量ｐ（ｘ，ｙ）が大きいほどタップ数の小さな平均値であるａｖｅ９の重みが大きく、逆にエッジ特徴量ｐ（ｘ，ｙ）が小さいほどタップ数の大きな平均値であるａｖｅ２５の重みが大きくなるようにする。
【００７７】
このような重み付けは、ｆ（ｐ（ｘ，ｙ））を例えば式（１４）のように計算することにより実現することができる。
【００７８】
【００７９】
次に、加重平均処理部１５は、座標（ｘ，ｙ）の画素のノイズ低減後の信号レベルｒ（ｘ，ｙ）を、エッジ特徴量ｐ（ｘ，ｙ）を用いて、式（１５）に従って求める。
【００８０】
【００８１】
式（１５）から明らかなように、座標（ｘ，ｙ）の画素のノイズ低減後の出力画像１６の信号レベルｒ（ｘ，ｙ）は、エッジ特徴量ｐ（ｘ，ｙ）が大きければ、すなわち、エッジ部分である可能性の高い位置の画素ならば、元の信号レベルｇ（ｘ，ｙ）に近い値となる。反対に座標（ｘ，ｙ）の画素のノイズ低減後の信号レベルｒは、エッジ特徴量ｐ（ｘ，ｙ）が小さければ、すなわち平坦部である可能性の高い位置の画素であれば、局所的な平均値Ｅ（ｇ（ｘ，ｙ））に近い値となる。
【００８２】
図１１は、エッジ特徴量ｐ（ｘ，ｙ）の値と、ノイズ低減後の信号レベルｒ（ｘ，ｙ）に寄与する各信号レベル（元の信号レベルｇ（ｘ，ｙ）、９画素平均値ａｖｅ９、２５画素平均値ａｖｅ２５）の割合の関係を示す図である。
【００８３】
図１１から、式（１３）及び式（１４）のような加重加算した場合、エッジ特徴量ｐ（ｘ，ｙ）が０から０．１付近までの、より平坦部に近い領域では２５画素の平均値ａｖｅ２５の寄与が支配的であり、信号レベルを平坦化している様子がわかる。
【００８４】
以上説明したように、本実施形態では、処理対象となる画素の元の信号レベルと、その画素を中心とした局所的な領域の信号レベルの平均値とを、画像のエッジ特徴量に応じて加重加算して画像のノイズを低減している。エッジ特徴量の算出には、インパルス状のノイズを除去した画像を用いているのに対して、局所的な平均値の算出にはインパルス状のノイズを除去する前の元の画像を用いる。これにより、画像全体に存在するノイズのみならず、画素の微細化などに伴って画像に生じるインパルス状のノイズについても、画像の高周波成分の損失を抑制しながら効率的に低減することができる。
【００８５】
なお、ノイズ低減後の信号レベルｒ（ｘ，ｙ）を求める際に、元の信号レベルｇ（ｘ，ｙ）と局所的な平均値Ｅ（ｇ（ｘ，ｙ））を加重加算したが、これに限られるものではない。座標（ｘ，ｙ）の処理対象画素を中心とした局所的な平均値Ｅ（ｇ（ｘ，ｙ））に代えて、座標（ｘ，ｙ）の処理対象画素の信号レベルと、その周囲の画素の信号レベルを重み付け加算することで、処理対象画素の信号レベルを平滑化した値を用いてもよい。すなわち、元の信号レベルｇ（ｘ，ｙ）に対して平滑化が施されることで、元の信号レベルｇ（ｘ，ｙ）よりも高周波成分が抑制された信号レベルであれば、平均値Ｅ（ｇ（ｘ，ｙ））に限らず、ノイズ低減後の信号レベルｒ（ｘ，ｙ）の算出に用いることができる。
【００８６】
（第２の実施形態）
次に本発明の第２の実施形態について説明する。
本実施形態は、第１の実施形態で説明した輝度ノイズ低減処理を、多重解像度処理に適用するものである。本実施形態においても、第１の実施形態と同様、輝度ノイズ低減処理は情報処理装置６００のＣＰＵ６０９が画像処理アプリケーションを実行することにより実現されるものとする。本実施形態では、図６に示した輝度ノイズ低減処理部１９１の処理内容のみが第１の実施形態と異なるため、以下では輝度ノイズ低減処理部１９１の処理内容のみを説明する。
【００８７】
図１２は、本実施形態に係る輝度ノイズ低減処理部の処理内容及び流れを示す図である。
輝度ノイズ低減処理部１９１は、ＹＣ変換処理部１７０が出力する輝度画像データを入力画像２０とし、メディアンフィルタ処理３１によりＲＴＳノイズや画素欠損により生じたインパルス状のノイズを除去したプレノイズ低減画像２１を作成する。第１の実施形態で説明したように、隣接する画素との差分が閾値以上である場合に、処理対象画素の信号レベルを、その画素に隣接する画素の信号レベルから求めた値に置換するようにしてもよい。
【００８８】
次に縮小画像生成手段であるピラミッド画像作成処理３２によってまず、入力画像２０に、図１３に示したような空間ローパスフィルタを施したのち、水平１／２、垂直１／２画素にサブサンプリングして、面積が１／４の縮小画像２２を作成する。さらにピラミッド画像作成処理３２により、縮小画像２２をさらに水平１／２、垂直１／２画素にサブサンプリングし、面積１／１６の縮小画像２４を作成する。
【００８９】
また、ピラミッド画像作成処理３２では、メディアンフィルタ処理３１で生成されたプレノイズ低減画像２１に対しても同様のサブサンプリングを適用し、プレノイズ低減画像の面積１／４の縮小画像２３、面積１／１６の縮小画像２５を作成する。
【００９０】
ピラミッド画像作成処理３２によって縮小画像２２〜２５を作成したら、適用平均値算出処理３３において、入力画像２０を用いて２種類の平均値ａｖｅ９及びａｖｅ２５を式（１１）、式（１２）から求める。
また、並行してエッジ特徴量算出処理３４において、プレノイズ低減画像２１に対して式（８）に基づく座標（ｘ，ｙ）の画素のエッジ特徴量ｐ（ｘ，ｙ）を算出する。
【００９１】
その後、第１適応的ＮＲ（ノイズリダクション）処理３５において、式（１３）、式（１４）、及び式（１５）を用い、非縮小画像に対するノイズ低減後の座標（ｘ，ｙ）の画素の信号レベルｒ（ｘ，ｙ）を計算する。次に判定処理３６において、エッジ特徴量算出処理３４にて得られたプレノイズ低減画像２１の座標（ｘ，ｙ）の画素における局所的な分散値σ２ｕ（ｘ，ｙ）と、プレノイズ低減画像２１の１／４縮小画像２３のノイズの分散値σ２n４（ｘ，ｙ）を比較する。１／４縮小画像２３におけるノイズの分散値は、図８に示したように、あらかじめＩＳＯ感度毎に測定した値を用いることができる。ノイズの分散値σ２n４（ｘ，ｙ）は座標（ｘ，ｙ）に依存せず、ＩＳＯ感度にのみ依存した値としてもよい。
【００９２】
輝度ノイズ低減処理部１９１は、プレノイズ低減画像２１の局所的な分散値σ２ｕ（ｘ，ｙ）が閾値σ２n４（ｘ，ｙ）以上である場合には、座標（ｘ，ｙ）はエッジ部である可能性が高いと判断する。この場合、輝度ノイズ低減処理部１９１は１／４縮小画像での処理を行わず、直ちに混合処理４４を行う。一方、プレノイズ低減画像２１の局所的な分散値σ２ｕ（ｘ，ｙ）が閾値σ２n４（ｘ，ｙ）より小さい場合には、座標（ｘ，ｙ）は平坦部である可能性が高いと判断する。これは、そのプレノイズ低減画像２１の局所的な領域の信号レベルは、入力画像２０の１／４縮小画像２２で残存する周波数のノイズ成分が占める割合が大きいと考えられるためである。この場合、輝度ノイズ低減処理部１９１は入力画像２０の１／４縮小画像２２を用いた適用平均値算出処理３７と、プレノイズ低減画像２１の１／４縮小画像２３を用いたエッジ特徴量算出処理３８を行う。
【００９３】
適用平均値算出処理３７において、入力画像２０の１／４縮小画像２２を用いて２種類の平均値ａｖｅ９及びａｖｅ２５を式（１１）、式（１２）から求める。
また、並行してエッジ特徴量算出処理３８において、プレノイズ低減画像２１の１／４縮小画像２３に対して式（８）に基づくエッジ特徴量ｐ（ｘ，ｙ）を算出する。
【００９４】
その後、第２適応的ＮＲ処理３９において、式（１３）、式（１４）、及び式（１５）を用い、１／４縮小画像２２に対するノイズ低減後の信号レベルｒ（ｘ，ｙ）を計算する。第２適応的ＮＲ処理３９においては、式（１５）中の元の信号レベルｇ（ｘ，ｙ）に代えて、入力画像２０のノイズ低減後の信号レベルｒ（ｘ，ｙ）（第１適応的ＮＲ処理３５の処理結果）を用いる。
【００９５】
次に判定処理４０において、エッジ特徴量算出処理３８にて得られたプレノイズ低減画像２１の１／４縮小画像２３の座標（ｘ，ｙ）の画素における局所的な分散値σ２ｕ４（ｘ，ｙ）と、プレノイズ低減画像２１の１／１６縮小画像２５のノイズの分散値σ２n１６（ｘ，ｙ）を比較する。１／１６縮小画像２５におけるノイズの分散値は、図８に示したように、あらかじめＩＳＯ感度毎に測定した値を用いることができる。ノイズの分散値σ２n１６（ｘ，ｙ）は座標（ｘ，ｙ）には依存せず、ＩＳＯ感度にのみ依存した値としてもよい。
【００９６】
プレノイズ低減画像２１の１／４縮小画像２３の局所的な分散値σ２ｕ４（ｘ，ｙ）が閾値σ２n１６（ｘ，ｙ）以上である場合には、座標（ｘ，ｙ）はエッジ部である可能性が高いと判断する。この場合、輝度ノイズ低減処理部１９１は１／４縮小画像での処理を行わず、混合処理４４を行う。一方、プレノイズ低減画像２１の１／４縮小画像２３の局所的な分散値σ２ｕ４（ｘ，ｙ）が閾値σ２n１６（ｘ，ｙ） より小さい場合には、座標（ｘ，ｙ）は平坦部である可能性が高いと判断する。これは、そのプレノイズ低減画像２１の１／４縮小画像２３の局所的な領域の信号レベルは、入力画像２０の１／１６縮小画像２４で残存する周波数のノイズ成分が占める割合が大きいと考えられるためである。この場合、輝度ノイズ低減処理部１９１は入力画像２０の１／１６縮小画像２４を用いた適用平均値算出処理４１と、プレノイズ低減画像２１の１／１６縮小画像２５を用いたエッジ特徴量算出処理４２を行う。
【００９７】
適用平均値算出処理４１では、入力画像２０の１／１６縮小画像２４を用いて２種類の平均値ａｖｅ９及びａｖｅ２５を式（１１）、式（１２）から求める。
また、並行してエッジ特徴量算出処理４２において、プレノイズ低減画像２１の１／１６縮小画像２５に対して式（８）に基づくエッジ特徴量ｐ（ｘ，ｙ）を算出する。
【００９８】
その後、第３適応的ＮＲ処理４３において、式（１３）、式（１４）、及び式（１５）を用い、１／１６縮小画像２４に対するノイズ低減後の信号レベルｒ（ｘ，ｙ）を計算する。第３適応的ＮＲ処理４３においては、式（１５）中の元の信号レベルｇ（ｘ，ｙ）に代えて、１／４縮小画像２３のノイズ低減後の信号レベルｒ（ｘ，ｙ）（第２適応的ＮＲ処理３９の処理結果）を用いる。
【００９９】
混合処理４４では、式（１６）に示すように、入力画像２０の信号レベルｇ（ｘ，ｙ）と、第１適応的ＮＲ処理３５、第２適応的ＮＲ処理３９、及び第３適応的ＮＲ処理４３のいずれかで得られたノイズ低減画像ｒ（ｘ，ｙ）とを、ＩＳＯ感度に応じて加重平均する。これにより、最終的なノイズ低減後の出力画像２６の信号レベルnｒ（ｘ，ｙ）を得る。
【０１００】
式（１７）において、Ｍｍａｘは所定の係数であり、例えば０．７が設定される。
【０１０１】
これら式（１６）、（１７）によれば、画像のＩＳＯ感度が高いほどｉｐ（ｉｓｏ）の値が小さくなり、ノイズ低減後の出力画像の信号レベルｒ（ｘ，ｙ）に対する入力画像２０の信号レベルｇ（ｘ，ｙ）が小さくなる。すなわち、ＩＳＯ感度が高くなり、ノイズの信号レベルに対する増幅率が大きくなるほど、ノイズ低減後の出力画像の信号レベルｒ（ｘ，ｙ）の重み付けを大きくしている。そのため、ノイズ低減後の出力画像の信号レベルｒ（ｘ，ｙ）のみを用いた場合に平坦部でノイズ除去強度が強すぎるために生じる、ディテール（画像の高周波成分）の消失を抑制することができる。
なお、最終的に得ようとする画像がサイズを小さくした縮小画像である場合には、処理時間を要する等倍画像での処理（３３〜３６）を行わず、１／４縮小画像２２，２３を用いた処理（３７，３８）から行ってもよい。
また、混合処理４４を省略し、適応的ＮＲ処理３５、３９および４３の各々で式（１５）、（１６）に代えて式（１８）を用いることで、最終的なノイズ低減後の出力画像２６の信号レベルｎｒ（ｘ，ｙ）を求めるようにしてもよい。
【０１０２】
【０１０３】
この式（１８）によれば、エッジ特徴量ｐ（ｘ，ｙ）が大きいほど、あるいは、ＩＳＯ感度が小さいほど、局所的な平均値Ｅ（ｇ（ｘ，ｙ））に対するもとの信号レベルｇ（ｘ，ｙ）の比率が大きくなり、画像の高周波成分が保持されやすくなる。反対に、エッジ特徴量ｐが小さいほど、あるいは、ＩＳＯ感度が大きいほど、もとの信号レベルｇ（ｘ，ｙ）に対する局所的な平均値Ｅ（ｇ（ｘ，ｙ））の比率が大きくなり、ノイズ成分が抑制されやすくなる。
【０１０４】
なお、本実施形態の変形例として、プレノイズ低減画像２１からは縮小画像を生成せず、エッジ特徴量ｐの算出は縮小しないプレノイズ低減画像２１からのみ行うようにしても良い。この場合の輝度ノイズ低減処理部の処理内容及び流れを図１４に示す。
【０１０５】
図１４において、図１２と同じ構成には同じ参照数字を付し、重複する説明は省略する。
図１４と図１２との比較から明らかなように、ピラミッド画像作成処理３２では入力画像２０に対してのみ１／４縮小画像２２と１／１６縮小画像２４を生成し、プレノイズ低減画像２１については縮小画像を生成しない。
【０１０６】
そして、判定処理３６においては、入力画像２０の１／４縮小画像２２におけるノイズの分散値σ２n４（ｘ，ｙ）と、入力画像２０の座標（ｘ，ｙ）における局所的な分散値σ２ｇ（ｘ，ｙ）を比較する。
【０１０７】
輝度ノイズ低減処理部１９１は、入力画像２０の座標（ｘ，ｙ）における局所的な分散値σ２ｇ（ｘ，ｙ）が閾値σ２n４（ｘ，ｙ）以上である場合には、座標（ｘ，ｙ）はエッジ部である可能性が高いと判断する。この場合、輝度ノイズ低減処理部１９１は１／４縮小画像での処理を行わず、直ちに混合処理４４を行う。一方、入力画像２０の座標（ｘ，ｙ）における局所的な分散値σ２ｇ（ｘ，ｙ）が閾値σ２n４（ｘ，ｙ）より小さい場合には、座標（ｘ，ｙ）は平坦部である可能性が高いと判断する。入力画像２０の局所的な分散値σ２ｇ（ｘ，ｙ）が閾値σ２n４（ｘ，ｙ）より小さいということは、その入力画像２０の局所的な領域の信号レベルは、入力画像２０の１／４縮小画像２２で残存する周波数のノイズ成分が占める割合が大きいと考えられるためである。この場合、輝度ノイズ低減処理部１９１は入力画像２０の１／４縮小画像２２を用いた適用平均値算出処理３７を行う。
【０１０８】
判定処理４０においては、入力画像２０の１／１６縮小画像２４におけるノイズの分散値σ２n１６（ｘ，ｙ）と、入力画像２０の１／４縮小画像２２の座標（ｘ，ｙ）における局所的な分散値σ２ｇ４（ｘ，ｙ）を比較する。
【０１０９】
輝度ノイズ低減処理部１９１は、入力画像２０の１／４縮小画像２２の座標（ｘ，ｙ）における局所的な分散値σ２ｇ４（ｘ，ｙ）が閾値σ２n１６（ｘ，ｙ）以上である場合には、座標（ｘ，ｙ）はエッジ部である可能性が高いと判断する。この場合、輝度ノイズ低減処理部１９１は１／１６縮小画像での処理を行わず、混合処理４４を行う。一方、入力画像２０の１／４縮小画像２２の座標（ｘ，ｙ）における局所的な分散値σ２ｇ４（ｘ，ｙ）が閾値σ２n１６（ｘ，ｙ）より小さい場合には、座標（ｘ，ｙ）は平坦部である可能性が高いと判断する。これは、その入力画像２０の１／４縮小画像２２の局所的な領域の信号レベルは、入力画像２０の１／１６縮小画像２４で残存する周波数のノイズ成分が占める割合が大きいと考えられるためである。この場合、輝度ノイズ低減処理部１９１は入力画像２０の１／１６縮小画像２４を用いた適用平均値算出処理４１を行う。
【０１１０】
これらのノイズの分散値は、図８に示したように、あらかじめＩＳＯ感度毎に測定した値を用いることができる。また、入力画像２０および１／４縮小画像２２の座標（ｘ，ｙ）における局所的な分散値σ２ｇ（ｘ，ｙ）、σ２ｇ４（ｘ，ｙ）は、プレノイズ低減画像の局所的な分散値σ２ｕ（ｘ，ｙ）と同様に式（９）、（１０）を用いて求めることができる。
【０１１１】
また、縮小画像に対する適応的ＮＲ処理４（３９）、適応的ＮＲ処理１６（４３）で用いる特徴量ｐは、エッジ特徴量算出処理３４がプレノイズ低減画像２１に対して求めた特徴量ｐの中の、対応する画素における値を利用する。
【０１１２】
このように構成することで、低解像度の縮小画像を生成するための処理や、縮小画像に対してエッジ特徴量を求めるための処理に必要な負荷を無くすことができる。そのため、処理時間の短縮が可能になる。
【０１１３】
なお、適用平均値処理３３、３７および４１は、画像処理部５２５内部の１つの適用平均値処理回路に実行させることが可能である。同様に、エッジ特徴量算出処理３４、３８および４２は、画像処理部５２５内部の１つのエッジ特徴量算出処理回路に実行させることが可能である。同様に、第１適応的ＮＲ処理３５、第２適応的ＮＲ処理３９および第３適応的ＮＲ処理４３は、画像処理部５２５内部の１つの適応的ＮＲ処理回路に実行させることが可能である。さらに、判定処理３６および４０は、画像処理部５２５内部の１つの判定処理回路に実行させることが可能である。
【０１１４】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
図６を用いて説明した、画像処理部８０４（情報処理装置６００が実行する画像処理アプリケーション）が実現する画像処理の流れにおいて、色補間処理部１４０と、輝度ノイズ低減処理部１９１の処理は比較的長い処理時間を要する。そのため、ユーザビリティの観点から、図６のような画像処理の流れの中でも、できるだけ初めに行うことが好ましい。
【０１１５】
また一般に、ある特定の画像劣化原因に対する補正処理を、複数の画像劣化要因に対して順次実行する場合、画像劣化原因の発生順に対して逆順に補正処理を適用したり、補正すべき画像劣化原因以外については影響を与えたりしないようにすることが好ましい。
【０１１６】
例えば画像ノイズの原因は、撮像素子における光電変換過程、アナログ信号の転送、およびアナログ信号の増幅の過程にあり、レンズ補正処理部１２０が補正対象とする、レンズ５０１が原因の周辺減光や収差とは無関係である。しかし、画像中のノイズ特性は、周辺減光補正処理の影響を受けて変化する。そのため、周辺減光補正処理をノイズ低減処理の前に行った場合、上述のノイズの分散値に基づくノイズ低減処理において、周辺減光補正された画像の周辺部のノイズをエッジ領域と判断してしまうおそれがある。その場合、実際にはノイズが多いにもかかわらず、ノイズ低減処理の効果が弱くなる。従って、ノイズ低減処理はノイズ特性に影響を与える他の補正処理よりも先に行うことがより好ましいと考えられる。
【０１１７】
そのため、本実施形態では図１５に示すように、ノイズ低減処理部１０５をレンズ補正処理部１２０よりも前に配置し、ノイズ低減処理をレンズ補正処理より先に実行するようにしている。
【０１１８】
図１５のノイズ低減処理部１０５は、撮像素子が備えるカラーフィルタの構成に応じて、同一色の画素で構成される画像毎に第１の実施形態で説明した輝度ノイズ低減処理を適用する。例えばベイヤー配列のカラーフィルタを備えた撮像素子を用いる場合、図１６に示すようにＲ，Ｇ１，Ｇ２，Ｂの画素配列の同種の画素から構成される４つの画像（２０１，２０２，２０３，２０４）に上述した輝度ノイズ低減処理を適用することができる。あるいは、図１７に示すように、緑画素についてはＧ１画素とＧ２画素を区別せずに３つの画像（２０１，２０５，２０４）に上述した輝度ノイズ低減処理を適用してもよい。なお、図１７の場合、Ｇ１画素とＧ２画素との間の画素（ＩｔｐＧ）は、周辺画素から補間により生成する。
【０１１９】
このように、本実施形態では、ノイズ低減処理をノイズ特性に影響を与える他の補正処理よりも前に行うことで、より効果的なノイズ低減が期待できる。
【０１２０】
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。
これまで、本発明を、デジタルカメラで撮影したＲＡＷ画像データを取り扱う画像処理アプリケーションに適用した例を説明してきた。ＲＡＷ形式での記録が可能なデジタルカメラでは、他の形式、代表的にはＪＰＥＧ形式でも並行して記録可能なものがある。あるいは、ＲＡＷ画像ファイルを生成する際、プレビュー用の画像として、ヘッダ部分にＪＰＥＧ形式の画像データを埋め込む場合もある。
【０１２１】
このように、同一の画像についてＲＡＷ形式と他の形式（ここではＪＰＥＧ形式とする）の画像データが存在する場合、画像処理アプリケーションでそれらが同様に処理されることが期待される場合がある。この場合、例えばどちらの形式の画像に対しても同じノイズ低減効果を得たい場合、同じノイズ低減処理を適用することが好ましい。
【０１２２】
より厳密には、ノイズ低減処理の手法が同じであるだけでなく、第３の実施形態で説明した理由により、複数の画像処理手順におけるどの位置でノイズ低減処理を行うかも同じであることが望ましい。
【０１２３】
例えば図６、図１８、図１９に示すような段階で第１の実施形態または第２の実施形態で説明したノイズ低減処理を行うことが考えられる。図６は、第１の実施形態で説明したようにＲＡＷ画像データに対してノイズ低減処理を行う場合の処理フローである。また、図１８はＴＩＦＦ形式の画像データ（ＲＧＢ画像）に対して、図１９はＪＰＥＧ形式の画像データ（ＹＣ画像）に対してノイズ低減処理を行う際の手順の例である。ノイズ低減処理はいずれも輝度データに対して適用する。
【０１２４】
図１８において、入力画像３００（ＴＩＦＦ形式の画像データ）は信号レベルをＲＧＢで表しているため、ＲＧＢ／ＹＣ変換処理部３１０において、輝度成分と色差成分とに変換する。そして、輝度成分に対して輝度処理及びノイズ低減処理部３３０でエッジ強調処理及び上述の輝度ノイズ低減処理を適用する。また、色処理部３２０では色差成分に対して偽色抑圧処理を行う。そして、ＹＣ／ＲＧＢ変換処理部３４０で、再度ＲＧＢ成分への変換を行い、ノイズ低減処理後のＴＩＦＦ形式の画像データを出力画像３５０として出力する。
【０１２５】
図１９では、入力画像３６０（ＪＰＥＧ形式の画像データ）は既に輝度成分と色差成分とに分離されている。そのため、直ちに色処理部３２０及び輝度処理及びノイズ低減処理部３３０での処理を行い、ノイズ低減処理後のＪＰＥＧ形式の画像データを出力画像３７０として出力する。なお、図１９に記載していないが、実際には入力画像の復号化及び、ノイズ低減処理後の再符号化が行われる。
【０１２６】
この際に用いるノイズの分散値はセンサのノイズ特性が撮影条件（例えばＩＳＯ感度）と画像処理内容（例えばホワイトバランスゲイン、ガンマカーブ）に依存して以下の式（１９）のように変化する。画像ファイルのヘッダに含まれるメタデータなどから撮影条件や画像処理内容が得られる場合、ノイズ低減処理が行われるまでにどのような画像処理が行われたかに応じてノイズの特徴である分散値を決定する。
【０１２７】
式（１９）は図６のようにゲイン補正処理部１５０でのゲイン補正後にγ補正処理部１６０でγ補正を行った画像に対して上述の輝度ノイズ低減処理を適用する場合の、ノイズの分散値（標準偏差σn２（ｘ，ｙ））を得る場合の計算例である。
【０１２８】
式（１９）ではＲＡＷ画像データ入力時のノイズの標準偏差σn（ｘ，ｙ）にホワイトバランスゲインと明るさ調整ゲインを乗算した値（ｇａｉｎ）を掛けた後、ガンマカーブ（γ）を適用した値σn２（ｘ，ｙ）を計算している。
【０１２９】
【０１３０】
ノイズの分散は、式（１９）で得られる標準偏差σn２（ｘ，ｙ）を二乗した値を用いればよい。
【０１３１】
このように、本実施形態によれば、異なる形式の画像データに対して同一のノイズ低減処理を適用するので、同じ画像でデータ形式の異なる画像データに対し、同様のノイズ低減処理結果を得ることができる。
【０１３２】
（第５の実施形態）
次に、本発明の第５の実施形態について説明する。
第４の実施形態では、画像ファイルのヘッダに含まれるメタデータから撮像条件、画像処理内容の情報を取得して、それら情報に応じたノイズ分散値を用いてノイズ低減処理を行うものであった。
【０１３３】
しかし、このような情報が必ず画像ファイルから取得できるとは限らない。撮影条件や画像処理内容が不明なＪＰＥＧ画像やＴＩＦＦ画像に対してノイズ低減処理を行う場合、画像に含まれるノイズ特性をあらかじめ推定することは困難である。そのため、本実施形態においては、画像データそのものからノイズ特性を推定する。
【０１３４】
デジタルカメラの出力画像におけるノイズ特性はグレー階調値に依存することを利用し、グレーの平坦部分を画像中から探索し、グレー平坦部におけるＲＧＢ毎の階調値と標準偏差を得ることでノイズ特性を推定することができる。
【０１３５】
図２０は、本実施形態における画像処理部８０４が行うノイズ特性推定処理の内容を説明するフローチャートである。
まず、Ｓ４００で画像処理部８０４は、入力画像から縮小画像を生成する。これは、細かなテクスチャーやインパルスノイズによる影響を避けて高速に平坦部を得るためである。なお、入力画像はプレノイズ低減画像であってもよい。
【０１３６】
そして、画像処理部８０４は、縮小画像からグレー平坦部を探索し（Ｓ４１０）、探索したグレー平坦部から、推定ノイズ特性としてノイズの標準偏差σn（ｘ，ｙ）を求める（Ｓ４２０）。例えば、図２１に示すような関係を利用して、グレー平坦部のＲＧＢ階調値から、ＲＧＢ毎のノイズの標準偏差を求める。画像処理部８０４はノイズの標準偏差σn（ｘ，ｙ）からノイズ分散値を求め、このノイズ分散値を、輝度ノイズ低減処理部１９１でＲ画像、Ｇ画像及びＢ画像に対する輝度ノイズ低減処理で用いる。
【０１３７】
この際、標準偏差は縮小画像から求めているため、縮小前の画像から求めた場合よりも小さい値となる。従って、Ｓ４００における縮小画像の生成に用いるローパスフィルタの特性と標準偏差の変化の関係を考慮して、標準偏差からノイズの分散値を求める。そのためには、予め、縮小画像の生成に用いるローパスフィルタに対してノイズの分散値がどのように変化するかを実測で調べておけばよい。あるいは、ノイズの空間周波数特性を仮定し、ローパスフィルタによるノイズの変化をローパスフィルタの周波数応答によって推定しておけばよい。
【０１３８】
図２２は、図２０のＳ４１０で行うグレー平坦部探索処理の詳細を説明するフローチャートである。
画像処理部８０４は、例えば７ｘ７タップのカーネル内で、ＲＧＢ各色の平均値を算出する（Ｓ４１１、Ｓ４１２）。そして、画像処理部８０４は、求めた平均値の分散値（または標準偏差）および尖度を算出し（Ｓ４１３）、ＲＧＢの平均値が所定の範囲内にあり、かつ尖度が所定の範囲内にある場合、そのカーネル（領域）がグレー平坦部であると判断する。分散値や尖度を求めるための演算には時間を要するため、ノイズ推定に必要な階調域の情報が得られない領域については演算を行わないようにすることが望ましい。
【０１３９】
このように、本実施形態によれば、画像からノイズ特定を推定することにより、ノイズ推定に必要な情報が画像ファイルのメタデータ（属性情報）から得られない場合でも、適切なノイズ低減処理を実行することができる。
【０１４０】
（他の実施形態）
上述の実施形態においては、情報処理装置において本発明のノイズ低減処理を実行するものとして説明したが、撮像装置において同様のノイズ低減処理を適用することも可能である。この場合、図２における輝度処理回路で実行することができる。
【０１４１】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
入力画像のインパルスノイズを低減したプレノイズ低減画像を生成するノイズ低減手段と、
前記入力画像の、処理対象画素を含む局所的な領域の複数の画素の信号レベルを平滑化した値を算出する平滑化手段と、
前記プレノイズ低減画像を用いて、前記処理対象画素のエッジの程度を示す特徴量を算出する特徴量算出手段と、
前記特徴量に応じた割合で、前記処理対象画素の信号レベルと前記平滑化した値とを加重加算し、加重加算の結果を前記入力画像のノイズ低減処理後の信号レベルとして出力する加算手段とを有し、
前記加算手段は、エッジの程度が高いことを示す特徴量を有する画素ほど、前記平滑化した値の割合が小さくなるように加重加算することを特徴とする画像処理装置。
【請求項２】
前記特徴量算出手段は、前記プレノイズ低減画像の前記処理対象画素を含む局所的な領域の複数の画素の信号レベルの分散値と、前記プレノイズ低減画像のノイズの分散値を用いて前記特徴量を算出するものであり、
前記のノイズの分散値に対する前記信号レベルの分散値の割合が大きくなるほど、前記特徴量が示すエッジの程度が高くなることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記入力画像の縮小画像を生成する縮小画像生成手段と、
前記加算手段から出力された複数の信号レベルの中からいずれかを選択する選択手段をさらに有し、
前記ノイズ低減手段は、前記縮小画像のインパルスノイズを低減したプレノイズ低減画像を生成し、
前記平滑化手段は、前記縮小画像の処理対象画素を含む局所的な領域の複数の画素の信号レベルを平滑化した値を算出し、
前記特徴量算出手段は、前記縮小画像のプレノイズ低減画像を用いて、前記処理対象画素のエッジの程度を示す特徴量を算出し、
前記加算手段は、前記縮小画像のプレノイズ低減画像を用いて算出した前記特徴量に応じた割合で、前記縮小画像の処理対象画素の信号レベルと前記縮小画像の前記平滑化した値とを加重加算し、加重加算の結果を前記縮小画像のノイズ低減処理後の信号レベルとして出力し、
前記選択手段は、前記入力画像の信号レベルの分散値が閾値以上であれば、前記入力画像のノイズ低減処理後の信号レベルを選択し、前記入力画像の信号レベルの分散値が前記閾値よりも小さければ、前記縮小画像のノイズ低減処理後の信号レベルを選択して出力するか、あるいは、前記入力画像のプレノイズ低減画像の信号レベルの分散値が閾値以上であれば、前記入力画像のノイズ低減処理後の信号レベルを選択し、前記入力画像のプレノイズ低減画像の信号レベルの分散値が前記閾値よりも小さければ、前記縮小画像のノイズ低減処理後の信号レベルを選択して出力することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記閾値は、前記縮小画像の信号レベルに含まれるノイズの分散値であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記選択手段にて出力された信号レベルと、前記入力画像の信号レベルとを加重加算し、加重加算の結果の信号レベルを前記入力画像のノイズ低減後の信号レベルとして出力する混合処理手段を有することを特徴とする請求項３または４記載の画像処理装置。
【請求項６】
前記混合処理手段は、前記入力画像を撮影した際に撮影装置に設定されていた感度が高いほど、前記選択手段にて出力された信号レベルの割合が大きくなるように加重加算することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記加算手段は、前記入力画像を撮影した際に撮影装置に設定されていた感度が高いほど、前記平滑化した値の割合が大きくなるように加重加算することを特徴とする請求項１または２に記載の画像処理装置。
【請求項８】
入力画像のインパルスノイズを低減したプレノイズ低減画像を生成するノイズ低減工程と、
前記入力画像の、処理対象画素を含む局所的な領域の複数の画素の信号レベルを平滑化した値を算出する平滑化工程と、
前記プレノイズ低減画像を用いて、前記処理対象画素のエッジの程度を示す特徴量を算出する特徴量算出工程と、
前記特徴量に応じた割合で、前記処理対象画素の信号レベルと前記平滑化した値とを加重加算し、加重加算の結果を前記入力画像のノイズ低減処理後の信号レベルとして出力する加算工程とを有し、
前記加算工程では、エッジの程度が高いことを示す特徴量を有する画素ほど、前記平滑化した値の割合が小さくなるように加重加算することを特徴とする画像処理方法。
【請求項９】
前記特徴量算出工程は、前記プレノイズ低減画像の処理対象画素を含む局所的な領域の複数の画素の信号レベルの分散値と、前記プレノイズ低減画像のノイズの分散値を用いて前記特徴量を算出するものであり、
前記のノイズの分散値に対する前記信号レベルの分散値の割合が大きくなるほど、前記特徴量が示すエッジの程度が高くなることを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記入力画像の縮小画像を生成する縮小画像生成工程と、
前記加算工程において出力された複数の信号レベルの中からいずれかを選択する選択工程を有し、
前記ノイズ低減工程において、前記縮小画像のインパルスノイズを低減したプレノイズ低減画像を生成し、
前記平滑化工程において、前記縮小画像の処理対象画素を含む局所的な領域の複数の画素の信号レベルを平滑化した値を算出し、
前記特徴量算出工程において、前記縮小画像のプレノイズ低減画像を用いて、前記処理対象画素のエッジの程度を示す特徴量を算出し、
前記加算工程において、前記縮小画像のプレノイズ低減画像を用いて算出した前記特徴量に応じた割合で、前記縮小画像の処理対象画素の信号レベルと前記縮小画像の前記平滑化した値とを加重加算し、加重加算の結果を前記縮小画像のノイズ低減処理後の信号レベルとして出力し、
前記選択工程において、前記入力画像の信号レベルの分散値が閾値以上であれば、前記入力画像のノイズ低減処理後の信号レベルを選択し、前記入力画像の信号レベルの分散値が前記閾値よりも小さければ、前記縮小画像のノイズ低減処理後の信号レベルを選択して出力するか、あるいは、前記入力画像のプレノイズ低減画像の信号レベルの分散値が閾値以上であれば、前記入力画像のノイズ低減処理後の信号レベルを選択し、前記入力画像のプレノイズ低減画像の信号レベルの分散値が前記閾値よりも小さければ、前記縮小画像のノイズ低減処理後の信号レベルを選択して出力することを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
コンピュータを、請求項１乃至請求項７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１】
入力画像のインパルスノイズを低減したプレノイズ低減画像を生成するノイズ低減手段と、
前記入力画像の、処理対象画素を含む局所的な領域の複数の画素の信号レベルを平滑化した値を算出する平滑化手段と、
前記プレノイズ低減画像を用いて、前記処理対象画素のエッジの程度を示す特徴量を算出する特徴量算出手段と、
前記特徴量に応じた割合で、前記処理対象画素の信号レベルと前記平滑化した値とを加重加算し、加重加算の結果を前記入力画像のノイズ低減処理後の信号レベルとして出力する加算手段とを有し、
前記加算手段は、エッジの程度が高いことを示す特徴量を有する画素ほど、前記平滑化した値の割合が小さくなるように加重加算することを特徴とする画像処理装置。
【請求項２】
前記特徴量算出手段は、前記プレノイズ低減画像の前記処理対象画素を含む局所的な領域の複数の画素の信号レベルの分散値と、前記プレノイズ低減画像のノイズの分散値を用いて前記特徴量を算出するものであり、
前記のノイズの分散値に対する前記信号レベルの分散値の割合が大きくなるほど、前記特徴量が示すエッジの程度が高くなることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記入力画像の縮小画像を生成する縮小画像生成手段と、
前記加算手段から出力された複数の信号レベルの中からいずれかを選択する選択手段をさらに有し、
前記ノイズ低減手段は、前記縮小画像のインパルスノイズを低減したプレノイズ低減画像を生成し、
前記平滑化手段は、前記縮小画像の処理対象画素を含む局所的な領域の複数の画素の信号レベルを平滑化した値を算出し、
前記特徴量算出手段は、前記縮小画像のプレノイズ低減画像を用いて、前記処理対象画素のエッジの程度を示す特徴量を算出し、
前記加算手段は、前記縮小画像のプレノイズ低減画像を用いて算出した前記特徴量に応じた割合で、前記縮小画像の処理対象画素の信号レベルと前記縮小画像の前記平滑化した値とを加重加算し、加重加算の結果を前記縮小画像のノイズ低減処理後の信号レベルとして出力し、
前記選択手段は、前記入力画像の信号レベルの分散値が閾値以上であれば、前記入力画像のノイズ低減処理後の信号レベルを選択し、前記入力画像の信号レベルの分散値が前記閾値よりも小さければ、前記縮小画像のノイズ低減処理後の信号レベルを選択して出力するか、あるいは、前記入力画像のプレノイズ低減画像の信号レベルの分散値が閾値以上であれば、前記入力画像のノイズ低減処理後の信号レベルを選択し、前記入力画像のプレノイズ低減画像の信号レベルの分散値が前記閾値よりも小さければ、前記縮小画像のノイズ低減処理後の信号レベルを選択して出力することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記閾値は、前記縮小画像の信号レベルに含まれるノイズの分散値であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記選択手段にて出力された信号レベルと、前記入力画像の信号レベルとを加重加算し、加重加算の結果の信号レベルを前記入力画像のノイズ低減後の信号レベルとして出力する混合処理手段を有することを特徴とする請求項３または４記載の画像処理装置。
【請求項６】
前記混合処理手段は、前記入力画像を撮影した際に撮影装置に設定されていた感度が高いほど、前記選択手段にて出力された信号レベルの割合が大きくなるように加重加算することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記加算手段は、前記入力画像を撮影した際に撮影装置に設定されていた感度が高いほど、前記平滑化した値の割合が大きくなるように加重加算することを特徴とする請求項１または２に記載の画像処理装置。
【請求項８】
入力画像のインパルスノイズを低減したプレノイズ低減画像を生成するノイズ低減工程と、
前記入力画像の、処理対象画素を含む局所的な領域の複数の画素の信号レベルを平滑化した値を算出する平滑化工程と、
前記プレノイズ低減画像を用いて、前記処理対象画素のエッジの程度を示す特徴量を算出する特徴量算出工程と、
前記特徴量に応じた割合で、前記処理対象画素の信号レベルと前記平滑化した値とを加重加算し、加重加算の結果を前記入力画像のノイズ低減処理後の信号レベルとして出力する加算工程とを有し、
前記加算工程では、エッジの程度が高いことを示す特徴量を有する画素ほど、前記平滑化した値の割合が小さくなるように加重加算することを特徴とする画像処理方法。
【請求項９】
前記特徴量算出工程は、前記プレノイズ低減画像の処理対象画素を含む局所的な領域の複数の画素の信号レベルの分散値と、前記プレノイズ低減画像のノイズの分散値を用いて前記特徴量を算出するものであり、
前記のノイズの分散値に対する前記信号レベルの分散値の割合が大きくなるほど、前記特徴量が示すエッジの程度が高くなることを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記入力画像の縮小画像を生成する縮小画像生成工程と、
前記加算工程において出力された複数の信号レベルの中からいずれかを選択する選択工程を有し、
前記ノイズ低減工程において、前記縮小画像のインパルスノイズを低減したプレノイズ低減画像を生成し、
前記平滑化工程において、前記縮小画像の処理対象画素を含む局所的な領域の複数の画素の信号レベルを平滑化した値を算出し、
前記特徴量算出工程において、前記縮小画像のプレノイズ低減画像を用いて、前記処理対象画素のエッジの程度を示す特徴量を算出し、
前記加算工程において、前記縮小画像のプレノイズ低減画像を用いて算出した前記特徴量に応じた割合で、前記縮小画像の処理対象画素の信号レベルと前記縮小画像の前記平滑化した値とを加重加算し、加重加算の結果を前記縮小画像のノイズ低減処理後の信号レベルとして出力し、
前記選択工程において、前記入力画像の信号レベルの分散値が閾値以上であれば、前記入力画像のノイズ低減処理後の信号レベルを選択し、前記入力画像の信号レベルの分散値が前記閾値よりも小さければ、前記縮小画像のノイズ低減処理後の信号レベルを選択して出力するか、あるいは、前記入力画像のプレノイズ低減画像の信号レベルの分散値が閾値以上であれば、前記入力画像のノイズ低減処理後の信号レベルを選択し、前記入力画像のプレノイズ低減画像の信号レベルの分散値が前記閾値よりも小さければ、前記縮小画像のノイズ低減処理後の信号レベルを選択して出力することを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
コンピュータを、請求項１乃至請求項７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２０１０−９２４６１（Ｐ２０１０−９２４６１Ａ）
【公開日】平成２２年４月２２日（２０１０．４．２２）
【国際特許分類】
【出願番号】特願２００９−１７７０３１（Ｐ２００９−１７７０３１）
【出願日】平成２１年７月２９日（２００９．７．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年４月２２日（２０１０．４．２２）
【国際特許分類】
【出願日】平成２１年７月２９日（２００９．７．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]