画像処理方法
【課題】簡単な構成で、ノイズ除去あるいはエッジ強調において低周波画像と高周波画像の画質効果の違いを考慮した処理が行われ、最適な画質の画像を提供すること。
【解決手段】原画像のエッジ強調を行う画像処理方法は、原画像から少なくとも１つの低周波帯域制限画像と高周波帯域制限画像のセットを生成し、各々の帯域制限画像にエッジ抽出フィルタをかけることによって低周波エッジ成分と高周波エッジ成分の各々を抽出し、低周波エッジ成分と高周波エッジ成分を合成することによって１つのエッジ成分を生成し、生成されたエッジ成分に基づいて原画像のエッジ強調を行い、エッジ強調の強さに応じて、低周波エッジ成分と高周波エッジ成分の合成比率を変える。
【解決手段】原画像のエッジ強調を行う画像処理方法は、原画像から少なくとも１つの低周波帯域制限画像と高周波帯域制限画像のセットを生成し、各々の帯域制限画像にエッジ抽出フィルタをかけることによって低周波エッジ成分と高周波エッジ成分の各々を抽出し、低周波エッジ成分と高周波エッジ成分を合成することによって１つのエッジ成分を生成し、生成されたエッジ成分に基づいて原画像のエッジ強調を行い、エッジ強調の強さに応じて、低周波エッジ成分と高周波エッジ成分の合成比率を変える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像のノイズ除去処理およびエッジ強調処理に関する。
【背景技術】
【０００２】
多重解像度を用いたノイズ除去とエッジ強調の従来技術として特許文献１がある。特許文献１では、多重解像度変換、例えばウェーブレット変換の場合、LH,HL,HHからなる高周波サブバンド画像からノイズ成分とエッジ成分を抽出し、それらを多重解像度統合して統合ノイズ成分と統合エッジ成分を生成し、原画像からノイズ成分を減算することによってノイズ除去を行い、エッジ成分を加算することによってエッジ強調を行う方法が開示されている。このような見掛け上、完全系をなしている高周波サブバンドLH,HL,HHだけからなる周波数空間に投影したノイズ成分の抽出では、ノイズ除去フィルタとの組み合せにおいて周波数間隙帯が生じうるためノイズ成分の抽出漏れが起きやすい。
【０００３】
そこで、本願発明者による特許文献２では、それらを防止するため、逐次的に生成される低周波サブバンドLLの周波数空間への投影も組み合わせた冗長な周波数空間でのノイズ抽出を行い、これら低周波サブバンドと高周波サブバンドの両ノイズ成分を統合することによって、ノイズ抽出漏れを防ぐ手法を開示している。そのときノイズ除去による画像構造の破壊の弊害を最小限に食い止めるため、輝度成分と色差成分の各面が備える周波数分布の性質の違いに着目し、輝度成分では高周波サブバンドを強くノイズ除去し、低周波サブバンドは弱くノイズ除去し、色差成分ではその逆の関係にするのがよいと記述している。
【０００４】
本願発明者による特許文献３では、この低周波(L)と高周波(H)のサブバンド間のノイズ除去の強さを与えるノイズ成分の統合時におけるL/H間の加重係数k（0≦k≦1）を、例えば輝度成分の時はLL,LH,HL,HH間でk:1:1:1のように設定することを開示する。このkの値は、ノイズの周波数特性を変幻自在に変えられるためノイズ除去結果の見栄えに大きく影響を及ぼす。ノイズ除去効果の程度は人の好みによってまちまちであるため、このパラメータをユーザー・インターフェースを通じて開放する方策の例が示されている。また、エッジ強調の場合もノイズ除去と同様に低周波サブバンドと高周波サブバンドの両方から抽出したエッジ成分を統合し、その統合時のL/H間のバンド間の加重係数を自由に変えられるようにしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許第6,754,398号明細書
【特許文献２】国際公開第2007/116543号パンフレット
【特許文献３】国際公開第2007/114363号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２や特許文献３の方法では、ノイズ除去のパラメータはこのように新たに追加したL/H間の周波数調合度合いを与えるパラメータの他に、従来から存在するノイズ除去フィルタを掛けるときのノイズとエッジ構造を判別するゆらぎ幅の閾値を与えるノイズ除去強度パラメータや、抽出したノイズ成分を実際に何割程度原画像から減算するかを決めるノイズ除去率パラメータが存在する。したがって、ユーザーにとっては調整パラメータが３つも存在し、何をどう動かせば最良の目的とするレベルの画像が得られるのかが理解困難な状況に陥る危険性があった。これはエッジ強調の場合についても同様である。
【課題を解決するための手段】
【０００７】
請求項１の発明は、画像処理方法に適用され、原画像から少なくとも１つの低周波帯域制限画像と高周波帯域制限画像のセットを生成し、各々の帯域制限画像にエッジ抽出フィルタをかけることによって低周波エッジ成分と高周波エッジ成分の各々を抽出し、低周波エッジ成分と高周波エッジ成分を合成することによって１つのエッジ成分を生成し、生成されたエッジ成分に基づいて原画像のエッジ強調を行い、エッジ強調の強さに応じて、低周波エッジ成分と高周波エッジ成分の合成比率を変えることを特徴とするものである。
請求項９の発明は、画像処理方法に適用され、原画像から少なくとも１つの低周波帯域制限画像と高周波帯域制限画像のセットを生成し、各々の帯域制限画像にノイズ除去フィルタをかけることによって低周波ノイズ成分と高周波ノイズ成分の各々を抽出し、低周波ノイズ成分と高周波ノイズ成分を合成することによって１つのノイズ成分を生成し、生成されたノイズ成分に基づいて原画像のノイズ除去を行い、ノイズ除去の強さに応じて、低周波ノイズ成分と高周波ノイズ成分の合成比率を変えることを特徴とするものである。
請求項１３の発明は、画像処理方法に適用され、複数の画素からなる原画像を入力し、入力した原画像を分解して、逐次的に低い解像度を持つ低周波画像と、逐次的に低い解像度を持つ高周波画像を生成し、低周波画像と高周波画像の各々にエッジ抽出フィルタを掛けてエッジ成分を抽出し、それぞれに対応した低周波エッジ成分と高周波エッジ成分を生成し、生成した低周波エッジ成分と高周波エッジ成分の少なくとも一方に加重係数を掛けてエッジ成分の周波数帯域間の重みを変調し、変調の施された低周波エッジ成分と高周波エッジ成分を合成して逐次的に高い解像度を持つ１つのエッジ成分に順次統合し、統合されたエッジ成分にエッジ強調率を掛けてその強度を調整し、調整されたエッジ成分を原画像に加算することにより、原画像のエッジ強調を行い、エッジ成分の周波数帯域間の重みを変調する加重係数の値を、エッジ強調率に応じて変えることを特徴とするものである。
請求項１７の発明は、画像処理方法に適用され、複数の画素からなる原画像を入力し、入力した原画像を分解して、逐次的に低い解像度を持つ低周波画像と、逐次的に低い解像度を持つ高周波画像を生成し、低周波画像と高周波画像の各々に含まれるノイズ成分を抽出して、それぞれに対応した低周波ノイズ成分と高周波ノイズ成分を生成し、生成した低周波ノイズ成分と高周波ノイズ成分の少なくとも一方に加重係数を掛けてノイズ成分の周波数帯域間の重みを変調し、変調の施された低周波ノイズ成分と高周波ノイズ成分を合成して逐次的に高い解像度を持つ１つのノイズ成分に順次統合し、統合されたノイズ成分にノイズ除去率を掛けてその強度を減衰し、減衰されたノイズ成分を原画像から減算することにより、原画像からノイズ除去を行い、ノイズ成分の周波数帯域間の重みを変調する加重係数の値を、ノイズ除去率に応じて変えることを特徴とするものである。
請求項２１の発明は、画像処理方法に適用され、原画像をフィルタリングして、逐次的に低い解像度を持つ複数の帯域制限画像を生成し、各帯域制限画像からエッッジ成分を抽出し、抽出された各帯域制限画像のエッジ成分に対し、解像度間で重みを付けて合成することによって１つのエッジ成分に統合し、統合されたエッジ成分に基づいて、原画像のエッジ強調を行い、エッジ強調の強さに応じて、解像度間の重みの重心位置を変えることを特徴とするものである。
【発明の効果】
【０００８】
本発明は、以上のように構成するので、簡単な構成で、ノイズ除去あるいはエッジ強調において低周波画像と高周波画像の画質効果の違いを考慮した処理が行われ、最適な画質の画像を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態である画像処理装置を示す図である。
【図２】パーソナルコンピュータの構成を示す図である。
【図３】パーソナルコンピュータ１が処理する第１の実施の形態の画像処理のフローチャートを示す図である。
【図４】第１の実施の形態の多重解像度に基づいたノイズ除去処理およびエッジ強調処理の流れ図を示す図である。
【図５】第１の実施の形態のエッジ精錬を説明するイメージ図である。
【図６】強力な減衰特性をもつ非線形関数を示す図である。
【図７】（ａ）は出力色空間と作業用色空間におけるガンマ特性を示す図であり、（ｂ）は（ａ）で示される出力色空間のガンマ特性と作業用色空間におけるガンマ特性の微分比を示すグラフである。
【図８】第２の実施の形態のノイズ除去処理およびエッジ強調処理の流れ図を示す図である。
【図９】デジタルカメラ１００の構成を示す図である。
【図１０】信号とノイズの関係を示す図である。
【図１１】多重解像度における周波数空間の様子を示す図である。
【図１２】エンハンスメント効果を見やすく表に示したものである。
【発明を実施するための形態】
【００１０】
−基本的考え−
初めに、実施の形態に述べるアルゴリズムを採用する必要性が生じた背景や理由、及びそれに対処する方法の基本的考えについて述べる。
【００１１】
＜ノイズ除去処理の課題＞
ノイズ除去処理は通常、edge-preserving smoothing filterと呼ばれる、大きな信号レベル差のエッジ構造と微小な振幅のノイズを区別して適応的に平滑化するノイズ除去フィルタが用いられる。このノイズ除去フィルタの代表例として、高性能なものにバイラテラル・フィルタと呼ばれるものがある。これらのノイズ除去フィルタは基本的に隣接画素との間で画素値のレベル差をノイズゆらぎ指標値と比較し、平滑化対象画素にするか否かの加重係数をそれらの比に基づいて決めてゆく。
【００１２】
しかしながら、ノイズ除去フィルタが如何に高性能であっても、ノイズと同程度の微弱なエッジはノイズと区別をつけることができない（図１０（ｄ）参照）。その結果、ノイズ除去によってテキスチャが消失してしまう（問題１）。この他に平滑化加重係数を決める過程において急峻な段差のエッジが存在するとき（図１０（ｃ）参照）、通常の平坦部や単調な傾斜部（図１０（ａ）（ｂ）参照）におけるエッジとノイズの分離する加重係数と違って、段差の影響によりその輪郭成分が相対的に微小なエッジと間違われて問題１と同様な状況に陥り平滑化対象に含まれやすく、輪郭がなまってしまうという避けようのない問題が生じる。したがって、ノイズ除去によっていわゆる輪郭ボケが生じてしまう（問題２）。図１０は、上記の状況を示す図である。
【００１３】
これらの問題は主に輝度成分のノイズ除去処理の観点からの現象を言い表しているが、色差成分のノイズ除去処理の場合はこれらが微弱な色変化部の色抜け現象（問題３）や色境界部の色滲み現象（問題４）という問題を引き起こす。更に、ノイズ除去による平滑化処理に伴って、局所的な階調が全て平均レベルに集まってしまうため、例えば平均値がゼロになるような完全暗黒の状態を達しえなくなり、黒レベルが浮く、いわゆる黒浮き現象という問題も引き起こす（問題５）。これは白側についても言えることで、全体的に平滑化処理によって階調表現しうる幅が狭まって階調性が低下する。
【００１４】
すなわち、ノイズ除去の課題は主観表現と物理的関連において次のようにまとめられる。（１）輪郭ボケによる輪郭のコントラスト低下で鮮鋭感・立体感を失い（問題２）、（２）ノイズに埋もれるような微弱エッジ構造の消失によって解像力が低下し（問題１）、（３）黒浮き現象によって階調性が低下し（問題５）、（４）色が抜けることによって色再現性が低下し（問題３）、（５）色が滲むことによって色解像力が低下するといえる（問題４）。
【００１５】
また、これらの問題はノイズ除去処理を伴わなくても、高感度のノイズの多い画像についても共通して言える課題である。なぜならば、低感度の鮮明な画像に対して振幅の大きなノイズを加えていった場合、実被写体の輪郭のコントラストはノイズの振幅の影響によって相対的に低下し、低感度の場合よりも不鮮明に見え、テキスチャもノイズと区別がつかなくなり、ノイズの振幅が黒レベル自体を上げてしまうので黒浮きし、RGB間の無相関なゆらぎが色斑ノイズとして乗るため、その領域の色弁別分解能を下げて色特定精度（色再現性）が下がり、色ノイズが相対的に色境界部に色滲みをランダムに生じているように見せてしまう。これらは総称的にノイズ被りによるコントラスト低下ということもできる。
【００１６】
＜ノイズ除去処理とエッジ強調処理の同時化の考え＞
このような問題に対処するため、ノイズ除去を伴った場合はノイズ除去で失った程度のエッジのコントラストを回復するエッジ強調や、階調再現性を回復するための階調補正処理、あるいはコントラスト補正処理が必要となる。また、高感度撮影画像についても、ノイズ除去が行われなくてもこれらに相当する処理を加えるだけで随分と低感度撮影画像に近い鮮明性のある画像を提供することができるようになる。また、低感度撮影画像についてもノイズ被りによるコントラスト低下の影響を修復すれば、本来のあるべき鮮鋭感、解像力、階調性、色再現性を実現することができるようになる。
【００１７】
そこで、本願発明者による国際公開第2007/114363号パンフレットと国際公開第2007/116543号パンフレットに示されるような多重解像度を用いたエッジ強調処理を行う。このエッジ強調処理が従来の多重解像度を用いたエッジ強調処理（例えば米国特許6,754,398）と本質的に違う点は、完全系をなす多重解像度の高周波サブバンド群の周波数空間に投影して抽出したエッジ成分以外に、もう一つ冗長性を持たせて逐次生成される低周波セブバンド群の周波数空間に投影して抽出したエッジ成分も両方用いて、それらを自在に調合するところにある。図１１は、この多重解像度における周波数空間の様子を示す図である。なお、完全系とは周波数投影空間の画像群から原画像を完全に再構築できる意味で用いている。本当は、最低解像度の低周波サブバンドを１つだけ付加しておく必要があるが、ここでは無視して議論している。
【００１８】
しかしながら、これらの実用上の物理的な効果が詳細に解明されていなかったため、さらに画像エンハンス処理効果を高めるための方法論の提示に踏み込むまでに至っていなかった。したがって、本発明ではこれらの物理的な効果を明らかにした上で、そこから浮かび上がる課題と対策について、エッジ強調として最も自然な印象を与えるための最善の方策を検討する。
【００１９】
＜多重解像度エッジ強調処理の物理的効果の解明＞
まず、冗長な多重解像度変換によるエッジ強調の物理的効果について解明する。実験的に低周波サブバンド群と高周波サブバンド群の２つの冗長な多重解像度表現された周波数投影空間でのエッジ強調効果を確認したところ、低周波サブバンド群と高周波サブバンド群の各々で抽出されたエッジ成分には以下のような優れた個別の画像エンハンスメント効果があることが分かった。
【００２０】
入力画像が輝度成分の場合、低周波サブバンド群の周波数空間に投影したエッジ強調では、黒の締まりや階調性を高めるコントラスト強調効果がある。いいかえると、エッジ強調処理といっても輝度成分の多重解像度の低周波サブバンド群からは階調補正処理と同じ効果が得られる。一方の輝度成分の高周波サブバンド群の周波数空間に投影したエッジ強調処理には、輪郭のコントラストを立ててノイズに埋もれたテキスチャを復元する鮮鋭感回復効果がある。
【００２１】
次に入力画像が色差成分の場合、低周波サブバンド群の周波数空間に投影したエッジ強調では、大面積の平坦部領域の彩度を極めて高くするカラフルネス回復効果がある。いいかえると、色差成分の場合もエッジ強調処理とはいっても彩度強調処理と同じ効果が得られることになる。一方の色差成分の高周波サブバンド群の周波数空間に投影したエッジ強調処理には、色境界部の色滲みを低減して色境界を鮮明にしたり、色テキスチャの色構造を回復する色コントラスト復元効果がある。
【００２２】
図１２は、これらのエンハンスメント効果を見やすく表に示したものである。一見すると輝度面と色差面で同じコントラストという言葉が輝度成分の場合には低周波側に、色差成分の場合には高周波側にずれて出てきている。これは、元の輝度面と色差面の画像構造の周波数特性が違うためであると考えられる。すなわち、輝度面は高周波構造が多いのに対して色差面が低周波構造が多いことから、低周波サブバンド群に投影した輝度成分のエッジ強調効果は、高周波サブバンド群に投影した色差成分のエッジ強調効果により近いものになったためであると考えられる。
【００２３】
実験的に、原画像に第１の実施の形態に述べるノイズ除去処理だけを加えた画像と、第１の実施の形態の各周波数投影面で抽出したエッジ成分を単純に多重解像度逆変換だけを行って統合エッジ成分を生成し、統合エッジ成分をノイズ除去画像に加算したエッジ強調効果を示す画像とを取得してみた。その結果、輝度成分では、実際に低周波サブバンド群によるエッジ強調ではその強度が強い場合は、ノイズ除去画像に比べ異常とも思えるほど黒の締まり効果を達成していた。また、高周波サブバンド群によるエッジ強調では、ノイズ除去画像で消失してしまった背景の黒点や白点や動物の人形の毛並みのようなテキスチャ構造を見事に回復していた。色差成分についても同様な具合に、図１２に示す効果を達成していた。
【００２４】
＜多重解像度エッジ強調処理の最適化＞
このような個別の物理的効果が明らかになってから分かることは、低周波サブバンド群で抽出したエッジ成分と高周波サブバンド群で抽出したエッジ成分を周波数調合するには、何らかの法則性を設けて拘束条件を付けないと、原画像とは随分とかけ離れた見るに堪えない不自然なエッジ強調効果を生み出してしまう恐れがあるということである。また、ノイズ除去を伴う場合には、ノイズ除去の強さによってもノイズ除去の弊害によるこれらの主観的損傷度合いは違ってくる。したがって、その損傷度合いに合わせて回復を試みる必要がある。この解決策として実施の形態の中ではエッジ強調率やノイズ除去率に連動させる方策が示される。
【００２５】
＜多重解像度エッジ強調処理の課題＞
次に、前述の実験で取得した画像例の中にも現れているように、多重解像度によるエッジ強調は大面積のハローやハウリングを生じさせる危険性を伴う。これは通常のアンシャープマスク処理が本質的に抱えているエッジ近傍のリンギング問題と発生要因は同じであるが、多重解像度処理であるためその弊害が大規模化して現れてしまう。
【００２６】
これまでにも従来の技術はこのリンギング問題に対処するため、抽出したエッジ成分に対して、入力エッジ成分と出力エッジ成分の関係が、原点近傍は正比例し、それ以外は緩やかに単調増加するような特性の非線形変換を通して抑える工夫がなされてきた。しかし、今まで以上に高品質な多重解像度のエッジ強調処理を追求するにはこれではまだまだ不十分な状況を迎えるに至ってきた。すなわち、多重解像度によるエッジ強調を実用レベルにするには、ハローやハウリング問題を完璧に封じる方策を導入する必要に迫られる。そこで、本発明ではこれらの対策を強化するために、エッジ強調処理の結果に不自然さのない、最も自然に見えるエッジ成分のあるべき姿について仮説を導入し、それに近づけるべくして解決を図る方法を示す。
【００２７】
＜エッジ強調処理の課題＞
ところで、エッジ強調をするときに上述のようなリンギング問題以外に気をつけなければいけない点は、エッジ強調によってノイズ成分を増幅してしまう危険性をできるだけ避けなければいけないという点である。ノイズ除去処理におけるノイズ成分の抽出過程とエッジ強調処理におけるエッジ成分の抽出過程においては必ず、ノイズ成分の中へのエッジ成分の混入とノイズ成分の中へのエッジ成分の混入の相互混入問題が避けようのない問題として存在する。この様子を模式的に表すと下式のようになる。
Nextracted= Ntrue + eundistinguished
Eextracted= Etrue + nundistinguished
【００２８】
本実施形態では、第２の実施の形態の流れ図に示されるように、エッジ成分はノイズ除去後の画像から抽出することによってできるだけノイズ成分の混入を防ぐ努力をしているが、それでもなお含まれてしまうのが現実である。ノイズ成分もノイズ除去フィルタの課題の中で述べたように、ノイズ除去フィルタで区別できないエッジ成分は必ずノイズ成分の中に混入してしまう。このノイズ成分の中に混入したエッジ成分が、ノイズ除去の課題で述べた問題を引き起こし、エッジ成分の中に混入したノイズ成分がエッジ強調におけるノイズ増幅の問題を引き起こす。それによって質感再現性の低いノイズ除去や質感再現性の低いエッジ強調を行う結果となってしまう。
【００２９】
＜エッジ強調処理の改良＞
そこで、本実施形態では先に述べたエッジ成分のあるべき姿の仮説に基づいて、それに近づけることによってエッジ成分の中から不純物を取り出し純度を上げ、エッジ自身の自己精錬処理を行う。また、ノイズ成分についても同様にノイズ成分のあるべき姿の仮説を立てることが可能であり、その仮説に基づいてノイズ成分の中から不純物を取り出し純度を上げる、ノイズ自身の自己精錬処理も行う。本実施の形態では、このように各成分の不純物を除き純度を高める処理を精錬と言う。
【００３０】
しかしながら、このような操作をしてもまだ不純物の分離が難しいのが現実である。すなわち、エッジ成分の中の大部分が本当はノイズ成分であったとしてもエッジ成分のあるべき姿のように振る舞われてしまわれば区別がつかない。ノイズ成分の中のエッジ成分についても同様のことがいえる。このような問題に対しては、次のような仮説を導入してノイズ成分とエッジ成分の相互の大きさを参照することによってその中に含まれている大きな不純物成分の量を推定するほかに対処する方法がない。
【００３１】
すなわち、局所的なエッジ成分が大きな値の領域ではノイズ抽出過程においてエッジ成分をノイズ成分として誤って抽出してノイズ成分の大部分がエッジ成分である可能性が高い。逆に局所的なノイズ成分が大きな値の領域ではエッジ抽出過程においてノイズ成分をエッジ成分として誤って抽出してエッジ成分の大部分がノイズ成分である可能性が高い。したがって、相互の大きさを参照して、エッジ成分とノイズ成分との間で相互精錬を行うことにより相互の純度を高めることが可能である。そのためには、ノイズ成分とエッジ成分がかなりの確度まで純度が上がっている必要がある。
【００３２】
エッジ成分とノイズ成分の自己精錬と相互精錬の様子は第２の実施の形態の流れ図に典型的に示される。第１の実施の形態の多重解像度を用いたエッジ成分とノイズ成分の抽出・統合過程では、この自己及び相互精錬を各解像度レベルで一度行うに留まらず、統合後のエッジ成分とノイズ成分に対しても再度繰り返し自己精錬と相互精錬の検証を行うことにより、その各々の純度を、また同時にエッジ成分からのハウリング成分の排除も確実なものとする工夫がなされる。
【００３３】
＜エッジ強調処理の高性能化＞
しかしながら、このようにしてエッジ成分とノイズ成分の純度を如何に高めても排除し切れない相互混入成分というのは必ず存在し、その影響を無視するわけにはいかない。すなわち、依然としてこれらがエッジ強調のノイズ増幅問題とノイズ除去のエッジなまり問題等の先に述べた課題を引き起こすのである。
【００３４】
そこで、本実施形態ではそれらの影響を事前に予測し、悪影響を最小化し、エッジ強調とノイズ除去の効果を最大化する工夫を、最後のエッジ強調率とノイズ除去率に対して、出力色空間と作業用色空間との間の階調特性の相互の微分比率で表された明るさに対するコントラスト比関数で汎関数（関数を変数とする関数）表現化する方法を導入することにより実現を図る。
【００３５】
その様子が第２の実施の形態の流れ図に示されている。すなわち、式で表すと第１番目の式を第２番目の式に変更することに当たる。ここに、λはノイズ除去率を、ζはエッジ強調率を表し、γは線形階調Yに対する出力色空間の階調曲線γ(Y)を、Γは線形階調Yに対する作業用色空間の階調曲線Γ(Y)を表すものとする。
【数１】
【００３６】
このコントラスト比の汎関数表現の方法は、画像全体の明るさレベルの間で、ある基準点に対してエッジ強調率とノイズ除去率を増減幅する方法と、エッジ近傍の局所的な明るさレベルの間でのみそれらを増減幅する方法の２通りがある。本実施形態ではその両方を用いることにする。この２つの考え方は、一般の階調補正技術において、画像全体の明るさのみを平均的にトーンカーブ曲線を変えることによって調整する方法（ヒストグラム均等化法とも言う）と、局所的なエッジ構造の周りでコントラストを強調し、他の領域との間で明るさレベルの大小関係が入れ替わるのも許すレチネックス処理と呼ばれる方法の各々に対応している。階調補正処理で前者をガンマ調整処理、後者をレチネックス処理と呼ぶならば、エッジ強調あるいはノイズ除去におけるガンマ調整版、レチネックス版を構築しているといえる。
【００３７】
すなわち、本実施形態で導入するエッジ強調率のコントラスト比の汎関数表現は、ガンマ調整版の場合、明るさレベルに対するエッジ強調率の増減幅特性は画像全体で一様である。一方、レチネックス版の場合、それらは画像全体では非一様であるが局所的なエッジ近傍では一様に１つの規則にのっとって増減幅がなされる。エッジ強調率の汎関数表現は、ノイズ除去とエッジ強調が同時に行われる場合、ノイズ除去で失われたエッジ成分を正確に同じようにして再現するという意味で、ノイズ除去率と同一の汎関数表現がなされるのがよいとの結論に達した。
【００３８】
−第１の実施の形態−（多重解像度版）
多重解像度を用いてノイズ除去とエッジ強調を同時に行う実施形態を示す。図１は、本発明の実施の形態である画像処理装置を示す図である。画像処理装置は、パーソナルコンピュータ１により実現される。パーソナルコンピュータ１は、デジタルカメラ２、ＣＤ−ＲＯＭなどの記録媒体３、他のコンピュータ４などと接続され、各種の画像データの提供を受ける。パーソナルコンピュータ１は、提供された画像データに対して、以下に説明する画像処理を行う。コンピュータ４は、インターネットやその他の電気通信回線５を経由して接続される。
【００３９】
パーソナルコンピュータ１が画像処理のために実行するプログラムは、図１の構成と同様に、ＣＤ−ＲＯＭなどの記録媒体や、インターネットやその他の電気通信回線を経由した他のコンピュータから提供され、パーソナルコンピュータ１内にインストールされる。図２は、パーソナルコンピュータ１の構成を示す図である。パーソナルコンピュータ１は、ＣＰＵ１１、メモリ１２、およびその周辺回路１３などから構成され、ＣＰＵ１１がインストールされたプログラムを実行する。
【００４０】
プログラムがインターネットやその他の電気通信回線を経由して提供される場合は、プログラムは、電気通信回線、すなわち、伝送媒体を搬送する搬送波上の信号に変換して送信される。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給される。
【００４１】
以下、パーソナルコンピュータ１が実行する画像処理について説明する。図３は、パーソナルコンピュータ１が処理する第１の実施の形態の画像処理のフローチャートを示す図である。ステップＳ１では、画像データを入力する。ステップＳ２では、均等色・均等ノイズ空間に変換する。ステップＳ３では、ノイズ除去処理およびエッジ強調処理をする。ステップＳ４では、色空間を出力色空間へ逆変換する。ステップＳ５では、処理が終了した画像データを出力する。以下、各ステップの処理の詳細について説明する。
【００４２】
１．色空間変換
ステップＳ１で画像データ（以下、単に画像と言う）を入力すると、ステップＳ２において、入力画像をまず色空間変換し、ノイズ除去処理を行なうのに適した画像処理空間へ投影し直す。この画像処理空間として、国際公開第2006/064913号パンフレット（本出願人と同一発明者）に記載の均等色・均等ノイズ空間を用いる。通常、入力画像はsRGBといった標準色空間で表されていることが多い。ここでは色補正処理やガンマ補正処理がなされたsRGB画像を主な例として説明する。
【００４３】
１−１．逆ガンマ補正
sRGB規定のガンマ特性、ないしは各カメラメーカーが固有の絵作りに使用したガンマ特性の階調変換処理を外し、元の線形階調に戻す。
【数２】
【００４４】
また、撮像素子にある分光感度分布特性を持つカラーフィルタが載せられた例えばBayer配列のような撮像信号に対してデモザイク処理が行われた後の線形階調のR,G,B信号を直接入力してもよい。
【００４５】
１−２．RGB色空間からXYZ色空間への変換
線形階調に戻されたsRGB画像からXYZ空間に変換する場合は、以下に示すような規格書通りの変換を行う。
【数３】
【００４６】
デモザイク処理直後のセンサー分光感度分布特性を持つRGB信号の場合は、各々の分光感度分布特性に合わせたマトリックスを構成して、デバイス・インディペンデントなXYZ空間へ変換する。
【００４７】
１−３．XYZ色空間から均等色・均等ノイズ色空間（L^a^b^）への変換
次式により、XYZ空間から擬似的に均等色配分された知覚的な属性を表す非線形階調のL^a^b^空間へ変換する。ここで定義するL^a^b^空間は、従来のいわゆる均等色空間L*a*b*に対し、均等ノイズ性を考慮して変形を加えたものであり、便宜的にL^a^b^と名付けたものである。
【数４】
【００４８】
ここで、通常、均等色・均等ノイズ化する階調特性として
【数５】
を用いる。
【００４９】
X0,Y0,Z0は照明光によって定まる値であり、例えば、標準光D65下で2度視野の場合、X0=95.045、Y0=100.00、Z0=108.892のような値をとる。εの値は、センサーによっても異なるが、低感度設定のときはほぼ0に近い値を、高感度設定のときは0.25程度の値をとる。
【００５０】
以下、ステップＳ３のノイズ除去処理およびエッジ強調処理について説明する。
【００５１】
２．画像の多重解像度表現
多重解像度に基づいたノイズ除去処理およびエッジ強調処理の流れ図を図４に示す。輝度成分L^、色差成分a^、b^の各々の原画像を多重解像度表現して、ノイズ除去を行なう。原画像を順次ウェーブレット変換のAnalysis過程によって低解像度画像に分解していく(処理(1-0)(2-0)(3-0)(4-0)(5-0))。サブバンド画像が生成されるAnalysis過程をまとめて次式のように表す。
【数６】
ただし、S(x,y)はL^, a^, b^の各面に対してサブバンド画像Vij(x,y)を生成する。
【００５２】
なお、ウェーブレット変換とは、画像（画像データ）を周波数成分に変換するものであり、画像の周波数成分をハイパス成分とローパス成分に分割する。ハイパス成分からなるデータを高周波サブバンドと言い、ローパス成分からなるデータを低周波サブバンドと言い、LLを低周波サブバンド、LH, HL, HHを高周波サブバンドと言う。また、低周波サブバンドを低周波画像、高周波サブバンドを高周波画像と言ってもよい。さらに、各サブバンドを周波数帯域制限画像と言ってもよい。低周波サブバンドは、原画像の周波数帯域を低周波側に帯域制限した画像であり、高周波サブバンドは、原画像の周波数帯域を高周波側に帯域制限した画像である。
【００５３】
通常の多重解像度変換は、低周波サブバンドLL成分を順次分解した高周波サブバンドを残していくだけであるが、ここではノイズ成分のサブバンド周波数帯域間での抽出漏れがないように、低周波側サブバンドLLと高周波サブバンドLH, HL, HHの両方を用いている。
【００５４】
ウェーブレット変換としては、例えば以下のような5/3フィルタを用いる。
【００５５】
＜ウェーブレット変換：Analysis/Decompositionプロセス＞
ハイパス成分：d[n]=x[2n+1]-(x[2n+2]+x[2n])/2
ローパス成分：s[n]=x[2n]+(d[n]+d[n-1])/4
上記定義の1次元ウェーブレット変換を、横方向と縦方向に独立に2次元分離型フィルタ処理を行うことによって、ウェーブレット分解する。係数sをL面に集め、係数dをH面に集める。
【００５６】
＜逆ウェーブレット変換：Synthesis/Reconstructionプロセス＞
x[2n]=s[n]-(d[n]+d[n-1])/4
X[2n+1]=d[n]+(x[2n+2]+x[2n])/2
ただし、図４に示すように、ウェーブレット変換時のxの値には画像を表す信号を入力し、生成されたウェーブレット変換係数s,dに含まれるノイズ成分を抽出し、抽出されたノイズ成分を逆ウェーブレット時のs,dに代入してノイズ画像xを生成してゆく用い方をする。エッジ成分についても同様の用い方をする。
【００５７】
上記多重解像度表現は5段のウェーブレット変換を用いているが、入力する原画像のサイズに応じて増減させてよい。また、多重解像度表現法として、上述のような直交ウェーブレット変換に限らず、ラプラシアン・ピラミッド表現やステアラーブル・ピラミッド表現等を用いてもよい。
【００５８】
３．仮想ノイズ除去によるノイズ抽出処理
３−１．ノイズ除去フィルタによるノイズ抽出処理
３−１−１．ノイズ除去処理
任意のノイズ除去フィルタを用いてよいが、ここでは一般に知られる高性能なバイラテラル・フィルタを改良した、国際公開第2006/068025号パンフレット（本願と同一発明者）に記載の次式の改良Bilateral Filterを用いる(処理(1-2)(2-2)(3-2)(4-2)(5-2))。
【数７】
ここで、i,jはサブバンド特定記号を表す。iは解像度の違いを、jはLL,LH,HL,HHの違いを表す。
【００５９】
閾値σth ijは各サブバンド毎に期待されるノイズゆらぎ幅に合わせて設定し、エッジとノイズを区別しながらノイズ成分を抽出する。実空間におけるノイズゆらぎ指標値σthが決まれば、ウェーブレット変換式から誤差伝播則に基づいて各サブバンド信号へのゆらぎの伝播量を評価すれば、自動的に各々のサブバンドに最適なσth ijの値は決まる。σthの値はISO感度が高くなるに従い大きな値を設定する。例えば、ISO6400で256階調に対して実空間でのゆらぎ幅を10程度の値に設定したりする。
【００６０】
閾値rthの値は、ノイズ除去フィルタの範囲が解像度階層間で重なり合うように0.5〜3.0画素程度にとればよく、積分範囲もrthの2倍ないしは3倍程度にとれば十分係数値は小さな値に落ちている。一般に、他のノイズ除去フィルタであっても多重解像度表現されたサブバンド画像では3x3〜9x9程度の範囲の画素信号を参照するようなフィルタで十分なノイズ除去効果が得られる。
【００６１】
３−１−２．ノイズ抽出処理
各サブバンドにおいて、次式のようなノイズ抽出処理を行う(処理(1-3)(2-3)(3-3)(4-3)(5-3))。
【数８】
【００６２】
３−２．逐次ノイズ抽出
ノイズ成分を各サブバンド面のノイズ除去フィルタリングだけで漏れなく抽出するのは難しく、多重解像度分解による周波数帯域間で間隙を生じないように、他の解像度で抽出したノイズを参照しながら逐次的にノイズを抽出する。逐次的なノイズ除去の方法としてはAnalysis時とSynthesis時に行なう2通りの方法があるが、本実施形態ではSynthesis時の場合のみを示す。
【００６３】
また、ノイズ成分を正確に抽出するため、ノイズ除去の概念を仮想ノイズ除去と実際のノイズ除去の２つに分ける。仮想ノイズ除去の具体的処理は次のようになる。ノイズ抽出のためにだけ用いる仮想的なノイズ統合を行い(処理(2-4)(3-4)(4-4)(5-4))、各階層で生成される統合ノイズ成分をLLサブバンド面から減算して(処理(1-1)(2-1)(3-1)(4-1)(5-1))、LL面からノイズ成分を抽出しやすい状態にした後、上記ノイズ除去フィルタリングを行なう。
【００６４】
すなわち、仮想的ノイズ統合は次式で表される。
【数９】
ただし、下層のノイズ統合により生成された１つ上の階層のLLバンドのノイズ成分と、「ノイズ抽出処理」により抽出された同じサブバンド面の冗長なノイズ成分とを合成するときには、同じLLサブバンド面上で加算を行って統合する。その様子は図４では「＋」記号で表されている。
【００６５】
（補足説明）
図４より明らかであるが、図４で行なっている処理をより具体的に書けば、
【数１０】
を行なった後に、３−１−１及び３−１−２の処理を行なう処理を繰り返すことを意味している。M=5のときは何もノイズ抽出行われていないノイズ成分を統合してくるので、N5(x,y)=0となる。
【００６６】
４．エッジ抽出
仮想ノイズ除去された各サブバンド面から次式よりエッジ成分を抽出する(処理(1-5)(2-5)(3-5)(4-5)(5-5))。
【数１１】
【００６７】
ここで、エッジ検出フィルタとしてはラプラシアン・フィルタを用いる。ラプラシアン・フィルタとしては通常の3x3で定義される中心が8で周辺が-1の係数からなる最も単純なフィルタを用いてもよい。しかし、仮想ノイズ除去後にもなお残存するエッジを正確に抽出するため、ノイズ除去フィルタのフィルタリング範囲と連動させるのがよい。例えば、ノイズ除去フィルタの平滑化対象範囲が9x9程度の場合、ラプラシアン・フィルタも9x9程度に設定する。すなわち、ラプラシアンは、｛（原画像）−（ガウスボカシ画像）｝で定義すればよいので、フィルタ例として以下のようなものがある。ただし、tは転置行列を表し、一次元分離型フィルタの積で構成している。
【数１２】
【００６８】
ここで抽出したエッジ成分は、エッジ強度の局所的な度数分布のイメージ図を描いてみると図５（ａ）のような分布をしている。ノイズゆらぎ幅と同程度に変動するエッジ構造が全て仮想ノイズ除去によって消失した後の面からエッジ抽出しているにもかかわらず、ゼロ近傍に最大ピークをもつ微弱なエッジが抽出されている理由は、仮想ノイズ除去後に僅かに残る微弱エッジ構造の跡形とその周りに存在する大きなエッジ成分の画像構造の様子から、その近辺にあったと推定される微弱エッジ成分を推測していることにほかならない。
【００６９】
５．ノイズ成分の自己精錬
ノイズ除去フィルタで抽出するノイズ成分の中には、如何なる結果のノイズ成分が抽出されるかは何の保証もない。画像構造の状況によっては特異成分が含まれてしまう。また、その含まれ方もノイズ除去フィルタの性能具合によって異なってくる。
【００７０】
そこで、本来ノイズ除去フィルタが抽出ないしは平滑化対象としているノイズ成分がランダムノイズであることを思い返せば、その抽出されたノイズ成分の振る舞いも階調方向に関してポアッソン分布に起因したガウス分布特性を持っていなければ、ノイズ除去フィルタ側で何かの間違いを犯していると考えるのが妥当である。すなわち、ノイズ抽出結果をノイズらしい振る舞いをしているか統計的に検証することによって、誤って混入した特異エッジ成分を除外し、本来あるべきランダム・ノイズの姿に近づけることができる(処理(1-6)(2-6)(3-6)(4-6)(5-6))。
【数１３】
【００７１】
これは均等ノイズ空間でノイズ抽出を行っているからこそ置くことのできる仮定である。明るい所と暗い所でノイズ振幅の増幅率の違う画像処理空間では、全ての明るさレベルでこのような対称なガウス分布をせずに非対称化し、更に明るさ毎にそれがどのような分布をするか予測が付かず、このようなスマートな処理ができない。
【００７２】
ここに、σn th ijの値はノイズ除去フィルタで用いたノイズゆらぎ指標値σth ijの値の６倍程度に設定するのがよい。すなわち、シックス・シグマを超えていれば統計的に明らかに異常だと認定することになる。
【００７３】
６．エッジ成分の自己精錬
エッジ抽出過程によって抽出されたエッジ成分は、図５（ａ）に示されるようにリンギングやハローの要因となる度数分布から見れば特異な撹乱成分が含まれている。従来このような成分を減衰させるため、入力エッジ強度に対して出力エッジ強度が単調増加となる関数を通過させていた。しかし、抽出されたエッジ成分の真偽に関する明確なモデルと指針がないため、抽出したエッジ成分は有効に扱わねばならないという考えに基づいて単調増加関数が設定されていた。しかし、エッジ強度がいくら大きくなっても有限値を残すということはリンギングを生じさせる危険がつきまとう。
【００７４】
本実施形態では、リンギングを生じさせずに自然なエッジ強調ができるエッジ成分のモデルを立てて、その判別指針に基づいてそれ以外の成分は完全に抹消する方策をとる。なぜならば、本実施の形態が目的としているエッジ成分は、「基本的考え」のところでも述べたように、ノイズ成分によって埋もれる程度のエッジ成分をいかにして正確に推定して復元することができるかという点にあるからである。その意味で、本来存在しないはずのリンギングやハロー成分を抽出することは許されない。これは、多重解像度の各サブバンド毎に満たしていなければならない。
【００７５】
従って、その仮説とは、理想的な均等色・均等ノイズ空間で抽出された自然なエッジ成分はガウス分布する、というものである。したがって、図６のようなある振幅レベル以上のエッジ成分は完全に消滅するような強力な減衰特性をもつ非線形関数を通すと、エッジ成分をモデルとするエッジ成分の姿に近づけることが可能となる。エッジ成分の自己精錬を式で表せば以下のようになる(処理(1-7)(2-7)(3-7)(4-7)(5-7))。
【数１４】
【００７６】
ここで、σe th ijの値は、ノイズ除去フィルタで用いたノイズゆらぎ指標値σth ijの値と全く同じ値に設定する必要がある。そうすることによってリンギング成分を排除するとともに、ノイズ除去フィルタで区別できないためにノイズ除去によって消失してしまうと予測される微弱エッジ成分を、ここで同じ量だけ再度復活して抽出することが可能になり、エッジ強調として加算したときに微弱エッジ成分の復活が可能となるからである。また、ノイズ除去処理を伴わなくても、ノイズ被りによって低下するエッジのコントラストに相当する輪郭成分の量や、ノイズ被りによって見えなくなるテキスチャ成分の量を同じ量だけ正確に抽出することができる。
【００７７】
このように、均等色・均等ノイズ空間で扱った場合、エッジ成分もノイズ成分もどちらも共に本来理想的に局所領域内の度数分布はガウス分布をしているという指針に基づいて、ノイズ成分に含まれるエッジ成分によるノイズ除去での輪郭ボケを防いだり、エッジ成分に含まれるリンギング成分によるエッジ強調でのハローやハウリングの発生を防止したりすることが可能となる。また、そのガウス分布の幅をノイズゆらぎ指標値と同じ分布幅のモデルを立てることにより、ノイズの振幅幅と同程度の性質を示す微弱エッジや輪郭のコントラスト成分を抽出することが可能となる。
【００７８】
上記エッジ成分の自己精錬は、エッジ成分の強度に関する度数分布がノイズゆらぎ指標値σth ijに基づく所定幅のガウス分布に近づくように各々のエッジ成分を減衰する補正を行うことによりなされる。また、ノイズゆらぎ指標値σth ijは、前述のように各解像度の各サブバンド毎に期待されるノイズゆらぎ幅に合わせて設定される。従って、抽出された各解像度の各サブバンド（帯域制限画像）のエッジ成分は、各々のサブバンド毎のエッジ成分の強度に関する度数分布が各解像度（各帯域）に固有の所定幅のガウス分布に近づくように補正される。
【００７９】
また、上記エッジ成分の自己精錬は、別の表現をすれば、エッジ成分自身の大きさに基づいて、エッジ成分の中に含まれる偽のエッジ成分の量を推定し、この推定結果に基づいて、抽出されたエッジ成分から偽のエッジ成分を除外して実エッジ成分を抽出している。このようにして精錬されたエッジ成分は、図５（ｂ）のような度数分布となる。
【００８０】
７．エッジによるノイズ成分の精錬（相互精錬１）
このように項目番号５と項目番号６の処理を経てきたノイズ成分とエッジ成分はかなりの確度でその純度が高まっている。しかしながら、項目番号５で自己精錬したノイズ成分の中には依然としてノイズ成分のように振る舞うエッジ成分が含まれている。このエッジ成分の除外には、信頼度の高いエッジ成分を参照してノイズ成分の中にどの程度そのような成分が含まれる状況が生じうるかを推定して排除するしかない。ここで混入しているエッジ成分は、ノイズと同程度の強度で振る舞うテキスチャ等のエッジ成分であるので、そのようなテキスチャ領域は周囲にフラクタル的に大きなエッジ構造を持っている場合が多い。従って、その領域のエッジ強度を参照すれば凡そ混入している量が推定できる。
【００８１】
すなわち、次のような仮説に基づく。エッジ成分の強度（絶対値）が大きい領域では、ノイズ成分の大部分は混入エッジ成分である割合が高く、エッジ成分の強度（絶対値）が小さい領域ではノイズ成分の大部分は真のノイズ成分である可能性が高い。この確率モデルにもガウス分布を利用して、以下のように相互精錬を行う(処理(1-8)(2-8)(3-8)(4-8)(5-8))。同じガウス分布によるモデルを用いているので、この相互精錬によって理想のノイズ・モデルの形が崩されることはなく、より理想形に近づく。
【数１５】
【００８２】
ここに、σne th ijの値は項目番号５で用いたσn th ijと同じく、ノイズゆらぎ指標値σth ijの６倍に設定するとよい。すなわち、そのように統計的に完璧にエッジと考えられる領域で混入エッジ成分の排除を行う。
【００８３】
８．ノイズによるエッジ成分の精錬（相互精錬２）
項目番号７の説明と同じくして、項目番号６で自己精錬したエッジ成分の中にもエッジ成分のように振る舞うノイズ成分が含まれている。このノイズ成分の除外には、信頼度の高いノイズ成分を参照してエッジ成分の中にどの程度そのような成分が含まれる状況が生じうるかを推定して排除するしかない。ここで混入しているノイズ成分は、抽出したいエッジ成分と同程度の強度で振る舞うノイズ成分である。そのようなエッジ成分に混入したノイズ成分は、項目番号７で抽出されたノイズ成分でも同じ程度の大きさのノイズ成分として抽出されているはずである。
【００８４】
したがって、次のような仮説に基づいてエッジ成分に混入したノイズ成分の割合を推定することができる。すなわち、ノイズ成分の強度（絶対値）の大きい領域では、エッジ成分の大部分は混入ノイズ成分である割合が高く、ノイズ成分の強度（絶対値）が小さい領域ではエッジ成分の大部分は真のエッジ成分である可能性が高い。この確率モデルにもガウス分布を利用して、以下のように相互精錬を行う(処理(1-9)(2-9)(3-9)(4-9)(5-9))。同じガウス分布によるモデルを用いているので、この相互精錬によって理想のエッジ・モデルの形が崩されることもなく、より理想形に近づく。
【数１６】
【００８５】
ここに、σen th ijの値は項目番号６で用いたσe th ijと同じく、ノイズゆらぎ指標値σth ijと同じ値に設定する必要がある。そうすることによって、エッジ成分の中に含まれた抽出ノイズ成分でも観測されているノイズ成分を除外することができる。従って、エッジ強調によってノイズ感が増えてしまうことが防止できる。
【００８６】
上記処理は、抽出したノイズ成分の絶対値が大きければ大きいほど、エッジ成分に含まれる残存ノイズ成分の割合が大きいと推定し、エッジ成分から推定した残存ノイズ成分を除外していることを意味する。別の言い方をすると、上記処理は、抽出したノイズ成分の絶対値を引数とするガウス分布関数によって、抽出したエッジ成分の内の実エッジ成分の存在割合を推定し、推定した実エッジ成分を求めていることを意味する。また、別の言い方をすると、原画像に対してノイズ成分を抽出するときに使用するノイズゆらぎ指標値を、抽出した各画素位置におけるノイズ成分の絶対値と比較することによって、エッジ成分に含まれる残存ノイズ成分の割合を推定している。
【００８７】
９．実ノイズ成分の統合
各サブバンドで漏れなくノイズ成分が抽出された後、きれいに精錬されたノイズ成分を今度は、実画像へのダメージが最も少なくノイズ除去効果の高い周波数バンド間ウェイトをつけて統合する。
【００８８】
周波数バンド間の重みとしては、低周波サブバンドと高周波サブバンドの間の重みkn iと解像度レベル間の重みkn jとがあり、各々を個別に与えて合成重みkn ijを最終的なそのサブバンドのノイズ成分の統合ウェイトとする。すなわち、式で表せば、
【数１７】
となる。図４の重みkn ijは(重み(1-14)(2-14)(3-14)(4-14)(5-14))、低周波サブバンドと高周波サブバンドの間の重みkn iと解像度レベル間の重みkn jの２つが入っている。
【００８９】
９−１．L/Hバンド間の重みの設定
本願発明者による国際公開第2007/114363号パンフレットと国際公開第2007/116543号パンフレットによれば、実画像へのダメージが最も少なくなるようなノイズ成分の統合ウェイトは、原画像が輝度成分の場合、高周波サブバンド・ノイズの重みを大きくし、低周波サブバンド・ノイズの重みを小さくするのがよいとしている。また、原画像が色差成分の場合、低周波サブバンド・ノイズの重みを大きくし、高周波サブバンド・ノイズの重みを小さく、ないしは低周波サブバンド・ノイズの重みと同程度にするのがよいとしている。また、この低周波サブバンドと高周波サブバンドの重みは統合ノイズ成分の周波数特性を大きく変え、ノイズ除去の見栄えを大きく変えるので、そのバンド間の重みをグラフィック・ユーザー・インターフェースを通じて、特に輝度成分のバンド間重みを粒状性設定パラメータとしてユーザーに開放している。
【００９０】
しかし、この粒状性を制御するパラメータの他に、ノイズ除去率λの制御によるボケ具合（unsharpness）の設定や、ノイズ除去フィルタのノイズゆらぎ指標値σthの制御によるノイズ除去の強度（intensity）の設定をする必要がある。これは、技術に詳しくない一般ユーザーにとっては３軸の制御を理解して最良の結果を得るには手間ひまの掛かる難しい状態となっていた。そこで、本実施形態では、それらの画質への物理的効果を踏まえ、完全独立制御する必要性のないパラメータは他との連動制御することにより、容易に高画質のノイズ除去結果を得られるようにする。
【００９１】
輝度成分の低周波サブバンドによるノイズ除去は、ぺったりと階調性を失った平面的な画像を生みノイズ除去の弊害が大きい。一方の輝度成分の高周波サブバンドによるノイズ除去はさらさらとした画像を生みノイズ除去の弊害が少ない。したがって、輝度成分への画質破壊が最も少ないのは低周波サブバンド・ノイズの重みを無くしたときであるが、このとき低周波サブバンドを用いないことによるノイズの抽出漏れが生じる。色差成分についても同様に、画質破壊が最も少ないのはある程度高周波サブバンド・ノイズの重みを小さくしたときであるが、このとき高周波サブバンド・ノイズの重みを下げたことによる突出状の色ノイズ残りが生じやすくなる。
【００９２】
これらのことを考え合わせれば、ノイズ除去率が小さいときは多少のノイズ抽出漏れがあろうとも画質破壊を無くすことを最重要視し、ノイズ除去率が大きいときは平面的になる画質破壊があろうともノイズの抽出漏れを無くすことを最重要視する設計にするのが最良の結果を生むと考えられる。ここに、諸々のパラメータを一括して連動制御するための統括ノイズ除去率λjointを導入し、L/Hバンド間のノイズ成分の統合ウェイトを以下のように制御する(処理(1-16)(2-16)(3-16)(4-16)(5-16))。ただし、λjointの値は、通常0≦λjoint≦1に設定するのが普通であるが、後のノイズ除去率やエッジ強調率の汎関数化することを踏まえて、0≦λjoint≦8程度を目安とした上限値をとり、明確な上限値への制限を設けない。
【００９３】
λjointの設定は、パーソナルコンピュータ１のモニタ（不図示）に例えばスライドバーを有する設定画面を表示することにより行われる(処理(0-5))。ユーザーは、キーボード（不図示）やマウス（不図示）を使用して設定画面のスライドバー中のカーソルを任意の位置に操作することによりλjointの値を設定する。これにより、ユーザは簡易に上記λjointのパラメータを設定することができる。なお、カメラで処理する場合は、カメラがユーザに提供するノイズ除去の強さレベル「弱」「中」「強」などに合わせて、カメラメーカが事前に対応値を決めて設定するようにしてもよい。
【００９４】
輝度成分の場合
【数１８】
【００９５】
色差成分の場合
【数１９】
ただし、0≦kni≦1 (i=LL,LH,HL,LL)を満たすようにする。
【００９６】
上記式は一例であって、このような取り方に留まらない。通常、LLを低周波サブバンド、LH,HL,HHを高周波サブバンドとして扱っているが、LH,HLにも多少の低周波サブバンド特性があることを考慮して、例えば、輝度成分のLH,HLバンドも統括ノイズ除去率λjointに連動させて1に近い範囲で多少重みを下げられるようにしてもよい。
【００９７】
９−２．解像度レベル間の重みの設定
通常、ショットノイズに起因するノイズ成分は低周波成分から高周波成分まで一様に分布するホワイト・ノイズであると考えてよいので、解像度レベル間のノイズ統合ウェイトは全て同じ値の1に設定する。すなわち、下式となる。
【数２０】
【００９８】
９−３．実ノイズ成分の統合処理
上述のようなノイズ除去の効果とその弊害対策の両立に最適な周波数バンド間の重みがつけられたノイズ成分を下式のように統合する(処理(1-10)(2-10)(3-10)(4-10)(5-10))。
【数２１】
【００９９】
ただし、項目番号３の仮想ノイズ統合のときと同様に、下層から統合されてきたLLバンドのノイズ成分と元からLLバンドのノイズ抽出によって存在するノイズの２つのノイズ成分は加算することによって統合を行うものとする(処理(1-11)(2-11)(3-11)(4-11)(5-11))。その他は逆ウェーブレット変換処理を行うことによって統合する。
【０１００】
このようにして抽出されるノイズ成分は、輝度面と色差面の原画像の周波数の性質に合わせて周波数調合していることから、ノイズ抽出に最適な周波数投影空間を原画像の性質に合わせて変えているといってもよい。更に、ノイズ除去率に応じてもその周波数投影空間を変更していることに相当する。
【０１０１】
１０．実エッジ成分の統合
各サブバンドでノイズに埋もれるような微弱なエッジ成分を抽出し、その中に含まれるノイズ成分やリンギング成分がきれいに精錬されたエッジ成分を、今度は、実画像のノイズ被りによるコントラスト復元やノイズ除去の弊害対策を最も自然な印象を与え、エッジ強調によるエンハンスメント効果の高い周波数バンド間ウェイトをつけて統合する。
【０１０２】
周波数バンド間の重みとしてはノイズ成分のときと同様に、低周波サブバンドと高周波サブバンドの間の重みke iと解像度レベル間の重みke jとがあり、各々を個別に与えて合成重みke ijを最終的なそのサブバンドのエッジ成分の統合ウェイトとする。すなわち、式で表せば、
【数２２】
となる。図４の重みke ijは(重み(1-15)(2-15)(3-15)(4-15)(5-15))、低周波サブバンドと高周波サブバンドの間の重みke iと解像度レベル間の重みke jの２つが入っている。
【０１０３】
１０−１．L/Hバンド間の重みの設定
本願発明者による国際公開第2007/114363号パンフレットと国際公開第2007/116543号パンフレットには特に周波数調合の仕方について記述はない。しかし、本実施形態の冒頭の主観量と物理的効果の解明によると、最も自然な印象を与え、エンハンスメント効果の高い周波数調合の仕方は以下のような議論から組み立てることができる。
【０１０４】
まず、ノイズ除去を伴わない、単なる高感度撮影の感度を上げていった場合のノイズゆらぎ振幅の増幅に伴うノイズ被りによって不鮮明になっている画像を復元する場合を考えよう。この原画像は、何よりもまず、エッジ強調が全く行われていない間は、輝度成分のノイズの振幅幅によって白く霞んでしまった階調コントラストの復元も、ノイズに埋もれてしまったテキスチャの復元も、色差成分の色ノイズの被りによってくすんでしまった彩度の復元も、色ノイズの重畳によって生じた色境界の滲みボケの復元も、何もかもを最初は必要としている。したがって、多重解像度空間で低周波サブバンドと高周波サブバンドの冗長な２つの周波数帯に分解し、各々から抽出したエッジ成分によるエッジ強調効果のすべてを必要としている。
【０１０５】
ところが、ある程度までエッジ強調率を上げていくと、これらの冗長な成分のうち、一部の成分が甚大な画像破壊をもたらすことが実験的に判明した。すなわち、エッジ強調率を最大の100%に引き上げたとき、輝度面においては低周波側の統合エッジ成分によるコントラスト強調効果が異常に作用しすぎて主要な画像境界部に白く浮いたりするハローが生じ、色差面においては高周波側の統合エッジ成分による色境界の鮮明化の効果が作用しすぎて同様に主要な画像境界部に色づきが発生する。これらの周波数帯域は輝度面と色差面のそれぞれにおいて極めて感受性の高く、扱い方に注意をしなければ壊滅的な画像の崩壊をもたらす側面をもつ。
【０１０６】
他方、もう一方の共役な周波数帯の統合エッジ成分による画像復元効果は、エッジ強調率を強めても別段に不自然な画像破壊をもたらさない。すなわち、輝度成分における高周波側の統合エッジ成分によるテキスチャ回復効果と色差成分における低周波側の統合エッジ成分による彩度強調効果は、エッジ強調率に対して線型に増大させても自然な画像復元効果を得ることができる。ただし、これらの自然なエッジ強調効果を得るには、各々の多重解像度サブバンド面におけるエッジ成分の大きさが、元のサブバンド面がもっているノイズ成分の大きさを超えてはならない。ノイズに埋もれる範囲内でエッジ成分を重畳しなければ、エッジ成分はリンギング、ハウリング、ハロー現象として視覚的に認知されるようになる。そのときの影響は多重解像度エッジ強調であるため極めて甚大となるので、エッジ成分の低周波と高周波のバンド間の周波数調合の仕方には極めて注意を要する。
【０１０７】
ノイズ除去を伴う場合の画像復元についても全く同様なことが成り立つ。ノイズ除去を伴う場合には更にもう１つ注意しなければならない点がある。それは、すなわち、自然なエッジ強調効果を得るには、それらのエッジ成分がノイズに埋もれる程度の振幅に収まっていなければならないのである。しかし、ノイズ除去が加えられるとノイズのゆらぎの範囲が低下してくるので、エッジ強調において不自然な作用を及ぼす成分の視覚的な許容限度の範囲が、ノイズ除去を伴わない場合よりも狭まるということである。したがって、エッジ強調率の増大に伴って悪影響を及ぼす敏感な周波数バンドは、エッジ強調率に応じて単調減少関数にする必要があるに留まらず、ノイズ除去率に応じても単調減少関数にする必要がある。
【０１０８】
これらの事実を踏まえて、次のように制御すれば最も自然な印象を与えるエンハンスメント効果の高い画像が復元することが可能となる。すなわち、エッジ強調率が小さい間は、輝度成分ではコントラスト強調とテキスチャ回復の何れにも重点を置き、色差成分においてもカラフルネス回復と色境界コントラスト鮮鋭化の何れにも重点を置く必要がある。一方で、エッジ強調率が大きくなると、輝度成分ではコントラスト強調は程々にとどめ、テキスチャ回復に重点を移す。色差成分では色境界の鮮明化は程々にとどめ、カラフルネス・彩度の回復に重点を移す。すなわち、エッジ強調率が大きくなると、ある周波数帯のエッジに掛ける係数を下げるように制御するエッジ強調率依存性を導入した。
【０１０９】
また、ノイズ除去率の増大に伴って、エッジ成分を視覚的に自然な形で埋もれさせてくれるノイズ成分が減ってくるとその量に合わせて、比重を下げる必要のある側の周波数帯域は更に完全に消滅するまで減らすようにする必要がある。すなわち、エッジに掛ける係数の算出においてノイズ除去率依存性を導入した。
【０１１０】
これらの関係を式で表せば、以下のようにL/Hバンド間のエッジ成分の統合ウェイトを以下のように制御することになる。ここに、統括エッジ強調率ζjointを導入する。ζjointの値は、通常0≦ζjoint≦1に設定するのが普通であるが、後のエッジ強調率の汎関数化することを踏まえて、0≦ζjoint〜＜8程度を目安とした上限値をとり、明確な上限値への制限を設けない。図４の処理で言えば、処理(1-17)(2-17)(3-17)(4-17)(5-17)が相当する。
【０１１１】
ζjointの設定は、パーソナルコンピュータ１のモニタ（不図示）に例えばスライドバーを有する設定画面を表示することにより行われる(処理(0-6))。ユーザーは、キーボード（不図示）やマウス（不図示）を使用して設定画面のスライドバー中のカーソルを任意の位置に操作することによりζjointの値を設定する。これにより、ユーザは簡易に上記ζjointのパラメータを設定することができる。なお、カメラで処理する場合は、カメラがユーザに提供する新たな多重解像度空間で行うエッジ強調の強さ設定レベル「弱」「中」「強」などに合わせて、カメラメーカが事前に対応値を決めて設定するようにしてもよい。
【０１１２】
輝度成分の場合
【数２３】
色差成分の場合
【数２４】
なお、MIN(ζjoint,1)は、ζjointと1のどちらか小さい方の値を取るという意味である。
【０１１３】
これらは、0≦kei≦1(i=LL,LH,HL,HH)の条件を満たす。上記式は一例であって、このような取り方に留まらない。通常、LLを低周波サブバンド、LH,HL,HHを高周波サブバンドとして扱っているが、LH,HLにも多少の低周波サブバンド特性があることを考慮して、例えば、輝度成分のLH,HLバンドも統括エッジ強調率ζjointに連動させて1に近い範囲で多少重みを下げられるようにしてもよい。
【０１１４】
次に、統括エッジ強調率ζjointが１から８程度の値をとる領域について、更に自然な印象を与える多重解像度エッジ強調効果を得るための周波数調合の仕方について考察する。上記式はζjoint=0〜1の範囲で全く問題のない画像を与えるが、エッジ強調率が100%を超えてくると、本来許されているはずのノイズのゆらぎの許容範囲を超えてエッジ成分が強調され始める。すなわち、エッジ成分の強度はζjoint*keijの積の形で与えられることになるから、画像構造の崩壊をもたらす敏感な周波数帯域が、ζjoint=０〜１の領域では減速のかかった単調増加型関数であったのに対し、ζjoint=1〜８の領域で再度減速のかからない線型増加に転じてしまう。例えば、輝度のLL成分を簡単のためλjointを省いた形で書き表すと、ζjoint=０〜１の区間は、
ζjoint * (1-ζjoint／2)=-(1/2)(ζjoint-1)2+(1/2)
となり、上に凸な、ζjoint=1で極大となる２次関数の減速型の単調増加関数となっている。これに対し、ζjoint≧1ではζjoint／２で比例型に転じてしまう。なお、敏感な周波数帯域とは、ζjoint依存性を持たせたバンドであり、輝度成分で言えばLL成分、色差成分で言えばLH成分、HL成分、HH成分と言える。
【０１１５】
これを防止するため、敏感な周波数帯域のエッジ強調率を掛けた後の寄与度が、ノイズのゆらぎの範囲に収まる最大許容度を与えるエッジ強調率100%時点の値で完全に止めてしまう機構を盛り込む。それに対し、ノイズのゆらぎの範囲を超えても自然なエッジ強調を実現できる周波数帯域は、エッジ強調率が100%を超えてもζjoint*keijの積の値が単調増加を許して、エッジ強調効果を提供するようにする。以下に、最適式を提示する。なお、この場合もやはり、ノイズ除去が加わると許されるエッジ強調の範囲に制限が加えられることも考慮する。
【０１１６】
輝度成分の場合
【数２５】
色差成分の場合
【数２６】
【０１１７】
輝度成分について、LL成分は副バンドの低周波側と位置づけられ、コントラスト強調効果があるので（敏感な周波数帯域）、それによるハローが発生しないように許容限度の範囲で完全に封じ込んでいる（エッジ強調率が１のときの値にロックしている）。一方のLH成分は通常は主バンドの高周波側と位置づけられるが、低周波側の副バンドの特性も一部で持っているので、エッジ強調率に対して線形に増大しないようにある程度抑制している。これによってエッジ強調率が800%の領域で縦横の筋構造が発生するのを防止することができる。更に、HH成分は主バンドの高周波側に相当するが、LH成分の抑止機構と滑らかに接続して自然なテキスチャ回復を生み出すように、LH成分の抑止度を考慮したエッジ強調率に対する非線形な増大特性を持たせている。
【０１１８】
一方、色差成分については、主バンドであるLL成分も副バンドであるHH成分もその中間であるLH,HL成分も全てエッジ強調率100%時点における最大エッジ強調効果、すなわち、最大彩度強調と色コントラスト復元で完全に止めてしまう。これは、ノイズのゆらぎの範囲を超えてそれ以上の色差面の強調を行うと、画像の色相の変移が始まり、画像崩壊を導くからである（敏感な周波数帯域）。
【０１１９】
このように実験的に導かれた最適な手法は、ノイズ除去におけるノイズ除去率に応じて最適な周波数投影空間が遷移していく様子と、エッジ強調におけるエッジ強調率に応じて最適な周波数投影空間が遷移していく様子は異ならせるのがよいということになる。ただし、それはノイズ除去率やエッジ強調率に対して、高周波サブバンドと低周波サブバンドのうち副バンドの役割をする側を単調増加させるか単調減少させるかの意味で違うというだけである。ノイズ除去においてもエッジ強調においても、主バンドである輝度成分の高周波サブバンドと色差成分の低周波サブバンドは常に最大限に活用されている必要がある。副バンド側（前述した敏感な周波数帯域）は、画質破壊がないようにうまく調整して使う必要がある。
【０１２０】
なお、図４では、重みke ij(重み(1-15)(2-15)(3-15)(4-15)(5-15))は、エッジ強調率ζjointに依存するのみのような記載であるが、上述のようにノイズ除去率λjointにも依存しているため、ノイズ除去率λjointからも矢印があると考えればよい。
【０１２１】
１０−２．解像度レベル間の重みの設定
ノイズ成分のときとは違って、解像度レベル間のエッジ統合ウェイトを全て同じ値の1に設定せずに、人間の視覚への影響を考慮した解像度レベル間の重みを設定する。
【０１２２】
ノイズ除去を各解像度で均等にホワイト・ノイズとしてノイズ除去を行った画像を見た場合、その輪郭コントラスト等の低下によるノイズ除去の弊害の影響は各解像度が同程度に潰れたようには見えず、人間の視覚特性に最も被害を及ぼすように見えるのは中周波ないしはやや高周波よりの中周波成分である。これらの輪郭が失われると最も画像が持っていた情報の見た目の喪失感が大きい。したがって、ノイズ除去においてはこれらの中周波からやや高周波よりの成分のエッジ構造の保護に最大限の力を注ぐ必要がある。
【０１２３】
一方、仮にエッジ強調を解像度レベル間で全て同じ値の1とした場合、低解像度側から拾ったエッジ成分の影響が及ぶ範囲は広大で、それだけハウリングやハローを生じさせる危険性が増す。また、ナイキスト周波数レベルの最高解像度レベルのエッジ成分も多少、ノイズ成分と間違われやすい性質を持つ。したがって、それらの成分は中周波数帯に比べて下げて用いるのが安全である。ゆえに、ノイズ除去において最大の防護を必要とする周波数帯とエッジ強調で最も多くの復元をしてよい周波数帯、すなわち、復元を必要とする周波数帯はぴったり一致する。
【０１２４】
したがって、統合エッジ成分もそこに焦点を当てた解像度レベル間の重みを設定するのが、視感度特性の回復面からいっても望ましい。最高解像度レベル側の高周波でやや強度が低く、中間周波数帯よりやや高周波よりの解像度レベルに最大強度を持ち、最低解像度レベル側の低周波でどんどん強度が低くなる特性を持った分布としては都合よくポアッソン分布がある。ここでは、5段の多重解像度変換の段数に対し、ポアッソン分布の平均値μが真ん中より少し低周波側の2.0の解像度レベルを与えるような設定例を示す。全体の解像度レベルの中では40%の位置にポアッソン分布の平均値μを通常、設定する。すなわち、以下の式のようになる。
【数２７】
【０１２５】
具体的の数値は以下のようになる。ただし、式上では明示的に書き表していないが、設定した分布強度の最大値で規格化処理を入れるようにしている。
【数２８】
ピーク強度が一段目と２段目の間にあり、平均値の2.0段よりやや高周波解像度に寄っていることが分かる。
【０１２６】
次に、解像度間の重みについても同様にエッジ強調率が100%を超える場合についての対応方法について考察する。エッジ強調率が100%を超えてくると、低解像度側で拾ったエッジ成分によるハウリングやハローの危険性がますます増大してくる。それは中間解像度のエッジ成分についても同様のことが当てはまるようになる。したがって、高解像度側のエッジ成分だけが最も自然な形で画像崩壊をもたらすことなくエッジ強調を行うことができるようになる。これは、多重解像度によるエッジ強調効果、すなわちコントラスト強調、テキスチャ回復、彩度強調、色コントラスト回復の効果を漸近的に実空間における輝度面のみのエッジ強調処理にうまく接続しないと、画像崩壊を防止することができないことを意味している。
【０１２７】
このための制御方法としてポアッソン分布は極めて都合のよい特性を持っており、エッジ強調率が大きくなるに従い、ポアッソン分布の平均値を解像度レベルで1ないしは0に近づける操作をするだけで、その目的を実現できる。以下にその実現式を記述する。すなわち、ポアッソン分布の平均値の通常設定を最初に行い、エッジ強調率が100%を超える領域でその平均値が1に近づくような操作を行う。現在、扱っている多重解像度の段数がM段であるとすると、以下の式より平均値μを求めるようにする。なお、以下の式はエッジ強調率が100%以下の場合にもあてはまる式である。
【数２９】
【０１２８】
エッジ強調率が100%を超えて極めて大きくなった場合の極限状態における、解像度間の重みの分布状態は以下のように高解像度側に変化することになる。M=5段の場合の例である。ここでも、エッジ強調率が大きくなった場合にのみ限らず、ノイズ除去率が大きくなったときも相対的にエッジ成分がノイズゆらぎ幅に比べて大きく見えてしまうことを考慮している。
【数３０】
【０１２９】
以上のように、エッジ強調率が100%を超えるような場合、解像度間の重みの分布状態、すなわち解像度間の重みの重心位置を、エッジ強調率の大きさに応じて高解像度側に変化するようにしている。こうして、エッジ強調率が800%になっても自然なエッジ強調をすることができるようになり、画像の崩壊をもたらさない。
【０１３０】
ここで、通常の実空間におけるアンシャープマスクによるエッジ強調処理と本実施形態に述べている多重解像度エッジ強調処理との違いについて指摘しておく。通常のアンシャープマス処理によるエッジ強調は、低周波サブバンドに位置づけられる実空間のLL0の解像度で、原画像と7x7程度の平滑化画像との間の差分による高周波成分をとり、コアリング成分はノイズ成分として除外した後にハウリング、リンギング成分を主に抽出して、それらを強調スケーリングした後に原画像、ないしは平滑化画像に加える。すなわち、アンシャープマスクは、抽出したエッジ成分のうち、ノイズに埋もれる程度のエッジ成分はベースクリップ処理で排除してしまい、ある程度リンギングやハウリングを前提とした強度の強いエッジ成分を抽出しているだけである。
【０１３１】
これに対し、多重解像度によるエッジ強調は、基本的にノイズのゆらぎ程度に相当するコアリング成分を抽出し、ハウリング、リンギング成分は除外するとともに、その扱う周波数帯が、輝度面では最終的にエッジ強調率が上がってくると高周波サブバンドを主体とする点において、通常のアンシャープマスク処理によるエッジ強調と機能と役割は随分と異なっている。すなわち、多重解像度によるエッジ強調は、ノイズに埋もれる程度のエッジ成分だけを抽出することを前提としており、ノイズと同程度の強度のエッジ成分をノイズからうまく選別して取り出している。それによって、ノイズ増幅を伴わずに、かつ多重解像度で扱うことによって大きな画像改善の効果を得ることになる。ここではノイズに埋もれる程度のわずかなゆらぎのエッジ成分が重要な役割を果たしている。
【０１３２】
したがって、多重解像度エッジ強調によるコントラスト、テキスチャ、彩度、色コントラスト回復機能と、アンシャープマスクによるエッジ強調とは独立な機能であるため、並列に両者を同時使用しても全く問題ない。
【０１３３】
１０−３．実エッジ成分の統合処理
上述のような自然な印象のエッジ強調効果を得るのに最適な周波数バンド間の重みがつけられたエッジ成分を下式のように統合する(処理(1-12)(2-12)(3-12)(4-12)(5-12))。
【数３１】
【０１３４】
ただし、項目番号９の実ノイズ統合のときと同様に、下層から統合されてきたLLバンドのエッジ成分と元からLLバンドのエッジ抽出によって存在するエッジの２つのエッジ成分は加算することによって統合を行うものとする(処理(1-13)(2-13)(3-13)(4-13)(5-13))。その他は逆ウェーブレット変換処理を行うことによって統合する。
【０１３５】
このようにして抽出されるエッジ成分は、輝度面と色差面の原画像の周波数の性質に合わせて周波数調合していることから、エッジ強調によるコントラスト復元に最適な周波数投影空間を原画像の性質に合わせて変えているといってもよい。また、更にエッジ強調率やノイズ除去率に応じても周波数投影空間を変更していることに相当する。
【０１３６】
１１．統合ノイズ成分の自己精錬
次に統合ノイズ成分に対してもう一度項目番号５と同じ考え方に基づき、次式によりノイズ成分の自己精錬を行う(処理(0-1))。すなわち、最終的に実解像度と同じレベルまで統合されてきたノイズ成分が、再度その分布形状が仮説に基づいて、均等色・均等ノイズ空間における理想的なノイズ分布であるガウス分布をしているか２重に検証を行うのである。
【数３２】
【０１３７】
統合ノイズ成分に対するノイズの自己精錬には２重検証の意味以外にもう一つ重要な意味がある。それは、ノイズ成分を完全系に対して冗長な２つの低周波サブバンド群と高周波サブバンド群とからなる周波数投影空間で抽出しているので、各々のサブバンドで抽出されたノイズ成分がガウス分布していても、統合後の周波数冗長性をもつノイズ成分が再度ガウス分布するか保証がないからである。したがって、もう一度理想ノイズ分布の仮説に基づいてガウス分布形状に近づけることには非常に意味がある。
【０１３８】
ここに、σN thの値は項目番号５と同じ考え方に基づき、実空間のノイズゆらぎ指標値σth の値の６倍に設定するとよい。すなわち、ノイズゆらぎ指標値に対してシックス・シグマを超える統計的に100%ノイズとは考えられないノイズ成分を排除する。
【０１３９】
１２．統合エッジ成分の自己精錬
統合エッジ成分に対しても、もう一度項目番号６と同じ考え方に基づき、次式によりエッジ成分の自己精錬を行う(処理(0-2))。すなわち、最終的に実解像度と同じレベルまで統合されてきたエッジ成分が、再度その分布形状が仮説に基づいて、均等色・均等ノイズ空間における理想的なエッジ分布であるガウス分布をしているか２重に検証を行うのである。
【数３３】
【０１４０】
統合エッジ成分に対するエッジの自己精錬には２重検証の意味以外にもう一つ重要な意味が項目番号１１と同じ理由である。それは、エッジ成分も完全系に対して冗長な２つの低周波サブバンド群と高周波サブバンド群とからなる周波数投影空間で抽出しているので、各々のサブバンドで抽出されたエッジ成分がガウス分布していても、統合後の周波数冗長性をもつエッジ成分が再度ガウス分布するか保証がないからである。したがって、もう一度理想エッジ分布の仮説に基づいてガウス分布形状に近づけることには非常に意味がある。
【０１４１】
ここに、σE thの値は項目番号６と同じ考え方に基づき、実空間のノイズゆらぎ指標値σth の値と同じ値に設定するのがよい。そうすることによってリンギング成分を排除するとともに、ノイズ除去フィルタで区別できないためにノイズ除去によって消失してしまうと予測される微弱エッジ成分を、ここで同じ量だけ再度復活して抽出することが可能になる。
【０１４２】
１３．統合エッジによる統合ノイズ成分の精錬（相互精錬３）
統合ノイズ成分に対してもう一度項目番号７と同じ考え方に基づき、次式によりノイズ成分の統合エッジ成分による相互精錬を行う(処理(0-3))。これは、近隣でエッジ強度（絶対値）の強い領域ではノイズ成分の中にエッジ成分が混入している確率が高いというモデルを、もう一度複数の解像度レベルの相関を多重的に加味した統合エッジ成分を観測することによって、単一の解像度で観測したエッジ成分だけでは見出しえなかった、近隣のエッジ状況というものを周波数の視点を変えて検証することにある。すなわち、
【数３４】
【０１４３】
ここに、σNE thの値は、項目番号７と同様の考え方に基づき、実空間のゆらぎ指標値σth の値の６倍に設定するとよい。すなわち、ノイズゆらぎ指標値に対してシックス・シグマを超える統計的に100%エッジといえる領域でノイズ成分に誤って含まれやすいエッジ成分を排除する。また、同じガウス分布による相互混入モデルを用いているので、この相互精錬によって理想のノイズ・モデルの形が崩されることもなく、より理想形に近づく。
【０１４４】
１４．統合ノイズによる統合エッジ成分の精錬（相互精錬４）
統合エッジ成分に対しても、もう一度項目番号８と同じ考え方に基づき、次式によりエッジ成分の統合ノイズ成分による相互精錬を行う(処理(0-4))。これは、近隣でノイズ強度（絶対値）の強い領域ではエッジ成分の中にノイズ成分が混入している確率が高いというモデルを、もう一度複数の解像度レベルの相関を多重的に加味した統合ノイズ成分を観測することによって、単一の解像度で観測したノイズ成分だけでは見出しえなかった、近隣のノイズ成分の分布状況というものを周波数の視点を変えて検証することにある。
【数３５】
【０１４５】
ここに、σEN thの値は、項目番号８と同様の考え方に基づき、実空間のゆらぎ指標値σth の値と同じ値に設定するのがよい。そうすることによって、エッジ成分の中に含まれた抽出ノイズ成分でも観測されているはずのノイズ成分を除外することができる。また、同じガウス分布による相互混入モデルを用いているので、この相互精錬によって理想のエッジ・モデルの形が崩されることもなく、より理想形に近づく。
【０１４６】
なお、項目番号８で記載した言い換えの表現は、本統合ノイズによる統合エッジ成分の精錬においても同様に言える。
【０１４７】
１５．仮想ノイズ除去輝度面の生成
次の項目番号１６で用いるノイズのない参照輝度面を得るために、実ノイズ統合されたノイズ成分を100%用いて、一時的な仮想ノイズ除去輝度面を生成する。
【数３６】
【０１４８】
ただし、場合によってはこの処理を飛ばして、ノイズ除去されていない原画像の輝度面L^(x)（上記式の右辺の第１項）で代用してもよい。
【０１４９】
１６．実際のノイズ除去処理と実際のエッジ強調処理
実施の形態冒頭の基本的な考えの説明でも述べたように、このようにしてノイズ成分とエッジ成分の自己及び相互精錬を多重に繰り返してきたにもかかわらず、排除し切れない相互混入成分が存在する。それらによるノイズ除去処理とエッジ強調処理への弊害を最小化し、ノイズ除去とエッジ強調の効果を最大化するには、弊害と効果を事前に予測した工夫をノイズ除去率とエッジ強調率に導入する余地が残されている。
【０１５０】
これまでの処理でノイズ成分とエッジ成分は均等色・均等ノイズ空間で抽出してきており、画像全面に渡って一様なノイズ除去率λと一様なエッジ強調率ζでノイズ除去とエッジ強調を行うと、均等色・均等ノイズ空間では全ての明るさレベルの階調に渡って一様にノイズ除去効果とエッジ強調効果が得られるはずである。しかし、一旦作業用色空間から出力色空間へ変換したとき、その階調特性の違いから出力空間でみた画像では、ある部分のノイズ除去効果とエッジ強調効果が実質的に弱まり、またそれらの弊害がある部分では強調されて現れてくる可能性がある。
【０１５１】
これらの効果と弊害の増減幅の見えは、主として出力色空間の階調特性と作業用色空間の階調特性の微分比率で効いてくると考えられる。そこでこの出力色空間の階調特性γと作業用色空間の階調特性Γの微分比率で表された明るさに対するコントラスト比関数を以下のように定義する。ここに、Yは線形階調特性を表す。項目番号１で定義されたXYZ空間のYと同じである。
基準コントラスト比関数
【数３７】
【０１５２】
実際の例では、分子の出力色空間のガンマ曲線γ(Y)は図７（ａ）のＡあるいはＢのような曲線で表され、分母の作業用色空間のガンマ曲線Γ(Y)は図７（ａ）のＣに描かれたような曲線で表され、Γ(Y)は項目番号１の関数f(t)の定義と同一である。また、輝度面の明るさのみをコントラスト比関数の引数として参照するので、原画像の明るさS(x,y)は項目番号１で変換されたL^(x,y)を参照することと同じである。
【０１５３】
図７（ｂ）の曲線群は、コントラスト比関数の２番目に書かれた式をγとしてＡとＢの曲線に選んだ場合の様子を示した図であり、一本の直線は、コントラスト比関数の２番目に書かれた式をγとしてＣの曲線に選んだ場合の様子を示した図である。したがって、実際のコントラスト比関数の１番目と３番目に書かれた式の曲線は横軸を線形階調YからΓ(Y)を通したスケーリングで描けばよい。すなわち、横軸がΓ(Y)の場合は、横軸の暗い部分は引き伸ばされ、明るい部分は縮められたような図となる。
【０１５４】
１６−１．ノイズ除去率のコントラスト比関数による汎関数表現(処理(0-7))
１）汎関数表現１（ガンマ版）
ノイズ除去率の汎関数表現は、作業用色空間で一様なノイズ除去をしたのと同程度の見栄えを保持しつつ、出力色空間におけるノイズ除去効果が全ての明るさで均質化されることを第一の目標とする。そうすることによって、ある明るさレベルの階調コントラストが出力色空間の方が立った領域のノイズ増幅感というのは抑えられ、また階調コントラストが出力色空間の方が寝ている特定領域だけのノイズ減幅作用による不均一感というのは抑えられる。
【０１５５】
このとき、ノイズ除去率を出力ガンマ特性に合わせて増減幅する際の、増減幅の基準点の設定をどこに選択するかという問題が重要になる。輝度成分の場合、それは出力色空間で平均輝度レベル（256階調では128前後）になることを目標として設計される露出基準点にとるのがよい。これは通常、線形階調で18%グレーと呼ばれるISO規格のグレーチャート基準被写体の明るさレベルに相当する。そうすると出力色空間での輝度成分のノイズ除去の見えは、明るさ全体で平均的に一定に保たれたように見えるようになる。したがって、出力色空間への階調変換によってノイズ増幅する恐れのあった暗い部分の領域のノイズ被りによるコントラスト低下を防止し、クリアなノイズ除去結果を得ることができる。
【０１５６】
一方、色差成分は輝度成分より一般的に強い目のノイズ除去を必要とするため、輝度成分のようにダイナミックにノイズ除去率を操作することはできず、ノイズ除去効果を落とさずにコントラスト保持できる部分のノイズ除去を緩める形をとる。具体的には出力ガンマ特性がニー特性になる領域の飽和基準点で規格化を行なう。飽和基準点として例えば出力階調特性が256階調に対して180〜220程度になる点を選択する。するとハイライト部の色差面ノイズ除去率を弱めることになり、ハイライト部は一般に色差面では高彩度部に対応するので、高彩度部の色抜けを防止し、色再現性の高い色斑ノイズ除去効果を生む。また、輝度成分の暗部ノイズ除去効果と相まって、暗部のノイズ被りや色斑かぶりが完全に消えて、原画像よりも曇りの抜けた透明感を生み出す。
【０１５７】
これらを実現するノイズ除去率のコントラスト比関数による汎関数表現は以下の式で表される。輝度成分の場合、上記露出基準点に基づくコントラスト比を次式の分母に代入することにより規格化が行われる。また、色差成分の場合、上記飽和基準点に基づくコントラスト比を次式の分母に代入することにより規格化が行われる。
【０１５８】
輝度成分の場合
【数３８】
色差成分の場合
【数３９】
ここで色差成分については、色相が変化してしまうことを防止するために、以下の式で示すようにクリッピング処理を入れる。
ζ（→ｘ） ＝ ＭＩＮ（ζ（→ｘ），１．０）
【０１５９】
２）汎関数表現２（レチネックス版）
ノイズ除去率の汎関数表現は、もう一つ別の視点から作ることができる。すなわち、汎関数表現１では画像全体の明るさレベルの間でノイズ除去効果が均質化されることを目標としたのに対し、ここでは局所的なエッジ構造近傍の範囲内で明るさレベル間のノイズ除去効果が均質化されることを目標とする。これは、画像構造を決める重要な部分はエッジ近傍に集中しており、その周りさえノイズ除去効果が明るさに対して均質化されていれば画像全体としてのノイズ除去効果は非一様であってもその均質化作用が持つもう一つ別な側面を局所的な領域に対して最大限発揮しうる、という考えに基づく。
【０１６０】
すなわち、ノイズ除去効果の均質化にはもう一つ、ノイズ成分から分離し切れなかったエッジ成分によるエッジ構造破壊の弊害を明るさレベル間で均質化することにより、その弊害の見えの強いところの存在に伴って全体的な印象を悪くしてしまう不均一さの視覚的な欠点を減らして、弊害の見えを平均的に最小化するという意味がある。したがって、エッジ近傍で重点的にこのノイズ除去の弊害対策を実施すれば、効果的に画像の重要な構造情報を保存することができる。
【０１６１】
この場合も、一般的な階調特性をもつ出力色空間に対しては、明るいところで作業用色空間の階調コントラストの方が高いことに伴ってその領域に混入するエッジ成分のコントラストも強くなりやすく、その領域で弊害が起きやすい。輝度成分の場合は白い画像領域面内の構造情報が消失しやすく、色差成分の場合は高彩度部の色情報を失いやすい。
【０１６２】
したがって、以下のような式によってノイズ除去率をコントラスト比関数の汎関数表現するとよい。このとき参照するエッジ情報としては、画像構造を局所的にも大局的にもあらゆるスケールで観測する多重解像度統合エッジ成分を用いるのが最適である。また、ノイズ成分やリンギング成分がしっかりと除外されて視覚的に重要な周波数帯域が加味された統合エッジ成分Ew"(x,y)を用いるのが最もよい。
【０１６３】
輝度成分の場合
【数４０】
色差成分の場合
【数４１】
ここで色差成分については、色相が変化してしまうことを防止するために、以下の式で示すようにクリッピング処理を入れる。
ζ（→ｘ） ＝ ＭＩＮ（ζ（→ｘ），１．０）
【０１６４】
ここに、σgE thの値は、実空間におけるノイズゆらぎ指標値σthに連動する値、ないしは絶対エッジ強度レベルで与えるとよい。それによって、輪郭ボケによるエッジ・コントラスト低下を防止したいエッジ強度レベルを設定することができる。
【０１６５】
３）汎関数表現３（合成版）
ノイズ除去率の汎関数表現１と２は局所的に各々で効き方が違う。したがって、２つの方法を組み合わせた使い方も考えられる。その場合は基本的に２つの汎関数表現部分の積をとった汎関数表現をすればよい。
【０１６６】
１６−２．エッジ強調率のコントラスト比関数による汎関数表現(処理(0-8))
１）汎関数表現１（ガンマ版）
エッジ強調率の汎関数表現もまた同様に、作業用色空間で一様なエッジ強調をしたのと同程度の見栄えを保持しつつ、出力色空間におけるエッジ強調効果が全ての明るさで均質化されることを第一の目標とする。そうすることによって、ある明るさレベルの階調コントラストが出力色空間の方が立った領域での作業用色空間での低いコントラストで抽出したエッジ成分によるエッジ強調不足というのは抑えられ、また階調コントラストが出力色空間の方が寝ている特定領域だけの作業用色空間での高いコントラストで抽出したエッジ成分による過剰なエッジ強調作用による不均一感というのは抑えられる。すなわち、作業用色空間の方が出力色空間よりコントラストの低い階調領域ではエッジ成分のコントラストを事前に高め、反対にコントラストが高い領域ではエッジ成分のコントラストを事前に弱める必要がある。
【０１６７】
このとき、エッジ強調率を出力ガンマ特性に合わせて増減幅する際の、増減幅の基準点の設定をどこに選択するかという問題が重要になるが、ノイズ除去率のときと同じくして、輝度成分の場合、それは出力色空間で平均輝度レベル（256階調では128前後）になることを目標として設計される露出基準点にとるのがよい。そうすると出力色空間での輝度成分のエッジ強調の見えは、明るさ全体で平均的に一定に保たれたように見えるようになる。したがって、出力色空間への階調変換によってエッジ・コントラスト不足に陥る恐れのあった暗い部分の領域の、階調補正不足による黒浮き現象を防止し、階調性が原画像よりも高い、黒の締まったクリアなエッジ強調効果を得ることができる。
【０１６８】
一方、色差成分は、作業用色空間と同じようなエッジ強調効果を出力色空間でも得ようとすると、輝度成分より一般的に強い目のエッジ強調を必要とする。なぜならば、色差成分は高周波のエッジ構造をあまり含まず、緩やかに変化するエッジ構造が多いため、エッジ成分が抽出しにくいことに由来する。したがって、輝度成分のようにダイナミックにエッジ強調率を操作することはできず、エッジ強調効果を落とさずにコントラスト保持できる部分だけのエッジ強調を緩める形をとる。
【０１６９】
具体的にはノイズ除去率の場合と同じくして、出力ガンマ特性がニー特性になる領域の飽和基準点で規格化を行なう。するとハイライト部の色差面エッジ強調率を弱めることになる。ハイライト部は一般に色差面では高彩度部に対応するので、エッジ成分の抽出が容易であり、また作業用色空間の方が出力色空間よりコントラストが高いので、そのまま利用するとカラフルネスを上げ過ぎる弊害が生じる。したがって、ハイライト部のエッジ強調率を弱めることによって、高彩度部の極端な彩度強調を防止し、他の暗い領域の色コントラストとカラフルネス復元とのバランスを保った全体的に色再現性の高いエッジ強調効果を生む。また、輝度成分の暗部エッジ強調効果と相まって、暗部のノイズ被りによる黒浮きや他の領域から暗部への色滲みが完全に消え、原画像よりも黒の再現性の高い、抜けのよい鮮明感や透明感を生み出す。
【０１７０】
これらを実現するエッジ強調率のコントラスト比関数による汎関数表現は以下の式で表される。ノイズ除去率と同様に、輝度成分の場合、上記露出基準点に基づくコントラスト比を次式の分母に代入することにより規格化が行われる。また、色差成分の場合、上記飽和基準点に基づくコントラスト比を次式の分母に代入することにより規格化が行われる。
輝度成分の場合
【数４２】
色差成分の場合
【数４３】
【０１７１】
２）汎関数表現２（レチネックス版）
エッジ強調率の汎関数表現に関しても、もう一つ別の視点から作ることができる。すなわち、汎関数表現１では画像全体の明るさレベルの間でエッジ強調効果が均質化されることを目標としたのに対し、ここでは局所的なエッジ構造近傍の範囲内で明るさレベル間のエッジ強調効果が均質化されることを目標とする。これは、画像構造を決める重要な部分はエッジ近傍に集中しており、その周りさえエッジ強調効果が明るさに対して均質化されていれば画像全体としてのエッジ強調効果は非一様であってもその均質化作用が持つもう一つ別な側面を局所的な領域に対して最大限発揮しうる、という考えに基づく。
【０１７２】
すなわち、エッジ強調効果の均質化にはもう一つ、エッジ成分から分離し切れなかったノイズ成分によるノイズ増幅の弊害を明るさレベル間で均質化することにより、その弊害の見えの強いところの存在に伴って全体的な印象を悪くしてしまう不均一さの視覚的な欠点を減らして、弊害の見えを平均的に最小化するという意味がある。したがって、エッジ近傍で重点的にこのエッジ強調の弊害対策を実施すれば、効果的に画像の重要な構造部のコントラストを、ノイズ被りの影響から保護することができる。
【０１７３】
この場合も、一般的な階調特性をもつ出力色空間に対しては、明るいところで作業用色空間の階調コントラストの方が高いことに伴ってその領域に混入するノイズ成分のコントラストも強くなりやすく、その領域でノイズ被りの弊害が起きやすい。輝度成分の場合は白い画像領域面内の構造情報がノイズに埋もれやすく、色差成分の場合は高彩度部の色情報がノイズに埋もれやすい。
【０１７４】
したがって、以下のような式によってエッジ強調率をコントラスト比関数の汎関数表現するとよい。このとき参照するエッジ情報としては、画像構造を局所的にも大局的にもあらゆるスケールで観測する多重解像度統合エッジ成分を用いるのが最適である。また、ノイズ成分やリンギング成分がしっかりと除外されて視覚的に重要な周波数帯域が加味された統合エッジ成分Ew"(x,y)を用いるのが最もよい。
【０１７５】
輝度成分の場合
【数４４】
色差成分の場合
【数４５】
【０１７６】
ここに、σgE thの値は、実空間におけるノイズゆらぎ指標値σthに連動する値、ないしは絶対エッジ強度レベルで与えるとよい。それによって、ノイズ被りの影響によるコントラスト低下を防止したいエッジ強度レベルを与えることができる。
【０１７７】
３）汎関数表現３（合成版）
エッジ強調率の汎関数表現１と２も局所的に各々で効き方が違う。したがって、２つの方法を組み合わせた使い方も考えられる。その場合は基本的に２つの汎関数表現部分の積をとった汎関数表現をすればよい。
【０１７８】
１６−３．ノイズ除去処理とエッジ強調処理の実行
このようにしてノイズ除去とエッジ強調の効果の最大化と弊害の最小化が図られたノイズ除去率とエッジ強調率の汎関数表現を用いて、実際にノイズ除去処理とエッジ強調処理を行う。
【０１７９】
１）ノイズ除去処理だけの場合
ノイズ除去処理だけの場合、次式によりノイズ除去を行い(処理(0-9))、ノイズ除去後の画像を出力する(処理(0-10))。
【数４６】
２）エッジ強調処理だけの場合
エッジ強調処理だけの場合、図４の処理(0-9)を行わず、次式によりエッジ強調のみを行い(不図示)、エッジ強調後の画像を出力する(不図示)。
【数４７】
３）ノイズ除去処理とエッジ強調処理を同時に行う場合
ノイズ除去処理とエッジ強調処理を同時に行う場合、上記ノイズ除去処理だけの場合の処理(処理(0-9))を行った後、エッジ強調処理を行い(処理(0-11))、ノイズ除去およびエッジ強調後の画像を出力する(処理(0-12))。ノイズ除去処理とエッジ強調処理の両方を行う場合の式をまとめると次式のようになる。
【数４８】
【０１８０】
ここに、ノイズ除去で損失を被った程度の輪郭ボケを回復したい目的でエッジ強調を行う場合は、
【数４９】
のように設定するのがよい。そうするとλjointのノイズ除去率を上げるに伴ってノイズ除去効果が強くなっていく画質設計を保ったまま、ノイズ除去で失ってしまうノイズに埋もれたテキスチャをも復元しうる高性能なノイズ除去が可能となる。
【０１８１】
一方、ノイズ除去を伴わずに、各ＩＳＯ感度の原画像のノイズによる不鮮明感だけを取り除きたい場合は、λjoint＝０、ζjoint≠０とすればよい。
【０１８２】
ここで注目すべき指摘しておきたい点がある。上述のようにして物理的現象を追うことによって解明してきたノイズ除去率の汎関数表現の最適解とエッジ強調率の汎関数表現の最適解は偶然にも一致するのである。抽出エッジ成分の中に含まれる分離不可能なノイズ成分の視点に立てば、エッジ強調率の汎関数表現はエッジ成分の中に混在するノイズ成分の増幅を恐れてノイズ除去率の汎関数表現の逆数に設定する論理も考えられうる。しかし、実験的に一致する表現の方がそれに勝る結果が得られるのは、抽出エッジ成分からノイズ成分をうまく排除して真のエッジ成分に近づけたことにより、エッジ成分を純粋なエッジ成分として扱ってよく、ノイズ成分の増幅を恐れる心配がなくなった証拠と言える。したがって、処理上は各々で個別の汎関数表現を作成する手間は省ける。また、これの物理的意味は、ノイズ除去で失ったエッジ構造を正確に同じような振る舞いで元に戻そうとすると同じ関数形になるということとも無縁ではない。しかし、ノイズ除去とエッジ強調は全く独立事象であるにもかかわらず、階調方向に関しては一致する。他方のステップＳ１０の周波数投影空間では不一致である。
【０１８３】
１７．出力色空間への変換
次に、図２のステップＳ４において、ノイズ除去およびエッジ強調された画像について画像処理空間から出力色空間へ変換する。出力色空間が入力色空間と同じでよい場合は、項目番号１の逆変換処理を行なう。また、異なっている場合は各入力及び出力の標準色空間の規定に従って変換すればよい。例えば、入力がAdobeRGBで出力がsRGBのような場合が考えられる。また、それだけに留まらず、出力画像に対して更に階調補正が加えられていてもよい。例えば、画像に掛けるガンマ曲線の特性を変える。そのときは事前に項目番号１６−１と項目番号１６−２側にその特性情報を伝えて、コントラスト比関数を事前に計算できるようにしておく。
【０１８４】
１８．画像出力
図２のステップＳ５では、以上のようにしてノイズ除去およびエッジ強調された画像データを出力する。
【０１８５】
以上のようにしてエッジ強調処理された画像に対して、次のような画質効果を生じる。まず、高感度撮影されてノイズ被りによってエッジのコントラストが低下し、黒浮きした画像に対して、輪郭の鮮明さを回復し、ノイズと同程度の振幅のテキスチャ構造にしっかりとコントラストをつけ、全体の鮮鋭感・立体感を上げるとともに、黒の締まりを良くしてノイズ被りによる曇りをなくし、階調表現性を豊かにすることによって透明感を上げ、色境界の滲みをなくして色コントラストを上げ、全体のノイズ被りによる彩度低下をなくして、カラフルネスを上げる効果がある。
【０１８６】
また、同様にしてノイズ除去された画像に対してエッジ強調処理を同時化することによって、ノイズ除去で失われたエッジ構造を復元する効果が得られる。すなわち、ノイズ除去による鮮鋭感の低下を回復し、ノイズ除去によって失われたノイズと同程度に変化するテキスチャをも回復しつつ粒状性ノイズを低減し、また、暗部のノイズを抑制し、明部のノイズ被りも防止することによって階調性を上げ、色滲みと平坦部での緩やかな色構造の消失の少ない色斑ノイズ除去を実現する。
【０１８７】
また、これらのエッジ強調による画像エンハンスメントとノイズ除去によるノイズ抑制を、それらの強度、すなわちエッジ強調率とノイズ除去率の強さに応じて自然な画質を保ったまま連続的に実現することができる。いいかえると、高感度撮影された画像に対する原画像をも凌ぐ良好な画質のエンハンスメント効果は、低感度撮影された画像に近づけるような自然な形でなされて、そこから踏み外すことはないことを保証する。
【０１８８】
したがって、鮮鋭感、鮮明感、立体感、透明感に代表されるような主観的な質感再現性も、解像力、色分解能、有効階調帯域幅に表されるような物理量の再現性も高いエッジ強調やノイズ除去効果を得ることができる。
【０１８９】
なお、低感度撮影画像にもノイズというものは必ず存在し、これらのエンハンスメント効果が同様にして得られることは実験的にも確認している。
【０１９０】
−第２の実施の形態−（実空間版）
第２の実施の形態では、実空間面のままノイズ除去とエッジ強調を同時に行う実施形態を示す。
【０１９１】
第２の実施の形態の画像処理装置の構成は、第１の実施の形態と同様であるので、図１を参照し、その説明を省略する。また、パーソナルコンピュータ１が処理する第２の実施の形態の画像処理のフローチャートも、流れとしては図３と同様であるので、その説明を省略する。以下、第１の実施の形態の処理と異なる点を中心に説明をする。図８は、第２の実施の形態のノイズ除去処理およびエッジ強調処理の流れ図を示す図である。
【０１９２】
１．色空間変換
第１の実施の形態の項目番号１と同じ。
【０１９３】
２．仮想ノイズ除去によるノイズ抽出
２−１．ノイズ除去処理
実空間面はS(x,y)で表されているので、第１の実施の形態のサブバンド面V(x,y)に対する処理をVからSに置き換えるだけでよい(処理(x-1))。ただし、積分範囲は大きくとる必要が出てくる。
【０１９４】
ノイズ除去フィルタとして、σフィルタやεフィルタ等、平滑化面S'を作るノイズ除去処理の方法は何を用いても構わないが、第１の実施の形態と同じく改良型バイラテラル・フィルタの例を示しておく。
【数５０】
【０１９５】
本当にきれいなノイズ除去効果を得るにはrthの値を50程度にとってフィルタリング範囲を101x 101画素程度にするのがよいが、ここでは説明の簡略化のためrth=12にとって25x25の範囲で積分を行なうものとする。ただし、σフィルタやεフィルタの場合は、空間的な因子には無頓着なのでrthに相当するパラメータは存在せず、単に積分範囲を設定するだけである。
【０１９６】
２−２．ノイズ抽出処理
次式のようなノイズ抽出処理を行う(処理(x-3))。
【数５１】
【０１９７】
３．エッジ抽出
仮想ノイズ除去された実空間面からエッジ成分を抽出する(処理(x-3))。
【数５２】
【０１９８】
ここで、エッジ検出フィルタとしてはラプラシアン・フィルタを用いる。第２の実施の形態と同じ9x9のラプラシアン・フィルタでもよいが、平滑化フィルタを25x25に設定したので、こちらも25x25程度に設定するのが望ましい。25x25のラプラシアンは、9x9のガウシアン・フィルタを3回掛けた平滑化画像と原画像の差分をとれば作成できる。すなわち、
【数５３】
【０１９９】
４．ノイズ成分の自己精錬
第１の実施の形態の項目番号１１と同じ式を用いて、ノイズ成分の自己精錬を行う(処理(0-1))。ただし、Nwの記号はNに置き換える。
【０２００】
５．エッジ成分の自己精錬
第１の実施の形態の項目番号１２と同じ式を用いて、エッジ成分の自己精錬を行う(処理(0-2))る。ただし、Ewの記号はEに置き換える。
【０２０１】
６．エッジによるノイズ成分の精錬（相互精錬１）
第１の実施の形態の項目番号１３と同じ式を用いて、エッジによるノイズ成分の精錬を行う(処理(0-3))。ただし、Nwの記号はNに、Ewの記号はEに置き換える。
【０２０２】
７．ノイズによるエッジ成分の精錬（相互精錬２）
第１の実施の形態の項目番号１４と同じ式を用いて、ノイズによるエッジ成分の精錬を行う(処理(0-4))。ただし、Nwの記号はNに、Ewの記号はEに置き換える。
【０２０３】
８．実際のノイズ除去処理と実際のエッジ強調処理
第１の実施の形態の項目番号１６と同じ式を用いる(処理(0-7)(0-8)(0-9)(0-11))。ただし、Nwの記号はNに、Ewの記号はEに置き換える。また、便宜上、第１の実施の形態の項目番号１５に相当する処理は省略した。
【０２０４】
９．出力色空間への変換
第１の実施の形態の項目番号１７と同じ。
【０２０５】
こうして得られる画像処理結果には、第１の実施の形態の周波数投影空間の最適選択の効果の部分を除いて、第１の実施の形態と同様にノイズ成分とエッジ成分の分離性能の高い、また、それらの中に含まれる不純物成分による弊害も最小化した、高品質なノイズ除去とエッジ強調の効果が得られる。
【０２０６】
―変形例―
（１）なお、上述の実施形態ではノイズ除去処理とエッジ強調処理がどちらも存在する前提で、それらを使うか否かは最後に自由選択する形式で記述したが、エッジ強調処理のみをもっと高速に実現したい場合、ノイズ除去フィルタによる平滑化処理が重い処理として障害になるので、ノイズ除去フィルタを省略して、第１の実施の形態では多重解像度表現されたサブバンド画像から直接、第２の実施の形態では原画像から直接アンシャープマスク処理によってエッジ成分を抽出するようなことも簡略な使い方としては考えられる。
【０２０７】
（２）なお、第１の実施の形態の項目番号５〜８，１１〜１５のノイズ成分とエッジ成分の自己・相互精錬、及び項目番号１６のノイズ除去率とエッジ強調率の汎関数表現による演算は、ソフトウェアで実際に処理する場合はルックアップテーブルを通過させるだけなのでほとんど無視できる程度の処理時間しかかからないことを指摘しておく。
【０２０８】
（３）なお、上記説明の画像処理空間は最良の色空間として均等色・均等ノイズ空間を用いたが、一般的な均等色空間の場合も同様にコントラスト比関数を定義して、本発明を利用することができる。例えば、CIE定義のL*a*b*空間やL*u*v*、あるいはCIECAM02でもよく、それぞれで定義される作業用色空間の階調特性と出力色空間の階調特性からコントラスト比関数を求めればよい。
【０２０９】
（４）なお、上述の第１の実施の形態ではedge-preserving smoothing filterとして高性能な改良型バイラテラル・フィルタを用いる例で示したが、エッジとノイズとの分離度は劣るが高速・簡便に動作するノイズ除去フィルタの例として本出願人発明のWO2006/106919に示される以下のようなラプラシアン・ノイズ除去フィルタがある。この場合、実施形態で定義したノイズ成分とエッジ成分の自己及び相互精錬の機能は、元の抽出されてきた各々の成分の純度が悪いため、改良型バイラテラル・フィルタのより効果的にその性能を発揮する。
【０２１０】
輝度面のノイズ除去処理
【数５４】
色差面のノイズ除去処理
【数５５】
【０２１１】
ただし、ここで定義するラプラシアンは多重解像度で利用するときは最も単純な3x3のものでよい。
【０２１２】
（５）なお、上述の第１の実施の形態では5段のウェーブレット変換の場合、低周波サブバンド画像群と高周波サブバンド画像群の解像度レベルをj=1,2,...,5として用いる例を示したが、実空間を低周波サブバンド画像群のj=0の解像度として扱うこともできる。その場合、j=1で行なったようなノイズ抽出処理やエッジ抽出処理を行なって、統合ノイズ成分と統合エッジ成分の各々に最後の段階で加算するようにしてもよい。そのときの解像度レベル間の重みづけは、j=0に対してノイズ成分の場合はホワイト・ノイズであるのでknj=1であり、kejの値は項目番号１０−２でこの場合を想定して既に記載してある数値を用いるとよい。
【０２１３】
（６）なお、上記実施の形態で説明した画像処理空間は最良の色空間を例示しただけであって、従来からの色空間でノイズ除去およびエッジ強調処理を行なっても何ら本発明の意義が薄れるものではない。例えば、最新の均等色空間であるCIECAM02などを用いてもよい。なお、この空間は均等ノイズ空間、あるいは、均等色空間のいずれの空間であってもよい。
【０２１４】
（７）上記実施の形態では、エッジ成分の自己精錬において、エッジ成分の強度に関する度数分布がノイズゆらぎ指標値σth ijに基づく所定幅のガウス分布に近づくように指数関数により演算するようにした。しかし、この処理をガウス分布ではなく次式による閾値判定とするようにしてもよい。また、ノイズによるエッジ成分の精錬、ノイズの自己精錬、エッジによるノイズ成分の精錬においても同様に閾値判定でもよい。
【数５６】
【０２１５】
（８）上記実施の形態では、パーソナルコンピュータ１で実現される画像処理装置の例で説明をした。しかし、上記で説明したパーソナルコンピュータ１によるノイズ除去処理を、デジタルカメラ（電子カメラ）内で行うようにしてもよい。図９は、このデジタルカメラ１００の構成を示す図である。デジタルカメラ１００は、撮影レンズ１０２、ＣＣＤなどからなる撮像素子１０３、ＣＰＵおよび周辺回路からなる制御装置１０４、メモリ１０５などから構成される。
【０２１６】
撮像素子１０３は、被写体１０１を撮影レンズ１０２を介して撮影（撮像）し、撮影した画像データを制御装置１０４へ出力する。ここでの処理が、第１の実施の形態で説明した図３のステップＳ１の画像データ入力に相当する。制御装置１０４は、撮像素子１０３で撮影された画像データに対して、上記で説明した各実施の形態や変形例のノイズ除去処理を行い、適切にノイズ除去されエッジ強調された画像データを適宜メモリ１０５に格納する。制御装置１０４はＲＯＭ（不図示）などに格納された所定のプログラムを実行することにより、上記説明したノイズ除去処理およびエッジ強調処理を行う。
【０２１７】
このようにして、デジタルカメラ１００内部でも、エッジ強調におけるリンギングを防ぎ、自然なエッジ強調効果を生む処理が可能となり、適切にエッジ強調された画像データをメモリ１０５に格納し、また、着脱可能なメモリカードなどの記録媒体に記録することができる。
【０２１８】
以上説明した本実施の形態や変形例の作用効果を整理すると、以下のようになる。
（１）原画像のエッジ強調を行う画像処理方法は、原画像から少なくとも１つの低周波帯域制限画像と高周波帯域制限画像のセットを生成し、各々の帯域制限画像にエッジ抽出フィルタをかけることによって低周波エッジ成分と高周波エッジ成分の各々を抽出し、低周波エッジ成分と高周波エッジ成分を合成することによって１つのエッジ成分を生成し、生成されたエッジ成分に基づいて原画像のエッジ強調を行い、エッジ強調の強さに応じて、低周波エッジ成分と高周波エッジ成分の合成比率を変えるようにした。この合成比率を変えるとは、前述の重みkei(i=LL,LH,HL,HH)を異ならせることを意味し、項目番号１０−１において、数式２３、２４により表されている。
【０２１９】
（２）このとき、原画像が輝度成分のとき、エッジ強調の強さを大きくするにしたがい、低周波エッジ成分の高周波エッジ成分に対する合成比率を下げるようにした。数式２３では、低周波エッジ成分の重みkeLLはζjointに連動して変化し、他の高周波エッジ成分の重みkeLH,keHL,keHHは固定値1が設定されている。従って、エッジ強調の強さ(ζjoint)を大きくするに従い、低周波エッジ成分の高周波エッジ成分に対する合成比率は下がるようになる。
【０２２０】
（３）また、原画像が色差成分のとき、エッジ強調の強さを大きくするにしたがい、高周波エッジ成分の低周波エッジ成分に対する合成比率を下げるようにした。数式２４では、高周波エッジ成分の重みkeLH,keHL,keHHはζjointに連動して変化し、低周波エッジ成分の重みkeLLは固定値1が設定されている。従って、エッジ強調の強さ(ζjoint)を大きくするに従い、低周波エッジ成分の高周波エッジ成分に対する合成比率は下がるようになる。
【０２２１】
（４）さらに、エッジ強調の強さを小さくするにしたがい、低周波エッジ成分と高周波エッジ成分を同程度の合成比率にするようにした。エッジ強調の強さζjointが0≦ζjoint≦1の間で変化する場合、ノイズ除去の強さλjointも十分に小さいとした場合、エッジ強調の強さζjointが小さくなるとその値は1に近づき、数式２３、２４とも、低周波エッジ成分と高周波エッジ成分の重みはすべて1に近づき同程度の合成比率となる。
【０２２２】
（５）原画像からノイズ成分を抽出し、抽出されたノイズ成分に基づいて原画像のノイズ除去を、エッジ強調とともに行うとき、低周波エッジ成分と高周波エッジ成分の合成比率を、更にノイズ除去の強さに応じても変えるようにした。これは、項目番号１０−１の数式２３〜２６においてノイズ除去率λjointも考慮されていることを意味する。
【０２２３】
（６）このとき、原画像が輝度成分のとき、ノイズ除去の強さを大きくするにしたがい、低周波エッジ成分の高周波エッジ成分に対する合成比率を下げるようにした。これは、例えば、項目番号１０−１の数式２３においてノイズ除去率λjointの値を０〜１の間で大きくすると、keLLの値は小さくなり合成比率は下がることを意味する。
【０２２４】
（７）また、原画像が色差成分のとき、ノイズ除去の強さを大きくするにしたがい、高周波エッジ成分の低周波エッジ成分に対する合成比率を下げるようにした。これは、例えば、項目番号１０−１の数式２４においてノイズ除去率λjointの値を０〜１の間で大きくすると、keLLの値は小さくなり合成比率は下がることを意味する。
【０２２５】
（８）このとき、ノイズ除去の強さを小さくするにしたがい、低周波エッジ成分と高周波エッジ成分を同程度の合成比率にするようにした。ノイズ除去率λjointが0≦λjoint≦1の間で変化する場合、エッジ強調の強さζjointも十分に小さいとした場合、ノイズ除去の強さλjointが小さくなるとその値は1に近づき、数式２３、２４とも、低周波エッジ成分と高周波エッジ成分の重みはすべて1に近づき同程度の合成比率となる。
【０２２６】
（９）原画像のノイズ除去を行う画像処理方法は、原画像から少なくとも１つの低周波帯域制限画像と高周波帯域制限画像のセットを生成し、各々の帯域制限画像にノイズ除去フィルタをかけることによって低周波ノイズ成分と高周波ノイズ成分の各々を抽出し、低周波ノイズ成分と高周波ノイズ成分を合成することによって１つのノイズ成分を生成し、生成されたノイズ成分に基づいて原画像のノイズ除去を行い、ノイズ除去の強さに応じて、低周波ノイズ成分と高周波ノイズ成分の合成比率を変えるようにした。
【０２２７】
（１０）このとき、原画像が輝度成分のとき、ノイズ除去の強さを小さくするにしたがい、低周波ノイズ成分の高周波ノイズ成分に対する合成比率を下げるようにした。
【０２２８】
（１１）また、原画像が色差成分のとき、ノイズ除去の強さを小さくするにしたがい、高周波ノイズ成分の低周波ノイズ成分に対する合成比率を下げるようにした。
【０２２９】
（１２）さらに、ノイズ除去の強さを大きくするにしたがい、低周波ノイズ成分と高周波ノイズ成分を同程度の合成比率にするようにした。
【０２３０】
（１３）原画像のエッジ強調を行う画像処理方法は、複数の画素からなる原画像を入力し、入力した原画像を分解して、逐次的に低い解像度を持つ低周波画像と、逐次的に低い解像度を持つ高周波画像を生成し、低周波画像と高周波画像の各々にエッジ抽出フィルタを掛けてエッジ成分を抽出し、それぞれに対応した低周波エッジ成分と高周波エッジ成分を生成し、生成した低周波エッジ成分と高周波エッジ成分の少なくとも一方に加重係数を掛けてエッジ成分の周波数帯域間の重みを変調し、 変調の施された低周波エッジ成分と高周波エッジ成分を合成して逐次的に高い解像度を持つ１つのエッジ成分に順次統合し、統合されたエッジ成分にエッジ強調率を掛けてその強度を調整し、調整されたエッジ成分を原画像に加算することにより、原画像のエッジ強調を行い、エッジ成分の周波数帯域間の重みを変調する加重係数の値を、エッジ強調率に応じて変えるようにした。ここでいう加重係数とは、前述した重みに対応する。ここで言う調整とは、エッジ成分をエッジ強調率に応じて大きくしたり小さくしたりすることを意味する。
【０２３１】
（１４）このとき、エッジ成分の周波数帯域間の重みを変調する加重係数の値を、エッジ強調率の値が小さいほど低周波エッジ成分と高周波エッジ成分の間の重みの差異を広げ、エッジ強調率の値が大きいほどその差異を縮めるように変えるようにした。数式２３では、低周波エッジ成分の重みkeLLはζjointに連動して変化し、他の高周波エッジ成分の重みkeLH,keHL,keHHは固定値1が設定されている。従って、エッジ強調率ζjointが0≦ζjoint≦1の間で変化する場合、エッジ強調率(ζjoint)の値が小さいほど低周波エッジ成分と高周波エッジ成分の間の重みの差異は広がり、エッジ強調率(ζjoint)の値が大きくなるとその差異を縮まるようになる。数式２４についても同様のことが言える。
【０２３２】
（１５）また、原画像が輝度成分であるとき、エッジ成分の周波数帯域間の重みを変調する加重係数の値を、エッジ強調率の値が大きくなるほど低周波エッジ成分の重みを小さく設定し、エッジ強調率の値が大きくなるほど低周波エッジ成分の重みを大きく設定するようにした。
【０２３３】
（１６）原画像が色差成分であるときは、エッジ成分の周波数帯域間の重みを変調する加重係数の値を、エッジ強調率の値が大きくなるほど高周波エッジ成分の重みを小さく設定し、エッジ強調率の値が大きくなるほど高周波エッジ成分の重みを大きく設定するようにした。
【０２３４】
（１７）原画像に含まれるノイズを除去する画像処理方法は、複数の画素からなる原画像を入力し、 入力した原画像を分解して、逐次的に低い解像度を持つ低周波画像と、逐次的に低い解像度を持つ高周波画像を生成し、低周波画像と高周波画像の各々に含まれるノイズ成分を抽出して、それぞれに対応した低周波ノイズ成分と高周波ノイズ成分を生成し、生成した低周波ノイズ成分と高周波ノイズ成分の少なくとも一方に加重係数を掛けてノイズ成分の周波数帯域間の重みを変調し、変調の施された低周波ノイズ成分と高周波ノイズ成分を合成して逐次的に高い解像度を持つ１つのノイズ成分に順次統合し、統合されたノイズ成分にノイズ除去率を掛けてその強度を減衰し、減衰されたノイズ成分を原画像から減算することにより、原画像からノイズ除去を行い、ノイズ成分の周波数帯域間の重みを変調する加重係数の値を、ノイズ除去率に応じて変えるようにした。
【０２３５】
（１８）このとき、ノイズ成分の周波数帯域間の重みを変調する加重係数の値を、ノイズ除去率の値が小さいほど低周波ノイズ成分と高周波ノイズ成分の間の重みの差異を広げ、ノイズ除去率の値が大きいほどその差異を縮めるように変えるようにした。
【０２３６】
（１９）また、原画像が輝度成分であるとき、ノイズ成分の周波数帯域間の重みを変調する加重係数の値を、ノイズ除去率の値が小さくなるほど低周波ノイズ成分の重みを小さく設定し、ノイズ除去率の値が大きくなるほど低周波ノイズ成分の重みを大きく設定するようにした。
【０２３７】
（２０）原画像が色差成分であるときは、ノイズ成分の周波数帯域間の重みを変調する加重係数の値を、ノイズ除去率の値が小さくなるほど高周波ノイズ成分の重みを小さく設定し、ノイズ除去率の値が大きくなるほど高周波ノイズ成分の重みを大きく設定するようにした。
【０２３８】
（２１）原画像をフィルタリングして、逐次的に低い解像度を持つ複数の帯域制限画像を生成し、各帯域制限画像からエッッジ成分を抽出し、抽出された各帯域制限画像のエッジ成分に対し、解像度間で重みを付けて合成することによって１つのエッジ成分に統合し、統合されたエッジ成分に基づいて、原画像のエッジ強調を行い、エッジ強調の強さに応じて、解像度間の重みの重心位置を変えるようにした。これは、項目番号１０−２において、数式２７、２９により表されている。数式２９によりエッジ強調の強さに応じてμが変化し、変化するμに応じて数式２７よりkejが変化する。この計算結果が、数式２８、３０に示されている。すなわち、エッジ強調率ζjointが1≦ζjoint≦∞に変化する場合に、数式２８から数式３０に変化するように、重みの重心位置が変化することが示されている。
【０２３９】
（２２）具体的には、エッジ強調の強さが大きくなるに従い、高解像度側に重みの重心位置を移すことが示されている。
【０２４０】
（２３）この場合、エッジ強調の強さが低い領域では、中間解像度に重みの重心を持つ解像度間の重みを付けて合成する。
【０２４１】
（２４）数式２７で示すように、解像度間の重みの分布関数は、ポアッソン分布を使用する。
【０２４２】
（２５）数式２７、２９は、エッジ強調の強さが大きくなるに従い、ポアッソン分布の平均値を高解像度側に単調に移動するように分布特性を変化させることを意味する。
【０２４３】
（２６）原画像からノイズ成分を抽出し、抽出されたノイズ成分に基づいて原画像のノイズ除去を、エッジ強調とともに行うとき、エッジ成分の解像度間の重みの重心を、更にノイズ除去の強さに応じても変えるようにした。これは、数式２９においてλjointも考慮していることを意味する。
【０２４４】
（２７）この場合、数式２７〜３０が示すように、ノイズ除去の強さλjointが大きくなるに従い、高解像度側に重みの重心位置を移す。
【０２４５】
以上のような構成により、簡単な構成で、ノイズ除去あるいはエッジ強調において低周波画像と高周波画像の画質効果の違いを考慮した処理が行われ、最適な画質の画像を提供することができる。
【０２４６】
特に、多重解像度の低周波サブバンドと高周波サブバンドのノイズ除去とエッジ強調の各々で果たす画質効果の役割を明確にし、その役割を踏まえて最適な画質を与えるパラメータ間の関係を組込むことにより、ユーザーに開放するパラメータ数を削減して扱いやすくすることができる。
【０２４７】
そして、ノイズ除去における低周波サブバンドと高周波サブバンドの使用比率をノイズ除去率と連動させて実現したことにより、本来のノイズ除去効果と弊害対策を最大化する機能をパラメータ数を削減しつつ実現することが可能となる。また、エッジ強調の場合も同様に低周波サブバンドと高周波サブバンドの使用比率を各々の果たす画質改善効果を踏まえて、エッジ強調率と連動させて実現したことにより、ユーザーに分かりやすいエッジ強調のインターフェース機能の提供とその画質復元効果を最大化するエッジ強調処理が可能となる。
【０２４８】
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。また、上記で説明した実施の形態および変形例の種々の組み合わせも、本発明の技術的思想の範囲内である限り有効である。
【符号の説明】
【０２４９】
１ パーソナルコンピュータ
２ デジタルカメラ
３ 記録媒体
４ コンピュータ
５ 電気通信回線
１１ ＣＰＵ
１２ メモリ
１３ 周辺回路
１００ デジタルカメラ
１０１ 被写体
１０２ 撮影レンズ
１０３ 撮像素子
１０４ 制御装置
１０５ メモリ
【技術分野】
【０００１】
本発明は、画像のノイズ除去処理およびエッジ強調処理に関する。
【背景技術】
【０００２】
多重解像度を用いたノイズ除去とエッジ強調の従来技術として特許文献１がある。特許文献１では、多重解像度変換、例えばウェーブレット変換の場合、LH,HL,HHからなる高周波サブバンド画像からノイズ成分とエッジ成分を抽出し、それらを多重解像度統合して統合ノイズ成分と統合エッジ成分を生成し、原画像からノイズ成分を減算することによってノイズ除去を行い、エッジ成分を加算することによってエッジ強調を行う方法が開示されている。このような見掛け上、完全系をなしている高周波サブバンドLH,HL,HHだけからなる周波数空間に投影したノイズ成分の抽出では、ノイズ除去フィルタとの組み合せにおいて周波数間隙帯が生じうるためノイズ成分の抽出漏れが起きやすい。
【０００３】
そこで、本願発明者による特許文献２では、それらを防止するため、逐次的に生成される低周波サブバンドLLの周波数空間への投影も組み合わせた冗長な周波数空間でのノイズ抽出を行い、これら低周波サブバンドと高周波サブバンドの両ノイズ成分を統合することによって、ノイズ抽出漏れを防ぐ手法を開示している。そのときノイズ除去による画像構造の破壊の弊害を最小限に食い止めるため、輝度成分と色差成分の各面が備える周波数分布の性質の違いに着目し、輝度成分では高周波サブバンドを強くノイズ除去し、低周波サブバンドは弱くノイズ除去し、色差成分ではその逆の関係にするのがよいと記述している。
【０００４】
本願発明者による特許文献３では、この低周波(L)と高周波(H)のサブバンド間のノイズ除去の強さを与えるノイズ成分の統合時におけるL/H間の加重係数k（0≦k≦1）を、例えば輝度成分の時はLL,LH,HL,HH間でk:1:1:1のように設定することを開示する。このkの値は、ノイズの周波数特性を変幻自在に変えられるためノイズ除去結果の見栄えに大きく影響を及ぼす。ノイズ除去効果の程度は人の好みによってまちまちであるため、このパラメータをユーザー・インターフェースを通じて開放する方策の例が示されている。また、エッジ強調の場合もノイズ除去と同様に低周波サブバンドと高周波サブバンドの両方から抽出したエッジ成分を統合し、その統合時のL/H間のバンド間の加重係数を自由に変えられるようにしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許第6,754,398号明細書
【特許文献２】国際公開第2007/116543号パンフレット
【特許文献３】国際公開第2007/114363号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２や特許文献３の方法では、ノイズ除去のパラメータはこのように新たに追加したL/H間の周波数調合度合いを与えるパラメータの他に、従来から存在するノイズ除去フィルタを掛けるときのノイズとエッジ構造を判別するゆらぎ幅の閾値を与えるノイズ除去強度パラメータや、抽出したノイズ成分を実際に何割程度原画像から減算するかを決めるノイズ除去率パラメータが存在する。したがって、ユーザーにとっては調整パラメータが３つも存在し、何をどう動かせば最良の目的とするレベルの画像が得られるのかが理解困難な状況に陥る危険性があった。これはエッジ強調の場合についても同様である。
【課題を解決するための手段】
【０００７】
請求項１の発明は、画像処理方法に適用され、原画像から少なくとも１つの低周波帯域制限画像と高周波帯域制限画像のセットを生成し、各々の帯域制限画像にエッジ抽出フィルタをかけることによって低周波エッジ成分と高周波エッジ成分の各々を抽出し、低周波エッジ成分と高周波エッジ成分を合成することによって１つのエッジ成分を生成し、生成されたエッジ成分に基づいて原画像のエッジ強調を行い、エッジ強調の強さに応じて、低周波エッジ成分と高周波エッジ成分の合成比率を変えることを特徴とするものである。
請求項９の発明は、画像処理方法に適用され、原画像から少なくとも１つの低周波帯域制限画像と高周波帯域制限画像のセットを生成し、各々の帯域制限画像にノイズ除去フィルタをかけることによって低周波ノイズ成分と高周波ノイズ成分の各々を抽出し、低周波ノイズ成分と高周波ノイズ成分を合成することによって１つのノイズ成分を生成し、生成されたノイズ成分に基づいて原画像のノイズ除去を行い、ノイズ除去の強さに応じて、低周波ノイズ成分と高周波ノイズ成分の合成比率を変えることを特徴とするものである。
請求項１３の発明は、画像処理方法に適用され、複数の画素からなる原画像を入力し、入力した原画像を分解して、逐次的に低い解像度を持つ低周波画像と、逐次的に低い解像度を持つ高周波画像を生成し、低周波画像と高周波画像の各々にエッジ抽出フィルタを掛けてエッジ成分を抽出し、それぞれに対応した低周波エッジ成分と高周波エッジ成分を生成し、生成した低周波エッジ成分と高周波エッジ成分の少なくとも一方に加重係数を掛けてエッジ成分の周波数帯域間の重みを変調し、変調の施された低周波エッジ成分と高周波エッジ成分を合成して逐次的に高い解像度を持つ１つのエッジ成分に順次統合し、統合されたエッジ成分にエッジ強調率を掛けてその強度を調整し、調整されたエッジ成分を原画像に加算することにより、原画像のエッジ強調を行い、エッジ成分の周波数帯域間の重みを変調する加重係数の値を、エッジ強調率に応じて変えることを特徴とするものである。
請求項１７の発明は、画像処理方法に適用され、複数の画素からなる原画像を入力し、入力した原画像を分解して、逐次的に低い解像度を持つ低周波画像と、逐次的に低い解像度を持つ高周波画像を生成し、低周波画像と高周波画像の各々に含まれるノイズ成分を抽出して、それぞれに対応した低周波ノイズ成分と高周波ノイズ成分を生成し、生成した低周波ノイズ成分と高周波ノイズ成分の少なくとも一方に加重係数を掛けてノイズ成分の周波数帯域間の重みを変調し、変調の施された低周波ノイズ成分と高周波ノイズ成分を合成して逐次的に高い解像度を持つ１つのノイズ成分に順次統合し、統合されたノイズ成分にノイズ除去率を掛けてその強度を減衰し、減衰されたノイズ成分を原画像から減算することにより、原画像からノイズ除去を行い、ノイズ成分の周波数帯域間の重みを変調する加重係数の値を、ノイズ除去率に応じて変えることを特徴とするものである。
請求項２１の発明は、画像処理方法に適用され、原画像をフィルタリングして、逐次的に低い解像度を持つ複数の帯域制限画像を生成し、各帯域制限画像からエッッジ成分を抽出し、抽出された各帯域制限画像のエッジ成分に対し、解像度間で重みを付けて合成することによって１つのエッジ成分に統合し、統合されたエッジ成分に基づいて、原画像のエッジ強調を行い、エッジ強調の強さに応じて、解像度間の重みの重心位置を変えることを特徴とするものである。
【発明の効果】
【０００８】
本発明は、以上のように構成するので、簡単な構成で、ノイズ除去あるいはエッジ強調において低周波画像と高周波画像の画質効果の違いを考慮した処理が行われ、最適な画質の画像を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態である画像処理装置を示す図である。
【図２】パーソナルコンピュータの構成を示す図である。
【図３】パーソナルコンピュータ１が処理する第１の実施の形態の画像処理のフローチャートを示す図である。
【図４】第１の実施の形態の多重解像度に基づいたノイズ除去処理およびエッジ強調処理の流れ図を示す図である。
【図５】第１の実施の形態のエッジ精錬を説明するイメージ図である。
【図６】強力な減衰特性をもつ非線形関数を示す図である。
【図７】（ａ）は出力色空間と作業用色空間におけるガンマ特性を示す図であり、（ｂ）は（ａ）で示される出力色空間のガンマ特性と作業用色空間におけるガンマ特性の微分比を示すグラフである。
【図８】第２の実施の形態のノイズ除去処理およびエッジ強調処理の流れ図を示す図である。
【図９】デジタルカメラ１００の構成を示す図である。
【図１０】信号とノイズの関係を示す図である。
【図１１】多重解像度における周波数空間の様子を示す図である。
【図１２】エンハンスメント効果を見やすく表に示したものである。
【発明を実施するための形態】
【００１０】
−基本的考え−
初めに、実施の形態に述べるアルゴリズムを採用する必要性が生じた背景や理由、及びそれに対処する方法の基本的考えについて述べる。
【００１１】
＜ノイズ除去処理の課題＞
ノイズ除去処理は通常、edge-preserving smoothing filterと呼ばれる、大きな信号レベル差のエッジ構造と微小な振幅のノイズを区別して適応的に平滑化するノイズ除去フィルタが用いられる。このノイズ除去フィルタの代表例として、高性能なものにバイラテラル・フィルタと呼ばれるものがある。これらのノイズ除去フィルタは基本的に隣接画素との間で画素値のレベル差をノイズゆらぎ指標値と比較し、平滑化対象画素にするか否かの加重係数をそれらの比に基づいて決めてゆく。
【００１２】
しかしながら、ノイズ除去フィルタが如何に高性能であっても、ノイズと同程度の微弱なエッジはノイズと区別をつけることができない（図１０（ｄ）参照）。その結果、ノイズ除去によってテキスチャが消失してしまう（問題１）。この他に平滑化加重係数を決める過程において急峻な段差のエッジが存在するとき（図１０（ｃ）参照）、通常の平坦部や単調な傾斜部（図１０（ａ）（ｂ）参照）におけるエッジとノイズの分離する加重係数と違って、段差の影響によりその輪郭成分が相対的に微小なエッジと間違われて問題１と同様な状況に陥り平滑化対象に含まれやすく、輪郭がなまってしまうという避けようのない問題が生じる。したがって、ノイズ除去によっていわゆる輪郭ボケが生じてしまう（問題２）。図１０は、上記の状況を示す図である。
【００１３】
これらの問題は主に輝度成分のノイズ除去処理の観点からの現象を言い表しているが、色差成分のノイズ除去処理の場合はこれらが微弱な色変化部の色抜け現象（問題３）や色境界部の色滲み現象（問題４）という問題を引き起こす。更に、ノイズ除去による平滑化処理に伴って、局所的な階調が全て平均レベルに集まってしまうため、例えば平均値がゼロになるような完全暗黒の状態を達しえなくなり、黒レベルが浮く、いわゆる黒浮き現象という問題も引き起こす（問題５）。これは白側についても言えることで、全体的に平滑化処理によって階調表現しうる幅が狭まって階調性が低下する。
【００１４】
すなわち、ノイズ除去の課題は主観表現と物理的関連において次のようにまとめられる。（１）輪郭ボケによる輪郭のコントラスト低下で鮮鋭感・立体感を失い（問題２）、（２）ノイズに埋もれるような微弱エッジ構造の消失によって解像力が低下し（問題１）、（３）黒浮き現象によって階調性が低下し（問題５）、（４）色が抜けることによって色再現性が低下し（問題３）、（５）色が滲むことによって色解像力が低下するといえる（問題４）。
【００１５】
また、これらの問題はノイズ除去処理を伴わなくても、高感度のノイズの多い画像についても共通して言える課題である。なぜならば、低感度の鮮明な画像に対して振幅の大きなノイズを加えていった場合、実被写体の輪郭のコントラストはノイズの振幅の影響によって相対的に低下し、低感度の場合よりも不鮮明に見え、テキスチャもノイズと区別がつかなくなり、ノイズの振幅が黒レベル自体を上げてしまうので黒浮きし、RGB間の無相関なゆらぎが色斑ノイズとして乗るため、その領域の色弁別分解能を下げて色特定精度（色再現性）が下がり、色ノイズが相対的に色境界部に色滲みをランダムに生じているように見せてしまう。これらは総称的にノイズ被りによるコントラスト低下ということもできる。
【００１６】
＜ノイズ除去処理とエッジ強調処理の同時化の考え＞
このような問題に対処するため、ノイズ除去を伴った場合はノイズ除去で失った程度のエッジのコントラストを回復するエッジ強調や、階調再現性を回復するための階調補正処理、あるいはコントラスト補正処理が必要となる。また、高感度撮影画像についても、ノイズ除去が行われなくてもこれらに相当する処理を加えるだけで随分と低感度撮影画像に近い鮮明性のある画像を提供することができるようになる。また、低感度撮影画像についてもノイズ被りによるコントラスト低下の影響を修復すれば、本来のあるべき鮮鋭感、解像力、階調性、色再現性を実現することができるようになる。
【００１７】
そこで、本願発明者による国際公開第2007/114363号パンフレットと国際公開第2007/116543号パンフレットに示されるような多重解像度を用いたエッジ強調処理を行う。このエッジ強調処理が従来の多重解像度を用いたエッジ強調処理（例えば米国特許6,754,398）と本質的に違う点は、完全系をなす多重解像度の高周波サブバンド群の周波数空間に投影して抽出したエッジ成分以外に、もう一つ冗長性を持たせて逐次生成される低周波セブバンド群の周波数空間に投影して抽出したエッジ成分も両方用いて、それらを自在に調合するところにある。図１１は、この多重解像度における周波数空間の様子を示す図である。なお、完全系とは周波数投影空間の画像群から原画像を完全に再構築できる意味で用いている。本当は、最低解像度の低周波サブバンドを１つだけ付加しておく必要があるが、ここでは無視して議論している。
【００１８】
しかしながら、これらの実用上の物理的な効果が詳細に解明されていなかったため、さらに画像エンハンス処理効果を高めるための方法論の提示に踏み込むまでに至っていなかった。したがって、本発明ではこれらの物理的な効果を明らかにした上で、そこから浮かび上がる課題と対策について、エッジ強調として最も自然な印象を与えるための最善の方策を検討する。
【００１９】
＜多重解像度エッジ強調処理の物理的効果の解明＞
まず、冗長な多重解像度変換によるエッジ強調の物理的効果について解明する。実験的に低周波サブバンド群と高周波サブバンド群の２つの冗長な多重解像度表現された周波数投影空間でのエッジ強調効果を確認したところ、低周波サブバンド群と高周波サブバンド群の各々で抽出されたエッジ成分には以下のような優れた個別の画像エンハンスメント効果があることが分かった。
【００２０】
入力画像が輝度成分の場合、低周波サブバンド群の周波数空間に投影したエッジ強調では、黒の締まりや階調性を高めるコントラスト強調効果がある。いいかえると、エッジ強調処理といっても輝度成分の多重解像度の低周波サブバンド群からは階調補正処理と同じ効果が得られる。一方の輝度成分の高周波サブバンド群の周波数空間に投影したエッジ強調処理には、輪郭のコントラストを立ててノイズに埋もれたテキスチャを復元する鮮鋭感回復効果がある。
【００２１】
次に入力画像が色差成分の場合、低周波サブバンド群の周波数空間に投影したエッジ強調では、大面積の平坦部領域の彩度を極めて高くするカラフルネス回復効果がある。いいかえると、色差成分の場合もエッジ強調処理とはいっても彩度強調処理と同じ効果が得られることになる。一方の色差成分の高周波サブバンド群の周波数空間に投影したエッジ強調処理には、色境界部の色滲みを低減して色境界を鮮明にしたり、色テキスチャの色構造を回復する色コントラスト復元効果がある。
【００２２】
図１２は、これらのエンハンスメント効果を見やすく表に示したものである。一見すると輝度面と色差面で同じコントラストという言葉が輝度成分の場合には低周波側に、色差成分の場合には高周波側にずれて出てきている。これは、元の輝度面と色差面の画像構造の周波数特性が違うためであると考えられる。すなわち、輝度面は高周波構造が多いのに対して色差面が低周波構造が多いことから、低周波サブバンド群に投影した輝度成分のエッジ強調効果は、高周波サブバンド群に投影した色差成分のエッジ強調効果により近いものになったためであると考えられる。
【００２３】
実験的に、原画像に第１の実施の形態に述べるノイズ除去処理だけを加えた画像と、第１の実施の形態の各周波数投影面で抽出したエッジ成分を単純に多重解像度逆変換だけを行って統合エッジ成分を生成し、統合エッジ成分をノイズ除去画像に加算したエッジ強調効果を示す画像とを取得してみた。その結果、輝度成分では、実際に低周波サブバンド群によるエッジ強調ではその強度が強い場合は、ノイズ除去画像に比べ異常とも思えるほど黒の締まり効果を達成していた。また、高周波サブバンド群によるエッジ強調では、ノイズ除去画像で消失してしまった背景の黒点や白点や動物の人形の毛並みのようなテキスチャ構造を見事に回復していた。色差成分についても同様な具合に、図１２に示す効果を達成していた。
【００２４】
＜多重解像度エッジ強調処理の最適化＞
このような個別の物理的効果が明らかになってから分かることは、低周波サブバンド群で抽出したエッジ成分と高周波サブバンド群で抽出したエッジ成分を周波数調合するには、何らかの法則性を設けて拘束条件を付けないと、原画像とは随分とかけ離れた見るに堪えない不自然なエッジ強調効果を生み出してしまう恐れがあるということである。また、ノイズ除去を伴う場合には、ノイズ除去の強さによってもノイズ除去の弊害によるこれらの主観的損傷度合いは違ってくる。したがって、その損傷度合いに合わせて回復を試みる必要がある。この解決策として実施の形態の中ではエッジ強調率やノイズ除去率に連動させる方策が示される。
【００２５】
＜多重解像度エッジ強調処理の課題＞
次に、前述の実験で取得した画像例の中にも現れているように、多重解像度によるエッジ強調は大面積のハローやハウリングを生じさせる危険性を伴う。これは通常のアンシャープマスク処理が本質的に抱えているエッジ近傍のリンギング問題と発生要因は同じであるが、多重解像度処理であるためその弊害が大規模化して現れてしまう。
【００２６】
これまでにも従来の技術はこのリンギング問題に対処するため、抽出したエッジ成分に対して、入力エッジ成分と出力エッジ成分の関係が、原点近傍は正比例し、それ以外は緩やかに単調増加するような特性の非線形変換を通して抑える工夫がなされてきた。しかし、今まで以上に高品質な多重解像度のエッジ強調処理を追求するにはこれではまだまだ不十分な状況を迎えるに至ってきた。すなわち、多重解像度によるエッジ強調を実用レベルにするには、ハローやハウリング問題を完璧に封じる方策を導入する必要に迫られる。そこで、本発明ではこれらの対策を強化するために、エッジ強調処理の結果に不自然さのない、最も自然に見えるエッジ成分のあるべき姿について仮説を導入し、それに近づけるべくして解決を図る方法を示す。
【００２７】
＜エッジ強調処理の課題＞
ところで、エッジ強調をするときに上述のようなリンギング問題以外に気をつけなければいけない点は、エッジ強調によってノイズ成分を増幅してしまう危険性をできるだけ避けなければいけないという点である。ノイズ除去処理におけるノイズ成分の抽出過程とエッジ強調処理におけるエッジ成分の抽出過程においては必ず、ノイズ成分の中へのエッジ成分の混入とノイズ成分の中へのエッジ成分の混入の相互混入問題が避けようのない問題として存在する。この様子を模式的に表すと下式のようになる。
Nextracted= Ntrue + eundistinguished
Eextracted= Etrue + nundistinguished
【００２８】
本実施形態では、第２の実施の形態の流れ図に示されるように、エッジ成分はノイズ除去後の画像から抽出することによってできるだけノイズ成分の混入を防ぐ努力をしているが、それでもなお含まれてしまうのが現実である。ノイズ成分もノイズ除去フィルタの課題の中で述べたように、ノイズ除去フィルタで区別できないエッジ成分は必ずノイズ成分の中に混入してしまう。このノイズ成分の中に混入したエッジ成分が、ノイズ除去の課題で述べた問題を引き起こし、エッジ成分の中に混入したノイズ成分がエッジ強調におけるノイズ増幅の問題を引き起こす。それによって質感再現性の低いノイズ除去や質感再現性の低いエッジ強調を行う結果となってしまう。
【００２９】
＜エッジ強調処理の改良＞
そこで、本実施形態では先に述べたエッジ成分のあるべき姿の仮説に基づいて、それに近づけることによってエッジ成分の中から不純物を取り出し純度を上げ、エッジ自身の自己精錬処理を行う。また、ノイズ成分についても同様にノイズ成分のあるべき姿の仮説を立てることが可能であり、その仮説に基づいてノイズ成分の中から不純物を取り出し純度を上げる、ノイズ自身の自己精錬処理も行う。本実施の形態では、このように各成分の不純物を除き純度を高める処理を精錬と言う。
【００３０】
しかしながら、このような操作をしてもまだ不純物の分離が難しいのが現実である。すなわち、エッジ成分の中の大部分が本当はノイズ成分であったとしてもエッジ成分のあるべき姿のように振る舞われてしまわれば区別がつかない。ノイズ成分の中のエッジ成分についても同様のことがいえる。このような問題に対しては、次のような仮説を導入してノイズ成分とエッジ成分の相互の大きさを参照することによってその中に含まれている大きな不純物成分の量を推定するほかに対処する方法がない。
【００３１】
すなわち、局所的なエッジ成分が大きな値の領域ではノイズ抽出過程においてエッジ成分をノイズ成分として誤って抽出してノイズ成分の大部分がエッジ成分である可能性が高い。逆に局所的なノイズ成分が大きな値の領域ではエッジ抽出過程においてノイズ成分をエッジ成分として誤って抽出してエッジ成分の大部分がノイズ成分である可能性が高い。したがって、相互の大きさを参照して、エッジ成分とノイズ成分との間で相互精錬を行うことにより相互の純度を高めることが可能である。そのためには、ノイズ成分とエッジ成分がかなりの確度まで純度が上がっている必要がある。
【００３２】
エッジ成分とノイズ成分の自己精錬と相互精錬の様子は第２の実施の形態の流れ図に典型的に示される。第１の実施の形態の多重解像度を用いたエッジ成分とノイズ成分の抽出・統合過程では、この自己及び相互精錬を各解像度レベルで一度行うに留まらず、統合後のエッジ成分とノイズ成分に対しても再度繰り返し自己精錬と相互精錬の検証を行うことにより、その各々の純度を、また同時にエッジ成分からのハウリング成分の排除も確実なものとする工夫がなされる。
【００３３】
＜エッジ強調処理の高性能化＞
しかしながら、このようにしてエッジ成分とノイズ成分の純度を如何に高めても排除し切れない相互混入成分というのは必ず存在し、その影響を無視するわけにはいかない。すなわち、依然としてこれらがエッジ強調のノイズ増幅問題とノイズ除去のエッジなまり問題等の先に述べた課題を引き起こすのである。
【００３４】
そこで、本実施形態ではそれらの影響を事前に予測し、悪影響を最小化し、エッジ強調とノイズ除去の効果を最大化する工夫を、最後のエッジ強調率とノイズ除去率に対して、出力色空間と作業用色空間との間の階調特性の相互の微分比率で表された明るさに対するコントラスト比関数で汎関数（関数を変数とする関数）表現化する方法を導入することにより実現を図る。
【００３５】
その様子が第２の実施の形態の流れ図に示されている。すなわち、式で表すと第１番目の式を第２番目の式に変更することに当たる。ここに、λはノイズ除去率を、ζはエッジ強調率を表し、γは線形階調Yに対する出力色空間の階調曲線γ(Y)を、Γは線形階調Yに対する作業用色空間の階調曲線Γ(Y)を表すものとする。
【数１】
【００３６】
このコントラスト比の汎関数表現の方法は、画像全体の明るさレベルの間で、ある基準点に対してエッジ強調率とノイズ除去率を増減幅する方法と、エッジ近傍の局所的な明るさレベルの間でのみそれらを増減幅する方法の２通りがある。本実施形態ではその両方を用いることにする。この２つの考え方は、一般の階調補正技術において、画像全体の明るさのみを平均的にトーンカーブ曲線を変えることによって調整する方法（ヒストグラム均等化法とも言う）と、局所的なエッジ構造の周りでコントラストを強調し、他の領域との間で明るさレベルの大小関係が入れ替わるのも許すレチネックス処理と呼ばれる方法の各々に対応している。階調補正処理で前者をガンマ調整処理、後者をレチネックス処理と呼ぶならば、エッジ強調あるいはノイズ除去におけるガンマ調整版、レチネックス版を構築しているといえる。
【００３７】
すなわち、本実施形態で導入するエッジ強調率のコントラスト比の汎関数表現は、ガンマ調整版の場合、明るさレベルに対するエッジ強調率の増減幅特性は画像全体で一様である。一方、レチネックス版の場合、それらは画像全体では非一様であるが局所的なエッジ近傍では一様に１つの規則にのっとって増減幅がなされる。エッジ強調率の汎関数表現は、ノイズ除去とエッジ強調が同時に行われる場合、ノイズ除去で失われたエッジ成分を正確に同じようにして再現するという意味で、ノイズ除去率と同一の汎関数表現がなされるのがよいとの結論に達した。
【００３８】
−第１の実施の形態−（多重解像度版）
多重解像度を用いてノイズ除去とエッジ強調を同時に行う実施形態を示す。図１は、本発明の実施の形態である画像処理装置を示す図である。画像処理装置は、パーソナルコンピュータ１により実現される。パーソナルコンピュータ１は、デジタルカメラ２、ＣＤ−ＲＯＭなどの記録媒体３、他のコンピュータ４などと接続され、各種の画像データの提供を受ける。パーソナルコンピュータ１は、提供された画像データに対して、以下に説明する画像処理を行う。コンピュータ４は、インターネットやその他の電気通信回線５を経由して接続される。
【００３９】
パーソナルコンピュータ１が画像処理のために実行するプログラムは、図１の構成と同様に、ＣＤ−ＲＯＭなどの記録媒体や、インターネットやその他の電気通信回線を経由した他のコンピュータから提供され、パーソナルコンピュータ１内にインストールされる。図２は、パーソナルコンピュータ１の構成を示す図である。パーソナルコンピュータ１は、ＣＰＵ１１、メモリ１２、およびその周辺回路１３などから構成され、ＣＰＵ１１がインストールされたプログラムを実行する。
【００４０】
プログラムがインターネットやその他の電気通信回線を経由して提供される場合は、プログラムは、電気通信回線、すなわち、伝送媒体を搬送する搬送波上の信号に変換して送信される。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給される。
【００４１】
以下、パーソナルコンピュータ１が実行する画像処理について説明する。図３は、パーソナルコンピュータ１が処理する第１の実施の形態の画像処理のフローチャートを示す図である。ステップＳ１では、画像データを入力する。ステップＳ２では、均等色・均等ノイズ空間に変換する。ステップＳ３では、ノイズ除去処理およびエッジ強調処理をする。ステップＳ４では、色空間を出力色空間へ逆変換する。ステップＳ５では、処理が終了した画像データを出力する。以下、各ステップの処理の詳細について説明する。
【００４２】
１．色空間変換
ステップＳ１で画像データ（以下、単に画像と言う）を入力すると、ステップＳ２において、入力画像をまず色空間変換し、ノイズ除去処理を行なうのに適した画像処理空間へ投影し直す。この画像処理空間として、国際公開第2006/064913号パンフレット（本出願人と同一発明者）に記載の均等色・均等ノイズ空間を用いる。通常、入力画像はsRGBといった標準色空間で表されていることが多い。ここでは色補正処理やガンマ補正処理がなされたsRGB画像を主な例として説明する。
【００４３】
１−１．逆ガンマ補正
sRGB規定のガンマ特性、ないしは各カメラメーカーが固有の絵作りに使用したガンマ特性の階調変換処理を外し、元の線形階調に戻す。
【数２】
【００４４】
また、撮像素子にある分光感度分布特性を持つカラーフィルタが載せられた例えばBayer配列のような撮像信号に対してデモザイク処理が行われた後の線形階調のR,G,B信号を直接入力してもよい。
【００４５】
１−２．RGB色空間からXYZ色空間への変換
線形階調に戻されたsRGB画像からXYZ空間に変換する場合は、以下に示すような規格書通りの変換を行う。
【数３】
【００４６】
デモザイク処理直後のセンサー分光感度分布特性を持つRGB信号の場合は、各々の分光感度分布特性に合わせたマトリックスを構成して、デバイス・インディペンデントなXYZ空間へ変換する。
【００４７】
１−３．XYZ色空間から均等色・均等ノイズ色空間（L^a^b^）への変換
次式により、XYZ空間から擬似的に均等色配分された知覚的な属性を表す非線形階調のL^a^b^空間へ変換する。ここで定義するL^a^b^空間は、従来のいわゆる均等色空間L*a*b*に対し、均等ノイズ性を考慮して変形を加えたものであり、便宜的にL^a^b^と名付けたものである。
【数４】
【００４８】
ここで、通常、均等色・均等ノイズ化する階調特性として
【数５】
を用いる。
【００４９】
X0,Y0,Z0は照明光によって定まる値であり、例えば、標準光D65下で2度視野の場合、X0=95.045、Y0=100.00、Z0=108.892のような値をとる。εの値は、センサーによっても異なるが、低感度設定のときはほぼ0に近い値を、高感度設定のときは0.25程度の値をとる。
【００５０】
以下、ステップＳ３のノイズ除去処理およびエッジ強調処理について説明する。
【００５１】
２．画像の多重解像度表現
多重解像度に基づいたノイズ除去処理およびエッジ強調処理の流れ図を図４に示す。輝度成分L^、色差成分a^、b^の各々の原画像を多重解像度表現して、ノイズ除去を行なう。原画像を順次ウェーブレット変換のAnalysis過程によって低解像度画像に分解していく(処理(1-0)(2-0)(3-0)(4-0)(5-0))。サブバンド画像が生成されるAnalysis過程をまとめて次式のように表す。
【数６】
ただし、S(x,y)はL^, a^, b^の各面に対してサブバンド画像Vij(x,y)を生成する。
【００５２】
なお、ウェーブレット変換とは、画像（画像データ）を周波数成分に変換するものであり、画像の周波数成分をハイパス成分とローパス成分に分割する。ハイパス成分からなるデータを高周波サブバンドと言い、ローパス成分からなるデータを低周波サブバンドと言い、LLを低周波サブバンド、LH, HL, HHを高周波サブバンドと言う。また、低周波サブバンドを低周波画像、高周波サブバンドを高周波画像と言ってもよい。さらに、各サブバンドを周波数帯域制限画像と言ってもよい。低周波サブバンドは、原画像の周波数帯域を低周波側に帯域制限した画像であり、高周波サブバンドは、原画像の周波数帯域を高周波側に帯域制限した画像である。
【００５３】
通常の多重解像度変換は、低周波サブバンドLL成分を順次分解した高周波サブバンドを残していくだけであるが、ここではノイズ成分のサブバンド周波数帯域間での抽出漏れがないように、低周波側サブバンドLLと高周波サブバンドLH, HL, HHの両方を用いている。
【００５４】
ウェーブレット変換としては、例えば以下のような5/3フィルタを用いる。
【００５５】
＜ウェーブレット変換：Analysis/Decompositionプロセス＞
ハイパス成分：d[n]=x[2n+1]-(x[2n+2]+x[2n])/2
ローパス成分：s[n]=x[2n]+(d[n]+d[n-1])/4
上記定義の1次元ウェーブレット変換を、横方向と縦方向に独立に2次元分離型フィルタ処理を行うことによって、ウェーブレット分解する。係数sをL面に集め、係数dをH面に集める。
【００５６】
＜逆ウェーブレット変換：Synthesis/Reconstructionプロセス＞
x[2n]=s[n]-(d[n]+d[n-1])/4
X[2n+1]=d[n]+(x[2n+2]+x[2n])/2
ただし、図４に示すように、ウェーブレット変換時のxの値には画像を表す信号を入力し、生成されたウェーブレット変換係数s,dに含まれるノイズ成分を抽出し、抽出されたノイズ成分を逆ウェーブレット時のs,dに代入してノイズ画像xを生成してゆく用い方をする。エッジ成分についても同様の用い方をする。
【００５７】
上記多重解像度表現は5段のウェーブレット変換を用いているが、入力する原画像のサイズに応じて増減させてよい。また、多重解像度表現法として、上述のような直交ウェーブレット変換に限らず、ラプラシアン・ピラミッド表現やステアラーブル・ピラミッド表現等を用いてもよい。
【００５８】
３．仮想ノイズ除去によるノイズ抽出処理
３−１．ノイズ除去フィルタによるノイズ抽出処理
３−１−１．ノイズ除去処理
任意のノイズ除去フィルタを用いてよいが、ここでは一般に知られる高性能なバイラテラル・フィルタを改良した、国際公開第2006/068025号パンフレット（本願と同一発明者）に記載の次式の改良Bilateral Filterを用いる(処理(1-2)(2-2)(3-2)(4-2)(5-2))。
【数７】
ここで、i,jはサブバンド特定記号を表す。iは解像度の違いを、jはLL,LH,HL,HHの違いを表す。
【００５９】
閾値σth ijは各サブバンド毎に期待されるノイズゆらぎ幅に合わせて設定し、エッジとノイズを区別しながらノイズ成分を抽出する。実空間におけるノイズゆらぎ指標値σthが決まれば、ウェーブレット変換式から誤差伝播則に基づいて各サブバンド信号へのゆらぎの伝播量を評価すれば、自動的に各々のサブバンドに最適なσth ijの値は決まる。σthの値はISO感度が高くなるに従い大きな値を設定する。例えば、ISO6400で256階調に対して実空間でのゆらぎ幅を10程度の値に設定したりする。
【００６０】
閾値rthの値は、ノイズ除去フィルタの範囲が解像度階層間で重なり合うように0.5〜3.0画素程度にとればよく、積分範囲もrthの2倍ないしは3倍程度にとれば十分係数値は小さな値に落ちている。一般に、他のノイズ除去フィルタであっても多重解像度表現されたサブバンド画像では3x3〜9x9程度の範囲の画素信号を参照するようなフィルタで十分なノイズ除去効果が得られる。
【００６１】
３−１−２．ノイズ抽出処理
各サブバンドにおいて、次式のようなノイズ抽出処理を行う(処理(1-3)(2-3)(3-3)(4-3)(5-3))。
【数８】
【００６２】
３−２．逐次ノイズ抽出
ノイズ成分を各サブバンド面のノイズ除去フィルタリングだけで漏れなく抽出するのは難しく、多重解像度分解による周波数帯域間で間隙を生じないように、他の解像度で抽出したノイズを参照しながら逐次的にノイズを抽出する。逐次的なノイズ除去の方法としてはAnalysis時とSynthesis時に行なう2通りの方法があるが、本実施形態ではSynthesis時の場合のみを示す。
【００６３】
また、ノイズ成分を正確に抽出するため、ノイズ除去の概念を仮想ノイズ除去と実際のノイズ除去の２つに分ける。仮想ノイズ除去の具体的処理は次のようになる。ノイズ抽出のためにだけ用いる仮想的なノイズ統合を行い(処理(2-4)(3-4)(4-4)(5-4))、各階層で生成される統合ノイズ成分をLLサブバンド面から減算して(処理(1-1)(2-1)(3-1)(4-1)(5-1))、LL面からノイズ成分を抽出しやすい状態にした後、上記ノイズ除去フィルタリングを行なう。
【００６４】
すなわち、仮想的ノイズ統合は次式で表される。
【数９】
ただし、下層のノイズ統合により生成された１つ上の階層のLLバンドのノイズ成分と、「ノイズ抽出処理」により抽出された同じサブバンド面の冗長なノイズ成分とを合成するときには、同じLLサブバンド面上で加算を行って統合する。その様子は図４では「＋」記号で表されている。
【００６５】
（補足説明）
図４より明らかであるが、図４で行なっている処理をより具体的に書けば、
【数１０】
を行なった後に、３−１−１及び３−１−２の処理を行なう処理を繰り返すことを意味している。M=5のときは何もノイズ抽出行われていないノイズ成分を統合してくるので、N5(x,y)=0となる。
【００６６】
４．エッジ抽出
仮想ノイズ除去された各サブバンド面から次式よりエッジ成分を抽出する(処理(1-5)(2-5)(3-5)(4-5)(5-5))。
【数１１】
【００６７】
ここで、エッジ検出フィルタとしてはラプラシアン・フィルタを用いる。ラプラシアン・フィルタとしては通常の3x3で定義される中心が8で周辺が-1の係数からなる最も単純なフィルタを用いてもよい。しかし、仮想ノイズ除去後にもなお残存するエッジを正確に抽出するため、ノイズ除去フィルタのフィルタリング範囲と連動させるのがよい。例えば、ノイズ除去フィルタの平滑化対象範囲が9x9程度の場合、ラプラシアン・フィルタも9x9程度に設定する。すなわち、ラプラシアンは、｛（原画像）−（ガウスボカシ画像）｝で定義すればよいので、フィルタ例として以下のようなものがある。ただし、tは転置行列を表し、一次元分離型フィルタの積で構成している。
【数１２】
【００６８】
ここで抽出したエッジ成分は、エッジ強度の局所的な度数分布のイメージ図を描いてみると図５（ａ）のような分布をしている。ノイズゆらぎ幅と同程度に変動するエッジ構造が全て仮想ノイズ除去によって消失した後の面からエッジ抽出しているにもかかわらず、ゼロ近傍に最大ピークをもつ微弱なエッジが抽出されている理由は、仮想ノイズ除去後に僅かに残る微弱エッジ構造の跡形とその周りに存在する大きなエッジ成分の画像構造の様子から、その近辺にあったと推定される微弱エッジ成分を推測していることにほかならない。
【００６９】
５．ノイズ成分の自己精錬
ノイズ除去フィルタで抽出するノイズ成分の中には、如何なる結果のノイズ成分が抽出されるかは何の保証もない。画像構造の状況によっては特異成分が含まれてしまう。また、その含まれ方もノイズ除去フィルタの性能具合によって異なってくる。
【００７０】
そこで、本来ノイズ除去フィルタが抽出ないしは平滑化対象としているノイズ成分がランダムノイズであることを思い返せば、その抽出されたノイズ成分の振る舞いも階調方向に関してポアッソン分布に起因したガウス分布特性を持っていなければ、ノイズ除去フィルタ側で何かの間違いを犯していると考えるのが妥当である。すなわち、ノイズ抽出結果をノイズらしい振る舞いをしているか統計的に検証することによって、誤って混入した特異エッジ成分を除外し、本来あるべきランダム・ノイズの姿に近づけることができる(処理(1-6)(2-6)(3-6)(4-6)(5-6))。
【数１３】
【００７１】
これは均等ノイズ空間でノイズ抽出を行っているからこそ置くことのできる仮定である。明るい所と暗い所でノイズ振幅の増幅率の違う画像処理空間では、全ての明るさレベルでこのような対称なガウス分布をせずに非対称化し、更に明るさ毎にそれがどのような分布をするか予測が付かず、このようなスマートな処理ができない。
【００７２】
ここに、σn th ijの値はノイズ除去フィルタで用いたノイズゆらぎ指標値σth ijの値の６倍程度に設定するのがよい。すなわち、シックス・シグマを超えていれば統計的に明らかに異常だと認定することになる。
【００７３】
６．エッジ成分の自己精錬
エッジ抽出過程によって抽出されたエッジ成分は、図５（ａ）に示されるようにリンギングやハローの要因となる度数分布から見れば特異な撹乱成分が含まれている。従来このような成分を減衰させるため、入力エッジ強度に対して出力エッジ強度が単調増加となる関数を通過させていた。しかし、抽出されたエッジ成分の真偽に関する明確なモデルと指針がないため、抽出したエッジ成分は有効に扱わねばならないという考えに基づいて単調増加関数が設定されていた。しかし、エッジ強度がいくら大きくなっても有限値を残すということはリンギングを生じさせる危険がつきまとう。
【００７４】
本実施形態では、リンギングを生じさせずに自然なエッジ強調ができるエッジ成分のモデルを立てて、その判別指針に基づいてそれ以外の成分は完全に抹消する方策をとる。なぜならば、本実施の形態が目的としているエッジ成分は、「基本的考え」のところでも述べたように、ノイズ成分によって埋もれる程度のエッジ成分をいかにして正確に推定して復元することができるかという点にあるからである。その意味で、本来存在しないはずのリンギングやハロー成分を抽出することは許されない。これは、多重解像度の各サブバンド毎に満たしていなければならない。
【００７５】
従って、その仮説とは、理想的な均等色・均等ノイズ空間で抽出された自然なエッジ成分はガウス分布する、というものである。したがって、図６のようなある振幅レベル以上のエッジ成分は完全に消滅するような強力な減衰特性をもつ非線形関数を通すと、エッジ成分をモデルとするエッジ成分の姿に近づけることが可能となる。エッジ成分の自己精錬を式で表せば以下のようになる(処理(1-7)(2-7)(3-7)(4-7)(5-7))。
【数１４】
【００７６】
ここで、σe th ijの値は、ノイズ除去フィルタで用いたノイズゆらぎ指標値σth ijの値と全く同じ値に設定する必要がある。そうすることによってリンギング成分を排除するとともに、ノイズ除去フィルタで区別できないためにノイズ除去によって消失してしまうと予測される微弱エッジ成分を、ここで同じ量だけ再度復活して抽出することが可能になり、エッジ強調として加算したときに微弱エッジ成分の復活が可能となるからである。また、ノイズ除去処理を伴わなくても、ノイズ被りによって低下するエッジのコントラストに相当する輪郭成分の量や、ノイズ被りによって見えなくなるテキスチャ成分の量を同じ量だけ正確に抽出することができる。
【００７７】
このように、均等色・均等ノイズ空間で扱った場合、エッジ成分もノイズ成分もどちらも共に本来理想的に局所領域内の度数分布はガウス分布をしているという指針に基づいて、ノイズ成分に含まれるエッジ成分によるノイズ除去での輪郭ボケを防いだり、エッジ成分に含まれるリンギング成分によるエッジ強調でのハローやハウリングの発生を防止したりすることが可能となる。また、そのガウス分布の幅をノイズゆらぎ指標値と同じ分布幅のモデルを立てることにより、ノイズの振幅幅と同程度の性質を示す微弱エッジや輪郭のコントラスト成分を抽出することが可能となる。
【００７８】
上記エッジ成分の自己精錬は、エッジ成分の強度に関する度数分布がノイズゆらぎ指標値σth ijに基づく所定幅のガウス分布に近づくように各々のエッジ成分を減衰する補正を行うことによりなされる。また、ノイズゆらぎ指標値σth ijは、前述のように各解像度の各サブバンド毎に期待されるノイズゆらぎ幅に合わせて設定される。従って、抽出された各解像度の各サブバンド（帯域制限画像）のエッジ成分は、各々のサブバンド毎のエッジ成分の強度に関する度数分布が各解像度（各帯域）に固有の所定幅のガウス分布に近づくように補正される。
【００７９】
また、上記エッジ成分の自己精錬は、別の表現をすれば、エッジ成分自身の大きさに基づいて、エッジ成分の中に含まれる偽のエッジ成分の量を推定し、この推定結果に基づいて、抽出されたエッジ成分から偽のエッジ成分を除外して実エッジ成分を抽出している。このようにして精錬されたエッジ成分は、図５（ｂ）のような度数分布となる。
【００８０】
７．エッジによるノイズ成分の精錬（相互精錬１）
このように項目番号５と項目番号６の処理を経てきたノイズ成分とエッジ成分はかなりの確度でその純度が高まっている。しかしながら、項目番号５で自己精錬したノイズ成分の中には依然としてノイズ成分のように振る舞うエッジ成分が含まれている。このエッジ成分の除外には、信頼度の高いエッジ成分を参照してノイズ成分の中にどの程度そのような成分が含まれる状況が生じうるかを推定して排除するしかない。ここで混入しているエッジ成分は、ノイズと同程度の強度で振る舞うテキスチャ等のエッジ成分であるので、そのようなテキスチャ領域は周囲にフラクタル的に大きなエッジ構造を持っている場合が多い。従って、その領域のエッジ強度を参照すれば凡そ混入している量が推定できる。
【００８１】
すなわち、次のような仮説に基づく。エッジ成分の強度（絶対値）が大きい領域では、ノイズ成分の大部分は混入エッジ成分である割合が高く、エッジ成分の強度（絶対値）が小さい領域ではノイズ成分の大部分は真のノイズ成分である可能性が高い。この確率モデルにもガウス分布を利用して、以下のように相互精錬を行う(処理(1-8)(2-8)(3-8)(4-8)(5-8))。同じガウス分布によるモデルを用いているので、この相互精錬によって理想のノイズ・モデルの形が崩されることはなく、より理想形に近づく。
【数１５】
【００８２】
ここに、σne th ijの値は項目番号５で用いたσn th ijと同じく、ノイズゆらぎ指標値σth ijの６倍に設定するとよい。すなわち、そのように統計的に完璧にエッジと考えられる領域で混入エッジ成分の排除を行う。
【００８３】
８．ノイズによるエッジ成分の精錬（相互精錬２）
項目番号７の説明と同じくして、項目番号６で自己精錬したエッジ成分の中にもエッジ成分のように振る舞うノイズ成分が含まれている。このノイズ成分の除外には、信頼度の高いノイズ成分を参照してエッジ成分の中にどの程度そのような成分が含まれる状況が生じうるかを推定して排除するしかない。ここで混入しているノイズ成分は、抽出したいエッジ成分と同程度の強度で振る舞うノイズ成分である。そのようなエッジ成分に混入したノイズ成分は、項目番号７で抽出されたノイズ成分でも同じ程度の大きさのノイズ成分として抽出されているはずである。
【００８４】
したがって、次のような仮説に基づいてエッジ成分に混入したノイズ成分の割合を推定することができる。すなわち、ノイズ成分の強度（絶対値）の大きい領域では、エッジ成分の大部分は混入ノイズ成分である割合が高く、ノイズ成分の強度（絶対値）が小さい領域ではエッジ成分の大部分は真のエッジ成分である可能性が高い。この確率モデルにもガウス分布を利用して、以下のように相互精錬を行う(処理(1-9)(2-9)(3-9)(4-9)(5-9))。同じガウス分布によるモデルを用いているので、この相互精錬によって理想のエッジ・モデルの形が崩されることもなく、より理想形に近づく。
【数１６】
【００８５】
ここに、σen th ijの値は項目番号６で用いたσe th ijと同じく、ノイズゆらぎ指標値σth ijと同じ値に設定する必要がある。そうすることによって、エッジ成分の中に含まれた抽出ノイズ成分でも観測されているノイズ成分を除外することができる。従って、エッジ強調によってノイズ感が増えてしまうことが防止できる。
【００８６】
上記処理は、抽出したノイズ成分の絶対値が大きければ大きいほど、エッジ成分に含まれる残存ノイズ成分の割合が大きいと推定し、エッジ成分から推定した残存ノイズ成分を除外していることを意味する。別の言い方をすると、上記処理は、抽出したノイズ成分の絶対値を引数とするガウス分布関数によって、抽出したエッジ成分の内の実エッジ成分の存在割合を推定し、推定した実エッジ成分を求めていることを意味する。また、別の言い方をすると、原画像に対してノイズ成分を抽出するときに使用するノイズゆらぎ指標値を、抽出した各画素位置におけるノイズ成分の絶対値と比較することによって、エッジ成分に含まれる残存ノイズ成分の割合を推定している。
【００８７】
９．実ノイズ成分の統合
各サブバンドで漏れなくノイズ成分が抽出された後、きれいに精錬されたノイズ成分を今度は、実画像へのダメージが最も少なくノイズ除去効果の高い周波数バンド間ウェイトをつけて統合する。
【００８８】
周波数バンド間の重みとしては、低周波サブバンドと高周波サブバンドの間の重みkn iと解像度レベル間の重みkn jとがあり、各々を個別に与えて合成重みkn ijを最終的なそのサブバンドのノイズ成分の統合ウェイトとする。すなわち、式で表せば、
【数１７】
となる。図４の重みkn ijは(重み(1-14)(2-14)(3-14)(4-14)(5-14))、低周波サブバンドと高周波サブバンドの間の重みkn iと解像度レベル間の重みkn jの２つが入っている。
【００８９】
９−１．L/Hバンド間の重みの設定
本願発明者による国際公開第2007/114363号パンフレットと国際公開第2007/116543号パンフレットによれば、実画像へのダメージが最も少なくなるようなノイズ成分の統合ウェイトは、原画像が輝度成分の場合、高周波サブバンド・ノイズの重みを大きくし、低周波サブバンド・ノイズの重みを小さくするのがよいとしている。また、原画像が色差成分の場合、低周波サブバンド・ノイズの重みを大きくし、高周波サブバンド・ノイズの重みを小さく、ないしは低周波サブバンド・ノイズの重みと同程度にするのがよいとしている。また、この低周波サブバンドと高周波サブバンドの重みは統合ノイズ成分の周波数特性を大きく変え、ノイズ除去の見栄えを大きく変えるので、そのバンド間の重みをグラフィック・ユーザー・インターフェースを通じて、特に輝度成分のバンド間重みを粒状性設定パラメータとしてユーザーに開放している。
【００９０】
しかし、この粒状性を制御するパラメータの他に、ノイズ除去率λの制御によるボケ具合（unsharpness）の設定や、ノイズ除去フィルタのノイズゆらぎ指標値σthの制御によるノイズ除去の強度（intensity）の設定をする必要がある。これは、技術に詳しくない一般ユーザーにとっては３軸の制御を理解して最良の結果を得るには手間ひまの掛かる難しい状態となっていた。そこで、本実施形態では、それらの画質への物理的効果を踏まえ、完全独立制御する必要性のないパラメータは他との連動制御することにより、容易に高画質のノイズ除去結果を得られるようにする。
【００９１】
輝度成分の低周波サブバンドによるノイズ除去は、ぺったりと階調性を失った平面的な画像を生みノイズ除去の弊害が大きい。一方の輝度成分の高周波サブバンドによるノイズ除去はさらさらとした画像を生みノイズ除去の弊害が少ない。したがって、輝度成分への画質破壊が最も少ないのは低周波サブバンド・ノイズの重みを無くしたときであるが、このとき低周波サブバンドを用いないことによるノイズの抽出漏れが生じる。色差成分についても同様に、画質破壊が最も少ないのはある程度高周波サブバンド・ノイズの重みを小さくしたときであるが、このとき高周波サブバンド・ノイズの重みを下げたことによる突出状の色ノイズ残りが生じやすくなる。
【００９２】
これらのことを考え合わせれば、ノイズ除去率が小さいときは多少のノイズ抽出漏れがあろうとも画質破壊を無くすことを最重要視し、ノイズ除去率が大きいときは平面的になる画質破壊があろうともノイズの抽出漏れを無くすことを最重要視する設計にするのが最良の結果を生むと考えられる。ここに、諸々のパラメータを一括して連動制御するための統括ノイズ除去率λjointを導入し、L/Hバンド間のノイズ成分の統合ウェイトを以下のように制御する(処理(1-16)(2-16)(3-16)(4-16)(5-16))。ただし、λjointの値は、通常0≦λjoint≦1に設定するのが普通であるが、後のノイズ除去率やエッジ強調率の汎関数化することを踏まえて、0≦λjoint≦8程度を目安とした上限値をとり、明確な上限値への制限を設けない。
【００９３】
λjointの設定は、パーソナルコンピュータ１のモニタ（不図示）に例えばスライドバーを有する設定画面を表示することにより行われる(処理(0-5))。ユーザーは、キーボード（不図示）やマウス（不図示）を使用して設定画面のスライドバー中のカーソルを任意の位置に操作することによりλjointの値を設定する。これにより、ユーザは簡易に上記λjointのパラメータを設定することができる。なお、カメラで処理する場合は、カメラがユーザに提供するノイズ除去の強さレベル「弱」「中」「強」などに合わせて、カメラメーカが事前に対応値を決めて設定するようにしてもよい。
【００９４】
輝度成分の場合
【数１８】
【００９５】
色差成分の場合
【数１９】
ただし、0≦kni≦1 (i=LL,LH,HL,LL)を満たすようにする。
【００９６】
上記式は一例であって、このような取り方に留まらない。通常、LLを低周波サブバンド、LH,HL,HHを高周波サブバンドとして扱っているが、LH,HLにも多少の低周波サブバンド特性があることを考慮して、例えば、輝度成分のLH,HLバンドも統括ノイズ除去率λjointに連動させて1に近い範囲で多少重みを下げられるようにしてもよい。
【００９７】
９−２．解像度レベル間の重みの設定
通常、ショットノイズに起因するノイズ成分は低周波成分から高周波成分まで一様に分布するホワイト・ノイズであると考えてよいので、解像度レベル間のノイズ統合ウェイトは全て同じ値の1に設定する。すなわち、下式となる。
【数２０】
【００９８】
９−３．実ノイズ成分の統合処理
上述のようなノイズ除去の効果とその弊害対策の両立に最適な周波数バンド間の重みがつけられたノイズ成分を下式のように統合する(処理(1-10)(2-10)(3-10)(4-10)(5-10))。
【数２１】
【００９９】
ただし、項目番号３の仮想ノイズ統合のときと同様に、下層から統合されてきたLLバンドのノイズ成分と元からLLバンドのノイズ抽出によって存在するノイズの２つのノイズ成分は加算することによって統合を行うものとする(処理(1-11)(2-11)(3-11)(4-11)(5-11))。その他は逆ウェーブレット変換処理を行うことによって統合する。
【０１００】
このようにして抽出されるノイズ成分は、輝度面と色差面の原画像の周波数の性質に合わせて周波数調合していることから、ノイズ抽出に最適な周波数投影空間を原画像の性質に合わせて変えているといってもよい。更に、ノイズ除去率に応じてもその周波数投影空間を変更していることに相当する。
【０１０１】
１０．実エッジ成分の統合
各サブバンドでノイズに埋もれるような微弱なエッジ成分を抽出し、その中に含まれるノイズ成分やリンギング成分がきれいに精錬されたエッジ成分を、今度は、実画像のノイズ被りによるコントラスト復元やノイズ除去の弊害対策を最も自然な印象を与え、エッジ強調によるエンハンスメント効果の高い周波数バンド間ウェイトをつけて統合する。
【０１０２】
周波数バンド間の重みとしてはノイズ成分のときと同様に、低周波サブバンドと高周波サブバンドの間の重みke iと解像度レベル間の重みke jとがあり、各々を個別に与えて合成重みke ijを最終的なそのサブバンドのエッジ成分の統合ウェイトとする。すなわち、式で表せば、
【数２２】
となる。図４の重みke ijは(重み(1-15)(2-15)(3-15)(4-15)(5-15))、低周波サブバンドと高周波サブバンドの間の重みke iと解像度レベル間の重みke jの２つが入っている。
【０１０３】
１０−１．L/Hバンド間の重みの設定
本願発明者による国際公開第2007/114363号パンフレットと国際公開第2007/116543号パンフレットには特に周波数調合の仕方について記述はない。しかし、本実施形態の冒頭の主観量と物理的効果の解明によると、最も自然な印象を与え、エンハンスメント効果の高い周波数調合の仕方は以下のような議論から組み立てることができる。
【０１０４】
まず、ノイズ除去を伴わない、単なる高感度撮影の感度を上げていった場合のノイズゆらぎ振幅の増幅に伴うノイズ被りによって不鮮明になっている画像を復元する場合を考えよう。この原画像は、何よりもまず、エッジ強調が全く行われていない間は、輝度成分のノイズの振幅幅によって白く霞んでしまった階調コントラストの復元も、ノイズに埋もれてしまったテキスチャの復元も、色差成分の色ノイズの被りによってくすんでしまった彩度の復元も、色ノイズの重畳によって生じた色境界の滲みボケの復元も、何もかもを最初は必要としている。したがって、多重解像度空間で低周波サブバンドと高周波サブバンドの冗長な２つの周波数帯に分解し、各々から抽出したエッジ成分によるエッジ強調効果のすべてを必要としている。
【０１０５】
ところが、ある程度までエッジ強調率を上げていくと、これらの冗長な成分のうち、一部の成分が甚大な画像破壊をもたらすことが実験的に判明した。すなわち、エッジ強調率を最大の100%に引き上げたとき、輝度面においては低周波側の統合エッジ成分によるコントラスト強調効果が異常に作用しすぎて主要な画像境界部に白く浮いたりするハローが生じ、色差面においては高周波側の統合エッジ成分による色境界の鮮明化の効果が作用しすぎて同様に主要な画像境界部に色づきが発生する。これらの周波数帯域は輝度面と色差面のそれぞれにおいて極めて感受性の高く、扱い方に注意をしなければ壊滅的な画像の崩壊をもたらす側面をもつ。
【０１０６】
他方、もう一方の共役な周波数帯の統合エッジ成分による画像復元効果は、エッジ強調率を強めても別段に不自然な画像破壊をもたらさない。すなわち、輝度成分における高周波側の統合エッジ成分によるテキスチャ回復効果と色差成分における低周波側の統合エッジ成分による彩度強調効果は、エッジ強調率に対して線型に増大させても自然な画像復元効果を得ることができる。ただし、これらの自然なエッジ強調効果を得るには、各々の多重解像度サブバンド面におけるエッジ成分の大きさが、元のサブバンド面がもっているノイズ成分の大きさを超えてはならない。ノイズに埋もれる範囲内でエッジ成分を重畳しなければ、エッジ成分はリンギング、ハウリング、ハロー現象として視覚的に認知されるようになる。そのときの影響は多重解像度エッジ強調であるため極めて甚大となるので、エッジ成分の低周波と高周波のバンド間の周波数調合の仕方には極めて注意を要する。
【０１０７】
ノイズ除去を伴う場合の画像復元についても全く同様なことが成り立つ。ノイズ除去を伴う場合には更にもう１つ注意しなければならない点がある。それは、すなわち、自然なエッジ強調効果を得るには、それらのエッジ成分がノイズに埋もれる程度の振幅に収まっていなければならないのである。しかし、ノイズ除去が加えられるとノイズのゆらぎの範囲が低下してくるので、エッジ強調において不自然な作用を及ぼす成分の視覚的な許容限度の範囲が、ノイズ除去を伴わない場合よりも狭まるということである。したがって、エッジ強調率の増大に伴って悪影響を及ぼす敏感な周波数バンドは、エッジ強調率に応じて単調減少関数にする必要があるに留まらず、ノイズ除去率に応じても単調減少関数にする必要がある。
【０１０８】
これらの事実を踏まえて、次のように制御すれば最も自然な印象を与えるエンハンスメント効果の高い画像が復元することが可能となる。すなわち、エッジ強調率が小さい間は、輝度成分ではコントラスト強調とテキスチャ回復の何れにも重点を置き、色差成分においてもカラフルネス回復と色境界コントラスト鮮鋭化の何れにも重点を置く必要がある。一方で、エッジ強調率が大きくなると、輝度成分ではコントラスト強調は程々にとどめ、テキスチャ回復に重点を移す。色差成分では色境界の鮮明化は程々にとどめ、カラフルネス・彩度の回復に重点を移す。すなわち、エッジ強調率が大きくなると、ある周波数帯のエッジに掛ける係数を下げるように制御するエッジ強調率依存性を導入した。
【０１０９】
また、ノイズ除去率の増大に伴って、エッジ成分を視覚的に自然な形で埋もれさせてくれるノイズ成分が減ってくるとその量に合わせて、比重を下げる必要のある側の周波数帯域は更に完全に消滅するまで減らすようにする必要がある。すなわち、エッジに掛ける係数の算出においてノイズ除去率依存性を導入した。
【０１１０】
これらの関係を式で表せば、以下のようにL/Hバンド間のエッジ成分の統合ウェイトを以下のように制御することになる。ここに、統括エッジ強調率ζjointを導入する。ζjointの値は、通常0≦ζjoint≦1に設定するのが普通であるが、後のエッジ強調率の汎関数化することを踏まえて、0≦ζjoint〜＜8程度を目安とした上限値をとり、明確な上限値への制限を設けない。図４の処理で言えば、処理(1-17)(2-17)(3-17)(4-17)(5-17)が相当する。
【０１１１】
ζjointの設定は、パーソナルコンピュータ１のモニタ（不図示）に例えばスライドバーを有する設定画面を表示することにより行われる(処理(0-6))。ユーザーは、キーボード（不図示）やマウス（不図示）を使用して設定画面のスライドバー中のカーソルを任意の位置に操作することによりζjointの値を設定する。これにより、ユーザは簡易に上記ζjointのパラメータを設定することができる。なお、カメラで処理する場合は、カメラがユーザに提供する新たな多重解像度空間で行うエッジ強調の強さ設定レベル「弱」「中」「強」などに合わせて、カメラメーカが事前に対応値を決めて設定するようにしてもよい。
【０１１２】
輝度成分の場合
【数２３】
色差成分の場合
【数２４】
なお、MIN(ζjoint,1)は、ζjointと1のどちらか小さい方の値を取るという意味である。
【０１１３】
これらは、0≦kei≦1(i=LL,LH,HL,HH)の条件を満たす。上記式は一例であって、このような取り方に留まらない。通常、LLを低周波サブバンド、LH,HL,HHを高周波サブバンドとして扱っているが、LH,HLにも多少の低周波サブバンド特性があることを考慮して、例えば、輝度成分のLH,HLバンドも統括エッジ強調率ζjointに連動させて1に近い範囲で多少重みを下げられるようにしてもよい。
【０１１４】
次に、統括エッジ強調率ζjointが１から８程度の値をとる領域について、更に自然な印象を与える多重解像度エッジ強調効果を得るための周波数調合の仕方について考察する。上記式はζjoint=0〜1の範囲で全く問題のない画像を与えるが、エッジ強調率が100%を超えてくると、本来許されているはずのノイズのゆらぎの許容範囲を超えてエッジ成分が強調され始める。すなわち、エッジ成分の強度はζjoint*keijの積の形で与えられることになるから、画像構造の崩壊をもたらす敏感な周波数帯域が、ζjoint=０〜１の領域では減速のかかった単調増加型関数であったのに対し、ζjoint=1〜８の領域で再度減速のかからない線型増加に転じてしまう。例えば、輝度のLL成分を簡単のためλjointを省いた形で書き表すと、ζjoint=０〜１の区間は、
ζjoint * (1-ζjoint／2)=-(1/2)(ζjoint-1)2+(1/2)
となり、上に凸な、ζjoint=1で極大となる２次関数の減速型の単調増加関数となっている。これに対し、ζjoint≧1ではζjoint／２で比例型に転じてしまう。なお、敏感な周波数帯域とは、ζjoint依存性を持たせたバンドであり、輝度成分で言えばLL成分、色差成分で言えばLH成分、HL成分、HH成分と言える。
【０１１５】
これを防止するため、敏感な周波数帯域のエッジ強調率を掛けた後の寄与度が、ノイズのゆらぎの範囲に収まる最大許容度を与えるエッジ強調率100%時点の値で完全に止めてしまう機構を盛り込む。それに対し、ノイズのゆらぎの範囲を超えても自然なエッジ強調を実現できる周波数帯域は、エッジ強調率が100%を超えてもζjoint*keijの積の値が単調増加を許して、エッジ強調効果を提供するようにする。以下に、最適式を提示する。なお、この場合もやはり、ノイズ除去が加わると許されるエッジ強調の範囲に制限が加えられることも考慮する。
【０１１６】
輝度成分の場合
【数２５】
色差成分の場合
【数２６】
【０１１７】
輝度成分について、LL成分は副バンドの低周波側と位置づけられ、コントラスト強調効果があるので（敏感な周波数帯域）、それによるハローが発生しないように許容限度の範囲で完全に封じ込んでいる（エッジ強調率が１のときの値にロックしている）。一方のLH成分は通常は主バンドの高周波側と位置づけられるが、低周波側の副バンドの特性も一部で持っているので、エッジ強調率に対して線形に増大しないようにある程度抑制している。これによってエッジ強調率が800%の領域で縦横の筋構造が発生するのを防止することができる。更に、HH成分は主バンドの高周波側に相当するが、LH成分の抑止機構と滑らかに接続して自然なテキスチャ回復を生み出すように、LH成分の抑止度を考慮したエッジ強調率に対する非線形な増大特性を持たせている。
【０１１８】
一方、色差成分については、主バンドであるLL成分も副バンドであるHH成分もその中間であるLH,HL成分も全てエッジ強調率100%時点における最大エッジ強調効果、すなわち、最大彩度強調と色コントラスト復元で完全に止めてしまう。これは、ノイズのゆらぎの範囲を超えてそれ以上の色差面の強調を行うと、画像の色相の変移が始まり、画像崩壊を導くからである（敏感な周波数帯域）。
【０１１９】
このように実験的に導かれた最適な手法は、ノイズ除去におけるノイズ除去率に応じて最適な周波数投影空間が遷移していく様子と、エッジ強調におけるエッジ強調率に応じて最適な周波数投影空間が遷移していく様子は異ならせるのがよいということになる。ただし、それはノイズ除去率やエッジ強調率に対して、高周波サブバンドと低周波サブバンドのうち副バンドの役割をする側を単調増加させるか単調減少させるかの意味で違うというだけである。ノイズ除去においてもエッジ強調においても、主バンドである輝度成分の高周波サブバンドと色差成分の低周波サブバンドは常に最大限に活用されている必要がある。副バンド側（前述した敏感な周波数帯域）は、画質破壊がないようにうまく調整して使う必要がある。
【０１２０】
なお、図４では、重みke ij(重み(1-15)(2-15)(3-15)(4-15)(5-15))は、エッジ強調率ζjointに依存するのみのような記載であるが、上述のようにノイズ除去率λjointにも依存しているため、ノイズ除去率λjointからも矢印があると考えればよい。
【０１２１】
１０−２．解像度レベル間の重みの設定
ノイズ成分のときとは違って、解像度レベル間のエッジ統合ウェイトを全て同じ値の1に設定せずに、人間の視覚への影響を考慮した解像度レベル間の重みを設定する。
【０１２２】
ノイズ除去を各解像度で均等にホワイト・ノイズとしてノイズ除去を行った画像を見た場合、その輪郭コントラスト等の低下によるノイズ除去の弊害の影響は各解像度が同程度に潰れたようには見えず、人間の視覚特性に最も被害を及ぼすように見えるのは中周波ないしはやや高周波よりの中周波成分である。これらの輪郭が失われると最も画像が持っていた情報の見た目の喪失感が大きい。したがって、ノイズ除去においてはこれらの中周波からやや高周波よりの成分のエッジ構造の保護に最大限の力を注ぐ必要がある。
【０１２３】
一方、仮にエッジ強調を解像度レベル間で全て同じ値の1とした場合、低解像度側から拾ったエッジ成分の影響が及ぶ範囲は広大で、それだけハウリングやハローを生じさせる危険性が増す。また、ナイキスト周波数レベルの最高解像度レベルのエッジ成分も多少、ノイズ成分と間違われやすい性質を持つ。したがって、それらの成分は中周波数帯に比べて下げて用いるのが安全である。ゆえに、ノイズ除去において最大の防護を必要とする周波数帯とエッジ強調で最も多くの復元をしてよい周波数帯、すなわち、復元を必要とする周波数帯はぴったり一致する。
【０１２４】
したがって、統合エッジ成分もそこに焦点を当てた解像度レベル間の重みを設定するのが、視感度特性の回復面からいっても望ましい。最高解像度レベル側の高周波でやや強度が低く、中間周波数帯よりやや高周波よりの解像度レベルに最大強度を持ち、最低解像度レベル側の低周波でどんどん強度が低くなる特性を持った分布としては都合よくポアッソン分布がある。ここでは、5段の多重解像度変換の段数に対し、ポアッソン分布の平均値μが真ん中より少し低周波側の2.0の解像度レベルを与えるような設定例を示す。全体の解像度レベルの中では40%の位置にポアッソン分布の平均値μを通常、設定する。すなわち、以下の式のようになる。
【数２７】
【０１２５】
具体的の数値は以下のようになる。ただし、式上では明示的に書き表していないが、設定した分布強度の最大値で規格化処理を入れるようにしている。
【数２８】
ピーク強度が一段目と２段目の間にあり、平均値の2.0段よりやや高周波解像度に寄っていることが分かる。
【０１２６】
次に、解像度間の重みについても同様にエッジ強調率が100%を超える場合についての対応方法について考察する。エッジ強調率が100%を超えてくると、低解像度側で拾ったエッジ成分によるハウリングやハローの危険性がますます増大してくる。それは中間解像度のエッジ成分についても同様のことが当てはまるようになる。したがって、高解像度側のエッジ成分だけが最も自然な形で画像崩壊をもたらすことなくエッジ強調を行うことができるようになる。これは、多重解像度によるエッジ強調効果、すなわちコントラスト強調、テキスチャ回復、彩度強調、色コントラスト回復の効果を漸近的に実空間における輝度面のみのエッジ強調処理にうまく接続しないと、画像崩壊を防止することができないことを意味している。
【０１２７】
このための制御方法としてポアッソン分布は極めて都合のよい特性を持っており、エッジ強調率が大きくなるに従い、ポアッソン分布の平均値を解像度レベルで1ないしは0に近づける操作をするだけで、その目的を実現できる。以下にその実現式を記述する。すなわち、ポアッソン分布の平均値の通常設定を最初に行い、エッジ強調率が100%を超える領域でその平均値が1に近づくような操作を行う。現在、扱っている多重解像度の段数がM段であるとすると、以下の式より平均値μを求めるようにする。なお、以下の式はエッジ強調率が100%以下の場合にもあてはまる式である。
【数２９】
【０１２８】
エッジ強調率が100%を超えて極めて大きくなった場合の極限状態における、解像度間の重みの分布状態は以下のように高解像度側に変化することになる。M=5段の場合の例である。ここでも、エッジ強調率が大きくなった場合にのみ限らず、ノイズ除去率が大きくなったときも相対的にエッジ成分がノイズゆらぎ幅に比べて大きく見えてしまうことを考慮している。
【数３０】
【０１２９】
以上のように、エッジ強調率が100%を超えるような場合、解像度間の重みの分布状態、すなわち解像度間の重みの重心位置を、エッジ強調率の大きさに応じて高解像度側に変化するようにしている。こうして、エッジ強調率が800%になっても自然なエッジ強調をすることができるようになり、画像の崩壊をもたらさない。
【０１３０】
ここで、通常の実空間におけるアンシャープマスクによるエッジ強調処理と本実施形態に述べている多重解像度エッジ強調処理との違いについて指摘しておく。通常のアンシャープマス処理によるエッジ強調は、低周波サブバンドに位置づけられる実空間のLL0の解像度で、原画像と7x7程度の平滑化画像との間の差分による高周波成分をとり、コアリング成分はノイズ成分として除外した後にハウリング、リンギング成分を主に抽出して、それらを強調スケーリングした後に原画像、ないしは平滑化画像に加える。すなわち、アンシャープマスクは、抽出したエッジ成分のうち、ノイズに埋もれる程度のエッジ成分はベースクリップ処理で排除してしまい、ある程度リンギングやハウリングを前提とした強度の強いエッジ成分を抽出しているだけである。
【０１３１】
これに対し、多重解像度によるエッジ強調は、基本的にノイズのゆらぎ程度に相当するコアリング成分を抽出し、ハウリング、リンギング成分は除外するとともに、その扱う周波数帯が、輝度面では最終的にエッジ強調率が上がってくると高周波サブバンドを主体とする点において、通常のアンシャープマスク処理によるエッジ強調と機能と役割は随分と異なっている。すなわち、多重解像度によるエッジ強調は、ノイズに埋もれる程度のエッジ成分だけを抽出することを前提としており、ノイズと同程度の強度のエッジ成分をノイズからうまく選別して取り出している。それによって、ノイズ増幅を伴わずに、かつ多重解像度で扱うことによって大きな画像改善の効果を得ることになる。ここではノイズに埋もれる程度のわずかなゆらぎのエッジ成分が重要な役割を果たしている。
【０１３２】
したがって、多重解像度エッジ強調によるコントラスト、テキスチャ、彩度、色コントラスト回復機能と、アンシャープマスクによるエッジ強調とは独立な機能であるため、並列に両者を同時使用しても全く問題ない。
【０１３３】
１０−３．実エッジ成分の統合処理
上述のような自然な印象のエッジ強調効果を得るのに最適な周波数バンド間の重みがつけられたエッジ成分を下式のように統合する(処理(1-12)(2-12)(3-12)(4-12)(5-12))。
【数３１】
【０１３４】
ただし、項目番号９の実ノイズ統合のときと同様に、下層から統合されてきたLLバンドのエッジ成分と元からLLバンドのエッジ抽出によって存在するエッジの２つのエッジ成分は加算することによって統合を行うものとする(処理(1-13)(2-13)(3-13)(4-13)(5-13))。その他は逆ウェーブレット変換処理を行うことによって統合する。
【０１３５】
このようにして抽出されるエッジ成分は、輝度面と色差面の原画像の周波数の性質に合わせて周波数調合していることから、エッジ強調によるコントラスト復元に最適な周波数投影空間を原画像の性質に合わせて変えているといってもよい。また、更にエッジ強調率やノイズ除去率に応じても周波数投影空間を変更していることに相当する。
【０１３６】
１１．統合ノイズ成分の自己精錬
次に統合ノイズ成分に対してもう一度項目番号５と同じ考え方に基づき、次式によりノイズ成分の自己精錬を行う(処理(0-1))。すなわち、最終的に実解像度と同じレベルまで統合されてきたノイズ成分が、再度その分布形状が仮説に基づいて、均等色・均等ノイズ空間における理想的なノイズ分布であるガウス分布をしているか２重に検証を行うのである。
【数３２】
【０１３７】
統合ノイズ成分に対するノイズの自己精錬には２重検証の意味以外にもう一つ重要な意味がある。それは、ノイズ成分を完全系に対して冗長な２つの低周波サブバンド群と高周波サブバンド群とからなる周波数投影空間で抽出しているので、各々のサブバンドで抽出されたノイズ成分がガウス分布していても、統合後の周波数冗長性をもつノイズ成分が再度ガウス分布するか保証がないからである。したがって、もう一度理想ノイズ分布の仮説に基づいてガウス分布形状に近づけることには非常に意味がある。
【０１３８】
ここに、σN thの値は項目番号５と同じ考え方に基づき、実空間のノイズゆらぎ指標値σth の値の６倍に設定するとよい。すなわち、ノイズゆらぎ指標値に対してシックス・シグマを超える統計的に100%ノイズとは考えられないノイズ成分を排除する。
【０１３９】
１２．統合エッジ成分の自己精錬
統合エッジ成分に対しても、もう一度項目番号６と同じ考え方に基づき、次式によりエッジ成分の自己精錬を行う(処理(0-2))。すなわち、最終的に実解像度と同じレベルまで統合されてきたエッジ成分が、再度その分布形状が仮説に基づいて、均等色・均等ノイズ空間における理想的なエッジ分布であるガウス分布をしているか２重に検証を行うのである。
【数３３】
【０１４０】
統合エッジ成分に対するエッジの自己精錬には２重検証の意味以外にもう一つ重要な意味が項目番号１１と同じ理由である。それは、エッジ成分も完全系に対して冗長な２つの低周波サブバンド群と高周波サブバンド群とからなる周波数投影空間で抽出しているので、各々のサブバンドで抽出されたエッジ成分がガウス分布していても、統合後の周波数冗長性をもつエッジ成分が再度ガウス分布するか保証がないからである。したがって、もう一度理想エッジ分布の仮説に基づいてガウス分布形状に近づけることには非常に意味がある。
【０１４１】
ここに、σE thの値は項目番号６と同じ考え方に基づき、実空間のノイズゆらぎ指標値σth の値と同じ値に設定するのがよい。そうすることによってリンギング成分を排除するとともに、ノイズ除去フィルタで区別できないためにノイズ除去によって消失してしまうと予測される微弱エッジ成分を、ここで同じ量だけ再度復活して抽出することが可能になる。
【０１４２】
１３．統合エッジによる統合ノイズ成分の精錬（相互精錬３）
統合ノイズ成分に対してもう一度項目番号７と同じ考え方に基づき、次式によりノイズ成分の統合エッジ成分による相互精錬を行う(処理(0-3))。これは、近隣でエッジ強度（絶対値）の強い領域ではノイズ成分の中にエッジ成分が混入している確率が高いというモデルを、もう一度複数の解像度レベルの相関を多重的に加味した統合エッジ成分を観測することによって、単一の解像度で観測したエッジ成分だけでは見出しえなかった、近隣のエッジ状況というものを周波数の視点を変えて検証することにある。すなわち、
【数３４】
【０１４３】
ここに、σNE thの値は、項目番号７と同様の考え方に基づき、実空間のゆらぎ指標値σth の値の６倍に設定するとよい。すなわち、ノイズゆらぎ指標値に対してシックス・シグマを超える統計的に100%エッジといえる領域でノイズ成分に誤って含まれやすいエッジ成分を排除する。また、同じガウス分布による相互混入モデルを用いているので、この相互精錬によって理想のノイズ・モデルの形が崩されることもなく、より理想形に近づく。
【０１４４】
１４．統合ノイズによる統合エッジ成分の精錬（相互精錬４）
統合エッジ成分に対しても、もう一度項目番号８と同じ考え方に基づき、次式によりエッジ成分の統合ノイズ成分による相互精錬を行う(処理(0-4))。これは、近隣でノイズ強度（絶対値）の強い領域ではエッジ成分の中にノイズ成分が混入している確率が高いというモデルを、もう一度複数の解像度レベルの相関を多重的に加味した統合ノイズ成分を観測することによって、単一の解像度で観測したノイズ成分だけでは見出しえなかった、近隣のノイズ成分の分布状況というものを周波数の視点を変えて検証することにある。
【数３５】
【０１４５】
ここに、σEN thの値は、項目番号８と同様の考え方に基づき、実空間のゆらぎ指標値σth の値と同じ値に設定するのがよい。そうすることによって、エッジ成分の中に含まれた抽出ノイズ成分でも観測されているはずのノイズ成分を除外することができる。また、同じガウス分布による相互混入モデルを用いているので、この相互精錬によって理想のエッジ・モデルの形が崩されることもなく、より理想形に近づく。
【０１４６】
なお、項目番号８で記載した言い換えの表現は、本統合ノイズによる統合エッジ成分の精錬においても同様に言える。
【０１４７】
１５．仮想ノイズ除去輝度面の生成
次の項目番号１６で用いるノイズのない参照輝度面を得るために、実ノイズ統合されたノイズ成分を100%用いて、一時的な仮想ノイズ除去輝度面を生成する。
【数３６】
【０１４８】
ただし、場合によってはこの処理を飛ばして、ノイズ除去されていない原画像の輝度面L^(x)（上記式の右辺の第１項）で代用してもよい。
【０１４９】
１６．実際のノイズ除去処理と実際のエッジ強調処理
実施の形態冒頭の基本的な考えの説明でも述べたように、このようにしてノイズ成分とエッジ成分の自己及び相互精錬を多重に繰り返してきたにもかかわらず、排除し切れない相互混入成分が存在する。それらによるノイズ除去処理とエッジ強調処理への弊害を最小化し、ノイズ除去とエッジ強調の効果を最大化するには、弊害と効果を事前に予測した工夫をノイズ除去率とエッジ強調率に導入する余地が残されている。
【０１５０】
これまでの処理でノイズ成分とエッジ成分は均等色・均等ノイズ空間で抽出してきており、画像全面に渡って一様なノイズ除去率λと一様なエッジ強調率ζでノイズ除去とエッジ強調を行うと、均等色・均等ノイズ空間では全ての明るさレベルの階調に渡って一様にノイズ除去効果とエッジ強調効果が得られるはずである。しかし、一旦作業用色空間から出力色空間へ変換したとき、その階調特性の違いから出力空間でみた画像では、ある部分のノイズ除去効果とエッジ強調効果が実質的に弱まり、またそれらの弊害がある部分では強調されて現れてくる可能性がある。
【０１５１】
これらの効果と弊害の増減幅の見えは、主として出力色空間の階調特性と作業用色空間の階調特性の微分比率で効いてくると考えられる。そこでこの出力色空間の階調特性γと作業用色空間の階調特性Γの微分比率で表された明るさに対するコントラスト比関数を以下のように定義する。ここに、Yは線形階調特性を表す。項目番号１で定義されたXYZ空間のYと同じである。
基準コントラスト比関数
【数３７】
【０１５２】
実際の例では、分子の出力色空間のガンマ曲線γ(Y)は図７（ａ）のＡあるいはＢのような曲線で表され、分母の作業用色空間のガンマ曲線Γ(Y)は図７（ａ）のＣに描かれたような曲線で表され、Γ(Y)は項目番号１の関数f(t)の定義と同一である。また、輝度面の明るさのみをコントラスト比関数の引数として参照するので、原画像の明るさS(x,y)は項目番号１で変換されたL^(x,y)を参照することと同じである。
【０１５３】
図７（ｂ）の曲線群は、コントラスト比関数の２番目に書かれた式をγとしてＡとＢの曲線に選んだ場合の様子を示した図であり、一本の直線は、コントラスト比関数の２番目に書かれた式をγとしてＣの曲線に選んだ場合の様子を示した図である。したがって、実際のコントラスト比関数の１番目と３番目に書かれた式の曲線は横軸を線形階調YからΓ(Y)を通したスケーリングで描けばよい。すなわち、横軸がΓ(Y)の場合は、横軸の暗い部分は引き伸ばされ、明るい部分は縮められたような図となる。
【０１５４】
１６−１．ノイズ除去率のコントラスト比関数による汎関数表現(処理(0-7))
１）汎関数表現１（ガンマ版）
ノイズ除去率の汎関数表現は、作業用色空間で一様なノイズ除去をしたのと同程度の見栄えを保持しつつ、出力色空間におけるノイズ除去効果が全ての明るさで均質化されることを第一の目標とする。そうすることによって、ある明るさレベルの階調コントラストが出力色空間の方が立った領域のノイズ増幅感というのは抑えられ、また階調コントラストが出力色空間の方が寝ている特定領域だけのノイズ減幅作用による不均一感というのは抑えられる。
【０１５５】
このとき、ノイズ除去率を出力ガンマ特性に合わせて増減幅する際の、増減幅の基準点の設定をどこに選択するかという問題が重要になる。輝度成分の場合、それは出力色空間で平均輝度レベル（256階調では128前後）になることを目標として設計される露出基準点にとるのがよい。これは通常、線形階調で18%グレーと呼ばれるISO規格のグレーチャート基準被写体の明るさレベルに相当する。そうすると出力色空間での輝度成分のノイズ除去の見えは、明るさ全体で平均的に一定に保たれたように見えるようになる。したがって、出力色空間への階調変換によってノイズ増幅する恐れのあった暗い部分の領域のノイズ被りによるコントラスト低下を防止し、クリアなノイズ除去結果を得ることができる。
【０１５６】
一方、色差成分は輝度成分より一般的に強い目のノイズ除去を必要とするため、輝度成分のようにダイナミックにノイズ除去率を操作することはできず、ノイズ除去効果を落とさずにコントラスト保持できる部分のノイズ除去を緩める形をとる。具体的には出力ガンマ特性がニー特性になる領域の飽和基準点で規格化を行なう。飽和基準点として例えば出力階調特性が256階調に対して180〜220程度になる点を選択する。するとハイライト部の色差面ノイズ除去率を弱めることになり、ハイライト部は一般に色差面では高彩度部に対応するので、高彩度部の色抜けを防止し、色再現性の高い色斑ノイズ除去効果を生む。また、輝度成分の暗部ノイズ除去効果と相まって、暗部のノイズ被りや色斑かぶりが完全に消えて、原画像よりも曇りの抜けた透明感を生み出す。
【０１５７】
これらを実現するノイズ除去率のコントラスト比関数による汎関数表現は以下の式で表される。輝度成分の場合、上記露出基準点に基づくコントラスト比を次式の分母に代入することにより規格化が行われる。また、色差成分の場合、上記飽和基準点に基づくコントラスト比を次式の分母に代入することにより規格化が行われる。
【０１５８】
輝度成分の場合
【数３８】
色差成分の場合
【数３９】
ここで色差成分については、色相が変化してしまうことを防止するために、以下の式で示すようにクリッピング処理を入れる。
ζ（→ｘ） ＝ ＭＩＮ（ζ（→ｘ），１．０）
【０１５９】
２）汎関数表現２（レチネックス版）
ノイズ除去率の汎関数表現は、もう一つ別の視点から作ることができる。すなわち、汎関数表現１では画像全体の明るさレベルの間でノイズ除去効果が均質化されることを目標としたのに対し、ここでは局所的なエッジ構造近傍の範囲内で明るさレベル間のノイズ除去効果が均質化されることを目標とする。これは、画像構造を決める重要な部分はエッジ近傍に集中しており、その周りさえノイズ除去効果が明るさに対して均質化されていれば画像全体としてのノイズ除去効果は非一様であってもその均質化作用が持つもう一つ別な側面を局所的な領域に対して最大限発揮しうる、という考えに基づく。
【０１６０】
すなわち、ノイズ除去効果の均質化にはもう一つ、ノイズ成分から分離し切れなかったエッジ成分によるエッジ構造破壊の弊害を明るさレベル間で均質化することにより、その弊害の見えの強いところの存在に伴って全体的な印象を悪くしてしまう不均一さの視覚的な欠点を減らして、弊害の見えを平均的に最小化するという意味がある。したがって、エッジ近傍で重点的にこのノイズ除去の弊害対策を実施すれば、効果的に画像の重要な構造情報を保存することができる。
【０１６１】
この場合も、一般的な階調特性をもつ出力色空間に対しては、明るいところで作業用色空間の階調コントラストの方が高いことに伴ってその領域に混入するエッジ成分のコントラストも強くなりやすく、その領域で弊害が起きやすい。輝度成分の場合は白い画像領域面内の構造情報が消失しやすく、色差成分の場合は高彩度部の色情報を失いやすい。
【０１６２】
したがって、以下のような式によってノイズ除去率をコントラスト比関数の汎関数表現するとよい。このとき参照するエッジ情報としては、画像構造を局所的にも大局的にもあらゆるスケールで観測する多重解像度統合エッジ成分を用いるのが最適である。また、ノイズ成分やリンギング成分がしっかりと除外されて視覚的に重要な周波数帯域が加味された統合エッジ成分Ew"(x,y)を用いるのが最もよい。
【０１６３】
輝度成分の場合
【数４０】
色差成分の場合
【数４１】
ここで色差成分については、色相が変化してしまうことを防止するために、以下の式で示すようにクリッピング処理を入れる。
ζ（→ｘ） ＝ ＭＩＮ（ζ（→ｘ），１．０）
【０１６４】
ここに、σgE thの値は、実空間におけるノイズゆらぎ指標値σthに連動する値、ないしは絶対エッジ強度レベルで与えるとよい。それによって、輪郭ボケによるエッジ・コントラスト低下を防止したいエッジ強度レベルを設定することができる。
【０１６５】
３）汎関数表現３（合成版）
ノイズ除去率の汎関数表現１と２は局所的に各々で効き方が違う。したがって、２つの方法を組み合わせた使い方も考えられる。その場合は基本的に２つの汎関数表現部分の積をとった汎関数表現をすればよい。
【０１６６】
１６−２．エッジ強調率のコントラスト比関数による汎関数表現(処理(0-8))
１）汎関数表現１（ガンマ版）
エッジ強調率の汎関数表現もまた同様に、作業用色空間で一様なエッジ強調をしたのと同程度の見栄えを保持しつつ、出力色空間におけるエッジ強調効果が全ての明るさで均質化されることを第一の目標とする。そうすることによって、ある明るさレベルの階調コントラストが出力色空間の方が立った領域での作業用色空間での低いコントラストで抽出したエッジ成分によるエッジ強調不足というのは抑えられ、また階調コントラストが出力色空間の方が寝ている特定領域だけの作業用色空間での高いコントラストで抽出したエッジ成分による過剰なエッジ強調作用による不均一感というのは抑えられる。すなわち、作業用色空間の方が出力色空間よりコントラストの低い階調領域ではエッジ成分のコントラストを事前に高め、反対にコントラストが高い領域ではエッジ成分のコントラストを事前に弱める必要がある。
【０１６７】
このとき、エッジ強調率を出力ガンマ特性に合わせて増減幅する際の、増減幅の基準点の設定をどこに選択するかという問題が重要になるが、ノイズ除去率のときと同じくして、輝度成分の場合、それは出力色空間で平均輝度レベル（256階調では128前後）になることを目標として設計される露出基準点にとるのがよい。そうすると出力色空間での輝度成分のエッジ強調の見えは、明るさ全体で平均的に一定に保たれたように見えるようになる。したがって、出力色空間への階調変換によってエッジ・コントラスト不足に陥る恐れのあった暗い部分の領域の、階調補正不足による黒浮き現象を防止し、階調性が原画像よりも高い、黒の締まったクリアなエッジ強調効果を得ることができる。
【０１６８】
一方、色差成分は、作業用色空間と同じようなエッジ強調効果を出力色空間でも得ようとすると、輝度成分より一般的に強い目のエッジ強調を必要とする。なぜならば、色差成分は高周波のエッジ構造をあまり含まず、緩やかに変化するエッジ構造が多いため、エッジ成分が抽出しにくいことに由来する。したがって、輝度成分のようにダイナミックにエッジ強調率を操作することはできず、エッジ強調効果を落とさずにコントラスト保持できる部分だけのエッジ強調を緩める形をとる。
【０１６９】
具体的にはノイズ除去率の場合と同じくして、出力ガンマ特性がニー特性になる領域の飽和基準点で規格化を行なう。するとハイライト部の色差面エッジ強調率を弱めることになる。ハイライト部は一般に色差面では高彩度部に対応するので、エッジ成分の抽出が容易であり、また作業用色空間の方が出力色空間よりコントラストが高いので、そのまま利用するとカラフルネスを上げ過ぎる弊害が生じる。したがって、ハイライト部のエッジ強調率を弱めることによって、高彩度部の極端な彩度強調を防止し、他の暗い領域の色コントラストとカラフルネス復元とのバランスを保った全体的に色再現性の高いエッジ強調効果を生む。また、輝度成分の暗部エッジ強調効果と相まって、暗部のノイズ被りによる黒浮きや他の領域から暗部への色滲みが完全に消え、原画像よりも黒の再現性の高い、抜けのよい鮮明感や透明感を生み出す。
【０１７０】
これらを実現するエッジ強調率のコントラスト比関数による汎関数表現は以下の式で表される。ノイズ除去率と同様に、輝度成分の場合、上記露出基準点に基づくコントラスト比を次式の分母に代入することにより規格化が行われる。また、色差成分の場合、上記飽和基準点に基づくコントラスト比を次式の分母に代入することにより規格化が行われる。
輝度成分の場合
【数４２】
色差成分の場合
【数４３】
【０１７１】
２）汎関数表現２（レチネックス版）
エッジ強調率の汎関数表現に関しても、もう一つ別の視点から作ることができる。すなわち、汎関数表現１では画像全体の明るさレベルの間でエッジ強調効果が均質化されることを目標としたのに対し、ここでは局所的なエッジ構造近傍の範囲内で明るさレベル間のエッジ強調効果が均質化されることを目標とする。これは、画像構造を決める重要な部分はエッジ近傍に集中しており、その周りさえエッジ強調効果が明るさに対して均質化されていれば画像全体としてのエッジ強調効果は非一様であってもその均質化作用が持つもう一つ別な側面を局所的な領域に対して最大限発揮しうる、という考えに基づく。
【０１７２】
すなわち、エッジ強調効果の均質化にはもう一つ、エッジ成分から分離し切れなかったノイズ成分によるノイズ増幅の弊害を明るさレベル間で均質化することにより、その弊害の見えの強いところの存在に伴って全体的な印象を悪くしてしまう不均一さの視覚的な欠点を減らして、弊害の見えを平均的に最小化するという意味がある。したがって、エッジ近傍で重点的にこのエッジ強調の弊害対策を実施すれば、効果的に画像の重要な構造部のコントラストを、ノイズ被りの影響から保護することができる。
【０１７３】
この場合も、一般的な階調特性をもつ出力色空間に対しては、明るいところで作業用色空間の階調コントラストの方が高いことに伴ってその領域に混入するノイズ成分のコントラストも強くなりやすく、その領域でノイズ被りの弊害が起きやすい。輝度成分の場合は白い画像領域面内の構造情報がノイズに埋もれやすく、色差成分の場合は高彩度部の色情報がノイズに埋もれやすい。
【０１７４】
したがって、以下のような式によってエッジ強調率をコントラスト比関数の汎関数表現するとよい。このとき参照するエッジ情報としては、画像構造を局所的にも大局的にもあらゆるスケールで観測する多重解像度統合エッジ成分を用いるのが最適である。また、ノイズ成分やリンギング成分がしっかりと除外されて視覚的に重要な周波数帯域が加味された統合エッジ成分Ew"(x,y)を用いるのが最もよい。
【０１７５】
輝度成分の場合
【数４４】
色差成分の場合
【数４５】
【０１７６】
ここに、σgE thの値は、実空間におけるノイズゆらぎ指標値σthに連動する値、ないしは絶対エッジ強度レベルで与えるとよい。それによって、ノイズ被りの影響によるコントラスト低下を防止したいエッジ強度レベルを与えることができる。
【０１７７】
３）汎関数表現３（合成版）
エッジ強調率の汎関数表現１と２も局所的に各々で効き方が違う。したがって、２つの方法を組み合わせた使い方も考えられる。その場合は基本的に２つの汎関数表現部分の積をとった汎関数表現をすればよい。
【０１７８】
１６−３．ノイズ除去処理とエッジ強調処理の実行
このようにしてノイズ除去とエッジ強調の効果の最大化と弊害の最小化が図られたノイズ除去率とエッジ強調率の汎関数表現を用いて、実際にノイズ除去処理とエッジ強調処理を行う。
【０１７９】
１）ノイズ除去処理だけの場合
ノイズ除去処理だけの場合、次式によりノイズ除去を行い(処理(0-9))、ノイズ除去後の画像を出力する(処理(0-10))。
【数４６】
２）エッジ強調処理だけの場合
エッジ強調処理だけの場合、図４の処理(0-9)を行わず、次式によりエッジ強調のみを行い(不図示)、エッジ強調後の画像を出力する(不図示)。
【数４７】
３）ノイズ除去処理とエッジ強調処理を同時に行う場合
ノイズ除去処理とエッジ強調処理を同時に行う場合、上記ノイズ除去処理だけの場合の処理(処理(0-9))を行った後、エッジ強調処理を行い(処理(0-11))、ノイズ除去およびエッジ強調後の画像を出力する(処理(0-12))。ノイズ除去処理とエッジ強調処理の両方を行う場合の式をまとめると次式のようになる。
【数４８】
【０１８０】
ここに、ノイズ除去で損失を被った程度の輪郭ボケを回復したい目的でエッジ強調を行う場合は、
【数４９】
のように設定するのがよい。そうするとλjointのノイズ除去率を上げるに伴ってノイズ除去効果が強くなっていく画質設計を保ったまま、ノイズ除去で失ってしまうノイズに埋もれたテキスチャをも復元しうる高性能なノイズ除去が可能となる。
【０１８１】
一方、ノイズ除去を伴わずに、各ＩＳＯ感度の原画像のノイズによる不鮮明感だけを取り除きたい場合は、λjoint＝０、ζjoint≠０とすればよい。
【０１８２】
ここで注目すべき指摘しておきたい点がある。上述のようにして物理的現象を追うことによって解明してきたノイズ除去率の汎関数表現の最適解とエッジ強調率の汎関数表現の最適解は偶然にも一致するのである。抽出エッジ成分の中に含まれる分離不可能なノイズ成分の視点に立てば、エッジ強調率の汎関数表現はエッジ成分の中に混在するノイズ成分の増幅を恐れてノイズ除去率の汎関数表現の逆数に設定する論理も考えられうる。しかし、実験的に一致する表現の方がそれに勝る結果が得られるのは、抽出エッジ成分からノイズ成分をうまく排除して真のエッジ成分に近づけたことにより、エッジ成分を純粋なエッジ成分として扱ってよく、ノイズ成分の増幅を恐れる心配がなくなった証拠と言える。したがって、処理上は各々で個別の汎関数表現を作成する手間は省ける。また、これの物理的意味は、ノイズ除去で失ったエッジ構造を正確に同じような振る舞いで元に戻そうとすると同じ関数形になるということとも無縁ではない。しかし、ノイズ除去とエッジ強調は全く独立事象であるにもかかわらず、階調方向に関しては一致する。他方のステップＳ１０の周波数投影空間では不一致である。
【０１８３】
１７．出力色空間への変換
次に、図２のステップＳ４において、ノイズ除去およびエッジ強調された画像について画像処理空間から出力色空間へ変換する。出力色空間が入力色空間と同じでよい場合は、項目番号１の逆変換処理を行なう。また、異なっている場合は各入力及び出力の標準色空間の規定に従って変換すればよい。例えば、入力がAdobeRGBで出力がsRGBのような場合が考えられる。また、それだけに留まらず、出力画像に対して更に階調補正が加えられていてもよい。例えば、画像に掛けるガンマ曲線の特性を変える。そのときは事前に項目番号１６−１と項目番号１６−２側にその特性情報を伝えて、コントラスト比関数を事前に計算できるようにしておく。
【０１８４】
１８．画像出力
図２のステップＳ５では、以上のようにしてノイズ除去およびエッジ強調された画像データを出力する。
【０１８５】
以上のようにしてエッジ強調処理された画像に対して、次のような画質効果を生じる。まず、高感度撮影されてノイズ被りによってエッジのコントラストが低下し、黒浮きした画像に対して、輪郭の鮮明さを回復し、ノイズと同程度の振幅のテキスチャ構造にしっかりとコントラストをつけ、全体の鮮鋭感・立体感を上げるとともに、黒の締まりを良くしてノイズ被りによる曇りをなくし、階調表現性を豊かにすることによって透明感を上げ、色境界の滲みをなくして色コントラストを上げ、全体のノイズ被りによる彩度低下をなくして、カラフルネスを上げる効果がある。
【０１８６】
また、同様にしてノイズ除去された画像に対してエッジ強調処理を同時化することによって、ノイズ除去で失われたエッジ構造を復元する効果が得られる。すなわち、ノイズ除去による鮮鋭感の低下を回復し、ノイズ除去によって失われたノイズと同程度に変化するテキスチャをも回復しつつ粒状性ノイズを低減し、また、暗部のノイズを抑制し、明部のノイズ被りも防止することによって階調性を上げ、色滲みと平坦部での緩やかな色構造の消失の少ない色斑ノイズ除去を実現する。
【０１８７】
また、これらのエッジ強調による画像エンハンスメントとノイズ除去によるノイズ抑制を、それらの強度、すなわちエッジ強調率とノイズ除去率の強さに応じて自然な画質を保ったまま連続的に実現することができる。いいかえると、高感度撮影された画像に対する原画像をも凌ぐ良好な画質のエンハンスメント効果は、低感度撮影された画像に近づけるような自然な形でなされて、そこから踏み外すことはないことを保証する。
【０１８８】
したがって、鮮鋭感、鮮明感、立体感、透明感に代表されるような主観的な質感再現性も、解像力、色分解能、有効階調帯域幅に表されるような物理量の再現性も高いエッジ強調やノイズ除去効果を得ることができる。
【０１８９】
なお、低感度撮影画像にもノイズというものは必ず存在し、これらのエンハンスメント効果が同様にして得られることは実験的にも確認している。
【０１９０】
−第２の実施の形態−（実空間版）
第２の実施の形態では、実空間面のままノイズ除去とエッジ強調を同時に行う実施形態を示す。
【０１９１】
第２の実施の形態の画像処理装置の構成は、第１の実施の形態と同様であるので、図１を参照し、その説明を省略する。また、パーソナルコンピュータ１が処理する第２の実施の形態の画像処理のフローチャートも、流れとしては図３と同様であるので、その説明を省略する。以下、第１の実施の形態の処理と異なる点を中心に説明をする。図８は、第２の実施の形態のノイズ除去処理およびエッジ強調処理の流れ図を示す図である。
【０１９２】
１．色空間変換
第１の実施の形態の項目番号１と同じ。
【０１９３】
２．仮想ノイズ除去によるノイズ抽出
２−１．ノイズ除去処理
実空間面はS(x,y)で表されているので、第１の実施の形態のサブバンド面V(x,y)に対する処理をVからSに置き換えるだけでよい(処理(x-1))。ただし、積分範囲は大きくとる必要が出てくる。
【０１９４】
ノイズ除去フィルタとして、σフィルタやεフィルタ等、平滑化面S'を作るノイズ除去処理の方法は何を用いても構わないが、第１の実施の形態と同じく改良型バイラテラル・フィルタの例を示しておく。
【数５０】
【０１９５】
本当にきれいなノイズ除去効果を得るにはrthの値を50程度にとってフィルタリング範囲を101x 101画素程度にするのがよいが、ここでは説明の簡略化のためrth=12にとって25x25の範囲で積分を行なうものとする。ただし、σフィルタやεフィルタの場合は、空間的な因子には無頓着なのでrthに相当するパラメータは存在せず、単に積分範囲を設定するだけである。
【０１９６】
２−２．ノイズ抽出処理
次式のようなノイズ抽出処理を行う(処理(x-3))。
【数５１】
【０１９７】
３．エッジ抽出
仮想ノイズ除去された実空間面からエッジ成分を抽出する(処理(x-3))。
【数５２】
【０１９８】
ここで、エッジ検出フィルタとしてはラプラシアン・フィルタを用いる。第２の実施の形態と同じ9x9のラプラシアン・フィルタでもよいが、平滑化フィルタを25x25に設定したので、こちらも25x25程度に設定するのが望ましい。25x25のラプラシアンは、9x9のガウシアン・フィルタを3回掛けた平滑化画像と原画像の差分をとれば作成できる。すなわち、
【数５３】
【０１９９】
４．ノイズ成分の自己精錬
第１の実施の形態の項目番号１１と同じ式を用いて、ノイズ成分の自己精錬を行う(処理(0-1))。ただし、Nwの記号はNに置き換える。
【０２００】
５．エッジ成分の自己精錬
第１の実施の形態の項目番号１２と同じ式を用いて、エッジ成分の自己精錬を行う(処理(0-2))る。ただし、Ewの記号はEに置き換える。
【０２０１】
６．エッジによるノイズ成分の精錬（相互精錬１）
第１の実施の形態の項目番号１３と同じ式を用いて、エッジによるノイズ成分の精錬を行う(処理(0-3))。ただし、Nwの記号はNに、Ewの記号はEに置き換える。
【０２０２】
７．ノイズによるエッジ成分の精錬（相互精錬２）
第１の実施の形態の項目番号１４と同じ式を用いて、ノイズによるエッジ成分の精錬を行う(処理(0-4))。ただし、Nwの記号はNに、Ewの記号はEに置き換える。
【０２０３】
８．実際のノイズ除去処理と実際のエッジ強調処理
第１の実施の形態の項目番号１６と同じ式を用いる(処理(0-7)(0-8)(0-9)(0-11))。ただし、Nwの記号はNに、Ewの記号はEに置き換える。また、便宜上、第１の実施の形態の項目番号１５に相当する処理は省略した。
【０２０４】
９．出力色空間への変換
第１の実施の形態の項目番号１７と同じ。
【０２０５】
こうして得られる画像処理結果には、第１の実施の形態の周波数投影空間の最適選択の効果の部分を除いて、第１の実施の形態と同様にノイズ成分とエッジ成分の分離性能の高い、また、それらの中に含まれる不純物成分による弊害も最小化した、高品質なノイズ除去とエッジ強調の効果が得られる。
【０２０６】
―変形例―
（１）なお、上述の実施形態ではノイズ除去処理とエッジ強調処理がどちらも存在する前提で、それらを使うか否かは最後に自由選択する形式で記述したが、エッジ強調処理のみをもっと高速に実現したい場合、ノイズ除去フィルタによる平滑化処理が重い処理として障害になるので、ノイズ除去フィルタを省略して、第１の実施の形態では多重解像度表現されたサブバンド画像から直接、第２の実施の形態では原画像から直接アンシャープマスク処理によってエッジ成分を抽出するようなことも簡略な使い方としては考えられる。
【０２０７】
（２）なお、第１の実施の形態の項目番号５〜８，１１〜１５のノイズ成分とエッジ成分の自己・相互精錬、及び項目番号１６のノイズ除去率とエッジ強調率の汎関数表現による演算は、ソフトウェアで実際に処理する場合はルックアップテーブルを通過させるだけなのでほとんど無視できる程度の処理時間しかかからないことを指摘しておく。
【０２０８】
（３）なお、上記説明の画像処理空間は最良の色空間として均等色・均等ノイズ空間を用いたが、一般的な均等色空間の場合も同様にコントラスト比関数を定義して、本発明を利用することができる。例えば、CIE定義のL*a*b*空間やL*u*v*、あるいはCIECAM02でもよく、それぞれで定義される作業用色空間の階調特性と出力色空間の階調特性からコントラスト比関数を求めればよい。
【０２０９】
（４）なお、上述の第１の実施の形態ではedge-preserving smoothing filterとして高性能な改良型バイラテラル・フィルタを用いる例で示したが、エッジとノイズとの分離度は劣るが高速・簡便に動作するノイズ除去フィルタの例として本出願人発明のWO2006/106919に示される以下のようなラプラシアン・ノイズ除去フィルタがある。この場合、実施形態で定義したノイズ成分とエッジ成分の自己及び相互精錬の機能は、元の抽出されてきた各々の成分の純度が悪いため、改良型バイラテラル・フィルタのより効果的にその性能を発揮する。
【０２１０】
輝度面のノイズ除去処理
【数５４】
色差面のノイズ除去処理
【数５５】
【０２１１】
ただし、ここで定義するラプラシアンは多重解像度で利用するときは最も単純な3x3のものでよい。
【０２１２】
（５）なお、上述の第１の実施の形態では5段のウェーブレット変換の場合、低周波サブバンド画像群と高周波サブバンド画像群の解像度レベルをj=1,2,...,5として用いる例を示したが、実空間を低周波サブバンド画像群のj=0の解像度として扱うこともできる。その場合、j=1で行なったようなノイズ抽出処理やエッジ抽出処理を行なって、統合ノイズ成分と統合エッジ成分の各々に最後の段階で加算するようにしてもよい。そのときの解像度レベル間の重みづけは、j=0に対してノイズ成分の場合はホワイト・ノイズであるのでknj=1であり、kejの値は項目番号１０−２でこの場合を想定して既に記載してある数値を用いるとよい。
【０２１３】
（６）なお、上記実施の形態で説明した画像処理空間は最良の色空間を例示しただけであって、従来からの色空間でノイズ除去およびエッジ強調処理を行なっても何ら本発明の意義が薄れるものではない。例えば、最新の均等色空間であるCIECAM02などを用いてもよい。なお、この空間は均等ノイズ空間、あるいは、均等色空間のいずれの空間であってもよい。
【０２１４】
（７）上記実施の形態では、エッジ成分の自己精錬において、エッジ成分の強度に関する度数分布がノイズゆらぎ指標値σth ijに基づく所定幅のガウス分布に近づくように指数関数により演算するようにした。しかし、この処理をガウス分布ではなく次式による閾値判定とするようにしてもよい。また、ノイズによるエッジ成分の精錬、ノイズの自己精錬、エッジによるノイズ成分の精錬においても同様に閾値判定でもよい。
【数５６】
【０２１５】
（８）上記実施の形態では、パーソナルコンピュータ１で実現される画像処理装置の例で説明をした。しかし、上記で説明したパーソナルコンピュータ１によるノイズ除去処理を、デジタルカメラ（電子カメラ）内で行うようにしてもよい。図９は、このデジタルカメラ１００の構成を示す図である。デジタルカメラ１００は、撮影レンズ１０２、ＣＣＤなどからなる撮像素子１０３、ＣＰＵおよび周辺回路からなる制御装置１０４、メモリ１０５などから構成される。
【０２１６】
撮像素子１０３は、被写体１０１を撮影レンズ１０２を介して撮影（撮像）し、撮影した画像データを制御装置１０４へ出力する。ここでの処理が、第１の実施の形態で説明した図３のステップＳ１の画像データ入力に相当する。制御装置１０４は、撮像素子１０３で撮影された画像データに対して、上記で説明した各実施の形態や変形例のノイズ除去処理を行い、適切にノイズ除去されエッジ強調された画像データを適宜メモリ１０５に格納する。制御装置１０４はＲＯＭ（不図示）などに格納された所定のプログラムを実行することにより、上記説明したノイズ除去処理およびエッジ強調処理を行う。
【０２１７】
このようにして、デジタルカメラ１００内部でも、エッジ強調におけるリンギングを防ぎ、自然なエッジ強調効果を生む処理が可能となり、適切にエッジ強調された画像データをメモリ１０５に格納し、また、着脱可能なメモリカードなどの記録媒体に記録することができる。
【０２１８】
以上説明した本実施の形態や変形例の作用効果を整理すると、以下のようになる。
（１）原画像のエッジ強調を行う画像処理方法は、原画像から少なくとも１つの低周波帯域制限画像と高周波帯域制限画像のセットを生成し、各々の帯域制限画像にエッジ抽出フィルタをかけることによって低周波エッジ成分と高周波エッジ成分の各々を抽出し、低周波エッジ成分と高周波エッジ成分を合成することによって１つのエッジ成分を生成し、生成されたエッジ成分に基づいて原画像のエッジ強調を行い、エッジ強調の強さに応じて、低周波エッジ成分と高周波エッジ成分の合成比率を変えるようにした。この合成比率を変えるとは、前述の重みkei(i=LL,LH,HL,HH)を異ならせることを意味し、項目番号１０−１において、数式２３、２４により表されている。
【０２１９】
（２）このとき、原画像が輝度成分のとき、エッジ強調の強さを大きくするにしたがい、低周波エッジ成分の高周波エッジ成分に対する合成比率を下げるようにした。数式２３では、低周波エッジ成分の重みkeLLはζjointに連動して変化し、他の高周波エッジ成分の重みkeLH,keHL,keHHは固定値1が設定されている。従って、エッジ強調の強さ(ζjoint)を大きくするに従い、低周波エッジ成分の高周波エッジ成分に対する合成比率は下がるようになる。
【０２２０】
（３）また、原画像が色差成分のとき、エッジ強調の強さを大きくするにしたがい、高周波エッジ成分の低周波エッジ成分に対する合成比率を下げるようにした。数式２４では、高周波エッジ成分の重みkeLH,keHL,keHHはζjointに連動して変化し、低周波エッジ成分の重みkeLLは固定値1が設定されている。従って、エッジ強調の強さ(ζjoint)を大きくするに従い、低周波エッジ成分の高周波エッジ成分に対する合成比率は下がるようになる。
【０２２１】
（４）さらに、エッジ強調の強さを小さくするにしたがい、低周波エッジ成分と高周波エッジ成分を同程度の合成比率にするようにした。エッジ強調の強さζjointが0≦ζjoint≦1の間で変化する場合、ノイズ除去の強さλjointも十分に小さいとした場合、エッジ強調の強さζjointが小さくなるとその値は1に近づき、数式２３、２４とも、低周波エッジ成分と高周波エッジ成分の重みはすべて1に近づき同程度の合成比率となる。
【０２２２】
（５）原画像からノイズ成分を抽出し、抽出されたノイズ成分に基づいて原画像のノイズ除去を、エッジ強調とともに行うとき、低周波エッジ成分と高周波エッジ成分の合成比率を、更にノイズ除去の強さに応じても変えるようにした。これは、項目番号１０−１の数式２３〜２６においてノイズ除去率λjointも考慮されていることを意味する。
【０２２３】
（６）このとき、原画像が輝度成分のとき、ノイズ除去の強さを大きくするにしたがい、低周波エッジ成分の高周波エッジ成分に対する合成比率を下げるようにした。これは、例えば、項目番号１０−１の数式２３においてノイズ除去率λjointの値を０〜１の間で大きくすると、keLLの値は小さくなり合成比率は下がることを意味する。
【０２２４】
（７）また、原画像が色差成分のとき、ノイズ除去の強さを大きくするにしたがい、高周波エッジ成分の低周波エッジ成分に対する合成比率を下げるようにした。これは、例えば、項目番号１０−１の数式２４においてノイズ除去率λjointの値を０〜１の間で大きくすると、keLLの値は小さくなり合成比率は下がることを意味する。
【０２２５】
（８）このとき、ノイズ除去の強さを小さくするにしたがい、低周波エッジ成分と高周波エッジ成分を同程度の合成比率にするようにした。ノイズ除去率λjointが0≦λjoint≦1の間で変化する場合、エッジ強調の強さζjointも十分に小さいとした場合、ノイズ除去の強さλjointが小さくなるとその値は1に近づき、数式２３、２４とも、低周波エッジ成分と高周波エッジ成分の重みはすべて1に近づき同程度の合成比率となる。
【０２２６】
（９）原画像のノイズ除去を行う画像処理方法は、原画像から少なくとも１つの低周波帯域制限画像と高周波帯域制限画像のセットを生成し、各々の帯域制限画像にノイズ除去フィルタをかけることによって低周波ノイズ成分と高周波ノイズ成分の各々を抽出し、低周波ノイズ成分と高周波ノイズ成分を合成することによって１つのノイズ成分を生成し、生成されたノイズ成分に基づいて原画像のノイズ除去を行い、ノイズ除去の強さに応じて、低周波ノイズ成分と高周波ノイズ成分の合成比率を変えるようにした。
【０２２７】
（１０）このとき、原画像が輝度成分のとき、ノイズ除去の強さを小さくするにしたがい、低周波ノイズ成分の高周波ノイズ成分に対する合成比率を下げるようにした。
【０２２８】
（１１）また、原画像が色差成分のとき、ノイズ除去の強さを小さくするにしたがい、高周波ノイズ成分の低周波ノイズ成分に対する合成比率を下げるようにした。
【０２２９】
（１２）さらに、ノイズ除去の強さを大きくするにしたがい、低周波ノイズ成分と高周波ノイズ成分を同程度の合成比率にするようにした。
【０２３０】
（１３）原画像のエッジ強調を行う画像処理方法は、複数の画素からなる原画像を入力し、入力した原画像を分解して、逐次的に低い解像度を持つ低周波画像と、逐次的に低い解像度を持つ高周波画像を生成し、低周波画像と高周波画像の各々にエッジ抽出フィルタを掛けてエッジ成分を抽出し、それぞれに対応した低周波エッジ成分と高周波エッジ成分を生成し、生成した低周波エッジ成分と高周波エッジ成分の少なくとも一方に加重係数を掛けてエッジ成分の周波数帯域間の重みを変調し、 変調の施された低周波エッジ成分と高周波エッジ成分を合成して逐次的に高い解像度を持つ１つのエッジ成分に順次統合し、統合されたエッジ成分にエッジ強調率を掛けてその強度を調整し、調整されたエッジ成分を原画像に加算することにより、原画像のエッジ強調を行い、エッジ成分の周波数帯域間の重みを変調する加重係数の値を、エッジ強調率に応じて変えるようにした。ここでいう加重係数とは、前述した重みに対応する。ここで言う調整とは、エッジ成分をエッジ強調率に応じて大きくしたり小さくしたりすることを意味する。
【０２３１】
（１４）このとき、エッジ成分の周波数帯域間の重みを変調する加重係数の値を、エッジ強調率の値が小さいほど低周波エッジ成分と高周波エッジ成分の間の重みの差異を広げ、エッジ強調率の値が大きいほどその差異を縮めるように変えるようにした。数式２３では、低周波エッジ成分の重みkeLLはζjointに連動して変化し、他の高周波エッジ成分の重みkeLH,keHL,keHHは固定値1が設定されている。従って、エッジ強調率ζjointが0≦ζjoint≦1の間で変化する場合、エッジ強調率(ζjoint)の値が小さいほど低周波エッジ成分と高周波エッジ成分の間の重みの差異は広がり、エッジ強調率(ζjoint)の値が大きくなるとその差異を縮まるようになる。数式２４についても同様のことが言える。
【０２３２】
（１５）また、原画像が輝度成分であるとき、エッジ成分の周波数帯域間の重みを変調する加重係数の値を、エッジ強調率の値が大きくなるほど低周波エッジ成分の重みを小さく設定し、エッジ強調率の値が大きくなるほど低周波エッジ成分の重みを大きく設定するようにした。
【０２３３】
（１６）原画像が色差成分であるときは、エッジ成分の周波数帯域間の重みを変調する加重係数の値を、エッジ強調率の値が大きくなるほど高周波エッジ成分の重みを小さく設定し、エッジ強調率の値が大きくなるほど高周波エッジ成分の重みを大きく設定するようにした。
【０２３４】
（１７）原画像に含まれるノイズを除去する画像処理方法は、複数の画素からなる原画像を入力し、 入力した原画像を分解して、逐次的に低い解像度を持つ低周波画像と、逐次的に低い解像度を持つ高周波画像を生成し、低周波画像と高周波画像の各々に含まれるノイズ成分を抽出して、それぞれに対応した低周波ノイズ成分と高周波ノイズ成分を生成し、生成した低周波ノイズ成分と高周波ノイズ成分の少なくとも一方に加重係数を掛けてノイズ成分の周波数帯域間の重みを変調し、変調の施された低周波ノイズ成分と高周波ノイズ成分を合成して逐次的に高い解像度を持つ１つのノイズ成分に順次統合し、統合されたノイズ成分にノイズ除去率を掛けてその強度を減衰し、減衰されたノイズ成分を原画像から減算することにより、原画像からノイズ除去を行い、ノイズ成分の周波数帯域間の重みを変調する加重係数の値を、ノイズ除去率に応じて変えるようにした。
【０２３５】
（１８）このとき、ノイズ成分の周波数帯域間の重みを変調する加重係数の値を、ノイズ除去率の値が小さいほど低周波ノイズ成分と高周波ノイズ成分の間の重みの差異を広げ、ノイズ除去率の値が大きいほどその差異を縮めるように変えるようにした。
【０２３６】
（１９）また、原画像が輝度成分であるとき、ノイズ成分の周波数帯域間の重みを変調する加重係数の値を、ノイズ除去率の値が小さくなるほど低周波ノイズ成分の重みを小さく設定し、ノイズ除去率の値が大きくなるほど低周波ノイズ成分の重みを大きく設定するようにした。
【０２３７】
（２０）原画像が色差成分であるときは、ノイズ成分の周波数帯域間の重みを変調する加重係数の値を、ノイズ除去率の値が小さくなるほど高周波ノイズ成分の重みを小さく設定し、ノイズ除去率の値が大きくなるほど高周波ノイズ成分の重みを大きく設定するようにした。
【０２３８】
（２１）原画像をフィルタリングして、逐次的に低い解像度を持つ複数の帯域制限画像を生成し、各帯域制限画像からエッッジ成分を抽出し、抽出された各帯域制限画像のエッジ成分に対し、解像度間で重みを付けて合成することによって１つのエッジ成分に統合し、統合されたエッジ成分に基づいて、原画像のエッジ強調を行い、エッジ強調の強さに応じて、解像度間の重みの重心位置を変えるようにした。これは、項目番号１０−２において、数式２７、２９により表されている。数式２９によりエッジ強調の強さに応じてμが変化し、変化するμに応じて数式２７よりkejが変化する。この計算結果が、数式２８、３０に示されている。すなわち、エッジ強調率ζjointが1≦ζjoint≦∞に変化する場合に、数式２８から数式３０に変化するように、重みの重心位置が変化することが示されている。
【０２３９】
（２２）具体的には、エッジ強調の強さが大きくなるに従い、高解像度側に重みの重心位置を移すことが示されている。
【０２４０】
（２３）この場合、エッジ強調の強さが低い領域では、中間解像度に重みの重心を持つ解像度間の重みを付けて合成する。
【０２４１】
（２４）数式２７で示すように、解像度間の重みの分布関数は、ポアッソン分布を使用する。
【０２４２】
（２５）数式２７、２９は、エッジ強調の強さが大きくなるに従い、ポアッソン分布の平均値を高解像度側に単調に移動するように分布特性を変化させることを意味する。
【０２４３】
（２６）原画像からノイズ成分を抽出し、抽出されたノイズ成分に基づいて原画像のノイズ除去を、エッジ強調とともに行うとき、エッジ成分の解像度間の重みの重心を、更にノイズ除去の強さに応じても変えるようにした。これは、数式２９においてλjointも考慮していることを意味する。
【０２４４】
（２７）この場合、数式２７〜３０が示すように、ノイズ除去の強さλjointが大きくなるに従い、高解像度側に重みの重心位置を移す。
【０２４５】
以上のような構成により、簡単な構成で、ノイズ除去あるいはエッジ強調において低周波画像と高周波画像の画質効果の違いを考慮した処理が行われ、最適な画質の画像を提供することができる。
【０２４６】
特に、多重解像度の低周波サブバンドと高周波サブバンドのノイズ除去とエッジ強調の各々で果たす画質効果の役割を明確にし、その役割を踏まえて最適な画質を与えるパラメータ間の関係を組込むことにより、ユーザーに開放するパラメータ数を削減して扱いやすくすることができる。
【０２４７】
そして、ノイズ除去における低周波サブバンドと高周波サブバンドの使用比率をノイズ除去率と連動させて実現したことにより、本来のノイズ除去効果と弊害対策を最大化する機能をパラメータ数を削減しつつ実現することが可能となる。また、エッジ強調の場合も同様に低周波サブバンドと高周波サブバンドの使用比率を各々の果たす画質改善効果を踏まえて、エッジ強調率と連動させて実現したことにより、ユーザーに分かりやすいエッジ強調のインターフェース機能の提供とその画質復元効果を最大化するエッジ強調処理が可能となる。
【０２４８】
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。また、上記で説明した実施の形態および変形例の種々の組み合わせも、本発明の技術的思想の範囲内である限り有効である。
【符号の説明】
【０２４９】
１ パーソナルコンピュータ
２ デジタルカメラ
３ 記録媒体
４ コンピュータ
５ 電気通信回線
１１ ＣＰＵ
１２ メモリ
１３ 周辺回路
１００ デジタルカメラ
１０１ 被写体
１０２ 撮影レンズ
１０３ 撮像素子
１０４ 制御装置
１０５ メモリ
【特許請求の範囲】
【請求項１】
原画像から少なくとも１つの低周波帯域制限画像と高周波帯域制限画像のセットを生成し、
各々の帯域制限画像にエッジ抽出フィルタをかけることによって低周波エッジ成分と高周波エッジ成分の各々を抽出し、
前記低周波エッジ成分と前記高周波エッジ成分を合成することによって１つのエッジ成分を生成し、
前記生成されたエッジ成分に基づいて前記原画像のエッジ強調を行い、
エッジ強調の強さに応じて、前記低周波エッジ成分と前記高周波エッジ成分の合成比率を変えることを特徴とする画像処理方法。
【請求項２】
請求項１に記載の画像処理方法において、
前記原画像が輝度成分のとき、前記エッジ強調の強さを大きくするにしたがい、前記低周波エッジ成分の高周波エッジ成分に対する合成比率を下げることを特徴とする画像処理方法。
【請求項３】
請求項１に記載の画像処理方法において、
前記原画像が色差成分のとき、前記エッジ強調の強さを大きくするにしたがい、前記高周波エッジ成分の低周波エッジ成分に対する合成比率を下げることを特徴とする画像処理方法。
【請求項４】
請求項２または３に記載の画像処理方法において、
前記エッジ強調の強さを小さくするにしたがい、前記低周波エッジ成分と前記高周波エッジ成分を同程度の合成比率にすることを特徴とする画像処理方法。
【請求項５】
請求項１に記載の画像処理方法において、
前記原画像からノイズ成分を抽出し、
前記抽出されたノイズ成分に基づいて前記原画像のノイズ除去を、前記エッジ強調とともに行うとき、前記低周波エッジ成分と前記高周波エッジ成分の合成比率を、更にノイズ除去の強さに応じても変えることを特徴とする画像処理方法。
【請求項６】
請求項５に記載の画像処理方法において、
前記原画像が輝度成分のとき、前記ノイズ除去の強さを大きくするにしたがい、前記低周波エッジ成分の高周波エッジ成分に対する合成比率を下げることを特徴とする画像処理方法。
【請求項７】
請求項５に記載の画像処理方法において、
前記原画像が色差成分のとき、前記ノイズ除去の強さを大きくするにしたがい、前記高周波エッジ成分の低周波エッジ成分に対する合成比率を下げることを特徴とする画像処理方法。
【請求項８】
請求項６または７に記載の画像処理方法において、
前記ノイズ除去の強さを小さくするにしたがい、前記低周波エッジ成分と前記高周波エッジ成分を同程度の合成比率にすることを特徴とする画像処理方法。
【請求項９】
原画像から少なくとも１つの低周波帯域制限画像と高周波帯域制限画像のセットを生成し、
各々の帯域制限画像にノイズ除去フィルタをかけることによって低周波ノイズ成分と高周波ノイズ成分の各々を抽出し、
前記低周波ノイズ成分と前記高周波ノイズ成分を合成することによって１つのノイズ成分を生成し、
前記生成されたノイズ成分に基づいて前記原画像のノイズ除去を行い、
ノイズ除去の強さに応じて、前記低周波ノイズ成分と前記高周波ノイズ成分の合成比率を変えることを特徴とする画像処理方法。
【請求項１０】
請求項９に記載の画像処理方法において、
前記原画像が輝度成分のとき、前記ノイズ除去の強さを小さくするにしたがい、前記低周波ノイズ成分の高周波ノイズ成分に対する合成比率を下げることを特徴とする画像処理方法。
【請求項１１】
請求項９に記載の画像処理方法において、
前記原画像が色差成分のとき、前記ノイズ除去の強さを小さくするにしたがい、前記高周波ノイズ成分の低周波ノイズ成分に対する合成比率を下げることを特徴とする画像処理方法。
【請求項１２】
請求項１０または１１に記載の画像処理方法において、
前記ノイズ除去の強さを大きくするにしたがい、前記低周波ノイズ成分と前記高周波ノイズ成分を同程度の合成比率にすることを特徴とする画像処理方法。
【請求項１３】
複数の画素からなる原画像を入力し、
前記入力した原画像を分解して、逐次的に低い解像度を持つ低周波画像と、逐次的に低い解像度を持つ高周波画像を生成し、
前記低周波画像と高周波画像の各々にエッジ抽出フィルタを掛けてエッジ成分を抽出し、それぞれに対応した低周波エッジ成分と高周波エッジ成分を生成し、
前記生成した低周波エッジ成分と高周波エッジ成分の少なくとも一方に加重係数を掛けてエッジ成分の周波数帯域間の重みを変調し、
前記変調の施された低周波エッジ成分と高周波エッジ成分を合成して逐次的に高い解像度を持つ１つのエッジ成分に順次統合し、
前記統合されたエッジ成分にエッジ強調率を掛けてその強度を調整し、
前記調整されたエッジ成分を前記原画像に加算することにより、前記原画像のエッジ強調を行い、
前記エッジ成分の周波数帯域間の重みを変調する加重係数の値を、前記エッジ強調率に応じて変えることを特徴とする画像処理方法。
【請求項１４】
請求項１３に記載の画像処理方法において、
前記エッジ成分の周波数帯域間の重みを変調する加重係数の値を、エッジ強調率の値が大きいほど低周波エッジ成分と高周波エッジ成分の間の重みの差異を広げ、エッジ強調率の値が小さいほどその差異を縮めるように変えることを特徴とする画像処理方法。
【請求項１５】
請求項１３に記載の画像処理方法において、
前記原画像が輝度成分であるとき、前記エッジ成分の周波数帯域間の重みを変調する加重係数の値を、エッジ強調率の値が大きくなるほど低周波エッジ成分の重みを小さく設定し、エッジ強調率の値が小さくなるほど低周波エッジ成分の重みを大きく設定することを特徴とする画像処理方法。
【請求項１６】
請求項１３に記載の画像処理方法において、
前記原画像が色差成分であるとき、前記エッジ成分の周波数帯域間の重みを変調する加重係数の値を、エッジ強調率の値が大きくなるほど高周波エッジ成分の重みを小さく設定し、エッジ強調率の値が小さくなるほど高周波エッジ成分の重みを大きく設定することを特徴とする画像処理方法。
【請求項１７】
複数の画素からなる原画像を入力し、
前記入力した原画像を分解して、逐次的に低い解像度を持つ低周波画像と、逐次的に低い解像度を持つ高周波画像を生成し、
前記低周波画像と高周波画像の各々に含まれるノイズ成分を抽出して、それぞれに対応した低周波ノイズ成分と高周波ノイズ成分を生成し、
前記生成した低周波ノイズ成分と高周波ノイズ成分の少なくとも一方に加重係数を掛けてノイズ成分の周波数帯域間の重みを変調し、
前記変調の施された低周波ノイズ成分と高周波ノイズ成分を合成して逐次的に高い解像度を持つ１つのノイズ成分に順次統合し、
前記統合されたノイズ成分にノイズ除去率を掛けてその強度を減衰し、
前記減衰されたノイズ成分を前記原画像から減算することにより、前記原画像からノイズ除去を行い、
前記ノイズ成分の周波数帯域間の重みを変調する加重係数の値を、前記ノイズ除去率に応じて変えることを特徴とする画像処理方法。
【請求項１８】
請求項１７に記載の画像処理方法において、
前記ノイズ成分の周波数帯域間の重みを変調する加重係数の値を、ノイズ除去率の値が小さいほど低周波ノイズ成分と高周波ノイズ成分の間の重みの差異を広げ、ノイズ除去率の値が大きいほどその差異を縮めるように変えることを特徴とする画像処理方法。
【請求項１９】
請求項１７に記載の画像処理方法において、
前記原画像が輝度成分であるとき、前記ノイズ成分の周波数帯域間の重みを変調する加重係数の値を、ノイズ除去率の値が小さくなるほど低周波ノイズ成分の重みを小さく設定し、ノイズ除去率の値が大きくなるほど低周波ノイズ成分の重みを大きく設定することを特徴とする画像処理方法。
【請求項２０】
請求項１７に記載の画像処理方法において、
前記原画像が色差成分であるとき、前記ノイズ成分の周波数帯域間の重みを変調する加重係数の値を、ノイズ除去率の値が小さくなるほど高周波ノイズ成分の重みを小さく設定し、ノイズ除去率の値が大きくなるほど高周波ノイズ成分の重みを大きく設定することを特徴とする画像処理方法。
【請求項２１】
原画像をフィルタリングして、逐次的に低い解像度を持つ複数の帯域制限画像を生成し、
前記各帯域制限画像からエッジ成分を抽出し、
前記抽出された各帯域制限画像のエッジ成分に対し、解像度間で重みを付けて合成することによって１つのエッジ成分に統合し、
前記統合されたエッジ成分に基づいて、前記原画像のエッジ強調を行い、
前記エッジ強調の強さに応じて、解像度間の重みの重心位置を変えることを特徴とする画像処理方法。
【請求項２２】
請求項２１に記載画像処理方法において、
前記エッジ強調の強さが大きくなるに従い、高解像度側に重みの重心位置を移すことを特徴とする画像処理方法。
【請求項２３】
請求項２２に記載画像処理方法において、
前記エッジ強調の強さが低い領域では、中間解像度に重みの重心を持つ解像度間の重みを付けて合成することを特徴とする画像処理方法。
【請求項２４】
請求項２１に記載画像処理方法において、
前記解像度間の重みの分布関数は、ポアッソン分布であることを特徴とする画像処理方法。
【請求項２５】
請求項２４に記載画像処理方法において、
前記エッジ強調の強さが大きくなるに従い、前記ポアッソン分布の平均値を高解像度側に単調に移動するように分布特性を変化させることを特徴とする画像処理方法。
【請求項２６】
請求項２１に記載の画像処理方法において、
前記原画像からノイズ成分を抽出し、
前記抽出されたノイズ成分に基づいて前記原画像のノイズ除去を、前記エッジ強調とともに行うとき、前記エッジ成分の解像度間の重みの重心を、更にノイズ除去の強さに応じても変えることを特徴とする画像処理方法。
【請求項２７】
請求項２６に記載画像処理方法において、
前記ノイズ除去の強さが大きくなるに従い、高解像度側に重みの重心位置を移すことを特徴とする画像処理方法。
【請求項２８】
請求項１から２７のいずれかに記載の画像処理方法をコンピュータまたは画像処理装置に実行させる画像処理プログラム。
【請求項２９】
請求項２８に記載の画像処理プログラムを搭載する画像処理装置。
【請求項３０】
請求項２８に記載の画像処理プログラムを搭載する電子カメラ。
【請求項１】
原画像から少なくとも１つの低周波帯域制限画像と高周波帯域制限画像のセットを生成し、
各々の帯域制限画像にエッジ抽出フィルタをかけることによって低周波エッジ成分と高周波エッジ成分の各々を抽出し、
前記低周波エッジ成分と前記高周波エッジ成分を合成することによって１つのエッジ成分を生成し、
前記生成されたエッジ成分に基づいて前記原画像のエッジ強調を行い、
エッジ強調の強さに応じて、前記低周波エッジ成分と前記高周波エッジ成分の合成比率を変えることを特徴とする画像処理方法。
【請求項２】
請求項１に記載の画像処理方法において、
前記原画像が輝度成分のとき、前記エッジ強調の強さを大きくするにしたがい、前記低周波エッジ成分の高周波エッジ成分に対する合成比率を下げることを特徴とする画像処理方法。
【請求項３】
請求項１に記載の画像処理方法において、
前記原画像が色差成分のとき、前記エッジ強調の強さを大きくするにしたがい、前記高周波エッジ成分の低周波エッジ成分に対する合成比率を下げることを特徴とする画像処理方法。
【請求項４】
請求項２または３に記載の画像処理方法において、
前記エッジ強調の強さを小さくするにしたがい、前記低周波エッジ成分と前記高周波エッジ成分を同程度の合成比率にすることを特徴とする画像処理方法。
【請求項５】
請求項１に記載の画像処理方法において、
前記原画像からノイズ成分を抽出し、
前記抽出されたノイズ成分に基づいて前記原画像のノイズ除去を、前記エッジ強調とともに行うとき、前記低周波エッジ成分と前記高周波エッジ成分の合成比率を、更にノイズ除去の強さに応じても変えることを特徴とする画像処理方法。
【請求項６】
請求項５に記載の画像処理方法において、
前記原画像が輝度成分のとき、前記ノイズ除去の強さを大きくするにしたがい、前記低周波エッジ成分の高周波エッジ成分に対する合成比率を下げることを特徴とする画像処理方法。
【請求項７】
請求項５に記載の画像処理方法において、
前記原画像が色差成分のとき、前記ノイズ除去の強さを大きくするにしたがい、前記高周波エッジ成分の低周波エッジ成分に対する合成比率を下げることを特徴とする画像処理方法。
【請求項８】
請求項６または７に記載の画像処理方法において、
前記ノイズ除去の強さを小さくするにしたがい、前記低周波エッジ成分と前記高周波エッジ成分を同程度の合成比率にすることを特徴とする画像処理方法。
【請求項９】
原画像から少なくとも１つの低周波帯域制限画像と高周波帯域制限画像のセットを生成し、
各々の帯域制限画像にノイズ除去フィルタをかけることによって低周波ノイズ成分と高周波ノイズ成分の各々を抽出し、
前記低周波ノイズ成分と前記高周波ノイズ成分を合成することによって１つのノイズ成分を生成し、
前記生成されたノイズ成分に基づいて前記原画像のノイズ除去を行い、
ノイズ除去の強さに応じて、前記低周波ノイズ成分と前記高周波ノイズ成分の合成比率を変えることを特徴とする画像処理方法。
【請求項１０】
請求項９に記載の画像処理方法において、
前記原画像が輝度成分のとき、前記ノイズ除去の強さを小さくするにしたがい、前記低周波ノイズ成分の高周波ノイズ成分に対する合成比率を下げることを特徴とする画像処理方法。
【請求項１１】
請求項９に記載の画像処理方法において、
前記原画像が色差成分のとき、前記ノイズ除去の強さを小さくするにしたがい、前記高周波ノイズ成分の低周波ノイズ成分に対する合成比率を下げることを特徴とする画像処理方法。
【請求項１２】
請求項１０または１１に記載の画像処理方法において、
前記ノイズ除去の強さを大きくするにしたがい、前記低周波ノイズ成分と前記高周波ノイズ成分を同程度の合成比率にすることを特徴とする画像処理方法。
【請求項１３】
複数の画素からなる原画像を入力し、
前記入力した原画像を分解して、逐次的に低い解像度を持つ低周波画像と、逐次的に低い解像度を持つ高周波画像を生成し、
前記低周波画像と高周波画像の各々にエッジ抽出フィルタを掛けてエッジ成分を抽出し、それぞれに対応した低周波エッジ成分と高周波エッジ成分を生成し、
前記生成した低周波エッジ成分と高周波エッジ成分の少なくとも一方に加重係数を掛けてエッジ成分の周波数帯域間の重みを変調し、
前記変調の施された低周波エッジ成分と高周波エッジ成分を合成して逐次的に高い解像度を持つ１つのエッジ成分に順次統合し、
前記統合されたエッジ成分にエッジ強調率を掛けてその強度を調整し、
前記調整されたエッジ成分を前記原画像に加算することにより、前記原画像のエッジ強調を行い、
前記エッジ成分の周波数帯域間の重みを変調する加重係数の値を、前記エッジ強調率に応じて変えることを特徴とする画像処理方法。
【請求項１４】
請求項１３に記載の画像処理方法において、
前記エッジ成分の周波数帯域間の重みを変調する加重係数の値を、エッジ強調率の値が大きいほど低周波エッジ成分と高周波エッジ成分の間の重みの差異を広げ、エッジ強調率の値が小さいほどその差異を縮めるように変えることを特徴とする画像処理方法。
【請求項１５】
請求項１３に記載の画像処理方法において、
前記原画像が輝度成分であるとき、前記エッジ成分の周波数帯域間の重みを変調する加重係数の値を、エッジ強調率の値が大きくなるほど低周波エッジ成分の重みを小さく設定し、エッジ強調率の値が小さくなるほど低周波エッジ成分の重みを大きく設定することを特徴とする画像処理方法。
【請求項１６】
請求項１３に記載の画像処理方法において、
前記原画像が色差成分であるとき、前記エッジ成分の周波数帯域間の重みを変調する加重係数の値を、エッジ強調率の値が大きくなるほど高周波エッジ成分の重みを小さく設定し、エッジ強調率の値が小さくなるほど高周波エッジ成分の重みを大きく設定することを特徴とする画像処理方法。
【請求項１７】
複数の画素からなる原画像を入力し、
前記入力した原画像を分解して、逐次的に低い解像度を持つ低周波画像と、逐次的に低い解像度を持つ高周波画像を生成し、
前記低周波画像と高周波画像の各々に含まれるノイズ成分を抽出して、それぞれに対応した低周波ノイズ成分と高周波ノイズ成分を生成し、
前記生成した低周波ノイズ成分と高周波ノイズ成分の少なくとも一方に加重係数を掛けてノイズ成分の周波数帯域間の重みを変調し、
前記変調の施された低周波ノイズ成分と高周波ノイズ成分を合成して逐次的に高い解像度を持つ１つのノイズ成分に順次統合し、
前記統合されたノイズ成分にノイズ除去率を掛けてその強度を減衰し、
前記減衰されたノイズ成分を前記原画像から減算することにより、前記原画像からノイズ除去を行い、
前記ノイズ成分の周波数帯域間の重みを変調する加重係数の値を、前記ノイズ除去率に応じて変えることを特徴とする画像処理方法。
【請求項１８】
請求項１７に記載の画像処理方法において、
前記ノイズ成分の周波数帯域間の重みを変調する加重係数の値を、ノイズ除去率の値が小さいほど低周波ノイズ成分と高周波ノイズ成分の間の重みの差異を広げ、ノイズ除去率の値が大きいほどその差異を縮めるように変えることを特徴とする画像処理方法。
【請求項１９】
請求項１７に記載の画像処理方法において、
前記原画像が輝度成分であるとき、前記ノイズ成分の周波数帯域間の重みを変調する加重係数の値を、ノイズ除去率の値が小さくなるほど低周波ノイズ成分の重みを小さく設定し、ノイズ除去率の値が大きくなるほど低周波ノイズ成分の重みを大きく設定することを特徴とする画像処理方法。
【請求項２０】
請求項１７に記載の画像処理方法において、
前記原画像が色差成分であるとき、前記ノイズ成分の周波数帯域間の重みを変調する加重係数の値を、ノイズ除去率の値が小さくなるほど高周波ノイズ成分の重みを小さく設定し、ノイズ除去率の値が大きくなるほど高周波ノイズ成分の重みを大きく設定することを特徴とする画像処理方法。
【請求項２１】
原画像をフィルタリングして、逐次的に低い解像度を持つ複数の帯域制限画像を生成し、
前記各帯域制限画像からエッジ成分を抽出し、
前記抽出された各帯域制限画像のエッジ成分に対し、解像度間で重みを付けて合成することによって１つのエッジ成分に統合し、
前記統合されたエッジ成分に基づいて、前記原画像のエッジ強調を行い、
前記エッジ強調の強さに応じて、解像度間の重みの重心位置を変えることを特徴とする画像処理方法。
【請求項２２】
請求項２１に記載画像処理方法において、
前記エッジ強調の強さが大きくなるに従い、高解像度側に重みの重心位置を移すことを特徴とする画像処理方法。
【請求項２３】
請求項２２に記載画像処理方法において、
前記エッジ強調の強さが低い領域では、中間解像度に重みの重心を持つ解像度間の重みを付けて合成することを特徴とする画像処理方法。
【請求項２４】
請求項２１に記載画像処理方法において、
前記解像度間の重みの分布関数は、ポアッソン分布であることを特徴とする画像処理方法。
【請求項２５】
請求項２４に記載画像処理方法において、
前記エッジ強調の強さが大きくなるに従い、前記ポアッソン分布の平均値を高解像度側に単調に移動するように分布特性を変化させることを特徴とする画像処理方法。
【請求項２６】
請求項２１に記載の画像処理方法において、
前記原画像からノイズ成分を抽出し、
前記抽出されたノイズ成分に基づいて前記原画像のノイズ除去を、前記エッジ強調とともに行うとき、前記エッジ成分の解像度間の重みの重心を、更にノイズ除去の強さに応じても変えることを特徴とする画像処理方法。
【請求項２７】
請求項２６に記載画像処理方法において、
前記ノイズ除去の強さが大きくなるに従い、高解像度側に重みの重心位置を移すことを特徴とする画像処理方法。
【請求項２８】
請求項１から２７のいずれかに記載の画像処理方法をコンピュータまたは画像処理装置に実行させる画像処理プログラム。
【請求項２９】
請求項２８に記載の画像処理プログラムを搭載する画像処理装置。
【請求項３０】
請求項２８に記載の画像処理プログラムを搭載する電子カメラ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−１１４８７９（Ｐ２０１０−１１４８７９Ａ）
【公開日】平成２２年５月２０日（２０１０．５．２０）
【国際特許分類】
【出願番号】特願２００９−１８３３９５（Ｐ２００９−１８３３９５）
【出願日】平成２１年８月６日（２００９．８．６）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２２年５月２０日（２０１０．５．２０）
【国際特許分類】
【出願日】平成２１年８月６日（２００９．８．６）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]