フィルタ装置、フィルタリング方法
【課題】注目画素にノイズ成分が含まれている場合であっても、エッジ部は保持され、平坦部は十分なノイズ除去が行なえるフィルタ装置を提供する。
【解決手段】注目画素と複数の周辺画素とで構成される画素ブロックについて、注目画素と各周辺画素との差分を算出し、その絶対値が判定値よりも小さい画素値に基づいて得られた値を注目画素の画素値とするフィルタ装置であって、画素ブロック内に複数のサブエリアを設定し、各サブエリアに含まれる画素の平均値を算出するサブエリア平均算出部と、サブエリア毎の平均値の相互関係に基づいて得られるエッジ評価値を出力するエッジ評価値算出部と、画素ブロック内の各画素の画素値の平均偏差に基づいて得られる平坦部ノイズ評価値を出力する平坦部ノイズ評価値算出部と、エッジ評価値および平坦部ノイズ評価値を用いて判定値を設定する設定部とを備える。
【解決手段】注目画素と複数の周辺画素とで構成される画素ブロックについて、注目画素と各周辺画素との差分を算出し、その絶対値が判定値よりも小さい画素値に基づいて得られた値を注目画素の画素値とするフィルタ装置であって、画素ブロック内に複数のサブエリアを設定し、各サブエリアに含まれる画素の平均値を算出するサブエリア平均算出部と、サブエリア毎の平均値の相互関係に基づいて得られるエッジ評価値を出力するエッジ評価値算出部と、画素ブロック内の各画素の画素値の平均偏差に基づいて得られる平坦部ノイズ評価値を出力する平坦部ノイズ評価値算出部と、エッジ評価値および平坦部ノイズ評価値を用いて判定値を設定する設定部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置においてデジタル画像のノイズを低減するフィルタ装置に関し、特に、注目画素にノイズ成分が含まれている場合であっても、エッジ部は保持され、平坦部は十分なノイズ除去が行なえるフィルタ装置およびフィルタリング方法に関する。
【背景技術】
【０００２】
従来から、デジタルカメラ等の撮像装置で撮影されたデジタル画像のノイズを低減する目的で、ガウシアンフィルタやメディアンフィルタが広く用いられている。ガウシアンフィルタは、例えば、デジタル画像内の注目画素を中心とした５×５の画素ブロック領域で、注目画素からの距離に応じて重み付けされた画素値により平均値を算出し、注目画素の値とすることで、主にランダムノイズを除去することができる。
【０００３】
また、メディアンフィルタは、例えば、デジタル画像内の注目画素を中心とした３×３の画素ブロック領域のすべての画素について値が大きいものから順番に並べ替え、そのメディアン値（中央値）を注目画素の値とすることで、主にインパルス性ノイズを除去することができる。
【０００４】
近年では、これらのフィルタに加えて、特許文献１に記載されているように、ε（イプシロン）フィルタが用いられるようになっている。εフィルタは、例えば、デジタル画像内の注目画素を中心とした５×５の画素ブロック領域に含まれるすべての周辺画素について、注目画素との画素値の差分を算出し、その絶対値が予め設定された判定値であるε値よりも小さい画素の画素値を平均して得られた値を注目画素の画素値とするフィルタである。εフィルタは、ガウシアンフィルタよりもデジタル画像内のエッジ成分を保ちながら、ランダムノイズを除去することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１２４９７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
εフィルタは、ガウシアンフィルタやメディアンフィルタより画像劣化を少なくしてノイズを除去することができる。しかしながら、画像のノイズは、エッジ部よりも、広い青空等の平坦部ほど目立ちやすいという性質を有しており、画像の平坦部分で良好にノイズが除去できるようなε値を設定すると、エッジ部が過剰に平滑化されエッジ部がぼけてしまい、逆に、エッジ部がぼけないようなε値を設定すると、平坦部分におけるノイズ除去が十分でなく、ノイズが目立ってしまうという問題がある。
【０００７】
特許文献１には、画素値が大きいほど、すなわち、明るい部分ほどノイズの影響が大きくなることに注目して、画素値が大きくなるにつれて、ε値が大きくなるように設定することで、画像の明るい部分で良好にノイズを除去しつつ、暗い部分での過補正を防ぐことが記載されている。
【０００８】
しかし、特許文献１に記載された技術では、エッジ部も平坦部も明るさが同じであれば一律に平滑化してしまうため、暗い平坦部のノイズ除去が十分でなかったり、明るいエッジ部でボケが発生してしまうおそれがある。
【０００９】
また、特許文献１に記載された技術を含め、従来のε判定値を用いたフィルタ装置では、注目画素自体にノイズ成分が含まれている場合には、適正でないε値が設定されてしまうという問題もある。
【００１０】
そこで、本発明は、注目画素にノイズ成分が含まれている場合であっても、エッジ部は保持され、平坦部は十分なノイズ除去が行なえるフィルタ装置およびフィルタリング方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、本発明の第１の態様である、フィルタ装置は、注目画素と複数の周辺画素とで構成される画素ブロックについて、前記注目画素の画素値と各周辺画素の画素値との差分を算出し、その絶対値が判定値よりも小さい周辺画素の画素値に基づいて得られた値を前記注目画素の画素値とするフィルタ装置であって、前記画素ブロック内に複数のサブエリアを設定し、それぞれのサブエリアに含まれる画素の画素値の平均値を算出するサブエリア平均算出部と、算出されたサブエリア毎の平均値の相互関係に基づいて得られるエッジ評価値を出力するエッジ評価値算出部と、前記画素ブロック内の各画素の画素値の平均偏差に基づいて得られる平坦部ノイズ評価値を出力する平坦部ノイズ評価値算出部と、前記エッジ評価値および前記平坦部ノイズ評価値を用いて前記判定値を設定する設定部と、を備えたことを特徴とする。
【００１２】
ここで、前記エッジ評価値算出部は、前記サブエリア毎の平均値の相互関係を所定のエッジ評価式に基づいて指標値化し、前記指標値が所定の閾値を超える場合は、前記指標値を前記エッジ評価値として出力し、前記所定の閾値を超えない場合は前記エッジ評価値として０を出力することができる。
【００１３】
また、前記サブエリア平均算出部は、前記画素ブロックに、前記注目画素を含む中心領域である第１のサブエリアと、前記画素ブロック内から前記第１のサブエリアを除く全領域あるいは前記画素ブロック全体である第２のサブエリアとを設定し、前記エッジ評価値算出部は、両サブエリアの平均値の差の絶対値を前記指標値とすることができる。
【００１４】
また、前記設定部は、前記エッジ評価値に応じて前記判定値が小さくなり、前記平坦部ノイズ評価値に応じて前記判定値が大きくなるように設定することができる。
【００１５】
上記課題を解決するため、本発明の第２の態様である、フィルタリング方法は、注目画素を含んだ画素ブロックを構成する複数個の画素について、前記注目画素との画素値の差分を算出し、その絶対値が判定値よりも小さい画素の画素値に基づいて得られた値を前記注目画素の画素値とするフィルタ装置におけるフィルタリング方法であって、前記画素ブロック内に複数のサブエリアを設定し、それぞれのサブエリアに含まれる画素の画素値の平均値を算出するサブエリア平均算出ステップと、算出されたサブエリア毎の平均値の相互関係に基づいてエッジ評価値を算出するエッジ評価値算出ステップと、前記画素ブロック内の各画素の画素値の平均偏差に基づいて平坦部ノイズ評価値を算出する平坦部ノイズ評価値算出ステップと、前記エッジ評価値および前記平坦部ノイズ評価値を用いて前記判定値を設定する設定ステップと、を有することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、注目画素にノイズ成分が含まれている場合であっても、エッジ部は保持され、平坦部は十分なノイズ除去が行なえるフィルタ装置およびフィルタリング方法が提供される。
【図面の簡単な説明】
【００１７】
【図１】本実施形態に係る非線形フィルタ装置の構成を示すブロック図である。
【図２】εフィルタ部の構成を示すブロック図である。
【図３】ε値演算部の構成を示すブロック図である。
【図４】サブエリア設定パターン例を示す図である。
【図５】サブエリア設定パターン毎に定められた評価式の例を示す図である。
【図６】エッジ評価部の処理手順について説明するフローチャートである。
【図７】平坦部ノイズ評価部の処理手順について説明するフローチャートである。
【図８】補正部の処理手順について説明するフローチャートである。
【図９】本実施形態の具体的な効果について説明する図であり、原画を示す図である。
【図１０】本実施形態の具体的な効果について説明する図であり、移動平均フィルタを用いた画像処理結果を示す図である。
【図１１】本実施形態の具体的な効果について説明する図であり、ε値を固定してεフィルタを用いた画像処理結果を示す図である。
【図１２】本実施形態の具体的な効果について説明する図であり、本実施形態のεフィルタを用いた画像処理結果を示す図である。
【図１３】本実施形態の具体的な効果について説明する図であり、ＰＳＮＲ（Peak S/N Ratio）と、ノイズ除去性能と、エッジの保存性とを示す比較図である。
【発明を実施するための形態】
【００１８】
本発明の実施の形態について図面を参照して詳細に説明する。図１は、本実施形態に係る非線形フィルタ装置の構成を示すブロック図である。非線形フィルタ装置は、例えば、デジタルカメラ等の撮像装置に搭載された画像処理装置や、画像処理装置として機能する情報処理装置等において用いられる。
【００１９】
本図に示すように非線形フィルタ装置１０は、ε値演算部１００と、εフィルタ部２００とを備えて構成される。これらの機能部は、ソフトウェアで実現してもよいし、ハードウェアで実現してもよい。非線形フィルタ装置１０は、注目画素を含んだｍ×ｎ画素ブロックを入力し、注目画素をεフィルタによって補正して出力する装置である。処理対象のデジタル画像において、注目画素を移動させて得られる画素ブロックを非線形フィルタ装置１０に順次入力し、出力された値で注目画素を置き換えることにより、処理対象のデジタル画像にεフィルタを施すことができる。
【００２０】
ε値演算部１００は、注目画素を含んだｍ×ｎ画素ブロックと、予め設定された標準ε値とを入力し、注目画素に適用するε値を算出して出力する。この処理を行なうため、ε値演算部１００は、エッジ評価部１１０と、平坦部ノイズ評価部１２０と、補正部１３０とを備えている。
【００２１】
本実施形態では、エッジ評価部１１０において、ｍ×ｎ画素ブロック内の注目画素がエッジ部に相当するかどうかを判定する。そして、注目画素がエッジ部に相当すると判定された場合には、補正部１３０において、ε値が小さくなるように標準ε値を補正する。これにより、ぼけの発生を防ぎ、エッジ部を保持することができる。
【００２２】
また、平坦部ノイズ評価部１２０において、ｍ×ｎ画素ブロックのノイズレベルを評価する。そして、補正部１３０が、そのノイズレベルの評価に応じてε値が大きくなるように標準ε値を補正する。これにより、特にノイズの目立ちやすい平坦部において十分なノイズ除去を行なうことができる。
【００２３】
εフィルタ部２００は、注目画素を含んだｍ×ｎ画素ブロックと、ε値演算部１００が算出したε値とを入力し、注目画素に対してεフィルタ処理を行なう。そして、εフィルタ処理が施された注目画素を出力する。
【００２４】
図２は、εフィルタ部２００の構成を示すブロック図である。なお、ｍ×ｎの画素ブロックは、注目画素Ｘ（ｘ，ｙ）と、周辺画素Ｘ１（ｘ１，ｙ１）、周辺画素Ｘ２（ｘ２，ｙ２）…周辺画素Ｘｋ（ｘｋ，ｙｋ）で構成されるものとする。ただし、ｘ１＝ｘ−ｍ／２、ｘ２＝ｘ−ｍ／２＋１…ｘｋ＝ｘ＋ｍ／２−１であり、ｙ１＝ｙ−ｎ／２、ｙ２＝ｙ−ｎ／２＋１…ｙｋ＝ｙ＋ｎ／２−１である。
【００２５】
本図に示すように、εフィルタ部２００は、ε判定部２１０と、加算部２２０と、バッファ２３０と、カウンタ２４０と、除算部２５０とを備えている。
【００２６】
ε判定部２１０は、ｍ×ｎ画素ブロックを構成する各周辺画素（ｘ１，ｘ２…ｘｋ）と注目画素との差の絶対値とε値とを比較し、差の絶対値がε値よりも小さい周辺画素の画素値を有効として出力する。本実施形態では、ε判定部２１０を、ｍ×ｎ−１個分備えて、全周辺画素について並列にε判定処理を行なうようにしている。
【００２７】
加算部２２０は、ε判定部２１０により有効として出力された画素値を加算し、バッファ２３０は、加算部２２０の加算結果を一時期に保存する。カウンタ２４０は、ε判定部２１０により有効として出力された画素値の数をカウントする。
【００２８】
除算部２５０は、バッファ２３０に格納された加算結果からカウンタ２４０のカウンタ値を割ることで、注目画素の画素値との差の絶対値がε値よりも小さい周辺画素の画素値の平均値を算出し、εフィルタ結果として出力する。
【００２９】
注目画素を含むｍ×ｎ画素ブロックをεフィルタ部２００に入力することで、注目画素についての判定値εによるεフィルタ結果を得ることができる。なお、εフィルタ部２００の構成は、本例に限られず、既知のεフィルタ技術を適用することができる。
【００３０】
図３は、ε値演算部１００の構成を示すブロック図である。本図に示すように、ε値演算部１００は、エッジ評価部１１０と、平坦部ノイズ評価部１２０と、補正部１３０とを備えている。
【００３１】
一般に、εフィルタでは、ε値が原画像のエッジ部の振幅より十分小さく、また、ランダムノイズによる注目画素と周辺画素との振幅変動より十分大きい適切な値に設定されれば、原理的に原画像のエッジ部のボケを発生させることなくランダムノイズを削減することができる。本実施形態では、エッジ評価部１１０において注目画素がエッジに相当するかどうかの評価を行ない、平坦部ノイズ評価部１２０において画素ブロックのノイズレベルの評価を行ない、それぞれの評価に応じてε値が適切な値になるように補正する。
【００３２】
本図に示すように、エッジ評価部１１０は、サブエリア平均算出部１１１とエッジ評価値算出部１１２とを備えている。
【００３３】
サブエリア平均算出部１１１は、ｍ×ｎ画素ブロック内に複数のサブエリアを設定し、それぞれのサブエリアに含まれる画素の画素値の平均値を算出する。
【００３４】
図４は、サブエリア設定パターン例を示す図である。本図では、５×５画素ブロックにおいて複数のサブエリアを設定する例について３つのパターンを示す。サブエリア平均算出部１１１は、いずれかのサブエリア設定パターンに基づいて、それぞれのサブエリアに含まれる画素の画素値の平均値を算出する。ただし、本図に示したサブエリア設定パターンは例示であり、他のサブエリア設定パターンを採用してもよい。
【００３５】
図４（ａ）は、サブエリア設定パターン１を示している。本図に示すように、サブエリア設定パターン１では、注目画素を含む中心領域の３つの画素で構成するサブエリア１と、その周辺領域の画素で構成するサブエリア２とが設定される。なお、サブエリア２は、サブエリア１の画素を含んで、５×５画素ブロックのすべての画素で構成するようにしてもよい。
【００３６】
図４（ｂ）は、サブエリア設定パターン２を示している。本図に示すように、サブエリア設定パターン２では、各サブエリアを３×３の矩形領域とし、サブエリア１を左上に、サブエリア２を右上に、サブエリア３を左下に、サブエリア４を右下に配置している。
【００３７】
図４（ｃ）は、サブエリア設定パターン３を示している。本図に示すように、サブエリア設定パターン３では、サブエリア１を、注目画素を含む中心領域とし、サブエリア２〜サブエリア５を、それぞれ６個の画素で構成される三角形状として、サブエリア２を左上に、サブエリア３を右上に、サブエリア４を左下に、サブエリア５を右下に配置している。
【００３８】
このように画素ブロック内に複数のサブエリアを設定してそれぞれの平均値を算出することで、注目画素自体にノイズが乗っている場合の影響を低減することができ、適切なε値を設定することができるようになる。
【００３９】
エッジ評価値算出部１１２は、サブエリア平均算出部１１１が算出したサブエリア毎の平均値に基づいてエッジ評価値を算出して出力する。エッジ評価値は、サブエリア毎の平均値の相互関係を所定の評価式を用いて得られる値である。評価式は、注目画素がエッジ部に相当すると見なせる度合いである指標値を算出する式であり、サブエリア設定パターン毎に定められる。
【００４０】
図５は、サブエリア設定パターン毎に定められた評価式の例を示す図である。図５（ａ）は、サブエリア設定パターン１に対応した評価式を示している。サブエリア設定パターン１に対応した評価式では、サブエリア１の平均値とサブエリア２の平均値との差の絶対値を指標値とする。
【００４１】
図５（ｂ）は、サブエリア設定パターン２に対応した評価式を示している。サブエリア設定パターン２に対応した評価式では、水平方向、垂直方向、右４５度方向、左４５度方向についてそれぞれ異なる演算を行ない、最も大きい値を指標値とする。すなわち、サブエリア設定パターン２に対応した評価式では、エッジの方向も判定することができる。
【００４２】
図５（ｃ）は、サブエリア設定パターン３に対応した評価式を示している。サブエリア設定パターン３に対応した評価式では、水平方向、垂直方向、右４５度方向、左４５度方向、インパルスについてそれぞれ異なる演算を行ない、最も大きい値を指標値とする。すなわち、サブエリア設定パターン３に対応した評価式では、インパルス性のエッジを含めたエッジの方向も判定することができる。
【００４３】
さらに、エッジ評価値算出部１１２は、評価式によって算出された指標値が予め定められたエッジレベル閾値を超えているかどうかを判定し、超えている場合には、注目画素がエッジ部に相当するものとし、エッジ評価値として指標値を出力する。一方、指標値がエッジレベル閾値を超えていない場合は、注目画素はエッジ部ではないとし、エッジ評価値として０を出力する。
【００４４】
図３の説明に戻って、平坦部ノイズ評価部１２０は、平均偏差算出部１２１と平坦部ノイズ評価値算出部１２２とを備えている。
【００４５】
平均偏差算出部１２１は、ｍ×ｎ画素ブロックに含まれる画素の画素値の平均偏差を算出する。ここで、平均偏差は、各画素値の、その平均値からの偏差の絶対値の平均であり、［数１］に示した式により算出することができる。ここで、ｘは、画素値、ｘＡｖｇは、画素ブロックの画素平均値、ｍ×ｎは画素ブロック内の画素数である。
【数１】
平坦部ノイズ評価値算出部１２２は、平均偏差算出部１２１によって算出された平均偏差が、予め定められたノイズレベル閾値を超えているかどうかを判定し、超えている場合には、画素ブロックにノイズが多いものとし、平坦部ノイズ評価値として平均偏差を出力する。一方、平均偏差が平坦部ノイズレベル閾値を超えていない場合は、画素ブロックにノイズは多くないとし、平坦部ノイズ評価値として０を出力する。
【００４６】
図３に示すように、補正部１３０は、係数乗算部１３１と、ε値補正部１３２と、εリミッタ１３３とを備えている。
【００４７】
係数乗算部１３１は、エッジ評価値と予め定められたエッジ部補正係数とを乗算することでエッジ補正値を算出し、また、平坦部ノイズ評価値と予め定められた平坦部補正係数とを乗算することで平坦部ノイズ補正値を算出し、それぞれの補正値を出力する。
【００４８】
エッジ部補正係数は、本実施形態では、０から１．０の間の値とし、撮像素子のノイズ特性と、ノイズ除去を重視するのか、エッジ保持を重視するのか等の画像処理方針に基づいて定めることができる。例えば、エッジを保持するために、エッジ部により小さなε値を設定したい場合は、１．０に近い値を設定し、エッジ部でもε値の変動を少なくしたい場合は、０に近い値を設定する。
【００４９】
また、平坦部補正係数は、本実施形態では、０から１．０の間の値とし、撮像素子のノイズ特性と、平坦部のノイズ除去を重視するのか、テクスチャを重視するのか等の画像処理方針に基づいて定めることができる。例えば、平坦部の十分なノイズ除去を望む場合は、より大きなε値にするために、１．０に近い値を設定し、平坦部でもテクスチャの保存を望む場合は、より小さなε値にするために、０に近い値を設定する。
【００５０】
なお、平坦部ノイズ評価部１２０による平坦部ノイズ評価は、エッジ評価部１１０が出力したエッジ評価値が０で、エッジ部として判定されなかった画素ブロックに対してのみ行なうようにしてもよいが、本実施形態では、エッジ評価値にかかわらず、平坦部ノイズ評価部１２０による平坦部ノイズ評価を行なうようにしている。これにより、エッジ部の誤検出によってノイズ除去が不十分になることを防いでいる。
【００５１】
ε補正部１３２は、予め定められた標準ε値に対して、エッジ補正値を引き、平坦部ノイズ補正値を加えることで、ε値を設定する。すなわち、ノイズが目立たないエッジ部であれば、フィルタリング効果を少なくしてエッジ部を保持するために、ε値が小さくなるように補正する。また、ノイズが多ければ、平坦部でのノイズ除去を十分に行なえるようにε値が大きくなるように補正する。
【００５２】
ここで、標準ε値は、撮像素子のノイズ特性や撮像時のゲイン等に基づいて定めることができ、本実施形態では、撮像装置等の非線形フィルタ装置１０の外部装置で設定されるものとする。
【００５３】
ただし、標準ε値の補正は、加算、減算に限られず、例えば、エッジ評価値、平坦部ノイズ評価値に応じた係数を乗じることにより行なってもよい。この場合も、エッジ評価値が高ければε値が小さくなり、平坦部ノイズ評価値が高ければε値が大きくなるように係数を設定する。
【００５４】
εリミッタ１３３は、ε補正部１３２によるε値の補正の結果、ε値が所定の最大値を超えた場合、あるいは、所定の最小値を下回った場合に、ε値が最大値を超えないように、あるいは、最小値を下回らないようにε値を制限する。ただし、εリミッタ１３３を備えない構成としてもよい。
【００５５】
次に、本実施形態のε値演算部１００における処理手順について説明する。まず、エッジ評価部１１０の処理手順について図６のフローチャートを参照して説明する。
【００５６】
エッジ評価部１１０は、注目画素を含んだ画素ブロックを入力すると（Ｓ１０１）、予め定められたサブエリア設定パターンに従って、画像ブロックに複数のサブエリアを設定する（Ｓ１０２）。
【００５７】
そして、各サブエリアについて、サブエリアに含まれる画素の画素平均値を算出し（Ｓ１０３）、算出された平均値を用いて、サブエリア設定パターンに対応した評価式に従った演算を行なう（Ｓ１０４）。
【００５８】
サブエリア設定パターン１のように、評価式で１つの値が得られる場合には、その値を指標値とし、サブエリア設定パターン２、サブエリア設定パターン３のように、評価式で複数個の値が得られる場合には、最も大きい値を指標値とする（Ｓ１０５）。
【００５９】
次いで、指標値がエッジレベル閾値より大きいかどうかを判定し（Ｓ１０６）、指標値がエッジレベル閾値より大きい場合（Ｓ１０６：Ｙｅｓ）には、エッジ評価値として指標値を出力する（Ｓ１０７）。一方、指標値がエッジレベル閾値より大きくない場合（Ｓ１０６：Ｎｏ）には、エッジ評価値として０を出力する（Ｓ１０８）。
【００６０】
次に、平坦部ノイズ評価部１２０の処理手順について図７のフローチャートを参照して説明する。
【００６１】
平坦部ノイズ評価部１２０は、注目画素を含んだ画素ブロックを入力すると（Ｓ２０１）、画素ブロック内の画素値の平均値を算出する（Ｓ２０２）。そして、各画素値の、平均値からの偏差の絶対値の平均を演算することで、平均偏差を算出する（Ｓ２０３）。
【００６２】
次いで、平均偏差がノイズレベル閾値より大きいかどうかを判定し（Ｓ２０４）、平均偏差がノイズレベル閾値より大きい場合（Ｓ２０４：Ｙｅｓ）には、平坦部ノイズ評価値として平均偏差を出力する（Ｓ２０５）。一方、平均偏差がノイズレベル閾値より大きくない場合（Ｓ２０４：Ｎｏ）には、平坦部ノイズ評価値として０を出力する（Ｓ２０６）。
【００６３】
次に、補正部１３０の処理手順について図８のフローチャートを参照して説明する。補正部１３０では、エッジ評価部１１０が出力したエッジ評価値と予め設定されたエッジ補正係数との乗算を行なってエッジ補正値を算出するとともに（Ｓ３０１）、平坦部ノイズ評価部１２０が出力した平坦部ノイズ評価値と予め設定された平坦部補正係数との乗算を行なって平坦部ノイズ補正値を算出する（Ｓ３０２）。
【００６４】
そして、外部から入力された標準ε値に対して、エッジ補正値を引き、平坦部ノイズ補正値を加えることで、ε値を補正する（Ｓ３０３）。
【００６５】
補正されたε値が、予め定められた最小ε値から最大ε値の範囲内であれば（Ｓ３０４：Ｎｏ）、補正されたε値をそのまま出力する（Ｓ３０６）。一方、補正されたε値が最小ε値より小さい場合、あるいは、最大ε値よりも大きい場合（Ｓ３０４：Ｙｅｓ）には、リミッタ処理によりε値が、最小ε値から最大ε値の範囲内に収まるように制限して（Ｓ３０５）、ε値を出力する（Ｓ３０６）。
【００６６】
最後に、本実施形態の具体的な効果について図９〜図１２および図１３を参照して説明する。図９〜図１２では、簡単のため、画像ブロックを１次元として、横軸にそれぞれの画素を対応させ、縦軸に画素値を示している。各画素には画素番号を付している。
【００６７】
図９は、原画の画素値分布であり、図中の破線は、ノイズ成分を含まない画素毎の真の値、すなわち、被写体の輝度分布を示し、折れ線は、ノイズ成分を含んだ原画の画素値を示している。破線が示すように、被写体は、画素番号６、画素番号７がエッジ部となっており、画素番号１〜画素番号６、画素番号７〜画素番号１９は、平坦部である。これに対して、原画では、画素番号が大きくなるにつれて（右にいくほど）、ノイズ成分大きくなっている。原画のＰＳＮＲ（Peak S/N Ratio）は、図１３に示すように、３４．８ｄＢであるとする。
【００６８】
図１０は、原画に対して５画素移動平均フィルタを施してノイズを除去した結果を示す図である。この場合、本図および図１３に示すように、ＰＳＮＲが４８．０ｄＢと向上し、ノイズ除去効果が高いことがわかる。しかしながら、画素番号６、画素番号７のエッジ部が滑らかにつながっており、エッジぼけが発生している。
【００６９】
図１１は、原画に対して、ε値を固定にしたεフィルタを施してノイズを除去した結果を示す図である。原画のエッジ部の輝度差は５であるが、平坦部のノイズの振幅も同等以上ある。そこで、エッジ部を保持するためε値は８に設定している。
【００７０】
この場合のＰＳＮＲは、３７．７ｄＢとなった。これ以上ε値を大きくすると、Ｓ／Ｎは改善していくが、移動平均フィルタに近づき、エッジ部でぼけが発生してくる。また、このε値では、画素番号１４以降のノイズ量が多い領域ではノイズ除去できていないことがわかる。
【００７１】
図１２は、本実施形態に従ってε値を適応的に変化させてノイズを除去した結果を示す図である。本例では、サブエリア設定パターン１を採用し、標準ε値を１０、エッジレベル閾値を２、エッジ部補正係数を０．８、ノイズレベル閾値を５、平坦部補正係数を０．８に設定した。
【００７２】
この結果、ＰＳＮＲは、４８．３ｄＢと最も高くなり、なおかつ画素番号６、画素番号７のエッジ部が保持された画像を得ることができた。このように、本実施形態の非線形フィルタ装置１０では、適応的にεフィルタのε値を変化させることができ、エッジ部を保持しつつ、ノイズ除去性能を高めることできる。
【符号の説明】
【００７３】
１０…非線形フィルタ装置、１００…ε値演算部、１１０…エッジ評価部、１１１…サブエリア平均算出部、１１２…エッジ評価値算出部、１２０…平坦部ノイズ評価部、１２１…平均偏差算出部、１２２…平坦部ノイズ評価値算出部、１３０…補正部、１３１…係数乗算部、１３２…ε値補正部、１３２…補正部、１３３…εリミッタ、２００…εフィルタ部、２１０…ε判定部、２２０…加算部、２３０…バッファ、２４０…カウンタ、２５０…除算部
【技術分野】
【０００１】
本発明は、画像処理装置においてデジタル画像のノイズを低減するフィルタ装置に関し、特に、注目画素にノイズ成分が含まれている場合であっても、エッジ部は保持され、平坦部は十分なノイズ除去が行なえるフィルタ装置およびフィルタリング方法に関する。
【背景技術】
【０００２】
従来から、デジタルカメラ等の撮像装置で撮影されたデジタル画像のノイズを低減する目的で、ガウシアンフィルタやメディアンフィルタが広く用いられている。ガウシアンフィルタは、例えば、デジタル画像内の注目画素を中心とした５×５の画素ブロック領域で、注目画素からの距離に応じて重み付けされた画素値により平均値を算出し、注目画素の値とすることで、主にランダムノイズを除去することができる。
【０００３】
また、メディアンフィルタは、例えば、デジタル画像内の注目画素を中心とした３×３の画素ブロック領域のすべての画素について値が大きいものから順番に並べ替え、そのメディアン値（中央値）を注目画素の値とすることで、主にインパルス性ノイズを除去することができる。
【０００４】
近年では、これらのフィルタに加えて、特許文献１に記載されているように、ε（イプシロン）フィルタが用いられるようになっている。εフィルタは、例えば、デジタル画像内の注目画素を中心とした５×５の画素ブロック領域に含まれるすべての周辺画素について、注目画素との画素値の差分を算出し、その絶対値が予め設定された判定値であるε値よりも小さい画素の画素値を平均して得られた値を注目画素の画素値とするフィルタである。εフィルタは、ガウシアンフィルタよりもデジタル画像内のエッジ成分を保ちながら、ランダムノイズを除去することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１２４９７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
εフィルタは、ガウシアンフィルタやメディアンフィルタより画像劣化を少なくしてノイズを除去することができる。しかしながら、画像のノイズは、エッジ部よりも、広い青空等の平坦部ほど目立ちやすいという性質を有しており、画像の平坦部分で良好にノイズが除去できるようなε値を設定すると、エッジ部が過剰に平滑化されエッジ部がぼけてしまい、逆に、エッジ部がぼけないようなε値を設定すると、平坦部分におけるノイズ除去が十分でなく、ノイズが目立ってしまうという問題がある。
【０００７】
特許文献１には、画素値が大きいほど、すなわち、明るい部分ほどノイズの影響が大きくなることに注目して、画素値が大きくなるにつれて、ε値が大きくなるように設定することで、画像の明るい部分で良好にノイズを除去しつつ、暗い部分での過補正を防ぐことが記載されている。
【０００８】
しかし、特許文献１に記載された技術では、エッジ部も平坦部も明るさが同じであれば一律に平滑化してしまうため、暗い平坦部のノイズ除去が十分でなかったり、明るいエッジ部でボケが発生してしまうおそれがある。
【０００９】
また、特許文献１に記載された技術を含め、従来のε判定値を用いたフィルタ装置では、注目画素自体にノイズ成分が含まれている場合には、適正でないε値が設定されてしまうという問題もある。
【００１０】
そこで、本発明は、注目画素にノイズ成分が含まれている場合であっても、エッジ部は保持され、平坦部は十分なノイズ除去が行なえるフィルタ装置およびフィルタリング方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、本発明の第１の態様である、フィルタ装置は、注目画素と複数の周辺画素とで構成される画素ブロックについて、前記注目画素の画素値と各周辺画素の画素値との差分を算出し、その絶対値が判定値よりも小さい周辺画素の画素値に基づいて得られた値を前記注目画素の画素値とするフィルタ装置であって、前記画素ブロック内に複数のサブエリアを設定し、それぞれのサブエリアに含まれる画素の画素値の平均値を算出するサブエリア平均算出部と、算出されたサブエリア毎の平均値の相互関係に基づいて得られるエッジ評価値を出力するエッジ評価値算出部と、前記画素ブロック内の各画素の画素値の平均偏差に基づいて得られる平坦部ノイズ評価値を出力する平坦部ノイズ評価値算出部と、前記エッジ評価値および前記平坦部ノイズ評価値を用いて前記判定値を設定する設定部と、を備えたことを特徴とする。
【００１２】
ここで、前記エッジ評価値算出部は、前記サブエリア毎の平均値の相互関係を所定のエッジ評価式に基づいて指標値化し、前記指標値が所定の閾値を超える場合は、前記指標値を前記エッジ評価値として出力し、前記所定の閾値を超えない場合は前記エッジ評価値として０を出力することができる。
【００１３】
また、前記サブエリア平均算出部は、前記画素ブロックに、前記注目画素を含む中心領域である第１のサブエリアと、前記画素ブロック内から前記第１のサブエリアを除く全領域あるいは前記画素ブロック全体である第２のサブエリアとを設定し、前記エッジ評価値算出部は、両サブエリアの平均値の差の絶対値を前記指標値とすることができる。
【００１４】
また、前記設定部は、前記エッジ評価値に応じて前記判定値が小さくなり、前記平坦部ノイズ評価値に応じて前記判定値が大きくなるように設定することができる。
【００１５】
上記課題を解決するため、本発明の第２の態様である、フィルタリング方法は、注目画素を含んだ画素ブロックを構成する複数個の画素について、前記注目画素との画素値の差分を算出し、その絶対値が判定値よりも小さい画素の画素値に基づいて得られた値を前記注目画素の画素値とするフィルタ装置におけるフィルタリング方法であって、前記画素ブロック内に複数のサブエリアを設定し、それぞれのサブエリアに含まれる画素の画素値の平均値を算出するサブエリア平均算出ステップと、算出されたサブエリア毎の平均値の相互関係に基づいてエッジ評価値を算出するエッジ評価値算出ステップと、前記画素ブロック内の各画素の画素値の平均偏差に基づいて平坦部ノイズ評価値を算出する平坦部ノイズ評価値算出ステップと、前記エッジ評価値および前記平坦部ノイズ評価値を用いて前記判定値を設定する設定ステップと、を有することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、注目画素にノイズ成分が含まれている場合であっても、エッジ部は保持され、平坦部は十分なノイズ除去が行なえるフィルタ装置およびフィルタリング方法が提供される。
【図面の簡単な説明】
【００１７】
【図１】本実施形態に係る非線形フィルタ装置の構成を示すブロック図である。
【図２】εフィルタ部の構成を示すブロック図である。
【図３】ε値演算部の構成を示すブロック図である。
【図４】サブエリア設定パターン例を示す図である。
【図５】サブエリア設定パターン毎に定められた評価式の例を示す図である。
【図６】エッジ評価部の処理手順について説明するフローチャートである。
【図７】平坦部ノイズ評価部の処理手順について説明するフローチャートである。
【図８】補正部の処理手順について説明するフローチャートである。
【図９】本実施形態の具体的な効果について説明する図であり、原画を示す図である。
【図１０】本実施形態の具体的な効果について説明する図であり、移動平均フィルタを用いた画像処理結果を示す図である。
【図１１】本実施形態の具体的な効果について説明する図であり、ε値を固定してεフィルタを用いた画像処理結果を示す図である。
【図１２】本実施形態の具体的な効果について説明する図であり、本実施形態のεフィルタを用いた画像処理結果を示す図である。
【図１３】本実施形態の具体的な効果について説明する図であり、ＰＳＮＲ（Peak S/N Ratio）と、ノイズ除去性能と、エッジの保存性とを示す比較図である。
【発明を実施するための形態】
【００１８】
本発明の実施の形態について図面を参照して詳細に説明する。図１は、本実施形態に係る非線形フィルタ装置の構成を示すブロック図である。非線形フィルタ装置は、例えば、デジタルカメラ等の撮像装置に搭載された画像処理装置や、画像処理装置として機能する情報処理装置等において用いられる。
【００１９】
本図に示すように非線形フィルタ装置１０は、ε値演算部１００と、εフィルタ部２００とを備えて構成される。これらの機能部は、ソフトウェアで実現してもよいし、ハードウェアで実現してもよい。非線形フィルタ装置１０は、注目画素を含んだｍ×ｎ画素ブロックを入力し、注目画素をεフィルタによって補正して出力する装置である。処理対象のデジタル画像において、注目画素を移動させて得られる画素ブロックを非線形フィルタ装置１０に順次入力し、出力された値で注目画素を置き換えることにより、処理対象のデジタル画像にεフィルタを施すことができる。
【００２０】
ε値演算部１００は、注目画素を含んだｍ×ｎ画素ブロックと、予め設定された標準ε値とを入力し、注目画素に適用するε値を算出して出力する。この処理を行なうため、ε値演算部１００は、エッジ評価部１１０と、平坦部ノイズ評価部１２０と、補正部１３０とを備えている。
【００２１】
本実施形態では、エッジ評価部１１０において、ｍ×ｎ画素ブロック内の注目画素がエッジ部に相当するかどうかを判定する。そして、注目画素がエッジ部に相当すると判定された場合には、補正部１３０において、ε値が小さくなるように標準ε値を補正する。これにより、ぼけの発生を防ぎ、エッジ部を保持することができる。
【００２２】
また、平坦部ノイズ評価部１２０において、ｍ×ｎ画素ブロックのノイズレベルを評価する。そして、補正部１３０が、そのノイズレベルの評価に応じてε値が大きくなるように標準ε値を補正する。これにより、特にノイズの目立ちやすい平坦部において十分なノイズ除去を行なうことができる。
【００２３】
εフィルタ部２００は、注目画素を含んだｍ×ｎ画素ブロックと、ε値演算部１００が算出したε値とを入力し、注目画素に対してεフィルタ処理を行なう。そして、εフィルタ処理が施された注目画素を出力する。
【００２４】
図２は、εフィルタ部２００の構成を示すブロック図である。なお、ｍ×ｎの画素ブロックは、注目画素Ｘ（ｘ，ｙ）と、周辺画素Ｘ１（ｘ１，ｙ１）、周辺画素Ｘ２（ｘ２，ｙ２）…周辺画素Ｘｋ（ｘｋ，ｙｋ）で構成されるものとする。ただし、ｘ１＝ｘ−ｍ／２、ｘ２＝ｘ−ｍ／２＋１…ｘｋ＝ｘ＋ｍ／２−１であり、ｙ１＝ｙ−ｎ／２、ｙ２＝ｙ−ｎ／２＋１…ｙｋ＝ｙ＋ｎ／２−１である。
【００２５】
本図に示すように、εフィルタ部２００は、ε判定部２１０と、加算部２２０と、バッファ２３０と、カウンタ２４０と、除算部２５０とを備えている。
【００２６】
ε判定部２１０は、ｍ×ｎ画素ブロックを構成する各周辺画素（ｘ１，ｘ２…ｘｋ）と注目画素との差の絶対値とε値とを比較し、差の絶対値がε値よりも小さい周辺画素の画素値を有効として出力する。本実施形態では、ε判定部２１０を、ｍ×ｎ−１個分備えて、全周辺画素について並列にε判定処理を行なうようにしている。
【００２７】
加算部２２０は、ε判定部２１０により有効として出力された画素値を加算し、バッファ２３０は、加算部２２０の加算結果を一時期に保存する。カウンタ２４０は、ε判定部２１０により有効として出力された画素値の数をカウントする。
【００２８】
除算部２５０は、バッファ２３０に格納された加算結果からカウンタ２４０のカウンタ値を割ることで、注目画素の画素値との差の絶対値がε値よりも小さい周辺画素の画素値の平均値を算出し、εフィルタ結果として出力する。
【００２９】
注目画素を含むｍ×ｎ画素ブロックをεフィルタ部２００に入力することで、注目画素についての判定値εによるεフィルタ結果を得ることができる。なお、εフィルタ部２００の構成は、本例に限られず、既知のεフィルタ技術を適用することができる。
【００３０】
図３は、ε値演算部１００の構成を示すブロック図である。本図に示すように、ε値演算部１００は、エッジ評価部１１０と、平坦部ノイズ評価部１２０と、補正部１３０とを備えている。
【００３１】
一般に、εフィルタでは、ε値が原画像のエッジ部の振幅より十分小さく、また、ランダムノイズによる注目画素と周辺画素との振幅変動より十分大きい適切な値に設定されれば、原理的に原画像のエッジ部のボケを発生させることなくランダムノイズを削減することができる。本実施形態では、エッジ評価部１１０において注目画素がエッジに相当するかどうかの評価を行ない、平坦部ノイズ評価部１２０において画素ブロックのノイズレベルの評価を行ない、それぞれの評価に応じてε値が適切な値になるように補正する。
【００３２】
本図に示すように、エッジ評価部１１０は、サブエリア平均算出部１１１とエッジ評価値算出部１１２とを備えている。
【００３３】
サブエリア平均算出部１１１は、ｍ×ｎ画素ブロック内に複数のサブエリアを設定し、それぞれのサブエリアに含まれる画素の画素値の平均値を算出する。
【００３４】
図４は、サブエリア設定パターン例を示す図である。本図では、５×５画素ブロックにおいて複数のサブエリアを設定する例について３つのパターンを示す。サブエリア平均算出部１１１は、いずれかのサブエリア設定パターンに基づいて、それぞれのサブエリアに含まれる画素の画素値の平均値を算出する。ただし、本図に示したサブエリア設定パターンは例示であり、他のサブエリア設定パターンを採用してもよい。
【００３５】
図４（ａ）は、サブエリア設定パターン１を示している。本図に示すように、サブエリア設定パターン１では、注目画素を含む中心領域の３つの画素で構成するサブエリア１と、その周辺領域の画素で構成するサブエリア２とが設定される。なお、サブエリア２は、サブエリア１の画素を含んで、５×５画素ブロックのすべての画素で構成するようにしてもよい。
【００３６】
図４（ｂ）は、サブエリア設定パターン２を示している。本図に示すように、サブエリア設定パターン２では、各サブエリアを３×３の矩形領域とし、サブエリア１を左上に、サブエリア２を右上に、サブエリア３を左下に、サブエリア４を右下に配置している。
【００３７】
図４（ｃ）は、サブエリア設定パターン３を示している。本図に示すように、サブエリア設定パターン３では、サブエリア１を、注目画素を含む中心領域とし、サブエリア２〜サブエリア５を、それぞれ６個の画素で構成される三角形状として、サブエリア２を左上に、サブエリア３を右上に、サブエリア４を左下に、サブエリア５を右下に配置している。
【００３８】
このように画素ブロック内に複数のサブエリアを設定してそれぞれの平均値を算出することで、注目画素自体にノイズが乗っている場合の影響を低減することができ、適切なε値を設定することができるようになる。
【００３９】
エッジ評価値算出部１１２は、サブエリア平均算出部１１１が算出したサブエリア毎の平均値に基づいてエッジ評価値を算出して出力する。エッジ評価値は、サブエリア毎の平均値の相互関係を所定の評価式を用いて得られる値である。評価式は、注目画素がエッジ部に相当すると見なせる度合いである指標値を算出する式であり、サブエリア設定パターン毎に定められる。
【００４０】
図５は、サブエリア設定パターン毎に定められた評価式の例を示す図である。図５（ａ）は、サブエリア設定パターン１に対応した評価式を示している。サブエリア設定パターン１に対応した評価式では、サブエリア１の平均値とサブエリア２の平均値との差の絶対値を指標値とする。
【００４１】
図５（ｂ）は、サブエリア設定パターン２に対応した評価式を示している。サブエリア設定パターン２に対応した評価式では、水平方向、垂直方向、右４５度方向、左４５度方向についてそれぞれ異なる演算を行ない、最も大きい値を指標値とする。すなわち、サブエリア設定パターン２に対応した評価式では、エッジの方向も判定することができる。
【００４２】
図５（ｃ）は、サブエリア設定パターン３に対応した評価式を示している。サブエリア設定パターン３に対応した評価式では、水平方向、垂直方向、右４５度方向、左４５度方向、インパルスについてそれぞれ異なる演算を行ない、最も大きい値を指標値とする。すなわち、サブエリア設定パターン３に対応した評価式では、インパルス性のエッジを含めたエッジの方向も判定することができる。
【００４３】
さらに、エッジ評価値算出部１１２は、評価式によって算出された指標値が予め定められたエッジレベル閾値を超えているかどうかを判定し、超えている場合には、注目画素がエッジ部に相当するものとし、エッジ評価値として指標値を出力する。一方、指標値がエッジレベル閾値を超えていない場合は、注目画素はエッジ部ではないとし、エッジ評価値として０を出力する。
【００４４】
図３の説明に戻って、平坦部ノイズ評価部１２０は、平均偏差算出部１２１と平坦部ノイズ評価値算出部１２２とを備えている。
【００４５】
平均偏差算出部１２１は、ｍ×ｎ画素ブロックに含まれる画素の画素値の平均偏差を算出する。ここで、平均偏差は、各画素値の、その平均値からの偏差の絶対値の平均であり、［数１］に示した式により算出することができる。ここで、ｘは、画素値、ｘＡｖｇは、画素ブロックの画素平均値、ｍ×ｎは画素ブロック内の画素数である。
【数１】
平坦部ノイズ評価値算出部１２２は、平均偏差算出部１２１によって算出された平均偏差が、予め定められたノイズレベル閾値を超えているかどうかを判定し、超えている場合には、画素ブロックにノイズが多いものとし、平坦部ノイズ評価値として平均偏差を出力する。一方、平均偏差が平坦部ノイズレベル閾値を超えていない場合は、画素ブロックにノイズは多くないとし、平坦部ノイズ評価値として０を出力する。
【００４６】
図３に示すように、補正部１３０は、係数乗算部１３１と、ε値補正部１３２と、εリミッタ１３３とを備えている。
【００４７】
係数乗算部１３１は、エッジ評価値と予め定められたエッジ部補正係数とを乗算することでエッジ補正値を算出し、また、平坦部ノイズ評価値と予め定められた平坦部補正係数とを乗算することで平坦部ノイズ補正値を算出し、それぞれの補正値を出力する。
【００４８】
エッジ部補正係数は、本実施形態では、０から１．０の間の値とし、撮像素子のノイズ特性と、ノイズ除去を重視するのか、エッジ保持を重視するのか等の画像処理方針に基づいて定めることができる。例えば、エッジを保持するために、エッジ部により小さなε値を設定したい場合は、１．０に近い値を設定し、エッジ部でもε値の変動を少なくしたい場合は、０に近い値を設定する。
【００４９】
また、平坦部補正係数は、本実施形態では、０から１．０の間の値とし、撮像素子のノイズ特性と、平坦部のノイズ除去を重視するのか、テクスチャを重視するのか等の画像処理方針に基づいて定めることができる。例えば、平坦部の十分なノイズ除去を望む場合は、より大きなε値にするために、１．０に近い値を設定し、平坦部でもテクスチャの保存を望む場合は、より小さなε値にするために、０に近い値を設定する。
【００５０】
なお、平坦部ノイズ評価部１２０による平坦部ノイズ評価は、エッジ評価部１１０が出力したエッジ評価値が０で、エッジ部として判定されなかった画素ブロックに対してのみ行なうようにしてもよいが、本実施形態では、エッジ評価値にかかわらず、平坦部ノイズ評価部１２０による平坦部ノイズ評価を行なうようにしている。これにより、エッジ部の誤検出によってノイズ除去が不十分になることを防いでいる。
【００５１】
ε補正部１３２は、予め定められた標準ε値に対して、エッジ補正値を引き、平坦部ノイズ補正値を加えることで、ε値を設定する。すなわち、ノイズが目立たないエッジ部であれば、フィルタリング効果を少なくしてエッジ部を保持するために、ε値が小さくなるように補正する。また、ノイズが多ければ、平坦部でのノイズ除去を十分に行なえるようにε値が大きくなるように補正する。
【００５２】
ここで、標準ε値は、撮像素子のノイズ特性や撮像時のゲイン等に基づいて定めることができ、本実施形態では、撮像装置等の非線形フィルタ装置１０の外部装置で設定されるものとする。
【００５３】
ただし、標準ε値の補正は、加算、減算に限られず、例えば、エッジ評価値、平坦部ノイズ評価値に応じた係数を乗じることにより行なってもよい。この場合も、エッジ評価値が高ければε値が小さくなり、平坦部ノイズ評価値が高ければε値が大きくなるように係数を設定する。
【００５４】
εリミッタ１３３は、ε補正部１３２によるε値の補正の結果、ε値が所定の最大値を超えた場合、あるいは、所定の最小値を下回った場合に、ε値が最大値を超えないように、あるいは、最小値を下回らないようにε値を制限する。ただし、εリミッタ１３３を備えない構成としてもよい。
【００５５】
次に、本実施形態のε値演算部１００における処理手順について説明する。まず、エッジ評価部１１０の処理手順について図６のフローチャートを参照して説明する。
【００５６】
エッジ評価部１１０は、注目画素を含んだ画素ブロックを入力すると（Ｓ１０１）、予め定められたサブエリア設定パターンに従って、画像ブロックに複数のサブエリアを設定する（Ｓ１０２）。
【００５７】
そして、各サブエリアについて、サブエリアに含まれる画素の画素平均値を算出し（Ｓ１０３）、算出された平均値を用いて、サブエリア設定パターンに対応した評価式に従った演算を行なう（Ｓ１０４）。
【００５８】
サブエリア設定パターン１のように、評価式で１つの値が得られる場合には、その値を指標値とし、サブエリア設定パターン２、サブエリア設定パターン３のように、評価式で複数個の値が得られる場合には、最も大きい値を指標値とする（Ｓ１０５）。
【００５９】
次いで、指標値がエッジレベル閾値より大きいかどうかを判定し（Ｓ１０６）、指標値がエッジレベル閾値より大きい場合（Ｓ１０６：Ｙｅｓ）には、エッジ評価値として指標値を出力する（Ｓ１０７）。一方、指標値がエッジレベル閾値より大きくない場合（Ｓ１０６：Ｎｏ）には、エッジ評価値として０を出力する（Ｓ１０８）。
【００６０】
次に、平坦部ノイズ評価部１２０の処理手順について図７のフローチャートを参照して説明する。
【００６１】
平坦部ノイズ評価部１２０は、注目画素を含んだ画素ブロックを入力すると（Ｓ２０１）、画素ブロック内の画素値の平均値を算出する（Ｓ２０２）。そして、各画素値の、平均値からの偏差の絶対値の平均を演算することで、平均偏差を算出する（Ｓ２０３）。
【００６２】
次いで、平均偏差がノイズレベル閾値より大きいかどうかを判定し（Ｓ２０４）、平均偏差がノイズレベル閾値より大きい場合（Ｓ２０４：Ｙｅｓ）には、平坦部ノイズ評価値として平均偏差を出力する（Ｓ２０５）。一方、平均偏差がノイズレベル閾値より大きくない場合（Ｓ２０４：Ｎｏ）には、平坦部ノイズ評価値として０を出力する（Ｓ２０６）。
【００６３】
次に、補正部１３０の処理手順について図８のフローチャートを参照して説明する。補正部１３０では、エッジ評価部１１０が出力したエッジ評価値と予め設定されたエッジ補正係数との乗算を行なってエッジ補正値を算出するとともに（Ｓ３０１）、平坦部ノイズ評価部１２０が出力した平坦部ノイズ評価値と予め設定された平坦部補正係数との乗算を行なって平坦部ノイズ補正値を算出する（Ｓ３０２）。
【００６４】
そして、外部から入力された標準ε値に対して、エッジ補正値を引き、平坦部ノイズ補正値を加えることで、ε値を補正する（Ｓ３０３）。
【００６５】
補正されたε値が、予め定められた最小ε値から最大ε値の範囲内であれば（Ｓ３０４：Ｎｏ）、補正されたε値をそのまま出力する（Ｓ３０６）。一方、補正されたε値が最小ε値より小さい場合、あるいは、最大ε値よりも大きい場合（Ｓ３０４：Ｙｅｓ）には、リミッタ処理によりε値が、最小ε値から最大ε値の範囲内に収まるように制限して（Ｓ３０５）、ε値を出力する（Ｓ３０６）。
【００６６】
最後に、本実施形態の具体的な効果について図９〜図１２および図１３を参照して説明する。図９〜図１２では、簡単のため、画像ブロックを１次元として、横軸にそれぞれの画素を対応させ、縦軸に画素値を示している。各画素には画素番号を付している。
【００６７】
図９は、原画の画素値分布であり、図中の破線は、ノイズ成分を含まない画素毎の真の値、すなわち、被写体の輝度分布を示し、折れ線は、ノイズ成分を含んだ原画の画素値を示している。破線が示すように、被写体は、画素番号６、画素番号７がエッジ部となっており、画素番号１〜画素番号６、画素番号７〜画素番号１９は、平坦部である。これに対して、原画では、画素番号が大きくなるにつれて（右にいくほど）、ノイズ成分大きくなっている。原画のＰＳＮＲ（Peak S/N Ratio）は、図１３に示すように、３４．８ｄＢであるとする。
【００６８】
図１０は、原画に対して５画素移動平均フィルタを施してノイズを除去した結果を示す図である。この場合、本図および図１３に示すように、ＰＳＮＲが４８．０ｄＢと向上し、ノイズ除去効果が高いことがわかる。しかしながら、画素番号６、画素番号７のエッジ部が滑らかにつながっており、エッジぼけが発生している。
【００６９】
図１１は、原画に対して、ε値を固定にしたεフィルタを施してノイズを除去した結果を示す図である。原画のエッジ部の輝度差は５であるが、平坦部のノイズの振幅も同等以上ある。そこで、エッジ部を保持するためε値は８に設定している。
【００７０】
この場合のＰＳＮＲは、３７．７ｄＢとなった。これ以上ε値を大きくすると、Ｓ／Ｎは改善していくが、移動平均フィルタに近づき、エッジ部でぼけが発生してくる。また、このε値では、画素番号１４以降のノイズ量が多い領域ではノイズ除去できていないことがわかる。
【００７１】
図１２は、本実施形態に従ってε値を適応的に変化させてノイズを除去した結果を示す図である。本例では、サブエリア設定パターン１を採用し、標準ε値を１０、エッジレベル閾値を２、エッジ部補正係数を０．８、ノイズレベル閾値を５、平坦部補正係数を０．８に設定した。
【００７２】
この結果、ＰＳＮＲは、４８．３ｄＢと最も高くなり、なおかつ画素番号６、画素番号７のエッジ部が保持された画像を得ることができた。このように、本実施形態の非線形フィルタ装置１０では、適応的にεフィルタのε値を変化させることができ、エッジ部を保持しつつ、ノイズ除去性能を高めることできる。
【符号の説明】
【００７３】
１０…非線形フィルタ装置、１００…ε値演算部、１１０…エッジ評価部、１１１…サブエリア平均算出部、１１２…エッジ評価値算出部、１２０…平坦部ノイズ評価部、１２１…平均偏差算出部、１２２…平坦部ノイズ評価値算出部、１３０…補正部、１３１…係数乗算部、１３２…ε値補正部、１３２…補正部、１３３…εリミッタ、２００…εフィルタ部、２１０…ε判定部、２２０…加算部、２３０…バッファ、２４０…カウンタ、２５０…除算部
【特許請求の範囲】
【請求項１】
注目画素と複数の周辺画素とで構成される画素ブロックについて、前記注目画素の画素値と各周辺画素の画素値との差分を算出し、その絶対値が判定値よりも小さい周辺画素の画素値に基づいて得られた値を前記注目画素の画素値とするフィルタ装置であって、
前記画素ブロック内に複数のサブエリアを設定し、それぞれのサブエリアに含まれる画素の画素値の平均値を算出するサブエリア平均算出部と、
算出されたサブエリア毎の平均値の相互関係に基づいて得られるエッジ評価値を出力するエッジ評価値算出部と、
前記画素ブロック内の各画素の画素値の平均偏差に基づいて得られる平坦部ノイズ評価値を出力する平坦部ノイズ評価値算出部と、
前記エッジ評価値および前記平坦部ノイズ評価値を用いて前記判定値を設定する設定部と、を備えたことを特徴とするフィルタ装置。
【請求項２】
請求項１に記載のフィルタ装置であって、
前記エッジ評価値算出部は、前記サブエリア毎の平均値の相互関係を所定のエッジ評価式に基づいて指標値化し、前記指標値が所定の閾値を超える場合は、前記指標値を前記エッジ評価値として出力し、前記所定の閾値を超えない場合は前記エッジ評価値として０を出力することを特徴とするフィルタ装置。
【請求項３】
請求項２に記載のフィルタ装置であって、
前記サブエリア平均算出部は、前記画素ブロックに、前記注目画素を含む中心領域である第１のサブエリアと、前記画素ブロック内から前記第１のサブエリアを除く全領域あるいは前記画素ブロック全体である第２のサブエリアとを設定し、
前記エッジ評価値算出部は、両サブエリアの平均値の差の絶対値を前記指標値とすることを特徴とするフィルタ装置。
【請求項４】
請求項１から３のいずれか１項に記載のフィルタ装置であって、
前記設定部は、前記エッジ評価値に応じて前記判定値が小さくなり、前記平坦部ノイズ評価値に応じて前記判定値が大きくなるように設定することを特徴とするフィルタ装置。
【請求項５】
注目画素を含んだ画素ブロックを構成する複数個の画素について、前記注目画素との画素値の差分を算出し、その絶対値が判定値よりも小さい画素の画素値に基づいて得られた値を前記注目画素の画素値とするフィルタ装置におけるフィルタリング方法であって、
前記画素ブロック内に複数のサブエリアを設定し、それぞれのサブエリアに含まれる画素の画素値の平均値を算出するサブエリア平均算出ステップと、
算出されたサブエリア毎の平均値の相互関係に基づいてエッジ評価値を算出するエッジ評価値算出ステップと、
前記画素ブロック内の各画素の画素値の平均偏差に基づいて平坦部ノイズ評価値を算出する平坦部ノイズ評価値算出ステップと、
前記エッジ評価値および前記平坦部ノイズ評価値を用いて前記判定値を設定する設定ステップと、を有することを特徴とするフィルタリング方法。
【請求項１】
注目画素と複数の周辺画素とで構成される画素ブロックについて、前記注目画素の画素値と各周辺画素の画素値との差分を算出し、その絶対値が判定値よりも小さい周辺画素の画素値に基づいて得られた値を前記注目画素の画素値とするフィルタ装置であって、
前記画素ブロック内に複数のサブエリアを設定し、それぞれのサブエリアに含まれる画素の画素値の平均値を算出するサブエリア平均算出部と、
算出されたサブエリア毎の平均値の相互関係に基づいて得られるエッジ評価値を出力するエッジ評価値算出部と、
前記画素ブロック内の各画素の画素値の平均偏差に基づいて得られる平坦部ノイズ評価値を出力する平坦部ノイズ評価値算出部と、
前記エッジ評価値および前記平坦部ノイズ評価値を用いて前記判定値を設定する設定部と、を備えたことを特徴とするフィルタ装置。
【請求項２】
請求項１に記載のフィルタ装置であって、
前記エッジ評価値算出部は、前記サブエリア毎の平均値の相互関係を所定のエッジ評価式に基づいて指標値化し、前記指標値が所定の閾値を超える場合は、前記指標値を前記エッジ評価値として出力し、前記所定の閾値を超えない場合は前記エッジ評価値として０を出力することを特徴とするフィルタ装置。
【請求項３】
請求項２に記載のフィルタ装置であって、
前記サブエリア平均算出部は、前記画素ブロックに、前記注目画素を含む中心領域である第１のサブエリアと、前記画素ブロック内から前記第１のサブエリアを除く全領域あるいは前記画素ブロック全体である第２のサブエリアとを設定し、
前記エッジ評価値算出部は、両サブエリアの平均値の差の絶対値を前記指標値とすることを特徴とするフィルタ装置。
【請求項４】
請求項１から３のいずれか１項に記載のフィルタ装置であって、
前記設定部は、前記エッジ評価値に応じて前記判定値が小さくなり、前記平坦部ノイズ評価値に応じて前記判定値が大きくなるように設定することを特徴とするフィルタ装置。
【請求項５】
注目画素を含んだ画素ブロックを構成する複数個の画素について、前記注目画素との画素値の差分を算出し、その絶対値が判定値よりも小さい画素の画素値に基づいて得られた値を前記注目画素の画素値とするフィルタ装置におけるフィルタリング方法であって、
前記画素ブロック内に複数のサブエリアを設定し、それぞれのサブエリアに含まれる画素の画素値の平均値を算出するサブエリア平均算出ステップと、
算出されたサブエリア毎の平均値の相互関係に基づいてエッジ評価値を算出するエッジ評価値算出ステップと、
前記画素ブロック内の各画素の画素値の平均偏差に基づいて平坦部ノイズ評価値を算出する平坦部ノイズ評価値算出ステップと、
前記エッジ評価値および前記平坦部ノイズ評価値を用いて前記判定値を設定する設定ステップと、を有することを特徴とするフィルタリング方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−２１７００１（Ｐ２０１１−２１７００１Ａ）
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願番号】特願２０１０−８１１１８（Ｐ２０１０−８１１１８）
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
[ Back to top ]