画像処理装置および画像処理方法
【課題】空間方向のノイズ低減に関わる処理量を効率的に行うことが可能な画像処理装置および画像処理方法を提供する。
【解決手段】有効な領域に対してのみフリッカ低減処理を実施する。フレームを構成するブロックごとにノイズ除去を行う画像処理装置において、ブロックごとに、画像の複雑さを示す特徴量を求める特徴量検出手段と、特徴量に応じた度合いで、ブロックごとにフリッカを低減する処理を行うフリッカ低減手段とを具備して構成するようにした。
【解決手段】有効な領域に対してのみフリッカ低減処理を実施する。フレームを構成するブロックごとにノイズ除去を行う画像処理装置において、ブロックごとに、画像の複雑さを示す特徴量を求める特徴量検出手段と、特徴量に応じた度合いで、ブロックごとにフリッカを低減する処理を行うフリッカ低減手段とを具備して構成するようにした。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明の実施形態は、動画像におけるノイズ除去を行う画像処理装置に関する。
【背景技術】
【０００２】
近年、携帯電話での動画再生時に映像補正処理を行い、ユーザに高品位な映像を提供することが一般的になってきている。そして、符号化時にフレーム内に混入するブロックノイズやリンギングノイズを上記映像補正処理によって除去する。具体的には、各フレームの特徴を解析して適切なフィルタを適用するKernel Regression(KR)によるノイズ除去が行われている。
【０００３】
しかし、動画像には、上述した空間方向のノイズだけではなく、フリッカと呼ばれる時間方向のノイズが存在する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２４２６９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
動画像には、上述した空間方向のノイズだけではなく、フリッカと呼ばれる時間方向のノイズが存在するという問題があった。
課題は、上記の問題を解決すべくなされたもので、空間方向のノイズ低減に関わる処理量を効率的に行うことが可能な画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
実施形態によれば、フレームを構成するブロックごとにノイズ除去を行う画像処理装置において、ブロックごとに、画像の複雑さを示す特徴量を求める特徴量検出手段と、特徴量に応じた度合いで、ブロックごとにフリッカを低減する処理を行うフリッカ低減手段とを具備して構成するようにした。
【図面の簡単な説明】
【０００７】
【図１】第１の実施形態に係わる画像処理装置の構成を示す回路ブロック図。
【図２】図１に示した画像処理装置の動作を説明するためのフローチャート。
【図３】図１に示した画像処理装置の境界判定の動作を説明するための図。
【図４】第２の実施形態に係わる画像処理装置の構成を示す回路ブロック図。
【図５】図４に示した画像処理装置の動作を説明するためのフローチャート。
【図６】第３の実施形態に係わる画像処理装置の構成を示す回路ブロック図。
【図７】図６に示した画像処理装置の動作を説明するためのフローチャート。
【発明を実施するための形態】
【０００８】
（第１の実施形態）
図１は、第１の実施形態に係わる画像処理装置の構成を示すものである。この画像処理装置は、メモリ１１０と、フィルタ情報記憶部１２０と、フィルタ選択部１３０と、平坦領域判定部１４０と、画像情報記憶部１５０と、空間ノイズ除去部１６０と、平坦／非平坦境界判定部１７０と、フリッカ低減部１８０とを備えている。
【０００９】
メモリ１１０は、例えば半導体メモリなどを記憶媒体として用いたものであって、複数フレームの画像データを記憶できる。なお、画像データは、図示しない復号器が符号化ストリームを復号することによって得たフレーム単位の動画像のデータであって、フレームの画像データと符号化情報を含んでいる。また、符号化情報には、量子化パラメータや動きベクトル、ピクチャ情報が含まれる。
【００１０】
フィルタ情報記憶部１２０は、種々のエッジ特徴量のテンプレートとフィルタを対応づけて、フィルタ情報として予め記憶する。すなわち、各エッジ特徴量に適用すべきフィルタを、エッジ特徴量のテンプレートに対応づけて、フィルタ情報として予め記憶する。なお、上記フィルタは、フィルタリング対象の画素あるいはその周辺画素を含んだブロックにそれぞれ適用するフィルタ係数のセットであって、このフィルタを適用することにより、画像のエッジ特徴を考慮した出力画像が得られる。
【００１１】
フィルタ選択部１３０は、メモリ１１０から処理対象となるフレーム（以下、処理対象フレームと称する）を構成するブロックのうち、処理対象となるブロック（以下、処理対象ブロックと称する）の画像データを読み出す。そして、フィルタ選択部１３０は、処理対象ブロックの画像データに基づいて、映像のエッジ特徴量を算出する。
【００１２】
そして、フィルタ選択部１３０は、フィルタ情報記憶部１２０が記憶するフィルタ情報を参照し、上記エッジ特徴量に対応するフィルタを検出し、この検出したフィルタのインデックス（以下、フィルタインデックスと称する）を、上記エッジ特徴量を得たブロックを識別するインデックス（以下、ブロックインデックスと称する）に対応づけて、フィルタデータとして空間ノイズ除去部１６０に出力する。なお、フィルタ選択部１３０は、メモリ１１０が記憶する符号化情報に基づいて、各ブロックのエッジ特徴量を求めるようにしてもよい。
【００１３】
平坦領域判定部１４０は、メモリ１１０から処理対象ブロックの画像データを読み出し、この画像データに基づいて、処理対象ブロックが、平坦領域であるか非平坦領域であるかを判定し、この判定結果とブロックインデックスを対応付けて、画像情報記憶部１５０に記録する。なお、ブロック内に、エッジやテクスチャが一部でも含まれている場合には、非平坦領域と判定し、全くエッジやテクスチャを含まない場合に、平坦領域と判定する。
【００１４】
具体的な判定方法の例としては、判定対象となるブロックの画像の複雑さを示すテクスチャ特徴量を算出し、このテクスチャ特徴量が閾値を超える場合に、非平坦領域と判定し、一方、閾値以下の場合には、平坦領域と判定することができる。また、ブロック内の輝度値の最大値と最小値を検出し、その差分を特徴量として、閾値判定するようにしてもよい。
【００１５】
空間ノイズ除去部１６０は、フィルタ選択部１３０から与えられるフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部１２０から取得し、また上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ１１０から取得するとともに、同ブロックに対応する判定結果を画像情報記憶部１５０から取得し、これらの情報に基づいて、ブロックごとにフィルタの再構成を行い、再構成されたフィルタを用いて、対応するブロックの画像データをフィルタリングする。
【００１６】
具体的には、平坦領域判定部１４０の判定結果が平坦領域を示す場合には、フィルタの再構成は行わずに、フィルタ情報記憶部１２０から取得したフィルタを、上記ブロックを構成する各画素に適用してフィルタリングを行う。
【００１７】
すなわち、下式（１）で示すような演算を行う。なお、下式において、(x,y)はフィルタリング対象の画素の座標を示し、(m,n)はフィルタリング対象の画素を中心とする相対的な座標を示す。そして、h(m,n)はフィルタ、S(x,y)は、フィルタリング対象の画素の輝度値、D(x,y)はフィルタリングされた対象画素の輝度値をそれぞれ示している。
【数１】
【００１８】
このようにして、フィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともにフリッカ低減部１８０に出力される。
【００１９】
一方、平坦領域判定部１４０の判定結果が非平坦領域を示す場合には、上記フィルタデータ（フィルタインデックス）が示すフィルタをεフィルタを用いて再構成し、この再構成したフィルタを上記ブロックを構成する各画素に適用してフィルタリングを行う。
【００２０】
すなわち、下式（２）、（３）で示すような演算を行う。この式の例では、フィルタリング対象の画素の輝度値S(x,y)がその周辺の画素の輝度値S(x-m,y-n)と比べて差が大きい場合（閾値Thより大きい場合）には、輝度値S(x,y)のみをフィルタリングに用いることで、再構成したフィルタを用いた場合と同じフィルタリングを行う。一方、それ以外の場合には、判定結果が平坦領域を示す場合と同じフィルタリングを行っている。
【数２】
【００２１】
このようにして、フィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともにフリッカ低減部１８０に出力される。
【００２２】
平坦／非平坦境界判定部１７０は、画像情報記憶部１５０から、平坦領域判定部１４０の判定結果とこれに対応付けられたブロックインデックスを読み出し、この読み出した情報に基づいて、平坦領域に隣接する非平坦領域を境界領域として検出する。そして、平坦／非平坦境界判定部１７０は、平坦領域のブロックインデックスと境界領域のブロックインデックスをフリッカ低減部１８０に通知する。
【００２３】
フリッカ低減部１８０は、平坦／非平坦境界判定部１７０から通知される情報に基づいて、空間ノイズ除去部１６０から出力される画像データのうち、平坦領域と境界領域に対して、フリッカ低減を行い、一方、非平坦領域については、フリッカ低減を行わない。
【００２４】
次に、上記構成の画像処理装置の動作について説明する。図２は、上記画像処理装置の動作を説明するためのフローチャートである。この図に示す処理は、メモリ１１０が記憶するフレームの画像データ毎に繰り返し実行される。
【００２５】
ステップ２ａ〜２ｇは、フィルタ選択部１３０、平坦領域判定部１４０および空間ノイズ除去部１６０によってなされるものであって、メモリ１１０に記憶される処理対象フレームを構成するブロック毎に実行するループ処理である。
【００２６】
ステップ２ｂでは、フィルタ選択部１３０が、メモリ１１０から処理対象ブロックの画像データを読み出し、この画像データに対して、例えばSobelフィルタやPrewittフィルタ、Robinsonフィルタ、近傍差分フィルタなどのいずれかのフィルタを適用して、エッジの方向や強度を示すエッジ特徴量を算出する。
【００２７】
そして、フィルタ選択部１３０は、フィルタ情報記憶部１２０が記憶するフィルタ情報を参照し、テンプレートマッチングにより、上記エッジ特徴量に一致する、もしくは最も類似したテンプレートを検出し、これに対応づけられたフィルタインデックスを読み出す。そして、フィルタ選択部１３０は、この読み出したフィルタインデックスを、処理対象ブロックのブロックインデックスに対応づけて、フィルタデータとして空間ノイズ除去部１６０に出力し、ステップ２ｃに移行する。
【００２８】
ステップ２ｃでは、平坦領域判定部１４０が、メモリ１１０から処理対象ブロックの画像データを読み出し、この画像データに基づいて、処理対象ブロックの画像を構成する画素の輝度値を参照し、最大の輝度値と、最小の輝度値を検出し、その差を、画像の複雑さを示すテクスチャ特徴量として検出し、ステップ２ｄに移行する。
【００２９】
ステップ２ｄでは、平坦領域判定部１４０が、ステップ２ｃで求めたテクスチャ特徴量に基づいて、処理対象ブロックが平坦領域であるか非平坦領域であるかを判定し、この判定結果とブロックインデックスを対応付けて、画像情報記憶部１５０に記録する。すなわち、テクスチャ特徴量に基づいて、処理対象ブロックに適用する予定のフィルタを再構成する必要性があるか否かを判定する。
【００３０】
具体的には、テクスチャ特徴量が閾値を超えない場合、すなわち処理対象ブロックの映像が単調な場合には、平坦領域と判定してステップ２ｅに移行し、一方、テクスチャ特徴量が閾値を超える場合、すなわち処理対象ブロックの映像が複雑な場合には、非平坦領域と判定してステップ２ｆに移行する。
【００３１】
ステップ２ｅでは、空間ノイズ除去部１６０が、フィルタ選択部１３０から与えられたフィルタデータに含まれるブロックインデックスを処理対象ブロックとして認識し、この処理対象ブロックに対する判定結果を画像情報記憶部１５０から取得し、これにより、処理対象ブロックが平坦領域であることを認識する。
【００３２】
そして空間ノイズ除去部１６０は、上記フィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部１２０から取得するとともに、処理対象ブロックの画像データをメモリ１１０から取得する。そして、空間ノイズ除去部１６０は、上記フィルタを用いて、上記画像データをフィルタリングし、ステップ２ｇに移行する。
【００３３】
一方、ステップ２ｆでは、空間ノイズ除去部１６０が、フィルタ選択部１３０から与えられたフィルタデータに含まれるブロックインデックスを処理対象ブロックとして認識し、この処理対象ブロックに対する判定結果を画像情報記憶部１５０から取得し、これにより、処理対象ブロックが非平坦領域であることを認識する。
【００３４】
そして空間ノイズ除去部１６０は、上記フィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部１２０から取得するとともに、処理対象ブロックの画像データをメモリ１１０から取得する。そして、空間ノイズ除去部１６０は、上記フィルタを再構成し、この再構成したフィルタを用いて、上記画像データをフィルタリングし、ステップ２ｇに移行する。
【００３５】
なお、再構成したフィルタは、ステップ２ｅで適用するフィルタに比べて、処理の負荷が大きくなっており、空間ノイズの除去能力が高い。すなわち、平坦領域と非平坦領域を比べた場合に、非平坦領域の方が空間ノイズを知覚されやすいので、平坦領域に比べて、負荷の大きい強力なフィルタリングを行う。
【００３６】
ステップ２ｇでは、処理対象フレームを構成する全てのブロックについて、ステップ２ｂ〜２ｆの処理を行うと、ステップ２ｈに移行する。
【００３７】
ステップ２ｈ〜２ｋは、平坦／非平坦境界判定部１７０およびフリッカ低減部１８０によってなされるものであって、処理対象フレームを構成するブロック（処理対象ブロック）毎に実行するループ処理であって、平坦領域と境界領域に対してのみ、フリッカ低減を行う。
【００３８】
ステップ２ｉでは、平坦／非平坦境界判定部１７０が、画像情報記憶部１５０から、平坦領域判定部１４０の判定結果とこれに対応付けられたブロックインデックスを読み出し、この読み出した情報に基づいて、領域の種別が変化する境界領域を検出し、平坦領域のブロックインデックスと境界領域のブロックインデックスをフリッカ低減部１８０に通知する。これにより、平坦領域と境界領域のブロックについてのみ、ステップ２ｊの処理がフリッカ低減部１８０によってなされる。
【００３９】
具体例として、例えば図３に示すように、非平坦領域のブロックＢ０，Ｂ１と、平坦領域のブロックＢ２が並んでいる場合について説明する。この場合、平坦／非平坦境界判定部１７０は、非平坦領域のブロックＢ１（処理対象ブロック）が、非平坦領域のブロックＢ０と平坦領域のブロックＢ２の間に存在することより、境界領域として検出する。
【００４０】
なお、このように、両端が異なる種別の領域であるか否かで判定するだけではなく、上下左右の４方向のいずれか２つに異なる種別の領域が存在する非平坦領域のブロックや、周囲８方向のいずれかに２つに異なる種別の領域が存在する非平坦領域のブロックを境界領域として検出するようにしてもよい。
【００４１】
ステップ２ｊでは、フリッカ低減部１８０が、平坦／非平坦境界判定部１７０から通知された平坦領域と境界領域のブロックインデックスに基づいて、空間ノイズ除去部１６０から出力される画像データのうち、平坦領域と境界領域のブロックについてフリッカ低減を行い、後段に出力する。なお、非平坦領域のブロックについては、フリッカ低減を行わずに、後段に出力する。
【００４２】
ステップ２ｋでは、処理対象フレームを構成する全てのブロックについて、ステップ２ｉおよび２ｊの処理を行うと、当該処理を終了する。
【００４３】
以上のように、上記構成の画像処理装置では、平坦領域判定部１４０による平坦領域の判定結果に基づいて、平坦領域と、境界領域（平坦領域に接する非平坦領域）を検出し、空間ノイズの除去については、平坦領域に比べて空間ノイズが知覚されやすい非平坦領域については、空間ノイズを除去するフィルタを再構成して平坦領域よりも強力なフィルタリングを実施し、またフリッカ低減については、非平坦領域に比べてフリッカが知覚されやすい平坦領域と境界領域に対してのみ、フリッカ低減処理を適用するようにしている。
【００４４】
したがって、上記構成の画像処理装置によれば、平坦領域／非平坦領域に応じて効率的な空間ノイズ除去が行え、またすべての領域に対してフリッカ低減処理を実施するわけではなく、有効な領域に対してのみフリッカ低減処理を実施する。このため、処理量を抑制しながらも、空間方向と時間方向のノイズ低減を効率的に実施することができる。すなわち、ブロック毎の特徴に応じて、空間方向と時間方向のノイズを効率的に低減することができる。
【００４５】
（第２の実施形態）
図４は、第２の実施形態に係わる画像処理装置の構成を示すものである。この画像処理装置は、メモリ２１０と、フィルタ情報記憶部２２０と、フィルタ選択部２３０と、特徴量算出部２４０と、画像情報記憶部２５０と、ノイズ低減制御部２６０と、空間ノイズ除去部２７０と、フリッカ低減部２８０とを備えている。
【００４６】
メモリ２１０は、例えば半導体メモリなどを記憶媒体として用いたものであって、複数フレームの画像データを記憶できる。なお、画像データは、図示しない復号器が符号化ストリームを復号することによって得たフレーム単位の動画像のデータであって、フレームの画像データと符号化情報を含んでいる。また、符号化情報には、量子化パラメータや動きベクトル、ピクチャ情報が含まれる。
【００４７】
フィルタ情報記憶部２２０は、種々のエッジ特徴量のテンプレートとフィルタを対応づけて、フィルタ情報として予め記憶する。すなわち、各エッジ特徴量に適用すべきフィルタを、エッジ特徴量のテンプレートに対応づけて、フィルタ情報として予め記憶する。なお、上記フィルタは、フィルタリング対象の画素あるいはその周辺画素を含んだブロックにそれぞれ適用するフィルタ係数のセットであって、このフィルタを適用することにより、画像のエッジ特徴を考慮した出力画像が得られる。
【００４８】
フィルタ選択部２３０は、メモリ２１０から処理対象となるフレーム（以下、処理対象フレームと称する）を構成するブロックのうち、処理対象となるブロック（以下、処理対象ブロックと称する）の画像データを読み出す。そして、フィルタ選択部２３０は、処理対象ブロックの画像データに基づいて、映像のエッジ特徴量を算出する。
【００４９】
そして、フィルタ選択部２３０は、フィルタ情報記憶部２２０が記憶するフィルタ情報を参照し、上記エッジ特徴量に対応するフィルタを検出し、この検出したフィルタのインデックス（以下、フィルタインデックスと称する）を、上記エッジ特徴量を得たブロックを識別するインデックス（以下、ブロックインデックスと称する）に対応づけて、フィルタデータとして空間ノイズ除去部２７０に出力する。なお、フィルタ選択部２３０は、メモリ２１０が記憶する符号化情報に基づいて、各ブロックのエッジ特徴量を求めるようにしてもよい。
【００５０】
特徴量算出部２４０は、メモリ２１０から処理対象ブロックの画像データを読み出し、この画像データに基づいて、処理対象ブロックの画像の複雑さを示すテクスチャ特徴量を算出する。そして、特徴量算出部２４０は、このテクスチャ特徴量を、処理対象ブロックのブロックインデックスに対応付けて、画像情報記憶部２５０に記録する。なお、ブロック内の輝度値の最大値と最小値を検出し、その差分を特徴量としてもよい。
【００５１】
ノイズ低減制御部２６０は、画像情報記憶部２５０から、処理対象ブロックについて、特徴量算出部２４０が求めたテクスチャ特徴量とこれに対応付けられたブロックインデックスを読み出し、テクスチャ特徴量に基づいて、処理対象ブロックが平坦領域、非平坦領域あるいは境界領域のいずれであるかを判定し、この判定結果に応じて、後述する空間ノイズ除去部２７０で適用するフィルタリング処理、およびフリッカ低減部２８０で実施するフリッカ低減処理を制御する。
【００５２】
具体的には、まず、ノイズ低減制御部２６０は、テクスチャ特徴量が閾値を超える場合には、処理対象ブロックを非平坦領域と判定し、一方、閾値以下の場合には、処理対象ブロックを平坦領域と判定する。
【００５３】
そして、平坦領域に隣接する非平坦領域を境界領域として検出する。具体例として、例えば図３に示すように、非平坦領域のブロックＢ０，Ｂ１と、平坦領域のブロックＢ２が並んでいる場合について説明する。この場合、ノイズ低減制御部２６０は、非平坦領域のブロックＢ１（処理対象ブロック）が、非平坦領域のブロックＢ０と平坦領域のブロックＢ２の間に存在することより、境界領域として検出する。
【００５４】
なお、このように、両端が異なる種別の領域であるか否かで判定するだけではなく、上下左右の４方向のいずれか２つに異なる種別の領域が存在する非平坦領域のブロックや、周囲８方向のいずれかに２つに異なる種別の領域が存在する非平坦領域のブロックを境界領域として検出するようにしてもよい。
【００５５】
空間ノイズ除去部２７０は、フィルタ選択部２３０から与えられるフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部２２０から取得するとともに、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２１０から取得し、そして、ノイズ低減制御部２６０からの指示に基づいて、処理対象ブロックが非平坦領域や境界領域の場合に、上記フィルタを再構成し、再構成されたフィルタを用いて、上記画像データをフィルタリングする。一方、平坦領域の場合には、上記フィルタを再構成せずに、このフィルタを用いて、上記画像データをフィルタリングする。
【００５６】
具体的には、ノイズ低減制御部２６０からフィルタの再構成が指示されない場合（平坦領域の場合）には、フィルタの再構成は行わずに、フィルタ情報記憶部２２０から取得したフィルタを、上記ブロックを構成する各画素に適用してフィルタリングを行う。
【００５７】
すなわち、式（１）で示したような演算を行う。このようにして、フィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともにフリッカ低減部２８０に出力される。
【００５８】
一方、ノイズ低減制御部２６０からフィルタの再構成が指示された場合（非平坦領域や境界領域の場合）には、上記フィルタデータ（フィルタインデックス）が示すフィルタをεフィルタを用いて再構成し、この再構成したフィルタを上記ブロックを構成する各画素に適用してフィルタリングを行う。
【００５９】
すなわち、式（２）、（３）で示したような演算を行う。このようにして、フィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともにフリッカ低減部２８０に出力される。
【００６０】
フリッカ低減部２８０は、ノイズ低減制御部２６０からの指示に基づいて、空間ノイズ除去部２７０から出力される画像データのうち、平坦領域と境界領域に対して、フリッカ低減処理Ａを施し、一方、非平坦領域については、フリッカ低減処理Ｂを施す。フリッカ低減処理Ａは、平坦領域や境界領域に適した処理であって、フリッカ低減処理Ｂは、非平坦領域に適した処理である。一般に、非平坦領域に比べて平坦領域や境界領域は、フリッカが知覚されやすいので、フリッカ低減処理Ｂよりも処理負荷が大きく、また低減能力が優るフリッカ低減処理Ａを適用する。
【００６１】
上記構成の画像処理装置の動作について説明する。図５は、上記画像処理装置の動作を説明するためのフローチャートである。この図に示す処理は、メモリ２１０が記憶する各フレームの画像データ毎に繰り返し実行される。
【００６２】
ステップ５ａ〜５ｄは、フィルタ選択部２３０および特徴量算出部２４０によってなされるものであって、メモリ２１０に記憶される処理対象フレームを構成するブロック毎に実行するループ処理である。
【００６３】
ステップ５ｂでは、フィルタ選択部２３０が、メモリ２１０から処理対象ブロックの画像データを読み出し、この画像データに対して、例えばSobelフィルタやPrewittフィルタ、Robinsonフィルタ、近傍差分フィルタなどのいずれかのフィルタを適用して、エッジの方向や強度を示すエッジ特徴量を算出する。
【００６４】
そして、フィルタ選択部２３０は、フィルタ情報記憶部２２０が記憶するフィルタ情報を参照し、テンプレートマッチングにより、上記エッジ特徴量に一致する、もしくは最も類似したテンプレートを検出し、これに対応づけられたフィルタインデックスを読み出す。そして、フィルタ選択部２３０は、この読み出したフィルタインデックスを、処理対象ブロックのブロックインデックスに対応づけて、フィルタデータとして空間ノイズ除去部２７０に出力し、ステップ５ｃに移行する。
【００６５】
ステップ５ｃでは、特徴量算出部２４０が、メモリ２１０から処理対象ブロックの画像データを読み出し、この画像データに基づいて、処理対象ブロックの画像を構成する画素の輝度値を参照し、最大の輝度値と、最小の輝度値を検出し、その差を、画像の複雑さを示すテクスチャ特徴量として検出し、ステップ５ｄに移行する。
【００６６】
ステップ５ｄでは、処理対象フレームを構成する全てのブロックについて、ステップ５ｂおよびステップ５ｃの処理を行うと、ステップ５ｅに移行する。
【００６７】
ステップ５ｅ〜５ｍは、ノイズ低減制御部２６０、空間ノイズ除去部２７０およびフリッカ低減部２８０によってなされるものであって、メモリ２１０に記憶される処理対象フレームを構成するブロック毎に実行するループ処理である。
【００６８】
ステップ５ｆでは、空間ノイズ除去部２７０が、フィルタ選択部２３０から与えられたフィルタデータに含まれるブロックインデックスを処理対象ブロックとして認識し、この処理対象ブロックのブロックインデックスをノイズ低減制御部２６０に通知して、その種別について判定を求める。
【００６９】
これに対して、ノイズ低減制御部２６０は、空間ノイズ除去部２７０から通知されたブロックインデックス（処理対象ブロック）に対応付けられたテクスチャ特徴量を、画像情報記憶部２５０から読み出し、このテクスチャ特徴量に基づいて、処理対象ブロックが平坦領域、非平坦領域あるいは境界領域のいずれであるかを判定し、判定結果を空間ノイズ除去部２７０およびフリッカ低減部２８０に通知する。
【００７０】
これにより、処理対象ブロックが平坦領域の場合には、ステップ５ｇおよびステップ５ｈが行われ、また処理対象ブロックが非平坦領域の場合には、ステップ５ｉおよびステップ５ｊが行われ、あるいは処理対象ブロックが境界領域の場合には、ステップ５ｋおよびステップ５ｌが行われる。
【００７１】
ステップ５ｇでは、空間ノイズ除去部２７０は、ノイズ低減制御部２６０から取得した判定結果が平坦領域を示すことより、ステップ５ｆで用いたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部２２０から取得するとともに、処理対象ブロックの画像データをメモリ２１０から取得する。そして、空間ノイズ除去部１６０は、上記フィルタを用いて、上記画像データをフィルタリングし、フィルタリングした画像データをフリッカ低減部２８０に出力して、ステップ５ｈに移行する。
【００７２】
ステップ５ｈでは、フリッカ低減部２８０は、ノイズ低減制御部２６０から取得した判定結果が平坦領域を示すことより、空間ノイズ除去部２７０にてフィルタリングされた画像データに対して、フリッカ低減処理Ａを施し、後段に出力して、ステップ５ｍに移行する。
【００７３】
ステップ５ｉでは、空間ノイズ除去部２７０は、ノイズ低減制御部２６０から取得した判定結果が境界領域を示すことより、ステップ５ｆで用いたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部２２０から取得するとともに、処理対象ブロックの画像データをメモリ２１０から取得する。そして、空間ノイズ除去部１６０は、上記フィルタを再構成した後、この再構成したフィルタを用いて、上記画像データをフィルタリングし、フィルタリングした画像データをフリッカ低減部２８０に出力して、ステップ５ｊに移行する。
【００７４】
なお、再構成したフィルタは、ステップ５ｇで適用するフィルタに比べて、処理の負荷が大きくなっており、空間ノイズの除去能力が高い。すなわち、平坦領域と境界領域を比べた場合に、境界領域の方が空間ノイズを知覚されやすいので、平坦領域に比べて、負荷の大きい強力なフィルタリングを行う。
【００７５】
ステップ５ｊでは、フリッカ低減部２８０は、ノイズ低減制御部２６０から取得した判定結果が境界領域を示すことより、空間ノイズ除去部２７０にてフィルタリングされた画像データに対して、フリッカ低減処理Ａを施し、後段に出力して、ステップ５ｍに移行する。
【００７６】
ステップ５ｋでは、空間ノイズ除去部２７０は、ノイズ低減制御部２６０から取得した判定結果が非平坦領域を示すことより、ステップ５ｆで用いたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部２２０から取得するとともに、処理対象ブロックの画像データをメモリ２１０から取得する。そして、空間ノイズ除去部１６０は、上記フィルタを再構成した後、この再構成したフィルタを用いて、上記画像データをフィルタリングし、フィルタリングした画像データをフリッカ低減部２８０に出力して、ステップ５ｌに移行する。
【００７７】
なお、再構成したフィルタは、ステップ５ｇで適用するフィルタに比べて、処理の負荷が大きくなっており、空間ノイズの除去能力が高い。すなわち、平坦領域と非平坦領域を比べた場合に、非平坦領域の方が空間ノイズを知覚されやすいので、平坦領域に比べて、負荷の大きい強力なフィルタリングを行う。
【００７８】
ステップ５ｌでは、フリッカ低減部２８０は、ノイズ低減制御部２６０から取得した判定結果が境界領域を示すことより、空間ノイズ除去部２７０にてフィルタリングされた画像データに対して、フリッカ低減処理Ｂを施し、後段に出力して、ステップ５ｍに移行する。
【００７９】
ステップ５ｍでは、処理対象フレームを構成する全てのブロックについて、ステップ５ｆ〜５ｌの処理を行うと、当該処理を終了する。
【００８０】
以上のように、上記構成の画像処理装置では、特徴量算出部２４０で求めたテクスチャ特徴量に基づいて、フレームを構成する各ブロックが、平坦領域、境界領域あるいは非平坦領域のいずれであるかを判定し、空間ノイズの除去については、平坦領域に比べて空間ノイズが知覚されやすい非平坦領域については、空間ノイズを除去するフィルタを再構成して平坦領域よりも強力なフィルタリングを実施し、またフリッカ低減については、非平坦領域に比べてフリッカが知覚されやすい平坦領域と境界領域についてのみ、処理負荷の大きく低減能力に優れるフリッカ低減処理Ａを適用するようにしている。
【００８１】
したがって、上記構成の画像処理装置によれば、平坦領域／非平坦領域に応じて効率的な空間ノイズ除去が行え、またすべての領域に対してフリッカ低減処理Ａを実施するわけではなく、非平坦領域については、処理負荷の小さいフリッカ低減処理Ｂを実施する。このため、処理量を抑制しながらも、空間方向と時間方向のノイズ低減を効率的に実施することができる。すなわち、ブロック毎の特徴に応じて、空間方向と時間方向のノイズを効率的に低減することができる。
【００８２】
なお、上記第２の実施形態では、ステップ５ｉとステップ５ｋにおけるフィルタの再構成処理については、同様のものとして説明したが、異ならせるようにしてもよい。例えば、空間ノイズ除去部２７０は、式（２）、（３）で示したような演算によりフィルタの再構成を行うが、その際に、境界領域の場合（ステップ５ｉ）と、非平坦領域の場合（ステップ５ｋ）とで、閾値Thを可変するようにしてもよい。例えば、境界領域の場合（ステップ５ｉ）には、非平坦領域の場合（ステップ５ｋ）に比べて、閾値Thを小さく設定する。
【００８３】
また、上記第２の実施形態では、ステップ５ｈとステップ５ｊにおけるフリッカ低減処理については、同様のものとして説明したが、領域の種別に応じて、異ならせるようにしてもよい。すなわち、平坦領域の場合（ステップ５ｈ）には、非平坦領域の場合（ステップ５ｌ）の場合に比べて、強いフリッカ低減処理を実施し、境界領域の場合（ステップ５ｊ）には、平坦領域の場合（ステップ５ｈ）と非平坦領域の場合（ステップ５ｌ）の間の程度のフリッカ低減処理を行うようにする。非平坦領域の場合（ステップ５ｌ）の場合には、フリッカ低減処理を行わないようにしてもよい。
【００８４】
そしてまた、上記第２の実施形態では、境界領域の場合（ステップ５ｊ）には、処理対象ブロックについて、平坦の度合いを検出し（あるいは、特徴量算出部２４０の算出結果を用いて）、平坦の度合いに応じて、閾値Thやフリッカ低減処理の強度を可変するようにしてもよい。
【００８５】
（第３の実施形態）
図６は、第３の実施形態に係わる画像処理装置の構成を示すものである。この画像処理装置は、メモリ３１０と、フィルタ情報記憶部３２０と、フィルタ選択部３３０と、特徴量算出部３４０と、画像情報記憶部３５０と、ノイズ低減制御部３６０と、空間ノイズ除去部３７０と、フリッカ低減部３８０とを備えている。
【００８６】
なお、メモリ３１０、フィルタ情報記憶部３２０、フィルタ選択部３３０、特徴量算出部３４０および画像情報記憶部３５０については、それぞれ第２の実施形態のメモリ２１０、フィルタ情報記憶部２２０、フィルタ選択部２３０、特徴量算出部２４０および画像情報記憶部２５０に対応し、同様の機能を有することより、以下、説明を簡略に行う。
【００８７】
メモリ３１０は、例えば半導体メモリなどを記憶媒体として用いたものであって、複数フレームの画像データを記憶できる。
フィルタ情報記憶部３２０は、種々のエッジ特徴量のテンプレートとフィルタを対応づけて、フィルタ情報として予め記憶する。
【００８８】
フィルタ選択部３３０は、メモリ３１０から処理対象ブロックの画像データを読み出し、エッジ特徴量を算出して、エッジ特徴量に対応するフィルタをフィルタ情報記憶部３２０から読み出し、ブロックインデックスに対応づけて、フィルタデータとして空間ノイズ除去部３７０に出力する。
特徴量算出部３４０は、処理対象ブロックの画像データに基づいて、テクスチャ特徴量を算出し、ブロックインデックスに対応付けて、画像情報記憶部３５０に記録する。
【００８９】
ノイズ低減制御部３６０は、画像情報記憶部３５０から、処理対象ブロックについて、特徴量算出部３４０が求めたテクスチャ特徴量とこれに対応付けられたブロックインデックスを読み出し、テクスチャ特徴量に基づいて、処理対象ブロックが平坦領域、非平坦領域あるいは境界領域のいずれであるかを判定し、この判定結果に応じて、後述する空間ノイズ除去部３７０で適用するフィルタリング処理のパラメータ、およびフリッカ低減部３８０で実施するフリッカ低減処理のパラメータを生成し、各処理を制御する。
なお、ノイズ低減制御部３６０による処理対象ブロックの種別判定のアルゴリズムは、第２の実施形態のノイズ低減制御部２６０と同様であることより、説明を省略する。
【００９０】
空間ノイズ除去部３７０は、フィルタ選択部３３０から与えられるフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部３２０から取得するとともに、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ３１０から取得し、そして、ノイズ低減制御部３６０から与えられるパラメータに基づいて、処理対象ブロックが非平坦領域や境界領域の場合に、上記フィルタを再構成し、再構成されたフィルタを用いて、上記画像データをフィルタリングする。一方、平坦領域の場合には、上記フィルタを再構成せずに、このフィルタを用いて、上記画像データをフィルタリングする。
【００９１】
なお、空間ノイズ除去部３７０におけるフィルタの再構成処理は、空間ノイズ除去部２７０と同様である。すなわち、処理対象ブロックが平坦領域の場合には、式（１）で示したような演算を行い、フィルタの再構成は行わずに、フィルタ情報記憶部３２０から取得したフィルタを、処理対象ブロックを構成する各画素に適用してフィルタリングを行う。
【００９２】
一方、処理対象ブロックが非平坦領域や境界領域の場合には、式（２）、（３）で示したような演算を行い、フィルタの再構成を行い、この再構成したフィルタ、処理対象ブロックを構成する各画素に適用してフィルタリングを行う。
【００９３】
フリッカ低減部３８０は、ノイズ低減制御部３６０から与えられるパラメータに基づいて、空間ノイズ除去部３７０から出力される画像データのうち、平坦領域と境界領域に対して、フリッカ低減処理Ａを施し、一方、非平坦領域については、フリッカ低減処理Ｂを施す。フリッカ低減処理Ａおよびフリッカ低減処理Ｂは、第２の実施形態と同様であるので、説明を省略する。
【００９４】
上記構成の画像処理装置の動作について説明する。図７は、上記画像処理装置の動作を説明するためのフローチャートである。この図に示す処理は、メモリ３１０が記憶する各フレームの画像データ毎に繰り返し実行される。
【００９５】
ステップ７ａ〜７ｄは、フィルタ選択部３３０および特徴量算出部３４０によってなされるものであって、メモリ３１０に記憶される処理対象フレームを構成するブロック毎に実行するループ処理である。なお、ステップ７ａ〜７ｄは、第２の実施形態のステップ５ａ〜５ｄと同様であることより、簡略して説明する。
【００９６】
ステップ７ｂでは、フィルタ選択部３３０が、メモリ３１０から処理対象ブロックの画像データを読み出し、所定のフィルタを適用して、エッジの方向や強度を示すエッジ特徴量を算出し、テンプレートマッチングにより、フィルタを選択し、このフィルタのフィルタインデックスに、処理対象ブロックのブロックインデックスに対応づけて、フィルタデータとして空間ノイズ除去部３７０に出力し、ステップ７ｃに移行する。
【００９７】
ステップ７ｃでは、特徴量算出部３４０が、処理対象ブロックの画像データに基づいて、画像の複雑さを示すテクスチャ特徴量として検出し、ステップ７ｄに移行する。
ステップ７ｄでは、処理対象フレームを構成する全てのブロックについて、ステップ７ｂおよびステップ７ｃの処理を行うと、ステップ７ｅに移行する。
【００９８】
ステップ７ｅ〜７ｍは、ノイズ低減制御部３６０、空間ノイズ除去部３７０およびフリッカ低減部３８０によってなされるものであって、メモリ３１０に記憶される処理対象フレームを構成するブロック毎に実行するループ処理である。
【００９９】
ステップ７ｆでは、空間ノイズ除去部３７０が、フィルタ選択部３３０から与えられたフィルタデータに含まれるブロックインデックスを処理対象ブロックとして認識し、この処理対象ブロックのブロックインデックスをノイズ低減制御部３６０に通知して、その種別について判定を求める。
【０１００】
これに対して、ノイズ低減制御部３６０は、空間ノイズ除去部３７０から通知されたブロックインデックス（処理対象ブロック）に対応付けられたテクスチャ特徴量を、画像情報記憶部３５０から読み出し、このテクスチャ特徴量に基づいて、処理対象ブロックが平坦領域、非平坦領域あるいは境界領域のいずれであるかを判定する。そして、処理対象ブロックが平坦領域の場合には、ステップ７ｇに移行し、また処理対象ブロックが非平坦領域の場合には、ステップ７ｉに移行し、あるいは処理対象ブロックが境界領域の場合には、ステップ７ｈに移行する。
【０１０１】
ステップ７ｇでは、ノイズ低減制御部３６０は、空間ノイズ除去部３７０およびフリッカ低減部３８０に設定するパラメータを生成するパラメータ生成処理Ｐ１を実行し、ステップ７ｊに移行する。具体的には、パラメータ生成処理Ｐ１では、ステップ７ｆで用いたフィルタデータに含まれるフィルタインデックスに対応するフィルタを用いることを指示するパラメータＰ１−Ａを生成して、空間ノイズ除去部３７０に設定するとともに、フリッカ低減処理Ａを実行することを指示するパラメータＰ１−Ｂを生成して、フリッカ低減部３８０に設定する。
【０１０２】
また、ステップ７ｈでは、ノイズ低減制御部３６０は、空間ノイズ除去部３７０およびフリッカ低減部３８０に設定するパラメータを生成するパラメータ生成処理Ｐ２を実行し、ステップ７ｊに移行する。具体的には、パラメータ生成処理Ｐ２では、ステップ７ｆで用いたフィルタデータに含まれるフィルタインデックスに対応するフィルタを再構成して用いることを指示するパラメータＰ２−Ａを生成して、空間ノイズ除去部３７０に設定するとともに、フリッカ低減処理Ａを実行することを指示するパラメータＰ２−Ｂを生成して、フリッカ低減部３８０に設定する。
【０１０３】
そしてまた、ステップ７ｉでは、ノイズ低減制御部３６０は、空間ノイズ除去部３７０およびフリッカ低減部３８０に設定するパラメータを生成するパラメータ生成処理Ｐ３を実行し、ステップ７ｊに移行する。具体的には、パラメータ生成処理Ｐ３では、ステップ７ｆで用いたフィルタデータに含まれるフィルタインデックスに対応するフィルタを再構成して用いることを指示するパラメータＰ３−Ａを生成して、空間ノイズ除去部３７０に設定するとともに、フリッカ低減処理Ｂを実行することを指示するパラメータＰ３−Ｂを生成して、フリッカ低減部３８０に設定する。
【０１０４】
ステップ７ｊでは、空間ノイズ除去部３７０が、ステップ７ｆで用いたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部３２０から取得するとともに、処理対象ブロックの画像データをメモリ２１０から取得する。そして、空間ノイズ除去部３７０は、ノイズ低減制御部３６０によって設定されたパラメータ（Ｐ１−Ａ、Ｐ２−ＡあるいはＰ３−Ａ）にしたがい、必要に応じてフィルタを再構成する。そして、空間ノイズ除去部３７０は、上記フィルタ、あるいは再構成したフィルタを用いて、上記画像データをフィルタリングし、フィルタリングした画像データをフリッカ低減部３８０に出力して、ステップ７ｋに移行する。
【０１０５】
具体的には、ステップ７ｇによってパラメータ生成処理Ｐ１を実行した場合には、空間ノイズ除去部３７０には、パラメータＰ１−Ａが設定されるので、フィルタ情報記憶部３２０から取得したフィルタを用いて、上記画像データをフィルタリングする。一方、ステップ７ｈによってパラメータ生成処理Ｐ２を実行した場合、あるいはステップ７ｉによってパラメータ生成処理Ｐ２あるいはＰ３を実行した場合には、空間ノイズ除去部３７０には、パラメータＰ２−ＡあるいはＰ３−Ａが設定されるので、フィルタ情報記憶部３２０から取得したフィルタを再構成した後、この再構成したフィルタを用いて、上記画像データをフィルタリングする。
【０１０６】
なお、再構成したフィルタは、再構成しないフィルタに比べて、処理の負荷が大きくなっており、空間ノイズの除去能力が高い。すなわち、平坦領域と、境界領域や非平坦領域を比べた場合に、境界領域や非平坦領域の方が空間ノイズを知覚されやすいので、平坦領域に比べて、負荷の大きい強力なフィルタリングを行う。
【０１０７】
ステップ７ｋでは、フリッカ低減部３８０が、空間ノイズ除去部３７０にてフィルタリングされた画像データに対して、フリッカ低減処理を施し、後段に出力して、ステップ７ｌに移行する。
【０１０８】
なお、ステップ７ｇによってパラメータ生成処理Ｐ１を実行した場合、あるいはステップ７ｈによってパラメータ生成処理Ｐ２を実行した場合には、フリッカ低減部３８０には、パラメータＰ１−ＢあるいはＰ２−Ｂが設定されるので、空間ノイズ除去部３７０にてフィルタリングされた画像データに対して、フリッカ低減処理Ａを施す。一方、ステップ６ｄによってパラメータ生成処理Ｐ３を実行した場合には、フリッカ低減部３８０には、パラメータＰ３−Ｂが設定されるので、空間ノイズ除去部３７０にてフィルタリングされた画像データに対して、フリッカ低減処理Ｂを施す。
【０１０９】
なお、第２の実施形態で説明したように、フリッカ低減処理Ａは、平坦領域や境界領域に適した処理であって、フリッカ低減処理Ｂは、非平坦領域に適した処理である。一般に、非平坦領域に比べて平坦領域や境界領域は、フリッカが知覚されやすいので、フリッカ低減処理Ｂよりも処理負荷が大きく、また低減能力が優るフリッカ低減処理Ａを適用する。
【０１１０】
ステップ７ｌでは、処理対象フレームを構成する全てのブロックについて、ステップ７ｆ〜７ｌの処理を行うと、当該処理を終了する。
【０１１１】
以上のように、上記構成の画像処理装置では、特徴量算出部３４０で求めたテクスチャ特徴量に基づいて、フレームを構成する各ブロックが、平坦領域、境界領域あるいは非平坦領域のいずれであるかを判定し、空間ノイズの除去については、平坦領域に比べて空間ノイズが知覚されやすい非平坦領域については、空間ノイズを除去するフィルタを再構成して平坦領域よりも強力なフィルタリングを実施し、またフリッカ低減については、非平坦領域に比べてフリッカが知覚されやすい平坦領域と境界領域についてのみ、処理負荷の大きく処理能力が優れるフリッカ低減処理Ａを適用するように、フリッカ低減部３８０に対して、パラメータ設定を行うようにしている。
【０１１２】
したがって、上記構成の画像処理装置によれば、平坦領域／非平坦領域に応じて効率的な空間ノイズ除去が行え、またすべての領域に対してフリッカ低減処理Ａを実施するわけではなく、非平坦領域については、処理負荷の小さいフリッカ低減処理Ｂを実施する。このためので、処理量を抑制しながらも、空間方向と時間方向のノイズ低減を効率的に実施することができる。すなわち、ブロック毎の特徴に応じて、空間方向と時間方向のノイズを効率的に低減することができる。
【０１１３】
なお、上記第３の実施形態では、ステップ７ｈとステップ７ｉで設定されるフィルタの再構成処理については、同様のものとして説明したが、パラメータ設定により、異ならせるようにしてもよい。例えば、空間ノイズ除去部３７０は、式（２）、（３）で示したような演算によりフィルタの再構成を行うが、パラメータＰ２−ＡおよびＰ３−Ａによる設定により、境界領域の場合（ステップ７ｈ）と、非平坦領域の場合（ステップ７ｉ）とで、閾値Thを可変するようにしてもよい。例えば、境界領域の場合（ステップ７ｈ）には、非平坦領域の場合（ステップ７ｉ）に比べて、閾値Thを小さく設定する。
【０１１４】
また、上記第３の実施形態では、ステップ７ｇとステップ７ｈにおけるフリッカ低減処理については、同様のものとして説明したが、領域の種別に応じて、パラメータ設定により、異ならせるようにしてもよい。すなわち、平坦領域の場合（ステップ７ｇ）には、非平坦領域の場合（ステップ７ｉ）の場合に比べて、強いフリッカ低減処理を実施するようにパラメータＰ１−Ｂを設定し、境界領域の場合（ステップ７ｈ）には、平坦領域の場合（ステップ７ｇ）と非平坦領域の場合（ステップ７ｉ）の間の程度のフリッカ低減処理を行うように、パラメータＰ２−Ｂを設定する。非平坦領域の場合（ステップ５ｌ）の場合には、フリッカ低減処理を行わないように、パラメータＰ３−Ｂを設定してもよい。
【０１１５】
そしてまた、上記第２の実施形態では、境界領域の場合（ステップ５ｊ）には、処理対象ブロックについて、平坦の度合いを検出し（あるいは、特徴量算出部２４０の算出結果を用いて）、平坦の度合いに応じて、閾値Thやフリッカ低減処理の強度を可変するように、ノイズ低減制御部３６０がパラメータを設定してもよい。
【０１１６】
なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。
【０１１７】
例えば、上記実施の形態では、処理対象ブロックの領域の種別を判定するのに、１種類の特徴量（テクスチャ特徴量。例えば処理対象ブロック内の輝度の最大値と最小値の差）に基づいて判定を行いようにしたが、複数種の特徴量（処理対象ブロック内の輝度の分散やブロック内の隣接画素の輝度を用いて算出した相関係数、隣接ブロック間の輝度を用いて算出した相関係数、KR(Kernel Regression)で算出しているエッジ特徴量など）を平坦領域判定部１４０や特徴量算出部２４０，３４０が算出し、複数種の特徴量に基づいて、処理対象ブロックの領域の種別を判定するようにしてもよい。この場合、種別毎に重み付けを行って、その合計値を評価値とし、評価値を予め設定した閾値と比較することで、平坦領域か非平坦領域かを判定する。
その他、この発明の要旨を逸脱しない範囲で種々の変形を施しても同様に実施可能であることはいうまでもない。
【符号の説明】
【０１１８】
１１０…メモリ、１２０…フィルタ情報記憶部、１３０…フィルタ選択部、１４０…平坦領域判定部、１５０…画像情報記憶部、１６０…空間ノイズ除去部、１７０…非平坦境界判定部、１８０…フリッカ低減部、２１０…メモリ、２２０…フィルタ情報記憶部、２３０…フィルタ選択部、２４０…特徴量算出部、２５０…画像情報記憶部、２６０…ノイズ低減制御部、２７０…空間ノイズ除去部、２８０…フリッカ低減部、３１０…メモリ、３２０…フィルタ情報記憶部、３３０…フィルタ選択部、３４０…特徴量算出部、３５０…画像情報記憶部、３６０…ノイズ低減制御部、３７０…空間ノイズ除去部、３８０…フリッカ低減部。
【技術分野】
【０００１】
この発明の実施形態は、動画像におけるノイズ除去を行う画像処理装置に関する。
【背景技術】
【０００２】
近年、携帯電話での動画再生時に映像補正処理を行い、ユーザに高品位な映像を提供することが一般的になってきている。そして、符号化時にフレーム内に混入するブロックノイズやリンギングノイズを上記映像補正処理によって除去する。具体的には、各フレームの特徴を解析して適切なフィルタを適用するKernel Regression(KR)によるノイズ除去が行われている。
【０００３】
しかし、動画像には、上述した空間方向のノイズだけではなく、フリッカと呼ばれる時間方向のノイズが存在する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２４２６９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
動画像には、上述した空間方向のノイズだけではなく、フリッカと呼ばれる時間方向のノイズが存在するという問題があった。
課題は、上記の問題を解決すべくなされたもので、空間方向のノイズ低減に関わる処理量を効率的に行うことが可能な画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
実施形態によれば、フレームを構成するブロックごとにノイズ除去を行う画像処理装置において、ブロックごとに、画像の複雑さを示す特徴量を求める特徴量検出手段と、特徴量に応じた度合いで、ブロックごとにフリッカを低減する処理を行うフリッカ低減手段とを具備して構成するようにした。
【図面の簡単な説明】
【０００７】
【図１】第１の実施形態に係わる画像処理装置の構成を示す回路ブロック図。
【図２】図１に示した画像処理装置の動作を説明するためのフローチャート。
【図３】図１に示した画像処理装置の境界判定の動作を説明するための図。
【図４】第２の実施形態に係わる画像処理装置の構成を示す回路ブロック図。
【図５】図４に示した画像処理装置の動作を説明するためのフローチャート。
【図６】第３の実施形態に係わる画像処理装置の構成を示す回路ブロック図。
【図７】図６に示した画像処理装置の動作を説明するためのフローチャート。
【発明を実施するための形態】
【０００８】
（第１の実施形態）
図１は、第１の実施形態に係わる画像処理装置の構成を示すものである。この画像処理装置は、メモリ１１０と、フィルタ情報記憶部１２０と、フィルタ選択部１３０と、平坦領域判定部１４０と、画像情報記憶部１５０と、空間ノイズ除去部１６０と、平坦／非平坦境界判定部１７０と、フリッカ低減部１８０とを備えている。
【０００９】
メモリ１１０は、例えば半導体メモリなどを記憶媒体として用いたものであって、複数フレームの画像データを記憶できる。なお、画像データは、図示しない復号器が符号化ストリームを復号することによって得たフレーム単位の動画像のデータであって、フレームの画像データと符号化情報を含んでいる。また、符号化情報には、量子化パラメータや動きベクトル、ピクチャ情報が含まれる。
【００１０】
フィルタ情報記憶部１２０は、種々のエッジ特徴量のテンプレートとフィルタを対応づけて、フィルタ情報として予め記憶する。すなわち、各エッジ特徴量に適用すべきフィルタを、エッジ特徴量のテンプレートに対応づけて、フィルタ情報として予め記憶する。なお、上記フィルタは、フィルタリング対象の画素あるいはその周辺画素を含んだブロックにそれぞれ適用するフィルタ係数のセットであって、このフィルタを適用することにより、画像のエッジ特徴を考慮した出力画像が得られる。
【００１１】
フィルタ選択部１３０は、メモリ１１０から処理対象となるフレーム（以下、処理対象フレームと称する）を構成するブロックのうち、処理対象となるブロック（以下、処理対象ブロックと称する）の画像データを読み出す。そして、フィルタ選択部１３０は、処理対象ブロックの画像データに基づいて、映像のエッジ特徴量を算出する。
【００１２】
そして、フィルタ選択部１３０は、フィルタ情報記憶部１２０が記憶するフィルタ情報を参照し、上記エッジ特徴量に対応するフィルタを検出し、この検出したフィルタのインデックス（以下、フィルタインデックスと称する）を、上記エッジ特徴量を得たブロックを識別するインデックス（以下、ブロックインデックスと称する）に対応づけて、フィルタデータとして空間ノイズ除去部１６０に出力する。なお、フィルタ選択部１３０は、メモリ１１０が記憶する符号化情報に基づいて、各ブロックのエッジ特徴量を求めるようにしてもよい。
【００１３】
平坦領域判定部１４０は、メモリ１１０から処理対象ブロックの画像データを読み出し、この画像データに基づいて、処理対象ブロックが、平坦領域であるか非平坦領域であるかを判定し、この判定結果とブロックインデックスを対応付けて、画像情報記憶部１５０に記録する。なお、ブロック内に、エッジやテクスチャが一部でも含まれている場合には、非平坦領域と判定し、全くエッジやテクスチャを含まない場合に、平坦領域と判定する。
【００１４】
具体的な判定方法の例としては、判定対象となるブロックの画像の複雑さを示すテクスチャ特徴量を算出し、このテクスチャ特徴量が閾値を超える場合に、非平坦領域と判定し、一方、閾値以下の場合には、平坦領域と判定することができる。また、ブロック内の輝度値の最大値と最小値を検出し、その差分を特徴量として、閾値判定するようにしてもよい。
【００１５】
空間ノイズ除去部１６０は、フィルタ選択部１３０から与えられるフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部１２０から取得し、また上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ１１０から取得するとともに、同ブロックに対応する判定結果を画像情報記憶部１５０から取得し、これらの情報に基づいて、ブロックごとにフィルタの再構成を行い、再構成されたフィルタを用いて、対応するブロックの画像データをフィルタリングする。
【００１６】
具体的には、平坦領域判定部１４０の判定結果が平坦領域を示す場合には、フィルタの再構成は行わずに、フィルタ情報記憶部１２０から取得したフィルタを、上記ブロックを構成する各画素に適用してフィルタリングを行う。
【００１７】
すなわち、下式（１）で示すような演算を行う。なお、下式において、(x,y)はフィルタリング対象の画素の座標を示し、(m,n)はフィルタリング対象の画素を中心とする相対的な座標を示す。そして、h(m,n)はフィルタ、S(x,y)は、フィルタリング対象の画素の輝度値、D(x,y)はフィルタリングされた対象画素の輝度値をそれぞれ示している。
【数１】
【００１８】
このようにして、フィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともにフリッカ低減部１８０に出力される。
【００１９】
一方、平坦領域判定部１４０の判定結果が非平坦領域を示す場合には、上記フィルタデータ（フィルタインデックス）が示すフィルタをεフィルタを用いて再構成し、この再構成したフィルタを上記ブロックを構成する各画素に適用してフィルタリングを行う。
【００２０】
すなわち、下式（２）、（３）で示すような演算を行う。この式の例では、フィルタリング対象の画素の輝度値S(x,y)がその周辺の画素の輝度値S(x-m,y-n)と比べて差が大きい場合（閾値Thより大きい場合）には、輝度値S(x,y)のみをフィルタリングに用いることで、再構成したフィルタを用いた場合と同じフィルタリングを行う。一方、それ以外の場合には、判定結果が平坦領域を示す場合と同じフィルタリングを行っている。
【数２】
【００２１】
このようにして、フィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともにフリッカ低減部１８０に出力される。
【００２２】
平坦／非平坦境界判定部１７０は、画像情報記憶部１５０から、平坦領域判定部１４０の判定結果とこれに対応付けられたブロックインデックスを読み出し、この読み出した情報に基づいて、平坦領域に隣接する非平坦領域を境界領域として検出する。そして、平坦／非平坦境界判定部１７０は、平坦領域のブロックインデックスと境界領域のブロックインデックスをフリッカ低減部１８０に通知する。
【００２３】
フリッカ低減部１８０は、平坦／非平坦境界判定部１７０から通知される情報に基づいて、空間ノイズ除去部１６０から出力される画像データのうち、平坦領域と境界領域に対して、フリッカ低減を行い、一方、非平坦領域については、フリッカ低減を行わない。
【００２４】
次に、上記構成の画像処理装置の動作について説明する。図２は、上記画像処理装置の動作を説明するためのフローチャートである。この図に示す処理は、メモリ１１０が記憶するフレームの画像データ毎に繰り返し実行される。
【００２５】
ステップ２ａ〜２ｇは、フィルタ選択部１３０、平坦領域判定部１４０および空間ノイズ除去部１６０によってなされるものであって、メモリ１１０に記憶される処理対象フレームを構成するブロック毎に実行するループ処理である。
【００２６】
ステップ２ｂでは、フィルタ選択部１３０が、メモリ１１０から処理対象ブロックの画像データを読み出し、この画像データに対して、例えばSobelフィルタやPrewittフィルタ、Robinsonフィルタ、近傍差分フィルタなどのいずれかのフィルタを適用して、エッジの方向や強度を示すエッジ特徴量を算出する。
【００２７】
そして、フィルタ選択部１３０は、フィルタ情報記憶部１２０が記憶するフィルタ情報を参照し、テンプレートマッチングにより、上記エッジ特徴量に一致する、もしくは最も類似したテンプレートを検出し、これに対応づけられたフィルタインデックスを読み出す。そして、フィルタ選択部１３０は、この読み出したフィルタインデックスを、処理対象ブロックのブロックインデックスに対応づけて、フィルタデータとして空間ノイズ除去部１６０に出力し、ステップ２ｃに移行する。
【００２８】
ステップ２ｃでは、平坦領域判定部１４０が、メモリ１１０から処理対象ブロックの画像データを読み出し、この画像データに基づいて、処理対象ブロックの画像を構成する画素の輝度値を参照し、最大の輝度値と、最小の輝度値を検出し、その差を、画像の複雑さを示すテクスチャ特徴量として検出し、ステップ２ｄに移行する。
【００２９】
ステップ２ｄでは、平坦領域判定部１４０が、ステップ２ｃで求めたテクスチャ特徴量に基づいて、処理対象ブロックが平坦領域であるか非平坦領域であるかを判定し、この判定結果とブロックインデックスを対応付けて、画像情報記憶部１５０に記録する。すなわち、テクスチャ特徴量に基づいて、処理対象ブロックに適用する予定のフィルタを再構成する必要性があるか否かを判定する。
【００３０】
具体的には、テクスチャ特徴量が閾値を超えない場合、すなわち処理対象ブロックの映像が単調な場合には、平坦領域と判定してステップ２ｅに移行し、一方、テクスチャ特徴量が閾値を超える場合、すなわち処理対象ブロックの映像が複雑な場合には、非平坦領域と判定してステップ２ｆに移行する。
【００３１】
ステップ２ｅでは、空間ノイズ除去部１６０が、フィルタ選択部１３０から与えられたフィルタデータに含まれるブロックインデックスを処理対象ブロックとして認識し、この処理対象ブロックに対する判定結果を画像情報記憶部１５０から取得し、これにより、処理対象ブロックが平坦領域であることを認識する。
【００３２】
そして空間ノイズ除去部１６０は、上記フィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部１２０から取得するとともに、処理対象ブロックの画像データをメモリ１１０から取得する。そして、空間ノイズ除去部１６０は、上記フィルタを用いて、上記画像データをフィルタリングし、ステップ２ｇに移行する。
【００３３】
一方、ステップ２ｆでは、空間ノイズ除去部１６０が、フィルタ選択部１３０から与えられたフィルタデータに含まれるブロックインデックスを処理対象ブロックとして認識し、この処理対象ブロックに対する判定結果を画像情報記憶部１５０から取得し、これにより、処理対象ブロックが非平坦領域であることを認識する。
【００３４】
そして空間ノイズ除去部１６０は、上記フィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部１２０から取得するとともに、処理対象ブロックの画像データをメモリ１１０から取得する。そして、空間ノイズ除去部１６０は、上記フィルタを再構成し、この再構成したフィルタを用いて、上記画像データをフィルタリングし、ステップ２ｇに移行する。
【００３５】
なお、再構成したフィルタは、ステップ２ｅで適用するフィルタに比べて、処理の負荷が大きくなっており、空間ノイズの除去能力が高い。すなわち、平坦領域と非平坦領域を比べた場合に、非平坦領域の方が空間ノイズを知覚されやすいので、平坦領域に比べて、負荷の大きい強力なフィルタリングを行う。
【００３６】
ステップ２ｇでは、処理対象フレームを構成する全てのブロックについて、ステップ２ｂ〜２ｆの処理を行うと、ステップ２ｈに移行する。
【００３７】
ステップ２ｈ〜２ｋは、平坦／非平坦境界判定部１７０およびフリッカ低減部１８０によってなされるものであって、処理対象フレームを構成するブロック（処理対象ブロック）毎に実行するループ処理であって、平坦領域と境界領域に対してのみ、フリッカ低減を行う。
【００３８】
ステップ２ｉでは、平坦／非平坦境界判定部１７０が、画像情報記憶部１５０から、平坦領域判定部１４０の判定結果とこれに対応付けられたブロックインデックスを読み出し、この読み出した情報に基づいて、領域の種別が変化する境界領域を検出し、平坦領域のブロックインデックスと境界領域のブロックインデックスをフリッカ低減部１８０に通知する。これにより、平坦領域と境界領域のブロックについてのみ、ステップ２ｊの処理がフリッカ低減部１８０によってなされる。
【００３９】
具体例として、例えば図３に示すように、非平坦領域のブロックＢ０，Ｂ１と、平坦領域のブロックＢ２が並んでいる場合について説明する。この場合、平坦／非平坦境界判定部１７０は、非平坦領域のブロックＢ１（処理対象ブロック）が、非平坦領域のブロックＢ０と平坦領域のブロックＢ２の間に存在することより、境界領域として検出する。
【００４０】
なお、このように、両端が異なる種別の領域であるか否かで判定するだけではなく、上下左右の４方向のいずれか２つに異なる種別の領域が存在する非平坦領域のブロックや、周囲８方向のいずれかに２つに異なる種別の領域が存在する非平坦領域のブロックを境界領域として検出するようにしてもよい。
【００４１】
ステップ２ｊでは、フリッカ低減部１８０が、平坦／非平坦境界判定部１７０から通知された平坦領域と境界領域のブロックインデックスに基づいて、空間ノイズ除去部１６０から出力される画像データのうち、平坦領域と境界領域のブロックについてフリッカ低減を行い、後段に出力する。なお、非平坦領域のブロックについては、フリッカ低減を行わずに、後段に出力する。
【００４２】
ステップ２ｋでは、処理対象フレームを構成する全てのブロックについて、ステップ２ｉおよび２ｊの処理を行うと、当該処理を終了する。
【００４３】
以上のように、上記構成の画像処理装置では、平坦領域判定部１４０による平坦領域の判定結果に基づいて、平坦領域と、境界領域（平坦領域に接する非平坦領域）を検出し、空間ノイズの除去については、平坦領域に比べて空間ノイズが知覚されやすい非平坦領域については、空間ノイズを除去するフィルタを再構成して平坦領域よりも強力なフィルタリングを実施し、またフリッカ低減については、非平坦領域に比べてフリッカが知覚されやすい平坦領域と境界領域に対してのみ、フリッカ低減処理を適用するようにしている。
【００４４】
したがって、上記構成の画像処理装置によれば、平坦領域／非平坦領域に応じて効率的な空間ノイズ除去が行え、またすべての領域に対してフリッカ低減処理を実施するわけではなく、有効な領域に対してのみフリッカ低減処理を実施する。このため、処理量を抑制しながらも、空間方向と時間方向のノイズ低減を効率的に実施することができる。すなわち、ブロック毎の特徴に応じて、空間方向と時間方向のノイズを効率的に低減することができる。
【００４５】
（第２の実施形態）
図４は、第２の実施形態に係わる画像処理装置の構成を示すものである。この画像処理装置は、メモリ２１０と、フィルタ情報記憶部２２０と、フィルタ選択部２３０と、特徴量算出部２４０と、画像情報記憶部２５０と、ノイズ低減制御部２６０と、空間ノイズ除去部２７０と、フリッカ低減部２８０とを備えている。
【００４６】
メモリ２１０は、例えば半導体メモリなどを記憶媒体として用いたものであって、複数フレームの画像データを記憶できる。なお、画像データは、図示しない復号器が符号化ストリームを復号することによって得たフレーム単位の動画像のデータであって、フレームの画像データと符号化情報を含んでいる。また、符号化情報には、量子化パラメータや動きベクトル、ピクチャ情報が含まれる。
【００４７】
フィルタ情報記憶部２２０は、種々のエッジ特徴量のテンプレートとフィルタを対応づけて、フィルタ情報として予め記憶する。すなわち、各エッジ特徴量に適用すべきフィルタを、エッジ特徴量のテンプレートに対応づけて、フィルタ情報として予め記憶する。なお、上記フィルタは、フィルタリング対象の画素あるいはその周辺画素を含んだブロックにそれぞれ適用するフィルタ係数のセットであって、このフィルタを適用することにより、画像のエッジ特徴を考慮した出力画像が得られる。
【００４８】
フィルタ選択部２３０は、メモリ２１０から処理対象となるフレーム（以下、処理対象フレームと称する）を構成するブロックのうち、処理対象となるブロック（以下、処理対象ブロックと称する）の画像データを読み出す。そして、フィルタ選択部２３０は、処理対象ブロックの画像データに基づいて、映像のエッジ特徴量を算出する。
【００４９】
そして、フィルタ選択部２３０は、フィルタ情報記憶部２２０が記憶するフィルタ情報を参照し、上記エッジ特徴量に対応するフィルタを検出し、この検出したフィルタのインデックス（以下、フィルタインデックスと称する）を、上記エッジ特徴量を得たブロックを識別するインデックス（以下、ブロックインデックスと称する）に対応づけて、フィルタデータとして空間ノイズ除去部２７０に出力する。なお、フィルタ選択部２３０は、メモリ２１０が記憶する符号化情報に基づいて、各ブロックのエッジ特徴量を求めるようにしてもよい。
【００５０】
特徴量算出部２４０は、メモリ２１０から処理対象ブロックの画像データを読み出し、この画像データに基づいて、処理対象ブロックの画像の複雑さを示すテクスチャ特徴量を算出する。そして、特徴量算出部２４０は、このテクスチャ特徴量を、処理対象ブロックのブロックインデックスに対応付けて、画像情報記憶部２５０に記録する。なお、ブロック内の輝度値の最大値と最小値を検出し、その差分を特徴量としてもよい。
【００５１】
ノイズ低減制御部２６０は、画像情報記憶部２５０から、処理対象ブロックについて、特徴量算出部２４０が求めたテクスチャ特徴量とこれに対応付けられたブロックインデックスを読み出し、テクスチャ特徴量に基づいて、処理対象ブロックが平坦領域、非平坦領域あるいは境界領域のいずれであるかを判定し、この判定結果に応じて、後述する空間ノイズ除去部２７０で適用するフィルタリング処理、およびフリッカ低減部２８０で実施するフリッカ低減処理を制御する。
【００５２】
具体的には、まず、ノイズ低減制御部２６０は、テクスチャ特徴量が閾値を超える場合には、処理対象ブロックを非平坦領域と判定し、一方、閾値以下の場合には、処理対象ブロックを平坦領域と判定する。
【００５３】
そして、平坦領域に隣接する非平坦領域を境界領域として検出する。具体例として、例えば図３に示すように、非平坦領域のブロックＢ０，Ｂ１と、平坦領域のブロックＢ２が並んでいる場合について説明する。この場合、ノイズ低減制御部２６０は、非平坦領域のブロックＢ１（処理対象ブロック）が、非平坦領域のブロックＢ０と平坦領域のブロックＢ２の間に存在することより、境界領域として検出する。
【００５４】
なお、このように、両端が異なる種別の領域であるか否かで判定するだけではなく、上下左右の４方向のいずれか２つに異なる種別の領域が存在する非平坦領域のブロックや、周囲８方向のいずれかに２つに異なる種別の領域が存在する非平坦領域のブロックを境界領域として検出するようにしてもよい。
【００５５】
空間ノイズ除去部２７０は、フィルタ選択部２３０から与えられるフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部２２０から取得するとともに、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２１０から取得し、そして、ノイズ低減制御部２６０からの指示に基づいて、処理対象ブロックが非平坦領域や境界領域の場合に、上記フィルタを再構成し、再構成されたフィルタを用いて、上記画像データをフィルタリングする。一方、平坦領域の場合には、上記フィルタを再構成せずに、このフィルタを用いて、上記画像データをフィルタリングする。
【００５６】
具体的には、ノイズ低減制御部２６０からフィルタの再構成が指示されない場合（平坦領域の場合）には、フィルタの再構成は行わずに、フィルタ情報記憶部２２０から取得したフィルタを、上記ブロックを構成する各画素に適用してフィルタリングを行う。
【００５７】
すなわち、式（１）で示したような演算を行う。このようにして、フィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともにフリッカ低減部２８０に出力される。
【００５８】
一方、ノイズ低減制御部２６０からフィルタの再構成が指示された場合（非平坦領域や境界領域の場合）には、上記フィルタデータ（フィルタインデックス）が示すフィルタをεフィルタを用いて再構成し、この再構成したフィルタを上記ブロックを構成する各画素に適用してフィルタリングを行う。
【００５９】
すなわち、式（２）、（３）で示したような演算を行う。このようにして、フィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともにフリッカ低減部２８０に出力される。
【００６０】
フリッカ低減部２８０は、ノイズ低減制御部２６０からの指示に基づいて、空間ノイズ除去部２７０から出力される画像データのうち、平坦領域と境界領域に対して、フリッカ低減処理Ａを施し、一方、非平坦領域については、フリッカ低減処理Ｂを施す。フリッカ低減処理Ａは、平坦領域や境界領域に適した処理であって、フリッカ低減処理Ｂは、非平坦領域に適した処理である。一般に、非平坦領域に比べて平坦領域や境界領域は、フリッカが知覚されやすいので、フリッカ低減処理Ｂよりも処理負荷が大きく、また低減能力が優るフリッカ低減処理Ａを適用する。
【００６１】
上記構成の画像処理装置の動作について説明する。図５は、上記画像処理装置の動作を説明するためのフローチャートである。この図に示す処理は、メモリ２１０が記憶する各フレームの画像データ毎に繰り返し実行される。
【００６２】
ステップ５ａ〜５ｄは、フィルタ選択部２３０および特徴量算出部２４０によってなされるものであって、メモリ２１０に記憶される処理対象フレームを構成するブロック毎に実行するループ処理である。
【００６３】
ステップ５ｂでは、フィルタ選択部２３０が、メモリ２１０から処理対象ブロックの画像データを読み出し、この画像データに対して、例えばSobelフィルタやPrewittフィルタ、Robinsonフィルタ、近傍差分フィルタなどのいずれかのフィルタを適用して、エッジの方向や強度を示すエッジ特徴量を算出する。
【００６４】
そして、フィルタ選択部２３０は、フィルタ情報記憶部２２０が記憶するフィルタ情報を参照し、テンプレートマッチングにより、上記エッジ特徴量に一致する、もしくは最も類似したテンプレートを検出し、これに対応づけられたフィルタインデックスを読み出す。そして、フィルタ選択部２３０は、この読み出したフィルタインデックスを、処理対象ブロックのブロックインデックスに対応づけて、フィルタデータとして空間ノイズ除去部２７０に出力し、ステップ５ｃに移行する。
【００６５】
ステップ５ｃでは、特徴量算出部２４０が、メモリ２１０から処理対象ブロックの画像データを読み出し、この画像データに基づいて、処理対象ブロックの画像を構成する画素の輝度値を参照し、最大の輝度値と、最小の輝度値を検出し、その差を、画像の複雑さを示すテクスチャ特徴量として検出し、ステップ５ｄに移行する。
【００６６】
ステップ５ｄでは、処理対象フレームを構成する全てのブロックについて、ステップ５ｂおよびステップ５ｃの処理を行うと、ステップ５ｅに移行する。
【００６７】
ステップ５ｅ〜５ｍは、ノイズ低減制御部２６０、空間ノイズ除去部２７０およびフリッカ低減部２８０によってなされるものであって、メモリ２１０に記憶される処理対象フレームを構成するブロック毎に実行するループ処理である。
【００６８】
ステップ５ｆでは、空間ノイズ除去部２７０が、フィルタ選択部２３０から与えられたフィルタデータに含まれるブロックインデックスを処理対象ブロックとして認識し、この処理対象ブロックのブロックインデックスをノイズ低減制御部２６０に通知して、その種別について判定を求める。
【００６９】
これに対して、ノイズ低減制御部２６０は、空間ノイズ除去部２７０から通知されたブロックインデックス（処理対象ブロック）に対応付けられたテクスチャ特徴量を、画像情報記憶部２５０から読み出し、このテクスチャ特徴量に基づいて、処理対象ブロックが平坦領域、非平坦領域あるいは境界領域のいずれであるかを判定し、判定結果を空間ノイズ除去部２７０およびフリッカ低減部２８０に通知する。
【００７０】
これにより、処理対象ブロックが平坦領域の場合には、ステップ５ｇおよびステップ５ｈが行われ、また処理対象ブロックが非平坦領域の場合には、ステップ５ｉおよびステップ５ｊが行われ、あるいは処理対象ブロックが境界領域の場合には、ステップ５ｋおよびステップ５ｌが行われる。
【００７１】
ステップ５ｇでは、空間ノイズ除去部２７０は、ノイズ低減制御部２６０から取得した判定結果が平坦領域を示すことより、ステップ５ｆで用いたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部２２０から取得するとともに、処理対象ブロックの画像データをメモリ２１０から取得する。そして、空間ノイズ除去部１６０は、上記フィルタを用いて、上記画像データをフィルタリングし、フィルタリングした画像データをフリッカ低減部２８０に出力して、ステップ５ｈに移行する。
【００７２】
ステップ５ｈでは、フリッカ低減部２８０は、ノイズ低減制御部２６０から取得した判定結果が平坦領域を示すことより、空間ノイズ除去部２７０にてフィルタリングされた画像データに対して、フリッカ低減処理Ａを施し、後段に出力して、ステップ５ｍに移行する。
【００７３】
ステップ５ｉでは、空間ノイズ除去部２７０は、ノイズ低減制御部２６０から取得した判定結果が境界領域を示すことより、ステップ５ｆで用いたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部２２０から取得するとともに、処理対象ブロックの画像データをメモリ２１０から取得する。そして、空間ノイズ除去部１６０は、上記フィルタを再構成した後、この再構成したフィルタを用いて、上記画像データをフィルタリングし、フィルタリングした画像データをフリッカ低減部２８０に出力して、ステップ５ｊに移行する。
【００７４】
なお、再構成したフィルタは、ステップ５ｇで適用するフィルタに比べて、処理の負荷が大きくなっており、空間ノイズの除去能力が高い。すなわち、平坦領域と境界領域を比べた場合に、境界領域の方が空間ノイズを知覚されやすいので、平坦領域に比べて、負荷の大きい強力なフィルタリングを行う。
【００７５】
ステップ５ｊでは、フリッカ低減部２８０は、ノイズ低減制御部２６０から取得した判定結果が境界領域を示すことより、空間ノイズ除去部２７０にてフィルタリングされた画像データに対して、フリッカ低減処理Ａを施し、後段に出力して、ステップ５ｍに移行する。
【００７６】
ステップ５ｋでは、空間ノイズ除去部２７０は、ノイズ低減制御部２６０から取得した判定結果が非平坦領域を示すことより、ステップ５ｆで用いたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部２２０から取得するとともに、処理対象ブロックの画像データをメモリ２１０から取得する。そして、空間ノイズ除去部１６０は、上記フィルタを再構成した後、この再構成したフィルタを用いて、上記画像データをフィルタリングし、フィルタリングした画像データをフリッカ低減部２８０に出力して、ステップ５ｌに移行する。
【００７７】
なお、再構成したフィルタは、ステップ５ｇで適用するフィルタに比べて、処理の負荷が大きくなっており、空間ノイズの除去能力が高い。すなわち、平坦領域と非平坦領域を比べた場合に、非平坦領域の方が空間ノイズを知覚されやすいので、平坦領域に比べて、負荷の大きい強力なフィルタリングを行う。
【００７８】
ステップ５ｌでは、フリッカ低減部２８０は、ノイズ低減制御部２６０から取得した判定結果が境界領域を示すことより、空間ノイズ除去部２７０にてフィルタリングされた画像データに対して、フリッカ低減処理Ｂを施し、後段に出力して、ステップ５ｍに移行する。
【００７９】
ステップ５ｍでは、処理対象フレームを構成する全てのブロックについて、ステップ５ｆ〜５ｌの処理を行うと、当該処理を終了する。
【００８０】
以上のように、上記構成の画像処理装置では、特徴量算出部２４０で求めたテクスチャ特徴量に基づいて、フレームを構成する各ブロックが、平坦領域、境界領域あるいは非平坦領域のいずれであるかを判定し、空間ノイズの除去については、平坦領域に比べて空間ノイズが知覚されやすい非平坦領域については、空間ノイズを除去するフィルタを再構成して平坦領域よりも強力なフィルタリングを実施し、またフリッカ低減については、非平坦領域に比べてフリッカが知覚されやすい平坦領域と境界領域についてのみ、処理負荷の大きく低減能力に優れるフリッカ低減処理Ａを適用するようにしている。
【００８１】
したがって、上記構成の画像処理装置によれば、平坦領域／非平坦領域に応じて効率的な空間ノイズ除去が行え、またすべての領域に対してフリッカ低減処理Ａを実施するわけではなく、非平坦領域については、処理負荷の小さいフリッカ低減処理Ｂを実施する。このため、処理量を抑制しながらも、空間方向と時間方向のノイズ低減を効率的に実施することができる。すなわち、ブロック毎の特徴に応じて、空間方向と時間方向のノイズを効率的に低減することができる。
【００８２】
なお、上記第２の実施形態では、ステップ５ｉとステップ５ｋにおけるフィルタの再構成処理については、同様のものとして説明したが、異ならせるようにしてもよい。例えば、空間ノイズ除去部２７０は、式（２）、（３）で示したような演算によりフィルタの再構成を行うが、その際に、境界領域の場合（ステップ５ｉ）と、非平坦領域の場合（ステップ５ｋ）とで、閾値Thを可変するようにしてもよい。例えば、境界領域の場合（ステップ５ｉ）には、非平坦領域の場合（ステップ５ｋ）に比べて、閾値Thを小さく設定する。
【００８３】
また、上記第２の実施形態では、ステップ５ｈとステップ５ｊにおけるフリッカ低減処理については、同様のものとして説明したが、領域の種別に応じて、異ならせるようにしてもよい。すなわち、平坦領域の場合（ステップ５ｈ）には、非平坦領域の場合（ステップ５ｌ）の場合に比べて、強いフリッカ低減処理を実施し、境界領域の場合（ステップ５ｊ）には、平坦領域の場合（ステップ５ｈ）と非平坦領域の場合（ステップ５ｌ）の間の程度のフリッカ低減処理を行うようにする。非平坦領域の場合（ステップ５ｌ）の場合には、フリッカ低減処理を行わないようにしてもよい。
【００８４】
そしてまた、上記第２の実施形態では、境界領域の場合（ステップ５ｊ）には、処理対象ブロックについて、平坦の度合いを検出し（あるいは、特徴量算出部２４０の算出結果を用いて）、平坦の度合いに応じて、閾値Thやフリッカ低減処理の強度を可変するようにしてもよい。
【００８５】
（第３の実施形態）
図６は、第３の実施形態に係わる画像処理装置の構成を示すものである。この画像処理装置は、メモリ３１０と、フィルタ情報記憶部３２０と、フィルタ選択部３３０と、特徴量算出部３４０と、画像情報記憶部３５０と、ノイズ低減制御部３６０と、空間ノイズ除去部３７０と、フリッカ低減部３８０とを備えている。
【００８６】
なお、メモリ３１０、フィルタ情報記憶部３２０、フィルタ選択部３３０、特徴量算出部３４０および画像情報記憶部３５０については、それぞれ第２の実施形態のメモリ２１０、フィルタ情報記憶部２２０、フィルタ選択部２３０、特徴量算出部２４０および画像情報記憶部２５０に対応し、同様の機能を有することより、以下、説明を簡略に行う。
【００８７】
メモリ３１０は、例えば半導体メモリなどを記憶媒体として用いたものであって、複数フレームの画像データを記憶できる。
フィルタ情報記憶部３２０は、種々のエッジ特徴量のテンプレートとフィルタを対応づけて、フィルタ情報として予め記憶する。
【００８８】
フィルタ選択部３３０は、メモリ３１０から処理対象ブロックの画像データを読み出し、エッジ特徴量を算出して、エッジ特徴量に対応するフィルタをフィルタ情報記憶部３２０から読み出し、ブロックインデックスに対応づけて、フィルタデータとして空間ノイズ除去部３７０に出力する。
特徴量算出部３４０は、処理対象ブロックの画像データに基づいて、テクスチャ特徴量を算出し、ブロックインデックスに対応付けて、画像情報記憶部３５０に記録する。
【００８９】
ノイズ低減制御部３６０は、画像情報記憶部３５０から、処理対象ブロックについて、特徴量算出部３４０が求めたテクスチャ特徴量とこれに対応付けられたブロックインデックスを読み出し、テクスチャ特徴量に基づいて、処理対象ブロックが平坦領域、非平坦領域あるいは境界領域のいずれであるかを判定し、この判定結果に応じて、後述する空間ノイズ除去部３７０で適用するフィルタリング処理のパラメータ、およびフリッカ低減部３８０で実施するフリッカ低減処理のパラメータを生成し、各処理を制御する。
なお、ノイズ低減制御部３６０による処理対象ブロックの種別判定のアルゴリズムは、第２の実施形態のノイズ低減制御部２６０と同様であることより、説明を省略する。
【００９０】
空間ノイズ除去部３７０は、フィルタ選択部３３０から与えられるフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部３２０から取得するとともに、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ３１０から取得し、そして、ノイズ低減制御部３６０から与えられるパラメータに基づいて、処理対象ブロックが非平坦領域や境界領域の場合に、上記フィルタを再構成し、再構成されたフィルタを用いて、上記画像データをフィルタリングする。一方、平坦領域の場合には、上記フィルタを再構成せずに、このフィルタを用いて、上記画像データをフィルタリングする。
【００９１】
なお、空間ノイズ除去部３７０におけるフィルタの再構成処理は、空間ノイズ除去部２７０と同様である。すなわち、処理対象ブロックが平坦領域の場合には、式（１）で示したような演算を行い、フィルタの再構成は行わずに、フィルタ情報記憶部３２０から取得したフィルタを、処理対象ブロックを構成する各画素に適用してフィルタリングを行う。
【００９２】
一方、処理対象ブロックが非平坦領域や境界領域の場合には、式（２）、（３）で示したような演算を行い、フィルタの再構成を行い、この再構成したフィルタ、処理対象ブロックを構成する各画素に適用してフィルタリングを行う。
【００９３】
フリッカ低減部３８０は、ノイズ低減制御部３６０から与えられるパラメータに基づいて、空間ノイズ除去部３７０から出力される画像データのうち、平坦領域と境界領域に対して、フリッカ低減処理Ａを施し、一方、非平坦領域については、フリッカ低減処理Ｂを施す。フリッカ低減処理Ａおよびフリッカ低減処理Ｂは、第２の実施形態と同様であるので、説明を省略する。
【００９４】
上記構成の画像処理装置の動作について説明する。図７は、上記画像処理装置の動作を説明するためのフローチャートである。この図に示す処理は、メモリ３１０が記憶する各フレームの画像データ毎に繰り返し実行される。
【００９５】
ステップ７ａ〜７ｄは、フィルタ選択部３３０および特徴量算出部３４０によってなされるものであって、メモリ３１０に記憶される処理対象フレームを構成するブロック毎に実行するループ処理である。なお、ステップ７ａ〜７ｄは、第２の実施形態のステップ５ａ〜５ｄと同様であることより、簡略して説明する。
【００９６】
ステップ７ｂでは、フィルタ選択部３３０が、メモリ３１０から処理対象ブロックの画像データを読み出し、所定のフィルタを適用して、エッジの方向や強度を示すエッジ特徴量を算出し、テンプレートマッチングにより、フィルタを選択し、このフィルタのフィルタインデックスに、処理対象ブロックのブロックインデックスに対応づけて、フィルタデータとして空間ノイズ除去部３７０に出力し、ステップ７ｃに移行する。
【００９７】
ステップ７ｃでは、特徴量算出部３４０が、処理対象ブロックの画像データに基づいて、画像の複雑さを示すテクスチャ特徴量として検出し、ステップ７ｄに移行する。
ステップ７ｄでは、処理対象フレームを構成する全てのブロックについて、ステップ７ｂおよびステップ７ｃの処理を行うと、ステップ７ｅに移行する。
【００９８】
ステップ７ｅ〜７ｍは、ノイズ低減制御部３６０、空間ノイズ除去部３７０およびフリッカ低減部３８０によってなされるものであって、メモリ３１０に記憶される処理対象フレームを構成するブロック毎に実行するループ処理である。
【００９９】
ステップ７ｆでは、空間ノイズ除去部３７０が、フィルタ選択部３３０から与えられたフィルタデータに含まれるブロックインデックスを処理対象ブロックとして認識し、この処理対象ブロックのブロックインデックスをノイズ低減制御部３６０に通知して、その種別について判定を求める。
【０１００】
これに対して、ノイズ低減制御部３６０は、空間ノイズ除去部３７０から通知されたブロックインデックス（処理対象ブロック）に対応付けられたテクスチャ特徴量を、画像情報記憶部３５０から読み出し、このテクスチャ特徴量に基づいて、処理対象ブロックが平坦領域、非平坦領域あるいは境界領域のいずれであるかを判定する。そして、処理対象ブロックが平坦領域の場合には、ステップ７ｇに移行し、また処理対象ブロックが非平坦領域の場合には、ステップ７ｉに移行し、あるいは処理対象ブロックが境界領域の場合には、ステップ７ｈに移行する。
【０１０１】
ステップ７ｇでは、ノイズ低減制御部３６０は、空間ノイズ除去部３７０およびフリッカ低減部３８０に設定するパラメータを生成するパラメータ生成処理Ｐ１を実行し、ステップ７ｊに移行する。具体的には、パラメータ生成処理Ｐ１では、ステップ７ｆで用いたフィルタデータに含まれるフィルタインデックスに対応するフィルタを用いることを指示するパラメータＰ１−Ａを生成して、空間ノイズ除去部３７０に設定するとともに、フリッカ低減処理Ａを実行することを指示するパラメータＰ１−Ｂを生成して、フリッカ低減部３８０に設定する。
【０１０２】
また、ステップ７ｈでは、ノイズ低減制御部３６０は、空間ノイズ除去部３７０およびフリッカ低減部３８０に設定するパラメータを生成するパラメータ生成処理Ｐ２を実行し、ステップ７ｊに移行する。具体的には、パラメータ生成処理Ｐ２では、ステップ７ｆで用いたフィルタデータに含まれるフィルタインデックスに対応するフィルタを再構成して用いることを指示するパラメータＰ２−Ａを生成して、空間ノイズ除去部３７０に設定するとともに、フリッカ低減処理Ａを実行することを指示するパラメータＰ２−Ｂを生成して、フリッカ低減部３８０に設定する。
【０１０３】
そしてまた、ステップ７ｉでは、ノイズ低減制御部３６０は、空間ノイズ除去部３７０およびフリッカ低減部３８０に設定するパラメータを生成するパラメータ生成処理Ｐ３を実行し、ステップ７ｊに移行する。具体的には、パラメータ生成処理Ｐ３では、ステップ７ｆで用いたフィルタデータに含まれるフィルタインデックスに対応するフィルタを再構成して用いることを指示するパラメータＰ３−Ａを生成して、空間ノイズ除去部３７０に設定するとともに、フリッカ低減処理Ｂを実行することを指示するパラメータＰ３−Ｂを生成して、フリッカ低減部３８０に設定する。
【０１０４】
ステップ７ｊでは、空間ノイズ除去部３７０が、ステップ７ｆで用いたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部３２０から取得するとともに、処理対象ブロックの画像データをメモリ２１０から取得する。そして、空間ノイズ除去部３７０は、ノイズ低減制御部３６０によって設定されたパラメータ（Ｐ１−Ａ、Ｐ２−ＡあるいはＰ３−Ａ）にしたがい、必要に応じてフィルタを再構成する。そして、空間ノイズ除去部３７０は、上記フィルタ、あるいは再構成したフィルタを用いて、上記画像データをフィルタリングし、フィルタリングした画像データをフリッカ低減部３８０に出力して、ステップ７ｋに移行する。
【０１０５】
具体的には、ステップ７ｇによってパラメータ生成処理Ｐ１を実行した場合には、空間ノイズ除去部３７０には、パラメータＰ１−Ａが設定されるので、フィルタ情報記憶部３２０から取得したフィルタを用いて、上記画像データをフィルタリングする。一方、ステップ７ｈによってパラメータ生成処理Ｐ２を実行した場合、あるいはステップ７ｉによってパラメータ生成処理Ｐ２あるいはＰ３を実行した場合には、空間ノイズ除去部３７０には、パラメータＰ２−ＡあるいはＰ３−Ａが設定されるので、フィルタ情報記憶部３２０から取得したフィルタを再構成した後、この再構成したフィルタを用いて、上記画像データをフィルタリングする。
【０１０６】
なお、再構成したフィルタは、再構成しないフィルタに比べて、処理の負荷が大きくなっており、空間ノイズの除去能力が高い。すなわち、平坦領域と、境界領域や非平坦領域を比べた場合に、境界領域や非平坦領域の方が空間ノイズを知覚されやすいので、平坦領域に比べて、負荷の大きい強力なフィルタリングを行う。
【０１０７】
ステップ７ｋでは、フリッカ低減部３８０が、空間ノイズ除去部３７０にてフィルタリングされた画像データに対して、フリッカ低減処理を施し、後段に出力して、ステップ７ｌに移行する。
【０１０８】
なお、ステップ７ｇによってパラメータ生成処理Ｐ１を実行した場合、あるいはステップ７ｈによってパラメータ生成処理Ｐ２を実行した場合には、フリッカ低減部３８０には、パラメータＰ１−ＢあるいはＰ２−Ｂが設定されるので、空間ノイズ除去部３７０にてフィルタリングされた画像データに対して、フリッカ低減処理Ａを施す。一方、ステップ６ｄによってパラメータ生成処理Ｐ３を実行した場合には、フリッカ低減部３８０には、パラメータＰ３−Ｂが設定されるので、空間ノイズ除去部３７０にてフィルタリングされた画像データに対して、フリッカ低減処理Ｂを施す。
【０１０９】
なお、第２の実施形態で説明したように、フリッカ低減処理Ａは、平坦領域や境界領域に適した処理であって、フリッカ低減処理Ｂは、非平坦領域に適した処理である。一般に、非平坦領域に比べて平坦領域や境界領域は、フリッカが知覚されやすいので、フリッカ低減処理Ｂよりも処理負荷が大きく、また低減能力が優るフリッカ低減処理Ａを適用する。
【０１１０】
ステップ７ｌでは、処理対象フレームを構成する全てのブロックについて、ステップ７ｆ〜７ｌの処理を行うと、当該処理を終了する。
【０１１１】
以上のように、上記構成の画像処理装置では、特徴量算出部３４０で求めたテクスチャ特徴量に基づいて、フレームを構成する各ブロックが、平坦領域、境界領域あるいは非平坦領域のいずれであるかを判定し、空間ノイズの除去については、平坦領域に比べて空間ノイズが知覚されやすい非平坦領域については、空間ノイズを除去するフィルタを再構成して平坦領域よりも強力なフィルタリングを実施し、またフリッカ低減については、非平坦領域に比べてフリッカが知覚されやすい平坦領域と境界領域についてのみ、処理負荷の大きく処理能力が優れるフリッカ低減処理Ａを適用するように、フリッカ低減部３８０に対して、パラメータ設定を行うようにしている。
【０１１２】
したがって、上記構成の画像処理装置によれば、平坦領域／非平坦領域に応じて効率的な空間ノイズ除去が行え、またすべての領域に対してフリッカ低減処理Ａを実施するわけではなく、非平坦領域については、処理負荷の小さいフリッカ低減処理Ｂを実施する。このためので、処理量を抑制しながらも、空間方向と時間方向のノイズ低減を効率的に実施することができる。すなわち、ブロック毎の特徴に応じて、空間方向と時間方向のノイズを効率的に低減することができる。
【０１１３】
なお、上記第３の実施形態では、ステップ７ｈとステップ７ｉで設定されるフィルタの再構成処理については、同様のものとして説明したが、パラメータ設定により、異ならせるようにしてもよい。例えば、空間ノイズ除去部３７０は、式（２）、（３）で示したような演算によりフィルタの再構成を行うが、パラメータＰ２−ＡおよびＰ３−Ａによる設定により、境界領域の場合（ステップ７ｈ）と、非平坦領域の場合（ステップ７ｉ）とで、閾値Thを可変するようにしてもよい。例えば、境界領域の場合（ステップ７ｈ）には、非平坦領域の場合（ステップ７ｉ）に比べて、閾値Thを小さく設定する。
【０１１４】
また、上記第３の実施形態では、ステップ７ｇとステップ７ｈにおけるフリッカ低減処理については、同様のものとして説明したが、領域の種別に応じて、パラメータ設定により、異ならせるようにしてもよい。すなわち、平坦領域の場合（ステップ７ｇ）には、非平坦領域の場合（ステップ７ｉ）の場合に比べて、強いフリッカ低減処理を実施するようにパラメータＰ１−Ｂを設定し、境界領域の場合（ステップ７ｈ）には、平坦領域の場合（ステップ７ｇ）と非平坦領域の場合（ステップ７ｉ）の間の程度のフリッカ低減処理を行うように、パラメータＰ２−Ｂを設定する。非平坦領域の場合（ステップ５ｌ）の場合には、フリッカ低減処理を行わないように、パラメータＰ３−Ｂを設定してもよい。
【０１１５】
そしてまた、上記第２の実施形態では、境界領域の場合（ステップ５ｊ）には、処理対象ブロックについて、平坦の度合いを検出し（あるいは、特徴量算出部２４０の算出結果を用いて）、平坦の度合いに応じて、閾値Thやフリッカ低減処理の強度を可変するように、ノイズ低減制御部３６０がパラメータを設定してもよい。
【０１１６】
なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。
【０１１７】
例えば、上記実施の形態では、処理対象ブロックの領域の種別を判定するのに、１種類の特徴量（テクスチャ特徴量。例えば処理対象ブロック内の輝度の最大値と最小値の差）に基づいて判定を行いようにしたが、複数種の特徴量（処理対象ブロック内の輝度の分散やブロック内の隣接画素の輝度を用いて算出した相関係数、隣接ブロック間の輝度を用いて算出した相関係数、KR(Kernel Regression)で算出しているエッジ特徴量など）を平坦領域判定部１４０や特徴量算出部２４０，３４０が算出し、複数種の特徴量に基づいて、処理対象ブロックの領域の種別を判定するようにしてもよい。この場合、種別毎に重み付けを行って、その合計値を評価値とし、評価値を予め設定した閾値と比較することで、平坦領域か非平坦領域かを判定する。
その他、この発明の要旨を逸脱しない範囲で種々の変形を施しても同様に実施可能であることはいうまでもない。
【符号の説明】
【０１１８】
１１０…メモリ、１２０…フィルタ情報記憶部、１３０…フィルタ選択部、１４０…平坦領域判定部、１５０…画像情報記憶部、１６０…空間ノイズ除去部、１７０…非平坦境界判定部、１８０…フリッカ低減部、２１０…メモリ、２２０…フィルタ情報記憶部、２３０…フィルタ選択部、２４０…特徴量算出部、２５０…画像情報記憶部、２６０…ノイズ低減制御部、２７０…空間ノイズ除去部、２８０…フリッカ低減部、３１０…メモリ、３２０…フィルタ情報記憶部、３３０…フィルタ選択部、３４０…特徴量算出部、３５０…画像情報記憶部、３６０…ノイズ低減制御部、３７０…空間ノイズ除去部、３８０…フリッカ低減部。
【特許請求の範囲】
【請求項１】
フレームを構成するブロックごとにノイズ除去を行う画像処理装置において、
前記ブロックごとに、画像の複雑さを示す特徴量を求める特徴量検出手段と、
前記特徴量に応じた度合いで、ブロックごとにフリッカを低減する処理を行うフリッカ低減手段とを具備したことを特徴とする画像処理装置。
【請求項２】
前記フリッカ低減手段は、前記特徴量が閾値を超えるブロックを検出し、このブロックに対しては、他のブロックよりも弱いフリッカ低減処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記フリッカ低減手段は、前記特徴量が閾値を超えないブロックと、このブロックに隣接するブロックを検出し、これら検出したブロックに対して、フリッカを低減する処理を行うものであって、前記隣接するブロックに対して、前記特徴量に応じた度合いで、ブロックごとにフリッカを低減する処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
フレームを構成するブロックごとにノイズ除去を行う画像処理装置において、
前記ブロックごとに、画像の複雑さを示す特徴量を求める特徴量検出手段と、
前記特徴量が閾値を超えないブロックと、このブロックに隣接するブロックを検出し、これら検出したブロックに対して、フリッカを低減する処理を行うフリッカ低減手段とを具備したことを特徴とする画像処理装置。
【請求項５】
前記フリッカ低減手段は、前記隣接するブロックに対して、前記特徴量に応じた度合いで、ブロックごとにフリッカを低減する処理を行うことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記特徴量検出手段は、前記ブロックごとに、複数種の複雑さを示す特徴量を求めることを特徴とする請求項１または請求項４に記載の画像処理装置。
【請求項７】
さらに、前記特徴量が閾値を超えないブロックの画像データに対して、第１のフィルタを用いてフィルタリングを行い、一方、前記特徴量が閾値を超えるブロックの画像データに対しては、第２のフィルタを用いてフィルタリングを行うフィルタリング手段を備え、
前記フリッカ低減手段は、前記フィルタリング手段でフィルタリングした画像データに対して、フリッカを低減する処理を行うことを特徴とする請求項１または請求項４に記載の画像処理装置。
【請求項８】
フレームを構成するブロックごとにノイズ除去を行う画像処理方法において、
前記ブロックごとに、画像の複雑さを示す特徴量を求める特徴量検出工程と、
前記特徴量に応じた度合いで、ブロックごとにフリッカを低減する処理を行うフリッカ低減工程とを具備したことを特徴とする画像処理方法。
【請求項９】
フレームを構成するブロックごとにノイズ除去を行う画像処理方法において、
前記ブロックごとに、画像の複雑さを示す特徴量を求める特徴量検出工程と、
前記特徴量が閾値を超えないブロックと、このブロックに隣接するブロックを検出し、これら検出したブロックに対して、フリッカを低減する処理を行うフリッカ低減工程とを具備したことを特徴とする画像処理方法。
【請求項１】
フレームを構成するブロックごとにノイズ除去を行う画像処理装置において、
前記ブロックごとに、画像の複雑さを示す特徴量を求める特徴量検出手段と、
前記特徴量に応じた度合いで、ブロックごとにフリッカを低減する処理を行うフリッカ低減手段とを具備したことを特徴とする画像処理装置。
【請求項２】
前記フリッカ低減手段は、前記特徴量が閾値を超えるブロックを検出し、このブロックに対しては、他のブロックよりも弱いフリッカ低減処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記フリッカ低減手段は、前記特徴量が閾値を超えないブロックと、このブロックに隣接するブロックを検出し、これら検出したブロックに対して、フリッカを低減する処理を行うものであって、前記隣接するブロックに対して、前記特徴量に応じた度合いで、ブロックごとにフリッカを低減する処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
フレームを構成するブロックごとにノイズ除去を行う画像処理装置において、
前記ブロックごとに、画像の複雑さを示す特徴量を求める特徴量検出手段と、
前記特徴量が閾値を超えないブロックと、このブロックに隣接するブロックを検出し、これら検出したブロックに対して、フリッカを低減する処理を行うフリッカ低減手段とを具備したことを特徴とする画像処理装置。
【請求項５】
前記フリッカ低減手段は、前記隣接するブロックに対して、前記特徴量に応じた度合いで、ブロックごとにフリッカを低減する処理を行うことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記特徴量検出手段は、前記ブロックごとに、複数種の複雑さを示す特徴量を求めることを特徴とする請求項１または請求項４に記載の画像処理装置。
【請求項７】
さらに、前記特徴量が閾値を超えないブロックの画像データに対して、第１のフィルタを用いてフィルタリングを行い、一方、前記特徴量が閾値を超えるブロックの画像データに対しては、第２のフィルタを用いてフィルタリングを行うフィルタリング手段を備え、
前記フリッカ低減手段は、前記フィルタリング手段でフィルタリングした画像データに対して、フリッカを低減する処理を行うことを特徴とする請求項１または請求項４に記載の画像処理装置。
【請求項８】
フレームを構成するブロックごとにノイズ除去を行う画像処理方法において、
前記ブロックごとに、画像の複雑さを示す特徴量を求める特徴量検出工程と、
前記特徴量に応じた度合いで、ブロックごとにフリッカを低減する処理を行うフリッカ低減工程とを具備したことを特徴とする画像処理方法。
【請求項９】
フレームを構成するブロックごとにノイズ除去を行う画像処理方法において、
前記ブロックごとに、画像の複雑さを示す特徴量を求める特徴量検出工程と、
前記特徴量が閾値を超えないブロックと、このブロックに隣接するブロックを検出し、これら検出したブロックに対して、フリッカを低減する処理を行うフリッカ低減工程とを具備したことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−３９４８２（Ｐ２０１２−３９４８２Ａ）
【公開日】平成２４年２月２３日（２０１２．２．２３）
【国際特許分類】
【出願番号】特願２０１０−１７９０１９（Ｐ２０１０−１７９０１９）
【出願日】平成２２年８月９日（２０１０．８．９）
【出願人】（３１００２２３７２）富士通東芝モバイルコミュニケーションズ株式会社 (219)
【Ｆターム（参考）】
【公開日】平成２４年２月２３日（２０１２．２．２３）
【国際特許分類】
【出願日】平成２２年８月９日（２０１０．８．９）
【出願人】（３１００２２３７２）富士通東芝モバイルコミュニケーションズ株式会社 (219)
【Ｆターム（参考）】
[ Back to top ]