データ処理装置およびデータ処理方法、並びにプログラム
【課題】画像データからモスキートノイズを効果的に除去する。
【解決手段】分散計算部１１は、画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散Ｖを計算し、ローパスフィルタ１２は、分散Ｖを平滑化して平滑化値LPF（Ｖ）を出力する。画素単位領域判定部１３は、平滑化値LPF（Ｖ）に基づいて、注目画素が属する領域が、エッジ領域、テクスチャ領域、またはフラット領域のうちのいずれであるかを判定して画素単位領域情報を出力する。ブロック単位領域判定部１４は、各画素の領域情報に基づいて、ブロック単位領域情報を出力する。また、閾値決定部１５は、領域情報と平滑化値LPF（Ｖ）とに基づいて、ノイズ除去処理の閾値εを決定する。そして、非線形平滑フィルタ１６は、閾値εに基づき、画像データにノイズ除去処理を施す。本発明は、例えば、画像からモスキートノイズを除去するノイズ除去装置に適用できる。
【解決手段】分散計算部１１は、画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散Ｖを計算し、ローパスフィルタ１２は、分散Ｖを平滑化して平滑化値LPF（Ｖ）を出力する。画素単位領域判定部１３は、平滑化値LPF（Ｖ）に基づいて、注目画素が属する領域が、エッジ領域、テクスチャ領域、またはフラット領域のうちのいずれであるかを判定して画素単位領域情報を出力する。ブロック単位領域判定部１４は、各画素の領域情報に基づいて、ブロック単位領域情報を出力する。また、閾値決定部１５は、領域情報と平滑化値LPF（Ｖ）とに基づいて、ノイズ除去処理の閾値εを決定する。そして、非線形平滑フィルタ１６は、閾値εに基づき、画像データにノイズ除去処理を施す。本発明は、例えば、画像からモスキートノイズを除去するノイズ除去装置に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ処理装置およびデータ処理方法、並びにプログラムに関し、特に、例えば、画像データからモスキートノイズを効果的に除去することができるデータ処理装置およびデータ処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
例えば、画像データを圧縮するMPEG（Moving Picture Experts Group）などの圧縮方式で、画像データを圧縮するエンコーダは、画像データをブロック化し、各ブロックをDCT（Discrete Cosine Transform）処理する。このため、デコーダが、MPEG方式でエンコードされた画像データをデコードすると、デコードされた画像データにおいては、原理的に、画像データ（画像）のエッジの周辺部分にモスキートノイズが発生する。
【０００３】
モスキートノイズを除去する従来のノイズ除去装置は、一般に、画像データの画素値の変化を検出し、画素値の変化が大きければエッジであると判定する。そして、ノイズ除去装置は、エッジの周辺部分以外の部分に対するフィルタリングよりも平滑化の度合いが高くなるように、画像データのエッジの周辺部分をフィルタリングする。これにより、画像データのエッジの周辺部分に発生するモスキートノイズが、画像データから除去される。
【０００４】
なお、画素値の変化が急峻なエッジを保存したまま、エッジ以外の部分の画像データを増幅させる非線形平滑フィルタを使用して、画像データのコントラストを向上させる装置が開示されている（例えば、特許文献１参照）。
【０００５】
また、ノイズの視覚的に目立つ領域に選択的に処理をかけるものも提案されているが、モスキートノイズの出現範囲はブロック単位であるので処理領域を適切に選択しづらく、消しすぎや消し残りの問題が存在した。そこで、ブロック単位でノイズの有無を判定しているものもある（例えば、特許文献２参照）。
【特許文献１】特開２００１−２９８６２１号公報
【特許文献２】特開２００５−１５１３８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来のノイズ除去装置では、画像データに、エッジと有意なテクスチャ（例えば、模様があるなどして、画像データの画素値の変化がある程度存在する部分）とがある場合に、エッジと有意なテクスチャとを適切に判別することが困難であった。即ち、従来のノイズ除去装置では、ある程度大きな画素値の変化が検出されたときに、その画素値の変化がエッジによるものなのか、有意なテクスチャによるものなのかを適切に判別することが困難であった。例えば、従来のノイズ除去装置は、有意なテクスチャによる画素値の変化を検出したときであっても、エッジであると判定することがあった。
【０００７】
このように、エッジと有意なテクスチャとの判別が適切に行われない場合、ノイズ除去装置は、エッジの周辺部分と有意なテクスチャ（の周辺部分）とを、同様の平滑化の度合いでフィルタリングする。その場合、例えば、有意なテクスチャの画質が劣化することや、エッジの周辺部分のモスキートノイズが十分に除去されないことがある。
【０００８】
また、ブロック単位でノイズの有無を判定してノイズ除去を行う場合、ノイズの判定がブロックという領域に固定されているため、ノイズが発生しているかどうかは精度良く判定できるものの、そのノイズが視覚的に不快であるかどうかを精度良く判定できないので、適切なモスキートノイズの除去ができない恐れがあった。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、画像データからモスキートノイズを効果的に除去することができるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の一側面のデータ処理装置は、画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報を計算する分散情報計算手段と、分散情報を平滑化し、平滑化値を出力する平滑化手段と、前記平滑化値に基づいて、前記画素が属する領域を画素単位で判定し、その領域を表す画素単位領域情報を出力する画素単位判定手段と、画素単位判定手段による画素単位領域情報に基づいて、ブロック単位で前記画素が属する領域を判定し、その領域を表すブロック単位領域情報を出力するブロック単位判定手段と、前記ブロック単位領域情報と前記平滑化値とに基づいて、前記画像データを構成する画素ごとに、ノイズ除去処理のパラメータを決定するパラメータ決定手段と、画素ごとに決定されたパラメータに基づき、画像データにノイズ除去処理を施すノイズ除去手段とを備えることを特徴とする。
【００１１】
前記画素単位判定手段には、前記画像データを構成する画素のうちの、注目している注目画素を含む、前記注目画素の周辺に位置する画素の前記平滑化値の変化量を計算する変化量計算手段と、前記変化量のヒストグラムを計算するヒストグラム計算手段と、前記ヒストグラムに基づいて、前記注目画素が属する領域を画素単位で判定する画素単位領域判定手段とを設けるようにさせることができる。
【００１２】
前記画素単位判定手段には、前記画素が属する領域が、エッジ領域、テクスチャ領域、またはフラット領域のうちのいずれであるかを前記画素単位で判定させるようにすることができる。
【００１３】
前記ブロック単位判定手段には、前記画素単位判定手段による前記画像データを構成するブロック単位の画素のうちの、領域毎の割合を計算する割合計算手段と、前記領域毎の割合と所定の閾値とを比較する比較手段と、比較手段の比較結果に基づいて、前記ブロック単位で画素が属する領域を判定するブロック単位領域判定手段とを設けるようにさせることができる。
【００１４】
前記ブロック単位判定手段には、前記ブロック単位で各画素が属する領域が、エッジ領域、テクスチャ領域、またはフラット領域のうちのいずれであるかを前記ブロック単位で判定させるようにすることができる。
【００１５】
本発明の一側面のデータ処理方法は、画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報を計算する分散情報計算ステップと、分散情報を平滑化し、平滑化値を出力する平滑化ステップと、前記平滑化値に基づいて、前記画素が属する領域を画素単位で判定し、その領域を表す画素単位領域情報を出力する画素単位判定ステップと、画素単位判定ステップの処理による画素単位領域情報に基づいて、ブロック単位で前記画素が属する領域を判定し、その領域を表すブロック単位領域情報を出力するブロック単位判定ステップと、前記ブロック単位領域情報と前記平滑化値とに基づいて、前記画像データを構成する画素ごとに、ノイズ除去処理のパラメータを決定するパラメータ決定ステップと、画素ごとに決定されたパラメータに基づき、画像データにノイズ除去処理を施すノイズ除去ステップとを含むことを特徴とする。
【００１６】
本発明の一側面のプログラムは、画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報を計算する分散情報計算ステップと、分散情報を平滑化し、平滑化値を出力する平滑化ステップと、前記平滑化値に基づいて、前記画素が属する領域を画素単位で判定し、その領域を表す画素単位領域情報を出力する画素単位判定ステップと、画素単位判定ステップの処理による画素単位領域情報に基づいて、ブロック単位で前記画素が属する領域を判定し、その領域を表すブロック単位領域情報を出力するブロック単位判定ステップと、前記ブロック単位領域情報と前記平滑化値とに基づいて、前記画像データを構成する画素ごとに、ノイズ除去処理のパラメータを決定するパラメータ決定ステップと、画素ごとに決定されたパラメータに基づき、画像データにノイズ除去処理を施すノイズ除去ステップとを含むことを特徴とする。
【００１７】
本発明のデータ処理装置およびデータ処理方法、並びにプログラムにおいては、画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報が計算され、分散情報が平滑化された平滑化値が出力され、平滑化値に基づいて、前記画素が属する領域が画素単位で判定され、その領域を表す画素単位領域情報が出力され、画素単位領域情報に基づいて、ブロック単位で前記画素が属する領域が判定され、その領域を表すブロック単位領域情報が出力され、前記ブロック単位領域情報と前記平滑化値とに基づいて、前記画像データを構成する画素ごとに、ノイズ除去処理のパラメータが決定され、画素ごとに決定されたパラメータに基づき、画像データにノイズ除去処理が施される。
【発明の効果】
【００１８】
本発明によれば、画像データからモスキートノイズを効果的に除去することができる。
【発明を実施するための最良の形態】
【００１９】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２０】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００２１】
本発明の一側面のデータ処理装置は、画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報を計算する分散情報計算手段（例えば、図１の分散計算部１１）と、分散情報を平滑化し、平滑化値を出力する平滑化手段（例えば、図１のローパスフィルタ１２）と、前記平滑化値に基づいて、前記画素が属する領域を画素単位で判定し、その領域を表す画素単位領域情報を出力する画素単位判定手段（例えば、図１の画素単位領域判定部１３）と、画素単位判定手段による画素単位領域情報に基づいて、ブロック単位で前記画素が属する領域を判定し、その領域を表すブロック単位領域情報を出力するブロック単位判定手段（例えば、図１のブロック単位領域判定部１４）と、前記ブロック単位領域情報と前記平滑化値とに基づいて、前記画像データを構成する画素ごとに、ノイズ除去処理のパラメータを決定するパラメータ決定手段（例えば、図１の閾値決定部１５）と、画素ごとに決定されたパラメータに基づき、画像データにノイズ除去処理を施すノイズ除去手段（例えば、図１の非線形平滑フィルタ１６）とを備えることを特徴とする。
【００２２】
画素単位判定手段には、画像データを構成する画素のうちの、注目している注目画素を含む、注目画素の周辺に位置する画素の平滑化値の変化量を計算する変化量計算手段（例えば、図４の水平差分計算部２２、および、垂直差分計算部２３）と、変化量のヒストグラムを計算するヒストグラム計算手段（例えば、図４の水平ヒストグラム計算部２４、および、垂直ヒストグラム計算部２５）と、ヒストグラムに基づいて、注目画素が属する領域を画素単位で判定する画素単位領域判定手段（例えば、図４の水平方向領域判定部２６、および、垂直方向領域判定部２７）とを設けるようにさせることができる。
【００２３】
前記ブロック単位判定手段には、前記画素単位判定手段による前記画像データを構成するブロック単位の画素のうちの、領域毎の割合を計算する割合計算手段（例えば、図８の水平方向エッジ割合計算部３５、水平方向テクスチャ割合計算部３７、垂直方向エッジ割合計算部３６、および、垂直方向テクスチャ割合計算部３８）と、前記領域毎の割合と所定の閾値とを比較する比較手段（例えば、図８の水平方向エッジ割合比較部３９、水平方向テクスチャ割合比較部４１、垂直方向エッジ割合比較部４０、および、垂直方向テクスチャ割合比較部４２）と、比較手段の比較結果に基づいて、前記ブロック単位で画素が属する領域を判定する領域判定手段（例えば、図の水平方向ブロック単位領域決定部４３、および、垂直方向ブロック単位領域決定部４４）とを設けるようにさせることができる。
【００２４】
本発明の一側面のデータ処理方法は、画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報を計算する分散情報計算ステップ（例えば、図１３のステップＳ１１）と、分散情報を平滑化し、平滑化値を出力する平滑化ステップ（例えば、図１３のステップＳ１２）と、前記平滑化値に基づいて、前記画素が属する領域を画素単位で判定し、その領域を表す画素単位領域情報を出力する画素単位判定ステップと（例えば、図１３のステップＳ１３）、画素単位判定ステップの処理による画素単位領域情報に基づいて、ブロック単位で前記画素が属する領域を判定し、その領域を表すブロック単位領域情報を出力するブロック単位判定ステップ（例えば、図１３のステップＳ１５）と、前記ブロック単位領域情報と前記平滑化値とに基づいて、前記画像データを構成する画素ごとに、ノイズ除去処理のパラメータを決定するパラメータ決定ステップ（例えば、図１３のステップＳ１６）と、画素ごとに決定されたパラメータに基づき、画像データにノイズ除去処理を施すノイズ除去ステップ（例えば、図１３のステップＳ１７）とを含むことを特徴とする。
【００２５】
なお、本発明の一側面のプログラムの請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係は、上述した本発明のデータ処理方法のものと同様であるので、その記載は省略する。
【００２６】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００２７】
図１は、本発明を適用したノイズ除去装置の一実施の形態の構成例を示すブロック図である。
【００２８】
図１において、ノイズ除去装置１０には、分散計算部１１、ローパスフィルタ１２、画素単位領域判定部１３、ブロック単位領域判定部１４、閾値決定部１５、非線形平滑フィルタ１６、およびブロック境界検出部１７が設けられている。
【００２９】
分散計算部１１、非線形平滑フィルタ１６、およびブロック境界検出部１７は、入力データとしての画像データをノイズ除去装置１０に入力するための端子（図示せず）に接続されており、分散計算部１１はまた、ローパスフィルタ１２に接続されている。また、ローパスフィルタ１２は、画素単位領域判定部１３および閾値決定部１５に接続されている。画素単位領域判定部１３は、ブロック単位領域判定部１４に接続されている。ブロック単位領域判定部１４は、閾値決定部１５およびブロック境界検出部１７に接続されている。閾値決定部１５は、非線形平滑フィルタ１６に接続されている。そして、非線形平滑フィルタ１６は、出力データとしての画像データをノイズ除去装置１０から出力するための端子（図示せず）に接続されている。
【００３０】
分散計算部１１には、入力データとしての画像データが、例えば、１フレーム（フィールド）単位で入力される。画像データは、例えば、MPEG方式でエンコードされた画像データがデコードされたものである。分散計算部１１は、１フレームの画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報としての、例えば、分散Ｖを計算し、ローパスフィルタ１２に供給する。
【００３１】
ローパスフィルタ１２は、分散計算部１１からの分散Ｖを平滑化する。ローパスフィルタ１２は、分散Ｖを平滑化することにより得られる平滑化値LPF（Ｖ）を、画素単位領域判定部１３および閾値決定部１５に供給する。
【００３２】
画素単位領域判定部１３は、ローパスフィルタ１２からの平滑化値LPF（Ｖ）に基づいて、画像データを構成する各画素について、画素が属する領域が、画素値が急峻に変化するエッジを構成する領域か、若しくはエッジの周辺の領域であるエッジ領域、物体表面の模様などの画素値の変化がある程度存在する領域であるテクスチャ領域、画素値の変化がほとんどない領域であるフラット領域、または、その他の領域のうちのいずれであるかを判定する画素単位領域判定処理を行う。
【００３３】
画素単位領域判定部１３は、画素単位領域判定処理を行った結果得られる画素単位の領域情報をブロック単位領域判定部１４に供給する。なお、領域情報は、画像データを構成する画素のうちの、注目している注目画素が属する領域が、エッジ領域、テクスチャ領域、フラット領域、または、その他の領域のいずれであるかを表す情報である。
【００３４】
ブロック単位領域判定部１４は、ブロック境界検出部１７より供給されてくるブロック境界情報と、画素単位領域判定部１３より供給されてくる各画素単位の領域情報とに基づいて、DCT処理で使用されるブロック単位で、各領域に属する割合を求めて、それらの割合と所定の閾値との比較により、ブロック単位の各画素の属する領域を判定するブロック単位領域判定処理を行う。
【００３５】
ブロック単位領域判定部１４は、ブロック単位領域判定処理を行った結果得られるブロック単位の各画素の領域情報を閾値決定部１５に供給する。
【００３６】
閾値決定部１５は、ローパスフィルタ１２からの平滑化値LPF（Ｖ）と、ブロック単位領域判定部１４からのブロック単位の各画素の領域情報とに基づいて、非線形平滑フィルタ１６が行うノイズ除去処理のパラメータである閾値εを決定し、非線形平滑フィルタ１６に供給する。閾値εは、エッジ領域、テクスチャ領域、フラット領域、または、その他の領域のそれぞれに対応するように決定される。
【００３７】
非線形平滑フィルタ１６は、閾値決定部１５からの閾値εに基づき、入力データとしての画像データにノイズ除去処理を施す。即ち、非線形平滑フィルタ１６は、閾値決定部１５からの閾値εの値に基づく度合いで平滑化がされるように、画像データをフィルタリングする。例えば、非線形平滑フィルタ１６は、閾値εが大きな値であれば、高い平滑化の度合いで画像データをフィルタリングし、また、閾値εが小さな値であれば、低い平滑化の度合いで画像データをフィルタリングする。
【００３８】
上述のように、閾値εは、エッジ領域、テクスチャ領域、フラット領域、または、その他の領域のそれぞれに対応するように決定される。従って、非線形平滑フィルタ１６は、エッジ領域、テクスチャ領域、フラット領域、または、その他の領域のそれぞれに対応するような平滑化の度合いで画像データをフィルタリングする。
【００３９】
非線形平滑フィルタ１６は、上述のようなフィルタリングをノイズ除去処理として行うことにより、入力データとしての画像データからモスキートノイズを除去し、出力データとしての画像データを出力する。
【００４０】
ブロック境界検出部１７は、入力データとしての画像データよりブロック単位の境界を検出し、検出結果をブロック単位領域判定部１４に供給する。ブロック境界検出部１７の詳細な構成は、例えば、特開２００２−２３２８９０号公報で公開されている構成であっても良いものである。
【００４１】
次に、図２を参照して、図１の分散計算部１１による分散Ｖの計算について説明する。
【００４２】
分散計算部１１は、画像データを構成する画素を、例えば、ラスタスキャン順に、順次、注目画素として選択（注目）し、注目画素について、画素値の散らばりの度合いを表す分散情報としての、例えば、分散を求める。
【００４３】
即ち、分散計算部１１は、例えば、図２に示すように、注目画素を中心とする縦×横が３×３画素の画素値の分散を、式（１）にしたがい、注目画素についての分散として求める。
【００４４】
【数１】
・・・（１）
【００４５】
ここで、式（１）において、Ｖは、注目画素についての分散を表す。また、Ｎは、注目画素についての分散Ｖを求めるのに用いる画素（画素値）の数を表し、図２の実施の形態では、９画素である。さらに、ｐiは、注目画素についての分散Ｖを求めるのに用いるＮ画素のうちのｉ番目の画素の画素値を表し、aveは、Ｎ画素の画素値の平均値(ｐ1＋ｐ2＋…＋ｐN)/Ｎを表す。
【００４６】
分散計算部１１は、ラスタスキャン順に、注目画素を順次変えて、分散Ｖを順次計算し、画像データを構成する全画素について分散Ｖを求める。
【００４７】
なお、分散情報としては、式（１）で求められる分散Ｖの他、例えば、式（２）で求められる値、その他、画素値の散らばりの度合いを表す値を採用することができる。
【００４８】
【数２】
・・・（２）
【００４９】
次に、図３は、図１の分散計算部１１に入力される画像データ（非線形平滑フィルタ１６でのフィルタリングの対象となる画像データ）、分散計算部１１により得られる分散Ｖ、および、ローパスフ
【００５０】
ィルタ１２により得られる平滑化値LPF（Ｖ）の波形を模式的に示す図である。
図３において、波形Ｔ1は、分散計算部１１に入力される入力データとしての画像データにおける、ある水平（垂直）ラインの画素値の波形である。波形Ｔ1には、画素値の変化が急峻なエッジの範囲ａ、画素値の変化がある程度存在するテクスチャの範囲ｂ、および画素値の変化がほとんどないフラットの範囲ｃが存在する。
【００５１】
波形Ｔ2は、波形Ｔ1（画像データ）を対象として分散計算部１１で求められる分散Ｖの波形である。分散Ｖは、波形Ｔ1の散らばりの度合い（変化の度合い）が大きければ大の値を示し、波形Ｔ1の散らばりの度合いが小さければ小の値を示す。従って、波形Ｔ2は、図３に示すように、範囲ａおよびその近傍において、波形Ｔ1のエッジによる画素値の変化の影響を受けて大きく変化する凸形状となり、範囲ｂおよびその近傍において、波形Ｔ1のテクスチャによる画素値の変化の影響を受けてある程度の大きさで変化する波形状となる。
【００５２】
波形Ｔ3は、ローパスフィルタ１２が波形Ｔ2（分散Ｖ）を平滑化することで得られる平滑化値LPF（Ｖ）の波形である。波形Ｔ2は、図３に示すように、波形Ｔ2を鈍らせた形状となる。即ち、波形Ｔ3は、範囲ａよりある程度広い範囲ｄにおいて、ある程度の大きさの傾斜を有する凸形状となり、範囲ｂより若干広い範囲ｅにおいて、範囲ｄにおける傾斜よりも小さな傾斜を有する凸形状となり、範囲ｄおよび範囲ｅ以外の範囲ｆにおいて、傾斜のない平坦な形状となる。
【００５３】
次に、図４のブロック図を参照して、図１の画素単位領域判定部１３の構成例について説明する。
【００５４】
図４において、画素単位領域判定部１３には、メモリ２１、水平差分計算部２２、垂直差分計算部２３、水平ヒストグラム計算部２４、垂直ヒストグラム計算部２５、水平方向領域判定部２６、および垂直方向領域判定部２７が設けられている。
【００５５】
メモリ２１には、図１のローパスフィルタ１２から平滑化値LPF（Ｖ）が供給される。メモリ２１は、ローパスフィルタ１２からの平滑化値LPF（Ｖ）のうちの、注目画素を含む、注目画素の周辺に位置する画素の平滑化値LPF（Ｖ）を記憶する。
【００５６】
即ち、画素単位領域判定部１３には、ローパスフィルタ１２から平滑化値LPF（Ｖ）が供給され、画素単位領域判定部１３では、画像データを構成する画素が、例えば、ラスタスキャン順に、注目画素として選択される。メモリ２１は、ローパスフィルタ１２から供給される平滑化値LPF（Ｖ）のうちの、注目画素を含む、注目画素の周辺に位置する画素の平滑化値LPF（Ｖ）を記憶する。
【００５７】
水平差分計算部２２は、注目画素について、メモリ２１に記憶された平滑化値LPF（Ｖ）の水平方向の変化量を計算し、水平ヒストグラム計算部２４に供給する。
【００５８】
垂直差分計算部２３は、注目画素について、メモリ２１に記憶された平滑化値LPF（Ｖ）の垂直方向の変化量を計算し、垂直ヒストグラム計算部２５に供給する。
【００５９】
水平ヒストグラム計算部２４は、水平差分計算部２２から供給される注目画素についての水平方向の変化量のヒストグラムを計算（作成）する。即ち、水平ヒストグラム計算部２４は、水平差分計算部２２から供給される注目画素についての水平方向の変化量を対象として、値が第１の範囲、第２の範囲、第３の範囲の変化量それぞれの度数hist(1)，hist(2)，hist(3)からなるヒストグラムを求める。水平ヒストグラム計算部２４は、注目画素ごとについて求めた度数hist(1)，hist(2)，hist(3)からなるヒストグラムを水平方向領域判定部２６に供給する。
【００６０】
垂直ヒストグラム計算部２５は、垂直差分計算部２３から供給される注目画素についての垂直方向の変化量を対象として、水平ヒストグラム計算部２４と同様に、度数hist(1)，hist(2)，hist(3)からなるヒストグラムを求め、垂直方向領域判定部２７に供給する。
【００６１】
水平方向領域判定部２６には、注目画素が属する領域を判定するための閾値th1，th2，th3が、あらかじめ与えられている。水平方向領域判定部２６は、水平ヒストグラム計算部２４からの注目画素についてのヒストグラムの度数hist(1)，hist(2)，hist(3)と、閾値th1，th2，th3とに基づいて、注目画素が属する領域を判定する。即ち、水平方向領域判定部２６は、注目画素が属する領域が、エッジ領域、テクスチャ領域、またはフラット領域、または、その他の領域のうちのいずれであるかを判定し、その判定結果、つまり、注目画素が属する領域を表す領域情報を出力する。
【００６２】
垂直方向領域判定部２７は、水平方向領域判定部２６と同様に、垂直ヒストグラム計算部２５からの注目画素についてのヒストグラムの度数hist(1)，hist(2)，hist(3)に基づき、注目画素が属する領域を判定し、その判定結果として、領域情報を出力する。
【００６３】
次に、図５で示される図４のメモリ２１の記憶内容を参照し、図４の水平差分計算部２２と垂直差分計算部２３による変化量の計算について説明する。
【００６４】
図５は、メモリ２１が記憶する画素の平滑化値C[i](j)を示している。メモリ２１は、画像データを構成する画素のうちの、例えば、注目画素（の平滑化値）C[3](0)を中心として、横×縦が７×５画素の、合計で３５個の画素（の平滑化値）C[i](j)を記憶する。つまり、メモリ２１は、注目画素C[3](0)を中心として、垂直方向に５行（i=1〜5）の範囲、および水平方向に７列（j＝-3〜3）の範囲に位置する画素の平滑化値C[i](j)、即ち、平滑化値C[1](-3)乃至平滑化値C[5](3)を記憶する。
【００６５】
ここで、上述したように、注目画素について、メモリ２１に平滑化値が記憶される、注目画素を中心とする７×５画素の領域を、注目領域という。
【００６６】
水平差分計算部２２は、例えば、式（３）の差分値（差分絶対値）diff[i](j)を、注目領域の画素の水平方向の変化量として計算する。
【００６７】
diff[i](j)＝｜C[i](j)−C[i](0)｜ , （i=1〜5 , j＝-3〜3）
・・・（３）
【００６８】
式（３）を計算することで、水平差分計算部２２は、３０個の水平方向の差分値diff[i](j)を出力する。具体的には、水平差分計算部２２は、１行目（i=1）について、平滑化値C[1](0)と、平滑化値C[1](-3)、平滑化値C[1](-2)、平滑化値C[1](-1)、平滑化値C[1](1)、平滑化値C[1](2)、平滑化値C[1](3)それぞれとの差分値を計算し、６個の水平方向の差分値diff[1](-3)、差分値diff[1](-2)、差分値diff[1](-1)、差分値diff[1](1)、差分値diff[1](2)、差分値diff[1](3)を出力する。
【００６９】
水平差分計算部２２は、２行目（i=2）についても同様に、平滑化値C[2](0)と、平滑化値C[2](-3)、平滑化値C[2](-2)、平滑化値C[2](-1)、平滑化値C[2](1)、ｄ平滑化値C[2](2)、平滑化値C[2](3)それぞれとの差分値を計算し、６個の水平方向の差分値diff[2](-3)、差分値diff[2](-2)、差分値diff[2](-1)、差分値diff[2](1)、差分値diff[2](2)、差分値diff[2](3)を出力し、以下、同様に、３行目乃至５行目（i=3〜5）について、各６個の水平方向の差分値を出力する。従って、水平差分計算部２２は、１行乃至５行についての３０個の水平方向の差分値diff[i](j)を出力する。
【００７０】
また、垂直差分計算部２３は、例えば、式（４）の差分値（差分絶対値）diff[i](j)を、注目領域の画素の垂直方向の変化量として計算する。
【００７１】
diff[i](j)＝｜C[i](j)−C[3](j)｜ , （i=1〜5 , j＝-3〜3）
・・・（４）
【００７２】
式（４）を計算することで、垂直差分計算部２３は、２８個の垂直方向の差分値diff[i](j)を出力する。水平差分計算部２２について説明した場合と同様に、垂直差分計算部２３は、各列ごとに４個の垂直方向の差分値diff[i](j)を出力し、１列乃至７列についての２８個の垂直方向の差分値diff[i](j)を出力する。
【００７３】
なお、図５には、メモリ２１に記憶される注目領域が５×７画素である例が示されているが、メモリ２１に記憶される注目領域は、５×７画素に限られるものではない。注目領域のサイズ、特に縦のサイズは、例えば、非線形平滑フィルタ１６でのフィルタリングの対象とする画像データが圧縮されるときに行われたDCT処理のブロックサイズに基づいて決定することができる。
【００７４】
次に、図６を参照し、図４の水平ヒストグラム計算部２４と垂直ヒストグラム計算部２５で求められる変化量のヒストグラムについて説明する。
【００７５】
図６は、横軸に変化量をとり、縦軸に度数をとったヒストグラムを示している。図６のヒストグラムにおいて、横軸の左から右方向に向かって、変化量の値は増加する。また、横軸は、変化量の値が大きい範囲から順に、第１の範囲、第２の範囲、第３の範囲に３分割されている。
【００７６】
図５で説明したように、水平ヒストグラム計算部２４には、水平差分計算部２２から３０個の水平方向の変化量（としての差分値）が供給され、水平ヒストグラム計算部２４は、水平方向の変化量のヒストグラムを計算する。即ち、水平ヒストグラム計算部２４は、水平差分計算部２２からの３０個の水平方向の変化量に基づき、第１の範囲の変化量の度数hist(1)、第２の範囲の変化量の度数hist(2)、第３の範囲の変化量の度数hist(3)をそれぞれ求め、その３つの度数hist(1)，hist(2)，hist(3)からなる３分割の水平方向のヒストグラムを得る。
【００７７】
なお、図６において、横軸の第１乃至第３の範囲は同一の大きさになっているが、異なる大きさであってもよい。また、第１乃至第３の範囲は、例えば、多くの画像データを用いてシミュレーションを行うことによって決定することができる。さらに、第１乃至第３の範囲は、例えば、ユーザの操作などに応じて変更することができる。
【００７８】
また、垂直ヒストグラム計算部２５は、水平ヒストグラム計算部２４と同様に、垂直差分計算部２３から供給される２８個の垂直方向の変化量に基づき、第１の範囲の変化量の度数hist(1)、第２の範囲の変化量の度数hist(2)、第３の範囲の変化量の度数hist(3)をそれぞれ求め、その３つの度数hist(1)，hist(2)，hist(3)からなる３分割の垂直方向のヒストグラムを得る。
【００７９】
次に、図７を参照して、図４の水平方向領域判定部２６と垂直方向領域判定部２７が行う、注目画素が属する領域を判定する領域判定処理について説明する。
【００８０】
上述したように、水平方向領域判定部２６には、領域を判定するための閾値th1，th2，th3が、あらかじめ与えられており、注目画素についての水平方向のヒストグラムの度数hist(1)，hist(2)、およびhist(3)が、水平ヒストグラム計算部２４から供給される。
【００８１】
水平方向領域判定部２６は、度数hist(1)と閾値th1とを比較し、さらに、必要に応じて度数hist(2)と閾値th2との比較や、度数hist(3)と閾値th3との比較を行い、これらの比較結果に基づいて、注目画素が属する領域が、エッジ領域、テクスチャ領域、フラット領域、または、その他の領域のうちのいずれであるかを判定する。
【００８２】
即ち、例えば、図７に示すように、「hist(1)＞th1」が真（１）であれば、水平方向領域判定部２６は、注目画素が属する領域がエッジ領域であると判定する。また、「hist(1)＞th1」が偽（０）で、かつ、「hist(2)＞th2」が真（１）であれば、水平方向領域判定部２６は、注目画素が属する領域がテクスチャ領域であると判定する。
【００８３】
また、「hist(1)＞th1」および「hist(2)＞th2」が偽（０）で、かつ、「hist(3)＞th3」が真（１）であれば、水平方向領域判定部２６は、注目画素が属する領域がフラット領域であると判定する。また、「hist(1)＞th1」、「hist(2)＞th2」、および「hist(3)＞th3」がいずれも偽（else）であれば、水平方向領域判定部２６は、注目画素が属する領域が、エッジ領域、テクスチャ領域、およびフラット領域のいずれでもない（あるいは、いずれであるかが不明な）、その他の領域であると判定する。
【００８４】
なお、「hist(1)＞th1」が真（１）であれば、「hist(2)＞th2」および「hist(3)＞th3」が真であるか偽であるかにかかわらず、注目画素が属する領域はエッジ領域であると判定されるので、図７の表のエッジ領域の行であって「hist(2)＞th2」および「hist(3)＞th3」の列である升目には、「×」（don't care）が記載されている。同様に、「hist(1)＞th1」が偽（０）で、かつ、「hist(2)＞th2」が真（１）であれば、「hist(3)＞th3」が真であるか偽であるかにかかわらず、注目画素が属する領域はテクスチャ領域であると判定されるので、図７の表のテクスチャ領域の行であって「hist(3)＞th3」の列である升目には、「×」が記載されている。
【００８５】
また、垂直方向領域判定部２７には、水平方向領域判定部２６と同様に、領域を判定するための閾値th1，th2，th3が、あらかじめ与えられており、垂直方向領域判定部２７は、垂直ヒストグラム計算部２５からの注目画素についての垂直方向のヒストグラムの度数hist(1)，hist(2)，hist(3)に基づいて、注目画素が属する領域が、エッジ領域、テクスチャ領域、フラット領域、または、その他の領域のうちのいずれであるかを判定する。
【００８６】
以上のように、水平方向領域判定部２６では、画像データを、いわば水平方向に沿って見た場合の、注目画素が属する領域が判定され、垂直方向領域判定部２７では、画像データを、垂直方向に沿って見た場合の、注目画素が属する領域が判定される。
【００８７】
なお、水平方向領域判定部２６と垂直方向領域判定部２７とで、領域を判定するための閾値th1，th2，th3は、同じ値であってもよいし、異なる値であってもよい。
【００８８】
ここで、上述の図３を参照して、図４の画素単位領域判定部１３に入力される平滑化値LPF（Ｖ）と、水平方向領域判定部２６による注目画素が属する領域（領域の種類）の判定との関係について説明する。
【００８９】
上述したように、図３の波形Ｔ3は、ローパスフィルタ１２により得られる平滑化値LPF（Ｖ）の波形であり、そのうちの注目画素を中心とする範囲の部分が注目領域としてメモリ２１に記憶される。水平差分計算部２２は、波形Ｔ3のうちの、メモリ２１に注目領域として記憶された範囲を対象として変化量を計算し、水平ヒストグラム計算部２４は、その変化量のヒストグラムを得る。
【００９０】
波形Ｔ3は、範囲ｄにおいて、ある程度の大きさの傾斜を有しているので、範囲ｄと一部または全部が重複する範囲を注目領域として計算される変化量のヒストグラムでは、大きな変化量の度数hist(1)が大の値になる。
【００９１】
また、波形Ｔ3は、範囲ｅにおいて、範囲ｄにおける傾斜よりも小さな傾斜を有しているので、範囲ｅと一部または全部が重複する範囲を注目領域として計算される変化量のヒストグラムでは、度数hist(1)が小の値になり、中程度の変化量の度数hist(2)が大の値になる。
【００９２】
また、波形Ｔ3は、範囲ｆにおいて傾斜がないので、範囲ｆのみを含む範囲を注目領域として計算される変化量のヒストグラムでは、度数hist(1)および度数hist(2)が小の値になり、小さい変化量の度数hist(3)が大の値になる。
【００９３】
水平方向領域判定部２６は、以上のような変化量のヒストグラムの性質（特性）に基づき、図７の表のように、注目画素が属する領域を判定する。従って、水平方向領域判定部２６では、エッジの範囲ａを含むエッジ周辺の範囲ｄより若干広い範囲における画素が属する領域がエッジ領域と判定され、テクスチャの範囲ｂを含む範囲ｅより若干広い範囲における画素が属する領域がテクスチャ領域と判定され、フラットの範囲ｃより狭い範囲ｆにおける画素が属する領域がフラット領域と判定される。
【００９４】
次に、図８のブロック図を参照して、ブロック単位領域判定部１４の構成例について説明する。
【００９５】
ブロック単位領域判定部１４には、水平方向画素単位領域情報バッファ３１、垂直方向画素単位領域情報バッファ３２、水平方向ブロック単位抽出部３３、垂直方向ブロック単位抽出部３４、水平方向エッジ割合計算部３５、垂直方向エッジ割合計算部３６、水平方向テクスチャ割合計算部３７、垂直方向テクスチャ割合計算部３８、水平方向エッジ割合比較部３９、垂直方向エッジ割合比較部４０、水平方向テクスチャ割合比較部４１、垂直方向テクスチャ割合比較部４２、水平方向ブロック単位領域決定部４３、および垂直方向ブロック単位領域決定部４４が設けられている。
【００９６】
水平方向画素単位領域情報バッファ３１は、図４の水平方向領域判定部２６から各画素の位置情報に対応付けて水平方向の画素単位で求められた領域情報（各画素が属する領域が、エッジ領域、テクスチャ領域、フラット領域、またはその他の領域のいずれであるかを表す情報）を順次一時的に記憶する。
【００９７】
垂直方向画素単位領域情報バッファ３２は、図４の垂直方向領域判定部２７から供給されてくる各画素の位置情報に対応付けて垂直方向の画素単位で求められた領域情報を順次一次的に記憶する。
【００９８】
水平方向ブロック単位抽出部３３は、ブロック境界検出部１７より供給されてくるブロック境界情報に基づいて、水平方向画素単位領域情報バッファ３１より1ブロック分の画素単位の領域情報を抽出し、ブロックの位置情報と共に水平方向エッジ割合計算部３５、および水平方向テクスチャ割合計算部３７に供給する。
【００９９】
垂直方向ブロック単位抽出部３４は、ブロック境界検出部１７より供給されてくるブロック境界情報に基づいて、垂直方向画素単位領域情報バッファ３２より1ブロック分の画素単位の領域情報を抽出し、ブロックの位置情報と共に垂直方向エッジ割合計算部３６、および垂直方向テクスチャ割合計算部３８に供給する。
【０１００】
水平方向エッジ割合計算部３５は、水平方向ブロック単位抽出部３３より供給されてくる1ブロック分の画素単位の領域情報のうち、領域情報がエッジ領域である割合である水平方向エッジ割合ＲＥＨを計算し、ブロックの位置情報と共に水平方向エッジ割合比較部３９に供給する。すなわち、例えば、図９で示されるように、1ブロック分の画素が水平方向×垂直方向に８画素×８画素で、合計６４画素であった場合、１ブロック分となる６４画素分の領域情報のうち、図９で示されるように７画素について領域情報がエッジ領域であるとき、水平方向エッジ割合計算部３５は、７／６４を水平方向エッジ割合ＲＥＨとして水平方向エッジ割合比較部３９に供給する。
【０１０１】
尚、図９においては、各マス目が画素の位置に対応しており、マス目内の文字が「Ｅ」であるとき、対応する画素の領域情報がエッジ領域に属していることを示しており、マス目内の文字が「ｆ」であるとき、対応する画素の領域情報がフラット領域に属していることを示しており、マス目内の文字が「Ｔ」であるとき、対応する画素の領域情報がテクスチャ領域に属していることを示している。
【０１０２】
垂直方向エッジ割合計算部３６は、垂直方向ブロック単位抽出部３４より供給されてくる1ブロック分の画素単位の領域情報のうち、領域情報がエッジ領域である割合である垂直方向エッジ割合ＲＥＶを計算し、ブロックの位置情報と共に垂直方向エッジ割合比較部４０に供給する。すなわち、例えば、図９で示されるように、1ブロック分の画素が水平方向×垂直方向に８画素×８画素で、合計６４画素であった場合、１ブロック分となる６４画素分の領域情報のうち、図９で示されるように７画素について領域情報がエッジ領域であるとき、垂直方向エッジ割合計算部３６は、７／６４を垂直方向エッジ割合ＲＥＶとして垂直方向エッジ割合比較部４０に供給する。
【０１０３】
水平方向テクスチャ割合計算部３７は、水平方向ブロック単位抽出部３３より供給されてくる1ブロック分の画素単位の領域情報のうち、領域情報がテクスチャ領域である割合である水平方向テクスチャ割合ＲＴＨを計算し、ブロックの位置情報と共に水平方向テクスチャ割合比較部４１に供給する。すなわち、例えば、図９で示されるように、1ブロック分の画素が水平方向×垂直方向に８画素×８画素で、合計６４画素であった場合、１ブロック単位となる６４画素分の領域情報のうち、図９で示されるように５画素について領域情報がテクスチャ領域であるとき、水平方向テクスチャ割合計算部３７は、５／６４を水平方向テクスチャ割合ＲＴＨとして水平方向テクスチャ割合比較部４１に供給する。
【０１０４】
垂直方向テクスチャ割合計算部３８は、垂直方向ブロック単位抽出部３４より供給されてくる1ブロック分の画素単位の領域情報のうち、領域情報がテクスチャ領域である割合である垂直方向テクスチャ割合ＲＴＶを計算し、ブロックの位置情報と共に垂直方向テクスチャ割合比較部４２に供給する。すなわち、例えば、図９で示されるように、1ブロック分の画素が水平方向×垂直方向に８画素×８画素で、合計６４画素であった場合、１ブロック単位となる６４画素分の領域情報のうち、図９で示されるように５画素について領域情報がテクスチャ領域であるとき、垂直方向テクスチャ割合計算部３８は、５／６４を垂直方向テクスチャ割合ＲＴＶとして垂直方向テクスチャ割合比較部４２に供給する。
【０１０５】
水平方向エッジ割合比較部３９は、水平方向エッジ割合計算部３５より供給されてきた水平方向エッジ割合ＲＥＨと所定の閾値ｔｈ（ＲＥＨ）とを比較し、ブロックの位置情報と共に比較結果ＣＥＨを水平方向ブロック単位領域決定部４３に供給する。
【０１０６】
垂直方向エッジ割合比較部４０は、垂直方向エッジ割合計算部３６より供給されてきた垂直方向エッジ割合ＲＥＶと所定の閾値ｔｈ（ＲＥＶ）とを比較し、ブロックの位置情報と共に比較結果ＣＥＶを垂直方向ブロック単位領域決定部４４に供給する。
【０１０７】
水平方向テクスチャ割合比較部４１は、水平方向テクスチャ割合計算部３７より供給されてきた水平方向テクスチャ割合ＲＴＨと所定の閾値ｔｈ（ＲＴＨ）とを比較し、ブロックの位置情報と共に比較結果ＣＴＨを水平方向ブロック単位領域決定部４３に供給する。
【０１０８】
垂直方向テクスチャ割合比較部４２は、垂直方向テクスチャ割合計算部３８より供給されてきた垂直方向テクスチャ割合ＲＴＶと所定の閾値ｔｈ（ＲＴＶ）とを比較し、ブロックの位置情報と共に比較結果ＣＴＶを垂直方向ブロック単位領域決定部４４に供給する。
【０１０９】
尚、閾値ｔｈ（ＲＥＨ）、閾値ｔｈ（ＲＥＶ）、閾値ｔｈ（ＲＴＨ）、閾値ｔｈ（ＲＴＶ）は、それぞれ統一した同一の値でもよいし、それぞれ個別に設定されるようにしてもよい。
【０１１０】
水平方向ブロック単位領域決定部４３は、水平方向エッジ割合比較部３９および水平方向テクスチャ割合比較部４１より、それぞれ供給されてくる比較結果ＣＥＨおよびＣＥＴに基づいて、比較結果ＣＥＨが所定の閾値ｔｈ（ＲＥＨ）よりも大きいことを示す場合、対応する１ブロック分の全ての画素の水平方向についてブロック単位の領域情報をエッジ領域に決定する。また、比較結果ＣＥＨが所定の閾値ｔｈ（ＲＥＨ）よりも大きくない場合、比較結果ＣＴＨが所定の閾値ｔｈ（ＲＴＨ）よりも大きいとき、水平方向ブロック単位領域決定部４３は、対応する１ブロック分の全ての画素の水平方向についてブロック単位の領域情報をテクスチャ領域に決定する。そして、上記以外の場合、水平方向ブロック単位領域決定部４３は、対応する１ブロック分の全ての画素の水平方向についてブロック単位の領域情報をフラット領域に決定する。
【０１１１】
垂直方向ブロック単位領域決定部４４は、垂直方向エッジ割合比較部４０および垂直方向テクスチャ割合比較部４１より、それぞれ供給されてくる比較結果ＣＥＨおよびＣＥＴに基づいて、比較結果ＣＥＨが所定の閾値ｔｈ（ＲＥＨ）よりも大きいことを示す場合、対応する１ブロック分の全ての画素の水平方向についてブロック単位の領域情報をエッジ領域に決定する。また、比較結果ＣＥＨが所定の閾値ｔｈ（ＲＥＨ）よりも大きくない場合、比較結果ＣＴＨが所定の閾値ｔｈ（ＲＴＨ）よりも大きいとき、水平方向ブロック単位領域決定部４３は、対応する１ブロック分の全ての画素の水平方向についてブロック単位の領域情報をテクスチャ領域に決定する。そして、上記以外の場合、水平方向ブロック単位領域決定部４３は、対応する１ブロック分の全ての画素の水平方向についてブロック単位の領域情報をフラット領域に決定する。
【０１１２】
次に、図１０のブロック図を参照して、図１の閾値決定部１５の構成例について説明する。
【０１１３】
図１０において、閾値決定部１５には、バッファ５１，５２、水平方向パラメータ選択部５３、垂直方向パラメータ選択部５４、水平方向閾値決定部５５、および垂直方向閾値決定部５６が設けられている。
【０１１４】
バッファ５１，５２は、それぞれ図８のブロック単位領域判定部１４よりブロック単位で供給されてくる各画素の水平方向および垂直方向の領域情報（ブロック単位の画素が属する領域が、エッジ領域、テクスチャ領域、またはフラット領域のいずれであるかを表す情報）を画素位置に対応付けて一時的に記憶する。
【０１１５】
水平方向パラメータ選択部５３は、バッファ５１に記憶されている領域情報に基づいて、注目画素を、例えば、ラスタスキャン順に順次設定し、設定した注目画素についての水平方向の領域情報を抽出する。さらに、水平方向パラメータ選択部５３は、抽出した水平方向の領域情報に基づき、水平方向閾値決定部５５が閾値εを決定するための、注目画素についての水平方向の決定用パラメータを選択（決定）し、水平方向閾値決定部５５に供給する。
【０１１６】
垂直方向パラメータ選択部５４は、バッファ５１に記憶されている領域情報に基づいて、注目画素を、例えば、ラスタスキャン順に順次設定し、設定した注目画素についての垂直方向の領域情報抽出する。さらに、垂直方向パラメータ選択部５４は、抽出した垂直方向の領域情報に基づき、垂直方向閾値決定部５６が閾値εを決定するための、注目画素についての垂直方向の決定用パラメータを選択し、垂直方向閾値決定部５６に供給する。
【０１１７】
水平方向閾値決定部５５には、水平方向パラメータ選択部５３から水平方向の決定用パラメータが供給されるとともに、図１のローパスフィルタ１２から平滑化値LPF（Ｖ）が供給される。水平方向閾値決定部５５は、水平方向パラメータ選択部５３からの注目画素についての水平方向の決定用パラメータと、ローパスフィルタ１２からの注目画素についての平滑化値LPF（Ｖ）とに基づいて、注目画素についての水平方向の閾値εを決定して出力する。
【０１１８】
垂直方向閾値決定部５６は、垂直方向パラメータ選択部５４からの、注目画素についての垂直方向の決定用パラメータと、ローパスフィルタ１２からの注目画素についての平滑化値LPF（Ｖ）とに基づいて、注目画素についての垂直方向の閾値εを決定して出力する。
【０１１９】
次に、図１１を参照して、図８の水平方向パラメータ選択部５３から水平方向閾値決定部５５に供給される水平方向の決定用パラメータについて説明するとともに、水平方向閾値決定部５５による水平方向の閾値εの決定について説明する。
【０１２０】
図１１は、平滑化値LPF（Ｖ）と閾値εとの関係を示す閾値決定曲線を表している。図９において、横軸は平滑化値LPF（Ｖ）を、縦軸は閾値εを、それぞれ示しており、横軸の左から右方向に向かって平滑化値LPF（Ｖ）の値は増加し、縦軸の下から上方向に向かって閾値εの値は増加する。
【０１２１】
水平方向閾値決定部５５は、水平方向パラメータ選択部５３からの注目画素についての決定用パラメータに基づいて、図１１に示した、閾値決定曲線Ｌ1，Ｌ2，Ｌ3のうちのいずれかを、閾値εを決定するのに用いる閾値決定曲線に決定し、その閾値決定曲線と、図１のローパスフィルタ１２からの注目画素の平滑化値LPF（Ｖ）とに基づいて、注目画素をフィルタリングするときのパラメータとしての閾値εを決定する。
【０１２２】
ここで、平滑化値LPF（Ｖ）と閾値εとの関係を示す閾値決定曲線は、例えば、変数(パラメータ)Ｅ，Ｆ，Ｍによって特定される曲線である。即ち、閾値決定曲線は、例えば、図１１に示すように、平滑化値LPF（Ｖ）がＦ以下である場合に、閾値εが０のまま一定であり、平滑化値LPF（Ｖ）がＦより大でＥより小さい場合に、閾値εが平滑化値LPF（Ｖ）に比例して増加し、平滑化値LPF（Ｖ）がＥ以上である場合に、閾値εがＭ（＞０）のまま一定である曲線である。
【０１２３】
水平方向パラメータ選択部５３から水平方向閾値決定部５５に対しては、例えば、閾値決定曲線を特定する変数Ｅ，Ｆ，Ｍが決定用パラメータとして供給される。また、例えば、変数Ｆの代わりに、閾値εが平滑化値LPF（Ｖ）に比例して増加する傾きｋを決定用パラメータとしてもよい。
【０１２４】
図１１には、決定用パラメータＥ，Ｆ，Ｍが、それぞれ、決定用パラメータＥ1，Ｆ1，Ｍ1である場合の閾値決定曲線Ｌ1と、決定用パラメータＥ，Ｆ，Ｍが、それぞれ、決定用パラメータＥ2，Ｆ2，Ｍ2である場合の閾値決定曲線Ｌ2と、決定用パラメータＥ，Ｆ，Ｍが、それぞれ、決定用パラメータＥ3，Ｆ3，Ｍ3である場合の閾値決定曲線Ｌ3とが示されている。
【０１２５】
水平方向パラメータ選択部５３は、例えば、決定用パラメータ（の値）と領域情報とを対応付けて記憶しており、図４の水平方向領域判定部２６から供給される水平方向の領域情報に対応付けられている決定用パラメータを選択する。
【０１２６】
例えば、水平方向パラメータ選択部５３は、エッジ領域を表す領域情報と、決定用パラメータＥ1，Ｆ1，Ｍ1とを対応付けて記憶しており、水平方向領域判定部２６からの領域情報がエッジ領域を表している場合、決定用パラメータＥ1，Ｆ1，Ｍ1を選択する。また、水平方向パラメータ選択部５３は、テクスチャ領域を表す領域情報と、決定用パラメータＥ2，Ｆ2，Ｍ2とを対応付けて記憶しており、水平方向領域判定部２６からの領域情報がテクスチャ領域を表している場合、決定用パラメータＥ2，Ｆ2，Ｍ2を選択する。
【０１２７】
また、水平方向パラメータ選択部５３は、フラット領域を表す領域情報と、決定用パラメータＥ3，Ｆ3，Ｍ3とを対応付けて記憶しており、水平方向領域判定部２６からの領域情報がフラット領域を表している場合、決定用パラメータＥ3，Ｆ3，Ｍ3を選択する。さらに、水平方向パラメータ選択部５３は、その他の領域を表す領域情報を、例えば、決定用パラメータＥ3，Ｆ3，Ｍ3と対応付けて記憶しており、水平方向領域判定部２６からの領域情報がその他の領域を表している場合も、決定用パラメータＥ3，Ｆ3，Ｍ3を選択する。
【０１２８】
ここで、図１１において、閾値決定曲線Ｌ1，Ｌ2，Ｌ3の決定用パラメータＥは、Ｅ1，Ｅ2，Ｅ3の順で大きく、閾値決定曲線Ｌ1，Ｌ2，Ｌ3の決定用パラメータＦは、Ｆ1，Ｆ2，Ｆ3の順で大きく、閾値決定曲線Ｌ1，Ｌ2，Ｌ3の決定用パラメータＭは、Ｍ1，Ｍ2，Ｍ3の順で小さくなる関係になっている。
【０１２９】
従って、注目画素が属する領域がエッジ領域である場合、閾値決定曲線Ｌ1にしたがい、注目画素の平滑化値LPF（Ｖ）が小の値Ｆ1以下であれば、閾値εは０に決定される。さらに、注目画素の平滑化値LPF（Ｖ）が小の値Ｆ1から小の値Ｅ1までの範囲の値であれば、閾値εは、平滑化値LPF（Ｖ）に比例した大の値に決定され、注目画素の平滑化値LPF（Ｖ）が小の値Ｅ1以上であれば、閾値εは、大の値Ｍ1に決定される。
【０１３０】
また、注目画素が属する領域がテクスチャ領域である場合、閾値決定曲線Ｌ2にしたがい、注目画素の平滑化値LPF（Ｖ）が小の値Ｆ1よりも大きい中の値Ｆ2以下であれば、閾値εは０に決定される。さらに、注目画素の平滑化値LPF（Ｖ）が、小の値Ｆ1よりも大きい中の値Ｆ2以上で、かつ小の値Ｅ1よりも大きい中の値Ｅ2以下の範囲の値であれば、閾値εは、平滑化値LPF（Ｖ）に比例した中の値に決定され、注目画素の平滑化値LPF（Ｖ）が中の値Ｅ1以上であれば、閾値εは、大の値Ｍ1よりも小さい中の値Ｍ2に決定される。
【０１３１】
また、注目画素が属する領域がフラット領域またはその他の領域である場合、閾値決定曲線Ｌ3にしたがい、注目画素の平滑化値LPF（Ｖ）が中の値Ｆ2よりも大きい大の値Ｆ3以下であれば、閾値εは０に決定される。さらに、注目画素の平滑化値LPF（Ｖ）が、中の値Ｆ2よりも大きい大の値Ｆ3以上で、かつ中の値Ｅ2よりも大きい大の値Ｅ3以下の範囲の値であれば、閾値εは、平滑化値LPF（Ｖ）に比例した小の値に決定され、注目画素の平滑化値LPF（Ｖ）が大の値Ｅ3以上であれば、閾値εは、中の値Ｍ2よりも小さい小の値Ｍ3に決定される。
【０１３２】
このように、水平方向閾値決定部５５は、注目画素が属する領域が、エッジ領域、テクスチャ領域、または、フラット領域のいずれであるかを表す領域情報と、注目画素の平滑化値LPF（Ｖ）とに基づいて、注目画素についての水平方向の閾値（ノイズ除去処理としての水平方向のフィルタリングのパラメータ）εを決定する。
【０１３３】
即ち、大雑把に言えば、水平方向閾値決定部５５は、注目画素が属する領域が、エッジ領域であれば、大の値の閾値εを、注目画素が属する領域が、テクスチャ領域であれば、中の値の閾値εを、注目画素が属する領域が、フラット領域であれば、小の値の閾値εを、それぞれ決定する。また、水平方向閾値決定部５５は、注目画素の平滑化値LPF（Ｖ）が大であるほど、大の値の閾値εを決定する。
【０１３４】
垂直方向閾値決定部５６（図１０）も、垂直方向パラメータ選択部５４からの注目画素の領域情報と、ローパスフィルタ１２（図１）からの注目画素の平滑化値LPF（Ｖ）とに基づき、水平方向閾値決定部５５と同様にして、注目画素についての垂直方向の閾値（ノイズ除去処理としての垂直方向のフィルタリングのパラメータ）εを決定する。
【０１３５】
そして、非線形平滑フィルタ１６（図１）は、水平方向閾値決定部５５からの注目画素についての水平方向の閾値ε、および垂直方向閾値決定部５６からの注目画素についての垂直方向の閾値εに基づいて、注目画素をフィルタリングする。例えば、非線形平滑フィルタ１６は、直列に接続された２段階のεフィルタを有しており、例えば、１段目のεフィルタによって、水平方向閾値決定部５５からの注目画素についての水平方向の閾値εに基づいて注目画素を水平方向にフィルタリングし、２段目のεフィルタによって、１段目のεフィルタが出力する注目画素を、垂直方向閾値決定部５６からの注目画素についての垂直方向の閾値εに基づいて注目画素を垂直方向にフィルタリングする。
【０１３６】
ここで、非線形平滑フィルタ１６が有するεフィルタについて簡単に説明する。εフィルタは、画像データを構成する画素のうちの、注目画素のフィルタリング（ローパスフィルタリング）に用いる、注目画素の近傍にある近傍画素の画素値を、閾値εに応じて設定する。
【０１３７】
図１２は、εフィルタによるフィルタリングを説明する図である。近傍画素Ｐｍの画素値Ｘｍが、注目画素Ｐｎの画素値Ｘｎを中心とする閾値εの範囲内にない場合、εフィルタは、近傍画素Ｐｍの画素値Ｘｍを注目画素Ｐｎの画素値Ｘｎに置き換え、注目画素Ｐｎのフィルタリングに用いる。一方、近傍画素Ｐｍの画素値Ｘｍが閾値εの範囲内にある場合、εフィルタは、その近傍画素Ｐｍの画素値Ｘｍをそのまま用い、注目画素Ｐｎをフィルタリングする。
【０１３８】
従って、εフィルタによれば、注目画素の画素値に近い値の画素値（閾値εの範囲内の画素値）のみを用いて、注目画素がフィルタリングされる。その結果、εフィルタにおいては、例えば、入力データとしての画像データに微少なノイズが含まれる場合には、そのノイズが除去されたフィルタリング結果が得られる。さらに、εフィルタにおいては、例えば、入力データとしての画像データに、急峻なエッジが含まれている場合には、そのエッジの形状を維持したフィルタリング結果が得られる。
【０１３９】
また、εフィルタによれば、入力データとしての画像データをフィルタリングする際に、閾値εを大きな値にすると平滑化の度合いが高くなり、閾値εを小さな値にすると平滑化の度合いが低くなる。
【０１４０】
このようなεフィルタを有する非線形平滑フィルタ１６によって、図１１を参照して説明したように決定される閾値εに基づき、画像データがフィルタリングされることにより、エッジの形状を維持したまま、エッジの周辺部分に発生するモスキートノイズが除去される。
【０１４１】
次に、図１３は、図１のノイズ除去装置１０が画像データのモスキートノイズを除去するノイズ除去処理について説明するフローチャートである。
【０１４２】
入力データとしての１フレームの画像データがノイズ除去装置１０の分散計算部１１と非線形平滑フィルタ１６に入力され、ステップＳ１１において、分散計算部１１は、画像データの画素ごとに分散Ｖを計算する。分散計算部１１は、分散Ｖをローパスフィルタ１２に供給し、ステップＳ１２に進む。
【０１４３】
ステップＳ１２において、ローパスフィルタ１２は、分散計算部１１からの画像データの分散Ｖを平滑化し、平滑化値LPF（Ｖ）を、画素単位領域判定部１３および閾値決定部１５に供給する。
【０１４４】
ローパスフィルタ１２から平滑化値LPF（Ｖ）が供給されると、ステップＳ１３において、画素単位領域判定部１３は、ローパスフィルタ１２からの平滑化値LPF（Ｖ）に基づき、画像データを構成する各画素について、画素単位領域判定処理を行う。画素単位領域判定部１３は、画素単位領域判定処理を行った結果得られる画素単位領域情報を画素の位置情報に対応付けてブロック単位領域判定部１４の水平方向画素単位領域情報バッファ３１および垂直方向画素単位領域情報バッファ３２に供給し、ステップＳ１４に進む。
【０１４５】
ステップＳ１４において、ブロック単位領域判定部１４は、水平方向画素単位領域情報バッファ３１および垂直方向画素単位領域情報バッファ３２を参照して、１フレーム分の全ての画素について、水平方向および垂直方向の画素単位領域情報が供給されてきているか否かを判定し、１フレーム分の画素単位領域情報が供給されてきていない場合、処理は、ステップＳ１１に戻る。すなわち、１フレーム分の全ての画素について画素単位領域情報が供給されてくるまで、ステップＳ１１乃至Ｓ１４の処理が繰り返される。そして、ステップＳ１４において、１フレーム分の全ての画素について画素単位領域情報が供給されてきた場合、処理は、ステップＳ１５に進む。
【０１４６】
ステップＳ１５において、ブロック単位領域判定部１４は、ブロック境界検出部１７により検出されるブロック境界情報、および、画素単位領域情報に基づいて、ブロック単位領域判定処理を実行し、ブロック単位での領域情報を生成し、閾値決定部１５に供給する。
【０１４７】
ステップＳ１６において、ブロック単位領域判定部１４は、全てのブロックについて処理が終了しているか否かを判定し、未処理のブロックが存在する場合、処理は、ステップＳ１５に戻る。すなわち、全てのブロックについて処理が終了するまで、ステップＳ１５，Ｓ１６の処理が繰り返される。そして、全てのブロックについて処理が終了したと判定された場合、処理は、ステップＳ１７に進む。
【０１４８】
ステップＳ１７において、閾値決定部１５は、各画素について、例えばラスタスキャン順に、ローパスフィルタ１２からの平滑化値LPF（Ｖ）と、ブロック単位領域判定部１４からのブロック単位で設定された画素毎の領域情報とに基づいて、非線形平滑フィルタ１６が行うノイズ除去処理のパラメータである閾値εを、画素ごとに決定して非線形平滑フィルタ１６に供給する閾値決定処理を行う。
【０１４９】
ステップＳ１７の処理後、ステップＳ１８に進み、非線形平滑フィルタ１６は、例えば、ラスタスキャン順に順次閾値決定部１５からの閾値εに基づき、入力データとしての画像データにノイズ除去処理を施す。即ち、非線形平滑フィルタ１６は、閾値決定部１５からの閾値εの値に基づく度合いで平滑化がされるように、画像データをフィルタリングし、画像データに含まれるモスキートノイズその他のノイズを除去する。非線形平滑フィルタ１６は、モスキートノイズ等を除去した画像データを出力データとして出力する。
【０１５０】
ステップＳ１９において、閾値決定部１５は、１フレーム分の画素について未処理の画素が存在するか否かを判定し、未処理の画素が存在する場合、処理は、ステップＳ１７に戻る。すなわち、１フレーム分の全ての画素について閾値決定処理がなされて非線形平滑化フィルタによりモスキートノイズが除去されたと判定されるまで、ステップＳ１７乃至Ｓ１９の処理が繰り返される。
【０１５１】
そして、ステップＳ１９において、１フレーム分の全ての画素について閾値決定処理がなされて非線形フィルタによりモスキートノイズが除去されたと判定された場合、処理は終了する。
【０１５２】
なお、図１３の処理は、ノイズ除去装置１０に１フレームの画像データが供給されるごとに、その画像データを対象として繰り返し行われる。
【０１５３】
次に、図１４は、図１３のステップＳ１３における画素単位領域判定処理を説明するフローチャートである。図１４では、画素単位領域判定部１３（図４）のうちの、水平差分計算部２２、水平ヒストグラム計算部２４、および水平方向領域判定部２６によって水平方向に行われる画素単位領域判定処理を説明する。
【０１５４】
画素単位領域判定部１３は、ノイズ除去装置１０に供給された画像データを構成する画素を、順次、注目画素とし、領域判定処理を行う。即ち、領域判定処理では、図１のローパスフィルタ１２から画素単位領域判定部１３に供給された平滑化値LPF（Ｖ）のうちの、注目画素を含む、注目画素の周辺に位置する７×５画素、つまり、注目領域の７×５画素（図５）の平滑化値LPF（Ｖ）が、メモリ２１（図４）に記憶される。
【０１５５】
そして、ステップＳ２１において、水平差分計算部２２は、図５で説明したように、注目領域の水平方向の変化量としての差分値を計算して水平ヒストグラム計算部２４に供給し、ステップＳ２２に進む。
【０１５６】
ステップＳ２２において、水平ヒストグラム計算部２４は、図６で説明したように、水平差分計算部２２からの水平方向の変化量についてのヒストグラムを計算し、３つの度数hist(1)，hist(2)，hist(3)からなるヒストグラムを水平方向領域判定部２６に供給する。
【０１５７】
ステップＳ２２の処理後、ステップＳ２３に進み、水平方向領域判定部２６は、水平ヒストグラム計算部２４からの度数hist(1)と、あらかじめ与えられている閾値th1とを比較し、度数hist(1)が閾値th1より大きい（または以上である）か否かを判定する。
【０１５８】
ステップＳ２３において、水平方向領域判定部２６が、度数hist(1)が閾値th1より大きいと判定した場合、ステップＳ２４に進み、水平方向領域判定部２６は、注目画素が属する領域がエッジ領域であることを表す水平方向の領域情報を、ブロック単位領域情報判定部１４の水平方向画素単位領域情報バッファ３１（図１）に供給して、ステップＳ３０において、ブロック単位領域判定部１４の水平方向画素単位領域情報バッファ３１にバッファリングし、処理を終了する。
【０１５９】
一方、ステップＳ２３において、水平方向領域判定部２６が、度数hist(1)が閾値th1以下であると判定した場合、ステップＳ２５に進む。
【０１６０】
ステップＳ２５において、水平方向領域判定部２６は、水平ヒストグラム計算部２４からの度数hist(2)と、あらかじめ与えられている閾値th2とを比較し、度数hist(2)が閾値th2より大きい（または以上である）か否かを判定する。
【０１６１】
ステップＳ２５において、水平方向領域判定部２６が、度数hist(2)が閾値th2より大きいと判定した場合、ステップＳ２６に進み、水平方向領域判定部２６は、注目画素が属する領域がテクスチャ領域であることを表す水平方向の領域情報を、ブロック単位領域情報判定部１４の水平方向画素単位領域情報バッファ３１に供給して、ステップＳ３０において、ブロック単位領域判定部１４の水平方向画素単位領域情報バッファ３１にバッファリングし、処理を終了する。
【０１６２】
一方、ステップＳ２５において、水平方向領域判定部２６が、度数hist(2)が閾値th2以下であると判定した場合、ステップＳ２７に進む。
【０１６３】
ステップＳ２７において、水平方向領域判定部２６は、水平ヒストグラム計算部２４からの度数hist(3)と、あらかじめ与えられている閾値th3とを比較し、度数hist(3)が閾値th3より大きい（または以上である）か否かを判定する。
【０１６４】
ステップＳ２７において、水平方向領域判定部２６が、度数hist(3)が閾値th3より大きいと判定した場合、ステップＳ２８に進み、水平方向領域判定部２６は、注目画素が属する領域がフラット領域であることを表す水平方向の領域情報を、ブロック単位領域情報判定部１４の水平方向画素単位領域情報バッファ３１に供給して、ステップＳ３０において、ブロック単位領域判定部１４の水平方向画素単位領域情報バッファ３１にバッファリングし、処理を終了する。
【０１６５】
一方、ステップＳ２７において、水平方向領域判定部２６が、度数hist(3)が閾値th3以下であると判定した場合、ステップＳ２９に進み、水平方向領域判定部２６は、注目画素が属する領域が、その他の領域であることを表す水平方向の領域情報を、ブロック単位領域情報判定部１４の水平方向画素単位領域情報バッファ３１に供給して、ステップＳ３０において、ブロック単位領域判定部１４の水平方向画素単位領域情報バッファ３１にバッファリングし、処理を終了する。
【０１６６】
なお、以上の説明は、水平差分計算部２２、水平ヒストグラム計算部２４、および水平方向領域判定部２６によって水平方向に行われる画素単位領域判定処理についてのものであるが、垂直差分計算部２３、垂直ヒストグラム計算部２５、および垂直方向領域判定部２７によっても同様の画素単位領域判定処理が垂直方向に行われ、垂直方向の画素単位領域情報がブロック単位領域情報判定部１４の垂直方向画素単位領域情報バッファ３２に供給され、バッファリングされる。
【０１６７】
次に、図１５のフローチャートを参照して、図１３のステップＳ１５におけるブロック単位領域判定処理について説明する。図１５では、ブロック単位領域判定部１４（図８）のうちの、水平方向画素単位領域情報バッファ３１、水平方向ブロック単位抽出部３３、水平方向エッジ割合計算部３５、水平方向テクスチャ割合計算部３７、水平方向エッジ割合比較部３９、水平方向テクスチャ割合比較部４１、および水平方向ブロック単位領域決定部４３によって水平方向に行われるブロック単位領域判定処理を説明する。
【０１６８】
ステップＳ３１において、水平方向ブロック単位抽出部３３は、ブロック境界検出部１７より供給されてくるブロック境界情報に基づいて、水平方向画素単位領域情報バッファ３１より1ブロック分の画素単位の領域情報を抽出し、ブロックの位置情報と共に水平方向エッジ割合計算部３５、および水平方向テクスチャ割合計算部３７に供給する。
【０１６９】
ステップＳ３２において、水平方向エッジ割合計算部３５は、水平方向ブロック単位抽出部３３より供給されてくる1ブロック分の画素単位の領域情報のうち、領域情報がエッジ領域である割合である水平方向エッジ割合ＲＥＨを計算し、ブロックの位置情報と共に水平方向エッジ割合比較部３９に供給する。
【０１７０】
ステップＳ３３において、水平方向テクスチャ割合計算部３７は、水平方向ブロック単位抽出部３３より供給されてくる1ブロック分の画素単位の領域情報のうち、領域情報がテクスチャ領域である割合である水平方向テクスチャ割合ＲＴＨを計算し、ブロックの位置情報と共に水平方向テクスチャ割合比較部４１に供給する。
【０１７１】
ステップＳ３４において、水平方向エッジ割合比較部３９は、水平方向エッジ割合計算部３５より供給されてきた水平方向エッジ割合ＲＥＨと所定の閾値ｔｈ（ＲＥＨ）とを比較し、ブロックの位置情報と共に比較結果ＣＥＨを水平方向ブロック単位領域決定部４３に供給する。例えば、水平方向エッジ割合比較部３９は、水平方向エッジ割合計算部３５より供給されてきた水平方向エッジ割合ＲＥＨが所定の閾値ｔｈ（ＲＥＨ）よりも大きいとき、比較結果ＣＥＨとして「１」を出力し、それ以外のとき「０」を出力する。
【０１７２】
ステップＳ３５において、水平方向テクスチャ割合比較部４１は、水平方向テクスチャ割合計算部３７より供給されてきた水平方向テクスチャ割合ＲＴＨと所定の閾値ｔｈ（ＲＴＨ）とを比較し、ブロックの位置情報と共に比較結果ＣＴＨを水平方向ブロック単位領域決定部４３に供給する。例えば、水平方向テクスチャ割合比較部４１は、水平方向テクスチャ割合計算部３７より供給されてきた水平方向テクスチャ割合ＲＴＨが所定の閾値ｔｈ（ＲＴＨ）よりも大きいとき、比較結果ＣＴＨとして「１」を出力し、それ以外のとき「０」を出力する。
【０１７３】
ステップＳ３６において、水平方向ブロック単位領域決定部４３は、水平方向エッジ割合ＲＥＨが所定の閾値ｔｈ（ＲＥＨ）よりも大きいか否か、すなわち、比較結果ＣＥＨが「１」であるか否かを判定する。ステップＳ３６において、比較結果ＣＥＨが「１」である場合、すなわち、水平方向エッジ割合ＲＥＨが所定の閾値ｔｈ（ＲＥＨ）よりも大きい場合、ステップＳ３７において、水平方向ブロック単位領域決定部４３は、そのブロック全体の各画素の領域情報をエッジ領域に属していることを示す情報に設定して閾値決定部１５のバッファ５１に出力する。
【０１７４】
ステップＳ３６において、比較結果ＣＥＨが「１」ではない場合、すなわち、水平方向エッジ割合ＲＥＨが所定の閾値ｔｈ（ＲＥＨ）よりも小さく、比較結果ＣＥＨが「０」の場合、ステップＳ３８において、水平方向ブロック単位領域決定部４３は、水平方向テクスチャ割合ＲＴＨが所定の閾値ｔｈ（ＲＴＨ）よりも大きいか否か、すなわち、比較結果ＣＴＨが「１」であるか否かを判定する。
【０１７５】
ステップＳ３８において、比較結果ＣＴＨが「１」である場合、すなわち、水平方向テクスチャ割合ＲＴＨが所定の閾値ｔｈ（ＲＴＨ）よりも大きい場合、ステップＳ３９において、水平方向ブロック単位領域決定部４３は、そのブロック全体の各画素の領域情報をテクスチャ領域に属していることを示す情報に設定して閾値決定部１５のバッファ５１に出力する。
【０１７６】
ステップＳ３８において、比較結果ＣＴＨが「１」ではなく場合、すなわち、水平方向テクスチャ割合ＲＴＨが所定の閾値ｔｈ（ＲＴＨ）よりも小さく、比較結果ＣＴＨが「０」の場合、ステップＳ４０において、水平方向ブロック単位領域決定部４３は、そのブロック全体の各画素の領域情報をフラット領域に属していることを示す情報に設定して閾値決定部１５のバッファ５１に出力する。
【０１７７】
以上の処理によりブロック単位で、比較結果（ＣＥＨ，ＣＴＨ）が、（１，０）および（１，１）の場合、そのブロックに属する全ての画素について領域情報がエッジ領域に属していることを示す情報に設定され、（０，１）の場合、そのブロックに属する全ての画素について領域情報がテクスチャ領域に属していることを示す情報に設定され、上記以外の場合、そのブロックに属する全ての画素については領域情報がフラット領域に属していることを示す情報に設定される。結果として、モスキートノイズが発生しやすいブロック単位で、属している画素の領域情報が設定される事になるので、モスキートノイズを効率良く除去することが可能となる。
【０１７８】
なお、以上の説明は、水平方向画素単位領域情報バッファ３１、水平方向ブロック単位抽出部３３、水平方向エッジ割合計算部３５、水平方向テクスチャ割合計算部３７、水平方向エッジ割合比較部３９、水平方向テクスチャ割合比較部４１、および水平方向ブロック単位領域決定部４３によって水平方向に行われるブロック単位領域判定処理についてのものであるが、垂直方向画素単位領域情報バッファ３２、垂直方向ブロック単位抽出部３４、垂直方向エッジ割合計算部３６、垂直方向テクスチャ割合計算部３８、垂直方向エッジ割合比較部４０、垂直方向テクスチャ割合比較部４２、および垂直方向ブロック単位領域決定部４４によっても同様のブロック単位領域判定処理が垂直方向に行われ、垂直方向のブロック単位領域情報が閾値決定部１５のバッファ５２に供給される。
【０１７９】
次に、図１６は、図１３のステップＳ１７における閾値決定処理を説明するフローチャートである。図１６では、閾値決定部１５（図１０）のうちの、水平方向パラメータ選択部５３および水平方向閾値決定部５５によって水平方向に行われる閾値決定処理を説明する。
【０１８０】
ステップＳ５１において、水平方向パラメータ選択部５３は、図４の水平方向領域判定部２６から図１０のバッファ５１に供給された注目画素の水平方向の領域情報のうち、未処理の注目画素を設定し、注目画素に対応する水平方向の領域情報に基づいて、閾値決定曲線を決定するための決定用パラメータを選択する。
【０１８１】
例えば、図１１を参照して説明したように、水平方向パラメータ選択部５３は、水平方向領域判定部２６からの水平方向の領域情報がエッジ領域を表している場合、決定用パラメータＥ1，Ｆ1，Ｍ1を選択する。また、水平方向パラメータ選択部５３は、水平方向領域判定部２６からの水平方向の領域情報がテクスチャ領域を表している場合、決定用パラメータＥ2，Ｆ2，Ｍ2を選択する。また、水平方向パラメータ選択部５３は、水平方向領域判定部２６からの水平方向の領域情報がフラット領域またはその他の領域を表している場合、決定用パラメータＥ3，Ｆ3，Ｍ3を選択する。
【０１８２】
水平方向パラメータ選択部５３は、決定用パラメータを水平方向閾値決定部５５に供給して、ステップＳ５２に進む。
【０１８３】
ステップＳ５２において、水平方向閾値決定部５５は、水平方向パラメータ選択部５３からの決定用パラメータに基づき、閾値εの決定に用いる閾値決定曲線を決定し、その閾値決定曲線において、図１のローパスフィルタ１２から供給される注目画素の平滑化値LPF（Ｖ）に対応する値を、注目画素の水平方向の閾値εとして決定する。
【０１８４】
そして、水平方向閾値決定部５５は、図１の非線形平滑フィルタ１６に水平方向の閾値εを供給し、処理を終了する。
【０１８５】
なお、以上の説明は、水平方向パラメータ選択部５３および水平方向閾値決定部５５によって水平方向に行われる閾値決定処理についてのものであるが、垂直方向パラメータ選択部５４および垂直方向閾値決定部５６によっても、図１０の垂直方向パラメータ選択部５４からの決定用パラメータに基づき、同様の閾値決定処理が垂直方向に行われ、その閾値決定処理によって得られる注目画素の垂直方向の閾値εが非線形平滑フィルタ１６に供給される。
【０１８６】
以上のように、ブロック単位領域判定処理による判定結果としての領域情報に基づき、閾値決定処理により閾値εを決定することで、非線形平滑フィルタ１６では、画像データの各画素がブロック単位で属する領域に適した閾値εによるフィルタリングであって、かつ、各画素の近傍の画素値のばらつき（散らばり）の度合いに応じた閾値εによるフィルタリングが行われ、その結果、画像データに含まれるモスキートノイズ等を効果的に除去することができる。
【０１８７】
即ち、従来より、モスキートノイズを除去する方法としては、例えば、一次微分や、ソーベルフィルタを利用したフィルタリングを行う方法があるが、この方法では、エッジ領域とテクスチャ領域とを適切に分離してフィルタリングを行うことが難しかった。これに対して、図１のノイズ除去装置１０によれば、エッジ領域、テクスチャ領域、フラット領域を適切に分離して、そのエッジ領域、テクスチャ領域、フラット領域の各領域に応じた閾値決定曲線により、画素値の散らばりの度合いに応じて、動的に、閾値εを決定するので、効果的にノイズを除去することができる。
【０１８８】
具体的には、エッジ領域に属する画素については、図１１を参照して説明したように、閾値決定曲線Ｌ1にしたがい、閾値εは、比較的大の値に決定されるので、非線形平滑フィルタ１６は、高い平滑化の度合いでエッジ領域（例えば、図３の範囲ｄに対応する画像データの範囲）の画素をフィルタリングする。従って、画像データのエッジの周辺部分に発生するモスキートノイズを除去することができる。
【０１８９】
また、テクスチャ領域に属する画素については、閾値決定曲線Ｌ2にしたがい、閾値εは、エッジ領域に属する画素についての閾値εよりも小さい中の値に決定されるので、非線形平滑フィルタ１６は、エッジ領域の画素の平滑化の度合いよりも低い平滑化の度合いで、テクスチャ領域（例えば、図３の範囲ｅに対応する画像データの範囲）の画素をフィルタリングする。従って、テクスチャとしての画素値の微細な変化を保存すること、例えば、物体表面の模様などの画質の劣化を防止することができる。
【０１９０】
また、フラット領域に属する画素については、閾値決定曲線Ｌ3にしたがい、閾値εは、テクスチャ領域に属する画素についての閾値εよりも小さい小の値に決定されるので、非線形平滑フィルタ１６は、テクスチャ領域の画素の平滑化の度合いよりも低い平滑化の度合いで、フラット領域（例えば、図３の範囲ｆに対応する画像データの範囲）の画素をフィルタリングする。従って、フラット領域に存在する微細なノイズを除去することができる。
【０１９１】
さらに、モスキートノイズの発生しやすいブロック単位で各画素の領域情報が設定されるので、モスキートノイズを効率良く除去することが可能となる。
【０１９２】
次に、図１のノイズ除去装置１０では、注目画素の分散情報として縦×横が３×３画素の画素値の分散Ｖを用いて、水平方向の処理（上述の画素単位領域判定処理（図１４）、ブロック単位領域判定処理（図１５）、閾値決定処理（図１６）、およびノイズ除去処理のうち水平方向に行われる処理）および垂直方向の処理（上述の領域判定処理（図１４）、ブロック単位領域判定処理（図１５）、閾値決定処理（図１６）、およびノイズ除去処理のうち垂直方向に行われる処理）の両方が行われるが、注目画素については、水平方向の分散情報と垂直方向の分散情報とをそれぞれ求め、水平方向の分散情報を用いて水平方向の処理を行うとともに、垂直方向の分散情報を用いて垂直方向の処理を行うことができる。
【０１９３】
図１７は、本発明を適用したノイズ除去装置の他の実施の形態の構成例を示すブロック図である。
【０１９４】
図１７において、ノイズ除去装置６０には、水平分散計算部６１、垂直分散計算部６２、垂直ローパスフィルタ６３、水平ローパスフィルタ６４、水平画素単位領域判定部６５、垂直画素単位領域判定部６６、水平ブロック単位領域判定部６７、垂直ブロック単位領域判定部６８、水平閾値決定部６９、垂直閾値決定部７０、水平非線形平滑化フィルタ７１、垂直非線形平滑化フィルタ７２、およびブロック境界検出部７３が設けられている。
【０１９５】
水平分散計算部６１および垂直分散計算部６２には、図１の分散計算部１１と同様に、入力データとしての画像データが入力され、水平分散計算部６１は、注目画素についての水平方向の分散情報としての、例えば、水平方向の分散ＶHを計算し、垂直分散計算部６２は、注目画素についての垂直方向の分散情報としての、例えば、垂直方向の分散ＶVを計算する。
【０１９６】
このとき、水平分散計算部６１と垂直分散計算部６２とは、それぞれ異なる数の画素（画素値）を用いて分散を求めることができる。水平分散計算部６１は、注目画素を中心とする水平方向の、例えば、５画素（tap）を用い、上述の式（１）にしたがい、注目画素についての水平方向の分散ＶHを計算する。垂直分散計算部６２は、注目画素を中心とする垂直方向の、例えば、３画素（tap）を用い、上述の式（１）にしたがい、注目画素についての垂直方向の分散ＶVを計算する。なお、水平方向の分散ＶHと垂直方向の分散ＶVとは、同一の数の画素を用いて求めることもできる。
【０１９７】
そして、水平分散計算部６１は、注目画素についての水平方向の分散ＶHを垂直ローパスフィルタ６３に供給し、垂直分散計算部６２は、注目画素についての垂直方向の分散ＶVを水平ローパスフィルタ６４に供給する。
【０１９８】
垂直ローパスフィルタ６３は、水平分散計算部６１からの注目画素についての水平方向の分散ＶHを水平方向に平滑化する。垂直ローパスフィルタ６３は、注目画素についての水平方向の分散ＶHを水平方向に平滑化することにより得られる注目画素についての水平方向の平滑化値LPF（ＶH）を、水平画素単位領域判定部６５および水平閾値決定部６９に供給する。
【０１９９】
水平ローパスフィルタ６４は、垂直分散計算部６２からの注目画素についての垂直方向の分散ＶVを垂直方向に平滑化する。水平ローパスフィルタ６４は、注目画素についての垂直方向の分散ＶVを垂直方向に平滑化することにより得られる注目画素についての垂直方向の平滑化値LPF（ＶV）を、垂直画素単位領域判定部６６および垂直閾値決定部７０に供給する。
【０２００】
水平画素単位領域判定部６５は、図４のメモリ２１、水平差分計算部２２、水平ヒストグラム計算部２４、および水平方向領域判定部２６（いずれも図示せず）が設けられる点で、図４の画素単位領域判定部１３と共通する。但し、水平画素単位領域判定部６５は、垂直差分計算部２３、垂直ヒストグラム計算部２５、および垂直方向領域判定部２７が設けられていない点で、図４の画素単位領域判定部１３と相違する。
【０２０１】
そして、水平画素単位領域判定部６５は、画素単位領域判定部１３と同様に、垂直ローパスフィルタ６３からの注目画素についての水平方向の平滑化値LPF（ＶH）に基づいて、画像データを構成する各画素について、画素が属する領域が、エッジ領域、テクスチャ領域、フラット領域、またはその他の領域のうちのいずれであるかを判定する水平方向の画素単位領域判定処理を行う。そして、水平画素単位領域判定部６５は、水平方向の画素単位領域判定処理を行った結果、注目画素についての水平方向の画素単位領域情報を水平閾値決定部６９に供給する。
【０２０２】
垂直画素単位領域判定部６６は、図４のメモリ２１、垂直差分計算部２３、垂直ヒストグラム計算部２５、および垂直方向領域判定部２７（いずれも図示せず）が設けられる点で、図４の画素単位領域判定部１３と共通する。但し、垂直画素単位領域判定部６６は、水平差分計算部２２、水平ヒストグラム計算部２４、および水平方向領域判定部２６が設けられていない点で、図４の画素単位領域判定部１３と相違する。
【０２０３】
そして、垂直画素単位領域判定部６６は、図４の画素単位領域判定部１３と同様に、水平ローパスフィルタ６４からの注目画素についての垂直方向の平滑化値LPF（ＶV）に基づいて、画像データを構成する各画素について、画素が属する領域が、エッジ領域、テクスチャ領域、フラット領域、またはその他の領域のうちのいずれであるかを判定する垂直方向の画素単位領域判定処理を行う。そして、垂直画素単位領域判定部６６は、垂直方向の画素単位領域判定処理を行った結果、注目画素についての垂直方向の画素単位領域情報を垂直閾値決定部７０に供給する。
【０２０４】
水平ブロック単位領域判定部６７は、図８の水平方向画素単位領域情報バッファ３１、水平方向ブロック単位抽出部３３、水平方向エッジ割合計算部３５、水平方向テクスチャ割合計算部３７、水平方向エッジ割合比較部３９、水平方向テクスチャ割合比較部４１、および水平方向ブロック単位領域決定部４３が設けられている点で、図８のブロック単位領域判定部１４と共通する。但し、水平ブロック単位領域判定部６７は、垂直方向画素単位領域情報バッファ３２、垂直方向ブロック単位抽出部３４、垂直方向エッジ割合計算部３６、垂直方向テクスチャ割合計算部３８、垂直方向エッジ割合比較部４０、垂直方向テクスチャ割合比較部４２、および垂直方向ブロック単位領域決定部４４が設けられていない点で図８のブロック単位領域判定部１４と相違する。
【０２０５】
そして、水平ブロック単位領域判定部６７は、図８のブロック単位領域判定部１４と同様に、水平方向に処理された画素単位領域情報に基づいて、ブロック境界検出部７３のブロック境界情報により、ブロック単位で画素が属する領域が、エッジ領域、テクスチャ領域、またはフラット領域のいずれであるかを判定する水平方向のブロック単位領域判定処理を行う。そして、水平ブロック単位領域判定部６７は、水平方向のブロック単位領域判定処理を行った結果、ブロック単位で水平方向のブロック単位領域情報を水平閾値決定部６９に供給する。
【０２０６】
垂直ブロック単位領域判定部６８は、図８のブロック単位領域判定部１４の水平ブロック単位領域判定部６７は、垂直方向画素単位領域情報バッファ３２、垂直方向ブロック単位抽出部３４、垂直方向エッジ割合計算部３６、垂直方向テクスチャ割合計算部３８、垂直方向エッジ割合比較部４０、垂直方向テクスチャ割合比較部４２、および垂直方向ブロック単位領域決定部４４が設けられている点で、共通する。但し、垂直ブロック単位領域判定部６８は、図８の水平方向画素単位領域情報バッファ３１、水平方向ブロック単位抽出部３３、水平方向エッジ割合計算部３５、水平方向テクスチャ割合計算部３７、水平方向エッジ割合比較部３９、水平方向テクスチャ割合比較部４１、および水平方向ブロック単位領域決定部４３が設けられていない点で図８のブロック単位領域判定部１４と相違する。
【０２０７】
そして、垂直ブロック単位領域判定部６８は、図８のブロック単位領域判定部１４と同様に、垂直方向に処理された画素単位領域情報に基づいて、ブロック境界検出部７３のブロック境界情報により、ブロック単位で画素が属する領域が、エッジ領域、テクスチャ領域、またはフラット領域のいずれであるかを判定する垂直方向のブロック単位領域判定処理を行う。そして、垂直ブロック単位領域判定部６８は、垂直方向のブロック単位領域判定処理を行った結果、ブロック単位で垂直方向のブロック単位領域情報を垂直閾値決定部７０に供給する。
【０２０８】
水平閾値決定部６９は、図１０の水平方向パラメータ選択部５３および水平方向閾値決定部５５（いずれも図示せず）が設けられる点で、図１０の閾値決定部１５と共通する。但し、水平閾値決定部６９は、垂直方向パラメータ選択部５４および垂直方向閾値決定部５６が設けられていない点で、図１０の閾値決定部１５と相違する。
【０２０９】
そして、水平閾値決定部６９は、図１０の閾値決定部１５と同様に、垂直ローパスフィルタ６３からの注目画素についての水平方向の平滑化値LPF（ＶH）と、水平画素単位領域判定部６５からの注目画素についての水平方向の領域情報とに基づいて、注目画素についての水平方向の閾値εを決定し、水平非線形平滑化フィルタ７１に供給する。
【０２１０】
垂直閾値決定部７０は、図１０の垂直方向パラメータ選択部５４および垂直方向閾値決定部５６（いずれも図示せず）が設けられる点で、図１０の閾値決定部１５と共通する。但し、垂直閾値決定部７０は、水平方向パラメータ選択部５３および水平方向閾値決定部５５が設けられていない点で、図１０の閾値決定部１５と相違する。
【０２１１】
そして、垂直閾値決定部７０は、図１０の閾値決定部１５と同様に、水平ローパスフィルタ６４からの注目画素についての垂直方向の平滑化値LPF（ＶV）と、垂直画素単位領域判定部６６からの注目画素についての垂直方向の領域情報とに基づいて、注目画素についての垂直方向の閾値εを決定し、垂直非線形平滑化フィルタ７２に供給する。
【０２１２】
水平非線形平滑化フィルタ７１には、入力データとしての画像データが供給されるとともに、水平閾値決定部６９から注目画素についての水平方向の閾値εが供給される。水平非線形平滑化フィルタ７１は、例えば、εフィルタであり、水平閾値決定部６９からの注目画素についての水平方向の閾値εに基づく度合いで注目画素の平滑化がされるように、画像データを水平方向にフィルタリングして垂直非線形平滑化フィルタ７２に供給する。
【０２１３】
垂直非線形平滑化フィルタ７２には、水平非線形平滑化フィルタ７１が水平方向にフィルタリングした画像データが供給されるとともに、垂直閾値決定部７０から注目画素についての垂直方向の閾値εが供給される。垂直非線形平滑化フィルタ７２は、例えば、εフィルタであり、垂直閾値決定部７０からの注目画素についての垂直方向の閾値εに基づく度合いで注目画素の平滑化がされるように、画像データを垂直方向にフィルタリングする。
【０２１４】
以上のように、ノイズ除去装置６０では、入力データとしての画像データから、注目画素についての水平方向の分散ＶHと垂直方向の分散ＶVとがそれぞれ求められ、水平方向の分散ＶHを用いて水平方向の処理が行われ、垂直方向の分散ＶVに基づいて垂直方向の処理が行われる。
【０２１５】
このように、水平方向の処理に水平方向の分散ＶHを用いるとともに、垂直方向の処理に垂直方向の分散ＶVを用いることにより、図１のノイズ除去装置１０のように、水平方向の処理と垂直方向の処理に同じ分散Ｖを用いる場合より、水平方向のフィルタリングに適した水平方向の閾値ε、および垂直方向のフィルタリングに適した垂直方向の閾値εを得ることができる。
【０２１６】
例えば、細線どうしが交差する交点付近の画素においては、水平方向の分散ＶHと垂直方向の分散ＶVとが異なる傾向が高く、ノイズ除去装置６０によれば、特に、細線どうしが交差する交点付近をフィルタリングする場合、水平方向のフィルタリングに適した水平方向の閾値ε、および垂直方向のフィルタリングに適した垂直方向の閾値εで、フィルタリングすることができ、図１のノイズ除去装置１０における場合よりも、より効果的にノイズを除去することができる。
【０２１７】
なお、ノイズ除去装置１０や６０では、注目画素についての領域情報に基づき、ノイズ除去処理のパラメータとして、εフィルタで使用される閾値εを決定するようにしたが、ノイズ除去処理のパラメータとしては、その他、例えば、ノイズ除去処理としてのフィルタリングを行うフィルタのタップ係数を求める（決定する）こともできる。
【０２１８】
また、本実施の形態においては、ノイズ除去処理を行う非線形平滑化フィルタとして、εフィルタを用いたが、非線形平滑化フィルタには、その他のフィルタ、例えば、平滑化されるノイズのレベルを閾値で制御することができるフィルタ（以下、適宜、Ｍフィルタという）を用いることができる。なお、Ｍフィルタの詳細については、例えば、特開２００４−２８９６０７号公報に記載されている。
【０２１９】
Ｍフィルタは、例えば、注目画素をフィルタリングするとき、注目画素を含む周辺の画素を、複数の種類のタップ係数を用いて加重平均することで複数の種類の平滑化値を求め、注目画素の画素値と加重平均に用いた画素の画素値との差分値を所定の閾値と比較した結果に基づいて、複数の種類の平滑化値に対する重みを算出し、この重みに従って複数の種類の平滑化値を合成する。このように、閾値に基づく重みに従って複数の種類の平滑化値を合成することで、Ｍフィルタでは、平滑化されるノイズのレベルを閾値で制御することができる。
【０２２０】
このようなＭフィルタにおいて、注目画素についての領域情報に基づいて決定される閾値を用いることにより、エッジ領域、テクスチャ領域、フラット領域の各領域に応じた閾値に基づく重みに従って複数の種類の平滑化値が合成され、各領域に応じたノイズ除去処理をすることができる。
【０２２１】
なお、ノイズ除去装置１０や６０では、例えば、MPEG方式でエンコードされた画像データがデコードされた動画像（のデータ）や、JPEG方式でエンコードされた画像データがデコードされた静止画像（のデータ）など、動画像であるか静止画像であるかを問わず、ノイズ除去処理の対象とすることができる。
【０２２２】
また、以上においてはDCT処理などの圧縮処理を行うためのブロック化におけるブロック境界をブロック境界検出部１７，６３により検出させる例について説明してきたが、符号化情報における基本的な情報であるため、デコーダなどで使用したものをそのまま利用するようにしても良い。
【０２２３】
以上においては、ブロック単位で領域情報を統一する場合の例について説明してきたが、例えば、低画質の画像に対してはブロック単位で領域情報を揃える事でモスキートノイズを低減させることは有効であるが、入力画像が、ある程度以上の画質の画像の場合、画素単位で求めた領域情報を用いた方がノイズの低減効果が高い。そこで、画質に応じて、ブロック単位での領域情報を用いるか、または、画素単位での領域情報を用いるかを切り替えるようにしても良い。
【０２２４】
例えば、MPEG2などの圧縮符号化を用いる場合、1920画素×1080画素の解像度の画像のビットレートが10Mbpsであれば画質が低下していることが推定されるが、720画素×480画素のビットレートが20Mbps程度であれば、ある程度の画質が保証されていると見ても良いものである。しかしながら、ビットレートと解像度による方法では画質との関係は一定とはいえず、エンコードの状況(動きベクトルの探索範囲や原画像の動きや原画像の情報量など)によって同一条件においても画質は大きく変動する。
【０２２５】
すなわち、MPEG2による圧縮符号化では、単一の画像のみで符号化を行うイントラフレーム(I-frame)と、複数枚の画像から予測誤差分を符号化する予測フレームがあるため、同一ビットレートであっても、これらのフレームの種類より、画像1枚に割り当てられるビット量の配分が異なるのでビットレートと画質の関係は一定といえない。
【０２２６】
ただし、イントラフレームに限れば、ビットレートと画質の関係でも、利用されるビット量はほぼすべてDCT係数の伝送に利用されるため、画質の予測に利用可能であると考えられる。
【０２２７】
一方で入力画像自体に情報量が少なければ、それを表現するのに必要なビット量は少なくて済む。
【０２２８】
これらのことから、入力画像の情報量と、割り当てられたビット量との比を歪量と定義し、この歪量により符号化画像の画質を推定することができる。
【０２２９】
そこで、次に、図１８を参照して、入力画像の情報量と、フレームビット数との比で定義される歪量により、画素単位領域情報およびブロック単位領域情報を画素単位で混合するようにしたノイズ除去装置１０について説明する。尚、図１８において、図１と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略するものとする。
【０２３０】
図１８において、図１のノイズ除去装置１０と異なるのは、新たに領域情報合成部８１が備えられている点である。領域情報合成部８１は、画素単位領域判定部１３からの画素単位領域情報と、ブロック単位領域判定部１４からのブロック単位領域情報とをバッファリングし、画像の高周波成分のパワーとフレームビットから得られる歪量に基づいて、画素単位で混合し、閾値決定部１５に出力する。
【０２３１】
次に、図１９のブロック図を参照して、図１８の領域情報合成部８１の構成例について説明する。
【０２３２】
図１９の領域情報合成部１８には、水平方向画素単位領域情報バッファ９１、垂直方向画素単位領域情報バッファ９２、水平方向ブロック単位領域情報バッファ９３、垂直方向ブロック単位領域情報バッファ９４、水平方向領域情報合成部９５、垂直方向領域情報合成部９６、パワー計測部９７、歪量計算部９８、および混合比計算部９９が設けられている。
【０２３３】
水平方向画素単位領域情報バッファ９１は、画素単位領域情報判定部１３より供給されてくる水平方向画素単位情報を記憶する。垂直方向画素単位領域情報バッファ９２は、画素単位領域情報判定部１３より供給されてくる垂直方向画素単位情報を記憶する。
【０２３４】
水平方向ブロック単位領域情報バッファ９３は、ブロック単位領域情報判定部１４より供給されてくる水平方向ブロック単位情報を記憶する。垂直方向ブロック単位領域情報バッファ９４は、ブロック領域情報判定部１４より供給されてくる垂直方向ブロック単位情報を記憶する。
【０２３５】
パワー計測部９７は、HPF（Hi Pass Filter）９７ａを備えており、入力画像に対してHFP９７ａを掛けることにより、高周波成分を抽出して、それらの積算し、積算結果を画像におけるパワーPとして歪計算部９８に出力する。
【０２３６】
歪計算部９８は、デコーダ１より画像と共に供給されてくるイントラフレームに割り当てられているビット数を示すフレームビット量Bと、入力画像のパワーPに基づいて、歪量γ（＝P/B）を計算し混合比計算部９９に供給する。すなわち、パワーPがフレームビット量Bに対して大きい場合、設定されたフレームビットに対して高周波成分が多い画像となるので、歪量γは大きくなり、画質が低い画像であると推定され、逆に、パワーPがフレームビット量Bに対して小さい場合、設定されたフレームビットに対して高周波成分が少ない画像となるので、歪量γは小さくなり、画質が高い画像であると推定される。
【０２３７】
混合比計算部９９は、歪量γと混合比Ｍとの関係が記憶されているテーブル９９ａを内蔵しており、歪量計算部９８より供給されてくる歪量γに対応する画素単位領域情報とブロック単位領域情報との混合比Mを計算して、水平方向領域情報合成部９５、および垂直方向領域情報合成部９６に供給する。
【０２３８】
水平方向領域情報合成部９５は、混合比計算部９９より供給されて混合比Ｍに基づいて水平方向画素単位領域情報バッファ９１の水平方向画素単位情報と、水平方向ブロック単位領域情報バッファ９３の水平方向ブロック単位領域情報とを混合して、合成領域情報として閾値決定部１５に出力する。
【０２３９】
垂直方向領域情報合成部９６は、混合比計算部９９より供給されて混合比Ｍに基づいて垂直方向画素単位領域情報バッファ９２の垂直方向画素単位情報と、垂直方向ブロック単位領域情報バッファ９４の垂直方向ブロック単位領域情報とを混合して、合成領域情報として閾値決定部１５に出力する。
【０２４０】
次に、図２０のフローチャートを参照して、図１８のノイズ除去装置１０がモスキートノイズを除去するノイズ除去処理における水平方向の処理ついて説明する。尚、図２０のフローチャートにおけるステップＳ６１乃至Ｓ６６、およびＳ６８乃至Ｓ７０の処理は、図１３のフローチャートにおけるステップＳ１１乃至Ｓ１９の処理と同様であるので、その説明は省略するものとする。ただし、ステップＳ６３の処理により求められた画素単位領域情報は、ブロック単位領域判定部１４に加えて領域情報合成部８１に供給され、ステップＳ６５により求められたブロック単位領域情報は、領域情報合成部８１に供給される。また、ステップＳ６８以降においては、ブロック単位領域情報に代えて、ステップＳ６７の処理により求められる合成領域情報に基づいて処理がなされるものとする。従って、図２０において、図１３と異なるのは、ステップＳ６７における領域情報混合処理である。
【０２４１】
そこで、図２１のフローチャートを参照して、領域情報合成処理について説明する。
【０２４２】
ステップＳ８１において、パワー計測部９７は、入力画像に対してHFP９７ａを掛けることにより、高周波成分を抽出して、それらの積算値を画像におけるパワーPとして歪計算部９８に出力する。
【０２４３】
ステップＳ８２において、歪計算部９８は、デコーダ１より画像と共に供給されてくるイントラフレームに割り当てられているビット数を示すフレームビット量Bと、入力画像のパワーPに基づいて、歪量γ（＝P/B）を計算し混合比計算部９９に供給する。この処理により、フレームビット量Bに対する入力画像の高周波成分のパワーP割合が求められるため、歪量γが大きいほど画質が低く、小さいほど画質が高いことが推定される。
【０２４４】
ステップＳ８３において、混合比計算部９９は、歪量γと混合比Mとの関係が記憶されているテーブル９９ａの情報に基づいて、歪量計算部９８より供給されてくる歪量γに対応する画素単位領域情報とブロック単位領域情報との混合比Mを計算して、水平方向領域情報合成部９５に供給する。
【０２４５】
ステップＳ８４において、水平方向領域情報合成部９５は、混合比計算部９９より供給されて混合比Ｍに基づいて、水平方向画素単位領域情報バッファ９１の水平方向画素単位情報と、水平方向ブロック単位領域情報バッファ９３の水平方向ブロック単位領域情報とを混合して、合成領域情報として閾値決定部１５に出力する。
【０２４６】
すなわち、テーブル９９ａに格納されている歪量γと混合比Mとの関係は、例えば、図２２で示されるようなものである。ここで、混合比Mは、画素単位領域情報：ブロック単位領域情報＝（1−M）：Mで定義される。従って、図２２で示されるように、歪量γが０乃至γ１においては、歪量γが小さいため、入力画像が比較的高画質であると考えられるので、混合比Mが０とされ、ブロック単位で全ての画素について画素単位領域情報が適用される。逆に、歪量γがγ２よりも大きいときにおいては、歪量γが大きくなるため、入力画像が比較的低画質であると考えられるので、混合比Mが１とされ、ブロック単位で全ての画素についてブロック単位領域情報が適用される。さらに、歪量γが、γ１＜γ＜γ２であるような場合、混合比Mは、０＜M＜１となるため、ブロック単位で（または、画像全体として）各画素は、画素単位領域情報とブロック単位領域情報とが混合比に対応して混在することになる。例えば、図２２で示されるγ１とγ２の中間位置であるγｈであるような場合、混合比Ｍは1/2となる。このような場合、水平方向領域情報合成部９５は、各ブロックについて、例えば、図２３で示される丸印で示される画素については、ブロック単位領域情報を適用し、それ以外の画素については、画素単位領域情報を適用する。図２３において、1ブロックが8画素×8画素の範囲であるものとし、３２画素ずつブロック単位領域情報と画素単位領域情報に混合されており、混合比通り、それぞれの領域情報が50%ずつ採用されていることが示されている。尚、ブロック単位領域情報が採用される画素と、画素単位領域情報が採用される画素の配置は、図２３で示されるものに限られず、その他の配置であってもよい。
【０２４７】
また、以上の処理は、水平方向画素単位領域情報バッファ９１、水平方向ブロック単位領域情報バッファ９３、水平方向領域情報合成部９５、パワー計測部９７、歪量計算部９８、および混合比計算部９９により水平方向における領域情報合成処理について説明してきたが、当然のことながら、垂直方向画素単位領域情報バッファ９２、垂直方向ブロック単位領域情報バッファ９４、垂直方向領域情報合成部９６、パワー計測部９７、歪量計算部９８、および混合比計算部９９によっても同様の領域情報合成処理が行われ、垂直方向の合成領域情報が出力される。
【０２４８】
以上のような処理により、入力画像の高周波成分のパワーとフレームビット量との比率で定義される歪量により画質を推定することで、推定された画質に併せて適応的に画素単位領域情報とブロック単位領域情報とを使い分けることが可能となり、結果として、最適な領域情報に基づいてノイズを除去することが可能となる。
【０２４９】
上述した一連の処理は、ハードウエアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２５０】
そこで、図２４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２５１】
コンピュータは、CPU（Central Processing Unit）１０１、ROM（Read Only Memory）１０２、RAM(Random Access Memory)１０３、内部バス１０４、入出力インターフェース１０５、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、およびドライブ１１０を備える。
【０２５２】
CPU１０１、ROM１０２、およびRAM１０３は、内部バス１０４を介して相互に接続されている。この内部バス１０４にはまた、入出力インターフェース１０５も接続されている。
【０２５３】
CPU１０１は、ROM１０２に記憶されているプログラム、または、RAM１０３にロードされたプログラムに従って各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上で必要なデータなどが適宜記憶される。
【０２５４】
入出力インターフェース１０５には、キーボード、マウスなどよりなる入力部１０６、LCD（Liquid Crystal Display）、CRT（Cathode Ray Tube）などよりなる出力部１０７、ハードディスクなどより構成される記憶部１０８、モデム、ターミナルアダプタ、その他の通信インターフェースなどより構成される通信部１０９、およびドライブ１１０が接続されている。
【０２５５】
ドライブ１１０には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどよりなる記録媒体１１１が適宜装着される。
【０２５６】
CPU１０１によって実行されるプログラムは、ROM１０２や記憶部１０８に予め記憶（記録）しておくことができる。また、プログラムを記録した記録媒体１１１を、いわゆるパッケージソフトウエアとして提供することができ、プログラムは、記録媒体１１１からドライブ１１０によって読み出され、記憶部１０８にインストールされる。また、プログラムを、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、通信部１０９に無線で転送し、または、LAN(Local Area Network)やインターネットといったネットワークを介して、通信部１０９に有線で転送して提供することができ、プログラムは、通信部１０９から記憶部１０８に供給されてインストールされる。
【０２５７】
このように構成されるコンピュータは、ユーザによって入力部１０６が操作されることにより、記憶部１０８に記憶されている画像データを出力部１０７で再生させる指令が入力されると、それに従って、ROM１０２に記憶されているプログラム、または、記憶部１０８からRAM１０３にロードされたプログラムを、CPU１０１に実行させる。
【０２５８】
これにより、CPU１０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０１は、その処理結果としてのノイズが除去された画像データ（画像）を、入出力インターフェース１０５を介して、出力部１０７に表示させる。
【０２５９】
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２６０】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【図面の簡単な説明】
【０２６１】
【図１】本発明を適用したノイズ除去装置の一実施の形態の構成例を示すブロック図である。
【図２】分散計算部による分散Ｖの計算を説明する図である。
【図３】画像データ、分散Ｖ、および平滑化値LPF（Ｖ）の波形を模式的に示す図である。
【図４】画素単位領域判定部の構成例を示すブロック図である。
【図５】メモリの記憶内容を示す図である。
【図６】水平ヒストグラム計算部で求められる変化量のヒストグラムを説明する図である。
【図７】水平方向領域判定部と垂直方向領域判定部が行う、注目画素が属する画素単位領域判定処理を説明する図である。
【図８】ブロック単位領域判定部の構成例を示すブロック図である。
【図９】ブロック単位領域判定部によるブロック単位領域判定処理を説明する図である。
【図１０】閾値決定部の構成例を示すブロック図である。
【図１１】閾値決定曲線を示す図である。
【図１２】εフィルタによるフィルタリングを説明する図である。
【図１３】図１のノイズ除去装置のノイズ除去処理を説明するフローチャートである。
【図１４】画素単位領域判定処理を説明するフローチャートである。
【図１５】ブロック単位領域判定処理を説明するフローチャートである。
【図１６】閾値決定処理を説明するフローチャートである。
【図１７】本発明を適用したノイズ除去装置の他の実施の形態の構成例を示すブロック図である。
【図１８】ノイズ除去装置のその他の実施の形態の構成例を示すブロック図である。
【図１９】図１８の領域情報合成部の構成例を示すブロック図である。
【図２０】図１８のノイズ除去装置のノイズ除去処理を説明するフローチャートである。
【図２１】領域情報合成処理を説明するフローチャートである。
【図２２】歪量と混合比との関係を示すテーブルの情報を説明する図である。
【図２３】領域情報の合成例を説明する図である。
【図２４】ノイズ除去装置を実現するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０２６２】
１０ ノイズ除去装置， １１ 分散計算部， １２ ローパスフィルタ，１３ 画素単位領域判定部， １４ ブロック単位領域判定部， １５ 閾値決定部， １６ 非線形平滑フィルタ， ２１ メモリ， ２２ 水平差分計算部， ２３ 垂直差分計算部， ２４ 水平ヒストグラム計算部， ２５ 垂直ヒストグラム計算部， ２６ 水平方向領域判定部， ２７ 垂直方向領域判定部， ３１ 水平方向画素単位領域情報バッファ， ３２ 垂直方向画素単位領域情報バッファ， ３３ 水平方向ブロック単位抽出部， ３４ 垂直方向ブロック単位抽出部， ３５ 水平方向エッジ割合計算部， ３６ 垂直方向エッジ割合計算部， ３７ 水平方向テクスチャ割合計算部， ３８ 垂直方向テクスチャ割合計算部， ３９ 水平方向エッジ割合比較部， ４０ 垂直方向エッジ割合比較部， ４１ 水平方向テクスチャ割合比較部， ４２ 垂直方向テクスチャ割合比較部， ４３ 水平方向ブロック単位領域決定部， ４４ 垂直方向ブロック単位領域決定部． ５１ 水平方向パラメータ選択部， ５２ 垂直方向パラメータ選択部， ５３ 水平方向閾値決定部， ５４ 垂直方向閾値決定部， ８１ 領域情報合成部
【技術分野】
【０００１】
本発明は、データ処理装置およびデータ処理方法、並びにプログラムに関し、特に、例えば、画像データからモスキートノイズを効果的に除去することができるデータ処理装置およびデータ処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
例えば、画像データを圧縮するMPEG（Moving Picture Experts Group）などの圧縮方式で、画像データを圧縮するエンコーダは、画像データをブロック化し、各ブロックをDCT（Discrete Cosine Transform）処理する。このため、デコーダが、MPEG方式でエンコードされた画像データをデコードすると、デコードされた画像データにおいては、原理的に、画像データ（画像）のエッジの周辺部分にモスキートノイズが発生する。
【０００３】
モスキートノイズを除去する従来のノイズ除去装置は、一般に、画像データの画素値の変化を検出し、画素値の変化が大きければエッジであると判定する。そして、ノイズ除去装置は、エッジの周辺部分以外の部分に対するフィルタリングよりも平滑化の度合いが高くなるように、画像データのエッジの周辺部分をフィルタリングする。これにより、画像データのエッジの周辺部分に発生するモスキートノイズが、画像データから除去される。
【０００４】
なお、画素値の変化が急峻なエッジを保存したまま、エッジ以外の部分の画像データを増幅させる非線形平滑フィルタを使用して、画像データのコントラストを向上させる装置が開示されている（例えば、特許文献１参照）。
【０００５】
また、ノイズの視覚的に目立つ領域に選択的に処理をかけるものも提案されているが、モスキートノイズの出現範囲はブロック単位であるので処理領域を適切に選択しづらく、消しすぎや消し残りの問題が存在した。そこで、ブロック単位でノイズの有無を判定しているものもある（例えば、特許文献２参照）。
【特許文献１】特開２００１−２９８６２１号公報
【特許文献２】特開２００５−１５１３８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来のノイズ除去装置では、画像データに、エッジと有意なテクスチャ（例えば、模様があるなどして、画像データの画素値の変化がある程度存在する部分）とがある場合に、エッジと有意なテクスチャとを適切に判別することが困難であった。即ち、従来のノイズ除去装置では、ある程度大きな画素値の変化が検出されたときに、その画素値の変化がエッジによるものなのか、有意なテクスチャによるものなのかを適切に判別することが困難であった。例えば、従来のノイズ除去装置は、有意なテクスチャによる画素値の変化を検出したときであっても、エッジであると判定することがあった。
【０００７】
このように、エッジと有意なテクスチャとの判別が適切に行われない場合、ノイズ除去装置は、エッジの周辺部分と有意なテクスチャ（の周辺部分）とを、同様の平滑化の度合いでフィルタリングする。その場合、例えば、有意なテクスチャの画質が劣化することや、エッジの周辺部分のモスキートノイズが十分に除去されないことがある。
【０００８】
また、ブロック単位でノイズの有無を判定してノイズ除去を行う場合、ノイズの判定がブロックという領域に固定されているため、ノイズが発生しているかどうかは精度良く判定できるものの、そのノイズが視覚的に不快であるかどうかを精度良く判定できないので、適切なモスキートノイズの除去ができない恐れがあった。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、画像データからモスキートノイズを効果的に除去することができるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の一側面のデータ処理装置は、画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報を計算する分散情報計算手段と、分散情報を平滑化し、平滑化値を出力する平滑化手段と、前記平滑化値に基づいて、前記画素が属する領域を画素単位で判定し、その領域を表す画素単位領域情報を出力する画素単位判定手段と、画素単位判定手段による画素単位領域情報に基づいて、ブロック単位で前記画素が属する領域を判定し、その領域を表すブロック単位領域情報を出力するブロック単位判定手段と、前記ブロック単位領域情報と前記平滑化値とに基づいて、前記画像データを構成する画素ごとに、ノイズ除去処理のパラメータを決定するパラメータ決定手段と、画素ごとに決定されたパラメータに基づき、画像データにノイズ除去処理を施すノイズ除去手段とを備えることを特徴とする。
【００１１】
前記画素単位判定手段には、前記画像データを構成する画素のうちの、注目している注目画素を含む、前記注目画素の周辺に位置する画素の前記平滑化値の変化量を計算する変化量計算手段と、前記変化量のヒストグラムを計算するヒストグラム計算手段と、前記ヒストグラムに基づいて、前記注目画素が属する領域を画素単位で判定する画素単位領域判定手段とを設けるようにさせることができる。
【００１２】
前記画素単位判定手段には、前記画素が属する領域が、エッジ領域、テクスチャ領域、またはフラット領域のうちのいずれであるかを前記画素単位で判定させるようにすることができる。
【００１３】
前記ブロック単位判定手段には、前記画素単位判定手段による前記画像データを構成するブロック単位の画素のうちの、領域毎の割合を計算する割合計算手段と、前記領域毎の割合と所定の閾値とを比較する比較手段と、比較手段の比較結果に基づいて、前記ブロック単位で画素が属する領域を判定するブロック単位領域判定手段とを設けるようにさせることができる。
【００１４】
前記ブロック単位判定手段には、前記ブロック単位で各画素が属する領域が、エッジ領域、テクスチャ領域、またはフラット領域のうちのいずれであるかを前記ブロック単位で判定させるようにすることができる。
【００１５】
本発明の一側面のデータ処理方法は、画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報を計算する分散情報計算ステップと、分散情報を平滑化し、平滑化値を出力する平滑化ステップと、前記平滑化値に基づいて、前記画素が属する領域を画素単位で判定し、その領域を表す画素単位領域情報を出力する画素単位判定ステップと、画素単位判定ステップの処理による画素単位領域情報に基づいて、ブロック単位で前記画素が属する領域を判定し、その領域を表すブロック単位領域情報を出力するブロック単位判定ステップと、前記ブロック単位領域情報と前記平滑化値とに基づいて、前記画像データを構成する画素ごとに、ノイズ除去処理のパラメータを決定するパラメータ決定ステップと、画素ごとに決定されたパラメータに基づき、画像データにノイズ除去処理を施すノイズ除去ステップとを含むことを特徴とする。
【００１６】
本発明の一側面のプログラムは、画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報を計算する分散情報計算ステップと、分散情報を平滑化し、平滑化値を出力する平滑化ステップと、前記平滑化値に基づいて、前記画素が属する領域を画素単位で判定し、その領域を表す画素単位領域情報を出力する画素単位判定ステップと、画素単位判定ステップの処理による画素単位領域情報に基づいて、ブロック単位で前記画素が属する領域を判定し、その領域を表すブロック単位領域情報を出力するブロック単位判定ステップと、前記ブロック単位領域情報と前記平滑化値とに基づいて、前記画像データを構成する画素ごとに、ノイズ除去処理のパラメータを決定するパラメータ決定ステップと、画素ごとに決定されたパラメータに基づき、画像データにノイズ除去処理を施すノイズ除去ステップとを含むことを特徴とする。
【００１７】
本発明のデータ処理装置およびデータ処理方法、並びにプログラムにおいては、画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報が計算され、分散情報が平滑化された平滑化値が出力され、平滑化値に基づいて、前記画素が属する領域が画素単位で判定され、その領域を表す画素単位領域情報が出力され、画素単位領域情報に基づいて、ブロック単位で前記画素が属する領域が判定され、その領域を表すブロック単位領域情報が出力され、前記ブロック単位領域情報と前記平滑化値とに基づいて、前記画像データを構成する画素ごとに、ノイズ除去処理のパラメータが決定され、画素ごとに決定されたパラメータに基づき、画像データにノイズ除去処理が施される。
【発明の効果】
【００１８】
本発明によれば、画像データからモスキートノイズを効果的に除去することができる。
【発明を実施するための最良の形態】
【００１９】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２０】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００２１】
本発明の一側面のデータ処理装置は、画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報を計算する分散情報計算手段（例えば、図１の分散計算部１１）と、分散情報を平滑化し、平滑化値を出力する平滑化手段（例えば、図１のローパスフィルタ１２）と、前記平滑化値に基づいて、前記画素が属する領域を画素単位で判定し、その領域を表す画素単位領域情報を出力する画素単位判定手段（例えば、図１の画素単位領域判定部１３）と、画素単位判定手段による画素単位領域情報に基づいて、ブロック単位で前記画素が属する領域を判定し、その領域を表すブロック単位領域情報を出力するブロック単位判定手段（例えば、図１のブロック単位領域判定部１４）と、前記ブロック単位領域情報と前記平滑化値とに基づいて、前記画像データを構成する画素ごとに、ノイズ除去処理のパラメータを決定するパラメータ決定手段（例えば、図１の閾値決定部１５）と、画素ごとに決定されたパラメータに基づき、画像データにノイズ除去処理を施すノイズ除去手段（例えば、図１の非線形平滑フィルタ１６）とを備えることを特徴とする。
【００２２】
画素単位判定手段には、画像データを構成する画素のうちの、注目している注目画素を含む、注目画素の周辺に位置する画素の平滑化値の変化量を計算する変化量計算手段（例えば、図４の水平差分計算部２２、および、垂直差分計算部２３）と、変化量のヒストグラムを計算するヒストグラム計算手段（例えば、図４の水平ヒストグラム計算部２４、および、垂直ヒストグラム計算部２５）と、ヒストグラムに基づいて、注目画素が属する領域を画素単位で判定する画素単位領域判定手段（例えば、図４の水平方向領域判定部２６、および、垂直方向領域判定部２７）とを設けるようにさせることができる。
【００２３】
前記ブロック単位判定手段には、前記画素単位判定手段による前記画像データを構成するブロック単位の画素のうちの、領域毎の割合を計算する割合計算手段（例えば、図８の水平方向エッジ割合計算部３５、水平方向テクスチャ割合計算部３７、垂直方向エッジ割合計算部３６、および、垂直方向テクスチャ割合計算部３８）と、前記領域毎の割合と所定の閾値とを比較する比較手段（例えば、図８の水平方向エッジ割合比較部３９、水平方向テクスチャ割合比較部４１、垂直方向エッジ割合比較部４０、および、垂直方向テクスチャ割合比較部４２）と、比較手段の比較結果に基づいて、前記ブロック単位で画素が属する領域を判定する領域判定手段（例えば、図の水平方向ブロック単位領域決定部４３、および、垂直方向ブロック単位領域決定部４４）とを設けるようにさせることができる。
【００２４】
本発明の一側面のデータ処理方法は、画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報を計算する分散情報計算ステップ（例えば、図１３のステップＳ１１）と、分散情報を平滑化し、平滑化値を出力する平滑化ステップ（例えば、図１３のステップＳ１２）と、前記平滑化値に基づいて、前記画素が属する領域を画素単位で判定し、その領域を表す画素単位領域情報を出力する画素単位判定ステップと（例えば、図１３のステップＳ１３）、画素単位判定ステップの処理による画素単位領域情報に基づいて、ブロック単位で前記画素が属する領域を判定し、その領域を表すブロック単位領域情報を出力するブロック単位判定ステップ（例えば、図１３のステップＳ１５）と、前記ブロック単位領域情報と前記平滑化値とに基づいて、前記画像データを構成する画素ごとに、ノイズ除去処理のパラメータを決定するパラメータ決定ステップ（例えば、図１３のステップＳ１６）と、画素ごとに決定されたパラメータに基づき、画像データにノイズ除去処理を施すノイズ除去ステップ（例えば、図１３のステップＳ１７）とを含むことを特徴とする。
【００２５】
なお、本発明の一側面のプログラムの請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係は、上述した本発明のデータ処理方法のものと同様であるので、その記載は省略する。
【００２６】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００２７】
図１は、本発明を適用したノイズ除去装置の一実施の形態の構成例を示すブロック図である。
【００２８】
図１において、ノイズ除去装置１０には、分散計算部１１、ローパスフィルタ１２、画素単位領域判定部１３、ブロック単位領域判定部１４、閾値決定部１５、非線形平滑フィルタ１６、およびブロック境界検出部１７が設けられている。
【００２９】
分散計算部１１、非線形平滑フィルタ１６、およびブロック境界検出部１７は、入力データとしての画像データをノイズ除去装置１０に入力するための端子（図示せず）に接続されており、分散計算部１１はまた、ローパスフィルタ１２に接続されている。また、ローパスフィルタ１２は、画素単位領域判定部１３および閾値決定部１５に接続されている。画素単位領域判定部１３は、ブロック単位領域判定部１４に接続されている。ブロック単位領域判定部１４は、閾値決定部１５およびブロック境界検出部１７に接続されている。閾値決定部１５は、非線形平滑フィルタ１６に接続されている。そして、非線形平滑フィルタ１６は、出力データとしての画像データをノイズ除去装置１０から出力するための端子（図示せず）に接続されている。
【００３０】
分散計算部１１には、入力データとしての画像データが、例えば、１フレーム（フィールド）単位で入力される。画像データは、例えば、MPEG方式でエンコードされた画像データがデコードされたものである。分散計算部１１は、１フレームの画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報としての、例えば、分散Ｖを計算し、ローパスフィルタ１２に供給する。
【００３１】
ローパスフィルタ１２は、分散計算部１１からの分散Ｖを平滑化する。ローパスフィルタ１２は、分散Ｖを平滑化することにより得られる平滑化値LPF（Ｖ）を、画素単位領域判定部１３および閾値決定部１５に供給する。
【００３２】
画素単位領域判定部１３は、ローパスフィルタ１２からの平滑化値LPF（Ｖ）に基づいて、画像データを構成する各画素について、画素が属する領域が、画素値が急峻に変化するエッジを構成する領域か、若しくはエッジの周辺の領域であるエッジ領域、物体表面の模様などの画素値の変化がある程度存在する領域であるテクスチャ領域、画素値の変化がほとんどない領域であるフラット領域、または、その他の領域のうちのいずれであるかを判定する画素単位領域判定処理を行う。
【００３３】
画素単位領域判定部１３は、画素単位領域判定処理を行った結果得られる画素単位の領域情報をブロック単位領域判定部１４に供給する。なお、領域情報は、画像データを構成する画素のうちの、注目している注目画素が属する領域が、エッジ領域、テクスチャ領域、フラット領域、または、その他の領域のいずれであるかを表す情報である。
【００３４】
ブロック単位領域判定部１４は、ブロック境界検出部１７より供給されてくるブロック境界情報と、画素単位領域判定部１３より供給されてくる各画素単位の領域情報とに基づいて、DCT処理で使用されるブロック単位で、各領域に属する割合を求めて、それらの割合と所定の閾値との比較により、ブロック単位の各画素の属する領域を判定するブロック単位領域判定処理を行う。
【００３５】
ブロック単位領域判定部１４は、ブロック単位領域判定処理を行った結果得られるブロック単位の各画素の領域情報を閾値決定部１５に供給する。
【００３６】
閾値決定部１５は、ローパスフィルタ１２からの平滑化値LPF（Ｖ）と、ブロック単位領域判定部１４からのブロック単位の各画素の領域情報とに基づいて、非線形平滑フィルタ１６が行うノイズ除去処理のパラメータである閾値εを決定し、非線形平滑フィルタ１６に供給する。閾値εは、エッジ領域、テクスチャ領域、フラット領域、または、その他の領域のそれぞれに対応するように決定される。
【００３７】
非線形平滑フィルタ１６は、閾値決定部１５からの閾値εに基づき、入力データとしての画像データにノイズ除去処理を施す。即ち、非線形平滑フィルタ１６は、閾値決定部１５からの閾値εの値に基づく度合いで平滑化がされるように、画像データをフィルタリングする。例えば、非線形平滑フィルタ１６は、閾値εが大きな値であれば、高い平滑化の度合いで画像データをフィルタリングし、また、閾値εが小さな値であれば、低い平滑化の度合いで画像データをフィルタリングする。
【００３８】
上述のように、閾値εは、エッジ領域、テクスチャ領域、フラット領域、または、その他の領域のそれぞれに対応するように決定される。従って、非線形平滑フィルタ１６は、エッジ領域、テクスチャ領域、フラット領域、または、その他の領域のそれぞれに対応するような平滑化の度合いで画像データをフィルタリングする。
【００３９】
非線形平滑フィルタ１６は、上述のようなフィルタリングをノイズ除去処理として行うことにより、入力データとしての画像データからモスキートノイズを除去し、出力データとしての画像データを出力する。
【００４０】
ブロック境界検出部１７は、入力データとしての画像データよりブロック単位の境界を検出し、検出結果をブロック単位領域判定部１４に供給する。ブロック境界検出部１７の詳細な構成は、例えば、特開２００２−２３２８９０号公報で公開されている構成であっても良いものである。
【００４１】
次に、図２を参照して、図１の分散計算部１１による分散Ｖの計算について説明する。
【００４２】
分散計算部１１は、画像データを構成する画素を、例えば、ラスタスキャン順に、順次、注目画素として選択（注目）し、注目画素について、画素値の散らばりの度合いを表す分散情報としての、例えば、分散を求める。
【００４３】
即ち、分散計算部１１は、例えば、図２に示すように、注目画素を中心とする縦×横が３×３画素の画素値の分散を、式（１）にしたがい、注目画素についての分散として求める。
【００４４】
【数１】
・・・（１）
【００４５】
ここで、式（１）において、Ｖは、注目画素についての分散を表す。また、Ｎは、注目画素についての分散Ｖを求めるのに用いる画素（画素値）の数を表し、図２の実施の形態では、９画素である。さらに、ｐiは、注目画素についての分散Ｖを求めるのに用いるＮ画素のうちのｉ番目の画素の画素値を表し、aveは、Ｎ画素の画素値の平均値(ｐ1＋ｐ2＋…＋ｐN)/Ｎを表す。
【００４６】
分散計算部１１は、ラスタスキャン順に、注目画素を順次変えて、分散Ｖを順次計算し、画像データを構成する全画素について分散Ｖを求める。
【００４７】
なお、分散情報としては、式（１）で求められる分散Ｖの他、例えば、式（２）で求められる値、その他、画素値の散らばりの度合いを表す値を採用することができる。
【００４８】
【数２】
・・・（２）
【００４９】
次に、図３は、図１の分散計算部１１に入力される画像データ（非線形平滑フィルタ１６でのフィルタリングの対象となる画像データ）、分散計算部１１により得られる分散Ｖ、および、ローパスフ
【００５０】
ィルタ１２により得られる平滑化値LPF（Ｖ）の波形を模式的に示す図である。
図３において、波形Ｔ1は、分散計算部１１に入力される入力データとしての画像データにおける、ある水平（垂直）ラインの画素値の波形である。波形Ｔ1には、画素値の変化が急峻なエッジの範囲ａ、画素値の変化がある程度存在するテクスチャの範囲ｂ、および画素値の変化がほとんどないフラットの範囲ｃが存在する。
【００５１】
波形Ｔ2は、波形Ｔ1（画像データ）を対象として分散計算部１１で求められる分散Ｖの波形である。分散Ｖは、波形Ｔ1の散らばりの度合い（変化の度合い）が大きければ大の値を示し、波形Ｔ1の散らばりの度合いが小さければ小の値を示す。従って、波形Ｔ2は、図３に示すように、範囲ａおよびその近傍において、波形Ｔ1のエッジによる画素値の変化の影響を受けて大きく変化する凸形状となり、範囲ｂおよびその近傍において、波形Ｔ1のテクスチャによる画素値の変化の影響を受けてある程度の大きさで変化する波形状となる。
【００５２】
波形Ｔ3は、ローパスフィルタ１２が波形Ｔ2（分散Ｖ）を平滑化することで得られる平滑化値LPF（Ｖ）の波形である。波形Ｔ2は、図３に示すように、波形Ｔ2を鈍らせた形状となる。即ち、波形Ｔ3は、範囲ａよりある程度広い範囲ｄにおいて、ある程度の大きさの傾斜を有する凸形状となり、範囲ｂより若干広い範囲ｅにおいて、範囲ｄにおける傾斜よりも小さな傾斜を有する凸形状となり、範囲ｄおよび範囲ｅ以外の範囲ｆにおいて、傾斜のない平坦な形状となる。
【００５３】
次に、図４のブロック図を参照して、図１の画素単位領域判定部１３の構成例について説明する。
【００５４】
図４において、画素単位領域判定部１３には、メモリ２１、水平差分計算部２２、垂直差分計算部２３、水平ヒストグラム計算部２４、垂直ヒストグラム計算部２５、水平方向領域判定部２６、および垂直方向領域判定部２７が設けられている。
【００５５】
メモリ２１には、図１のローパスフィルタ１２から平滑化値LPF（Ｖ）が供給される。メモリ２１は、ローパスフィルタ１２からの平滑化値LPF（Ｖ）のうちの、注目画素を含む、注目画素の周辺に位置する画素の平滑化値LPF（Ｖ）を記憶する。
【００５６】
即ち、画素単位領域判定部１３には、ローパスフィルタ１２から平滑化値LPF（Ｖ）が供給され、画素単位領域判定部１３では、画像データを構成する画素が、例えば、ラスタスキャン順に、注目画素として選択される。メモリ２１は、ローパスフィルタ１２から供給される平滑化値LPF（Ｖ）のうちの、注目画素を含む、注目画素の周辺に位置する画素の平滑化値LPF（Ｖ）を記憶する。
【００５７】
水平差分計算部２２は、注目画素について、メモリ２１に記憶された平滑化値LPF（Ｖ）の水平方向の変化量を計算し、水平ヒストグラム計算部２４に供給する。
【００５８】
垂直差分計算部２３は、注目画素について、メモリ２１に記憶された平滑化値LPF（Ｖ）の垂直方向の変化量を計算し、垂直ヒストグラム計算部２５に供給する。
【００５９】
水平ヒストグラム計算部２４は、水平差分計算部２２から供給される注目画素についての水平方向の変化量のヒストグラムを計算（作成）する。即ち、水平ヒストグラム計算部２４は、水平差分計算部２２から供給される注目画素についての水平方向の変化量を対象として、値が第１の範囲、第２の範囲、第３の範囲の変化量それぞれの度数hist(1)，hist(2)，hist(3)からなるヒストグラムを求める。水平ヒストグラム計算部２４は、注目画素ごとについて求めた度数hist(1)，hist(2)，hist(3)からなるヒストグラムを水平方向領域判定部２６に供給する。
【００６０】
垂直ヒストグラム計算部２５は、垂直差分計算部２３から供給される注目画素についての垂直方向の変化量を対象として、水平ヒストグラム計算部２４と同様に、度数hist(1)，hist(2)，hist(3)からなるヒストグラムを求め、垂直方向領域判定部２７に供給する。
【００６１】
水平方向領域判定部２６には、注目画素が属する領域を判定するための閾値th1，th2，th3が、あらかじめ与えられている。水平方向領域判定部２６は、水平ヒストグラム計算部２４からの注目画素についてのヒストグラムの度数hist(1)，hist(2)，hist(3)と、閾値th1，th2，th3とに基づいて、注目画素が属する領域を判定する。即ち、水平方向領域判定部２６は、注目画素が属する領域が、エッジ領域、テクスチャ領域、またはフラット領域、または、その他の領域のうちのいずれであるかを判定し、その判定結果、つまり、注目画素が属する領域を表す領域情報を出力する。
【００６２】
垂直方向領域判定部２７は、水平方向領域判定部２６と同様に、垂直ヒストグラム計算部２５からの注目画素についてのヒストグラムの度数hist(1)，hist(2)，hist(3)に基づき、注目画素が属する領域を判定し、その判定結果として、領域情報を出力する。
【００６３】
次に、図５で示される図４のメモリ２１の記憶内容を参照し、図４の水平差分計算部２２と垂直差分計算部２３による変化量の計算について説明する。
【００６４】
図５は、メモリ２１が記憶する画素の平滑化値C[i](j)を示している。メモリ２１は、画像データを構成する画素のうちの、例えば、注目画素（の平滑化値）C[3](0)を中心として、横×縦が７×５画素の、合計で３５個の画素（の平滑化値）C[i](j)を記憶する。つまり、メモリ２１は、注目画素C[3](0)を中心として、垂直方向に５行（i=1〜5）の範囲、および水平方向に７列（j＝-3〜3）の範囲に位置する画素の平滑化値C[i](j)、即ち、平滑化値C[1](-3)乃至平滑化値C[5](3)を記憶する。
【００６５】
ここで、上述したように、注目画素について、メモリ２１に平滑化値が記憶される、注目画素を中心とする７×５画素の領域を、注目領域という。
【００６６】
水平差分計算部２２は、例えば、式（３）の差分値（差分絶対値）diff[i](j)を、注目領域の画素の水平方向の変化量として計算する。
【００６７】
diff[i](j)＝｜C[i](j)−C[i](0)｜ , （i=1〜5 , j＝-3〜3）
・・・（３）
【００６８】
式（３）を計算することで、水平差分計算部２２は、３０個の水平方向の差分値diff[i](j)を出力する。具体的には、水平差分計算部２２は、１行目（i=1）について、平滑化値C[1](0)と、平滑化値C[1](-3)、平滑化値C[1](-2)、平滑化値C[1](-1)、平滑化値C[1](1)、平滑化値C[1](2)、平滑化値C[1](3)それぞれとの差分値を計算し、６個の水平方向の差分値diff[1](-3)、差分値diff[1](-2)、差分値diff[1](-1)、差分値diff[1](1)、差分値diff[1](2)、差分値diff[1](3)を出力する。
【００６９】
水平差分計算部２２は、２行目（i=2）についても同様に、平滑化値C[2](0)と、平滑化値C[2](-3)、平滑化値C[2](-2)、平滑化値C[2](-1)、平滑化値C[2](1)、ｄ平滑化値C[2](2)、平滑化値C[2](3)それぞれとの差分値を計算し、６個の水平方向の差分値diff[2](-3)、差分値diff[2](-2)、差分値diff[2](-1)、差分値diff[2](1)、差分値diff[2](2)、差分値diff[2](3)を出力し、以下、同様に、３行目乃至５行目（i=3〜5）について、各６個の水平方向の差分値を出力する。従って、水平差分計算部２２は、１行乃至５行についての３０個の水平方向の差分値diff[i](j)を出力する。
【００７０】
また、垂直差分計算部２３は、例えば、式（４）の差分値（差分絶対値）diff[i](j)を、注目領域の画素の垂直方向の変化量として計算する。
【００７１】
diff[i](j)＝｜C[i](j)−C[3](j)｜ , （i=1〜5 , j＝-3〜3）
・・・（４）
【００７２】
式（４）を計算することで、垂直差分計算部２３は、２８個の垂直方向の差分値diff[i](j)を出力する。水平差分計算部２２について説明した場合と同様に、垂直差分計算部２３は、各列ごとに４個の垂直方向の差分値diff[i](j)を出力し、１列乃至７列についての２８個の垂直方向の差分値diff[i](j)を出力する。
【００７３】
なお、図５には、メモリ２１に記憶される注目領域が５×７画素である例が示されているが、メモリ２１に記憶される注目領域は、５×７画素に限られるものではない。注目領域のサイズ、特に縦のサイズは、例えば、非線形平滑フィルタ１６でのフィルタリングの対象とする画像データが圧縮されるときに行われたDCT処理のブロックサイズに基づいて決定することができる。
【００７４】
次に、図６を参照し、図４の水平ヒストグラム計算部２４と垂直ヒストグラム計算部２５で求められる変化量のヒストグラムについて説明する。
【００７５】
図６は、横軸に変化量をとり、縦軸に度数をとったヒストグラムを示している。図６のヒストグラムにおいて、横軸の左から右方向に向かって、変化量の値は増加する。また、横軸は、変化量の値が大きい範囲から順に、第１の範囲、第２の範囲、第３の範囲に３分割されている。
【００７６】
図５で説明したように、水平ヒストグラム計算部２４には、水平差分計算部２２から３０個の水平方向の変化量（としての差分値）が供給され、水平ヒストグラム計算部２４は、水平方向の変化量のヒストグラムを計算する。即ち、水平ヒストグラム計算部２４は、水平差分計算部２２からの３０個の水平方向の変化量に基づき、第１の範囲の変化量の度数hist(1)、第２の範囲の変化量の度数hist(2)、第３の範囲の変化量の度数hist(3)をそれぞれ求め、その３つの度数hist(1)，hist(2)，hist(3)からなる３分割の水平方向のヒストグラムを得る。
【００７７】
なお、図６において、横軸の第１乃至第３の範囲は同一の大きさになっているが、異なる大きさであってもよい。また、第１乃至第３の範囲は、例えば、多くの画像データを用いてシミュレーションを行うことによって決定することができる。さらに、第１乃至第３の範囲は、例えば、ユーザの操作などに応じて変更することができる。
【００７８】
また、垂直ヒストグラム計算部２５は、水平ヒストグラム計算部２４と同様に、垂直差分計算部２３から供給される２８個の垂直方向の変化量に基づき、第１の範囲の変化量の度数hist(1)、第２の範囲の変化量の度数hist(2)、第３の範囲の変化量の度数hist(3)をそれぞれ求め、その３つの度数hist(1)，hist(2)，hist(3)からなる３分割の垂直方向のヒストグラムを得る。
【００７９】
次に、図７を参照して、図４の水平方向領域判定部２６と垂直方向領域判定部２７が行う、注目画素が属する領域を判定する領域判定処理について説明する。
【００８０】
上述したように、水平方向領域判定部２６には、領域を判定するための閾値th1，th2，th3が、あらかじめ与えられており、注目画素についての水平方向のヒストグラムの度数hist(1)，hist(2)、およびhist(3)が、水平ヒストグラム計算部２４から供給される。
【００８１】
水平方向領域判定部２６は、度数hist(1)と閾値th1とを比較し、さらに、必要に応じて度数hist(2)と閾値th2との比較や、度数hist(3)と閾値th3との比較を行い、これらの比較結果に基づいて、注目画素が属する領域が、エッジ領域、テクスチャ領域、フラット領域、または、その他の領域のうちのいずれであるかを判定する。
【００８２】
即ち、例えば、図７に示すように、「hist(1)＞th1」が真（１）であれば、水平方向領域判定部２６は、注目画素が属する領域がエッジ領域であると判定する。また、「hist(1)＞th1」が偽（０）で、かつ、「hist(2)＞th2」が真（１）であれば、水平方向領域判定部２６は、注目画素が属する領域がテクスチャ領域であると判定する。
【００８３】
また、「hist(1)＞th1」および「hist(2)＞th2」が偽（０）で、かつ、「hist(3)＞th3」が真（１）であれば、水平方向領域判定部２６は、注目画素が属する領域がフラット領域であると判定する。また、「hist(1)＞th1」、「hist(2)＞th2」、および「hist(3)＞th3」がいずれも偽（else）であれば、水平方向領域判定部２６は、注目画素が属する領域が、エッジ領域、テクスチャ領域、およびフラット領域のいずれでもない（あるいは、いずれであるかが不明な）、その他の領域であると判定する。
【００８４】
なお、「hist(1)＞th1」が真（１）であれば、「hist(2)＞th2」および「hist(3)＞th3」が真であるか偽であるかにかかわらず、注目画素が属する領域はエッジ領域であると判定されるので、図７の表のエッジ領域の行であって「hist(2)＞th2」および「hist(3)＞th3」の列である升目には、「×」（don't care）が記載されている。同様に、「hist(1)＞th1」が偽（０）で、かつ、「hist(2)＞th2」が真（１）であれば、「hist(3)＞th3」が真であるか偽であるかにかかわらず、注目画素が属する領域はテクスチャ領域であると判定されるので、図７の表のテクスチャ領域の行であって「hist(3)＞th3」の列である升目には、「×」が記載されている。
【００８５】
また、垂直方向領域判定部２７には、水平方向領域判定部２６と同様に、領域を判定するための閾値th1，th2，th3が、あらかじめ与えられており、垂直方向領域判定部２７は、垂直ヒストグラム計算部２５からの注目画素についての垂直方向のヒストグラムの度数hist(1)，hist(2)，hist(3)に基づいて、注目画素が属する領域が、エッジ領域、テクスチャ領域、フラット領域、または、その他の領域のうちのいずれであるかを判定する。
【００８６】
以上のように、水平方向領域判定部２６では、画像データを、いわば水平方向に沿って見た場合の、注目画素が属する領域が判定され、垂直方向領域判定部２７では、画像データを、垂直方向に沿って見た場合の、注目画素が属する領域が判定される。
【００８７】
なお、水平方向領域判定部２６と垂直方向領域判定部２７とで、領域を判定するための閾値th1，th2，th3は、同じ値であってもよいし、異なる値であってもよい。
【００８８】
ここで、上述の図３を参照して、図４の画素単位領域判定部１３に入力される平滑化値LPF（Ｖ）と、水平方向領域判定部２６による注目画素が属する領域（領域の種類）の判定との関係について説明する。
【００８９】
上述したように、図３の波形Ｔ3は、ローパスフィルタ１２により得られる平滑化値LPF（Ｖ）の波形であり、そのうちの注目画素を中心とする範囲の部分が注目領域としてメモリ２１に記憶される。水平差分計算部２２は、波形Ｔ3のうちの、メモリ２１に注目領域として記憶された範囲を対象として変化量を計算し、水平ヒストグラム計算部２４は、その変化量のヒストグラムを得る。
【００９０】
波形Ｔ3は、範囲ｄにおいて、ある程度の大きさの傾斜を有しているので、範囲ｄと一部または全部が重複する範囲を注目領域として計算される変化量のヒストグラムでは、大きな変化量の度数hist(1)が大の値になる。
【００９１】
また、波形Ｔ3は、範囲ｅにおいて、範囲ｄにおける傾斜よりも小さな傾斜を有しているので、範囲ｅと一部または全部が重複する範囲を注目領域として計算される変化量のヒストグラムでは、度数hist(1)が小の値になり、中程度の変化量の度数hist(2)が大の値になる。
【００９２】
また、波形Ｔ3は、範囲ｆにおいて傾斜がないので、範囲ｆのみを含む範囲を注目領域として計算される変化量のヒストグラムでは、度数hist(1)および度数hist(2)が小の値になり、小さい変化量の度数hist(3)が大の値になる。
【００９３】
水平方向領域判定部２６は、以上のような変化量のヒストグラムの性質（特性）に基づき、図７の表のように、注目画素が属する領域を判定する。従って、水平方向領域判定部２６では、エッジの範囲ａを含むエッジ周辺の範囲ｄより若干広い範囲における画素が属する領域がエッジ領域と判定され、テクスチャの範囲ｂを含む範囲ｅより若干広い範囲における画素が属する領域がテクスチャ領域と判定され、フラットの範囲ｃより狭い範囲ｆにおける画素が属する領域がフラット領域と判定される。
【００９４】
次に、図８のブロック図を参照して、ブロック単位領域判定部１４の構成例について説明する。
【００９５】
ブロック単位領域判定部１４には、水平方向画素単位領域情報バッファ３１、垂直方向画素単位領域情報バッファ３２、水平方向ブロック単位抽出部３３、垂直方向ブロック単位抽出部３４、水平方向エッジ割合計算部３５、垂直方向エッジ割合計算部３６、水平方向テクスチャ割合計算部３７、垂直方向テクスチャ割合計算部３８、水平方向エッジ割合比較部３９、垂直方向エッジ割合比較部４０、水平方向テクスチャ割合比較部４１、垂直方向テクスチャ割合比較部４２、水平方向ブロック単位領域決定部４３、および垂直方向ブロック単位領域決定部４４が設けられている。
【００９６】
水平方向画素単位領域情報バッファ３１は、図４の水平方向領域判定部２６から各画素の位置情報に対応付けて水平方向の画素単位で求められた領域情報（各画素が属する領域が、エッジ領域、テクスチャ領域、フラット領域、またはその他の領域のいずれであるかを表す情報）を順次一時的に記憶する。
【００９７】
垂直方向画素単位領域情報バッファ３２は、図４の垂直方向領域判定部２７から供給されてくる各画素の位置情報に対応付けて垂直方向の画素単位で求められた領域情報を順次一次的に記憶する。
【００９８】
水平方向ブロック単位抽出部３３は、ブロック境界検出部１７より供給されてくるブロック境界情報に基づいて、水平方向画素単位領域情報バッファ３１より1ブロック分の画素単位の領域情報を抽出し、ブロックの位置情報と共に水平方向エッジ割合計算部３５、および水平方向テクスチャ割合計算部３７に供給する。
【００９９】
垂直方向ブロック単位抽出部３４は、ブロック境界検出部１７より供給されてくるブロック境界情報に基づいて、垂直方向画素単位領域情報バッファ３２より1ブロック分の画素単位の領域情報を抽出し、ブロックの位置情報と共に垂直方向エッジ割合計算部３６、および垂直方向テクスチャ割合計算部３８に供給する。
【０１００】
水平方向エッジ割合計算部３５は、水平方向ブロック単位抽出部３３より供給されてくる1ブロック分の画素単位の領域情報のうち、領域情報がエッジ領域である割合である水平方向エッジ割合ＲＥＨを計算し、ブロックの位置情報と共に水平方向エッジ割合比較部３９に供給する。すなわち、例えば、図９で示されるように、1ブロック分の画素が水平方向×垂直方向に８画素×８画素で、合計６４画素であった場合、１ブロック分となる６４画素分の領域情報のうち、図９で示されるように７画素について領域情報がエッジ領域であるとき、水平方向エッジ割合計算部３５は、７／６４を水平方向エッジ割合ＲＥＨとして水平方向エッジ割合比較部３９に供給する。
【０１０１】
尚、図９においては、各マス目が画素の位置に対応しており、マス目内の文字が「Ｅ」であるとき、対応する画素の領域情報がエッジ領域に属していることを示しており、マス目内の文字が「ｆ」であるとき、対応する画素の領域情報がフラット領域に属していることを示しており、マス目内の文字が「Ｔ」であるとき、対応する画素の領域情報がテクスチャ領域に属していることを示している。
【０１０２】
垂直方向エッジ割合計算部３６は、垂直方向ブロック単位抽出部３４より供給されてくる1ブロック分の画素単位の領域情報のうち、領域情報がエッジ領域である割合である垂直方向エッジ割合ＲＥＶを計算し、ブロックの位置情報と共に垂直方向エッジ割合比較部４０に供給する。すなわち、例えば、図９で示されるように、1ブロック分の画素が水平方向×垂直方向に８画素×８画素で、合計６４画素であった場合、１ブロック分となる６４画素分の領域情報のうち、図９で示されるように７画素について領域情報がエッジ領域であるとき、垂直方向エッジ割合計算部３６は、７／６４を垂直方向エッジ割合ＲＥＶとして垂直方向エッジ割合比較部４０に供給する。
【０１０３】
水平方向テクスチャ割合計算部３７は、水平方向ブロック単位抽出部３３より供給されてくる1ブロック分の画素単位の領域情報のうち、領域情報がテクスチャ領域である割合である水平方向テクスチャ割合ＲＴＨを計算し、ブロックの位置情報と共に水平方向テクスチャ割合比較部４１に供給する。すなわち、例えば、図９で示されるように、1ブロック分の画素が水平方向×垂直方向に８画素×８画素で、合計６４画素であった場合、１ブロック単位となる６４画素分の領域情報のうち、図９で示されるように５画素について領域情報がテクスチャ領域であるとき、水平方向テクスチャ割合計算部３７は、５／６４を水平方向テクスチャ割合ＲＴＨとして水平方向テクスチャ割合比較部４１に供給する。
【０１０４】
垂直方向テクスチャ割合計算部３８は、垂直方向ブロック単位抽出部３４より供給されてくる1ブロック分の画素単位の領域情報のうち、領域情報がテクスチャ領域である割合である垂直方向テクスチャ割合ＲＴＶを計算し、ブロックの位置情報と共に垂直方向テクスチャ割合比較部４２に供給する。すなわち、例えば、図９で示されるように、1ブロック分の画素が水平方向×垂直方向に８画素×８画素で、合計６４画素であった場合、１ブロック単位となる６４画素分の領域情報のうち、図９で示されるように５画素について領域情報がテクスチャ領域であるとき、垂直方向テクスチャ割合計算部３８は、５／６４を垂直方向テクスチャ割合ＲＴＶとして垂直方向テクスチャ割合比較部４２に供給する。
【０１０５】
水平方向エッジ割合比較部３９は、水平方向エッジ割合計算部３５より供給されてきた水平方向エッジ割合ＲＥＨと所定の閾値ｔｈ（ＲＥＨ）とを比較し、ブロックの位置情報と共に比較結果ＣＥＨを水平方向ブロック単位領域決定部４３に供給する。
【０１０６】
垂直方向エッジ割合比較部４０は、垂直方向エッジ割合計算部３６より供給されてきた垂直方向エッジ割合ＲＥＶと所定の閾値ｔｈ（ＲＥＶ）とを比較し、ブロックの位置情報と共に比較結果ＣＥＶを垂直方向ブロック単位領域決定部４４に供給する。
【０１０７】
水平方向テクスチャ割合比較部４１は、水平方向テクスチャ割合計算部３７より供給されてきた水平方向テクスチャ割合ＲＴＨと所定の閾値ｔｈ（ＲＴＨ）とを比較し、ブロックの位置情報と共に比較結果ＣＴＨを水平方向ブロック単位領域決定部４３に供給する。
【０１０８】
垂直方向テクスチャ割合比較部４２は、垂直方向テクスチャ割合計算部３８より供給されてきた垂直方向テクスチャ割合ＲＴＶと所定の閾値ｔｈ（ＲＴＶ）とを比較し、ブロックの位置情報と共に比較結果ＣＴＶを垂直方向ブロック単位領域決定部４４に供給する。
【０１０９】
尚、閾値ｔｈ（ＲＥＨ）、閾値ｔｈ（ＲＥＶ）、閾値ｔｈ（ＲＴＨ）、閾値ｔｈ（ＲＴＶ）は、それぞれ統一した同一の値でもよいし、それぞれ個別に設定されるようにしてもよい。
【０１１０】
水平方向ブロック単位領域決定部４３は、水平方向エッジ割合比較部３９および水平方向テクスチャ割合比較部４１より、それぞれ供給されてくる比較結果ＣＥＨおよびＣＥＴに基づいて、比較結果ＣＥＨが所定の閾値ｔｈ（ＲＥＨ）よりも大きいことを示す場合、対応する１ブロック分の全ての画素の水平方向についてブロック単位の領域情報をエッジ領域に決定する。また、比較結果ＣＥＨが所定の閾値ｔｈ（ＲＥＨ）よりも大きくない場合、比較結果ＣＴＨが所定の閾値ｔｈ（ＲＴＨ）よりも大きいとき、水平方向ブロック単位領域決定部４３は、対応する１ブロック分の全ての画素の水平方向についてブロック単位の領域情報をテクスチャ領域に決定する。そして、上記以外の場合、水平方向ブロック単位領域決定部４３は、対応する１ブロック分の全ての画素の水平方向についてブロック単位の領域情報をフラット領域に決定する。
【０１１１】
垂直方向ブロック単位領域決定部４４は、垂直方向エッジ割合比較部４０および垂直方向テクスチャ割合比較部４１より、それぞれ供給されてくる比較結果ＣＥＨおよびＣＥＴに基づいて、比較結果ＣＥＨが所定の閾値ｔｈ（ＲＥＨ）よりも大きいことを示す場合、対応する１ブロック分の全ての画素の水平方向についてブロック単位の領域情報をエッジ領域に決定する。また、比較結果ＣＥＨが所定の閾値ｔｈ（ＲＥＨ）よりも大きくない場合、比較結果ＣＴＨが所定の閾値ｔｈ（ＲＴＨ）よりも大きいとき、水平方向ブロック単位領域決定部４３は、対応する１ブロック分の全ての画素の水平方向についてブロック単位の領域情報をテクスチャ領域に決定する。そして、上記以外の場合、水平方向ブロック単位領域決定部４３は、対応する１ブロック分の全ての画素の水平方向についてブロック単位の領域情報をフラット領域に決定する。
【０１１２】
次に、図１０のブロック図を参照して、図１の閾値決定部１５の構成例について説明する。
【０１１３】
図１０において、閾値決定部１５には、バッファ５１，５２、水平方向パラメータ選択部５３、垂直方向パラメータ選択部５４、水平方向閾値決定部５５、および垂直方向閾値決定部５６が設けられている。
【０１１４】
バッファ５１，５２は、それぞれ図８のブロック単位領域判定部１４よりブロック単位で供給されてくる各画素の水平方向および垂直方向の領域情報（ブロック単位の画素が属する領域が、エッジ領域、テクスチャ領域、またはフラット領域のいずれであるかを表す情報）を画素位置に対応付けて一時的に記憶する。
【０１１５】
水平方向パラメータ選択部５３は、バッファ５１に記憶されている領域情報に基づいて、注目画素を、例えば、ラスタスキャン順に順次設定し、設定した注目画素についての水平方向の領域情報を抽出する。さらに、水平方向パラメータ選択部５３は、抽出した水平方向の領域情報に基づき、水平方向閾値決定部５５が閾値εを決定するための、注目画素についての水平方向の決定用パラメータを選択（決定）し、水平方向閾値決定部５５に供給する。
【０１１６】
垂直方向パラメータ選択部５４は、バッファ５１に記憶されている領域情報に基づいて、注目画素を、例えば、ラスタスキャン順に順次設定し、設定した注目画素についての垂直方向の領域情報抽出する。さらに、垂直方向パラメータ選択部５４は、抽出した垂直方向の領域情報に基づき、垂直方向閾値決定部５６が閾値εを決定するための、注目画素についての垂直方向の決定用パラメータを選択し、垂直方向閾値決定部５６に供給する。
【０１１７】
水平方向閾値決定部５５には、水平方向パラメータ選択部５３から水平方向の決定用パラメータが供給されるとともに、図１のローパスフィルタ１２から平滑化値LPF（Ｖ）が供給される。水平方向閾値決定部５５は、水平方向パラメータ選択部５３からの注目画素についての水平方向の決定用パラメータと、ローパスフィルタ１２からの注目画素についての平滑化値LPF（Ｖ）とに基づいて、注目画素についての水平方向の閾値εを決定して出力する。
【０１１８】
垂直方向閾値決定部５６は、垂直方向パラメータ選択部５４からの、注目画素についての垂直方向の決定用パラメータと、ローパスフィルタ１２からの注目画素についての平滑化値LPF（Ｖ）とに基づいて、注目画素についての垂直方向の閾値εを決定して出力する。
【０１１９】
次に、図１１を参照して、図８の水平方向パラメータ選択部５３から水平方向閾値決定部５５に供給される水平方向の決定用パラメータについて説明するとともに、水平方向閾値決定部５５による水平方向の閾値εの決定について説明する。
【０１２０】
図１１は、平滑化値LPF（Ｖ）と閾値εとの関係を示す閾値決定曲線を表している。図９において、横軸は平滑化値LPF（Ｖ）を、縦軸は閾値εを、それぞれ示しており、横軸の左から右方向に向かって平滑化値LPF（Ｖ）の値は増加し、縦軸の下から上方向に向かって閾値εの値は増加する。
【０１２１】
水平方向閾値決定部５５は、水平方向パラメータ選択部５３からの注目画素についての決定用パラメータに基づいて、図１１に示した、閾値決定曲線Ｌ1，Ｌ2，Ｌ3のうちのいずれかを、閾値εを決定するのに用いる閾値決定曲線に決定し、その閾値決定曲線と、図１のローパスフィルタ１２からの注目画素の平滑化値LPF（Ｖ）とに基づいて、注目画素をフィルタリングするときのパラメータとしての閾値εを決定する。
【０１２２】
ここで、平滑化値LPF（Ｖ）と閾値εとの関係を示す閾値決定曲線は、例えば、変数(パラメータ)Ｅ，Ｆ，Ｍによって特定される曲線である。即ち、閾値決定曲線は、例えば、図１１に示すように、平滑化値LPF（Ｖ）がＦ以下である場合に、閾値εが０のまま一定であり、平滑化値LPF（Ｖ）がＦより大でＥより小さい場合に、閾値εが平滑化値LPF（Ｖ）に比例して増加し、平滑化値LPF（Ｖ）がＥ以上である場合に、閾値εがＭ（＞０）のまま一定である曲線である。
【０１２３】
水平方向パラメータ選択部５３から水平方向閾値決定部５５に対しては、例えば、閾値決定曲線を特定する変数Ｅ，Ｆ，Ｍが決定用パラメータとして供給される。また、例えば、変数Ｆの代わりに、閾値εが平滑化値LPF（Ｖ）に比例して増加する傾きｋを決定用パラメータとしてもよい。
【０１２４】
図１１には、決定用パラメータＥ，Ｆ，Ｍが、それぞれ、決定用パラメータＥ1，Ｆ1，Ｍ1である場合の閾値決定曲線Ｌ1と、決定用パラメータＥ，Ｆ，Ｍが、それぞれ、決定用パラメータＥ2，Ｆ2，Ｍ2である場合の閾値決定曲線Ｌ2と、決定用パラメータＥ，Ｆ，Ｍが、それぞれ、決定用パラメータＥ3，Ｆ3，Ｍ3である場合の閾値決定曲線Ｌ3とが示されている。
【０１２５】
水平方向パラメータ選択部５３は、例えば、決定用パラメータ（の値）と領域情報とを対応付けて記憶しており、図４の水平方向領域判定部２６から供給される水平方向の領域情報に対応付けられている決定用パラメータを選択する。
【０１２６】
例えば、水平方向パラメータ選択部５３は、エッジ領域を表す領域情報と、決定用パラメータＥ1，Ｆ1，Ｍ1とを対応付けて記憶しており、水平方向領域判定部２６からの領域情報がエッジ領域を表している場合、決定用パラメータＥ1，Ｆ1，Ｍ1を選択する。また、水平方向パラメータ選択部５３は、テクスチャ領域を表す領域情報と、決定用パラメータＥ2，Ｆ2，Ｍ2とを対応付けて記憶しており、水平方向領域判定部２６からの領域情報がテクスチャ領域を表している場合、決定用パラメータＥ2，Ｆ2，Ｍ2を選択する。
【０１２７】
また、水平方向パラメータ選択部５３は、フラット領域を表す領域情報と、決定用パラメータＥ3，Ｆ3，Ｍ3とを対応付けて記憶しており、水平方向領域判定部２６からの領域情報がフラット領域を表している場合、決定用パラメータＥ3，Ｆ3，Ｍ3を選択する。さらに、水平方向パラメータ選択部５３は、その他の領域を表す領域情報を、例えば、決定用パラメータＥ3，Ｆ3，Ｍ3と対応付けて記憶しており、水平方向領域判定部２６からの領域情報がその他の領域を表している場合も、決定用パラメータＥ3，Ｆ3，Ｍ3を選択する。
【０１２８】
ここで、図１１において、閾値決定曲線Ｌ1，Ｌ2，Ｌ3の決定用パラメータＥは、Ｅ1，Ｅ2，Ｅ3の順で大きく、閾値決定曲線Ｌ1，Ｌ2，Ｌ3の決定用パラメータＦは、Ｆ1，Ｆ2，Ｆ3の順で大きく、閾値決定曲線Ｌ1，Ｌ2，Ｌ3の決定用パラメータＭは、Ｍ1，Ｍ2，Ｍ3の順で小さくなる関係になっている。
【０１２９】
従って、注目画素が属する領域がエッジ領域である場合、閾値決定曲線Ｌ1にしたがい、注目画素の平滑化値LPF（Ｖ）が小の値Ｆ1以下であれば、閾値εは０に決定される。さらに、注目画素の平滑化値LPF（Ｖ）が小の値Ｆ1から小の値Ｅ1までの範囲の値であれば、閾値εは、平滑化値LPF（Ｖ）に比例した大の値に決定され、注目画素の平滑化値LPF（Ｖ）が小の値Ｅ1以上であれば、閾値εは、大の値Ｍ1に決定される。
【０１３０】
また、注目画素が属する領域がテクスチャ領域である場合、閾値決定曲線Ｌ2にしたがい、注目画素の平滑化値LPF（Ｖ）が小の値Ｆ1よりも大きい中の値Ｆ2以下であれば、閾値εは０に決定される。さらに、注目画素の平滑化値LPF（Ｖ）が、小の値Ｆ1よりも大きい中の値Ｆ2以上で、かつ小の値Ｅ1よりも大きい中の値Ｅ2以下の範囲の値であれば、閾値εは、平滑化値LPF（Ｖ）に比例した中の値に決定され、注目画素の平滑化値LPF（Ｖ）が中の値Ｅ1以上であれば、閾値εは、大の値Ｍ1よりも小さい中の値Ｍ2に決定される。
【０１３１】
また、注目画素が属する領域がフラット領域またはその他の領域である場合、閾値決定曲線Ｌ3にしたがい、注目画素の平滑化値LPF（Ｖ）が中の値Ｆ2よりも大きい大の値Ｆ3以下であれば、閾値εは０に決定される。さらに、注目画素の平滑化値LPF（Ｖ）が、中の値Ｆ2よりも大きい大の値Ｆ3以上で、かつ中の値Ｅ2よりも大きい大の値Ｅ3以下の範囲の値であれば、閾値εは、平滑化値LPF（Ｖ）に比例した小の値に決定され、注目画素の平滑化値LPF（Ｖ）が大の値Ｅ3以上であれば、閾値εは、中の値Ｍ2よりも小さい小の値Ｍ3に決定される。
【０１３２】
このように、水平方向閾値決定部５５は、注目画素が属する領域が、エッジ領域、テクスチャ領域、または、フラット領域のいずれであるかを表す領域情報と、注目画素の平滑化値LPF（Ｖ）とに基づいて、注目画素についての水平方向の閾値（ノイズ除去処理としての水平方向のフィルタリングのパラメータ）εを決定する。
【０１３３】
即ち、大雑把に言えば、水平方向閾値決定部５５は、注目画素が属する領域が、エッジ領域であれば、大の値の閾値εを、注目画素が属する領域が、テクスチャ領域であれば、中の値の閾値εを、注目画素が属する領域が、フラット領域であれば、小の値の閾値εを、それぞれ決定する。また、水平方向閾値決定部５５は、注目画素の平滑化値LPF（Ｖ）が大であるほど、大の値の閾値εを決定する。
【０１３４】
垂直方向閾値決定部５６（図１０）も、垂直方向パラメータ選択部５４からの注目画素の領域情報と、ローパスフィルタ１２（図１）からの注目画素の平滑化値LPF（Ｖ）とに基づき、水平方向閾値決定部５５と同様にして、注目画素についての垂直方向の閾値（ノイズ除去処理としての垂直方向のフィルタリングのパラメータ）εを決定する。
【０１３５】
そして、非線形平滑フィルタ１６（図１）は、水平方向閾値決定部５５からの注目画素についての水平方向の閾値ε、および垂直方向閾値決定部５６からの注目画素についての垂直方向の閾値εに基づいて、注目画素をフィルタリングする。例えば、非線形平滑フィルタ１６は、直列に接続された２段階のεフィルタを有しており、例えば、１段目のεフィルタによって、水平方向閾値決定部５５からの注目画素についての水平方向の閾値εに基づいて注目画素を水平方向にフィルタリングし、２段目のεフィルタによって、１段目のεフィルタが出力する注目画素を、垂直方向閾値決定部５６からの注目画素についての垂直方向の閾値εに基づいて注目画素を垂直方向にフィルタリングする。
【０１３６】
ここで、非線形平滑フィルタ１６が有するεフィルタについて簡単に説明する。εフィルタは、画像データを構成する画素のうちの、注目画素のフィルタリング（ローパスフィルタリング）に用いる、注目画素の近傍にある近傍画素の画素値を、閾値εに応じて設定する。
【０１３７】
図１２は、εフィルタによるフィルタリングを説明する図である。近傍画素Ｐｍの画素値Ｘｍが、注目画素Ｐｎの画素値Ｘｎを中心とする閾値εの範囲内にない場合、εフィルタは、近傍画素Ｐｍの画素値Ｘｍを注目画素Ｐｎの画素値Ｘｎに置き換え、注目画素Ｐｎのフィルタリングに用いる。一方、近傍画素Ｐｍの画素値Ｘｍが閾値εの範囲内にある場合、εフィルタは、その近傍画素Ｐｍの画素値Ｘｍをそのまま用い、注目画素Ｐｎをフィルタリングする。
【０１３８】
従って、εフィルタによれば、注目画素の画素値に近い値の画素値（閾値εの範囲内の画素値）のみを用いて、注目画素がフィルタリングされる。その結果、εフィルタにおいては、例えば、入力データとしての画像データに微少なノイズが含まれる場合には、そのノイズが除去されたフィルタリング結果が得られる。さらに、εフィルタにおいては、例えば、入力データとしての画像データに、急峻なエッジが含まれている場合には、そのエッジの形状を維持したフィルタリング結果が得られる。
【０１３９】
また、εフィルタによれば、入力データとしての画像データをフィルタリングする際に、閾値εを大きな値にすると平滑化の度合いが高くなり、閾値εを小さな値にすると平滑化の度合いが低くなる。
【０１４０】
このようなεフィルタを有する非線形平滑フィルタ１６によって、図１１を参照して説明したように決定される閾値εに基づき、画像データがフィルタリングされることにより、エッジの形状を維持したまま、エッジの周辺部分に発生するモスキートノイズが除去される。
【０１４１】
次に、図１３は、図１のノイズ除去装置１０が画像データのモスキートノイズを除去するノイズ除去処理について説明するフローチャートである。
【０１４２】
入力データとしての１フレームの画像データがノイズ除去装置１０の分散計算部１１と非線形平滑フィルタ１６に入力され、ステップＳ１１において、分散計算部１１は、画像データの画素ごとに分散Ｖを計算する。分散計算部１１は、分散Ｖをローパスフィルタ１２に供給し、ステップＳ１２に進む。
【０１４３】
ステップＳ１２において、ローパスフィルタ１２は、分散計算部１１からの画像データの分散Ｖを平滑化し、平滑化値LPF（Ｖ）を、画素単位領域判定部１３および閾値決定部１５に供給する。
【０１４４】
ローパスフィルタ１２から平滑化値LPF（Ｖ）が供給されると、ステップＳ１３において、画素単位領域判定部１３は、ローパスフィルタ１２からの平滑化値LPF（Ｖ）に基づき、画像データを構成する各画素について、画素単位領域判定処理を行う。画素単位領域判定部１３は、画素単位領域判定処理を行った結果得られる画素単位領域情報を画素の位置情報に対応付けてブロック単位領域判定部１４の水平方向画素単位領域情報バッファ３１および垂直方向画素単位領域情報バッファ３２に供給し、ステップＳ１４に進む。
【０１４５】
ステップＳ１４において、ブロック単位領域判定部１４は、水平方向画素単位領域情報バッファ３１および垂直方向画素単位領域情報バッファ３２を参照して、１フレーム分の全ての画素について、水平方向および垂直方向の画素単位領域情報が供給されてきているか否かを判定し、１フレーム分の画素単位領域情報が供給されてきていない場合、処理は、ステップＳ１１に戻る。すなわち、１フレーム分の全ての画素について画素単位領域情報が供給されてくるまで、ステップＳ１１乃至Ｓ１４の処理が繰り返される。そして、ステップＳ１４において、１フレーム分の全ての画素について画素単位領域情報が供給されてきた場合、処理は、ステップＳ１５に進む。
【０１４６】
ステップＳ１５において、ブロック単位領域判定部１４は、ブロック境界検出部１７により検出されるブロック境界情報、および、画素単位領域情報に基づいて、ブロック単位領域判定処理を実行し、ブロック単位での領域情報を生成し、閾値決定部１５に供給する。
【０１４７】
ステップＳ１６において、ブロック単位領域判定部１４は、全てのブロックについて処理が終了しているか否かを判定し、未処理のブロックが存在する場合、処理は、ステップＳ１５に戻る。すなわち、全てのブロックについて処理が終了するまで、ステップＳ１５，Ｓ１６の処理が繰り返される。そして、全てのブロックについて処理が終了したと判定された場合、処理は、ステップＳ１７に進む。
【０１４８】
ステップＳ１７において、閾値決定部１５は、各画素について、例えばラスタスキャン順に、ローパスフィルタ１２からの平滑化値LPF（Ｖ）と、ブロック単位領域判定部１４からのブロック単位で設定された画素毎の領域情報とに基づいて、非線形平滑フィルタ１６が行うノイズ除去処理のパラメータである閾値εを、画素ごとに決定して非線形平滑フィルタ１６に供給する閾値決定処理を行う。
【０１４９】
ステップＳ１７の処理後、ステップＳ１８に進み、非線形平滑フィルタ１６は、例えば、ラスタスキャン順に順次閾値決定部１５からの閾値εに基づき、入力データとしての画像データにノイズ除去処理を施す。即ち、非線形平滑フィルタ１６は、閾値決定部１５からの閾値εの値に基づく度合いで平滑化がされるように、画像データをフィルタリングし、画像データに含まれるモスキートノイズその他のノイズを除去する。非線形平滑フィルタ１６は、モスキートノイズ等を除去した画像データを出力データとして出力する。
【０１５０】
ステップＳ１９において、閾値決定部１５は、１フレーム分の画素について未処理の画素が存在するか否かを判定し、未処理の画素が存在する場合、処理は、ステップＳ１７に戻る。すなわち、１フレーム分の全ての画素について閾値決定処理がなされて非線形平滑化フィルタによりモスキートノイズが除去されたと判定されるまで、ステップＳ１７乃至Ｓ１９の処理が繰り返される。
【０１５１】
そして、ステップＳ１９において、１フレーム分の全ての画素について閾値決定処理がなされて非線形フィルタによりモスキートノイズが除去されたと判定された場合、処理は終了する。
【０１５２】
なお、図１３の処理は、ノイズ除去装置１０に１フレームの画像データが供給されるごとに、その画像データを対象として繰り返し行われる。
【０１５３】
次に、図１４は、図１３のステップＳ１３における画素単位領域判定処理を説明するフローチャートである。図１４では、画素単位領域判定部１３（図４）のうちの、水平差分計算部２２、水平ヒストグラム計算部２４、および水平方向領域判定部２６によって水平方向に行われる画素単位領域判定処理を説明する。
【０１５４】
画素単位領域判定部１３は、ノイズ除去装置１０に供給された画像データを構成する画素を、順次、注目画素とし、領域判定処理を行う。即ち、領域判定処理では、図１のローパスフィルタ１２から画素単位領域判定部１３に供給された平滑化値LPF（Ｖ）のうちの、注目画素を含む、注目画素の周辺に位置する７×５画素、つまり、注目領域の７×５画素（図５）の平滑化値LPF（Ｖ）が、メモリ２１（図４）に記憶される。
【０１５５】
そして、ステップＳ２１において、水平差分計算部２２は、図５で説明したように、注目領域の水平方向の変化量としての差分値を計算して水平ヒストグラム計算部２４に供給し、ステップＳ２２に進む。
【０１５６】
ステップＳ２２において、水平ヒストグラム計算部２４は、図６で説明したように、水平差分計算部２２からの水平方向の変化量についてのヒストグラムを計算し、３つの度数hist(1)，hist(2)，hist(3)からなるヒストグラムを水平方向領域判定部２６に供給する。
【０１５７】
ステップＳ２２の処理後、ステップＳ２３に進み、水平方向領域判定部２６は、水平ヒストグラム計算部２４からの度数hist(1)と、あらかじめ与えられている閾値th1とを比較し、度数hist(1)が閾値th1より大きい（または以上である）か否かを判定する。
【０１５８】
ステップＳ２３において、水平方向領域判定部２６が、度数hist(1)が閾値th1より大きいと判定した場合、ステップＳ２４に進み、水平方向領域判定部２６は、注目画素が属する領域がエッジ領域であることを表す水平方向の領域情報を、ブロック単位領域情報判定部１４の水平方向画素単位領域情報バッファ３１（図１）に供給して、ステップＳ３０において、ブロック単位領域判定部１４の水平方向画素単位領域情報バッファ３１にバッファリングし、処理を終了する。
【０１５９】
一方、ステップＳ２３において、水平方向領域判定部２６が、度数hist(1)が閾値th1以下であると判定した場合、ステップＳ２５に進む。
【０１６０】
ステップＳ２５において、水平方向領域判定部２６は、水平ヒストグラム計算部２４からの度数hist(2)と、あらかじめ与えられている閾値th2とを比較し、度数hist(2)が閾値th2より大きい（または以上である）か否かを判定する。
【０１６１】
ステップＳ２５において、水平方向領域判定部２６が、度数hist(2)が閾値th2より大きいと判定した場合、ステップＳ２６に進み、水平方向領域判定部２６は、注目画素が属する領域がテクスチャ領域であることを表す水平方向の領域情報を、ブロック単位領域情報判定部１４の水平方向画素単位領域情報バッファ３１に供給して、ステップＳ３０において、ブロック単位領域判定部１４の水平方向画素単位領域情報バッファ３１にバッファリングし、処理を終了する。
【０１６２】
一方、ステップＳ２５において、水平方向領域判定部２６が、度数hist(2)が閾値th2以下であると判定した場合、ステップＳ２７に進む。
【０１６３】
ステップＳ２７において、水平方向領域判定部２６は、水平ヒストグラム計算部２４からの度数hist(3)と、あらかじめ与えられている閾値th3とを比較し、度数hist(3)が閾値th3より大きい（または以上である）か否かを判定する。
【０１６４】
ステップＳ２７において、水平方向領域判定部２６が、度数hist(3)が閾値th3より大きいと判定した場合、ステップＳ２８に進み、水平方向領域判定部２６は、注目画素が属する領域がフラット領域であることを表す水平方向の領域情報を、ブロック単位領域情報判定部１４の水平方向画素単位領域情報バッファ３１に供給して、ステップＳ３０において、ブロック単位領域判定部１４の水平方向画素単位領域情報バッファ３１にバッファリングし、処理を終了する。
【０１６５】
一方、ステップＳ２７において、水平方向領域判定部２６が、度数hist(3)が閾値th3以下であると判定した場合、ステップＳ２９に進み、水平方向領域判定部２６は、注目画素が属する領域が、その他の領域であることを表す水平方向の領域情報を、ブロック単位領域情報判定部１４の水平方向画素単位領域情報バッファ３１に供給して、ステップＳ３０において、ブロック単位領域判定部１４の水平方向画素単位領域情報バッファ３１にバッファリングし、処理を終了する。
【０１６６】
なお、以上の説明は、水平差分計算部２２、水平ヒストグラム計算部２４、および水平方向領域判定部２６によって水平方向に行われる画素単位領域判定処理についてのものであるが、垂直差分計算部２３、垂直ヒストグラム計算部２５、および垂直方向領域判定部２７によっても同様の画素単位領域判定処理が垂直方向に行われ、垂直方向の画素単位領域情報がブロック単位領域情報判定部１４の垂直方向画素単位領域情報バッファ３２に供給され、バッファリングされる。
【０１６７】
次に、図１５のフローチャートを参照して、図１３のステップＳ１５におけるブロック単位領域判定処理について説明する。図１５では、ブロック単位領域判定部１４（図８）のうちの、水平方向画素単位領域情報バッファ３１、水平方向ブロック単位抽出部３３、水平方向エッジ割合計算部３５、水平方向テクスチャ割合計算部３７、水平方向エッジ割合比較部３９、水平方向テクスチャ割合比較部４１、および水平方向ブロック単位領域決定部４３によって水平方向に行われるブロック単位領域判定処理を説明する。
【０１６８】
ステップＳ３１において、水平方向ブロック単位抽出部３３は、ブロック境界検出部１７より供給されてくるブロック境界情報に基づいて、水平方向画素単位領域情報バッファ３１より1ブロック分の画素単位の領域情報を抽出し、ブロックの位置情報と共に水平方向エッジ割合計算部３５、および水平方向テクスチャ割合計算部３７に供給する。
【０１６９】
ステップＳ３２において、水平方向エッジ割合計算部３５は、水平方向ブロック単位抽出部３３より供給されてくる1ブロック分の画素単位の領域情報のうち、領域情報がエッジ領域である割合である水平方向エッジ割合ＲＥＨを計算し、ブロックの位置情報と共に水平方向エッジ割合比較部３９に供給する。
【０１７０】
ステップＳ３３において、水平方向テクスチャ割合計算部３７は、水平方向ブロック単位抽出部３３より供給されてくる1ブロック分の画素単位の領域情報のうち、領域情報がテクスチャ領域である割合である水平方向テクスチャ割合ＲＴＨを計算し、ブロックの位置情報と共に水平方向テクスチャ割合比較部４１に供給する。
【０１７１】
ステップＳ３４において、水平方向エッジ割合比較部３９は、水平方向エッジ割合計算部３５より供給されてきた水平方向エッジ割合ＲＥＨと所定の閾値ｔｈ（ＲＥＨ）とを比較し、ブロックの位置情報と共に比較結果ＣＥＨを水平方向ブロック単位領域決定部４３に供給する。例えば、水平方向エッジ割合比較部３９は、水平方向エッジ割合計算部３５より供給されてきた水平方向エッジ割合ＲＥＨが所定の閾値ｔｈ（ＲＥＨ）よりも大きいとき、比較結果ＣＥＨとして「１」を出力し、それ以外のとき「０」を出力する。
【０１７２】
ステップＳ３５において、水平方向テクスチャ割合比較部４１は、水平方向テクスチャ割合計算部３７より供給されてきた水平方向テクスチャ割合ＲＴＨと所定の閾値ｔｈ（ＲＴＨ）とを比較し、ブロックの位置情報と共に比較結果ＣＴＨを水平方向ブロック単位領域決定部４３に供給する。例えば、水平方向テクスチャ割合比較部４１は、水平方向テクスチャ割合計算部３７より供給されてきた水平方向テクスチャ割合ＲＴＨが所定の閾値ｔｈ（ＲＴＨ）よりも大きいとき、比較結果ＣＴＨとして「１」を出力し、それ以外のとき「０」を出力する。
【０１７３】
ステップＳ３６において、水平方向ブロック単位領域決定部４３は、水平方向エッジ割合ＲＥＨが所定の閾値ｔｈ（ＲＥＨ）よりも大きいか否か、すなわち、比較結果ＣＥＨが「１」であるか否かを判定する。ステップＳ３６において、比較結果ＣＥＨが「１」である場合、すなわち、水平方向エッジ割合ＲＥＨが所定の閾値ｔｈ（ＲＥＨ）よりも大きい場合、ステップＳ３７において、水平方向ブロック単位領域決定部４３は、そのブロック全体の各画素の領域情報をエッジ領域に属していることを示す情報に設定して閾値決定部１５のバッファ５１に出力する。
【０１７４】
ステップＳ３６において、比較結果ＣＥＨが「１」ではない場合、すなわち、水平方向エッジ割合ＲＥＨが所定の閾値ｔｈ（ＲＥＨ）よりも小さく、比較結果ＣＥＨが「０」の場合、ステップＳ３８において、水平方向ブロック単位領域決定部４３は、水平方向テクスチャ割合ＲＴＨが所定の閾値ｔｈ（ＲＴＨ）よりも大きいか否か、すなわち、比較結果ＣＴＨが「１」であるか否かを判定する。
【０１７５】
ステップＳ３８において、比較結果ＣＴＨが「１」である場合、すなわち、水平方向テクスチャ割合ＲＴＨが所定の閾値ｔｈ（ＲＴＨ）よりも大きい場合、ステップＳ３９において、水平方向ブロック単位領域決定部４３は、そのブロック全体の各画素の領域情報をテクスチャ領域に属していることを示す情報に設定して閾値決定部１５のバッファ５１に出力する。
【０１７６】
ステップＳ３８において、比較結果ＣＴＨが「１」ではなく場合、すなわち、水平方向テクスチャ割合ＲＴＨが所定の閾値ｔｈ（ＲＴＨ）よりも小さく、比較結果ＣＴＨが「０」の場合、ステップＳ４０において、水平方向ブロック単位領域決定部４３は、そのブロック全体の各画素の領域情報をフラット領域に属していることを示す情報に設定して閾値決定部１５のバッファ５１に出力する。
【０１７７】
以上の処理によりブロック単位で、比較結果（ＣＥＨ，ＣＴＨ）が、（１，０）および（１，１）の場合、そのブロックに属する全ての画素について領域情報がエッジ領域に属していることを示す情報に設定され、（０，１）の場合、そのブロックに属する全ての画素について領域情報がテクスチャ領域に属していることを示す情報に設定され、上記以外の場合、そのブロックに属する全ての画素については領域情報がフラット領域に属していることを示す情報に設定される。結果として、モスキートノイズが発生しやすいブロック単位で、属している画素の領域情報が設定される事になるので、モスキートノイズを効率良く除去することが可能となる。
【０１７８】
なお、以上の説明は、水平方向画素単位領域情報バッファ３１、水平方向ブロック単位抽出部３３、水平方向エッジ割合計算部３５、水平方向テクスチャ割合計算部３７、水平方向エッジ割合比較部３９、水平方向テクスチャ割合比較部４１、および水平方向ブロック単位領域決定部４３によって水平方向に行われるブロック単位領域判定処理についてのものであるが、垂直方向画素単位領域情報バッファ３２、垂直方向ブロック単位抽出部３４、垂直方向エッジ割合計算部３６、垂直方向テクスチャ割合計算部３８、垂直方向エッジ割合比較部４０、垂直方向テクスチャ割合比較部４２、および垂直方向ブロック単位領域決定部４４によっても同様のブロック単位領域判定処理が垂直方向に行われ、垂直方向のブロック単位領域情報が閾値決定部１５のバッファ５２に供給される。
【０１７９】
次に、図１６は、図１３のステップＳ１７における閾値決定処理を説明するフローチャートである。図１６では、閾値決定部１５（図１０）のうちの、水平方向パラメータ選択部５３および水平方向閾値決定部５５によって水平方向に行われる閾値決定処理を説明する。
【０１８０】
ステップＳ５１において、水平方向パラメータ選択部５３は、図４の水平方向領域判定部２６から図１０のバッファ５１に供給された注目画素の水平方向の領域情報のうち、未処理の注目画素を設定し、注目画素に対応する水平方向の領域情報に基づいて、閾値決定曲線を決定するための決定用パラメータを選択する。
【０１８１】
例えば、図１１を参照して説明したように、水平方向パラメータ選択部５３は、水平方向領域判定部２６からの水平方向の領域情報がエッジ領域を表している場合、決定用パラメータＥ1，Ｆ1，Ｍ1を選択する。また、水平方向パラメータ選択部５３は、水平方向領域判定部２６からの水平方向の領域情報がテクスチャ領域を表している場合、決定用パラメータＥ2，Ｆ2，Ｍ2を選択する。また、水平方向パラメータ選択部５３は、水平方向領域判定部２６からの水平方向の領域情報がフラット領域またはその他の領域を表している場合、決定用パラメータＥ3，Ｆ3，Ｍ3を選択する。
【０１８２】
水平方向パラメータ選択部５３は、決定用パラメータを水平方向閾値決定部５５に供給して、ステップＳ５２に進む。
【０１８３】
ステップＳ５２において、水平方向閾値決定部５５は、水平方向パラメータ選択部５３からの決定用パラメータに基づき、閾値εの決定に用いる閾値決定曲線を決定し、その閾値決定曲線において、図１のローパスフィルタ１２から供給される注目画素の平滑化値LPF（Ｖ）に対応する値を、注目画素の水平方向の閾値εとして決定する。
【０１８４】
そして、水平方向閾値決定部５５は、図１の非線形平滑フィルタ１６に水平方向の閾値εを供給し、処理を終了する。
【０１８５】
なお、以上の説明は、水平方向パラメータ選択部５３および水平方向閾値決定部５５によって水平方向に行われる閾値決定処理についてのものであるが、垂直方向パラメータ選択部５４および垂直方向閾値決定部５６によっても、図１０の垂直方向パラメータ選択部５４からの決定用パラメータに基づき、同様の閾値決定処理が垂直方向に行われ、その閾値決定処理によって得られる注目画素の垂直方向の閾値εが非線形平滑フィルタ１６に供給される。
【０１８６】
以上のように、ブロック単位領域判定処理による判定結果としての領域情報に基づき、閾値決定処理により閾値εを決定することで、非線形平滑フィルタ１６では、画像データの各画素がブロック単位で属する領域に適した閾値εによるフィルタリングであって、かつ、各画素の近傍の画素値のばらつき（散らばり）の度合いに応じた閾値εによるフィルタリングが行われ、その結果、画像データに含まれるモスキートノイズ等を効果的に除去することができる。
【０１８７】
即ち、従来より、モスキートノイズを除去する方法としては、例えば、一次微分や、ソーベルフィルタを利用したフィルタリングを行う方法があるが、この方法では、エッジ領域とテクスチャ領域とを適切に分離してフィルタリングを行うことが難しかった。これに対して、図１のノイズ除去装置１０によれば、エッジ領域、テクスチャ領域、フラット領域を適切に分離して、そのエッジ領域、テクスチャ領域、フラット領域の各領域に応じた閾値決定曲線により、画素値の散らばりの度合いに応じて、動的に、閾値εを決定するので、効果的にノイズを除去することができる。
【０１８８】
具体的には、エッジ領域に属する画素については、図１１を参照して説明したように、閾値決定曲線Ｌ1にしたがい、閾値εは、比較的大の値に決定されるので、非線形平滑フィルタ１６は、高い平滑化の度合いでエッジ領域（例えば、図３の範囲ｄに対応する画像データの範囲）の画素をフィルタリングする。従って、画像データのエッジの周辺部分に発生するモスキートノイズを除去することができる。
【０１８９】
また、テクスチャ領域に属する画素については、閾値決定曲線Ｌ2にしたがい、閾値εは、エッジ領域に属する画素についての閾値εよりも小さい中の値に決定されるので、非線形平滑フィルタ１６は、エッジ領域の画素の平滑化の度合いよりも低い平滑化の度合いで、テクスチャ領域（例えば、図３の範囲ｅに対応する画像データの範囲）の画素をフィルタリングする。従って、テクスチャとしての画素値の微細な変化を保存すること、例えば、物体表面の模様などの画質の劣化を防止することができる。
【０１９０】
また、フラット領域に属する画素については、閾値決定曲線Ｌ3にしたがい、閾値εは、テクスチャ領域に属する画素についての閾値εよりも小さい小の値に決定されるので、非線形平滑フィルタ１６は、テクスチャ領域の画素の平滑化の度合いよりも低い平滑化の度合いで、フラット領域（例えば、図３の範囲ｆに対応する画像データの範囲）の画素をフィルタリングする。従って、フラット領域に存在する微細なノイズを除去することができる。
【０１９１】
さらに、モスキートノイズの発生しやすいブロック単位で各画素の領域情報が設定されるので、モスキートノイズを効率良く除去することが可能となる。
【０１９２】
次に、図１のノイズ除去装置１０では、注目画素の分散情報として縦×横が３×３画素の画素値の分散Ｖを用いて、水平方向の処理（上述の画素単位領域判定処理（図１４）、ブロック単位領域判定処理（図１５）、閾値決定処理（図１６）、およびノイズ除去処理のうち水平方向に行われる処理）および垂直方向の処理（上述の領域判定処理（図１４）、ブロック単位領域判定処理（図１５）、閾値決定処理（図１６）、およびノイズ除去処理のうち垂直方向に行われる処理）の両方が行われるが、注目画素については、水平方向の分散情報と垂直方向の分散情報とをそれぞれ求め、水平方向の分散情報を用いて水平方向の処理を行うとともに、垂直方向の分散情報を用いて垂直方向の処理を行うことができる。
【０１９３】
図１７は、本発明を適用したノイズ除去装置の他の実施の形態の構成例を示すブロック図である。
【０１９４】
図１７において、ノイズ除去装置６０には、水平分散計算部６１、垂直分散計算部６２、垂直ローパスフィルタ６３、水平ローパスフィルタ６４、水平画素単位領域判定部６５、垂直画素単位領域判定部６６、水平ブロック単位領域判定部６７、垂直ブロック単位領域判定部６８、水平閾値決定部６９、垂直閾値決定部７０、水平非線形平滑化フィルタ７１、垂直非線形平滑化フィルタ７２、およびブロック境界検出部７３が設けられている。
【０１９５】
水平分散計算部６１および垂直分散計算部６２には、図１の分散計算部１１と同様に、入力データとしての画像データが入力され、水平分散計算部６１は、注目画素についての水平方向の分散情報としての、例えば、水平方向の分散ＶHを計算し、垂直分散計算部６２は、注目画素についての垂直方向の分散情報としての、例えば、垂直方向の分散ＶVを計算する。
【０１９６】
このとき、水平分散計算部６１と垂直分散計算部６２とは、それぞれ異なる数の画素（画素値）を用いて分散を求めることができる。水平分散計算部６１は、注目画素を中心とする水平方向の、例えば、５画素（tap）を用い、上述の式（１）にしたがい、注目画素についての水平方向の分散ＶHを計算する。垂直分散計算部６２は、注目画素を中心とする垂直方向の、例えば、３画素（tap）を用い、上述の式（１）にしたがい、注目画素についての垂直方向の分散ＶVを計算する。なお、水平方向の分散ＶHと垂直方向の分散ＶVとは、同一の数の画素を用いて求めることもできる。
【０１９７】
そして、水平分散計算部６１は、注目画素についての水平方向の分散ＶHを垂直ローパスフィルタ６３に供給し、垂直分散計算部６２は、注目画素についての垂直方向の分散ＶVを水平ローパスフィルタ６４に供給する。
【０１９８】
垂直ローパスフィルタ６３は、水平分散計算部６１からの注目画素についての水平方向の分散ＶHを水平方向に平滑化する。垂直ローパスフィルタ６３は、注目画素についての水平方向の分散ＶHを水平方向に平滑化することにより得られる注目画素についての水平方向の平滑化値LPF（ＶH）を、水平画素単位領域判定部６５および水平閾値決定部６９に供給する。
【０１９９】
水平ローパスフィルタ６４は、垂直分散計算部６２からの注目画素についての垂直方向の分散ＶVを垂直方向に平滑化する。水平ローパスフィルタ６４は、注目画素についての垂直方向の分散ＶVを垂直方向に平滑化することにより得られる注目画素についての垂直方向の平滑化値LPF（ＶV）を、垂直画素単位領域判定部６６および垂直閾値決定部７０に供給する。
【０２００】
水平画素単位領域判定部６５は、図４のメモリ２１、水平差分計算部２２、水平ヒストグラム計算部２４、および水平方向領域判定部２６（いずれも図示せず）が設けられる点で、図４の画素単位領域判定部１３と共通する。但し、水平画素単位領域判定部６５は、垂直差分計算部２３、垂直ヒストグラム計算部２５、および垂直方向領域判定部２７が設けられていない点で、図４の画素単位領域判定部１３と相違する。
【０２０１】
そして、水平画素単位領域判定部６５は、画素単位領域判定部１３と同様に、垂直ローパスフィルタ６３からの注目画素についての水平方向の平滑化値LPF（ＶH）に基づいて、画像データを構成する各画素について、画素が属する領域が、エッジ領域、テクスチャ領域、フラット領域、またはその他の領域のうちのいずれであるかを判定する水平方向の画素単位領域判定処理を行う。そして、水平画素単位領域判定部６５は、水平方向の画素単位領域判定処理を行った結果、注目画素についての水平方向の画素単位領域情報を水平閾値決定部６９に供給する。
【０２０２】
垂直画素単位領域判定部６６は、図４のメモリ２１、垂直差分計算部２３、垂直ヒストグラム計算部２５、および垂直方向領域判定部２７（いずれも図示せず）が設けられる点で、図４の画素単位領域判定部１３と共通する。但し、垂直画素単位領域判定部６６は、水平差分計算部２２、水平ヒストグラム計算部２４、および水平方向領域判定部２６が設けられていない点で、図４の画素単位領域判定部１３と相違する。
【０２０３】
そして、垂直画素単位領域判定部６６は、図４の画素単位領域判定部１３と同様に、水平ローパスフィルタ６４からの注目画素についての垂直方向の平滑化値LPF（ＶV）に基づいて、画像データを構成する各画素について、画素が属する領域が、エッジ領域、テクスチャ領域、フラット領域、またはその他の領域のうちのいずれであるかを判定する垂直方向の画素単位領域判定処理を行う。そして、垂直画素単位領域判定部６６は、垂直方向の画素単位領域判定処理を行った結果、注目画素についての垂直方向の画素単位領域情報を垂直閾値決定部７０に供給する。
【０２０４】
水平ブロック単位領域判定部６７は、図８の水平方向画素単位領域情報バッファ３１、水平方向ブロック単位抽出部３３、水平方向エッジ割合計算部３５、水平方向テクスチャ割合計算部３７、水平方向エッジ割合比較部３９、水平方向テクスチャ割合比較部４１、および水平方向ブロック単位領域決定部４３が設けられている点で、図８のブロック単位領域判定部１４と共通する。但し、水平ブロック単位領域判定部６７は、垂直方向画素単位領域情報バッファ３２、垂直方向ブロック単位抽出部３４、垂直方向エッジ割合計算部３６、垂直方向テクスチャ割合計算部３８、垂直方向エッジ割合比較部４０、垂直方向テクスチャ割合比較部４２、および垂直方向ブロック単位領域決定部４４が設けられていない点で図８のブロック単位領域判定部１４と相違する。
【０２０５】
そして、水平ブロック単位領域判定部６７は、図８のブロック単位領域判定部１４と同様に、水平方向に処理された画素単位領域情報に基づいて、ブロック境界検出部７３のブロック境界情報により、ブロック単位で画素が属する領域が、エッジ領域、テクスチャ領域、またはフラット領域のいずれであるかを判定する水平方向のブロック単位領域判定処理を行う。そして、水平ブロック単位領域判定部６７は、水平方向のブロック単位領域判定処理を行った結果、ブロック単位で水平方向のブロック単位領域情報を水平閾値決定部６９に供給する。
【０２０６】
垂直ブロック単位領域判定部６８は、図８のブロック単位領域判定部１４の水平ブロック単位領域判定部６７は、垂直方向画素単位領域情報バッファ３２、垂直方向ブロック単位抽出部３４、垂直方向エッジ割合計算部３６、垂直方向テクスチャ割合計算部３８、垂直方向エッジ割合比較部４０、垂直方向テクスチャ割合比較部４２、および垂直方向ブロック単位領域決定部４４が設けられている点で、共通する。但し、垂直ブロック単位領域判定部６８は、図８の水平方向画素単位領域情報バッファ３１、水平方向ブロック単位抽出部３３、水平方向エッジ割合計算部３５、水平方向テクスチャ割合計算部３７、水平方向エッジ割合比較部３９、水平方向テクスチャ割合比較部４１、および水平方向ブロック単位領域決定部４３が設けられていない点で図８のブロック単位領域判定部１４と相違する。
【０２０７】
そして、垂直ブロック単位領域判定部６８は、図８のブロック単位領域判定部１４と同様に、垂直方向に処理された画素単位領域情報に基づいて、ブロック境界検出部７３のブロック境界情報により、ブロック単位で画素が属する領域が、エッジ領域、テクスチャ領域、またはフラット領域のいずれであるかを判定する垂直方向のブロック単位領域判定処理を行う。そして、垂直ブロック単位領域判定部６８は、垂直方向のブロック単位領域判定処理を行った結果、ブロック単位で垂直方向のブロック単位領域情報を垂直閾値決定部７０に供給する。
【０２０８】
水平閾値決定部６９は、図１０の水平方向パラメータ選択部５３および水平方向閾値決定部５５（いずれも図示せず）が設けられる点で、図１０の閾値決定部１５と共通する。但し、水平閾値決定部６９は、垂直方向パラメータ選択部５４および垂直方向閾値決定部５６が設けられていない点で、図１０の閾値決定部１５と相違する。
【０２０９】
そして、水平閾値決定部６９は、図１０の閾値決定部１５と同様に、垂直ローパスフィルタ６３からの注目画素についての水平方向の平滑化値LPF（ＶH）と、水平画素単位領域判定部６５からの注目画素についての水平方向の領域情報とに基づいて、注目画素についての水平方向の閾値εを決定し、水平非線形平滑化フィルタ７１に供給する。
【０２１０】
垂直閾値決定部７０は、図１０の垂直方向パラメータ選択部５４および垂直方向閾値決定部５６（いずれも図示せず）が設けられる点で、図１０の閾値決定部１５と共通する。但し、垂直閾値決定部７０は、水平方向パラメータ選択部５３および水平方向閾値決定部５５が設けられていない点で、図１０の閾値決定部１５と相違する。
【０２１１】
そして、垂直閾値決定部７０は、図１０の閾値決定部１５と同様に、水平ローパスフィルタ６４からの注目画素についての垂直方向の平滑化値LPF（ＶV）と、垂直画素単位領域判定部６６からの注目画素についての垂直方向の領域情報とに基づいて、注目画素についての垂直方向の閾値εを決定し、垂直非線形平滑化フィルタ７２に供給する。
【０２１２】
水平非線形平滑化フィルタ７１には、入力データとしての画像データが供給されるとともに、水平閾値決定部６９から注目画素についての水平方向の閾値εが供給される。水平非線形平滑化フィルタ７１は、例えば、εフィルタであり、水平閾値決定部６９からの注目画素についての水平方向の閾値εに基づく度合いで注目画素の平滑化がされるように、画像データを水平方向にフィルタリングして垂直非線形平滑化フィルタ７２に供給する。
【０２１３】
垂直非線形平滑化フィルタ７２には、水平非線形平滑化フィルタ７１が水平方向にフィルタリングした画像データが供給されるとともに、垂直閾値決定部７０から注目画素についての垂直方向の閾値εが供給される。垂直非線形平滑化フィルタ７２は、例えば、εフィルタであり、垂直閾値決定部７０からの注目画素についての垂直方向の閾値εに基づく度合いで注目画素の平滑化がされるように、画像データを垂直方向にフィルタリングする。
【０２１４】
以上のように、ノイズ除去装置６０では、入力データとしての画像データから、注目画素についての水平方向の分散ＶHと垂直方向の分散ＶVとがそれぞれ求められ、水平方向の分散ＶHを用いて水平方向の処理が行われ、垂直方向の分散ＶVに基づいて垂直方向の処理が行われる。
【０２１５】
このように、水平方向の処理に水平方向の分散ＶHを用いるとともに、垂直方向の処理に垂直方向の分散ＶVを用いることにより、図１のノイズ除去装置１０のように、水平方向の処理と垂直方向の処理に同じ分散Ｖを用いる場合より、水平方向のフィルタリングに適した水平方向の閾値ε、および垂直方向のフィルタリングに適した垂直方向の閾値εを得ることができる。
【０２１６】
例えば、細線どうしが交差する交点付近の画素においては、水平方向の分散ＶHと垂直方向の分散ＶVとが異なる傾向が高く、ノイズ除去装置６０によれば、特に、細線どうしが交差する交点付近をフィルタリングする場合、水平方向のフィルタリングに適した水平方向の閾値ε、および垂直方向のフィルタリングに適した垂直方向の閾値εで、フィルタリングすることができ、図１のノイズ除去装置１０における場合よりも、より効果的にノイズを除去することができる。
【０２１７】
なお、ノイズ除去装置１０や６０では、注目画素についての領域情報に基づき、ノイズ除去処理のパラメータとして、εフィルタで使用される閾値εを決定するようにしたが、ノイズ除去処理のパラメータとしては、その他、例えば、ノイズ除去処理としてのフィルタリングを行うフィルタのタップ係数を求める（決定する）こともできる。
【０２１８】
また、本実施の形態においては、ノイズ除去処理を行う非線形平滑化フィルタとして、εフィルタを用いたが、非線形平滑化フィルタには、その他のフィルタ、例えば、平滑化されるノイズのレベルを閾値で制御することができるフィルタ（以下、適宜、Ｍフィルタという）を用いることができる。なお、Ｍフィルタの詳細については、例えば、特開２００４−２８９６０７号公報に記載されている。
【０２１９】
Ｍフィルタは、例えば、注目画素をフィルタリングするとき、注目画素を含む周辺の画素を、複数の種類のタップ係数を用いて加重平均することで複数の種類の平滑化値を求め、注目画素の画素値と加重平均に用いた画素の画素値との差分値を所定の閾値と比較した結果に基づいて、複数の種類の平滑化値に対する重みを算出し、この重みに従って複数の種類の平滑化値を合成する。このように、閾値に基づく重みに従って複数の種類の平滑化値を合成することで、Ｍフィルタでは、平滑化されるノイズのレベルを閾値で制御することができる。
【０２２０】
このようなＭフィルタにおいて、注目画素についての領域情報に基づいて決定される閾値を用いることにより、エッジ領域、テクスチャ領域、フラット領域の各領域に応じた閾値に基づく重みに従って複数の種類の平滑化値が合成され、各領域に応じたノイズ除去処理をすることができる。
【０２２１】
なお、ノイズ除去装置１０や６０では、例えば、MPEG方式でエンコードされた画像データがデコードされた動画像（のデータ）や、JPEG方式でエンコードされた画像データがデコードされた静止画像（のデータ）など、動画像であるか静止画像であるかを問わず、ノイズ除去処理の対象とすることができる。
【０２２２】
また、以上においてはDCT処理などの圧縮処理を行うためのブロック化におけるブロック境界をブロック境界検出部１７，６３により検出させる例について説明してきたが、符号化情報における基本的な情報であるため、デコーダなどで使用したものをそのまま利用するようにしても良い。
【０２２３】
以上においては、ブロック単位で領域情報を統一する場合の例について説明してきたが、例えば、低画質の画像に対してはブロック単位で領域情報を揃える事でモスキートノイズを低減させることは有効であるが、入力画像が、ある程度以上の画質の画像の場合、画素単位で求めた領域情報を用いた方がノイズの低減効果が高い。そこで、画質に応じて、ブロック単位での領域情報を用いるか、または、画素単位での領域情報を用いるかを切り替えるようにしても良い。
【０２２４】
例えば、MPEG2などの圧縮符号化を用いる場合、1920画素×1080画素の解像度の画像のビットレートが10Mbpsであれば画質が低下していることが推定されるが、720画素×480画素のビットレートが20Mbps程度であれば、ある程度の画質が保証されていると見ても良いものである。しかしながら、ビットレートと解像度による方法では画質との関係は一定とはいえず、エンコードの状況(動きベクトルの探索範囲や原画像の動きや原画像の情報量など)によって同一条件においても画質は大きく変動する。
【０２２５】
すなわち、MPEG2による圧縮符号化では、単一の画像のみで符号化を行うイントラフレーム(I-frame)と、複数枚の画像から予測誤差分を符号化する予測フレームがあるため、同一ビットレートであっても、これらのフレームの種類より、画像1枚に割り当てられるビット量の配分が異なるのでビットレートと画質の関係は一定といえない。
【０２２６】
ただし、イントラフレームに限れば、ビットレートと画質の関係でも、利用されるビット量はほぼすべてDCT係数の伝送に利用されるため、画質の予測に利用可能であると考えられる。
【０２２７】
一方で入力画像自体に情報量が少なければ、それを表現するのに必要なビット量は少なくて済む。
【０２２８】
これらのことから、入力画像の情報量と、割り当てられたビット量との比を歪量と定義し、この歪量により符号化画像の画質を推定することができる。
【０２２９】
そこで、次に、図１８を参照して、入力画像の情報量と、フレームビット数との比で定義される歪量により、画素単位領域情報およびブロック単位領域情報を画素単位で混合するようにしたノイズ除去装置１０について説明する。尚、図１８において、図１と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略するものとする。
【０２３０】
図１８において、図１のノイズ除去装置１０と異なるのは、新たに領域情報合成部８１が備えられている点である。領域情報合成部８１は、画素単位領域判定部１３からの画素単位領域情報と、ブロック単位領域判定部１４からのブロック単位領域情報とをバッファリングし、画像の高周波成分のパワーとフレームビットから得られる歪量に基づいて、画素単位で混合し、閾値決定部１５に出力する。
【０２３１】
次に、図１９のブロック図を参照して、図１８の領域情報合成部８１の構成例について説明する。
【０２３２】
図１９の領域情報合成部１８には、水平方向画素単位領域情報バッファ９１、垂直方向画素単位領域情報バッファ９２、水平方向ブロック単位領域情報バッファ９３、垂直方向ブロック単位領域情報バッファ９４、水平方向領域情報合成部９５、垂直方向領域情報合成部９６、パワー計測部９７、歪量計算部９８、および混合比計算部９９が設けられている。
【０２３３】
水平方向画素単位領域情報バッファ９１は、画素単位領域情報判定部１３より供給されてくる水平方向画素単位情報を記憶する。垂直方向画素単位領域情報バッファ９２は、画素単位領域情報判定部１３より供給されてくる垂直方向画素単位情報を記憶する。
【０２３４】
水平方向ブロック単位領域情報バッファ９３は、ブロック単位領域情報判定部１４より供給されてくる水平方向ブロック単位情報を記憶する。垂直方向ブロック単位領域情報バッファ９４は、ブロック領域情報判定部１４より供給されてくる垂直方向ブロック単位情報を記憶する。
【０２３５】
パワー計測部９７は、HPF（Hi Pass Filter）９７ａを備えており、入力画像に対してHFP９７ａを掛けることにより、高周波成分を抽出して、それらの積算し、積算結果を画像におけるパワーPとして歪計算部９８に出力する。
【０２３６】
歪計算部９８は、デコーダ１より画像と共に供給されてくるイントラフレームに割り当てられているビット数を示すフレームビット量Bと、入力画像のパワーPに基づいて、歪量γ（＝P/B）を計算し混合比計算部９９に供給する。すなわち、パワーPがフレームビット量Bに対して大きい場合、設定されたフレームビットに対して高周波成分が多い画像となるので、歪量γは大きくなり、画質が低い画像であると推定され、逆に、パワーPがフレームビット量Bに対して小さい場合、設定されたフレームビットに対して高周波成分が少ない画像となるので、歪量γは小さくなり、画質が高い画像であると推定される。
【０２３７】
混合比計算部９９は、歪量γと混合比Ｍとの関係が記憶されているテーブル９９ａを内蔵しており、歪量計算部９８より供給されてくる歪量γに対応する画素単位領域情報とブロック単位領域情報との混合比Mを計算して、水平方向領域情報合成部９５、および垂直方向領域情報合成部９６に供給する。
【０２３８】
水平方向領域情報合成部９５は、混合比計算部９９より供給されて混合比Ｍに基づいて水平方向画素単位領域情報バッファ９１の水平方向画素単位情報と、水平方向ブロック単位領域情報バッファ９３の水平方向ブロック単位領域情報とを混合して、合成領域情報として閾値決定部１５に出力する。
【０２３９】
垂直方向領域情報合成部９６は、混合比計算部９９より供給されて混合比Ｍに基づいて垂直方向画素単位領域情報バッファ９２の垂直方向画素単位情報と、垂直方向ブロック単位領域情報バッファ９４の垂直方向ブロック単位領域情報とを混合して、合成領域情報として閾値決定部１５に出力する。
【０２４０】
次に、図２０のフローチャートを参照して、図１８のノイズ除去装置１０がモスキートノイズを除去するノイズ除去処理における水平方向の処理ついて説明する。尚、図２０のフローチャートにおけるステップＳ６１乃至Ｓ６６、およびＳ６８乃至Ｓ７０の処理は、図１３のフローチャートにおけるステップＳ１１乃至Ｓ１９の処理と同様であるので、その説明は省略するものとする。ただし、ステップＳ６３の処理により求められた画素単位領域情報は、ブロック単位領域判定部１４に加えて領域情報合成部８１に供給され、ステップＳ６５により求められたブロック単位領域情報は、領域情報合成部８１に供給される。また、ステップＳ６８以降においては、ブロック単位領域情報に代えて、ステップＳ６７の処理により求められる合成領域情報に基づいて処理がなされるものとする。従って、図２０において、図１３と異なるのは、ステップＳ６７における領域情報混合処理である。
【０２４１】
そこで、図２１のフローチャートを参照して、領域情報合成処理について説明する。
【０２４２】
ステップＳ８１において、パワー計測部９７は、入力画像に対してHFP９７ａを掛けることにより、高周波成分を抽出して、それらの積算値を画像におけるパワーPとして歪計算部９８に出力する。
【０２４３】
ステップＳ８２において、歪計算部９８は、デコーダ１より画像と共に供給されてくるイントラフレームに割り当てられているビット数を示すフレームビット量Bと、入力画像のパワーPに基づいて、歪量γ（＝P/B）を計算し混合比計算部９９に供給する。この処理により、フレームビット量Bに対する入力画像の高周波成分のパワーP割合が求められるため、歪量γが大きいほど画質が低く、小さいほど画質が高いことが推定される。
【０２４４】
ステップＳ８３において、混合比計算部９９は、歪量γと混合比Mとの関係が記憶されているテーブル９９ａの情報に基づいて、歪量計算部９８より供給されてくる歪量γに対応する画素単位領域情報とブロック単位領域情報との混合比Mを計算して、水平方向領域情報合成部９５に供給する。
【０２４５】
ステップＳ８４において、水平方向領域情報合成部９５は、混合比計算部９９より供給されて混合比Ｍに基づいて、水平方向画素単位領域情報バッファ９１の水平方向画素単位情報と、水平方向ブロック単位領域情報バッファ９３の水平方向ブロック単位領域情報とを混合して、合成領域情報として閾値決定部１５に出力する。
【０２４６】
すなわち、テーブル９９ａに格納されている歪量γと混合比Mとの関係は、例えば、図２２で示されるようなものである。ここで、混合比Mは、画素単位領域情報：ブロック単位領域情報＝（1−M）：Mで定義される。従って、図２２で示されるように、歪量γが０乃至γ１においては、歪量γが小さいため、入力画像が比較的高画質であると考えられるので、混合比Mが０とされ、ブロック単位で全ての画素について画素単位領域情報が適用される。逆に、歪量γがγ２よりも大きいときにおいては、歪量γが大きくなるため、入力画像が比較的低画質であると考えられるので、混合比Mが１とされ、ブロック単位で全ての画素についてブロック単位領域情報が適用される。さらに、歪量γが、γ１＜γ＜γ２であるような場合、混合比Mは、０＜M＜１となるため、ブロック単位で（または、画像全体として）各画素は、画素単位領域情報とブロック単位領域情報とが混合比に対応して混在することになる。例えば、図２２で示されるγ１とγ２の中間位置であるγｈであるような場合、混合比Ｍは1/2となる。このような場合、水平方向領域情報合成部９５は、各ブロックについて、例えば、図２３で示される丸印で示される画素については、ブロック単位領域情報を適用し、それ以外の画素については、画素単位領域情報を適用する。図２３において、1ブロックが8画素×8画素の範囲であるものとし、３２画素ずつブロック単位領域情報と画素単位領域情報に混合されており、混合比通り、それぞれの領域情報が50%ずつ採用されていることが示されている。尚、ブロック単位領域情報が採用される画素と、画素単位領域情報が採用される画素の配置は、図２３で示されるものに限られず、その他の配置であってもよい。
【０２４７】
また、以上の処理は、水平方向画素単位領域情報バッファ９１、水平方向ブロック単位領域情報バッファ９３、水平方向領域情報合成部９５、パワー計測部９７、歪量計算部９８、および混合比計算部９９により水平方向における領域情報合成処理について説明してきたが、当然のことながら、垂直方向画素単位領域情報バッファ９２、垂直方向ブロック単位領域情報バッファ９４、垂直方向領域情報合成部９６、パワー計測部９７、歪量計算部９８、および混合比計算部９９によっても同様の領域情報合成処理が行われ、垂直方向の合成領域情報が出力される。
【０２４８】
以上のような処理により、入力画像の高周波成分のパワーとフレームビット量との比率で定義される歪量により画質を推定することで、推定された画質に併せて適応的に画素単位領域情報とブロック単位領域情報とを使い分けることが可能となり、結果として、最適な領域情報に基づいてノイズを除去することが可能となる。
【０２４９】
上述した一連の処理は、ハードウエアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２５０】
そこで、図２４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２５１】
コンピュータは、CPU（Central Processing Unit）１０１、ROM（Read Only Memory）１０２、RAM(Random Access Memory)１０３、内部バス１０４、入出力インターフェース１０５、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、およびドライブ１１０を備える。
【０２５２】
CPU１０１、ROM１０２、およびRAM１０３は、内部バス１０４を介して相互に接続されている。この内部バス１０４にはまた、入出力インターフェース１０５も接続されている。
【０２５３】
CPU１０１は、ROM１０２に記憶されているプログラム、または、RAM１０３にロードされたプログラムに従って各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上で必要なデータなどが適宜記憶される。
【０２５４】
入出力インターフェース１０５には、キーボード、マウスなどよりなる入力部１０６、LCD（Liquid Crystal Display）、CRT（Cathode Ray Tube）などよりなる出力部１０７、ハードディスクなどより構成される記憶部１０８、モデム、ターミナルアダプタ、その他の通信インターフェースなどより構成される通信部１０９、およびドライブ１１０が接続されている。
【０２５５】
ドライブ１１０には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどよりなる記録媒体１１１が適宜装着される。
【０２５６】
CPU１０１によって実行されるプログラムは、ROM１０２や記憶部１０８に予め記憶（記録）しておくことができる。また、プログラムを記録した記録媒体１１１を、いわゆるパッケージソフトウエアとして提供することができ、プログラムは、記録媒体１１１からドライブ１１０によって読み出され、記憶部１０８にインストールされる。また、プログラムを、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、通信部１０９に無線で転送し、または、LAN(Local Area Network)やインターネットといったネットワークを介して、通信部１０９に有線で転送して提供することができ、プログラムは、通信部１０９から記憶部１０８に供給されてインストールされる。
【０２５７】
このように構成されるコンピュータは、ユーザによって入力部１０６が操作されることにより、記憶部１０８に記憶されている画像データを出力部１０７で再生させる指令が入力されると、それに従って、ROM１０２に記憶されているプログラム、または、記憶部１０８からRAM１０３にロードされたプログラムを、CPU１０１に実行させる。
【０２５８】
これにより、CPU１０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０１は、その処理結果としてのノイズが除去された画像データ（画像）を、入出力インターフェース１０５を介して、出力部１０７に表示させる。
【０２５９】
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２６０】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【図面の簡単な説明】
【０２６１】
【図１】本発明を適用したノイズ除去装置の一実施の形態の構成例を示すブロック図である。
【図２】分散計算部による分散Ｖの計算を説明する図である。
【図３】画像データ、分散Ｖ、および平滑化値LPF（Ｖ）の波形を模式的に示す図である。
【図４】画素単位領域判定部の構成例を示すブロック図である。
【図５】メモリの記憶内容を示す図である。
【図６】水平ヒストグラム計算部で求められる変化量のヒストグラムを説明する図である。
【図７】水平方向領域判定部と垂直方向領域判定部が行う、注目画素が属する画素単位領域判定処理を説明する図である。
【図８】ブロック単位領域判定部の構成例を示すブロック図である。
【図９】ブロック単位領域判定部によるブロック単位領域判定処理を説明する図である。
【図１０】閾値決定部の構成例を示すブロック図である。
【図１１】閾値決定曲線を示す図である。
【図１２】εフィルタによるフィルタリングを説明する図である。
【図１３】図１のノイズ除去装置のノイズ除去処理を説明するフローチャートである。
【図１４】画素単位領域判定処理を説明するフローチャートである。
【図１５】ブロック単位領域判定処理を説明するフローチャートである。
【図１６】閾値決定処理を説明するフローチャートである。
【図１７】本発明を適用したノイズ除去装置の他の実施の形態の構成例を示すブロック図である。
【図１８】ノイズ除去装置のその他の実施の形態の構成例を示すブロック図である。
【図１９】図１８の領域情報合成部の構成例を示すブロック図である。
【図２０】図１８のノイズ除去装置のノイズ除去処理を説明するフローチャートである。
【図２１】領域情報合成処理を説明するフローチャートである。
【図２２】歪量と混合比との関係を示すテーブルの情報を説明する図である。
【図２３】領域情報の合成例を説明する図である。
【図２４】ノイズ除去装置を実現するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０２６２】
１０ ノイズ除去装置， １１ 分散計算部， １２ ローパスフィルタ，１３ 画素単位領域判定部， １４ ブロック単位領域判定部， １５ 閾値決定部， １６ 非線形平滑フィルタ， ２１ メモリ， ２２ 水平差分計算部， ２３ 垂直差分計算部， ２４ 水平ヒストグラム計算部， ２５ 垂直ヒストグラム計算部， ２６ 水平方向領域判定部， ２７ 垂直方向領域判定部， ３１ 水平方向画素単位領域情報バッファ， ３２ 垂直方向画素単位領域情報バッファ， ３３ 水平方向ブロック単位抽出部， ３４ 垂直方向ブロック単位抽出部， ３５ 水平方向エッジ割合計算部， ３６ 垂直方向エッジ割合計算部， ３７ 水平方向テクスチャ割合計算部， ３８ 垂直方向テクスチャ割合計算部， ３９ 水平方向エッジ割合比較部， ４０ 垂直方向エッジ割合比較部， ４１ 水平方向テクスチャ割合比較部， ４２ 垂直方向テクスチャ割合比較部， ４３ 水平方向ブロック単位領域決定部， ４４ 垂直方向ブロック単位領域決定部． ５１ 水平方向パラメータ選択部， ５２ 垂直方向パラメータ選択部， ５３ 水平方向閾値決定部， ５４ 垂直方向閾値決定部， ８１ 領域情報合成部
【特許請求の範囲】
【請求項１】
画像データを処理するデータ処理装置において、
前記画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報を計算する分散情報計算手段と、
前記分散情報を平滑化し、平滑化値を出力する平滑化手段と、
前記平滑化値に基づいて、前記画素が属する領域を画素単位で判定し、その領域を表す画素単位領域情報を出力する画素単位判定手段と、
前記画素単位判定手段による画素単位領域情報に基づいて、ブロック単位で前記画素が属する領域を判定し、その領域を表すブロック単位領域情報を出力するブロック単位判定手段と、
前記ブロック単位領域情報と前記平滑化値とに基づいて、前記画像データを構成する画素ごとに、ノイズ除去処理のパラメータを決定するパラメータ決定手段と、
前記画素ごとに決定された前記パラメータに基づき、前記画像データに前記ノイズ除去処理を施すノイズ除去手段と
を備えることを特徴とするデータ処理装置。
【請求項２】
前記画素単位判定手段は、
前記画像データを構成する画素のうちの、注目している注目画素を含む、前記注目画素の周辺に位置する画素の前記平滑化値の変化量を計算する変化量計算手段と、
前記変化量のヒストグラムを計算するヒストグラム計算手段と、
前記ヒストグラムに基づいて、前記注目画素が属する領域を画素単位で判定する画素単位領域判定手段と
を有する
ことを特徴とする請求項１に記載のデータ処理装置。
【請求項３】
前記画素単位判定手段は、前記画素が属する領域が、エッジ領域、テクスチャ領域、またはフラット領域のうちのいずれであるかを前記画素単位で判定する
ことを特徴とする請求項１に記載のデータ処理装置。
【請求項４】
前記ブロック単位判定手段は、
前記画素単位判定手段による前記画像データを構成するブロック単位の画素のうちの、領域毎の割合を計算する割合計算手段と、
前記領域毎の割合と所定の閾値とを比較する比較手段と、
比較手段の比較結果に基づいて、前記ブロック単位で画素が属する領域を判定するブロック単位領域判定手段と
を有する
ことを特徴とする請求項１に記載のデータ処理装置。
【請求項５】
前記ブロック単位判定手段は、各画素が属する領域が、エッジ領域、テクスチャ領域、またはフラット領域のうちのいずれであるかを前記ブロック単位で判定する
ことを特徴とする請求項１に記載のデータ処理装置。
【請求項６】
画像データを処理するデータ処理方法において、
前記画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報を計算する分散情報計算ステップと、
前記分散情報を平滑化し、平滑化値を出力する平滑化ステップと、
前記平滑化値に基づいて、前記画素が属する領域を画素単位で判定し、その領域を表す画素単位領域情報を出力する画素単位判定ステップと、
前記画素単位判定ステップの処理による画素単位領域情報に基づいて、ブロック単位で前記画素が属する領域を判定し、その領域を表すブロック単位領域情報を出力するブロック単位判定ステップと、
前記ブロック単位領域情報と前記平滑化値とに基づいて、前記画像データを構成する画素ごとに、ノイズ除去処理のパラメータを決定するパラメータ決定ステップと、
前記画素ごとに決定された前記パラメータに基づき、前記画像データに前記ノイズ除去処理を施すノイズ除去ステップと
を含むことを特徴とするデータ処理方法。
【請求項７】
画像データを処理するデータ処理をコンピュータに実行させるプログラムにおいて、
前記画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報を計算する分散情報計算ステップと、
前記分散情報を平滑化し、平滑化値を出力する平滑化ステップと、
前記平滑化値に基づいて、前記画素が属する領域を画素単位で判定し、その領域を表す画素単位領域情報を出力する画素単位判定ステップと、
前記画素単位判定ステップの処理による画素単位領域情報に基づいて、ブロック単位で前記画素が属する領域を判定し、その領域を表すブロック単位領域情報を出力するブロック単位判定ステップと、
前記ブロック単位領域情報と前記平滑化値とに基づいて、前記画像データを構成する画素ごとに、ノイズ除去処理のパラメータを決定するパラメータ決定ステップと、
前記画素ごとに決定された前記パラメータに基づき、前記画像データに前記ノイズ除去処理を施すノイズ除去ステップと
を含むことを特徴とするプログラム。
【請求項８】
請求項７に記載のプログラムが格納されているプログラム格納媒体。
【請求項１】
画像データを処理するデータ処理装置において、
前記画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報を計算する分散情報計算手段と、
前記分散情報を平滑化し、平滑化値を出力する平滑化手段と、
前記平滑化値に基づいて、前記画素が属する領域を画素単位で判定し、その領域を表す画素単位領域情報を出力する画素単位判定手段と、
前記画素単位判定手段による画素単位領域情報に基づいて、ブロック単位で前記画素が属する領域を判定し、その領域を表すブロック単位領域情報を出力するブロック単位判定手段と、
前記ブロック単位領域情報と前記平滑化値とに基づいて、前記画像データを構成する画素ごとに、ノイズ除去処理のパラメータを決定するパラメータ決定手段と、
前記画素ごとに決定された前記パラメータに基づき、前記画像データに前記ノイズ除去処理を施すノイズ除去手段と
を備えることを特徴とするデータ処理装置。
【請求項２】
前記画素単位判定手段は、
前記画像データを構成する画素のうちの、注目している注目画素を含む、前記注目画素の周辺に位置する画素の前記平滑化値の変化量を計算する変化量計算手段と、
前記変化量のヒストグラムを計算するヒストグラム計算手段と、
前記ヒストグラムに基づいて、前記注目画素が属する領域を画素単位で判定する画素単位領域判定手段と
を有する
ことを特徴とする請求項１に記載のデータ処理装置。
【請求項３】
前記画素単位判定手段は、前記画素が属する領域が、エッジ領域、テクスチャ領域、またはフラット領域のうちのいずれであるかを前記画素単位で判定する
ことを特徴とする請求項１に記載のデータ処理装置。
【請求項４】
前記ブロック単位判定手段は、
前記画素単位判定手段による前記画像データを構成するブロック単位の画素のうちの、領域毎の割合を計算する割合計算手段と、
前記領域毎の割合と所定の閾値とを比較する比較手段と、
比較手段の比較結果に基づいて、前記ブロック単位で画素が属する領域を判定するブロック単位領域判定手段と
を有する
ことを特徴とする請求項１に記載のデータ処理装置。
【請求項５】
前記ブロック単位判定手段は、各画素が属する領域が、エッジ領域、テクスチャ領域、またはフラット領域のうちのいずれであるかを前記ブロック単位で判定する
ことを特徴とする請求項１に記載のデータ処理装置。
【請求項６】
画像データを処理するデータ処理方法において、
前記画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報を計算する分散情報計算ステップと、
前記分散情報を平滑化し、平滑化値を出力する平滑化ステップと、
前記平滑化値に基づいて、前記画素が属する領域を画素単位で判定し、その領域を表す画素単位領域情報を出力する画素単位判定ステップと、
前記画素単位判定ステップの処理による画素単位領域情報に基づいて、ブロック単位で前記画素が属する領域を判定し、その領域を表すブロック単位領域情報を出力するブロック単位判定ステップと、
前記ブロック単位領域情報と前記平滑化値とに基づいて、前記画像データを構成する画素ごとに、ノイズ除去処理のパラメータを決定するパラメータ決定ステップと、
前記画素ごとに決定された前記パラメータに基づき、前記画像データに前記ノイズ除去処理を施すノイズ除去ステップと
を含むことを特徴とするデータ処理方法。
【請求項７】
画像データを処理するデータ処理をコンピュータに実行させるプログラムにおいて、
前記画像データを構成する画素ごとに、画素値の散らばりの度合いを表す分散情報を計算する分散情報計算ステップと、
前記分散情報を平滑化し、平滑化値を出力する平滑化ステップと、
前記平滑化値に基づいて、前記画素が属する領域を画素単位で判定し、その領域を表す画素単位領域情報を出力する画素単位判定ステップと、
前記画素単位判定ステップの処理による画素単位領域情報に基づいて、ブロック単位で前記画素が属する領域を判定し、その領域を表すブロック単位領域情報を出力するブロック単位判定ステップと、
前記ブロック単位領域情報と前記平滑化値とに基づいて、前記画像データを構成する画素ごとに、ノイズ除去処理のパラメータを決定するパラメータ決定ステップと、
前記画素ごとに決定された前記パラメータに基づき、前記画像データに前記ノイズ除去処理を施すノイズ除去ステップと
を含むことを特徴とするプログラム。
【請求項８】
請求項７に記載のプログラムが格納されているプログラム格納媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２００８−２７８１８５（Ｐ２００８−２７８１８５Ａ）
【公開日】平成２０年１１月１３日（２００８．１１．１３）
【国際特許分類】
【出願番号】特願２００７−１１９０９１（Ｐ２００７−１１９０９１）
【出願日】平成１９年４月２７日（２００７．４．２７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２０年１１月１３日（２００８．１１．１３）
【国際特許分類】
【出願日】平成１９年４月２７日（２００７．４．２７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]