画像処理装置、画像処理方法、およびプログラム
【課題】処理対象の画像信号に基づいて、ブロックノイズを検出することが可能な、画像処理装置、画像処理方法、およびプログラムを提供する。
【解決手段】入力画像信号が示す画像が分割された分割領域ごとに、分割領域に含まれる画素の画素特徴に基づいて、分割領域の種別を分類する分割領域種別分類部と、分割領域ごとに、分類された種別に基づいて、分割領域の境界における不連続性を示すノイズ評価値を算出するノイズ評価値算出部と、分割領域ごとに算出されるノイズ評価値に基づいて、ブロックノイズを検出するノイズ検出部と、を備える画像処理装置が提供される。
【解決手段】入力画像信号が示す画像が分割された分割領域ごとに、分割領域に含まれる画素の画素特徴に基づいて、分割領域の種別を分類する分割領域種別分類部と、分割領域ごとに、分類された種別に基づいて、分割領域の境界における不連続性を示すノイズ評価値を算出するノイズ評価値算出部と、分割領域ごとに算出されるノイズ評価値に基づいて、ブロックノイズを検出するノイズ検出部と、を備える画像処理装置が提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、例えばＶＯＤ（Video On Demand）などのように、インターネット（Internet）を介して動画像を配信するサービスの普及が進んでいる。また、例えば日本では、テレビジョン放送がデジタル化している。例えば上記のような、動画像配信サービスや、デジタルテレビジョン放送において、高解像度のデジタル画像の配信や放送を可能とした技術の一つとして、画像圧縮技術がある。画像圧縮技術の規格としては、例えば、ＩＳＯ／ＩＥＣ ＭＰＥＧ（Motion Picture Experts Group）とＩＴＵ−Ｔ ＶＣＥＧ（Video Coding Experts Group）とが共同で標準化した、ＭＰＥＧ−２やＨ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下、「Ｈ．２６４」と示す場合がある。）が挙げられる。ＭＰＥＧ−２やＨ．２６４は、動画像符号化国際標準規格として、様々な機器において採用されている。
【０００３】
例えばＭＰＥＧ−２やＨ．２６４では、Ｂｌｏｃｋ ｂａｓｅ符号化と呼ばれる符号化方式が用いられている。ここで、Ｂｌｏｃｋ ｂａｓｅ符号化では、画像をブロックに分割し、ブロック単位で予測処理、変換処理、量子化処理が行われる。そのため、Ｂｌｏｃｋ ｂａｓｅ符号化が用いられる場合には、復号化された画像をみるユーザに、ブロックノイズ（Block noise）と呼ばれるブロック状のノイズ（歪み）が認識されてしまうことが起こりうる。
【０００４】
ブロックノイズは、圧縮難易度が高い映像や圧縮率が高い場合に発生しやすく、特に、ブロックノイズ抑制機能を有さないＭＰＥＧ−２では、デブロッキング・フィルタ（De-blocking filter）を有するＨ．２６４に比べてブロックノイズの発生が顕著となる。そのため、例えば、テレビ受像機やＰＣ（Personal Computer）などのような、ＭＰＥＧ−２やＨ．２６４の画像を再生可能な機器では、画像の高画質化を図るために、ブロックノイズを検出して、検出したノイズを低減する機能を有することが望まれている。
【０００５】
このような中、符号化に起因するノイズの低減を図る技術が開発されている。符号化に起因するノイズの低減を図る技術としては、例えば、特許文献１に記載の技術や、特許文献２に記載の技術、特許文献３に記載の技術、非特許文献１に記載の技術が挙げられる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２６６６８４号公報
【特許文献２】特表２００８−５０８７５１号公報
【特許文献３】特開２００６−１４８８７８号公報
【非特許文献】
【０００７】
【非特許文献１】Wu H. R. and Yuen M., "A Generalized Block-edge Impairment Metric for Video Coding", IEEE Signal Processing Letters, Vol.4, Issue 11, p.317-320 (Nov, 1997)
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ブロックノイズを検出する方法としては、例えば、ブロック境界における隣接画素の差分値の大きさに基づいて検出する方法が挙げられる。上記方法では、例えば、ブロック境界における隣接画素差分値が所定の閾値以上の値を有するときに、隣接ブロック間に不自然な段差、つまりブロックノイズが発生している可能性が高いとして、当該隣接画素差分値をブロックノイズ量として検出する。
【０００９】
しかしながら、上記のような単純な方法が用いられる場合には、圧縮前の画像にエッジ（Edge）やテクスチャ（Texture）など、隣接画素差分値が大きくなる画像構造が含まれるときには、当該画像構造をブロックノイズとして誤検出する恐れがある。ここで、ブロックノイズを低減する処理として、例えば、ブロック境界の段差をなくすためにローパス・フィルタ（Low−pass filter）をかけて高周波成分を低減するという処理が用いられた場合には、上記のようなブロックノイズの誤検出は、ローパス・フィルタによって、処理後の画像がぼけるという副作用を引き起こす可能性がある。
【００１０】
よって、上記のような単純な方法を用いたとしても、ブロックノイズを検出できるとは限らない。
【００１１】
例えば特許文献１に記載の技術では、ブロック境界における隣接画素の差分値だけでなく、ブロック境界の少なくとも片側の複数画素から予測した予測画素値との差分値を、ブロックノイズ検出のための評価値とする。そして、例えば特許文献１に記載の技術では、上記評価値を画面内で累積した累積値の大きさによって、ブロックノイズ発生の有無を判定する。よって、例えば特許文献１に記載の技術を用いる場合には、上記のような単純な方法を用いる場合よりも、ブロックノイズを検出することができる可能性はある。
【００１２】
しかしながら、例えば特許文献１に記載の技術では、画像を１次元信号列として見た場合におけるブロック境界の段差しか考慮しておらず、画像をみるユーザがブロックノイズとして知覚する要因となる画像構造が考慮されていない。よって、例えば特許文献１に記載の技術を用いたとしても、例えば、ブロック境界の段差が、画像本来の画像構造によるものなのか、または、圧縮に起因する歪みによって生じたものなのかや、ブロック境界の段差が、画像をみるユーザがブロックノイズとして知覚できるレベルの段差であるか否かを判定することは、困難である。
【００１３】
また、例えば非特許文献１に記載の技術では、ブロック境界の隣接画素差分値をブロック内の隣接画素差分値の平均値で除することにより、テクスチャなど画素値の分散が大きくなる領域ではブロックノイズを評価するブロックノイズ評価値が小さくなるように制御している。よって、例えば非特許文献１に記載の技術を用いる場合には、上記のような単純な方法を用いる場合よりも、ブロックノイズを検出することができる可能性はある。
【００１４】
しかしながら、例えば非特許文献１に記載の技術では、特許文献１に記載の技術と同様に、画像を１次元信号列として見た場合におけるブロック境界の段差しか考慮しておらず、画像をみるユーザがブロックノイズとして知覚する要因となる画像構造が考慮されていない。よって、例えば非特許文献１に記載の技術を用いたとしても、特許文献１に記載の技術と同様に、例えば、ブロック境界の段差が、画像本来の画像構造によるものなのか、または、圧縮に起因する歪みによって生じたものなのかや、ブロック境界の段差が、画像をみるユーザがブロックノイズとして知覚できるレベルの段差であるか否かを判定することは、困難である。
【００１５】
また、例えば特許文献２に記載の技術では、モスキートノイズ（Mosquito noise）やブロックノイズを低減するために、画像を定義する複数の画素（Pixel）の各画素を、“Ｔｅｘｔｕｒｅ”、“Ｅｄｇｅ”、“Ｎｅａｒ ｅｄｇｅ”、“Ｆｌａｔ”、“Ｎｅａｒ ｆｌａｔ”というような、画像領域種別に分類している。また、例えば特許文献２に記載の技術では、分類された画像領域種別を利用して各画素における虚構画像統計特性を推定し、当該虚構画像統計特性を利用してノイズ低減のための時間・空間フィルタリングを実行している。
【００１６】
しかしながら、例えば特許文献２に記載の技術では、画像構造によって、エッジ、テクスチャ、フラットなどの種別に分類しているが、例えば特許文献２に記載の技術では、分類した種別が、例えば、エッジ領域ではエッジを保存するフィルタリングを施し、フラット領域では比較的強いローパス・フィルタで画像をぼかすなど、ノイズ低減の適応化処理に用いられている。つまり、例えば特許文献２に記載の技術では、分類結果がブロックノイズが発生しやすい領域を特定するために用いられており、例えば特許文献２に記載の技術を用いたとしても、発生したブロックノイズのノイズ量を評価することはできない。
【００１７】
また、例えば特許文献３に記載の技術では、画像を複数のブロックに分割し、各画素の強度の分散を算出して、各ブロックにおいて最大分散を有する画素を特定する。そして、例えば特許文献３に記載の技術では、最大分散に応じて各ブロックを、“Ｅｄｇｅ ｂｌｏｃｋ”、“Ｔｅｘｔｕｒｅ ｂｌｏｃｋ”、“平滑Ｂｌｏｃｋ”に分類し、分類した種別に応じて、ノイズ低減のためのフィルタリング方法を適用的に変更する。
【００１８】
しかしながら、例えば特許文献３に記載の技術では、特許文献２に記載の技術と同様に、画像構造によって、エッジ、テクスチャなどの種別に分類しているが、例えば特許文献３に記載の技術では、特許文献２に記載の技術と同様に、分類した種別がノイズ低減の適応化処理に用いられている。つまり、例えば特許文献３に記載の技術では、分類結果が、特許文献２に記載の技術と同様に、ブロックノイズが発生しやすい領域を特定するために用いられており、例えば特許文献３に記載の技術を用いたとしても、発生したブロックノイズのノイズ量を評価することはできない。
【００１９】
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、処理対象の画像信号に基づいて、ブロックノイズを検出することが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【００２０】
上記目的を達成するために、本発明の第１の観点によれば、入力画像信号が示す画像が分割された分割領域ごとに、上記分割領域に含まれる画素の画素特徴に基づいて、分割領域の種別を分類する分割領域種別分類部と、上記分割領域ごとに、分類された種別に基づいて、分割領域の境界における不連続性を示すノイズ評価値を算出するノイズ評価値算出部と、上記分割領域ごとに算出される上記ノイズ評価値に基づいて、ブロックノイズを検出するノイズ検出部と、を備える画像処理装置が提供される。
【００２１】
かかる構成によって、処理対象の画像信号に基づいて、ブロックノイズを検出することができる。
【００２２】
また、上記ノイズ評価値算出部は、分類された種別に基づいて重み係数を設定する重み係数設定部と、設定された重み係数と、上記分割領域の境界における隣接する画素の画素値の差分を示す差分値とを乗算して、上記ノイズ評価値を算出する評価値算出部と、を備えていてもよい。
【００２３】
また、上記重み係数設定部は、さらに、上記分割領域に対応する上記入力画像信号の色情報、および／または、上記分割領域に対応する上記入力画像信号の輝度情報に基づいて、上記重み係数を設定してもよい。
【００２４】
また、上記重み係数設定部は、処理対象の分割領域における種別と、上記処理対象の分割領域の境界に隣接する２つの分割領域における種別とに基づいて、上記重み係数を設定してもよい。
【００２５】
また、上記ノイズ評価値算出部は、分類された種別に基づいて、上記ノイズ評価値を算出する算出処理を切り替えてもよい。
【００２６】
また、上記ノイズ検出部は、上記ノイズ評価値が、所定の閾値により定められる範囲内に収まる場合に、上記ノイズ評価値に対応する分割領域にブロックノイズが存在すると判定してもよい。
【００２７】
また、上記目的を達成するために、本発明の第２の観点によれば、入力画像信号が示す画像が分割された分割領域ごとに、上記分割領域に含まれる画素の画素特徴に基づいて、分割領域の種別を分類するステップと、上記分割領域ごとに、分類された種別に基づいて、分割領域の境界における不連続性を示すノイズ評価値を算出するステップと、上記分割領域ごとに算出される上記ノイズ評価値に基づいて、ブロックノイズを検出するステップと、を有する画像処理方法が提供される。
【００２８】
かかる方法を用いることによって、処理対象の画像信号に基づいて、ブロックノイズを検出することができる。
【００２９】
また、上記目的を達成するために、本発明の第３の観点によれば、入力画像信号が示す画像が分割された分割領域ごとに、上記分割領域に含まれる画素の画素特徴に基づいて、分割領域の種別を分類するステップ、上記分割領域ごとに、分類された種別に基づいて、分割領域の境界における不連続性を示すノイズ評価値を算出するステップ、上記分割領域ごとに算出される上記ノイズ評価値に基づいて、ブロックノイズを検出するステップ、をコンピュータに実行させるためのプログラムが提供される。
【００３０】
かかるプログラムを用いることによって、処理対象の画像信号に基づいて、ブロックノイズを検出することができる。
【発明の効果】
【００３１】
本発明によれば、処理対象の画像信号に基づいて、ブロックノイズを検出することができる。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図２Ａ】本発明の実施形態に係る分割領域種別分類部が分類する分割領域の種別の一例を示す説明図である。
【図２Ｂ】本発明の実施形態に係る分割領域種別分類部が分類する分割領域の種別の一例を示す説明図である。
【図２Ｃ】本発明の実施形態に係る分割領域種別分類部が分類する分割領域の種別の一例を示す説明図である。
【図２Ｄ】本発明の実施形態に係る分割領域種別分類部が分類する分割領域の種別の一例を示す説明図である。
【図２Ｅ】本発明の実施形態に係る分割領域種別分類部が分類する分割領域の種別の一例を示す説明図である。
【図３】本発明の実施形態に係る分割領域種別分類部における処理の一例を説明するための説明図である。
【図４】本発明の実施形態に係る分割領域種別分類部における処理の一例を示す流れ図である。
【図５】本発明の実施形態に係るノイズ評価値算出部における処理の一例を説明するための説明図である。
【図６】本発明の実施形態に係るノイズ評価値算出部の第１の構成例を示すブロック図である。
【図７】本発明の実施形態に係る重み係数設定部における処理の一例を説明するための説明図である。
【図８】本発明の実施形態に係る評価値算出部における処理の一例を説明するための説明図である。
【図９】本発明の実施形態に係る評価値算出部における処理の他の例を説明するための説明図である。
【図１０】本発明の実施形態に係るノイズ評価値算出部の第２の構成例を示すブロック図である。
【図１１】本発明の実施形態に係るグラデーション領域評価値算出部における処理の一例を説明するための説明図である。
【図１２】本発明の実施形態に係るエッジ領域評価値算出部における処理の一例を説明するための説明図である。
【図１３】本発明の実施形態に係るエッジ領域評価値算出部における処理の一例を説明するための説明図である。
【図１４】本発明の実施形態に係るランダム領域評価値算出部における処理の一例を説明するための説明図である。
【図１５】本発明の実施形態に係るノイズ検出部の構成の一例を示すブロック図である。
【図１６】本発明の実施形態に係る累積範囲制御部における処理の一例を説明するための説明図である。
【発明を実施するための形態】
【００３３】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００３４】
（本発明の実施形態に係る画像処理方法）
本発明の実施形態に係る画像処理装置の構成について説明する前に、本発明の実施形態に係る画像処理方法について説明する。また、以下では、本発明の実施形態に係る画像処理装置が、処理対象の画像信号（以下、「入力画像信号」と示す場合がある。）に対して、本発明の実施形態に係る画像処理方法に係る処理を行うものとして説明する。
【００３５】
ここで、本発明の実施形態に係る入力画像信号としては、例えば、ＭＰＥＧ−２や、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣなど、Ｂｌｏｃｋ ｂａｓｅ符号化と呼ばれる符号化方式により符号化された動画像（または、複数の静止画像）や静止画像を示す画像信号が挙げられる。以下では、本発明の実施形態に係る画像処理装置が、フレーム画像（静止画像）からなる動画像を示す画像信号を処理するものとして説明する。ここで、本発明の実施形態に係るフレーム画像とは、例えば、動画像の１フレーム（動画像がインタレース画像の場合には、１フィールドに対応する。）に対応する画像である。以下では、本発明の実施形態に係る画像処理装置が、時間順に１フレームずつ入力される画像信号を処理する場合を例に挙げて説明する。
【００３６】
また、本発明の実施形態に係る画像処理装置は、例えば、本発明の実施形態に係る画像処理装置がテレビ塔などから送信された放送波を（直接的、またはセットトップボックスなどを介して間接的に）受信してデコードした結果得られる画像信号を、入力画像信号として処理する。なお、本発明の実施形態に係る画像処理装置が処理する入力画像信号は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置は、ネットワークを介して（または直接的に）外部装置から送信された入力画像信号を処理することも可能である。また、本発明の実施形態に係る画像処理装置は、例えば、記憶部（後述する）や、本発明の実施形態に係る画像処理装置から着脱可能な外部記録媒体に記憶された画像データをデコードすることにより得られた画像信号を処理してもよい。さらに、本発明の実施形態に係る画像処理装置が、例えば、画像（動画像／静止画像）を撮像することが可能な撮像部（後述する）を備えている場合、すなわち、本発明の実施形態に係る画像処理装置が撮像装置として機能する場合には、本発明の実施形態に係る画像処理装置は、例えば、当該撮像部（後述する）により撮像された画像（動画像／静止画像）に対応する画像信号を処理してもよい。
【００３７】
本発明の実施形態に係る画像処理装置は、入力画像信号が示す画像が分割された分割領域ごとに、分割領域に含まれる画素の画素特徴に基づいて、分割領域の種別（以下、「領域種別」と示す場合がある。）を分類する（分割領域種別分類処理）。
【００３８】
ここで、本発明の実施形態に係る分割領域としては、例えば、４×４画素の矩形の領域や、８×８画素の矩形の領域、１６×１６画素の矩形の領域など、符号化ブロックサイズに対応する領域が挙げられる。本発明の実施形態に係る画像処理装置は、例えば、入力画像信号をデコードしたデコーダから、ブロック境界の情報を取得することによって、符号化ブロックサイズに対応する領域を、分割領域とする。なお、本発明の実施形態に係る分割領域は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置は、符号化ブロックサイズが未知の場合には、Ｈ．２６４の最小ブロックサイズである４×４画素の矩形の領域など、予め規定された大きさの領域を、分割領域としてもよい。
【００３９】
また、本発明の実施形態に係る分割領域の種別（領域種別）としては、例えば、“フラット領域”、“グラデーション領域”、“テクスチャ領域”、“エッジ領域”、“ランダム領域”という、画像構造（フラット、グラデーション、テクスチャ、エッジ、ランダム）に基づく領域のうちのいずれか２つ以上が挙げられる。なお、上記各領域種別の特徴については、後述する。
【００４０】
本発明の実施形態に係る画像処理装置は、分割領域ごとに、分類された種別に基づいて、分割領域の境界における不連続性を示すノイズ評価値を算出する（ノイズ評価値算出処理）。そして、本発明の実施形態に係る画像処理装置は、分割領域ごとに算出されるノイズ評価値に基づいて、ブロックノイズを検出する（ノイズ検出処理）。
【００４１】
本発明の実施形態に係る画像処理装置は、入力画像信号に基づき分類された画像構造を示す領域種別に基づいて、分割領域の境界（以下、「ブロック境界」と示す場合がある。）の不連続性を示すブロックノイズ評価値を算出する。よって、本発明の実施形態に係る画像処理装置は、分割領域の境界において生じた画素値の段差が、画像本来の構造による段差であるのか、または、ノイズによる段差であるのかを、より正確に評価することが可能である。
【００４２】
したがって、本発明の実施形態に係る画像処理装置は、処理対象の画像信号に基づいて、ブロックノイズをより高精度に検出することができる。
【００４３】
また、本発明の実施形態に係る画像処理装置は、入力画像信号に基づき分類された画像構造を示す領域種別に基づいてブロックノイズを検出するので、本発明の実施形態に係るブロックノイズの検出結果に基づき、ブロックノイズを低減する処理（以下、「ノイズ低減処理」と示す場合がある。）を行えば、例えば、発生するブロックノイズを十分に低減することができないこと、過度のブロックノイズの低減処理が行われてしまうことなどによる、処理後の画像における画質の低下は防止される。
【００４４】
以下、本発明の実施形態に係る画像処理装置の構成の一例について説明をすると共に、本発明の実施形態に係る画像処理方法に係る処理の具体例についても併せて説明する。
【００４５】
（本発明の実施形態に係る画像処理装置）
図１は、本発明の実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。画像処理装置１００は、例えば、分割領域設定部１０２と、分割領域種別分類部１０４と、ノイズ評価値算出部１０６と、ノイズ検出部１０８とを備える。
【００４６】
また、画像処理装置１００は、例えば、制御部（図示せず）や、ＲＯＭ（Read Only Memory。図示せず）、ＲＡＭ（Random Access Memory。図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）、外部装置と通信を行うための通信部（図示せず）、撮像部（図示せず）などを備えていてもよい。画像処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
【００４７】
ここで、制御部（図示せず）は、例えば、ＣＰＵ（Central Processing Unit）や各種処理回路などで構成され、画像処理装置１００全体を制御する。また、制御部（図示せず）は、例えば、分割領域設定部１０２、分割領域種別分類部１０４、ノイズ評価値算出部１０６、およびノイズ検出部１０８（または、これらのうちの１または２以上の部）の役目を果たしてもよい。なお、分割領域設定部１０２、分割領域種別分類部１０４、ノイズ評価値算出部１０６、およびノイズ検出部１０８は、各部の処理を実現可能な専用の（または汎用の）処理回路で構成されていてもよいことは、言うまでもない。
【００４８】
また、制御部（図示せず）は、例えば、ノイズ低減処理が行われた画像信号（以下、「出力画像信号」と示す。）をエンコードして、記憶部（図示せず）に記録する、および／または、出力画像信号が示す画像を表示部（図示せず）や外部表示装置の表示画面に表示させるなど、出力画像信号に対する処理を行う役目を果たしてもよい。
【００４９】
ＲＯＭ（図示せず）は、制御部（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部（図示せず）により実行されるプログラムなどを一時的に記憶する。
【００５０】
記憶部（図示せず）は、画像処理装置１００が備える記憶手段であり、例えば、画像データや、アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）などが挙げられる。また、記憶部（図示せず）は、画像処理装置１００から着脱可能であってもよい。
【００５１】
操作部（図示せず）としては、例えば、ボタンや、方向キー、あるいは、これらの組み合わせなどが挙げられる。また、画像処理装置１００は、例えば、画像処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）と接続することもできる。
【００５２】
表示部（図示せず）としては、例えば、液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機ＥＬディスプレイ（organic ElectroLuminescence display）などが挙げられる。なお、表示部（図示せず）は、例えばタッチスクリーンなどのように、表示とユーザ操作とが可能なデバイスであってもよい。また、画像処理装置１００は、表示部（図示せず）の有無に関わらず、画像処理装置１００の外部装置としての表示デバイス（例えば、外部ディスプレイなど）と接続することもできる。
【００５３】
通信部（図示せず）は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部装置と無線／有線で通信を行う。ここで、通信部（図示せず）としては、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）などが挙げられる。また、本発明の実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide Area Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ；Wireless Local Area Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless Wide Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
【００５４】
撮像部（図示せず）は、静止画像または動画像を撮像する役目を果たす。撮像部（図示せず）を備える場合には、画像処理装置１００は、例えば、撮像部（図示せず）における撮像により生成された画像信号を処理することが可能である。
【００５５】
ここで、本発明の実施形態に係る撮像部（図示せず）としては、例えば、レンズ／撮像素子と信号処理回路とから構成される撮像デバイスが挙げられる。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。また、信号処理回路は、例えば、ＡＧＣ（Automatic Gain Control）回路やＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理などが挙げられる。
【００５６】
以下、図１に示す第１の実施形態に係る画像処理装置１００の構成例について説明しつつ、画像処理装置１００における処理（画像処理方法に係る処理）の一例について説明する。
【００５７】
分割領域設定部１０２は、入力画像信号に基づいて、入力画像信号が示す画像に対して分割領域を設定する。
【００５８】
分割領域種別分類部１０４は、本発明の実施形態に係る画像処理方法に係る上記分割領域種別分類処理を主導的に行う役目を果たし、設定された分割領域ごとに、分割領域に含まれる画素の画素特徴に基づいて、分割領域の種別（領域種別）を分類する。
【００５９】
図２Ａ〜図２Ｅは、本発明の実施形態に係る分割領域種別分類部１０４が分類する分割領域の種別の一例を示す説明図であり、分割領域に含まれる画素の画素特徴の一例を示している。ここで、図２Ａ〜図２Ｅは、分割領域が４×４画素の矩形の領域である場合を示している（図２Ａに示す（Ａ）〜図２Ｅに示す（Ａ））。また、図２Ａはフラット領域、図２Ｂはグラデーション領域、図２Ｃはテクスチャ領域、図２Ｄはエッジ領域、図２Ｅはランダム領域をそれぞれ示している。また、図２Ａに示す（Ａ）〜図２Ｅに示す（Ａ）は、分割領域に含まれる画素の画素値を明度で表しており、図２Ａに示す（Ｂ）〜図２Ｅに示す（Ｂ）、および図２Ａに示す（Ｃ）〜図２Ｅに示す（Ｃ）は、図２Ａの（Ａ）〜図２Ｅの（Ａ）における方向１および方向２からみた画素値を一次元信号で表している。
【００６０】
図２Ａに示すように、フラット領域では、分割領域内における画素値がほぼ一定であるため、隣接画素差分値は極めて小さくなる。また、図２Ｂに示すように、グラデーション領域では、隣接する画素の差分値（以下、「隣接画素差分値」と示す。）が比較的小さく、また、一定の方向に傾斜しているため隣接画素差分値は方向性を有する。また、図２Ｃに示すように、テクスチャ領域では、グラデーション領域と同様に隣接画素差分値は比較的小さいが、グラデーション領域と異なり、隣接画素差分値は方向性は有さない。また、図２Ｄに示すように、エッジ領域では、隣接画素差分値が大きい画素が一定方向に連続しているため、隣接画素差分値は方向性を有する。また、図２Ｅに示すように、ランダム領域では、画素値のばらつきが大きいことから、隣接画素差分値もばらつきが大きくなり、隣接画素差分値は方向性を有さない。
【００６１】
分割領域種別分類部１０４は、設定された分割領域ごとに、分割領域に含まれる画素の画素特徴と、上記のような各領域の特徴とに基づいて、分割領域の種別を分類する。より具体的には、分割領域種別分類部１０４は、例えば、分割領域に含まれる画素の隣接画素差分値を、画素特徴を示す特徴値として用いることによって、分割領域の種別を分類する。
【００６２】
図３は、本発明の実施形態に係る分割領域種別分類部１０４における処理の一例を説明するための説明図である。ここで、図３に示すＡは、注目画素Ｐｃと、注目画素Ｐｃに対して隣接する８方向の画素Ｐ０〜Ｐ７とを示している。分割領域内の座標を（ｘ，ｙ）とおくと、図３のＡにおける０〜７の各方向に対応する隣接画素差分値ｄ０（ｘ，ｙ）〜ｄ７（ｘ，ｙ）は、例えば下記の数式１〜数式８で表される。
【００６３】
【数１】
・・・（数式１）
【００６４】
【数２】
・・・（数式２）
【００６５】
【数３】
・・・（数式３）
【００６６】
【数４】
・・・（数式４）
【００６７】
【数５】
・・・（数式５）
【００６８】
【数６】
・・・（数式６）
【００６９】
【数７】
・・・（数式７）
【００７０】
【数８】
・・・（数式８）
【００７１】
また、図３に示すＢは、中心にある４×４画素の分割領域内の画素に対して各方向の隣接画素差分値を算出したものを、中心にある分割領域と隣接する８方向の分割領域内の画素の画素値としたものを示している。ここで、図３のＢに示す隣接する分割領域において、値のない画素は、当該画素に対応する方向の画素が分割領域外にあるため、隣接画素差分値を算出しない画素である。
【００７２】
分割領域種別分類部１０４は、例えば、上記数式１〜数式８に示す演算を行うことによって隣接画素差分値を算出し、算出された隣接画素差分値を、画素特徴を示す特徴値とする。そして、分割領域種別分類部１０４は、算出された隣接画素差分値（画素特徴を示す特徴値）に基づいて、分割領域の種別を分類する。
【００７３】
なお、本発明の実施形態に係る分割領域種別分類部１０４における、特徴値の算出処理は、上記に限られない。例えば、分割領域種別分類部１０４は、算出された隣接画素差分値を予め定めた量子化幅によって量子化した値を、特徴値として算出してもよい。より具体的には、分割領域種別分類部１０４は、例えば、量子化幅をＱとすると、“ｄ／Ｑ”の値を算出し、算出された値を、画素特徴を示す特徴値とする。上記“ｄ／Ｑ”の値を画素特徴を示す特徴値とすることによって、例えば、微小な画素値変動に起因する隣接画素差分値のばらつきを抑制することができる。なお、本発明の実施形態に係る量子化の方法は、上記に限られず、一様量子化でもよいし、画素値に応じて量子化幅を変えるような量子化でもよい。例えば、本発明の実施形態に係る量子化の他の方法としては、人間は中低輝度の変化に敏感であるという視覚特性に基づいて、中低輝度の値の隣接画素差分値ｄを細かく量子化するなどの方法が挙げられる。
【００７４】
より具体的に、分割領域種別分類部１０４における処理について説明する。図４は、本発明の実施形態に係る分割領域種別分類部１０４における処理の一例を示す流れ図である。ここで、分割領域種別分類部１０４は、分割領域設定部１０２において設定された分割領域ごとに、図４に示す処理を行う。
【００７５】
分割領域種別分類部１０４は、処理対象の分割領域における隣接画素差分値ｄ（画素特徴を示す特徴値の一例）を算出する（Ｓ１００）。ここで、分割領域種別分類部１０４は、例えば上記数式１〜数式８に示す演算を行うことによって、図３のＡにおける０〜７の各方向に対応する隣接画素差分値ｄを算出する。なお、分割領域種別分類部１０４は、ステップＳ１００において、例えば、“ｄ／Ｑ”の値を、画素特徴を示す特徴値として算出してもよい。
【００７６】
ステップＳ１００において隣接画素差分値ｄが算出されると、分割領域種別分類部１０４は、隣接画素差分値ｄの絶対値和ＳＵＭ（｜ｄ｜）を算出する（Ｓ１０２）。分割領域種別分類部１０４は、例えば下記の数式９によって、絶対値和ＳＵＭ（｜ｄ｜）を算出する。ここで、数式９に示す“ｍ”は、方向を示し、また、数式９に示す“Ｘ”“Ｙ”は、分割領域のサイズによって定まる分割領域内の座標（ｘ，ｙ）の最大値を示す。
【００７７】
【数９】
・・・（数式９）
【００７８】
ステップＳ１０２において絶対値和ＳＵＭ（｜ｄ｜）が算出されると、分割領域種別分類部１０４は、絶対値和ＳＵＭ（｜ｄ｜）が閾値Ｔｈ１よりも小さいか否か（または、閾値Ｔｈ１以下であるか否か）を判定する（Ｓ１０４）。ここで、上記閾値Ｔｈ１は、例えば、予め設定された固定値であってもよいし、画像処理装置１００のユーザなどによって変更することが可能な可変値であってもよい。
【００７９】
ステップＳ１０４において絶対値和ＳＵＭ（｜ｄ｜）が閾値Ｔｈ１よりも小さいと判定された場合には、分割領域種別分類部１０４は、処理対象の分割領域を、“フラット領域”と判定する（Ｓ１０６）。そして、分割領域種別分類部１０４は、処理対象の分割領域に対する処理を終了する。
【００８０】
また、ステップＳ１０４において絶対値和ＳＵＭ（｜ｄ｜）が閾値Ｔｈ１よりも小さいと判定されない場合には、分割領域種別分類部１０４は、隣接画素差分値ｄの分散値和ＶＡＲ（ｄ）を算出する（Ｓ１０８）。分割領域種別分類部１０４は、例えば下記の数式１０によって、分散値和ＶＡＲ（ｄ）を算出する。ここで、数式１０に示す“Ａｖｅ（）”は、（）内の値の平均値を示す。
【００８１】
【数１０】
・・・（数式１０）
【００８２】
ステップＳ１０８において分散値和ＶＡＲ（ｄ）が算出されると、分割領域種別分類部１０４は、分散値和ＶＡＲ（ｄ）が閾値Ｔｈ２よりも小さいか否か（または、閾値Ｔｈ２以下であるか否か）を判定する（Ｓ１１０）。ここで、上記閾値Ｔｈ２は、例えば、予め設定された固定値であってもよいし、画像処理装置１００のユーザなどによって変更することが可能な可変値であってもよい。
【００８３】
ステップＳ１１０において分散値和ＶＡＲ（ｄ）が閾値Ｔｈ２よりも小さいと判定された場合には、分割領域種別分類部１０４は、分割領域内のグラデーションの方向性を示すＤＩＲＥＣＴ（ｄｇｒａｄ）を算出する（Ｓ１１２）。分割領域種別分類部１０４は、例えば、下記の数式１１によって、方向０〜７のうち隣接画素差分値ｄの和が最大となる方向における差分値の符号和を、ＤＩＲＥＣＴ（ｄｇｒａｄ）として算出する。ここで、数式１１に示す“ｄｍａｘ”は、隣接画素差分値ｄ０〜ｄ７のうち、和が最大となる方向の隣接画素差分値を示す。また、数式１０に示す“Ｓｉｇｎ（）”は、例えば下記の数式１２で表される。
【００８４】
【数１１】
・・・（数式１１）
【００８５】
【数１２】
・・・（数式１２）
【００８６】
ステップＳ１１２においてＤＩＲＥＣＴ（ｄｇｒａｄ）が算出されると、分割領域種別分類部１０４は、ＤＩＲＥＣＴ（ｄｇｒａｄ）が閾値Ｔｈ３よりも大きいか否か（または、閾値Ｔｈ３以上であるか否か）を判定する（Ｓ１１４）。ここで、上記閾値Ｔｈ３は、例えば、予め設定された固定値であってもよいし、画像処理装置１００のユーザなどによって変更することが可能な可変値であってもよい。
【００８７】
ステップＳ１１４においてＤＩＲＥＣＴ（ｄｇｒａｄ）が閾値Ｔｈ３よりも大きいと判定された場合には、分割領域種別分類部１０４は、処理対象の分割領域を、“グラデーション領域”と判定する（Ｓ１１６）。そして、分割領域種別分類部１０４は、処理対象の分割領域に対する処理を終了する。
【００８８】
また、ステップＳ１１４においてＤＩＲＥＣＴ（ｄｇｒａｄ）が閾値Ｔｈ３よりも大きいと判定されない場合には、分割領域種別分類部１０４は、処理対象の分割領域を、“テクスチャ領域”と判定する（Ｓ１１８）。そして、分割領域種別分類部１０４は、処理対象の分割領域に対する処理を終了する。
【００８９】
ステップＳ１１０において分散値和ＶＡＲ（ｄ）が閾値Ｔｈ２よりも小さいと判定されない場合には、分割領域種別分類部１０４は、分割領域内のエッジの方向性を示すＤＩＲＥＣＴ（ｄｅｄｇｅ）を算出する（Ｓ１２０）。分割領域種別分類部１０４は、例えば、下記の数式１３によって、方向０〜７のうちある一定以上の大きさを有する隣接画素差分値ｄの和が最大となる方向における差分値の符号和を、ＤＩＲＥＣＴ（ｄｅｄｇｅ）として算出する。ここで、数式１１に示す“ｄｈｍａｘ”は、例えば予め設定された閾値ＴＨ以上の大きさを有する値の和が最大となる方向を示す。また、数式１３に示す“ｈＳｉｇｎ（）”は、例えば下記の数式１４で表される。
【００９０】
【数１３】
・・・（数式１３）
【００９１】
【数１４】
・・・（数式１４）
【００９２】
ステップＳ１２０においてＤＩＲＥＣＴ（ｄｅｄｇｅ）が算出されると、分割領域種別分類部１０４は、ＤＩＲＥＣＴ（ｄｅｄｇｅ）が閾値Ｔｈ４よりも大きいか否か（または、閾値Ｔｈ４以上であるか否か）を判定する（Ｓ１２２）。ここで、上記閾値Ｔｈ４は、例えば、予め設定された固定値であってもよいし、画像処理装置１００のユーザなどによって変更することが可能な可変値であってもよい。
【００９３】
ステップＳ１２２においてＤＩＲＥＣＴ（ｄｅｄｇｅ）が閾値Ｔｈ４よりも大きいと判定された場合には、分割領域種別分類部１０４は、処理対象の分割領域を、“エッジ領域”と判定する（Ｓ１２４）。そして、分割領域種別分類部１０４は、処理対象の分割領域に対する処理を終了する。
【００９４】
また、ステップＳ１２２においてＤＩＲＥＣＴ（ｄｅｄｇｅ）が閾値Ｔｈ４よりも大きいと判定されない場合には、分割領域種別分類部１０４は、処理対象の分割領域を、“ランダム領域”と判定する（Ｓ１２６）。そして、分割領域種別分類部１０４は、処理対象の分割領域に対する処理を終了する。
【００９５】
分割領域種別分類部１０４は、例えば図４に示す処理を行うことによって、算出した隣接画素差分値（画素特徴を示す特徴値）に基づいて、処理対象の分割領域を、“フラット領域”、“グラデーション領域”、“テクスチャ領域”、“エッジ領域”、“ランダム領域”のいずれかに分類することができる。
【００９６】
なお、本発明の実施形態に係る分割領域種別分類部１０４における処理は、上記に限られない。例えば図４では、木構造の条件判定によって、分割領域の種別を分類しているが、分割領域種別分類部１０４は、上記数式９、上記数式１０、上記数式１１、上記数式１３に示す演算によって算出される値をまず算出し、算出後に分割領域の種別に係る判定を行ってもよい。また、例えば図４では、“フラット領域”であるか否かを初めに判定しているが、分割領域種別分類部１０４は、例えば、任意の順序で分割領域の種別の判定を行うことが可能である。
【００９７】
また、分割領域種別分類部１０４は、エッジ領域の判定方法として、例えば、ＳｏｂｅｌなどのＥｄｇｅ ｏｐｅｒａｔｏｒを用いたエッジ検出手法を用いてもよい。また、分割領域種別分類部１０４は、フラット領域の判定方法として、例えば、８方向全ての画素値の分散が、ある一定以下になるという条件を用いてもよい。
【００９８】
分割領域種別分類部１０４は、例えば、入力画像信号が示す画像において設定された全ての分割領域について、上記のように分割領域の種別を分類し、分類結果を示す領域種別情報を、ノイズ評価値算出部１０６へ伝達する。
【００９９】
なお、本発明の実施形態に係る画像処理装置１００における処理は、上記に限られない。例えば、画像処理装置１００は、入力画像信号が示す画像において設定された分割領域をラスタースキャン（Raster scan）順に走査し、分類（分割領域種別分類部１０４における処理）、評価（後述するノイズ評価値算出部１０６における処理）、検出（後述するノイズ検出部１０８における処理）の一連の処理を、１分割領域ずつ行ってもよい。また、分割領域種別分類部１０４は、例えば、分類した分割領域の種別を示す領域種別情報を、後段の処理において用いる範囲で保持する。
【０１００】
再度図１を参照して、本発明の実施形態に係る画像処理装置１００の構成の一例について説明する。ノイズ評価値算出部１０６は、本発明の実施形態に係る画像処理方法に係る上記ノイズ評価値算出処理を主導的に行う役目を果たし、分割領域ごとに、分割領域種別分類部１０４において分類された種別に基づいてノイズ評価値を算出する。より具体的には、ノイズ評価値算出部１０６は、例えば、ブロック境界（分割領域の境界）に対して、ノイズ評価値を算出する。
【０１０１】
図５は、本発明の実施形態に係るノイズ評価値算出部１０６における処理の一例を説明するための説明図である。ここで、図５に示すＡは、分割領域が設定された画像を示しており、図５に示すＢは、図５のＡに示す画像の一部の分割領域を示している。以下では、図５に示す分割領域Ａが評価対象（処理対象）の分割領域である場合を例に挙げて、ノイズ評価値算出部１０６における処理の一例について説明する。
【０１０２】
ノイズ評価値算出部１０６は、評価対象の分割領域Ａと、分割領域Ａと隣接する分割領域Ｂ、Ｃそれぞれとのブロック境界（ブロック境界Ａ−Ｂ、ブロック境界Ａ−Ｃ）におけるノイズ評価値を算出する。ここで、画像処理装置１００が、入力画像信号が示す画像において設定された分割領域をラスタースキャンしながらノイズ評価値を算出する構成である場合には、ノイズ評価値算出部１０６は、例えば、評価対象の分割領域を図５のＢにおける左から右、上から下に走査し、評価対象の分割領域の左または上に隣接する分割領域との境界におけるノイズ評価値を算出することによって、画像全体のノイズ評価値を算出する。
【０１０３】
以下、より具体的に、ノイズ評価値算出部１０６の構成について説明する。
【０１０４】
（１）ノイズ評価値算出部１０６の第１の構成例
図６は、本発明の実施形態に係るノイズ評価値算出部１０６の第１の構成例を示すブロック図である。ここで、図６に示す第１の構成例に係るノイズ評価値算出部１０６は、重み係数を用いたノイズ評価値算出方法によって、ノイズ評価値を算出する構成を示している。
【０１０５】
第１の構成例に係るノイズ評価値算出部１０６は、重み係数設定部１１０と、評価値算出部１１２とを備え、分割領域設定部１０２において設定された分割領域に対応する画像（以下、「分割領域画像」と示す。）と、分割領域種別分類部１０４において分類された領域種別（分割領域の種別）とに基づいて、分割領域ごとにノイズ評価値を算出する。そして、第１の構成例に係るノイズ評価値算出部１０６は、算出したノイズ評価値をノイズ検出部１０８へ伝達する。
【０１０６】
重み係数設定部１１０は、分割領域種別分類部１０４において分類された領域種別に基づいて重み係数を設定する。
【０１０７】
ここで、例えば人間の視覚特性には、例えば、画像構造の連続性が高ければ高いほどブロック境界に不連続が生じた場合にブロックノイズとして知覚しやすいという特性や、輝度の違いよりも色相・彩度の違い対して鈍感であるという特性、さらに、明るさに対する視感度が高輝度または低輝度よりも中低輝度付近で明るさの違いに敏感であるという特性がある。そこで、重み係数設定部１１０は、例えば、上記のような人間の視覚特性を考慮し、重み係数を、分類された領域種別と、人間の視覚特性とに基づいて設定する。
【０１０８】
より具体的には、重み係数設定部１１０は、例えば下記の数式１５の演算により重み係数ｗを算出することによって、重み係数ｗを設定する。ここで、数式１５に示す“wtype”は、領域種別（分割領域の種別）に関する重み係数、数式１５に示す“wcol”は、分割領域に対応する入力画像信号の色情報に関する重み係数、数式１５に示す“wlum”は、分割領域に対応する入力画像信号の輝度情報に関する重み係数をそれぞれ示す。
【０１０９】
【数１５】
・・・（数式１５）
【０１１０】
図７は、本発明の実施形態に係る重み係数設定部１１０における処理の一例を説明するための説明図である。図７に示すＡは、重み係数設定部１１０が、領域種別に関する重み係数を決定する場合に参照するテーブルの一例を示している。ここで、図７のＡに示すテーブルでは、分割領域内の隣接する画素の画素値の相関が高く、連続性が高い領域種別において値が大きくなるように“wtype”の値が設定されている。また、図７に示すＢは、重み係数設定部１１０が、色情報に関する重み係数を決定する場合に参照するテーブルの一例を示している。ここで、図７のＢに示すテーブルでは、画像を輝度と色差成分に分離して処理する場合に、色差の値よりも輝度の値が大きくなるように“wcol”の値が設定されている。また、図７に示すＣは、重み係数設定部１１０が、輝度情報に関する重み係数を決定する場合に参照するテーブルの一例を示している。ここで、図７のＣに示すテーブルでは、輝度値が８ｂｉｔ（０〜２５５）の値をとる場合に、中低輝度で値が大きくなるように“wlum”の値が設定されている。
【０１１１】
重み係数設定部１１０は、例えば、図７に示すテーブルを参照して“wtype”、“wcol”、“wlum”を決定し、上記数式１５によって、重み係数ｗを算出する。
【０１１２】
なお、重み係数設定部１１０における重み係数ｗの算出処理は、上記に限られない。例えば、上記では、図７に示すテーブルを用いて決定される“wtype”、“wcol”、“wlum”を用いて重み係数ｗを算出する例を示したが、重み係数設定部１１０は、上記視覚特性を考慮して重み係数を設定することが可能な任意の方法を用いて、重み係数ｗを算出することができる。また、重み係数設定部１１０は、例えば、“領域種別（分割領域の種別）に関する重み係数”と、“領域種別に関する重み係数、または、色情報に関する重み係数および輝度情報に関する重み係数”とに基づいて、重み係数ｗを算出してもよい。さらに、重み係数設定部１１０は、例えば、領域種別に関する重み係数を、重み係数ｗとすることも可能である。
【０１１３】
再度図６を参照して、第１の構成例に係るノイズ評価値算出部１０６の構成について説明する。評価値算出部１１２は、分割領域画像と、重み係数設定部１１０が設定した重み係数ｗとに基づいて、ノイズ評価値を算出する。より具体的には、評価値算出部１１２は、例えば、設定された重み係数ｗと、ブロック境界（分割領域の境界）における隣接する画素の画素値の差分を示す差分値とを乗算して、ノイズ評価値を算出する。
【０１１４】
図８は、本発明の実施形態に係る評価値算出部１１２における処理の一例を説明するための説明図である。ここで、図８は、図５に示す評価対象の分割領域Ａに含まれる画素と、分割領域Ａと隣接する分割領域Ｂに含まれる画素との一例を、１次元信号列で示している。
【０１１５】
評価値算出部１１２は、ブロック境界の段差Ｄを、ブロック境界を挟んで隣接する画素の画素値の差分を用いて、例えば“Ｄ＝Ｐ（３）−Ｐ（４）”のように算出する。そして、評価値算出部１１２は、ブロック境界の段差Ｄと重み係数ｗとに基づいて、例えば下記の数式１６に示す演算により、ノイズ評価値Ｅを算出する。
【０１１６】
【数１６】
・・・（数式１６）
【０１１７】
なお、本発明の実施形態に係る評価値算出部１１２における、ノイズ評価値Ｅの算出処理は、上記に限られない。例えば、評価値算出部１１２は、評価対象の分割領域（以下、「評価対象分割領域」と示す場合がある。）における重み係数だけでなく、当該評価対象の分割領域に隣接する分割領域（以下、「隣接分割領域」と示す場合がある。）における重み係数とを用いて、ノイズ評価値Ｅを算出することも可能である。
【０１１８】
より具体的には、評価値算出部１１２は、例えば下記の数式１７により、評価対象分割領域における重み係数と隣接分割領域における重み係数とを用いて、ノイズ評価値Ｅを算出する。ここで、数式１７に示す“ｗＡ”は、評価対象分割領域における重み係数を示し、数式１７に示す“ｗＢ”は、隣接分割領域における重み係数を示す。
【０１１９】
【数１７】
・・・（数式１７）
【０１２０】
また、評価値算出部１１２は、例えば、評価対象分割領域の領域種別と、隣接分割領域の領域種別との違いを考慮したノイズ評価値Ｅを算出することも可能である。図９は、本発明の実施形態に係る評価値算出部１１２における処理の他の例を説明するための説明図である。
【０１２１】
より具体的には、評価値算出部１１２は、例えば、図９に示すＡのように領域種別ごとに基準値ＰＴを設定し、また、図９に示すＢのように評価対象分割領域の基準値ＰＴＡと隣接分割領域の基準値ＰＴＢの差分絶対値|ＰＴＡ−ＰＴＢ|に対して重み係数ｗｐｔを設定する。そして、評価値算出部１１２は、例えば、上記数式１６または上記数式１７により算出されたＥに対して、設定した重み係数ｗｐｔをさらに乗算することによって、ノイズ評価値Ｅを算出する。
【０１２２】
さらに、評価値算出部１１２は、例えば、グラデーション領域およびエッジ領域については、同じ領域種別の分割領域が隣接している場合であっても、方向が大きく異なると画像を見るユーザがブロックノイズを知覚しやすいことに基づいて、評価対象分割領域と隣接分割領域とにおける方向の差異が大きければ重み係数を大きくし、また、当該方向の差異が小さければ重み係数を小さくするように設定することもできる。ここで、評価値算出部１１２は、例えば、図３のＡに示す８方向の場合、方向０に対して方向１や方向７のように隣り合う方向は、方向の差異が小さいと判定し、また、方向０に対して１８０度方向が異なる方向４は、方向の差異が大きいと判定する。
【０１２３】
評価値算出部１１２は、例えば上記のように、評価対象分割領域だけでなく隣接分割領域の領域種別や色情報、輝度値を考慮した重み係数を用いることによって、上述した従来のノイズ検出方法を用いる場合よりも、より人間の視覚特性に基づいた信頼性の高いノイズ評価値Ｅを得ることができる。
【０１２４】
（２）ノイズ評価値算出部１０６の第２の構成例
本発明の実施形態に係るノイズ評価値算出部１０６の構成は、図６に示す第１の構成例に係るノイズ評価値算出部１０６の構成に限られない。図１０は、本発明の実施形態に係るノイズ評価値算出部１０６の第２の構成例を示すブロック図である。ここで、図１０に示す第２の構成例に係るノイズ評価値算出部１０６は、評価方法の適応的な切替を用いたノイズ評価値算出方法によって、ノイズ評価値を算出する構成を示している。
【０１２５】
第２の構成例に係るノイズ評価値算出部１０６は、フラット領域評価値算出部１１４と、グラデーション領域評価値算出部１１６と、テクスチャ領域評価値算出部１１８と、エッジ領域評価値算出部１２０と、ランダム領域評価値算出部１２２と、スイッチＳＷとを備える。第２の構成例に係るノイズ評価値算出部１０６は、分割領域種別分類部１０４から伝達される領域種別（分割領域の種別）に基づいて、ノイズ評価値を算出する算出処理を切り替えることによって、当該領域種別に対応するノイズ評価値をノイズ検出部１０８へ伝達する。
【０１２６】
スイッチＳＷは、分割領域種別分類部１０４から伝達される領域種別情報に基づいて、領域種別情報が示す領域種別に対応するノイズ評価値の算出処理を行う評価値算出部に接続する。ここで、スイッチＳＷとしては、例えば、ＦＥＴ（Field Effect Transistor）で構成されたスイッチが挙げられるが、本発明の実施形態に係るスイッチは、上記に限られない。
【０１２７】
フラット領域評価値算出部１１４は、フラット領域に対するノイズ評価値を算出する。フラット領域評価値算出部１１４は、例えば下記の数式１８に示すように、評価対象分割領域と隣接分割領域とのブロック境界における隣接画素の差分値Ｄの絶対値を、ノイズ評価値Ｅとして算出する。
【０１２８】
【数１８】
・・・（数式１８）
【０１２９】
グラデーション領域評価値算出部１１６は、グラデーション領域に対するノイズ評価値を算出する。図１１は、本発明の実施形態に係るグラデーション領域評価値算出部１１６における処理の一例を説明するための説明図である。
【０１３０】
グラデーション領域評価値算出部１１６は、図１１の矢印で示されたグラデーション方向によってノイズ評価値Ｅの算出方法を変える。例えば、図１１に示すＢのように、ブロック境界がグラデーション方向に対して平行になる場合には、フラット領域と同様に、上記数式１８によってノイズ評価値Ｅを算出する。
【０１３１】
また、図１１に示すＡ、Ｃのように、ブロック境界がグラデーション方向に対して交わる場合には、グラデーション領域評価値算出部１１６は、図３のＢに示すの０〜７の８方向のうち、評価対象分割領域に対して隣接分割領域が位置する方向（例えば、図３のＢにおいて、隣接分割領域が評価対象分割領域の左に位置する場合は方向５）の隣接画素差分値の平均値ｄａｖｅを用いてノイズ評価値Ｅを算出する。より具体的には、グラデーション領域評価値算出部１１６は、例えば下記の数式１９によって、ノイズ評価値Ｅを算出する。
【０１３２】
【数１９】
・・・（数式１９）
【０１３３】
テクスチャ領域評価値算出部１１８は、テクスチャ領域に対するノイズ評価値を算出する。テクスチャ領域評価値算出部１１８は、例えば下記の数式２０に示すように、評価対象分割領域内の評価対象分割領域に対して隣接分割領域が位置する方向の隣接画素差分値の標準偏差ｄｓｉｇｍａを用いてノイズ評価値Ｅを算出する。
【０１３４】
【数２０】
・・・（数式２０）
【０１３５】
エッジ領域評価値算出部１２０は、エッジ領域に対するノイズ評価値を算出する。図１２、図１３は、本発明の実施形態に係るエッジ領域評価値算出部１２０における処理の一例を説明するための説明図である。
【０１３６】
エッジ領域評価値算出部１２０は、図１２の矢印で示されたエッジ方向によってノイズ評価値Ｅの算出方法を変える。例えば、図１２に示すＡのように、ブロック境界がエッジ方向に対して垂直になる場合には、フラット領域と同様に、上記数式１８によってノイズ評価値Ｅを算出する。
【０１３７】
また、図１２に示すＢ、Ｃの場合には、エッジ領域評価値算出部１２０は、エッジ方向に対して垂直な方向の隣接画素差分値Ｄｄｉｒｅｃｔの絶対値をノイズ評価値Ｅとする。より具体的には、エッジ領域評価値算出部１２０は、例えば下記の数式２１によって、ノイズ評価値Ｅを算出する。つまり、エッジ領域評価値算出部１２０は、図１３に示すＢの場合には、図１３のＡに示す方向で隣接画素差分値Ｄｄｉｒｅｃｔを下記の数式２１によって算出し、また、図１３に示すＣの場合には、図１３のＢに示す方向で隣接画素差分値Ｄｄｉｒｅｃｔを下記の数式２１によって算出する。
【０１３８】
【数２１】
・・・（数式２１）
【０１３９】
ランダム領域評価値算出部１２２は、ランダム領域に対するノイズ評価値を算出する。図１４は、本発明の実施形態に係るランダム領域評価値算出部１２２における処理の一例を説明するための説明図である。
【０１４０】
ランダム領域評価値算出部１２２は、例えば下記の数式２２に示すように、評価対象分割領域のブロック境界画素の平均値と、隣接分割領域のブロック境界画素の平均値との差分値Ｄａｖｅの絶対値を、ノイズ評価値Ｅとして算出する。ここで、例えば図１４に示すように、評価対象分割領域のブロック境界画素値ＰＡ（０）〜ＰＡ（３）と、隣接分割領域のブロック境界画素値ＰＢ（０）〜ＰＢ（３）を用いると、Ｄａｖｅの値は、例えば下記の数式２３で表される。
【０１４１】
【数２２】
・・・（数式２２）
【０１４２】
【数２３】
・・・（数式２３）
【０１４３】
第２の構成例に係るノイズ評価値算出部１０６は、例えば、スイッチＳＷにより接続された評価値算出部それぞれが上記のような処理を行うことによって、分割領域種別分類部１０４から伝達される領域種別（分割領域の種別）に基づいて、ノイズ評価値を算出する算出処理を切り替え、当該領域種別に対応するノイズ評価値を算出する。
【０１４４】
なお、本発明の実施形態に係る第２の構成例に係るノイズ評価値算出部１０６を構成する、各評価値算出部におけるノイズ評価値の算出処理は、上記に限られない。例えば、第２の構成例に係るノイズ評価値算出部１０６は、評価対象分割領域を基準として算出したノイズ評価値だけでなく、隣接分割領域を基準として算出したノイズ評価値を用いてノイズ評価値Ｅを算出することも可能である。
【０１４５】
より具体的には、例えば、図５に示すＢにおいて分割領域Ａを評価対象分割領域とした場合におけるブロック境界Ａ−Ｂのノイズ評価値をＥＡ、図５に示すＢにおいて分割領域Ｂを評価対象分割領域とした場合におけるブロック境界Ａ−Ｂのノイズ評価値をＥＢとおくと、第２の構成例に係るノイズ評価値算出部１０６は、例えば下記の数式２４によって、ノイズ評価値Ｅを算出することができる。ここで、数式２４に示す“Ｍａｘ（）”は、（）内の最大値を示す。
【０１４６】
【数２４】
・・・（数式２４）
【０１４７】
また、第２の構成例に係るノイズ評価値算出部１０６は、例えば、図６に示す第１の構成例に係るノイズ評価値算出部１０６と同様に、評価対象分割領域と隣接分割領域との領域種別の違いを考慮し、算出されたノイズ評価値Ｅに対してさらに重み係数ｗｐｔを乗算したものを、ノイズ評価値Ｅとしてもよい。
【０１４８】
さらに、第２の構成例に係るノイズ評価値算出部１０６は、例えば、図６に示す第１の構成例に係るノイズ評価値算出部１０６と同様に、グラデーション領域およびエッジ領域については、同じ領域種別の分割領域が隣接している場合であっても、方向が大きく異なると画像を見るユーザがブロックノイズを知覚しやすいことに基づいて、評価対象分割領域と隣接分割領域とにおける方向の差異が大きければ重み係数を大きくし、また、当該方向の差異が小さければ重み係数を小さくするように設定してもよい。第２の構成例に係るノイズ評価値算出部１０６は、例えば、算出されたノイズ評価値Ｅに対してさらに設定された重み係数を乗算することによって、ノイズ評価値Ｅを算出することができる。
【０１４９】
第２の構成例に係るノイズ評価値算出部１０６は、例えば上記のように、評価対象分割領域の領域種別によってノイズ評価値の算出方法を適応的に切り替えることによって、上述した従来のノイズ検出方法を用いる場合よりも、より人間の視覚特性に基づいた信頼性の高いノイズ評価値Ｅを得ることができる。また、第２の構成例に係るノイズ評価値算出部１０６は、さらに、隣接分割領域の領域種別を考慮することによって、上述した従来のノイズ検出方法を用いる場合よりも、より人間の視覚特性に基づいた信頼性の高いノイズ評価値Ｅを得ることができる。
【０１５０】
なお、本発明の実施形態に係るノイズ評価値算出部１０６における、評価方法の適応的な切替を用いたノイズ評価値算出方法によってノイズ評価値を算出する構成は、図１０に示す構成に限られない。例えば、図１０では、５つの分割領域の種別全てに対応する処理を適応的に切り替える構成を示したが、本発明の実施形態に係るノイズ評価値算出部１０６は、５つの分割領域の種別のうちの、少なくとも２つ以上の分割領域の種別に対応する処理を、適応的に切り替えてもよい。
【０１５１】
また、本発明の実施形態に係るノイズ評価値算出部１０６は、図６に示す第１の構成例に係る重み係数設定部１１０を、図１０に示す各評価値算出部の前段にさらに備える構成をとることも可能である。本発明の実施形態に係るノイズ評価値算出部１０６は、上記構成をとることによって、さらに第１の構成例に係る重み係数を用いて、評価対象分割領域の領域種別によってノイズ評価値の算出方法を適応的に切り替えることができる。
【０１５２】
再度図１を参照して、本発明の実施形態に係る画像処理装置１００の構成の一例について説明する。ノイズ検出部１０８は、本発明の実施形態に係る画像処理方法に係る上記ノイズ検出処理を主導的に行う役目を果たし、分割領域ごとに算出されるノイズ評価値に基づいて、ブロックノイズを検出する。
【０１５３】
また、ノイズ検出部１０８は、例えば、ブロックノイズの検出結果を示す信号（または、検出結果を示すデータ）を、通信部（図示せず）を介してノイズ低減処理を行う機能を有する外部装置に送信する。なお、本発明の実施形態に係る画像処理装置がノイズ低減処理を行うノイズ低減部（図示せず）を備える場合、すなわち、本発明の実施形態に係る画像処理装置がノイズ低減処理を行う機能を有する場合には、ノイズ検出部１０８は、例えば、ブロックノイズの検出結果を示す信号をノイズ低減部（図示せず）に伝達してもよい。
【０１５４】
図１５は、本発明の実施形態に係るノイズ検出部１０８の構成の一例を示すブロック図である。ノイズ検出部１０８は、例えば、ブロックノイズ判定部１２４と、評価値累積部１２６と、累積範囲制御部１２８とを備える。ノイズ検出部１０８は、例えば、分割領域種別設定部１０４から伝達される領域種別情報と、ノイズ評価値算出部１０６から伝達されるノイズ評価値とに基づいて、分割領域ごとにブロックノイズを検出する。
【０１５５】
ブロックノイズ判定部１２４は、伝達されるノイズ評価値が、ブロックノイズを示す値として適切な値であるか否かを判定する。より具体的には、ブロックノイズ判定部１２４は、例えば下記の条件１および条件２の２つの条件に基づいて、ノイズ評価値が、ブロックノイズを示す値として適切な値であるか否かを判定する。
【０１５６】
・条件１：ある一定以下のノイズ評価値では、ブロック境界の段差は視覚的に目立ちにくく、ブロックノイズとして視認されない可能性が高い。
・条件２：ある一定以上のノイズ評価値では、ブロック境界の段差は画像構造の一部である可能性が高い。
【０１５７】
ブロックノイズ判定部１２４は、上記条件１、上記条件２に基づき、例えば下記の数式２５によりブロックノイズの判定結果を示す値Ｅｎｏｉｓｅを算出する。ここで、数式２５に示す“ＥＬｏｗｅｒ”は、ノイズ評価値Ｅの閾値の下限値を示し、数式２５に示す“ＥＵｐｐｅｒ”は、ノイズ評価値Ｅの閾値の上限値（ただし、ＥＬｏｗｅｒ＜ＥＵｐｐｅｒ）を示している。
【０１５８】
【数２５】
・・・（数式２５）
【０１５９】
ここで、ブロックノイズ判定部１２４は、例えば、伝達される領域種別情報が示す領域種別に応じて、閾値の下限値ＥＬｏｗｅｒと閾値の上限値ＥＵｐｐｅｒとを適応的に変更する。閾値の下限値ＥＬｏｗｅｒと閾値の上限値ＥＵｐｐｅｒとを適応的に変更する方法としては、例えば、評価対象分割領域を中心とした所定の範囲内の周辺の分割領域の領域種別に基づいて、ブロックノイズの視認性が高いフラット領域やグラデーション領域などが連続して存在する場合に、閾値の下限値ＥＬｏｗｅｒを基準値よりも小さく設定し、また、ブロックノイズの視認性が低いランダム領域などが連続して存在する場合に、閾値の上限値ＥＵｐｐｅｒを基準値よりも高く設定する方法が挙げられる。
【０１６０】
なお、本発明の実施形態に係る閾値の下限値ＥＬｏｗｅｒと閾値の上限値ＥＵｐｐｅｒとを適応的に変更する方法は、上記に限られない。例えば、ブロックノイズ判定部１２４は、周辺のエッジ領域内のエッジの隣接画素差分値Ｄｅｄｇｅを画像を構成する主要なエッジの強度であるとし、閾値の上限値ＥＵｐｐｅｒを隣接画素差分値Ｄｅｄｇｅより小さく設定してもよい。閾値の上限値ＥＵｐｐｅｒを隣接画素差分値Ｄｅｄｇｅより小さく設定することによって、ブロックノイズ判定部１２４は、エッジをブロックノイズと判定する誤判定を抑制することが可能となる。
【０１６１】
また、閾値の下限値ＥＬｏｗｅｒと閾値の上限値ＥＵｐｐｅｒとは、領域種別に応じて適応的に変更されることに限られず、例えば、予め設定された固定値であってもよいし、画像処理装置１００のユーザなどによって変更することが可能な可変値であってもよい。
【０１６２】
ブロックノイズ判定部１２４が、例えば上記数式２５によりブロックノイズの判定結果を示す値Ｅｎｏｉｓｅを算出することによって、ノイズ検出部１０８は、ノイズ評価値が、所定の閾値により定められる範囲内に収まる場合に、ノイズ評価値に対応する分割領域にブロックノイズが存在すると判定することができる。
【０１６３】
評価値累積部１２６は、ブロックノイズ判定部１２４から伝達されるブロックノイズの判定結果を示す値Ｅｎｏｉｓｅを、後述する累積範囲制御部１２８により制御される範囲内で累積し、累積した結果を、ブロックノイズの検出結果とする。ここで、評価値累積部１２６が累積する、ブロックノイズの判定結果を示す値Ｅｎｏｉｓｅの累積値は、ブロックノイズ量に該当する。
【０１６４】
なお、評価値累積部１２６における処理は、上記に限られない。例えば、評価値累積部１２６は、累積値そのものではなく、累積値から画素単位の平均値を算出し、算出した平均値を、ブロックノイズの検出結果としてもよい。また、評価値累積部１２６は、例えば、ブロックノイズの判定結果を示す値Ｅｎｏｉｓｅに所定の範囲を設定して正規化した値を、ブロックノイズの検出結果とすることも可能である。
【０１６５】
累積範囲制御部１２８は、評価値累積部１２６におけるブロックノイズの判定結果を示す値Ｅｎｏｉｓｅを累積する範囲を制御する。図１６は、本発明の実施形態に係る累積範囲制御部１２８における処理の一例を説明するための説明図である。
【０１６６】
例えば図１６のＡに示すように、累積範囲制御部１２８が累積範囲を画素単位とした場合には、評価値累積部１２６は、図１６のＡに示す網掛け部分に対応するブロックノイズの判定結果を示す値Ｅｎｏｉｓｅの累積値を、ブロックノイズの検出結果とする。また、例えば図１６のＢに示すように、累積範囲制御部１２８が累積範囲を分割領域単位とした場合には、評価値累積部１２６は、図１６のＢに示す網掛け部分に対応するブロックノイズの判定結果を示す値Ｅｎｏｉｓｅの累積値を、ブロックノイズの検出結果とする。そして、例えば図１６のＣに示すように、累積範囲制御部１２８が累積範囲を複数の分割領域を含む領域単位とした場合には、評価値累積部１２６は、図１６のＣに示す網掛け部分に対応するブロックノイズの判定結果を示す値Ｅｎｏｉｓｅの累積値を、ブロックノイズの検出結果とする。
【０１６７】
なお、本発明の実施形態に係る累積範囲制御部１２８における累積する範囲の制御は、上記に限られない。例えば、累積範囲制御部１２８は、画像全体を累積する範囲としてもよい。
【０１６８】
上記のように累積範囲制御部１２８において、評価値累積部１２６におけるブロックノイズの判定結果を示す値Ｅｎｏｉｓｅを累積する範囲を制御することによって、ノイズ検出部１０８は、所望の単位でブロックノイズ量を算出し、ブロックノイズを検出することができる。
【０１６９】
本発明の実施形態に係る画像処理装置１００は、例えば図１に示す構成によって、本発明の実施形態に係る画像処理方法に係る処理（例えば、上記分割領域種別分類処理、上記ノイズ評価値算出処理、および上記ノイズ検出処理）を実現する。画像処理装置１００は、例えば図１に示す構成によって、従来のブロック境界の段差の大きさのみを考慮する方式に比べて、画像構造の連続性を考慮したブロックノイズ評価値を算出することが可能となるので、ブロックノイズの検出精度を向上させることができる。また、画像処理装置１００は、例えば図１に示す構成によって、人間が見てブロックノイズとして知覚しやすいか否かを考慮したブロックノイズの検出が可能となる。
【０１７０】
したがって、画像処理装置１００は、処理対象の画像信号に基づいて、ブロックノイズを検出することができる。
【０１７１】
なお、本発明の実施形態に係る画像処理装置の構成は、図１に示す構成に限られない。例えば、図１では分割領域設定部１０２を備える構成を示しているが、本発明の実施形態に係る画像処理装置は、分割領域設定部１０２を備えず、分割領域種別分類部１０４が分割領域設定部１０２の機能をさらに有していてもよい。
【０１７２】
以上、本発明の実施形態として画像処理装置を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、デジタルカメラなどの撮像装置や、ＰＣやサーバなどのコンピュータ、テレビ受像機などの表示装置、携帯電話やスマートフォンなどの通信装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機など、画像信号の処理が可能な様々な機器に適用することができる。また、本発明の実施形態は、例えば、上記のような機器に組み込むことが可能な、画像処理ＩＣ（Integrated Circuit）に適用することもできる。
【０１７３】
（本発明の実施形態に係るプログラム）
コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（例えば、上記分割領域種別分類処理、上記ノイズ評価値算出処理、および上記ノイズ検出処理など、本発明の実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム）によって、処理対象の画像信号に基づいて、ブロックノイズを検出することができる。
【０１７４】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１７５】
例えば、上記では、コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムをそれぞれ記憶させた記録媒体も併せて提供することができる。
【符号の説明】
【０１７６】
１００ 画像処理装置
１０２ 分割領域設定部
１０４ 分割領域種別分類部
１０６ ノイズ評価値算出部
１０８ ノイズ検出部
１１０ 重み係数設定部
１１２ 評価値算出部
１１４ フラット領域評価値算出部
１１６ グラデーション領域評価値算出部
１１８ テクスチャ領域評価値算出部
１２０ エッジ領域評価値算出部
１２２ ランダム領域評価値算出部
１２４ ブロックノイズ判定部
１２６ 評価値累積部
１２８ 累積範囲制御部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、例えばＶＯＤ（Video On Demand）などのように、インターネット（Internet）を介して動画像を配信するサービスの普及が進んでいる。また、例えば日本では、テレビジョン放送がデジタル化している。例えば上記のような、動画像配信サービスや、デジタルテレビジョン放送において、高解像度のデジタル画像の配信や放送を可能とした技術の一つとして、画像圧縮技術がある。画像圧縮技術の規格としては、例えば、ＩＳＯ／ＩＥＣ ＭＰＥＧ（Motion Picture Experts Group）とＩＴＵ−Ｔ ＶＣＥＧ（Video Coding Experts Group）とが共同で標準化した、ＭＰＥＧ−２やＨ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下、「Ｈ．２６４」と示す場合がある。）が挙げられる。ＭＰＥＧ−２やＨ．２６４は、動画像符号化国際標準規格として、様々な機器において採用されている。
【０００３】
例えばＭＰＥＧ−２やＨ．２６４では、Ｂｌｏｃｋ ｂａｓｅ符号化と呼ばれる符号化方式が用いられている。ここで、Ｂｌｏｃｋ ｂａｓｅ符号化では、画像をブロックに分割し、ブロック単位で予測処理、変換処理、量子化処理が行われる。そのため、Ｂｌｏｃｋ ｂａｓｅ符号化が用いられる場合には、復号化された画像をみるユーザに、ブロックノイズ（Block noise）と呼ばれるブロック状のノイズ（歪み）が認識されてしまうことが起こりうる。
【０００４】
ブロックノイズは、圧縮難易度が高い映像や圧縮率が高い場合に発生しやすく、特に、ブロックノイズ抑制機能を有さないＭＰＥＧ−２では、デブロッキング・フィルタ（De-blocking filter）を有するＨ．２６４に比べてブロックノイズの発生が顕著となる。そのため、例えば、テレビ受像機やＰＣ（Personal Computer）などのような、ＭＰＥＧ−２やＨ．２６４の画像を再生可能な機器では、画像の高画質化を図るために、ブロックノイズを検出して、検出したノイズを低減する機能を有することが望まれている。
【０００５】
このような中、符号化に起因するノイズの低減を図る技術が開発されている。符号化に起因するノイズの低減を図る技術としては、例えば、特許文献１に記載の技術や、特許文献２に記載の技術、特許文献３に記載の技術、非特許文献１に記載の技術が挙げられる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２６６６８４号公報
【特許文献２】特表２００８−５０８７５１号公報
【特許文献３】特開２００６−１４８８７８号公報
【非特許文献】
【０００７】
【非特許文献１】Wu H. R. and Yuen M., "A Generalized Block-edge Impairment Metric for Video Coding", IEEE Signal Processing Letters, Vol.4, Issue 11, p.317-320 (Nov, 1997)
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ブロックノイズを検出する方法としては、例えば、ブロック境界における隣接画素の差分値の大きさに基づいて検出する方法が挙げられる。上記方法では、例えば、ブロック境界における隣接画素差分値が所定の閾値以上の値を有するときに、隣接ブロック間に不自然な段差、つまりブロックノイズが発生している可能性が高いとして、当該隣接画素差分値をブロックノイズ量として検出する。
【０００９】
しかしながら、上記のような単純な方法が用いられる場合には、圧縮前の画像にエッジ（Edge）やテクスチャ（Texture）など、隣接画素差分値が大きくなる画像構造が含まれるときには、当該画像構造をブロックノイズとして誤検出する恐れがある。ここで、ブロックノイズを低減する処理として、例えば、ブロック境界の段差をなくすためにローパス・フィルタ（Low−pass filter）をかけて高周波成分を低減するという処理が用いられた場合には、上記のようなブロックノイズの誤検出は、ローパス・フィルタによって、処理後の画像がぼけるという副作用を引き起こす可能性がある。
【００１０】
よって、上記のような単純な方法を用いたとしても、ブロックノイズを検出できるとは限らない。
【００１１】
例えば特許文献１に記載の技術では、ブロック境界における隣接画素の差分値だけでなく、ブロック境界の少なくとも片側の複数画素から予測した予測画素値との差分値を、ブロックノイズ検出のための評価値とする。そして、例えば特許文献１に記載の技術では、上記評価値を画面内で累積した累積値の大きさによって、ブロックノイズ発生の有無を判定する。よって、例えば特許文献１に記載の技術を用いる場合には、上記のような単純な方法を用いる場合よりも、ブロックノイズを検出することができる可能性はある。
【００１２】
しかしながら、例えば特許文献１に記載の技術では、画像を１次元信号列として見た場合におけるブロック境界の段差しか考慮しておらず、画像をみるユーザがブロックノイズとして知覚する要因となる画像構造が考慮されていない。よって、例えば特許文献１に記載の技術を用いたとしても、例えば、ブロック境界の段差が、画像本来の画像構造によるものなのか、または、圧縮に起因する歪みによって生じたものなのかや、ブロック境界の段差が、画像をみるユーザがブロックノイズとして知覚できるレベルの段差であるか否かを判定することは、困難である。
【００１３】
また、例えば非特許文献１に記載の技術では、ブロック境界の隣接画素差分値をブロック内の隣接画素差分値の平均値で除することにより、テクスチャなど画素値の分散が大きくなる領域ではブロックノイズを評価するブロックノイズ評価値が小さくなるように制御している。よって、例えば非特許文献１に記載の技術を用いる場合には、上記のような単純な方法を用いる場合よりも、ブロックノイズを検出することができる可能性はある。
【００１４】
しかしながら、例えば非特許文献１に記載の技術では、特許文献１に記載の技術と同様に、画像を１次元信号列として見た場合におけるブロック境界の段差しか考慮しておらず、画像をみるユーザがブロックノイズとして知覚する要因となる画像構造が考慮されていない。よって、例えば非特許文献１に記載の技術を用いたとしても、特許文献１に記載の技術と同様に、例えば、ブロック境界の段差が、画像本来の画像構造によるものなのか、または、圧縮に起因する歪みによって生じたものなのかや、ブロック境界の段差が、画像をみるユーザがブロックノイズとして知覚できるレベルの段差であるか否かを判定することは、困難である。
【００１５】
また、例えば特許文献２に記載の技術では、モスキートノイズ（Mosquito noise）やブロックノイズを低減するために、画像を定義する複数の画素（Pixel）の各画素を、“Ｔｅｘｔｕｒｅ”、“Ｅｄｇｅ”、“Ｎｅａｒ ｅｄｇｅ”、“Ｆｌａｔ”、“Ｎｅａｒ ｆｌａｔ”というような、画像領域種別に分類している。また、例えば特許文献２に記載の技術では、分類された画像領域種別を利用して各画素における虚構画像統計特性を推定し、当該虚構画像統計特性を利用してノイズ低減のための時間・空間フィルタリングを実行している。
【００１６】
しかしながら、例えば特許文献２に記載の技術では、画像構造によって、エッジ、テクスチャ、フラットなどの種別に分類しているが、例えば特許文献２に記載の技術では、分類した種別が、例えば、エッジ領域ではエッジを保存するフィルタリングを施し、フラット領域では比較的強いローパス・フィルタで画像をぼかすなど、ノイズ低減の適応化処理に用いられている。つまり、例えば特許文献２に記載の技術では、分類結果がブロックノイズが発生しやすい領域を特定するために用いられており、例えば特許文献２に記載の技術を用いたとしても、発生したブロックノイズのノイズ量を評価することはできない。
【００１７】
また、例えば特許文献３に記載の技術では、画像を複数のブロックに分割し、各画素の強度の分散を算出して、各ブロックにおいて最大分散を有する画素を特定する。そして、例えば特許文献３に記載の技術では、最大分散に応じて各ブロックを、“Ｅｄｇｅ ｂｌｏｃｋ”、“Ｔｅｘｔｕｒｅ ｂｌｏｃｋ”、“平滑Ｂｌｏｃｋ”に分類し、分類した種別に応じて、ノイズ低減のためのフィルタリング方法を適用的に変更する。
【００１８】
しかしながら、例えば特許文献３に記載の技術では、特許文献２に記載の技術と同様に、画像構造によって、エッジ、テクスチャなどの種別に分類しているが、例えば特許文献３に記載の技術では、特許文献２に記載の技術と同様に、分類した種別がノイズ低減の適応化処理に用いられている。つまり、例えば特許文献３に記載の技術では、分類結果が、特許文献２に記載の技術と同様に、ブロックノイズが発生しやすい領域を特定するために用いられており、例えば特許文献３に記載の技術を用いたとしても、発生したブロックノイズのノイズ量を評価することはできない。
【００１９】
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、処理対象の画像信号に基づいて、ブロックノイズを検出することが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【００２０】
上記目的を達成するために、本発明の第１の観点によれば、入力画像信号が示す画像が分割された分割領域ごとに、上記分割領域に含まれる画素の画素特徴に基づいて、分割領域の種別を分類する分割領域種別分類部と、上記分割領域ごとに、分類された種別に基づいて、分割領域の境界における不連続性を示すノイズ評価値を算出するノイズ評価値算出部と、上記分割領域ごとに算出される上記ノイズ評価値に基づいて、ブロックノイズを検出するノイズ検出部と、を備える画像処理装置が提供される。
【００２１】
かかる構成によって、処理対象の画像信号に基づいて、ブロックノイズを検出することができる。
【００２２】
また、上記ノイズ評価値算出部は、分類された種別に基づいて重み係数を設定する重み係数設定部と、設定された重み係数と、上記分割領域の境界における隣接する画素の画素値の差分を示す差分値とを乗算して、上記ノイズ評価値を算出する評価値算出部と、を備えていてもよい。
【００２３】
また、上記重み係数設定部は、さらに、上記分割領域に対応する上記入力画像信号の色情報、および／または、上記分割領域に対応する上記入力画像信号の輝度情報に基づいて、上記重み係数を設定してもよい。
【００２４】
また、上記重み係数設定部は、処理対象の分割領域における種別と、上記処理対象の分割領域の境界に隣接する２つの分割領域における種別とに基づいて、上記重み係数を設定してもよい。
【００２５】
また、上記ノイズ評価値算出部は、分類された種別に基づいて、上記ノイズ評価値を算出する算出処理を切り替えてもよい。
【００２６】
また、上記ノイズ検出部は、上記ノイズ評価値が、所定の閾値により定められる範囲内に収まる場合に、上記ノイズ評価値に対応する分割領域にブロックノイズが存在すると判定してもよい。
【００２７】
また、上記目的を達成するために、本発明の第２の観点によれば、入力画像信号が示す画像が分割された分割領域ごとに、上記分割領域に含まれる画素の画素特徴に基づいて、分割領域の種別を分類するステップと、上記分割領域ごとに、分類された種別に基づいて、分割領域の境界における不連続性を示すノイズ評価値を算出するステップと、上記分割領域ごとに算出される上記ノイズ評価値に基づいて、ブロックノイズを検出するステップと、を有する画像処理方法が提供される。
【００２８】
かかる方法を用いることによって、処理対象の画像信号に基づいて、ブロックノイズを検出することができる。
【００２９】
また、上記目的を達成するために、本発明の第３の観点によれば、入力画像信号が示す画像が分割された分割領域ごとに、上記分割領域に含まれる画素の画素特徴に基づいて、分割領域の種別を分類するステップ、上記分割領域ごとに、分類された種別に基づいて、分割領域の境界における不連続性を示すノイズ評価値を算出するステップ、上記分割領域ごとに算出される上記ノイズ評価値に基づいて、ブロックノイズを検出するステップ、をコンピュータに実行させるためのプログラムが提供される。
【００３０】
かかるプログラムを用いることによって、処理対象の画像信号に基づいて、ブロックノイズを検出することができる。
【発明の効果】
【００３１】
本発明によれば、処理対象の画像信号に基づいて、ブロックノイズを検出することができる。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図２Ａ】本発明の実施形態に係る分割領域種別分類部が分類する分割領域の種別の一例を示す説明図である。
【図２Ｂ】本発明の実施形態に係る分割領域種別分類部が分類する分割領域の種別の一例を示す説明図である。
【図２Ｃ】本発明の実施形態に係る分割領域種別分類部が分類する分割領域の種別の一例を示す説明図である。
【図２Ｄ】本発明の実施形態に係る分割領域種別分類部が分類する分割領域の種別の一例を示す説明図である。
【図２Ｅ】本発明の実施形態に係る分割領域種別分類部が分類する分割領域の種別の一例を示す説明図である。
【図３】本発明の実施形態に係る分割領域種別分類部における処理の一例を説明するための説明図である。
【図４】本発明の実施形態に係る分割領域種別分類部における処理の一例を示す流れ図である。
【図５】本発明の実施形態に係るノイズ評価値算出部における処理の一例を説明するための説明図である。
【図６】本発明の実施形態に係るノイズ評価値算出部の第１の構成例を示すブロック図である。
【図７】本発明の実施形態に係る重み係数設定部における処理の一例を説明するための説明図である。
【図８】本発明の実施形態に係る評価値算出部における処理の一例を説明するための説明図である。
【図９】本発明の実施形態に係る評価値算出部における処理の他の例を説明するための説明図である。
【図１０】本発明の実施形態に係るノイズ評価値算出部の第２の構成例を示すブロック図である。
【図１１】本発明の実施形態に係るグラデーション領域評価値算出部における処理の一例を説明するための説明図である。
【図１２】本発明の実施形態に係るエッジ領域評価値算出部における処理の一例を説明するための説明図である。
【図１３】本発明の実施形態に係るエッジ領域評価値算出部における処理の一例を説明するための説明図である。
【図１４】本発明の実施形態に係るランダム領域評価値算出部における処理の一例を説明するための説明図である。
【図１５】本発明の実施形態に係るノイズ検出部の構成の一例を示すブロック図である。
【図１６】本発明の実施形態に係る累積範囲制御部における処理の一例を説明するための説明図である。
【発明を実施するための形態】
【００３３】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００３４】
（本発明の実施形態に係る画像処理方法）
本発明の実施形態に係る画像処理装置の構成について説明する前に、本発明の実施形態に係る画像処理方法について説明する。また、以下では、本発明の実施形態に係る画像処理装置が、処理対象の画像信号（以下、「入力画像信号」と示す場合がある。）に対して、本発明の実施形態に係る画像処理方法に係る処理を行うものとして説明する。
【００３５】
ここで、本発明の実施形態に係る入力画像信号としては、例えば、ＭＰＥＧ−２や、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣなど、Ｂｌｏｃｋ ｂａｓｅ符号化と呼ばれる符号化方式により符号化された動画像（または、複数の静止画像）や静止画像を示す画像信号が挙げられる。以下では、本発明の実施形態に係る画像処理装置が、フレーム画像（静止画像）からなる動画像を示す画像信号を処理するものとして説明する。ここで、本発明の実施形態に係るフレーム画像とは、例えば、動画像の１フレーム（動画像がインタレース画像の場合には、１フィールドに対応する。）に対応する画像である。以下では、本発明の実施形態に係る画像処理装置が、時間順に１フレームずつ入力される画像信号を処理する場合を例に挙げて説明する。
【００３６】
また、本発明の実施形態に係る画像処理装置は、例えば、本発明の実施形態に係る画像処理装置がテレビ塔などから送信された放送波を（直接的、またはセットトップボックスなどを介して間接的に）受信してデコードした結果得られる画像信号を、入力画像信号として処理する。なお、本発明の実施形態に係る画像処理装置が処理する入力画像信号は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置は、ネットワークを介して（または直接的に）外部装置から送信された入力画像信号を処理することも可能である。また、本発明の実施形態に係る画像処理装置は、例えば、記憶部（後述する）や、本発明の実施形態に係る画像処理装置から着脱可能な外部記録媒体に記憶された画像データをデコードすることにより得られた画像信号を処理してもよい。さらに、本発明の実施形態に係る画像処理装置が、例えば、画像（動画像／静止画像）を撮像することが可能な撮像部（後述する）を備えている場合、すなわち、本発明の実施形態に係る画像処理装置が撮像装置として機能する場合には、本発明の実施形態に係る画像処理装置は、例えば、当該撮像部（後述する）により撮像された画像（動画像／静止画像）に対応する画像信号を処理してもよい。
【００３７】
本発明の実施形態に係る画像処理装置は、入力画像信号が示す画像が分割された分割領域ごとに、分割領域に含まれる画素の画素特徴に基づいて、分割領域の種別（以下、「領域種別」と示す場合がある。）を分類する（分割領域種別分類処理）。
【００３８】
ここで、本発明の実施形態に係る分割領域としては、例えば、４×４画素の矩形の領域や、８×８画素の矩形の領域、１６×１６画素の矩形の領域など、符号化ブロックサイズに対応する領域が挙げられる。本発明の実施形態に係る画像処理装置は、例えば、入力画像信号をデコードしたデコーダから、ブロック境界の情報を取得することによって、符号化ブロックサイズに対応する領域を、分割領域とする。なお、本発明の実施形態に係る分割領域は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置は、符号化ブロックサイズが未知の場合には、Ｈ．２６４の最小ブロックサイズである４×４画素の矩形の領域など、予め規定された大きさの領域を、分割領域としてもよい。
【００３９】
また、本発明の実施形態に係る分割領域の種別（領域種別）としては、例えば、“フラット領域”、“グラデーション領域”、“テクスチャ領域”、“エッジ領域”、“ランダム領域”という、画像構造（フラット、グラデーション、テクスチャ、エッジ、ランダム）に基づく領域のうちのいずれか２つ以上が挙げられる。なお、上記各領域種別の特徴については、後述する。
【００４０】
本発明の実施形態に係る画像処理装置は、分割領域ごとに、分類された種別に基づいて、分割領域の境界における不連続性を示すノイズ評価値を算出する（ノイズ評価値算出処理）。そして、本発明の実施形態に係る画像処理装置は、分割領域ごとに算出されるノイズ評価値に基づいて、ブロックノイズを検出する（ノイズ検出処理）。
【００４１】
本発明の実施形態に係る画像処理装置は、入力画像信号に基づき分類された画像構造を示す領域種別に基づいて、分割領域の境界（以下、「ブロック境界」と示す場合がある。）の不連続性を示すブロックノイズ評価値を算出する。よって、本発明の実施形態に係る画像処理装置は、分割領域の境界において生じた画素値の段差が、画像本来の構造による段差であるのか、または、ノイズによる段差であるのかを、より正確に評価することが可能である。
【００４２】
したがって、本発明の実施形態に係る画像処理装置は、処理対象の画像信号に基づいて、ブロックノイズをより高精度に検出することができる。
【００４３】
また、本発明の実施形態に係る画像処理装置は、入力画像信号に基づき分類された画像構造を示す領域種別に基づいてブロックノイズを検出するので、本発明の実施形態に係るブロックノイズの検出結果に基づき、ブロックノイズを低減する処理（以下、「ノイズ低減処理」と示す場合がある。）を行えば、例えば、発生するブロックノイズを十分に低減することができないこと、過度のブロックノイズの低減処理が行われてしまうことなどによる、処理後の画像における画質の低下は防止される。
【００４４】
以下、本発明の実施形態に係る画像処理装置の構成の一例について説明をすると共に、本発明の実施形態に係る画像処理方法に係る処理の具体例についても併せて説明する。
【００４５】
（本発明の実施形態に係る画像処理装置）
図１は、本発明の実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。画像処理装置１００は、例えば、分割領域設定部１０２と、分割領域種別分類部１０４と、ノイズ評価値算出部１０６と、ノイズ検出部１０８とを備える。
【００４６】
また、画像処理装置１００は、例えば、制御部（図示せず）や、ＲＯＭ（Read Only Memory。図示せず）、ＲＡＭ（Random Access Memory。図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）、外部装置と通信を行うための通信部（図示せず）、撮像部（図示せず）などを備えていてもよい。画像処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
【００４７】
ここで、制御部（図示せず）は、例えば、ＣＰＵ（Central Processing Unit）や各種処理回路などで構成され、画像処理装置１００全体を制御する。また、制御部（図示せず）は、例えば、分割領域設定部１０２、分割領域種別分類部１０４、ノイズ評価値算出部１０６、およびノイズ検出部１０８（または、これらのうちの１または２以上の部）の役目を果たしてもよい。なお、分割領域設定部１０２、分割領域種別分類部１０４、ノイズ評価値算出部１０６、およびノイズ検出部１０８は、各部の処理を実現可能な専用の（または汎用の）処理回路で構成されていてもよいことは、言うまでもない。
【００４８】
また、制御部（図示せず）は、例えば、ノイズ低減処理が行われた画像信号（以下、「出力画像信号」と示す。）をエンコードして、記憶部（図示せず）に記録する、および／または、出力画像信号が示す画像を表示部（図示せず）や外部表示装置の表示画面に表示させるなど、出力画像信号に対する処理を行う役目を果たしてもよい。
【００４９】
ＲＯＭ（図示せず）は、制御部（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部（図示せず）により実行されるプログラムなどを一時的に記憶する。
【００５０】
記憶部（図示せず）は、画像処理装置１００が備える記憶手段であり、例えば、画像データや、アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）などが挙げられる。また、記憶部（図示せず）は、画像処理装置１００から着脱可能であってもよい。
【００５１】
操作部（図示せず）としては、例えば、ボタンや、方向キー、あるいは、これらの組み合わせなどが挙げられる。また、画像処理装置１００は、例えば、画像処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）と接続することもできる。
【００５２】
表示部（図示せず）としては、例えば、液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機ＥＬディスプレイ（organic ElectroLuminescence display）などが挙げられる。なお、表示部（図示せず）は、例えばタッチスクリーンなどのように、表示とユーザ操作とが可能なデバイスであってもよい。また、画像処理装置１００は、表示部（図示せず）の有無に関わらず、画像処理装置１００の外部装置としての表示デバイス（例えば、外部ディスプレイなど）と接続することもできる。
【００５３】
通信部（図示せず）は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部装置と無線／有線で通信を行う。ここで、通信部（図示せず）としては、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）などが挙げられる。また、本発明の実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide Area Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ；Wireless Local Area Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless Wide Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
【００５４】
撮像部（図示せず）は、静止画像または動画像を撮像する役目を果たす。撮像部（図示せず）を備える場合には、画像処理装置１００は、例えば、撮像部（図示せず）における撮像により生成された画像信号を処理することが可能である。
【００５５】
ここで、本発明の実施形態に係る撮像部（図示せず）としては、例えば、レンズ／撮像素子と信号処理回路とから構成される撮像デバイスが挙げられる。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。また、信号処理回路は、例えば、ＡＧＣ（Automatic Gain Control）回路やＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理などが挙げられる。
【００５６】
以下、図１に示す第１の実施形態に係る画像処理装置１００の構成例について説明しつつ、画像処理装置１００における処理（画像処理方法に係る処理）の一例について説明する。
【００５７】
分割領域設定部１０２は、入力画像信号に基づいて、入力画像信号が示す画像に対して分割領域を設定する。
【００５８】
分割領域種別分類部１０４は、本発明の実施形態に係る画像処理方法に係る上記分割領域種別分類処理を主導的に行う役目を果たし、設定された分割領域ごとに、分割領域に含まれる画素の画素特徴に基づいて、分割領域の種別（領域種別）を分類する。
【００５９】
図２Ａ〜図２Ｅは、本発明の実施形態に係る分割領域種別分類部１０４が分類する分割領域の種別の一例を示す説明図であり、分割領域に含まれる画素の画素特徴の一例を示している。ここで、図２Ａ〜図２Ｅは、分割領域が４×４画素の矩形の領域である場合を示している（図２Ａに示す（Ａ）〜図２Ｅに示す（Ａ））。また、図２Ａはフラット領域、図２Ｂはグラデーション領域、図２Ｃはテクスチャ領域、図２Ｄはエッジ領域、図２Ｅはランダム領域をそれぞれ示している。また、図２Ａに示す（Ａ）〜図２Ｅに示す（Ａ）は、分割領域に含まれる画素の画素値を明度で表しており、図２Ａに示す（Ｂ）〜図２Ｅに示す（Ｂ）、および図２Ａに示す（Ｃ）〜図２Ｅに示す（Ｃ）は、図２Ａの（Ａ）〜図２Ｅの（Ａ）における方向１および方向２からみた画素値を一次元信号で表している。
【００６０】
図２Ａに示すように、フラット領域では、分割領域内における画素値がほぼ一定であるため、隣接画素差分値は極めて小さくなる。また、図２Ｂに示すように、グラデーション領域では、隣接する画素の差分値（以下、「隣接画素差分値」と示す。）が比較的小さく、また、一定の方向に傾斜しているため隣接画素差分値は方向性を有する。また、図２Ｃに示すように、テクスチャ領域では、グラデーション領域と同様に隣接画素差分値は比較的小さいが、グラデーション領域と異なり、隣接画素差分値は方向性は有さない。また、図２Ｄに示すように、エッジ領域では、隣接画素差分値が大きい画素が一定方向に連続しているため、隣接画素差分値は方向性を有する。また、図２Ｅに示すように、ランダム領域では、画素値のばらつきが大きいことから、隣接画素差分値もばらつきが大きくなり、隣接画素差分値は方向性を有さない。
【００６１】
分割領域種別分類部１０４は、設定された分割領域ごとに、分割領域に含まれる画素の画素特徴と、上記のような各領域の特徴とに基づいて、分割領域の種別を分類する。より具体的には、分割領域種別分類部１０４は、例えば、分割領域に含まれる画素の隣接画素差分値を、画素特徴を示す特徴値として用いることによって、分割領域の種別を分類する。
【００６２】
図３は、本発明の実施形態に係る分割領域種別分類部１０４における処理の一例を説明するための説明図である。ここで、図３に示すＡは、注目画素Ｐｃと、注目画素Ｐｃに対して隣接する８方向の画素Ｐ０〜Ｐ７とを示している。分割領域内の座標を（ｘ，ｙ）とおくと、図３のＡにおける０〜７の各方向に対応する隣接画素差分値ｄ０（ｘ，ｙ）〜ｄ７（ｘ，ｙ）は、例えば下記の数式１〜数式８で表される。
【００６３】
【数１】
・・・（数式１）
【００６４】
【数２】
・・・（数式２）
【００６５】
【数３】
・・・（数式３）
【００６６】
【数４】
・・・（数式４）
【００６７】
【数５】
・・・（数式５）
【００６８】
【数６】
・・・（数式６）
【００６９】
【数７】
・・・（数式７）
【００７０】
【数８】
・・・（数式８）
【００７１】
また、図３に示すＢは、中心にある４×４画素の分割領域内の画素に対して各方向の隣接画素差分値を算出したものを、中心にある分割領域と隣接する８方向の分割領域内の画素の画素値としたものを示している。ここで、図３のＢに示す隣接する分割領域において、値のない画素は、当該画素に対応する方向の画素が分割領域外にあるため、隣接画素差分値を算出しない画素である。
【００７２】
分割領域種別分類部１０４は、例えば、上記数式１〜数式８に示す演算を行うことによって隣接画素差分値を算出し、算出された隣接画素差分値を、画素特徴を示す特徴値とする。そして、分割領域種別分類部１０４は、算出された隣接画素差分値（画素特徴を示す特徴値）に基づいて、分割領域の種別を分類する。
【００７３】
なお、本発明の実施形態に係る分割領域種別分類部１０４における、特徴値の算出処理は、上記に限られない。例えば、分割領域種別分類部１０４は、算出された隣接画素差分値を予め定めた量子化幅によって量子化した値を、特徴値として算出してもよい。より具体的には、分割領域種別分類部１０４は、例えば、量子化幅をＱとすると、“ｄ／Ｑ”の値を算出し、算出された値を、画素特徴を示す特徴値とする。上記“ｄ／Ｑ”の値を画素特徴を示す特徴値とすることによって、例えば、微小な画素値変動に起因する隣接画素差分値のばらつきを抑制することができる。なお、本発明の実施形態に係る量子化の方法は、上記に限られず、一様量子化でもよいし、画素値に応じて量子化幅を変えるような量子化でもよい。例えば、本発明の実施形態に係る量子化の他の方法としては、人間は中低輝度の変化に敏感であるという視覚特性に基づいて、中低輝度の値の隣接画素差分値ｄを細かく量子化するなどの方法が挙げられる。
【００７４】
より具体的に、分割領域種別分類部１０４における処理について説明する。図４は、本発明の実施形態に係る分割領域種別分類部１０４における処理の一例を示す流れ図である。ここで、分割領域種別分類部１０４は、分割領域設定部１０２において設定された分割領域ごとに、図４に示す処理を行う。
【００７５】
分割領域種別分類部１０４は、処理対象の分割領域における隣接画素差分値ｄ（画素特徴を示す特徴値の一例）を算出する（Ｓ１００）。ここで、分割領域種別分類部１０４は、例えば上記数式１〜数式８に示す演算を行うことによって、図３のＡにおける０〜７の各方向に対応する隣接画素差分値ｄを算出する。なお、分割領域種別分類部１０４は、ステップＳ１００において、例えば、“ｄ／Ｑ”の値を、画素特徴を示す特徴値として算出してもよい。
【００７６】
ステップＳ１００において隣接画素差分値ｄが算出されると、分割領域種別分類部１０４は、隣接画素差分値ｄの絶対値和ＳＵＭ（｜ｄ｜）を算出する（Ｓ１０２）。分割領域種別分類部１０４は、例えば下記の数式９によって、絶対値和ＳＵＭ（｜ｄ｜）を算出する。ここで、数式９に示す“ｍ”は、方向を示し、また、数式９に示す“Ｘ”“Ｙ”は、分割領域のサイズによって定まる分割領域内の座標（ｘ，ｙ）の最大値を示す。
【００７７】
【数９】
・・・（数式９）
【００７８】
ステップＳ１０２において絶対値和ＳＵＭ（｜ｄ｜）が算出されると、分割領域種別分類部１０４は、絶対値和ＳＵＭ（｜ｄ｜）が閾値Ｔｈ１よりも小さいか否か（または、閾値Ｔｈ１以下であるか否か）を判定する（Ｓ１０４）。ここで、上記閾値Ｔｈ１は、例えば、予め設定された固定値であってもよいし、画像処理装置１００のユーザなどによって変更することが可能な可変値であってもよい。
【００７９】
ステップＳ１０４において絶対値和ＳＵＭ（｜ｄ｜）が閾値Ｔｈ１よりも小さいと判定された場合には、分割領域種別分類部１０４は、処理対象の分割領域を、“フラット領域”と判定する（Ｓ１０６）。そして、分割領域種別分類部１０４は、処理対象の分割領域に対する処理を終了する。
【００８０】
また、ステップＳ１０４において絶対値和ＳＵＭ（｜ｄ｜）が閾値Ｔｈ１よりも小さいと判定されない場合には、分割領域種別分類部１０４は、隣接画素差分値ｄの分散値和ＶＡＲ（ｄ）を算出する（Ｓ１０８）。分割領域種別分類部１０４は、例えば下記の数式１０によって、分散値和ＶＡＲ（ｄ）を算出する。ここで、数式１０に示す“Ａｖｅ（）”は、（）内の値の平均値を示す。
【００８１】
【数１０】
・・・（数式１０）
【００８２】
ステップＳ１０８において分散値和ＶＡＲ（ｄ）が算出されると、分割領域種別分類部１０４は、分散値和ＶＡＲ（ｄ）が閾値Ｔｈ２よりも小さいか否か（または、閾値Ｔｈ２以下であるか否か）を判定する（Ｓ１１０）。ここで、上記閾値Ｔｈ２は、例えば、予め設定された固定値であってもよいし、画像処理装置１００のユーザなどによって変更することが可能な可変値であってもよい。
【００８３】
ステップＳ１１０において分散値和ＶＡＲ（ｄ）が閾値Ｔｈ２よりも小さいと判定された場合には、分割領域種別分類部１０４は、分割領域内のグラデーションの方向性を示すＤＩＲＥＣＴ（ｄｇｒａｄ）を算出する（Ｓ１１２）。分割領域種別分類部１０４は、例えば、下記の数式１１によって、方向０〜７のうち隣接画素差分値ｄの和が最大となる方向における差分値の符号和を、ＤＩＲＥＣＴ（ｄｇｒａｄ）として算出する。ここで、数式１１に示す“ｄｍａｘ”は、隣接画素差分値ｄ０〜ｄ７のうち、和が最大となる方向の隣接画素差分値を示す。また、数式１０に示す“Ｓｉｇｎ（）”は、例えば下記の数式１２で表される。
【００８４】
【数１１】
・・・（数式１１）
【００８５】
【数１２】
・・・（数式１２）
【００８６】
ステップＳ１１２においてＤＩＲＥＣＴ（ｄｇｒａｄ）が算出されると、分割領域種別分類部１０４は、ＤＩＲＥＣＴ（ｄｇｒａｄ）が閾値Ｔｈ３よりも大きいか否か（または、閾値Ｔｈ３以上であるか否か）を判定する（Ｓ１１４）。ここで、上記閾値Ｔｈ３は、例えば、予め設定された固定値であってもよいし、画像処理装置１００のユーザなどによって変更することが可能な可変値であってもよい。
【００８７】
ステップＳ１１４においてＤＩＲＥＣＴ（ｄｇｒａｄ）が閾値Ｔｈ３よりも大きいと判定された場合には、分割領域種別分類部１０４は、処理対象の分割領域を、“グラデーション領域”と判定する（Ｓ１１６）。そして、分割領域種別分類部１０４は、処理対象の分割領域に対する処理を終了する。
【００８８】
また、ステップＳ１１４においてＤＩＲＥＣＴ（ｄｇｒａｄ）が閾値Ｔｈ３よりも大きいと判定されない場合には、分割領域種別分類部１０４は、処理対象の分割領域を、“テクスチャ領域”と判定する（Ｓ１１８）。そして、分割領域種別分類部１０４は、処理対象の分割領域に対する処理を終了する。
【００８９】
ステップＳ１１０において分散値和ＶＡＲ（ｄ）が閾値Ｔｈ２よりも小さいと判定されない場合には、分割領域種別分類部１０４は、分割領域内のエッジの方向性を示すＤＩＲＥＣＴ（ｄｅｄｇｅ）を算出する（Ｓ１２０）。分割領域種別分類部１０４は、例えば、下記の数式１３によって、方向０〜７のうちある一定以上の大きさを有する隣接画素差分値ｄの和が最大となる方向における差分値の符号和を、ＤＩＲＥＣＴ（ｄｅｄｇｅ）として算出する。ここで、数式１１に示す“ｄｈｍａｘ”は、例えば予め設定された閾値ＴＨ以上の大きさを有する値の和が最大となる方向を示す。また、数式１３に示す“ｈＳｉｇｎ（）”は、例えば下記の数式１４で表される。
【００９０】
【数１３】
・・・（数式１３）
【００９１】
【数１４】
・・・（数式１４）
【００９２】
ステップＳ１２０においてＤＩＲＥＣＴ（ｄｅｄｇｅ）が算出されると、分割領域種別分類部１０４は、ＤＩＲＥＣＴ（ｄｅｄｇｅ）が閾値Ｔｈ４よりも大きいか否か（または、閾値Ｔｈ４以上であるか否か）を判定する（Ｓ１２２）。ここで、上記閾値Ｔｈ４は、例えば、予め設定された固定値であってもよいし、画像処理装置１００のユーザなどによって変更することが可能な可変値であってもよい。
【００９３】
ステップＳ１２２においてＤＩＲＥＣＴ（ｄｅｄｇｅ）が閾値Ｔｈ４よりも大きいと判定された場合には、分割領域種別分類部１０４は、処理対象の分割領域を、“エッジ領域”と判定する（Ｓ１２４）。そして、分割領域種別分類部１０４は、処理対象の分割領域に対する処理を終了する。
【００９４】
また、ステップＳ１２２においてＤＩＲＥＣＴ（ｄｅｄｇｅ）が閾値Ｔｈ４よりも大きいと判定されない場合には、分割領域種別分類部１０４は、処理対象の分割領域を、“ランダム領域”と判定する（Ｓ１２６）。そして、分割領域種別分類部１０４は、処理対象の分割領域に対する処理を終了する。
【００９５】
分割領域種別分類部１０４は、例えば図４に示す処理を行うことによって、算出した隣接画素差分値（画素特徴を示す特徴値）に基づいて、処理対象の分割領域を、“フラット領域”、“グラデーション領域”、“テクスチャ領域”、“エッジ領域”、“ランダム領域”のいずれかに分類することができる。
【００９６】
なお、本発明の実施形態に係る分割領域種別分類部１０４における処理は、上記に限られない。例えば図４では、木構造の条件判定によって、分割領域の種別を分類しているが、分割領域種別分類部１０４は、上記数式９、上記数式１０、上記数式１１、上記数式１３に示す演算によって算出される値をまず算出し、算出後に分割領域の種別に係る判定を行ってもよい。また、例えば図４では、“フラット領域”であるか否かを初めに判定しているが、分割領域種別分類部１０４は、例えば、任意の順序で分割領域の種別の判定を行うことが可能である。
【００９７】
また、分割領域種別分類部１０４は、エッジ領域の判定方法として、例えば、ＳｏｂｅｌなどのＥｄｇｅ ｏｐｅｒａｔｏｒを用いたエッジ検出手法を用いてもよい。また、分割領域種別分類部１０４は、フラット領域の判定方法として、例えば、８方向全ての画素値の分散が、ある一定以下になるという条件を用いてもよい。
【００９８】
分割領域種別分類部１０４は、例えば、入力画像信号が示す画像において設定された全ての分割領域について、上記のように分割領域の種別を分類し、分類結果を示す領域種別情報を、ノイズ評価値算出部１０６へ伝達する。
【００９９】
なお、本発明の実施形態に係る画像処理装置１００における処理は、上記に限られない。例えば、画像処理装置１００は、入力画像信号が示す画像において設定された分割領域をラスタースキャン（Raster scan）順に走査し、分類（分割領域種別分類部１０４における処理）、評価（後述するノイズ評価値算出部１０６における処理）、検出（後述するノイズ検出部１０８における処理）の一連の処理を、１分割領域ずつ行ってもよい。また、分割領域種別分類部１０４は、例えば、分類した分割領域の種別を示す領域種別情報を、後段の処理において用いる範囲で保持する。
【０１００】
再度図１を参照して、本発明の実施形態に係る画像処理装置１００の構成の一例について説明する。ノイズ評価値算出部１０６は、本発明の実施形態に係る画像処理方法に係る上記ノイズ評価値算出処理を主導的に行う役目を果たし、分割領域ごとに、分割領域種別分類部１０４において分類された種別に基づいてノイズ評価値を算出する。より具体的には、ノイズ評価値算出部１０６は、例えば、ブロック境界（分割領域の境界）に対して、ノイズ評価値を算出する。
【０１０１】
図５は、本発明の実施形態に係るノイズ評価値算出部１０６における処理の一例を説明するための説明図である。ここで、図５に示すＡは、分割領域が設定された画像を示しており、図５に示すＢは、図５のＡに示す画像の一部の分割領域を示している。以下では、図５に示す分割領域Ａが評価対象（処理対象）の分割領域である場合を例に挙げて、ノイズ評価値算出部１０６における処理の一例について説明する。
【０１０２】
ノイズ評価値算出部１０６は、評価対象の分割領域Ａと、分割領域Ａと隣接する分割領域Ｂ、Ｃそれぞれとのブロック境界（ブロック境界Ａ−Ｂ、ブロック境界Ａ−Ｃ）におけるノイズ評価値を算出する。ここで、画像処理装置１００が、入力画像信号が示す画像において設定された分割領域をラスタースキャンしながらノイズ評価値を算出する構成である場合には、ノイズ評価値算出部１０６は、例えば、評価対象の分割領域を図５のＢにおける左から右、上から下に走査し、評価対象の分割領域の左または上に隣接する分割領域との境界におけるノイズ評価値を算出することによって、画像全体のノイズ評価値を算出する。
【０１０３】
以下、より具体的に、ノイズ評価値算出部１０６の構成について説明する。
【０１０４】
（１）ノイズ評価値算出部１０６の第１の構成例
図６は、本発明の実施形態に係るノイズ評価値算出部１０６の第１の構成例を示すブロック図である。ここで、図６に示す第１の構成例に係るノイズ評価値算出部１０６は、重み係数を用いたノイズ評価値算出方法によって、ノイズ評価値を算出する構成を示している。
【０１０５】
第１の構成例に係るノイズ評価値算出部１０６は、重み係数設定部１１０と、評価値算出部１１２とを備え、分割領域設定部１０２において設定された分割領域に対応する画像（以下、「分割領域画像」と示す。）と、分割領域種別分類部１０４において分類された領域種別（分割領域の種別）とに基づいて、分割領域ごとにノイズ評価値を算出する。そして、第１の構成例に係るノイズ評価値算出部１０６は、算出したノイズ評価値をノイズ検出部１０８へ伝達する。
【０１０６】
重み係数設定部１１０は、分割領域種別分類部１０４において分類された領域種別に基づいて重み係数を設定する。
【０１０７】
ここで、例えば人間の視覚特性には、例えば、画像構造の連続性が高ければ高いほどブロック境界に不連続が生じた場合にブロックノイズとして知覚しやすいという特性や、輝度の違いよりも色相・彩度の違い対して鈍感であるという特性、さらに、明るさに対する視感度が高輝度または低輝度よりも中低輝度付近で明るさの違いに敏感であるという特性がある。そこで、重み係数設定部１１０は、例えば、上記のような人間の視覚特性を考慮し、重み係数を、分類された領域種別と、人間の視覚特性とに基づいて設定する。
【０１０８】
より具体的には、重み係数設定部１１０は、例えば下記の数式１５の演算により重み係数ｗを算出することによって、重み係数ｗを設定する。ここで、数式１５に示す“wtype”は、領域種別（分割領域の種別）に関する重み係数、数式１５に示す“wcol”は、分割領域に対応する入力画像信号の色情報に関する重み係数、数式１５に示す“wlum”は、分割領域に対応する入力画像信号の輝度情報に関する重み係数をそれぞれ示す。
【０１０９】
【数１５】
・・・（数式１５）
【０１１０】
図７は、本発明の実施形態に係る重み係数設定部１１０における処理の一例を説明するための説明図である。図７に示すＡは、重み係数設定部１１０が、領域種別に関する重み係数を決定する場合に参照するテーブルの一例を示している。ここで、図７のＡに示すテーブルでは、分割領域内の隣接する画素の画素値の相関が高く、連続性が高い領域種別において値が大きくなるように“wtype”の値が設定されている。また、図７に示すＢは、重み係数設定部１１０が、色情報に関する重み係数を決定する場合に参照するテーブルの一例を示している。ここで、図７のＢに示すテーブルでは、画像を輝度と色差成分に分離して処理する場合に、色差の値よりも輝度の値が大きくなるように“wcol”の値が設定されている。また、図７に示すＣは、重み係数設定部１１０が、輝度情報に関する重み係数を決定する場合に参照するテーブルの一例を示している。ここで、図７のＣに示すテーブルでは、輝度値が８ｂｉｔ（０〜２５５）の値をとる場合に、中低輝度で値が大きくなるように“wlum”の値が設定されている。
【０１１１】
重み係数設定部１１０は、例えば、図７に示すテーブルを参照して“wtype”、“wcol”、“wlum”を決定し、上記数式１５によって、重み係数ｗを算出する。
【０１１２】
なお、重み係数設定部１１０における重み係数ｗの算出処理は、上記に限られない。例えば、上記では、図７に示すテーブルを用いて決定される“wtype”、“wcol”、“wlum”を用いて重み係数ｗを算出する例を示したが、重み係数設定部１１０は、上記視覚特性を考慮して重み係数を設定することが可能な任意の方法を用いて、重み係数ｗを算出することができる。また、重み係数設定部１１０は、例えば、“領域種別（分割領域の種別）に関する重み係数”と、“領域種別に関する重み係数、または、色情報に関する重み係数および輝度情報に関する重み係数”とに基づいて、重み係数ｗを算出してもよい。さらに、重み係数設定部１１０は、例えば、領域種別に関する重み係数を、重み係数ｗとすることも可能である。
【０１１３】
再度図６を参照して、第１の構成例に係るノイズ評価値算出部１０６の構成について説明する。評価値算出部１１２は、分割領域画像と、重み係数設定部１１０が設定した重み係数ｗとに基づいて、ノイズ評価値を算出する。より具体的には、評価値算出部１１２は、例えば、設定された重み係数ｗと、ブロック境界（分割領域の境界）における隣接する画素の画素値の差分を示す差分値とを乗算して、ノイズ評価値を算出する。
【０１１４】
図８は、本発明の実施形態に係る評価値算出部１１２における処理の一例を説明するための説明図である。ここで、図８は、図５に示す評価対象の分割領域Ａに含まれる画素と、分割領域Ａと隣接する分割領域Ｂに含まれる画素との一例を、１次元信号列で示している。
【０１１５】
評価値算出部１１２は、ブロック境界の段差Ｄを、ブロック境界を挟んで隣接する画素の画素値の差分を用いて、例えば“Ｄ＝Ｐ（３）−Ｐ（４）”のように算出する。そして、評価値算出部１１２は、ブロック境界の段差Ｄと重み係数ｗとに基づいて、例えば下記の数式１６に示す演算により、ノイズ評価値Ｅを算出する。
【０１１６】
【数１６】
・・・（数式１６）
【０１１７】
なお、本発明の実施形態に係る評価値算出部１１２における、ノイズ評価値Ｅの算出処理は、上記に限られない。例えば、評価値算出部１１２は、評価対象の分割領域（以下、「評価対象分割領域」と示す場合がある。）における重み係数だけでなく、当該評価対象の分割領域に隣接する分割領域（以下、「隣接分割領域」と示す場合がある。）における重み係数とを用いて、ノイズ評価値Ｅを算出することも可能である。
【０１１８】
より具体的には、評価値算出部１１２は、例えば下記の数式１７により、評価対象分割領域における重み係数と隣接分割領域における重み係数とを用いて、ノイズ評価値Ｅを算出する。ここで、数式１７に示す“ｗＡ”は、評価対象分割領域における重み係数を示し、数式１７に示す“ｗＢ”は、隣接分割領域における重み係数を示す。
【０１１９】
【数１７】
・・・（数式１７）
【０１２０】
また、評価値算出部１１２は、例えば、評価対象分割領域の領域種別と、隣接分割領域の領域種別との違いを考慮したノイズ評価値Ｅを算出することも可能である。図９は、本発明の実施形態に係る評価値算出部１１２における処理の他の例を説明するための説明図である。
【０１２１】
より具体的には、評価値算出部１１２は、例えば、図９に示すＡのように領域種別ごとに基準値ＰＴを設定し、また、図９に示すＢのように評価対象分割領域の基準値ＰＴＡと隣接分割領域の基準値ＰＴＢの差分絶対値|ＰＴＡ−ＰＴＢ|に対して重み係数ｗｐｔを設定する。そして、評価値算出部１１２は、例えば、上記数式１６または上記数式１７により算出されたＥに対して、設定した重み係数ｗｐｔをさらに乗算することによって、ノイズ評価値Ｅを算出する。
【０１２２】
さらに、評価値算出部１１２は、例えば、グラデーション領域およびエッジ領域については、同じ領域種別の分割領域が隣接している場合であっても、方向が大きく異なると画像を見るユーザがブロックノイズを知覚しやすいことに基づいて、評価対象分割領域と隣接分割領域とにおける方向の差異が大きければ重み係数を大きくし、また、当該方向の差異が小さければ重み係数を小さくするように設定することもできる。ここで、評価値算出部１１２は、例えば、図３のＡに示す８方向の場合、方向０に対して方向１や方向７のように隣り合う方向は、方向の差異が小さいと判定し、また、方向０に対して１８０度方向が異なる方向４は、方向の差異が大きいと判定する。
【０１２３】
評価値算出部１１２は、例えば上記のように、評価対象分割領域だけでなく隣接分割領域の領域種別や色情報、輝度値を考慮した重み係数を用いることによって、上述した従来のノイズ検出方法を用いる場合よりも、より人間の視覚特性に基づいた信頼性の高いノイズ評価値Ｅを得ることができる。
【０１２４】
（２）ノイズ評価値算出部１０６の第２の構成例
本発明の実施形態に係るノイズ評価値算出部１０６の構成は、図６に示す第１の構成例に係るノイズ評価値算出部１０６の構成に限られない。図１０は、本発明の実施形態に係るノイズ評価値算出部１０６の第２の構成例を示すブロック図である。ここで、図１０に示す第２の構成例に係るノイズ評価値算出部１０６は、評価方法の適応的な切替を用いたノイズ評価値算出方法によって、ノイズ評価値を算出する構成を示している。
【０１２５】
第２の構成例に係るノイズ評価値算出部１０６は、フラット領域評価値算出部１１４と、グラデーション領域評価値算出部１１６と、テクスチャ領域評価値算出部１１８と、エッジ領域評価値算出部１２０と、ランダム領域評価値算出部１２２と、スイッチＳＷとを備える。第２の構成例に係るノイズ評価値算出部１０６は、分割領域種別分類部１０４から伝達される領域種別（分割領域の種別）に基づいて、ノイズ評価値を算出する算出処理を切り替えることによって、当該領域種別に対応するノイズ評価値をノイズ検出部１０８へ伝達する。
【０１２６】
スイッチＳＷは、分割領域種別分類部１０４から伝達される領域種別情報に基づいて、領域種別情報が示す領域種別に対応するノイズ評価値の算出処理を行う評価値算出部に接続する。ここで、スイッチＳＷとしては、例えば、ＦＥＴ（Field Effect Transistor）で構成されたスイッチが挙げられるが、本発明の実施形態に係るスイッチは、上記に限られない。
【０１２７】
フラット領域評価値算出部１１４は、フラット領域に対するノイズ評価値を算出する。フラット領域評価値算出部１１４は、例えば下記の数式１８に示すように、評価対象分割領域と隣接分割領域とのブロック境界における隣接画素の差分値Ｄの絶対値を、ノイズ評価値Ｅとして算出する。
【０１２８】
【数１８】
・・・（数式１８）
【０１２９】
グラデーション領域評価値算出部１１６は、グラデーション領域に対するノイズ評価値を算出する。図１１は、本発明の実施形態に係るグラデーション領域評価値算出部１１６における処理の一例を説明するための説明図である。
【０１３０】
グラデーション領域評価値算出部１１６は、図１１の矢印で示されたグラデーション方向によってノイズ評価値Ｅの算出方法を変える。例えば、図１１に示すＢのように、ブロック境界がグラデーション方向に対して平行になる場合には、フラット領域と同様に、上記数式１８によってノイズ評価値Ｅを算出する。
【０１３１】
また、図１１に示すＡ、Ｃのように、ブロック境界がグラデーション方向に対して交わる場合には、グラデーション領域評価値算出部１１６は、図３のＢに示すの０〜７の８方向のうち、評価対象分割領域に対して隣接分割領域が位置する方向（例えば、図３のＢにおいて、隣接分割領域が評価対象分割領域の左に位置する場合は方向５）の隣接画素差分値の平均値ｄａｖｅを用いてノイズ評価値Ｅを算出する。より具体的には、グラデーション領域評価値算出部１１６は、例えば下記の数式１９によって、ノイズ評価値Ｅを算出する。
【０１３２】
【数１９】
・・・（数式１９）
【０１３３】
テクスチャ領域評価値算出部１１８は、テクスチャ領域に対するノイズ評価値を算出する。テクスチャ領域評価値算出部１１８は、例えば下記の数式２０に示すように、評価対象分割領域内の評価対象分割領域に対して隣接分割領域が位置する方向の隣接画素差分値の標準偏差ｄｓｉｇｍａを用いてノイズ評価値Ｅを算出する。
【０１３４】
【数２０】
・・・（数式２０）
【０１３５】
エッジ領域評価値算出部１２０は、エッジ領域に対するノイズ評価値を算出する。図１２、図１３は、本発明の実施形態に係るエッジ領域評価値算出部１２０における処理の一例を説明するための説明図である。
【０１３６】
エッジ領域評価値算出部１２０は、図１２の矢印で示されたエッジ方向によってノイズ評価値Ｅの算出方法を変える。例えば、図１２に示すＡのように、ブロック境界がエッジ方向に対して垂直になる場合には、フラット領域と同様に、上記数式１８によってノイズ評価値Ｅを算出する。
【０１３７】
また、図１２に示すＢ、Ｃの場合には、エッジ領域評価値算出部１２０は、エッジ方向に対して垂直な方向の隣接画素差分値Ｄｄｉｒｅｃｔの絶対値をノイズ評価値Ｅとする。より具体的には、エッジ領域評価値算出部１２０は、例えば下記の数式２１によって、ノイズ評価値Ｅを算出する。つまり、エッジ領域評価値算出部１２０は、図１３に示すＢの場合には、図１３のＡに示す方向で隣接画素差分値Ｄｄｉｒｅｃｔを下記の数式２１によって算出し、また、図１３に示すＣの場合には、図１３のＢに示す方向で隣接画素差分値Ｄｄｉｒｅｃｔを下記の数式２１によって算出する。
【０１３８】
【数２１】
・・・（数式２１）
【０１３９】
ランダム領域評価値算出部１２２は、ランダム領域に対するノイズ評価値を算出する。図１４は、本発明の実施形態に係るランダム領域評価値算出部１２２における処理の一例を説明するための説明図である。
【０１４０】
ランダム領域評価値算出部１２２は、例えば下記の数式２２に示すように、評価対象分割領域のブロック境界画素の平均値と、隣接分割領域のブロック境界画素の平均値との差分値Ｄａｖｅの絶対値を、ノイズ評価値Ｅとして算出する。ここで、例えば図１４に示すように、評価対象分割領域のブロック境界画素値ＰＡ（０）〜ＰＡ（３）と、隣接分割領域のブロック境界画素値ＰＢ（０）〜ＰＢ（３）を用いると、Ｄａｖｅの値は、例えば下記の数式２３で表される。
【０１４１】
【数２２】
・・・（数式２２）
【０１４２】
【数２３】
・・・（数式２３）
【０１４３】
第２の構成例に係るノイズ評価値算出部１０６は、例えば、スイッチＳＷにより接続された評価値算出部それぞれが上記のような処理を行うことによって、分割領域種別分類部１０４から伝達される領域種別（分割領域の種別）に基づいて、ノイズ評価値を算出する算出処理を切り替え、当該領域種別に対応するノイズ評価値を算出する。
【０１４４】
なお、本発明の実施形態に係る第２の構成例に係るノイズ評価値算出部１０６を構成する、各評価値算出部におけるノイズ評価値の算出処理は、上記に限られない。例えば、第２の構成例に係るノイズ評価値算出部１０６は、評価対象分割領域を基準として算出したノイズ評価値だけでなく、隣接分割領域を基準として算出したノイズ評価値を用いてノイズ評価値Ｅを算出することも可能である。
【０１４５】
より具体的には、例えば、図５に示すＢにおいて分割領域Ａを評価対象分割領域とした場合におけるブロック境界Ａ−Ｂのノイズ評価値をＥＡ、図５に示すＢにおいて分割領域Ｂを評価対象分割領域とした場合におけるブロック境界Ａ−Ｂのノイズ評価値をＥＢとおくと、第２の構成例に係るノイズ評価値算出部１０６は、例えば下記の数式２４によって、ノイズ評価値Ｅを算出することができる。ここで、数式２４に示す“Ｍａｘ（）”は、（）内の最大値を示す。
【０１４６】
【数２４】
・・・（数式２４）
【０１４７】
また、第２の構成例に係るノイズ評価値算出部１０６は、例えば、図６に示す第１の構成例に係るノイズ評価値算出部１０６と同様に、評価対象分割領域と隣接分割領域との領域種別の違いを考慮し、算出されたノイズ評価値Ｅに対してさらに重み係数ｗｐｔを乗算したものを、ノイズ評価値Ｅとしてもよい。
【０１４８】
さらに、第２の構成例に係るノイズ評価値算出部１０６は、例えば、図６に示す第１の構成例に係るノイズ評価値算出部１０６と同様に、グラデーション領域およびエッジ領域については、同じ領域種別の分割領域が隣接している場合であっても、方向が大きく異なると画像を見るユーザがブロックノイズを知覚しやすいことに基づいて、評価対象分割領域と隣接分割領域とにおける方向の差異が大きければ重み係数を大きくし、また、当該方向の差異が小さければ重み係数を小さくするように設定してもよい。第２の構成例に係るノイズ評価値算出部１０６は、例えば、算出されたノイズ評価値Ｅに対してさらに設定された重み係数を乗算することによって、ノイズ評価値Ｅを算出することができる。
【０１４９】
第２の構成例に係るノイズ評価値算出部１０６は、例えば上記のように、評価対象分割領域の領域種別によってノイズ評価値の算出方法を適応的に切り替えることによって、上述した従来のノイズ検出方法を用いる場合よりも、より人間の視覚特性に基づいた信頼性の高いノイズ評価値Ｅを得ることができる。また、第２の構成例に係るノイズ評価値算出部１０６は、さらに、隣接分割領域の領域種別を考慮することによって、上述した従来のノイズ検出方法を用いる場合よりも、より人間の視覚特性に基づいた信頼性の高いノイズ評価値Ｅを得ることができる。
【０１５０】
なお、本発明の実施形態に係るノイズ評価値算出部１０６における、評価方法の適応的な切替を用いたノイズ評価値算出方法によってノイズ評価値を算出する構成は、図１０に示す構成に限られない。例えば、図１０では、５つの分割領域の種別全てに対応する処理を適応的に切り替える構成を示したが、本発明の実施形態に係るノイズ評価値算出部１０６は、５つの分割領域の種別のうちの、少なくとも２つ以上の分割領域の種別に対応する処理を、適応的に切り替えてもよい。
【０１５１】
また、本発明の実施形態に係るノイズ評価値算出部１０６は、図６に示す第１の構成例に係る重み係数設定部１１０を、図１０に示す各評価値算出部の前段にさらに備える構成をとることも可能である。本発明の実施形態に係るノイズ評価値算出部１０６は、上記構成をとることによって、さらに第１の構成例に係る重み係数を用いて、評価対象分割領域の領域種別によってノイズ評価値の算出方法を適応的に切り替えることができる。
【０１５２】
再度図１を参照して、本発明の実施形態に係る画像処理装置１００の構成の一例について説明する。ノイズ検出部１０８は、本発明の実施形態に係る画像処理方法に係る上記ノイズ検出処理を主導的に行う役目を果たし、分割領域ごとに算出されるノイズ評価値に基づいて、ブロックノイズを検出する。
【０１５３】
また、ノイズ検出部１０８は、例えば、ブロックノイズの検出結果を示す信号（または、検出結果を示すデータ）を、通信部（図示せず）を介してノイズ低減処理を行う機能を有する外部装置に送信する。なお、本発明の実施形態に係る画像処理装置がノイズ低減処理を行うノイズ低減部（図示せず）を備える場合、すなわち、本発明の実施形態に係る画像処理装置がノイズ低減処理を行う機能を有する場合には、ノイズ検出部１０８は、例えば、ブロックノイズの検出結果を示す信号をノイズ低減部（図示せず）に伝達してもよい。
【０１５４】
図１５は、本発明の実施形態に係るノイズ検出部１０８の構成の一例を示すブロック図である。ノイズ検出部１０８は、例えば、ブロックノイズ判定部１２４と、評価値累積部１２６と、累積範囲制御部１２８とを備える。ノイズ検出部１０８は、例えば、分割領域種別設定部１０４から伝達される領域種別情報と、ノイズ評価値算出部１０６から伝達されるノイズ評価値とに基づいて、分割領域ごとにブロックノイズを検出する。
【０１５５】
ブロックノイズ判定部１２４は、伝達されるノイズ評価値が、ブロックノイズを示す値として適切な値であるか否かを判定する。より具体的には、ブロックノイズ判定部１２４は、例えば下記の条件１および条件２の２つの条件に基づいて、ノイズ評価値が、ブロックノイズを示す値として適切な値であるか否かを判定する。
【０１５６】
・条件１：ある一定以下のノイズ評価値では、ブロック境界の段差は視覚的に目立ちにくく、ブロックノイズとして視認されない可能性が高い。
・条件２：ある一定以上のノイズ評価値では、ブロック境界の段差は画像構造の一部である可能性が高い。
【０１５７】
ブロックノイズ判定部１２４は、上記条件１、上記条件２に基づき、例えば下記の数式２５によりブロックノイズの判定結果を示す値Ｅｎｏｉｓｅを算出する。ここで、数式２５に示す“ＥＬｏｗｅｒ”は、ノイズ評価値Ｅの閾値の下限値を示し、数式２５に示す“ＥＵｐｐｅｒ”は、ノイズ評価値Ｅの閾値の上限値（ただし、ＥＬｏｗｅｒ＜ＥＵｐｐｅｒ）を示している。
【０１５８】
【数２５】
・・・（数式２５）
【０１５９】
ここで、ブロックノイズ判定部１２４は、例えば、伝達される領域種別情報が示す領域種別に応じて、閾値の下限値ＥＬｏｗｅｒと閾値の上限値ＥＵｐｐｅｒとを適応的に変更する。閾値の下限値ＥＬｏｗｅｒと閾値の上限値ＥＵｐｐｅｒとを適応的に変更する方法としては、例えば、評価対象分割領域を中心とした所定の範囲内の周辺の分割領域の領域種別に基づいて、ブロックノイズの視認性が高いフラット領域やグラデーション領域などが連続して存在する場合に、閾値の下限値ＥＬｏｗｅｒを基準値よりも小さく設定し、また、ブロックノイズの視認性が低いランダム領域などが連続して存在する場合に、閾値の上限値ＥＵｐｐｅｒを基準値よりも高く設定する方法が挙げられる。
【０１６０】
なお、本発明の実施形態に係る閾値の下限値ＥＬｏｗｅｒと閾値の上限値ＥＵｐｐｅｒとを適応的に変更する方法は、上記に限られない。例えば、ブロックノイズ判定部１２４は、周辺のエッジ領域内のエッジの隣接画素差分値Ｄｅｄｇｅを画像を構成する主要なエッジの強度であるとし、閾値の上限値ＥＵｐｐｅｒを隣接画素差分値Ｄｅｄｇｅより小さく設定してもよい。閾値の上限値ＥＵｐｐｅｒを隣接画素差分値Ｄｅｄｇｅより小さく設定することによって、ブロックノイズ判定部１２４は、エッジをブロックノイズと判定する誤判定を抑制することが可能となる。
【０１６１】
また、閾値の下限値ＥＬｏｗｅｒと閾値の上限値ＥＵｐｐｅｒとは、領域種別に応じて適応的に変更されることに限られず、例えば、予め設定された固定値であってもよいし、画像処理装置１００のユーザなどによって変更することが可能な可変値であってもよい。
【０１６２】
ブロックノイズ判定部１２４が、例えば上記数式２５によりブロックノイズの判定結果を示す値Ｅｎｏｉｓｅを算出することによって、ノイズ検出部１０８は、ノイズ評価値が、所定の閾値により定められる範囲内に収まる場合に、ノイズ評価値に対応する分割領域にブロックノイズが存在すると判定することができる。
【０１６３】
評価値累積部１２６は、ブロックノイズ判定部１２４から伝達されるブロックノイズの判定結果を示す値Ｅｎｏｉｓｅを、後述する累積範囲制御部１２８により制御される範囲内で累積し、累積した結果を、ブロックノイズの検出結果とする。ここで、評価値累積部１２６が累積する、ブロックノイズの判定結果を示す値Ｅｎｏｉｓｅの累積値は、ブロックノイズ量に該当する。
【０１６４】
なお、評価値累積部１２６における処理は、上記に限られない。例えば、評価値累積部１２６は、累積値そのものではなく、累積値から画素単位の平均値を算出し、算出した平均値を、ブロックノイズの検出結果としてもよい。また、評価値累積部１２６は、例えば、ブロックノイズの判定結果を示す値Ｅｎｏｉｓｅに所定の範囲を設定して正規化した値を、ブロックノイズの検出結果とすることも可能である。
【０１６５】
累積範囲制御部１２８は、評価値累積部１２６におけるブロックノイズの判定結果を示す値Ｅｎｏｉｓｅを累積する範囲を制御する。図１６は、本発明の実施形態に係る累積範囲制御部１２８における処理の一例を説明するための説明図である。
【０１６６】
例えば図１６のＡに示すように、累積範囲制御部１２８が累積範囲を画素単位とした場合には、評価値累積部１２６は、図１６のＡに示す網掛け部分に対応するブロックノイズの判定結果を示す値Ｅｎｏｉｓｅの累積値を、ブロックノイズの検出結果とする。また、例えば図１６のＢに示すように、累積範囲制御部１２８が累積範囲を分割領域単位とした場合には、評価値累積部１２６は、図１６のＢに示す網掛け部分に対応するブロックノイズの判定結果を示す値Ｅｎｏｉｓｅの累積値を、ブロックノイズの検出結果とする。そして、例えば図１６のＣに示すように、累積範囲制御部１２８が累積範囲を複数の分割領域を含む領域単位とした場合には、評価値累積部１２６は、図１６のＣに示す網掛け部分に対応するブロックノイズの判定結果を示す値Ｅｎｏｉｓｅの累積値を、ブロックノイズの検出結果とする。
【０１６７】
なお、本発明の実施形態に係る累積範囲制御部１２８における累積する範囲の制御は、上記に限られない。例えば、累積範囲制御部１２８は、画像全体を累積する範囲としてもよい。
【０１６８】
上記のように累積範囲制御部１２８において、評価値累積部１２６におけるブロックノイズの判定結果を示す値Ｅｎｏｉｓｅを累積する範囲を制御することによって、ノイズ検出部１０８は、所望の単位でブロックノイズ量を算出し、ブロックノイズを検出することができる。
【０１６９】
本発明の実施形態に係る画像処理装置１００は、例えば図１に示す構成によって、本発明の実施形態に係る画像処理方法に係る処理（例えば、上記分割領域種別分類処理、上記ノイズ評価値算出処理、および上記ノイズ検出処理）を実現する。画像処理装置１００は、例えば図１に示す構成によって、従来のブロック境界の段差の大きさのみを考慮する方式に比べて、画像構造の連続性を考慮したブロックノイズ評価値を算出することが可能となるので、ブロックノイズの検出精度を向上させることができる。また、画像処理装置１００は、例えば図１に示す構成によって、人間が見てブロックノイズとして知覚しやすいか否かを考慮したブロックノイズの検出が可能となる。
【０１７０】
したがって、画像処理装置１００は、処理対象の画像信号に基づいて、ブロックノイズを検出することができる。
【０１７１】
なお、本発明の実施形態に係る画像処理装置の構成は、図１に示す構成に限られない。例えば、図１では分割領域設定部１０２を備える構成を示しているが、本発明の実施形態に係る画像処理装置は、分割領域設定部１０２を備えず、分割領域種別分類部１０４が分割領域設定部１０２の機能をさらに有していてもよい。
【０１７２】
以上、本発明の実施形態として画像処理装置を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、デジタルカメラなどの撮像装置や、ＰＣやサーバなどのコンピュータ、テレビ受像機などの表示装置、携帯電話やスマートフォンなどの通信装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機など、画像信号の処理が可能な様々な機器に適用することができる。また、本発明の実施形態は、例えば、上記のような機器に組み込むことが可能な、画像処理ＩＣ（Integrated Circuit）に適用することもできる。
【０１７３】
（本発明の実施形態に係るプログラム）
コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（例えば、上記分割領域種別分類処理、上記ノイズ評価値算出処理、および上記ノイズ検出処理など、本発明の実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム）によって、処理対象の画像信号に基づいて、ブロックノイズを検出することができる。
【０１７４】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１７５】
例えば、上記では、コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムをそれぞれ記憶させた記録媒体も併せて提供することができる。
【符号の説明】
【０１７６】
１００ 画像処理装置
１０２ 分割領域設定部
１０４ 分割領域種別分類部
１０６ ノイズ評価値算出部
１０８ ノイズ検出部
１１０ 重み係数設定部
１１２ 評価値算出部
１１４ フラット領域評価値算出部
１１６ グラデーション領域評価値算出部
１１８ テクスチャ領域評価値算出部
１２０ エッジ領域評価値算出部
１２２ ランダム領域評価値算出部
１２４ ブロックノイズ判定部
１２６ 評価値累積部
１２８ 累積範囲制御部
【特許請求の範囲】
【請求項１】
入力画像信号が示す画像が分割された分割領域ごとに、前記分割領域に含まれる画素の画素特徴に基づいて、分割領域の種別を分類する分割領域種別分類部と、
前記分割領域ごとに、分類された種別に基づいて、分割領域の境界における不連続性を示すノイズ評価値を算出するノイズ評価値算出部と、
前記分割領域ごとに算出される前記ノイズ評価値に基づいて、ブロックノイズを検出するノイズ検出部と、
を備えることを特徴とする、画像処理装置。
【請求項２】
前記ノイズ評価値算出部は、
分類された種別に基づいて重み係数を設定する重み係数設定部と、
設定された重み係数と、前記分割領域の境界における隣接する画素の画素値の差分を示す差分値とを乗算して、前記ノイズ評価値を算出する評価値算出部と、
を備えることを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記重み係数設定部は、さらに、前記分割領域に対応する前記入力画像信号の色情報、および／または、前記分割領域に対応する前記入力画像信号の輝度情報に基づいて、前記重み係数を設定する、請求項２に記載の画像処理装置。
【請求項４】
前記重み係数設定部は、処理対象の分割領域における種別と、前記処理対象の分割領域の境界に隣接する２つの分割領域における種別とに基づいて、前記重み係数を設定することを特徴とする、請求項２、または３に記載の画像処理装置。
【請求項５】
前記ノイズ評価値算出部は、分類された種別に基づいて、前記ノイズ評価値を算出する算出処理を切り替えることを特徴とする、請求項１に記載の画像処理装置。
【請求項６】
前記ノイズ検出部は、前記ノイズ評価値が、所定の閾値により定められる範囲内に収まる場合に、前記ノイズ評価値に対応する分割領域にブロックノイズが存在すると判定することを特徴とする、請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
入力画像信号が示す画像が分割された分割領域ごとに、前記分割領域に含まれる画素の画素特徴に基づいて、分割領域の種別を分類するステップと、
前記分割領域ごとに、分類された種別に基づいて、分割領域の境界における不連続性を示すノイズ評価値を算出するステップと、
前記分割領域ごとに算出される前記ノイズ評価値に基づいて、ブロックノイズを検出するステップと、
を有することを特徴とする、画像処理方法。
【請求項８】
入力画像信号が示す画像が分割された分割領域ごとに、前記分割領域に含まれる画素の画素特徴に基づいて、分割領域の種別を分類するステップ、
前記分割領域ごとに、分類された種別に基づいて、分割領域の境界における不連続性を示すノイズ評価値を算出するステップ、
前記分割領域ごとに算出される前記ノイズ評価値に基づいて、ブロックノイズを検出するステップ、
をコンピュータに実行させるためのプログラム。
【請求項１】
入力画像信号が示す画像が分割された分割領域ごとに、前記分割領域に含まれる画素の画素特徴に基づいて、分割領域の種別を分類する分割領域種別分類部と、
前記分割領域ごとに、分類された種別に基づいて、分割領域の境界における不連続性を示すノイズ評価値を算出するノイズ評価値算出部と、
前記分割領域ごとに算出される前記ノイズ評価値に基づいて、ブロックノイズを検出するノイズ検出部と、
を備えることを特徴とする、画像処理装置。
【請求項２】
前記ノイズ評価値算出部は、
分類された種別に基づいて重み係数を設定する重み係数設定部と、
設定された重み係数と、前記分割領域の境界における隣接する画素の画素値の差分を示す差分値とを乗算して、前記ノイズ評価値を算出する評価値算出部と、
を備えることを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記重み係数設定部は、さらに、前記分割領域に対応する前記入力画像信号の色情報、および／または、前記分割領域に対応する前記入力画像信号の輝度情報に基づいて、前記重み係数を設定する、請求項２に記載の画像処理装置。
【請求項４】
前記重み係数設定部は、処理対象の分割領域における種別と、前記処理対象の分割領域の境界に隣接する２つの分割領域における種別とに基づいて、前記重み係数を設定することを特徴とする、請求項２、または３に記載の画像処理装置。
【請求項５】
前記ノイズ評価値算出部は、分類された種別に基づいて、前記ノイズ評価値を算出する算出処理を切り替えることを特徴とする、請求項１に記載の画像処理装置。
【請求項６】
前記ノイズ検出部は、前記ノイズ評価値が、所定の閾値により定められる範囲内に収まる場合に、前記ノイズ評価値に対応する分割領域にブロックノイズが存在すると判定することを特徴とする、請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
入力画像信号が示す画像が分割された分割領域ごとに、前記分割領域に含まれる画素の画素特徴に基づいて、分割領域の種別を分類するステップと、
前記分割領域ごとに、分類された種別に基づいて、分割領域の境界における不連続性を示すノイズ評価値を算出するステップと、
前記分割領域ごとに算出される前記ノイズ評価値に基づいて、ブロックノイズを検出するステップと、
を有することを特徴とする、画像処理方法。
【請求項８】
入力画像信号が示す画像が分割された分割領域ごとに、前記分割領域に含まれる画素の画素特徴に基づいて、分割領域の種別を分類するステップ、
前記分割領域ごとに、分類された種別に基づいて、分割領域の境界における不連続性を示すノイズ評価値を算出するステップ、
前記分割領域ごとに算出される前記ノイズ評価値に基づいて、ブロックノイズを検出するステップ、
をコンピュータに実行させるためのプログラム。
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図２Ｄ】
【図２Ｅ】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図２Ｄ】
【図２Ｅ】
【公開番号】特開２０１３−１１０５２８（Ｐ２０１３−１１０５２８Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５３１９７（Ｐ２０１１−２５３１９７）
【出願日】平成２３年１１月１８日（２０１１．１１．１８）
【出願人】（５９８０４５０５８）株式会社サムスン横浜研究所 (294)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月１８日（２０１１．１１．１８）
【出願人】（５９８０４５０５８）株式会社サムスン横浜研究所 (294)
【Ｆターム（参考）】
[ Back to top ]