画像処理装置、画像処理方法、およびプログラム
【課題】処理対象の画像信号に基づいて、エッジ部分に生ずる符号化ノイズを検出することが可能な、画像処理装置、画像処理方法、およびプログラムを提供する。
【解決手段】入力画像信号が示す符号化により非可逆圧縮された画像が分割された分割領域ごとに、分割領域が示す画像がステップエッジまたはラインエッジを含むか否かを判定するエッジ判定部と、ステップエッジまたはラインエッジを含むと判定された分割領域ごとに、エッジ画像を推定するエッジ画像推定部と、推定されたエッジ画像と、エッジ成分に対応する基本画像とノイズ成分とが対応付けて記憶される参照情報とに基づいて、エッジ画像に対応するノイズ成分を特定するノイズ成分特定部と、特定されたエッジ画像に対応するノイズ成分を合成して、ノイズ画像を生成するノイズ画像生成部と、を備える画像処理装置が提供される。
【解決手段】入力画像信号が示す符号化により非可逆圧縮された画像が分割された分割領域ごとに、分割領域が示す画像がステップエッジまたはラインエッジを含むか否かを判定するエッジ判定部と、ステップエッジまたはラインエッジを含むと判定された分割領域ごとに、エッジ画像を推定するエッジ画像推定部と、推定されたエッジ画像と、エッジ成分に対応する基本画像とノイズ成分とが対応付けて記憶される参照情報とに基づいて、エッジ画像に対応するノイズ成分を特定するノイズ成分特定部と、特定されたエッジ画像に対応するノイズ成分を合成して、ノイズ画像を生成するノイズ画像生成部と、を備える画像処理装置が提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、例えばＶＯＤ（Video On Demand）などのように、インターネット（Internet）を介して動画像を配信するサービスの普及が進んでおり、また、ＵＧＣ（User Generated Contents）をテレビ受像機やＰＣ（Personal Computer）などを用いてユーザが視聴できる環境も整いつつある。また、例えば日本では、テレビジョン放送がデジタル化している。例えば上記のような、画像配信サービスや、デジタルテレビジョン放送において、高解像度のデジタル画像の配信や放送を可能とした技術の一つとして、画像圧縮技術がある。画像圧縮技術の規格としては、例えば、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８）や、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣが挙げられる。
【０００３】
例えば、ＭＰＥＧ−２や、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣでは、所定の符号化方式にて画像が非可逆に圧縮される。そのため、例えば上記のような符号化方式が用いられる場合には、画像のデータ量の削減には有利であるが、その反面、例えばモスキートノイズなどの符号化に起因するノイズ（歪み）が、画像をみるユーザに認識されてしまうことが起こりうる。
【０００４】
このような中、符号化に起因するノイズの低減を図る技術が開発されている。符号化に起因するノイズの低減を図る技術としては、例えば、特許文献１に記載の技術や、特許文献２に記載の技術、特許文献３に記載の技術、非特許文献１に記載の技術が挙げられる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平６−２４５０６９号公報
【特許文献２】特開２００３−９１７２４号公報
【特許文献３】特開２００７−１８３７９号公報
【非特許文献】
【０００６】
【非特許文献１】HARASHIMA H., ODAJIMA K., SHISHIKUI Y., and MIYAKAWA, H.,” Epsilon-separating nonlinear digital filter and its applications”, Electronics and Communications in Japan, (ISSN0424-8368). Vol. 65, pp. 11-19. Apr. 1982.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
例えば非特許文献１に記載の技術では、エッジを含む領域（例えばＭＰＥＧ−２では８×８画素単位のブロック）を検出し、当該領域内部でエッジ保存平滑化をかけることにより符号化ノイズを低減する。よって、例えば非特許文献１に記載の技術を用いる場合には、例えばモスキートノイズなどのようにエッジ部分に顕著に発生するノイズをある程度低減することができる可能性はある。
【０００８】
しかしながら、例えば非特許文献１に記載の技術を用いる場合には、本来画像に含まれているテクスチャと符号化ノイズ成分の両方からノイズ量を推定してしまう可能性がある。よって、例えば非特許文献１に記載の技術を用いる場合には、ノイズの平滑化時に本来の画像テクスチャも平滑化してしまう恐れがある。
【０００９】
また、例えば特許文献１に記載の技術は、画像においてモアレ（複数の周期パターンを重ね合わせたときに発生する干渉縞）が顕著に見えている領域からモアレパターンを抽出し、モアレを低減する。ここで、符号化ノイズは局所ブロック内のテクスチャに依存したＤＣＴ（Discrete Cosine Transform。離散コサイン変換）基底パターンとして出現するため、処理対象の画像には、テクスチャに応じた様々なノイズパターンが出現しうる。よって、例えば特許文献１に記載の技術を用いたとしても、処理対象の画像信号からノイズを検出できるとは限られず、また、例えば特許文献１に記載の技術のように、予め検出した代表的なモアレパターンに対応する信号を処理対象の画像信号から減算したとしても、処理対象の画像信号に含まれうるノイズを低減できるとは限られない。
【００１０】
また、例えば特許文献２に記載の技術では、処理対象の画像をビット画像に分解し（ビットプレーン分解）、下位のビット画像では、（ａ）粒状ノイズに対応するビット位置が不規則に変化する、（ｂ）粒状ノイズに対応するバイナリビットデータが少なくなる、という性質を利用して、画像中の粒状ノイズを検出する。しかしながら、符号化ノイズは、局所ブロック内のテクスチャに依存したＤＣＴ基底パターンとして出現するため、粒状に現れるわけではない。よって、例えば特許文献２に記載の技術を用いたとしても、符号化ノイズを検出することはできない。
【００１１】
また、例えば特許文献３に記載の技術では、処理対象の画像をＷａｖｅｌｅｔ変換などの多重解像度解析によって帯域分解し、帯域信号ごとにエッジ強調やノイズ低減処理を施す。そして、例えば特許文献３に記載の技術では、これらの処理の結果を再構成し、処理対象の画像を示す画像信号に加減算することによって、エッジ強調と、ノイズ低減とを図る。ここで、例えば特許文献３に記載の技術は、多重解像度解析を用いたエッジ強調・ノイズ低減に係る技術であり、例えば特許文献３に記載の技術では、一般的なローパス・フィルターを用いてノイズの低減を図っている。よって、例えば、ＭＰＥＧ圧縮画像において、画像テクスチャとＤＣＴ基底パターンノイズの周波数特性が近い場合には、例えば特許文献３に記載の技術を用いたとしても、符号化ノイズの検出・低減が困難となる可能性がある。
【００１２】
上記のように、例えば、非特許文献１に記載の技術や、特許文献１に記載の技術、特許文献２に記載の技術、特許文献３に記載の技術を用いたとしても、画像信号が示す画像において発生しうる、エッジ部分に生ずる符号化ノイズを検出することができるとは限らない。
【００１３】
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、処理対象の画像信号に基づいて、エッジ部分に生ずる符号化ノイズを検出することが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、本発明の第１の観点によれば、入力画像信号が示す符号化により非可逆圧縮された画像が分割された分割領域ごとに、分割領域が示す画像がステップエッジまたはラインエッジを含むか否かを判定するエッジ判定部と、ステップエッジまたはラインエッジを含むと判定された分割領域ごとに、エッジ画像を推定するエッジ画像推定部と、推定された上記エッジ画像と、エッジ成分に対応する基本画像とノイズ成分とが対応付けて記憶される参照情報とに基づいて、上記エッジ画像に対応するノイズ成分を特定するノイズ成分特定部と、特定された上記エッジ画像に対応するノイズ成分を合成して、ノイズ画像を生成するノイズ画像生成部と、を備える画像処理装置が提供される。
【００１５】
かかる構成によって、処理対象の画像信号に基づいて、エッジ部分に生ずる符号化ノイズを検出することができる。
【００１６】
また、上記基本画像を示す信号と、上記基本画像が符号化により非可逆圧縮された画像を示す信号とに基づいて、ノイズ成分を生成し、上記参照情報を生成する参照情報生成部をさらに備えていてもよい。
【００１７】
また、上記参照情報は、ルックアップテーブルであってもよい。
【００１８】
また、上記入力画像信号から上記ノイズ画像を示す信号を減算して、上記入力画像信号のノイズを低減するノイズ低減部をさらに備えていてもよい。
【００１９】
また、上記目的を達成するために、本発明の第２の観点によれば、入力画像信号が示す符号化により非可逆圧縮された画像が分割された分割領域ごとに、分割領域が示す画像がステップエッジまたはラインエッジを含むか否かを判定するステップと、ステップエッジまたはラインエッジを含むと判定された分割領域ごとに、エッジ画像を推定するステップと、推定された上記エッジ画像と、エッジ成分に対応する基本画像とノイズ成分とが対応付けて記憶される参照情報とに基づいて、上記エッジ画像に対応するノイズ成分を特定するステップと、特定された上記エッジ画像に対応するノイズ成分を合成して、ノイズ画像を生成するステップと、を有する画像処理方法が提供される。
【００２０】
かかる方法を用いることによって、処理対象の画像信号に基づいて、エッジ部分に生ずる符号化ノイズを検出することができる。
【００２１】
また、上記目的を達成するために、本発明の第３の観点によれば、入力画像信号が示す符号化により非可逆圧縮された画像が分割された分割領域ごとに、分割領域が示す画像がステップエッジまたはラインエッジを含むか否かを判定するステップ、ステップエッジまたはラインエッジを含むと判定された分割領域ごとに、エッジ画像を推定するステップ、推定された上記エッジ画像と、エッジ成分に対応する基本画像とノイズ成分とが対応付けて記憶される参照情報とに基づいて、上記エッジ画像に対応するノイズ成分を特定するステップ、特定された上記エッジ画像に対応するノイズ成分を合成して、ノイズ画像を生成するステップ、をコンピュータに実行させるためのプログラムが提供される。
【００２２】
かかるプログラムを用いることによって、処理対象の画像信号に基づいて、エッジ部分に生ずる符号化ノイズを検出することができる。
【発明の効果】
【００２３】
本発明によれば、処理対象の画像信号に基づいて、エッジ部分に生ずる符号化ノイズを検出することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の第１の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図２】画像圧縮過程の概念を示す説明図である。
【図３】本発明の実施形態に係るエッジ画像推定部における処理の一例を説明するための説明図である。
【図４】本発明の実施形態に係るルックアップテーブルの一例を示す説明図である。
【図５】本発明の実施形態に係るノイズ画像生成部における処理の概要を説明するための説明図である。
【図６】本発明の実施形態に係るノイズ画像生成部における処理の概要を説明するための説明図である。
【図７】本発明の実施形態に係る画像処理方法に係る処理の一例を示す流れ図である。
【図８】本発明の第２の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図９】本発明の実施形態に係る参照情報生成部の構成の一例を示すブロック図である。
【図１０】本発明の実施形態に係る参照情報生成部における処理の概要を示す説明図である。
【発明を実施するための形態】
【００２５】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２６】
（本発明の実施形態に係る画像処理方法）
本発明の実施形態に係る画像処理装置の構成について説明する前に、本発明の実施形態に係る画像処理方法について説明する。また、以下では、本発明の実施形態に係る画像処理装置が、処理対象の画像信号（以下、「入力画像信号」と示す場合がある。）に対して、本発明の実施形態に係る画像処理方法に係る処理を行うものとして説明する。
【００２７】
ここで、本発明の実施形態に係る入力画像信号としては、例えば非可逆の符号化方式により符号化された動画像（または、複数の静止画像）、または静止画像を示す画像信号（例えば、符号化処理過程にＤＣＴを含むコーデックによって圧縮された画像を示す画像信号）が挙げられる。以下では、本発明の実施形態に係る画像処理装置が、フレーム画像（静止画像）からなる動画像を示す画像信号を処理するものとして説明する。ここで、本発明の実施形態に係るフレーム画像とは、例えば、動画像の１フレーム（動画像がインタレース画像の場合には、１フィールドに対応する。）に対応する画像である。以下では、本発明の実施形態に係る画像処理装置が、時間順に１フレームずつ入力される画像信号を処理する場合を例に挙げて説明する。
【００２８】
また、本発明の実施形態に係る画像処理装置は、例えば、本発明の実施形態に係る画像処理装置がテレビ塔などから送信された放送波を（直接的、またはセットトップボックスなどを介して間接的に）受信してデコードした結果得られる画像信号を、入力画像信号として処理する。なお、本発明の実施形態に係る画像処理装置が処理する入力画像信号は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置は、ネットワークを介して（または直接的に）外部装置から送信された入力画像信号を処理することも可能である。また、本発明の実施形態に係る画像処理装置は、例えば、記憶部（後述する）や、本発明の実施形態に係る画像処理装置から着脱可能な外部記録媒体に記憶された画像データをデコードすることにより得られた画像信号を処理してもよい。さらに、本発明の実施形態に係る画像処理装置が、例えば、画像（動画像／静止画像）を撮像することが可能な撮像部（後述する）を備えている場合、すなわち、本発明の実施形態に係る画像処理装置が撮像装置として機能する場合には、本発明の実施形態に係る画像処理装置は、例えば、当該撮像部（後述する）により撮像された画像に対応する画像信号を処理してもよい。
【００２９】
符号化により非可逆圧縮された画像を示す画像信号（入力画像信号）を処理する再生側の装置では、一般的に、圧縮前の原画像が未知であることが多い。そこで、本発明の実施形態に係る画像処理装置は、符号化ノイズの発生要因として、下記に示す（Ｉ）、（ＩＩ）の２つの条件を前提条件として、入力画像信号を処理することによって、エッジ部分に生ずる符号化ノイズを検出する。
【００３０】
（Ｉ）エッジ強度の大きな画素（コントラストの大きな画素）がより大きな符号化ノイズを発生させる。
（ＩＩ）画像のテクスチャ部分における輝度の振幅は、エッジ部分における輝度振幅より小さいと仮定し、画像のテクスチャ部分から発生する符号化ノイズは小さい、または、無いとする。
【００３１】
より具体的には、本発明の実施形態に係る画像処理装置は、画像を圧縮する際に生じる符号化ノイズが、主にコントラストの大きいエッジやライン（ラインエッジ）、あるいはインパルスからの寄与が大きいと仮定し、入力画像信号に基づいて、分割領域ごとにこれらの画像特徴を検出する（エッジ判定処理）。
【００３２】
ここで、本発明の実施形態に係る分割領域としては、例えば、８×８画素の矩形の領域や１６×１６画素の矩形の領域など、予め規定された大きさの領域が挙げられる。上記予め規定された大きさの領域は、例えば、本発明の実施形態に係る画像処理装置の用途（例えば、テレビジョン放送の再生や、Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標）の再生など）に応じて、設定される。なお、本発明の実施形態に係る分割領域は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置は、入力画像信号をデコードしたデコーダから、ブロック境界の情報（または、コーデックの情報）を取得する場合には、当該ブロック境界の情報が示すブロック境界に対応する領域を、分割領域としてもよい。また、本発明の実施形態に係る画像処理装置は、ビットストリームに基づいて分割領域を設定することも可能である。
【００３３】
また、本発明の実施形態に係る画像処理装置は、上記画像特徴が検出された分割領域ごとに、検出された上記画像特徴から導出されるノイズ成分を特定する。より具体的には、本発明の実施形態に係る画像処理装置は、上記画像特徴が検出された分割領域ごとに、検出された上記画像特徴からエッジ画像を推定する（エッジ画像推定処理）。また、本発明の実施形態に係る画像処理装置は、推定されたエッジ画像と、参照情報とに基づいて、当該エッジ画像に対応するノイズ成分を特定する（ノイズ成分特定処理）。
【００３４】
ここで、本発明の実施形態に係る参照情報とは、エッジ成分に対応する基本画像とノイズ成分とが対応付けて記憶されるデータである。本発明の実施形態に係る参照情報としては、例えば、ルックアップテーブル（Lookup table。以下では、「ＬＵＴ」と示す場合がある。）が挙げられる。なお、本発明の実施形態に係る参照情報は、基本画像とノイズ成分とを対応づけることが可能であれば、任意の形式のデータであってもよい。
【００３５】
そして、本発明の実施形態に係る画像処理装置は、特定されたノイズ成分を重ね合わせてノイズ画像を生成する（ノイズ画像生成処理）。ここで、ＤＣＴの線形性により、入力画像信号に基づくエッジ画像に対応するノイズ画像は、基本画像に対応するノイズ成分を合成したものと等しくなる。
【００３６】
本発明の実施形態に係る画像処理装置は、上記のように、入力画像信号に基づきエッジ画像を推定し、推定されたエッジ画像に基づきノイズ成分を特定することによって、入力画像信号に含まれうるノイズを検出する。
【００３７】
ここで、エッジ画像の推定結果は、ノイズ量の推定精度に影響するが、本発明の実施形態に係る画像処理装置は、分割領域ごとにステップエッジまたはラインエッジを検出することによって、エッジ画像を推定するので、エッジ画像をより高精度に推定することが可能である。よって、本発明の実施形態に係る画像処理装置は、入力画像信号に基づいて、エッジ部分に生ずる符号化ノイズをより高精度に検出することができる。
【００３８】
したがって、本発明の実施形態に係る画像処理装置は、処理対象の画像信号に基づいて、エッジ部分に生ずる符号化ノイズを検出することができる。
【００３９】
また、入力画像信号（非可逆圧縮された画像を示す画像信号）から、本発明の実施形態に係る画像処理装置が生成したノイズ画像を示す信号を減算すれば、入力画像信号に含まれうるノイズが低減される。ここで、上記ノイズを低減する処理（以下、「ノイズ低減処理」という。）は、原画像を推定する処理に相当する。
【００４０】
また、上記ノイズ低減処理では、平滑化処理を行わずにノイズが低減されるので、例えば画像のディティールが損われるなどのような、ノイズを低減する処理に伴う副作用が回避される。
【００４１】
以下、本発明の実施形態に係る画像処理装置の構成の一例について説明をすると共に、本発明の実施形態に係る画像処理方法に係る処理の具体例についても併せて説明する。
【００４２】
また、以下では、入力画像信号が、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８）により符号化される画像信号、すなわち、８×８画素のブロックにて符号化される画像信号である場合を例に挙げて、本発明の実施形態に係る画像処理装置の構成の一例、および本発明の実施形態に係る画像処理方法に係る処理の具体例について説明する。なお、本発明の実施形態に係る入力画像信号が、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８）により符号化される画像信号に限られないことは、言うまでもない。
【００４３】
また、以下では、本発明の実施形態に係る画像処理装置が、入力画像信号（非可逆圧縮された画像を示す画像信号）から生成したノイズ画像を示す信号を減算する、ノイズ低減処理を行う機能を有する場合を例に挙げて説明する。なお、本発明の実施形態に係る画像処理装置の構成は、ノイズ低減処理を行う機能を有する構成に限られない。例えば、本発明の実施形態に係る画像処理装置は、ノイズ低減処理を行う機能を有さずに、生成したノイズ画像を示す信号（ノイズの検出結果を示す信号）、または、生成したノイズ画像を示す信号と入力画像信号を、ノイズ低減処理を行う機能を有する外部装置に送信してもよい。
【００４４】
（本発明の第１の実施形態に係る画像処理装置）
図１は、本発明の第１の実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。画像処理装置１００は、例えば、分割領域設定部１０２と、エッジ判定部１０４と、エッジ画像推定部１０６と、ノイズ成分特定部１０８と、ノイズ画像生成部１１０と、ノイズ低減部１１２とを備える。
【００４５】
また、画像処理装置１００は、例えば、制御部（図示せず）や、ＲＯＭ（Read Only Memory。図示せず）、ＲＡＭ（Random Access Memory。図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）、外部装置と通信を行うための通信部（図示せず）、撮像部（図示せず）などを備えていてもよい。画像処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
【００４６】
ここで、制御部（図示せず）は、例えば、ＣＰＵ（Central Processing Unit）や各種処理回路などで構成され、画像処理装置１００全体を制御する。また、制御部（図示せず）は、例えば、分割領域設定部１０２、エッジ判定部１０４、エッジ画像推定部１０６、ノイズ成分特定部１０８、ノイズ画像生成部１１０、およびノイズ低減部１１２（または、これらのうちの１または２以上の部）の役目を果たしてもよい。なお、分割領域設定部１０２、エッジ判定部１０４、エッジ画像推定部１０６、ノイズ成分特定部１０８、ノイズ画像生成部１１０、およびノイズ低減部１１２は、各部の処理を実現可能な専用の（または汎用の）処理回路で構成されていてもよいことは、言うまでもない。
【００４７】
また、制御部（図示せず）は、例えば、ノイズ低減処理が行われた画像信号（以下、「出力画像信号」と示す。）をエンコードして、記憶部（図示せず）に記録する、および／または、出力画像信号が示す画像を表示部（図示せず）や外部表示装置の表示画面に表示させるなど、出力画像信号に対する処理を行う役目を果たしてもよい。
【００４８】
ＲＯＭ（図示せず）は、制御部（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部（図示せず）により実行されるプログラムなどを一時的に記憶する。
【００４９】
記憶部（図示せず）は、画像処理装置１００が備える記憶手段であり、例えば、画像データや、アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）などが挙げられる。また、記憶部（図示せず）は、画像処理装置１００から着脱可能であってもよい。
【００５０】
操作部（図示せず）としては、例えば、ボタンや、方向キー、あるいは、これらの組み合わせなどが挙げられる。また、画像処理装置１００は、例えば、画像処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）と接続することもできる。
【００５１】
表示部（図示せず）としては、例えば、液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機ＥＬディスプレイ（organic ElectroLuminescence display）などが挙げられる。なお、表示部（図示せず）は、例えばタッチスクリーンなどのように、表示とユーザ操作とが可能なデバイスであってもよい。また、画像処理装置１００は、表示部（図示せず）の有無に関わらず、画像処理装置１００の外部装置としての表示デバイス（例えば、外部ディスプレイなど）と接続することもできる。
【００５２】
通信部（図示せず）は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部装置と無線／有線で通信を行う。ここで、通信部（図示せず）としては、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）などが挙げられる。また、本発明の実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide Area Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ；Wireless Local Area Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless Wide Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
【００５３】
撮像部（図示せず）は、静止画像または動画像を撮像する役目を果たす。撮像部（図示せず）を備える場合には、画像処理装置１００は、例えば、撮像部（図示せず）における撮像により生成された画像信号を処理することが可能である。
【００５４】
ここで、本発明の実施形態に係る撮像部（図示せず）としては、例えば、レンズ／撮像素子と信号処理回路とから構成される撮像デバイスが挙げられる。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。また、信号処理回路は、例えば、ＡＧＣ（Automatic Gain Control）回路やＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理などが挙げられる。
【００５５】
画像処理装置１００は、例えば図１の構成によって、入力される入力画像信号に基づいて処理を行い、入力画像信号に含まれるノイズが低減された出力画像信号を出力する。ここで、本発明の実施形態に係る入力画像信号は、例えばＪＰＥＧやＭＰＥＧなどのように、符号化処理過程にＤＣＴを含むコーデックによって圧縮された画像（符号化により非可逆圧縮された画像）を示す。
【００５６】
図２は、画像圧縮過程の概念を示す説明図である。図２において、“Ｘ”は、圧縮前の原画像のブロック分割画像を示し、“Ｘ’”は、圧縮後のブロック分割画像を示している。また、図２において“Ｃ”は、ＤＣＴ係数を示し、“ＣＱ”は、量子化されたＤＣＴ係数、“Ｑ（）”は、量子化関数を示している。ここで、量子化とは、ＤＣＴ係数に対して情報量を削減するために行われる処理である。また、図２に示すエントロピー符号化、およびエントロピー復号化は、多値データを２値データに変換、逆変換する可逆的な処理である。また、図２に示す“Ｃ’”は、逆量子化されたＤＣＴ係数を示しており、“Ｑ−１（）”は、逆量子化関数を示している。また、図２に示す“Ｎ”は、符号化ノイズを示している。
【００５７】
第１の実施形態に係る画像処理装置１００は、原画像が未知である状態において、符号化ノイズ“Ｎ”を推定して、推定された符号化ノイズ（検出された符号化ノイズ）を低減する。以下、図１に示す第１の実施形態に係る画像処理装置１００の構成例について説明しつつ、画像処理装置１００における処理（画像処理方法に係る処理）の一例について説明する。
【００５８】
分割領域設定部１０２は、入力画像信号に基づいて、入力画像信号が示す画像に対して分割領域を設定する。
【００５９】
エッジ判定部１０４は、本発明の実施形態に係る画像処理方法に係る上記エッジ判定処理を主導的に行う役目を果たし、設定された分割領域ごとに、分割領域が示す画像がステップエッジまたはラインエッジを含むか否かを判定する。ここで、ステップエッジとは、例えば、輝度が階段状（ステップ状）に変化するエッジであり、また、ラインエッジとは、例えば、輝度の変化がパルス状となるエッジである。エッジ判定部１０４は、例えば、判別分析法（大津の２値化）を用いて、分割領域に対応する画像内の輝度ヒストグラムが特定の２つの値に集中していることを調べることによって、ステップエッジまたはラインエッジを含むか否かを判定する。
【００６０】
なお、本発明の実施形態に係るエッジ判定部１０４における処理は、上記に限られない。例えば、エッジ判定部１０４は、隣接画素間の微分値と、当該微分値の空間的な連続性とをさらに考慮して、ステップエッジまたはラインエッジを含むか否かを判定してもよい。隣接画素間の微分値と、当該微分値の空間的な連続性とをさらに考慮することによって、エッジ判定部１０４は、例えば、分割領域に対応する画像が市松模様を示す場合において、当該分割領域が、ステップエッジまたはラインエッジを含む分割領域であると誤判定することを防止することが可能となる。つまり、隣接画素間の微分値と、当該微分値の空間的な連続性とをさらに考慮することによって、エッジ判定部１０４は、エッジの検出精度をさらに向上させることができる。
【００６１】
また、エッジ判定部１０４は、設定された分割領域ごとに、文字領域（例えば、テロップを含む領域）をさらに検出する機能を有していてもよい。ここで、例えば、放送に係る画像では、文字のまわりにモスキートノイズが目立つことが多い。また、文字を構成するエッジはステップエッジであることが多く、文字内部の輝度分布は平坦かグラデーションであることが多い。よって、例えば、エッジ判定部１０４が文字領域をさらに検出する機能を有する場合には、エッジの検出精度をさらに向上させることができる。
【００６２】
例えば上記のように、エッジ判定部１０４がエッジの検出精度をさらに向上させることによって、画像処理装置１００では、後述するエッジ画像推定部１０６におけるエッジ画像の推定精度を向上させることができ、また、その結果、画像処理装置１００におけるノイズ量推定精度も向上させることができる。
【００６３】
エッジ画像推定部１０６は、本発明の実施形態に係る画像処理方法に係る上記エッジ画像推定処理を主導的に行う役目を果たし、ステップエッジまたはラインエッジを含むと判定された分割領域（以下、「エッジ分割領域」と示す場合がある。）ごとに、エッジ画像を推定する。より具体的には、エッジ画像推定部１０６は、例えば、エッジ分割領域ごとに、ステップエッジで構成される画像（以下、「ステップエッジ画像」と示す。）を、エッジ画像として推定する。なお、エッジ画像推定部１０６は、例えば、分割領域がラインエッジを含むと判定された場合には、ラインエッジで構成される画像を、エッジ画像として推定してもよい。以下では、エッジ画像推定部１０６が、ステップエッジ画像をエッジ画像として推定する場合を例に挙げて説明する。
【００６４】
ここで、視覚的に目立つ符号化ノイズは、画像を構成する主要なステップエッジから発生するノイズが主な原因である。そのため、主要なエッジは、圧縮率が極端に高くない場合には、変換符号化による圧縮後も周波数特性が保存される可能性が高い。エッジ画像推定部１０６は、上記主要なエッジが圧縮後も周波数特性が保存される可能性が高いことに基づき、処理を行う。
【００６５】
図３は、本発明の実施形態に係るエッジ画像推定部１０６における処理の一例を説明するための説明図である。なお、以下では、説明の簡単化のため、２次元画像ではなく、１次元画像を用いて、画像処理装置１００における、本発明の実施形態に係る画像処理方法に係る処理について説明する。
【００６６】
図３に示すＡは、理想的なステップエッジを含む画像信号が符号化により圧縮された入力画像信号における、ステップエッジを含む分割領域に対応する画像の一例を示している。また、図３に示すＢは、図３のＡに示す画像から推定されるステップエッジ画像の一例を示している。また、図３に示すＣは、図３のＢに示す画像のオフセット画像を示している。
【００６７】
エッジ画像推定部１０６は、例えば、エッジ分割領域と判定された分割領域の画像内の輝度値の最大値と最小値を求め、当該分割領域内の画素をそれらの輝度値に近い画素に分類することによって、ステップエッジ画像を推定する。ここで、エッジ画像推定部１０６におけるステップエッジ画像の推定は、エッジ分割領域と判定された分割領域に対応する画像を、ステップエッジ画像に近似する処理に相当する。なお、本発明の実施形態に係るエッジ画像推定部１０６における処理は、上記に限られない。例えば、エッジ画像推定部１０６は、判別分析法を用いる手法や、ｋ−平均クラスタリングを用いる手法を用いてステップエッジ画像を推定してもよい。
【００６８】
ここで、実際の画像では、エッジを示す画素（以下、「エッジ画素」と示す。）以外の部分は全くの平坦ではなく、例えば、グラデーションを示したり、微小な輝度振幅が存在することがありうる。画像処理装置１００は、上記のような場合においても、ステップエッジに近似した画像から生じる符号化ノイズが、原画像を圧縮した際に生じる符号化ノイズの中で大きな割合を占めると仮定して、エッジ画像推定部１０６によってステップエッジに近似された画像から符号化ノイズを推定する。
【００６９】
上記のようにステップエッジに近似された画像から符号化ノイズを推定することによって、画像処理装置１００は、従来の平滑化手法を用いる場合には損なわれてしまうグラデーションや微小な輝度振幅を残したまま、原画像を推定することが可能となる。
【００７０】
ノイズ成分特定部１０８は、本発明の実施形態に係る画像処理方法に係る上記ノイズ成分特定処理を主導的に行う役目を果たし、エッジ画像推定部１０６において推定されたエッジ画像と、参照情報とに基づいて、エッジ画像に対応するノイズ成分を特定する。ここで、図１では、本発明の実施形態に係る参照情報として、ルックアップテーブル１５０を示している。ノイズ成分特定部１０８は、例えば記憶部（図示せず）に記憶されているルックアップテーブル１５０（参照情報の一例）を適宜読み出すことによって、エッジ画像推定部１０６において推定されたエッジ画像に対応するノイズ成分を特定する。
【００７１】
なお、本発明の実施形態に係るノイズ成分特定部１０８における処理は、上記に限られない。例えば、ノイズ成分特定部１０８は、ネットワークを介して（または直接的に）通信可能な、ルックアップテーブル１５０（参照情報の一例）を記憶する外部装置と通信を行うことによって、推定されたエッジ画像に対応するノイズ成分を特定することも可能である。より具体的には、ノイズ成分特定部１０８は、例えば、エッジ画像推定部１０６において推定されたエッジ画像を含み、ノイズ成分を外部装置に送信させるためのノイズ成分送信要求を、通信部（図示せず）を介して外部装置へ送信する。そして、ノイズ成分特定部１０８は、上記ノイズ成分送信要求に応じて外部装置から送信された、ノイズ成分を示すデータを、通信部（図示せず）を介して受信することによって、推定されたエッジ画像に対応するノイズ成分を特定する。
【００７２】
図４は、本発明の実施形態に係るルックアップテーブル１５０の一例を示す説明図である。図４に示すように、ルックアップテーブル１５０には、エッジ成分に対応する基本画像と、ノイズ成分とが対応付けて記憶される。
【００７３】
本発明の実施形態に係るルックアップテーブル１５０（参照情報の一例）は、例えば、画像処理装置１００の外部装置によって生成される。より具体的には、上記外部装置は、基本画像を示す信号と、基本画像が符号化により非可逆圧縮された画像を示す信号とに基づいて、ノイズ成分を生成する。そして、上記外部装置は、基本画像と生成したノイズ成分とを対応付けて記録することによって、ルックアップテーブル１５０（参照情報の一例）を生成する。
【００７４】
なお、本発明の実施形態に係るルックアップテーブル（参照情報の一例）は、外部装置によって生成されることに限られない。例えば、本発明の実施形態に係る画像処理装置が、ルックアップテーブル（参照情報の一例）を生成する参照情報生成部を備える場合には、本発明の実施形態に係る画像処理装置は、参照情報生成部において生成されるルックアップテーブル（参照情報の一例）を用いて、処理を行うことが可能である。参照情報生成部を備える構成の一例、および本発明の実施形態に係る参照情報の生成に係る処理の具体例については、後述する本発明の第２の実施形態に係る画像処理装置において説明する。
【００７５】
また、本発明の実施形態に係るルックアップテーブル１５０は、図４に示す例に限られない。例えば図４に示すように、対象位置にあたる２つの基本画像対（画素位置１および８、画素位置２および７、画素位置３および６、画素位置４および５）は、ＤＣＴの対称性により、左右対象なノイズ成分を有することが分かる。例えば、画素位置１の基本画像と画素位置８の基本画像に着目すると、これらの基本画像は左右対称であり、また、これらの基本画像に対応するノイズ成分波形も左右対称である。よって、例えば８画素から成る１次元画像の場合、ルックアップテーブル１５０には、画素位置１から４までの４組について基本画像とノイズ成分とが対応付けられていてもよい。
【００７６】
ノイズ成分特定部１０８は、例えば図４に示すルックアップテーブル１５０を参照し、エッジ画像推定部１０６から伝達される推定されたエッジ画像中の各画素に対応する符号化ノイズ成分を特定する。そして、ノイズ成分特定部１０８は、エッジ分割領域ごとに特定された、１または２以上の符号化ノイズ成分を、ノイズ画像生成部１１０へ伝達する。
【００７７】
再度図１を参照して、本発明の実施形態に係る画像処理装置１００の構成の一例について説明する。ノイズ画像生成部１１０は、ノイズ成分特定部１０８において特定されたエッジ画像に対応するノイズ成分を合成して、ノイズ画像を生成する。
【００７８】
図５は、本発明の実施形態に係るノイズ画像生成部１１０における処理の概要を説明するための説明図である。ここで、図５に示すＡは、エッジ画像推定部１０６が推定した、あるエッジ分割領域におけるエッジ画像（小さい平坦部側の輝度値が全て０（ゼロ）になるようにオフセットされたオフセット画像）の一例を示している。また、図５に示すＢ〜Ｅは、ノイズ成分特定部１０８において特定された、図５に示すＡに示す画像に対応するノイズ成分を示している。より具体的には、図５に示すＢは、図４の画素位置１に示す基本画像に対応するノイズ成分を示しており、図５に示すＣ〜Ｅは、図４の画素位置２〜４に示す基本画像に対応するノイズ成分をそれぞれ示している。そして、図５に示すＦは、ノイズ画像生成部１１０が、図５に示すＢ〜Ｅに示すノイズ成分を合成して生成したノイズ画像の一例を示している。
【００７９】
ここで、ＤＣＴの線形性により、図５のＡに示すエッジ画像に対応するノイズ画像は、図４の画素位置１〜４に示す基本画像に対応するノイズ成分を合成したものと等しくなる。ノイズ画像生成部１１０は、上記ＤＣＴの線形性を利用することによって、ノイズ成分特定部１０８において特定されたエッジ画像に対応するノイズ成分に基づきノイズ画像を生成する。
【００８０】
ノイズ低減部１１２は、本発明の実施形態に係る画像処理方法に係る上記ノイズ低減処理を主導的に行う役目を果たし、入力画像信号から、ノイズ画像生成部１１０から伝達されるノイズ画像を示す信号を減算して、入力画像信号のノイズを低減する。
【００８１】
図６は、本発明の実施形態に係るノイズ画像生成部１１０における処理の概要を説明するための説明図である。図６に示すＡは、ある分割領域に対応する原画像の一例を示しており、当該原画像は、画像処理装置１００において未知なものである。また、図６に示すＢは、図６のＡに示す画像が符号化により圧縮された画像の一例を示しており、図６のＢに示す画像は、入力画像信号における上記ある分割領域に対応する画像に該当する。また、図６に示すＣは、図６のＢに示す画像に対して処理が行われた結果、ノイズ画像生成部１１０において生成されるノイズ画像の一例を示している。そして、図６に示すＤは、ノイズ低減部１１２において、図６のＢに示す画像に対応する信号から図６のＣに示すノイズ画像に対応する信号を減算した結果を示している。なお、図６のＤでは、比較を容易とするために、減算した結果に加えて、図６のＡに示す画像と図６のＢに示す画像とを重ねて表示している。
【００８２】
ノイズ低減部１１２は、例えば図６に示すように、入力画像信号からノイズ画像を示す信号を減算することによって、入力画像信号のノイズを低減する。また、ノイズ低減部１１２は、入力画像信号からノイズ画像を示す信号を減算することによって、原画像を推定することができる。ここで、２次元画像の場合、従来の平滑化手法を用いるときには、テクスチャが失われる可能性があるが、ノイズ低減部１１２は、平滑化処理を行わずにノイズを低減するので、テクスチャが失われるなどのノイズ低減処理に起因する副作用は原理的に発生しない。
【００８３】
よって、ノイズ低減部１１２は、ノイズ低減処理に起因する画質の低下を防止しつつ、例えばモスキートノイズなどのようなエッジ部分に生ずる符号化ノイズを低減することができる。
【００８４】
本発明の第１の実施形態に係る画像処理装置１００は、例えば、図１に示す構成によって、本発明の実施形態に係る画像処理方法に係る処理（例えば、エッジ判定処理、エッジ画像推定処理、ノイズ成分特定処理、およびノイズ画像生成処理）を実現する。画像処理装置１００は、観測画像の空間周波数などからノイズらしい成分を推定する従来の手法に対して、検出された画像を構成する主要なエッジ（例えば、ステップエッジやラインエッジ）に基づき、基本画像に対応するノイズ成分を合成したノイズ画像を生成することによって、ノイズ成分を推定する。ここで、ＤＣＴの線形性により、入力画像信号に基づくエッジ画像に対応するノイズ画像は、基本画像に対応するノイズ成分を合成したものと等しくなる。
【００８５】
したがって、本発明の実施形態に係る画像処理装置は、処理対象の画像信号に基づいて、エッジ部分に生ずる符号化ノイズを検出することができる。
【００８６】
また、画像処理装置１００は、入力画像信号から生成したノイズ画像を示す信号を減算することによって、入力画像信号に含まれるノイズを低減する。また、画像処理装置１００は、ノイズ低減処理に際して平滑化処理を行わない。
【００８７】
よって、画像処理装置１００は、処理対象の画像信号に基づいて、エッジ部分に生ずる符号化ノイズを低減することができる。また、画像処理装置１００は、平滑化処理を行うことなく、符号化ノイズ量を推定して、原画像を推定することができる。
【００８８】
なお、本発明の実施形態に係る画像処理装置の構成は、図１に示す構成に限られない。例えば、図１では分割領域設定部１０２を備える構成を示しているが、本発明の実施形態に係る画像処理装置は、分割領域設定部１０２を備えず、エッジ判定部１０４が分割領域設定部１０２の機能をさらに有していてもよい。
【００８９】
（本発明の実施形態に係る画像処理方法に係る処理）
次に、本発明の実施形態に係る画像処理方法に係る処理の一例について説明する。図７は、本発明の実施形態に係る画像処理方法に係る処理の一例を示す流れ図である。ここで、図７は、上述した図１に示す第１の実施形態に係る画像処理装置１００における、動画像の１フレームごとの処理の一例を示している。
【００９０】
画像処理装置１００は、分割領域がエッジ分割領域であるか否かを判定する（Ｓ１００）。ステップＳ１００の処理は、例えば、エッジ判定部１０４が行う。
【００９１】
ステップＳ１００の処理が完了すると、画像処理装置１００は、設定された全ての分割領域に対して処理が完了するまで、後述するステップＳ１０２〜Ｓ１１０の処理を繰り返す。
【００９２】
画像処理装置１００は、処理対象の分割領域がエッジ分割領域であるか否かを判定する（Ｓ１０２）。ステップＳ１０２の処理は、例えば、エッジ画像推定部１０６が、エッジ判定部１０４の判定結果に基づき行う。
【００９３】
ステップＳ１０２において処理対象の分割領域がエッジ分割領域であると判定されない場合には、画像処理装置１００は、当該分割領域に対する処理を終了する。
【００９４】
また、ステップＳ１０２において処理対象の分割領域がエッジ分割領域であると判定された場合には、画像処理装置１００は、エッジ画像を推定する（Ｓ１０４）。ステップＳ１０４の処理は、例えば、エッジ画像推定部１０６が行う。
【００９５】
ステップＳ１０４の処理が完了すると、画像処理装置１００は、ステップＳ１０４において推定されたエッジ画像と参照情報とに基づいて、エッジ画像に対応するノイズ成分を特定する（Ｓ１０６）。ステップＳ１０６の処理は、例えば、ノイズ成分特定部１０８が行う。
【００９６】
ステップＳ１０６の処理が完了すると、画像処理装置１００は、ステップＳ１０６において特定されたエッジ画像に対応するノイズ成分を合成して、ノイズ画像を生成する（Ｓ１０８）。ステップＳ１０８の処理は、例えば、ノイズ画像生成部１１０が行う。
【００９７】
ステップＳ１１０の処理が完了すると、画像処理装置１００は、入力画像信号から、ステップＳ１１０において生成されたノイズ画像を示す信号を減算して、入力画像信号のノイズを低減する（Ｓ１１０）。ステップＳ１１０の処理は、例えば、ノイズ低減部１１２が行う。
【００９８】
画像処理装置１００は、設定された全ての分割領域に対して処理が完了すると、入力画像信号に対する処理を終了する。
【００９９】
画像処理装置１００は、例えば図７に示すステップＳ１００〜Ｓ１０８の処理を行うことによって、処理対象の画像信号に基づいて、エッジ部分に生ずる符号化ノイズを検出し、また、図７に示すステップＳ１１０の処理を行うことによって、エッジ部分に生ずる符号化ノイズを低減する。なお、本発明の実施形態に係る画像処理装置における処理は、図７に示す処理に限られない。例えば、本発明の実施形態に係る画像処理装置は、全ての分割領域に対してステップＳ１０２〜Ｓ１０８の処理が行われた後に、ステップＳ１１０の処理を行うことも可能である。
【０１００】
また、本発明の実施形態に係る画像処理装置がノイズ低減処理を行う機能を有していない場合には、本発明の実施形態に係る画像処理装置は、ステップＳ１１０の処理を行わないことも可能である。また、上記の場合には、本発明の実施形態に係る画像処理装置は、例えば、生成したノイズ画像を示す信号（ノイズの検出結果を示す信号）、または、生成したノイズ画像を示す信号と入力画像信号を、ノイズ低減処理を行う機能を有する外部装置に送信してもよい。
【０１０１】
（本発明の第２の実施形態に係る画像処理装置）
例えば図１に示す第１の実施形態に係る画像処理装置１００（または、第１の実施形態の変形例に係る画像処理装置。以下、同様とする。）の構成によって、本発明の実施形態に係る画像処理方法に係る処理を実現し、処理対象の画像信号に基づいて、エッジ部分に生ずる符号化ノイズを検出することができる。また、例えば図１に示す第１の実施形態に係る画像処理装置１００の構成によって、検出したノイズを低減することができる。しかしながら、本発明の実施形態に係る画像処理方法に係る処理を実現することが可能な構成は、図１に示す構成に限られない。
【０１０２】
図８は、本発明の第２の実施形態に係る画像処理装置２００の構成の一例を示すブロック図である。
【０１０３】
図８に示す本発明の第２の実施形態に係る画像処理装置２００は、図１に示す第１の実施形態に係る画像処理装置１００と基本的に同様の構成を有するが、図１に示す第１の実施形態に係る画像処理装置１００と比較すると、第２の実施形態に係る画像処理装置２００は、参照情報生成部２０２をさらに備えている。
【０１０４】
参照情報生成部２０２は、基本画像を示す信号と、基本画像が符号化により非可逆圧縮された画像を示す信号とに基づいて、ノイズ成分を生成する。そして、参照情報生成部２０２は、基本画像と生成したノイズ成分とを対応付けて記録することによって、参照情報を生成する。ここで、図８では、参照情報生成部２０２が生成する参照情報として、ルックアップテーブル１５０を示している。
【０１０５】
図９は、本発明の実施形態に係る参照情報生成部２０２の構成の一例を示すブロック図である。参照情報生成部２０２は、例えば、ＤＣＴ演算部２０４と、ＤＣＴ係数量子化部２０６と、ＩＤＣＴ演算部２０８と、ノイズ成分生成部２１０と、情報生成部２１２とを備え、基本画像を示す基本画像信号に基づいて、参照情報を生成する。
【０１０６】
ここで、本発明の実施形態に係る基本画像とは、エッジ成分に対応する画像である。より具体的には、本発明の実施形態に係る基本画像は、例えば図４に示すように、符号化ブロックサイズの画像内において、１つの画素だけ値を有し、他の画素の値は全て０（ゼロ）であるような画像である。参照情報生成部２０２は、例えば、記憶部（図示せず）などに記憶されている基本画像を示すデータを読み出して処理を行う。なお、参照情報生成部２０２は、基本画像を示すデータを、ネットワークを介して（または直接的に）通信可能な外部装置から通信部（図示せず）を介して取得して処理を行ってもよい。
【０１０７】
ＤＣＴ演算部２０４は、基本画像信号に対してＤＣＴを行い、ＤＣＴ係数をＤＣＴ係数量子化部２０６へ伝達する。ＤＣＴ係数量子化部２０６は、伝達されるＤＣＴ係数を量子化し、量子化されたＤＣＴ係数をＩＤＣＴ演算部２０８へ伝達する。ＤＣＴ演算部２０４、およびＤＣＴ係数量子化部２０６における処理によって、基本画像信号のエンコード（符号化）がなされる。
【０１０８】
ＩＤＣＴ演算部２０８は、量子化されたＤＣＴ係数に対して、逆量子化、およびＩＤＣＴ（Inverse Discrete Cosine Transform。逆離散コサイン変換）を行い、量子化されたＤＣＴ係数をデコード（復号）する。ＩＤＣＴ演算部２０８における処理によって、基本画像が符号化により非可逆圧縮された画像を示す信号が得られる。
【０１０９】
ノイズ成分生成部２１０は、ＩＤＣＴ演算部２０８から伝達される、基本画像が符号化により非可逆圧縮された画像を示す信号から、基本画像信号を減算することによって、基本画像に対応するノイズ成分を得る。ここで、ノイズ成分生成部２１０は、例えば記憶部（図示せず）などに記憶されている量子化テーブル２５０と、量子化スケールを示す量子化スケールデータ２５２に基づいて、処理を行う。
【０１１０】
ここで、量子化テーブル２５０と、量子化スケールデータ２５２とは、例えば、入力画像信号に対応するビットストリーム（符号化したビットストリーム）に基づいて、画像処理装置２００（または、画像処理装置２００の外部装置）が備える設定部（図示せず）によって設定される。設定部（図示せず）が、入力画像信号に対応するビットストリームに基づいて、量子化テーブル２５０と量子化スケールデータ２５２とを設定することによって、ノイズ成分生成部２１０は、入力画像信号に対応するノイズ成分を生成することができる。
【０１１１】
なお、ノイズ成分生成部２１０が処理に用いる量子化テーブル２５０と、量子化スケールデータ２５２とは、上記に限られない。例えば、ノイズ成分生成部２１０は、予め設定された量子化テーブル２５０と、予め設定された量子化スケールデータ２５２とに基づいて処理を行うことも可能である。
【０１１２】
情報生成部２１２は、基本画像信号と、ノイズ成分生成部２１０から伝達されるノイズ成分とに基づいて、基本画像とノイズ成分とが対応付けて記憶される参照情報を生成する。ここで、情報生成部２１２における参照情報の生成とは、例えば、参照情報の新規生成が挙げられるが、情報生成部２１２における処理は、上記に限られない。例えば、参照情報が既に生成されている場合には、情報生成部２１２は、当該既に生成されている参照情報を更新する。つまり、情報生成部２１２における参照情報の生成とは、例えば、参照情報の新規生成、または、既に生成されている参照情報の更新を意味する。
【０１１３】
図１０は、本発明の実施形態に係る参照情報生成部２０２における処理の概要を示す説明図である。
【０１１４】
ここで、図１０に示すＡは、基本画像信号が示す基本画像の一例を示しており、８画素からなる１次元画像において、先頭画素のみ値を有する基本画像を示している。また、図１０に示すＢは、ＤＣＴ演算部２０４が図１０のＡに示す基本画像に対してＤＣＴを行って得られたＤＣＴ係数、およびＤＣＴ係数量子化部２０６がＤＣＴ係数を量子化した量子化後のＤＣＴ係数を示している。
【０１１５】
また、図１０に示すＣは、ＩＤＣＴ演算部２０８が図１０のＢに示す量子化後のＤＣＴ係数に対してＩＤＣＴを行った結果、すなわち、基本画像が符号化により非可逆圧縮された画像を示している。また、図１０に示すＤは、ノイズ成分生成部２１０が、図１０のＣに示す基本画像が符号化により非可逆圧縮された画像を示す信号から、図１０のＡに示す基本画像を示す基本画像信号を減算した結果、すなわち、ノイズ成分を示している。そして、図１０に示すＥは、情報生成部２１２が、図１０のＡに示す基本画像と、図１０のＤに示すノイズ成分とを対応付けて記録したルックアップテーブル（参照情報の一例）を示している。
【０１１６】
参照情報生成部２０２は、例えば図１０に示す処理を、例えば図４に示すような基本画像ごとに行うことによって、参照情報を生成する。
【０１１７】
本発明の第２の実施形態に係る画像処理装置２００は、図１に示す第１の実施形態に係る画像処理装置１００と基本的に同様の構成を有する。したがって、画像処理装置２００は、図８に示す構成によって、図１に示す第１の実施形態に係る画像処理装置１００と同様に、処理対象の画像信号に基づいて、エッジ部分に生ずる符号化ノイズを検出することができる。
【０１１８】
また、画像処理装置２００は、図８に示す構成によって、図１に示す第１の実施形態に係る画像処理装置１００と同様に、処理対象の画像信号に基づいて、エッジ部分に生ずる符号化ノイズを低減することができる。さらに、画像処理装置２００は、図１に示す第１の実施形態に係る画像処理装置１００と同様に、平滑化処理を行うことなく、符号化ノイズ量を推定して、原画像を推定することができる。
【０１１９】
以上、本発明の実施形態として画像処理装置を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、デジタルカメラなどの撮像装置、ＰＣやサーバなどのコンピュータ、テレビ受像機などの表示装置、携帯電話やスマートフォンなどの通信装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機など、画像信号の処理が可能な様々な機器に適用することができる。また、本発明の実施形態は、例えば、上記のような機器に組み込むことが可能な、画像処理ＩＣ（Integrated Circuit）に適用することもできる。
【０１２０】
（本発明の実施形態に係るプログラム）
コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（例えば、エッジ判定処理、エッジ画像推定処理、ノイズ成分特定処理、およびノイズ画像生成処理など、本発明の実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム）によって、処理対象の画像信号に基づいて、処理対象の画像信号に基づいて、エッジ部分に生ずる符号化ノイズを検出することができる。
【０１２１】
また、コンピュータを、図１や図８に示すノイズ低減部１１２を備える画像処理装置として機能させるためのプログラム（例えば、さらにノイズ低減処理を実行することが可能なプログラム）によって、エッジ部分に生ずる符号化ノイズを低減しつつ、処理後の画像における画質の低下を防止することができる。
【０１２２】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１２３】
例えば、上記では、コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムをそれぞれ記憶させた記録媒体も併せて提供することができる。
【符号の説明】
【０１２４】
１００、２００ 画像処理装置
１０２ 分割領域設定部
１０４ エッジ判定部
１０６ エッジ画像推定部
１０８ ノイズ成分特定部
１１０ ノイズ画像生成部
１１２ ノイズ低減部
２０２ 参照情報生成部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、例えばＶＯＤ（Video On Demand）などのように、インターネット（Internet）を介して動画像を配信するサービスの普及が進んでおり、また、ＵＧＣ（User Generated Contents）をテレビ受像機やＰＣ（Personal Computer）などを用いてユーザが視聴できる環境も整いつつある。また、例えば日本では、テレビジョン放送がデジタル化している。例えば上記のような、画像配信サービスや、デジタルテレビジョン放送において、高解像度のデジタル画像の配信や放送を可能とした技術の一つとして、画像圧縮技術がある。画像圧縮技術の規格としては、例えば、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８）や、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣが挙げられる。
【０００３】
例えば、ＭＰＥＧ−２や、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣでは、所定の符号化方式にて画像が非可逆に圧縮される。そのため、例えば上記のような符号化方式が用いられる場合には、画像のデータ量の削減には有利であるが、その反面、例えばモスキートノイズなどの符号化に起因するノイズ（歪み）が、画像をみるユーザに認識されてしまうことが起こりうる。
【０００４】
このような中、符号化に起因するノイズの低減を図る技術が開発されている。符号化に起因するノイズの低減を図る技術としては、例えば、特許文献１に記載の技術や、特許文献２に記載の技術、特許文献３に記載の技術、非特許文献１に記載の技術が挙げられる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平６−２４５０６９号公報
【特許文献２】特開２００３−９１７２４号公報
【特許文献３】特開２００７−１８３７９号公報
【非特許文献】
【０００６】
【非特許文献１】HARASHIMA H., ODAJIMA K., SHISHIKUI Y., and MIYAKAWA, H.,” Epsilon-separating nonlinear digital filter and its applications”, Electronics and Communications in Japan, (ISSN0424-8368). Vol. 65, pp. 11-19. Apr. 1982.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
例えば非特許文献１に記載の技術では、エッジを含む領域（例えばＭＰＥＧ−２では８×８画素単位のブロック）を検出し、当該領域内部でエッジ保存平滑化をかけることにより符号化ノイズを低減する。よって、例えば非特許文献１に記載の技術を用いる場合には、例えばモスキートノイズなどのようにエッジ部分に顕著に発生するノイズをある程度低減することができる可能性はある。
【０００８】
しかしながら、例えば非特許文献１に記載の技術を用いる場合には、本来画像に含まれているテクスチャと符号化ノイズ成分の両方からノイズ量を推定してしまう可能性がある。よって、例えば非特許文献１に記載の技術を用いる場合には、ノイズの平滑化時に本来の画像テクスチャも平滑化してしまう恐れがある。
【０００９】
また、例えば特許文献１に記載の技術は、画像においてモアレ（複数の周期パターンを重ね合わせたときに発生する干渉縞）が顕著に見えている領域からモアレパターンを抽出し、モアレを低減する。ここで、符号化ノイズは局所ブロック内のテクスチャに依存したＤＣＴ（Discrete Cosine Transform。離散コサイン変換）基底パターンとして出現するため、処理対象の画像には、テクスチャに応じた様々なノイズパターンが出現しうる。よって、例えば特許文献１に記載の技術を用いたとしても、処理対象の画像信号からノイズを検出できるとは限られず、また、例えば特許文献１に記載の技術のように、予め検出した代表的なモアレパターンに対応する信号を処理対象の画像信号から減算したとしても、処理対象の画像信号に含まれうるノイズを低減できるとは限られない。
【００１０】
また、例えば特許文献２に記載の技術では、処理対象の画像をビット画像に分解し（ビットプレーン分解）、下位のビット画像では、（ａ）粒状ノイズに対応するビット位置が不規則に変化する、（ｂ）粒状ノイズに対応するバイナリビットデータが少なくなる、という性質を利用して、画像中の粒状ノイズを検出する。しかしながら、符号化ノイズは、局所ブロック内のテクスチャに依存したＤＣＴ基底パターンとして出現するため、粒状に現れるわけではない。よって、例えば特許文献２に記載の技術を用いたとしても、符号化ノイズを検出することはできない。
【００１１】
また、例えば特許文献３に記載の技術では、処理対象の画像をＷａｖｅｌｅｔ変換などの多重解像度解析によって帯域分解し、帯域信号ごとにエッジ強調やノイズ低減処理を施す。そして、例えば特許文献３に記載の技術では、これらの処理の結果を再構成し、処理対象の画像を示す画像信号に加減算することによって、エッジ強調と、ノイズ低減とを図る。ここで、例えば特許文献３に記載の技術は、多重解像度解析を用いたエッジ強調・ノイズ低減に係る技術であり、例えば特許文献３に記載の技術では、一般的なローパス・フィルターを用いてノイズの低減を図っている。よって、例えば、ＭＰＥＧ圧縮画像において、画像テクスチャとＤＣＴ基底パターンノイズの周波数特性が近い場合には、例えば特許文献３に記載の技術を用いたとしても、符号化ノイズの検出・低減が困難となる可能性がある。
【００１２】
上記のように、例えば、非特許文献１に記載の技術や、特許文献１に記載の技術、特許文献２に記載の技術、特許文献３に記載の技術を用いたとしても、画像信号が示す画像において発生しうる、エッジ部分に生ずる符号化ノイズを検出することができるとは限らない。
【００１３】
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、処理対象の画像信号に基づいて、エッジ部分に生ずる符号化ノイズを検出することが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、本発明の第１の観点によれば、入力画像信号が示す符号化により非可逆圧縮された画像が分割された分割領域ごとに、分割領域が示す画像がステップエッジまたはラインエッジを含むか否かを判定するエッジ判定部と、ステップエッジまたはラインエッジを含むと判定された分割領域ごとに、エッジ画像を推定するエッジ画像推定部と、推定された上記エッジ画像と、エッジ成分に対応する基本画像とノイズ成分とが対応付けて記憶される参照情報とに基づいて、上記エッジ画像に対応するノイズ成分を特定するノイズ成分特定部と、特定された上記エッジ画像に対応するノイズ成分を合成して、ノイズ画像を生成するノイズ画像生成部と、を備える画像処理装置が提供される。
【００１５】
かかる構成によって、処理対象の画像信号に基づいて、エッジ部分に生ずる符号化ノイズを検出することができる。
【００１６】
また、上記基本画像を示す信号と、上記基本画像が符号化により非可逆圧縮された画像を示す信号とに基づいて、ノイズ成分を生成し、上記参照情報を生成する参照情報生成部をさらに備えていてもよい。
【００１７】
また、上記参照情報は、ルックアップテーブルであってもよい。
【００１８】
また、上記入力画像信号から上記ノイズ画像を示す信号を減算して、上記入力画像信号のノイズを低減するノイズ低減部をさらに備えていてもよい。
【００１９】
また、上記目的を達成するために、本発明の第２の観点によれば、入力画像信号が示す符号化により非可逆圧縮された画像が分割された分割領域ごとに、分割領域が示す画像がステップエッジまたはラインエッジを含むか否かを判定するステップと、ステップエッジまたはラインエッジを含むと判定された分割領域ごとに、エッジ画像を推定するステップと、推定された上記エッジ画像と、エッジ成分に対応する基本画像とノイズ成分とが対応付けて記憶される参照情報とに基づいて、上記エッジ画像に対応するノイズ成分を特定するステップと、特定された上記エッジ画像に対応するノイズ成分を合成して、ノイズ画像を生成するステップと、を有する画像処理方法が提供される。
【００２０】
かかる方法を用いることによって、処理対象の画像信号に基づいて、エッジ部分に生ずる符号化ノイズを検出することができる。
【００２１】
また、上記目的を達成するために、本発明の第３の観点によれば、入力画像信号が示す符号化により非可逆圧縮された画像が分割された分割領域ごとに、分割領域が示す画像がステップエッジまたはラインエッジを含むか否かを判定するステップ、ステップエッジまたはラインエッジを含むと判定された分割領域ごとに、エッジ画像を推定するステップ、推定された上記エッジ画像と、エッジ成分に対応する基本画像とノイズ成分とが対応付けて記憶される参照情報とに基づいて、上記エッジ画像に対応するノイズ成分を特定するステップ、特定された上記エッジ画像に対応するノイズ成分を合成して、ノイズ画像を生成するステップ、をコンピュータに実行させるためのプログラムが提供される。
【００２２】
かかるプログラムを用いることによって、処理対象の画像信号に基づいて、エッジ部分に生ずる符号化ノイズを検出することができる。
【発明の効果】
【００２３】
本発明によれば、処理対象の画像信号に基づいて、エッジ部分に生ずる符号化ノイズを検出することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の第１の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図２】画像圧縮過程の概念を示す説明図である。
【図３】本発明の実施形態に係るエッジ画像推定部における処理の一例を説明するための説明図である。
【図４】本発明の実施形態に係るルックアップテーブルの一例を示す説明図である。
【図５】本発明の実施形態に係るノイズ画像生成部における処理の概要を説明するための説明図である。
【図６】本発明の実施形態に係るノイズ画像生成部における処理の概要を説明するための説明図である。
【図７】本発明の実施形態に係る画像処理方法に係る処理の一例を示す流れ図である。
【図８】本発明の第２の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図９】本発明の実施形態に係る参照情報生成部の構成の一例を示すブロック図である。
【図１０】本発明の実施形態に係る参照情報生成部における処理の概要を示す説明図である。
【発明を実施するための形態】
【００２５】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２６】
（本発明の実施形態に係る画像処理方法）
本発明の実施形態に係る画像処理装置の構成について説明する前に、本発明の実施形態に係る画像処理方法について説明する。また、以下では、本発明の実施形態に係る画像処理装置が、処理対象の画像信号（以下、「入力画像信号」と示す場合がある。）に対して、本発明の実施形態に係る画像処理方法に係る処理を行うものとして説明する。
【００２７】
ここで、本発明の実施形態に係る入力画像信号としては、例えば非可逆の符号化方式により符号化された動画像（または、複数の静止画像）、または静止画像を示す画像信号（例えば、符号化処理過程にＤＣＴを含むコーデックによって圧縮された画像を示す画像信号）が挙げられる。以下では、本発明の実施形態に係る画像処理装置が、フレーム画像（静止画像）からなる動画像を示す画像信号を処理するものとして説明する。ここで、本発明の実施形態に係るフレーム画像とは、例えば、動画像の１フレーム（動画像がインタレース画像の場合には、１フィールドに対応する。）に対応する画像である。以下では、本発明の実施形態に係る画像処理装置が、時間順に１フレームずつ入力される画像信号を処理する場合を例に挙げて説明する。
【００２８】
また、本発明の実施形態に係る画像処理装置は、例えば、本発明の実施形態に係る画像処理装置がテレビ塔などから送信された放送波を（直接的、またはセットトップボックスなどを介して間接的に）受信してデコードした結果得られる画像信号を、入力画像信号として処理する。なお、本発明の実施形態に係る画像処理装置が処理する入力画像信号は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置は、ネットワークを介して（または直接的に）外部装置から送信された入力画像信号を処理することも可能である。また、本発明の実施形態に係る画像処理装置は、例えば、記憶部（後述する）や、本発明の実施形態に係る画像処理装置から着脱可能な外部記録媒体に記憶された画像データをデコードすることにより得られた画像信号を処理してもよい。さらに、本発明の実施形態に係る画像処理装置が、例えば、画像（動画像／静止画像）を撮像することが可能な撮像部（後述する）を備えている場合、すなわち、本発明の実施形態に係る画像処理装置が撮像装置として機能する場合には、本発明の実施形態に係る画像処理装置は、例えば、当該撮像部（後述する）により撮像された画像に対応する画像信号を処理してもよい。
【００２９】
符号化により非可逆圧縮された画像を示す画像信号（入力画像信号）を処理する再生側の装置では、一般的に、圧縮前の原画像が未知であることが多い。そこで、本発明の実施形態に係る画像処理装置は、符号化ノイズの発生要因として、下記に示す（Ｉ）、（ＩＩ）の２つの条件を前提条件として、入力画像信号を処理することによって、エッジ部分に生ずる符号化ノイズを検出する。
【００３０】
（Ｉ）エッジ強度の大きな画素（コントラストの大きな画素）がより大きな符号化ノイズを発生させる。
（ＩＩ）画像のテクスチャ部分における輝度の振幅は、エッジ部分における輝度振幅より小さいと仮定し、画像のテクスチャ部分から発生する符号化ノイズは小さい、または、無いとする。
【００３１】
より具体的には、本発明の実施形態に係る画像処理装置は、画像を圧縮する際に生じる符号化ノイズが、主にコントラストの大きいエッジやライン（ラインエッジ）、あるいはインパルスからの寄与が大きいと仮定し、入力画像信号に基づいて、分割領域ごとにこれらの画像特徴を検出する（エッジ判定処理）。
【００３２】
ここで、本発明の実施形態に係る分割領域としては、例えば、８×８画素の矩形の領域や１６×１６画素の矩形の領域など、予め規定された大きさの領域が挙げられる。上記予め規定された大きさの領域は、例えば、本発明の実施形態に係る画像処理装置の用途（例えば、テレビジョン放送の再生や、Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標）の再生など）に応じて、設定される。なお、本発明の実施形態に係る分割領域は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置は、入力画像信号をデコードしたデコーダから、ブロック境界の情報（または、コーデックの情報）を取得する場合には、当該ブロック境界の情報が示すブロック境界に対応する領域を、分割領域としてもよい。また、本発明の実施形態に係る画像処理装置は、ビットストリームに基づいて分割領域を設定することも可能である。
【００３３】
また、本発明の実施形態に係る画像処理装置は、上記画像特徴が検出された分割領域ごとに、検出された上記画像特徴から導出されるノイズ成分を特定する。より具体的には、本発明の実施形態に係る画像処理装置は、上記画像特徴が検出された分割領域ごとに、検出された上記画像特徴からエッジ画像を推定する（エッジ画像推定処理）。また、本発明の実施形態に係る画像処理装置は、推定されたエッジ画像と、参照情報とに基づいて、当該エッジ画像に対応するノイズ成分を特定する（ノイズ成分特定処理）。
【００３４】
ここで、本発明の実施形態に係る参照情報とは、エッジ成分に対応する基本画像とノイズ成分とが対応付けて記憶されるデータである。本発明の実施形態に係る参照情報としては、例えば、ルックアップテーブル（Lookup table。以下では、「ＬＵＴ」と示す場合がある。）が挙げられる。なお、本発明の実施形態に係る参照情報は、基本画像とノイズ成分とを対応づけることが可能であれば、任意の形式のデータであってもよい。
【００３５】
そして、本発明の実施形態に係る画像処理装置は、特定されたノイズ成分を重ね合わせてノイズ画像を生成する（ノイズ画像生成処理）。ここで、ＤＣＴの線形性により、入力画像信号に基づくエッジ画像に対応するノイズ画像は、基本画像に対応するノイズ成分を合成したものと等しくなる。
【００３６】
本発明の実施形態に係る画像処理装置は、上記のように、入力画像信号に基づきエッジ画像を推定し、推定されたエッジ画像に基づきノイズ成分を特定することによって、入力画像信号に含まれうるノイズを検出する。
【００３７】
ここで、エッジ画像の推定結果は、ノイズ量の推定精度に影響するが、本発明の実施形態に係る画像処理装置は、分割領域ごとにステップエッジまたはラインエッジを検出することによって、エッジ画像を推定するので、エッジ画像をより高精度に推定することが可能である。よって、本発明の実施形態に係る画像処理装置は、入力画像信号に基づいて、エッジ部分に生ずる符号化ノイズをより高精度に検出することができる。
【００３８】
したがって、本発明の実施形態に係る画像処理装置は、処理対象の画像信号に基づいて、エッジ部分に生ずる符号化ノイズを検出することができる。
【００３９】
また、入力画像信号（非可逆圧縮された画像を示す画像信号）から、本発明の実施形態に係る画像処理装置が生成したノイズ画像を示す信号を減算すれば、入力画像信号に含まれうるノイズが低減される。ここで、上記ノイズを低減する処理（以下、「ノイズ低減処理」という。）は、原画像を推定する処理に相当する。
【００４０】
また、上記ノイズ低減処理では、平滑化処理を行わずにノイズが低減されるので、例えば画像のディティールが損われるなどのような、ノイズを低減する処理に伴う副作用が回避される。
【００４１】
以下、本発明の実施形態に係る画像処理装置の構成の一例について説明をすると共に、本発明の実施形態に係る画像処理方法に係る処理の具体例についても併せて説明する。
【００４２】
また、以下では、入力画像信号が、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８）により符号化される画像信号、すなわち、８×８画素のブロックにて符号化される画像信号である場合を例に挙げて、本発明の実施形態に係る画像処理装置の構成の一例、および本発明の実施形態に係る画像処理方法に係る処理の具体例について説明する。なお、本発明の実施形態に係る入力画像信号が、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８）により符号化される画像信号に限られないことは、言うまでもない。
【００４３】
また、以下では、本発明の実施形態に係る画像処理装置が、入力画像信号（非可逆圧縮された画像を示す画像信号）から生成したノイズ画像を示す信号を減算する、ノイズ低減処理を行う機能を有する場合を例に挙げて説明する。なお、本発明の実施形態に係る画像処理装置の構成は、ノイズ低減処理を行う機能を有する構成に限られない。例えば、本発明の実施形態に係る画像処理装置は、ノイズ低減処理を行う機能を有さずに、生成したノイズ画像を示す信号（ノイズの検出結果を示す信号）、または、生成したノイズ画像を示す信号と入力画像信号を、ノイズ低減処理を行う機能を有する外部装置に送信してもよい。
【００４４】
（本発明の第１の実施形態に係る画像処理装置）
図１は、本発明の第１の実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。画像処理装置１００は、例えば、分割領域設定部１０２と、エッジ判定部１０４と、エッジ画像推定部１０６と、ノイズ成分特定部１０８と、ノイズ画像生成部１１０と、ノイズ低減部１１２とを備える。
【００４５】
また、画像処理装置１００は、例えば、制御部（図示せず）や、ＲＯＭ（Read Only Memory。図示せず）、ＲＡＭ（Random Access Memory。図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）、外部装置と通信を行うための通信部（図示せず）、撮像部（図示せず）などを備えていてもよい。画像処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
【００４６】
ここで、制御部（図示せず）は、例えば、ＣＰＵ（Central Processing Unit）や各種処理回路などで構成され、画像処理装置１００全体を制御する。また、制御部（図示せず）は、例えば、分割領域設定部１０２、エッジ判定部１０４、エッジ画像推定部１０６、ノイズ成分特定部１０８、ノイズ画像生成部１１０、およびノイズ低減部１１２（または、これらのうちの１または２以上の部）の役目を果たしてもよい。なお、分割領域設定部１０２、エッジ判定部１０４、エッジ画像推定部１０６、ノイズ成分特定部１０８、ノイズ画像生成部１１０、およびノイズ低減部１１２は、各部の処理を実現可能な専用の（または汎用の）処理回路で構成されていてもよいことは、言うまでもない。
【００４７】
また、制御部（図示せず）は、例えば、ノイズ低減処理が行われた画像信号（以下、「出力画像信号」と示す。）をエンコードして、記憶部（図示せず）に記録する、および／または、出力画像信号が示す画像を表示部（図示せず）や外部表示装置の表示画面に表示させるなど、出力画像信号に対する処理を行う役目を果たしてもよい。
【００４８】
ＲＯＭ（図示せず）は、制御部（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部（図示せず）により実行されるプログラムなどを一時的に記憶する。
【００４９】
記憶部（図示せず）は、画像処理装置１００が備える記憶手段であり、例えば、画像データや、アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）などが挙げられる。また、記憶部（図示せず）は、画像処理装置１００から着脱可能であってもよい。
【００５０】
操作部（図示せず）としては、例えば、ボタンや、方向キー、あるいは、これらの組み合わせなどが挙げられる。また、画像処理装置１００は、例えば、画像処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）と接続することもできる。
【００５１】
表示部（図示せず）としては、例えば、液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機ＥＬディスプレイ（organic ElectroLuminescence display）などが挙げられる。なお、表示部（図示せず）は、例えばタッチスクリーンなどのように、表示とユーザ操作とが可能なデバイスであってもよい。また、画像処理装置１００は、表示部（図示せず）の有無に関わらず、画像処理装置１００の外部装置としての表示デバイス（例えば、外部ディスプレイなど）と接続することもできる。
【００５２】
通信部（図示せず）は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部装置と無線／有線で通信を行う。ここで、通信部（図示せず）としては、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）などが挙げられる。また、本発明の実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide Area Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ；Wireless Local Area Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless Wide Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
【００５３】
撮像部（図示せず）は、静止画像または動画像を撮像する役目を果たす。撮像部（図示せず）を備える場合には、画像処理装置１００は、例えば、撮像部（図示せず）における撮像により生成された画像信号を処理することが可能である。
【００５４】
ここで、本発明の実施形態に係る撮像部（図示せず）としては、例えば、レンズ／撮像素子と信号処理回路とから構成される撮像デバイスが挙げられる。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。また、信号処理回路は、例えば、ＡＧＣ（Automatic Gain Control）回路やＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理などが挙げられる。
【００５５】
画像処理装置１００は、例えば図１の構成によって、入力される入力画像信号に基づいて処理を行い、入力画像信号に含まれるノイズが低減された出力画像信号を出力する。ここで、本発明の実施形態に係る入力画像信号は、例えばＪＰＥＧやＭＰＥＧなどのように、符号化処理過程にＤＣＴを含むコーデックによって圧縮された画像（符号化により非可逆圧縮された画像）を示す。
【００５６】
図２は、画像圧縮過程の概念を示す説明図である。図２において、“Ｘ”は、圧縮前の原画像のブロック分割画像を示し、“Ｘ’”は、圧縮後のブロック分割画像を示している。また、図２において“Ｃ”は、ＤＣＴ係数を示し、“ＣＱ”は、量子化されたＤＣＴ係数、“Ｑ（）”は、量子化関数を示している。ここで、量子化とは、ＤＣＴ係数に対して情報量を削減するために行われる処理である。また、図２に示すエントロピー符号化、およびエントロピー復号化は、多値データを２値データに変換、逆変換する可逆的な処理である。また、図２に示す“Ｃ’”は、逆量子化されたＤＣＴ係数を示しており、“Ｑ−１（）”は、逆量子化関数を示している。また、図２に示す“Ｎ”は、符号化ノイズを示している。
【００５７】
第１の実施形態に係る画像処理装置１００は、原画像が未知である状態において、符号化ノイズ“Ｎ”を推定して、推定された符号化ノイズ（検出された符号化ノイズ）を低減する。以下、図１に示す第１の実施形態に係る画像処理装置１００の構成例について説明しつつ、画像処理装置１００における処理（画像処理方法に係る処理）の一例について説明する。
【００５８】
分割領域設定部１０２は、入力画像信号に基づいて、入力画像信号が示す画像に対して分割領域を設定する。
【００５９】
エッジ判定部１０４は、本発明の実施形態に係る画像処理方法に係る上記エッジ判定処理を主導的に行う役目を果たし、設定された分割領域ごとに、分割領域が示す画像がステップエッジまたはラインエッジを含むか否かを判定する。ここで、ステップエッジとは、例えば、輝度が階段状（ステップ状）に変化するエッジであり、また、ラインエッジとは、例えば、輝度の変化がパルス状となるエッジである。エッジ判定部１０４は、例えば、判別分析法（大津の２値化）を用いて、分割領域に対応する画像内の輝度ヒストグラムが特定の２つの値に集中していることを調べることによって、ステップエッジまたはラインエッジを含むか否かを判定する。
【００６０】
なお、本発明の実施形態に係るエッジ判定部１０４における処理は、上記に限られない。例えば、エッジ判定部１０４は、隣接画素間の微分値と、当該微分値の空間的な連続性とをさらに考慮して、ステップエッジまたはラインエッジを含むか否かを判定してもよい。隣接画素間の微分値と、当該微分値の空間的な連続性とをさらに考慮することによって、エッジ判定部１０４は、例えば、分割領域に対応する画像が市松模様を示す場合において、当該分割領域が、ステップエッジまたはラインエッジを含む分割領域であると誤判定することを防止することが可能となる。つまり、隣接画素間の微分値と、当該微分値の空間的な連続性とをさらに考慮することによって、エッジ判定部１０４は、エッジの検出精度をさらに向上させることができる。
【００６１】
また、エッジ判定部１０４は、設定された分割領域ごとに、文字領域（例えば、テロップを含む領域）をさらに検出する機能を有していてもよい。ここで、例えば、放送に係る画像では、文字のまわりにモスキートノイズが目立つことが多い。また、文字を構成するエッジはステップエッジであることが多く、文字内部の輝度分布は平坦かグラデーションであることが多い。よって、例えば、エッジ判定部１０４が文字領域をさらに検出する機能を有する場合には、エッジの検出精度をさらに向上させることができる。
【００６２】
例えば上記のように、エッジ判定部１０４がエッジの検出精度をさらに向上させることによって、画像処理装置１００では、後述するエッジ画像推定部１０６におけるエッジ画像の推定精度を向上させることができ、また、その結果、画像処理装置１００におけるノイズ量推定精度も向上させることができる。
【００６３】
エッジ画像推定部１０６は、本発明の実施形態に係る画像処理方法に係る上記エッジ画像推定処理を主導的に行う役目を果たし、ステップエッジまたはラインエッジを含むと判定された分割領域（以下、「エッジ分割領域」と示す場合がある。）ごとに、エッジ画像を推定する。より具体的には、エッジ画像推定部１０６は、例えば、エッジ分割領域ごとに、ステップエッジで構成される画像（以下、「ステップエッジ画像」と示す。）を、エッジ画像として推定する。なお、エッジ画像推定部１０６は、例えば、分割領域がラインエッジを含むと判定された場合には、ラインエッジで構成される画像を、エッジ画像として推定してもよい。以下では、エッジ画像推定部１０６が、ステップエッジ画像をエッジ画像として推定する場合を例に挙げて説明する。
【００６４】
ここで、視覚的に目立つ符号化ノイズは、画像を構成する主要なステップエッジから発生するノイズが主な原因である。そのため、主要なエッジは、圧縮率が極端に高くない場合には、変換符号化による圧縮後も周波数特性が保存される可能性が高い。エッジ画像推定部１０６は、上記主要なエッジが圧縮後も周波数特性が保存される可能性が高いことに基づき、処理を行う。
【００６５】
図３は、本発明の実施形態に係るエッジ画像推定部１０６における処理の一例を説明するための説明図である。なお、以下では、説明の簡単化のため、２次元画像ではなく、１次元画像を用いて、画像処理装置１００における、本発明の実施形態に係る画像処理方法に係る処理について説明する。
【００６６】
図３に示すＡは、理想的なステップエッジを含む画像信号が符号化により圧縮された入力画像信号における、ステップエッジを含む分割領域に対応する画像の一例を示している。また、図３に示すＢは、図３のＡに示す画像から推定されるステップエッジ画像の一例を示している。また、図３に示すＣは、図３のＢに示す画像のオフセット画像を示している。
【００６７】
エッジ画像推定部１０６は、例えば、エッジ分割領域と判定された分割領域の画像内の輝度値の最大値と最小値を求め、当該分割領域内の画素をそれらの輝度値に近い画素に分類することによって、ステップエッジ画像を推定する。ここで、エッジ画像推定部１０６におけるステップエッジ画像の推定は、エッジ分割領域と判定された分割領域に対応する画像を、ステップエッジ画像に近似する処理に相当する。なお、本発明の実施形態に係るエッジ画像推定部１０６における処理は、上記に限られない。例えば、エッジ画像推定部１０６は、判別分析法を用いる手法や、ｋ−平均クラスタリングを用いる手法を用いてステップエッジ画像を推定してもよい。
【００６８】
ここで、実際の画像では、エッジを示す画素（以下、「エッジ画素」と示す。）以外の部分は全くの平坦ではなく、例えば、グラデーションを示したり、微小な輝度振幅が存在することがありうる。画像処理装置１００は、上記のような場合においても、ステップエッジに近似した画像から生じる符号化ノイズが、原画像を圧縮した際に生じる符号化ノイズの中で大きな割合を占めると仮定して、エッジ画像推定部１０６によってステップエッジに近似された画像から符号化ノイズを推定する。
【００６９】
上記のようにステップエッジに近似された画像から符号化ノイズを推定することによって、画像処理装置１００は、従来の平滑化手法を用いる場合には損なわれてしまうグラデーションや微小な輝度振幅を残したまま、原画像を推定することが可能となる。
【００７０】
ノイズ成分特定部１０８は、本発明の実施形態に係る画像処理方法に係る上記ノイズ成分特定処理を主導的に行う役目を果たし、エッジ画像推定部１０６において推定されたエッジ画像と、参照情報とに基づいて、エッジ画像に対応するノイズ成分を特定する。ここで、図１では、本発明の実施形態に係る参照情報として、ルックアップテーブル１５０を示している。ノイズ成分特定部１０８は、例えば記憶部（図示せず）に記憶されているルックアップテーブル１５０（参照情報の一例）を適宜読み出すことによって、エッジ画像推定部１０６において推定されたエッジ画像に対応するノイズ成分を特定する。
【００７１】
なお、本発明の実施形態に係るノイズ成分特定部１０８における処理は、上記に限られない。例えば、ノイズ成分特定部１０８は、ネットワークを介して（または直接的に）通信可能な、ルックアップテーブル１５０（参照情報の一例）を記憶する外部装置と通信を行うことによって、推定されたエッジ画像に対応するノイズ成分を特定することも可能である。より具体的には、ノイズ成分特定部１０８は、例えば、エッジ画像推定部１０６において推定されたエッジ画像を含み、ノイズ成分を外部装置に送信させるためのノイズ成分送信要求を、通信部（図示せず）を介して外部装置へ送信する。そして、ノイズ成分特定部１０８は、上記ノイズ成分送信要求に応じて外部装置から送信された、ノイズ成分を示すデータを、通信部（図示せず）を介して受信することによって、推定されたエッジ画像に対応するノイズ成分を特定する。
【００７２】
図４は、本発明の実施形態に係るルックアップテーブル１５０の一例を示す説明図である。図４に示すように、ルックアップテーブル１５０には、エッジ成分に対応する基本画像と、ノイズ成分とが対応付けて記憶される。
【００７３】
本発明の実施形態に係るルックアップテーブル１５０（参照情報の一例）は、例えば、画像処理装置１００の外部装置によって生成される。より具体的には、上記外部装置は、基本画像を示す信号と、基本画像が符号化により非可逆圧縮された画像を示す信号とに基づいて、ノイズ成分を生成する。そして、上記外部装置は、基本画像と生成したノイズ成分とを対応付けて記録することによって、ルックアップテーブル１５０（参照情報の一例）を生成する。
【００７４】
なお、本発明の実施形態に係るルックアップテーブル（参照情報の一例）は、外部装置によって生成されることに限られない。例えば、本発明の実施形態に係る画像処理装置が、ルックアップテーブル（参照情報の一例）を生成する参照情報生成部を備える場合には、本発明の実施形態に係る画像処理装置は、参照情報生成部において生成されるルックアップテーブル（参照情報の一例）を用いて、処理を行うことが可能である。参照情報生成部を備える構成の一例、および本発明の実施形態に係る参照情報の生成に係る処理の具体例については、後述する本発明の第２の実施形態に係る画像処理装置において説明する。
【００７５】
また、本発明の実施形態に係るルックアップテーブル１５０は、図４に示す例に限られない。例えば図４に示すように、対象位置にあたる２つの基本画像対（画素位置１および８、画素位置２および７、画素位置３および６、画素位置４および５）は、ＤＣＴの対称性により、左右対象なノイズ成分を有することが分かる。例えば、画素位置１の基本画像と画素位置８の基本画像に着目すると、これらの基本画像は左右対称であり、また、これらの基本画像に対応するノイズ成分波形も左右対称である。よって、例えば８画素から成る１次元画像の場合、ルックアップテーブル１５０には、画素位置１から４までの４組について基本画像とノイズ成分とが対応付けられていてもよい。
【００７６】
ノイズ成分特定部１０８は、例えば図４に示すルックアップテーブル１５０を参照し、エッジ画像推定部１０６から伝達される推定されたエッジ画像中の各画素に対応する符号化ノイズ成分を特定する。そして、ノイズ成分特定部１０８は、エッジ分割領域ごとに特定された、１または２以上の符号化ノイズ成分を、ノイズ画像生成部１１０へ伝達する。
【００７７】
再度図１を参照して、本発明の実施形態に係る画像処理装置１００の構成の一例について説明する。ノイズ画像生成部１１０は、ノイズ成分特定部１０８において特定されたエッジ画像に対応するノイズ成分を合成して、ノイズ画像を生成する。
【００７８】
図５は、本発明の実施形態に係るノイズ画像生成部１１０における処理の概要を説明するための説明図である。ここで、図５に示すＡは、エッジ画像推定部１０６が推定した、あるエッジ分割領域におけるエッジ画像（小さい平坦部側の輝度値が全て０（ゼロ）になるようにオフセットされたオフセット画像）の一例を示している。また、図５に示すＢ〜Ｅは、ノイズ成分特定部１０８において特定された、図５に示すＡに示す画像に対応するノイズ成分を示している。より具体的には、図５に示すＢは、図４の画素位置１に示す基本画像に対応するノイズ成分を示しており、図５に示すＣ〜Ｅは、図４の画素位置２〜４に示す基本画像に対応するノイズ成分をそれぞれ示している。そして、図５に示すＦは、ノイズ画像生成部１１０が、図５に示すＢ〜Ｅに示すノイズ成分を合成して生成したノイズ画像の一例を示している。
【００７９】
ここで、ＤＣＴの線形性により、図５のＡに示すエッジ画像に対応するノイズ画像は、図４の画素位置１〜４に示す基本画像に対応するノイズ成分を合成したものと等しくなる。ノイズ画像生成部１１０は、上記ＤＣＴの線形性を利用することによって、ノイズ成分特定部１０８において特定されたエッジ画像に対応するノイズ成分に基づきノイズ画像を生成する。
【００８０】
ノイズ低減部１１２は、本発明の実施形態に係る画像処理方法に係る上記ノイズ低減処理を主導的に行う役目を果たし、入力画像信号から、ノイズ画像生成部１１０から伝達されるノイズ画像を示す信号を減算して、入力画像信号のノイズを低減する。
【００８１】
図６は、本発明の実施形態に係るノイズ画像生成部１１０における処理の概要を説明するための説明図である。図６に示すＡは、ある分割領域に対応する原画像の一例を示しており、当該原画像は、画像処理装置１００において未知なものである。また、図６に示すＢは、図６のＡに示す画像が符号化により圧縮された画像の一例を示しており、図６のＢに示す画像は、入力画像信号における上記ある分割領域に対応する画像に該当する。また、図６に示すＣは、図６のＢに示す画像に対して処理が行われた結果、ノイズ画像生成部１１０において生成されるノイズ画像の一例を示している。そして、図６に示すＤは、ノイズ低減部１１２において、図６のＢに示す画像に対応する信号から図６のＣに示すノイズ画像に対応する信号を減算した結果を示している。なお、図６のＤでは、比較を容易とするために、減算した結果に加えて、図６のＡに示す画像と図６のＢに示す画像とを重ねて表示している。
【００８２】
ノイズ低減部１１２は、例えば図６に示すように、入力画像信号からノイズ画像を示す信号を減算することによって、入力画像信号のノイズを低減する。また、ノイズ低減部１１２は、入力画像信号からノイズ画像を示す信号を減算することによって、原画像を推定することができる。ここで、２次元画像の場合、従来の平滑化手法を用いるときには、テクスチャが失われる可能性があるが、ノイズ低減部１１２は、平滑化処理を行わずにノイズを低減するので、テクスチャが失われるなどのノイズ低減処理に起因する副作用は原理的に発生しない。
【００８３】
よって、ノイズ低減部１１２は、ノイズ低減処理に起因する画質の低下を防止しつつ、例えばモスキートノイズなどのようなエッジ部分に生ずる符号化ノイズを低減することができる。
【００８４】
本発明の第１の実施形態に係る画像処理装置１００は、例えば、図１に示す構成によって、本発明の実施形態に係る画像処理方法に係る処理（例えば、エッジ判定処理、エッジ画像推定処理、ノイズ成分特定処理、およびノイズ画像生成処理）を実現する。画像処理装置１００は、観測画像の空間周波数などからノイズらしい成分を推定する従来の手法に対して、検出された画像を構成する主要なエッジ（例えば、ステップエッジやラインエッジ）に基づき、基本画像に対応するノイズ成分を合成したノイズ画像を生成することによって、ノイズ成分を推定する。ここで、ＤＣＴの線形性により、入力画像信号に基づくエッジ画像に対応するノイズ画像は、基本画像に対応するノイズ成分を合成したものと等しくなる。
【００８５】
したがって、本発明の実施形態に係る画像処理装置は、処理対象の画像信号に基づいて、エッジ部分に生ずる符号化ノイズを検出することができる。
【００８６】
また、画像処理装置１００は、入力画像信号から生成したノイズ画像を示す信号を減算することによって、入力画像信号に含まれるノイズを低減する。また、画像処理装置１００は、ノイズ低減処理に際して平滑化処理を行わない。
【００８７】
よって、画像処理装置１００は、処理対象の画像信号に基づいて、エッジ部分に生ずる符号化ノイズを低減することができる。また、画像処理装置１００は、平滑化処理を行うことなく、符号化ノイズ量を推定して、原画像を推定することができる。
【００８８】
なお、本発明の実施形態に係る画像処理装置の構成は、図１に示す構成に限られない。例えば、図１では分割領域設定部１０２を備える構成を示しているが、本発明の実施形態に係る画像処理装置は、分割領域設定部１０２を備えず、エッジ判定部１０４が分割領域設定部１０２の機能をさらに有していてもよい。
【００８９】
（本発明の実施形態に係る画像処理方法に係る処理）
次に、本発明の実施形態に係る画像処理方法に係る処理の一例について説明する。図７は、本発明の実施形態に係る画像処理方法に係る処理の一例を示す流れ図である。ここで、図７は、上述した図１に示す第１の実施形態に係る画像処理装置１００における、動画像の１フレームごとの処理の一例を示している。
【００９０】
画像処理装置１００は、分割領域がエッジ分割領域であるか否かを判定する（Ｓ１００）。ステップＳ１００の処理は、例えば、エッジ判定部１０４が行う。
【００９１】
ステップＳ１００の処理が完了すると、画像処理装置１００は、設定された全ての分割領域に対して処理が完了するまで、後述するステップＳ１０２〜Ｓ１１０の処理を繰り返す。
【００９２】
画像処理装置１００は、処理対象の分割領域がエッジ分割領域であるか否かを判定する（Ｓ１０２）。ステップＳ１０２の処理は、例えば、エッジ画像推定部１０６が、エッジ判定部１０４の判定結果に基づき行う。
【００９３】
ステップＳ１０２において処理対象の分割領域がエッジ分割領域であると判定されない場合には、画像処理装置１００は、当該分割領域に対する処理を終了する。
【００９４】
また、ステップＳ１０２において処理対象の分割領域がエッジ分割領域であると判定された場合には、画像処理装置１００は、エッジ画像を推定する（Ｓ１０４）。ステップＳ１０４の処理は、例えば、エッジ画像推定部１０６が行う。
【００９５】
ステップＳ１０４の処理が完了すると、画像処理装置１００は、ステップＳ１０４において推定されたエッジ画像と参照情報とに基づいて、エッジ画像に対応するノイズ成分を特定する（Ｓ１０６）。ステップＳ１０６の処理は、例えば、ノイズ成分特定部１０８が行う。
【００９６】
ステップＳ１０６の処理が完了すると、画像処理装置１００は、ステップＳ１０６において特定されたエッジ画像に対応するノイズ成分を合成して、ノイズ画像を生成する（Ｓ１０８）。ステップＳ１０８の処理は、例えば、ノイズ画像生成部１１０が行う。
【００９７】
ステップＳ１１０の処理が完了すると、画像処理装置１００は、入力画像信号から、ステップＳ１１０において生成されたノイズ画像を示す信号を減算して、入力画像信号のノイズを低減する（Ｓ１１０）。ステップＳ１１０の処理は、例えば、ノイズ低減部１１２が行う。
【００９８】
画像処理装置１００は、設定された全ての分割領域に対して処理が完了すると、入力画像信号に対する処理を終了する。
【００９９】
画像処理装置１００は、例えば図７に示すステップＳ１００〜Ｓ１０８の処理を行うことによって、処理対象の画像信号に基づいて、エッジ部分に生ずる符号化ノイズを検出し、また、図７に示すステップＳ１１０の処理を行うことによって、エッジ部分に生ずる符号化ノイズを低減する。なお、本発明の実施形態に係る画像処理装置における処理は、図７に示す処理に限られない。例えば、本発明の実施形態に係る画像処理装置は、全ての分割領域に対してステップＳ１０２〜Ｓ１０８の処理が行われた後に、ステップＳ１１０の処理を行うことも可能である。
【０１００】
また、本発明の実施形態に係る画像処理装置がノイズ低減処理を行う機能を有していない場合には、本発明の実施形態に係る画像処理装置は、ステップＳ１１０の処理を行わないことも可能である。また、上記の場合には、本発明の実施形態に係る画像処理装置は、例えば、生成したノイズ画像を示す信号（ノイズの検出結果を示す信号）、または、生成したノイズ画像を示す信号と入力画像信号を、ノイズ低減処理を行う機能を有する外部装置に送信してもよい。
【０１０１】
（本発明の第２の実施形態に係る画像処理装置）
例えば図１に示す第１の実施形態に係る画像処理装置１００（または、第１の実施形態の変形例に係る画像処理装置。以下、同様とする。）の構成によって、本発明の実施形態に係る画像処理方法に係る処理を実現し、処理対象の画像信号に基づいて、エッジ部分に生ずる符号化ノイズを検出することができる。また、例えば図１に示す第１の実施形態に係る画像処理装置１００の構成によって、検出したノイズを低減することができる。しかしながら、本発明の実施形態に係る画像処理方法に係る処理を実現することが可能な構成は、図１に示す構成に限られない。
【０１０２】
図８は、本発明の第２の実施形態に係る画像処理装置２００の構成の一例を示すブロック図である。
【０１０３】
図８に示す本発明の第２の実施形態に係る画像処理装置２００は、図１に示す第１の実施形態に係る画像処理装置１００と基本的に同様の構成を有するが、図１に示す第１の実施形態に係る画像処理装置１００と比較すると、第２の実施形態に係る画像処理装置２００は、参照情報生成部２０２をさらに備えている。
【０１０４】
参照情報生成部２０２は、基本画像を示す信号と、基本画像が符号化により非可逆圧縮された画像を示す信号とに基づいて、ノイズ成分を生成する。そして、参照情報生成部２０２は、基本画像と生成したノイズ成分とを対応付けて記録することによって、参照情報を生成する。ここで、図８では、参照情報生成部２０２が生成する参照情報として、ルックアップテーブル１５０を示している。
【０１０５】
図９は、本発明の実施形態に係る参照情報生成部２０２の構成の一例を示すブロック図である。参照情報生成部２０２は、例えば、ＤＣＴ演算部２０４と、ＤＣＴ係数量子化部２０６と、ＩＤＣＴ演算部２０８と、ノイズ成分生成部２１０と、情報生成部２１２とを備え、基本画像を示す基本画像信号に基づいて、参照情報を生成する。
【０１０６】
ここで、本発明の実施形態に係る基本画像とは、エッジ成分に対応する画像である。より具体的には、本発明の実施形態に係る基本画像は、例えば図４に示すように、符号化ブロックサイズの画像内において、１つの画素だけ値を有し、他の画素の値は全て０（ゼロ）であるような画像である。参照情報生成部２０２は、例えば、記憶部（図示せず）などに記憶されている基本画像を示すデータを読み出して処理を行う。なお、参照情報生成部２０２は、基本画像を示すデータを、ネットワークを介して（または直接的に）通信可能な外部装置から通信部（図示せず）を介して取得して処理を行ってもよい。
【０１０７】
ＤＣＴ演算部２０４は、基本画像信号に対してＤＣＴを行い、ＤＣＴ係数をＤＣＴ係数量子化部２０６へ伝達する。ＤＣＴ係数量子化部２０６は、伝達されるＤＣＴ係数を量子化し、量子化されたＤＣＴ係数をＩＤＣＴ演算部２０８へ伝達する。ＤＣＴ演算部２０４、およびＤＣＴ係数量子化部２０６における処理によって、基本画像信号のエンコード（符号化）がなされる。
【０１０８】
ＩＤＣＴ演算部２０８は、量子化されたＤＣＴ係数に対して、逆量子化、およびＩＤＣＴ（Inverse Discrete Cosine Transform。逆離散コサイン変換）を行い、量子化されたＤＣＴ係数をデコード（復号）する。ＩＤＣＴ演算部２０８における処理によって、基本画像が符号化により非可逆圧縮された画像を示す信号が得られる。
【０１０９】
ノイズ成分生成部２１０は、ＩＤＣＴ演算部２０８から伝達される、基本画像が符号化により非可逆圧縮された画像を示す信号から、基本画像信号を減算することによって、基本画像に対応するノイズ成分を得る。ここで、ノイズ成分生成部２１０は、例えば記憶部（図示せず）などに記憶されている量子化テーブル２５０と、量子化スケールを示す量子化スケールデータ２５２に基づいて、処理を行う。
【０１１０】
ここで、量子化テーブル２５０と、量子化スケールデータ２５２とは、例えば、入力画像信号に対応するビットストリーム（符号化したビットストリーム）に基づいて、画像処理装置２００（または、画像処理装置２００の外部装置）が備える設定部（図示せず）によって設定される。設定部（図示せず）が、入力画像信号に対応するビットストリームに基づいて、量子化テーブル２５０と量子化スケールデータ２５２とを設定することによって、ノイズ成分生成部２１０は、入力画像信号に対応するノイズ成分を生成することができる。
【０１１１】
なお、ノイズ成分生成部２１０が処理に用いる量子化テーブル２５０と、量子化スケールデータ２５２とは、上記に限られない。例えば、ノイズ成分生成部２１０は、予め設定された量子化テーブル２５０と、予め設定された量子化スケールデータ２５２とに基づいて処理を行うことも可能である。
【０１１２】
情報生成部２１２は、基本画像信号と、ノイズ成分生成部２１０から伝達されるノイズ成分とに基づいて、基本画像とノイズ成分とが対応付けて記憶される参照情報を生成する。ここで、情報生成部２１２における参照情報の生成とは、例えば、参照情報の新規生成が挙げられるが、情報生成部２１２における処理は、上記に限られない。例えば、参照情報が既に生成されている場合には、情報生成部２１２は、当該既に生成されている参照情報を更新する。つまり、情報生成部２１２における参照情報の生成とは、例えば、参照情報の新規生成、または、既に生成されている参照情報の更新を意味する。
【０１１３】
図１０は、本発明の実施形態に係る参照情報生成部２０２における処理の概要を示す説明図である。
【０１１４】
ここで、図１０に示すＡは、基本画像信号が示す基本画像の一例を示しており、８画素からなる１次元画像において、先頭画素のみ値を有する基本画像を示している。また、図１０に示すＢは、ＤＣＴ演算部２０４が図１０のＡに示す基本画像に対してＤＣＴを行って得られたＤＣＴ係数、およびＤＣＴ係数量子化部２０６がＤＣＴ係数を量子化した量子化後のＤＣＴ係数を示している。
【０１１５】
また、図１０に示すＣは、ＩＤＣＴ演算部２０８が図１０のＢに示す量子化後のＤＣＴ係数に対してＩＤＣＴを行った結果、すなわち、基本画像が符号化により非可逆圧縮された画像を示している。また、図１０に示すＤは、ノイズ成分生成部２１０が、図１０のＣに示す基本画像が符号化により非可逆圧縮された画像を示す信号から、図１０のＡに示す基本画像を示す基本画像信号を減算した結果、すなわち、ノイズ成分を示している。そして、図１０に示すＥは、情報生成部２１２が、図１０のＡに示す基本画像と、図１０のＤに示すノイズ成分とを対応付けて記録したルックアップテーブル（参照情報の一例）を示している。
【０１１６】
参照情報生成部２０２は、例えば図１０に示す処理を、例えば図４に示すような基本画像ごとに行うことによって、参照情報を生成する。
【０１１７】
本発明の第２の実施形態に係る画像処理装置２００は、図１に示す第１の実施形態に係る画像処理装置１００と基本的に同様の構成を有する。したがって、画像処理装置２００は、図８に示す構成によって、図１に示す第１の実施形態に係る画像処理装置１００と同様に、処理対象の画像信号に基づいて、エッジ部分に生ずる符号化ノイズを検出することができる。
【０１１８】
また、画像処理装置２００は、図８に示す構成によって、図１に示す第１の実施形態に係る画像処理装置１００と同様に、処理対象の画像信号に基づいて、エッジ部分に生ずる符号化ノイズを低減することができる。さらに、画像処理装置２００は、図１に示す第１の実施形態に係る画像処理装置１００と同様に、平滑化処理を行うことなく、符号化ノイズ量を推定して、原画像を推定することができる。
【０１１９】
以上、本発明の実施形態として画像処理装置を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、デジタルカメラなどの撮像装置、ＰＣやサーバなどのコンピュータ、テレビ受像機などの表示装置、携帯電話やスマートフォンなどの通信装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機など、画像信号の処理が可能な様々な機器に適用することができる。また、本発明の実施形態は、例えば、上記のような機器に組み込むことが可能な、画像処理ＩＣ（Integrated Circuit）に適用することもできる。
【０１２０】
（本発明の実施形態に係るプログラム）
コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（例えば、エッジ判定処理、エッジ画像推定処理、ノイズ成分特定処理、およびノイズ画像生成処理など、本発明の実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム）によって、処理対象の画像信号に基づいて、処理対象の画像信号に基づいて、エッジ部分に生ずる符号化ノイズを検出することができる。
【０１２１】
また、コンピュータを、図１や図８に示すノイズ低減部１１２を備える画像処理装置として機能させるためのプログラム（例えば、さらにノイズ低減処理を実行することが可能なプログラム）によって、エッジ部分に生ずる符号化ノイズを低減しつつ、処理後の画像における画質の低下を防止することができる。
【０１２２】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１２３】
例えば、上記では、コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムをそれぞれ記憶させた記録媒体も併せて提供することができる。
【符号の説明】
【０１２４】
１００、２００ 画像処理装置
１０２ 分割領域設定部
１０４ エッジ判定部
１０６ エッジ画像推定部
１０８ ノイズ成分特定部
１１０ ノイズ画像生成部
１１２ ノイズ低減部
２０２ 参照情報生成部
【特許請求の範囲】
【請求項１】
入力画像信号が示す符号化により非可逆圧縮された画像が分割された分割領域ごとに、分割領域が示す画像がステップエッジまたはラインエッジを含むか否かを判定するエッジ判定部と、
ステップエッジまたはラインエッジを含むと判定された分割領域ごとに、エッジ画像を推定するエッジ画像推定部と、
推定された前記エッジ画像と、エッジ成分に対応する基本画像とノイズ成分とが対応付けて記憶される参照情報とに基づいて、前記エッジ画像に対応するノイズ成分を特定するノイズ成分特定部と、
特定された前記エッジ画像に対応するノイズ成分を合成して、ノイズ画像を生成するノイズ画像生成部と、
を備えることを特徴とする、画像処理装置。
【請求項２】
前記基本画像を示す信号と、前記基本画像が符号化により非可逆圧縮された画像を示す信号とに基づいて、ノイズ成分を生成し、前記参照情報を生成する参照情報生成部をさらに備えることを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記参照情報は、ルックアップテーブルであることを特徴とする、請求項１、または２に記載の画像処理装置。
【請求項４】
前記入力画像信号から前記ノイズ画像を示す信号を減算して、前記入力画像信号のノイズを低減するノイズ低減部をさらに備えることを特徴とする、請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
入力画像信号が示す符号化により非可逆圧縮された画像が分割された分割領域ごとに、分割領域が示す画像がステップエッジまたはラインエッジを含むか否かを判定するステップと、
ステップエッジまたはラインエッジを含むと判定された分割領域ごとに、エッジ画像を推定するステップと、
推定された前記エッジ画像と、エッジ成分に対応する基本画像とノイズ成分とが対応付けて記憶される参照情報とに基づいて、前記エッジ画像に対応するノイズ成分を特定するステップと、
特定された前記エッジ画像に対応するノイズ成分を合成して、ノイズ画像を生成するステップと、
を有することを特徴とする、画像処理方法。
【請求項６】
入力画像信号が示す符号化により非可逆圧縮された画像が分割された分割領域ごとに、分割領域が示す画像がステップエッジまたはラインエッジを含むか否かを判定するステップ、
ステップエッジまたはラインエッジを含むと判定された分割領域ごとに、エッジ画像を推定するステップ、
推定された前記エッジ画像と、エッジ成分に対応する基本画像とノイズ成分とが対応付けて記憶される参照情報とに基づいて、前記エッジ画像に対応するノイズ成分を特定するステップ、
特定された前記エッジ画像に対応するノイズ成分を合成して、ノイズ画像を生成するステップ、
をコンピュータに実行させるためのプログラム。
【請求項１】
入力画像信号が示す符号化により非可逆圧縮された画像が分割された分割領域ごとに、分割領域が示す画像がステップエッジまたはラインエッジを含むか否かを判定するエッジ判定部と、
ステップエッジまたはラインエッジを含むと判定された分割領域ごとに、エッジ画像を推定するエッジ画像推定部と、
推定された前記エッジ画像と、エッジ成分に対応する基本画像とノイズ成分とが対応付けて記憶される参照情報とに基づいて、前記エッジ画像に対応するノイズ成分を特定するノイズ成分特定部と、
特定された前記エッジ画像に対応するノイズ成分を合成して、ノイズ画像を生成するノイズ画像生成部と、
を備えることを特徴とする、画像処理装置。
【請求項２】
前記基本画像を示す信号と、前記基本画像が符号化により非可逆圧縮された画像を示す信号とに基づいて、ノイズ成分を生成し、前記参照情報を生成する参照情報生成部をさらに備えることを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記参照情報は、ルックアップテーブルであることを特徴とする、請求項１、または２に記載の画像処理装置。
【請求項４】
前記入力画像信号から前記ノイズ画像を示す信号を減算して、前記入力画像信号のノイズを低減するノイズ低減部をさらに備えることを特徴とする、請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
入力画像信号が示す符号化により非可逆圧縮された画像が分割された分割領域ごとに、分割領域が示す画像がステップエッジまたはラインエッジを含むか否かを判定するステップと、
ステップエッジまたはラインエッジを含むと判定された分割領域ごとに、エッジ画像を推定するステップと、
推定された前記エッジ画像と、エッジ成分に対応する基本画像とノイズ成分とが対応付けて記憶される参照情報とに基づいて、前記エッジ画像に対応するノイズ成分を特定するステップと、
特定された前記エッジ画像に対応するノイズ成分を合成して、ノイズ画像を生成するステップと、
を有することを特徴とする、画像処理方法。
【請求項６】
入力画像信号が示す符号化により非可逆圧縮された画像が分割された分割領域ごとに、分割領域が示す画像がステップエッジまたはラインエッジを含むか否かを判定するステップ、
ステップエッジまたはラインエッジを含むと判定された分割領域ごとに、エッジ画像を推定するステップ、
推定された前記エッジ画像と、エッジ成分に対応する基本画像とノイズ成分とが対応付けて記憶される参照情報とに基づいて、前記エッジ画像に対応するノイズ成分を特定するステップ、
特定された前記エッジ画像に対応するノイズ成分を合成して、ノイズ画像を生成するステップ、
をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−１１０５２９（Ｐ２０１３−１１０５２９Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５３２０２（Ｐ２０１１−２５３２０２）
【出願日】平成２３年１１月１８日（２０１１．１１．１８）
【出願人】（５９８０４５０５８）株式会社サムスン横浜研究所 (294)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月１８日（２０１１．１１．１８）
【出願人】（５９８０４５０５８）株式会社サムスン横浜研究所 (294)
【Ｆターム（参考）】
[ Back to top ]