画像処理装置、画像処理方法、およびプログラム
【課題】処理対象の画像信号に基づいて、リンギングノイズを検出することが可能な、画像処理装置、画像処理方法、およびプログラムを提供する。
【解決手段】入力画像信号に基づいて、入力画像信号が示す画像が符号化単位に分割された分割領域ごとに、直線エッジを検出する直線エッジ検出部と、直線エッジが検出された分割領域ごとに、分割領域に対応する入力画像信号の輝度信号の振幅に基づいて、リンギングノイズを検出するノイズ検出部と、を備える画像処理装置が提供される。
【解決手段】入力画像信号に基づいて、入力画像信号が示す画像が符号化単位に分割された分割領域ごとに、直線エッジを検出する直線エッジ検出部と、直線エッジが検出された分割領域ごとに、分割領域に対応する入力画像信号の輝度信号の振幅に基づいて、リンギングノイズを検出するノイズ検出部と、を備える画像処理装置が提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
例えば、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８）や、ＭＰＥＧ−４（ＩＳＯ／ＩＥＣ １４４９６）など、所定の符号化方式にて圧縮された画像が広く用いられている。例えば上記のような符号化方式が用いられる場合には、画像が非可逆に圧縮される。そのため、例えば上記のような符号化方式は、画像のデータ量の削減には有利であるが、その反面、例えばリンギングノイズ（Ringing Noise）などの符号化に起因するノイズ（歪み）が、画像をみるユーザに認識されてしまうことが起こりうる。
【０００３】
このような中、符号化に起因するノイズの低減を図る技術が開発されている。符号化に起因するノイズの低減を図る技術としては、例えば、特許文献１に記載の技術や、特許文献２に記載の技術が挙げられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２７９７０９号公報
【特許文献２】特許第４０８４７１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば特許文献１に記載の技術では、ブロック内の画素における画素値の最大値と最小値とが閾値以上の場合はエッジが存在するブロックとし、エッジが存在するブロック内において注目画素の画素値と、隣接する上下左右４画素における画素値の平均値との差が閾値以上の場合に、注目画素をノイズ画素と判定する。そして、例えば特許文献１に記載の技術では、注目画素の画素値を、隣接する上下左右４画素における画素値の平均値に置き換えることによって、ノイズを平滑化している。よって、リンギングノイズはエッジ周辺に発生する可能性が高いことから、例えば特許文献１に記載の技術を用いる場合には、リンギングノイズをある程度低減することができる可能性はある。
【０００６】
しかしながら、例えば特許文献１に記載の技術では、注目画素に隣接する上下左右４画素における画素値の平均値で注目画素を平滑化するので、例えばリンギングノイズが直線エッジに平行して存在する場合には、注目画素に隣接する４画素のうち２画素がリンギングノイズを含むことから、ノイズが正しく平滑化されない。また、例えば特許文献１に記載の技術では、注目画素がエッジに対応する画素の場合であっても、当該注目画素の画素値を、当該注目画素の上下左右４画素における画素値の平均値で置き換えるので、本来存在するエッジの鮮鋭度が落ち、処理後の画像がぼやけることが起こりうる。
【０００７】
また、例えば特許文献２に記載の技術では、処理対象の画像信号が示す画像において文字が含まれる文字領域を検出し、検出された文字領域の周辺に対して、エッジ以外の領域を平滑化するフィルタを用いることによって、ノイズを低減している。よって、例えば特許文献２に記載の技術を用いる場合には、リンギングノイズをある程度低減することができる可能性はある。
【０００８】
しかしながら、例えば特許文献２に記載の技術では、同一輝度の画素数が、予め設定した文字サイズの閾値を超えずに連続した場合に文字領域として検出するため、処理対象の画像信号が示す画像において当該閾値を超える大きさの文字が存在したとしても、当該文字は文字とは認識されず、ノイズは低減されない。また、例えば特許文献２に記載の技術を用いたとしても、文字領域以外に発生するリンギングノイズを検出することはできず、また、文字領域以外に発生するリンギングノイズを低減することもできない。
【０００９】
上記のように、例えば、特許文献１に記載の技術や、特許文献２に記載の技術を用いたとしても、画像信号が示す画像において発生しうるリンギングノイズを検出できるとは限らない。
【００１０】
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、処理対象の画像信号に基づいて、リンギングノイズを検出することが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明の第１の観点によれば、入力画像信号に基づいて、上記入力画像信号が示す画像が符号化単位に分割された分割領域ごとに、直線エッジを検出する直線エッジ検出部と、直線エッジが検出された上記分割領域ごとに、上記分割領域に対応する上記入力画像信号の輝度信号の振幅に基づいて、リンギングノイズを検出するノイズ検出部と、を備える画像処理装置が提供される。
【００１２】
かかる構成によって、処理対象の画像信号に基づいて、リンギングノイズを検出することができる。
【００１３】
また、上記ノイズ検出部は、直線エッジが検出された上記分割領域ごとに、輝度値に関する自己相関係数を算出する自己相関係数算出部と、算出された自己相関係数に基づいて、直線エッジが検出された上記分割領域においてリンギングノイズが発生しているかを判定するノイズ判定部とを備えてもよい。
【００１４】
また、リンギングノイズが検出された上記分割領域ごとに、上記入力画像信号のノイズを低減するノイズ低減部をさらに備えてもよい。
【００１５】
また、上記ノイズ低減部は、リンギングノイズが検出された上記分割領域ごとに、リンギングノイズが検出された上記分割領域と隣接する分割領域の画素値の平均値を算出し、リンギングノイズが検出された上記分割領域における、検出された直線エッジに基づき設定されるリンギングノイズを含む領域の画素値を、算出された平均値に置き換えてもよい。
【００１６】
また、上記ノイズ低減部は、上記隣接する分割領域が、リンギングノイズが検出された上記分割領域と同一方向の直線エッジを含まない場合に、上記平均値を算出し、上記隣接する分割領域が、リンギングノイズが検出された上記分割領域と同一方向の直線エッジを含む場合には、上記平均値を算出しなくてもよい。
【００１７】
また、上記目的を達成するために、本発明の第２の観点によれば、入力画像信号に基づいて、入力画像信号が示す画像が符号化単位に分割された分割領域ごとに、直線エッジを検出するステップと、直線エッジが検出された上記分割領域ごとに、上記分割領域に対応する上記入力画像信号の輝度信号の振幅に基づいて、リンギングノイズを検出するステップと、を有する画像処理方法が提供される。
【００１８】
かかる方法を用いることによって、処理対象の画像信号に基づいて、リンギングノイズを検出することができる。
【００１９】
また、上記目的を達成するために、本発明の第３の観点によれば、入力画像信号に基づいて、入力画像信号が示す画像が符号化単位に分割された分割領域ごとに、直線エッジを検出するステップ、直線エッジが検出された上記分割領域ごとに、上記分割領域に対応する上記入力画像信号の輝度信号の振幅に基づいて、リンギングノイズを検出するステップ、をコンピュータに実行させるためのプログラムが提供される。
【００２０】
かかるプログラムを用いることによって、処理対象の画像信号に基づいて、リンギングノイズを検出することができる。
【発明の効果】
【００２１】
本発明によれば、処理対象の画像信号に基づいて、リンギングノイズを検出することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態に係る画像処理装置が検出する対象のリンギングノイズの一例を示す説明図である。
【図２】リンギングノイズの発生要因を説明するための説明図である。
【図３】リンギングノイズの発生要因を説明するための説明図である。
【図４】リンギングノイズの発生要因を説明するための説明図である。
【図５】リンギングノイズの発生要因を説明するための説明図である。
【図６】リンギングノイズの発生要因を説明するための説明図である。
【図７】リンギングノイズの発生要因を説明するための説明図である。
【図８Ａ】リンギングノイズの発生要因を説明するための説明図である。
【図８Ｂ】リンギングノイズの発生要因を説明するための説明図である。
【図８Ｃ】リンギングノイズの発生要因を説明するための説明図である。
【図９】リンギングノイズの発生要因を説明するための説明図である。
【図１０Ａ】リンギングノイズの発生要因を説明するための説明図である。
【図１０Ｂ】リンギングノイズの発生要因を説明するための説明図である。
【図１０Ｃ】リンギングノイズの発生要因を説明するための説明図である。
【図１１】リンギングノイズの発生要因を説明するための説明図である。
【図１２Ａ】リンギングノイズの発生要因を説明するための説明図である。
【図１２Ｂ】リンギングノイズの発生要因を説明するための説明図である。
【図１２Ｃ】リンギングノイズの発生要因を説明するための説明図である。
【図１３】リンギングノイズの発生要因を説明するための説明図である。
【図１４】本発明の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図１５Ａ】本発明の実施形態に係る直線エッジ検出部における処理の一例を説明するための説明図である。
【図１５Ｂ】本発明の実施形態に係る直線エッジ検出部における処理の一例を説明するための説明図である。
【図１６】本発明の実施形態に係るノイズ検出部における処理の一例を説明するための説明図である。
【図１７】本発明の実施形態に係るノイズ検出部における処理の一例を説明するための説明図である。
【図１８】本発明の実施形態に係るノイズ検出部における処理の結果の一例を示す説明図である。
【図１９】本発明の実施形態に係るノイズ検出部における処理の一例を説明するための説明図である。
【図２０】本発明の実施形態に係るノイズ検出部における処理の一例を示す流れ図である。
【発明を実施するための形態】
【００２３】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２４】
（本発明の実施形態に係る画像処理方法）
本発明の実施形態に係る画像処理装置の構成について説明する前に、本発明の実施形態に係る画像処理方法について説明する。また、以下では、本発明の実施形態に係る画像処理装置が、処理対象の画像信号（以下、「入力画像信号」と示す場合がある。）に対して、本発明の実施形態に係る画像処理方法に係る処理を行うものとして説明する。
【００２５】
ここで、本発明の実施形態に係る入力画像信号としては、例えばＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８）や、ＭＰＥＧ−４（ＩＳＯ／ＩＥＣ １４４９６）など、非可逆の符号化方式により符号化された動画像（または、複数の静止画像）を示す画像信号が挙げられる。以下では、本発明の実施形態に係る画像処理装置が、フレーム画像（静止画像）からなる動画像を示す画像信号を処理するものとして説明する。ここで、本発明の実施形態に係るフレーム画像とは、例えば、動画像の１フレーム（動画像がインタレース画像の場合には、１フィールドに対応する。）に対応する画像である。以下では、本発明の実施形態に係る画像処理装置が、時間順に１フレームずつ入力される画像信号を処理する場合を例に挙げて説明する。
【００２６】
また、本発明の実施形態に係る画像処理装置は、例えば、本発明の実施形態に係る画像処理装置がテレビ塔などから送信された放送波を（直接的、またはセットトップボックスなどを介して間接的に）受信してデコードした結果得られる画像信号を、入力画像信号として処理する。なお、本発明の実施形態に係る画像処理装置が処理する入力画像信号は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置は、ネットワークを介して（または直接的に）外部装置から送信された入力画像信号を処理することも可能である。また、本発明の実施形態に係る画像処理装置は、例えば、記憶部（後述する）や、本発明の実施形態に係る画像処理装置から着脱可能な外部記録媒体に記憶された画像データをデコードすることにより得られた画像信号を処理してもよい。さらに、本発明の実施形態に係る画像処理装置が、例えば、動画像を撮像することが可能な撮像部（後述する）を備えている場合、すなわち、本発明の実施形態に係る画像処理装置が撮像装置として機能する場合には、本発明の実施形態に係る画像処理装置は、例えば、当該撮像部（後述する）により撮像された動画像に対応する画像信号を処理してもよい。
【００２７】
図１は、本発明の実施形態に係る画像処理装置が検出する対象のリンギングノイズの一例を示す説明図である。リンギングノイズは、符号化に起因して画像をみるユーザに認識されるノイズの一種であり、リンギングノイズとは、例えば図１のＡに示すように、主に直線エッジに平行して発生する、白から黒（または、黒から白）へと変化する画像信号の波形が「波うつように」振動する現象をいう。
【００２８】
［１］リンギングノイズの発生要因
図２〜図１３は、リンギングノイズの発生要因を説明するための説明図である。本発明の実施形態に係る画像処理方法に係る処理について説明する前に、まず、本発明の実施形態に係る画像処理装置が検出する対象のリンギングノイズの発生要因について説明する。なお、以下では、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８）により符号化される画像信号、すなわち、８×８画素のブロックにて符号化される画像信号を例に挙げて、リンギングノイズの発生要因について説明する。
【００２９】
図２は、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８）に係るエンコード（符号化）とデコード（復号）との処理の一例を示している。図２に示すように、符号化前の画像信号は、ＤＣＴ（Discrete Cosine Transform。離散コサイン変換）された後に、量子化され、エントロピー符号化されることによって、エンコードがなされる。
【００３０】
ＤＣＴ（二次元ＤＣＴ）では、符号化前の画像信号に対して、８×８画素のブロックごとに、下記の数式１に示す演算が行われ、ＤＣＴ係数Ｆ（ｕ，ｖ）が算出される。ここで、数式１に示す“f（ｘ，ｙ）”は、符号化前の画像信号が示す画像を示している。また、数式１に示す“ｕ”、“ｖ”は、ｕ＝０、ｖ＝０のときに直流成分を示し、値が大きくなる程、高い周波数を示す。また、数式１に示す“Ｃ（ｕ）”、“Ｃ（ｖ）”は、それぞれ下記の数式２、数式３で表される。
【００３１】
【数１】
・・・（数式１）
【００３２】
【数２】
・・・（数式２）
【００３３】
【数３】
・・・（数式３）
【００３４】
図３は、８×８ＤＣＴの基底パターンを画像化したものである。図３に示す各パターンは、周波数成分を表している。
【００３５】
エンコードされた画像信号は、エントロピー復号化され、逆量子化された後、ＩＤＣＴ（Inverse Discrete Cosine Transform。逆離散コサイン変換）されることによって、デコードがなされる。
【００３６】
ＩＤＣＴでは、エンコードされた画像信号に対して、８×８画素のブロックごとに、下記の数式４に示す演算が行われ、復号後の画像信号f（ｘ，ｙ）が得られる。また、数式４に示す“Ｃ（ｕ）”は、上記数式２で表され、また、数式４に示す“Ｃ（ｖ）”は、上記数式３で表される。
【００３７】
【数４】
・・・（数式４）
【００３８】
ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８）では、例えば図２に示すような処理が行われることによって、エンコード（符号化）とデコード（復号）とが行われる。ここで、図２に示す量子化とは、ＤＣＴ処理において上記数式１により算出されるＤＣＴ係数に対して、情報量を削減するために行われる処理である。量子化処理が行われることによって、丸めによる量子化誤差が発生し、当該量子化誤差が、リンギングノイズの発生要因となる。
【００３９】
以下、より具体的に、量子化処理に起因するリンギングノイズの発生について説明する。図４は、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８）において用いられる一般的な量子化テーブルの一例を示している。
【００４０】
ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８）では、上記数式１により算出したＤＣＴ係数に、図４で示す量子化テーブル（ＱＴ（ｘ，ｙ））と、圧縮率を調整する量子化スケール（ＱＳ）によって、量子化が行われる。ここで、量子化スケールＱＳの値が大きければ大きい程、量子化処理において情報量がより削減される。量子化Ｑ（ｘ，ｙ）は、例えば下記の数式５で表される。
【００４１】
【数５】
・・・（数式５）
【００４２】
また、図４に示す逆量子化は、上記数式５の逆関数であり、例えば下記の数式６で表される。なお、数式６で表される“Ｆ’（ｕ，ｖ）”と、数式１で表される“Ｆ（ｕ，ｖ）”とは一致しない。一致しない理由は、量子化が行われることによって情報が失われているためである。つまり、逆量子化を行ったとしても、完全に数式１で表される“Ｆ（ｕ，ｖ）”を復元することはできない。
【００４３】
【数６】
・・・（数式６）
【００４４】
また、図２に示すエントロピー符号化、およびエントロピー復号化は、多値データを２値データに変換、逆変換する可逆的な処理である。エントロピー符号化処理、およびエントロピー復号化処理では、情報損失はないので、エントロピー符号化処理、およびエントロピー復号化処理は、処理後の信号が示す画像の画質に何らの影響を与えない。つまり、エントロピー符号化処理、およびエントロピー復号化処理は、リンギングノイズの発生要因とはならない。よって、エントロピー符号化処理、およびエントロピー復号化処理についての詳細な説明は省略する。
【００４５】
リンギングノイズの発生要因について、図５〜図１３を参照しつつ、数式１〜数式６に基づいてより具体的に説明する。
【００４６】
図５は、エッジ画像の一例を示しており、図６は、図５に示すエッジ画像を輝度値に変換したものを示している。また、図７は、上記数式１によって、図６をＤＣＴ係数に変換したものを示している。
【００４７】
図７を参照すると、図３に示した基底画像の（０，０）から（７，０）に非ゼロ係数が集中していることが分かる。これは、図５において示した垂直方向の直線エッジの周波数が、基底画像の（０，０）から（７，０）に該当するためである。また、図７において値がマイナスとなっているのは、例えば図３に示す基底画像（１，０）を例に挙げると、図３の左から高輝度の周波数から低輝度の周波数へと変化するように表されているのに対して、図５に示すエッジ画像では、図５の左から低輝度の周波数から高輝度の周波数へと変化するように表されているためである。
【００４８】
数式１によってＤＣＴ処理が行われると、図２に示すように、数式４〜６によって、図７に示すＤＣＴ係数に対して、量子化処理、逆量子化処理、およびＩＤＣ処理が順次に行われる。
【００４９】
（ｉ）ＱＳ＝１の場合
図８Ａ〜図８Ｃ、および図９は、ＱＳ＝１の場合における量子化処理、逆量子化処理、およびＩＤＣ処理の結果の一例を示している。ここで、図８Ａは、図７に示すＤＣＴ係数に対して量子化処理を行った結果を示している。また、図８Ｂは、図８Ａに示す量子化処理を行った結果に対して（より厳密には、エントロピー符号化処理、およびエントロピー復号化処理が行われたものに対して）逆量子化処理を行った結果を示している。また、図８Ｃは、図８Ｂに示す量子化処理を行った結果に対してＩＤＣＴ処理を行った結果を示しており、図９は、図８Ｃに示すＩＤＣＴ処理を行った結果の画像信号を画像化したものを示している。
【００５０】
ＱＳ＝１の場合には、図８Ｃに示す輝度値と図６に示す輝度値との間に、ほとんど差がないことが分かる。よって、ＱＳ＝１の場合には、図９に示すように、リンギングノイズは発生していない。
【００５１】
（ｉｉ）ＱＳ＝８の場合
図１０Ａ〜図１０Ｃ、および図１１は、ＱＳ＝８の場合における量子化処理、逆量子化処理、およびＩＤＣ処理の結果の一例を示している。ここで、図１０Ａは、図７に示すＤＣＴ係数に対して量子化処理を行った結果を示している。また、図１０Ｂは、図１０Ａに示す量子化処理を行った結果に対して（より厳密には、エントロピー符号化処理、およびエントロピー復号化処理が行われたものに対して）逆量子化処理を行った結果を示している。また、図１０Ｃは、図１０Ｂに示す量子化処理を行った結果に対してＩＤＣＴ処理を行った結果を示しており、図１１は、図１０Ｃに示すＩＤＣＴ処理を行った結果の画像信号を画像化したものを示している。
【００５２】
ＱＳ＝８の場合には、図１０Ｃに示す輝度値と図６に示す輝度値との間の誤差が大きくなる。つまり、ＱＳ＝８の場合には、量子化処理、逆量子化処理、およびＩＤＣ処理が順次に行われた結果、高周波成分の誤差の影響を受けた画像信号が得られ、当該画像信号が示す画像は、図３に示す基底画像に近い輝度の段差を有することとなる。よって、ＱＳ＝８の場合には、図１１に示すように、ＩＤＣＴ処理後の画像信号が示す画像に、リンギングノイズが発生する。
【００５３】
（ｉｉｉ）ＱＳ＝２４の場合
図１２Ａ〜図１２Ｃ、および図１３は、ＱＳ＝２４の場合における量子化処理、逆量子化処理、およびＩＤＣ処理の結果の一例を示している。ここで、図１２Ａは、図７に示すＤＣＴ係数に対して量子化処理を行った結果を示している。また、図１２Ｂは、図１２Ａに示す量子化処理を行った結果に対して（より厳密には、エントロピー符号化処理、およびエントロピー復号化処理が行われたものに対して）逆量子化処理を行った結果を示している。また、図１２Ｃは、図１２Ｂに示す量子化処理を行った結果に対してＩＤＣＴ処理を行った結果を示しており、図１３は、図１２Ｃに示すＩＤＣＴ処理を行った結果の画像信号を画像化したものを示している。
【００５４】
ＱＳ＝２４の場合には、ＱＳ＝８の場合と同様に、図１２Ｃに示す輝度値と図６に示す輝度値との間の誤差が大きくなる。つまり、ＱＳ＝２４の場合には、ＱＳ＝８の場合と同様に、量子化処理、逆量子化処理、およびＩＤＣ処理が順次に行われた結果、高周波成分の誤差の影響を受けた画像信号が得られる。よって、ＱＳ＝２４の場合には、図１３に示すように、ＩＤＣＴ処理後の画像信号が示す画像に、リンギングノイズが発生する。
【００５５】
ＱＳの値を大きく設定することによって情報量をより多く削減することが可能であるが、上記（ｉ）〜（ｉｉｉ）に示すように、復元の際には、量子化の影響によって直線エッジと平行して誤差が生じ、結果として輝度の振幅が生じた画像が得られてしまう。そして、上記輝度の振幅こそが、リンギングノイズとして画像をみるユーザに認識されることとなる。
【００５６】
［２］本発明の実施形態に係る画像処理方法に係る処理
上述したように、本発明の実施形態に係る画像処理装置が検出する対象のリンギングノイズは、量子化誤差の影響により発生する。また、量子化処理は、符号化単位（例えば、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８）で符号化される場合には、８×８画素のブロック単位）で行われることから、量子化誤差の影響は、符号化単位の領域内に限られる。
【００５７】
また、本発明の実施形態に係る画像処理装置が検出する対象のリンギングノイズは、直線エッジの周辺において、輝度の振幅として捉えることが可能である。
【００５８】
そこで、本発明の実施形態に係る画像処理装置は、入力画像信号が示す画像が符号化単位に分割された分割領域ごとに、直線エッジを検出する（直線エッジ検出処理）。
【００５９】
そして、本発明の実施形態に係る画像処理装置は、直線エッジが検出された分割領域それぞれについて、直線エッジの周辺における輝度の振幅に基づいて、リンギングノイズが存在するかを判定することによって、リンギングノイズを検出する（ノイズ検出処理）。より具体的には、本発明の実施形態に係る画像処理装置は、入力画像信号に含まれる繰り返しパターンを探すことに関して有効な指標である自己相関係数を用いて、直線エッジ周辺に発生する輝度の振幅が、ＤＣＴ基底パターンに起因するリンギングノイズであるか否かを判定することによって、リンギングノイズを検出する。
【００６０】
本発明の実施形態に係る画像処理装置は、上記のように、上述したリンギングノイズの発生要因に対応する処理（直線エッジ検出処理、およびノイズ検出処理）によって、リンギングノイズを検出する。
【００６１】
したがって、本発明の実施形態に係る画像処理装置は、処理対象の画像信号に基づいて、リンギングノイズを検出することができる。
【００６２】
また、本発明の実施形態に係る画像処理装置は、リンギングノイズの発生要因に対応する処理によってリンギングノイズを検出するので、本発明の実施形態に係るリンギングノイズの検出結果に基づき、リンギングノイズを低減する処理（以下、「ノイズ低減処理」と示す場合がある。）を行えば、必要以上にノイズ低減処理（例えば、平滑化処理）が行われることが防止される。よって、本発明の実施形態に係るリンギングノイズの検出結果に基づきノイズ低減処理が行われることによって、例えば画像のぼけなど、処理後の画像における画質の低下が防止される。
【００６３】
以下、本発明の実施形態に係る画像処理装置の構成の一例について説明をすると共に、本発明の実施形態に係る画像処理方法に係る処理の具体例についても併せて説明する。
【００６４】
また、以下では、本発明の実施形態に係る画像処理装置が、本発明の実施形態に係るリンギングノイズの検出結果に基づきノイズ低減処理を行う機能を有する場合を例に挙げて説明する。なお、本発明の実施形態に係る画像処理装置の構成は、ノイズ低減処理を行う機能を有する構成に限られない。例えば、本発明の実施形態に係る画像処理装置は、ノイズ低減処理を行う機能を有さずに、リンギングノイズの検出結果を示す検出信号（または、検出信号と入力画像信号）を、ノイズ低減処理を行う機能を有する外部装置に送信してもよい。
【００６５】
また、以下では、入力画像信号が、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８）により符号化される画像信号、すなわち、８×８画素のブロックにて符号化される画像信号である場合を例に挙げて、本発明の実施形態に係る画像処理装置の構成の一例、および本発明の実施形態に係る画像処理方法に係る処理の具体例について説明する。
【００６６】
（本発明の実施形態に係る画像処理装置）
図１４は、本発明の実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。画像処理装置１００は、例えば、直線エッジ検出部１０２と、ノイズ検出部１０４と、ノイズ低減部１０６とを備える。
【００６７】
また、画像処理装置１００は、例えば、制御部（図示せず）や、ＲＯＭ（Read Only Memory。図示せず）、ＲＡＭ（Random Access Memory。図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）、外部装置と通信を行うための通信部（図示せず）、撮像部（図示せず）などを備えていてもよい。画像処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
【００６８】
ここで、制御部（図示せず）は、例えば、ＣＰＵ（Central Processing Unit）や各種処理回路などで構成され、画像処理装置１００全体を制御する。また、制御部（図示せず）は、例えば、直線エッジ検出部１０２、ノイズ検出部１０４、およびノイズ低減部１０６（または、これらのうちの１または２以上の部）の役目を果たしてもよい。なお、直線エッジ検出部１０２、ノイズ検出部１０４、およびノイズ低減部１０６は、各部の処理を実現可能な専用の（または汎用の）処理回路で構成されていてもよいことは、言うまでもない。
【００６９】
また、制御部（図示せず）は、例えば、ノイズ低減処理が行われた画像信号（以下、「出力画像信号」と示す。）をエンコードして、記憶部（図示せず）に記録する、および／または、出力画像信号が示す画像を表示部（図示せず）や外部表示装置の表示画面に表示させるなど、出力画像信号に対する処理を行う役目を果たしてもよい。
【００７０】
ＲＯＭ（図示せず）は、制御部（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部（図示せず）により実行されるプログラムなどを一時的に記憶する。
【００７１】
記憶部（図示せず）は、画像処理装置１００が備える記憶手段であり、例えば、画像データや、アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）などが挙げられる。また、記憶部（図示せず）は、画像処理装置１００から着脱可能であってもよい。
【００７２】
操作部（図示せず）としては、例えば、ボタンや、方向キー、あるいは、これらの組み合わせなどが挙げられる。また、画像処理装置１００は、例えば、画像処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）と接続することもできる。
【００７３】
表示部（図示せず）としては、例えば、液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機ＥＬディスプレイ（organic ElectroLuminescence display）などが挙げられる。なお、表示部（図示せず）は、例えばタッチスクリーンなどのように、表示とユーザ操作とが可能なデバイスであってもよい。また、画像処理装置１００は、表示部（図示せず）の有無に関わらず、画像処理装置１００の外部装置としての表示デバイス（例えば、外部ディスプレイなど）と接続することもできる。
【００７４】
通信部（図示せず）は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部装置と無線／有線で通信を行う。ここで、通信部（図示せず）としては、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）などが挙げられる。また、本発明の実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide Area Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ；Wireless Local Area Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless Wide Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
【００７５】
撮像部（図示せず）は、静止画像または動画像を撮像する役目を果たす。撮像部（図示せず）を備える場合には、画像処理装置１００は、例えば、撮像部（図示せず）における撮像により生成された画像信号を処理することが可能である。
【００７６】
ここで、本発明の実施形態に係る撮像部（図示せず）としては、例えば、レンズ／撮像素子と信号処理回路とから構成される撮像デバイスが挙げられる。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。また、信号処理回路は、例えば、ＡＧＣ（Automatic Gain Control）回路やＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理などが挙げられる。
【００７７】
以下、図１４に示す本発明の実施形態に係る画像処理装置１００の構成例について説明しつつ、画像処理装置１００における処理（画像処理方法に係る処理）の一例について説明する。
【００７８】
直線エッジ検出部１０２は、上記直線エッジ検出処理を主導的に行う役目を果たし、入力画像信号に基づいて、分割領域ごとに直線エッジを検出する。
【００７９】
ここで、直線エッジ検出部１０２は、例えば、入力画像信号をデコードしたデコーダからブロック境界の情報を取得し、当該ブロック境界の情報が示すブロック境界に対応する領域を分割領域とするが、直線エッジ検出部１０２における分割領域の認識方法は、上記に限られない。例えば、直線エッジ検出部１０２は、例えば、８×８画素の矩形の領域や１６×１６画素の矩形の領域など、予め規定された大きさの領域を分割領域とすることも可能である。また、直線エッジ検出部１０２は、例えば制御部（図示せず）などの他の構成要素が判別した符号化単位に基づいて、分割領域を認識してもよい。
【００８０】
図１５Ａ、図１５Ｂは、本発明の実施形態に係る直線エッジ検出部１０２における処理の一例を説明するための説明図である。ここで、図１５Ａに示すＡ〜Ｄ、および図１５Ｂに示すＡ〜Ｄそれぞれは、分割領域を示している。また、図１５Ａに示すＥ、および図１５Ｂに示すＥは、エッジの検出に係る閾値処理の一例を示している。
【００８１】
直線エッジ検出部１０２は、図１５Ａに示すＡ〜Ｄに示すように、分割領域内を所定の位置（例えば、図１５Ａに示す分割領域における左上の位置）から水平方向（例えば、図１５Ａに示す（１）の方向）に２画素ずつ検索する。また、直線エッジ検出部１０２は、例えば図１５ＡのＥに示すように、２画素の輝度差が予め規定された閾値Ｔｈ１より大きい場合（または、閾値Ｔｈ１以上の場合）には、図１５Ｂに示すＡ〜Ｄに示すように、当該２画素の位置に対して、さらに垂直方向（例えば、図１５Ｂに示す（２）の方向）に２画素ずつ検索する。
【００８２】
そして、直線エッジ検出部１０２は、分割領域の垂直方向の全画素（図１５Ｂの例では、８画素）における隣接する画素の輝度差が、予め規定された閾値Ｔｈ２より小さい場合（または、閾値Ｔｈ２以下の場合）には、当該分割領域に垂直方向の直線エッジが存在すると判定する。
【００８３】
また、直線エッジ検出部１０２は、図１５Ａ、図１５Ｂに示す方法によって垂直方向の直線エッジが検出されなかった場合には、水平方向の直線エッジを、上記図１５Ａ、図１５Ｂに示す方法と同様の方法によって、検出する。
【００８４】
直線エッジ検出部１０２は、例えば上記のような処理を、分割領域ごとに行うことによって、直線エッジを検出する。そして、直線エッジ検出部１０２は、検出結果を示す検出信号をノイズ検出部１０４へ伝達する。直線エッジ検出部１０２が直線エッジを検出することによって、画像処理装置１００は、リンギングノイズが存在する可能性のある分割領域である、リンギングノイズ候補分割領域を特定することができる。
【００８５】
なお、本発明の実施形態に係る直線エッジ検出部１０２における、直線エッジの検出処理は、上記に限られない。例えば、直線エッジ検出部１０２は、分割領域において垂直方向の直線エッジ（または、水平方向の直線エッジ）が１つ見つかったら当該分割領域における処理を終了することに限られず、複数の垂直方向の直線エッジ（または、水平方向の直線エッジ）を検出してもよい。また、直線エッジ検出部１０２は、垂直方向のエッジと、水平方向のエッジとを検出可能な任意の方法を用いて、分割領域ごとに直線エッジを検出することができる。
【００８６】
再度図１４を参照して、本発明の実施形態に係る画像処理装置１００の構成の一例について説明する。ノイズ検出部１０４は、上記ノイズ検出処理を主導的に行う役目を果たし、リンギングノイズ候補分割領域（すなわち、直線エッジが検出された分割領域。以下、同様とする。）ごとに、リンギングノイズ候補分割領域に対応する入力画像信号の輝度信号の振幅に基づいて、リンギングノイズを検出する。
【００８７】
図１６は、本発明の実施形態に係るノイズ検出部１０４における処理の一例を説明するための説明図である。ここで、図１６は、垂直方向の直線エッジが検出された分割領域の一例を示している。
【００８８】
ノイズ検出部１０４は、リンギングノイズ候補分割領域内における直線エッジ以外の領域を、ノイズ候補領域として設定する。そして、ノイズ検出部１０４は、設定したノイズ候補領域にリンギングノイズが発生しているかを判定する。
【００８９】
より具体的には、ノイズ検出部１０４は、例えば、自己相関係数算出部１０８と、ノイズ判定部１１０とを備えることによって、リンギングノイズを検出する。
【００９０】
自己相関係数算出部１０８は、リンギングノイズ候補分割領域ごとに、輝度値に関する自己相関係数を算出する。ここで、本発明の実施形態に係る自己相関係数とは、隣接する画素（または、画素群）の相関を示す係数である。また、本発明の実施形態に係る自己相関係数は、信号に含まれる繰り返しパターンを探すのに有用であるため、リンギングノイズの検出に適している。
【００９１】
図１７は、本発明の実施形態に係るノイズ検出部１０４における処理の一例を説明するための説明図である。ここで、図１７は、自己相関係数算出部１０８における処理の一例を示している。
【００９２】
自己相関係数算出部１０８は、例えば下記の数式７の演算を行うことによって、自己相関係数ａｆｃ（ｋ）を算出する。自己相関係数ａｆｃ（ｋ）は、−１．０〜１．０の間の実数値をとる。また、自己相関係数ａｆｃ（ｋ）は、１．０に近い値をとるときには、正の相関があり、−１．０に近い値をとるときには、負の相関があることを示している。
【００９３】
ここで、数式７に示す“ｘｉ”は、輝度値を示す。また、数式７に示す“ｎ”は、図１７に示すように、ノイズ候補領域における直線エッジと直交する直線上に存在する画素数と、リンギングノイズ候補分割領域と隣接する分割領域（より具体的には、ノイズ候補領域と隣接する分割領域）における、当該直交する直線上に存在する画素数との総和の画素数を示す。また、数式７に示す“ｋ”は、数式７の“ｎ”により表される画素群における基準位置からの距離（以下、「ラグ」と示す。）を示す。上記基準位置としては、例えば直線エッジが存在する位置が挙げられる。また、数式７に示す“ｘ１’”は、下記の数式８で表され、“ｘ2’”は、下記の数式９で表される。
【００９４】
【数７】
・・・（数式７）
【００９５】
【数８】
・・・（数式８）
【００９６】
【数９】
・・・（数式９）
【００９７】
図１８は、本発明の実施形態に係るノイズ検出部１０４における処理の結果の一例を示す説明図である。ここで、図１８は、自己相関係数算出部１０８が、図１０Ｂに示すＱＳ＝８の場合における出力結果に対して、数式７に示す演算を行った結果を示している。
【００９８】
自己相関係数算出部１０８は、リンギングノイズ候補分割領域ごとに、数式７に示す演算を行い、例えば図１８に示すような演算結果をノイズ判定部１１０に伝達する。なお、自己相関係数算出部１０８は、例えば、リンギングノイズ候補分割領域と隣接する分割領域が、当該リンギングノイズ候補分割領域と同一方向の直線エッジを含む分割領域である場合には、当該リンギングノイズ候補分割領域に対する処理を行わなくてもよい。
【００９９】
ノイズ判定部１１０は、算出された自己相関係数に基づいて、リンギングノイズ候補分割領域（直線エッジが検出された分割領域）においてリンギングノイズが発生しているかを判定する。
【０１００】
図１９は、本発明の実施形態に係るノイズ検出部１０４における処理の一例を説明するための説明図である。ここで、図１９は、図１８に示す自己相関係数算出部１０８における演算結果と同一の演算結果を示している。
【０１０１】
ノイズ判定部１１０は、ノイズ候補領域内に輝度の振幅が発生してることを判定することによって、リンギングノイズが発生しているかを判定する。ノイズ判定部１１０は、例えば、ノイズ候補領域内の自己相関係数に振幅があり、隣接分割領域の自己相関係数に振幅がなければ、ノイズ候補領域にリンギングノイズが発生していると判定する。
【０１０２】
より具体的には、ノイズ判定部１１０は、ノイズ候補領域の画素数を“ｗ”とし、数式７により算出された自己相関係数ａｆｃ（ｋ）と自己相関係数ａｆｃ（ｋ＋１）との差を、ｗ画素分算出する。また、ノイズ判定部１１０は、算出した上記差が、予め設定した閾値Ｔｈ＿Ｕｐｐｅｒ以上である場合（または、閾値Ｔｈ＿Ｕｐｐｅｒより大きい場合）に、隣接分割領域に対応する画素ｗ＋１〜ｎまでの振幅を調べる。ここで、本発明の実施形態に係る閾値Ｔｈ＿Ｕｐｐｅｒは、例えば、固定値であってもよいし、画像処理装置１００のユーザが変更可能な可変値であってもよい。
【０１０３】
そして、ノイズ判定部１１０は、隣接分割領域における自己相関係数ａｆｃ（ｋ）と自己相関係数ａｆｃ（ｋ＋１）との差が、予め設定した閾値Ｔｈ＿Ｌｏｗｅｒ以下の場合（または、閾値Ｔｈ＿Ｌｏｗｅｒより小さい場合）に、ノイズ候補領域を、リンギングノイズが存在するノイズ領域と判定する。ここで、本発明の実施形態に係る閾値Ｔｈ＿Ｌｏｗｅｒは、例えば、固定値であってもよいし、画像処理装置１００のユーザが変更可能な可変値であってもよい。
【０１０４】
図２０は、本発明の実施形態に係るノイズ検出部１０４における処理の一例を示す流れ図である。以下では、図２０に示す処理を、ノイズ検出部１０４を構成するノイズ判定部１１０が行う場合を例に挙げて、ノイズ検出部１０４における処理の一例について説明する。ここで、図２０は、リンギングノイズ候補分割領域におけるノイズ候補領域ごとの処理の一例を示している。
【０１０５】
ノイズ判定部１１０は、“ｋ”の値を０（ゼロ）に設定する（Ｓ１００）。そして、ノイズ判定部１１０は、“ａｆｃ（ｋ）−ａｆｃ（ｋ＋１）”の値が０（ゼロ）より大きいか否かを判定する（Ｓ１０２）。
【０１０６】
ステップＳ１０２において、“ａｆｃ（ｋ）−ａｆｃ（ｋ＋１）”の値が０（ゼロ）より大きいと判定された場合には、ノイズ判定部１１０は、“ａｆｃ（ｋ）−ａｆｃ（ｋ＋１）”の値が閾値Ｔｈ＿Ｕｐｐｅｒより大きいか否かを判定する（Ｓ１０４）。
【０１０７】
ステップＳ１０４において“ａｆｃ（ｋ）−ａｆｃ（ｋ＋１）”の値が閾値Ｔｈ＿Ｕｐｐｅｒより大きいと判定されない場合には、ノイズ判定部１１０は、処理対象のリンギングノイズ候補分割領域にリンギングノイズが発生していないと判定する（Ｓ１３４）。そして、ノイズ判定部１１０は、処理対象のリンギングノイズ候補分割領域に対する処理を終了する。
【０１０８】
また、ステップＳ１０４において“ａｆｃ（ｋ）−ａｆｃ（ｋ＋１）”の値が閾値Ｔｈ＿Ｕｐｐｅｒより大きいと判定された場合には、ノイズ判定部１１０は、“ｆｌｇ”の値を０（ゼロ）に設定する（Ｓ１０６）。
【０１０９】
ステップＳ１０２において、“ａｆｃ（ｋ）−ａｆｃ（ｋ＋１）”の値が０（ゼロ）より大きいと判定されない場合には、ノイズ判定部１１０は、“ａｆｃ（ｋ＋１）−ａｆｃ（ｋ）”の値が閾値Ｔｈ＿Ｕｐｐｅｒより大きいか否かを判定する（Ｓ１０８）。
【０１１０】
ステップＳ１０８において“ａｆｃ（ｋ＋１）−ａｆｃ（ｋ）”の値が閾値Ｔｈ＿Ｕｐｐｅｒより大きいと判定されない場合には、ノイズ判定部１１０は、処理対象のリンギングノイズ候補分割領域にリンギングノイズが発生していないと判定する（Ｓ１３４）。そして、ノイズ判定部１１０は、処理対象のリンギングノイズ候補分割領域に対する処理を終了する。
【０１１１】
また、ステップＳ１０８において“ａｆｃ（ｋ＋１）−ａｆｃ（ｋ）”の値が閾値Ｔｈ＿Ｕｐｐｅｒより大きいと判定された場合には、ノイズ判定部１１０は、“ｆｌｇ”の値を１に設定する（Ｓ１１０）。
【０１１２】
ステップＳ１０６またはステップＳ１１０の処理が完了すると、ノイズ判定部１１０は、“ｋ”の値が“ｗ”の値より小さい場合に限り、後述するステップＳ１１２〜Ｓ１２４までの処理を繰り返す。
【０１１３】
ノイズ判定部１１０は、“ｋ”の値が０（ゼロ）ではないか否かを判定する（Ｓ１１２）。
【０１１４】
ステップＳ１１２において“ｋ”の値が０（ゼロ）ではないと判定されない場合には、ノイズ判定部１１０は、“ｋ”の値をｋ＋１に設定する（Ｓ１２４）。
【０１１５】
また、ステップＳ１１２において“ｋ”の値が０（ゼロ）ではないと判定された場合には、ノイズ判定部１１０は、“ｆｌｇ”の値が０（ゼロ）であるか否かを判定する（Ｓ１１４）。
【０１１６】
ステップＳ１１４において、“ｆｌｇ”の値が０（ゼロ）であると判定された場合には、ノイズ判定部１１０は、“ａｆｃ（ｋ＋１）−ａｆｃ（ｋ）”の値が閾値Ｔｈ＿Ｕｐｐｅｒより大きいか否かを判定する（Ｓ１１６）。
【０１１７】
ステップＳ１１６において“ａｆｃ（ｋ＋１）−ａｆｃ（ｋ）”の値が閾値Ｔｈ＿Ｕｐｐｅｒより大きいと判定されない場合には、ノイズ判定部１１０は、処理対象のリンギングノイズ候補分割領域にリンギングノイズが発生していないと判定する（Ｓ１３４）。そして、ノイズ判定部１１０は、処理対象のリンギングノイズ候補分割領域に対する処理を終了する。
【０１１８】
また、ステップＳ１１６において“ａｆｃ（ｋ＋１）−ａｆｃ（ｋ）”の値が閾値Ｔｈ＿Ｕｐｐｅｒより大きいと判定された場合には、ノイズ判定部１１０は、“ｆｌｇ”の値を１に設定する（Ｓ１１８）。
【０１１９】
ステップＳ１１４において、“ｆｌｇ”の値が０（ゼロ）であると判定されない場合には、ノイズ判定部１１０は、“ａｆｃ（ｋ）−ａｆｃ（ｋ＋）”の値が閾値Ｔｈ＿Ｕｐｐｅｒより大きいか否かを判定する（Ｓ１２０）。
【０１２０】
ステップＳ１２０において“ａｆｃ（ｋ）−ａｆｃ（ｋ＋１）”の値が閾値Ｔｈ＿Ｕｐｐｅｒより大きいと判定されない場合には、ノイズ判定部１１０は、処理対象のリンギングノイズ候補分割領域にリンギングノイズが発生していないと判定する（Ｓ１３４）。そして、ノイズ判定部１１０は、処理対象のリンギングノイズ候補分割領域に対する処理を終了する。
【０１２１】
また、ステップＳ１２０において“ａｆｃ（ｋ）−ａｆｃ（ｋ＋１）”の値が閾値Ｔｈ＿Ｕｐｐｅｒより大きいと判定された場合には、ノイズ判定部１１０は、“ｆｌｇ”の値を０（ゼロ）に設定する（Ｓ１２２）。
【０１２２】
ステップＳ１１８またはステップＳ１１２の処理が完了すると、ノイズ判定部１１０は、“ｋ”の値をｋ＋１に設定する（Ｓ１２４）。
【０１２３】
ノイズ判定部１１０は、上記ステップＳ１１２〜Ｓ１２４の処理を、“ｋ”の値が“ｗ”の値より小さい場合に限り繰り返す。
【０１２４】
“ｋ”の値が“ｗ”の値以上となった場合、ノイズ判定部１１０は、“ｋ”の値をｗ＋１に設定する（Ｓ１２６）。
【０１２５】
ステップＳ１２６の処理が完了すると、ノイズ判定部１１０は、“ｋ”の値が“ｎ”（数式７に示す“ｎ”に対応する。）の値より小さく、かつ、後述するステップＳ１２８の処理後にステップＳ１３４の処理が行われない場合に限り、後述するステップＳ１２８、Ｓ１３０の処理を繰り返す。
【０１２６】
ノイズ判定部１１０は、“ａｆｃ（ｋ）−ａｆｃ（ｋ＋１）の絶対値”の値が、閾値Ｔｈ＿Ｌｏｗｅｒより小さいか否かを判定する（Ｓ１２８）。
【０１２７】
ステップＳ１２８において“ａｆｃ（ｋ）−ａｆｃ（ｋ＋１）の絶対値”の値が、閾値Ｔｈ＿Ｌｏｗｅｒより小さいと判定されない場合には、ノイズ判定部１１０は、処理対象のリンギングノイズ候補分割領域にリンギングノイズが発生していないと判定する（Ｓ１３４）。そして、ノイズ判定部１１０は、処理対象のリンギングノイズ候補分割領域に対する処理を終了する。
【０１２８】
また、ステップＳ１２８において“ａｆｃ（ｋ）−ａｆｃ（ｋ＋１）の絶対値”の値が、閾値Ｔｈ＿Ｌｏｗｅｒより小さいと判定された場合には、ノイズ判定部１１０は、ノイズ判定部１１０は、“ｋ”の値をｋ＋１に設定する（Ｓ１３０）。
【０１２９】
“ｋ”の値が“ｎ”（数式７に示す“ｎ”に対応する。）の値と等しくなった場合には、ノイズ判定部１１０は、処理対象のリンギングノイズ候補分割領域にリンギングノイズが発生していると判定する（Ｓ１３２）。そして、ノイズ判定部１１０は、処理対象のリンギングノイズ候補分割領域に対する処理を終了する。
【０１３０】
ノイズ判定部１１０は、リンギングノイズ候補分割領域ごとに、例えば図２０に示す処理を行うことによって、リンギングノイズ候補分割領域にリンギングノイズが発生しているか否かを判定する。なお、本発明の実施形態に係るノイズ判定部１１０における処理が、図２０に示す処理に限られないことは、言うまでもない。
【０１３１】
ノイズ検出部１０４は、例えば、自己相関係数算出部１０８とノイズ判定部１１０とを備えることによって、リンギングノイズ候補分割領域ごとに、リンギングノイズを検出する。
【０１３２】
再度図１４を参照して、本発明の実施形態に係る画像処理装置１００の構成の一例について説明する。ノイズ低減部１０６は、リンギングノイズが検出された分割領域ごとに、入力画像信号のノイズを低減する。
【０１３３】
ノイズ低減部１０６は、例えば、リンギングノイズが検出された分割領域における、ノイズ領域と判定された領域に対して平滑化を行うことによって、入力画像信号のノイズを低減する。上記のように、ノイズ領域と判定された領域に対して平滑化を行うことによって、ノイズ低減部１０６は、直線エッジに対して平滑化を行うことを防止することができる。よって、ノイズ低減部１０６が処理を行った結果得られる出力画像信号が示す画像では、エッジの鮮鋭度が落ちないことから、ノイズ低減処理に起因する画像のぼけは生じない。
【０１３４】
より具体的には、ノイズ低減部１０６は、例えば下記の数式１０に示す演算を行うことによって、リンギングノイズが検出された分割領域と隣接する分割領域における画素値の平均値を、ノイズ領域と判定された領域に適用することによって、平滑化を行う。
【０１３５】
ここで、上述したノイズ検出部１０４における処理（より厳密には、例えば図２０を参照して示した、ノイズ判定部１１０における処理）において、ノイズ領域と判定された領域と隣接する隣接分割領域には、輝度の振幅がないと判定されている。つまり、ノイズ低減部１０６は、隣接分割領域が、リンギングノイズが検出された分割領域と同一方向の直線エッジを含まない場合に、上記平均値を算出し、また、隣接分割領域が、リンギングノイズが検出された分割領域と同一方向の直線エッジを含む場合には、上記平均値を算出しない。
【０１３６】
よって、例えば下記の数式１０に示す演算を行うことによって、ノイズ低減部１０６は、ノイズ領域と判定された領域に発生しているリンギングノイズを低減することができる。
【０１３７】
ここで、数式１０に示す“Ｒ”は、ノイズ領域と判定された領域に含まれる画素に適用する画素値を示している。また、数式１０に示す“（ｘｉ，ｙｉ）”は、隣接分割領域に含まれる画素における画素値を示しており、数式１０に示す“Ｎ”は、隣接分割領域に含まれる画素数を示している。
【０１３８】
【数１０】
・・・（数式１０）
【０１３９】
ノイズ低減部１０６は、例えば上記のように、リンギングノイズが検出された分割領域ごとに、リンギングノイズが検出された分割領域と隣接する隣接分割領域の画素値の平均値を算出し、ノイズ領域と判定された領域（リンギングノイズが検出された分割領域における、検出された直線エッジに基づき設定されるリンギングノイズを含む領域）の画素値を、算出された平均値に置き換える。なお、本発明の実施形態に係るノイズ低減部１０６における処理が、上記に限られないことは、言うまでもない。
【０１４０】
本発明の実施形態に係る画像処理装置１００は、例えば、図１４に示す構成によって、本発明の実施形態に係る画像処理方法に係る処理（直線エッジ検出処理、およびノイズ検出処理）を実現する。よって、画像処理装置１００は、処理対象の画像信号に基づいて、処理対象の画像信号に基づいて、リンギングノイズを検出することができる。
【０１４１】
また、画像処理装置１００は、リンギングノイズの発生要因に対応する処理によって検出したリンギングノイズの検出結果に基づきノイズ低減処理を行うので、必要以上にノイズ低減処理（例えば、平滑化処理）が行われることを防止することができる。よって、画像処理装置１００は、リンギングノイズを低減しつつ、例えば画像のぼけなど、処理後の画像における画質の低下を防止することが可能であるので、高画質化を図ることができる。
【０１４２】
なお、本発明の実施形態に係る画像処理装置の構成が、図１４に示す構成に限られないことは、言うまでもない。
【０１４３】
以上、本発明の実施形態として画像処理装置を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、デジタルカメラなどの撮像装置や、ＰＣ（Personal Computer）やサーバなどのコンピュータ、テレビ受像機などの表示装置、携帯電話やスマートフォンなどの通信装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機など、画像信号の処理が可能な様々な機器に適用することができる。また、本発明の実施形態は、例えば、上記のような機器に組み込むことが可能な、画像処理ＩＣ（Integrated Circuit）に適用することもできる。
【０１４４】
（本発明の実施形態に係るプログラム）
コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（例えば、直線エッジ検出処理、およびノイズ検出処理など、本発明の実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム）によって、処理対象の画像信号に基づいて、リンギングノイズを検出することができる。
【０１４５】
また、コンピュータを、図１４に示すノイズ低減部１０４を備える画像処理装置として機能させるためのプログラム（例えば、さらにノイズ低減処理を実行することが可能なプログラム）によって、リンギングノイズを低減しつつ、例えば画像のぼけなど、処理後の画像における画質の低下を防止することができる。
【０１４６】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１４７】
例えば、上記では、コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムをそれぞれ記憶させた記録媒体も併せて提供することができる。
【符号の説明】
【０１４８】
１００ 画像処理装置
１０２ 直線エッジ検出部
１０４ ノイズ検出部
１０６ ノイズ低減部
１０８ 自己相関係数算出部
１１０ ノイズ判定部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
例えば、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８）や、ＭＰＥＧ−４（ＩＳＯ／ＩＥＣ １４４９６）など、所定の符号化方式にて圧縮された画像が広く用いられている。例えば上記のような符号化方式が用いられる場合には、画像が非可逆に圧縮される。そのため、例えば上記のような符号化方式は、画像のデータ量の削減には有利であるが、その反面、例えばリンギングノイズ（Ringing Noise）などの符号化に起因するノイズ（歪み）が、画像をみるユーザに認識されてしまうことが起こりうる。
【０００３】
このような中、符号化に起因するノイズの低減を図る技術が開発されている。符号化に起因するノイズの低減を図る技術としては、例えば、特許文献１に記載の技術や、特許文献２に記載の技術が挙げられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２７９７０９号公報
【特許文献２】特許第４０８４７１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば特許文献１に記載の技術では、ブロック内の画素における画素値の最大値と最小値とが閾値以上の場合はエッジが存在するブロックとし、エッジが存在するブロック内において注目画素の画素値と、隣接する上下左右４画素における画素値の平均値との差が閾値以上の場合に、注目画素をノイズ画素と判定する。そして、例えば特許文献１に記載の技術では、注目画素の画素値を、隣接する上下左右４画素における画素値の平均値に置き換えることによって、ノイズを平滑化している。よって、リンギングノイズはエッジ周辺に発生する可能性が高いことから、例えば特許文献１に記載の技術を用いる場合には、リンギングノイズをある程度低減することができる可能性はある。
【０００６】
しかしながら、例えば特許文献１に記載の技術では、注目画素に隣接する上下左右４画素における画素値の平均値で注目画素を平滑化するので、例えばリンギングノイズが直線エッジに平行して存在する場合には、注目画素に隣接する４画素のうち２画素がリンギングノイズを含むことから、ノイズが正しく平滑化されない。また、例えば特許文献１に記載の技術では、注目画素がエッジに対応する画素の場合であっても、当該注目画素の画素値を、当該注目画素の上下左右４画素における画素値の平均値で置き換えるので、本来存在するエッジの鮮鋭度が落ち、処理後の画像がぼやけることが起こりうる。
【０００７】
また、例えば特許文献２に記載の技術では、処理対象の画像信号が示す画像において文字が含まれる文字領域を検出し、検出された文字領域の周辺に対して、エッジ以外の領域を平滑化するフィルタを用いることによって、ノイズを低減している。よって、例えば特許文献２に記載の技術を用いる場合には、リンギングノイズをある程度低減することができる可能性はある。
【０００８】
しかしながら、例えば特許文献２に記載の技術では、同一輝度の画素数が、予め設定した文字サイズの閾値を超えずに連続した場合に文字領域として検出するため、処理対象の画像信号が示す画像において当該閾値を超える大きさの文字が存在したとしても、当該文字は文字とは認識されず、ノイズは低減されない。また、例えば特許文献２に記載の技術を用いたとしても、文字領域以外に発生するリンギングノイズを検出することはできず、また、文字領域以外に発生するリンギングノイズを低減することもできない。
【０００９】
上記のように、例えば、特許文献１に記載の技術や、特許文献２に記載の技術を用いたとしても、画像信号が示す画像において発生しうるリンギングノイズを検出できるとは限らない。
【００１０】
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、処理対象の画像信号に基づいて、リンギングノイズを検出することが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明の第１の観点によれば、入力画像信号に基づいて、上記入力画像信号が示す画像が符号化単位に分割された分割領域ごとに、直線エッジを検出する直線エッジ検出部と、直線エッジが検出された上記分割領域ごとに、上記分割領域に対応する上記入力画像信号の輝度信号の振幅に基づいて、リンギングノイズを検出するノイズ検出部と、を備える画像処理装置が提供される。
【００１２】
かかる構成によって、処理対象の画像信号に基づいて、リンギングノイズを検出することができる。
【００１３】
また、上記ノイズ検出部は、直線エッジが検出された上記分割領域ごとに、輝度値に関する自己相関係数を算出する自己相関係数算出部と、算出された自己相関係数に基づいて、直線エッジが検出された上記分割領域においてリンギングノイズが発生しているかを判定するノイズ判定部とを備えてもよい。
【００１４】
また、リンギングノイズが検出された上記分割領域ごとに、上記入力画像信号のノイズを低減するノイズ低減部をさらに備えてもよい。
【００１５】
また、上記ノイズ低減部は、リンギングノイズが検出された上記分割領域ごとに、リンギングノイズが検出された上記分割領域と隣接する分割領域の画素値の平均値を算出し、リンギングノイズが検出された上記分割領域における、検出された直線エッジに基づき設定されるリンギングノイズを含む領域の画素値を、算出された平均値に置き換えてもよい。
【００１６】
また、上記ノイズ低減部は、上記隣接する分割領域が、リンギングノイズが検出された上記分割領域と同一方向の直線エッジを含まない場合に、上記平均値を算出し、上記隣接する分割領域が、リンギングノイズが検出された上記分割領域と同一方向の直線エッジを含む場合には、上記平均値を算出しなくてもよい。
【００１７】
また、上記目的を達成するために、本発明の第２の観点によれば、入力画像信号に基づいて、入力画像信号が示す画像が符号化単位に分割された分割領域ごとに、直線エッジを検出するステップと、直線エッジが検出された上記分割領域ごとに、上記分割領域に対応する上記入力画像信号の輝度信号の振幅に基づいて、リンギングノイズを検出するステップと、を有する画像処理方法が提供される。
【００１８】
かかる方法を用いることによって、処理対象の画像信号に基づいて、リンギングノイズを検出することができる。
【００１９】
また、上記目的を達成するために、本発明の第３の観点によれば、入力画像信号に基づいて、入力画像信号が示す画像が符号化単位に分割された分割領域ごとに、直線エッジを検出するステップ、直線エッジが検出された上記分割領域ごとに、上記分割領域に対応する上記入力画像信号の輝度信号の振幅に基づいて、リンギングノイズを検出するステップ、をコンピュータに実行させるためのプログラムが提供される。
【００２０】
かかるプログラムを用いることによって、処理対象の画像信号に基づいて、リンギングノイズを検出することができる。
【発明の効果】
【００２１】
本発明によれば、処理対象の画像信号に基づいて、リンギングノイズを検出することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態に係る画像処理装置が検出する対象のリンギングノイズの一例を示す説明図である。
【図２】リンギングノイズの発生要因を説明するための説明図である。
【図３】リンギングノイズの発生要因を説明するための説明図である。
【図４】リンギングノイズの発生要因を説明するための説明図である。
【図５】リンギングノイズの発生要因を説明するための説明図である。
【図６】リンギングノイズの発生要因を説明するための説明図である。
【図７】リンギングノイズの発生要因を説明するための説明図である。
【図８Ａ】リンギングノイズの発生要因を説明するための説明図である。
【図８Ｂ】リンギングノイズの発生要因を説明するための説明図である。
【図８Ｃ】リンギングノイズの発生要因を説明するための説明図である。
【図９】リンギングノイズの発生要因を説明するための説明図である。
【図１０Ａ】リンギングノイズの発生要因を説明するための説明図である。
【図１０Ｂ】リンギングノイズの発生要因を説明するための説明図である。
【図１０Ｃ】リンギングノイズの発生要因を説明するための説明図である。
【図１１】リンギングノイズの発生要因を説明するための説明図である。
【図１２Ａ】リンギングノイズの発生要因を説明するための説明図である。
【図１２Ｂ】リンギングノイズの発生要因を説明するための説明図である。
【図１２Ｃ】リンギングノイズの発生要因を説明するための説明図である。
【図１３】リンギングノイズの発生要因を説明するための説明図である。
【図１４】本発明の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図１５Ａ】本発明の実施形態に係る直線エッジ検出部における処理の一例を説明するための説明図である。
【図１５Ｂ】本発明の実施形態に係る直線エッジ検出部における処理の一例を説明するための説明図である。
【図１６】本発明の実施形態に係るノイズ検出部における処理の一例を説明するための説明図である。
【図１７】本発明の実施形態に係るノイズ検出部における処理の一例を説明するための説明図である。
【図１８】本発明の実施形態に係るノイズ検出部における処理の結果の一例を示す説明図である。
【図１９】本発明の実施形態に係るノイズ検出部における処理の一例を説明するための説明図である。
【図２０】本発明の実施形態に係るノイズ検出部における処理の一例を示す流れ図である。
【発明を実施するための形態】
【００２３】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２４】
（本発明の実施形態に係る画像処理方法）
本発明の実施形態に係る画像処理装置の構成について説明する前に、本発明の実施形態に係る画像処理方法について説明する。また、以下では、本発明の実施形態に係る画像処理装置が、処理対象の画像信号（以下、「入力画像信号」と示す場合がある。）に対して、本発明の実施形態に係る画像処理方法に係る処理を行うものとして説明する。
【００２５】
ここで、本発明の実施形態に係る入力画像信号としては、例えばＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８）や、ＭＰＥＧ−４（ＩＳＯ／ＩＥＣ １４４９６）など、非可逆の符号化方式により符号化された動画像（または、複数の静止画像）を示す画像信号が挙げられる。以下では、本発明の実施形態に係る画像処理装置が、フレーム画像（静止画像）からなる動画像を示す画像信号を処理するものとして説明する。ここで、本発明の実施形態に係るフレーム画像とは、例えば、動画像の１フレーム（動画像がインタレース画像の場合には、１フィールドに対応する。）に対応する画像である。以下では、本発明の実施形態に係る画像処理装置が、時間順に１フレームずつ入力される画像信号を処理する場合を例に挙げて説明する。
【００２６】
また、本発明の実施形態に係る画像処理装置は、例えば、本発明の実施形態に係る画像処理装置がテレビ塔などから送信された放送波を（直接的、またはセットトップボックスなどを介して間接的に）受信してデコードした結果得られる画像信号を、入力画像信号として処理する。なお、本発明の実施形態に係る画像処理装置が処理する入力画像信号は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置は、ネットワークを介して（または直接的に）外部装置から送信された入力画像信号を処理することも可能である。また、本発明の実施形態に係る画像処理装置は、例えば、記憶部（後述する）や、本発明の実施形態に係る画像処理装置から着脱可能な外部記録媒体に記憶された画像データをデコードすることにより得られた画像信号を処理してもよい。さらに、本発明の実施形態に係る画像処理装置が、例えば、動画像を撮像することが可能な撮像部（後述する）を備えている場合、すなわち、本発明の実施形態に係る画像処理装置が撮像装置として機能する場合には、本発明の実施形態に係る画像処理装置は、例えば、当該撮像部（後述する）により撮像された動画像に対応する画像信号を処理してもよい。
【００２７】
図１は、本発明の実施形態に係る画像処理装置が検出する対象のリンギングノイズの一例を示す説明図である。リンギングノイズは、符号化に起因して画像をみるユーザに認識されるノイズの一種であり、リンギングノイズとは、例えば図１のＡに示すように、主に直線エッジに平行して発生する、白から黒（または、黒から白）へと変化する画像信号の波形が「波うつように」振動する現象をいう。
【００２８】
［１］リンギングノイズの発生要因
図２〜図１３は、リンギングノイズの発生要因を説明するための説明図である。本発明の実施形態に係る画像処理方法に係る処理について説明する前に、まず、本発明の実施形態に係る画像処理装置が検出する対象のリンギングノイズの発生要因について説明する。なお、以下では、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８）により符号化される画像信号、すなわち、８×８画素のブロックにて符号化される画像信号を例に挙げて、リンギングノイズの発生要因について説明する。
【００２９】
図２は、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８）に係るエンコード（符号化）とデコード（復号）との処理の一例を示している。図２に示すように、符号化前の画像信号は、ＤＣＴ（Discrete Cosine Transform。離散コサイン変換）された後に、量子化され、エントロピー符号化されることによって、エンコードがなされる。
【００３０】
ＤＣＴ（二次元ＤＣＴ）では、符号化前の画像信号に対して、８×８画素のブロックごとに、下記の数式１に示す演算が行われ、ＤＣＴ係数Ｆ（ｕ，ｖ）が算出される。ここで、数式１に示す“f（ｘ，ｙ）”は、符号化前の画像信号が示す画像を示している。また、数式１に示す“ｕ”、“ｖ”は、ｕ＝０、ｖ＝０のときに直流成分を示し、値が大きくなる程、高い周波数を示す。また、数式１に示す“Ｃ（ｕ）”、“Ｃ（ｖ）”は、それぞれ下記の数式２、数式３で表される。
【００３１】
【数１】
・・・（数式１）
【００３２】
【数２】
・・・（数式２）
【００３３】
【数３】
・・・（数式３）
【００３４】
図３は、８×８ＤＣＴの基底パターンを画像化したものである。図３に示す各パターンは、周波数成分を表している。
【００３５】
エンコードされた画像信号は、エントロピー復号化され、逆量子化された後、ＩＤＣＴ（Inverse Discrete Cosine Transform。逆離散コサイン変換）されることによって、デコードがなされる。
【００３６】
ＩＤＣＴでは、エンコードされた画像信号に対して、８×８画素のブロックごとに、下記の数式４に示す演算が行われ、復号後の画像信号f（ｘ，ｙ）が得られる。また、数式４に示す“Ｃ（ｕ）”は、上記数式２で表され、また、数式４に示す“Ｃ（ｖ）”は、上記数式３で表される。
【００３７】
【数４】
・・・（数式４）
【００３８】
ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８）では、例えば図２に示すような処理が行われることによって、エンコード（符号化）とデコード（復号）とが行われる。ここで、図２に示す量子化とは、ＤＣＴ処理において上記数式１により算出されるＤＣＴ係数に対して、情報量を削減するために行われる処理である。量子化処理が行われることによって、丸めによる量子化誤差が発生し、当該量子化誤差が、リンギングノイズの発生要因となる。
【００３９】
以下、より具体的に、量子化処理に起因するリンギングノイズの発生について説明する。図４は、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８）において用いられる一般的な量子化テーブルの一例を示している。
【００４０】
ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８）では、上記数式１により算出したＤＣＴ係数に、図４で示す量子化テーブル（ＱＴ（ｘ，ｙ））と、圧縮率を調整する量子化スケール（ＱＳ）によって、量子化が行われる。ここで、量子化スケールＱＳの値が大きければ大きい程、量子化処理において情報量がより削減される。量子化Ｑ（ｘ，ｙ）は、例えば下記の数式５で表される。
【００４１】
【数５】
・・・（数式５）
【００４２】
また、図４に示す逆量子化は、上記数式５の逆関数であり、例えば下記の数式６で表される。なお、数式６で表される“Ｆ’（ｕ，ｖ）”と、数式１で表される“Ｆ（ｕ，ｖ）”とは一致しない。一致しない理由は、量子化が行われることによって情報が失われているためである。つまり、逆量子化を行ったとしても、完全に数式１で表される“Ｆ（ｕ，ｖ）”を復元することはできない。
【００４３】
【数６】
・・・（数式６）
【００４４】
また、図２に示すエントロピー符号化、およびエントロピー復号化は、多値データを２値データに変換、逆変換する可逆的な処理である。エントロピー符号化処理、およびエントロピー復号化処理では、情報損失はないので、エントロピー符号化処理、およびエントロピー復号化処理は、処理後の信号が示す画像の画質に何らの影響を与えない。つまり、エントロピー符号化処理、およびエントロピー復号化処理は、リンギングノイズの発生要因とはならない。よって、エントロピー符号化処理、およびエントロピー復号化処理についての詳細な説明は省略する。
【００４５】
リンギングノイズの発生要因について、図５〜図１３を参照しつつ、数式１〜数式６に基づいてより具体的に説明する。
【００４６】
図５は、エッジ画像の一例を示しており、図６は、図５に示すエッジ画像を輝度値に変換したものを示している。また、図７は、上記数式１によって、図６をＤＣＴ係数に変換したものを示している。
【００４７】
図７を参照すると、図３に示した基底画像の（０，０）から（７，０）に非ゼロ係数が集中していることが分かる。これは、図５において示した垂直方向の直線エッジの周波数が、基底画像の（０，０）から（７，０）に該当するためである。また、図７において値がマイナスとなっているのは、例えば図３に示す基底画像（１，０）を例に挙げると、図３の左から高輝度の周波数から低輝度の周波数へと変化するように表されているのに対して、図５に示すエッジ画像では、図５の左から低輝度の周波数から高輝度の周波数へと変化するように表されているためである。
【００４８】
数式１によってＤＣＴ処理が行われると、図２に示すように、数式４〜６によって、図７に示すＤＣＴ係数に対して、量子化処理、逆量子化処理、およびＩＤＣ処理が順次に行われる。
【００４９】
（ｉ）ＱＳ＝１の場合
図８Ａ〜図８Ｃ、および図９は、ＱＳ＝１の場合における量子化処理、逆量子化処理、およびＩＤＣ処理の結果の一例を示している。ここで、図８Ａは、図７に示すＤＣＴ係数に対して量子化処理を行った結果を示している。また、図８Ｂは、図８Ａに示す量子化処理を行った結果に対して（より厳密には、エントロピー符号化処理、およびエントロピー復号化処理が行われたものに対して）逆量子化処理を行った結果を示している。また、図８Ｃは、図８Ｂに示す量子化処理を行った結果に対してＩＤＣＴ処理を行った結果を示しており、図９は、図８Ｃに示すＩＤＣＴ処理を行った結果の画像信号を画像化したものを示している。
【００５０】
ＱＳ＝１の場合には、図８Ｃに示す輝度値と図６に示す輝度値との間に、ほとんど差がないことが分かる。よって、ＱＳ＝１の場合には、図９に示すように、リンギングノイズは発生していない。
【００５１】
（ｉｉ）ＱＳ＝８の場合
図１０Ａ〜図１０Ｃ、および図１１は、ＱＳ＝８の場合における量子化処理、逆量子化処理、およびＩＤＣ処理の結果の一例を示している。ここで、図１０Ａは、図７に示すＤＣＴ係数に対して量子化処理を行った結果を示している。また、図１０Ｂは、図１０Ａに示す量子化処理を行った結果に対して（より厳密には、エントロピー符号化処理、およびエントロピー復号化処理が行われたものに対して）逆量子化処理を行った結果を示している。また、図１０Ｃは、図１０Ｂに示す量子化処理を行った結果に対してＩＤＣＴ処理を行った結果を示しており、図１１は、図１０Ｃに示すＩＤＣＴ処理を行った結果の画像信号を画像化したものを示している。
【００５２】
ＱＳ＝８の場合には、図１０Ｃに示す輝度値と図６に示す輝度値との間の誤差が大きくなる。つまり、ＱＳ＝８の場合には、量子化処理、逆量子化処理、およびＩＤＣ処理が順次に行われた結果、高周波成分の誤差の影響を受けた画像信号が得られ、当該画像信号が示す画像は、図３に示す基底画像に近い輝度の段差を有することとなる。よって、ＱＳ＝８の場合には、図１１に示すように、ＩＤＣＴ処理後の画像信号が示す画像に、リンギングノイズが発生する。
【００５３】
（ｉｉｉ）ＱＳ＝２４の場合
図１２Ａ〜図１２Ｃ、および図１３は、ＱＳ＝２４の場合における量子化処理、逆量子化処理、およびＩＤＣ処理の結果の一例を示している。ここで、図１２Ａは、図７に示すＤＣＴ係数に対して量子化処理を行った結果を示している。また、図１２Ｂは、図１２Ａに示す量子化処理を行った結果に対して（より厳密には、エントロピー符号化処理、およびエントロピー復号化処理が行われたものに対して）逆量子化処理を行った結果を示している。また、図１２Ｃは、図１２Ｂに示す量子化処理を行った結果に対してＩＤＣＴ処理を行った結果を示しており、図１３は、図１２Ｃに示すＩＤＣＴ処理を行った結果の画像信号を画像化したものを示している。
【００５４】
ＱＳ＝２４の場合には、ＱＳ＝８の場合と同様に、図１２Ｃに示す輝度値と図６に示す輝度値との間の誤差が大きくなる。つまり、ＱＳ＝２４の場合には、ＱＳ＝８の場合と同様に、量子化処理、逆量子化処理、およびＩＤＣ処理が順次に行われた結果、高周波成分の誤差の影響を受けた画像信号が得られる。よって、ＱＳ＝２４の場合には、図１３に示すように、ＩＤＣＴ処理後の画像信号が示す画像に、リンギングノイズが発生する。
【００５５】
ＱＳの値を大きく設定することによって情報量をより多く削減することが可能であるが、上記（ｉ）〜（ｉｉｉ）に示すように、復元の際には、量子化の影響によって直線エッジと平行して誤差が生じ、結果として輝度の振幅が生じた画像が得られてしまう。そして、上記輝度の振幅こそが、リンギングノイズとして画像をみるユーザに認識されることとなる。
【００５６】
［２］本発明の実施形態に係る画像処理方法に係る処理
上述したように、本発明の実施形態に係る画像処理装置が検出する対象のリンギングノイズは、量子化誤差の影響により発生する。また、量子化処理は、符号化単位（例えば、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８）で符号化される場合には、８×８画素のブロック単位）で行われることから、量子化誤差の影響は、符号化単位の領域内に限られる。
【００５７】
また、本発明の実施形態に係る画像処理装置が検出する対象のリンギングノイズは、直線エッジの周辺において、輝度の振幅として捉えることが可能である。
【００５８】
そこで、本発明の実施形態に係る画像処理装置は、入力画像信号が示す画像が符号化単位に分割された分割領域ごとに、直線エッジを検出する（直線エッジ検出処理）。
【００５９】
そして、本発明の実施形態に係る画像処理装置は、直線エッジが検出された分割領域それぞれについて、直線エッジの周辺における輝度の振幅に基づいて、リンギングノイズが存在するかを判定することによって、リンギングノイズを検出する（ノイズ検出処理）。より具体的には、本発明の実施形態に係る画像処理装置は、入力画像信号に含まれる繰り返しパターンを探すことに関して有効な指標である自己相関係数を用いて、直線エッジ周辺に発生する輝度の振幅が、ＤＣＴ基底パターンに起因するリンギングノイズであるか否かを判定することによって、リンギングノイズを検出する。
【００６０】
本発明の実施形態に係る画像処理装置は、上記のように、上述したリンギングノイズの発生要因に対応する処理（直線エッジ検出処理、およびノイズ検出処理）によって、リンギングノイズを検出する。
【００６１】
したがって、本発明の実施形態に係る画像処理装置は、処理対象の画像信号に基づいて、リンギングノイズを検出することができる。
【００６２】
また、本発明の実施形態に係る画像処理装置は、リンギングノイズの発生要因に対応する処理によってリンギングノイズを検出するので、本発明の実施形態に係るリンギングノイズの検出結果に基づき、リンギングノイズを低減する処理（以下、「ノイズ低減処理」と示す場合がある。）を行えば、必要以上にノイズ低減処理（例えば、平滑化処理）が行われることが防止される。よって、本発明の実施形態に係るリンギングノイズの検出結果に基づきノイズ低減処理が行われることによって、例えば画像のぼけなど、処理後の画像における画質の低下が防止される。
【００６３】
以下、本発明の実施形態に係る画像処理装置の構成の一例について説明をすると共に、本発明の実施形態に係る画像処理方法に係る処理の具体例についても併せて説明する。
【００６４】
また、以下では、本発明の実施形態に係る画像処理装置が、本発明の実施形態に係るリンギングノイズの検出結果に基づきノイズ低減処理を行う機能を有する場合を例に挙げて説明する。なお、本発明の実施形態に係る画像処理装置の構成は、ノイズ低減処理を行う機能を有する構成に限られない。例えば、本発明の実施形態に係る画像処理装置は、ノイズ低減処理を行う機能を有さずに、リンギングノイズの検出結果を示す検出信号（または、検出信号と入力画像信号）を、ノイズ低減処理を行う機能を有する外部装置に送信してもよい。
【００６５】
また、以下では、入力画像信号が、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８）により符号化される画像信号、すなわち、８×８画素のブロックにて符号化される画像信号である場合を例に挙げて、本発明の実施形態に係る画像処理装置の構成の一例、および本発明の実施形態に係る画像処理方法に係る処理の具体例について説明する。
【００６６】
（本発明の実施形態に係る画像処理装置）
図１４は、本発明の実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。画像処理装置１００は、例えば、直線エッジ検出部１０２と、ノイズ検出部１０４と、ノイズ低減部１０６とを備える。
【００６７】
また、画像処理装置１００は、例えば、制御部（図示せず）や、ＲＯＭ（Read Only Memory。図示せず）、ＲＡＭ（Random Access Memory。図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）、外部装置と通信を行うための通信部（図示せず）、撮像部（図示せず）などを備えていてもよい。画像処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
【００６８】
ここで、制御部（図示せず）は、例えば、ＣＰＵ（Central Processing Unit）や各種処理回路などで構成され、画像処理装置１００全体を制御する。また、制御部（図示せず）は、例えば、直線エッジ検出部１０２、ノイズ検出部１０４、およびノイズ低減部１０６（または、これらのうちの１または２以上の部）の役目を果たしてもよい。なお、直線エッジ検出部１０２、ノイズ検出部１０４、およびノイズ低減部１０６は、各部の処理を実現可能な専用の（または汎用の）処理回路で構成されていてもよいことは、言うまでもない。
【００６９】
また、制御部（図示せず）は、例えば、ノイズ低減処理が行われた画像信号（以下、「出力画像信号」と示す。）をエンコードして、記憶部（図示せず）に記録する、および／または、出力画像信号が示す画像を表示部（図示せず）や外部表示装置の表示画面に表示させるなど、出力画像信号に対する処理を行う役目を果たしてもよい。
【００７０】
ＲＯＭ（図示せず）は、制御部（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部（図示せず）により実行されるプログラムなどを一時的に記憶する。
【００７１】
記憶部（図示せず）は、画像処理装置１００が備える記憶手段であり、例えば、画像データや、アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）などが挙げられる。また、記憶部（図示せず）は、画像処理装置１００から着脱可能であってもよい。
【００７２】
操作部（図示せず）としては、例えば、ボタンや、方向キー、あるいは、これらの組み合わせなどが挙げられる。また、画像処理装置１００は、例えば、画像処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）と接続することもできる。
【００７３】
表示部（図示せず）としては、例えば、液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機ＥＬディスプレイ（organic ElectroLuminescence display）などが挙げられる。なお、表示部（図示せず）は、例えばタッチスクリーンなどのように、表示とユーザ操作とが可能なデバイスであってもよい。また、画像処理装置１００は、表示部（図示せず）の有無に関わらず、画像処理装置１００の外部装置としての表示デバイス（例えば、外部ディスプレイなど）と接続することもできる。
【００７４】
通信部（図示せず）は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部装置と無線／有線で通信を行う。ここで、通信部（図示せず）としては、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）などが挙げられる。また、本発明の実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide Area Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ；Wireless Local Area Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless Wide Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
【００７５】
撮像部（図示せず）は、静止画像または動画像を撮像する役目を果たす。撮像部（図示せず）を備える場合には、画像処理装置１００は、例えば、撮像部（図示せず）における撮像により生成された画像信号を処理することが可能である。
【００７６】
ここで、本発明の実施形態に係る撮像部（図示せず）としては、例えば、レンズ／撮像素子と信号処理回路とから構成される撮像デバイスが挙げられる。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。また、信号処理回路は、例えば、ＡＧＣ（Automatic Gain Control）回路やＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理などが挙げられる。
【００７７】
以下、図１４に示す本発明の実施形態に係る画像処理装置１００の構成例について説明しつつ、画像処理装置１００における処理（画像処理方法に係る処理）の一例について説明する。
【００７８】
直線エッジ検出部１０２は、上記直線エッジ検出処理を主導的に行う役目を果たし、入力画像信号に基づいて、分割領域ごとに直線エッジを検出する。
【００７９】
ここで、直線エッジ検出部１０２は、例えば、入力画像信号をデコードしたデコーダからブロック境界の情報を取得し、当該ブロック境界の情報が示すブロック境界に対応する領域を分割領域とするが、直線エッジ検出部１０２における分割領域の認識方法は、上記に限られない。例えば、直線エッジ検出部１０２は、例えば、８×８画素の矩形の領域や１６×１６画素の矩形の領域など、予め規定された大きさの領域を分割領域とすることも可能である。また、直線エッジ検出部１０２は、例えば制御部（図示せず）などの他の構成要素が判別した符号化単位に基づいて、分割領域を認識してもよい。
【００８０】
図１５Ａ、図１５Ｂは、本発明の実施形態に係る直線エッジ検出部１０２における処理の一例を説明するための説明図である。ここで、図１５Ａに示すＡ〜Ｄ、および図１５Ｂに示すＡ〜Ｄそれぞれは、分割領域を示している。また、図１５Ａに示すＥ、および図１５Ｂに示すＥは、エッジの検出に係る閾値処理の一例を示している。
【００８１】
直線エッジ検出部１０２は、図１５Ａに示すＡ〜Ｄに示すように、分割領域内を所定の位置（例えば、図１５Ａに示す分割領域における左上の位置）から水平方向（例えば、図１５Ａに示す（１）の方向）に２画素ずつ検索する。また、直線エッジ検出部１０２は、例えば図１５ＡのＥに示すように、２画素の輝度差が予め規定された閾値Ｔｈ１より大きい場合（または、閾値Ｔｈ１以上の場合）には、図１５Ｂに示すＡ〜Ｄに示すように、当該２画素の位置に対して、さらに垂直方向（例えば、図１５Ｂに示す（２）の方向）に２画素ずつ検索する。
【００８２】
そして、直線エッジ検出部１０２は、分割領域の垂直方向の全画素（図１５Ｂの例では、８画素）における隣接する画素の輝度差が、予め規定された閾値Ｔｈ２より小さい場合（または、閾値Ｔｈ２以下の場合）には、当該分割領域に垂直方向の直線エッジが存在すると判定する。
【００８３】
また、直線エッジ検出部１０２は、図１５Ａ、図１５Ｂに示す方法によって垂直方向の直線エッジが検出されなかった場合には、水平方向の直線エッジを、上記図１５Ａ、図１５Ｂに示す方法と同様の方法によって、検出する。
【００８４】
直線エッジ検出部１０２は、例えば上記のような処理を、分割領域ごとに行うことによって、直線エッジを検出する。そして、直線エッジ検出部１０２は、検出結果を示す検出信号をノイズ検出部１０４へ伝達する。直線エッジ検出部１０２が直線エッジを検出することによって、画像処理装置１００は、リンギングノイズが存在する可能性のある分割領域である、リンギングノイズ候補分割領域を特定することができる。
【００８５】
なお、本発明の実施形態に係る直線エッジ検出部１０２における、直線エッジの検出処理は、上記に限られない。例えば、直線エッジ検出部１０２は、分割領域において垂直方向の直線エッジ（または、水平方向の直線エッジ）が１つ見つかったら当該分割領域における処理を終了することに限られず、複数の垂直方向の直線エッジ（または、水平方向の直線エッジ）を検出してもよい。また、直線エッジ検出部１０２は、垂直方向のエッジと、水平方向のエッジとを検出可能な任意の方法を用いて、分割領域ごとに直線エッジを検出することができる。
【００８６】
再度図１４を参照して、本発明の実施形態に係る画像処理装置１００の構成の一例について説明する。ノイズ検出部１０４は、上記ノイズ検出処理を主導的に行う役目を果たし、リンギングノイズ候補分割領域（すなわち、直線エッジが検出された分割領域。以下、同様とする。）ごとに、リンギングノイズ候補分割領域に対応する入力画像信号の輝度信号の振幅に基づいて、リンギングノイズを検出する。
【００８７】
図１６は、本発明の実施形態に係るノイズ検出部１０４における処理の一例を説明するための説明図である。ここで、図１６は、垂直方向の直線エッジが検出された分割領域の一例を示している。
【００８８】
ノイズ検出部１０４は、リンギングノイズ候補分割領域内における直線エッジ以外の領域を、ノイズ候補領域として設定する。そして、ノイズ検出部１０４は、設定したノイズ候補領域にリンギングノイズが発生しているかを判定する。
【００８９】
より具体的には、ノイズ検出部１０４は、例えば、自己相関係数算出部１０８と、ノイズ判定部１１０とを備えることによって、リンギングノイズを検出する。
【００９０】
自己相関係数算出部１０８は、リンギングノイズ候補分割領域ごとに、輝度値に関する自己相関係数を算出する。ここで、本発明の実施形態に係る自己相関係数とは、隣接する画素（または、画素群）の相関を示す係数である。また、本発明の実施形態に係る自己相関係数は、信号に含まれる繰り返しパターンを探すのに有用であるため、リンギングノイズの検出に適している。
【００９１】
図１７は、本発明の実施形態に係るノイズ検出部１０４における処理の一例を説明するための説明図である。ここで、図１７は、自己相関係数算出部１０８における処理の一例を示している。
【００９２】
自己相関係数算出部１０８は、例えば下記の数式７の演算を行うことによって、自己相関係数ａｆｃ（ｋ）を算出する。自己相関係数ａｆｃ（ｋ）は、−１．０〜１．０の間の実数値をとる。また、自己相関係数ａｆｃ（ｋ）は、１．０に近い値をとるときには、正の相関があり、−１．０に近い値をとるときには、負の相関があることを示している。
【００９３】
ここで、数式７に示す“ｘｉ”は、輝度値を示す。また、数式７に示す“ｎ”は、図１７に示すように、ノイズ候補領域における直線エッジと直交する直線上に存在する画素数と、リンギングノイズ候補分割領域と隣接する分割領域（より具体的には、ノイズ候補領域と隣接する分割領域）における、当該直交する直線上に存在する画素数との総和の画素数を示す。また、数式７に示す“ｋ”は、数式７の“ｎ”により表される画素群における基準位置からの距離（以下、「ラグ」と示す。）を示す。上記基準位置としては、例えば直線エッジが存在する位置が挙げられる。また、数式７に示す“ｘ１’”は、下記の数式８で表され、“ｘ2’”は、下記の数式９で表される。
【００９４】
【数７】
・・・（数式７）
【００９５】
【数８】
・・・（数式８）
【００９６】
【数９】
・・・（数式９）
【００９７】
図１８は、本発明の実施形態に係るノイズ検出部１０４における処理の結果の一例を示す説明図である。ここで、図１８は、自己相関係数算出部１０８が、図１０Ｂに示すＱＳ＝８の場合における出力結果に対して、数式７に示す演算を行った結果を示している。
【００９８】
自己相関係数算出部１０８は、リンギングノイズ候補分割領域ごとに、数式７に示す演算を行い、例えば図１８に示すような演算結果をノイズ判定部１１０に伝達する。なお、自己相関係数算出部１０８は、例えば、リンギングノイズ候補分割領域と隣接する分割領域が、当該リンギングノイズ候補分割領域と同一方向の直線エッジを含む分割領域である場合には、当該リンギングノイズ候補分割領域に対する処理を行わなくてもよい。
【００９９】
ノイズ判定部１１０は、算出された自己相関係数に基づいて、リンギングノイズ候補分割領域（直線エッジが検出された分割領域）においてリンギングノイズが発生しているかを判定する。
【０１００】
図１９は、本発明の実施形態に係るノイズ検出部１０４における処理の一例を説明するための説明図である。ここで、図１９は、図１８に示す自己相関係数算出部１０８における演算結果と同一の演算結果を示している。
【０１０１】
ノイズ判定部１１０は、ノイズ候補領域内に輝度の振幅が発生してることを判定することによって、リンギングノイズが発生しているかを判定する。ノイズ判定部１１０は、例えば、ノイズ候補領域内の自己相関係数に振幅があり、隣接分割領域の自己相関係数に振幅がなければ、ノイズ候補領域にリンギングノイズが発生していると判定する。
【０１０２】
より具体的には、ノイズ判定部１１０は、ノイズ候補領域の画素数を“ｗ”とし、数式７により算出された自己相関係数ａｆｃ（ｋ）と自己相関係数ａｆｃ（ｋ＋１）との差を、ｗ画素分算出する。また、ノイズ判定部１１０は、算出した上記差が、予め設定した閾値Ｔｈ＿Ｕｐｐｅｒ以上である場合（または、閾値Ｔｈ＿Ｕｐｐｅｒより大きい場合）に、隣接分割領域に対応する画素ｗ＋１〜ｎまでの振幅を調べる。ここで、本発明の実施形態に係る閾値Ｔｈ＿Ｕｐｐｅｒは、例えば、固定値であってもよいし、画像処理装置１００のユーザが変更可能な可変値であってもよい。
【０１０３】
そして、ノイズ判定部１１０は、隣接分割領域における自己相関係数ａｆｃ（ｋ）と自己相関係数ａｆｃ（ｋ＋１）との差が、予め設定した閾値Ｔｈ＿Ｌｏｗｅｒ以下の場合（または、閾値Ｔｈ＿Ｌｏｗｅｒより小さい場合）に、ノイズ候補領域を、リンギングノイズが存在するノイズ領域と判定する。ここで、本発明の実施形態に係る閾値Ｔｈ＿Ｌｏｗｅｒは、例えば、固定値であってもよいし、画像処理装置１００のユーザが変更可能な可変値であってもよい。
【０１０４】
図２０は、本発明の実施形態に係るノイズ検出部１０４における処理の一例を示す流れ図である。以下では、図２０に示す処理を、ノイズ検出部１０４を構成するノイズ判定部１１０が行う場合を例に挙げて、ノイズ検出部１０４における処理の一例について説明する。ここで、図２０は、リンギングノイズ候補分割領域におけるノイズ候補領域ごとの処理の一例を示している。
【０１０５】
ノイズ判定部１１０は、“ｋ”の値を０（ゼロ）に設定する（Ｓ１００）。そして、ノイズ判定部１１０は、“ａｆｃ（ｋ）−ａｆｃ（ｋ＋１）”の値が０（ゼロ）より大きいか否かを判定する（Ｓ１０２）。
【０１０６】
ステップＳ１０２において、“ａｆｃ（ｋ）−ａｆｃ（ｋ＋１）”の値が０（ゼロ）より大きいと判定された場合には、ノイズ判定部１１０は、“ａｆｃ（ｋ）−ａｆｃ（ｋ＋１）”の値が閾値Ｔｈ＿Ｕｐｐｅｒより大きいか否かを判定する（Ｓ１０４）。
【０１０７】
ステップＳ１０４において“ａｆｃ（ｋ）−ａｆｃ（ｋ＋１）”の値が閾値Ｔｈ＿Ｕｐｐｅｒより大きいと判定されない場合には、ノイズ判定部１１０は、処理対象のリンギングノイズ候補分割領域にリンギングノイズが発生していないと判定する（Ｓ１３４）。そして、ノイズ判定部１１０は、処理対象のリンギングノイズ候補分割領域に対する処理を終了する。
【０１０８】
また、ステップＳ１０４において“ａｆｃ（ｋ）−ａｆｃ（ｋ＋１）”の値が閾値Ｔｈ＿Ｕｐｐｅｒより大きいと判定された場合には、ノイズ判定部１１０は、“ｆｌｇ”の値を０（ゼロ）に設定する（Ｓ１０６）。
【０１０９】
ステップＳ１０２において、“ａｆｃ（ｋ）−ａｆｃ（ｋ＋１）”の値が０（ゼロ）より大きいと判定されない場合には、ノイズ判定部１１０は、“ａｆｃ（ｋ＋１）−ａｆｃ（ｋ）”の値が閾値Ｔｈ＿Ｕｐｐｅｒより大きいか否かを判定する（Ｓ１０８）。
【０１１０】
ステップＳ１０８において“ａｆｃ（ｋ＋１）−ａｆｃ（ｋ）”の値が閾値Ｔｈ＿Ｕｐｐｅｒより大きいと判定されない場合には、ノイズ判定部１１０は、処理対象のリンギングノイズ候補分割領域にリンギングノイズが発生していないと判定する（Ｓ１３４）。そして、ノイズ判定部１１０は、処理対象のリンギングノイズ候補分割領域に対する処理を終了する。
【０１１１】
また、ステップＳ１０８において“ａｆｃ（ｋ＋１）−ａｆｃ（ｋ）”の値が閾値Ｔｈ＿Ｕｐｐｅｒより大きいと判定された場合には、ノイズ判定部１１０は、“ｆｌｇ”の値を１に設定する（Ｓ１１０）。
【０１１２】
ステップＳ１０６またはステップＳ１１０の処理が完了すると、ノイズ判定部１１０は、“ｋ”の値が“ｗ”の値より小さい場合に限り、後述するステップＳ１１２〜Ｓ１２４までの処理を繰り返す。
【０１１３】
ノイズ判定部１１０は、“ｋ”の値が０（ゼロ）ではないか否かを判定する（Ｓ１１２）。
【０１１４】
ステップＳ１１２において“ｋ”の値が０（ゼロ）ではないと判定されない場合には、ノイズ判定部１１０は、“ｋ”の値をｋ＋１に設定する（Ｓ１２４）。
【０１１５】
また、ステップＳ１１２において“ｋ”の値が０（ゼロ）ではないと判定された場合には、ノイズ判定部１１０は、“ｆｌｇ”の値が０（ゼロ）であるか否かを判定する（Ｓ１１４）。
【０１１６】
ステップＳ１１４において、“ｆｌｇ”の値が０（ゼロ）であると判定された場合には、ノイズ判定部１１０は、“ａｆｃ（ｋ＋１）−ａｆｃ（ｋ）”の値が閾値Ｔｈ＿Ｕｐｐｅｒより大きいか否かを判定する（Ｓ１１６）。
【０１１７】
ステップＳ１１６において“ａｆｃ（ｋ＋１）−ａｆｃ（ｋ）”の値が閾値Ｔｈ＿Ｕｐｐｅｒより大きいと判定されない場合には、ノイズ判定部１１０は、処理対象のリンギングノイズ候補分割領域にリンギングノイズが発生していないと判定する（Ｓ１３４）。そして、ノイズ判定部１１０は、処理対象のリンギングノイズ候補分割領域に対する処理を終了する。
【０１１８】
また、ステップＳ１１６において“ａｆｃ（ｋ＋１）−ａｆｃ（ｋ）”の値が閾値Ｔｈ＿Ｕｐｐｅｒより大きいと判定された場合には、ノイズ判定部１１０は、“ｆｌｇ”の値を１に設定する（Ｓ１１８）。
【０１１９】
ステップＳ１１４において、“ｆｌｇ”の値が０（ゼロ）であると判定されない場合には、ノイズ判定部１１０は、“ａｆｃ（ｋ）−ａｆｃ（ｋ＋）”の値が閾値Ｔｈ＿Ｕｐｐｅｒより大きいか否かを判定する（Ｓ１２０）。
【０１２０】
ステップＳ１２０において“ａｆｃ（ｋ）−ａｆｃ（ｋ＋１）”の値が閾値Ｔｈ＿Ｕｐｐｅｒより大きいと判定されない場合には、ノイズ判定部１１０は、処理対象のリンギングノイズ候補分割領域にリンギングノイズが発生していないと判定する（Ｓ１３４）。そして、ノイズ判定部１１０は、処理対象のリンギングノイズ候補分割領域に対する処理を終了する。
【０１２１】
また、ステップＳ１２０において“ａｆｃ（ｋ）−ａｆｃ（ｋ＋１）”の値が閾値Ｔｈ＿Ｕｐｐｅｒより大きいと判定された場合には、ノイズ判定部１１０は、“ｆｌｇ”の値を０（ゼロ）に設定する（Ｓ１２２）。
【０１２２】
ステップＳ１１８またはステップＳ１１２の処理が完了すると、ノイズ判定部１１０は、“ｋ”の値をｋ＋１に設定する（Ｓ１２４）。
【０１２３】
ノイズ判定部１１０は、上記ステップＳ１１２〜Ｓ１２４の処理を、“ｋ”の値が“ｗ”の値より小さい場合に限り繰り返す。
【０１２４】
“ｋ”の値が“ｗ”の値以上となった場合、ノイズ判定部１１０は、“ｋ”の値をｗ＋１に設定する（Ｓ１２６）。
【０１２５】
ステップＳ１２６の処理が完了すると、ノイズ判定部１１０は、“ｋ”の値が“ｎ”（数式７に示す“ｎ”に対応する。）の値より小さく、かつ、後述するステップＳ１２８の処理後にステップＳ１３４の処理が行われない場合に限り、後述するステップＳ１２８、Ｓ１３０の処理を繰り返す。
【０１２６】
ノイズ判定部１１０は、“ａｆｃ（ｋ）−ａｆｃ（ｋ＋１）の絶対値”の値が、閾値Ｔｈ＿Ｌｏｗｅｒより小さいか否かを判定する（Ｓ１２８）。
【０１２７】
ステップＳ１２８において“ａｆｃ（ｋ）−ａｆｃ（ｋ＋１）の絶対値”の値が、閾値Ｔｈ＿Ｌｏｗｅｒより小さいと判定されない場合には、ノイズ判定部１１０は、処理対象のリンギングノイズ候補分割領域にリンギングノイズが発生していないと判定する（Ｓ１３４）。そして、ノイズ判定部１１０は、処理対象のリンギングノイズ候補分割領域に対する処理を終了する。
【０１２８】
また、ステップＳ１２８において“ａｆｃ（ｋ）−ａｆｃ（ｋ＋１）の絶対値”の値が、閾値Ｔｈ＿Ｌｏｗｅｒより小さいと判定された場合には、ノイズ判定部１１０は、ノイズ判定部１１０は、“ｋ”の値をｋ＋１に設定する（Ｓ１３０）。
【０１２９】
“ｋ”の値が“ｎ”（数式７に示す“ｎ”に対応する。）の値と等しくなった場合には、ノイズ判定部１１０は、処理対象のリンギングノイズ候補分割領域にリンギングノイズが発生していると判定する（Ｓ１３２）。そして、ノイズ判定部１１０は、処理対象のリンギングノイズ候補分割領域に対する処理を終了する。
【０１３０】
ノイズ判定部１１０は、リンギングノイズ候補分割領域ごとに、例えば図２０に示す処理を行うことによって、リンギングノイズ候補分割領域にリンギングノイズが発生しているか否かを判定する。なお、本発明の実施形態に係るノイズ判定部１１０における処理が、図２０に示す処理に限られないことは、言うまでもない。
【０１３１】
ノイズ検出部１０４は、例えば、自己相関係数算出部１０８とノイズ判定部１１０とを備えることによって、リンギングノイズ候補分割領域ごとに、リンギングノイズを検出する。
【０１３２】
再度図１４を参照して、本発明の実施形態に係る画像処理装置１００の構成の一例について説明する。ノイズ低減部１０６は、リンギングノイズが検出された分割領域ごとに、入力画像信号のノイズを低減する。
【０１３３】
ノイズ低減部１０６は、例えば、リンギングノイズが検出された分割領域における、ノイズ領域と判定された領域に対して平滑化を行うことによって、入力画像信号のノイズを低減する。上記のように、ノイズ領域と判定された領域に対して平滑化を行うことによって、ノイズ低減部１０６は、直線エッジに対して平滑化を行うことを防止することができる。よって、ノイズ低減部１０６が処理を行った結果得られる出力画像信号が示す画像では、エッジの鮮鋭度が落ちないことから、ノイズ低減処理に起因する画像のぼけは生じない。
【０１３４】
より具体的には、ノイズ低減部１０６は、例えば下記の数式１０に示す演算を行うことによって、リンギングノイズが検出された分割領域と隣接する分割領域における画素値の平均値を、ノイズ領域と判定された領域に適用することによって、平滑化を行う。
【０１３５】
ここで、上述したノイズ検出部１０４における処理（より厳密には、例えば図２０を参照して示した、ノイズ判定部１１０における処理）において、ノイズ領域と判定された領域と隣接する隣接分割領域には、輝度の振幅がないと判定されている。つまり、ノイズ低減部１０６は、隣接分割領域が、リンギングノイズが検出された分割領域と同一方向の直線エッジを含まない場合に、上記平均値を算出し、また、隣接分割領域が、リンギングノイズが検出された分割領域と同一方向の直線エッジを含む場合には、上記平均値を算出しない。
【０１３６】
よって、例えば下記の数式１０に示す演算を行うことによって、ノイズ低減部１０６は、ノイズ領域と判定された領域に発生しているリンギングノイズを低減することができる。
【０１３７】
ここで、数式１０に示す“Ｒ”は、ノイズ領域と判定された領域に含まれる画素に適用する画素値を示している。また、数式１０に示す“（ｘｉ，ｙｉ）”は、隣接分割領域に含まれる画素における画素値を示しており、数式１０に示す“Ｎ”は、隣接分割領域に含まれる画素数を示している。
【０１３８】
【数１０】
・・・（数式１０）
【０１３９】
ノイズ低減部１０６は、例えば上記のように、リンギングノイズが検出された分割領域ごとに、リンギングノイズが検出された分割領域と隣接する隣接分割領域の画素値の平均値を算出し、ノイズ領域と判定された領域（リンギングノイズが検出された分割領域における、検出された直線エッジに基づき設定されるリンギングノイズを含む領域）の画素値を、算出された平均値に置き換える。なお、本発明の実施形態に係るノイズ低減部１０６における処理が、上記に限られないことは、言うまでもない。
【０１４０】
本発明の実施形態に係る画像処理装置１００は、例えば、図１４に示す構成によって、本発明の実施形態に係る画像処理方法に係る処理（直線エッジ検出処理、およびノイズ検出処理）を実現する。よって、画像処理装置１００は、処理対象の画像信号に基づいて、処理対象の画像信号に基づいて、リンギングノイズを検出することができる。
【０１４１】
また、画像処理装置１００は、リンギングノイズの発生要因に対応する処理によって検出したリンギングノイズの検出結果に基づきノイズ低減処理を行うので、必要以上にノイズ低減処理（例えば、平滑化処理）が行われることを防止することができる。よって、画像処理装置１００は、リンギングノイズを低減しつつ、例えば画像のぼけなど、処理後の画像における画質の低下を防止することが可能であるので、高画質化を図ることができる。
【０１４２】
なお、本発明の実施形態に係る画像処理装置の構成が、図１４に示す構成に限られないことは、言うまでもない。
【０１４３】
以上、本発明の実施形態として画像処理装置を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、デジタルカメラなどの撮像装置や、ＰＣ（Personal Computer）やサーバなどのコンピュータ、テレビ受像機などの表示装置、携帯電話やスマートフォンなどの通信装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機など、画像信号の処理が可能な様々な機器に適用することができる。また、本発明の実施形態は、例えば、上記のような機器に組み込むことが可能な、画像処理ＩＣ（Integrated Circuit）に適用することもできる。
【０１４４】
（本発明の実施形態に係るプログラム）
コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（例えば、直線エッジ検出処理、およびノイズ検出処理など、本発明の実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム）によって、処理対象の画像信号に基づいて、リンギングノイズを検出することができる。
【０１４５】
また、コンピュータを、図１４に示すノイズ低減部１０４を備える画像処理装置として機能させるためのプログラム（例えば、さらにノイズ低減処理を実行することが可能なプログラム）によって、リンギングノイズを低減しつつ、例えば画像のぼけなど、処理後の画像における画質の低下を防止することができる。
【０１４６】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１４７】
例えば、上記では、コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムをそれぞれ記憶させた記録媒体も併せて提供することができる。
【符号の説明】
【０１４８】
１００ 画像処理装置
１０２ 直線エッジ検出部
１０４ ノイズ検出部
１０６ ノイズ低減部
１０８ 自己相関係数算出部
１１０ ノイズ判定部
【特許請求の範囲】
【請求項１】
入力画像信号に基づいて、前記入力画像信号が示す画像が符号化単位に分割された分割領域ごとに、直線エッジを検出する直線エッジ検出部と、
直線エッジが検出された前記分割領域ごとに、前記分割領域に対応する前記入力画像信号の輝度信号の振幅に基づいて、リンギングノイズを検出するノイズ検出部と、
を備えることを特徴とする、画像処理装置。
【請求項２】
前記ノイズ検出部は、
直線エッジが検出された前記分割領域ごとに、輝度値に関する自己相関係数を算出する自己相関係数算出部と、
算出された自己相関係数に基づいて、直線エッジが検出された前記分割領域においてリンギングノイズが発生しているかを判定するノイズ判定部と、
を備えることを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
リンギングノイズが検出された前記分割領域ごとに、前記入力画像信号のノイズを低減するノイズ低減部をさらに備えることを特徴とする、請求項１、または２に記載の画像処理装置。
【請求項４】
前記ノイズ低減部は、
リンギングノイズが検出された前記分割領域ごとに、リンギングノイズが検出された前記分割領域と隣接する分割領域の画素値の平均値を算出し、
リンギングノイズが検出された前記分割領域における、検出された直線エッジに基づき設定されるリンギングノイズを含む領域の画素値を、算出された平均値に置き換えることを特徴とする、請求項３に記載の画像処理装置。
【請求項５】
前記ノイズ低減部は、
前記隣接する分割領域が、リンギングノイズが検出された前記分割領域と同一方向の直線エッジを含まない場合に、前記平均値を算出し、
前記隣接する分割領域が、リンギングノイズが検出された前記分割領域と同一方向の直線エッジを含む場合には、前記平均値を算出しないことを特徴とする、請求項４に記載の画像処理装置。
【請求項６】
入力画像信号に基づいて、入力画像信号が示す画像が符号化単位に分割された分割領域ごとに、直線エッジを検出するステップと、
直線エッジが検出された前記分割領域ごとに、前記分割領域に対応する前記入力画像信号の輝度信号の振幅に基づいて、リンギングノイズを検出するステップと、
を有することを特徴とする、画像処理方法。
【請求項７】
入力画像信号に基づいて、入力画像信号が示す画像が符号化単位に分割された分割領域ごとに、直線エッジを検出するステップ、
直線エッジが検出された前記分割領域ごとに、前記分割領域に対応する前記入力画像信号の輝度信号の振幅に基づいて、リンギングノイズを検出するステップ、
をコンピュータに実行させるためのプログラム。
【請求項１】
入力画像信号に基づいて、前記入力画像信号が示す画像が符号化単位に分割された分割領域ごとに、直線エッジを検出する直線エッジ検出部と、
直線エッジが検出された前記分割領域ごとに、前記分割領域に対応する前記入力画像信号の輝度信号の振幅に基づいて、リンギングノイズを検出するノイズ検出部と、
を備えることを特徴とする、画像処理装置。
【請求項２】
前記ノイズ検出部は、
直線エッジが検出された前記分割領域ごとに、輝度値に関する自己相関係数を算出する自己相関係数算出部と、
算出された自己相関係数に基づいて、直線エッジが検出された前記分割領域においてリンギングノイズが発生しているかを判定するノイズ判定部と、
を備えることを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
リンギングノイズが検出された前記分割領域ごとに、前記入力画像信号のノイズを低減するノイズ低減部をさらに備えることを特徴とする、請求項１、または２に記載の画像処理装置。
【請求項４】
前記ノイズ低減部は、
リンギングノイズが検出された前記分割領域ごとに、リンギングノイズが検出された前記分割領域と隣接する分割領域の画素値の平均値を算出し、
リンギングノイズが検出された前記分割領域における、検出された直線エッジに基づき設定されるリンギングノイズを含む領域の画素値を、算出された平均値に置き換えることを特徴とする、請求項３に記載の画像処理装置。
【請求項５】
前記ノイズ低減部は、
前記隣接する分割領域が、リンギングノイズが検出された前記分割領域と同一方向の直線エッジを含まない場合に、前記平均値を算出し、
前記隣接する分割領域が、リンギングノイズが検出された前記分割領域と同一方向の直線エッジを含む場合には、前記平均値を算出しないことを特徴とする、請求項４に記載の画像処理装置。
【請求項６】
入力画像信号に基づいて、入力画像信号が示す画像が符号化単位に分割された分割領域ごとに、直線エッジを検出するステップと、
直線エッジが検出された前記分割領域ごとに、前記分割領域に対応する前記入力画像信号の輝度信号の振幅に基づいて、リンギングノイズを検出するステップと、
を有することを特徴とする、画像処理方法。
【請求項７】
入力画像信号に基づいて、入力画像信号が示す画像が符号化単位に分割された分割領域ごとに、直線エッジを検出するステップ、
直線エッジが検出された前記分割領域ごとに、前記分割領域に対応する前記入力画像信号の輝度信号の振幅に基づいて、リンギングノイズを検出するステップ、
をコンピュータに実行させるためのプログラム。
【図２】
【図４】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図１０Ａ】
【図１０Ｂ】
【図１０Ｃ】
【図１２Ａ】
【図１２Ｂ】
【図１２Ｃ】
【図１４】
【図１５Ａ】
【図１５Ｂ】
【図１８】
【図１９】
【図２０】
【図１】
【図３】
【図５】
【図９】
【図１１】
【図１３】
【図１６】
【図１７】
【図４】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図１０Ａ】
【図１０Ｂ】
【図１０Ｃ】
【図１２Ａ】
【図１２Ｂ】
【図１２Ｃ】
【図１４】
【図１５Ａ】
【図１５Ｂ】
【図１８】
【図１９】
【図２０】
【図１】
【図３】
【図５】
【図９】
【図１１】
【図１３】
【図１６】
【図１７】
【公開番号】特開２０１３−１０６２１３（Ｐ２０１３−１０６２１３Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２４９１６２（Ｐ２０１１−２４９１６２）
【出願日】平成２３年１１月１４日（２０１１．１１．１４）
【出願人】（５９８０４５０５８）株式会社サムスン横浜研究所 (294)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１４日（２０１１．１１．１４）
【出願人】（５９８０４５０５８）株式会社サムスン横浜研究所 (294)
【Ｆターム（参考）】
[ Back to top ]