画像処理装置、画像処理方法、およびプログラム
【課題】処理対象の画像信号に基づいて、符号化ノイズを検出することが可能な、画像処理装置、画像処理方法、およびプログラムを提供する。
【解決手段】入力画像信号が示す画像の特徴を示す画像特徴を、複数検出する第１特徴検出部と、検出された複数の画像特徴と、複数の画像特徴と符号化ノイズとの因果関係が示される確率モデルに基づき生成される、学習画像を示す学習画像信号における符号化ノイズの発生確率を示す参照確率情報とに基づいて、符号化ノイズの発生確率を算出するノイズ発生確率算出部と、算出された符号化ノイズの発生確率に基づいて、入力画像信号に含まれる符号化ノイズを特定するノイズ特定部と、を備える画像処理装置が提供される。
【解決手段】入力画像信号が示す画像の特徴を示す画像特徴を、複数検出する第１特徴検出部と、検出された複数の画像特徴と、複数の画像特徴と符号化ノイズとの因果関係が示される確率モデルに基づき生成される、学習画像を示す学習画像信号における符号化ノイズの発生確率を示す参照確率情報とに基づいて、符号化ノイズの発生確率を算出するノイズ発生確率算出部と、算出された符号化ノイズの発生確率に基づいて、入力画像信号に含まれる符号化ノイズを特定するノイズ特定部と、を備える画像処理装置が提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、例えばＶＯＤ（Video On Demand）などのように、インターネット（Internet）を介して動画像を配信するサービスの普及が進んでいる。また、例えば日本では、テレビジョン放送がデジタル化している。例えば上記のような、動画像配信サービスやデジタルテレビジョン放送において、高解像度のデジタル画像の配信や放送を可能とした技術の一つとして、画像圧縮技術がある。画像圧縮技術の規格としては、例えば、ＩＳＯ／ＩＥＣ ＭＰＥＧ（Motion Picture Experts Group）とＩＴＵ−Ｔ ＶＣＥＧ（Video Coding Experts Group）とが共同で標準化した、ＭＰＥＧ−２やＨ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下、「Ｈ．２６４」と示す場合がある。）が挙げられる。ＭＰＥＧ−２やＨ．２６４は、動画像符号化国際標準規格として、様々な機器において採用されている。
【０００３】
例えば、ＭＰＥＧ−２やＨ．２６４では、所定の符号化方式にて画像が非可逆に圧縮される。そのため、例えば上記のような符号化方式が用いられる場合には、画像のデータ量の削減には有利であるが、その反面、例えばブロックノイズやモスキートノイズなどの符号化に起因するノイズ（歪）が、画像をみるユーザに認識されてしまうことが起こりうる。
【０００４】
このような中、符号化に起因するノイズを検出する技術が開発されている。符号化に起因するノイズの検出に係る技術としては、例えば、特許文献１に記載の技術や、特許文献２に記載の技術、特許文献３に記載の技術に記載の技術が挙げられる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２６６６８４号公報
【特許文献２】特開２００６−１２１１３１号公報
【特許文献３】特開２００７−２７９８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
例えば特許文献１に記載の技術では、ブロック境界の不連続性を検出することによって、ブロックノイズを検出する。また、例えば特許文献２に記載の技術では、ＤＣＴ（Discrete Cosine Transform。離散コサイン変換）係数の孤立係数を検出することによって、モスキートノイズを検出する。また、例えば特許文献３に記載の技術では、符号化情報（動きベクトルや量子化ステップ）に基づいて符号化ノイズを検出する。よって、例えば特許文献１〜３の技術を用いる場合には、符号化ノイズを検出できる可能性はある。
【０００７】
しかしながら、符号化ノイズは複合的な要因によって発生するが、例えば特許文献１〜３の技術は、ブロック境界の不連続性や、ＤＣＴ係数の孤立係数、動きベクトルや量子化ステップなど、ある特定の情報に基づいて符号化ノイズを検出するものであり、例えば特許文献１〜３の技術では、当該複合的な要因について考慮がなされていない。そのため、例えば特許文献１〜３の技術を用いたとしても、画像本来の構造とノイズ成分とを高精度に分離して符号化ノイズを特定することは困難である。
【０００８】
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、処理対象の画像信号に基づいて、符号化ノイズを検出することが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の第１の観点によれば、入力画像信号が示す画像の特徴を示す画像特徴を、複数検出する第１特徴検出部と、検出された複数の上記画像特徴と、複数の上記画像特徴と符号化ノイズとの因果関係が示される確率モデルに基づき生成される、学習画像を示す学習画像信号における符号化ノイズの発生確率を示す参照確率情報とに基づいて、符号化ノイズの発生確率を算出するノイズ発生確率算出部と、算出された符号化ノイズの発生確率に基づいて、上記入力画像信号に含まれる符号化ノイズを特定するノイズ特定部と、を備える画像処理装置が提供される。
【００１０】
かかる構成によって、処理対象の画像信号に基づいて、符号化ノイズを検出することができる。
【００１１】
また、上記第１特徴検出部における検出対象の画像特徴と同一の、上記学習画像の特徴を示す複数の画像特徴と、上記確率モデルとに基づいて、上記参照確率情報を生成する参照確率情報生成部をさらに備えていてもよい。
【００１２】
また、上記参照確率情報生成部は、上記第１特徴検出部における検出対象の画像特徴と同一の、上記学習画像の特徴を示す画像特徴を、複数検出する第２特徴検出部と、検出された複数の上記画像特徴と上記確率モデルとに基づいて、上記学習画像信号における符号化ノイズの発生確率を算出し、上記参照確率情報を生成する情報生成部と、を備えていてもよい。
【００１３】
また、上記確率モデルは、ベイジアンネットワークであってもよい。
【００１４】
また、複数の上記画像特徴は、画像における動きを示す動き特徴、画像に含まれるエッジを示すエッジ特徴、画像に含まれるテクスチャを示すテクスチャ特徴、画像に含まれる色を示す色特徴、画像における空間周波数を示す空間周波数特徴、画像における場面を示すシーン特徴、画像に含まれるオブジェクトを示すオブジェクト特徴、ブロック歪特徴、モスキート歪特徴、リンギング歪特徴、符号化に関する特徴、画像の内容に関する特徴、ユーザの知覚に関する特徴のうち、少なくとも２つ以上であってもよい。
【００１５】
また、上記目的を達成するために、本発明の第２の観点によれば、入力画像信号が示す画像の特徴を示す画像特徴を、複数検出するステップと、検出された複数の上記画像特徴と、複数の上記画像特徴と符号化ノイズとの因果関係が示される確率モデルに基づき生成される、学習画像を示す学習画像信号における符号化ノイズの発生確率を示す参照確率情報とに基づいて、符号化ノイズの発生確率を算出するステップと、算出された符号化ノイズの発生確率に基づいて、上記入力画像信号に含まれる符号化ノイズを特定するステップと、を有する画像処理方法が提供される。
【００１６】
かかる方法を用いることによって、処理対象の画像信号に基づいて、符号化ノイズを検出することができる。
【００１７】
また、上記目的を達成するために、本発明の第３の観点によれば、入力画像信号が示す画像の特徴を示す画像特徴を、複数検出するステップ、検出された複数の上記画像特徴と、複数の上記画像特徴と符号化ノイズとの因果関係が示される確率モデルに基づき生成される、学習画像を示す学習画像信号における符号化ノイズの発生確率を示す参照確率情報とに基づいて、符号化ノイズの発生確率を算出するステップ、算出された符号化ノイズの発生確率に基づいて、上記入力画像信号に含まれる符号化ノイズを特定するステップ、をコンピュータに実行させるためのプログラムが提供される。
【００１８】
かかるプログラムを用いることによって、処理対象の画像信号に基づいて、符号化ノイズを検出することができる。
【発明の効果】
【００１９】
本発明によれば、処理対象の画像信号に基づいて、符号化ノイズを検出することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図２】本発明の実施形態に係る確率テーブルの一例を示す説明図である。
【図３】本発明の第１の実施形態に係るベイジアンネットワークモデルの一例を示す説明図である。
【図４】本発明の実施形態に係るノイズ発生確率算出部における処理の一例を説明するための説明図である。
【図５】本発明の実施形態に係るノイズ発生確率算出部における処理の一例を説明するための説明図である。
【図６】本発明の実施形態に係るノイズ発生確率算出部における処理の一例を説明するための説明図である。
【図７】本発明の実施形態に係るノイズ発生確率算出部における処理の一例を説明するための説明図である。
【図８】本発明の実施形態に係るノイズ検出部における処理の一例を示す流れ図である。
【図９】本発明の第１の実施形態に係る参照確率情報生成部の構成の一例を示すブロック図である。
【図１０】本発明の実施形態に係る参照確率情報生成部における処理の一例を示す流れ図である。
【図１１】本発明の第２の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図１２】本発明の第２の実施形態に係るベイジアンネットワークモデルの一例を示す説明図である。
【図１３】本発明の第２の実施形態に係る参照確率情報生成部の構成の一例を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２２】
（本発明の実施形態に係る画像処理方法）
本発明の実施形態に係る画像処理装置の構成について説明する前に、本発明の実施形態に係る画像処理方法について説明する。また、以下では、本発明の実施形態に係る画像処理装置が、処理対象の画像信号（以下、「入力画像信号」と示す場合がある。）に対して、本発明の実施形態に係る画像処理方法に係る処理を行うものとして説明する。
【００２３】
ここで、本発明の実施形態に係る入力画像信号としては、例えば、ＭＰＥＧ−２やＨ．２６４／ＭＰＥＧ−４ ＡＶＣなど、所定の符号化方式により符号化された動画像（または、複数の静止画像）や静止画像を示す画像信号が挙げられる。以下では、本発明の実施形態に係る画像処理装置が、フレーム画像（静止画像）からなる動画像を示す画像信号を処理するものとして説明する。ここで、本発明の実施形態に係るフレーム画像とは、例えば、動画像の１フレーム（動画像がインタレース画像の場合には、１フィールドに対応する。）に対応する画像である。以下では、本発明の実施形態に係る画像処理装置が、時間順に１フレームずつ入力される画像信号を処理する場合を例に挙げて説明する。
【００２４】
また、本発明の実施形態に係る画像処理装置は、例えば、本発明の実施形態に係る画像処理装置がテレビ塔などから送信された放送波を（直接的、またはセットトップボックスなどを介して間接的に）受信してデコードした結果得られる画像信号を、入力画像信号として処理する。なお、本発明の実施形態に係る画像処理装置が処理する入力画像信号は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置は、ネットワークを介して（または直接的に）外部装置から送信された入力画像信号を処理することも可能である。また、本発明の実施形態に係る画像処理装置は、例えば、記憶部（後述する）や、本発明の実施形態に係る画像処理装置から着脱可能な外部記録媒体に記憶された画像データをデコードすることにより得られた画像信号を処理してもよい。さらに、本発明の実施形態に係る画像処理装置が、例えば、画像（動画像／静止画像）を撮像することが可能な撮像部（後述する）を備えている場合、すなわち、本発明の実施形態に係る画像処理装置が撮像装置として機能する場合には、本発明の実施形態に係る画像処理装置は、例えば、当該撮像部（後述する）により撮像された画像（動画像／静止画像）に対応する画像信号を処理してもよい。
【００２５】
本発明の実施形態に係る画像処理装置は、入力画像信号が示す画像（以下、「入力画像」と示す場合がある。）の特徴を示す画像特徴を、複数検出する（画像特徴検出処理）。
【００２６】
ここで、本発明の実施形態に係る画像特徴としては、例えば、画像における動きを示す動き特徴、画像に含まれるエッジを示すエッジ特徴、画像に含まれるテクスチャを示すテクスチャ特徴、画像に含まれる色を示す色特徴、画像における空間周波数を示す空間周波数特徴、画像における場面を示すシーン特徴、画像に含まれるオブジェクト（例えば、人や、物体など）を示すオブジェクト特徴、ブロック歪特徴、モスキート歪特徴、リンギング歪特徴、符号化に関する特徴、画像の内容に関する特徴、ユーザの知覚に関する特徴が挙げられる。
【００２７】
本発明の実施形態に係る画像処理装置は、例えば、上記画像特徴のうちの少なくとも２つ以上の画像特徴を検出する。
【００２８】
本発明の実施形態に係る画像処理装置は、符号化に関する特徴を検出する場合には、例えば入力画像信号に係る符号化処理を行ったデコーダなどから、符号化に関する特徴を示す符号化情報を取得し、取得された符号化情報から符号化に関する特徴を検出する。また、本発明の実施形態に係る画像処理装置は、例えば、入力画像信号と対応付けて送信される符号化情報を受信することによって、符号化情報を取得する。なお、本発明の実施形態に係る符号化情報は、例えばＭＰＥＧ−２やＨ．２６４により圧縮された画像に係るビットストリームに多重化されていてもよい。
【００２９】
ここで、本発明の実施形態に係る符号化情報が示す符号化に関する特徴としては、例えば、動きベクトルやマイクロブロック・モード、ＤＣＴ係数、量子化ステップなど、符号化に関するパラメータが挙げられる。符号化情報は、符号化ノイズと直接的に関係する画像特徴である。例えば量子化ステップが大きい場合には、符号化ノイズが大きくなり、量子化ステップが小さい場合には、符号化ノイズは小さくなる。
【００３０】
また、本発明の実施形態に係る画像処理装置は、画像の内容に関する特徴を検出する場合には、取得された画像内容情報に基づいて画像の内容に関する特徴を検出する。本発明の実施形態に係る画像処理装置は、例えば、データ放送などのように入力画像信号と対応付けて送信される信号を受信することや、入力画像信号を受信することによって、画像内容情報を取得する。
【００３１】
ここで、本発明の実施形態に係る画像内容情報に基づく画像の内容に関する特徴としては、例えば、データ放送において送信される信号に多重化される番組情報や文字情報や、インターネット配信される画像に付けられたタグなどに基づき設定される特徴が挙げられる。より具体的には、本発明の実施形態に係る画像処理装置は、例えば、上記番組情報や、上記文字情報、上記タグなど（画像内容情報の一例）に、予め規定されたキーワードが含まれているか否かを判定し、判定結果に応じて２値化されたものを画像の内容に関する特徴とする。上記のように、予め規定されたキーワードが含まれているか否かの判定結果に基づき画像の内容に関する特徴を検出する場合には、本発明の実施形態に係る画像処理装置は、入力画像から画像の内容に関する特徴を検出する場合よりも、より簡単な処理によって画像の内容に関する特徴を検出することができる。
【００３２】
また、本発明の実施形態に係る画像処理装置は、ユーザの知覚に関する特徴を検出する場合には、ユーザ（人間）が主観的に知覚可能なノイズの度合いを示す知覚情報に基づいて、ユーザの知覚に関する特徴を検出する。
【００３３】
ここで、本発明の実施形態に係る知覚情報に基づくユーザの知覚に関する特徴としては、例えば、人間の知覚レベルを２値または多値で表したものが挙げられる。本発明の実施形態に係る知覚情報は、例えば、ユーザが操作部（後述する）やリモート・コントローラなどの外部操作装置を用いて、画像を複数段階で評価した結果を示す。なお、本発明の実施形態に係る知覚情報は、上記に限られない。例えば、本発明の実施形態に係る知覚情報は、照度センサなど人間の知覚に関連する値を検出するセンサの検出値や、当該検出値が閾値処理によって複数段階に分類された結果を示すものであってもよい。
【００３４】
また、本発明の実施形態に係る画像処理装置は、符号化に関する特徴、画像の内容に関する特徴、ユーザの知覚に関する特徴を除く他の画像特徴（動き特徴、エッジ特徴、テクスチャ特徴、色特徴、空間周波数特徴、シーン特徴、オブジェクト特徴、ブロック歪特徴、モスキート歪特徴、リンギング歪特徴）を検出する場合には、処理対象の入力画像信号に基づいて画像の内容に関する特徴を検出する。なお、上記他の画像特徴については、後述する。
【００３５】
本発明の実施形態に係る画像処理装置は、例えば上記のような入力画像の特徴を示す画像特徴を、複数検出する。
【００３６】
複数の画像特徴が検出されると、本発明の実施形態に係る画像処理装置は、検出された複数の画像特徴と、学習画像を示す学習画像信号における符号化ノイズの発生確率を示す参照確率情報とに基づいて、符号化ノイズの発生確率を算出する（ノイズ発生確率算出処理）。
【００３７】
ここで、本発明の実施形態に係る参照確率情報としては、例えば、画像特徴と符号化ノイズとの組合せごとに、符号化ノイズの発生確率が記録された確率テーブルが挙げられる。なお、本発明の実施形態に係る参照確率情報は、確率テーブルに限られず、例えば、画像特徴と符号化ノイズとの組合せごとに符号化ノイズの発生確率を特定することが可能であれば、任意の形式のデータであってもよい。
【００３８】
また、本発明の実施形態に係る参照確率情報は、例えば、本発明の実施形態に係る画像処理装置の外部装置によって生成される。より具体的には、上記外部装置は、例えば、上記本発明の実施形態に係る画像処理方法に係る特徴検出処理における検出対象の画像特徴と同一の、学習画像の特徴を示す複数の画像特徴と、符号化ノイズとの因果関係が示される確率モデルに基づいて、参照確率情報を生成する。
【００３９】
ここで、本発明の実施形態に係る確率モデルとしては、例えば、ベイジアンネットワーク（Bayesian Network）や、ＨＭＭ（Hidden Markov Model：隠れマルコフモデル）、ニューラルネットワーク（Neural Network）などが挙げられる。
【００４０】
なお、本発明の実施形態に係る参照確率情報は、外部装置によって生成されることに限られない。例えば、本発明の実施形態に係る画像処理装置が、参照確率情報を生成する参照確率情報生成部を備える場合には、本発明の実施形態に係る画像処理装置は、参照確率情報生成部において生成される参照確率情報を用いて、処理を行うことが可能である。参照確率情報部を備える構成の一例、および本発明の実施形態に係る参照確率情報の生成に係る処理の具体例については、後述する本発明の第１の実施形態に係る画像処理装置、および本発明の第２の実施形態に係る画像処理装置において説明する。
【００４１】
符号化ノイズの発生確率が算出されると、本発明の実施形態に係る画像処理装置は、算出された符号化ノイズの発生確率に基づいて、入力画像信号に含まれる符号化ノイズを特定する（ノイズ特定処理）。より具体的には、本発明の実施形態に係る画像処理装置は、算出された符号化ノイズの発生確率に基づいて、例えば、符号化ノイズが発生している量や、符号化ノイズが発生している位置および符号化ノイズが発生している量を特定する。
【００４２】
本発明の実施形態に係る画像処理装置は、上記のように、複数の画像特徴と符号化ノイズとの因果関係を示す確率モデルに基づき符号化ノイズの発生確率が記録されている参照確率情報に基づいて、本来未知である入力画像信号における符号化ノイズの発生確率を算出する。そして、本発明の実施形態に係る画像処理装置は、算出された符号化ノイズの発生確率に基づいて、入力画像信号に含まれる符号化ノイズを特定する。
【００４３】
したがって、本発明の実施形態に係る画像処理装置は、処理対象の画像信号に基づいて、符号化ノイズを検出することができる。
【００４４】
また、本発明の実施形態に係る画像処理装置における符号化ノイズの検出結果が、本発明の実施形態に係る確率モデルに反映されることによって（符号化ノイズの検出結果のフィードバックにより確率モデルが更新されることによって）、本発明の実施形態に係る画像処理装置は、さらに柔軟かつ精度の高い符号化ノイズの検出を実現することができる。
【００４５】
以下、本発明の実施形態に係る画像処理装置の構成の一例について説明をすると共に、本発明の実施形態に係る画像処理方法に係る処理の具体例についても併せて説明する。
【００４６】
また、以下では、本発明の実施形態に係る画像処理装置が、参照確率情報を生成する参照確率情報生成部を備える構成である場合を例に挙げて、本発明の実施形態に係る画像処理装置の構成の一例について説明をする。なお、上述したように、本発明の実施形態に係る画像処理装置は、参照確率情報を生成する参照確率情報生成部を備えない構成をとることも可能である。
【００４７】
また、以下では、本発明の実施形態に係る確率モデルが、ベイジアンネットワークである場合を例に挙げて説明する。本発明の実施形態に係る確率モデルがベイジアンネットワークである場合には、確率モデルが更新された際に、確率テーブルなどの参照確率情報を更新することによって対応することが可能である。よって、本発明の実施形態に係る確率モデルとしてベイジアンネットワークを用いることによって、例えば他の確率モデルを用いる場合と比較して、より柔軟な実装を実現することができる。なお、上述したように、本発明の実施形態に係る確率モデルが、ベイジアンネットワークに限らないことは、言うまでもない。
【００４８】
（本発明の第１の実施形態に係る画像処理装置）
図１は、本発明の第１の実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。画像処理装置１００は、例えば、ノイズ検出部１０２と、参照確率情報生成部１０４とを備える。
【００４９】
また、画像処理装置１００は、例えば、制御部（図示せず）や、ＲＯＭ（Read Only Memory。図示せず）、ＲＡＭ（Random Access Memory。図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）、外部装置と通信を行うための通信部（図示せず）、撮像部（図示せず）などを備えていてもよい。画像処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
【００５０】
ここで、制御部（図示せず）は、例えば、ＣＰＵ（Central Processing Unit）や各種処理回路などで構成され、画像処理装置１００全体を制御する。また、制御部（図示せず）は、例えば、ノイズ検出部１０２、および参照確率情報生成部１０４（または、これらのうちのいずれか１つの部）の役目を果たしてもよい。なお、ノイズ検出部１０２、および参照確率情報生成部１０４は、各部の処理を実現可能な専用の（または汎用の）処理回路で構成されていてもよいことは、言うまでもない。
【００５１】
また、制御部（図示せず）は、例えば、ノイズ検出部１０２における符号化ノイズの検出結果に基づき、検出された符号化ノイズを低減するノイズ低減処理を行う役目を果たしてもよい。さらに、制御部（図示せず）は、例えば、ノイズ低減処理が行われた画像信号をエンコードして、記憶部（図示せず）に記録する、および／または、出力画像信号が示す画像を表示部（図示せず）や外部表示装置の表示画面に表示させるなど、出力画像信号に対する処理を行う役目を果たすことも可能である。
【００５２】
ＲＯＭ（図示せず）は、制御部（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部（図示せず）により実行されるプログラムなどを一時的に記憶する。
【００５３】
記憶部（図示せず）は、画像処理装置１００が備える記憶手段であり、例えば、画像データや、アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）などが挙げられる。また、記憶部（図示せず）は、画像処理装置１００から着脱可能であってもよい。
【００５４】
操作部（図示せず）としては、例えば、ボタンや、方向キー、あるいは、これらの組み合わせなどが挙げられる。また、画像処理装置１００は、例えば、画像処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）と接続することもできる。
【００５５】
表示部（図示せず）としては、例えば、液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機ＥＬディスプレイ（organic ElectroLuminescence display）などが挙げられる。なお、表示部（図示せず）は、例えばタッチスクリーンなどのように、表示とユーザ操作とが可能なデバイスであってもよい。また、画像処理装置１００は、表示部（図示せず）の有無に関わらず、画像処理装置１００の外部装置としての表示デバイス（例えば、外部ディスプレイなど）と接続することもできる。
【００５６】
通信部（図示せず）は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部装置と無線／有線で通信を行う。ここで、通信部（図示せず）としては、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）などが挙げられる。また、本発明の実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide Area Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ；Wireless Local Area Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless Wide Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
【００５７】
撮像部（図示せず）は、静止画像または動画像を撮像する役目を果たす。撮像部（図示せず）を備える場合には、画像処理装置１００は、例えば、撮像部（図示せず）における撮像により生成された画像信号を処理することが可能である。
【００５８】
ここで、本発明の実施形態に係る撮像部（図示せず）としては、例えば、レンズ／撮像素子と信号処理回路とから構成される撮像デバイスが挙げられる。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。また、信号処理回路は、例えば、ＡＧＣ（Automatic Gain Control）回路やＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理などが挙げられる。
【００５９】
以下、図１に示す第１の実施形態に係る画像処理装置１００の構成例について説明しつつ、画像処理装置１００における処理（画像処理方法に係る処理）の一例について説明する。
【００６０】
ノイズ検出部１０２は、本発明の実施形態に係る画像処理方法に係る処理（例えば、上記画像特徴検出処理、ノイズ発生確率算出処理、およびノイズ特定処理）を主導的に行う役目を果たす。ノイズ検出部１０２は、参照確率情報に基づいて、入力画像信号における符号化ノイズの発生確率を算出し、算出された符号化ノイズの発生確率に基づいて、入力画像信号に含まれる符号化ノイズを特定する。
【００６１】
ここで、図１では、本発明の実施形態に係る参照確率情報として、確率テーブル１５０を示している。ノイズ検出部１０２（より厳密には、後述するノイズ発生確率算出部１０８）は、例えば記憶部（図示せず）に記憶されている確率テーブル１５０（参照確率情報の一例）を適宜読み出し、読み出した確率テーブル１５０と、入力画像信号から検出された複数の画像特徴とに基づいて、入力画像信号における符号化ノイズの発生確率を算出する。
【００６２】
なお、本発明の実施形態に係るノイズ検出部１０２における処理は、上記に限られない。例えば、ノイズ検出部１０２は、ネットワークを介して（または直接的に）通信可能な、確率テーブル１５０（参照確率情報の一例）を記憶する外部装置と通信を行うことによって、入力画像信号における符号化ノイズの発生確率を算出することも可能である。より具体的には、ノイズ検出部１０２は、例えば、入力画像信号から検出された複数の画像特徴を含み、確率テーブル１５０に記録されている符号化ノイズの発生確率を外部装置に送信させるための発生確率送信要求を、通信部（図示せず）を介して外部装置へ送信する。そして、ノイズ検出部１０２は、上記発生確率送信要求に応じて外部装置から送信された、発生確率を示すデータを、通信部（図示せず）を介して受信し、受信されたデータと、入力画像信号から検出された複数の画像特徴とに基づいて、入力画像信号における符号化ノイズの発生確率を算出する。
【００６３】
図２は、本発明の実施形態に係る確率テーブル１５０の一例を示す説明図である。本発明の実施形態に係る確率テーブル１５０は、例えば図２に示すように、ある画像特徴Ｆにおける符号化ノイズＸの条件付き確率を示すテーブルである。ここで、確率テーブルは、条件付確率表（Conditional Probability Table :ＣＰＴ）ともよばれ、例えば、図２のように画像特徴Ｆと符号化ノイズＸの条件付き確率を表にしたものとして表される。
【００６４】
ノイズ検出部１０２は、例えば図２に示すような確率テーブル１５０に基づいて、入力画像信号における符号化ノイズの発生確率を算出し、算出された符号化ノイズの発生確率に基づいて、入力画像信号に含まれる符号化ノイズを特定する。なお、図２では、画像特徴Ｆが３つと、符号化ノイズＸが３つの確率テーブルを示しているが、本発明の実施形態に係る確率テーブル１５０が、図２に示す例に限られないことは、言うまでもない。
【００６５】
再度図１を参照して、本発明の実施形態に係るノイズ検出部１０２の構成についてより具体的に説明する。ノイズ検出部１０２は、特徴検出部１０６（第１特徴検出部）と、ノイズ発生確率算出部１０８と、ノイズ特定部１１０とを備える。
【００６６】
特徴検出部１０６は、本発明の実施形態に係る画像処理方法に係る上記画像特徴検出処理を主導的に行う役目を果たし、入力画像信号が示す画像の特徴を示す画像特徴を、複数検出する。
【００６７】
ここで、特徴検出部１０６は、符号化ノイズと因果関係を有する画像特徴として、例えば、動き特徴、エッジ特徴、テクスチャ特徴、色特徴、空間周波数特徴、シーン特徴、オブジェクト特徴、ブロック歪特徴、モスキート歪特徴、リンギング歪特徴を検出する。なお、特徴検出部１０６が検出する画像特徴は、上記に限られない。例えば、特徴検出部１０６は、動き特徴、エッジ特徴、テクスチャ特徴、色特徴、空間周波数特徴、シーン特徴、オブジェクト特徴、ブロック歪特徴、モスキート歪特徴、リンギング歪特徴のうちの、２つ以上を検出してもよい。
【００６８】
図３は、本発明の第１の実施形態に係るベイジアンネットワークモデルの一例を示す説明図であり、画像特徴と符号化ノイズとの関係をベイジアンネットワークモデルを用いて記述した例を示している。図３に示すように、本発明の実施形態に係る画像特徴は、例えば、符号化ノイズを発生させる要因となる画像特徴（つまり、符号化ノイズに対して親ノードとなる特徴）である「観測画像特徴」と、符号化ノイズが要因となって発生する画像特徴（つまり、符号化ノイズに対して子ノードとなる特徴）である「観測歪特徴」とに分類される。
【００６９】
まず、本発明の実施形態に係る観測画像特徴について説明する。観測画像特徴としては、図３に示すように、例えば、動き特徴Ｆｍｏｔｉｏｎと、エッジ特徴Fｅｄｇｅと、テクスチャ特徴Ｆｔｅｘｔｕｒｅと、色特徴Ｆｃｏｌｏｒと、空間周波数特徴Ｆｆｒｅｑｕｅｎｃｙと、シーン特徴Ｆｓｃｅｎｅと、オブジェクト特徴Ｆｏｂｊｅｃｔとが挙げられる。ここで、動き特徴Ｆｍｏｔｉｏｎと、エッジ特徴Fｅｄｇｅと、テクスチャ特徴Ｆｔｅｘｔｕｒｅと、色特徴Ｆｃｏｌｏｒと、空間周波数特徴Ｆｆｒｅｑｕｅｎｃｙとは、符号化ノイズと直接因果関係がある特徴に該当する。また、画像特徴は、上記符号化ノイズと直接因果関係がある特徴に限られず、ある画像特徴と因果関係を有する特徴であってもよい。例えば、シーン特徴Ｆｓｃｅｎｅと、オブジェクト特徴Ｆｏｂｊｅｃｔとが、画像特徴と因果関係を有する特徴に該当する。
【００７０】
動き特徴Ｆｍｏｔｉｏｎは、動きの複雑さや動きの大きさを表す特徴量である。ここで、ＭＰＥＧ−２やＨ．２６４では、動き補償後の予測誤差を符号化するため、動きが大きい場合や複雑な動きの場合には予測誤差が大きくなり、予測誤差が大きくなることにより符号化ノイズが発生しやすくなる。特徴検出部１０６は、例えば、フレーム間差分の大きさや、ブロックマッチングにより求められる動きベクトルのばらつきなどを用いて、動き特徴Ｆｍｏｔｉｏｎを検出する。
【００７１】
エッジ特徴Fｅｄｇｅは、エッジの大きさや方向を表す特徴量である。ここで、エッジは、符号化におけるＤＣＴおよび量子化処理により符号化ノイズが発生しやすい画像特徴の一つである。特徴検出部１０６は、例えば、ＳｏｂｅｌやＬａｐｌａｃｉａｎなどのエッジ検出Ｏｐｅｒａｔｏｒを用いてエッジ特徴Fｅｄｇｅを検出する。
【００７２】
テクスチャ特徴Ｆｔｅｘｔｕｒｅは、画素値のばらつきを表す特徴量である。ここで、テクスチャは、エッジと同様に、符号化におけるＤＣＴおよび量子化処理により符号化ノイズが発生しやすい特徴の一つである。特徴検出部１０６は、例えば、輝度値の分散や標準偏差、隣接画素差分値の分散を用いてテクスチャ特徴Ｆｔｅｘｔｕｒｅを検出する。
【００７３】
色特徴Ｆｃｏｌｏｒは、配色や色相、彩度などを表す特徴量である。ここで、色は、コントラストが強いとノイズが発生しやすく、また、色によってノイズの見え方が異なる。特徴検出部１０６は、例えば、色ヒストグラムを用いて色特徴Ｆｃｏｌｏｒを検出する。
【００７４】
空間周波数特徴Ｆｆｒｅｑｕｅｎｃｙは、空間周波数の高低を表す特徴量である。ここで、符号化におけるＤＣＴおよび量子化処理により、空間周波数が高い場合には符号化ノイズが発生しやすく、また、空間周波数が低い場合には符号化ノイズが発生し難いという関係がある。特徴検出部１０６は、例えば、フーリエ変換やＤＣＴなどの空間周波数変換を用いて色特徴Ｆｃｏｌｏｒを検出する。
【００７５】
シーン特徴Ｆｓｃｅｎｅは、Ｆｌａｓｈやシーンチェンジなどシーン（場面）固有の特徴や、スポーツ、ニュース、アニメーションなどのジャンルを表す特徴である。また、オブジェクト特徴Ｆｏｂｊｅｃｔは、例えば、画像中に含まれる人物や車などの物体を表す特徴である。ここで、これらの特徴は、上述した動き特徴Ｆｍｏｔｉｏｎ、エッジ特徴Fｅｄｇｅ、テクスチャ特徴Ｆｔｅｘｔｕｒｅ、色特徴Ｆｃｏｌｏｒ、および空間周波数特徴Ｆｆｒｅｑｕｅｎｃｙと因果関係を有する。特徴検出部１０６は、例えば、既存のシーン認識手法などを用いてシーン特徴Ｆｓｃｅｎｅを検出し、既存の物体認識手法などを用いてオブジェクト特徴Ｆｏｂｊｅｃｔを検出する。
【００７６】
次に、本発明の実施形態に係る観測歪特徴について説明する。観測歪特徴としては、図３に示すように、例えば、ブロック歪特徴Fｂｌｏｃｋと、モスキート歪特徴Ｆｍｏｓｑｕｉｔｏと、リンギング歪特徴Ｆｒｉｎｇｉｎｇとが挙げられる。
【００７７】
ブロック歪特徴Fｂｌｏｃｋは、ブロック境界に段差が生じているようにユーザに認識される歪（いわゆる、ブロックノイズ）を表す特徴量である。ここで、ブロックノイズは、符号化におけるＤＣＴおよび量子化処理によって、隣接ブロックの低周波成分に不連続が生じるために起こる歪であり、符号化ノイズが要因となって生じる画像の歪の一つである。特徴検出部１０６は、例えば、ブロック境界における隣接画素の差分値などを用いてブロック歪特徴Fｂｌｏｃｋを検出する。
【００７８】
モスキート歪特徴Ｆｍｏｓｑｕｉｔｏは、エッジ周辺に蚊が飛んでいるようにユーザに認識される歪（いわゆる、モスキートノイズ）を表す特徴量である。モスキートノイズは、符号化におけるＤＣＴおよび量子化処理によって、エッジを構成する周波数成分に量子化誤差が生じるために起こる歪であり、符号化ノイズが要因となって生じる画像の歪の一つである。特徴検出部１０６は、例えば、ＤＣＴ係数の孤立係数などを用いてモスキート歪特徴Ｆｍｏｓｑｕｉｔｏを検出する。
【００７９】
リンギング歪特徴Ｆｒｉｎｇｉｎｇは、直線エッジ付近が波打つように画素値が振幅する歪（いわゆる、リンギングノイズ）を表す特徴量である。リンギングノイズは、符号化におけるＤＣＴおよび量子化処理によって、直線エッジを構成する周波数成分に量子化誤差が生じるために起こる歪であり、符号化ノイズが要因となって生じる画像の歪の一つである。特徴検出部１０６は、例えば、エッジに垂直な方向の画素振幅を用いてリンギング歪特徴Ｆｒｉｎｇｉｎｇを検出する。
【００８０】
特徴検出部１０６は、例えば、図３に示す観測画像特徴と観測歪特徴とを、画像特徴として検出する。なお、本発明の実施形態に係る特徴検出部１０６が検出する画像特徴が、図３に示す例に限られないことは、言うまでもない。
【００８１】
また、特徴検出部１０６は、例えば、画像全体を処理対象として画像特徴を検出してもよいし、画像における局所領域ごとに画像特徴を検出してもよい。画像全体を処理対象とするか、または、各局所領域を処理対象とするかは、予め規定されていてもよいし、画像処理装置１００のユーザが選択可能であってもよい。
【００８２】
特徴検出部１０６が局所領域ごとに画像特徴を検出する場合には、画像処理装置１００（より厳密には、後述するノイズ特定部１１０）は、局所領域ごとに符号化ノイズの発生の有無（または、さらに符号化ノイズが発生している量）を特定することが可能となる。よって、特徴検出部１０６が局所領域ごとに画像特徴を検出する場合には、画像処理装置１００は、符号化ノイズの発生の有無（または、さらに符号化ノイズが発生している量）に加え、符号化ノイズが発生している位置を特定することができる。
【００８３】
ここで、本発明の実施形態に係る局所領域としては、例えば、４×４画素の矩形の領域や、８×８画素の矩形の領域、１６×１６画素の矩形の領域など、符号化ブロックサイズに対応する領域が挙げられる。画像処理装置１００は、例えば、入力画像信号をデコードしたデコーダからブロック境界の情報を取得することによって、符号化ブロックサイズに対応する領域を局所領域とする。なお、本発明の実施形態に係る局所領域は、上記に限られない。例えば、画像処理装置１００は、符号化ブロックサイズが未知の場合には、Ｈ．２６４の最小ブロックサイズである４×４画素の矩形の領域など、予め規定された大きさの領域を、局所領域としてもよい。
【００８４】
再度図１を参照して、本発明の実施形態に係るノイズ検出部１０２の構成の一例について説明する。ノイズ発生確率算出部１０８は、本発明の実施形態に係る画像処理方法に係る上記ノイズ発生確率算出処理を主導的に行う役目を果たし、特徴検出部１０６において検出された複数の画像特徴と、確率テーブル１５０（参照確率情報の一例）とに基づいて、符号化ノイズの発生確率を算出する。
【００８５】
ノイズ発生確率算出部１０８は、例えば図２に示すような確率テーブル１５０を参照して得られる条件付き確率に基づいて、符号化ノイズの発生確率を算出する。以下、より具体的に、ノイズ発生確率算出部１０８における符号化ノイズの発生確率の算出処理の一例について説明する。
【００８６】
図４は、本発明の実施形態に係るノイズ発生確率算出部１０８における処理の一例を説明するための説明図である。図４は、符号化ノイズの有無の確率を推定するベイジアンネットワークモデルの一例を示している。以下では、ノイズ発生確率算出部１０８が、検出された、空間周波数特徴（図４において確率変数Ａで表記されるノード）、動き特徴（図４において確率変数Ｂで表記されるノード）、ブロック歪特徴（図４において確率変数Ｃで表記されるノード）、およびモスキート歪特徴（図４において確率変数Ｄで表記されるノード）に基づいて、符号化ノイズ（図４において確率変数Ｘで表記）が発生する確率Ｐ（Ｘ＝ｘ１）、および発生しない確率Ｐ（Ｘ＝ｘ２）を推定する場合を例に挙げて、符号化ノイズの発生確率の算出処理の一例について説明する。
【００８７】
ノードＡで観測される情報を“ｅａ”、ノードＢで観測される情報を“ｅｂ”、ノードＣで観測される情報を“ｅｃ”、ノードＤで観測される情報を“ｅｄ”とする。ここで、ｅａとしては、例えばＤＣＴ係数値などが挙げられ、ｅｂとしては、例えばフレーム間差分値などが挙げられる。また、ｅｃとしては、例えばブロック境界の隣接画素差分値などが挙げられ、ｅｄとしては、例えばＤＣＴ係数の孤立係数値などが挙げられる。なお、本発明の実施形態に係る観測される情報（以下、「観測情報」と示す場合がある。）ｅａ、ｅｂ、ｅｃ、ｅｄは、上記に限られない。例えば、本発明の実施形態に係る観測される情報ｅａ、ｅｂ、ｅｃ、ｅｄは、同様な性質を持つ他の特徴量であってもよい。
【００８８】
ここで、ノードＸの親ノードであるノードＡとノードＢとにおいて観測される情報の集合を“ｅ＋”、ノードＸの子ノードであるノードＣとノードＤとにおいて観測される情報の集合を“e−”とすると、集合ｅ＋と集合e−とは、例えば下記の数式１で表される。
【００８９】
【数１】
・・・（数式１）
【００９０】
また、ノードＸ以外の全ての観測情報ｅ＝｛ｅ＋，ｅ−｝が与えられたときのノードＸがＸ＝ｘとなる確率を“Ｐ（ｘ|ｅ）＝Ｐ（ｘ|ｅ＋，e−)”とすると、確率Ｐ（ｘ|ｅ）は、ベイズの定理と条件付き独立とを用いて、例えば下記の数式２で表される。ここで、数式２に示す“α”は、ｘの値に依存しない定数であり、例えば下記の数式３で表される。また、数式２に示す“π（ｘ）”は、親ノードＡ、Ｂに基づく確率であり、例えば下記の数式４で表される。
【００９１】
【数２】
・・・（数式２）
【００９２】
【数３】
・・・（数式３）
【００９３】
【数４】
・・・（数式４）
【００９４】
ここで、数式４の“Ｐ（ａｉ｜ｅａ）”は、ノードＡの状態がａｉになる確率Ｐ（ａｉ）と考えてもよく、また、数式４の“Ｐ（ｂｊ｜ｅｂ）”は、ノードＢの状態がｂｉになる確率Ｐ（ｂｉ）と考えてもよい。よって、数式４は、例えば下記の数式５のように表すことができる。
【００９５】
【数５】
・・・（数式５）
【００９６】
また、数式２に示すλ（ｘ）は、例えば下記の数式６で表される。
【００９７】
【数６】
・・・（数式６）
【００９８】
ノイズ発生確率算出部１０８は、例えば、上記数式２、数式５、数式６から、ノードＸ以外の全ての観測情報ｅ＝｛ｅ＋，ｅ−｝＝｛ｅａ，ｅｂ，ｅｃ，ｅｄ｝が与えられたときに、ノードＸがＸ＝ｘとなる確率Ｐ（ｘ｜ｅ）を求めることによって、符号化ノイズの発生確率を算出する。
【００９９】
次に、具体的な数値を用いて、ノイズ発生確率算出部１０８における符号化ノイズが発生する確率の算出例について説明する。以下では、図４に示すベイジアンネットワークモデルを例に挙げて、ノイズ発生確率算出部１０８における符号化ノイズが発生する確率の算出例を説明する。
【０１００】
図５、図６、図７は、本発明の実施形態に係るノイズ発生確率算出部１０８における処理の一例を説明するための説明図である。図５は、符号化ノイズの発生の有無に影響を及ぼす、図４における親ノードであるノードＡ（空間周波数特徴）とノードＢ（動き特徴）とに関する条件付き確率を示す確率テーブルの一例を示している。また、図６は、図４における子ノードであるノードＣ（ブロック歪特徴）に関する条件付き確率を示す確率テーブルの一例を示しており、図７は、図４における子ノードであるノードＤ（モスキート歪特徴）に関する条件付き確率を示す確率テーブルの一例を示している。
【０１０１】
ノイズ発生確率算出部１０８は、特徴検出部１０６から伝達される各ノードの観測情報｛ｅａ，ｅｂ，ｅｃ，ｅｄ｝が互いに独立であると仮定する。伝達されるノードＡの空間周波数特徴が“中”であるとすると、ノイズ発生確率算出部１０８は、Ｐ（ａ１｜ｅａ）＝１、Ｐ（ａ２｜ｅａ）＝０、Ｐ（ａ３｜ｅａ）＝０とする。また、伝達されるノードＢの動き特徴が“複雑”であったとすると、ノイズ発生確率算出部１０８は、Ｐ（ｂ１｜ｅｂ）＝１、Ｐ（ｂ２｜ｅｂ）＝０とする。また、伝達されるノードＣのブロック歪特徴が“大”であったとすると、ノイズ発生確率算出部１０８は、Ｐ（ｅｃ｜ｃ１）＝１、Ｐ（ｅｃ｜ｃ２）＝０、Ｐ（ｅｃ｜ｃ３）＝０とする。そして、伝達されるノードＤのモスキート歪特徴が“大”であったとすると、ノイズ発生確率算出部１０８は、Ｐ（ｅｄ｜ｄ１）＝１、Ｐ（ｅｄ｜ｄ２）＝０、Ｐ（ｅｄ｜ｄ３）＝０とする。
【０１０２】
上記観測情報と図５〜図７に示す確率テーブルから得られる値とを、上記数式５、数式６に代入した後、上記数式２によって、上記数式５、数式６に代入された値を乗算し、最終的に値を正規化することによって、ノイズ発生確率算出部１０８は、符号化ノイズの有無を示すｘ１およびｘ２のそれぞれの確率を求めることができる。具体的には、π（ｘ１）、π（ｘ２）、λ（ｘ１）、λ（ｘ２）は、例えば下記の数式７〜数式１０に示す値となる。また、下記の数式７〜数式１０に示す値の正規化処理によって、ノードＸの最終的な推定結果は、例えば下記の数式１１、数式１２に示す値となる。
【０１０３】
【数７】
・・・（数式７）
【０１０４】
【数８】
・・・（数式８）
【０１０５】
【数９】
・・・（数式９）
【０１０６】
【数１０】
・・・（数式１０）
【０１０７】
【数１１】
・・・（数式１１）
【０１０８】
【数１２】
・・・（数式１２）
【０１０９】
ノイズ発生確率算出部１０８は、例えば上記のように、符号化ノイズの発生確率を算出する。なお、上記の例では、観測情報の状態が一意に決まるものとし、その他の状態の発生確率を０（ゼロ）としているが、本発明の実施形態に係るノイズ発生確率算出部１０８における処理は、上記に限られない。例えば、ノイズ発生確率算出部１０８は、観測情報の状態に確率値を与えてもよい。また、ノイズ発生確率算出部１０８は、例えば、ノードＣにおいてＰ（ｅｃ｜ｃ１）＝１．０、Ｐ（ｅｃ｜ｃ２）＝０．５、Ｐ（ｅｃ｜ｃ３）＝０．１のように設定することもできる。
【０１１０】
また、ノイズ発生確率算出部１０８は、特徴検出部１０６において画像全体を処理対象として画像特徴が検出された場合には、画像全体に対する符号化ノイズの発生確率を算出する。また、ノイズ発生確率算出部１０８は、特徴検出部１０６において画像における局所領域ごとに画像特徴が検出された場合には、局所領域ごとに符号化ノイズの発生確率を算出する。
【０１１１】
再度図１を参照して、本発明の実施形態に係るノイズ検出部１０２の構成の一例について説明する。ノイズ特定部１１０は、本発明の実施形態に係る画像処理方法に係る上記ノイズ特定処理を主導的に行う役目を果たし、算出された符号化ノイズの発生確率に基づいて、入力画像信号に含まれる符号化ノイズを特定する。ここで、ノイズ特定部１１０における符号化ノイズの特定は、符号化ノイズの検出に相当する。
【０１１２】
また、ノイズ特定部１１０は、例えば、符号化ノイズの特定結果を示す信号（または、特定結果を示すデータ）を、通信部（図示せず）を介してノイズ低減処理を行う機能を有する外部装置に送信する。なお、本発明の実施形態に係る画像処理装置がノイズ低減処理を行うノイズ低減部（図示せず）を備える場合、すなわち、本発明の実施形態に係る画像処理装置がノイズ低減処理を行う機能を有する場合には、ノイズ特定部１１０は、例えば、符号化ノイズの特定結果を示す信号をノイズ低減部（図示せず）に伝達してもよい。
【０１１３】
ノイズ特定部１１０における処理についてより具体的に説明すると、例えば、ノイズ発生確率算出部１０８において画像全体に対する符号化ノイズの発生確率が算出された場合には、ノイズ特定部１１０は、例えば符号化ノイズが発生している量を特定することによって、入力画像信号に含まれる符号化ノイズを特定する。ここで、ノイズ特定部１１０は、例えば、ノイズ発生確率算出部１０８から伝達される符号化ノイズの発生確率の値をノイズ量としてもよいし、閾値処理によって当該符号化ノイズの発生確率の値を量子化した値をノイズ量としてもよい。
【０１１４】
また、例えば、ノイズ発生確率算出部１０８において局所領域ごとに符号化ノイズの発生確率が算出された場合には、ノイズ特定部１１０は、局所領域ごとに符号化ノイズが発生している量を特定することによって、入力画像信号に含まれる符号化ノイズを特定する。上記のように局所領域ごとに符号化ノイズが発生している量を特定することによって、符号化ノイズが発生している位置の絞り込みを行うことが可能となるので、ノイズ特定部１１０は、さらに、符号化ノイズが発生している位置を特定することができる。
【０１１５】
ノイズ検出部１０２は、例えば、特徴検出部１０６と、ノイズ発生確率算出部１０８と、ノイズ特定部１１０とを備えることによって、本発明の実施形態に係る画像処理方法に係る処理（例えば、上記画像特徴検出処理、ノイズ発生確率算出処理、およびノイズ特定処理）を主導的に行う。よって、ノイズ検出部１０２は、処理対象の画像信号に基づいて、符号化ノイズを検出することができる。
【０１１６】
なお、図１では、ノイズ検出部１０２が、特徴検出部１０６と、ノイズ発生確率算出部１０８と、ノイズ特定部１１０とを備える構成を示しているが、本発明の実施形態に係る画像処理装置の構成は、上記に限られない。例えば、本実施形態に係る画像処理装置は、図１に示す特徴検出部１０６、ノイズ発生確率算出部１０８、およびノイズ特定部１１０を個別に備える（例えば、それぞれを個別の処理回路で実現する）ことができる。
【０１１７】
図８は、本発明の実施形態に係るノイズ検出部１０２における処理の一例を示す流れ図である。
【０１１８】
ノイズ検出部１０２は、入力画像から画像特徴を検出する（Ｓ１００）。ステップＳ１００の処理は、例えば、ノイズ検出部１０２を構成する特徴検出部１０６が行う。
【０１１９】
ステップＳ１００において画像特徴が検出されると、ノイズ検出部１０２は、確率テーブル１５０を参照し、ベイジアンネットワーク演算により、検出された画像特徴に対応する符号化ノイズの発生確率を算出する（Ｓ１０２）。ステップＳ１０２の処理は、例えば、ノイズ検出部１０２を構成するノイズ発生確率算出部１０８が行う。
【０１２０】
ステップＳ１０２において符号化ノイズの発生確率が算出されると、ノイズ検出部１０２は、算出された符号化ノイズの発生確率に基づいて、符号化ノイズを特定する（Ｓ１０４）。ステップＳ１０４の処理は、例えば、ノイズ検出部１０２を構成するノイズ特定部１１０が行う。
【０１２１】
ノイズ検出部１０２は、例えば図８に示す処理によって、処理対象の画像信号に基づいて、符号化ノイズを検出する。
【０１２２】
再度図１を参照して、本発明第１の実施形態に係る画像処理装置１００の構成の一例について説明する。参照確率情報生成部１０４は、参照確率情報を生成する役目を果たす。より具体的には、参照確率情報生成部１０４は、特徴検出部１０６（第１特徴検出部）における検出対象の画像特徴と同一の、学習画像の特徴を示す複数の画像特徴と、確率モデルとに基づいて、参照確率情報を生成する。
【０１２３】
図９は、本発明の第１の実施形態に係る参照確率情報生成部１０４の構成の一例を示すブロック図である。参照確率情報生成部１０４は、例えば、特徴検出部１１２（第２特徴検出部）と、情報生成部１１４とを備える。
【０１２４】
特徴検出部１１２は、学習画像信号が示す学習画像の特徴を示す画像特徴を、複数検出する。特徴検出部１１２は、特徴検出部１０６（第１特徴検出部）における検出対象の画像特徴と同一の画像特徴を、学習画像を対象として検出する。すなわち、入力される画像信号が同一であれば、特徴検出部１１２と特徴検出部１０６とは、同一の画像特徴を検出することとなる。特徴検出部１１２は、上述した特徴検出部１０６と同様の処理を行うことによって、学習画像の特徴を示す画像特徴を複数検出する。
【０１２５】
ここで、特徴検出部１１２は、例えば、記憶部（図示せず）や外部記録媒体に記憶された、学習画像を示す画像データをデコードすることにより得られた画像信号を、学習画像信号として処理する。なお、特徴検出部１１２が処理する学習画像信号は、上記に限られない。例えば、特徴検出部１１２は、ネットワークを介して（または直接的に）外部装置から送信された学習画像を示す画像信号を、学習画像信号として処理することも可能である。
【０１２６】
また、本発明の実施形態に係る学習画像信号としては、例えば、ＭＰＥＧ−２やＨ．２６４／ＭＰＥＧ−４ ＡＶＣなど、所定の符号化方式により符号化された動画像（または、複数の静止画像）や静止画像を示す画像信号が挙げられる。
【０１２７】
情報生成部１１４は、特徴検出部１１２において検出された複数の画像特徴と、ベイジアンネットワークなどの確率モデルとに基づいて、学習画像信号における符号化ノイズの発生確率を算出する。ここで、情報生成部１１４は、例えば、上述したノイズ発生確率算出部１０８と同様の処理を行うことによって、学習画像信号における符号化ノイズの発生確率を算出する。そして、情報生成部１１４は、参照確率情報を生成する。図９では、情報生成部１１４が、例えば確率テーブルを参照確率情報として生成する例を示している。
【０１２８】
ここで、情報生成部１１４における参照確率情報の生成とは、例えば、参照確率情報の新規生成が挙げられるが、情報生成部１１４における処理は、上記に限られない。例えば、参照確率情報が既に生成されている場合には、情報生成部１１４は、当該既に生成されている参照確率情報を更新してもよい。つまり、情報生成部１１４における参照確率情報の生成とは、例えば、参照確率情報の新規生成、または、既に生成されている参照確率情報の更新を意味する。
【０１２９】
参照確率情報生成部１０４は、例えば、特徴検出部１１２と情報生成部１１４とを備えることによって、特徴検出部１０６（第１特徴検出部）における検出対象の画像特徴と同一の、学習画像の特徴を示す複数の画像特徴と、確率モデルとに基づいて、参照確率情報を生成する。
【０１３０】
図１０は、本発明の実施形態に係る参照確率情報生成部１０４における処理の一例を示す流れ図である。
【０１３１】
参照確率情報生成部１０４は、学習画像から画像特徴を検出する（Ｓ２００）。ステップＳ２００の処理は、例えば、参照確率情報生成部１０４を構成する特徴検出部１１２が行う。
【０１３２】
ステップＳ２００において画像特徴が検出されると、参照確率情報生成部１０４は、検出された画像特徴と符号化ノイズとの関係を示す確率テーブル（参照確率情報の一例）を生成する（Ｓ２０２）。そして、参照確率情報生成部１０４は、生成した確率テーブル（参照確率情報の一例）を、例えば記憶部（図示せず）などに記録する（Ｓ２０４）。ステップＳ２０２、Ｓ２０４の処理は、例えば、参照確率情報生成部１０４を構成する情報生成部１１４が行う。
【０１３３】
参照確率情報生成部１０４は、例えば図１０に示す処理によって、参照確率情報を生成する。
【０１３４】
本発明の第１の実施形態に係る画像処理装置１００は、例えば上記のような処理を行う、ノイズ検出部１０２と、参照確率情報生成部１０４とを備える。
【０１３５】
ここで、ノイズ検出部１０２は、検出した複数の画像特徴と、参照確率情報とに基づいて、本来未知である入力画像信号における符号化ノイズの発生確率を算出する。そして、ノイズ検出部１０２は、は、算出された符号化ノイズの発生確率に基づいて、入力画像信号に含まれる符号化ノイズを特定する。
【０１３６】
したがって、画像処理装置１００は、処理対象の画像信号に基づいて、符号化ノイズを検出することができる。
【０１３７】
また、参照確率情報生成部１０４は、ノイズ検出部１０２が符号化ノイズの発生確率の算出に用いる参照確率情報を生成する。
【０１３８】
したがって、例えば、ノイズ検出部１０２における符号化ノイズの検出結果が、本発明の実施形態に係る確率モデルに反映されることによって（符号化ノイズの検出結果のフィードバックにより確率モデルが更新されることによって）、画像処理装置１００は、さらに柔軟かつ精度の高い符号化ノイズの検出を実現することができる。
【０１３９】
なお、本発明の第１の実施形態に係る画像処理装置の構成は、図１に示す構成に限られない。例えば、本発明の第１の実施形態に係る画像処理装置は、参照確率情報生成部１０４を備えていなくてもよい。参照確率情報生成部１０４を備えない構成であっても、本発明の第１の実施形態に係る画像処理装置は、本発明の実施形態に係る画像処理方法に係る処理（例えば、上記画像特徴検出処理、ノイズ発生確率算出処理、およびノイズ特定処理）を実現することが可能である。よって、参照確率情報生成部１０４を備えない構成であっても、本発明の第１の実施形態に係る画像処理装置は、処理対象の画像信号に基づいて、符号化ノイズを検出することができる。
【０１４０】
（本発明の第２の実施形態に係る画像処理装置）
例えば図１に示す第１の実施形態に係る画像処理装置１００（または、第１の実施形態の変形例に係る画像処理装置。以下、同様とする。）の構成によって、本発明の実施形態に係る画像処理方法に係る処理を実現し、処理対象の画像信号に基づいて、符号化ノイズを検出することができる。しかしながら、本発明の実施形態に係る画像処理方法に係る処理を実現することが可能な構成は、図１に示す構成に限られない。
【０１４１】
図１１は、本発明の第２の実施形態に係る画像処理装置２００の構成の一例を示すブロック図である。
【０１４２】
図１１に示す本発明の第２の実施形態に係る画像処理装置２００は、図１に示す第１の実施形態に係る画像処理装置１００と基本的に同様の構成を有するが、図１に示す第１の実施形態に係る画像処理装置１００と比較すると、第２の実施形態に係る画像処理装置２００は、ノイズ検出部２０２を構成する特徴検出部２０６（第１特徴検出部）の機能、構成と、参照確率情報生成部２０４の機能、構成とが異なる。
【０１４３】
特徴検出部２０６は、本発明の実施形態に係る画像処理方法に係る上記画像特徴検出処理を主導的に行う役目を果たし、入力画像信号が示す画像の特徴を示す画像特徴を、複数検出する。
【０１４４】
ここで、図１に示す第１の実施形態に係る特徴検出部１０６が、例えば図３に示す観測画像特徴と観測歪特徴のように、画像そのものから算出できる特徴量を画像特徴として検出するのに対して、特徴検出部２０６は、さらに、符号化に関する特徴、画像の内容に関する特徴、ユーザの知覚に関する特徴を、画像特徴として検出する。
【０１４５】
図１２は、本発明の第２の実施形態に係るベイジアンネットワークモデルの一例を示す説明図である。図１２に示すように、本発明の第２の実施形態に係るベイジアンネットワークモデルは、図３に示す本発明の第１の実施形態に係るベイジアンネットワークモデルと同様の観測画像特徴Ｆｉｍａｇｅと観測歪特徴Ｆａｒｔｉｆａｃｔとに加え、さらに、符号化に関する特徴Ｆｃｏｄｅｃ、画像の内容に関する特徴Ｆｃｏｎｔｅｎｔｓ、ユーザの知覚に関する特徴Ｆｐｅｒｃｅｐｔｉｏｎを有している。
【０１４６】
特徴検出部２０６は、観測画像特徴検出部２０８と、符号化情報取得部２１０と、画像内容情報取得部２１２と、知覚情報取得部２１４とを備える。
【０１４７】
観測画像特徴検出部２０８は、上述した第１の実施形態に係る特徴検出部１０６と同様に、例えば図３に示す観測画像特徴と観測歪特徴のように、画像そのものから算出できる特徴量を画像特徴として検出する。
【０１４８】
符号化情報取得部２１０は、入力画像信号と対応付けて送信される符号化情報を取得し、符号化情報から符号化に関する特徴を検出する。ここで、符号化情報取得部２１０は、入力画像信号に多重化されている符号化情報を、入力画像信号から取得するが、符号化情報取得部２１０における符号化情報の取得方法は、上記に限られない。例えば、符号化情報取得部２１０は、入力画像信号に係る符号化処理を行ったデコーダなどから符号化情報を取得してもよい。
【０１４９】
また、符号化情報取得部２１０は、例えば、動きベクトルやマイクロブロック・モード、ＤＣＴ係数、量子化ステップなど、符号化に関するパラメータを、符号化に関する特徴として検出する。
【０１５０】
画像内容情報取得部２１２は、例えば入力画像信号を受信することによって、画像内容情報を取得し、画像内容情報から画像の内容に関する特徴を検出する。なお、画像内容情報取得部２１２における画像内容情報の取得方法は、上記に限られない。例えば、画像内容情報取得部２１２は、データ放送などのように入力画像信号と対応付けて送信される信号を受信することによって、画像内容情報を取得することも可能である。
【０１５１】
また、画像内容情報取得部２１２は、例えば、番組情報や文字情報、タグなど（画像内容情報の一例）に、予め規定されたキーワードが含まれているか否かを判定し、判定結果に応じて２値化することによって、画像の内容に関する特徴を検出する。
【０１５２】
知覚情報取得部２１４は、知覚情報に基づいて、ユーザの知覚に関する特徴を検出する。ここで、知覚情報取得部２１４は、例えば、ユーザ操作に基づき画像が複数段階で評価された結果を示す知覚情報を、記憶部（図示せず）などから読み出すことによって、知覚情報を取得する。そして、知覚情報取得部２１４は、取得された知覚情報が示す値（段階を示す値）を、ユーザの知覚に関する特徴として検出する。
【０１５３】
なお、知覚情報取得部２１４におけるユーザの知覚に関する特徴の検出方法は、上記に限られない。例えば、知覚情報取得部２１４は、照度センサなど人間の知覚に関連する値を検出するセンサ（図示せず）から、当該センサにおける検出値を知覚情報として取得し、検出値を閾値処理によって複数段階に分類することによって、複数段階に分類された結果をユーザの知覚に関する特徴として検出することも可能である。
【０１５４】
特徴検出部２０６は、例えば図１１に示す構成によって、画像そのものから算出できる特徴量に加え、さらに、符号化に関する特徴、画像の内容に関する特徴、ユーザの知覚に関する特徴を、画像特徴として検出する。なお、本発明の第２の実施形態に係る特徴検出部の構成は、図１１に示す構成に限られない。例えば、本発明の第２の実施形態に係る特徴検出部は、図１１に示す符号化情報取得部２１０、画像内容情報取得部２１２、および知覚情報取得部２１４のうちの、１または２の取得部を備える構成であってもよい。
【０１５５】
特徴検出部２０６を備えるノイズ検出部２０２は、図１に示す第１の実施形態に係るノイズ検出部１０２と基本的に同様の構成を有する。したがって、ノイズ検出部２０２は、図１１に示す構成によって、図１に示す第１の実施形態に係るノイズ検出部１０２と同様に、処理対象の画像信号に基づいて、符号化ノイズを検出することができる。
【０１５６】
参照確率情報生成部２０４は、図１に示す第１の実施形態に係る参照確率情報生成部１０４と同様に、特徴検出部２０６（第１特徴検出部）における検出対象の画像特徴と同一の、学習画像の特徴を示す複数の画像特徴と、確率モデルとに基づいて、参照確率情報を生成する。
【０１５７】
図１３は、本発明の第２の実施形態に係る参照確率情報生成部２０４の構成の一例を示すブロック図である。参照確率情報生成部２０４は、例えば、特徴検出部２１６（第２特徴検出部）と、情報生成部１１４とを備える。
【０１５８】
特徴検出部２１６は、観測画像特徴検出部２１８と、符号化情報取得部２２０と、画像内容情報取得部２２２と、知覚情報取得部２２４とを備え、学習画像信号が示す学習画像の特徴を示す画像特徴を、複数検出する。ここで、観測画像特徴検出部２１８は、図１１に示す観測画像特徴検出部２０８と同様の機能を有し、符号化情報取得部２２０、画像内容情報取得部２２２、および知覚情報取得部２２４それぞれは、図１１に示す符号化情報取得部２１０、画像内容情報取得部２１２、および知覚情報取得部２１４と同様の機能を有する。
【０１５９】
特徴検出部２１６は、図９に示す第１の実施形態に係る特徴検出部１１２と同様に、特徴検出部２０６（第１特徴検出部）における検出対象の画像特徴と同一の画像特徴を、学習画像を対象として検出する。すなわち、入力される画像信号が同一であれば、特徴検出部２１６と特徴検出部２０６とは、同一の画像特徴を検出することとなる。
【０１６０】
特徴検出部２１６を備える参照確率情報生成部２０４は、図９に示す第１の実施形態に係る参照確率情報生成部１０４と基本的に同様の構成を有する。したがって、参照確率情報生成部２０４は、図１３に示す構成によって、図９に示す第１の実施形態に係る参照確率情報生成部２０４と同様に、特徴検出部２０６（第１特徴検出部）における検出対象の画像特徴と同一の、学習画像の特徴を示す複数の画像特徴と、確率モデルとに基づいて、参照確率情報を生成する。
【０１６１】
本発明の第２の実施形態に係る画像処理装置２００は、図１に示す第１の実施形態に係る画像処理装置１００と基本的に同様の構成を有する。したがって、画像処理装置２００は、図１１に示す構成によって、図１に示す第１の実施形態に係る画像処理装置１００と同様に、処理対象の画像信号に基づいて、符号化ノイズを検出することができる。
【０１６２】
また、例えば、ノイズ検出部２０２における符号化ノイズの検出結果が、本発明の実施形態に係る確率モデルに反映されることによって（符号化ノイズの検出結果のフィードバックにより確率モデルが更新されることによって）、画像処理装置２００は、図１に示す第１の実施形態に係る画像処理装置１００と同様に、さらに柔軟かつ精度の高い符号化ノイズの検出を実現することができる。
【０１６３】
以上のように、本発明の実施形態に係る画像処理装置は、符号化ノイズと因果関係を有する複数の画像特徴をベイジアンネットワークなどの確率モデルで確率的に統合し、入力画像信号などから検出される画像特徴に基づいて符号化ノイズの発生確率を算出することにより、複合的な要因で発生する符号化ノイズを検出する。よって、本発明の実施形態に係る画像処理装置は、複合的な要因で発生する符号化ノイズに対応した符号化ノイズの検出を実現することができる。
【０１６４】
また、本発明の実施形態に係る画像処理装置は、学習画像により集約された知識が反映された参照確率情報を用いる符号化ノイズの検出を行うことが可能であり、また、ノイズ検出結果をフィードバックして確率モデルを更新することにより、柔軟かつ精度の高いノイズ検出を行うことができる。
【０１６５】
また、例えばベイジアンネットワークを確率モデルとして用いる場合には、本発明の実施形態に係る画像処理装置は、ノードである画像特徴の追加、修正を容易に行うことが可能であるので、汎用性が高いノイズ検出を実現することができる。
【０１６６】
さらに、本発明の実施形態に係る画像処理装置が、人間の視覚特性を考慮した確率テーブルなどの参照確率情報を用いて符号化ノイズの検出を行うことによって、本発明の実施形態に係る画像処理装置は、人間が知覚できるノイズを効果的に検出するような符号化ノイズ検出を行うことができる。
【０１６７】
以上、本発明の実施形態として画像処理装置を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、デジタルカメラなどの撮像装置や、ＰＣやサーバなどのコンピュータ、テレビ受像機などの表示装置、携帯電話やスマートフォンなどの通信装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機など、画像信号の処理が可能な様々な機器に適用することができる。また、本発明の実施形態は、例えば、上記のような機器に組み込むことが可能な、画像処理ＩＣ（Integrated Circuit）に適用することもできる。
【０１６８】
（本発明の実施形態に係るプログラム）
コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（例えば、上記画像特徴検出処理、上記ノイズ発生確率算出処理、および上記ノイズ特定処理など、本発明の実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム）によって、処理対象の画像信号に基づいて、符号化ノイズを検出することができる。
【０１６９】
また、上記プログラムには、コンピュータを、さらに、図１に示す参照確率情報生成部１０４や、図１１に示す参照確率情報生成部２０４を備える画像処理装置として機能させるためのプログラムが、含まれていてもよい。
【０１７０】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１７１】
例えば、上記では、コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムをそれぞれ記憶させた記録媒体も併せて提供することができる。
【符号の説明】
【０１７２】
１００、２００ 画像処理装置
１０２、２０２ ノイズ検出部
１０４、２０４ 参照確率情報生成部
１０６、１１２、２０６、２１６ 特徴検出部
１０８ ノイズ発生確率産出部
１１０ ノイズ特定部
１１４ 情報生成部
２０８、２１８ 観測画像特徴検出部
２１０、２２０ 符号化情報取得部
２１２、２２２ 画像内容情報取得部
２１４、２２４ 知覚情報取得部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、例えばＶＯＤ（Video On Demand）などのように、インターネット（Internet）を介して動画像を配信するサービスの普及が進んでいる。また、例えば日本では、テレビジョン放送がデジタル化している。例えば上記のような、動画像配信サービスやデジタルテレビジョン放送において、高解像度のデジタル画像の配信や放送を可能とした技術の一つとして、画像圧縮技術がある。画像圧縮技術の規格としては、例えば、ＩＳＯ／ＩＥＣ ＭＰＥＧ（Motion Picture Experts Group）とＩＴＵ−Ｔ ＶＣＥＧ（Video Coding Experts Group）とが共同で標準化した、ＭＰＥＧ−２やＨ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下、「Ｈ．２６４」と示す場合がある。）が挙げられる。ＭＰＥＧ−２やＨ．２６４は、動画像符号化国際標準規格として、様々な機器において採用されている。
【０００３】
例えば、ＭＰＥＧ−２やＨ．２６４では、所定の符号化方式にて画像が非可逆に圧縮される。そのため、例えば上記のような符号化方式が用いられる場合には、画像のデータ量の削減には有利であるが、その反面、例えばブロックノイズやモスキートノイズなどの符号化に起因するノイズ（歪）が、画像をみるユーザに認識されてしまうことが起こりうる。
【０００４】
このような中、符号化に起因するノイズを検出する技術が開発されている。符号化に起因するノイズの検出に係る技術としては、例えば、特許文献１に記載の技術や、特許文献２に記載の技術、特許文献３に記載の技術に記載の技術が挙げられる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２６６６８４号公報
【特許文献２】特開２００６−１２１１３１号公報
【特許文献３】特開２００７−２７９８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
例えば特許文献１に記載の技術では、ブロック境界の不連続性を検出することによって、ブロックノイズを検出する。また、例えば特許文献２に記載の技術では、ＤＣＴ（Discrete Cosine Transform。離散コサイン変換）係数の孤立係数を検出することによって、モスキートノイズを検出する。また、例えば特許文献３に記載の技術では、符号化情報（動きベクトルや量子化ステップ）に基づいて符号化ノイズを検出する。よって、例えば特許文献１〜３の技術を用いる場合には、符号化ノイズを検出できる可能性はある。
【０００７】
しかしながら、符号化ノイズは複合的な要因によって発生するが、例えば特許文献１〜３の技術は、ブロック境界の不連続性や、ＤＣＴ係数の孤立係数、動きベクトルや量子化ステップなど、ある特定の情報に基づいて符号化ノイズを検出するものであり、例えば特許文献１〜３の技術では、当該複合的な要因について考慮がなされていない。そのため、例えば特許文献１〜３の技術を用いたとしても、画像本来の構造とノイズ成分とを高精度に分離して符号化ノイズを特定することは困難である。
【０００８】
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、処理対象の画像信号に基づいて、符号化ノイズを検出することが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の第１の観点によれば、入力画像信号が示す画像の特徴を示す画像特徴を、複数検出する第１特徴検出部と、検出された複数の上記画像特徴と、複数の上記画像特徴と符号化ノイズとの因果関係が示される確率モデルに基づき生成される、学習画像を示す学習画像信号における符号化ノイズの発生確率を示す参照確率情報とに基づいて、符号化ノイズの発生確率を算出するノイズ発生確率算出部と、算出された符号化ノイズの発生確率に基づいて、上記入力画像信号に含まれる符号化ノイズを特定するノイズ特定部と、を備える画像処理装置が提供される。
【００１０】
かかる構成によって、処理対象の画像信号に基づいて、符号化ノイズを検出することができる。
【００１１】
また、上記第１特徴検出部における検出対象の画像特徴と同一の、上記学習画像の特徴を示す複数の画像特徴と、上記確率モデルとに基づいて、上記参照確率情報を生成する参照確率情報生成部をさらに備えていてもよい。
【００１２】
また、上記参照確率情報生成部は、上記第１特徴検出部における検出対象の画像特徴と同一の、上記学習画像の特徴を示す画像特徴を、複数検出する第２特徴検出部と、検出された複数の上記画像特徴と上記確率モデルとに基づいて、上記学習画像信号における符号化ノイズの発生確率を算出し、上記参照確率情報を生成する情報生成部と、を備えていてもよい。
【００１３】
また、上記確率モデルは、ベイジアンネットワークであってもよい。
【００１４】
また、複数の上記画像特徴は、画像における動きを示す動き特徴、画像に含まれるエッジを示すエッジ特徴、画像に含まれるテクスチャを示すテクスチャ特徴、画像に含まれる色を示す色特徴、画像における空間周波数を示す空間周波数特徴、画像における場面を示すシーン特徴、画像に含まれるオブジェクトを示すオブジェクト特徴、ブロック歪特徴、モスキート歪特徴、リンギング歪特徴、符号化に関する特徴、画像の内容に関する特徴、ユーザの知覚に関する特徴のうち、少なくとも２つ以上であってもよい。
【００１５】
また、上記目的を達成するために、本発明の第２の観点によれば、入力画像信号が示す画像の特徴を示す画像特徴を、複数検出するステップと、検出された複数の上記画像特徴と、複数の上記画像特徴と符号化ノイズとの因果関係が示される確率モデルに基づき生成される、学習画像を示す学習画像信号における符号化ノイズの発生確率を示す参照確率情報とに基づいて、符号化ノイズの発生確率を算出するステップと、算出された符号化ノイズの発生確率に基づいて、上記入力画像信号に含まれる符号化ノイズを特定するステップと、を有する画像処理方法が提供される。
【００１６】
かかる方法を用いることによって、処理対象の画像信号に基づいて、符号化ノイズを検出することができる。
【００１７】
また、上記目的を達成するために、本発明の第３の観点によれば、入力画像信号が示す画像の特徴を示す画像特徴を、複数検出するステップ、検出された複数の上記画像特徴と、複数の上記画像特徴と符号化ノイズとの因果関係が示される確率モデルに基づき生成される、学習画像を示す学習画像信号における符号化ノイズの発生確率を示す参照確率情報とに基づいて、符号化ノイズの発生確率を算出するステップ、算出された符号化ノイズの発生確率に基づいて、上記入力画像信号に含まれる符号化ノイズを特定するステップ、をコンピュータに実行させるためのプログラムが提供される。
【００１８】
かかるプログラムを用いることによって、処理対象の画像信号に基づいて、符号化ノイズを検出することができる。
【発明の効果】
【００１９】
本発明によれば、処理対象の画像信号に基づいて、符号化ノイズを検出することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図２】本発明の実施形態に係る確率テーブルの一例を示す説明図である。
【図３】本発明の第１の実施形態に係るベイジアンネットワークモデルの一例を示す説明図である。
【図４】本発明の実施形態に係るノイズ発生確率算出部における処理の一例を説明するための説明図である。
【図５】本発明の実施形態に係るノイズ発生確率算出部における処理の一例を説明するための説明図である。
【図６】本発明の実施形態に係るノイズ発生確率算出部における処理の一例を説明するための説明図である。
【図７】本発明の実施形態に係るノイズ発生確率算出部における処理の一例を説明するための説明図である。
【図８】本発明の実施形態に係るノイズ検出部における処理の一例を示す流れ図である。
【図９】本発明の第１の実施形態に係る参照確率情報生成部の構成の一例を示すブロック図である。
【図１０】本発明の実施形態に係る参照確率情報生成部における処理の一例を示す流れ図である。
【図１１】本発明の第２の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図１２】本発明の第２の実施形態に係るベイジアンネットワークモデルの一例を示す説明図である。
【図１３】本発明の第２の実施形態に係る参照確率情報生成部の構成の一例を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２２】
（本発明の実施形態に係る画像処理方法）
本発明の実施形態に係る画像処理装置の構成について説明する前に、本発明の実施形態に係る画像処理方法について説明する。また、以下では、本発明の実施形態に係る画像処理装置が、処理対象の画像信号（以下、「入力画像信号」と示す場合がある。）に対して、本発明の実施形態に係る画像処理方法に係る処理を行うものとして説明する。
【００２３】
ここで、本発明の実施形態に係る入力画像信号としては、例えば、ＭＰＥＧ−２やＨ．２６４／ＭＰＥＧ−４ ＡＶＣなど、所定の符号化方式により符号化された動画像（または、複数の静止画像）や静止画像を示す画像信号が挙げられる。以下では、本発明の実施形態に係る画像処理装置が、フレーム画像（静止画像）からなる動画像を示す画像信号を処理するものとして説明する。ここで、本発明の実施形態に係るフレーム画像とは、例えば、動画像の１フレーム（動画像がインタレース画像の場合には、１フィールドに対応する。）に対応する画像である。以下では、本発明の実施形態に係る画像処理装置が、時間順に１フレームずつ入力される画像信号を処理する場合を例に挙げて説明する。
【００２４】
また、本発明の実施形態に係る画像処理装置は、例えば、本発明の実施形態に係る画像処理装置がテレビ塔などから送信された放送波を（直接的、またはセットトップボックスなどを介して間接的に）受信してデコードした結果得られる画像信号を、入力画像信号として処理する。なお、本発明の実施形態に係る画像処理装置が処理する入力画像信号は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置は、ネットワークを介して（または直接的に）外部装置から送信された入力画像信号を処理することも可能である。また、本発明の実施形態に係る画像処理装置は、例えば、記憶部（後述する）や、本発明の実施形態に係る画像処理装置から着脱可能な外部記録媒体に記憶された画像データをデコードすることにより得られた画像信号を処理してもよい。さらに、本発明の実施形態に係る画像処理装置が、例えば、画像（動画像／静止画像）を撮像することが可能な撮像部（後述する）を備えている場合、すなわち、本発明の実施形態に係る画像処理装置が撮像装置として機能する場合には、本発明の実施形態に係る画像処理装置は、例えば、当該撮像部（後述する）により撮像された画像（動画像／静止画像）に対応する画像信号を処理してもよい。
【００２５】
本発明の実施形態に係る画像処理装置は、入力画像信号が示す画像（以下、「入力画像」と示す場合がある。）の特徴を示す画像特徴を、複数検出する（画像特徴検出処理）。
【００２６】
ここで、本発明の実施形態に係る画像特徴としては、例えば、画像における動きを示す動き特徴、画像に含まれるエッジを示すエッジ特徴、画像に含まれるテクスチャを示すテクスチャ特徴、画像に含まれる色を示す色特徴、画像における空間周波数を示す空間周波数特徴、画像における場面を示すシーン特徴、画像に含まれるオブジェクト（例えば、人や、物体など）を示すオブジェクト特徴、ブロック歪特徴、モスキート歪特徴、リンギング歪特徴、符号化に関する特徴、画像の内容に関する特徴、ユーザの知覚に関する特徴が挙げられる。
【００２７】
本発明の実施形態に係る画像処理装置は、例えば、上記画像特徴のうちの少なくとも２つ以上の画像特徴を検出する。
【００２８】
本発明の実施形態に係る画像処理装置は、符号化に関する特徴を検出する場合には、例えば入力画像信号に係る符号化処理を行ったデコーダなどから、符号化に関する特徴を示す符号化情報を取得し、取得された符号化情報から符号化に関する特徴を検出する。また、本発明の実施形態に係る画像処理装置は、例えば、入力画像信号と対応付けて送信される符号化情報を受信することによって、符号化情報を取得する。なお、本発明の実施形態に係る符号化情報は、例えばＭＰＥＧ−２やＨ．２６４により圧縮された画像に係るビットストリームに多重化されていてもよい。
【００２９】
ここで、本発明の実施形態に係る符号化情報が示す符号化に関する特徴としては、例えば、動きベクトルやマイクロブロック・モード、ＤＣＴ係数、量子化ステップなど、符号化に関するパラメータが挙げられる。符号化情報は、符号化ノイズと直接的に関係する画像特徴である。例えば量子化ステップが大きい場合には、符号化ノイズが大きくなり、量子化ステップが小さい場合には、符号化ノイズは小さくなる。
【００３０】
また、本発明の実施形態に係る画像処理装置は、画像の内容に関する特徴を検出する場合には、取得された画像内容情報に基づいて画像の内容に関する特徴を検出する。本発明の実施形態に係る画像処理装置は、例えば、データ放送などのように入力画像信号と対応付けて送信される信号を受信することや、入力画像信号を受信することによって、画像内容情報を取得する。
【００３１】
ここで、本発明の実施形態に係る画像内容情報に基づく画像の内容に関する特徴としては、例えば、データ放送において送信される信号に多重化される番組情報や文字情報や、インターネット配信される画像に付けられたタグなどに基づき設定される特徴が挙げられる。より具体的には、本発明の実施形態に係る画像処理装置は、例えば、上記番組情報や、上記文字情報、上記タグなど（画像内容情報の一例）に、予め規定されたキーワードが含まれているか否かを判定し、判定結果に応じて２値化されたものを画像の内容に関する特徴とする。上記のように、予め規定されたキーワードが含まれているか否かの判定結果に基づき画像の内容に関する特徴を検出する場合には、本発明の実施形態に係る画像処理装置は、入力画像から画像の内容に関する特徴を検出する場合よりも、より簡単な処理によって画像の内容に関する特徴を検出することができる。
【００３２】
また、本発明の実施形態に係る画像処理装置は、ユーザの知覚に関する特徴を検出する場合には、ユーザ（人間）が主観的に知覚可能なノイズの度合いを示す知覚情報に基づいて、ユーザの知覚に関する特徴を検出する。
【００３３】
ここで、本発明の実施形態に係る知覚情報に基づくユーザの知覚に関する特徴としては、例えば、人間の知覚レベルを２値または多値で表したものが挙げられる。本発明の実施形態に係る知覚情報は、例えば、ユーザが操作部（後述する）やリモート・コントローラなどの外部操作装置を用いて、画像を複数段階で評価した結果を示す。なお、本発明の実施形態に係る知覚情報は、上記に限られない。例えば、本発明の実施形態に係る知覚情報は、照度センサなど人間の知覚に関連する値を検出するセンサの検出値や、当該検出値が閾値処理によって複数段階に分類された結果を示すものであってもよい。
【００３４】
また、本発明の実施形態に係る画像処理装置は、符号化に関する特徴、画像の内容に関する特徴、ユーザの知覚に関する特徴を除く他の画像特徴（動き特徴、エッジ特徴、テクスチャ特徴、色特徴、空間周波数特徴、シーン特徴、オブジェクト特徴、ブロック歪特徴、モスキート歪特徴、リンギング歪特徴）を検出する場合には、処理対象の入力画像信号に基づいて画像の内容に関する特徴を検出する。なお、上記他の画像特徴については、後述する。
【００３５】
本発明の実施形態に係る画像処理装置は、例えば上記のような入力画像の特徴を示す画像特徴を、複数検出する。
【００３６】
複数の画像特徴が検出されると、本発明の実施形態に係る画像処理装置は、検出された複数の画像特徴と、学習画像を示す学習画像信号における符号化ノイズの発生確率を示す参照確率情報とに基づいて、符号化ノイズの発生確率を算出する（ノイズ発生確率算出処理）。
【００３７】
ここで、本発明の実施形態に係る参照確率情報としては、例えば、画像特徴と符号化ノイズとの組合せごとに、符号化ノイズの発生確率が記録された確率テーブルが挙げられる。なお、本発明の実施形態に係る参照確率情報は、確率テーブルに限られず、例えば、画像特徴と符号化ノイズとの組合せごとに符号化ノイズの発生確率を特定することが可能であれば、任意の形式のデータであってもよい。
【００３８】
また、本発明の実施形態に係る参照確率情報は、例えば、本発明の実施形態に係る画像処理装置の外部装置によって生成される。より具体的には、上記外部装置は、例えば、上記本発明の実施形態に係る画像処理方法に係る特徴検出処理における検出対象の画像特徴と同一の、学習画像の特徴を示す複数の画像特徴と、符号化ノイズとの因果関係が示される確率モデルに基づいて、参照確率情報を生成する。
【００３９】
ここで、本発明の実施形態に係る確率モデルとしては、例えば、ベイジアンネットワーク（Bayesian Network）や、ＨＭＭ（Hidden Markov Model：隠れマルコフモデル）、ニューラルネットワーク（Neural Network）などが挙げられる。
【００４０】
なお、本発明の実施形態に係る参照確率情報は、外部装置によって生成されることに限られない。例えば、本発明の実施形態に係る画像処理装置が、参照確率情報を生成する参照確率情報生成部を備える場合には、本発明の実施形態に係る画像処理装置は、参照確率情報生成部において生成される参照確率情報を用いて、処理を行うことが可能である。参照確率情報部を備える構成の一例、および本発明の実施形態に係る参照確率情報の生成に係る処理の具体例については、後述する本発明の第１の実施形態に係る画像処理装置、および本発明の第２の実施形態に係る画像処理装置において説明する。
【００４１】
符号化ノイズの発生確率が算出されると、本発明の実施形態に係る画像処理装置は、算出された符号化ノイズの発生確率に基づいて、入力画像信号に含まれる符号化ノイズを特定する（ノイズ特定処理）。より具体的には、本発明の実施形態に係る画像処理装置は、算出された符号化ノイズの発生確率に基づいて、例えば、符号化ノイズが発生している量や、符号化ノイズが発生している位置および符号化ノイズが発生している量を特定する。
【００４２】
本発明の実施形態に係る画像処理装置は、上記のように、複数の画像特徴と符号化ノイズとの因果関係を示す確率モデルに基づき符号化ノイズの発生確率が記録されている参照確率情報に基づいて、本来未知である入力画像信号における符号化ノイズの発生確率を算出する。そして、本発明の実施形態に係る画像処理装置は、算出された符号化ノイズの発生確率に基づいて、入力画像信号に含まれる符号化ノイズを特定する。
【００４３】
したがって、本発明の実施形態に係る画像処理装置は、処理対象の画像信号に基づいて、符号化ノイズを検出することができる。
【００４４】
また、本発明の実施形態に係る画像処理装置における符号化ノイズの検出結果が、本発明の実施形態に係る確率モデルに反映されることによって（符号化ノイズの検出結果のフィードバックにより確率モデルが更新されることによって）、本発明の実施形態に係る画像処理装置は、さらに柔軟かつ精度の高い符号化ノイズの検出を実現することができる。
【００４５】
以下、本発明の実施形態に係る画像処理装置の構成の一例について説明をすると共に、本発明の実施形態に係る画像処理方法に係る処理の具体例についても併せて説明する。
【００４６】
また、以下では、本発明の実施形態に係る画像処理装置が、参照確率情報を生成する参照確率情報生成部を備える構成である場合を例に挙げて、本発明の実施形態に係る画像処理装置の構成の一例について説明をする。なお、上述したように、本発明の実施形態に係る画像処理装置は、参照確率情報を生成する参照確率情報生成部を備えない構成をとることも可能である。
【００４７】
また、以下では、本発明の実施形態に係る確率モデルが、ベイジアンネットワークである場合を例に挙げて説明する。本発明の実施形態に係る確率モデルがベイジアンネットワークである場合には、確率モデルが更新された際に、確率テーブルなどの参照確率情報を更新することによって対応することが可能である。よって、本発明の実施形態に係る確率モデルとしてベイジアンネットワークを用いることによって、例えば他の確率モデルを用いる場合と比較して、より柔軟な実装を実現することができる。なお、上述したように、本発明の実施形態に係る確率モデルが、ベイジアンネットワークに限らないことは、言うまでもない。
【００４８】
（本発明の第１の実施形態に係る画像処理装置）
図１は、本発明の第１の実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。画像処理装置１００は、例えば、ノイズ検出部１０２と、参照確率情報生成部１０４とを備える。
【００４９】
また、画像処理装置１００は、例えば、制御部（図示せず）や、ＲＯＭ（Read Only Memory。図示せず）、ＲＡＭ（Random Access Memory。図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）、外部装置と通信を行うための通信部（図示せず）、撮像部（図示せず）などを備えていてもよい。画像処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
【００５０】
ここで、制御部（図示せず）は、例えば、ＣＰＵ（Central Processing Unit）や各種処理回路などで構成され、画像処理装置１００全体を制御する。また、制御部（図示せず）は、例えば、ノイズ検出部１０２、および参照確率情報生成部１０４（または、これらのうちのいずれか１つの部）の役目を果たしてもよい。なお、ノイズ検出部１０２、および参照確率情報生成部１０４は、各部の処理を実現可能な専用の（または汎用の）処理回路で構成されていてもよいことは、言うまでもない。
【００５１】
また、制御部（図示せず）は、例えば、ノイズ検出部１０２における符号化ノイズの検出結果に基づき、検出された符号化ノイズを低減するノイズ低減処理を行う役目を果たしてもよい。さらに、制御部（図示せず）は、例えば、ノイズ低減処理が行われた画像信号をエンコードして、記憶部（図示せず）に記録する、および／または、出力画像信号が示す画像を表示部（図示せず）や外部表示装置の表示画面に表示させるなど、出力画像信号に対する処理を行う役目を果たすことも可能である。
【００５２】
ＲＯＭ（図示せず）は、制御部（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部（図示せず）により実行されるプログラムなどを一時的に記憶する。
【００５３】
記憶部（図示せず）は、画像処理装置１００が備える記憶手段であり、例えば、画像データや、アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）などが挙げられる。また、記憶部（図示せず）は、画像処理装置１００から着脱可能であってもよい。
【００５４】
操作部（図示せず）としては、例えば、ボタンや、方向キー、あるいは、これらの組み合わせなどが挙げられる。また、画像処理装置１００は、例えば、画像処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）と接続することもできる。
【００５５】
表示部（図示せず）としては、例えば、液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機ＥＬディスプレイ（organic ElectroLuminescence display）などが挙げられる。なお、表示部（図示せず）は、例えばタッチスクリーンなどのように、表示とユーザ操作とが可能なデバイスであってもよい。また、画像処理装置１００は、表示部（図示せず）の有無に関わらず、画像処理装置１００の外部装置としての表示デバイス（例えば、外部ディスプレイなど）と接続することもできる。
【００５６】
通信部（図示せず）は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部装置と無線／有線で通信を行う。ここで、通信部（図示せず）としては、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）などが挙げられる。また、本発明の実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide Area Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ；Wireless Local Area Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless Wide Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
【００５７】
撮像部（図示せず）は、静止画像または動画像を撮像する役目を果たす。撮像部（図示せず）を備える場合には、画像処理装置１００は、例えば、撮像部（図示せず）における撮像により生成された画像信号を処理することが可能である。
【００５８】
ここで、本発明の実施形態に係る撮像部（図示せず）としては、例えば、レンズ／撮像素子と信号処理回路とから構成される撮像デバイスが挙げられる。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。また、信号処理回路は、例えば、ＡＧＣ（Automatic Gain Control）回路やＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理などが挙げられる。
【００５９】
以下、図１に示す第１の実施形態に係る画像処理装置１００の構成例について説明しつつ、画像処理装置１００における処理（画像処理方法に係る処理）の一例について説明する。
【００６０】
ノイズ検出部１０２は、本発明の実施形態に係る画像処理方法に係る処理（例えば、上記画像特徴検出処理、ノイズ発生確率算出処理、およびノイズ特定処理）を主導的に行う役目を果たす。ノイズ検出部１０２は、参照確率情報に基づいて、入力画像信号における符号化ノイズの発生確率を算出し、算出された符号化ノイズの発生確率に基づいて、入力画像信号に含まれる符号化ノイズを特定する。
【００６１】
ここで、図１では、本発明の実施形態に係る参照確率情報として、確率テーブル１５０を示している。ノイズ検出部１０２（より厳密には、後述するノイズ発生確率算出部１０８）は、例えば記憶部（図示せず）に記憶されている確率テーブル１５０（参照確率情報の一例）を適宜読み出し、読み出した確率テーブル１５０と、入力画像信号から検出された複数の画像特徴とに基づいて、入力画像信号における符号化ノイズの発生確率を算出する。
【００６２】
なお、本発明の実施形態に係るノイズ検出部１０２における処理は、上記に限られない。例えば、ノイズ検出部１０２は、ネットワークを介して（または直接的に）通信可能な、確率テーブル１５０（参照確率情報の一例）を記憶する外部装置と通信を行うことによって、入力画像信号における符号化ノイズの発生確率を算出することも可能である。より具体的には、ノイズ検出部１０２は、例えば、入力画像信号から検出された複数の画像特徴を含み、確率テーブル１５０に記録されている符号化ノイズの発生確率を外部装置に送信させるための発生確率送信要求を、通信部（図示せず）を介して外部装置へ送信する。そして、ノイズ検出部１０２は、上記発生確率送信要求に応じて外部装置から送信された、発生確率を示すデータを、通信部（図示せず）を介して受信し、受信されたデータと、入力画像信号から検出された複数の画像特徴とに基づいて、入力画像信号における符号化ノイズの発生確率を算出する。
【００６３】
図２は、本発明の実施形態に係る確率テーブル１５０の一例を示す説明図である。本発明の実施形態に係る確率テーブル１５０は、例えば図２に示すように、ある画像特徴Ｆにおける符号化ノイズＸの条件付き確率を示すテーブルである。ここで、確率テーブルは、条件付確率表（Conditional Probability Table :ＣＰＴ）ともよばれ、例えば、図２のように画像特徴Ｆと符号化ノイズＸの条件付き確率を表にしたものとして表される。
【００６４】
ノイズ検出部１０２は、例えば図２に示すような確率テーブル１５０に基づいて、入力画像信号における符号化ノイズの発生確率を算出し、算出された符号化ノイズの発生確率に基づいて、入力画像信号に含まれる符号化ノイズを特定する。なお、図２では、画像特徴Ｆが３つと、符号化ノイズＸが３つの確率テーブルを示しているが、本発明の実施形態に係る確率テーブル１５０が、図２に示す例に限られないことは、言うまでもない。
【００６５】
再度図１を参照して、本発明の実施形態に係るノイズ検出部１０２の構成についてより具体的に説明する。ノイズ検出部１０２は、特徴検出部１０６（第１特徴検出部）と、ノイズ発生確率算出部１０８と、ノイズ特定部１１０とを備える。
【００６６】
特徴検出部１０６は、本発明の実施形態に係る画像処理方法に係る上記画像特徴検出処理を主導的に行う役目を果たし、入力画像信号が示す画像の特徴を示す画像特徴を、複数検出する。
【００６７】
ここで、特徴検出部１０６は、符号化ノイズと因果関係を有する画像特徴として、例えば、動き特徴、エッジ特徴、テクスチャ特徴、色特徴、空間周波数特徴、シーン特徴、オブジェクト特徴、ブロック歪特徴、モスキート歪特徴、リンギング歪特徴を検出する。なお、特徴検出部１０６が検出する画像特徴は、上記に限られない。例えば、特徴検出部１０６は、動き特徴、エッジ特徴、テクスチャ特徴、色特徴、空間周波数特徴、シーン特徴、オブジェクト特徴、ブロック歪特徴、モスキート歪特徴、リンギング歪特徴のうちの、２つ以上を検出してもよい。
【００６８】
図３は、本発明の第１の実施形態に係るベイジアンネットワークモデルの一例を示す説明図であり、画像特徴と符号化ノイズとの関係をベイジアンネットワークモデルを用いて記述した例を示している。図３に示すように、本発明の実施形態に係る画像特徴は、例えば、符号化ノイズを発生させる要因となる画像特徴（つまり、符号化ノイズに対して親ノードとなる特徴）である「観測画像特徴」と、符号化ノイズが要因となって発生する画像特徴（つまり、符号化ノイズに対して子ノードとなる特徴）である「観測歪特徴」とに分類される。
【００６９】
まず、本発明の実施形態に係る観測画像特徴について説明する。観測画像特徴としては、図３に示すように、例えば、動き特徴Ｆｍｏｔｉｏｎと、エッジ特徴Fｅｄｇｅと、テクスチャ特徴Ｆｔｅｘｔｕｒｅと、色特徴Ｆｃｏｌｏｒと、空間周波数特徴Ｆｆｒｅｑｕｅｎｃｙと、シーン特徴Ｆｓｃｅｎｅと、オブジェクト特徴Ｆｏｂｊｅｃｔとが挙げられる。ここで、動き特徴Ｆｍｏｔｉｏｎと、エッジ特徴Fｅｄｇｅと、テクスチャ特徴Ｆｔｅｘｔｕｒｅと、色特徴Ｆｃｏｌｏｒと、空間周波数特徴Ｆｆｒｅｑｕｅｎｃｙとは、符号化ノイズと直接因果関係がある特徴に該当する。また、画像特徴は、上記符号化ノイズと直接因果関係がある特徴に限られず、ある画像特徴と因果関係を有する特徴であってもよい。例えば、シーン特徴Ｆｓｃｅｎｅと、オブジェクト特徴Ｆｏｂｊｅｃｔとが、画像特徴と因果関係を有する特徴に該当する。
【００７０】
動き特徴Ｆｍｏｔｉｏｎは、動きの複雑さや動きの大きさを表す特徴量である。ここで、ＭＰＥＧ−２やＨ．２６４では、動き補償後の予測誤差を符号化するため、動きが大きい場合や複雑な動きの場合には予測誤差が大きくなり、予測誤差が大きくなることにより符号化ノイズが発生しやすくなる。特徴検出部１０６は、例えば、フレーム間差分の大きさや、ブロックマッチングにより求められる動きベクトルのばらつきなどを用いて、動き特徴Ｆｍｏｔｉｏｎを検出する。
【００７１】
エッジ特徴Fｅｄｇｅは、エッジの大きさや方向を表す特徴量である。ここで、エッジは、符号化におけるＤＣＴおよび量子化処理により符号化ノイズが発生しやすい画像特徴の一つである。特徴検出部１０６は、例えば、ＳｏｂｅｌやＬａｐｌａｃｉａｎなどのエッジ検出Ｏｐｅｒａｔｏｒを用いてエッジ特徴Fｅｄｇｅを検出する。
【００７２】
テクスチャ特徴Ｆｔｅｘｔｕｒｅは、画素値のばらつきを表す特徴量である。ここで、テクスチャは、エッジと同様に、符号化におけるＤＣＴおよび量子化処理により符号化ノイズが発生しやすい特徴の一つである。特徴検出部１０６は、例えば、輝度値の分散や標準偏差、隣接画素差分値の分散を用いてテクスチャ特徴Ｆｔｅｘｔｕｒｅを検出する。
【００７３】
色特徴Ｆｃｏｌｏｒは、配色や色相、彩度などを表す特徴量である。ここで、色は、コントラストが強いとノイズが発生しやすく、また、色によってノイズの見え方が異なる。特徴検出部１０６は、例えば、色ヒストグラムを用いて色特徴Ｆｃｏｌｏｒを検出する。
【００７４】
空間周波数特徴Ｆｆｒｅｑｕｅｎｃｙは、空間周波数の高低を表す特徴量である。ここで、符号化におけるＤＣＴおよび量子化処理により、空間周波数が高い場合には符号化ノイズが発生しやすく、また、空間周波数が低い場合には符号化ノイズが発生し難いという関係がある。特徴検出部１０６は、例えば、フーリエ変換やＤＣＴなどの空間周波数変換を用いて色特徴Ｆｃｏｌｏｒを検出する。
【００７５】
シーン特徴Ｆｓｃｅｎｅは、Ｆｌａｓｈやシーンチェンジなどシーン（場面）固有の特徴や、スポーツ、ニュース、アニメーションなどのジャンルを表す特徴である。また、オブジェクト特徴Ｆｏｂｊｅｃｔは、例えば、画像中に含まれる人物や車などの物体を表す特徴である。ここで、これらの特徴は、上述した動き特徴Ｆｍｏｔｉｏｎ、エッジ特徴Fｅｄｇｅ、テクスチャ特徴Ｆｔｅｘｔｕｒｅ、色特徴Ｆｃｏｌｏｒ、および空間周波数特徴Ｆｆｒｅｑｕｅｎｃｙと因果関係を有する。特徴検出部１０６は、例えば、既存のシーン認識手法などを用いてシーン特徴Ｆｓｃｅｎｅを検出し、既存の物体認識手法などを用いてオブジェクト特徴Ｆｏｂｊｅｃｔを検出する。
【００７６】
次に、本発明の実施形態に係る観測歪特徴について説明する。観測歪特徴としては、図３に示すように、例えば、ブロック歪特徴Fｂｌｏｃｋと、モスキート歪特徴Ｆｍｏｓｑｕｉｔｏと、リンギング歪特徴Ｆｒｉｎｇｉｎｇとが挙げられる。
【００７７】
ブロック歪特徴Fｂｌｏｃｋは、ブロック境界に段差が生じているようにユーザに認識される歪（いわゆる、ブロックノイズ）を表す特徴量である。ここで、ブロックノイズは、符号化におけるＤＣＴおよび量子化処理によって、隣接ブロックの低周波成分に不連続が生じるために起こる歪であり、符号化ノイズが要因となって生じる画像の歪の一つである。特徴検出部１０６は、例えば、ブロック境界における隣接画素の差分値などを用いてブロック歪特徴Fｂｌｏｃｋを検出する。
【００７８】
モスキート歪特徴Ｆｍｏｓｑｕｉｔｏは、エッジ周辺に蚊が飛んでいるようにユーザに認識される歪（いわゆる、モスキートノイズ）を表す特徴量である。モスキートノイズは、符号化におけるＤＣＴおよび量子化処理によって、エッジを構成する周波数成分に量子化誤差が生じるために起こる歪であり、符号化ノイズが要因となって生じる画像の歪の一つである。特徴検出部１０６は、例えば、ＤＣＴ係数の孤立係数などを用いてモスキート歪特徴Ｆｍｏｓｑｕｉｔｏを検出する。
【００７９】
リンギング歪特徴Ｆｒｉｎｇｉｎｇは、直線エッジ付近が波打つように画素値が振幅する歪（いわゆる、リンギングノイズ）を表す特徴量である。リンギングノイズは、符号化におけるＤＣＴおよび量子化処理によって、直線エッジを構成する周波数成分に量子化誤差が生じるために起こる歪であり、符号化ノイズが要因となって生じる画像の歪の一つである。特徴検出部１０６は、例えば、エッジに垂直な方向の画素振幅を用いてリンギング歪特徴Ｆｒｉｎｇｉｎｇを検出する。
【００８０】
特徴検出部１０６は、例えば、図３に示す観測画像特徴と観測歪特徴とを、画像特徴として検出する。なお、本発明の実施形態に係る特徴検出部１０６が検出する画像特徴が、図３に示す例に限られないことは、言うまでもない。
【００８１】
また、特徴検出部１０６は、例えば、画像全体を処理対象として画像特徴を検出してもよいし、画像における局所領域ごとに画像特徴を検出してもよい。画像全体を処理対象とするか、または、各局所領域を処理対象とするかは、予め規定されていてもよいし、画像処理装置１００のユーザが選択可能であってもよい。
【００８２】
特徴検出部１０６が局所領域ごとに画像特徴を検出する場合には、画像処理装置１００（より厳密には、後述するノイズ特定部１１０）は、局所領域ごとに符号化ノイズの発生の有無（または、さらに符号化ノイズが発生している量）を特定することが可能となる。よって、特徴検出部１０６が局所領域ごとに画像特徴を検出する場合には、画像処理装置１００は、符号化ノイズの発生の有無（または、さらに符号化ノイズが発生している量）に加え、符号化ノイズが発生している位置を特定することができる。
【００８３】
ここで、本発明の実施形態に係る局所領域としては、例えば、４×４画素の矩形の領域や、８×８画素の矩形の領域、１６×１６画素の矩形の領域など、符号化ブロックサイズに対応する領域が挙げられる。画像処理装置１００は、例えば、入力画像信号をデコードしたデコーダからブロック境界の情報を取得することによって、符号化ブロックサイズに対応する領域を局所領域とする。なお、本発明の実施形態に係る局所領域は、上記に限られない。例えば、画像処理装置１００は、符号化ブロックサイズが未知の場合には、Ｈ．２６４の最小ブロックサイズである４×４画素の矩形の領域など、予め規定された大きさの領域を、局所領域としてもよい。
【００８４】
再度図１を参照して、本発明の実施形態に係るノイズ検出部１０２の構成の一例について説明する。ノイズ発生確率算出部１０８は、本発明の実施形態に係る画像処理方法に係る上記ノイズ発生確率算出処理を主導的に行う役目を果たし、特徴検出部１０６において検出された複数の画像特徴と、確率テーブル１５０（参照確率情報の一例）とに基づいて、符号化ノイズの発生確率を算出する。
【００８５】
ノイズ発生確率算出部１０８は、例えば図２に示すような確率テーブル１５０を参照して得られる条件付き確率に基づいて、符号化ノイズの発生確率を算出する。以下、より具体的に、ノイズ発生確率算出部１０８における符号化ノイズの発生確率の算出処理の一例について説明する。
【００８６】
図４は、本発明の実施形態に係るノイズ発生確率算出部１０８における処理の一例を説明するための説明図である。図４は、符号化ノイズの有無の確率を推定するベイジアンネットワークモデルの一例を示している。以下では、ノイズ発生確率算出部１０８が、検出された、空間周波数特徴（図４において確率変数Ａで表記されるノード）、動き特徴（図４において確率変数Ｂで表記されるノード）、ブロック歪特徴（図４において確率変数Ｃで表記されるノード）、およびモスキート歪特徴（図４において確率変数Ｄで表記されるノード）に基づいて、符号化ノイズ（図４において確率変数Ｘで表記）が発生する確率Ｐ（Ｘ＝ｘ１）、および発生しない確率Ｐ（Ｘ＝ｘ２）を推定する場合を例に挙げて、符号化ノイズの発生確率の算出処理の一例について説明する。
【００８７】
ノードＡで観測される情報を“ｅａ”、ノードＢで観測される情報を“ｅｂ”、ノードＣで観測される情報を“ｅｃ”、ノードＤで観測される情報を“ｅｄ”とする。ここで、ｅａとしては、例えばＤＣＴ係数値などが挙げられ、ｅｂとしては、例えばフレーム間差分値などが挙げられる。また、ｅｃとしては、例えばブロック境界の隣接画素差分値などが挙げられ、ｅｄとしては、例えばＤＣＴ係数の孤立係数値などが挙げられる。なお、本発明の実施形態に係る観測される情報（以下、「観測情報」と示す場合がある。）ｅａ、ｅｂ、ｅｃ、ｅｄは、上記に限られない。例えば、本発明の実施形態に係る観測される情報ｅａ、ｅｂ、ｅｃ、ｅｄは、同様な性質を持つ他の特徴量であってもよい。
【００８８】
ここで、ノードＸの親ノードであるノードＡとノードＢとにおいて観測される情報の集合を“ｅ＋”、ノードＸの子ノードであるノードＣとノードＤとにおいて観測される情報の集合を“e−”とすると、集合ｅ＋と集合e−とは、例えば下記の数式１で表される。
【００８９】
【数１】
・・・（数式１）
【００９０】
また、ノードＸ以外の全ての観測情報ｅ＝｛ｅ＋，ｅ−｝が与えられたときのノードＸがＸ＝ｘとなる確率を“Ｐ（ｘ|ｅ）＝Ｐ（ｘ|ｅ＋，e−)”とすると、確率Ｐ（ｘ|ｅ）は、ベイズの定理と条件付き独立とを用いて、例えば下記の数式２で表される。ここで、数式２に示す“α”は、ｘの値に依存しない定数であり、例えば下記の数式３で表される。また、数式２に示す“π（ｘ）”は、親ノードＡ、Ｂに基づく確率であり、例えば下記の数式４で表される。
【００９１】
【数２】
・・・（数式２）
【００９２】
【数３】
・・・（数式３）
【００９３】
【数４】
・・・（数式４）
【００９４】
ここで、数式４の“Ｐ（ａｉ｜ｅａ）”は、ノードＡの状態がａｉになる確率Ｐ（ａｉ）と考えてもよく、また、数式４の“Ｐ（ｂｊ｜ｅｂ）”は、ノードＢの状態がｂｉになる確率Ｐ（ｂｉ）と考えてもよい。よって、数式４は、例えば下記の数式５のように表すことができる。
【００９５】
【数５】
・・・（数式５）
【００９６】
また、数式２に示すλ（ｘ）は、例えば下記の数式６で表される。
【００９７】
【数６】
・・・（数式６）
【００９８】
ノイズ発生確率算出部１０８は、例えば、上記数式２、数式５、数式６から、ノードＸ以外の全ての観測情報ｅ＝｛ｅ＋，ｅ−｝＝｛ｅａ，ｅｂ，ｅｃ，ｅｄ｝が与えられたときに、ノードＸがＸ＝ｘとなる確率Ｐ（ｘ｜ｅ）を求めることによって、符号化ノイズの発生確率を算出する。
【００９９】
次に、具体的な数値を用いて、ノイズ発生確率算出部１０８における符号化ノイズが発生する確率の算出例について説明する。以下では、図４に示すベイジアンネットワークモデルを例に挙げて、ノイズ発生確率算出部１０８における符号化ノイズが発生する確率の算出例を説明する。
【０１００】
図５、図６、図７は、本発明の実施形態に係るノイズ発生確率算出部１０８における処理の一例を説明するための説明図である。図５は、符号化ノイズの発生の有無に影響を及ぼす、図４における親ノードであるノードＡ（空間周波数特徴）とノードＢ（動き特徴）とに関する条件付き確率を示す確率テーブルの一例を示している。また、図６は、図４における子ノードであるノードＣ（ブロック歪特徴）に関する条件付き確率を示す確率テーブルの一例を示しており、図７は、図４における子ノードであるノードＤ（モスキート歪特徴）に関する条件付き確率を示す確率テーブルの一例を示している。
【０１０１】
ノイズ発生確率算出部１０８は、特徴検出部１０６から伝達される各ノードの観測情報｛ｅａ，ｅｂ，ｅｃ，ｅｄ｝が互いに独立であると仮定する。伝達されるノードＡの空間周波数特徴が“中”であるとすると、ノイズ発生確率算出部１０８は、Ｐ（ａ１｜ｅａ）＝１、Ｐ（ａ２｜ｅａ）＝０、Ｐ（ａ３｜ｅａ）＝０とする。また、伝達されるノードＢの動き特徴が“複雑”であったとすると、ノイズ発生確率算出部１０８は、Ｐ（ｂ１｜ｅｂ）＝１、Ｐ（ｂ２｜ｅｂ）＝０とする。また、伝達されるノードＣのブロック歪特徴が“大”であったとすると、ノイズ発生確率算出部１０８は、Ｐ（ｅｃ｜ｃ１）＝１、Ｐ（ｅｃ｜ｃ２）＝０、Ｐ（ｅｃ｜ｃ３）＝０とする。そして、伝達されるノードＤのモスキート歪特徴が“大”であったとすると、ノイズ発生確率算出部１０８は、Ｐ（ｅｄ｜ｄ１）＝１、Ｐ（ｅｄ｜ｄ２）＝０、Ｐ（ｅｄ｜ｄ３）＝０とする。
【０１０２】
上記観測情報と図５〜図７に示す確率テーブルから得られる値とを、上記数式５、数式６に代入した後、上記数式２によって、上記数式５、数式６に代入された値を乗算し、最終的に値を正規化することによって、ノイズ発生確率算出部１０８は、符号化ノイズの有無を示すｘ１およびｘ２のそれぞれの確率を求めることができる。具体的には、π（ｘ１）、π（ｘ２）、λ（ｘ１）、λ（ｘ２）は、例えば下記の数式７〜数式１０に示す値となる。また、下記の数式７〜数式１０に示す値の正規化処理によって、ノードＸの最終的な推定結果は、例えば下記の数式１１、数式１２に示す値となる。
【０１０３】
【数７】
・・・（数式７）
【０１０４】
【数８】
・・・（数式８）
【０１０５】
【数９】
・・・（数式９）
【０１０６】
【数１０】
・・・（数式１０）
【０１０７】
【数１１】
・・・（数式１１）
【０１０８】
【数１２】
・・・（数式１２）
【０１０９】
ノイズ発生確率算出部１０８は、例えば上記のように、符号化ノイズの発生確率を算出する。なお、上記の例では、観測情報の状態が一意に決まるものとし、その他の状態の発生確率を０（ゼロ）としているが、本発明の実施形態に係るノイズ発生確率算出部１０８における処理は、上記に限られない。例えば、ノイズ発生確率算出部１０８は、観測情報の状態に確率値を与えてもよい。また、ノイズ発生確率算出部１０８は、例えば、ノードＣにおいてＰ（ｅｃ｜ｃ１）＝１．０、Ｐ（ｅｃ｜ｃ２）＝０．５、Ｐ（ｅｃ｜ｃ３）＝０．１のように設定することもできる。
【０１１０】
また、ノイズ発生確率算出部１０８は、特徴検出部１０６において画像全体を処理対象として画像特徴が検出された場合には、画像全体に対する符号化ノイズの発生確率を算出する。また、ノイズ発生確率算出部１０８は、特徴検出部１０６において画像における局所領域ごとに画像特徴が検出された場合には、局所領域ごとに符号化ノイズの発生確率を算出する。
【０１１１】
再度図１を参照して、本発明の実施形態に係るノイズ検出部１０２の構成の一例について説明する。ノイズ特定部１１０は、本発明の実施形態に係る画像処理方法に係る上記ノイズ特定処理を主導的に行う役目を果たし、算出された符号化ノイズの発生確率に基づいて、入力画像信号に含まれる符号化ノイズを特定する。ここで、ノイズ特定部１１０における符号化ノイズの特定は、符号化ノイズの検出に相当する。
【０１１２】
また、ノイズ特定部１１０は、例えば、符号化ノイズの特定結果を示す信号（または、特定結果を示すデータ）を、通信部（図示せず）を介してノイズ低減処理を行う機能を有する外部装置に送信する。なお、本発明の実施形態に係る画像処理装置がノイズ低減処理を行うノイズ低減部（図示せず）を備える場合、すなわち、本発明の実施形態に係る画像処理装置がノイズ低減処理を行う機能を有する場合には、ノイズ特定部１１０は、例えば、符号化ノイズの特定結果を示す信号をノイズ低減部（図示せず）に伝達してもよい。
【０１１３】
ノイズ特定部１１０における処理についてより具体的に説明すると、例えば、ノイズ発生確率算出部１０８において画像全体に対する符号化ノイズの発生確率が算出された場合には、ノイズ特定部１１０は、例えば符号化ノイズが発生している量を特定することによって、入力画像信号に含まれる符号化ノイズを特定する。ここで、ノイズ特定部１１０は、例えば、ノイズ発生確率算出部１０８から伝達される符号化ノイズの発生確率の値をノイズ量としてもよいし、閾値処理によって当該符号化ノイズの発生確率の値を量子化した値をノイズ量としてもよい。
【０１１４】
また、例えば、ノイズ発生確率算出部１０８において局所領域ごとに符号化ノイズの発生確率が算出された場合には、ノイズ特定部１１０は、局所領域ごとに符号化ノイズが発生している量を特定することによって、入力画像信号に含まれる符号化ノイズを特定する。上記のように局所領域ごとに符号化ノイズが発生している量を特定することによって、符号化ノイズが発生している位置の絞り込みを行うことが可能となるので、ノイズ特定部１１０は、さらに、符号化ノイズが発生している位置を特定することができる。
【０１１５】
ノイズ検出部１０２は、例えば、特徴検出部１０６と、ノイズ発生確率算出部１０８と、ノイズ特定部１１０とを備えることによって、本発明の実施形態に係る画像処理方法に係る処理（例えば、上記画像特徴検出処理、ノイズ発生確率算出処理、およびノイズ特定処理）を主導的に行う。よって、ノイズ検出部１０２は、処理対象の画像信号に基づいて、符号化ノイズを検出することができる。
【０１１６】
なお、図１では、ノイズ検出部１０２が、特徴検出部１０６と、ノイズ発生確率算出部１０８と、ノイズ特定部１１０とを備える構成を示しているが、本発明の実施形態に係る画像処理装置の構成は、上記に限られない。例えば、本実施形態に係る画像処理装置は、図１に示す特徴検出部１０６、ノイズ発生確率算出部１０８、およびノイズ特定部１１０を個別に備える（例えば、それぞれを個別の処理回路で実現する）ことができる。
【０１１７】
図８は、本発明の実施形態に係るノイズ検出部１０２における処理の一例を示す流れ図である。
【０１１８】
ノイズ検出部１０２は、入力画像から画像特徴を検出する（Ｓ１００）。ステップＳ１００の処理は、例えば、ノイズ検出部１０２を構成する特徴検出部１０６が行う。
【０１１９】
ステップＳ１００において画像特徴が検出されると、ノイズ検出部１０２は、確率テーブル１５０を参照し、ベイジアンネットワーク演算により、検出された画像特徴に対応する符号化ノイズの発生確率を算出する（Ｓ１０２）。ステップＳ１０２の処理は、例えば、ノイズ検出部１０２を構成するノイズ発生確率算出部１０８が行う。
【０１２０】
ステップＳ１０２において符号化ノイズの発生確率が算出されると、ノイズ検出部１０２は、算出された符号化ノイズの発生確率に基づいて、符号化ノイズを特定する（Ｓ１０４）。ステップＳ１０４の処理は、例えば、ノイズ検出部１０２を構成するノイズ特定部１１０が行う。
【０１２１】
ノイズ検出部１０２は、例えば図８に示す処理によって、処理対象の画像信号に基づいて、符号化ノイズを検出する。
【０１２２】
再度図１を参照して、本発明第１の実施形態に係る画像処理装置１００の構成の一例について説明する。参照確率情報生成部１０４は、参照確率情報を生成する役目を果たす。より具体的には、参照確率情報生成部１０４は、特徴検出部１０６（第１特徴検出部）における検出対象の画像特徴と同一の、学習画像の特徴を示す複数の画像特徴と、確率モデルとに基づいて、参照確率情報を生成する。
【０１２３】
図９は、本発明の第１の実施形態に係る参照確率情報生成部１０４の構成の一例を示すブロック図である。参照確率情報生成部１０４は、例えば、特徴検出部１１２（第２特徴検出部）と、情報生成部１１４とを備える。
【０１２４】
特徴検出部１１２は、学習画像信号が示す学習画像の特徴を示す画像特徴を、複数検出する。特徴検出部１１２は、特徴検出部１０６（第１特徴検出部）における検出対象の画像特徴と同一の画像特徴を、学習画像を対象として検出する。すなわち、入力される画像信号が同一であれば、特徴検出部１１２と特徴検出部１０６とは、同一の画像特徴を検出することとなる。特徴検出部１１２は、上述した特徴検出部１０６と同様の処理を行うことによって、学習画像の特徴を示す画像特徴を複数検出する。
【０１２５】
ここで、特徴検出部１１２は、例えば、記憶部（図示せず）や外部記録媒体に記憶された、学習画像を示す画像データをデコードすることにより得られた画像信号を、学習画像信号として処理する。なお、特徴検出部１１２が処理する学習画像信号は、上記に限られない。例えば、特徴検出部１１２は、ネットワークを介して（または直接的に）外部装置から送信された学習画像を示す画像信号を、学習画像信号として処理することも可能である。
【０１２６】
また、本発明の実施形態に係る学習画像信号としては、例えば、ＭＰＥＧ−２やＨ．２６４／ＭＰＥＧ−４ ＡＶＣなど、所定の符号化方式により符号化された動画像（または、複数の静止画像）や静止画像を示す画像信号が挙げられる。
【０１２７】
情報生成部１１４は、特徴検出部１１２において検出された複数の画像特徴と、ベイジアンネットワークなどの確率モデルとに基づいて、学習画像信号における符号化ノイズの発生確率を算出する。ここで、情報生成部１１４は、例えば、上述したノイズ発生確率算出部１０８と同様の処理を行うことによって、学習画像信号における符号化ノイズの発生確率を算出する。そして、情報生成部１１４は、参照確率情報を生成する。図９では、情報生成部１１４が、例えば確率テーブルを参照確率情報として生成する例を示している。
【０１２８】
ここで、情報生成部１１４における参照確率情報の生成とは、例えば、参照確率情報の新規生成が挙げられるが、情報生成部１１４における処理は、上記に限られない。例えば、参照確率情報が既に生成されている場合には、情報生成部１１４は、当該既に生成されている参照確率情報を更新してもよい。つまり、情報生成部１１４における参照確率情報の生成とは、例えば、参照確率情報の新規生成、または、既に生成されている参照確率情報の更新を意味する。
【０１２９】
参照確率情報生成部１０４は、例えば、特徴検出部１１２と情報生成部１１４とを備えることによって、特徴検出部１０６（第１特徴検出部）における検出対象の画像特徴と同一の、学習画像の特徴を示す複数の画像特徴と、確率モデルとに基づいて、参照確率情報を生成する。
【０１３０】
図１０は、本発明の実施形態に係る参照確率情報生成部１０４における処理の一例を示す流れ図である。
【０１３１】
参照確率情報生成部１０４は、学習画像から画像特徴を検出する（Ｓ２００）。ステップＳ２００の処理は、例えば、参照確率情報生成部１０４を構成する特徴検出部１１２が行う。
【０１３２】
ステップＳ２００において画像特徴が検出されると、参照確率情報生成部１０４は、検出された画像特徴と符号化ノイズとの関係を示す確率テーブル（参照確率情報の一例）を生成する（Ｓ２０２）。そして、参照確率情報生成部１０４は、生成した確率テーブル（参照確率情報の一例）を、例えば記憶部（図示せず）などに記録する（Ｓ２０４）。ステップＳ２０２、Ｓ２０４の処理は、例えば、参照確率情報生成部１０４を構成する情報生成部１１４が行う。
【０１３３】
参照確率情報生成部１０４は、例えば図１０に示す処理によって、参照確率情報を生成する。
【０１３４】
本発明の第１の実施形態に係る画像処理装置１００は、例えば上記のような処理を行う、ノイズ検出部１０２と、参照確率情報生成部１０４とを備える。
【０１３５】
ここで、ノイズ検出部１０２は、検出した複数の画像特徴と、参照確率情報とに基づいて、本来未知である入力画像信号における符号化ノイズの発生確率を算出する。そして、ノイズ検出部１０２は、は、算出された符号化ノイズの発生確率に基づいて、入力画像信号に含まれる符号化ノイズを特定する。
【０１３６】
したがって、画像処理装置１００は、処理対象の画像信号に基づいて、符号化ノイズを検出することができる。
【０１３７】
また、参照確率情報生成部１０４は、ノイズ検出部１０２が符号化ノイズの発生確率の算出に用いる参照確率情報を生成する。
【０１３８】
したがって、例えば、ノイズ検出部１０２における符号化ノイズの検出結果が、本発明の実施形態に係る確率モデルに反映されることによって（符号化ノイズの検出結果のフィードバックにより確率モデルが更新されることによって）、画像処理装置１００は、さらに柔軟かつ精度の高い符号化ノイズの検出を実現することができる。
【０１３９】
なお、本発明の第１の実施形態に係る画像処理装置の構成は、図１に示す構成に限られない。例えば、本発明の第１の実施形態に係る画像処理装置は、参照確率情報生成部１０４を備えていなくてもよい。参照確率情報生成部１０４を備えない構成であっても、本発明の第１の実施形態に係る画像処理装置は、本発明の実施形態に係る画像処理方法に係る処理（例えば、上記画像特徴検出処理、ノイズ発生確率算出処理、およびノイズ特定処理）を実現することが可能である。よって、参照確率情報生成部１０４を備えない構成であっても、本発明の第１の実施形態に係る画像処理装置は、処理対象の画像信号に基づいて、符号化ノイズを検出することができる。
【０１４０】
（本発明の第２の実施形態に係る画像処理装置）
例えば図１に示す第１の実施形態に係る画像処理装置１００（または、第１の実施形態の変形例に係る画像処理装置。以下、同様とする。）の構成によって、本発明の実施形態に係る画像処理方法に係る処理を実現し、処理対象の画像信号に基づいて、符号化ノイズを検出することができる。しかしながら、本発明の実施形態に係る画像処理方法に係る処理を実現することが可能な構成は、図１に示す構成に限られない。
【０１４１】
図１１は、本発明の第２の実施形態に係る画像処理装置２００の構成の一例を示すブロック図である。
【０１４２】
図１１に示す本発明の第２の実施形態に係る画像処理装置２００は、図１に示す第１の実施形態に係る画像処理装置１００と基本的に同様の構成を有するが、図１に示す第１の実施形態に係る画像処理装置１００と比較すると、第２の実施形態に係る画像処理装置２００は、ノイズ検出部２０２を構成する特徴検出部２０６（第１特徴検出部）の機能、構成と、参照確率情報生成部２０４の機能、構成とが異なる。
【０１４３】
特徴検出部２０６は、本発明の実施形態に係る画像処理方法に係る上記画像特徴検出処理を主導的に行う役目を果たし、入力画像信号が示す画像の特徴を示す画像特徴を、複数検出する。
【０１４４】
ここで、図１に示す第１の実施形態に係る特徴検出部１０６が、例えば図３に示す観測画像特徴と観測歪特徴のように、画像そのものから算出できる特徴量を画像特徴として検出するのに対して、特徴検出部２０６は、さらに、符号化に関する特徴、画像の内容に関する特徴、ユーザの知覚に関する特徴を、画像特徴として検出する。
【０１４５】
図１２は、本発明の第２の実施形態に係るベイジアンネットワークモデルの一例を示す説明図である。図１２に示すように、本発明の第２の実施形態に係るベイジアンネットワークモデルは、図３に示す本発明の第１の実施形態に係るベイジアンネットワークモデルと同様の観測画像特徴Ｆｉｍａｇｅと観測歪特徴Ｆａｒｔｉｆａｃｔとに加え、さらに、符号化に関する特徴Ｆｃｏｄｅｃ、画像の内容に関する特徴Ｆｃｏｎｔｅｎｔｓ、ユーザの知覚に関する特徴Ｆｐｅｒｃｅｐｔｉｏｎを有している。
【０１４６】
特徴検出部２０６は、観測画像特徴検出部２０８と、符号化情報取得部２１０と、画像内容情報取得部２１２と、知覚情報取得部２１４とを備える。
【０１４７】
観測画像特徴検出部２０８は、上述した第１の実施形態に係る特徴検出部１０６と同様に、例えば図３に示す観測画像特徴と観測歪特徴のように、画像そのものから算出できる特徴量を画像特徴として検出する。
【０１４８】
符号化情報取得部２１０は、入力画像信号と対応付けて送信される符号化情報を取得し、符号化情報から符号化に関する特徴を検出する。ここで、符号化情報取得部２１０は、入力画像信号に多重化されている符号化情報を、入力画像信号から取得するが、符号化情報取得部２１０における符号化情報の取得方法は、上記に限られない。例えば、符号化情報取得部２１０は、入力画像信号に係る符号化処理を行ったデコーダなどから符号化情報を取得してもよい。
【０１４９】
また、符号化情報取得部２１０は、例えば、動きベクトルやマイクロブロック・モード、ＤＣＴ係数、量子化ステップなど、符号化に関するパラメータを、符号化に関する特徴として検出する。
【０１５０】
画像内容情報取得部２１２は、例えば入力画像信号を受信することによって、画像内容情報を取得し、画像内容情報から画像の内容に関する特徴を検出する。なお、画像内容情報取得部２１２における画像内容情報の取得方法は、上記に限られない。例えば、画像内容情報取得部２１２は、データ放送などのように入力画像信号と対応付けて送信される信号を受信することによって、画像内容情報を取得することも可能である。
【０１５１】
また、画像内容情報取得部２１２は、例えば、番組情報や文字情報、タグなど（画像内容情報の一例）に、予め規定されたキーワードが含まれているか否かを判定し、判定結果に応じて２値化することによって、画像の内容に関する特徴を検出する。
【０１５２】
知覚情報取得部２１４は、知覚情報に基づいて、ユーザの知覚に関する特徴を検出する。ここで、知覚情報取得部２１４は、例えば、ユーザ操作に基づき画像が複数段階で評価された結果を示す知覚情報を、記憶部（図示せず）などから読み出すことによって、知覚情報を取得する。そして、知覚情報取得部２１４は、取得された知覚情報が示す値（段階を示す値）を、ユーザの知覚に関する特徴として検出する。
【０１５３】
なお、知覚情報取得部２１４におけるユーザの知覚に関する特徴の検出方法は、上記に限られない。例えば、知覚情報取得部２１４は、照度センサなど人間の知覚に関連する値を検出するセンサ（図示せず）から、当該センサにおける検出値を知覚情報として取得し、検出値を閾値処理によって複数段階に分類することによって、複数段階に分類された結果をユーザの知覚に関する特徴として検出することも可能である。
【０１５４】
特徴検出部２０６は、例えば図１１に示す構成によって、画像そのものから算出できる特徴量に加え、さらに、符号化に関する特徴、画像の内容に関する特徴、ユーザの知覚に関する特徴を、画像特徴として検出する。なお、本発明の第２の実施形態に係る特徴検出部の構成は、図１１に示す構成に限られない。例えば、本発明の第２の実施形態に係る特徴検出部は、図１１に示す符号化情報取得部２１０、画像内容情報取得部２１２、および知覚情報取得部２１４のうちの、１または２の取得部を備える構成であってもよい。
【０１５５】
特徴検出部２０６を備えるノイズ検出部２０２は、図１に示す第１の実施形態に係るノイズ検出部１０２と基本的に同様の構成を有する。したがって、ノイズ検出部２０２は、図１１に示す構成によって、図１に示す第１の実施形態に係るノイズ検出部１０２と同様に、処理対象の画像信号に基づいて、符号化ノイズを検出することができる。
【０１５６】
参照確率情報生成部２０４は、図１に示す第１の実施形態に係る参照確率情報生成部１０４と同様に、特徴検出部２０６（第１特徴検出部）における検出対象の画像特徴と同一の、学習画像の特徴を示す複数の画像特徴と、確率モデルとに基づいて、参照確率情報を生成する。
【０１５７】
図１３は、本発明の第２の実施形態に係る参照確率情報生成部２０４の構成の一例を示すブロック図である。参照確率情報生成部２０４は、例えば、特徴検出部２１６（第２特徴検出部）と、情報生成部１１４とを備える。
【０１５８】
特徴検出部２１６は、観測画像特徴検出部２１８と、符号化情報取得部２２０と、画像内容情報取得部２２２と、知覚情報取得部２２４とを備え、学習画像信号が示す学習画像の特徴を示す画像特徴を、複数検出する。ここで、観測画像特徴検出部２１８は、図１１に示す観測画像特徴検出部２０８と同様の機能を有し、符号化情報取得部２２０、画像内容情報取得部２２２、および知覚情報取得部２２４それぞれは、図１１に示す符号化情報取得部２１０、画像内容情報取得部２１２、および知覚情報取得部２１４と同様の機能を有する。
【０１５９】
特徴検出部２１６は、図９に示す第１の実施形態に係る特徴検出部１１２と同様に、特徴検出部２０６（第１特徴検出部）における検出対象の画像特徴と同一の画像特徴を、学習画像を対象として検出する。すなわち、入力される画像信号が同一であれば、特徴検出部２１６と特徴検出部２０６とは、同一の画像特徴を検出することとなる。
【０１６０】
特徴検出部２１６を備える参照確率情報生成部２０４は、図９に示す第１の実施形態に係る参照確率情報生成部１０４と基本的に同様の構成を有する。したがって、参照確率情報生成部２０４は、図１３に示す構成によって、図９に示す第１の実施形態に係る参照確率情報生成部２０４と同様に、特徴検出部２０６（第１特徴検出部）における検出対象の画像特徴と同一の、学習画像の特徴を示す複数の画像特徴と、確率モデルとに基づいて、参照確率情報を生成する。
【０１６１】
本発明の第２の実施形態に係る画像処理装置２００は、図１に示す第１の実施形態に係る画像処理装置１００と基本的に同様の構成を有する。したがって、画像処理装置２００は、図１１に示す構成によって、図１に示す第１の実施形態に係る画像処理装置１００と同様に、処理対象の画像信号に基づいて、符号化ノイズを検出することができる。
【０１６２】
また、例えば、ノイズ検出部２０２における符号化ノイズの検出結果が、本発明の実施形態に係る確率モデルに反映されることによって（符号化ノイズの検出結果のフィードバックにより確率モデルが更新されることによって）、画像処理装置２００は、図１に示す第１の実施形態に係る画像処理装置１００と同様に、さらに柔軟かつ精度の高い符号化ノイズの検出を実現することができる。
【０１６３】
以上のように、本発明の実施形態に係る画像処理装置は、符号化ノイズと因果関係を有する複数の画像特徴をベイジアンネットワークなどの確率モデルで確率的に統合し、入力画像信号などから検出される画像特徴に基づいて符号化ノイズの発生確率を算出することにより、複合的な要因で発生する符号化ノイズを検出する。よって、本発明の実施形態に係る画像処理装置は、複合的な要因で発生する符号化ノイズに対応した符号化ノイズの検出を実現することができる。
【０１６４】
また、本発明の実施形態に係る画像処理装置は、学習画像により集約された知識が反映された参照確率情報を用いる符号化ノイズの検出を行うことが可能であり、また、ノイズ検出結果をフィードバックして確率モデルを更新することにより、柔軟かつ精度の高いノイズ検出を行うことができる。
【０１６５】
また、例えばベイジアンネットワークを確率モデルとして用いる場合には、本発明の実施形態に係る画像処理装置は、ノードである画像特徴の追加、修正を容易に行うことが可能であるので、汎用性が高いノイズ検出を実現することができる。
【０１６６】
さらに、本発明の実施形態に係る画像処理装置が、人間の視覚特性を考慮した確率テーブルなどの参照確率情報を用いて符号化ノイズの検出を行うことによって、本発明の実施形態に係る画像処理装置は、人間が知覚できるノイズを効果的に検出するような符号化ノイズ検出を行うことができる。
【０１６７】
以上、本発明の実施形態として画像処理装置を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、デジタルカメラなどの撮像装置や、ＰＣやサーバなどのコンピュータ、テレビ受像機などの表示装置、携帯電話やスマートフォンなどの通信装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機など、画像信号の処理が可能な様々な機器に適用することができる。また、本発明の実施形態は、例えば、上記のような機器に組み込むことが可能な、画像処理ＩＣ（Integrated Circuit）に適用することもできる。
【０１６８】
（本発明の実施形態に係るプログラム）
コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（例えば、上記画像特徴検出処理、上記ノイズ発生確率算出処理、および上記ノイズ特定処理など、本発明の実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム）によって、処理対象の画像信号に基づいて、符号化ノイズを検出することができる。
【０１６９】
また、上記プログラムには、コンピュータを、さらに、図１に示す参照確率情報生成部１０４や、図１１に示す参照確率情報生成部２０４を備える画像処理装置として機能させるためのプログラムが、含まれていてもよい。
【０１７０】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１７１】
例えば、上記では、コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムをそれぞれ記憶させた記録媒体も併せて提供することができる。
【符号の説明】
【０１７２】
１００、２００ 画像処理装置
１０２、２０２ ノイズ検出部
１０４、２０４ 参照確率情報生成部
１０６、１１２、２０６、２１６ 特徴検出部
１０８ ノイズ発生確率産出部
１１０ ノイズ特定部
１１４ 情報生成部
２０８、２１８ 観測画像特徴検出部
２１０、２２０ 符号化情報取得部
２１２、２２２ 画像内容情報取得部
２１４、２２４ 知覚情報取得部
【特許請求の範囲】
【請求項１】
入力画像信号が示す画像の特徴を示す画像特徴を、複数検出する第１特徴検出部と、
検出された複数の前記画像特徴と、複数の前記画像特徴と符号化ノイズとの因果関係が示される確率モデルに基づき生成される、学習画像を示す学習画像信号における符号化ノイズの発生確率を示す参照確率情報とに基づいて、符号化ノイズの発生確率を算出するノイズ発生確率算出部と、
算出された符号化ノイズの発生確率に基づいて、前記入力画像信号に含まれる符号化ノイズを特定するノイズ特定部と、
を備えることを特徴とする、画像処理装置。
【請求項２】
前記第１特徴検出部における検出対象の画像特徴と同一の、前記学習画像の特徴を示す複数の画像特徴と、前記確率モデルとに基づいて、前記参照確率情報を生成する参照確率情報生成部をさらに備えることを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記参照確率情報生成部は、
前記第１特徴検出部における検出対象の画像特徴と同一の、前記学習画像の特徴を示す画像特徴を、複数検出する第２特徴検出部と、
検出された複数の前記画像特徴と前記確率モデルとに基づいて、前記学習画像信号における符号化ノイズの発生確率を算出し、前記参照確率情報を生成する情報生成部と、
を備えることを特徴とする、請求項２に記載の画像処理装置。
【請求項４】
前記確率モデルは、ベイジアンネットワークであることを特徴とする、請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
複数の前記画像特徴は、画像における動きを示す動き特徴、画像に含まれるエッジを示すエッジ特徴、画像に含まれるテクスチャを示すテクスチャ特徴、画像に含まれる色を示す色特徴、画像における空間周波数を示す空間周波数特徴、画像における場面を示すシーン特徴、画像に含まれるオブジェクトを示すオブジェクト特徴、ブロック歪特徴、モスキート歪特徴、リンギング歪特徴、符号化に関する特徴、画像の内容に関する特徴、ユーザの知覚に関する特徴のうち、少なくとも２つ以上であることを特徴とする、請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
入力画像信号が示す画像の特徴を示す画像特徴を、複数検出するステップと、
検出された複数の前記画像特徴と、複数の前記画像特徴と符号化ノイズとの因果関係が示される確率モデルに基づき生成される、学習画像を示す学習画像信号における符号化ノイズの発生確率を示す参照確率情報とに基づいて、符号化ノイズの発生確率を算出するステップと、
算出された符号化ノイズの発生確率に基づいて、前記入力画像信号に含まれる符号化ノイズを特定するステップと、
を有することを特徴とする、画像処理方法。
【請求項７】
入力画像信号が示す画像の特徴を示す画像特徴を、複数検出するステップ、
検出された複数の前記画像特徴と、複数の前記画像特徴と符号化ノイズとの因果関係が示される確率モデルに基づき生成される、学習画像を示す学習画像信号における符号化ノイズの発生確率を示す参照確率情報とに基づいて、符号化ノイズの発生確率を算出するステップ、
算出された符号化ノイズの発生確率に基づいて、前記入力画像信号に含まれる符号化ノイズを特定するステップ、
をコンピュータに実行させるためのプログラム。
【請求項１】
入力画像信号が示す画像の特徴を示す画像特徴を、複数検出する第１特徴検出部と、
検出された複数の前記画像特徴と、複数の前記画像特徴と符号化ノイズとの因果関係が示される確率モデルに基づき生成される、学習画像を示す学習画像信号における符号化ノイズの発生確率を示す参照確率情報とに基づいて、符号化ノイズの発生確率を算出するノイズ発生確率算出部と、
算出された符号化ノイズの発生確率に基づいて、前記入力画像信号に含まれる符号化ノイズを特定するノイズ特定部と、
を備えることを特徴とする、画像処理装置。
【請求項２】
前記第１特徴検出部における検出対象の画像特徴と同一の、前記学習画像の特徴を示す複数の画像特徴と、前記確率モデルとに基づいて、前記参照確率情報を生成する参照確率情報生成部をさらに備えることを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記参照確率情報生成部は、
前記第１特徴検出部における検出対象の画像特徴と同一の、前記学習画像の特徴を示す画像特徴を、複数検出する第２特徴検出部と、
検出された複数の前記画像特徴と前記確率モデルとに基づいて、前記学習画像信号における符号化ノイズの発生確率を算出し、前記参照確率情報を生成する情報生成部と、
を備えることを特徴とする、請求項２に記載の画像処理装置。
【請求項４】
前記確率モデルは、ベイジアンネットワークであることを特徴とする、請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
複数の前記画像特徴は、画像における動きを示す動き特徴、画像に含まれるエッジを示すエッジ特徴、画像に含まれるテクスチャを示すテクスチャ特徴、画像に含まれる色を示す色特徴、画像における空間周波数を示す空間周波数特徴、画像における場面を示すシーン特徴、画像に含まれるオブジェクトを示すオブジェクト特徴、ブロック歪特徴、モスキート歪特徴、リンギング歪特徴、符号化に関する特徴、画像の内容に関する特徴、ユーザの知覚に関する特徴のうち、少なくとも２つ以上であることを特徴とする、請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
入力画像信号が示す画像の特徴を示す画像特徴を、複数検出するステップと、
検出された複数の前記画像特徴と、複数の前記画像特徴と符号化ノイズとの因果関係が示される確率モデルに基づき生成される、学習画像を示す学習画像信号における符号化ノイズの発生確率を示す参照確率情報とに基づいて、符号化ノイズの発生確率を算出するステップと、
算出された符号化ノイズの発生確率に基づいて、前記入力画像信号に含まれる符号化ノイズを特定するステップと、
を有することを特徴とする、画像処理方法。
【請求項７】
入力画像信号が示す画像の特徴を示す画像特徴を、複数検出するステップ、
検出された複数の前記画像特徴と、複数の前記画像特徴と符号化ノイズとの因果関係が示される確率モデルに基づき生成される、学習画像を示す学習画像信号における符号化ノイズの発生確率を示す参照確率情報とに基づいて、符号化ノイズの発生確率を算出するステップ、
算出された符号化ノイズの発生確率に基づいて、前記入力画像信号に含まれる符号化ノイズを特定するステップ、
をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−１１０７０１（Ｐ２０１３−１１０７０１Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５６４１１（Ｐ２０１１−２５６４１１）
【出願日】平成２３年１１月２４日（２０１１．１１．２４）
【出願人】（５９８０４５０５８）株式会社サムスン横浜研究所 (294)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月２４日（２０１１．１１．２４）
【出願人】（５９８０４５０５８）株式会社サムスン横浜研究所 (294)
【Ｆターム（参考）】
[ Back to top ]