画像処理装置
【課題】ノイズを効果的に抑制でき、しかも、ノイズ抑制のための専用の装置を追加することも不要な、画像処理装置を得る。
【解決手段】画像処理装置１は、輝度信号及び複数の色差信号に対して周波数変換処理をそれぞれ実行し、輝度信号に関する周波数データ及び複数の色差信号に関する複数の周波数データを出力する周波数変換部２３と、周波数変換部２３から入力された複数の周波数データに対して量子化処理をそれぞれ実行する量子化部２４とを備える。量子化部２４は、輝度信号に関する周波数データ及び複数の色差信号に関する複数の周波数データのうち、ノイズが発生している信号に対応する一又は複数の特定の周波数データに対しては、値が「１」より大きな量子化係数を用いて量子化処理を実行し、上記特定の周波数データ以外の周波数データに対しては、値が「１」の量子化係数を用いて量子化処理を実行する。
【解決手段】画像処理装置１は、輝度信号及び複数の色差信号に対して周波数変換処理をそれぞれ実行し、輝度信号に関する周波数データ及び複数の色差信号に関する複数の周波数データを出力する周波数変換部２３と、周波数変換部２３から入力された複数の周波数データに対して量子化処理をそれぞれ実行する量子化部２４とを備える。量子化部２４は、輝度信号に関する周波数データ及び複数の色差信号に関する複数の周波数データのうち、ノイズが発生している信号に対応する一又は複数の特定の周波数データに対しては、値が「１」より大きな量子化係数を用いて量子化処理を実行し、上記特定の周波数データ以外の周波数データに対しては、値が「１」の量子化係数を用いて量子化処理を実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に、ＨＤ Ｐｈｏｔｏにおけるエンコーダ及びデコーダに関する。
【背景技術】
【０００２】
色ノイズの抑制を目的とした撮像装置が、下記特許文献１に開示されている。当該撮像装置の受光部には、Ｂａｙｅｒ配列の３色のカラーフィルタが設けられている。また、当該撮像装置は、ＣＰＵの機能として実現される検出処理部と補正処理部とを有している。検出処理部は、バッファメモリに格納されているＲＡＷ画像データを対象として、Ｇｂ画素の画素値と、そのＧｂ画素の対角に位置する４個のＧｒ画素の画素値の平均値とを比較する。Ｇｒ画素の画素値の平均値がＧｂ画素の画素値よりも大きい場合には、補正処理部は、Ｇｂ画素の画素値をＧｒ画素の画素値の平均値に置き換える。これによって、色ノイズが補正される。
【０００３】
また、近年、ＪＰＥＧよりも高画質で、ＪＰＥＧ２０００よりも回路構成及び演算処理が簡素化された静止画ファイルフォーマットとして、マイクロソフト社よりＨＤ Ｐｈｏｔｏが提案されている。
【０００４】
ＨＤ Ｐｈｏｔｏにおけるエンコーダは、所定の周波数変換処理（ＰＣＴ）を実行する周波数変換部と、ブロック歪みを軽減するための所定のプレフィルタ処理を実行するプレフィルタとを備えて構成されている。周波数変換部は、縦４画素×横４画素の画素ブロックを処理単位領域として、周波数変換処理を実行する。プレフィルタは、周波数変換部による複数の処理単位領域にオーバーラップする領域を処理単位領域として、周波数変換処理が実行される前にプレフィルタ処理を実行する。但し、プレフィルタ処理を実行するか否かは、Ｏｖｅｒｌａｐ係数の設定によって、任意に選択することができる。
【０００５】
また、ＨＤ Ｐｈｏｔｏにおけるデコーダは、上記の周波数変換処理に対応する周波数逆変換処理を実行する周波数逆変換部と、上記のプレフィルタ処理に対応するポストフィルタ処理を実行するポストフィルタとを備えて構成されている。周波数逆変換部は、縦４画素×横４画素の画素ブロックを処理単位領域として、周波数逆変換処理を実行する。ポストフィルタは、周波数逆変換部による複数の処理単位領域にオーバーラップする領域を処理単位領域として、周波数逆変換処理が実行された後にポストフィルタ処理を実行する。但し、上記と同様に、ポストフィルタ処理を実行するか否かは、Ｏｖｅｒｌａｐ係数の設定によって、任意に選択することができる。
【０００６】
なお、ＨＤ Ｐｈｏｔｏの詳細については、例えば下記非特許文献１に開示されている。また、ＨＤ Ｐｈｏｔｏに関連するＪＰＥＧ ＸＲの詳細については、例えば下記非特許文献２に開示されている。
【０００７】
【特許文献１】特開２００５−３３３２５１号公報
【非特許文献１】"HD Photo -Photographic Still Image File Format", [online], ２００６年１１月７日, Microsoft Corporation, [２００７年１０月１０日検索], インターネット＜URL: http://www.microsoft.com/whdc/xps/hdphotodpk.mspx＞
【非特許文献２】"Coding of Still Pictures -JBIG JPEG", [online], 19 December 2007, ISO/IEC JTC 1/SC 29/WG1 N 4392, [２００８年３月４日検索], インターネット＜URL: http://www.itscj.ipsj.or.jp/sc29/open/29view/29n9026t.doc＞
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上記特許文献１に開示された撮像装置によると、検出処理部及び補正処理部は、Ｇｒ画素の画素値とＧｂ画素の画素値とに基づいて、色ノイズの検出処理及び補正処理を実行する。しかし、Ｇｒ画素の画素値及びＧｂ画素の画素値は、輝度信号と色差信号とが混在した情報である。そのため、輝度に影響を与えることなく色ノイズのみを正確に除去することが困難である。しかも、上記特許文献１に開示された撮像装置によると、色ノイズを抑制する目的のためだけに、専用の検出処理部及び補正処理部を追加して実装する必要があり、コストの上昇を招く。
【０００９】
本発明はかかる問題を解決するために成されたものであり、ノイズを効果的に抑制でき、しかも、ノイズ抑制のための専用の装置を追加することも不要な、画像処理装置を得ることを目的とする。
【課題を解決するための手段】
【００１０】
本発明の第１の態様に係る画像処理装置は、輝度信号及び複数の色差信号に対して周波数変換処理をそれぞれ実行し、輝度信号に関する周波数データ及び複数の色差信号に関する複数の周波数データを出力する周波数変換部と、前記周波数変換部から入力された複数の周波数データに対して量子化処理をそれぞれ実行する量子化部とを備え、前記量子化部は、輝度信号に関する周波数データ及び複数の色差信号に関する複数の周波数データのうち、ノイズが発生している信号に対応する一又は複数の特定の周波数データに対しては、値が「１」より大きな量子化係数を用いて量子化処理を実行し、前記特定の周波数データ以外の周波数データに対しては、値が「１」の量子化係数を用いて量子化処理を実行することを特徴とする。
【００１１】
本発明の第１の態様に係る画像処理装置によれば、量子化部は、輝度信号に関する周波数データ及び複数の色差信号に関する複数の周波数データのうち、ノイズが発生している信号に対応する一又は複数の特定の周波数データに対しては、値が「１」より大きな量子化係数を用いて量子化処理を実行する。従って、上記特定の周波数データに関しては、量子化処理によって下位ビットのデータが削除され、それにより、周波数データの細かい変化を消失させることができる。その結果、周波数データの細かい変化に相当するノイズを抑制することが可能となる。
【００１２】
また、特定の周波数データ以外の周波数データに対しては、値が「１」の量子化係数を用いて量子化処理が実行される。従って、ノイズが発生していない信号に対応する周波数データに関しては、量子化処理によって下位ビットのデータが削除されることはない。その結果、ノイズが発生していない信号に影響を与えることなく、ノイズが発生している信号に関してそのノイズを効果的に抑制することが可能となる。
【００１３】
しかも、ノイズを抑制する目的のためだけに専用の装置を追加して実装する必要がないため、コストの上昇を回避できる。
【００１４】
さらに、上記特定の周波数データに関しては、値が「１」より大きな量子化係数を用いて量子化処理が実行されるため、量子化部から出力される量子化データの有効ビット幅が削減される。その結果、後段の符号化部から出力される符号化データの符号量を削減することが可能となる。つまり、画像データのデータ量をより圧縮することが可能となる。
【００１５】
本発明の第２の態様に係る画像処理装置は、第１の態様に係る画像処理装置において特に、前記量子化部は、前記特定の周波数データに関して、ノイズの程度に応じて量子化係数の値を可変に設定可能であることを特徴とする。
【００１６】
本発明の第２の態様に係る画像処理装置によれば、ノイズが大きい信号に対応する周波数データに関しては、量子化係数の値を大きく設定することにより、ノイズを十分に抑制することが可能となる。
【００１７】
本発明の第３の態様に係る画像処理装置は、第２の態様に係る画像処理装置において特に、前記特定の周波数データには、ハイパス成分、ローパス成分、及び直流成分が含まれ、前記量子化部は、各成分ごとに、ノイズの程度に応じて量子化係数の値を可変に設定可能であることを特徴とする。
【００１８】
本発明の第３の態様に係る画像処理装置によれば、ノイズが大きい成分に関しては、量子化係数の値を大きく設定することにより、ノイズを十分に抑制することが可能となる。
【００１９】
本発明の第４の態様に係る画像処理装置は、第１〜第３のいずれか一つの態様に係る画像処理装置において特に、画像処理装置は、前記周波数変換部の複数の処理単位領域にオーバーラップする領域を処理単位領域として、周波数変換処理が実行される前に、プレフィルタ処理を選択的に実行するプレフィルタと、前記プレフィルタよりも前段に配置され、外部から入力された第１の色空間の画素信号を、輝度信号及び複数の色差信号を含む第２の色空間の画素信号に変換する色変換部と、周波数逆変換処理を実行する周波数逆変換部と、前記周波数逆変換部の複数の処理単位領域にオーバーラップする領域を処理単位領域として、周波数逆変換処理が実行された後に、ポストフィルタ処理を選択的に実行するポストフィルタと、前記ポストフィルタよりも後段に配置され、第２の色空間の画素信号を第１の色空間の画素信号に逆変換する色逆変換部とをさらに備え、前記プレフィルタは、前記色変換部から入力された輝度信号及び複数の色差信号のうち、ノイズが発生している信号に対応する一又は複数の特定の信号に対して、プレフィルタ処理を実行し、前記ポストフィルタは、前記特定の信号に対して、ポストフィルタ処理を実行しないことを特徴とする。
【００２０】
本発明の第４の態様に係る画像処理装置によれば、プレフィルタは、輝度信号及び複数の色差信号のうち、ノイズが発生している信号に対応する一又は複数の特定の信号に対して、プレフィルタ処理を実行する。また、ポストフィルタは、上記特定の信号に対して、ポストフィルタ処理を実行しない。プレフィルタ処理を実行し、かつポストフィルタ処理を実行しないことにより、ノイズを抑制することができる。しかも、ノイズを抑制する目的のためだけに専用の装置を追加して実装する必要がないため、コストの上昇を回避できる。
【００２１】
本発明の第５の態様に係る画像処理装置は、第４の態様に係る画像処理装置において特に、前記特定の信号に対して実行するプレフィルタ処理の回数を、一回又は複数回に設定可能であることを特徴とする。
【００２２】
本発明の第５の態様に係る画像処理装置によれば、実行するプレフィルタ処理の回数を、ノイズの程度に応じて一回又は複数回に設定することにより、ノイズを十分に抑制することが可能となる。
【発明の効果】
【００２３】
本発明によれば、ノイズを効果的に抑制でき、しかも、ノイズ抑制のための専用の装置を追加することも不要である。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。
【００２５】
本実施の形態では、本発明に係る画像処理装置をＨＤ Ｐｈｏｔｏにおけるエンコーダ及びデコーダに適用する例について説明する。
【００２６】
図１は、本発明の実施の形態に係る画像処理装置１の構成を示すブロック図である。画像処理装置１は、エンコーダ２とデコーダ３とを備えて構成されている。エンコーダ２は、色変換部２１、プレフィルタ２２、周波数変換部２３、量子化部２４、予測部２５、及び符号化部２６を有している。デコーダ３は、色逆変換部３１、ポストフィルタ３２、周波数逆変換部３３、逆量子化部３４、逆予測部３５、及び復号化部３６を有している。
【００２７】
まず、エンコーダ２の動作について説明する。
【００２８】
色変換部２１には、Ｂａｙｅｒ配列の３色のカラーフィルタが配置された、ＣＣＤ又はＣＭＯＳイメージセンサ等の撮像素子から、ＲＧＢ色空間の画素信号Ｓ１が入力される。色変換部２１は、ＲＧＢ色空間の画素信号Ｓ１を、ＹＵＶＫ色空間の画素信号Ｓ２に変換して出力する。つまり、画素信号Ｓ２には、輝度信号（Ｙ信号）と、複数の色差信号（Ｕ信号、Ｖ信号、及びＫ信号）とが含まれる。なお、Ｋ信号は、Ｇｒ画素の画素値とＧｂ画素の画素値との差分値であり、本明細書では、Ｋ信号を色差信号の一種として考える。
【００２９】
図２は、色変換部２１による色変換処理を説明するための図である。図２の（Ａ）に示した順序で、Ｇｒ画素、Ｒ画素、Ｂ画素、及びＧｂ画素が配列されている。色変換部２１は、図２の（Ｂ）に示した変換式に従って、Ｋ信号、Ｖ信号、Ｕ信号、及びＹ信号の各画素値を算出する。なお、図２の（Ｂ）に示した変換式において、“floor（ｘ）”は、ｘ以下の最大の整数を意味し、“ceiling（ｘ）”は、ｘ以上の最小の整数を意味する。また、“α”は、画素値の階調数の１／２を意味する。例えば、画素値が８ｂｉｔで表される場合は、２５６階調であるため、“α”は１２８となる。
【００３０】
図１を参照して、プレフィルタ２２には、色変換部２１から画素信号Ｓ２が入力される。プレフィルタ２２は、画素信号Ｓ２に対してプレフィルタ処理を選択的に実行し、画素信号Ｓ３を出力する。ＨＤ Ｐｈｏｔｏでは、プレフィルタ２２にプレフィルタ処理を実行させるか否かを、Ｏｖｅｒｌａｐ係数の設定によって任意に選択することができる。
【００３１】
周波数変換部２３には、プレフィルタ２２から画素信号Ｓ３が入力される。周波数変換部２３は、画素信号Ｓ３に対して所定の周波数変換処理（ＰＣＴ：HD Photo Core Transform）を実行し、周波数変換処理後の周波数データＳ４を出力する。ＨＤ Ｐｈｏｔｏでは、周波数データＳ４に、ハイパス成分、ローパス成分、及び直流成分が含まれる。
【００３２】
図３は、画素平面内の一つのマクロブロックＭＢを示す図である。マクロブロックＭＢは、縦１６画素×横１６画素の、合計２５６個の画素で構成されている。マクロブロックＭＢ内には、縦４個×横４個の、合計１６個の画素ブロックＲＡが規定されている。各画素ブロックＲＡは、縦４画素×横４画素の、合計１６個の画素で構成されている。周波数変換部２３は、各画素ブロックＲＡを処理単位領域として、周波数変換処理を実行する。
【００３３】
また、マクロブロックＭＢよりも上下左右の各方向に２画素ずつ広い、縦２０画素×横２０画素の画素ブロックＯＢが規定されている。画素ブロックＯＢ内には、縦５個×横５個の、合計２５個の画素ブロックＲＢが規定されている。各画素ブロックＲＢは、縦４画素×横４画素の、合計１６個の画素で構成されている。プレフィルタ２２は、各画素ブロックＲＢを処理単位領域として、所定のプレフィルタ処理を実行する。但し、画素平面の周縁においては、縦４画素×横４画素の処理単位領域が確保されず、縦４画素×横２画素、縦２画素×横４画素、又は縦２画素×横２画素の画素ブロックが、プレフィルタ２２の処理単位領域となる。
【００３４】
図３に示すように、プレフィルタ２２の処理単位領域である画素ブロックＲＢ１（斜線ハッチングを付している）は、周波数変換部２３の処理単位領域である４個の画素ブロックＲＡ１〜ＲＡ４（砂地ハッチングを付している）にオーバーラップしている。このように、プレフィルタ２２は、周波数変換部２３の複数の処理単位領域にオーバーラップする領域を処理単位領域として、プレフィルタ処理を実行する。その結果、ブロック歪みが低減される。
【００３５】
図１を参照して、量子化部２４には、周波数変換部２３から周波数データＳ４が入力される。量子化部２４は、周波数データＳ４を量子化し、量子化後の周波数データＳ５を出力する。
【００３６】
図４は、量子化部２４の構成を示すブロック図である。量子化部２４は、処理部２４Ｙ，２４Ｕ，２４Ｖ，２４Ｋを有している。処理部２４Ｙには、周波数変換部２３から、Ｙ信号に関する周波数データＳ４Ｙが入力される。同様に、処理部２４Ｕ，２４Ｖ，２４Ｋには、周波数変換部２３から、Ｕ信号に関する周波数データＳ４Ｕ、Ｖ信号に関する周波数データＳ４Ｖ、Ｋ信号に関する周波数データＳ４Ｋがそれぞれ入力される。周波数データＳ４Ｙ，Ｓ４Ｕ，Ｓ４Ｖ，Ｓ４Ｋは、図１に示した周波数データＳ４に相当する。
【００３７】
処理部２４Ｙは、周波数データＳ４Ｙを量子化係数ＱＹで除算することにより、量子化後の周波数データＳ５Ｙを出力する。同様に、処理部２４Ｕ，２４Ｖ，２４Ｋは、周波数データＳ４Ｕ，Ｓ４Ｖ，Ｓ４Ｋを、量子化係数ＱＵ，ＱＶ，ＱＫでそれぞれ除算することにより、量子化後の周波数データＳ５Ｕ，Ｓ５Ｖ，Ｓ５Ｋをそれぞれ出力する。
【００３８】
図５は、周波数データＳ４Ｙ，Ｓ４Ｕ，Ｓ４Ｖ，Ｓ４Ｋを示す図である。図５では、一例として、８ビットのビット幅を有する周波数データＳ４Ｙ，Ｓ４Ｕ，Ｓ４Ｖ，Ｓ４Ｋを示している。図５の（Ａ）に示すように、周波数データＳ４Ｙは例えば「００００１０１０」なるデータであり、図５の（Ｂ）に示すように、周波数データＳ４Ｕは例えば「０１０１０１１０」なるデータであり、図５の（Ｃ）に示すように、周波数データＳ４Ｖは例えば「００１１１０１０」なるデータであり、図５の（Ｄ）に示すように、周波数データＳ４Ｋは例えば「０００１０１１０」なるデータである。
【００３９】
図６は、周波数データＳ５Ｙ，Ｓ５Ｕ，Ｓ５Ｖ，Ｓ５Ｋを示す図である。ここでは、撮像素子の特性に起因して、Ｕ信号及びＶ信号に関してはノイズが発生しており、Ｙ信号及びＫ信号に関してはノイズが発生していない場合を想定している。
【００４０】
この場合、図６に示すように、量子化係数ＱＵ，ＱＶの値は「１」より大きな値（図６に示した例では「８」）に設定され、量子化係数ＱＹ，ＱＫの値は「１」に設定される。
【００４１】
量子化係数ＱＹ，ＱＫの値が「１」に設定されることにより、図６の（Ａ）及び（Ｄ）に示すように、周波数データＳ５Ｙ，Ｓ５Ｋは、図５の（Ａ）及び（Ｄ）に示した周波数データＳ４Ｙ，Ｓ４Ｋにそれぞれ等しくなる。
【００４２】
処理部２４Ｕは、周波数データＳ４Ｕを、量子化係数ＱＵの値「８」で除算する。具体的には、図６の（Ｂ）に示すように、処理部２４Ｕは、図５の（Ｂ）に示した周波数データＳ４Ｕを３ビット右方向にシフトした後、上位３ビットにいずれも「０」を挿入するとともに、小数部Ｐ１を削除することにより、「００００１０１０」なる周波数データＳ５Ｕを出力する。なお、上位３ビットにはいずれも「０」が挿入されるため、周波数データＳ５Ｕの有効ビット幅は５ビットとなる。
【００４３】
同様に、処理部２４Ｖは、周波数データＳ４Ｖを、量子化係数ＱＶの値「８」で除算する。具体的には、図６の（Ｃ）に示すように、処理部２４Ｖは、図５の（Ｃ）に示した周波数データＳ４Ｖを３ビット右方向にシフトした後、上位３ビットにいずれも「０」を挿入するとともに、小数部Ｐ１を削除することにより、「０００００１１１」なる周波数データＳ５Ｖを出力する。なお、上位３ビットにはいずれも「０」が挿入されるため、周波数データＳ５Ｖの有効ビット幅は５ビットとなる。
【００４４】
図１を参照して、予測部２５には、量子化部２４から周波数データＳ５が入力される。周波数データＳ５は、図４に示した周波数データＳ５Ｙ，Ｓ５Ｕ，Ｓ５Ｖ，Ｓ５Ｋに相当する。予測部２５は、量子化部２４から入力された周波数データＳ５の値と、過去に処理した特定の周波数データの値（予測値）との差分値を求め、周波数差分データＳ６として出力する。
【００４５】
符号化部２６には、予測部２５から周波数差分データＳ６が入力される。符号化部２６は、周波数差分データＳ６に対してエントロピー符号化を実行し、符号化データＳ７を出力する。符号化部２６から出力された符号化データＳ７は、メモリ４に記憶される。なお、厳密には、ＨＤ Ｐｈｏｔｏにおいては、周波数差分データＳ６のうち、上位ビットに相当するＮｏｒｍａｌ Ｂｉｔに対してのみエントロピー符号化が実行され、下位ビットに相当するＦｌｅｘ Ｂｉｔに関しては、エントロピー符号化が実行されることなく、メモリ４に記憶される。
【００４６】
次に、デコーダ３の動作について説明する。
【００４７】
復号化部３６には、メモリ４から符号化データＳ７が入力される。復号化部３６は、符号化データＳ７に対してエントロピー復号化を実行し、上記の周波数差分データＳ６に相当する周波数差分データＳ８を出力する。
【００４８】
逆予測部３５には、復号化部３６から周波数差分データＳ８が入力される。逆予測部３５は、周波数差分データＳ８に予測値を加算することにより、上記の周波数データＳ５に相当する周波数データＳ９を出力する。
【００４９】
逆量子化部３４には、逆予測部３５から周波数データＳ９が入力される。逆量子化部３４は、周波数データＳ９を逆量子化し、上記の周波数データＳ４に相当する周波数データＳ１０を出力する。
【００５０】
図７は、逆量子化部３４の構成を示すブロック図である。逆量子化部３４は、処理部３４Ｙ，３４Ｕ，３４Ｖ，３４Ｋを有している。処理部３４Ｙには、逆予測部３５から、Ｙ信号に関する周波数データＳ９Ｙが入力される。同様に、処理部３４Ｕ，３４Ｖ，３４Ｋには、逆予測部３５から、Ｕ信号に関する周波数データＳ９Ｕ、Ｖ信号に関する周波数データＳ９Ｖ、Ｋ信号に関する周波数データＳ９Ｋがそれぞれ入力される。周波数データＳ９Ｙ，Ｓ９Ｕ，Ｓ９Ｖ，Ｓ９Ｋは、図１に示した周波数データＳ９に相当する。
【００５１】
処理部３４Ｙは、周波数データＳ９Ｙに量子化係数ＱＹを乗算することにより、逆量子化後の周波数データＳ１０Ｙを出力する。同様に、処理部３４Ｕ，３４Ｖ，３４Ｋは、周波数データＳ９Ｕ，Ｓ９Ｖ，Ｓ９Ｋに量子化係数ＱＵ，ＱＶ，ＱＫをそれぞれ乗算することにより、逆量子化後の周波数データＳ１０Ｕ，Ｓ１０Ｖ，Ｓ１０Ｋをそれぞれ出力する。
【００５２】
図８は、周波数データＳ９Ｙ，Ｓ９Ｕ，Ｓ９Ｖ，Ｓ９Ｋを示す図である。図８の（Ａ）に示す周波数データＳ９Ｙは、図６の（Ａ）に示した周波数データＳ５Ｙに等しい。同様に、図８の（Ｂ），（Ｃ），（Ｄ）に示す周波数データＳ９Ｕ，Ｓ９Ｖ，Ｓ９Ｋは、図６の（Ｂ），（Ｃ），（Ｄ）に示した周波数データＳ５Ｕ，Ｓ５Ｖ，Ｓ５Ｋにそれぞれ等しい。
【００５３】
図９は、周波数データＳ１０Ｙ，Ｓ１０Ｕ，Ｓ１０Ｖ，Ｓ１０Ｋを示す図である。逆量子化部３４で使用する逆量子化係数は、量子化部２４で使用した量子化係数ＱＹ，ＱＵ，ＱＶ，ＱＫと同じ値に設定される。この例の場合、逆量子化係数ＱＵ，ＱＶの値は「８」に設定され、逆量子化係数ＱＹ，ＱＫの値は「１」に設定される。
【００５４】
逆量子化係数ＱＹ，ＱＫの値が「１」に設定されることにより、図９の（Ａ）及び（Ｄ）に示すように、周波数データＳ１０Ｙ，Ｓ１０Ｋは、図８の（Ａ）及び（Ｄ）に示した周波数データＳ９Ｙ，Ｓ９Ｋにそれぞれ等しくなる。また、周波数データＳ１０Ｙ，Ｓ１０Ｋは、図５の（Ａ）及び（Ｄ）に示した周波数データＳ４Ｙ，Ｓ４Ｋにそれぞれ等しい。
【００５５】
図７に示した処理部３４Ｕは、周波数データＳ９Ｕに、逆量子化係数ＱＵの値「８」を乗算する。具体的には、図９の（Ｂ）に示すように、処理部３４Ｕは、図８の（Ｂ）に示した周波数データＳ９Ｕを３ビット左方向にシフトした後、下位３ビットの各ビットＰ２にいずれも「０」を挿入するとともに、桁溢れした上位３ビットを削除することにより、「０１０１００００」なる周波数データＳ１０Ｕを出力する。
【００５６】
同様に、処理部３４Ｖは、周波数データＳ９Ｖに、逆量子化係数ＱＶの値「８」を乗算する。具体的には、図９の（Ｃ）に示すように、処理部３４Ｖは、図８の（Ｃ）に示した周波数データＳ９Ｖを３ビット左方向にシフトした後、下位３ビットの各ビットＰ２にいずれも「０」を挿入するとともに、桁溢れした上位３ビットを削除することにより、「００１１１０００」なる周波数データＳ１０Ｖを出力する。
【００５７】
図９の（Ｂ）と図５の（Ｂ）とを比較すると明らかなように、周波数データＳ１０Ｕは、周波数データＳ４Ｕの下位３ビットのデータ「１１０」を、データ「０００」に置き換えたものに相当する。同様に、図９の（Ｃ）と図５の（Ｃ）とを比較すると明らかなように、周波数データＳ１０Ｖは、周波数データＳ４Ｖの下位３ビットのデータ「０１０」を、データ「０００」に置き換えたものに相当する。
【００５８】
図１を参照して、周波数逆変換部３３には、逆量子化部３４から周波数データＳ１０が入力される。周波数データＳ１０は、図７に示した周波数データＳ１０Ｙ，Ｓ１０Ｕ，Ｓ１０Ｖ，Ｓ１０Ｋに相当する。周波数逆変換部３３は、周波数データＳ１０に対して、上記の周波数変換処理に対応する周波数逆変換処理を実行し、上記の画素信号Ｓ３に相当する画素信号Ｓ１１を出力する。
【００５９】
ポストフィルタ３２には、周波数逆変換部３３から、画素信号Ｓ１１が入力される。ポストフィルタ３２は、画素信号Ｓ１１に対して、上記のプレフィルタ処理に対応するポストフィルタ処理を選択的に実行し、上記の画素信号Ｓ２に相当する画素信号Ｓ１２を出力する。
【００６０】
図３を参照して、周波数逆変換部３３は、各画素ブロックＲＡを処理単位領域として、周波数逆変換処理を実行する。また、ポストフィルタ３２は、各画素ブロックＲＢを処理単位領域として、ポストフィルタ処理を実行する。但し、画素平面の周縁においては、縦４画素×横４画素の処理単位領域が確保されず、縦４画素×横２画素、縦２画素×横４画素、又は縦２画素×横２画素の画素ブロックが、ポストフィルタ３２の処理単位領域となる。図３に示すように、ポストフィルタ３２の処理単位領域である画素ブロックＲＢ１は、周波数逆変換部３３の処理単位領域である４個の画素ブロックＲＡ１〜ＲＡ４にオーバーラップしている。
【００６１】
図１を参照して、色逆変換部３１には、ポストフィルタ３２から画素信号Ｓ１２が入力される。色逆変換部３１は、ＹＵＶＫ色空間の画素信号Ｓ１２を、ＲＧＢ色空間の画素信号Ｓ１３に変換し、外部の表示装置等に向けて出力する。
【００６２】
このように本実施の形態に係る画像処理装置１によれば、量子化部２４は、周波数変換部２３から入力された周波数データＳ４Ｙ，Ｓ４Ｕ，Ｓ４Ｖ，Ｓ４Ｋのうち、ノイズが発生しているＵ信号及びＶ信号に対応する周波数データＳ４Ｕ，Ｓ４Ｖに対しては、値が「１」より大きな量子化係数ＱＵ，ＱＶ（上記の例では「８」）を用いて量子化処理を実行する。従って、周波数データＳ４Ｕ，Ｓ４Ｖに関しては、量子化処理によって下位ビットのデータ（上記の例では下位３ビットのデータ）が削除され、それにより、周波数データＳ４Ｕ，Ｓ４Ｖの細かい変化を消失させることができる。その結果、周波数データＳ４Ｕ，Ｓ４Ｖの細かい変化に相当するノイズ（上記の例では下位３ビットのデータに相当するノイズ）を抑制することが可能となる。
【００６３】
また、本実施の形態に係る画像処理装置１によれば、量子化部２４は、周波数データＳ４Ｕ，Ｓ４Ｖ以外の周波数データＳ４Ｙ，Ｓ４Ｋに対しては、値が「１」の量子化係数ＱＹ，ＱＫを用いて量子化処理を実行する。従って、ノイズが発生していないＹ信号及びＫ信号に対応する周波数データＳ４Ｙ，Ｓ４Ｋに関しては、量子化処理によって下位ビットのデータが削除されることはない。その結果、ノイズが発生していないＹ信号及びＫ信号に影響を与えることなく、ノイズが発生しているＵ信号及びＶ信号に関してそのノイズを効果的に抑制することが可能となる。
【００６４】
しかも、本実施の形態に係る画像処理装置１によれば、ＨＤ Ｐｈｏｔｏに本来的に備わっている量子化部２４において、量子化係数の設定を工夫することによって、Ｕ信号及びＶ信号のノイズを抑制するための処理が実現されている。従って、ノイズを抑制する目的のためだけに専用の装置を追加して実装する必要がないため、コストの上昇を回避できる。
【００６５】
さらに、本実施の形態に係る画像処理装置１によれば、周波数データＳ４Ｕ，Ｓ４Ｖに関しては、値が「１」より大きな量子化係数ＱＵ，ＱＶを用いて量子化処理が実行される。そのため、量子化部２４から出力される量子化後の周波数データＳ５Ｕ，Ｓ５Ｖの有効ビット幅が削減される。上記の例では、周波数データＳ４Ｕ，Ｓ４Ｖのビット幅はそれぞれ８ビットであるのに対し、周波数データＳ５Ｕ，Ｓ５Ｖの有効ビット幅はそれぞれ５ビットであり、ビット幅がそれぞれ３ビット削減されている。その結果、Ｕ信号及びＶ信号に関しては、符号化部２６から出力される符号化データＳ７の符号量を削減することが可能となる。つまり、画像データのデータ量をより圧縮することが可能となる。
【００６６】
＜第１の変形例＞
上記実施の形態では、量子化係数ＱＵ，ＱＶの値はそれぞれ「８」に設定されている。これにより、周波数データＳ４Ｕ，Ｓ４Ｖの下位３ビットのデータに相当するノイズが抑制されている。
【００６７】
第１の変形例として、量子化部２４は、量子化係数ＱＵ，ＱＶの値を「８」に限定せず、Ｕ信号及びＶ信号の各ノイズの程度に応じて、量子化係数ＱＵ，ＱＶの値をそれぞれ可変に設定してもよい。
【００６８】
例えば、Ｕ信号のノイズの程度が小さい場合には、量子化係数ＱＵの値を「４」に設定する。これにより、周波数データＳ４Ｕの下位２ビットのデータに相当するノイズを抑制することが可能となる。
【００６９】
また、例えば、Ｖ信号のノイズの程度が大きい場合には、量子化係数ＱＶの値を「１６」に設定する。これにより、周波数データＳ４Ｖの下位４ビットのデータに相当するノイズを抑制することが可能となる。
【００７０】
＜第２の変形例＞
上記実施の形態では、Ｕ信号及びＶ信号に関してはノイズが発生しており、Ｙ信号及びＫ信号に関してはノイズが発生していない場合を想定して、Ｕ信号及びＶ信号のノイズを抑制するための処理が行われている。
【００７１】
第２の変形例として、撮像素子の特性に起因してＹ信号のみにノイズが発生している場合には、Ｙ信号に対応する量子化係数ＱＹの値を「１」より大きな値に設定し、Ｕ信号、Ｖ信号、及びＫ信号に対応する量子化係数ＱＵ，ＱＶ，ＱＫの値をいずれも「１」に設定することにより、Ｕ信号、Ｖ信号、及びＫ信号に影響を与えることなく、Ｙ信号のノイズを効果的に抑制することが可能である。
【００７２】
図１０は、第２の変形例に関して、周波数データＳ５Ｙ，Ｓ５Ｕ，Ｓ５Ｖ，Ｓ５Ｋを示す図である。量子化係数ＱＹの値は「１」より大きな値（図１０に示した例では「８」）に設定されており、量子化係数ＱＵ，ＱＶ，ＱＫの値はいずれも「１」に設定されている。
【００７３】
同様に、撮像素子の特性に起因してＫ信号のみにノイズが発生している場合には、Ｋ信号に対応する量子化係数ＱＫの値を「１」より大きな値に設定し、Ｙ信号、Ｕ信号、及びＶ信号に対応する量子化係数ＱＹ，ＱＵ，ＱＶの値をいずれも「１」に設定することにより、Ｙ信号、Ｕ信号、及びＶ信号に影響を与えることなく、Ｋ信号のノイズを効果的に抑制することが可能である。
【００７４】
図１１は、第２の変形例に関して、周波数データＳ５Ｙ，Ｓ５Ｕ，Ｓ５Ｖ，Ｓ５Ｋを示す図である。量子化係数ＱＫの値は「１」より大きな値（図１１に示した例では「８」）に設定されており、量子化係数ＱＹ，ＱＵ，ＱＶの値はいずれも「１」に設定されている。
【００７５】
＜第３の変形例＞
上記実施の形態では、量子化係数ＱＵ，ＱＶの値は互いに同一の値（上記の例では「８」）に設定されている。
【００７６】
第３の変形例として、量子化部２４は、量子化係数ＱＵ，ＱＶの値を互いに同一の値に設定せず、Ｕ信号及びＶ信号の各ノイズの程度に応じて、量子化係数ＱＵ，ＱＶの値を互いに異なる値に設定してもよい。
【００７７】
図１２は、第３の変形例に関して、周波数データＳ５Ｙ，Ｓ５Ｕ，Ｓ５Ｖ，Ｓ５Ｋを示す図である。量子化係数ＱＵの値は「８」に設定されており、量子化係数ＱＶの値は「４」に設定されている。この例の場合、Ｕ信号に関しては、周波数データＳ４Ｕの下位３ビットのデータに相当するノイズを抑制することが可能となり、Ｖ信号に関しては、周波数データＳ４Ｖの下位２ビットのデータに相当するノイズを抑制することが可能となる。
【００７８】
＜第４の変形例＞
図１３は、ＨＤ Ｐｈｏｔｏのエンコーダにおけるプレフィルタ２２１，２２２及び周波数変換部２３１，２３２の構成を示すブロック図である。図１３に示すように、ＨＤ Ｐｈｏｔｏにおけるエンコーダは、第１階層のプレフィルタ２２１及び周波数変換部２３１と、第２階層のプレフィルタ２２２及び周波数変換部２３２とを備えている。
【００７９】
プレフィルタ２２１には、画素信号Ｓ２１が入力される。プレフィルタ２２１は、画素信号Ｓ２１に対してプレフィルタ処理を実行し、プレフィルタ処理後の画素信号Ｓ３１を出力する。画素信号Ｓ３１は、周波数変換部２３１に入力される。周波数変換部２３１は、画素信号Ｓ３１に対して周波数変換処理（ＰＣＴ）を実行し、ハイパス成分の周波数データＳ４ＨＰと、第１階層における直流成分のデータＳ２２とを出力する。データＳ２２は、プレフィルタ２２２に入力される。プレフィルタ２２２は、データＳ２２に対してプレフィルタ処理を実行し、プレフィルタ処理後のデータＳ３２を出力する。データＳ３２は、周波数変換部２３２に入力される。周波数変換部２３２は、データＳ３２に対して周波数変換処理（ＰＣＴ）を実行し、ローパス成分の周波数データＳ４ＬＰと、直流成分の周波数データＳ４ＤＣとを出力する。
【００８０】
このようにＨＤ Ｐｈｏｔｏにおいては、周波数変換部２３１からハイパス成分の周波数データＳ４ＨＰが出力され、周波数変換部２３２からローパス成分の周波数データＳ４ＬＰと直流成分の周波数データＳ４ＤＣとが出力される。従って、図１を参照して、周波数変換部２３から出力される周波数データＳ４には、３つの周波数成分にそれぞれ対応する、ハイパス成分の周波数データＳ４ＨＰと、ローパス成分の周波数データＳ４ＬＰと、直流成分の周波数データＳ４ＤＣとが含まれる。また、図４を参照して、周波数データＳ４Ｙ，Ｓ４Ｕ，Ｓ４Ｖ，Ｓ４Ｋの各々には、ハイパス成分、ローパス成分、及び直流成分がそれぞれ含まれる。
【００８１】
第４の変形例として、量子化部２４は、Ｙ信号、Ｕ信号、Ｖ信号、及びＫ信号の各周波数成分の各ノイズの程度に応じて、合計１２個の量子化係数の値をそれぞれ可変に設定してもよい。
【００８２】
図１４は、量子化部２４において量子化係数を設定するためのデータテーブルを示す図である。データテーブルには、Ｙ信号、Ｕ信号、Ｖ信号、及びＫ信号の別毎に、かつ、ハイパス成分（Ｓ４ＨＰ）、ローパス成分（Ｓ４ＬＰ）、及び直流成分（Ｓ４ＤＣ）の別毎に、合計１２個の量子化係数が記述されている。量子化部２４は、このデータテーブルを参照することにより、周波数データＳ４の量子化処理に使用する量子化係数を決定する。
【００８３】
図１４に示した例では、Ｙ信号及びＫ信号に関しては３つの周波数成分の全てにおいてノイズが発生しておらず、Ｕ信号及びＶ信号に関しては、直流成分においてはノイズが発生しておらず、ローパス成分においては比較的小さなノイズが発生しており、ハイパス成分においては比較的大きいノイズが発生している状況を想定している。
【００８４】
この場合、量子化係数の値は、図１４の例に示すように、Ｕ信号及びＶ信号の各ローパス成分に関しては「４」に設定され、Ｕ信号及びＶ信号の各ハイパス成分に関しては「８」に設定される。また、その他の量子化係数の値はいずれも「１」に設定される。
【００８５】
＜第５の変形例＞
上記実施の形態によっては十分なノイズ抑制効果が得られない場合や、量子化係数を大きな値に設定すると画質の低下が顕著となるような画像を扱う場合には、上記実施の形態に加えて、以下のようなノイズ抑制処理を実行してもよい。
【００８６】
図１５は、プレフィルタ２２における処理を説明するための図である。色変換部２１による上記の色変換処理により、画素信号Ｓ２には、Ｙ信号に対応する画素信号Ｓ２Ｙと、Ｕ信号に対応する画素信号Ｓ２Ｕと、Ｖ信号に対応する画素信号Ｓ２Ｖと、Ｋ信号に対応する画素信号Ｓ２Ｋとが含まれる。プレフィルタ２２は、画素信号Ｓ２Ｕ，Ｓ２Ｖに対してはプレフィルタ処理を実行し、一方、画素信号Ｓ２Ｙ，Ｓ２Ｋに対してはプレフィルタ処理を実行しない。画素信号Ｓ２Ｕ，Ｓ２Ｖに対してプレフィルタ処理が実行されることにより、画素信号Ｓ２Ｕａ，Ｓ２Ｖａがそれぞれ得られる。なお、プレフィルタは平滑化フィルタの一種であるため、ある信号に対してプレフィルタ処理を実行することにより、その信号のノイズを抑制することが可能である。
【００８７】
周波数変換部２３には、画素信号Ｓ３として、画素信号Ｓ２Ｙ，Ｓ２Ｕａ，Ｓ２Ｖａ，Ｓ２Ｋが入力される。なお、第５の変形例では、上記実施の形態と同様に、撮像素子の特性に起因して、Ｕ信号及びＶ信号に関してはノイズが発生しており、Ｙ信号及びＫ信号に関してはノイズが発生していない場合を想定している。
【００８８】
図１６は、ポストフィルタ３２における処理を説明するための図である。周波数逆変換部３３から出力された画素信号Ｓ１１には、Ｙ信号に対応する画素信号Ｓ１１Ｙと、Ｕ信号に対応する画素信号Ｓ１１Ｕａと、Ｖ信号に対応する画素信号Ｓ１１Ｖａと、Ｋ信号に対応する画素信号Ｓ１１Ｋとが含まれる。図１５に示したように、Ｕ信号（画素信号Ｓ２Ｕａ）及びＶ信号（画素信号Ｓ２Ｖａ）に関しては、プレフィルタ２２によってプレフィルタ処理が実行されている。従って、画素信号Ｓ２Ｕａ，Ｓ２Ｖａに相当する画素信号Ｓ１１Ｕａ，Ｓ１１Ｖａに関しても、プレフィルタ処理による平滑化効果が反映されている。
【００８９】
図１６に示すように、ポストフィルタ３２は、画素信号Ｓ１１Ｙ，Ｓ１１Ｕａ，Ｓ１１Ｖａ，Ｓ１１Ｋのいずれに対しても、ポストフィルタ処理を実行しない。その結果、ポストフィルタ３２からは、画素信号Ｓ１２として、画素信号Ｓ１１Ｙ，Ｓ１１Ｕａ，Ｓ１１Ｖａ，Ｓ１１がそのまま出力される。
【００９０】
第５の変形例によれば、色変換部２１は、ＲＧＢ色空間の画素信号Ｓ１を、輝度信号と色差信号とを含むＹＵＶＫ色空間の画素信号Ｓ２に変換する。そして、図１５に示したように、プレフィルタ２２は、輝度信号及び複数の色差信号のうちの特定の信号（上記の例ではＵ信号及びＶ信号）に対してのみ、プレフィルタ処理を実行する。プレフィルタは平滑化フィルタの一種であるため、Ｕ信号及びＶ信号に対してプレフィルタ処理を実行することにより、Ｕ信号及びＶ信号のノイズを抑制することができる。しかも、Ｙ信号及びＫ信号に対してはプレフィルタ処理が実行されないため、Ｕ信号及びＶ信号のノイズを抑制するための処理が、Ｙ信号及びＫ信号に対して影響を与えることはない。つまり、ノイズが発生していないＹ信号及びＫ信号に対して影響を与えることなく、Ｕ信号及びＶ信号のノイズのみを効果的に抑制することができる。また、図１６に示したように、ポストフィルタ３２は、Ｙ信号、Ｕ信号、Ｖ信号、及びＫ信号の全てに対して、ポストフィルタ処理を実行しない。プレフィルタ処理が実行されたＵ信号及びＶ信号に対してポストフィルタ処理を実行しないことにより、プレフィルタ処理によるＵ信号及びＶ信号のノイズの抑制効果が維持される。
【００９１】
しかも、第５の変形例によれば、ＨＤ Ｐｈｏｔｏに本来的に備わっている色変換部２１、プレフィルタ２２、及びポストフィルタ３２を用いて、Ｕ信号及びＶ信号のノイズを抑制するための処理が実現されている。従って、Ｕ信号及びＶ信号のノイズを抑制する目的のためだけに専用の装置を追加して実装する必要がないため、コストの上昇を回避できる。
【００９２】
＜第５の変形例における第１の変形例＞
上記第５の変形例では、Ｕ信号及びＶ信号に関してはノイズが発生しており、Ｙ信号及びＫ信号に関してはノイズが発生していない場合を想定して、Ｕ信号及びＶ信号のノイズを抑制するための処理について説明した。
【００９３】
撮像素子の特性に起因してＹ信号のみにノイズが発生している場合には、Ｙ信号に対してプレフィルタ処理を実行し、Ｕ信号、Ｖ信号、及びＫ信号に対してプレフィルタ処理を実行しないことにより、Ｙ信号のノイズを抑制することが可能である。
【００９４】
図１７は、第５の変形例における第１の変形例に関して、プレフィルタ２２における処理を説明するための図である。色変換部２１による上記の色変換処理により、画素信号Ｓ２には、Ｙ信号に対応する画素信号Ｓ２Ｙと、Ｕ信号に対応する画素信号Ｓ２Ｕと、Ｖ信号に対応する画素信号Ｓ２Ｖと、Ｋ信号に対応する画素信号Ｓ２Ｋとが含まれる。プレフィルタ２２は、画素信号Ｓ２Ｙに対してはプレフィルタ処理を実行し、一方、画素信号Ｓ２Ｕ，Ｓ２Ｖ，Ｓ２Ｋに対してはプレフィルタ処理を実行しない。画素信号Ｓ２Ｙに対してプレフィルタ処理が実行されることにより、画素信号Ｓ２Ｙａが得られる。周波数変換部２３には、画素信号Ｓ３として、画素信号Ｓ２Ｙａ，Ｓ２Ｕ，Ｓ２Ｖ，Ｓ２Ｋが入力される。
【００９５】
図１６に示した例と同様に、ポストフィルタ３２は、Ｙ信号、Ｕ信号、Ｖ信号、及びＫ信号のいずれに対しても、ポストフィルタ処理を実行しない。プレフィルタ処理が実行されたＹ信号に対してポストフィルタ処理を実行しないことにより、プレフィルタ処理によるＹ信号のノイズの抑制効果が維持される。
【００９６】
＜第５の変形例に関する第２の変形例＞
撮像素子の特性に起因してＫ信号のみにノイズが発生している場合には、Ｋ信号に対してプレフィルタ処理を実行し、Ｙ信号、Ｕ信号、及びＶ信号に対してプレフィルタ処理を実行しないことにより、Ｋ信号のノイズを抑制することが可能である。
【００９７】
図１８は、第５の変形例における第２の変形例に関して、プレフィルタ２２における処理を説明するための図である。色変換部２１による上記の色変換処理により、画素信号Ｓ２には、Ｙ信号に対応する画素信号Ｓ２Ｙと、Ｕ信号に対応する画素信号Ｓ２Ｕと、Ｖ信号に対応する画素信号Ｓ２Ｖと、Ｋ信号に対応する画素信号Ｓ２Ｋとが含まれる。プレフィルタ２２は、画素信号Ｓ２Ｋに対してはプレフィルタ処理を実行し、一方、画素信号Ｓ２Ｙ，Ｓ２Ｕ，Ｓ２Ｖに対してはプレフィルタ処理を実行しない。画素信号Ｓ２Ｋに対してプレフィルタ処理が実行されることにより、画素信号Ｓ２Ｋａが得られる。周波数変換部２３には、画素信号Ｓ３として、画素信号Ｓ２Ｙ，Ｓ２Ｕ，Ｓ２Ｖ，Ｓ２Ｋａが入力される。
【００９８】
図１６に示した例と同様に、ポストフィルタ３２は、Ｙ信号、Ｕ信号、Ｖ信号、及びＫ信号のいずれに対しても、ポストフィルタ処理を実行しない。プレフィルタ処理が実行されたＫ信号に対してポストフィルタ処理を実行しないことにより、プレフィルタ処理によるＫ信号のノイズの抑制効果が維持される。
【００９９】
＜第５の変形例における第３の変形例＞
図１３を参照して、ＨＤ Ｐｈｏｔｏにおいては、第１階層のプレフィルタ２２１によるプレフィルタ処理を実行するか否かを選択することができる。また、プレフィルタ２２１によるプレフィルタ処理を実行する場合には、第２階層のプレフィルタ２２２によるプレフィルタ処理を実行するか否かを選択することができる。つまり、最大で２回のプレフィルタ処理を実行することができる。
【０１００】
図１９は、第５の変形例における第３の変形例に関して、プレフィルタ２２における処理を説明するための図である。色変換部２１による上記の色変換処理により、画素信号Ｓ２には、Ｙ信号に対応する画素信号Ｓ２Ｙと、Ｕ信号に対応する画素信号Ｓ２１Ｕと、Ｖ信号に対応する画素信号Ｓ２１Ｖと、Ｋ信号に対応する画素信号Ｓ２Ｋとが含まれる。第１階層のプレフィルタ２２１は、画素信号Ｓ２１Ｕ，Ｓ２１Ｖに対してプレフィルタ処理を実行する。画素信号Ｓ２１Ｕ，Ｓ２１Ｖに対してプレフィルタ処理が実行されることにより、画素信号Ｓ２Ｕａ１，Ｓ２Ｖａ１がそれぞれ得られる。周波数変換部２３は、画素信号Ｓ２Ｕａ１，Ｓ２Ｖａ１に対して周波数変換処理（ＰＣＴ）をそれぞれ実行し、ハイパス成分の周波数データ（図示しない）と、第１階層における直流成分のデータＳ２２Ｕ，Ｓ２２Ｖとをそれぞれ出力する。データＳ２２Ｕ，Ｓ２２Ｖは、第２階層のプレフィルタ２２２に入力される。プレフィルタ２２２は、データＳ２２Ｕ，Ｓ２２Ｖに対してプレフィルタ処理をそれぞれ実行し、プレフィルタ処理後のデータＳ２Ｕａ２，Ｓ２Ｖａ２をそれぞれ出力する。データＳ２Ｕａ２，Ｓ２Ｖａ２は、周波数変換部２３に入力される。周波数変換部２３は、データＳ２Ｕａ２，Ｓ２Ｖａ２に対して周波数変換処理（ＰＣＴ）をそれぞれ実行し、ローパス成分の周波数データ（図示しない）と、直流成分の周波数データ（図示しない）とをそれぞれ出力する。なお、第５の変形例における第３の変形例では、撮像素子の特性に起因して、Ｕ信号及びＶ信号に関しては大きなノイズが発生しており、Ｙ信号及びＫ信号に関してはノイズが発生していない場合を想定している。
【０１０１】
第５の変形例における第３の変形例においては、ＨＤ Ｐｈｏｔｏの仕様に従い、第１階層のプレフィルタ２２１によるプレフィルタ処理を実行するか否かを選択することができる。また、プレフィルタ２２１によるプレフィルタ処理を実行する場合には、第２階層のプレフィルタ２２２によるプレフィルタ処理を実行するか否かを選択することができる。つまり、最大で２回のプレフィルタ処理を実行することができる。但し、プレフィルタ２２２の後段にさらにプレフィルタを追加することによって、３回以上のプレフィルタ処理を実行することも可能である。
【０１０２】
第５の変形例における第３の変形例によれば、実行するプレフィルタ処理の回数を、Ｕ信号及びＶ信号のノイズの程度に応じて一回又は複数回に設定することにより、Ｕ信号及びＶ信号のノイズを十分に抑制することが可能となる。
【０１０３】
以上では、Ｕ信号及びＶ信号に対して２回のプレフィルタ処理を実行することにより、Ｕ信号及びＶ信号のノイズを十分に抑制する例について説明したが、Ｙ信号又はＫ信号に対して２回のプレフィルタ処理を実行することにより、Ｙ信号又はＫ信号のノイズを十分に抑制することも可能である。
【０１０４】
＜第５の変形例における第４の変形例＞
上記第５の変形例、及び上記第５の変形例における第１〜第３の変形例は、撮像素子の特性に応じて、適宜に組み合わせて適用することが可能である。
【０１０５】
図２０は、第５の変形例における第４の変形例に関して、プレフィルタ２２における処理を説明するための図である。図２０に示した例は、撮像素子の特性に起因して、Ｙ信号及びＶ信号に関しては比較的大きなノイズが発生しており、Ｋ信号に関しては比較的小さなノイズが発生しており、Ｕ信号に関してはノイズが発生していない場合を想定している。このような場合には、図２０に示すように、Ｙ信号及びＶ信号に対しては２回のプレフィルタ処理を実行し、Ｋ信号に対しては１回のプレフィルタ処理を実行し、Ｕ信号に関してはプレフィルタ処理を実行しない。これにより、ノイズが発生していないＵ信号に影響を与えることなく、Ｙ信号、Ｖ信号、及びＫ信号のノイズを十分に抑制することが可能となる。
【０１０６】
なお、上記の実施の形態、第１〜第５の変形例、第５の変形例における第１〜第４の変形例は、適宜に組み合わせて適用することが可能である。
【図面の簡単な説明】
【０１０７】
【図１】本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図２】色変換部による色変換処理を説明するための図である。
【図３】画素平面内の一つのマクロブロックを示す図である。
【図４】量子化部の構成を示すブロック図である。
【図５】量子化前の周波数データを示す図である。
【図６】量子化後の周波数データを示す図である。
【図７】逆量子化部の構成を示すブロック図である。
【図８】逆量子化前の周波数データを示す図である。
【図９】逆量子化後の周波数データを示す図である。
【図１０】量子化後の周波数データを示す図である。
【図１１】量子化後の周波数データを示す図である。
【図１２】量子化後の周波数データを示す図である。
【図１３】ＨＤ Ｐｈｏｔｏのエンコーダにおけるプレフィルタ及び周波数変換部の構成を示すブロック図である。
【図１４】量子化部において量子化係数を設定するためのデータテーブルを示す図である。
【図１５】プレフィルタにおける処理を説明するための図である。
【図１６】ポストフィルタにおける処理を説明するための図である。
【図１７】プレフィルタにおける処理を説明するための図である。
【図１８】プレフィルタにおける処理を説明するための図である。
【図１９】プレフィルタにおける処理を説明するための図である。
【図２０】プレフィルタにおける処理を説明するための図である。
【符号の説明】
【０１０８】
１ 画像処理装置
２ エンコーダ
３ デコーダ
２１ 色変換部
２２，２２１，２２２ プレフィルタ
２３，２３１，２３２ 周波数変換部
２４ 量子化部
３１ 色逆変換部
３２ ポストフィルタ
３３ 周波数逆変換部
３４ 逆量子化部
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に、ＨＤ Ｐｈｏｔｏにおけるエンコーダ及びデコーダに関する。
【背景技術】
【０００２】
色ノイズの抑制を目的とした撮像装置が、下記特許文献１に開示されている。当該撮像装置の受光部には、Ｂａｙｅｒ配列の３色のカラーフィルタが設けられている。また、当該撮像装置は、ＣＰＵの機能として実現される検出処理部と補正処理部とを有している。検出処理部は、バッファメモリに格納されているＲＡＷ画像データを対象として、Ｇｂ画素の画素値と、そのＧｂ画素の対角に位置する４個のＧｒ画素の画素値の平均値とを比較する。Ｇｒ画素の画素値の平均値がＧｂ画素の画素値よりも大きい場合には、補正処理部は、Ｇｂ画素の画素値をＧｒ画素の画素値の平均値に置き換える。これによって、色ノイズが補正される。
【０００３】
また、近年、ＪＰＥＧよりも高画質で、ＪＰＥＧ２０００よりも回路構成及び演算処理が簡素化された静止画ファイルフォーマットとして、マイクロソフト社よりＨＤ Ｐｈｏｔｏが提案されている。
【０００４】
ＨＤ Ｐｈｏｔｏにおけるエンコーダは、所定の周波数変換処理（ＰＣＴ）を実行する周波数変換部と、ブロック歪みを軽減するための所定のプレフィルタ処理を実行するプレフィルタとを備えて構成されている。周波数変換部は、縦４画素×横４画素の画素ブロックを処理単位領域として、周波数変換処理を実行する。プレフィルタは、周波数変換部による複数の処理単位領域にオーバーラップする領域を処理単位領域として、周波数変換処理が実行される前にプレフィルタ処理を実行する。但し、プレフィルタ処理を実行するか否かは、Ｏｖｅｒｌａｐ係数の設定によって、任意に選択することができる。
【０００５】
また、ＨＤ Ｐｈｏｔｏにおけるデコーダは、上記の周波数変換処理に対応する周波数逆変換処理を実行する周波数逆変換部と、上記のプレフィルタ処理に対応するポストフィルタ処理を実行するポストフィルタとを備えて構成されている。周波数逆変換部は、縦４画素×横４画素の画素ブロックを処理単位領域として、周波数逆変換処理を実行する。ポストフィルタは、周波数逆変換部による複数の処理単位領域にオーバーラップする領域を処理単位領域として、周波数逆変換処理が実行された後にポストフィルタ処理を実行する。但し、上記と同様に、ポストフィルタ処理を実行するか否かは、Ｏｖｅｒｌａｐ係数の設定によって、任意に選択することができる。
【０００６】
なお、ＨＤ Ｐｈｏｔｏの詳細については、例えば下記非特許文献１に開示されている。また、ＨＤ Ｐｈｏｔｏに関連するＪＰＥＧ ＸＲの詳細については、例えば下記非特許文献２に開示されている。
【０００７】
【特許文献１】特開２００５−３３３２５１号公報
【非特許文献１】"HD Photo -Photographic Still Image File Format", [online], ２００６年１１月７日, Microsoft Corporation, [２００７年１０月１０日検索], インターネット＜URL: http://www.microsoft.com/whdc/xps/hdphotodpk.mspx＞
【非特許文献２】"Coding of Still Pictures -JBIG JPEG", [online], 19 December 2007, ISO/IEC JTC 1/SC 29/WG1 N 4392, [２００８年３月４日検索], インターネット＜URL: http://www.itscj.ipsj.or.jp/sc29/open/29view/29n9026t.doc＞
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上記特許文献１に開示された撮像装置によると、検出処理部及び補正処理部は、Ｇｒ画素の画素値とＧｂ画素の画素値とに基づいて、色ノイズの検出処理及び補正処理を実行する。しかし、Ｇｒ画素の画素値及びＧｂ画素の画素値は、輝度信号と色差信号とが混在した情報である。そのため、輝度に影響を与えることなく色ノイズのみを正確に除去することが困難である。しかも、上記特許文献１に開示された撮像装置によると、色ノイズを抑制する目的のためだけに、専用の検出処理部及び補正処理部を追加して実装する必要があり、コストの上昇を招く。
【０００９】
本発明はかかる問題を解決するために成されたものであり、ノイズを効果的に抑制でき、しかも、ノイズ抑制のための専用の装置を追加することも不要な、画像処理装置を得ることを目的とする。
【課題を解決するための手段】
【００１０】
本発明の第１の態様に係る画像処理装置は、輝度信号及び複数の色差信号に対して周波数変換処理をそれぞれ実行し、輝度信号に関する周波数データ及び複数の色差信号に関する複数の周波数データを出力する周波数変換部と、前記周波数変換部から入力された複数の周波数データに対して量子化処理をそれぞれ実行する量子化部とを備え、前記量子化部は、輝度信号に関する周波数データ及び複数の色差信号に関する複数の周波数データのうち、ノイズが発生している信号に対応する一又は複数の特定の周波数データに対しては、値が「１」より大きな量子化係数を用いて量子化処理を実行し、前記特定の周波数データ以外の周波数データに対しては、値が「１」の量子化係数を用いて量子化処理を実行することを特徴とする。
【００１１】
本発明の第１の態様に係る画像処理装置によれば、量子化部は、輝度信号に関する周波数データ及び複数の色差信号に関する複数の周波数データのうち、ノイズが発生している信号に対応する一又は複数の特定の周波数データに対しては、値が「１」より大きな量子化係数を用いて量子化処理を実行する。従って、上記特定の周波数データに関しては、量子化処理によって下位ビットのデータが削除され、それにより、周波数データの細かい変化を消失させることができる。その結果、周波数データの細かい変化に相当するノイズを抑制することが可能となる。
【００１２】
また、特定の周波数データ以外の周波数データに対しては、値が「１」の量子化係数を用いて量子化処理が実行される。従って、ノイズが発生していない信号に対応する周波数データに関しては、量子化処理によって下位ビットのデータが削除されることはない。その結果、ノイズが発生していない信号に影響を与えることなく、ノイズが発生している信号に関してそのノイズを効果的に抑制することが可能となる。
【００１３】
しかも、ノイズを抑制する目的のためだけに専用の装置を追加して実装する必要がないため、コストの上昇を回避できる。
【００１４】
さらに、上記特定の周波数データに関しては、値が「１」より大きな量子化係数を用いて量子化処理が実行されるため、量子化部から出力される量子化データの有効ビット幅が削減される。その結果、後段の符号化部から出力される符号化データの符号量を削減することが可能となる。つまり、画像データのデータ量をより圧縮することが可能となる。
【００１５】
本発明の第２の態様に係る画像処理装置は、第１の態様に係る画像処理装置において特に、前記量子化部は、前記特定の周波数データに関して、ノイズの程度に応じて量子化係数の値を可変に設定可能であることを特徴とする。
【００１６】
本発明の第２の態様に係る画像処理装置によれば、ノイズが大きい信号に対応する周波数データに関しては、量子化係数の値を大きく設定することにより、ノイズを十分に抑制することが可能となる。
【００１７】
本発明の第３の態様に係る画像処理装置は、第２の態様に係る画像処理装置において特に、前記特定の周波数データには、ハイパス成分、ローパス成分、及び直流成分が含まれ、前記量子化部は、各成分ごとに、ノイズの程度に応じて量子化係数の値を可変に設定可能であることを特徴とする。
【００１８】
本発明の第３の態様に係る画像処理装置によれば、ノイズが大きい成分に関しては、量子化係数の値を大きく設定することにより、ノイズを十分に抑制することが可能となる。
【００１９】
本発明の第４の態様に係る画像処理装置は、第１〜第３のいずれか一つの態様に係る画像処理装置において特に、画像処理装置は、前記周波数変換部の複数の処理単位領域にオーバーラップする領域を処理単位領域として、周波数変換処理が実行される前に、プレフィルタ処理を選択的に実行するプレフィルタと、前記プレフィルタよりも前段に配置され、外部から入力された第１の色空間の画素信号を、輝度信号及び複数の色差信号を含む第２の色空間の画素信号に変換する色変換部と、周波数逆変換処理を実行する周波数逆変換部と、前記周波数逆変換部の複数の処理単位領域にオーバーラップする領域を処理単位領域として、周波数逆変換処理が実行された後に、ポストフィルタ処理を選択的に実行するポストフィルタと、前記ポストフィルタよりも後段に配置され、第２の色空間の画素信号を第１の色空間の画素信号に逆変換する色逆変換部とをさらに備え、前記プレフィルタは、前記色変換部から入力された輝度信号及び複数の色差信号のうち、ノイズが発生している信号に対応する一又は複数の特定の信号に対して、プレフィルタ処理を実行し、前記ポストフィルタは、前記特定の信号に対して、ポストフィルタ処理を実行しないことを特徴とする。
【００２０】
本発明の第４の態様に係る画像処理装置によれば、プレフィルタは、輝度信号及び複数の色差信号のうち、ノイズが発生している信号に対応する一又は複数の特定の信号に対して、プレフィルタ処理を実行する。また、ポストフィルタは、上記特定の信号に対して、ポストフィルタ処理を実行しない。プレフィルタ処理を実行し、かつポストフィルタ処理を実行しないことにより、ノイズを抑制することができる。しかも、ノイズを抑制する目的のためだけに専用の装置を追加して実装する必要がないため、コストの上昇を回避できる。
【００２１】
本発明の第５の態様に係る画像処理装置は、第４の態様に係る画像処理装置において特に、前記特定の信号に対して実行するプレフィルタ処理の回数を、一回又は複数回に設定可能であることを特徴とする。
【００２２】
本発明の第５の態様に係る画像処理装置によれば、実行するプレフィルタ処理の回数を、ノイズの程度に応じて一回又は複数回に設定することにより、ノイズを十分に抑制することが可能となる。
【発明の効果】
【００２３】
本発明によれば、ノイズを効果的に抑制でき、しかも、ノイズ抑制のための専用の装置を追加することも不要である。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。
【００２５】
本実施の形態では、本発明に係る画像処理装置をＨＤ Ｐｈｏｔｏにおけるエンコーダ及びデコーダに適用する例について説明する。
【００２６】
図１は、本発明の実施の形態に係る画像処理装置１の構成を示すブロック図である。画像処理装置１は、エンコーダ２とデコーダ３とを備えて構成されている。エンコーダ２は、色変換部２１、プレフィルタ２２、周波数変換部２３、量子化部２４、予測部２５、及び符号化部２６を有している。デコーダ３は、色逆変換部３１、ポストフィルタ３２、周波数逆変換部３３、逆量子化部３４、逆予測部３５、及び復号化部３６を有している。
【００２７】
まず、エンコーダ２の動作について説明する。
【００２８】
色変換部２１には、Ｂａｙｅｒ配列の３色のカラーフィルタが配置された、ＣＣＤ又はＣＭＯＳイメージセンサ等の撮像素子から、ＲＧＢ色空間の画素信号Ｓ１が入力される。色変換部２１は、ＲＧＢ色空間の画素信号Ｓ１を、ＹＵＶＫ色空間の画素信号Ｓ２に変換して出力する。つまり、画素信号Ｓ２には、輝度信号（Ｙ信号）と、複数の色差信号（Ｕ信号、Ｖ信号、及びＫ信号）とが含まれる。なお、Ｋ信号は、Ｇｒ画素の画素値とＧｂ画素の画素値との差分値であり、本明細書では、Ｋ信号を色差信号の一種として考える。
【００２９】
図２は、色変換部２１による色変換処理を説明するための図である。図２の（Ａ）に示した順序で、Ｇｒ画素、Ｒ画素、Ｂ画素、及びＧｂ画素が配列されている。色変換部２１は、図２の（Ｂ）に示した変換式に従って、Ｋ信号、Ｖ信号、Ｕ信号、及びＹ信号の各画素値を算出する。なお、図２の（Ｂ）に示した変換式において、“floor（ｘ）”は、ｘ以下の最大の整数を意味し、“ceiling（ｘ）”は、ｘ以上の最小の整数を意味する。また、“α”は、画素値の階調数の１／２を意味する。例えば、画素値が８ｂｉｔで表される場合は、２５６階調であるため、“α”は１２８となる。
【００３０】
図１を参照して、プレフィルタ２２には、色変換部２１から画素信号Ｓ２が入力される。プレフィルタ２２は、画素信号Ｓ２に対してプレフィルタ処理を選択的に実行し、画素信号Ｓ３を出力する。ＨＤ Ｐｈｏｔｏでは、プレフィルタ２２にプレフィルタ処理を実行させるか否かを、Ｏｖｅｒｌａｐ係数の設定によって任意に選択することができる。
【００３１】
周波数変換部２３には、プレフィルタ２２から画素信号Ｓ３が入力される。周波数変換部２３は、画素信号Ｓ３に対して所定の周波数変換処理（ＰＣＴ：HD Photo Core Transform）を実行し、周波数変換処理後の周波数データＳ４を出力する。ＨＤ Ｐｈｏｔｏでは、周波数データＳ４に、ハイパス成分、ローパス成分、及び直流成分が含まれる。
【００３２】
図３は、画素平面内の一つのマクロブロックＭＢを示す図である。マクロブロックＭＢは、縦１６画素×横１６画素の、合計２５６個の画素で構成されている。マクロブロックＭＢ内には、縦４個×横４個の、合計１６個の画素ブロックＲＡが規定されている。各画素ブロックＲＡは、縦４画素×横４画素の、合計１６個の画素で構成されている。周波数変換部２３は、各画素ブロックＲＡを処理単位領域として、周波数変換処理を実行する。
【００３３】
また、マクロブロックＭＢよりも上下左右の各方向に２画素ずつ広い、縦２０画素×横２０画素の画素ブロックＯＢが規定されている。画素ブロックＯＢ内には、縦５個×横５個の、合計２５個の画素ブロックＲＢが規定されている。各画素ブロックＲＢは、縦４画素×横４画素の、合計１６個の画素で構成されている。プレフィルタ２２は、各画素ブロックＲＢを処理単位領域として、所定のプレフィルタ処理を実行する。但し、画素平面の周縁においては、縦４画素×横４画素の処理単位領域が確保されず、縦４画素×横２画素、縦２画素×横４画素、又は縦２画素×横２画素の画素ブロックが、プレフィルタ２２の処理単位領域となる。
【００３４】
図３に示すように、プレフィルタ２２の処理単位領域である画素ブロックＲＢ１（斜線ハッチングを付している）は、周波数変換部２３の処理単位領域である４個の画素ブロックＲＡ１〜ＲＡ４（砂地ハッチングを付している）にオーバーラップしている。このように、プレフィルタ２２は、周波数変換部２３の複数の処理単位領域にオーバーラップする領域を処理単位領域として、プレフィルタ処理を実行する。その結果、ブロック歪みが低減される。
【００３５】
図１を参照して、量子化部２４には、周波数変換部２３から周波数データＳ４が入力される。量子化部２４は、周波数データＳ４を量子化し、量子化後の周波数データＳ５を出力する。
【００３６】
図４は、量子化部２４の構成を示すブロック図である。量子化部２４は、処理部２４Ｙ，２４Ｕ，２４Ｖ，２４Ｋを有している。処理部２４Ｙには、周波数変換部２３から、Ｙ信号に関する周波数データＳ４Ｙが入力される。同様に、処理部２４Ｕ，２４Ｖ，２４Ｋには、周波数変換部２３から、Ｕ信号に関する周波数データＳ４Ｕ、Ｖ信号に関する周波数データＳ４Ｖ、Ｋ信号に関する周波数データＳ４Ｋがそれぞれ入力される。周波数データＳ４Ｙ，Ｓ４Ｕ，Ｓ４Ｖ，Ｓ４Ｋは、図１に示した周波数データＳ４に相当する。
【００３７】
処理部２４Ｙは、周波数データＳ４Ｙを量子化係数ＱＹで除算することにより、量子化後の周波数データＳ５Ｙを出力する。同様に、処理部２４Ｕ，２４Ｖ，２４Ｋは、周波数データＳ４Ｕ，Ｓ４Ｖ，Ｓ４Ｋを、量子化係数ＱＵ，ＱＶ，ＱＫでそれぞれ除算することにより、量子化後の周波数データＳ５Ｕ，Ｓ５Ｖ，Ｓ５Ｋをそれぞれ出力する。
【００３８】
図５は、周波数データＳ４Ｙ，Ｓ４Ｕ，Ｓ４Ｖ，Ｓ４Ｋを示す図である。図５では、一例として、８ビットのビット幅を有する周波数データＳ４Ｙ，Ｓ４Ｕ，Ｓ４Ｖ，Ｓ４Ｋを示している。図５の（Ａ）に示すように、周波数データＳ４Ｙは例えば「００００１０１０」なるデータであり、図５の（Ｂ）に示すように、周波数データＳ４Ｕは例えば「０１０１０１１０」なるデータであり、図５の（Ｃ）に示すように、周波数データＳ４Ｖは例えば「００１１１０１０」なるデータであり、図５の（Ｄ）に示すように、周波数データＳ４Ｋは例えば「０００１０１１０」なるデータである。
【００３９】
図６は、周波数データＳ５Ｙ，Ｓ５Ｕ，Ｓ５Ｖ，Ｓ５Ｋを示す図である。ここでは、撮像素子の特性に起因して、Ｕ信号及びＶ信号に関してはノイズが発生しており、Ｙ信号及びＫ信号に関してはノイズが発生していない場合を想定している。
【００４０】
この場合、図６に示すように、量子化係数ＱＵ，ＱＶの値は「１」より大きな値（図６に示した例では「８」）に設定され、量子化係数ＱＹ，ＱＫの値は「１」に設定される。
【００４１】
量子化係数ＱＹ，ＱＫの値が「１」に設定されることにより、図６の（Ａ）及び（Ｄ）に示すように、周波数データＳ５Ｙ，Ｓ５Ｋは、図５の（Ａ）及び（Ｄ）に示した周波数データＳ４Ｙ，Ｓ４Ｋにそれぞれ等しくなる。
【００４２】
処理部２４Ｕは、周波数データＳ４Ｕを、量子化係数ＱＵの値「８」で除算する。具体的には、図６の（Ｂ）に示すように、処理部２４Ｕは、図５の（Ｂ）に示した周波数データＳ４Ｕを３ビット右方向にシフトした後、上位３ビットにいずれも「０」を挿入するとともに、小数部Ｐ１を削除することにより、「００００１０１０」なる周波数データＳ５Ｕを出力する。なお、上位３ビットにはいずれも「０」が挿入されるため、周波数データＳ５Ｕの有効ビット幅は５ビットとなる。
【００４３】
同様に、処理部２４Ｖは、周波数データＳ４Ｖを、量子化係数ＱＶの値「８」で除算する。具体的には、図６の（Ｃ）に示すように、処理部２４Ｖは、図５の（Ｃ）に示した周波数データＳ４Ｖを３ビット右方向にシフトした後、上位３ビットにいずれも「０」を挿入するとともに、小数部Ｐ１を削除することにより、「０００００１１１」なる周波数データＳ５Ｖを出力する。なお、上位３ビットにはいずれも「０」が挿入されるため、周波数データＳ５Ｖの有効ビット幅は５ビットとなる。
【００４４】
図１を参照して、予測部２５には、量子化部２４から周波数データＳ５が入力される。周波数データＳ５は、図４に示した周波数データＳ５Ｙ，Ｓ５Ｕ，Ｓ５Ｖ，Ｓ５Ｋに相当する。予測部２５は、量子化部２４から入力された周波数データＳ５の値と、過去に処理した特定の周波数データの値（予測値）との差分値を求め、周波数差分データＳ６として出力する。
【００４５】
符号化部２６には、予測部２５から周波数差分データＳ６が入力される。符号化部２６は、周波数差分データＳ６に対してエントロピー符号化を実行し、符号化データＳ７を出力する。符号化部２６から出力された符号化データＳ７は、メモリ４に記憶される。なお、厳密には、ＨＤ Ｐｈｏｔｏにおいては、周波数差分データＳ６のうち、上位ビットに相当するＮｏｒｍａｌ Ｂｉｔに対してのみエントロピー符号化が実行され、下位ビットに相当するＦｌｅｘ Ｂｉｔに関しては、エントロピー符号化が実行されることなく、メモリ４に記憶される。
【００４６】
次に、デコーダ３の動作について説明する。
【００４７】
復号化部３６には、メモリ４から符号化データＳ７が入力される。復号化部３６は、符号化データＳ７に対してエントロピー復号化を実行し、上記の周波数差分データＳ６に相当する周波数差分データＳ８を出力する。
【００４８】
逆予測部３５には、復号化部３６から周波数差分データＳ８が入力される。逆予測部３５は、周波数差分データＳ８に予測値を加算することにより、上記の周波数データＳ５に相当する周波数データＳ９を出力する。
【００４９】
逆量子化部３４には、逆予測部３５から周波数データＳ９が入力される。逆量子化部３４は、周波数データＳ９を逆量子化し、上記の周波数データＳ４に相当する周波数データＳ１０を出力する。
【００５０】
図７は、逆量子化部３４の構成を示すブロック図である。逆量子化部３４は、処理部３４Ｙ，３４Ｕ，３４Ｖ，３４Ｋを有している。処理部３４Ｙには、逆予測部３５から、Ｙ信号に関する周波数データＳ９Ｙが入力される。同様に、処理部３４Ｕ，３４Ｖ，３４Ｋには、逆予測部３５から、Ｕ信号に関する周波数データＳ９Ｕ、Ｖ信号に関する周波数データＳ９Ｖ、Ｋ信号に関する周波数データＳ９Ｋがそれぞれ入力される。周波数データＳ９Ｙ，Ｓ９Ｕ，Ｓ９Ｖ，Ｓ９Ｋは、図１に示した周波数データＳ９に相当する。
【００５１】
処理部３４Ｙは、周波数データＳ９Ｙに量子化係数ＱＹを乗算することにより、逆量子化後の周波数データＳ１０Ｙを出力する。同様に、処理部３４Ｕ，３４Ｖ，３４Ｋは、周波数データＳ９Ｕ，Ｓ９Ｖ，Ｓ９Ｋに量子化係数ＱＵ，ＱＶ，ＱＫをそれぞれ乗算することにより、逆量子化後の周波数データＳ１０Ｕ，Ｓ１０Ｖ，Ｓ１０Ｋをそれぞれ出力する。
【００５２】
図８は、周波数データＳ９Ｙ，Ｓ９Ｕ，Ｓ９Ｖ，Ｓ９Ｋを示す図である。図８の（Ａ）に示す周波数データＳ９Ｙは、図６の（Ａ）に示した周波数データＳ５Ｙに等しい。同様に、図８の（Ｂ），（Ｃ），（Ｄ）に示す周波数データＳ９Ｕ，Ｓ９Ｖ，Ｓ９Ｋは、図６の（Ｂ），（Ｃ），（Ｄ）に示した周波数データＳ５Ｕ，Ｓ５Ｖ，Ｓ５Ｋにそれぞれ等しい。
【００５３】
図９は、周波数データＳ１０Ｙ，Ｓ１０Ｕ，Ｓ１０Ｖ，Ｓ１０Ｋを示す図である。逆量子化部３４で使用する逆量子化係数は、量子化部２４で使用した量子化係数ＱＹ，ＱＵ，ＱＶ，ＱＫと同じ値に設定される。この例の場合、逆量子化係数ＱＵ，ＱＶの値は「８」に設定され、逆量子化係数ＱＹ，ＱＫの値は「１」に設定される。
【００５４】
逆量子化係数ＱＹ，ＱＫの値が「１」に設定されることにより、図９の（Ａ）及び（Ｄ）に示すように、周波数データＳ１０Ｙ，Ｓ１０Ｋは、図８の（Ａ）及び（Ｄ）に示した周波数データＳ９Ｙ，Ｓ９Ｋにそれぞれ等しくなる。また、周波数データＳ１０Ｙ，Ｓ１０Ｋは、図５の（Ａ）及び（Ｄ）に示した周波数データＳ４Ｙ，Ｓ４Ｋにそれぞれ等しい。
【００５５】
図７に示した処理部３４Ｕは、周波数データＳ９Ｕに、逆量子化係数ＱＵの値「８」を乗算する。具体的には、図９の（Ｂ）に示すように、処理部３４Ｕは、図８の（Ｂ）に示した周波数データＳ９Ｕを３ビット左方向にシフトした後、下位３ビットの各ビットＰ２にいずれも「０」を挿入するとともに、桁溢れした上位３ビットを削除することにより、「０１０１００００」なる周波数データＳ１０Ｕを出力する。
【００５６】
同様に、処理部３４Ｖは、周波数データＳ９Ｖに、逆量子化係数ＱＶの値「８」を乗算する。具体的には、図９の（Ｃ）に示すように、処理部３４Ｖは、図８の（Ｃ）に示した周波数データＳ９Ｖを３ビット左方向にシフトした後、下位３ビットの各ビットＰ２にいずれも「０」を挿入するとともに、桁溢れした上位３ビットを削除することにより、「００１１１０００」なる周波数データＳ１０Ｖを出力する。
【００５７】
図９の（Ｂ）と図５の（Ｂ）とを比較すると明らかなように、周波数データＳ１０Ｕは、周波数データＳ４Ｕの下位３ビットのデータ「１１０」を、データ「０００」に置き換えたものに相当する。同様に、図９の（Ｃ）と図５の（Ｃ）とを比較すると明らかなように、周波数データＳ１０Ｖは、周波数データＳ４Ｖの下位３ビットのデータ「０１０」を、データ「０００」に置き換えたものに相当する。
【００５８】
図１を参照して、周波数逆変換部３３には、逆量子化部３４から周波数データＳ１０が入力される。周波数データＳ１０は、図７に示した周波数データＳ１０Ｙ，Ｓ１０Ｕ，Ｓ１０Ｖ，Ｓ１０Ｋに相当する。周波数逆変換部３３は、周波数データＳ１０に対して、上記の周波数変換処理に対応する周波数逆変換処理を実行し、上記の画素信号Ｓ３に相当する画素信号Ｓ１１を出力する。
【００５９】
ポストフィルタ３２には、周波数逆変換部３３から、画素信号Ｓ１１が入力される。ポストフィルタ３２は、画素信号Ｓ１１に対して、上記のプレフィルタ処理に対応するポストフィルタ処理を選択的に実行し、上記の画素信号Ｓ２に相当する画素信号Ｓ１２を出力する。
【００６０】
図３を参照して、周波数逆変換部３３は、各画素ブロックＲＡを処理単位領域として、周波数逆変換処理を実行する。また、ポストフィルタ３２は、各画素ブロックＲＢを処理単位領域として、ポストフィルタ処理を実行する。但し、画素平面の周縁においては、縦４画素×横４画素の処理単位領域が確保されず、縦４画素×横２画素、縦２画素×横４画素、又は縦２画素×横２画素の画素ブロックが、ポストフィルタ３２の処理単位領域となる。図３に示すように、ポストフィルタ３２の処理単位領域である画素ブロックＲＢ１は、周波数逆変換部３３の処理単位領域である４個の画素ブロックＲＡ１〜ＲＡ４にオーバーラップしている。
【００６１】
図１を参照して、色逆変換部３１には、ポストフィルタ３２から画素信号Ｓ１２が入力される。色逆変換部３１は、ＹＵＶＫ色空間の画素信号Ｓ１２を、ＲＧＢ色空間の画素信号Ｓ１３に変換し、外部の表示装置等に向けて出力する。
【００６２】
このように本実施の形態に係る画像処理装置１によれば、量子化部２４は、周波数変換部２３から入力された周波数データＳ４Ｙ，Ｓ４Ｕ，Ｓ４Ｖ，Ｓ４Ｋのうち、ノイズが発生しているＵ信号及びＶ信号に対応する周波数データＳ４Ｕ，Ｓ４Ｖに対しては、値が「１」より大きな量子化係数ＱＵ，ＱＶ（上記の例では「８」）を用いて量子化処理を実行する。従って、周波数データＳ４Ｕ，Ｓ４Ｖに関しては、量子化処理によって下位ビットのデータ（上記の例では下位３ビットのデータ）が削除され、それにより、周波数データＳ４Ｕ，Ｓ４Ｖの細かい変化を消失させることができる。その結果、周波数データＳ４Ｕ，Ｓ４Ｖの細かい変化に相当するノイズ（上記の例では下位３ビットのデータに相当するノイズ）を抑制することが可能となる。
【００６３】
また、本実施の形態に係る画像処理装置１によれば、量子化部２４は、周波数データＳ４Ｕ，Ｓ４Ｖ以外の周波数データＳ４Ｙ，Ｓ４Ｋに対しては、値が「１」の量子化係数ＱＹ，ＱＫを用いて量子化処理を実行する。従って、ノイズが発生していないＹ信号及びＫ信号に対応する周波数データＳ４Ｙ，Ｓ４Ｋに関しては、量子化処理によって下位ビットのデータが削除されることはない。その結果、ノイズが発生していないＹ信号及びＫ信号に影響を与えることなく、ノイズが発生しているＵ信号及びＶ信号に関してそのノイズを効果的に抑制することが可能となる。
【００６４】
しかも、本実施の形態に係る画像処理装置１によれば、ＨＤ Ｐｈｏｔｏに本来的に備わっている量子化部２４において、量子化係数の設定を工夫することによって、Ｕ信号及びＶ信号のノイズを抑制するための処理が実現されている。従って、ノイズを抑制する目的のためだけに専用の装置を追加して実装する必要がないため、コストの上昇を回避できる。
【００６５】
さらに、本実施の形態に係る画像処理装置１によれば、周波数データＳ４Ｕ，Ｓ４Ｖに関しては、値が「１」より大きな量子化係数ＱＵ，ＱＶを用いて量子化処理が実行される。そのため、量子化部２４から出力される量子化後の周波数データＳ５Ｕ，Ｓ５Ｖの有効ビット幅が削減される。上記の例では、周波数データＳ４Ｕ，Ｓ４Ｖのビット幅はそれぞれ８ビットであるのに対し、周波数データＳ５Ｕ，Ｓ５Ｖの有効ビット幅はそれぞれ５ビットであり、ビット幅がそれぞれ３ビット削減されている。その結果、Ｕ信号及びＶ信号に関しては、符号化部２６から出力される符号化データＳ７の符号量を削減することが可能となる。つまり、画像データのデータ量をより圧縮することが可能となる。
【００６６】
＜第１の変形例＞
上記実施の形態では、量子化係数ＱＵ，ＱＶの値はそれぞれ「８」に設定されている。これにより、周波数データＳ４Ｕ，Ｓ４Ｖの下位３ビットのデータに相当するノイズが抑制されている。
【００６７】
第１の変形例として、量子化部２４は、量子化係数ＱＵ，ＱＶの値を「８」に限定せず、Ｕ信号及びＶ信号の各ノイズの程度に応じて、量子化係数ＱＵ，ＱＶの値をそれぞれ可変に設定してもよい。
【００６８】
例えば、Ｕ信号のノイズの程度が小さい場合には、量子化係数ＱＵの値を「４」に設定する。これにより、周波数データＳ４Ｕの下位２ビットのデータに相当するノイズを抑制することが可能となる。
【００６９】
また、例えば、Ｖ信号のノイズの程度が大きい場合には、量子化係数ＱＶの値を「１６」に設定する。これにより、周波数データＳ４Ｖの下位４ビットのデータに相当するノイズを抑制することが可能となる。
【００７０】
＜第２の変形例＞
上記実施の形態では、Ｕ信号及びＶ信号に関してはノイズが発生しており、Ｙ信号及びＫ信号に関してはノイズが発生していない場合を想定して、Ｕ信号及びＶ信号のノイズを抑制するための処理が行われている。
【００７１】
第２の変形例として、撮像素子の特性に起因してＹ信号のみにノイズが発生している場合には、Ｙ信号に対応する量子化係数ＱＹの値を「１」より大きな値に設定し、Ｕ信号、Ｖ信号、及びＫ信号に対応する量子化係数ＱＵ，ＱＶ，ＱＫの値をいずれも「１」に設定することにより、Ｕ信号、Ｖ信号、及びＫ信号に影響を与えることなく、Ｙ信号のノイズを効果的に抑制することが可能である。
【００７２】
図１０は、第２の変形例に関して、周波数データＳ５Ｙ，Ｓ５Ｕ，Ｓ５Ｖ，Ｓ５Ｋを示す図である。量子化係数ＱＹの値は「１」より大きな値（図１０に示した例では「８」）に設定されており、量子化係数ＱＵ，ＱＶ，ＱＫの値はいずれも「１」に設定されている。
【００７３】
同様に、撮像素子の特性に起因してＫ信号のみにノイズが発生している場合には、Ｋ信号に対応する量子化係数ＱＫの値を「１」より大きな値に設定し、Ｙ信号、Ｕ信号、及びＶ信号に対応する量子化係数ＱＹ，ＱＵ，ＱＶの値をいずれも「１」に設定することにより、Ｙ信号、Ｕ信号、及びＶ信号に影響を与えることなく、Ｋ信号のノイズを効果的に抑制することが可能である。
【００７４】
図１１は、第２の変形例に関して、周波数データＳ５Ｙ，Ｓ５Ｕ，Ｓ５Ｖ，Ｓ５Ｋを示す図である。量子化係数ＱＫの値は「１」より大きな値（図１１に示した例では「８」）に設定されており、量子化係数ＱＹ，ＱＵ，ＱＶの値はいずれも「１」に設定されている。
【００７５】
＜第３の変形例＞
上記実施の形態では、量子化係数ＱＵ，ＱＶの値は互いに同一の値（上記の例では「８」）に設定されている。
【００７６】
第３の変形例として、量子化部２４は、量子化係数ＱＵ，ＱＶの値を互いに同一の値に設定せず、Ｕ信号及びＶ信号の各ノイズの程度に応じて、量子化係数ＱＵ，ＱＶの値を互いに異なる値に設定してもよい。
【００７７】
図１２は、第３の変形例に関して、周波数データＳ５Ｙ，Ｓ５Ｕ，Ｓ５Ｖ，Ｓ５Ｋを示す図である。量子化係数ＱＵの値は「８」に設定されており、量子化係数ＱＶの値は「４」に設定されている。この例の場合、Ｕ信号に関しては、周波数データＳ４Ｕの下位３ビットのデータに相当するノイズを抑制することが可能となり、Ｖ信号に関しては、周波数データＳ４Ｖの下位２ビットのデータに相当するノイズを抑制することが可能となる。
【００７８】
＜第４の変形例＞
図１３は、ＨＤ Ｐｈｏｔｏのエンコーダにおけるプレフィルタ２２１，２２２及び周波数変換部２３１，２３２の構成を示すブロック図である。図１３に示すように、ＨＤ Ｐｈｏｔｏにおけるエンコーダは、第１階層のプレフィルタ２２１及び周波数変換部２３１と、第２階層のプレフィルタ２２２及び周波数変換部２３２とを備えている。
【００７９】
プレフィルタ２２１には、画素信号Ｓ２１が入力される。プレフィルタ２２１は、画素信号Ｓ２１に対してプレフィルタ処理を実行し、プレフィルタ処理後の画素信号Ｓ３１を出力する。画素信号Ｓ３１は、周波数変換部２３１に入力される。周波数変換部２３１は、画素信号Ｓ３１に対して周波数変換処理（ＰＣＴ）を実行し、ハイパス成分の周波数データＳ４ＨＰと、第１階層における直流成分のデータＳ２２とを出力する。データＳ２２は、プレフィルタ２２２に入力される。プレフィルタ２２２は、データＳ２２に対してプレフィルタ処理を実行し、プレフィルタ処理後のデータＳ３２を出力する。データＳ３２は、周波数変換部２３２に入力される。周波数変換部２３２は、データＳ３２に対して周波数変換処理（ＰＣＴ）を実行し、ローパス成分の周波数データＳ４ＬＰと、直流成分の周波数データＳ４ＤＣとを出力する。
【００８０】
このようにＨＤ Ｐｈｏｔｏにおいては、周波数変換部２３１からハイパス成分の周波数データＳ４ＨＰが出力され、周波数変換部２３２からローパス成分の周波数データＳ４ＬＰと直流成分の周波数データＳ４ＤＣとが出力される。従って、図１を参照して、周波数変換部２３から出力される周波数データＳ４には、３つの周波数成分にそれぞれ対応する、ハイパス成分の周波数データＳ４ＨＰと、ローパス成分の周波数データＳ４ＬＰと、直流成分の周波数データＳ４ＤＣとが含まれる。また、図４を参照して、周波数データＳ４Ｙ，Ｓ４Ｕ，Ｓ４Ｖ，Ｓ４Ｋの各々には、ハイパス成分、ローパス成分、及び直流成分がそれぞれ含まれる。
【００８１】
第４の変形例として、量子化部２４は、Ｙ信号、Ｕ信号、Ｖ信号、及びＫ信号の各周波数成分の各ノイズの程度に応じて、合計１２個の量子化係数の値をそれぞれ可変に設定してもよい。
【００８２】
図１４は、量子化部２４において量子化係数を設定するためのデータテーブルを示す図である。データテーブルには、Ｙ信号、Ｕ信号、Ｖ信号、及びＫ信号の別毎に、かつ、ハイパス成分（Ｓ４ＨＰ）、ローパス成分（Ｓ４ＬＰ）、及び直流成分（Ｓ４ＤＣ）の別毎に、合計１２個の量子化係数が記述されている。量子化部２４は、このデータテーブルを参照することにより、周波数データＳ４の量子化処理に使用する量子化係数を決定する。
【００８３】
図１４に示した例では、Ｙ信号及びＫ信号に関しては３つの周波数成分の全てにおいてノイズが発生しておらず、Ｕ信号及びＶ信号に関しては、直流成分においてはノイズが発生しておらず、ローパス成分においては比較的小さなノイズが発生しており、ハイパス成分においては比較的大きいノイズが発生している状況を想定している。
【００８４】
この場合、量子化係数の値は、図１４の例に示すように、Ｕ信号及びＶ信号の各ローパス成分に関しては「４」に設定され、Ｕ信号及びＶ信号の各ハイパス成分に関しては「８」に設定される。また、その他の量子化係数の値はいずれも「１」に設定される。
【００８５】
＜第５の変形例＞
上記実施の形態によっては十分なノイズ抑制効果が得られない場合や、量子化係数を大きな値に設定すると画質の低下が顕著となるような画像を扱う場合には、上記実施の形態に加えて、以下のようなノイズ抑制処理を実行してもよい。
【００８６】
図１５は、プレフィルタ２２における処理を説明するための図である。色変換部２１による上記の色変換処理により、画素信号Ｓ２には、Ｙ信号に対応する画素信号Ｓ２Ｙと、Ｕ信号に対応する画素信号Ｓ２Ｕと、Ｖ信号に対応する画素信号Ｓ２Ｖと、Ｋ信号に対応する画素信号Ｓ２Ｋとが含まれる。プレフィルタ２２は、画素信号Ｓ２Ｕ，Ｓ２Ｖに対してはプレフィルタ処理を実行し、一方、画素信号Ｓ２Ｙ，Ｓ２Ｋに対してはプレフィルタ処理を実行しない。画素信号Ｓ２Ｕ，Ｓ２Ｖに対してプレフィルタ処理が実行されることにより、画素信号Ｓ２Ｕａ，Ｓ２Ｖａがそれぞれ得られる。なお、プレフィルタは平滑化フィルタの一種であるため、ある信号に対してプレフィルタ処理を実行することにより、その信号のノイズを抑制することが可能である。
【００８７】
周波数変換部２３には、画素信号Ｓ３として、画素信号Ｓ２Ｙ，Ｓ２Ｕａ，Ｓ２Ｖａ，Ｓ２Ｋが入力される。なお、第５の変形例では、上記実施の形態と同様に、撮像素子の特性に起因して、Ｕ信号及びＶ信号に関してはノイズが発生しており、Ｙ信号及びＫ信号に関してはノイズが発生していない場合を想定している。
【００８８】
図１６は、ポストフィルタ３２における処理を説明するための図である。周波数逆変換部３３から出力された画素信号Ｓ１１には、Ｙ信号に対応する画素信号Ｓ１１Ｙと、Ｕ信号に対応する画素信号Ｓ１１Ｕａと、Ｖ信号に対応する画素信号Ｓ１１Ｖａと、Ｋ信号に対応する画素信号Ｓ１１Ｋとが含まれる。図１５に示したように、Ｕ信号（画素信号Ｓ２Ｕａ）及びＶ信号（画素信号Ｓ２Ｖａ）に関しては、プレフィルタ２２によってプレフィルタ処理が実行されている。従って、画素信号Ｓ２Ｕａ，Ｓ２Ｖａに相当する画素信号Ｓ１１Ｕａ，Ｓ１１Ｖａに関しても、プレフィルタ処理による平滑化効果が反映されている。
【００８９】
図１６に示すように、ポストフィルタ３２は、画素信号Ｓ１１Ｙ，Ｓ１１Ｕａ，Ｓ１１Ｖａ，Ｓ１１Ｋのいずれに対しても、ポストフィルタ処理を実行しない。その結果、ポストフィルタ３２からは、画素信号Ｓ１２として、画素信号Ｓ１１Ｙ，Ｓ１１Ｕａ，Ｓ１１Ｖａ，Ｓ１１がそのまま出力される。
【００９０】
第５の変形例によれば、色変換部２１は、ＲＧＢ色空間の画素信号Ｓ１を、輝度信号と色差信号とを含むＹＵＶＫ色空間の画素信号Ｓ２に変換する。そして、図１５に示したように、プレフィルタ２２は、輝度信号及び複数の色差信号のうちの特定の信号（上記の例ではＵ信号及びＶ信号）に対してのみ、プレフィルタ処理を実行する。プレフィルタは平滑化フィルタの一種であるため、Ｕ信号及びＶ信号に対してプレフィルタ処理を実行することにより、Ｕ信号及びＶ信号のノイズを抑制することができる。しかも、Ｙ信号及びＫ信号に対してはプレフィルタ処理が実行されないため、Ｕ信号及びＶ信号のノイズを抑制するための処理が、Ｙ信号及びＫ信号に対して影響を与えることはない。つまり、ノイズが発生していないＹ信号及びＫ信号に対して影響を与えることなく、Ｕ信号及びＶ信号のノイズのみを効果的に抑制することができる。また、図１６に示したように、ポストフィルタ３２は、Ｙ信号、Ｕ信号、Ｖ信号、及びＫ信号の全てに対して、ポストフィルタ処理を実行しない。プレフィルタ処理が実行されたＵ信号及びＶ信号に対してポストフィルタ処理を実行しないことにより、プレフィルタ処理によるＵ信号及びＶ信号のノイズの抑制効果が維持される。
【００９１】
しかも、第５の変形例によれば、ＨＤ Ｐｈｏｔｏに本来的に備わっている色変換部２１、プレフィルタ２２、及びポストフィルタ３２を用いて、Ｕ信号及びＶ信号のノイズを抑制するための処理が実現されている。従って、Ｕ信号及びＶ信号のノイズを抑制する目的のためだけに専用の装置を追加して実装する必要がないため、コストの上昇を回避できる。
【００９２】
＜第５の変形例における第１の変形例＞
上記第５の変形例では、Ｕ信号及びＶ信号に関してはノイズが発生しており、Ｙ信号及びＫ信号に関してはノイズが発生していない場合を想定して、Ｕ信号及びＶ信号のノイズを抑制するための処理について説明した。
【００９３】
撮像素子の特性に起因してＹ信号のみにノイズが発生している場合には、Ｙ信号に対してプレフィルタ処理を実行し、Ｕ信号、Ｖ信号、及びＫ信号に対してプレフィルタ処理を実行しないことにより、Ｙ信号のノイズを抑制することが可能である。
【００９４】
図１７は、第５の変形例における第１の変形例に関して、プレフィルタ２２における処理を説明するための図である。色変換部２１による上記の色変換処理により、画素信号Ｓ２には、Ｙ信号に対応する画素信号Ｓ２Ｙと、Ｕ信号に対応する画素信号Ｓ２Ｕと、Ｖ信号に対応する画素信号Ｓ２Ｖと、Ｋ信号に対応する画素信号Ｓ２Ｋとが含まれる。プレフィルタ２２は、画素信号Ｓ２Ｙに対してはプレフィルタ処理を実行し、一方、画素信号Ｓ２Ｕ，Ｓ２Ｖ，Ｓ２Ｋに対してはプレフィルタ処理を実行しない。画素信号Ｓ２Ｙに対してプレフィルタ処理が実行されることにより、画素信号Ｓ２Ｙａが得られる。周波数変換部２３には、画素信号Ｓ３として、画素信号Ｓ２Ｙａ，Ｓ２Ｕ，Ｓ２Ｖ，Ｓ２Ｋが入力される。
【００９５】
図１６に示した例と同様に、ポストフィルタ３２は、Ｙ信号、Ｕ信号、Ｖ信号、及びＫ信号のいずれに対しても、ポストフィルタ処理を実行しない。プレフィルタ処理が実行されたＹ信号に対してポストフィルタ処理を実行しないことにより、プレフィルタ処理によるＹ信号のノイズの抑制効果が維持される。
【００９６】
＜第５の変形例に関する第２の変形例＞
撮像素子の特性に起因してＫ信号のみにノイズが発生している場合には、Ｋ信号に対してプレフィルタ処理を実行し、Ｙ信号、Ｕ信号、及びＶ信号に対してプレフィルタ処理を実行しないことにより、Ｋ信号のノイズを抑制することが可能である。
【００９７】
図１８は、第５の変形例における第２の変形例に関して、プレフィルタ２２における処理を説明するための図である。色変換部２１による上記の色変換処理により、画素信号Ｓ２には、Ｙ信号に対応する画素信号Ｓ２Ｙと、Ｕ信号に対応する画素信号Ｓ２Ｕと、Ｖ信号に対応する画素信号Ｓ２Ｖと、Ｋ信号に対応する画素信号Ｓ２Ｋとが含まれる。プレフィルタ２２は、画素信号Ｓ２Ｋに対してはプレフィルタ処理を実行し、一方、画素信号Ｓ２Ｙ，Ｓ２Ｕ，Ｓ２Ｖに対してはプレフィルタ処理を実行しない。画素信号Ｓ２Ｋに対してプレフィルタ処理が実行されることにより、画素信号Ｓ２Ｋａが得られる。周波数変換部２３には、画素信号Ｓ３として、画素信号Ｓ２Ｙ，Ｓ２Ｕ，Ｓ２Ｖ，Ｓ２Ｋａが入力される。
【００９８】
図１６に示した例と同様に、ポストフィルタ３２は、Ｙ信号、Ｕ信号、Ｖ信号、及びＫ信号のいずれに対しても、ポストフィルタ処理を実行しない。プレフィルタ処理が実行されたＫ信号に対してポストフィルタ処理を実行しないことにより、プレフィルタ処理によるＫ信号のノイズの抑制効果が維持される。
【００９９】
＜第５の変形例における第３の変形例＞
図１３を参照して、ＨＤ Ｐｈｏｔｏにおいては、第１階層のプレフィルタ２２１によるプレフィルタ処理を実行するか否かを選択することができる。また、プレフィルタ２２１によるプレフィルタ処理を実行する場合には、第２階層のプレフィルタ２２２によるプレフィルタ処理を実行するか否かを選択することができる。つまり、最大で２回のプレフィルタ処理を実行することができる。
【０１００】
図１９は、第５の変形例における第３の変形例に関して、プレフィルタ２２における処理を説明するための図である。色変換部２１による上記の色変換処理により、画素信号Ｓ２には、Ｙ信号に対応する画素信号Ｓ２Ｙと、Ｕ信号に対応する画素信号Ｓ２１Ｕと、Ｖ信号に対応する画素信号Ｓ２１Ｖと、Ｋ信号に対応する画素信号Ｓ２Ｋとが含まれる。第１階層のプレフィルタ２２１は、画素信号Ｓ２１Ｕ，Ｓ２１Ｖに対してプレフィルタ処理を実行する。画素信号Ｓ２１Ｕ，Ｓ２１Ｖに対してプレフィルタ処理が実行されることにより、画素信号Ｓ２Ｕａ１，Ｓ２Ｖａ１がそれぞれ得られる。周波数変換部２３は、画素信号Ｓ２Ｕａ１，Ｓ２Ｖａ１に対して周波数変換処理（ＰＣＴ）をそれぞれ実行し、ハイパス成分の周波数データ（図示しない）と、第１階層における直流成分のデータＳ２２Ｕ，Ｓ２２Ｖとをそれぞれ出力する。データＳ２２Ｕ，Ｓ２２Ｖは、第２階層のプレフィルタ２２２に入力される。プレフィルタ２２２は、データＳ２２Ｕ，Ｓ２２Ｖに対してプレフィルタ処理をそれぞれ実行し、プレフィルタ処理後のデータＳ２Ｕａ２，Ｓ２Ｖａ２をそれぞれ出力する。データＳ２Ｕａ２，Ｓ２Ｖａ２は、周波数変換部２３に入力される。周波数変換部２３は、データＳ２Ｕａ２，Ｓ２Ｖａ２に対して周波数変換処理（ＰＣＴ）をそれぞれ実行し、ローパス成分の周波数データ（図示しない）と、直流成分の周波数データ（図示しない）とをそれぞれ出力する。なお、第５の変形例における第３の変形例では、撮像素子の特性に起因して、Ｕ信号及びＶ信号に関しては大きなノイズが発生しており、Ｙ信号及びＫ信号に関してはノイズが発生していない場合を想定している。
【０１０１】
第５の変形例における第３の変形例においては、ＨＤ Ｐｈｏｔｏの仕様に従い、第１階層のプレフィルタ２２１によるプレフィルタ処理を実行するか否かを選択することができる。また、プレフィルタ２２１によるプレフィルタ処理を実行する場合には、第２階層のプレフィルタ２２２によるプレフィルタ処理を実行するか否かを選択することができる。つまり、最大で２回のプレフィルタ処理を実行することができる。但し、プレフィルタ２２２の後段にさらにプレフィルタを追加することによって、３回以上のプレフィルタ処理を実行することも可能である。
【０１０２】
第５の変形例における第３の変形例によれば、実行するプレフィルタ処理の回数を、Ｕ信号及びＶ信号のノイズの程度に応じて一回又は複数回に設定することにより、Ｕ信号及びＶ信号のノイズを十分に抑制することが可能となる。
【０１０３】
以上では、Ｕ信号及びＶ信号に対して２回のプレフィルタ処理を実行することにより、Ｕ信号及びＶ信号のノイズを十分に抑制する例について説明したが、Ｙ信号又はＫ信号に対して２回のプレフィルタ処理を実行することにより、Ｙ信号又はＫ信号のノイズを十分に抑制することも可能である。
【０１０４】
＜第５の変形例における第４の変形例＞
上記第５の変形例、及び上記第５の変形例における第１〜第３の変形例は、撮像素子の特性に応じて、適宜に組み合わせて適用することが可能である。
【０１０５】
図２０は、第５の変形例における第４の変形例に関して、プレフィルタ２２における処理を説明するための図である。図２０に示した例は、撮像素子の特性に起因して、Ｙ信号及びＶ信号に関しては比較的大きなノイズが発生しており、Ｋ信号に関しては比較的小さなノイズが発生しており、Ｕ信号に関してはノイズが発生していない場合を想定している。このような場合には、図２０に示すように、Ｙ信号及びＶ信号に対しては２回のプレフィルタ処理を実行し、Ｋ信号に対しては１回のプレフィルタ処理を実行し、Ｕ信号に関してはプレフィルタ処理を実行しない。これにより、ノイズが発生していないＵ信号に影響を与えることなく、Ｙ信号、Ｖ信号、及びＫ信号のノイズを十分に抑制することが可能となる。
【０１０６】
なお、上記の実施の形態、第１〜第５の変形例、第５の変形例における第１〜第４の変形例は、適宜に組み合わせて適用することが可能である。
【図面の簡単な説明】
【０１０７】
【図１】本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図２】色変換部による色変換処理を説明するための図である。
【図３】画素平面内の一つのマクロブロックを示す図である。
【図４】量子化部の構成を示すブロック図である。
【図５】量子化前の周波数データを示す図である。
【図６】量子化後の周波数データを示す図である。
【図７】逆量子化部の構成を示すブロック図である。
【図８】逆量子化前の周波数データを示す図である。
【図９】逆量子化後の周波数データを示す図である。
【図１０】量子化後の周波数データを示す図である。
【図１１】量子化後の周波数データを示す図である。
【図１２】量子化後の周波数データを示す図である。
【図１３】ＨＤ Ｐｈｏｔｏのエンコーダにおけるプレフィルタ及び周波数変換部の構成を示すブロック図である。
【図１４】量子化部において量子化係数を設定するためのデータテーブルを示す図である。
【図１５】プレフィルタにおける処理を説明するための図である。
【図１６】ポストフィルタにおける処理を説明するための図である。
【図１７】プレフィルタにおける処理を説明するための図である。
【図１８】プレフィルタにおける処理を説明するための図である。
【図１９】プレフィルタにおける処理を説明するための図である。
【図２０】プレフィルタにおける処理を説明するための図である。
【符号の説明】
【０１０８】
１ 画像処理装置
２ エンコーダ
３ デコーダ
２１ 色変換部
２２，２２１，２２２ プレフィルタ
２３，２３１，２３２ 周波数変換部
２４ 量子化部
３１ 色逆変換部
３２ ポストフィルタ
３３ 周波数逆変換部
３４ 逆量子化部
【特許請求の範囲】
【請求項１】
輝度信号及び複数の色差信号に対して周波数変換処理をそれぞれ実行し、輝度信号に関する周波数データ及び複数の色差信号に関する複数の周波数データを出力する周波数変換部と、
前記周波数変換部から入力された複数の周波数データに対して量子化処理をそれぞれ実行する量子化部と
を備え、
前記量子化部は、輝度信号に関する周波数データ及び複数の色差信号に関する複数の周波数データのうち、ノイズが発生している信号に対応する一又は複数の特定の周波数データに対しては、値が「１」より大きな量子化係数を用いて量子化処理を実行し、前記特定の周波数データ以外の周波数データに対しては、値が「１」の量子化係数を用いて量子化処理を実行する、画像処理装置。
【請求項２】
前記量子化部は、前記特定の周波数データに関して、ノイズの程度に応じて量子化係数の値を可変に設定可能である、請求項１に記載の画像処理装置。
【請求項３】
前記特定の周波数データには、ハイパス成分、ローパス成分、及び直流成分が含まれ、
前記量子化部は、各成分ごとに、ノイズの程度に応じて量子化係数の値を可変に設定可能である、請求項２に記載の画像処理装置。
【請求項４】
前記周波数変換部の複数の処理単位領域にオーバーラップする領域を処理単位領域として、周波数変換処理が実行される前に、プレフィルタ処理を選択的に実行するプレフィルタと、
前記プレフィルタよりも前段に配置され、外部から入力された第１の色空間の画素信号を、輝度信号及び複数の色差信号を含む第２の色空間の画素信号に変換する色変換部と、
周波数逆変換処理を実行する周波数逆変換部と、
前記周波数逆変換部の複数の処理単位領域にオーバーラップする領域を処理単位領域として、周波数逆変換処理が実行された後に、ポストフィルタ処理を選択的に実行するポストフィルタと、
前記ポストフィルタよりも後段に配置され、第２の色空間の画素信号を第１の色空間の画素信号に逆変換する色逆変換部と
をさらに備え、
前記プレフィルタは、前記色変換部から入力された輝度信号及び複数の色差信号のうち、ノイズが発生している信号に対応する一又は複数の特定の信号に対して、プレフィルタ処理を実行し、
前記ポストフィルタは、前記特定の信号に対して、ポストフィルタ処理を実行しない、請求項１〜３のいずれか一つに記載の画像処理装置。
【請求項５】
前記特定の信号に対して実行するプレフィルタ処理の回数を、一回又は複数回に設定可能である、請求項４に記載の画像処理装置。
【請求項１】
輝度信号及び複数の色差信号に対して周波数変換処理をそれぞれ実行し、輝度信号に関する周波数データ及び複数の色差信号に関する複数の周波数データを出力する周波数変換部と、
前記周波数変換部から入力された複数の周波数データに対して量子化処理をそれぞれ実行する量子化部と
を備え、
前記量子化部は、輝度信号に関する周波数データ及び複数の色差信号に関する複数の周波数データのうち、ノイズが発生している信号に対応する一又は複数の特定の周波数データに対しては、値が「１」より大きな量子化係数を用いて量子化処理を実行し、前記特定の周波数データ以外の周波数データに対しては、値が「１」の量子化係数を用いて量子化処理を実行する、画像処理装置。
【請求項２】
前記量子化部は、前記特定の周波数データに関して、ノイズの程度に応じて量子化係数の値を可変に設定可能である、請求項１に記載の画像処理装置。
【請求項３】
前記特定の周波数データには、ハイパス成分、ローパス成分、及び直流成分が含まれ、
前記量子化部は、各成分ごとに、ノイズの程度に応じて量子化係数の値を可変に設定可能である、請求項２に記載の画像処理装置。
【請求項４】
前記周波数変換部の複数の処理単位領域にオーバーラップする領域を処理単位領域として、周波数変換処理が実行される前に、プレフィルタ処理を選択的に実行するプレフィルタと、
前記プレフィルタよりも前段に配置され、外部から入力された第１の色空間の画素信号を、輝度信号及び複数の色差信号を含む第２の色空間の画素信号に変換する色変換部と、
周波数逆変換処理を実行する周波数逆変換部と、
前記周波数逆変換部の複数の処理単位領域にオーバーラップする領域を処理単位領域として、周波数逆変換処理が実行された後に、ポストフィルタ処理を選択的に実行するポストフィルタと、
前記ポストフィルタよりも後段に配置され、第２の色空間の画素信号を第１の色空間の画素信号に逆変換する色逆変換部と
をさらに備え、
前記プレフィルタは、前記色変換部から入力された輝度信号及び複数の色差信号のうち、ノイズが発生している信号に対応する一又は複数の特定の信号に対して、プレフィルタ処理を実行し、
前記ポストフィルタは、前記特定の信号に対して、ポストフィルタ処理を実行しない、請求項１〜３のいずれか一つに記載の画像処理装置。
【請求項５】
前記特定の信号に対して実行するプレフィルタ処理の回数を、一回又は複数回に設定可能である、請求項４に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２００９−２３２２１８（Ｐ２００９−２３２２１８Ａ）
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願番号】特願２００８−７５９６６（Ｐ２００８−７５９６６）
【出願日】平成２０年３月２４日（２００８．３．２４）
【出願人】（５９１１２８４５３）株式会社メガチップス (322)
【Ｆターム（参考）】
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願日】平成２０年３月２４日（２００８．３．２４）
【出願人】（５９１１２８４５３）株式会社メガチップス (322)
【Ｆターム（参考）】
[ Back to top ]