画像処理装置及び画像処理方法
【課題】鮮鋭化処理による画質の改善に影響することなく、符号化に伴って発生するノイズを低減することを可能とする。
【解決手段】画像処理装置１は、符号化された符号化動画像を復号化する復号化部１０と、復号化された復号化動画像に対して第１の鮮鋭化処理を行い、第１の鮮鋭化処理が施された動画像に対して、第１の鮮鋭化処理に要する処理時間とは異なる処理時間を要する第２の鮮鋭化処理を行う鮮鋭化処理部５０と、を備える。画像処理装置１は、復号化動画像に含まれる、符号化に伴って発生するノイズを第１の鮮鋭化処理で除去する。
【解決手段】画像処理装置１は、符号化された符号化動画像を復号化する復号化部１０と、復号化された復号化動画像に対して第１の鮮鋭化処理を行い、第１の鮮鋭化処理が施された動画像に対して、第１の鮮鋭化処理に要する処理時間とは異なる処理時間を要する第２の鮮鋭化処理を行う鮮鋭化処理部５０と、を備える。画像処理装置１は、復号化動画像に含まれる、符号化に伴って発生するノイズを第１の鮮鋭化処理で除去する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、動画像の伝送、記録を行う場合には、伝送効率、圧縮効率を高めるために符号化が行われる。一方、符号化された動画像を受信する受信側、再生側では、符号化された動画像の復号化と、復号化した動画像に対して、符号化に伴って発生するブロックノイズ／モスキートノイズを低減するためのノイズ低減（ＮＲ）処理と、画質を改善するための鮮鋭化処理とが行われる。
【０００３】
この復号化した動画像に対して、ノイズ低減処理と、鮮鋭化処理とを行う従来技術としては、特許文献１が知られている。特許文献１には、復号処理した際に得られたフレーム符号化に関する情報を用いて、輪郭補正やノイズ低減処理の画質補正処理を行うことが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１３５５７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、鮮鋭化処理と、ブロックノイズ／モスキートノイズを低減するためのノイズ低減処理とは互いに両立させることが難しく、上記従来技術をもってしても、鮮鋭化処理による画質の改善に影響することなく、符号化に伴って発生するノイズを低減することはできなかった。
【０００６】
本発明は、上記に鑑みてなされたものであって、鮮鋭化処理による画質の改善に影響することなく、符号化に伴って発生するノイズを低減することを可能とする画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明の画像処理装置は、符号化された符号化画像を復号化する復号化手段と、前記復号化手段により復号化された復号化画像に対して第１の鮮鋭化処理を行う第１の鮮鋭化手段と、前記第１の鮮鋭化処理が施された画像に対して、前記第１の鮮鋭化処理に要する処理時間とは異なる処理時間を要する第２の鮮鋭化処理を行う第２の鮮鋭化手段と、を備え、前記第１の鮮鋭化手段は、前記復号化画像に含まれる、符号化に伴って発生するノイズを除去する第１のノイズ除去部を有すること、を特徴とする。
【０００８】
また、本発明の画像処理方法は、符号化された符号化画像を復号化して鮮鋭化する画像処理装置の画像処理方法であって、復号化手段が、符号化された符号化画像を復号化する復号化ステップと、第１の鮮鋭化手段が、復号化された復号化画像に対して第１の鮮鋭化処理を行う第１の鮮鋭化ステップと、第２の鮮鋭化手段が、前記第１の鮮鋭化処理が施された画像に対して、前記第１の鮮鋭化処理に要する処理時間とは異なる処理時間を要する第２の鮮鋭化処理を行う第２の鮮鋭化ステップと、を含み、前記第１の鮮鋭化ステップは、前記復号化画像に含まれる、符号化に伴って発生するノイズを除去すること、を特徴とする。
【発明の効果】
【０００９】
本発明によれば、鮮鋭化処理による画質の改善に影響することなく、符号化に伴って発生するノイズを低減することを可能とする、という効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】図１は、本実施形態にかかる画像処理装置の構成を示すブロック図である。
【図２】図２は、鮮鋭化処理部の構成を示すブロック図である。
【図３】図３は、第１の鮮鋭化処理部、第２の鮮鋭化処理部の特性を示す概念図である。
【図４−１】図４−１は、鮮鋭化制御部による鮮鋭化処理の制御を説明する概念図である。
【図４−２】図４−２は、鮮鋭化制御部による鮮鋭化処理の制御を説明する概念図である。
【図４−３】図４−３は、鮮鋭化制御部による鮮鋭化処理の制御を説明する概念図である。
【図４−４】図４−４は、鮮鋭化制御部による鮮鋭化処理の制御を説明する概念図である。
【図５】図５は、本実施形態にかかる画像処理装置の動作の一例を示すフローチャートである。
【図６】図６は、鮮鋭化処理部の動作の一例を示すフローチャートである。
【図７】図７は、本実施形態にかかる画像処理装置を含むテレビジョン放送受信装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照して、画像処理装置及び画像処理方法の実施形態を詳細に説明する。本実施形態にかかる画像処理装置及び画像処理方法は、所定の符号化方式により符号化された符号化動画像信号を復号化し、鮮鋭化処理でより高精細な動画像信号に変換して出力するものであり、例えば、テレビジョン受信装置、ＨＤＤ（Hard Disk Drive）やＤＶＤ（Digital Versatile Disc）などの大容量記憶媒体への録画や、録画されたデータの再生を行う録画・再生装置、チューナやセットトップボックス等に用いられる。
【００１２】
図１は、本実施形態にかかる画像処理装置１の構成を示すブロック図である。図１に示すように、画像処理装置１は、復号化部１０、符号化実施情報取得部２０、ヒストグラム検出部３０、鮮鋭化制御部４０、鮮鋭化処理部５０を備える構成である。なお、上述した画像処理装置１の各部は、各々がマイクロコントローラなどチップで構成されてもよいし、１チップで構成されてもよい。また、画像処理装置１の各部は、ＣＰＵ（Central Processing Unit）がＲＯＭ（Read Only Memory）等に記憶されたプログラムをＲＡＭ（Random Access Memory）の作業領域に展開し、その展開したプログラムを順次実行することで実現されてもよい。
【００１３】
復号化部１０は、所定の符号化方式により符号化された符号化動画像信号１０１を復号化する。復号化部１０が復号化を行う符号化方式は、例えばＨ．２６４／ＭＰＥＧ−４ ＡＶＣ、ＭＰＥＧ−２などであってよい。復号化部１０は、復号化した動画像信号を、復号化動画像信号１０２としてヒストグラム検出部３０と鮮鋭化処理部５０へ出力する。また、復号化部１０は、符号化動画像信号１０１を復号化する際に得た、符号化動画像信号１０１の符号化を行う際に採用された符号化実施情報を符号化実施情報取得部２０へ出力する。
【００１４】
具体的には、符合化実施情報は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ、ＭＰＥＧ−２などの符号化方式にかかる情報、フィールド又はフレームのピクチャタイプ、量子化情報などである。ピクチャタイプは、ＭＰＥＧにおいて定められている動画を構成している最小単位の構造であるＧＯＰ（Group Of Pictures）を構成する、Ｉピクチャ、Ｐピクチャ、Ｂピクチャなどである。量子化情報は、符号化する際の量子化時における精度を示す情報であり、例えばフィールド又はフレームにおける量子化ステップ、マクロブロックの量子化スケールのフィールド又はフレーム平均値などである。
【００１５】
符号化実施情報取得部２０は、符号化方式出力部２１、情報出力部２２を備え、復号化部１０が出力した符号化実施情報を取得する。符号化実施情報は、その内容に応じて符号化方式出力部２１、情報出力部２２に一旦分類して取得される。具体的には、符号化実施情報における符号化方式にかかる情報は符号化方式出力部２１に分類して取得される。また、符号化実施情報におけるピクチャタイプや量子化情報などの情報は情報出力部２２に分類して取得される。
【００１６】
符号化方式出力部２１は、復号化部１０からＨ．２６４／ＭＰＥＧ−４ ＡＶＣ、ＭＰＥＧ−２などの、符号化動画像信号１０１の符号化方式の種類を取得する。符号化方式出力部２１は取得した符号化方式の種類を鮮鋭化制御部４０に出力する。情報出力部２２は、符号化動画像信号１０１のフィールド又はフレームごとに、そのフィールド又はフレームのピクチャタイプや量子化情報を復号化部１０から取得する。情報出力部２２は、取得したピクチャタイプや量子化情報を鮮鋭化制御部４０に出力する。
【００１７】
ヒストグラム検出部３０は、復号化動画像信号１０２のフィールド又はフレームごとに、周波数成分を横軸、その出現度数（画素数）を縦軸とした周波数ヒストグラムを検出する。ヒストグラム検出部３０は、検出した周波数ヒストグラムを鮮鋭化制御部４０へ出力する。この周波数ヒストグラムの検出により、鮮鋭化制御部４０では、復号化動画像信号１０２のフィールド又はフレームにおいて各周波数成分に対応する画素がどの程度存在するかを判定することができる。すなわち、主に低い周波数成分の画素から構成されるフィールド又はフレームか、主に高い周波数成分の画素から構成されるフィールド又はフレームかを判定できる。
【００１８】
鮮鋭化制御部４０は、符号化方式出力部２１から出力された符号化方式の種類、情報出力部２２から出力されたピクチャタイプや量子化情報、鮮鋭化制御部４０から出力された周波数ヒストグラムに応じて、鮮鋭化処理部５０における鮮鋭化の効果の強弱を制御する。具体的には、鮮鋭化制御部４０は、符号化方式出力部２１、情報出力部２２、鮮鋭化制御部４０からの出力に応じた制御信号１０３を鮮鋭化処理部５０に出力することで、鮮鋭化処理部５０における鮮鋭化の効果の強弱を制御する（詳細は後述する）。
【００１９】
鮮鋭化処理部５０は、入力される復号化動画像信号１０２を高解像度化するための画像処理（鮮鋭化処理）を施して、復号化動画像信号１０２以上の高解像度の動画像信号１０４を生成する。例えば、鮮鋭化処理部５０は、１４４０×１０８０の解像度の復号化動画像信号１０２からＨＤ解像度（１９２０×１０８０）の動画像信号１０４を生成する。また、鮮鋭化処理部５０では、鮮鋭化制御部４０からの制御信号１０３を用いて鮮鋭化処理を行う。
【００２０】
ここで、鮮鋭化処理とは、入力された動画像信号に含まれる所定の画像信号を強調化し、その入力された動画像信号以上の解像度の動画像信号を生成する処理である。この鮮鋭化処理には、入力された動画像信号と鮮鋭化処理後の動画像信号の解像度が同じであり、強調化のみが行われる場合も含まれる。また、鮮鋭化処理には、第１解像度であるＳＤ解像度（７２０×４８０）や中解像度（１４４０×１０８０）の画像信号から本来の画素値を推定して画素を増やすことにより、第１解像度よりも高解像度な第２解像度（例えばＨＤ解像度）である画像信号を復元する処理（超解像処理）が含まれる。
【００２１】
ここで、本来の画素値とは、例えば、第１解像度の画像信号を得たときと同じ被写体を、第２解像度の画像信号の画素を持つカメラで撮像したときに得られる画像信号の各画素が持つ値を指す。
【００２２】
また、「推定して画素を増やす」とは、画像の特徴を捕らえて、相関性があるという画像の特徴を利用して周辺（フレーム内またはフレーム間）の画像から本来の画素値を推定して画素を増やすことを意味する。
【００２３】
ただし、鮮鋭化処理部５０における超解像処理（鮮鋭化処理）の手法は、上記に限定されるものではなく、低解像度または中解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する処理を一例として、あらゆる手法を適用することができる。超解像処理には、映像そのものの解像度ヒストグラムを分析し、その解像度に応じて最適な高画質処理を行うことも含む。例えば、ＨＤ解像度（１９２０×１０８０）で受信した映像信号の、映像そのものの解像度ヒストグラムを分析し、その解像度（例えば、１９２０×１０８０の解像度）に応じた鮮鋭化処理を含む。この場合は、超解像処理による解像度の変更はないが、画像が視聴者にもたらす解像感を向上させることができる。
【００２４】
ここで、鮮鋭化処理部５０の構成を図２を参照して説明する。図２は、鮮鋭化処理部５０の構成を示すブロック図である。図２に示すように、鮮鋭化処理部５０は、復号化動画像信号１０２に対して上述した鮮鋭化処理を行う第１の鮮鋭化処理部５１と、第１の鮮鋭化処理部５１により鮮鋭化処理が施された動画像に対して上述した鮮鋭化処理を行う第２の鮮鋭化処理部５２とを備える。
【００２５】
第１の鮮鋭化処理部５１と第２の鮮鋭化処理部５２とは、例えば個別のチップにより構成されており、第１の鮮鋭化処理部５１が行う鮮鋭化処理に要する処理時間と、第２の鮮鋭化処理部５２が行う鮮鋭化処理に要する処理時間とは互いに異なる処理時間となっており、第２の鮮鋭化処理部５２の鮮鋭化処理の方が処理時間を要するものとなっている。この鮮鋭化処理に要する処理時間の違いは、チップの性能差、アルゴリズムの違い、鮮鋭化処理の精度の違いなどにより生じるものである。例えば、鮮鋭化処理において、本来の画素値を推定して増やした画素を元の画像信号と比較して検証し、さらに誤差を少なくするように高解像度の画像信号を復元する場合は、復元と検証とが繰り返されるため、処理時間を要するものとなる。また、例えば第１の鮮鋭化処理部５１のチップと、第２の鮮鋭化処理部５２のチップとが行うソフトウエア処理や演算処理の早さに違いがあるとすると、同じデータ量の画像信号に対して鮮鋭化処理を行った場合や、同じ効果が得られる同等の鮮鋭化処理を行った場合に、第１の鮮鋭化処理部５１では０．１秒かかるところ、第２の鮮鋭化処理部５２では０．２秒かかるなどのように、第２の鮮鋭化処理部５２の鮮鋭化処理の方が処理時間を要するものとなる。
【００２６】
具体的には、第１の鮮鋭化処理部５１は、ＤＮＲ部５１０、ＩＰ部５１１、超解像フィルタ部５１２、ＮＲ部５１３、映像処理部５１４を備える。また、第２の鮮鋭化処理部５２は、ＮＲ部５２０、超解像フィルタ部５２１、映像処理部５２２を備える。
【００２７】
ＤＮＲ部５１０（ダイナミックノイズリダクション）は、複数のフレーム又はフィールドの間で平均するなどの演算を行い、復号化動画像信号１０２に含まれるランダムなノイズを取り除き、ＩＰ部５１１へ出力する。ＩＰ部５１１は、入力された動画像信号を、インターレース方式からプログレッシブ方式に変換して、超解像フィルタ部５１２へ出力する。
【００２８】
超解像フィルタ部５１２は、鮮鋭化の効果（ゲイン調整や微小信号のコアリング調整）として使用されるフィルタであり、フィルタ後の動画像をＮＲ部５１３へ出力する。なお、超解像フィルタ部５１２における鮮鋭化の効果は、制御信号１０３をもとに制御される。例えば、制御信号１０３により、ゲインを大きくする、微小信号のコアリングを小さくすることで、鮮鋭化の効果を大きくすることができる。逆に、ゲインを小さくする、微小信号のコアリングを大きくすることで、鮮鋭化の効果を小さくすることができる。
【００２９】
第１のノイズ除去部としてのＮＲ部５１３（ノイズリダクション）は、ＭＰＥＧなどの符号化された動画像に特有なノイズを除去し、ノイズ除去後の動画像を映像処理部５１４へ出力する。具体的には、動きの激しい部分のブロックノイズ（モザイク状のひずみ）や、文字のエッジ部分などのモスキートノイズ（文字の輪郭に蚊が飛んでいるようなノイズ）を除去する。映像処理部５１４は、本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する処理を行う。
【００３０】
第２のノイズ除去部としてのＮＲ部５２０は、第１の鮮鋭化処理部５１により鮮鋭化処理が施された動画像からインパルスノイズ（白点状のノイズ）を除去し、ノイズ除去後の動画像を超解像フィルタ部５２１へ出力する。これにより、第１の鮮鋭化処理部５１の特性（詳細は後述する）のために除去できなかった振幅の大きなインパルスノイズを除去できる。
【００３１】
超解像フィルタ部５１２は、超解像フィルタ部５１２と同様、鮮鋭化の効果として使用されるフィルタであり、フィルタ後の動画像を映像処理部５２２へ出力する。映像処理部５２２は、映像処理部５１４と同様、本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する処理を行う。
【００３２】
ここで、第１の鮮鋭化処理部５１、第２の鮮鋭化処理部５２の特性について説明する。図３は、第１の鮮鋭化処理部５１、第２の鮮鋭化処理部５２の特性を示す概念図である。図３に例示した第１の鮮鋭化処理部５１、第２の鮮鋭化処理部５２の特性の違いは、超解像フィルタ部５１２及び超解像フィルタ部５２１のフィルタ特性の違いにより生じるものである。
【００３３】
具体的には、図３に示すように、第２の鮮鋭化処理部５２には、所定のレベル以下の振幅の成分には処理を働かなくするコアリングが設定されている。したがって、第２の鮮鋭化処理部５２は、予め設定されたレベルよりも振幅の大きい画素成分に対して鮮鋭化処理を行う。逆に、第１の鮮鋭化処理部５１は、第２の鮮鋭化処理部５２にコアリングとして設定されたレベル以下の振幅の小さい画素成分に対して鮮鋭化処理を行う。
【００３４】
上述したように、符号化された動画像に特有なノイズは、鮮鋭化処理に要する処理時間が短い第１の鮮鋭化処理部５１側で除去される。第２の鮮鋭化処理部５２では、第１の鮮鋭化処理部５１よりも処理に要する時間が長くタイムラグが生じてしまうため、動画像に特有な振幅の小さいノイズの除去効果は低い。したがって、処理時間が短い第１の鮮鋭化処理部５１側で符号化された動画像に特有なノイズを除去することで、第２の鮮鋭化処理部５２側の画質に影響を与えることなく、効果的なノイズ除去を行うことが可能となる。また、符号化された動画像に特有なノイズを除去した後に、第２の鮮鋭化処理部５２で振幅の大きい画素成分に対して鮮鋭化処理を行うようにしているため、符号化された動画像に特有なノイズが鮮鋭化処理における画質へ及ぼす影響を、最小限にすることが可能となる。
【００３５】
次に、鮮鋭化制御部４０による鮮鋭化処理部５０の制御について説明する。図４−１、図４−２、図４−３、図４−４は、鮮鋭化制御部４０による鮮鋭化処理の制御を説明する概念図である。図４−１に示すように、鮮鋭化制御部４０は、情報出力部２２により取得された符号化動画像信号１０１の量子化の精度を示す量子化情報（量子化ステップ、量子化スケールなど）の大小、すなわち量子化の精度の高低を条件に、鮮鋭化処理部５０における鮮鋭化の効果の強弱を制御する。
【００３６】
より具体的には、量子化ステップ、量子化スケールが大きく、符号化動画像信号１０１の量子化の精度が低い場合は、超解像フィルタ部５１２、５２１における鮮鋭化の効果を弱くする制御信号１０３を鮮鋭化処理部５０へ出力し、鮮鋭化処理部５０における鮮鋭化の効果を弱くする。逆に、量子化ステップ、量子化スケールが小さく、符号化動画像信号１０１の量子化の精度が高い場合は、超解像フィルタ部５１２、５２１における鮮鋭化の効果を強くする制御信号１０３を鮮鋭化処理部５０へ出力し、鮮鋭化処理部５０における鮮鋭化の効果を強くする。
【００３７】
量子化ステップ、量子化スケールが大きく、符号化動画像信号１０１の量子化の精度が低い場合は符号化歪みが発生しやすい。この符号化歪みによる歪成分を含む画像信号に鮮鋭化を強く施すと、画質劣化を引き起こすことがある。したがって、符号化動画像信号１０１の量子化の精度が低い場合は、鮮鋭化の効果を弱くすることで、符号化歪みによる歪成分が鮮鋭化処理により増幅されることを抑制することができる。
【００３８】
また、図４−２に示すように、鮮鋭化制御部４０は、符号化方式出力部２１により取得された符号化動画像信号１０１の符号化方式を条件に、鮮鋭化処理部５０における鮮鋭化の効果の強弱を制御する。より具体的には、符号化方式がＭＰＥＧ−２の場合には、超解像フィルタ部５１２、５２１における鮮鋭化の効果を弱くする制御信号１０３を鮮鋭化処理部５０へ出力し、鮮鋭化処理部５０における鮮鋭化の効果を弱くする。逆に、符号化方式がＨ．２６４／ＭＰＥＧ−４ ＡＶＣの場合には、超解像フィルタ部５１２、５２１における鮮鋭化の効果を強くする制御信号１０３を鮮鋭化処理部５０へ出力し、鮮鋭化処理部５０における鮮鋭化の効果を強くする。
【００３９】
符号化方式がＭＰＥＧ−２の場合は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣに比べて符号化歪みが発生しやすい。したがって、符号化方式がＭＰＥＧ−２の場合は、鮮鋭化の効果を弱くすることで、符号化歪みによる歪成分が鮮鋭化処理により増幅されることを抑制することができる。
【００４０】
また、図４−３に示すように、鮮鋭化制御部４０は、情報出力部２２により取得された符号化動画像信号１０１のピクチャタイプを条件に、鮮鋭化処理部５０における鮮鋭化の効果の強弱を制御する。より具体的には、ピクチャタイプがＩピクチャである場合には、超解像フィルタ部５１２、５２１における鮮鋭化の効果を弱くする制御信号１０３を鮮鋭化処理部５０へ出力し、鮮鋭化処理部５０における鮮鋭化の効果を弱くする。逆に、ピクチャタイプがＢ、Ｐピクチャの場合には、超解像フィルタ部５１２、５２１における鮮鋭化の効果を強くする制御信号１０３を鮮鋭化処理部５０へ出力し、鮮鋭化処理部５０における鮮鋭化の効果を強くする。
【００４１】
Ｉピクチャは、符号化信号から単独で生成される。Ｐピクチャは、一方向の動き補償予測を用いて生成されるピクチャであり、ＧＯＰにおけるＩピクチャ及びＰピクチャの差分情報を元に生成される。Ｂピクチャは、双方向予測を用いて生成されるピクチャであり、前後のＩピクチャ又はＰピクチャからの差分情報を元に生成される。このため、ＧＯＰ周期では、Ｉピクチャに含まれる小振幅の差分（ノイズ／ディテール成分）が周期的な揺らぎとして動画像に現れる。よって、ピクチャタイプがＩピクチャである場合は、鮮鋭化の効果を弱くすることで、周期的な揺らぎが鮮鋭化処理により増幅されることを抑制することができる。
【００４２】
また、図４−４に示すように、鮮鋭化制御部４０は、ヒストグラム検出部３０により検出された復号化動画像信号１０２の周波数ヒストグラムを条件に、鮮鋭化処理部５０における鮮鋭化の効果の強弱を制御する。より具体的には、復号化動画像信号１０２が主に高い周波数成分の画素から構成されるフィールド又はフレームの場合には、超解像フィルタ部５１２、５２１における鮮鋭化の効果を弱くする制御信号１０３を鮮鋭化処理部５０へ出力し、鮮鋭化処理部５０における鮮鋭化の効果を弱くする。逆に、復号化動画像信号１０２が主に低い周波数成分の画素から構成されるフィールド又はフレームの場合には、超解像フィルタ部５１２、５２１における鮮鋭化の効果を強くする制御信号１０３を鮮鋭化処理部５０へ出力し、鮮鋭化処理部５０における鮮鋭化の効果を強くする。
【００４３】
このように、主に高い周波数成分の画素から構成されるフィールド又はフレームの場合は、鮮鋭化の効果を弱くすることで、高い周波数成分に含まれるノイズが鮮鋭化処理により増幅されることを抑制することができる。
【００４４】
次に、画像処理装置１の動作を図５、図６を参照して説明する。図５は、本実施形態にかかる画像処理装置１の動作の一例を示すフローチャートである。
【００４５】
図５に示すように、符号化動画像信号１０１が復号化部１０に入力されると（Ｓ１）、復号化部１０は、所定の符号化方式により符号化された符号化動画像信号１０１を復号化する（Ｓ２）。次いで、符号化実施情報取得部２０は、符号化実施情報を取得し、取得した符号化実施情報を鮮鋭化制御部４０へ出力する（Ｓ３）。具体的には、符号化実施情報取得部２０の符号化方式出力部２１から符号化動画像信号１０１の符号化方式の種類が鮮鋭化制御部４０に出力され、情報出力部２２から符号化動画像信号１０１のピクチャタイプや量子化情報が鮮鋭化制御部４０に出力される。
【００４６】
次いで、ヒストグラム検出部３０は、復号化動画像信号１０２のフィールド又はフレームごとに周波数ヒストグラムを検出し、検出した周波数ヒストグラムを鮮鋭化制御部４０へ出力する（Ｓ４）。次いで、鮮鋭化処理部５０は、鮮鋭化制御部４０の制御のもと、入力される復号化動画像信号１０２に鮮鋭化処理を施して、復号化動画像信号１０２以上の高解像度の動画像信号１０４を生成する（Ｓ５）。具体的には、鮮鋭化制御部４０は符号化実施情報取得部２０からの出力により取得した符号化実施情報や、周波数ヒストグラムをもとにした制御信号１０３を鮮鋭化処理部５０へ出力する。鮮鋭化処理部５０では、制御信号１０３に応じた鮮鋭化処理が復号化動画像信号１０２に対して行われ、動画像信号１０４を生成する。すなわち、復号化動画像信号１０２に対する鮮鋭化処理部５０の鮮鋭化処理では、鮮鋭化の効果の強弱が制御信号１０３をもとに調整される。
【００４７】
図６は、鮮鋭化処理部５０の動作の一例を示すフローチャートであり、より具体的には鮮鋭化処理部５０における鮮鋭化処理の一例を示している。図６に示すように、鮮鋭化処理部５０に復号化動画像信号１０２が入力されると（Ｓ５１）、第１の鮮鋭化処理部５１は、復号化動画像信号１０２に対する鮮鋭化処理（第１の鮮鋭化処理）を行う（Ｓ５２）。次いで、第２の鮮鋭化処理部５２は、第１の鮮鋭化処理部５１により鮮鋭化処理が施された動画像に対する鮮鋭化処理（第２の鮮鋭化処理）を行う（Ｓ５３）。次いで、第２の鮮鋭化処理部５２は、生成した高解像度画像を動画像信号１０４として出力する（Ｓ５４）。
【００４８】
次に、上述した画像処理装置１がテレビジョン受信装置に適用された例を図７を参照して説明する。図７は、本実施形態にかかる画像処理装置１を含むテレビジョン放送受信装置７００の構成を示すブロック図である。
【００４９】
図７に示すように、図１を参照して説明した画像処理装置１は、テレビジョン放送受信装置７００の信号処理部７３４内に設けられている。テレビジョン放送受信装置７００において、デジタルテレビジョン放送受信用のアンテナ７２２で受信したデジタルテレビジョン放送信号は、入力端子７２３を介してチューナ部７２４に供給される。このチューナ部７２４は、入力されたデジタルテレビジョン放送信号から所望のチャンネルの信号を選局して復調している。
【００５０】
また、チューナ部７２４の出力は、デコーダ部７２５でデコードされるとともに、直接セレクタ７２６にも供給されている。この信号から映像・音声情報などがセレクタ７２６で分離される。セレクタ７２６で分離された映像・音声情報は、制御部７３５を介してＨＤＤユニットにて記録されてもよい。
【００５１】
アナログテレビジョン放送受信用のアンテナ７２７で受信したアナログテレビジョン放送信号は、入力端子７２８を介してチューナ部７２９に供給される。このチューナ部７２９は、入力されたアナログテレビジョン放送信号から所望のチャンネルの信号を選局して復調している。チューナ部７２９から出力された信号は、Ａ／Ｄ変換部７３０（Analog-To-Digital）によりデジタル化された後、セレクタ７２６に供給される。
【００５２】
セレクタ７２６は、２種類の入力デジタル映像及び音声信号から１つを選択して、信号処理部７３４に供給している。信号処理部７３４は、入力されたデジタル映像信号に所定の信号処理を施して、映像表示器７１４での映像表示に供させている。映像表示器７１４としては、例えば液晶ディプレイやプラズマディスプレイ等のフラットパネルディスプレイが採用される。また、信号処理部７３４は、入力されたデジタル音声信号に所定の信号処理を施し、アナログ化してスピーカ７１５に出力することにより、音声再生を行っている。
【００５３】
ここで、テレビジョン放送受信装置７００では、上述した各種の受信動作を含む種々の動作が制御部７３５によって統括的に制御されている。制御部７３５は、ＣＰＵ等を内蔵したマイクロプロセッサであり、操作キーなどの操作部７１６からの操作情報、又はリモートコントローラ７１７から送信された操作情報を受光部７１８を介して受けることにより、その操作内容が反映されるように各部を制御している。この場合、制御部７３５は、メモリ７３６を使用している。メモリ７３６は、主として、ＣＰＵが実行する制御プログラムを格納したＲＯＭと、ＣＰＵに作業エリアを提供するためのＲＡＭと、各種設定情報及び制御情報等が格納される不揮発性メモリとを備えている。
【００５４】
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。例えば、上述した説明では動画像のフィールド又はフレームに対する処理を例示したが、符号化された画像は静止画像であってよく、一枚の静止画像に対して同様の処理を行ってもよいことは言うまでもないことである。
【符号の説明】
【００５５】
１ 画像処理装置
１０ 復号化部
２０ 符号化実施情報取得部
２１ 符号化方式出力部
２２ 情報出力部
３０ ヒストグラム検出部
４０ 鮮鋭化制御部
５０ 鮮鋭化処理部
５１ 第１の鮮鋭化処理部
５２ 第２の鮮鋭化処理部
１０１ 符号化動画像信号
１０２ 復号化動画像信号
１０３ 制御信号
１０４ 動画像信号
５１０ ＤＮＲ部
５１１ ＩＰ部
５１２、５２１ 超解像フィルタ部
５１３、５２０ ＮＲ部
５１４、５２２ 映像処理部
７００ テレビジョン放送受信装置
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、動画像の伝送、記録を行う場合には、伝送効率、圧縮効率を高めるために符号化が行われる。一方、符号化された動画像を受信する受信側、再生側では、符号化された動画像の復号化と、復号化した動画像に対して、符号化に伴って発生するブロックノイズ／モスキートノイズを低減するためのノイズ低減（ＮＲ）処理と、画質を改善するための鮮鋭化処理とが行われる。
【０００３】
この復号化した動画像に対して、ノイズ低減処理と、鮮鋭化処理とを行う従来技術としては、特許文献１が知られている。特許文献１には、復号処理した際に得られたフレーム符号化に関する情報を用いて、輪郭補正やノイズ低減処理の画質補正処理を行うことが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１３５５７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、鮮鋭化処理と、ブロックノイズ／モスキートノイズを低減するためのノイズ低減処理とは互いに両立させることが難しく、上記従来技術をもってしても、鮮鋭化処理による画質の改善に影響することなく、符号化に伴って発生するノイズを低減することはできなかった。
【０００６】
本発明は、上記に鑑みてなされたものであって、鮮鋭化処理による画質の改善に影響することなく、符号化に伴って発生するノイズを低減することを可能とする画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明の画像処理装置は、符号化された符号化画像を復号化する復号化手段と、前記復号化手段により復号化された復号化画像に対して第１の鮮鋭化処理を行う第１の鮮鋭化手段と、前記第１の鮮鋭化処理が施された画像に対して、前記第１の鮮鋭化処理に要する処理時間とは異なる処理時間を要する第２の鮮鋭化処理を行う第２の鮮鋭化手段と、を備え、前記第１の鮮鋭化手段は、前記復号化画像に含まれる、符号化に伴って発生するノイズを除去する第１のノイズ除去部を有すること、を特徴とする。
【０００８】
また、本発明の画像処理方法は、符号化された符号化画像を復号化して鮮鋭化する画像処理装置の画像処理方法であって、復号化手段が、符号化された符号化画像を復号化する復号化ステップと、第１の鮮鋭化手段が、復号化された復号化画像に対して第１の鮮鋭化処理を行う第１の鮮鋭化ステップと、第２の鮮鋭化手段が、前記第１の鮮鋭化処理が施された画像に対して、前記第１の鮮鋭化処理に要する処理時間とは異なる処理時間を要する第２の鮮鋭化処理を行う第２の鮮鋭化ステップと、を含み、前記第１の鮮鋭化ステップは、前記復号化画像に含まれる、符号化に伴って発生するノイズを除去すること、を特徴とする。
【発明の効果】
【０００９】
本発明によれば、鮮鋭化処理による画質の改善に影響することなく、符号化に伴って発生するノイズを低減することを可能とする、という効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】図１は、本実施形態にかかる画像処理装置の構成を示すブロック図である。
【図２】図２は、鮮鋭化処理部の構成を示すブロック図である。
【図３】図３は、第１の鮮鋭化処理部、第２の鮮鋭化処理部の特性を示す概念図である。
【図４−１】図４−１は、鮮鋭化制御部による鮮鋭化処理の制御を説明する概念図である。
【図４−２】図４−２は、鮮鋭化制御部による鮮鋭化処理の制御を説明する概念図である。
【図４−３】図４−３は、鮮鋭化制御部による鮮鋭化処理の制御を説明する概念図である。
【図４−４】図４−４は、鮮鋭化制御部による鮮鋭化処理の制御を説明する概念図である。
【図５】図５は、本実施形態にかかる画像処理装置の動作の一例を示すフローチャートである。
【図６】図６は、鮮鋭化処理部の動作の一例を示すフローチャートである。
【図７】図７は、本実施形態にかかる画像処理装置を含むテレビジョン放送受信装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照して、画像処理装置及び画像処理方法の実施形態を詳細に説明する。本実施形態にかかる画像処理装置及び画像処理方法は、所定の符号化方式により符号化された符号化動画像信号を復号化し、鮮鋭化処理でより高精細な動画像信号に変換して出力するものであり、例えば、テレビジョン受信装置、ＨＤＤ（Hard Disk Drive）やＤＶＤ（Digital Versatile Disc）などの大容量記憶媒体への録画や、録画されたデータの再生を行う録画・再生装置、チューナやセットトップボックス等に用いられる。
【００１２】
図１は、本実施形態にかかる画像処理装置１の構成を示すブロック図である。図１に示すように、画像処理装置１は、復号化部１０、符号化実施情報取得部２０、ヒストグラム検出部３０、鮮鋭化制御部４０、鮮鋭化処理部５０を備える構成である。なお、上述した画像処理装置１の各部は、各々がマイクロコントローラなどチップで構成されてもよいし、１チップで構成されてもよい。また、画像処理装置１の各部は、ＣＰＵ（Central Processing Unit）がＲＯＭ（Read Only Memory）等に記憶されたプログラムをＲＡＭ（Random Access Memory）の作業領域に展開し、その展開したプログラムを順次実行することで実現されてもよい。
【００１３】
復号化部１０は、所定の符号化方式により符号化された符号化動画像信号１０１を復号化する。復号化部１０が復号化を行う符号化方式は、例えばＨ．２６４／ＭＰＥＧ−４ ＡＶＣ、ＭＰＥＧ−２などであってよい。復号化部１０は、復号化した動画像信号を、復号化動画像信号１０２としてヒストグラム検出部３０と鮮鋭化処理部５０へ出力する。また、復号化部１０は、符号化動画像信号１０１を復号化する際に得た、符号化動画像信号１０１の符号化を行う際に採用された符号化実施情報を符号化実施情報取得部２０へ出力する。
【００１４】
具体的には、符合化実施情報は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ、ＭＰＥＧ−２などの符号化方式にかかる情報、フィールド又はフレームのピクチャタイプ、量子化情報などである。ピクチャタイプは、ＭＰＥＧにおいて定められている動画を構成している最小単位の構造であるＧＯＰ（Group Of Pictures）を構成する、Ｉピクチャ、Ｐピクチャ、Ｂピクチャなどである。量子化情報は、符号化する際の量子化時における精度を示す情報であり、例えばフィールド又はフレームにおける量子化ステップ、マクロブロックの量子化スケールのフィールド又はフレーム平均値などである。
【００１５】
符号化実施情報取得部２０は、符号化方式出力部２１、情報出力部２２を備え、復号化部１０が出力した符号化実施情報を取得する。符号化実施情報は、その内容に応じて符号化方式出力部２１、情報出力部２２に一旦分類して取得される。具体的には、符号化実施情報における符号化方式にかかる情報は符号化方式出力部２１に分類して取得される。また、符号化実施情報におけるピクチャタイプや量子化情報などの情報は情報出力部２２に分類して取得される。
【００１６】
符号化方式出力部２１は、復号化部１０からＨ．２６４／ＭＰＥＧ−４ ＡＶＣ、ＭＰＥＧ−２などの、符号化動画像信号１０１の符号化方式の種類を取得する。符号化方式出力部２１は取得した符号化方式の種類を鮮鋭化制御部４０に出力する。情報出力部２２は、符号化動画像信号１０１のフィールド又はフレームごとに、そのフィールド又はフレームのピクチャタイプや量子化情報を復号化部１０から取得する。情報出力部２２は、取得したピクチャタイプや量子化情報を鮮鋭化制御部４０に出力する。
【００１７】
ヒストグラム検出部３０は、復号化動画像信号１０２のフィールド又はフレームごとに、周波数成分を横軸、その出現度数（画素数）を縦軸とした周波数ヒストグラムを検出する。ヒストグラム検出部３０は、検出した周波数ヒストグラムを鮮鋭化制御部４０へ出力する。この周波数ヒストグラムの検出により、鮮鋭化制御部４０では、復号化動画像信号１０２のフィールド又はフレームにおいて各周波数成分に対応する画素がどの程度存在するかを判定することができる。すなわち、主に低い周波数成分の画素から構成されるフィールド又はフレームか、主に高い周波数成分の画素から構成されるフィールド又はフレームかを判定できる。
【００１８】
鮮鋭化制御部４０は、符号化方式出力部２１から出力された符号化方式の種類、情報出力部２２から出力されたピクチャタイプや量子化情報、鮮鋭化制御部４０から出力された周波数ヒストグラムに応じて、鮮鋭化処理部５０における鮮鋭化の効果の強弱を制御する。具体的には、鮮鋭化制御部４０は、符号化方式出力部２１、情報出力部２２、鮮鋭化制御部４０からの出力に応じた制御信号１０３を鮮鋭化処理部５０に出力することで、鮮鋭化処理部５０における鮮鋭化の効果の強弱を制御する（詳細は後述する）。
【００１９】
鮮鋭化処理部５０は、入力される復号化動画像信号１０２を高解像度化するための画像処理（鮮鋭化処理）を施して、復号化動画像信号１０２以上の高解像度の動画像信号１０４を生成する。例えば、鮮鋭化処理部５０は、１４４０×１０８０の解像度の復号化動画像信号１０２からＨＤ解像度（１９２０×１０８０）の動画像信号１０４を生成する。また、鮮鋭化処理部５０では、鮮鋭化制御部４０からの制御信号１０３を用いて鮮鋭化処理を行う。
【００２０】
ここで、鮮鋭化処理とは、入力された動画像信号に含まれる所定の画像信号を強調化し、その入力された動画像信号以上の解像度の動画像信号を生成する処理である。この鮮鋭化処理には、入力された動画像信号と鮮鋭化処理後の動画像信号の解像度が同じであり、強調化のみが行われる場合も含まれる。また、鮮鋭化処理には、第１解像度であるＳＤ解像度（７２０×４８０）や中解像度（１４４０×１０８０）の画像信号から本来の画素値を推定して画素を増やすことにより、第１解像度よりも高解像度な第２解像度（例えばＨＤ解像度）である画像信号を復元する処理（超解像処理）が含まれる。
【００２１】
ここで、本来の画素値とは、例えば、第１解像度の画像信号を得たときと同じ被写体を、第２解像度の画像信号の画素を持つカメラで撮像したときに得られる画像信号の各画素が持つ値を指す。
【００２２】
また、「推定して画素を増やす」とは、画像の特徴を捕らえて、相関性があるという画像の特徴を利用して周辺（フレーム内またはフレーム間）の画像から本来の画素値を推定して画素を増やすことを意味する。
【００２３】
ただし、鮮鋭化処理部５０における超解像処理（鮮鋭化処理）の手法は、上記に限定されるものではなく、低解像度または中解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する処理を一例として、あらゆる手法を適用することができる。超解像処理には、映像そのものの解像度ヒストグラムを分析し、その解像度に応じて最適な高画質処理を行うことも含む。例えば、ＨＤ解像度（１９２０×１０８０）で受信した映像信号の、映像そのものの解像度ヒストグラムを分析し、その解像度（例えば、１９２０×１０８０の解像度）に応じた鮮鋭化処理を含む。この場合は、超解像処理による解像度の変更はないが、画像が視聴者にもたらす解像感を向上させることができる。
【００２４】
ここで、鮮鋭化処理部５０の構成を図２を参照して説明する。図２は、鮮鋭化処理部５０の構成を示すブロック図である。図２に示すように、鮮鋭化処理部５０は、復号化動画像信号１０２に対して上述した鮮鋭化処理を行う第１の鮮鋭化処理部５１と、第１の鮮鋭化処理部５１により鮮鋭化処理が施された動画像に対して上述した鮮鋭化処理を行う第２の鮮鋭化処理部５２とを備える。
【００２５】
第１の鮮鋭化処理部５１と第２の鮮鋭化処理部５２とは、例えば個別のチップにより構成されており、第１の鮮鋭化処理部５１が行う鮮鋭化処理に要する処理時間と、第２の鮮鋭化処理部５２が行う鮮鋭化処理に要する処理時間とは互いに異なる処理時間となっており、第２の鮮鋭化処理部５２の鮮鋭化処理の方が処理時間を要するものとなっている。この鮮鋭化処理に要する処理時間の違いは、チップの性能差、アルゴリズムの違い、鮮鋭化処理の精度の違いなどにより生じるものである。例えば、鮮鋭化処理において、本来の画素値を推定して増やした画素を元の画像信号と比較して検証し、さらに誤差を少なくするように高解像度の画像信号を復元する場合は、復元と検証とが繰り返されるため、処理時間を要するものとなる。また、例えば第１の鮮鋭化処理部５１のチップと、第２の鮮鋭化処理部５２のチップとが行うソフトウエア処理や演算処理の早さに違いがあるとすると、同じデータ量の画像信号に対して鮮鋭化処理を行った場合や、同じ効果が得られる同等の鮮鋭化処理を行った場合に、第１の鮮鋭化処理部５１では０．１秒かかるところ、第２の鮮鋭化処理部５２では０．２秒かかるなどのように、第２の鮮鋭化処理部５２の鮮鋭化処理の方が処理時間を要するものとなる。
【００２６】
具体的には、第１の鮮鋭化処理部５１は、ＤＮＲ部５１０、ＩＰ部５１１、超解像フィルタ部５１２、ＮＲ部５１３、映像処理部５１４を備える。また、第２の鮮鋭化処理部５２は、ＮＲ部５２０、超解像フィルタ部５２１、映像処理部５２２を備える。
【００２７】
ＤＮＲ部５１０（ダイナミックノイズリダクション）は、複数のフレーム又はフィールドの間で平均するなどの演算を行い、復号化動画像信号１０２に含まれるランダムなノイズを取り除き、ＩＰ部５１１へ出力する。ＩＰ部５１１は、入力された動画像信号を、インターレース方式からプログレッシブ方式に変換して、超解像フィルタ部５１２へ出力する。
【００２８】
超解像フィルタ部５１２は、鮮鋭化の効果（ゲイン調整や微小信号のコアリング調整）として使用されるフィルタであり、フィルタ後の動画像をＮＲ部５１３へ出力する。なお、超解像フィルタ部５１２における鮮鋭化の効果は、制御信号１０３をもとに制御される。例えば、制御信号１０３により、ゲインを大きくする、微小信号のコアリングを小さくすることで、鮮鋭化の効果を大きくすることができる。逆に、ゲインを小さくする、微小信号のコアリングを大きくすることで、鮮鋭化の効果を小さくすることができる。
【００２９】
第１のノイズ除去部としてのＮＲ部５１３（ノイズリダクション）は、ＭＰＥＧなどの符号化された動画像に特有なノイズを除去し、ノイズ除去後の動画像を映像処理部５１４へ出力する。具体的には、動きの激しい部分のブロックノイズ（モザイク状のひずみ）や、文字のエッジ部分などのモスキートノイズ（文字の輪郭に蚊が飛んでいるようなノイズ）を除去する。映像処理部５１４は、本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する処理を行う。
【００３０】
第２のノイズ除去部としてのＮＲ部５２０は、第１の鮮鋭化処理部５１により鮮鋭化処理が施された動画像からインパルスノイズ（白点状のノイズ）を除去し、ノイズ除去後の動画像を超解像フィルタ部５２１へ出力する。これにより、第１の鮮鋭化処理部５１の特性（詳細は後述する）のために除去できなかった振幅の大きなインパルスノイズを除去できる。
【００３１】
超解像フィルタ部５１２は、超解像フィルタ部５１２と同様、鮮鋭化の効果として使用されるフィルタであり、フィルタ後の動画像を映像処理部５２２へ出力する。映像処理部５２２は、映像処理部５１４と同様、本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する処理を行う。
【００３２】
ここで、第１の鮮鋭化処理部５１、第２の鮮鋭化処理部５２の特性について説明する。図３は、第１の鮮鋭化処理部５１、第２の鮮鋭化処理部５２の特性を示す概念図である。図３に例示した第１の鮮鋭化処理部５１、第２の鮮鋭化処理部５２の特性の違いは、超解像フィルタ部５１２及び超解像フィルタ部５２１のフィルタ特性の違いにより生じるものである。
【００３３】
具体的には、図３に示すように、第２の鮮鋭化処理部５２には、所定のレベル以下の振幅の成分には処理を働かなくするコアリングが設定されている。したがって、第２の鮮鋭化処理部５２は、予め設定されたレベルよりも振幅の大きい画素成分に対して鮮鋭化処理を行う。逆に、第１の鮮鋭化処理部５１は、第２の鮮鋭化処理部５２にコアリングとして設定されたレベル以下の振幅の小さい画素成分に対して鮮鋭化処理を行う。
【００３４】
上述したように、符号化された動画像に特有なノイズは、鮮鋭化処理に要する処理時間が短い第１の鮮鋭化処理部５１側で除去される。第２の鮮鋭化処理部５２では、第１の鮮鋭化処理部５１よりも処理に要する時間が長くタイムラグが生じてしまうため、動画像に特有な振幅の小さいノイズの除去効果は低い。したがって、処理時間が短い第１の鮮鋭化処理部５１側で符号化された動画像に特有なノイズを除去することで、第２の鮮鋭化処理部５２側の画質に影響を与えることなく、効果的なノイズ除去を行うことが可能となる。また、符号化された動画像に特有なノイズを除去した後に、第２の鮮鋭化処理部５２で振幅の大きい画素成分に対して鮮鋭化処理を行うようにしているため、符号化された動画像に特有なノイズが鮮鋭化処理における画質へ及ぼす影響を、最小限にすることが可能となる。
【００３５】
次に、鮮鋭化制御部４０による鮮鋭化処理部５０の制御について説明する。図４−１、図４−２、図４−３、図４−４は、鮮鋭化制御部４０による鮮鋭化処理の制御を説明する概念図である。図４−１に示すように、鮮鋭化制御部４０は、情報出力部２２により取得された符号化動画像信号１０１の量子化の精度を示す量子化情報（量子化ステップ、量子化スケールなど）の大小、すなわち量子化の精度の高低を条件に、鮮鋭化処理部５０における鮮鋭化の効果の強弱を制御する。
【００３６】
より具体的には、量子化ステップ、量子化スケールが大きく、符号化動画像信号１０１の量子化の精度が低い場合は、超解像フィルタ部５１２、５２１における鮮鋭化の効果を弱くする制御信号１０３を鮮鋭化処理部５０へ出力し、鮮鋭化処理部５０における鮮鋭化の効果を弱くする。逆に、量子化ステップ、量子化スケールが小さく、符号化動画像信号１０１の量子化の精度が高い場合は、超解像フィルタ部５１２、５２１における鮮鋭化の効果を強くする制御信号１０３を鮮鋭化処理部５０へ出力し、鮮鋭化処理部５０における鮮鋭化の効果を強くする。
【００３７】
量子化ステップ、量子化スケールが大きく、符号化動画像信号１０１の量子化の精度が低い場合は符号化歪みが発生しやすい。この符号化歪みによる歪成分を含む画像信号に鮮鋭化を強く施すと、画質劣化を引き起こすことがある。したがって、符号化動画像信号１０１の量子化の精度が低い場合は、鮮鋭化の効果を弱くすることで、符号化歪みによる歪成分が鮮鋭化処理により増幅されることを抑制することができる。
【００３８】
また、図４−２に示すように、鮮鋭化制御部４０は、符号化方式出力部２１により取得された符号化動画像信号１０１の符号化方式を条件に、鮮鋭化処理部５０における鮮鋭化の効果の強弱を制御する。より具体的には、符号化方式がＭＰＥＧ−２の場合には、超解像フィルタ部５１２、５２１における鮮鋭化の効果を弱くする制御信号１０３を鮮鋭化処理部５０へ出力し、鮮鋭化処理部５０における鮮鋭化の効果を弱くする。逆に、符号化方式がＨ．２６４／ＭＰＥＧ−４ ＡＶＣの場合には、超解像フィルタ部５１２、５２１における鮮鋭化の効果を強くする制御信号１０３を鮮鋭化処理部５０へ出力し、鮮鋭化処理部５０における鮮鋭化の効果を強くする。
【００３９】
符号化方式がＭＰＥＧ−２の場合は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣに比べて符号化歪みが発生しやすい。したがって、符号化方式がＭＰＥＧ−２の場合は、鮮鋭化の効果を弱くすることで、符号化歪みによる歪成分が鮮鋭化処理により増幅されることを抑制することができる。
【００４０】
また、図４−３に示すように、鮮鋭化制御部４０は、情報出力部２２により取得された符号化動画像信号１０１のピクチャタイプを条件に、鮮鋭化処理部５０における鮮鋭化の効果の強弱を制御する。より具体的には、ピクチャタイプがＩピクチャである場合には、超解像フィルタ部５１２、５２１における鮮鋭化の効果を弱くする制御信号１０３を鮮鋭化処理部５０へ出力し、鮮鋭化処理部５０における鮮鋭化の効果を弱くする。逆に、ピクチャタイプがＢ、Ｐピクチャの場合には、超解像フィルタ部５１２、５２１における鮮鋭化の効果を強くする制御信号１０３を鮮鋭化処理部５０へ出力し、鮮鋭化処理部５０における鮮鋭化の効果を強くする。
【００４１】
Ｉピクチャは、符号化信号から単独で生成される。Ｐピクチャは、一方向の動き補償予測を用いて生成されるピクチャであり、ＧＯＰにおけるＩピクチャ及びＰピクチャの差分情報を元に生成される。Ｂピクチャは、双方向予測を用いて生成されるピクチャであり、前後のＩピクチャ又はＰピクチャからの差分情報を元に生成される。このため、ＧＯＰ周期では、Ｉピクチャに含まれる小振幅の差分（ノイズ／ディテール成分）が周期的な揺らぎとして動画像に現れる。よって、ピクチャタイプがＩピクチャである場合は、鮮鋭化の効果を弱くすることで、周期的な揺らぎが鮮鋭化処理により増幅されることを抑制することができる。
【００４２】
また、図４−４に示すように、鮮鋭化制御部４０は、ヒストグラム検出部３０により検出された復号化動画像信号１０２の周波数ヒストグラムを条件に、鮮鋭化処理部５０における鮮鋭化の効果の強弱を制御する。より具体的には、復号化動画像信号１０２が主に高い周波数成分の画素から構成されるフィールド又はフレームの場合には、超解像フィルタ部５１２、５２１における鮮鋭化の効果を弱くする制御信号１０３を鮮鋭化処理部５０へ出力し、鮮鋭化処理部５０における鮮鋭化の効果を弱くする。逆に、復号化動画像信号１０２が主に低い周波数成分の画素から構成されるフィールド又はフレームの場合には、超解像フィルタ部５１２、５２１における鮮鋭化の効果を強くする制御信号１０３を鮮鋭化処理部５０へ出力し、鮮鋭化処理部５０における鮮鋭化の効果を強くする。
【００４３】
このように、主に高い周波数成分の画素から構成されるフィールド又はフレームの場合は、鮮鋭化の効果を弱くすることで、高い周波数成分に含まれるノイズが鮮鋭化処理により増幅されることを抑制することができる。
【００４４】
次に、画像処理装置１の動作を図５、図６を参照して説明する。図５は、本実施形態にかかる画像処理装置１の動作の一例を示すフローチャートである。
【００４５】
図５に示すように、符号化動画像信号１０１が復号化部１０に入力されると（Ｓ１）、復号化部１０は、所定の符号化方式により符号化された符号化動画像信号１０１を復号化する（Ｓ２）。次いで、符号化実施情報取得部２０は、符号化実施情報を取得し、取得した符号化実施情報を鮮鋭化制御部４０へ出力する（Ｓ３）。具体的には、符号化実施情報取得部２０の符号化方式出力部２１から符号化動画像信号１０１の符号化方式の種類が鮮鋭化制御部４０に出力され、情報出力部２２から符号化動画像信号１０１のピクチャタイプや量子化情報が鮮鋭化制御部４０に出力される。
【００４６】
次いで、ヒストグラム検出部３０は、復号化動画像信号１０２のフィールド又はフレームごとに周波数ヒストグラムを検出し、検出した周波数ヒストグラムを鮮鋭化制御部４０へ出力する（Ｓ４）。次いで、鮮鋭化処理部５０は、鮮鋭化制御部４０の制御のもと、入力される復号化動画像信号１０２に鮮鋭化処理を施して、復号化動画像信号１０２以上の高解像度の動画像信号１０４を生成する（Ｓ５）。具体的には、鮮鋭化制御部４０は符号化実施情報取得部２０からの出力により取得した符号化実施情報や、周波数ヒストグラムをもとにした制御信号１０３を鮮鋭化処理部５０へ出力する。鮮鋭化処理部５０では、制御信号１０３に応じた鮮鋭化処理が復号化動画像信号１０２に対して行われ、動画像信号１０４を生成する。すなわち、復号化動画像信号１０２に対する鮮鋭化処理部５０の鮮鋭化処理では、鮮鋭化の効果の強弱が制御信号１０３をもとに調整される。
【００４７】
図６は、鮮鋭化処理部５０の動作の一例を示すフローチャートであり、より具体的には鮮鋭化処理部５０における鮮鋭化処理の一例を示している。図６に示すように、鮮鋭化処理部５０に復号化動画像信号１０２が入力されると（Ｓ５１）、第１の鮮鋭化処理部５１は、復号化動画像信号１０２に対する鮮鋭化処理（第１の鮮鋭化処理）を行う（Ｓ５２）。次いで、第２の鮮鋭化処理部５２は、第１の鮮鋭化処理部５１により鮮鋭化処理が施された動画像に対する鮮鋭化処理（第２の鮮鋭化処理）を行う（Ｓ５３）。次いで、第２の鮮鋭化処理部５２は、生成した高解像度画像を動画像信号１０４として出力する（Ｓ５４）。
【００４８】
次に、上述した画像処理装置１がテレビジョン受信装置に適用された例を図７を参照して説明する。図７は、本実施形態にかかる画像処理装置１を含むテレビジョン放送受信装置７００の構成を示すブロック図である。
【００４９】
図７に示すように、図１を参照して説明した画像処理装置１は、テレビジョン放送受信装置７００の信号処理部７３４内に設けられている。テレビジョン放送受信装置７００において、デジタルテレビジョン放送受信用のアンテナ７２２で受信したデジタルテレビジョン放送信号は、入力端子７２３を介してチューナ部７２４に供給される。このチューナ部７２４は、入力されたデジタルテレビジョン放送信号から所望のチャンネルの信号を選局して復調している。
【００５０】
また、チューナ部７２４の出力は、デコーダ部７２５でデコードされるとともに、直接セレクタ７２６にも供給されている。この信号から映像・音声情報などがセレクタ７２６で分離される。セレクタ７２６で分離された映像・音声情報は、制御部７３５を介してＨＤＤユニットにて記録されてもよい。
【００５１】
アナログテレビジョン放送受信用のアンテナ７２７で受信したアナログテレビジョン放送信号は、入力端子７２８を介してチューナ部７２９に供給される。このチューナ部７２９は、入力されたアナログテレビジョン放送信号から所望のチャンネルの信号を選局して復調している。チューナ部７２９から出力された信号は、Ａ／Ｄ変換部７３０（Analog-To-Digital）によりデジタル化された後、セレクタ７２６に供給される。
【００５２】
セレクタ７２６は、２種類の入力デジタル映像及び音声信号から１つを選択して、信号処理部７３４に供給している。信号処理部７３４は、入力されたデジタル映像信号に所定の信号処理を施して、映像表示器７１４での映像表示に供させている。映像表示器７１４としては、例えば液晶ディプレイやプラズマディスプレイ等のフラットパネルディスプレイが採用される。また、信号処理部７３４は、入力されたデジタル音声信号に所定の信号処理を施し、アナログ化してスピーカ７１５に出力することにより、音声再生を行っている。
【００５３】
ここで、テレビジョン放送受信装置７００では、上述した各種の受信動作を含む種々の動作が制御部７３５によって統括的に制御されている。制御部７３５は、ＣＰＵ等を内蔵したマイクロプロセッサであり、操作キーなどの操作部７１６からの操作情報、又はリモートコントローラ７１７から送信された操作情報を受光部７１８を介して受けることにより、その操作内容が反映されるように各部を制御している。この場合、制御部７３５は、メモリ７３６を使用している。メモリ７３６は、主として、ＣＰＵが実行する制御プログラムを格納したＲＯＭと、ＣＰＵに作業エリアを提供するためのＲＡＭと、各種設定情報及び制御情報等が格納される不揮発性メモリとを備えている。
【００５４】
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。例えば、上述した説明では動画像のフィールド又はフレームに対する処理を例示したが、符号化された画像は静止画像であってよく、一枚の静止画像に対して同様の処理を行ってもよいことは言うまでもないことである。
【符号の説明】
【００５５】
１ 画像処理装置
１０ 復号化部
２０ 符号化実施情報取得部
２１ 符号化方式出力部
２２ 情報出力部
３０ ヒストグラム検出部
４０ 鮮鋭化制御部
５０ 鮮鋭化処理部
５１ 第１の鮮鋭化処理部
５２ 第２の鮮鋭化処理部
１０１ 符号化動画像信号
１０２ 復号化動画像信号
１０３ 制御信号
１０４ 動画像信号
５１０ ＤＮＲ部
５１１ ＩＰ部
５１２、５２１ 超解像フィルタ部
５１３、５２０ ＮＲ部
５１４、５２２ 映像処理部
７００ テレビジョン放送受信装置
【特許請求の範囲】
【請求項１】
符号化された符号化画像を復号化する復号化手段と、
前記復号化手段により復号化された復号化画像に対して第１の鮮鋭化処理を行う第１の鮮鋭化手段と、
前記第１の鮮鋭化処理が施された画像に対して、前記第１の鮮鋭化処理に要する処理時間とは異なる処理時間を要する第２の鮮鋭化処理を行う第２の鮮鋭化手段と、
を備え、
前記第１の鮮鋭化手段は、前記復号化画像に含まれる、符号化に伴って発生するノイズを除去する第１のノイズ除去部を有すること、
を特徴とする画像処理装置。
【請求項２】
前記第１の鮮鋭化処理は、前記復号化画像に含まれる、予め設定されたレベル以下の振幅の小さい画素成分に対して鮮鋭化処理を行い、
前記第２の鮮鋭化処理は、前記第１の鮮鋭化処理が施された画像に含まれる、前記レベルよりも振幅の大きい画素成分に対して鮮鋭化処理を行うこと、
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１のノイズ除去部は、符号化に伴って発生するノイズの中のブロックノイズ及びモスキートノイズを除去し、
前記第２の鮮鋭化手段は、前記復号化画像に含まれるインパルスノイズを除去する第２のノイズ除去部を有すること、
を特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記鮮鋭化処理には超解像処理が含まれることを特徴とする請求項１〜３のいずれか一項に記載の画像処理装置。
【請求項５】
前記符号化画像の符号化の際に採用された符号化実施情報を取得する取得手段と、
前記符号化実施情報をもとに前記鮮鋭化処理の効果を制御する制御手段と、
を更に備えることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記符号化実施情報は、符号化の際の量子化の精度を示す量子化情報を含み、
前記制御手段は、前記量子化情報をもとに、前記精度の低下に伴って前記鮮鋭化処理の効果を抑制するように制御すること、
を特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記量子化情報は、フィールド又はフレームにおける量子化ステップであり、
前記制御手段は、前記量子化ステップが大きくなるのに伴って前記鮮鋭化処理の効果を抑制するように制御すること、
を特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記量子化情報は、マクロブロックにおける量子化スケールのフィールド又はフレームの平均値であり、
前記制御手段は、前記平均値が大きくなるのに伴って前記鮮鋭化処理の効果を抑制するように制御すること、
を特徴とする請求項５に記載の画像処理装置。
【請求項９】
前記符号化実施情報は、符号化方式の種類を含み、
前記制御手段は、前記符号化方式の種類に応じて、前記鮮鋭化処理の効果の抑制具合を調整すること、
を特徴とする請求項５〜８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記符号化実施情報は、符号化の際のピクチャタイプを含み
前記制御手段は、前記ピクチャタイプに応じて、前記鮮鋭化処理の効果の抑制具合を調整すること、
を特徴とする請求項５〜９のいずれか一項に記載の画像処理装置。
【請求項１１】
前記復号化画像から各周波数成分に対応する画素がどの程度存在するかを示す周波数ヒストグラムを検出する検出手段を更に備え、
前記制御手段は、前記検出された周波数ヒストグラムをもとに、前記復号化画像が高い周波数成分の画素をより多く含む場合に伴って前記鮮鋭化処理の効果を抑制するように制御すること、
を特徴とする請求項５〜１０のいずれか一項に記載の画像処理装置。
【請求項１２】
符号化された符号化画像を復号化して鮮鋭化する画像処理装置の画像処理方法であって、
復号化手段が、符号化された符号化画像を復号化する復号化ステップと、
第１の鮮鋭化手段が、復号化された復号化画像に対して第１の鮮鋭化処理を行う第１の鮮鋭化ステップと、
第２の鮮鋭化手段が、前記第１の鮮鋭化処理が施された画像に対して、前記第１の鮮鋭化処理に要する処理時間とは異なる処理時間を要する第２の鮮鋭化処理を行う第２の鮮鋭化ステップと、
を含み、
前記第１の鮮鋭化ステップは、前記復号化画像に含まれる、符号化に伴って発生するノイズを除去すること、
を特徴とする画像処理方法。
【請求項１】
符号化された符号化画像を復号化する復号化手段と、
前記復号化手段により復号化された復号化画像に対して第１の鮮鋭化処理を行う第１の鮮鋭化手段と、
前記第１の鮮鋭化処理が施された画像に対して、前記第１の鮮鋭化処理に要する処理時間とは異なる処理時間を要する第２の鮮鋭化処理を行う第２の鮮鋭化手段と、
を備え、
前記第１の鮮鋭化手段は、前記復号化画像に含まれる、符号化に伴って発生するノイズを除去する第１のノイズ除去部を有すること、
を特徴とする画像処理装置。
【請求項２】
前記第１の鮮鋭化処理は、前記復号化画像に含まれる、予め設定されたレベル以下の振幅の小さい画素成分に対して鮮鋭化処理を行い、
前記第２の鮮鋭化処理は、前記第１の鮮鋭化処理が施された画像に含まれる、前記レベルよりも振幅の大きい画素成分に対して鮮鋭化処理を行うこと、
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１のノイズ除去部は、符号化に伴って発生するノイズの中のブロックノイズ及びモスキートノイズを除去し、
前記第２の鮮鋭化手段は、前記復号化画像に含まれるインパルスノイズを除去する第２のノイズ除去部を有すること、
を特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記鮮鋭化処理には超解像処理が含まれることを特徴とする請求項１〜３のいずれか一項に記載の画像処理装置。
【請求項５】
前記符号化画像の符号化の際に採用された符号化実施情報を取得する取得手段と、
前記符号化実施情報をもとに前記鮮鋭化処理の効果を制御する制御手段と、
を更に備えることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記符号化実施情報は、符号化の際の量子化の精度を示す量子化情報を含み、
前記制御手段は、前記量子化情報をもとに、前記精度の低下に伴って前記鮮鋭化処理の効果を抑制するように制御すること、
を特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記量子化情報は、フィールド又はフレームにおける量子化ステップであり、
前記制御手段は、前記量子化ステップが大きくなるのに伴って前記鮮鋭化処理の効果を抑制するように制御すること、
を特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記量子化情報は、マクロブロックにおける量子化スケールのフィールド又はフレームの平均値であり、
前記制御手段は、前記平均値が大きくなるのに伴って前記鮮鋭化処理の効果を抑制するように制御すること、
を特徴とする請求項５に記載の画像処理装置。
【請求項９】
前記符号化実施情報は、符号化方式の種類を含み、
前記制御手段は、前記符号化方式の種類に応じて、前記鮮鋭化処理の効果の抑制具合を調整すること、
を特徴とする請求項５〜８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記符号化実施情報は、符号化の際のピクチャタイプを含み
前記制御手段は、前記ピクチャタイプに応じて、前記鮮鋭化処理の効果の抑制具合を調整すること、
を特徴とする請求項５〜９のいずれか一項に記載の画像処理装置。
【請求項１１】
前記復号化画像から各周波数成分に対応する画素がどの程度存在するかを示す周波数ヒストグラムを検出する検出手段を更に備え、
前記制御手段は、前記検出された周波数ヒストグラムをもとに、前記復号化画像が高い周波数成分の画素をより多く含む場合に伴って前記鮮鋭化処理の効果を抑制するように制御すること、
を特徴とする請求項５〜１０のいずれか一項に記載の画像処理装置。
【請求項１２】
符号化された符号化画像を復号化して鮮鋭化する画像処理装置の画像処理方法であって、
復号化手段が、符号化された符号化画像を復号化する復号化ステップと、
第１の鮮鋭化手段が、復号化された復号化画像に対して第１の鮮鋭化処理を行う第１の鮮鋭化ステップと、
第２の鮮鋭化手段が、前記第１の鮮鋭化処理が施された画像に対して、前記第１の鮮鋭化処理に要する処理時間とは異なる処理時間を要する第２の鮮鋭化処理を行う第２の鮮鋭化ステップと、
を含み、
前記第１の鮮鋭化ステップは、前記復号化画像に含まれる、符号化に伴って発生するノイズを除去すること、
を特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４−１】
【図４−２】
【図４−３】
【図４−４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４−１】
【図４−２】
【図４−３】
【図４−４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−１９９３９４（Ｐ２０１１−１９９３９４Ａ）
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願番号】特願２０１０−６１３２８（Ｐ２０１０−６１３２８）
【出願日】平成２２年３月１７日（２０１０．３．１７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願日】平成２２年３月１７日（２０１０．３．１７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]