画像処理装置、画像処理方法、およびプログラム
【課題】圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることが可能な画像処理装置、画像処理方法、およびプログラムを提供する。
【解決手段】圧縮符号化された入力画像信号に基づいてブロックノイズを検出し、検出されたブロックノイズを示すノイズ情報を出力するノイズ検出部と、入力画像信号に対して、入力画像信号が示す画像の拡大または縮小を行うスケーリング処理を行い、拡大率または縮小率を示すスケーリング情報を出力するスケーリング部と、ノイズ情報とスケーリング情報とに基づいて、補正の度合いを示す調整信号を出力する調整信号生成部と、調整信号に基づいて、スケーリング処理が行われた画像信号を補正する補正部と、を備える画像処理装置が提供される。
【解決手段】圧縮符号化された入力画像信号に基づいてブロックノイズを検出し、検出されたブロックノイズを示すノイズ情報を出力するノイズ検出部と、入力画像信号に対して、入力画像信号が示す画像の拡大または縮小を行うスケーリング処理を行い、拡大率または縮小率を示すスケーリング情報を出力するスケーリング部と、ノイズ情報とスケーリング情報とに基づいて、補正の度合いを示す調整信号を出力する調整信号生成部と、調整信号に基づいて、スケーリング処理が行われた画像信号を補正する補正部と、を備える画像処理装置が提供される。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【0002】
例えば離散コサイン変換(Discrete Cosine Transform;DCT)などを用いた符号化方式を用いて画像を圧縮する場合には、ブロック歪(以下、「ブロックノイズ」と示す。)が発生する場合がある。このような中、ブロックノイズを低減して画像信号を補正することによって、高画質化を図る技術が開発されている。ブロックノイズを低減して画像信号を補正することによって高画質化を図る技術としては、例えば、特許文献1に記載の技術が挙げられる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平10−229546号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えば特許文献1のような高画質化を図る従来の技術(以下、単に「従来の技術」と示す場合がある。)は、例えば離散コサイン変換などを用いて圧縮符号化された画像を示す画像信号(以下、「圧縮符号化された画像信号」と示す場合がある。)のブロックノイズを低減し、ブロックノイズが低減された画像信号に対して輪郭強調処理などの画像処理を行う。よって、ブロックノイズを低減するノイズ低減処理と、画質を向上させるための画像処理とが行われるので、従来の技術を用いることによって、高画質化を図ることができる可能性がある。
【0005】
ここで、例えば、ノイズ低減処理を行った後画像処理を行う前に、画像信号が示す画像の拡大または縮小を行うスケーリング処理が行われた場合には、ブロックノイズが存在していた位置が変化する可能性が高い。従来の技術では、上記スケーリング処理によるブロックノイズの位置が変化することについて考慮がされていないので、輪郭強調処理などの画像処理を行った結果、低減したブロックノイズが強調されることが起こりうる。したがって、従来の技術を用いたとしても、高画質化を図ることができるとは限らない。
【0006】
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本発明の第1の観点によれば、圧縮符号化された入力画像信号に基づいてブロックノイズを検出し、検出されたブロックノイズを示すノイズ情報を出力するノイズ検出部と、上記入力画像信号に対して、上記入力画像信号が示す画像の拡大または縮小を行うスケーリング処理を行い、拡大率または縮小率を示すスケーリング情報を出力するスケーリング部と、上記ノイズ情報と上記スケーリング情報とに基づいて、補正の度合いを示す調整信号を出力する調整信号生成部と、上記調整信号に基づいて、上記スケーリング処理が行われた画像信号を補正する補正部と、を備える画像処理装置が提供される。
【0008】
かかる構成により、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【0009】
また、上記調整信号生成部は、上記ノイズ情報と上記スケーリング情報とに基づいて、拡大または縮小された画像におけるブロックノイズのブロック境界からの距離を特定するノイズ計測部と、特定された上記ブロック境界からの距離に対応する上記調整信号を出力する調整信号出力部とを備えてもよい。
【0010】
また、ノイズ計測部は、水平方向の上記ブロック境界からの距離、および/または、垂直方向の上記ブロック境界からの距離を特定してもよい。
【0011】
また、上記調整信号生成部は、上記ノイズ情報に含まれる上記ブロックノイズの強さを示す情報に基づいて、上記調整信号が示す補正の度合いを調整する調整部をさらに備えてもよい。
【0012】
また、上記補正部は、上記スケーリング処理が行われた上記画像信号に基づいて局所的なブロックノイズを判定し、判定結果に応じて上記調整信号が示す補正の度合いを調整し、補正の度合いが調整された調整信号に基づいて、上記スケーリング処理が行われた上記画像信号を補正してもよい。
【0013】
上記調整信号生成部は、画像信号のゲインを調整する調整信号を出力し、上記補正部は、上記調整信号に基づいて、上記スケーリング処理が行われた上記画像信号のゲインを調整してもよい。
【0014】
また、入力画像信号のブロックノイズを低減するノイズ低減部をさらに備え、上記スケーリング部は、ブロックノイズが低減された入力画像信号に対して、上記スケーリング処理を行ってもよい。
【0015】
また、上記目的を達成するために、本発明の第2の観点によれば、圧縮符号化された入力画像信号に基づいてブロックノイズを検出し、検出されたブロックノイズを示すノイズ情報を出力するステップと、上記入力画像信号に対して、上記入力画像信号が示す画像の拡大または縮小を行うスケーリング処理を行い、拡大率または縮小率を示すスケーリング情報を出力するステップと、上記ノイズ情報と上記スケーリング情報とに基づいて、補正の度合いを示す調整信号を出力するステップと、上記調整信号に基づいて、上記スケーリング処理が行われた画像信号を補正するステップと、を有する画像処理方法が提供される。
【0016】
かかる方法を用いることにより、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【0017】
また、上記目的を達成するために、本発明の第3の観点によれば、圧縮符号化された入力画像信号に基づいてブロックノイズを検出し、検出されたブロックノイズを示すノイズ情報を出力するステップ、上記入力画像信号に対して、上記入力画像信号が示す画像の拡大または縮小を行うスケーリング処理を行い、拡大率または縮小率を示すスケーリング情報を出力するステップ、上記ノイズ情報と上記スケーリング情報とに基づいて、補正の度合いを示す調整信号を出力するステップ、上記調整信号に基づいて、上記スケーリング処理が行われた画像信号を補正するステップ、をコンピュータに実行させるためのプログラムが提供される。
【0018】
かかるプログラムを用いることにより、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【発明の効果】
【0019】
本発明によれば、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【図面の簡単な説明】
【0020】
【図1】本発明の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図2】本発明の実施形態に係る画像処理装置におけるブロックノイズ強度の検出方法の一例を示す説明図である。
【図3】本発明の実施形態に係る画像処理装置におけるブロックノイズ強度の検出方法の一例を示す説明図である。
【図4】本発明の実施形態に係る画像処理装置におけるブロックノイズ強度の検出方法の一例を示す説明図である。
【図5】本発明の実施形態に係る画像処理装置における調整信号生成部の第1の構成例を示す説明図である。
【図6】本発明の実施形態に係る画像処理装置における調整信号の生成方法の一例を説明するための説明図である。
【図7】本発明の実施形態に係る画像処理装置における調整信号生成部の第2の構成例を示す説明図である。
【図8A】本発明の実施形態に係る画像処理装置における局所補正処理の一例を説明するための説明図である。
【図8B】本発明の実施形態に係る画像処理装置における局所補正処理の一例を説明するための説明図である。
【図8C】本発明の実施形態に係る画像処理装置における局所補正処理の一例を説明するための説明図である。
【図9】本発明の実施形態に係る画像処理装置における局所補正処理の一例を説明するための説明図である。
【発明を実施するための形態】
【0021】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0022】
また、以下では、下記に示す順序で説明を行う。
1.本発明の実施形態に係る画像処理方法
2.本発明の実施形態に係る画像処理装置
3.本発明の実施形態に係るプログラム
【0023】
(本発明の実施形態に係る画像処理方法)
本発明の実施形態に係る画像処理装置(以下、「画像処理装置100」と示す場合がある。)の構成について説明する前に、本発明の実施形態に係る画像処理方法の概要について説明する。以下では、画像処理装置100が、本発明の実施形態に係る画像処理方法に係る処理を行うものとして説明する。
【0024】
上述したように、ノイズ低減処理を行った後画像処理を行う前に、画像信号が示す画像(静止画像または動画像。以下、同様とする。)の拡大または縮小を行うスケーリング処理が行われた場合には、ブロックノイズが存在していた位置が変化する可能性が高い。そこで、本発明の実施形態に係る画像処理装置100は、処理対象の圧縮符号化された画像信号(以下、「入力画像信号」と示す場合がある。)に基づいて検出されたブロックノイズを示すノイズ情報と、スケーリング処理における拡大率または縮小率を示すスケーリング情報とに基づいて、補正の度合いを示す調整信号を生成する。そして、画像処理装置100は、調整信号に基づいて、入力画像信号に対してスケーリング処理が行われた画像信号(以下、「スケーリング画像信号」と示す場合がある。)を補正する。
【0025】
ここで、本発明の実施形態に係る入力画像信号としては、例えば、画像処理装置100がテレビ塔などから送信された放送波を(直接的、またはセットトップボックスなどを介して間接的に)受信してデコードした結果得られる画像信号が挙げられるが、本発明の実施形態に係る入力画像信号は、上記に限られない。例えば、画像処理装置100は、ネットワークを介して(または直接的に)外部装置から送信された画像信号を、入力画像信号として処理することも可能である。また、画像処理装置100は、例えば、記憶部(後述する)や、画像処理装置100から着脱可能な外部記録媒体に記憶された画像データをデコードすることにより得られた画像信号を、入力画像信号として処理してもよい。また、本発明の実施形態に係る入力画像信号としては、例えば、MPEG−4(ISO/IEC 14496)や、MPEG−2(ISO/IEC 13818)、MPEG−1、H.261、H.263、H.264などのように、複数の画素からなるブロック単位で圧縮符号化する符号化方式で符号化された画像信号が挙げられる。以下では、本発明の実施形態に係る入力画像信号が、8×8画素のブロック単位で符号化された画像信号である場合、すなわち、ブロック単位となる画素数が“8”である場合を例に挙げて説明する。
【0026】
また、本発明の実施形態に係るノイズ情報としては、例えば、ブロック境界の位置を示す情報と、ブロックノイズ強度を示す情報(ブロックノイズの強さを示す情報)とが挙げられる。より具体的には、画像処理装置100は、例えば、画像におけるブロックの開始位置を示すデータ(以下、「b_pos」と示す場合がある。)と、ブロックのサイズを示すデータ(以下、「b_size」と示す場合がある。)をブロック境界の位置を示す情報とする。ここで、b_posとしては、例えば、画像の所定の位置(例えば画像の左下など)を原点としたときにおける画素の座標を示す座標データが挙げられる。また、b_sizeとしては、例えば、ブロック単位となる画素数を示すデータが挙げられる。なお、画像処理装置100は、例えば、後述するブロック境界の位置の検出方法を用いて、ブロックのサイズを判定することが可能である。画像処理装置100は、入力画像信号の符号化方式に基づいて、各ブロックに対応するb_posと、b_sizeとを特定することが可能である。また、画像処理装置100は、例えば、ブロックノイズの強度を示すデータ(以下、「b_str」と示す場合がある。)をブロックノイズ強度を示す情報とする。本発明の実施形態に係るブロックノイズ強度の検出方法については、後述する。
【0027】
また、本発明の実施形態に係る調整信号としては、例えば、画像信号のゲインを調整する信号(マスクゲイン信号)が挙げられる。なお、本発明の実施形態に係る調整信号は、画像信号のゲインを調整する信号に限られない。例えば、本発明の実施形態に係る調整信号としては、画像処理装置100が備える補正部(後述する)における画像信号の補正に係る任意の画像処理の度合いを規定する信号(例えば、補正部における画像処理に対応する処理のレベルを規定する信号)が挙げられる。以下では、本発明の実施形態に係る画像処理装置100が、画像信号のゲインを調整する調整信号を生成する場合を主に例に挙げて説明する。
【0028】
本発明の実施形態に係る画像処理装置100は、上記のようにノイズ情報とスケーリング情報とに基づいて調整信号を生成し、調整信号に基づいてスケーリング画像信号を補正する。よって、画像処理装置100では、例えば、線形なスケーリングや、非線形なスケーリング(例えば、パノラマワイドやオーバースキャン)が入力画像信号に対して行われたとしても、画像処理(補正処理)によってブロックノイズが強調されることはない。つまり、画像処理装置100は、ブロックノイズが発生した画像に対しても、より自然な画像処理を実現することができる。
【0029】
したがって、画像処理装置100は、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【0030】
以下、本発明の実施形態に係る画像処理装置100の構成の一例について説明をすると共に、本発明の実施形態に係る画像処理方法に係る処理の具体例についても併せて説明する。
【0031】
(本発明の実施形態に係る画像処理装置)
図1は、本発明の実施形態に係る画像処理装置100の構成の一例を示すブロック図である。
【0032】
画像処理装置100は、例えば、ノイズ検出部102と、ノイズ低減部104と、スケーリング部106と、調整信号生成部108と、補正部110とを備える。
【0033】
また、画像処理装置100は、例えば、制御部(図示せず)や、ROM(Read Only Memory;図示せず)、RAM(Random Access Memory;図示せず)、記憶部(図示せず)、デコーダ、ユーザが操作可能な操作部(図示せず)、様々な画面を表示画面に表示する表示部(図示せず)、外部装置と通信を行うための通信部(図示せず)などを備えていてもよい。画像処理装置100は、例えば、データの伝送路としてのバス(bus)により上記各構成要素間を接続する。
【0034】
ここで、制御部(図示せず)は、例えば、MPU(Micro Processing Unit)や、各種処理回路などで構成され画像処理装置100全体を制御する。また、制御部(図示せず)は、例えば、デコーダや、後述するノイズ検出部102、ノイズ低減部104、スケーリング部106、調整信号生成部108、補正部110の役目を果たしてもよい。また、制御部(図示せず)は、例えば、補正部110が画像処理を行った画像信号をエンコードして、記憶部(図示せず)に記録するなど、各種画像処理が行われた画像信号に対する処理を行う役目を果たしてもよい。
【0035】
ROM(図示せず)は、制御部(図示せず)が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、制御部(図示せず)により実行されるプログラムなどを一時的に記憶する。
【0036】
記憶部(図示せず)は、画像処理装置100が備える記憶手段であり、例えば、画像データや、アプリケーションなど様々なデータを記憶する。ここで、記憶部(図示せず)としては、例えば、ハードディスク(Hard Disk)などの磁気記録媒体や、EEPROM(Electrically Erasable and Programmable Read Only Memory)、フラッシュメモリ(flash memory)などの不揮発性メモリ(nonvolatile memory)などが挙げられる。
【0037】
操作部(図示せず)としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、画像処理装置100は、例えば、画像処理装置100の外部装置としての操作入力デバイス(例えば、キーボードやマウスなど)と接続することもできる。
【0038】
表示部(図示せず)としては、例えば、液晶ディスプレイ(Liquid Crystal Display;LCD)や有機ELディスプレイ(organic ElectroLuminescence display。または、OLEDディスプレイ(Organic Light Emitting Diode display)ともよばれる。)などが挙げられる。なお、表示部(図示せず)は、例えばタッチスクリーンなどのように、表示とユーザ操作とが可能なデバイスであってもよい。
【0039】
通信部(図示せず)は、画像処理装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、外部装置と無線/有線で通信を行う。ここで、通信部(図示せず)としては、例えば、通信アンテナおよびRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11bポートおよび送受信回路(無線通信)、あるいはLAN(Local Area Network)端子および送受信回路(有線通信)などが挙げられる。また、本発明の実施形態に係るネットワークとしては、例えば、LANやWAN(Wide Area Network)などの有線ネットワーク、基地局を介した無線WAN(WWAN;Wireless Wide Area Network)などの無線ネットワーク、あるいは、TCP/IP(Transmission Control Protocol/Internet Protocol)などの通信プロトコルを用いたインターネットなどが挙げられる。
【0040】
以下、図1に示す本発明の実施形態に係る画像処理装置100の構成例について説明しつつ、画像処理装置100における処理(画像処理方法に係る処理)の一例について説明する。
【0041】
ノイズ検出部102は、入力画像信号に基づいてブロックノイズを検出し、検出されたブロックノイズを示すノイズ情報を出力する。ここで、ノイズ情報としては、例えば、ブロック境界の位置を示す情報(b_pos、b_size)と、ブロックノイズ強度を示す情報(b_str)とが挙げられる。また、ノイズ検出部102は、ブロックノイズが検出されたか否かによらず全てのブロックに対応するノイズ情報を出力するが、ノイズ検出部102における処理は、上記に限られない。例えば、ノイズ検出部102は、ブロックノイズが検出されたと判定されたブロックに対応するノイズ情報を選択的に出力することも可能である。ノイズ検出部102は、例えば、後述するブロックノイズ強度の検出方法により算出されたブロックの段差特徴を示す値(work(x))の値が0以下である場合に、ブロックノイズが検出されなかったと判定する。
【0042】
[ブロック境界の位置の検出方法の一例]
ここで、本発明の実施形態に係る画像処理装置100におけるブロック境界の位置の検出方法の一例について説明する。以下では、画像処理装置100が、入力画像信号が示す画像における水平方向のブロック境界の位置を判定する場合を例に挙げて説明する。なお、画像処理装置100は、入力画像信号が示す画像における垂直方向のブロック境界の位置についても、同様の方法を用いることによって、検出することが可能である。
【0043】
画像処理装置100は、例えば、入力画像信号における水平方向の隣接画素間の差分信号を画面内で積算することによって、ブロック境界の位置を検出する。
【0044】
より具体的には、画像処理装置100は、例えば、水平方向の隣接する画素における画素値D(例えば輝度値)の差分絶対値(|D(x)−D(x+1)|)を算出する。また、画像処理装置100は、算出した差分絶対値を垂直方向に累計して、水平方向の位置ごとの累計値を算出する。ここで、画像処理装置100は、累計値を度数、水平方向の位置を階級とするヒストグラムを算出してもよい。また、画像処理装置100は、算出された水平方向の位置ごとの累計値と、ブロック位置を判定するための所定の閾値とを用いて、当該閾値以上の水平方向の位置(または、閾値より大きい水平方向の位置)を判定する。ここで、上記閾値としては、例えば、予め設定された固定値が挙げられるが、調整可能な可変値であってもよい。そして、画像処理装置100は、判定された位置(例えばヒストグラムにおけるピーク位置に該当する。)をブロックの開始位置(ブロック境界の位置)として判定し、判定された位置間の距離をブロックのサイズと判定する。
【0045】
画像処理装置100は、例えば上記のような方法を用いることによって、ブロック境界の位置を検出する。なお、本発明の実施形態に係る画像処理装置100におけるブロック境界の位置の検出方法が、上記に限られないことは、言うまでもない。
【0046】
[ブロックノイズ強度の検出方法の一例]
次に、本発明の実施形態に係る画像処理装置100におけるブロックノイズ強度の検出方法の一例について説明する。図2、図3、図4は、本発明の実施形態に係る画像処理装置100におけるブロックノイズ強度の検出方法の一例を示す説明図である。以下では、画像処理装置100が、入力画像信号が示す画像における水平方向のブロックノイズの強度を検出する場合を例に挙げて、ブロックノイズ強度の検出方法の一例を説明する。なお、画像処理装置100は、入力画像信号が示す画像における垂直方向のブロックノイズの強度についても、同様の方法を用いることによって、検出することが可能である。
【0047】
画像処理装置100は、例えば、注目画素xにおける画素値D(例えば輝度値)と注目画素xの近傍の画素における画素値Dとに基づく差分絶対値を算出する。図2に示す例では、画像処理装置100は、例えば下記の数式1〜数式5によって、差分絶対値a〜eを算出する。なお、画像処理装置100は、例えば、注目画素xの近傍の画素がない(または、検出を行うために十分な数の画素がない)場合には、当該注目画素xについてのブロックノイズ強度の検出に係る処理を行わなくてもよい。
【0048】
【数1】
【数2】
【数3】
【数4】
【数5】
【0049】
差分絶対値a〜eを算出すると、画像処理装置100は、例えば下記の数式6によって、注目画素xに対応するブロックの段差特徴を示す値(work(x))を算出する。ここで、数式6は、注目画素xの位置に対応する段差cと周辺段差の平均値とを比較する演算である。
【0050】
work(x)=c−(a+b+d+e)/4
・・・(数式6)
【0051】
画像処理装置100は、例えば、work(x)の値が0(ゼロ)以下のときは、ブロックノイズが検出されなかったと判定し、work(x)の値が0(ゼロ)より大きい場合には、ブロックノイズが検出されたと判定する。
【0052】
画像処理装置100は、画像全体におけるwork(x)をレベル別に集計した値cnt_all(|V|)と、ブロック境界の座標におけるwork(x)をレベル別に集計した値cnt_bb(|V|)とを、レベルごとに算出する(図3)。そして、画像処理装置100は、レベルごとに“cnt_bb(|V|)/cnt_all(|V|)”を算出して、算出した“cnt_bb(|V|)/cnt_all(|V|)”が所定の閾値th_bndを超える最大のレベルを、ブロックノイズ強度として検出する。
する(図4)。
【0053】
ここで、画像処理装置100は、例えば、検出されたブロックノイズに対応するレベルを示す値(例えばレベルを識別する番号)をb_strとするが、画像処理装置100における処理は、上記に限られない。例えば、画像処理装置100は、レベルを識別する番号と対応付けられた値を、b_strとすることも可能である。また、所定の閾値th_bndとしては、例えば、予め規定された値が挙げられるが、所定の閾値th_bndは、上記に限られない。例えば、所定の閾値th_bndは、画像処理装置100のユーザ(以下、単に「ユーザ」と示す場合がある。)により設定された値であってもよい。
【0054】
画像処理装置100は、例えば上記のような処理を行うことによって、ブロックノイズ強度を検出する。なお、本発明の実施形態に係る画像処理装置100におけるブロックノイズ強度の検出方法が、上記に限られないことは、言うまでもない。
【0055】
再度図1を参照して、本発明の実施形態に係る画像処理装置100の構成例について説明する。ノイズ検出部102は、例えば上記のような検出方法に係る処理を行うことによって、ノイズ情報を出力する。また、ノイズ検出部102は、入力画像信号をノイズ低減部104へ伝達する。なお、本発明の実施形態に係る画像処理装置100の構成は、ノイズ検出部102が入力画像信号をノイズ低減部104へ伝達する構成に限られない。例えば、画像処理装置100は、ノイズ検出部102を介さずに入力画像信号をノイズ低減部104に入力させてもよい。
【0056】
ノイズ検出部102は、例えば、上記のような検出方法に係る処理を行うための任意の構成を有する専用の処理回路で実現可能であるが、ノイズ検出部102の構成は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置100では制御部(図示せず)がノイズ検出部102の役目を果たしてもよく、また、ノイズ検出部102は、他の処理も可能な汎用の処理回路であってもよい。
【0057】
ノイズ低減部104は、例えばフィルタ回路などで構成され、入力画像信号に含まれうるブロックノイズを低減する。また、ノイズ低減部104は、ブロックノイズを低減させた入力画像信号をスケーリング部106へ伝達する。
【0058】
ここで、ノイズ低減部104は、例えば、ノイズ検出部102におけるブロックノイズの検出結果によらずに処理を行うが、ノイズ低減部104における処理は、上記に限られない。例えば、ノイズ低減部104は、ノイズ検出部102から伝達されるノイズ情報に基づいて、選択的にブロックノイズの低減を行ってもよい。上記の場合、ノイズ低減部104は、例えば、ノイズ情報に基づいてフィルタ回路などのノイズ低減に係る回路に入力画像信号を選択的に入力する構成や、ノイズ情報に基づいてノイズ低減に係る回路を選択的に有効化する構成をとる。
【0059】
スケーリング部106は、伝達される入力画像信号に対して、入力画像信号が示す画像の拡大または縮小を行うスケーリング処理を行う。そして、スケーリング部106は、スケーリング情報を調整信号生成部108へ伝達し、また、スケーリング画像信号を補正部110へ伝達する。
【0060】
ここで、スケーリング部106におけるスケーリング処理としては、例えば、線形なスケーリングを行う処理や、非線形なスケーリング(例えば、パノラマワイドやオーバースキャン)を行う処理が挙げられる。また、スケーリング部106は、上記のようなスケーリング処理を行うための任意の構成を有する専用の処理回路で実現可能であるが、スケーリング部106の構成は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置100では制御部(図示せず)がスケーリング部106の役目を果たしてもよく、また、スケーリング部106は、他の処理も可能な汎用の処理回路であってもよい。
【0061】
調整信号生成部108は、ノイズ検出部102から伝達されるノイズ情報と、スケーリング部106から伝達されるスケーリング情報とに基づいて、調整信号を生成する。そして、調整信号生成部108は、生成した調整信号を補正部110へ伝達する。
【0062】
なお、調整信号生成部108における処理は、ノイズ検出部102から伝達されるノイズ情報に基づいて調整信号を生成する処理に限られない。例えば、デコーダはデコード処理の際にブロックノイズの位置や強度を特定することが可能である。よって、調整信号生成部108は、例えば、画像処理装置100が備えるデコーダ、または、画像処理装置100の外部のデコーダが特定したブロックノイズの位置や強度を示すノイズ情報が伝達される場合には、ノイズ検出部102から伝達されるノイズ情報の代わりに、デコーダから伝達されるノイズ情報を用いて処理を行ってもよい。以下では、調整信号生成部108が、ノイズ検出部102から伝達されるノイズ情報を用いて調整信号を生成する場合を例に挙げて、調整信号生成部108のより具体的な処理について説明する。
【0063】
[調整信号生成部108の構成例]
(1)第1の構成例
図5は、本発明の実施形態に係る画像処理装置100における調整信号生成部108の第1の構成例を示す説明図である。
【0064】
第1の構成例に係る調整信号生成部108は、例えば、ノイズ計測部112と、フィルタ部114と、最小値判定部116と、調整信号出力部118とを備える。
【0065】
ノイズ計測部112は、ノイズ情報とスケーリング情報とに基づいて、スケーリング処理によって拡大または縮小された画像における、ブロックノイズのブロック境界からの距離(以下、「b_dist」と示す場合がある。)を特定する。ここで、図5では、ノイズ計測部112が、水平方向のブロック境界からの距離を特定する第1ノイズ計測部112Aと、垂直方向のブロック境界からの距離を特定する第2ノイズ計測部112Bとを備える構成を示している。
【0066】
なお、本発明の実施形態に係るノイズ計測部112は、水平方向のブロック境界からの距離と、垂直方向のブロック境界からの距離との双方を特定する構成に限られない。例えば、本発明の実施形態に係るノイズ計測部112は、補正部110における処理に対応して、水平方向のブロック境界からの距離、または、垂直方向のブロック境界からの距離のいずれか一方を特定する構成であってもよい。
【0067】
〔ブロック境界からの距離の特定方法の一例〕
ここで、本発明の実施形態に係る画像処理装置100におけるブロック境界からの距離の特定方法の一例について説明する。以下では、画像処理装置100が、水平方向のブロック境界からの距離を特定する場合を例に挙げて、ブロック境界からの距離の特定方法の一例を説明する。なお、画像処理装置100は、垂直方向のブロック境界からの距離についても、同様の方法を用いることによって、特定することが可能である。
【0068】
画像処理装置100は、例えば、ノイズ情報に含まれるブロック境界の位置を示す情報(b_pos、b_size)を用いて、例えば下記の数式7、数式8の演算を行うことによって、b_distを算出する。ここで、数式7、数式8は、ブロック単位となる画素数が“8”である場合におけるb_distの算出方法の一例を示している。また、数式7に示す“mod(d,X)”は、dを法とするXの剰余であり、“rate”は、スケーリング情報が示す拡大率または縮小率である。また、数式8は、ブロック単位となる画素数“8”に対応する距離(0〜7)を、後述する調整信号出力部118における処理の例に対応する距離(0〜3)に変換する演算を示している。
【0069】
【数6】
【数7】
【0070】
画像処理装置100は、例えば上記のような処理を行うことによって、ブロック境界からの距離を特定する。なお、本発明の実施形態に係る画像処理装置100におけるブロック境界からの距離の特定方法が、上記に限られないことは、言うまでもない。
【0071】
ノイズ計測部112は、第1ノイズ計測部112A、第2ノイズ計測部112Bそれぞれにおいて例えば上記の処理を行う。そして、第1ノイズ計測部112Aは、特定された水平方向のブロック境界からの距離を示すb_dist_Hを出力し、第2ノイズ計測部112Bは、特定された垂直方向のブロック境界からの距離を示すb_dist_Vを出力する。ここで、b_dist_H、b_dist_Vとしては、例えば、2ビットのデジタルデータが挙げられるが、b_dist_H、b_dist_Vは、上記に限られない。
【0072】
また、ノイズ計測部112は、例えば、上記のような特定方法に係る処理を行うための任意の構成を有する専用の処理回路で実現可能であるが、ノイズ計測部112の構成は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置100では制御部(図示せず)がノイズ計測部112の役目を果たしてもよく、また、ノイズ計測部112は、他の処理も可能な汎用の処理回路であってもよい。
【0073】
フィルタ部114は、例えばローパス・フィルタなどのフィルタ回路で構成され、ノイズ計測部112から伝達されるb_distをフィルタリングする。
【0074】
ここで、図5では、フィルタ部114が、第1ノイズ計測部112Aに対応する第1フィルタ部114Aと、第2ノイズ計測部112Bに対応する第2フィルタ部114Bとを備える構成を示しているが、本発明の実施形態に係るフィルタ部114の構成は、上記に限られない。例えば、ノイズ計測部112が水平方向のブロック境界からの距離、または、垂直方向のブロック境界からの距離のいずれか一方を特定する構成である場合には、フィルタ部114は、ノイズ計測部112に対応する第1フィルタ部114Aまたは第2フィルタ部114Bのいずれか一方で構成されていてもよい。
【0075】
また、調整信号生成部108は、例えば、フィルタ部114を備えない構成をとることも可能である。
【0076】
最小値判定部116は、例えば比較回路などで構成され、対応するブロックにおけるb_dist_Hおよびb_dist_Vの最小値を判定し、最小値を調整信号出力部118へ伝達する。なお、例えば、ノイズ計測部112が水平方向のブロック境界からの距離、または、垂直方向のブロック境界からの距離のいずれか一方を特定する構成である場合には、調整信号生成部108は、最小値判定部116を備えていなくてもよい。
【0077】
調整信号出力部118は、伝達されるb_dist_H、b_dist_V、最小値に対応する調整信号を生成して出力する。
【0078】
図6は、本発明の実施形態に係る画像処理装置100における調整信号の生成方法の一例を説明するための説明図である。ここで、図6は、画像処理装置100が画像信号のゲインを調整する調整信号を出力する場合における、調整信号生成部108(調整信号出力部118)が調整信号の生成に用いるゲインカーブの一例を示している。
【0079】
画像処理装置100は、図6に示すようなゲインカーブを示すデータや、b_distとゲインの調整量とが一対一に対応付けられたルックアップテーブルを、例えば、補正部110における処理ごとや、スケーリング部106において行われるスケーリング処理の種別ごとに記憶部(図示せず)やROMなどに記憶する。また、画像処理装置100は、例えば補正部110において周波数分離型輪郭強調処理を行う場合には、周波数帯域ごとに、ゲインカーブやルックアップテーブルを記憶してもよい。上記の場合には、画像処理装置100は、例えば低域や高域における輪郭強調処理を弱めるなど、入力画像信号のノイズの周波数特性に基づく画像の補正が可能となる。
【0080】
調整信号出力部118は、上記ゲインカーブなどを用いて、伝達されるb_dist_H、b_dist_V、最小値に対応する調整信号を、例えば、補正部110における処理ごとや、周波数帯域ごとに生成する。そして、調整信号出力部118は、生成した調整信号を出力する。
【0081】
なお、上述したように、本発明の実施形態に係る画像処理装置100は、画像信号のゲインを調整する調整信号に限られず、例えば、ゲインの調整以外の画像処理の度合いを示す調整信号を生成することも可能である。画像処理の度合いを示す調整信号を生成する場合には、画像処理装置100は、例えば、b_distと画像処理の度合いを示す値とが一対一に対応付けられたルックアップテーブルを、補正部110における処理ごとや、周波数帯域ごと、スケーリング部106において行われるスケーリング処理の種別ごとに記憶部(図示せず)やROMなどに記憶する。そして、画像処理装置100は、画像信号のゲインを調整する調整信号を生成する場合と同様に、ルックアップテーブルなどを用いて、伝達されるb_dist_H、b_dist_V、最小値に対応する調整信号を、例えば、補正部110における処理ごとや、周波数帯域ごとに生成する。
【0082】
第1の構成例に係る調整信号生成部108は、例えば図5に示す構成によって、ノイズ情報とスケーリング情報とに基づいて、調整信号を生成することができる。なお、本発明の実施形態に係る調整信号生成部108の構成は、図5に示す構成に限られない。
【0083】
(2)第2の構成例
図7は、本発明の実施形態に係る画像処理装置100における調整信号生成部108の第2の構成例を示す説明図である。
【0084】
図7に示す第2の構成例に係る調整信号生成部108は、図5に示す第1の構成例に係る調整信号生成部108と基本的に同様の構成を有するが、図5に示す第1の構成例に係る調整信号生成部108と比較すると、第2の構成例に係る調整信号生成部108は、調整部120をさらに備えている。
【0085】
調整部120は、ノイズ情報に含まれるブロックノイズの強さを示す情報(b_str)に基づいて、調整信号が示す補正の度合いを調整する。より具体的には、調整部120は、例えば、b_strの値(ブロックノイズの強さを示す値)が、所定の閾値よりも大きい場合に、より補正の度合いが大きくなるように調整信号を調整する。また、調整部120は、例えば、b_strの値が小さいほど、補正の度合いが小さくなるように調整信号を調整してもよい。
【0086】
第2の構成例に係る調整信号生成部108は、図5に示す第1の構成例に係る調整信号生成部108と基本的に同様の構成を有する。よって、第2の構成例に係る調整信号生成部108は、図7に示す構成によって、図5に示す第1の構成例に係る調整信号生成部108と同様に、ノイズ情報とスケーリング情報とに基づいて、調整信号を生成することができる。
【0087】
また、第2の構成例に係る調整信号生成部108は、さらに調整部120を備えることによって、ノイズ検出部102において検出されたブロックノイズの強さに基づいて調整信号が示す補正の度合いを調整する。よって、第2の構成例に係る調整信号生成部108から出力される調整信号に基づいて、補正部110において画像信号の補正が行われることによって、よりノイズ検出部102における検出結果が反映された画像信号の補正を行うことが可能となる。
【0088】
画像処理装置100は、例えば図5、図7に示す構成を有する調整信号生成部108を備える。なお、本発明の実施形態に係る調整信号生成部108の構成は、図5、図7に示す構成に限られない。例えば、以下では、補正部110における処理の例として説明するが、調整信号生成部108は、さらにブロック境界ごとにのブロック歪強度を評価する関数に基づいて調整信号を調整し、調整された調整信号を出力することも可能である。上記の場合には、画像処理装置100は、よりきめ細かな補正を行うことができる。
【0089】
再度図1を参照して、本発明の実施形態に係る画像処理装置100の構成例について説明する。補正部110は、調整信号生成部108から伝達される調整信号に基づいて、スケーリング処理部106から伝達されるスケーリング画像信号を補正する。例えば、伝達される調整信号が、画像信号のゲインを調整する調整信号である場合には、補正部110は、乗算器などを用いてスケーリング画像信号のゲインを調整する。また、伝達される調整信号が、ゲインの調整以外の画像処理の度合いを示す調整信号である場合には、補正部110は、調整信号が示す処理のレベル(例えば処理の強弱に係るレベル)に応じて、画像処理を行う。
【0090】
補正部110は、例えば上記のように、ノイズ情報とスケーリング情報に基づき生成された調整信号に基づいてスケーリング画像信号を補正することによって、ブロックノイズが強調されることを防止することができる。
【0091】
なお、補正部110における処理は、上記に限らない。例えば、補正部110は、スケーリング画像信号に基づいて、局所的なブロックノイズを判定して、判定結果に応じて伝達される調整信号が示す補正の度合いを調整することも可能である。ここで、局所的なブロックノイズとしては、例えば、ブロック境界において発生するブロックノイズが挙げられる。そして、補正部110は、調整された調整信号に基づいて、スケーリング画像信号を補正する。上記の場合には、画像処理装置100は、よりきめ細かな補正を行うことができる。
【0092】
[局所補正処理の一例]
図8A〜図8C、図9は、本発明の実施形態に係る画像処理装置100における局所補正処理の一例を説明するための説明図である。ここで、図8A〜図8Bは、画像処理装置100における、ブロック境界において発生する局所的なブロックノイズの判定方法の一例を説明するための説明図である。また、図9は、画像処理装置100における、局所的なブロックノイズの判定結果に応じた調整信号の調整の一例を示す説明図である。以下では、調整信号生成部108から伝達される調整信号が、画像信号のゲインを調整する調整信号である場合を例に挙げて、補正部110における局所補正処理の一例について説明する。
【0093】
補正部110は、例えば、スケーリング画像信号におけるブロック境界の画素(注目画素x)について、上記数式6の演算を行う。そして、補正部110は、数式6における演算結果であるbb_range(数式6に示すwork(x)に該当)と、閾値thtexと、閾値thedge(thtex<thedge)とに基づいて、ブロック境界におけるブロックノイズを判定する。ここで、thtexは、テクスチャを判定するための閾値であり、例えばbb_rangeがthtex以下(または、thtex未満。以下同様とする。)の場合には、補正部110は、注目画素に対応する差分絶対値cをテクスチャとみなす。また、thedgeは、エッジを判定するための閾値であり、例えばbb_rangeがthedge以上(または、thedgeより大きい。以下同様とする。)の場合には、補正部110は、注目画素に対応する差分絶対値cをエッジとみなす。テクスチャを判定するための閾値thtexとエッジを判定するための閾値thedgeとしては、例えば、予め規定された値が挙げられるが、閾値thtexと閾値thedgeとは、上記に限られない。例えば、閾値thtexと閾値thedgeとは、ユーザにより設定された値であってもよい。
【0094】
より具体的には、補正部110は、例えば図8Aに示すようにブロック境界における段差(差分絶対値c)がブロック周辺における段差(差分絶対値a、b、d、e)のよりも大きい場合、すなわち、例えばthtex≦bb_range<thedgeの場合には、ブロックノイズと判定する。また、補正部110は、例えば図8Bに示すようにブロック境界における段差がブロック周辺における段差よりも大きくない場合、すなわち、例えばbb_range<thtexの場合には、テクスチャとみなしてブロックノイズとは判定しない。また、補正部110は、例えば図8Cに示すようにブロック境界における段差がブロック周辺における段差よりも十分に大きい場合、すなわち、例えばthedge≦bb_rangeの場合には、エッジとみなしてブロックノイズとは判定しない。
【0095】
また、補正部110は、上記の判定結果に基づいて、ブロックノイズと判定されたブロック境界に対応する調整信号を、例えば図9に示すようにbb_rangeに基づいて調整する。ここで、図9に示すゲインカーブのデータは、例えば記憶部(図示せず)やROMなどに記憶され、補正部110により適宜読み出される。
【0096】
補正部110は、例えば、上記のように調整信号が示す補正の度合いを調整し、調整された調整信号に基づいてスケーリング画像信号を補正することによって、局所補正処理を実現する。なお、本発明の実施形態に係る画像処理装置100における局所補正処理が、上記に限られないことは、言うまでもない。
【0097】
また、補正部110は、局所補正処理を行う場合には、例えば、乗算器などの画像信号の補正に係る構成に加え、さらに上記のような局所補正処理を行うための任意の構成を有する専用の処理回路を備えるが、補正部110の構成は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置100では制御部(図示せず)が補正部110の役目を果たしてもよく、また、補正部110は、他の処理も可能な汎用の処理回路で構成されてもよい。
【0098】
画像処理装置100は、例えば図1に示す構成によって、(A)入力画像信号に基づいてブロックノイズを検出し、ノイズ情報を出力する処理、(B)入力画像信号に対してスケーリング処理を行い、スケーリング情報を出力する処理、(C)ノイズ情報とスケーリング情報とに基づいて調整信号を出力する処理、(D)調整信号に基づいてスケーリング画像信号を補正する処理、を行う。ここで、上記(A)の処理〜(D)の処理を行うことによって、ノイズ情報とスケーリング情報とに基づいて調整信号を生成し、調整信号に基づいてスケーリング画像信号を補正することが実現される。つまり、上記(A)の処理〜(D)の処理は、上述した本発明の実施形態に係る画像処理方法に係る処理に該当する。よって、画像処理装置100は、例えば図1に示す構成によって、上述した本発明の実施形態に係る画像処理方法を実行することができる。
【0099】
したがって、画像処理装置100は、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【0100】
なお、本発明の実施形態に係る画像処理装置100の構成は、図1に示す構成に限られない。例えば、図1では、画像処理装置100がノイズ低減部104を備える構成を示しているが、本発明の実施形態に係る画像処理装置100は、ノイズ低減部104を備えない構成をとることも可能である。上記の構成であっても、本発明の実施形態に係る画像処理装置100は、ノイズ情報とスケーリング情報に基づき生成された調整信号に基づいてスケーリング画像信号を補正することが可能であるので、ブロックノイズが強調されることが防止される。よって、従来の技術が用いられる場合に生じうるブロックノイズが強調されることによる画質の低下を防止することができるので、従来の技術を用いる場合よりも高画質化を図ることができる。
【0101】
以上のように、本発明の実施形態に係る画像処理装置100は、入力画像信号に基づいて検出されたブロックノイズを示すノイズ情報と、スケーリング処理における拡大率または縮小率を示すスケーリング情報とに基づいて調整信号を生成し、調整信号に基づいてスケーリング画像信号を補正する。ここで、画像処理装置100は、ブロックノイズを検出するノイズ検出部と、画質の向上に係る画像処理を行う補正部との間において、スケーリングなどの他の処理が行われたとしても、当該他の処理の影響を考慮して画像処理を行う。よって、画像処理装置100では、例えば、線形なスケーリングや非線形なスケーリングが入力画像信号に対して行われたとしても、画像処理(補正処理)によってブロックノイズが強調されることはない。つまり、画像処理装置100は、ブロックノイズが発生した画像に対しても、より自然な画像処理を実現することができる。
【0102】
したがって、画像処理装置100は、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【0103】
以上、本発明の実施形態として画像処理装置100を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、PC(Personal Computer)やPDA(Personal Digital Assistants)などのコンピュータ、テレビ受像機などの表示装置、携帯電話などの携帯型通信装置、映像/音楽再生装置(または映像/音楽記録再生装置)、ゲーム機など、画像信号の処理が可能な様々な機器に適用することができる。
【0104】
(本発明の実施形態に係るプログラム)
コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム(例えば、上記(A)の処理〜(D)の処理を実現するためのプログラムなど、本発明の実施形態に係る画像処理方法に係る処理を実現するためのプログラム)によって、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【0105】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【0106】
例えば、図1では、画像処理装置100が、ノイズ情報とスケーリング情報とに基づいて調整信号を生成する構成を示したが、本発明の実施形態に係る画像処理装置は、上記に限らない。例えば、本発明の実施形態に係る画像処理装置が、ノイズ検出部と補正部との間において検出されたブロックノイズの位置が変化する他の処理を行う場合には、本発明の実施形態に係る画像処理装置は、ノイズ情報と当該他の処理に係る情報とを用いて(または、ノイズ情報、スケーリング情報、および当該他の処理に係る情報を用いて)調整信号を生成する構成をとることが可能である。上記の構成であっても、画像処理(補正処理)によってブロックノイズが強調されることを防止することが可能であるので、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【0107】
また、上記では、コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムをそれぞれ記憶させた記録媒体も併せて提供することができる。
【0108】
上述した構成は、本発明の実施形態の一例を示すものであり、当然に、本発明の技術的範囲に属するものである。
【符号の説明】
【0109】
100 画像処理装置
102 ノイズ検出部
104 ノイズ低減部
106 スケーリング部
108 調整信号生成部
110 補正部
112、112A、112B ノイズ計測部
114 フィルタ部
116 最小値判定部
118 調整信号出力部
120 調整部
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【0002】
例えば離散コサイン変換(Discrete Cosine Transform;DCT)などを用いた符号化方式を用いて画像を圧縮する場合には、ブロック歪(以下、「ブロックノイズ」と示す。)が発生する場合がある。このような中、ブロックノイズを低減して画像信号を補正することによって、高画質化を図る技術が開発されている。ブロックノイズを低減して画像信号を補正することによって高画質化を図る技術としては、例えば、特許文献1に記載の技術が挙げられる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平10−229546号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えば特許文献1のような高画質化を図る従来の技術(以下、単に「従来の技術」と示す場合がある。)は、例えば離散コサイン変換などを用いて圧縮符号化された画像を示す画像信号(以下、「圧縮符号化された画像信号」と示す場合がある。)のブロックノイズを低減し、ブロックノイズが低減された画像信号に対して輪郭強調処理などの画像処理を行う。よって、ブロックノイズを低減するノイズ低減処理と、画質を向上させるための画像処理とが行われるので、従来の技術を用いることによって、高画質化を図ることができる可能性がある。
【0005】
ここで、例えば、ノイズ低減処理を行った後画像処理を行う前に、画像信号が示す画像の拡大または縮小を行うスケーリング処理が行われた場合には、ブロックノイズが存在していた位置が変化する可能性が高い。従来の技術では、上記スケーリング処理によるブロックノイズの位置が変化することについて考慮がされていないので、輪郭強調処理などの画像処理を行った結果、低減したブロックノイズが強調されることが起こりうる。したがって、従来の技術を用いたとしても、高画質化を図ることができるとは限らない。
【0006】
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本発明の第1の観点によれば、圧縮符号化された入力画像信号に基づいてブロックノイズを検出し、検出されたブロックノイズを示すノイズ情報を出力するノイズ検出部と、上記入力画像信号に対して、上記入力画像信号が示す画像の拡大または縮小を行うスケーリング処理を行い、拡大率または縮小率を示すスケーリング情報を出力するスケーリング部と、上記ノイズ情報と上記スケーリング情報とに基づいて、補正の度合いを示す調整信号を出力する調整信号生成部と、上記調整信号に基づいて、上記スケーリング処理が行われた画像信号を補正する補正部と、を備える画像処理装置が提供される。
【0008】
かかる構成により、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【0009】
また、上記調整信号生成部は、上記ノイズ情報と上記スケーリング情報とに基づいて、拡大または縮小された画像におけるブロックノイズのブロック境界からの距離を特定するノイズ計測部と、特定された上記ブロック境界からの距離に対応する上記調整信号を出力する調整信号出力部とを備えてもよい。
【0010】
また、ノイズ計測部は、水平方向の上記ブロック境界からの距離、および/または、垂直方向の上記ブロック境界からの距離を特定してもよい。
【0011】
また、上記調整信号生成部は、上記ノイズ情報に含まれる上記ブロックノイズの強さを示す情報に基づいて、上記調整信号が示す補正の度合いを調整する調整部をさらに備えてもよい。
【0012】
また、上記補正部は、上記スケーリング処理が行われた上記画像信号に基づいて局所的なブロックノイズを判定し、判定結果に応じて上記調整信号が示す補正の度合いを調整し、補正の度合いが調整された調整信号に基づいて、上記スケーリング処理が行われた上記画像信号を補正してもよい。
【0013】
上記調整信号生成部は、画像信号のゲインを調整する調整信号を出力し、上記補正部は、上記調整信号に基づいて、上記スケーリング処理が行われた上記画像信号のゲインを調整してもよい。
【0014】
また、入力画像信号のブロックノイズを低減するノイズ低減部をさらに備え、上記スケーリング部は、ブロックノイズが低減された入力画像信号に対して、上記スケーリング処理を行ってもよい。
【0015】
また、上記目的を達成するために、本発明の第2の観点によれば、圧縮符号化された入力画像信号に基づいてブロックノイズを検出し、検出されたブロックノイズを示すノイズ情報を出力するステップと、上記入力画像信号に対して、上記入力画像信号が示す画像の拡大または縮小を行うスケーリング処理を行い、拡大率または縮小率を示すスケーリング情報を出力するステップと、上記ノイズ情報と上記スケーリング情報とに基づいて、補正の度合いを示す調整信号を出力するステップと、上記調整信号に基づいて、上記スケーリング処理が行われた画像信号を補正するステップと、を有する画像処理方法が提供される。
【0016】
かかる方法を用いることにより、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【0017】
また、上記目的を達成するために、本発明の第3の観点によれば、圧縮符号化された入力画像信号に基づいてブロックノイズを検出し、検出されたブロックノイズを示すノイズ情報を出力するステップ、上記入力画像信号に対して、上記入力画像信号が示す画像の拡大または縮小を行うスケーリング処理を行い、拡大率または縮小率を示すスケーリング情報を出力するステップ、上記ノイズ情報と上記スケーリング情報とに基づいて、補正の度合いを示す調整信号を出力するステップ、上記調整信号に基づいて、上記スケーリング処理が行われた画像信号を補正するステップ、をコンピュータに実行させるためのプログラムが提供される。
【0018】
かかるプログラムを用いることにより、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【発明の効果】
【0019】
本発明によれば、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【図面の簡単な説明】
【0020】
【図1】本発明の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図2】本発明の実施形態に係る画像処理装置におけるブロックノイズ強度の検出方法の一例を示す説明図である。
【図3】本発明の実施形態に係る画像処理装置におけるブロックノイズ強度の検出方法の一例を示す説明図である。
【図4】本発明の実施形態に係る画像処理装置におけるブロックノイズ強度の検出方法の一例を示す説明図である。
【図5】本発明の実施形態に係る画像処理装置における調整信号生成部の第1の構成例を示す説明図である。
【図6】本発明の実施形態に係る画像処理装置における調整信号の生成方法の一例を説明するための説明図である。
【図7】本発明の実施形態に係る画像処理装置における調整信号生成部の第2の構成例を示す説明図である。
【図8A】本発明の実施形態に係る画像処理装置における局所補正処理の一例を説明するための説明図である。
【図8B】本発明の実施形態に係る画像処理装置における局所補正処理の一例を説明するための説明図である。
【図8C】本発明の実施形態に係る画像処理装置における局所補正処理の一例を説明するための説明図である。
【図9】本発明の実施形態に係る画像処理装置における局所補正処理の一例を説明するための説明図である。
【発明を実施するための形態】
【0021】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0022】
また、以下では、下記に示す順序で説明を行う。
1.本発明の実施形態に係る画像処理方法
2.本発明の実施形態に係る画像処理装置
3.本発明の実施形態に係るプログラム
【0023】
(本発明の実施形態に係る画像処理方法)
本発明の実施形態に係る画像処理装置(以下、「画像処理装置100」と示す場合がある。)の構成について説明する前に、本発明の実施形態に係る画像処理方法の概要について説明する。以下では、画像処理装置100が、本発明の実施形態に係る画像処理方法に係る処理を行うものとして説明する。
【0024】
上述したように、ノイズ低減処理を行った後画像処理を行う前に、画像信号が示す画像(静止画像または動画像。以下、同様とする。)の拡大または縮小を行うスケーリング処理が行われた場合には、ブロックノイズが存在していた位置が変化する可能性が高い。そこで、本発明の実施形態に係る画像処理装置100は、処理対象の圧縮符号化された画像信号(以下、「入力画像信号」と示す場合がある。)に基づいて検出されたブロックノイズを示すノイズ情報と、スケーリング処理における拡大率または縮小率を示すスケーリング情報とに基づいて、補正の度合いを示す調整信号を生成する。そして、画像処理装置100は、調整信号に基づいて、入力画像信号に対してスケーリング処理が行われた画像信号(以下、「スケーリング画像信号」と示す場合がある。)を補正する。
【0025】
ここで、本発明の実施形態に係る入力画像信号としては、例えば、画像処理装置100がテレビ塔などから送信された放送波を(直接的、またはセットトップボックスなどを介して間接的に)受信してデコードした結果得られる画像信号が挙げられるが、本発明の実施形態に係る入力画像信号は、上記に限られない。例えば、画像処理装置100は、ネットワークを介して(または直接的に)外部装置から送信された画像信号を、入力画像信号として処理することも可能である。また、画像処理装置100は、例えば、記憶部(後述する)や、画像処理装置100から着脱可能な外部記録媒体に記憶された画像データをデコードすることにより得られた画像信号を、入力画像信号として処理してもよい。また、本発明の実施形態に係る入力画像信号としては、例えば、MPEG−4(ISO/IEC 14496)や、MPEG−2(ISO/IEC 13818)、MPEG−1、H.261、H.263、H.264などのように、複数の画素からなるブロック単位で圧縮符号化する符号化方式で符号化された画像信号が挙げられる。以下では、本発明の実施形態に係る入力画像信号が、8×8画素のブロック単位で符号化された画像信号である場合、すなわち、ブロック単位となる画素数が“8”である場合を例に挙げて説明する。
【0026】
また、本発明の実施形態に係るノイズ情報としては、例えば、ブロック境界の位置を示す情報と、ブロックノイズ強度を示す情報(ブロックノイズの強さを示す情報)とが挙げられる。より具体的には、画像処理装置100は、例えば、画像におけるブロックの開始位置を示すデータ(以下、「b_pos」と示す場合がある。)と、ブロックのサイズを示すデータ(以下、「b_size」と示す場合がある。)をブロック境界の位置を示す情報とする。ここで、b_posとしては、例えば、画像の所定の位置(例えば画像の左下など)を原点としたときにおける画素の座標を示す座標データが挙げられる。また、b_sizeとしては、例えば、ブロック単位となる画素数を示すデータが挙げられる。なお、画像処理装置100は、例えば、後述するブロック境界の位置の検出方法を用いて、ブロックのサイズを判定することが可能である。画像処理装置100は、入力画像信号の符号化方式に基づいて、各ブロックに対応するb_posと、b_sizeとを特定することが可能である。また、画像処理装置100は、例えば、ブロックノイズの強度を示すデータ(以下、「b_str」と示す場合がある。)をブロックノイズ強度を示す情報とする。本発明の実施形態に係るブロックノイズ強度の検出方法については、後述する。
【0027】
また、本発明の実施形態に係る調整信号としては、例えば、画像信号のゲインを調整する信号(マスクゲイン信号)が挙げられる。なお、本発明の実施形態に係る調整信号は、画像信号のゲインを調整する信号に限られない。例えば、本発明の実施形態に係る調整信号としては、画像処理装置100が備える補正部(後述する)における画像信号の補正に係る任意の画像処理の度合いを規定する信号(例えば、補正部における画像処理に対応する処理のレベルを規定する信号)が挙げられる。以下では、本発明の実施形態に係る画像処理装置100が、画像信号のゲインを調整する調整信号を生成する場合を主に例に挙げて説明する。
【0028】
本発明の実施形態に係る画像処理装置100は、上記のようにノイズ情報とスケーリング情報とに基づいて調整信号を生成し、調整信号に基づいてスケーリング画像信号を補正する。よって、画像処理装置100では、例えば、線形なスケーリングや、非線形なスケーリング(例えば、パノラマワイドやオーバースキャン)が入力画像信号に対して行われたとしても、画像処理(補正処理)によってブロックノイズが強調されることはない。つまり、画像処理装置100は、ブロックノイズが発生した画像に対しても、より自然な画像処理を実現することができる。
【0029】
したがって、画像処理装置100は、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【0030】
以下、本発明の実施形態に係る画像処理装置100の構成の一例について説明をすると共に、本発明の実施形態に係る画像処理方法に係る処理の具体例についても併せて説明する。
【0031】
(本発明の実施形態に係る画像処理装置)
図1は、本発明の実施形態に係る画像処理装置100の構成の一例を示すブロック図である。
【0032】
画像処理装置100は、例えば、ノイズ検出部102と、ノイズ低減部104と、スケーリング部106と、調整信号生成部108と、補正部110とを備える。
【0033】
また、画像処理装置100は、例えば、制御部(図示せず)や、ROM(Read Only Memory;図示せず)、RAM(Random Access Memory;図示せず)、記憶部(図示せず)、デコーダ、ユーザが操作可能な操作部(図示せず)、様々な画面を表示画面に表示する表示部(図示せず)、外部装置と通信を行うための通信部(図示せず)などを備えていてもよい。画像処理装置100は、例えば、データの伝送路としてのバス(bus)により上記各構成要素間を接続する。
【0034】
ここで、制御部(図示せず)は、例えば、MPU(Micro Processing Unit)や、各種処理回路などで構成され画像処理装置100全体を制御する。また、制御部(図示せず)は、例えば、デコーダや、後述するノイズ検出部102、ノイズ低減部104、スケーリング部106、調整信号生成部108、補正部110の役目を果たしてもよい。また、制御部(図示せず)は、例えば、補正部110が画像処理を行った画像信号をエンコードして、記憶部(図示せず)に記録するなど、各種画像処理が行われた画像信号に対する処理を行う役目を果たしてもよい。
【0035】
ROM(図示せず)は、制御部(図示せず)が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、制御部(図示せず)により実行されるプログラムなどを一時的に記憶する。
【0036】
記憶部(図示せず)は、画像処理装置100が備える記憶手段であり、例えば、画像データや、アプリケーションなど様々なデータを記憶する。ここで、記憶部(図示せず)としては、例えば、ハードディスク(Hard Disk)などの磁気記録媒体や、EEPROM(Electrically Erasable and Programmable Read Only Memory)、フラッシュメモリ(flash memory)などの不揮発性メモリ(nonvolatile memory)などが挙げられる。
【0037】
操作部(図示せず)としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、画像処理装置100は、例えば、画像処理装置100の外部装置としての操作入力デバイス(例えば、キーボードやマウスなど)と接続することもできる。
【0038】
表示部(図示せず)としては、例えば、液晶ディスプレイ(Liquid Crystal Display;LCD)や有機ELディスプレイ(organic ElectroLuminescence display。または、OLEDディスプレイ(Organic Light Emitting Diode display)ともよばれる。)などが挙げられる。なお、表示部(図示せず)は、例えばタッチスクリーンなどのように、表示とユーザ操作とが可能なデバイスであってもよい。
【0039】
通信部(図示せず)は、画像処理装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、外部装置と無線/有線で通信を行う。ここで、通信部(図示せず)としては、例えば、通信アンテナおよびRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11bポートおよび送受信回路(無線通信)、あるいはLAN(Local Area Network)端子および送受信回路(有線通信)などが挙げられる。また、本発明の実施形態に係るネットワークとしては、例えば、LANやWAN(Wide Area Network)などの有線ネットワーク、基地局を介した無線WAN(WWAN;Wireless Wide Area Network)などの無線ネットワーク、あるいは、TCP/IP(Transmission Control Protocol/Internet Protocol)などの通信プロトコルを用いたインターネットなどが挙げられる。
【0040】
以下、図1に示す本発明の実施形態に係る画像処理装置100の構成例について説明しつつ、画像処理装置100における処理(画像処理方法に係る処理)の一例について説明する。
【0041】
ノイズ検出部102は、入力画像信号に基づいてブロックノイズを検出し、検出されたブロックノイズを示すノイズ情報を出力する。ここで、ノイズ情報としては、例えば、ブロック境界の位置を示す情報(b_pos、b_size)と、ブロックノイズ強度を示す情報(b_str)とが挙げられる。また、ノイズ検出部102は、ブロックノイズが検出されたか否かによらず全てのブロックに対応するノイズ情報を出力するが、ノイズ検出部102における処理は、上記に限られない。例えば、ノイズ検出部102は、ブロックノイズが検出されたと判定されたブロックに対応するノイズ情報を選択的に出力することも可能である。ノイズ検出部102は、例えば、後述するブロックノイズ強度の検出方法により算出されたブロックの段差特徴を示す値(work(x))の値が0以下である場合に、ブロックノイズが検出されなかったと判定する。
【0042】
[ブロック境界の位置の検出方法の一例]
ここで、本発明の実施形態に係る画像処理装置100におけるブロック境界の位置の検出方法の一例について説明する。以下では、画像処理装置100が、入力画像信号が示す画像における水平方向のブロック境界の位置を判定する場合を例に挙げて説明する。なお、画像処理装置100は、入力画像信号が示す画像における垂直方向のブロック境界の位置についても、同様の方法を用いることによって、検出することが可能である。
【0043】
画像処理装置100は、例えば、入力画像信号における水平方向の隣接画素間の差分信号を画面内で積算することによって、ブロック境界の位置を検出する。
【0044】
より具体的には、画像処理装置100は、例えば、水平方向の隣接する画素における画素値D(例えば輝度値)の差分絶対値(|D(x)−D(x+1)|)を算出する。また、画像処理装置100は、算出した差分絶対値を垂直方向に累計して、水平方向の位置ごとの累計値を算出する。ここで、画像処理装置100は、累計値を度数、水平方向の位置を階級とするヒストグラムを算出してもよい。また、画像処理装置100は、算出された水平方向の位置ごとの累計値と、ブロック位置を判定するための所定の閾値とを用いて、当該閾値以上の水平方向の位置(または、閾値より大きい水平方向の位置)を判定する。ここで、上記閾値としては、例えば、予め設定された固定値が挙げられるが、調整可能な可変値であってもよい。そして、画像処理装置100は、判定された位置(例えばヒストグラムにおけるピーク位置に該当する。)をブロックの開始位置(ブロック境界の位置)として判定し、判定された位置間の距離をブロックのサイズと判定する。
【0045】
画像処理装置100は、例えば上記のような方法を用いることによって、ブロック境界の位置を検出する。なお、本発明の実施形態に係る画像処理装置100におけるブロック境界の位置の検出方法が、上記に限られないことは、言うまでもない。
【0046】
[ブロックノイズ強度の検出方法の一例]
次に、本発明の実施形態に係る画像処理装置100におけるブロックノイズ強度の検出方法の一例について説明する。図2、図3、図4は、本発明の実施形態に係る画像処理装置100におけるブロックノイズ強度の検出方法の一例を示す説明図である。以下では、画像処理装置100が、入力画像信号が示す画像における水平方向のブロックノイズの強度を検出する場合を例に挙げて、ブロックノイズ強度の検出方法の一例を説明する。なお、画像処理装置100は、入力画像信号が示す画像における垂直方向のブロックノイズの強度についても、同様の方法を用いることによって、検出することが可能である。
【0047】
画像処理装置100は、例えば、注目画素xにおける画素値D(例えば輝度値)と注目画素xの近傍の画素における画素値Dとに基づく差分絶対値を算出する。図2に示す例では、画像処理装置100は、例えば下記の数式1〜数式5によって、差分絶対値a〜eを算出する。なお、画像処理装置100は、例えば、注目画素xの近傍の画素がない(または、検出を行うために十分な数の画素がない)場合には、当該注目画素xについてのブロックノイズ強度の検出に係る処理を行わなくてもよい。
【0048】
【数1】
【数2】
【数3】
【数4】
【数5】
【0049】
差分絶対値a〜eを算出すると、画像処理装置100は、例えば下記の数式6によって、注目画素xに対応するブロックの段差特徴を示す値(work(x))を算出する。ここで、数式6は、注目画素xの位置に対応する段差cと周辺段差の平均値とを比較する演算である。
【0050】
work(x)=c−(a+b+d+e)/4
・・・(数式6)
【0051】
画像処理装置100は、例えば、work(x)の値が0(ゼロ)以下のときは、ブロックノイズが検出されなかったと判定し、work(x)の値が0(ゼロ)より大きい場合には、ブロックノイズが検出されたと判定する。
【0052】
画像処理装置100は、画像全体におけるwork(x)をレベル別に集計した値cnt_all(|V|)と、ブロック境界の座標におけるwork(x)をレベル別に集計した値cnt_bb(|V|)とを、レベルごとに算出する(図3)。そして、画像処理装置100は、レベルごとに“cnt_bb(|V|)/cnt_all(|V|)”を算出して、算出した“cnt_bb(|V|)/cnt_all(|V|)”が所定の閾値th_bndを超える最大のレベルを、ブロックノイズ強度として検出する。
する(図4)。
【0053】
ここで、画像処理装置100は、例えば、検出されたブロックノイズに対応するレベルを示す値(例えばレベルを識別する番号)をb_strとするが、画像処理装置100における処理は、上記に限られない。例えば、画像処理装置100は、レベルを識別する番号と対応付けられた値を、b_strとすることも可能である。また、所定の閾値th_bndとしては、例えば、予め規定された値が挙げられるが、所定の閾値th_bndは、上記に限られない。例えば、所定の閾値th_bndは、画像処理装置100のユーザ(以下、単に「ユーザ」と示す場合がある。)により設定された値であってもよい。
【0054】
画像処理装置100は、例えば上記のような処理を行うことによって、ブロックノイズ強度を検出する。なお、本発明の実施形態に係る画像処理装置100におけるブロックノイズ強度の検出方法が、上記に限られないことは、言うまでもない。
【0055】
再度図1を参照して、本発明の実施形態に係る画像処理装置100の構成例について説明する。ノイズ検出部102は、例えば上記のような検出方法に係る処理を行うことによって、ノイズ情報を出力する。また、ノイズ検出部102は、入力画像信号をノイズ低減部104へ伝達する。なお、本発明の実施形態に係る画像処理装置100の構成は、ノイズ検出部102が入力画像信号をノイズ低減部104へ伝達する構成に限られない。例えば、画像処理装置100は、ノイズ検出部102を介さずに入力画像信号をノイズ低減部104に入力させてもよい。
【0056】
ノイズ検出部102は、例えば、上記のような検出方法に係る処理を行うための任意の構成を有する専用の処理回路で実現可能であるが、ノイズ検出部102の構成は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置100では制御部(図示せず)がノイズ検出部102の役目を果たしてもよく、また、ノイズ検出部102は、他の処理も可能な汎用の処理回路であってもよい。
【0057】
ノイズ低減部104は、例えばフィルタ回路などで構成され、入力画像信号に含まれうるブロックノイズを低減する。また、ノイズ低減部104は、ブロックノイズを低減させた入力画像信号をスケーリング部106へ伝達する。
【0058】
ここで、ノイズ低減部104は、例えば、ノイズ検出部102におけるブロックノイズの検出結果によらずに処理を行うが、ノイズ低減部104における処理は、上記に限られない。例えば、ノイズ低減部104は、ノイズ検出部102から伝達されるノイズ情報に基づいて、選択的にブロックノイズの低減を行ってもよい。上記の場合、ノイズ低減部104は、例えば、ノイズ情報に基づいてフィルタ回路などのノイズ低減に係る回路に入力画像信号を選択的に入力する構成や、ノイズ情報に基づいてノイズ低減に係る回路を選択的に有効化する構成をとる。
【0059】
スケーリング部106は、伝達される入力画像信号に対して、入力画像信号が示す画像の拡大または縮小を行うスケーリング処理を行う。そして、スケーリング部106は、スケーリング情報を調整信号生成部108へ伝達し、また、スケーリング画像信号を補正部110へ伝達する。
【0060】
ここで、スケーリング部106におけるスケーリング処理としては、例えば、線形なスケーリングを行う処理や、非線形なスケーリング(例えば、パノラマワイドやオーバースキャン)を行う処理が挙げられる。また、スケーリング部106は、上記のようなスケーリング処理を行うための任意の構成を有する専用の処理回路で実現可能であるが、スケーリング部106の構成は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置100では制御部(図示せず)がスケーリング部106の役目を果たしてもよく、また、スケーリング部106は、他の処理も可能な汎用の処理回路であってもよい。
【0061】
調整信号生成部108は、ノイズ検出部102から伝達されるノイズ情報と、スケーリング部106から伝達されるスケーリング情報とに基づいて、調整信号を生成する。そして、調整信号生成部108は、生成した調整信号を補正部110へ伝達する。
【0062】
なお、調整信号生成部108における処理は、ノイズ検出部102から伝達されるノイズ情報に基づいて調整信号を生成する処理に限られない。例えば、デコーダはデコード処理の際にブロックノイズの位置や強度を特定することが可能である。よって、調整信号生成部108は、例えば、画像処理装置100が備えるデコーダ、または、画像処理装置100の外部のデコーダが特定したブロックノイズの位置や強度を示すノイズ情報が伝達される場合には、ノイズ検出部102から伝達されるノイズ情報の代わりに、デコーダから伝達されるノイズ情報を用いて処理を行ってもよい。以下では、調整信号生成部108が、ノイズ検出部102から伝達されるノイズ情報を用いて調整信号を生成する場合を例に挙げて、調整信号生成部108のより具体的な処理について説明する。
【0063】
[調整信号生成部108の構成例]
(1)第1の構成例
図5は、本発明の実施形態に係る画像処理装置100における調整信号生成部108の第1の構成例を示す説明図である。
【0064】
第1の構成例に係る調整信号生成部108は、例えば、ノイズ計測部112と、フィルタ部114と、最小値判定部116と、調整信号出力部118とを備える。
【0065】
ノイズ計測部112は、ノイズ情報とスケーリング情報とに基づいて、スケーリング処理によって拡大または縮小された画像における、ブロックノイズのブロック境界からの距離(以下、「b_dist」と示す場合がある。)を特定する。ここで、図5では、ノイズ計測部112が、水平方向のブロック境界からの距離を特定する第1ノイズ計測部112Aと、垂直方向のブロック境界からの距離を特定する第2ノイズ計測部112Bとを備える構成を示している。
【0066】
なお、本発明の実施形態に係るノイズ計測部112は、水平方向のブロック境界からの距離と、垂直方向のブロック境界からの距離との双方を特定する構成に限られない。例えば、本発明の実施形態に係るノイズ計測部112は、補正部110における処理に対応して、水平方向のブロック境界からの距離、または、垂直方向のブロック境界からの距離のいずれか一方を特定する構成であってもよい。
【0067】
〔ブロック境界からの距離の特定方法の一例〕
ここで、本発明の実施形態に係る画像処理装置100におけるブロック境界からの距離の特定方法の一例について説明する。以下では、画像処理装置100が、水平方向のブロック境界からの距離を特定する場合を例に挙げて、ブロック境界からの距離の特定方法の一例を説明する。なお、画像処理装置100は、垂直方向のブロック境界からの距離についても、同様の方法を用いることによって、特定することが可能である。
【0068】
画像処理装置100は、例えば、ノイズ情報に含まれるブロック境界の位置を示す情報(b_pos、b_size)を用いて、例えば下記の数式7、数式8の演算を行うことによって、b_distを算出する。ここで、数式7、数式8は、ブロック単位となる画素数が“8”である場合におけるb_distの算出方法の一例を示している。また、数式7に示す“mod(d,X)”は、dを法とするXの剰余であり、“rate”は、スケーリング情報が示す拡大率または縮小率である。また、数式8は、ブロック単位となる画素数“8”に対応する距離(0〜7)を、後述する調整信号出力部118における処理の例に対応する距離(0〜3)に変換する演算を示している。
【0069】
【数6】
【数7】
【0070】
画像処理装置100は、例えば上記のような処理を行うことによって、ブロック境界からの距離を特定する。なお、本発明の実施形態に係る画像処理装置100におけるブロック境界からの距離の特定方法が、上記に限られないことは、言うまでもない。
【0071】
ノイズ計測部112は、第1ノイズ計測部112A、第2ノイズ計測部112Bそれぞれにおいて例えば上記の処理を行う。そして、第1ノイズ計測部112Aは、特定された水平方向のブロック境界からの距離を示すb_dist_Hを出力し、第2ノイズ計測部112Bは、特定された垂直方向のブロック境界からの距離を示すb_dist_Vを出力する。ここで、b_dist_H、b_dist_Vとしては、例えば、2ビットのデジタルデータが挙げられるが、b_dist_H、b_dist_Vは、上記に限られない。
【0072】
また、ノイズ計測部112は、例えば、上記のような特定方法に係る処理を行うための任意の構成を有する専用の処理回路で実現可能であるが、ノイズ計測部112の構成は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置100では制御部(図示せず)がノイズ計測部112の役目を果たしてもよく、また、ノイズ計測部112は、他の処理も可能な汎用の処理回路であってもよい。
【0073】
フィルタ部114は、例えばローパス・フィルタなどのフィルタ回路で構成され、ノイズ計測部112から伝達されるb_distをフィルタリングする。
【0074】
ここで、図5では、フィルタ部114が、第1ノイズ計測部112Aに対応する第1フィルタ部114Aと、第2ノイズ計測部112Bに対応する第2フィルタ部114Bとを備える構成を示しているが、本発明の実施形態に係るフィルタ部114の構成は、上記に限られない。例えば、ノイズ計測部112が水平方向のブロック境界からの距離、または、垂直方向のブロック境界からの距離のいずれか一方を特定する構成である場合には、フィルタ部114は、ノイズ計測部112に対応する第1フィルタ部114Aまたは第2フィルタ部114Bのいずれか一方で構成されていてもよい。
【0075】
また、調整信号生成部108は、例えば、フィルタ部114を備えない構成をとることも可能である。
【0076】
最小値判定部116は、例えば比較回路などで構成され、対応するブロックにおけるb_dist_Hおよびb_dist_Vの最小値を判定し、最小値を調整信号出力部118へ伝達する。なお、例えば、ノイズ計測部112が水平方向のブロック境界からの距離、または、垂直方向のブロック境界からの距離のいずれか一方を特定する構成である場合には、調整信号生成部108は、最小値判定部116を備えていなくてもよい。
【0077】
調整信号出力部118は、伝達されるb_dist_H、b_dist_V、最小値に対応する調整信号を生成して出力する。
【0078】
図6は、本発明の実施形態に係る画像処理装置100における調整信号の生成方法の一例を説明するための説明図である。ここで、図6は、画像処理装置100が画像信号のゲインを調整する調整信号を出力する場合における、調整信号生成部108(調整信号出力部118)が調整信号の生成に用いるゲインカーブの一例を示している。
【0079】
画像処理装置100は、図6に示すようなゲインカーブを示すデータや、b_distとゲインの調整量とが一対一に対応付けられたルックアップテーブルを、例えば、補正部110における処理ごとや、スケーリング部106において行われるスケーリング処理の種別ごとに記憶部(図示せず)やROMなどに記憶する。また、画像処理装置100は、例えば補正部110において周波数分離型輪郭強調処理を行う場合には、周波数帯域ごとに、ゲインカーブやルックアップテーブルを記憶してもよい。上記の場合には、画像処理装置100は、例えば低域や高域における輪郭強調処理を弱めるなど、入力画像信号のノイズの周波数特性に基づく画像の補正が可能となる。
【0080】
調整信号出力部118は、上記ゲインカーブなどを用いて、伝達されるb_dist_H、b_dist_V、最小値に対応する調整信号を、例えば、補正部110における処理ごとや、周波数帯域ごとに生成する。そして、調整信号出力部118は、生成した調整信号を出力する。
【0081】
なお、上述したように、本発明の実施形態に係る画像処理装置100は、画像信号のゲインを調整する調整信号に限られず、例えば、ゲインの調整以外の画像処理の度合いを示す調整信号を生成することも可能である。画像処理の度合いを示す調整信号を生成する場合には、画像処理装置100は、例えば、b_distと画像処理の度合いを示す値とが一対一に対応付けられたルックアップテーブルを、補正部110における処理ごとや、周波数帯域ごと、スケーリング部106において行われるスケーリング処理の種別ごとに記憶部(図示せず)やROMなどに記憶する。そして、画像処理装置100は、画像信号のゲインを調整する調整信号を生成する場合と同様に、ルックアップテーブルなどを用いて、伝達されるb_dist_H、b_dist_V、最小値に対応する調整信号を、例えば、補正部110における処理ごとや、周波数帯域ごとに生成する。
【0082】
第1の構成例に係る調整信号生成部108は、例えば図5に示す構成によって、ノイズ情報とスケーリング情報とに基づいて、調整信号を生成することができる。なお、本発明の実施形態に係る調整信号生成部108の構成は、図5に示す構成に限られない。
【0083】
(2)第2の構成例
図7は、本発明の実施形態に係る画像処理装置100における調整信号生成部108の第2の構成例を示す説明図である。
【0084】
図7に示す第2の構成例に係る調整信号生成部108は、図5に示す第1の構成例に係る調整信号生成部108と基本的に同様の構成を有するが、図5に示す第1の構成例に係る調整信号生成部108と比較すると、第2の構成例に係る調整信号生成部108は、調整部120をさらに備えている。
【0085】
調整部120は、ノイズ情報に含まれるブロックノイズの強さを示す情報(b_str)に基づいて、調整信号が示す補正の度合いを調整する。より具体的には、調整部120は、例えば、b_strの値(ブロックノイズの強さを示す値)が、所定の閾値よりも大きい場合に、より補正の度合いが大きくなるように調整信号を調整する。また、調整部120は、例えば、b_strの値が小さいほど、補正の度合いが小さくなるように調整信号を調整してもよい。
【0086】
第2の構成例に係る調整信号生成部108は、図5に示す第1の構成例に係る調整信号生成部108と基本的に同様の構成を有する。よって、第2の構成例に係る調整信号生成部108は、図7に示す構成によって、図5に示す第1の構成例に係る調整信号生成部108と同様に、ノイズ情報とスケーリング情報とに基づいて、調整信号を生成することができる。
【0087】
また、第2の構成例に係る調整信号生成部108は、さらに調整部120を備えることによって、ノイズ検出部102において検出されたブロックノイズの強さに基づいて調整信号が示す補正の度合いを調整する。よって、第2の構成例に係る調整信号生成部108から出力される調整信号に基づいて、補正部110において画像信号の補正が行われることによって、よりノイズ検出部102における検出結果が反映された画像信号の補正を行うことが可能となる。
【0088】
画像処理装置100は、例えば図5、図7に示す構成を有する調整信号生成部108を備える。なお、本発明の実施形態に係る調整信号生成部108の構成は、図5、図7に示す構成に限られない。例えば、以下では、補正部110における処理の例として説明するが、調整信号生成部108は、さらにブロック境界ごとにのブロック歪強度を評価する関数に基づいて調整信号を調整し、調整された調整信号を出力することも可能である。上記の場合には、画像処理装置100は、よりきめ細かな補正を行うことができる。
【0089】
再度図1を参照して、本発明の実施形態に係る画像処理装置100の構成例について説明する。補正部110は、調整信号生成部108から伝達される調整信号に基づいて、スケーリング処理部106から伝達されるスケーリング画像信号を補正する。例えば、伝達される調整信号が、画像信号のゲインを調整する調整信号である場合には、補正部110は、乗算器などを用いてスケーリング画像信号のゲインを調整する。また、伝達される調整信号が、ゲインの調整以外の画像処理の度合いを示す調整信号である場合には、補正部110は、調整信号が示す処理のレベル(例えば処理の強弱に係るレベル)に応じて、画像処理を行う。
【0090】
補正部110は、例えば上記のように、ノイズ情報とスケーリング情報に基づき生成された調整信号に基づいてスケーリング画像信号を補正することによって、ブロックノイズが強調されることを防止することができる。
【0091】
なお、補正部110における処理は、上記に限らない。例えば、補正部110は、スケーリング画像信号に基づいて、局所的なブロックノイズを判定して、判定結果に応じて伝達される調整信号が示す補正の度合いを調整することも可能である。ここで、局所的なブロックノイズとしては、例えば、ブロック境界において発生するブロックノイズが挙げられる。そして、補正部110は、調整された調整信号に基づいて、スケーリング画像信号を補正する。上記の場合には、画像処理装置100は、よりきめ細かな補正を行うことができる。
【0092】
[局所補正処理の一例]
図8A〜図8C、図9は、本発明の実施形態に係る画像処理装置100における局所補正処理の一例を説明するための説明図である。ここで、図8A〜図8Bは、画像処理装置100における、ブロック境界において発生する局所的なブロックノイズの判定方法の一例を説明するための説明図である。また、図9は、画像処理装置100における、局所的なブロックノイズの判定結果に応じた調整信号の調整の一例を示す説明図である。以下では、調整信号生成部108から伝達される調整信号が、画像信号のゲインを調整する調整信号である場合を例に挙げて、補正部110における局所補正処理の一例について説明する。
【0093】
補正部110は、例えば、スケーリング画像信号におけるブロック境界の画素(注目画素x)について、上記数式6の演算を行う。そして、補正部110は、数式6における演算結果であるbb_range(数式6に示すwork(x)に該当)と、閾値thtexと、閾値thedge(thtex<thedge)とに基づいて、ブロック境界におけるブロックノイズを判定する。ここで、thtexは、テクスチャを判定するための閾値であり、例えばbb_rangeがthtex以下(または、thtex未満。以下同様とする。)の場合には、補正部110は、注目画素に対応する差分絶対値cをテクスチャとみなす。また、thedgeは、エッジを判定するための閾値であり、例えばbb_rangeがthedge以上(または、thedgeより大きい。以下同様とする。)の場合には、補正部110は、注目画素に対応する差分絶対値cをエッジとみなす。テクスチャを判定するための閾値thtexとエッジを判定するための閾値thedgeとしては、例えば、予め規定された値が挙げられるが、閾値thtexと閾値thedgeとは、上記に限られない。例えば、閾値thtexと閾値thedgeとは、ユーザにより設定された値であってもよい。
【0094】
より具体的には、補正部110は、例えば図8Aに示すようにブロック境界における段差(差分絶対値c)がブロック周辺における段差(差分絶対値a、b、d、e)のよりも大きい場合、すなわち、例えばthtex≦bb_range<thedgeの場合には、ブロックノイズと判定する。また、補正部110は、例えば図8Bに示すようにブロック境界における段差がブロック周辺における段差よりも大きくない場合、すなわち、例えばbb_range<thtexの場合には、テクスチャとみなしてブロックノイズとは判定しない。また、補正部110は、例えば図8Cに示すようにブロック境界における段差がブロック周辺における段差よりも十分に大きい場合、すなわち、例えばthedge≦bb_rangeの場合には、エッジとみなしてブロックノイズとは判定しない。
【0095】
また、補正部110は、上記の判定結果に基づいて、ブロックノイズと判定されたブロック境界に対応する調整信号を、例えば図9に示すようにbb_rangeに基づいて調整する。ここで、図9に示すゲインカーブのデータは、例えば記憶部(図示せず)やROMなどに記憶され、補正部110により適宜読み出される。
【0096】
補正部110は、例えば、上記のように調整信号が示す補正の度合いを調整し、調整された調整信号に基づいてスケーリング画像信号を補正することによって、局所補正処理を実現する。なお、本発明の実施形態に係る画像処理装置100における局所補正処理が、上記に限られないことは、言うまでもない。
【0097】
また、補正部110は、局所補正処理を行う場合には、例えば、乗算器などの画像信号の補正に係る構成に加え、さらに上記のような局所補正処理を行うための任意の構成を有する専用の処理回路を備えるが、補正部110の構成は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置100では制御部(図示せず)が補正部110の役目を果たしてもよく、また、補正部110は、他の処理も可能な汎用の処理回路で構成されてもよい。
【0098】
画像処理装置100は、例えば図1に示す構成によって、(A)入力画像信号に基づいてブロックノイズを検出し、ノイズ情報を出力する処理、(B)入力画像信号に対してスケーリング処理を行い、スケーリング情報を出力する処理、(C)ノイズ情報とスケーリング情報とに基づいて調整信号を出力する処理、(D)調整信号に基づいてスケーリング画像信号を補正する処理、を行う。ここで、上記(A)の処理〜(D)の処理を行うことによって、ノイズ情報とスケーリング情報とに基づいて調整信号を生成し、調整信号に基づいてスケーリング画像信号を補正することが実現される。つまり、上記(A)の処理〜(D)の処理は、上述した本発明の実施形態に係る画像処理方法に係る処理に該当する。よって、画像処理装置100は、例えば図1に示す構成によって、上述した本発明の実施形態に係る画像処理方法を実行することができる。
【0099】
したがって、画像処理装置100は、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【0100】
なお、本発明の実施形態に係る画像処理装置100の構成は、図1に示す構成に限られない。例えば、図1では、画像処理装置100がノイズ低減部104を備える構成を示しているが、本発明の実施形態に係る画像処理装置100は、ノイズ低減部104を備えない構成をとることも可能である。上記の構成であっても、本発明の実施形態に係る画像処理装置100は、ノイズ情報とスケーリング情報に基づき生成された調整信号に基づいてスケーリング画像信号を補正することが可能であるので、ブロックノイズが強調されることが防止される。よって、従来の技術が用いられる場合に生じうるブロックノイズが強調されることによる画質の低下を防止することができるので、従来の技術を用いる場合よりも高画質化を図ることができる。
【0101】
以上のように、本発明の実施形態に係る画像処理装置100は、入力画像信号に基づいて検出されたブロックノイズを示すノイズ情報と、スケーリング処理における拡大率または縮小率を示すスケーリング情報とに基づいて調整信号を生成し、調整信号に基づいてスケーリング画像信号を補正する。ここで、画像処理装置100は、ブロックノイズを検出するノイズ検出部と、画質の向上に係る画像処理を行う補正部との間において、スケーリングなどの他の処理が行われたとしても、当該他の処理の影響を考慮して画像処理を行う。よって、画像処理装置100では、例えば、線形なスケーリングや非線形なスケーリングが入力画像信号に対して行われたとしても、画像処理(補正処理)によってブロックノイズが強調されることはない。つまり、画像処理装置100は、ブロックノイズが発生した画像に対しても、より自然な画像処理を実現することができる。
【0102】
したがって、画像処理装置100は、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【0103】
以上、本発明の実施形態として画像処理装置100を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、PC(Personal Computer)やPDA(Personal Digital Assistants)などのコンピュータ、テレビ受像機などの表示装置、携帯電話などの携帯型通信装置、映像/音楽再生装置(または映像/音楽記録再生装置)、ゲーム機など、画像信号の処理が可能な様々な機器に適用することができる。
【0104】
(本発明の実施形態に係るプログラム)
コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム(例えば、上記(A)の処理〜(D)の処理を実現するためのプログラムなど、本発明の実施形態に係る画像処理方法に係る処理を実現するためのプログラム)によって、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【0105】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【0106】
例えば、図1では、画像処理装置100が、ノイズ情報とスケーリング情報とに基づいて調整信号を生成する構成を示したが、本発明の実施形態に係る画像処理装置は、上記に限らない。例えば、本発明の実施形態に係る画像処理装置が、ノイズ検出部と補正部との間において検出されたブロックノイズの位置が変化する他の処理を行う場合には、本発明の実施形態に係る画像処理装置は、ノイズ情報と当該他の処理に係る情報とを用いて(または、ノイズ情報、スケーリング情報、および当該他の処理に係る情報を用いて)調整信号を生成する構成をとることが可能である。上記の構成であっても、画像処理(補正処理)によってブロックノイズが強調されることを防止することが可能であるので、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【0107】
また、上記では、コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムをそれぞれ記憶させた記録媒体も併せて提供することができる。
【0108】
上述した構成は、本発明の実施形態の一例を示すものであり、当然に、本発明の技術的範囲に属するものである。
【符号の説明】
【0109】
100 画像処理装置
102 ノイズ検出部
104 ノイズ低減部
106 スケーリング部
108 調整信号生成部
110 補正部
112、112A、112B ノイズ計測部
114 フィルタ部
116 最小値判定部
118 調整信号出力部
120 調整部
【特許請求の範囲】
【請求項1】
圧縮符号化された入力画像信号に基づいてブロックノイズを検出し、検出されたブロックノイズを示すノイズ情報を出力するノイズ検出部と、
前記入力画像信号に対して、前記入力画像信号が示す画像の拡大または縮小を行うスケーリング処理を行い、拡大率または縮小率を示すスケーリング情報を出力するスケーリング部と、
前記ノイズ情報と前記スケーリング情報とに基づいて、補正の度合いを示す調整信号を出力する調整信号生成部と、
前記調整信号に基づいて、前記スケーリング処理が行われた画像信号を補正する補正部と、
を備える、画像処理装置。
【請求項2】
前記調整信号生成部は、
前記ノイズ情報と前記スケーリング情報とに基づいて、拡大または縮小された画像におけるブロックノイズのブロック境界からの距離を特定するノイズ計測部と、
特定された前記ブロック境界からの距離に対応する前記調整信号を出力する調整信号出力部と、
を備える、請求項1に記載の画像処理装置。
【請求項3】
ノイズ計測部は、水平方向の前記ブロック境界からの距離、および/または、垂直方向の前記ブロック境界からの距離を特定する、請求項2に記載の画像処理装置。
【請求項4】
前記調整信号生成部は、前記ノイズ情報に含まれる前記ブロックノイズの強さを示す情報に基づいて、前記調整信号が示す補正の度合いを調整する調整部をさらに備える、請求項2に記載の画像処理装置。
【請求項5】
前記補正部は、
前記スケーリング処理が行われた前記画像信号に基づいて局所的なブロックノイズを判定し、判定結果に応じて前記調整信号が示す補正の度合いを調整し、
補正の度合いが調整された調整信号に基づいて、前記スケーリング処理が行われた前記画像信号を補正する、請求項1〜4のいずれか1項に記載の画像処理装置。
【請求項6】
前記調整信号生成部は、画像信号のゲインを調整する調整信号を出力し、
前記補正部は、前記調整信号に基づいて、前記スケーリング処理が行われた前記画像信号のゲインを調整する、請求項1〜4のいずれか1項に記載の画像処理装置。
【請求項7】
入力画像信号のブロックノイズを低減するノイズ低減部をさらに備え、
前記スケーリング部は、ブロックノイズが低減された入力画像信号に対して、前記スケーリング処理を行う、請求項1〜4のいずれか1項に記載の画像処理装置。
【請求項8】
圧縮符号化された入力画像信号に基づいてブロックノイズを検出し、検出されたブロックノイズを示すノイズ情報を出力するステップと、
前記入力画像信号に対して、前記入力画像信号が示す画像の拡大または縮小を行うスケーリング処理を行い、拡大率または縮小率を示すスケーリング情報を出力するステップと、
前記ノイズ情報と前記スケーリング情報とに基づいて、補正の度合いを示す調整信号を出力するステップと、
前記調整信号に基づいて、前記スケーリング処理が行われた画像信号を補正するステップと、
を有する、画像処理方法。
【請求項9】
圧縮符号化された入力画像信号に基づいてブロックノイズを検出し、検出されたブロックノイズを示すノイズ情報を出力するステップ、
前記入力画像信号に対して、前記入力画像信号が示す画像の拡大または縮小を行うスケーリング処理を行い、拡大率または縮小率を示すスケーリング情報を出力するステップ、
前記ノイズ情報と前記スケーリング情報とに基づいて、補正の度合いを示す調整信号を出力するステップ、
前記調整信号に基づいて、前記スケーリング処理が行われた画像信号を補正するステップ、
をコンピュータに実行させるためのプログラム。
【請求項1】
圧縮符号化された入力画像信号に基づいてブロックノイズを検出し、検出されたブロックノイズを示すノイズ情報を出力するノイズ検出部と、
前記入力画像信号に対して、前記入力画像信号が示す画像の拡大または縮小を行うスケーリング処理を行い、拡大率または縮小率を示すスケーリング情報を出力するスケーリング部と、
前記ノイズ情報と前記スケーリング情報とに基づいて、補正の度合いを示す調整信号を出力する調整信号生成部と、
前記調整信号に基づいて、前記スケーリング処理が行われた画像信号を補正する補正部と、
を備える、画像処理装置。
【請求項2】
前記調整信号生成部は、
前記ノイズ情報と前記スケーリング情報とに基づいて、拡大または縮小された画像におけるブロックノイズのブロック境界からの距離を特定するノイズ計測部と、
特定された前記ブロック境界からの距離に対応する前記調整信号を出力する調整信号出力部と、
を備える、請求項1に記載の画像処理装置。
【請求項3】
ノイズ計測部は、水平方向の前記ブロック境界からの距離、および/または、垂直方向の前記ブロック境界からの距離を特定する、請求項2に記載の画像処理装置。
【請求項4】
前記調整信号生成部は、前記ノイズ情報に含まれる前記ブロックノイズの強さを示す情報に基づいて、前記調整信号が示す補正の度合いを調整する調整部をさらに備える、請求項2に記載の画像処理装置。
【請求項5】
前記補正部は、
前記スケーリング処理が行われた前記画像信号に基づいて局所的なブロックノイズを判定し、判定結果に応じて前記調整信号が示す補正の度合いを調整し、
補正の度合いが調整された調整信号に基づいて、前記スケーリング処理が行われた前記画像信号を補正する、請求項1〜4のいずれか1項に記載の画像処理装置。
【請求項6】
前記調整信号生成部は、画像信号のゲインを調整する調整信号を出力し、
前記補正部は、前記調整信号に基づいて、前記スケーリング処理が行われた前記画像信号のゲインを調整する、請求項1〜4のいずれか1項に記載の画像処理装置。
【請求項7】
入力画像信号のブロックノイズを低減するノイズ低減部をさらに備え、
前記スケーリング部は、ブロックノイズが低減された入力画像信号に対して、前記スケーリング処理を行う、請求項1〜4のいずれか1項に記載の画像処理装置。
【請求項8】
圧縮符号化された入力画像信号に基づいてブロックノイズを検出し、検出されたブロックノイズを示すノイズ情報を出力するステップと、
前記入力画像信号に対して、前記入力画像信号が示す画像の拡大または縮小を行うスケーリング処理を行い、拡大率または縮小率を示すスケーリング情報を出力するステップと、
前記ノイズ情報と前記スケーリング情報とに基づいて、補正の度合いを示す調整信号を出力するステップと、
前記調整信号に基づいて、前記スケーリング処理が行われた画像信号を補正するステップと、
を有する、画像処理方法。
【請求項9】
圧縮符号化された入力画像信号に基づいてブロックノイズを検出し、検出されたブロックノイズを示すノイズ情報を出力するステップ、
前記入力画像信号に対して、前記入力画像信号が示す画像の拡大または縮小を行うスケーリング処理を行い、拡大率または縮小率を示すスケーリング情報を出力するステップ、
前記ノイズ情報と前記スケーリング情報とに基づいて、補正の度合いを示す調整信号を出力するステップ、
前記調整信号に基づいて、前記スケーリング処理が行われた画像信号を補正するステップ、
をコンピュータに実行させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図8C】
【図9】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図8C】
【図9】
【公開番号】特開2012−191250(P2012−191250A)
【公開日】平成24年10月4日(2012.10.4)
【国際特許分類】
【出願番号】特願2011−50479(P2011−50479)
【出願日】平成23年3月8日(2011.3.8)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成24年10月4日(2012.10.4)
【国際特許分類】
【出願日】平成23年3月8日(2011.3.8)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]