画像復号化装置、画像復号化方法、画像符号化装置、画像符号化方法
【課題】
画像を高精細化する際の演算処理量を低減する。
【解決手段】
入力される符号化ストリームに含まれる符号化画像の復号化を行い、復号画像を生成する復号化部と、前記復号化部によって生成された前記復号画像に対して高精細化処理を行う画像高精細化部とを備え、前記画像高精細化部は、前記符号化ストリームに含まれる情報に基づいて、前記復号画像において高精細化処理を行う高精細化処理対象領域を判定する処理対象領域判定部と、前記復号画像における前記高精細化処理対象領域の画像データに対して、対応する高周波成分データを混合して高精細化を行う対象領域高精細化部とを有する。
画像を高精細化する際の演算処理量を低減する。
【解決手段】
入力される符号化ストリームに含まれる符号化画像の復号化を行い、復号画像を生成する復号化部と、前記復号化部によって生成された前記復号画像に対して高精細化処理を行う画像高精細化部とを備え、前記画像高精細化部は、前記符号化ストリームに含まれる情報に基づいて、前記復号画像において高精細化処理を行う高精細化処理対象領域を判定する処理対象領域判定部と、前記復号画像における前記高精細化処理対象領域の画像データに対して、対応する高周波成分データを混合して高精細化を行う対象領域高精細化部とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像復号化装置、画像復号化方法、画像符号化装置、画像符号化方法に関するものである。
【背景技術】
【０００２】
高精細化処理の対象とする領域の高周波成分を得る方法として、Image Hallucinationと呼ばれる技術が提案されている。例えば非特許文献１では、正規化された低周波成分と高周波成分のペア群を保持しておき、当該ペア群に基づいて、高精細化処理の対象とする領域の低周波成分に対応する高周波成分を統合することで当該領域の高周波成分を得る技術が開示されている。
【０００３】
【非特許文献１】Jian Sun, et al. Image Hallucination with Primal Sketch Priors, IEEE Conf. Computer Vision and Pattern Recognition (CVPR), 2003, P5, Figure5
【発明の開示】
【発明が解決しようとする課題】
【０００４】
非特許文献１に記載の技術を単純にフレーム全体に適用した場合、高精細化時の演算処理量が大きいという課題があった。
【０００５】
本発明は、上記課題を鑑みてなされたものであり、その目的は画像を高精細化する際の演算処理量を低減することである。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の一実施の態様は、例えば特許請求の範囲に記載されるように構成すればよい。
【発明の効果】
【０００７】
本発明によれば、画像を高精細化する際の演算処理量を低減できる。
【発明を実施するための最良の形態】
【０００８】
以下に、本発明の実施の形態を説明する。
【実施例１】
【０００９】
以下、本発明の第１の実施例を説明する。
【００１０】
図1は、本発明の実施例1に係る画像符号化装置から画像復号化装置への画像伝送についての説明図である。入力された画像データを符号化し、符号化ストリームとして伝送路を介して伝送する画像符号化装置（200）と、伝送された符号化ストリームから画像データを復号化する画像復号化装置（100）とを示している。
【００１１】
上記の画像復号化装置（100）は、符号化ストリームから画像データを復号化する復号化部（101）と、復号化された画像データを高精細化する画像高精細化部（102）とを備える。
【００１２】
上記の各部はハードウェアによって構成されてもよいし、ソフトウェアによって構成されてもよい。また、ハードウェアとソフトウェアとを組み合わせたモジュールであってもよい。上記の伝送路はネットワークであってもよいし、放送波であってもよい。
【００１３】
図1における画像符号化装置（200）は、たとえば図2のように構成される。原画像メモリ（201）は入力画像を記憶する。減算器（202）は入力画像と予測画像との差分を算出する。周波数変換部（203）は、減算器（202）で演算された原画像と予測画像との差分画像に周波数変換を行う。量子化部（204）は、周波数変換部（203）で周波数変換された画像データを量子化する。可変長符号化部（205）は量子化部（204）で量子化された画像データを可変長符号化する。
【００１４】
逆量子化部（206）は量子化部（204）で量子化された画像データを逆量子化する。逆周波数変換部（207）は、可変長符号化部（206）で逆量子化された画像データを逆周波数変換する。加算器（208）は、逆周波数変換部（207）で逆周波数変換された画像データに、予測画像生成部（210）で生成される予測画像を加算し、復号画像を生成する。フレームメモリ（209）は、加算器（208）で生成された復号画像を格納する。予測画像生成部（210）は、フレームメモリ（209）に格納された画像データを用いて画面間予測や画面内予測などを行い、予測画像を生成する。
【００１５】
図2の画像符号化装置によれば、入力された画像データを符号化し、符号化画像データを符号化ストリームとして画像復号化装置に伝送路を介して伝送することができる。
【００１６】
本実施例に係る画像符号化装置（200）は上記の構成に限られるものではなく、MPEG-2/MPEG-4、H.264 等の既存の符号化方式で構成してもかまわない。
【００１７】
図1における画像復号化装置（100）は、たとえば図3のように構成される。
【００１８】
可変長復号部（301）は、符号化側から送られた符号化ストリームを復号する。構文解析部（302）は、可変長復号部（301）で復号された画像データの構文を解析し、符号化パラメータや量子化された画像データを生成する。逆量子化部（303）は、構文解析部（302）より送られる量子化された画像データを逆量子化する。逆周波数変換部（304）は逆量子化部（303）で逆量子化された画像データを逆周波数変換する。加算器（305）は、逆周波数変換部（304）で逆周波数変換された画像データと、予測画像生成部（308）で生成される予測画像とを加算し、復号画像を生成する。フレームメモリ（306）は、加算器（305）で生成された復号画像を格納する。予測画像生成部（307）は、フレームメモリ（306）に格納される画像データを用いて予測画像を生成する。
【００１９】
画像高精細化部（102）は、加算器（305）で生成された復号画像を高精細化し、高精細化された画像データを出力する。
【００２０】
次に、図4を用いて画像高精細化部（102）の詳細を説明する。図4に示されるように、画像高精細化部（102）には、構文解析部（302）から符号化パラメータと、加算器（305）から復号画像とが入力される
処理対象領域判定部（401）は、画像高精細化部（102）に入力される符号化パラメータと復号画像を用いて、高精細化を行う領域を判定する。高精細化の処理については図7を用いて後述する。ここで、処理対象領域判定部（401）は、符号化過程で大きな画質劣化の発生していない領域を、符号化パラメータを用いて高精細化の処理対象から除外する。当該除外処理によって、後述する高精細化処理時の演算処理量を低減することができる。なお、処理対象領域判定部（401）の処理において、領域とは例えばマクロブロックやサブマクロブロック等の矩形領域等とすればよい。
【００２１】
次に、対象領域高精細化部（402）は、予め辞書データ保存部（403）に保存された辞書データを用いて処理対象領域判定部（401）で選択された領域を高精細化する。
【００２２】
図5を用いて本発明における辞書データについて説明する。本発明における辞書データとは、画像内の部分的な領域における低周波成分（552）と高周波成分（551）のペア群を示すデータベースである。辞書データは予め辞書データ保存部（403）に保存する。もしくは、符号化ストリーム内に辞書データのURLが符号化されている場合は、このURLから復号化装置が予め辞書データを取得しておいてもよい。これにより辞書データが更新された際にも最新の辞書データを用いて高精細化処理を行うことができる。
【００２３】
ここで、辞書データを生成する画像内の部分的な領域は、ラインやエッジ、コーナー、T字型の画素値の境界部、すなわち所定の形状をなす画素値の境界部など、多くの画像に共通するエレメントを含む領域に限ってもよい。
【００２４】
次に、図6を用いて実施例1の画像高精細化部（102）の処理の流れを説明する。図6に示す画像高精細化部（102）の処理の流れにおいては、例えば量子化パラメータを用いて高精細化を行う領域を判定する。量子化パラメータが予め決定された閾値より小さい場合は、画像の歪みが少ないと判定し、当該ブロックにおいては高精細化処理を行わず、次のブロックに移行する。量子化パラメータが予め決定された閾値より大きい場合は、画像の歪みが多いと判定し、辞書データを用いて高精細化を行う。なお上記の閾値は符号化ストリームの中に符号化され、随時更新されてもよい。この場合、この閾値は符号化パラメータとして入力される。
【００２５】
画像高精細化部（102）には、復号画像と符号化パラメータとが入力される（601、602）。
【００２６】
次に、入力された符号化パラメータのうち、例えば量子化パラメータを用いて高精細化を行う領域を判定する（603）。量子化パラメータが予め決定された閾値より小さい場合はステップ（606）に移る。量子化パラメータが予め決定された閾値より大きい場合はステップ（604）に移る。なお、ステップ（603）の高精細化処理対象領域判定処理は、図4における処理対象領域判定部（401）にて行う。
【００２７】
ステップ（604）ではステップ（603）で高精細化処理対象領域として判定された領域を参照画像として、辞書データ中の低周波成分から、当該領域に対応する低周波成分を特定する。すなわち、辞書データ保存部に保存される各低周波成分と高精細化処理対象領域との残差を求め、残差が最小となる低周波成分を特定する。特定した低周波成分を示す識別情報であるIDをキーとして、当該低周波成分に対応する辞書データ中の高周波成分を抽出する。ステップ（604）の抽出処理は、図4における処理対象領域判定部（401）または対象領域高精細化部（402）にて行う。続いてステップ（605）に移る。
【００２８】
ステップ（605）ではステップ（604）で抽出された高周波成分を、ステップ（603）で判定された領域に混合し、高精細化を行う。ここで、本明細書の記載および各図面において、混合とは、加算または高精細化処理対象領域の画素値と抽出した高周波成分の画素値とに係数を乗じて加算する重み付け加算など、高精細化処理対象領域の画素値と抽出した高周波成分の画素値とのそれぞれを変数とした関数に基づいて新たな画素値を生成することである。ステップ（605）の高精細化処理は、図4における対象領域高精細化部（402）にて行う。続いてステップ（606）に移る。
【００２９】
ステップ（606）ではフレーム内の領域を全て処理し終わっているか否かを判定する。フレーム内の領域を全て処理し終わっている場合は、当該フレームにおける高精細化処理を終了する。フレーム内の高精細化処理対象領域を全て処理し終わっていない場合は次のブロックに移行してステップ（603）から処理を繰り返す。ステップ（606）のフレーム内判定処理は、図示しない制御部にて行う。
【００３０】
すなわち、図6に示す画像高精細化部（102）の処理の流れにおいては、例えば量子化パラメータを用いて高精細化を行う領域を判定する。量子化パラメータが予め決定された閾値より小さい場合は、画像の歪みが少ないと判定し、当該ブロックにおいては高精細化処理を行わず、次のブロックに移行する。量子化パラメータが予め決定された閾値より大きい場合は、画像の歪みが多いと判定し、辞書データを用いて高精細化を行う。
【００３１】
このように、図6の処理の流れによれば、符号化パラメータの値を用いて高精細化を行う対象領域を判定し、対象領域に対してのみ高精細化を行うので、高精細化時の演算処理量が低減する。なお上記の閾値は符号化ストリームの中に符号化され、随時更新されてもよい。
【００３２】
以上説明した上記の実施例1における画像符号化装置、画像復号化装置およびその方法においては、画像復号化装置が通常の符号化ストリームに含まれている符号化パラメータを用いて高精細化を行う領域を判定するため、画像符号化装置は伝送時に余分な付加情報を送る必要がない。また、符号化パラメータの値を用いて高精細化を行う対象領域を判定し、対象領域に対してのみ高精細化を行うので、高精細化時の演算処理量が低減する。
【００３３】
これによって、本実施例における画像符号化装置、画像復号化装置およびその方法によれば、復号画像の高精細化を行う際、発生符号量と演算処理量を抑えることができる。
【００３４】
なお、以上の例では、符号化パラメータによって高精細化処理判定領域と判定されたどの領域に対してであっても高精細化処理を行っているものとして説明したが、本実施例ではこれに限られず、画像内の部分的な領域のうち、高精細化処理対象領域をラインやエッジ、コーナー、T字型の画素値の境界部すなわち所定の形状をなす画素値の境界部など、多くの画像に共通するエレメントを含む領域に限って高精細化処理を行うこともできる。この場合、高精細化処理対象領域も上述の所定の形状をなす画素値の境界部などを含む領域に限ればよい。
【００３５】
すなわち、当該エレメントを含む領域に限って高精細化処理を行う場合は、図6において、高精細化処理対象領域判定ステップであるステップ（603）の後にエレメント判定ステップを設ける。当該判定ステップでは、Cannyフィルタなどのエッジ抽出フィルタを用いて、当該ブロックがエッジやコーナーなどの特徴的な部位であるか否かを判定する。使用するフィルタはラプラシアンフィルタやガボールフィルタなどであってもかまわない。本判定部で対象ブロックがエッジやコーナーなどの特徴的な部位でないと判定された場合はステップ（606）に移る。本判定部で当該ブロックがエッジやコーナーなどの特徴的な部位であると判定された場合は、ステップ（605）に移り、当該特徴的な部位に対してのみ高精細化を行う。なお、当該エレメント判定ステップにおける判定処理は、図4における処理対象領域判定部（401）にて行う。
【００３６】
このように、高精細化処理の対象とする領域をラインやエッジ、コーナー、T字型の画素値の境界部などの所定の形状をなす画素値の境界部を含む領域に限定した場合は、画像内のたとえばノイズなどを対象に高精細化を行うことによる、不自然な画像の生成を防ぐことができる。
【００３７】
また、辞書データに保存するデータを当該領域に限定すれば、辞書データの保持に必要な記憶容量と辞書データ特定時の演算量を削減できるうえ、マッチングエラーを低減する効果もある。
【実施例２】
【００３８】
次に、実施例2に係る本発明の構成、動作について説明する。
【００３９】
実施例1における画像符号化装置、画像復号化装置およびその方法は、図4に示されるように画像高精細化部（102）において、符号化ストリームに含まれる符号化パラメータによって高精細化処理対象領域を判定する。これに対して実施例2に係る画像符号化装置、画像復号化装置およびその方法は、画像符号化装置（200）が付加情報を生成、伝送し、当該付加情報によって示された高精細化処理対象領域について、画像復号化装置（900）において高精細化処理を行う。
【００４０】
本実施例における画像符号化装置（700）の構成例を図7に示す。本実施例における画像符号化装置（700）は、処理対象領域判定部（701）および可変長符号化部（702）の構成を除いて、実施例1における画像符号化装置（200）と同じ構成、動作であるので、その他の構成、動作については説明を省略する。ここで、本実施例における画像符号化装置（700）のうち、処理対象領域判定部（701）を除いた構成を符号化部（703）とする。
【００４１】
図7において、処理対象領域判定部（701）は、量子化部（204）または予測画像生成部（210）が出力した符号化パラメータと、フレームメモリ（209）に格納されている復号画像を入力として、高精細化を行う領域を判定し、当該領域の位置を示す識別情報であるID（アドレス）を生成する。
【００４２】
ここで、符号化パラメータとして、SAD（Sum of Absolute Difference）、SSD（Sum of Square Difference）、SATD（Sum of Absolute Transformed Difference）、量子化パラメータなどを用いることができる。または独自に設計した符号化パラメータを用いて高精細化処理対象領域判定を行ってもかまわない。なお、上記SAD、SSD、SATDは、予測画像生成部（210）が生成し、上記量子化パラメータは量子化部（204）が生成する。
【００４３】
可変長符号化部（702）は、処理対象領域判定部（701）が生成したID（アドレス）を符号化し、高精細化処理対象領域を示す識別情報データである付加情報として、符号化画像データとを合わせて符号化ストリームとして画像復号化装置へと伝送する。ここで、伝送の方法は単純な座標値の羅列でもよいし，隣接ブロックからの差分値などを符号化してもよい。またはその他の圧縮符号化方式を用いてもかまわない。
【００４４】
図8を用いて実施例2の画像符号化装置（700）の処理の流れを説明する。図8に示す画像符号化装置（700）の処理の流れにおいては、画像符号化装置において符号化パラメータを用いて符号化コストを判定し、高精細化を行う領域を判定し、当該領域の位置を示すID（アドレス）を生成し、出力する。これにより、SAD、SSD、SATDや量子化パラメータが予め決定された閾値より小さい場合は、符号化コストが小さい領域すなわち画像の歪みが少ない領域と判定し、当該ブロックにおいては高精細化処理を行わない。SAD、SSD、SATDや量子化パラメータが予め決定された閾値より大きい場合は符号化コストが大きい領域すなわち画像の歪みが多い領域と判定し、辞書データを用いて高精細化を行う。なお上記の閾値は符号化ストリームの中に符号化され、随時更新されてもよい。
【００４５】
処理対象領域判定部（701）には、復号画像と符号化パラメータが入力される（801、802）。
【００４６】
次に、入力された符号化パラメータを用いて符号化コストの大小を判定する（803）。ここで、符号化コストとは、符号化パラメータを変数とする関数により算出される数値である。たとえば上記符号化パラメータがSAD、SSD、SATDや量子化パラメータであれば、SAD、SSD、SATDや量子化パラメータが閾値よりも大きければ、符号化コストの値が大きいのでステップ（804）に移る。SAD、SSD、SATDや量子化パラメータが閾値よりも小さければ、符号化コストの値が小さいのでステップ（805）に移る。ステップ（803）の符号化コスト判定処理は処理対象領域判定部（701）において行う。
【００４７】
ステップ（804）ではステップ（803）で判定された領域を高精細化処理対象領域として判定し、高精細化処理対象領域を示す識別情報であるID（アドレス）を生成し、出力する。当該判定および前記ID（アドレス）生成処理は、処理対象領域判定部（701）において行うが、可変長符号化部（702）において行ってもかまわない。続いてステップ（805）に移る。
【００４８】
ステップ（805）では、ステップ（804）で判定された領域について、フレーム内の高精細化処理対象領域を全て処理し終わっているか否かを判定する。フレーム内の高精細化処理対象領域を全て処理し終わっている場合は、当該フレームにおける高精細化処理を終了する。フレーム内の高精細化処理対象領域を全て処理し終わっていない場合は次のブロックに移行してステップ（803）から処理を繰り返す。ステップ（805）の判定処理は、処理対象領域判定部（701）において行う。
【００４９】
すなわち、図8に示す画像符号化装置（700）の処理の流れにおいては、画像符号化装置において符号化パラメータを用いて符号化コストを判定し、高精細化を行う領域を判定し、当該領域の位置を示すID（アドレス）を生成し、出力する。これにより、SAD、SSD、SATDや量子化パラメータが予め決定された閾値より小さい場合は、符号化コストが小さい領域すなわち画像の歪みが少ない領域と判定し、当該ブロックにおいては高精細化処理を行わない。SAD、SSD、SATDや量子化パラメータが予め決定された閾値より大きい場合は符号化コストが大きい領域すなわち画像の歪みが多い領域と判定し、辞書データを用いて高精細化を行う。
【００５０】
また、通常画像復号化装置側では参照できないSAD、SSD、SATDなどのパラメータも符号化パラメータとして判定に用いることができる。これにより、より高精度の高精細化処理対象領域判定をすることができる。SAD、SSD、SATDが予め決定された閾値より小さい場合は符号化コストが小さい、すなわち画像の歪みが少ないと判定し、当該ブロックにおいては高精細化処理を行わず、次のブロックに移行する。SAD、SSD、SATDが予め決定された閾値より大きい場合は符号化コストが大きい、すなわち画像の歪みが多いと判定し、辞書データを用いて高精細化を行う。
【００５１】
以上、図8の処理の流れによれば、画像符号化装置において高精細化を行う領域を判定するため、画像復号化装置側での高精細化処理対象領域の判定処理を簡略化することができ、画像復号化装置における演算処理量が低減する。また、高精細化処理対象領域の判定処理において、復号化側では参照することができない符号化パラメータを参照することができるため、より精度の高い高精細化処理対象領域判定が可能となる。
【００５２】
ここで、本実施例における画像高精細化部（900）の構成例を図9に示す。
【００５３】
本実施例における画像復号化装置の構成について説明する。本実施例における画像復号化装置は、画像高精細化部（900）の構成を除き、実施例1における画像復号化装置（100）と同じ構成、動作であるので、その他の構成、動作については説明を省略する。
【００５４】
本実施例における画像高精細化部（900）は、処理対象領域判定部（901）の構成を除いて、実施例1における画像高精細化部（102）と同じ構成、動作であるので、その他の構成、動作については説明を省略する。
【００５５】
図9に示されるように、画像高精細化部（900）には、加算器（305）から復号画像と、画像符号化装置（700）から高精細化処理対象領域を示す識別情報であるID（アドレス）などの付加情報が入力される。
【００５６】
処理対象領域判定部（901）は、画像高精細化部（900）に入力される当該付加情報と復号画像を用いて、高精細化を行う領域を判定する。高精細化の処理については、図10を用いて後述する。ここで、処理対象領域判定部（901）は、符号化過程で大きな画質劣化の発生していない領域を、画像符号化装置（700）から伝送される前記付加情報を参照することにより処理対象から除外する。当該除外処理により、画像復号化装置（900）において高精細化処理を行う際、実施例1とは異なり、画像符号化装置（700）において生成された、高精細化処理対象領域を示す識別情報であるID（アドレス）によって、高精細化処理を行う領域を判定する。これにより画像復号化装置側での高精細化処理対象領域の判定処理を簡略化することができ、画像復号化装置における処理対象領域判定部（901）の演算処理量を低減することができる。
【００５７】
図10を用いて実施例2の画像高精細化部（900）の処理の流れを説明する。図10に示す画像高精細化部（900）の処理の流れにおいては、画像符号化装置で判定された高精細化処理対象領域に対して、当該高精細化処理対象領域に対応する辞書データ内の高周波成分を混合して高精細化を行う。
【００５８】
画像高精細化部（900）には、復号画像と、高精細化処理対象領域を示す識別情報である付加情報とが入力される（1001、1002）。
【００５９】
次に、ステップ（1003）では当該付加情報により示された高精細化処理対象領域を参照画像として、辞書データ保存部内の低周波成分から当該領域に対応する低周波成分を特定する。すなわち、辞書データ保存部に保存される各低周波成分と高精細化処理対象領域との残差を求め、残差が最小となる低周波成分を特定する。特定した低周波成分を示す識別情報であるIDをキーとして、当該低周波成分に対応する辞書データ中の高周波成分を抽出する。ステップ（1003）の特定処理は、図9における処理対象領域判定部（901）にて行う。続いてステップ（1004）に移る。
【００６０】
ステップ（1004）ではステップ（1003）で抽出された高周波成分を、ID（アドレス）によって示された領域、すなわち画像符号化装置（700）で高精細化処理対象領域と判定された領域に混合し、高精細化を実現する。ステップ（1004）の高精細化処理は、図9における対象領域高精細化部（402）にて行う。続いてステップ（1005）に移る。
【００６１】
ステップ（1005）ではフレーム内の領域を全て処理し終わっているか否かを判定する。フレーム内の領域を全て処理し終わっている場合は、当該フレームにおける高精細化処理を終了する。フレーム内の高精細化処理対象領域を全て処理し終わっていない場合は次のブロックに移行してステップ（1003）から処理を繰り返す。ステップ（1005）のフレーム内判定処理は、図示しない制御部にて行う。
【００６２】
すなわち、図10に示す画像高精細化部（900）の処理の流れにおいては、画像符号化装置で判定された高精細化処理対象領域に対して、当該高精細化処理対象領域に対応する辞書データ内の高周波成分を混合して高精細化を行う。
【００６３】
以上、図10の処理の流れによれば、実施例1の画像高精細化部（102）の処理の流れとは異なり、画像符号化装置から伝送された識別情報を用いて高精細化処理対象領域の判定を行うため、画像復号化装置側での高精細化処理対象領域の判定処理をより簡略化することができ、画像復号化装置の演算処理量を低減することができる。また、より高精細な画像を得ることができる。
【００６４】
以上説明した上記の実施例2における画像符号化装置、画像復号化装置およびこれらの方法は、画像符号化装置にて高精細化処理対象領域を判定し、画像復号化装置に高精細化処理対象領域を示す識別情報を伝送する。
【００６５】
これにより、本実施例における画像符号化装置、画像復号化装置およびその方法によれば、画像復号化装置の演算処理量を低減することができる。また、高精細化処理対象領域の判定処理に使用することができる符号化パラメータの種類が増えるため、より高精細な画像を得ることができる。
【００６６】
なお、以上の例では、符号化パラメータによって判定されたどの領域に対してであっても高精細化処理を行っているものとして説明したが、本実施例ではこれに限られず、画像内の部分的な領域のうち、高精細化処理対象領域をラインやエッジ、コーナー、T字型の画素値の境界部すなわち所定の形状をなす画素値の境界部など、多くの画像に共通するエレメントを含む領域に限って高精細化処理対象領域として判定することもできる。
【００６７】
すなわち、当該エレメントを含む領域に限って高精細化処理対象領域として判定する場合は、図8において、ステップ（803）の符号化コスト判定処理ステップの後にエレメント判定ステップを設ける。当該判定ステップでは、Cannyフィルタなどのエッジ抽出フィルタを用いて、当該ブロックがエッジやコーナーなどの特徴的な部位であるか否かを判定する。使用するフィルタはラプラシアンフィルタやガボールフィルタなどであってもかまわない。本判定部で対象ブロックがエッジやコーナーなどの特徴的な部位でないと判定された場合はステップ（805）に移る。本判定部で当該ブロックがエッジやコーナーなどの特徴的な部位であると判定された場合は、ステップ（804）に移り、高精細化処理対象領域として判定し、当該領域の位置を示すID（アドレス）を生成し、出力する。なお、当該エレメント判定ステップにおける判定処理は、図7における処理対象領域判定部（701）にて行う。
【００６８】
このように、高精細化処理を行う領域をラインやエッジ、コーナー、T字型の画素値の境界部などの所定の形状をなす画素値の境界部を含む領域に限定した場合は、たとえば復号側の高解像度化処理において、画像内のたとえばノイズなどを含む全領域を対象に高精細化を行うことによる、不自然な画像の生成を防ぐことができる。また、辞書データに保存するデータを当該領域に限定すれば、辞書データの保持に必要な記憶容量と辞書データ特定時の演算量を削減できるうえ、マッチングエラーを低減する効果もある。
【実施例３】
【００６９】
次に、実施例3に係る本発明の構成、動作について説明する。
【００７０】
実施例3に係る画像符号化装置（1100）の構成例を図11に示す。本実施例における画像符号化装置（1100）は、処理対象領域判定部（1101）の構成を除いて、実施例2における画像符号化装置（700）と同じ構成、動作であるので、その他の構成、動作については説明を省略する。ここで、本実施例における画像符号化装置（1100）のうち、処理対象領域判定部（1101）を除いた構成を符号化部（1103）とする。
【００７１】
図11において、処理対象領域判定部（1101）は、原画像メモリ（201）に格納されている原画像と、量子化部（204）または予測画像生成部（210）が生成した符号化パラメータと、フレームメモリ（209）に格納されている復号画像とを入力として高精細化を行う領域を判定し、当該領域の位置を示す識別情報であるID（アドレス）を生成する。
【００７２】
ここで、上記符号化パラメータとして、たとえばSAD（Sum of Absolute Difference）、SSD（Sum of Square Difference）、SATD（Sum of Absolute Transformed Difference）、量子化パラメータなどを用いることができる。SAD、SSD、SATDは予測画像生成部（210）で生成され、量子化パラメータは量子化部（204）で生成される。
【００７３】
本実施例において、可変長符号化部（1102）は処理対象領域判定部（1101）が生成した高精細化処理対象領域を示す識別情報であるID(アドレス)を符号化し、画像復号化装置へと伝送する。本実施例の画像符号化装置は、原画像と復号画像とを用いることによって、原画像が符号化過程で高周波成分が失われることによってぼけているのか、撮影者が意図的に被写界深度を狭くしているためにぼけているのかを区別することができる。これによって、原画像でぼけている領域は高精細化処理対象領域から除外するなどの判定が可能となる。
【００７４】
図12を用いて実施例3の画像符号化装置（1100）の処理の流れを説明する。図12に示す画像符号化装置（1100）の処理の流れにおいては、入力された符号化パラメータを用いて符号化コストの大小を判定し、符号化コストの値が大である場合は、周波数変換処理により生成された周波数変換係数の周波数領域における分布、または原画像の分散や一次微分・二次微分の計算結果に基づいて高精細化処理対象領域を判定する。
【００７５】
処理対象領域判定部（1101）には、復号画像と符号化パラメータと原画像が入力される（1201、1202、1203）。
【００７６】
次に、入力された符号化パラメータを用いて符号化コストの大小を判定する（1204）。ここで、符号化コストとは、符号化パラメータを変数とする関数により算出される数値である。たとえば上記符号化パラメータがSAD、SSD、SATDや量子化パラメータであれば、SAD、SSD、SATDや量子化パラメータが大きければ、符号化コストの値が大きいのでステップ（1205）に移る。SAD、SSD、SATDや量子化パラメータが小さければ、符号化コストの値が小さいのでステップ（1207）に移る。
【００７７】
ステップ（1205）では、原画像のぼけ度が大か小かの判定を行う。原画像が符号化過程において高周波成分が失われることによりぼけているのか、撮影者が意図的に被写界深度を狭くしているためにぼけているのかを判定する。ここで、原画像のぼけ具合は、周波数変換係数の周波数分布から判定する。例えば、周波数変換係数が高周波成分までコンスタントに発生していれば原画像が鮮明なテクスチャである可能性が高いので、原画像のぼけ度が小と判定し、低周波成分を中心に分布していれば原画像のぼけ度が大と判定する。
【００７８】
または、原画像のぼけ具合は、原画像の分散や一次微分・二次微分を計算するなどして判定してもよい。原画像の高精細化が必要ない場合はステップ（1207）に移る。原画像の高精細化が必要である場合はステップ（1206）に移る。
【００７９】
ステップ（1206）ではステップ（1204）およびステップ（1205）で判定された領域を高精細化処理対象領域として判定し、当該領域の位置を示す識別情報であるID(アドレス)を生成し、出力する。続いてステップ（1207）に移る。
【００８０】
ステップ（1207）では、ステップ（1206）で判定された領域について、フレーム内の領域を全て処理し終わっているか否かを判定する。フレーム内の領域を全て処理し終わっている場合は、当該フレームにおける高精細化処理を終了する。フレーム内の高精細化処理対象領域を全て処理し終わっていない場合は次のブロックに移行してステップ（1204）から処理を繰り返す。
【００８１】
すなわち、周波数変換係数が高周波成分までコンスタントに発生していれば原画像が鮮明なテクスチャである可能性が高いので、原画像のぼけ度が小と判定し、低周波成分を中心に分布していれば原画像のぼけ度が大と判定することで、原画像が符号化過程において高周波成分が失われることによりぼけているのか、撮影者が意図的に被写界深度を狭くしているためにぼけているのかを判定する。原画像が符号化過程で高周波成分を失うことによってぼけている場合のみ高精細化処理判定領域として判定する。
【００８２】
以上、図12の処理の流れによれば、原画像でぼけている領域は高精細化しないなどの判定が可能となり、撮影者の意図に反した高精細化を避けることができる。
【００８３】
なお、本実施例における画像復号化装置の構成および処理の流れは、実施例2における画像復号化装置の構成および処理の流れと同じように、画像符号化装置において高精細化処理対象領域を判定し、当該領域の位置を示す識別情報であるID(アドレス)を生成、伝送する。本実施例の画像復号化装置における処理は、当該ID(アドレス)によって示された領域に対して高精細化処理を行うので実施例2と同様である。よって、本実施例の画像復号化装置の構成、動作は実施例2と同様であるので説明を省略する。
【００８４】
以上説明した上記の実施例3における画像符号化装置、画像復号化装置およびそれらの方法によれば、高精細化処理対象領域判定を画像符号化装置で行うことができるため、画像復号化装置側での高精細化処理対象領域の判定処理を簡略化することができ、画像復号化装置の演算処理量を低減することができる。
【００８５】
また、原画像を参照することができるため、被写界深度が狭いためにぼけているのか、符号化過程で高周波成分を失うことによってぼけているのかを判別することができ、撮影者の意図に反した高精細化を避けることができる。
【００８６】
なお、以上の例では、符号化パラメータによって判定されたどの領域に対してであっても高精細化処理を行っているものとして説明したが、本実施例ではこれに限られず、画像内の部分的な領域のうち、高精細化処理対象領域をラインやエッジ、コーナー、T字型の画素値の境界部すなわち所定の形状をなす画素値の境界部など、多くの画像に共通するエレメントを含む領域に限って高精細化処理対象領域として判定することもできる。
【００８７】
すなわち、当該エレメントを含む領域に限って高精細化処理対象領域として判定する場合は、図12において、ステップ（1204）の符号化コスト判定処理ステップの後にエレメント判定ステップを設ける。当該判定ステップでは、Cannyフィルタなどのエッジ抽出フィルタを用いて、当該ブロックがエッジやコーナーなどの特徴的な部位であるか否かを判定する。使用するフィルタはラプラシアンフィルタやガボールフィルタなどであってもかまわない。本判定部で対象ブロックがエッジやコーナーなどの特徴的な部位でないと判定された場合はステップ（1207）に移る。本判定部で当該ブロックがエッジやコーナーなどの特徴的な部位であると判定された場合は、ステップ（1205）に移り、原画像の判定を行い、原画像が符号化過程で高周波成分を失うことによってぼけているのか、撮影者が意図的に被写界深度を狭くしているためにぼけているのかを判定する。なお、当該エレメント判定ステップにおける判定処理は、図11における処理対象領域判定部（1101）にて行う。
【００８８】
このように、高精細化処理を行う領域をラインやエッジ、コーナー、T字型の画素値の境界部などの所定の形状をなす画素値の境界部を含む領域に限定した場合は、たとえば復号化側の高解像度化処理において、画像内のたとえばノイズなどを含む全領域を対象に高精細化を行うことによる、不自然な画像の生成を防ぐことができる。また、辞書データに保存するデータを当該領域に限定すれば、辞書データの保持に必要な記憶容量と辞書データ特定時の演算量を削減できるうえ、マッチングエラーを低減する効果もある。
【図面の簡単な説明】
【００８９】
【図１】本発明の実施例１に係る画像符号化装置、画像復号化装置の構成の一例を示す説明図である。
【図２】本発明の実施例１に係る画像符号化装置の構成の一例を示す説明図である。
【図３】本発明の実施例１に係る画像復号化装置の構成の一例を示す説明図である。
【図４】本発明の実施例１に係る画像高精細化部の構成の一例を示す説明図である。
【図５】本発明の実施例１に係る辞書データを示す説明図である。
【図６】本発明の実施例１に係る画像高精細化部の処理の一例を示すフロー図である。
【図７】本発明の実施例２に係る画像符号化装置の構成の一例を示す説明図である。
【図８】本発明の実施例２に係る画像符号化装置の処理の一例を示すフロー図である。
【図９】本発明の実施例２に係る画像高精細化部の構成の一例を示す説明図である。
【図１０】本発明の実施例２に係る画像高精細化部の構成の一例を示すフロー図である。
【図１１】本発明の実施例３に係る画像高精細化部の構成の一例を示す説明図である。
【図１２】本発明の実施例３に係る画像高精細化部の構成の一例を示すフロー図である。
【符号の説明】
【００９０】
100…画像復号化装置
101…復号部
102、900…画像高精細化部
200、700、1100…画像符号化装置
201…原画像メモリ
202…減算器
203…周波数変換部
204…量子化部
205、702、1102…可変長符号化部
206、303…逆量子化部
207、304…逆周波数変換部
208、305…加算器
209、306…フレームメモリ
210、307…予測画像生成部
301…可変長復号部
302…構文解析部
401、701、901、1101…処理対象領域判定部
402…対象領域高精細化部
403…辞書データ保存部
551…高周波成分のエレメント
552…低周波成分のエレメント
703、1103…符号化部
【技術分野】
【０００１】
本発明は、画像復号化装置、画像復号化方法、画像符号化装置、画像符号化方法に関するものである。
【背景技術】
【０００２】
高精細化処理の対象とする領域の高周波成分を得る方法として、Image Hallucinationと呼ばれる技術が提案されている。例えば非特許文献１では、正規化された低周波成分と高周波成分のペア群を保持しておき、当該ペア群に基づいて、高精細化処理の対象とする領域の低周波成分に対応する高周波成分を統合することで当該領域の高周波成分を得る技術が開示されている。
【０００３】
【非特許文献１】Jian Sun, et al. Image Hallucination with Primal Sketch Priors, IEEE Conf. Computer Vision and Pattern Recognition (CVPR), 2003, P5, Figure5
【発明の開示】
【発明が解決しようとする課題】
【０００４】
非特許文献１に記載の技術を単純にフレーム全体に適用した場合、高精細化時の演算処理量が大きいという課題があった。
【０００５】
本発明は、上記課題を鑑みてなされたものであり、その目的は画像を高精細化する際の演算処理量を低減することである。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の一実施の態様は、例えば特許請求の範囲に記載されるように構成すればよい。
【発明の効果】
【０００７】
本発明によれば、画像を高精細化する際の演算処理量を低減できる。
【発明を実施するための最良の形態】
【０００８】
以下に、本発明の実施の形態を説明する。
【実施例１】
【０００９】
以下、本発明の第１の実施例を説明する。
【００１０】
図1は、本発明の実施例1に係る画像符号化装置から画像復号化装置への画像伝送についての説明図である。入力された画像データを符号化し、符号化ストリームとして伝送路を介して伝送する画像符号化装置（200）と、伝送された符号化ストリームから画像データを復号化する画像復号化装置（100）とを示している。
【００１１】
上記の画像復号化装置（100）は、符号化ストリームから画像データを復号化する復号化部（101）と、復号化された画像データを高精細化する画像高精細化部（102）とを備える。
【００１２】
上記の各部はハードウェアによって構成されてもよいし、ソフトウェアによって構成されてもよい。また、ハードウェアとソフトウェアとを組み合わせたモジュールであってもよい。上記の伝送路はネットワークであってもよいし、放送波であってもよい。
【００１３】
図1における画像符号化装置（200）は、たとえば図2のように構成される。原画像メモリ（201）は入力画像を記憶する。減算器（202）は入力画像と予測画像との差分を算出する。周波数変換部（203）は、減算器（202）で演算された原画像と予測画像との差分画像に周波数変換を行う。量子化部（204）は、周波数変換部（203）で周波数変換された画像データを量子化する。可変長符号化部（205）は量子化部（204）で量子化された画像データを可変長符号化する。
【００１４】
逆量子化部（206）は量子化部（204）で量子化された画像データを逆量子化する。逆周波数変換部（207）は、可変長符号化部（206）で逆量子化された画像データを逆周波数変換する。加算器（208）は、逆周波数変換部（207）で逆周波数変換された画像データに、予測画像生成部（210）で生成される予測画像を加算し、復号画像を生成する。フレームメモリ（209）は、加算器（208）で生成された復号画像を格納する。予測画像生成部（210）は、フレームメモリ（209）に格納された画像データを用いて画面間予測や画面内予測などを行い、予測画像を生成する。
【００１５】
図2の画像符号化装置によれば、入力された画像データを符号化し、符号化画像データを符号化ストリームとして画像復号化装置に伝送路を介して伝送することができる。
【００１６】
本実施例に係る画像符号化装置（200）は上記の構成に限られるものではなく、MPEG-2/MPEG-4、H.264 等の既存の符号化方式で構成してもかまわない。
【００１７】
図1における画像復号化装置（100）は、たとえば図3のように構成される。
【００１８】
可変長復号部（301）は、符号化側から送られた符号化ストリームを復号する。構文解析部（302）は、可変長復号部（301）で復号された画像データの構文を解析し、符号化パラメータや量子化された画像データを生成する。逆量子化部（303）は、構文解析部（302）より送られる量子化された画像データを逆量子化する。逆周波数変換部（304）は逆量子化部（303）で逆量子化された画像データを逆周波数変換する。加算器（305）は、逆周波数変換部（304）で逆周波数変換された画像データと、予測画像生成部（308）で生成される予測画像とを加算し、復号画像を生成する。フレームメモリ（306）は、加算器（305）で生成された復号画像を格納する。予測画像生成部（307）は、フレームメモリ（306）に格納される画像データを用いて予測画像を生成する。
【００１９】
画像高精細化部（102）は、加算器（305）で生成された復号画像を高精細化し、高精細化された画像データを出力する。
【００２０】
次に、図4を用いて画像高精細化部（102）の詳細を説明する。図4に示されるように、画像高精細化部（102）には、構文解析部（302）から符号化パラメータと、加算器（305）から復号画像とが入力される
処理対象領域判定部（401）は、画像高精細化部（102）に入力される符号化パラメータと復号画像を用いて、高精細化を行う領域を判定する。高精細化の処理については図7を用いて後述する。ここで、処理対象領域判定部（401）は、符号化過程で大きな画質劣化の発生していない領域を、符号化パラメータを用いて高精細化の処理対象から除外する。当該除外処理によって、後述する高精細化処理時の演算処理量を低減することができる。なお、処理対象領域判定部（401）の処理において、領域とは例えばマクロブロックやサブマクロブロック等の矩形領域等とすればよい。
【００２１】
次に、対象領域高精細化部（402）は、予め辞書データ保存部（403）に保存された辞書データを用いて処理対象領域判定部（401）で選択された領域を高精細化する。
【００２２】
図5を用いて本発明における辞書データについて説明する。本発明における辞書データとは、画像内の部分的な領域における低周波成分（552）と高周波成分（551）のペア群を示すデータベースである。辞書データは予め辞書データ保存部（403）に保存する。もしくは、符号化ストリーム内に辞書データのURLが符号化されている場合は、このURLから復号化装置が予め辞書データを取得しておいてもよい。これにより辞書データが更新された際にも最新の辞書データを用いて高精細化処理を行うことができる。
【００２３】
ここで、辞書データを生成する画像内の部分的な領域は、ラインやエッジ、コーナー、T字型の画素値の境界部、すなわち所定の形状をなす画素値の境界部など、多くの画像に共通するエレメントを含む領域に限ってもよい。
【００２４】
次に、図6を用いて実施例1の画像高精細化部（102）の処理の流れを説明する。図6に示す画像高精細化部（102）の処理の流れにおいては、例えば量子化パラメータを用いて高精細化を行う領域を判定する。量子化パラメータが予め決定された閾値より小さい場合は、画像の歪みが少ないと判定し、当該ブロックにおいては高精細化処理を行わず、次のブロックに移行する。量子化パラメータが予め決定された閾値より大きい場合は、画像の歪みが多いと判定し、辞書データを用いて高精細化を行う。なお上記の閾値は符号化ストリームの中に符号化され、随時更新されてもよい。この場合、この閾値は符号化パラメータとして入力される。
【００２５】
画像高精細化部（102）には、復号画像と符号化パラメータとが入力される（601、602）。
【００２６】
次に、入力された符号化パラメータのうち、例えば量子化パラメータを用いて高精細化を行う領域を判定する（603）。量子化パラメータが予め決定された閾値より小さい場合はステップ（606）に移る。量子化パラメータが予め決定された閾値より大きい場合はステップ（604）に移る。なお、ステップ（603）の高精細化処理対象領域判定処理は、図4における処理対象領域判定部（401）にて行う。
【００２７】
ステップ（604）ではステップ（603）で高精細化処理対象領域として判定された領域を参照画像として、辞書データ中の低周波成分から、当該領域に対応する低周波成分を特定する。すなわち、辞書データ保存部に保存される各低周波成分と高精細化処理対象領域との残差を求め、残差が最小となる低周波成分を特定する。特定した低周波成分を示す識別情報であるIDをキーとして、当該低周波成分に対応する辞書データ中の高周波成分を抽出する。ステップ（604）の抽出処理は、図4における処理対象領域判定部（401）または対象領域高精細化部（402）にて行う。続いてステップ（605）に移る。
【００２８】
ステップ（605）ではステップ（604）で抽出された高周波成分を、ステップ（603）で判定された領域に混合し、高精細化を行う。ここで、本明細書の記載および各図面において、混合とは、加算または高精細化処理対象領域の画素値と抽出した高周波成分の画素値とに係数を乗じて加算する重み付け加算など、高精細化処理対象領域の画素値と抽出した高周波成分の画素値とのそれぞれを変数とした関数に基づいて新たな画素値を生成することである。ステップ（605）の高精細化処理は、図4における対象領域高精細化部（402）にて行う。続いてステップ（606）に移る。
【００２９】
ステップ（606）ではフレーム内の領域を全て処理し終わっているか否かを判定する。フレーム内の領域を全て処理し終わっている場合は、当該フレームにおける高精細化処理を終了する。フレーム内の高精細化処理対象領域を全て処理し終わっていない場合は次のブロックに移行してステップ（603）から処理を繰り返す。ステップ（606）のフレーム内判定処理は、図示しない制御部にて行う。
【００３０】
すなわち、図6に示す画像高精細化部（102）の処理の流れにおいては、例えば量子化パラメータを用いて高精細化を行う領域を判定する。量子化パラメータが予め決定された閾値より小さい場合は、画像の歪みが少ないと判定し、当該ブロックにおいては高精細化処理を行わず、次のブロックに移行する。量子化パラメータが予め決定された閾値より大きい場合は、画像の歪みが多いと判定し、辞書データを用いて高精細化を行う。
【００３１】
このように、図6の処理の流れによれば、符号化パラメータの値を用いて高精細化を行う対象領域を判定し、対象領域に対してのみ高精細化を行うので、高精細化時の演算処理量が低減する。なお上記の閾値は符号化ストリームの中に符号化され、随時更新されてもよい。
【００３２】
以上説明した上記の実施例1における画像符号化装置、画像復号化装置およびその方法においては、画像復号化装置が通常の符号化ストリームに含まれている符号化パラメータを用いて高精細化を行う領域を判定するため、画像符号化装置は伝送時に余分な付加情報を送る必要がない。また、符号化パラメータの値を用いて高精細化を行う対象領域を判定し、対象領域に対してのみ高精細化を行うので、高精細化時の演算処理量が低減する。
【００３３】
これによって、本実施例における画像符号化装置、画像復号化装置およびその方法によれば、復号画像の高精細化を行う際、発生符号量と演算処理量を抑えることができる。
【００３４】
なお、以上の例では、符号化パラメータによって高精細化処理判定領域と判定されたどの領域に対してであっても高精細化処理を行っているものとして説明したが、本実施例ではこれに限られず、画像内の部分的な領域のうち、高精細化処理対象領域をラインやエッジ、コーナー、T字型の画素値の境界部すなわち所定の形状をなす画素値の境界部など、多くの画像に共通するエレメントを含む領域に限って高精細化処理を行うこともできる。この場合、高精細化処理対象領域も上述の所定の形状をなす画素値の境界部などを含む領域に限ればよい。
【００３５】
すなわち、当該エレメントを含む領域に限って高精細化処理を行う場合は、図6において、高精細化処理対象領域判定ステップであるステップ（603）の後にエレメント判定ステップを設ける。当該判定ステップでは、Cannyフィルタなどのエッジ抽出フィルタを用いて、当該ブロックがエッジやコーナーなどの特徴的な部位であるか否かを判定する。使用するフィルタはラプラシアンフィルタやガボールフィルタなどであってもかまわない。本判定部で対象ブロックがエッジやコーナーなどの特徴的な部位でないと判定された場合はステップ（606）に移る。本判定部で当該ブロックがエッジやコーナーなどの特徴的な部位であると判定された場合は、ステップ（605）に移り、当該特徴的な部位に対してのみ高精細化を行う。なお、当該エレメント判定ステップにおける判定処理は、図4における処理対象領域判定部（401）にて行う。
【００３６】
このように、高精細化処理の対象とする領域をラインやエッジ、コーナー、T字型の画素値の境界部などの所定の形状をなす画素値の境界部を含む領域に限定した場合は、画像内のたとえばノイズなどを対象に高精細化を行うことによる、不自然な画像の生成を防ぐことができる。
【００３７】
また、辞書データに保存するデータを当該領域に限定すれば、辞書データの保持に必要な記憶容量と辞書データ特定時の演算量を削減できるうえ、マッチングエラーを低減する効果もある。
【実施例２】
【００３８】
次に、実施例2に係る本発明の構成、動作について説明する。
【００３９】
実施例1における画像符号化装置、画像復号化装置およびその方法は、図4に示されるように画像高精細化部（102）において、符号化ストリームに含まれる符号化パラメータによって高精細化処理対象領域を判定する。これに対して実施例2に係る画像符号化装置、画像復号化装置およびその方法は、画像符号化装置（200）が付加情報を生成、伝送し、当該付加情報によって示された高精細化処理対象領域について、画像復号化装置（900）において高精細化処理を行う。
【００４０】
本実施例における画像符号化装置（700）の構成例を図7に示す。本実施例における画像符号化装置（700）は、処理対象領域判定部（701）および可変長符号化部（702）の構成を除いて、実施例1における画像符号化装置（200）と同じ構成、動作であるので、その他の構成、動作については説明を省略する。ここで、本実施例における画像符号化装置（700）のうち、処理対象領域判定部（701）を除いた構成を符号化部（703）とする。
【００４１】
図7において、処理対象領域判定部（701）は、量子化部（204）または予測画像生成部（210）が出力した符号化パラメータと、フレームメモリ（209）に格納されている復号画像を入力として、高精細化を行う領域を判定し、当該領域の位置を示す識別情報であるID（アドレス）を生成する。
【００４２】
ここで、符号化パラメータとして、SAD（Sum of Absolute Difference）、SSD（Sum of Square Difference）、SATD（Sum of Absolute Transformed Difference）、量子化パラメータなどを用いることができる。または独自に設計した符号化パラメータを用いて高精細化処理対象領域判定を行ってもかまわない。なお、上記SAD、SSD、SATDは、予測画像生成部（210）が生成し、上記量子化パラメータは量子化部（204）が生成する。
【００４３】
可変長符号化部（702）は、処理対象領域判定部（701）が生成したID（アドレス）を符号化し、高精細化処理対象領域を示す識別情報データである付加情報として、符号化画像データとを合わせて符号化ストリームとして画像復号化装置へと伝送する。ここで、伝送の方法は単純な座標値の羅列でもよいし，隣接ブロックからの差分値などを符号化してもよい。またはその他の圧縮符号化方式を用いてもかまわない。
【００４４】
図8を用いて実施例2の画像符号化装置（700）の処理の流れを説明する。図8に示す画像符号化装置（700）の処理の流れにおいては、画像符号化装置において符号化パラメータを用いて符号化コストを判定し、高精細化を行う領域を判定し、当該領域の位置を示すID（アドレス）を生成し、出力する。これにより、SAD、SSD、SATDや量子化パラメータが予め決定された閾値より小さい場合は、符号化コストが小さい領域すなわち画像の歪みが少ない領域と判定し、当該ブロックにおいては高精細化処理を行わない。SAD、SSD、SATDや量子化パラメータが予め決定された閾値より大きい場合は符号化コストが大きい領域すなわち画像の歪みが多い領域と判定し、辞書データを用いて高精細化を行う。なお上記の閾値は符号化ストリームの中に符号化され、随時更新されてもよい。
【００４５】
処理対象領域判定部（701）には、復号画像と符号化パラメータが入力される（801、802）。
【００４６】
次に、入力された符号化パラメータを用いて符号化コストの大小を判定する（803）。ここで、符号化コストとは、符号化パラメータを変数とする関数により算出される数値である。たとえば上記符号化パラメータがSAD、SSD、SATDや量子化パラメータであれば、SAD、SSD、SATDや量子化パラメータが閾値よりも大きければ、符号化コストの値が大きいのでステップ（804）に移る。SAD、SSD、SATDや量子化パラメータが閾値よりも小さければ、符号化コストの値が小さいのでステップ（805）に移る。ステップ（803）の符号化コスト判定処理は処理対象領域判定部（701）において行う。
【００４７】
ステップ（804）ではステップ（803）で判定された領域を高精細化処理対象領域として判定し、高精細化処理対象領域を示す識別情報であるID（アドレス）を生成し、出力する。当該判定および前記ID（アドレス）生成処理は、処理対象領域判定部（701）において行うが、可変長符号化部（702）において行ってもかまわない。続いてステップ（805）に移る。
【００４８】
ステップ（805）では、ステップ（804）で判定された領域について、フレーム内の高精細化処理対象領域を全て処理し終わっているか否かを判定する。フレーム内の高精細化処理対象領域を全て処理し終わっている場合は、当該フレームにおける高精細化処理を終了する。フレーム内の高精細化処理対象領域を全て処理し終わっていない場合は次のブロックに移行してステップ（803）から処理を繰り返す。ステップ（805）の判定処理は、処理対象領域判定部（701）において行う。
【００４９】
すなわち、図8に示す画像符号化装置（700）の処理の流れにおいては、画像符号化装置において符号化パラメータを用いて符号化コストを判定し、高精細化を行う領域を判定し、当該領域の位置を示すID（アドレス）を生成し、出力する。これにより、SAD、SSD、SATDや量子化パラメータが予め決定された閾値より小さい場合は、符号化コストが小さい領域すなわち画像の歪みが少ない領域と判定し、当該ブロックにおいては高精細化処理を行わない。SAD、SSD、SATDや量子化パラメータが予め決定された閾値より大きい場合は符号化コストが大きい領域すなわち画像の歪みが多い領域と判定し、辞書データを用いて高精細化を行う。
【００５０】
また、通常画像復号化装置側では参照できないSAD、SSD、SATDなどのパラメータも符号化パラメータとして判定に用いることができる。これにより、より高精度の高精細化処理対象領域判定をすることができる。SAD、SSD、SATDが予め決定された閾値より小さい場合は符号化コストが小さい、すなわち画像の歪みが少ないと判定し、当該ブロックにおいては高精細化処理を行わず、次のブロックに移行する。SAD、SSD、SATDが予め決定された閾値より大きい場合は符号化コストが大きい、すなわち画像の歪みが多いと判定し、辞書データを用いて高精細化を行う。
【００５１】
以上、図8の処理の流れによれば、画像符号化装置において高精細化を行う領域を判定するため、画像復号化装置側での高精細化処理対象領域の判定処理を簡略化することができ、画像復号化装置における演算処理量が低減する。また、高精細化処理対象領域の判定処理において、復号化側では参照することができない符号化パラメータを参照することができるため、より精度の高い高精細化処理対象領域判定が可能となる。
【００５２】
ここで、本実施例における画像高精細化部（900）の構成例を図9に示す。
【００５３】
本実施例における画像復号化装置の構成について説明する。本実施例における画像復号化装置は、画像高精細化部（900）の構成を除き、実施例1における画像復号化装置（100）と同じ構成、動作であるので、その他の構成、動作については説明を省略する。
【００５４】
本実施例における画像高精細化部（900）は、処理対象領域判定部（901）の構成を除いて、実施例1における画像高精細化部（102）と同じ構成、動作であるので、その他の構成、動作については説明を省略する。
【００５５】
図9に示されるように、画像高精細化部（900）には、加算器（305）から復号画像と、画像符号化装置（700）から高精細化処理対象領域を示す識別情報であるID（アドレス）などの付加情報が入力される。
【００５６】
処理対象領域判定部（901）は、画像高精細化部（900）に入力される当該付加情報と復号画像を用いて、高精細化を行う領域を判定する。高精細化の処理については、図10を用いて後述する。ここで、処理対象領域判定部（901）は、符号化過程で大きな画質劣化の発生していない領域を、画像符号化装置（700）から伝送される前記付加情報を参照することにより処理対象から除外する。当該除外処理により、画像復号化装置（900）において高精細化処理を行う際、実施例1とは異なり、画像符号化装置（700）において生成された、高精細化処理対象領域を示す識別情報であるID（アドレス）によって、高精細化処理を行う領域を判定する。これにより画像復号化装置側での高精細化処理対象領域の判定処理を簡略化することができ、画像復号化装置における処理対象領域判定部（901）の演算処理量を低減することができる。
【００５７】
図10を用いて実施例2の画像高精細化部（900）の処理の流れを説明する。図10に示す画像高精細化部（900）の処理の流れにおいては、画像符号化装置で判定された高精細化処理対象領域に対して、当該高精細化処理対象領域に対応する辞書データ内の高周波成分を混合して高精細化を行う。
【００５８】
画像高精細化部（900）には、復号画像と、高精細化処理対象領域を示す識別情報である付加情報とが入力される（1001、1002）。
【００５９】
次に、ステップ（1003）では当該付加情報により示された高精細化処理対象領域を参照画像として、辞書データ保存部内の低周波成分から当該領域に対応する低周波成分を特定する。すなわち、辞書データ保存部に保存される各低周波成分と高精細化処理対象領域との残差を求め、残差が最小となる低周波成分を特定する。特定した低周波成分を示す識別情報であるIDをキーとして、当該低周波成分に対応する辞書データ中の高周波成分を抽出する。ステップ（1003）の特定処理は、図9における処理対象領域判定部（901）にて行う。続いてステップ（1004）に移る。
【００６０】
ステップ（1004）ではステップ（1003）で抽出された高周波成分を、ID（アドレス）によって示された領域、すなわち画像符号化装置（700）で高精細化処理対象領域と判定された領域に混合し、高精細化を実現する。ステップ（1004）の高精細化処理は、図9における対象領域高精細化部（402）にて行う。続いてステップ（1005）に移る。
【００６１】
ステップ（1005）ではフレーム内の領域を全て処理し終わっているか否かを判定する。フレーム内の領域を全て処理し終わっている場合は、当該フレームにおける高精細化処理を終了する。フレーム内の高精細化処理対象領域を全て処理し終わっていない場合は次のブロックに移行してステップ（1003）から処理を繰り返す。ステップ（1005）のフレーム内判定処理は、図示しない制御部にて行う。
【００６２】
すなわち、図10に示す画像高精細化部（900）の処理の流れにおいては、画像符号化装置で判定された高精細化処理対象領域に対して、当該高精細化処理対象領域に対応する辞書データ内の高周波成分を混合して高精細化を行う。
【００６３】
以上、図10の処理の流れによれば、実施例1の画像高精細化部（102）の処理の流れとは異なり、画像符号化装置から伝送された識別情報を用いて高精細化処理対象領域の判定を行うため、画像復号化装置側での高精細化処理対象領域の判定処理をより簡略化することができ、画像復号化装置の演算処理量を低減することができる。また、より高精細な画像を得ることができる。
【００６４】
以上説明した上記の実施例2における画像符号化装置、画像復号化装置およびこれらの方法は、画像符号化装置にて高精細化処理対象領域を判定し、画像復号化装置に高精細化処理対象領域を示す識別情報を伝送する。
【００６５】
これにより、本実施例における画像符号化装置、画像復号化装置およびその方法によれば、画像復号化装置の演算処理量を低減することができる。また、高精細化処理対象領域の判定処理に使用することができる符号化パラメータの種類が増えるため、より高精細な画像を得ることができる。
【００６６】
なお、以上の例では、符号化パラメータによって判定されたどの領域に対してであっても高精細化処理を行っているものとして説明したが、本実施例ではこれに限られず、画像内の部分的な領域のうち、高精細化処理対象領域をラインやエッジ、コーナー、T字型の画素値の境界部すなわち所定の形状をなす画素値の境界部など、多くの画像に共通するエレメントを含む領域に限って高精細化処理対象領域として判定することもできる。
【００６７】
すなわち、当該エレメントを含む領域に限って高精細化処理対象領域として判定する場合は、図8において、ステップ（803）の符号化コスト判定処理ステップの後にエレメント判定ステップを設ける。当該判定ステップでは、Cannyフィルタなどのエッジ抽出フィルタを用いて、当該ブロックがエッジやコーナーなどの特徴的な部位であるか否かを判定する。使用するフィルタはラプラシアンフィルタやガボールフィルタなどであってもかまわない。本判定部で対象ブロックがエッジやコーナーなどの特徴的な部位でないと判定された場合はステップ（805）に移る。本判定部で当該ブロックがエッジやコーナーなどの特徴的な部位であると判定された場合は、ステップ（804）に移り、高精細化処理対象領域として判定し、当該領域の位置を示すID（アドレス）を生成し、出力する。なお、当該エレメント判定ステップにおける判定処理は、図7における処理対象領域判定部（701）にて行う。
【００６８】
このように、高精細化処理を行う領域をラインやエッジ、コーナー、T字型の画素値の境界部などの所定の形状をなす画素値の境界部を含む領域に限定した場合は、たとえば復号側の高解像度化処理において、画像内のたとえばノイズなどを含む全領域を対象に高精細化を行うことによる、不自然な画像の生成を防ぐことができる。また、辞書データに保存するデータを当該領域に限定すれば、辞書データの保持に必要な記憶容量と辞書データ特定時の演算量を削減できるうえ、マッチングエラーを低減する効果もある。
【実施例３】
【００６９】
次に、実施例3に係る本発明の構成、動作について説明する。
【００７０】
実施例3に係る画像符号化装置（1100）の構成例を図11に示す。本実施例における画像符号化装置（1100）は、処理対象領域判定部（1101）の構成を除いて、実施例2における画像符号化装置（700）と同じ構成、動作であるので、その他の構成、動作については説明を省略する。ここで、本実施例における画像符号化装置（1100）のうち、処理対象領域判定部（1101）を除いた構成を符号化部（1103）とする。
【００７１】
図11において、処理対象領域判定部（1101）は、原画像メモリ（201）に格納されている原画像と、量子化部（204）または予測画像生成部（210）が生成した符号化パラメータと、フレームメモリ（209）に格納されている復号画像とを入力として高精細化を行う領域を判定し、当該領域の位置を示す識別情報であるID（アドレス）を生成する。
【００７２】
ここで、上記符号化パラメータとして、たとえばSAD（Sum of Absolute Difference）、SSD（Sum of Square Difference）、SATD（Sum of Absolute Transformed Difference）、量子化パラメータなどを用いることができる。SAD、SSD、SATDは予測画像生成部（210）で生成され、量子化パラメータは量子化部（204）で生成される。
【００７３】
本実施例において、可変長符号化部（1102）は処理対象領域判定部（1101）が生成した高精細化処理対象領域を示す識別情報であるID(アドレス)を符号化し、画像復号化装置へと伝送する。本実施例の画像符号化装置は、原画像と復号画像とを用いることによって、原画像が符号化過程で高周波成分が失われることによってぼけているのか、撮影者が意図的に被写界深度を狭くしているためにぼけているのかを区別することができる。これによって、原画像でぼけている領域は高精細化処理対象領域から除外するなどの判定が可能となる。
【００７４】
図12を用いて実施例3の画像符号化装置（1100）の処理の流れを説明する。図12に示す画像符号化装置（1100）の処理の流れにおいては、入力された符号化パラメータを用いて符号化コストの大小を判定し、符号化コストの値が大である場合は、周波数変換処理により生成された周波数変換係数の周波数領域における分布、または原画像の分散や一次微分・二次微分の計算結果に基づいて高精細化処理対象領域を判定する。
【００７５】
処理対象領域判定部（1101）には、復号画像と符号化パラメータと原画像が入力される（1201、1202、1203）。
【００７６】
次に、入力された符号化パラメータを用いて符号化コストの大小を判定する（1204）。ここで、符号化コストとは、符号化パラメータを変数とする関数により算出される数値である。たとえば上記符号化パラメータがSAD、SSD、SATDや量子化パラメータであれば、SAD、SSD、SATDや量子化パラメータが大きければ、符号化コストの値が大きいのでステップ（1205）に移る。SAD、SSD、SATDや量子化パラメータが小さければ、符号化コストの値が小さいのでステップ（1207）に移る。
【００７７】
ステップ（1205）では、原画像のぼけ度が大か小かの判定を行う。原画像が符号化過程において高周波成分が失われることによりぼけているのか、撮影者が意図的に被写界深度を狭くしているためにぼけているのかを判定する。ここで、原画像のぼけ具合は、周波数変換係数の周波数分布から判定する。例えば、周波数変換係数が高周波成分までコンスタントに発生していれば原画像が鮮明なテクスチャである可能性が高いので、原画像のぼけ度が小と判定し、低周波成分を中心に分布していれば原画像のぼけ度が大と判定する。
【００７８】
または、原画像のぼけ具合は、原画像の分散や一次微分・二次微分を計算するなどして判定してもよい。原画像の高精細化が必要ない場合はステップ（1207）に移る。原画像の高精細化が必要である場合はステップ（1206）に移る。
【００７９】
ステップ（1206）ではステップ（1204）およびステップ（1205）で判定された領域を高精細化処理対象領域として判定し、当該領域の位置を示す識別情報であるID(アドレス)を生成し、出力する。続いてステップ（1207）に移る。
【００８０】
ステップ（1207）では、ステップ（1206）で判定された領域について、フレーム内の領域を全て処理し終わっているか否かを判定する。フレーム内の領域を全て処理し終わっている場合は、当該フレームにおける高精細化処理を終了する。フレーム内の高精細化処理対象領域を全て処理し終わっていない場合は次のブロックに移行してステップ（1204）から処理を繰り返す。
【００８１】
すなわち、周波数変換係数が高周波成分までコンスタントに発生していれば原画像が鮮明なテクスチャである可能性が高いので、原画像のぼけ度が小と判定し、低周波成分を中心に分布していれば原画像のぼけ度が大と判定することで、原画像が符号化過程において高周波成分が失われることによりぼけているのか、撮影者が意図的に被写界深度を狭くしているためにぼけているのかを判定する。原画像が符号化過程で高周波成分を失うことによってぼけている場合のみ高精細化処理判定領域として判定する。
【００８２】
以上、図12の処理の流れによれば、原画像でぼけている領域は高精細化しないなどの判定が可能となり、撮影者の意図に反した高精細化を避けることができる。
【００８３】
なお、本実施例における画像復号化装置の構成および処理の流れは、実施例2における画像復号化装置の構成および処理の流れと同じように、画像符号化装置において高精細化処理対象領域を判定し、当該領域の位置を示す識別情報であるID(アドレス)を生成、伝送する。本実施例の画像復号化装置における処理は、当該ID(アドレス)によって示された領域に対して高精細化処理を行うので実施例2と同様である。よって、本実施例の画像復号化装置の構成、動作は実施例2と同様であるので説明を省略する。
【００８４】
以上説明した上記の実施例3における画像符号化装置、画像復号化装置およびそれらの方法によれば、高精細化処理対象領域判定を画像符号化装置で行うことができるため、画像復号化装置側での高精細化処理対象領域の判定処理を簡略化することができ、画像復号化装置の演算処理量を低減することができる。
【００８５】
また、原画像を参照することができるため、被写界深度が狭いためにぼけているのか、符号化過程で高周波成分を失うことによってぼけているのかを判別することができ、撮影者の意図に反した高精細化を避けることができる。
【００８６】
なお、以上の例では、符号化パラメータによって判定されたどの領域に対してであっても高精細化処理を行っているものとして説明したが、本実施例ではこれに限られず、画像内の部分的な領域のうち、高精細化処理対象領域をラインやエッジ、コーナー、T字型の画素値の境界部すなわち所定の形状をなす画素値の境界部など、多くの画像に共通するエレメントを含む領域に限って高精細化処理対象領域として判定することもできる。
【００８７】
すなわち、当該エレメントを含む領域に限って高精細化処理対象領域として判定する場合は、図12において、ステップ（1204）の符号化コスト判定処理ステップの後にエレメント判定ステップを設ける。当該判定ステップでは、Cannyフィルタなどのエッジ抽出フィルタを用いて、当該ブロックがエッジやコーナーなどの特徴的な部位であるか否かを判定する。使用するフィルタはラプラシアンフィルタやガボールフィルタなどであってもかまわない。本判定部で対象ブロックがエッジやコーナーなどの特徴的な部位でないと判定された場合はステップ（1207）に移る。本判定部で当該ブロックがエッジやコーナーなどの特徴的な部位であると判定された場合は、ステップ（1205）に移り、原画像の判定を行い、原画像が符号化過程で高周波成分を失うことによってぼけているのか、撮影者が意図的に被写界深度を狭くしているためにぼけているのかを判定する。なお、当該エレメント判定ステップにおける判定処理は、図11における処理対象領域判定部（1101）にて行う。
【００８８】
このように、高精細化処理を行う領域をラインやエッジ、コーナー、T字型の画素値の境界部などの所定の形状をなす画素値の境界部を含む領域に限定した場合は、たとえば復号化側の高解像度化処理において、画像内のたとえばノイズなどを含む全領域を対象に高精細化を行うことによる、不自然な画像の生成を防ぐことができる。また、辞書データに保存するデータを当該領域に限定すれば、辞書データの保持に必要な記憶容量と辞書データ特定時の演算量を削減できるうえ、マッチングエラーを低減する効果もある。
【図面の簡単な説明】
【００８９】
【図１】本発明の実施例１に係る画像符号化装置、画像復号化装置の構成の一例を示す説明図である。
【図２】本発明の実施例１に係る画像符号化装置の構成の一例を示す説明図である。
【図３】本発明の実施例１に係る画像復号化装置の構成の一例を示す説明図である。
【図４】本発明の実施例１に係る画像高精細化部の構成の一例を示す説明図である。
【図５】本発明の実施例１に係る辞書データを示す説明図である。
【図６】本発明の実施例１に係る画像高精細化部の処理の一例を示すフロー図である。
【図７】本発明の実施例２に係る画像符号化装置の構成の一例を示す説明図である。
【図８】本発明の実施例２に係る画像符号化装置の処理の一例を示すフロー図である。
【図９】本発明の実施例２に係る画像高精細化部の構成の一例を示す説明図である。
【図１０】本発明の実施例２に係る画像高精細化部の構成の一例を示すフロー図である。
【図１１】本発明の実施例３に係る画像高精細化部の構成の一例を示す説明図である。
【図１２】本発明の実施例３に係る画像高精細化部の構成の一例を示すフロー図である。
【符号の説明】
【００９０】
100…画像復号化装置
101…復号部
102、900…画像高精細化部
200、700、1100…画像符号化装置
201…原画像メモリ
202…減算器
203…周波数変換部
204…量子化部
205、702、1102…可変長符号化部
206、303…逆量子化部
207、304…逆周波数変換部
208、305…加算器
209、306…フレームメモリ
210、307…予測画像生成部
301…可変長復号部
302…構文解析部
401、701、901、1101…処理対象領域判定部
402…対象領域高精細化部
403…辞書データ保存部
551…高周波成分のエレメント
552…低周波成分のエレメント
703、1103…符号化部
【特許請求の範囲】
【請求項１】
入力される符号化ストリームに含まれる符号化画像の復号化を行い、復号画像を生成する復号化部と、
前記復号化部によって生成された前記復号画像に対して高精細化処理を行う画像高精細化部とを備え、
前記画像高精細化部は、前記符号化ストリームに含まれる情報に基づいて、前記復号画像において高精細化処理を行う高精細化処理対象領域を判定する処理対象領域判定部と、前記復号画像における前記高精細化処理対象領域の画像データに対して、対応する高周波成分データを混合して高精細化を行う対象領域高精細化部とを有することを特徴とする画像復号化装置。
【請求項２】
前記処理対象領域判定部は、前記符号化ストリームに含まれる符号化パラメータの値と所定の閾値とを比較することで前記高精細化処理対象領域を判定する
ことを特徴とする請求項1記載の画像復号化装置。
【請求項３】
前記画像高精細化部は、画像内の部分的な領域における低周波成分データと前記高周波成分データとの対を複数保存するデータ保存部を有し、
前記対象領域高精細化部は、前記データ保存部に保存される前記低周波成分データから前記高精細化処理対象領域に対応する低周波成分データを特定し、保存される前記高周波成分データのうち特定された前記低周波成分データに対応する高周波成分データと前記高精細化処理対象領域の画像データとを混合して高精細化を行う
ことを特徴とする請求項1または2記載の画像復号化装置。
【請求項４】
前記処理対象領域判定部は、前記符号化ストリームに含まれる前記高精細化処理対象領域を示す識別情報データである付加情報によって示された領域を前記高精細化処理対象領域として判定する
ことを特徴とする請求項１記載の画像復号化装置。
【請求項５】
前記処理対象領域判定部は、所定の形状をなす画素値の境界部を含むか否かに基づいて前記高精細化処理対象領域を判定する
ことを特徴とする請求項1、2または3記載の画像復号化装置。
【請求項６】
前記復号化部は、
符号化側から伝送される前記符号化ストリームに対して可変長復号処理を行う可変長復号部と、
前記可変長復号部が復号したデータの構文を解析する構文解析部と、
前記構文解析部が解析した画像データを逆量子化する逆量子化部と、
前記逆量子化部が逆量子化した画像データを逆周波数変換する逆周波数変換部と、
前記逆周波数変換部が逆周波数変換した画像データと予測画像とを加算して前記復号画像を生成する加算器と、
前記加算器が生成した前記復号画像を格納するフレームメモリと、
前記フレームメモリに格納される前記復号画像と前記構文解析部が解析した前記画像データとを用いて前記予測画像を生成する予測画像生成部と、
を有することを特徴とする請求項1乃至5記載の画像復号化装置。
【請求項７】
入力される符号化ストリームに含まれる符号化画像の復号化を行い、復号画像を生成する復号化ステップと、
前記符号化ストリームに含まれる情報に基づいて、前記復号画像において高精細化処理を行う高精細化処理対象領域を判定する判定ステップと、
前記高精細化処理対象領域の画像データに対して、対応する高周波成分データを混合して高精細化を行う高精細化ステップと、
を備えことを特徴とする画像復号化方法。
【請求項８】
前記判定ステップにおいて、前記符号化ストリームに含まれる符号化パラメータの値と所定の閾値とを比較することにより、前記高精細化処理対象領域を判定する
ことを特徴とする請求項7記載の画像復号化方法。
【請求項９】
前記判定ステップにおいて、前記符号化ストリームに含まれる前記高精細化処理対象領域を示す識別情報データである付加情報によって示された領域を前記高精細化処理対象領域として判定する
ことを特徴とする請求項7記載の画像復号化方法。
【請求項１０】
請求項7乃至9記載の画像復号化方法であって、
前記復号化ステップの前に、画像内の部分的な領域についての高周波成分データを保持するデータ保持ステップを備え、
前記高精細化ステップにおいて、前記データ保持ステップにおいて保持する画像内の部分的な領域における低周波成分データから、前記高精細化処理対象領域に対応する低周波成分データを特定し、前記データ保持ステップにおいて保持する前記高周波成分データのうち、特定された前記低周波成分データに対応する高周波成分データと前記高精細化処理対象領域の画像データとを混合して高精細化処理を行う
ことを特徴とする請求項7乃至9記載の画像復号化方法。
【請求項１１】
前記判定ステップにおいて、所定の形状をなす画素値の境界部を含むか否かに基づいて前記高精細化処理対象領域を判定する
ことを特徴とする請求項7、8または10記載の画像復号化方法。
【請求項１２】
入力された原画像を符号化して符号化画像データを生成する符号化部と、
前記符号化部が前記符号化画像データを生成する際に用いた符号化パラメータを用いて、復号側において高精細化処理を行う高精細化処理対象領域を判定する処理対象領域判定部とを備え、
前記符号化部は、前記処理対象領域判定部が判定した前記高精細化処理対象領域の識別情報を示す識別情報データである付加情報を生成し、前記付加情報と前記符号化画像データとを含む符号化ストリームを生成する
ことを特徴とする画像符号化装置。
【請求項１３】
前記処理対象領域判定部は、前記符号化パラメータを変数とする関数により符号化コストを算出し、前記符号化コストの値と所定の閾値とを比較し、前記符号化コストの値が前記閾値より大きければ前記高精細化処理判定領域として判定し、前記符号化コストの値が前記閾値より小さければ高精細化処理を行わない領域として判定する
ことを特徴とする請求項12記載の画像符号化装置。
【請求項１４】
前記符号化部は、入力された前記原画像と予測画像との差分画像を周波数変換して前記符号化画像データを生成し、
前記処理対象領域判定部は、前記符号化部の周波数変換処理により生成された周波数変換係数の周波数領域における分布に基づいて前記高精細化処理対象領域を判定する
ことを特徴とする請求項12記載の画像符号化装置。
【請求項１５】
前記処理対象領域判定部は、入力された前記原画像についての分散または一次微分・二次微分を計算した結果に基づいて前記高精細化処理対象領域を判定する
ことを特徴とする請求項12記載の画像符号化装置。
【請求項１６】
前記符号化部は、
入力された前記原画像を保持する原画像メモリと、
前記原画像と前記予測画像の差分を算出する差分器と、
前記差分器が生成した差分画像を周波数変換する周波数変換部と、
前記周波数変換部が周波数変換処理を行った画像データを量子化する量子化部と、
前記量子化部で量子化された画像データを可変長符号化する可変長符号化部と、
前記量子化部で量子化された前記画像データを逆量子化する逆量子化部と、
前記逆量化部で逆量子化された画像データを逆周波数変換する逆周波数変換部と、
前記逆周波数変換部で逆周波数変換された画像データと前記予測画像とを加算する加算器と、
前記加算器で加算された画像データを格納するフレームメモリと、
前記フレームメモリに格納される画像データを用いて前記予測画像を生成する予測画像生成部とを備え、
前記可変長符号化部は、前記量子化部で量子化された画像データと、前記処理対象領域判定部より入力された前記付加情報とを含む符号化ストリームを生成する
ことを特徴とする請求項12乃至15記載の画像符号化装置。
【請求項１７】
入力された原画像を符号化して符号化画像データを生成する符号化ステップと、
前記符号化ステップにおいて前記符号化画像データを生成する際に用いた符号化パラメータを用いて、復号側において高精細化処理を行う高精細化処理対象領域を判定する処理対象領域判定ステップと、
前記処理対象領域判定ステップで生成された前記高精細化処理対象領域を示す識別情報データである付加情報と符号化画像データとを含む符号化ストリームを生成する符号化ストリーム生成ステップと
を備えることを特徴とする画像符号化方法。
【請求項１８】
前記処理対象領域判定ステップにおいて、前記符号化パラメータを変数とする関数により符号化コストを算出し、前記符号化コストの値と所定の閾値とを比較し、前記符号化コストの値が前記閾値より大きければ前記高精細化処理対象領域として判定し、前記符号化コストの値が前記閾値より小さければ高精細化処理を行わない領域として判定する
ことを特徴とする請求項17記載の画像符号化方法。
【請求項１９】
前記符号化ステップにおいて、入力された前記原画像と予測画像との差分画像を周波数変換して前記符号化画像データを生成し、
前記処理対象領域判定ステップにおいて、前記符号化ステップの周波数変換処理により生成された周波数変換係数の周波数領域における分布に基づいて前記高精細化処理対象領域を判定する
ことを特徴とする請求項17記載の画像符号化方法。
【請求項２０】
前記処理対象領域判定ステップにおいて、入力された前記原画像についての分散または一次微分・二次微分を計算した結果に基づいて前記高精細化処理対象領域を判定する
ことを特徴とする請求項17記載の画像符号化方法。
【請求項１】
入力される符号化ストリームに含まれる符号化画像の復号化を行い、復号画像を生成する復号化部と、
前記復号化部によって生成された前記復号画像に対して高精細化処理を行う画像高精細化部とを備え、
前記画像高精細化部は、前記符号化ストリームに含まれる情報に基づいて、前記復号画像において高精細化処理を行う高精細化処理対象領域を判定する処理対象領域判定部と、前記復号画像における前記高精細化処理対象領域の画像データに対して、対応する高周波成分データを混合して高精細化を行う対象領域高精細化部とを有することを特徴とする画像復号化装置。
【請求項２】
前記処理対象領域判定部は、前記符号化ストリームに含まれる符号化パラメータの値と所定の閾値とを比較することで前記高精細化処理対象領域を判定する
ことを特徴とする請求項1記載の画像復号化装置。
【請求項３】
前記画像高精細化部は、画像内の部分的な領域における低周波成分データと前記高周波成分データとの対を複数保存するデータ保存部を有し、
前記対象領域高精細化部は、前記データ保存部に保存される前記低周波成分データから前記高精細化処理対象領域に対応する低周波成分データを特定し、保存される前記高周波成分データのうち特定された前記低周波成分データに対応する高周波成分データと前記高精細化処理対象領域の画像データとを混合して高精細化を行う
ことを特徴とする請求項1または2記載の画像復号化装置。
【請求項４】
前記処理対象領域判定部は、前記符号化ストリームに含まれる前記高精細化処理対象領域を示す識別情報データである付加情報によって示された領域を前記高精細化処理対象領域として判定する
ことを特徴とする請求項１記載の画像復号化装置。
【請求項５】
前記処理対象領域判定部は、所定の形状をなす画素値の境界部を含むか否かに基づいて前記高精細化処理対象領域を判定する
ことを特徴とする請求項1、2または3記載の画像復号化装置。
【請求項６】
前記復号化部は、
符号化側から伝送される前記符号化ストリームに対して可変長復号処理を行う可変長復号部と、
前記可変長復号部が復号したデータの構文を解析する構文解析部と、
前記構文解析部が解析した画像データを逆量子化する逆量子化部と、
前記逆量子化部が逆量子化した画像データを逆周波数変換する逆周波数変換部と、
前記逆周波数変換部が逆周波数変換した画像データと予測画像とを加算して前記復号画像を生成する加算器と、
前記加算器が生成した前記復号画像を格納するフレームメモリと、
前記フレームメモリに格納される前記復号画像と前記構文解析部が解析した前記画像データとを用いて前記予測画像を生成する予測画像生成部と、
を有することを特徴とする請求項1乃至5記載の画像復号化装置。
【請求項７】
入力される符号化ストリームに含まれる符号化画像の復号化を行い、復号画像を生成する復号化ステップと、
前記符号化ストリームに含まれる情報に基づいて、前記復号画像において高精細化処理を行う高精細化処理対象領域を判定する判定ステップと、
前記高精細化処理対象領域の画像データに対して、対応する高周波成分データを混合して高精細化を行う高精細化ステップと、
を備えことを特徴とする画像復号化方法。
【請求項８】
前記判定ステップにおいて、前記符号化ストリームに含まれる符号化パラメータの値と所定の閾値とを比較することにより、前記高精細化処理対象領域を判定する
ことを特徴とする請求項7記載の画像復号化方法。
【請求項９】
前記判定ステップにおいて、前記符号化ストリームに含まれる前記高精細化処理対象領域を示す識別情報データである付加情報によって示された領域を前記高精細化処理対象領域として判定する
ことを特徴とする請求項7記載の画像復号化方法。
【請求項１０】
請求項7乃至9記載の画像復号化方法であって、
前記復号化ステップの前に、画像内の部分的な領域についての高周波成分データを保持するデータ保持ステップを備え、
前記高精細化ステップにおいて、前記データ保持ステップにおいて保持する画像内の部分的な領域における低周波成分データから、前記高精細化処理対象領域に対応する低周波成分データを特定し、前記データ保持ステップにおいて保持する前記高周波成分データのうち、特定された前記低周波成分データに対応する高周波成分データと前記高精細化処理対象領域の画像データとを混合して高精細化処理を行う
ことを特徴とする請求項7乃至9記載の画像復号化方法。
【請求項１１】
前記判定ステップにおいて、所定の形状をなす画素値の境界部を含むか否かに基づいて前記高精細化処理対象領域を判定する
ことを特徴とする請求項7、8または10記載の画像復号化方法。
【請求項１２】
入力された原画像を符号化して符号化画像データを生成する符号化部と、
前記符号化部が前記符号化画像データを生成する際に用いた符号化パラメータを用いて、復号側において高精細化処理を行う高精細化処理対象領域を判定する処理対象領域判定部とを備え、
前記符号化部は、前記処理対象領域判定部が判定した前記高精細化処理対象領域の識別情報を示す識別情報データである付加情報を生成し、前記付加情報と前記符号化画像データとを含む符号化ストリームを生成する
ことを特徴とする画像符号化装置。
【請求項１３】
前記処理対象領域判定部は、前記符号化パラメータを変数とする関数により符号化コストを算出し、前記符号化コストの値と所定の閾値とを比較し、前記符号化コストの値が前記閾値より大きければ前記高精細化処理判定領域として判定し、前記符号化コストの値が前記閾値より小さければ高精細化処理を行わない領域として判定する
ことを特徴とする請求項12記載の画像符号化装置。
【請求項１４】
前記符号化部は、入力された前記原画像と予測画像との差分画像を周波数変換して前記符号化画像データを生成し、
前記処理対象領域判定部は、前記符号化部の周波数変換処理により生成された周波数変換係数の周波数領域における分布に基づいて前記高精細化処理対象領域を判定する
ことを特徴とする請求項12記載の画像符号化装置。
【請求項１５】
前記処理対象領域判定部は、入力された前記原画像についての分散または一次微分・二次微分を計算した結果に基づいて前記高精細化処理対象領域を判定する
ことを特徴とする請求項12記載の画像符号化装置。
【請求項１６】
前記符号化部は、
入力された前記原画像を保持する原画像メモリと、
前記原画像と前記予測画像の差分を算出する差分器と、
前記差分器が生成した差分画像を周波数変換する周波数変換部と、
前記周波数変換部が周波数変換処理を行った画像データを量子化する量子化部と、
前記量子化部で量子化された画像データを可変長符号化する可変長符号化部と、
前記量子化部で量子化された前記画像データを逆量子化する逆量子化部と、
前記逆量化部で逆量子化された画像データを逆周波数変換する逆周波数変換部と、
前記逆周波数変換部で逆周波数変換された画像データと前記予測画像とを加算する加算器と、
前記加算器で加算された画像データを格納するフレームメモリと、
前記フレームメモリに格納される画像データを用いて前記予測画像を生成する予測画像生成部とを備え、
前記可変長符号化部は、前記量子化部で量子化された画像データと、前記処理対象領域判定部より入力された前記付加情報とを含む符号化ストリームを生成する
ことを特徴とする請求項12乃至15記載の画像符号化装置。
【請求項１７】
入力された原画像を符号化して符号化画像データを生成する符号化ステップと、
前記符号化ステップにおいて前記符号化画像データを生成する際に用いた符号化パラメータを用いて、復号側において高精細化処理を行う高精細化処理対象領域を判定する処理対象領域判定ステップと、
前記処理対象領域判定ステップで生成された前記高精細化処理対象領域を示す識別情報データである付加情報と符号化画像データとを含む符号化ストリームを生成する符号化ストリーム生成ステップと
を備えることを特徴とする画像符号化方法。
【請求項１８】
前記処理対象領域判定ステップにおいて、前記符号化パラメータを変数とする関数により符号化コストを算出し、前記符号化コストの値と所定の閾値とを比較し、前記符号化コストの値が前記閾値より大きければ前記高精細化処理対象領域として判定し、前記符号化コストの値が前記閾値より小さければ高精細化処理を行わない領域として判定する
ことを特徴とする請求項17記載の画像符号化方法。
【請求項１９】
前記符号化ステップにおいて、入力された前記原画像と予測画像との差分画像を周波数変換して前記符号化画像データを生成し、
前記処理対象領域判定ステップにおいて、前記符号化ステップの周波数変換処理により生成された周波数変換係数の周波数領域における分布に基づいて前記高精細化処理対象領域を判定する
ことを特徴とする請求項17記載の画像符号化方法。
【請求項２０】
前記処理対象領域判定ステップにおいて、入力された前記原画像についての分散または一次微分・二次微分を計算した結果に基づいて前記高精細化処理対象領域を判定する
ことを特徴とする請求項17記載の画像符号化方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−４１１６１（Ｐ２０１０−４１１６１Ａ）
【公開日】平成２２年２月１８日（２０１０．２．１８）
【国際特許分類】
【出願番号】特願２００８−１９９１４８（Ｐ２００８−１９９１４８）
【出願日】平成２０年８月１日（２００８．８．１）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２２年２月１８日（２０１０．２．１８）
【国際特許分類】
【出願日】平成２０年８月１日（２００８．８．１）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]