解像度変換装置、解像度変換方法及び動画像復号化装置
【課題】符号化画像に対する復号化の過程で、解像度変換処理と符号化歪み除去処理とを一度に施すことを可能とし、画像信号に対する信号処理を簡易な構成で容易に実現し得るようにした解像度変換装置、解像度変換方法及び動画像復号化装置を提供すること。
【解決手段】実施の形態によれば、解像度変換装置は、生成手段と出力手段とを備えている。生成手段は、それぞれが直交変換係数を含む、垂直方向Ｐ個×水平方向Ｑ個（Ｐ，Ｑは正の整数でＰ＝Ｑ＝１は除く）の対象ブロックで示される画像領域に対応して１つのブロックを設定し、当該ブロックに対して垂直方向Ｐ個×水平方向Ｑ個の対象ブロックに含まれる直交変換係数の総数とは異なる数の直交変換係数を生成する。出力手段は、生成手段により生成した直交変換係数を逆直交変換して画像ブロックを生成し、その生成した画像ブロックを画像フレームの対応する位置に配置する。
【解決手段】実施の形態によれば、解像度変換装置は、生成手段と出力手段とを備えている。生成手段は、それぞれが直交変換係数を含む、垂直方向Ｐ個×水平方向Ｑ個（Ｐ，Ｑは正の整数でＰ＝Ｑ＝１は除く）の対象ブロックで示される画像領域に対応して１つのブロックを設定し、当該ブロックに対して垂直方向Ｐ個×水平方向Ｑ個の対象ブロックに含まれる直交変換係数の総数とは異なる数の直交変換係数を生成する。出力手段は、生成手段により生成した直交変換係数を逆直交変換して画像ブロックを生成し、その生成した画像ブロックを画像フレームの対応する位置に配置する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明の実施の形態は、例えばデジタルテレビジョン放送受信機等に使用される解像度変換装置、解像度変換方法及び動画像復号化装置に関する。
【背景技術】
【０００２】
周知のように、現在、デジタル化された画像信号に対して高能率符号化による圧縮された情報を用いて、記録媒体により長時間のコンテンツを記録する装置や、衛星や地上局等からのデジタル放送波やネットワークを介してコンテンツを配信するサービスが実用化されている。
【０００３】
このようなサービスにおいては、膨大な情報量を持つ画像・音声の情報を大量に放送・伝送するために、大きな圧縮率を実現する高能率符号化が必要となっている。この動画像の高能率符号化として国際規格であるＭＰＥＧ２（moving picture experts group phase 2）等の符号化方式が用いられている。
【０００４】
この符号化方式においては、画像信号の隣接画素間（空間方向）の相関、及び、隣接するフレーム間やフィールド間（時間方向）の相関を利用して情報量を圧縮する方式を用いている。すなわち、入力フレームの画像信号は、輝度信号で水平方向１６画素×垂直方向１６画素のマクロブロックと呼ばれる処理単位に分割される。
【０００５】
この分割されたマクロブロックのデータは、さらに、水平方向８画素×垂直方向８画素単位の２次元ブロックに分割され、離散直交変換の一種である２次元ＤＣＴ（discrete cosine transform：離散コサイン変換）処理が行なわれる。画像符号化装置は、このＤＣＴ処理により得られたＤＣＴ係数（離散コサイン変換係数）に対して量子化を行ない、それに対してエントロピー符号化を行なって符号化データを生成する。
【０００６】
ところで、このように、ＤＣＴ処理や量子化による符号化アルゴリズムを使って画像を圧縮する場合、この量子化により元の情報が失われるので、復号画像にブロック歪みやモスキート歪みといった符号化歪みが生じてしまい、高精度の画像復元を行なうことができなくなる。このため、復号化後の画像信号に対して、画像の量子化に伴なって失われた情報を高精度に復元する符号化歪み除去処理を施すことが必要となる。
【０００７】
また、符号化された画像に対して、復号化側で解像度変換を行なう場合には、復号化後の画像信号に対して、上記した符号化歪み除去処理とは別個に解像度変換処理を施すことが必要となり、画像信号に対する信号処理が煩雑になっている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００１−３２０５８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
符号化画像に対して復号化を行なう過程で、解像度変換処理と符号化歪み除去処理とを一度に施すことを可能とし、画像信号に対する信号処理を簡易な構成で容易に実現し得るようにした解像度変換装置、解像度変換方法及び動画像復号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
実施の形態によれば、解像度変換装置は、生成手段と出力手段とを備えている。生成手段は、それぞれが直交変換係数を含む、垂直方向Ｐ個×水平方向Ｑ個（Ｐ，Ｑは正の整数でＰ＝Ｑ＝１は除く）の対象ブロックで示される画像領域に対応して１つのブロックを設定し、当該ブロックに対して垂直方向Ｐ個×水平方向Ｑ個の対象ブロックに含まれる直交変換係数の総数とは異なる数の直交変換係数を生成する。出力手段は、生成手段により生成した直交変換係数を逆直交変換して画像ブロックを生成し、その生成した画像ブロックを画像フレームの対応する位置に配置する。
【図面の簡単な説明】
【００１１】
【図１】現状における一般的な動画像符号化装置の一例を説明するために示すブロック構成図。
【図２】現状における一般的な動画像復号化装置の一例を説明するために示すブロック構成図。
【図３】実施の形態における動画像復号化装置によって行なわれる解像度変換処理動作の一例を説明するために示す図。
【図４】実施の形態における動画像復号化装置の一例を説明するために示すブロック構成図。
【図５】実施の形態における動画像復号化装置によって行なわれる解像度変換処理動作の他の例を説明するために示す図。
【図６】実施の形態における動画像復号化装置によって行なわれる解像度変換処理動作のさらに他の例を説明するために示す図。
【図７】実施の形態における動画像復号化装置の他の例を説明するために示すブロック構成図。
【図８】実施の形態における動画像復号化装置のさらに他の例を説明するために示すブロック構成図。
【図９】実施の形態における動画像復号化装置のさらに他の例を説明するために示すブロック構成図。
【図１０】実施の形態における動画像復号化装置のさらに他の例を説明するために示すブロック構成図。
【発明を実施するための形態】
【００１２】
以下、実施の形態に係る解像度変換技術を説明するに先立ち、現状における一般的な動画像符号化技術及び動画像復号化技術について簡単に説明する。まず、図１は、ＭＰＥＧ２規格等の高能率符号化処理を行なう一般的な動画像符号化装置１１の構成を示している。すなわち、入力端子１２に供給された画像信号は、ブロック分割部１３に供給される。
【００１３】
このブロック分割部１３は、入力された画像信号を水平方向Ｎ画素、垂直方向Ｎ画素の符号化対象ブロックに分割し、符号化対象ブロック信号Ｓ１を生成する。そして、このブロック分割部１３で生成された符号化対象ブロック信号Ｓ１は、減算部１４の一方の入力端に供給される。
【００１４】
また、この減算部１４の他方の入力端には、動き補償・予測部１５で作成された参照ブロック信号Ｓ２が供給されている。この動き補償・予測部１５は、上記符号化対象ブロック信号Ｓ１に対して、参照フレームバッファ１６に保存されているローカル復号画像から抽出したローカル復号画像信号Ｓ３を用いて動き補償予測を行ない、参照ブロック信号Ｓ２を作成している。
【００１５】
そして、上記減算部１４は、符号化対象ブロック信号Ｓ１から参照ブロック信号Ｓ２を減算して、予測残差ブロック信号Ｓ４を算出する。この減算部１４から出力される予測残差ブロック信号Ｓ４は、直交変換部１７に供給されて離散コサイン変換（ＤＣＴ）等の２次元直交変換処理が施される。
【００１６】
この直交変換部１７による直交変換処理によって得られた予測残差直交変換係数信号Ｓ５は、量子化部１８に供給されて量子化処理が施されることにより、情報量の削減が行なわれる。この量子化部１８による量子化処理によって得られた量子化値信号Ｓ６は、エントロピー符号化部１９に供給されて、動き補償予測の情報等とともにエントロピー符号化され、符号化データとして出力端子２０から取り出される。
【００１７】
一方、引き続く画像フレームの符号化における動き補償予測参照に備えるために、ローカル復号画像が生成されて参照フレームバッファ１６に保存される。すなわち、直交変換係数を量子化した量子化値信号Ｓ６は、逆量子化部２１に供給されて予測残差直交変換係数信号Ｓ７が生成される。この予測残差直交変換係数信号Ｓ７は、逆直交変換部２２に供給されて２次元逆直交変換処理が行なわれることにより、予測残差ブロック信号Ｓ８が得られる。
【００１８】
そして、この逆直交変換部２２から得られる予測残差ブロック信号Ｓ８と、上記動き補償・予測部１５から得られる参照ブロック信号Ｓ２とを加算部２３に供給して加算することによりローカル復号画像信号Ｓ９が生成される。このローカル復号画像信号Ｓ９は、ループフィルタ２４によりローカル復号画像の画質劣化を低減する処理を行なった後、参照フレームバッファ１６に保存される。
【００１９】
なお、符号化方式によっては、ループフィルタ２４を用いないものもある。例えばＭＰＥＧ２等では規格上ループフィルタは存在しない。このため、ループフィルタを用いない規格に準拠する符号化データを対象とする場合には、上記ループフィルタは何も処理を行なわずに、入力をそのまま出力することになる。
【００２０】
図２は、上記した動画像符号化装置１１によって生成された符号化データを復号化するための一般的な動画像復号化装置２５の構成を示している。すなわち、上記動画像符号化装置１１から出力された符号化データは、入力端子２６を介してエントロピー符号復号化部２７に供給される。
【００２１】
このエントロピー符号復号化部２７は、入力された符号化データに対してエントロピー符号に対する復号化を行ない、予測残差直交変換係数の復号された量子化値信号Ｓ１０を生成する。この量子化値信号Ｓ１０は、逆量子化部２８及び逆直交変換部２９に順次供給される。
【００２２】
このうち、逆量子化部２８は、入力された量子化値信号Ｓ１０を逆量子化することで予測残差直交変換係数信号Ｓ１１を生成し、逆直交変換部２９に出力している。また、この逆直交変換部２９は、入力された予測残差直交変換係数信号Ｓ１１に２次元逆直交変換を行なって復号された予測残差信号Ｓ１２を生成し、加算部３０の一方の入力端に出力している。
【００２３】
この加算部３０の他方の入力端には、動き補償・予測部３１で作成された参照ブロック信号Ｓ１３が供給されている。この動き補償・予測部３１は、符号化データに多重化されて送られてきた動き補償予測の情報を用いて、フレームバッファ３２から取得したローカル復号画像信号Ｓ１４から、参照ブロック信号Ｓ１３を作成している。
【００２４】
そして、上記加算部３０は、予測残差信号Ｓ１２と参照ブロック信号Ｓ１３とを加算して、復号された対象ブロック信号Ｓ１５を算出する。この対象ブロック信号Ｓ１５は、ループフィルタ３３によって歪みの低減処理が行なわれた後、フレームバッファ３２内の画像フレーム内の元の位置に置かれることにより復号画像が得られる。この復号画像は、引き続く画像フレームの復号に備えて、フレームバッファ３２に保存される。この場合、符号化側でループフィルタ２４が用いられた場合は、復号側でも同じループフィルタ３３が用いられる。
【００２５】
復号画像に対して、一般的には、さらに以下の処理が行なわれる。すなわち、上記フレームバッファ３２に保存された復号画像は、符号化歪み除去フィルタ３４に供給されて符号化歪みを低減する処理が行なわれ、その後、さらに、解像度変換部３５に供給され、表示装置の解像度等に合わせて解像度の変換処理が行なわれて、出力端子３６から取り出される。
【００２６】
ここで、この解像度変換部３５としては、処理の複雑度と得られる画質とによって、以下のように大きく３つに分類することができる。なお、以下の説明では、主に低い解像度の画像をより高い解像度の画像にする場合を想定して説明している。
【００２７】
（１） 単純な補間フィルタと再サンプリングによる方法
この方法は、処理は簡単であるが、出力される高解像度画像では単純に画素数の水増しが行なわれているだけであり、画像の高周波成分が増えるわけではない。このため、解像度変換の倍率を高くしていくとぼけた画像となり、出力画像の質としては良くない。
【００２８】
（２） 単純な補間フィルタに加えて高周波成分を強調する方法
この方法は、単純に高周波成分を強調する方法に加えて、より高度な処理を付加するようにしている。付加する処理としては、エッジ成分を検出してそれを綺麗にする処理や、符号化歪みを強調しないように抑える処理を行なうものもある。
【００２９】
（３） さらに高度な処理を行なう方法
フレーム内超解像、あるいは、複数フレーム超解像と呼ばれる技術で、近年広く使われるようになってきた技術がこれに相当する。
【００３０】
以上に述べたように、現状における一般的な動画像復号化技術では、復号化後の画像信号に対して、量子化に伴なって生じる符号化歪みを低減するために、符号化歪み除去フィルタ３４を用いて符号化歪み除去処理を施すことが必要となる。また、復号化側で解像度変換を行なう場合には、復号化後の画像信号に対して、上記した符号化歪み除去処理とは別個に、解像度変換部３５を用いて解像度変換処理を施すことが必要となり、画像信号に対する信号処理が煩雑になっている。
【００３１】
そこで、ここで説明する実施の形態では、符号化画像に対して復号化を行なう過程で、解像度変換処理と符号化歪み除去処理とを一度に施すことを可能とし、画像信号に対する信号処理を簡易な構成で容易に実現し得るようにしている。
【００３２】
以下、実施の形態について図面を参照して詳細に説明する。図３は、この実施の形態における解像度変換処理動作を説明するものである。ここでは、水平方向８画素×垂直方向８画素でなる符号化対象ブロックに対して直交変換処理を行なう符号化方式で符号化された画像信号に対して、復号化側で、水平方向の解像度を４／３（３分の４倍）にし、垂直方向の解像度は変えない解像度変換処理を行なう場合を例にとり、その処理動作について説明する。
【００３３】
図３では、ブロック分割された入力画像から切り出した、水平方向に連続する３個の符号化対象ブロックに対する処理動作を示している。この各ブロックは、それぞれが、水平方向８画素×垂直方向８画素からなる符号化対象ブロックに対して２次元直交変換を行ない、得られた水平方向８個×垂直方向８個の直交変換係数を量子化したものからなる。
【００３４】
ここで、１つのブロックが水平方向８個×垂直方向８個の直交変換係数からなる、連続する３つのブロックは、水平方向に見ると、合計で８×３＝２４個の直交変換係数を含むことになる。そして、水平方向の解像度を４／３倍にするためには、同じ画像の領域を表現するために、水平方向に２４×４／３＝３２個の変換係数が必要となる。
【００３５】
このために、この実施の形態では、入力となる垂直方向８個×水平方向（８×３＝）２４個でなるブロックの直交変換係数（１９２個）に対して、線型フィルタを掛けることにより、垂直方向８個×水平方向３２個＝２５６個の直交変換係数を推定生成する。
【００３６】
このようにして生成された垂直方向８個×水平方向３２個のサイズの直交変換係数ブロックに対して、垂直方向８個×水平方向３２個のサイズに対応した２次元逆直交変換処理を行なうことにより、垂直方向８画素×水平方向３２画素からなる出力画像ブロックが得られる。
【００３７】
そして、この得られた画像ブロックを画像内の適切な位置に配置し、適切なアスペクト比（縦横比）になるようにして出力することにより、最終的に水平方向の解像度が４／３倍の高解像度出力画像を得ることができる。
【００３８】
これに対し、先行技術では、１つの直交変換係数ブロックに着目して、そこに含まれる変換係数の数を増減する処理を行ない、１つの直交変換係数ブロックを出力するという処理が行なわれている。
【００３９】
このとき、入力される直交変換係数ブロックが垂直方向Ｍ個×水平方向Ｎ個の直交変換係数からなり、出力する直交変換係数ブロックが垂直方向Ｋ個×水平方向Ｌ個の直交変換係数からなるとすると、解像度変換の倍率は、垂直方向にＫ／Ｍ倍、水平方向にＬ／Ｎ倍となる。
【００４０】
すなわち、この現状の方法では、設定できる倍率として、垂直方向では分母がＭとなる有理数、水平方向では分母がＮとなる有理数に限定されることになる。そして、一般的に広く利用されている動画像符号化方式であるＭＰＥＧ２では、Ｍ＝Ｎ＝８である。また、他の符号化方式でも、Ｍ及びＮとして４あるいは８が採用されていることが多い。
【００４１】
一方で、地上デジタル放送をより解像度の高いパネルに表示する場合等には、Ｌ／３倍というように、分母が３であるような倍率の変換が要求されることがある。ところが、現状における直交変換係数空間の操作による解像度変換方式では、先に説明したように、分母が３となるような変換倍率の解像度変換は実現不可能である。
【００４２】
これに対して、この実施の形態では、垂直方向Ｐ個、水平方向Ｑ個の直交変換係数ブロックをまとめて入力することにより、実現可能な解像度変換の倍率は、垂直方向にＫ／（ＰＭ）倍、水平方向にＬ／（ＱＮ）倍となる。例えば、Ｑ＝３、Ｎ＝８とすると、水平方向にＬ／２４倍という変換倍率が実現可能となり、分母が３であるような倍率も含めて、より自由度の高い倍率設定を行なうことができるようになる。
【００４３】
複数ブロックをまとめることによる効果は、このように自由度の高い倍率設定ができることと同時に、以下で説明するように、基底長の長い表現によるより高画質な出力画像が得られることである。これは、１つのブロックを処理対象とする現状の技術では実現不可能である。
【００４４】
すなわち、上記した実施の形態において特徴的なことは、直交変換の基底長が短い変換係数ブロックを複数個用いて、より長い基底長の直交変換係数ブロックを得ていることである。要するに、解像度変換を直交変換係数面で行なうためには、倍率に応じた数の直交変換係数を生成する必要がある。その際に、例えば垂直方向８個×水平方向８個でなる基底長の直交変換係数ブロック３つから、同じ垂直方向８個×水平方向８個の基底長を持つ直交変換係数ブロックを４つ生成するというのではなく、図３に示した例では、垂直方向８個×水平方向３２個の基底長を持つ直交変換係数ブロックを１つ生成するという処理を行なっている。
【００４５】
また、解像度変換で、入力画像よりもより高い解像度の出力画像を得る場合には、入力データ数よりも多くのデータを得る必要がある。そのために、この実施の形態では、入力データに対する線型変換として出力データを得ている。これは、行列を用いて数式で表わすと、以下のようになる。
【００４６】
Ｙ＝ＨＸ … （１）
上式において、Ｘは入力直交変換係数ブロックの集合を縦行列として表現したものであり、図３に示した例では、垂直方向１９２個×水平方向１個の行列である。Ｙは出力直交変換係数ブロックの集合を縦行列として表現したものであり、図３に示した例では、垂直方向２５６個×水平方向１個の行列である。
【００４７】
行列Ｈは入力データに対する線型変換の重みを表す行列であり、上の例では、垂直方向２５６個×水平方向１９２個の要素からなる行列である。この行列Hは、最適な出力Ｙが得られるように予め作成しておく。そのために、基準となる高解像度画像と、それをダウンサンプリングして作成した多数の低解像度画像とを用意しておき、高解像度画像から得られる垂直方向８個×水平方向３２個の直交変換係数と、低解像度画像の対応する領域から得られる垂直方向８個×水平方向８個でなるブロック３ブロックに対して量子化した直交変換係数との相関を求めて、最適な推定が行なえるように求める。
【００４８】
このとき、相関の無い直交変換係数間に対応する行列Ｈの要素はゼロになり、相関の有る係数間に対応する行列Ｈの要素のみが非ゼロの値となる。この結果、行列Ｈの多くの要素はゼロとなるため、実際に必要となる演算量は、行列Ｈのサイズから通常必要とされる積和の回数よりも遙かに少ない回数の演算で済むことになる。
【００４９】
推定を行なう出力直交変換係数ブロックをより長い基底長とすることにより、高周波成分の推定をより自然に行なうことが可能となり、結果として、より高画質な出力画像を得ることができる。すなわち、直交変換としてよく用いられる離散コサイン変換を例にとると、例えばエッジ成分を離散コサイン変換した場合に、ある周波数に対応する変換係数と、その整数倍に対応する変換係数とが、その大きさが等比数列を成してきれいに出現する。
【００５０】
これは、音響における倍音成分や、電波における高調波成分に対応するもので、画像の空間周波数成分において発生するものである。このような整数倍の周波数に相当する変換係数が、より長い基底長の変換を用いた場合には、より高い倍数のところまで表現できるため、より自然な周波数スペクトルの画像を得ることができるのである。
【００５１】
さらに、このような推定を行なうことにより、符号化の際の直交変換係数に対する量子化による情報損失をある程度回復する効果も得られる。一般に、量子化による情報損失のため、出力画像に歪みが発生し画質劣化が引き起こされる。これは、エッジ周辺のもやもやした歪み（モスキート歪み）、ブロック境界の不連続な画像の変化（ブロック歪み）、細かい模様の画像領域がざらざらした感じになる歪みといった画質劣化として知覚される。
【００５２】
この符号化歪みは、このような画質劣化として知覚されるだけではなく、解像度変換の際に高度な処理を行なう妨げにもなる。これを適切に処理しないと、解像度変換処理により符号化歪みを強調してしまったり、超解像処理のような解像度感を向上させる処理を適用できる画像領域が限られてしまうという悪影響を引き起こし、一方で、適切に処理するためには煩雑な適応処理が必要となる。
【００５３】
この実施の形態では、上式（１）の行列Ｈを求める際に、量子化された低解像度画像の直交変換係数と、量子化していない高解像度画像の直交変換係数との相関を用いる。これにより、低解像度画像の量子化された直交変換係数から、より高解像度な画像に対して、量子化によって情報が失われる前の直交変換係数の推測を行なう。また、入力として、複数の直交変換係数ブロックを用いることにより、ランダムに発生する符号化歪みを加え合わせる効果が生じ、符号化歪みは統計的により小さな分散を持つようになる。
【００５４】
以上のように、この実施の形態では、第１に、より自由な解像度変換倍率の設定が可能になる。第２に、長い基底長の変換係数を推定することによって、より自然な高周波成分の推測を行なうことが可能になる。また、第３に、量子化によって失われた情報を補う効果により、符号化歪みの軽減した高品質の出力画像を得ることが可能となっている。
【００５５】
これは、上式（１）で示した線型推定を一様に適応するだけで、上記の第２，第３の２つの効果を同時に実現している。現状では、符号化歪み除去フィルタによる歪み低減処理と解像度変換処理とを別々に行なっており、しかも、高品質な出力画像を得るために、高度な処理を行なう場合においては、それぞれの処理において複雑な適応処理を必要としていたが、この実施の形態では、単純な線型処理を一回行なうだけで、２つの機能を同時にかつ安定して実現することが可能となっている。
【００５６】
図４は、上記のように図３を用いて説明した解像度変換処理動作を実現するための動画像復号化装置３７の一例を示している。図４において、図２と同一符号が付された、エントロピー符号復号化部２７、逆量子化部２８、垂直方向Ｍ個×水平方向Ｎ個の直交変換係数に対して２次元逆直交変換を行なうＭ×Ｎ逆直交変換部２９、加算部３０、動き補償・予測部３１、フレームバッファ３２、ループフィルタ３３等については、図２で説明した動画像復号化装置２５と同じ処理動作を行なっている。この部分は、フレーム間予測符号化を用いた動画像の符号化方式において、符号化側で使う参照フレームを復号側でも全く同じく再現し同じ参照ブロックを生成するために必要となるものである。
【００５７】
この実施の形態で説明する動画像復号化装置３７では、これに加えて、Ｍ×Ｎ直交変換部３８、加算部３９、解像度変換部４０及びフレームバッファ４１を備えている。このうち、Ｍ×Ｎ直交変換部３８は、動き補償・予測部３１から出力される参照ブロック信号Ｓ１３に２次元直交変換を行ない、垂直方向Ｍ個×水平方向Ｎ個の参照ブロック直交変換係数を生成している。
【００５８】
また、上記加算部３９は、Ｍ×Ｎ直交変換部３８の出力である参照ブロック直交変換係数信号Ｓ１６と、上記逆量子化部２８の出力である予測残差直交変換係数信号Ｓ１１とを加算し、その加算結果である直交変換係数を解像度変換部４０に出力している。この解像度変換部４０は、変換係数バッファ４０ａ、Ｋ×Ｌ変換係数線型推定部４０ｂ及びＫ×Ｌ逆直交変換部４０ｃを備えている。
【００５９】
このうち、変換係数バッファ４０ａは、加算部３９から出力される直交変換係数信号Ｓ１７を一時的に保存する。また、上記Ｋ×Ｌ変換係数線型推定部４０ｂは、変換係数バッファ４０ａから垂直方向Ｐ個×水平方向Ｑ個（Ｐ，Ｑは正の整数でＰ＝Ｑ＝１は除く）でなり、隣接ブロックを使用する場合には、その使用する隣接ブロックの個数を加えたＳ個の直交変換係数ブロック（対象ブロック）を読み出し、その読み出した全ブロックを用いて垂直方向Ｋ個×水平方向Ｌ個の直交変換係数を有する直交変換係数ブロックを線型推定する。
【００６０】
さらに、上記Ｋ×Ｌ逆直交変換部４０ｃは、線型推定されたＫ×Ｌ個の直交変換係数に対して２次元逆直交変換を実行する。そして、このＫ×Ｌ逆直交変換部４０ｃから得られた画像ブロックが、フレームバッファ４１に供給されて画像フレーム内の適切な位置に配置され、最終的な出力画像として出力端子４２から取り出される。なお、図４に示した動画像復号化装置３７の処理動作を、図３で説明した例に対応させると、Ｍ＝Ｎ＝Ｋ＝８、Ｌ＝３２、Ｐ＝１、Ｑ＝３、Ｓ＝３となる。
【００６１】
ここで、図４に示した動画像復号化装置３７が解像度変換処理を行なうために必要な要素は、変換係数バッファ４０ａ、Ｋ×Ｌ変換係数線型推定部４０ｂ及びＫ×Ｌ逆直交変換部４０ｃであり、これらにより解像度変換部４０が構成される。また、現状における動画像復号化装置２５に無いＭ×Ｎ直交変換部３８及び加算部３９は、現状の動画像復号化装置２５で得られる予測残差直交変換係数ブロックを、この実施の形態で示す動画像復号化装置３７の解像度変換部４０で必要とする直交変換係数ブロックにするために設けられている。
【００６２】
図３で説明した解像度変換処理動作では、垂直方向８個×水平方向８個の直交変換係数を有するブロックを３つ用いて線型推定を行なっていたが、線型推定に用いる直交変換係数ブロックをより多数使用することにより、さらに良好な線型推定を行なうことが可能となる。
【００６３】
例えば、図５に示すように、推定対象ブロックと画像フレーム内で同一位置にある３つのブロックに加えて、その上に隣接する３つのブロックと、左右に隣接する２つのブロックとの合計８つのブロックを入力として、８×３２のブロックを１つ推定して出力することができる。これは、図４に示した動画像復号化装置３７において、Ｍ＝Ｎ＝Ｋ＝８、Ｌ＝３２、Ｐ＝１、Ｑ＝３、Ｓ＝８とした例である。
【００６４】
このとき、上式（１）のＸは垂直方向５１２個×水平方向１個の縦行列であり、Ｈは垂直方向２５６個×水平方向５１２個の要素からなる行列となる。このように、推定対象ブロックに隣接するブロックの直交変換係数も線型推定に用いることによって、より高い倍率の解像度変換を行なう場合、つまり、線型推定する直交変換係数の数が多い場合においても、安定した質の高い線型推定を行なうことができるようになる。
【００６５】
また、図５に示した８つのブロックに加えて、推定対象ブロックの下側に隣接する３つのブロックも用いて、合計１１ブロック（Ｓ＝１１）を利用するようにすることも効果的である。また、推定対象ブロックと画像の性質が異なるような隣接ブロックは除外して線型推定を行なうことも、安定した線型推定を行なう上で効果的である。
【００６６】
さらに、図６に示すように、推定対象ブロックに隣接する、推定処理済みブロックの推定直交変換係数も、推定対象ブロックの直交変換係数推定に用いることが可能である。すなわち、線型推定に用いるデータは、数が多いほど、また、その質が良いほど、線型推定の結果が良好になる。
【００６７】
このため、隣接するブロックのデータとして、推定処理を行なう前の低解像度画像の量子化誤差をより多く含んだ直交変換係数ブロックではなく、推定処理を行なった後の高解像度画像に対する量子化歪みが低減された直交変換係数ブロックのみ、または、その両方のブロックを用いることによって、より安定した線型推定が可能となる。
【００６８】
図７は、推定処理を行なった後の高解像度画像に対する量子化歪みが低減された直交変換係数ブロックを線型推定に用いる動画像復号化装置３７の一例を示している。図７において、図４と同一部分に同一符号を付して説明すると、図４に示した動画像復号化装置３７の構成に加えて、Ｋ×Ｌ変換係数線型推定部の出力を一時的に記憶するための推定変換係数バッファ４０ｄを備え、この推定変換係数バッファ４０ｄから推定済み隣接ブロックの変換係数データを読み出して、Ｋ×Ｌ変換係数線型推定部４０ｂに入力するパスが設けられる。
【００６９】
図８は、図７に示した動画像復号化装置３７の変形例を示している。すなわち、図７に示した動画像復号化装置３７では、逆直交変換を行なった後の予測残差信号Ｓ１２に参照ブロック信号Ｓ１３を加える処理を行なうとともに、解像度変換部４０に与える直交変換係数を得るために、参照ブロック信号Ｓ１３を２次元直交変換して、予測残差直交変換係数信号Ｓ１１に加える処理を行なっている。
【００７０】
これに対し、図８に示す動画像復号化装置３７では、参照フレームを生成するために必要な予測残差成分と参照ブロック成分との加算を直交変換面で行なっている。このようにすることにより、解像度変換部４０に与える直交変換係数を生成するための加算処理と、参照フレームを生成するための加算処理をまとめることが可能となり、結果として、加算部３０を減らすことが可能となる。
【００７１】
これは、直交変換が線型な処理であって、直交変換の前で加算を行なっても、直交変換の後で加算を行なっても、どちらも本質的に同じ処理になるためである。また、このようにしても、解像度変換部４０に関しては、図７と全く同じである。さらに、図８に示した加算部３０を減らした構成は、図４の構成、または、次に述べる図９の構成を用いた場合にも、適用することができる。
【００７２】
図９は、図７に示した動画像復号化装置３７のさらに他の変形例を示している。すなわち、図９に示す動画像復号化装置３７は、図７に示した動画像復号化装置３７のＫ×Ｌ変換係数線型推定部４０ｂとＫ×Ｌ逆直交変換部４０ｃとを、１つのＫ×Ｌ画素値線型推定部４０ｅとしてまとめた構成となっている。
【００７３】
これは、Ｋ×Ｌ変換係数線型推定部４０ｂもＫ×Ｌ逆直交変換部４０ｃも、どちらも数学的には単に行列を乗算するだけの処理であるため、その２つの行列の積を予め求めておくことにより、行列の積を計算する処理を一度で済ませることができることに対応する。このような構成とすることにより、変換係数バッファ４０ａから読み出したＳ個の直交変換係数ブロックから、直接的に垂直方向Ｋ個×水平方向Ｌ個の画素でなる高解像度出力ブロックを得ることが可能となる。
【００７４】
また、図６で説明したように、推定済み隣接ブロックを線型推定の入力として使用する場合には、推定済み隣接ブロックの直交変換係数のかわりに、推定済み隣接ブロックの画素値をそのまま線型推定の入力とする。このことにより、図７で必要とした推定変換係数バッファ４０ｄは不要となり、最終的な出力画像を記憶するフレームバッファ４１から推定済み隣接ブロックの画素値を得る構成となる。
【００７５】
以上では、フレーム間予測／残差符号化を行なう符号化フレームに対する復号化処理及び解像度変換処理について説明している。これに対し、図１０は、例えばＭＰＥＧ２規格に準拠した符号化方式におけるＩ（intra-coded）ピクチャ等のように、予測を行なわないフレームの符号化データに対する動画像復号化装置３７の構成を示している。
【００７６】
この場合には、逆量子化部２８の出力は、予測残差信号の直交変換係数ではなく、画像信号の直交変換係数となっているため、参照ブロックの直交変換係数を加える処理は不要となり、逆量子化部２８の出力が直接的に解像度変換部４０に供給されて、変換係数バッファ４０ａ以降の解像度変換処理が進められる。
【００７７】
一方、引き続く画像フレームの符号化において、このフレームが参照フレームとして必要となる場合は、逆量子化部２８の出力に対して垂直方向Ｍ個×水平方向Ｎ個の２次元逆直交変換が行なわれる。そして、ループフィルタ３３を必要とする符号化の場合にはその処理が行なわれた後、復号画像がフレームバッファ３２に記憶されて後の復号処理に備えることになる。
【００７８】
また、静止画の符号化や、動画像の符号化でフレーム内符号化しか用いない符号化方式の場合には、この垂直方向Ｍ個×水平方向Ｎ個のＭ×Ｎ逆直交変換部２９及びそれ以降のループフィルタ３３、フレームバッファ３２は不要となる。このことは、図４または図９に示した構成を用いた場合でも全く同様である。
【００７９】
以上の説明において、解像度変換部４０では、主としてより高い解像度に変換することを想定した説明を行なってきたが、これに限らず、より低い解像度に変換する場合でも全く同様に処理を行なうことができる。この場合には、符号化歪み低減効果がより効果的に発揮されることになる。
【００８０】
また、出力すべき解像度の画像を得るために、入力の直交変換係数ブロックを複数まとめ、それと同じ画像位置にブロックを１つ設定し、そのブロックに対して解像度変換倍率に基づいた必要とする数の直交変換係数を線型推定する際に、入力ブロックを複数まとめる方法には任意性が存在する。
【００８１】
例えば、解像度を垂直方向及び水平方向にそれぞれ２倍に変換する場合を考えると、垂直方向８個×水平方向８個の直交変換係数からなるブロックを、垂直方向に２ブロック、水平方向に２ブロックまとめたものを入力ブロックとし、垂直方向３２個×水平方向３２個の直交変換係数ブロックを出力することが考えられる。
【００８２】
また、垂直方向に４ブロック、水平方向に４ブロックをまとめたものを入力ブロックとし、垂直方向６４個×水平方向６４個の直交変換係数ブロックを出力するようにすることや、それ以外の組み合わせによることも考えることができる。
【００８３】
この場合、より長い基底長を用いることにより、より自然な高周波成分を得ることが可能となり、品質の高い出力画像となるが、その反面、逆直交変換部４０ｃの演算量増加、変換係数バッファ４０ａで必要とする容量の増加、複数ブロックの入力待ちによる遅延の増加といった事態が発生するため、複数ブロックとして何個のブロックにするかは、出力画像の品質や、処理量等の許容範囲からバランスの良い値に設定をすることになる。
【００８４】
さらに、出力ブロック内の直交変換係数の基底長は、２の冪乗とすると、逆直交変換部４０ｃにおいて高速変換アルゴリズムを簡単に採用することができるため、一般には都合が良いことが多いが、これは必ずしも、２の冪乗である必要は無い。
【００８５】
もちろん、コンピュータ上で動作するソフトウェアで実施しても良い。
【００８６】
なお、この発明は上記した実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を種々変形して具体化することができる。また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係る構成要素を適宜組み合わせても良いものである。
【符号の説明】
【００８７】
１１…動画像符号化装置、１２…入力端子、１３…ブロック分割部、１４…減算部、１５…動き補償・予測部、１６…参照フレームバッファ、１７…直交変換部、１８…量子化部、１９…エントロピー符号化部、２０…出力端子、２１…逆量子化部、２２…逆直交変換部、２３…加算部、２４…ループフィルタ、２５…動画像復号化装置、２６…入力端子、２７…エントロピー符号復号化部、２８…逆量子化部、２９…Ｍ×Ｎ逆直交変換部、３０…加算部、３１…動き補償・予測部、３２…フレームバッファ、３３…ループフィルタ、３４…符号化歪み除去フィルタ、３５…解像度変換部、３６…出力端子、３７…動画像復号化装置、３８…Ｍ×Ｎ直交変換部、３９…加算部、４０…解像度変換部、４０ａ…変換係数バッファ、４０ｂ…Ｋ×Ｌ変換係数線型推定部、４０ｃ…Ｋ×Ｌ逆直交変換部、４０ｄ…推定変換係数バッファ、４０ｅ…Ｋ×Ｌ画素値線型推定部、４１…フレームバッファ、４２…出力端子。
【技術分野】
【０００１】
この発明の実施の形態は、例えばデジタルテレビジョン放送受信機等に使用される解像度変換装置、解像度変換方法及び動画像復号化装置に関する。
【背景技術】
【０００２】
周知のように、現在、デジタル化された画像信号に対して高能率符号化による圧縮された情報を用いて、記録媒体により長時間のコンテンツを記録する装置や、衛星や地上局等からのデジタル放送波やネットワークを介してコンテンツを配信するサービスが実用化されている。
【０００３】
このようなサービスにおいては、膨大な情報量を持つ画像・音声の情報を大量に放送・伝送するために、大きな圧縮率を実現する高能率符号化が必要となっている。この動画像の高能率符号化として国際規格であるＭＰＥＧ２（moving picture experts group phase 2）等の符号化方式が用いられている。
【０００４】
この符号化方式においては、画像信号の隣接画素間（空間方向）の相関、及び、隣接するフレーム間やフィールド間（時間方向）の相関を利用して情報量を圧縮する方式を用いている。すなわち、入力フレームの画像信号は、輝度信号で水平方向１６画素×垂直方向１６画素のマクロブロックと呼ばれる処理単位に分割される。
【０００５】
この分割されたマクロブロックのデータは、さらに、水平方向８画素×垂直方向８画素単位の２次元ブロックに分割され、離散直交変換の一種である２次元ＤＣＴ（discrete cosine transform：離散コサイン変換）処理が行なわれる。画像符号化装置は、このＤＣＴ処理により得られたＤＣＴ係数（離散コサイン変換係数）に対して量子化を行ない、それに対してエントロピー符号化を行なって符号化データを生成する。
【０００６】
ところで、このように、ＤＣＴ処理や量子化による符号化アルゴリズムを使って画像を圧縮する場合、この量子化により元の情報が失われるので、復号画像にブロック歪みやモスキート歪みといった符号化歪みが生じてしまい、高精度の画像復元を行なうことができなくなる。このため、復号化後の画像信号に対して、画像の量子化に伴なって失われた情報を高精度に復元する符号化歪み除去処理を施すことが必要となる。
【０００７】
また、符号化された画像に対して、復号化側で解像度変換を行なう場合には、復号化後の画像信号に対して、上記した符号化歪み除去処理とは別個に解像度変換処理を施すことが必要となり、画像信号に対する信号処理が煩雑になっている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００１−３２０５８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
符号化画像に対して復号化を行なう過程で、解像度変換処理と符号化歪み除去処理とを一度に施すことを可能とし、画像信号に対する信号処理を簡易な構成で容易に実現し得るようにした解像度変換装置、解像度変換方法及び動画像復号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
実施の形態によれば、解像度変換装置は、生成手段と出力手段とを備えている。生成手段は、それぞれが直交変換係数を含む、垂直方向Ｐ個×水平方向Ｑ個（Ｐ，Ｑは正の整数でＰ＝Ｑ＝１は除く）の対象ブロックで示される画像領域に対応して１つのブロックを設定し、当該ブロックに対して垂直方向Ｐ個×水平方向Ｑ個の対象ブロックに含まれる直交変換係数の総数とは異なる数の直交変換係数を生成する。出力手段は、生成手段により生成した直交変換係数を逆直交変換して画像ブロックを生成し、その生成した画像ブロックを画像フレームの対応する位置に配置する。
【図面の簡単な説明】
【００１１】
【図１】現状における一般的な動画像符号化装置の一例を説明するために示すブロック構成図。
【図２】現状における一般的な動画像復号化装置の一例を説明するために示すブロック構成図。
【図３】実施の形態における動画像復号化装置によって行なわれる解像度変換処理動作の一例を説明するために示す図。
【図４】実施の形態における動画像復号化装置の一例を説明するために示すブロック構成図。
【図５】実施の形態における動画像復号化装置によって行なわれる解像度変換処理動作の他の例を説明するために示す図。
【図６】実施の形態における動画像復号化装置によって行なわれる解像度変換処理動作のさらに他の例を説明するために示す図。
【図７】実施の形態における動画像復号化装置の他の例を説明するために示すブロック構成図。
【図８】実施の形態における動画像復号化装置のさらに他の例を説明するために示すブロック構成図。
【図９】実施の形態における動画像復号化装置のさらに他の例を説明するために示すブロック構成図。
【図１０】実施の形態における動画像復号化装置のさらに他の例を説明するために示すブロック構成図。
【発明を実施するための形態】
【００１２】
以下、実施の形態に係る解像度変換技術を説明するに先立ち、現状における一般的な動画像符号化技術及び動画像復号化技術について簡単に説明する。まず、図１は、ＭＰＥＧ２規格等の高能率符号化処理を行なう一般的な動画像符号化装置１１の構成を示している。すなわち、入力端子１２に供給された画像信号は、ブロック分割部１３に供給される。
【００１３】
このブロック分割部１３は、入力された画像信号を水平方向Ｎ画素、垂直方向Ｎ画素の符号化対象ブロックに分割し、符号化対象ブロック信号Ｓ１を生成する。そして、このブロック分割部１３で生成された符号化対象ブロック信号Ｓ１は、減算部１４の一方の入力端に供給される。
【００１４】
また、この減算部１４の他方の入力端には、動き補償・予測部１５で作成された参照ブロック信号Ｓ２が供給されている。この動き補償・予測部１５は、上記符号化対象ブロック信号Ｓ１に対して、参照フレームバッファ１６に保存されているローカル復号画像から抽出したローカル復号画像信号Ｓ３を用いて動き補償予測を行ない、参照ブロック信号Ｓ２を作成している。
【００１５】
そして、上記減算部１４は、符号化対象ブロック信号Ｓ１から参照ブロック信号Ｓ２を減算して、予測残差ブロック信号Ｓ４を算出する。この減算部１４から出力される予測残差ブロック信号Ｓ４は、直交変換部１７に供給されて離散コサイン変換（ＤＣＴ）等の２次元直交変換処理が施される。
【００１６】
この直交変換部１７による直交変換処理によって得られた予測残差直交変換係数信号Ｓ５は、量子化部１８に供給されて量子化処理が施されることにより、情報量の削減が行なわれる。この量子化部１８による量子化処理によって得られた量子化値信号Ｓ６は、エントロピー符号化部１９に供給されて、動き補償予測の情報等とともにエントロピー符号化され、符号化データとして出力端子２０から取り出される。
【００１７】
一方、引き続く画像フレームの符号化における動き補償予測参照に備えるために、ローカル復号画像が生成されて参照フレームバッファ１６に保存される。すなわち、直交変換係数を量子化した量子化値信号Ｓ６は、逆量子化部２１に供給されて予測残差直交変換係数信号Ｓ７が生成される。この予測残差直交変換係数信号Ｓ７は、逆直交変換部２２に供給されて２次元逆直交変換処理が行なわれることにより、予測残差ブロック信号Ｓ８が得られる。
【００１８】
そして、この逆直交変換部２２から得られる予測残差ブロック信号Ｓ８と、上記動き補償・予測部１５から得られる参照ブロック信号Ｓ２とを加算部２３に供給して加算することによりローカル復号画像信号Ｓ９が生成される。このローカル復号画像信号Ｓ９は、ループフィルタ２４によりローカル復号画像の画質劣化を低減する処理を行なった後、参照フレームバッファ１６に保存される。
【００１９】
なお、符号化方式によっては、ループフィルタ２４を用いないものもある。例えばＭＰＥＧ２等では規格上ループフィルタは存在しない。このため、ループフィルタを用いない規格に準拠する符号化データを対象とする場合には、上記ループフィルタは何も処理を行なわずに、入力をそのまま出力することになる。
【００２０】
図２は、上記した動画像符号化装置１１によって生成された符号化データを復号化するための一般的な動画像復号化装置２５の構成を示している。すなわち、上記動画像符号化装置１１から出力された符号化データは、入力端子２６を介してエントロピー符号復号化部２７に供給される。
【００２１】
このエントロピー符号復号化部２７は、入力された符号化データに対してエントロピー符号に対する復号化を行ない、予測残差直交変換係数の復号された量子化値信号Ｓ１０を生成する。この量子化値信号Ｓ１０は、逆量子化部２８及び逆直交変換部２９に順次供給される。
【００２２】
このうち、逆量子化部２８は、入力された量子化値信号Ｓ１０を逆量子化することで予測残差直交変換係数信号Ｓ１１を生成し、逆直交変換部２９に出力している。また、この逆直交変換部２９は、入力された予測残差直交変換係数信号Ｓ１１に２次元逆直交変換を行なって復号された予測残差信号Ｓ１２を生成し、加算部３０の一方の入力端に出力している。
【００２３】
この加算部３０の他方の入力端には、動き補償・予測部３１で作成された参照ブロック信号Ｓ１３が供給されている。この動き補償・予測部３１は、符号化データに多重化されて送られてきた動き補償予測の情報を用いて、フレームバッファ３２から取得したローカル復号画像信号Ｓ１４から、参照ブロック信号Ｓ１３を作成している。
【００２４】
そして、上記加算部３０は、予測残差信号Ｓ１２と参照ブロック信号Ｓ１３とを加算して、復号された対象ブロック信号Ｓ１５を算出する。この対象ブロック信号Ｓ１５は、ループフィルタ３３によって歪みの低減処理が行なわれた後、フレームバッファ３２内の画像フレーム内の元の位置に置かれることにより復号画像が得られる。この復号画像は、引き続く画像フレームの復号に備えて、フレームバッファ３２に保存される。この場合、符号化側でループフィルタ２４が用いられた場合は、復号側でも同じループフィルタ３３が用いられる。
【００２５】
復号画像に対して、一般的には、さらに以下の処理が行なわれる。すなわち、上記フレームバッファ３２に保存された復号画像は、符号化歪み除去フィルタ３４に供給されて符号化歪みを低減する処理が行なわれ、その後、さらに、解像度変換部３５に供給され、表示装置の解像度等に合わせて解像度の変換処理が行なわれて、出力端子３６から取り出される。
【００２６】
ここで、この解像度変換部３５としては、処理の複雑度と得られる画質とによって、以下のように大きく３つに分類することができる。なお、以下の説明では、主に低い解像度の画像をより高い解像度の画像にする場合を想定して説明している。
【００２７】
（１） 単純な補間フィルタと再サンプリングによる方法
この方法は、処理は簡単であるが、出力される高解像度画像では単純に画素数の水増しが行なわれているだけであり、画像の高周波成分が増えるわけではない。このため、解像度変換の倍率を高くしていくとぼけた画像となり、出力画像の質としては良くない。
【００２８】
（２） 単純な補間フィルタに加えて高周波成分を強調する方法
この方法は、単純に高周波成分を強調する方法に加えて、より高度な処理を付加するようにしている。付加する処理としては、エッジ成分を検出してそれを綺麗にする処理や、符号化歪みを強調しないように抑える処理を行なうものもある。
【００２９】
（３） さらに高度な処理を行なう方法
フレーム内超解像、あるいは、複数フレーム超解像と呼ばれる技術で、近年広く使われるようになってきた技術がこれに相当する。
【００３０】
以上に述べたように、現状における一般的な動画像復号化技術では、復号化後の画像信号に対して、量子化に伴なって生じる符号化歪みを低減するために、符号化歪み除去フィルタ３４を用いて符号化歪み除去処理を施すことが必要となる。また、復号化側で解像度変換を行なう場合には、復号化後の画像信号に対して、上記した符号化歪み除去処理とは別個に、解像度変換部３５を用いて解像度変換処理を施すことが必要となり、画像信号に対する信号処理が煩雑になっている。
【００３１】
そこで、ここで説明する実施の形態では、符号化画像に対して復号化を行なう過程で、解像度変換処理と符号化歪み除去処理とを一度に施すことを可能とし、画像信号に対する信号処理を簡易な構成で容易に実現し得るようにしている。
【００３２】
以下、実施の形態について図面を参照して詳細に説明する。図３は、この実施の形態における解像度変換処理動作を説明するものである。ここでは、水平方向８画素×垂直方向８画素でなる符号化対象ブロックに対して直交変換処理を行なう符号化方式で符号化された画像信号に対して、復号化側で、水平方向の解像度を４／３（３分の４倍）にし、垂直方向の解像度は変えない解像度変換処理を行なう場合を例にとり、その処理動作について説明する。
【００３３】
図３では、ブロック分割された入力画像から切り出した、水平方向に連続する３個の符号化対象ブロックに対する処理動作を示している。この各ブロックは、それぞれが、水平方向８画素×垂直方向８画素からなる符号化対象ブロックに対して２次元直交変換を行ない、得られた水平方向８個×垂直方向８個の直交変換係数を量子化したものからなる。
【００３４】
ここで、１つのブロックが水平方向８個×垂直方向８個の直交変換係数からなる、連続する３つのブロックは、水平方向に見ると、合計で８×３＝２４個の直交変換係数を含むことになる。そして、水平方向の解像度を４／３倍にするためには、同じ画像の領域を表現するために、水平方向に２４×４／３＝３２個の変換係数が必要となる。
【００３５】
このために、この実施の形態では、入力となる垂直方向８個×水平方向（８×３＝）２４個でなるブロックの直交変換係数（１９２個）に対して、線型フィルタを掛けることにより、垂直方向８個×水平方向３２個＝２５６個の直交変換係数を推定生成する。
【００３６】
このようにして生成された垂直方向８個×水平方向３２個のサイズの直交変換係数ブロックに対して、垂直方向８個×水平方向３２個のサイズに対応した２次元逆直交変換処理を行なうことにより、垂直方向８画素×水平方向３２画素からなる出力画像ブロックが得られる。
【００３７】
そして、この得られた画像ブロックを画像内の適切な位置に配置し、適切なアスペクト比（縦横比）になるようにして出力することにより、最終的に水平方向の解像度が４／３倍の高解像度出力画像を得ることができる。
【００３８】
これに対し、先行技術では、１つの直交変換係数ブロックに着目して、そこに含まれる変換係数の数を増減する処理を行ない、１つの直交変換係数ブロックを出力するという処理が行なわれている。
【００３９】
このとき、入力される直交変換係数ブロックが垂直方向Ｍ個×水平方向Ｎ個の直交変換係数からなり、出力する直交変換係数ブロックが垂直方向Ｋ個×水平方向Ｌ個の直交変換係数からなるとすると、解像度変換の倍率は、垂直方向にＫ／Ｍ倍、水平方向にＬ／Ｎ倍となる。
【００４０】
すなわち、この現状の方法では、設定できる倍率として、垂直方向では分母がＭとなる有理数、水平方向では分母がＮとなる有理数に限定されることになる。そして、一般的に広く利用されている動画像符号化方式であるＭＰＥＧ２では、Ｍ＝Ｎ＝８である。また、他の符号化方式でも、Ｍ及びＮとして４あるいは８が採用されていることが多い。
【００４１】
一方で、地上デジタル放送をより解像度の高いパネルに表示する場合等には、Ｌ／３倍というように、分母が３であるような倍率の変換が要求されることがある。ところが、現状における直交変換係数空間の操作による解像度変換方式では、先に説明したように、分母が３となるような変換倍率の解像度変換は実現不可能である。
【００４２】
これに対して、この実施の形態では、垂直方向Ｐ個、水平方向Ｑ個の直交変換係数ブロックをまとめて入力することにより、実現可能な解像度変換の倍率は、垂直方向にＫ／（ＰＭ）倍、水平方向にＬ／（ＱＮ）倍となる。例えば、Ｑ＝３、Ｎ＝８とすると、水平方向にＬ／２４倍という変換倍率が実現可能となり、分母が３であるような倍率も含めて、より自由度の高い倍率設定を行なうことができるようになる。
【００４３】
複数ブロックをまとめることによる効果は、このように自由度の高い倍率設定ができることと同時に、以下で説明するように、基底長の長い表現によるより高画質な出力画像が得られることである。これは、１つのブロックを処理対象とする現状の技術では実現不可能である。
【００４４】
すなわち、上記した実施の形態において特徴的なことは、直交変換の基底長が短い変換係数ブロックを複数個用いて、より長い基底長の直交変換係数ブロックを得ていることである。要するに、解像度変換を直交変換係数面で行なうためには、倍率に応じた数の直交変換係数を生成する必要がある。その際に、例えば垂直方向８個×水平方向８個でなる基底長の直交変換係数ブロック３つから、同じ垂直方向８個×水平方向８個の基底長を持つ直交変換係数ブロックを４つ生成するというのではなく、図３に示した例では、垂直方向８個×水平方向３２個の基底長を持つ直交変換係数ブロックを１つ生成するという処理を行なっている。
【００４５】
また、解像度変換で、入力画像よりもより高い解像度の出力画像を得る場合には、入力データ数よりも多くのデータを得る必要がある。そのために、この実施の形態では、入力データに対する線型変換として出力データを得ている。これは、行列を用いて数式で表わすと、以下のようになる。
【００４６】
Ｙ＝ＨＸ … （１）
上式において、Ｘは入力直交変換係数ブロックの集合を縦行列として表現したものであり、図３に示した例では、垂直方向１９２個×水平方向１個の行列である。Ｙは出力直交変換係数ブロックの集合を縦行列として表現したものであり、図３に示した例では、垂直方向２５６個×水平方向１個の行列である。
【００４７】
行列Ｈは入力データに対する線型変換の重みを表す行列であり、上の例では、垂直方向２５６個×水平方向１９２個の要素からなる行列である。この行列Hは、最適な出力Ｙが得られるように予め作成しておく。そのために、基準となる高解像度画像と、それをダウンサンプリングして作成した多数の低解像度画像とを用意しておき、高解像度画像から得られる垂直方向８個×水平方向３２個の直交変換係数と、低解像度画像の対応する領域から得られる垂直方向８個×水平方向８個でなるブロック３ブロックに対して量子化した直交変換係数との相関を求めて、最適な推定が行なえるように求める。
【００４８】
このとき、相関の無い直交変換係数間に対応する行列Ｈの要素はゼロになり、相関の有る係数間に対応する行列Ｈの要素のみが非ゼロの値となる。この結果、行列Ｈの多くの要素はゼロとなるため、実際に必要となる演算量は、行列Ｈのサイズから通常必要とされる積和の回数よりも遙かに少ない回数の演算で済むことになる。
【００４９】
推定を行なう出力直交変換係数ブロックをより長い基底長とすることにより、高周波成分の推定をより自然に行なうことが可能となり、結果として、より高画質な出力画像を得ることができる。すなわち、直交変換としてよく用いられる離散コサイン変換を例にとると、例えばエッジ成分を離散コサイン変換した場合に、ある周波数に対応する変換係数と、その整数倍に対応する変換係数とが、その大きさが等比数列を成してきれいに出現する。
【００５０】
これは、音響における倍音成分や、電波における高調波成分に対応するもので、画像の空間周波数成分において発生するものである。このような整数倍の周波数に相当する変換係数が、より長い基底長の変換を用いた場合には、より高い倍数のところまで表現できるため、より自然な周波数スペクトルの画像を得ることができるのである。
【００５１】
さらに、このような推定を行なうことにより、符号化の際の直交変換係数に対する量子化による情報損失をある程度回復する効果も得られる。一般に、量子化による情報損失のため、出力画像に歪みが発生し画質劣化が引き起こされる。これは、エッジ周辺のもやもやした歪み（モスキート歪み）、ブロック境界の不連続な画像の変化（ブロック歪み）、細かい模様の画像領域がざらざらした感じになる歪みといった画質劣化として知覚される。
【００５２】
この符号化歪みは、このような画質劣化として知覚されるだけではなく、解像度変換の際に高度な処理を行なう妨げにもなる。これを適切に処理しないと、解像度変換処理により符号化歪みを強調してしまったり、超解像処理のような解像度感を向上させる処理を適用できる画像領域が限られてしまうという悪影響を引き起こし、一方で、適切に処理するためには煩雑な適応処理が必要となる。
【００５３】
この実施の形態では、上式（１）の行列Ｈを求める際に、量子化された低解像度画像の直交変換係数と、量子化していない高解像度画像の直交変換係数との相関を用いる。これにより、低解像度画像の量子化された直交変換係数から、より高解像度な画像に対して、量子化によって情報が失われる前の直交変換係数の推測を行なう。また、入力として、複数の直交変換係数ブロックを用いることにより、ランダムに発生する符号化歪みを加え合わせる効果が生じ、符号化歪みは統計的により小さな分散を持つようになる。
【００５４】
以上のように、この実施の形態では、第１に、より自由な解像度変換倍率の設定が可能になる。第２に、長い基底長の変換係数を推定することによって、より自然な高周波成分の推測を行なうことが可能になる。また、第３に、量子化によって失われた情報を補う効果により、符号化歪みの軽減した高品質の出力画像を得ることが可能となっている。
【００５５】
これは、上式（１）で示した線型推定を一様に適応するだけで、上記の第２，第３の２つの効果を同時に実現している。現状では、符号化歪み除去フィルタによる歪み低減処理と解像度変換処理とを別々に行なっており、しかも、高品質な出力画像を得るために、高度な処理を行なう場合においては、それぞれの処理において複雑な適応処理を必要としていたが、この実施の形態では、単純な線型処理を一回行なうだけで、２つの機能を同時にかつ安定して実現することが可能となっている。
【００５６】
図４は、上記のように図３を用いて説明した解像度変換処理動作を実現するための動画像復号化装置３７の一例を示している。図４において、図２と同一符号が付された、エントロピー符号復号化部２７、逆量子化部２８、垂直方向Ｍ個×水平方向Ｎ個の直交変換係数に対して２次元逆直交変換を行なうＭ×Ｎ逆直交変換部２９、加算部３０、動き補償・予測部３１、フレームバッファ３２、ループフィルタ３３等については、図２で説明した動画像復号化装置２５と同じ処理動作を行なっている。この部分は、フレーム間予測符号化を用いた動画像の符号化方式において、符号化側で使う参照フレームを復号側でも全く同じく再現し同じ参照ブロックを生成するために必要となるものである。
【００５７】
この実施の形態で説明する動画像復号化装置３７では、これに加えて、Ｍ×Ｎ直交変換部３８、加算部３９、解像度変換部４０及びフレームバッファ４１を備えている。このうち、Ｍ×Ｎ直交変換部３８は、動き補償・予測部３１から出力される参照ブロック信号Ｓ１３に２次元直交変換を行ない、垂直方向Ｍ個×水平方向Ｎ個の参照ブロック直交変換係数を生成している。
【００５８】
また、上記加算部３９は、Ｍ×Ｎ直交変換部３８の出力である参照ブロック直交変換係数信号Ｓ１６と、上記逆量子化部２８の出力である予測残差直交変換係数信号Ｓ１１とを加算し、その加算結果である直交変換係数を解像度変換部４０に出力している。この解像度変換部４０は、変換係数バッファ４０ａ、Ｋ×Ｌ変換係数線型推定部４０ｂ及びＫ×Ｌ逆直交変換部４０ｃを備えている。
【００５９】
このうち、変換係数バッファ４０ａは、加算部３９から出力される直交変換係数信号Ｓ１７を一時的に保存する。また、上記Ｋ×Ｌ変換係数線型推定部４０ｂは、変換係数バッファ４０ａから垂直方向Ｐ個×水平方向Ｑ個（Ｐ，Ｑは正の整数でＰ＝Ｑ＝１は除く）でなり、隣接ブロックを使用する場合には、その使用する隣接ブロックの個数を加えたＳ個の直交変換係数ブロック（対象ブロック）を読み出し、その読み出した全ブロックを用いて垂直方向Ｋ個×水平方向Ｌ個の直交変換係数を有する直交変換係数ブロックを線型推定する。
【００６０】
さらに、上記Ｋ×Ｌ逆直交変換部４０ｃは、線型推定されたＫ×Ｌ個の直交変換係数に対して２次元逆直交変換を実行する。そして、このＫ×Ｌ逆直交変換部４０ｃから得られた画像ブロックが、フレームバッファ４１に供給されて画像フレーム内の適切な位置に配置され、最終的な出力画像として出力端子４２から取り出される。なお、図４に示した動画像復号化装置３７の処理動作を、図３で説明した例に対応させると、Ｍ＝Ｎ＝Ｋ＝８、Ｌ＝３２、Ｐ＝１、Ｑ＝３、Ｓ＝３となる。
【００６１】
ここで、図４に示した動画像復号化装置３７が解像度変換処理を行なうために必要な要素は、変換係数バッファ４０ａ、Ｋ×Ｌ変換係数線型推定部４０ｂ及びＫ×Ｌ逆直交変換部４０ｃであり、これらにより解像度変換部４０が構成される。また、現状における動画像復号化装置２５に無いＭ×Ｎ直交変換部３８及び加算部３９は、現状の動画像復号化装置２５で得られる予測残差直交変換係数ブロックを、この実施の形態で示す動画像復号化装置３７の解像度変換部４０で必要とする直交変換係数ブロックにするために設けられている。
【００６２】
図３で説明した解像度変換処理動作では、垂直方向８個×水平方向８個の直交変換係数を有するブロックを３つ用いて線型推定を行なっていたが、線型推定に用いる直交変換係数ブロックをより多数使用することにより、さらに良好な線型推定を行なうことが可能となる。
【００６３】
例えば、図５に示すように、推定対象ブロックと画像フレーム内で同一位置にある３つのブロックに加えて、その上に隣接する３つのブロックと、左右に隣接する２つのブロックとの合計８つのブロックを入力として、８×３２のブロックを１つ推定して出力することができる。これは、図４に示した動画像復号化装置３７において、Ｍ＝Ｎ＝Ｋ＝８、Ｌ＝３２、Ｐ＝１、Ｑ＝３、Ｓ＝８とした例である。
【００６４】
このとき、上式（１）のＸは垂直方向５１２個×水平方向１個の縦行列であり、Ｈは垂直方向２５６個×水平方向５１２個の要素からなる行列となる。このように、推定対象ブロックに隣接するブロックの直交変換係数も線型推定に用いることによって、より高い倍率の解像度変換を行なう場合、つまり、線型推定する直交変換係数の数が多い場合においても、安定した質の高い線型推定を行なうことができるようになる。
【００６５】
また、図５に示した８つのブロックに加えて、推定対象ブロックの下側に隣接する３つのブロックも用いて、合計１１ブロック（Ｓ＝１１）を利用するようにすることも効果的である。また、推定対象ブロックと画像の性質が異なるような隣接ブロックは除外して線型推定を行なうことも、安定した線型推定を行なう上で効果的である。
【００６６】
さらに、図６に示すように、推定対象ブロックに隣接する、推定処理済みブロックの推定直交変換係数も、推定対象ブロックの直交変換係数推定に用いることが可能である。すなわち、線型推定に用いるデータは、数が多いほど、また、その質が良いほど、線型推定の結果が良好になる。
【００６７】
このため、隣接するブロックのデータとして、推定処理を行なう前の低解像度画像の量子化誤差をより多く含んだ直交変換係数ブロックではなく、推定処理を行なった後の高解像度画像に対する量子化歪みが低減された直交変換係数ブロックのみ、または、その両方のブロックを用いることによって、より安定した線型推定が可能となる。
【００６８】
図７は、推定処理を行なった後の高解像度画像に対する量子化歪みが低減された直交変換係数ブロックを線型推定に用いる動画像復号化装置３７の一例を示している。図７において、図４と同一部分に同一符号を付して説明すると、図４に示した動画像復号化装置３７の構成に加えて、Ｋ×Ｌ変換係数線型推定部の出力を一時的に記憶するための推定変換係数バッファ４０ｄを備え、この推定変換係数バッファ４０ｄから推定済み隣接ブロックの変換係数データを読み出して、Ｋ×Ｌ変換係数線型推定部４０ｂに入力するパスが設けられる。
【００６９】
図８は、図７に示した動画像復号化装置３７の変形例を示している。すなわち、図７に示した動画像復号化装置３７では、逆直交変換を行なった後の予測残差信号Ｓ１２に参照ブロック信号Ｓ１３を加える処理を行なうとともに、解像度変換部４０に与える直交変換係数を得るために、参照ブロック信号Ｓ１３を２次元直交変換して、予測残差直交変換係数信号Ｓ１１に加える処理を行なっている。
【００７０】
これに対し、図８に示す動画像復号化装置３７では、参照フレームを生成するために必要な予測残差成分と参照ブロック成分との加算を直交変換面で行なっている。このようにすることにより、解像度変換部４０に与える直交変換係数を生成するための加算処理と、参照フレームを生成するための加算処理をまとめることが可能となり、結果として、加算部３０を減らすことが可能となる。
【００７１】
これは、直交変換が線型な処理であって、直交変換の前で加算を行なっても、直交変換の後で加算を行なっても、どちらも本質的に同じ処理になるためである。また、このようにしても、解像度変換部４０に関しては、図７と全く同じである。さらに、図８に示した加算部３０を減らした構成は、図４の構成、または、次に述べる図９の構成を用いた場合にも、適用することができる。
【００７２】
図９は、図７に示した動画像復号化装置３７のさらに他の変形例を示している。すなわち、図９に示す動画像復号化装置３７は、図７に示した動画像復号化装置３７のＫ×Ｌ変換係数線型推定部４０ｂとＫ×Ｌ逆直交変換部４０ｃとを、１つのＫ×Ｌ画素値線型推定部４０ｅとしてまとめた構成となっている。
【００７３】
これは、Ｋ×Ｌ変換係数線型推定部４０ｂもＫ×Ｌ逆直交変換部４０ｃも、どちらも数学的には単に行列を乗算するだけの処理であるため、その２つの行列の積を予め求めておくことにより、行列の積を計算する処理を一度で済ませることができることに対応する。このような構成とすることにより、変換係数バッファ４０ａから読み出したＳ個の直交変換係数ブロックから、直接的に垂直方向Ｋ個×水平方向Ｌ個の画素でなる高解像度出力ブロックを得ることが可能となる。
【００７４】
また、図６で説明したように、推定済み隣接ブロックを線型推定の入力として使用する場合には、推定済み隣接ブロックの直交変換係数のかわりに、推定済み隣接ブロックの画素値をそのまま線型推定の入力とする。このことにより、図７で必要とした推定変換係数バッファ４０ｄは不要となり、最終的な出力画像を記憶するフレームバッファ４１から推定済み隣接ブロックの画素値を得る構成となる。
【００７５】
以上では、フレーム間予測／残差符号化を行なう符号化フレームに対する復号化処理及び解像度変換処理について説明している。これに対し、図１０は、例えばＭＰＥＧ２規格に準拠した符号化方式におけるＩ（intra-coded）ピクチャ等のように、予測を行なわないフレームの符号化データに対する動画像復号化装置３７の構成を示している。
【００７６】
この場合には、逆量子化部２８の出力は、予測残差信号の直交変換係数ではなく、画像信号の直交変換係数となっているため、参照ブロックの直交変換係数を加える処理は不要となり、逆量子化部２８の出力が直接的に解像度変換部４０に供給されて、変換係数バッファ４０ａ以降の解像度変換処理が進められる。
【００７７】
一方、引き続く画像フレームの符号化において、このフレームが参照フレームとして必要となる場合は、逆量子化部２８の出力に対して垂直方向Ｍ個×水平方向Ｎ個の２次元逆直交変換が行なわれる。そして、ループフィルタ３３を必要とする符号化の場合にはその処理が行なわれた後、復号画像がフレームバッファ３２に記憶されて後の復号処理に備えることになる。
【００７８】
また、静止画の符号化や、動画像の符号化でフレーム内符号化しか用いない符号化方式の場合には、この垂直方向Ｍ個×水平方向Ｎ個のＭ×Ｎ逆直交変換部２９及びそれ以降のループフィルタ３３、フレームバッファ３２は不要となる。このことは、図４または図９に示した構成を用いた場合でも全く同様である。
【００７９】
以上の説明において、解像度変換部４０では、主としてより高い解像度に変換することを想定した説明を行なってきたが、これに限らず、より低い解像度に変換する場合でも全く同様に処理を行なうことができる。この場合には、符号化歪み低減効果がより効果的に発揮されることになる。
【００８０】
また、出力すべき解像度の画像を得るために、入力の直交変換係数ブロックを複数まとめ、それと同じ画像位置にブロックを１つ設定し、そのブロックに対して解像度変換倍率に基づいた必要とする数の直交変換係数を線型推定する際に、入力ブロックを複数まとめる方法には任意性が存在する。
【００８１】
例えば、解像度を垂直方向及び水平方向にそれぞれ２倍に変換する場合を考えると、垂直方向８個×水平方向８個の直交変換係数からなるブロックを、垂直方向に２ブロック、水平方向に２ブロックまとめたものを入力ブロックとし、垂直方向３２個×水平方向３２個の直交変換係数ブロックを出力することが考えられる。
【００８２】
また、垂直方向に４ブロック、水平方向に４ブロックをまとめたものを入力ブロックとし、垂直方向６４個×水平方向６４個の直交変換係数ブロックを出力するようにすることや、それ以外の組み合わせによることも考えることができる。
【００８３】
この場合、より長い基底長を用いることにより、より自然な高周波成分を得ることが可能となり、品質の高い出力画像となるが、その反面、逆直交変換部４０ｃの演算量増加、変換係数バッファ４０ａで必要とする容量の増加、複数ブロックの入力待ちによる遅延の増加といった事態が発生するため、複数ブロックとして何個のブロックにするかは、出力画像の品質や、処理量等の許容範囲からバランスの良い値に設定をすることになる。
【００８４】
さらに、出力ブロック内の直交変換係数の基底長は、２の冪乗とすると、逆直交変換部４０ｃにおいて高速変換アルゴリズムを簡単に採用することができるため、一般には都合が良いことが多いが、これは必ずしも、２の冪乗である必要は無い。
【００８５】
もちろん、コンピュータ上で動作するソフトウェアで実施しても良い。
【００８６】
なお、この発明は上記した実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を種々変形して具体化することができる。また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係る構成要素を適宜組み合わせても良いものである。
【符号の説明】
【００８７】
１１…動画像符号化装置、１２…入力端子、１３…ブロック分割部、１４…減算部、１５…動き補償・予測部、１６…参照フレームバッファ、１７…直交変換部、１８…量子化部、１９…エントロピー符号化部、２０…出力端子、２１…逆量子化部、２２…逆直交変換部、２３…加算部、２４…ループフィルタ、２５…動画像復号化装置、２６…入力端子、２７…エントロピー符号復号化部、２８…逆量子化部、２９…Ｍ×Ｎ逆直交変換部、３０…加算部、３１…動き補償・予測部、３２…フレームバッファ、３３…ループフィルタ、３４…符号化歪み除去フィルタ、３５…解像度変換部、３６…出力端子、３７…動画像復号化装置、３８…Ｍ×Ｎ直交変換部、３９…加算部、４０…解像度変換部、４０ａ…変換係数バッファ、４０ｂ…Ｋ×Ｌ変換係数線型推定部、４０ｃ…Ｋ×Ｌ逆直交変換部、４０ｄ…推定変換係数バッファ、４０ｅ…Ｋ×Ｌ画素値線型推定部、４１…フレームバッファ、４２…出力端子。
【特許請求の範囲】
【請求項１】
それぞれが直交変換係数を含む、垂直方向Ｐ個×水平方向Ｑ個（Ｐ，Ｑは正の整数でＰ＝Ｑ＝１は除く）の対象ブロックで示される画像領域に対応して１つのブロックを設定し、当該設定ブロックに対して前記垂直方向Ｐ個×水平方向Ｑ個の対象ブロックに含まれる直交変換係数の総数とは異なる数の直交変換係数を生成する生成手段と、
前記生成手段により生成した直交変換係数を逆直交変換して画像ブロックを生成し、その生成した画像ブロックを画像フレームの対応する位置に配置する出力手段とを具備する解像度変換装置。
【請求項２】
前記生成手段は、前記垂直方向Ｐ個×水平方向Ｑ個の対象ブロックに含まれる直交変換係数から、線型推定により前記設定ブロックに対する直交変換係数を生成する請求項１記載の解像度変換装置。
【請求項３】
前記生成手段は、前記垂直方向Ｐ個×水平方向Ｑ個の対象ブロックに含まれる直交変換係数と、前記垂直方向Ｐ個×水平方向Ｑ個の対象ブロックに隣接する対象ブロックに含まれる直交変換係数とから、線型推定により前記設定ブロックに対する直交変換係数を生成する請求項１記載の解像度変換装置。
【請求項４】
前記生成手段は、前記垂直方向Ｐ個×水平方向Ｑ個の対象ブロックに含まれる直交変換係数と、前記設定ブロックに隣接する推定済みブロックに含まれる直交変換係数とから、線型推定により前記設定ブロックに対する直交変換係数を生成する請求項１記載の解像度変換装置。
【請求項５】
前記生成手段は、前記垂直方向Ｐ個×水平方向Ｑ個の対象ブロックに含まれる直交変換係数と、前記垂直方向Ｐ個×水平方向Ｑ個の対象ブロックに隣接する対象ブロックに含まれる直交変換係数と、前記設定ブロックに隣接する推定済みブロックに含まれる直交変換係数とから、線型推定により前記設定ブロックに対する直交変換係数を生成する請求項１記載の解像度変換装置。
【請求項６】
符号化データから復号化された対象ブロックの予測残差直交変換係数を生成する逆量子化手段と、
復号化された対象ブロックに動き補償予測を行なって得た参照ブロックの直交変換係数を生成する直交変換手段と、
前記逆量子化手段が生成する予測残差直交変換係数と前記直交変換手段が生成する直交変換係数とを加算する加算手段と、
前記加算手段で加算した直交変換係数をそれぞれが含む、垂直方向Ｐ個×水平方向Ｑ個（Ｐ，Ｑは正の整数でＰ＝Ｑ＝１は除く）の対象ブロックで示される画像領域に対応して１つのブロックを設定し、当該設定ブロックに対して前記垂直方向Ｐ個×水平方向Ｑ個の対象ブロックに含まれる直交変換係数の総数とは異なる数の直交変換係数を生成する生成手段と、
前記生成手段により生成した直交変換係数を逆直交変換して画像ブロックを生成し、その生成した画像ブロックを画像フレームの対応する位置に配置する出力手段とを具備する動画像復号化装置。
【請求項７】
前記生成手段は、前記垂直方向Ｐ個×水平方向Ｑ個の対象ブロックに含まれる直交変換係数から、線型推定により前記設定ブロックに対する直交変換係数を生成する請求項６記載の動画像復号化装置。
【請求項８】
前記生成手段は、前記垂直方向Ｐ個×水平方向Ｑ個の対象ブロックに含まれる直交変換係数と、前記垂直方向Ｐ個×水平方向Ｑ個の対象ブロックに隣接する対象ブロックに含まれる直交変換係数とから、線型推定により前記設定ブロックに対する直交変換係数を生成する請求項６記載の動画像復号化装置。
【請求項９】
前記生成手段は、前記垂直方向Ｐ個×水平方向Ｑ個の対象ブロックに含まれる直交変換係数と、前記設定ブロックに隣接する推定済みブロックに含まれる直交変換係数とから、線型推定により前記設定ブロックに対する直交変換係数を生成する請求項６記載の動画像復号化装置。
【請求項１０】
前記生成手段は、前記垂直方向Ｐ個×水平方向Ｑ個の対象ブロックに含まれる直交変換係数と、前記垂直方向Ｐ個×水平方向Ｑ個の対象ブロックに隣接する対象ブロックに含まれる直交変換係数と、前記設定ブロックに隣接する推定済みブロックに含まれる直交変換係数とから、線型推定により前記設定ブロックに対する直交変換係数を生成する請求項６記載の動画像復号化装置。
【請求項１１】
それぞれが直交変換係数を含む、垂直方向Ｐ個×水平方向Ｑ個（Ｐ，Ｑは正の整数でＰ＝Ｑ＝１は除く）の対象ブロックで示される画像領域に対応して１つのブロックを設定し、
設定したブロックに対して前記垂直方向Ｐ個×水平方向Ｑ個の対象ブロックに含まれる直交変換係数の総数とは異なる数の直交変換係数を生成し、
生成した直交変換係数を逆直交変換して画像ブロックを生成し、
生成した画像ブロックを画像フレームの対応する位置に配置する解像度変換方法。
【請求項１】
それぞれが直交変換係数を含む、垂直方向Ｐ個×水平方向Ｑ個（Ｐ，Ｑは正の整数でＰ＝Ｑ＝１は除く）の対象ブロックで示される画像領域に対応して１つのブロックを設定し、当該設定ブロックに対して前記垂直方向Ｐ個×水平方向Ｑ個の対象ブロックに含まれる直交変換係数の総数とは異なる数の直交変換係数を生成する生成手段と、
前記生成手段により生成した直交変換係数を逆直交変換して画像ブロックを生成し、その生成した画像ブロックを画像フレームの対応する位置に配置する出力手段とを具備する解像度変換装置。
【請求項２】
前記生成手段は、前記垂直方向Ｐ個×水平方向Ｑ個の対象ブロックに含まれる直交変換係数から、線型推定により前記設定ブロックに対する直交変換係数を生成する請求項１記載の解像度変換装置。
【請求項３】
前記生成手段は、前記垂直方向Ｐ個×水平方向Ｑ個の対象ブロックに含まれる直交変換係数と、前記垂直方向Ｐ個×水平方向Ｑ個の対象ブロックに隣接する対象ブロックに含まれる直交変換係数とから、線型推定により前記設定ブロックに対する直交変換係数を生成する請求項１記載の解像度変換装置。
【請求項４】
前記生成手段は、前記垂直方向Ｐ個×水平方向Ｑ個の対象ブロックに含まれる直交変換係数と、前記設定ブロックに隣接する推定済みブロックに含まれる直交変換係数とから、線型推定により前記設定ブロックに対する直交変換係数を生成する請求項１記載の解像度変換装置。
【請求項５】
前記生成手段は、前記垂直方向Ｐ個×水平方向Ｑ個の対象ブロックに含まれる直交変換係数と、前記垂直方向Ｐ個×水平方向Ｑ個の対象ブロックに隣接する対象ブロックに含まれる直交変換係数と、前記設定ブロックに隣接する推定済みブロックに含まれる直交変換係数とから、線型推定により前記設定ブロックに対する直交変換係数を生成する請求項１記載の解像度変換装置。
【請求項６】
符号化データから復号化された対象ブロックの予測残差直交変換係数を生成する逆量子化手段と、
復号化された対象ブロックに動き補償予測を行なって得た参照ブロックの直交変換係数を生成する直交変換手段と、
前記逆量子化手段が生成する予測残差直交変換係数と前記直交変換手段が生成する直交変換係数とを加算する加算手段と、
前記加算手段で加算した直交変換係数をそれぞれが含む、垂直方向Ｐ個×水平方向Ｑ個（Ｐ，Ｑは正の整数でＰ＝Ｑ＝１は除く）の対象ブロックで示される画像領域に対応して１つのブロックを設定し、当該設定ブロックに対して前記垂直方向Ｐ個×水平方向Ｑ個の対象ブロックに含まれる直交変換係数の総数とは異なる数の直交変換係数を生成する生成手段と、
前記生成手段により生成した直交変換係数を逆直交変換して画像ブロックを生成し、その生成した画像ブロックを画像フレームの対応する位置に配置する出力手段とを具備する動画像復号化装置。
【請求項７】
前記生成手段は、前記垂直方向Ｐ個×水平方向Ｑ個の対象ブロックに含まれる直交変換係数から、線型推定により前記設定ブロックに対する直交変換係数を生成する請求項６記載の動画像復号化装置。
【請求項８】
前記生成手段は、前記垂直方向Ｐ個×水平方向Ｑ個の対象ブロックに含まれる直交変換係数と、前記垂直方向Ｐ個×水平方向Ｑ個の対象ブロックに隣接する対象ブロックに含まれる直交変換係数とから、線型推定により前記設定ブロックに対する直交変換係数を生成する請求項６記載の動画像復号化装置。
【請求項９】
前記生成手段は、前記垂直方向Ｐ個×水平方向Ｑ個の対象ブロックに含まれる直交変換係数と、前記設定ブロックに隣接する推定済みブロックに含まれる直交変換係数とから、線型推定により前記設定ブロックに対する直交変換係数を生成する請求項６記載の動画像復号化装置。
【請求項１０】
前記生成手段は、前記垂直方向Ｐ個×水平方向Ｑ個の対象ブロックに含まれる直交変換係数と、前記垂直方向Ｐ個×水平方向Ｑ個の対象ブロックに隣接する対象ブロックに含まれる直交変換係数と、前記設定ブロックに隣接する推定済みブロックに含まれる直交変換係数とから、線型推定により前記設定ブロックに対する直交変換係数を生成する請求項６記載の動画像復号化装置。
【請求項１１】
それぞれが直交変換係数を含む、垂直方向Ｐ個×水平方向Ｑ個（Ｐ，Ｑは正の整数でＰ＝Ｑ＝１は除く）の対象ブロックで示される画像領域に対応して１つのブロックを設定し、
設定したブロックに対して前記垂直方向Ｐ個×水平方向Ｑ個の対象ブロックに含まれる直交変換係数の総数とは異なる数の直交変換係数を生成し、
生成した直交変換係数を逆直交変換して画像ブロックを生成し、
生成した画像ブロックを画像フレームの対応する位置に配置する解像度変換方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−９８７３０（Ｐ２０１３−９８７３０Ａ）
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１１−２３９３８６（Ｐ２０１１−２３９３８６）
【出願日】平成２３年１０月３１日（２０１１．１０．３１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願日】平成２３年１０月３１日（２０１１．１０．３１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]