画像解像度変換装置
【課題】空間的予測を用いた符号化方式により符号化された符号化画像でも高速に解像度変換を可能にすること。
【解決手段】可変長復号部11は、符号化画像を可変長復号し、変換係数および符号化モードを含む符号情報を抽出する。変換部12は、変換係数を用いて、空間的予測での残差を解像度変換すると共に他のブロックが参照する被参照残差を生成する。被参照画素生成部13は、符号化モードと被参照残差とから他のブロックが参照する被参照画素の値を生成する。バッファ14が蓄積している予測値は、被参照画素の値により更新される。予測値生成部15は、符号化モードと予測値とから、当該ブロックに対する予測値を生成する。加算部16は、残差と予測値を加算して解像度変換された画素の値を出力する。
【解決手段】可変長復号部11は、符号化画像を可変長復号し、変換係数および符号化モードを含む符号情報を抽出する。変換部12は、変換係数を用いて、空間的予測での残差を解像度変換すると共に他のブロックが参照する被参照残差を生成する。被参照画素生成部13は、符号化モードと被参照残差とから他のブロックが参照する被参照画素の値を生成する。バッファ14が蓄積している予測値は、被参照画素の値により更新される。予測値生成部15は、符号化モードと予測値とから、当該ブロックに対する予測値を生成する。加算部16は、残差と予測値を加算して解像度変換された画素の値を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像解像度変換装置に関し、特に、変換符号化と予測符号化を組み合わせてエンコードされた画像の解像度を変換する画像解像度変換装置に関する。
【背景技術】
【０００２】
映像コンテンツの解像度を変換する方法として、符号情報から縮小画像を生成する方法が提案されている。
【０００３】
特許文献１には、DCT逆変換を行わずに、縮小画像(サムネイル)を再生する画像再生装置が記載されている。これでは、Iピクチャに対しては符号化単位の各ブロックの座標(0,0)における輝度のDCT係数を代用し、すなわち、Iピクチャに対しては符号化単位の各ブロックにおける特定のDCT係数をそのまま採用し、PピクチャおよびBピクチャに対しては、当該DCT係数に動き補償値を加算することによって、サムネイルデータを構築する。
【特許文献１】特開２００３−２１９４２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載されている画像再生装置では、符号化単位の各ブロックのDCT係数における座標(0,0)のDC成分だけを抽出する手法を採用することにより、解像度が変換された縮小画像を生成している。しかしながら、この手法は、空間的予測を用いる符号化方式には適用できないという課題がある。例えば、MPEG-4 AVC/H.264では、空間的予測であるイントラ(Intra)予測を導入しており、Intra予測では、周囲の画素値から予測値を適応的に生成し、該予測値との誤差(予測誤差)と予測方法とを符号化する。これにおいて、符号化の結果として格納されている変換係数は、予測誤差が符号化されたものであるので、特許文献１のように、各ブロックから特定の変換係数だけを抽出しても縮小画像を生成することができない。
【０００５】
本発明の目的は、上記した従来技術の課題を解決し、空間的予測を用いた符号化方式により符号化された符号化画像でも、高速に解像度変換できる画像解像度変換装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明は、変換符号化された画像の解像度を変換する画像解像度変換装置において、入力される符号化画像を可変長復号し、変換係数および符号化モードを含む符号情報を抽出する可変長復号手段と、前記可変長復号手段により抽出された変換係数を用いて、空間的予測での残差を解像度変換すると共に他のブロックが参照する被参照残差を生成する変換手段と、前記可変長復号手段により抽出された符号化モードと前記変換手段により生成された被参照残差とから他のブロックが参照する被参照画素の値を生成する被参照画素生成手段と、前記被参照画素生成手段により生成された被参照画素の値により、蓄積している予測値が更新されるバッファと、前記可変長復号手段により抽出された符号化モードと前記バッファに蓄積されている予測値とから、当該ブロックが解像度変換されたときの該符号化モードでの予測値を生成する予測値生成手段と、前記予測値生成手段により生成された予測値と前記変換手段により解像度変換された残差とを加算して解像度変換された画素の値を出力する加算手段を備えた点に第１の特徴がある。
【０００７】
また、本発明は、前記変換手段が、前記可変長復号手段により抽出された変換係数を入力とし、符号化とは逆の変換と解像度変換を統合した処理により、当該ブロックの解像度変換された残差を生成する点に第２の特徴がある。
【０００８】
また、本発明は、前記変換手段が、前記可変長復号手段により抽出された変換係数を解像度変換に応じて重み付け平均することにより、他のブロックが参照する被参照残差を生成する点に第３の特徴がある。
【０００９】
また、本発明は、前記変換手段が、前記可変長復号手段により抽出された変換係数から他のブロックが参照する方向に応じた複数の被参照残差を生成する点に第４の特徴がある。
【００１０】
また、本発明は、前記被参照画素生成手段が、前記可変長復号手段により抽出された符号化モードおよび前記変換手段により生成された被参照残差を入力とし、前記符号化モードが表す参照関係と解像度とに応じて他のブロックが参照する被参照画素の値を生成する点に第５の特徴がある。
【００１１】
また、本発明は、前記被参照画素生成手段が、前記変換手段により生成された被参照残差と前記バッファに蓄積されている１つ以上の予測値とから他のブロックが参照する被参照画素の値を予測モードに応じて近似的に生成する点に第６の特徴がある。
【００１２】
また、本発明は、前記被参照画素生成手段が、複数の近似式を有し、該複数の近似式のうちの１つを前記バッファに蓄積されている予測値に応じて適応的に適用して他のブロックが参照する被参照画素の値を近似的に生成する点に第７の特徴がある。
【００１３】
さらに、本発明は、前記予測値生成手段が、前記可変長復号手段により抽出された符号化モードおよび前記バッファに蓄積されている予測値の値を入力とし、前記バッファに蓄積されている１つ以上の予測値から当該ブロックが解像度変換されたときの被参照画素の予測値を予測モードに応じて近似的に生成する点に第８の特徴がある。
【発明の効果】
【００１４】
本発明によれば、空間的予測を用いた符号化方式により変換符号化された符号化画像でも、画素領域まで復号せずに、符号領域で解像度変換できる。さらに、復号と解像度変換の処理を統合しているので、高速に解像度変換できる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して本発明を説明する。図１は、本発明に係る画像解像度変換装置の基本構成を示すブロック図である。この画像解像度変換装置は、可変長復号部11、変換部12、被参照画素生成部13、バッファ14、予測値生成部15、加算部16を備える。なお、これらの各部は、ハードウエアでもソフトウエアでも実現できる。
【００１６】
以下では、入力画像がH.264に従うフォーマットで符号化されており、これを縦横それぞれ1/4に解像度変換する場合を例にあげて説明する。なお、まず、各部での処理の概要を説明し、変換部12、被参照画素生成部13および予測値生成部15での処理については、その後に具体的に説明する。
【００１７】
可変長復号部11は、入力される符号化画像を可変長復号し、解像度変換に必要な符号情報を抽出する。ここでの復号は、可変長復号すなわち符号情報までの部分的な復号である。また、解像度変換に必要な符号情報は、フレーム内予測での符号化モード(各ブロックについての予測方向)および変換係数である。可変長復号部11で抽出された符号情報のうち、変換係数は変換部12に送出され、符号化モードは被参照画素生成部13および予測値生成部15に送出される。
【００１８】
変換部12は、可変長復号部11から送出される変換係数から解像度変換された残差Liおよび他のブロックが参照する被参照残差hi,vi,diを生成する。ここでは、被参照残差hi,vi,diとして、当該ブロックの変換係数の最下行の平均値、最右列の平均値、右下の値を生成する。なお、平均値は、解像度に応じて複数の部分平均値とすることもできる。解像度変換された残差Liは、加算部16に送出され、被参照残差hi,vi,diは、被参照画素生成部13に送出される。
【００１９】
被参照画素生成部13は、可変長復号部11から送出される符号化モードとバッファ14に蓄積されている予測値hr′,vr′,dr′を参照して、変換部12から送出される被参照残差hi,vi,diを補償し、被参照画素の値hi′,vi′,di′を生成する。バッファ14に蓄積されている予測値hr′,vr′,dr′は、新たに生成された被参照画素の値hi′,vi′,di′で更新される。更新された予測値hr′,vr′,dr′は、以下に続くブロックに対する処理で参照される。
【００２０】
予測値生成部15は、可変長復号部11から送出される符号化モードとバッファ14に蓄積されている予測値hr′,vr′,dr′を用いて、当該ブロックの予測モードでの予測値Li′を生成する。これにより生成された予測値Li′は、加算部16に送出される。
【００２１】
加算部16は、変換部12により復号され解像度変換された残差Liと予測値生成部15により生成された予測値Li′を入力とし、両者を加算して解像度変換された画素の値P(=Li+Li′)を生成する。
【００２２】
次に、変換部12での処理について説明する。H.264のフレーム内符号化画像は、空間的相関を利用してIntra予測による残差を4x4整数変換で周波数領域に変換する。解像度変換された画素の値を生成するため、まず、変換部12で、空間的予測での残差である変換係数を解像度変換する。この解像度変換は、解像度変換を行列で表し、逆変換(符号化とは逆の変換)と解像度変換を統合した処理を行うことで高速化が可能である。
【００２３】
4x4変換係数をXとし、解像度変換行列をR、4x4逆変換行列をTとしたとき、平均値で縦横1/4に解像度変換(縮小)されたときの残差Liは、式(1)で表される。
【００２４】
Li＝RｔTｔXTR (1)
【００２５】
ここで、tは転置操作を表す。行列R,Tは、固定値であるので、予め計算しておくことができ、これにより解像度変換の際の処理負荷を軽くすることができる。
【００２６】
式(1)により求められる値Liは、残差であるので、このままの値Liを用いたのでは原画像の解像度変換された画像とはならない。H.264では、空間的予測であるIntra予測により近傍画素から予測値を生成するので、これと同等の処理を符号領域で実現する必要がある。しかし、解像度変換された場合、予測値の生成に必要な情報が失われてしまうので、このままでは正しい予測値を生成することができないという問題がある。例えば、mode0では、当該ブロックの上のブロックを用いて予測値を生成するが、上のブロック(4x4)の最下行が白で残りが黒の場合、予測に用いる部分(白の領域)だけを縮小した値は、ブロック全体が縮小されたときの値と異なるので、解像度変換でブロック全体が縮小されたときの値からは正しい予測値を生成することができない。
【００２７】
上記問題を解決するため、変換部12では、解像度変換によりブロック全体が縮小されたときの値とは別に、予測に用いられる領域ごとに縮小された値を生成する。予測に用いられる領域ごとに縮小された値は、可変長復号部11から送出される変換係数を解像度変換に応じて重み付け平均することにより生成できる。
【００２８】
例えば、最右列を抽出する行列をSとすると、1/4に解像度変換されたブロックの変換係数の最右列の平均値hは、式(2)で求めることができる。
【００２９】
h＝RｔTｔXTS (2)
【００３０】
同様に、1/4に解像度変換されたブロックの変換係数の最下行の平均値v、右下の値dはそれぞれ、式(3),式(4)で求めることができる。
【００３１】
v＝SｔTｔXTR (3)
d＝SｔTｔXTS (4)
【００３２】
上記では1/4の解像度に変換する場合であるが、解像度変換行列Rを変更することにより他の倍率の解像度変換の場合も対処可能である。また、解像度を低下させる場合は、元の高周波成分を表現できないことになるので、高周波成分を予め式(1)〜(4)から排除しておくことも可能であり、これにより計算量を削減することができる。
【００３３】
以上のように、変換部12は、変換符号化された画像を画素領域まで完全に復号することなく、符号領域で、解像度変換された残差Liおよびフレーム内予測で他のブロックが参照する被参照残差hi,vi,diを生成する。つまり、変換部12は、逆変換と解像度変換を統合することによって、解像度変換された残差Liを求め、さらに、当該ブロックの変換係数の最右列の平均値hi,最下行の平均値vi,右下の値diを、予測モードで他のブロックが参照する方向に応じた複数の被参照残差として求める。
【００３４】
Li,hi,vi,diは、いずれも残差であるので、残差Liを加算部16に送出して画素の値Pを再構成し、被参照残差hi,vi,diを被参照画素生成部13に送出して被参照画素の値hi′,vi′,di′を再構成する。加算部16には、画素の値Pを再構成するために、予測値生成部15から予測値Li′が与えられ、被参照画素生成部13には、被参照画素の値hi′,vi′,di′を再構成するために、バッファ14から予測値hr′,vr′,dr′が与えられる。
【００３５】
次に、被参照画素生成部13での処理について説明する。被参照画素生成部13には、可変長復号部11で抽出された予測モードと変換部12で解像度変換された被参照残差hi,vi,diとバッファ14に蓄積されている予測値hr′,vr′,dr′が入力される。被参照画素生成部13は、予測モードに応じて被参照残差hi,vi,diと予測値hr′,vr′,dr′とから被参照画素の値hi′,vi′,di′を生成し、これにより生成された被参照残差hi′,vi′,di′でバッファ14に蓄積されている予測値hr′,vr′,dr′を更新する。
【００３６】
図２は、空間的予測で参照される被参照画素の説明図である。同図に示すように、当該ブロックに隣接するブロックの変換係数のうち、当該ブロックに対して左列の変換係数の平均値をhＬ、左下の変換係数の値をdＬ、左上の変換係数の値をdｕＬ、上行の変換係数の平均値をvｕ、右上の変換係数の値をdｕ、右上行の変換係数の平均値をvｕＲ、右上行右の変換係数の値をdｕＲとすると、バッファ14にはこれらの値が予測値として蓄積されている。
【００３７】
図３は、イントラ予測での予測モードを示し、図４は、予測値の生成での参照関係を示している。図３に示すように、個々の予測モードは、予測方向が異なる９種類のいずれかを示す。なお、mode2は平均値による予測である。図４に示すように、4x4予測値をRＮ(N=A〜G)、近傍の画素の値をPＮ(N=A〜L,X)で表すと、対角方向に予測するmode3の場合、PＮと式(5)〜(11)を用いてRＮを生成すればよい。なお、2を加算して4で除算することは、四捨五入する処理である。
【００３８】
RＡ＝(PＡ＋2PＢ＋PＣ＋2)/4 (5)
RＢ＝(PＢ＋2PＣ＋PＤ＋2)/4 (6)
RＣ＝(PＣ＋2PＤ＋PＥ＋2)/4 (7)
RＤ＝(PＤ＋2PＥ＋PＦ＋2)/4 (8)
RＥ＝(PＥ＋2PＦ＋PＧ＋2)/4 (9)
RＦ＝(PＦ＋2PＧ＋PＨ＋2)/4 (10)
RＧ＝(PＧ＋3PＨ＋2)/4 (11)
【００３９】
ここで、最右列の被参照画素に対する予測値は、RＤ,RＥ,RＦ,RＧの平均値に相当する。PＤ≒PＥと仮定すると、RＤ,RＥ,RＦ,RＧの平均値(式(8)〜(11)の平均)は、vｕＲで近似できる。また、最下行の被参照画素に対する予測値もRＤ,RＥ,RＦ,RＧの平均に相当するので、同じくvｕＲで近似できる。右下画素dに対する予測値はRＧであるが、PＨ≒PＧと仮定すると、dｕＲで近似できる。
【００４０】
したがって、式(12)〜(14)に従って、被参照残差hi,vi,diごとにそれぞれの予測値vｕＲ,vｕＲ,dｕＲを加算することにより被参照画素の値hi′,vi′,di′を計算できる。
【００４１】
hi′＝hi＋vｕＲ (12)
vi′＝vi＋vｕＲ (13)
di′＝di＋dｕＲ (14)
【００４２】
以上のように、被参照画素生成部13は、変換部12により生成された被参照残差hi,vi,diおよびバッファ14に蓄積されている１つ以上の予測値vｕＲ,vｕＲ,dｕＲから他のブロックが参照する被参照画素の値hi′,vi′,di′を予測モードに応じて近似的に生成する。
【００４３】
他のブロックが参照する被参照画素の値hi′,vi′,di′は、他の一組以上の被参照画素の値から補間で近似的に求めることもでき、また、バッファ14に蓄積されている予測値の分布に応じた近似式を選択的に適用して被参照画素の値hi′,vi′,di′を近似的に求めることもできる。
【００４４】
図５は、他のブロックが参照する被参照画素の値を補間により近似的に求める処理の説明図である。ここでは、dｕＬ,dｕ,dｕＲ(図２)を基に二次曲線(1)を形成し、これに従って画素値PＥを求める様子を示している。二次曲線(1)に従って画素値PＥが求まればvｕＲを求めることができ、式(12),(13)のhi′,vi′を近似的に求めることができる。この場合、画素値PＥを補間する方法は、二次曲線(1)の他、図示(2),(3)のように、適宜設定できる。なお、図示(2)は、画素値PＤをそのまま画素値PＥとして利用する場合(PＤ≒PＥと仮定)に相当する。また、被参照画素の値hi′,vi′,di′を近似的に求める近似式を複数用意しておき、この中の１つを、バッファ14に蓄積されている予測値(hＬ,dＬ,dｕＬ,vｕ,dｕ,vｕＲ,dｕＲのうちの１つあるいはいくつかの分布)に応じて適応的に選択し、これを適用して他のブロックが参照する被参照画素の値を近似的に求めるようにすることもできる。
【００４５】
以上はmode3の場合であるが、他の予測モードに関しても、同様の手法で近似することにより被参照画素の値hr′,vr′,dr′を再構成できる。要するに、被参照画素生成部13は、被参照残差hi,vi,diと予測値hＬ,dＬ,dｕＬ,vｕ,dｕ,vｕＲ,dｕＲから被参照画素の値hr′,vr′,dr′を近似的に生成すればよい。以上のようにして再構成された被参照画素の値hr′,vr′,dr′は、以降に続くブロックで参照される予測値としてバッファ14に蓄積される。
【００４６】
次に、予測値生成部15での処理について説明する。予測値生成部15は、可変長復号部11で抽出された予測モードとバッファ14に蓄積された予測値hr′,vr′,dr′を入力とし、解像度変換されたブロックに対する予測値Li′を生成する。
【００４７】
縦横1/4の解像度変換では、符号化モードに応じて近傍の被参照画素の値から１画素を予測値Li′として生成する。例えば、予測モードがmode3の場合、予測値L′は式(15)で求めることができる。
【００４８】
Li′＝(hr′＋vr′)/2 (15)
【００４９】
他の予測モードの場合にも、同様に近似することにより、予測値Li′を生成することができ。これにより生成された予測値Li′は、加算部16に送出される。
【００５０】
以上のように、予測値生成部15は、可変長復号部11により抽出された符号化モードおよびバッファ14に蓄積されている予測値を入力とし、バッファに蓄積されている１つ以上の予測値から当該ブロックが解像度変換されたときの被参照画素の予測値を予測モードに応じて近似的に生成する。
【００５１】
加算部16は、変換部12により解像度変換された残差Liと予測値生成部15により生成された予測値Li′を入力とし、両者を加算することで解像度変換された画素の値P(=Li+Li′)を生成する。
【００５２】
以上、実施形態を説明したが、本発明は、上記実施形態に限定されるものではない。例えば、上記実施形態では、入力画像がH.264に従うフォーマットで、Intra予測により符号化されたものであるとしたが、他のフォーマットでも、空間的予測で符号化された画像ならば処理対象とすることもできる。なお、空間的予測で符号化された画像は、編集しやすいという特徴がある。
【図面の簡単な説明】
【００５３】
【図１】本発明に係る画像解像度変換装置の基本構成を示すブロック図である。
【図２】空間的予測で参照される被参照画素の説明図である。
【図３】イントラ予測での予測モードの説明図である。
【図４】予測値の生成での参照関係の説明図である。
【図５】被参照画素の値を近似的に求める処理の説明図である。
【符号の説明】
【００５４】
11・・・可変長復号部、12・・・変換部、13・・・被参照画素生成部、14・・・バッファ、15・・・予測値生成部、16・・・加算部
【技術分野】
【０００１】
本発明は、画像解像度変換装置に関し、特に、変換符号化と予測符号化を組み合わせてエンコードされた画像の解像度を変換する画像解像度変換装置に関する。
【背景技術】
【０００２】
映像コンテンツの解像度を変換する方法として、符号情報から縮小画像を生成する方法が提案されている。
【０００３】
特許文献１には、DCT逆変換を行わずに、縮小画像(サムネイル)を再生する画像再生装置が記載されている。これでは、Iピクチャに対しては符号化単位の各ブロックの座標(0,0)における輝度のDCT係数を代用し、すなわち、Iピクチャに対しては符号化単位の各ブロックにおける特定のDCT係数をそのまま採用し、PピクチャおよびBピクチャに対しては、当該DCT係数に動き補償値を加算することによって、サムネイルデータを構築する。
【特許文献１】特開２００３−２１９４２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載されている画像再生装置では、符号化単位の各ブロックのDCT係数における座標(0,0)のDC成分だけを抽出する手法を採用することにより、解像度が変換された縮小画像を生成している。しかしながら、この手法は、空間的予測を用いる符号化方式には適用できないという課題がある。例えば、MPEG-4 AVC/H.264では、空間的予測であるイントラ(Intra)予測を導入しており、Intra予測では、周囲の画素値から予測値を適応的に生成し、該予測値との誤差(予測誤差)と予測方法とを符号化する。これにおいて、符号化の結果として格納されている変換係数は、予測誤差が符号化されたものであるので、特許文献１のように、各ブロックから特定の変換係数だけを抽出しても縮小画像を生成することができない。
【０００５】
本発明の目的は、上記した従来技術の課題を解決し、空間的予測を用いた符号化方式により符号化された符号化画像でも、高速に解像度変換できる画像解像度変換装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明は、変換符号化された画像の解像度を変換する画像解像度変換装置において、入力される符号化画像を可変長復号し、変換係数および符号化モードを含む符号情報を抽出する可変長復号手段と、前記可変長復号手段により抽出された変換係数を用いて、空間的予測での残差を解像度変換すると共に他のブロックが参照する被参照残差を生成する変換手段と、前記可変長復号手段により抽出された符号化モードと前記変換手段により生成された被参照残差とから他のブロックが参照する被参照画素の値を生成する被参照画素生成手段と、前記被参照画素生成手段により生成された被参照画素の値により、蓄積している予測値が更新されるバッファと、前記可変長復号手段により抽出された符号化モードと前記バッファに蓄積されている予測値とから、当該ブロックが解像度変換されたときの該符号化モードでの予測値を生成する予測値生成手段と、前記予測値生成手段により生成された予測値と前記変換手段により解像度変換された残差とを加算して解像度変換された画素の値を出力する加算手段を備えた点に第１の特徴がある。
【０００７】
また、本発明は、前記変換手段が、前記可変長復号手段により抽出された変換係数を入力とし、符号化とは逆の変換と解像度変換を統合した処理により、当該ブロックの解像度変換された残差を生成する点に第２の特徴がある。
【０００８】
また、本発明は、前記変換手段が、前記可変長復号手段により抽出された変換係数を解像度変換に応じて重み付け平均することにより、他のブロックが参照する被参照残差を生成する点に第３の特徴がある。
【０００９】
また、本発明は、前記変換手段が、前記可変長復号手段により抽出された変換係数から他のブロックが参照する方向に応じた複数の被参照残差を生成する点に第４の特徴がある。
【００１０】
また、本発明は、前記被参照画素生成手段が、前記可変長復号手段により抽出された符号化モードおよび前記変換手段により生成された被参照残差を入力とし、前記符号化モードが表す参照関係と解像度とに応じて他のブロックが参照する被参照画素の値を生成する点に第５の特徴がある。
【００１１】
また、本発明は、前記被参照画素生成手段が、前記変換手段により生成された被参照残差と前記バッファに蓄積されている１つ以上の予測値とから他のブロックが参照する被参照画素の値を予測モードに応じて近似的に生成する点に第６の特徴がある。
【００１２】
また、本発明は、前記被参照画素生成手段が、複数の近似式を有し、該複数の近似式のうちの１つを前記バッファに蓄積されている予測値に応じて適応的に適用して他のブロックが参照する被参照画素の値を近似的に生成する点に第７の特徴がある。
【００１３】
さらに、本発明は、前記予測値生成手段が、前記可変長復号手段により抽出された符号化モードおよび前記バッファに蓄積されている予測値の値を入力とし、前記バッファに蓄積されている１つ以上の予測値から当該ブロックが解像度変換されたときの被参照画素の予測値を予測モードに応じて近似的に生成する点に第８の特徴がある。
【発明の効果】
【００１４】
本発明によれば、空間的予測を用いた符号化方式により変換符号化された符号化画像でも、画素領域まで復号せずに、符号領域で解像度変換できる。さらに、復号と解像度変換の処理を統合しているので、高速に解像度変換できる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して本発明を説明する。図１は、本発明に係る画像解像度変換装置の基本構成を示すブロック図である。この画像解像度変換装置は、可変長復号部11、変換部12、被参照画素生成部13、バッファ14、予測値生成部15、加算部16を備える。なお、これらの各部は、ハードウエアでもソフトウエアでも実現できる。
【００１６】
以下では、入力画像がH.264に従うフォーマットで符号化されており、これを縦横それぞれ1/4に解像度変換する場合を例にあげて説明する。なお、まず、各部での処理の概要を説明し、変換部12、被参照画素生成部13および予測値生成部15での処理については、その後に具体的に説明する。
【００１７】
可変長復号部11は、入力される符号化画像を可変長復号し、解像度変換に必要な符号情報を抽出する。ここでの復号は、可変長復号すなわち符号情報までの部分的な復号である。また、解像度変換に必要な符号情報は、フレーム内予測での符号化モード(各ブロックについての予測方向)および変換係数である。可変長復号部11で抽出された符号情報のうち、変換係数は変換部12に送出され、符号化モードは被参照画素生成部13および予測値生成部15に送出される。
【００１８】
変換部12は、可変長復号部11から送出される変換係数から解像度変換された残差Liおよび他のブロックが参照する被参照残差hi,vi,diを生成する。ここでは、被参照残差hi,vi,diとして、当該ブロックの変換係数の最下行の平均値、最右列の平均値、右下の値を生成する。なお、平均値は、解像度に応じて複数の部分平均値とすることもできる。解像度変換された残差Liは、加算部16に送出され、被参照残差hi,vi,diは、被参照画素生成部13に送出される。
【００１９】
被参照画素生成部13は、可変長復号部11から送出される符号化モードとバッファ14に蓄積されている予測値hr′,vr′,dr′を参照して、変換部12から送出される被参照残差hi,vi,diを補償し、被参照画素の値hi′,vi′,di′を生成する。バッファ14に蓄積されている予測値hr′,vr′,dr′は、新たに生成された被参照画素の値hi′,vi′,di′で更新される。更新された予測値hr′,vr′,dr′は、以下に続くブロックに対する処理で参照される。
【００２０】
予測値生成部15は、可変長復号部11から送出される符号化モードとバッファ14に蓄積されている予測値hr′,vr′,dr′を用いて、当該ブロックの予測モードでの予測値Li′を生成する。これにより生成された予測値Li′は、加算部16に送出される。
【００２１】
加算部16は、変換部12により復号され解像度変換された残差Liと予測値生成部15により生成された予測値Li′を入力とし、両者を加算して解像度変換された画素の値P(=Li+Li′)を生成する。
【００２２】
次に、変換部12での処理について説明する。H.264のフレーム内符号化画像は、空間的相関を利用してIntra予測による残差を4x4整数変換で周波数領域に変換する。解像度変換された画素の値を生成するため、まず、変換部12で、空間的予測での残差である変換係数を解像度変換する。この解像度変換は、解像度変換を行列で表し、逆変換(符号化とは逆の変換)と解像度変換を統合した処理を行うことで高速化が可能である。
【００２３】
4x4変換係数をXとし、解像度変換行列をR、4x4逆変換行列をTとしたとき、平均値で縦横1/4に解像度変換(縮小)されたときの残差Liは、式(1)で表される。
【００２４】
Li＝RｔTｔXTR (1)
【００２５】
ここで、tは転置操作を表す。行列R,Tは、固定値であるので、予め計算しておくことができ、これにより解像度変換の際の処理負荷を軽くすることができる。
【００２６】
式(1)により求められる値Liは、残差であるので、このままの値Liを用いたのでは原画像の解像度変換された画像とはならない。H.264では、空間的予測であるIntra予測により近傍画素から予測値を生成するので、これと同等の処理を符号領域で実現する必要がある。しかし、解像度変換された場合、予測値の生成に必要な情報が失われてしまうので、このままでは正しい予測値を生成することができないという問題がある。例えば、mode0では、当該ブロックの上のブロックを用いて予測値を生成するが、上のブロック(4x4)の最下行が白で残りが黒の場合、予測に用いる部分(白の領域)だけを縮小した値は、ブロック全体が縮小されたときの値と異なるので、解像度変換でブロック全体が縮小されたときの値からは正しい予測値を生成することができない。
【００２７】
上記問題を解決するため、変換部12では、解像度変換によりブロック全体が縮小されたときの値とは別に、予測に用いられる領域ごとに縮小された値を生成する。予測に用いられる領域ごとに縮小された値は、可変長復号部11から送出される変換係数を解像度変換に応じて重み付け平均することにより生成できる。
【００２８】
例えば、最右列を抽出する行列をSとすると、1/4に解像度変換されたブロックの変換係数の最右列の平均値hは、式(2)で求めることができる。
【００２９】
h＝RｔTｔXTS (2)
【００３０】
同様に、1/4に解像度変換されたブロックの変換係数の最下行の平均値v、右下の値dはそれぞれ、式(3),式(4)で求めることができる。
【００３１】
v＝SｔTｔXTR (3)
d＝SｔTｔXTS (4)
【００３２】
上記では1/4の解像度に変換する場合であるが、解像度変換行列Rを変更することにより他の倍率の解像度変換の場合も対処可能である。また、解像度を低下させる場合は、元の高周波成分を表現できないことになるので、高周波成分を予め式(1)〜(4)から排除しておくことも可能であり、これにより計算量を削減することができる。
【００３３】
以上のように、変換部12は、変換符号化された画像を画素領域まで完全に復号することなく、符号領域で、解像度変換された残差Liおよびフレーム内予測で他のブロックが参照する被参照残差hi,vi,diを生成する。つまり、変換部12は、逆変換と解像度変換を統合することによって、解像度変換された残差Liを求め、さらに、当該ブロックの変換係数の最右列の平均値hi,最下行の平均値vi,右下の値diを、予測モードで他のブロックが参照する方向に応じた複数の被参照残差として求める。
【００３４】
Li,hi,vi,diは、いずれも残差であるので、残差Liを加算部16に送出して画素の値Pを再構成し、被参照残差hi,vi,diを被参照画素生成部13に送出して被参照画素の値hi′,vi′,di′を再構成する。加算部16には、画素の値Pを再構成するために、予測値生成部15から予測値Li′が与えられ、被参照画素生成部13には、被参照画素の値hi′,vi′,di′を再構成するために、バッファ14から予測値hr′,vr′,dr′が与えられる。
【００３５】
次に、被参照画素生成部13での処理について説明する。被参照画素生成部13には、可変長復号部11で抽出された予測モードと変換部12で解像度変換された被参照残差hi,vi,diとバッファ14に蓄積されている予測値hr′,vr′,dr′が入力される。被参照画素生成部13は、予測モードに応じて被参照残差hi,vi,diと予測値hr′,vr′,dr′とから被参照画素の値hi′,vi′,di′を生成し、これにより生成された被参照残差hi′,vi′,di′でバッファ14に蓄積されている予測値hr′,vr′,dr′を更新する。
【００３６】
図２は、空間的予測で参照される被参照画素の説明図である。同図に示すように、当該ブロックに隣接するブロックの変換係数のうち、当該ブロックに対して左列の変換係数の平均値をhＬ、左下の変換係数の値をdＬ、左上の変換係数の値をdｕＬ、上行の変換係数の平均値をvｕ、右上の変換係数の値をdｕ、右上行の変換係数の平均値をvｕＲ、右上行右の変換係数の値をdｕＲとすると、バッファ14にはこれらの値が予測値として蓄積されている。
【００３７】
図３は、イントラ予測での予測モードを示し、図４は、予測値の生成での参照関係を示している。図３に示すように、個々の予測モードは、予測方向が異なる９種類のいずれかを示す。なお、mode2は平均値による予測である。図４に示すように、4x4予測値をRＮ(N=A〜G)、近傍の画素の値をPＮ(N=A〜L,X)で表すと、対角方向に予測するmode3の場合、PＮと式(5)〜(11)を用いてRＮを生成すればよい。なお、2を加算して4で除算することは、四捨五入する処理である。
【００３８】
RＡ＝(PＡ＋2PＢ＋PＣ＋2)/4 (5)
RＢ＝(PＢ＋2PＣ＋PＤ＋2)/4 (6)
RＣ＝(PＣ＋2PＤ＋PＥ＋2)/4 (7)
RＤ＝(PＤ＋2PＥ＋PＦ＋2)/4 (8)
RＥ＝(PＥ＋2PＦ＋PＧ＋2)/4 (9)
RＦ＝(PＦ＋2PＧ＋PＨ＋2)/4 (10)
RＧ＝(PＧ＋3PＨ＋2)/4 (11)
【００３９】
ここで、最右列の被参照画素に対する予測値は、RＤ,RＥ,RＦ,RＧの平均値に相当する。PＤ≒PＥと仮定すると、RＤ,RＥ,RＦ,RＧの平均値(式(8)〜(11)の平均)は、vｕＲで近似できる。また、最下行の被参照画素に対する予測値もRＤ,RＥ,RＦ,RＧの平均に相当するので、同じくvｕＲで近似できる。右下画素dに対する予測値はRＧであるが、PＨ≒PＧと仮定すると、dｕＲで近似できる。
【００４０】
したがって、式(12)〜(14)に従って、被参照残差hi,vi,diごとにそれぞれの予測値vｕＲ,vｕＲ,dｕＲを加算することにより被参照画素の値hi′,vi′,di′を計算できる。
【００４１】
hi′＝hi＋vｕＲ (12)
vi′＝vi＋vｕＲ (13)
di′＝di＋dｕＲ (14)
【００４２】
以上のように、被参照画素生成部13は、変換部12により生成された被参照残差hi,vi,diおよびバッファ14に蓄積されている１つ以上の予測値vｕＲ,vｕＲ,dｕＲから他のブロックが参照する被参照画素の値hi′,vi′,di′を予測モードに応じて近似的に生成する。
【００４３】
他のブロックが参照する被参照画素の値hi′,vi′,di′は、他の一組以上の被参照画素の値から補間で近似的に求めることもでき、また、バッファ14に蓄積されている予測値の分布に応じた近似式を選択的に適用して被参照画素の値hi′,vi′,di′を近似的に求めることもできる。
【００４４】
図５は、他のブロックが参照する被参照画素の値を補間により近似的に求める処理の説明図である。ここでは、dｕＬ,dｕ,dｕＲ(図２)を基に二次曲線(1)を形成し、これに従って画素値PＥを求める様子を示している。二次曲線(1)に従って画素値PＥが求まればvｕＲを求めることができ、式(12),(13)のhi′,vi′を近似的に求めることができる。この場合、画素値PＥを補間する方法は、二次曲線(1)の他、図示(2),(3)のように、適宜設定できる。なお、図示(2)は、画素値PＤをそのまま画素値PＥとして利用する場合(PＤ≒PＥと仮定)に相当する。また、被参照画素の値hi′,vi′,di′を近似的に求める近似式を複数用意しておき、この中の１つを、バッファ14に蓄積されている予測値(hＬ,dＬ,dｕＬ,vｕ,dｕ,vｕＲ,dｕＲのうちの１つあるいはいくつかの分布)に応じて適応的に選択し、これを適用して他のブロックが参照する被参照画素の値を近似的に求めるようにすることもできる。
【００４５】
以上はmode3の場合であるが、他の予測モードに関しても、同様の手法で近似することにより被参照画素の値hr′,vr′,dr′を再構成できる。要するに、被参照画素生成部13は、被参照残差hi,vi,diと予測値hＬ,dＬ,dｕＬ,vｕ,dｕ,vｕＲ,dｕＲから被参照画素の値hr′,vr′,dr′を近似的に生成すればよい。以上のようにして再構成された被参照画素の値hr′,vr′,dr′は、以降に続くブロックで参照される予測値としてバッファ14に蓄積される。
【００４６】
次に、予測値生成部15での処理について説明する。予測値生成部15は、可変長復号部11で抽出された予測モードとバッファ14に蓄積された予測値hr′,vr′,dr′を入力とし、解像度変換されたブロックに対する予測値Li′を生成する。
【００４７】
縦横1/4の解像度変換では、符号化モードに応じて近傍の被参照画素の値から１画素を予測値Li′として生成する。例えば、予測モードがmode3の場合、予測値L′は式(15)で求めることができる。
【００４８】
Li′＝(hr′＋vr′)/2 (15)
【００４９】
他の予測モードの場合にも、同様に近似することにより、予測値Li′を生成することができ。これにより生成された予測値Li′は、加算部16に送出される。
【００５０】
以上のように、予測値生成部15は、可変長復号部11により抽出された符号化モードおよびバッファ14に蓄積されている予測値を入力とし、バッファに蓄積されている１つ以上の予測値から当該ブロックが解像度変換されたときの被参照画素の予測値を予測モードに応じて近似的に生成する。
【００５１】
加算部16は、変換部12により解像度変換された残差Liと予測値生成部15により生成された予測値Li′を入力とし、両者を加算することで解像度変換された画素の値P(=Li+Li′)を生成する。
【００５２】
以上、実施形態を説明したが、本発明は、上記実施形態に限定されるものではない。例えば、上記実施形態では、入力画像がH.264に従うフォーマットで、Intra予測により符号化されたものであるとしたが、他のフォーマットでも、空間的予測で符号化された画像ならば処理対象とすることもできる。なお、空間的予測で符号化された画像は、編集しやすいという特徴がある。
【図面の簡単な説明】
【００５３】
【図１】本発明に係る画像解像度変換装置の基本構成を示すブロック図である。
【図２】空間的予測で参照される被参照画素の説明図である。
【図３】イントラ予測での予測モードの説明図である。
【図４】予測値の生成での参照関係の説明図である。
【図５】被参照画素の値を近似的に求める処理の説明図である。
【符号の説明】
【００５４】
11・・・可変長復号部、12・・・変換部、13・・・被参照画素生成部、14・・・バッファ、15・・・予測値生成部、16・・・加算部
【特許請求の範囲】
【請求項１】
変換符号化された画像の解像度を変換する画像解像度変換装置において、
入力される符号化画像を可変長復号し、変換係数および符号化モードを含む符号情報を抽出する可変長復号手段と、
前記可変長復号手段により抽出された変換係数を用いて、空間的予測での残差を解像度変換すると共に他のブロックが参照する被参照残差を生成する変換手段と、
前記可変長復号手段により抽出された符号化モードと前記変換手段により生成された被参照残差とから他のブロックが参照する被参照画素の値を生成する被参照画素生成手段と、
前記被参照画素生成手段により生成された被参照画素の値により、蓄積している予測値が更新されるバッファと、
前記可変長復号手段により抽出された符号化モードと前記バッファに蓄積されている予測値とから、当該ブロックが解像度変換されたときの該符号化モードでの予測値を生成する予測値生成手段と、
前記予測値生成手段により生成された予測値と前記変換手段により解像度変換された残差とを加算して解像度変換された画素の値を出力する加算手段を備えたことを特徴とする画像解像度変換装置。
【請求項２】
前記変換手段は、前記可変長復号手段により抽出された変換係数を入力とし、符号化とは逆の変換と解像度変換を統合した処理により、当該ブロックの解像度変換された残差を生成することを特徴とする請求項１に記載の画像解像度変換装置。
【請求項３】
前記変換手段は、前記可変長復号手段により抽出された変換係数を解像度変換に応じて重み付け平均することにより、他のブロックが参照する被参照残差を生成することを特徴とする請求項２に記載の画像解像度変換装置。
【請求項４】
前記変換手段は、前記可変長復号手段により抽出された変換係数から他のブロックが参照する方向に応じた複数の被参照残差を生成することを特徴とする請求項２に記載の画像解像度変換装置。
【請求項５】
前記被参照画素生成手段は、前記可変長復号手段により抽出された符号化モードおよび前記変換手段により生成された被参照残差を入力とし、前記符号化モードが表す参照関係と解像度とに応じて他のブロックが参照する被参照画素の値を生成することを特徴とする請求項１に記載の画像解像度変換装置。
【請求項６】
前記被参照画素生成手段は、前記変換手段により生成された被参照残差と前記バッファに蓄積されている１つ以上の予測値とから他のブロックが参照する被参照画素の値を予測モードに応じて近似的に生成することを特徴とする請求項５に記載の画像解像度変換装置。
【請求項７】
前記被参照画素生成手段は、複数の近似式を有し、該複数の近似式のうちの１つを前記バッファに蓄積されている予測値に応じて適応的に適用して他のブロックが参照する被参照画素の値を近似的に生成することを特徴とする請求項６に記載の画像解像度変換装置。
【請求項８】
前記予測値生成手段は、前記可変長復号手段により抽出された符号化モードおよび前記バッファに蓄積されている予測値の値を入力とし、前記バッファに蓄積されている１つ以上の予測値から当該ブロックが解像度変換されたときの被参照画素の予測値を予測モードに応じて近似的に生成することを特徴とする請求項１に記載の画像解像度変換装置。
【請求項１】
変換符号化された画像の解像度を変換する画像解像度変換装置において、
入力される符号化画像を可変長復号し、変換係数および符号化モードを含む符号情報を抽出する可変長復号手段と、
前記可変長復号手段により抽出された変換係数を用いて、空間的予測での残差を解像度変換すると共に他のブロックが参照する被参照残差を生成する変換手段と、
前記可変長復号手段により抽出された符号化モードと前記変換手段により生成された被参照残差とから他のブロックが参照する被参照画素の値を生成する被参照画素生成手段と、
前記被参照画素生成手段により生成された被参照画素の値により、蓄積している予測値が更新されるバッファと、
前記可変長復号手段により抽出された符号化モードと前記バッファに蓄積されている予測値とから、当該ブロックが解像度変換されたときの該符号化モードでの予測値を生成する予測値生成手段と、
前記予測値生成手段により生成された予測値と前記変換手段により解像度変換された残差とを加算して解像度変換された画素の値を出力する加算手段を備えたことを特徴とする画像解像度変換装置。
【請求項２】
前記変換手段は、前記可変長復号手段により抽出された変換係数を入力とし、符号化とは逆の変換と解像度変換を統合した処理により、当該ブロックの解像度変換された残差を生成することを特徴とする請求項１に記載の画像解像度変換装置。
【請求項３】
前記変換手段は、前記可変長復号手段により抽出された変換係数を解像度変換に応じて重み付け平均することにより、他のブロックが参照する被参照残差を生成することを特徴とする請求項２に記載の画像解像度変換装置。
【請求項４】
前記変換手段は、前記可変長復号手段により抽出された変換係数から他のブロックが参照する方向に応じた複数の被参照残差を生成することを特徴とする請求項２に記載の画像解像度変換装置。
【請求項５】
前記被参照画素生成手段は、前記可変長復号手段により抽出された符号化モードおよび前記変換手段により生成された被参照残差を入力とし、前記符号化モードが表す参照関係と解像度とに応じて他のブロックが参照する被参照画素の値を生成することを特徴とする請求項１に記載の画像解像度変換装置。
【請求項６】
前記被参照画素生成手段は、前記変換手段により生成された被参照残差と前記バッファに蓄積されている１つ以上の予測値とから他のブロックが参照する被参照画素の値を予測モードに応じて近似的に生成することを特徴とする請求項５に記載の画像解像度変換装置。
【請求項７】
前記被参照画素生成手段は、複数の近似式を有し、該複数の近似式のうちの１つを前記バッファに蓄積されている予測値に応じて適応的に適用して他のブロックが参照する被参照画素の値を近似的に生成することを特徴とする請求項６に記載の画像解像度変換装置。
【請求項８】
前記予測値生成手段は、前記可変長復号手段により抽出された符号化モードおよび前記バッファに蓄積されている予測値の値を入力とし、前記バッファに蓄積されている１つ以上の予測値から当該ブロックが解像度変換されたときの被参照画素の予測値を予測モードに応じて近似的に生成することを特徴とする請求項１に記載の画像解像度変換装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００９−７１５８６（Ｐ２００９−７１５８６Ａ）
【公開日】平成２１年４月２日（２００９．４．２）
【国際特許分類】
【出願番号】特願２００７−２３７８８７（Ｐ２００７−２３７８８７）
【出願日】平成１９年９月１３日（２００７．９．１３）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２１年４月２日（２００９．４．２）
【国際特許分類】
【出願日】平成１９年９月１３日（２００７．９．１３）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]