説明

画素ブロックを符号化して再構成する方法及び対応する装置

【課題】ビデオ圧縮等におけるブロック効果を解消できる画像ブロック符号化方法及び装置を提供すること。
【解決手段】本発明は画素ブロックを符号化する方法に関し、画素ブロック及び予測ブロックから残部ブロックを計算するステップ(100)と、1組の基底関数により規定される変換で、残部ブロックを係数ブロックに変換するステップ(104)と、係数ブロックを符号化するステップ(106)とを含む。この符号化方法は、変換するステップ(104)の前に、画素ブロックのガジュアル近傍において計算された残部から基底関数を再同相化するステップ(102)を含む。変換するステップは、再同相化された基底関数を使用する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は画像の符号化の一般的な分野に関する。より詳細には、本発明は画素(ピクセル)ブロックを符号化する方法とそのようなブロックを再構成する方法とに関する。本発明はまた、デバイスを符号化する装置とそのようなブロックを復号化する装置に関する。
【背景技術】
【0002】
画素ブロックを符号化するために、予測エラーを表す残部ブロックを計算する目的を有して、空間的に、または時間的にこのブロックを予測することが知られている。残部ブロックは、その後、係数ブロックに変換されることにより量子化されて、Fストリームに符号化される。従来、残部ブロックは1組の基底関数により定義された変換を用いて変換される。
【0003】
変換の基底関数は通常、画像内のブロックの位置にかかわりなく、同じように適用される。したがって、基底関数が残部ブロック内で観察される信号に正しく同相していないと、周波数拡張が観察される。例えば、残部ブロックが変換の基底関数の1つに対応するパターンで形成される、すなわち、この基底関数と同じ周波数のパターンで形成されると仮定する。変換が適用されるブロックの信号が基底関数と同相であると、変換はエネルギーが問合わせでの信号を表す一意的な係数を生成する。しかし、ブロックの信号が基底関数と同相していないと、変換はいくつかの係数を生成する。この場合、変換後の量子化は、ブロックが同調している場合とは異なり、特定の係数を削除してしまうことが多い。これにより、情報の損失が生じてしまう。情報の損失は、変換されたドメイン内における係数の拡張及び量子化に起因する。同相していない信号の場合、このエネルギーがいくつかの係数に分配されるので、エネルギーは失われるが、位相レベルでは正確であり、これら2つの問題点が画像及びビデオ圧縮の分野で良く知られているブロック効果を引き起こす。
【発明の概要】
【0004】
本発明の目的は、従来技術の上記不都合の少なくとも1つを解決することである。この目的のため、本発明は、以下のステップを含む画素ブロックを符号化する方法に関する。
【0005】
前記画素ブロックと予測ブロックとから残部ブロックを生成するステップ、
1組の基底関数によって規定された変換により、前記残部ブロックを係数ブロックに変換するステップ、及び
前記係数ブロックを符号化するステップ。
有利なことに、前記符号化方法は、前記変換ステップの前に、画素ブロックのカジュアルな近傍で計算される残部から基底関数を再同相化するステップを含み、前記変換ステップは前記再同相化された基底関数を使用する。
【0006】
本発明の符号化方法により有利なことに、係数は、符号化コストを下げることにより符号化効率を上げる前記変換されたドメインに広がることを可能にする。すなわち、有利なことに、前記変換の基底関数を再同相化することによる符号化方法は、符号化する信号にこの変換を適応する。この再同相化された変換は、信号をコンパクトにし、少ない数の係数に圧縮するキャパシティが増大すると、より効果的である。
【0007】
本発明の他の態様によれば、前記変換は別々であり、1組の基底関数は、水平基底関数と垂直基底関数とを含む。水平基底関数及び垂直基底関数の再同相化ステップは、以下のステップを含む。
a)水平基底関数を用いて画素ブロックのカジュアルな近傍の残部の少なくとも1ラインを係数に変換するステップ、
b)より大きい振幅の係数を決定するステップ、
c)前記決定された係数に対応する前記水平基底関数を特定するステップ、
d)前記特定された水平基底関数と残部ラインとの間の水平空間シフトを決定するステップ、
e)決定された前記水平空間シフトを用いて前記水平基底関数を再同相化するステップ、及び、
f)前記画素ブロックのカジュアルな近傍の少なくとも1つの残部列に前記ステップa)からe)を垂直に繰り返して、ステップd)で決定された垂直空間シフトを用いて前記垂直基底関数を再同相化するステップ。
【0008】
有利なことに、前記残部ライン及び残部列の残部は、前記残部ブロックを計算するために用いられる予測モードと同一の予測モードに従って計算される。
【0009】
1つの特徴によると、前記垂直空間シフトと前記水平空間シフトは位相の相関によって決定され、前記空間シフトは、メインピークと呼ばれる最大相関ピークである。
【0010】
特に有利な実施形態によると、前記符号化方法は、前記ステップd)とe)との間に、前記メインピークと、前記メインピークを囲む相関ピークとから共通重心を計算することにより垂直サブピクセルシフトと水平サブピクセルシフトとをそれぞれ決定するステップを含む。この実施形態によると、水平基底関数は水平空間シフトと水平サブピクセルシフトとの和に等しいシフトで再同相化され、前記垂直基底関数は、前記垂直空間シフトと前記垂直サブピクセルシフトとの和に等しいシフトで再同相化される。
【0011】
本発明は、以下のステップを含む画素ブロックを再構成する方法にも関する。
係数ブロックを復号化するステップ、
1組の基底関数により規定される変換を使用して、前記係数ブロックを残部ブロックへ変換するステップ、及び、
前記残部ブロックと予測ブロックから、画素ブロックを再構成するステップ。
【0012】
有利なことに、前記再構成方法は、前記変換ステップの前に、画素ブロックのカジュアル近傍で計算される残部から基底関数を再同相化するステップを含み、前記変換ステップは当該再同相化された基底関数を使用する。
【0013】
本発明の他の態様によれば、前記変換は分離することができ、前記1組の基底関数は、水平基底関数と垂直基底関数を含む。
【0014】
水平基底関数及び垂直基底関数を再同相化するステップは、以下のステップを含む。
a)前記水平基底関数を用いて、前記画素ブロックの前記カジュアル近傍の残部の少なくとも1ラインを係数に変換するステップ、
b)大きな振幅の係数を決定するステップ、
c)前記決定された係数に対応する前記水平基底関数を特定するステップ、
d)特定された前記水平基底関数と前記残部ラインとの間の水平空間シフトを決定するステップ、
e)決定された前記水平空間シフトにより前記水平基底関数を再同相化するステップ、及び、
f)前記画素ブロックの前記カジュアル近傍の少なくとも1つの残部列に垂直に前記ステップa)からe)までを繰り返すことによって、ステップd)において決定された垂直空間シフトで前記垂直規定関数を再同相化するステップ。
【0015】
有利なことに、前記残部ライン、及び前記残部列の残部は、前記残部ブロックを計算するために用いられた前記予測モードと同一の予測モードに従って計算される。
【0016】
本発明の1つの特別な特徴によると、前記垂直空間シフト、及び前記水平空間シフトは位相相関関係で決定され、前記空間シフトは、メインピークと呼ばれる最大相関ピークに対応する。
【0017】
別の実施形態によれば、前記再構成方法は、ステップd)とe)との間に、前記メインピークと、前記メインピークを囲む相関ピークとから共通重心を計算することにより、水平サブピクセルシフト及び垂直サブピクセルシフトをそれぞれ決定するステップを含む。この実施形態によると、前記水平基底関数は前記水平空間シフトと前記水平サブピクセルシフトとの和に等しいシフトで再同相化され、前記垂直基底関数は前記垂直空間シフトと前記垂直サブピクセルシフトとの和に等しいシフトで再同相化される。
【0018】
本発明はまた、画素ブロック符号化装置に関し、この画素ブロック符号化装置は、
前記画素ブロック及び予測ブロックから残部ブロックを計算する手段、
1組の基底関数によって規定される変換で、前記残部ブロックを係数ブロックに変換する手段、及び
前記係数ブロックを符号化する手段を含む。
【0019】
前記符号化装置はさらに、前記画素ブロックのカジュアル近傍で計算される残部から前記基底関数を再同相化する手段を含み、前記変換手段は前記再同相化された基底関数を使用する。
【0020】
本発明はさらに、画素ブロックを表すストリームの復号化装置に関し、この復号化装置は、
前記ストリームから係数ブロックを復号化する手段、
1組の基底関数によって規定される変換で、前記係数ブロックを残部ブロックに変換する手段、及び
前記残部ブロック及び予測ブロックから前記画素ブロックを再構成する手段を含む。
【0021】
前記符号化装置はさらに、前記画素ブロックのカジュアル近傍で計算される残部から前記基底関数を再同相化する手段を含み、前記変換手段は前記再同相化された基底関数を使用する。
【0022】
前記基底関数の前記再同相化は、前記符号化及び再構成化方法によって対称的に実行され、前記ストリームにおいて追加の情報が符号化される必要がない。特に、前記空間シフトは送信される必要がない。
【図面の簡単な説明】
【0023】
本発明は、添付図面を参照して、非限定的な実施形態及び有利な実施によって、より良く理解されかつ説明するだろう。
【図1】図1は本発明の画素ブロックbcurの符号化方法を示す図である。
【図2】図2は前記画素ブロックbcurとこのブロックbcurのカジュアル近傍を示す図である。
【図3】図3は図1に示した符号化方法の詳細を示す図である。
【図4】図4は変換されたドメインにおける関数Z及びSを示す図である。
【図5】図5は変換されたドメインと空間ドメインにおける相関関数を示す図である。
【図6】図6は本発明に従う画素ブロックを再構成する方法を示す図である。
【図7】図7は本発明に従う符号化装置を示す図である。
【図8】図8は本発明に従う復号化装置を示す図である。
【発明を実施するための形態】
【0024】
本発明は、画像シーケンスの画素ブロックを再構成する方法と、そのようなブロックを符号化する方法とに関する。画像シーケンスは一連のいくつかの画像である。各画像は複数の画素または画像ポイントからなり、各画素または画像ポイントには、画像データの少なくとも1つのアイテムが関連付けられている。画像データのアイテムは、例えば、輝度データのアイテムまたは色差データのアイテムである。以下、符号化方法及び再構成方法は画素ブロックを用いて説明される。これら方法は、1つまたは複数の画像の再構成の符号化という目的で、いくつかの画像ブロック及び一連のいくつかの画像に適用することができることは明らかである。
【0025】
「動きデータ」という用語は最広義に理解される。動きデータは、動きベクトル、及び、場合により参照画像が画像シーケンス内で識別可能にする参照画像インデックスを指定する。動きデータはまた、予測ブロックを決定するために使用される補間タイプを示す情報の項目を含むことができる。実際には、ブロックBcに関連付けられた動きベクトルが整数座標を有していない場合には、予測ブロックを決定するために、参照画像Irにおいて画像データを補間する必要がある。ブロックに関連付けられた動きデータは一般的には、動き推定法、例えばブロックマッチングにより計算される。しかし、本発明は、動きベクトルがブロックに関連付けられる方法によって限定されない。
【0026】
「残余データ」または 「残余誤差」という用語は、他のデータを抽出した後に得られたデータを示す。この抽出は一般的に、ソースデータから予測データを画素による減算画素である。しかし、抽出はより一般的であり、特に、例えば照射変動モデルを考慮するために、加重減算を含む。「残余データ」という用語は「残部」という用語と同義である。残部ブロックは、残余データが関連付けられている画素ブロックである。
【0027】
「変換された残余データ」という用語は、変換が適用された残余データを指す。 DCT(離散余弦変換)は、2003年9月にジェイワイリー&サンズ(J.Wiley & Sons)によって発行された「H.264及びMPEG−4ビデオ圧縮」と呼ばれるアイ・イー・リチャードソン(I.E.Richardson)よる書籍の第3.4.2.2章に記載されたそのような変換の例である。アイ・イー・リチャードソンの書籍の第3.4.2.3章に説明されているウェーブレット変換、及びアダマール(Hadmard)変換は、他の例である。このような変換は、画像データのブロック、例えば、残留揮度、及び/または、クロミナンスデータ(chrominance data)を、「変換されたブロック」、「周波数データのブロック」または「係数のブロック」とも呼ばれる「変換されたデータのブロック」に変換する。係数のブロックは一般に、連続係数またはDC係数という名称で知られる低周波係数、及び、AC係数として知られる高周波数係数を含む。「画像ドメイン」または「空間ドメイン」という用語は、輝度及び/またはクロミナンス値が関連付けられる画素のドメインを指定する。「周波数ドメイン」または「転換されたドメイン」は、係数のドメインを表す。1つは、例えば、画像を変換、例えばDCTに適用することにより空間ドメインから変換されたドメインに変化し、また反対に、先例の変換の逆変換、例えば、逆DCTを適用することにより、上記変換されたドメインから空間ドメインに変化する。
【0028】
「予測データ」という用語は、他のデータを予測するために使用されるデータを指す。予測ブロックは、予測データが関連付けられる画素ブロックである。予測ブロックは、それが予測するブロック(空間予測もしくは画像内)が属する画像と同じ画像の1つもしくは複数のブロックから得られるか、または、それが予測するブロックが属する画像の異なる画像(時間的予測もしくは画像間予測)の1つ(単方向予測)、もしくはいくつかの参照ブロック(双方向予測もしくは二重予測)から得られる。
【0029】
用語「予測モード」はブロックが予測される方法を指す。複数の予測モードの中には、空間予測に対応するイントラモードと、時間的予測に対応するインターモードとがある。予測モードは、ブロックが、符号化されるために分割される方法を指定することもある。したがって、16×16のサイズのブロックに関連付けられている8×8のインター予測モードは、16×16ブロックが4つの8×8ブロックに分割されて、時間的予測によって予測されていることを示す。
【0030】
用語「再構成されたデータ」は、予測データで残部を結合した後に得られたデータ(例えば、画素、ブロック)を指す。結合は一般に、残部と予測データとの和である。しかし、結合はより広い意味を有し、特に、例えば照明変動モデルを考慮するため加重和を含む。再構成されたブロックは、再構成された画素のブロックである。
【0031】
画像の符号化に関し、用語 「再構成」及び「復号化」は同義語として使用されることが非常に多い。したがって、「再構成されたブロック」はまた、「復号化されたブロック」という用語で指されることもある。
【0032】
用語である符号化は最広義でとらえられる。符号化は場合により画像データの変換、及び/または量子化を含めることができる。符号化はまた、エントロピー符号化のみを指定する場合もある。
【0033】
現在のブロックの「カジュアル近傍」は、現在のブロックの前に符号化/再構成された画素を含むこのブロックの近傍を指す。
【0034】
図1を参照すると、本発明は、1組の基底関数によって規定される変換Tを有する変換ステップを含むタイプの整数NでN×Nサイズの画素ブロックbcurを符号化する方法に関する。ステップ100の間、残部ブロックbは、画素ブロックbcur、及び、予測モードに従って決定された予測ブロックbpから計算される。例えば、b(i,j)=bcur(i,j)−bp(i,j)であり、ここでは(i,j)は画素の座標である。
【0035】
ステップ102の間は、変換Tの基底関数は、ブロックbcurのカジュアル近傍から再同相化される。そのようなカジュアル近傍の例は、図2においてゾーンZCx及びZCyで表してある。より正確には、基底関数はこのカジュアル近傍内で計算された残部から再同相化される。
【0036】
ステップ104の間、残部ブロックbは、再同相化された基底関数で係数ブロックBに変換される。係数ブロックBは次の態様で決定される。
B = Tphase(b)、ここで、Tphaseは再同相化された基底関数によって規定された変換である。
【0037】
ステップ106の間、係数ブロックBはストリームFにおいて符号化される。例えば、係数ブロックBは、量子化された後、VLC(可変長符号化)、CAVLC(コンテキスト適応型可変長符号化)、またはCABAC(コンテキスト適応バイナリ算術符号化)のタイプのエントロピー符号化により符号化されることになる。これらの技術は、画像符号化の分野の当業者には周知であり、さらに詳述しない。本発明は、使用されるエントロピー符号化のタイプによって限定されない。
【0038】
別々の変換について、図3を参照して、特定の実施形態について説明する。この場合、1組の基底関数は、垂直基底関数Cyと水平基底関数Cxとに分けられる。この実施形態は、DCT変換の特定のケースで説明されるが、本発明は、この変換によって限定されない。図3に関連して説明される実施形態は、任意の分離可能な変換に適用される。
【0039】
DCTの特定のケースでは、基底関数は次のように定義される。
【0040】
【数1】

【0041】
ブロックbは次の態様で係数ブロックBに変換される。
【0042】
【数2】

【0043】
ここで(u,v)は、周波数ドメインにおける係数の座標である。
【0044】
この実施形態によれば、基底関数を再同相化するステップ102は次のステップを含む。
【0045】
水平基底関数を再同相化するステップ、及び
垂直基底関数を再同相化するステップ。
【0046】
水平基底関数を再同相化するステップは、図3の左側部分に関連して説明される。
【0047】
ステップ1020の間、ブロックbcurのカジュアル近傍ZCxで計算された残部z(x)は、水平基底関数で図4に表されたZ(u)係数に変換される。特定の実施形態によれば、ZCxは、図2に示すように、現在のブロックbcurの真上に位置する画素ラインを含む。ZCxの各画素は残部値z(x)に関連付けられている。ZCxは従って、残部ラインである。変形例によれば、ZCxは現在のブロックbcurの上方に位置する複数の残部画素ラインを含む。残部z(x)は、例えば、現在のブロックについて計算された残部誤差を近傍ZCxに拡張することにより計算される。したがって、値z(x)は、現在のブロックbcurに関連付けられた予測モードModeを使用することにより、かつ、場合によっては、残部ブロックbを計算するために使用される動きデータMVも使用することにより得られる。より正確には、Mode、及び場合によりMVは、近傍ZCxの画素に関する予測データzp(x)を計算するために使用され、残部z(x)は予測データzp(x)から計算される。例えば、z(x)=zcur(x)−zp(x)であり、ここでzcur(x)は輝度またはクロミナンス画像データである。
【0048】
ステップ1022の間、大きい振幅の係数Z(umax)が決定される。
【0049】
【数3】

【0050】
u≠0である。
【0051】
ステップ1024の間、前記決定された係数に対応する水平基底関数が特定される。この目的のために、次のように定義されかつ図4で表わしてあるように、ステップ1020で適用された変換の逆変換を中間の関数S(u)に適用することにより、空間ドメインに戻る。
・u=0の場合、S(u)=Z(u)
・u=umaxの場合、S(u)=Z(u)
・それ以外の場合、S(u)=0
【0052】
ある実施形態によれば、さらにZ(umax)>THが確認されると、THはしきい値である。例えば、THは係数の符号化の間に使用される量子化ステップQPの倍数である。基底関数の再同相化は従って、Z(umax)>THの場合にのみ実行される。
【0053】
S(u)の逆変換はs(x)で示される。s(x)は、s(x)から特定される変換Tの基底関数の1つに対応する。
【0054】
ステップ1026の間、特定された水平基底関数と残部ラインZCxとの間の水平方向の空間シフトdxが決定される。簡略化した説明例によると、図5に示すように、水平空間シフトdxは位相相関により決定される。この目的のために、残部ラインz(x)はフーリエ変換により、変換された信号FZ(u)に変換される。同様に、s(x)はフーリエ変換により、変換された信号FS(u)に変換される。相関関係はよって、次の式に従って計算される。
【0055】
【数4】

【0056】
ここで、FZ*(u)はFZ(u)の共役複素数である。
【0057】
変換されたドメイン内の相関は、逆フーリエ変換IFTをCorr(u)に適用することにより、空間ドメインに持ち込まれる。空間ドメインにおける相関はcorr(x)として表され、corr(x)=IFT(Corr(u))である。
【0058】
シフトまたは位相dxは、空間ドメインで相関ピークを判別することによって得られる。
【0059】
【数5】

【0060】
実施形態の変形例によれば、水平空間シフトdxは空間相関により決定される。より正確には、可能性のあるシフトの有限集合Eにおける各シフトdxについて、空間相関はdxで再同相化され特定された基底関数と、残部ラインZCxとの間で計算される。選択されたシフトdxは、空間相関が最大となるシフトである。例えば、E={1,2,3,4}。変形例によると、E={1,1.5,2,2.5,3,3.5,4}であり、これによりサブピクセルシフトを決定することができる。当然に、Eは、例えば、1/4画素、1 /8画素等において、より正確なシフトを含むことが可能である。
【0061】
ステップ1028の間、水平基底関数は、ステップ1026で決定された水平空間シフトdxで再同相化される。DCTの場合、Cxは次のように再同相化される。
【0062】
【数6】

【0063】
同様に、図3の右側に示すように、ステップ1020からステップ1028までは、ゾーンZCyで垂直に適用される。垂直基底関数はステップ1026で決定された垂直空間シフトで再同相化される。DCTの場合、Cyは次のように再同相化される。
【0064】
【数7】

【0065】
有利な実施形態によれば、ステップ1026の間に決定されたシフトdx及びdyは、ステップ1027の間において、より精緻化される。例えば、空間ドメインにおいて相関ピークを囲むエネルギーの共通重心は、図5に示すように、メインピークbで中央となる文字a、bおよびcにより特定される3つのエネルギーピークに基づいて決定される。共通重心b'は、水平サブピクセルシフトδxと垂直サブピクセルシフトδyとを決定することが可能である。この実施形態によれば、水平基底関数及び垂直基底関数は、ステップ1028で、それぞれ、(dx+δx)及び(dy+δy)だけシフトする。別の変形例によれば、メインピークを中央とする3つのエネルギーのピークを通過する既知の解析関数曲線、例えば、放物線が決定される。この関数の最大値は、処理が水平または垂直に行われるかに従って、シフト(dx+δx)または(dy+δy)に対応する。
【0066】
図6を参照すると、本発明は、1組の基底関数により規定される変換T'を有する変換ステップを含むタイプの整数Nを有するサイズNxNの画素ブロックbcurを再構成する方法に関する。
【0067】
ステップ200の間、再構成するブロックbrecを表す係数ブロックBは、ストリームFから復号化される。例えば、係数ブロックBはVLC(可変長符号化)、CAVLC(コンテキスト適応型可変長符号化)、もしくはCABAC(コンテキスト適応型バイナリ算術符号化)のタイプのエントロピー復号化方法により復号化される可能性があり、逆量子化される可能性もある。このステップは、符号化方法のステップ106の逆である。
【0068】
ステップ202の間、変換T'の基底関数は再構成するブロックのカジュアル近傍から再同相化される。そのような近傍の例は、ZCx及びZCyにより図2に表してある。より正確には、基底関数はこのカジュアル近傍で計算された残部から再同相化される。
【0069】
ステップ204の間、係数ブロックBは、再同相化された基底関数で、残部ブロックBに変換される。残部ブロックは次の態様で決定される。
【0070】
B=T’phase(B)、ここでT’phaseは再同相化された基底関数によって規定される変換である。
【0071】
ステップ206の間、画素ブロックbrecは、残部ブロックbと、予測モードに従って決定される予測ブロックbpとから再構成される。例えば、b(i,j)=brec(i,j)−bp(i,j)、ここで(i,j)は画素の座標である。
【0072】
符号化方法について図3、図4及び図5を参照して説明された特定の実施形態は、再構成方法に等しく適用することができ、特に、基底関数を再同相化するステップ202に等しく適用することができる。係数ブロックBは、次の式に従ってステップ204の間に残部ブロックに変換される。b=Cy.B.Cx、ここでCx及びCyは、dx及びdyの再同相化された水平基底関数及び垂直基底関数であり、場合によっては(dx+δx)及び(dy+δy)の再同相化された水平基底関数及び垂直基底関数となる。
【0073】
図7及び図8を参照すると、本発明は、画素ブロックの符号化装置CODERとそのような画素ブロックを表すストリームFの復号化装置DECODERに関する。これらの図において、示されたモジュールは機能ユニットであり、物理的に区別できるユニットに対応し得るし、または対応し得ない。例えば、これらのモジュール、またはいくつかは、単一のコンポーネントに統合する、あるいは、同じソフトウェアの機能を構成することが可能である。また、いくつかのモジュールは、別々の物理エンティティで構成してもよい。
【0074】
図7を参照すると、符号化装置CODERは、入力として、画像シーケンスに属する画像Iを受け取る。各画像は複数の画素ブロックbcurに分割され、各画素ブロックには画像データの少なくとも1つの項目、例えば、輝度及び/またはクロミナンス(色度)が関連づけられる。符号化装置CODERは、特に、時間的予測で符号化を実施する。時間的予測による符号化、すなわちインター符号化に関連する符号化装置CODERのモジュールだけが、図6に表してある。示されず、かつビデオ符号化装置の技術で当業者に知られている他のモジュールは、空間的予測を利用し、または利用せずにイントラ符号化を実施する。符号化装置CODERは、特に、符号化方法のステップ100に従って、例えば、画素毎に、現在のブロックbcurから予測ブロックbpを引いて残部ブロックbを生成することにより、抽出が可能な計算モジュールADD1を備える。符号化装置はさらに、1組の基底関数により規定された変換Tで、残部ブロックbを係数ブロックBに変換することができる変換モジュールTを備えている。変換Tは、例えばDCTである。符号化装置CODERはさらに、図1を参照して説明された符号化方法のステップ102に従う変換Tの基底関数を再同相化することができる再同相化モジュールREPHASを備える。従って、変換モジュールTは、符号化方法のステップ104に従って、1組の再同相化された基底関数をブロックbに適用する。変換モジュールTの出力は、係数ブロックBを量子化されたデータに量子化することができる量子化モジュールQの入力に接続されている。量子化モジュールの出力は、量子化されたデータを符号化されたデータのストリームFに符号化することができるエントロピー符号化モジュールCODの入力に接続されている。よって、符号化方法のステップ106は、モジュールQ及びCODによって実施される。符号化装置はさらに、量子化モジュールQの逆演算を行うモジュールIQを備えており、モジュールIQは、変換モジュールTの逆演算を行うモジュールITに接続されている。モジュールITの出力は、画素毎にモジュールITからのデータブロックと予測ブロックを加算することができる計算モジュールADD2とに接続されている。加算により、再構成されたブロックが生成され、これがメモリMEMに記憶される。
【0075】
また、符号化装置CODERは、ブロックbcurと、メモリMEMに記憶された参照画像Irとの間に少なくとも1つの動きベクトルVpを推定することができる動き推定モジュールMEを含む。この画像は事前にコード化されて、その後、再構成される。1つの変形例によれば、動き推定は、現在のブロックbcと、Irに対応するソース画像との間で行うことができ、この場合、メモリMEMは動き推定モジュールMEに接続されない。当業者に周知の方法によれば、動き推定モジュールは、動きベクトルについて、対応するソース画像のそれぞれの参照画像Irにおいて検索を行うことにより、現在のブロックbcurと前記対応するソース画像のそれぞれの参照画像Ir内のブロックとの間で計算される誤差を最小限にする。1つの変形例によれば、動きベクトルは、位相相関もしくは全体的動作推定により決定されるか、または「テンプレートマッチング」によって決定されてもよい。動きデータは、所定セットの符号化モードの中からブロックbcurための符号化モードを選択することができる決定モジュールDECISIONに、動き推定モジュールMEによって送信される。選択された符号化モードは、例えば、ビットレート歪みのような基準を最小化するものである。しかし、本発明はこの選択方法に限定されず、選択されるモードは、別の基準、例えば、経験に基づく基準、前例に倣う基準)に従って選択することができる。決定モジュールDECISIONによって選択された符号化モード及び動きデータ、例えば、時間的予測モードまたはインターモードにおける1つもしくは複数の動きベクトルは、予測モジュールPREDに送信される。1つもしくは複数の動きベクトル、および前記選択された符号化モードはさらに、エントロピー符号化モジュールCODに送信されてストリームFに符号化される。もし予測モードINTERが決定モジュールDECISIONによって保持されるなら、前記予測モジュールPREDは、すでに再構成されてメモリMEMに記憶されている参照画像Irにおいて、前記動き推定モジュールMEによって決定された動きベクトルを用いて予測ブロックbpを決定する。もし予測モードイントラが決定モジュールDECISIONによって保持されているなら、予測モジュールPREDは、現在の画像において、すでに符号化されてメモリMEMに記憶されている複数のブロックから予測ブロックbpを決定する。
【0076】
図8を参照すると、復号化装置DECODERは、入力として、画像シーケンスを表す符号化データのストリームFまたは当該画像シーケンスの一部、例えば、ブロックを表す符号化データのストリームを受信する。ストリームFは、例えば、符号化装置CODERによって送信される。復号化装置DECODERは、復号化されたデータ、例えば、画像のコンテンツに関する復号化されたデータ及び符号化モードを生成することができるエントロピー復号化モジュールDECを含む。復号化装置DECODERはさらに、動きデータ再構成モジュールを備える。第1の実施形態によれば、動きデータ再構成モジュールは、動きベクトルを表すストリームFの一部を復号化するエントロピー復号化モジュールDECである。
【0077】
図8に示されていない変形例によれば、動きデータ再構成モジュールは動作推定モジュールである。復号化装置DECODERにより動きデータを再構成する解決は、「テンプレートマッチング」として知られている。
【0078】
画像の内容に関する復号化されたデータは、その後、係数ブロックBを得るために復号化されたデータの逆量子化を行うことができる逆量子化モジュールIQに送信される。再構成方法のステップ200はモジュールDEC及びIQにおいて実行される。モジュールIQは符号化装置CODERのモジュールTによって実行された変換に対して逆変換を行うことができる変換モジュールITに接続されている。モジュールIQ及びITは、符号化されたストリームFを生成した符号化装置CODERのモジュールIQ及びITと同一である。復号化装置DECODERはさらに、図6を参照して説明された再構成方法のステップ202に基づいて変換Tの基底関数を再同相化できる再同相化モジュールREPHASを備える。よって、変換モジュールTは、再構成方法のステップ204に基づいて、1組の再同相化された基底関数を係数ブロックBに適用する。モジュールITは計算モジュールADD3に接続されており、当該計算モジュールは例えば、画素を画素に追加する形で、モジュールITからの残部ブロックbと予測ブロックbpとを結合して、再構成されたブロックbrecを生成することができる。再構成ブロックbrecはメモリMEMに記憶される。また、復号化装置DECODERは、符号化装置CODERの予測モジュールPREDと同一の予測モジュールPREDを備えている。予測モードINTERが復号化されているなら、予測モジュールPREDは、すでに再構成されてメモリMEMに記憶されている参照画像Irの中から、予測ブロックbcurをエントロピー復号化モジュールDECにより決定する。もし予測モードイントラが復号化されているなら、予測モジュールPREDは、既に再構成されてメモリMEMに記憶されているブロックの中の現在の画像において、予測ブロックbpを決定する。
【0079】
本発明は上記実施形態に限定されないことは明らかである。特に、当業者は上記実施形態に任意の変更を施すこと、及び、それらを組み合わせてそれらの様々な利点・効果を得ることができる。特に、カジュアル近傍から基底関数を再同相化することは、サイズ及び次元(1D、2Dなど)に関係なく、任意のタイプの変換に適用可能である。同様に、本発明のカジュアル近傍の形状は変わり得る。

【特許請求の範囲】
【請求項1】
画素ブロックを符号化するビデオ符号化方法であって、
前記画素ブロック、および、予測モードに従って決定された予測ブロックから残部ブロックを計算するステップ(100)と、
1組の基底関数により規定された変換で、前記残部ブロックを係数ブロックに変換するステップ(104)と、
前記係数ブロックを符号化するステップ(106)と、を含み、
前記方法は、前記変換するステップ(104)の前に、前記画素ブロックのカジュアル近傍において前記予測モードに従って計算された残部から前記基底関数を再同相化するステップ(102)を含み、前記変換するステップは、前記再同相化された基底関数を使用する、前記符号化方法。
【請求項2】
前記変換は分離され、前記1組の基底関数は、水平基底関数および垂直基底関数を含み、前記基底関数を再同相化するステップ(102)は、
前記水平基底関数を再同相化するステップ、および
前記垂直基底関数を再同相化するステップ、を含む、請求項1記載の符号化方法。
【請求項3】
前記水平基底関数を再同相化するステップは、
a)前記画素ブロックの前記カジュアル近傍の少なくとも1つの残部ラインを、前記水平基底関数で、係数に変換するステップ(1020)、
b)より大きい振幅の係数を決定するステップ(1022)、
c)前記決定された係数に対応する水平基底関数を特定するステップ(1024)、
d)前記特定された水平基底関数と前記残部ラインとの間の水平空間シフトを決定するステップ(1026)、および
e)前記決定された水平空間シフトで、前記水平基底関数を再同相化するステップ(1028)と、を含み、
前記垂直基底関数を再同相化するステップは、前記画素ブロックの前記カジュアル近傍の少なくとも1つの残部列に垂直に前記ステップa)からe)までを繰り返して、前記垂直基底関数を、前記ステップd)で決定された垂直空間シフトで再同相化することを含む、請求項2記載の符号化方法。
【請求項4】
前記残部ラインと前記残部列との残部は、前記残部ブロックを計算するために用いられた前記予測モードと同じ予測モードに従って計算される、請求項3記載の符号化方法。
【請求項5】
前記垂直空間シフト、および前記水平空間シフトは、位相相関により決定され(1026)、前記空間シフトはメインピークと呼ばれる最大相関ピークに対応する、請求項3または4記載の符号化方法。
【請求項6】
前記ステップd)とe)との間に、前記メインピークと、前記メインピークを囲む相関ピークとから共通重心を計算することにより、水平サブピクセルシフトと垂直サブピクセルシフトとをそれぞれ決定するステップ(1027)を含み、前記水平基底関数は、前記水平空間シフトと前記水平サブピクセルシフトとの和に等しいシフトだけ再同相化され(1028)、前記垂直基底関数は、前記垂直空間シフトと前記垂直サブピクセルシフトの和に等しいシフトだけ再同相化される(1028)、請求項5記載の符号化方法。
【請求項7】
ビデオ復号化方法であって、
係数ブロックおよび予測モードを復号化するステップ(200)、
1組の基底関数により規定される変換で、前記係数ブロックを残部ブロックに変換するステップ(204)、および
前記残部ブロックおよび前記予測モードに従って決定された予測ブロックから画素ブロックを再構成するステップ(206)、を含み、
前記方法は、前記変換するステップの前に、前記画素ブロックのカジュアル近傍における前記予測モードに従って計算された残部から前記基底関数を再同相化するステップ(202)を含み、前記変換するステップは、前記再同相化された基底関数を使用する、前記ビデオ復号化方法。
【請求項8】
前記変換は分離され、前記1組の基底関数は、水平基底関数と垂直基底関数を含み、前記基底関数を再同相化するステップ(102)は、
前記水平基底関数を再同相化するステップ、および
前記垂直基底関数を再同相化するステップ、を含む、請求項7記載のビデオ復号化方法。
【請求項9】
前記水平基底関数を再同相化するステップは、
a)前記画素ブロックの前記カジュアル近傍の少なくとも1つの残部ラインを、前記水平基底関数で、係数に変換するステップ(1020)、
b)より大きい振幅の係数を決定するステップ(1022)、
c)前記決定された係数に対応する水平基底関数を特定するステップ(1024)、 d)前記特定された水平基底関数と前記残部ラインとの間の水平空間シフトを決定するステップ(1026)、および
e)前記決定された水平空間シフトを使用して前記水平基底関数を再同相化するステップ(1028)、を含み、
前記垂直基底関数を再同相化するステップは、前記画素ブロックの前記カジュアル近傍の少なくとも1つの残部列に垂直に前記ステップa)〜e)を繰り返して、前記ステップd)で決定された垂直空間シフトで、前記垂直基底関数を再同相化することを含む、請求項8記載のビデオ復号化方法。
【請求項10】
前記残部ラインと前記残部列との残部は、前記残部ブロックを計算するために用いられた前記予測モードと同じ予測モードに従って計算される、請求項9記載のビデオ復号化方法。
【請求項11】
前記垂直空間シフトおよび前記水平空間シフトは位相相関により決定され(1026)、前記空間シフトはメインピークと呼ばれる最大相関ピークに対応する、請求項9または10記載のビデオ復号化方法。
【請求項12】
前記ステップd)とe)との間に、前記メインピークと、前記メインピークを囲む相関ピークとから共通重心を計算することにより、水平サブピクセルシフトおよび垂直サブピクセルシフトを決定するステップ(1027)を含み、前記水平基底関数は、前記水平空間シフトと前記水平サブピクセルシフトの和に等しいシフトだけ再同相化され(1028)、前記垂直基底関数は、前記垂直空間シフトと前記垂直サブピクセルシフトの和に等しいシフトだけ再同相化される(1028)、請求項11記載のビデオ復号化方法。
【請求項13】
画素ブロックを符号化するビデオ符号化装置(CODER)であって、
前記画素ブロックおよび予測モードに従って決定された予測ブロックから残部ブロックを計算する手段(ADD1)、
1組の基底関数により規定される変換で、前記残部ブロックを係数ブロックに変換する手段(T)、および
前記係数ブロックを符号化する手段(Q、COD)、を含み、
前記ビデオ符号化装置は、前記画素ブロックのカジュアル近傍において前記予測モードに従って計算された残部から前記基底関数を再同相化する手段(REPHAS)をさらに含み、前記変換する手段(T)は、前記再同相化された基底関数を使用する、ビデオ符号化装置。
【請求項14】
前記ビデオ符号化装置は請求項1から6のいずれか1項に従う前記符号化方法の前記ステップを実行するように適合される、請求項13記載のビデオ符号化装置。
【請求項15】
ビデオ復号化装置(DECODER)であって、
係数ブロック、および予測モードを復号化する手段(DEC、IQ)、
1組の基底関数により規定される変換で、前記係数ブロックを残部ブロックに変換する手段(IT)、および
前記残部ブロック、および前記予測モードに従って決定された予測ブロックから前記画素ブロックを再構成する手段(ADD3)、を含み、
前記ビデオ復号化装置はさらに、前記画素ブロックのカジュアル近傍における前記予測モードに従って計算された残部から前記基底関数を再同相化する手段(REPHAS)を含み、前記変換する手段(T)は、前記再同相化された基底関数を使用する、前記ビデオ復号化装置。
【請求項16】
前記ビデオ復号化装置は、請求項7ないし12のいずれか1項に従う前記復号化方法の前記ステップを実行するように適合される、請求項15記載のビデオ復号化装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2013−110747(P2013−110747A)
【公開日】平成25年6月6日(2013.6.6)
【国際特許分類】
【外国語出願】
【出願番号】特願2012−256487(P2012−256487)
【出願日】平成24年11月22日(2012.11.22)
【出願人】(501263810)トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Thomson Licensing 
【住所又は居所原語表記】1−5, rue Jeanne d’Arc, 92130 ISSY LES MOULINEAUX, France
【Fターム(参考)】