ピクセルブロックを符号化及び再構成する方法と装置
【課題】ピクセルブロックの符号化方法を提供する。
【解決手段】方法は、動きベクトルからピクセルブロックの予測ブロックを決定するステップ（１０）と、前記ピクセルブロックと前記予測ブロックとの間の残差を計算するステップ（１２）と、前記残差を符号化するステップ（１４）とを有する。前記予測ブロックを決定するステップは、サイズが前記ピクセルブロックのサイズより必ず大きい中間予測ブロックを決定するステップ（１１０）と、前記中間予測ブロックを、第１の変換で変換された第１のブロックに変換するステップ（１２０）と、前記第１の変換ブロックを前記第１の変換の逆変換であり基底関数が前記動きベクトルの各成分の少なくとも一部によりシフトされた第２の変換で変換された第２のブロックに変換する（１３０）、前記予測ブロックは前記第２の変換ブロックから取り出される（１４０）ステップとを有する。
【解決手段】方法は、動きベクトルからピクセルブロックの予測ブロックを決定するステップ（１０）と、前記ピクセルブロックと前記予測ブロックとの間の残差を計算するステップ（１２）と、前記残差を符号化するステップ（１４）とを有する。前記予測ブロックを決定するステップは、サイズが前記ピクセルブロックのサイズより必ず大きい中間予測ブロックを決定するステップ（１１０）と、前記中間予測ブロックを、第１の変換で変換された第１のブロックに変換するステップ（１２０）と、前記第１の変換ブロックを前記第１の変換の逆変換であり基底関数が前記動きベクトルの各成分の少なくとも一部によりシフトされた第２の変換で変換された第２のブロックに変換する（１３０）、前記予測ブロックは前記第２の変換ブロックから取り出される（１４０）ステップとを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は概して画像符号化の分野に関する。本発明は、より詳しくは、ピクセルブロックの符号化方法と、かかるブロックの再構成方法とに関する。
【背景技術】
【０００２】
サブピクセルの精度で動きベクトルを推定できる動き推定モジュールを有するビデオ符号化装置が知られている。例えば、この動き推定モジュールは、補間フィルタを用いて１／２ピクセル、１／４ピクセル、場合によっては１／８ピクセルで補間されたピクセルの変位を推定する。
【０００３】
（位相相関などの）コリレータや、１／８ピクセル未満のサブピクセル精度で動きベクトルを推定できるグローバル動き推定を用いる動き推定モジュールが知られている。
【０００４】
サイズが大きくて精度が１／８ピクセルに制限されている通常の補間フィルタでは、動き補償をする動きベクトルの成分が１／８ピクセル未満のサブピクセル精度である場合、正確な動き補償ができない。このような、１／２ピクセルの補間をする通常の補間フィルタが、非特許文献１に記載されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】ＩＳＯ／ＩＥＣ標準１４４９６−１０ セクション８．４．２．２
【発明の概要】
【０００６】
本発明の目的は、先行技術の少なくとも１つの欠点を解消することである。この目的のため、本発明は、ピクセルブロックの符号化方法であって、動きベクトルから前記ピクセルブロックの予測ブロックを決定するステップと、前記ピクセルブロックと前記予測ブロックとの間の残差を計算するステップと、前記残差を符号化するステップとを有する符号化方法に関する。有利にも、前記予測ブロックを決定するステップは、サイズが前記ピクセルブロックのサイズより必ず大きい中間予測ブロックを決定するステップと、前記中間予測ブロックを、第１の変換で変換された第１のブロックに変換するステップと、前記第１の変換ブロックを前記第１の変換の逆変換であり基底関数が前記動きベクトルの各成分の少なくとも一部によりシフトされた第２の変換で変換された第２のブロックに変換する、前記予測ブロックは前記第２の変換ブロックから取り出されるステップとを有する。
【０００７】
第１の実施形態では、前記中間予測ブロックは、成分が前記動きベクトルの成分の整数部分である中間動きベクトルから前記ピクセルブロックの動き補償により求めたブロックに、動きの方向に少なくとも一行のピクセルと少なくとも一列のピクセルとを加えることにより決定され、前記第２の変換の基底関数は前記動きベクトルの成分の端数部分だけシフトされる。
【０００８】
第１の実施形態では、前記中間予測ブロックは、前記中間予測ブロックのサイズが前記動きベクトルの成分の整数部分に対応する変位より必ず大きいように、符号化するピクセルのブロックと同じ場所のブロックに、動きの方向に、少なくとも一行のピクセルと少なくとも一列のピクセルとを加えることにより決定され、前記第２の変換の基底関数は前記動きベクトルの成分の端数部分だけシフトされる。
【０００９】
本発明の一特徴によると、前記中間予測ブロックのサイズは２のべき乗である。
【００１０】
本発明の他の一特徴によると、前記第１の変換は２次元離散余弦変換である。
【００１１】
本発明は、ピクセルブロックの再構成方法にも関する。該再構成方法は、動きベクトルから前記ピクセルブロックの予測ブロックを決定するステップと、前記ピクセルブロックの残差を復号するステップと、前記予測ブロックと前記残差から前記ピクセルブロックを再構成するステップとを有する。有利にも、前記予測ブロックを決定するステップは、サイズが前記ピクセルブロックのサイズより必ず大きい中間予測ブロックを決定するステップと、前記中間予測ブロックを、第１の変換で変換された第１のブロックに変換するステップと、前記第１の変換ブロックを前記第１の変換の逆変換であり基底関数が前記動きベクトルの各成分の少なくとも一部によりシフトされた第２の変換で変換された第２のブロックに変換する、前記予測ブロックは前記第２の変換ブロックから取り出されるステップとを有する。
【００１２】
本発明は、ピクセルブロックの符号化装置に関する。該装置は、動きベクトルから前記ピクセルブロックの予測ブロックを決定する手段と、前記ピクセルブロックと前記予測ブロックとの間の残差を計算する手段と、前記残差を符号化する手段とを有する。有利にも、前記予測ブロックを決定する手段は、サイズが前記ピクセルブロックのサイズより必ず大きい中間予測ブロックを決定する手段と、前記中間予測ブロックを、第１の変換で変換された第１のブロックに変換する手段と、前記第１の変換ブロックを、基底関数が前記動きベクトルの各成分の少なくとも一部だけシフトされた、前記第１の変換の逆変換である第２の変換で変換された第２のブロックに変換する手段と、前記第２の変換ブロックから前記予測ブロックを取り出す手段とを有する。
【００１３】
また、本発明は、ピクセルブロックの再生を目的としたストリームの復号装置に関する。該復号装置は、動きベクトルから前記ピクセルブロックの予測ブロックを決定する手段と、前記ストリームからの前記ピクセルブロックの残差を復号する手段と、前記予測ブロックと前記残差から前記ピクセルブロックを再構成する手段とを有する。有利にも、前記予測ブロックを決定する手段は、サイズが前記ピクセルブロックのサイズより必ず大きい中間予測ブロックを決定する手段と、前記中間予測ブロックを、第１の変換で変換された第１のブロックに変換する手段と、前記第１の変換ブロックを、基底関数が前記動きベクトルの各成分の少なくとも一部だけシフトされた、前記第１の変換の逆変換である第２の変換で変換された第２のブロックに変換する手段と、前記第２の変換ブロックから前記予測ブロックを取り出す手段とを有する。
【図面の簡単な説明】
【００１４】
本発明は、添付した図面を参照して、非限定的な実施形態と有利な実装により、より良く理解され、説明される。
【図１】本発明による符号化方法を示す図である。
【図２】符号化するブロックＢｃと中間予測ブロックｂ′とを示す図である。
【図３】符号化するブロックＢｃと中間予測ブロックｂ′とを示す図である。
【図４】変換されたブロックＢ２と予測ブロックＢｐとを示す図である。
【図５】本発明による再構成方法を示す図である。
【図６】本発明による符号化装置を示す図である。
【図７】本発明による復号装置を示す図である。
【発明を実施するための形態】
【００１５】
図１は、本発明による、画像ＩｃのピクセルブロックＢｃを符号化する方法を示す。ＢｃはサイズＭ×Ｍ（Ｍは整数）のブロックである。ピクセルブロックＢｃは画像シーケンスの画像Ｉｃの一部である。ステップ１０において、成分（Ｖｘ，Ｖｙ）を有する動きベクトルから、符号化するピクセルブロックＢｃの予測ブロックＢｐを決定する。ここで、Ｖｘ＝ｄｘ＋ｄｘｒｓかつＶｙ＝ｄｙ＋ｄｙｒｓであり、（ｄｘ，ｄｙ）は成分の整数部分であり、（ｄｘｒｓ、ｄｙｒｓ）は成分の端数部分である。例えば、Ｖｘ＝２.２８の場合、ｄｘ＝２かつｄｘｒｓ＝０.２８であり、Ｖｘ＝−３.７３の場合、ｄｘ＝−３かつｄｘｒｓ＝−０．７３である。ブロックＢｃに関連する動きベクトルＶｐは、例えば、位相相関やグローバル動き推定による動き推定から得られる。Ｖｐは、現在画像Ｉｃと基準画像Ｉｒとの間のブロックＢｃの変位を示す。本発明は、動きベクトルＶｐを求めるのに使われる方法によってはまったく限定されない。予測ブロックＢｐを決定するステップ１０は、動き補償ステップとしても知られているが、図２に示した第１の実施形態のように、中間動きベクトルから基準画像Ｉｒにおける中間予測ブロックｂ′を決定するステップ１１０を有する。中間動きベクトルの成分は、図２に示したように、動きベクトルＶｐの成分の整数部分（ｄｘ，ｄｙ）である。中間予測ブロックｂ′は、成分（ｄｘ，ｄｙ）の中間動きベクトルからブロックＢｃの動き補償により求められるブロックｂを含むｂ′はサイズがＮ×Ｎであり、Ｎは必ずＭよりも大きい。第１の変形例では、Ｎ＝Ｍ＋１である。より詳しくは、ブロックｂ′は、図２に示したように、ブロックｂに、変位／動きの方向の側の２辺に少なくとも１ピクセルずつの行と列を加えることにより得られる。動きの方向は動きベクトルＶｐで与えられる。このように、図２では、サブピクセル変位は、ブロックｂ′では右下向きに起こる。結果として、ブロックｂ′は、ブロックｂに対して上辺に１ピクセルの行と左辺に１ピクセルの列とを加えたブロックである。
【００１６】
例えば、ブロックＢｃを符号化し、関連する予測ブロックＢｐがサイズ８×８のブロックであるとき、中間予測ブロックｂ′は、図２に示したように、ブロックｂに、動きの方向に１ピクセルの行と列を加えることにより求めたサイズが９×９のブロックである。
第２の実施形態では、中間予測ブロックｂ′は、ブロックｂに、その変位／動きの方向の２辺に必要なだけのピクセルの行と列を加えることにより得られ、Ｎは２のべき乗になる。この変形例により高速変換アルゴリズムを使えるようになる。
【００１７】
中間予測ブロックｂ′は、ステップ１２０において、次元Ｎの第１の変換Ｔで、第１変換ブロックＢ１に変換される。Ｔは、例えば、基底関数ｃ（ｉ，ｊ）が次のように定義された分離可能なＤＣＴ（「離散余弦変換」）変換である：
【数１】
その結果、
【数２】
第１変換ブロックＢ１は、ステップ１３０において、第１の変換の第２の逆変換で、基底関数が動きベクトルＶｐの成分の端数部分（ｄｘｒｓ、ｄｙｒｓ）だけシフトされた第２変換ブロックＢ２に変換される。第２の変換は、例えば、基底関数が次のように定義された逆ＤＣＴ変換である：
【数３】
【数４】
それゆえ基底関数は、図２を参照して説明した場合、動きベクトルの成分の端数部分（ｄｘｒｓ、ｄｙｒｓ）だけシフトされる。
【００１８】
その結果、
【数５】
ステップ１４０において、余録ブロックＢｐは、ブロックｂに対応する部分を、第２変換ブロックＢ２から取り出すことにより得られる。図２の場合、ブロックＢｐは、第１のピクセル行と第１のピクセル列をＢ２から削除することにより得られる。
【００１９】
それゆえ、中間予測ブロックｂ′は、逆変換（３）と（４）による中間予測ブロックｂ′内の画像信号のサブピクセル変位が、中間予測ブロックｂ′のピクセルからブロックｂのピクセルまで実行されるように（すなわち、動きと反対の方向に）、ピクセル行とピクセル列とを加えることにより、ブロックｂから得られる。
【００２０】
ステップ１２において、ピクセルブロックＢｃと予測ブロックＢｐとの間の残差または残差ブロックを計算する。残差は、一般的に、符号化するピクセルブロックＢｃと、ステップ１０で決定された予測ブロックＢｐとをピクセルごとに差分することにより計算する。場合によって、差分を、輝度変化モデルを考慮して重み付けする。
【００２１】
ステップ１４において、残差を符号化して符号化データストリームにする。このステップは、一般的に、残差の変換、量子化、及びエントロピー符号化の各ステップを有する。これらのステップは当業者には周知であり、これ以上は説明しない。このステップ１４は、場合によっては、符号化するピクセルブロックＢｃに関連する動きベクトルＶｐの符号化を含む。一変形例では、動きベクトルは符号化されない。例えば、符号化するピクセルブロックＢｃに関連する動きベクトルＶｐは、同じテンプレートマッチングタイプの方法で、符号化器側と復号器側で決定される。
【００２２】
第２の実施形態によると、ステップ１１０で決定された昼間予測ブロックｂ′は、画像Ｉｒ中のブロックＢｃと同じ場所のブロックｂを拡大することにより、すなわち図３に示したように、ベクトルＶｐの整数部分（ｄｘ，ｄｙ）に対応する変位より必ずおおきいサイズＮ×Ｎ（すなわち、Ｎ＞ｄｘ，Ｎ＞ｄｙ）まで、動きの方向に１つ以上のピクセル行とピクセル列を加えることにより、ブロックｂから得られる。このサイズは、例えば、高速変換アルゴリズムを使えるようにするため、２のべき乗である。
【００２３】
中間予測ブロックｂ′は、ステップ１２０において、第１の変換Ｔで、第１変換ブロックＢ１に変換される。Tは、例えば、分割可能なＤＣＴ（「離散余弦変換」）である。その結果、
＜外１＞
第１変換ブロックＢ１は、ステップ１３０において、第１の変換の第２の逆変換で、基底関数が動きベクトルの成分の整数部分と端数部分だけシフトされた第２変換ブロックＢ２に変換される。
【００２４】
第２の変換は、例えば、基底関数が次のように定義された逆ＤＣＴ変換である：
【数７】
【数８】
それゆえ基底関数は、図３を参照して説明した場合、動きベクトルＶｐの成分だけシフトされる。
【００２５】
その結果、
【数９】
ステップ１４０において、余録ブロックＢｐは、同じ場所のブロックｂに対応する部分を、第２変換ブロックＢ２から取り出すことにより得られる。図４ではブロックＢｐをハッチングした。
【００２６】
本発明による符号化方法の優位性のひとつは、通常の補間フィルタのサポートより小さいサポートを用いることである。そのため、１／４ピクセル補間（interpolation）の場合、通常の補間フィルタは６係数の長さを有する。かかる補間フィルタの使用により、画像のエッジに問題が生じ、パッディング法（padding techniques）の使用が必要となる。本発明による方法により、この問題から抜け出すことができる。確かに、画像のエッジでは、Ｎ＝Ｍ＋１である第１の実施形態を用いるのが好ましい。
【００２７】
図５は、本発明による、符号化データのストリームＦからピクセルブロックＢｃを再構成する方法を表す。
【００２８】
符号化方法のステップと同じステップは、図５において、同じ参照数字を用いて示し、改めて説明はしない。
【００２９】
ステップ１０において、成分（Ｖｘ，Ｖｙ）の動きベクトル（Ｖｘ＝ｄｘ＋ｄｘｒｓかつＶｙ＝ｄｙ＋ｄｙｒｓ）から符号化するピクセルブロックの予測ブロックを決定する。このベクトルは、例えば、符号化データのストリームＦの一部を符号化したものである。一変形例では、ベクトルＶｐはテンプレートマッチングにより決まる。ステップ１０は、具体的に、予測ブロックＢｐを決定するステップ１１０、１２０、１３０及び１４０を有する。これらのステップは、図１を参照して説明した符号化方法のステップと同じである。符号化方法について説明した実施形態の変形例は、復号方法にも適用可能である。
【００３０】
ステップ２２において、ストリームＦからの再構成するブロックＢｃの残差を復号する。このステップは、一般的に、ストリームＦの少なくとも一部のエントロピー復号と、逆量子化と、逆変換とを含む。これらのステップは当業者には周知であり、これ以上は説明しない。これらは、符号化方法のステップ１４で実行するステップの逆ステップである。
【００３１】
ステップ２４において、残差と予測ブロックＢｐからブロックＢｃを再構成する。ブロックＢｃは、一般的に、ステップ１０で決定された残差と予測ブロックをピクセルごとに加えることにより再構成される。場合によっては、この和を、輝度変化モデルを考慮して重み付けする。
【００３２】
本発明は、図６を参照して説明する符号化装置１２と、図７を参照して説明する復号装置１３にも関する。この図では、図示したモジュールは機能ユニットであり、必ずしも物理的に区別可能なユニットに対応するものではない。例えば、これらのモジュールは全体を、またはその一部を、１つの部品や回路にまとめてもよいし、または同一ソフトウェアの機能としてもよい。逆に、複数の物理的実体により構成されたモジュールがあってもよい。
【００３３】
符号化装置１２は画像のシーケンスの一部である画像Ｉを入力される。各画像は画素のブロックに分割されており、各画素ブロックには、例えば、輝度及び／又は色度（chrominance）の少なくとも１つの画像データが関連付けられている。符号化装置１２は、時間的予測をする符号化を実施する。図６には、時間的予測すなわち「インター（INTER）」符号化による符号化に関する符号化装置１２のモジュールのみが示されている。図示していないがビデオ符号化装置の当業者には知られているその他のモジュールは、「イントラ（INTRA）」符号化を実施するが、これは空間的予測を含むこともあれば、含まないこともある。特に、符号化装置１２は、現在ブロックＢｃからピクセルごとに予測ブロックＢｐを減算して、「ｒｅｓ」で示す残差または残差ブロックを生成できる計算モジュールＡＤＤ１を有する。さらに、残差ブロックｒｅｓを変換し量子化して量子化データを生成できるモジュールＴＱを有する。変換Ｔは例えばＤＣＴである。符号化装置１２はさらに、量子化データを符号化して、符号化データストリームＦを生成するエントロピー符号化モジュールＣＯＤを有する。さらに、モジュールＴＱの逆操作を実行するモジュールＩＴＱを有する。モジュールＩＴＱは、逆量子化とそれに続く逆変換とを実行する。モジュールＩＴＱは計算モジュールＡＤＤ２に接続されている。計算モジュールＡＤＤ２は、モジュールＩＴＱからのデータブロックと予測ブロックＢｐとをピクセルごとに加算して、再構成画像データブロックを生成する。生成された再構成画像データブロックはメモリＭＥＭに記憶される。
【００３４】
符号化装置１２は、ブロックＢｃと、メモリＭＥＭに記憶された参照画像Ｉｒとの間の少なくとも１つの動きベクトルＶｐを推定できる動き推定モジュールＭＥも有する。参照画像は事前に符号化され再構成されたものである。一変形例では、現在ブロックＢｃとＩｒに対応するソース画像との間の動き推定を行う。この場合には、メモリＭＥＭは動き推定モジュールＭＥには接続されない。当業者には周知な方法では、動き推定モジュールは、基準画像Ｉｒ中の、対応するソース画像中の、動きベクトルを検索し、現在ブロックＢｃと、前記動きベクトルを用いて特定される基準画像Ｉｒ中の、対応する各ソース画像中のブロックとの間で計算されるエラーを最小化する。一変形例によると、動きベクトルは位相相関またはグローバル動き推定により決定される。動きデータは、動き推定モジュールＭＥから決定モジュールＤＥＣＩＳＩＯＮに送られる。決定モジュールは、所定の符号化モードセットの中からブロックＢｃに用いる符号化モードを選択できる。選択された符号化モードは、例えば、ビットレート歪みタイプの基準を最小化するものである。しかし、本発明は、この選択方法には限定されず、選択されるモードをアプリオリタイプ基準などの他の基準によって選択することも可能である。決定モジュールＤＥＣＩＳＩＯＮにより選択された符号化モードと、時間的予測モードすなわち「インター」モードの場合の動きベクトルなどの動きデータとは、予測モジュールＰＲＥＤに送信される。動きベクトルと選択された符号化モードとは、さらに、エントロピー符号化モジュールＣＯＤに送信され、ストリームＦに符号化される。予測モードＩＮＴＥＲが決定モジュールＤＥＣＩＳＩＯＮにより保持されると、予測モジュールＰＲＥＤは、動き推定モジュールＭＥにより決定された動きベクトルから、前に再構成されメモリＭＥＭに記憶された基準画像Ｉｒ中の予測ブロックＢｐを決定する。予測モードＩＮＴＲＡが決定モジュールＤＥＣＩＳＩＯＮにより保持されている場合、予測モジュールＰＲＥＤは、現在の画像中、前に符号化しメモリＭＥＭに記憶されたブロック中の予測ブロックＢｐを決定する。
【００３５】
予測モジュールＰＲＥＤは、図１を参照して説明した符号化方法のステップ１１０、１２０、１３０及び１４０により、予測ブロックＢｐを決定できる。
【００３６】
図７を参照して復号装置１３を説明する。復号装置１３は、画像シーケンスを表す符号化データストリームＦを入力として受け取る。ストリームＦは、例えば符号化装置１２により送信される。復号装置１３は、復号データ、例えば符号化モードと画像のコンテンツに関する復号データを生成できるエントロピー復号モジュールＤＥＣを有する。復号装置１３は、さらに動きデータ再構成モジュールを有する。第１の実施形態では、動きデータ再構成モジュールは、動きベクトルを表すストリームＦの一部を復号するエントロピー復号モジュールＤＥＣである。
【００３７】
一変形例では、図７には図示していないが、動きデータ再構成モジュールは動き推定モジュールである。復号装置１３により動きデータを再構成するこの方法は、「テンプレートマッチング」として知られている。
【００３８】
画像コンテンツに関する復号データは、逆量子化とその後の逆変換を実行できるモジュールＩＴＱに送信される。モジュールＩＴＱは、符号化ストリームＦを生成した符号化装置１２のモジュールＩＴＱと同様である。モジュールＩＴＱは計算モジュールＡＤＤに接続されている。計算モジュールＡＤＤは、モジュールＩＴＱからのデータブロックと予測ブロックＢｐとをピクセルごとに加算して、再構成画像データブロックを生成する。生成された再構成画像データブロックはメモリＭＥＭに記憶される。復号装置１３は、符号化装置１２の予測モジュールＰＲＥＤと同様の予測モジュールＰＲＥＤも有する。予測モードＩＮＴＥＲを復号すると、予測モジュールＰＲＥＤは、前に再構成されメモリＭＥＭに記憶された基準画像Ｉｒにおいて、エントロピー復号モジュールＤＥＣにより現在のブロックＢｃに対して復号された動きベクトルＶｐから予測ブロックＢｐを決定する。予測モードＩＮＴＲＡが復号されると、予測モジュールＰＲＥＤは、前に再構成されメモリＭＥＭに記憶されたブロック中の現在の画像において、予測ブロックＢｐを決定する。
【００３９】
予測モジュールＰＲＥＤは、図５を参照して説明した再構成方法のステップ１１０、１２０、１３０及び１４０により、予測ブロックＢｐを決定できる。
【００４０】
本発明による符号化装置と復号装置は、例えば、ハードウェア、ソフトウェア、ファームウェア、特殊用途プロセッサ、またはこれらの組み合わせなどのいろいろな形体で実施することができる。好ましくは、本原理は、ハードウェアとソフトウェアを組み合わせて実施できる。また、プログラム記録装置に有体的に化体されたアプリケーションプログラムとしてソフトウェアを実施してもよい。そのアプリケーションプログラムは、好適なアーキテクチャを有する機械にアップロードされ、実行される。好ましくは、機械は、中央処理装置（ＣＰＵ）、ランダムアクセスメモリ（ＲＡＭ）、及び入出力（Ｉ／Ｏ）インターフェイス等のハードウェアを有するコンピュータプラットフォームで実施される。コンピュータプラットフォームはオペレーティングシステムとマイクロコードも含んでもよい。ここに説明した様々なプロセスや機能は、オペレーティングシステムにより実行できる、マイクロ命令コードの一部やアプリケーションプログラムの一部（またはこれらの組み合わせ）であってもよい。また、追加的データ記憶装置や印刷装置等その他の様々な周辺装置をコンピュータプラットフォームに接続してもよい。
【００４１】
変形例では、本発明による符号化装置と復号装置は、純粋なハードウェアにより実施される。例えば、専用コンポーネント（例えば、ＡＳＩＣ、ＦＰＧＡ、ＶＬＳＩなど）や、一デバイスに集積された複数の電子コンポーネントなどの形態や、ハードウェア要素とソフトウェア要素のミックスの形態で実施される。
【００４２】
明らかに、本発明は上記の実施形態に限定されない。
【００４３】
特に、本技術分野の当業者は、上記の実施形態を適宜変形して、または組み合わせて、その効果を享有することができる。特に、本発明は、ＤＣＴを用いて説明したが、他の可分な又は非可分な変換に適用できる。
【００４４】
また、本発明は、いかなる形状のブロックにも、すなわち四角形でないブロックにも適用できる。前述のように、本発明はＳＡＤＣＴタイプの形状適応的変換など、他の変換にも適用できる。特に、ＳＡＤＣＴは次の文献に説明されている：
Kaup
A., Panis S., On the Performance of the Shape Adaptive DCT in Object-based
coding of motion compensated difference Images; １９９７
Stasinski
R., Konrad J., Reduced-complexity shape-adaptive dct for region-based image
coding, USA; １９９８
本発明は、ピクセルブロックについて説明したが、一画像の複数のブロックにも適用でき、複数画像のシーケンスの複数ブロックにも適用できる。
【技術分野】
【０００１】
本発明は概して画像符号化の分野に関する。本発明は、より詳しくは、ピクセルブロックの符号化方法と、かかるブロックの再構成方法とに関する。
【背景技術】
【０００２】
サブピクセルの精度で動きベクトルを推定できる動き推定モジュールを有するビデオ符号化装置が知られている。例えば、この動き推定モジュールは、補間フィルタを用いて１／２ピクセル、１／４ピクセル、場合によっては１／８ピクセルで補間されたピクセルの変位を推定する。
【０００３】
（位相相関などの）コリレータや、１／８ピクセル未満のサブピクセル精度で動きベクトルを推定できるグローバル動き推定を用いる動き推定モジュールが知られている。
【０００４】
サイズが大きくて精度が１／８ピクセルに制限されている通常の補間フィルタでは、動き補償をする動きベクトルの成分が１／８ピクセル未満のサブピクセル精度である場合、正確な動き補償ができない。このような、１／２ピクセルの補間をする通常の補間フィルタが、非特許文献１に記載されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】ＩＳＯ／ＩＥＣ標準１４４９６−１０ セクション８．４．２．２
【発明の概要】
【０００６】
本発明の目的は、先行技術の少なくとも１つの欠点を解消することである。この目的のため、本発明は、ピクセルブロックの符号化方法であって、動きベクトルから前記ピクセルブロックの予測ブロックを決定するステップと、前記ピクセルブロックと前記予測ブロックとの間の残差を計算するステップと、前記残差を符号化するステップとを有する符号化方法に関する。有利にも、前記予測ブロックを決定するステップは、サイズが前記ピクセルブロックのサイズより必ず大きい中間予測ブロックを決定するステップと、前記中間予測ブロックを、第１の変換で変換された第１のブロックに変換するステップと、前記第１の変換ブロックを前記第１の変換の逆変換であり基底関数が前記動きベクトルの各成分の少なくとも一部によりシフトされた第２の変換で変換された第２のブロックに変換する、前記予測ブロックは前記第２の変換ブロックから取り出されるステップとを有する。
【０００７】
第１の実施形態では、前記中間予測ブロックは、成分が前記動きベクトルの成分の整数部分である中間動きベクトルから前記ピクセルブロックの動き補償により求めたブロックに、動きの方向に少なくとも一行のピクセルと少なくとも一列のピクセルとを加えることにより決定され、前記第２の変換の基底関数は前記動きベクトルの成分の端数部分だけシフトされる。
【０００８】
第１の実施形態では、前記中間予測ブロックは、前記中間予測ブロックのサイズが前記動きベクトルの成分の整数部分に対応する変位より必ず大きいように、符号化するピクセルのブロックと同じ場所のブロックに、動きの方向に、少なくとも一行のピクセルと少なくとも一列のピクセルとを加えることにより決定され、前記第２の変換の基底関数は前記動きベクトルの成分の端数部分だけシフトされる。
【０００９】
本発明の一特徴によると、前記中間予測ブロックのサイズは２のべき乗である。
【００１０】
本発明の他の一特徴によると、前記第１の変換は２次元離散余弦変換である。
【００１１】
本発明は、ピクセルブロックの再構成方法にも関する。該再構成方法は、動きベクトルから前記ピクセルブロックの予測ブロックを決定するステップと、前記ピクセルブロックの残差を復号するステップと、前記予測ブロックと前記残差から前記ピクセルブロックを再構成するステップとを有する。有利にも、前記予測ブロックを決定するステップは、サイズが前記ピクセルブロックのサイズより必ず大きい中間予測ブロックを決定するステップと、前記中間予測ブロックを、第１の変換で変換された第１のブロックに変換するステップと、前記第１の変換ブロックを前記第１の変換の逆変換であり基底関数が前記動きベクトルの各成分の少なくとも一部によりシフトされた第２の変換で変換された第２のブロックに変換する、前記予測ブロックは前記第２の変換ブロックから取り出されるステップとを有する。
【００１２】
本発明は、ピクセルブロックの符号化装置に関する。該装置は、動きベクトルから前記ピクセルブロックの予測ブロックを決定する手段と、前記ピクセルブロックと前記予測ブロックとの間の残差を計算する手段と、前記残差を符号化する手段とを有する。有利にも、前記予測ブロックを決定する手段は、サイズが前記ピクセルブロックのサイズより必ず大きい中間予測ブロックを決定する手段と、前記中間予測ブロックを、第１の変換で変換された第１のブロックに変換する手段と、前記第１の変換ブロックを、基底関数が前記動きベクトルの各成分の少なくとも一部だけシフトされた、前記第１の変換の逆変換である第２の変換で変換された第２のブロックに変換する手段と、前記第２の変換ブロックから前記予測ブロックを取り出す手段とを有する。
【００１３】
また、本発明は、ピクセルブロックの再生を目的としたストリームの復号装置に関する。該復号装置は、動きベクトルから前記ピクセルブロックの予測ブロックを決定する手段と、前記ストリームからの前記ピクセルブロックの残差を復号する手段と、前記予測ブロックと前記残差から前記ピクセルブロックを再構成する手段とを有する。有利にも、前記予測ブロックを決定する手段は、サイズが前記ピクセルブロックのサイズより必ず大きい中間予測ブロックを決定する手段と、前記中間予測ブロックを、第１の変換で変換された第１のブロックに変換する手段と、前記第１の変換ブロックを、基底関数が前記動きベクトルの各成分の少なくとも一部だけシフトされた、前記第１の変換の逆変換である第２の変換で変換された第２のブロックに変換する手段と、前記第２の変換ブロックから前記予測ブロックを取り出す手段とを有する。
【図面の簡単な説明】
【００１４】
本発明は、添付した図面を参照して、非限定的な実施形態と有利な実装により、より良く理解され、説明される。
【図１】本発明による符号化方法を示す図である。
【図２】符号化するブロックＢｃと中間予測ブロックｂ′とを示す図である。
【図３】符号化するブロックＢｃと中間予測ブロックｂ′とを示す図である。
【図４】変換されたブロックＢ２と予測ブロックＢｐとを示す図である。
【図５】本発明による再構成方法を示す図である。
【図６】本発明による符号化装置を示す図である。
【図７】本発明による復号装置を示す図である。
【発明を実施するための形態】
【００１５】
図１は、本発明による、画像ＩｃのピクセルブロックＢｃを符号化する方法を示す。ＢｃはサイズＭ×Ｍ（Ｍは整数）のブロックである。ピクセルブロックＢｃは画像シーケンスの画像Ｉｃの一部である。ステップ１０において、成分（Ｖｘ，Ｖｙ）を有する動きベクトルから、符号化するピクセルブロックＢｃの予測ブロックＢｐを決定する。ここで、Ｖｘ＝ｄｘ＋ｄｘｒｓかつＶｙ＝ｄｙ＋ｄｙｒｓであり、（ｄｘ，ｄｙ）は成分の整数部分であり、（ｄｘｒｓ、ｄｙｒｓ）は成分の端数部分である。例えば、Ｖｘ＝２.２８の場合、ｄｘ＝２かつｄｘｒｓ＝０.２８であり、Ｖｘ＝−３.７３の場合、ｄｘ＝−３かつｄｘｒｓ＝−０．７３である。ブロックＢｃに関連する動きベクトルＶｐは、例えば、位相相関やグローバル動き推定による動き推定から得られる。Ｖｐは、現在画像Ｉｃと基準画像Ｉｒとの間のブロックＢｃの変位を示す。本発明は、動きベクトルＶｐを求めるのに使われる方法によってはまったく限定されない。予測ブロックＢｐを決定するステップ１０は、動き補償ステップとしても知られているが、図２に示した第１の実施形態のように、中間動きベクトルから基準画像Ｉｒにおける中間予測ブロックｂ′を決定するステップ１１０を有する。中間動きベクトルの成分は、図２に示したように、動きベクトルＶｐの成分の整数部分（ｄｘ，ｄｙ）である。中間予測ブロックｂ′は、成分（ｄｘ，ｄｙ）の中間動きベクトルからブロックＢｃの動き補償により求められるブロックｂを含むｂ′はサイズがＮ×Ｎであり、Ｎは必ずＭよりも大きい。第１の変形例では、Ｎ＝Ｍ＋１である。より詳しくは、ブロックｂ′は、図２に示したように、ブロックｂに、変位／動きの方向の側の２辺に少なくとも１ピクセルずつの行と列を加えることにより得られる。動きの方向は動きベクトルＶｐで与えられる。このように、図２では、サブピクセル変位は、ブロックｂ′では右下向きに起こる。結果として、ブロックｂ′は、ブロックｂに対して上辺に１ピクセルの行と左辺に１ピクセルの列とを加えたブロックである。
【００１６】
例えば、ブロックＢｃを符号化し、関連する予測ブロックＢｐがサイズ８×８のブロックであるとき、中間予測ブロックｂ′は、図２に示したように、ブロックｂに、動きの方向に１ピクセルの行と列を加えることにより求めたサイズが９×９のブロックである。
第２の実施形態では、中間予測ブロックｂ′は、ブロックｂに、その変位／動きの方向の２辺に必要なだけのピクセルの行と列を加えることにより得られ、Ｎは２のべき乗になる。この変形例により高速変換アルゴリズムを使えるようになる。
【００１７】
中間予測ブロックｂ′は、ステップ１２０において、次元Ｎの第１の変換Ｔで、第１変換ブロックＢ１に変換される。Ｔは、例えば、基底関数ｃ（ｉ，ｊ）が次のように定義された分離可能なＤＣＴ（「離散余弦変換」）変換である：
【数１】
その結果、
【数２】
第１変換ブロックＢ１は、ステップ１３０において、第１の変換の第２の逆変換で、基底関数が動きベクトルＶｐの成分の端数部分（ｄｘｒｓ、ｄｙｒｓ）だけシフトされた第２変換ブロックＢ２に変換される。第２の変換は、例えば、基底関数が次のように定義された逆ＤＣＴ変換である：
【数３】
【数４】
それゆえ基底関数は、図２を参照して説明した場合、動きベクトルの成分の端数部分（ｄｘｒｓ、ｄｙｒｓ）だけシフトされる。
【００１８】
その結果、
【数５】
ステップ１４０において、余録ブロックＢｐは、ブロックｂに対応する部分を、第２変換ブロックＢ２から取り出すことにより得られる。図２の場合、ブロックＢｐは、第１のピクセル行と第１のピクセル列をＢ２から削除することにより得られる。
【００１９】
それゆえ、中間予測ブロックｂ′は、逆変換（３）と（４）による中間予測ブロックｂ′内の画像信号のサブピクセル変位が、中間予測ブロックｂ′のピクセルからブロックｂのピクセルまで実行されるように（すなわち、動きと反対の方向に）、ピクセル行とピクセル列とを加えることにより、ブロックｂから得られる。
【００２０】
ステップ１２において、ピクセルブロックＢｃと予測ブロックＢｐとの間の残差または残差ブロックを計算する。残差は、一般的に、符号化するピクセルブロックＢｃと、ステップ１０で決定された予測ブロックＢｐとをピクセルごとに差分することにより計算する。場合によって、差分を、輝度変化モデルを考慮して重み付けする。
【００２１】
ステップ１４において、残差を符号化して符号化データストリームにする。このステップは、一般的に、残差の変換、量子化、及びエントロピー符号化の各ステップを有する。これらのステップは当業者には周知であり、これ以上は説明しない。このステップ１４は、場合によっては、符号化するピクセルブロックＢｃに関連する動きベクトルＶｐの符号化を含む。一変形例では、動きベクトルは符号化されない。例えば、符号化するピクセルブロックＢｃに関連する動きベクトルＶｐは、同じテンプレートマッチングタイプの方法で、符号化器側と復号器側で決定される。
【００２２】
第２の実施形態によると、ステップ１１０で決定された昼間予測ブロックｂ′は、画像Ｉｒ中のブロックＢｃと同じ場所のブロックｂを拡大することにより、すなわち図３に示したように、ベクトルＶｐの整数部分（ｄｘ，ｄｙ）に対応する変位より必ずおおきいサイズＮ×Ｎ（すなわち、Ｎ＞ｄｘ，Ｎ＞ｄｙ）まで、動きの方向に１つ以上のピクセル行とピクセル列を加えることにより、ブロックｂから得られる。このサイズは、例えば、高速変換アルゴリズムを使えるようにするため、２のべき乗である。
【００２３】
中間予測ブロックｂ′は、ステップ１２０において、第１の変換Ｔで、第１変換ブロックＢ１に変換される。Tは、例えば、分割可能なＤＣＴ（「離散余弦変換」）である。その結果、
＜外１＞
第１変換ブロックＢ１は、ステップ１３０において、第１の変換の第２の逆変換で、基底関数が動きベクトルの成分の整数部分と端数部分だけシフトされた第２変換ブロックＢ２に変換される。
【００２４】
第２の変換は、例えば、基底関数が次のように定義された逆ＤＣＴ変換である：
【数７】
【数８】
それゆえ基底関数は、図３を参照して説明した場合、動きベクトルＶｐの成分だけシフトされる。
【００２５】
その結果、
【数９】
ステップ１４０において、余録ブロックＢｐは、同じ場所のブロックｂに対応する部分を、第２変換ブロックＢ２から取り出すことにより得られる。図４ではブロックＢｐをハッチングした。
【００２６】
本発明による符号化方法の優位性のひとつは、通常の補間フィルタのサポートより小さいサポートを用いることである。そのため、１／４ピクセル補間（interpolation）の場合、通常の補間フィルタは６係数の長さを有する。かかる補間フィルタの使用により、画像のエッジに問題が生じ、パッディング法（padding techniques）の使用が必要となる。本発明による方法により、この問題から抜け出すことができる。確かに、画像のエッジでは、Ｎ＝Ｍ＋１である第１の実施形態を用いるのが好ましい。
【００２７】
図５は、本発明による、符号化データのストリームＦからピクセルブロックＢｃを再構成する方法を表す。
【００２８】
符号化方法のステップと同じステップは、図５において、同じ参照数字を用いて示し、改めて説明はしない。
【００２９】
ステップ１０において、成分（Ｖｘ，Ｖｙ）の動きベクトル（Ｖｘ＝ｄｘ＋ｄｘｒｓかつＶｙ＝ｄｙ＋ｄｙｒｓ）から符号化するピクセルブロックの予測ブロックを決定する。このベクトルは、例えば、符号化データのストリームＦの一部を符号化したものである。一変形例では、ベクトルＶｐはテンプレートマッチングにより決まる。ステップ１０は、具体的に、予測ブロックＢｐを決定するステップ１１０、１２０、１３０及び１４０を有する。これらのステップは、図１を参照して説明した符号化方法のステップと同じである。符号化方法について説明した実施形態の変形例は、復号方法にも適用可能である。
【００３０】
ステップ２２において、ストリームＦからの再構成するブロックＢｃの残差を復号する。このステップは、一般的に、ストリームＦの少なくとも一部のエントロピー復号と、逆量子化と、逆変換とを含む。これらのステップは当業者には周知であり、これ以上は説明しない。これらは、符号化方法のステップ１４で実行するステップの逆ステップである。
【００３１】
ステップ２４において、残差と予測ブロックＢｐからブロックＢｃを再構成する。ブロックＢｃは、一般的に、ステップ１０で決定された残差と予測ブロックをピクセルごとに加えることにより再構成される。場合によっては、この和を、輝度変化モデルを考慮して重み付けする。
【００３２】
本発明は、図６を参照して説明する符号化装置１２と、図７を参照して説明する復号装置１３にも関する。この図では、図示したモジュールは機能ユニットであり、必ずしも物理的に区別可能なユニットに対応するものではない。例えば、これらのモジュールは全体を、またはその一部を、１つの部品や回路にまとめてもよいし、または同一ソフトウェアの機能としてもよい。逆に、複数の物理的実体により構成されたモジュールがあってもよい。
【００３３】
符号化装置１２は画像のシーケンスの一部である画像Ｉを入力される。各画像は画素のブロックに分割されており、各画素ブロックには、例えば、輝度及び／又は色度（chrominance）の少なくとも１つの画像データが関連付けられている。符号化装置１２は、時間的予測をする符号化を実施する。図６には、時間的予測すなわち「インター（INTER）」符号化による符号化に関する符号化装置１２のモジュールのみが示されている。図示していないがビデオ符号化装置の当業者には知られているその他のモジュールは、「イントラ（INTRA）」符号化を実施するが、これは空間的予測を含むこともあれば、含まないこともある。特に、符号化装置１２は、現在ブロックＢｃからピクセルごとに予測ブロックＢｐを減算して、「ｒｅｓ」で示す残差または残差ブロックを生成できる計算モジュールＡＤＤ１を有する。さらに、残差ブロックｒｅｓを変換し量子化して量子化データを生成できるモジュールＴＱを有する。変換Ｔは例えばＤＣＴである。符号化装置１２はさらに、量子化データを符号化して、符号化データストリームＦを生成するエントロピー符号化モジュールＣＯＤを有する。さらに、モジュールＴＱの逆操作を実行するモジュールＩＴＱを有する。モジュールＩＴＱは、逆量子化とそれに続く逆変換とを実行する。モジュールＩＴＱは計算モジュールＡＤＤ２に接続されている。計算モジュールＡＤＤ２は、モジュールＩＴＱからのデータブロックと予測ブロックＢｐとをピクセルごとに加算して、再構成画像データブロックを生成する。生成された再構成画像データブロックはメモリＭＥＭに記憶される。
【００３４】
符号化装置１２は、ブロックＢｃと、メモリＭＥＭに記憶された参照画像Ｉｒとの間の少なくとも１つの動きベクトルＶｐを推定できる動き推定モジュールＭＥも有する。参照画像は事前に符号化され再構成されたものである。一変形例では、現在ブロックＢｃとＩｒに対応するソース画像との間の動き推定を行う。この場合には、メモリＭＥＭは動き推定モジュールＭＥには接続されない。当業者には周知な方法では、動き推定モジュールは、基準画像Ｉｒ中の、対応するソース画像中の、動きベクトルを検索し、現在ブロックＢｃと、前記動きベクトルを用いて特定される基準画像Ｉｒ中の、対応する各ソース画像中のブロックとの間で計算されるエラーを最小化する。一変形例によると、動きベクトルは位相相関またはグローバル動き推定により決定される。動きデータは、動き推定モジュールＭＥから決定モジュールＤＥＣＩＳＩＯＮに送られる。決定モジュールは、所定の符号化モードセットの中からブロックＢｃに用いる符号化モードを選択できる。選択された符号化モードは、例えば、ビットレート歪みタイプの基準を最小化するものである。しかし、本発明は、この選択方法には限定されず、選択されるモードをアプリオリタイプ基準などの他の基準によって選択することも可能である。決定モジュールＤＥＣＩＳＩＯＮにより選択された符号化モードと、時間的予測モードすなわち「インター」モードの場合の動きベクトルなどの動きデータとは、予測モジュールＰＲＥＤに送信される。動きベクトルと選択された符号化モードとは、さらに、エントロピー符号化モジュールＣＯＤに送信され、ストリームＦに符号化される。予測モードＩＮＴＥＲが決定モジュールＤＥＣＩＳＩＯＮにより保持されると、予測モジュールＰＲＥＤは、動き推定モジュールＭＥにより決定された動きベクトルから、前に再構成されメモリＭＥＭに記憶された基準画像Ｉｒ中の予測ブロックＢｐを決定する。予測モードＩＮＴＲＡが決定モジュールＤＥＣＩＳＩＯＮにより保持されている場合、予測モジュールＰＲＥＤは、現在の画像中、前に符号化しメモリＭＥＭに記憶されたブロック中の予測ブロックＢｐを決定する。
【００３５】
予測モジュールＰＲＥＤは、図１を参照して説明した符号化方法のステップ１１０、１２０、１３０及び１４０により、予測ブロックＢｐを決定できる。
【００３６】
図７を参照して復号装置１３を説明する。復号装置１３は、画像シーケンスを表す符号化データストリームＦを入力として受け取る。ストリームＦは、例えば符号化装置１２により送信される。復号装置１３は、復号データ、例えば符号化モードと画像のコンテンツに関する復号データを生成できるエントロピー復号モジュールＤＥＣを有する。復号装置１３は、さらに動きデータ再構成モジュールを有する。第１の実施形態では、動きデータ再構成モジュールは、動きベクトルを表すストリームＦの一部を復号するエントロピー復号モジュールＤＥＣである。
【００３７】
一変形例では、図７には図示していないが、動きデータ再構成モジュールは動き推定モジュールである。復号装置１３により動きデータを再構成するこの方法は、「テンプレートマッチング」として知られている。
【００３８】
画像コンテンツに関する復号データは、逆量子化とその後の逆変換を実行できるモジュールＩＴＱに送信される。モジュールＩＴＱは、符号化ストリームＦを生成した符号化装置１２のモジュールＩＴＱと同様である。モジュールＩＴＱは計算モジュールＡＤＤに接続されている。計算モジュールＡＤＤは、モジュールＩＴＱからのデータブロックと予測ブロックＢｐとをピクセルごとに加算して、再構成画像データブロックを生成する。生成された再構成画像データブロックはメモリＭＥＭに記憶される。復号装置１３は、符号化装置１２の予測モジュールＰＲＥＤと同様の予測モジュールＰＲＥＤも有する。予測モードＩＮＴＥＲを復号すると、予測モジュールＰＲＥＤは、前に再構成されメモリＭＥＭに記憶された基準画像Ｉｒにおいて、エントロピー復号モジュールＤＥＣにより現在のブロックＢｃに対して復号された動きベクトルＶｐから予測ブロックＢｐを決定する。予測モードＩＮＴＲＡが復号されると、予測モジュールＰＲＥＤは、前に再構成されメモリＭＥＭに記憶されたブロック中の現在の画像において、予測ブロックＢｐを決定する。
【００３９】
予測モジュールＰＲＥＤは、図５を参照して説明した再構成方法のステップ１１０、１２０、１３０及び１４０により、予測ブロックＢｐを決定できる。
【００４０】
本発明による符号化装置と復号装置は、例えば、ハードウェア、ソフトウェア、ファームウェア、特殊用途プロセッサ、またはこれらの組み合わせなどのいろいろな形体で実施することができる。好ましくは、本原理は、ハードウェアとソフトウェアを組み合わせて実施できる。また、プログラム記録装置に有体的に化体されたアプリケーションプログラムとしてソフトウェアを実施してもよい。そのアプリケーションプログラムは、好適なアーキテクチャを有する機械にアップロードされ、実行される。好ましくは、機械は、中央処理装置（ＣＰＵ）、ランダムアクセスメモリ（ＲＡＭ）、及び入出力（Ｉ／Ｏ）インターフェイス等のハードウェアを有するコンピュータプラットフォームで実施される。コンピュータプラットフォームはオペレーティングシステムとマイクロコードも含んでもよい。ここに説明した様々なプロセスや機能は、オペレーティングシステムにより実行できる、マイクロ命令コードの一部やアプリケーションプログラムの一部（またはこれらの組み合わせ）であってもよい。また、追加的データ記憶装置や印刷装置等その他の様々な周辺装置をコンピュータプラットフォームに接続してもよい。
【００４１】
変形例では、本発明による符号化装置と復号装置は、純粋なハードウェアにより実施される。例えば、専用コンポーネント（例えば、ＡＳＩＣ、ＦＰＧＡ、ＶＬＳＩなど）や、一デバイスに集積された複数の電子コンポーネントなどの形態や、ハードウェア要素とソフトウェア要素のミックスの形態で実施される。
【００４２】
明らかに、本発明は上記の実施形態に限定されない。
【００４３】
特に、本技術分野の当業者は、上記の実施形態を適宜変形して、または組み合わせて、その効果を享有することができる。特に、本発明は、ＤＣＴを用いて説明したが、他の可分な又は非可分な変換に適用できる。
【００４４】
また、本発明は、いかなる形状のブロックにも、すなわち四角形でないブロックにも適用できる。前述のように、本発明はＳＡＤＣＴタイプの形状適応的変換など、他の変換にも適用できる。特に、ＳＡＤＣＴは次の文献に説明されている：
Kaup
A., Panis S., On the Performance of the Shape Adaptive DCT in Object-based
coding of motion compensated difference Images; １９９７
Stasinski
R., Konrad J., Reduced-complexity shape-adaptive dct for region-based image
coding, USA; １９９８
本発明は、ピクセルブロックについて説明したが、一画像の複数のブロックにも適用でき、複数画像のシーケンスの複数ブロックにも適用できる。
【特許請求の範囲】
【請求項１】
ピクセルブロックの符号化方法であって、
動きベクトルから前記ピクセルブロックの予測ブロックを決定するステップと、
前記ピクセルブロックと前記予測ブロックとの間の残差を計算するステップと、
前記残差を符号化するステップとを有し、
前記符号化方法は、前記予測ブロックを決定するステップが、
サイズが前記ピクセルブロックのサイズより必ず大きい中間予測ブロックを決定するステップと、
前記中間予測ブロックを、第１の変換で変換された第１のブロックに変換するステップと、
前記第１の変換ブロックを前記第１の変換の逆変換であり基底関数が前記動きベクトルの各成分の少なくとも一部によりシフトされた第２の変換で変換された第２のブロックに変換する、前記予測ブロックは前記第２の変換ブロックから取り出されるステップとを有することを特徴とする、符号化方法。
【請求項２】
前記中間予測ブロックは、成分が前記動きベクトルの成分の整数部分である中間動きベクトルから前記ピクセルブロックの動き補償により求めたブロックに、動きの方向に少なくとも一行のピクセルと少なくとも一列のピクセルとを加えることにより決定され、
前記第２の変換の基底関数は前記動きベクトルの成分の端数部分だけシフトされた、
請求項１に記載の符号化方法。
【請求項３】
前記中間予測ブロックは、前記中間予測ブロックのサイズが前記動きベクトルの成分の整数部分に対応する変位より必ず大きいように、符号化するピクセルのブロックと同じ場所のブロックに、動きの方向に、少なくとも一行のピクセルと少なくとも一列のピクセルとを加えることにより決定され、
前記第２の変換の基底関数は前記動きベクトルの全成分だけシフトされた、
請求項１に記載の符号化方法。
【請求項４】
前記中間予測ブロックのサイズは２のべき乗である、
請求項１ないし３いずれか一項に記載の符号化方法。
【請求項５】
前記第１の変換は２次元離散余弦変換である、
請求項１ないし４いずれか一項に記載の符号化方法。
【請求項６】
ピクセルブロックの再構成方法であって、
動きベクトルから前記ピクセルブロックの予測ブロックを決定するステップと、
前記ピクセルブロックの残差を符号化するステップと、
前記予測ブロックと前記残差から前記ピクセルブロックを再構成するステップと、
前記再構成方法は、前記予測ブロックを決定するステップが、
サイズが前記ピクセルブロックのサイズより必ず大きい中間予測ブロックを決定するステップと、
前記中間予測ブロックを、第１の変換で変換された第１のブロックに変換するステップと、
前記第１の変換ブロックを前記第１の変換の逆変換であり基底関数が前記動きベクトルの各成分の少なくとも一部によりシフトされた第２の変換で変換された第２のブロックに変換する、前記予測ブロックは前記第２の変換ブロックから取り出されるステップとを有することを特徴とする、再構成方法。
【請求項７】
前記中間予測ブロックは、成分が前記動きベクトルの成分の整数部分である中間動きベクトルから前記ピクセルブロックの動き補償により求めたブロックに、動きの方向に少なくとも一行のピクセルと少なくとも一列のピクセルとを加えることにより決定され、
前記第２の変換の基底関数は前記動きベクトルの成分の端数部分だけシフトされた、
請求項６に記載のピクセルブロックの再構成方法。
【請求項８】
前記中間予測ブロックは、前記中間予測ブロックのサイズが前記動きベクトルの成分の整数部分に対応する変位より必ず大きいように、符号化するピクセルのブロックと同じ場所のブロックに、動きの方向に、少なくとも一行のピクセルと少なくとも一列のピクセルとを加えることにより決定され、
前記第２の変換の基底関数は前記動きベクトルの全成分だけシフトされた、
請求項６に記載のピクセルブロックの再構成方法。
【請求項９】
前記中間予測ブロックのサイズは２のべき乗である、
請求項６ないし８いずれか一項に記載のピクセルブロックの再構成方法。
【請求項１０】
前記第１の変換は２次元離散余弦変換である、
請求項６ないし９いずれか一項に記載のピクセルブロックの再構成方法。
【請求項１１】
ピクセルブロックの符号化装置であって、
動きベクトルから前記ピクセルブロックの予測ブロックを決定する手段と、
前記ピクセルブロックと前記予測ブロックとの間の残差を計算する手段と、
前記残差を符号化する手段とを有し、
前記符号化装置は、前記予測ブロックを決定する手段が、
サイズが前記ピクセルブロックのサイズより必ず大きい中間予測ブロックを決定する手段と、
前記中間予測ブロックを、第１の変換で変換された第１のブロックに変換する手段と、
前記第１の変換ブロックを、基底関数が前記動きベクトルの各成分の少なくとも一部だけシフトされた、前記第１の変換の逆変換である第２の変換で変換された第２のブロックに変換する手段と、
前記第２の変換ブロックから前記予測ブロックを取り出す手段とを有することを特徴とする、符号化装置。
【請求項１２】
前記符号化装置は、請求項１ないし５いずれか一項に記載の符号化方法のステップを実行する、
請求項１１に記載の符号化装置。
【請求項１３】
ストリームの復号装置であって、
動きベクトルからピクセルブロックの予測ブロックを決定する手段と、
前記ストリームからの前記ピクセルブロックの残差を復号する手段と、
前記予測ブロックと前記残差から前記ピクセルブロックを再構成する手段とを有し、
前記復号装置は、前記予測ブロックを決定する手段が、
サイズが前記ピクセルブロックのサイズより必ず大きい中間予測ブロックを決定する手段と、
前記中間予測ブロックを、第１の変換で変換された第１のブロックに変換する手段と、
前記第１の変換ブロックを、基底関数が前記動きベクトルの各成分の少なくとも一部だけシフトされた、前記第１の変換の逆変換である第２の変換で変換された第２のブロックに変換する手段と、
前記第２の変換ブロックから前記予測ブロックを取り出す手段とを有することを特徴とする、復号装置。
【請求項１４】
前記復号装置は、請求項６ないし１０いずれか一項に記載の再構成方法のステップを実行する、
請求項１３に記載の復号装置。
【請求項１】
ピクセルブロックの符号化方法であって、
動きベクトルから前記ピクセルブロックの予測ブロックを決定するステップと、
前記ピクセルブロックと前記予測ブロックとの間の残差を計算するステップと、
前記残差を符号化するステップとを有し、
前記符号化方法は、前記予測ブロックを決定するステップが、
サイズが前記ピクセルブロックのサイズより必ず大きい中間予測ブロックを決定するステップと、
前記中間予測ブロックを、第１の変換で変換された第１のブロックに変換するステップと、
前記第１の変換ブロックを前記第１の変換の逆変換であり基底関数が前記動きベクトルの各成分の少なくとも一部によりシフトされた第２の変換で変換された第２のブロックに変換する、前記予測ブロックは前記第２の変換ブロックから取り出されるステップとを有することを特徴とする、符号化方法。
【請求項２】
前記中間予測ブロックは、成分が前記動きベクトルの成分の整数部分である中間動きベクトルから前記ピクセルブロックの動き補償により求めたブロックに、動きの方向に少なくとも一行のピクセルと少なくとも一列のピクセルとを加えることにより決定され、
前記第２の変換の基底関数は前記動きベクトルの成分の端数部分だけシフトされた、
請求項１に記載の符号化方法。
【請求項３】
前記中間予測ブロックは、前記中間予測ブロックのサイズが前記動きベクトルの成分の整数部分に対応する変位より必ず大きいように、符号化するピクセルのブロックと同じ場所のブロックに、動きの方向に、少なくとも一行のピクセルと少なくとも一列のピクセルとを加えることにより決定され、
前記第２の変換の基底関数は前記動きベクトルの全成分だけシフトされた、
請求項１に記載の符号化方法。
【請求項４】
前記中間予測ブロックのサイズは２のべき乗である、
請求項１ないし３いずれか一項に記載の符号化方法。
【請求項５】
前記第１の変換は２次元離散余弦変換である、
請求項１ないし４いずれか一項に記載の符号化方法。
【請求項６】
ピクセルブロックの再構成方法であって、
動きベクトルから前記ピクセルブロックの予測ブロックを決定するステップと、
前記ピクセルブロックの残差を符号化するステップと、
前記予測ブロックと前記残差から前記ピクセルブロックを再構成するステップと、
前記再構成方法は、前記予測ブロックを決定するステップが、
サイズが前記ピクセルブロックのサイズより必ず大きい中間予測ブロックを決定するステップと、
前記中間予測ブロックを、第１の変換で変換された第１のブロックに変換するステップと、
前記第１の変換ブロックを前記第１の変換の逆変換であり基底関数が前記動きベクトルの各成分の少なくとも一部によりシフトされた第２の変換で変換された第２のブロックに変換する、前記予測ブロックは前記第２の変換ブロックから取り出されるステップとを有することを特徴とする、再構成方法。
【請求項７】
前記中間予測ブロックは、成分が前記動きベクトルの成分の整数部分である中間動きベクトルから前記ピクセルブロックの動き補償により求めたブロックに、動きの方向に少なくとも一行のピクセルと少なくとも一列のピクセルとを加えることにより決定され、
前記第２の変換の基底関数は前記動きベクトルの成分の端数部分だけシフトされた、
請求項６に記載のピクセルブロックの再構成方法。
【請求項８】
前記中間予測ブロックは、前記中間予測ブロックのサイズが前記動きベクトルの成分の整数部分に対応する変位より必ず大きいように、符号化するピクセルのブロックと同じ場所のブロックに、動きの方向に、少なくとも一行のピクセルと少なくとも一列のピクセルとを加えることにより決定され、
前記第２の変換の基底関数は前記動きベクトルの全成分だけシフトされた、
請求項６に記載のピクセルブロックの再構成方法。
【請求項９】
前記中間予測ブロックのサイズは２のべき乗である、
請求項６ないし８いずれか一項に記載のピクセルブロックの再構成方法。
【請求項１０】
前記第１の変換は２次元離散余弦変換である、
請求項６ないし９いずれか一項に記載のピクセルブロックの再構成方法。
【請求項１１】
ピクセルブロックの符号化装置であって、
動きベクトルから前記ピクセルブロックの予測ブロックを決定する手段と、
前記ピクセルブロックと前記予測ブロックとの間の残差を計算する手段と、
前記残差を符号化する手段とを有し、
前記符号化装置は、前記予測ブロックを決定する手段が、
サイズが前記ピクセルブロックのサイズより必ず大きい中間予測ブロックを決定する手段と、
前記中間予測ブロックを、第１の変換で変換された第１のブロックに変換する手段と、
前記第１の変換ブロックを、基底関数が前記動きベクトルの各成分の少なくとも一部だけシフトされた、前記第１の変換の逆変換である第２の変換で変換された第２のブロックに変換する手段と、
前記第２の変換ブロックから前記予測ブロックを取り出す手段とを有することを特徴とする、符号化装置。
【請求項１２】
前記符号化装置は、請求項１ないし５いずれか一項に記載の符号化方法のステップを実行する、
請求項１１に記載の符号化装置。
【請求項１３】
ストリームの復号装置であって、
動きベクトルからピクセルブロックの予測ブロックを決定する手段と、
前記ストリームからの前記ピクセルブロックの残差を復号する手段と、
前記予測ブロックと前記残差から前記ピクセルブロックを再構成する手段とを有し、
前記復号装置は、前記予測ブロックを決定する手段が、
サイズが前記ピクセルブロックのサイズより必ず大きい中間予測ブロックを決定する手段と、
前記中間予測ブロックを、第１の変換で変換された第１のブロックに変換する手段と、
前記第１の変換ブロックを、基底関数が前記動きベクトルの各成分の少なくとも一部だけシフトされた、前記第１の変換の逆変換である第２の変換で変換された第２のブロックに変換する手段と、
前記第２の変換ブロックから前記予測ブロックを取り出す手段とを有することを特徴とする、復号装置。
【請求項１４】
前記復号装置は、請求項６ないし１０いずれか一項に記載の再構成方法のステップを実行する、
請求項１３に記載の復号装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−６２８０１（Ｐ２０１３−６２８０１Ａ）
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１２−２００５７３（Ｐ２０１２−２００５７３）
【出願日】平成２４年９月１２日（２０１２．９．１２）
【出願人】（５０１２６３８１０）トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ
【住所又は居所原語表記】１−５， ｒｕｅ Ｊｅａｎｎｅ ｄ’Ａｒｃ， ９２１３０ ＩＳＳＹ ＬＥＳ ＭＯＵＬＩＮＥＡＵＸ， Ｆｒａｎｃｅ
【Ｆターム（参考）】
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願番号】特願２０１２−２００５７３（Ｐ２０１２−２００５７３）
【出願日】平成２４年９月１２日（２０１２．９．１２）
【出願人】（５０１２６３８１０）トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ
【住所又は居所原語表記】１−５， ｒｕｅ Ｊｅａｎｎｅ ｄ’Ａｒｃ， ９２１３０ ＩＳＳＹ ＬＥＳ ＭＯＵＬＩＮＥＡＵＸ， Ｆｒａｎｃｅ
【Ｆターム（参考）】
[ Back to top ]