説明

動画像の重み付き動き補償

予測符号化されたデータを復号するように動作可能な動画像復号器であって、各符号化データセグメントが局所重み付きパラメータで符号化されている、動画像復号器が開示される。画像の各セグメントを符号化するとき、画像の以前に符号化されたセグメントから重み付きパラメータが導出される。有利には、各セグメントに対して異なる重み付きパラメータを許容することによって、単一の大域重み付きパラメータを画像のセグメントの全てに対して用いる場合よりも、画像内の照明変化に良好に適応する。本出願は、MPEG動画像符号化及びMPEG動画像復号を含む。したがって、画像のシーケンスを規定する予測符号化された動画像データを復号するように動作可能な動画像復号器が提供される。各画像は複数のセグメントに分割され、当該復号器は、符号化された動画像データを復号して、画像のセグメントにおける復号された差分データ(MBr’)、セグメントにおける復号された動きデータ(14)、及びセグメントにおける少なくとも1つの復号された重み付きパラメータを生成するように動作可能な復号器と、動きデータ及び以前に復号された動画像データを処理してセグメントにおける動き補償された動画像データ(MBc’)を生成するように動作可能な動き補償データ生成器と、セグメントにおける動き補償された動画像データ(MBc’)と、同じ画像内の異なるセグメントにおいて用いられる重み付きパラメータとは異なる、セグメントにおける少なくとも1つの重み付きパラメータと結合することによって、セグメントにおける予測相画像データ(MBp)を生成するように動作可能な予測データ生成器と、セグメントにおける復号された差分データ(MBr’)とセグメントにおける予測動画像データ(MBp)とを結合するように動作可能なデータ結合器とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画像の符号化及び復号に関する。
【0002】
[優先権の主張]
本出願は、2009年9月17日に出願された欧州特許出願第09170576.4号に基づく優先権を主張し、当該特許出願の内容全体が相互参照により本明細書に援用される。
【背景技術】
【0003】
最新の動画像圧縮方法は、画像の時空間予測に基づくものである。時空間予測は、本質的には予測信号と予測画像との間の差分の符号化によって構成される。通常、適切なメトリックにおいて、予測信号が予測画像に近いほど、画像を良好に圧縮することができ、すなわち画像をより少ないビットで表すことができる。予測は、以前に符号化された画像の復号されたサンプルか、或いは現在の画像における以前に符号化されたブロックを取得することによって形成される。通常の動画像信号は大きな時間相関を呈するので、時間予測は全体圧縮効率における重要な利得因子である。動きベクトルを用いて異なる画像の部分間の空間変位を補償することに加えて、重み付き予測を用いることによって、輝度レベルの変化も補償することができる。符号化における別の顕著な技法は、レート歪み最適化(RDO)であり、可能な最良の符号化効率利得を達成するための動画像符号化モード選択に役立つように広く用いられている。このプロセスは、以下のように説明することができる。有効な符号化モードについて、ビット消費量が取得されると共に、元の動画像データと復号された動画像データとの間の歪みが測定される。ラグランジュ乗数λを用いてレートRと歪みDとをバランスさせることによって、コスト関数Jが構築される。
【数1】

【0004】
最小のコスト値に従って、可能な最良の符号化効率利得を達成するための動画像符号化モードが決定される。所与の動画像データについて幾つかの符号化モードが可能である場合、RDOプロセスは符号化効率利得を捉えるために重要である。
【0005】
H.264/MPEG−4 AVC動画像符号化標準規格は、重み付き予測を採用している。重み付き予測では、任意の乗法加重係数及び加法オフセット係数を基準画像予測に適用することができる。一般的に、重み付き予測は、以下の関係で表すことができる。
【数2】

ここで、Xは基準画像信号であり、Yは予測画像信号であり、oは加法オフセット重み付きパラメータであり、wは乗法加重重み付きパラメータである。現在の画像を予測するのに用いられる基準画像信号のそれぞれについて、別個のオフセット/加重のペアを割り当てることができる。H.264/MPEG−4 AVCでは、最大2つの画像が任意の所与のマクロブロックの時間補償に用いられる。P画像では、単一の画像から生成される単一の予測のみが用いられる。一方、B画像では、2つの予測信号を用いることができる。明示モードでは、加重及びオフセットはスライスレベルで指定され、それらの派生物については標準規格では規定されていない。暗示モードでは、重み付きは基準画像への距離に従って計算される。ここでは、画像距離と適用される重み付きとの間の関係は標準規格で規定されている。標準規格は、メモリ管理制御動作(MMCO)の形態でスライスの異なるセグメントに異なる明示的な重み付きパラメータを適用するための規定を、マクロブロックのサイズまで落とした状態にしている。これは、例えば、特許文献1において説明されている。しかしながら、これには、実際に役立つ十分に大きな重み付き予測パラメータセットのオーバーヘッド情報のために、多大なペナルティを伴う。
【0006】
さらに、通常は、画像レベルの重み付き予測パラメータの導出には、何らかのマルチパス方式が伴い、画像データは少なくとも2回処理されなくてはならない。1つの可能性は、単にパラメータを推定することであり、そのためには、予測される圧縮性能に関連する或る判断基準を用いて最適重み付きパラメータを計算するために、実際の圧縮の前に全体画像統計が捉えられる必要がある。画像レベル重み付き予測を利用する圧縮性能は、実際にデータを圧縮してみなければ確実に推定することができないため、「画像レベルレート歪み最適化」として知られる方式を用いてもよい。この方式では、画像は毎回異なる重み付き予測パラメータを用いて複数回圧縮され、重み付き予測が無効にされるモードを含み、ラグランジュコストの観点で最良の結果が保持される。これは、計算複雑度が非常に高い一方で、限られた性能改善しか提供しないという不利な点を有する。
【0007】
明示的な重み付きパラメータの導出は標準規格では規定されていないので、様々な方式が存在する。特許文献2では、2つの画像の平均を減算することのみによるオフセット、2つの画像の平均を除算することのみによる加重、ヒストグラムに基づく方法と線形回帰に基づく方法、また全ての上記方法の反復的変形形態も検討されており、パラメータは動き補償後に調整される。特許文献2におけるヒューリスティックベースの方法では、それぞれ異なる導出方法を用いることによってパラメータの幾つかのペアを計算し、次に特定のメトリックを用いることによって、いずれのペアが最も良好に機能するかを判定する。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】米国特許出願公開第2006/0198440号
【特許文献2】国際公開第2007/092215号
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら、既知の技法には多数の問題が存在する。特に、一般的に、重み付き予測パラメータの全体的な性質に起因して、既知の重み付き予測技法の結果は、符号化効率の観点から信頼性がない。マルチパス画像レベル最適化手法が用いられない場合、符号化性能は一層悪化する場合がある。マルチパス手法は改善を保証するが、多くの場合に、その改善は依然として極めて小さく、計算複雑度が非常に高くなるという犠牲を伴う。
【課題を解決するための手段】
【0010】
概して、本発明の一実施の形態における重み付き予測の演算は、画像内の照明変化に適応するように局所レベルで定義され、当該局所レベルにおいては、各画像セグメントについて重み付きパラメータの異なるセットが規定され、現在のブロックのパラメータを伝達するビットストリームの一部として送信される。重み付き予測の演算は、以下によって定義することができる。
【数3】

ここで、Bcはn+1番目の画像セグメントであり、oは加法オフセット重み付きパラメータであり、wは画像セグメントBcに関連付けられる乗法加重重み付きパラメータである。基準画像Bpは、現在符号化されている画像セグメントを予測するのに用いられる予測信号である。画像セグメントBcは、n+1番目の基準画像に関連付けることができるが、一般的には、任意の以前に処理された画像セグメントとすることができる。さらに、画像セグメントBcは、(例えば補間によって)再サンプリングされた画像セグメントとすることもできる。上述した画像セグメントは、任意の形状とすることができる。
【0011】
これらの特徴の結果として、重み付きパラメータはコンテンツ内の局所変動に適合し、これによって予測が改善される。
【0012】
より詳細には、本発明によれば、画像のシーケンスを規定する予測符号化された動画像データを復号する動画像復号方法が提供される。各画像は複数のセグメントに分割され、当該方法は:
符号化された動画像データを復号して、画像のセグメントにおける復号された差分データと、セグメントにおける復号された動きデータと、セグメントの重み付き予測におけるオフセット重み付きパラメータ及び加重重み付きパラメータを含む復号された重み付きパラメータとを生成するステップであって、重み付きパラメータは、表現歪み及び符号化コストの双方を考慮したレート制約付きのコスト式を最小にする重み付きパラメータである、ステップと、
動きデータ及び以前に復号された動画像データを処理して、セグメントにおける動き補償された動画像データを生成するステップと、
セグメントにおける動き補償された動画像データと、セグメントにおけるオフセット重み付きパラメータ及び加重重み付きパラメータを含む重み付きパラメータとを結合することによって、セグメントにおける予測動画像データを生成するステップであって、セグメントにおける少なくとも1つの重み付きパラメータは、同じ画像内の異なるセグメントにおいて用いられる重み付きパラメータとは異なる、ステップと、
セグメントにおける復号された差分データとセグメントにおける予測動画像データとを結合するステップと
を含む。
【0013】
上記動画像復号方法においては、
符号化された動画像データを復号して、複数のセグメントのそれぞれにおいて、加重重み付きパラメータを生成することができ、
複数のセグメントにおける動きデータ及び以前に復号された動画像データを処理して、複数のセグメントのそれぞれにおいて、動き補償された動画像データを生成することができ、
複数のセグメントのそれぞれにおいて、動き補償された動画像データと加重重み付きパラメータとを結合して、予測動画像データを生成することができる。
【0014】
異なる各画像内の複数のセグメントにおいて、動きデータ及び以前に復号された動画像データを処理して、複数のセグメントのそれぞれにおいて、動き補償された動画像データを生成することができる。
【0015】
上記動画像復号方法においては、
復号プロセスは、符号化された動画像データを復号して重み付きパラメータの差分データを生成することができ、
重み付きパラメータと、以前に復号したセグメントにおいて導出された以前に復号された重み付きパラメータとの復号された差分データを用いて、セグメントにおける重み付きパラメータを導出することによって、セグメントにおける予測動画像データを生成することができる。
【0016】
セグメントにおける予測動画像データを、
以前に復号された少なくとも1つの近傍セグメントにおける重み付きパラメータからセグメントにおける重み付きパラメータを予測することと、
予測重み付きパラメータと復号プロセスから取得された重み付きパラメータと結合して、結果としての予測重み付きパラメータを生成することと、
セグメントにおける動き補償された動画像データと結果としての予測重み付きパラメータとを結合して、セグメントにおける予測動画像データを生成することと
によって生成することができる。
【0017】
以前に復号された少なくとも2つの近傍セグメントにおける重み付きパラメータの平均を計算することによって、セグメントにおける重み付きパラメータを予測することができる。
【0018】
動画像復号方法において、予測動画像データを生成するプロセスは、
セグメントにおける動きデータと、少なくとも1つの以前に復号されたセグメントにおける動きデータとを比較して、動きデータ間の類似度の測定値を求め、
求められた測定値が高い類似度を示している場合には、少なくとも1つの以前に復号されたセグメントにおける重み付きパラメータを用いて、セグメントにおける予測重み付きパラメータを生成し、動き補償された動画像データと予測重み付きパラメータとを結合することを含むことができる。
【0019】
動画像復号方法においては、符号化された動画像データを復号してオフセット重み付きパラメータ及び加重重み付きパラメータを生成し、オフセット重み付きパラメータの値がより少ないビットで表されるほど、値がゼロに近づくようにし、また、加重重み付きパラメータの値がより少ないビットで表されるほど、値が1に近づくようにすることができる。
【0020】
また、本発明は、画像のシーケンスを規定する動画像データを予測符号化する動画像符号化方法も提供する。各画像は複数のセグメントに分割され、当該方法は:
セグメントの動画像データを処理して、セグメントにおける動きデータ及び動き補償された動画像データを生成するステップと、
セグメントの重み付き予測におけるオフセット重み付きパラメータ及び加重重み付きパラメータを含む重み付きパラメータを計算するステップであって、重み付きパラメータは、表現歪み及び符号化コストの双方を考慮したレート制約付きのコスト式を最小にするものであり、セグメントにおける少なくとも1つの重み付きパラメータは、同じ画像内の異なるセグメントにおいて用いられる重み付きパラメータとは異なる、ステップと、
動き補償された動画像データと重み付きパラメータとを結合して、セグメントにおける重み付き動き補償データを生成するステップと、
セグメントにおける動画像データとセグメントにおける重み付き動き補償データとの間の差分を規定する差分データを生成するステップと、
セグメントにおける差分データ、セグメントにおける動きデータ、及びセグメントにおける重み付きパラメータを含む、セグメントのデータを符号化するステップと
を含む。
【0021】
ビデオ符号化方法においては、
複数のセグメントのそれぞれにおいて、加重重み付きパラメータを計算することができ、
1つのセグメント及び複数の異なるセグメントにおける動画像データを処理して、複数の動き補償された動画像データセグメントを生成することができ、
複数の動き補償された動画像データセグメントと複数の加重重み付きパラメータとを、複数の動き補償された動画像データセグメントのそれぞれが複数の加重重み付きパラメータのそれぞれによって重み付けされるように結合することによって、重み付き動き補償データを生成することができる。
【0022】
異なる各画像内のセグメント及び複数のセグメントにおける動画像データを処理して、複数の動き補償された動画像データセグメントを生成することができる。
【0023】
さらに、動画像符号化方法は、セグメントにおける各重み付きパラメータについて、セグメントにおける重み付きパラメータと、以前のセグメントにおける重み付きパラメータとの間の差分を含む当該セグメントにおける重み付きパラメータ差分値を計算し、符号化プロセスは、セグメントにおける差分データ、セグメントにおける動きデータ、及びセグメントにおける重み付きパラメータ差分値を符号化することを含むことができる。
【0024】
セグメントにおける各差分値は、
少なくとも1つの以前の近傍セグメントにおける重み付きパラメータからセグメントにおける予測重み付きパラメータを予測することと、
重み付きパラメータ計算プロセスによって計算された重み付きパラメータと予測重み付きパラメータとの間の差分を計算することと
によって生成することができる。
【0025】
コスト関数J(o,w)
【数4】

を最小にするオフセット(o)及び加重(w)を計算することができ、ここで、oはオフセットであり、wは加重であり、Dはセグメントにおける重み付き動き補償データとセグメントにおける動画像データとの間の差分を含む歪み測定値であり、Rは符号化データレートの測定値であり、λはラグランジュ乗数であり、
上記計算は、
a)歪み測定値Dの最小値を表すようなオフセット値と加重値とのペアを規定する、オフセット−加重空間における直線を計算することと、
b)オフセット及び加重のうちの一方を第1の探索パラメータとして選択し、他方を第2の探索パラメータとして選択することと、
c)第1の探索パラメータの大域範囲を選択することと、
d)選択された大域範囲から第1の探索パラメータの値を選択すること、
e)第2の探索パラメータの局所探索範囲を選択することと、
f)第1の探索パラメータの選択された定数値について、局所探索範囲内における直線の付近で探索し、その領域においてJ(o,w)の最小値を与える第2の探索パラメータの値を特定することと、
g)第1の探索パラメータの様々な定数値について手順d)〜f)を繰り返し、J(o,w)の全体最小値を与えるオフセット値及び加重値の組合せを見つけることと
による。
【0026】
【数5】

が成立する間、局所探索範囲内において継続的に増大するか又は継続的に減少する第1の探索パラメータの値が試されるようにプロセスf)を実行することができ、ここで、ΔDは歪み測定値における変化であり、ΔRはレート測定値における変化である。
【0027】
また、本発明は、画像のシーケンスを規定する予測符号化された動画像データを復号するように動作可能な動画像復号器も提供する。各画像は複数のセグメントに分割され、当該復号器は:
符号化された動画像データを復号して、画像のセグメントにおける復号された差分データと、セグメントにおける復号された動きデータと、セグメントの重み付き予測におけるオフセット重み付きパラメータ及び加重重み付きパラメータを含む重み付きパラメータとを生成するように動作可能な復号器であって、重み付きパラメータは、表現歪み及び符号化コストの双方を考慮したレート制約付きのコスト式を最小にする重み付きパラメータである、復号器と、
動きデータ及び以前に復号された動画像データを処理して、セグメントにおける動き補償された動画像データを生成するように動作可能な動き補償データ生成器と、
セグメントにおける動き補償された動画像データと、セグメントにおけるオフセット重み付きパラメータ及び加重重み付きパラメータを含む重み付きパラメータと結合することによって、セグメントにおける予測動画像データを生成するように動作可能な予測データ生成器であって、セグメントにおける少なくとも1つの重み付きパラメータは、同じ画像内の異なるセグメントにおいて用いられる重み付きパラメータとは異なる、予測データ生成器と、
セグメントにおける復号された差分データとセグメントにおける予測動画像データとを結合するように動作可能なデータ結合器と
を備える。
【0028】
また、本発明は、画像のシーケンスを規定する動画像データを予測符号化するように動作可能な動画像符号化器も提供する。各画像は複数のセグメントに分割され、当該符号化器は:
セグメントの動画像データを処理して、セグメントにおける動きデータ及び動き補償された動画像データを生成するように動作可能な動き補償データ生成器と、
セグメントの重み付き予測におけるオフセット重み付きパラメータ及び加重重み付きパラメータを含む重み付きパラメータを計算するように動作可能な重み付きパラメータ計算器であって、重み付きパラメータは、表現歪み及び符号化コストの双方を考慮したレート制約付きのコスト式を最小にするものであり、セグメントにおける少なくとも1つの重み付きパラメータは、同じ画像内の異なるセグメントにおいて用いられる重み付きパラメータとは異なる、重み付きパラメータ計算器と、
動き補償された動画像データと重み付きパラメータとを結合して、セグメントにおける重み付き動き補償データを生成するように動作可能な重み付き動き補償データ生成器と、
セグメントにおける動画像データとセグメントにおける重み付き動き補償データとの間の差分を定義する差分データを生成するように動作可能な差分データ生成器と、
セグメントにおける差分データ、セグメントにおける動きデータ、及びセグメントにおける重み付きパラメータを含む、セグメントのデータを符号化するように動作可能な符号化器と
を備える。
【0029】
さらに、本発明は、プログラム可能な処理装置を動画像復号方法又は動画像符号化方法を実行するように動作可能になるようプログラムするためのコンピュータプログラム命令を保持するストレージ媒体又は信号を含むコンピュータプログラム製品も提供する。
【0030】
次に、本発明の実施形態を、添付の図面を参照して例としてのみ説明する。
【図面の簡単な説明】
【0031】
【図1】一実施形態における動画像復号器のブロック図である。
【図2】一実施形態における動画像符号化器のブロック図である。
【図3】動き推定におけるマッチングされるブロックと候補ブロックの一例である。
【図4】範囲−10,...,10において(oqi,wqi)についてプロットされた歪み関数D(o,w)の一例である。
【図5】ラグランジュコストのレート部分のプロット例である。
【図6】全体ラグランジュコスト(歪み及びレートが結合されている)のプロットである。
【図7】ラグランジュの大域最小の局所探索の2つの例である。
【図8】一実施形態において符号化器によって実行される、重み付きパラメータを計算するための処理動作を示すフローチャートである。
【発明を実施するための形態】
【0032】
好ましい実施形態では、重み付き予測が行われる画像セグメントは、H.264/MPEG−4 AVCにおいて規定されるようなマクロブロックである。この文脈において、本明細書において説明される手法は、MBWP(マクロブロック重み付き予測)と呼ばれる。表記をより簡単にするために、MBWPは一方向予測の場合(例えばH.264/MPEG−4 AVCにおけるP画像)についてのみ示され、複数画像を参照する一般化の検討は必要な場合に論議される。この場合、MBWPは、
【数6】

で定義することができる。ここで、MBc’は復号されたマクロブロックであり、サブペル(sub-pel)精度の動きベクトルの場合には、補間によって取得されるか、又は以前に復号された画像から直接に取得される。oは加算オフセット重み付きパラメータであり、wは乗算加重重み付きパラメータである(これ以降、それぞれ単にオフセット及び加重と呼び、用語「重み付きパラメータ」は双方を包含するものとする)。MBpは結果としての予測信号であり、現在のマクロブロックを予測するのに用いられる。
【0033】
代替的な実施形態では、重み付きプロセスは、マクロブロック内のより小さなブロック(例えばH.264/MPEG−4 AVC標準規格によって指定されるブロック)について或いはピクセルごとに適応される。
【数7】

ここで、nは現在処理されているピクセルのインデックスであり、関数f()及びf()はそれぞれ現在のオフセット及び加重を求めるものであり、既に処理したデータ(符号化器において既に符号化されたデータ、又は復号器において既に復号されたデータ)に依存する。例えば、これらは以前に処理された予測信号サンプルMBc’(0),...,MBc’(n−1)、以前に取得した予測信号サンプルMBp(0),...,MBp’(n−1)等の値とすることができる。1つの特定の例では、乗法加重の適用によって一般に非整数値が得られるので、この関数では重み付き予測によって与えられた結果の適応丸め処理を実行してもよい。
【0034】
予測信号は復号された差分信号MBr’に付加され、現在のマクロブロックMB’が以下のように再構築される。
【数8】

【0035】
復号器
図1には、MBWPを組み込んだ復号器の図が示されている。現在のマクロブロックの入力ストリームは、エントロピー復号器10によってエントロピー復号され、結果として以下のデータ:現在のマクロブロックの量子化されて変換されたサンプル12、動きベクトル14、及び重み付きパラメータ16が生成される。これらのうちの全て及び任意のものは、以前に復号されたデータからの減算によって取得される差分信号とすることができる。この場合、予測を行う必要があり、例えば図1に示すように、重み付きパラメータは、以前に復号された重み付きパラメータから予測され、動きベクトルに対しても同様に行われる。次に、復号された動きベクトル及び以前に復号された基準信号を用いて動き補償が実行される。続いて、そのような動き補償信号は、加重及びオフセットを適用することによって変更される。逆量子化器20による逆量子化及び逆空間変換器30による逆空間変換によって残差マクロブロック信号が取得された後、重み付き予測信号が付加され、復号されたマクロブロックサンプルが取得される。
【0036】
したがって、上記から、エントロピー復号器10、逆量子化器20、及び逆変換器30は、複合器として動作し、セグメントにおける符号化された差分データMBr’、セグメントにおける動きデータ14、及びセグメントにおける重み付きパラメータ16を生成して、画像のセグメントにおける符号化された動画像データを復号することが理解されよう。動きベクトル予測器40、加算器42、及び動き補償器60は、動き補償データ生成器としての役割を果たし、動きデータ14を以前に復号された動画像データとともに処理して、セグメントにおける動き補償された動画像データMBc’を生成する。重み付きパラメータ予測器50、加算器52、乗算器70、及び加算器80は、予測データ生成器としての役割を果たし、セグメントにおける動き補償された動画像データMBc’をセグメントにおける重み付きパラメータと結合することによって、セグメントにおける予測動画像データMBpを生成する。上述したように、セグメントにおける重み付きパラメータは、同一画像内の異なるセグメントごとに異なる重み付きパラメータを用いることができる。加算器90は、データ結合器としての役割を果たし、セグメントにおける復号された差分データMBr’とセグメントにおける予測動画像データMBpとを結合し、それによって、セグメントにおける復号された全体動画像データMB’を生成する。
【0037】
好ましい実施形態では、重み付き予測はルマ要素についてのみ規定される。一方、代替的な実施形態では、重み付き予測は、同一又は別個の重み付きパラメータのセットを用いることによって、クロマ要素にも適用することができる。
【0038】
別の代替的な実施形態では、MBWPパラメータは、大域的に規定された重み付きパラメータからの特定のマクロブロックの重み付きパラメータの差分として伝達することもできる。
【0039】
MPEG−4 AVC/H.264に類似した構造を有するコーデックに適用されるとき、MBWPに必要なシグナリングは、以前のコーデックにおけるスライス(画像)ヘッダの代わりに、動画像ビットストリームのマクロブロックヘッダ部分内に配置される追加情報を用いて達成される。第1の実施形態では、必要とされる動画像ビットストリーム構文要素は以下である。
【0040】
【表1】

【0041】
MBWP_parameters_present_flagが1である場合、MBWPパラメータの存在をシグナリングする。このフラグが0である場合、重み付き予測は実行されず、MBWPoパラメータ及びMBWPwパラメータはデフォルト値にセットされる。デフォルト値が適用される場合、それらはMBWPを実行しないのと等しい値になるように定義される。代替的な実施形態では、MBWPが画像の広範囲のエリアにおいて利用されない場合の冗長性を回避するために、ランレングス符号化又は四分木符号化を用いることによって、複数のマクロブロックにわたって複数のフラグを連結して符号化することもできる。
【0042】
MBWPo_difference及びMBWPw_differenceは、予測オフセット値及び予測加重値からの差分信号であり、重み付きパラメータであるMBWPo及びMBWPwの導出は、後述のように行われる。好ましい実施形態では、これらの差分信号のエントロピー符号化には可変長符号化が用いられるが、代替的には、任意の他のエントロピー符号化方法、例えば算術的符号化を用いることもできる。代替的な実施形態では、エントロピー符号化方法の効率を改善するために、以前に復号された構文要素の値をエントロピー符号化方法で用いることもできる。
【0043】
予測演算predict_MBWPo()及びpredict_MBWPw()は、重み付きパラメータの近傍マクロブロックからの空間予測を伴う。好ましい実施形態では、現在の画像内のr行c列に位置する現在のマクロブロックの重み付きパラメータの予測のために、最上部から1番近傍のマクロブロック(現在と同じ列で前の行)と左から1番近傍(以前に符号化されている)との平均化が用いられる。
【数9】

ここで、[・]は最も近い整数への丸め処理を表す。この予測は、様々な形で変更することができることに留意されたい。この予測には、2つよりも多い若しくは2つよりも少ない近傍マクロブロックを利用することもできるし、かつ/又は、予測演算子における重み付きを用いることもできるし、或いは、例えば中央値のような種々の演算を用いることもできる。代替的な実施形態では、現在のマクロブロックのオフセット値は、以前に復号された重み付きパラメータと併せて、同じマクロブロックの加重パラメータを予測するのに用いられる。別の代替的な実施形態では、重み付きパラメータの予測は、他の以前に復号された構文要素を用いる。1つの例では、現在復号されているマクロブロックの動きベクトルの値と以前に復号されたマクロブロックの動きベクトルの値とが比較され、当該比較結果を用いて、現在のマクロブロックの重み付きパラメータの導出のために以前に復号された重み付きパラメータを用いるかどうかを判定する。例えば、2つの動きベクトルの間の差分が大きい場合、対応するマクロブロックの重み付きパラメータは、現在のマクロブロックの重み付きパラメータの予測には用いられない。1つのオプションとしては、予測演算を一切省くことであり、その場合、predict_MBWPo()及びpredict_MBWPw()の結果は0になることにも留意されたい。以降において、行インデックス及び列インデックスは省略され、各ステップは、現在のマクロブロックに対して動作するものとして理解されたい。
【0044】
パラメータは、当該パラメータをビットストリーム内で効率的に送信するために量子化される。ここでは、128の均一な量子化ステップが用いられるが、他の量子化ステップ及び量子化方式も可能である。オフセットパラメータ及び加重パラメータは、以下のように量子化される。
【数10】

符号化される整数値oqi及びwqiは、以下のようにして得られる。
【数11】

【0045】
そのため、逆マッピングは、以下のように定義される。
【数12】

【0046】
デフォルトの非重み付き予測値は、o=0(oqi=0)及びw=1(wqi=0)である。
【0047】
上記で提示したような量子化方式を用いると、値oqi及びwqiは、(o,w)=(0,1)からの差分の絶対値が増大するのに伴って増大する。実際には大部分の重み付きパラメータは(0,1)に近いので、この性質は、後続のエントロピー符号化において、より小さい絶対値のoqi及びwqiに対してより短い符号を割り当てるのに利用される。他の量子化方式として、例えば、重みに不均一なステップサイズを用いることによって、圧縮性能の利益がもたらされる値の範囲内においてより高い精度を達成することができる。
【0048】
値oqi及びwqiは、上記の構文記述においては、MBWPo及びMBWPwで直接に表される。このとき、重み付き予測は以下のように書くことができる。
【数13】

続いて、得られた値は、画像サンプルの規定の範囲にクリップされる。重み付き予測のプロセスは、除算をビットシフト演算子に置き換えることによって、除算なし整数保障(division-free integer-safe)演算として容易に実施することができることは留意するに値する。
【0049】
符号化器
次に、符号化プロセスにおいて最適又は準最適のオフセットパラメータ及び加重パラメータを導出する高速方法を実行する、符号化器の一実施形態を説明する。符号化プロセスの全体におけるこの手順(MBWPパラメータの導出)の位置が、図2に示されている。
【0050】
図2を参照すると、動き推定器210及び動き補償器220は、動き補償データ生成器としての役割を果たし、セグメントの動画像データMBを処理して当該セグメントにおける動きデータ(本実施形態においては動きベクトルを含む)を生成し、当該動きデータをセグメントの動画像データに適用して、当該セグメントにおける動き補償された動画像データを生成する。重み付きパラメータ計算器200は、セグメントにおける重み付きパラメータを計算する重み付きパラメータ計算器としての役割を果たし、上述したように、セグメントにおける重み付きパラメータは、同一画像内の異なるセグメントごとに異なる重み付きパラメータを用いることができる。乗算器230及び加算器240は、重み付き動き補償データ生成器としての役割を果たし、動き補償された動画像データと重み付きパラメータを結合して、セグメントにおける重み付き動き補償データMBpを生成する。加算器250は、差分データ生成器としての役割を果たし、セグメントにおける入力動画像データMBと重み付き動き補償データMBpとの間の差分を定義する差分データMBrを生成する。変換器260、量子化器270、及びエントロピー符号化器320は、符号化器としての役割を果たし、セグメントにおける差分データMBr、セグメントにおける動きデータ、及びセグメントにおける重み付きパラメータを含む、セグメントのデータを符号化する。このデータは、上記で説明した復号器に送信されて復号されるデータである。
【0051】
MBWPパラメータの高速導出の手順は、3つのステップに分割される。これらのステップを以下に説明する。より簡単に表現するために、単一の基準画像MBWPに基づくものを説明するが、提示された関係及びアルゴリズムステップを直接拡張したものとして、同じ着想を複数の基準画像の場合にも適用することができる。説明される方法は単一マクロブロックのマッチングに適用されるものであり、動き推定プロセスと無関係であるため、MBWPが試される動きベクトルの選択についてはここでは論じない。
【0052】
1.歪み最適重み付きパラメータを見つける
このステップでは、符号化コストの歪み部分についてのみの最適重み付き予測パラメータを見つける。
【0053】
2つのマクロブロック間のLノルムの形態で歪みを最小にするために、オフセット及び加重を最適化変数として用いて、以下の式を最適化する必要がある。
【数14】

【0054】
式を簡単化するために、以下のように定義する。
【数15】

ここで、MBは現在のブロックであり、Nはマクロブロック内のピクセル数である。このとき、歪みの式は以下となる。
【数16】

【0055】
この対応する最小化問題は、線形最小二乗最適化問題としてモデル化され、以下の関係を用いて表される。
【数17】

【0056】
o及びwについて偏微分することで以下が得られる。
【数18】

【0057】
これら2つをo及びwについて解くと、以下が得られる。
【数19】

【0058】
しかしながら、パラメータo、w、及び重み付きの演算が量子化されることに起因して、この問題は従来の最小二乗適合と幾分異なるものとなり、整数最小二乗推定(integer least squares estimation)として大別することができる。この問題はNP困難(すなわち、実際の時間量において最適なパラメータを求めるのが不可能)であることが知られており、そのために何らかの高速近似が必要とされる。
【0059】
ここで、歪みの式は、o及びwの関数として書くことができる。
【数20】

【0060】
以下において一例を与える。この例では、図3に示す2つのブロックが選択され、上記で定義した関数が当該ブロックについて図4にプロットされる。
【0061】
最小歪み点の計算によって(省略表現による変数A、B、C、D、Eを導入する)、以下が得られる。
【数21】

ここで、上記の関係における分母はXの分散に等しく、すなわち
【数22】

である。計算された値は、図3のブロック例に対応する。σ=0(定数値X)の場合、wmin=1及びomin=D−Bが定義される。この表記を用いて、歪みの関係を、一般的な二変量二次曲線の形式で書くことができる。
【数23】

【0062】
また、(25)を(26)に代入すると、
【数24】

となる。
【0063】
2.レート制約付きコスト式
このステップでは、表現歪み及び符号化コストの双方を考慮に入れて、レート制約付きラグランジュコストの完全な関係が導出される。
【0064】
以下において、MBWPパラメータの符号化のために指数ゴロムエントロピー符号化が用いられるが、正確なコード長又は概算のコード長がコスト推定器に利用可能であるという要件のもとに、他の方式を用いることも可能である。1つの例は、コンテキスト適応型二値算術コーディング(CABAC:Context Adaptive Binary Arithmetic Coding)である。符号化されるデータがxとして表される場合、関連する指数ゴロムコードの長さR(x)は、以下のように定義される。
【数25】

【0065】
このとき、非予測的MBWPパラメータ符号化のための、MBWP符号化のレート制約付きの式を、ラグランジュ乗数形式で書くことができる。
【数26】

【0066】
ここで、R(o,w)は、点(oqi,wqi)においてのみ定義される。これと等価な式は、動き推定において動きベクトル場を正規化する目的で用いられている。ここで、同じ原理をMBWPに拡張することができ、MBWPのパラメータはMV情報への拡張として理解することができる。より具体的には、MV情報を(29)及び(20)に追加して、例えば以下のように連結MV−MBWPコストを得ることができる。
【数27】

ここで、mvは動きベクトルであり、動きベクトルのラグランジュ乗数λMVと重み付きパラメータのラグランジュ乗数λWPとは、通常は異なるものとすることができる。このコストは、選択がマクロブロックモード選択に先だって行われる場合に、動きベクトルと重み付きパラメータの連結対を比較する際に用いられる。
【0067】
予測値がその原点内にあるようにoqi−wqi空間を再定義することからなる補正を行えば、MBWPパラメータの予測的符号化の式も同様となる。
【0068】
図4〜図6において一例が与えられる。この例においては、2つのブロックが選択され、それらについて上記で定義された関数がプロットされている。
【0069】
3.大域最小コストの局所探索
このステップにおいて、整数グリッド上におけるラグランジュの大域最小値を見つけるために、レートコストの減少方向において局所探索が実行される。
【0070】
図4〜図6から、ラグランジュコストのレート部分が大域最小値の位置に影響を与える可能性があることは明らかである。レート部分の影響は、操作しているラグランジュ乗数に強く依存し、ビットレートが低くなるほど(λWPが大きくなるほど)強くなる。重み付き操作における丸め処理操作の影響はこの段階では考慮されておらず、MBWPパラメータの量子化のみが考慮されていることに留意されたい。
【0071】
歪み関数のみが考慮される場合、ラグランジュコスト関数のレート部分は、大域最小値の位置をその位置から効果的に動かし、またラグランジュコストの関係は非解析的である(大域最小値の式を導出することができない)ため、大域最小値の位置を特定する他の何らかの方法が必要とされる。各(oqi,wqi)のペアについてJ(o,w)を計算することを回避するために、oqi−wqi空間において、レート及び歪み成分の関数の特性を利用する局所探索が行われる。それによって、歪み(26)は、全ての可能な(oqi,wqi)の中の小さなサブセットについてのみ計算すればばよくなる。また、指数ゴロム以外にも、最も短い符号語を有する座標(例えば(0,0))からの距離とともに厳密に増大する同じレート特性を有する他の何らかの符号化法を用いることもできることに留意されたい。
【0072】
図5において、探索は、定数wについての最小歪み直線の周囲のコストを計算する。この直線は、(21)を用いることによって見つけることができ、
【数28】

で定義される。
【0073】
探索は様々なwにわたってループし、各wについて、直線(32)の周囲の或る特定の範囲のパラメータoにおけるコストが、軸wの方向(レートコストの減少方向)に計算される。直線(32)は、点w=D/Bにおいてw軸(ここでo=0)と交差することが見て取れる。この点は探索を2つのセグメントに分割する。一方のセグメントは、増加するo(点w>w)にわたってループし、他方のセグメントは、減少するo(点w<w)にわたってループする。このとき、検索アルゴリズムの一般形式は、以下のように書くことができる。
重みパラメータ探索ウィンドウ[wstart,wend]を見つけ、Jmin=∞にセットする。
w=wstart〜wendについて
end=0
w>wの場合
【数29】

そうでない場合
【数30】

o=ostart〜oendについて
J(o,w)<Jminの場合、Jmin=J(o,w)
コストの低減が期待できない場合、中止
【0074】
上記において、
【数31】

は床関数であり、
【数32】

は天井関数である。特に、変数wがwよりも大きく、w軸の左側にある最小歪み直線の部分(全て負のオフセット)に対応するとき、切捨てが実行される。探索方向は任意であることに留意されたい。
【0075】
好ましい実施形態では、コストを低減する確率の条件は、ΔD(o,w)<−λ・ΔR(o+1,w)の関係を満たすレート及び歪みの勾配で表すことができる。この関係は、ΔD(o,w)が厳密に非減少であり、またΔR(o+1,w)が0又は何らかの固定の負値(例えば、指数ゴロム符号化の場合−2ビット)となるように、局所探索がオフセット座標を訪れるように構築される。この探索におけるオフセットと加重の役割は逆にすることもできること、及びその場合、定数oの最小歪み直線の周囲の探索が用いられることに留意されたい。
【0076】
図8は、好ましい実施形態において、オフセット及び加重を計算するために符号化器によって実行される、上述した処理動作を要約するフローチャートである。
【0077】
4.重み付きパラメータの量子化を考慮
量子化されたMBWPパラメータにおける大域歪み最小値の位置の曖昧性を考慮に入れるために、この最小値の潜在位置を包含するように探索範囲が拡張される。この目的のために、定歪み楕円を以下のように定義することができる。
【数33】

ここで、Dは選択された歪みである。必要な条件に代入することによってこの楕円をチェックすることができ、条件
【数34】

及びDmin<Dが満たされなくてはならないことになる。ここで、Dは、少なくとも1つの(oqi,wqi)座標を含む限り任意に選ぶことができるが、Dminに近い方がよい。なぜならば、楕円が小さくなり、探索ループにおいて訪れる必要のある潜在的整数最小値の捕捉数が少なくなるためである。ここで、Dは大域最小値に最も近い点における歪み
【数35】

を計算することによって選択される。次に、そのような楕円の極値oの座標が見つけられ、探索の開始点及び終了点をセットするときに用いられる。
【数36】

【0078】
e1及びoe2に対応する加重値を用いて、範囲[wstart,wend]がそれらを含むようにwstart及びwendを変更する。2つの別個の例示的な事例の探索手順を図7に示している。
【0079】
変更及び変形
上述した実施形態に対して、多くの変更及び変形を行うことができることが理解されよう。
【0080】
特に、上述した復号器及び符号化器の構成要素は、ハードウェア構成要素を含んでいるが復号器及び/又は符号化器はソフトウェア及び/又はファームウェアを用いて実装することもできる。同様に、復号器及び/又は符号化器は、ハードウェア及びソフトウェア/ファームウェア構成要素の組合せを含むこともできる。したがって、本発明の一実施形態は、プログラム可能な処理装置を、上述した処理動作を実行するように動作可能になるようにプログラムするためのコンピュータプログラム命令を保持するストレージデバイス又は信号の形式のコンピュータプログラム製品を含む。

【特許請求の範囲】
【請求項1】
画像のシーケンスを規定する予測符号化された動画像データを復号するように動作可能な動画像復号器であって、各画像は複数のセグメントに分割され、該復号器は:
前記符号化された動画像データを復号して、画像のセグメントにおける復号された差分データと、該セグメントにおける復号された動きデータと、該セグメントの重み付き予測におけるオフセット重み付きパラメータ及び加重重み付きパラメータを含む復号された重み付きパラメータとを生成するように動作可能な復号器であって、前記重み付きパラメータは、表現歪み及び符号化コストの双方を考慮したレート制約付きのコスト式を最小にする重み付きパラメータである、復号器と、
前記動きデータ及び以前に復号された動画像データを処理して、前記セグメントにおける動き補償された動画像データを生成するように動作可能な動き補償データ生成器と、
前記セグメントにおける前記動き補償された動画像データと、前記セグメントにおける前記オフセット重み付きパラメータ及び加重重み付きパラメータを含む前記重み付きパラメータと結合することによって、前記セグメントにおける予測動画像データを生成するように動作可能な予測データ生成器であって、前記セグメントにおける少なくとも1つの重み付きパラメータは、同じ画像内の異なるセグメントにおいて用いられる重み付きパラメータとは異なる、予測データ生成器と、
前記セグメントにおける前記復号された差分データと前記セグメントにおける前記予測動画像データとを結合するように動作可能なデータ結合器と
を備える、画像のシーケンスを規定する予測符号化された動画像データを復号するように動作可能な動画像復号器。
【請求項2】
前記復号器は、前記符号化された動画像データを復号して、複数のセグメントのそれぞれにおいて、加重重み付きパラメータを生成するように動作可能であり、
前記動き補償データ生成器は、前記複数のセグメントにおける前記動きデータ及び前記以前に復号された動画像データを処理して、前記複数のセグメントのそれぞれにおいて、動き補償された動画像データを生成するように動作可能であり、
前記予測データ生成器は、前記複数のセグメントのそれぞれにおいて、前記動き補償された動画像データと前記加重重み付きパラメータとを結合して、前記予測動画像データを生成するように動作可能である、請求項1に記載の動画像復号器。
【請求項3】
前記動き補償データ生成器は、異なる各画像内の複数のセグメントにおいて、前記動きデータ及び前記以前に復号された動画像データを処理して、前記複数のセグメントのそれぞれにおいて、前記動き補償された動画像データを生成するように動作可能である、請求項2に記載の動画像復号器。
【請求項4】
前記復号器は、前記符号化された動画像データを復号して前記重み付きパラメータの差分データを生成するように動作可能であり、
前記予測データ生成器は、前記復号器からの前記重み付きパラメータと、以前に復号したセグメントにおいて導出された以前に復号された重み付きパラメータとの前記差分データを用いて、前記セグメントにおける重み付きパラメータを導出することによって、前記セグメントにおける前記予測動画像データを生成するように動作可能である、請求項1〜3のいずれか一項に記載の動画像復号器。
【請求項5】
前記予測データ生成器は、
以前に復号された少なくとも1つの近傍セグメントにおける重み付きパラメータから前記セグメントにおける重み付きパラメータを予測することと、
前記予測重み付きパラメータと前記復号器からの前記重み付きパラメータとを結合して、結果としての予測重み付きパラメータを生成することと、
前記セグメントにおける前記動き補償された動画像データと前記結果としての予測重み付きパラメータとを結合して、前記セグメントにおける前記予測動画像データを生成することと
によって、前記セグメントにおける前記予測動画像データを生成するように動作可能である、請求項4に記載の動画像復号器。
【請求項6】
前記予測データ生成器は、以前に復号された少なくとも2つの近傍セグメントにおける重み付きパラメータの平均を計算することによって、前記セグメントにおける前記重み付きパラメータを予測するように動作可能である、請求項5に記載の動画像復号器。
【請求項7】
前記予測データ生成器は、
前記セグメントにおける前記動きデータと、少なくとも1つの以前に復号されたセグメントにおける動きデータとを比較して、該動きデータ間の類似度の測定値を求め、
前記求められた測定値が高い類似度を示している場合には、前記少なくとも1つの以前に復号されたセグメントにおける前記重み付きパラメータを用いて、前記セグメントにおける予測重み付きパラメータを生成し、前記動き補償されたビデオデータと該予測重み付きパラメータとを結合するように動作可能である、請求項1〜6のいずれか一項に記載の動画像復号器。
【請求項8】
前記復号器は、前記符号化された動画像データを復号して前記オフセット重み付きパラメータ及び前記加重重み付きパラメータを生成し、前記オフセット重み付きパラメータの値がより少ないビットで表されるほど、該値がゼロに近づくようにし、また、前記加重重み付きパラメータの値がより少ないビットで表されるほど、該値が1に近づくようにするよう動作可能である、請求項1〜7のいずれか一項に記載の動画像復号器。
【請求項9】
画像のシーケンスを規定する動画像データを予測符号化するように動作可能な動画像符号化器であって、各画像は複数のセグメントに分割され、該符号化器は:
セグメントの動画像データを処理して、該セグメントにおける動きデータ及び動き補償された動画像データを生成するように動作可能な動き補償データ生成器と、
前記セグメントの重み付き予測におけるオフセット重み付きパラメータ及び加重重み付きパラメータを含む重み付きパラメータを計算するように動作可能な重み付きパラメータ計算器であって、前記重み付きパラメータは、表現歪み及び符号化コストの双方を考慮したレート制約付きのコスト式を最小にするものであり、前記セグメントにおける少なくとも1つの重み付きパラメータは、同じ画像内の異なるセグメントにおいて用いられる重み付きパラメータとは異なる、重み付きパラメータ計算器と、
前記動き補償された動画像データと前記重み付きパラメータとを結合して、前記セグメントにおける重み付き動き補償データを生成するように動作可能な重み付き動き補償データ生成器と、
前記セグメントにおける前記動画像データと前記セグメントにおける前記重み付き動き補償データとの間の差分を定義する差分データを生成するように動作可能な差分データ生成器と、
前記セグメントにおける前記差分データ、前記セグメントにおける前記動きデータ、及び前記セグメントにおける前記重み付きパラメータを含む、前記セグメントのデータを符号化するように動作可能な符号化器と
を備える、画像のシーケンスを規定する動画像データを予測符号化するように動作可能な動画像符号化器。
【請求項10】
前記重み付きパラメータ計算器は、複数のセグメントのそれぞれにおいて、加重重み付きパラメータを計算するように動作可能であり、
前記動き補償データ生成器は、1つのセグメント及び複数の異なるセグメントにおける前記動画像データを処理して、複数の動き補償された動画像データセグメントを生成するように動作可能であり、
前記重み付き動き補償データ生成器は、前記複数の動き補償された動画像データセグメントと前記複数の加重重み付きパラメータとを、該複数の動き補償された動画像データセグメントのそれぞれが該複数の加重重み付きパラメータのそれぞれによって重み付けされるように結合することによって、前記重み付き動き補償データを生成するように動作可能である、請求項9に記載の動画像符号化器。
【請求項11】
前記動き補償データ生成器は、異なる各画像内のセグメント及び複数のセグメントにおける前記動画像データを処理して、前記複数の動き補償された動画像データセグメントを生成するように動作可能である、請求項10に記載の動画像符号化器。
【請求項12】
前記セグメントにおける各重み付きパラメータについて、該セグメントにおける該重み付きパラメータと、以前のセグメントにおける重み付きパラメータとの間の差分を含む該セグメントにおける重み付きパラメータ差分値を計算するように動作可能な重み付きパラメータ差分計算器を更に備え、
前記符号化器は、前記セグメントにおける前記差分データ、前記セグメントにおける前記動きデータ、及び前記セグメントにおける前記重み付きパラメータ差分値を含む、前記セグメントのデータを符号化するように構成される、請求項9〜11のいずれか一項に記載の動画像符号化器。
【請求項13】
前記重み付きパラメータ差分計算器は、
少なくとも1つの以前の近傍セグメントにおける重み付きパラメータから前記セグメントにおける予測重み付きパラメータを予測することと、
前記重み付きパラメータ計算器によって計算された前記重み付きパラメータと前記予測重み付きパラメータとの間の差分を計算することと
によって、前記セグメントにおける各差分値を生成するように動作可能である、請求項12に記載の動画像符号化器。
【請求項14】
前記重み付きパラメータ計算器は、コスト関数J(o,w)
【数1】

を最小にするオフセット重み付きパラメータ及び加重重み付きパラメータを計算するように構成され、ここで、oはオフセットであり、wは加重であり、Dは前記セグメントにおける前記重み付き動き補償データと前記セグメントにおける前記動画像データとの間の差分を含む歪み測定値であり、Rは符号化データレートの測定値であり、λはラグランジュ乗数であり、
前記計算は、
a)前記歪み測定値Dの最小値を表すようなオフセット値と加重値のペアを規定する、オフセット−加重空間における直線を計算することと、
b)前記オフセット及び前記加重のうちの一方を第1の探索パラメータとして選択し、他方を第2の探索パラメータとして選択することと、
c)前記第1の探索パラメータの大域範囲を選択することと、
d)前記選択された大域範囲から前記第1の探索パラメータの値を選択することと、
e)前記第2の探索パラメータの局所探索範囲を選択することと、
f)前記第1の探索パラメータの前記選択された定数値について、前記局所探索範囲内における前記直線の付近を探索し、その領域においてJ(o,w)の最小値を与える前記第2の探索パラメータの値を特定することと、
g)前記第1の探索パラメータの様々な定数値について手順d)〜f)を繰り返し、J(o,w)の全体最小値を与えるオフセット値及び加重値の組合せを見つけることと
による、請求項9〜13のいずれか一項に記載の動画像符号化器。
【請求項15】
前記重み付きパラメータ計算器は、
【数2】

が成立する間、前記局所探索範囲内において継続的に増大するか又は継続的に減少する前記第1の探索パラメータの値が試されるようにプロセスf)を実行するように構成され、ここで、ΔDは歪み測定値における変化であり、ΔRはレート測定値における変化である、請求項14に記載の動画像符号化器。
【請求項16】
画像のシーケンスを規定する予測符号化された動画像データを復号する動画像復号方法であって、各画像は複数のセグメントに分割され、該方法は:
前記符号化された動画像データを復号して、画像のセグメントにおける復号された差分データと、該セグメントにおける復号された動きデータと、該セグメントの重み付き予測におけるオフセット重み付きパラメータ及び加重重み付きパラメータを含む復号された重み付きパラメータとを生成するステップであって、前記重み付きパラメータは、表現歪み及び符号化コストの双方を考慮したレート制約付きのコスト式を最小にする重み付きパラメータである、ステップと、
前記動きデータ及び以前に復号された動画像データを処理して、前記セグメントにおける動き補償された動画像データを生成するステップと、
前記セグメントにおける前記動き補償された動画像データと、前記セグメントにおけるオフセット重み付きパラメータ及び加重重み付きパラメータを含む重み付きパラメータと結合することによって、前記セグメントにおける予測動画像データを生成するステップであって、前記セグメントにおける少なくとも1つの重み付きパラメータは、同じ画像内の異なるセグメントにおいて用いられる重み付きパラメータとは異なる、ステップと、
前記セグメントにおける前記復号された差分データと前記セグメントにおける前記予測動画像データとを結合するステップと
を含む、画像のシーケンスを規定する予測符号化された動画像データを復号する動画像復号方法。
【請求項17】
画像のシーケンスを規定する動画像データを予測符号化する動画像符号化方法であって、各画像は複数のセグメントに分割され、該方法は:
セグメントの動画像データを処理して、該セグメントにおける動きデータ及び動き補償された動画像データを生成するステップと、
前記セグメントの重み付き予測におけるオフセット重み付きパラメータ及び加重重み付きパラメータを含む重み付きパラメータを計算するステップであって、該重み付きパラメータは、表現歪み及び符号化コストの双方を考慮したレート制約付きのコスト式を最小にするものであり、前記セグメントにおける少なくとも1つの重み付きパラメータは、同じ画像内の異なるセグメントにおいて用いられる重み付きパラメータと異なる、ステップと、
前記動き補償された動画像データと前記重み付きパラメータとを結合して、前記セグメントにおける重み付き動き補償データを生成するステップと、
前記セグメントにおける前記動画像データと前記セグメントにおける前記重み付き動き補償データとの間の差分を定義する差分データを生成するステップと、
前記セグメントにおける前記差分データ、前記セグメントにおける前記動きデータ、及び前記セグメントにおける前記重み付きパラメータを含む、前記セグメントのデータを符号化するステップと
を含む、画像のシーケンスを規定する動画像データを予測符号化する動画像符号化方法。
【請求項18】
プログラム可能な処理装置を画像のシーケンスを規定する予測符号化された動画像データを復号する動画像復号方法を実行するように動作可能になるようプログラムするためのコンピュータプログラム命令を保持するコンピュータプログラム製品であって、各画像は複数のセグメントに分割され、前記方法は:
前記符号化された動画像データを復号して、画像のセグメントにおける復号された差分データと、該セグメントにおける復号された動きデータと、該セグメントの重み付き予測におけるオフセット重み付きパラメータ及び加重重み付きパラメータを含む復号された重み付きパラメータとを生成するステップであって、前記重み付きパラメータは、表現歪み及び符号化コストの双方を考慮したレート制約付きのコスト式を最小にする重み付きパラメータである、ステップと、
前記動きデータ及び以前に復号された動画像データを処理して、前記セグメントにおける動き補償された動画像データを生成するステップと、
前記セグメントにおける前記動き補償された動画像データと、前記セグメントにおけるオフセット重み付きパラメータ及び加重重み付きパラメータを含む重み付きパラメータと結合することによって、前記セグメントにおける予測動画像データを生成するステップであって、前記セグメントにおける少なくとも1つの重み付きパラメータは、同じ画像内の異なるセグメントにおいて用いられる重み付きパラメータとは異なる、ステップと、
前記セグメントにおける前記復号された差分データと前記セグメントにおける前記予測動画像データとを結合するステップと
を含む、プログラム可能な処理装置を画像のシーケンスを規定する予測符号化された動画像データを復号する動画像復号方法を実行するように動作可能になるようプログラムするためのコンピュータプログラム命令を保持するコンピュータプログラム製品。
【請求項19】
プログラム可能な処理装置を画像のシーケンスを規定する動画像データを予測符号化する動画像符号化方法を実行するように動作可能になるようプログラムするためのコンピュータプログラム命令を保持するコンピュータプログラム製品であって、各画像は複数のセグメントに分割され、前記方法は:
セグメントの動画像データを処理して、該セグメントにおける動きデータ及び動き補償された動画像データを生成するステップと、
前記セグメントの重み付き予測におけるオフセット重み付きパラメータ及び加重重み付きパラメータを含む重み付きパラメータを計算するステップであって、該重み付きパラメータは、表現歪み及び符号化コストの双方を考慮したレート制約付きのコスト式を最小にするものであり、前記セグメントにおける少なくとも1つの重み付きパラメータは、同じ画像内の異なるセグメントにおいて用いられる重み付きパラメータと異なる、ステップと、
前記動き補償された動画像データと前記重み付きパラメータとを結合して、前記セグメントにおける重み付き動き補償データを生成するステップと、
前記セグメントにおける前記動画像データと前記セグメントにおける前記重み付き動き補償データとの間の差分を定義する差分データを生成するステップと、
前記セグメントにおける前記差分データ、前記セグメントにおける前記動きデータ、及び前記セグメントにおける前記重み付きパラメータを含む、前記セグメントのデータを符号化するステップと
を含む、プログラム可能な処理装置を画像のシーケンスを規定する動画像データを予測符号化する動画像符号化方法を実行するように動作可能になるようプログラムするためのコンピュータプログラム命令を保持するコンピュータプログラム製品。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公表番号】特表2013−505615(P2013−505615A)
【公表日】平成25年2月14日(2013.2.14)
【国際特許分類】
【出願番号】特願2012−529206(P2012−529206)
【出願日】平成22年9月6日(2010.9.6)
【国際出願番号】PCT/EP2010/063024
【国際公開番号】WO2011/032852
【国際公開日】平成23年3月24日(2011.3.24)
【出願人】(501253316)ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ (77)
【氏名又は名称原語表記】MITSUBISHI ELECTRIC R&D CENTRE EUROPE B.V.
【住所又は居所原語表記】20 Frederick Sanger Road, The Surrey Research Park, Guildford, Surrey GU2 5YD, Great Britain
【Fターム(参考)】