映像符号化の方法及び装置
映像符号化及び復号化エンティティにおける方法及び装置。方法及び装置は、ブロックBに隣接する取得した(802)ブロックの集合と関連付けられた参照ピクチャのうちの複数の参照ピクチャ又は参照ピクチャの組み合わせの発生頻度を判定すること(804)を含む。方法及び装置は、ブロックBを符号化/復号化する時に使用される参照ピクチャ又は参照ピクチャの組み合わせCの予測値Cpredとするために判定された最大発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせを選択すること(806)を更に含む。方法及び装置は、予測値CpredがCに対応するかを指定する指示を提供/取得すること(610、612、808)を更に含み、予測値CpredがCに対応すると示される場合、符号化ブロックBeは予測値Cpredに基づいて復号化される(812)。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像符号化に関連する情報を符号化及び復号化する方法及び装置に関する。
【背景技術】
【0002】
映像符号化は、イントラモード及び/又はインターモードで行われる。イントラモードは映像フレーム内の冗長性を利用し、インターモードは映像フレーム間の冗長性を利用する。インターモードにおいて、画素ルマ(luma)/クロマ(chroma)予測値は、参照ピクチャと呼ばれる既に符号化/復号化されたピクチャから取得される。予測に使用される参照ピクチャの数に依存して、インターモードは、それぞれ1つ、2つ及び3つの参照ピクチャが使用される単一方向予測モード(又は単一方向モード)、双方向予測モード(Bモード)及び可能であれば3方向予測モード等に分類される。本明細書において、これらの種々のモード、すなわち、単一方向予測、双方向予測等を「参照モード」と呼ぶ。
【0003】
H.264及びMPEG4 Part10としても既知である高度映像符号化(AVC)は、ITU−T(国際電気通信連合電気通信標準化部門)及びMPEG(Moving Picture Experts Group)の2D映像符号化に対する最新の規格である。AVCコーデックは、ハイブリッドコーデックであり、フレーム間の冗長性とフレーム内の冗長性とを除去することを利用する。
【0004】
AVCにおいて、関連する参照ピクチャの標識(indicator)が特定の順序で配置される2つの参照リストが規定される。これらの標識は、AVCにおいて参照インデックスと表され、例えば(0,1,...,N)等の0〜Nの番号がつけられる。一般に、第1のリストList0(L0)は、主に過去の参照ピクチャ、すなわち時間に関して現在のピクチャに先行する参照ピクチャを管理し、第2のリストList1(L1)は、未来の参照ピクチャ、すなわち時間に関して現在のピクチャに後続する参照ピクチャを管理する。低遅延映像符号化の場合、L1も過去の参照ピクチャを管理する。各リストは、最大15個の参照ピクチャの標識を保持できる。すなわち、インデックスの数NはN=14である。
【0005】
更にAVCにおいて、参照ピクチャリストの一方(例えば、単一方向予測のために)又は双方の参照ピクチャリスト(例えば、双方向予測のために)の選択を指定する標識又は参照モードインデックスは、マクロブロック(MB)モード/サブMBモードのパーティション構造と共に符号化され、その一方で、各リストにおける選択された参照ピクチャを指定する標識又は参照ピクチャインデックスは、独立した構文要素として符号化される。「パーティション構造」は、例えば16×16のMBの16×16、16×8又は8×16等のパーティションを示す。例えば16×16のパーティションは、一般に、単一方向予測が使用される場合は1つの動きベクトル(MV)及び1つの参照インデックスと関連付けられ、双方向予測が使用される場合は2つのMV及び2つの参照インデックスと関連付けられる。MVは、水平成分MVxと垂直成分MVyとを有し、現在のパーティションの画素が対応する参照ピクチャから生成される方法を記述する。
【0006】
ピクチャ又はパーティションと関連付けられる参照ピクチャの数は、同一のパーティションと関連付けられた参照モード、すなわち単一方向予測か又は双方向予測かに依存する。復号器において参照情報を復号化する時、復号器がピクチャ又はパーティションを正確に復号化できるように、ピクチャ又はパーティションと関連付けられた参照モードインデックスと1つ以上の参照ピクチャインデックスとが正確に復号化される必要がある。参照モードインデックス、1つ以上の参照ピクチャインデックス、のいずれかが不正確に復号化されると、参照情報を誤って解釈してしまう可能性がある。
【0007】
上述したAVCの方法等の参照情報を符号化する現在の方法は、各ブロックと関連付けられた参照情報を搬送するために比較的多くのビットを必要とする。これは、符号化効率の点で非効率であると認識される。
【発明の概要】
【発明が解決しようとする課題】
【0008】
参照情報、すなわち現在のフレームの予測に使用される1つ以上の参照ピクチャを識別する情報、の符号化効率の向上を可能にするのが望ましい。本発明の目的は、参照情報の符号化効率の向上を可能にすることである。本発明の更なる目的は、参照情報の改善された予測を可能にする方法及び装置を提供することである。これらの目的は、添付の独立請求項に係る方法及び装置により達成される。オプションの実施形態は、従属請求項により規定される。以下に説明する予測、符号化及び復号化は、同一のエンティティ又はノード内、あるいは異なるエンティティ又はノード内で行われる。
【課題を解決するための手段】
【0009】
第1の態様によると、方法は映像復号化エンティティにおいて提供される。方法は、符号化ブロックBeと、各々が1つ以上の参照ピクチャと関連付けられる符号化ブロックBeの隣接ブロックの集合とを取得することを備える。方法は、隣接ブロックの集合と関連付けられた参照ピクチャのうち、複数の参照ピクチャ又は参照ピクチャの組み合わせの発生頻度を判定することを更に備える。方法は、例えば符号化ブロックBeを復号化する際に使用される参照ピクチャ又は参照ピクチャの組み合わせCの予測値Cpredとするために、隣接ブロックと関連付けられた参照ピクチャのうち判定された最大発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせを選択することを更に備える。方法は、予測値CpredがCに対応するかどうかを指定する指示(indication)を取得することを更に備える。予測値CpredがCに対応することが示される場合、符号化ブロックBeは予測値Cpredに基づいて復号化される。このように、画素の復号化ブロックBが取得される。
【0010】
第2の態様によると、装置は映像復号化エンティティにおいて提供される。装置は、符号化ブロックBeと、各々が1つ以上の参照ピクチャと関連付けられる符号化ブロックBeの隣接ブロックの集合とを取得するように構成された機能ユニットを備える。装置は、隣接ブロックの集合と関連付けられた参照ピクチャのうちの複数の参照ピクチャ又は参照ピクチャの組み合わせの発生頻度を判定するように構成された機能ユニットを更に備える。装置は、符号化ブロックBeを復号化する際に使用される参照ピクチャ又は参照ピクチャの組み合わせCの予測値Cpredとするために、隣接ブロックと関連付けられた参照ピクチャのうち判定された最大発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせを選択するように構成された機能ユニットを更に備える。装置は、予測値CpredがCに対応するかを指定する指示を取得するように更に構成された取得ユニット(904)である機能ユニットを更に備える。装置は、予測値CpredがCに対応すると示される場合に予測値Cpredに基づいて符号化ブロックBeを復号化して、画素の復号化ブロックBを提供するように構成された機能ユニットを更に備える。
【0011】
第3の態様によると、方法は映像符号化エンティティにおいて提供される。方法は、画素のブロックBに隣接するブロックの集合と関連付けられた参照ピクチャのうちの複数の参照ピクチャ又は参照ピクチャの組み合わせの発生頻度を判定することを備える。方法は、ブロックBを符号化する際に使用される参照ピクチャ又は参照ピクチャの組み合わせCの予測値Cpredとするために、隣接ブロックと関連付けられた参照ピクチャのうち判定された最大発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせを選択することを更に備える。方法は、予測値CpredがCに対応するかを判定することと、前記判定の結果を指定する指示をブロックの復号器に提供することとを更に備える。
【0012】
第4の態様によると、装置は映像符号化エンティティにおいて提供される。装置は、各隣接ブロックが前記隣接ブロックを符号化する時に使用された1つ以上の参照ピクチャと関連付けられる符号化隣接ブロックの集合を有するブロックBに対して、隣接ブロックの集合と関連付けられた参照ピクチャのうちの複数の参照ピクチャ又は参照ピクチャの組み合わせの発生頻度を判定するように構成された機能ユニットを備える。装置は、ブロックBを符号化する時に使用された参照ピクチャ又は参照ピクチャの組み合わせCの予測値Cpredとするために隣接ブロックと関連付けられた参照ピクチャのうち判定された最大発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせを選択するように構成された機能ユニットを更に備える。装置は、予測値CpredがCに対応するかを判定するように更に構成される。装置は、前記判定の結果を指定する指示をブロックの復号器に提供するように構成された機能ユニットを更に備える。
【0013】
上記方法及び装置は、符号化効率を向上するために使用される。符号化効率は、現在のフレームの予測に使用される1つ以上の参照ピクチャを識別するためにより少ないビットを使用することが可能になることにより向上される。更に上記方法及び装置は、誤り耐性の向上を可能にする。また、上記方法及び装置は、参照ピクチャインデックス予測を容易に実行できるようにする。
【0014】
上記方法及び装置は、種々の実施形態において実現される。いくつかの実施形態において、隣接ブロックと関連付けられた参照ピクチャは、参照モードパラメータと1つ以上の参照ピクチャパラメータとの組み合わせにより識別される。他の実施形態において、隣接ブロックと関連付けられた参照ピクチャは、単一の構文要素により識別される。参照モードとインデックスとをまとめて単一の構文要素を形成することにより、参照インデックス番号の操作が容易になる。
【0015】
いくつかの実施形態において、参照ピクチャ及び/又は参照ピクチャの組み合わせの発生頻度は、隣接ブロックと関連付けられた参照ピクチャ及び/又は参照ピクチャの組み合わせのカウントを含む。参照ピクチャ又は参照ピクチャの組み合わせの種々の発生は、当該発生が関連付けられる隣接ブロックと関連付けられた変換係数の数等の種々の基準に基づいて種々の重みを割り当てられる。
【0016】
CpredがCに対応するかの指示は、ビットストリームにおける構文要素として信号伝送(signaling)されるか、あるいは暗黙的に(implicitly)信号伝送される。CpredがCに対応しないことが示される場合、更なる情報が搬送され、これにより符号化ブロックBeを復号化する時に使用する参照ピクチャが判定できる。
【0017】
判定された参照ピクチャ及び/又は参照ピクチャの組み合わせの発生頻度は、参照ピクチャ又は参照ピクチャの組み合わせの標識を可変長コードワードにマッピングするために使用される。CpredがCに対応するかの指示は、そのようなコードワードであってもよい。CpredがCに対応しないと示される時に必要とされる更なる情報は、そのようなコードワードを使用して信号伝送されてもよい。従って、最短のコードワードが最も確率の高いものに使用されることが保証される。
【0018】
更にいくつかの実施形態において、マルチ予測と関連付けられたブロックの1つ以上のサブ領域は、暗黙的な情報に基づいて識別され、それらサブ領域において、マルチ予測参照ブロックの対応する各領域は相対的に低い相関を有する。識別されたサブ領域に対してマルチ予測の代わりに別の予測が使用されてもよい。その別の予測は、単一予測であるか又は重み付きマルチ予測であってもよい。その別の予測は、マルチ予測と関連付けられた参照ブロックのうち1つのみを使用する予測である。
【0019】
上記実施形態は、主に方法に関して説明された。しかし、上記説明は、上述の特徴の実行を可能にするように構成された装置の実施形態を含むことを意図する。上記例示的な実施形態の種々の特徴は、要望、要求又は好みに応じて種々の方法で組み合わされてもよい。
【0020】
更に別の態様によると、1つ以上の処理ユニットで実行された時に上述の方法のうちの1つに従って対応する手順を上述の装置のいずれかに実行させるコンピュータ可読コード手段を含むコンピュータプログラムが提供される。
【0021】
更に別の態様によると、上記のコンピュータプログラムを含むコンピュータプログラム製品が提供される。
【図面の簡単な説明】
【0022】
例示的な実施形態を使用し、添付の図面を参照して、本発明について更に詳細に説明する。
【図1】、
【図2】例示的な実施形態に従って、現在のブロックの隣接ブロックと関連付けられた参照モードと1つ以上の参照ピクチャとの種々の組み合わせの発生頻度を判定することを示す概略図である。
【図3】従来技術に係る種々のインデックス記号に対する標識(コードワード)の割り当てを示す概略図である。
【図4】例示的な一実施形態に係る標識(コードワード)の割り当てを示す概略図である。
【図5】例示的な一実施形態に係る参照情報に対するコードワードの割り当てを示す図である。
【図6】例示的な一実施形態に係る参照モードと1つ以上の参照ピクチャとに関連する情報の符号化の手順を示すフローチャートである。
【図7】例示的な一実施形態に係る映像符号化エンティティにおける参照モードと1つ以上の参照ピクチャとに関連する情報の符号化を行うように構成された装置を示すブロック図である。
【図8】例示的な一実施形態に係る参照モードと1つ以上の参照ピクチャとに関連する情報の復号化の手順を示すフローチャートである。
【図9】例示的な一実施形態に係る映像復号化エンティティにおける参照モードと1つ以上の参照ピクチャとに関連する情報の復号化を行うように構成された装置を示すブロック図である。
【図10】例示的な一実施形態に係る映像符号化/復号化エンティティにおける装置を示す概略図である。
【図11】従来技術に係る参照情報表現から例示的な一実施形態に係る参照情報表現への変換を示す概略図である。
【図12】例示的な一実施形態に係るAVC参照インデックス表現と参照インデックス表現との間の差分を示すテーブルである。
【図13】例示的な一実施形態に係る参照情報標識の割り当てを示す概略図である。
【図14】例示的な一実施形態に係る暗黙的な情報に基づく分割を示す概略図である。
【発明を実施するための形態】
【0023】
既存の映像符号化技術に関する1つの問題は、満足のいく参照モード/参照ピクチャ予測方式が規定又は適用されていないことであることが理解される。例えばシーンカット/フェージング/フラッシュシナリオにおいて、例えば参照モードと参照ピクチャとの同一の組み合わせが隣接又は近接するMBの予測に使用されることは非常に一般的なことであることが理解される。更に、現在の符号化方法は、隣接するMBに対して使用された参照モード/参照ピクチャの間の相関を利用しないことが理解される。以前のソリューションにおいては、MB参照情報を識別する別個の成分は、個別に符号化され、映像復号器に搬送される。
【0024】
本明細書内では、画素ブロックを符号化する時に使用された参照モード及び1つ以上の参照ピクチャの標識は合同符号化され、従って、符号化ブロックを復号化するのに必要な全ての参照情報は、例えば「参照標識」、「参照インデックス」、「参照インデックス記号」又は「RISインデックス」である単一の構文要素により表されると仮定する。「RIS」は「参照インデックス信号伝送(Reference Index Signaling)」又は「参照情報標識信号伝送(Reference information Indicator Signaling)」を示し、これについては本説明中で以下に更に詳細に説明する。そのような合同符号化は、単一の参照ピクチャを使用する単一方向予測と、例えば双方向予測及び3方向予測等の複数の参照ピクチャを使用する予測と、の双方に対して参照情報予測を実行するのに役立つ可能性がある。尚、以下に説明する参照情報予測の手順は、例えばAVCで使用される参照モードインデックス及び参照ピクチャリストインデックス等の最新の参照情報表現に対しても使用可能である。
【0025】
本明細書内において、「ブロックXの隣接ブロック」という用語は、ブロックXに隣接するブロック、すなわちブロックXに近接するか又はブロックXの近傍に配置されるブロックを示すものとして使用される。更に本明細書内において、「ブロック」という用語は画素のユニットを表すものとして使用される。「参照ピクチャ」又は「参照ブロック」という用語は、先に符号化/復号化されたピクチャ、ブロック、ピクチャの領域又はエリアを参照するものとして使用され、ピクチャ、ブロック、領域等は、予測のために参照として使用される。
【0026】
MBレベルでの例示的な予測方式は以下のように説明できる。例示的な予測方式は、符号器及び復号器の双方に適用され、いかなるブロックサイズにも適用可能である。
【0027】
現在のMBの符号化/復号化に関連して、符号器/復号器は、そのMBの「コンテキスト」とも呼ばれる周囲の符号化MBの参照標識を解析するように構成される。これら周囲のブロックは、現在のブロックの「隣接ブロック」と示される。符号器/復号器は、候補標識又はインデックスの集合のうちの各々が隣接ブロックに現れる回数をカウントし、例えば事前定義された方式に従って、カウントが最も多いものを予測値又は推定値として選択する。選択された参照標識は、インター予測と関連しているはずである。選択された参照標識は、現在のMBを符号化/復号化する時に使用するのに適切である参照ピクチャ(及び参照モード)の予測値又は推定値に設定される。その予測値は、現在のMB自体の解析ではなくMBの符号化/復号化隣接ブロックに関連する情報の解析により導出されることになる。符号器において、この例では予測値は現在のMBを符号化する時に使用する参照ピクチャ(及び参照モード)を選択するのに使用されないため、MBはこの予測値の選択中に符号化されてもされなくてもよい。復号器において、この予測中において、現在のMBは符号化状態である。
【0028】
図1は、例示的な隣接ブロック参照標識の解析及び推定値の選択を示す。図1に示す例において、現在のブロックの4つの隣接ブロックが考慮される。しかし、方法は、考慮される隣接ブロックの他の集合又は部分集合に対しても適用可能である。隣接ブロックの集合の一例は、例えば現在のブロックに対する左ブロック、左上ブロック及び上ブロックから構成される。集合の別の例は、左ブロック及び上ブロックのみを含む。図1において、現在のブロックの隣接ブロックは、各参照標識又はインデックス1、1、2及び0と関連付けられている。従って、参照標識「1」は、隣接ブロックに2回現れることにより、最も大きいカウント、すなわち最も高い発生頻度を有している。参照標識「1」は、現在のブロックを符号化する時又は予測が復号器において行われる時に使用されたか又は使用される参照ピクチャ(及びモード)の予測値又は推定値、現在のブロックを復号化する時に使用される参照ピクチャ(及びモード)の予測値を表すために選択される。
【0029】
図2は、現在のブロックの隣接ブロックと関連付けられた参照標識をカウントすることにより現在のブロックに対する特定の参照標識の発生頻度を判定する別の例示的な実施形態を示す。ここで、現在のブロックは大きなMBであり、隣接ブロックのサイズは現在のブロックより小さい。いくつかの例において、当該ブロックのブロックサイズに関係なくコンテキストにおいて同数の隣接ブロックを有することは興味深い。
【0030】
隣接ブロックで特定の参照標識の発生回数をカウントする場合、2つ以上の候補が同一の最大カウント数を有する可能性がある。これを図2に示す。図中、参照標識「1」及び「2」の双方が4回現れている。これは、例えば事前定義された順序付け方式に従って参照標識を選択することにより解決できる。例えば参照標識が図1及び図2に示すように数字0〜2で表される場合、最大の数字又は最小の数字により表された参照標識が予測値として選択される。
【0031】
元の画素値のブロック、すなわち符号化される前の元のブロックと予測された画素値のブロックとの差分は、例えばDCT(離散コサイン変換)である変換符号化により符号化される。変換の出力は変換係数を含み、その後、変換係数は量子化される。ブロックと関連付けられた変換係数の数は、所定の量子化に対して予測ブロックと元のブロックとの間の一致の程度を反映する。相対的に少ない変換係数は、適切に一致していることを示す。その結果、殆ど変換係数を有さない隣接ブロックと関連付けられた参照標識は、より信頼性が高いと考えられる。
【0032】
従って、発生のカウントは、例えば参照ブロックと関連付けられた符号化変換係数に従って重み付けされる。上述したように、わずかな符号化変換係数しか有さない隣接ブロックと関連付けられた参照インデックスは、多くの変換係数を有する隣接ブロックと関連付けられた参照インデックスより信頼できる予測値と考えられ、参照インデックス予測のためにより大きい重みを割り当てられる。別の例において、符号化係数を有するブロックは、符号化係数を有さないブロック、すなわちスキップされたブロックより大きい重みを有してもよい。別の例において、例えば大きいMBである大きいMVパーティションを有する隣接ブロックと関連付けられた参照インデックスは、より小さいMVパーティションを有する隣接ブロックより信頼できると考えられ、参照インデックス予測のためにより大きい重みが割り当てられる。2の倍数である重みを使用することは、複雑さの観点で有益である。重み付きカウントは、ルックアップテーブルを使用することによっても実現される。
【0033】
いくつかの参照標識は、他の参照標識より互いにより強く関連する。例えば合同符号化された参照情報を使用する場合、参照フレームref0及びref1を使用する双方向予測を表す参照標識は、例えば参照フレームref2を使用する単一方向予測を表す参照標識よりも、ref0及びref1のうちの一方を使用する単一方向予測を表す参照標識とより強く関連する。従って、双方向予測標識をカウントする時、同一の参照フレームを使用する単一方向予測を表す対応する標識が、ある小さいカウント値、すなわち「完全な一致」に対するカウント値より小さいカウント値により更新されようにする。同様に、例えばref0及びref1を使用する単一方向予測を表す参照標識は、他の双方向予測参照標識よりも、ref0及びref1を使用する双方向予測を表す対応する参照標識と強く関連する。従って、単一方向参照標識をカウントする時、当該参照フレームが使用されるマルチ予測に対応する参照標識のカウントが、ある小さい値で更新される。
【0034】
参照標識予測又は参照インデックス予測を導入する1つの利点は、VLC(可変長符号化)テーブルのより効率的なマッピングを可能にすることである。予測とVLCテーブルとを共に考慮することにより、より高い圧縮が実現可能である。例えば予測を使用しない(0、1、2)等の3つのインデックスの符号化を仮定すると、図3に示すような固定のVLCテーブルが割り当てられる。インデックス記号「2」が最も頻繁に発生すると仮定すると、「2」が2ビットすなわち「11」を含むコードワードを使用して符号化され、その一方でより頻度の低い「0」が1ビットすなわち「0」を使用して符号化されるため、図3に示すテーブルには改善の余地がある。
【0035】
予測が加えられる場合、より適切なVLCテーブル設計が可能である。そのような改善されたVLCテーブル設計の一例を図4に示す。そのような改善されたVLC設計において、参照標識又はインデックス記号を符号化するのに使用されるビットは、予測及び従って現在のブロックのコンテキストに基づいて適応される。図4に示すテーブルにおいて、現在のブロックのコンテキストにおいて最も頻繁に発生する参照標識は、この例においては「0」である単一ビットのコードワードを使用して符号化される。2ビットから成るコードワード「10」及び「11」は、例えば2番目に高い発生頻度を有する参照標識と3番目に高い発生頻度を有する参照標識とを識別するようにそれぞれ規定される。参照標識の符号器及び復号器の双方は、予測の実行の方法及びコードワードの解釈の方法を認識しており且つそれらの方法について同意しているべきである。
【0036】
上述した例は単なる一例であり、可能な設計はこれに限定されない。例えばより多くの参照標識又はインデックス記号が含まれる場合、参照標識又はインデックス記号に種々のVLCテーブルを割り当てる種々の方法が存在する。方法の一例では、頻繁に発生する参照標識に小さいインデックス番号が割り当てられ、頻繁に発生しない参照標識に大きいインデックス番号が割り当てられ、且つ大きいインデックス番号より小さいインデックス番号の方が符号化するのに少ないビットを要するように、インデックスの発生の確率によりインデックス付けを変更することである。コンテキスト対応2値算術符号化(CABAC)は、参照標識又はインデックスを表すためのビットコストを、それら参照標識又はインデックスの確率に従って変動させることを達成するために使用され得る。種々のコンテキストのいくつかの例は、例えば上述したように、隣接ブロックと関連付けられた参照標識、参照標識のカウント数、又は参照標識の重み付きカウント数である。
【0037】
別の方法は、参照標識が発生している時にそれら参照標識を表す数字又はインデックスのいわゆる「バブルソート」を採用することである。この例において、VLCバブルテーブルは、AVC UVLC(汎用可変長コード)テーブルのようにコードワードの長さがVLCテーブルインデックスの増加と共に増加する固定のVLCテーブルであるが、VLCテーブルインデックスと、参照標識を表すインデックス記号又は番号との間のマッピングが適応的である。この適応は、バブルソートの機構のように、隣接する「マッピング位置」を入れ替えることにより行われる。そのような入れ替えの一例を図5に示す。図中、記号「A」はVLCテーブル504aのインデックス4にマッピングされ、記号「B」はVLCテーブルのインデックス5にマッピングされている。ここで、VLCインデックス5(記号B)が復号化されると仮定する。記号Bの復号化の後、テーブル502においてVLCインデックス4であった記号Aと記号Bとのインデックスマッピングにより、テーブル506に示すように、記号AがVLCインデックス5にマッピングされ且つ記号BがVLCインデックス4にマッピングされるように位置を入れ替える。この隣接インデックスの入れ替え手段により、VLCテーブルは、最終的に最も確率の高い記号が小さいVLCインデックスに、従って短いコードワードにマッピングされるように適応され、向上した圧縮効率を与える。
【0038】
参照標識予測の手順の符号化部分の一実施形態について、図6を参照して説明する。手順は、映像符号化エンティティにおいて実行される。映像符号化エンティティは、映像符号器であるか、あるいは例えばコンピュータ、移動端末又は映像専用デバイス等の映像復号器に加えて更なる機能ユニットを含むエンティティである。
【0039】
手順は、符号化隣接ブロックの集合を有する画素のブロックBに対して実行されるものとして説明される。ここで、各隣接ブロックは、その隣接ブロックを符号化する時に使用された1つ以上の参照ピクチャと関連付けられている。動作602において、隣接ブロックの集合と関連付けられた参照ピクチャのうちの複数の参照ピクチャ又は参照ピクチャの組み合わせの発生頻度が判定される。
【0040】
動作604において、隣接ブロックと関連付けられた参照ピクチャのうち、最大発生頻度を有すると判定された参照ピクチャ又は参照ピクチャの組み合わせが、ブロックBを符号化する時に使用される参照ピクチャ又は参照ピクチャの組み合わせCの予測値Cpredとするために選択される。ブロックBは、この段階で符号化されていてもよいし、あるいはこれから符号化されてもよい。
【0041】
例えば説明する手順の一部と考えられても考えられなくてもよい動作606において、ブロックBが参照ピクチャ又は参照ピクチャの組み合わせCを使用して符号化されている。この場合、動作608において、予測値Cpredが、ブロックBを符号化することにより符号化ブロックBeを提供する際に使用されたCに対応するかが判定される。この判定動作の結果は、動作610又は612においてブロックBeの復号器に提供される。例えばCpredがCに対応すると判定された場合、ビットストリームの所定のビットが「0」に設定され、CpredがCに対応しないと判定される場合、その所定のビットが「1」に設定される。更にCpredがCに対応しないと判定される場合には、動作614において、Cを識別する更なる情報がBeの復号器に提供される。
【0042】
以下において、上述した参照標識予測の手順の実行を可能にするように構成された装置700の一例について図7を参照して説明する。装置は、映像符号化エンティティ701に配置されているものとして示されている。映像符号化エンティティ701は、映像符号器であるか、あるいは例えばコンピュータ、移動端末又は映像専用デバイス等の映像符号器に加えて更なる機能ユニットを含むエンティティである。装置700は、あらゆる種類の有線又は無線通信のための従来の手段を含むと考えられる通信ユニット702を介して他のエンティティと通信する。符号化される非符号化映像は、取得ユニット704により通信ユニット702又はメモリから取得され、映像のブロックは、符号化ユニット712において符号化されることになる。ここで、機能ユニット712は従来の方法を使用する。
【0043】
装置700は、判定ユニット706を含む。判定ユニット706は、各々が隣接ブロックを符号化する時に使用される1つ以上の参照ピクチャと関連付けられている符号化隣接ブロックの集合を有し且つ取得ユニット704から受信されたブロックBに対して、隣接ブロックの集合と関連付けられた参照ピクチャのうちの複数の参照ピクチャ又は参照ピクチャの組み合わせの発生頻度を判定するように構成されている。装置700は、選択ユニット708を更に含む。選択ユニット708は、ブロックBを符号化することにより符号化ブロックBeを提供する時に使用される参照ピクチャ又は参照ピクチャの組み合わせCの予測値Cpredとするために、隣接ブロックと関連付けられた参照ピクチャのうち判定された最大発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせを選択するように構成される。
【0044】
判定ユニット706は、予測値CpredがCに対応するかを判定するように更に構成される。装置700は、前記判定の結果を特定する指示をブロックBeの復号器に提供するように構成された提供ユニット710を更に含む。
【0045】
参照標識予測の手順の復号化部分の一実施形態について、図8を参照して説明する。手順は、映像復号化エンティティにおいて実行される。映像復号化エンティティは、映像復号器であるか、あるいは映像復号器に加えて更なる機能ユニットを含むエンティティである。符号化ブロックBe及びBeの隣接ブロックの集合は、動作802において取得される。ブロックBeは、ある時点において例えば上述した方法で映像符号器により符号化されており、例えば適切な伝送プロトコルを使用する無線及び/又は有線伝送を使用して復号化エンティティに提供される。各隣接ブロックは、符号器においてブロックを符号化する時に使用された1つ以上の参照ピクチャ又はフレームと関連付けられている。
【0046】
動作804において、隣接ブロックの集合と関連付けられた参照ピクチャのうちの複数の参照ピクチャの発生頻度が判定される。これは、判定されるピクチャの組み合わせの発生頻度、例えば双方向予測又は3方向予測に使用される特定の参照ピクチャの組み合わせの発生頻度となる。参照ピクチャは、参照モードインデックス等の参照モードパラメータと隣接ブロックに関連付けられた参照ピクチャインデックス等の1つ以上の参照ピクチャパラメータとの組み合わせにより表されるか又は識別される。更に参照モードパラメータと1つ以上の参照ピクチャパラメータとの組み合わせは、例えば上述したように「参照標識」、「参照インデックス」又は「参照インデックス記号」で示される単一の構文要素により表されるか又は識別されるように合同符号化されている。
【0047】
参照標識により表される可能性が高い参照モードパラメータ及び1つ以上の参照ピクチャパラメータにより表される各参照ピクチャ又は参照ピクチャの組み合わせの発生頻度を判定すると、符号器においてブロックBeを符号化する時に使用され、従ってブロックBeを復号化する時に使用される1つ以上の参照ピクチャ又はフレームCの予測値Cpredとするために又はそれを表すために、最大発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせの1つが選択される。
【0048】
更に予測値CpredがブロックBeを復号化する時に使用される実際の1つ以上の参照ピクチャCに対応するかどうかを指定する指示が動作808において取得される。なお、動作808は、動作802〜806の前、それら動作中又はそれら動作後に実行されてもよい。指示は、例えばビットストリーム中の1ビットコードワード又はフラグとして取得されてもよい。CpredがCに対応することは、例えば事前定義された位置にコードワード「0」が到達すること(例えば、図4)により示されるが、そのことが指定された場合、動作812において、符号化ブロックBeは予測値Cpredに基づいて復号化される。すなわち、Beは、隣接ブロックと関連付けられた参照ピクチャのうち最大発生頻度を有し且つ予測値Cpredとするために選択される1つ以上の参照ピクチャを使用して復号化される。Beを復号化することにより、画素の復号化ブロックBは取得又は提供される。
【0049】
CpredがCに対応するかを指定する指示は、更に暗黙的である可能性があり、例えば「1」をカウンタに加算するようなある動作の実行を省略することにより又はフラグの切り替えをしないことにより示される。
【0050】
他方、予測値CpredがCに対応しないことが示される場合、符号化ブロックBeを復号化する時に使用する参照ピクチャを判定するために、動作814において更なる情報が取得される。適切な1つ以上の参照ピクチャを識別する更なる情報を取得すると、動作816において、ブロックBeは前記情報を使用して復号化される。
【0051】
以下において、上述した参照標識予測の手順の実行を可能にするように構成された装置900の一例について図9を参照して説明する。装置は、映像復号化エンティティ901に配置されているものとして示される。映像復号化エンティティ901は、映像復号器であるか、あるいは例えばコンピュータ、移動端末又は映像専用デバイス等の映像復号器に加えて更なる機能ユニットを含むエンティティである。装置900は、あらゆる種類の有線又は無線通信のための従来の手段を含むと考えられる通信ユニット902を介して他のエンティティと通信するように更に示される。
【0052】
装置900は、復号化される符号化ブロックBeと符号化ブロックBeの隣接ブロックの集合とを取得するように構成された取得ユニット904を含む。ここで、各隣接ブロックは、1つ以上の参照ピクチャ、すなわちブロックを符号化する時に使用され且つブロックを復号化する時にも使用されるピクチャと関連付けられる。隣接ブロックと関連付けられた参照ピクチャは、ブロックと関連付けられた参照モードパラメータと1つ以上の参照ピクチャパラメータとの組み合わせに基づいて、あるいは例えばブロックと関連付けられた単一の構文要素に基づいて識別される。取得ユニット904は、通信ユニット902の一部と考えられてもよい。
【0053】
装置900は、隣接ブロックの集合と関連付けられた参照ピクチャのうちの複数の参照ピクチャ又は参照ピクチャの組み合わせの発生頻度を判定するように構成された判定ユニット906を更に含む。例えば参照ピクチャA及びBの双方と関連付けられるか、Dのみと関連付けられるか、あるいはAのみと関連付けられる隣接ブロックの数をそれぞれカウントすることにより判定する。これは、隣接ブロックのうち特定の参照ピクチャ又は参照ピクチャの組み合わせとの関連付けの発生回数をカウントすること、あるいは隣接ブロックの集合のうち例えば参照ピクチャの発生回数をカウントすることと言うこともできる。
【0054】
関連付けられた種々の参照ピクチャ及び組み合わせは、種々の重みを割り当てられる。例えば参照ピクチャA及びBの組み合わせ(との関連付け)の発生回数をカウントする場合、参照ピクチャBのみとの関連付けの発生は小さい重みを割り当てられるため、「A+B」の発生の合計にあまり寄与しない。更に、最初の発生時に参照ピクチャDが例えば少ない数の変換係数を有するブロックと関連付けられる場合、そのときの参照ピクチャDとの関連付けの1回の発生は、参照ピクチャDとの関連付けの別の発生より大きい重みを割り当てられる。
【0055】
装置900は、選択ユニット908を更に含む。選択ユニット908は、符号化ブロックBeを復号化する時に使用される参照ピクチャ又は参照ピクチャの組み合わせCの予測値Cpredとするために、隣接ブロックと関連付けられた参照ピクチャ又は参照ピクチャの組み合わせのうち最大発生頻度を有すると判定された参照ピクチャ又は参照ピクチャの組み合わせを選択するように構成されている。同一の発生頻度を共有する参照ピクチャ又は参照ピクチャの組み合わせがいくつか存在する可能性がある。そのような状況においては、事前定義済みの方式又は参照ピクチャの選択方法を規定する規則に基づいて、それらピクチャ又は組み合わせの1つが選択されることになる。
【0056】
取得ユニット904は、予測値CpredがCに対応するかを指定する指示を取得するように更に構成される。例えばCpredがCに対応する場合、ビットストリームから取得された事前定義済みビットは「0」であり、CpredがCに対応しない場合、事前定義済みビットは「1」である。装置900は、予測値CpredがCに対応することが示される場合に、予測値Cpredに基づいて符号化ブロックBeを復号化するように構成された復号化ユニット910を更に含む。復号化ユニット910は、画素の復号化ブロックBを提供し、例えばそれは格納されるか又は表示される。
【0057】
装置900は、予測値CpredがCに対応しないことが示される場合、すなわち本当のCを識別するために更なる情報が必要とされる場合、符号化ブロックBeを復号化する時に使用する参照ピクチャを判定するために更なる情報を取得するように更に構成される。そのような情報は、VLCコードワードの形式で入手される。
【0058】
図10は、映像復号化エンティティにおける装置1000の一実施形態を概略的に示す。これは、図9に示した映像復号化エンティティにおける参照標識予測のための装置の一実施形態を開示する別の方法である。例えばDSP(デジタル信号プロセッサ)を有する処理ユニット1006が装置1000に含まれる。処理ユニット1006は、本明細書で説明される手順の種々の動作を実行するための単一のユニットであるか又は複数のユニットである。装置1000は、他のエンティティから信号を受信する入力ユニット1002と、他のエンティティに信号を提供する出力ユニット1004とを更に含む。入力ユニット1002及び出力ユニット1004は、統合エンティティとして構成されてもよい。
【0059】
更に装置1000は、例えばEEPROM(電気的消去可能プログラマブル読み出し専用メモリ)、フラッシュメモリ及びハードドライブである不揮発性メモリの形態の少なくとも1つのコンピュータプログラム製品1008を含む。コンピュータプログラム製品1008は、装置1000の処理ユニット1006で実行された時に図8により上述した手順の動作を装置及び/又は映像復号化エンティティに実行させるコード手段を含むコンピュータプログラム1010を含む。
【0060】
コンピュータプログラム1010は、コンピュータプログラムモジュールに構造化されたコンピュータプログラムコードとして構成される。従って、説明される実施形態において、装置1000のコンピュータプログラム1010のコード手段は、例えばメモリである記憶装置から又はデータ送信エンティティから発信されるビットストリームから、符号化ブロックBeと、符号化ブロックBeの隣接ブロックの集合と、を取得するための取得モジュール1010aを含む。また、取得モジュール1010aは、比較の結果の指示を取得する。コンピュータプログラムは、隣接ブロックの集合と関連付けられた参照ピクチャのうちの複数の参照ピクチャ又は参照ピクチャの組み合わせの発生頻度を判定するための判定モジュール1010bを更に含む。
【0061】
コンピュータプログラム1010は、符号化ブロックBeを復号化する時に使用される参照ピクチャ又は参照ピクチャの組み合わせCの予測値Cpredとするために、隣接ブロックと関連付けられた参照ピクチャのうち最大発生頻度を有すると判定された参照ピクチャ又は参照ピクチャの組み合わせを選択するための選択モジュール1010cを更に含む。コンピュータプログラム1010は、予測値CpredがCに対応することが示される場合に予測値Cpredに基づいて符号化ブロックBeを復号化するための復号化モジュール1010dを更に含む。
【0062】
モジュール1010a〜1010dは、実質的に図8に示すフローの動作を実行し、図9に示す映像復号化エンティティの装置をエミュレートする。換言すると、種々のモジュール1010a〜1010dが処理ユニット1006で実行される場合、それらモジュールは図9のユニット904〜910に対応する。
【0063】
同様に、図7に示した装置に対応する代替例も可能である。
【0064】
図10と共に上述した実施形態におけるコード手段は、処理ユニットにおいて実行された時に上記図面と共に上述した動作を装置及び/又は映像復号化エンティティに実行させるコンピュータプログラムモジュールとして実現されるが、少なくとも1つのコード手段は、別の実施形態において少なくとも部分的にハードウェア回路として実現されてもよい。
【0065】
プロセッサは、単一のCPU(中央処理装置)であるが、2つ以上の処理ユニットを更に含むこともできる。例えばプロセッサは、汎用マイクロプロセッサ、命令セットプロセッサ及び/又は関連チップセット及び/又はASIC(特定用途向け集積回路)等の専用マイクロプロセッサを含んでもよい。プロセッサは、例えばキャッシュの目的でボードメモリを更に含んでもよい。コンピュータプログラムは、プロセッサに接続されたコンピュータプログラム製品により保持されてもよい。コンピュータプログラム製品は、コンピュータプログラムが格納されるコンピュータ可読媒体を含む。例えばコンピュータプログラム製品は、フラッシュメモリ、RAM(ランダムアクセスメモリ)、ROM(読み出し専用メモリ)又はEEPROMであってもよく、別の実施形態において、上述したコンピュータプログラムモジュールは、復号化エンティティ内においてメモリの形態の種々のコンピュータプログラム製品に分散可能である。
【0066】
上述したように、本明細書において、画素ブロックを符号化する時に使用された参照モード及び1つ以上の参照ピクチャの標識が合同符号化されると仮定されるため、符号化ブロックを復号化するのに必要な全ての参照情報は、例えば「参照標識」、「参照インデックス」、「参照インデックス記号」、又は「RISインデックス」が示される単一の構文要素により表される。次に、この合同符号化について更に説明する。合同符号化は、インター予測符号化及び復号化に使用される参照情報、すなわち参照モード及び参照ピクチャを表し且つ搬送するための手順である。この手順は、参照インデックス信号伝送又は参照情報標識信号伝送(RIS)と呼ばれることもある。
【0067】
RISを使用する場合、例えばAVCのようにパーティション構造の標識、すなわちMB/サブMBモードと密接に関連する参照モードの標識を符号化し、参照ピクチャの標識を別個に符号化する代わりに、符号化ブロックと関連付けられた参照モードの標識及び参照ピクチャの標識が「1つの場所に共にまとめられる」、すなわち合同符号化される。参照モード及び参照ピクチャの標識、すなわち参照情報を合同符号化した結果、単一の構文要素又は標識は、満足のいく方法で符号化ブロックを復号化するために必要とされる参照モード及び参照ピクチャに関する全ての情報を表す。すなわち、この単一の構文要素が符号化ブロックに対して与えられると、復号器はブロックを復号化するのに必要とされる参照ピクチャを識別できる。「構文要素」は、例えば「構文単位」、「合同指示単位」又は「合同識別単位」とも表される。
【0068】
そのような構文要素を使用することにより、構文要素により識別される参照情報に対する誤り耐性が向上する。更にそのような構文要素を使用することにより、参照インデックス及び参照モードのある組合せの効率的な符号化を可能にすることにより他の組み合わせより確率が高いそれらの組み合わせを利用できるようになる。例えばより短いコードワードは、より確率の高い参照インデックス及び参照モードの組み合わせに割り当てられる。
【0069】
RISを記述する1つの方法は、例えば2つの独立したリストを使用する参照情報のAVC表現等の従来の表現からRISに従う参照情報の例示的な表現への「変換」又はマッピングを記述することである。そのようなRIS表現への変換は、図11に示すように基本的に3つのステップで行われる。
【0070】
第1のステップ1102は、複数のインデックスリストから1つの単一の参照インデックスリストを形成することである。例えばAVCのように2つの参照インデックスリストを管理する代わりに、全ての参照ピクチャインデックスは、AVCの2つのリストの代わりとして又は補足として単一の合同リストにある特定の順番でソートされる。これを図11に示す。図中、ピクチャ参照インデックスリストL0及びL1は、インタリーブされて新しいリストLRISにマージされるか又は多重化される。更に第2のステップ1104において、インデックス番号は、新しいリストLRISにおいて連続した順番、すなわち0〜5に従うように再割り当てされる。
【0071】
ステップ1104の後のリストLRIS中のインデックス番号又はエンティティは、参照モード(逆方向又は順方向の単一方向予測)及び参照ピクチャの双方に関する情報を表す。LRISのエントリに対するインデックスは、例えば「RISインデックス」又は「RISパラメータ」で示される。この例におけるステップ1104の後のLRISのRISインデックス番号0〜5は、4つの過去のピクチャ(元のリストL0=(0,1,2,3))及び2つの未来のピクチャ(元のリストL1=(0,1))を表す。
【0072】
更に、双方向予測を表す1つ以上のリストエントリは、例えば挿入又は追記することによりLRISに追加される。従って、双方向予測を表すエントリを示すRISインデックスは、単一の参照ピクチャを指し示すのではなく、2つの参照ピクチャを指し示す。RISインデックスは、参照モードと1つ以上の参照ピクチャとの組み合わせを識別できる。
【0073】
その結果、最後のステップ1106において、2つの参照ピクチャが予測に使用される双方向予測モードに関連するエントリはLRISに連続して追記され、RISインデックスにより示されるか又は表される。例えば、RISインデックス番号7を有するエントリは、現在のピクチャが双方向予測参照としてピクチャ番号0及びピクチャ番号1を使用していることを信号伝送するように又は示すように設定される。従って、この情報はRISインデックス7に固有のものである。インデックス番号8は、現在のピクチャが双方向予測参照としてピクチャ番号0及びピクチャ番号2を使用していることを示すように同様に設定される。同様に、リストLRISは3方向予測を表すエントリにより更に拡張されてもよく、3つの参照ピクチャ等を識別する。
【0074】
あるいは、ステップ1104及び1106は、双方向予測モードに関連するエントリが最初に例えば挿入又は追記されることにより追加され且つインデックス番号がそれに従って再割り当てされるように、逆の順番で実行されてもよい。上述したように、双方向予測モードに関連するエントリは、例えば単一方向予測に関連するエントリの間に挿入可能であり、これは、インデックス番号の再割り当てがステップ1104の補足として又は代わりとして挿入後に実行されていることを必要とする。この例において、マッピングは、種々のエントリのインデックスが参照モード及び1つ以上の参照ピクチャを表す単一の参照リストにより表される。尚、これは単なるオプションの一例であり、マッピングはいくつかのステップを含み、例示的な種類の明示的なリスト又はレコードはマッピングを行うのに必要とされない。
【0075】
一実施形態に係るAVC参照インデックス表現とRISインデックス表現との差分の一例を図12のテーブルに示す。この例において、現在のピクチャを符号化するために利用可能な参照ピクチャが4つ存在すると仮定する。そのうち2つの参照ピクチャは過去の参照ピクチャであり、2つの参照ピクチャは未来の参照ピクチャである。このRIS表現の例において、インデックス0、1、3及び4は、4つの参照ピクチャのそれぞれからの単一方向予測を示すように設定される。インデックス2及び5は、4つの参照ピクチャの各対からの双方向予測を示すように設定される。尚、パーティションに関連する情報が例えば「INTER_16×16_L0」等の参照モードインデックスと共に符号化されるため、参照インデックスのAVC信号伝送はその情報を含む。しかし、これは図12には示さない。
【0076】
図12のテーブルに示す例において、双方向予測を示すか又は表すRISインデックスの一部は、「最近接する」単一方向予測RISインデックスの直後に配置される。すなわち、単一方向予測を表すインデックスとインタリーブされる。このRISインデックス表現を図13に更に示す。図13は、いわゆる7B階層のGOP(7B hierarchical Group Of Pictures(BGOP))を示す。図中、いわゆる「現在のフレーム」すなわち符号化されるフレームは、7B GOPにおいてフレーム3である。図13に示すRISインデックスは、図12のテーブルのRISインデックス0〜7に対応する。別のRIS表現は、図11に示す例のように、RISインデックス0〜3が単一方向予測を示すようにし、後続するRISインデックスが双方向予測を示すようにする。
【0077】
例えばH.264を使用する最近の技術において、2つのMV/参照ピクチャ、ブロック又はエリアを使用する双方向予測ブロックの生成は、2つの参照エリアにわたる平均化を含む。MVが参照エリアにおけるサブ画素の位置を指し示す場合、サブ画素の位置の画素値は平均化の前にまず生成される必要がある。サブ画素の位置の画素値の生成は「空間フィルタリング」と呼ばれる。すなわち、生成処理は各参照エリアの空間フィルタリングを含む。従って、2つの参照エリアを使用して双方向予測ブロックを生成する最新の処理は、第1のエリアの空間フィルタリングと、第2のエリアの空間フィルタリングと、最後に行われる、フィルタリングされたエリアにわたる平均化と、を含む。空間フィルタリングは、計算の複雑さに関して相対的に高い要求を有する。
【0078】
計算の複雑さを軽減できることが理解される。これについて以下に説明する。複雑さを軽減するために、最初にブロックは、例えば2つの参照ブロックを共に追加することにより(空間フィルタリングを実行せずに)整数動きに基づいて構築される。この追加は、計算の複雑さに関して相対的に安価な動作である。結果として得られるブロックは、例えば1/2画素又は1/4画素解像度を取得するために補間等のフィルタリングが行われる。サブ画素の調整は、1つのMVに従って、あるいは例えば別個に符号化/復号化された追加の情報に基づいて行われる。
【0079】
ブロックが2つ以上のMV及び参照インデックスと関連付けられる場合、これは本明細書で「マルチ予測」と呼ばれ、マルチ予測の各単一方向予測成分が判定される。単一方向予測は、例えばイントラ予測でもあり得るので、「単一予測」と呼ばれてもよい。分割情報は、それら単一方向予測間の絶対差分に基づいて導出されることが理解される。分割情報は、細粒度分割情報を搬送する時にオーバヘッドを回避するために符号器及び復号器の双方において導出される。
【0080】
単一方向予測間の絶対差分が相対的に大きい領域において、単一の単一方向予測又は特定の双方向予測が使用される。単一の単一方向予測は、双方向予測(又はマルチ予測)の単一方向予測成分の1つに対してビットストリームにおいて示される参照インデックス及びMVに従って行われる。ブロックの、単一方向予測間の絶対差分が相対的に小さい他の領域において、そのブロックに対するビットストリームにおいて示される双方向予測が使用される。領域に対して単一の双方向予測/特定の双方向予測を使用するか又はビットストリームで示される双方向予測を使用するかの判定は、例えば領域と関連付けられた単一方向予測間の絶対差分と事前定義済み閾値との比較に基づく。
【0081】
2つのMV及び2つの参照エリアと関連付けられた双方向予測ブロックを仮定する。従来、この段階において、このブロックは更に分割されないが符号化される。しかし、絶対差分又は「差分マップ」を解析することから取得される「暗黙的」な情報は、符号器及び復号器の双方においてブロックを更なるパーティションに分割するために使用されることが理解される。
【0082】
2つの参照エリア又は予測値の絶対差分が算出される場合、差分マップには、大きい絶対値を有するいくつかの領域と小さい絶対値を有するいくつかの領域とがある。ある領域における小さい値の絶対差分は、同一のオブジェクトが双方の参照エリアのその領域に描かれることを表す。種々のオブジェクトが各参照エリアの領域に描かれる場合、絶対差分は相対的に大きい。同一のオブジェクトが各参照エリアの対応する領域に描かれる場合、それら領域を平均するのが好適であり適切である。対応する領域において異なるオブジェクトが描かれる場合、それらを平均することは無駄である。
【0083】
例えば、閾値が規定される。ここで、閾値より大きい差分値は「異なるオブジェクト領域」を表し、閾値より小さい差分値は「同一のオブジェクト領域」を表す。ブロックは、事前定義された方式でそれら領域に従って分割される。上述したように、分割は、暗黙的な情報に基づいて、すなわち分割を記述する明示的な信号伝送なしで行われる。これの別の利点は、「正方形以外の分割」がサポートされることである。例えば半球が1つのブロックに描かれる場合、ブロックの分割は球の外形又は輪郭の周囲で非常に正確に行われる。
【0084】
符号器は、上述した分割方法が使用されるべきであるかを復号器に信号伝送する。分割方法が使用されるべきであると信号伝送した場合、符号器は、オプションとして、相対的に大きな絶対差分値を有する領域に対して、使用する単一方向予測又は使用する特定の双方向予測を信号伝送する。例えば、重み付き双方向予測(平均以外であり且つDCオフセットを含む可能性がある)が使用される。特定の双方向予測値を生成できるローカルパラメータを判定するために追加の情報を符号化/復号化する必要がある場合がある。取得された分割情報は、分割情報の予測に使用され、符号器は、復号器により復号化され使用される予測パーティションと比較される変更を符号化する。参照エリア間の差分に基づいて分割情報を導出することにより、分割方法の大まかな指示を与える。予測された分割情報の改良点を送出することによる更なる洗練も可能である。
【0085】
分割情報の取得方法の一例は、ブロックを例えば4つの同一サイズのサブブロックに分割することである。その後、サブブロックの正規化されたSAD(差分絶対値和(算出された画素数により除算される))が例えば4倍大きい「親」ブロックの正規化されたSAD以上である場合、最大の正規化されたSADを有するサブブロックが、さらに4つの同一サイズの領域に繰り返し分割される。正規化されたSADは、画素毎のSAD又は特定のサブブロックサイズ毎のSADを示す。SADの代わりに、画素差分の他の計測値が使用可能である。一例は、例えばエッジ/線である強力な局所画像構造に対してより大きい重みを有する計測値である。更に分割されない残りのサブブロックは、例えば双方向予測又はマルチ予測の変形例を使用すべきであるパーティションに設定される。
【0086】
図14は、分割方法の例示的な一実施形態を示す。左側のブロック1402:aは双方向予測される。SADの算出が行われ、大きいSADのエリアが識別及び選択され、それに応じて処理される。この例において、大きいSADのエリアは、逆方向MVのみを使用する単一方向予測に変更することにより処理される。従って、元のブロックは2つのパーティションに分割される。一方のパーティションは、ビットストリームにおいて示された双方向予測を使用し、他方のパーティション(円を含むものとして示される)は単一方向予測(双方向予測の一方の成分)を使用する。レート歪み最適化(RDO)は、最適な単一方向予測(双方向予測の成分)を選択するために使用される。
【0087】
分割情報の取得方法の別の例は、例えば双方向予測ブロックを複数の同一サイズのサブブロックに分割し、当該サブブロックサイズの最大SADを判定し、その最大値に「近い」、例えばその最大値から特定の範囲内のSADを有するサブブロックを選択し、変更された双方向予測又は単一方向予測を使用する領域の一部とすることである。
【0088】
この方法は、分割に加えて、例えば双方向予測モードが使用される場合に上述したRISインデックス又は最新の参照インデックスを判定するために使用される。例えば領域に対する平滑差分マップは、その領域が「双方向RISインデックス」と関連付けられる可能性が高いことを提案し、そのように解釈される。更に方法は、別の予測として又は上述した参照標識インデックス予測と組み合わせて使用可能である。最小SADを有する組み合わせを選択するために双方向予測の可能な候補間のSADに基づいて符号器及び復号器の双方においてその選択が行われ得る。
【0089】
尚、分割方法に基づく上述のマルチ予測により、ブロックに基づく分割を導出する代わりに符号器及び復号器の双方において他の種類の分割が導出される。これは、例えばエッジ検出及び/又はセグメンテーション等の非線形画像処理方法に従う2つ以上のパーティションへのブロックの線形(例えば、水平方向、垂直方向又は対角線方向)又は非線形分割を含む。例えばマルチ予測差分信号は、エッジ検出又は領域成長等の画像セグメンテーション方法に従ってセグメンテーションされ、ブロックパーティションはセグメンテーションされた差分信号に基づいて導出される。
【0090】
サブパーティション数は、画像セグメンテーション等の画像処理方法により導出されるか、あるいは符号器から復号器に信号伝送される。線形又は非線形分割の代わりに、画素に基づく分割が適用可能である。一変形例は、使用される分割方法を符号器から復号器に信号伝送することである。別の変形例は、分割方法が他の信号伝送手段により符号器と復号器との間で同意されることである。マルチ予測を使用した方法の利点は、分割情報が符号器及び復号器で既に利用可能である情報に基づいて導出されること、すなわち分割情報が明示的に信号伝送される必要がないため符号化に使用されるビット数が減少されることである。
【0091】
尚、マルチ予測を使用した分割に従って、双方向予測から、その双方向予測に使用されるMVから導出された単一方向MVを使用する単一方向予測に切り替える代わりに、サブパーティションに対する追加のMV及び/又は予測モード(単一方向インターピクチャ予測、双方向インターピクチャ予測又はイントラピクチャ予測)を信号伝送できる。換言すると、ブロックのパーティションの数及び形状は、明示的に信号化されてもよいし、且つ/又は、例えばセグメンテーション方法に基づいて暗黙的な情報から導出されてもよい。更にMV及び/又は予測モードは、結果として得られるサブパーティションの一部又は全てに対して信号化される。
【0092】
上記で提案されたような手順について例として提供された特定の実施形態を参照して説明したが、一般に説明は、発明の概念を示すことのみを意図し、提案された方法及び装置の範囲を限定するものとして解釈されるべきではなく、それら方法及び装置は添付の特許請求の範囲により規定される。一般的に説明される一方で、方法及び装置は、例えばGSM/EDGE、WCDMA又はLTE、あるいは例えばDVB−S、DVB−T又はDVB−Cである衛星、地上波又はケーブルを介する放送技術等の一般に利用可能な通信技術を使用して種々の通信システムに対して適用可能であり、またメモリへの映像の記憶、メモリからの映像の検索に対しても適用可能である。
【0093】
対話ユニット又はモジュールの選択、並びにユニットの名前付けは単に例示するためのものであり、上述した方法のいずれかを実行するのに適した映像処理エンティティは、提案された処理動作を実行できるように複数の別の方法で構成されてもよいことが理解される。
【0094】
尚、本開示において説明したユニット又はモジュールは、論理エンティティと考えられ、独立した物理エンティティである必要はない。
略語
AVC 高度映像符号化
CABAC コンテキスト対応2値算術符号化
GOP Group Of Pictures
MB マクロブロック
MV 動きベクトル
RIS 参照インデックス信号伝送(Reference Index Signaling)/参照情報標識信号伝送(Reference information Indicator Signaling)
SAD 差分絶対値和
VLC 可変長符号化
【技術分野】
【0001】
本発明は、映像符号化に関連する情報を符号化及び復号化する方法及び装置に関する。
【背景技術】
【0002】
映像符号化は、イントラモード及び/又はインターモードで行われる。イントラモードは映像フレーム内の冗長性を利用し、インターモードは映像フレーム間の冗長性を利用する。インターモードにおいて、画素ルマ(luma)/クロマ(chroma)予測値は、参照ピクチャと呼ばれる既に符号化/復号化されたピクチャから取得される。予測に使用される参照ピクチャの数に依存して、インターモードは、それぞれ1つ、2つ及び3つの参照ピクチャが使用される単一方向予測モード(又は単一方向モード)、双方向予測モード(Bモード)及び可能であれば3方向予測モード等に分類される。本明細書において、これらの種々のモード、すなわち、単一方向予測、双方向予測等を「参照モード」と呼ぶ。
【0003】
H.264及びMPEG4 Part10としても既知である高度映像符号化(AVC)は、ITU−T(国際電気通信連合電気通信標準化部門)及びMPEG(Moving Picture Experts Group)の2D映像符号化に対する最新の規格である。AVCコーデックは、ハイブリッドコーデックであり、フレーム間の冗長性とフレーム内の冗長性とを除去することを利用する。
【0004】
AVCにおいて、関連する参照ピクチャの標識(indicator)が特定の順序で配置される2つの参照リストが規定される。これらの標識は、AVCにおいて参照インデックスと表され、例えば(0,1,...,N)等の0〜Nの番号がつけられる。一般に、第1のリストList0(L0)は、主に過去の参照ピクチャ、すなわち時間に関して現在のピクチャに先行する参照ピクチャを管理し、第2のリストList1(L1)は、未来の参照ピクチャ、すなわち時間に関して現在のピクチャに後続する参照ピクチャを管理する。低遅延映像符号化の場合、L1も過去の参照ピクチャを管理する。各リストは、最大15個の参照ピクチャの標識を保持できる。すなわち、インデックスの数NはN=14である。
【0005】
更にAVCにおいて、参照ピクチャリストの一方(例えば、単一方向予測のために)又は双方の参照ピクチャリスト(例えば、双方向予測のために)の選択を指定する標識又は参照モードインデックスは、マクロブロック(MB)モード/サブMBモードのパーティション構造と共に符号化され、その一方で、各リストにおける選択された参照ピクチャを指定する標識又は参照ピクチャインデックスは、独立した構文要素として符号化される。「パーティション構造」は、例えば16×16のMBの16×16、16×8又は8×16等のパーティションを示す。例えば16×16のパーティションは、一般に、単一方向予測が使用される場合は1つの動きベクトル(MV)及び1つの参照インデックスと関連付けられ、双方向予測が使用される場合は2つのMV及び2つの参照インデックスと関連付けられる。MVは、水平成分MVxと垂直成分MVyとを有し、現在のパーティションの画素が対応する参照ピクチャから生成される方法を記述する。
【0006】
ピクチャ又はパーティションと関連付けられる参照ピクチャの数は、同一のパーティションと関連付けられた参照モード、すなわち単一方向予測か又は双方向予測かに依存する。復号器において参照情報を復号化する時、復号器がピクチャ又はパーティションを正確に復号化できるように、ピクチャ又はパーティションと関連付けられた参照モードインデックスと1つ以上の参照ピクチャインデックスとが正確に復号化される必要がある。参照モードインデックス、1つ以上の参照ピクチャインデックス、のいずれかが不正確に復号化されると、参照情報を誤って解釈してしまう可能性がある。
【0007】
上述したAVCの方法等の参照情報を符号化する現在の方法は、各ブロックと関連付けられた参照情報を搬送するために比較的多くのビットを必要とする。これは、符号化効率の点で非効率であると認識される。
【発明の概要】
【発明が解決しようとする課題】
【0008】
参照情報、すなわち現在のフレームの予測に使用される1つ以上の参照ピクチャを識別する情報、の符号化効率の向上を可能にするのが望ましい。本発明の目的は、参照情報の符号化効率の向上を可能にすることである。本発明の更なる目的は、参照情報の改善された予測を可能にする方法及び装置を提供することである。これらの目的は、添付の独立請求項に係る方法及び装置により達成される。オプションの実施形態は、従属請求項により規定される。以下に説明する予測、符号化及び復号化は、同一のエンティティ又はノード内、あるいは異なるエンティティ又はノード内で行われる。
【課題を解決するための手段】
【0009】
第1の態様によると、方法は映像復号化エンティティにおいて提供される。方法は、符号化ブロックBeと、各々が1つ以上の参照ピクチャと関連付けられる符号化ブロックBeの隣接ブロックの集合とを取得することを備える。方法は、隣接ブロックの集合と関連付けられた参照ピクチャのうち、複数の参照ピクチャ又は参照ピクチャの組み合わせの発生頻度を判定することを更に備える。方法は、例えば符号化ブロックBeを復号化する際に使用される参照ピクチャ又は参照ピクチャの組み合わせCの予測値Cpredとするために、隣接ブロックと関連付けられた参照ピクチャのうち判定された最大発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせを選択することを更に備える。方法は、予測値CpredがCに対応するかどうかを指定する指示(indication)を取得することを更に備える。予測値CpredがCに対応することが示される場合、符号化ブロックBeは予測値Cpredに基づいて復号化される。このように、画素の復号化ブロックBが取得される。
【0010】
第2の態様によると、装置は映像復号化エンティティにおいて提供される。装置は、符号化ブロックBeと、各々が1つ以上の参照ピクチャと関連付けられる符号化ブロックBeの隣接ブロックの集合とを取得するように構成された機能ユニットを備える。装置は、隣接ブロックの集合と関連付けられた参照ピクチャのうちの複数の参照ピクチャ又は参照ピクチャの組み合わせの発生頻度を判定するように構成された機能ユニットを更に備える。装置は、符号化ブロックBeを復号化する際に使用される参照ピクチャ又は参照ピクチャの組み合わせCの予測値Cpredとするために、隣接ブロックと関連付けられた参照ピクチャのうち判定された最大発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせを選択するように構成された機能ユニットを更に備える。装置は、予測値CpredがCに対応するかを指定する指示を取得するように更に構成された取得ユニット(904)である機能ユニットを更に備える。装置は、予測値CpredがCに対応すると示される場合に予測値Cpredに基づいて符号化ブロックBeを復号化して、画素の復号化ブロックBを提供するように構成された機能ユニットを更に備える。
【0011】
第3の態様によると、方法は映像符号化エンティティにおいて提供される。方法は、画素のブロックBに隣接するブロックの集合と関連付けられた参照ピクチャのうちの複数の参照ピクチャ又は参照ピクチャの組み合わせの発生頻度を判定することを備える。方法は、ブロックBを符号化する際に使用される参照ピクチャ又は参照ピクチャの組み合わせCの予測値Cpredとするために、隣接ブロックと関連付けられた参照ピクチャのうち判定された最大発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせを選択することを更に備える。方法は、予測値CpredがCに対応するかを判定することと、前記判定の結果を指定する指示をブロックの復号器に提供することとを更に備える。
【0012】
第4の態様によると、装置は映像符号化エンティティにおいて提供される。装置は、各隣接ブロックが前記隣接ブロックを符号化する時に使用された1つ以上の参照ピクチャと関連付けられる符号化隣接ブロックの集合を有するブロックBに対して、隣接ブロックの集合と関連付けられた参照ピクチャのうちの複数の参照ピクチャ又は参照ピクチャの組み合わせの発生頻度を判定するように構成された機能ユニットを備える。装置は、ブロックBを符号化する時に使用された参照ピクチャ又は参照ピクチャの組み合わせCの予測値Cpredとするために隣接ブロックと関連付けられた参照ピクチャのうち判定された最大発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせを選択するように構成された機能ユニットを更に備える。装置は、予測値CpredがCに対応するかを判定するように更に構成される。装置は、前記判定の結果を指定する指示をブロックの復号器に提供するように構成された機能ユニットを更に備える。
【0013】
上記方法及び装置は、符号化効率を向上するために使用される。符号化効率は、現在のフレームの予測に使用される1つ以上の参照ピクチャを識別するためにより少ないビットを使用することが可能になることにより向上される。更に上記方法及び装置は、誤り耐性の向上を可能にする。また、上記方法及び装置は、参照ピクチャインデックス予測を容易に実行できるようにする。
【0014】
上記方法及び装置は、種々の実施形態において実現される。いくつかの実施形態において、隣接ブロックと関連付けられた参照ピクチャは、参照モードパラメータと1つ以上の参照ピクチャパラメータとの組み合わせにより識別される。他の実施形態において、隣接ブロックと関連付けられた参照ピクチャは、単一の構文要素により識別される。参照モードとインデックスとをまとめて単一の構文要素を形成することにより、参照インデックス番号の操作が容易になる。
【0015】
いくつかの実施形態において、参照ピクチャ及び/又は参照ピクチャの組み合わせの発生頻度は、隣接ブロックと関連付けられた参照ピクチャ及び/又は参照ピクチャの組み合わせのカウントを含む。参照ピクチャ又は参照ピクチャの組み合わせの種々の発生は、当該発生が関連付けられる隣接ブロックと関連付けられた変換係数の数等の種々の基準に基づいて種々の重みを割り当てられる。
【0016】
CpredがCに対応するかの指示は、ビットストリームにおける構文要素として信号伝送(signaling)されるか、あるいは暗黙的に(implicitly)信号伝送される。CpredがCに対応しないことが示される場合、更なる情報が搬送され、これにより符号化ブロックBeを復号化する時に使用する参照ピクチャが判定できる。
【0017】
判定された参照ピクチャ及び/又は参照ピクチャの組み合わせの発生頻度は、参照ピクチャ又は参照ピクチャの組み合わせの標識を可変長コードワードにマッピングするために使用される。CpredがCに対応するかの指示は、そのようなコードワードであってもよい。CpredがCに対応しないと示される時に必要とされる更なる情報は、そのようなコードワードを使用して信号伝送されてもよい。従って、最短のコードワードが最も確率の高いものに使用されることが保証される。
【0018】
更にいくつかの実施形態において、マルチ予測と関連付けられたブロックの1つ以上のサブ領域は、暗黙的な情報に基づいて識別され、それらサブ領域において、マルチ予測参照ブロックの対応する各領域は相対的に低い相関を有する。識別されたサブ領域に対してマルチ予測の代わりに別の予測が使用されてもよい。その別の予測は、単一予測であるか又は重み付きマルチ予測であってもよい。その別の予測は、マルチ予測と関連付けられた参照ブロックのうち1つのみを使用する予測である。
【0019】
上記実施形態は、主に方法に関して説明された。しかし、上記説明は、上述の特徴の実行を可能にするように構成された装置の実施形態を含むことを意図する。上記例示的な実施形態の種々の特徴は、要望、要求又は好みに応じて種々の方法で組み合わされてもよい。
【0020】
更に別の態様によると、1つ以上の処理ユニットで実行された時に上述の方法のうちの1つに従って対応する手順を上述の装置のいずれかに実行させるコンピュータ可読コード手段を含むコンピュータプログラムが提供される。
【0021】
更に別の態様によると、上記のコンピュータプログラムを含むコンピュータプログラム製品が提供される。
【図面の簡単な説明】
【0022】
例示的な実施形態を使用し、添付の図面を参照して、本発明について更に詳細に説明する。
【図1】、
【図2】例示的な実施形態に従って、現在のブロックの隣接ブロックと関連付けられた参照モードと1つ以上の参照ピクチャとの種々の組み合わせの発生頻度を判定することを示す概略図である。
【図3】従来技術に係る種々のインデックス記号に対する標識(コードワード)の割り当てを示す概略図である。
【図4】例示的な一実施形態に係る標識(コードワード)の割り当てを示す概略図である。
【図5】例示的な一実施形態に係る参照情報に対するコードワードの割り当てを示す図である。
【図6】例示的な一実施形態に係る参照モードと1つ以上の参照ピクチャとに関連する情報の符号化の手順を示すフローチャートである。
【図7】例示的な一実施形態に係る映像符号化エンティティにおける参照モードと1つ以上の参照ピクチャとに関連する情報の符号化を行うように構成された装置を示すブロック図である。
【図8】例示的な一実施形態に係る参照モードと1つ以上の参照ピクチャとに関連する情報の復号化の手順を示すフローチャートである。
【図9】例示的な一実施形態に係る映像復号化エンティティにおける参照モードと1つ以上の参照ピクチャとに関連する情報の復号化を行うように構成された装置を示すブロック図である。
【図10】例示的な一実施形態に係る映像符号化/復号化エンティティにおける装置を示す概略図である。
【図11】従来技術に係る参照情報表現から例示的な一実施形態に係る参照情報表現への変換を示す概略図である。
【図12】例示的な一実施形態に係るAVC参照インデックス表現と参照インデックス表現との間の差分を示すテーブルである。
【図13】例示的な一実施形態に係る参照情報標識の割り当てを示す概略図である。
【図14】例示的な一実施形態に係る暗黙的な情報に基づく分割を示す概略図である。
【発明を実施するための形態】
【0023】
既存の映像符号化技術に関する1つの問題は、満足のいく参照モード/参照ピクチャ予測方式が規定又は適用されていないことであることが理解される。例えばシーンカット/フェージング/フラッシュシナリオにおいて、例えば参照モードと参照ピクチャとの同一の組み合わせが隣接又は近接するMBの予測に使用されることは非常に一般的なことであることが理解される。更に、現在の符号化方法は、隣接するMBに対して使用された参照モード/参照ピクチャの間の相関を利用しないことが理解される。以前のソリューションにおいては、MB参照情報を識別する別個の成分は、個別に符号化され、映像復号器に搬送される。
【0024】
本明細書内では、画素ブロックを符号化する時に使用された参照モード及び1つ以上の参照ピクチャの標識は合同符号化され、従って、符号化ブロックを復号化するのに必要な全ての参照情報は、例えば「参照標識」、「参照インデックス」、「参照インデックス記号」又は「RISインデックス」である単一の構文要素により表されると仮定する。「RIS」は「参照インデックス信号伝送(Reference Index Signaling)」又は「参照情報標識信号伝送(Reference information Indicator Signaling)」を示し、これについては本説明中で以下に更に詳細に説明する。そのような合同符号化は、単一の参照ピクチャを使用する単一方向予測と、例えば双方向予測及び3方向予測等の複数の参照ピクチャを使用する予測と、の双方に対して参照情報予測を実行するのに役立つ可能性がある。尚、以下に説明する参照情報予測の手順は、例えばAVCで使用される参照モードインデックス及び参照ピクチャリストインデックス等の最新の参照情報表現に対しても使用可能である。
【0025】
本明細書内において、「ブロックXの隣接ブロック」という用語は、ブロックXに隣接するブロック、すなわちブロックXに近接するか又はブロックXの近傍に配置されるブロックを示すものとして使用される。更に本明細書内において、「ブロック」という用語は画素のユニットを表すものとして使用される。「参照ピクチャ」又は「参照ブロック」という用語は、先に符号化/復号化されたピクチャ、ブロック、ピクチャの領域又はエリアを参照するものとして使用され、ピクチャ、ブロック、領域等は、予測のために参照として使用される。
【0026】
MBレベルでの例示的な予測方式は以下のように説明できる。例示的な予測方式は、符号器及び復号器の双方に適用され、いかなるブロックサイズにも適用可能である。
【0027】
現在のMBの符号化/復号化に関連して、符号器/復号器は、そのMBの「コンテキスト」とも呼ばれる周囲の符号化MBの参照標識を解析するように構成される。これら周囲のブロックは、現在のブロックの「隣接ブロック」と示される。符号器/復号器は、候補標識又はインデックスの集合のうちの各々が隣接ブロックに現れる回数をカウントし、例えば事前定義された方式に従って、カウントが最も多いものを予測値又は推定値として選択する。選択された参照標識は、インター予測と関連しているはずである。選択された参照標識は、現在のMBを符号化/復号化する時に使用するのに適切である参照ピクチャ(及び参照モード)の予測値又は推定値に設定される。その予測値は、現在のMB自体の解析ではなくMBの符号化/復号化隣接ブロックに関連する情報の解析により導出されることになる。符号器において、この例では予測値は現在のMBを符号化する時に使用する参照ピクチャ(及び参照モード)を選択するのに使用されないため、MBはこの予測値の選択中に符号化されてもされなくてもよい。復号器において、この予測中において、現在のMBは符号化状態である。
【0028】
図1は、例示的な隣接ブロック参照標識の解析及び推定値の選択を示す。図1に示す例において、現在のブロックの4つの隣接ブロックが考慮される。しかし、方法は、考慮される隣接ブロックの他の集合又は部分集合に対しても適用可能である。隣接ブロックの集合の一例は、例えば現在のブロックに対する左ブロック、左上ブロック及び上ブロックから構成される。集合の別の例は、左ブロック及び上ブロックのみを含む。図1において、現在のブロックの隣接ブロックは、各参照標識又はインデックス1、1、2及び0と関連付けられている。従って、参照標識「1」は、隣接ブロックに2回現れることにより、最も大きいカウント、すなわち最も高い発生頻度を有している。参照標識「1」は、現在のブロックを符号化する時又は予測が復号器において行われる時に使用されたか又は使用される参照ピクチャ(及びモード)の予測値又は推定値、現在のブロックを復号化する時に使用される参照ピクチャ(及びモード)の予測値を表すために選択される。
【0029】
図2は、現在のブロックの隣接ブロックと関連付けられた参照標識をカウントすることにより現在のブロックに対する特定の参照標識の発生頻度を判定する別の例示的な実施形態を示す。ここで、現在のブロックは大きなMBであり、隣接ブロックのサイズは現在のブロックより小さい。いくつかの例において、当該ブロックのブロックサイズに関係なくコンテキストにおいて同数の隣接ブロックを有することは興味深い。
【0030】
隣接ブロックで特定の参照標識の発生回数をカウントする場合、2つ以上の候補が同一の最大カウント数を有する可能性がある。これを図2に示す。図中、参照標識「1」及び「2」の双方が4回現れている。これは、例えば事前定義された順序付け方式に従って参照標識を選択することにより解決できる。例えば参照標識が図1及び図2に示すように数字0〜2で表される場合、最大の数字又は最小の数字により表された参照標識が予測値として選択される。
【0031】
元の画素値のブロック、すなわち符号化される前の元のブロックと予測された画素値のブロックとの差分は、例えばDCT(離散コサイン変換)である変換符号化により符号化される。変換の出力は変換係数を含み、その後、変換係数は量子化される。ブロックと関連付けられた変換係数の数は、所定の量子化に対して予測ブロックと元のブロックとの間の一致の程度を反映する。相対的に少ない変換係数は、適切に一致していることを示す。その結果、殆ど変換係数を有さない隣接ブロックと関連付けられた参照標識は、より信頼性が高いと考えられる。
【0032】
従って、発生のカウントは、例えば参照ブロックと関連付けられた符号化変換係数に従って重み付けされる。上述したように、わずかな符号化変換係数しか有さない隣接ブロックと関連付けられた参照インデックスは、多くの変換係数を有する隣接ブロックと関連付けられた参照インデックスより信頼できる予測値と考えられ、参照インデックス予測のためにより大きい重みを割り当てられる。別の例において、符号化係数を有するブロックは、符号化係数を有さないブロック、すなわちスキップされたブロックより大きい重みを有してもよい。別の例において、例えば大きいMBである大きいMVパーティションを有する隣接ブロックと関連付けられた参照インデックスは、より小さいMVパーティションを有する隣接ブロックより信頼できると考えられ、参照インデックス予測のためにより大きい重みが割り当てられる。2の倍数である重みを使用することは、複雑さの観点で有益である。重み付きカウントは、ルックアップテーブルを使用することによっても実現される。
【0033】
いくつかの参照標識は、他の参照標識より互いにより強く関連する。例えば合同符号化された参照情報を使用する場合、参照フレームref0及びref1を使用する双方向予測を表す参照標識は、例えば参照フレームref2を使用する単一方向予測を表す参照標識よりも、ref0及びref1のうちの一方を使用する単一方向予測を表す参照標識とより強く関連する。従って、双方向予測標識をカウントする時、同一の参照フレームを使用する単一方向予測を表す対応する標識が、ある小さいカウント値、すなわち「完全な一致」に対するカウント値より小さいカウント値により更新されようにする。同様に、例えばref0及びref1を使用する単一方向予測を表す参照標識は、他の双方向予測参照標識よりも、ref0及びref1を使用する双方向予測を表す対応する参照標識と強く関連する。従って、単一方向参照標識をカウントする時、当該参照フレームが使用されるマルチ予測に対応する参照標識のカウントが、ある小さい値で更新される。
【0034】
参照標識予測又は参照インデックス予測を導入する1つの利点は、VLC(可変長符号化)テーブルのより効率的なマッピングを可能にすることである。予測とVLCテーブルとを共に考慮することにより、より高い圧縮が実現可能である。例えば予測を使用しない(0、1、2)等の3つのインデックスの符号化を仮定すると、図3に示すような固定のVLCテーブルが割り当てられる。インデックス記号「2」が最も頻繁に発生すると仮定すると、「2」が2ビットすなわち「11」を含むコードワードを使用して符号化され、その一方でより頻度の低い「0」が1ビットすなわち「0」を使用して符号化されるため、図3に示すテーブルには改善の余地がある。
【0035】
予測が加えられる場合、より適切なVLCテーブル設計が可能である。そのような改善されたVLCテーブル設計の一例を図4に示す。そのような改善されたVLC設計において、参照標識又はインデックス記号を符号化するのに使用されるビットは、予測及び従って現在のブロックのコンテキストに基づいて適応される。図4に示すテーブルにおいて、現在のブロックのコンテキストにおいて最も頻繁に発生する参照標識は、この例においては「0」である単一ビットのコードワードを使用して符号化される。2ビットから成るコードワード「10」及び「11」は、例えば2番目に高い発生頻度を有する参照標識と3番目に高い発生頻度を有する参照標識とを識別するようにそれぞれ規定される。参照標識の符号器及び復号器の双方は、予測の実行の方法及びコードワードの解釈の方法を認識しており且つそれらの方法について同意しているべきである。
【0036】
上述した例は単なる一例であり、可能な設計はこれに限定されない。例えばより多くの参照標識又はインデックス記号が含まれる場合、参照標識又はインデックス記号に種々のVLCテーブルを割り当てる種々の方法が存在する。方法の一例では、頻繁に発生する参照標識に小さいインデックス番号が割り当てられ、頻繁に発生しない参照標識に大きいインデックス番号が割り当てられ、且つ大きいインデックス番号より小さいインデックス番号の方が符号化するのに少ないビットを要するように、インデックスの発生の確率によりインデックス付けを変更することである。コンテキスト対応2値算術符号化(CABAC)は、参照標識又はインデックスを表すためのビットコストを、それら参照標識又はインデックスの確率に従って変動させることを達成するために使用され得る。種々のコンテキストのいくつかの例は、例えば上述したように、隣接ブロックと関連付けられた参照標識、参照標識のカウント数、又は参照標識の重み付きカウント数である。
【0037】
別の方法は、参照標識が発生している時にそれら参照標識を表す数字又はインデックスのいわゆる「バブルソート」を採用することである。この例において、VLCバブルテーブルは、AVC UVLC(汎用可変長コード)テーブルのようにコードワードの長さがVLCテーブルインデックスの増加と共に増加する固定のVLCテーブルであるが、VLCテーブルインデックスと、参照標識を表すインデックス記号又は番号との間のマッピングが適応的である。この適応は、バブルソートの機構のように、隣接する「マッピング位置」を入れ替えることにより行われる。そのような入れ替えの一例を図5に示す。図中、記号「A」はVLCテーブル504aのインデックス4にマッピングされ、記号「B」はVLCテーブルのインデックス5にマッピングされている。ここで、VLCインデックス5(記号B)が復号化されると仮定する。記号Bの復号化の後、テーブル502においてVLCインデックス4であった記号Aと記号Bとのインデックスマッピングにより、テーブル506に示すように、記号AがVLCインデックス5にマッピングされ且つ記号BがVLCインデックス4にマッピングされるように位置を入れ替える。この隣接インデックスの入れ替え手段により、VLCテーブルは、最終的に最も確率の高い記号が小さいVLCインデックスに、従って短いコードワードにマッピングされるように適応され、向上した圧縮効率を与える。
【0038】
参照標識予測の手順の符号化部分の一実施形態について、図6を参照して説明する。手順は、映像符号化エンティティにおいて実行される。映像符号化エンティティは、映像符号器であるか、あるいは例えばコンピュータ、移動端末又は映像専用デバイス等の映像復号器に加えて更なる機能ユニットを含むエンティティである。
【0039】
手順は、符号化隣接ブロックの集合を有する画素のブロックBに対して実行されるものとして説明される。ここで、各隣接ブロックは、その隣接ブロックを符号化する時に使用された1つ以上の参照ピクチャと関連付けられている。動作602において、隣接ブロックの集合と関連付けられた参照ピクチャのうちの複数の参照ピクチャ又は参照ピクチャの組み合わせの発生頻度が判定される。
【0040】
動作604において、隣接ブロックと関連付けられた参照ピクチャのうち、最大発生頻度を有すると判定された参照ピクチャ又は参照ピクチャの組み合わせが、ブロックBを符号化する時に使用される参照ピクチャ又は参照ピクチャの組み合わせCの予測値Cpredとするために選択される。ブロックBは、この段階で符号化されていてもよいし、あるいはこれから符号化されてもよい。
【0041】
例えば説明する手順の一部と考えられても考えられなくてもよい動作606において、ブロックBが参照ピクチャ又は参照ピクチャの組み合わせCを使用して符号化されている。この場合、動作608において、予測値Cpredが、ブロックBを符号化することにより符号化ブロックBeを提供する際に使用されたCに対応するかが判定される。この判定動作の結果は、動作610又は612においてブロックBeの復号器に提供される。例えばCpredがCに対応すると判定された場合、ビットストリームの所定のビットが「0」に設定され、CpredがCに対応しないと判定される場合、その所定のビットが「1」に設定される。更にCpredがCに対応しないと判定される場合には、動作614において、Cを識別する更なる情報がBeの復号器に提供される。
【0042】
以下において、上述した参照標識予測の手順の実行を可能にするように構成された装置700の一例について図7を参照して説明する。装置は、映像符号化エンティティ701に配置されているものとして示されている。映像符号化エンティティ701は、映像符号器であるか、あるいは例えばコンピュータ、移動端末又は映像専用デバイス等の映像符号器に加えて更なる機能ユニットを含むエンティティである。装置700は、あらゆる種類の有線又は無線通信のための従来の手段を含むと考えられる通信ユニット702を介して他のエンティティと通信する。符号化される非符号化映像は、取得ユニット704により通信ユニット702又はメモリから取得され、映像のブロックは、符号化ユニット712において符号化されることになる。ここで、機能ユニット712は従来の方法を使用する。
【0043】
装置700は、判定ユニット706を含む。判定ユニット706は、各々が隣接ブロックを符号化する時に使用される1つ以上の参照ピクチャと関連付けられている符号化隣接ブロックの集合を有し且つ取得ユニット704から受信されたブロックBに対して、隣接ブロックの集合と関連付けられた参照ピクチャのうちの複数の参照ピクチャ又は参照ピクチャの組み合わせの発生頻度を判定するように構成されている。装置700は、選択ユニット708を更に含む。選択ユニット708は、ブロックBを符号化することにより符号化ブロックBeを提供する時に使用される参照ピクチャ又は参照ピクチャの組み合わせCの予測値Cpredとするために、隣接ブロックと関連付けられた参照ピクチャのうち判定された最大発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせを選択するように構成される。
【0044】
判定ユニット706は、予測値CpredがCに対応するかを判定するように更に構成される。装置700は、前記判定の結果を特定する指示をブロックBeの復号器に提供するように構成された提供ユニット710を更に含む。
【0045】
参照標識予測の手順の復号化部分の一実施形態について、図8を参照して説明する。手順は、映像復号化エンティティにおいて実行される。映像復号化エンティティは、映像復号器であるか、あるいは映像復号器に加えて更なる機能ユニットを含むエンティティである。符号化ブロックBe及びBeの隣接ブロックの集合は、動作802において取得される。ブロックBeは、ある時点において例えば上述した方法で映像符号器により符号化されており、例えば適切な伝送プロトコルを使用する無線及び/又は有線伝送を使用して復号化エンティティに提供される。各隣接ブロックは、符号器においてブロックを符号化する時に使用された1つ以上の参照ピクチャ又はフレームと関連付けられている。
【0046】
動作804において、隣接ブロックの集合と関連付けられた参照ピクチャのうちの複数の参照ピクチャの発生頻度が判定される。これは、判定されるピクチャの組み合わせの発生頻度、例えば双方向予測又は3方向予測に使用される特定の参照ピクチャの組み合わせの発生頻度となる。参照ピクチャは、参照モードインデックス等の参照モードパラメータと隣接ブロックに関連付けられた参照ピクチャインデックス等の1つ以上の参照ピクチャパラメータとの組み合わせにより表されるか又は識別される。更に参照モードパラメータと1つ以上の参照ピクチャパラメータとの組み合わせは、例えば上述したように「参照標識」、「参照インデックス」又は「参照インデックス記号」で示される単一の構文要素により表されるか又は識別されるように合同符号化されている。
【0047】
参照標識により表される可能性が高い参照モードパラメータ及び1つ以上の参照ピクチャパラメータにより表される各参照ピクチャ又は参照ピクチャの組み合わせの発生頻度を判定すると、符号器においてブロックBeを符号化する時に使用され、従ってブロックBeを復号化する時に使用される1つ以上の参照ピクチャ又はフレームCの予測値Cpredとするために又はそれを表すために、最大発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせの1つが選択される。
【0048】
更に予測値CpredがブロックBeを復号化する時に使用される実際の1つ以上の参照ピクチャCに対応するかどうかを指定する指示が動作808において取得される。なお、動作808は、動作802〜806の前、それら動作中又はそれら動作後に実行されてもよい。指示は、例えばビットストリーム中の1ビットコードワード又はフラグとして取得されてもよい。CpredがCに対応することは、例えば事前定義された位置にコードワード「0」が到達すること(例えば、図4)により示されるが、そのことが指定された場合、動作812において、符号化ブロックBeは予測値Cpredに基づいて復号化される。すなわち、Beは、隣接ブロックと関連付けられた参照ピクチャのうち最大発生頻度を有し且つ予測値Cpredとするために選択される1つ以上の参照ピクチャを使用して復号化される。Beを復号化することにより、画素の復号化ブロックBは取得又は提供される。
【0049】
CpredがCに対応するかを指定する指示は、更に暗黙的である可能性があり、例えば「1」をカウンタに加算するようなある動作の実行を省略することにより又はフラグの切り替えをしないことにより示される。
【0050】
他方、予測値CpredがCに対応しないことが示される場合、符号化ブロックBeを復号化する時に使用する参照ピクチャを判定するために、動作814において更なる情報が取得される。適切な1つ以上の参照ピクチャを識別する更なる情報を取得すると、動作816において、ブロックBeは前記情報を使用して復号化される。
【0051】
以下において、上述した参照標識予測の手順の実行を可能にするように構成された装置900の一例について図9を参照して説明する。装置は、映像復号化エンティティ901に配置されているものとして示される。映像復号化エンティティ901は、映像復号器であるか、あるいは例えばコンピュータ、移動端末又は映像専用デバイス等の映像復号器に加えて更なる機能ユニットを含むエンティティである。装置900は、あらゆる種類の有線又は無線通信のための従来の手段を含むと考えられる通信ユニット902を介して他のエンティティと通信するように更に示される。
【0052】
装置900は、復号化される符号化ブロックBeと符号化ブロックBeの隣接ブロックの集合とを取得するように構成された取得ユニット904を含む。ここで、各隣接ブロックは、1つ以上の参照ピクチャ、すなわちブロックを符号化する時に使用され且つブロックを復号化する時にも使用されるピクチャと関連付けられる。隣接ブロックと関連付けられた参照ピクチャは、ブロックと関連付けられた参照モードパラメータと1つ以上の参照ピクチャパラメータとの組み合わせに基づいて、あるいは例えばブロックと関連付けられた単一の構文要素に基づいて識別される。取得ユニット904は、通信ユニット902の一部と考えられてもよい。
【0053】
装置900は、隣接ブロックの集合と関連付けられた参照ピクチャのうちの複数の参照ピクチャ又は参照ピクチャの組み合わせの発生頻度を判定するように構成された判定ユニット906を更に含む。例えば参照ピクチャA及びBの双方と関連付けられるか、Dのみと関連付けられるか、あるいはAのみと関連付けられる隣接ブロックの数をそれぞれカウントすることにより判定する。これは、隣接ブロックのうち特定の参照ピクチャ又は参照ピクチャの組み合わせとの関連付けの発生回数をカウントすること、あるいは隣接ブロックの集合のうち例えば参照ピクチャの発生回数をカウントすることと言うこともできる。
【0054】
関連付けられた種々の参照ピクチャ及び組み合わせは、種々の重みを割り当てられる。例えば参照ピクチャA及びBの組み合わせ(との関連付け)の発生回数をカウントする場合、参照ピクチャBのみとの関連付けの発生は小さい重みを割り当てられるため、「A+B」の発生の合計にあまり寄与しない。更に、最初の発生時に参照ピクチャDが例えば少ない数の変換係数を有するブロックと関連付けられる場合、そのときの参照ピクチャDとの関連付けの1回の発生は、参照ピクチャDとの関連付けの別の発生より大きい重みを割り当てられる。
【0055】
装置900は、選択ユニット908を更に含む。選択ユニット908は、符号化ブロックBeを復号化する時に使用される参照ピクチャ又は参照ピクチャの組み合わせCの予測値Cpredとするために、隣接ブロックと関連付けられた参照ピクチャ又は参照ピクチャの組み合わせのうち最大発生頻度を有すると判定された参照ピクチャ又は参照ピクチャの組み合わせを選択するように構成されている。同一の発生頻度を共有する参照ピクチャ又は参照ピクチャの組み合わせがいくつか存在する可能性がある。そのような状況においては、事前定義済みの方式又は参照ピクチャの選択方法を規定する規則に基づいて、それらピクチャ又は組み合わせの1つが選択されることになる。
【0056】
取得ユニット904は、予測値CpredがCに対応するかを指定する指示を取得するように更に構成される。例えばCpredがCに対応する場合、ビットストリームから取得された事前定義済みビットは「0」であり、CpredがCに対応しない場合、事前定義済みビットは「1」である。装置900は、予測値CpredがCに対応することが示される場合に、予測値Cpredに基づいて符号化ブロックBeを復号化するように構成された復号化ユニット910を更に含む。復号化ユニット910は、画素の復号化ブロックBを提供し、例えばそれは格納されるか又は表示される。
【0057】
装置900は、予測値CpredがCに対応しないことが示される場合、すなわち本当のCを識別するために更なる情報が必要とされる場合、符号化ブロックBeを復号化する時に使用する参照ピクチャを判定するために更なる情報を取得するように更に構成される。そのような情報は、VLCコードワードの形式で入手される。
【0058】
図10は、映像復号化エンティティにおける装置1000の一実施形態を概略的に示す。これは、図9に示した映像復号化エンティティにおける参照標識予測のための装置の一実施形態を開示する別の方法である。例えばDSP(デジタル信号プロセッサ)を有する処理ユニット1006が装置1000に含まれる。処理ユニット1006は、本明細書で説明される手順の種々の動作を実行するための単一のユニットであるか又は複数のユニットである。装置1000は、他のエンティティから信号を受信する入力ユニット1002と、他のエンティティに信号を提供する出力ユニット1004とを更に含む。入力ユニット1002及び出力ユニット1004は、統合エンティティとして構成されてもよい。
【0059】
更に装置1000は、例えばEEPROM(電気的消去可能プログラマブル読み出し専用メモリ)、フラッシュメモリ及びハードドライブである不揮発性メモリの形態の少なくとも1つのコンピュータプログラム製品1008を含む。コンピュータプログラム製品1008は、装置1000の処理ユニット1006で実行された時に図8により上述した手順の動作を装置及び/又は映像復号化エンティティに実行させるコード手段を含むコンピュータプログラム1010を含む。
【0060】
コンピュータプログラム1010は、コンピュータプログラムモジュールに構造化されたコンピュータプログラムコードとして構成される。従って、説明される実施形態において、装置1000のコンピュータプログラム1010のコード手段は、例えばメモリである記憶装置から又はデータ送信エンティティから発信されるビットストリームから、符号化ブロックBeと、符号化ブロックBeの隣接ブロックの集合と、を取得するための取得モジュール1010aを含む。また、取得モジュール1010aは、比較の結果の指示を取得する。コンピュータプログラムは、隣接ブロックの集合と関連付けられた参照ピクチャのうちの複数の参照ピクチャ又は参照ピクチャの組み合わせの発生頻度を判定するための判定モジュール1010bを更に含む。
【0061】
コンピュータプログラム1010は、符号化ブロックBeを復号化する時に使用される参照ピクチャ又は参照ピクチャの組み合わせCの予測値Cpredとするために、隣接ブロックと関連付けられた参照ピクチャのうち最大発生頻度を有すると判定された参照ピクチャ又は参照ピクチャの組み合わせを選択するための選択モジュール1010cを更に含む。コンピュータプログラム1010は、予測値CpredがCに対応することが示される場合に予測値Cpredに基づいて符号化ブロックBeを復号化するための復号化モジュール1010dを更に含む。
【0062】
モジュール1010a〜1010dは、実質的に図8に示すフローの動作を実行し、図9に示す映像復号化エンティティの装置をエミュレートする。換言すると、種々のモジュール1010a〜1010dが処理ユニット1006で実行される場合、それらモジュールは図9のユニット904〜910に対応する。
【0063】
同様に、図7に示した装置に対応する代替例も可能である。
【0064】
図10と共に上述した実施形態におけるコード手段は、処理ユニットにおいて実行された時に上記図面と共に上述した動作を装置及び/又は映像復号化エンティティに実行させるコンピュータプログラムモジュールとして実現されるが、少なくとも1つのコード手段は、別の実施形態において少なくとも部分的にハードウェア回路として実現されてもよい。
【0065】
プロセッサは、単一のCPU(中央処理装置)であるが、2つ以上の処理ユニットを更に含むこともできる。例えばプロセッサは、汎用マイクロプロセッサ、命令セットプロセッサ及び/又は関連チップセット及び/又はASIC(特定用途向け集積回路)等の専用マイクロプロセッサを含んでもよい。プロセッサは、例えばキャッシュの目的でボードメモリを更に含んでもよい。コンピュータプログラムは、プロセッサに接続されたコンピュータプログラム製品により保持されてもよい。コンピュータプログラム製品は、コンピュータプログラムが格納されるコンピュータ可読媒体を含む。例えばコンピュータプログラム製品は、フラッシュメモリ、RAM(ランダムアクセスメモリ)、ROM(読み出し専用メモリ)又はEEPROMであってもよく、別の実施形態において、上述したコンピュータプログラムモジュールは、復号化エンティティ内においてメモリの形態の種々のコンピュータプログラム製品に分散可能である。
【0066】
上述したように、本明細書において、画素ブロックを符号化する時に使用された参照モード及び1つ以上の参照ピクチャの標識が合同符号化されると仮定されるため、符号化ブロックを復号化するのに必要な全ての参照情報は、例えば「参照標識」、「参照インデックス」、「参照インデックス記号」、又は「RISインデックス」が示される単一の構文要素により表される。次に、この合同符号化について更に説明する。合同符号化は、インター予測符号化及び復号化に使用される参照情報、すなわち参照モード及び参照ピクチャを表し且つ搬送するための手順である。この手順は、参照インデックス信号伝送又は参照情報標識信号伝送(RIS)と呼ばれることもある。
【0067】
RISを使用する場合、例えばAVCのようにパーティション構造の標識、すなわちMB/サブMBモードと密接に関連する参照モードの標識を符号化し、参照ピクチャの標識を別個に符号化する代わりに、符号化ブロックと関連付けられた参照モードの標識及び参照ピクチャの標識が「1つの場所に共にまとめられる」、すなわち合同符号化される。参照モード及び参照ピクチャの標識、すなわち参照情報を合同符号化した結果、単一の構文要素又は標識は、満足のいく方法で符号化ブロックを復号化するために必要とされる参照モード及び参照ピクチャに関する全ての情報を表す。すなわち、この単一の構文要素が符号化ブロックに対して与えられると、復号器はブロックを復号化するのに必要とされる参照ピクチャを識別できる。「構文要素」は、例えば「構文単位」、「合同指示単位」又は「合同識別単位」とも表される。
【0068】
そのような構文要素を使用することにより、構文要素により識別される参照情報に対する誤り耐性が向上する。更にそのような構文要素を使用することにより、参照インデックス及び参照モードのある組合せの効率的な符号化を可能にすることにより他の組み合わせより確率が高いそれらの組み合わせを利用できるようになる。例えばより短いコードワードは、より確率の高い参照インデックス及び参照モードの組み合わせに割り当てられる。
【0069】
RISを記述する1つの方法は、例えば2つの独立したリストを使用する参照情報のAVC表現等の従来の表現からRISに従う参照情報の例示的な表現への「変換」又はマッピングを記述することである。そのようなRIS表現への変換は、図11に示すように基本的に3つのステップで行われる。
【0070】
第1のステップ1102は、複数のインデックスリストから1つの単一の参照インデックスリストを形成することである。例えばAVCのように2つの参照インデックスリストを管理する代わりに、全ての参照ピクチャインデックスは、AVCの2つのリストの代わりとして又は補足として単一の合同リストにある特定の順番でソートされる。これを図11に示す。図中、ピクチャ参照インデックスリストL0及びL1は、インタリーブされて新しいリストLRISにマージされるか又は多重化される。更に第2のステップ1104において、インデックス番号は、新しいリストLRISにおいて連続した順番、すなわち0〜5に従うように再割り当てされる。
【0071】
ステップ1104の後のリストLRIS中のインデックス番号又はエンティティは、参照モード(逆方向又は順方向の単一方向予測)及び参照ピクチャの双方に関する情報を表す。LRISのエントリに対するインデックスは、例えば「RISインデックス」又は「RISパラメータ」で示される。この例におけるステップ1104の後のLRISのRISインデックス番号0〜5は、4つの過去のピクチャ(元のリストL0=(0,1,2,3))及び2つの未来のピクチャ(元のリストL1=(0,1))を表す。
【0072】
更に、双方向予測を表す1つ以上のリストエントリは、例えば挿入又は追記することによりLRISに追加される。従って、双方向予測を表すエントリを示すRISインデックスは、単一の参照ピクチャを指し示すのではなく、2つの参照ピクチャを指し示す。RISインデックスは、参照モードと1つ以上の参照ピクチャとの組み合わせを識別できる。
【0073】
その結果、最後のステップ1106において、2つの参照ピクチャが予測に使用される双方向予測モードに関連するエントリはLRISに連続して追記され、RISインデックスにより示されるか又は表される。例えば、RISインデックス番号7を有するエントリは、現在のピクチャが双方向予測参照としてピクチャ番号0及びピクチャ番号1を使用していることを信号伝送するように又は示すように設定される。従って、この情報はRISインデックス7に固有のものである。インデックス番号8は、現在のピクチャが双方向予測参照としてピクチャ番号0及びピクチャ番号2を使用していることを示すように同様に設定される。同様に、リストLRISは3方向予測を表すエントリにより更に拡張されてもよく、3つの参照ピクチャ等を識別する。
【0074】
あるいは、ステップ1104及び1106は、双方向予測モードに関連するエントリが最初に例えば挿入又は追記されることにより追加され且つインデックス番号がそれに従って再割り当てされるように、逆の順番で実行されてもよい。上述したように、双方向予測モードに関連するエントリは、例えば単一方向予測に関連するエントリの間に挿入可能であり、これは、インデックス番号の再割り当てがステップ1104の補足として又は代わりとして挿入後に実行されていることを必要とする。この例において、マッピングは、種々のエントリのインデックスが参照モード及び1つ以上の参照ピクチャを表す単一の参照リストにより表される。尚、これは単なるオプションの一例であり、マッピングはいくつかのステップを含み、例示的な種類の明示的なリスト又はレコードはマッピングを行うのに必要とされない。
【0075】
一実施形態に係るAVC参照インデックス表現とRISインデックス表現との差分の一例を図12のテーブルに示す。この例において、現在のピクチャを符号化するために利用可能な参照ピクチャが4つ存在すると仮定する。そのうち2つの参照ピクチャは過去の参照ピクチャであり、2つの参照ピクチャは未来の参照ピクチャである。このRIS表現の例において、インデックス0、1、3及び4は、4つの参照ピクチャのそれぞれからの単一方向予測を示すように設定される。インデックス2及び5は、4つの参照ピクチャの各対からの双方向予測を示すように設定される。尚、パーティションに関連する情報が例えば「INTER_16×16_L0」等の参照モードインデックスと共に符号化されるため、参照インデックスのAVC信号伝送はその情報を含む。しかし、これは図12には示さない。
【0076】
図12のテーブルに示す例において、双方向予測を示すか又は表すRISインデックスの一部は、「最近接する」単一方向予測RISインデックスの直後に配置される。すなわち、単一方向予測を表すインデックスとインタリーブされる。このRISインデックス表現を図13に更に示す。図13は、いわゆる7B階層のGOP(7B hierarchical Group Of Pictures(BGOP))を示す。図中、いわゆる「現在のフレーム」すなわち符号化されるフレームは、7B GOPにおいてフレーム3である。図13に示すRISインデックスは、図12のテーブルのRISインデックス0〜7に対応する。別のRIS表現は、図11に示す例のように、RISインデックス0〜3が単一方向予測を示すようにし、後続するRISインデックスが双方向予測を示すようにする。
【0077】
例えばH.264を使用する最近の技術において、2つのMV/参照ピクチャ、ブロック又はエリアを使用する双方向予測ブロックの生成は、2つの参照エリアにわたる平均化を含む。MVが参照エリアにおけるサブ画素の位置を指し示す場合、サブ画素の位置の画素値は平均化の前にまず生成される必要がある。サブ画素の位置の画素値の生成は「空間フィルタリング」と呼ばれる。すなわち、生成処理は各参照エリアの空間フィルタリングを含む。従って、2つの参照エリアを使用して双方向予測ブロックを生成する最新の処理は、第1のエリアの空間フィルタリングと、第2のエリアの空間フィルタリングと、最後に行われる、フィルタリングされたエリアにわたる平均化と、を含む。空間フィルタリングは、計算の複雑さに関して相対的に高い要求を有する。
【0078】
計算の複雑さを軽減できることが理解される。これについて以下に説明する。複雑さを軽減するために、最初にブロックは、例えば2つの参照ブロックを共に追加することにより(空間フィルタリングを実行せずに)整数動きに基づいて構築される。この追加は、計算の複雑さに関して相対的に安価な動作である。結果として得られるブロックは、例えば1/2画素又は1/4画素解像度を取得するために補間等のフィルタリングが行われる。サブ画素の調整は、1つのMVに従って、あるいは例えば別個に符号化/復号化された追加の情報に基づいて行われる。
【0079】
ブロックが2つ以上のMV及び参照インデックスと関連付けられる場合、これは本明細書で「マルチ予測」と呼ばれ、マルチ予測の各単一方向予測成分が判定される。単一方向予測は、例えばイントラ予測でもあり得るので、「単一予測」と呼ばれてもよい。分割情報は、それら単一方向予測間の絶対差分に基づいて導出されることが理解される。分割情報は、細粒度分割情報を搬送する時にオーバヘッドを回避するために符号器及び復号器の双方において導出される。
【0080】
単一方向予測間の絶対差分が相対的に大きい領域において、単一の単一方向予測又は特定の双方向予測が使用される。単一の単一方向予測は、双方向予測(又はマルチ予測)の単一方向予測成分の1つに対してビットストリームにおいて示される参照インデックス及びMVに従って行われる。ブロックの、単一方向予測間の絶対差分が相対的に小さい他の領域において、そのブロックに対するビットストリームにおいて示される双方向予測が使用される。領域に対して単一の双方向予測/特定の双方向予測を使用するか又はビットストリームで示される双方向予測を使用するかの判定は、例えば領域と関連付けられた単一方向予測間の絶対差分と事前定義済み閾値との比較に基づく。
【0081】
2つのMV及び2つの参照エリアと関連付けられた双方向予測ブロックを仮定する。従来、この段階において、このブロックは更に分割されないが符号化される。しかし、絶対差分又は「差分マップ」を解析することから取得される「暗黙的」な情報は、符号器及び復号器の双方においてブロックを更なるパーティションに分割するために使用されることが理解される。
【0082】
2つの参照エリア又は予測値の絶対差分が算出される場合、差分マップには、大きい絶対値を有するいくつかの領域と小さい絶対値を有するいくつかの領域とがある。ある領域における小さい値の絶対差分は、同一のオブジェクトが双方の参照エリアのその領域に描かれることを表す。種々のオブジェクトが各参照エリアの領域に描かれる場合、絶対差分は相対的に大きい。同一のオブジェクトが各参照エリアの対応する領域に描かれる場合、それら領域を平均するのが好適であり適切である。対応する領域において異なるオブジェクトが描かれる場合、それらを平均することは無駄である。
【0083】
例えば、閾値が規定される。ここで、閾値より大きい差分値は「異なるオブジェクト領域」を表し、閾値より小さい差分値は「同一のオブジェクト領域」を表す。ブロックは、事前定義された方式でそれら領域に従って分割される。上述したように、分割は、暗黙的な情報に基づいて、すなわち分割を記述する明示的な信号伝送なしで行われる。これの別の利点は、「正方形以外の分割」がサポートされることである。例えば半球が1つのブロックに描かれる場合、ブロックの分割は球の外形又は輪郭の周囲で非常に正確に行われる。
【0084】
符号器は、上述した分割方法が使用されるべきであるかを復号器に信号伝送する。分割方法が使用されるべきであると信号伝送した場合、符号器は、オプションとして、相対的に大きな絶対差分値を有する領域に対して、使用する単一方向予測又は使用する特定の双方向予測を信号伝送する。例えば、重み付き双方向予測(平均以外であり且つDCオフセットを含む可能性がある)が使用される。特定の双方向予測値を生成できるローカルパラメータを判定するために追加の情報を符号化/復号化する必要がある場合がある。取得された分割情報は、分割情報の予測に使用され、符号器は、復号器により復号化され使用される予測パーティションと比較される変更を符号化する。参照エリア間の差分に基づいて分割情報を導出することにより、分割方法の大まかな指示を与える。予測された分割情報の改良点を送出することによる更なる洗練も可能である。
【0085】
分割情報の取得方法の一例は、ブロックを例えば4つの同一サイズのサブブロックに分割することである。その後、サブブロックの正規化されたSAD(差分絶対値和(算出された画素数により除算される))が例えば4倍大きい「親」ブロックの正規化されたSAD以上である場合、最大の正規化されたSADを有するサブブロックが、さらに4つの同一サイズの領域に繰り返し分割される。正規化されたSADは、画素毎のSAD又は特定のサブブロックサイズ毎のSADを示す。SADの代わりに、画素差分の他の計測値が使用可能である。一例は、例えばエッジ/線である強力な局所画像構造に対してより大きい重みを有する計測値である。更に分割されない残りのサブブロックは、例えば双方向予測又はマルチ予測の変形例を使用すべきであるパーティションに設定される。
【0086】
図14は、分割方法の例示的な一実施形態を示す。左側のブロック1402:aは双方向予測される。SADの算出が行われ、大きいSADのエリアが識別及び選択され、それに応じて処理される。この例において、大きいSADのエリアは、逆方向MVのみを使用する単一方向予測に変更することにより処理される。従って、元のブロックは2つのパーティションに分割される。一方のパーティションは、ビットストリームにおいて示された双方向予測を使用し、他方のパーティション(円を含むものとして示される)は単一方向予測(双方向予測の一方の成分)を使用する。レート歪み最適化(RDO)は、最適な単一方向予測(双方向予測の成分)を選択するために使用される。
【0087】
分割情報の取得方法の別の例は、例えば双方向予測ブロックを複数の同一サイズのサブブロックに分割し、当該サブブロックサイズの最大SADを判定し、その最大値に「近い」、例えばその最大値から特定の範囲内のSADを有するサブブロックを選択し、変更された双方向予測又は単一方向予測を使用する領域の一部とすることである。
【0088】
この方法は、分割に加えて、例えば双方向予測モードが使用される場合に上述したRISインデックス又は最新の参照インデックスを判定するために使用される。例えば領域に対する平滑差分マップは、その領域が「双方向RISインデックス」と関連付けられる可能性が高いことを提案し、そのように解釈される。更に方法は、別の予測として又は上述した参照標識インデックス予測と組み合わせて使用可能である。最小SADを有する組み合わせを選択するために双方向予測の可能な候補間のSADに基づいて符号器及び復号器の双方においてその選択が行われ得る。
【0089】
尚、分割方法に基づく上述のマルチ予測により、ブロックに基づく分割を導出する代わりに符号器及び復号器の双方において他の種類の分割が導出される。これは、例えばエッジ検出及び/又はセグメンテーション等の非線形画像処理方法に従う2つ以上のパーティションへのブロックの線形(例えば、水平方向、垂直方向又は対角線方向)又は非線形分割を含む。例えばマルチ予測差分信号は、エッジ検出又は領域成長等の画像セグメンテーション方法に従ってセグメンテーションされ、ブロックパーティションはセグメンテーションされた差分信号に基づいて導出される。
【0090】
サブパーティション数は、画像セグメンテーション等の画像処理方法により導出されるか、あるいは符号器から復号器に信号伝送される。線形又は非線形分割の代わりに、画素に基づく分割が適用可能である。一変形例は、使用される分割方法を符号器から復号器に信号伝送することである。別の変形例は、分割方法が他の信号伝送手段により符号器と復号器との間で同意されることである。マルチ予測を使用した方法の利点は、分割情報が符号器及び復号器で既に利用可能である情報に基づいて導出されること、すなわち分割情報が明示的に信号伝送される必要がないため符号化に使用されるビット数が減少されることである。
【0091】
尚、マルチ予測を使用した分割に従って、双方向予測から、その双方向予測に使用されるMVから導出された単一方向MVを使用する単一方向予測に切り替える代わりに、サブパーティションに対する追加のMV及び/又は予測モード(単一方向インターピクチャ予測、双方向インターピクチャ予測又はイントラピクチャ予測)を信号伝送できる。換言すると、ブロックのパーティションの数及び形状は、明示的に信号化されてもよいし、且つ/又は、例えばセグメンテーション方法に基づいて暗黙的な情報から導出されてもよい。更にMV及び/又は予測モードは、結果として得られるサブパーティションの一部又は全てに対して信号化される。
【0092】
上記で提案されたような手順について例として提供された特定の実施形態を参照して説明したが、一般に説明は、発明の概念を示すことのみを意図し、提案された方法及び装置の範囲を限定するものとして解釈されるべきではなく、それら方法及び装置は添付の特許請求の範囲により規定される。一般的に説明される一方で、方法及び装置は、例えばGSM/EDGE、WCDMA又はLTE、あるいは例えばDVB−S、DVB−T又はDVB−Cである衛星、地上波又はケーブルを介する放送技術等の一般に利用可能な通信技術を使用して種々の通信システムに対して適用可能であり、またメモリへの映像の記憶、メモリからの映像の検索に対しても適用可能である。
【0093】
対話ユニット又はモジュールの選択、並びにユニットの名前付けは単に例示するためのものであり、上述した方法のいずれかを実行するのに適した映像処理エンティティは、提案された処理動作を実行できるように複数の別の方法で構成されてもよいことが理解される。
【0094】
尚、本開示において説明したユニット又はモジュールは、論理エンティティと考えられ、独立した物理エンティティである必要はない。
略語
AVC 高度映像符号化
CABAC コンテキスト対応2値算術符号化
GOP Group Of Pictures
MB マクロブロック
MV 動きベクトル
RIS 参照インデックス信号伝送(Reference Index Signaling)/参照情報標識信号伝送(Reference information Indicator Signaling)
SAD 差分絶対値和
VLC 可変長符号化
【特許請求の範囲】
【請求項1】
映像復号化エンティティにおける方法であって、
符号化ブロックBeと、各々が1つ以上の参照ピクチャと関連付けられる前記符号化ブロックBeの隣接ブロックの集合とを取得する工程(802)と、
前記隣接ブロックの集合と関連付けられた前記参照ピクチャのうちの複数の参照ピクチャ又は参照ピクチャの組み合わせの発生頻度を判定する工程(804)と、
前記符号化ブロックBeを復号化する時に使用される前記参照ピクチャ又は参照ピクチャの組み合わせCの予測値Cpredとするために、前記隣接ブロックと関連付けられた前記参照ピクチャのうち前記判定された最大発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせを選択する工程(806)と、
前記予測値CpredがCに対応するかどうかを指定する指示を取得する工程(808)と、
前記予測値CpredがCに対応することが示される場合に、
前記予測値Cpredに基づいて前記符号化ブロックBeを復号化して、画素の復号化ブロックBを提供する工程(812)と、
を有することを特徴とする方法。
【請求項2】
各隣接ブロックと関連付けられた前記1つ以上の参照ピクチャは、前記隣接ブロックと関連付けられた参照モードパラメータと1つ以上の参照ピクチャパラメータとの組み合わせにより識別されることを特徴とする請求項1に記載の方法。
【請求項3】
各隣接ブロックは、前記隣接ブロックと関連付けられた前記1つ以上の参照ピクチャを識別する1つの構文要素と関連付けられることを特徴とする請求項1又は2に記載の方法。
【請求項4】
前記参照ピクチャ及び/又は参照ピクチャの組み合わせの発生頻度を判定する工程は、前記隣接ブロックと関連付けられた参照ピクチャ及び/又は参照ピクチャの組み合わせをカウントする工程を含むことを特徴とする請求項1から3のいずれか1項に記載の方法。
【請求項5】
参照ピクチャ又は参照ピクチャの組み合わせの少なくとも1回の発生は、前記参照ピクチャ又は参照ピクチャの組み合わせの別の発生よりも大きい重みを割り当てられ、カウントに対してより寄与することを特徴とする請求項4に記載の方法。
【請求項6】
前記重みの割り当ては、
隣接ブロックと関連付けられた参照ピクチャ又は参照ピクチャの組み合わせと、前記発生頻度が判定される前記参照ピクチャ又は参照ピクチャの組み合わせとの一致、
隣接ブロックと関連付けられた変換係数の数、
隣接ブロックと関連付けられた動きベクトルパーティションの大きさ、
のうちの少なくとも1つに基づくことを特徴とする請求項5に記載の方法。
【請求項7】
前記取得された指示は、受信したビットストリームにおける構文要素であることを特徴とする請求項1から6のいずれか1項に記載の方法。
【請求項8】
前記取得された指示は暗黙的であることを特徴とする請求項1から6のいずれか1項に記載の方法。
【請求項9】
前記予測値CpredがCに対応しないと指示される場合、
−前記符号化ブロックBeを復号化する時に使用する参照ピクチャを判定するために更なる情報を取得する工程(814)を更に有することを特徴とする請求項1から8のいずれか1項に記載の方法。
【請求項10】
前記判定された参照ピクチャ及び/又は参照ピクチャの組み合わせの発生頻度は、別の参照ピクチャより高い発生頻度を有する参照ピクチャが当該別の参照ピクチャよりも短い可変長コードワードにマッピングされるように、前記参照ピクチャ又は参照ピクチャの組み合わせの標識を可変長コードワードにマッピングするために使用されることを特徴とする請求項1から9のいずれか1項に記載の方法。
【請求項11】
前記取得された指示は前記コードワードのうちの1つであることを特徴とする請求項10に記載の方法。
【請求項12】
前記判定された参照ピクチャ及び/又は参照ピクチャの組み合わせの発生頻度は、別の参照ピクチャより高い発生頻度を有する参照ピクチャが前記別の参照ピクチャより短い可変長コードワードにマッピングされるように、前記参照ピクチャ又は参照ピクチャの組み合わせの標識を可変長コードワードにマッピングするために使用され、Cを判定するために使用された前記取得された情報は前記コードワードのうちの1つであることを特徴とする請求項9に記載の方法。
【請求項13】
マルチ予測と関連付けられたブロックにおいて、前記マルチ予測参照ブロックの対応する各領域が相対的に低い相関を有する1つ以上のサブ領域を識別する工程と、
前記ブロックの前記識別された1つ以上のサブ領域に対して前記マルチ予測の代わりに別の予測を使用する工程と、を更に有することを特徴とする請求項1から12のいずれか1項に記載の方法。
【請求項14】
前記別の予測は、単一予測であるか又は重み付きマルチ予測であることを特徴とする請求項13に記載の方法。
【請求項15】
前記別の予測は、前記マルチ予測と関連付けられた前記参照ブロックの1つを使用する予測であることを特徴とする請求項13又は14に記載の方法。
【請求項16】
映像復号化エンティティにおける装置(900)であって、
符号化ブロックBeと、各々が1つ以上の参照ピクチャと関連付けられる前記符号化ブロックBeの隣接ブロックの集合とを取得するように構成された取得ユニット(904)と、
前記隣接ブロックの集合と関連付けられた前記参照ピクチャのうちの複数の参照ピクチャ又は参照ピクチャの組み合わせの発生頻度を判定するように構成された判定ユニット(906)と、
前記符号化ブロックBeを復号化する時に使用される前記参照ピクチャ又は参照ピクチャの組み合わせCの予測値Cpredとするために、前記隣接ブロックと関連付けられた前記参照ピクチャのうち前記判定された最大発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせを選択するように構成された選択ユニット(908)と、
前記予測値CpredがCに対応するかどうかを指定する指示を取得するように更に構成された前記取得ユニット(904)と、
前記予測値CpredがCに対応することが示される場合に、前記予測値Cpredに基づいて前記符号化ブロックBeを復号化して、画素の復号化ブロックBを提供するように構成された復号化ユニット(910)と、を備えることを特徴とする装置(900)。
【請求項17】
前記隣接ブロックと関連付けられた参照モードパラメータと1つ以上の参照ピクチャパラメータとの組み合わせに基づいて各隣接ブロックと関連付けられた前記1つ以上の参照ピクチャを識別するように構成されることを特徴とする請求項16に記載の装置。
【請求項18】
各隣接ブロックが、前記隣接ブロックと関連付けられた前記1つ以上の参照ピクチャを識別する1つの構文要素と関連付けられるように更に構成されることを特徴とする請求項16又は17に記載の装置。
【請求項19】
前記隣接ブロックと関連付けられた参照ピクチャ及び/又は参照ピクチャの組み合わせをカウントすることにより前記参照ピクチャ及び/又は参照ピクチャの組み合わせの発生頻度を判定するように更に構成されることを特徴とする請求項16から18のいずれか1項に記載の装置。
【請求項20】
参照ピクチャ又は参照ピクチャの組み合わせの少なくとも1回の発生に対して前記参照ピクチャ又は参照ピクチャの組み合わせの別の発生よりも大きい重みを割り当てるように更に構成され、前記より大きい重みを有する前記参照ピクチャ又は参照ピクチャの組み合わせは、カウントに対してより寄与することを特徴とする請求項19に記載の装置。
【請求項21】
隣接ブロックと関連付けられた参照ピクチャ又は参照ピクチャの組み合わせと前記発生頻度が判定される前記参照ピクチャ又は参照ピクチャの組み合わせとの間の一致、
隣接ブロックと関連付けられた変換係数の数、
隣接ブロックと関連付けられた動きベクトルパーティションの大きさ、
のうちの少なくとも1つに基づいて重みを割り当てるように構成されることを特徴とする請求項20に記載の装置。
【請求項22】
ビットストリームにおける構文要素を復号化することにより前記指示を取得するように構成されることを特徴とする請求項16から21のいずれか1項に記載の装置。
【請求項23】
暗黙的な情報を解釈することにより前記指示を取得するように構成されることを特徴とする請求項16から21のいずれか1項に記載の装置。
【請求項24】
前記予測値CpredがCに対応しないと指示される場合に前記符号化ブロックBeを復号化する時に使用する参照ピクチャを判定するために更なる情報を取得するように更に構成されることを特徴とする請求項16から23のいずれか1項に記載の装置。
【請求項25】
別の参照ピクチャ又は参照ピクチャの組み合わせより高い発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせが、前記別の参照ピクチャ又は参照ピクチャの組み合わせよりも短い可変長コードワードにマッピングされるように、前記参照ピクチャ又は参照ピクチャの組み合わせの標識を可変長コードワードにマッピングするように更に構成されることを特徴とする請求項16から24のいずれか1項に記載の装置。
【請求項26】
前記予測値CpredがCに対応するかを指定する前記指示として前記コードワードのうちの1つを取得するように更に構成されることを特徴とする請求項25に記載の装置。
【請求項27】
別の参照ピクチャ又は参照ピクチャの組み合わせより高い発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせが前記別の参照ピクチャ又は参照ピクチャの組み合わせより短い可変長コードワードにマッピングされるように、前記参照ピクチャ又は参照ピクチャの組み合わせの標識を可変長コードワードにマッピングするように更に構成され、Cを判定するために使用する前記情報として前記コードワードのうちの1つを取得するように更に構成されることを特徴とする請求項24に記載の装置。
【請求項28】
マルチ予測と関連付けられたブロックにおいて、前記マルチ予測参照ブロックの対応する各領域が相対的に低い相関を有する1つ以上のサブ領域を識別するように構成された識別ユニットを更に備え、 前記装置は、前記ブロックの前記識別された1つ以上のサブ領域に対して前記マルチ予測の代わりに別の予測を使用するように更に構成されることを特徴とする請求項16から27のいずれか1項に記載の装置。
【請求項29】
前記別の予測は、単一予測であるか又は重み付きマルチ予測であることを特徴とする請求項28に記載の装置。
【請求項30】
前記別の予測は、前記マルチ予測と関連付けられた前記参照ブロックの1つを使用する予測であることを特徴とする請求項28又は29に記載の装置。
【請求項31】
映像符号化エンティティにおける方法であって、
各隣接ブロックが前記隣接ブロックを符号化する時に使用された1つ以上の参照ピクチャと関連付けられる符号化隣接ブロックの集合を有する画素のブロックBに対して、
前記隣接ブロックの集合と関連付けられた前記参照ピクチャのうちの複数の参照ピクチャ又は参照ピクチャの組み合わせの発生頻度を判定する工程(602)と、
前記ブロックBを符号化する際に使用される前記参照ピクチャ又は参照ピクチャの組み合わせCの予測値Cpredとするために、前記隣接ブロックと関連付けられた前記参照ピクチャのうち前記判定された最大発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせを選択する工程(604)と、
前記予測値Cpredが前記ブロックBを符号化することにより符号化ブロックBeを提供する時に使用されたCに対応するかどうかを判定する工程(608)と、
前記判定の結果を指定する指示を前記ブロックBeの復号器に提供する工程(610、612)と、を有することを特徴とする方法。
【請求項32】
各隣接ブロックと関連付けられた前記1つ以上の参照ピクチャは、前記隣接ブロックと関連付けられた参照モードパラメータと1つ以上の参照ピクチャパラメータとの組み合わせにより識別されることを特徴とする請求項31に記載の方法。
【請求項33】
各隣接ブロックは、前記隣接ブロックと関連付けられた前記1つ以上の参照ピクチャを識別する1つの構文要素と関連付けられることを特徴とする請求項31又は32に記載の方法。
【請求項34】
前記参照ピクチャ及び/又は参照ピクチャの組み合わせの発生頻度を判定する工程は、前記隣接ブロックと関連付けられた参照ピクチャ及び/又は参照ピクチャの組み合わせをカウントする工程を含むことを特徴とする請求項31から33のいずれか1項に記載の方法。
【請求項35】
参照ピクチャ又は参照ピクチャの組み合わせの少なくとも1回の発生は、前記参照ピクチャ又は参照ピクチャの組み合わせの別の発生より大きい重みを割り当てられ、それによりカウントに対してより寄与することを特徴とする請求項34に記載の方法。
【請求項36】
前記重みの割り当ては、
隣接ブロックと関連付けられた参照ピクチャ又は参照ピクチャの組み合わせと前記発生頻度が判定される前記参照ピクチャ又は参照ピクチャの組み合わせとの間の一致、
隣接ブロックと関連付けられた変換係数の数、
隣接ブロックと関連付けられた動きベクトルパーティションの大きさ、
のうちの少なくとも1つに基づくことを特徴とする請求項35に記載の方法。
【請求項37】
前記予測値CpredがCに対応するかどうかの前記判定の前記結果は、単一の構文要素を使用して前記ブロックBeの復号器に対して示されることを特徴とする請求項31から36のいずれか1項に記載の方法。
【請求項38】
前記予測値CpredがCに対応するかどうかの前記判定の前記結果は、暗黙的な信号伝送を使用して前記ブロックBeの復号器に対して示されることを特徴とする請求項31から36のいずれか1項に記載の方法。
【請求項39】
前記予測値CpredがCに対応しないと判定される場合、
Cを識別する更なる情報を前記ブロックBeの復号器に提供する工程を更に有することを特徴とする請求項31から38のいずれか1項に記載の方法。
【請求項40】
前記判定された参照ピクチャ及び/又は参照ピクチャの組み合わせの発生頻度は、別の参照ピクチャより高い発生頻度を有する参照ピクチャが、前記別の参照ピクチャより短い可変長コードワードにマッピングされるように、前記参照ピクチャ又は参照ピクチャの組み合わせの標識を可変長コードワードにマッピングするために使用されることを特徴とする請求項31から39のいずれか1項に記載の方法。
【請求項41】
Beの符号器に対する前記指示は、前記コードワードのうちの1つの形式で提供されることを特徴とする請求項40に記載の方法。
【請求項42】
前記判定された参照ピクチャ及び/又は参照ピクチャの組み合わせの発生頻度は、別の参照ピクチャより高い発生頻度を有する参照ピクチャが前記別の参照ピクチャより短い可変長コードワードにマッピングされるように、前記参照ピクチャ又は参照ピクチャの組み合わせの標識を可変長コードワードにマッピングするために使用され、前記ブロックBeの復号器に対するCを識別する前記更なる情報は、前記コードワードのうちの1つの形式で提供されることを特徴とする請求項39に記載の方法。
【請求項43】
マルチ予測と関連付けられたブロックにおいて、前記マルチ予測参照ブロックの対応する各領域が相対的に低い相関を有する1つ以上のサブ領域を識別する工程と、
前記ブロックの前記識別された1つ以上のサブ領域に対して前記マルチ予測の代わりに別の予測を使用する工程と、を更に有することを特徴とする請求項31から42のいずれか1項に記載の方法。
【請求項44】
前記別の予測は、単一予測であるか又は重み付きマルチ予測であることを特徴とする請求項43に記載の方法。
【請求項45】
前記別の予測は、前記マルチ予測と関連付けられた前記参照ブロックの1つを使用する予測であることを特徴とする請求項43又は44に記載の方法。
【請求項46】
映像符号化エンティティにおける装置であって、
各隣接ブロックが前記隣接ブロックを符号化する時に使用された1つ以上の参照ピクチャと関連付けられる符号化隣接ブロックの集合を有するブロックBに対して、前記隣接ブロックの集合と関連付けられた前記参照ピクチャのうちの複数の参照ピクチャ又は参照ピクチャの組み合わせの発生頻度を判定するように構成された判定ユニット(706)と、
前記ブロックBを符号化することにより符号化ブロックBeを提供する際に使用される前記参照ピクチャ又は参照ピクチャの組み合わせCの予測値Cpredとするために、前記隣接ブロックと関連付けられた前記参照ピクチャのうち前記判定された最大発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせを選択するように構成された選択ユニット(708)とを備え、
前記判定ユニット(706)は、前記予測値CpredがCに対応するかを判定するように更に構成され、前記装置は、
前記判定の結果を指定する指示を前記ブロックBeの復号器に提供するように構成された提供ユニット(710)を更に備えることを特徴とする装置。
【請求項47】
前記隣接ブロックと関連付けられた参照モードパラメータと1つ以上の参照ピクチャパラメータとの組み合わせに基づいて、各隣接ブロックと関連付けられた前記1つ以上の参照ピクチャを識別するように構成されることを特徴とする請求項46に記載の装置。
【請求項48】
各隣接ブロックが前記隣接ブロックと関連付けられた前記1つ以上の参照ピクチャを識別する1つの構文要素と関連付けられるように更に構成されることを特徴とする請求項46又は47に記載の装置。
【請求項49】
前記隣接ブロックと関連付けられた参照ピクチャ及び/又は参照ピクチャの組み合わせをカウントすることにより前記参照ピクチャ及び/又は参照ピクチャの組み合わせの発生頻度を判定するように更に構成されることを特徴とする請求項46から48のいずれか1項に記載の装置。
【請求項50】
参照ピクチャ又は参照ピクチャの組み合わせの少なくとも1回の発生に対して前記参照ピクチャ又は参照ピクチャの組み合わせの別の発生より大きい重みを割り当てるように更に構成され、前記より大きい重みを有する前記参照ピクチャ又は参照ピクチャの組み合わせはカウントに対してより寄与することを特徴とする請求項49に記載の装置。
【請求項51】
隣接ブロックと関連付けられた参照ピクチャ又は参照ピクチャの組み合わせと前記発生頻度が判定される前記参照ピクチャ又は参照ピクチャの組み合わせとの間の一致、
隣接ブロックと関連付けられた変換係数の数、
隣接ブロックと関連付けられた動きベクトルパーティションの大きさ、
のうちの少なくとも1つに基づいて重みを割り当てるように構成されることを特徴とする請求項50に記載の装置。
【請求項52】
単一の構文要素を使用して、前記予測値CpredがCに対応するかの前記判定の前記結果を示すように構成されることを特徴とする請求項46から51のいずれか1項に記載の装置。
【請求項53】
暗黙的な信号伝送を使用して、前記予測値CpredがCに対応するかどうかの前記判定の前記結果を示すように構成されることを特徴とする請求項46から51のいずれか1項に記載の装置。
【請求項54】
前記予測値CpredがCに対応しないと判定される場合に、Cを識別する更なる情報を前記ブロックBeの復号器に提供するように構成されることを特徴とする請求項46から53のいずれか1項に記載の装置。
【請求項55】
別の参照ピクチャ又は参照ピクチャの組み合わせより高い発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせが、前記別の参照ピクチャ又は参照ピクチャの組み合わせより短い可変長コードワードにマッピングされるように、前記参照ピクチャ又は参照ピクチャの組み合わせの標識を可変長コードワードにマッピングするように更に構成されることを特徴とする請求項46から54のいずれか1項に記載の装置。
【請求項56】
前記予測CpredがCに対応するかを指定する前記指示として前記コードワードのうちの1つを提供するように更に構成されることを特徴とする請求項55に記載の装置。
【請求項57】
別の参照ピクチャ又は参照ピクチャの組み合わせより高い発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせが、前記別の参照ピクチャ又は参照ピクチャの組み合わせより短い可変長コードワードにマッピングされるように、前記参照ピクチャ又は参照ピクチャの組み合わせの標識を可変長コードワードにマッピングするように更に構成され、Cを判定するのに使用する前記情報として前記コードワードのうちの1つを提供するように更に構成されることを特徴とする請求項54に記載の装置。
【請求項58】
マルチ予測と関連付けられたブロックにおいて、前記マルチ予測参照ブロックの対応する各領域が相対的に低い相関を有する1つ以上のサブ領域を識別するように構成された識別ユニットを更に備え、
前記装置は、前記ブロックの前記識別された1つ以上のサブ領域に対して前記マルチ予測の代わりに別の予測を使用するように更に構成されることを特徴とする請求項46から57のいずれか1項に記載の装置。
【請求項59】
前記別の予測は、単一予測であるか又は重み付きマルチ予測であることを特徴とする請求項58に記載の装置。
【請求項60】
前記別の予測は、前記マルチ予測と関連付けられた前記参照ブロックの1つを使用する予測であることを特徴とする請求項58又は59に記載の装置。
【請求項61】
1つ以上の処理ユニットにおいて実行された時に請求項1から15又は請求項31から45のいずれか1項に記載の対応する手順を請求項16から30又は請求項46から60のいずれか1項に記載の装置に実行させるためのコンピュータプログラム(1010)。
【請求項62】
請求項61に記載のコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体(1008)。
【請求項1】
映像復号化エンティティにおける方法であって、
符号化ブロックBeと、各々が1つ以上の参照ピクチャと関連付けられる前記符号化ブロックBeの隣接ブロックの集合とを取得する工程(802)と、
前記隣接ブロックの集合と関連付けられた前記参照ピクチャのうちの複数の参照ピクチャ又は参照ピクチャの組み合わせの発生頻度を判定する工程(804)と、
前記符号化ブロックBeを復号化する時に使用される前記参照ピクチャ又は参照ピクチャの組み合わせCの予測値Cpredとするために、前記隣接ブロックと関連付けられた前記参照ピクチャのうち前記判定された最大発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせを選択する工程(806)と、
前記予測値CpredがCに対応するかどうかを指定する指示を取得する工程(808)と、
前記予測値CpredがCに対応することが示される場合に、
前記予測値Cpredに基づいて前記符号化ブロックBeを復号化して、画素の復号化ブロックBを提供する工程(812)と、
を有することを特徴とする方法。
【請求項2】
各隣接ブロックと関連付けられた前記1つ以上の参照ピクチャは、前記隣接ブロックと関連付けられた参照モードパラメータと1つ以上の参照ピクチャパラメータとの組み合わせにより識別されることを特徴とする請求項1に記載の方法。
【請求項3】
各隣接ブロックは、前記隣接ブロックと関連付けられた前記1つ以上の参照ピクチャを識別する1つの構文要素と関連付けられることを特徴とする請求項1又は2に記載の方法。
【請求項4】
前記参照ピクチャ及び/又は参照ピクチャの組み合わせの発生頻度を判定する工程は、前記隣接ブロックと関連付けられた参照ピクチャ及び/又は参照ピクチャの組み合わせをカウントする工程を含むことを特徴とする請求項1から3のいずれか1項に記載の方法。
【請求項5】
参照ピクチャ又は参照ピクチャの組み合わせの少なくとも1回の発生は、前記参照ピクチャ又は参照ピクチャの組み合わせの別の発生よりも大きい重みを割り当てられ、カウントに対してより寄与することを特徴とする請求項4に記載の方法。
【請求項6】
前記重みの割り当ては、
隣接ブロックと関連付けられた参照ピクチャ又は参照ピクチャの組み合わせと、前記発生頻度が判定される前記参照ピクチャ又は参照ピクチャの組み合わせとの一致、
隣接ブロックと関連付けられた変換係数の数、
隣接ブロックと関連付けられた動きベクトルパーティションの大きさ、
のうちの少なくとも1つに基づくことを特徴とする請求項5に記載の方法。
【請求項7】
前記取得された指示は、受信したビットストリームにおける構文要素であることを特徴とする請求項1から6のいずれか1項に記載の方法。
【請求項8】
前記取得された指示は暗黙的であることを特徴とする請求項1から6のいずれか1項に記載の方法。
【請求項9】
前記予測値CpredがCに対応しないと指示される場合、
−前記符号化ブロックBeを復号化する時に使用する参照ピクチャを判定するために更なる情報を取得する工程(814)を更に有することを特徴とする請求項1から8のいずれか1項に記載の方法。
【請求項10】
前記判定された参照ピクチャ及び/又は参照ピクチャの組み合わせの発生頻度は、別の参照ピクチャより高い発生頻度を有する参照ピクチャが当該別の参照ピクチャよりも短い可変長コードワードにマッピングされるように、前記参照ピクチャ又は参照ピクチャの組み合わせの標識を可変長コードワードにマッピングするために使用されることを特徴とする請求項1から9のいずれか1項に記載の方法。
【請求項11】
前記取得された指示は前記コードワードのうちの1つであることを特徴とする請求項10に記載の方法。
【請求項12】
前記判定された参照ピクチャ及び/又は参照ピクチャの組み合わせの発生頻度は、別の参照ピクチャより高い発生頻度を有する参照ピクチャが前記別の参照ピクチャより短い可変長コードワードにマッピングされるように、前記参照ピクチャ又は参照ピクチャの組み合わせの標識を可変長コードワードにマッピングするために使用され、Cを判定するために使用された前記取得された情報は前記コードワードのうちの1つであることを特徴とする請求項9に記載の方法。
【請求項13】
マルチ予測と関連付けられたブロックにおいて、前記マルチ予測参照ブロックの対応する各領域が相対的に低い相関を有する1つ以上のサブ領域を識別する工程と、
前記ブロックの前記識別された1つ以上のサブ領域に対して前記マルチ予測の代わりに別の予測を使用する工程と、を更に有することを特徴とする請求項1から12のいずれか1項に記載の方法。
【請求項14】
前記別の予測は、単一予測であるか又は重み付きマルチ予測であることを特徴とする請求項13に記載の方法。
【請求項15】
前記別の予測は、前記マルチ予測と関連付けられた前記参照ブロックの1つを使用する予測であることを特徴とする請求項13又は14に記載の方法。
【請求項16】
映像復号化エンティティにおける装置(900)であって、
符号化ブロックBeと、各々が1つ以上の参照ピクチャと関連付けられる前記符号化ブロックBeの隣接ブロックの集合とを取得するように構成された取得ユニット(904)と、
前記隣接ブロックの集合と関連付けられた前記参照ピクチャのうちの複数の参照ピクチャ又は参照ピクチャの組み合わせの発生頻度を判定するように構成された判定ユニット(906)と、
前記符号化ブロックBeを復号化する時に使用される前記参照ピクチャ又は参照ピクチャの組み合わせCの予測値Cpredとするために、前記隣接ブロックと関連付けられた前記参照ピクチャのうち前記判定された最大発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせを選択するように構成された選択ユニット(908)と、
前記予測値CpredがCに対応するかどうかを指定する指示を取得するように更に構成された前記取得ユニット(904)と、
前記予測値CpredがCに対応することが示される場合に、前記予測値Cpredに基づいて前記符号化ブロックBeを復号化して、画素の復号化ブロックBを提供するように構成された復号化ユニット(910)と、を備えることを特徴とする装置(900)。
【請求項17】
前記隣接ブロックと関連付けられた参照モードパラメータと1つ以上の参照ピクチャパラメータとの組み合わせに基づいて各隣接ブロックと関連付けられた前記1つ以上の参照ピクチャを識別するように構成されることを特徴とする請求項16に記載の装置。
【請求項18】
各隣接ブロックが、前記隣接ブロックと関連付けられた前記1つ以上の参照ピクチャを識別する1つの構文要素と関連付けられるように更に構成されることを特徴とする請求項16又は17に記載の装置。
【請求項19】
前記隣接ブロックと関連付けられた参照ピクチャ及び/又は参照ピクチャの組み合わせをカウントすることにより前記参照ピクチャ及び/又は参照ピクチャの組み合わせの発生頻度を判定するように更に構成されることを特徴とする請求項16から18のいずれか1項に記載の装置。
【請求項20】
参照ピクチャ又は参照ピクチャの組み合わせの少なくとも1回の発生に対して前記参照ピクチャ又は参照ピクチャの組み合わせの別の発生よりも大きい重みを割り当てるように更に構成され、前記より大きい重みを有する前記参照ピクチャ又は参照ピクチャの組み合わせは、カウントに対してより寄与することを特徴とする請求項19に記載の装置。
【請求項21】
隣接ブロックと関連付けられた参照ピクチャ又は参照ピクチャの組み合わせと前記発生頻度が判定される前記参照ピクチャ又は参照ピクチャの組み合わせとの間の一致、
隣接ブロックと関連付けられた変換係数の数、
隣接ブロックと関連付けられた動きベクトルパーティションの大きさ、
のうちの少なくとも1つに基づいて重みを割り当てるように構成されることを特徴とする請求項20に記載の装置。
【請求項22】
ビットストリームにおける構文要素を復号化することにより前記指示を取得するように構成されることを特徴とする請求項16から21のいずれか1項に記載の装置。
【請求項23】
暗黙的な情報を解釈することにより前記指示を取得するように構成されることを特徴とする請求項16から21のいずれか1項に記載の装置。
【請求項24】
前記予測値CpredがCに対応しないと指示される場合に前記符号化ブロックBeを復号化する時に使用する参照ピクチャを判定するために更なる情報を取得するように更に構成されることを特徴とする請求項16から23のいずれか1項に記載の装置。
【請求項25】
別の参照ピクチャ又は参照ピクチャの組み合わせより高い発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせが、前記別の参照ピクチャ又は参照ピクチャの組み合わせよりも短い可変長コードワードにマッピングされるように、前記参照ピクチャ又は参照ピクチャの組み合わせの標識を可変長コードワードにマッピングするように更に構成されることを特徴とする請求項16から24のいずれか1項に記載の装置。
【請求項26】
前記予測値CpredがCに対応するかを指定する前記指示として前記コードワードのうちの1つを取得するように更に構成されることを特徴とする請求項25に記載の装置。
【請求項27】
別の参照ピクチャ又は参照ピクチャの組み合わせより高い発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせが前記別の参照ピクチャ又は参照ピクチャの組み合わせより短い可変長コードワードにマッピングされるように、前記参照ピクチャ又は参照ピクチャの組み合わせの標識を可変長コードワードにマッピングするように更に構成され、Cを判定するために使用する前記情報として前記コードワードのうちの1つを取得するように更に構成されることを特徴とする請求項24に記載の装置。
【請求項28】
マルチ予測と関連付けられたブロックにおいて、前記マルチ予測参照ブロックの対応する各領域が相対的に低い相関を有する1つ以上のサブ領域を識別するように構成された識別ユニットを更に備え、 前記装置は、前記ブロックの前記識別された1つ以上のサブ領域に対して前記マルチ予測の代わりに別の予測を使用するように更に構成されることを特徴とする請求項16から27のいずれか1項に記載の装置。
【請求項29】
前記別の予測は、単一予測であるか又は重み付きマルチ予測であることを特徴とする請求項28に記載の装置。
【請求項30】
前記別の予測は、前記マルチ予測と関連付けられた前記参照ブロックの1つを使用する予測であることを特徴とする請求項28又は29に記載の装置。
【請求項31】
映像符号化エンティティにおける方法であって、
各隣接ブロックが前記隣接ブロックを符号化する時に使用された1つ以上の参照ピクチャと関連付けられる符号化隣接ブロックの集合を有する画素のブロックBに対して、
前記隣接ブロックの集合と関連付けられた前記参照ピクチャのうちの複数の参照ピクチャ又は参照ピクチャの組み合わせの発生頻度を判定する工程(602)と、
前記ブロックBを符号化する際に使用される前記参照ピクチャ又は参照ピクチャの組み合わせCの予測値Cpredとするために、前記隣接ブロックと関連付けられた前記参照ピクチャのうち前記判定された最大発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせを選択する工程(604)と、
前記予測値Cpredが前記ブロックBを符号化することにより符号化ブロックBeを提供する時に使用されたCに対応するかどうかを判定する工程(608)と、
前記判定の結果を指定する指示を前記ブロックBeの復号器に提供する工程(610、612)と、を有することを特徴とする方法。
【請求項32】
各隣接ブロックと関連付けられた前記1つ以上の参照ピクチャは、前記隣接ブロックと関連付けられた参照モードパラメータと1つ以上の参照ピクチャパラメータとの組み合わせにより識別されることを特徴とする請求項31に記載の方法。
【請求項33】
各隣接ブロックは、前記隣接ブロックと関連付けられた前記1つ以上の参照ピクチャを識別する1つの構文要素と関連付けられることを特徴とする請求項31又は32に記載の方法。
【請求項34】
前記参照ピクチャ及び/又は参照ピクチャの組み合わせの発生頻度を判定する工程は、前記隣接ブロックと関連付けられた参照ピクチャ及び/又は参照ピクチャの組み合わせをカウントする工程を含むことを特徴とする請求項31から33のいずれか1項に記載の方法。
【請求項35】
参照ピクチャ又は参照ピクチャの組み合わせの少なくとも1回の発生は、前記参照ピクチャ又は参照ピクチャの組み合わせの別の発生より大きい重みを割り当てられ、それによりカウントに対してより寄与することを特徴とする請求項34に記載の方法。
【請求項36】
前記重みの割り当ては、
隣接ブロックと関連付けられた参照ピクチャ又は参照ピクチャの組み合わせと前記発生頻度が判定される前記参照ピクチャ又は参照ピクチャの組み合わせとの間の一致、
隣接ブロックと関連付けられた変換係数の数、
隣接ブロックと関連付けられた動きベクトルパーティションの大きさ、
のうちの少なくとも1つに基づくことを特徴とする請求項35に記載の方法。
【請求項37】
前記予測値CpredがCに対応するかどうかの前記判定の前記結果は、単一の構文要素を使用して前記ブロックBeの復号器に対して示されることを特徴とする請求項31から36のいずれか1項に記載の方法。
【請求項38】
前記予測値CpredがCに対応するかどうかの前記判定の前記結果は、暗黙的な信号伝送を使用して前記ブロックBeの復号器に対して示されることを特徴とする請求項31から36のいずれか1項に記載の方法。
【請求項39】
前記予測値CpredがCに対応しないと判定される場合、
Cを識別する更なる情報を前記ブロックBeの復号器に提供する工程を更に有することを特徴とする請求項31から38のいずれか1項に記載の方法。
【請求項40】
前記判定された参照ピクチャ及び/又は参照ピクチャの組み合わせの発生頻度は、別の参照ピクチャより高い発生頻度を有する参照ピクチャが、前記別の参照ピクチャより短い可変長コードワードにマッピングされるように、前記参照ピクチャ又は参照ピクチャの組み合わせの標識を可変長コードワードにマッピングするために使用されることを特徴とする請求項31から39のいずれか1項に記載の方法。
【請求項41】
Beの符号器に対する前記指示は、前記コードワードのうちの1つの形式で提供されることを特徴とする請求項40に記載の方法。
【請求項42】
前記判定された参照ピクチャ及び/又は参照ピクチャの組み合わせの発生頻度は、別の参照ピクチャより高い発生頻度を有する参照ピクチャが前記別の参照ピクチャより短い可変長コードワードにマッピングされるように、前記参照ピクチャ又は参照ピクチャの組み合わせの標識を可変長コードワードにマッピングするために使用され、前記ブロックBeの復号器に対するCを識別する前記更なる情報は、前記コードワードのうちの1つの形式で提供されることを特徴とする請求項39に記載の方法。
【請求項43】
マルチ予測と関連付けられたブロックにおいて、前記マルチ予測参照ブロックの対応する各領域が相対的に低い相関を有する1つ以上のサブ領域を識別する工程と、
前記ブロックの前記識別された1つ以上のサブ領域に対して前記マルチ予測の代わりに別の予測を使用する工程と、を更に有することを特徴とする請求項31から42のいずれか1項に記載の方法。
【請求項44】
前記別の予測は、単一予測であるか又は重み付きマルチ予測であることを特徴とする請求項43に記載の方法。
【請求項45】
前記別の予測は、前記マルチ予測と関連付けられた前記参照ブロックの1つを使用する予測であることを特徴とする請求項43又は44に記載の方法。
【請求項46】
映像符号化エンティティにおける装置であって、
各隣接ブロックが前記隣接ブロックを符号化する時に使用された1つ以上の参照ピクチャと関連付けられる符号化隣接ブロックの集合を有するブロックBに対して、前記隣接ブロックの集合と関連付けられた前記参照ピクチャのうちの複数の参照ピクチャ又は参照ピクチャの組み合わせの発生頻度を判定するように構成された判定ユニット(706)と、
前記ブロックBを符号化することにより符号化ブロックBeを提供する際に使用される前記参照ピクチャ又は参照ピクチャの組み合わせCの予測値Cpredとするために、前記隣接ブロックと関連付けられた前記参照ピクチャのうち前記判定された最大発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせを選択するように構成された選択ユニット(708)とを備え、
前記判定ユニット(706)は、前記予測値CpredがCに対応するかを判定するように更に構成され、前記装置は、
前記判定の結果を指定する指示を前記ブロックBeの復号器に提供するように構成された提供ユニット(710)を更に備えることを特徴とする装置。
【請求項47】
前記隣接ブロックと関連付けられた参照モードパラメータと1つ以上の参照ピクチャパラメータとの組み合わせに基づいて、各隣接ブロックと関連付けられた前記1つ以上の参照ピクチャを識別するように構成されることを特徴とする請求項46に記載の装置。
【請求項48】
各隣接ブロックが前記隣接ブロックと関連付けられた前記1つ以上の参照ピクチャを識別する1つの構文要素と関連付けられるように更に構成されることを特徴とする請求項46又は47に記載の装置。
【請求項49】
前記隣接ブロックと関連付けられた参照ピクチャ及び/又は参照ピクチャの組み合わせをカウントすることにより前記参照ピクチャ及び/又は参照ピクチャの組み合わせの発生頻度を判定するように更に構成されることを特徴とする請求項46から48のいずれか1項に記載の装置。
【請求項50】
参照ピクチャ又は参照ピクチャの組み合わせの少なくとも1回の発生に対して前記参照ピクチャ又は参照ピクチャの組み合わせの別の発生より大きい重みを割り当てるように更に構成され、前記より大きい重みを有する前記参照ピクチャ又は参照ピクチャの組み合わせはカウントに対してより寄与することを特徴とする請求項49に記載の装置。
【請求項51】
隣接ブロックと関連付けられた参照ピクチャ又は参照ピクチャの組み合わせと前記発生頻度が判定される前記参照ピクチャ又は参照ピクチャの組み合わせとの間の一致、
隣接ブロックと関連付けられた変換係数の数、
隣接ブロックと関連付けられた動きベクトルパーティションの大きさ、
のうちの少なくとも1つに基づいて重みを割り当てるように構成されることを特徴とする請求項50に記載の装置。
【請求項52】
単一の構文要素を使用して、前記予測値CpredがCに対応するかの前記判定の前記結果を示すように構成されることを特徴とする請求項46から51のいずれか1項に記載の装置。
【請求項53】
暗黙的な信号伝送を使用して、前記予測値CpredがCに対応するかどうかの前記判定の前記結果を示すように構成されることを特徴とする請求項46から51のいずれか1項に記載の装置。
【請求項54】
前記予測値CpredがCに対応しないと判定される場合に、Cを識別する更なる情報を前記ブロックBeの復号器に提供するように構成されることを特徴とする請求項46から53のいずれか1項に記載の装置。
【請求項55】
別の参照ピクチャ又は参照ピクチャの組み合わせより高い発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせが、前記別の参照ピクチャ又は参照ピクチャの組み合わせより短い可変長コードワードにマッピングされるように、前記参照ピクチャ又は参照ピクチャの組み合わせの標識を可変長コードワードにマッピングするように更に構成されることを特徴とする請求項46から54のいずれか1項に記載の装置。
【請求項56】
前記予測CpredがCに対応するかを指定する前記指示として前記コードワードのうちの1つを提供するように更に構成されることを特徴とする請求項55に記載の装置。
【請求項57】
別の参照ピクチャ又は参照ピクチャの組み合わせより高い発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせが、前記別の参照ピクチャ又は参照ピクチャの組み合わせより短い可変長コードワードにマッピングされるように、前記参照ピクチャ又は参照ピクチャの組み合わせの標識を可変長コードワードにマッピングするように更に構成され、Cを判定するのに使用する前記情報として前記コードワードのうちの1つを提供するように更に構成されることを特徴とする請求項54に記載の装置。
【請求項58】
マルチ予測と関連付けられたブロックにおいて、前記マルチ予測参照ブロックの対応する各領域が相対的に低い相関を有する1つ以上のサブ領域を識別するように構成された識別ユニットを更に備え、
前記装置は、前記ブロックの前記識別された1つ以上のサブ領域に対して前記マルチ予測の代わりに別の予測を使用するように更に構成されることを特徴とする請求項46から57のいずれか1項に記載の装置。
【請求項59】
前記別の予測は、単一予測であるか又は重み付きマルチ予測であることを特徴とする請求項58に記載の装置。
【請求項60】
前記別の予測は、前記マルチ予測と関連付けられた前記参照ブロックの1つを使用する予測であることを特徴とする請求項58又は59に記載の装置。
【請求項61】
1つ以上の処理ユニットにおいて実行された時に請求項1から15又は請求項31から45のいずれか1項に記載の対応する手順を請求項16から30又は請求項46から60のいずれか1項に記載の装置に実行させるためのコンピュータプログラム(1010)。
【請求項62】
請求項61に記載のコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体(1008)。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公表番号】特表2013−514719(P2013−514719A)
【公表日】平成25年4月25日(2013.4.25)
【国際特許分類】
【出願番号】特願2012−544440(P2012−544440)
【出願日】平成22年12月17日(2010.12.17)
【国際出願番号】PCT/SE2010/051413
【国際公開番号】WO2011/075072
【国際公開日】平成23年6月23日(2011.6.23)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.GSM
2.WCDMA
【出願人】(598036300)テレフオンアクチーボラゲット エル エム エリクソン(パブル) (2,266)
【Fターム(参考)】
【公表日】平成25年4月25日(2013.4.25)
【国際特許分類】
【出願日】平成22年12月17日(2010.12.17)
【国際出願番号】PCT/SE2010/051413
【国際公開番号】WO2011/075072
【国際公開日】平成23年6月23日(2011.6.23)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.GSM
2.WCDMA
【出願人】(598036300)テレフオンアクチーボラゲット エル エム エリクソン(パブル) (2,266)
【Fターム(参考)】
[ Back to top ]