ハイブリッド・イントラ・インター符号化ブロックを符号化する方法及び装置
ハイブリッド・イントラ・インターの両方向予測（又は多方向予測）の符号化モードによって、現行のマクロブロック又はサブブロック（図５中の３１０）をハイブリッド符号化するうえでフレーム内（イントラ）（図５中の３０１）予測とフレーム間（インター）（図５中の３０２）とを一諸に組み合わせることが可能になる。両方向予測は、２つの別々のイントラ予測方向を用いる２つのイントラ予測を組み合わせて、Ｉピクチャにも用い得る。ビデオ符号器（７００）は、市場で入手可能な従来のビデオカメラによって生成された２次元ビデオ画像を表すデータを処理する。ビデオ符号器は、現行マクロブロックを符号化するうえで、イントラ符号化モードと、Ｐフレーム・インター符号化モードと、Ｂフレーム両方向インター・モードと、ハイブリッド・イントラ・インター両方向予測符号化モードとのうちから選択するよう形成される。ビデオ復号器（８００）は、ハイブリッド・イントラ・インター両方向予測符号化モードによって符号化されるブロック／マクロブロックを含み得るデータストリームを受信し、復号化する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的に、ディジタル・ビデオ・コデックに関し、特に、マクロブロックのイントラ符号化とインター符号化とのハイブリッド利用に関する。
【背景技術】
【０００２】
ビデオ符号器は、画像系列の１つ又は複数のフレームをディジタル情報に符号化するのに用いることができる。このディジタル情報は更に、受信器に送信し得るものであり、画像又は画像系列は更に、再構成（復号化）することができる。伝送チャネル自体は、何れかの数の、考えられる伝送チャネルを含み得る。例えば、伝送チャネルは、無線で放送する無線チャネルや他の手段、同軸のケーブル・テレビのケーブル、ＧＳＭ携帯電話のＴＤＭＡチャネル、固定回線電話リンクやインターネットであり得る。こうした伝送手段のリストは、例証的なものに過ぎず、全て包含することを意味するものでは何らない。
【０００３】
種々の国際標準が、ビデオの符号化及び伝送について合意されている。一般的には、標準は、画像のフレームに関するデータを圧縮し、符号化するうえでの規則を備える。こうした規則は、画像データを圧縮し、符号化して、画像について元々備えられるビューイングカメラよりも少ないデータを伝送する方法を備える。こうしたデータ容量の削減によって、更に、伝送に必要とするチャネル帯域が少なくて済む。受信器は、送信器が圧縮及び符号化を行うのに用いた規則が分かっている場合に送信データから画像を再構成（すなわち復号化）することができる。Ｈ．２６４標準は、先行フレームからのマクロブロックの動き補償予測を用いることによって画像の一部の冗長な伝送を最小にする。
【０００４】
ＭＰＥＧ−２やＪＶＴ／Ｈ．２６４／ＭＰＥＧパート１０／ＡＶＣなどのビデオ圧縮のアーキテクチャ及び標準は、各マクロブロックを符号化するうえでフレーム内（「イントラ」）符号化手法とフレーム間（「インター」）符号化手法との何れかのみを用いてマクロブロックを符号化する。フレーム間動き推定／補償の場合、符号化する対象のビデオ・フレームは、重なり合わない矩形の画素ブロックに分割され、更に一般的には、重なり合わない正方形の画素ブロックに分割される。こうしたマクロブロック毎に、最善のマッチのマクロブロックが、所定のマッチ誤差基準による所定のサーチ・ウインドウにおいて参照フレームからサーチされる。更に、マッチするマクロブロックを用いて現行マクロブロックを予測し、予測誤差マクロブロックは更に処理され、復号器に送信される。元のマクロブロックに対する参照マクロブロックの水平方向及び垂直方向における相対的なシフトは、グルーピングされ、元のマクロブロックの動きベクトル（ＭＶ）として表され、これは復号器にも送信される。動き推定の主な目的は、参照マクロブロックと現行マクロブロックとの差分を得ることによって得られる差分マクロブロックが符号化における最低数のビットを生成するようにマクロブロックを予測するというものである。
【０００５】
イントラ符号化の場合、ピクチャ内のマクロブロック（ＭＢ）又はサブマクロブロックは空間予測手法を用いて予測される。インター符号化の場合、時間予測手法（すなわち、動き推定／補償手法）が用いられる。一般的には、インター予測（符号化）手法は通常、
イントラ符号化手法よりも効率が高い。既存のアーキテクチャ／標準では、復号器に送信するよう、符号化することができるイントラＭＢ又はインターＭＢのタイプを規定又は制限する特定のピクチャ・タイプ又はスライス・タイプが定義される。イントラ（Ｉ）のピクチャ又はスライスでは、イントラＭＢタイプのもののみを符号化することができるが、予測（Ｐ）ピクチャ又はスライス、及び両方向予測（Ｂ）ピクチャ又はスライスに対しては、イントラＭＢタイプのものもインターＭＢタイプのものも符号化し得る。
【０００６】
Ｉピクチャ又はＩスライスは、イントラ符号化マクロブロックのみを含み、時間予測は用いない。現行マクロブロックの画素値はまず、その近傍の画素の値から空間的に予測される。残差情報は更に、ＮｘＮ変換（例えば、４ｘ４ＤＣＴ変換又は８ｘ８ＤＣＴ変換）を用いて変換され、更に量子化される。
【０００７】
Ｂピクチャ又はＢスライスによって、両方向予測の（すなわち、一般化すれば、複数の予測の）インター符号化マクロブロック・タイプの概念が導入され、マクロブロック（ＭＢ）又はサブブロックは、２つ（又は３つ以上）のフレーム間予測によって予測される。両方向予測によって、Ｂピクチャは通常、Ｉピクチャ及びＰピクチャよりも符号化における効率が高くなりがちである。
【０００８】
Ｐピクチャ又はＢピクチャは、種々のスライス・タイプを含み得るものであり、種々の手法によって符号化されたマクロブロックを含み得る。スライスは、Ｉ（イントラ）タイプ、Ｐ（予測）タイプ、Ｂ（両方向予測）タイプ、ＳＰ（スイッチングＰ）タイプ又はＳＩ（スイッチングＩ）タイプのものであり得る。
【０００９】
イントラ予測手法及びインター予測手法は、ＭＰＥＧ−２やＨ．２６４などのビデオ符号化のアーキテクチャ及び標準内で別個に用いられている。イントラ符号化マクロブロックの場合、同じフレーム内又はピクチャ内に利用可能なものとして存在する空間サンプルを用いて現行マクロブロックを予測する一方、インター予測では、他のピクチャ内又は他のフレーム内の時間サンプルを代わりに用いる。Ｈ．２６４標準では、マクロブロック内の４ｘ４ブロック毎に予測処理を行う４ｘ４イントラ・モードと、単一の工程でマクロブロック全体について予測を行う１６ｘ１６イントラ・モードとの２つの別々のイントラ符号化モードが存在する。
【００１０】
ビデオ系列の各フレームは、ルミナンス（Ｙ）情報と、（色空間によって、場合によっては空間的にサブサンプリングされる）関連したクロミナンス（Ｕ，Ｖ）情報とを備えるいわゆる「マクロブロック」に分割される。マクロブロックは、元の画像における１６ｘ１６の画像画素領域を４つの８ｘ８のルミナンス（ルマ）情報ブロックとして表すことによって形成され、各ルミナンス・ブロックは、８ｘ８のルミナンス（Ｙ）値アレイと、相当する、８ｘ８のクロミナンス（Ｕ，Ｙ）値アレイをもたらすよう水平方向及び垂直方向において２倍でサブサンプリングされる、２つの空間的に相当するクロミナンス成分（Ｕ及びＶ）とを備える。
【００１１】
１６ｘ１６の空間（イントラ）予測モードでは、１６ｘ１６マクロブロック全体のルマ値が、ＭＢのエッジ付近の画素から予測される。１６ｘ１６イントラ予測モードでは、１６ｘ１６のルマ・ブロックの、すぐ上にあるもの及び／又は左にあるものである３３の近傍サンプルを、現行マクロブロックの予測に用い、４つのモード（０垂直、１水平、２ＤＣ、３平面予測）のみを用いる。
【００１２】
図１は、関連技術のＨ．２６４標準における４ｘ４イントラ・モードのフレーム内（イントラ）予測を示す。図１における画素「ａ」乃至「ｐ」を含む、イントラ符号化する対象の４ｘ４ルマ・ブロックのサンプルは、近傍ブロックからの、図１における近くの画素「Ａ」乃至「Ｍ」を用いて予測される。復号器では、同じピクチャ／フレームの先行マクロブロックからのサンプル「Ａ」乃至「Ｍ」は通常、既に復号化されており、更に、現行マクロブロック１１０の予測に用いることができる。
【００１３】
図２は、図１の４ｘ４ルマ・ブロック１１０について、０、１、３、４、５、６、７及び８とラベリングされた９つのイントラ予測モードを示す。モード２は、「ＤＣ予測」である。他のモード（１、３、４、５、６、７及び８）は、図２において矢印で示す予測の方向を表す。
【００１４】
Ｈ．２６４標準において定義されているイントラ・マクロブロックのタイプは以下の通りである。
【００１５】
【表１】
図３は、２つのピクチャ（３０１及び３０２）のブロックのうちの最善のマッチ（ＢＭ）間の動きベクトル（すなわち、ＭＶ、Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を推定することによって、空間予測の代わりに時間予測を用いてＰフレーム又はＰスライスにおいてインター符号化される対象の現行マクロブロック３１０を表す。インター符号化では、現行フレーム３０１における現行ブロック３１０は、先行フレーム３０２における変位マッチング・ブロック（ＢＭ）から予測される。各インター符号化ブロック（例えば、３１０）は、ブロック３１０における画素全てを予測することができる参照インデックスｒｅｆ＿ｉｄｘに関連付けられる参照ピクチャ（３０２）内の相当する位置を復号器に備える動きパラメータ群（動きベクトル及び参照インデックスｒｅｆ＿ｉｄｘ）に関連付けられる。元のブロック（３１０）とその予測（ＢＭ）との差分が圧縮され、変位動きベクトル（ＭＶ）とともに送信される。動きは、１６ｘ１６マクロブロック又は、そのサブマクロブロック分割である１６ｘ８と８ｘ１６と８ｘ８と８ｘ４と４ｘ８と４ｘ４との何れかについて無関係に推定することができる。８ｘ８マクロブロック分割は、サブマクロブロック（又はサブブロック）として知られている。以降、「ブロック」の語は、概括的に、１６ｘ１６マクロブロック全体及び／又はサブマクロブロック分割などの何れかの寸法の矩形の近傍画素群を表す。サブマクロブロック分割毎に１つの動きベクトル（ＭＶ）のみが許容される。動きは、マクロブロックのｒｅｆ＿ｉｄｘを用いて、選択されるフレームとマクロブロックを関連付けることによって過去又は将来における別々のフレームからマクロブロック毎に推定することができる。
【００１６】
Ｐスライスは、イントラ符号化マクロブロックも含み得る。Ｐスライス内のイントラ符号化マクロブロックは、Ｉスライスにおけるイントラ符号化マクロブロックと同様に圧縮される。インター符号化ブロックは、動き推定及び動き補償のストラテジを用いて予測される。
【００１７】
フレーム全体のマクロブロック全てがイントラ・モードを用いて符号化され、伝送される場合、「ＩＮＴＲＡフレーム」（Ｉフレーム又はＩピクチャ）の伝送として表す。ＩＮＴＲＡフレームはよって、全て、イントラ・マクロブロックから成る。通常、ＩＮＴＲＡフレームは、受信マクロブロックを受信器が未だ何ら保持していない、画像伝送の開始時に伝送しなければならない。マクロブロックの一部又は全部を符号化することによってフレームが符号化され、伝送される場合、フレームは、「ＩＮＴＥＲフレーム」として表す。通常、ＩＮＴＥＲフレームは、ＩＮＴＲＡフレームよりも、伝送するうえで備えるデータが少ない。しかし、符号器は、特定のマクロブロックが、最も効率的なものが何れであるかによって、イントラ符号化マクロブロック又はインター符号化マクロブロックとして伝送される。
【００１８】
Ｐスライスにおいてインター符号化する対象の１６ｘ１６マクロブロックは全て、１６ｘ８分割と、８ｘ１６分割と、８ｘ８分割に分割し得る。サブマクロブロック自体は、８ｘ４サブマクロブロック分割、４ｘ８サブマクロブロック分割又は４ｘ４サブマクロブロック分割に分割し得る。Ｈ．２６４におけるマクロブロック分割又はサブマクロブロック分割は各々、一意の動きベクトルに割り当てられる。インター符号化されるマクロブロック及びマクロブロック分割は、一意の予測モード及び参照インデックスを有する。現行のＨ．２６４標準では、インター予測及びイントラ予測が同じマクロブロックの別々の分割において選択し、一緒に混ぜることは可能でない。西暦２００２年２月に採用された、Ｈ．２６４／ＡＶＣにおいて企図されたものでは、ウィーガンド他によって当初採用された分割手法は、マクロブロック（８ｘ８ルマ及び４ｘ４クロマ）単位でイントラとインターとの間の切り替えのサポートを含んでいた。この機能は、復号化の計算量を削減するために後に除外された。
【００１９】
Ｐピクチャ及びＰスライスでは、以下の更なるブロック・タイプが定義されている。
【００２０】
【表２】
図４は、Ｂピクチャ又はＢスライスにおけるマクロブロックのインター符号化を行ううえでの２つの（時間的）予測の組み合わせを示す。
【００２１】
図４に示すように、マクロブロック４１０をＢピクチャ内又はＢスライス内でインター符号化する場合、現行のマクロブロックについて１つの「最善のマッチ」（ＢＭ）予測子（予測）のみを用いる代わりに、２つの（時間的）予測（ＢＭＬ０及びＢＭＬ１）を、現行マクロブロック４１０に用い、それらを併せて平均をとって最終予測を形成することができる。Ｂピクチャ又はＢスライスでは、サブマクロブロック分割毎に、動きの２つの推定を表す、２つの動きベクトル（ＭＶＬ０及びＭＶＬ１）まで、時間予測に許容される。それらは、後続又は先行する何れかの参照ピクチャ（Ｌｉｓｔ０参照及びＬｉｓｔ１参照）からのものであり得る。（Ｌｉｓｔ０及びＬｉｓｔ１の）参照ピクチャ内の最善マッチ・ブロック（ＢＭＬ０及びＢＭＬ１）における画素値の平均が予測子として用いられる。この標準は、それらの平均をとる代わりに、最善マッチ・ブロック（ＢＭＬ０及びＢＭＬ１）各々の画素値の不均一な重み付けを行うことも可能にする。これは、重み付け予測モードと呼ばれ、フェージングなどの特殊ビデオ作用が存在する状態において有用である。Ｂスライスは、特殊モードである直接モードを有する。ＭｏｔｉｏｎＣｏｐｙスキップ・モードにおいて用いる空間手法と、直接モードは、動きパラメータの推定についてのみ制限され、マクロブロック（画素）の推定については制限されるものでなく、空間的近傍サンプルは何ら用いられない。直接モードでは、マクロブロックの動きベクトルは、明示的に送られるものでない。
【００２２】
以下のマクロブロック・タイプは、Ｂピクチャ及びＢスライスにおける利用について定義される。
【００２３】
【表３】
上記表に示すように、Ｂスライスでは、２つの時間予測は、同じブロック・タイプを用いるよう常に制限される。
【００２４】
デブロッキング・フィルタ及び重複ブロック動き補償（ＯＢＭＣ）は、ある程度の空間相関を用いる。これらの手法によれば、再構成画素には、予測と、関連した残差の加算との後に、そのモード（イントラ又はインター）、位置（ＭＢ／ブロック・エッジ、内部画素等）、動き情報、関連残差及び、周囲の画素の差分によって空間的に処理／フィルタリングが行われる。この処理はかなり、ブロッキング・アーチファクトを削減し、品質を向上させる一方、（特に復号器内で）計算量をかなり増大させ得るものでもある。この処理は、常に最善の結果をもたらす訳でないことがあり得るものでもあり、それ自体が、エッジ上に更なるぼかしを挿入することもあり得る。
【発明の開示】
【発明が解決しようとする課題】
【００２５】
既存のビデオ圧縮標準（例えば、ＭＰＥＧ−２及びＨ．２６４）では、現行のマクロブロック又はサブブロックを符号化するうえで（インターのみの両方向予測における２つのインターフレーム予測の組み合わせのように）フレーム内（イントラ）予測とフレーム間（インター）予測を一緒に組み合わせることが可能でない。
【課題を解決するための手段】
【００２６】
本発明の原理によれば、特定のマクロブロック、サブブロック又は分割の符号化及び復号化におけるイントラ予測とインター予測とを組み合わせるようにしている。イントラ予測及びインター予測の組み合わせは、利得及び／又は符号化効率を可能にするもの及び／又はビデオ・データ誤差伝播を更に削減し得るものである。
【００２７】
本発明の実施例は、現行ブロックの第１の予測を現行ブロックの第２の予測と組み合わせることによってハイブリッド・イントラ・インター符号化ブロックを復号化するようにしており、現行ブロックの第１の予測は、イントラ予測であり、現行ブロックの第２の予測は、インター予測である。
【００２８】
以下の記載を通して、マクロブロックのルミナンス（ルマ）成分は、４つの８ｘ８ブロック・アレイとして配置される１６ｘ１６画素を備え、関連したクロミナンス成分に、水平方向及び垂直方向で２倍の空間的サブサンプリングを施して８ｘ８ブロックを形成することとする。他のブロック・サイズ及び他のサブサンプリング手法に対する、以下の記載の拡張は、当業者に明らかになるものである。本発明は、１６ｘ１６マクロブロック構造によって限定されない一方、何れかのセグメント化ベースのビデオ符号化システムに用いることができる。
【発明を実施するための最良の形態】
【００２９】
本発明の上記特徴は、添付図面を参照しながらその例示的な実施例を詳細に説明することによって一層明らかになる。
【実施例】
【００３０】
図５は、同じ４ｘ４ブロックがインター予測及びイントラ予測を用いて予測される、インター・イントラ・ハイブリッド両方向予測の例を表す。図５は、関連技術とは違って、
空間予測（「Ａ」乃至「Ｍ」、３０１）と時間予測（ＭＶ、３０２）とを組み合わせて、現行マクロブロック又は現行サブブロック１１０を両方向予測符号化することができる、関連技術のイントラのみ（図１及び図２）の予測モード及びインターのみ（図３及び図４）の予測モードとは区別される、本明細書及び特許請求の範囲ではイントラ・インター・ハイブリッド符号化モードと呼ぶ新たな両方向予測モード・タイプを示す。この新たな両方向予測（又は多方向予測）モードは、１つ又は複数のイントラ予測を含み得る２つ（又は３つ以上）の予測を、特定のブロック又はマクロブロックの最終予測を行うのに用いる（組み合わせる）というものである。両方向予測は、イントラとイントラとを組み合わせた予測によってＩピクチャにおいても用い得る。これらの２つのイントラ予測は、２つの別々のイントラ予測方向を用い得る。
【００３１】
本願に開示するハイブリッド両方向予測符号化モードによって、現行のマクロブロック、サブマクロブロック又は分割を符号化するうえでフレーム内（イントラ）予測とフレーム間（インター）予測とを一緒に組み合わせる（例えば、平均をとるか、重み付けを行う）ことが可能になる。本発明の原理によれば、関連技術の、予測を組み合わせる手法（両方向予測又は多方向予測）は、特定のマクロブロック、サブブロック又は分割を符号化するうえでイントラ予測とインター予測とを組み合わせるようにすることによって拡張される。イントラ予測とインター予測とを組み合わせは、利得及び符号化効率を向上させることを可能にするもの及び／又はビデオ・データ誤差伝播を削減し得るものである。
【００３２】
本発明の実施例は、ビデオ符号器内及びビデオ復号器内で一体化させることができるいくつかの新たなマクロブロック・モード／タイプを備える。新たなマクロブロック・モードは、ＭＰＥＧ−２やＨ．２６４などのいくつかの符号化アーキテクチャ及び符号化標準において既に用いられている両方向予測（多方向予測）マクロブロック・モードと、マクロブロック又はサブブロック毎に２つ以上の予測を用いるという点で類似している一方、従来のインターのみの（時間的）両方向予測に対して、フレーム内（空間的）予測、も用いることができる（しか用いることができない）という点で異なる。例えば、２つの別々のイントラ予測の組み合わせ又はインター予測とイントラ予測との組み合わせ利用が特定のマクロブロックについてより良好な予測を与える一方、本願に開示する両方向予測符号化方法を行っている間に近傍空間サンプルを考慮し得るものとすれば、ブロッキング・アーチファクトを削減するうえで有益であり得るものでもあるということが考えられる。同じマクロブロック又はサブブロックを符号化するうえでイントラ予測及びインター予測を組み合わせるという本願に開示する方法は、更に高い性能につながり得るが、それは、ａ）単一の予測のみを用いる場合に維持されない重要な特徴的情報を何れかの予測が含み得ることと、ｂ）何れかのピクチャが、平均をとるか重み付けを行うことによって削減することができる種々の符号化アーチファクトを含み得ることと、ｃ）平均をとることが、雑音除去手法等として機能することが理由である。
【００３３】
更に、本願に開示する両方向予測マクロブロック符号化モード（又は多方向予測マクロブロック符号化モード）は、同じ分割タイプを用いるよう制約されないインター予測モードをサポートし、表１乃至表３に定義されるイントラ・タイプと単一リスト・インター・タイプとの考えられる組み合わせ全てを用いることを可能にする。本願に開示する両方向マクロブロック符号化モード（又は多方向マクロブロック符号化モード）は、同じ符号化対象マクロブロックの別々の分割に基づいて行う対象のインター予測及びイントラ予測をサポートする。例えば、マクロブロック毎に２つまでの（両方向）予測のみが、ハイブリッド・イントラ・インター符号化マクロブロックについて可能である場合、第１の予測はｉｎｔｒａ４ｘ４（表１におけるｍｂ＿ｔｙｐｅ０）である一方、第２の予測は、１６ｘ８ｌｉｓｔ１ブロック予測（表３におけるｍｂ＿ｔｙｐｅ６）であり得る。
【００３４】
シンタックス及びサブモードのタイプ
各マクロブロックをハイブリッド符号化するうえで用いる予測タイプは、（Ｈ．２６４におけるＢスライスに用いる形式のような）組み合わせ形式においてか、別個に（すなわち、ツリー構造を用いて）ビットストリーム内で通知される。任意的には、予測の数（例えば、１、２、又は３以上）もビットストリーム内で通知し得る。関連技術において用いる組み合わせ通知手法は、考えられる、予測タイプの組み合わせ全て又は、最も可能性が高い、予測タイプの組み合わせを列挙することを必要とすることになり、最高の圧縮利得をもたらす訳でないことがあり得る。圧縮利得は、各予測モードを別個に通知して、別個のツリー構造アーキテクチャを用いることによって最適化することができる。この方法によって、シンタックスを単純な状態に維持する一方で、表１乃至表３に定義されるイントラ・タイプと単一リスト・インター・タイプとの考えられる組み合わせ全てを用いることが可能になる。例えば、マクロブロック毎に２つの（両方向）予測までのみハイブリッド符号化マクロブロックについて可能な場合、第１の予測がｉｎｔｒａ４ｘ４（表１におけるｍｂ＿ｔｙｐｅ０）である一方、第２の予測は１６ｘ８ｌｉｓｔ１ブロック予測（表３におけるｍｂ＿ｔｙｐｅ６）であり得る。これらの更なるサブモードについて、イントラ方向及び／又は関連した参照インデックス及び動きベクトルなどのそれらの関連パラメータも送信する必要がある。この手法によって、両方の／全ての、予測が、イントラであるが、別々の方向を有するか、別々のリストの予測であるか、別々のブロック分割を用いるものなどの種々の組み合わせが可能になる。
【００３５】
Ｈ．２６４標準に備えるサブモードに対する調節及び拡張を行うことも好ましいものであり得るが、それは、（ａ）一部の組み合わせが同一であることと、（ｂ）マクロブロックに単一の予測を用いることが一部の場合には望ましいことがあり得ることが理由である。例えば、ケース（ａ）の場合、同一の予測モードを禁止し、サブモード・タイプを自動的に調節し得る一方。ケース（ｂ）の場合、予測をしないことを示唆する新たなヌル・ブロック予測タイプを定義する以下の更なるモードを導入することができる。
【００３６】
【表４】
同じサブ分割（例えば、Ｂ＿Ｎｕｌｌ＿Ｌ０＿８ｘ１６やＢ＿Ｎｕｌｌ＿Ｌ１＿８ｘ１６）について２つのヌル予測ブロック・タイプを組み合わせることは禁止されており、このことは、この場合も又、関連技術のｍｂ＿ｔｙｐｅの表を適合させることによって更なる効果を備えることになるということを示唆する。同様な拡張を８ｘ８サブブロック／分割について行い得る。表３に定義される両方向予測モードは全て、本願に開示するハイブリッド・モードによってサポートすることができるので、冗長であるものとして除外し得る。
【００３７】
ハイブリッド・イントラ・インター両方向予測による直接モードの拡張
Ｈ．２６４において用いる空間的直接モードを、本発明のハイブリッド・イントラ・インター両方向予測モード実施例によって拡張することができる。現在、直接モード・ブロックの動きベクトルは、３つの近傍ブロックの動きベクトルのメジアンに基づいて判定される。
【００３８】
少なくとも１つの近傍の両方向予測モードがハイブリッド（インター・イントラ）である場合、現行の予測モード（直接モード）のブロックもハイブリッド（インター・イントラ）であり得る。この予測方法は、近傍ブロックによって利用される予測リストの利用可能性によって制限され得る。例えば、両方のリストが空間的近傍において利用可能である場合、直接モード・ブロックの動きベクトルが、近傍の１つがハイブリッド予測を利用するかにかかわらず、もう一度メジアン予測を用いて算出される。一方、近傍の１つがハイブリッド予測を利用する一方で、１つのリスト（例えば、ｌｉｓｔ＿１）のみが利用可能である場合、直接モード・ブロックも、同様に、同じ、利用可能なリストを利用する一方で、ハイブリッド予測によって予測される。更に、２つ以上の近傍ブロックがハイブリッド予測を利用する場合、予測に用いる対象のイントラ・モードに関する規則を規定することができる。例えば、Ｉｎｔｒａ１６ｘ１６は、この場合、その、予測の容易性によってＩｎｔｒａ４ｘ４に取って代わるものである。Ｉｎｔｒａ４ｘ４も直接モード・ブロック内で禁止し得るが、用いられる場合には、全ての４ｘ４ブロック方向を、利用可能である場合に外部マクロブロック予測を当初用いて予測し得る。外部Ｉｎｔｒａ４ｘ４マクロブロックが何ら利用可能でない場合、近接ブロックから利用可能な最低イントラｍｂ＿ｔｙｐｅが用いられる。一般的に、２つ以上の空間的近傍ブロックの、予測モードがイントラである場合、最低次イントラ予測が好ましくは用いられる一方、両方のリストが利用可能である場合、イントラは好ましくは用いられない。予測に必要なサンプルが利用可能でない場合にもイントラは用いられない。
【００３９】
ループ内デブロッキング・フィルタ
Ｈ．２６４／ＡＶＣ標準によるビデオ符号器は、ループ内デブロッキング・フィルタを利用して、主に、ブロック及びマクロブロックＭＢのエッジでの近傍画素間の相関を高め、復号化ピクチャに挿入されるブロック歪み（ブロッキング・アーチファクト）を削減し得る。フィルタリングされた復号化ピクチャを用いて、他のピクチャの動きを予測する。デブロッキング・フィルタは、マクロブロックの圧縮モード（イントラ又はインター）、量子化パラメータ、動きベクトル、フレーム又はフィールドの符号化判定、及び画素値によってその強度を調節する適応型フィルタである。量子化サイズが小さい場合、フィルタは自ら遮断する。このフィルタは、スライス・レベルで符号器によって明示的に遮断し得るものでもある。デブロッキング・フィルタについて種々の強度及び方法を、近傍ブロック符号化タイプ、動き及び伝送残差によって用いられる。本発明の実施例の特徴を利用することによって、ハイブリッド・イントラ・インター・マクロブロック・タイプは常に、その符号化中に近傍画素を考慮するイントラ予測子を含むので、デブロッキング・フィルタの強度を適宜修正し得る。例えば、ブロックがハイブリッド符号化され、その予測モードが、一方がイントラであり、更なる係数を有する２つ（又は３つ以上）の予測を用いる場合、相当するエッジのフィルタ強度を（例えば、１だけ）削減することができる。
【００４０】
図６は、本発明の実施例による、ビデオ符号器６０４及びビデオ復号器６０５を示す構成略図を示す。符号器６０４は、ビデオ源６０２、例えばカメラから、画像系列についてのデータを受信する。本明細書及び特許請求の範囲に開示する方法によってカメラからのデータを圧縮し、符号化した後、符号器６０４は、情報を送信システム６０６に転送する。送信器６０６は、チャネル媒体６１１を介して、ハイブリッド符号化マクロブロックを含むビットストリームを送信する。送信チャネル媒体６１１は、無線、ケーブルや何れかの他の伝送手法又はルーティング手法によるものであり得る。符号器６０４又は復号器６０５の回路は、例えば、移動無線機すなわち携帯用双方向無線機、又は携帯電話機の一部を形成し得る。
【００４１】
チャネル媒体６１１の復号化側にある動画像復号化装置（復号器６０５）は、ビットストリームをビットストリーム・バッファ６３１において受信し、（ビットストリーム解析器プロセッサ６３３によって）ビットストリームを解析し、イントラ符号化フレームＡからの符号化画像データを復号化し、フレームＡの復号化画像データをフレーム・メモリ６３５に記憶する。インター符号化差分データを受信すると、復号化装置（復号器６０５）は、フレームＡの復号化データから動き補償予測画像を生成する。フレームＡの受信データにおいて誤差が何らない場合、フレームＡの復号化画像は、符号化装置（符号器６０４）側にあるフレームＡの局所復号化画像とマッチするので、この復号化データから生成される動き補償予測画像は、符号化装置（符号器６０４）側にある動き補償予測画像にマッチする。符号化装置（符号器６０４）は、元の画像と動き補償予測画像との間の差分画像を送出するため、復号化装置は、動き補償予測画像を受信差分画像に加えることによってフレームＢの復号化画像を生成することができる。復号化装置によって受信されるフレームＡのデータが誤差を含む場合、フレームＡの正確に復号化された画像は、生成することができない。よって、動き補償予測画像の誤差含有部分から生成される画像は全て、エラー・データになる。こうしたエラー・データは、リフレッシュ処理がイントラ符号化によって行われるまで残る。
【００４２】
復号器６０５が、ハイブリッド符号化両方向予測データを受信すると、イントラ符号化情報を含むハイブリッド符号化ブロック・データを、復号器で利用して、画像データ・エラーの伝播を妨げるか、阻止する。画像内又は画像系列内のオブジェクトの特定の部分すなわち領域は、他の領域よりも重要であるか、エラーを受けやすいものとしてユーザ又は符号化装置によって識別可能であり得る。よって、符号化装置（符号器６０４）を、フレーム系列において、より重要な領域又はオブジェクトにおけるマクロブロックを、当該領域における画像データ・エラー伝播が妨げられるか削減されるように、選択的にハイブリッド符号化するよう形成し得る。
【００４３】
図７は、参照数字７００によって概括的に示す、本発明の実施例による例示的な符号器を表す。符号器７００は、合計ブロック７１４の正の入力と信号通信するよう結合されるビデオ入力端子７１２を含む。合計ブロック７１４は、同様に、整数変換を実施して係数を備える機能ブロック７１６に結合される。機能ブロック７１６は、エントロピ符号化を実施して出力ビットストリームを備えるエントロピ符号化ブロック７１８に結合される。機能ブロック７１６は更に、スケーリング及び逆変換のブロック７２２でループ内部分７２０に結合される。機能ブロック７２２は合計ブロック７２４に結合され、合計ブロック７２４は同様に、フレーム内予測ブロック７２７に結合される。フレーム内予測ブロック７２６は、組み合わせ装置７２７の第１の入力であり、その出力は、合計ブロック７２４の第２の入力と、合計ブロック７１４の反転入力とに結合される。
【００４４】
合計ブロック７２４の出力は、デブロッキング・フィルタ７４０に結合される。デブロッキング・フィルタ７４０は、フレーム記憶装置７２８に結合される。フレーム記憶装置７２８は、動き補償（フレーム間予測）ブロック７３０に結合され、このブロックは組み合わせ装置７２７の第２の出力に結合される。
【００４５】
組み合わせ装置７２７は、フレーム内予測ブロック７２６からの第１の（イントラ）予測を、動き補償（フレーム間予測）ブロック７３０からの第２の（インター）予測と組み合わせて、結果として生じる、組み合わせた（ハイブリッド・イントラ・インター）予測を合計ブロック７２４の第２の入力と合計ブロック７１４の反転入力とに出力する。本発明の一部の実施例では、組み合わせ装置７２７を、動作するように１つ又は複数の利得ブロック（図９Ａ参照。）に結合される（例えば、合計ブロック７２４又は７１４と同様な）合計ブロックとして実施して、入力されるイントラ予測及びインター予測の「平均」又は、イントラ予測及びインター予測の、違ったふうに重み付けされる組み合わせを生成し得る。本発明の他の実施例では、組み合わせ装置７２７は、フレーム内予測ブロック７２６からの第１のイントラ予測を、フレーム内予測ブロック７２６からの第２の（例えば、後続の）イントラ予測と組み合わせるよう形成され、フレーム内予測ブロック７２６からの第１の（イントラ）予測と動き補償（フレーム間予測）ブロック７３０からの第２の（インター）予測とを組み合わせるよう更に形成されるシーケンシャル加算器として実施し得る。
【００４６】
ビデオ入力端子７１２は、動きベクトルを備えるよう更に、動き推定ブロック７１９に結合される。デブロッキング・フィルタ７４０は、動き推定（フレーム間予測）ブロック７１９の第２の入力に結合される。動き推定ブロック７１９の出力は、動き補償（フレーム間予測）ブロック７３０と、エントロピ符号化ブロック７１８の第２の入力にも結合される。
【００４７】
ビデオ入力端子７１２は、符号器制御ブロック７６０に更に結合される。符号器制御ブロック７６０は、制御信号を備えて符号器７００の動作を制御するよう、ブロック７１６、７１８、７１９、７２２、７２６、７３０及び７４０の各々の制御入力に結合される。
【００４８】
図８は、参照数字８００によって概括的に示す、本発明の実施例による例示的な復号器を表す。復号器８００は、入力ビットストリームを受信するエントロピ復号化ブロック８１０を含む。復号化ブロック８１０は、スケーリング及び逆変換のブロック８２２でループ内部分８２０に係数を備えるよう結合される。逆変換ブロック８２２は合計ブロック８２４に結合され、合計ブロック８２４は同様にフレーム内予測ブロック８２６に結合される。フレーム内予測ブロック８２６は、組み合わせ装置８２７の第１の入力に結合され、その出力は合計ブロック８２４の第２の入力に結合される。
【００４９】
合計ブロック８２４の出力は、出力画像を備えるようデブロッキング・フィルタ８４０に結合される。デブロッキング・フィルタ８４０は、フレーム記憶装置８２８に結合される。フレーム記憶装置８２８は動き補償（フレーム間予測）ブロック８３０に結合され、このブロックは組み合わせ装置８２７の第２の入力に結合される。復号化ブロック８１０は、動き補償（フレーム間予測）ブロック８３０の第２の入力に、動きベクトルを備えるよう更に結合される。
【００５０】
復号器組み合わせ装置８２７は、フレーム内予測ブロック８２６からの第１の（イントラ）予測を動き補償（フレーム間予測）ブロック８３０から第２の（インター）予測と組み合わせて、結果として生じる、組み合わせた（ハイブリッド・イントラ・インター）予測を合計ブロック８２４の第２の入力に出力するという点で、図７の符号器における組み合わせ装置７２７に機能的に類似している。本発明の一部の実施例では、組み合わせ装置８２７は、１つ又は複数の利得ブロック（図９Ａ参照。）に、動作するよう結合して、入力されるイントラ予測及びインター予測の「平均」又は、イントラ予測及びインター予測の、違ったふうに重み付けされる組み合わせを生成する（例えば、合計ブロック８２４に類似した）合計ブロックとして実施し得る。本発明の他の実施例では、組み合わせ装置８２７は、フレーム内予測ブロック８２６からの第１のイントラ予測をフレーム内予測ブロック８２６からの第２の（例えば、後続する）イントラ予測と組み合わせるよう形成され、フレーム内予測ブロック８２６からの第１の（イントラ）予測を動き補償（フレーム間予測）ブロック８３０からの第２の（インター）予測と組み合わせるよう更に形成されるシーケンシャル加算器回路として実施し得る。
【００５１】
エントロピ復号化ブロック８１０は、復号器制御ブロック８６２に入力を備えるよう更に結合される。復号器制御ブロック８６２は、制御信号を通信し、復号器８００の動作を制御するよう、ブロック８２２、８２６、８３０及び８４０の各々の入力を制御するよう結合される。
【００５２】
図９Ａ及び図９Ｂは、第１の予測と第２の予測とを加算して組み合わせる、例えば、イントラ予測とインター予測とを加算して組み合わせる回路を備える、図７の符号器又は図８の復号器における組み合わせ装置（例えば、７２７又は８２７）の例示的な実施例を各々が示す構成略図である。図９Ａは、結合されるフレーム内予測ブロック（例えば、７２６又は８２６）からの第１のイントラ予測をフレーム内予測ブロック（例えば、７２６又は８２６）からの第２の（例えば、後続する）イントラ予測と組み合わせるよう形成され、フレーム内予測ブロック（例えば、７２６又は８２６）からの第１の（イントラ）予測を動き補償（フレーム間予測）ブロック（例えば、７３０又は８３０）からの第２の（インター）予測と組み合わせるよう更に形成される（シグマ信号によって表す）加算器回路Ａ２７を含む（例えば、組み合わせ装置７２７及び８２７を実施する）例示的な組み合わせ装置ｘ２７−ａを表す。ディジタル利得ブロックＧ１、Ｇ２及びＧ３は、複数の（例えば、２つの）予測の重み付け（又は単純平均）を組み合わせるようにしている。本発明の別の実施例では、３つ未満（例えば、１つ又は２つ）のディジタル利得ブロックを備えて２つの予測を、例えば、図９Ｂに表すように組み合わせ得るということを当業者は認識するものである。
【００５３】
図９Ｂは、フレーム内予測ブロック（例えば、７２６又は８２６）からの第１のイントラ予測とフレーム内予測ブロック（例えば、７２６又は８２６）からの第２の（例えば、後続する）イントラ予測との平均をとるよう形成され、フレーム内予測ブロック（例えば、７２６又は８２６）からの第１の（イントラ）予測と動き補償（フレーム間予測）ブロック（例えば、７３０又は８３０）からの第２の（インター）予測との平均をとるよう更に形成される（シグマ信号によって表す）加算器回路Ａ２７を含む例示的な組み合わせ装置ｘ２７−ｂ（例えば、７２７及び８２７）を表す。１／２の利得値で固定されるディジタル利得ブロックＧ３は、（シグマ信号によって表す）加算器回路Ａ２７からの２つの予測出力の、和を除算する（和の平均をとる）ようにしている。
【００５４】
本発明の種々の局面は、汎用コンピュータや何れかの他の適切な計算機環境において実行し得るソフトウェアで実施することができる。本発明は、パソコン、汎用コンピュータ、サーバ・コンピュータ、ハンドヘルド機器、ラップトップ機器、マルチプロセッサ、マイクロプロセッサ、セットトップボックス、プログラム可能な消費者向電子機器、ネットワークＰＣ、ミニコンピュータ、メインフレーム・コンピュータ、分散処理計算機環境等のいくつかの汎用計算機環境や特殊用途向計算機環境において、コンピュータ判読可能媒体上に記憶されている、本発明のフレーム・ツー・フレーム・ディジタルビデオ符号化を行う旨のコンピュータ実行可能命令を実行するよう動作可能である。本発明は、コンピュータによって実行されるプログラム・モジュールなどのコンピュータ実行可能命令として部分的又は全体的に実施し得る。一般的に、プログラム・モジュールは、特定のタスクを行うか特定の抽象データ・タイプを実施するようルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含む。分散計算機環境では、プログラム・モジュールは、局所記憶装置内又は遠隔記憶装置内にあり得る。
【００５５】
本発明の例示的な実施例は、前述しており、添付図面に示す。しかし、本発明は、上記例示的な実施例に限定されず、変形及び修正を、本発明の技術思想内及び範囲内で当業者によって行うことができる。したがって、例示的な実施例は、限定としてではなく、例として解されることとする。本発明の範囲は、上記説明によって定められるものでなく、本特許請求の範囲によって定められ、変形及び修正を、本発明の実施例に対して、本特許請求の範囲及びその均等物によって範囲が定められる、本発明の範囲から逸脱することなく行い得る。
【図面の簡単な説明】
【００５６】
【図１】Ｈ．２６４標準による、イントラ符号化される対象の４ｘ４画素ルマ・ブロック付近のサンプルを示す図である。
【図２】Ｈ．２６４標準による、図１の４ｘ４ブロックの予測符号化の９つの方向を示す図である。
【図３】Ｈ．２６４標準による、動きベクトルを推定することによってインター符号化されるマクロブロックを表す図である。
【図４】Ｈ．２６４標準による、２つのインター符号化を組み合わせることによる、マクロブロックの両方向予測を表す図である。
【図５】本発明の原理による、インター予測及びイントラ予測を組み合わせた４ｘ４ブロックのイントラ・インター・ハイブリッド両方向予測を表す図である。
【図６】本発明の原理によるビデオ符号器及びビデオ復号器を示す構成図である。
【図７】本発明の原理によるビデオ符号器を示す構成図である。
【図８】本発明の原理によるビデオ復号器を示す構成図である。
【図９Ａ】図７の符号器又は図８の復号器における、イントラ予測とインター予測とを組み合わせる回路を示す構成図である。
【図９Ｂ】図７の符号器又は図８の復号器における、イントラ予測とインター予測とを組み合わせる回路を示す別の構成図である。
【技術分野】
【０００１】
本発明は、一般的に、ディジタル・ビデオ・コデックに関し、特に、マクロブロックのイントラ符号化とインター符号化とのハイブリッド利用に関する。
【背景技術】
【０００２】
ビデオ符号器は、画像系列の１つ又は複数のフレームをディジタル情報に符号化するのに用いることができる。このディジタル情報は更に、受信器に送信し得るものであり、画像又は画像系列は更に、再構成（復号化）することができる。伝送チャネル自体は、何れかの数の、考えられる伝送チャネルを含み得る。例えば、伝送チャネルは、無線で放送する無線チャネルや他の手段、同軸のケーブル・テレビのケーブル、ＧＳＭ携帯電話のＴＤＭＡチャネル、固定回線電話リンクやインターネットであり得る。こうした伝送手段のリストは、例証的なものに過ぎず、全て包含することを意味するものでは何らない。
【０００３】
種々の国際標準が、ビデオの符号化及び伝送について合意されている。一般的には、標準は、画像のフレームに関するデータを圧縮し、符号化するうえでの規則を備える。こうした規則は、画像データを圧縮し、符号化して、画像について元々備えられるビューイングカメラよりも少ないデータを伝送する方法を備える。こうしたデータ容量の削減によって、更に、伝送に必要とするチャネル帯域が少なくて済む。受信器は、送信器が圧縮及び符号化を行うのに用いた規則が分かっている場合に送信データから画像を再構成（すなわち復号化）することができる。Ｈ．２６４標準は、先行フレームからのマクロブロックの動き補償予測を用いることによって画像の一部の冗長な伝送を最小にする。
【０００４】
ＭＰＥＧ−２やＪＶＴ／Ｈ．２６４／ＭＰＥＧパート１０／ＡＶＣなどのビデオ圧縮のアーキテクチャ及び標準は、各マクロブロックを符号化するうえでフレーム内（「イントラ」）符号化手法とフレーム間（「インター」）符号化手法との何れかのみを用いてマクロブロックを符号化する。フレーム間動き推定／補償の場合、符号化する対象のビデオ・フレームは、重なり合わない矩形の画素ブロックに分割され、更に一般的には、重なり合わない正方形の画素ブロックに分割される。こうしたマクロブロック毎に、最善のマッチのマクロブロックが、所定のマッチ誤差基準による所定のサーチ・ウインドウにおいて参照フレームからサーチされる。更に、マッチするマクロブロックを用いて現行マクロブロックを予測し、予測誤差マクロブロックは更に処理され、復号器に送信される。元のマクロブロックに対する参照マクロブロックの水平方向及び垂直方向における相対的なシフトは、グルーピングされ、元のマクロブロックの動きベクトル（ＭＶ）として表され、これは復号器にも送信される。動き推定の主な目的は、参照マクロブロックと現行マクロブロックとの差分を得ることによって得られる差分マクロブロックが符号化における最低数のビットを生成するようにマクロブロックを予測するというものである。
【０００５】
イントラ符号化の場合、ピクチャ内のマクロブロック（ＭＢ）又はサブマクロブロックは空間予測手法を用いて予測される。インター符号化の場合、時間予測手法（すなわち、動き推定／補償手法）が用いられる。一般的には、インター予測（符号化）手法は通常、
イントラ符号化手法よりも効率が高い。既存のアーキテクチャ／標準では、復号器に送信するよう、符号化することができるイントラＭＢ又はインターＭＢのタイプを規定又は制限する特定のピクチャ・タイプ又はスライス・タイプが定義される。イントラ（Ｉ）のピクチャ又はスライスでは、イントラＭＢタイプのもののみを符号化することができるが、予測（Ｐ）ピクチャ又はスライス、及び両方向予測（Ｂ）ピクチャ又はスライスに対しては、イントラＭＢタイプのものもインターＭＢタイプのものも符号化し得る。
【０００６】
Ｉピクチャ又はＩスライスは、イントラ符号化マクロブロックのみを含み、時間予測は用いない。現行マクロブロックの画素値はまず、その近傍の画素の値から空間的に予測される。残差情報は更に、ＮｘＮ変換（例えば、４ｘ４ＤＣＴ変換又は８ｘ８ＤＣＴ変換）を用いて変換され、更に量子化される。
【０００７】
Ｂピクチャ又はＢスライスによって、両方向予測の（すなわち、一般化すれば、複数の予測の）インター符号化マクロブロック・タイプの概念が導入され、マクロブロック（ＭＢ）又はサブブロックは、２つ（又は３つ以上）のフレーム間予測によって予測される。両方向予測によって、Ｂピクチャは通常、Ｉピクチャ及びＰピクチャよりも符号化における効率が高くなりがちである。
【０００８】
Ｐピクチャ又はＢピクチャは、種々のスライス・タイプを含み得るものであり、種々の手法によって符号化されたマクロブロックを含み得る。スライスは、Ｉ（イントラ）タイプ、Ｐ（予測）タイプ、Ｂ（両方向予測）タイプ、ＳＰ（スイッチングＰ）タイプ又はＳＩ（スイッチングＩ）タイプのものであり得る。
【０００９】
イントラ予測手法及びインター予測手法は、ＭＰＥＧ−２やＨ．２６４などのビデオ符号化のアーキテクチャ及び標準内で別個に用いられている。イントラ符号化マクロブロックの場合、同じフレーム内又はピクチャ内に利用可能なものとして存在する空間サンプルを用いて現行マクロブロックを予測する一方、インター予測では、他のピクチャ内又は他のフレーム内の時間サンプルを代わりに用いる。Ｈ．２６４標準では、マクロブロック内の４ｘ４ブロック毎に予測処理を行う４ｘ４イントラ・モードと、単一の工程でマクロブロック全体について予測を行う１６ｘ１６イントラ・モードとの２つの別々のイントラ符号化モードが存在する。
【００１０】
ビデオ系列の各フレームは、ルミナンス（Ｙ）情報と、（色空間によって、場合によっては空間的にサブサンプリングされる）関連したクロミナンス（Ｕ，Ｖ）情報とを備えるいわゆる「マクロブロック」に分割される。マクロブロックは、元の画像における１６ｘ１６の画像画素領域を４つの８ｘ８のルミナンス（ルマ）情報ブロックとして表すことによって形成され、各ルミナンス・ブロックは、８ｘ８のルミナンス（Ｙ）値アレイと、相当する、８ｘ８のクロミナンス（Ｕ，Ｙ）値アレイをもたらすよう水平方向及び垂直方向において２倍でサブサンプリングされる、２つの空間的に相当するクロミナンス成分（Ｕ及びＶ）とを備える。
【００１１】
１６ｘ１６の空間（イントラ）予測モードでは、１６ｘ１６マクロブロック全体のルマ値が、ＭＢのエッジ付近の画素から予測される。１６ｘ１６イントラ予測モードでは、１６ｘ１６のルマ・ブロックの、すぐ上にあるもの及び／又は左にあるものである３３の近傍サンプルを、現行マクロブロックの予測に用い、４つのモード（０垂直、１水平、２ＤＣ、３平面予測）のみを用いる。
【００１２】
図１は、関連技術のＨ．２６４標準における４ｘ４イントラ・モードのフレーム内（イントラ）予測を示す。図１における画素「ａ」乃至「ｐ」を含む、イントラ符号化する対象の４ｘ４ルマ・ブロックのサンプルは、近傍ブロックからの、図１における近くの画素「Ａ」乃至「Ｍ」を用いて予測される。復号器では、同じピクチャ／フレームの先行マクロブロックからのサンプル「Ａ」乃至「Ｍ」は通常、既に復号化されており、更に、現行マクロブロック１１０の予測に用いることができる。
【００１３】
図２は、図１の４ｘ４ルマ・ブロック１１０について、０、１、３、４、５、６、７及び８とラベリングされた９つのイントラ予測モードを示す。モード２は、「ＤＣ予測」である。他のモード（１、３、４、５、６、７及び８）は、図２において矢印で示す予測の方向を表す。
【００１４】
Ｈ．２６４標準において定義されているイントラ・マクロブロックのタイプは以下の通りである。
【００１５】
【表１】
図３は、２つのピクチャ（３０１及び３０２）のブロックのうちの最善のマッチ（ＢＭ）間の動きベクトル（すなわち、ＭＶ、Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を推定することによって、空間予測の代わりに時間予測を用いてＰフレーム又はＰスライスにおいてインター符号化される対象の現行マクロブロック３１０を表す。インター符号化では、現行フレーム３０１における現行ブロック３１０は、先行フレーム３０２における変位マッチング・ブロック（ＢＭ）から予測される。各インター符号化ブロック（例えば、３１０）は、ブロック３１０における画素全てを予測することができる参照インデックスｒｅｆ＿ｉｄｘに関連付けられる参照ピクチャ（３０２）内の相当する位置を復号器に備える動きパラメータ群（動きベクトル及び参照インデックスｒｅｆ＿ｉｄｘ）に関連付けられる。元のブロック（３１０）とその予測（ＢＭ）との差分が圧縮され、変位動きベクトル（ＭＶ）とともに送信される。動きは、１６ｘ１６マクロブロック又は、そのサブマクロブロック分割である１６ｘ８と８ｘ１６と８ｘ８と８ｘ４と４ｘ８と４ｘ４との何れかについて無関係に推定することができる。８ｘ８マクロブロック分割は、サブマクロブロック（又はサブブロック）として知られている。以降、「ブロック」の語は、概括的に、１６ｘ１６マクロブロック全体及び／又はサブマクロブロック分割などの何れかの寸法の矩形の近傍画素群を表す。サブマクロブロック分割毎に１つの動きベクトル（ＭＶ）のみが許容される。動きは、マクロブロックのｒｅｆ＿ｉｄｘを用いて、選択されるフレームとマクロブロックを関連付けることによって過去又は将来における別々のフレームからマクロブロック毎に推定することができる。
【００１６】
Ｐスライスは、イントラ符号化マクロブロックも含み得る。Ｐスライス内のイントラ符号化マクロブロックは、Ｉスライスにおけるイントラ符号化マクロブロックと同様に圧縮される。インター符号化ブロックは、動き推定及び動き補償のストラテジを用いて予測される。
【００１７】
フレーム全体のマクロブロック全てがイントラ・モードを用いて符号化され、伝送される場合、「ＩＮＴＲＡフレーム」（Ｉフレーム又はＩピクチャ）の伝送として表す。ＩＮＴＲＡフレームはよって、全て、イントラ・マクロブロックから成る。通常、ＩＮＴＲＡフレームは、受信マクロブロックを受信器が未だ何ら保持していない、画像伝送の開始時に伝送しなければならない。マクロブロックの一部又は全部を符号化することによってフレームが符号化され、伝送される場合、フレームは、「ＩＮＴＥＲフレーム」として表す。通常、ＩＮＴＥＲフレームは、ＩＮＴＲＡフレームよりも、伝送するうえで備えるデータが少ない。しかし、符号器は、特定のマクロブロックが、最も効率的なものが何れであるかによって、イントラ符号化マクロブロック又はインター符号化マクロブロックとして伝送される。
【００１８】
Ｐスライスにおいてインター符号化する対象の１６ｘ１６マクロブロックは全て、１６ｘ８分割と、８ｘ１６分割と、８ｘ８分割に分割し得る。サブマクロブロック自体は、８ｘ４サブマクロブロック分割、４ｘ８サブマクロブロック分割又は４ｘ４サブマクロブロック分割に分割し得る。Ｈ．２６４におけるマクロブロック分割又はサブマクロブロック分割は各々、一意の動きベクトルに割り当てられる。インター符号化されるマクロブロック及びマクロブロック分割は、一意の予測モード及び参照インデックスを有する。現行のＨ．２６４標準では、インター予測及びイントラ予測が同じマクロブロックの別々の分割において選択し、一緒に混ぜることは可能でない。西暦２００２年２月に採用された、Ｈ．２６４／ＡＶＣにおいて企図されたものでは、ウィーガンド他によって当初採用された分割手法は、マクロブロック（８ｘ８ルマ及び４ｘ４クロマ）単位でイントラとインターとの間の切り替えのサポートを含んでいた。この機能は、復号化の計算量を削減するために後に除外された。
【００１９】
Ｐピクチャ及びＰスライスでは、以下の更なるブロック・タイプが定義されている。
【００２０】
【表２】
図４は、Ｂピクチャ又はＢスライスにおけるマクロブロックのインター符号化を行ううえでの２つの（時間的）予測の組み合わせを示す。
【００２１】
図４に示すように、マクロブロック４１０をＢピクチャ内又はＢスライス内でインター符号化する場合、現行のマクロブロックについて１つの「最善のマッチ」（ＢＭ）予測子（予測）のみを用いる代わりに、２つの（時間的）予測（ＢＭＬ０及びＢＭＬ１）を、現行マクロブロック４１０に用い、それらを併せて平均をとって最終予測を形成することができる。Ｂピクチャ又はＢスライスでは、サブマクロブロック分割毎に、動きの２つの推定を表す、２つの動きベクトル（ＭＶＬ０及びＭＶＬ１）まで、時間予測に許容される。それらは、後続又は先行する何れかの参照ピクチャ（Ｌｉｓｔ０参照及びＬｉｓｔ１参照）からのものであり得る。（Ｌｉｓｔ０及びＬｉｓｔ１の）参照ピクチャ内の最善マッチ・ブロック（ＢＭＬ０及びＢＭＬ１）における画素値の平均が予測子として用いられる。この標準は、それらの平均をとる代わりに、最善マッチ・ブロック（ＢＭＬ０及びＢＭＬ１）各々の画素値の不均一な重み付けを行うことも可能にする。これは、重み付け予測モードと呼ばれ、フェージングなどの特殊ビデオ作用が存在する状態において有用である。Ｂスライスは、特殊モードである直接モードを有する。ＭｏｔｉｏｎＣｏｐｙスキップ・モードにおいて用いる空間手法と、直接モードは、動きパラメータの推定についてのみ制限され、マクロブロック（画素）の推定については制限されるものでなく、空間的近傍サンプルは何ら用いられない。直接モードでは、マクロブロックの動きベクトルは、明示的に送られるものでない。
【００２２】
以下のマクロブロック・タイプは、Ｂピクチャ及びＢスライスにおける利用について定義される。
【００２３】
【表３】
上記表に示すように、Ｂスライスでは、２つの時間予測は、同じブロック・タイプを用いるよう常に制限される。
【００２４】
デブロッキング・フィルタ及び重複ブロック動き補償（ＯＢＭＣ）は、ある程度の空間相関を用いる。これらの手法によれば、再構成画素には、予測と、関連した残差の加算との後に、そのモード（イントラ又はインター）、位置（ＭＢ／ブロック・エッジ、内部画素等）、動き情報、関連残差及び、周囲の画素の差分によって空間的に処理／フィルタリングが行われる。この処理はかなり、ブロッキング・アーチファクトを削減し、品質を向上させる一方、（特に復号器内で）計算量をかなり増大させ得るものでもある。この処理は、常に最善の結果をもたらす訳でないことがあり得るものでもあり、それ自体が、エッジ上に更なるぼかしを挿入することもあり得る。
【発明の開示】
【発明が解決しようとする課題】
【００２５】
既存のビデオ圧縮標準（例えば、ＭＰＥＧ−２及びＨ．２６４）では、現行のマクロブロック又はサブブロックを符号化するうえで（インターのみの両方向予測における２つのインターフレーム予測の組み合わせのように）フレーム内（イントラ）予測とフレーム間（インター）予測を一緒に組み合わせることが可能でない。
【課題を解決するための手段】
【００２６】
本発明の原理によれば、特定のマクロブロック、サブブロック又は分割の符号化及び復号化におけるイントラ予測とインター予測とを組み合わせるようにしている。イントラ予測及びインター予測の組み合わせは、利得及び／又は符号化効率を可能にするもの及び／又はビデオ・データ誤差伝播を更に削減し得るものである。
【００２７】
本発明の実施例は、現行ブロックの第１の予測を現行ブロックの第２の予測と組み合わせることによってハイブリッド・イントラ・インター符号化ブロックを復号化するようにしており、現行ブロックの第１の予測は、イントラ予測であり、現行ブロックの第２の予測は、インター予測である。
【００２８】
以下の記載を通して、マクロブロックのルミナンス（ルマ）成分は、４つの８ｘ８ブロック・アレイとして配置される１６ｘ１６画素を備え、関連したクロミナンス成分に、水平方向及び垂直方向で２倍の空間的サブサンプリングを施して８ｘ８ブロックを形成することとする。他のブロック・サイズ及び他のサブサンプリング手法に対する、以下の記載の拡張は、当業者に明らかになるものである。本発明は、１６ｘ１６マクロブロック構造によって限定されない一方、何れかのセグメント化ベースのビデオ符号化システムに用いることができる。
【発明を実施するための最良の形態】
【００２９】
本発明の上記特徴は、添付図面を参照しながらその例示的な実施例を詳細に説明することによって一層明らかになる。
【実施例】
【００３０】
図５は、同じ４ｘ４ブロックがインター予測及びイントラ予測を用いて予測される、インター・イントラ・ハイブリッド両方向予測の例を表す。図５は、関連技術とは違って、
空間予測（「Ａ」乃至「Ｍ」、３０１）と時間予測（ＭＶ、３０２）とを組み合わせて、現行マクロブロック又は現行サブブロック１１０を両方向予測符号化することができる、関連技術のイントラのみ（図１及び図２）の予測モード及びインターのみ（図３及び図４）の予測モードとは区別される、本明細書及び特許請求の範囲ではイントラ・インター・ハイブリッド符号化モードと呼ぶ新たな両方向予測モード・タイプを示す。この新たな両方向予測（又は多方向予測）モードは、１つ又は複数のイントラ予測を含み得る２つ（又は３つ以上）の予測を、特定のブロック又はマクロブロックの最終予測を行うのに用いる（組み合わせる）というものである。両方向予測は、イントラとイントラとを組み合わせた予測によってＩピクチャにおいても用い得る。これらの２つのイントラ予測は、２つの別々のイントラ予測方向を用い得る。
【００３１】
本願に開示するハイブリッド両方向予測符号化モードによって、現行のマクロブロック、サブマクロブロック又は分割を符号化するうえでフレーム内（イントラ）予測とフレーム間（インター）予測とを一緒に組み合わせる（例えば、平均をとるか、重み付けを行う）ことが可能になる。本発明の原理によれば、関連技術の、予測を組み合わせる手法（両方向予測又は多方向予測）は、特定のマクロブロック、サブブロック又は分割を符号化するうえでイントラ予測とインター予測とを組み合わせるようにすることによって拡張される。イントラ予測とインター予測とを組み合わせは、利得及び符号化効率を向上させることを可能にするもの及び／又はビデオ・データ誤差伝播を削減し得るものである。
【００３２】
本発明の実施例は、ビデオ符号器内及びビデオ復号器内で一体化させることができるいくつかの新たなマクロブロック・モード／タイプを備える。新たなマクロブロック・モードは、ＭＰＥＧ−２やＨ．２６４などのいくつかの符号化アーキテクチャ及び符号化標準において既に用いられている両方向予測（多方向予測）マクロブロック・モードと、マクロブロック又はサブブロック毎に２つ以上の予測を用いるという点で類似している一方、従来のインターのみの（時間的）両方向予測に対して、フレーム内（空間的）予測、も用いることができる（しか用いることができない）という点で異なる。例えば、２つの別々のイントラ予測の組み合わせ又はインター予測とイントラ予測との組み合わせ利用が特定のマクロブロックについてより良好な予測を与える一方、本願に開示する両方向予測符号化方法を行っている間に近傍空間サンプルを考慮し得るものとすれば、ブロッキング・アーチファクトを削減するうえで有益であり得るものでもあるということが考えられる。同じマクロブロック又はサブブロックを符号化するうえでイントラ予測及びインター予測を組み合わせるという本願に開示する方法は、更に高い性能につながり得るが、それは、ａ）単一の予測のみを用いる場合に維持されない重要な特徴的情報を何れかの予測が含み得ることと、ｂ）何れかのピクチャが、平均をとるか重み付けを行うことによって削減することができる種々の符号化アーチファクトを含み得ることと、ｃ）平均をとることが、雑音除去手法等として機能することが理由である。
【００３３】
更に、本願に開示する両方向予測マクロブロック符号化モード（又は多方向予測マクロブロック符号化モード）は、同じ分割タイプを用いるよう制約されないインター予測モードをサポートし、表１乃至表３に定義されるイントラ・タイプと単一リスト・インター・タイプとの考えられる組み合わせ全てを用いることを可能にする。本願に開示する両方向マクロブロック符号化モード（又は多方向マクロブロック符号化モード）は、同じ符号化対象マクロブロックの別々の分割に基づいて行う対象のインター予測及びイントラ予測をサポートする。例えば、マクロブロック毎に２つまでの（両方向）予測のみが、ハイブリッド・イントラ・インター符号化マクロブロックについて可能である場合、第１の予測はｉｎｔｒａ４ｘ４（表１におけるｍｂ＿ｔｙｐｅ０）である一方、第２の予測は、１６ｘ８ｌｉｓｔ１ブロック予測（表３におけるｍｂ＿ｔｙｐｅ６）であり得る。
【００３４】
シンタックス及びサブモードのタイプ
各マクロブロックをハイブリッド符号化するうえで用いる予測タイプは、（Ｈ．２６４におけるＢスライスに用いる形式のような）組み合わせ形式においてか、別個に（すなわち、ツリー構造を用いて）ビットストリーム内で通知される。任意的には、予測の数（例えば、１、２、又は３以上）もビットストリーム内で通知し得る。関連技術において用いる組み合わせ通知手法は、考えられる、予測タイプの組み合わせ全て又は、最も可能性が高い、予測タイプの組み合わせを列挙することを必要とすることになり、最高の圧縮利得をもたらす訳でないことがあり得る。圧縮利得は、各予測モードを別個に通知して、別個のツリー構造アーキテクチャを用いることによって最適化することができる。この方法によって、シンタックスを単純な状態に維持する一方で、表１乃至表３に定義されるイントラ・タイプと単一リスト・インター・タイプとの考えられる組み合わせ全てを用いることが可能になる。例えば、マクロブロック毎に２つの（両方向）予測までのみハイブリッド符号化マクロブロックについて可能な場合、第１の予測がｉｎｔｒａ４ｘ４（表１におけるｍｂ＿ｔｙｐｅ０）である一方、第２の予測は１６ｘ８ｌｉｓｔ１ブロック予測（表３におけるｍｂ＿ｔｙｐｅ６）であり得る。これらの更なるサブモードについて、イントラ方向及び／又は関連した参照インデックス及び動きベクトルなどのそれらの関連パラメータも送信する必要がある。この手法によって、両方の／全ての、予測が、イントラであるが、別々の方向を有するか、別々のリストの予測であるか、別々のブロック分割を用いるものなどの種々の組み合わせが可能になる。
【００３５】
Ｈ．２６４標準に備えるサブモードに対する調節及び拡張を行うことも好ましいものであり得るが、それは、（ａ）一部の組み合わせが同一であることと、（ｂ）マクロブロックに単一の予測を用いることが一部の場合には望ましいことがあり得ることが理由である。例えば、ケース（ａ）の場合、同一の予測モードを禁止し、サブモード・タイプを自動的に調節し得る一方。ケース（ｂ）の場合、予測をしないことを示唆する新たなヌル・ブロック予測タイプを定義する以下の更なるモードを導入することができる。
【００３６】
【表４】
同じサブ分割（例えば、Ｂ＿Ｎｕｌｌ＿Ｌ０＿８ｘ１６やＢ＿Ｎｕｌｌ＿Ｌ１＿８ｘ１６）について２つのヌル予測ブロック・タイプを組み合わせることは禁止されており、このことは、この場合も又、関連技術のｍｂ＿ｔｙｐｅの表を適合させることによって更なる効果を備えることになるということを示唆する。同様な拡張を８ｘ８サブブロック／分割について行い得る。表３に定義される両方向予測モードは全て、本願に開示するハイブリッド・モードによってサポートすることができるので、冗長であるものとして除外し得る。
【００３７】
ハイブリッド・イントラ・インター両方向予測による直接モードの拡張
Ｈ．２６４において用いる空間的直接モードを、本発明のハイブリッド・イントラ・インター両方向予測モード実施例によって拡張することができる。現在、直接モード・ブロックの動きベクトルは、３つの近傍ブロックの動きベクトルのメジアンに基づいて判定される。
【００３８】
少なくとも１つの近傍の両方向予測モードがハイブリッド（インター・イントラ）である場合、現行の予測モード（直接モード）のブロックもハイブリッド（インター・イントラ）であり得る。この予測方法は、近傍ブロックによって利用される予測リストの利用可能性によって制限され得る。例えば、両方のリストが空間的近傍において利用可能である場合、直接モード・ブロックの動きベクトルが、近傍の１つがハイブリッド予測を利用するかにかかわらず、もう一度メジアン予測を用いて算出される。一方、近傍の１つがハイブリッド予測を利用する一方で、１つのリスト（例えば、ｌｉｓｔ＿１）のみが利用可能である場合、直接モード・ブロックも、同様に、同じ、利用可能なリストを利用する一方で、ハイブリッド予測によって予測される。更に、２つ以上の近傍ブロックがハイブリッド予測を利用する場合、予測に用いる対象のイントラ・モードに関する規則を規定することができる。例えば、Ｉｎｔｒａ１６ｘ１６は、この場合、その、予測の容易性によってＩｎｔｒａ４ｘ４に取って代わるものである。Ｉｎｔｒａ４ｘ４も直接モード・ブロック内で禁止し得るが、用いられる場合には、全ての４ｘ４ブロック方向を、利用可能である場合に外部マクロブロック予測を当初用いて予測し得る。外部Ｉｎｔｒａ４ｘ４マクロブロックが何ら利用可能でない場合、近接ブロックから利用可能な最低イントラｍｂ＿ｔｙｐｅが用いられる。一般的に、２つ以上の空間的近傍ブロックの、予測モードがイントラである場合、最低次イントラ予測が好ましくは用いられる一方、両方のリストが利用可能である場合、イントラは好ましくは用いられない。予測に必要なサンプルが利用可能でない場合にもイントラは用いられない。
【００３９】
ループ内デブロッキング・フィルタ
Ｈ．２６４／ＡＶＣ標準によるビデオ符号器は、ループ内デブロッキング・フィルタを利用して、主に、ブロック及びマクロブロックＭＢのエッジでの近傍画素間の相関を高め、復号化ピクチャに挿入されるブロック歪み（ブロッキング・アーチファクト）を削減し得る。フィルタリングされた復号化ピクチャを用いて、他のピクチャの動きを予測する。デブロッキング・フィルタは、マクロブロックの圧縮モード（イントラ又はインター）、量子化パラメータ、動きベクトル、フレーム又はフィールドの符号化判定、及び画素値によってその強度を調節する適応型フィルタである。量子化サイズが小さい場合、フィルタは自ら遮断する。このフィルタは、スライス・レベルで符号器によって明示的に遮断し得るものでもある。デブロッキング・フィルタについて種々の強度及び方法を、近傍ブロック符号化タイプ、動き及び伝送残差によって用いられる。本発明の実施例の特徴を利用することによって、ハイブリッド・イントラ・インター・マクロブロック・タイプは常に、その符号化中に近傍画素を考慮するイントラ予測子を含むので、デブロッキング・フィルタの強度を適宜修正し得る。例えば、ブロックがハイブリッド符号化され、その予測モードが、一方がイントラであり、更なる係数を有する２つ（又は３つ以上）の予測を用いる場合、相当するエッジのフィルタ強度を（例えば、１だけ）削減することができる。
【００４０】
図６は、本発明の実施例による、ビデオ符号器６０４及びビデオ復号器６０５を示す構成略図を示す。符号器６０４は、ビデオ源６０２、例えばカメラから、画像系列についてのデータを受信する。本明細書及び特許請求の範囲に開示する方法によってカメラからのデータを圧縮し、符号化した後、符号器６０４は、情報を送信システム６０６に転送する。送信器６０６は、チャネル媒体６１１を介して、ハイブリッド符号化マクロブロックを含むビットストリームを送信する。送信チャネル媒体６１１は、無線、ケーブルや何れかの他の伝送手法又はルーティング手法によるものであり得る。符号器６０４又は復号器６０５の回路は、例えば、移動無線機すなわち携帯用双方向無線機、又は携帯電話機の一部を形成し得る。
【００４１】
チャネル媒体６１１の復号化側にある動画像復号化装置（復号器６０５）は、ビットストリームをビットストリーム・バッファ６３１において受信し、（ビットストリーム解析器プロセッサ６３３によって）ビットストリームを解析し、イントラ符号化フレームＡからの符号化画像データを復号化し、フレームＡの復号化画像データをフレーム・メモリ６３５に記憶する。インター符号化差分データを受信すると、復号化装置（復号器６０５）は、フレームＡの復号化データから動き補償予測画像を生成する。フレームＡの受信データにおいて誤差が何らない場合、フレームＡの復号化画像は、符号化装置（符号器６０４）側にあるフレームＡの局所復号化画像とマッチするので、この復号化データから生成される動き補償予測画像は、符号化装置（符号器６０４）側にある動き補償予測画像にマッチする。符号化装置（符号器６０４）は、元の画像と動き補償予測画像との間の差分画像を送出するため、復号化装置は、動き補償予測画像を受信差分画像に加えることによってフレームＢの復号化画像を生成することができる。復号化装置によって受信されるフレームＡのデータが誤差を含む場合、フレームＡの正確に復号化された画像は、生成することができない。よって、動き補償予測画像の誤差含有部分から生成される画像は全て、エラー・データになる。こうしたエラー・データは、リフレッシュ処理がイントラ符号化によって行われるまで残る。
【００４２】
復号器６０５が、ハイブリッド符号化両方向予測データを受信すると、イントラ符号化情報を含むハイブリッド符号化ブロック・データを、復号器で利用して、画像データ・エラーの伝播を妨げるか、阻止する。画像内又は画像系列内のオブジェクトの特定の部分すなわち領域は、他の領域よりも重要であるか、エラーを受けやすいものとしてユーザ又は符号化装置によって識別可能であり得る。よって、符号化装置（符号器６０４）を、フレーム系列において、より重要な領域又はオブジェクトにおけるマクロブロックを、当該領域における画像データ・エラー伝播が妨げられるか削減されるように、選択的にハイブリッド符号化するよう形成し得る。
【００４３】
図７は、参照数字７００によって概括的に示す、本発明の実施例による例示的な符号器を表す。符号器７００は、合計ブロック７１４の正の入力と信号通信するよう結合されるビデオ入力端子７１２を含む。合計ブロック７１４は、同様に、整数変換を実施して係数を備える機能ブロック７１６に結合される。機能ブロック７１６は、エントロピ符号化を実施して出力ビットストリームを備えるエントロピ符号化ブロック７１８に結合される。機能ブロック７１６は更に、スケーリング及び逆変換のブロック７２２でループ内部分７２０に結合される。機能ブロック７２２は合計ブロック７２４に結合され、合計ブロック７２４は同様に、フレーム内予測ブロック７２７に結合される。フレーム内予測ブロック７２６は、組み合わせ装置７２７の第１の入力であり、その出力は、合計ブロック７２４の第２の入力と、合計ブロック７１４の反転入力とに結合される。
【００４４】
合計ブロック７２４の出力は、デブロッキング・フィルタ７４０に結合される。デブロッキング・フィルタ７４０は、フレーム記憶装置７２８に結合される。フレーム記憶装置７２８は、動き補償（フレーム間予測）ブロック７３０に結合され、このブロックは組み合わせ装置７２７の第２の出力に結合される。
【００４５】
組み合わせ装置７２７は、フレーム内予測ブロック７２６からの第１の（イントラ）予測を、動き補償（フレーム間予測）ブロック７３０からの第２の（インター）予測と組み合わせて、結果として生じる、組み合わせた（ハイブリッド・イントラ・インター）予測を合計ブロック７２４の第２の入力と合計ブロック７１４の反転入力とに出力する。本発明の一部の実施例では、組み合わせ装置７２７を、動作するように１つ又は複数の利得ブロック（図９Ａ参照。）に結合される（例えば、合計ブロック７２４又は７１４と同様な）合計ブロックとして実施して、入力されるイントラ予測及びインター予測の「平均」又は、イントラ予測及びインター予測の、違ったふうに重み付けされる組み合わせを生成し得る。本発明の他の実施例では、組み合わせ装置７２７は、フレーム内予測ブロック７２６からの第１のイントラ予測を、フレーム内予測ブロック７２６からの第２の（例えば、後続の）イントラ予測と組み合わせるよう形成され、フレーム内予測ブロック７２６からの第１の（イントラ）予測と動き補償（フレーム間予測）ブロック７３０からの第２の（インター）予測とを組み合わせるよう更に形成されるシーケンシャル加算器として実施し得る。
【００４６】
ビデオ入力端子７１２は、動きベクトルを備えるよう更に、動き推定ブロック７１９に結合される。デブロッキング・フィルタ７４０は、動き推定（フレーム間予測）ブロック７１９の第２の入力に結合される。動き推定ブロック７１９の出力は、動き補償（フレーム間予測）ブロック７３０と、エントロピ符号化ブロック７１８の第２の入力にも結合される。
【００４７】
ビデオ入力端子７１２は、符号器制御ブロック７６０に更に結合される。符号器制御ブロック７６０は、制御信号を備えて符号器７００の動作を制御するよう、ブロック７１６、７１８、７１９、７２２、７２６、７３０及び７４０の各々の制御入力に結合される。
【００４８】
図８は、参照数字８００によって概括的に示す、本発明の実施例による例示的な復号器を表す。復号器８００は、入力ビットストリームを受信するエントロピ復号化ブロック８１０を含む。復号化ブロック８１０は、スケーリング及び逆変換のブロック８２２でループ内部分８２０に係数を備えるよう結合される。逆変換ブロック８２２は合計ブロック８２４に結合され、合計ブロック８２４は同様にフレーム内予測ブロック８２６に結合される。フレーム内予測ブロック８２６は、組み合わせ装置８２７の第１の入力に結合され、その出力は合計ブロック８２４の第２の入力に結合される。
【００４９】
合計ブロック８２４の出力は、出力画像を備えるようデブロッキング・フィルタ８４０に結合される。デブロッキング・フィルタ８４０は、フレーム記憶装置８２８に結合される。フレーム記憶装置８２８は動き補償（フレーム間予測）ブロック８３０に結合され、このブロックは組み合わせ装置８２７の第２の入力に結合される。復号化ブロック８１０は、動き補償（フレーム間予測）ブロック８３０の第２の入力に、動きベクトルを備えるよう更に結合される。
【００５０】
復号器組み合わせ装置８２７は、フレーム内予測ブロック８２６からの第１の（イントラ）予測を動き補償（フレーム間予測）ブロック８３０から第２の（インター）予測と組み合わせて、結果として生じる、組み合わせた（ハイブリッド・イントラ・インター）予測を合計ブロック８２４の第２の入力に出力するという点で、図７の符号器における組み合わせ装置７２７に機能的に類似している。本発明の一部の実施例では、組み合わせ装置８２７は、１つ又は複数の利得ブロック（図９Ａ参照。）に、動作するよう結合して、入力されるイントラ予測及びインター予測の「平均」又は、イントラ予測及びインター予測の、違ったふうに重み付けされる組み合わせを生成する（例えば、合計ブロック８２４に類似した）合計ブロックとして実施し得る。本発明の他の実施例では、組み合わせ装置８２７は、フレーム内予測ブロック８２６からの第１のイントラ予測をフレーム内予測ブロック８２６からの第２の（例えば、後続する）イントラ予測と組み合わせるよう形成され、フレーム内予測ブロック８２６からの第１の（イントラ）予測を動き補償（フレーム間予測）ブロック８３０からの第２の（インター）予測と組み合わせるよう更に形成されるシーケンシャル加算器回路として実施し得る。
【００５１】
エントロピ復号化ブロック８１０は、復号器制御ブロック８６２に入力を備えるよう更に結合される。復号器制御ブロック８６２は、制御信号を通信し、復号器８００の動作を制御するよう、ブロック８２２、８２６、８３０及び８４０の各々の入力を制御するよう結合される。
【００５２】
図９Ａ及び図９Ｂは、第１の予測と第２の予測とを加算して組み合わせる、例えば、イントラ予測とインター予測とを加算して組み合わせる回路を備える、図７の符号器又は図８の復号器における組み合わせ装置（例えば、７２７又は８２７）の例示的な実施例を各々が示す構成略図である。図９Ａは、結合されるフレーム内予測ブロック（例えば、７２６又は８２６）からの第１のイントラ予測をフレーム内予測ブロック（例えば、７２６又は８２６）からの第２の（例えば、後続する）イントラ予測と組み合わせるよう形成され、フレーム内予測ブロック（例えば、７２６又は８２６）からの第１の（イントラ）予測を動き補償（フレーム間予測）ブロック（例えば、７３０又は８３０）からの第２の（インター）予測と組み合わせるよう更に形成される（シグマ信号によって表す）加算器回路Ａ２７を含む（例えば、組み合わせ装置７２７及び８２７を実施する）例示的な組み合わせ装置ｘ２７−ａを表す。ディジタル利得ブロックＧ１、Ｇ２及びＧ３は、複数の（例えば、２つの）予測の重み付け（又は単純平均）を組み合わせるようにしている。本発明の別の実施例では、３つ未満（例えば、１つ又は２つ）のディジタル利得ブロックを備えて２つの予測を、例えば、図９Ｂに表すように組み合わせ得るということを当業者は認識するものである。
【００５３】
図９Ｂは、フレーム内予測ブロック（例えば、７２６又は８２６）からの第１のイントラ予測とフレーム内予測ブロック（例えば、７２６又は８２６）からの第２の（例えば、後続する）イントラ予測との平均をとるよう形成され、フレーム内予測ブロック（例えば、７２６又は８２６）からの第１の（イントラ）予測と動き補償（フレーム間予測）ブロック（例えば、７３０又は８３０）からの第２の（インター）予測との平均をとるよう更に形成される（シグマ信号によって表す）加算器回路Ａ２７を含む例示的な組み合わせ装置ｘ２７−ｂ（例えば、７２７及び８２７）を表す。１／２の利得値で固定されるディジタル利得ブロックＧ３は、（シグマ信号によって表す）加算器回路Ａ２７からの２つの予測出力の、和を除算する（和の平均をとる）ようにしている。
【００５４】
本発明の種々の局面は、汎用コンピュータや何れかの他の適切な計算機環境において実行し得るソフトウェアで実施することができる。本発明は、パソコン、汎用コンピュータ、サーバ・コンピュータ、ハンドヘルド機器、ラップトップ機器、マルチプロセッサ、マイクロプロセッサ、セットトップボックス、プログラム可能な消費者向電子機器、ネットワークＰＣ、ミニコンピュータ、メインフレーム・コンピュータ、分散処理計算機環境等のいくつかの汎用計算機環境や特殊用途向計算機環境において、コンピュータ判読可能媒体上に記憶されている、本発明のフレーム・ツー・フレーム・ディジタルビデオ符号化を行う旨のコンピュータ実行可能命令を実行するよう動作可能である。本発明は、コンピュータによって実行されるプログラム・モジュールなどのコンピュータ実行可能命令として部分的又は全体的に実施し得る。一般的に、プログラム・モジュールは、特定のタスクを行うか特定の抽象データ・タイプを実施するようルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含む。分散計算機環境では、プログラム・モジュールは、局所記憶装置内又は遠隔記憶装置内にあり得る。
【００５５】
本発明の例示的な実施例は、前述しており、添付図面に示す。しかし、本発明は、上記例示的な実施例に限定されず、変形及び修正を、本発明の技術思想内及び範囲内で当業者によって行うことができる。したがって、例示的な実施例は、限定としてではなく、例として解されることとする。本発明の範囲は、上記説明によって定められるものでなく、本特許請求の範囲によって定められ、変形及び修正を、本発明の実施例に対して、本特許請求の範囲及びその均等物によって範囲が定められる、本発明の範囲から逸脱することなく行い得る。
【図面の簡単な説明】
【００５６】
【図１】Ｈ．２６４標準による、イントラ符号化される対象の４ｘ４画素ルマ・ブロック付近のサンプルを示す図である。
【図２】Ｈ．２６４標準による、図１の４ｘ４ブロックの予測符号化の９つの方向を示す図である。
【図３】Ｈ．２６４標準による、動きベクトルを推定することによってインター符号化されるマクロブロックを表す図である。
【図４】Ｈ．２６４標準による、２つのインター符号化を組み合わせることによる、マクロブロックの両方向予測を表す図である。
【図５】本発明の原理による、インター予測及びイントラ予測を組み合わせた４ｘ４ブロックのイントラ・インター・ハイブリッド両方向予測を表す図である。
【図６】本発明の原理によるビデオ符号器及びビデオ復号器を示す構成図である。
【図７】本発明の原理によるビデオ符号器を示す構成図である。
【図８】本発明の原理によるビデオ復号器を示す構成図である。
【図９Ａ】図７の符号器又は図８の復号器における、イントラ予測とインター予測とを組み合わせる回路を示す構成図である。
【図９Ｂ】図７の符号器又は図８の復号器における、イントラ予測とインター予測とを組み合わせる回路を示す別の構成図である。
【特許請求の範囲】
【請求項１】
ハイブリッド・イントラ・インター符号化ブロックを復号化する方法であって、
現行ブロックの第１の予測を現行ブロックの第２の予測と組み合わせる工程を備え、
前記現行ブロックの前記第１の予測がイントラ予測であり、前記現行ブロックの前記第２の予測がインター予測であることを特徴とする方法。
【請求項２】
請求項１記載の方法であって、
前記ブロックの復号化が、
前記現行ブロックの前記第１の予測と、前記第２の予測と、第３の予測とを組み合わせることを特徴とする方法。
【請求項３】
請求項１記載の方法であって、
前記現行ブロックに隣接する画素間の相関を高めるよう形成されるデブロッキング・フィルタのフィルタ強度を削減する工程を更に備えることを特徴とする方法。
【請求項４】
請求項１記載の方法であって、
前記第１の予測及び前記第２の予測を、前記第１の予測と前記第２の予測との平均をとることによって組み合わせることを特徴とする方法。
【請求項５】
請求項１記載の方法であって、
前記第１の予測及び前記第２の予測を、前記第１の予測と前記第２の予測との各々を重み付けすることによって組み合わせることを特徴とする方法。
【請求項６】
請求項１記載の方法であって、
前記現行ブロックが、１６ｘ１６マクロブロックであることを特徴とする方法。
【請求項７】
請求項１記載の方法であって、
前記現行ブロックが、サブマクロブロックであることを特徴とする方法。
【請求項８】
請求項１記載の方法であって、
前記現行ブロックが、４ｘ４サブマクロブロック分割であることを特徴とする方法。
【請求項９】
ハイブリッド・イントラ・インター符号化ブロックを復号化し、再構成された画素データを備えるよう形成されるビデオ復号器であって、
動作するよう組み合わせ装置に接続され、ブロックの第１のイントラ予測を出力するフレーム内予測ブロックと、
動作するよう前記組み合わせ装置に接続され、前記ブロックの第１のインター予測を出力するフレーム間予測ブロックとを備えることを特徴とするビデオ復号器。
【請求項１０】
請求項９記載のビデオ復号器であって、
前記組み合わせ装置は、前記第１のイントラ予測と前記第１のインター予測とを組み合わせるよう形成されることを特徴とするビデオ復号器。
【請求項１１】
請求項９記載のビデオ復号器であって、
前記ハイブリッド・イントラ・インター符号化ブロックが、前記第１のイントラ予測と前記第１のインター予測との平均であることを特徴とするビデオ復号器。
【請求項１２】
テレビであって、
請求項９記載のビデオ復号器を備えることを特徴とするテレビ。
【請求項１３】
ビデオ復号器であって、
両方向予測イントラ・インター符号化ブロックを含むビットストリームを復号化するよう形成されることを特徴とするビデオ復号器。
【請求項１４】
ブロックをビデオ復号化する方法であって、
現行ブロックの第１の予測を、現行ブロックの第２の予測と組み合わせる工程を備え、
前記現行ブロックの前記第１の予測はイントラ予測であり、前記現行ブロックの前記第２の予測はインター予測であることを特徴とする方法。
【請求項１５】
２次元画像系列のフレーム内のブロックを復号化するビデオ復号器であって、
動作するよう組み合わせ装置に接続され、ブロックの第１のイントラ予測を出力するフレーム内予測ブロックと、
動作するよう前記組み合わせ装置に接続され、前記ブロックの第１のインター予測を出力するフレーム間予測ブロックとを備え、
前記組み合わせ装置は、前記第１のイントラ予測と前記第１のインター予測とを組み合わせ、ハイブリッド・イントラ・インター符号化ブロックを出力するよう形成されることを特徴とするビデオ復号器。
【請求項１６】
請求項１５記載のビデオ復号器であって、
前記組み合わせ装置は、合計ブロックであることを特徴とするビデオ復号器。
【請求項１７】
請求項１５記載のビデオ復号器であって、
前記組み合わせ装置は、前記第１のイントラ予測と前記第１のインター予測とを、２つの予測の平均をとることによって組み合わせることを特徴とするビデオ復号器。
【請求項１８】
請求項１５記載のビデオ復号器であって、
前記組み合わせ装置は、前記第１のイントラ予測と前記第１のインター予測とを、２つの予測を重み付けした組み合わせを用いることによって組み合わせることを特徴とするビデオ復号器。
【請求項１９】
ブロックをビデオ復号化する方法であって、
現行ブロックについての第１の予測タイプを現行ブロックについての第２の予測タイプと組み合わせる工程を備え、
前記第１の予測タイプと前記第２の予測タイプとの前記組み合わせがハイブリッド予測タイプを形成することを特徴とする方法。
【請求項２０】
請求項１９記載の方法であって、
前記組み合わせる工程が、合計ブロックを用いて達成されることを特徴とする方法。
【請求項２１】
請求項１９記載の方法であって、
前記２つの予測タイプを組み合わせる工程が、前記２つの予測タイプの平均をとることによって達成されることを特徴とする方法。
【請求項２２】
請求項１９記載の方法であって、
前記２つの予測タイプを組み合わせる工程が、前記２つの予測タイプの、重み付けした組み合わせを施すことによって達成されることを特徴とする方法。
【請求項１】
ハイブリッド・イントラ・インター符号化ブロックを復号化する方法であって、
現行ブロックの第１の予測を現行ブロックの第２の予測と組み合わせる工程を備え、
前記現行ブロックの前記第１の予測がイントラ予測であり、前記現行ブロックの前記第２の予測がインター予測であることを特徴とする方法。
【請求項２】
請求項１記載の方法であって、
前記ブロックの復号化が、
前記現行ブロックの前記第１の予測と、前記第２の予測と、第３の予測とを組み合わせることを特徴とする方法。
【請求項３】
請求項１記載の方法であって、
前記現行ブロックに隣接する画素間の相関を高めるよう形成されるデブロッキング・フィルタのフィルタ強度を削減する工程を更に備えることを特徴とする方法。
【請求項４】
請求項１記載の方法であって、
前記第１の予測及び前記第２の予測を、前記第１の予測と前記第２の予測との平均をとることによって組み合わせることを特徴とする方法。
【請求項５】
請求項１記載の方法であって、
前記第１の予測及び前記第２の予測を、前記第１の予測と前記第２の予測との各々を重み付けすることによって組み合わせることを特徴とする方法。
【請求項６】
請求項１記載の方法であって、
前記現行ブロックが、１６ｘ１６マクロブロックであることを特徴とする方法。
【請求項７】
請求項１記載の方法であって、
前記現行ブロックが、サブマクロブロックであることを特徴とする方法。
【請求項８】
請求項１記載の方法であって、
前記現行ブロックが、４ｘ４サブマクロブロック分割であることを特徴とする方法。
【請求項９】
ハイブリッド・イントラ・インター符号化ブロックを復号化し、再構成された画素データを備えるよう形成されるビデオ復号器であって、
動作するよう組み合わせ装置に接続され、ブロックの第１のイントラ予測を出力するフレーム内予測ブロックと、
動作するよう前記組み合わせ装置に接続され、前記ブロックの第１のインター予測を出力するフレーム間予測ブロックとを備えることを特徴とするビデオ復号器。
【請求項１０】
請求項９記載のビデオ復号器であって、
前記組み合わせ装置は、前記第１のイントラ予測と前記第１のインター予測とを組み合わせるよう形成されることを特徴とするビデオ復号器。
【請求項１１】
請求項９記載のビデオ復号器であって、
前記ハイブリッド・イントラ・インター符号化ブロックが、前記第１のイントラ予測と前記第１のインター予測との平均であることを特徴とするビデオ復号器。
【請求項１２】
テレビであって、
請求項９記載のビデオ復号器を備えることを特徴とするテレビ。
【請求項１３】
ビデオ復号器であって、
両方向予測イントラ・インター符号化ブロックを含むビットストリームを復号化するよう形成されることを特徴とするビデオ復号器。
【請求項１４】
ブロックをビデオ復号化する方法であって、
現行ブロックの第１の予測を、現行ブロックの第２の予測と組み合わせる工程を備え、
前記現行ブロックの前記第１の予測はイントラ予測であり、前記現行ブロックの前記第２の予測はインター予測であることを特徴とする方法。
【請求項１５】
２次元画像系列のフレーム内のブロックを復号化するビデオ復号器であって、
動作するよう組み合わせ装置に接続され、ブロックの第１のイントラ予測を出力するフレーム内予測ブロックと、
動作するよう前記組み合わせ装置に接続され、前記ブロックの第１のインター予測を出力するフレーム間予測ブロックとを備え、
前記組み合わせ装置は、前記第１のイントラ予測と前記第１のインター予測とを組み合わせ、ハイブリッド・イントラ・インター符号化ブロックを出力するよう形成されることを特徴とするビデオ復号器。
【請求項１６】
請求項１５記載のビデオ復号器であって、
前記組み合わせ装置は、合計ブロックであることを特徴とするビデオ復号器。
【請求項１７】
請求項１５記載のビデオ復号器であって、
前記組み合わせ装置は、前記第１のイントラ予測と前記第１のインター予測とを、２つの予測の平均をとることによって組み合わせることを特徴とするビデオ復号器。
【請求項１８】
請求項１５記載のビデオ復号器であって、
前記組み合わせ装置は、前記第１のイントラ予測と前記第１のインター予測とを、２つの予測を重み付けした組み合わせを用いることによって組み合わせることを特徴とするビデオ復号器。
【請求項１９】
ブロックをビデオ復号化する方法であって、
現行ブロックについての第１の予測タイプを現行ブロックについての第２の予測タイプと組み合わせる工程を備え、
前記第１の予測タイプと前記第２の予測タイプとの前記組み合わせがハイブリッド予測タイプを形成することを特徴とする方法。
【請求項２０】
請求項１９記載の方法であって、
前記組み合わせる工程が、合計ブロックを用いて達成されることを特徴とする方法。
【請求項２１】
請求項１９記載の方法であって、
前記２つの予測タイプを組み合わせる工程が、前記２つの予測タイプの平均をとることによって達成されることを特徴とする方法。
【請求項２２】
請求項１９記載の方法であって、
前記２つの予測タイプを組み合わせる工程が、前記２つの予測タイプの、重み付けした組み合わせを施すことによって達成されることを特徴とする方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【公表番号】特表２００７−５０３７７５（Ｐ２００７−５０３７７５Ａ）
【公表日】平成１９年２月２２日（２００７．２．２２）
【国際特許分類】
【出願番号】特願２００６−５２４７８０（Ｐ２００６−５２４７８０）
【出願日】平成１６年８月２４日（２００４．８．２４）
【国際出願番号】ＰＣＴ／ＵＳ２００４／０２７３９７
【国際公開番号】ＷＯ２００５／０２２９１９
【国際公開日】平成１７年３月１０日（２００５．３．１０）
【出願人】（５０１２６３８１０）トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ
【住所又は居所原語表記】４６ Ｑｕａｉ Ａ． Ｌｅ Ｇａｌｌｏ， Ｆ−９２１００ Ｂｏｕｌｏｇｎｅ−Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ
【Ｆターム（参考）】
【公表日】平成１９年２月２２日（２００７．２．２２）
【国際特許分類】
【出願日】平成１６年８月２４日（２００４．８．２４）
【国際出願番号】ＰＣＴ／ＵＳ２００４／０２７３９７
【国際公開番号】ＷＯ２００５／０２２９１９
【国際公開日】平成１７年３月１０日（２００５．３．１０）
【出願人】（５０１２６３８１０）トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ
【住所又は居所原語表記】４６ Ｑｕａｉ Ａ． Ｌｅ Ｇａｌｌｏ， Ｆ−９２１００ Ｂｏｕｌｏｇｎｅ−Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ
【Ｆターム（参考）】
[ Back to top ]