それぞれのグループがイントラ符号化ピクチャと２つを超える予測符号化ピクチャを含むビデオ系列のグループオブピクチャを符号化する方法及び装置
公知のビデオ符号化標準において、基本的に３つのタイプのピクチャＩ，Ｐ及びＢが存在する。ビデオ系列は、グループオブピクチャＧＯＰiの構造で通常は符号化され、幾つかのＰ又はＢピクチャは１つのＩピクチャに従って符号化される。しかし、このＧＯＰ構造は、誤り耐性及び記憶媒体の記録に関して幾つかの課題を有する。たとえば伝送チャネルエラーのためにＰピクチャが失われた場合、後続のＰピクチャは正しく再構成することができず、エラーが時間につれて伝播し、望まれないアーチファクトを引き起こす。このＧＯＰ構造は、順方向の再生にのみ設計されており、逆方向の再生動作を複雑にする。本発明によれば、ビデオ符号化及び復号化についてリバーシブルのＧＯＰ構造が使用される。ＲＧＯＰ構造は、前方向の符号化チェイン及び後方向の符号化チェインの両者を含む。ＲＧＯＰ構造におけるそれぞれのピクチャは、これらのチェインのうちの１つに割り当てられ、隣接するＲＧＯＰチェインのビデオピクチャはインタリーブされる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ系列のグループオブピクチャを符号化する方法及び装置に関し、前記グループのそれぞれは、前方向予測及び後方向予測を使用して、イントラ符号化ピクチャ及び２つを超える予測符号化ピクチャを含んでいる。
【背景技術】
【０００２】
公知のＭＰＥＧ／Ｈ．２６ｘビデオ符号化規格（MPEG-1, MPEG-2, MPEG-4, MPEG-4 AVC/H.264,
H.263, VC-1）では、Ｉ（イントラフレーム符号化）ピクチャ、Ｐ（インターフレーム符号化）ピクチャ及びＢ（双方向予測）ピクチャといった基本的に３つのピクチャのタイプが存在する。Ｉピクチャは、エラーを起こしやすいビデオ転送における再同期ポイントとして使用することができるように、リファレンスとして他のピクチャを使用しない。また、Ｉピクチャは、ビデオ編集及び高速前方向／後方向再生におけるランダムアクセスポイントとして使用することもできる。Ｐピクチャは、予測による符号化効率を向上するように、１以上の前のピクチャをリファレンスとして使用することができる。Ｂピクチャは、予測のために前及び後のピクチャを使用し、符号化効率を更に改善する。ビデオ系列は、グループオブピクチャ（ＧＯＰ）構造で通常は符号化され、幾つかのＰ（Ｐ１，Ｐ２，Ｐ３）及びＢピクチャは、図１に示されているように１つのＩピクチャに従って符号化される。しかし、このＧＯＰ構造は、以下の２つの種類の応用において特に問題を有する。
【０００３】
ａ）誤り耐性
たとえば伝送チャネルのエラーのよりピクチャＰ１が失われた場合、後続するＰピクチャは、正しく再構成することができず、エラーは、時間的に伝播し、望まれないアーチファクトを引き起こす。誤り隠蔽はデコーダサイドで採用されるが、重要な情報が失われるので非常に良好にアーチファクトを除くことができない。
【０００４】
ｂ）たとえばＤＶＤ又はＶＣＲといった記憶媒体の記録
ＤＶＤ（digital versatile disc）又はＶＣＲ（video cassette recorder）は、前方向、後方向、停止、一時停止、早送り、巻戻し及びランダムアクセスのような機能を通常は必要とする。しかし、公知のＭＰＥＧのＧＯＰ構造は、前方向の再生のみのために設計されており、逆方向の再生動作を複雑にする。簡単な巻き戻し再生は、後方向でＩピクチャにのみアクセスすることで達成されるが、平滑なピクチャ毎の巻き戻し再生が望まれる場合、非常に多くの複雑さ、帯域幅、及び／又はストレージバッファが必要とされる。たとえば、現在のフレームにまでＧＯＰはデコードされ、次いで、ＧＯＰの開始から表示すべき次のフレームにまでデコードされる。しかし、これは、スループットの高い帯域幅を必要とする。さもなければ、ビットストリームが一度のみデコードされることが期待される場合に、非常に大容量のストレージバッファが必要とされる。
【０００５】
幾つかの異なるＧＯＰ構造は、先の問題を解決するために提案される。誤り耐性について、ビデオ冗長度符号化方法は、Ｈ．２６３コーデックの用途について、S. Wenger, G. Knorr, J. Ott, F. Kossentiniによる“Error Resilience Support in .263+”, IEEE Transactions on Circuits and Systems for Video
Technology, Vol.8, No7, November 1998により開示されている。この方法は、それぞれのピクチャがチェインのうちの１つに割り当てられるようなやり方で、ビデオ系列を２以上のチェインに分割する。それぞれのチェインは、独立に符号化される。２つの予測チェインを使用したＧＯＰ構造は、図２に示される。パケットの損失のためにこれらのチェインのうちの１つがダメージを受けた場合、残りのチェインは、損なわれないままであり、復号化及び表示することができる。他のダメージを受けていないチェインにおける情報を使用することで、ダメージを受けたチェインの復号化を継続するか、又は誤り隠蔽を行うことができ、僅かな主観的な品質の低下となる。また、ダメージを受けたチェインの復号化を停止することも可能であり、これは、フレームレートの低下につながるだけであり、これは、他のエラーのアーチファクトよりも主観的な品質への影響が非常に少ない。両方の場合、結果的に得られる誤り耐性のパフォーマンスは、図１のＧＯＰ予測構造についてよりも非常に良好である。しかし、この構造は、逆再生の機能をサポートしない。
【０００６】
逆再生について、C.W.Lin, J.Zhou, J.Youn, M.T.Sunによる“MPEG Video Streaming with VCR Functionality”, IEEE Transactions on Circuits and Systems for Video
Technology, Vol.11, No.3, March 2001は、サーバで、すなわち符号化プロセスにおいて逆に符号化されたビットストリームを加えることを提案している。符号化を終了して、ビデオ系列の最後のピクチャに到達することに応じて、ビデオ画像は、逆に符号化されたビットストリームを生成するために逆の順序で符号化される。サーバが前方向に符号化されたビットストリームのみを有する場合（すなわちオリジナルの系列は利用不可能である）、前方のビットストリームは、逆方向で（すなわち最後のＧＯＰから最初のＧＯＰに）２つのＧＯＰにまでデコードすることができ、次いで、ビデオ系列は、逆の順序で再符号化される。逆方向の符号化されたビットストリームの生成は、オフラインで実行される。しかし、それぞれのピクチャは、２度符号化され、したがって、ビットストリームサイズが殆ど２倍になる。
【０００７】
T. Fang, L.P. Chauによる“An error-resilient GOP structure for robust video
transmission”, IEEE Transactions on Multimedia, Vol.7,
No.6, December 2005は、誤り耐性及びＶＣＲの逆再生の両者を考慮した新たなＧＯＰ構造を提案する。それぞれのＧＯＰの真ん中にＩピクチャを配置することで、予測されるＰピクチャは、２つの部分に区分され、図３における対応するＧＯＰ構造（Ｂピクチャなし）で示されるように、それらの半分（Ｐn-1，．．．，Ｐm+i+1）は、後方予測符号化され、それらの半分（Ｐn+1，．．．，Ｐn+j）は、前方予測符号化される。下付き文字は、オリジナルのビデオ系列におけるピクチャの時間的な番号であり、下付き文字は、ｉ＞１，ｎ−１＞ｍ＋ｉ＋１，ｊ＞１及びｋ−１＞ｎ＋ｊ＋１として単調に増加する。Ｂピクチャが含まれる場合、構造は、仮想的に影響されない。明らかに、１つのＰピクチャが破壊された場合、多くともＧＯＰの半分にのみ影響を及ぼし、ピクチャＩnの他のサイドで配置されるＧＯＰの他の半分は影響されない。実際に、このＧＯＰ構造は、２つの予測チェインの別の形式であり、１つのチェインは前方であり、他方は後方である。
【０００８】
一方で、このＧＯＰ構造は、ＧＯＰにおけるＰフレームの半分が既に逆に再生されているので、逆の再生を部分的に容易にする。他方で、このＧＯＰ構造は、誤り耐性及び逆の再生の両者において問題点を有する。Ｐm+1が失われた場合、Ｐm+1からＰm+iが破壊され、エラーアーチファクトは、この時間期間において通知される。ピクチャチェインＰn-1〜Ｐm+i+1は正しく受信されるが、Ｐm+1からＰm+iへの時間期間のピクチャの復号化の支援を提供しない。したがって、このＧＯＰ構造は、図２に示されるＧＯＰ構造と同様に良好な誤り耐性のパフォーマンスを提供することができない。さらに、このＧＯＰ構造は、連続するＰフレームの半分が前方符号化されるため、連続的な逆再生機能を提供することができない。詳細には、逆再生の処理順序は、Ｉk→Ｐk-1→・・・→Ｐn+j+1→Ｉn→Ｐn-1→・・・→Ｐm+i+1→Ｉm・・・である。したがって、Ｐn+j〜Ｐn+1の間及びＰm+i〜Ｐm+1の間にギャップが存在し、逆再生において大きなジッタを引き起こす。Ｐn+jからＰn+1まで及びＰm+iからＰm+1までのピクチャが表示されることが現実に必要である場合、通常のマルチパス復号化又は大きなバッファリングが必要であり、これは標準的なＧＯＰ構造におけるのと同じ問題である。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】S.Wenger, G. Knorr, J. Ott, F. Kossentini, “ErrorResilience Support in .263+”, IEEE Transactionson Circuits and Systems for Video Technology, Vol.8, No7, November 1998
【非特許文献２】C.W.Lin,J.Zhou, J.Youn, M.T.Sun, “MPEG Video Streaming with VCR Functionality”, IEEE Transactions on Circuits and Systems for VideoTechnology, Vol.11, No.3, March 2001
【非特許文献３】T. Fang,L.P. Chau, “An error-resilient GOP structure for robustvideo transmission”, IEEE Transactions on Multimedia, Vol.7,No.6, December 2005
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明により解決される課題は、ビデオ伝送の誤り耐性を向上し、緩やかな逆再生機能を容易にするＧＯＰ構造を提供することにある。
【課題を解決するための手段】
【００１１】
この課題は、請求項１及び３に開示される方法により解決され、これらの方法を利用した装置は、請求項２及び４により開示される。
【００１２】
本発明によれば、ビデオ符号化及び復号化についてリバーシブルＧＯＰ（RGOP）構造が使用される。ＲＧＯＰ構造は、前方向符号化チェイン及び後方向符号化チェインの両者を含む。ＲＧＯＰ構造におけるそれぞれのピクチャは、これらのチェインのうちの１つに割り当てられ、２つのチェインのうちのビデオピクチャがインタリーブされる。
【００１３】
このＲＧＯＰ構造は、誤り耐性を向上する。これは、１つの予測チェインが破壊され、他の予測チェインが破壊されていない場合に、以下に説明されるように、ビデオ系列は、知覚できるアーチファクトなしにデコードされ、緩やかに表示することができるためである。このＲＧＯＰ構造は、記録の用途について、容易且つ緩やかな逆再生機能をも提供する。
【００１４】
本発明の処理の更なるコストは、最も近いフレームを使用しない符号化における予測による符号化効率の小さな減少である。しかし、冗長なビットは、誤り耐性又は回復を向上するために価値がある。
【００１５】
原理において、本発明の符号化方法は、ビデオ系列のグループオブピクチャを符号化するために適しており、前記グループのそれぞれは、イントラ符号化ピクチャ及び２つを超える予測符号化ピクチャを含んでおり、前記予測符号化ピクチャの一方の部分は、前記イントラ符号化ピクチャから開始して後方向予測符号化され、前記予測符号化ピクチャの他方の部分は、前記イントラ符号化ピクチャから開始して前方向予測符号化され、これにより、ピクチャは、これら前方向及び後方向予測符号化ピクチャのチェインで省略され、これにより、前記ビデオ系列の２つ毎の隣接するグループオブピクチャは、オーバラップするやり方で配置され、現在のグループオブピクチャにおける前方向及び後方向予測符号化ピクチャのチェインにおいて欠けているピクチャは、前記隣接するオーバラップするグループオブピクチャのうちの１つでインタリーブされるやり方で含まれる。
【００１６】
原理において、本発明の符号化装置は、ビデオ系列のグループオブピクチャを符号化するために適しており、前記グループのそれぞれは、イントラ符号化ピクチャ及び２つを超える予測符号化ピクチャを含む。当該装置は、前記イントラ符号化ピクチャから始めて、前記予測符号化されたピクチャの一部を後方向予測符号化し、前記イントラ符号化ピクチャから始めて前記予測符号化ピクチャの他の部分を前方向予測符号化する手段を含んでおり、これにより、ピクチャは、これら前方向及び後方向予測符号化ピクチャのチェインで省略され、これにより、前記ビデオ系列の２つ毎の隣接するグループオブピクチャは、オーバラップするやり方で配置され、現在のグループオブピクチャにおける前方向及び後方向予測符号化ピクチャのチェインにおいて欠けているピクチャは、前記隣接するオーバラップするグループオブピクチャのうちの１つでインタリーブされるやり方で含まれる。
【００１７】
原理において、本発明の復号化方法は、ビデオ系列のグループオブピクチャを復号化するために適しており、前記グループのそれぞれは、イントラ符号化ピクチャ及び２つを超える予測符号化ピクチャを含んでおり、前記予測符号化ピクチャのうちの一部は、前記イントラ符号化ピクチャから開始して後方向予測符号化され、前記予測符号化ピクチャのうちの他の部分は、前記イントラ符号化ピクチャから開始して前方向予測符号化され、前記ピクチャの前記復号化は、対応する順序で実行され、これにより、ピクチャは、これら前方及び後方予測符号化ピクチャのチェインで省略され、これにより、前記ビデオ系列の２つ毎の隣接するグループオブピクチャは、オーバラップするやり方で配置され、現在のグループオブピクチャにおける前方向及び後方向予測符号化ピクチャのチェインにおいて欠けているピクチャは、前記隣接するオーバラップするグループオブピクチャのうちの１つでインタリーブされるやり方で含まれる。前記復号化では、前記ビデオ系列のオリジナルのピクチャの順序で、復号化された出力信号について対応する復号化されたピクチャが組立てられる。
【００１８】
原理において、本発明の復号化装置は、ビデオ系列のグループオブピクチャを復号化するために適しており、前記グループのそれぞれは、イントラ符号化ピクチャ及び２つを超える予測符号化ピクチャを含んでおり、前記予測符号化ピクチャのうちの一部は、前記イントラ符号化ピクチャから開始して後方向予測符号化され、前記予測符号化ピクチャのうちの他の部分は、前記イントラ符号化ピクチャから開始して前方向予測符号化され、これにより、ピクチャは、これら前方向及び後方向予測符号化ピクチャのチェインで省略され、これにより、前記ビデオ系列の２つ毎の隣接するグループオブピクチャは、オーバラップするやり方で配置され、現在のグループオブピクチャにおける前方向及び後方向予測符号化ピクチャのチェインにおいて欠けているピクチャは、前記隣接するオーバラップするグループオブピクチャのうちの１つでインタリーブされるやり方で含まれる。当該装置は、対応する順序で、前記グループオブピクチャのピクチャをデコードするために適合され、前記ビデオ系列のオリジナルのピクチャの順序で、復号化された出力信号について対応する復号化ピクチャをアセンブルする手段を含む。
【００１９】
本発明の有利な更なる実施の形態は、それぞれの従属の請求項で開示される。
【図面の簡単な説明】
【００２０】
本発明の例示的な実施の形態は、添付図面を参照して記載される。
【図１】典型的なＭＰＥＧ ＧＯＰ構造を示す図である。
【図２】２つの予測チェインをもつ公知のＧＯＰ構造を示す図である。
【図３】ＩピクチャがＧＯＰの真ん中に配置される公知のＧＯＰ構造を示す図である。
【図４】本発明のＲＧＯＰ構造を示す図である。
【図５】本発明のＲＧＯＰ構造の別の例を示す図である。
【図６】非一様なインタリーブによる本発明のＲＧＯＰ構造を示す図である。
【図７】Ｂピクチャが含まれる本発明のＲＧＯＰ構造を示す図である。
【図８】本発明のエンコーダの例を示す図である。
【図９】本発明のデコーダの例を示す図である。
【発明を実施するための形態】
【００２１】
ＲＧＯＰ構造では、時間的に連続するピクチャのグループは、インタリーブされ、２つの予測チェインにリスケジューリングされる。すなわち、ピクチャの半分は、前のＩピクチャから始まる予測により前方向予測され、ピクチャの残りは、後のＩピクチャから始まる予測により後方向予測される。好ましくは、逆のピクチャのビットストリームは、新たなＲＧＯＰを形成するため、前方符号化ピクチャのビットストリームに従って送出される。
【００２２】
典型的なＲＧＯＰ構造は、図４に示される。ピクチャＩm，Ｐm+1，Ｐm+2，Ｐm+3，Ｐm+4，．．．，Ｐn-2，Ｐn-1，Ｉn，Ｐn+1，Ｐn+2，Ｐn+3，Ｐn+4，．．．，Ｐk-2，Ｐk-1，Ｉk，．．．，を含み、２つのＧＯＰの長さを有するオリジナルのビデオ系列では、後方向でピクチャＩnから開始する逆方向の予測符号化のチェインについて、ピクチャＰm+2，Ｐm+4，．．．，Ｐn-1が選択され、前方向でピクチャＩnから開始する順方向の予測符号化のチェインについて、ピクチャＰn+1，Ｐn+3，．．．，Ｐk-2が選択される。これら２つのチェインは、互いに新たなＲＧＯＰiを構築する。対応して、ピクチャＰm+1，Ｐm+3，．．．，Ｐn-2は、前のＲＧＯＰi-1における順方向の予測符号化のチェインを形成し、ピクチャＰn+2，Ｐn+4，．．．，Ｐk-1は、後のＲＧＯＰi+1における逆方向の予測符号化のチェインを形成し、すなわち、それぞれのＲＧＯＰは、後方向予測符号化のチェインを含み、前方向予測符号化のチェインを含む。隣接するＲＧＯＰ及びそれらのピクチャはインタリーブされ、すなわち、ビデオ系列のＧＯＰの長さのセクション内で、１つおきのピクチャは、現在のＲＧＯＰiに属し、中間のピクチャは、対応する隣接するＲＧＯＰi-1又はＲＧＯＰi+1に属する。
【００２３】
それぞれのＲＧＯＰのビットストリームは、Ｉピクチャ、後方向予測符号化チェイン、前方向予測符号化チェインを含む。これは、｛Ｉ，｛後方向予測符号化チェイン｝，｛前方向予測符号化チェイン｝｝として示すことができる。図４のケースでは、伝送順序は、｛ＲＧＯＰi-2｝，｛Ｉm，｛．．．｝，｛Ｐm+1，Ｐm+3，．．．，Ｐn-2｝｝，｛Ｉn，｛Ｐn-1，．．．，Ｐm+4，Ｐm+2｝，｛Ｐn+1，Ｐn+3，．．．，Ｐk-2｝｝，｛Ｉk，｛Ｐk-1，．．．，Ｐn+4，Ｐn+2｝，｛．．．｝｝，｛ＲＧＯＰi+2｝である。
【００２４】
誤り耐性又は回復について、ある予測チェインにおけるあるピクチャ（たとえばＰm+1）が失われた場合、次のＧＯＰにおける次のＩピクチャ（たとえばＩn）に戻り、次いで、後方向又は逆方向に復号化する。したがって、Ｐn-1，．．．，Ｐm+4，Ｐm+2は、正しく復号化することができる。これら正しく復号化されたピクチャを使用することで、ピクチャ｛Ｐm+1，Ｐm+3，．．．，Ｐn-2｝は、誤り隠蔽又は補間スキームにより良好に回復することができる。誤り隠蔽アルゴリズムが使用されないとしても、多くの悩ましいアーチファクトを生成することなしに、低いフレームレートの系列｛Ｐm+2，Ｐm+4，．．．，Ｐn-1｝が代わりに表示される。
【００２５】
しかし、このＲＧＯＰ構造は、無線伝送において広く出現するバーストエラーを克服する良好なキャパシティを有する。時間的な方向で連続であるピクチャＰm+1，Ｐm+2，Ｐm+3，Ｐm+4，．．．，Ｐn-2，Ｐn-1は、｛Ｐm+1，Ｐm+3，．．．，Ｐn-2｝の送信と｛Ｐn-1，．．．，Ｐm+4，Ｐm+2｝の送信との間に遅延が存在するように、異なるＲＧＯＰに割り当てられる。バーストエラーが１つの予測チェインで生じたとき、他のチェインは、通常はそのままであり、したがって、復号化されたビデオ系列の品質はほぼ維持することができる。
【００２６】
また、本発明のＲＧＯＰ構造は、前方向予測チェインと後方向予測チェインを含むため、後方向の再生と同様に前方向の再生を容易に提供する。
【００２７】
図５は、図４に示されるのと同じ特徴を有する本発明のＲＧＯＰ構造の第二の実施の形態を示す。ピクチャ｛Ｐm+2，Ｐm+4，．．．，Ｐn-1｝及び｛Ｐn+2，Ｐn+4，．．．，Ｐk-1｝は、前方向に予測符号化され、前方向の予測チェインが形成され、ピクチャ｛Ｐn-2，．．．，Ｐm+3，Ｐm+1｝及び｛Ｐk-2，．．．，Ｐn+3，Ｐn+1｝は、逆方向に予測符号化され、後方向の予測チェインが形成される。伝送順序は、｛ＲＧＯＰi-2｝，｛Ｉm，｛．．．｝，｛Ｐm+2，Ｐm+4，．．．，Ｐn-1｝｝，｛Ｉn，｛Ｐn-2，．．．，Ｐm+3，Ｐm+1｝，｛Ｐn+2，Ｐn+4，．．．，Ｐk-1｝｝，｛Ｉk，｛Ｐk-2，．．．，Ｐn+3，Ｐn+1｝，｛．．．｝｝，｛ＲＧＯＰi+2｝である。
【００２８】
図６は、本発明のＲＧＯＰ構造を示し、インタリーブは非一様である。すなわち、前方向の予測チェインにおけるピクチャ数は、後方向の予測チェインにおけるピクチャ数よりも多い。ピクチャ｛Ｐm+1，Ｐm+2，Ｐm+4，Ｐm+5，．．．，Ｐk-3，Ｐk-2｝は、順方向で予測符号化され、前方向の予測チェインが形成され、ピクチャ｛Ｐk-1，．．．，Ｐm+6，Ｐm+3｝は、逆方向で予測符号化され、後方向の予測チェインが形成される。この構造は、逆方向の再生よりも順方向の再生の利益になる。順方向で符号化されたピクチャの逆方向で符号化されたピクチャに対する割合は、用途の要件に従って変えることができる。
【００２９】
多数のリファレンスフレームは、前方向の予測及び後方向の予測のチェインのそれぞれで採用することできる。しかし、前方向の予測チェインにおけるピクチャは、後方向の予測チェインのピクチャから予測することができず、逆に、後方向の予測チェインにおけるピクチャは、前方向の予測チェインのピクチャから予測することができない。
【００３０】
本発明のＲＧＯＰ構造は、ビデオ系列がＢピクチャを含む場合に一般化することができる。図７に例が示される。エラー耐性ビデオ符号化にとって、ＤＶＤ及びＶＣＲアプリケーションにとって有効である。ピクチャ｛Ｐm+1，Ｐm+3，Ｐm+5，Ｐm+7，Ｐm+9，．．．，Ｐk-2｝は、順方向で予測符号化され、前方向の予測チェインが形成され、ピクチャ｛Ｐk-1，．．．，Ｐm+10，Ｂm+8，Ｐm+6，Ｂm+4，Ｐm+2｝は、逆方向で予測符号化され、後方向の予測チェインが形成される。チェインは、対応するＢピクチャで開始及び／又は終了することもできる。
【００３１】
図８におけるピクセルブロックエンコーダのビデオデータ入力信号ＩＥは、符号化のためにマクロブロックデータを含む。図６又は図７に記載された方式に対応するやり方でピクチャは処理される。イントラフレームのビデオデータの場合、減算器ＳＵＢは、これらを通過させるのを可能にする。これらは変換手段Ｔ及び量子化手段Ｑで処理され、エントロピーエンコーダＥＣＯＤに供給され、このエンコーダは、エンコーダ出力信号ＯＥを出力する。ＥＣＯＤは、たとえば、係数のハフマン符号化を実行し、ヘッダ情報と動きベクトルデータを加算する。インターフレームのビデオデータの場合、予測されたブロック又はマクロブロックデータＰＭＤは、減算器ＳＵＢにおいて入力信号ＩＥから減算され、差分データは、変換手段Ｔ及び量子化手段Ｑを介してエントロピーエンコーダＥＣＯＤに供給される。Ｑの出力信号は、逆量子化手段ＱE-1で処理され、その出力信号は、再構成されたブロック又はマクロブロックの差分データＲＭＤＤの形式で、逆変換手段ＴE-1を介して結合器ＡＤＤＥに供給される。ＡＤＤＥの出力信号は、動き予測及び補償手段ＦＳ_ＭＣ_Ｅにおけるフレームストアでバッファ記憶され、このＦＳ_ＭＣ_Ｅは、図６又は図７で記載された方向で再構成されたブロック又はマクロブロックデータの動き補償を実行し、このように予測されたブロック又はマクロブロックデータＰＭＤをＳＵＢの減算入力及び結合器ＡＤＤＥの他の入力に出力する。量子化手段Ｑ及び逆量子化手段ＱE-1は、エンコーダバッファＥＮＣＢの占有レベルにより制御することができる。ＡＤＤＥの出力信号は、再構成されたフレームデータＲＥＣとしてエンコーダＣＯＤにより出力される。ＳＵＢの出力信号は、残余のフレームデータＲＥＳとしてエンコーダＣＯＤにより出力される。
【００３２】
図９では、符号化された画素データ入力信号ＩＤは、エントロピーデコーダ手段ＥＤＥＣ、逆量子化手段ＱD-1及び逆変換手段ＴD-1を介して、残余のフレームデータＲＥＳとして結合器ＡＤＤＤに供給され、このＡＤＤＤは、再構成されたデータ出力信号ＯＤを出力する。図６又は図７に記載される方式に対応するやり方でピクチャが処理される。ＥＤＥＣは、たとえば、係数のハフマン復号化を実行し、ヘッダ情報及び動きベクトルデータを復号化及び／又は評価することができる。ＱE-1，ＱD-1，ＴE-1，ＴD-1及びＥＤＥＣは、Ｑ，Ｔ及びＥＣＯＤの関数の対応する逆の機能を有する。ＡＤＤＤの出力信号は、動き補償手段ＦＳ_ＭＣ_Ｄにおけるフレームストアにバッファ記憶される。ＦＳ_ＭＣ_Ｄは、図６又は図７に記載される方向で、再構成されたブロック又はマクロブロックデータについて動き補償を行なう。ＦＳ_ＭＣ_Ｄで予測されたブロック又はマクロブロックデータＭＤは、インターフレームの復号化されたブロック又はマクロブロックデータの場合に結合器ＡＤＤＥの第二の入力に送出される。イントラフレームの復号化されたブロック又はマクロブロックデータの場合に、結合器ＡＤＤＤは、ＴD-1から出力信号を単に通過させる。後方又は前方の予測チェインにおけるピクチャ（すなわち少なくとも１つのピクチャ）が正しく受信されていないことをエラー信号ＥＳが示す場合、対応する予測チェインにおける残りのピクチャは復号化することはできないが、前記ビデオ系列（ＩＥ）の欠けている出力ピクチャを生成するため、隣接するグループオブピクチャからの対応するインタリーブされた復号化ピクチャを使用して誤り隠蔽又は補間されるか、又は、対応する予測チェインにおける残りのピクチャは復号化されないが、後続するイントラ符号化ピクチャにより復号化が継続し、現在のチェインの出力信号ＯＤは、そのフレームレートで相応して適合することができる。図８及び図９における変換及び逆変換は、それぞれＤＣＴ又は逆ＤＣＴとすることができる。
【技術分野】
【０００１】
本発明は、ビデオ系列のグループオブピクチャを符号化する方法及び装置に関し、前記グループのそれぞれは、前方向予測及び後方向予測を使用して、イントラ符号化ピクチャ及び２つを超える予測符号化ピクチャを含んでいる。
【背景技術】
【０００２】
公知のＭＰＥＧ／Ｈ．２６ｘビデオ符号化規格（MPEG-1, MPEG-2, MPEG-4, MPEG-4 AVC/H.264,
H.263, VC-1）では、Ｉ（イントラフレーム符号化）ピクチャ、Ｐ（インターフレーム符号化）ピクチャ及びＢ（双方向予測）ピクチャといった基本的に３つのピクチャのタイプが存在する。Ｉピクチャは、エラーを起こしやすいビデオ転送における再同期ポイントとして使用することができるように、リファレンスとして他のピクチャを使用しない。また、Ｉピクチャは、ビデオ編集及び高速前方向／後方向再生におけるランダムアクセスポイントとして使用することもできる。Ｐピクチャは、予測による符号化効率を向上するように、１以上の前のピクチャをリファレンスとして使用することができる。Ｂピクチャは、予測のために前及び後のピクチャを使用し、符号化効率を更に改善する。ビデオ系列は、グループオブピクチャ（ＧＯＰ）構造で通常は符号化され、幾つかのＰ（Ｐ１，Ｐ２，Ｐ３）及びＢピクチャは、図１に示されているように１つのＩピクチャに従って符号化される。しかし、このＧＯＰ構造は、以下の２つの種類の応用において特に問題を有する。
【０００３】
ａ）誤り耐性
たとえば伝送チャネルのエラーのよりピクチャＰ１が失われた場合、後続するＰピクチャは、正しく再構成することができず、エラーは、時間的に伝播し、望まれないアーチファクトを引き起こす。誤り隠蔽はデコーダサイドで採用されるが、重要な情報が失われるので非常に良好にアーチファクトを除くことができない。
【０００４】
ｂ）たとえばＤＶＤ又はＶＣＲといった記憶媒体の記録
ＤＶＤ（digital versatile disc）又はＶＣＲ（video cassette recorder）は、前方向、後方向、停止、一時停止、早送り、巻戻し及びランダムアクセスのような機能を通常は必要とする。しかし、公知のＭＰＥＧのＧＯＰ構造は、前方向の再生のみのために設計されており、逆方向の再生動作を複雑にする。簡単な巻き戻し再生は、後方向でＩピクチャにのみアクセスすることで達成されるが、平滑なピクチャ毎の巻き戻し再生が望まれる場合、非常に多くの複雑さ、帯域幅、及び／又はストレージバッファが必要とされる。たとえば、現在のフレームにまでＧＯＰはデコードされ、次いで、ＧＯＰの開始から表示すべき次のフレームにまでデコードされる。しかし、これは、スループットの高い帯域幅を必要とする。さもなければ、ビットストリームが一度のみデコードされることが期待される場合に、非常に大容量のストレージバッファが必要とされる。
【０００５】
幾つかの異なるＧＯＰ構造は、先の問題を解決するために提案される。誤り耐性について、ビデオ冗長度符号化方法は、Ｈ．２６３コーデックの用途について、S. Wenger, G. Knorr, J. Ott, F. Kossentiniによる“Error Resilience Support in .263+”, IEEE Transactions on Circuits and Systems for Video
Technology, Vol.8, No7, November 1998により開示されている。この方法は、それぞれのピクチャがチェインのうちの１つに割り当てられるようなやり方で、ビデオ系列を２以上のチェインに分割する。それぞれのチェインは、独立に符号化される。２つの予測チェインを使用したＧＯＰ構造は、図２に示される。パケットの損失のためにこれらのチェインのうちの１つがダメージを受けた場合、残りのチェインは、損なわれないままであり、復号化及び表示することができる。他のダメージを受けていないチェインにおける情報を使用することで、ダメージを受けたチェインの復号化を継続するか、又は誤り隠蔽を行うことができ、僅かな主観的な品質の低下となる。また、ダメージを受けたチェインの復号化を停止することも可能であり、これは、フレームレートの低下につながるだけであり、これは、他のエラーのアーチファクトよりも主観的な品質への影響が非常に少ない。両方の場合、結果的に得られる誤り耐性のパフォーマンスは、図１のＧＯＰ予測構造についてよりも非常に良好である。しかし、この構造は、逆再生の機能をサポートしない。
【０００６】
逆再生について、C.W.Lin, J.Zhou, J.Youn, M.T.Sunによる“MPEG Video Streaming with VCR Functionality”, IEEE Transactions on Circuits and Systems for Video
Technology, Vol.11, No.3, March 2001は、サーバで、すなわち符号化プロセスにおいて逆に符号化されたビットストリームを加えることを提案している。符号化を終了して、ビデオ系列の最後のピクチャに到達することに応じて、ビデオ画像は、逆に符号化されたビットストリームを生成するために逆の順序で符号化される。サーバが前方向に符号化されたビットストリームのみを有する場合（すなわちオリジナルの系列は利用不可能である）、前方のビットストリームは、逆方向で（すなわち最後のＧＯＰから最初のＧＯＰに）２つのＧＯＰにまでデコードすることができ、次いで、ビデオ系列は、逆の順序で再符号化される。逆方向の符号化されたビットストリームの生成は、オフラインで実行される。しかし、それぞれのピクチャは、２度符号化され、したがって、ビットストリームサイズが殆ど２倍になる。
【０００７】
T. Fang, L.P. Chauによる“An error-resilient GOP structure for robust video
transmission”, IEEE Transactions on Multimedia, Vol.7,
No.6, December 2005は、誤り耐性及びＶＣＲの逆再生の両者を考慮した新たなＧＯＰ構造を提案する。それぞれのＧＯＰの真ん中にＩピクチャを配置することで、予測されるＰピクチャは、２つの部分に区分され、図３における対応するＧＯＰ構造（Ｂピクチャなし）で示されるように、それらの半分（Ｐn-1，．．．，Ｐm+i+1）は、後方予測符号化され、それらの半分（Ｐn+1，．．．，Ｐn+j）は、前方予測符号化される。下付き文字は、オリジナルのビデオ系列におけるピクチャの時間的な番号であり、下付き文字は、ｉ＞１，ｎ−１＞ｍ＋ｉ＋１，ｊ＞１及びｋ−１＞ｎ＋ｊ＋１として単調に増加する。Ｂピクチャが含まれる場合、構造は、仮想的に影響されない。明らかに、１つのＰピクチャが破壊された場合、多くともＧＯＰの半分にのみ影響を及ぼし、ピクチャＩnの他のサイドで配置されるＧＯＰの他の半分は影響されない。実際に、このＧＯＰ構造は、２つの予測チェインの別の形式であり、１つのチェインは前方であり、他方は後方である。
【０００８】
一方で、このＧＯＰ構造は、ＧＯＰにおけるＰフレームの半分が既に逆に再生されているので、逆の再生を部分的に容易にする。他方で、このＧＯＰ構造は、誤り耐性及び逆の再生の両者において問題点を有する。Ｐm+1が失われた場合、Ｐm+1からＰm+iが破壊され、エラーアーチファクトは、この時間期間において通知される。ピクチャチェインＰn-1〜Ｐm+i+1は正しく受信されるが、Ｐm+1からＰm+iへの時間期間のピクチャの復号化の支援を提供しない。したがって、このＧＯＰ構造は、図２に示されるＧＯＰ構造と同様に良好な誤り耐性のパフォーマンスを提供することができない。さらに、このＧＯＰ構造は、連続するＰフレームの半分が前方符号化されるため、連続的な逆再生機能を提供することができない。詳細には、逆再生の処理順序は、Ｉk→Ｐk-1→・・・→Ｐn+j+1→Ｉn→Ｐn-1→・・・→Ｐm+i+1→Ｉm・・・である。したがって、Ｐn+j〜Ｐn+1の間及びＰm+i〜Ｐm+1の間にギャップが存在し、逆再生において大きなジッタを引き起こす。Ｐn+jからＰn+1まで及びＰm+iからＰm+1までのピクチャが表示されることが現実に必要である場合、通常のマルチパス復号化又は大きなバッファリングが必要であり、これは標準的なＧＯＰ構造におけるのと同じ問題である。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】S.Wenger, G. Knorr, J. Ott, F. Kossentini, “ErrorResilience Support in .263+”, IEEE Transactionson Circuits and Systems for Video Technology, Vol.8, No7, November 1998
【非特許文献２】C.W.Lin,J.Zhou, J.Youn, M.T.Sun, “MPEG Video Streaming with VCR Functionality”, IEEE Transactions on Circuits and Systems for VideoTechnology, Vol.11, No.3, March 2001
【非特許文献３】T. Fang,L.P. Chau, “An error-resilient GOP structure for robustvideo transmission”, IEEE Transactions on Multimedia, Vol.7,No.6, December 2005
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明により解決される課題は、ビデオ伝送の誤り耐性を向上し、緩やかな逆再生機能を容易にするＧＯＰ構造を提供することにある。
【課題を解決するための手段】
【００１１】
この課題は、請求項１及び３に開示される方法により解決され、これらの方法を利用した装置は、請求項２及び４により開示される。
【００１２】
本発明によれば、ビデオ符号化及び復号化についてリバーシブルＧＯＰ（RGOP）構造が使用される。ＲＧＯＰ構造は、前方向符号化チェイン及び後方向符号化チェインの両者を含む。ＲＧＯＰ構造におけるそれぞれのピクチャは、これらのチェインのうちの１つに割り当てられ、２つのチェインのうちのビデオピクチャがインタリーブされる。
【００１３】
このＲＧＯＰ構造は、誤り耐性を向上する。これは、１つの予測チェインが破壊され、他の予測チェインが破壊されていない場合に、以下に説明されるように、ビデオ系列は、知覚できるアーチファクトなしにデコードされ、緩やかに表示することができるためである。このＲＧＯＰ構造は、記録の用途について、容易且つ緩やかな逆再生機能をも提供する。
【００１４】
本発明の処理の更なるコストは、最も近いフレームを使用しない符号化における予測による符号化効率の小さな減少である。しかし、冗長なビットは、誤り耐性又は回復を向上するために価値がある。
【００１５】
原理において、本発明の符号化方法は、ビデオ系列のグループオブピクチャを符号化するために適しており、前記グループのそれぞれは、イントラ符号化ピクチャ及び２つを超える予測符号化ピクチャを含んでおり、前記予測符号化ピクチャの一方の部分は、前記イントラ符号化ピクチャから開始して後方向予測符号化され、前記予測符号化ピクチャの他方の部分は、前記イントラ符号化ピクチャから開始して前方向予測符号化され、これにより、ピクチャは、これら前方向及び後方向予測符号化ピクチャのチェインで省略され、これにより、前記ビデオ系列の２つ毎の隣接するグループオブピクチャは、オーバラップするやり方で配置され、現在のグループオブピクチャにおける前方向及び後方向予測符号化ピクチャのチェインにおいて欠けているピクチャは、前記隣接するオーバラップするグループオブピクチャのうちの１つでインタリーブされるやり方で含まれる。
【００１６】
原理において、本発明の符号化装置は、ビデオ系列のグループオブピクチャを符号化するために適しており、前記グループのそれぞれは、イントラ符号化ピクチャ及び２つを超える予測符号化ピクチャを含む。当該装置は、前記イントラ符号化ピクチャから始めて、前記予測符号化されたピクチャの一部を後方向予測符号化し、前記イントラ符号化ピクチャから始めて前記予測符号化ピクチャの他の部分を前方向予測符号化する手段を含んでおり、これにより、ピクチャは、これら前方向及び後方向予測符号化ピクチャのチェインで省略され、これにより、前記ビデオ系列の２つ毎の隣接するグループオブピクチャは、オーバラップするやり方で配置され、現在のグループオブピクチャにおける前方向及び後方向予測符号化ピクチャのチェインにおいて欠けているピクチャは、前記隣接するオーバラップするグループオブピクチャのうちの１つでインタリーブされるやり方で含まれる。
【００１７】
原理において、本発明の復号化方法は、ビデオ系列のグループオブピクチャを復号化するために適しており、前記グループのそれぞれは、イントラ符号化ピクチャ及び２つを超える予測符号化ピクチャを含んでおり、前記予測符号化ピクチャのうちの一部は、前記イントラ符号化ピクチャから開始して後方向予測符号化され、前記予測符号化ピクチャのうちの他の部分は、前記イントラ符号化ピクチャから開始して前方向予測符号化され、前記ピクチャの前記復号化は、対応する順序で実行され、これにより、ピクチャは、これら前方及び後方予測符号化ピクチャのチェインで省略され、これにより、前記ビデオ系列の２つ毎の隣接するグループオブピクチャは、オーバラップするやり方で配置され、現在のグループオブピクチャにおける前方向及び後方向予測符号化ピクチャのチェインにおいて欠けているピクチャは、前記隣接するオーバラップするグループオブピクチャのうちの１つでインタリーブされるやり方で含まれる。前記復号化では、前記ビデオ系列のオリジナルのピクチャの順序で、復号化された出力信号について対応する復号化されたピクチャが組立てられる。
【００１８】
原理において、本発明の復号化装置は、ビデオ系列のグループオブピクチャを復号化するために適しており、前記グループのそれぞれは、イントラ符号化ピクチャ及び２つを超える予測符号化ピクチャを含んでおり、前記予測符号化ピクチャのうちの一部は、前記イントラ符号化ピクチャから開始して後方向予測符号化され、前記予測符号化ピクチャのうちの他の部分は、前記イントラ符号化ピクチャから開始して前方向予測符号化され、これにより、ピクチャは、これら前方向及び後方向予測符号化ピクチャのチェインで省略され、これにより、前記ビデオ系列の２つ毎の隣接するグループオブピクチャは、オーバラップするやり方で配置され、現在のグループオブピクチャにおける前方向及び後方向予測符号化ピクチャのチェインにおいて欠けているピクチャは、前記隣接するオーバラップするグループオブピクチャのうちの１つでインタリーブされるやり方で含まれる。当該装置は、対応する順序で、前記グループオブピクチャのピクチャをデコードするために適合され、前記ビデオ系列のオリジナルのピクチャの順序で、復号化された出力信号について対応する復号化ピクチャをアセンブルする手段を含む。
【００１９】
本発明の有利な更なる実施の形態は、それぞれの従属の請求項で開示される。
【図面の簡単な説明】
【００２０】
本発明の例示的な実施の形態は、添付図面を参照して記載される。
【図１】典型的なＭＰＥＧ ＧＯＰ構造を示す図である。
【図２】２つの予測チェインをもつ公知のＧＯＰ構造を示す図である。
【図３】ＩピクチャがＧＯＰの真ん中に配置される公知のＧＯＰ構造を示す図である。
【図４】本発明のＲＧＯＰ構造を示す図である。
【図５】本発明のＲＧＯＰ構造の別の例を示す図である。
【図６】非一様なインタリーブによる本発明のＲＧＯＰ構造を示す図である。
【図７】Ｂピクチャが含まれる本発明のＲＧＯＰ構造を示す図である。
【図８】本発明のエンコーダの例を示す図である。
【図９】本発明のデコーダの例を示す図である。
【発明を実施するための形態】
【００２１】
ＲＧＯＰ構造では、時間的に連続するピクチャのグループは、インタリーブされ、２つの予測チェインにリスケジューリングされる。すなわち、ピクチャの半分は、前のＩピクチャから始まる予測により前方向予測され、ピクチャの残りは、後のＩピクチャから始まる予測により後方向予測される。好ましくは、逆のピクチャのビットストリームは、新たなＲＧＯＰを形成するため、前方符号化ピクチャのビットストリームに従って送出される。
【００２２】
典型的なＲＧＯＰ構造は、図４に示される。ピクチャＩm，Ｐm+1，Ｐm+2，Ｐm+3，Ｐm+4，．．．，Ｐn-2，Ｐn-1，Ｉn，Ｐn+1，Ｐn+2，Ｐn+3，Ｐn+4，．．．，Ｐk-2，Ｐk-1，Ｉk，．．．，を含み、２つのＧＯＰの長さを有するオリジナルのビデオ系列では、後方向でピクチャＩnから開始する逆方向の予測符号化のチェインについて、ピクチャＰm+2，Ｐm+4，．．．，Ｐn-1が選択され、前方向でピクチャＩnから開始する順方向の予測符号化のチェインについて、ピクチャＰn+1，Ｐn+3，．．．，Ｐk-2が選択される。これら２つのチェインは、互いに新たなＲＧＯＰiを構築する。対応して、ピクチャＰm+1，Ｐm+3，．．．，Ｐn-2は、前のＲＧＯＰi-1における順方向の予測符号化のチェインを形成し、ピクチャＰn+2，Ｐn+4，．．．，Ｐk-1は、後のＲＧＯＰi+1における逆方向の予測符号化のチェインを形成し、すなわち、それぞれのＲＧＯＰは、後方向予測符号化のチェインを含み、前方向予測符号化のチェインを含む。隣接するＲＧＯＰ及びそれらのピクチャはインタリーブされ、すなわち、ビデオ系列のＧＯＰの長さのセクション内で、１つおきのピクチャは、現在のＲＧＯＰiに属し、中間のピクチャは、対応する隣接するＲＧＯＰi-1又はＲＧＯＰi+1に属する。
【００２３】
それぞれのＲＧＯＰのビットストリームは、Ｉピクチャ、後方向予測符号化チェイン、前方向予測符号化チェインを含む。これは、｛Ｉ，｛後方向予測符号化チェイン｝，｛前方向予測符号化チェイン｝｝として示すことができる。図４のケースでは、伝送順序は、｛ＲＧＯＰi-2｝，｛Ｉm，｛．．．｝，｛Ｐm+1，Ｐm+3，．．．，Ｐn-2｝｝，｛Ｉn，｛Ｐn-1，．．．，Ｐm+4，Ｐm+2｝，｛Ｐn+1，Ｐn+3，．．．，Ｐk-2｝｝，｛Ｉk，｛Ｐk-1，．．．，Ｐn+4，Ｐn+2｝，｛．．．｝｝，｛ＲＧＯＰi+2｝である。
【００２４】
誤り耐性又は回復について、ある予測チェインにおけるあるピクチャ（たとえばＰm+1）が失われた場合、次のＧＯＰにおける次のＩピクチャ（たとえばＩn）に戻り、次いで、後方向又は逆方向に復号化する。したがって、Ｐn-1，．．．，Ｐm+4，Ｐm+2は、正しく復号化することができる。これら正しく復号化されたピクチャを使用することで、ピクチャ｛Ｐm+1，Ｐm+3，．．．，Ｐn-2｝は、誤り隠蔽又は補間スキームにより良好に回復することができる。誤り隠蔽アルゴリズムが使用されないとしても、多くの悩ましいアーチファクトを生成することなしに、低いフレームレートの系列｛Ｐm+2，Ｐm+4，．．．，Ｐn-1｝が代わりに表示される。
【００２５】
しかし、このＲＧＯＰ構造は、無線伝送において広く出現するバーストエラーを克服する良好なキャパシティを有する。時間的な方向で連続であるピクチャＰm+1，Ｐm+2，Ｐm+3，Ｐm+4，．．．，Ｐn-2，Ｐn-1は、｛Ｐm+1，Ｐm+3，．．．，Ｐn-2｝の送信と｛Ｐn-1，．．．，Ｐm+4，Ｐm+2｝の送信との間に遅延が存在するように、異なるＲＧＯＰに割り当てられる。バーストエラーが１つの予測チェインで生じたとき、他のチェインは、通常はそのままであり、したがって、復号化されたビデオ系列の品質はほぼ維持することができる。
【００２６】
また、本発明のＲＧＯＰ構造は、前方向予測チェインと後方向予測チェインを含むため、後方向の再生と同様に前方向の再生を容易に提供する。
【００２７】
図５は、図４に示されるのと同じ特徴を有する本発明のＲＧＯＰ構造の第二の実施の形態を示す。ピクチャ｛Ｐm+2，Ｐm+4，．．．，Ｐn-1｝及び｛Ｐn+2，Ｐn+4，．．．，Ｐk-1｝は、前方向に予測符号化され、前方向の予測チェインが形成され、ピクチャ｛Ｐn-2，．．．，Ｐm+3，Ｐm+1｝及び｛Ｐk-2，．．．，Ｐn+3，Ｐn+1｝は、逆方向に予測符号化され、後方向の予測チェインが形成される。伝送順序は、｛ＲＧＯＰi-2｝，｛Ｉm，｛．．．｝，｛Ｐm+2，Ｐm+4，．．．，Ｐn-1｝｝，｛Ｉn，｛Ｐn-2，．．．，Ｐm+3，Ｐm+1｝，｛Ｐn+2，Ｐn+4，．．．，Ｐk-1｝｝，｛Ｉk，｛Ｐk-2，．．．，Ｐn+3，Ｐn+1｝，｛．．．｝｝，｛ＲＧＯＰi+2｝である。
【００２８】
図６は、本発明のＲＧＯＰ構造を示し、インタリーブは非一様である。すなわち、前方向の予測チェインにおけるピクチャ数は、後方向の予測チェインにおけるピクチャ数よりも多い。ピクチャ｛Ｐm+1，Ｐm+2，Ｐm+4，Ｐm+5，．．．，Ｐk-3，Ｐk-2｝は、順方向で予測符号化され、前方向の予測チェインが形成され、ピクチャ｛Ｐk-1，．．．，Ｐm+6，Ｐm+3｝は、逆方向で予測符号化され、後方向の予測チェインが形成される。この構造は、逆方向の再生よりも順方向の再生の利益になる。順方向で符号化されたピクチャの逆方向で符号化されたピクチャに対する割合は、用途の要件に従って変えることができる。
【００２９】
多数のリファレンスフレームは、前方向の予測及び後方向の予測のチェインのそれぞれで採用することできる。しかし、前方向の予測チェインにおけるピクチャは、後方向の予測チェインのピクチャから予測することができず、逆に、後方向の予測チェインにおけるピクチャは、前方向の予測チェインのピクチャから予測することができない。
【００３０】
本発明のＲＧＯＰ構造は、ビデオ系列がＢピクチャを含む場合に一般化することができる。図７に例が示される。エラー耐性ビデオ符号化にとって、ＤＶＤ及びＶＣＲアプリケーションにとって有効である。ピクチャ｛Ｐm+1，Ｐm+3，Ｐm+5，Ｐm+7，Ｐm+9，．．．，Ｐk-2｝は、順方向で予測符号化され、前方向の予測チェインが形成され、ピクチャ｛Ｐk-1，．．．，Ｐm+10，Ｂm+8，Ｐm+6，Ｂm+4，Ｐm+2｝は、逆方向で予測符号化され、後方向の予測チェインが形成される。チェインは、対応するＢピクチャで開始及び／又は終了することもできる。
【００３１】
図８におけるピクセルブロックエンコーダのビデオデータ入力信号ＩＥは、符号化のためにマクロブロックデータを含む。図６又は図７に記載された方式に対応するやり方でピクチャは処理される。イントラフレームのビデオデータの場合、減算器ＳＵＢは、これらを通過させるのを可能にする。これらは変換手段Ｔ及び量子化手段Ｑで処理され、エントロピーエンコーダＥＣＯＤに供給され、このエンコーダは、エンコーダ出力信号ＯＥを出力する。ＥＣＯＤは、たとえば、係数のハフマン符号化を実行し、ヘッダ情報と動きベクトルデータを加算する。インターフレームのビデオデータの場合、予測されたブロック又はマクロブロックデータＰＭＤは、減算器ＳＵＢにおいて入力信号ＩＥから減算され、差分データは、変換手段Ｔ及び量子化手段Ｑを介してエントロピーエンコーダＥＣＯＤに供給される。Ｑの出力信号は、逆量子化手段ＱE-1で処理され、その出力信号は、再構成されたブロック又はマクロブロックの差分データＲＭＤＤの形式で、逆変換手段ＴE-1を介して結合器ＡＤＤＥに供給される。ＡＤＤＥの出力信号は、動き予測及び補償手段ＦＳ_ＭＣ_Ｅにおけるフレームストアでバッファ記憶され、このＦＳ_ＭＣ_Ｅは、図６又は図７で記載された方向で再構成されたブロック又はマクロブロックデータの動き補償を実行し、このように予測されたブロック又はマクロブロックデータＰＭＤをＳＵＢの減算入力及び結合器ＡＤＤＥの他の入力に出力する。量子化手段Ｑ及び逆量子化手段ＱE-1は、エンコーダバッファＥＮＣＢの占有レベルにより制御することができる。ＡＤＤＥの出力信号は、再構成されたフレームデータＲＥＣとしてエンコーダＣＯＤにより出力される。ＳＵＢの出力信号は、残余のフレームデータＲＥＳとしてエンコーダＣＯＤにより出力される。
【００３２】
図９では、符号化された画素データ入力信号ＩＤは、エントロピーデコーダ手段ＥＤＥＣ、逆量子化手段ＱD-1及び逆変換手段ＴD-1を介して、残余のフレームデータＲＥＳとして結合器ＡＤＤＤに供給され、このＡＤＤＤは、再構成されたデータ出力信号ＯＤを出力する。図６又は図７に記載される方式に対応するやり方でピクチャが処理される。ＥＤＥＣは、たとえば、係数のハフマン復号化を実行し、ヘッダ情報及び動きベクトルデータを復号化及び／又は評価することができる。ＱE-1，ＱD-1，ＴE-1，ＴD-1及びＥＤＥＣは、Ｑ，Ｔ及びＥＣＯＤの関数の対応する逆の機能を有する。ＡＤＤＤの出力信号は、動き補償手段ＦＳ_ＭＣ_Ｄにおけるフレームストアにバッファ記憶される。ＦＳ_ＭＣ_Ｄは、図６又は図７に記載される方向で、再構成されたブロック又はマクロブロックデータについて動き補償を行なう。ＦＳ_ＭＣ_Ｄで予測されたブロック又はマクロブロックデータＭＤは、インターフレームの復号化されたブロック又はマクロブロックデータの場合に結合器ＡＤＤＥの第二の入力に送出される。イントラフレームの復号化されたブロック又はマクロブロックデータの場合に、結合器ＡＤＤＤは、ＴD-1から出力信号を単に通過させる。後方又は前方の予測チェインにおけるピクチャ（すなわち少なくとも１つのピクチャ）が正しく受信されていないことをエラー信号ＥＳが示す場合、対応する予測チェインにおける残りのピクチャは復号化することはできないが、前記ビデオ系列（ＩＥ）の欠けている出力ピクチャを生成するため、隣接するグループオブピクチャからの対応するインタリーブされた復号化ピクチャを使用して誤り隠蔽又は補間されるか、又は、対応する予測チェインにおける残りのピクチャは復号化されないが、後続するイントラ符号化ピクチャにより復号化が継続し、現在のチェインの出力信号ＯＤは、そのフレームレートで相応して適合することができる。図８及び図９における変換及び逆変換は、それぞれＤＣＴ又は逆ＤＣＴとすることができる。
【特許請求の範囲】
【請求項１】
ビデオ系列のグループオブピクチャを符号化する方法であって、前記グループのそれぞれは、イントラ符号化ピクチャ及び２つを超える予測符号化ピクチャを含み、
前記予測符号化ピクチャのうちの一方の部分は、前記イントラ符号化ピクチャから開始して後方向で予測符号化され、前記予測符号化ピクチャのうちの他方の部分は、前記イントラ符号化ピクチャから開始して前方向で予測符号化され、
これら前方向及び後方向で予測符号化されたピクチャのチェインにおいてピクチャが省略され、
前記ビデオ系列の２つの毎の隣接するグループオブピクチャは、オーバラップするやり方で配置され、現在のグループオブピクチャにおける前方向及び後方向予測符号化ピクチャのチェインにおいて欠けているピクチャは、前記隣接するオーバラップしているグループオブピクチャの１つでインタリーブされる方式で含まれる、
ことを特徴とする方法。
【請求項２】
ビデオ系列のグループオブピクチャを符号化する装置であって、前記グループのそれぞれは、イントラ符号化ピクチャ及び２つを超える予測符号化ピクチャを含み、
当該方法は、
前記予測符号化ピクチャのうちの一方の部分を、前記イントラ符号化ピクチャから開始して後方向で予測符号化し、前記予測符号化ピクチャのうちの他方の部分を、前記イントラ符号化ピクチャから開始して前方向で予測符号化する手段を有し、
これら前方向及び後方向予測符号化されたピクチャのチェインにおいてピクチャが省略され、
前記ビデオ系列の２つの毎の隣接するグループオブピクチャは、オーバラップするやり方で配置され、現在のグループオブピクチャにおける前方向及び後方向予測符号化ピクチャのチェインにおいて欠けているピクチャは、前記隣接するオーバラップしているグループオブピクチャの１つでインタリーブされる方式で含まれる、
ことを特徴とする装置。
【請求項３】
ビデオ系列のグループオブピクチャを復号化する方法であって、前記グループのそれぞれは、イントラ符号化ピクチャ及び２つを超える予測符号化ピクチャを含み、
前記予測符号化ピクチャのうちの一方の部分は、前記イントラ符号化ピクチャから開始して後方向で予測符号化されており、前記予測符号化ピクチャのうちの他方の部分は、前記イントラ符号化ピクチャから開始して前方向で予測符号化されており、前記ピクチャの復号化は、対応する順序で実行され、
これら前方向及び後方向で予測符号化されたピクチャのチェインにおいてピクチャが省略されており、
前記ビデオ系列の２つの毎の隣接するグループオブピクチャは、オーバラップするやり方で配置されており、現在のグループオブピクチャにおける前方向及び後方向予測符号化ピクチャのチェインにおいて欠けているピクチャが前記隣接するオーバラップしているグループオブピクチャの１つでインタリーブされる方式で含まれており、
前記復号化において、前記ビデオ系列のオリジナルのピクチャの順序で、復号化された出力信号について復号化ピクチャが構成される、
ことを特徴とする方法。
【請求項４】
ビデオ系列のグループオブピクチャを復号化する装置であって、前記グループのそれぞれは、イントラ符号化ピクチャ及び２つを超える予測符号化ピクチャを含み、
前記予測符号化ピクチャのうちの一方の部分は、前記イントラ符号化ピクチャから開始して後方向で予測符号化されており、前記予測符号化ピクチャのうちの他方の部分は、前記イントラ符号化ピクチャから開始して前方向で予測符号化されており、
これら前方向及び後方向で予測符号化されたピクチャのチェインにおいてピクチャが省略されており、
前記ビデオ系列の２つの毎の隣接するグループオブピクチャは、オーバラップするやり方で配置されており、現在のグループオブピクチャにおける前方向及び後方向予測符号化ピクチャのチェインにおいて欠けているピクチャは、前記隣接するオーバラップしているグループオブピクチャの１つでインタリーブされる方式で含まれており、
当該装置は、
対応する順序で前記グループオブピクチャのうちのピクチャを復号化し、前記ビデオ系列のオリジナルのピクチャの順序で、復号化された出力信号について復号化ピクチャを構成する手段を有する、
ことを特徴とする方法。
【請求項５】
前記インタリーブは非一様に行なわれる、
請求項１又は３記載の方法、請求項２又は４記載の装置。
【請求項６】
前記前方向及び後方向予測符号化ピクチャのチェインは、双方向予測符号化ピクチャを含む、
請求項１又は３記載の方法、請求項２又は４記載の装置。
【請求項７】
前記前方向又は後方向予測符号化ピクチャにおける少なくとも１つのピクチャが誤りを含んで受信された場合、対応する予測チェインにおける残りのピクチャは復号化されないが、後続のイントラ符号化ピクチャにより復号化が継続する、
請求項３、５又は６記載の方法、請求項４乃至６の何れか記載の装置。
【請求項８】
前記復号化された出力信号のフレームレートは、相応して適合される、
請求項７記載の方法又は装置。
【請求項９】
前記前方向又は後方向予測符号化ピクチャのチェインにおける少なくとも１つのピクチャが誤りを含んで受信された場合、対応する予測チェインにおける残りのピクチャは復号化されないが、隣接するグループオブピクチャからの対応するインタリーブされた復号化ピクチャを使用して誤り隠蔽されるか、又は補間される、
請求項３、５又は６記載の方法、請求項４乃至６の何れか記載の装置。
【請求項１０】
請求項１、５及び６の何れか記載の方法に従って符号化されたデジタルビデオ信号を含む又は記憶するか、或いは該デジタルビデオ信号を記録した、たとえば光ディスクといった記憶媒体。
【請求項１】
ビデオ系列のグループオブピクチャを符号化する方法であって、前記グループのそれぞれは、イントラ符号化ピクチャ及び２つを超える予測符号化ピクチャを含み、
前記予測符号化ピクチャのうちの一方の部分は、前記イントラ符号化ピクチャから開始して後方向で予測符号化され、前記予測符号化ピクチャのうちの他方の部分は、前記イントラ符号化ピクチャから開始して前方向で予測符号化され、
これら前方向及び後方向で予測符号化されたピクチャのチェインにおいてピクチャが省略され、
前記ビデオ系列の２つの毎の隣接するグループオブピクチャは、オーバラップするやり方で配置され、現在のグループオブピクチャにおける前方向及び後方向予測符号化ピクチャのチェインにおいて欠けているピクチャは、前記隣接するオーバラップしているグループオブピクチャの１つでインタリーブされる方式で含まれる、
ことを特徴とする方法。
【請求項２】
ビデオ系列のグループオブピクチャを符号化する装置であって、前記グループのそれぞれは、イントラ符号化ピクチャ及び２つを超える予測符号化ピクチャを含み、
当該方法は、
前記予測符号化ピクチャのうちの一方の部分を、前記イントラ符号化ピクチャから開始して後方向で予測符号化し、前記予測符号化ピクチャのうちの他方の部分を、前記イントラ符号化ピクチャから開始して前方向で予測符号化する手段を有し、
これら前方向及び後方向予測符号化されたピクチャのチェインにおいてピクチャが省略され、
前記ビデオ系列の２つの毎の隣接するグループオブピクチャは、オーバラップするやり方で配置され、現在のグループオブピクチャにおける前方向及び後方向予測符号化ピクチャのチェインにおいて欠けているピクチャは、前記隣接するオーバラップしているグループオブピクチャの１つでインタリーブされる方式で含まれる、
ことを特徴とする装置。
【請求項３】
ビデオ系列のグループオブピクチャを復号化する方法であって、前記グループのそれぞれは、イントラ符号化ピクチャ及び２つを超える予測符号化ピクチャを含み、
前記予測符号化ピクチャのうちの一方の部分は、前記イントラ符号化ピクチャから開始して後方向で予測符号化されており、前記予測符号化ピクチャのうちの他方の部分は、前記イントラ符号化ピクチャから開始して前方向で予測符号化されており、前記ピクチャの復号化は、対応する順序で実行され、
これら前方向及び後方向で予測符号化されたピクチャのチェインにおいてピクチャが省略されており、
前記ビデオ系列の２つの毎の隣接するグループオブピクチャは、オーバラップするやり方で配置されており、現在のグループオブピクチャにおける前方向及び後方向予測符号化ピクチャのチェインにおいて欠けているピクチャが前記隣接するオーバラップしているグループオブピクチャの１つでインタリーブされる方式で含まれており、
前記復号化において、前記ビデオ系列のオリジナルのピクチャの順序で、復号化された出力信号について復号化ピクチャが構成される、
ことを特徴とする方法。
【請求項４】
ビデオ系列のグループオブピクチャを復号化する装置であって、前記グループのそれぞれは、イントラ符号化ピクチャ及び２つを超える予測符号化ピクチャを含み、
前記予測符号化ピクチャのうちの一方の部分は、前記イントラ符号化ピクチャから開始して後方向で予測符号化されており、前記予測符号化ピクチャのうちの他方の部分は、前記イントラ符号化ピクチャから開始して前方向で予測符号化されており、
これら前方向及び後方向で予測符号化されたピクチャのチェインにおいてピクチャが省略されており、
前記ビデオ系列の２つの毎の隣接するグループオブピクチャは、オーバラップするやり方で配置されており、現在のグループオブピクチャにおける前方向及び後方向予測符号化ピクチャのチェインにおいて欠けているピクチャは、前記隣接するオーバラップしているグループオブピクチャの１つでインタリーブされる方式で含まれており、
当該装置は、
対応する順序で前記グループオブピクチャのうちのピクチャを復号化し、前記ビデオ系列のオリジナルのピクチャの順序で、復号化された出力信号について復号化ピクチャを構成する手段を有する、
ことを特徴とする方法。
【請求項５】
前記インタリーブは非一様に行なわれる、
請求項１又は３記載の方法、請求項２又は４記載の装置。
【請求項６】
前記前方向及び後方向予測符号化ピクチャのチェインは、双方向予測符号化ピクチャを含む、
請求項１又は３記載の方法、請求項２又は４記載の装置。
【請求項７】
前記前方向又は後方向予測符号化ピクチャにおける少なくとも１つのピクチャが誤りを含んで受信された場合、対応する予測チェインにおける残りのピクチャは復号化されないが、後続のイントラ符号化ピクチャにより復号化が継続する、
請求項３、５又は６記載の方法、請求項４乃至６の何れか記載の装置。
【請求項８】
前記復号化された出力信号のフレームレートは、相応して適合される、
請求項７記載の方法又は装置。
【請求項９】
前記前方向又は後方向予測符号化ピクチャのチェインにおける少なくとも１つのピクチャが誤りを含んで受信された場合、対応する予測チェインにおける残りのピクチャは復号化されないが、隣接するグループオブピクチャからの対応するインタリーブされた復号化ピクチャを使用して誤り隠蔽されるか、又は補間される、
請求項３、５又は６記載の方法、請求項４乃至６の何れか記載の装置。
【請求項１０】
請求項１、５及び６の何れか記載の方法に従って符号化されたデジタルビデオ信号を含む又は記憶するか、或いは該デジタルビデオ信号を記録した、たとえば光ディスクといった記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公表番号】特表２０１０−５０３２９６（Ｐ２０１０−５０３２９６Ａ）
【公表日】平成２２年１月２８日（２０１０．１．２８）
【国際特許分類】
【出願番号】特願２００９−５２６９９３（Ｐ２００９−５２６９９３）
【出願日】平成１８年９月７日（２００６．９．７）
【国際出願番号】ＰＣＴ／ＣＮ２００６／００２３０８
【国際公開番号】ＷＯ２００８／０３１２６３
【国際公開日】平成２０年３月２０日（２００８．３．２０）
【出願人】（５０１２６３８１０）トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ
【住所又は居所原語表記】４６ Ｑｕａｉ Ａ． Ｌｅ Ｇａｌｌｏ， Ｆ−９２１００ Ｂｏｕｌｏｇｎｅ−Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ
【Ｆターム（参考）】
【公表日】平成２２年１月２８日（２０１０．１．２８）
【国際特許分類】
【出願日】平成１８年９月７日（２００６．９．７）
【国際出願番号】ＰＣＴ／ＣＮ２００６／００２３０８
【国際公開番号】ＷＯ２００８／０３１２６３
【国際公開日】平成２０年３月２０日（２００８．３．２０）
【出願人】（５０１２６３８１０）トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ
【住所又は居所原語表記】４６ Ｑｕａｉ Ａ． Ｌｅ Ｇａｌｌｏ， Ｆ−９２１００ Ｂｏｕｌｏｇｎｅ−Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ
【Ｆターム（参考）】
[ Back to top ]