デジタルビデオ符号化処理における可変精度ピクチャ間タイミング指定方法及び装置
【課題】デジタルビデオ符号化処理における可変精度ピクチャ間のタイミング指定方法及び装置が開示されている。本発明は、近くのビデオピクチャ同士の相対的なタイミングをとても効率の良い手法で符号化できるシステムを開示している。
【解決手段】１つの実施例では、現在のビデオピクチャ１０５と近傍のビデオピクチャの間の表示時間差が決定される。そして表示時間差はビデオピクチャのデジタル表示に符号化される１８０。好適な実施例では、上記近傍のビデオピクチャは、直前に伝送された記録ピクチャである。符号化の効率アップのために、表示時間差は可変長符号化システムまたは算術コーディングを使用して符号化される。他の実施例では、表示時間差は、伝送ビット数を減ずるために２の累乗として符号化される。
【解決手段】１つの実施例では、現在のビデオピクチャ１０５と近傍のビデオピクチャの間の表示時間差が決定される。そして表示時間差はビデオピクチャのデジタル表示に符号化される１８０。好適な実施例では、上記近傍のビデオピクチャは、直前に伝送された記録ピクチャである。符号化の効率アップのために、表示時間差は可変長符号化システムまたは算術コーディングを使用して符号化される。他の実施例では、表示時間差は、伝送ビット数を減ずるために２の累乗として符号化される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はマルチメディア圧縮システムの分野に関連している。特に、本発明は可変精度のピクチャ間タイミングを指定する方法及び装置を開示する。
【背景技術】
【０００２】
デジタル式の電子媒体フォーマットはついに、アナログ式の電子媒体フォーマットに取って代わるところまで来ている。デジタルコンパクトディスク（ＣＤ）はずっと以前にアナログ式のビニール製記録媒体に取って代わっている。アナログ式の磁気カセットテープは益々に減少してきている。第２及び第３世代のデジタルオーディオシステム（例えばミニディスクやＭＰ３（ＭＰＥＧオーディオのレイヤ３）は今日では、第１世代のデジタルオーディオフォーマットのコンパクトディスクに代わって市場を支配しつつある。
ビデオ媒体は、オーディオに比べゆっくりとデジタル式記録及び伝送フォーマットに移行している。その大きな理由はデジタルフォーマットで正確にビデオ（画像）を表現するためには膨大な量のデジタル情報が必要だからである。ビデオを正確に表現・表示するために膨大な量のデジタル情報が必要であるということは、非常に大容量のデジタル記録システムと高帯域伝送システムが必要であることを意味する。
【０００３】
しかし、ビデオは現在、急速にデジタル記録及び伝送フォーマットに移行している。より早いコンピュータプロセッサ、高密度記録システム、並びに、新しい高効率圧縮及び符号化アルゴリズムにより、デジタルビデオの価格は一般消費者が購入できるレベルになった。デジタルビデオシステムであるＤＶＤは近年最もハイスピードで消費者に売れた電子製品の１つである。ＤＶＤは、高い画像品質、とても優れた音声品質、利便性及び付加的な機能を有しているので、予め記録されているビデオを再生するシステムとして選択されるようになり、急速にビデオカセットレコーダ（ＶＣＲ）に取って代わってきた。旧式のアナログＮＴＳＣ（米国のNational Television Standards Committee）ビデオ伝送システムは現在、デジタルＡＴＳＣ（Advanced Television Standards Committee）ビデオ伝送システムにその地位を奪われつつある。
【０００４】
コンピュータシステムは長年、色々な種類のデジタルビデオ符号化フォーマットを使用してきた。コンピュータシステムにより使用されてきた最良のデジタルビデオ圧縮及び符号化システムの中で、ＭＰＥＧ（Motion Pictures Expert Group）として一般に知られているものによりサポートされているデジタルビデオシステムがある。ＭＰＥＧの３つの最も良く知られ且つ広く使用されているデジタルビデオフォーマットはＭＰＥＧ−１、ＭＰＥＧ−２及びＭＰＥＧ−４と称されている。ビデオＣＤ（ＶＣＤ）や初期の一般向けデジタルビデオ編集システムは初期のＭＰＥＧ−1形式のデジタルビデオ符号化フォーマットを使用していた。ＤＶＤやディッシュネットワーク（Dish Network）の直接放送衛星（DBS）テレビ放送システムは、より高い品質のＭＰＥＧ−２形式のデジタルビデオ圧縮及び符号化システムを使用している。ＭＰＥＧ−４の符号化システムは最新のコンピュータを用いたデジタルビデオエンコーダやこれに付随するデジタルビデオプレーヤに用いられることが多くなった。
【０００５】
ＭＰＥＧ−２形式やＭＰＥＧ−４形式では、一連のビデオフレームまたはビデオフィールドを圧縮し、圧縮したフレームやフィールドをデジタルビットストリームに符号化している。ビデオフレームやフィールドをＭＰＥＧ−２やＭＰＥＧ−４形式で符号化する場合、ビデオフレームやフィールドを複数のマクロブロックからなる長方形グリッドに分割される。各マクロブロックは独立して圧縮及び符号化される。
【０００６】
ビデオフレームやフィールドを圧縮するときは、ＭＰＥＧ−４形式では、フレームやフィールドを１つタイプ（３つのタイプのうちの１つ）の圧縮フレームまたはフィールドに圧縮する。３つのタイプとは、Ｉフレーム、順方向型のＰフレーム及び双方向型のＢフレームである。Ｉフレームは独立したビデオフレームを、他のビデオフレームを参照することなく、完全に独立に符号化する。Ｐフレームは前に表示されたビデオフレームを参照しながらビデオフレームを決める。Ｂフレームは現在のフレームの前に表示された（過去の）ビデオフレームと現在のフレームの後に表示される（未来の）ビデオフレームとを参照しながらビデオフレームを決める。ＰフレームとＢフレームは、ビデオ情報の冗長性を効率良く使用しているので、通常、最も良い圧縮を行うことができる。
【発明の概要】
【０００７】
本明細書には、デジタルビデオ符号化処理における可変精度ピクチャ間タイミングを指定する方法と装置が開示されている。特に本発明は近傍のビデオピクチャ同士の相対的タイミングを非常に効率良い手法で符号化することができるシステムを開示している。１つの実施例では、現在のビデオピクチャと近傍のビデオピクチャとの表示時間差が決められる。この表示時間差はその後、ビデオピクチャのデジタル表示に符号化される。好ましい実施例では、上記近傍のビデオピクチャは、直前に伝送された記録ピクチャである。
符号化の効率アップのために、表示時間差は可変長符号化システムまたは算術符号化処理を使用して符号化されてもよい。別の実施例では、表示時間差は伝送ビット数を減ずるために２のべき乗として符号化される。
本発明のその他の目的、特徴及び利点・効果は添付図面と以下の詳細な説明から明らかになるであろう。
【図面の簡単な説明】
【０００８】
本発明の目的、特徴及び利点は、当事者であれば下記の詳細な説明から理解できるであろう。以下の詳細な説明において、
【図１】デジタルビデオエンコーダシステムの１例を示すハイレベルブロック図である。
【図２】ピクチャ表示順に並べた一連のビデオピクチャを示しており、ピクチャとピクチャをつなぐ矢印は動き補償を使用した場合のピクチャ同士の従属性を表現している。
【図３】図２のビデオピクチャを好ましいピクチャ伝送順に並べた状態を示しており、ピクチャとピクチャをつなぐ矢印は動き補償を使用した場合のピクチャ同士の従属性を表現している。
【図４】互いに参照し合うビデオピクチャ同士の距離が２のべき乗で設定された場合のビデオピクチャを示している。
【発明を実施するための形態】
【０００９】
ここでは、マルチメディア圧縮及び符号化システムにおける可変精度ピクチャ間タイミングの指定方法及び装置が開示される。以下の詳細な説明において、本発明の理解のために特定の用語等が使用されている。しかし、当事者であれば、下記の特定の形式、数値等は本発明の実施に必ずしも必須のものでないことは理解できるであろう。例えば、本発明はＭＰＥＧ−４形式のマルチメディア圧縮及び符号化システムに関連して説明されているが、同様な技術は容易に他の形式の圧縮及び符号化システムに適用することができる。
【００１０】
マルチメディア圧縮及び符号化処理の概要
図１は典型的なデジタルビデオエンコーダ１００のハイレベルブロック図であり、当該技術分野では周知のものである。デジタルビデオエンコーダ１００は、入力ビデオフレームストリーム１０５をブロック図の左において受信する。各ビデオフレームは離散コサイン変換（ＤＣＴ）ユニット１１０により処理される。フレームは独立して処理されてもよいし（イントラフレーム符号化処理）、動き補償ユニットから受信される他のフレームからの情報を参照して処理されてもよい（インターフレーム符号化処理）。次に、量子化（Ｑ）ユニット１２０がＤＣＴユニット１１０からの情報を量子化する。最後に、量子化されたビデオフレームが、エントロピーエンコーダ（Ｈ）ユニット１８０により符号化され、符号化されたビットストリームを生成する。エントロピーエンコーダユニット１８０は可変長符号化（ＶＬＣ）システムを使用してもよい。
【００１１】
インターフレーム符号化処理されたビデオフレームは他の近傍ビデオフレームを参照して決められるので、デジタルビデオエンコーダ１００は、インターフレームを符号化できるように、デコードされた各フレームがデジタルビデオデコーダの中でどのように現れるかのコピーを作る必要がある。従って、デジタルビデオエンコーダ１００の下部は実際にはデジタルビデオデコーダシステムである。つまり、逆量子化（Ｑ−１）ユニット１３０がビデオフレーム情報の量子化結果の逆数を作り、逆ＤＣＴ（ＤＣＴ−１）ユニット１４０がビデオフレーム情報の離散コサイン変換値の逆数を作る。全ての離散コサイン変換係数がｉＤＣＴから復元された後、動き圧縮ユニットがこの情報を動きベクトルと共に使用して、符号化フレームを復元する。復元された符号化フレームは、次のフレームの動き予測の参照フレームとして使用される。
【００１２】
次に、デコードされたビデオフレームはインターフレーム（ＰフレームまたはＢフレーム）を符号化するのに用いられる。インターフレームはデコードされたビデオフレームの情報に対応して決められる。つまり、動き補償（ＭＣ）ユニット１５０と動き予測（ＭＥ）ユニット１６０は、動きベクトルを決定し、差分値を生成するのに使用される。動きベクトルと差分値は、インターフレームを符号化する際に用いられる。
【００１３】
レートコントローラ１９０はデジタルビデオエンコーダ１００の多くの部品から情報を受け取り、当該情報を用いて各ビデオフレームにビット量を割り当てる。レートコントローラ１９０は、所定の規制に合った最高品質のデジタルビデオビットストリームが生成されるようにビット量を割り当てなければならない。つまり、レートコントローラ１９０は、バッファにオバーフロー（格納できる量を超えた情報を伝送することによりデコーダのメモリの許容量を超えること）を起こさせることなく、あるいは、バッファにアンダーフロー（デコーダに表示ビデオフレームが不足してしまうような遅い速度でビデオフレームを伝送すること）を起こさせることなく、最高品質の圧縮ビデオストリームを生成しようとする。
【００１４】
マルチメディア圧縮及び符号化処理の概要
幾つかのビデオ信号では、連続するビデオピクチャ（フレームまたはフィールド）の間の時間は一定ではない（尚、本明細書では、ビデオピクチャという用語をビデオフレームまたはビデオフィールドの意味で使用している）。例えば、幾つかのビデオピクチャは伝送帯域制限により欠落させられる場合がある。また、ビデオタイミングも、カメラの不均一性のため、あるいは、スローモーションやファーストモーション等の特殊な処理のために、一定ではない。幾つかのビデオストリームでは、もとのビデオソースが不均一なピクチャ間時間を単に設計上の理由で有している場合もある。例えば、コンピュータグラフィックアニメーション等の合成ビデオは、不均一なタイミングを有している。なぜなら、均一なビデオ記録システム（例えば、ビデオカメラシステム）では任意のビデオタイミングを作ることができないからである。フレキシブルなデジタルビデオ符号化システムは不均一なタイミングで処理を行うことができなければならない。
多くのデジタルビデオ符号化システムはビデオピクチャを複数のマクロブロックからなる長方形グリッドに分割する。ビデオピクチャの各マクロブロックは独立して圧縮され符号化される。幾つかの実施例では、マクロブロックのサブブロック（画素ブロックとして知られている）が用いられる。このような画素ブロックはそれ自身の動きベクトル（内挿されたもの）を有することもある。本発明の教示はマクロブロックと画素ブロックに等しく適用できるが、この明細書ではマクロブロックについて説明をする。
【００１５】
幾つかのビデオ符号化標準（例えば、ＩＳＯのＭＰＥＧ標準やＩＴＵのＨ．２６４標準）は異なるタイプの予測マクロブロックを使用してビデオピクチャを符号化している。一例を挙げると、マクロブロックは以下の３つのタイプのうちの１つになる。
１．Ｉマクロブロック。 イントラ（Ｉ）マクロブロックが符号化処理の際に他のビデオピクチャからの情報を全く使用しない。これは、完全な自己定義型である。
２．Ｐマクロブロック。 順方向型の予測（Ｐ）マクロブロックが１つの前のビデオピクチャからのピクチャ情報を参照する。
３．Ｂマクロブロック。 双方向型の予測（Ｂ）マクロブロックが１つの前の（過去の）ピクチャと１つの後の（未来の）ビデオピクチャからの情報を使用する。
【００１６】
もしビデオピクチャの全てのマクロブロックがイントラマクロブロック（Ｉマクロブロック）であれば、ビデオピクチャはイントラフレーム（Ｉフレーム）である。もしビデオピクチャが順方向の予測マクロブロック（つまり、イントラマクロブロック）しか含まないなら、このビデオピクチャはＰフレームとして知られているものである。もしビデオピクチャが双方向の予測マクロブロックを含むなら、このビデオピクチャはＢフレームとして知られているものである。説明を簡単にするために、この明細書ではピクチャ内の全てのマクロブロックが同じタイプである場合を考える。
符号化されるビデオピクチャのシーケンスの一例は以下のようになる。
Ｉ１Ｂ２Ｂ３Ｂ４Ｐ５Ｂ６Ｂ７Ｂ８Ｂ９Ｐ１０Ｂ１１Ｂ１２Ｂ１３Ｉ１４．．．
ここで、Ｉ、Ｐ及びＢという文字は、ビデオピクチャがＩフレーム、Ｐフレーム及びＢフレームであることを意味し、数字はビデオピクチャシーケンスのビデオピクチャのカメラ順序を示す。カメラ順序とは、カメラがビデオピクチャを記録する順であり、従って、ビデオピクチャが表示されるべき順序（表示順）でもある。
【００１７】
上記した一連のビデオピクチャの例が図２に図式的に示されている。図２では、記録ピクチャ（この例ではＩフレームまたはＰフレーム）からのマクロブロックを他のピクチャの動き補償予測に使用することを矢印で示している。
図２の場合、他のピクチャからの情報はイントラフレームビデオピクチャＩ１を符号化する際に全く使用されていない。ビデオピクチャＰ５が、前のビデオピクチャＩ１からのビデオ情報を符号化の際に使用しているＰフレームであり、矢印がビデオピクチャＩ１からビデオピクチャＰ５に延びている。ビデオピクチャＢ２、ビデオピクチャＢ３及びビデオピクチャＢ４は全て、符号化の際、ビデオピクチャＩ１とビデオピクチャＰ５からの情報を使用しており、矢印はビデオピクチャＩ１とビデオピクチャＰ５からビデオピクチャＢ２、ビデオピクチャＢ３及びビデオピクチャＢ４にそれぞれ延びている。上述したように、ピクチャ間時間は一般に同一ではない。
Ｂピクチャは未来のピクチャ（後で表示されるピクチャ）からの情報を使用しているので、伝送順序は通常、表示順序と異なる。つまり、他のビデオピクチャを構成するのに必要なビデオピクチャがまず伝送されなければならない。上記したシーケンスについて言えば、伝送順は以下のようになるだろう。
Ｉ１Ｐ５Ｂ２Ｂ３Ｂ４Ｐ１０Ｂ６Ｂ７Ｂ８Ｂ９Ｐ１２Ｂ１１Ｉ１４Ｂ１３．．．
【００１８】
図３は図２からのビデオピクチャの上記伝送順を模式的に示した図である。ここでも、図中の矢印は記録ビデオピクチャ（この例ではＩフレームまたはＰフレーム）からのマクロブロックが他のビデオピクチャの動き補償予測に使用されていることを表している。
図３に示されるように、このシステムはまず、他のフレームに依存していないＩフレームＩ１を伝送する。次に、このシステムは、ビデオピクチャＩ１に依存するＰフレームビデオピクチャＰ５を伝送する。ビデオピクチャＢ２はビデオピクチャＰ５の前に表示されるものであるが、このシステムは、ビデオピクチャＰ５の後にＢフレームビデオピクチャＢ２を伝送する。その理由は、Ｂ２をデコードする時がきたとき、デコーダは、ビデオピクチャＢ２をデコードするのに必要なビデオピクチャＩ１とＰ５の中の情報をすでに受信して格納していることになるからである。同様に、ビデオピクチャＩ１とＰ５を使用して次のビデオピクチャＢ３とビデオピクチャＢ４をデコードする準備ができていることになる。レシーバ兼デコーダは、適正な表示ができるようにビデオピクチャシーケンスを記録する。この動作において、Ｉピクチャ及びＰピクチャはしばしば記録ピクチャ（stored picture）と称される。
【００１９】
Ｐフレームピクチャの符号化は通常、動き補償を使用し、動きベクトルがピクチャの各マクロブロックについて計算される。計算された動きベクトルを用いて、上記前のピクチャ中の画素を移動させることにより予測マクロブロック（Ｐマクロブロック）を作ることができる。Ｐフレームピクチャの実際のマクロブロックと予測マクロブロックとの差が、符号化されて伝送される。
各動きベクトルも、予測符号化処理により伝送してもよい。例えば、動きベクトル予測は、近傍の動きベクトルを使用して行ってもよい。この場合、実際の動きベクトルと予測動きベクトルの差が、符号化されて伝送される。
【００２０】
各Ｂマクロブロックは２つの動きベクトルを使用する。１つは上記前のビデオピクチャを参照する第１動きベクトルであり、もう１つは後の（未来の）ビデオピクチャを参照する第２動きベクトルである。これら２つの動きベクトルから、２つの予測マクロブロックが計算される。そして２つの予測マクロブロックは所定の関数を利用して組み合わせられ、最終的な予測マクロブロックが作られる。上記したように、Ｂフレームピクチャの実際のマクロブロックと最終的な予測マクロブロックの差が符号化されて伝送される。
【００２１】
Ｐマクロブロックの場合と同じように、Ｂマクロブロックの各動きベクトル（ＭＶ）を、予測符号化処理により伝送してもよい。つまり、この場合、予測動きベクトルは、近傍の動きベクトルを使用して形成される。そして、実際の動きベクトルと予測動きベクトルの差が符号化されて伝送される。
しかし、Ｂマクロブロックの場合、最も近い記録ピクチャマクロブロックの動きベクトルから動きベクトルを内挿する機会がある。このような内挿は、デジタルビデオエンコーダとデジタルビデオデコーダの双方で実行される。
この動きベクトル内挿は、カメラが静止背景にゆっくり近づいたり遠のいたりするときのビデオシーケンスのビデオピクチャに非常に有効である。事実、このような動きベクトル内挿はそれ単独で利用してもよいくらいである。つまり、これは、内挿を使用して符号化される上記Ｂマクロブロック動きベクトルに関して、差分情報を計算したり伝送したりする必要が無いことを意味する。
【００２２】
次の説明に進むために、上記の場合、ピクチャｉとピクチャｊの間のピクチャ間表示時間をＤi,jと表現する。つまり、ピクチャの表示時間（時刻）がＴiとＴjであるとすると
、以下のようになる。
Ｄi,j ＝ Ｔi − Ｔj
これから以下の式が導き出せる。
Ｄi,k ＝ Ｄi,j ＋ Ｄj,k
Ｄi,k ＝ −Ｄk,i
但し、Ｄi,jは負の値であるときもある。
よって、もしＭＶ5，1がＩ１を参照するＰ５マクロブロックの動きベクトルであるならば、Ｂ２、Ｂ３及びＢ４の対応マクロブロックについては、Ｉ１とＰ５を参照する動きベクトルはそれぞれ以下のように内挿される。
ＭＶ2,1 ＝ ＭＶ5,1*Ｄ2,1/Ｄ5,1
ＭＶ5,2 ＝ ＭＶ5,1*Ｄ5,2/Ｄ5,1
ＭＶ3,1 ＝ ＭＶ5,1*Ｄ3,1/Ｄ5,1
ＭＶ5,3 ＝ ＭＶ5,1*Ｄ5,3/Ｄ5,1
ＭＶ4,1 ＝ ＭＶ5,1*Ｄ4,1/Ｄ5,1
ＭＶ5,4 ＝ ＭＶ5,1*Ｄ5,4/Ｄ5,1
尚、表示時間の比率が動きベクトル予測に使用されているので、表示時間の絶対値は不要である。よって、相対的な表示時間をＤi,j表示時間値に使用することができる。
【００２３】
このようなモデル（筋書き）を、例えばＨ．２６４標準で一般化することができる。一般化する場合、ＰピクチャまたはＢピクチャは前に伝送されてきたピクチャをその動きベクトル予測に使用してもよい。従って、上記の場合、ピクチャＢ３はピクチャＩ１とピクチャＢ２をその予測に使用してもよい。さらに、動きベクトルは外挿されてもよい（内挿に限定されない）。この場合、以下のようになる。
ＭＶ3,1 ＝ ＭＶ2,1*Ｄ3,1/Ｄ2,1
このような動きベクトル外挿（または内挿）を、動きベクトルの予測符号化のための予測プロセスに使用してもよい。
【００２４】
いずれせよ、ピクチャ間時間が不均一な場合の問題は、Ｄi,jの相対的な表示時間値をレシーバに伝送することであり、これが本発明の中心課題である。本発明の１つの実施例では、第１ピクチャ後の各ピクチャについて（毎に）、現在のピクチャと直前に伝送された記録ピクチャとの表示時間差が伝送される。エラー耐性のために、伝送はピクチャ内で数回繰り返し行われることもある（例えば、Ｈ．２６４標準またはＭＰＥＧのいわゆるス
ライスヘッダで）。もし全てのスライスヘッダがなくなったならば、多分、情報を復号するためになくなったピクチャに依存する他のピクチャも、復号することができなくなるだろう。
従って、上記の場合、以下のものを伝送する。
Ｄ5,1D2,5D3,5D4,5D10,5D6,10D7,10D8,10D9,10D12,10D11,12D14,12D13,14．．．
【００２５】
動きベクトル予想のためのＤi,jの精度条件はピクチャにより異なる。例えば、２つのＰフレームピクチャＰ５とＰ７の中間に１つのＢフレームピクチャＢ６しかない場合、以下のものをだけを伝送すれば十分である。
Ｄ7,5 ＝ ２ と Ｄ6,7 = −１
ここで、Ｄi,j表示時間値は相対的な時間値である。もしそうではなく、ビデオピクチャＢ６がビデオピクチャＰ５とビデオピクチャＰ７の距離の１/４しか離れていなければ、伝送すべき適切なＤi,j表示時間値は以下のようになる。
Ｄ7,5 ＝ ４ と Ｄ6,7 = −１
尚、上記した２つの事例では、ビデオピクチャＢ６とビデオピクチャＰ７の間の表示時間が表示時間の１単位（１表示時間単位）とし使用され、ビデオピクチャＰ５とビデオピクチャＰ７の間の表示時間差は４表示時間単位になる。
【００２６】
一般に、除数が２のべき乗であるなら、動きベクトル予想はあまり複雑にはならない。このことは、図４に示されるように２つの記録ピクチャの間のＤi,j（ピクチャ間時間）が２のべき乗とされるなら、本明細書の実施例で容易に達成できる。あるいは、予測の手法として、全ての除数を２のべき乗に切り捨てたり、切り上げたりしてもよい。
ピクチャ間時間が２のべき乗である場合、もしピクチャ間時間の全ての値の代わりに２の整数乗の値（べき数）だけが伝送されるとしたら、データビットの数を減らすことができる。図４はピクチャ同士の間の距離が２のべき乗とされた場合を図式的に示している。この場合、ビデオピクチャＰ１とビデオピクチャＰ３の間のＤ3,1表示時間値の２は１として伝送され（なぜなら２1＝２）、ビデオピクチャＰ７とビデオピクチャＰ３の間のＤ7,3表示時間値の４は２として伝送される（なぜなら２2＝４）。
【００２７】
条件によっては、動きベクトル内挿は使用されない。しかし、ビデオピクチャの表示順をレシーバ・プレーヤシステムに伝送して、レシーバ・プレーヤシステムがビデオピクチャを適正な順序で表示できるようにする必要はある。この場合、実際の表示時間に拘わらず、Ｄi,jとしては単純な有符号整数値で十分である。幾つかの応用例では、符号だけでも十分である。
ピクチャ間時間Ｄi,jは単に、単純な符号付整数値として伝送されることもある。しかし、多くの方法を利用してＤi,j値を符号化して更なる圧縮をしてもよい。例えば、可変符号長を伴う符号ビットは比較的簡単に実行でき、符号化効率も良い。
【００２８】
そのような可変長符号化システムの一例がＵＶＬＣ（universal variable length code）として知られている。ＵＶＬＣ可変長符号化システムは下記のコード語により示される。
１ ＝ １
２ ＝ ０１０
３ ＝ ０１１
４ ＝ ００１００
５ ＝ ００１０１
６ ＝ ００１１０
７ ＝ ００１１１
８ ＝０００１０００
ピクチャ間時間を符号化する別の方法としては、算術符号化処理を利用するものがある。典型的には、算術符号化処理は条件付確率を用いてデータビットを非常に高い圧縮度で圧縮する。
【００２９】
従って、本発明は、ピクチャ間表示時間を符号化して伝送するシンプルだがパワフルな方法を提案・提供している。ピクチャ間表示時間の符号化は、可変長符号化または算術符号化を使用することにより非常に効率的に行うことができる。さらに、所望の精度を選択することができ、ビデオデコーダの要求に応えられるようにすることができる。
上述の記載においては、マルチメディア圧縮及び符号化システムにおける可変精度ピクチャ間時間指定システムを説明した。尚、当事者であれば、本発明の範囲から離れることなく、本発明の構成要素の材料や構成等に変更を為すことができるであろう。
【符号の説明】
【００３０】
１００ デジタルビデオエンコーダ
１０５ 入力ビデオフレームストリーム
１１０ 離散コサイン変換（ＤＣＴ）ユニット
１２０ 量子化（Ｑ）ユニット
１３０ 逆量子化（Ｑ−１）ユニット
１４０ 逆ＤＣＴ（ＤＣＴ−１）ユニット
１５０ 動き補償（ＭＣ）ユニット
１６０ 動き予測（ＭＥ）ユニット
１８０ エントロピーエンコーダユニット
１９０ レートコントローラ
【技術分野】
【０００１】
本発明はマルチメディア圧縮システムの分野に関連している。特に、本発明は可変精度のピクチャ間タイミングを指定する方法及び装置を開示する。
【背景技術】
【０００２】
デジタル式の電子媒体フォーマットはついに、アナログ式の電子媒体フォーマットに取って代わるところまで来ている。デジタルコンパクトディスク（ＣＤ）はずっと以前にアナログ式のビニール製記録媒体に取って代わっている。アナログ式の磁気カセットテープは益々に減少してきている。第２及び第３世代のデジタルオーディオシステム（例えばミニディスクやＭＰ３（ＭＰＥＧオーディオのレイヤ３）は今日では、第１世代のデジタルオーディオフォーマットのコンパクトディスクに代わって市場を支配しつつある。
ビデオ媒体は、オーディオに比べゆっくりとデジタル式記録及び伝送フォーマットに移行している。その大きな理由はデジタルフォーマットで正確にビデオ（画像）を表現するためには膨大な量のデジタル情報が必要だからである。ビデオを正確に表現・表示するために膨大な量のデジタル情報が必要であるということは、非常に大容量のデジタル記録システムと高帯域伝送システムが必要であることを意味する。
【０００３】
しかし、ビデオは現在、急速にデジタル記録及び伝送フォーマットに移行している。より早いコンピュータプロセッサ、高密度記録システム、並びに、新しい高効率圧縮及び符号化アルゴリズムにより、デジタルビデオの価格は一般消費者が購入できるレベルになった。デジタルビデオシステムであるＤＶＤは近年最もハイスピードで消費者に売れた電子製品の１つである。ＤＶＤは、高い画像品質、とても優れた音声品質、利便性及び付加的な機能を有しているので、予め記録されているビデオを再生するシステムとして選択されるようになり、急速にビデオカセットレコーダ（ＶＣＲ）に取って代わってきた。旧式のアナログＮＴＳＣ（米国のNational Television Standards Committee）ビデオ伝送システムは現在、デジタルＡＴＳＣ（Advanced Television Standards Committee）ビデオ伝送システムにその地位を奪われつつある。
【０００４】
コンピュータシステムは長年、色々な種類のデジタルビデオ符号化フォーマットを使用してきた。コンピュータシステムにより使用されてきた最良のデジタルビデオ圧縮及び符号化システムの中で、ＭＰＥＧ（Motion Pictures Expert Group）として一般に知られているものによりサポートされているデジタルビデオシステムがある。ＭＰＥＧの３つの最も良く知られ且つ広く使用されているデジタルビデオフォーマットはＭＰＥＧ−１、ＭＰＥＧ−２及びＭＰＥＧ−４と称されている。ビデオＣＤ（ＶＣＤ）や初期の一般向けデジタルビデオ編集システムは初期のＭＰＥＧ−1形式のデジタルビデオ符号化フォーマットを使用していた。ＤＶＤやディッシュネットワーク（Dish Network）の直接放送衛星（DBS）テレビ放送システムは、より高い品質のＭＰＥＧ−２形式のデジタルビデオ圧縮及び符号化システムを使用している。ＭＰＥＧ−４の符号化システムは最新のコンピュータを用いたデジタルビデオエンコーダやこれに付随するデジタルビデオプレーヤに用いられることが多くなった。
【０００５】
ＭＰＥＧ−２形式やＭＰＥＧ−４形式では、一連のビデオフレームまたはビデオフィールドを圧縮し、圧縮したフレームやフィールドをデジタルビットストリームに符号化している。ビデオフレームやフィールドをＭＰＥＧ−２やＭＰＥＧ−４形式で符号化する場合、ビデオフレームやフィールドを複数のマクロブロックからなる長方形グリッドに分割される。各マクロブロックは独立して圧縮及び符号化される。
【０００６】
ビデオフレームやフィールドを圧縮するときは、ＭＰＥＧ−４形式では、フレームやフィールドを１つタイプ（３つのタイプのうちの１つ）の圧縮フレームまたはフィールドに圧縮する。３つのタイプとは、Ｉフレーム、順方向型のＰフレーム及び双方向型のＢフレームである。Ｉフレームは独立したビデオフレームを、他のビデオフレームを参照することなく、完全に独立に符号化する。Ｐフレームは前に表示されたビデオフレームを参照しながらビデオフレームを決める。Ｂフレームは現在のフレームの前に表示された（過去の）ビデオフレームと現在のフレームの後に表示される（未来の）ビデオフレームとを参照しながらビデオフレームを決める。ＰフレームとＢフレームは、ビデオ情報の冗長性を効率良く使用しているので、通常、最も良い圧縮を行うことができる。
【発明の概要】
【０００７】
本明細書には、デジタルビデオ符号化処理における可変精度ピクチャ間タイミングを指定する方法と装置が開示されている。特に本発明は近傍のビデオピクチャ同士の相対的タイミングを非常に効率良い手法で符号化することができるシステムを開示している。１つの実施例では、現在のビデオピクチャと近傍のビデオピクチャとの表示時間差が決められる。この表示時間差はその後、ビデオピクチャのデジタル表示に符号化される。好ましい実施例では、上記近傍のビデオピクチャは、直前に伝送された記録ピクチャである。
符号化の効率アップのために、表示時間差は可変長符号化システムまたは算術符号化処理を使用して符号化されてもよい。別の実施例では、表示時間差は伝送ビット数を減ずるために２のべき乗として符号化される。
本発明のその他の目的、特徴及び利点・効果は添付図面と以下の詳細な説明から明らかになるであろう。
【図面の簡単な説明】
【０００８】
本発明の目的、特徴及び利点は、当事者であれば下記の詳細な説明から理解できるであろう。以下の詳細な説明において、
【図１】デジタルビデオエンコーダシステムの１例を示すハイレベルブロック図である。
【図２】ピクチャ表示順に並べた一連のビデオピクチャを示しており、ピクチャとピクチャをつなぐ矢印は動き補償を使用した場合のピクチャ同士の従属性を表現している。
【図３】図２のビデオピクチャを好ましいピクチャ伝送順に並べた状態を示しており、ピクチャとピクチャをつなぐ矢印は動き補償を使用した場合のピクチャ同士の従属性を表現している。
【図４】互いに参照し合うビデオピクチャ同士の距離が２のべき乗で設定された場合のビデオピクチャを示している。
【発明を実施するための形態】
【０００９】
ここでは、マルチメディア圧縮及び符号化システムにおける可変精度ピクチャ間タイミングの指定方法及び装置が開示される。以下の詳細な説明において、本発明の理解のために特定の用語等が使用されている。しかし、当事者であれば、下記の特定の形式、数値等は本発明の実施に必ずしも必須のものでないことは理解できるであろう。例えば、本発明はＭＰＥＧ−４形式のマルチメディア圧縮及び符号化システムに関連して説明されているが、同様な技術は容易に他の形式の圧縮及び符号化システムに適用することができる。
【００１０】
マルチメディア圧縮及び符号化処理の概要
図１は典型的なデジタルビデオエンコーダ１００のハイレベルブロック図であり、当該技術分野では周知のものである。デジタルビデオエンコーダ１００は、入力ビデオフレームストリーム１０５をブロック図の左において受信する。各ビデオフレームは離散コサイン変換（ＤＣＴ）ユニット１１０により処理される。フレームは独立して処理されてもよいし（イントラフレーム符号化処理）、動き補償ユニットから受信される他のフレームからの情報を参照して処理されてもよい（インターフレーム符号化処理）。次に、量子化（Ｑ）ユニット１２０がＤＣＴユニット１１０からの情報を量子化する。最後に、量子化されたビデオフレームが、エントロピーエンコーダ（Ｈ）ユニット１８０により符号化され、符号化されたビットストリームを生成する。エントロピーエンコーダユニット１８０は可変長符号化（ＶＬＣ）システムを使用してもよい。
【００１１】
インターフレーム符号化処理されたビデオフレームは他の近傍ビデオフレームを参照して決められるので、デジタルビデオエンコーダ１００は、インターフレームを符号化できるように、デコードされた各フレームがデジタルビデオデコーダの中でどのように現れるかのコピーを作る必要がある。従って、デジタルビデオエンコーダ１００の下部は実際にはデジタルビデオデコーダシステムである。つまり、逆量子化（Ｑ−１）ユニット１３０がビデオフレーム情報の量子化結果の逆数を作り、逆ＤＣＴ（ＤＣＴ−１）ユニット１４０がビデオフレーム情報の離散コサイン変換値の逆数を作る。全ての離散コサイン変換係数がｉＤＣＴから復元された後、動き圧縮ユニットがこの情報を動きベクトルと共に使用して、符号化フレームを復元する。復元された符号化フレームは、次のフレームの動き予測の参照フレームとして使用される。
【００１２】
次に、デコードされたビデオフレームはインターフレーム（ＰフレームまたはＢフレーム）を符号化するのに用いられる。インターフレームはデコードされたビデオフレームの情報に対応して決められる。つまり、動き補償（ＭＣ）ユニット１５０と動き予測（ＭＥ）ユニット１６０は、動きベクトルを決定し、差分値を生成するのに使用される。動きベクトルと差分値は、インターフレームを符号化する際に用いられる。
【００１３】
レートコントローラ１９０はデジタルビデオエンコーダ１００の多くの部品から情報を受け取り、当該情報を用いて各ビデオフレームにビット量を割り当てる。レートコントローラ１９０は、所定の規制に合った最高品質のデジタルビデオビットストリームが生成されるようにビット量を割り当てなければならない。つまり、レートコントローラ１９０は、バッファにオバーフロー（格納できる量を超えた情報を伝送することによりデコーダのメモリの許容量を超えること）を起こさせることなく、あるいは、バッファにアンダーフロー（デコーダに表示ビデオフレームが不足してしまうような遅い速度でビデオフレームを伝送すること）を起こさせることなく、最高品質の圧縮ビデオストリームを生成しようとする。
【００１４】
マルチメディア圧縮及び符号化処理の概要
幾つかのビデオ信号では、連続するビデオピクチャ（フレームまたはフィールド）の間の時間は一定ではない（尚、本明細書では、ビデオピクチャという用語をビデオフレームまたはビデオフィールドの意味で使用している）。例えば、幾つかのビデオピクチャは伝送帯域制限により欠落させられる場合がある。また、ビデオタイミングも、カメラの不均一性のため、あるいは、スローモーションやファーストモーション等の特殊な処理のために、一定ではない。幾つかのビデオストリームでは、もとのビデオソースが不均一なピクチャ間時間を単に設計上の理由で有している場合もある。例えば、コンピュータグラフィックアニメーション等の合成ビデオは、不均一なタイミングを有している。なぜなら、均一なビデオ記録システム（例えば、ビデオカメラシステム）では任意のビデオタイミングを作ることができないからである。フレキシブルなデジタルビデオ符号化システムは不均一なタイミングで処理を行うことができなければならない。
多くのデジタルビデオ符号化システムはビデオピクチャを複数のマクロブロックからなる長方形グリッドに分割する。ビデオピクチャの各マクロブロックは独立して圧縮され符号化される。幾つかの実施例では、マクロブロックのサブブロック（画素ブロックとして知られている）が用いられる。このような画素ブロックはそれ自身の動きベクトル（内挿されたもの）を有することもある。本発明の教示はマクロブロックと画素ブロックに等しく適用できるが、この明細書ではマクロブロックについて説明をする。
【００１５】
幾つかのビデオ符号化標準（例えば、ＩＳＯのＭＰＥＧ標準やＩＴＵのＨ．２６４標準）は異なるタイプの予測マクロブロックを使用してビデオピクチャを符号化している。一例を挙げると、マクロブロックは以下の３つのタイプのうちの１つになる。
１．Ｉマクロブロック。 イントラ（Ｉ）マクロブロックが符号化処理の際に他のビデオピクチャからの情報を全く使用しない。これは、完全な自己定義型である。
２．Ｐマクロブロック。 順方向型の予測（Ｐ）マクロブロックが１つの前のビデオピクチャからのピクチャ情報を参照する。
３．Ｂマクロブロック。 双方向型の予測（Ｂ）マクロブロックが１つの前の（過去の）ピクチャと１つの後の（未来の）ビデオピクチャからの情報を使用する。
【００１６】
もしビデオピクチャの全てのマクロブロックがイントラマクロブロック（Ｉマクロブロック）であれば、ビデオピクチャはイントラフレーム（Ｉフレーム）である。もしビデオピクチャが順方向の予測マクロブロック（つまり、イントラマクロブロック）しか含まないなら、このビデオピクチャはＰフレームとして知られているものである。もしビデオピクチャが双方向の予測マクロブロックを含むなら、このビデオピクチャはＢフレームとして知られているものである。説明を簡単にするために、この明細書ではピクチャ内の全てのマクロブロックが同じタイプである場合を考える。
符号化されるビデオピクチャのシーケンスの一例は以下のようになる。
Ｉ１Ｂ２Ｂ３Ｂ４Ｐ５Ｂ６Ｂ７Ｂ８Ｂ９Ｐ１０Ｂ１１Ｂ１２Ｂ１３Ｉ１４．．．
ここで、Ｉ、Ｐ及びＢという文字は、ビデオピクチャがＩフレーム、Ｐフレーム及びＢフレームであることを意味し、数字はビデオピクチャシーケンスのビデオピクチャのカメラ順序を示す。カメラ順序とは、カメラがビデオピクチャを記録する順であり、従って、ビデオピクチャが表示されるべき順序（表示順）でもある。
【００１７】
上記した一連のビデオピクチャの例が図２に図式的に示されている。図２では、記録ピクチャ（この例ではＩフレームまたはＰフレーム）からのマクロブロックを他のピクチャの動き補償予測に使用することを矢印で示している。
図２の場合、他のピクチャからの情報はイントラフレームビデオピクチャＩ１を符号化する際に全く使用されていない。ビデオピクチャＰ５が、前のビデオピクチャＩ１からのビデオ情報を符号化の際に使用しているＰフレームであり、矢印がビデオピクチャＩ１からビデオピクチャＰ５に延びている。ビデオピクチャＢ２、ビデオピクチャＢ３及びビデオピクチャＢ４は全て、符号化の際、ビデオピクチャＩ１とビデオピクチャＰ５からの情報を使用しており、矢印はビデオピクチャＩ１とビデオピクチャＰ５からビデオピクチャＢ２、ビデオピクチャＢ３及びビデオピクチャＢ４にそれぞれ延びている。上述したように、ピクチャ間時間は一般に同一ではない。
Ｂピクチャは未来のピクチャ（後で表示されるピクチャ）からの情報を使用しているので、伝送順序は通常、表示順序と異なる。つまり、他のビデオピクチャを構成するのに必要なビデオピクチャがまず伝送されなければならない。上記したシーケンスについて言えば、伝送順は以下のようになるだろう。
Ｉ１Ｐ５Ｂ２Ｂ３Ｂ４Ｐ１０Ｂ６Ｂ７Ｂ８Ｂ９Ｐ１２Ｂ１１Ｉ１４Ｂ１３．．．
【００１８】
図３は図２からのビデオピクチャの上記伝送順を模式的に示した図である。ここでも、図中の矢印は記録ビデオピクチャ（この例ではＩフレームまたはＰフレーム）からのマクロブロックが他のビデオピクチャの動き補償予測に使用されていることを表している。
図３に示されるように、このシステムはまず、他のフレームに依存していないＩフレームＩ１を伝送する。次に、このシステムは、ビデオピクチャＩ１に依存するＰフレームビデオピクチャＰ５を伝送する。ビデオピクチャＢ２はビデオピクチャＰ５の前に表示されるものであるが、このシステムは、ビデオピクチャＰ５の後にＢフレームビデオピクチャＢ２を伝送する。その理由は、Ｂ２をデコードする時がきたとき、デコーダは、ビデオピクチャＢ２をデコードするのに必要なビデオピクチャＩ１とＰ５の中の情報をすでに受信して格納していることになるからである。同様に、ビデオピクチャＩ１とＰ５を使用して次のビデオピクチャＢ３とビデオピクチャＢ４をデコードする準備ができていることになる。レシーバ兼デコーダは、適正な表示ができるようにビデオピクチャシーケンスを記録する。この動作において、Ｉピクチャ及びＰピクチャはしばしば記録ピクチャ（stored picture）と称される。
【００１９】
Ｐフレームピクチャの符号化は通常、動き補償を使用し、動きベクトルがピクチャの各マクロブロックについて計算される。計算された動きベクトルを用いて、上記前のピクチャ中の画素を移動させることにより予測マクロブロック（Ｐマクロブロック）を作ることができる。Ｐフレームピクチャの実際のマクロブロックと予測マクロブロックとの差が、符号化されて伝送される。
各動きベクトルも、予測符号化処理により伝送してもよい。例えば、動きベクトル予測は、近傍の動きベクトルを使用して行ってもよい。この場合、実際の動きベクトルと予測動きベクトルの差が、符号化されて伝送される。
【００２０】
各Ｂマクロブロックは２つの動きベクトルを使用する。１つは上記前のビデオピクチャを参照する第１動きベクトルであり、もう１つは後の（未来の）ビデオピクチャを参照する第２動きベクトルである。これら２つの動きベクトルから、２つの予測マクロブロックが計算される。そして２つの予測マクロブロックは所定の関数を利用して組み合わせられ、最終的な予測マクロブロックが作られる。上記したように、Ｂフレームピクチャの実際のマクロブロックと最終的な予測マクロブロックの差が符号化されて伝送される。
【００２１】
Ｐマクロブロックの場合と同じように、Ｂマクロブロックの各動きベクトル（ＭＶ）を、予測符号化処理により伝送してもよい。つまり、この場合、予測動きベクトルは、近傍の動きベクトルを使用して形成される。そして、実際の動きベクトルと予測動きベクトルの差が符号化されて伝送される。
しかし、Ｂマクロブロックの場合、最も近い記録ピクチャマクロブロックの動きベクトルから動きベクトルを内挿する機会がある。このような内挿は、デジタルビデオエンコーダとデジタルビデオデコーダの双方で実行される。
この動きベクトル内挿は、カメラが静止背景にゆっくり近づいたり遠のいたりするときのビデオシーケンスのビデオピクチャに非常に有効である。事実、このような動きベクトル内挿はそれ単独で利用してもよいくらいである。つまり、これは、内挿を使用して符号化される上記Ｂマクロブロック動きベクトルに関して、差分情報を計算したり伝送したりする必要が無いことを意味する。
【００２２】
次の説明に進むために、上記の場合、ピクチャｉとピクチャｊの間のピクチャ間表示時間をＤi,jと表現する。つまり、ピクチャの表示時間（時刻）がＴiとＴjであるとすると
、以下のようになる。
Ｄi,j ＝ Ｔi − Ｔj
これから以下の式が導き出せる。
Ｄi,k ＝ Ｄi,j ＋ Ｄj,k
Ｄi,k ＝ −Ｄk,i
但し、Ｄi,jは負の値であるときもある。
よって、もしＭＶ5，1がＩ１を参照するＰ５マクロブロックの動きベクトルであるならば、Ｂ２、Ｂ３及びＢ４の対応マクロブロックについては、Ｉ１とＰ５を参照する動きベクトルはそれぞれ以下のように内挿される。
ＭＶ2,1 ＝ ＭＶ5,1*Ｄ2,1/Ｄ5,1
ＭＶ5,2 ＝ ＭＶ5,1*Ｄ5,2/Ｄ5,1
ＭＶ3,1 ＝ ＭＶ5,1*Ｄ3,1/Ｄ5,1
ＭＶ5,3 ＝ ＭＶ5,1*Ｄ5,3/Ｄ5,1
ＭＶ4,1 ＝ ＭＶ5,1*Ｄ4,1/Ｄ5,1
ＭＶ5,4 ＝ ＭＶ5,1*Ｄ5,4/Ｄ5,1
尚、表示時間の比率が動きベクトル予測に使用されているので、表示時間の絶対値は不要である。よって、相対的な表示時間をＤi,j表示時間値に使用することができる。
【００２３】
このようなモデル（筋書き）を、例えばＨ．２６４標準で一般化することができる。一般化する場合、ＰピクチャまたはＢピクチャは前に伝送されてきたピクチャをその動きベクトル予測に使用してもよい。従って、上記の場合、ピクチャＢ３はピクチャＩ１とピクチャＢ２をその予測に使用してもよい。さらに、動きベクトルは外挿されてもよい（内挿に限定されない）。この場合、以下のようになる。
ＭＶ3,1 ＝ ＭＶ2,1*Ｄ3,1/Ｄ2,1
このような動きベクトル外挿（または内挿）を、動きベクトルの予測符号化のための予測プロセスに使用してもよい。
【００２４】
いずれせよ、ピクチャ間時間が不均一な場合の問題は、Ｄi,jの相対的な表示時間値をレシーバに伝送することであり、これが本発明の中心課題である。本発明の１つの実施例では、第１ピクチャ後の各ピクチャについて（毎に）、現在のピクチャと直前に伝送された記録ピクチャとの表示時間差が伝送される。エラー耐性のために、伝送はピクチャ内で数回繰り返し行われることもある（例えば、Ｈ．２６４標準またはＭＰＥＧのいわゆるス
ライスヘッダで）。もし全てのスライスヘッダがなくなったならば、多分、情報を復号するためになくなったピクチャに依存する他のピクチャも、復号することができなくなるだろう。
従って、上記の場合、以下のものを伝送する。
Ｄ5,1D2,5D3,5D4,5D10,5D6,10D7,10D8,10D9,10D12,10D11,12D14,12D13,14．．．
【００２５】
動きベクトル予想のためのＤi,jの精度条件はピクチャにより異なる。例えば、２つのＰフレームピクチャＰ５とＰ７の中間に１つのＢフレームピクチャＢ６しかない場合、以下のものをだけを伝送すれば十分である。
Ｄ7,5 ＝ ２ と Ｄ6,7 = −１
ここで、Ｄi,j表示時間値は相対的な時間値である。もしそうではなく、ビデオピクチャＢ６がビデオピクチャＰ５とビデオピクチャＰ７の距離の１/４しか離れていなければ、伝送すべき適切なＤi,j表示時間値は以下のようになる。
Ｄ7,5 ＝ ４ と Ｄ6,7 = −１
尚、上記した２つの事例では、ビデオピクチャＢ６とビデオピクチャＰ７の間の表示時間が表示時間の１単位（１表示時間単位）とし使用され、ビデオピクチャＰ５とビデオピクチャＰ７の間の表示時間差は４表示時間単位になる。
【００２６】
一般に、除数が２のべき乗であるなら、動きベクトル予想はあまり複雑にはならない。このことは、図４に示されるように２つの記録ピクチャの間のＤi,j（ピクチャ間時間）が２のべき乗とされるなら、本明細書の実施例で容易に達成できる。あるいは、予測の手法として、全ての除数を２のべき乗に切り捨てたり、切り上げたりしてもよい。
ピクチャ間時間が２のべき乗である場合、もしピクチャ間時間の全ての値の代わりに２の整数乗の値（べき数）だけが伝送されるとしたら、データビットの数を減らすことができる。図４はピクチャ同士の間の距離が２のべき乗とされた場合を図式的に示している。この場合、ビデオピクチャＰ１とビデオピクチャＰ３の間のＤ3,1表示時間値の２は１として伝送され（なぜなら２1＝２）、ビデオピクチャＰ７とビデオピクチャＰ３の間のＤ7,3表示時間値の４は２として伝送される（なぜなら２2＝４）。
【００２７】
条件によっては、動きベクトル内挿は使用されない。しかし、ビデオピクチャの表示順をレシーバ・プレーヤシステムに伝送して、レシーバ・プレーヤシステムがビデオピクチャを適正な順序で表示できるようにする必要はある。この場合、実際の表示時間に拘わらず、Ｄi,jとしては単純な有符号整数値で十分である。幾つかの応用例では、符号だけでも十分である。
ピクチャ間時間Ｄi,jは単に、単純な符号付整数値として伝送されることもある。しかし、多くの方法を利用してＤi,j値を符号化して更なる圧縮をしてもよい。例えば、可変符号長を伴う符号ビットは比較的簡単に実行でき、符号化効率も良い。
【００２８】
そのような可変長符号化システムの一例がＵＶＬＣ（universal variable length code）として知られている。ＵＶＬＣ可変長符号化システムは下記のコード語により示される。
１ ＝ １
２ ＝ ０１０
３ ＝ ０１１
４ ＝ ００１００
５ ＝ ００１０１
６ ＝ ００１１０
７ ＝ ００１１１
８ ＝０００１０００
ピクチャ間時間を符号化する別の方法としては、算術符号化処理を利用するものがある。典型的には、算術符号化処理は条件付確率を用いてデータビットを非常に高い圧縮度で圧縮する。
【００２９】
従って、本発明は、ピクチャ間表示時間を符号化して伝送するシンプルだがパワフルな方法を提案・提供している。ピクチャ間表示時間の符号化は、可変長符号化または算術符号化を使用することにより非常に効率的に行うことができる。さらに、所望の精度を選択することができ、ビデオデコーダの要求に応えられるようにすることができる。
上述の記載においては、マルチメディア圧縮及び符号化システムにおける可変精度ピクチャ間時間指定システムを説明した。尚、当事者であれば、本発明の範囲から離れることなく、本発明の構成要素の材料や構成等に変更を為すことができるであろう。
【符号の説明】
【００３０】
１００ デジタルビデオエンコーダ
１０５ 入力ビデオフレームストリーム
１１０ 離散コサイン変換（ＤＣＴ）ユニット
１２０ 量子化（Ｑ）ユニット
１３０ 逆量子化（Ｑ−１）ユニット
１４０ 逆ＤＣＴ（ＤＣＴ−１）ユニット
１５０ 動き補償（ＭＣ）ユニット
１６０ 動き予測（ＭＥ）ユニット
１８０ エントロピーエンコーダユニット
１９０ レートコントローラ
【特許請求の範囲】
【請求項１】
デジタルビデオ情報を指定する方法であって、
第１ビデオピクチャと近傍ビデオピクチャの間の第１表示時間差を決定し、
前記第１ビデオピクチャと前記第１表示時間差を第１デジタルビデオピクチャに符号化する、ことを特徴とするデジタルビデオ情報を指定する方法。
【請求項２】
前記第１ビデオピクチャと前記第１表示時間差を伝送することをさらに含む請求項１記載のデジタルビデオ情報を指定する方法。
【請求項３】
前記近傍ビデオピクチャは、直前に伝送された記録ピクチャからなる請求項１記載のデジタルビデオ情報を指定する方法。
【請求項４】
前記第１表示時間差はスライスヘッダに符号化される請求項１記載のデジタルビデオ情報を指定する方法。
【請求項５】
前記第１表示時間差は前記第１デジタルビデオピクチャにおいて２回以上符号化される請求項１記載のデジタルビデオ情報を指定する方法。
【請求項６】
前記第１表示時間差は相対的な時間値からなる請求項１記載のデジタルビデオ情報を指定する方法。
【請求項７】
前記第１表示時間差は２のべき乗として符号化される請求項１記載のデジタルビデオ情報を指定する方法。
【請求項８】
前記第１表示時間差は可変長符号化処理により符号化される請求項１記載のデジタルビデオ情報を指定する方法。
【請求項９】
前記第１表示時間差は算術符号化処理により符号化される請求項１記載のデジタルビデオ情報を指定する方法。
【請求項１０】
前記第１表示時間差は符号付整数からなる請求項１記載のデジタルビデオ情報を指定する方法。
【請求項１１】
デジタルビデオ情報を符号化する符号化システムであって、
第１ビデオピクチャの符号化処理を含む第１デジタルビデオピクチャと、
前記第１ビデオピクチャの表示時間と近傍ビデオピクチャの表示時間との差を指定する第１表示時間差と、からなる符号化システム。
【請求項１２】
前記第１表示時間差が前記第１デジタルビデオピクチャ内で符号化される請求項１１記載のデジタルビデオ情報を符号化する符号化システム。
【請求項１３】
前記近傍ビデオピクチャは、直前に伝送された記録ピクチャからなる請求項１１記載のデジタルビデオ情報を符号化する符号化システム。
【請求項１４】
前記第１表示時間差は前記第１デジタルビデオピクチャのスライスヘッダに符号化される請求項１１記載のデジタルビデオ情報を符号化する符号化システム。
【請求項１５】
前記第１表示時間差は前記第１デジタルビデオピクチャにおいて２回以上符号化される請求項１１記載のデジタルビデオ情報を符号化する符号化システム。
【請求項１６】
前記第１表示時間差は相対的な時間値からなる請求項１１記載のデジタルビデオ情報を符号化する符号化システム。
【請求項１７】
前記第１表示時間差は２のべき乗として符号化される請求項１１記載のデジタルビデオ情報を符号化する符号化システム。
【請求項１８】
前記第１表示時間差は可変長符号化処理により符号化される請求項１１記載のデジタルビデオ情報を符号化する符号化システム。
【請求項１９】
前記第１表示時間差は算術符号化処理により符号化される請求項１１記載のデジタルビデオ情報を符号化する符号化システム。
【請求項２０】
前記第１表示時間差は符号付整数からなる請求項１記載のデジタルビデオ情報を符号化する符号化システム。
【請求項１】
デジタルビデオ情報を指定する方法であって、
第１ビデオピクチャと近傍ビデオピクチャの間の第１表示時間差を決定し、
前記第１ビデオピクチャと前記第１表示時間差を第１デジタルビデオピクチャに符号化する、ことを特徴とするデジタルビデオ情報を指定する方法。
【請求項２】
前記第１ビデオピクチャと前記第１表示時間差を伝送することをさらに含む請求項１記載のデジタルビデオ情報を指定する方法。
【請求項３】
前記近傍ビデオピクチャは、直前に伝送された記録ピクチャからなる請求項１記載のデジタルビデオ情報を指定する方法。
【請求項４】
前記第１表示時間差はスライスヘッダに符号化される請求項１記載のデジタルビデオ情報を指定する方法。
【請求項５】
前記第１表示時間差は前記第１デジタルビデオピクチャにおいて２回以上符号化される請求項１記載のデジタルビデオ情報を指定する方法。
【請求項６】
前記第１表示時間差は相対的な時間値からなる請求項１記載のデジタルビデオ情報を指定する方法。
【請求項７】
前記第１表示時間差は２のべき乗として符号化される請求項１記載のデジタルビデオ情報を指定する方法。
【請求項８】
前記第１表示時間差は可変長符号化処理により符号化される請求項１記載のデジタルビデオ情報を指定する方法。
【請求項９】
前記第１表示時間差は算術符号化処理により符号化される請求項１記載のデジタルビデオ情報を指定する方法。
【請求項１０】
前記第１表示時間差は符号付整数からなる請求項１記載のデジタルビデオ情報を指定する方法。
【請求項１１】
デジタルビデオ情報を符号化する符号化システムであって、
第１ビデオピクチャの符号化処理を含む第１デジタルビデオピクチャと、
前記第１ビデオピクチャの表示時間と近傍ビデオピクチャの表示時間との差を指定する第１表示時間差と、からなる符号化システム。
【請求項１２】
前記第１表示時間差が前記第１デジタルビデオピクチャ内で符号化される請求項１１記載のデジタルビデオ情報を符号化する符号化システム。
【請求項１３】
前記近傍ビデオピクチャは、直前に伝送された記録ピクチャからなる請求項１１記載のデジタルビデオ情報を符号化する符号化システム。
【請求項１４】
前記第１表示時間差は前記第１デジタルビデオピクチャのスライスヘッダに符号化される請求項１１記載のデジタルビデオ情報を符号化する符号化システム。
【請求項１５】
前記第１表示時間差は前記第１デジタルビデオピクチャにおいて２回以上符号化される請求項１１記載のデジタルビデオ情報を符号化する符号化システム。
【請求項１６】
前記第１表示時間差は相対的な時間値からなる請求項１１記載のデジタルビデオ情報を符号化する符号化システム。
【請求項１７】
前記第１表示時間差は２のべき乗として符号化される請求項１１記載のデジタルビデオ情報を符号化する符号化システム。
【請求項１８】
前記第１表示時間差は可変長符号化処理により符号化される請求項１１記載のデジタルビデオ情報を符号化する符号化システム。
【請求項１９】
前記第１表示時間差は算術符号化処理により符号化される請求項１１記載のデジタルビデオ情報を符号化する符号化システム。
【請求項２０】
前記第１表示時間差は符号付整数からなる請求項１記載のデジタルビデオ情報を符号化する符号化システム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１２−１３５０１６（Ｐ２０１２−１３５０１６Ａ）
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１２−３１９６２（Ｐ２０１２−３１９６２）
【出願日】平成２４年２月１６日（２０１２．２．１６）
【分割の表示】特願２０１０−１９７１３１（Ｐ２０１０−１９７１３１）の分割
【原出願日】平成１５年７月１１日（２００３．７．１１）
【出願人】（５０３２６０９１８）アップル インコーポレイテッド (568)
【Ｆターム（参考）】
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願番号】特願２０１２−３１９６２（Ｐ２０１２−３１９６２）
【出願日】平成２４年２月１６日（２０１２．２．１６）
【分割の表示】特願２０１０−１９７１３１（Ｐ２０１０−１９７１３１）の分割
【原出願日】平成１５年７月１１日（２００３．７．１１）
【出願人】（５０３２６０９１８）アップル インコーポレイテッド (568)
【Ｆターム（参考）】
[ Back to top ]