映像符号化方法及びデバイス
【課題】二重で、かつ可能な限り多数のフレームアプローチが本発明により用いられる。本発明の実施形態は、ＩＮＴＥＲコーディングを実施するために、または、ＩＮＴＲＡフレームコーディングを実施するために、直前の参照フレーム以外のフレームである長期参照フレームを用いることを決断することを含む。他の実施形態は、長期及び短期参照ブロックの使用を含み、ＩＮＴＥＲコーディングブロックとＩＮＴＲＡコーディングの２種類の間で決断を行う。本発明の実施形態によれば、長期フレームは高品質フレームである。該高品質フレームは、特定の条件下で、参照フレームとして用いることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の分野は、画像及び映像の符号化である。本発明の他の分野は、画像及び映像のディジタル通信及びディジタル記憶を含む。
【背景技術】
【０００２】
画像データのディジタル通信及び記憶は、画像の単一フレームを正確に記述するために必要な莫大な量のディジタルデータのため、困難なタスクである。映像の場合、データの量は、急速に多くなる。画像符号化は、画像データを圧縮することにより、例えば、１つの画像を表わすのに必要なデータの量を低減することにより管理可能な画像データの通信および／または記憶を実行しようとする。例えば、通信リソースは、帯域幅が限定されている。このことは、無線通信媒体においては、とりわけ本質的なことである。画像データ符号化においては、トレードオフがある。例えば、データのサイズの低減は、許容可能な尺度を超えて、画像品質を劣化させるべきではない。また、計算コスト及び計算速度は、特に、計算資源及び電力資源を節約して使わなければならないデバイスにおいては、管理しなければならない。映像符号化／圧縮アプローチの最新の例は、ＭＰＥＧ−４やＨ．２６４を含む。具体的には、後者は、特に、パケットネットワークを介した映像伝送用に設計されている。
【０００３】
多くのデバイスは、１つ以上の通信媒体へアクセスする。ラップトップ、携帯情報端末（ＰＤＡ）、ワークステーションまたはビデオ会議システム等のデバイスは、多数のネットワークにアクセスする。例えば、１つのデバイスは、いくつかの異なる種類の有線及び無線ネットワークにアクセスしてもよい。
【０００４】
多くの映像圧縮アルゴリズムは、今日、実質的な圧縮を実現するために、動き補償を利用している。動き補償の基本的なアイデアは、次の通りである。マクロブロックは、画像データの１ブロック、例えば、１つの画像における１６×１６画素の正方形領域を表わす。符号化すべき現在のフレームのマクロブロックは、最も似ているものを探すために、基準フレームにおけるマクロブロックのいくつかのセットと比較される。該基準フレームは、典型的には、該画像の直前のフレームである。類似性は、一般に、画素の絶対値の差の合計によって、あるいは、画素間の二乗差によって測定される。最もよくマッチしたブロックの位置は、運動ベクトルと呼ばれるオフセットベクトルを与えることによって指定することができ、該運動ベクトルは、符号化すべき該現在のマクロブロックと、該基準フレームにおける該最もよくマッチしたマクロブロックとの水平方向及び垂直方向の位置の差を示す。該符号化すべき現在のマクロブロックは、この運動ベクトルを用いるだけで表わすことができる。復号器は、この運動ベクトルを受信したときに、該基準フレームから参照ブロックを取り出して、該現在のブロックを表わすための位置に貼り込むことができる。該参照ブロック及び現在のブロックが十分類似している場合、この直接置換は、適切な品質を実現できるであろう。十分でない場合には、該符号器は、該参照ブロックを該現在のブロックにより類似するように、該参照ブロックをどのように変更するかを示すいくつかの追加情報にのっとって任意に送信することができる。
【０００５】
いずれの場合においても、これは、ＩＮＴＥＲコーディングと呼ばれる。上記符号器が、現在のマクロブロックに対して良好なマッチを見つけられない場合には、該符号器は、他のどの過去のブロックも参照することなく、該マクロブロックを自動的に符号化するように選択する。これはＩＮＴＲＡコーディングと呼ばれる。ＩＮＴＥＲコーディングとＩＮＴＲＡコーディングとの間の選択は、映像符号化規格ＭＰＥＧ、ＭＰＥＧ−２、ＭＰＥＧ−４、［Ｔ．Ｓｉｋｏｒａ，“Ｔｈｅ ＭＰＥＧ−４ Ｖｉｄｅｏ Ｓｔａｎｄａｒｄ Ｖｅｒｉｆｉｃａｔｉｏｎ Ｍｏｄｅｌ，”ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ，ｖｏｌ．７，ｎｏ．１，ｐｐ．１９−３１，Ｆｅｂｒｕａｒｙ １９９７．］，Ｈ．２６３［Ｇ．Ｃｏｔｅ，Ｂ．Ｅｒｏｌ，Ｍ．Ｇａｌｌａｎｔ ａｎｄ Ｆ．Ｋｏｓｓｅｎｔｉｎｉ，“Ｈ．２６３＋：Ｖｉｄｅｏ Ｃｏｄｉｎｇ ａｔ Ｌｏｗ Ｂｉｔ Ｒａｔｅｓ，”ＩＥＥＥ Ｔｒａｎｓ．Ｃｉｒｃ．ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎ，ｖｏｌ．８，ｎｏ．７，ｐｐ８４９−８６５，Ｎｏｖ．１９９８］及び最新のＨ．２６４で提供された基本的なアプローチである。
【０００６】
ＩＮＴＥＲコーディングは、ＩＮＴＲＡコーディングよりも少ないビットを要する傾向があるが、エラーを伝播させる可能性がある。ＩＮＴＲＡコーディングは、直前のフレームに対する参照を実行しないので、直前のフレームに存在するエラーを伝播させることはない。ＩＮＴＥＲコーディングとＩＮＴＲＡコーディングとの間の選択は、より少ないビットを使用し、かつエラーに対して強くするという競合する目的を満たすことを含む。
【０００７】
ＩＮＴＥＲコーディングとＩＮＴＲＡコーディングとの間の聡明な選択を実行することは、当該技術における論点である。この問題を論じている１つの論文は、Ｒ．Ｚｈａｎｇ，Ｓ．Ｌ．Ｒｅｇｕｎａｔｈａｎ，ａｎｄ Ｋ．Ｒｏｓｅ，“Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｗｉｔｈ Ｏｐｔｉｍａｌ Ｉｎｔｅｒ／Ｉｎｔｒａ−Ｍｏｄｅ Ｓｗｉｔｃｈｉｎｇ ｆｏｒ Ｐａｃｋｅｔ Ｌｏｓｓ Ｒｅｓｉｌｉｅｎｃｅ，”（ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｎ Ｓｅｌｅｃｔｅｄ Ａｒｅａｓ ｉｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，ｖｏｌ．１８，ｎｏ．６ ｐｐ．９６６−７６，Ｊｕｎｅ ２０００）である。この論文は、歪みを評価する際に２つの要因、すなわち、チャネルエラー確率及び符号化されるブロックの隠蔽性を考慮するＲＯＰＥ（ｒｅｃｕｒｓｉｖｅ ｏｐｔｉｍａｌ ｐｅｒ ｐｉｘｅｌ ｅｓｔｉｍａｔｅ）と呼ばれる歪み評価法を提供している。そして、（マクロブロック等の）所定のブロックのためのＩＮＴＥＲコーディングとＩＮＴＲＡコーディングとの間の選択は、（ＲＯＰＥによって評価されるような）歪みを低減することと、小数のビットのみを符号化に用いること（特に、目標のレート制約内にとどまること）との競合する目的のバランスを失わせることによってなされる。レート制約は、ＩＮＴＥＲコーディングに有利であり、エラー制約は、ＩＮＴＲＡコーディングに有利であり、エラーを隠蔽する能力は、ＩＮＴＥＲコーディングに有利である。
【０００８】
映像データを伝送するのに使用される接続が、品質の変化にあった場合、結果として生じる映像復号は、非常に悪い結果を生じる可能性がある。上記参照フレームが、悪い品質の参照を提供する場合、該復号結果は、急速に悪くなる。このことを取り扱う、提案されている一つの方法は、多数のフレームを保持することである。しかし、これは、復号を重荷にし、かつ非常に複雑にする可能性がある。
【０００９】
上記多数の参照フレームアプローチに関する多くの実例がある。［例えば、Ｎ．Ｖａｓｃｏｎｃｅｌｏｓ ａｎｄ Ａ．Ｌ．ｉｐｐｍａｎ，“Ｌｉｂｒａｒｙ−ｂａｓｅｄ Ｉｍａｇｅ Ｃｏｄｉｎｇ，”ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ，ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．ｖ，ｐｐ．Ｖ／４８９−Ｖ／４９２，１９９４；Ｔ．Ｗｉｅｇａｎｄ，Ｘ．Ｚｈａｎｇ，ａｎｄ Ｂ．Ｇｉｒｏｄ，“Ｌｏｎｇ ｔｅｒｍ Ｍｅｍｏｒｙ Ｍｏｔｉｏｎ−Ｃｏｍｐｅｎｓａｔｅｄ Ｐｒｅｄｉｃｔｉｏｎ，”ＩＥＥＥ Ｔｒａｎｓ．Ｃｉｒｃ．ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎ，ｖｏｌ．９，ｎｏ．１，ｐｐ．７０−８４，Ｆｅｂ．１９９９を参照］１つの実施例において、映像のフレームＮのブロックを符号化する場合、上記符号器は、フレームＮ−１、Ｎ−２、Ｎ−３及びＮ−４の中で、最も可能性のあるマッチングブロックを探す。すなわち、直前の４つのフレームを、マッチングのために探すことができる。そして、該符号器は、上記復号器に、どの参照フレームが最良のマッチングを示したかを知らせることができる。例えば、２ビットを、４つのフレームのうちのどれが最良のマッチングを示すかを説明するために割当てることができ、通常の運動ベクトルが、符号化すべき現在のブロックと、指定された参照フレームにおける最良のマッチングブロックの位置との間のオフセットを与えるために提供される。
【００１０】
Ｔ．Ｆｕｋｕｈａｒａ，Ｋ．Ａｓａｉ，ａｎｄ Ｔ．Ｍｕｒａｋａｍｉ，“Ｖｅｒｙ Ｌｏｗ Ｂｉｔ−Ｒａｔｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｗｉｔｈ Ｂｌｏｃｋ Ｐａｒｔｉｔｉｏｎｉｎｇ ａｎｄ Ａｄａｐｔｉｖｅ Ｓｅｌｅｃｔｉｏｎ ｏｆ Ｔｗｏ Ｔｉｍｅ−Ｄｉｆｆｅｒｅｎｔｉａｌ Ｆｒａｍｅ Ｍｅｍｏｒｉｅｓ，”ＩＥＥＥ Ｔｒａｎｓ．Ｃｉｒｃ．ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎ，ｖｏｌ．７，ｎｏ．１，ｐｐ．２１２−２２０，Ｆｅｂ．１９９７においては、２つの時間の異なるフレームのみが用いられ、それに伴って、比較的大きくない計算の複雑性の増加を必要とする。この二重フレームバッファは、２つの参照フレームのみがある多フレームバッファの特別なケースである。例えば、１つの短期参照フレーム（直前のフレーム）と１つの長期参照フレーム（より以前からのフレーム）とすることができる。Ｆｕｋｕｈａｒａ等においては、多くのハイブリッドコーデックと同様に、一方のフレームは直前のものであり、第２のフレームは、予め定義されたルールに従って定期的に更新されたより以前の参照フレームを含んでいた。多数の参照フレームが、計算負荷及び記憶装置の複雑性の増加を犠牲にして、再現されたＰＳＮＲ（ピーク信号対雑音比）の著しい増加をもたらすことができることが分かってきている。動き評価は、ハイブリッド映像コーディングシステムにおける主要なパフォーマンスボトルネックであり、総符号化時間の８０〜９０％を占めている。従って、１つでも追加フレームバッファを付加することは、符号化時間を倍加させる可能性がある。記憶装置の必要条件についても同様であり、参照フレームの数が大きくなった場合、該増加も線型であり、かつ著しい。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
ＡＢＣ（常時最良接続）アプローチは、デバイスが多数の接続にアクセスする場合に用いられるアプローチである。ラップトップまたはＰＤＡ等のデバイスは、異なるレートで作動するいくつかの異なる種類の無線または有線ネットワークにアクセスすることが可能である。例えば、該デバイスは、イーサネット接続（１０Ｍｂｐｓ）、無線ＬＡＮ（１１Ｍｂｐｓ）、ＨＤＲ（４００〜５００Ｍｂｐｓ）、１ｘＲＴＴ（６４ｋｂｐｓ）及びＧＰＲＳ（１６ｋｂｐｓ）を用いて通信することができる。該デバイスは、常に、ユーザが、彼のユーザプロファイルにおいて、他のどのネットワークも選択しないとの仮定で、該デバイスが特定の時間にアクセスすることができる最良の接続を用いて作動することになる。該最良の接続は、最高のデータレートを有するものとなる場合もあるが、他の要因（例えば、誤り率、遅延等）がさらに関連する。該最良の接続が使用できなくなった場合、または、該最良の接続が、もはや最良の接続ではないポイントまで劣化した場合には、上記デバイスは、他の接続、すなわち新たな最良の接続にシームレスで切り替わることが求められる。多くの場合、これは、低速での接続となる。また、該デバイスは、どの接続が使用可能であるかを理解するために、定期的に全ての接続を調べることを求められる。高速接続が使用不能になった後、再び使用可能になった場合には、該デバイスは、可用性を見つけて、該ネットワークを使用することに戻るように切り替わることを求められる。
【課題を解決するための手段】
【００１２】
二重で、可能な限り多数のフレームアプローチが本発明によって用いられる。本発明の実施形態は、ＩＮＴＥＲコーディングを実施するために、あるいは、ＩＮＴＲＡフレームコーディングを実施するために、直前の参照フレーム以外のフレームである長期参照フレームを用いる決断を決定することを含む。他の実施形態は、長期及び短期の参照ブロックの使用と、ＩＮＴＥＲコーディングブロックとＩＮＴＲＡコーディングの２種類のコーディングの間の決定とを含む。
【００１３】
本発明の実施形態によれば、長期フレームは、高品質のフレームである。該高品質フレームは、特定の条件下で、参照フレームとして使用することができる。
【発明を実施するための最良の形態】
【００１４】
本発明は、映像、データ等の画像を符号化する方法、デバイス及びシステムに注力する。また、本発明は、データを復号する方法、デバイス及びシステムにも注力する。本発明は、通信媒体を利用する多くの種類のシステムに有用となるであろう。本発明は、例えば、ピアツーピア方式の通信やサーバクライアント方式の通信に用いることができ、および、例えば、画像データを格納するのに用いることもできる。本発明の特定の例示的な実施形態は、ビデオ会議システム及び方法である。本発明の実施形態は、映像接続が、相当量によりレートを変化させることができる状況に特に適している。
【００１５】
本発明の実施形態を説明する際、該論考は、フレームの処理に焦点を当てることとする。これは、本発明の共通の実施である。しかし、標準などの場合、処理及び比較は、ブロックの基準に対して実施される。ブロックサイズは、一般に、本発明の目的に対して任意である。共通の実施は、上述した標準の場合のように、マクロブロックを使用する。本願明細書で用いる場合、フレームは、マクロブロック等の複数のブロックに分割することができる。しかし、フレームサイズに対しては、特定の制限はなく、本発明の実施形態は、該標準のフレームサイズを利用してもよい。
【００１６】
本発明は、上述した多くの標準の変更例として適用することができる。本発明は、該標準のいずれかで計算されるように、動き補償ベクトルを利用してもよく、また、ベクトル計算に、他の方法を用いてもよい。本発明により、公知の標準が改善されると共に、本発明の実施形態は、一般的な標準フレームワーク及び公知のハードウェア実施を利用する。
【００１７】
二重で可能な限り多数のフレームアプローチが、本発明により用いられる。本発明の実施形態は、ＩＮＴＥＲコーディングを実施するために、あるいは、ＩＮＴＲＡフレームコーディングを実施するために、直前の参照フレーム以外のフレームである長期参照フレームを用いる決断を決定することを含む。他の実施形態は、長期及び短期の参照ブロックの使用と、ＩＮＴＥＲコーディングブロックとＩＮＴＲＡコーディングの２種類のコーディングの間の決定とを含む。ＲＯＰＥは、ＩＮＴＲＡコーディング及び短期参照ブロックのためのモーメントを計算するのに用いられ、また、修正したＲＯＰＥは、長期参照ブロックのためのモーメントを計算するのに用いられ、この場合、直前のブロックの成分は、任意の変数として処理される。
【００１８】
本発明の実施形態によれば、長期フレームは、高品質のフレームである。該高品質フレームは、特定の条件下で、参照フレームとして用いることができる。該条件は、例えば、映像が、それを介して受信されている接続の品質の変化を含んでもよい。該高品質フレームは、例えば、より高品質の接続の時間からの過去のフレームであってもよい。別の例示的な実施形態においては、高品質フレームは、予想される通信品質の変化よりも進んで保持される。このことは、不十分な品質の事前の警告または予測の結果であってもよく、あるいは、例えば、高品質フレームが使用可能であることを保障するために、定期的に実施してもよい。例えば、高品質参照フレームは、先行及び後続のフレームから、割当てられたビットレートの典型的な共用を奪うことにより、先行及び後続のフレームを犠牲にして、臨時に符号化することができる。追加的な実施形態においては、フレームは、静的及び動的な部分に分離される。例えば、背景部と前景部を識別してもよい。背景部のための高品質参照フレームは、その静的性質のため、かなりの時間周期で用いることができ、前景部は、最新のまたは最新に近い受信フレームによって動き補償される。
【００１９】
本発明の実施形態は、二重のまたは多数のフレーム保持実施形態と、単一の参照フレーム保持実施形態とを含む。例えば、二重フレーム実施形態は、（符号化すべき現在のフレームにおける）各ブロックを、過去の高品質参照フレーム及び最新の（短期）参照フレームと比較してもよく、かつよりよい結果をもたらすフレームを判断することにより、動き補償を実施してもよい。過去の高品質フレームは、長期参照フレームバッファ内に維持され、最新の参照フレームは、最新参照フレームバッファ内に維持される。最新の参照フレームが、過去の参照フレームよりもより高品質である場合には、該最新の参照フレームは、過去の高品質参照フレームとして該長期参照バッファ内に保持され、該直前の過去の高品質参照フレームは廃棄される。例示的な単一フレームの実施形態においては、単一の参照フレームバッファが維持される。高品質長期参照フレームは、それが古くなるまで、例えば、符号化すべき現在のフレームに対する類似性があるしきい値以下に低下するまで、該単一の参照フレームバッファに維持され、直前のフレームを参照フレームとして用いることを始める決断がなされる。
【００２０】
本発明の二重または多数フレームの実施形態における符号器の複雑性は、高品質フレームがベンチマークとして保持されるため、複雑性は、従来技術よりも小さい。従って、例えば、上記長期高品質フレームが尺度に合う限り、非常に多くの比較を実行する必要はない。加えて、最新のフレームと比較される該長期フレームの検査を、時々または定期的に実施してもよい。本発明の上記単一フレームの実施形態は、複雑性の低い符号器を提供し、追加的な符号器の複雑性を必要としない。
【００２１】
本発明の好適な実施形態の方法は、過去のより高レートの接続からのデータを用いて、長期動き補償を実施する。我々は、映像符号器が、例えば、常時最良接続（ＡＢＣ）ネットワークを用いて伝送し、かつ現在の最良の接続が悪くなるため、ユーザがより低いレートの接続に切り替えなければならない状況を考える。フレームは、高レートチェネルを介して伝送され、フレームＮ＋１で始まり、ユーザは、今、低レート接続を有しているため、該フレームは１からＮまで高品質であると考える。ＭＰＥＧ−２またはＨ．２６３等の標準的な映像符号器の場合、低速接続が続いている間の映像品質は低くなる。（低速で伝送しなければならない）フレームＮ＋１は、（高品質を有している）フレームＮからＩＮＴＥＲコーディングを用いることができるため、フレームＮ＋１の品質は、ブロックマッチング動き補償は、高品質参照フレームを用いてなされるという事実から恩恵を受けることになる。しかし、フレームＮ＋１は、レートがカットされているため、概して、フレームＮよりも低品質となる。
【００２２】
フレームＮ＋２を符号化する場合、ここで、フレームＮ＋１を用いてＩＮＴＥＲコーディングが行われ、そのため、品質がさらに低下する。低レート、低品質伝送に対応して、新たな定常状態が実現されるまで、品質が迅速に低下すると予想される。このシナリオにおいて、本発明の実施形態は、二重フレーム動き補償アプローチを用い、この場合、上記長期フレームバッファは、例えば、良好な接続が機能しなくなる前、および悪い接続が該良好な接続と代わる前のフレームＮ、つまり高品質、高速接続からの最新のフレームを含む。そのため、フレームＭを符号化する場合、この場合Ｍ＞Ｎ＋１であるが、動き補償に使用可能な２つのフレーム、すなわち、短期フレームＭ−１（低品質の直前のフレーム）及び長期フレームＮ（高品質のより過去のフレーム）を有することになる。
【００２３】
多くのビデオ会議用途の場合のような、符号化すべきシーンが非常に静的である状況を考える。上記デバイスが、例えば、１０Ｍｂｐｓの無線ＬＡＮ接続から、１６ｋｂｐｓのＧＰＲＳ接続に切り替わった場合、該シーンの背景は、全く一定のままである可能性がある。長期の超高品質の過去から動き補償を用いると、現在のフレームに対して非常に正確なマッチがもたらされる可能性がある。一方、動き補償に対して、短期の過去のみを用いると、１６ｋｂｐｓというのは、非常に低速であり、低品質の映像を生成することになるため、悪い結果が生じる可能性がある。また、過去の高品質フレームが有利になるという別の理由もある。過去の高品質フレームが有利になる他の可能な状況は、一定の接続または変化する接続のいずれかによって発生する可能性がある。例えば、人または対象物がシーンを離れて、その後、該シーンに戻ってくるビデオ会議用途を考えてみる。直前のフレームのみを、符号化のための基準として用いることは、高品質情報をもたらさない。実際に、該人または対象物が、該シーンに戻ってくる非常に初期のフレームにおいては、それらに対して少しも高品質または低品質の参照情報を有していない。高品質の過去のフレームを保持している場合には、該人または対象物が、たとえ最初に該シーンに戻ってきても、高品質の参照情報を有することになる。そのため、これは、たとえ、シーンが静的でない場合であっても、上記長期の過去からの高品質の参照フレームが有用となる場合である。また、この種の利点は、ビデオ会議中の人が、ちょっとの間、席を立ち、そのため、数フレームの間、その人たちの顔が見えなくなり、その後、その人たちが近くに戻ってくる場合にも生じるであろう。直前のフレームのみを参照情報のために用いた場合、その人たちが戻ってきた場合には、当初、その人たちの顔のための参照はないであろう。
【００２４】
過去のより高いレートの接続の使用に対する変更及び追加的実施形態は、例えば、接続品質の変化に関する事前の警告または予報がある状況を含む。デバイスが、いくつかの事前の警告を有する場合、あるいは、現在の最良の接続の差し迫った障害、および低レート接続への切替えの必要性の差し迫った障害を予測することが可能な場合を考える。上記符号器が、上記長期フレームバッファのために、特定の高品質フレームを良好に利用することができることが分かっていれば、送信者は、実際に、切替えを実行する前に、特定の高品質を有する１つのフレームを符号化することができる。すなわち、直前及び後続のフレームから、それらのビットレートの通常の共用を奪うことにより、該符号器は、例えば、特定の高品質フレームを生成する、より十分な量子化を用いることができる。低速接続への切替えが実行されると、該符号器は、この特定のフレームを、二重フレーム動き補償における長期フレームバッファとして使用することができる。
【００２５】
別の変更例においては、高品質フレームは、時々または定期的に符号化される。このようにする一つの理由は、接続の品質の変化を防ぐためである。他の場合においては、このことは、接続の品質の変化に関係がない場合でも有用である。１０番目のフレームに余分なビットを与え（それにより、次の１０フレームに使用されるより高品質の長期参照フレームを生成する）ために、単一のユーザに、（例えば）９つのフレームのためにより小数のビットを使用させることを考える。このことは、必要な帯域幅の増加を伴うことなく、全体的により高品質の映像を生成するのに用いることができる。追加的な実施形態は、低トラフィックの間、または、追加ビットレートが使用可能な場合に、高品質フレームを符号化することを含む。また、このことは、例えば、高品質フレームのためのビットレートを割当てるサーバによって制御することができる。例えば、多数のユーザが帯域幅を共用している場合、サーバによって実施されるスケジューラは、該ユーザ（クライアント）間で、該帯域幅の一部を循環させてもよい。各クライアントは、定期的に、余分な帯域幅のバーストを割当てられる。該余分な帯域幅は、参照フレームとして使用される高品質フレームを符号化するのに用いられる。別の実施形態は、いくつかの先行するまたは後続のフレームから、高品質参照フレームを生成するためのビットの割り当てを奪うことにより、それら自体の帯域幅の割当を用いることにより補償するクライアントまたはピアユーザに関する。
【００２６】
また、本発明の実施形態は、データの静的及び動的部分を認識し、かつそのような認識に基づいて符号化を調節してもよい。符号化及び伝送すべき映像が、静的であるまたはそれに近い背景部と、動く前景部とからなる状況を想定する。これは、例えば、ビデオ電話及びビデオ会議用途の場合に生じる可能性がある。符号化すべき現在のフレームを、背景領域と前景領域とに分割することができる場合、（静的と仮定する）該背景は、長期の過去の高品質フレームを用いて動き補償することができ、かつ（非静的と仮定する）前景は、最新のフレームを用いて動き補償することができる。加えて、前景等のデータの動的部分は、高品質の長期フレームへの参照から恩恵を受けることが可能な場合がある。例えば、対象物または人が立ち去った後、シーンに戻ってくる映像の場合は、動的情報が、長期の高品質フレームから恩恵を受けることが可能である場合を示す。
【００２７】
本発明の追加的な実施形態は、上述した実施形態のいずれかまたは以下に記載する実施形態と共に、単一フレームの長期予測を用いる。二重フレームコンセプトを適用する代わりに、発明者等は、長期の過去のフレームが古くなるときまで、動き補償のために、高品質を有する単一フレームで長期の過去フレームを用いる（すなわち、該フレームが、現在のフレームと異なるため、予測のために、直前の悪い品質のフレームを用いたほうが好ましい）。上記二重フレームバッファコンセプトとは異なり、これは、上記符号器において、いかなる追加的な複雑性も必要としない。
【００２８】
本発明の追加的な実施形態は、復号器の隠蔽に関する。映像信号が圧縮されて、信頼できないチャネルを介して伝送される場合には、エラーを処理するいくつかの戦略を用いなければならない。一つの戦略は、該復号器によって用いることができる後処理法のファミリーであるエラー隠蔽である。受信したフレームの一部が破損している場合、該符号器の後処理法は、ビューアからこれを隠蔽しようとする。様々な代替法、すなわち、空間領域補間、周波数領域における推定、適切なブロックを参照フレームに配置することを含む時相隠蔽が存在する。本発明の実施形態において、発明者等は、上記符号器が、標準的な処理手順に従って符号化する、すなわち、直前のフレームが参照フレームとして用いられると仮定する。しかし、該復号器は、追加的な参照フレーム（長期の過去の高品質フレーム）及び直前のフレームを利用することができる。損失がある場合にのみ隠蔽する代わりに、該復号器は、過去の高品質の参照フレームを用いることにより、高品質のブロックと交換することができる、受信する非常に悪い品質のマクロブロックがある場合に、隠蔽を用いてもよい。これは、隠蔽というよりは、改善と呼ぶことができるが、時相隠蔽に対する変形と考えることもできる。本質において、該品質がかなり悪い場合には、実際には、ブロックが失われていなくても、ブロックが失われていると考えるように選択してもよく、また、高品質の過去フレームが、該失われたブロックを置換するために用いられるロス隠蔽アプローチを呼び出すことができる。
【００２９】
また、本発明の実施形態は、上記の符号化決定及びフレームワークの様々な組合せを含む。次に、いくつかの特定の好適な実施形態を詳細に論じ、また、様々な追加的な発明の特徴が当業者に理解されるであろう。
【００３０】
図１Ａ及び図１Ｂは、本発明の実施のための例示的なシステムを示す。図１Ａ及び図１Ｂのシステムは、本発明の上記実施形態のいずれかを用いてもよい。図１Ａは、符号器を示す。図１Ｂは、復号器を示す。該符号器において、長期フレーム推定メモリ１０は、モード選択に用いられる長期フレームに対する推定を格納する。それらの推定は、修正されたＲＯＰＥアルゴリズムによって決定される。追加的な記憶装置１２を構成する別のメモリは、長期メモリ１０に格納されたものよりも古いフレーム推定を格納するのに用いることができる。追加的な記憶装置１２は、フィードバックが用いられる、本発明の実施形態において用いられる。短期フレーム推定は、短期フレーム推定メモリ１４に格納される。
【００３１】
レート／符号器制御論理１６は、上記フレーム推定を用いて、歪みを計算し、レート歪みの最適化を実行する。また、該レート／符号器制御論理は、量子化パラメータ（ＱＰ）選択、動き補償及び再復号制御を制御する。スイッチ１８は、イメージ画素（ＩＮＴＲＡコーディング）または異なるイメージ画素（ＩＮＴＥＲコーディング）のいずれかを、離散コサイン変換器（ＤＣＴ）２０へ送るために、該レート／符号器制御論理によって制御される。量子化器２２は、該レート／符号器制御論理１６によって選択されたＱＰを考慮して、ＤＣＴ２０により出力された画像ＤＣＴ係数を量子化し、量子化指数（係数）を出力する。該量子化指数を考慮して、逆量子化器２４は、該ＱＰを用いて、該画像ＤＣＴ係数を再構成する。逆ＤＣＴ２６は、該ＤＣＴ係数（例えば、８×８ブロックのＤＣＴ係数）を受け入れて、それらをイメージ画素または画素の差値に変換する。
【００３２】
ＩＮＴＥＲコーディングの場合、スイッチ２８は、動き補償器３０からの動き補償を用いて得られる予測を付加する。スイッチ２８は、ＩＮＴＲＡコーディングの場合、開いたままである。動き補償器３０は、予測、短期フレームメモリ３２からの格納された短期フレーム、及び長期フレームメモリ３４からの格納された長期フレームを用いて、該現在のフレームに対して、動き推定を実行する。同様に、該動き補償器は、直前のステージで得られた運動ベクトルを用いて、動き補償を実行してもよい。また、該動き補償器は、フィードバックが使用可能なフレームであって、その参照フレームが、（本発明のフィードバック実施形態において）現在、フィードバックが利用可能なフレームの再復号化に用いられる追加的な過去の再復号化フレームを格納するメモリ３６に緩衝記憶されているフレームのために、再復号化も実行する。そして、追加的な記憶装置１２内の格納推定は、該再復号化されたものと等しく、従って、３６に格納されたフレームと等しい。それは、ここでは、モード選択に用いられると共に、再復号化のため３６で用いられるため、別々に示されている。
【００３３】
上記符号器（図１Ｂ）において、逆量子化器３８は、量子化指数を受取り、上記ＱＰを用いて、上記ＤＣＴ係数を再構成する。該逆量子化器は、該符号器の逆量子化器２４に関して等しい。逆ＤＣＴ４０は、該ＤＣＴ係数を受け入れて、それらをイメージ画素または異なる画素値に変換する。該逆ＤＣＴは、該符号器の逆ＤＣＴ２６と等しい。スイッチ４２は、予測を付加し、あるいは付加せず、また、上記符号器のスイッチ２８と等価である。短期フレームメモリ４４は、直前に再構成されたフレームを格納する。運動ベクトル復号器４６は、受取った運動ベクトルを復号し、動き補償器４８は、４６によって供給される運動ベクトルと、短期フレームメモリ４４及び再構成された長期フレームを格納する長期フレームメモリ５０によって供給される参照とを用いて、動き補償を実行する。
【００３４】
次に、本発明の好適な追加的特定の方法を論じ、該方法は、図１Ａ及び図１Ｂのシステムまたは他のシステムに用いることができる。図１Ａ及び図１Ｂのシステム１０において映像を符号化する方法は、高品質フレームを用いる。映像データは、フレームに分割される。それらのフレームは、背景及び前景等の領域に分割してもよい。このことは、上記符号器が、該映像データに関する情報を有している場合に有用となる。また、該映像データは、符号化演算をより単純にするブロックまたはマクロブロック等のユニットに分割してもよい。また、フレームは、全体として処理してもよい。該符号器は、上記復号器において予想される歪みを判断する。このことは、チャネルエラー確率及び過去の符号化モードの履歴に基づいてもよい。該符号器は、高品質の過去フレームを用いて、符号化されるフレームを改良する。
【００３５】
また、上記符号器は、データチャネル品質の変化を認識し、かつ符号化される画像または画像領域の内容の変化を格納してもよい。フィードバックは、上記復号器で予想される歪みの更新バージョンを格納するのに用いることができる。そして、該復号器における歪みの該符号器の予想、フレームバッファの数、フレームバッファのサイズ、該復号器からのフィードバック、データチャネル品質を変化させることに関する履歴、および該フレームバッファに格納されているものの内容及び伝送された画像の（マクロブロック等の）符号化される各フレームまたは領域を判断するための画像または領域品質の変化の履歴を用いて、どのフレームバッファが参照バッファとして機能するかの判断が行われる。該判断は、圧縮比または映像品質またはある尺度のバランスのうちの一つを最大化するために行われる。
【００３６】
ＩＮＴＥＲコーディングとＩＮＴＲＡコーディングとの切替えは、本発明の実施形態において実施される決断である。発明者等は、パケットイレーザチャネルを介して作動するハイブリッド映像符号器におけるモード決断を実行できるＲＯＰＥを利用する。
【００３７】
発明者等は、映像ビットストリームが、パケットイレーザチャネルを介して伝送されると仮定する。各フレームは、ブロック群（ＧＯＢ）に分割される。各ＧＯＢは、マクロブロック（ＭＢｓ）の単一の水平方向のスライスを含み、単一のパケットとして伝送される。各パケットは、再同期マーカにより、個別に受信し、復号することができる。従って、単一のパケットの損失は、ＭＢｓの１つのスライスを消してしまうが、該フレームの残りは無傷のままである。
【００３８】
各単一の画素に対するイレーザ確率でもある、パケットイレーザの確率をｐとする。該イレーザが上記復号器により検知された場合、エラー隠蔽が適用される。該復号器は、該失われたマクロブロック上のＧＯＢにおける３つの最も近いマクロブロックの運動ベクトル（ＭＶ）の中央をＭＶとして用いて、失われたマクロブロックを、直前のフレームからの１つと置き換える。上記ＧＯＢがすでに失われている（または、最も近いＭＢｓが全てＩＮＴＲＡコーディングされており、そのため、運動ベクトルを有していない）場合には、全て０（０，０）のＭＶが用いられ、該失われたマクロブロックは、直前のフレームからの同じ場所に配置されたものと置換される。
【００３９】
【数１】
【００４０】
【数２】
である。
【００４１】
【数３】
【００４２】
【数４】
となる。
【００４３】
【数５】
【００４４】
【数６】
【００４５】
【数７】
で示される。
【００４６】
これらの再帰は、上記復号器における予想ひずみを計算するために、上記符号器において実行される。該符号器は、その符号化決断時に、各ＭＢに対する符号化モードを最適に選択するために、この結果を利用することができる。
【００４７】
ＲＯＰＥは、最適モードスイッチングに対する圧縮及び伝送エラーにより、上記予想ひずみを考慮する。上記符号器は、与えられたビットレート及びパケット損失レートに対する最適な方法で、マクロブロック基準で、ＩＮＴＲＡコーディングとＩＮＴＥＲコーディングの間で切り替わる。目的は、ビットレート制約Ｒにしたがって、全ひずみＤを最少化することである。ラグランジュ乗数λを用いて、ＲＯＰＥアルゴリズムは、トータルコストＪ＝Ｄ＋λＲを最少化する。このコストに寄与する個々のＭＢは、加法的であり、それに伴って、マクロブロック基準に関して最少化することができる。従って、各ＭＢに対する符号化モードは、
ｍｉｎ ＪＭＢ＝ｍｉｎ （ＤＭＢ＋λＲＭＢ） （８）
ｍｏｄｅ ｍｏｄｅ
【００４８】
を最少化することにより選択される。ただし、ＭＢのひずみＤＭＢは、個々の画素のひずみ寄与の合計である。レート制御は、λを、Ｊ．Ｃｈｏｉ ａｎｄ Ｄ．Ｐａｒｋ，“Ａ Ｓｔａｂｌｅ Ｆｅｅｄｂａｃｋ Ｃｏｎｔｒｏｌ ｏｆ ｔｈｅ Ｂｕｔｔｅｒ Ｓｔａｔｅ Ｕｓｉｎｇ ｔｈｅ Ｃｏｎｔｒｏｌｌｅｄ Ｌａｇｒａｎｇｅ Ｍｕｌｔｉｐｌｉｅｒ Ｍｅｔｈｏｄ”，ＩＥＥＥ Ｔｒａｎｓ．Ｉｍａｇｅ Ｐｒｏｃ．，ｖｏｌ．３，ｐｐ．５４６−５８、１９９４年９月の場合のように変更することによって実現される。
【００４９】
本発明の実施形態は、レートひずみフレームワーク内での最適モードスイッチングと共に、二重フレームバッファを用いる。二重フレームバッファの基本的な利用は、以下の通りである。フレームｎを符号化すると共に、上記符号器及び復号器は、共に、２つの参照フレームをメモリ内に維持する。上記短期参照フレームは、フレームｎ−１である。上記長期参照フレームは、例えば、フレームｎ−ｋであり、ただし、ｋは変化してもよいが、常に１よりも大きい。次に、該長期参照フレームがどのように選択されるかを説明する。
【００５０】
発明者等がジャンプアップデートと呼ぶ１つのアプローチにおいては、上記長期参照フレームは、フレームｎ−２からフレームｎ−Ｎ−１まで変化する。フレームｎを符号化する際、該長期参照フレームがｎ−Ｎ−１である場合、上記符号器が、フレームｎ＋１を符号化することに移ると、該短期参照フレームは、フレームｎへ１つだけ前にスライドし、該長期参照フレームは、フレームｎ−１へＮだけ前にジャンプすることになる。そして、該長期参照フレームは、Ｎ個のフレームにわたって静的のままであり、その後再び前にジャンプする。発明者等は、Ｎをジャンプアップデートパラメータと呼んでいる。
【００５１】
他のアプローチは、上記長期フレームバッファが、現在のバッファから固定された時相距離を有するフレームを含むように、該長期フレームバッファを継続的にアップデートすることである。そのため、該バッファは、常に、各フレームｎに対するｎ−Ｄフレームを含む。発明者等は、Ｄを継続アップデートパラメータと呼んでいる。
【００５２】
ジャンプアップデート及び継続アップデートは、共に、より一般的な（Ｎ，Ｄ）アップデート戦略の特別なケースとみることができ、この場合、上記長期参照フレームは、符号化される現在のフレームから戻った距離Ｄにおけるフレームとなるように、量Ｎだけ前にジャンプし、その後、Ｎ個のフレームにわたって静的のままであり、再び前にジャンプする。一般的な（Ｎ，Ｄ）アップデートの場合、フレームｋは、フレームｋ−Ｄと同様に新しいまたはフレームｋ−Ｎ−Ｄ＋１と同様に古いＬＴフレームを有してもよい。ジャンプアップデートに関する発明者等の定義において、Ｎは、各シーケンスに対して自由に選択することができ、かつＤ＝２とすることができる（アップデートが行われるとき、該ＬＴフレームは、Ｎだけ前にジャンプして、フレームｎ−２になる）。継続アップデートにおいて、Ｄは、各シーケンスに対して自由に選択することができ、かつＮは１に固定することができる。最も一般的なアップデート戦略は、固定されたＮまたはＤを有せず、むしろ上記長期フレームバッファは、どんなにフレームが最も有用であっても、必要な場合に、不定期に更新される。別のケースにおいては、（Ｎ，Ｄ）は、固定されたままであると共に、１つのシーケンスを符号化する。次に、該選択が符号化モードの間でどのように実行されるかを説明する。
【００５３】
各マクロブロックは、３つの符号かモード、すなわち、ＩＮＴＲＡコーディング、上記短期バッファ（ＩＮＴＥＲ−ＳＴ−コーディング）を用いたＩＮＴＥＲコーディング、及び上記長期バッファ（ＩＮＴＥＲ−ＬＴ−コーディング）を用いたＩＮＴＥＲコーディングのうちの１つで符号化することができる。これら３つの間での選択は、修正したＲＯＰＥアルゴリズムを用いて実行される。符号化モードが、一旦、選択されると、ビットストリームを符号化する構文は、単一のフレームバッファの標準的なケースとほとんど同じになる。ＩＮＴＥＲコーディングが選択された場合、該修正は、単に、単一のビットが、該短期または長期フレームの使用を示すために送信されることである。
【００５４】
【数８】
【００５５】
【数９】
【００５６】
【数１０】
【００５７】
【数１１】
【００５８】
エラー隠蔽が、上記長期フレームではなく、直前のフレームｎ−１を用いてなお行われていることに注意する。これは、上記３つのＭＢｓが、ＩＮＴＥＲ−ＳＴコーディングまたはＩＮＴＥＲ−ＬＴコーディングされているか、あるいはこれら２つのある組合せでコーディングされているかに関係なく行われる。上記運動ベクトルは、高度に相関していなくてもよい。上位のＧＯＢも失われている場合には、直前のフレームからの同じ位置に配置されたブロックを用いて該ＭＢを隠蔽する。
【００５９】
隣接する相関関係のない運動ベクトルの存在は、運動ベクトル符号化効率に負の影響を与える。それら隣接する運動ベクトルからの運動ベクトルの正確でない予測により、ビットレートロスがある。さらに、圧縮効率は、上記フレームバッファを指定するために、各ＩＮＴＥＲコーディングされたＭＢに対して１ビットを用いるため、低減される。それにもかかわらず、実験結果は、レート歪みの最適化が、それら追加的なビットをモデル化し、かつなお、優れた圧縮性能をもたらすことが可能であることを示している。
【００６０】
【数１２】
【００６１】
この計算の場合、発明者等は、ハーフ画素格子上の３種類の画素、すなわち、実際の（元の）画素位置（整数指数画素と呼ばれ、それらは補間する必要がない）と一致する画素と、２つの整数指数画素（水平方向または垂直方向のいずれか）の間に存在する画素と、４つの整数指数画素の間に対角線上に存在する画素との間で異ならせている。発明者等は、双線形補間を用いるため、該補間された値は、２つまたは４つの隣接する整数指数画素の単純な平均である。整数指数画素の場合、上記再帰等式は、従来のＲＯＰＥアルゴリズムの等式と同じであり、該推定は最適である。
【００６２】
水平方向または垂直方向に補間された画素の場合、補間された画素領域上のｊが、元の画素領域における画素ｋ１及びｋ２を用いて補間された画素に対応すると仮定する。該第１のモーメントは、計算しやすい。
【００６３】
【数１３】
しかし、該第２のモーメントの式は、
【００６４】
【数１４】
である。
【００６５】
該最後の項は、その水平方向／垂直方向の大きさが、該画像の画素の数に等しい行列の相関を計算することを必要とする。このことは、小サイズの画像に対して、あるいは、十分な計算リソースを用いて、実施することができる。しかし、これは、典型的な計算リソースを用いた典型的なサイズの画像に対しては、計算的に好ましくない。コサイン不等式を用いることがほぼ好ましい。
【００６６】
【数１５】
【００６７】
対角線上に補間された画素の場合、補間された画素格子上のｊが、元の画素領域における補間画素ｋ１、ｋ２、ｋ３及びｋ４の結果であると仮定する。該第１のモーメントは、
【００６８】
【数１６】
のように正確に計算することができる。
該第２のモーメントの正確な式は、
【００６９】
【数１７】
である。
上記水平／垂直のケースと同様の近似を適用して、
【００７０】
【数１８】
を得て、この上限を用いて、該第２のモーメントを近似する。
【００７１】
本発明の一実施形態は、修正されたＨ．２６３＋映像コーデックである。これは、実験でテストされている。発明者等は、現在のＨ．２６３＋映像コーデックを２つの方法で修正した。単一フレーム（ＳＦ）動き補償の場合、発明者等は、モード切替え判断にＲＯＰＥアルゴリズムを用いた。結果として生じるビットストリームは、Ｈ．２６３＋規格に完全に準拠している。第二に、発明者等は、Ｈ．２６３＋映像コーデックを修正して、１つの追加的な（長期）フレームバッファを用いる。このフレームバッファは、上記言及したＦｕｋｕｈａｒａ等の場合のように、更新パラメータＮに従って定期的に更新された。上記単一フレームの場合も二重フレームの場合も、発明者等は、整数及びハーフ画素運動ベクトルのパフォーマンスを測定した。該ハーフ画素ベクトルが用いられて、上述した近似を用いてモデル化される。
【００７２】
発明者等の実験は、上記長期フレームバッファの追加が、上記符号器の圧縮を有効に改善し、かつビットストリームを、パケットドロップに対してより強くさせたことを示した。しかし、あるシーケンスの場合には、効果は小さく、また、該効果は、更新パラメータＮに依存する。固定されたＮは、全てのシーケンスに対して最適なわけではない。最適化は、特定のシーケンスのための特定の更新パラメータＮを選択することを含む。
【００７３】
本発明の複数フレーム符号化の実施形態は、レートスイッチングネットワークに適用される。長期または高品質参照フレームを用いることができる。例えば、無線ネットワークが、著しいネットワーク容量の変化にたびたびあうことを考える。そのような変化をもたらす例示的な事例は、ＡＢＣアプローチ等のサービスを利用している間のネットワークのハンドオフである。この文脈における長期または高品質フレームを用いた二重フレーム符号化は、該ネットワークがハンドオフし、ネットワーク容量における突然で激しい変化を静めた直後に送信されたフレームの品質を著しく改善することができる。
【００７４】
好適な実施形態において、長期過去フレームは、高帯域幅から低帯域幅へのネットワークスイッチングの直前に符号化された最後のフレームとなるように割り当てられる。このことを図２に示し、この場合、１０Ｍｂｐｓから１０〜２０ｋｂｐｓの変化の接続が発生する。現在のフレームｎは、高レート接続からの長期フレームｎ−Ｄを用いて符号化される。予測フレームにおける各マクロブロック（ＭＢ）の場合、直前のフレーム及び長期過去フレームに対して、サーチが実施されて、より良好なマッチングブロックが選択される。
【００７５】
次に、修正された実際的な実施形態を考えて、図２の方法を、ＭＰＥＧ−４符号化で作動するＡＢＣネットワークに適用する。ＡＢＣのようなサービスの下で作動する映像符号器は、帯域幅の大きな変化に対して強くなければならない。該ＡＢＣネットワークは、最小限の損失で、パケットのタイムリーな配信を提供すると仮定する。帯域幅の大きな変動を阻止するために、各フレームの量子化パラメータは、規格に準拠した符号器とは対照的に、その全レンジ（１〜３１）にわたって変化することができ、これは、該量子化パラメータの値の変化を、直前の値の２５％に制限する。
【００７６】
発明者等は、標準的なＭＰＥＧ−４符号器を変更することにより、複数フレーム帯域幅スイッチングの実施形態をシミュレートした。該ＭＰＥＧ−４符号器は、Ａ．Ｖｅｔｒｏ，Ｈ．Ｓｕｎ，Ｙ．Ｗａｎｇ，“ＭＰＥＧ−４ Ｒａｔｅ Ｃｏｎｔｒｏｌ ｆｏｒ Ｍｕｌｔｉｐｌｅ Ｖｉｄｅｏ Ｏｂｊｅｃｔｓ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ，Ｖｏｌ．９，Ｎｏ．１，ｐｐ．１８６−９９，１９９９年２月に記載されているレート制御法を用いる。発明者等は、各フレームを、該ＭＰＥＧ−４符号器に対する単一のオブジェクトとみなした。発明者等は、上記長期フレームに対して、追加的なメモリを割り当てた。追加ビットが、該符号器にどのフレームを参照するかを知らせるために、ＩＮＴＥＲコーディングされたＭＢごとに送信される。該ＩＮＴＲＡリフレッシュ期間を１００に設定した。該ＩＮＴＲＡリフレッシュ期間を減らすと、上記二重フレーム符号器のパフォーマンスが高まった。しかし、頻繁なＩＮＴＲＡリフレッシュは、ＧＰＲＳ（Ｇｅｎｅｒａｌ Ｐａｃｋｅｔ Ｒａｄｉｏ Ｓｅｒｖｉｃｅ）システムに使用できるビットレートを越えるであろう高いビットレートをもたらす。
【００７７】
発明者等は、静的及び動的な背景及びシーン変化を用いて、異なる種類の映像シーケンスをテストした。該テストシーケンスのフォーマットは、ＱＣＩＦ（Ｑｕａｒｔｅｒ Ｃｏｍｍｏｎ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）とした。フレームレートは、１０フレーム／秒とした。異なる低帯域幅ネットワークへのスイッチングの効果を調べるため、発明者等は、１Ｍｂｐｓから、１０ｋｂｐｓ（ＧＰＲＳ）〜１５０ｋｂｐｓ（１ｘＲＴＴ ＣＤＭＡ）の低帯域幅ネットワークへのスイッチングをシミュレートした。発明者等は、本発明の二重フレームバッファ符号器、及び比較のために従来のＭＰＥＧ−４符号器を用いて、様々なシーケンスを符号化した。発明者等は、上記高品質フレームを、該二重フレーム符号器のための上記長期過去フレームとして用いるように維持することが、復号されたシーケンスのＰＳＮＲによって量子化された場合の低帯域幅接続への切替え後に、数百フレームまでに対して良好な映像品質をもたらすことを見いだした。この方法は、該二重参照フレームを保持するための（該符号器及び復号器における）小さなメモリコストと、最良のマッチブロックのための第２の参照フレームをサーチするための復号器の複雑性の小さなコストとを要する。
【００７８】
ある場合においては、帯域幅の差し迫った切替えは、例えば、前もって警告または予測することにより、予期することができる。このことは、より高い帯域幅にある間に長期フレームを符号化する機会を与える。
【００７９】
別の実施形態において、長期フレームは、（例えば、帯域幅またはチャネル／ネットワーク状況の変化がない場合であっても）定期的にまたは時節使用され、高品質フレームを該長期フレームとして生成するために、特別な帯域幅が割り当てられる。このことは、時節または定期的に、例えば、Ｎフレームごとに、高品質の長期参照フレームを得る積極的なアプローチである。
【００８０】
特別なビットは、該ビットが、符号化される通常の品質よりも高い品質を有することになるように、高品質の参照フレームを生成するために割り当てられる。そして、この長期高品質参照フレームは、延長期間の高品質マッチングブロックのソースとして作用することができる。一つの実施例において、該延長期間は、状況の変化が発生した場合、Ｎフレームを越えてもよい。
【００８１】
上記特別なビットの割当は、スケジューラによって生じることができる。例えば、スケジューラによって割り当てられるシステムリソースを用いる多くのユーザがいるとする。発明者等が考えるシステムは、４００ｋｂｐｓのレートを有するＨＤＲ（ｈｉｇｈ ｄａｔａ ｒａｔｅ）等の共用無線媒体である。スケジューラＳ１は、ｋ人のユーザの間で該ネットワークからの使用可能な帯域幅Ｂを等しく分割する。各ユーザは、Ｂ／ｋの帯域幅を有する。スケジューラＳ２は、全帯域幅のうちのある部分ｂを確保して、残りを全てのユーザで分ける。該確保された部分ｂも各ユーザに割り当てられ、該ユーザ間でラウンドロビン方式で巡回させる。各ユーザは、ｋ−１のタイムスロットの間、帯域幅（Ｂ−ｂ）／ｋを有し、かつ１つの時間スロットの間、帯域幅ｂ＋（Ｂ−ｂ）／ｋを有する。図３Ａ及び図３Ｂは、２つのスケジューラを示し、この場合、該帯域幅は高さで表わされ、水平軸は時間である。図３ＡのスケジューラＳ１は一様であるが、スケジューラＳ２における該スケジューラが追加的な帯域幅を与えた場合の図３Ｂにおけるユーザｉの場合は高い。このことは、ユーザｉに割り当てられた特別な帯域幅を表わす厚く黒いバーによって示されている。この特別な帯域幅は、異なる時間において、該システムにおける他のｋ−１のユーザに割り当てられる。全てのユーザに対する平均的な帯域幅は、どの時刻においても同じままである。Ｓ２によって割り当てられた該特別な周期的帯域幅は、複数の、例えば、二重の動き補償スキームにおける長期フレームとして用いられる高品質フレームを生成するのに用いられる。
【００８２】
他の実施形態はスケジューラを用いないが、ある程度の余分な遅延を映像において許容できる場合には、固定された平均的な帯域幅を有するユーザが、（前後のフレームに対してより少ないビットで）１つのフレームに対して特別なビットを使用することを可能にする。該フレームのための特別なビットは、該フレームの送信のためのより多くの時間に単純に変化する。圧縮性能と遅延とのトレードオフがあってもよい。上記スケジューラの実施形態においては、特別な帯域幅が定期的に与えられるため、高品質フレームに対して余分な遅延が発生しないように、該スケジューラを作動させることが可能である。しかし、均等に割り当てられたＳ１システムの帯域幅に対して等しくなる全平均帯域幅を強要する可能性がある。
【００８３】
特定の実施形態を変更したＭＰＥＧ−４符号器は、選択するための３つのモードの符号化、すなわち、ＩＮＴＲＡコーディング、上記短期参照フレームを用いるＩＮＴＥＲコーディング及び上記長期参照フレームを用いるＩＮＴＥＲコーディングを有する。各マクロブロック（ＭＢ）に対しては、まず、次のように、ＩＮＴＲＡコーディング及びＩＮＴＥＲコーディングから選択することにより選択する。発明者等は、該短期または長期フレームにおける最良のマッチングＭＢと、符号化すべき現在のＭＢとの間のひずみｄｍｉｎを計算する。発明者等は、該現在のＭＢの標準偏差σを計算する。ＩＮＴＲＡコーディングは、σ＜ｄｍｉｎ−５１２である場合に選択され、そうでない場合には、ＩＮＴＥＲコーディングが選択される。該短期及び長期高品質フレームからのＩＮＴＥＲコーディングの選択は、動き補償されたＭＢと、符号化すべき該現在のＭＢとの間のひずみに基づいてなされる。低ひずみをもたらす参照フレームが選択される。
【００８４】
別の実施形態は、上記復号器からのフィードバックの利用を含む。実例として、該符号器は、受信したパケットの肯定応答を示す、該復号器からのフィードバックを受取ることができる。ｉを現在のフレームの指数とする。固定された遅延ｄを伴うフィードバックを用いると、該符号器は、該復号器の（ｉ−ｄ）番目の復元フレームの完全な知識を有することができる。発明者等は、過去のフレームの該復号器のバージョンと同じになるように、該過去のフレームを復号するために、該フィードバック情報を用いるという該符号器のプロセスを説明するために、再復号（ｒｅ−ｄｅｃｏｄｅ）という用語を用いることにする。該符号器が、どのＧＯＢｓが完全に受信され、かつどのＧＯＢｓがドロップしたかを知っている場合、該符号器は、エラー隠蔽を含めて、該復号器の動作を厳密にシミュレートすることができる。再復号されたフレームは、該復号器バージョンと等しい符号器におけるものであり、発明者等は、該フィードバック情報を該符号器のためにまだ使用することができない該符号器におけるフレームを説明するために、推定という用語を用い、そのため、該符号器は、該復号器バージョンを推定するように強いられる。フィードバック情報の場合、中間フレームにおける画素値の推定は、なお、ＩＮＴＲＡコーディングされたＭＢ、ＩＮＴＥＲ−ＳＴコーディングされたＭＢ及びＩＮＴＥＲ−ＬＴコーディングされたＭＢのための上記等式を用いて実行される。しかし、それらの等式によって要求される過去の復号器フレームに関する情報は、肯定応答された及び否定応答された再復号フレームを用いて再初期化することができる。そして、該符号器は、より多くの信頼度で画素推定を再計算し、最後のｄフレームに対する可能性のあるエラーを追跡することができる。実際の予測剰余またはイントラ係数は、ＲＯＰＥ推定アルゴリズムに与えられ、この場合、上記参照フレームは、再帰的に計算されるＲＯＰＥ推定または再復号されたフレームのいずれかである。
【００８５】
実施例を図４に示す。ここで、ジャンプ更新パラメータ及びフィードバック遅延は、それぞれ、Ｎ＝２及びｄ＝５である。ジャンプ更新パラメータＮ＝２は、フレーム０が、フレーム２及びフレーム３のための長期参照となり、フレーム２が、フレーム４及びフレーム５のための長期参照となり、フレーム４が、フレーム６及びフレーム７のために用いられることを意味する。
【００８６】
符号化フレーム７のスタート時においてｄ＝５であるため、フレーム２が再復号され、この新たに再復号されたフレームは、フレーム３、４、５及び６の推定を更新するのに直ちに用いることができる。符号化フレーム７の場合、該長期フレームはフレーム４であり、該短期フレームはフレーム６であり、これら２つのフレームの新しい推定は、上記符号器によって、フレーム７に対するパケットドロップによる予測ひずみを計算するのに用いられる。
【００８７】
代替のアプローチは、（ｉ−ｄ）フレームである最も近い正確に分かっているフレームを含ませるために、上記長期フレームバッファを前に移動させることである。フィードバック情報は、上記ＳＴフレームの推定を改善し、かつゼロへの上記ＬＴフレームの推定誤差を低減する。発明者等は、上記符号器及び復号器の長期フレームバッファが常に同一の復元を含むことを保証する。遅延ｄの場合には、Ｄ＝ｄ及びＮ＞１を用いた通常の（Ｎ，Ｄ）更新戦略、または、Ｄ＝ｄ及びＮ＝１を用いた継続的更新戦略のいずれかを用いることができる。Ｎ＝２及びｄ＝５の場合の実施例を図５に示す。図５において、フレーム１２は、現在、符号化中である。そのＬＴフレームは、再復号されているフレーム７である。しかし、再符号化フレーム７は、それぞれそのＳＴ及びＬＴフレームである、フレーム１及びフレーム６の再符号化バージョンを必要とする。ここで、８、９、１０及び１１の推定を得ることができる。フレーム８の場合、再復号化された７及び再復号された３が必要となる。９の場合、推定された８（ＳＴ）及び再復号された３（ＬＴ）が必要となる。１０の場合、推定された９及び再復号された５が必要となる。同様に、１１は、推定された１０及び再復号された５を必要とする。
【００８８】
上記送信機及び受信機における上記長期フレームバッファを同期させることにより、パケットドロップの累積によって引き起こされるドリフトエラーを完全になくすことができる。ＩＮＴＥＲ−ＬＴ符号化されたマクロブロックは、それらが届いた場合に、上記符号器及び復号器において同じ方法で復元されることになる。通常、このことは、ＩＮＴＲＡコーディングされたマクロブロックを送信することによってのみ保証される。しかし、ここで、フィードバック信号は、圧縮効率を大幅に犠牲にすることなく、上記長期フレームバッファを、追加的なエラー強さとして用いることを可能にする。
【００８９】
ひずみ推定を単に改善して、モード選択を改善するためにフィードバックを用いる代わりに、上記符号器における上記ＬＴフレームを再復号するためにこの情報を用いて動き推定を改善してもよく、また、より実際的な参照フレームを用いてもよい。実験は、このことが様々な条件の下で非常に良好に実行することを示している。
【００９０】
本発明の特定の実施形態を示しかつ説明してきたが、当業者には、他の変更例、置換え及び代替例が明白であることを理解すべきである。そのような変更例、置換え及び代替例は、本発明の趣旨及び範囲を逸脱することなく実行することができ、それは添付クレームから判断すべきである。
本発明の種々の特徴を添付クレームに記載する。
【図面の簡単な説明】
【００９１】
【図１Ａ】本発明の実施形態に係る例示的なシステムを示すブロック図である。
【図１Ｂ】本発明の実施形態に係る例示的なシステムを示すブロック図である。
【図２】レートスイッチングシナリオにおける、本発明の例示的な長期参照フレーム符号化法を示す概略図である。
【図３】図３Ａは、スケジューラを概略的に示す。図３Ｂは、スケジューラを概略的に示し、該スケジューラは、高品質の参照フレームの生成のために、追加的な帯域幅をユーザに割当てる。
【図４】本発明の実施形態に係る、フィードバックを伴う長期参照フレーム符号化法を概略的に示す。
【図５】本発明の実施形態に係る、フィードバックを伴う長期参照フレーム符号化法を概略的に示す。
【技術分野】
【０００１】
本発明の分野は、画像及び映像の符号化である。本発明の他の分野は、画像及び映像のディジタル通信及びディジタル記憶を含む。
【背景技術】
【０００２】
画像データのディジタル通信及び記憶は、画像の単一フレームを正確に記述するために必要な莫大な量のディジタルデータのため、困難なタスクである。映像の場合、データの量は、急速に多くなる。画像符号化は、画像データを圧縮することにより、例えば、１つの画像を表わすのに必要なデータの量を低減することにより管理可能な画像データの通信および／または記憶を実行しようとする。例えば、通信リソースは、帯域幅が限定されている。このことは、無線通信媒体においては、とりわけ本質的なことである。画像データ符号化においては、トレードオフがある。例えば、データのサイズの低減は、許容可能な尺度を超えて、画像品質を劣化させるべきではない。また、計算コスト及び計算速度は、特に、計算資源及び電力資源を節約して使わなければならないデバイスにおいては、管理しなければならない。映像符号化／圧縮アプローチの最新の例は、ＭＰＥＧ−４やＨ．２６４を含む。具体的には、後者は、特に、パケットネットワークを介した映像伝送用に設計されている。
【０００３】
多くのデバイスは、１つ以上の通信媒体へアクセスする。ラップトップ、携帯情報端末（ＰＤＡ）、ワークステーションまたはビデオ会議システム等のデバイスは、多数のネットワークにアクセスする。例えば、１つのデバイスは、いくつかの異なる種類の有線及び無線ネットワークにアクセスしてもよい。
【０００４】
多くの映像圧縮アルゴリズムは、今日、実質的な圧縮を実現するために、動き補償を利用している。動き補償の基本的なアイデアは、次の通りである。マクロブロックは、画像データの１ブロック、例えば、１つの画像における１６×１６画素の正方形領域を表わす。符号化すべき現在のフレームのマクロブロックは、最も似ているものを探すために、基準フレームにおけるマクロブロックのいくつかのセットと比較される。該基準フレームは、典型的には、該画像の直前のフレームである。類似性は、一般に、画素の絶対値の差の合計によって、あるいは、画素間の二乗差によって測定される。最もよくマッチしたブロックの位置は、運動ベクトルと呼ばれるオフセットベクトルを与えることによって指定することができ、該運動ベクトルは、符号化すべき該現在のマクロブロックと、該基準フレームにおける該最もよくマッチしたマクロブロックとの水平方向及び垂直方向の位置の差を示す。該符号化すべき現在のマクロブロックは、この運動ベクトルを用いるだけで表わすことができる。復号器は、この運動ベクトルを受信したときに、該基準フレームから参照ブロックを取り出して、該現在のブロックを表わすための位置に貼り込むことができる。該参照ブロック及び現在のブロックが十分類似している場合、この直接置換は、適切な品質を実現できるであろう。十分でない場合には、該符号器は、該参照ブロックを該現在のブロックにより類似するように、該参照ブロックをどのように変更するかを示すいくつかの追加情報にのっとって任意に送信することができる。
【０００５】
いずれの場合においても、これは、ＩＮＴＥＲコーディングと呼ばれる。上記符号器が、現在のマクロブロックに対して良好なマッチを見つけられない場合には、該符号器は、他のどの過去のブロックも参照することなく、該マクロブロックを自動的に符号化するように選択する。これはＩＮＴＲＡコーディングと呼ばれる。ＩＮＴＥＲコーディングとＩＮＴＲＡコーディングとの間の選択は、映像符号化規格ＭＰＥＧ、ＭＰＥＧ−２、ＭＰＥＧ−４、［Ｔ．Ｓｉｋｏｒａ，“Ｔｈｅ ＭＰＥＧ−４ Ｖｉｄｅｏ Ｓｔａｎｄａｒｄ Ｖｅｒｉｆｉｃａｔｉｏｎ Ｍｏｄｅｌ，”ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ，ｖｏｌ．７，ｎｏ．１，ｐｐ．１９−３１，Ｆｅｂｒｕａｒｙ １９９７．］，Ｈ．２６３［Ｇ．Ｃｏｔｅ，Ｂ．Ｅｒｏｌ，Ｍ．Ｇａｌｌａｎｔ ａｎｄ Ｆ．Ｋｏｓｓｅｎｔｉｎｉ，“Ｈ．２６３＋：Ｖｉｄｅｏ Ｃｏｄｉｎｇ ａｔ Ｌｏｗ Ｂｉｔ Ｒａｔｅｓ，”ＩＥＥＥ Ｔｒａｎｓ．Ｃｉｒｃ．ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎ，ｖｏｌ．８，ｎｏ．７，ｐｐ８４９−８６５，Ｎｏｖ．１９９８］及び最新のＨ．２６４で提供された基本的なアプローチである。
【０００６】
ＩＮＴＥＲコーディングは、ＩＮＴＲＡコーディングよりも少ないビットを要する傾向があるが、エラーを伝播させる可能性がある。ＩＮＴＲＡコーディングは、直前のフレームに対する参照を実行しないので、直前のフレームに存在するエラーを伝播させることはない。ＩＮＴＥＲコーディングとＩＮＴＲＡコーディングとの間の選択は、より少ないビットを使用し、かつエラーに対して強くするという競合する目的を満たすことを含む。
【０００７】
ＩＮＴＥＲコーディングとＩＮＴＲＡコーディングとの間の聡明な選択を実行することは、当該技術における論点である。この問題を論じている１つの論文は、Ｒ．Ｚｈａｎｇ，Ｓ．Ｌ．Ｒｅｇｕｎａｔｈａｎ，ａｎｄ Ｋ．Ｒｏｓｅ，“Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｗｉｔｈ Ｏｐｔｉｍａｌ Ｉｎｔｅｒ／Ｉｎｔｒａ−Ｍｏｄｅ Ｓｗｉｔｃｈｉｎｇ ｆｏｒ Ｐａｃｋｅｔ Ｌｏｓｓ Ｒｅｓｉｌｉｅｎｃｅ，”（ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｎ Ｓｅｌｅｃｔｅｄ Ａｒｅａｓ ｉｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，ｖｏｌ．１８，ｎｏ．６ ｐｐ．９６６−７６，Ｊｕｎｅ ２０００）である。この論文は、歪みを評価する際に２つの要因、すなわち、チャネルエラー確率及び符号化されるブロックの隠蔽性を考慮するＲＯＰＥ（ｒｅｃｕｒｓｉｖｅ ｏｐｔｉｍａｌ ｐｅｒ ｐｉｘｅｌ ｅｓｔｉｍａｔｅ）と呼ばれる歪み評価法を提供している。そして、（マクロブロック等の）所定のブロックのためのＩＮＴＥＲコーディングとＩＮＴＲＡコーディングとの間の選択は、（ＲＯＰＥによって評価されるような）歪みを低減することと、小数のビットのみを符号化に用いること（特に、目標のレート制約内にとどまること）との競合する目的のバランスを失わせることによってなされる。レート制約は、ＩＮＴＥＲコーディングに有利であり、エラー制約は、ＩＮＴＲＡコーディングに有利であり、エラーを隠蔽する能力は、ＩＮＴＥＲコーディングに有利である。
【０００８】
映像データを伝送するのに使用される接続が、品質の変化にあった場合、結果として生じる映像復号は、非常に悪い結果を生じる可能性がある。上記参照フレームが、悪い品質の参照を提供する場合、該復号結果は、急速に悪くなる。このことを取り扱う、提案されている一つの方法は、多数のフレームを保持することである。しかし、これは、復号を重荷にし、かつ非常に複雑にする可能性がある。
【０００９】
上記多数の参照フレームアプローチに関する多くの実例がある。［例えば、Ｎ．Ｖａｓｃｏｎｃｅｌｏｓ ａｎｄ Ａ．Ｌ．ｉｐｐｍａｎ，“Ｌｉｂｒａｒｙ−ｂａｓｅｄ Ｉｍａｇｅ Ｃｏｄｉｎｇ，”ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ，ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．ｖ，ｐｐ．Ｖ／４８９−Ｖ／４９２，１９９４；Ｔ．Ｗｉｅｇａｎｄ，Ｘ．Ｚｈａｎｇ，ａｎｄ Ｂ．Ｇｉｒｏｄ，“Ｌｏｎｇ ｔｅｒｍ Ｍｅｍｏｒｙ Ｍｏｔｉｏｎ−Ｃｏｍｐｅｎｓａｔｅｄ Ｐｒｅｄｉｃｔｉｏｎ，”ＩＥＥＥ Ｔｒａｎｓ．Ｃｉｒｃ．ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎ，ｖｏｌ．９，ｎｏ．１，ｐｐ．７０−８４，Ｆｅｂ．１９９９を参照］１つの実施例において、映像のフレームＮのブロックを符号化する場合、上記符号器は、フレームＮ−１、Ｎ−２、Ｎ−３及びＮ−４の中で、最も可能性のあるマッチングブロックを探す。すなわち、直前の４つのフレームを、マッチングのために探すことができる。そして、該符号器は、上記復号器に、どの参照フレームが最良のマッチングを示したかを知らせることができる。例えば、２ビットを、４つのフレームのうちのどれが最良のマッチングを示すかを説明するために割当てることができ、通常の運動ベクトルが、符号化すべき現在のブロックと、指定された参照フレームにおける最良のマッチングブロックの位置との間のオフセットを与えるために提供される。
【００１０】
Ｔ．Ｆｕｋｕｈａｒａ，Ｋ．Ａｓａｉ，ａｎｄ Ｔ．Ｍｕｒａｋａｍｉ，“Ｖｅｒｙ Ｌｏｗ Ｂｉｔ−Ｒａｔｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｗｉｔｈ Ｂｌｏｃｋ Ｐａｒｔｉｔｉｏｎｉｎｇ ａｎｄ Ａｄａｐｔｉｖｅ Ｓｅｌｅｃｔｉｏｎ ｏｆ Ｔｗｏ Ｔｉｍｅ−Ｄｉｆｆｅｒｅｎｔｉａｌ Ｆｒａｍｅ Ｍｅｍｏｒｉｅｓ，”ＩＥＥＥ Ｔｒａｎｓ．Ｃｉｒｃ．ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎ，ｖｏｌ．７，ｎｏ．１，ｐｐ．２１２−２２０，Ｆｅｂ．１９９７においては、２つの時間の異なるフレームのみが用いられ、それに伴って、比較的大きくない計算の複雑性の増加を必要とする。この二重フレームバッファは、２つの参照フレームのみがある多フレームバッファの特別なケースである。例えば、１つの短期参照フレーム（直前のフレーム）と１つの長期参照フレーム（より以前からのフレーム）とすることができる。Ｆｕｋｕｈａｒａ等においては、多くのハイブリッドコーデックと同様に、一方のフレームは直前のものであり、第２のフレームは、予め定義されたルールに従って定期的に更新されたより以前の参照フレームを含んでいた。多数の参照フレームが、計算負荷及び記憶装置の複雑性の増加を犠牲にして、再現されたＰＳＮＲ（ピーク信号対雑音比）の著しい増加をもたらすことができることが分かってきている。動き評価は、ハイブリッド映像コーディングシステムにおける主要なパフォーマンスボトルネックであり、総符号化時間の８０〜９０％を占めている。従って、１つでも追加フレームバッファを付加することは、符号化時間を倍加させる可能性がある。記憶装置の必要条件についても同様であり、参照フレームの数が大きくなった場合、該増加も線型であり、かつ著しい。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
ＡＢＣ（常時最良接続）アプローチは、デバイスが多数の接続にアクセスする場合に用いられるアプローチである。ラップトップまたはＰＤＡ等のデバイスは、異なるレートで作動するいくつかの異なる種類の無線または有線ネットワークにアクセスすることが可能である。例えば、該デバイスは、イーサネット接続（１０Ｍｂｐｓ）、無線ＬＡＮ（１１Ｍｂｐｓ）、ＨＤＲ（４００〜５００Ｍｂｐｓ）、１ｘＲＴＴ（６４ｋｂｐｓ）及びＧＰＲＳ（１６ｋｂｐｓ）を用いて通信することができる。該デバイスは、常に、ユーザが、彼のユーザプロファイルにおいて、他のどのネットワークも選択しないとの仮定で、該デバイスが特定の時間にアクセスすることができる最良の接続を用いて作動することになる。該最良の接続は、最高のデータレートを有するものとなる場合もあるが、他の要因（例えば、誤り率、遅延等）がさらに関連する。該最良の接続が使用できなくなった場合、または、該最良の接続が、もはや最良の接続ではないポイントまで劣化した場合には、上記デバイスは、他の接続、すなわち新たな最良の接続にシームレスで切り替わることが求められる。多くの場合、これは、低速での接続となる。また、該デバイスは、どの接続が使用可能であるかを理解するために、定期的に全ての接続を調べることを求められる。高速接続が使用不能になった後、再び使用可能になった場合には、該デバイスは、可用性を見つけて、該ネットワークを使用することに戻るように切り替わることを求められる。
【課題を解決するための手段】
【００１２】
二重で、可能な限り多数のフレームアプローチが本発明によって用いられる。本発明の実施形態は、ＩＮＴＥＲコーディングを実施するために、あるいは、ＩＮＴＲＡフレームコーディングを実施するために、直前の参照フレーム以外のフレームである長期参照フレームを用いる決断を決定することを含む。他の実施形態は、長期及び短期の参照ブロックの使用と、ＩＮＴＥＲコーディングブロックとＩＮＴＲＡコーディングの２種類のコーディングの間の決定とを含む。
【００１３】
本発明の実施形態によれば、長期フレームは、高品質のフレームである。該高品質フレームは、特定の条件下で、参照フレームとして使用することができる。
【発明を実施するための最良の形態】
【００１４】
本発明は、映像、データ等の画像を符号化する方法、デバイス及びシステムに注力する。また、本発明は、データを復号する方法、デバイス及びシステムにも注力する。本発明は、通信媒体を利用する多くの種類のシステムに有用となるであろう。本発明は、例えば、ピアツーピア方式の通信やサーバクライアント方式の通信に用いることができ、および、例えば、画像データを格納するのに用いることもできる。本発明の特定の例示的な実施形態は、ビデオ会議システム及び方法である。本発明の実施形態は、映像接続が、相当量によりレートを変化させることができる状況に特に適している。
【００１５】
本発明の実施形態を説明する際、該論考は、フレームの処理に焦点を当てることとする。これは、本発明の共通の実施である。しかし、標準などの場合、処理及び比較は、ブロックの基準に対して実施される。ブロックサイズは、一般に、本発明の目的に対して任意である。共通の実施は、上述した標準の場合のように、マクロブロックを使用する。本願明細書で用いる場合、フレームは、マクロブロック等の複数のブロックに分割することができる。しかし、フレームサイズに対しては、特定の制限はなく、本発明の実施形態は、該標準のフレームサイズを利用してもよい。
【００１６】
本発明は、上述した多くの標準の変更例として適用することができる。本発明は、該標準のいずれかで計算されるように、動き補償ベクトルを利用してもよく、また、ベクトル計算に、他の方法を用いてもよい。本発明により、公知の標準が改善されると共に、本発明の実施形態は、一般的な標準フレームワーク及び公知のハードウェア実施を利用する。
【００１７】
二重で可能な限り多数のフレームアプローチが、本発明により用いられる。本発明の実施形態は、ＩＮＴＥＲコーディングを実施するために、あるいは、ＩＮＴＲＡフレームコーディングを実施するために、直前の参照フレーム以外のフレームである長期参照フレームを用いる決断を決定することを含む。他の実施形態は、長期及び短期の参照ブロックの使用と、ＩＮＴＥＲコーディングブロックとＩＮＴＲＡコーディングの２種類のコーディングの間の決定とを含む。ＲＯＰＥは、ＩＮＴＲＡコーディング及び短期参照ブロックのためのモーメントを計算するのに用いられ、また、修正したＲＯＰＥは、長期参照ブロックのためのモーメントを計算するのに用いられ、この場合、直前のブロックの成分は、任意の変数として処理される。
【００１８】
本発明の実施形態によれば、長期フレームは、高品質のフレームである。該高品質フレームは、特定の条件下で、参照フレームとして用いることができる。該条件は、例えば、映像が、それを介して受信されている接続の品質の変化を含んでもよい。該高品質フレームは、例えば、より高品質の接続の時間からの過去のフレームであってもよい。別の例示的な実施形態においては、高品質フレームは、予想される通信品質の変化よりも進んで保持される。このことは、不十分な品質の事前の警告または予測の結果であってもよく、あるいは、例えば、高品質フレームが使用可能であることを保障するために、定期的に実施してもよい。例えば、高品質参照フレームは、先行及び後続のフレームから、割当てられたビットレートの典型的な共用を奪うことにより、先行及び後続のフレームを犠牲にして、臨時に符号化することができる。追加的な実施形態においては、フレームは、静的及び動的な部分に分離される。例えば、背景部と前景部を識別してもよい。背景部のための高品質参照フレームは、その静的性質のため、かなりの時間周期で用いることができ、前景部は、最新のまたは最新に近い受信フレームによって動き補償される。
【００１９】
本発明の実施形態は、二重のまたは多数のフレーム保持実施形態と、単一の参照フレーム保持実施形態とを含む。例えば、二重フレーム実施形態は、（符号化すべき現在のフレームにおける）各ブロックを、過去の高品質参照フレーム及び最新の（短期）参照フレームと比較してもよく、かつよりよい結果をもたらすフレームを判断することにより、動き補償を実施してもよい。過去の高品質フレームは、長期参照フレームバッファ内に維持され、最新の参照フレームは、最新参照フレームバッファ内に維持される。最新の参照フレームが、過去の参照フレームよりもより高品質である場合には、該最新の参照フレームは、過去の高品質参照フレームとして該長期参照バッファ内に保持され、該直前の過去の高品質参照フレームは廃棄される。例示的な単一フレームの実施形態においては、単一の参照フレームバッファが維持される。高品質長期参照フレームは、それが古くなるまで、例えば、符号化すべき現在のフレームに対する類似性があるしきい値以下に低下するまで、該単一の参照フレームバッファに維持され、直前のフレームを参照フレームとして用いることを始める決断がなされる。
【００２０】
本発明の二重または多数フレームの実施形態における符号器の複雑性は、高品質フレームがベンチマークとして保持されるため、複雑性は、従来技術よりも小さい。従って、例えば、上記長期高品質フレームが尺度に合う限り、非常に多くの比較を実行する必要はない。加えて、最新のフレームと比較される該長期フレームの検査を、時々または定期的に実施してもよい。本発明の上記単一フレームの実施形態は、複雑性の低い符号器を提供し、追加的な符号器の複雑性を必要としない。
【００２１】
本発明の好適な実施形態の方法は、過去のより高レートの接続からのデータを用いて、長期動き補償を実施する。我々は、映像符号器が、例えば、常時最良接続（ＡＢＣ）ネットワークを用いて伝送し、かつ現在の最良の接続が悪くなるため、ユーザがより低いレートの接続に切り替えなければならない状況を考える。フレームは、高レートチェネルを介して伝送され、フレームＮ＋１で始まり、ユーザは、今、低レート接続を有しているため、該フレームは１からＮまで高品質であると考える。ＭＰＥＧ−２またはＨ．２６３等の標準的な映像符号器の場合、低速接続が続いている間の映像品質は低くなる。（低速で伝送しなければならない）フレームＮ＋１は、（高品質を有している）フレームＮからＩＮＴＥＲコーディングを用いることができるため、フレームＮ＋１の品質は、ブロックマッチング動き補償は、高品質参照フレームを用いてなされるという事実から恩恵を受けることになる。しかし、フレームＮ＋１は、レートがカットされているため、概して、フレームＮよりも低品質となる。
【００２２】
フレームＮ＋２を符号化する場合、ここで、フレームＮ＋１を用いてＩＮＴＥＲコーディングが行われ、そのため、品質がさらに低下する。低レート、低品質伝送に対応して、新たな定常状態が実現されるまで、品質が迅速に低下すると予想される。このシナリオにおいて、本発明の実施形態は、二重フレーム動き補償アプローチを用い、この場合、上記長期フレームバッファは、例えば、良好な接続が機能しなくなる前、および悪い接続が該良好な接続と代わる前のフレームＮ、つまり高品質、高速接続からの最新のフレームを含む。そのため、フレームＭを符号化する場合、この場合Ｍ＞Ｎ＋１であるが、動き補償に使用可能な２つのフレーム、すなわち、短期フレームＭ−１（低品質の直前のフレーム）及び長期フレームＮ（高品質のより過去のフレーム）を有することになる。
【００２３】
多くのビデオ会議用途の場合のような、符号化すべきシーンが非常に静的である状況を考える。上記デバイスが、例えば、１０Ｍｂｐｓの無線ＬＡＮ接続から、１６ｋｂｐｓのＧＰＲＳ接続に切り替わった場合、該シーンの背景は、全く一定のままである可能性がある。長期の超高品質の過去から動き補償を用いると、現在のフレームに対して非常に正確なマッチがもたらされる可能性がある。一方、動き補償に対して、短期の過去のみを用いると、１６ｋｂｐｓというのは、非常に低速であり、低品質の映像を生成することになるため、悪い結果が生じる可能性がある。また、過去の高品質フレームが有利になるという別の理由もある。過去の高品質フレームが有利になる他の可能な状況は、一定の接続または変化する接続のいずれかによって発生する可能性がある。例えば、人または対象物がシーンを離れて、その後、該シーンに戻ってくるビデオ会議用途を考えてみる。直前のフレームのみを、符号化のための基準として用いることは、高品質情報をもたらさない。実際に、該人または対象物が、該シーンに戻ってくる非常に初期のフレームにおいては、それらに対して少しも高品質または低品質の参照情報を有していない。高品質の過去のフレームを保持している場合には、該人または対象物が、たとえ最初に該シーンに戻ってきても、高品質の参照情報を有することになる。そのため、これは、たとえ、シーンが静的でない場合であっても、上記長期の過去からの高品質の参照フレームが有用となる場合である。また、この種の利点は、ビデオ会議中の人が、ちょっとの間、席を立ち、そのため、数フレームの間、その人たちの顔が見えなくなり、その後、その人たちが近くに戻ってくる場合にも生じるであろう。直前のフレームのみを参照情報のために用いた場合、その人たちが戻ってきた場合には、当初、その人たちの顔のための参照はないであろう。
【００２４】
過去のより高いレートの接続の使用に対する変更及び追加的実施形態は、例えば、接続品質の変化に関する事前の警告または予報がある状況を含む。デバイスが、いくつかの事前の警告を有する場合、あるいは、現在の最良の接続の差し迫った障害、および低レート接続への切替えの必要性の差し迫った障害を予測することが可能な場合を考える。上記符号器が、上記長期フレームバッファのために、特定の高品質フレームを良好に利用することができることが分かっていれば、送信者は、実際に、切替えを実行する前に、特定の高品質を有する１つのフレームを符号化することができる。すなわち、直前及び後続のフレームから、それらのビットレートの通常の共用を奪うことにより、該符号器は、例えば、特定の高品質フレームを生成する、より十分な量子化を用いることができる。低速接続への切替えが実行されると、該符号器は、この特定のフレームを、二重フレーム動き補償における長期フレームバッファとして使用することができる。
【００２５】
別の変更例においては、高品質フレームは、時々または定期的に符号化される。このようにする一つの理由は、接続の品質の変化を防ぐためである。他の場合においては、このことは、接続の品質の変化に関係がない場合でも有用である。１０番目のフレームに余分なビットを与え（それにより、次の１０フレームに使用されるより高品質の長期参照フレームを生成する）ために、単一のユーザに、（例えば）９つのフレームのためにより小数のビットを使用させることを考える。このことは、必要な帯域幅の増加を伴うことなく、全体的により高品質の映像を生成するのに用いることができる。追加的な実施形態は、低トラフィックの間、または、追加ビットレートが使用可能な場合に、高品質フレームを符号化することを含む。また、このことは、例えば、高品質フレームのためのビットレートを割当てるサーバによって制御することができる。例えば、多数のユーザが帯域幅を共用している場合、サーバによって実施されるスケジューラは、該ユーザ（クライアント）間で、該帯域幅の一部を循環させてもよい。各クライアントは、定期的に、余分な帯域幅のバーストを割当てられる。該余分な帯域幅は、参照フレームとして使用される高品質フレームを符号化するのに用いられる。別の実施形態は、いくつかの先行するまたは後続のフレームから、高品質参照フレームを生成するためのビットの割り当てを奪うことにより、それら自体の帯域幅の割当を用いることにより補償するクライアントまたはピアユーザに関する。
【００２６】
また、本発明の実施形態は、データの静的及び動的部分を認識し、かつそのような認識に基づいて符号化を調節してもよい。符号化及び伝送すべき映像が、静的であるまたはそれに近い背景部と、動く前景部とからなる状況を想定する。これは、例えば、ビデオ電話及びビデオ会議用途の場合に生じる可能性がある。符号化すべき現在のフレームを、背景領域と前景領域とに分割することができる場合、（静的と仮定する）該背景は、長期の過去の高品質フレームを用いて動き補償することができ、かつ（非静的と仮定する）前景は、最新のフレームを用いて動き補償することができる。加えて、前景等のデータの動的部分は、高品質の長期フレームへの参照から恩恵を受けることが可能な場合がある。例えば、対象物または人が立ち去った後、シーンに戻ってくる映像の場合は、動的情報が、長期の高品質フレームから恩恵を受けることが可能である場合を示す。
【００２７】
本発明の追加的な実施形態は、上述した実施形態のいずれかまたは以下に記載する実施形態と共に、単一フレームの長期予測を用いる。二重フレームコンセプトを適用する代わりに、発明者等は、長期の過去のフレームが古くなるときまで、動き補償のために、高品質を有する単一フレームで長期の過去フレームを用いる（すなわち、該フレームが、現在のフレームと異なるため、予測のために、直前の悪い品質のフレームを用いたほうが好ましい）。上記二重フレームバッファコンセプトとは異なり、これは、上記符号器において、いかなる追加的な複雑性も必要としない。
【００２８】
本発明の追加的な実施形態は、復号器の隠蔽に関する。映像信号が圧縮されて、信頼できないチャネルを介して伝送される場合には、エラーを処理するいくつかの戦略を用いなければならない。一つの戦略は、該復号器によって用いることができる後処理法のファミリーであるエラー隠蔽である。受信したフレームの一部が破損している場合、該符号器の後処理法は、ビューアからこれを隠蔽しようとする。様々な代替法、すなわち、空間領域補間、周波数領域における推定、適切なブロックを参照フレームに配置することを含む時相隠蔽が存在する。本発明の実施形態において、発明者等は、上記符号器が、標準的な処理手順に従って符号化する、すなわち、直前のフレームが参照フレームとして用いられると仮定する。しかし、該復号器は、追加的な参照フレーム（長期の過去の高品質フレーム）及び直前のフレームを利用することができる。損失がある場合にのみ隠蔽する代わりに、該復号器は、過去の高品質の参照フレームを用いることにより、高品質のブロックと交換することができる、受信する非常に悪い品質のマクロブロックがある場合に、隠蔽を用いてもよい。これは、隠蔽というよりは、改善と呼ぶことができるが、時相隠蔽に対する変形と考えることもできる。本質において、該品質がかなり悪い場合には、実際には、ブロックが失われていなくても、ブロックが失われていると考えるように選択してもよく、また、高品質の過去フレームが、該失われたブロックを置換するために用いられるロス隠蔽アプローチを呼び出すことができる。
【００２９】
また、本発明の実施形態は、上記の符号化決定及びフレームワークの様々な組合せを含む。次に、いくつかの特定の好適な実施形態を詳細に論じ、また、様々な追加的な発明の特徴が当業者に理解されるであろう。
【００３０】
図１Ａ及び図１Ｂは、本発明の実施のための例示的なシステムを示す。図１Ａ及び図１Ｂのシステムは、本発明の上記実施形態のいずれかを用いてもよい。図１Ａは、符号器を示す。図１Ｂは、復号器を示す。該符号器において、長期フレーム推定メモリ１０は、モード選択に用いられる長期フレームに対する推定を格納する。それらの推定は、修正されたＲＯＰＥアルゴリズムによって決定される。追加的な記憶装置１２を構成する別のメモリは、長期メモリ１０に格納されたものよりも古いフレーム推定を格納するのに用いることができる。追加的な記憶装置１２は、フィードバックが用いられる、本発明の実施形態において用いられる。短期フレーム推定は、短期フレーム推定メモリ１４に格納される。
【００３１】
レート／符号器制御論理１６は、上記フレーム推定を用いて、歪みを計算し、レート歪みの最適化を実行する。また、該レート／符号器制御論理は、量子化パラメータ（ＱＰ）選択、動き補償及び再復号制御を制御する。スイッチ１８は、イメージ画素（ＩＮＴＲＡコーディング）または異なるイメージ画素（ＩＮＴＥＲコーディング）のいずれかを、離散コサイン変換器（ＤＣＴ）２０へ送るために、該レート／符号器制御論理によって制御される。量子化器２２は、該レート／符号器制御論理１６によって選択されたＱＰを考慮して、ＤＣＴ２０により出力された画像ＤＣＴ係数を量子化し、量子化指数（係数）を出力する。該量子化指数を考慮して、逆量子化器２４は、該ＱＰを用いて、該画像ＤＣＴ係数を再構成する。逆ＤＣＴ２６は、該ＤＣＴ係数（例えば、８×８ブロックのＤＣＴ係数）を受け入れて、それらをイメージ画素または画素の差値に変換する。
【００３２】
ＩＮＴＥＲコーディングの場合、スイッチ２８は、動き補償器３０からの動き補償を用いて得られる予測を付加する。スイッチ２８は、ＩＮＴＲＡコーディングの場合、開いたままである。動き補償器３０は、予測、短期フレームメモリ３２からの格納された短期フレーム、及び長期フレームメモリ３４からの格納された長期フレームを用いて、該現在のフレームに対して、動き推定を実行する。同様に、該動き補償器は、直前のステージで得られた運動ベクトルを用いて、動き補償を実行してもよい。また、該動き補償器は、フィードバックが使用可能なフレームであって、その参照フレームが、（本発明のフィードバック実施形態において）現在、フィードバックが利用可能なフレームの再復号化に用いられる追加的な過去の再復号化フレームを格納するメモリ３６に緩衝記憶されているフレームのために、再復号化も実行する。そして、追加的な記憶装置１２内の格納推定は、該再復号化されたものと等しく、従って、３６に格納されたフレームと等しい。それは、ここでは、モード選択に用いられると共に、再復号化のため３６で用いられるため、別々に示されている。
【００３３】
上記符号器（図１Ｂ）において、逆量子化器３８は、量子化指数を受取り、上記ＱＰを用いて、上記ＤＣＴ係数を再構成する。該逆量子化器は、該符号器の逆量子化器２４に関して等しい。逆ＤＣＴ４０は、該ＤＣＴ係数を受け入れて、それらをイメージ画素または異なる画素値に変換する。該逆ＤＣＴは、該符号器の逆ＤＣＴ２６と等しい。スイッチ４２は、予測を付加し、あるいは付加せず、また、上記符号器のスイッチ２８と等価である。短期フレームメモリ４４は、直前に再構成されたフレームを格納する。運動ベクトル復号器４６は、受取った運動ベクトルを復号し、動き補償器４８は、４６によって供給される運動ベクトルと、短期フレームメモリ４４及び再構成された長期フレームを格納する長期フレームメモリ５０によって供給される参照とを用いて、動き補償を実行する。
【００３４】
次に、本発明の好適な追加的特定の方法を論じ、該方法は、図１Ａ及び図１Ｂのシステムまたは他のシステムに用いることができる。図１Ａ及び図１Ｂのシステム１０において映像を符号化する方法は、高品質フレームを用いる。映像データは、フレームに分割される。それらのフレームは、背景及び前景等の領域に分割してもよい。このことは、上記符号器が、該映像データに関する情報を有している場合に有用となる。また、該映像データは、符号化演算をより単純にするブロックまたはマクロブロック等のユニットに分割してもよい。また、フレームは、全体として処理してもよい。該符号器は、上記復号器において予想される歪みを判断する。このことは、チャネルエラー確率及び過去の符号化モードの履歴に基づいてもよい。該符号器は、高品質の過去フレームを用いて、符号化されるフレームを改良する。
【００３５】
また、上記符号器は、データチャネル品質の変化を認識し、かつ符号化される画像または画像領域の内容の変化を格納してもよい。フィードバックは、上記復号器で予想される歪みの更新バージョンを格納するのに用いることができる。そして、該復号器における歪みの該符号器の予想、フレームバッファの数、フレームバッファのサイズ、該復号器からのフィードバック、データチャネル品質を変化させることに関する履歴、および該フレームバッファに格納されているものの内容及び伝送された画像の（マクロブロック等の）符号化される各フレームまたは領域を判断するための画像または領域品質の変化の履歴を用いて、どのフレームバッファが参照バッファとして機能するかの判断が行われる。該判断は、圧縮比または映像品質またはある尺度のバランスのうちの一つを最大化するために行われる。
【００３６】
ＩＮＴＥＲコーディングとＩＮＴＲＡコーディングとの切替えは、本発明の実施形態において実施される決断である。発明者等は、パケットイレーザチャネルを介して作動するハイブリッド映像符号器におけるモード決断を実行できるＲＯＰＥを利用する。
【００３７】
発明者等は、映像ビットストリームが、パケットイレーザチャネルを介して伝送されると仮定する。各フレームは、ブロック群（ＧＯＢ）に分割される。各ＧＯＢは、マクロブロック（ＭＢｓ）の単一の水平方向のスライスを含み、単一のパケットとして伝送される。各パケットは、再同期マーカにより、個別に受信し、復号することができる。従って、単一のパケットの損失は、ＭＢｓの１つのスライスを消してしまうが、該フレームの残りは無傷のままである。
【００３８】
各単一の画素に対するイレーザ確率でもある、パケットイレーザの確率をｐとする。該イレーザが上記復号器により検知された場合、エラー隠蔽が適用される。該復号器は、該失われたマクロブロック上のＧＯＢにおける３つの最も近いマクロブロックの運動ベクトル（ＭＶ）の中央をＭＶとして用いて、失われたマクロブロックを、直前のフレームからの１つと置き換える。上記ＧＯＢがすでに失われている（または、最も近いＭＢｓが全てＩＮＴＲＡコーディングされており、そのため、運動ベクトルを有していない）場合には、全て０（０，０）のＭＶが用いられ、該失われたマクロブロックは、直前のフレームからの同じ場所に配置されたものと置換される。
【００３９】
【数１】
【００４０】
【数２】
である。
【００４１】
【数３】
【００４２】
【数４】
となる。
【００４３】
【数５】
【００４４】
【数６】
【００４５】
【数７】
で示される。
【００４６】
これらの再帰は、上記復号器における予想ひずみを計算するために、上記符号器において実行される。該符号器は、その符号化決断時に、各ＭＢに対する符号化モードを最適に選択するために、この結果を利用することができる。
【００４７】
ＲＯＰＥは、最適モードスイッチングに対する圧縮及び伝送エラーにより、上記予想ひずみを考慮する。上記符号器は、与えられたビットレート及びパケット損失レートに対する最適な方法で、マクロブロック基準で、ＩＮＴＲＡコーディングとＩＮＴＥＲコーディングの間で切り替わる。目的は、ビットレート制約Ｒにしたがって、全ひずみＤを最少化することである。ラグランジュ乗数λを用いて、ＲＯＰＥアルゴリズムは、トータルコストＪ＝Ｄ＋λＲを最少化する。このコストに寄与する個々のＭＢは、加法的であり、それに伴って、マクロブロック基準に関して最少化することができる。従って、各ＭＢに対する符号化モードは、
ｍｉｎ ＪＭＢ＝ｍｉｎ （ＤＭＢ＋λＲＭＢ） （８）
ｍｏｄｅ ｍｏｄｅ
【００４８】
を最少化することにより選択される。ただし、ＭＢのひずみＤＭＢは、個々の画素のひずみ寄与の合計である。レート制御は、λを、Ｊ．Ｃｈｏｉ ａｎｄ Ｄ．Ｐａｒｋ，“Ａ Ｓｔａｂｌｅ Ｆｅｅｄｂａｃｋ Ｃｏｎｔｒｏｌ ｏｆ ｔｈｅ Ｂｕｔｔｅｒ Ｓｔａｔｅ Ｕｓｉｎｇ ｔｈｅ Ｃｏｎｔｒｏｌｌｅｄ Ｌａｇｒａｎｇｅ Ｍｕｌｔｉｐｌｉｅｒ Ｍｅｔｈｏｄ”，ＩＥＥＥ Ｔｒａｎｓ．Ｉｍａｇｅ Ｐｒｏｃ．，ｖｏｌ．３，ｐｐ．５４６−５８、１９９４年９月の場合のように変更することによって実現される。
【００４９】
本発明の実施形態は、レートひずみフレームワーク内での最適モードスイッチングと共に、二重フレームバッファを用いる。二重フレームバッファの基本的な利用は、以下の通りである。フレームｎを符号化すると共に、上記符号器及び復号器は、共に、２つの参照フレームをメモリ内に維持する。上記短期参照フレームは、フレームｎ−１である。上記長期参照フレームは、例えば、フレームｎ−ｋであり、ただし、ｋは変化してもよいが、常に１よりも大きい。次に、該長期参照フレームがどのように選択されるかを説明する。
【００５０】
発明者等がジャンプアップデートと呼ぶ１つのアプローチにおいては、上記長期参照フレームは、フレームｎ−２からフレームｎ−Ｎ−１まで変化する。フレームｎを符号化する際、該長期参照フレームがｎ−Ｎ−１である場合、上記符号器が、フレームｎ＋１を符号化することに移ると、該短期参照フレームは、フレームｎへ１つだけ前にスライドし、該長期参照フレームは、フレームｎ−１へＮだけ前にジャンプすることになる。そして、該長期参照フレームは、Ｎ個のフレームにわたって静的のままであり、その後再び前にジャンプする。発明者等は、Ｎをジャンプアップデートパラメータと呼んでいる。
【００５１】
他のアプローチは、上記長期フレームバッファが、現在のバッファから固定された時相距離を有するフレームを含むように、該長期フレームバッファを継続的にアップデートすることである。そのため、該バッファは、常に、各フレームｎに対するｎ−Ｄフレームを含む。発明者等は、Ｄを継続アップデートパラメータと呼んでいる。
【００５２】
ジャンプアップデート及び継続アップデートは、共に、より一般的な（Ｎ，Ｄ）アップデート戦略の特別なケースとみることができ、この場合、上記長期参照フレームは、符号化される現在のフレームから戻った距離Ｄにおけるフレームとなるように、量Ｎだけ前にジャンプし、その後、Ｎ個のフレームにわたって静的のままであり、再び前にジャンプする。一般的な（Ｎ，Ｄ）アップデートの場合、フレームｋは、フレームｋ−Ｄと同様に新しいまたはフレームｋ−Ｎ−Ｄ＋１と同様に古いＬＴフレームを有してもよい。ジャンプアップデートに関する発明者等の定義において、Ｎは、各シーケンスに対して自由に選択することができ、かつＤ＝２とすることができる（アップデートが行われるとき、該ＬＴフレームは、Ｎだけ前にジャンプして、フレームｎ−２になる）。継続アップデートにおいて、Ｄは、各シーケンスに対して自由に選択することができ、かつＮは１に固定することができる。最も一般的なアップデート戦略は、固定されたＮまたはＤを有せず、むしろ上記長期フレームバッファは、どんなにフレームが最も有用であっても、必要な場合に、不定期に更新される。別のケースにおいては、（Ｎ，Ｄ）は、固定されたままであると共に、１つのシーケンスを符号化する。次に、該選択が符号化モードの間でどのように実行されるかを説明する。
【００５３】
各マクロブロックは、３つの符号かモード、すなわち、ＩＮＴＲＡコーディング、上記短期バッファ（ＩＮＴＥＲ−ＳＴ−コーディング）を用いたＩＮＴＥＲコーディング、及び上記長期バッファ（ＩＮＴＥＲ−ＬＴ−コーディング）を用いたＩＮＴＥＲコーディングのうちの１つで符号化することができる。これら３つの間での選択は、修正したＲＯＰＥアルゴリズムを用いて実行される。符号化モードが、一旦、選択されると、ビットストリームを符号化する構文は、単一のフレームバッファの標準的なケースとほとんど同じになる。ＩＮＴＥＲコーディングが選択された場合、該修正は、単に、単一のビットが、該短期または長期フレームの使用を示すために送信されることである。
【００５４】
【数８】
【００５５】
【数９】
【００５６】
【数１０】
【００５７】
【数１１】
【００５８】
エラー隠蔽が、上記長期フレームではなく、直前のフレームｎ−１を用いてなお行われていることに注意する。これは、上記３つのＭＢｓが、ＩＮＴＥＲ−ＳＴコーディングまたはＩＮＴＥＲ−ＬＴコーディングされているか、あるいはこれら２つのある組合せでコーディングされているかに関係なく行われる。上記運動ベクトルは、高度に相関していなくてもよい。上位のＧＯＢも失われている場合には、直前のフレームからの同じ位置に配置されたブロックを用いて該ＭＢを隠蔽する。
【００５９】
隣接する相関関係のない運動ベクトルの存在は、運動ベクトル符号化効率に負の影響を与える。それら隣接する運動ベクトルからの運動ベクトルの正確でない予測により、ビットレートロスがある。さらに、圧縮効率は、上記フレームバッファを指定するために、各ＩＮＴＥＲコーディングされたＭＢに対して１ビットを用いるため、低減される。それにもかかわらず、実験結果は、レート歪みの最適化が、それら追加的なビットをモデル化し、かつなお、優れた圧縮性能をもたらすことが可能であることを示している。
【００６０】
【数１２】
【００６１】
この計算の場合、発明者等は、ハーフ画素格子上の３種類の画素、すなわち、実際の（元の）画素位置（整数指数画素と呼ばれ、それらは補間する必要がない）と一致する画素と、２つの整数指数画素（水平方向または垂直方向のいずれか）の間に存在する画素と、４つの整数指数画素の間に対角線上に存在する画素との間で異ならせている。発明者等は、双線形補間を用いるため、該補間された値は、２つまたは４つの隣接する整数指数画素の単純な平均である。整数指数画素の場合、上記再帰等式は、従来のＲＯＰＥアルゴリズムの等式と同じであり、該推定は最適である。
【００６２】
水平方向または垂直方向に補間された画素の場合、補間された画素領域上のｊが、元の画素領域における画素ｋ１及びｋ２を用いて補間された画素に対応すると仮定する。該第１のモーメントは、計算しやすい。
【００６３】
【数１３】
しかし、該第２のモーメントの式は、
【００６４】
【数１４】
である。
【００６５】
該最後の項は、その水平方向／垂直方向の大きさが、該画像の画素の数に等しい行列の相関を計算することを必要とする。このことは、小サイズの画像に対して、あるいは、十分な計算リソースを用いて、実施することができる。しかし、これは、典型的な計算リソースを用いた典型的なサイズの画像に対しては、計算的に好ましくない。コサイン不等式を用いることがほぼ好ましい。
【００６６】
【数１５】
【００６７】
対角線上に補間された画素の場合、補間された画素格子上のｊが、元の画素領域における補間画素ｋ１、ｋ２、ｋ３及びｋ４の結果であると仮定する。該第１のモーメントは、
【００６８】
【数１６】
のように正確に計算することができる。
該第２のモーメントの正確な式は、
【００６９】
【数１７】
である。
上記水平／垂直のケースと同様の近似を適用して、
【００７０】
【数１８】
を得て、この上限を用いて、該第２のモーメントを近似する。
【００７１】
本発明の一実施形態は、修正されたＨ．２６３＋映像コーデックである。これは、実験でテストされている。発明者等は、現在のＨ．２６３＋映像コーデックを２つの方法で修正した。単一フレーム（ＳＦ）動き補償の場合、発明者等は、モード切替え判断にＲＯＰＥアルゴリズムを用いた。結果として生じるビットストリームは、Ｈ．２６３＋規格に完全に準拠している。第二に、発明者等は、Ｈ．２６３＋映像コーデックを修正して、１つの追加的な（長期）フレームバッファを用いる。このフレームバッファは、上記言及したＦｕｋｕｈａｒａ等の場合のように、更新パラメータＮに従って定期的に更新された。上記単一フレームの場合も二重フレームの場合も、発明者等は、整数及びハーフ画素運動ベクトルのパフォーマンスを測定した。該ハーフ画素ベクトルが用いられて、上述した近似を用いてモデル化される。
【００７２】
発明者等の実験は、上記長期フレームバッファの追加が、上記符号器の圧縮を有効に改善し、かつビットストリームを、パケットドロップに対してより強くさせたことを示した。しかし、あるシーケンスの場合には、効果は小さく、また、該効果は、更新パラメータＮに依存する。固定されたＮは、全てのシーケンスに対して最適なわけではない。最適化は、特定のシーケンスのための特定の更新パラメータＮを選択することを含む。
【００７３】
本発明の複数フレーム符号化の実施形態は、レートスイッチングネットワークに適用される。長期または高品質参照フレームを用いることができる。例えば、無線ネットワークが、著しいネットワーク容量の変化にたびたびあうことを考える。そのような変化をもたらす例示的な事例は、ＡＢＣアプローチ等のサービスを利用している間のネットワークのハンドオフである。この文脈における長期または高品質フレームを用いた二重フレーム符号化は、該ネットワークがハンドオフし、ネットワーク容量における突然で激しい変化を静めた直後に送信されたフレームの品質を著しく改善することができる。
【００７４】
好適な実施形態において、長期過去フレームは、高帯域幅から低帯域幅へのネットワークスイッチングの直前に符号化された最後のフレームとなるように割り当てられる。このことを図２に示し、この場合、１０Ｍｂｐｓから１０〜２０ｋｂｐｓの変化の接続が発生する。現在のフレームｎは、高レート接続からの長期フレームｎ−Ｄを用いて符号化される。予測フレームにおける各マクロブロック（ＭＢ）の場合、直前のフレーム及び長期過去フレームに対して、サーチが実施されて、より良好なマッチングブロックが選択される。
【００７５】
次に、修正された実際的な実施形態を考えて、図２の方法を、ＭＰＥＧ−４符号化で作動するＡＢＣネットワークに適用する。ＡＢＣのようなサービスの下で作動する映像符号器は、帯域幅の大きな変化に対して強くなければならない。該ＡＢＣネットワークは、最小限の損失で、パケットのタイムリーな配信を提供すると仮定する。帯域幅の大きな変動を阻止するために、各フレームの量子化パラメータは、規格に準拠した符号器とは対照的に、その全レンジ（１〜３１）にわたって変化することができ、これは、該量子化パラメータの値の変化を、直前の値の２５％に制限する。
【００７６】
発明者等は、標準的なＭＰＥＧ−４符号器を変更することにより、複数フレーム帯域幅スイッチングの実施形態をシミュレートした。該ＭＰＥＧ−４符号器は、Ａ．Ｖｅｔｒｏ，Ｈ．Ｓｕｎ，Ｙ．Ｗａｎｇ，“ＭＰＥＧ−４ Ｒａｔｅ Ｃｏｎｔｒｏｌ ｆｏｒ Ｍｕｌｔｉｐｌｅ Ｖｉｄｅｏ Ｏｂｊｅｃｔｓ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ，Ｖｏｌ．９，Ｎｏ．１，ｐｐ．１８６−９９，１９９９年２月に記載されているレート制御法を用いる。発明者等は、各フレームを、該ＭＰＥＧ−４符号器に対する単一のオブジェクトとみなした。発明者等は、上記長期フレームに対して、追加的なメモリを割り当てた。追加ビットが、該符号器にどのフレームを参照するかを知らせるために、ＩＮＴＥＲコーディングされたＭＢごとに送信される。該ＩＮＴＲＡリフレッシュ期間を１００に設定した。該ＩＮＴＲＡリフレッシュ期間を減らすと、上記二重フレーム符号器のパフォーマンスが高まった。しかし、頻繁なＩＮＴＲＡリフレッシュは、ＧＰＲＳ（Ｇｅｎｅｒａｌ Ｐａｃｋｅｔ Ｒａｄｉｏ Ｓｅｒｖｉｃｅ）システムに使用できるビットレートを越えるであろう高いビットレートをもたらす。
【００７７】
発明者等は、静的及び動的な背景及びシーン変化を用いて、異なる種類の映像シーケンスをテストした。該テストシーケンスのフォーマットは、ＱＣＩＦ（Ｑｕａｒｔｅｒ Ｃｏｍｍｏｎ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）とした。フレームレートは、１０フレーム／秒とした。異なる低帯域幅ネットワークへのスイッチングの効果を調べるため、発明者等は、１Ｍｂｐｓから、１０ｋｂｐｓ（ＧＰＲＳ）〜１５０ｋｂｐｓ（１ｘＲＴＴ ＣＤＭＡ）の低帯域幅ネットワークへのスイッチングをシミュレートした。発明者等は、本発明の二重フレームバッファ符号器、及び比較のために従来のＭＰＥＧ−４符号器を用いて、様々なシーケンスを符号化した。発明者等は、上記高品質フレームを、該二重フレーム符号器のための上記長期過去フレームとして用いるように維持することが、復号されたシーケンスのＰＳＮＲによって量子化された場合の低帯域幅接続への切替え後に、数百フレームまでに対して良好な映像品質をもたらすことを見いだした。この方法は、該二重参照フレームを保持するための（該符号器及び復号器における）小さなメモリコストと、最良のマッチブロックのための第２の参照フレームをサーチするための復号器の複雑性の小さなコストとを要する。
【００７８】
ある場合においては、帯域幅の差し迫った切替えは、例えば、前もって警告または予測することにより、予期することができる。このことは、より高い帯域幅にある間に長期フレームを符号化する機会を与える。
【００７９】
別の実施形態において、長期フレームは、（例えば、帯域幅またはチャネル／ネットワーク状況の変化がない場合であっても）定期的にまたは時節使用され、高品質フレームを該長期フレームとして生成するために、特別な帯域幅が割り当てられる。このことは、時節または定期的に、例えば、Ｎフレームごとに、高品質の長期参照フレームを得る積極的なアプローチである。
【００８０】
特別なビットは、該ビットが、符号化される通常の品質よりも高い品質を有することになるように、高品質の参照フレームを生成するために割り当てられる。そして、この長期高品質参照フレームは、延長期間の高品質マッチングブロックのソースとして作用することができる。一つの実施例において、該延長期間は、状況の変化が発生した場合、Ｎフレームを越えてもよい。
【００８１】
上記特別なビットの割当は、スケジューラによって生じることができる。例えば、スケジューラによって割り当てられるシステムリソースを用いる多くのユーザがいるとする。発明者等が考えるシステムは、４００ｋｂｐｓのレートを有するＨＤＲ（ｈｉｇｈ ｄａｔａ ｒａｔｅ）等の共用無線媒体である。スケジューラＳ１は、ｋ人のユーザの間で該ネットワークからの使用可能な帯域幅Ｂを等しく分割する。各ユーザは、Ｂ／ｋの帯域幅を有する。スケジューラＳ２は、全帯域幅のうちのある部分ｂを確保して、残りを全てのユーザで分ける。該確保された部分ｂも各ユーザに割り当てられ、該ユーザ間でラウンドロビン方式で巡回させる。各ユーザは、ｋ−１のタイムスロットの間、帯域幅（Ｂ−ｂ）／ｋを有し、かつ１つの時間スロットの間、帯域幅ｂ＋（Ｂ−ｂ）／ｋを有する。図３Ａ及び図３Ｂは、２つのスケジューラを示し、この場合、該帯域幅は高さで表わされ、水平軸は時間である。図３ＡのスケジューラＳ１は一様であるが、スケジューラＳ２における該スケジューラが追加的な帯域幅を与えた場合の図３Ｂにおけるユーザｉの場合は高い。このことは、ユーザｉに割り当てられた特別な帯域幅を表わす厚く黒いバーによって示されている。この特別な帯域幅は、異なる時間において、該システムにおける他のｋ−１のユーザに割り当てられる。全てのユーザに対する平均的な帯域幅は、どの時刻においても同じままである。Ｓ２によって割り当てられた該特別な周期的帯域幅は、複数の、例えば、二重の動き補償スキームにおける長期フレームとして用いられる高品質フレームを生成するのに用いられる。
【００８２】
他の実施形態はスケジューラを用いないが、ある程度の余分な遅延を映像において許容できる場合には、固定された平均的な帯域幅を有するユーザが、（前後のフレームに対してより少ないビットで）１つのフレームに対して特別なビットを使用することを可能にする。該フレームのための特別なビットは、該フレームの送信のためのより多くの時間に単純に変化する。圧縮性能と遅延とのトレードオフがあってもよい。上記スケジューラの実施形態においては、特別な帯域幅が定期的に与えられるため、高品質フレームに対して余分な遅延が発生しないように、該スケジューラを作動させることが可能である。しかし、均等に割り当てられたＳ１システムの帯域幅に対して等しくなる全平均帯域幅を強要する可能性がある。
【００８３】
特定の実施形態を変更したＭＰＥＧ−４符号器は、選択するための３つのモードの符号化、すなわち、ＩＮＴＲＡコーディング、上記短期参照フレームを用いるＩＮＴＥＲコーディング及び上記長期参照フレームを用いるＩＮＴＥＲコーディングを有する。各マクロブロック（ＭＢ）に対しては、まず、次のように、ＩＮＴＲＡコーディング及びＩＮＴＥＲコーディングから選択することにより選択する。発明者等は、該短期または長期フレームにおける最良のマッチングＭＢと、符号化すべき現在のＭＢとの間のひずみｄｍｉｎを計算する。発明者等は、該現在のＭＢの標準偏差σを計算する。ＩＮＴＲＡコーディングは、σ＜ｄｍｉｎ−５１２である場合に選択され、そうでない場合には、ＩＮＴＥＲコーディングが選択される。該短期及び長期高品質フレームからのＩＮＴＥＲコーディングの選択は、動き補償されたＭＢと、符号化すべき該現在のＭＢとの間のひずみに基づいてなされる。低ひずみをもたらす参照フレームが選択される。
【００８４】
別の実施形態は、上記復号器からのフィードバックの利用を含む。実例として、該符号器は、受信したパケットの肯定応答を示す、該復号器からのフィードバックを受取ることができる。ｉを現在のフレームの指数とする。固定された遅延ｄを伴うフィードバックを用いると、該符号器は、該復号器の（ｉ−ｄ）番目の復元フレームの完全な知識を有することができる。発明者等は、過去のフレームの該復号器のバージョンと同じになるように、該過去のフレームを復号するために、該フィードバック情報を用いるという該符号器のプロセスを説明するために、再復号（ｒｅ−ｄｅｃｏｄｅ）という用語を用いることにする。該符号器が、どのＧＯＢｓが完全に受信され、かつどのＧＯＢｓがドロップしたかを知っている場合、該符号器は、エラー隠蔽を含めて、該復号器の動作を厳密にシミュレートすることができる。再復号されたフレームは、該復号器バージョンと等しい符号器におけるものであり、発明者等は、該フィードバック情報を該符号器のためにまだ使用することができない該符号器におけるフレームを説明するために、推定という用語を用い、そのため、該符号器は、該復号器バージョンを推定するように強いられる。フィードバック情報の場合、中間フレームにおける画素値の推定は、なお、ＩＮＴＲＡコーディングされたＭＢ、ＩＮＴＥＲ−ＳＴコーディングされたＭＢ及びＩＮＴＥＲ−ＬＴコーディングされたＭＢのための上記等式を用いて実行される。しかし、それらの等式によって要求される過去の復号器フレームに関する情報は、肯定応答された及び否定応答された再復号フレームを用いて再初期化することができる。そして、該符号器は、より多くの信頼度で画素推定を再計算し、最後のｄフレームに対する可能性のあるエラーを追跡することができる。実際の予測剰余またはイントラ係数は、ＲＯＰＥ推定アルゴリズムに与えられ、この場合、上記参照フレームは、再帰的に計算されるＲＯＰＥ推定または再復号されたフレームのいずれかである。
【００８５】
実施例を図４に示す。ここで、ジャンプ更新パラメータ及びフィードバック遅延は、それぞれ、Ｎ＝２及びｄ＝５である。ジャンプ更新パラメータＮ＝２は、フレーム０が、フレーム２及びフレーム３のための長期参照となり、フレーム２が、フレーム４及びフレーム５のための長期参照となり、フレーム４が、フレーム６及びフレーム７のために用いられることを意味する。
【００８６】
符号化フレーム７のスタート時においてｄ＝５であるため、フレーム２が再復号され、この新たに再復号されたフレームは、フレーム３、４、５及び６の推定を更新するのに直ちに用いることができる。符号化フレーム７の場合、該長期フレームはフレーム４であり、該短期フレームはフレーム６であり、これら２つのフレームの新しい推定は、上記符号器によって、フレーム７に対するパケットドロップによる予測ひずみを計算するのに用いられる。
【００８７】
代替のアプローチは、（ｉ−ｄ）フレームである最も近い正確に分かっているフレームを含ませるために、上記長期フレームバッファを前に移動させることである。フィードバック情報は、上記ＳＴフレームの推定を改善し、かつゼロへの上記ＬＴフレームの推定誤差を低減する。発明者等は、上記符号器及び復号器の長期フレームバッファが常に同一の復元を含むことを保証する。遅延ｄの場合には、Ｄ＝ｄ及びＮ＞１を用いた通常の（Ｎ，Ｄ）更新戦略、または、Ｄ＝ｄ及びＮ＝１を用いた継続的更新戦略のいずれかを用いることができる。Ｎ＝２及びｄ＝５の場合の実施例を図５に示す。図５において、フレーム１２は、現在、符号化中である。そのＬＴフレームは、再復号されているフレーム７である。しかし、再符号化フレーム７は、それぞれそのＳＴ及びＬＴフレームである、フレーム１及びフレーム６の再符号化バージョンを必要とする。ここで、８、９、１０及び１１の推定を得ることができる。フレーム８の場合、再復号化された７及び再復号された３が必要となる。９の場合、推定された８（ＳＴ）及び再復号された３（ＬＴ）が必要となる。１０の場合、推定された９及び再復号された５が必要となる。同様に、１１は、推定された１０及び再復号された５を必要とする。
【００８８】
上記送信機及び受信機における上記長期フレームバッファを同期させることにより、パケットドロップの累積によって引き起こされるドリフトエラーを完全になくすことができる。ＩＮＴＥＲ−ＬＴ符号化されたマクロブロックは、それらが届いた場合に、上記符号器及び復号器において同じ方法で復元されることになる。通常、このことは、ＩＮＴＲＡコーディングされたマクロブロックを送信することによってのみ保証される。しかし、ここで、フィードバック信号は、圧縮効率を大幅に犠牲にすることなく、上記長期フレームバッファを、追加的なエラー強さとして用いることを可能にする。
【００８９】
ひずみ推定を単に改善して、モード選択を改善するためにフィードバックを用いる代わりに、上記符号器における上記ＬＴフレームを再復号するためにこの情報を用いて動き推定を改善してもよく、また、より実際的な参照フレームを用いてもよい。実験は、このことが様々な条件の下で非常に良好に実行することを示している。
【００９０】
本発明の特定の実施形態を示しかつ説明してきたが、当業者には、他の変更例、置換え及び代替例が明白であることを理解すべきである。そのような変更例、置換え及び代替例は、本発明の趣旨及び範囲を逸脱することなく実行することができ、それは添付クレームから判断すべきである。
本発明の種々の特徴を添付クレームに記載する。
【図面の簡単な説明】
【００９１】
【図１Ａ】本発明の実施形態に係る例示的なシステムを示すブロック図である。
【図１Ｂ】本発明の実施形態に係る例示的なシステムを示すブロック図である。
【図２】レートスイッチングシナリオにおける、本発明の例示的な長期参照フレーム符号化法を示す概略図である。
【図３】図３Ａは、スケジューラを概略的に示す。図３Ｂは、スケジューラを概略的に示し、該スケジューラは、高品質の参照フレームの生成のために、追加的な帯域幅をユーザに割当てる。
【図４】本発明の実施形態に係る、フィードバックを伴う長期参照フレーム符号化法を概略的に示す。
【図５】本発明の実施形態に係る、フィードバックを伴う長期参照フレーム符号化法を概略的に示す。
【特許請求の範囲】
【請求項１】
少なくとも、参照ブロックに関して少なくとも画像ブロックを説明するベクトルを符号化する符号器と、
少なくとも一つの短期参照ブロックを格納する短期参照ブロックバッファと、
少なくとも一つの長期参照ブロックを格納する少なくとも一つの長期参照ブロックバッファとを備え、
前記符号器が、圧縮、映像品質、および尺度バランス圧縮及び映像品質のうちの一つを最大化するために、符号化するときに調べた１つ以上の要因に基づいて、前記短期参照ブロックバッファ内の前記少なくとも一つの短期参照ブロック及び前記長期参照バッファ内の前記少なくとも一つの長期参照ブロックに関する符号化を選択的に選ぶ、映像符号器。
【請求項２】
前記符号化する符号器は、前記映像符号器により使用される接続が低品質に変化した場合に、前記少なくとも一つの長期参照ブロックを選択的に選ぶ、請求項１に記載の符号器。
【請求項３】
前記符号化する符号器は、前記映像符号器により使用される接続が、低品質に変化することが予想される場合に、前記少なくとも一つの長期参照ブロックを選択的に選ぶ、請求項１に記載の符号器。
【請求項４】
前記符号化する符号器は、背景データを符号化するために、前記少なくとも一つの長期参照ブロックを選択的に選び、かつ前景データを符号化するために、より最新の参照ブロックを選択的に選ぶ、請求項１に記載の符号器。
【請求項５】
前記より最新の参照ブロックが、直前の参照ブロックを含む、請求項４に記載の符号器。
【請求項６】
前記少なくとも一つの長期参照ブロックが、前記直前の参照ブロックの直前に先行するブロックを少なくとも含む、請求項５に記載の符号器。
【請求項７】
前記符号化するときに調べた１つ以上の要因が、復号器における前記符号器のひずみの予想、前記符号器における多数のフレームバッファ、前記符号器におけるフレームバッファのサイズ、前記復号器からのフィードバック、データチャネル品質の変化の履歴、圧縮、映像品質及び尺度バランス圧縮のうちの一つを最大にするため、符号化される各少なくとも一つのブロックのために、前記少なくとも一つの長期参照ブロックと、前記少なくとも一つの短期参照ブロックとの間で選択的に選ぶための画像領域品質の変化の履歴、及び映像品質のうちの１つ以上を含む、請求項１に記載の符号器。
【請求項８】
前記符号化するときに調べた１つ以上の要因が、さらに、前記少なくとも一つの長期参照バッファを更新するときを判断するために用いられる、請求項７に記載の符号器。
【請求項９】
前記符号器が、複数の長期参照ブロックバッファを備える、請求項１に記載の符号器。
【請求項１０】
前記参照ブロックが、前記直前の参照ブロックを含む、請求項９に記載の符号器。
【請求項１１】
前記符号器が、前記少なくとも一つの長期参照ブロック（ＩＮＴＥＲコーディング）を用いた符号化と、ＩＮＴＲＡコーディングを用いた符号化とを選択的に選ぶ、請求項１に記載の符号器。
【請求項１２】
前記符号器が、前記少なくとも一つの長期参照ブロックのために、かつ一部の画素格子上の、
実際の画素位置と一致する画素を含む元の画素位置と、
２つの元の画素位置の間に位置する画素を含む、水平方向にまたは垂直方向に補間された画素位置と、及び、
対角線状に補間された画素位置とを判断することにより、一部の画素の正確な符号化を実施する、請求項１１に記載の符号器。
【請求項１３】
前記水平方向にまたは垂直方向に補間された画素位置及び前記対角線状に補間された画素位置の第１のモーメントが直接計算され、
１前記水平方向にまたは垂直方向に補間された画素位置及び前記対角線状に補間された画素位置の第２のモーメントが推定される、請求項１２に記載の符号器。
【請求項１４】
前記少なくとも一つの長期参照ブロックバッファが多数のフレームバッファを備え、かつ前記符号器が、前記参照ブロック（ＩＮＴＥＲコーディング）を用いた符号化と、ＩＮＴＲＡコーディングを用いた符号化とを選択的に選ぶ、請求項１に記載の符号器。
【請求項１５】
前記符号器が、ＩＮＴＥＲコーディングとＩＮＴＲＡコーディングの２種類の間で選び、前記２種類のＩＮＴＥＲコーディングが、前記少なくとも一つの短期参照ブロック（ＳＴ）及び前記少なくとも一つの長期参照ブロック（ＬＴ）を用いた符号化を含み、
前記符号器が、前のブロックの要素を任意の変数として処理するＲＯＰＥを用いて、前記ＩＮＴＲＡコーディング及び前記ＳＴブロックのためのモーメントを計算し、かつ、
前記符号器が、前のブロックの要素を任意の変数として処理するＲＯＰＥを用いて、前記ＬＴブロックのためのモーメントを計算する、請求項１４に記載の符号器。
【請求項１６】
前記ＬＴブロックが更新され、かつ前記符号器が、復号器フィードバックを受け、かつ前記ＬＴブロックを更新するときを判断するために前記フィードバックを利用する、請求項１５に記載の符号器。
【請求項１７】
前記符号器が、前記長期参照バッファを同期させるために前記フィードバックを利用する、請求項１６に記載の符号器。
【請求項１８】
前記少なくとも一つの長期参照ブロックが、対象領域におけるブロックを含む、請求項１４に記載の符号器。
【請求項１９】
前記少なくとも一つの長期参照ブロックが複合フレームを含む、請求項１に記載の符号器。
【請求項２０】
前記少なくとも一つの長期参照ブロックが長期参照フレームを含み、前記符号器が、一ブロックずつフレームを符号化する、請求項１に記載の符号器。
【請求項２１】
通常の品質の参照フレームを普通に符号化して格納するステップと、
高品質の参照フレームを符号化して格納するステップと、
前記高品質の参照フレームを用いて、符号化するフレームの全てまたは一部を符号化するステップとを含む、映像符号化の方法。
【請求項２２】
前記高品質の参照フレームが、高品質チャネル状況からのフレームを含み、前記フレームは、高品質のチャネル状況が、低品質のチャネル状況に代わったときに用いられる、請求項２１に記載の方法。
【請求項２３】
前記高品質の参照フレームが、低品質チャネル状況の間に、背景データを符号化する、請求項２２に記載の方法。
【請求項２４】
定期的にまたは時々、前記高品質の参照フレームを準備するための帯域幅を割り当てるステップを含む、請求項２２に記載の方法。
【請求項２５】
前記定期的にまたは時々割り当てるステップが、先行する及び後続の帯域を定期的にまたは時々奪って、高品質フレームを生成するクライアントを備える、請求項２４に記載の方法。
【請求項２６】
前記定期的にまたは時々割り当てるステップが、クライアントによる高品質符号化のために、定期的にまたは時々、帯域幅のバーストを生成するサーバを備える、請求項２４に記載の方法。
【請求項２７】
前記用いるステップが、前記符号化されるフレームが送信されるチャネルに有害な影響を及ぼすであろう状況に応答して、またはその状況を予想して実施される、請求項２１に記載の方法。
【請求項２８】
符号化された映像を受信するステップと、
復号化される現在のフレームを改善するために、前記符号化された映像が、前記復号化される現在のフレームを符号化する際に、高品質の長期フレームを用いて符号化されたか否かに関わらず、格納された高品質の長期フレームを用いて、復号されるフレームを改善するように選択的に選ぶステップとを含む、映像を復号する方法。
【請求項２９】
非連続的なフレームからの映像フレーム情報を格納する少なくとも２つのフレームバッファを有する複数のフレームバッファと、
前記複数のフレームバッファのうちの１つ以上に格納された情報を参照して、映像フレームを符号化する符号器と、
自由に選択可能な更新パラメータに従って、ジャンプ更新または継続的な更新または通常の更新または任意の非定期的な更新のうちの一つを選ぶことにより、前記複数のフレームバッファを更新する制御論理とを備える、映像符号器。
【請求項３０】
前記自由に選択可能な更新パラメータが、１つの映像シーケンスを符号化する間は固定されたままである、請求項２９に記載の符号器。
【請求項１】
少なくとも、参照ブロックに関して少なくとも画像ブロックを説明するベクトルを符号化する符号器と、
少なくとも一つの短期参照ブロックを格納する短期参照ブロックバッファと、
少なくとも一つの長期参照ブロックを格納する少なくとも一つの長期参照ブロックバッファとを備え、
前記符号器が、圧縮、映像品質、および尺度バランス圧縮及び映像品質のうちの一つを最大化するために、符号化するときに調べた１つ以上の要因に基づいて、前記短期参照ブロックバッファ内の前記少なくとも一つの短期参照ブロック及び前記長期参照バッファ内の前記少なくとも一つの長期参照ブロックに関する符号化を選択的に選ぶ、映像符号器。
【請求項２】
前記符号化する符号器は、前記映像符号器により使用される接続が低品質に変化した場合に、前記少なくとも一つの長期参照ブロックを選択的に選ぶ、請求項１に記載の符号器。
【請求項３】
前記符号化する符号器は、前記映像符号器により使用される接続が、低品質に変化することが予想される場合に、前記少なくとも一つの長期参照ブロックを選択的に選ぶ、請求項１に記載の符号器。
【請求項４】
前記符号化する符号器は、背景データを符号化するために、前記少なくとも一つの長期参照ブロックを選択的に選び、かつ前景データを符号化するために、より最新の参照ブロックを選択的に選ぶ、請求項１に記載の符号器。
【請求項５】
前記より最新の参照ブロックが、直前の参照ブロックを含む、請求項４に記載の符号器。
【請求項６】
前記少なくとも一つの長期参照ブロックが、前記直前の参照ブロックの直前に先行するブロックを少なくとも含む、請求項５に記載の符号器。
【請求項７】
前記符号化するときに調べた１つ以上の要因が、復号器における前記符号器のひずみの予想、前記符号器における多数のフレームバッファ、前記符号器におけるフレームバッファのサイズ、前記復号器からのフィードバック、データチャネル品質の変化の履歴、圧縮、映像品質及び尺度バランス圧縮のうちの一つを最大にするため、符号化される各少なくとも一つのブロックのために、前記少なくとも一つの長期参照ブロックと、前記少なくとも一つの短期参照ブロックとの間で選択的に選ぶための画像領域品質の変化の履歴、及び映像品質のうちの１つ以上を含む、請求項１に記載の符号器。
【請求項８】
前記符号化するときに調べた１つ以上の要因が、さらに、前記少なくとも一つの長期参照バッファを更新するときを判断するために用いられる、請求項７に記載の符号器。
【請求項９】
前記符号器が、複数の長期参照ブロックバッファを備える、請求項１に記載の符号器。
【請求項１０】
前記参照ブロックが、前記直前の参照ブロックを含む、請求項９に記載の符号器。
【請求項１１】
前記符号器が、前記少なくとも一つの長期参照ブロック（ＩＮＴＥＲコーディング）を用いた符号化と、ＩＮＴＲＡコーディングを用いた符号化とを選択的に選ぶ、請求項１に記載の符号器。
【請求項１２】
前記符号器が、前記少なくとも一つの長期参照ブロックのために、かつ一部の画素格子上の、
実際の画素位置と一致する画素を含む元の画素位置と、
２つの元の画素位置の間に位置する画素を含む、水平方向にまたは垂直方向に補間された画素位置と、及び、
対角線状に補間された画素位置とを判断することにより、一部の画素の正確な符号化を実施する、請求項１１に記載の符号器。
【請求項１３】
前記水平方向にまたは垂直方向に補間された画素位置及び前記対角線状に補間された画素位置の第１のモーメントが直接計算され、
１前記水平方向にまたは垂直方向に補間された画素位置及び前記対角線状に補間された画素位置の第２のモーメントが推定される、請求項１２に記載の符号器。
【請求項１４】
前記少なくとも一つの長期参照ブロックバッファが多数のフレームバッファを備え、かつ前記符号器が、前記参照ブロック（ＩＮＴＥＲコーディング）を用いた符号化と、ＩＮＴＲＡコーディングを用いた符号化とを選択的に選ぶ、請求項１に記載の符号器。
【請求項１５】
前記符号器が、ＩＮＴＥＲコーディングとＩＮＴＲＡコーディングの２種類の間で選び、前記２種類のＩＮＴＥＲコーディングが、前記少なくとも一つの短期参照ブロック（ＳＴ）及び前記少なくとも一つの長期参照ブロック（ＬＴ）を用いた符号化を含み、
前記符号器が、前のブロックの要素を任意の変数として処理するＲＯＰＥを用いて、前記ＩＮＴＲＡコーディング及び前記ＳＴブロックのためのモーメントを計算し、かつ、
前記符号器が、前のブロックの要素を任意の変数として処理するＲＯＰＥを用いて、前記ＬＴブロックのためのモーメントを計算する、請求項１４に記載の符号器。
【請求項１６】
前記ＬＴブロックが更新され、かつ前記符号器が、復号器フィードバックを受け、かつ前記ＬＴブロックを更新するときを判断するために前記フィードバックを利用する、請求項１５に記載の符号器。
【請求項１７】
前記符号器が、前記長期参照バッファを同期させるために前記フィードバックを利用する、請求項１６に記載の符号器。
【請求項１８】
前記少なくとも一つの長期参照ブロックが、対象領域におけるブロックを含む、請求項１４に記載の符号器。
【請求項１９】
前記少なくとも一つの長期参照ブロックが複合フレームを含む、請求項１に記載の符号器。
【請求項２０】
前記少なくとも一つの長期参照ブロックが長期参照フレームを含み、前記符号器が、一ブロックずつフレームを符号化する、請求項１に記載の符号器。
【請求項２１】
通常の品質の参照フレームを普通に符号化して格納するステップと、
高品質の参照フレームを符号化して格納するステップと、
前記高品質の参照フレームを用いて、符号化するフレームの全てまたは一部を符号化するステップとを含む、映像符号化の方法。
【請求項２２】
前記高品質の参照フレームが、高品質チャネル状況からのフレームを含み、前記フレームは、高品質のチャネル状況が、低品質のチャネル状況に代わったときに用いられる、請求項２１に記載の方法。
【請求項２３】
前記高品質の参照フレームが、低品質チャネル状況の間に、背景データを符号化する、請求項２２に記載の方法。
【請求項２４】
定期的にまたは時々、前記高品質の参照フレームを準備するための帯域幅を割り当てるステップを含む、請求項２２に記載の方法。
【請求項２５】
前記定期的にまたは時々割り当てるステップが、先行する及び後続の帯域を定期的にまたは時々奪って、高品質フレームを生成するクライアントを備える、請求項２４に記載の方法。
【請求項２６】
前記定期的にまたは時々割り当てるステップが、クライアントによる高品質符号化のために、定期的にまたは時々、帯域幅のバーストを生成するサーバを備える、請求項２４に記載の方法。
【請求項２７】
前記用いるステップが、前記符号化されるフレームが送信されるチャネルに有害な影響を及ぼすであろう状況に応答して、またはその状況を予想して実施される、請求項２１に記載の方法。
【請求項２８】
符号化された映像を受信するステップと、
復号化される現在のフレームを改善するために、前記符号化された映像が、前記復号化される現在のフレームを符号化する際に、高品質の長期フレームを用いて符号化されたか否かに関わらず、格納された高品質の長期フレームを用いて、復号されるフレームを改善するように選択的に選ぶステップとを含む、映像を復号する方法。
【請求項２９】
非連続的なフレームからの映像フレーム情報を格納する少なくとも２つのフレームバッファを有する複数のフレームバッファと、
前記複数のフレームバッファのうちの１つ以上に格納された情報を参照して、映像フレームを符号化する符号器と、
自由に選択可能な更新パラメータに従って、ジャンプ更新または継続的な更新または通常の更新または任意の非定期的な更新のうちの一つを選ぶことにより、前記複数のフレームバッファを更新する制御論理とを備える、映像符号器。
【請求項３０】
前記自由に選択可能な更新パラメータが、１つの映像シーケンスを符号化する間は固定されたままである、請求項２９に記載の符号器。
【図１Ａ】
【図１Ｂ】
【図２】
【図３】
【図４】
【図５】
【図１Ｂ】
【図２】
【図３】
【図４】
【図５】
【公表番号】特表２００６−５１８５６０（Ｐ２００６−５１８５６０Ａ）
【公表日】平成１８年８月１０日（２００６．８．１０）
【国際特許分類】
【出願番号】特願２００６−５００８６０（Ｐ２００６−５００８６０）
【出願日】平成１６年１月９日（２００４．１．９）
【国際出願番号】ＰＣＴ／ＵＳ２００４／０００４４６
【国際公開番号】ＷＯ２００４／０６４３７３
【国際公開日】平成１６年７月２９日（２００４．７．２９）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
イーサネット
【出願人】（５０５０８８６８４）ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア (18)
【Ｆターム（参考）】
【公表日】平成１８年８月１０日（２００６．８．１０）
【国際特許分類】
【出願日】平成１６年１月９日（２００４．１．９）
【国際出願番号】ＰＣＴ／ＵＳ２００４／０００４４６
【国際公開番号】ＷＯ２００４／０６４３７３
【国際公開日】平成１６年７月２９日（２００４．７．２９）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
イーサネット
【出願人】（５０５０８８６８４）ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア (18)
【Ｆターム（参考）】
[ Back to top ]