並列ビデオ復号処理
【課題】復号器の性能を改善するために、符号化ビデオビットストリームを、少なくとも部分的に並列化する。
【解決手段】ビデオ復号化装置および方法を開示する。ビデオ復号化装置は、逐次内部依存性を含む符合化ビデオビットストリームとして、入力ビデオデータを受け取るように構成される、少なくとも１つのパーシングユニットを備える。少なくとも１つのパーシングユニットは、逐次内部依存性の少なくともサブセットが解決される、入力ビデオデータの中間表現を生成するために、パーシング動作を符号化ビデオビットストリームに実行するように構成される。入力ビデオデータの中間表現は、バッファに記憶することができる。ビデオ復号化装置は、中間表現の複数の入力ストリームを並列に検索し、そして、復号化出力ビデオデータを生成するために、復号化動作を複数の入力ストリームに並列に実行するように構成される、再構成ユニットをさらに備える。
【解決手段】ビデオ復号化装置および方法を開示する。ビデオ復号化装置は、逐次内部依存性を含む符合化ビデオビットストリームとして、入力ビデオデータを受け取るように構成される、少なくとも１つのパーシングユニットを備える。少なくとも１つのパーシングユニットは、逐次内部依存性の少なくともサブセットが解決される、入力ビデオデータの中間表現を生成するために、パーシング動作を符号化ビデオビットストリームに実行するように構成される。入力ビデオデータの中間表現は、バッファに記憶することができる。ビデオ復号化装置は、中間表現の複数の入力ストリームを並列に検索し、そして、復号化出力ビデオデータを生成するために、復号化動作を複数の入力ストリームに並列に実行するように構成される、再構成ユニットをさらに備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符合化ビデオビットストリームとして入力ビデオデータを受け取り、そして、復号化出力ビデオデータを生成するために、復号化動作を実行するように構成される、ビデオ復号化装置に関する。より具体的には、本発明は、ビデオ復号化装置によって実行されるデータ処理の態様の並列化に関する。
【背景技術】
【０００２】
最新のビデオ符号化フォーマットは、符号化ビデオを表示のための復号化出力に復号化するように構成されるビデオ復号化装置に関して、かなり厳しい処理の要求を行っている。例えば、それによって達成される場合がある符号化効率のため、符合化デオビットストリームは、表示のために符合化ビデオビットストリームを復号化するために解決しなければならない、数多くの逐次内部依存性を含む場合がある。
【０００３】
さらに、現在の傾向は、ますます多くの情報を符号化ビデオビットストリームの中に組み込んで、そのような符号化ビデオビットストリームがそれを介して通信される伝送媒体の有限かつ不確実なリソースを介して、より高い品質のビデオを伝送することを可能にすることである。ますます複雑化する最新の符合化ビデオを考慮すると、それに伴う性能要求がビデオ復号化装置に対して課されることから、復号化プロセスを並列化する、例えばマルチコアシステム全体でプロセス供給を共有するための可能性が探求されている。Ｆ．Ｓｅｉｔｎｅｒ他の「Ｅｖａｌｕａｔｉｏｎ ｏｆ ｄａｔａ−ｐａｒａｌｌｅｌ ｓｐｌｉｔｔｉｎｇ ａｐｐｒｏａｃｈｅｓ ｆｏｒ Ｈ．２６４ ｄｅｃｏｄｉｎｇ」（ＭｏＭＭ ２００８ Ｎｏｖｅｍｂｅｒ ２４−２６、２００８、Ｌｉｎｚ、Ａｕｓｔｒｉａ）（ｈｔｔｐ：／／ｐｕｂｌｉｋ．ｔｕｗｉｅｎ．ａｃ．ａｔ／ｆｉｌｅｓ／ＰｕｂＤａｔ＿１６８８３１．ｐｄｆから読み出される）は、強くリソース制限された環境でのデータの並列分割を達成するための種々の方法を探究している。しかしながら、複数のプロセッサコア間の復号化タスクの細区分は、複雑なタスクであり、コア間通信およびデータ管理に関する重大な課題に対処しなければならない。
【０００４】
ビデオ復号化プロセスを２つの段階、すなわち、初期のパーシング段階および以降の再構成段階に細分することが知られている。そのような手法の一部として、英国特許出願公開第ＧＢ２，４７１，８８７号は、パーシング段階の出力を少なくとも部分的に圧縮するための技術を記載している。パーシング段階の出力は、一般的に、再構成段階によって処理される前にバッファリングされるので、パーサ出力の圧縮は、必要とされるバッファサイズおよび転送帯域幅の双方に関して有益である可能性がある。しかしながら、開示されている技術は、並列化手法ではなく、単一の復号化パイプラインに関して記載されているに過ぎない。
【０００５】
最新のビデオ符号化の複雑さは、スケーラブルビデオ符号化（ＳＶＣ）の導入によってさらに増大している。ＳＶＣ（Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ規格の拡張版）は、階層符号化技術を導入しており、該技術によれば、ビデオシ−ケンスの所与の画像を複数のレイヤで符号化することができ、該レイヤは、例えば、ある範囲の空間解像度および画像品質を可能にする。この技術は、高品質ビデオビットストリーム内で、１つまたは複数のサブセットビットストリームを、それに応じた低レベルの複雑さおよび再構成品質で復号化することを可能にする。これは、パケットを（例えば、ネットワーク容量限界のために）、完全なビットストリームからドロップできるようにすることができ、末端の復号器は、次いで、最良の利用可能な残りのビデオを復号化することができる。
【０００６】
この配設を図１に概略的に示すが、図中、ビデオストリームの画像は、１つのベースレイヤ（Ｂ）およびいくつかの拡張レイヤ（Ｅ１、Ｅ２、Ｅ３等）として符号化されている。ベースレイヤＢは、最低レベルの品質および解像度を表す一方で、各拡張レイヤは、品質および／または解像度を増加させる。図１のレイヤ間の矢印は、一連の依存性の連鎖を示し、レイヤＢは、レイヤＥ１を復号化するために必要とされ、レイヤＥ１は、Ｅ２を復号化するために必要とされる等となる。前述のように、拡張レイヤは、図２Ａに概略的に示されるように、空間（画像サイズ）拡張性を表す場合がある。代替として、図２Ｂに示されるように、拡張レイヤは、増加する画像品質（例えば、低、中、高）のシーケンスを表す場合がある。
【０００７】
ＳＶＣ符号化の複雑さは、ビデオ復号化装置の処理負担をさらに加えるだけでなく、ＳＶＣが復号化ビデオビットストリームの中に導入する付加的な内部依存性（レイヤ間予測）が、復号化プロセスを並列化するという複雑さをさらに増大させる。Ｙｕ−Ｃｈｉ Ｓｕ他の「Ｍａｐｐｉｎｇ ｓｃａｌａｂｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ ｄｅｃｏｄｅｒ ｏｎ ｍｕｌｔｉ−ｃｏｒｅ ｓｔｒｅａｍ ｐｒｏｃｅｓｓｏｒｓ」（ＤＳＰ／ＩＣ Ｄｅｓｉｇｎ Ｌａｂ、Ｇｒａｄｕａｔｅ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒｉｎｇ、Ｎａｔｉｏｎａｌ Ｔａｉｗａｎ Ｕｎｉｖｅｒｓｉｔｙ、Ｔａｉｐｅｉ、Ｔａｉｗａｎ）、（ｈｔｔｐ：／／ｇｒａ１０３．ａｃａ．ｎｔｕ，ｅｄｕ．ｔｗ／ｇｄｏｃ／９８／Ｄ９６９２１０３２ａ．ｐｄｆから読み出される）は、マルチコアプロセッサプラットフォーム上でＳＶＣ復号器を並列化するいくつかの手法について論じている。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、複数のプロセッサコアにわたる復号化タスクの分配と関連する複雑さの多くに遭遇することなく、復号器の性能を改善するために、逐次内部依存性を含む前述したようなもの等の符号化ビデオビットストリームを、少なくとも部分的に並列化することを可能にする手法を提供することが望ましい。
【課題を解決するための手段】
【０００９】
第１の態様から概観すると、本発明は、符合化ビデオビットストリームとして入力ビデオデータを受け取るように構成される、少なくとも１つのパーシングユニットであって、前記符合化ビデオビットストリームは、逐次内部依存性を含み、前記入力ビデオデータの中間表現を生成するために、パーシング動作を前記符合化ビデオビットストリームに実行するように構成される、少なくとも１つのパーシングユニットであって、前記逐次内部依存性の少なくともサブセットは、前記中間表現で解決され、バッファに記憶するための前記入力ビデオデータの前記中間表現を出力するように構成される、前記少なくとも１つのパーシングユニットと、前記バッファから前記中間表現の複数の入力ストリームを並列に検索し、そして、復号化出力ビデオデータを生成するために、復号化動作を前記複数の入力ストリームに並列に実行するように構成される、再構成ユニットとを備える、ビデオ復号化装置を提供する。
【００１０】
故に、その副構成要素を基本的に２つのセクションに分類することができる、ビデオ復号化装置が提供される。第１のセクションは、入力ビデオデータを受け取るように構成される、少なくとも１つのパーシングユニットを備える。少なくとも１つのパーシングユニットは、符合化ビデオビットストリームの中に存在する逐次内部依存性の少なくともサブセットが解決される、入力ビデオデータの中間表現を生成する。この第１のセクションの結果は、次いで、中間バッファに記憶することによって、第２のセクション、すなわち再構成ユニットが利用できるようになる。再構成ユニットは、中間表現の複数の入力ストリームを並列に検索し、復号化動作をその複数の入力ストリームに並列に実行するように構成され、したがって、復号化出力ビデオデータを生成する。
【００１１】
したがって、再構成ユニットは、逐次内部依存性の少なくともサブセットを解決した、中間表現で記憶されたビデオデータに、その復号化動作を実行するように構成されるので、復号化動作の少なくとも一部の並列化を導入することを可能にする。さらに、バッファに中間表現を記憶することにより、再構成ユニットから少なくとも１つのパーシングユニットの動作を切り離すことによって、各ユニットが動作する速度は、他のものに対する依存が少なくなる。例えば、パーシング速度は、入力ビットストリーム速度に適合させることができ、再構成（レンダリング）速度は、画像サイズおよび周波数に依存して適合させることができる。
【００１２】
一実施形態において、前記入力ビデオデータは、スケーラブルビデオストリームの複数のレイヤを備え、前記複数の入力ストリームの各ストリームは、前記複数のレイヤのうちの１つのレイヤを表す。故に、入力ビデオデータがスケーラブルビデオストリームである時、再構成ユニットは、バッファの中の各レイヤの中間表現にアクセスすることによって、スケーラブルビデオストリームのレイヤを並列に復号化するように構成することができる。スケーラブルビデオストリームのレイヤを並列に復号化するように再構成ユニットを配設することは、システム性能およびハードウェア再利用の利点の双方に関して有利である可能性がある。例えば、システム性能に関して、レイヤを並列に復号化することは、再構成ユニットが、次のマクロブロックに移動する前に、各マクロブロック（所与の画像内に１６×１６のタイル）の全てのレイヤを処理できることを意味する。これは、データの局所性を改善し、かつメモリアクセス帯域幅を低減する。一方で、ハードウェア再利用に関しては、再構成ユニットで実行される複合化の並列化は、一部のハードウェアユニットを複製（例えば、逆量子化）することだけしか必要としない一方で、他のレイヤ（例えば、動き補償）は１度提供されることだけしか必要としないことを意味する。これは、再構成ユニットの面積および電力消費を低減する。さらに、関連するレイヤのシーケンスの変換係数は、中間フォーマットの相対項で定義することができるので（例えば、ベースレイヤの絶対値、以前のレイヤに対する差として符号化される、以降の拡張レイヤのそれぞれの差を伴う）、これらは、より効率的に（例えば、圧縮形態で）再構成ユニット内部に記憶および蓄積することができ、各レイヤの係数を順々に蓄積することと比較して、メモリ帯域幅を低減する。さらに、複数のレイヤの変換係数が、典型的に、相互にかなり大きい程度の相関を有することを考慮すると、相対差は、概して、小さい値であり、各レイヤごとの全絶対値よりも効率的に圧縮する。
【００１３】
一実施形態において、前記複数のレイヤは、互いに対して同じ解像度および様々な品質を有する一組の画像表現を表す。各画像内のマクロブロックの細区分が各レイヤ間で直接的にマッピングするので、同じ解像度を有する品質レイヤは、再構成ユニットにおける並列復号化に特に適している。
【００１４】
一実施形態において、前記複数のレイヤは、非依存符号化ベースレイヤと、依存符号化拡張レイヤとを備え、前記依存符合化拡張レイヤは、前記非依存符合化ベースレイヤを参照して符合化される。これらの２つのレイヤ間の依存性は、これらのレイヤが並列に復号化された場合にメモリアクセス帯域幅が低減されることを意味するので、依存符合化拡張レイヤと非依存符合化ベースレイヤとの間の依存性はこれらのレイヤが中間表現に書き込まれると、これらのレイヤが相互に並列に復号化される傾向があることを意味する。例えば、（中間表現フォーマットの）変換係数は、再構成ユニット内部に（例えば、圧縮および／または量子化された形態で）記憶および蓄積することができ、これは、各レイヤの係数を順々に蓄積することと比較して、メモリ帯域幅を低減することを意味する。
【００１５】
本発明は、単一の依存符合化拡張レイヤだけに限定されず、一実施形態において、前記複数のレイヤは、少なくとも１つのさらなる依存符合化拡張レイヤを備え、前記少なくとも１つのさらなる依存符合化拡張レイヤは、先行する依存符合化拡張レイヤを参照して符合化されることを理解されたい。
【００１６】
一実施形態において、前記再構成ユニットは、前記入力ビデオデータの前記複数のレイヤが前記複数の入力ストリームよりも多い場合に、前記復号化動作の２回以上の反復を実行して、前記複数のレイヤを複合化するように構成される。したがって、再構成ユニットは、特定の数の入力ストリームで読み込むことができるように配設されてもよいが、これは、再構成ユニットが、対応する数のレイヤに限定されたスケーラブルビデオストリームを復号化することだけしかできないことを意味しない。代わりに、再構成ユニットは、最初の反復で一組の入力ストリームを読み込み、それらのレイヤを相互に並列に複合化し、その後、１つまたは複数のさらなる反復でさらなるレイヤを読み込む（それぞれが、並列複合化を含んでもよい）ように構成することができる。
【００１７】
符合化ビデオストリームの逐次内部依存性は、多数の形態を取る場合があるが、一実施形態において、前記符合化ビデオビットストリームの前記逐次内部依存性は、少なくとも１つのエントロピ復号化依存性を含む。代替として、または加えて、一実施形態において、前記符合化ビデオビットストリームの逐次内部依存性は、少なくとも１つの動きベクトル依存性を含む。
【００１８】
一実施形態において、前記符合化ビデオビットストリームは、マクロブロックのシーケンスとして前記入力ビデオデータを表し、前記再構成ユニットは、復号化マクロブロックのシーケンスとして前記復号化出力ビデオデータを生成するように構成される。マクロブロックに関してビデオデータを処理することは、再構成ユニットの入力ストリームを並列に復号化する状況において特に有益であるが、その理由は、これによって、再構築ユニットの並列復号化要素が、それらの復号化活動を相互に（例えば、スケーラブルビデオの例において、それぞれが、異なるレイヤを処理する状態で）より容易に整合することが可能になり、したがって、データの局所性およびメモリ帯域幅の低減といった前述の利益を導出することが可能になるからである。
【００１９】
中間表現は多数の形態を取ってもよいが、一実施形態において、前記中間表現は、前記シーケンスの中の各マクロブロックに対する少なくとも１つのマクロブロックタイプを含む。一実施形態において、前記中間表現は、前記シーケンスの中の少なくとも１つのマクロブロックの動きベクトルを含む。全てのマクロブロックが動きベクトルを含むというわけではないが（例えば、非依存符合化画像はそれを含まない）、依存符合化マクロブロック（例えば、Ｐ型およびＢ型マクロブロック）は動きベクトルを有する。パーシング段階でこの動きベクトルを識別することは、そのようなマクロブロックを再構成段階でより迅速に復号化することを可能にする。一実施形態において、前記中間表現は、前記シーケンスの中の少なくとも１つのマクロブロックに対する一組の変換係数を含む。中間フォーマットの中に一組の変換係数が存在することは、最初にそれらを導出することを必要とせずに、再構成段階が、これらの値を即時に利用できることを意味する。
【００２０】
中間表現が、シーケンスの中にマクロブロックの一組の変換係数を含む時、少なくとも１つのパーシングユニットは、前記シーケンスの中の前記少なくとも１つのマクロブロックの前記一組の変換係数を圧縮フォーマットで出力するように構成されてもよい。変換係数は、圧縮に特に適しており、したがって、中間表現のこの部分を圧縮形態で記憶することによって、メモリ帯域幅が節約される場合があることが分かっている。特定の圧縮フォーマットは、多数の形態を取ってもよいが、一実施形態において、前記圧縮フォーマットは、一組の符号付き指数ゴロム符号を含むことが認識されるであろう。復号化動作について、各マクロブロックの一組の変換係数は、しばしば、多数のゼロ値を含み、符号付き指数ゴロム符号は、多数のゼロ値を含む一組の係数を圧縮するための特に有効な機構を提供することが分かっている。しかしながら、符号付き指数ゴロム符号の使用は、必須ではなく、あらゆる他の適切な符号化を使用することができる可能性があり、例えば、より一般的なハフマンまたは算術符号化技術を使用することができる可能性がある。
【００２１】
一実施形態において、前記ビデオ復号化装置は、少なくとも２つのパーシングユニットを備え、前記少なくとも２つのパーシングユニットは、前記パーシング動作を少なくとも部分的に並列化するように構成される。故に、いくつかの実施形態では単一のパーシングユニットだけが提供される一方で、他の実施形態は、１つを超えるパーシングユニットが提供されてもよい。具体的には、その次に可能なパーシング動作の少なくとも部分的な並列化は、ビデオ復号化装置のより効率的な構成を可能にすることができる。例えば、いくつのパーシングユニットを提供するかという選択は、入力ビデオデータをパーシングすることができる速度に影響する可能性がある。再構成ユニットの構成、および特に、再構成ユニットが復号化ビデオをレンダリングすることができる速度に応じて、ビデオ復号器がパーシングできる速度を高めて、最終的にはビデオ復号装置全体の処理量を増大するために、２つ（またはそれ以上）のパーシングユニットを提供することが有利になる場合がある。
【００２２】
入力ビデオデータは、多数の方法で、複数のパーシングユニット間で分配されてもよいが、一実施形態において、前記少なくとも２つのパーシングユニットは、それぞれ、前記パーシング動作を前記スケーラブルビデオストリームの所与のレイヤ上で実行するように構成される。入力ビデオデータが複数のレイヤを有するスケーラブルビデオストリームである時には、少なくとも２つのパーシングユニットの間で入力ビデオデータの細区分を構成することによって、特に有効なパーシング動作をレイヤベースで行うことを可能にする場合がある。具体的には、これは、中間表現のバッファへの書き込みを特に有効に実行することを可能にする場合がある。さらなるそのような変形例では、一実施形態において、前記少なくとも２つのパーシングユニットは、それぞれ、前記スケーラブルビデオストリームの所与のレイヤの中で、前記パーシング動作をスライスベースで実行するように構成される。
【００２３】
一実施形態において、前記再構成ユニットは、前記複数の入力ストリームの各入力ストリームのための逆量子化ユニットを備える。符合化ビデオデータの逆量子化は、一般的に、ビデオデータの各個々のストリームに固有であり、したがって、再構成ユニットの復号化動作の並列化は、各入力ストリームのための逆量子化ユニットの提供によってサポートされる。
【００２４】
各入力ストリームに対して、いくつかの構成要素を個々に提供することが必要になる場合があるが、いくつかの実施形態において、前記再構成ユニットは、少なくとも１つの共有復号化構成要素を備え、前記共有復号化構成要素は、前記複数の入力ストリームの全ての前記復号化動作に使用される。したがって、複数のストリーム間で共有することができる復号化構成要素（動き補償また再サンプリング等）を繰り返す必要はなく、したがって、面積および電力を節約する。
【００２５】
一実施形態において、前記再構成ユニットは、少なくとも２つの非ブロック化ユニットを備える。２つ以上の非ブロック化ユニットの提供は、例えば、２つ以上の一時的な依存性が所与の組の品質レイヤに対して符合化される場合に、再構成ユニットの並列化に関して有利である場合がある。２つ以上の非ブロック化ユニットを提供することは、そのような複数の一時的な依存性が存在する場合であっても、再構成ユニットが並列復号化を維持することを可能にする。
【００２６】
再構成ユニットは、種々の数の入力ストリームを受け取るように構成される可能性があるが、一実施形態において、前記複数の入力ストリームは、少なくとも３つの入力ストリームを備えることを理解されるであろう。入力ストリームが別途直列的に複合化されてもよい場合、入力ストリームの並列復号化は、性能強化を示し、この性能強化は、再構成ユニットが少なくとも３つの入力ストリームを復号化するように構成される時に特に顕著である。
【００２７】
一実施形態において、前記少なくとも１つのパーシングユニットは、複数のバッファに記憶するための前記入力ビデオデータの前記中間表現を出力するように構成され、前記再構成ユニットは、前記複数のバッファのそれぞれのバッファから前記複数の入力ストリームのそれぞれを検索するように構成される。複数の入力ストリームのそれぞれに対応するバッファを提供することは、パーシングユニットによる中間表現の書き込みおよび再構成ユニットによる中間表現の検索が効率的に実行され得ることを意味する。
【００２８】
第２の態様から概観すると、本発明は、符合化ビデオビットストリームとして入力ビデオデータを受け取るステップであって、前記符合化ビデオビットストリームは、逐次内部依存性を含む、ステップと、前記入力ビデオデータの中間表現を生成するように、パーシング動作を前記符合化ビデオビットストリームに実行するステップであって、前記逐次内部依存性の少なくともサブセットは、前記中間表現で解決される、ステップと、バッファに記憶するための前記入力ビデオデータの前記中間表現を出力するステップと、前記バッファから前記中間表現の複数の入力ストリームを並列に検索し、かつ復号化出力ビデオデータを生成するために、復号化動作を前記複数の入力ストリームに並列に実行するステップとを含む、ビデオを復号化する方法を提供する。
【００２９】
第３の態様から概観すると、本発明は、符号化ビデオビットストリームとして入力ビデオデータを受け取るための、少なくとも１つのパーシング手段であって、前記符合化ビデオビットストリームは、逐次内部依存性を含み、前記入力ビデオデータの中間表現を生成するように、パーシング動作を前記符号化ビデオビットストリームに実行するための、少なくとも１つのパーシング手段であって、少なくとも前記逐次内部依存性のサブセットは、前記中間表現で解決され、バッファに記憶するための前記入力ビデオデータの前記中間表現を出力するための、少なくとも１つのパーシング手段と、前記バッファから前記中間表現の複数の入力ストリームを並列に検索し、かつ復号化出力ビデオデータを生成するように、復号化動作を前記複数の入力ストリームに並列に実行するための、再構成手段とを備える、ビデオ復号化装置を提供する。
【００３０】
以下、ほんの一例として、添付図面に示されているその実施形態を参照して、本発明をさらに説明する。
【図面の簡単な説明】
【００３１】
【図１】既知のスケーラブルビデオストリーム構造を概略的に示す図である。
【図２Ａ】スケーラブルビデオストリームの中の既知の一組の空間レイヤを概略的に示す図である。
【図２Ｂ】スケーラブルビデオストリームの中の既知の一組の品質レイヤを概略的に示す図である。
【図３】一実施形態における、スケーラブルビデオストリームの並列再構成のための手法を概略的に示す図である。
【図４】一実施形態における、１つを超えるパーシングユニットを有するビデオ復号化装置を概略的に示す図である。
【図５Ａ】一実施形態における、メモリの中の一組の中間フォーマットバッファを概略的に示す図である。
【図５Ｂ】図５Ａの中間フォーマットバッファのうちの１つをより詳細に概略的に示す図である。
【図６】一実施形態における、ビデオ復号化装置およびその内部データフローを概略的に示す図である。
【図７】一実施形態における、ビデオ復号化装置の中の再構成ユニットのいくつかの副構成要素を概略的に示す図である。
【図８】一実施形態における、ビデオ復号化装置で行われる一連のステップを概略的に示す図である。
【発明を実施するための形態】
【００３２】
図３は、スケーラブルビデオストリームの中の一組のレイヤを概略的に示す。左から右に概観すると、一組のレイヤは、解像度（各々四角形のサイズで表される）および画質（Ｐ、Ｍ、およびＧの文字、すなわち、低、中、高で示される）の双方が向上している。以下にさらに詳細に論じるように、本発明の実施形態は、各解像度レベルで３つの品質レイヤ（低、中、および高）を並列に再構成することによって、図３に示される構造を有する入力ビデオデータの複合化を並列化する。
【００３３】
図４は、一実施形態における画像復号装置を概略的に示す。ビデオ復号化装置１０は、入力バッファ２０に一時的にバッファリングされる、符合化ビデオビットストリームを受け取る。次いで、ビデオ復号化装置によって実行されるデータ処理は、第１のパーシング段階および以降の再構成段階の２つの段階で実行される。図４に示される実施形態において、パーシング段階は、パーシングユニット３０および４０によって実行される一方で、再構成は、再構成パイプライン５０内で実行される。図４で、示されているユニットを接続している矢印は、示されるユニット間のデータフローを概念的レベルで示すことを意図しており、デバイスの物理的構成を厳密に表すものとして解釈するべきではない。パーシングユニット３０、４０は、入力バッファ２０から符合化ビデオビットストリームを検索し、受け取った符号化ビデオビットストリームの中間表現を生成するために、パーシング動作を前記符合化ビデオビットストリームに実行する。この中間表現は、バッファに記憶され、そこから、再構成パイプライン５０に対する複数の入力ストリームとして検索され、前記パイプラインは、装置の復号化出力ビデオデータを生成するように、複合化動作を実行する。したがって、パーサ３０、４０から再構成パイプライン５０につながる矢印は、直接的なデータ経路として解釈するべきではないことを理解されるであろう。パーシングユニット３０、４０の構成は、これらのパーシングユニットが相互に並列に動作するように構成されるが、さらに、一方では、パーシングユニット４０の動作がパーサ３０によって実行されたパーシング動作の結果に依存する場合があり、他方では、パーシングユニット３０の動作がパーサ４０によって実行されたパーシング動作の結果に依存する場合があることを示す。実際、図４には示されていないが、パーサ３０および４０の一方または両方（逆の場合も同じ）の出力に依存するさらなるパーシングユニットのパーシング動作が見込まれる、さらなるパーシングユニットを提供することも可能である。この２つの示されるパーシングユニットの動作間の依存性は、例えば、符合化ビデオビットストリームが複数のレイヤを備えるスケーラブルビデオストリームであることに起因する場合がある。この状態において、パーサ３０は、そのパーシング動作をそれらの複数のレイヤのベースレイヤに実行するように構成されてもよい一方で、パーサ４０は、そのパーシング動作を依存符号化拡張レイヤに実行するように構成され、依存符号化拡張レイヤのパーシングは、非依存符合化符号化ベースレイヤに実行されているパーシング動作からのなんらかの入力（例えば、そのＭＢＩｎｆｏ部分の識別、下記参照）を必要とする。さらに、スケーラブルビデオストリームが３つ以上のレイヤを備える場合、パーサ３０は、そのパーシング動作をさらに依存符合化拡張レイヤに実行するようにさらに構成されてもよく、この依存符合化拡張レイヤのパーシングは、（パーサ４０によって）以前の依存符合化ベースレイヤに実行されたパーシング動作からのなんらかの入力を必要とする。この依存性の反復シーケンスは、スケーラブルビデオストリームの中に存在するものと同じ数のレイヤに拡張することができる。
【００３４】
さらに、この実施例において、パーサ３０は、ベースレイヤ（およびそれが処理する任意のさらなる拡張レイヤ）に関連する入力ビデオデータの中間表現を出力するように構成される一方で、パーサ４０は、拡張レイヤ（およびそれが処理する任意のさらなる拡張レイヤ）に関連する入力ビデオデータの中間表現を生成するように構成される。次いで、再構成パイプライン５０は、以下にさらに詳細に論じるように、少なくとも２つのレイヤの中間表現を並列に検索し、その復号化動作をこれらの並列入力ストリームに実行するように構成される。
【００３５】
図５Ａは、メモリのバッファの配設を概略的に示し、その中には、１つまた複数のパーシングユニットが入力ビデオデータの中間表現を書き込み、そこからは、再構成ユニットが、復号化動作を実行するために、その中間表現の中の複数の入力ストリームを並列に検索する。図５Ａに示される実施例において、メモリ６０は、３つの個々のバッファ７０、８０、および９０を備え、各バッファは、受け取ったスケーラブルビデオストリームの１つのレイヤに関連する入力ビデオデータの中間表現を一時的に記憶するように構成される。示されるように、バッファ７０は、レイヤ０のための中間フォーマットバッファであり、バッファ８０は、レイヤ１のための中間フォーマットバッファであり、バッファ９０は、レイヤ２のための中間フォーマットバッファである。例えば、レイヤ０は、非依存符合化ベースレイヤを表すことができる可能性がある一方で、レイヤ１および２は、依存符合化拡張レイヤを表すことができる可能性がある。
【００３６】
図５Ｂは、図５Ａの中間フォーマットバッファ７０、８０、および９０のうちの１つのコンテンツ例をより詳細に概略的に示す。見て分かるように、この実施例において、各バッファは、ＭＢＩｎｆｏバッファおよび残差バッファという２つのバッファを備える。ＭＢＩｎｆｏバッファには、このレイヤを処理するパーシングユニットが、マクロブロックヘッダ（特に、マクロブロックタイプを示す）と、動きベクトルとを含む、データのストリームを書き込む。このＭＢＩｎｆｏは、このレイヤに依存するレイヤをパーシングする、パーシングユニットによって使用される。例えば、パーサ３０（図４）が図５Ｂに示されるレイヤＬ中間フォーマットデータを生成する場合、パーサ４０は、ＭＢＩｎｆｏ関連の依存性を解決するために、レイヤＬ＋１をパーシングする時にこのバッファを参照する。
【００３７】
残差バッファには、このレイヤを処理するパーシングユニットが、このレイヤの変換係数（それによってデータサイズ低減が達成されるため、指数ゴロム符号化フォーマットである）を含む、データのストリームを書き込む。所与の中間フォーマットバッファからのＭＢＩｎｆｏデータおよび残差データはどちらも、再構成ユニットの「入力ストリーム」の一部として読み込まれることに留意されたい。換言すれば、再構成ユニットは、少なくとも２つの中間フォーマットバッファから入力ストリームを読み込み、各ストリームは、ＭＢＩｎｆｏデータと、残差データとの両方を含む。
【００３８】
図６は、一実施形態におけるビデオ復号化装置のデータフローを概略的に示す。入力ビデオデータ１１０は、パーシングユニット１３０、１４０によって検索される前に、メモリ１２０に一時的にバッファリングされる。パーシングユニットは、パーシング動作を入力ビデオデータに実行し、それによって生成された中間表現は、メモリの中の対応する中間表現（中間フォーマット）バッファに書き込まれる。各パーサは、それ自体の現在のパーシング動作のために必要に応じて、バッファの中の以前にパーシングされた情報にアクセスすることもできる。示される実施例において、ビデオ復号化装置は、３つの品質レイヤ（０、１、２）を備えるスケーラブルビデオストリームを復号化するように構成され、各レイヤのビデオデータは、中間表現でその対応するバッファ１５０、１６０、または１７０に書き込まれる。再構成パイプライン１８０は、中間表現データの３つの入力ストリームを検索するために、中間フォーマットバッファに並列にアクセスし、メモリ１２０に書き込まれる復号化出力ビデオデータ１９０を生成するために、復号化動作をこれらの３つの入力ストリームに並列に実行するように構成される。
【００３９】
図７は、一実施形態における再構成ユニットの構成を概略的に示す。再構成ユニット２００は、復号化動作をビデオデータのそれら３つの入力ストリームに並列に実行するために、メモリのバッファから、前述の中間表現のビデオデータの３つの入力ストリームを検索するように構成される。例えば、示されるように、再構成ユニットは、所与の画像の３つの品質レイヤに対応するレイヤＬ３、Ｌ４、およびＬ５の中間表現データを検索することができる。復号化動作をこれらの３つのレイヤの中間表現に実行するために、再構成ユニットはまた、同じ画像のより低い解像度に対応する入力ビデオデータの先行する３つの品質レイヤも参照する。加えて、再構成ユニット２００も、以前の画像から復号化ビデオデータを参照する。これらの種々のレイヤは、図７の上部の時間時間Ｔ＝０およびＴ＝１に対応する複数組のレイヤによって概略的に示される。
【００４０】
したがって、再構成ユニット２００への入力は、複合化されているレイヤ（Ｌ３、Ｌ４、およびＬ５）の中間表現の３つの入力ストリームと、Ｔ＝０からの以前に複合化した（再構成した）出力ビデオデータと、この画像の一組のより低い解像度のレイヤ（すなわち、Ｌ２）の最後の（すなわち、最高品質の）レイヤからの以前に複合化した（再構成した）ビデオデータとを含む。Ｔ＝０からの再構成されたビデオデータは、動き補償ユニット２０５の入力を形成する一方で、Ｌ２レイヤからの再構成されたビデオデータは、空間再サンプリングユニット２１０への入力を形成する。空間再サンプリングユニットは、より小さい画像（一般的に、より小さい画像サイズで最高品質の画像）を取得し、それを、アップサンプリングフィルタを使用して、現在の（より大きい）画像サイズに一致するバージョンに変換するように構成される。中間表現（Ｌ３、Ｌ４、およびＬ５）の入力ストリームのそれぞれは、対応する逆量子化ユニット２１５、２２０、２２５に入力される。逆量子化ユニット２１５、２２０、２２５によって実行される逆量子化プロセス間の可能な依存性を考慮して、これらのユニットは、相互からオフセットしているように概略的に示されており、ユニット２１５の逆量子化の結果を逆量子化ユニット２２０に供給できること、および同様に、逆量子化ユニット２２０の出力を逆量子化ユニット２２５の入力に供給できることを意味している。
【００４１】
３つの逆量子化ユニットの結果は、逆変換ユニット２３０に組み合わせられる。動き補償２０５、空間再サンプリング２１０、および逆変換２３０の結果は、ユニット２３５を組み合わせることによって１つにまとめられる。最後に、非ブロック化が、出力復号化ビデオデータを生成するように、デブロッカ２４０によって実行される。再構成ユニット２００の構成要素の説明は、図の概略的な性質に限定され、再構成プロセスの詳細な説明は、明確にするためにここでは詳しくは述べられないことが理解されるであろう。当業者は、記載されている比較的に高レベルのステップの詳細な実装に精通しているであろう。再構成ユニット２００は、任意選択的に、再構成ユニットが、２つ以上の一時的な依存性（すなわちＴ＝０とＴ＝１の間）を処理することを可能にするように、さらなる非ブロック化ユニット２５０を備えてもよい。
【００４２】
一実施形態によるビデオ復号化装置で行われるステップの概要を、図８に概略的に示す。ステップ３００で、ビデオ復号化装置は、符合化ビデオビットストリームを受け取り、バッファリングする。次いで、ステップ３１０で、ビデオ復号化装置は、符合化ビデオビットストリームをパーシングし、その中のエントロピおよび動きベクトル依存性を解決し、パーシングしたレイヤを対応するメモリのバッファに書き込む。ステップ３２０で再構成を開始し、ここで、再構成ユニットは、バッファから複数のレイヤを並列に検索し、逆量子化プロセスを各レイヤに実行し、次いで、ステップ３３０で、検索したレイヤのそれぞれについて残りの再構成を同時に実行する。ステップ３４０で、この画像の再構成されるさらなるレイヤがあるかどうかを判定する。ある場合、フローは、ステップ３２０に戻り、任意のさらなるレイヤを復号化する。この画像のさらなるレイヤがない場合、フローは、ステップ３５０に進み、この画像の復号化ビデオデータを出力する。ステップ３６０で、ビデオビットストリームの中に復号化すべきさらなる画像があるかどうかを判定し、ある場合、フローは、ステップ３１０に戻る。ない場合、フローは、ステップ３７０で終了する。
【００４３】
したがって、本技術によれば、符合化ビデオビットストリームを復号化する時に、最初にパーシングプロセスを符号化ビットストリームに実行することによって、再構成プロセスの並列化を可能にし、これは、逐次内部依存性の少なくとも一部を除去する。パーシングプロセスの結果は、一時的にバッファリングすることができる中間表現（フォーマット）である。再構成プロセスの並列化が行われるが、そこで、再構成ユニットは、バッファから中間表現の１つを超える入力ストリームを検索し、それらの複数の入力ストリームを並列に復号化するように構成される。
【００４４】
ビデオ復号化装置および方法を開示する。ビデオ復号化装置は、逐次内部依存性を含む符合化ビデオビットストリームとして、入力ビデオデータを受け取るように構成される、少なくとも１つのパーシングユニットを備える。少なくとも１つのパーシングユニットは、逐次内部依存性の少なくともサブセットが解決される、入力ビデオデータの中間表現を生成するために、パーシング動作を符号化ビデオビットストリームに実行するように構成される。入力ビデオデータの中間表現は、バッファに記憶することができる。ビデオ復号化装置は、中間表現の複数の入力ストリームを並列に検索し、復号化出力ビデオデータを生成するために、復号化動作を複数の入力ストリームに並列に実行するように構成される、再構成ユニットをさらに備える。
【００４５】
特定の実施形態を本明細書で説明してきたが、本発明は、それに限定されるものではなく、その実施形態への多くの変更および追加が本発明の範囲内で行われる場合があることが理解されるであろう。例えば、本発明の範囲を逸脱しない範囲で、以下の従属請求項の特徴の、独立請求項の特徴との種々の組み合わせを行うことができる可能性がある。
【符号の説明】
【００４６】
１１０ 入力ビデオデータ
１２０ メモリ
１３０、１４０ パーシングユニット
１５０ レイヤ０中間フォーマットバッファ
１６０ レイヤ１中間フォーマットバッファ
１７０ レイヤ２中間フォーマットバッファ
１８０ 再構成パイプライン
１９０ 復号化出力ビデオデータ
【技術分野】
【０００１】
本発明は、符合化ビデオビットストリームとして入力ビデオデータを受け取り、そして、復号化出力ビデオデータを生成するために、復号化動作を実行するように構成される、ビデオ復号化装置に関する。より具体的には、本発明は、ビデオ復号化装置によって実行されるデータ処理の態様の並列化に関する。
【背景技術】
【０００２】
最新のビデオ符号化フォーマットは、符号化ビデオを表示のための復号化出力に復号化するように構成されるビデオ復号化装置に関して、かなり厳しい処理の要求を行っている。例えば、それによって達成される場合がある符号化効率のため、符合化デオビットストリームは、表示のために符合化ビデオビットストリームを復号化するために解決しなければならない、数多くの逐次内部依存性を含む場合がある。
【０００３】
さらに、現在の傾向は、ますます多くの情報を符号化ビデオビットストリームの中に組み込んで、そのような符号化ビデオビットストリームがそれを介して通信される伝送媒体の有限かつ不確実なリソースを介して、より高い品質のビデオを伝送することを可能にすることである。ますます複雑化する最新の符合化ビデオを考慮すると、それに伴う性能要求がビデオ復号化装置に対して課されることから、復号化プロセスを並列化する、例えばマルチコアシステム全体でプロセス供給を共有するための可能性が探求されている。Ｆ．Ｓｅｉｔｎｅｒ他の「Ｅｖａｌｕａｔｉｏｎ ｏｆ ｄａｔａ−ｐａｒａｌｌｅｌ ｓｐｌｉｔｔｉｎｇ ａｐｐｒｏａｃｈｅｓ ｆｏｒ Ｈ．２６４ ｄｅｃｏｄｉｎｇ」（ＭｏＭＭ ２００８ Ｎｏｖｅｍｂｅｒ ２４−２６、２００８、Ｌｉｎｚ、Ａｕｓｔｒｉａ）（ｈｔｔｐ：／／ｐｕｂｌｉｋ．ｔｕｗｉｅｎ．ａｃ．ａｔ／ｆｉｌｅｓ／ＰｕｂＤａｔ＿１６８８３１．ｐｄｆから読み出される）は、強くリソース制限された環境でのデータの並列分割を達成するための種々の方法を探究している。しかしながら、複数のプロセッサコア間の復号化タスクの細区分は、複雑なタスクであり、コア間通信およびデータ管理に関する重大な課題に対処しなければならない。
【０００４】
ビデオ復号化プロセスを２つの段階、すなわち、初期のパーシング段階および以降の再構成段階に細分することが知られている。そのような手法の一部として、英国特許出願公開第ＧＢ２，４７１，８８７号は、パーシング段階の出力を少なくとも部分的に圧縮するための技術を記載している。パーシング段階の出力は、一般的に、再構成段階によって処理される前にバッファリングされるので、パーサ出力の圧縮は、必要とされるバッファサイズおよび転送帯域幅の双方に関して有益である可能性がある。しかしながら、開示されている技術は、並列化手法ではなく、単一の復号化パイプラインに関して記載されているに過ぎない。
【０００５】
最新のビデオ符号化の複雑さは、スケーラブルビデオ符号化（ＳＶＣ）の導入によってさらに増大している。ＳＶＣ（Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ規格の拡張版）は、階層符号化技術を導入しており、該技術によれば、ビデオシ−ケンスの所与の画像を複数のレイヤで符号化することができ、該レイヤは、例えば、ある範囲の空間解像度および画像品質を可能にする。この技術は、高品質ビデオビットストリーム内で、１つまたは複数のサブセットビットストリームを、それに応じた低レベルの複雑さおよび再構成品質で復号化することを可能にする。これは、パケットを（例えば、ネットワーク容量限界のために）、完全なビットストリームからドロップできるようにすることができ、末端の復号器は、次いで、最良の利用可能な残りのビデオを復号化することができる。
【０００６】
この配設を図１に概略的に示すが、図中、ビデオストリームの画像は、１つのベースレイヤ（Ｂ）およびいくつかの拡張レイヤ（Ｅ１、Ｅ２、Ｅ３等）として符号化されている。ベースレイヤＢは、最低レベルの品質および解像度を表す一方で、各拡張レイヤは、品質および／または解像度を増加させる。図１のレイヤ間の矢印は、一連の依存性の連鎖を示し、レイヤＢは、レイヤＥ１を復号化するために必要とされ、レイヤＥ１は、Ｅ２を復号化するために必要とされる等となる。前述のように、拡張レイヤは、図２Ａに概略的に示されるように、空間（画像サイズ）拡張性を表す場合がある。代替として、図２Ｂに示されるように、拡張レイヤは、増加する画像品質（例えば、低、中、高）のシーケンスを表す場合がある。
【０００７】
ＳＶＣ符号化の複雑さは、ビデオ復号化装置の処理負担をさらに加えるだけでなく、ＳＶＣが復号化ビデオビットストリームの中に導入する付加的な内部依存性（レイヤ間予測）が、復号化プロセスを並列化するという複雑さをさらに増大させる。Ｙｕ−Ｃｈｉ Ｓｕ他の「Ｍａｐｐｉｎｇ ｓｃａｌａｂｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ ｄｅｃｏｄｅｒ ｏｎ ｍｕｌｔｉ−ｃｏｒｅ ｓｔｒｅａｍ ｐｒｏｃｅｓｓｏｒｓ」（ＤＳＰ／ＩＣ Ｄｅｓｉｇｎ Ｌａｂ、Ｇｒａｄｕａｔｅ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒｉｎｇ、Ｎａｔｉｏｎａｌ Ｔａｉｗａｎ Ｕｎｉｖｅｒｓｉｔｙ、Ｔａｉｐｅｉ、Ｔａｉｗａｎ）、（ｈｔｔｐ：／／ｇｒａ１０３．ａｃａ．ｎｔｕ，ｅｄｕ．ｔｗ／ｇｄｏｃ／９８／Ｄ９６９２１０３２ａ．ｐｄｆから読み出される）は、マルチコアプロセッサプラットフォーム上でＳＶＣ復号器を並列化するいくつかの手法について論じている。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、複数のプロセッサコアにわたる復号化タスクの分配と関連する複雑さの多くに遭遇することなく、復号器の性能を改善するために、逐次内部依存性を含む前述したようなもの等の符号化ビデオビットストリームを、少なくとも部分的に並列化することを可能にする手法を提供することが望ましい。
【課題を解決するための手段】
【０００９】
第１の態様から概観すると、本発明は、符合化ビデオビットストリームとして入力ビデオデータを受け取るように構成される、少なくとも１つのパーシングユニットであって、前記符合化ビデオビットストリームは、逐次内部依存性を含み、前記入力ビデオデータの中間表現を生成するために、パーシング動作を前記符合化ビデオビットストリームに実行するように構成される、少なくとも１つのパーシングユニットであって、前記逐次内部依存性の少なくともサブセットは、前記中間表現で解決され、バッファに記憶するための前記入力ビデオデータの前記中間表現を出力するように構成される、前記少なくとも１つのパーシングユニットと、前記バッファから前記中間表現の複数の入力ストリームを並列に検索し、そして、復号化出力ビデオデータを生成するために、復号化動作を前記複数の入力ストリームに並列に実行するように構成される、再構成ユニットとを備える、ビデオ復号化装置を提供する。
【００１０】
故に、その副構成要素を基本的に２つのセクションに分類することができる、ビデオ復号化装置が提供される。第１のセクションは、入力ビデオデータを受け取るように構成される、少なくとも１つのパーシングユニットを備える。少なくとも１つのパーシングユニットは、符合化ビデオビットストリームの中に存在する逐次内部依存性の少なくともサブセットが解決される、入力ビデオデータの中間表現を生成する。この第１のセクションの結果は、次いで、中間バッファに記憶することによって、第２のセクション、すなわち再構成ユニットが利用できるようになる。再構成ユニットは、中間表現の複数の入力ストリームを並列に検索し、復号化動作をその複数の入力ストリームに並列に実行するように構成され、したがって、復号化出力ビデオデータを生成する。
【００１１】
したがって、再構成ユニットは、逐次内部依存性の少なくともサブセットを解決した、中間表現で記憶されたビデオデータに、その復号化動作を実行するように構成されるので、復号化動作の少なくとも一部の並列化を導入することを可能にする。さらに、バッファに中間表現を記憶することにより、再構成ユニットから少なくとも１つのパーシングユニットの動作を切り離すことによって、各ユニットが動作する速度は、他のものに対する依存が少なくなる。例えば、パーシング速度は、入力ビットストリーム速度に適合させることができ、再構成（レンダリング）速度は、画像サイズおよび周波数に依存して適合させることができる。
【００１２】
一実施形態において、前記入力ビデオデータは、スケーラブルビデオストリームの複数のレイヤを備え、前記複数の入力ストリームの各ストリームは、前記複数のレイヤのうちの１つのレイヤを表す。故に、入力ビデオデータがスケーラブルビデオストリームである時、再構成ユニットは、バッファの中の各レイヤの中間表現にアクセスすることによって、スケーラブルビデオストリームのレイヤを並列に復号化するように構成することができる。スケーラブルビデオストリームのレイヤを並列に復号化するように再構成ユニットを配設することは、システム性能およびハードウェア再利用の利点の双方に関して有利である可能性がある。例えば、システム性能に関して、レイヤを並列に復号化することは、再構成ユニットが、次のマクロブロックに移動する前に、各マクロブロック（所与の画像内に１６×１６のタイル）の全てのレイヤを処理できることを意味する。これは、データの局所性を改善し、かつメモリアクセス帯域幅を低減する。一方で、ハードウェア再利用に関しては、再構成ユニットで実行される複合化の並列化は、一部のハードウェアユニットを複製（例えば、逆量子化）することだけしか必要としない一方で、他のレイヤ（例えば、動き補償）は１度提供されることだけしか必要としないことを意味する。これは、再構成ユニットの面積および電力消費を低減する。さらに、関連するレイヤのシーケンスの変換係数は、中間フォーマットの相対項で定義することができるので（例えば、ベースレイヤの絶対値、以前のレイヤに対する差として符号化される、以降の拡張レイヤのそれぞれの差を伴う）、これらは、より効率的に（例えば、圧縮形態で）再構成ユニット内部に記憶および蓄積することができ、各レイヤの係数を順々に蓄積することと比較して、メモリ帯域幅を低減する。さらに、複数のレイヤの変換係数が、典型的に、相互にかなり大きい程度の相関を有することを考慮すると、相対差は、概して、小さい値であり、各レイヤごとの全絶対値よりも効率的に圧縮する。
【００１３】
一実施形態において、前記複数のレイヤは、互いに対して同じ解像度および様々な品質を有する一組の画像表現を表す。各画像内のマクロブロックの細区分が各レイヤ間で直接的にマッピングするので、同じ解像度を有する品質レイヤは、再構成ユニットにおける並列復号化に特に適している。
【００１４】
一実施形態において、前記複数のレイヤは、非依存符号化ベースレイヤと、依存符号化拡張レイヤとを備え、前記依存符合化拡張レイヤは、前記非依存符合化ベースレイヤを参照して符合化される。これらの２つのレイヤ間の依存性は、これらのレイヤが並列に復号化された場合にメモリアクセス帯域幅が低減されることを意味するので、依存符合化拡張レイヤと非依存符合化ベースレイヤとの間の依存性はこれらのレイヤが中間表現に書き込まれると、これらのレイヤが相互に並列に復号化される傾向があることを意味する。例えば、（中間表現フォーマットの）変換係数は、再構成ユニット内部に（例えば、圧縮および／または量子化された形態で）記憶および蓄積することができ、これは、各レイヤの係数を順々に蓄積することと比較して、メモリ帯域幅を低減することを意味する。
【００１５】
本発明は、単一の依存符合化拡張レイヤだけに限定されず、一実施形態において、前記複数のレイヤは、少なくとも１つのさらなる依存符合化拡張レイヤを備え、前記少なくとも１つのさらなる依存符合化拡張レイヤは、先行する依存符合化拡張レイヤを参照して符合化されることを理解されたい。
【００１６】
一実施形態において、前記再構成ユニットは、前記入力ビデオデータの前記複数のレイヤが前記複数の入力ストリームよりも多い場合に、前記復号化動作の２回以上の反復を実行して、前記複数のレイヤを複合化するように構成される。したがって、再構成ユニットは、特定の数の入力ストリームで読み込むことができるように配設されてもよいが、これは、再構成ユニットが、対応する数のレイヤに限定されたスケーラブルビデオストリームを復号化することだけしかできないことを意味しない。代わりに、再構成ユニットは、最初の反復で一組の入力ストリームを読み込み、それらのレイヤを相互に並列に複合化し、その後、１つまたは複数のさらなる反復でさらなるレイヤを読み込む（それぞれが、並列複合化を含んでもよい）ように構成することができる。
【００１７】
符合化ビデオストリームの逐次内部依存性は、多数の形態を取る場合があるが、一実施形態において、前記符合化ビデオビットストリームの前記逐次内部依存性は、少なくとも１つのエントロピ復号化依存性を含む。代替として、または加えて、一実施形態において、前記符合化ビデオビットストリームの逐次内部依存性は、少なくとも１つの動きベクトル依存性を含む。
【００１８】
一実施形態において、前記符合化ビデオビットストリームは、マクロブロックのシーケンスとして前記入力ビデオデータを表し、前記再構成ユニットは、復号化マクロブロックのシーケンスとして前記復号化出力ビデオデータを生成するように構成される。マクロブロックに関してビデオデータを処理することは、再構成ユニットの入力ストリームを並列に復号化する状況において特に有益であるが、その理由は、これによって、再構築ユニットの並列復号化要素が、それらの復号化活動を相互に（例えば、スケーラブルビデオの例において、それぞれが、異なるレイヤを処理する状態で）より容易に整合することが可能になり、したがって、データの局所性およびメモリ帯域幅の低減といった前述の利益を導出することが可能になるからである。
【００１９】
中間表現は多数の形態を取ってもよいが、一実施形態において、前記中間表現は、前記シーケンスの中の各マクロブロックに対する少なくとも１つのマクロブロックタイプを含む。一実施形態において、前記中間表現は、前記シーケンスの中の少なくとも１つのマクロブロックの動きベクトルを含む。全てのマクロブロックが動きベクトルを含むというわけではないが（例えば、非依存符合化画像はそれを含まない）、依存符合化マクロブロック（例えば、Ｐ型およびＢ型マクロブロック）は動きベクトルを有する。パーシング段階でこの動きベクトルを識別することは、そのようなマクロブロックを再構成段階でより迅速に復号化することを可能にする。一実施形態において、前記中間表現は、前記シーケンスの中の少なくとも１つのマクロブロックに対する一組の変換係数を含む。中間フォーマットの中に一組の変換係数が存在することは、最初にそれらを導出することを必要とせずに、再構成段階が、これらの値を即時に利用できることを意味する。
【００２０】
中間表現が、シーケンスの中にマクロブロックの一組の変換係数を含む時、少なくとも１つのパーシングユニットは、前記シーケンスの中の前記少なくとも１つのマクロブロックの前記一組の変換係数を圧縮フォーマットで出力するように構成されてもよい。変換係数は、圧縮に特に適しており、したがって、中間表現のこの部分を圧縮形態で記憶することによって、メモリ帯域幅が節約される場合があることが分かっている。特定の圧縮フォーマットは、多数の形態を取ってもよいが、一実施形態において、前記圧縮フォーマットは、一組の符号付き指数ゴロム符号を含むことが認識されるであろう。復号化動作について、各マクロブロックの一組の変換係数は、しばしば、多数のゼロ値を含み、符号付き指数ゴロム符号は、多数のゼロ値を含む一組の係数を圧縮するための特に有効な機構を提供することが分かっている。しかしながら、符号付き指数ゴロム符号の使用は、必須ではなく、あらゆる他の適切な符号化を使用することができる可能性があり、例えば、より一般的なハフマンまたは算術符号化技術を使用することができる可能性がある。
【００２１】
一実施形態において、前記ビデオ復号化装置は、少なくとも２つのパーシングユニットを備え、前記少なくとも２つのパーシングユニットは、前記パーシング動作を少なくとも部分的に並列化するように構成される。故に、いくつかの実施形態では単一のパーシングユニットだけが提供される一方で、他の実施形態は、１つを超えるパーシングユニットが提供されてもよい。具体的には、その次に可能なパーシング動作の少なくとも部分的な並列化は、ビデオ復号化装置のより効率的な構成を可能にすることができる。例えば、いくつのパーシングユニットを提供するかという選択は、入力ビデオデータをパーシングすることができる速度に影響する可能性がある。再構成ユニットの構成、および特に、再構成ユニットが復号化ビデオをレンダリングすることができる速度に応じて、ビデオ復号器がパーシングできる速度を高めて、最終的にはビデオ復号装置全体の処理量を増大するために、２つ（またはそれ以上）のパーシングユニットを提供することが有利になる場合がある。
【００２２】
入力ビデオデータは、多数の方法で、複数のパーシングユニット間で分配されてもよいが、一実施形態において、前記少なくとも２つのパーシングユニットは、それぞれ、前記パーシング動作を前記スケーラブルビデオストリームの所与のレイヤ上で実行するように構成される。入力ビデオデータが複数のレイヤを有するスケーラブルビデオストリームである時には、少なくとも２つのパーシングユニットの間で入力ビデオデータの細区分を構成することによって、特に有効なパーシング動作をレイヤベースで行うことを可能にする場合がある。具体的には、これは、中間表現のバッファへの書き込みを特に有効に実行することを可能にする場合がある。さらなるそのような変形例では、一実施形態において、前記少なくとも２つのパーシングユニットは、それぞれ、前記スケーラブルビデオストリームの所与のレイヤの中で、前記パーシング動作をスライスベースで実行するように構成される。
【００２３】
一実施形態において、前記再構成ユニットは、前記複数の入力ストリームの各入力ストリームのための逆量子化ユニットを備える。符合化ビデオデータの逆量子化は、一般的に、ビデオデータの各個々のストリームに固有であり、したがって、再構成ユニットの復号化動作の並列化は、各入力ストリームのための逆量子化ユニットの提供によってサポートされる。
【００２４】
各入力ストリームに対して、いくつかの構成要素を個々に提供することが必要になる場合があるが、いくつかの実施形態において、前記再構成ユニットは、少なくとも１つの共有復号化構成要素を備え、前記共有復号化構成要素は、前記複数の入力ストリームの全ての前記復号化動作に使用される。したがって、複数のストリーム間で共有することができる復号化構成要素（動き補償また再サンプリング等）を繰り返す必要はなく、したがって、面積および電力を節約する。
【００２５】
一実施形態において、前記再構成ユニットは、少なくとも２つの非ブロック化ユニットを備える。２つ以上の非ブロック化ユニットの提供は、例えば、２つ以上の一時的な依存性が所与の組の品質レイヤに対して符合化される場合に、再構成ユニットの並列化に関して有利である場合がある。２つ以上の非ブロック化ユニットを提供することは、そのような複数の一時的な依存性が存在する場合であっても、再構成ユニットが並列復号化を維持することを可能にする。
【００２６】
再構成ユニットは、種々の数の入力ストリームを受け取るように構成される可能性があるが、一実施形態において、前記複数の入力ストリームは、少なくとも３つの入力ストリームを備えることを理解されるであろう。入力ストリームが別途直列的に複合化されてもよい場合、入力ストリームの並列復号化は、性能強化を示し、この性能強化は、再構成ユニットが少なくとも３つの入力ストリームを復号化するように構成される時に特に顕著である。
【００２７】
一実施形態において、前記少なくとも１つのパーシングユニットは、複数のバッファに記憶するための前記入力ビデオデータの前記中間表現を出力するように構成され、前記再構成ユニットは、前記複数のバッファのそれぞれのバッファから前記複数の入力ストリームのそれぞれを検索するように構成される。複数の入力ストリームのそれぞれに対応するバッファを提供することは、パーシングユニットによる中間表現の書き込みおよび再構成ユニットによる中間表現の検索が効率的に実行され得ることを意味する。
【００２８】
第２の態様から概観すると、本発明は、符合化ビデオビットストリームとして入力ビデオデータを受け取るステップであって、前記符合化ビデオビットストリームは、逐次内部依存性を含む、ステップと、前記入力ビデオデータの中間表現を生成するように、パーシング動作を前記符合化ビデオビットストリームに実行するステップであって、前記逐次内部依存性の少なくともサブセットは、前記中間表現で解決される、ステップと、バッファに記憶するための前記入力ビデオデータの前記中間表現を出力するステップと、前記バッファから前記中間表現の複数の入力ストリームを並列に検索し、かつ復号化出力ビデオデータを生成するために、復号化動作を前記複数の入力ストリームに並列に実行するステップとを含む、ビデオを復号化する方法を提供する。
【００２９】
第３の態様から概観すると、本発明は、符号化ビデオビットストリームとして入力ビデオデータを受け取るための、少なくとも１つのパーシング手段であって、前記符合化ビデオビットストリームは、逐次内部依存性を含み、前記入力ビデオデータの中間表現を生成するように、パーシング動作を前記符号化ビデオビットストリームに実行するための、少なくとも１つのパーシング手段であって、少なくとも前記逐次内部依存性のサブセットは、前記中間表現で解決され、バッファに記憶するための前記入力ビデオデータの前記中間表現を出力するための、少なくとも１つのパーシング手段と、前記バッファから前記中間表現の複数の入力ストリームを並列に検索し、かつ復号化出力ビデオデータを生成するように、復号化動作を前記複数の入力ストリームに並列に実行するための、再構成手段とを備える、ビデオ復号化装置を提供する。
【００３０】
以下、ほんの一例として、添付図面に示されているその実施形態を参照して、本発明をさらに説明する。
【図面の簡単な説明】
【００３１】
【図１】既知のスケーラブルビデオストリーム構造を概略的に示す図である。
【図２Ａ】スケーラブルビデオストリームの中の既知の一組の空間レイヤを概略的に示す図である。
【図２Ｂ】スケーラブルビデオストリームの中の既知の一組の品質レイヤを概略的に示す図である。
【図３】一実施形態における、スケーラブルビデオストリームの並列再構成のための手法を概略的に示す図である。
【図４】一実施形態における、１つを超えるパーシングユニットを有するビデオ復号化装置を概略的に示す図である。
【図５Ａ】一実施形態における、メモリの中の一組の中間フォーマットバッファを概略的に示す図である。
【図５Ｂ】図５Ａの中間フォーマットバッファのうちの１つをより詳細に概略的に示す図である。
【図６】一実施形態における、ビデオ復号化装置およびその内部データフローを概略的に示す図である。
【図７】一実施形態における、ビデオ復号化装置の中の再構成ユニットのいくつかの副構成要素を概略的に示す図である。
【図８】一実施形態における、ビデオ復号化装置で行われる一連のステップを概略的に示す図である。
【発明を実施するための形態】
【００３２】
図３は、スケーラブルビデオストリームの中の一組のレイヤを概略的に示す。左から右に概観すると、一組のレイヤは、解像度（各々四角形のサイズで表される）および画質（Ｐ、Ｍ、およびＧの文字、すなわち、低、中、高で示される）の双方が向上している。以下にさらに詳細に論じるように、本発明の実施形態は、各解像度レベルで３つの品質レイヤ（低、中、および高）を並列に再構成することによって、図３に示される構造を有する入力ビデオデータの複合化を並列化する。
【００３３】
図４は、一実施形態における画像復号装置を概略的に示す。ビデオ復号化装置１０は、入力バッファ２０に一時的にバッファリングされる、符合化ビデオビットストリームを受け取る。次いで、ビデオ復号化装置によって実行されるデータ処理は、第１のパーシング段階および以降の再構成段階の２つの段階で実行される。図４に示される実施形態において、パーシング段階は、パーシングユニット３０および４０によって実行される一方で、再構成は、再構成パイプライン５０内で実行される。図４で、示されているユニットを接続している矢印は、示されるユニット間のデータフローを概念的レベルで示すことを意図しており、デバイスの物理的構成を厳密に表すものとして解釈するべきではない。パーシングユニット３０、４０は、入力バッファ２０から符合化ビデオビットストリームを検索し、受け取った符号化ビデオビットストリームの中間表現を生成するために、パーシング動作を前記符合化ビデオビットストリームに実行する。この中間表現は、バッファに記憶され、そこから、再構成パイプライン５０に対する複数の入力ストリームとして検索され、前記パイプラインは、装置の復号化出力ビデオデータを生成するように、複合化動作を実行する。したがって、パーサ３０、４０から再構成パイプライン５０につながる矢印は、直接的なデータ経路として解釈するべきではないことを理解されるであろう。パーシングユニット３０、４０の構成は、これらのパーシングユニットが相互に並列に動作するように構成されるが、さらに、一方では、パーシングユニット４０の動作がパーサ３０によって実行されたパーシング動作の結果に依存する場合があり、他方では、パーシングユニット３０の動作がパーサ４０によって実行されたパーシング動作の結果に依存する場合があることを示す。実際、図４には示されていないが、パーサ３０および４０の一方または両方（逆の場合も同じ）の出力に依存するさらなるパーシングユニットのパーシング動作が見込まれる、さらなるパーシングユニットを提供することも可能である。この２つの示されるパーシングユニットの動作間の依存性は、例えば、符合化ビデオビットストリームが複数のレイヤを備えるスケーラブルビデオストリームであることに起因する場合がある。この状態において、パーサ３０は、そのパーシング動作をそれらの複数のレイヤのベースレイヤに実行するように構成されてもよい一方で、パーサ４０は、そのパーシング動作を依存符号化拡張レイヤに実行するように構成され、依存符号化拡張レイヤのパーシングは、非依存符合化符号化ベースレイヤに実行されているパーシング動作からのなんらかの入力（例えば、そのＭＢＩｎｆｏ部分の識別、下記参照）を必要とする。さらに、スケーラブルビデオストリームが３つ以上のレイヤを備える場合、パーサ３０は、そのパーシング動作をさらに依存符合化拡張レイヤに実行するようにさらに構成されてもよく、この依存符合化拡張レイヤのパーシングは、（パーサ４０によって）以前の依存符合化ベースレイヤに実行されたパーシング動作からのなんらかの入力を必要とする。この依存性の反復シーケンスは、スケーラブルビデオストリームの中に存在するものと同じ数のレイヤに拡張することができる。
【００３４】
さらに、この実施例において、パーサ３０は、ベースレイヤ（およびそれが処理する任意のさらなる拡張レイヤ）に関連する入力ビデオデータの中間表現を出力するように構成される一方で、パーサ４０は、拡張レイヤ（およびそれが処理する任意のさらなる拡張レイヤ）に関連する入力ビデオデータの中間表現を生成するように構成される。次いで、再構成パイプライン５０は、以下にさらに詳細に論じるように、少なくとも２つのレイヤの中間表現を並列に検索し、その復号化動作をこれらの並列入力ストリームに実行するように構成される。
【００３５】
図５Ａは、メモリのバッファの配設を概略的に示し、その中には、１つまた複数のパーシングユニットが入力ビデオデータの中間表現を書き込み、そこからは、再構成ユニットが、復号化動作を実行するために、その中間表現の中の複数の入力ストリームを並列に検索する。図５Ａに示される実施例において、メモリ６０は、３つの個々のバッファ７０、８０、および９０を備え、各バッファは、受け取ったスケーラブルビデオストリームの１つのレイヤに関連する入力ビデオデータの中間表現を一時的に記憶するように構成される。示されるように、バッファ７０は、レイヤ０のための中間フォーマットバッファであり、バッファ８０は、レイヤ１のための中間フォーマットバッファであり、バッファ９０は、レイヤ２のための中間フォーマットバッファである。例えば、レイヤ０は、非依存符合化ベースレイヤを表すことができる可能性がある一方で、レイヤ１および２は、依存符合化拡張レイヤを表すことができる可能性がある。
【００３６】
図５Ｂは、図５Ａの中間フォーマットバッファ７０、８０、および９０のうちの１つのコンテンツ例をより詳細に概略的に示す。見て分かるように、この実施例において、各バッファは、ＭＢＩｎｆｏバッファおよび残差バッファという２つのバッファを備える。ＭＢＩｎｆｏバッファには、このレイヤを処理するパーシングユニットが、マクロブロックヘッダ（特に、マクロブロックタイプを示す）と、動きベクトルとを含む、データのストリームを書き込む。このＭＢＩｎｆｏは、このレイヤに依存するレイヤをパーシングする、パーシングユニットによって使用される。例えば、パーサ３０（図４）が図５Ｂに示されるレイヤＬ中間フォーマットデータを生成する場合、パーサ４０は、ＭＢＩｎｆｏ関連の依存性を解決するために、レイヤＬ＋１をパーシングする時にこのバッファを参照する。
【００３７】
残差バッファには、このレイヤを処理するパーシングユニットが、このレイヤの変換係数（それによってデータサイズ低減が達成されるため、指数ゴロム符号化フォーマットである）を含む、データのストリームを書き込む。所与の中間フォーマットバッファからのＭＢＩｎｆｏデータおよび残差データはどちらも、再構成ユニットの「入力ストリーム」の一部として読み込まれることに留意されたい。換言すれば、再構成ユニットは、少なくとも２つの中間フォーマットバッファから入力ストリームを読み込み、各ストリームは、ＭＢＩｎｆｏデータと、残差データとの両方を含む。
【００３８】
図６は、一実施形態におけるビデオ復号化装置のデータフローを概略的に示す。入力ビデオデータ１１０は、パーシングユニット１３０、１４０によって検索される前に、メモリ１２０に一時的にバッファリングされる。パーシングユニットは、パーシング動作を入力ビデオデータに実行し、それによって生成された中間表現は、メモリの中の対応する中間表現（中間フォーマット）バッファに書き込まれる。各パーサは、それ自体の現在のパーシング動作のために必要に応じて、バッファの中の以前にパーシングされた情報にアクセスすることもできる。示される実施例において、ビデオ復号化装置は、３つの品質レイヤ（０、１、２）を備えるスケーラブルビデオストリームを復号化するように構成され、各レイヤのビデオデータは、中間表現でその対応するバッファ１５０、１６０、または１７０に書き込まれる。再構成パイプライン１８０は、中間表現データの３つの入力ストリームを検索するために、中間フォーマットバッファに並列にアクセスし、メモリ１２０に書き込まれる復号化出力ビデオデータ１９０を生成するために、復号化動作をこれらの３つの入力ストリームに並列に実行するように構成される。
【００３９】
図７は、一実施形態における再構成ユニットの構成を概略的に示す。再構成ユニット２００は、復号化動作をビデオデータのそれら３つの入力ストリームに並列に実行するために、メモリのバッファから、前述の中間表現のビデオデータの３つの入力ストリームを検索するように構成される。例えば、示されるように、再構成ユニットは、所与の画像の３つの品質レイヤに対応するレイヤＬ３、Ｌ４、およびＬ５の中間表現データを検索することができる。復号化動作をこれらの３つのレイヤの中間表現に実行するために、再構成ユニットはまた、同じ画像のより低い解像度に対応する入力ビデオデータの先行する３つの品質レイヤも参照する。加えて、再構成ユニット２００も、以前の画像から復号化ビデオデータを参照する。これらの種々のレイヤは、図７の上部の時間時間Ｔ＝０およびＴ＝１に対応する複数組のレイヤによって概略的に示される。
【００４０】
したがって、再構成ユニット２００への入力は、複合化されているレイヤ（Ｌ３、Ｌ４、およびＬ５）の中間表現の３つの入力ストリームと、Ｔ＝０からの以前に複合化した（再構成した）出力ビデオデータと、この画像の一組のより低い解像度のレイヤ（すなわち、Ｌ２）の最後の（すなわち、最高品質の）レイヤからの以前に複合化した（再構成した）ビデオデータとを含む。Ｔ＝０からの再構成されたビデオデータは、動き補償ユニット２０５の入力を形成する一方で、Ｌ２レイヤからの再構成されたビデオデータは、空間再サンプリングユニット２１０への入力を形成する。空間再サンプリングユニットは、より小さい画像（一般的に、より小さい画像サイズで最高品質の画像）を取得し、それを、アップサンプリングフィルタを使用して、現在の（より大きい）画像サイズに一致するバージョンに変換するように構成される。中間表現（Ｌ３、Ｌ４、およびＬ５）の入力ストリームのそれぞれは、対応する逆量子化ユニット２１５、２２０、２２５に入力される。逆量子化ユニット２１５、２２０、２２５によって実行される逆量子化プロセス間の可能な依存性を考慮して、これらのユニットは、相互からオフセットしているように概略的に示されており、ユニット２１５の逆量子化の結果を逆量子化ユニット２２０に供給できること、および同様に、逆量子化ユニット２２０の出力を逆量子化ユニット２２５の入力に供給できることを意味している。
【００４１】
３つの逆量子化ユニットの結果は、逆変換ユニット２３０に組み合わせられる。動き補償２０５、空間再サンプリング２１０、および逆変換２３０の結果は、ユニット２３５を組み合わせることによって１つにまとめられる。最後に、非ブロック化が、出力復号化ビデオデータを生成するように、デブロッカ２４０によって実行される。再構成ユニット２００の構成要素の説明は、図の概略的な性質に限定され、再構成プロセスの詳細な説明は、明確にするためにここでは詳しくは述べられないことが理解されるであろう。当業者は、記載されている比較的に高レベルのステップの詳細な実装に精通しているであろう。再構成ユニット２００は、任意選択的に、再構成ユニットが、２つ以上の一時的な依存性（すなわちＴ＝０とＴ＝１の間）を処理することを可能にするように、さらなる非ブロック化ユニット２５０を備えてもよい。
【００４２】
一実施形態によるビデオ復号化装置で行われるステップの概要を、図８に概略的に示す。ステップ３００で、ビデオ復号化装置は、符合化ビデオビットストリームを受け取り、バッファリングする。次いで、ステップ３１０で、ビデオ復号化装置は、符合化ビデオビットストリームをパーシングし、その中のエントロピおよび動きベクトル依存性を解決し、パーシングしたレイヤを対応するメモリのバッファに書き込む。ステップ３２０で再構成を開始し、ここで、再構成ユニットは、バッファから複数のレイヤを並列に検索し、逆量子化プロセスを各レイヤに実行し、次いで、ステップ３３０で、検索したレイヤのそれぞれについて残りの再構成を同時に実行する。ステップ３４０で、この画像の再構成されるさらなるレイヤがあるかどうかを判定する。ある場合、フローは、ステップ３２０に戻り、任意のさらなるレイヤを復号化する。この画像のさらなるレイヤがない場合、フローは、ステップ３５０に進み、この画像の復号化ビデオデータを出力する。ステップ３６０で、ビデオビットストリームの中に復号化すべきさらなる画像があるかどうかを判定し、ある場合、フローは、ステップ３１０に戻る。ない場合、フローは、ステップ３７０で終了する。
【００４３】
したがって、本技術によれば、符合化ビデオビットストリームを復号化する時に、最初にパーシングプロセスを符号化ビットストリームに実行することによって、再構成プロセスの並列化を可能にし、これは、逐次内部依存性の少なくとも一部を除去する。パーシングプロセスの結果は、一時的にバッファリングすることができる中間表現（フォーマット）である。再構成プロセスの並列化が行われるが、そこで、再構成ユニットは、バッファから中間表現の１つを超える入力ストリームを検索し、それらの複数の入力ストリームを並列に復号化するように構成される。
【００４４】
ビデオ復号化装置および方法を開示する。ビデオ復号化装置は、逐次内部依存性を含む符合化ビデオビットストリームとして、入力ビデオデータを受け取るように構成される、少なくとも１つのパーシングユニットを備える。少なくとも１つのパーシングユニットは、逐次内部依存性の少なくともサブセットが解決される、入力ビデオデータの中間表現を生成するために、パーシング動作を符号化ビデオビットストリームに実行するように構成される。入力ビデオデータの中間表現は、バッファに記憶することができる。ビデオ復号化装置は、中間表現の複数の入力ストリームを並列に検索し、復号化出力ビデオデータを生成するために、復号化動作を複数の入力ストリームに並列に実行するように構成される、再構成ユニットをさらに備える。
【００４５】
特定の実施形態を本明細書で説明してきたが、本発明は、それに限定されるものではなく、その実施形態への多くの変更および追加が本発明の範囲内で行われる場合があることが理解されるであろう。例えば、本発明の範囲を逸脱しない範囲で、以下の従属請求項の特徴の、独立請求項の特徴との種々の組み合わせを行うことができる可能性がある。
【符号の説明】
【００４６】
１１０ 入力ビデオデータ
１２０ メモリ
１３０、１４０ パーシングユニット
１５０ レイヤ０中間フォーマットバッファ
１６０ レイヤ１中間フォーマットバッファ
１７０ レイヤ２中間フォーマットバッファ
１８０ 再構成パイプライン
１９０ 復号化出力ビデオデータ
【特許請求の範囲】
【請求項１】
ビデオ復号化装置であって、
符号化ビデオビットストリームとして入力ビデオデータを受け取るように構成される、少なくとも１つのパーシングユニットであって、前記符合化ビデオビットストリームは、逐次内部依存性を含み、
前記入力ビデオデータの中間表現を生成するために、パーシング動作を前記符号化ビデオビットストリームに実行するように構成される、少なくとも１つのパーシングユニットであって、前記逐次内部依存性の少なくともサブセットは、前記中間表現で解決され、
バッファに記憶するための前記入力ビデオデータの前記中間表現を出力するように構成される、少なくとも１つのパーシングユニットと、
前記バッファから前記中間表現の複数の入力ストリームを並列に検索し、復号化出力ビデオデータを生成するために、復号化動作を前記複数の入力ストリームに並列に実行するように構成される、再構成ユニットと、
を備え、前記入力ビデオデータは、スケーラブルビデオストリームの複数のレイヤを備え、前記複数の入力ストリームの各ストリームは、前記複数のレイヤのうちの１つのレイヤを表す、
ビデオ復号化装置。
【請求項２】
前記複数のレイヤは、互いに同じ解像度および様々な品質を有する一組の画像表現を表す、請求項１に記載のビデオ復号化装置。
【請求項３】
前記複数のレイヤは、非依存符号化ベースレイヤと、依存符号化拡張レイヤとを備え、前記依存符合化拡張レイヤは、前記非依存符合化ベースレイヤを参照して符合化される、請求項１または請求項２に記載のビデオ復号化装置。
【請求項４】
前記複数のレイヤは、少なくとも１つのさらなる依存符合化拡張レイヤを備え、前記少なくとも１つのさらなる依存符合化拡張レイヤは、先行する依存符合化拡張レイヤを参照して符合化される、請求項３に記載のビデオ復号化装置。
【請求項５】
前記再構成ユニットは、前記入力ビデオデータの前記複数のレイヤが前記複数の入力ストリームよりも多い場合に、前記復号化動作の１回を超える反復を実行して、前記複数のレイヤを複合化するように構成される、前記いずれかの請求項に記載のビデオ復号化装置。
【請求項６】
前記符合化ビデオビットストリームの前記逐次内部依存性は、少なくとも１つのエントロピ復号化依存性を含む、前記いずれかの請求項に記載のビデオ復号化装置。
【請求項７】
前記符合化ビデオビットストリームの前記逐次内部依存性は、少なくとも１つの動きベクトル依存性を含む、前記いずれかの請求項に記載のビデオ復号化装置。
【請求項８】
前記符合化ビデオビットストリームは、マクロブロックのシーケンスとして前記入力ビデオデータを表し、前記再構成ユニットは、復号化マクロブロックのシーケンスとして前記復号化出力ビデオデータを生成するように構成される、前記いずれかの請求項に記載のビデオ復号化装置。
【請求項９】
前記中間表現は、前記シーケンスの中の各マクロブロックの少なくともマクロブロックタイプを含む、請求項８に記載のビデオ復号化装置。
【請求項１０】
前記中間表現は、前記シーケンスの中の少なくとも１つマクロブロックの動きベクトルを含む、請求項８に記載のビデオ復号化装置。
【請求項１１】
前記中間表現は、前記シーケンスの中の少なくとも１つのマクロブロックの一組の変換係数を含む、請求項８に記載のビデオ復号化装置。
【請求項１２】
前記少なくとも１つのパーシングユニットは、前記シーケンスの中の前記少なくとも１つのマクロブロックに対する前記一組の変換係数を圧縮フォーマットで出力するように構成される、請求項１１に記載のビデオ復号化装置。
【請求項１３】
前記圧縮フォーマットは、一組の符号付き指数ゴロム符号を含む、請求項１２に記載のビデオ復号化装置。
【請求項１４】
前記ビデオ復号化装置は、少なくとも２つのパーシングユニットを備え、前記少なくとも２つのパーシングユニットは、前記パーシング動作を少なくとも部分的に並列化するように構成される、前記いずれかの請求項に記載のビデオ復号化装置。
【請求項１５】
前記少なくとも２つのパーシングユニットは、それぞれ、前記パーシング動作を前記スケーラブルビデオストリームの所与のレイヤに実行するように構成される、請求項１４に記載のビデオ復号化装置。
【請求項１６】
前記少なくとも２つのパーシングユニットは、それぞれ、前記スケーラブルビデオストリームの所与のレイヤの中で、前記パーシング動作をスライスベースで実行するように構成される、請求項１４に記載のビデオ復号化装置。
【請求項１７】
前記再構成ユニットは、前記複数の入力ストリームの各入力ストリームのための逆量子化ユニットを備える、前記いずれかの請求項に記載のビデオ復号化装置。
【請求項１８】
前記再構成ユニットは、少なくとも１つの共有復号化構成要素を備え、前記共有復号化構成要素は、前記複数の入力ストリームの全ての前記復号化動作に使用される、前記いずれかの請求項に記載のビデオ復号化装置。
【請求項１９】
前記再構成ユニットは、少なくとも２つの非ブロック化ユニットを備える、前記いずれかの請求項に記載のビデオ復号化装置。
【請求項２０】
前記複数の入力ストリームは、少なくとも３つの入力ストリームを備える、前記いずれかの請求項に記載のビデオ復号化装置。
【請求項２１】
前記少なくとも１つのパーシングユニットは、複数のバッファに記憶するための前記入力ビデオデータの前記中間表現を出力するように構成され、
前記再構成ユニットは、前記複数のバッファのそれぞれのバッファから前記複数の入力ストリームのそれぞれを検索するように構成される、前記いずれかの請求項に記載のビデオ復号化装置。
【請求項２２】
ビデオを復号化する方法であって、
符合化ビデオビットストリームとして入力ビデオデータを受け取るステップであって、前記符合化ビデオビットストリームは、逐次内部依存性を含む、ステップと、
前記入力ビデオデータの中間表現を生成するように、パーシング動作を前記符合化ビデオビットストリームに実行するステップであって、前記逐次内部依存性の少なくとも１つのサブセットは、前記中間表現で解決される、ステップと、
バッファに記憶するための前記入力ビデオデータの前記中間表現を出力するステップと、
前記バッファから前記中間表現の複数の入力ストリームを並列に検索し、そして、復号化出力ビデオデータを生成するために、復号化動作を前記複数の入力ストリームに並列に実行するステップと、
を含み、前記入力ビデオデータは、スケーラブルビデオストリームの複数のレイヤを備え、前記複数の入力ストリームの各ストリームは、前記複数のレイヤのうちの１つのレイヤを表す、
方法。
【請求項２３】
ビデオ復号化装置であって、
符号化ビデオビットストリームとして入力ビデオデータを受け取るための、少なくとも１つのパーシング手段であって、前記符合化ビデオビットストリームは、逐次内部依存性を含み、
前記入力ビデオデータの中間表現を生成するように、パーシング動作を前記符号化ビデオビットストリームに実行するための、少なくとも１つのパーシング手段であって、少なくとも前記逐次内部依存性のサブセットは、前記中間表現で解決され、
バッファに記憶するための前記入力ビデオデータの前記中間表現を出力するための、少なくとも１つのパーシング手段と、
前記バッファから前記中間表現の複数の入力ストリームを並列に検索し、そして、復号化出力ビデオデータを生成するように、復号化動作を前記複数の入力ストリームに並列に実行するための、再構成手段と、
を備え、前記入力ビデオデータは、スケーラブルビデオストリームの複数のレイヤを備え、前記複数の入力ストリームの各ストリームは、前記複数のレイヤのうちの１つのレイヤを表す、
ビデオ復号化装置。
【請求項１】
ビデオ復号化装置であって、
符号化ビデオビットストリームとして入力ビデオデータを受け取るように構成される、少なくとも１つのパーシングユニットであって、前記符合化ビデオビットストリームは、逐次内部依存性を含み、
前記入力ビデオデータの中間表現を生成するために、パーシング動作を前記符号化ビデオビットストリームに実行するように構成される、少なくとも１つのパーシングユニットであって、前記逐次内部依存性の少なくともサブセットは、前記中間表現で解決され、
バッファに記憶するための前記入力ビデオデータの前記中間表現を出力するように構成される、少なくとも１つのパーシングユニットと、
前記バッファから前記中間表現の複数の入力ストリームを並列に検索し、復号化出力ビデオデータを生成するために、復号化動作を前記複数の入力ストリームに並列に実行するように構成される、再構成ユニットと、
を備え、前記入力ビデオデータは、スケーラブルビデオストリームの複数のレイヤを備え、前記複数の入力ストリームの各ストリームは、前記複数のレイヤのうちの１つのレイヤを表す、
ビデオ復号化装置。
【請求項２】
前記複数のレイヤは、互いに同じ解像度および様々な品質を有する一組の画像表現を表す、請求項１に記載のビデオ復号化装置。
【請求項３】
前記複数のレイヤは、非依存符号化ベースレイヤと、依存符号化拡張レイヤとを備え、前記依存符合化拡張レイヤは、前記非依存符合化ベースレイヤを参照して符合化される、請求項１または請求項２に記載のビデオ復号化装置。
【請求項４】
前記複数のレイヤは、少なくとも１つのさらなる依存符合化拡張レイヤを備え、前記少なくとも１つのさらなる依存符合化拡張レイヤは、先行する依存符合化拡張レイヤを参照して符合化される、請求項３に記載のビデオ復号化装置。
【請求項５】
前記再構成ユニットは、前記入力ビデオデータの前記複数のレイヤが前記複数の入力ストリームよりも多い場合に、前記復号化動作の１回を超える反復を実行して、前記複数のレイヤを複合化するように構成される、前記いずれかの請求項に記載のビデオ復号化装置。
【請求項６】
前記符合化ビデオビットストリームの前記逐次内部依存性は、少なくとも１つのエントロピ復号化依存性を含む、前記いずれかの請求項に記載のビデオ復号化装置。
【請求項７】
前記符合化ビデオビットストリームの前記逐次内部依存性は、少なくとも１つの動きベクトル依存性を含む、前記いずれかの請求項に記載のビデオ復号化装置。
【請求項８】
前記符合化ビデオビットストリームは、マクロブロックのシーケンスとして前記入力ビデオデータを表し、前記再構成ユニットは、復号化マクロブロックのシーケンスとして前記復号化出力ビデオデータを生成するように構成される、前記いずれかの請求項に記載のビデオ復号化装置。
【請求項９】
前記中間表現は、前記シーケンスの中の各マクロブロックの少なくともマクロブロックタイプを含む、請求項８に記載のビデオ復号化装置。
【請求項１０】
前記中間表現は、前記シーケンスの中の少なくとも１つマクロブロックの動きベクトルを含む、請求項８に記載のビデオ復号化装置。
【請求項１１】
前記中間表現は、前記シーケンスの中の少なくとも１つのマクロブロックの一組の変換係数を含む、請求項８に記載のビデオ復号化装置。
【請求項１２】
前記少なくとも１つのパーシングユニットは、前記シーケンスの中の前記少なくとも１つのマクロブロックに対する前記一組の変換係数を圧縮フォーマットで出力するように構成される、請求項１１に記載のビデオ復号化装置。
【請求項１３】
前記圧縮フォーマットは、一組の符号付き指数ゴロム符号を含む、請求項１２に記載のビデオ復号化装置。
【請求項１４】
前記ビデオ復号化装置は、少なくとも２つのパーシングユニットを備え、前記少なくとも２つのパーシングユニットは、前記パーシング動作を少なくとも部分的に並列化するように構成される、前記いずれかの請求項に記載のビデオ復号化装置。
【請求項１５】
前記少なくとも２つのパーシングユニットは、それぞれ、前記パーシング動作を前記スケーラブルビデオストリームの所与のレイヤに実行するように構成される、請求項１４に記載のビデオ復号化装置。
【請求項１６】
前記少なくとも２つのパーシングユニットは、それぞれ、前記スケーラブルビデオストリームの所与のレイヤの中で、前記パーシング動作をスライスベースで実行するように構成される、請求項１４に記載のビデオ復号化装置。
【請求項１７】
前記再構成ユニットは、前記複数の入力ストリームの各入力ストリームのための逆量子化ユニットを備える、前記いずれかの請求項に記載のビデオ復号化装置。
【請求項１８】
前記再構成ユニットは、少なくとも１つの共有復号化構成要素を備え、前記共有復号化構成要素は、前記複数の入力ストリームの全ての前記復号化動作に使用される、前記いずれかの請求項に記載のビデオ復号化装置。
【請求項１９】
前記再構成ユニットは、少なくとも２つの非ブロック化ユニットを備える、前記いずれかの請求項に記載のビデオ復号化装置。
【請求項２０】
前記複数の入力ストリームは、少なくとも３つの入力ストリームを備える、前記いずれかの請求項に記載のビデオ復号化装置。
【請求項２１】
前記少なくとも１つのパーシングユニットは、複数のバッファに記憶するための前記入力ビデオデータの前記中間表現を出力するように構成され、
前記再構成ユニットは、前記複数のバッファのそれぞれのバッファから前記複数の入力ストリームのそれぞれを検索するように構成される、前記いずれかの請求項に記載のビデオ復号化装置。
【請求項２２】
ビデオを復号化する方法であって、
符合化ビデオビットストリームとして入力ビデオデータを受け取るステップであって、前記符合化ビデオビットストリームは、逐次内部依存性を含む、ステップと、
前記入力ビデオデータの中間表現を生成するように、パーシング動作を前記符合化ビデオビットストリームに実行するステップであって、前記逐次内部依存性の少なくとも１つのサブセットは、前記中間表現で解決される、ステップと、
バッファに記憶するための前記入力ビデオデータの前記中間表現を出力するステップと、
前記バッファから前記中間表現の複数の入力ストリームを並列に検索し、そして、復号化出力ビデオデータを生成するために、復号化動作を前記複数の入力ストリームに並列に実行するステップと、
を含み、前記入力ビデオデータは、スケーラブルビデオストリームの複数のレイヤを備え、前記複数の入力ストリームの各ストリームは、前記複数のレイヤのうちの１つのレイヤを表す、
方法。
【請求項２３】
ビデオ復号化装置であって、
符号化ビデオビットストリームとして入力ビデオデータを受け取るための、少なくとも１つのパーシング手段であって、前記符合化ビデオビットストリームは、逐次内部依存性を含み、
前記入力ビデオデータの中間表現を生成するように、パーシング動作を前記符号化ビデオビットストリームに実行するための、少なくとも１つのパーシング手段であって、少なくとも前記逐次内部依存性のサブセットは、前記中間表現で解決され、
バッファに記憶するための前記入力ビデオデータの前記中間表現を出力するための、少なくとも１つのパーシング手段と、
前記バッファから前記中間表現の複数の入力ストリームを並列に検索し、そして、復号化出力ビデオデータを生成するように、復号化動作を前記複数の入力ストリームに並列に実行するための、再構成手段と、
を備え、前記入力ビデオデータは、スケーラブルビデオストリームの複数のレイヤを備え、前記複数の入力ストリームの各ストリームは、前記複数のレイヤのうちの１つのレイヤを表す、
ビデオ復号化装置。
【図１】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−１７５７０３（Ｐ２０１２−１７５７０３Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１２−１６２８９（Ｐ２０１２−１６２８９）
【出願日】平成２４年１月３０日（２０１２．１．３０）
【出願人】（５０４３９４３４２）アーム・リミテッド (134)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１２−１６２８９（Ｐ２０１２−１６２８９）
【出願日】平成２４年１月３０日（２０１２．１．３０）
【出願人】（５０４３９４３４２）アーム・リミテッド (134)
【Ｆターム（参考）】
[ Back to top ]