符号化システム
【課題】ビデオ・データがいくつかの層により、スケーラブルに符号化されると、受信端末は、端末のプロファイルに応じてデータの一部分を、受信されたビットストリームから抽出することを可能にする。
【解決手段】自身のネットワーク抽象化層（「ＮＡＬ」）ユニット・タイプを有し、ＳＶＣ環境において非ベース層の層依存性パラメータの伝送を可能にする補助シーケンス・パラメータ・セット（「ＳＰＳ」）構造を提供する。補助ＳＰＳ情報構造は更に、ＭＶＣ情報におけるビュー情報に使用することができる。一般的な局面では、（１）画像系列の第１の層の符号化の復号化に使用するためのパラメータを表す、ＳＰＳ ＮＡＬユニットからの情報、及び（２）ＳＰＳ ＮＡＬユニットとは別の構造を有する補助ＳＰＳ ＮＡＬユニットからの情報であって、画像系列の第２の層の符号化の復号化において使用するためのパラメータを表す情報を含む構造が提供される。
【解決手段】自身のネットワーク抽象化層（「ＮＡＬ」）ユニット・タイプを有し、ＳＶＣ環境において非ベース層の層依存性パラメータの伝送を可能にする補助シーケンス・パラメータ・セット（「ＳＰＳ」）構造を提供する。補助ＳＰＳ情報構造は更に、ＭＶＣ情報におけるビュー情報に使用することができる。一般的な局面では、（１）画像系列の第１の層の符号化の復号化に使用するためのパラメータを表す、ＳＰＳ ＮＡＬユニットからの情報、及び（２）ＳＰＳ ＮＡＬユニットとは別の構造を有する補助ＳＰＳ ＮＡＬユニットからの情報であって、画像系列の第２の層の符号化の復号化において使用するためのパラメータを表す情報を含む構造が提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、（１）「Ｓｕｐｐｌｅｍｅｎｔａｌ Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ ｆｏｒ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｏｒ Ｍｕｌｔｉ−ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」と題する、西暦２００７年４月１８日付け出願の米国特許仮出願第６０／９２３９９３号明細書（代理人整理番号ＰＵ０７０１０１）、及び（２）「Ｓｕｐｐｌｅｍｅｎｔａｌ Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ ｆｏｒ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｏｒ Ｍｕｌｔｉ−ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」と題する、西暦２００７年６月２８日付け出願の米国特許仮出願第１１／８２４００６号明細書ＰＡ０７００３２）それぞれの利益を主張し、上記（１）及び（２）それぞれの全部の内容を全ての目的で本明細書及び特許請求の範囲に援用する。
【０００２】
少なくとも１つの実現形態は、ビデオ・データをスケーラブルに符号化し、復号化する方法に関する。
【背景技術】
【０００３】
データが向けられる端末が、種々の容量を有し、よって、完全なデータ・ストリームを復号化しないが、完全なデータ・ストリームの一部のみを復号化する場合に、いくつかの層によるビデオ・データの符号化が有用であり得る。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ビデオ・データがいくつかの層により、スケーラブルに符号化されると、受信端末は、端末のプロファイルに応じてデータの一部分を、受信されたビットストリームから抽出することが可能である。完全なデータ・ストリームは、端末において層それぞれの復号化を容易にするために、サポートされた層それぞれのオーバヘッド情報も伝送することができる。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明に係る方法は、シーケンス・パラメータ・セット（「ＳＰＳ」）ネットワーク抽象化層（「ＮＡＬ」）ユニットからの情報にアクセスする工程であって、情報が、画像系列内の画像の第１の層の符号化の復号化に使用するためのパラメータを表す工程と、ＳＰＳ ＮＡＬユニットのＮＡＬユニット・タイプ符号とは別のＮＡＬユニット・タイプ符号を有し、ＳＰＳ ＮＡＬユニットとは別の構文構造を有する補助ＳＰＳ ＮＡＬユニットからの補助情報にアクセスする工程であって、補助ＳＰＳ ＮＡＬユニットからの補助情報は、画像系列内の画像の第２の層の符号化の復号化に使用するためのパラメータを表す工程と、ＳＰＳ ＮＡＬユニットからのアクセスされた情報、及び補助ＳＰＳ ＮＡＬユニットからのアクセスされた補助情報それぞれに基づいて第１の層の符号化及び第２の層の符号化を復号化する工程とを含むようにしている。
さらに、本発明に係る方法は、ＳＰＳ ＮＡＬユニットは、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ標準又は関係する標準に準拠し、補助ＳＰＳ ＮＡＬユニットは、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ標準又は関係する標準のスケーラブルなビデオ符号化（「ＳＶＣ」）拡張に準拠するようにしている。
さらに、本発明に係る方法は、補助ＳＰＳ ＮＡＬユニットは専用のＮＡＬユニット・タイプを有し、標準はそれにより、補助ＳＰＳ ＮＡＬユニット・タイプを有するＮＡＬユニットをＡＶＣ復号化器が無視することを可能にし、補助ＳＰＳ ＮＡＬユニット・タイプを有するＮＡＬユニットに応じてＳＶＣ復号化器が動作することを必要とすることにより、ＡＶＣ復号化器とＳＶＣ復号化器との間と互換性を可能にするようにしている。
さらに、本発明に係る方法は、補助ＳＰＳ ＮＡＬユニットの構文は層依存性パラメータを定めるようにしている。
さらに、本発明に係る方法は、補助ＳＰＳ ＮＡＬユニットは、少なくとも１つの層の層依存性情報を含むようにしている。
さらに、本発明に係る方法は、第２の層の符号化の復号化に使用するためのパラメータはビデオ有用性情報（「ＶＵＩ」）パラメータを含むようにしている。
さらに、本発明に係る方法は、第２の層の符号化の復号化に使用するためのパラメータは仮想参照復号化器（「ＨＲＤ」）パラメータを含むようにしている。
さらに、本発明に係る方法は、ＳＰＳ ＮＡＬユニットは、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ標準又は関連した標準におけるＳＰＳ ＮＡＬユニットに準拠し、補助ＳＰＳ ＮＡＬユニットは、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ標準又は関連した標準のＳＶＣ拡張におけるサブセットＳＰＳ ＮＡＬユニットに準拠するようにしている。
さらに、本発明に係る方法は、補助ＳＰＳ ＮＡＬユニットは、補助ＳＰＳ ＮＡＬユニットにおいて受信された情報に応じて復号化器が動作することが必要な標準に準拠するようにしている。
さらに、本発明に係る方法は、第１の層の符号化は、空間レベル、品質レベル及び時間レベルのうちの１つ又は複数について、第２の層の符号化とは異なるレベルを有するようにしている。
さらに、本発明に係る方法は、ＳＰＳ ＮＡＬユニットからの情報及び補助ＳＰＳ ＮＡＬユニットからの情報は、伝送チャネルを介して受信されたビットストリームからアクセスされるようにしている。
さらに、本発明に係る方法は、ＳＰＳ ＮＡＬユニットからの情報へのアクセス、補助ＳＰＳ ＮＡＬユニットからの情報へのアクセス、及び復号化の生成は、復号化器で行われるようにしている。
さらに、本発明に係る方法は、ＳＰＳ ＮＡＬユニットからの情報へのアクセス、補助ＳＰＳ ＮＡＬユニットからの情報へのアクセス、及び復号化は、符号化器で行われるようにしている。
上記課題を解決するため、本発明に係る装置は、少なくとも、シーケンス・パラメータ・セット（「ＳＰＳ」）ネットワーク抽象化層（「ＮＡＬ」）ユニットからの情報にアクセスする機能であって、情報が、画像系列内の画像の第１の層の符号化の復号化に使用するためのパラメータを表す機能と、ＳＰＳ ＮＡＬユニットのＮＡＬユニット・タイプ符号とは別のＮＡＬユニット・タイプ符号を有し、ＳＰＳ ＮＡＬユニットとは別の構文構造を有する補助ＳＰＳ ＮＡＬユニットからの補助情報にアクセスする機能であって、補助ＳＰＳ ＮＡＬユニットからの補助情報は、画像系列内の画像の第２の層の符号化の復号化に使用するためのパラメータを表す機能と、ＳＰＳ ＮＡＬユニットからのアクセスされた情報、及び補助ＳＰＳ ＮＡＬユニットからのアクセスされた補助情報それぞれに基づいて第１の層の符号化及び第２の層の符号化を復号化する機能を行うための、プロセッサ読み取り可能な媒体上に記憶された命令を含むプロセッサ読み取り可能な媒体を備えるようにしている。
さらに、本発明に係る装置は、シーケンス・パラメータ・セット（「ＳＰＳ」）ネットワーク抽象化層（「ＮＡＬ」）ユニットからの情報にアクセスする手段であって、情報が、画像系列内の画像の第１の層の符号化の復号化に使用するためのパラメータを表わす手段と、ＳＰＳ ＮＡＬユニットのＮＡＬユニット・タイプ符号とは別のＮＡＬユニット・タイプ符号を有し、ＳＰＳ ＮＡＬユニットとは別の構文構造を有する補助ＳＰＳ ＮＡＬユニットからの補助情報にアクセスする手段であって、補助ＳＰＳ ＮＡＬユニットからの補助情報は、画像系列内の画像の第２の層の符号化の復号化に使用するためのパラメータを表す手段と、ＳＰＳ ＮＡＬユニットからのアクセスされた情報、及び補助ＳＰＳ ＮＡＬユニットからのアクセスされた補助情報それぞれに基づいて第１の層の符号化及び第２の層の符号化を復号化する手段と、を備えるようにしている。
さらに、本発明に係る装置は、シーケンス・パラメータ・セット（「ＳＰＳ」）ネットワーク抽象化層（「ＮＡＬ」）ユニットからの情報にアクセスする機能であって、画像の系列内の画像の第１の層の符号化の復号化において使用するためのパラメータを表す機能と、ＳＰＳ ＮＡＬユニットのＮＡＬユニット・タイプとは別のＮＡＬユニット・タイプ符号を有し、ＳＰＳ ＮＡＬユニットとは別の構文構造を有する補助ＳＰＳ ＮＡＬユニットからの補助情報にアクセスする機能であって、補助ＳＰＳ ＮＡＬユニットからの補助情報は、画像系列内の画像の第２の層の符号化の復号化に使用するためのパラメータを表す機能と、ＳＰＳ ＮＡＬユニットからのアクセスされた情報、及び補助ＳＰＳ ＮＡＬユニットからのアクセスされた補助情報それぞれに基づいて第１の層の符号化及び第２の層の符号化を復号化する機能と、を実行するよう構成されたプロセッサを備えるようにしている。
さらに、本発明に係る装置は、ビデオ・データを記憶するメモリを更に備えるようにしている。
上記課題を解決するため、本発明に係る装置は、シーケンス・パラメータ・セット（「ＳＰＳ」）ネットワーク抽象化層（「ＮＡＬ」）ユニットからの情報にアクセスし、情報が、画像系列内の画像の第１の層の符号化の復号化に使用するためのパラメータを表し、ＳＰＳ ＮＡＬユニットのＮＡＬユニット・タイプ符号とは別のＮＡＬユニット・タイプ符号を有し、ＳＰＳ ＮＡＬユニットとは別の構文構造を有する補助ＳＰＳ ＮＡＬユニットからの補助情報にアクセスするよう構成された解析ユニットであって、補助ＳＰＳ ＮＡＬユニットからの補助情報は、画像系列内の画像の第２の層の符号化の復号化に使用するためのパラメータを表す解析ユニットと、ＳＰＳ ＮＡＬユニットからのアクセスされた補助情報を使用して第１の層の符号化を復号化し、補助ＳＰＳ ＮＡＬユニットからのアクセスされた補助情報を使用して第２の層の符号化を復号化し、第１の層の符号化の復号化、及び第２の層の符号化の復号化のうちの１つ又は複数に基づいて画像系列内の画像の再構成を生成するよう構成された復号化器と、を備えるようにしている。
さらに、本発明に係る装置は、ＳＰＳ ＮＡＬユニットは、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ標準又は関連した標準におけるＳＰＳ ＮＡＬユニットに実質的に準拠するようにしている。
さらに、本発明に係る装置は、画像の第２の層の符号化の復号化において使用するためのパラメータは、スケーラブル・ビデオ符号化（「ＳＶＣ」）ビデオ有用性情報（「ＶＵＩ」）パラメータを含み、別の構文構造は、ＳＶＣ ＶＵＩパラメータが画像の第２の層の符号化に適用される旨を示す時間、依存性、及び品質の指標を含む補助情報に反映されるようにしている。
さらに、本発明に係る装置は、ＳＰＳ ＮＡＬユニットからの情報によって表されるパラメータは、第２の層の符号化を復号化するためにも必要であるようにしている。
【０００６】
一般的な局面によれば、情報が、シーケンス・パラメータ・セット（「ＳＰＳ」）ネットワーク抽象化層（「ＮＡＬ」）ユニットからアクセスされる。上記情報は、画像系列の第１の層の符号化の復号化において使用するためのパラメータを表す。情報は、ＳＰＳ ＮＡＬユニットとは別の構造を有する補助ＳＰＳ ＮＡＬユニットからもアクセスされる。補助ＳＰＳ ＮＡＬユニットからの情報は、画像系列の第２の層の符号化の復号化において使用するためのパラメータを表す。画像系列の復号化は、第１の層の符号化、第２の層の符号化、ＳＰＳ ＮＡＬユニットからのアクセス情報、及び補助ＳＰＳ ＮＡＬユニットからのアクセス情報に基づいて生成される。
【０００７】
別の一般的な局面によれば、複数の層における画像系列の復号化を定める構文構造が使用される。構文構造は、画像系列の第１の層の符号化の復号化に使用するためのパラメータを表す情報を含むＳＰＳ ＮＡＬユニットの構文を含む。構文構造は、ＳＰＳ ＮＡＬ ユニットとは別の構造を有する補助ＳＰＳ ＮＡＬユニットの構文も含む。補助ＳＰＳ ＮＡＬユニットは、画像系列の第２の層の符号化の復号化において使用するためのパラメータを表す情報を含む。画像系列の復号化は、第１の層の符号化、第２の層の符号化、ＳＰＳ ＮＡＬユニットからの情報、及び補助ＳＰＳ ＮＡＬユニットからの情報に基づいて生成され得る。
【０００８】
別の一般的な局面によれば、信号はＳＰＳ ＮＡＬユニットからの情報を含めるようフォーマッティングされる。上記情報は、画像系列の第１の層の符号化の復号化において使用するためのパラメータを表す。信号は、ＳＰＳ ＮＡＬユニットとは別の構造を有する補助ＳＰＳ ＮＡＬユニットからの情報を含めるよう更にフォーマッティングされる。補助ＳＰＳ ＮＡＬユニットからの情報は、画像系列の第２の層の符号化の復号化において使用するためのパラメータを表す。
【０００９】
別の一般的な局面によれば、画像系列の第１の層の符号化の復号化に使用するためのパラメータを表す情報を含むＳＰＳ ＮＡＬユニットが生成される。ＳＰＳ ＮＡＬユニットと構造が別の補助ＳＰＳ ＮＡＬユニットが生成される。補助ＳＰＳ ＮＡＬユニットは、画像系列の第２の層の符号化の復号化において使用するためのパラメータを表す情報を含む。画像系列の第１の層の符号化、画像系列の第２の層の符号化、ＳＰＳ ＮＡＬユニット、及び補助ＳＰＳ ＮＡＬユニットを含むデータの組が供給される。
【００１０】
別の一般的な局面によれば、複数の層における画像系列の符号化を定める構文構造が使用される。構文構造は、ＳＰＳ ＮＡＬユニットの構文を含む。ＳＰＳ ＮＡＬユニットは、画像系列の第１の層の符号化の復号化において使用するためのパラメータを表す情報を含む。構文構造は、補助ＳＰＳ ＮＡＬユニットの構文を含む。補助ＳＰＳ ＮＡＬユニットは、ＳＰＳ ＮＡＬ ユニットとは別の構造を有する。補助ＳＰＳ ＮＡＬユニットは、画像系列の第２の層の符号化の復号化において使用するためのパラメータを表す情報を含む。画像系列の第１の層の符号化、画像系列の第２の層の符号化、ＳＰＳ ＮＡＬユニット、及び補助ＳＰＳ ＮＡＬユニットを含むデータの組を供給することができる。
【００１１】
別の一般的な局面によれば、第１の層に依存する情報は、第１の規範的パラメータ・セットにおいてアクセスされる。アクセスされた、第１の層に依存する情報は、画像系列の第１の層の符号化の復号化において使用するためのものである。第２の層に依存する情報は、第２の規範的パラメータ・セットにおいてアクセスされる。第２の規範的パラメータ・セットは、第１の規範的パラメータ・セットとは別の構造を有する。アクセスされた、第２の層に依存する情報は、画像系列の第２の層の符号化の復号化において使用するためのものである。画像の系列は、アクセスされた、第１の層に依存する情報、及びアクセスされた、第２の層に依存する情報のうちの１つ又は複数に基づいて復号化される。
【００１２】
別の一般的な局面では、第１の層に依存する情報を含む第１の規範的パラメータ・セットが生成される。第１の層に依存する情報は、画像系列の第１の層の符号化の復号化において使用するためのものである。第１の規範的パラメータ・セットとは別の構造を有する第２の規範的パラメータ・セットが生成される。第２の規範的パラメータ・セットは、画像系列の第２の層の符号化の復号化において使用するための第２の層に依存する情報を含む。第１の規範的パラメータ・セット及び第２の規範的パラメータ・セットを含むデータの組が提供される。
【図面の簡単な説明】
【００１３】
【図１】符号化器の実現形態のブロック図である。
【図１ａ】符号化器の別の実現形態のブロック図である。
【図２】復号化器の実現形態のブロック図である。
【図２ａ】復号化器の別の実現形態のブロック図である。
【図３】単一層シーケンス・パラメータ・セット（「ＳＰＳ」）ネットワーク抽象化層（「ＮＡＬ」）ユニットの実現形態の構造を示す図である。
【図４】ＳＰＳ ＮＡＬユニットの使用を例証するデータ・ストリームの一部分の例のブロック図である。
【図５】補助ＳＰＳ（「ＳＵＰ ＳＰＳ」）ＮＡＬユニットの実現形態の構造を示す図である。
【図６】ＳＰＳユニット及び複数のＳＵＰ ＳＰＳ ユニットの間の組織階層の実現形態を示す図である。
【図７】ＳＵＰ ＳＰＳ ＮＡＬユニットの別の実現形態の構造を示す図である。
【図８】ＳＵＰ ＳＰＳユニットを生成するスケーラブルなビデオ符号化器の実現形態を示す機能図である。
【図９】ＳＵＰ ＳＰＳユニットを含むデータ・ストリームの生成の実現形態を示す階層図である。
【図１０】図９の実現形態によって生成されるデータ・ストリームの例を示すブロック図である。
【図１１】符号化器の実現形態のブロック図である。
【図１２】符号化器の別の実現形態のブロック図である。
【図１３】図１１又は図１２の符号化器によって使用される符号化処理の実現形態を示すフローチャートである。
【図１４】図１３の処理によって生成されるデータ・ストリームの例を示すブロック図である。
【図１５】復号化器の実現形態を示すブロック図である。
【図１６】復号化器の別の実現形態を示すブロック図である。
【図１７】図１５又は図１６の復号化器によって使用される復号化処理の実現形態を示すフローチャートである。
【発明を実施するための形態】
【００１４】
１つ又は複数の実現形態の詳細を添付図面及び以下明細書において記載する。１つの特定のやり方で記載されていても、実現形態は、種々のやり方で構成又は実施することができる。例えば、実現形態は、方法として実行するか、例えば、動作の組を行うよう構成された装置や、動作の組を行うための命令を記憶する装置などの装置として実施するか、又は信号として実施することができる。他の局面及び特徴は、以下の詳細な説明を添付図面及び特許請求の範囲とともに考察することにより、明らかになるであろう。
【実施例】
【００１５】
別々の層及び／又はプロファイルに応じてビデオ・データを符号化することが可能ないくつかのビデオ符号化標準が今日、存在している。このうち、ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ （ＩＳＯ／ＩＥＣ） Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４ （ＭＰＥＧ−４） Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＡＶＣ） ｓｔａｎｄａｒｄ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ， Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ （ＩＴＵ−Ｔ） Ｈ．２６４勧告としても表されるＨ．２６４／ＭＰＥＧ−４ＡＶＣ（「ＡＶＣ標準」）を挙げることが可能である。更に、ＡＶＣ標準に対する拡張が存在している。前述の第１の拡張は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ、スケーラブル・ビデオ符号化拡張（「ＳＶＣ 拡張」）として表されるスケーラブル・ビデオ符号化（「ＳＶＣ」）拡張（アネックスＧ）である。前述の第２の拡張は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ、ＭＶＣ拡張（「ＭＶＣ 拡張」）として表されるマルチビュー・ビデオ符号化（「ＭＶＣ」）拡張（アネックスＨ）である。
【００１６】
本明細書及び特許請求の範囲に記載した少なくとも１つの実現形態は、ＡＶＣ標準、並びにＳＶＣ拡張及びＭＶＣ拡張に使用することができる。上記実現形態は、補助（「ＳＵＰ」）シーケンス・パラメータ・セット（「ＳＰＳ」）ネットワーク抽象化層（「ＮＡＬ」）ユニット（ＳＰＳ ＮＡＬユニットとは別のＮＡＬユニット・タイプを有する）を提供する。ＳＰＳユニットは、少なくとも単一の層の情報を含むが、上記情報を含まなくてよい。更に、ＳＵＰ ＳＰＳ ＮＡＬユニットは、少なくとも１つの更なる層の層依存性情報を含む。よって、ＳＰＳユニット及びＳＵＰ ＳＰＳユニットにアクセスすることにより、復号化器は、ビットストリームを復号化するために必要な利用可能な特定の（、及び通常、全ての）層に依存する情報を有する。
【００１７】
ＡＶＣシステムにおける前述の実現形態を使用すれば、ＳＵＰ ＳＰＳ ＮＡＬユニットを送信しなくてよく、単一層ＳＰＳ ＮＡＬユニット（後述する）を送信することができる。ＳＶＣ（又はＭＶＣ）システムにおいて前述の実現形態を使用すれば、ＳＵＰ ＳＰＳ ＮＡＬユニットは、ＳＰＳ ＮＡＬユニットに加えて、所望の更なる層（又はビュー）について送信することができる。ＡＶＣ互換復号化器及びＳＶＣ互換復号化器（又はＭＶＣ互換復号化器）を含むシステムにおいて前述の実現形態を使用すれば、ＡＶＣ互換復号化器は、ＮＡＬユニット・タイプを検出することにより、ＳＵＰ ＳＰＳ ＮＡＬユニットを無視し得る。何れの場合にも、効率及び互換性が達成される。
【００１８】
上記実現形態は、例えば、ＳＰＳ、又はＳＰＳに通常収容される特定の情報などのヘッダ情報を特定層が共有する旨の要件を課すシステムの利点（標準他）ももたらす。例えば、ベース層及びその複合時間層がＳＰＳを共有したい場合、層依存性情報を共有ＳＰＳとともに送信することは可能でない。しかし、ＳＵＰ ＳＰＳは、層依存性情報を伝送する機構を提供する。
【００１９】
種々の実現形態のＳＵＰ ＳＰＳは、ＳＵＳ ＳＰＳ がＳＰＳにおけるパラメータ全てを含まなくてよく、よって、反復しなくてよいという効率的な利点も提供する。ＳＵＰ ＳＰＳは通常、層依存性パラメータを対象とする。しかし、種々の実現形態は、層に依存しないパラメータを含み、又はＳＰＳ構造全てを反復するＳＵＰ ＳＰＳ構造を含む。
【００２０】
種々の実現形態はＳＶＣ拡張に関する。ＳＶＣ拡張は、いくつかの空間レベル、時間レベル及び品質レベルに応じたビデオ・データの伝送を提案している。一空間レベルの場合、いくつかの時間レベルに応じて符号化することが可能であり、いくつかの品質レベルに応じた時間レベル毎に符号化することが可能である。したがって、ｍ個の空間レベル、ｎ個の時間レベル、及びＯ個の品質レベルが規定されている場合、ビデオ・データは、ｍ＊ｎ＊Ｏ個の別々の組合せによって符号化することが可能である。前述の組合せは、層又はインターオペラビリティ・ポイント（「ＩＯＰ」）として表す。復号化器（受信器又はクライアントとしても表す）の機能によれば、別々の層を、クライアント機能の最大値に対応する特定の層まで伝送することができる。
【００２１】
本明細書及び特許請求の範囲記載の「層依存性」情報は、単一層に特に関係する情報を表す。すなわち、名称が示唆するように、上記情報は特定層に依存する。前述の情報は、層間で必ずしも異ならなくてよいが、通常、層毎に別個に供給される。
【００２２】
本明細書及び特許請求の範囲では、「高位構文」は、階層的にマクロブロック層の上の、ビットストリーム内に存在している構文を表す。例えば、本明細書及び特許請求の範囲記載の高位構文は、スライス・ヘッダ・レベル、付加拡張情報（ＳＥＩ）レベル、ピクチャ・パラメータ・セット（ＰＰＳ）レベル、シーケンス・パラメータ・セット（ＳＰＳ）レベル、及びネットワーク抽象化層（ＮＡＬ）ユニット・ヘッダ・レベルを表し得るが、それらに限定されない。
【００２３】
図１を参照すれば、例示的なＳＶＣ符号化器は全体を参照符号１００で示す。ＳＶＣ符号化器１００は、ＡＶＣ符号化にも（すなわち、単一層（例えば、ベース層）にも）使用することができる。更に、ＳＶＣ符号化器１００は、当業者が認識するようにＭＶＣ符号化に使用することができる。例えば、ＳＶＣ符号化器１００の種々の構成部分、又は前述の構成部分の変形を複数のビューの符号化に使用することができる。
【００２４】
時間分解モジュール１４２の第１の出力は、イントラ・ブロック・モジュール１４６のイントラ予測の第１の入力と信号通信で接続される。時間分解モジュール１４２の第２の出力は動き符号化モジュール１４４の第１の入力と信号通信で接続される。イントラ・ブロック・モジュール１４６のイントラ予測の出力は、変換／エントロピ符号化器（信号対雑音比（ＳＮＲ）スケーラブル）１４９の入力と信号通信で接続される。変換／エントロピ符号化器１４９の第１の出力は多重化器１７０の第１の入力と信号通信で接続される。
【００２５】
時間分解モジュール１３２の第１の出力は、イントラ・ブロック・モジュール１３６のイントラ予測の第１の入力と信号通信で接続される。時間分解モジュール１３２の第２の出力は、動き符号化モジュール１３４の第１の入力と信号通信で接続される。イントラ・ブロック・モジュール１３６のイントラ予測の出力は、変換／エントロピ符号化器（信号対雑音比（ＳＮＲ）スケーラブル）１３９の入力と信号通信で接続される。変換／エントロピ符号化器１３９の第１の出力は多重化器１７０の第１の入力と信号通信で接続される。
【００２６】
変換／エントロピ符号化器１４９の第２の出力は、２Ｄ空間補間モジュール１３８の入力と信号通信で接続される。２Ｄ空間補間モジュール１３８の出力は、イントラ・ブロック・モジュール１３６のイントラ予測の第２の入力と信号通信で接続される。動き符号化モジュール１４４の第２の出力は、動き符号化モジュール１３４の入力と信号通信で接続される。
【００２７】
時間分解モジュール１２２の第１の出力は、イントラ予測器１２６の第１の入力と信号通信で接続される。時間分解モジュール１２２の第２の出力は動き符号化モジュール１２４の第１の入力と信号通信で接続される。イントラ予測器１２６の出力は、変換／エントロピ符号化器（信号対雑音比（ＳＮＲ）スケーラブル）１２９の入力と信号通信で接続される。変換／エントロピ符号化器１２９の出力は多重化器１７０の第１の入力と信号通信で接続される。
【００２８】
変換／エントロピ符号化器１３９の第２の出力は、２Ｄ空間補間モジュール１２８の入力と信号通信で接続される。２Ｄ空間補間モジュール１２８の出力は、イントラ予測器モジュール１２６の第２の入力と信号通信で接続される。動き符号化モジュール１３４の第２の出力は、動き符号化モジュール１２４の入力と信号通信で接続される。
【００２９】
動き符号化モジュール１２４の第１の出力、動き符号化モジュール１３４の第１の出力、及び動き符号化モジュール１４４の第１の出力はそれぞれ、多重化器１７０の第２の入力と信号通信で接続される。
【００３０】
２Ｄ空間デシメーション・モジュール１０４の第１の出力は、時間分解モジュール１３２の入力と信号通信で接続される。２Ｄ空間デシメーション・モジュール１０４の第２の出力は、時間分解モジュール１４２の入力と信号通信で接続される
時間分解モジュール１２２の入力及び２Ｄ空間デシメーション・モジュール１０４の入力は、入力ビデオ１０２を受信するために符号化器１００の入力として利用可能である。
【００３１】
多重化器１７０の出力は、ビットストリーム１８０を供給するために、符号化器１００の出力として利用可能である。
【００３２】
時間分解モジュール１２２、時間分解モジュール１３２、時間分解モジュール１４２、動き符号化モジュール１２４、動き符号化モジュール１３４、動き符号化モジュール１４４、イントラ予測器１２６、イントラ予測器１３６、イントラ予測器１４６、変換／エントロピ符号化器１２９、変換／エントロピ符号化器１３９、変換／エントロピ符号化器１４９、２Ｄ空間補間モジュール１２８、及び２Ｄ空間補間モジュール１３８は、符号化器１００のコア符号化器部分１８７に含まれる。
【００３３】
図１は３つのコア符号化器１８７を含む。図示した実現形態では、一番下のコア符号化器１８７はベース層を符号化し、中央のコア符号化器及び一番上のコア符号化器１８７は、より高い層を符号化することができる。
【００３４】
図２を参照すれば、例示的なＳＶＣ復号化器は全体を参照符号２００で示す。ＳＶＣ復号化器２００は、ＡＶＣ復号化にも（すなわち、単一層にも）使用することができる。更に、ＳＶＣ復号化器２００は、当業者が認識するようにＭＶＣ復号化に使用することができる。例えば、ＳＶＣ復号化器２００の種々の構成部分、又は前述の構成部分の変形を複数のビューの復号化に使用することができる。
【００３５】
符号化器１００及び復号化器２００、並びに、本出願に開示された他の符号化器及び復号化器は、本出願記載の種々の方法を行うよう構成することが可能である。符号化動作の実行に加えて、本明細書及び特許請求の範囲記載の符号化器は、復号化器の期待された動作をミラーイングするために再構成処理中に種々の復号化動作を行うことができる。例えば、符号化器は、更なるビデオ・データの予測において使用するために符号化ビデオ・データの再構成を行うために符号化ビデオ・データを復号化するためのＳＵＰ ＳＰＳユニットを復号化することができる。よって、符号化器は、復号化器によって行われる動作のほぼ全部を行うことができる。
【００３６】
逆多重化器２０２の入力は、スケーラブルなビットストリームを受信するために、スケーラブル・ビデオ復号化器２００への入力として利用可能である。逆多重化器２０２の第１の出力は、空間逆変換ＳＮＲスケーラブル・エントロピ復号化器２０４の入力と信号通信で接続される。空間逆変換ＳＮＲスケーラブル・エントロピ復号化器２０４の第１の出力は予測モジュール２０６の第１の入力と信号通信で接続される。予測モジュール２０６の出力は合成器２３０の第１の入力と信号通信で接続される。
【００３７】
空間逆変換ＳＮＲスケーラブル・エントロピ復号化器２０４の第２の出力は動きベクトル（ＭＶ）復号化器２１０の第１の入力と信号通信で接続される。ＭＶ復号化器２１０の出力は動き補償器２３２の入力と信号通信で接続される。動き補償器２３２の出力は合成器２３０の第２の入力と信号通信で接続される。
【００３８】
逆多重化器２０２の第２の出力は、空間逆変換ＳＮＲスケーラブル・エントロピ復号化器２１２の入力と信号通信で接続される。空間逆変換ＳＮＲスケーラブル・エントロピ復号化器２１２の第１の出力は予測モジュール２１４の第１の入力と信号通信で接続される。予測モジュール２１４の第１の出力は、補間モジュール２１６の入力と信号通信で接続される。補間モジュール２１６の出力は予測モジュール２０６の第２の入力と信号通信で接続される。予測モジュール２１４の第２の出力は合成器２４０の第１の入力と信号通信で接続される。
【００３９】
空間逆変換ＳＮＲスケーラブル・エントロピ復号化器２１２の第２の出力はＭＶ復号化器２２０の第１の入力と信号通信で接続される。ＭＶ復号化器２２０の第１の出力はＭＶ復号化器２１０の第２の入力と信号通信で接続される。ＭＶ復号化器２２０の第２の出力は動き補償器２４２の入力と信号通信で接続される。動き補償器２４２の出力は合成器２４０の第２の入力と信号通信で接続される。
【００４０】
逆多重化器２０２の第３の出力は空間逆変換ＳＮＲスケーラブル・エントロピ復号化器２２２の入力と信号通信で接続される。空間逆変換ＳＮＲスケーラブル・エントロピ復号化器２２２の第１の出力は予測モジュール２２４の入力と信号通信で接続される。予測モジュール２２４の第１の出力は、補間モジュール２２６の入力と信号通信で接続される。補間モジュール２２６の出力は予測モジュール２１４の第２の入力と信号通信で接続される。
【００４１】
予測モジュール２２４の第２の出力は合成器２５０の第１の入力と信号通信で接続される。空間逆変換スケーラブル・エントロピ復号化器２２２の第２の出力はＭＶ復号化器２３０の入力と信号通信で接続される。ＭＶ復号化器２３０の第１の出力はＭＶ復号化器２２０の第２の入力と信号通信で接続される。ＭＶ復号化器２３０の第２の出力は動き補償器２５２の入力と信号通信で接続される。動き補償器２５２の出力は合成器２５０の第２の入力と信号通信で接続される。
【００４２】
合成器２５０の出力は、レイヤ０信号を出力するために、復号化器２００の出力として利用可能である。合成器２４０の出力は、レイヤ１信号を出力するために、復号化器２００の出力として利用可能である。合成器２３０の出力は、レイヤ２信号を出力するために、復号化器２００の出力として利用可能である。
【００４３】
図１ａを参照すれば、例示的なＡＶＣ符号化器は全体を参照符号２１００で示す。ＡＶＣ符号化器２１００は、例えば、単一層（例えば、ベース層）を符号化するために使用することができる。
【００４４】
ビデオ符号化器２１００は、合成器２１８５の非反転入力と信号通信する出力を有するフレーム配列バッファ２１１０を含む。合成器２１８５の出力は、変換器及び量子化器２１２５の第１の入力と信号通信で接続される。変換器及び量子化器２１２５の出力は、エントロピ符号化器２１４５の第１の入力及び逆変換器及び逆量子化器２１５０の第１の入力と信号通信で接続される。エントロピ符号化器２１４５の出力は、合成器２１９０の第１の非反転入力と信号通信で接続される。合成器２１９０の出力は、出力バッファ２１３５の第１の入力と信号通信で接続される。
【００４５】
符号化器コントローラ２１０５の第１の出力は、フレーム配列バッファ２１１０の第２の入力、逆変換器及び逆量子化器２１５０の第２の入力、ピクチャタイプ決定モジュール２１１５の入力、マクロブロックタイプ（ＭＢタイプ）決定モジュール２１２０の入力、イントラ予測モジュール２１６０の第２の入力、デブロッキング・フィルタ２１６５の第２の入力、動き補償２１７０の第１の入力、動き推定器２１７５の第１の入力、及び参照ピクチャ・バッファ２１８０の第２の入力と信号通信で接続される。
【００４６】
符号化器コントローラ２１０５の第２の出力は、付加拡張情報（「ＳＥＩ」）挿入器２１３０の第１の入力、変換器及び量子化器２１２５の第２の入力、エントロピ符号化器２１４５の第２の入力、出力バッファ２１３５の第２の入力、並びに、シーケンス・パラメータ・セット（ＳＰＳ）及びピクチャ・パラメータ・セット（ＰＰＳ）挿入器２１４０の入力と信号通信で接続される。
【００４７】
ピクチャタイプ決定モジュール２１１５の第１の出力は、フレーム配列バッファ２１１０の第３の入力と信号通信で接続される。ピクチャタイプ決定モジュール２１１５の第２の出力は、マクロブロックタイプ決定モジュール２１２０の第２の入力と信号通信で接続される。
【００４８】
シーケンス・パラメータ・セット（「ＳＰＳ」）及びピクチャ・パラメータ・セット（「ＰＰＳ」）挿入器２１４０の出力は合成器２１９０の第３の非反転入力と信号通信で接続される。ＳＥＩ挿入器２１３０の出力は合成器２１９０の第２の非反転入力と信号通信で接続される。
【００４９】
逆量子化器及び逆変換器２１５０の出力は合成器２１２７の第１の非反転入力と信号通信で接続される。合成器２１２７の出力はイントラ予測モジュール２１６０の第１の入力及びデブロッキング・フィルタ２１６５の第１の入力と信号通信で接続される。デブロッキング・フィルタ２１６５の出力は参照ピクチャ・バッファ２１８０の第１の入力と信号通信で接続される。参照ピクチャ・バッファ２１８０の出力は動き推定器２１７５の第２の入力及び動き補償器２１７０の第１の入力と信号通信で接続される。動き推定器２１７５の第１の出力は、動き補償器２１７０の第２の入力と信号通信で接続される。動き推定器２１７５の第２の出力は、エントロピ符号化器２１４５の第３の入力と信号通信で接続される。
【００５０】
動き補償器２１７０の出力は、スイッチ２１９７の第１の入力と信号通信で接続される。イントラ予測モジュール２１６０の出力は、スイッチ２１９７の第２の入力と信号通信で接続される。マクロブロックタイプ決定モジュール２１２０の出力は、スイッチ２１９７に制御入力を供給するために、スイッチ２１９７の第３の入力と信号通信で接続される。スイッチ２１９７の出力は、合成器２１２７の第２の非反転入力及び合成器２１８５の反転入力と信号通信で接続される。
【００５１】
フレーム配列バッファ２１１０及び符号化器コントローラ２１０５の入力は、入力ピクチャ２１０１を受信するために、符号化器２１００の入力として利用可能である。更に、ＳＥＩ挿入器２１３０の入力は、メタデータを受信するために、符号化器２１００の入力として利用可能である。出力バッファ２１３５の出力は、ビットストリームを出力するために、符号化器２１００の出力として利用可能である。
【００５２】
図２ａを参照すれば、ＭＰＥＧ−４ＡＶＣ標準によるビデオ復号化を行うことができるビデオ復号化器は全体を参照符号２２００で示す。
【００５３】
ビデオ復号化器２２００は、エントロピ復号化器２２４５の第１の入力と信号通信で接続された出力を有する入力バッファ２２１０を含む。エントロピ復号化器２２４５の第１の出力は、逆変換器及び逆量子化器２２５０の第１の入力と信号通信で接続される。逆変換器及び逆量子化器２２５０の出力は合成器２２２５の第２の非反転入力と信号通信で接続される。合成器２２２５の出力はデブロッキング・フィルタ２２６５の第２の入力及びイントラ予測モジュール２２６０の第１の入力と信号通信で接続される。デブロッキング・フィルタ２２６５の第２の出力は参照ピクチャ・バッファ２２８０の第１の入力と信号通信で接続される。参照ピクチャ・バッファ２２８０の出力は動き補償２２７０の第２の入力と信号通信で接続される。
【００５４】
エントロピ復号化器２２４５の第２の出力は動き補償器２２７０の第３の入力及びデブロッキング・フィルタ２２６５の第１の入力と信号通信で接続される。エントロピ復号化器２２４５の第３の出力は復号化器コントローラ２２０５の入力と信号通信で接続される。復号化器コントローラ２２０５の第１の出力はエントロピ復号化器２２４５の第２の入力と信号通信で接続される。復号化器コントローラ２２０５の第２の出力は、逆変換器及び逆量子化器２２５０の第２の入力と信号通信で接続される。復号化器コントローラ２２０５の第３の出力はデブロッキング・フィルタ２２６５の第３の入力と信号通信で接続される。復号化器コントローラ２２０５の第４の出力は、イントラ予測モジュール２２６０の第２の入力、動き補償器２２７０の第１の入力、及び参照ピクチャ・バッファ２２８０の第２の入力と信号通信で接続される。
【００５５】
動き補償器２２７０の出力はスイッチ２２９７の第１の入力と信号通信で接続される。イントラ予測モジュール２２６０の出力はスイッチ２２９７の第２の入力と信号通信で接続される。スイッチ２２９７の出力は合成器２２２５の第１の非反転入力と信号通信で接続される。
【００５６】
入力バッファ２２１０の入力は、入力ビットストリームを受信するために、復号化器２２００の入力として利用可能である。デブロッキング・フィルタ２２６５の第１の出力は、出力ピクチャを出力するために、復号化器２２００の出力として利用可能である。
【００５７】
図３を参照すれば、単一層ＳＰＳ３００の構造を示す。ＳＰＳは、ゼロ以上の全体が符号化されたビデオ系列に施される構文要素を一般に含む構文構造である。ＳＶＣ拡張では、ＳＰＳにおいて伝達される一部の構文要素の値は層依存性を有する。前述の層依存性構文要素は、タイミング情報、ＨＲＤ（「仮想参照復号化器」の略である）パラメータ、及びビットストリーム制限情報を含むが、それらに限定されない。ＨＲＤパラメータは例えば、バッファ・サイズ、最大ビット・レート、及び初期遅延の指標を含み得る。ＨＲＤパラメータは、受信システムが、例えば、受信されたビットストリームのインテグリティを検証し、かつ／又は、受信システム（例えば、復号化器）がビットストリームを復号化することが可能であるかを判定することを可能にし得る。したがって、システムは、層毎の前述の構文要素の伝送を定めることができる。
【００５８】
単一層ＳＰＳ３００は、ＳＰＳの識別子を備えるＳＰＳ−ＩＤ３１０を含む。単一層ＳＰＳ３００は、単一層のＶＵＩ（ビデオ有用性情報の略）パラメータ３２０も含む。ＶＵＩパラメータは、例えば、ベース層などの単一層のＨＲＤパラメータ３３０を含む。単一層ＳＰＳ３００は、更なるパラメータ３４０も含み得るが、実現形態は、更なるパラメータ３４０を何ら含まなくてよい。
【００５９】
図４を参照すれば、データ・ストリーム４００のブロック図は、単一層ＳＰＳ３００の通常の使用を示す。ＡＶＣ標準では、例えば、通常のデータ・ストリームは、他の構成部分の中でも、ＳＰＳユニット、特定のピクチャのパラメータを備える複数のＰＰＳ（ピクチャ・パラメータ・シーケンス）ユニット、及び符号化ピクチャ・データの複数のユニットを含み得る。次に、前述の一般的なフレームワークを図４に示す。図４は、ＳＰＳ３００、ＰＰＳ−１ ４１０、符号化されたピクチャ１のデータを含む１つ又は複数のユニット４２０、ＰＰＳ−２ ４３０、及び符号化されたピクチャ２のデータを含む１つ又は複数のユニット４４０を含む。ＰＰＳ−１ ４１０は、符号化されたピクチャ１のデータ４２０のパラメータを含み、ＰＰＳ―２ ４３０は、符号化されたピクチャ２のデータ４４０のパラメータを含む。
【００６０】
符号化されたピクチャ１のデータ４２０、及び符号化されたピクチャ２のデータ４４０はそれぞれ、特定のＳＰＳ（図４の実現形態におけるＳＰＳ３００）と関連付けられる。このことは、次に説明するように、ポインタを使用することによって達成される。符号化されたピクチャ１のデータ４２０は、矢印４５０で示すように、ＰＰＳ−１ ４１０を識別するＰＰＳ−ＩＤ（図示せず）を含む。ＰＰＳ−ＩＤは例えば、スライス・ヘッダに記憶することができる。符号化されたピクチャ−２のデータ４４０は、矢印４６０に示すように、ＰＰＳ−２ ４３０を識別するＰＰＳ−ＩＤ（図示せず）を含む。ＰＰＳー１ ４１０及びＰＰＳ―２ ４３０はそれぞれ、矢印４７０及び４８０それぞれで示すように、ＳＰＳ３００を識別するＳＰＳ−ＩＤ（図示せず）を含む。
【００６１】
図５を参照すれば、ＳＵＰ ＳＰＳ５００の構造を示す。ＳＵＰ ＳＰＳ ５００は、ＳＰＳ ＩＤ５１０と、「（Ｄ２，Ｔ２，Ｑ２）」で表す単一の更なる層のＨＲＤパラメータ５３０を含むＶＵＩ５２０と、任意の更なるパラメータ５４０とを含む。「Ｄ２，Ｔ２，Ｑ２」は、空間（Ｄ）レベル２、時間（Ｔ）レベル２、及び品質（Ｑ）レベル２を有する第２の層を表す。
【００６２】
種々の番号付け手法を使用して層を表すことができる。１つの番号付け手法では、ベース層は、０、ｘ、０（ゼロの空間レベル、何れでもよい時間レベル、及びゼロの品質レベルを意味する）のＤ、Ｔ、Ｑを有する。前述の番号付け手法では、エンハンスメント層は、Ｄ又はＱがゼロよりも大きなＤ、Ｔ、Ｑを有する。
【００６３】
ＳＵＰ ＳＰＳ５００の使用は例えば、単一層のパラメータのみを含むか、又は層依存性情報を何ら含まないＳＰＳ構造をシステムが使用することを可能にする。前述のシステムは、ベース層を越える更なる層毎に別個のＳＵＰ ＳＰＳを作成することができる。更なる層は、ＳＰＳ ＩＤ５１０の使用によって関連付けられたＳＰＳを識別することが可能である。明らかに、いくつかの層が、共通のＳＰＳ ＩＤをそれぞれのＳＵＰ ＳＰＳユニットにおいて使用することにより、単一のＳＰＳを共有することが可能である。
【００６４】
図６を参照すれば、ＳＰＳユニット６０５並びに、複数のＳＵＰ ＳＰＳユニット６１０及び６２０の間の組織階層６００を示す。ＳＵＰ ＳＰＳユニット６１０及び６２０は、単一層のＳＵＰ ＳＰＳユニットとして示しているが、他の実現形態は、単一層のＳＵＰ ＳＰＳユニットに加えて、又は単一層のＳＵＰ ＳＰＳユニットの代わりに１つ又は複数の複数層ＳＵＰ ＳＰＳユニットを使用することができる。階層６００は、通常のシナリオにおいて、複数のＳＵＰ ＳＰＳユニットを単一のＳＰＳユニットと関連付けることができることを示す。当然、実現形態は複数のＳＰＳユニットを含み得、ＳＰＳユニットそれぞれは、関連付けられたＳＵＰ ＳＰＳユニットを有し得る。
【００６５】
図７を参照すれば、別のＳＵＰ ＳＰＳ７００の構造を示す。ＳＵＰ ＳＰＳ７００は複数層のパラメータを含む一方、ＳＵＰ ＳＰＳ５００は単一層のパラメータを含む。ＳＵＰ ＳＰＳ７００は、ＳＰＳ ＩＤ７１０と、ＶＵＩ７２０と、任意の更なるパラメータ７４０とを含む。ＶＵＩ７２０は、第１の更なる層（Ｄ２，Ｔ２，Ｑ２）、及び層（Ｄｎ，Ｔｎ，Ｑｎ）までの他の更なる層のＨＲＤパラメータ７３０を含む。
【００６６】
もう一度図６を参照すれば、階層６００は、複数層のＳＵＰ ＳＰＳを使用するよう修正することができる。例えば、ＳＵＰ ＳＰＳ６１０及び６２０の組合せは、ＳＵＰ ＳＰＳ６１０及び６２０が、同じＳＰＳ ＩＤを含む場合、ＳＵＰ ＳＰＳ ７００で置き換えることができる。
【００６７】
更に、ＳＵＰ ＳＰＳ ７００は例えば、単一層のパラメータを含むか、若しくは複数層のパラメータを含むＳＰＳ、又は何れの層の層依存性パラメータも含まないＳＰＳとともに使用することができる。ＳＵＰ ＳＰＳ７００は、わずかのオーバヘッドで複数層のパラメータをシステムが提供することを可能にする。
【００６８】
他の実現形態は例えば、考えられる層全てに必要なパラメータ全てを含むＳＰＳに基づき得る。すなわち、前述の実現形態のＳＰＳは、層全てが送信されるか否かにかかわらず、送信に利用可能な対応する空間レベル（Ｄｉ）、時間レベル（Ｔｉ）、及び品質レベル（Ｑｉ）全てを含む。しかし、前述のシステムでも、ＳＵＰ ＳＰＳを使用して、もう一度ＳＰＳ全体を送信することなく１つ又は複数の層のパラメータを変える機能を提供することができる。
【００６９】
表１を参照すれば、単一層のＳＵＰ ＳＰＳの特定の実現形態の構文を提供する。構文は、関連付けられたＳＰＳを識別するためのｓｅｑｕｅｎｃｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ、並びに、スケーラブル層を識別するための、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌの識別子を含む。ＶＵＩパラメータは、ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）の使用によるＨＲＤパラメータを含む、ｓｖｃ＿ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ（）（表２を参照されたい）の使用によって含まれる。以下の構文は、各層が、例えばＨＲＤパラメータなどのそれ自身の層に依存するパラメータを特定することを可能にする。
【００７０】
【表１】
ｓｕｐ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｓｖｃ（）の構文の意味規則は以下の通りである。
【００７１】
ｓｅｑｕｅｎｃｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ は、現在の層について現在のＳＵＰ ＳＰＳがマッピングするシーケンス・パラメータ・セットを識別する。
【００７２】
ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌは、現在の層の時間レベル、依存性識別子及び品質レベルを規定する。Ｄｅｐｅｎｄｅｎｃｙ＿ｉｄは一般に、空間レベルを示す。しかし、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄは、空間及びＳＮＲスケーラビリティを含む粗い粒状スケーラビリティ（「ＣＧＳ」）階層を示すために使用され、ＳＮＲスケーラビリティは、伝統的な品質スケーラビリティである。よって、ｑｕａｌｉｔｙ＿ｌｅｖｅｌ及びｄｅｐｅｎｄｅｎｃｙ＿ｉｄはともに、品質レベルを区別するために使用することができる。
【００７３】
ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｓｖｃ＿ｆｌａｇが１に等しいことは、以下に定義するｓｖｃ＿ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ（）構文構造が存在していることを規定する。ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｓｖｃ＿ｆｌａｇが０に等しいことは、ｓｖｃ＿ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ（）構文構造が存在していないことを規定する。
【００７４】
表２は、ｓｖｃ＿ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ（）の構文を表す。ＶＵＩパラメータはしたがって、層毎に分離され、個々のＳＵＰ ＳＰＳユニットに入れられる。しかし、他の実現形態は、複数層のＶＵＩパラメータを単一のＳＵＰ ＳＰＳにグループ化する。
【００７５】
【表２】
表２のｓｖｃ＿ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ（）構文のフィールドは、ＪＶＴ−Ｕ２０１ ａｎｎｅｘ Ｅ Ｅ．１の下で西暦２００７年４月に存在したＳＶＳ拡張のバージョンに規定されている。特に、ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）は、ＡＶＣ標準について規定された通りである。更に、ｓｖｃ＿ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ（）は、ＨＲＤ関連パラメータを含む種々の層依存性情報を含む。ＨＲＤ関連パラメータは、ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋ、 ｔｉｍｅ＿ｓｃａｌｅ、 ｆｉｘｅｄ＿ｆｒａｍｅ＿ｒａｔｅ＿ｆｌａｇ、 ｎａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ、 ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ、 ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）、 ｌｏｗ＿ｄｅｌａｙ＿ｈｒｄ＿ｆｌａｇ及びｐｉｃ＿ｓｔｒｕｃｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを含む。更に、ｂｉｔｓｒｅａｍ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｆｌａｇのｉｆループにおける構文要素は、ＨＲＤ関連でないが、層に依存する。
【００７６】
前述の通り、ＳＵＰ ＳＰＳは新たなタイプのＮＡＬユニットとして定義される。表３は、標準ＪＶＴ−Ｕ２０１で規定された通りであるが、ＳＵＰ ＳＰＳにタイプ２４を割り当てるよう修正されたＮＡＬユニット・コードの一部を挙げている。ＮＡＬユニット１とＮＡＬユニット１６との間、及びＮＡＬユニット１８とＮＡＬユニット２４との間の省略符号は、前述のタイプが変わらないことを示す。ＮＡＬユニット・タイプ２５とＮＡＬユニット・タイプ３１との間の省略記号は、前述のタイプが全て未規定であることを意味している。以下の表３の実現形態は、標準のタイプ２４を「未規定」から「ｓｕｐ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｓｖｃ（）」に変えている。「未規定」は一般に、ユーザ・アプリケーション用に予約されている。一方、「予約済」は、一般に、将来の標準的な修正用に予約されている。よって、別の実現形態は、「予約済」タイプ（例えば、タイプ１６、１７又は１８）の１つを「ｓｕｐ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｓｖｃ（）」に変える。「未規定」タイプの変更は特定のユーザの実現形態をもたらす一方、「予約済」タイプの変更は、ユーザ全ての標準を変更する実現形態をもたらす。
【００７７】
【表３】
図８は、ＳＵＰ ＳＰＳユニットを生成するスケーラブルなビデオ符号化器８００の実現形態を示す機能図である。ビデオが、スケーラブルなビデオ符号化器１の入力で受信される。ビデオは、種々の空間レベルに応じて符号化される。空間レベルは主に、同じビデオの、異なる分解能レベルを表す。例えば、スケーラブルなビデオ符号化器の入力として、一空間レベルそれぞれを表すＣＩＦ系列（２８８毎に３５２）又はＱＣＩＦ系列（１４４毎に１７６）を有し得る。
【００７８】
空間レベルそれぞれは符号化器に送出される。空間レベル１が符号化器２”に送出され、空間レベル２が符号化器２’に送出され、空間レベルｍが符号化器２に送出される。
【００７９】
空間レベルは、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄを使用して、３ビットで符号化される。したがって、この実現形態における最大空間レベル数は８である。
【００８０】
符号化器２、２’及び２”は、示された空間レベルを有する１つ又は複数の層を符号化する。符号化器２、２’及び２”は、特定の品質レベル及び時間レベルを有するよう企図することができるか、又は品質レベル及び時間レベルは構成可能であり得る。図８から分かるように、符号化器２、２’及び２”は、階層的に構成される。すなわち、符号化器２”は符号化器２’をフィードし、符号化器２’は同様に、符号化器２をフィードする。階層的な構成は、高位層が低位層を参照として使用する通常のシナリオを示す。
【００８１】
符号化後、ヘッダが、層毎に作成される。示した実現形態では、空間レベル毎に、ＳＰＳメッセージ、ＰＰＳメッセージ、及び複数のＳＵＰ＿ＳＰＳメッセージが作成される。ＳＵＰ ＳＰＳメッセージ（又はユニット）は、例えば、各種品質レベル及び時間レベルに対応する層について作成することができる。
【００８２】
空間レベル１の場合、ＳＰＳ及びＰＰＳ ５”が作成され、
【数１】
の組も作成される。
【００８３】
空間レベル２の場合、ＳＰＳ及びＰＰＳ ５’が作成され、
【数２】
の組も作成される。
【００８４】
空間レベルｍの場合、ＳＰＳ及びＰＰＳ ５が作成され、
【数３】
の組も作成される。
【００８５】
符号化器２、２’及び２”によって符号化されたビットストリーム７，７’及び７”は通常、大局ビットストリームにおいて複数のＳＰＳ、ＰＰＳ及びＳＵＰ＿ＳＰＳ（ヘッダ、ユニット、又はメッセージとしても表す）に続く。
【００８６】
ビットストリーム８”は、ＳＰＳ及びＰＰＳ ５”、
【数４】
及び符号化されたビデオ・ビットストリーム７”（空間レベル１に関連付けられた符号化データ全てを構成する）を含む。
【００８７】
ビットストリーム８’は、ＳＰＳ及びＰＰＳ ５’、
【数５】
及び符号化されたビデオ・ビットストリーム７’（空間レベル２に関連付けられた符号化データ全てを構成する）を含む。
【００８８】
ビットストリーム８は、ＳＰＳ及びＰＰＳ ５、
【数６】
及び符号化されたビデオ・ビットストリーム７（空間レベルｍに関連付けられた符号化データ全てを構成する）を含む。
【００８９】
別々のＳＵＰ＿ＳＰＳヘッダは、表１乃至３に表したヘッダに準拠する。
【００９０】
図８に表す符号化器８００は、空間レベル毎に１つのＳＰＳを生成する。しかし、他の実現形態は、空間レベル毎に複数のＳＰＳ３００を生成することができるか、又は複数の空間レベルに対応するＳＰＳを生成することができる。
【００９１】
ビットストリーム８、８’及び８”は、図８に示すように、ＳＶＣビットストリームを生成する多重化器９において合成される。
【００９２】
図９を参照すれば、階層ビュー９００は、ＳＵＰ ＳＰＳユニットを含むデータ・ストリームの生成を示す。ビュー９００は、図８のスケーラブルなビデオ符号化器８００によって生成される考えられるビットストリームを例証するために使用することができる。ビュー９００は、ＳＶＣビットストリームを伝送インタフェース１７に供給する。
【００９３】
ＳＶＣビットストリームは、例えば、図８の実現形態によって生成することができ、空間レベル毎に１つのＳＰＳを含む。ｍ個の空間レベルが符号化されると、ＳＶＣビットストリームは、図９の１０、１０’及び１０”において表すＳＰＳ１、ＳＰＳ２及びＳＰＳｍを備える。
【００９４】
ＳＶＣビットストリームでは、各ＳＰＳは、空間レベルに対する一般的な情報を符号化する。ＳＰＳには、 ＳＵＰ＿ＳＰＳタイプのヘッダ１１、１１’、１１”、１３、１３’、１３”、１５、１５’及び１５”が続く。ＳＵＰ＿ＳＰＳには、対応する符号化ビデオ・データ１２、１２’、１２”、１４、１４’、１４”、１６、１６’及び１６”（それぞれは、１つの時間レベル（ｎ）及び１つの一品質レベル（Ｏ）に対応する）が続く。
【００９５】
したがって、１つの層が伝送されない場合、対応するＳＵＰ＿ＳＰＳも伝送されない。これは、各層に対応するＳＵＰ＿ＳＰＳヘッダが通常１つであるからである。
【００９６】
通常の実現形態は、ベース層がゼロのＤ及びＱを有する層の番号付け手法を使用する。前述の番号付け手法がビュー９００に使用された場合、ビュー９００はベース層を明示的に示さない。これは、ベース層を使用することを排除するものでない。しかし、更に、ビュー９００は、ベース層のビットストリーム、及び、例えば、ベース層の別個のＳＰＳ３００を明示的に示すよう増強することができる。更に、ビュー９００は、ビットストリーム（１，１，１）乃至（ｍ，ｎ，Ｏ）の１つ又は複数がベース層を表す、ベース層の別の番号付け手法を使用することができる。
【００９７】
図１０を参照すれば、図８及び図９の実現形態によって生成されるデータ・ストリーム１０００のブロック図を備える。図１０は、
層（１，１，１）：空間レベル１、時間レベル１、品質レベル１（ブロック１０、１１及び１２の伝送を含む）、
層（１，２，１）：品質レベル１、時間レベル２、品質レベル１（ブロック１１’及び１２’の更なる伝送を含む）、
層（２，１，１）：品質レベル２、時間レベル１、品質レベル１（ブロック１０’、１３及び１４の更なる伝送を含む）、
層（３，１，１）：空間レベル３、時間レベル１、品質レベル１（ブロック１０”，１５及び１６の更なる伝送を含む）、
層（３，２，１）、空間レベル３、時間レベル２、品質レベル１（ブロック１５’及び１６’の更なる伝送を含む）、
層（３，３，１）、空間レベル３、時間レベル３、品質レベル１（ブロック１５”及び１６”の更なる伝送を含む）
の層の伝送を示す。
【００９８】
データ・ストリーム１０００のブロック図は、ＳＰＳ１０は一回のみ送出され、層（１，１，１）及び層（１，２，１）によって使用され、ＳＰＳ１０”は一回のみ送出され、層（３，１，１）、層（３，２，１）及び層（３，３，１）それぞれによって使用される。更に、データ・ストリーム１０００は、層全てのパラメータが送信される訳でなく、送信層に対応するパラメータのみが送信される。例えば、
【数７】
に対応する、層（２，２，１）のパラメータは、前述の層が送信されないので送信されない。このことにより、前述の実現形態の効率がもたらされる。
【００９９】
図１１を参照すれば、符号化器１１００は、ＳＰＳ生成装置１１１０と、ビデオ符号化器１１２０と、フォーマッティング器１１３０とを備える。ビデオ符号化器１１２０は、入力ビデオを受信し、入力ビデオを符号化し、符号化入力ビデオをフォーマッティング器１１３０に供給する。符号化入力ビデオは例として、例えば符号化ベース層や符号化エンハンスメント層などの複数の層を含み得る。ＳＰＳ生成装置１１１０は、例えば、ＳＰＳユニットやＳＵＰ ＳＰＳユニットなどのヘッダ情報を生成し、ヘッダ情報をフォーマッティング器１１３０に供給する。ＳＰＳ生成装置１１１０は更に、入力ビデオの符号化においてビデオ符号化器１１２０によって使用されるパラメータを供給するためにビデオ符号化器１１２０と通信する。
【０１００】
ＳＰＳ生成装置１１１０は例えば、ＳＰＳ ＮＡＬユニットを生成するよう構成することができる。ＳＰＳ ＮＡＬユニットは、画像系列の第１の層の符号化の復号化において使用するためのパラメータを表す情報を含み得る。ＳＰＳ生成装置１１１０は、例えば、ＳＰＳ ＮＡＬユニットとは別の構造を有するＳＵＰ ＮＡＬユニットを生成するよう構成することもできる。ＳＵＰ ＳＰＳ ＮＡＬユニットは、画像系列の第２の層の符号化の復号化において使用するためのパラメータを表す情報を含み得る。第１の層の符号化及び第２の層の符号化は、ビデオ符号化器１１２０によってもたらされ得る。
【０１０１】
フォーマッティング器１１３０は、ビデオ符号化器１１２０からの符号化ビデオ、及びＳＰＳ生成装置１１１０からのヘッダ情報を多重化して、出力符号化されたビットストリームを生成する。符号化されたビットストリームは、画像系列の第１の層の符号化、画像系列の第２の層の符号化、ＳＰＳ ＮＡＬユニット、及びＳＵＰ ＳＰＳ ＮＡＬユニットを含むデータの組であり得る。
【０１０２】
符号化器１１００の構成部分１１１０、１１２０及び１１３０は多くの形態をとり得る。構成部分１１１０、１１２０及び１１３０のうちの１つ又は複数は、ハードウェア、ソフトウェア、ファームウェア、又は組合せを含み得、例えば、符号化器として機能するようソフトウェアによって構成された汎用プロセッサ又は専用符号化器などの種々のプラットフォームから動作させることができる。
【０１０３】
図８及び図１１を比較することができる。ＳＰＳ生成装置１１１０は、図８に示す種々の
【数８】
及びＳＰＳを生成することができる。ビデオ符号化器１１２０は、図８に示すビットストリーム７、７’、７”（入力ビデオの符号化である）を生成することができる。ビデオ符号化器１１２０は例えば、符号化器２、２’又は２”のうちの１つ又は複数に相当し得る。フォーマッティング器１１３０は、参照符号８、８’、８”によって示す階層的に構成されたデータを生成し、図８のＳＶＣビットストリームを生成するよう多重化器９の動作を行うことができる。
【０１０４】
図１及び図１１も比較することができる。ビデオ符号化器１１２０は、例えば、図１のブロック１０４及び１８７に対応し得る。フォーマッティング器１１３０は例えば、多重化器１７０に対応し得る。ＳＰＳ生成装置１１１０は図１に明示的に示していないが、ＳＰＳ生成装置１１１０の機能は例えば、多重化器１７０によって行うことができる。
【０１０５】
符号化器１１００の他の実現形態は、例えば、データが予め符号化されているので、ビデオ符号化器１１２０を含まない。符号化器１１００は、更なる出力を備え、構成部分間の更なる通信を備えることもできる。符号化器１１００は、例えば、既存の構成部分間に配置され得る更なる構成部分を備えるよう修正することもできる。
【０１０６】
図１２を参照すれば、符号化器１１００と同様に動作する符号化器１２００を示す。符号化器１２００は、プロセッサ１２２０と通信するメモリ１２１０を含む。メモリ１２１０は例えば、入力ビデオを記憶し、符号化若しくは復号化パラメータを記憶し、符号化処理中に中間結果若しくは最終結果を記憶し、又は、符号化方法を実行するための命令を記憶するために使用することができる。前述の記憶装置は、一時的なものであっても永久的なものであってもよい。
【０１０７】
プロセッサ１２２０は、入力ビデオを受信し、入力ビデオを符号化する。プロセッサ１２２０は更に、ヘッダ情報を生成し、ヘッダ情報及び符号化入力ビデオを含む符号化ビットストリームをフォーマッティングする。符号化器１１００と同様に、プロセッサ１２２０によって供給されるヘッダ情報は、複数の層のヘッダ情報を伝えるための別個の構造を含み得る。プロセッサ１２２０は、例えば、プロセッサ１２２０又はメモリ１２１０に記憶されているか、プロセッサ１２２０又はメモリ１２１０に他の方法で常駐しているか、又は、プロセッサ１２２０又はメモリ１２１０の一部である命令に応じて動作し得る。
【０１０８】
図１３を参照すれば、入力ビデオを符号化するための処理１３００を示す。処理１３００は例えば、符号化器１１００又は１２００によって行うことができる。
【０１０９】
処理１３００は、ＳＰＳ ＮＡＬユニットを生成する工程（１３１０）を含む。ＳＰＳ ＮＡＬユニットは、画像系列の第１の層の符号化の復号化において使用するためのパラメータを表す情報を含む。ＳＰＳ ＮＡＬユニットは符号化標準によって規定してもしなくてもよい。ＳＰＳ ＮＡＬユニットが符号化標準によって規定される場合、符号化標準は、復号化器が、受信されたＳＰＳ ＮＡＬユニットに応じて動作することを必要とし得る。前述の要件は、一般に、ＳＰＳ ＮＡＬユニットが「規範的である」と示すことによって表される。例えば、ＳＰＳはＡＶＣ標準において規範的である一方、例えば、付加拡張情報（「ＳＥＩ」）メッセージは規範的でない。よって、ＡＶＣ互換復号化器は、受信ＳＥＩメッセージを無視し得るが、受信ＳＰＳに応じて動作しなければならない。
【０１１０】
ＳＰＳ ＮＡＬユニットは、第１の層を復号化するための１つ又は複数のパラメータを表す情報を含む。パラメータは例えば、層に依存する情報であっても層に依存しない情報であってもよい。通常、層に依存するパラメータの例には、ＶＵＩパラメータ又はＨＲＤパラメータが含まれる。
【０１１１】
動作１３１０は例えば、ＳＰＳ生成装置１１１０、プロセッサ１２２０、又はＳＰＳ及びＰＰＳ挿入器２１４０によって行うことができる。動作１３１０は更に、図８中のブロック５、５’、５”の何れかにおけるＳＰＳの生成に対応し得る。
【０１１２】
よって、動作１３１０、すなわち、ＳＰＳ ＮＡＬユニットの生成、を行う手段は種々の構成部分を含み得る。例えば、前述の手段は、ＳＰＳ５、５’、５”を生成するモジュール、図１、８、１１若しくは１２の符号化器システム全体、ＳＰＳ生成装置１１１０、プロセッサ１２２０、又はＳＰＳ及びＰＰＳ挿入器２１４０、あるいは、既知の符号化器及び将来開発される符号化器を含むそれらの均等物を含み得る。
【０１１３】
処理１３００は、ＳＰＳ ＮＡＬユニットとは別の構造を有する補助（「ＳＵＰ」）ＳＰＳ ＮＡＬユニットを生成する工程（１３０２）を含む。ＳＵＰ ＳＰＳ ＮＡＬユニットは、画像系列の第２の層の符号化の復号化において使用するためのパラメータを表す情報を含む。ＳＵＰ ＳＰＳ ＮＡＬユニットは符号化標準によって規定してもしなくてもよい。ＳＵＰ ＳＰＳ ＮＡＬユニットが符号化標準によって規定される場合、符号化標準は、復号化器が、受信されたＳＵＰ ＳＰＳ ＮＡＬユニットに応じて動作することを必要とし得る。同亜１３１０に関して上述した通り、前述の要件は、一般に、ＳＵＰ ＳＰＳ ＮＡＬユニットが「規範的である」旨を示すことによって表される。
【０１１４】
種々の実現形態は、規範的ＳＵＰ ＳＰＳメッセージを含む。例えば、ＳＵＰ ＳＰＳメッセージは、２つ以上の層を復号化する復号化器（例えば、ＳＶＣ互換復号化器）について規範的であり得る。前述のマルチレイヤ復号化器（例えば、ＳＶＣ互換復号化器）は、ＳＵＰ ＳＰＳ メッセージにおいて伝えられた情報に応じて動作することが必要になる。しかし、単一層復号化器（例えば、ＡＶＣ互換復号化器）は、ＳＵＰ ＳＰＳメッセージを無視し得る。別の例として、ＳＵＰ ＳＰＳメッセージは、単一層及び複数層の復号化器を含む復号化器全てについて規範的であり得る。ＳＵＰ ＳＰＳ メッセージが概ね、ＳＰＳメッセージに基づいており、ＳＰＳメッセージがＡＶＣ標準並びにＳＶＣ及びＭＶＣ拡張において規範的であるので、多くの実現形態が、規範的ＳＵＰ ＳＰＳメッセージを含むことは、驚くほどでない。すなわち、ＳＵＰ ＳＰＳ メッセージは、同様のデータをＳＰＳメッセージとして収容し、ＳＰＳメッセージと同様な目的を担い、ＳＰＳメッセージのタイプとみなし得る。規範的ＳＵＰ ＳＰＳ メッセージを有する実現形態は互換性の利点をもたらし、例えば、ＡＶＣ及びＳＶＣ復号化器が、共通のデータ・ストリームを受信することを可能にし得る。
【０１１５】
（ＳＵＰ ＳＰＳメッセージとしても表す）ＳＵＰ ＳＰＳ ＮＡＬユニットは、第２の層を復号化するための１つ又は複数のパラメータを含む。パラメータは例えば、層に依存する情報であっても層に依存しない情報であってもよい。特定の例には、ＶＵＩパラメータやＨＲＤパラメータがある。ＳＵＰ ＳＰＳは、第２の層の復号化に使用されることに加え、第１の層の復号化にも使用することができる。
【０１１６】
動作１３２０は例えば、ＳＰＳ生成装置１１１０、プロセッサ１２２０、又はＳＰＳ及びＰＰＳ挿入器２１４０と同様なモジュールよって行うことができる。動作１３２０は更に、図８中のブロック６、６’、６”の何れかにおけるＳＵＰ＿ＳＰＳ の生成に相当し得る。
【０１１７】
よって、動作１３２０、すなわち、ＳＵＰ ＳＰＳ ＮＡＬユニットの生成、を行う手段は種々の構成部分を含み得る。例えば、前述の手段は、ＳＵＰ＿ＳＰＳ６、６’又は６”を生成するモジュール、図１、図８、図１１若しくは図１２の符号化器システム全体、ＳＰＳ生成装置１１１０、プロセッサ１２２０、又はＳＰＳ及びＰＰＳ挿入器２１４０と同様のモジュール、あるいは、既知の符号化器及び将来開発される符号化器を含むそれらの均等物を含み得る。
【０１１８】
処理１３００は、画像系列の第１の層の符号化（例えば、ベース層）の符号化、及び画像系列の第２の層の符号化（１３３０）を含む。画像系列の前述の符号化は、第１の層の符号化及び第２の層の符号化をもたらす。第１の層の符号化は、第１の層の符号化ユニットとして表す一連のユニットにフォーマッティングすることができ、第２の層の符号化は、第２の層の符号化ユニットとして表す一連のユニットにフォーマッティングすることができる。動作１３３０は、例えば、ビデオ符号化器１１２０、プロセッサ１２２０、図８の符号化器２，２’、２”、又は図１の実現形態によって行うことができる。
【０１１９】
よって、動作１３３０を行う手段は種々の構成部分を含み得る。例えば、前述の手段は、符号化器２、２’若しくは２”、図１、８、１１若しくは１２の符号化器システム全体、ビデオ符号化器１１２０、プロセッサ１２２０、又は１つ若しくは複数のコア符号化器１８７（場合によっては、デシメーション・モジュール１０４を含む）、あるいは既知の符号化器及び将来開発される符号化器を含む均等物を含み得る。
【０１２０】
処理１３００は、データの組を供給する工程（１３４０）を含む。上記データの組は、画像系列の第１の層の符号化、画像系列の第２の層の符号化、ＳＰＳ ＮＡＬユニット、及びＳＵＰ ＳＰＳ ＮＡＬユニットを含む。上記データの組は、例えば、メモリに記憶されるか、あるいは１つ又は複数の復号化器に送信されるよう、既知の標準に応じて符号化され得る。動作１３４０は例えば、図１のフォーマッティング器１１３０、プロセッサ１２２０又は多重化器１７０によって行うことができる。動作１３４０は、ビットストリーム ８、 ８’若しくは８”の何れかの生成、並びに多重化されたＳＶＣビットストリームの生成により、図８において行うこともできる。
【０１２１】
よって、動作１３４０（すなわち、データの組の供給）を行う手段は種々の構成部分を含み得る。例えば、前述の手段は、８、８’若しくは８”を生成するモジュール、多重化器９、図１、８、１１若しくは１２の符号化器システム全体、フォーマッティング器１１３０、プロセッサ１２２０、又は多重化器１７０、あるいは既知の符号化器及び将来開発される符号化器を含むそれらの均等物を含み得る。
【０１２２】
処理１３００は種々のやり方で修正することができる。例えば、動作１３３０は、例えば、データが予め符号化されている実現形態において処理１３００から除外することができる。更に、動作１３３０の除外に加え、動作１３４０は、複数の層の記述ユニットの生成に関する処理を提供するよう除外することができる。
【０１２３】
図１４を参照すれば、例えば、処理１３００によって生成することができるデータ・ストリーム１４００を示す。データ・ストリーム１４００は、ＳＰＳ ＮＡＬユニットの一部分１４１０と、ＳＵＰ ＳＰＳ ＮＡＬユニットの一部分１４２０と、第１の層の符号化データの一部分１４３０と、第２の層の符号化データの一部分１４４０とを含む。第１の層の符号化データ１４３０は、第１の層の符号化ユニットとしてフォーマッティングすることができる第１の層の符号化である。第２の層の符号化データ１４４０は、第２の層の符号化ユニットとしてフォーマッティングすることができる第２の層の符号化である。データ・ストリーム１４００は、部分１４４０後に付加するか、部分１４１０ー１４４０間で分散させることができる更なる部分を含み得る。更に、他の実現形態は部分１４１０乃至１４４０のうちの１つ又は複数を修正することができる。
【０１２４】
データ・ストリーム１４００は、図９及び図１０と比較することができる。ＳＰＳ ＮＡＬユニット１４１０は例えば、ＳＰＳ１ １０、 ＳＰＳ２ １０’及びＳＰＳｍ １０”の何れかであり得る。ＳＵＰ ＳＰＳ ＮＡＬユニット１４２０は例えば、ＳＵＰ＿ＳＰＳヘッダ１１、１１’、１１”、１３、１３’、１３”、１５、１５’及び１５”の何れかであり得る。第１の層の符号化データ１４３０及び第２の層の符号化データ１４４０は、層ビットストリーム（１，１，１）１２乃至（ｍ，ｎ，Ｏ）１６”として示し、ビットストリーム１２、１２’、１２”、１４、１４’、１４”、１６、１６’及び１６”のビットストリームを含む、個々の層のビットストリームの何れかであり得る。第１の層の符号化データ１４３０が、第２の層の符号化データ１４４０よりも高いレベルの組を備えたビットストリームであることが考えられる。例えば、第１の層の符号化データ１４３０は、層ビットストリーム（２，２，１）１４’であり得、第２の層の符号化データ１４４０は、層ビットストリーム（１，１，１）１２であり得る。
【０１２５】
データ・ストリーム１４００の実現形態はデ―タ・ストリーム１０００にも対応し得る。ＳＰＳ ＮＡＬユニット１４１０はデータ・ストリーム１０００のＳＰＳモジュール１０に対応し得る。ＳＵＰ ＳＰＳ ＮＡＬユニット１４２０はデータ・ストリーム１０００のＳＵＰ＿ＳＰＳモジュール１１に対応し得る。第１の層の符号化データ１４３０は、データ・ストリーム１０００の層ビットストリーム（１，１，１）に対応し得る。第２の層の符号化データ１４４０はデータ・ストリーム１０００の層ビットストリーム（１，２，１）１２’に対応し得る。データ・ストリーム１０００のＳＵＰ＿ＳＰＳモジュール１１’は、第１の層の符号化データ１４３０と第２の層の符号化データ１４４０との間で分散し得る。データ・ストリーム１０００に示す残りのブロック（１０’乃至１６”）は、データ・ストリーム１０００に示す順序と同じ順序でデータ・ストリーム１４００に付加し得る。
【０１２６】
図９及び図１０は、ＳＰＳモジュールが層特有パラメータを何ら含まないことを示唆し得る。種々の実現形態は、実際にこのようにして動作し、通常、層毎にＳＵＰ＿ＳＰＳを必要とする。しかし、他の実現形態は、ＳＰＳが、１つ又は複数の層の層特有パラメータを含めることを可能にし、よって、ＳＵＰ＿ＳＰＳを必要とすることなく１つ又は複数の層を伝送することを可能にする。
【０１２７】
図９及び図１０は、各空間レベルがそれ自身のＳＰＳを有することを示唆している。他の実現形態はこの構成を変えている。例えば、他の実現形態は、時間レベル毎に、又は品質レベル毎に別個のＳＰＳを備える。なお他の実現形態は層毎の別個のＳＰＳを備え、他の実現形態は、層全てを扱う単一のＳＰＳを備える。
【０１２８】
図１５を参照すれば、復号化器１５００は、例えば、符号化器１１００、符号化器１２００、処理１３００によって供給される符号化ビットストリームやデータ・ストリーム１４００などを受信する解析装置１５１０を含む。解析装置１５１０は復号化器１５２０に結合される。
【０１２９】
解析装置１５１０は、ＳＰＳ ＮＡＬユニットからの情報にアクセスするよう構成される。ＳＰＳ ＮＡＬユニットからの情報は、画像系列の第１の層の符号化の復号化において使用するためのパラメータを表す。解析装置１５１０は、ＳＰＳ ＮＡＬユニットとは別の構造を有するＳＵＰ ＳＰＳ ＮＡＬユニットからの情報にアクセスするよう更に構成される。ＳＵＰ ＳＰＳ ＮＡＬユニットからの情報は、画像系列の第２の層の符号化の復号化において使用するためのパラメータを表す。図１３に関して上述したように、パラメータは層に依存するものであってもなくてもよい。
【０１３０】
解析装置１５１０は、解析されたヘッダ・データを出力として供給する。ヘッダ・データは、ＳＰＳ ＮＡＬユニットからアクセスされた情報を含み、ＳＵＰ ＳＰＳ ＮＡＬユニットからアクセスされた情報も含む。解析装置１５１０は更に、解析された符号化ビデオ・データを出力として供給する。符号化ビデオ・データは、第１の層の符号化及び第２の層の符号化を含む。ヘッダ・データ及び符号化ビデオ・データは復号化器１５２０に供給される。
【０１３１】
復号化器１５２０は、ＳＰＳ ＮＡＬユニットからアクセスされる情報を使用して第１の層の符号化を復号化する。復号化器１５２０は更に、ＳＵＰ ＳＰＳ ＮＡＬユニットからアクセスされた情報を使用して第２の層の符号化を復号化する。復号化器１５２０は更に、復号化された第１の層及び／又は復号化された第２の層に基づいて画像系列の再構成を更に生成する。復号化器１５２０は、再構成されたビデオを出力として供給する。再構成されたビデオは例えば、第１の層の符号化の再構成、又は第２の層の符号化の再構成であり得る。
【０１３２】
図１５、図２及び図２ａを比較すれば、解析装置１５１０は例えば、一部の実現形態では、逆多重化器２０２、並びに／又は、エントロピ復号化器２０４、２１２、２２２若しくは２２４５のうちの１つ若しくは複数に対応し得る。復号化器１５２０は、例えば、図２中の残りのブロックに対応し得る。
【０１３３】
復号化器１５００は更に、更なる出力を備え、構成部分間の更なる通信を備えることもできる。復号化器１５００は更に、例えば、既存の構成部分間に配置し得る更なる構成部分を設けるよう修正することができる。
【０１３４】
復号化器１５００の構成部分１５１０及び１５２０は多くの形態をとり得る。構成部分１５１０及び１５２０の１つ又は複数はハードウェア、ソフトウェア、ファームウェア、又は組合せを含み得、例えば、専用復号化器、又は、復号化器として機能するようソフトウェアによって構成された汎用プロセッサなどの種々のプラットフォームから動作させることができる。
【０１３５】
図１６を参照すれば、復号化器１５００と同様に動作する復号化器１６００を示す。復号化器１６００は、プロセッサ１６２０と通信するメモリ１６１０を含む。メモリ１６１０は例えば、入力された符号化ビットストリームを記憶し、復号化若しくは符号化パラメータを記憶し、復号化処理中に中間結果若しくは最終結果を記憶し、又は、復号化方法を実行するための命令を記憶するために使用することができる。前述の記憶装置は、一時的なものであっても永久的なものであってもよい。
【０１３６】
プロセッサ１６２０は、符号化ビットストリームを受信し、符号化ビットストリームを再構成ビデオに復号化する。符号化ビットストリームは例えば、（１）画像系列の第１の層の符号化と、（２）画像系列の第２の層の符号化と、（３）第１の層の符号化の復号化に使用するためのパラメータを表す情報を有するＳＰＳ ＮＡＬユニットと、（４）ＳＰＳ ＮＡＬユニットと別の構造を有し、第２の層の符号化の復号化に使用するためのパラメータを表す情報を有するＳＵＰ ＳＰＳ ＮＡＬユニットとを含む。
【０１３７】
プロセッサ１６２０は、少なくとも、第１の層の符号化、第２の層の符号化、ＳＰＳ ＮＡＬユニットからの情報、及びＳＵＰ ＳＰＳ ＮＡＬユニットからの情報に基づいて再構成ビデオを生成する。再構成されたビデオは例えば、第１の層の符号化の再構成、又は第２の層の符号化の再構成であり得る。プロセッサ１６２０は、例えば、プロセッサ１６２０又はメモリ１６１０に記憶されているか、プロセッサ１６２０又はメモリ１６１０に他の方法で常駐しているか、又は、プロセッサ１６２０又はメモリ１６１０の一部である命令に応じて動作し得る。
【０１３８】
図１７を参照すれば、符号化ビットストリームを復号化するための処理１７００を示す。処理１７００は例えば、復号化器１５００又は１６００によって行うことができる。
【０１３９】
処理１７００は、ＳＰＳ ＮＡＬユニットからの情報にアクセスする工程（１７１０）を含む。アクセスされた情報は、画像系列の第１の層の符号化の復号化において使用するためのパラメータを表す。
【０１４０】
ＳＰＳ ＮＡＬユニットは、図１３に関して上述したようなものであり得る。更に、アクセス情報は例えば、ＨＲＤパラメータであり得る。動作１７１０は例えば、解析装置１５１０、プロセッサ１６２０、エントロピ復号化器２０４、２１２、２２２、若しくは２２４５、又は復号化器制御２２０５によって行うことができる。動作１７１０は更に、符号化器の１つ又は複数の構成部分により、符号化器で再構成処理において行うことができる。
【０１４１】
よって、動作１７１０、すなわち、ＳＰＳ ＮＡＬユニットからの情報へのアクセス、を行う手段は種々の構成部分を含み得る。例えば、前述の手段は、解析装置１５１０、プロセッサ１６２０、単一層復号化器、図２、図１５若しくは図１６の復号化器システム全体、又は、復号化器の１つ若しくは複数の構成部分、あるいは、符号化器８００、１１１０若しくは１２００の１つ又は複数の構成部分、あるいは、既知の復号化器及び符号化器、並びに将来に開発される復号化器及び符号化器を含むそれらの均等物を含み得る。
【０１４２】
処理１７００は、ＳＰＳ ＮＡＬユニットとは別の構造を有するＳＵＰ ＳＰＳ ＮＡＬユニットからの情報にアクセスする工程（１７２０）を含む。ＳＵＰ ＳＰＳ ＮＡＬユニットからアクセスされた情報は、画像系列の第２の層の符号化の復号化において使用するためのパラメータを表す。
【０１４３】
ＳＵＰ ＳＰＳ ＮＡＬユニットは、図１３に関して上述したようなものであり得る。更に、アクセス情報は例えば、ＨＲＤパラメータであり得る。動作１７２０は例えば、解析装置１５１０、プロセッサ１６２０、エントロピ復号化器２０４、２１２、２２２、若しくは２２４５、又は復号化器制御２２０５によって行うことができる。動作１７２０は更に、符号化器の１つ又は複数の構成部分により、符号化器で再構成処理において行うことができる。
【０１４４】
よって、動作１７２０、すなわち、ＳＵＰ ＳＰＳ ＮＡＬユニットからの情報へのアクセス、を行う手段は種々の構成部分を含み得る。例えば、前述の手段は、解析装置１５１０、プロセッサ１６２０、逆多重化器２０２、エントロピ復号化器２０４、２１２若しくは２２２、単一層復号化器、又は、復号化器システム２００、１５００若しくは１６００全体、あるいは符号化器８００、１１００若しくは１２００の１つ若しくは複数の構成部分、あるいは既知の復号化器及び符号化器を含むそれらの均等物を含み得る。
【０１４５】
動作１７００は、画像系列の第１の層の符号化及び第２の層の符号化にアクセスする工程（１７３０）を含む。第１の層の符号化は第１の層の符号化ユニットにフォーマッティングされていることがあり得、第２の層の符号化は第２の層の符号化ユニットにフォーマッティングされていることがあり得る。動作１７３０は例えば、解析装置１５１０、復号化器１５２０、プロセッサ１６２０、エントロピ復号化器２０４、２１２、２２２若しくは２２４５、又はエントロピ復号化器の下流の種々の他のブロックによって行うことができる。動作１７３０は更に、符号化器の１つ又は複数の構成部分により、符号化器での再構成処理において行うことができる。
【０１４６】
よって、動作１７３０を行う手段は種々の構成部分を含み得る。例えば、前述の手段は、解析装置１５１０、復号化器１５２０、プロセッサ１６２０、逆多重化器２０２、エントロピ復号化器２０４、２１２若しくは２２２、単一層復号化器、ビットストリーム受信器、受信装置、又は、復号化器システム２００、１５００又は１６００の全体、あるいは、復号化器の１つ若しくは複数の構成部分、あるいは、符号化器８００、１１１０若しくは１２００の１つ又は複数の構成部分、あるいは、既知の復号化器及び符号化器、並びに将来に開発される復号化器及び符号化器を含むそれらの均等物を含み得る。
【０１４７】
処理１７００は、画像の系列の復号化を生成する工程（１７４０）を含む。画像系列の復号化は、第１の層の符号化、第２の層の符号化、ＳＰＳ ＮＡＬユニットからのアクセス情報、及びＳＵＰ ＳＰＳ ＮＡＬユニットからのアクセス情報に基づき得る。動作１７４０は例えば、復号化器１５２０、プロセッサ１６２０、又は逆多重化器２０２及び入力バッファ２２１０の下流の種々のブロックによって行うことができる。動作１７４０は更に、符号化器の１つ又は複数の構成部分により、符号化器で再構成処理において行うことができる。
【０１４８】
よって、動作１７４０を行う手段は種々の構成部分を含み得る。例えば、前述の手段は、復号化器１５３０、プロセッサ１６２０、単一層復号化器、復号化器システム２００、１５００若しくは１６００の全体、又は再構成を行う符号化器、復号化器のうちの１つ又は複数の構成部分、あるいは、符号化器８００、１１００及び１２００の１つ又は複数の構成部分、あるいは、既知の復号化器若しくは符号化器、及び将来開発される復号化器若しくは符号化器を含むそれらの均等物を含み得る。
【０１４９】
別の実現形態は、第１の規範的パラメータ・セットにおける第１の層に依存する情報にアクセスする工程を含む符号化方法を行う。アクセスされた、第１の層に依存する情報は、画像系列の第１の層の符号化の復号化において使用するためのものである。第１の規範的パラメータ・セットは例えば、ＨＲＤ関連パラメータ又は他の層依存性情報を含むＳＰＳであり得る。しかし、第１の規範的パラメータ・セットはＳＰＳでなくてよく、Ｈ．２６４標準に関係していなくてよい。
【０１５０】
当該パラメータ・セットが受信された場合に第１のパラメータ・セットに応じて復号化器が動作することを必要とする、第１のパラメータ・セットが規範的であることに加えて、第１のパラメータ・セットは、実現形態において受信されることも必要とし得る。すなわち、実現形態は、第１のパラメータ・セットを復号化器に供給することを必要とし得る。
【０１５１】
この実現形態の符号化方法は、第２の規範的パラメータ・セットにおける第２の層に依存する情報にアクセスする工程を更に含む。第２の規範的パラメータ・セットは、第１の規範的パラメータ・セットとは別の構造を有する。更に、アクセスされた、第２の層に依存する情報は、画像系列の第２の層の符号化の復号化において使用するためのものである。第２の規範的パラメータ・セットは例えば、補助ＳＰＳであり得る。補助ＳＰＳは、例えばＳＰＳとは別の構造を有する。補助ＳＰＳは、（第１の層とは別の）第２の層のＨＲＤパラメータ又は他の層依存性情報を更に含む。
【０１５２】
この実現形態の符号化方法は更に、アクセスされた、第１の層に依存する情報、及びアクセスされた、第２の層に依存する情報のうちの１つ又は複数に基づいて画像系列を復号化する工程を更に含む。これは例えば、ベース層又はエンハンスメント層の復号化を含み得る。
【０１５３】
対応する装置は、この実現形態の符号化手法を実現するために他の実現形態においても備えられる。前述の装置は例えば、プログラムされた符号化器、プログラムされたプロセッサ、ハードウェア実現形態、又は、符号化方法を行うための命令を有するプロセッサ読み取り可能な媒体を含む。システム１１００及び１２００は例えば、この実現形態の符号化方法を実現することができる。
【０１５４】
対応する信号、及び前述の信号又は前述の信号のデータを記憶する媒体も提供される。前述の信号は、例えば、この実現形態の符号化方法を行う符号化器によって生成される。
【０１５５】
別の実現形態は、上記符号化方法と同様な復号化手法を行う。復号化方法は、第１の層に依存する情報を含む第１の規範的パラメータ・セットを生成する工程を含む。第１の層に依存する情報は、画像系列の第１の層の符号化の復号化において使用するためのものである。復号化方法は、第１の規範的パラメータ・セットとは別の構造を有する第２の規範的パラメータ・セットを生成する工程も含む。第２の規範的パラメータ・セットは、画像系列の第２の層の符号化の復号化において使用するための第２の層に依存する情報を含む。復号化方法は、第１の規範的パラメータ・セット及び第２の規範的パラメータ・セットを含むデータの組を供給する工程を更に含む。
【０１５６】
対応する装置は、この実現形態の上記符号化手法を実現するために他の実現形態においても備えられる。前述の装置は例えば、プログラムされた復号化器、プログラムされたプロセッサ、ハードウェア実現形態、又は、復号化方法を行うための命令を有するプロセッサ読み取り可能な媒体を含む。システム１５００及び１６００は例えば、この実現形態の復号化方法を実現することができる。
【０１５７】
例えば、「補助ＳＰＳ」を表す場合に、上記「補助」の語は、説明的な語である。そういうものとして、「補助ＳＰＳ」は、ユニット名において「補助」の語を含まないユニットを排除するものでない。よって、かつ例として、ＳＶＣ拡張の現在のドラフトは、「サブセットＳＰＳ」構文構造を規定しており、「サブセットＳＰＳ」構文構造は、記述的な語「補助」によって完全に包含される。現在のＳＶＣ拡張の「サブセットＳＰＳ」は、本明細書及び特許請求の範囲記載のＳＵＰ ＳＰＳの一実現形態である。
【０１５８】
実現形態は、ＳＰＳ ＮＡＬユニット及び／若しくはＳＵＰ ＳＰＳ ＮＡＬユニットに加えて、又はＳＰＳ ＮＡＬユニット及び／若しくはＳＵＰ ＳＰＳ ＮＡＬユニットの代わりとして他のタイプのメッセージを使用することができる。例えば、少なくとも１つの実現形態は、層依存性情報を有する他のパラメータ・セットを生成し、送信し、受信し、上記他のパラメータ・セットにアクセスし、上記他のパラメータ・セットを解析する。
【０１５９】
更に、ＳＰＳ及び補助ＳＰＳは、概ねＨ．２６４標準の意味合いで説明しているが、他の標準は更に、ＳＰＳ、補助ＳＰＳ、又は、ＳＰＳ若しくは補助ＳＰＳの変形を含み得る。よって、他の標準（既存又は将来開発される）は、ＳＰＳ又は補助ＳＰＳとして表す構造を含み得、前述の構造は、本明細書及び特許請求の範囲記載のＳＰＳ及び補助ＳＰＳと同一であるか、上記ＳＰＳ及び補助ＳＰＳの変形であり得る。前述の他の標準は例えば、現在のＨ．２６４標準に関係し得る（例えば、既存のＨ．２６４標準に対する修正）か、又は全く新たな標準であり得る。あるいは、他の標準（既存又は将来開発される）は、ＳＰＳ又は補助ＳＰＳとして表さない構造を含み得るが、前述の構造は、本明細書及び特許請求の範囲記載のＳＰＳ及び補助ＳＰＳと同一であるか、上記ＳＰＳ及び補助ＳＰＳの変形であり得る。
【０１６０】
パラメータ・セットは、パラメータを含むデータの組（例えば、ＳＰＳ、ＰＰＳ、又は補助ＳＰＳ）である。
【０１６１】
種々の実現形態では、データに「アクセスされる」としている。データに「アクセスする」工程は例えば、データを受信する工程、データを記憶する工程、データを送信する工程、又はデータを処理する工程を含み得る。
【０１６２】
種々の実現形態を記載し、説明している。前述の実現形態は、種々の課題を解決するために使用することが可能である。（層としても表す）複数のインターオペラビリティ・ポイント（ＩＯＰ）が、ＳＰＳに通常収容されるパラメータの種々の値を必要とする場合に、前述の課題の１つが生じる。同じＳＰＳ識別子を有する別々の層についてＳＰＳにおいて層依存性構文要素を送信する方法で適切なものは存在していない。前述の層毎の別個のＳＰＳデータを送出することは問題となる。例えば、多くの既存のシステムでは、ベース層及びその複合時間層は同じＳＰＳ識別子を共有する。
【０１６３】
いくつかの実現形態は、補助ＳＰＳデータについて別のＮＡＬユニット・タイプを備える。よって、複数のＮＡＬユニットを送出することができ、各ＮＡＬユニットは別のＳＶＣ層の補助ＳＰＳ情報を含み得るが、各ＮＡＬユニットは同じＮＡＬユニット・タイプによって識別することができる。補助ＳＰＳ情報は、一実現形態では、現在のＳＶＣ拡張の「サブセットＳＰＳ」ＮＡＬユニット・タイプにおいて供給することができる。
【０１６４】
本明細書及び特許請求の範囲記載の実現形態は、ＳＶＣ拡張又は何れかの他の標準に制限されるものでない。本明細書及び特許請求の範囲記載の概念及び特徴は、現在存在しているか、若しくは将来開発される他の標準に使用することができるか、又は、何れの標準にも準拠しないシステムに使用することができる。一例として、本明細書及び特許請求の範囲記載の概念及び構成は、ＭＶＣ拡張の環境において動作する実現形態について使用することができる。例えば、ＭＶＣビューは別々のＳＰＳ情報を必要とし得るか、又はＭＶＣ拡張内でサポートされるＳＶＣ層は別々のＳＰＳ情報を必要とし得る。更に、本明細書及び特許請求の範囲記載の構成及び局面は、更に他の実現形態にも適合させることができる。よって、本明細書及び特許請求の範囲記載の実現形態はＳＶＣ層のＳＰＳの意味合いで記載している場合があるが、前述の記載は、前述の実現形態又は意味合いに上記構成及び概念を限定するものと解するべきでない。
【０１６５】
本明細書及び特許請求の範囲記載の実現形態は、例えば、方法若しくは処理、装置、又はソフトウェア・プログラムで実現することができる。単一の形式の実現形態の意味合いでしか（例えば、方法としてしか）記載されてない場合でも、記載された構成の実現形態は、他の形式（例えば、装置又はプログラム）で実現することもできる。装置は例えば、適切なハードウェア、ソフトウェア及びファームウェアにおいて実現することができる。方法は例えば、コンピュータ、マイクロプロセッサ、集積回路や、プログラマブル論理装置を含む、一般に処理装置を表す装置（例えば、プロセッサ）で実現することができる。プロセッサは更に、例えば、コンピュータ、携帯電話機、ポータブル／ディジタル携帯情報端末（「ＰＤＡ」）、及びエンドユーザ間で情報の通信を容易にする他の装置などの通信装置も含む。
【０１６６】
本明細書及び特許請求の範囲記載の種々の処理及び特徴の実現形態は、例えば、各種機器又はアプリケーションにおいて、特に、例えば、データ符号化及び復号化に関連付けられた機器又はアプリケーションにおいて実施することができる。機器の例には、ビデオ符号化器、ビデオ復号化器、ビデオ・コデック、ウェブ・サーバ、セットトップ・ボックス、ラップトップ、パソコン、携帯電話機、ＰＤＡ、及び他の通信装置を含む。機器は、モバイルであり得、移動車両に設置することもできる。
【０１６７】
更に、方法は、プロセッサによって行われる命令によって実現することができ、前述の命令は、プロセッサ読み取り可能な媒体（例えば、集積回路、ソフトウェア担体や他の記憶装置（例えば、ハード・ディスク、コンパクト・ディスケット、ランダム・アクセス・メモリ（「ＲＡＭ」）やリードオンリー・メモリ「ＲＯＭ」）など）上に記憶することができる。命令は、プロセッサ読み取り可能な媒体上に有形に実施されたアプリケーション・プログラムを構成することができる。命令は例えば、ハードウェア、ファームウェア、ソフトウェア、又は組合せであり得る。命令は例えば、オペレーティング・システム、別個のアプリケーション、又は２つの組合せであり得る。よって、プロセッサは、例えば、処理を行うための命令を有するコンピュータ読み取り可能な媒体を含む装置及び処理を行うよう構成された装置として特徴付けることができる。
【０１６８】
当業者に分かるように、実現形態は、例えば、記憶又は伝送することができる情報を搬送するようフォーマッティングされた種々の信号を生成することができる。情報は例えば、前述の実現形態のうちの１つによって生成されるデータ、又は方法を行うための命令を含み得る。例えば、信号は、記載された実施例の構文を読み書きするための規則をデータとして搬送するか、又は記載された実施例によって書き込まれる実際の構文値をデータとして搬送するようフォーマッティングすることができる。前述の信号は例えば、電磁波（例えば、スペクトルの無線周波数部分を使用して）として、又はベースバンド信号としてフォーマッティングすることが可能である。フォーマッティングは例えば、データ・ストリームの符号化、及び符号化データ・ストリームによる搬送波の変調を含み得る。信号が搬送する情報は例えば、アナログ情報又はディジタル情報であり得る。信号は、知られているように、各種有線リンク又は無線リンクを介して伝送することができる。
【０１６９】
いくつかの実現形態を説明してきた。しかし、種々の修正を行うことができることが理解されるであろう。例えば、別々の実現形態の構成要素を合成し、補完し、修正し、又は除外して他の実現形態を生成することができる。更に、他の構造及び処理を、開示されたものと置き換えることができ、結果として生じる実現形態は少なくとも実質的に同じ機能を少なくとも実質的に同じやり方で行って、開示された実現形態と、少なくとも実質的に同じ結果を達成することを当業者は理解するであろう。よって、前述及び他の実現形態は、本出願によって想定されており、特許請求の範囲記載の範囲内に収まる。
【技術分野】
【０００１】
本出願は、（１）「Ｓｕｐｐｌｅｍｅｎｔａｌ Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ ｆｏｒ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｏｒ Ｍｕｌｔｉ−ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」と題する、西暦２００７年４月１８日付け出願の米国特許仮出願第６０／９２３９９３号明細書（代理人整理番号ＰＵ０７０１０１）、及び（２）「Ｓｕｐｐｌｅｍｅｎｔａｌ Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ ｆｏｒ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｏｒ Ｍｕｌｔｉ−ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」と題する、西暦２００７年６月２８日付け出願の米国特許仮出願第１１／８２４００６号明細書ＰＡ０７００３２）それぞれの利益を主張し、上記（１）及び（２）それぞれの全部の内容を全ての目的で本明細書及び特許請求の範囲に援用する。
【０００２】
少なくとも１つの実現形態は、ビデオ・データをスケーラブルに符号化し、復号化する方法に関する。
【背景技術】
【０００３】
データが向けられる端末が、種々の容量を有し、よって、完全なデータ・ストリームを復号化しないが、完全なデータ・ストリームの一部のみを復号化する場合に、いくつかの層によるビデオ・データの符号化が有用であり得る。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ビデオ・データがいくつかの層により、スケーラブルに符号化されると、受信端末は、端末のプロファイルに応じてデータの一部分を、受信されたビットストリームから抽出することが可能である。完全なデータ・ストリームは、端末において層それぞれの復号化を容易にするために、サポートされた層それぞれのオーバヘッド情報も伝送することができる。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明に係る方法は、シーケンス・パラメータ・セット（「ＳＰＳ」）ネットワーク抽象化層（「ＮＡＬ」）ユニットからの情報にアクセスする工程であって、情報が、画像系列内の画像の第１の層の符号化の復号化に使用するためのパラメータを表す工程と、ＳＰＳ ＮＡＬユニットのＮＡＬユニット・タイプ符号とは別のＮＡＬユニット・タイプ符号を有し、ＳＰＳ ＮＡＬユニットとは別の構文構造を有する補助ＳＰＳ ＮＡＬユニットからの補助情報にアクセスする工程であって、補助ＳＰＳ ＮＡＬユニットからの補助情報は、画像系列内の画像の第２の層の符号化の復号化に使用するためのパラメータを表す工程と、ＳＰＳ ＮＡＬユニットからのアクセスされた情報、及び補助ＳＰＳ ＮＡＬユニットからのアクセスされた補助情報それぞれに基づいて第１の層の符号化及び第２の層の符号化を復号化する工程とを含むようにしている。
さらに、本発明に係る方法は、ＳＰＳ ＮＡＬユニットは、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ標準又は関係する標準に準拠し、補助ＳＰＳ ＮＡＬユニットは、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ標準又は関係する標準のスケーラブルなビデオ符号化（「ＳＶＣ」）拡張に準拠するようにしている。
さらに、本発明に係る方法は、補助ＳＰＳ ＮＡＬユニットは専用のＮＡＬユニット・タイプを有し、標準はそれにより、補助ＳＰＳ ＮＡＬユニット・タイプを有するＮＡＬユニットをＡＶＣ復号化器が無視することを可能にし、補助ＳＰＳ ＮＡＬユニット・タイプを有するＮＡＬユニットに応じてＳＶＣ復号化器が動作することを必要とすることにより、ＡＶＣ復号化器とＳＶＣ復号化器との間と互換性を可能にするようにしている。
さらに、本発明に係る方法は、補助ＳＰＳ ＮＡＬユニットの構文は層依存性パラメータを定めるようにしている。
さらに、本発明に係る方法は、補助ＳＰＳ ＮＡＬユニットは、少なくとも１つの層の層依存性情報を含むようにしている。
さらに、本発明に係る方法は、第２の層の符号化の復号化に使用するためのパラメータはビデオ有用性情報（「ＶＵＩ」）パラメータを含むようにしている。
さらに、本発明に係る方法は、第２の層の符号化の復号化に使用するためのパラメータは仮想参照復号化器（「ＨＲＤ」）パラメータを含むようにしている。
さらに、本発明に係る方法は、ＳＰＳ ＮＡＬユニットは、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ標準又は関連した標準におけるＳＰＳ ＮＡＬユニットに準拠し、補助ＳＰＳ ＮＡＬユニットは、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ標準又は関連した標準のＳＶＣ拡張におけるサブセットＳＰＳ ＮＡＬユニットに準拠するようにしている。
さらに、本発明に係る方法は、補助ＳＰＳ ＮＡＬユニットは、補助ＳＰＳ ＮＡＬユニットにおいて受信された情報に応じて復号化器が動作することが必要な標準に準拠するようにしている。
さらに、本発明に係る方法は、第１の層の符号化は、空間レベル、品質レベル及び時間レベルのうちの１つ又は複数について、第２の層の符号化とは異なるレベルを有するようにしている。
さらに、本発明に係る方法は、ＳＰＳ ＮＡＬユニットからの情報及び補助ＳＰＳ ＮＡＬユニットからの情報は、伝送チャネルを介して受信されたビットストリームからアクセスされるようにしている。
さらに、本発明に係る方法は、ＳＰＳ ＮＡＬユニットからの情報へのアクセス、補助ＳＰＳ ＮＡＬユニットからの情報へのアクセス、及び復号化の生成は、復号化器で行われるようにしている。
さらに、本発明に係る方法は、ＳＰＳ ＮＡＬユニットからの情報へのアクセス、補助ＳＰＳ ＮＡＬユニットからの情報へのアクセス、及び復号化は、符号化器で行われるようにしている。
上記課題を解決するため、本発明に係る装置は、少なくとも、シーケンス・パラメータ・セット（「ＳＰＳ」）ネットワーク抽象化層（「ＮＡＬ」）ユニットからの情報にアクセスする機能であって、情報が、画像系列内の画像の第１の層の符号化の復号化に使用するためのパラメータを表す機能と、ＳＰＳ ＮＡＬユニットのＮＡＬユニット・タイプ符号とは別のＮＡＬユニット・タイプ符号を有し、ＳＰＳ ＮＡＬユニットとは別の構文構造を有する補助ＳＰＳ ＮＡＬユニットからの補助情報にアクセスする機能であって、補助ＳＰＳ ＮＡＬユニットからの補助情報は、画像系列内の画像の第２の層の符号化の復号化に使用するためのパラメータを表す機能と、ＳＰＳ ＮＡＬユニットからのアクセスされた情報、及び補助ＳＰＳ ＮＡＬユニットからのアクセスされた補助情報それぞれに基づいて第１の層の符号化及び第２の層の符号化を復号化する機能を行うための、プロセッサ読み取り可能な媒体上に記憶された命令を含むプロセッサ読み取り可能な媒体を備えるようにしている。
さらに、本発明に係る装置は、シーケンス・パラメータ・セット（「ＳＰＳ」）ネットワーク抽象化層（「ＮＡＬ」）ユニットからの情報にアクセスする手段であって、情報が、画像系列内の画像の第１の層の符号化の復号化に使用するためのパラメータを表わす手段と、ＳＰＳ ＮＡＬユニットのＮＡＬユニット・タイプ符号とは別のＮＡＬユニット・タイプ符号を有し、ＳＰＳ ＮＡＬユニットとは別の構文構造を有する補助ＳＰＳ ＮＡＬユニットからの補助情報にアクセスする手段であって、補助ＳＰＳ ＮＡＬユニットからの補助情報は、画像系列内の画像の第２の層の符号化の復号化に使用するためのパラメータを表す手段と、ＳＰＳ ＮＡＬユニットからのアクセスされた情報、及び補助ＳＰＳ ＮＡＬユニットからのアクセスされた補助情報それぞれに基づいて第１の層の符号化及び第２の層の符号化を復号化する手段と、を備えるようにしている。
さらに、本発明に係る装置は、シーケンス・パラメータ・セット（「ＳＰＳ」）ネットワーク抽象化層（「ＮＡＬ」）ユニットからの情報にアクセスする機能であって、画像の系列内の画像の第１の層の符号化の復号化において使用するためのパラメータを表す機能と、ＳＰＳ ＮＡＬユニットのＮＡＬユニット・タイプとは別のＮＡＬユニット・タイプ符号を有し、ＳＰＳ ＮＡＬユニットとは別の構文構造を有する補助ＳＰＳ ＮＡＬユニットからの補助情報にアクセスする機能であって、補助ＳＰＳ ＮＡＬユニットからの補助情報は、画像系列内の画像の第２の層の符号化の復号化に使用するためのパラメータを表す機能と、ＳＰＳ ＮＡＬユニットからのアクセスされた情報、及び補助ＳＰＳ ＮＡＬユニットからのアクセスされた補助情報それぞれに基づいて第１の層の符号化及び第２の層の符号化を復号化する機能と、を実行するよう構成されたプロセッサを備えるようにしている。
さらに、本発明に係る装置は、ビデオ・データを記憶するメモリを更に備えるようにしている。
上記課題を解決するため、本発明に係る装置は、シーケンス・パラメータ・セット（「ＳＰＳ」）ネットワーク抽象化層（「ＮＡＬ」）ユニットからの情報にアクセスし、情報が、画像系列内の画像の第１の層の符号化の復号化に使用するためのパラメータを表し、ＳＰＳ ＮＡＬユニットのＮＡＬユニット・タイプ符号とは別のＮＡＬユニット・タイプ符号を有し、ＳＰＳ ＮＡＬユニットとは別の構文構造を有する補助ＳＰＳ ＮＡＬユニットからの補助情報にアクセスするよう構成された解析ユニットであって、補助ＳＰＳ ＮＡＬユニットからの補助情報は、画像系列内の画像の第２の層の符号化の復号化に使用するためのパラメータを表す解析ユニットと、ＳＰＳ ＮＡＬユニットからのアクセスされた補助情報を使用して第１の層の符号化を復号化し、補助ＳＰＳ ＮＡＬユニットからのアクセスされた補助情報を使用して第２の層の符号化を復号化し、第１の層の符号化の復号化、及び第２の層の符号化の復号化のうちの１つ又は複数に基づいて画像系列内の画像の再構成を生成するよう構成された復号化器と、を備えるようにしている。
さらに、本発明に係る装置は、ＳＰＳ ＮＡＬユニットは、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ標準又は関連した標準におけるＳＰＳ ＮＡＬユニットに実質的に準拠するようにしている。
さらに、本発明に係る装置は、画像の第２の層の符号化の復号化において使用するためのパラメータは、スケーラブル・ビデオ符号化（「ＳＶＣ」）ビデオ有用性情報（「ＶＵＩ」）パラメータを含み、別の構文構造は、ＳＶＣ ＶＵＩパラメータが画像の第２の層の符号化に適用される旨を示す時間、依存性、及び品質の指標を含む補助情報に反映されるようにしている。
さらに、本発明に係る装置は、ＳＰＳ ＮＡＬユニットからの情報によって表されるパラメータは、第２の層の符号化を復号化するためにも必要であるようにしている。
【０００６】
一般的な局面によれば、情報が、シーケンス・パラメータ・セット（「ＳＰＳ」）ネットワーク抽象化層（「ＮＡＬ」）ユニットからアクセスされる。上記情報は、画像系列の第１の層の符号化の復号化において使用するためのパラメータを表す。情報は、ＳＰＳ ＮＡＬユニットとは別の構造を有する補助ＳＰＳ ＮＡＬユニットからもアクセスされる。補助ＳＰＳ ＮＡＬユニットからの情報は、画像系列の第２の層の符号化の復号化において使用するためのパラメータを表す。画像系列の復号化は、第１の層の符号化、第２の層の符号化、ＳＰＳ ＮＡＬユニットからのアクセス情報、及び補助ＳＰＳ ＮＡＬユニットからのアクセス情報に基づいて生成される。
【０００７】
別の一般的な局面によれば、複数の層における画像系列の復号化を定める構文構造が使用される。構文構造は、画像系列の第１の層の符号化の復号化に使用するためのパラメータを表す情報を含むＳＰＳ ＮＡＬユニットの構文を含む。構文構造は、ＳＰＳ ＮＡＬ ユニットとは別の構造を有する補助ＳＰＳ ＮＡＬユニットの構文も含む。補助ＳＰＳ ＮＡＬユニットは、画像系列の第２の層の符号化の復号化において使用するためのパラメータを表す情報を含む。画像系列の復号化は、第１の層の符号化、第２の層の符号化、ＳＰＳ ＮＡＬユニットからの情報、及び補助ＳＰＳ ＮＡＬユニットからの情報に基づいて生成され得る。
【０００８】
別の一般的な局面によれば、信号はＳＰＳ ＮＡＬユニットからの情報を含めるようフォーマッティングされる。上記情報は、画像系列の第１の層の符号化の復号化において使用するためのパラメータを表す。信号は、ＳＰＳ ＮＡＬユニットとは別の構造を有する補助ＳＰＳ ＮＡＬユニットからの情報を含めるよう更にフォーマッティングされる。補助ＳＰＳ ＮＡＬユニットからの情報は、画像系列の第２の層の符号化の復号化において使用するためのパラメータを表す。
【０００９】
別の一般的な局面によれば、画像系列の第１の層の符号化の復号化に使用するためのパラメータを表す情報を含むＳＰＳ ＮＡＬユニットが生成される。ＳＰＳ ＮＡＬユニットと構造が別の補助ＳＰＳ ＮＡＬユニットが生成される。補助ＳＰＳ ＮＡＬユニットは、画像系列の第２の層の符号化の復号化において使用するためのパラメータを表す情報を含む。画像系列の第１の層の符号化、画像系列の第２の層の符号化、ＳＰＳ ＮＡＬユニット、及び補助ＳＰＳ ＮＡＬユニットを含むデータの組が供給される。
【００１０】
別の一般的な局面によれば、複数の層における画像系列の符号化を定める構文構造が使用される。構文構造は、ＳＰＳ ＮＡＬユニットの構文を含む。ＳＰＳ ＮＡＬユニットは、画像系列の第１の層の符号化の復号化において使用するためのパラメータを表す情報を含む。構文構造は、補助ＳＰＳ ＮＡＬユニットの構文を含む。補助ＳＰＳ ＮＡＬユニットは、ＳＰＳ ＮＡＬ ユニットとは別の構造を有する。補助ＳＰＳ ＮＡＬユニットは、画像系列の第２の層の符号化の復号化において使用するためのパラメータを表す情報を含む。画像系列の第１の層の符号化、画像系列の第２の層の符号化、ＳＰＳ ＮＡＬユニット、及び補助ＳＰＳ ＮＡＬユニットを含むデータの組を供給することができる。
【００１１】
別の一般的な局面によれば、第１の層に依存する情報は、第１の規範的パラメータ・セットにおいてアクセスされる。アクセスされた、第１の層に依存する情報は、画像系列の第１の層の符号化の復号化において使用するためのものである。第２の層に依存する情報は、第２の規範的パラメータ・セットにおいてアクセスされる。第２の規範的パラメータ・セットは、第１の規範的パラメータ・セットとは別の構造を有する。アクセスされた、第２の層に依存する情報は、画像系列の第２の層の符号化の復号化において使用するためのものである。画像の系列は、アクセスされた、第１の層に依存する情報、及びアクセスされた、第２の層に依存する情報のうちの１つ又は複数に基づいて復号化される。
【００１２】
別の一般的な局面では、第１の層に依存する情報を含む第１の規範的パラメータ・セットが生成される。第１の層に依存する情報は、画像系列の第１の層の符号化の復号化において使用するためのものである。第１の規範的パラメータ・セットとは別の構造を有する第２の規範的パラメータ・セットが生成される。第２の規範的パラメータ・セットは、画像系列の第２の層の符号化の復号化において使用するための第２の層に依存する情報を含む。第１の規範的パラメータ・セット及び第２の規範的パラメータ・セットを含むデータの組が提供される。
【図面の簡単な説明】
【００１３】
【図１】符号化器の実現形態のブロック図である。
【図１ａ】符号化器の別の実現形態のブロック図である。
【図２】復号化器の実現形態のブロック図である。
【図２ａ】復号化器の別の実現形態のブロック図である。
【図３】単一層シーケンス・パラメータ・セット（「ＳＰＳ」）ネットワーク抽象化層（「ＮＡＬ」）ユニットの実現形態の構造を示す図である。
【図４】ＳＰＳ ＮＡＬユニットの使用を例証するデータ・ストリームの一部分の例のブロック図である。
【図５】補助ＳＰＳ（「ＳＵＰ ＳＰＳ」）ＮＡＬユニットの実現形態の構造を示す図である。
【図６】ＳＰＳユニット及び複数のＳＵＰ ＳＰＳ ユニットの間の組織階層の実現形態を示す図である。
【図７】ＳＵＰ ＳＰＳ ＮＡＬユニットの別の実現形態の構造を示す図である。
【図８】ＳＵＰ ＳＰＳユニットを生成するスケーラブルなビデオ符号化器の実現形態を示す機能図である。
【図９】ＳＵＰ ＳＰＳユニットを含むデータ・ストリームの生成の実現形態を示す階層図である。
【図１０】図９の実現形態によって生成されるデータ・ストリームの例を示すブロック図である。
【図１１】符号化器の実現形態のブロック図である。
【図１２】符号化器の別の実現形態のブロック図である。
【図１３】図１１又は図１２の符号化器によって使用される符号化処理の実現形態を示すフローチャートである。
【図１４】図１３の処理によって生成されるデータ・ストリームの例を示すブロック図である。
【図１５】復号化器の実現形態を示すブロック図である。
【図１６】復号化器の別の実現形態を示すブロック図である。
【図１７】図１５又は図１６の復号化器によって使用される復号化処理の実現形態を示すフローチャートである。
【発明を実施するための形態】
【００１４】
１つ又は複数の実現形態の詳細を添付図面及び以下明細書において記載する。１つの特定のやり方で記載されていても、実現形態は、種々のやり方で構成又は実施することができる。例えば、実現形態は、方法として実行するか、例えば、動作の組を行うよう構成された装置や、動作の組を行うための命令を記憶する装置などの装置として実施するか、又は信号として実施することができる。他の局面及び特徴は、以下の詳細な説明を添付図面及び特許請求の範囲とともに考察することにより、明らかになるであろう。
【実施例】
【００１５】
別々の層及び／又はプロファイルに応じてビデオ・データを符号化することが可能ないくつかのビデオ符号化標準が今日、存在している。このうち、ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ （ＩＳＯ／ＩＥＣ） Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４ （ＭＰＥＧ−４） Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＡＶＣ） ｓｔａｎｄａｒｄ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ， Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ （ＩＴＵ−Ｔ） Ｈ．２６４勧告としても表されるＨ．２６４／ＭＰＥＧ−４ＡＶＣ（「ＡＶＣ標準」）を挙げることが可能である。更に、ＡＶＣ標準に対する拡張が存在している。前述の第１の拡張は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ、スケーラブル・ビデオ符号化拡張（「ＳＶＣ 拡張」）として表されるスケーラブル・ビデオ符号化（「ＳＶＣ」）拡張（アネックスＧ）である。前述の第２の拡張は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ、ＭＶＣ拡張（「ＭＶＣ 拡張」）として表されるマルチビュー・ビデオ符号化（「ＭＶＣ」）拡張（アネックスＨ）である。
【００１６】
本明細書及び特許請求の範囲に記載した少なくとも１つの実現形態は、ＡＶＣ標準、並びにＳＶＣ拡張及びＭＶＣ拡張に使用することができる。上記実現形態は、補助（「ＳＵＰ」）シーケンス・パラメータ・セット（「ＳＰＳ」）ネットワーク抽象化層（「ＮＡＬ」）ユニット（ＳＰＳ ＮＡＬユニットとは別のＮＡＬユニット・タイプを有する）を提供する。ＳＰＳユニットは、少なくとも単一の層の情報を含むが、上記情報を含まなくてよい。更に、ＳＵＰ ＳＰＳ ＮＡＬユニットは、少なくとも１つの更なる層の層依存性情報を含む。よって、ＳＰＳユニット及びＳＵＰ ＳＰＳユニットにアクセスすることにより、復号化器は、ビットストリームを復号化するために必要な利用可能な特定の（、及び通常、全ての）層に依存する情報を有する。
【００１７】
ＡＶＣシステムにおける前述の実現形態を使用すれば、ＳＵＰ ＳＰＳ ＮＡＬユニットを送信しなくてよく、単一層ＳＰＳ ＮＡＬユニット（後述する）を送信することができる。ＳＶＣ（又はＭＶＣ）システムにおいて前述の実現形態を使用すれば、ＳＵＰ ＳＰＳ ＮＡＬユニットは、ＳＰＳ ＮＡＬユニットに加えて、所望の更なる層（又はビュー）について送信することができる。ＡＶＣ互換復号化器及びＳＶＣ互換復号化器（又はＭＶＣ互換復号化器）を含むシステムにおいて前述の実現形態を使用すれば、ＡＶＣ互換復号化器は、ＮＡＬユニット・タイプを検出することにより、ＳＵＰ ＳＰＳ ＮＡＬユニットを無視し得る。何れの場合にも、効率及び互換性が達成される。
【００１８】
上記実現形態は、例えば、ＳＰＳ、又はＳＰＳに通常収容される特定の情報などのヘッダ情報を特定層が共有する旨の要件を課すシステムの利点（標準他）ももたらす。例えば、ベース層及びその複合時間層がＳＰＳを共有したい場合、層依存性情報を共有ＳＰＳとともに送信することは可能でない。しかし、ＳＵＰ ＳＰＳは、層依存性情報を伝送する機構を提供する。
【００１９】
種々の実現形態のＳＵＰ ＳＰＳは、ＳＵＳ ＳＰＳ がＳＰＳにおけるパラメータ全てを含まなくてよく、よって、反復しなくてよいという効率的な利点も提供する。ＳＵＰ ＳＰＳは通常、層依存性パラメータを対象とする。しかし、種々の実現形態は、層に依存しないパラメータを含み、又はＳＰＳ構造全てを反復するＳＵＰ ＳＰＳ構造を含む。
【００２０】
種々の実現形態はＳＶＣ拡張に関する。ＳＶＣ拡張は、いくつかの空間レベル、時間レベル及び品質レベルに応じたビデオ・データの伝送を提案している。一空間レベルの場合、いくつかの時間レベルに応じて符号化することが可能であり、いくつかの品質レベルに応じた時間レベル毎に符号化することが可能である。したがって、ｍ個の空間レベル、ｎ個の時間レベル、及びＯ個の品質レベルが規定されている場合、ビデオ・データは、ｍ＊ｎ＊Ｏ個の別々の組合せによって符号化することが可能である。前述の組合せは、層又はインターオペラビリティ・ポイント（「ＩＯＰ」）として表す。復号化器（受信器又はクライアントとしても表す）の機能によれば、別々の層を、クライアント機能の最大値に対応する特定の層まで伝送することができる。
【００２１】
本明細書及び特許請求の範囲記載の「層依存性」情報は、単一層に特に関係する情報を表す。すなわち、名称が示唆するように、上記情報は特定層に依存する。前述の情報は、層間で必ずしも異ならなくてよいが、通常、層毎に別個に供給される。
【００２２】
本明細書及び特許請求の範囲では、「高位構文」は、階層的にマクロブロック層の上の、ビットストリーム内に存在している構文を表す。例えば、本明細書及び特許請求の範囲記載の高位構文は、スライス・ヘッダ・レベル、付加拡張情報（ＳＥＩ）レベル、ピクチャ・パラメータ・セット（ＰＰＳ）レベル、シーケンス・パラメータ・セット（ＳＰＳ）レベル、及びネットワーク抽象化層（ＮＡＬ）ユニット・ヘッダ・レベルを表し得るが、それらに限定されない。
【００２３】
図１を参照すれば、例示的なＳＶＣ符号化器は全体を参照符号１００で示す。ＳＶＣ符号化器１００は、ＡＶＣ符号化にも（すなわち、単一層（例えば、ベース層）にも）使用することができる。更に、ＳＶＣ符号化器１００は、当業者が認識するようにＭＶＣ符号化に使用することができる。例えば、ＳＶＣ符号化器１００の種々の構成部分、又は前述の構成部分の変形を複数のビューの符号化に使用することができる。
【００２４】
時間分解モジュール１４２の第１の出力は、イントラ・ブロック・モジュール１４６のイントラ予測の第１の入力と信号通信で接続される。時間分解モジュール１４２の第２の出力は動き符号化モジュール１４４の第１の入力と信号通信で接続される。イントラ・ブロック・モジュール１４６のイントラ予測の出力は、変換／エントロピ符号化器（信号対雑音比（ＳＮＲ）スケーラブル）１４９の入力と信号通信で接続される。変換／エントロピ符号化器１４９の第１の出力は多重化器１７０の第１の入力と信号通信で接続される。
【００２５】
時間分解モジュール１３２の第１の出力は、イントラ・ブロック・モジュール１３６のイントラ予測の第１の入力と信号通信で接続される。時間分解モジュール１３２の第２の出力は、動き符号化モジュール１３４の第１の入力と信号通信で接続される。イントラ・ブロック・モジュール１３６のイントラ予測の出力は、変換／エントロピ符号化器（信号対雑音比（ＳＮＲ）スケーラブル）１３９の入力と信号通信で接続される。変換／エントロピ符号化器１３９の第１の出力は多重化器１７０の第１の入力と信号通信で接続される。
【００２６】
変換／エントロピ符号化器１４９の第２の出力は、２Ｄ空間補間モジュール１３８の入力と信号通信で接続される。２Ｄ空間補間モジュール１３８の出力は、イントラ・ブロック・モジュール１３６のイントラ予測の第２の入力と信号通信で接続される。動き符号化モジュール１４４の第２の出力は、動き符号化モジュール１３４の入力と信号通信で接続される。
【００２７】
時間分解モジュール１２２の第１の出力は、イントラ予測器１２６の第１の入力と信号通信で接続される。時間分解モジュール１２２の第２の出力は動き符号化モジュール１２４の第１の入力と信号通信で接続される。イントラ予測器１２６の出力は、変換／エントロピ符号化器（信号対雑音比（ＳＮＲ）スケーラブル）１２９の入力と信号通信で接続される。変換／エントロピ符号化器１２９の出力は多重化器１７０の第１の入力と信号通信で接続される。
【００２８】
変換／エントロピ符号化器１３９の第２の出力は、２Ｄ空間補間モジュール１２８の入力と信号通信で接続される。２Ｄ空間補間モジュール１２８の出力は、イントラ予測器モジュール１２６の第２の入力と信号通信で接続される。動き符号化モジュール１３４の第２の出力は、動き符号化モジュール１２４の入力と信号通信で接続される。
【００２９】
動き符号化モジュール１２４の第１の出力、動き符号化モジュール１３４の第１の出力、及び動き符号化モジュール１４４の第１の出力はそれぞれ、多重化器１７０の第２の入力と信号通信で接続される。
【００３０】
２Ｄ空間デシメーション・モジュール１０４の第１の出力は、時間分解モジュール１３２の入力と信号通信で接続される。２Ｄ空間デシメーション・モジュール１０４の第２の出力は、時間分解モジュール１４２の入力と信号通信で接続される
時間分解モジュール１２２の入力及び２Ｄ空間デシメーション・モジュール１０４の入力は、入力ビデオ１０２を受信するために符号化器１００の入力として利用可能である。
【００３１】
多重化器１７０の出力は、ビットストリーム１８０を供給するために、符号化器１００の出力として利用可能である。
【００３２】
時間分解モジュール１２２、時間分解モジュール１３２、時間分解モジュール１４２、動き符号化モジュール１２４、動き符号化モジュール１３４、動き符号化モジュール１４４、イントラ予測器１２６、イントラ予測器１３６、イントラ予測器１４６、変換／エントロピ符号化器１２９、変換／エントロピ符号化器１３９、変換／エントロピ符号化器１４９、２Ｄ空間補間モジュール１２８、及び２Ｄ空間補間モジュール１３８は、符号化器１００のコア符号化器部分１８７に含まれる。
【００３３】
図１は３つのコア符号化器１８７を含む。図示した実現形態では、一番下のコア符号化器１８７はベース層を符号化し、中央のコア符号化器及び一番上のコア符号化器１８７は、より高い層を符号化することができる。
【００３４】
図２を参照すれば、例示的なＳＶＣ復号化器は全体を参照符号２００で示す。ＳＶＣ復号化器２００は、ＡＶＣ復号化にも（すなわち、単一層にも）使用することができる。更に、ＳＶＣ復号化器２００は、当業者が認識するようにＭＶＣ復号化に使用することができる。例えば、ＳＶＣ復号化器２００の種々の構成部分、又は前述の構成部分の変形を複数のビューの復号化に使用することができる。
【００３５】
符号化器１００及び復号化器２００、並びに、本出願に開示された他の符号化器及び復号化器は、本出願記載の種々の方法を行うよう構成することが可能である。符号化動作の実行に加えて、本明細書及び特許請求の範囲記載の符号化器は、復号化器の期待された動作をミラーイングするために再構成処理中に種々の復号化動作を行うことができる。例えば、符号化器は、更なるビデオ・データの予測において使用するために符号化ビデオ・データの再構成を行うために符号化ビデオ・データを復号化するためのＳＵＰ ＳＰＳユニットを復号化することができる。よって、符号化器は、復号化器によって行われる動作のほぼ全部を行うことができる。
【００３６】
逆多重化器２０２の入力は、スケーラブルなビットストリームを受信するために、スケーラブル・ビデオ復号化器２００への入力として利用可能である。逆多重化器２０２の第１の出力は、空間逆変換ＳＮＲスケーラブル・エントロピ復号化器２０４の入力と信号通信で接続される。空間逆変換ＳＮＲスケーラブル・エントロピ復号化器２０４の第１の出力は予測モジュール２０６の第１の入力と信号通信で接続される。予測モジュール２０６の出力は合成器２３０の第１の入力と信号通信で接続される。
【００３７】
空間逆変換ＳＮＲスケーラブル・エントロピ復号化器２０４の第２の出力は動きベクトル（ＭＶ）復号化器２１０の第１の入力と信号通信で接続される。ＭＶ復号化器２１０の出力は動き補償器２３２の入力と信号通信で接続される。動き補償器２３２の出力は合成器２３０の第２の入力と信号通信で接続される。
【００３８】
逆多重化器２０２の第２の出力は、空間逆変換ＳＮＲスケーラブル・エントロピ復号化器２１２の入力と信号通信で接続される。空間逆変換ＳＮＲスケーラブル・エントロピ復号化器２１２の第１の出力は予測モジュール２１４の第１の入力と信号通信で接続される。予測モジュール２１４の第１の出力は、補間モジュール２１６の入力と信号通信で接続される。補間モジュール２１６の出力は予測モジュール２０６の第２の入力と信号通信で接続される。予測モジュール２１４の第２の出力は合成器２４０の第１の入力と信号通信で接続される。
【００３９】
空間逆変換ＳＮＲスケーラブル・エントロピ復号化器２１２の第２の出力はＭＶ復号化器２２０の第１の入力と信号通信で接続される。ＭＶ復号化器２２０の第１の出力はＭＶ復号化器２１０の第２の入力と信号通信で接続される。ＭＶ復号化器２２０の第２の出力は動き補償器２４２の入力と信号通信で接続される。動き補償器２４２の出力は合成器２４０の第２の入力と信号通信で接続される。
【００４０】
逆多重化器２０２の第３の出力は空間逆変換ＳＮＲスケーラブル・エントロピ復号化器２２２の入力と信号通信で接続される。空間逆変換ＳＮＲスケーラブル・エントロピ復号化器２２２の第１の出力は予測モジュール２２４の入力と信号通信で接続される。予測モジュール２２４の第１の出力は、補間モジュール２２６の入力と信号通信で接続される。補間モジュール２２６の出力は予測モジュール２１４の第２の入力と信号通信で接続される。
【００４１】
予測モジュール２２４の第２の出力は合成器２５０の第１の入力と信号通信で接続される。空間逆変換スケーラブル・エントロピ復号化器２２２の第２の出力はＭＶ復号化器２３０の入力と信号通信で接続される。ＭＶ復号化器２３０の第１の出力はＭＶ復号化器２２０の第２の入力と信号通信で接続される。ＭＶ復号化器２３０の第２の出力は動き補償器２５２の入力と信号通信で接続される。動き補償器２５２の出力は合成器２５０の第２の入力と信号通信で接続される。
【００４２】
合成器２５０の出力は、レイヤ０信号を出力するために、復号化器２００の出力として利用可能である。合成器２４０の出力は、レイヤ１信号を出力するために、復号化器２００の出力として利用可能である。合成器２３０の出力は、レイヤ２信号を出力するために、復号化器２００の出力として利用可能である。
【００４３】
図１ａを参照すれば、例示的なＡＶＣ符号化器は全体を参照符号２１００で示す。ＡＶＣ符号化器２１００は、例えば、単一層（例えば、ベース層）を符号化するために使用することができる。
【００４４】
ビデオ符号化器２１００は、合成器２１８５の非反転入力と信号通信する出力を有するフレーム配列バッファ２１１０を含む。合成器２１８５の出力は、変換器及び量子化器２１２５の第１の入力と信号通信で接続される。変換器及び量子化器２１２５の出力は、エントロピ符号化器２１４５の第１の入力及び逆変換器及び逆量子化器２１５０の第１の入力と信号通信で接続される。エントロピ符号化器２１４５の出力は、合成器２１９０の第１の非反転入力と信号通信で接続される。合成器２１９０の出力は、出力バッファ２１３５の第１の入力と信号通信で接続される。
【００４５】
符号化器コントローラ２１０５の第１の出力は、フレーム配列バッファ２１１０の第２の入力、逆変換器及び逆量子化器２１５０の第２の入力、ピクチャタイプ決定モジュール２１１５の入力、マクロブロックタイプ（ＭＢタイプ）決定モジュール２１２０の入力、イントラ予測モジュール２１６０の第２の入力、デブロッキング・フィルタ２１６５の第２の入力、動き補償２１７０の第１の入力、動き推定器２１７５の第１の入力、及び参照ピクチャ・バッファ２１８０の第２の入力と信号通信で接続される。
【００４６】
符号化器コントローラ２１０５の第２の出力は、付加拡張情報（「ＳＥＩ」）挿入器２１３０の第１の入力、変換器及び量子化器２１２５の第２の入力、エントロピ符号化器２１４５の第２の入力、出力バッファ２１３５の第２の入力、並びに、シーケンス・パラメータ・セット（ＳＰＳ）及びピクチャ・パラメータ・セット（ＰＰＳ）挿入器２１４０の入力と信号通信で接続される。
【００４７】
ピクチャタイプ決定モジュール２１１５の第１の出力は、フレーム配列バッファ２１１０の第３の入力と信号通信で接続される。ピクチャタイプ決定モジュール２１１５の第２の出力は、マクロブロックタイプ決定モジュール２１２０の第２の入力と信号通信で接続される。
【００４８】
シーケンス・パラメータ・セット（「ＳＰＳ」）及びピクチャ・パラメータ・セット（「ＰＰＳ」）挿入器２１４０の出力は合成器２１９０の第３の非反転入力と信号通信で接続される。ＳＥＩ挿入器２１３０の出力は合成器２１９０の第２の非反転入力と信号通信で接続される。
【００４９】
逆量子化器及び逆変換器２１５０の出力は合成器２１２７の第１の非反転入力と信号通信で接続される。合成器２１２７の出力はイントラ予測モジュール２１６０の第１の入力及びデブロッキング・フィルタ２１６５の第１の入力と信号通信で接続される。デブロッキング・フィルタ２１６５の出力は参照ピクチャ・バッファ２１８０の第１の入力と信号通信で接続される。参照ピクチャ・バッファ２１８０の出力は動き推定器２１７５の第２の入力及び動き補償器２１７０の第１の入力と信号通信で接続される。動き推定器２１７５の第１の出力は、動き補償器２１７０の第２の入力と信号通信で接続される。動き推定器２１７５の第２の出力は、エントロピ符号化器２１４５の第３の入力と信号通信で接続される。
【００５０】
動き補償器２１７０の出力は、スイッチ２１９７の第１の入力と信号通信で接続される。イントラ予測モジュール２１６０の出力は、スイッチ２１９７の第２の入力と信号通信で接続される。マクロブロックタイプ決定モジュール２１２０の出力は、スイッチ２１９７に制御入力を供給するために、スイッチ２１９７の第３の入力と信号通信で接続される。スイッチ２１９７の出力は、合成器２１２７の第２の非反転入力及び合成器２１８５の反転入力と信号通信で接続される。
【００５１】
フレーム配列バッファ２１１０及び符号化器コントローラ２１０５の入力は、入力ピクチャ２１０１を受信するために、符号化器２１００の入力として利用可能である。更に、ＳＥＩ挿入器２１３０の入力は、メタデータを受信するために、符号化器２１００の入力として利用可能である。出力バッファ２１３５の出力は、ビットストリームを出力するために、符号化器２１００の出力として利用可能である。
【００５２】
図２ａを参照すれば、ＭＰＥＧ−４ＡＶＣ標準によるビデオ復号化を行うことができるビデオ復号化器は全体を参照符号２２００で示す。
【００５３】
ビデオ復号化器２２００は、エントロピ復号化器２２４５の第１の入力と信号通信で接続された出力を有する入力バッファ２２１０を含む。エントロピ復号化器２２４５の第１の出力は、逆変換器及び逆量子化器２２５０の第１の入力と信号通信で接続される。逆変換器及び逆量子化器２２５０の出力は合成器２２２５の第２の非反転入力と信号通信で接続される。合成器２２２５の出力はデブロッキング・フィルタ２２６５の第２の入力及びイントラ予測モジュール２２６０の第１の入力と信号通信で接続される。デブロッキング・フィルタ２２６５の第２の出力は参照ピクチャ・バッファ２２８０の第１の入力と信号通信で接続される。参照ピクチャ・バッファ２２８０の出力は動き補償２２７０の第２の入力と信号通信で接続される。
【００５４】
エントロピ復号化器２２４５の第２の出力は動き補償器２２７０の第３の入力及びデブロッキング・フィルタ２２６５の第１の入力と信号通信で接続される。エントロピ復号化器２２４５の第３の出力は復号化器コントローラ２２０５の入力と信号通信で接続される。復号化器コントローラ２２０５の第１の出力はエントロピ復号化器２２４５の第２の入力と信号通信で接続される。復号化器コントローラ２２０５の第２の出力は、逆変換器及び逆量子化器２２５０の第２の入力と信号通信で接続される。復号化器コントローラ２２０５の第３の出力はデブロッキング・フィルタ２２６５の第３の入力と信号通信で接続される。復号化器コントローラ２２０５の第４の出力は、イントラ予測モジュール２２６０の第２の入力、動き補償器２２７０の第１の入力、及び参照ピクチャ・バッファ２２８０の第２の入力と信号通信で接続される。
【００５５】
動き補償器２２７０の出力はスイッチ２２９７の第１の入力と信号通信で接続される。イントラ予測モジュール２２６０の出力はスイッチ２２９７の第２の入力と信号通信で接続される。スイッチ２２９７の出力は合成器２２２５の第１の非反転入力と信号通信で接続される。
【００５６】
入力バッファ２２１０の入力は、入力ビットストリームを受信するために、復号化器２２００の入力として利用可能である。デブロッキング・フィルタ２２６５の第１の出力は、出力ピクチャを出力するために、復号化器２２００の出力として利用可能である。
【００５７】
図３を参照すれば、単一層ＳＰＳ３００の構造を示す。ＳＰＳは、ゼロ以上の全体が符号化されたビデオ系列に施される構文要素を一般に含む構文構造である。ＳＶＣ拡張では、ＳＰＳにおいて伝達される一部の構文要素の値は層依存性を有する。前述の層依存性構文要素は、タイミング情報、ＨＲＤ（「仮想参照復号化器」の略である）パラメータ、及びビットストリーム制限情報を含むが、それらに限定されない。ＨＲＤパラメータは例えば、バッファ・サイズ、最大ビット・レート、及び初期遅延の指標を含み得る。ＨＲＤパラメータは、受信システムが、例えば、受信されたビットストリームのインテグリティを検証し、かつ／又は、受信システム（例えば、復号化器）がビットストリームを復号化することが可能であるかを判定することを可能にし得る。したがって、システムは、層毎の前述の構文要素の伝送を定めることができる。
【００５８】
単一層ＳＰＳ３００は、ＳＰＳの識別子を備えるＳＰＳ−ＩＤ３１０を含む。単一層ＳＰＳ３００は、単一層のＶＵＩ（ビデオ有用性情報の略）パラメータ３２０も含む。ＶＵＩパラメータは、例えば、ベース層などの単一層のＨＲＤパラメータ３３０を含む。単一層ＳＰＳ３００は、更なるパラメータ３４０も含み得るが、実現形態は、更なるパラメータ３４０を何ら含まなくてよい。
【００５９】
図４を参照すれば、データ・ストリーム４００のブロック図は、単一層ＳＰＳ３００の通常の使用を示す。ＡＶＣ標準では、例えば、通常のデータ・ストリームは、他の構成部分の中でも、ＳＰＳユニット、特定のピクチャのパラメータを備える複数のＰＰＳ（ピクチャ・パラメータ・シーケンス）ユニット、及び符号化ピクチャ・データの複数のユニットを含み得る。次に、前述の一般的なフレームワークを図４に示す。図４は、ＳＰＳ３００、ＰＰＳ−１ ４１０、符号化されたピクチャ１のデータを含む１つ又は複数のユニット４２０、ＰＰＳ−２ ４３０、及び符号化されたピクチャ２のデータを含む１つ又は複数のユニット４４０を含む。ＰＰＳ−１ ４１０は、符号化されたピクチャ１のデータ４２０のパラメータを含み、ＰＰＳ―２ ４３０は、符号化されたピクチャ２のデータ４４０のパラメータを含む。
【００６０】
符号化されたピクチャ１のデータ４２０、及び符号化されたピクチャ２のデータ４４０はそれぞれ、特定のＳＰＳ（図４の実現形態におけるＳＰＳ３００）と関連付けられる。このことは、次に説明するように、ポインタを使用することによって達成される。符号化されたピクチャ１のデータ４２０は、矢印４５０で示すように、ＰＰＳ−１ ４１０を識別するＰＰＳ−ＩＤ（図示せず）を含む。ＰＰＳ−ＩＤは例えば、スライス・ヘッダに記憶することができる。符号化されたピクチャ−２のデータ４４０は、矢印４６０に示すように、ＰＰＳ−２ ４３０を識別するＰＰＳ−ＩＤ（図示せず）を含む。ＰＰＳー１ ４１０及びＰＰＳ―２ ４３０はそれぞれ、矢印４７０及び４８０それぞれで示すように、ＳＰＳ３００を識別するＳＰＳ−ＩＤ（図示せず）を含む。
【００６１】
図５を参照すれば、ＳＵＰ ＳＰＳ５００の構造を示す。ＳＵＰ ＳＰＳ ５００は、ＳＰＳ ＩＤ５１０と、「（Ｄ２，Ｔ２，Ｑ２）」で表す単一の更なる層のＨＲＤパラメータ５３０を含むＶＵＩ５２０と、任意の更なるパラメータ５４０とを含む。「Ｄ２，Ｔ２，Ｑ２」は、空間（Ｄ）レベル２、時間（Ｔ）レベル２、及び品質（Ｑ）レベル２を有する第２の層を表す。
【００６２】
種々の番号付け手法を使用して層を表すことができる。１つの番号付け手法では、ベース層は、０、ｘ、０（ゼロの空間レベル、何れでもよい時間レベル、及びゼロの品質レベルを意味する）のＤ、Ｔ、Ｑを有する。前述の番号付け手法では、エンハンスメント層は、Ｄ又はＱがゼロよりも大きなＤ、Ｔ、Ｑを有する。
【００６３】
ＳＵＰ ＳＰＳ５００の使用は例えば、単一層のパラメータのみを含むか、又は層依存性情報を何ら含まないＳＰＳ構造をシステムが使用することを可能にする。前述のシステムは、ベース層を越える更なる層毎に別個のＳＵＰ ＳＰＳを作成することができる。更なる層は、ＳＰＳ ＩＤ５１０の使用によって関連付けられたＳＰＳを識別することが可能である。明らかに、いくつかの層が、共通のＳＰＳ ＩＤをそれぞれのＳＵＰ ＳＰＳユニットにおいて使用することにより、単一のＳＰＳを共有することが可能である。
【００６４】
図６を参照すれば、ＳＰＳユニット６０５並びに、複数のＳＵＰ ＳＰＳユニット６１０及び６２０の間の組織階層６００を示す。ＳＵＰ ＳＰＳユニット６１０及び６２０は、単一層のＳＵＰ ＳＰＳユニットとして示しているが、他の実現形態は、単一層のＳＵＰ ＳＰＳユニットに加えて、又は単一層のＳＵＰ ＳＰＳユニットの代わりに１つ又は複数の複数層ＳＵＰ ＳＰＳユニットを使用することができる。階層６００は、通常のシナリオにおいて、複数のＳＵＰ ＳＰＳユニットを単一のＳＰＳユニットと関連付けることができることを示す。当然、実現形態は複数のＳＰＳユニットを含み得、ＳＰＳユニットそれぞれは、関連付けられたＳＵＰ ＳＰＳユニットを有し得る。
【００６５】
図７を参照すれば、別のＳＵＰ ＳＰＳ７００の構造を示す。ＳＵＰ ＳＰＳ７００は複数層のパラメータを含む一方、ＳＵＰ ＳＰＳ５００は単一層のパラメータを含む。ＳＵＰ ＳＰＳ７００は、ＳＰＳ ＩＤ７１０と、ＶＵＩ７２０と、任意の更なるパラメータ７４０とを含む。ＶＵＩ７２０は、第１の更なる層（Ｄ２，Ｔ２，Ｑ２）、及び層（Ｄｎ，Ｔｎ，Ｑｎ）までの他の更なる層のＨＲＤパラメータ７３０を含む。
【００６６】
もう一度図６を参照すれば、階層６００は、複数層のＳＵＰ ＳＰＳを使用するよう修正することができる。例えば、ＳＵＰ ＳＰＳ６１０及び６２０の組合せは、ＳＵＰ ＳＰＳ６１０及び６２０が、同じＳＰＳ ＩＤを含む場合、ＳＵＰ ＳＰＳ ７００で置き換えることができる。
【００６７】
更に、ＳＵＰ ＳＰＳ ７００は例えば、単一層のパラメータを含むか、若しくは複数層のパラメータを含むＳＰＳ、又は何れの層の層依存性パラメータも含まないＳＰＳとともに使用することができる。ＳＵＰ ＳＰＳ７００は、わずかのオーバヘッドで複数層のパラメータをシステムが提供することを可能にする。
【００６８】
他の実現形態は例えば、考えられる層全てに必要なパラメータ全てを含むＳＰＳに基づき得る。すなわち、前述の実現形態のＳＰＳは、層全てが送信されるか否かにかかわらず、送信に利用可能な対応する空間レベル（Ｄｉ）、時間レベル（Ｔｉ）、及び品質レベル（Ｑｉ）全てを含む。しかし、前述のシステムでも、ＳＵＰ ＳＰＳを使用して、もう一度ＳＰＳ全体を送信することなく１つ又は複数の層のパラメータを変える機能を提供することができる。
【００６９】
表１を参照すれば、単一層のＳＵＰ ＳＰＳの特定の実現形態の構文を提供する。構文は、関連付けられたＳＰＳを識別するためのｓｅｑｕｅｎｃｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ、並びに、スケーラブル層を識別するための、ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌの識別子を含む。ＶＵＩパラメータは、ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）の使用によるＨＲＤパラメータを含む、ｓｖｃ＿ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ（）（表２を参照されたい）の使用によって含まれる。以下の構文は、各層が、例えばＨＲＤパラメータなどのそれ自身の層に依存するパラメータを特定することを可能にする。
【００７０】
【表１】
ｓｕｐ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｓｖｃ（）の構文の意味規則は以下の通りである。
【００７１】
ｓｅｑｕｅｎｃｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ は、現在の層について現在のＳＵＰ ＳＰＳがマッピングするシーケンス・パラメータ・セットを識別する。
【００７２】
ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｌｅｖｅｌは、現在の層の時間レベル、依存性識別子及び品質レベルを規定する。Ｄｅｐｅｎｄｅｎｃｙ＿ｉｄは一般に、空間レベルを示す。しかし、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄは、空間及びＳＮＲスケーラビリティを含む粗い粒状スケーラビリティ（「ＣＧＳ」）階層を示すために使用され、ＳＮＲスケーラビリティは、伝統的な品質スケーラビリティである。よって、ｑｕａｌｉｔｙ＿ｌｅｖｅｌ及びｄｅｐｅｎｄｅｎｃｙ＿ｉｄはともに、品質レベルを区別するために使用することができる。
【００７３】
ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｓｖｃ＿ｆｌａｇが１に等しいことは、以下に定義するｓｖｃ＿ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ（）構文構造が存在していることを規定する。ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｓｖｃ＿ｆｌａｇが０に等しいことは、ｓｖｃ＿ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ（）構文構造が存在していないことを規定する。
【００７４】
表２は、ｓｖｃ＿ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ（）の構文を表す。ＶＵＩパラメータはしたがって、層毎に分離され、個々のＳＵＰ ＳＰＳユニットに入れられる。しかし、他の実現形態は、複数層のＶＵＩパラメータを単一のＳＵＰ ＳＰＳにグループ化する。
【００７５】
【表２】
表２のｓｖｃ＿ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ（）構文のフィールドは、ＪＶＴ−Ｕ２０１ ａｎｎｅｘ Ｅ Ｅ．１の下で西暦２００７年４月に存在したＳＶＳ拡張のバージョンに規定されている。特に、ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）は、ＡＶＣ標準について規定された通りである。更に、ｓｖｃ＿ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ（）は、ＨＲＤ関連パラメータを含む種々の層依存性情報を含む。ＨＲＤ関連パラメータは、ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋ、 ｔｉｍｅ＿ｓｃａｌｅ、 ｆｉｘｅｄ＿ｆｒａｍｅ＿ｒａｔｅ＿ｆｌａｇ、 ｎａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ、 ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ、 ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）、 ｌｏｗ＿ｄｅｌａｙ＿ｈｒｄ＿ｆｌａｇ及びｐｉｃ＿ｓｔｒｕｃｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを含む。更に、ｂｉｔｓｒｅａｍ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｆｌａｇのｉｆループにおける構文要素は、ＨＲＤ関連でないが、層に依存する。
【００７６】
前述の通り、ＳＵＰ ＳＰＳは新たなタイプのＮＡＬユニットとして定義される。表３は、標準ＪＶＴ−Ｕ２０１で規定された通りであるが、ＳＵＰ ＳＰＳにタイプ２４を割り当てるよう修正されたＮＡＬユニット・コードの一部を挙げている。ＮＡＬユニット１とＮＡＬユニット１６との間、及びＮＡＬユニット１８とＮＡＬユニット２４との間の省略符号は、前述のタイプが変わらないことを示す。ＮＡＬユニット・タイプ２５とＮＡＬユニット・タイプ３１との間の省略記号は、前述のタイプが全て未規定であることを意味している。以下の表３の実現形態は、標準のタイプ２４を「未規定」から「ｓｕｐ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｓｖｃ（）」に変えている。「未規定」は一般に、ユーザ・アプリケーション用に予約されている。一方、「予約済」は、一般に、将来の標準的な修正用に予約されている。よって、別の実現形態は、「予約済」タイプ（例えば、タイプ１６、１７又は１８）の１つを「ｓｕｐ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｓｖｃ（）」に変える。「未規定」タイプの変更は特定のユーザの実現形態をもたらす一方、「予約済」タイプの変更は、ユーザ全ての標準を変更する実現形態をもたらす。
【００７７】
【表３】
図８は、ＳＵＰ ＳＰＳユニットを生成するスケーラブルなビデオ符号化器８００の実現形態を示す機能図である。ビデオが、スケーラブルなビデオ符号化器１の入力で受信される。ビデオは、種々の空間レベルに応じて符号化される。空間レベルは主に、同じビデオの、異なる分解能レベルを表す。例えば、スケーラブルなビデオ符号化器の入力として、一空間レベルそれぞれを表すＣＩＦ系列（２８８毎に３５２）又はＱＣＩＦ系列（１４４毎に１７６）を有し得る。
【００７８】
空間レベルそれぞれは符号化器に送出される。空間レベル１が符号化器２”に送出され、空間レベル２が符号化器２’に送出され、空間レベルｍが符号化器２に送出される。
【００７９】
空間レベルは、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄを使用して、３ビットで符号化される。したがって、この実現形態における最大空間レベル数は８である。
【００８０】
符号化器２、２’及び２”は、示された空間レベルを有する１つ又は複数の層を符号化する。符号化器２、２’及び２”は、特定の品質レベル及び時間レベルを有するよう企図することができるか、又は品質レベル及び時間レベルは構成可能であり得る。図８から分かるように、符号化器２、２’及び２”は、階層的に構成される。すなわち、符号化器２”は符号化器２’をフィードし、符号化器２’は同様に、符号化器２をフィードする。階層的な構成は、高位層が低位層を参照として使用する通常のシナリオを示す。
【００８１】
符号化後、ヘッダが、層毎に作成される。示した実現形態では、空間レベル毎に、ＳＰＳメッセージ、ＰＰＳメッセージ、及び複数のＳＵＰ＿ＳＰＳメッセージが作成される。ＳＵＰ ＳＰＳメッセージ（又はユニット）は、例えば、各種品質レベル及び時間レベルに対応する層について作成することができる。
【００８２】
空間レベル１の場合、ＳＰＳ及びＰＰＳ ５”が作成され、
【数１】
の組も作成される。
【００８３】
空間レベル２の場合、ＳＰＳ及びＰＰＳ ５’が作成され、
【数２】
の組も作成される。
【００８４】
空間レベルｍの場合、ＳＰＳ及びＰＰＳ ５が作成され、
【数３】
の組も作成される。
【００８５】
符号化器２、２’及び２”によって符号化されたビットストリーム７，７’及び７”は通常、大局ビットストリームにおいて複数のＳＰＳ、ＰＰＳ及びＳＵＰ＿ＳＰＳ（ヘッダ、ユニット、又はメッセージとしても表す）に続く。
【００８６】
ビットストリーム８”は、ＳＰＳ及びＰＰＳ ５”、
【数４】
及び符号化されたビデオ・ビットストリーム７”（空間レベル１に関連付けられた符号化データ全てを構成する）を含む。
【００８７】
ビットストリーム８’は、ＳＰＳ及びＰＰＳ ５’、
【数５】
及び符号化されたビデオ・ビットストリーム７’（空間レベル２に関連付けられた符号化データ全てを構成する）を含む。
【００８８】
ビットストリーム８は、ＳＰＳ及びＰＰＳ ５、
【数６】
及び符号化されたビデオ・ビットストリーム７（空間レベルｍに関連付けられた符号化データ全てを構成する）を含む。
【００８９】
別々のＳＵＰ＿ＳＰＳヘッダは、表１乃至３に表したヘッダに準拠する。
【００９０】
図８に表す符号化器８００は、空間レベル毎に１つのＳＰＳを生成する。しかし、他の実現形態は、空間レベル毎に複数のＳＰＳ３００を生成することができるか、又は複数の空間レベルに対応するＳＰＳを生成することができる。
【００９１】
ビットストリーム８、８’及び８”は、図８に示すように、ＳＶＣビットストリームを生成する多重化器９において合成される。
【００９２】
図９を参照すれば、階層ビュー９００は、ＳＵＰ ＳＰＳユニットを含むデータ・ストリームの生成を示す。ビュー９００は、図８のスケーラブルなビデオ符号化器８００によって生成される考えられるビットストリームを例証するために使用することができる。ビュー９００は、ＳＶＣビットストリームを伝送インタフェース１７に供給する。
【００９３】
ＳＶＣビットストリームは、例えば、図８の実現形態によって生成することができ、空間レベル毎に１つのＳＰＳを含む。ｍ個の空間レベルが符号化されると、ＳＶＣビットストリームは、図９の１０、１０’及び１０”において表すＳＰＳ１、ＳＰＳ２及びＳＰＳｍを備える。
【００９４】
ＳＶＣビットストリームでは、各ＳＰＳは、空間レベルに対する一般的な情報を符号化する。ＳＰＳには、 ＳＵＰ＿ＳＰＳタイプのヘッダ１１、１１’、１１”、１３、１３’、１３”、１５、１５’及び１５”が続く。ＳＵＰ＿ＳＰＳには、対応する符号化ビデオ・データ１２、１２’、１２”、１４、１４’、１４”、１６、１６’及び１６”（それぞれは、１つの時間レベル（ｎ）及び１つの一品質レベル（Ｏ）に対応する）が続く。
【００９５】
したがって、１つの層が伝送されない場合、対応するＳＵＰ＿ＳＰＳも伝送されない。これは、各層に対応するＳＵＰ＿ＳＰＳヘッダが通常１つであるからである。
【００９６】
通常の実現形態は、ベース層がゼロのＤ及びＱを有する層の番号付け手法を使用する。前述の番号付け手法がビュー９００に使用された場合、ビュー９００はベース層を明示的に示さない。これは、ベース層を使用することを排除するものでない。しかし、更に、ビュー９００は、ベース層のビットストリーム、及び、例えば、ベース層の別個のＳＰＳ３００を明示的に示すよう増強することができる。更に、ビュー９００は、ビットストリーム（１，１，１）乃至（ｍ，ｎ，Ｏ）の１つ又は複数がベース層を表す、ベース層の別の番号付け手法を使用することができる。
【００９７】
図１０を参照すれば、図８及び図９の実現形態によって生成されるデータ・ストリーム１０００のブロック図を備える。図１０は、
層（１，１，１）：空間レベル１、時間レベル１、品質レベル１（ブロック１０、１１及び１２の伝送を含む）、
層（１，２，１）：品質レベル１、時間レベル２、品質レベル１（ブロック１１’及び１２’の更なる伝送を含む）、
層（２，１，１）：品質レベル２、時間レベル１、品質レベル１（ブロック１０’、１３及び１４の更なる伝送を含む）、
層（３，１，１）：空間レベル３、時間レベル１、品質レベル１（ブロック１０”，１５及び１６の更なる伝送を含む）、
層（３，２，１）、空間レベル３、時間レベル２、品質レベル１（ブロック１５’及び１６’の更なる伝送を含む）、
層（３，３，１）、空間レベル３、時間レベル３、品質レベル１（ブロック１５”及び１６”の更なる伝送を含む）
の層の伝送を示す。
【００９８】
データ・ストリーム１０００のブロック図は、ＳＰＳ１０は一回のみ送出され、層（１，１，１）及び層（１，２，１）によって使用され、ＳＰＳ１０”は一回のみ送出され、層（３，１，１）、層（３，２，１）及び層（３，３，１）それぞれによって使用される。更に、データ・ストリーム１０００は、層全てのパラメータが送信される訳でなく、送信層に対応するパラメータのみが送信される。例えば、
【数７】
に対応する、層（２，２，１）のパラメータは、前述の層が送信されないので送信されない。このことにより、前述の実現形態の効率がもたらされる。
【００９９】
図１１を参照すれば、符号化器１１００は、ＳＰＳ生成装置１１１０と、ビデオ符号化器１１２０と、フォーマッティング器１１３０とを備える。ビデオ符号化器１１２０は、入力ビデオを受信し、入力ビデオを符号化し、符号化入力ビデオをフォーマッティング器１１３０に供給する。符号化入力ビデオは例として、例えば符号化ベース層や符号化エンハンスメント層などの複数の層を含み得る。ＳＰＳ生成装置１１１０は、例えば、ＳＰＳユニットやＳＵＰ ＳＰＳユニットなどのヘッダ情報を生成し、ヘッダ情報をフォーマッティング器１１３０に供給する。ＳＰＳ生成装置１１１０は更に、入力ビデオの符号化においてビデオ符号化器１１２０によって使用されるパラメータを供給するためにビデオ符号化器１１２０と通信する。
【０１００】
ＳＰＳ生成装置１１１０は例えば、ＳＰＳ ＮＡＬユニットを生成するよう構成することができる。ＳＰＳ ＮＡＬユニットは、画像系列の第１の層の符号化の復号化において使用するためのパラメータを表す情報を含み得る。ＳＰＳ生成装置１１１０は、例えば、ＳＰＳ ＮＡＬユニットとは別の構造を有するＳＵＰ ＮＡＬユニットを生成するよう構成することもできる。ＳＵＰ ＳＰＳ ＮＡＬユニットは、画像系列の第２の層の符号化の復号化において使用するためのパラメータを表す情報を含み得る。第１の層の符号化及び第２の層の符号化は、ビデオ符号化器１１２０によってもたらされ得る。
【０１０１】
フォーマッティング器１１３０は、ビデオ符号化器１１２０からの符号化ビデオ、及びＳＰＳ生成装置１１１０からのヘッダ情報を多重化して、出力符号化されたビットストリームを生成する。符号化されたビットストリームは、画像系列の第１の層の符号化、画像系列の第２の層の符号化、ＳＰＳ ＮＡＬユニット、及びＳＵＰ ＳＰＳ ＮＡＬユニットを含むデータの組であり得る。
【０１０２】
符号化器１１００の構成部分１１１０、１１２０及び１１３０は多くの形態をとり得る。構成部分１１１０、１１２０及び１１３０のうちの１つ又は複数は、ハードウェア、ソフトウェア、ファームウェア、又は組合せを含み得、例えば、符号化器として機能するようソフトウェアによって構成された汎用プロセッサ又は専用符号化器などの種々のプラットフォームから動作させることができる。
【０１０３】
図８及び図１１を比較することができる。ＳＰＳ生成装置１１１０は、図８に示す種々の
【数８】
及びＳＰＳを生成することができる。ビデオ符号化器１１２０は、図８に示すビットストリーム７、７’、７”（入力ビデオの符号化である）を生成することができる。ビデオ符号化器１１２０は例えば、符号化器２、２’又は２”のうちの１つ又は複数に相当し得る。フォーマッティング器１１３０は、参照符号８、８’、８”によって示す階層的に構成されたデータを生成し、図８のＳＶＣビットストリームを生成するよう多重化器９の動作を行うことができる。
【０１０４】
図１及び図１１も比較することができる。ビデオ符号化器１１２０は、例えば、図１のブロック１０４及び１８７に対応し得る。フォーマッティング器１１３０は例えば、多重化器１７０に対応し得る。ＳＰＳ生成装置１１１０は図１に明示的に示していないが、ＳＰＳ生成装置１１１０の機能は例えば、多重化器１７０によって行うことができる。
【０１０５】
符号化器１１００の他の実現形態は、例えば、データが予め符号化されているので、ビデオ符号化器１１２０を含まない。符号化器１１００は、更なる出力を備え、構成部分間の更なる通信を備えることもできる。符号化器１１００は、例えば、既存の構成部分間に配置され得る更なる構成部分を備えるよう修正することもできる。
【０１０６】
図１２を参照すれば、符号化器１１００と同様に動作する符号化器１２００を示す。符号化器１２００は、プロセッサ１２２０と通信するメモリ１２１０を含む。メモリ１２１０は例えば、入力ビデオを記憶し、符号化若しくは復号化パラメータを記憶し、符号化処理中に中間結果若しくは最終結果を記憶し、又は、符号化方法を実行するための命令を記憶するために使用することができる。前述の記憶装置は、一時的なものであっても永久的なものであってもよい。
【０１０７】
プロセッサ１２２０は、入力ビデオを受信し、入力ビデオを符号化する。プロセッサ１２２０は更に、ヘッダ情報を生成し、ヘッダ情報及び符号化入力ビデオを含む符号化ビットストリームをフォーマッティングする。符号化器１１００と同様に、プロセッサ１２２０によって供給されるヘッダ情報は、複数の層のヘッダ情報を伝えるための別個の構造を含み得る。プロセッサ１２２０は、例えば、プロセッサ１２２０又はメモリ１２１０に記憶されているか、プロセッサ１２２０又はメモリ１２１０に他の方法で常駐しているか、又は、プロセッサ１２２０又はメモリ１２１０の一部である命令に応じて動作し得る。
【０１０８】
図１３を参照すれば、入力ビデオを符号化するための処理１３００を示す。処理１３００は例えば、符号化器１１００又は１２００によって行うことができる。
【０１０９】
処理１３００は、ＳＰＳ ＮＡＬユニットを生成する工程（１３１０）を含む。ＳＰＳ ＮＡＬユニットは、画像系列の第１の層の符号化の復号化において使用するためのパラメータを表す情報を含む。ＳＰＳ ＮＡＬユニットは符号化標準によって規定してもしなくてもよい。ＳＰＳ ＮＡＬユニットが符号化標準によって規定される場合、符号化標準は、復号化器が、受信されたＳＰＳ ＮＡＬユニットに応じて動作することを必要とし得る。前述の要件は、一般に、ＳＰＳ ＮＡＬユニットが「規範的である」と示すことによって表される。例えば、ＳＰＳはＡＶＣ標準において規範的である一方、例えば、付加拡張情報（「ＳＥＩ」）メッセージは規範的でない。よって、ＡＶＣ互換復号化器は、受信ＳＥＩメッセージを無視し得るが、受信ＳＰＳに応じて動作しなければならない。
【０１１０】
ＳＰＳ ＮＡＬユニットは、第１の層を復号化するための１つ又は複数のパラメータを表す情報を含む。パラメータは例えば、層に依存する情報であっても層に依存しない情報であってもよい。通常、層に依存するパラメータの例には、ＶＵＩパラメータ又はＨＲＤパラメータが含まれる。
【０１１１】
動作１３１０は例えば、ＳＰＳ生成装置１１１０、プロセッサ１２２０、又はＳＰＳ及びＰＰＳ挿入器２１４０によって行うことができる。動作１３１０は更に、図８中のブロック５、５’、５”の何れかにおけるＳＰＳの生成に対応し得る。
【０１１２】
よって、動作１３１０、すなわち、ＳＰＳ ＮＡＬユニットの生成、を行う手段は種々の構成部分を含み得る。例えば、前述の手段は、ＳＰＳ５、５’、５”を生成するモジュール、図１、８、１１若しくは１２の符号化器システム全体、ＳＰＳ生成装置１１１０、プロセッサ１２２０、又はＳＰＳ及びＰＰＳ挿入器２１４０、あるいは、既知の符号化器及び将来開発される符号化器を含むそれらの均等物を含み得る。
【０１１３】
処理１３００は、ＳＰＳ ＮＡＬユニットとは別の構造を有する補助（「ＳＵＰ」）ＳＰＳ ＮＡＬユニットを生成する工程（１３０２）を含む。ＳＵＰ ＳＰＳ ＮＡＬユニットは、画像系列の第２の層の符号化の復号化において使用するためのパラメータを表す情報を含む。ＳＵＰ ＳＰＳ ＮＡＬユニットは符号化標準によって規定してもしなくてもよい。ＳＵＰ ＳＰＳ ＮＡＬユニットが符号化標準によって規定される場合、符号化標準は、復号化器が、受信されたＳＵＰ ＳＰＳ ＮＡＬユニットに応じて動作することを必要とし得る。同亜１３１０に関して上述した通り、前述の要件は、一般に、ＳＵＰ ＳＰＳ ＮＡＬユニットが「規範的である」旨を示すことによって表される。
【０１１４】
種々の実現形態は、規範的ＳＵＰ ＳＰＳメッセージを含む。例えば、ＳＵＰ ＳＰＳメッセージは、２つ以上の層を復号化する復号化器（例えば、ＳＶＣ互換復号化器）について規範的であり得る。前述のマルチレイヤ復号化器（例えば、ＳＶＣ互換復号化器）は、ＳＵＰ ＳＰＳ メッセージにおいて伝えられた情報に応じて動作することが必要になる。しかし、単一層復号化器（例えば、ＡＶＣ互換復号化器）は、ＳＵＰ ＳＰＳメッセージを無視し得る。別の例として、ＳＵＰ ＳＰＳメッセージは、単一層及び複数層の復号化器を含む復号化器全てについて規範的であり得る。ＳＵＰ ＳＰＳ メッセージが概ね、ＳＰＳメッセージに基づいており、ＳＰＳメッセージがＡＶＣ標準並びにＳＶＣ及びＭＶＣ拡張において規範的であるので、多くの実現形態が、規範的ＳＵＰ ＳＰＳメッセージを含むことは、驚くほどでない。すなわち、ＳＵＰ ＳＰＳ メッセージは、同様のデータをＳＰＳメッセージとして収容し、ＳＰＳメッセージと同様な目的を担い、ＳＰＳメッセージのタイプとみなし得る。規範的ＳＵＰ ＳＰＳ メッセージを有する実現形態は互換性の利点をもたらし、例えば、ＡＶＣ及びＳＶＣ復号化器が、共通のデータ・ストリームを受信することを可能にし得る。
【０１１５】
（ＳＵＰ ＳＰＳメッセージとしても表す）ＳＵＰ ＳＰＳ ＮＡＬユニットは、第２の層を復号化するための１つ又は複数のパラメータを含む。パラメータは例えば、層に依存する情報であっても層に依存しない情報であってもよい。特定の例には、ＶＵＩパラメータやＨＲＤパラメータがある。ＳＵＰ ＳＰＳは、第２の層の復号化に使用されることに加え、第１の層の復号化にも使用することができる。
【０１１６】
動作１３２０は例えば、ＳＰＳ生成装置１１１０、プロセッサ１２２０、又はＳＰＳ及びＰＰＳ挿入器２１４０と同様なモジュールよって行うことができる。動作１３２０は更に、図８中のブロック６、６’、６”の何れかにおけるＳＵＰ＿ＳＰＳ の生成に相当し得る。
【０１１７】
よって、動作１３２０、すなわち、ＳＵＰ ＳＰＳ ＮＡＬユニットの生成、を行う手段は種々の構成部分を含み得る。例えば、前述の手段は、ＳＵＰ＿ＳＰＳ６、６’又は６”を生成するモジュール、図１、図８、図１１若しくは図１２の符号化器システム全体、ＳＰＳ生成装置１１１０、プロセッサ１２２０、又はＳＰＳ及びＰＰＳ挿入器２１４０と同様のモジュール、あるいは、既知の符号化器及び将来開発される符号化器を含むそれらの均等物を含み得る。
【０１１８】
処理１３００は、画像系列の第１の層の符号化（例えば、ベース層）の符号化、及び画像系列の第２の層の符号化（１３３０）を含む。画像系列の前述の符号化は、第１の層の符号化及び第２の層の符号化をもたらす。第１の層の符号化は、第１の層の符号化ユニットとして表す一連のユニットにフォーマッティングすることができ、第２の層の符号化は、第２の層の符号化ユニットとして表す一連のユニットにフォーマッティングすることができる。動作１３３０は、例えば、ビデオ符号化器１１２０、プロセッサ１２２０、図８の符号化器２，２’、２”、又は図１の実現形態によって行うことができる。
【０１１９】
よって、動作１３３０を行う手段は種々の構成部分を含み得る。例えば、前述の手段は、符号化器２、２’若しくは２”、図１、８、１１若しくは１２の符号化器システム全体、ビデオ符号化器１１２０、プロセッサ１２２０、又は１つ若しくは複数のコア符号化器１８７（場合によっては、デシメーション・モジュール１０４を含む）、あるいは既知の符号化器及び将来開発される符号化器を含む均等物を含み得る。
【０１２０】
処理１３００は、データの組を供給する工程（１３４０）を含む。上記データの組は、画像系列の第１の層の符号化、画像系列の第２の層の符号化、ＳＰＳ ＮＡＬユニット、及びＳＵＰ ＳＰＳ ＮＡＬユニットを含む。上記データの組は、例えば、メモリに記憶されるか、あるいは１つ又は複数の復号化器に送信されるよう、既知の標準に応じて符号化され得る。動作１３４０は例えば、図１のフォーマッティング器１１３０、プロセッサ１２２０又は多重化器１７０によって行うことができる。動作１３４０は、ビットストリーム ８、 ８’若しくは８”の何れかの生成、並びに多重化されたＳＶＣビットストリームの生成により、図８において行うこともできる。
【０１２１】
よって、動作１３４０（すなわち、データの組の供給）を行う手段は種々の構成部分を含み得る。例えば、前述の手段は、８、８’若しくは８”を生成するモジュール、多重化器９、図１、８、１１若しくは１２の符号化器システム全体、フォーマッティング器１１３０、プロセッサ１２２０、又は多重化器１７０、あるいは既知の符号化器及び将来開発される符号化器を含むそれらの均等物を含み得る。
【０１２２】
処理１３００は種々のやり方で修正することができる。例えば、動作１３３０は、例えば、データが予め符号化されている実現形態において処理１３００から除外することができる。更に、動作１３３０の除外に加え、動作１３４０は、複数の層の記述ユニットの生成に関する処理を提供するよう除外することができる。
【０１２３】
図１４を参照すれば、例えば、処理１３００によって生成することができるデータ・ストリーム１４００を示す。データ・ストリーム１４００は、ＳＰＳ ＮＡＬユニットの一部分１４１０と、ＳＵＰ ＳＰＳ ＮＡＬユニットの一部分１４２０と、第１の層の符号化データの一部分１４３０と、第２の層の符号化データの一部分１４４０とを含む。第１の層の符号化データ１４３０は、第１の層の符号化ユニットとしてフォーマッティングすることができる第１の層の符号化である。第２の層の符号化データ１４４０は、第２の層の符号化ユニットとしてフォーマッティングすることができる第２の層の符号化である。データ・ストリーム１４００は、部分１４４０後に付加するか、部分１４１０ー１４４０間で分散させることができる更なる部分を含み得る。更に、他の実現形態は部分１４１０乃至１４４０のうちの１つ又は複数を修正することができる。
【０１２４】
データ・ストリーム１４００は、図９及び図１０と比較することができる。ＳＰＳ ＮＡＬユニット１４１０は例えば、ＳＰＳ１ １０、 ＳＰＳ２ １０’及びＳＰＳｍ １０”の何れかであり得る。ＳＵＰ ＳＰＳ ＮＡＬユニット１４２０は例えば、ＳＵＰ＿ＳＰＳヘッダ１１、１１’、１１”、１３、１３’、１３”、１５、１５’及び１５”の何れかであり得る。第１の層の符号化データ１４３０及び第２の層の符号化データ１４４０は、層ビットストリーム（１，１，１）１２乃至（ｍ，ｎ，Ｏ）１６”として示し、ビットストリーム１２、１２’、１２”、１４、１４’、１４”、１６、１６’及び１６”のビットストリームを含む、個々の層のビットストリームの何れかであり得る。第１の層の符号化データ１４３０が、第２の層の符号化データ１４４０よりも高いレベルの組を備えたビットストリームであることが考えられる。例えば、第１の層の符号化データ１４３０は、層ビットストリーム（２，２，１）１４’であり得、第２の層の符号化データ１４４０は、層ビットストリーム（１，１，１）１２であり得る。
【０１２５】
データ・ストリーム１４００の実現形態はデ―タ・ストリーム１０００にも対応し得る。ＳＰＳ ＮＡＬユニット１４１０はデータ・ストリーム１０００のＳＰＳモジュール１０に対応し得る。ＳＵＰ ＳＰＳ ＮＡＬユニット１４２０はデータ・ストリーム１０００のＳＵＰ＿ＳＰＳモジュール１１に対応し得る。第１の層の符号化データ１４３０は、データ・ストリーム１０００の層ビットストリーム（１，１，１）に対応し得る。第２の層の符号化データ１４４０はデータ・ストリーム１０００の層ビットストリーム（１，２，１）１２’に対応し得る。データ・ストリーム１０００のＳＵＰ＿ＳＰＳモジュール１１’は、第１の層の符号化データ１４３０と第２の層の符号化データ１４４０との間で分散し得る。データ・ストリーム１０００に示す残りのブロック（１０’乃至１６”）は、データ・ストリーム１０００に示す順序と同じ順序でデータ・ストリーム１４００に付加し得る。
【０１２６】
図９及び図１０は、ＳＰＳモジュールが層特有パラメータを何ら含まないことを示唆し得る。種々の実現形態は、実際にこのようにして動作し、通常、層毎にＳＵＰ＿ＳＰＳを必要とする。しかし、他の実現形態は、ＳＰＳが、１つ又は複数の層の層特有パラメータを含めることを可能にし、よって、ＳＵＰ＿ＳＰＳを必要とすることなく１つ又は複数の層を伝送することを可能にする。
【０１２７】
図９及び図１０は、各空間レベルがそれ自身のＳＰＳを有することを示唆している。他の実現形態はこの構成を変えている。例えば、他の実現形態は、時間レベル毎に、又は品質レベル毎に別個のＳＰＳを備える。なお他の実現形態は層毎の別個のＳＰＳを備え、他の実現形態は、層全てを扱う単一のＳＰＳを備える。
【０１２８】
図１５を参照すれば、復号化器１５００は、例えば、符号化器１１００、符号化器１２００、処理１３００によって供給される符号化ビットストリームやデータ・ストリーム１４００などを受信する解析装置１５１０を含む。解析装置１５１０は復号化器１５２０に結合される。
【０１２９】
解析装置１５１０は、ＳＰＳ ＮＡＬユニットからの情報にアクセスするよう構成される。ＳＰＳ ＮＡＬユニットからの情報は、画像系列の第１の層の符号化の復号化において使用するためのパラメータを表す。解析装置１５１０は、ＳＰＳ ＮＡＬユニットとは別の構造を有するＳＵＰ ＳＰＳ ＮＡＬユニットからの情報にアクセスするよう更に構成される。ＳＵＰ ＳＰＳ ＮＡＬユニットからの情報は、画像系列の第２の層の符号化の復号化において使用するためのパラメータを表す。図１３に関して上述したように、パラメータは層に依存するものであってもなくてもよい。
【０１３０】
解析装置１５１０は、解析されたヘッダ・データを出力として供給する。ヘッダ・データは、ＳＰＳ ＮＡＬユニットからアクセスされた情報を含み、ＳＵＰ ＳＰＳ ＮＡＬユニットからアクセスされた情報も含む。解析装置１５１０は更に、解析された符号化ビデオ・データを出力として供給する。符号化ビデオ・データは、第１の層の符号化及び第２の層の符号化を含む。ヘッダ・データ及び符号化ビデオ・データは復号化器１５２０に供給される。
【０１３１】
復号化器１５２０は、ＳＰＳ ＮＡＬユニットからアクセスされる情報を使用して第１の層の符号化を復号化する。復号化器１５２０は更に、ＳＵＰ ＳＰＳ ＮＡＬユニットからアクセスされた情報を使用して第２の層の符号化を復号化する。復号化器１５２０は更に、復号化された第１の層及び／又は復号化された第２の層に基づいて画像系列の再構成を更に生成する。復号化器１５２０は、再構成されたビデオを出力として供給する。再構成されたビデオは例えば、第１の層の符号化の再構成、又は第２の層の符号化の再構成であり得る。
【０１３２】
図１５、図２及び図２ａを比較すれば、解析装置１５１０は例えば、一部の実現形態では、逆多重化器２０２、並びに／又は、エントロピ復号化器２０４、２１２、２２２若しくは２２４５のうちの１つ若しくは複数に対応し得る。復号化器１５２０は、例えば、図２中の残りのブロックに対応し得る。
【０１３３】
復号化器１５００は更に、更なる出力を備え、構成部分間の更なる通信を備えることもできる。復号化器１５００は更に、例えば、既存の構成部分間に配置し得る更なる構成部分を設けるよう修正することができる。
【０１３４】
復号化器１５００の構成部分１５１０及び１５２０は多くの形態をとり得る。構成部分１５１０及び１５２０の１つ又は複数はハードウェア、ソフトウェア、ファームウェア、又は組合せを含み得、例えば、専用復号化器、又は、復号化器として機能するようソフトウェアによって構成された汎用プロセッサなどの種々のプラットフォームから動作させることができる。
【０１３５】
図１６を参照すれば、復号化器１５００と同様に動作する復号化器１６００を示す。復号化器１６００は、プロセッサ１６２０と通信するメモリ１６１０を含む。メモリ１６１０は例えば、入力された符号化ビットストリームを記憶し、復号化若しくは符号化パラメータを記憶し、復号化処理中に中間結果若しくは最終結果を記憶し、又は、復号化方法を実行するための命令を記憶するために使用することができる。前述の記憶装置は、一時的なものであっても永久的なものであってもよい。
【０１３６】
プロセッサ１６２０は、符号化ビットストリームを受信し、符号化ビットストリームを再構成ビデオに復号化する。符号化ビットストリームは例えば、（１）画像系列の第１の層の符号化と、（２）画像系列の第２の層の符号化と、（３）第１の層の符号化の復号化に使用するためのパラメータを表す情報を有するＳＰＳ ＮＡＬユニットと、（４）ＳＰＳ ＮＡＬユニットと別の構造を有し、第２の層の符号化の復号化に使用するためのパラメータを表す情報を有するＳＵＰ ＳＰＳ ＮＡＬユニットとを含む。
【０１３７】
プロセッサ１６２０は、少なくとも、第１の層の符号化、第２の層の符号化、ＳＰＳ ＮＡＬユニットからの情報、及びＳＵＰ ＳＰＳ ＮＡＬユニットからの情報に基づいて再構成ビデオを生成する。再構成されたビデオは例えば、第１の層の符号化の再構成、又は第２の層の符号化の再構成であり得る。プロセッサ１６２０は、例えば、プロセッサ１６２０又はメモリ１６１０に記憶されているか、プロセッサ１６２０又はメモリ１６１０に他の方法で常駐しているか、又は、プロセッサ１６２０又はメモリ１６１０の一部である命令に応じて動作し得る。
【０１３８】
図１７を参照すれば、符号化ビットストリームを復号化するための処理１７００を示す。処理１７００は例えば、復号化器１５００又は１６００によって行うことができる。
【０１３９】
処理１７００は、ＳＰＳ ＮＡＬユニットからの情報にアクセスする工程（１７１０）を含む。アクセスされた情報は、画像系列の第１の層の符号化の復号化において使用するためのパラメータを表す。
【０１４０】
ＳＰＳ ＮＡＬユニットは、図１３に関して上述したようなものであり得る。更に、アクセス情報は例えば、ＨＲＤパラメータであり得る。動作１７１０は例えば、解析装置１５１０、プロセッサ１６２０、エントロピ復号化器２０４、２１２、２２２、若しくは２２４５、又は復号化器制御２２０５によって行うことができる。動作１７１０は更に、符号化器の１つ又は複数の構成部分により、符号化器で再構成処理において行うことができる。
【０１４１】
よって、動作１７１０、すなわち、ＳＰＳ ＮＡＬユニットからの情報へのアクセス、を行う手段は種々の構成部分を含み得る。例えば、前述の手段は、解析装置１５１０、プロセッサ１６２０、単一層復号化器、図２、図１５若しくは図１６の復号化器システム全体、又は、復号化器の１つ若しくは複数の構成部分、あるいは、符号化器８００、１１１０若しくは１２００の１つ又は複数の構成部分、あるいは、既知の復号化器及び符号化器、並びに将来に開発される復号化器及び符号化器を含むそれらの均等物を含み得る。
【０１４２】
処理１７００は、ＳＰＳ ＮＡＬユニットとは別の構造を有するＳＵＰ ＳＰＳ ＮＡＬユニットからの情報にアクセスする工程（１７２０）を含む。ＳＵＰ ＳＰＳ ＮＡＬユニットからアクセスされた情報は、画像系列の第２の層の符号化の復号化において使用するためのパラメータを表す。
【０１４３】
ＳＵＰ ＳＰＳ ＮＡＬユニットは、図１３に関して上述したようなものであり得る。更に、アクセス情報は例えば、ＨＲＤパラメータであり得る。動作１７２０は例えば、解析装置１５１０、プロセッサ１６２０、エントロピ復号化器２０４、２１２、２２２、若しくは２２４５、又は復号化器制御２２０５によって行うことができる。動作１７２０は更に、符号化器の１つ又は複数の構成部分により、符号化器で再構成処理において行うことができる。
【０１４４】
よって、動作１７２０、すなわち、ＳＵＰ ＳＰＳ ＮＡＬユニットからの情報へのアクセス、を行う手段は種々の構成部分を含み得る。例えば、前述の手段は、解析装置１５１０、プロセッサ１６２０、逆多重化器２０２、エントロピ復号化器２０４、２１２若しくは２２２、単一層復号化器、又は、復号化器システム２００、１５００若しくは１６００全体、あるいは符号化器８００、１１００若しくは１２００の１つ若しくは複数の構成部分、あるいは既知の復号化器及び符号化器を含むそれらの均等物を含み得る。
【０１４５】
動作１７００は、画像系列の第１の層の符号化及び第２の層の符号化にアクセスする工程（１７３０）を含む。第１の層の符号化は第１の層の符号化ユニットにフォーマッティングされていることがあり得、第２の層の符号化は第２の層の符号化ユニットにフォーマッティングされていることがあり得る。動作１７３０は例えば、解析装置１５１０、復号化器１５２０、プロセッサ１６２０、エントロピ復号化器２０４、２１２、２２２若しくは２２４５、又はエントロピ復号化器の下流の種々の他のブロックによって行うことができる。動作１７３０は更に、符号化器の１つ又は複数の構成部分により、符号化器での再構成処理において行うことができる。
【０１４６】
よって、動作１７３０を行う手段は種々の構成部分を含み得る。例えば、前述の手段は、解析装置１５１０、復号化器１５２０、プロセッサ１６２０、逆多重化器２０２、エントロピ復号化器２０４、２１２若しくは２２２、単一層復号化器、ビットストリーム受信器、受信装置、又は、復号化器システム２００、１５００又は１６００の全体、あるいは、復号化器の１つ若しくは複数の構成部分、あるいは、符号化器８００、１１１０若しくは１２００の１つ又は複数の構成部分、あるいは、既知の復号化器及び符号化器、並びに将来に開発される復号化器及び符号化器を含むそれらの均等物を含み得る。
【０１４７】
処理１７００は、画像の系列の復号化を生成する工程（１７４０）を含む。画像系列の復号化は、第１の層の符号化、第２の層の符号化、ＳＰＳ ＮＡＬユニットからのアクセス情報、及びＳＵＰ ＳＰＳ ＮＡＬユニットからのアクセス情報に基づき得る。動作１７４０は例えば、復号化器１５２０、プロセッサ１６２０、又は逆多重化器２０２及び入力バッファ２２１０の下流の種々のブロックによって行うことができる。動作１７４０は更に、符号化器の１つ又は複数の構成部分により、符号化器で再構成処理において行うことができる。
【０１４８】
よって、動作１７４０を行う手段は種々の構成部分を含み得る。例えば、前述の手段は、復号化器１５３０、プロセッサ１６２０、単一層復号化器、復号化器システム２００、１５００若しくは１６００の全体、又は再構成を行う符号化器、復号化器のうちの１つ又は複数の構成部分、あるいは、符号化器８００、１１００及び１２００の１つ又は複数の構成部分、あるいは、既知の復号化器若しくは符号化器、及び将来開発される復号化器若しくは符号化器を含むそれらの均等物を含み得る。
【０１４９】
別の実現形態は、第１の規範的パラメータ・セットにおける第１の層に依存する情報にアクセスする工程を含む符号化方法を行う。アクセスされた、第１の層に依存する情報は、画像系列の第１の層の符号化の復号化において使用するためのものである。第１の規範的パラメータ・セットは例えば、ＨＲＤ関連パラメータ又は他の層依存性情報を含むＳＰＳであり得る。しかし、第１の規範的パラメータ・セットはＳＰＳでなくてよく、Ｈ．２６４標準に関係していなくてよい。
【０１５０】
当該パラメータ・セットが受信された場合に第１のパラメータ・セットに応じて復号化器が動作することを必要とする、第１のパラメータ・セットが規範的であることに加えて、第１のパラメータ・セットは、実現形態において受信されることも必要とし得る。すなわち、実現形態は、第１のパラメータ・セットを復号化器に供給することを必要とし得る。
【０１５１】
この実現形態の符号化方法は、第２の規範的パラメータ・セットにおける第２の層に依存する情報にアクセスする工程を更に含む。第２の規範的パラメータ・セットは、第１の規範的パラメータ・セットとは別の構造を有する。更に、アクセスされた、第２の層に依存する情報は、画像系列の第２の層の符号化の復号化において使用するためのものである。第２の規範的パラメータ・セットは例えば、補助ＳＰＳであり得る。補助ＳＰＳは、例えばＳＰＳとは別の構造を有する。補助ＳＰＳは、（第１の層とは別の）第２の層のＨＲＤパラメータ又は他の層依存性情報を更に含む。
【０１５２】
この実現形態の符号化方法は更に、アクセスされた、第１の層に依存する情報、及びアクセスされた、第２の層に依存する情報のうちの１つ又は複数に基づいて画像系列を復号化する工程を更に含む。これは例えば、ベース層又はエンハンスメント層の復号化を含み得る。
【０１５３】
対応する装置は、この実現形態の符号化手法を実現するために他の実現形態においても備えられる。前述の装置は例えば、プログラムされた符号化器、プログラムされたプロセッサ、ハードウェア実現形態、又は、符号化方法を行うための命令を有するプロセッサ読み取り可能な媒体を含む。システム１１００及び１２００は例えば、この実現形態の符号化方法を実現することができる。
【０１５４】
対応する信号、及び前述の信号又は前述の信号のデータを記憶する媒体も提供される。前述の信号は、例えば、この実現形態の符号化方法を行う符号化器によって生成される。
【０１５５】
別の実現形態は、上記符号化方法と同様な復号化手法を行う。復号化方法は、第１の層に依存する情報を含む第１の規範的パラメータ・セットを生成する工程を含む。第１の層に依存する情報は、画像系列の第１の層の符号化の復号化において使用するためのものである。復号化方法は、第１の規範的パラメータ・セットとは別の構造を有する第２の規範的パラメータ・セットを生成する工程も含む。第２の規範的パラメータ・セットは、画像系列の第２の層の符号化の復号化において使用するための第２の層に依存する情報を含む。復号化方法は、第１の規範的パラメータ・セット及び第２の規範的パラメータ・セットを含むデータの組を供給する工程を更に含む。
【０１５６】
対応する装置は、この実現形態の上記符号化手法を実現するために他の実現形態においても備えられる。前述の装置は例えば、プログラムされた復号化器、プログラムされたプロセッサ、ハードウェア実現形態、又は、復号化方法を行うための命令を有するプロセッサ読み取り可能な媒体を含む。システム１５００及び１６００は例えば、この実現形態の復号化方法を実現することができる。
【０１５７】
例えば、「補助ＳＰＳ」を表す場合に、上記「補助」の語は、説明的な語である。そういうものとして、「補助ＳＰＳ」は、ユニット名において「補助」の語を含まないユニットを排除するものでない。よって、かつ例として、ＳＶＣ拡張の現在のドラフトは、「サブセットＳＰＳ」構文構造を規定しており、「サブセットＳＰＳ」構文構造は、記述的な語「補助」によって完全に包含される。現在のＳＶＣ拡張の「サブセットＳＰＳ」は、本明細書及び特許請求の範囲記載のＳＵＰ ＳＰＳの一実現形態である。
【０１５８】
実現形態は、ＳＰＳ ＮＡＬユニット及び／若しくはＳＵＰ ＳＰＳ ＮＡＬユニットに加えて、又はＳＰＳ ＮＡＬユニット及び／若しくはＳＵＰ ＳＰＳ ＮＡＬユニットの代わりとして他のタイプのメッセージを使用することができる。例えば、少なくとも１つの実現形態は、層依存性情報を有する他のパラメータ・セットを生成し、送信し、受信し、上記他のパラメータ・セットにアクセスし、上記他のパラメータ・セットを解析する。
【０１５９】
更に、ＳＰＳ及び補助ＳＰＳは、概ねＨ．２６４標準の意味合いで説明しているが、他の標準は更に、ＳＰＳ、補助ＳＰＳ、又は、ＳＰＳ若しくは補助ＳＰＳの変形を含み得る。よって、他の標準（既存又は将来開発される）は、ＳＰＳ又は補助ＳＰＳとして表す構造を含み得、前述の構造は、本明細書及び特許請求の範囲記載のＳＰＳ及び補助ＳＰＳと同一であるか、上記ＳＰＳ及び補助ＳＰＳの変形であり得る。前述の他の標準は例えば、現在のＨ．２６４標準に関係し得る（例えば、既存のＨ．２６４標準に対する修正）か、又は全く新たな標準であり得る。あるいは、他の標準（既存又は将来開発される）は、ＳＰＳ又は補助ＳＰＳとして表さない構造を含み得るが、前述の構造は、本明細書及び特許請求の範囲記載のＳＰＳ及び補助ＳＰＳと同一であるか、上記ＳＰＳ及び補助ＳＰＳの変形であり得る。
【０１６０】
パラメータ・セットは、パラメータを含むデータの組（例えば、ＳＰＳ、ＰＰＳ、又は補助ＳＰＳ）である。
【０１６１】
種々の実現形態では、データに「アクセスされる」としている。データに「アクセスする」工程は例えば、データを受信する工程、データを記憶する工程、データを送信する工程、又はデータを処理する工程を含み得る。
【０１６２】
種々の実現形態を記載し、説明している。前述の実現形態は、種々の課題を解決するために使用することが可能である。（層としても表す）複数のインターオペラビリティ・ポイント（ＩＯＰ）が、ＳＰＳに通常収容されるパラメータの種々の値を必要とする場合に、前述の課題の１つが生じる。同じＳＰＳ識別子を有する別々の層についてＳＰＳにおいて層依存性構文要素を送信する方法で適切なものは存在していない。前述の層毎の別個のＳＰＳデータを送出することは問題となる。例えば、多くの既存のシステムでは、ベース層及びその複合時間層は同じＳＰＳ識別子を共有する。
【０１６３】
いくつかの実現形態は、補助ＳＰＳデータについて別のＮＡＬユニット・タイプを備える。よって、複数のＮＡＬユニットを送出することができ、各ＮＡＬユニットは別のＳＶＣ層の補助ＳＰＳ情報を含み得るが、各ＮＡＬユニットは同じＮＡＬユニット・タイプによって識別することができる。補助ＳＰＳ情報は、一実現形態では、現在のＳＶＣ拡張の「サブセットＳＰＳ」ＮＡＬユニット・タイプにおいて供給することができる。
【０１６４】
本明細書及び特許請求の範囲記載の実現形態は、ＳＶＣ拡張又は何れかの他の標準に制限されるものでない。本明細書及び特許請求の範囲記載の概念及び特徴は、現在存在しているか、若しくは将来開発される他の標準に使用することができるか、又は、何れの標準にも準拠しないシステムに使用することができる。一例として、本明細書及び特許請求の範囲記載の概念及び構成は、ＭＶＣ拡張の環境において動作する実現形態について使用することができる。例えば、ＭＶＣビューは別々のＳＰＳ情報を必要とし得るか、又はＭＶＣ拡張内でサポートされるＳＶＣ層は別々のＳＰＳ情報を必要とし得る。更に、本明細書及び特許請求の範囲記載の構成及び局面は、更に他の実現形態にも適合させることができる。よって、本明細書及び特許請求の範囲記載の実現形態はＳＶＣ層のＳＰＳの意味合いで記載している場合があるが、前述の記載は、前述の実現形態又は意味合いに上記構成及び概念を限定するものと解するべきでない。
【０１６５】
本明細書及び特許請求の範囲記載の実現形態は、例えば、方法若しくは処理、装置、又はソフトウェア・プログラムで実現することができる。単一の形式の実現形態の意味合いでしか（例えば、方法としてしか）記載されてない場合でも、記載された構成の実現形態は、他の形式（例えば、装置又はプログラム）で実現することもできる。装置は例えば、適切なハードウェア、ソフトウェア及びファームウェアにおいて実現することができる。方法は例えば、コンピュータ、マイクロプロセッサ、集積回路や、プログラマブル論理装置を含む、一般に処理装置を表す装置（例えば、プロセッサ）で実現することができる。プロセッサは更に、例えば、コンピュータ、携帯電話機、ポータブル／ディジタル携帯情報端末（「ＰＤＡ」）、及びエンドユーザ間で情報の通信を容易にする他の装置などの通信装置も含む。
【０１６６】
本明細書及び特許請求の範囲記載の種々の処理及び特徴の実現形態は、例えば、各種機器又はアプリケーションにおいて、特に、例えば、データ符号化及び復号化に関連付けられた機器又はアプリケーションにおいて実施することができる。機器の例には、ビデオ符号化器、ビデオ復号化器、ビデオ・コデック、ウェブ・サーバ、セットトップ・ボックス、ラップトップ、パソコン、携帯電話機、ＰＤＡ、及び他の通信装置を含む。機器は、モバイルであり得、移動車両に設置することもできる。
【０１６７】
更に、方法は、プロセッサによって行われる命令によって実現することができ、前述の命令は、プロセッサ読み取り可能な媒体（例えば、集積回路、ソフトウェア担体や他の記憶装置（例えば、ハード・ディスク、コンパクト・ディスケット、ランダム・アクセス・メモリ（「ＲＡＭ」）やリードオンリー・メモリ「ＲＯＭ」）など）上に記憶することができる。命令は、プロセッサ読み取り可能な媒体上に有形に実施されたアプリケーション・プログラムを構成することができる。命令は例えば、ハードウェア、ファームウェア、ソフトウェア、又は組合せであり得る。命令は例えば、オペレーティング・システム、別個のアプリケーション、又は２つの組合せであり得る。よって、プロセッサは、例えば、処理を行うための命令を有するコンピュータ読み取り可能な媒体を含む装置及び処理を行うよう構成された装置として特徴付けることができる。
【０１６８】
当業者に分かるように、実現形態は、例えば、記憶又は伝送することができる情報を搬送するようフォーマッティングされた種々の信号を生成することができる。情報は例えば、前述の実現形態のうちの１つによって生成されるデータ、又は方法を行うための命令を含み得る。例えば、信号は、記載された実施例の構文を読み書きするための規則をデータとして搬送するか、又は記載された実施例によって書き込まれる実際の構文値をデータとして搬送するようフォーマッティングすることができる。前述の信号は例えば、電磁波（例えば、スペクトルの無線周波数部分を使用して）として、又はベースバンド信号としてフォーマッティングすることが可能である。フォーマッティングは例えば、データ・ストリームの符号化、及び符号化データ・ストリームによる搬送波の変調を含み得る。信号が搬送する情報は例えば、アナログ情報又はディジタル情報であり得る。信号は、知られているように、各種有線リンク又は無線リンクを介して伝送することができる。
【０１６９】
いくつかの実現形態を説明してきた。しかし、種々の修正を行うことができることが理解されるであろう。例えば、別々の実現形態の構成要素を合成し、補完し、修正し、又は除外して他の実現形態を生成することができる。更に、他の構造及び処理を、開示されたものと置き換えることができ、結果として生じる実現形態は少なくとも実質的に同じ機能を少なくとも実質的に同じやり方で行って、開示された実現形態と、少なくとも実質的に同じ結果を達成することを当業者は理解するであろう。よって、前述及び他の実現形態は、本出願によって想定されており、特許請求の範囲記載の範囲内に収まる。
【特許請求の範囲】
【請求項１】
多視点映像符号化、すなわちＭＶＣの処理のための方法において、
シーケンス・パラメータ・セット・ネットワーク抽象化層ユニット、すなわちＳＰＳ ＮＡＬユニットからの情報にアクセスするステップであって、前記情報が、画像系列内の第１のＭＶＣ層の符号化の復号化に少なくとも使用するためのパラメータを表す、前記ステップと、
前記ＳＰＳ ＮＡＬユニットのＮＡＬユニット・タイプ符号とは別のＮＡＬユニット・タイプ符号を有し、前記ＳＰＳ ＮＡＬユニットとは別のシンタックス構造を有する補助ＳＰＳ ＮＡＬユニットからの補助情報にアクセスするステップであって、前記補助ＳＰＳ ＮＡＬユニットからの前記補助情報は、前記画像系列内の第２のＭＶＣ層の符号化の復号化に使用するためのＭＶＣ・ビデオ有用性情報、すなわちＶＵＩ・パラメータを表し、前記別の構造は、前記ＭＶＣ・ＶＵＩ・パラメータを前記第２のＭＶＣ層の符号化に適用される旨を示す時間の指標を含む前記補助情報に反映される、前記ステップと、
前記ＳＰＳ ＮＡＬユニットからのアクセスされた情報に基づいて、前記第１のＭＶＣ層の符号化を復号化し、そして前記補助ＳＰＳ ＮＡＬユニットからのアクセスされた補助情報に基づいて前記第２のＭＶＣ層の符号化を復号化するステップと、を含む方法。
【請求項１】
多視点映像符号化、すなわちＭＶＣの処理のための方法において、
シーケンス・パラメータ・セット・ネットワーク抽象化層ユニット、すなわちＳＰＳ ＮＡＬユニットからの情報にアクセスするステップであって、前記情報が、画像系列内の第１のＭＶＣ層の符号化の復号化に少なくとも使用するためのパラメータを表す、前記ステップと、
前記ＳＰＳ ＮＡＬユニットのＮＡＬユニット・タイプ符号とは別のＮＡＬユニット・タイプ符号を有し、前記ＳＰＳ ＮＡＬユニットとは別のシンタックス構造を有する補助ＳＰＳ ＮＡＬユニットからの補助情報にアクセスするステップであって、前記補助ＳＰＳ ＮＡＬユニットからの前記補助情報は、前記画像系列内の第２のＭＶＣ層の符号化の復号化に使用するためのＭＶＣ・ビデオ有用性情報、すなわちＶＵＩ・パラメータを表し、前記別の構造は、前記ＭＶＣ・ＶＵＩ・パラメータを前記第２のＭＶＣ層の符号化に適用される旨を示す時間の指標を含む前記補助情報に反映される、前記ステップと、
前記ＳＰＳ ＮＡＬユニットからのアクセスされた情報に基づいて、前記第１のＭＶＣ層の符号化を復号化し、そして前記補助ＳＰＳ ＮＡＬユニットからのアクセスされた補助情報に基づいて前記第２のＭＶＣ層の符号化を復号化するステップと、を含む方法。
【図１】
【図１ａ】
【図２】
【図２ａ】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１ａ】
【図２】
【図２ａ】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１３−１３１１３（Ｐ２０１３−１３１１３Ａ）
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願番号】特願２０１２−１７７８５０（Ｐ２０１２−１７７８５０）
【出願日】平成２４年８月１０日（２０１２．８．１０）
【分割の表示】特願２０１２−１３３６１０（Ｐ２０１２−１３３６１０）の分割
【原出願日】平成２０年４月７日（２００８．４．７）
【出願人】（５０１２６３８１０）トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ
【住所又は居所原語表記】１−５， ｒｕｅ Ｊｅａｎｎｅ ｄ’Ａｒｃ， ９２１３０ ＩＳＳＹ ＬＥＳ ＭＯＵＬＩＮＥＡＵＸ， Ｆｒａｎｃｅ
【Ｆターム（参考）】
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願日】平成２４年８月１０日（２０１２．８．１０）
【分割の表示】特願２０１２−１３３６１０（Ｐ２０１２−１３３６１０）の分割
【原出願日】平成２０年４月７日（２００８．４．７）
【出願人】（５０１２６３８１０）トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ
【住所又は居所原語表記】１−５， ｒｕｅ Ｊｅａｎｎｅ ｄ’Ａｒｃ， ９２１３０ ＩＳＳＹ ＬＥＳ ＭＯＵＬＩＮＥＡＵＸ， Ｆｒａｎｃｅ
【Ｆターム（参考）】
[ Back to top ]