コード化タイミング情報のないビデオ・エレメンタリ・ストリームをマルチプレクスする方法及び装置
【課題】コード化されたタイミング情報のない高分解能ビデオ・エレメンタリ・ストリームをマルチプレクスしてトランスポート・ストリーム（ＴＳ）を生成する。
【解決手段】各々が次のアクセス・ユニット（ＡＵ）のタイミング情報を得ることができるように先読みできるｎ個のＡＵをリストに構成する。このリストからＡＵのスタートを指示するポイントをスタートし、リストからＡＵのスタートを繰り返しチェックする。リストの最高のＡＵからタイミング情報を計算してヘッダを構成して、ＴＳ内に上記ヘッダを書き込む。ＴＳの残りのバイトをエレメンタリ・ストリームからのデータで埋める。
【解決手段】各々が次のアクセス・ユニット（ＡＵ）のタイミング情報を得ることができるように先読みできるｎ個のＡＵをリストに構成する。このリストからＡＵのスタートを指示するポイントをスタートし、リストからＡＵのスタートを繰り返しチェックする。リストの最高のＡＵからタイミング情報を計算してヘッダを構成して、ＴＳ内に上記ヘッダを書き込む。ＴＳの残りのバイトをエレメンタリ・ストリームからのデータで埋める。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、イメージ処理に関し、特に、ＡＶＣ（Advanced Video Codec）エレメンタリ・ストリームのマルチプレクスに関する。
【背景技術】
【０００２】
デジタル放送業界は、現在、高分解能、インターネット・プロトコル・テレビジョン（ＩＰＴＶ）及びモバイル・ビデオを含む多くの技術的な進歩がある。これら技術の重要な要因は、圧縮効率であり、Ｈ．２６４／ＡＶＣ（Advanced Video Codec/MPEG-4、パート１０）ビデオ・コーデックにおける低い帯域幅要求である。ＭＰＥＧ−２（Moving Picture Expert Group）及びＨ．２６４の両方は、動画エンコード処理用の国際標準であり、イメージ・フレーム又はイメージ・フィールドを「ピクチャ」と呼ぶ圧縮単位として定義している。各「ピクチャ」をエンコード及びデコード処理のアクセス・ユニット（ＡＵ）として用いる。
【０００３】
ＭＰＥＧ−２トランスポート・ストリーム（ＴＳ）内の追加のエレメンタリ・ストリーム（ＥＳ）としてＨ．２６４／ＡＶＣを組み込むＭＰＥＧ−２標準への拡張により、放送局及びネットワーク・オペレータに便利であり魅力的になる。
【０００４】
エレメンタリ・ストリーム（ＥＳ）は、基本的には、１つのオーディオ又はビデオ信号の生の圧縮表現である。エレメンタリ・ストリームのフォーマットは、ストリーム内で送られるコーデック又はデータに応じて決まり、パケット化エレメンタリ・ストリームにパケット化する際に共通ヘッダを送る。
【０００５】
ＭＰＥＧ−２システムにおいて、ビデオ・エレメンタリ・ストリームをパケット化エレメンタリ・ストリーム（ＰＥＳ）に組み立てる。プレゼンテーション・タイム・スタンプ（ＰＴＳ）をパケット化エレメンタリ・ストリームのヘッダ内に入れる。双方向予測コード化がイネーブルされたときに、デコード・タイム・スタンプ（ＤＴＳ）も、Ｉ又はＰピクチャのＰＥＳヘッダに入れる。
【０００６】
Ｈ．２６４ビデオ・エレメンタリ・ストリームは、一般的には、ファイルとして蓄積される一方、遅延モードにてマルチプレクスされる。Ｈ．２６４ビデオ・エレメンタリ・ストリームは、ネットワーク・アブストラクション・レーヤ（ＮＡＬ：Network Abstraction Layer）ユニット・シンタックス構造により構成される。ＮＡＬユニットは、ビデオ符号化レーヤ（ＶＣＬ：Video Coding Layer）及び非ＶＣＬ＿ＮＡＬユニットに分類される。ＶＣＬ＿ＮＡＬユニットは、ビデオ・ピクチャを表すデータを含んでいる。非ＶＣＬ＿ＮＡＬユニットは、多数のＶＣＬ＿ＮＡＬユニットに供給するピクチャ・パラメータ・セット（ＰＰＳ：Picture Parameter Set）及びシーケンス・パラメータ・セット（ＳＰＳ：Sequence Parameter Set）の如き追加情報を含んでいる。シーケンス・パラメータ・セット（ＳＰＳ）のパラメータは、フレーム数 を制限する識別子、ピクチャ・オーダー・カウント（ＰＯＣ）及びストリームのフレーム・レートを含んでいる。ＳＥＩ＿ＮＡＬユニットもコード化して、有用性を強化するが、ＶＣＬ＿ＮＡＬユニットをデコードする必要がない。
【０００７】
スライス・ヘッダ及びスライス・データをデコードする前に、１つ以上のシーケンス・パラメータ・セット及びピクチャ・パラメータ・セットをデコーダに送る。コード化スライス・ヘッダは、ピクチャ・パラメータ・セットを参照し、これは、特定のピクチャ・パラメータ・セットを活性化する。他のスライス・ヘッダを参照することにより異なるピクチャ・パラメータ・セットが活性化されるまで、活性化されたピクチャ・パラメータ・セットがアクティブを維持する。同様に、ピクチャ・パラメータ・セットは、シーケンス・パラメータ・セットを活性化する識別子を参照する。異なるシーケンス・パラメータ・セットが活性化されるまで、活性化されたＳＰＳがアクティブを維持する。
【０００８】
Ｈ．２６４ビデオ・エレメンタリ・ストリームは、コード化ビデオ・シーケンスとみなすことができる。コード化ビデオ・シーケンスは、１つ以上のアクセス・ユニットから成る。各アクセス・ユニット（ＡＵ）は、正確に１つのコード化ピクチャを常に含む１組のＮＡＬである。１次（primary）コード化ピクチャに加え、ＡＵも１つ以上の冗長コード化ピクチャ又は他のＮＡＬユニットを含んでいるが、コード化ピクチャのスライス又はスライス・データ分割は含んでいない。ＡＵのデコード結果は、常にデコード化ピクチャとなる。従来のアクセス・ユニットの一般的な構造を図１に示す。
【０００９】
パケット化エレメンタリ・ストリーム（ＰＥＳ）：特定目的に対して、圧縮器からオーディオ又はビデオを運ぶエンドレスの連続エレメンタリ・ストリームをＰＥＳパケットに分解する必要がある。同期用にタイム・スタンプ（ＰＴＳ及びＤＴＳ）を含むヘッダにより、これらパケットを識別する。ＰＥＳパケットを用いて、プログラム・ストリーム又はトランスポート・ストリームを作成する。双方向のコード化なので、圧縮後、ピクチャをシーケンスで送る。これらは、利用可能なデータ量が必要であり、マルチプレクス及び伝送のために可変遅延が条件となる。オーディオ及びビデオが互いにロックされるのを維持するために、タイム・スタンプを周期的に各ピクセルに組み込む。
【００１０】
タイム・スタンプは、９０ＫＨｚクロックで駆動されるカウントのサンプルである３３ビットの数である。このクロックは、２７ＭＨｚプログラム・クロックを３００で分周して得られる。時間の表現は均等間隔なので、タイム・スタンプが全てのプレゼンテーション・ユニットに含まれるのは本質的ではない。代わりに、デコードによりタイム・スタンプを補間できるが、タイム・スタンプは、プログラム・ストリーム又はトランスポート・ストリームのいずれでも７００ｍｓ以上離れてはならない。
【００１１】
タイム・スタンプは、特定のアクセス・ユニットが時間的にどこであるかを示す。ビデオ及びオーディオＰＥＳパケット内のヘッダにタイム・スタンプを組み込むことにより、リップ・シンクを得る。デコードが選択ＰＥＳパケットを受けると、各アクセス・ユニットをデコードし、それをＲＡＭに緩衝する。タイム・ライン・カウントがタイム・スタンプの値に達すると、ＲＡＭを読み出す。この動作には、２つの望ましい結果がある。第１に、効果的なタイムベース補正を各エレメンタリ・ストリーム内で行える。第２に、ビデオ及びオーディオのエレメンタリ・ストリームを互いに同期して、プログラムを作成できる。
【００１２】
ＰＥＳパケットを固定１８８バイトのＴＳパケットに分割する。トランスポート・ストリーム（ＴＳ）パケットは、常にヘッダで始まる。パケットの残りは、ペイロードと呼ばれるデータを運ぶ。各ＰＥＳは、ＴＳパケットのペイロードを形成する。ＴＳヘッダは、比較的小さいが、特定の目的（例えば、ＰＣＲの伝送）にとって、ヘッダを拡張してもよい。この場合、ペイロードが小さくなって、ＴＳパケットの全体のサイズが変化しない。
【００１３】
図２は、オーディオ・ストリーム及びビデオ・ストリームを単一のトランスポート・ストリームにマルチプレクスする従来の方法を示す。パケット化手段（パケッタイザ）２０２ａ及び２０２ｂは、ビデオ・エンコーダ２０１ａ及びオーディオ・エンコーダ２０１ｂからビデオ・ストリーム及びオーディオ・ストリームを夫々受ける。これらストリームをＴＳマルチプレクサ２０３でマルチプレクスして、出力にて単一のトランスポート・ストリームを得る。各アクセス・ユニットは、１次コード化ピクチャを含んでいる。１次コード化ピクチャは、Ｉスライス（ＩＤＲの場合にイントラ・スライスであり、スライスが整数個のマクロブロックを含む）、Ｐスライス（予測スライス）又はＢスライス（イントラ予測を用いてデコードされたスライス）にできる。運ばれるピクチャの形式は、スライス・ヘッダのスライス形式をデコードすることにより求める。エレメンタリ・スライスがＢフレームのアクセス・ユニットを含むとき、連続的なコード化Ｂフレームの数は、可変であり、制約がない。ビット・ストリームにおけるコード化フレームの順序は、コード化順序と呼ばれ、デコードが再構成する順序である。デコード化処理の出力での再構成フレームの順序は、表示順序と呼ばれ、常に、コーディング順と同じではない。ピクチャのデコード及び表示の順序を決めるＰＥＳヘッダにて、プレゼンテーション・タイム・スタンプ及びデコード・タイム・スタンプをコード化する。
【００１４】
シーケンス・パラメータ・セットは、ビデオ・ユーザビリティ情報（ＶＵＩ）も含んでいる。ＨＲＤ（仮想参照デコーダ：Hypothetical Reference Decoder）パラメータは、ビデオ・ユーザビリティ情報により知らされる。ＨＲＤパラメータは、ビット・レート情報と、コード化ピクチャ・バッファ及びデコード化ピクチャ・バッファの値とを含んでいる。ＨＲＤを用いて、ビット・ストリーム及びデコーダの確認をチェックする。また、オプションとしてのＳＥＩメッセージに沿ったＨＲＤ情報が、存在するならば、ストリーム内でコード化されたピクチャのＰＴＳ及びＤＴＳの値の計算を支援する。更なる情報については、Ｈ．２６４標準の付属書Ｃを参照されたい。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特開２００７−２５９１９５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１６】
Ｈ．２６４ビデオ・エレメンタリ・ストリームが、コード化されたビデオ・ユーザビリティ情報（ＶＵＩ）内にＨＲＤパラメータがないとき、参考パラメータ・リストであるlist0及びlist1の数を用いて予測できる。しかし、これは、面倒な処理である。
【００１７】
よって、コード化されたタイミング情報のないこれらエレメンタリ・ストリームに対して、タイミング情報を得るために、基準リストlist0及びlist1を作成する必要のない方法が求められている。
【課題を解決するための手段】
【００１８】
本発明の概念は、以下の通りである。
（１）トランスポート・ストリーム（ＴＳ）を生成するためにコード化されたタイミング情報のない高分解能ビデオ・エレメンタリ・ストリームをマルチプレクスする方法であって；各々が次のアクセス・ユニット（ＡＵ）のタイミング情報を得ることができるように先読みできるｎ個のＡＵをリストに構成し；上記リストからＡＵのスタートを指示するポイントを開始し；上記リストからＡＵのスタートを繰り返しチェックし；上記リストの最高のＡＵからタイミング情報を計算してヘッダを構成し；上記ＴＳ内に上記ヘッダを書き込み；上記ＴＳの残りのバイトを上記エレメンタリ・ストリームからのデータで埋める方法。
（２）上記ｎ個のアクセス・ユニットを構成するステップは；上記スタートから上記エレメンタリ・ストリームを読み出す一方、単一のＡＵを形成するまでエレメンタリ・ストリームをパケット化エレメンタリ・ストリーム（ＰＥＳ）に変換し、そのスタート及びエンド・ポイントを注意し；上記形成した単一のＡＵを上記リストにプッシュし；上記リストにプッシュされた上記ＡＵでコード化された１次ピクチャの形式をチェックし；プレゼンテーション・タイム・スタンプ（ＰＴＳ）及びデコード・タイム・スタンプ（ＤＴＳ）を含むタイミング情報を計算して、上記エレメンタリ・ストリーム用に可変フレーム・レート（ｔｃ）を導出し；上記１次ピクチャ・コード化形式がＢフレームならば、dts(n)=dts(n-1)+tc及びpts(n)=dts(n)を計算し；Ｂフレームのpts及びdtsの間の任意のオフセットを含むことなく同時点にＢフレームをデコードすると共に表示し；上記１次ピクチャ・コード化形式がＩ又はＰフレームならば、dts(n)=dts(n-1)+tc及びpts(n)=dts(n)+ps_offset*tcを計算して、次のＩ又はＰフレームが発生する前に先立つＢフレームの数（pts_offset）用の次のアクセス・ユニットをチェックし；タイミング情報を計算するためのステップを繰り返すために次のＡＵを構成して上記次のＡＵを上記リストにプッシュすることを特徴とする概念１の方法。
（３）上記高分解能エレメンタリ・ストリームは、Ｈ．２６４／ＡＶＣビデオ・エレメンタリ・ストリームである概念１の方法。
（４）上記ＴＳは、ＭＰＥＧ−２ＴＳである概念１の方法。
（５）上記マルチプレクスは、コード化されたＮＡＬ／ＶＣＬ−ＨＲＤパラメータ（シーケンス・パラメータ・セットのＶＵＩ情報の一部として）又はサプレメンタル・エンハンスメント情報（ＳＥＩ）のいずれもないＨ．２６４ビデオ・エレメンタリ・ストリームの遅延時間マルチプレクスである概念１の方法。
（６）ピクチャ形式（Ｂ、Ｐ又はＩ）情報を用いて、パケット化エレメンタリ・ストリーム（ＰＥＳ）のＰＴＳ及びＤＴＳ値を計算する概念２の方法。
（７）可変ｔｃは、フレーム又はフィールド・レートであり、tc=num_units_in_tick/time_scaleとして導出される概念２の方法。
（８）ＰＥＳパケットが固定１８８バイトＴＳパケットに分解される概念２の方法。
（９）トランスポート・ストリーム（ＴＳ）を生成するためにコード化されたタイミング情報のない高分解能ビデオ・エレメンタリ・ストリームをマルチプレクスする装置であって；各々が次のアクセス・ユニット（ＡＵ）のタイミング情報を得ることができるように先読みできるｎ個のＡＵをリストに構成する手段と；上記リストからＡＵのスタートを指示するポイントを開始えする手段と；上記リストからＡＵのスタートを繰り返しチェックする手段と；上記リストの最高のＡＵからタイミング情報を計算してヘッダを構成する手段と；上記ＴＳ内に上記ヘッダを書き込む手段と；上記ＴＳの残りのバイトを上記エレメンタリ・ストリームからのデータで埋める手段とを具えた装置。
（１０）上記ｎ個のアクセス・ユニットを構成する手段は；上記スタートから上記エレメンタリ・ストリームを読み出す一方、単一のＡＵを形成するまでエレメンタリ・ストリームをパケット化エレメンタリ・ストリーム（ＰＥＳ）に変換し、そのスタート及びエンド・ポイントを注意し；上記形成した単一のＡＵを上記リストにプッシュし；上記リストにプッシュされた上記ＡＵでコード化された１次ピクチャの形式をチェックし；プレゼンテーション・タイム・スタンプ（ＰＴＳ）及びデコード・タイム・スタンプ（ＤＴＳ）を含むタイミング情報を計算して、上記エレメンタリ・ストリーム用に可変フレーム・レート（ｔｃ）を導出し；上記１次ピクチャ・コード化形式がＢフレームならば、dts(n)=dts(n-1)+tc及びpts(n)=dts(n)を計算し；Ｂフレームのpts及びdtsの間の任意のオフセットを含むことなく同時点にＢフレームをデコードすると共に表示し；上記１次ピクチャ・コード化形式がＩ又はＰフレームならば、dts(n)=dts(n-1)+tc及びpts(n)=dts(n)+ps_offset*tcを計算して、次のＩ又はＰフレームが発生する前に先立つＢフレームの数（pts_offset）用の次のアクセス・ユニットをチェックし；タイミング情報を計算するためのステップを繰り返すために次のＡＵを構成して上記次のＡＵを上記リストにプッシュすることを特徴とする概念９の装置。
（１１）上記高分解能エレメンタリ・ストリームは、Ｈ．２６４／ＡＶＣビデオ・エレメンタリ・ストリームである概念９の装置。
（１２）上記ＴＳは、ＭＰＥＧ−２ＴＳである概念９の装置。
（１３）上記マルチプレクスは、コード化されたＮＡＬ／ＶＣＬ−ＨＲＤパラメータ（シーケンス・パラメータ・セットのＶＵＩ情報の一部として）又はサプレメンタル・エンハンスメント情報（ＳＥＩ）のいずれもないＨ．２６４ビデオ・エレメンタリ・ストリームの遅延時間マルチプレクスである概念９の装置。
（１４）ピクチャ形式（Ｂ、Ｐ又はＩ）情報を用いて、上記パケット化エレメンタリ・ストリーム（ＰＥＳ）の上記ＰＴＳ及びＤＴＳ値を計算する概念１０の装置。
（１５）可変ｔｃは、フレーム又はフィールド・レートであり、tc=num_units_in_tick/time_scaleとして導出される概念１０の装置。
（１６）ＰＥＳパケットが固定１８８バイトＴＳパケットに分解される概念１０の装置。
【発明の効果】
【００１９】
本発明の目的は、コード化されたタイミング・パラメータのない高分解能ビデオ・エレメンタリ・ストリームの遅延時間マルチプレクスに適用できるメカニズムの提供にある。
【００２０】
本発明の他の目的は、ビデオ・エレメンタリ・ストリームの効果的なマルチプレクスを行ってトランスポート・ストリーム（ＴＳ）を発生する方法の提供にある。
【００２１】
よって、本発明の実施例は、コード化されたタイミング情報がなくてもエレメンタリ・ストリームをマルチプレクスする装置及び方法の提供にある。
【００２２】
いくつかの実施例において、ｎ個のアクセス・ユニット（ＡＵ）を構成して１つずつリストにプッシュする。各アクセス・ユニットは、先読みして、次のアクセス・ユニット用のタイミングで情報を得ることができる。リストの最上のアクセス・ユニットからタイミング情報を計算して、ヘッダを構成する。このヘッダをＴＳに書き込み、ＴＳの残りのバイトをエレメンタリ・ストリームからのデータで埋める。よって、トランスポート・ストリームを構成する。
【００２３】
いくつかの実施例において、アクセス・ユニットの各々でコード化された１次ピクチャ形式を繰り返しチェックして、各々のプレゼンテーション・タイム・スタンプ（ＰＴＳ）及びデコード・タイム・スタンプ（ＤＴＳ）を含むタイミング情報を計算する。よって、可変フレーム・レート（ｔｃ）をエレメンタリ・ストリーム用に導出する。
【００２４】
コード化された１次ピクチャ形式がＢフレームならば、ＤＴＳであるdts及びＰＴＳであるptsを次のように計算する。
dts(n)=dts(n-1)+tc
pts(n)=dts(n)
Ｂフレームのpts及びdtsの間にいなかるオフセットを含むことなく、同時点にＢフレームをデコードし表示する。
【００２５】
Ｐ及びＩ形式のピクチャ・フレームに対して、dts及びptsを次のように計算する。
dts(n)=dts(n-1)+tc
pts(n)=dts(n)+pts_offset*tc
次に、次のＩ又はＰフレームが生じる前に先んずるＢフレームの数（pts_offset）に対してアクセス・ユニットをチェックする。
【００２６】
本発明のその他の特徴は、添付図を参照した以下の説明から明らかになろう。
【００２７】
本発明の実施例を添付図に示し、これについて説明する。これら図は、説明のためであり、本発明を限定するものではない。これら実施例により本発明を一般的に説明するが、本発明の要旨をこれら特定の実施例に限定するものではないことが理解できよう。
【図面の簡単な説明】
【００２８】
【図１】従来のアクセス・ユニットの一般的な構造を示す。
【図２】オーディオ及びビデオを単一のトランスポート・ストリームにマルチプレクスする従来の方法を示す。
【図３】本発明の実施例を説明する流れ図である。
【図４】本発明の実施例により高分解能ビデオ・エレメンタリ・ストリームをトランスポート・ストリームにマルチプレクスする方法を示す流れ図である。
【図５】本発明の実施例によるマルチプレクス装置のブロック図である。
【発明を実施するための形態】
【００２９】
ここで説明する本発明の装置及び種々の方法は、トランスポート・ストリーム（ＴＳ）を作成するために、コード化されたタイミング情報のない高分解能ビデオ・エレメンタリ・ストリームをマルチプレクスする。いくつかの実施例において、ｎ個のアクセス・ユニット（ＡＵ）を構成して、１つずつリストにプッシュする。各アクセス・ユニットは、先読み（look ahead）をして、次のアクセス・ユニット用のタイミングの情報を得ることができる。リストの最上アクセス・ユニットからのタイミング情報を計算することにより、ヘッダを構成する。このヘッダをＴＳに書き込み、ＴＳの残りのバイトをエレメンタリ・ストリームからのデータで埋める。よって、トランスポート・ストリームを構成する。
【００３０】
上述の如く、本発明の実施例は、コード化されたタイミング・パラメータ（パラメータ情報）のない高分解能ビデオ・エレメンタリ・ストリームの遅延時間マルチプレクスに適用できるメカニズムを提供するものである。
【００３１】
図３を参照して、本発明の方法の実施例を説明する。本発明の方法は、基準リストlist0及びlist1（標準に記述される如き）を構成することなく、デコード処理内のフレーム再順序化する方法である。ビデオ・シーケンスがＢフレームを含んでいないとき、コード化順序は、常に表示順序と同じである。Ｂスライスの発生は、ビデオ・フレームのコード化順序が表示順序と異なることを意味する。コード化フレームのマルチプレクスされた順序が変化しないということは、これらに関連したＰＴＳ値が１ビットだけアップ・ダウンのジャンプをする。
【００３２】
［計算タイム・スタンプの先読み方法］
図３は本発明の実施例による先読み方法の流れ図を示す。この先読み方法は、ｎ個のアクセス・ユニット（ＡＵ）のリストを維持し、アクティブＡＵをマルチプレクスに用いる。ステップ３０１及び開始において、リストを空にする。エレメンタリ・ストリームをパケット化エレメンタリ・ストリームに変換する間、スタート・ポイントに注意する。ステップ３０２にて、単一のアクセス・ユニットを形成するまで、エレメンタリ・ストリームをスタートから読み出す。ステップ３０２にてエンド・ポイントにも注意する。
【００３３】
アクセス・ユニットは、データの小さなロジック単位を表すエレメンタリ・ストリームのセグメントである。しばしば、エレメンタリ・ストリームの他の部分を参照することなく、アクセス・ユニットを直接用いることができる。例えば、ビデオの単一フレームは、アクセス・ユニットでもよく、又は、デコードの際、３２ｍｓ期間を表すファイルの部分でもよい。
【００３４】
いくつかの実施例において、アクセス・ユニットの各々でコード化された１次ピクチャ形式を繰り返しチェックして、各々に対してプレゼンテーション・タイム・スタンプ（ＰＴＳ）及びデコード・タイム・スタンプ（ＤＴＳ）を含むタイミング情報を計算する。また、可変フレーム・レート（tc）をエレメンタリ・ストリーム用に導出する。ステップ３０３において、Ｂ形式１次ピクチャ形式用に各ＡＵをチェックするので、次のステップにてＰＴＳ及びＤＴＳ値を計算できる。
【００３５】
ＰＴＳ及びＤＴＳ値を計算するために、まず、可変tc（又は場合に応じて、フレーム・レート／フィールド・レート）を次のように導出し、これをクロック・チックと呼ぶ。なお、ＤＴＳ及びＰＴＳは、大文字表記も小文字表記も同様として扱う。
tc=num_units_in_tick/time_scale,
n=0,
dts(n-1)=0
pts(n-1)=0（アクセスＡＵリストが空のため）
「num_units_in_tick」及び「time_scale」は、アクティブ・シーケンス・パラメータ・セットのビデオ・ユーザビリティ情報の一部である。
【００３６】
シーケンス・パラメータ・セットがアクティブ・ピクチャ・パラメータ・セットでコード化された識別子に応じてアクティブになるので、値tcを変化させることができ、これはストリームを通じて固定で残らない。
【００３７】
単一のアクセス・ユニットを形成した後、これをアクティブＡＵリスト（ActiveAUlist）にプッシュする。リストにプッシュされたアクセス・ユニットでコード化されたピクチャに応じて、ストリーム内に生じる次のフレームを見つけるか否かを判断する。上記のステップ３０３にて説明したように、Ｂ形式１次ピクチャ形式用に各ＡＵをチェックする。形成されたＡＵでコード化された１次ピクチャがＢフレームならば、ステップ３０５にて、ＤＴＳ及びＰＴＳを次のように計算する。なお、ＤＴＳ及びＰＴＳは、大文字表記も小文字表記も同様として扱う。
dts(n)=dts(n-1)+tc
pts(n)=dts(n)
Ｂフレームを同時にコード化し、表示する。Ｂフレームのpts及びdtsの間にオフセットがない。
【００３８】
ステップ３０４において、ＡＵのエンド・ポイントに注意し、ＰＴＳオフセットをゼロに設定する。ステップ３０６にて、他のフレームＩ又はＰに対して次のアクセス・ユニットを構成する。そして、ステップ３０７にて、次のＩ又はＰフレームが生じる前に先立つＢフレームの数（pts_offset）のに対して、次のＡＵをチェックする。この情報が利用可能ならば、ステップ３０８にて、ＤＴＳ及びＰＴＳを次のように計算する。なお、ＤＴＳ及びＰＴＳは、大文字表記も小文字表記も同様として扱う。
dts(n)=dts(n-1)+tc
pts(n)=dts(n)+pts_offset*tc
【００３９】
ステップ３０９にて、ファイル・ポインタをアクセス・ユニット（ｎ）のエンドに戻して蓄積し、これをアクティブＡＵリストにプッシュする。これは、アクセス・ユニットを形成する１つの繰り返しである。次の繰り返しに対して、ステップ３１０にて、ｎの値を１だけ増分し（N=n+1）、ステップ３０１〜３０９を繰り返す。
【００４０】
ＳＰＳのＶＵＩシンタックス・エレメントの一部としてのＨＲＤパラメータのないストリームに対して、この先取り方法が続く。ＳＰＳの一部としてのＨＲＤ情報を運ぶストリームに対して、ＳＥＩ情報及びＨＲＤパラメータ（コード化されたNal hr dor vel hrd）を用いて、タイミング情報を計算する。アクセス・ユニット用のタイミングを計算するための式に対する一般的なオーディオビジアル・サービス用のＩＴＵ−Ｔ＿Ｈ．２６４アドバンスド・ビデオ・コード化の添付Ｃを参照されたい。
【００４１】
この先読み方法を用いて形成したアクティブＡＵリストをマルチプレクスに用いる。図４は、本発明の実施例によりＨ．２６４エレメント・ストリームをトランスポート・ストリームにマルチプレクスする方法を示す。
【００４２】
図４を参照する。ステップ４０１にて、リストのトップ・エレメントは、トランスポート・ストリームに書き込むべきアクセス・ユニット（ＡＵ）を含んでいる。ステップ４０２にて、ＡＵのスタートをチェックする。ステップ４０３にて、ＡＵがＴＳパケットにてスタートすると、ペイロード・ユニット・スタート（payload_unit_start）指標が真（１）にマークされ、ステップ４０４にて、ＴＳヘッダがＴＳパケットに書き込まれる。これは、ＴＳペイロードがＰＥＳスタートを含むことを示す。よって、ステップ４０５にて、ＡＵのスタートを再チェックする。ＡＵのスタートが真であるとわかると、ステップ４０６にてＰＥＳヘッダがＴＳパケットに書き込まれる。これは、ＴＳペイロードの第１バイトがＰＥＳヘッダの値スタート・バイトを含まなければならないためである。そして、ステップ４０７にて、ＡＵのスタートを偽に設定する。この場合、ＴＳペイロードのサイズを１バイトだけ減少させる。よって、読み出しバイトがステップ４０８で次のように計算される。
［読み取りバイト］＝１８８−［ＴＳヘッダ・サイズ］−［ＰＥＳヘッダ・サイズ］
ステップ４０９にて、読み取りバイトをファイルからＴＳパケットに書き込む。アクティブＡＵリストのトップ・エレメントからのＰＴＳ及びＤＴＳ値により、ＰＥＳヘッダを構成する。このＰＥＳヘッダがＴＳペイロードに含まれる。ＴＳペイロードの残りのバイトをＨ．２６４アクセス・ユニットで埋める。よって、ステップ４１０にて、最上ＡＵのエンドをチェックする。最上ＡＵのエンドが真であると、ステップ４１１にてＡＵのスタートを偽に設定し、ＴＳ構成の１つの繰り返しを終わらせる。その後の繰り返しに対して、ステップ４１１にてｎ（図４ではＮにて示す）の値を１だけ増分して（N=N=1）、ステップ４０１〜４１０を繰り返す。
【００４３】
図５は、本発明の実施例によるマルチプレクス装置のブロック図である。この装置５０１は、トラス・ストリーム（ＴＳ）を生成するために、コード化されたタイミング情報がない高分解能ビデオ・エレメンタリ・ストリームをマルチプレクスする回路５０２を具えている。回路５０２は、ｎ個のアクセス・ユニット（ＡＵ）をリストに構成できる。先読みして次のＡＵ用のタイミングの情報が得られるように、各ＡＵが構成される。この回路５０２は、リストからのＡＵのスタートを示すポインタを開始させ、リストからのＡＵのスタートを繰り返しチェックし、リストの最上ＡＵからのタイミング情報を計算してヘッダを構成し、ヘッダをＴＳに書き込む。ＴＳの残りのバイトをエレメンタリ・ストリームからのデータで埋める。
【００４４】
装置５０１の回路５０２は、ペイロード・ユニット・スタート指標（payload_unit-start_indiator）を真としてチェックできるように最上ＡＵのスタートを付勢（イネーブル）し、このペイロード・ユニット・スタート指標を真としてマークする。回路５０２は、ＴＳパケット内にＴＳヘッダを書き込めるようにも付勢する。これは、ＴＳペイロードがＰＥＳスタートを含んでいることを示す。よって、回路５０２は、ＡＵのスタートを再度チェックする。ＡＵのスタートが真であるとわかると、ＰＥＳヘッダをＴＳパケットに書き込む。これは、ＴＳペイロードの第１バイトがＰＥＳヘッダの値スタート・バイトを含まなければならないためである。次に、回路５０２は、ＡＵのスタートを偽に設定する。この場合、ＴＳペイロードのサイズは、１バイトだけ減る。よって、読み取りバイト（Readbytes）を次のように計算する。
［読み取りバイト］＝１８８−［ＴＳヘッダ・サイズ］−［ＰＥＳヘッダ・サイズ］
回路５０２は、更に読み取りバイトがファイルからＴＳパケットに書き込まれるように付勢する。アクティブＡＵリストのトップ要素からのＰＴＳ及びＤＴＳにより、ＰＥＳヘッダを構成する。このＰＥＳヘッダがＴＳペイロードに含まれる。そして、ＴＳペイロードの残りのバイトは、Ｈ．２６４アクセス・ユニットにより埋める。よって、最上位ＡＵのエンドをチェックする。この最上位ＡＵのエンドが真であると、装置の回路５０２により、ＡＵのスタートを偽に設定してＴＳ構成の１つの繰り返しを終了する。その後の繰り返しとＴＳ構成のために、ｎの値を１だけ増分する。
【００４５】
［本発明のアプリケーション］
ここで説明した種々の実施例を用いて、Ｈ．２６４エレメンタリ・ストリームの有効なマルチプレクスを行って、ＭＰＥＧ−２トランスポート・ストリーム（ＴＳ）を発生できる。これらをＨ．２６４ビデオ・エレメンタリ・ストリームの遅延時間マルチプレクスにて適用できる。これは、コード化ＮＡＬ／ＶＣＬ−ＨＲＤパラメータ（シーケンス・パラメータ・セットのＶＵＩ情報の一部として）又はサプレメンタル・エンハンスメント情報（ＳＥＩ:Supplemental Enhancement Information）のいずれもない。Ｈ．２６４エレメンタリ・ストリームの各アクセス・ユニット（ＡＵ）は、ファイル内の次のアクセス・ユニットのピクチャ形式に関する情報に対して先読みできる。このピクチャ形式情報を用いて、パケット化エレメンタリ・ストリーム（ＰＥＳ）のＰＴＳ及びＤＴＳ値を計算できる。次に、各ＡＵをＰＥＳパケットにパケット化して、ＴＳパケットのストリームに分解できる。
【００４６】
理解を助けるために、本発明の特定の実施例について詳細に説明した。しかし、当業者は、これら特定実施例を用いなくても、本発明を実現できよう。本発明は、ハードウェアでもソフトウェアでも実現できる。ブロック図に示した構成及び装置は、本発明の実施例を説明するためであり、本発明が曖昧になるのを防ぐためである。また、種々の要素の間の接続が直接的である必要はなく、中間的なデータ伝送をエンコード、再フォーマット又は変調してもよい。
【００４７】
本明細書で一実施例又は実施例と呼んでいるのは、実施例に関連して説明した特定の特徴、構造、特性又は機能が本発明の少なくとも一実施例に含まれる。本明細書にて、各実施例における装置は、全てが同じ構成である必要はない。
【００４８】
よって、本発明に関する上述の説明は、本発明を明確にし理解しやすくするためのものであり、本発明をこれら実施例そのものに限定するものではない。
【符号の説明】
【００４９】
２０１ ビデオ・エンコーダ
２０２ パケット化手段
２０３ トランスポート・ストリーム・マルチプレクサ
５０２ 回路
【技術分野】
【０００１】
本発明は、一般に、イメージ処理に関し、特に、ＡＶＣ（Advanced Video Codec）エレメンタリ・ストリームのマルチプレクスに関する。
【背景技術】
【０００２】
デジタル放送業界は、現在、高分解能、インターネット・プロトコル・テレビジョン（ＩＰＴＶ）及びモバイル・ビデオを含む多くの技術的な進歩がある。これら技術の重要な要因は、圧縮効率であり、Ｈ．２６４／ＡＶＣ（Advanced Video Codec/MPEG-4、パート１０）ビデオ・コーデックにおける低い帯域幅要求である。ＭＰＥＧ−２（Moving Picture Expert Group）及びＨ．２６４の両方は、動画エンコード処理用の国際標準であり、イメージ・フレーム又はイメージ・フィールドを「ピクチャ」と呼ぶ圧縮単位として定義している。各「ピクチャ」をエンコード及びデコード処理のアクセス・ユニット（ＡＵ）として用いる。
【０００３】
ＭＰＥＧ−２トランスポート・ストリーム（ＴＳ）内の追加のエレメンタリ・ストリーム（ＥＳ）としてＨ．２６４／ＡＶＣを組み込むＭＰＥＧ−２標準への拡張により、放送局及びネットワーク・オペレータに便利であり魅力的になる。
【０００４】
エレメンタリ・ストリーム（ＥＳ）は、基本的には、１つのオーディオ又はビデオ信号の生の圧縮表現である。エレメンタリ・ストリームのフォーマットは、ストリーム内で送られるコーデック又はデータに応じて決まり、パケット化エレメンタリ・ストリームにパケット化する際に共通ヘッダを送る。
【０００５】
ＭＰＥＧ−２システムにおいて、ビデオ・エレメンタリ・ストリームをパケット化エレメンタリ・ストリーム（ＰＥＳ）に組み立てる。プレゼンテーション・タイム・スタンプ（ＰＴＳ）をパケット化エレメンタリ・ストリームのヘッダ内に入れる。双方向予測コード化がイネーブルされたときに、デコード・タイム・スタンプ（ＤＴＳ）も、Ｉ又はＰピクチャのＰＥＳヘッダに入れる。
【０００６】
Ｈ．２６４ビデオ・エレメンタリ・ストリームは、一般的には、ファイルとして蓄積される一方、遅延モードにてマルチプレクスされる。Ｈ．２６４ビデオ・エレメンタリ・ストリームは、ネットワーク・アブストラクション・レーヤ（ＮＡＬ：Network Abstraction Layer）ユニット・シンタックス構造により構成される。ＮＡＬユニットは、ビデオ符号化レーヤ（ＶＣＬ：Video Coding Layer）及び非ＶＣＬ＿ＮＡＬユニットに分類される。ＶＣＬ＿ＮＡＬユニットは、ビデオ・ピクチャを表すデータを含んでいる。非ＶＣＬ＿ＮＡＬユニットは、多数のＶＣＬ＿ＮＡＬユニットに供給するピクチャ・パラメータ・セット（ＰＰＳ：Picture Parameter Set）及びシーケンス・パラメータ・セット（ＳＰＳ：Sequence Parameter Set）の如き追加情報を含んでいる。シーケンス・パラメータ・セット（ＳＰＳ）のパラメータは、フレーム数 を制限する識別子、ピクチャ・オーダー・カウント（ＰＯＣ）及びストリームのフレーム・レートを含んでいる。ＳＥＩ＿ＮＡＬユニットもコード化して、有用性を強化するが、ＶＣＬ＿ＮＡＬユニットをデコードする必要がない。
【０００７】
スライス・ヘッダ及びスライス・データをデコードする前に、１つ以上のシーケンス・パラメータ・セット及びピクチャ・パラメータ・セットをデコーダに送る。コード化スライス・ヘッダは、ピクチャ・パラメータ・セットを参照し、これは、特定のピクチャ・パラメータ・セットを活性化する。他のスライス・ヘッダを参照することにより異なるピクチャ・パラメータ・セットが活性化されるまで、活性化されたピクチャ・パラメータ・セットがアクティブを維持する。同様に、ピクチャ・パラメータ・セットは、シーケンス・パラメータ・セットを活性化する識別子を参照する。異なるシーケンス・パラメータ・セットが活性化されるまで、活性化されたＳＰＳがアクティブを維持する。
【０００８】
Ｈ．２６４ビデオ・エレメンタリ・ストリームは、コード化ビデオ・シーケンスとみなすことができる。コード化ビデオ・シーケンスは、１つ以上のアクセス・ユニットから成る。各アクセス・ユニット（ＡＵ）は、正確に１つのコード化ピクチャを常に含む１組のＮＡＬである。１次（primary）コード化ピクチャに加え、ＡＵも１つ以上の冗長コード化ピクチャ又は他のＮＡＬユニットを含んでいるが、コード化ピクチャのスライス又はスライス・データ分割は含んでいない。ＡＵのデコード結果は、常にデコード化ピクチャとなる。従来のアクセス・ユニットの一般的な構造を図１に示す。
【０００９】
パケット化エレメンタリ・ストリーム（ＰＥＳ）：特定目的に対して、圧縮器からオーディオ又はビデオを運ぶエンドレスの連続エレメンタリ・ストリームをＰＥＳパケットに分解する必要がある。同期用にタイム・スタンプ（ＰＴＳ及びＤＴＳ）を含むヘッダにより、これらパケットを識別する。ＰＥＳパケットを用いて、プログラム・ストリーム又はトランスポート・ストリームを作成する。双方向のコード化なので、圧縮後、ピクチャをシーケンスで送る。これらは、利用可能なデータ量が必要であり、マルチプレクス及び伝送のために可変遅延が条件となる。オーディオ及びビデオが互いにロックされるのを維持するために、タイム・スタンプを周期的に各ピクセルに組み込む。
【００１０】
タイム・スタンプは、９０ＫＨｚクロックで駆動されるカウントのサンプルである３３ビットの数である。このクロックは、２７ＭＨｚプログラム・クロックを３００で分周して得られる。時間の表現は均等間隔なので、タイム・スタンプが全てのプレゼンテーション・ユニットに含まれるのは本質的ではない。代わりに、デコードによりタイム・スタンプを補間できるが、タイム・スタンプは、プログラム・ストリーム又はトランスポート・ストリームのいずれでも７００ｍｓ以上離れてはならない。
【００１１】
タイム・スタンプは、特定のアクセス・ユニットが時間的にどこであるかを示す。ビデオ及びオーディオＰＥＳパケット内のヘッダにタイム・スタンプを組み込むことにより、リップ・シンクを得る。デコードが選択ＰＥＳパケットを受けると、各アクセス・ユニットをデコードし、それをＲＡＭに緩衝する。タイム・ライン・カウントがタイム・スタンプの値に達すると、ＲＡＭを読み出す。この動作には、２つの望ましい結果がある。第１に、効果的なタイムベース補正を各エレメンタリ・ストリーム内で行える。第２に、ビデオ及びオーディオのエレメンタリ・ストリームを互いに同期して、プログラムを作成できる。
【００１２】
ＰＥＳパケットを固定１８８バイトのＴＳパケットに分割する。トランスポート・ストリーム（ＴＳ）パケットは、常にヘッダで始まる。パケットの残りは、ペイロードと呼ばれるデータを運ぶ。各ＰＥＳは、ＴＳパケットのペイロードを形成する。ＴＳヘッダは、比較的小さいが、特定の目的（例えば、ＰＣＲの伝送）にとって、ヘッダを拡張してもよい。この場合、ペイロードが小さくなって、ＴＳパケットの全体のサイズが変化しない。
【００１３】
図２は、オーディオ・ストリーム及びビデオ・ストリームを単一のトランスポート・ストリームにマルチプレクスする従来の方法を示す。パケット化手段（パケッタイザ）２０２ａ及び２０２ｂは、ビデオ・エンコーダ２０１ａ及びオーディオ・エンコーダ２０１ｂからビデオ・ストリーム及びオーディオ・ストリームを夫々受ける。これらストリームをＴＳマルチプレクサ２０３でマルチプレクスして、出力にて単一のトランスポート・ストリームを得る。各アクセス・ユニットは、１次コード化ピクチャを含んでいる。１次コード化ピクチャは、Ｉスライス（ＩＤＲの場合にイントラ・スライスであり、スライスが整数個のマクロブロックを含む）、Ｐスライス（予測スライス）又はＢスライス（イントラ予測を用いてデコードされたスライス）にできる。運ばれるピクチャの形式は、スライス・ヘッダのスライス形式をデコードすることにより求める。エレメンタリ・スライスがＢフレームのアクセス・ユニットを含むとき、連続的なコード化Ｂフレームの数は、可変であり、制約がない。ビット・ストリームにおけるコード化フレームの順序は、コード化順序と呼ばれ、デコードが再構成する順序である。デコード化処理の出力での再構成フレームの順序は、表示順序と呼ばれ、常に、コーディング順と同じではない。ピクチャのデコード及び表示の順序を決めるＰＥＳヘッダにて、プレゼンテーション・タイム・スタンプ及びデコード・タイム・スタンプをコード化する。
【００１４】
シーケンス・パラメータ・セットは、ビデオ・ユーザビリティ情報（ＶＵＩ）も含んでいる。ＨＲＤ（仮想参照デコーダ：Hypothetical Reference Decoder）パラメータは、ビデオ・ユーザビリティ情報により知らされる。ＨＲＤパラメータは、ビット・レート情報と、コード化ピクチャ・バッファ及びデコード化ピクチャ・バッファの値とを含んでいる。ＨＲＤを用いて、ビット・ストリーム及びデコーダの確認をチェックする。また、オプションとしてのＳＥＩメッセージに沿ったＨＲＤ情報が、存在するならば、ストリーム内でコード化されたピクチャのＰＴＳ及びＤＴＳの値の計算を支援する。更なる情報については、Ｈ．２６４標準の付属書Ｃを参照されたい。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特開２００７−２５９１９５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１６】
Ｈ．２６４ビデオ・エレメンタリ・ストリームが、コード化されたビデオ・ユーザビリティ情報（ＶＵＩ）内にＨＲＤパラメータがないとき、参考パラメータ・リストであるlist0及びlist1の数を用いて予測できる。しかし、これは、面倒な処理である。
【００１７】
よって、コード化されたタイミング情報のないこれらエレメンタリ・ストリームに対して、タイミング情報を得るために、基準リストlist0及びlist1を作成する必要のない方法が求められている。
【課題を解決するための手段】
【００１８】
本発明の概念は、以下の通りである。
（１）トランスポート・ストリーム（ＴＳ）を生成するためにコード化されたタイミング情報のない高分解能ビデオ・エレメンタリ・ストリームをマルチプレクスする方法であって；各々が次のアクセス・ユニット（ＡＵ）のタイミング情報を得ることができるように先読みできるｎ個のＡＵをリストに構成し；上記リストからＡＵのスタートを指示するポイントを開始し；上記リストからＡＵのスタートを繰り返しチェックし；上記リストの最高のＡＵからタイミング情報を計算してヘッダを構成し；上記ＴＳ内に上記ヘッダを書き込み；上記ＴＳの残りのバイトを上記エレメンタリ・ストリームからのデータで埋める方法。
（２）上記ｎ個のアクセス・ユニットを構成するステップは；上記スタートから上記エレメンタリ・ストリームを読み出す一方、単一のＡＵを形成するまでエレメンタリ・ストリームをパケット化エレメンタリ・ストリーム（ＰＥＳ）に変換し、そのスタート及びエンド・ポイントを注意し；上記形成した単一のＡＵを上記リストにプッシュし；上記リストにプッシュされた上記ＡＵでコード化された１次ピクチャの形式をチェックし；プレゼンテーション・タイム・スタンプ（ＰＴＳ）及びデコード・タイム・スタンプ（ＤＴＳ）を含むタイミング情報を計算して、上記エレメンタリ・ストリーム用に可変フレーム・レート（ｔｃ）を導出し；上記１次ピクチャ・コード化形式がＢフレームならば、dts(n)=dts(n-1)+tc及びpts(n)=dts(n)を計算し；Ｂフレームのpts及びdtsの間の任意のオフセットを含むことなく同時点にＢフレームをデコードすると共に表示し；上記１次ピクチャ・コード化形式がＩ又はＰフレームならば、dts(n)=dts(n-1)+tc及びpts(n)=dts(n)+ps_offset*tcを計算して、次のＩ又はＰフレームが発生する前に先立つＢフレームの数（pts_offset）用の次のアクセス・ユニットをチェックし；タイミング情報を計算するためのステップを繰り返すために次のＡＵを構成して上記次のＡＵを上記リストにプッシュすることを特徴とする概念１の方法。
（３）上記高分解能エレメンタリ・ストリームは、Ｈ．２６４／ＡＶＣビデオ・エレメンタリ・ストリームである概念１の方法。
（４）上記ＴＳは、ＭＰＥＧ−２ＴＳである概念１の方法。
（５）上記マルチプレクスは、コード化されたＮＡＬ／ＶＣＬ−ＨＲＤパラメータ（シーケンス・パラメータ・セットのＶＵＩ情報の一部として）又はサプレメンタル・エンハンスメント情報（ＳＥＩ）のいずれもないＨ．２６４ビデオ・エレメンタリ・ストリームの遅延時間マルチプレクスである概念１の方法。
（６）ピクチャ形式（Ｂ、Ｐ又はＩ）情報を用いて、パケット化エレメンタリ・ストリーム（ＰＥＳ）のＰＴＳ及びＤＴＳ値を計算する概念２の方法。
（７）可変ｔｃは、フレーム又はフィールド・レートであり、tc=num_units_in_tick/time_scaleとして導出される概念２の方法。
（８）ＰＥＳパケットが固定１８８バイトＴＳパケットに分解される概念２の方法。
（９）トランスポート・ストリーム（ＴＳ）を生成するためにコード化されたタイミング情報のない高分解能ビデオ・エレメンタリ・ストリームをマルチプレクスする装置であって；各々が次のアクセス・ユニット（ＡＵ）のタイミング情報を得ることができるように先読みできるｎ個のＡＵをリストに構成する手段と；上記リストからＡＵのスタートを指示するポイントを開始えする手段と；上記リストからＡＵのスタートを繰り返しチェックする手段と；上記リストの最高のＡＵからタイミング情報を計算してヘッダを構成する手段と；上記ＴＳ内に上記ヘッダを書き込む手段と；上記ＴＳの残りのバイトを上記エレメンタリ・ストリームからのデータで埋める手段とを具えた装置。
（１０）上記ｎ個のアクセス・ユニットを構成する手段は；上記スタートから上記エレメンタリ・ストリームを読み出す一方、単一のＡＵを形成するまでエレメンタリ・ストリームをパケット化エレメンタリ・ストリーム（ＰＥＳ）に変換し、そのスタート及びエンド・ポイントを注意し；上記形成した単一のＡＵを上記リストにプッシュし；上記リストにプッシュされた上記ＡＵでコード化された１次ピクチャの形式をチェックし；プレゼンテーション・タイム・スタンプ（ＰＴＳ）及びデコード・タイム・スタンプ（ＤＴＳ）を含むタイミング情報を計算して、上記エレメンタリ・ストリーム用に可変フレーム・レート（ｔｃ）を導出し；上記１次ピクチャ・コード化形式がＢフレームならば、dts(n)=dts(n-1)+tc及びpts(n)=dts(n)を計算し；Ｂフレームのpts及びdtsの間の任意のオフセットを含むことなく同時点にＢフレームをデコードすると共に表示し；上記１次ピクチャ・コード化形式がＩ又はＰフレームならば、dts(n)=dts(n-1)+tc及びpts(n)=dts(n)+ps_offset*tcを計算して、次のＩ又はＰフレームが発生する前に先立つＢフレームの数（pts_offset）用の次のアクセス・ユニットをチェックし；タイミング情報を計算するためのステップを繰り返すために次のＡＵを構成して上記次のＡＵを上記リストにプッシュすることを特徴とする概念９の装置。
（１１）上記高分解能エレメンタリ・ストリームは、Ｈ．２６４／ＡＶＣビデオ・エレメンタリ・ストリームである概念９の装置。
（１２）上記ＴＳは、ＭＰＥＧ−２ＴＳである概念９の装置。
（１３）上記マルチプレクスは、コード化されたＮＡＬ／ＶＣＬ−ＨＲＤパラメータ（シーケンス・パラメータ・セットのＶＵＩ情報の一部として）又はサプレメンタル・エンハンスメント情報（ＳＥＩ）のいずれもないＨ．２６４ビデオ・エレメンタリ・ストリームの遅延時間マルチプレクスである概念９の装置。
（１４）ピクチャ形式（Ｂ、Ｐ又はＩ）情報を用いて、上記パケット化エレメンタリ・ストリーム（ＰＥＳ）の上記ＰＴＳ及びＤＴＳ値を計算する概念１０の装置。
（１５）可変ｔｃは、フレーム又はフィールド・レートであり、tc=num_units_in_tick/time_scaleとして導出される概念１０の装置。
（１６）ＰＥＳパケットが固定１８８バイトＴＳパケットに分解される概念１０の装置。
【発明の効果】
【００１９】
本発明の目的は、コード化されたタイミング・パラメータのない高分解能ビデオ・エレメンタリ・ストリームの遅延時間マルチプレクスに適用できるメカニズムの提供にある。
【００２０】
本発明の他の目的は、ビデオ・エレメンタリ・ストリームの効果的なマルチプレクスを行ってトランスポート・ストリーム（ＴＳ）を発生する方法の提供にある。
【００２１】
よって、本発明の実施例は、コード化されたタイミング情報がなくてもエレメンタリ・ストリームをマルチプレクスする装置及び方法の提供にある。
【００２２】
いくつかの実施例において、ｎ個のアクセス・ユニット（ＡＵ）を構成して１つずつリストにプッシュする。各アクセス・ユニットは、先読みして、次のアクセス・ユニット用のタイミングで情報を得ることができる。リストの最上のアクセス・ユニットからタイミング情報を計算して、ヘッダを構成する。このヘッダをＴＳに書き込み、ＴＳの残りのバイトをエレメンタリ・ストリームからのデータで埋める。よって、トランスポート・ストリームを構成する。
【００２３】
いくつかの実施例において、アクセス・ユニットの各々でコード化された１次ピクチャ形式を繰り返しチェックして、各々のプレゼンテーション・タイム・スタンプ（ＰＴＳ）及びデコード・タイム・スタンプ（ＤＴＳ）を含むタイミング情報を計算する。よって、可変フレーム・レート（ｔｃ）をエレメンタリ・ストリーム用に導出する。
【００２４】
コード化された１次ピクチャ形式がＢフレームならば、ＤＴＳであるdts及びＰＴＳであるptsを次のように計算する。
dts(n)=dts(n-1)+tc
pts(n)=dts(n)
Ｂフレームのpts及びdtsの間にいなかるオフセットを含むことなく、同時点にＢフレームをデコードし表示する。
【００２５】
Ｐ及びＩ形式のピクチャ・フレームに対して、dts及びptsを次のように計算する。
dts(n)=dts(n-1)+tc
pts(n)=dts(n)+pts_offset*tc
次に、次のＩ又はＰフレームが生じる前に先んずるＢフレームの数（pts_offset）に対してアクセス・ユニットをチェックする。
【００２６】
本発明のその他の特徴は、添付図を参照した以下の説明から明らかになろう。
【００２７】
本発明の実施例を添付図に示し、これについて説明する。これら図は、説明のためであり、本発明を限定するものではない。これら実施例により本発明を一般的に説明するが、本発明の要旨をこれら特定の実施例に限定するものではないことが理解できよう。
【図面の簡単な説明】
【００２８】
【図１】従来のアクセス・ユニットの一般的な構造を示す。
【図２】オーディオ及びビデオを単一のトランスポート・ストリームにマルチプレクスする従来の方法を示す。
【図３】本発明の実施例を説明する流れ図である。
【図４】本発明の実施例により高分解能ビデオ・エレメンタリ・ストリームをトランスポート・ストリームにマルチプレクスする方法を示す流れ図である。
【図５】本発明の実施例によるマルチプレクス装置のブロック図である。
【発明を実施するための形態】
【００２９】
ここで説明する本発明の装置及び種々の方法は、トランスポート・ストリーム（ＴＳ）を作成するために、コード化されたタイミング情報のない高分解能ビデオ・エレメンタリ・ストリームをマルチプレクスする。いくつかの実施例において、ｎ個のアクセス・ユニット（ＡＵ）を構成して、１つずつリストにプッシュする。各アクセス・ユニットは、先読み（look ahead）をして、次のアクセス・ユニット用のタイミングの情報を得ることができる。リストの最上アクセス・ユニットからのタイミング情報を計算することにより、ヘッダを構成する。このヘッダをＴＳに書き込み、ＴＳの残りのバイトをエレメンタリ・ストリームからのデータで埋める。よって、トランスポート・ストリームを構成する。
【００３０】
上述の如く、本発明の実施例は、コード化されたタイミング・パラメータ（パラメータ情報）のない高分解能ビデオ・エレメンタリ・ストリームの遅延時間マルチプレクスに適用できるメカニズムを提供するものである。
【００３１】
図３を参照して、本発明の方法の実施例を説明する。本発明の方法は、基準リストlist0及びlist1（標準に記述される如き）を構成することなく、デコード処理内のフレーム再順序化する方法である。ビデオ・シーケンスがＢフレームを含んでいないとき、コード化順序は、常に表示順序と同じである。Ｂスライスの発生は、ビデオ・フレームのコード化順序が表示順序と異なることを意味する。コード化フレームのマルチプレクスされた順序が変化しないということは、これらに関連したＰＴＳ値が１ビットだけアップ・ダウンのジャンプをする。
【００３２】
［計算タイム・スタンプの先読み方法］
図３は本発明の実施例による先読み方法の流れ図を示す。この先読み方法は、ｎ個のアクセス・ユニット（ＡＵ）のリストを維持し、アクティブＡＵをマルチプレクスに用いる。ステップ３０１及び開始において、リストを空にする。エレメンタリ・ストリームをパケット化エレメンタリ・ストリームに変換する間、スタート・ポイントに注意する。ステップ３０２にて、単一のアクセス・ユニットを形成するまで、エレメンタリ・ストリームをスタートから読み出す。ステップ３０２にてエンド・ポイントにも注意する。
【００３３】
アクセス・ユニットは、データの小さなロジック単位を表すエレメンタリ・ストリームのセグメントである。しばしば、エレメンタリ・ストリームの他の部分を参照することなく、アクセス・ユニットを直接用いることができる。例えば、ビデオの単一フレームは、アクセス・ユニットでもよく、又は、デコードの際、３２ｍｓ期間を表すファイルの部分でもよい。
【００３４】
いくつかの実施例において、アクセス・ユニットの各々でコード化された１次ピクチャ形式を繰り返しチェックして、各々に対してプレゼンテーション・タイム・スタンプ（ＰＴＳ）及びデコード・タイム・スタンプ（ＤＴＳ）を含むタイミング情報を計算する。また、可変フレーム・レート（tc）をエレメンタリ・ストリーム用に導出する。ステップ３０３において、Ｂ形式１次ピクチャ形式用に各ＡＵをチェックするので、次のステップにてＰＴＳ及びＤＴＳ値を計算できる。
【００３５】
ＰＴＳ及びＤＴＳ値を計算するために、まず、可変tc（又は場合に応じて、フレーム・レート／フィールド・レート）を次のように導出し、これをクロック・チックと呼ぶ。なお、ＤＴＳ及びＰＴＳは、大文字表記も小文字表記も同様として扱う。
tc=num_units_in_tick/time_scale,
n=0,
dts(n-1)=0
pts(n-1)=0（アクセスＡＵリストが空のため）
「num_units_in_tick」及び「time_scale」は、アクティブ・シーケンス・パラメータ・セットのビデオ・ユーザビリティ情報の一部である。
【００３６】
シーケンス・パラメータ・セットがアクティブ・ピクチャ・パラメータ・セットでコード化された識別子に応じてアクティブになるので、値tcを変化させることができ、これはストリームを通じて固定で残らない。
【００３７】
単一のアクセス・ユニットを形成した後、これをアクティブＡＵリスト（ActiveAUlist）にプッシュする。リストにプッシュされたアクセス・ユニットでコード化されたピクチャに応じて、ストリーム内に生じる次のフレームを見つけるか否かを判断する。上記のステップ３０３にて説明したように、Ｂ形式１次ピクチャ形式用に各ＡＵをチェックする。形成されたＡＵでコード化された１次ピクチャがＢフレームならば、ステップ３０５にて、ＤＴＳ及びＰＴＳを次のように計算する。なお、ＤＴＳ及びＰＴＳは、大文字表記も小文字表記も同様として扱う。
dts(n)=dts(n-1)+tc
pts(n)=dts(n)
Ｂフレームを同時にコード化し、表示する。Ｂフレームのpts及びdtsの間にオフセットがない。
【００３８】
ステップ３０４において、ＡＵのエンド・ポイントに注意し、ＰＴＳオフセットをゼロに設定する。ステップ３０６にて、他のフレームＩ又はＰに対して次のアクセス・ユニットを構成する。そして、ステップ３０７にて、次のＩ又はＰフレームが生じる前に先立つＢフレームの数（pts_offset）のに対して、次のＡＵをチェックする。この情報が利用可能ならば、ステップ３０８にて、ＤＴＳ及びＰＴＳを次のように計算する。なお、ＤＴＳ及びＰＴＳは、大文字表記も小文字表記も同様として扱う。
dts(n)=dts(n-1)+tc
pts(n)=dts(n)+pts_offset*tc
【００３９】
ステップ３０９にて、ファイル・ポインタをアクセス・ユニット（ｎ）のエンドに戻して蓄積し、これをアクティブＡＵリストにプッシュする。これは、アクセス・ユニットを形成する１つの繰り返しである。次の繰り返しに対して、ステップ３１０にて、ｎの値を１だけ増分し（N=n+1）、ステップ３０１〜３０９を繰り返す。
【００４０】
ＳＰＳのＶＵＩシンタックス・エレメントの一部としてのＨＲＤパラメータのないストリームに対して、この先取り方法が続く。ＳＰＳの一部としてのＨＲＤ情報を運ぶストリームに対して、ＳＥＩ情報及びＨＲＤパラメータ（コード化されたNal hr dor vel hrd）を用いて、タイミング情報を計算する。アクセス・ユニット用のタイミングを計算するための式に対する一般的なオーディオビジアル・サービス用のＩＴＵ−Ｔ＿Ｈ．２６４アドバンスド・ビデオ・コード化の添付Ｃを参照されたい。
【００４１】
この先読み方法を用いて形成したアクティブＡＵリストをマルチプレクスに用いる。図４は、本発明の実施例によりＨ．２６４エレメント・ストリームをトランスポート・ストリームにマルチプレクスする方法を示す。
【００４２】
図４を参照する。ステップ４０１にて、リストのトップ・エレメントは、トランスポート・ストリームに書き込むべきアクセス・ユニット（ＡＵ）を含んでいる。ステップ４０２にて、ＡＵのスタートをチェックする。ステップ４０３にて、ＡＵがＴＳパケットにてスタートすると、ペイロード・ユニット・スタート（payload_unit_start）指標が真（１）にマークされ、ステップ４０４にて、ＴＳヘッダがＴＳパケットに書き込まれる。これは、ＴＳペイロードがＰＥＳスタートを含むことを示す。よって、ステップ４０５にて、ＡＵのスタートを再チェックする。ＡＵのスタートが真であるとわかると、ステップ４０６にてＰＥＳヘッダがＴＳパケットに書き込まれる。これは、ＴＳペイロードの第１バイトがＰＥＳヘッダの値スタート・バイトを含まなければならないためである。そして、ステップ４０７にて、ＡＵのスタートを偽に設定する。この場合、ＴＳペイロードのサイズを１バイトだけ減少させる。よって、読み出しバイトがステップ４０８で次のように計算される。
［読み取りバイト］＝１８８−［ＴＳヘッダ・サイズ］−［ＰＥＳヘッダ・サイズ］
ステップ４０９にて、読み取りバイトをファイルからＴＳパケットに書き込む。アクティブＡＵリストのトップ・エレメントからのＰＴＳ及びＤＴＳ値により、ＰＥＳヘッダを構成する。このＰＥＳヘッダがＴＳペイロードに含まれる。ＴＳペイロードの残りのバイトをＨ．２６４アクセス・ユニットで埋める。よって、ステップ４１０にて、最上ＡＵのエンドをチェックする。最上ＡＵのエンドが真であると、ステップ４１１にてＡＵのスタートを偽に設定し、ＴＳ構成の１つの繰り返しを終わらせる。その後の繰り返しに対して、ステップ４１１にてｎ（図４ではＮにて示す）の値を１だけ増分して（N=N=1）、ステップ４０１〜４１０を繰り返す。
【００４３】
図５は、本発明の実施例によるマルチプレクス装置のブロック図である。この装置５０１は、トラス・ストリーム（ＴＳ）を生成するために、コード化されたタイミング情報がない高分解能ビデオ・エレメンタリ・ストリームをマルチプレクスする回路５０２を具えている。回路５０２は、ｎ個のアクセス・ユニット（ＡＵ）をリストに構成できる。先読みして次のＡＵ用のタイミングの情報が得られるように、各ＡＵが構成される。この回路５０２は、リストからのＡＵのスタートを示すポインタを開始させ、リストからのＡＵのスタートを繰り返しチェックし、リストの最上ＡＵからのタイミング情報を計算してヘッダを構成し、ヘッダをＴＳに書き込む。ＴＳの残りのバイトをエレメンタリ・ストリームからのデータで埋める。
【００４４】
装置５０１の回路５０２は、ペイロード・ユニット・スタート指標（payload_unit-start_indiator）を真としてチェックできるように最上ＡＵのスタートを付勢（イネーブル）し、このペイロード・ユニット・スタート指標を真としてマークする。回路５０２は、ＴＳパケット内にＴＳヘッダを書き込めるようにも付勢する。これは、ＴＳペイロードがＰＥＳスタートを含んでいることを示す。よって、回路５０２は、ＡＵのスタートを再度チェックする。ＡＵのスタートが真であるとわかると、ＰＥＳヘッダをＴＳパケットに書き込む。これは、ＴＳペイロードの第１バイトがＰＥＳヘッダの値スタート・バイトを含まなければならないためである。次に、回路５０２は、ＡＵのスタートを偽に設定する。この場合、ＴＳペイロードのサイズは、１バイトだけ減る。よって、読み取りバイト（Readbytes）を次のように計算する。
［読み取りバイト］＝１８８−［ＴＳヘッダ・サイズ］−［ＰＥＳヘッダ・サイズ］
回路５０２は、更に読み取りバイトがファイルからＴＳパケットに書き込まれるように付勢する。アクティブＡＵリストのトップ要素からのＰＴＳ及びＤＴＳにより、ＰＥＳヘッダを構成する。このＰＥＳヘッダがＴＳペイロードに含まれる。そして、ＴＳペイロードの残りのバイトは、Ｈ．２６４アクセス・ユニットにより埋める。よって、最上位ＡＵのエンドをチェックする。この最上位ＡＵのエンドが真であると、装置の回路５０２により、ＡＵのスタートを偽に設定してＴＳ構成の１つの繰り返しを終了する。その後の繰り返しとＴＳ構成のために、ｎの値を１だけ増分する。
【００４５】
［本発明のアプリケーション］
ここで説明した種々の実施例を用いて、Ｈ．２６４エレメンタリ・ストリームの有効なマルチプレクスを行って、ＭＰＥＧ−２トランスポート・ストリーム（ＴＳ）を発生できる。これらをＨ．２６４ビデオ・エレメンタリ・ストリームの遅延時間マルチプレクスにて適用できる。これは、コード化ＮＡＬ／ＶＣＬ−ＨＲＤパラメータ（シーケンス・パラメータ・セットのＶＵＩ情報の一部として）又はサプレメンタル・エンハンスメント情報（ＳＥＩ:Supplemental Enhancement Information）のいずれもない。Ｈ．２６４エレメンタリ・ストリームの各アクセス・ユニット（ＡＵ）は、ファイル内の次のアクセス・ユニットのピクチャ形式に関する情報に対して先読みできる。このピクチャ形式情報を用いて、パケット化エレメンタリ・ストリーム（ＰＥＳ）のＰＴＳ及びＤＴＳ値を計算できる。次に、各ＡＵをＰＥＳパケットにパケット化して、ＴＳパケットのストリームに分解できる。
【００４６】
理解を助けるために、本発明の特定の実施例について詳細に説明した。しかし、当業者は、これら特定実施例を用いなくても、本発明を実現できよう。本発明は、ハードウェアでもソフトウェアでも実現できる。ブロック図に示した構成及び装置は、本発明の実施例を説明するためであり、本発明が曖昧になるのを防ぐためである。また、種々の要素の間の接続が直接的である必要はなく、中間的なデータ伝送をエンコード、再フォーマット又は変調してもよい。
【００４７】
本明細書で一実施例又は実施例と呼んでいるのは、実施例に関連して説明した特定の特徴、構造、特性又は機能が本発明の少なくとも一実施例に含まれる。本明細書にて、各実施例における装置は、全てが同じ構成である必要はない。
【００４８】
よって、本発明に関する上述の説明は、本発明を明確にし理解しやすくするためのものであり、本発明をこれら実施例そのものに限定するものではない。
【符号の説明】
【００４９】
２０１ ビデオ・エンコーダ
２０２ パケット化手段
２０３ トランスポート・ストリーム・マルチプレクサ
５０２ 回路
【特許請求の範囲】
【請求項１】
コード化されたタイミング情報のない高分解能ビデオ・エレメンタリ・ストリームをマルチプレクスしてトランスポート・ストリーム（ＴＳ）を生成する方法であって、
各々が次のアクセス・ユニット（ＡＵ）のタイミング情報を得ることができるように先読みできるｎ個のＡＵをリストに構成し、
上記リストからＡＵのスタートを指示するポイントを開始し、
上記リストからＡＵのスタートを繰り返しチェックし、
上記リストの最高のＡＵからタイミング情報を計算してヘッダを構成し、
上記ＴＳ内に上記ヘッダを書き込み、
上記ＴＳの残りのバイトを上記エレメンタリ・ストリームからのデータで埋めることを特徴とする方法。
【請求項２】
コード化されたタイミング情報のない高分解能ビデオ・エレメンタリ・ストリームをマルチプレクスしてトランスポート・ストリーム（ＴＳ）を生成する装置であって、
各々が次のアクセス・ユニット（ＡＵ）のタイミング情報を得ることができるように先読みできるｎ個のＡＵをリストに構成する手段と、
上記リストからＡＵのスタートを指示するポイントを開始する手段と、
上記リストからＡＵのスタートを繰り返しチェックする手段と、
上記リストの最高のＡＵからタイミング情報を計算してヘッダを構成する手段と、
上記ＴＳ内に上記ヘッダを書き込む手段と、
上記ＴＳの残りのバイトを上記エレメンタリ・ストリームからのデータで埋める手段と
を具えた装置。
【請求項１】
コード化されたタイミング情報のない高分解能ビデオ・エレメンタリ・ストリームをマルチプレクスしてトランスポート・ストリーム（ＴＳ）を生成する方法であって、
各々が次のアクセス・ユニット（ＡＵ）のタイミング情報を得ることができるように先読みできるｎ個のＡＵをリストに構成し、
上記リストからＡＵのスタートを指示するポイントを開始し、
上記リストからＡＵのスタートを繰り返しチェックし、
上記リストの最高のＡＵからタイミング情報を計算してヘッダを構成し、
上記ＴＳ内に上記ヘッダを書き込み、
上記ＴＳの残りのバイトを上記エレメンタリ・ストリームからのデータで埋めることを特徴とする方法。
【請求項２】
コード化されたタイミング情報のない高分解能ビデオ・エレメンタリ・ストリームをマルチプレクスしてトランスポート・ストリーム（ＴＳ）を生成する装置であって、
各々が次のアクセス・ユニット（ＡＵ）のタイミング情報を得ることができるように先読みできるｎ個のＡＵをリストに構成する手段と、
上記リストからＡＵのスタートを指示するポイントを開始する手段と、
上記リストからＡＵのスタートを繰り返しチェックする手段と、
上記リストの最高のＡＵからタイミング情報を計算してヘッダを構成する手段と、
上記ＴＳ内に上記ヘッダを書き込む手段と、
上記ＴＳの残りのバイトを上記エレメンタリ・ストリームからのデータで埋める手段と
を具えた装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−１０９６６５（Ｐ２０１１−１０９６６５Ａ）
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願番号】特願２０１０−２５６９６２（Ｐ２０１０−２５６９６２）
【出願日】平成２２年１１月１７日（２０１０．１１．１７）
【出願人】（５０３０５０９５１）テクトロニクス・インターナショナル・セールス・ゲーエムベーハー (35)
【Ｆターム（参考）】
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願日】平成２２年１１月１７日（２０１０．１１．１７）
【出願人】（５０３０５０９５１）テクトロニクス・インターナショナル・セールス・ゲーエムベーハー (35)
【Ｆターム（参考）】
[ Back to top ]