説明

オーディオデータ、ビデオデータおよび/または別のデータを含むデータストリームを再生する方法

【課題】記憶媒体にマルチプレクスに記録されたデータストリームと、該データストリームマルチプレクスの外に存在する別のデータストリームとを同期できるようにする。
【解決手段】幾つかのデータストリームは、ビデオデータおよび/またはオーディオデータおよび/または別のデータを含んでいる。データストリームのうち幾つかは、記憶媒体上にマルチプレクスに事前記録されており、他のデータストリームは該記憶媒体上のデータストリームマルチプレクスの外に存在している。データストリームはナビゲーションファイル(List_of_PlayItems)を使用して同期される。ナビゲーションファイルは、該データストリームの各部分をポインティングする記述子(PlayItem,SubPlayItem)を有しており、該記述子は、データサブストリームパスを使用して、該データストリームパスの時間的な配列を定義する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、オーディオデータ、ビデオデータおよび/または別のデータを含むデータストリームを再生する方法に関する。ここで、データストリームのうち幾つかが記憶媒体に多重に記録され、他のデータストリームはデータストリームマルチプレクスの外に存在する。
【背景技術】
【0002】
光学的記憶媒体は、1つまたは複数のビデオおよびオーディオのデータストリームおよび/または別のデータを含む音響映像(AV)信号を記録または再生することができる。前記別のデータは、たとえば字幕およびサービス情報等である。www.dvdforum.orgによって広められたデジタル多用途ディスク(DVD)標準規格に基づいて、事前記録された映画タイトルは、読み出し専用の光学的ディスクを使用して量販市場向けに複製される。赤色レーザを基礎とするDVD標準規格の導入および拡大に続いて、青色レーザを基礎とする、ますます大きな容量の媒体システムが、「Blu‐ray」という商標名で広まってきている。これは、BDと表示される。
【0003】
現在のDVDでは、コンテンツプロバイダは多数の異なる対象国に対してビデオを作成しており、このビデオは、多数の異なる言語および字幕を含んでいる。AVマテリアルのこのような言語固有のバージョンの上にさらに、光学的ではマルチアングルの適用および多層的な適用も存在する。BDの適用でこの可能性は、SDTVビデオおよびHDTVビデオ等の異なるビデオフォーマットを導入することによって拡大される。光学的な記録および事前記録では、上記で挙げられた異なるエレメンタリストリーム(ビデオアングル、オーディオトラック、字幕等)はすべて、ただ1つの多重トランスポートストリームにパケット化しなければならない。再生時にデコーダは、このマルチプレクスを読み出して、選択されたストリームに所属するパケットを復号化する。
【発明の概要】
【0004】
本発明は、以下の事実の認識に基づく。すべての有効なコンポーネントを含むAVマルチプレクスを有する場合、たとえば別のサウンドトラックまたは別のウェブページ等の付加的なマテリアルを後で提供することはできない。すなわち、コンテンツプロバイダが制作ツールを使用して、BD映画を生成する場合、すべてのエレメンタリストリームを把握してから生成を開始しなければならない。AVマルチプレクスを製作した後に別のエレメンタリストリームを追加することはできない。また、別のデータストリームを後で追加しなければならない場合、既存のデータストリームと同期する必要がある。
【0005】
したがって本発明において解決すべき課題は、記憶媒体にマルチプレクスに記録されたデータストリームと、該データストリームマルチプレクスの外に存在する別のデータストリームとを同期できるようにすることである。
【0006】
前記課題は、請求項1に記載された方法によって解決される。
【0007】
原理的に、基本的に本発明の方法によれば、ビデオデータおよび/またはオーディオデータおよび/または別のデータを含むデータストリームの同期が可能であり、このデータストリームのうち幾つかは、記憶媒体にマルチプレクスに事前記録されており、ナビゲーションファイルが、該データストリームの各部分をポインティングする記述子を含み、前記記述子は、データサブストリームパスを使用して、各データストリームの時間的な配列を定義する。
【0008】
本発明の有利な他の態様が、他の各請求項に記載されている。
【図面の簡単な説明】
【0009】
【図1】異なるビデオストリームパスとオーディオストリームパスと字幕ストリームパスとを含む再生リストの一例を示す。
【発明を実施するための形態】
【0010】
本発明の実施例を、添付図面を参照して説明する。
図1は、異なるビデオストリームパスと、オーディオストリームパスと、字幕ストリームパスとを含む再生リストList_of_PlayItemsの一例を示している。この再生リストはPlayItemまたはSubPlayItemを有し、これをデコードしてストリームパスを再生しなければならない。PlayItemの第1のストリームパスはAV多重ストリームを有している。さらに幾つかのSubPlayItemによって、上記のオーディオストリームパスと、ビデオストリームパスと、字幕ストリームパスとが記述される。
【0011】
ここに図示されているように、多重ストリームパスはPlayListの汎用的な時間軸上に平行して存在する。ストリームパスは、時間軸の一部分を空にすることによってリーキー(leaky)と定義される。
【0012】
PlayItemまたはSubPlayItemによって記述されたストリームはどれでも、エレメンタリストリームとすることができるか、またはストリームのマルチプレクスとすることもできる。
【0013】
光学的ディスク上のメインAVマルチプレクスの外部に位置付けられたエレメンタリストリームの本発明の同期を、以下で説明する。
【0014】
2つの異なる事例に関して同期を考察する。第1の事例は、時間的な相互関係に関するコンポーネントの同期である。ここでは、別個のコンポーネントがどの時点で開始および終了するかが決定される。第2の事例は、スイッチングに関するコンポーネントの同期である。ここでは、1つのコンポーネントのデコードを別のコンポーネントのデコードによって置換できる、時間およびバイナリストリームにおける位置が決定される。たとえばビデオコンポーネントのスイッチングは、マルチアングルの適用において有用である。
【0015】
このような適用において有利な媒体は、アウト・オブ・マルチプレクス(out of multiplex)のビットストリーム読み出しに必要な転送速度を実現する、DVD機能を超える媒体であり、たとえばBlu‐rayディスクである。
【0016】
アウト・オブ・マルチプレクスのセマンティクスによって、異なるエレメンタリストリームを組み合わせて、Blu‐rayディスクのAVストリームを再生することができる。ここでは、ディスクをソースとするストリームと、インターネットを介して得られたストリームまたは別の記憶媒体からのストリームとの組み合わせも含まれる。たとえば、ビデオストリームをBlu‐rayディスクから読み出し、オーディオストリームをハードディスクから読み出し、字幕をインターネットサービスから読み出す映画の再生が可能である。
【0017】
アウト・オブ・マルチプレクスのAVマテリアルの記述は、ナビゲーションファイルおよびストリームファイルを含む異なったファイルから成る。ナビゲーションファイルは、ストリームファイル内をナビゲーションするためのすべてのエントリポイントを有している。ここでは、時間軸におけるポイント、視角、字幕およびオーディオチャネル等が挙げられる。ナビゲーションファイルのより上位の層には、AVマテリアルの再生に割り当てられているすべてのストリーム部分を説明する再生アイテムのリストが設けられている。
【0018】
以下で、上位レベルのナビゲーションファイルの一般的な構文を説明する。表1〜4には、本発明において必須の要素のみが略述されている。すなわち、付加的な要素はここでは記載されておらず、異なる命令も可能である。
【0019】
表1にて定義されているように、ディスク上の再生要素はList_of_PlayItemsによって記述されている。この再生要素は、映画のどの部分(たとえばチャプタ)であってもよい。List_of_PlayItemsは、List_of_PlayItems構造の構造全長をバイトで示すlengthと、PlayItem()要素の数を示すplayItemと、SubPlayItem()の数を示すsubPlayItemとから成る。List_of_PlayItemsでは少なくとも1つのPlayItemが必要であるのに対し、SubPlayItemは任意である。SubPlayItem(s)の時間軸は、PlayItem(s)の時間軸を参照している。
【0020】
表1:List_of_PlayItems構文
【0021】
【表1】

【0022】
表2において定義されているように、PlayItem構造は、該構造の全長をバイトで示すlengthと、エレメンタリストリームファイルへのリンクを記述するStreamFileと、StreamFile内のPlayItemのプレゼンテーション開始時点を記述するStart_timeと、該StreamFile内のPlayItemのプレゼンテーション終了時点を記述するEnd_timeとから成る。
【0023】
付加的にPlayItem構造は、バイトの位置合わせを保存するための要素「reserved」、該PlayItemがコンポーネント間におけるシームレスな移行を提供するか否かを指示するSeamless_presentation_flagも含む。Seamless_presentation_flagはSubPlayItem(表3)の場合と同じ意味を有し、そこでさらに詳細に説明される。
【0024】
表2:PlayItem構文
【0025】
【表2】

【0026】
表3にて定義されているように、SubPlayItem構造はPlayItemの構造に非常に似ている。このSubPlayItem構造は、該構造の全長をバイトで示すlengthと、エレメンタリストリームファイルに対するリンクを記述するStreamFileと、該StreamFile内のPlayItemのプレゼンテーション開始時点を記述するStart_timeと、該StreamFile内のPlayItemのプレゼンテーション終了時点を記述するEnd_timeとから成る。
【0027】
付加的にSubPlayItem構造は、バイトの位置合わせを保存するための要素「reserved」と、該PlayItemがコンポーネント間におけるシームレスな移行を提供するか否かを指示するSeamless_presentation_flagと、サブストリームパスの終了を指示するStream_path_endと、SubPlayItemに対して与えられたサブストリームパスの種類を示す1つの8ビットフィールドであるSubStream_typeも含む。
【0028】
表3:SubPlayItem構文
【0029】
【表3】

【0030】
表4にて定義されているように、SubStream_typeはSubPlayItemの種類を定義する。これは、オーディオダビングのための補助的なオーディオストリームパスと、ビデオストリームパスと、オーディオストリームパスと、字幕ストリームパスまたはグラフィックスストリームパスとから成る。値6〜255は、将来のストリームパス形式のために使用することができる。
【0031】
表4:SubStream_type
【0032】
【表4】

【0033】
表5に示されているような、SubStream_typeの択一的な定義も可能である。異なるエレメンタリストリームパスの代わりに、補助的なトランスポートストリームパスを設けることの利点は、どのエレメンタリストリームも別の多重ストリームに再び組み込めることである。すなわち、幾つかの異なる字幕を、1つのファイルに一緒に多重化することができる。
【0034】
表5:SubStream_type
【0035】
【表5】

【0036】
Seamless_presentation_flagは、再生中にコンポーネントのシームレスなスイッチングに関する同期のケースを支援する。
【0037】
Seamless_presentation_flagはPlayItem/SubPlayItem内に位置付けられており、PlayItem/SubPlayItemによって参照されるトランスポートストリームが、エレメンタリストリーム間のシームレスな移行を支援しているか否かを示す。Seamless_presentation_flagが「真」にセットされている場合、トランスポートストリームにあるすべてのエレメンタリストリームがシームレス移行制約に従う。
【0038】
シームレス移行制約は、エレメンタリストリーム内部の接続ポイントを提供する。接続ポイントは、再生中に1つのエレメンタリストリームのデコードを停止して、目立った作用を伴わずに別のエレメンタリストリームのデコードを開始できるポイントである。ここでは、両エレメンタリストリームがシームレス移行制約に従ってエンコードされたことが前提条件である。接続ポイントはエンコード中に、必須のGOPラスタを定義して必要なバッファサイズを制限することにより、デコード時に異なるエレメンタリストリームを切り替える際にバッファがあふれるのを防止することによって生成される。前記GOPラスタは、たとえば固定的なGOP長さである。
【0039】
シームレス移行の典型的な適用例が、マルチアングルビデオである。マルチアングルビデオは、1つのビデオに対して異なるカメラ角度を提供する。たとえば、1つのカメラはレースカー内部を表示し、別の1つのカメラはボックスを表示し、1つのカメラはフィニッシュラインを表示する。マルチアングルビデオが再生される際には、ユーザはシームレスに、これらの異なるカメラトラックの間で切り替えることができる。
【0040】
Stream_path_endおよびSubstream_typeは、コンポーネントの時間的な相対関係に関する同期のケースを支援する。
【0041】
Stream_path_end:このフラグは、ストリームパスの終了を指示する。ストリームパスは、SubPlayItemの順序付けられたセットである。これは、該ストリームパスに所属するすべてのSubPlayItemの数および順序を定義する。第1のストリームパスは最初のSubPlayItemによって開始し、「真」にセットされたStream_path_endフラグを有する最初のSubPlayItemによって終了する。第2のストリームパスは、先行するストリームパスに後続する最初のSubPlayItemによって開始し、「真」にセットされたStream_path_endフラグを有する最初のSubPlayItemによって終了し、同様に繰り返される。最後のストリームパスは、最後のSubPlayItemで終了する。PlayListの最後のSubPlayItemに対してStream_path_endフラグを「真」にセットすることは、任意である。ストリームパスのすべてのSubPlayItemは、同一のSubPlayItem_typeを有しなければならない。
【0042】
ストリームパスの再生によって、「真」にセットされたStream_path_endフラグを有する最初のSubPlayItemを含むか、またはPlayListの最後のSubPlayItemを含むストリームパスに所属するSubPlayItemの連続的なセットがデコードされる。
【0043】
トランスポートストリーム(TS)は、ISO/IEC13818‐1にて規定されているように、MPEG‐2システム標準規格にしたがって、動画および関連のオーディオ情報の一般的な符号化にしたがって編成されている。しかし、デコード中に衝突のない再生を実現すると同時に、後で独立してコンテンツを付加できるようにするため、たとえばメインの作成がすでに終了した後に補助的な字幕を付与できるようにするためには、トランスポートストリームにおいて制約の以下の規則が必要である。
【0044】
PlayItemのTSは、プログラム割り当てテーブル(PAT)およびプログラムマップテーブル(PMT)を有しなければならない。これらは、マルチプレクス内のすべてのTSコンポーネント(エレメンタリストリーム)に対してPIDテーブルおよび言語情報を提供する。
【0045】
SubPlayItemのTSは、補助ストリームを含む。補助ストリームの有利な形式もTSで
ある。
【0046】
SubPlayItemのTS内にPATを設けることはできない。このことによって、PlayItemのTSとの不一致が防止される。
【0047】
SubPlayItemのTSは、PlayItemのTS内で使用されていないPIDを有するPMTを含んでいなければならない。
【0048】
PlayItemおよびSubPlayItem双方のすべてのTSに含まれるエレメンタリストリームに関連するすべてのPIDは、異なっていなければならない。
【0049】
上記のTS規則の利点は、すべてのエレメンタリストリームをデコードするために、1つのPIDフィルタだけで十分であることである。TS規則に違反すると、入力データをバッファリングする前にPIDの再スタンプを行うか、または異なるバッファを分離しなければならなくなる。
【0050】
本発明は複数の利点を有する。
事前記録されたBlu‐rayディスクの作成におけるフレキシビリティが向上される。たとえば、メインのAVマルチプレクスが完成した後に、付加的な言語を後の時点でディスクに容易に追加することができる。これは、たとえば他言語のオーディオ情報および字幕情報を含む補助的なAVマルチプレクスを別個に作成し、基本AVマルチプレクスを変更せずに(記録、再多重化する必要なく)、補助AVマルチプレクスをディスクイメージに追加できるためである。
【0051】
オーディオフォーマット、字幕フォーマット、ビデオアングルフォーマット、AVフォーマット等の最大個数は、マルチプレクスに対する所与の帯域幅によって制限されることはない。この最大個数は、容量キャパシティによってのみ定義される。
【0052】
外部ソースとディスクコンテンツとを任意に組み合わせることができる。これはたとえば、ハードディスクまたはインターネットからの特別なサウンドトラックである。こうすることによって、新たなストリームと事前記録されたディスクとを組み合わせることによる付加価値が得られる。
【0053】
さらに、異なるトランスポートストリームから得られたエレメンタリストリームのデコードを簡略化し、異なるトランスポートストリームにわたってシームレスにストリームを切り替えられるようにするため(たとえばマルチアングルビデオ)、規則が設けられる。

【特許請求の範囲】
【請求項1】
ビデオデータ、オーディオデータおよび/または別のデータを含むデータストリームを再生する方法であって、該方法は、
多重化されたエレメンタリ・ストリームの基本的なAV MPEG‐2トランスポート・ストリームの各部分をポインティングする一連の連続した記述子(PlayItem)である基本的なストリームパスをデコードするステップであって、前記一連における前記記述子の順番は、前記基本的なAV MPEG‐2トランスポート・ストリームの前記各部分を再生する時間的な順番を定義している、該デコードするステップと、
前記基本的なAV MPEG‐2トランスポート・ストリームと同期した再生のために、ナビゲーションファイルのグローバル時間軸上に配列されたサブストリームパスをデコードするステップであって、前記サブストリームパスは、更なるデータストリームを、又は該更なるデータストリームの各部分をポインティングする、更なる一連の、1つまたは複数の連続した更なる記述子(SubPlayItem)を有し、前記更なるデータストリームは、前記基本的なAV MPEG‐2トランスポート・ストリームの外部のデータソースから由来する、異なる更なるAV MPEG‐2トランスポート・ストリームとして形成された更なるエレメンタリ・ストリーム内にエンコードされている、該デコードするステップと、
前記基本的なAV MPEG‐2トランスポート・ストリームと少なくとも1つの前記更なるデータストリームとを同期的に再生するステップであって、再生中に、前記更なるデータストリームの中の1つの或る部分をデコードすることを、前記更なるデータストリームの中の別の1つの或る部分をデコードすること、と目立った作用なく、前記更なる記述子によって定義された前記更なるデータストリーム上のポイントおよび時間上のポイントにおいて置き換えることをユーザが許される、該再生するステップと、
を有する前記方法。
【請求項2】
ビデオデータ、オーディオデータおよび/または別のデータを含むデータストリームを含む多重化されたエレメンタリ・ストリームの基本的なAV MPEG‐2トランスポート・ストリームを記憶媒体に記録した後に、該事前記録された記憶媒体をオーサリングする方法であって、該方法はナビゲーションファイルを作成するステップを有しており、該ナビゲーションファイルは、
多重化されたエレメンタリ・ストリームの基本的なAV MPEG‐2トランスポート・ストリームの各部分をポインティングする一連の連続した記述子(PlayItem)である基本的なストリームパスであって、前記一連における前記記述子の順番は、前記基本的なAV MPEG‐2トランスポート・ストリームの前記各部分を再生する時間的な順番を定義している、該基本的なストリームパスと、
前記基本的なAV MPEG‐2トランスポート・ストリームと同期した再生のために、ナビゲーションファイルのグローバル時間軸上に配列されたサブストリームパスであって、該サブストリームパスは、更なるデータストリームを、又は該更なるデータストリームの各部分をポインティングする、更なる一連の、1つまたは複数の連続した更なる記述子(SubPlayItem)を有し、前記更なるデータストリームは、前記基本的なAV MPEG‐2トランスポート・ストリームの外部のデータソースから由来する、異なる更なるAV MPEG‐2トランスポート・ストリームとして形成された更なるエレメンタリ・ストリーム内にエンコードされている、該サブストリームパスと、を有し、
前記更なる記述子が、再生中に、前記更なるデータストリームの中の1つの或る部分をデコードすることを、前記更なるデータストリームの中の別の1つの或る部分をデコードすること、と目立った作用なく置き換えることをユーザが許される、前記更なるデータストリーム上のポイントおよび時間上のポイントを定義するように、前記ナビゲーションファイルが作成される、前記方法。
【請求項3】
請求項2に記載の方法によってオーサリングされた記憶媒体。

【図1】
image rotate


【公開番号】特開2012−23737(P2012−23737A)
【公開日】平成24年2月2日(2012.2.2)
【国際特許分類】
【出願番号】特願2011−164183(P2011−164183)
【出願日】平成23年7月27日(2011.7.27)
【分割の表示】特願2010−233635(P2010−233635)の分割
【原出願日】平成15年9月29日(2003.9.29)
【出願人】(501263810)トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Thomson Licensing 
【住所又は居所原語表記】1−5, rue Jeanne d’Arc, 92130 ISSY LES MOULINEAUX, France
【Fターム(参考)】