三次元マルチメディア・サービスを提供するためのデータストリーム生成方法及びその装置、三次元マルチメディア・サービスを提供するためのデータストリーム受信方法及びその装置
二次元または三次元のマルチメディア・サービスに係わるプログラムから、視点別ビデオデータを含む少なくとも１つのＥＳ（elementary stream）を生成し、少なくとも１つのＥＳに係わる参照（reference）情報及び視点別ビデオデータを視点別に識別して再生するための三次元付加情報を含むプログラムに係わるＰＭＴ（program map table）情報を生成し、少なくとも１つのＥＳをパケット化（packetizing）して生成されたＰＥＳ（packetized elementary stream）パケット及びＰＭＴ情報を多重化してＴＳを生成する三次元マルチメディア・サービスを提供するためのデータストリーム生成方法を開示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元マルチメディア・サービスを提供するためのデータストリームの送受信に関する。
【背景技術】
【０００２】
ＭＰＥＧ（moving picture experts group） ＴＳ（transport stream）基盤のデジタル放送方式では、送信端が無圧縮のビデオデータ及びオーディオデータをそれぞれのＥＳ（elementary stream）に挿入し、ＥＳ別に多重化して生成されたＴＳをチャネルを介して伝送する。
【０００３】
ＴＳには、ＥＳと共に、ＰＳＩ（program specification information）が共に収録される。ＰＳＩは、代表的なものとして、ＰＡＴ（program association table）情報及びＰＭＴ（program map table）情報を含む。シングルプログラムに係わるプログラム情報を提供するＰＭＴ情報は、ＥＳ別ＰＩＤ（packet identifier）情報を記述し、ＰＡＴ情報は、それぞれのＰＭＴ情報のＰＩＤ情報を記述する。
【０００４】
受信端は、チャネルを介してＴＳを受信し、送信端と反対過程を介して、ＴＳからＥＳを抽出する。ＥＳに収録されたデジタルコンテンツが復元されてディスプレイ装置によって再生される。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、一実施形態によって、三次元付加情報及び参照情報（または、三次元叙述子情報）が、ＭＰＥＧ ＴＳシステムのＰＭＴ情報内のビデオ叙述子情報に追加して挿入され、三次元ビデオを再生するために、三次元付加情報及び参照情報（または、三次元叙述子情報）が認識されて抽出されるものである。
【課題を解決するための手段】
【０００６】
本発明の一実施形態による三次元（３Ｄ）マルチメディア・サービスを提供するためのデータストリーム生成方法は、二次元（２Ｄ）または三次元のマルチメディア・サービスに係わるプログラムから、視点別ビデオデータを含む少なくとも１つのＥＳ（elementary stream）を生成する段階と、前記少なくとも１つのＥＳに係わる参照（reference）情報と、前記視点別ビデオデータを視点別に識別して再生するための三次元付加情報と、を含む前記プログラムに係わるＰＭＴ（program map table）情報を生成する段階と、前記少なくとも１つのＥＳをパケット化（packetizing）して生成されたＰＥＳ（packetized elementary stream）パケットと前記ＰＭＴ情報とを多重化してＴＳ（transport stream）を生成する段階と、を含む。
【発明の効果】
【０００７】
三次元付加情報及び参照情報（または、三次元叙述子情報）を含むＰＭＴ情報が収録されたデータストリームが伝送され、このデータストリームを受信システムが受信する場合、既存ＭＰＥＧ ＴＳシステムによる受信システムは、三次元付加情報及び参照情報（または、三次元叙述子情報）と関係なく、二次元マルチメディア・サービスを提供することができるので、既存ＭＰＥＧ ＴＳシステムとの互換性が維持され、一実施形態によるデータストリーム受信装置が搭載された受信システムは、三次元マルチメディア・サービスを提供することができる。
【０００８】
また、既存ＭＰＥＧ ＴＳシステムで定義されたストリームタイプ情報を利用し、それぞれのＥＳのストリームタイプ情報が設定されるので、既存ＭＰＥＧ ＴＳシステムのデータストリーム構造と比べ、ストリームタイプが追加して新設される必要がない。
【図面の簡単な説明】
【０００９】
【図１】一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム生成装置のブロック図である。
【図２】一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム受信装置のブロック図である。
【図３】ＭＰＥＧ ＴＳシステム基盤のデジタル放送伝送装置の概要図である。
【図４】ＭＰＥＧ ＴＳシステム基盤のデジタル放送受信装置の概要図である。
【図５】一実施形態によるデータストリーム生成装置によって、複数個のビデオＥＳを伝送するためのＭＰＥＧ ＴＳ伝送装置の概要図である。
【図６】一実施形態によるデータストリーム受信装置によって、複数個のビデオＥＳを受信するためのＭＰＥＧ ＴＳ受信装置の概要図である。
【図７】一実施形態による三次元合成フォーマットを図示する図面である。
【図８】一実施形態によって、三次元ビデオを構成する複数個の視点別ビデオデータに係わるＥＳの各種組み合わせを図示する図面である。
【図９Ａ】一実施形態によるＰＭＴ情報の三次元付加情報のうち、基本ＥＳに係わる三次元ビデオ叙述子情報に、付加ＥＳに係わる三次元ビデオ叙述子情報が含まれる一例を図示する図面である。
【図９Ｂ】図９ＡによるＰＭＴ情報のストリーム構造を図示する図面である。
【図１０Ａ】一実施形態によるＰＭＴ情報の三次元付加情報のうち、基本ＥＳに係わる三次元ビデオ叙述子情報及び付加ＥＳに係わる三次元ビデオ叙述子情報が、順次に含まれる一例を図示する図面である。
【図１０Ｂ】図１０ＡによるＰＭＴ情報のストリーム構造を図示する図面である。
【図１１】一実施形態によるモード転換情報の使用例を図示する図面である。
【図１２】左視点ビデオ及び右視点ビデオが異なったサイズで伝送される場合を例示する図面である。
【図１３】一実施形態による縦横比情報の使用例を図示する図面である。
【図１４】一実施形態によるデータストリーム伝送装置及び一実施形態によるデータストリーム受信装置が具現される三次元ビデオデータストリーム通信システムの概要図である。
【図１５】一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム生成方法のフローチャートである。
【図１６】一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム受信方法のフローチャートである。
【発明を実施するための形態】
【００１０】
本発明の一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム生成方法は、二次元または三次元のマルチメディア・サービスに係わるプログラムから、視点別ビデオデータを含む少なくとも１つのＥＳ（elementary stream）を生成する段階と、前記少なくとも１つのＥＳに係わる参照（reference）情報と、前記視点別ビデオデータを視点別に識別して再生するための三次元付加情報と、を含む前記プログラムに係わるＰＭＴ（program map table）情報を生成する段階と、前記少なくとも１つのＥＳをパケット化（packetizing）して生成されたＰＥＳ（packetized elementary stream）パケットと前記ＰＭＴ情報とを多重化してＴＳ（transport stream）を生成する段階と、を含む。
【００１１】
一実施形態による前記ＰＭＴ情報の生成段階は、前記ＰＭＴ情報において、前記少なくとも１つのＥＳのうち基本ＥＳのための叙述子（descriptor）情報に、前記基本ＥＳに挿入された基本ビデオデータに係わる三次元付加情報を挿入する段階と、前記基本ＥＳのための叙述子情報に、前記少なくとも１つのＥＳのうち付加ＥＳに含まれた付加ビデオデータに係わる三次元付加情報及び参照情報のうち少なくとも一つを挿入する段階と、を含み、前記基本ビデオデータ及び前記付加ビデオデータは、それぞれ前記視点別ビデオデータの組み合わせである。
【００１２】
一実施形態による前記ＥＳに係わる参照情報は、当該ＥＳのストリームタイプ（steam type）情報及びＰＩＤ（packet indentifier）情報のうち少なくとも一つを含んでもよい。一実施形態による前記付加ビデオデータに係わる三次元付加情報及び参照情報の挿入段階は、前記付加ＥＳに係わる参照情報のうち、前記付加ＥＳのストリームタイプ（stream type）情報をＭＰＥＧ（moving picture experts group）システムで割り当てられた値に設定される。
【００１３】
一実施形態による前記付加ビデオデータに係わる三次元付加情報及び参照情報の挿入段階は、前記少なくとも１つのＥＳのうち、前記付加ＥＳの個数が複数個である場合、それぞれの付加ＥＳ別に、三次元付加情報及び参照情報のうち少なくとも一つを設定することができる。
【００１４】
一実施形態による前記基本視点ビデオデータに係わる三次元付加情報は、前記基本ビデオデータの映像フォーマット情報、前記基本ビデオデータの映像フォーマットのうち視点別配置順序情報、及び付加ＥＳの個数情報のうち少なくとも一つを含んでもよい。
【００１５】
一実施形態による前記付加ビデオデータに係わる三次元付加情報は、前記付加ビデオデータの映像フォーマット情報、前記基本ビデオデータ及び前記付加ビデオデータのディスプレイ順序情報、子供用あるいは大人用の立体感効果調節情報、及び前記視点別ビデオデータのうち、前記付加ビデオデータを指す付加ビデオインデックス情報のうち少なくとも一つを含んでもよい。
【００１６】
一実施形態による前記ＰＭＴ情報の生成段階は、前記ＰＭＴ情報に、前記少なくとも１つのＥＳ別に順次に、当該ＥＳのストリームタイプ情報、ＰＩＤ情報及びビデオストリーム叙述子情報を含むＥＳ情報を挿入する段階を含んでもよい。
【００１７】
一実施形態による前記ＰＭＴ情報の生成段階は、前記少なくとも１つのＥＳのうち、前記基本ＥＳに含まれた基本ビデオデータに係わる三次元付加情報を含む三次元ビデオ叙述子情報を挿入する段階をさらに含んでもよい。
【００１８】
一実施形態による前記三次元ビデオ叙述子情報の挿入段階は、前記三次元ビデオ叙述子情報に、前記少なくとも１つのＥＳの個数情報、及び前記少なくとも１つのＥＳの映像フォーマット情報を挿入する段階を含んでもよい。一実施例によって、前記少なくとも１つのＥＳの個数が一つである場合、前記映像フォーマット情報は、前記視点別ビデオデータのうち、基本視点ビデオデータ及び付加視点ビデオデータが合成された三次元合成フォーマットを示し、前記少なくとも１つのＥＳの個数が２以上である場合、前記映像フォーマット情報は、前記視点別ビデオデータが、前記基本視点ビデオに係わる前記付加視点ビデオの深度（depth）情報、両眼視差情報及び前記付加視点ビデオデータのうち少なくとも一つと、前記基本視点ビデオデータと、を含む三次元映像フォーマットであってもよい。
【００１９】
一実施形態による前記ＰＭＴ情報の生成段階は、前記少なくとも１つのＥＳのうち付加ＥＳに係わるＥＳ情報に、前記付加ＥＳに含まれた付加ビデオデータの符号化／復号化方式に係わるコーデック情報を挿入することができる。
【００２０】
一実施形態による前記ＰＭＴ情報の生成段階は、前記少なくとも１つのＥＳのうち付加ＥＳに係わるＥＳ情報に、前記三次元付加情報及び参照情報のうち少なくとも一つを含む付加ＥＳビデオ叙述子情報を挿入する段階を含んでもよい。
【００２１】
一実施形態による前記付加ＥＳビデオ叙述子情報の挿入段階は、前記付加ＥＳビデオ叙述子情報に、前記基本視点ビデオに係わる前記付加視点ビデオの深度情報または両眼視差（parallax）情報を、前記付加視点ビデオデータと同時に伝送する三次元ハイブリッドフォーマットであるか否かを示すための情報と、三次元ハイブリッドフォーマット情報と、を挿入する段階を含んでもよい。
【００２２】
一実施形態による前記付加ＥＳビデオ叙述子情報の挿入段階は、前記付加ＥＳビデオ叙述子情報に、前記付加ビデオデータが、前記基本視点ビデオに係わる前記付加視点ビデオの深度情報または両眼視差情報、及び付加視点ビデオデータのうち少なくとも一つであるか否かを示す情報を挿入する段階を含んでもよい。
【００２３】
一実施形態による前記付加ＥＳビデオ叙述子情報の挿入段階は、前記付加ビデオデータが付加視点ビデオデータである場合、前記付加ＥＳビデオ叙述子情報に、前記付加視点ＥＳと関連する基本視点ＥＳに係わるＰＩＤ情報、及び前記付加ビデオデータが左視点または右視点のビデオデータであるかを示す情報のうち少なくとも一つを含む付加視点ビデオパラメータをさらに挿入する段階をさらに含んでもよい。一実施形態による前記付加視点ビデオパラメータは、前記三次元マルチメディア・サービスの再生時、前記基本視点ビデオデータと、前記付加視点ビデオデータとの映像サイズを同一に変換するために、前記付加視点ビデオデータの映像サイズを示す情報を含んでもよい。
【００２４】
一実施形態による前記ＥＳ情報の挿入段階は、前記少なくとも１つのＥＳのうち付加ＥＳに係わるＥＳ情報のうち、前記ストリームタイプ情報をＭＰＥＧシステムで割り当てられた付加ビデオストリーム（auxiliary video stream）値として設定することができる。
【００２５】
一実施形態による前記付加ＥＳビデオ叙述子情報の挿入段階は、前記付加ＥＳの個数が複数個である場合、それぞれの付加ＥＳ別に、付加ＥＳビデオ叙述子情報を設定することができる。
【００２６】
一実施形態による前記ＰＭＴ情報の生成段階は、前記ＰＭＴ情報に、前記ＴＳに三次元ビデオデータが含まれるか否かを示す三次元通知叙述子（notice descriptor）情報を挿入する段階を含んでもよい。一実施形態による前記三次元通知叙述子情報は、現在ＥＳに三次元ビデオデータが含まれていることを示す三次元通知表示アイコンが存在するか否かを示す情報、現在ＰＭＴ情報の二次元モードまたは三次元モードのうち、現在モード情報と異なるモード情報が現在ＰＭＴ情報に後続するＰＭＴ情報に含まれるか否かを示す二次元／三次元モード転換情報、前記二次元／三次元モード転換が生じる時間を示す転換時間スタンプ情報、及び前記二次元／三次元モード転換が生じる場合、画面に表示するメッセージを含んだテキスト情報のうち少なくとも一つを含んでもよい。
【００２７】
一実施形態による前記ＰＭＴ情報の生成段階は、前記ＰＭＴ情報に、現在ＥＳに二次元ビデオデータ、三次元ビデオデータ、並びに二次元及び三次元のビデオデータの混合データのうちいずれか一つが含まれているか否かを示す二次元／三次元モード情報、及び前記現在ＰＭＴ情報の前記二次元／三次元モード情報が現在ＰＭＴ情報に後続するＰＭＴ情報において転換されているか否かを示す二次元／三次元モード転換情報のうち少なくとも一つを含む二次元／三次元モード情報をさらに挿入する段階を含んでもよい。
【００２８】
一実施形態による前記ＰＭＴ情報の生成段階は、前記ＰＭＴ情報に、前記視点別ビデオデータのうち、基本視点ビデオデータ及び付加視点ビデオデータの大きさまたは縦横比（aspect ratio）が異なるように伝送される場合、前記三次元再生時、前記基本視点ビデオデータ及び前記付加視点ビデオデータが表示される領域を調節する方法に係わるクロップオフセット情報を含む縦横比叙述子情報を挿入する段階を含んでもよい。
【００２９】
一実施形態による前記データストリーム生成方法は、前記ＴＳをチャネルに同調化して伝送する段階を含んでもよい。
【００３０】
本発明の一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム受信方法は、二次元または三次元のマルチメディア・サービスに係わるプログラムに係わるＴＳを受信する段階と、前記ＴＳを逆多重化し、前記プログラムに係わるＰＥＳパケット及び前記プログラムに係わるＰＭＴ情報を抽出する段階と、前記ＰＭＴ情報から、前記プログラムにおける視点別ビデオデータを含む少なくとも１つのＥＳに係わる参照情報と、前記視点別ビデオデータを視点別に識別して再生するための三次元付加情報と、を抽出する段階と、前記ＰＥＳパケットを逆パケット化して抽出されたＥＳのうち、前記ＰＭＴ情報から抽出された前記ＥＳに係わる参照情報を利用し、前記少なくとも１つのＥＳを復元し、前記少なくとも１つのＥＳから、前記プログラムにおける視点別ビデオデータを抽出する段階と、を含む。
【００３１】
一実施形態による前記データストリーム受信方法は、前記抽出された視点別ビデオデータを復号化して復元し、前記三次元付加情報及び参照情報のうち少なくとも一つを利用し、三次元で再生する段階をさらに含んでもよい。一実施形態による前記ＰＭＴ情報から三次元付加情報を抽出する段階は、前記ＰＭＴ情報において、前記少なくとも１つのＥＳのうち基本ＥＳのための叙述子情報から、前記基本ＥＳに含まれた基本ビデオデータに係わる三次元付加情報及び付加情報のうち少なくとも一つを抽出する段階と、前記基本ＥＳのための叙述子情報から、前記少なくとも１つのＥＳのうち付加ＥＳに含まれた付加ビデオデータに係わる三次元付加情報及び参照情報のうち少なくとも一つを抽出する段階と、を含み、前記基本ビデオデータ及び前記付加ビデオデータは、それぞれ前記視点別ビデオデータの組み合わせであってもよい。
【００３２】
一実施形態による前記付加ビデオデータに係わる三次元付加情報及び参照情報の抽出段階は、前記付加ＥＳの個数が複数個である場合、それぞれの付加ＥＳ別に、三次元付加情報及び参照情報のうち少なくとも一つを抽出することができる。
【００３３】
一実施形態による前記ＰＭＴ情報からの三次元付加情報及び参照情報の抽出段階は、前記ＰＭＴ情報から、前記少なくとも１つのＥＳ別に順次にＥＳ情報を抽出する段階を含み、前記ＥＳ情報は、当該ＥＳのストリームタイプ情報、ＰＩＤ情報を含む参照情報及び三次元付加情報のうち少なくとも一つを含むビデオストリーム叙述子情報を含んでもよい。
【００３４】
一実施形態による前記ＰＭＴ情報からの三次元付加情報及び参照情報の抽出段階は、前記少なくとも１つのＥＳのうち、前記視点別ビデオデータのうち基本視点ビデオデータを含む基本視点ＥＳに係わるＥＳ情報から、前記視点別ビデオデータに係わる三次元付加情報及び参照情報のうち少なくとも一つを含む三次元ビデオ叙述子情報を抽出する段階をさらに含んでもよい。
【００３５】
一実施形態による前記ＰＭＴ情報からの三次元付加情報及び参照情報の抽出段階は、前記少なくとも１つのＥＳのうち付加ＥＳに係わるＥＳ情報から、前記三次元付加情報及び参照情報のうち少なくとも一つを含む付加ＥＳビデオ叙述子情報を抽出する段階を含んでもよい。
【００３６】
一実施形態による前記ＥＳ情報抽出段階は、前記少なくとも１つのＥＳのうち付加ＥＳに係わるＥＳ情報のうち、前記ストリームタイプ情報がＭＰＥＧシステムで割り当てられた付加ビデオストリーム（auxiliary video stream）値として設定されていてもよい。
【００３７】
一実施形態による前記ＰＭＴ情報からの三次元付加情報及び参照情報の抽出段階は、前記ＰＭＴ情報から、前記ＴＳに三次元ビデオデータが含まれるか否かを示す三次元通知叙述子情報を抽出する段階を含んでもよい。
【００３８】
一実施形態による前記ＰＭＴ情報からの三次元付加情報及び参照情報の抽出段階は、前記ＰＭＴ情報から、二次元／三次元モード情報及び二次元／三次元モード転換情報のうち少なくとも一つをさらに抽出する段階を含んでもよい。
【００３９】
一実施形態による前記ＰＭＴ情報からの三次元付加情報及び参照情報の抽出段階は、前記ＰＭＴ情報から、クロップオフセット情報を含む縦横比叙述子情報を抽出する段階を含んでもよい。
【００４０】
一実施形態による前記三次元再生段階は、前記三次元マルチメディア・サービスの三次元ビデオの基本視点ビデオデータ及び付加視点ビデオデータを復元する段階と、前記三次元付加情報及び参照情報のうち少なくとも一つを利用し、前記基本視点ビデオデータ及び前記付加視点ビデオデータを三次元再生フォーマットに変換して再生する段階を含んでもよい。
【００４１】
一実施形態による前記三次元再生段階は、前記三次元マルチメディア・サービスの三次元ビデオの基本視点ビデオデータ及び二次元ビデオデータのうち一つである第１視点ビデオデータと、前記三次元ビデオの付加視点ビデオ及び前記基本視点ビデオと前記付加視点ビデオとの差情報、深度情報及び両眼視差情報のうち少なくとも一つを含む第２視点ビデオデータと、を復元する段階と、前記三次元付加情報及び参照情報のうち少なくとも一つを利用し、前記第１視点ビデオデータ及び前記第２視点ビデオデータを三次元再生フォーマットに変換して再生する段階と、を含んでもよい。
【００４２】
一実施形態による前記三次元再生段階は、前記三次元マルチメディア・サービスの三次元ビデオの基本視点ビデオデータ及び付加視点ビデオデータが合成された三次元合成フォーマットデータである第１視点ビデオデータと、前記基本視点ビデオ及び前記付加視点ビデオ間の差情報、深度情報及び両眼視差情報のうち一つである第２視点ビデオデータと、を復元し、前記三次元付加情報及び参照情報のうち少なくとも一つを利用し、前記第１視点ビデオデータ及び前記第２視点ビデオデータを三次元再生フォーマットに変換して再生することができる。一実施形態による前記復元段階は、前記第１視点ビデオデータ及び前記第２視点ビデオデータを利用し、基本視点及び付加視点の中間視点ビデオデータを生成する段階を含み、前記三次元再生フォーマットに変換して再生する段階は、前記三次元付加情報及び参照情報のうち少なくとも一つを利用し、前記第１視点ビデオデータ、前記中間視点ビデオデータ及び前記第２視点ビデオデータを三次元再生フォーマットに変換して再生することができる。
【００４３】
一実施形態による前記三次元再生段階は、三次元ビデオを構成する多数の二次元ビデオデータを復元する段階と、前記三次元付加情報及び参照情報のうち少なくとも一つを利用し、前記多数の二次元ビデオデータを選択的に再生したり、あるいはＰＩＰ（picture-in-picture）再生モードで再生する段階を含んでもよい。
【００４４】
一実施形態による前記データストリーム受信方法は、前記抽出された視点別ビデオデータを復号化して復元し、前記三次元付加情報及び参照情報のうち少なくとも一つを利用し、三次元で再生する段階をさらに含み、前記三次元再生段階は、前記縦横比叙述子情報のうち前記クロップオフセット情報に基づいて、前記付加視点ビデオデータに比べて、前記基本視点ビデオデータが外れる領域をクロップ（cropping）し、前記クロップされた基本視点ビデオデータ及び前記付加視点ビデオデータを利用し、三次元で再生することができる。
【００４５】
一実施形態による前記データストリーム受信方法は、前記抽出された視点別ビデオデータを復号化して復元し、前記三次元付加情報及び参照情報のうち少なくとも一つを利用し、三次元で再生する段階をさらに含み、前記三次元再生段階は、前記縦横比叙述子情報のうち前記クロップオフセット情報に基づいて、前記基本視点ビデオデータに比べて、前記付加視点ビデオデータが小さい領域に、当該基本視点ビデオデータを充填した拡張された付加視点ビデオデータを生成する段階と、前記基本視点ビデオデータ及び前記拡張された付加視点ビデオデータを利用して三次元で再生する段階と、を含んでもよい。
【００４６】
本発明の一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム生成装置は、二次元または三次元のマルチメディア・サービスに係わるプログラムにおける視点別ビデオデータを含む少なくとも１つのＥＳを生成するＥＳ生成部と、前記少なくとも１つのＥＳに係わる参照情報と、前記視点別ビデオデータを視点別に識別して再生するための三次元付加情報と、を含む前記プログラムに係わるＰＭＴ情報を生成するＰＭＴ生成部と、前記少なくとも１つのＥＳをパケット化して生成されたＰＥＳパケットと前記ＰＭＴ情報とを多重化してＴＳを生成するＴＳ生成部と、前記ＴＳをチャネルに同調化して伝送するチャネル伝送部と、を含む。
【００４７】
一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム受信装置は、二次元または三次元のマルチメディア・サービスに係わるプログラムに係わるＴＳを受信するＴＳ受信部と、前記ＴＳを逆多重化し、前記プログラムに係わるＰＥＳパケット及び前記プログラムに係わるＰＭＴ情報を抽出するＴＳ逆多重化部と、前記ＰＭＴ情報から、前記プログラムにおける視点別ビデオデータを含む少なくとも１つのＥＳに係わる参照情報と、前記視点別ビデオデータを視点別に識別して再生するための三次元付加情報と、を抽出するＰＭＴ三次元付加情報抽出部と、前記ＰＥＳパケットを逆パケット化して抽出されたＥＳのうち、前記ＰＭＴ情報から抽出された前記ＥＳに係わる参照情報を利用し、前記少なくとも１つのＥＳを復元し、前記少なくとも１つのＥＳから、前記プログラムにおける視点別ビデオデータを抽出するＥＳ復元部と、前記抽出された視点別ビデオデータを復号化して復元し、前記三次元付加情報及び参照情報のうち少なくとも一つを利用し、三次元で再生する再生部と、を含む。
【００４８】
本発明は、一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム生成方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。
【００４９】
本発明は、一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム受信方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。
【００５０】
本発明の多様な実施形態については、前記添付された図面を参照しつつ説明する。以下、羅列された構成要素に先行する「少なくとも１つの」というような表現は、羅列された構成要素をいずれも限定するものであり、個々の構成要素を限定するというものではない。また、「部」と命名された構成要素は、ハードウェア構成要素でもって具現されたり、あるいはコンピュータまたはハードウェアプロセッサによって実行されるソフトウェア構成要素でもあってもよい。
【００５１】
以下、図１ないし図１６を参照しつつ、一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム生成装置及びこれを具現する方法、並びに一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム受信装置及びこれを具現する方法について説明する。
【００５２】
図１は、一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム生成装置のブロック図である。
【００５３】
一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム生成装置１００は、ＥＳ（elementary stream）生成部１１０、ＰＭＴ（elementary stream）生成部１２０、ＴＳ（transport stream）生成部１３０及びチャネル伝送部１４０を含む。
【００５４】
一実施形態によるＥＳ生成部１１０は、二次元ビデオまたは三次元ビデオの視点別ビデオデータを受信し、視点別ビデオデータを含む少なくとも１つのＥＳを生成する。受信された視点別ビデオデータ、関連オーディオデータ及び付加データは、１つのプログラムで構成され、一実施形態によるＥＳ生成部１１０は、二次元または三次元のマルチメディア・サービスに係わるプログラムを構成するための視点別ビデオデータ及びオーディオデータに係わるそれぞれのＥＳを生成することができる。
【００５５】
三次元マルチメディア・サービスのための視点別ビデオデータは、基本視点ビデオデータ及び少なくとも１つの付加ビデオデータを含んでもよい。付加ビデオデータは、付加視点ビデオデータそれ自体であるか、あるいは基本視点ビデオデータ及び付加視点ビデオデータが合成された三次元合成フォーマットのビデオデータ、基本視点ビデオデータまたは付加視点ビデオデータ間の深度（depth）情報、両眼視差（parallax）情報及び差（difference）情報などでもある。
【００５６】
一実施形態によるＥＳ生成部１１０は、複数個の視点別ビデオデータをそれぞれのＥＳに挿入することができる。１つのプログラムのビデオデータのためのＥＳは、基本ＥＳ及び少なくとも１つの付加ＥＳを含んでもよい。一実施形態による基本ＥＳには、基本視点ビデオデータが挿入されたり、あるいは基本視点ビデオデータ及び付加視点ビデオデータが合成された三次元合成フォーマットのビデオデータが挿入されてもよい。付加ＥＳには、付加ビデオデータが挿入されてもよい。
【００５７】
一実施形態によるＰＭＴ生成部１２０は、ＥＳ生成部１１０で生成されたＥＳと関連したプログラムに係わるＰＭＴ情報を生成する。ＰＭＴ情報は、プログラムを構成するビデオデータ、オーディオデータ、付加データなどのデータに係わる参照（reference）情報を含む。参照情報は、データが含まれたＴＳのＰＩＤ（packet identifier）情報及びストリームタイプ（stream type）情報のうち少なくとも１つの情報であってもよい。１つのプログラムに係わる視点別ビデオデータが挿入されたＥＳが複数個生成される場合、一実施形態によるＰＭＴ情報は、ＥＳ別ＰＩＤ情報及びストリームタイプ情報のうち少なくとも一つを収録することができる。
【００５８】
一実施形態によるＰＭＴ生成部１２０は、ＰＭＴ情報に、当該プログラムの三次元ビデオが２以上の視点別ビデオから構成される特性から起因する三次元付加情報及び参照情報のうち少なくとも一つを挿入する。一実施形態による三次元付加情報は、当該プログラムの視点別ビデオデータを視点別に識別して再生するのに利用される。一実施形態によれば、１つのプログラムに係わる視点別ビデオデータが挿入されたＥＳが複数個生成される場合、ＥＳ別に、三次元付加情報及び参照情報のうち少なくとも一つが設定される。
【００５９】
それぞれのＥＳについては、ＥＳのストリームタイプ情報が設定される。一実施形態によるＰＭＴ生成部１２０は、参照情報に、当該ビデオデータが挿入された基本ＥＳ及び付加ＥＳのストリームタイプ情報を含めることができる。例えば、一実施形態によるデータストリーム生成装置１００がＭＰＥＧ（moving picture experts group） ＴＳシステムに基づく場合、基本ＥＳのストリームタイプ情報及び付加ＥＳのストリームタイプ情報が、ＭＰＥＧシステムで定義されたストリームタイプ情報を利用して設定することができる。
【００６０】
一実施形態によるＰＭＴ生成部１２０は、ＰＭＴ情報のうち当該ＥＳに係わる叙述子（descriptor）情報に、三次元付加情報及び参照情報のうち少なくとも一つを挿入することができる。一実施形態によるＰＭＴ生成部１２０は、基本ＥＳ及び付加ＥＳに係わる三次元付加情報または参照情報をＰＭＴ情報に挿入する位置によって、多様な構造のＰＭＴ情報を生成することができる。
【００６１】
第１実施形態によるＰＭＴ情報において、基本ＥＳに係わる三次元付加情報は、付加ＥＳに係わる三次元付加情報及び参照情報のうち少なくとも一つを含む。
【００６２】
一実施形態によるＰＭＴ生成部１２０は、第１実施形態によるＰＭＴ情報のうち基本ＥＳに係わる三次元付加叙述子情報内に、付加ＥＳに係わる三次元付加情報及び参照情報のうち少なくとも一つを挿入することができる。すなわち、基本ＥＳに係わる三次元付加情報または参照情報が、付加ＥＳに係わる三次元付加情報または参照情報と階層関係をなす。
【００６３】
第２実施形態によるＰＭＴ情報は、少なくとも１つのＥＳに係わるそれぞれのＥＳ情報を順次に含む。一実施形態によるＰＭＴ生成部１２０は、第２実施形態によるＰＭＴ情報のうち、付加ＥＳに係わるＥＳ情報、または基本ＥＳに係わるＥＳ情報に、三次元付加叙述子情報を挿入することができる。すなわち、基本ＥＳに係わる三次元付加情報または参照情報が、付加ＥＳに係わる三次元付加情報または参照情報と、並列関係をなす。
【００６４】
例えば、三次元付加情報は、当該ＥＳに挿入されたビデオデータの視点識別情報、三次元合成フォーマット情報、視点優先順位情報、視点別ビデオデータのサイズ情報、コーデック情報など視点別ビデオデータについての情報などを含んでもよい。第１実施形態によるＰＭＴ情報、当該参照情報及び三次元付加情報は、図９Ａ及び図９Ｂ、並びに表５ないし表６を参照して後述する。第２実施形態によるＰＭＴ情報、当該参照情報及び三次元付加情報は、図１０Ａ及び図１０Ｂ、並びに表７ないし表２０を参照して後述する。
【００６５】
一実施形態によるＰＭＴ生成部１２０は、ＰＭＴ情報にＴＳに挿入されたビデオデータが、二次元または三次元のビデオデータであるかを示す二次元／三次元モード情報、二次元／三次元モード転換通知情報または二次元／三次元通知叙述子情報を挿入することができる。このような二次元／三次元モードまたは二次元／三次元モード転換についての三次元付加情報に係わる詳細な説明は、表３、４、２１及び２２、並びに図１１を参照して後述する。
【００６６】
一実施形態によるＰＭＴ生成部１２０は、基本視点ビデオデータ及び付加視点ビデオデータの大きさまたは縦横比（aspect ratio）が異なるように伝送される場合、三次元再生時、基本視点ビデオデータ及び付加視点ビデオデータが表示される領域を調節する方法に係わるクロップオフセット情報及び縦横比叙述子情報を、ＰＭＴ情報に挿入することができる。このようなクロップオフセットまたは縦横比に係わる三次元付加情報についての詳細な説明は、表２３、並びに図１２及び１３を参照して後述する。
【００６７】
一実施形態によるＴＳ生成部１３０は、ＥＳ生成部１１０から入力された少なくとも１つのＥＳを、ＥＳをパケット化してＰＥＳ（packetized elementary stream）パケットを生成する。一実施形態によるＴＳ生成部１３０は、ＰＥＳパケット、及びＰＭＴ生成部１２０から入力されたＰＭＴ情報を多重化してＴＳを生成する。
【００６８】
一実施形態によるチャネル伝送部１４０は、ＴＳ生成部１３０から入力されたＴＳをチャネルに同調化してチャネルを介して伝送する。ＥＳ生成部１１０、ＴＳ生成部１３０及びチャネル伝送部１４０の詳細な動作は、図５のシングルプログラム、ＰＥＳパケット及びＴＳ生成過程を介して詳細に後述する。
【００６９】
図２は、一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム受信装置のブロック図である。
【００７０】
一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム受信装置２００は、ＴＳ受信部２１０、ＴＳ逆多重化部２２０、ＰＭＴ付加情報抽出部２３０、ＥＳ復元部２４０及び再生部２５０を含む。
【００７１】
一実施形態によるＴＳ受信部２１０は、所定チャネルを介して、二次元または三次元のマルチメディア・サービスに係わるプログラムに係わるＴＳを受信する。一実施形態によるＴＳ逆多重化部２２０は、ＴＳ受信部２１０によって受信されたＴＳを逆多重化し、プログラムに係わるＰＥＳパケット及びプログラムに係わるＰＭＴ情報を抽出する。一実施形態によるＰＭＴ付加情報抽出部２３０は、ＴＳ逆多重化部２２０によって抽出されたＰＭＴ情報から、プログラムにおける視点別ビデオデータを含む少なくとも１つのＥＳまたはＴＳに係わる参照情報を抽出する。
【００７２】
一実施形態によるＥＳ復元部２４０は、ＴＳ逆多重化部２２０によって抽出されたＰＥＳパケットを逆パケット化してＥＳを復元する。このとき、ＰＭＴ情報から抽出されたＥＳに係わる参照情報を利用し、同じ種類のデータが挿入されたＥＳがそれぞれ復元される。一実施形態によるＥＳ復元部２４０は、ＥＳからプログラムの視点別ビデオデータを抽出する。類似の方式で、一実施形態によるＥＳ復元部２４０は、オーディオＥＳを復元してオーディオデータを抽出することができる。
【００７３】
一実施形態によるＰＭＴ付加情報抽出部２３０は、ＴＳ逆多重化部２２０によって抽出されたＰＭＴ情報から、二次元ビデオ及び三次元ビデオの視点別ビデオデータに係わる三次元付加情報及び参照情報のうち少なくとも一つを抽出する。
【００７４】
１つのプログラムに係わる視点別ビデオデータが挿入されたＥＳが複数個存在する場合、一実施形態によるＰＭＴ付加情報抽出部２３０は、ＥＳ別に、三次元付加情報及び参照情報のうち少なくとも一つを抽出することもできる。
【００７５】
一実施形態によるＰＭＴ付加情報抽出部２３０は、参照情報から、当該ＥＳに係わるストリームタイプ情報を抽出することができる。例えば、一実施形態によるデータストリーム受信装置１００がＭＰＥＧ ＴＳシステムに基づく場合、基本ＥＳのストリームタイプ情報及び付加ＥＳのストリームタイプ情報は、ＭＰＥＧシステムで定義されたストリームタイプ情報を利用して設定されている。
【００７６】
一実施形態によるＰＭＴ付加情報抽出部２３０は、ＰＭＴ情報のうち当該ＥＳに係わる叙述子情報から、三次元付加情報及び参照情報のうち少なくとも一つを抽出することができる。一実施形態によるＰＭＴ付加情報抽出部２３０は、ＰＭＴ情報に挿入する位置によって、多様な構造のＰＭＴ情報から、基本ＥＳ及び付加ＥＳに係わる三次元付加情報及び参照情報のうち少なくとも一つを抽出することができる。例えば、基本ＥＳに係わる三次元付加情報の下位階層に付加ＥＳに係わる三次元付加情報及び参照情報が含まれた第１実施形態によるＰＭＴ情報と、少なくとも１つのＥＳに係わるそれぞれのＥＳに係わる三次元付加情報及び参照情報がＥＳ別に順次に含まれた第２実施形態によるＰＭＴ情報と、がある。
【００７７】
一実施形態によるＰＭＴ付加情報抽出部２３０は、第１実施形態によるＰＭＴ情報のうち、基本ＥＳに係わる三次元付加叙述子情報から、付加ＥＳに係わる三次元付加情報及び参照情報のうち少なくとも一つを抽出することができる。
【００７８】
一実施形態によるＰＭＴ生成部１２０は、第２実施形態によるＰＭＴ情報のうち、付加ＥＳに係わるＥＳ情報または基本ＥＳに係わるＥＳ情報から、三次元付加叙述子情報を抽出することができる。
【００７９】
例えば、一実施形態によるＰＭＴ生成部１２０は、三次元付加情報から、当該ＥＳに挿入されたビデオデータの視点識別情報、三次元合成フォーマット情報、視点優先順位情報、視点別ビデオデータのサイズ情報、コーデック情報など視点別ビデオデータについての情報などを抽出することができる。一実施形態によるＰＭＴ生成部１２０は、ＰＭＴ情報から、ＴＳに二次元ビデオデータまたは三次元ビデオデータが含まれているか否かを示す二次元／三次元モード情報、二次元／三次元モード転換通知情報または三次元通知叙述子情報を抽出することができる。
【００８０】
一実施形態によるＰＭＴ生成部１２０は、三次元再生時、基本視点ビデオデータ及び付加視点ビデオデータが表示される領域を調節する方法に係わるクロップオフセット（cropping offset）情報及び縦横比叙述子情報を、ＰＭＴ情報から抽出することができる。基本視点ビデオデータ及び付加視点ビデオデータの大きさまたは縦横比が異なって伝送される場合、基本視点ビデオデータ及び付加視点ビデオデータを利用した三次元再生時、それぞれの視点別ビデオデータの大きさを同一に調整するために、クロップオフセット情報または縦横比叙述子情報が利用される。
【００８１】
一実施形態による再生部２５０は、ＥＳ復元部２４０によって抽出された視点別ビデオデータを復号化して復元し、ＰＭＴ付加情報抽出部２３０によって抽出された三次元付加情報及び参照情報のうち少なくとも一つを利用し、復元された三次元ビデオ映像を三次元で再生する。
【００８２】
一実施形態による再生部２５０は、基本ＥＳ及び付加ＥＳから抽出された視点別ビデオデータを、再生部２５０が再生できる三次元再生フォーマットに変換して再生することができる。例えば、再生部２５０が基本ＥＳから基本視点ビデオデータを抽出し、付加ＥＳから付加視点ビデオデータを抽出することができる。再生部２５０は、抽出された基本視点ビデオデータ及び付加視点ビデオデータを、三次元再生フォーマットに変換して再生することができる。
【００８３】
または、再生部２５０が基本ＥＳから基本視点ビデオデータを抽出し、付加ＥＳから、付加視点ビデオデータ、深度情報、両眼視差情報及び差情報のうち一つまたは組み合わせを抽出することができる。または、再生部２５０が基本ＥＳから三次元合成フォーマットのビデオデータを抽出し、付加ＥＳから、深度情報、両眼視差情報及び差情報のうち少なくとも一つを抽出することができる。この場合、再生部２５０は、抽出されたビデオデータから、基本視点ビデオデータ及び付加視点ビデオデータを復元し、三次元再生フォーマットに変換して再生することができる。
【００８４】
一実施形態によるデータストリーム生成装置１００によって生成されたＰＭＴ情報は、三次元ビデオデータを含む複数個のＥＳ別に、ＥＳ情報、並びに三次元付加情報及び参照情報のうち少なくとも一つを含んでもよいので、三次元ビデオデータストリームと共に、三次元付加情報及び参照情報のうち少なくとも一つが送受信されるので、受信端で、三次元ビデオが正確に再生される。受信端は、セットトップボックス、ディスプレイ機器、及びマルチメディアプロセッサが装着されたコンピュータなどを含む。
【００８５】
既存ＭＰＥＧ ＴＳシステムでは、二次元ビデオに係わるＴＳを仮定し、１つのＰＭＴ情報で、１つのビデオに係わる叙述子情報だけ設定される。
【００８６】
一実施形態によるデータストリーム生成装置１００は、既存ＭＰＥＧ ＴＳシステムのＰＭＴ情報のうちビデオ叙述子情報に、三次元付加情報及び参照情報（または、三次元叙述子情報）を含めることによって、一実施形態によるデータストリーム受信装置２００が搭載された受信端は、三次元付加情報及び参照情報（または、三次元叙述子情報）を認識して抽出し、三次元ビデオ再生時に利用することができ、既存ＭＰＥＧ ＴＳシステムによる受信システムは、三次元付加情報及び参照情報（または、三次元叙述子情報）を認識することができないので、既存叙述子情報だけを判読して利用する。
【００８７】
従って、一実施形態によるデータストリーム生成装置１００が、三次元付加情報及び参照情報（または、三次元叙述子情報）を含むＰＭＴ情報が収録されたデータストリームを伝送し、このデータストリームを受信システムが受信する場合、既存ＭＰＥＧ ＴＳシステムによる受信システムは、三次元付加情報及び参照情報（または、三次元叙述子情報）と関係なく、二次元マルチメディア・サービスを提供することができるので、既存ＭＰＥＧ ＴＳシステムとの互換性が維持され、一実施形態によるデータストリーム受信装置２００が搭載された受信システムは、三次元マルチメディア・サービスを提供することができる。
【００８８】
また、一実施形態によるデータストリーム生成装置１００及び一実施形態によるデータストリーム受信装置２００が、既存ＭＰＥＧ ＴＳシステムで定義されたストリームタイプ情報を利用し、それぞれのＥＳのストリームタイプ情報が設定されるので、既存ＭＰＥＧ ＴＳシステムのデータストリーム構造と比べて、ストリームタイプが追加して新設される必要がない。
【００８９】
図３は、ＭＰＥＧ ＴＳシステム基盤のデジタル放送伝送装置の概要図である。デジタル放送伝送装置３００は、シングルプログラム符号化器（single program encoder）３１０を介して、１つのビデオＴＳ及びオーディオＴＳを含むシングルプログラム（ＳＰ）ＴＳを生成し、複数個のシングルプログラム符号化器を介して生成した一つ以上のシングルプログラムＴＳを、多重化器（multiplexer（ＭＵＸ））３８０を介して、マルチプログラムＴＳ（ＭＰ ＴＳ）を生成して伝送する。デジタル放送伝送装置３００は、ＭＭＳ（multi mode service）方式のＭＰＥＧ ＴＳシステムに基づくので、複数個のプログラムを伝送するために、シングルプログラムＴＳが多重化されたマルチプログラムＴＳを伝送することができる。
【００９０】
シングルプログラム符号化器３１０は、ビデオ符号化器（video encoder）３２０、オーディオ符号化器（audio encoder）３３０、パケット化器（packetizer）３４０，３５０及び多重化器（ＭＵＸ）３６０を含む。
【００９１】
ビデオ符号化器３２０及びオーディオ符号化器３３０は、それぞれ無圧縮のビデオデータ及びオーディオデータを符号化し、ビデオＥＳ（video ＥＳ）及びオーディオＥＳ（audio ＥＳ）を生成して出力する。シングルプログラム符号化器３１０のパケット化器３４０，３５０は、それぞれビデオＥＳ及びオーディオＥＳをパケット化してＰＥＳヘッダを挿入し、ビデオＰＥＳパケット（video ＰＥＳ）及びオーディオＰＥＳパケット（audio ＰＥＳ）を生成する。
【００９２】
多重化器（ＭＵＸ）３６０を介して、ビデオＰＥＳパケット及びオーディオＰＥＳパケットと各種付加データとが多重化され、第１シングルプログラムＴＳ（ＳＰＴＳ１）が構成される。ＰＭＴ情報は、ビデオＰＥＳパケット及びオーディオＰＥＳパケットと共に多重化され、第１シングルプログラムＴＳに含まれてもよい。ＰＭＴ情報は、それぞれのシングルプログラムＴＳに含まれ、それぞれのＴＳのＰＩＤ情報を記述する。
【００９３】
多重化器（ＭＵＸ）３８０を介して、複数個のシングルプログラムＴＳ（ＳＰ ＴＳ１，ＳＰ ＴＳ２，…）がＰＡＴ情報と共に多重化され、１つのマルチプログラムＴＳ（ＭＰ ＴＳ）が構成される。
【００９４】
ＰＭＴ情報及びＰＡＴ情報は、ＰＳＩ及びＰＳＩＰ生成器（program specification information（ＰＳＩ） and program and system information protocol（ＰＳＩＰ） generator）３７０によって生成される。
【００９５】
マルチプログラムＴＳに、ＰＡＴ情報及びＰＳＩＰを挿入することができる。ＰＡＴ情報は、当該マルチプログラムＴＳに含まれたシングルプログラムＴＳに係わるＰＭＴ情報のＰＩＤ情報を記述する。
【００９６】
図４は、ＭＰＥＧ ＴＳシステム基盤のデジタル放送受信装置の概要図である。
【００９７】
デジタル放送受信装置４００は、デジタルデータストリームを入力され、ビデオデータ、オーディオデータ及び付加データを抽出する。
【００９８】
デジタルＴＶチュナ（ＤＴＶ tuner）４１０は、視聴者によるチャネル選択（physical channel select）信号に基づいて選択されたチャネルの電波周波数に同調し、当該電波を介して受信された信号だけを選択的に抽出する。
【００９９】
チャネル復号化及び復調器（channel decoder and demodulator）４２０は、チャネル信号からマルチプログラムＴＳ（ＭＰ ＴＳ）を抽出する。デジタル放送受信装置４００は、ＭＭＳ方式のＭＰＥＧ ＴＳシステムに基づくので、マルチプログラムＴＳを受信し、シングルプログラムＴＳに逆多重化することができる。マルチプログラムＴＳは、逆多重化器（demultiplexer（ＤＥＭＵＸ）４３０を介して、複数個のシングルプログラムＴＳ（ＳＰ ＴＳ１，ＳＰ ＴＳ２，…）及びＰＳＩＰに分離される。
【０１００】
視聴者によるプログラム選択（program select）信号を介して選択された第１シングルプログラムＴＳ（ＳＰ ＴＳ１）は、シングルプログラム復号化器（single program decoder）４４０を介して復号化される。シングルプログラム復号化器４４０は、シングルプログラム符号化器３１０の逆順で構成される。第１シングルプログラムＴＳから、それぞれビデオＰＥＳパケット、オーディオＰＥＳパケット及び付加データ（data）が復元される。ビデオＰＥＳパケット、オーディオＰＥＳパケットは、それぞれ逆パケット化器（depacketizer）４６０，４６５を介して、ＥＳ形態に復元された後、それぞれビデオ復号化器（video decoder）４７０とオーディオ復号化器（audio decoder）４７５とを介して、ビデオデータ及びオーディオデータに復元される。ビデオデータは、ディスプレイ処理部（display processing）４８０を介して、ディスプレイ可能な形態に変換される。
【０１０１】
クロック復元及びＡＶ同期化装置（clock recovery and ＡＶ synchronization）４９０は、第１シングルプログラムＴＳから抽出されたＰＣＲ（program clock reference）情報及びタイムスタンプ（time stamp）情報を利用し、ビデオデータ及びオーディオデータの再生時間を同期化させることができる。
【０１０２】
ユーザから入力されたプログラム選択信号に基づいて、マルチプログラムＴＳ（ＭＰ ＴＳ）から抽出されたＰＳＩＰと、プログラムガイド・データベース（program guide database、４４５）とを比較し、プログラムガイド・データベース４４５からユーザのプログラム選択信号に対応するチャネル及びプログラムが検索される。検索されたチャネル信号及びプログラム入力信号は、それぞれデジタルＴＶチュナ４１０及び逆多重化器４３０に出力されてもよい。また、プログラムガイド・データベース４４５からオンスクリーン・ディスプレイ（on-screen display）情報が、ディスプレイ処理部４８０に伝送されてオンスクリーン・ディスプレイ機能が支援される。
【０１０３】
前述の図１を参考にし、一実施形態によるデータストリーム生成装置１００が、互いに関連した三次元ビデオの視点別ビデオデータ、オーディオデータ及び付加データを含む１つのプログラムに係わるＴＳ、すなわち、シングルプログラムＴＳを生成する場合を例に挙げて説明したが、一実施形態によるデータストリーム生成装置１００の機能は、１つのビデオに限定されるものではない。すなわち、一実施形態によるデータストリーム生成装置１００に、複数個のビデオデータ、オーディオデータ及び付加データが入力されるならば、複数個のビデオが含まれたシングルプログラムＴＳを生成することができる。
【０１０４】
図５は、一実施形態によるデータストリーム生成装置１００によって、複数個のビデオＥＳを伝送するためのＭＰＥＧ ＴＳ伝送装置の概要図である。
【０１０５】
ＭＰＥＧ ＴＳ伝送装置５００は、１つのプログラム内に複数個のビデオが含まれたＭＰＥＧ ＴＳを支援するために、一実施形態によるデータストリーム生成装置１００を拡張した実施形態に該当する。すなわち、ＭＰＥＧ ＴＳ伝送装置５００のシングルプログラム符号化器５１０、多重化器（ＭＵＸ）５８０の動作は、一実施形態によるデータストリーム生成装置１００のＥＳ生成部１１０及びＴＳ生成部１３０の動作に対応し、ＭＰＥＧ ＴＳ伝送装置５００のＰＳＩ及びＰＳＩＰ生成器５７０の動作は、一実施形態によるデータストリーム生成装置１００のＰＭＴ生成部１２０の動作に対応し、ＭＰＥＧ ＴＳ伝送装置５００のチャネル符号化及び変調化器５９０及びＤＴＶ伝送器５９５の動作は、第３実施形態によるデータストリーム生成装置１００のチャネル伝送部１４０の動作に対応する。
【０１０６】
シングルプログラム符号化器５１０は、三次元ビデオを構成する第１ビデオ（video １）、第２ビデオ（video ２）及び第３ビデオ（video ３）を入力され、それぞれのビデオ符号化器（video encoder）５２０，５３０，５４０を介して、第１ビデオＥＳ（video ＥＳ１）、第２ビデオＥＳ（video ＥＳ２）及び第３ビデオＥＳ（video ＥＳ３）を生成する。第１ビデオ、第２ビデオ及び第３ビデオは、それぞれ三次元ビデオを構成する第１視点ビデオ、第２視点ビデオ及び第３視点ビデオであって、または第１視点ビデオ、第２視点ビデオ及び第３視点ビデオに係わるデータの組み合わせでもある。
【０１０７】
一実施形態によるビデオ符号化器５２０，５３０は、それぞれ独立したビデオ符号化方式によってもよい。例えば、第１ビデオ及び第２ビデオは、ＭＰＥＧ−２ビデオ符号化方式によって符号化され、第３ビデオは、ＭＰＥＧ ＡＶＣ（advanced video coding）／Ｈ．２６４ビデオ符号化方式によって符号化されもする。
【０１０８】
第１ビデオＥＳ（video ＥＳ１）、第２ビデオＥＳ（video ＥＳ２）及び第３ビデオＥＳ（video ＥＳ３）は、それぞれのパケット化器（packetizer）５２５，５３５，５４５を介して、第１ビデオＰＥＳ（video ＰＥＳ１）、第２ビデオＰＥＳパケット（video ＰＥＳ２）及び第３ビデオＰＥＳパケット（video ＰＥＳ３）にパケット化される。
【０１０９】
シングルプログラム符号化器５１０は、オーディオ（audio）を入力され、オーディオ符号化器（audio encoder）５５０を介して、オーディオＥＳ（audio ＥＳ）に変換され、オーディオＥＳ（audio ＥＳ）は、パケット化器５５５を介して、オーディオＰＥＳパケット（audio ＰＥＳ）に変換される。
【０１１０】
シングルプログラム符号化器５１０の多重化器５６０は、第１ビデオＰＥＳパケット、第２ビデオＰＥＳパケット及び第３ビデオＰＥＳパケットとオーディオＰＥＳパケットとを共に多重化し、１つのシングルプログラムＴＳ（ＳＰ ＴＳ１）を出力することができる。シングルプログラム符号化器５１０が入力された各種付加データ（data）と、ＰＳＩ及びＰＳＩＰ生成器（ＰＳＩ and ＰＳＩＰgenerator）５７０によって生成されたＰＭＴ情報も、多重化器５６０によって第１ビデオＰＥＳパケット、第２ビデオＰＥＳパケット及び第３ビデオＰＥＳパケット及びオーディオＰＥＳパケットと共に、第１シングルプログラムＴＳ（ＳＰ ＴＳ１）に挿入されて出力されてもよい。
【０１１１】
他の三次元ビデオデータが、第２シングルプログラムＴＳ（ＳＰ ＴＳ２）に多重化されて変換される。ＰＳＩ及びＰＳＩＰ生成器（ＰＳＩ and ＰＳＩＰgenerator）５７０は、第１シングルプログラムＴＳ（ＳＰ ＴＳ１）及び第２シングルプログラムＴＳ（ＳＰ ＴＳ２）に含まれたＰＭＴ情報のＰＩＤ情報を収録するＰＡＴ情報、並びに各種プログラム及びシステム情報に係わるＰＳＩＰを生成することができる。多重化器５８０は、第１シングルプログラムＴＳ（ＳＰ ＴＳ１）及び第２シングルプログラムＴＳ（ＳＰ ＴＳ２）、並びにＰＡＴ情報を多重化し、１つのマルチプログラムＴＳ（ＭＰ ＴＳ）を出力することができる。
【０１１２】
マルチプログラムＴＳ（ＭＰ ＴＳ）は、チャネル符号化及び変調化器５９０によって、チャネルに合うように符号化及び同調化される。ＤＴＶ伝送器５９５は、チャネルに割り当てられたＴＳを送信することができる。
【０１１３】
シングルプログラム符号化器５１０は、ＴＳをそれぞれ独立したデジタルデータ通信方式によって生成することもできる。プログラム別に、ＴＳがいずれも同じデジタルデータ通信方式によって生成されて伝送することができるが、それぞれ異なるデジタルデータ通信方式によって生成されて伝送されもする。例えば、ＡＴＳＣ（Advanced Television Systems Committee）地上波放送通信方式では、Ｅ−ＶＳＢ（enhanced ＶＳＢ（vestigial side band）方式を支援し、Ｅ−ＶＳＢ方式は、ＭＰＥＧ方式とは異なる方式で伝送ストリームを構成することができる。しかし、プログラムに係わるＰＭＴ情報が生成されてＴＳに挿入されて伝送されることは、ＭＰＥＧ方式と同一である。従って、第１シングルプログラムＴＳは、ＭＰＥＧ ＴＳの形態、第２シングルプログラムＴＳは、Ｅ−ＶＳＢ伝送ストリームの形態で伝送され、第１シングルプログラムＴＳ及び第２シングルプログラムＴＳには、それぞれプログラムを構成する視点別ビデオデータに係わる三次元付加情報を含むＰＭＴ情報が挿入されてもよい。
【０１１４】
前述の図２を参考にし、一実施形態によるデータストリーム受信装置２００が１つのプログラムに係わるＴＳ、すなわち、シングルプログラムＴＳを受信する場合を例に挙げて説明したが、一実施形態によるデータストリーム受信装置２００の機能は、１つのプログラムに限定されるものではない。すなわち、一実施形態によるデータストリーム受信装置２００に、複数個のプログラムに係わるプログラム別ＴＳを受信し、複数個のＴＳからプログラム別ＰＭＴ情報を抽出し、複数個のプログラムのビデオデータ、オーディオデータ及び付加データを抽出することができる。
【０１１５】
以下、図６を参照し、一実施形態によるデータストリーム受信装置２００の１個のプログラムが、複数個のビデオを含むＭＰＥＧ ＴＳを支援する場合について説明する。
【０１１６】
図６は、一実施形態によるデータストリーム受信装置２００によって、複数個のビデオＥＳを受信するためのＭＰＥＧ ＴＳ受信装置の概要図である。
【０１１７】
ＭＰＥＧ ＴＳ受信装置６００は、１個のプログラムが複数個のビデオを含むＭＰＥＧ ＴＳを支援するために一実施形態によるデータストリーム受信装置２００を拡張した実施形態に該当する。すなわち、ＭＰＥＧ ＴＳ受信装置６００のチャネル復号化及び復調器６１５、逆多重化器６２０及びシングルプログラム復号化器６３０の動作は、一実施形態によるデータストリーム受信装置１００のＴＳ受信部２１０、ＴＳ逆多重化部２２０、ＰＭＴ付加情報抽出部２３０及びＥＳ復元部２４０の動作に対応する。
【０１１８】
デジタルＴＶチュナ６１０は、視聴者による選択されたチャネルの電波を介して受信された信号だけを選択的に抽出する。チャネル復号化及び復調器６１５は、チャネル信号からマルチプログラムＴＳを抽出する。マルチプログラムＴＳは、逆多重化器６３０を介して複数個のシングルプログラムＴＳ（ＳＰ ＴＳ１，ＳＰ ＴＳ２，…）及びＰＳＩＰに分離される。
【０１１９】
視聴者によって選択された第１シングルプログラムＴＳ（ＳＰ ＴＳ１）は、シングルプログラム復号化器６３０を介して復号化される。第１シングルプログラムＴＳが逆多重化され、それぞれ第１ビデオＰＥＳパケット（video ＰＥＳ１）、第２ビデオＰＥＳパケット（video ＰＥＳ２）、第３ビデオＰＥＳパケット（video ＰＥＳ３）、オーディオＰＥＳパケット（audio ＰＥＳ）及び付加データ（data）が復元される。第１ビデオＰＥＳパケット、第２ビデオＰＥＳパケット及び第３ビデオＰＥＳパケットは、それぞれ逆パケット化器６５０，６６０，６７０を介して、第１ビデオＥＳ（video ＥＳ１）、第２ビデオＥＳ（video ＥＳ２）及び第３ビデオＥＳ（video ＥＳ３）に復元された後、それぞれビデオ復号化器（video decoder）６５３，６６３，６７３を介して、第１ビデオ、第２ビデオ及び第３ビデオに復元される。第１ビデオ、第２ビデオ及び第３ビデオは、それぞれディスプレイ処理部６５５，６６５，６７５を介して、ディスプレイ可能な形態に変換される。
【０１２０】
オーディオＰＥＳパケット（audio ＰＥＳ）も、逆パケット化器６８０とオーディオ復号化器６８３とを介してオーディオデータに復元される。
【０１２１】
クロック復元及びＡＶ同期化装置６９０は、第１シングルプログラムＴＳから抽出されたＰＣＲ情報及びタイムスタンプ情報を利用し、ビデオデータ及びオーディオデータの再生時間を同期化させることができる。
【０１２２】
ユーザから入力されたプログラム選択信号に基づいて、プログラムガイド・データベース６３５からユーザのプログラム選択信号に対応するチャネル及びプログラムに係わる信号が、デジタルＴＶチュナ６１０及び逆多重化器６３０に伝送される。また、オンスクリーン・ディスプレイ（on-screen display）情報がプログラムガイド・データベース６３５からディスプレイ処理部６５５，６６５，６７５に伝送される。
【０１２３】
従って、ＭＰＥＧ ＴＳ受信装置６００は、１つのチャネルを介して伝送され、三次元ビデオの第１ビデオ、第２ビデオ及び第３ビデオ、並びにオーディオに係わる１つのマルチプログラムＴＳを抽出し、１つのマルチプログラムＴＳを逆多重化し、所望するシングルプログラムＴＳを選択的に抽出することができる。また、ＭＰＥＧ ＴＳ受信装置６００は、抽出されたシングルプログラムＴＳから、三次元ビデオの第１ビデオ及び第２ビデオ及び第３ビデオに係わるビデオＥＳを選択的に抽出し、所望するビデオデータを復元することができる。
【０１２４】
このとき、ＭＰＥＧ ＴＳ受信装置６００は、第１シングルプログラムＴＳからＰＭＴ情報を抽出し、ＰＭＴ情報から、第１シングルプログラムの三次元ビデオに係わる三次元付加情報または三次元叙述子情報を抽出することができる。三次元付加情報または三次元叙述子情報を利用し、三次元ビデオを構成する視点別ビデオデータを正確に識別することによって、三次元ビデオが正確に再生される。
【０１２５】
一実施形態によるデータストリーム生成装置１００によって生成され、一実施形態によるデータストリーム受信装置２００によって受信されるＴＳのペイロードに挿入される三次元ビデオデータは、三次元ビデオを構成する視点に係わる視点別ビデオデータを含まねばならない。以下、説明の便宜のために、三次元ビデオにおいて、左視点ビデオ及び右視点ビデオから構成されるステレオ映像を利用する。しかし、本発明の多様な実施形態は、左視点ビデオ及び右視点ビデオの２視点ビデオから構成されるステレオ映像だけに限定されるものではなく、３以上の視点ビデオから構成された三次元ビデオにも適用される。
【０１２６】
三次元ビデオデータとしては、１つの映像に三次元ビデオを構成する左視点映像データ及び右視点映像データがいずれも挿入された三次元合成フォーマットと、２以上の映像に左視点映像データ、右視点映像データ、深度情報、両眼視差情報または差情報のうち３以上の組み合わせが挿入される三次元ハイブリッドフォーマットとがある。以下、図７及び図８を参考にして、三次元合成フォーマット及び三次元ハイブリッドフォーマットについて説明する。
【０１２７】
図７は、一実施形態による三次元合成フォーマットを図示している。
【０１２８】
三次元合成フォーマット（３Ｄ＿composite＿format）としては、サイドバイサイド・フォーマット（side-by-side format）、トップアンドボトム・フォーマット（top-and-bottom format）、垂直ラインインターリーブド・フォーマット（vertical line interleaved format）、水平ラインインターリーブド・フォーマット（horizontal line interleaved format）、フィールドシーケンシャルフォーマット（field sequential format）及びフレームシーケンシャル・フォーマット（frame sequential format）がある。、
サイドバイサイド・フォーマットは、三次元合成フォーマット映像の左側領域及び右側領域に相応する左視点映像及び右視点映像が並んで配列された映像フォーマットである。トップアンドボトム・フォーマットは、三次元合成フォーマット映像の上領域及び下領域に相応する左視点映像及び右視点映像が並んで配列された映像フォーマットである。
【０１２９】
垂直ラインインターリーブド・フォーマットは、三次元合成フォーマット映像の奇数番目の垂直ライン及び偶数番目の垂直ラインに相応する左視点映像及び右視点映像が並んで配列された映像フォーマットである。水平ラインインターリーブド・フォーマットは、三次元合成フォーマット映像の奇数番目の水平ライン及び偶数番目の水平ラインに相応する左視点映像及び右視点映像が並んで配列された映像フォーマットである。
【０１３０】
フィールド／フレームシーケンシャル・フォーマット（field/frame sequential format）は、三次元合成フォーマット映像の奇数番目のフレーム／情報、及び偶数番目のフレーム／情報に相応する左視点映像及び右視点映像が並んで配列された映像フォーマットである。
【０１３１】
サイドバイサイド・フォーマット、トップアンドボトム・フォーマット、垂直ラインインターリーブド・フォーマット、水平ラインインターリーブド・フォーマットの三次元映像は、原本映像の解像度の半分（half）である左視点映像及び右視点映像を有する。
【０１３２】
三次元ビデオデータが三次元合成フォーマットの形態で、付加ＥＳなしに１つのＥＳにのみ挿入された場合、一実施形態による三次元付加情報は、現在三次元ビデオデータの映像フォーマットの種類を示す三次元合成フォーマット情報（１ＥＳ＿format）を含んでもよい。すなわち、現在ＥＳに挿入された三次元ビデオデータの三次元合成フォーマットが、サイドバイサイド・フォーマット、トップアンドボトム・フォーマット、垂直ラインインターリーブド・フォーマット、水平ラインインターリーブド・フォーマット、フィールドシーケンシャル・フォーマット及びフレームシーケンシャル・フォーマットのうちいずれか一つであるかということによって、三次元合成フォーマット情報（１ＥＳ＿format）値が、図７で図示されたように、３ビットで割り当てられる。
【０１３３】
図８は、一実施形態によって、三次元ビデオを構成する複数個の視点別ビデオデータに係わるＥＳの各種組み合わせを図示している。
【０１３４】
２以上のＥＳに、三次元ビデオデータが挿入される場合、それぞれのＥＳに、左視点映像データ、右視点映像データ、深度（depth）情報、両眼視差（parallex）情報または差情報が挿入される三次元ハイブリッドフォーマットのビデオデータが挿入されてもよい。
【０１３５】
三次元ハイブリッドフォーマットの種類としては、２つのＥＳのうち、第１ＥＳに左視点ビデオデータが挿入され、第２ＥＳに付加ビデオデータが挿入されるフォーマットがある。第１ハイブリッドフォーマット、第２ハイブリッドフォーマット及び第３ハイブリッドフォーマットで、第２ＥＳに挿入される付加ビデオデータは、それぞれ深度情報、両眼視差情報及び右視点ビデオデータであってもよい。
【０１３６】
三次元ハイブリッドフォーマットの種類としては、２以上のＥＳのうち、第１ＥＳに左視点ビデオデータが挿入され、第２ＥＳまたは第３ＥＳに、右視点ビデオデータと共に、深度情報及び両眼視差情報のうちいずれか一つが挿入されるフォーマットがある。第４ハイブリッドフォーマットの第２ＥＳに、右視点ビデオデータ、第３ＥＳに、深度情報が挿入される。第５ハイブリッドフォーマットの第２ＥＳに、深度情報、第３ＥＳに、右視点ビデオデータが挿入される。第６ハイブリッドフォーマットの第２ＥＳに、右視点ビデオデータ及び深度情報が１つの映像に合成された付加ビデオデータが挿入される。第７ハイブリッドフォーマットの第２ＥＳに、右視点ビデオデータ、第３ＥＳに、両眼視差情報が挿入される。第８ハイブリッドフォーマットの第２ＥＳに、両眼視差情報、第３ＥＳに、右視点ビデオデータが挿入される。第９ハイブリッドフォーマットの第２ＥＳに、右視点ビデオデータ及び両眼視差情報が１つの映像に合成された付加ビデオデータが挿入される。
【０１３７】
図８に図示された三次元ハイブリッドフォーマットは例示であり、三次元ハイブリッドフォーマットの組み合わせ及び順序は、これに限定されるものではない。
【０１３８】
三次元ビデオデータが２以上のＥＳに挿入された場合、一実施形態による三次元付加情報は、現在三次元ビデオデータの映像フォーマットの種類を示す三次元ハイブリッドフォーマット情報（Multi＿ＥＳ＿format）を含んでもよい。すなわち、現在ＥＳに挿入された三次元ビデオデータの三次元ハイブリッドフォーマットが、第１ハイブリッドフォーマットないし第９ハイブリッドフォーマットのうちいずれか一つであるかということによって、三次元ハイブリッドフォーマット情報（Multi＿ＥＳ＿format）値が図８で図示されたように、４ビットで割り当てられる。
【０１３９】
以下の表１は、ＭＰＥＧ ＴＳシステムのＰＭＴ情報のシンタックスを（syntax）示している。一実施形態によるデータストリーム生成装置１００及び一実施形態によるデータストリーム受信装置２００は、ＴＳ及びＰＭＴ情報を利用するが、ＴＳ構造は、ＭＰＥＧ ＴＳシステム以外に、他のデジタル通信方式でも採択している。従って、一実施形態によるデータストリーム生成装置１００及び一実施形態によるデータストリーム受信装置２００がＴＳに挿入されるＰＭＴ情報も、表１に限定されるものではない。
【０１４０】
【表１】
一実施形態によれば、ＰＭＴ情報シンタックスのうち、予約情報（「reserved」）に、表３の二次元／三次元モード情報（「２Ｄ／３Ｄ＿mode」）及び表４の二次元／三次元モード転換通知情報（「notice＿indicator」）が挿入されてもよい。
【０１４１】
一実施形態によれば、ＰＭＴ情報シンタックスのうち、最初のfor文は、現在ＰＭＴ情報が記述するプログラムに係わる各種特性を示す情報が収録されるプログラムループ（loop）であり、プログラムループの叙述子領域（「descriptor（）」）に、表２１の三次元モード叙述子情報（「３Ｄ＿mode＿descriptor（）」）が挿入されてもよい。
【０１４２】
一実施形態によれば、ＰＭＴ情報シンタックスのうち２番目のfor文は、現在ＰＭＴ情報が記述するＥＳに係わる各種特性を示す情報が収録されるＥＳループであり、ＥＳループの叙述子領域（「descriptor（）」）に、表５の三次元ストリーム叙述子情報（「３Ｄ＿stream＿Descriptor（）」）、表２１の三次元モード叙述子情報（「３Ｄ＿mode＿descriptor（）」）及び表２２の二次元／三次元モード転換通知叙述子情報（「３Ｄ＿notice＿descriptor（）」）が挿入されてもよい。
【０１４３】
ストリームタイプ情報（「stream＿type」）は、当該ＥＳのストリームタイプを示す。表２は、ＭＰＥＧ ＴＳシステムのＩＳＯ／ＩＥＣ １３８１８−１規格で定義されたストリームタイプと、それぞれのストリームタイプとに割り当てられた値（Value）を表示している。
【０１４４】
【表２】
それぞれのＥＳにおいて、ストリームタイプ情報は、当該ＥＳのタイプによって、表２のストリームタイプのうち一つに設定される。ただし、表２のストリームタイプは、一実施形態によるデータストリーム生成装置１００及び一実施形態によるデータストリーム受信装置２００が採択することができるＥＳのタイプ種類を例示するものであり、採択可能なストリームタイプの種類が、表２のストリームタイプに必ずしも限定されるものではない。
【０１４５】
以下、図９Ａ及び図９Ｂ、図１０Ａ及び図１０Ｂを参照し、ＰＭＴ情報に三次元付加情報が挿入される位置によって分類される第１実施形態によるＰＭＴ情報及び第２実施形態のＰＭＴ情報の構造が、表１のＰＭＴ情報シンタックスと比較して詳細に記述してある。
【０１４６】
図９Ａは、一実施形態によるＰＭＴ情報の三次元付加情報のうち、基本ＥＳに係わる三次元ビデオ叙述子情報に、付加ＥＳに係わる三次元ビデオ叙述子情報が含まれる一例を図示している。
【０１４７】
第１実施形態によるＰＭＴ情報９００は、第１ビデオＥＳに係わる第１ＥＳループ（VIDEO １ＥＳ LOOP）９１０を含む。第１ＥＳループ（９１０は、第１ビデオＥＳに係わるストリームタイプ情報（VIDEO １ STREAM TYPE）、ＰＩＤ情報（VIDEO １ ＰＩＤ）及び第１ビデオ叙述子情報（VIDEO １ DESCRIPTOR）９１５を含んでもよい。第１ビデオ叙述子情報９１５は、第２ビデオＥＳに係わる第２ＥＳループ（VIDEO ２ ＥＳ LOOP）９２０及び第３ビデオＥＳに係わる第３ＥＳループ（VIDEO ３ ＥＳ LOOP）９３０を含んでもよい。
【０１４８】
第２ＥＳループ９２０及び第３ＥＳループ９３０は、それぞれ第２ビデオに係わる三次元付加情報が収録された第２ビデオ叙述子情報（VIDEO ２ DESCRIPTOR）９２５、及び第３ビデオに係わる三次元付加情報が収録された第３ビデオ叙述子情報（VIDEO ３ DESCRIPTOR）９３５を含んでもよい。
【０１４９】
第１実施形態によるＰＭＴ情報９００は、オーディオＥＳに係わるオーディオＥＳループ（AUIDO ＥＳ LOOP）９４０も含んでもよい。オーディオＥＳループ９４０は、オーディオＥＳに係わるストリームタイプ情報（AUDIO STREAM TYPE）、ＰＩＤ情報（AUDIO ＰＩＤ）及びオーディオ叙述子情報（AUDIO DESCRIPTOR）９４５を含んでもよい。
【０１５０】
すなわち、表１のＰＭＴ情報の２番目のfor文は、第１ビデオＥＳループ９１０に対応し、２番目のfor問い合わせ叙述子領域に、第１ビデオ叙述子情報９１５が挿入され、同時に、第１ビデオ叙述子情報９１５の下位階層に、第２ビデオＥＳループ９２０及び第３ビデオＥＳループ９３０が挿入されることによって、２番目のfor問い合わせ叙述子領域に、第２ビデオ叙述子情報９２５及び第３ビデオ叙述子情報９３５が挿入されてもよい。すなわち、第１ビデオ叙述子情報９１５、第２ビデオ叙述子情報９２５及び第３ビデオ叙述子情報９３５の間には、階層的構造が形成される。
【０１５１】
図９Ｂは、図９ＡによるＰＭＴ情報のストリーム構造を図示している。
【０１５２】
第１実施形態によるＰＭＴ情報のＰＭＴストリーム９５０は、第１ビデオＥＳ（VIDEO １ＥＳ）ループ９５５を含み、第１ビデオＥＳループ９５５は、「stream＿type」フィールド９５５、「Elementary＿ＰＩＤ」フィールド（９５２）、「ＥＳ＿ｉｎｆｏ＿ｌｅｎｇｔｈ」フィールド（９５３）及び「Descriptorｓ」フィールド９５４を含む。それぞれの情報に当該情報が挿入される。
【０１５３】
第１ビデオＥＳループ９５５の「Descriptors」フィールド９５４に、第１ＥＳ叙述子情報９６０が挿入される。第１ＥＳ叙述子情報９６０は、「Descriptor＿tag」フィールド９６１、「Descriptor＿length」フィールド９６２、「Main＿Video＿format」フィールド９６３、「Ｌ／Ｒ＿first」フィールド（９６４）及び「ｎｕｍ＿of＿ｓｕｂ＿stream」フィールド９６５を含む。「Main＿Video＿format」フィールド９６３に、第１ビデオの映像フォーマットについての情報が挿入され、「Ｌ／Ｒ＿first」フィールド９６４に、三次元合成フォーマットにおける左視点映像及び右視点映像の配置順序についての情報が挿入され、「ｎｕｍ＿of＿ｓｕｂ＿stream」フィールド９６５に、付加ＥＳの個数についての情報が挿入されてもよい。
【０１５４】
第１ビデオＥＳループ９５５の「Descriptors」フィールド９５４において、第１ＥＳ叙述子情報９６０に続き、第２ビデオＥＳ（VIDEO ２ ＥＳ）ループ９７０及び第３ビデオＥＳ（VIDEO ３ ＥＳ）ループ９８０が、第１ビデオＥＳ叙述子情報の下位階層に含まれてもよい。「ｎｕｍ＿of＿ｓｕｂ＿stream」フィールド９６５の値ほど、複数個の付加ＥＳループが第１ＥＳ叙述子情報９６０に続き、第１ビデオＥＳループ９５５の「Descriptors」フィールド９５４に含まれてもよい。
【０１５５】
第２ビデオＥＳループ９７０及び第３ビデオＥＳループ９８０は、それぞれ、「ｓｕｂ＿stream＿type」フィールド９７１，９８１、「ｓｕｂ＿video＿ＰＩＤ」フィールド９７２，９８２、「ｓｕｂ＿video＿Format」フィールド９７３，９８３、「picture＿display＿ｏｒｄｅｒ」フィールド９７４，９８４、「ｓｕｂ＿ｖｉｅｗ＿ｉｎｆｏ」フィールド（９７５、９８５）及び「ｓｕｂ＿ｖｉｅｗ＿ｉｎｄｅｘ」フィールド（９７６、９８６）を含んでもよい。
【０１５６】
「ｓｕｂ＿stream＿type」フィールド９７１，９８１に第２、３ビデオＥＳのストリームタイプ情報が挿入され、「ｓｕｂ＿video＿ＰＩＤ」フィールド９７２，９８２に第２、３ビデオＥＳのＰＩＤ情報が挿入され、「ｓｕｂ＿video＿Format」フィールド９７３，９８３に第２、３ビデオデータの映像フォーマット情報が挿入されてもよい。「picture＿display＿order」フィールド９７４，９８４に、第１ビデオ、第２ビデオ及び第３ビデオなどを含み、三次元ビデオを構成する視点別ビデオの視点による再生順序についての情報が挿入されてもよい。「ｓｕｂ＿view＿ｉｎｆｏ」フィールド９７５，９８５に、子供用または大人用の立体感効果を調節するための情報が挿入され、「ｓｕｂ＿view＿index」フィールド９７６，９８６に付加ビデオのうち、第２ビデオ及び第３ビデオのインデックス情報が挿入されてもよい。
【０１５７】
図１０Ａは、一実施形態によるＰＭＴ情報の三次元付加情報のうち、基本ＥＳに係わる三次元ビデオ叙述子情報及び付加ＥＳに係わる三次元ビデオ叙述子情報が順次に含まれる一例を図示している。
【０１５８】
第２実施形態によるＰＭＴ情報１０００に、第１ビデオＥＳに係わる第１ＥＳループ（VIDEO １ＥＳ LOOP）１０１０、第２ビデオＥＳに係わる第２ＥＳループ（VIDEO ２ ＥＳ LOOP）１０２０、第３ビデオＥＳに係わる第３ＥＳループ（VIDEO ３ ＥＳ LOOP）９３０及びオーディオＥＳに係わるオーディオＥＳループ（AUIDO ＥＳ LOOP）１０４０を順次に挿入することができる。
【０１５９】
第１ＥＳループ１０１０は、第１ビデオＥＳに係わるストリームタイプ情報（VIDEO １ STREAM TYPE）、ＰＩＤ情報（VIDEO １ ＰＩＤ）及び第１ビデオ叙述子情報（VIDEO １ DESCRIPTOR）１０１５を含んでもよい。
【０１６０】
類似の方式で、第２ＥＳループ１０２０は、第３ビデオＥＳに係わるストリームタイプ情報（VIDEO ２ STREAM TYPE）、ＰＩＤ情報（VIDEO ２ ＰＩＤ）及びビデオ叙述子情報（VIDEO ２ DESCRIPTOR）１０２５を含み、第３ＥＳループ１０３０は、第３ビデオＥＳに係わるストリームタイプ情報（VIDEO ３ STREAM TYPE）、ＰＩＤ情報（VIDEO ３ ＰＩＤ）及びビデオ叙述子情報（VIDEO ３ DESCRIPTOR）１０３５を含んでもよい。
【０１６１】
この場合、付加ＥＳの第２ＥＳ及び第３ＥＳのストリームタイプ情報は、ストリームタイプのうち「Auxiliary video stream」として選択されてもよい。例えば、表２のストリームタイプのうち「Auxiliary video stream as defined in ＩＳＯ／ＩＥＣ ２３００２−３」が第２ＥＳ及び第３ＥＳのストリームタイプ情報として選択されてもよい。
【０１６２】
オーディオＥＳループ１０４０は、オーディオＥＳに係わるストリームタイプ情報（AUDIO STREAM TYPE）、ＰＩＤ情報（AUDIO ＰＩＤ）及びオーディオ叙述子情報（AUDIO Descriptor）１０４５を含んでもよい。
【０１６３】
すなわち、表１のＰＭＴ情報の２番目のfor文は、第２ビデオＥＳループ１０１０、第２ビデオＥＳループ１０２０及び第３ビデオＥＳループ１０３０が挿入され、それぞれのＥＳループ１０１０，１０２０，１０３０のビデオ叙述子情報１０１５，１０２５，１０３５に、それぞれの三次元付加情報が挿入されてもよい。すなわち、第１ビデオＥＳループ１０１０、第２ビデオＥＳループ１０２０及び第３ビデオＥＳループ１０３０の間に並列的構造が形成される。
【０１６４】
図１０Ｂは、図１０ＡによるＰＭＴ情報のストリーム構造を図示している。
【０１６５】
第２実施形態によるＰＭＴ情報のＰＭＴストリーム１０５０は、第１ビデオＥＳ（VIDEO １ ＥＳ）ループ１０５５を含み、第１ビデオＥＳループ１０５５に続き、第２ビデオＥＳ（VIDEO ２ ＥＳ）ループ１０６０及び第３ビデオＥＳ（VIDEO ３ ＥＳ）ループ１０７０を続けて含んでもよい。三次元ビデオを構成するために、第１ビデオＥＳと関連した複数個の付加ＥＳループが存在する場合、ＰＭＴストリーム１０５０において、第１ビデオＥＳループ１０５５に続き、それぞれのＥＳループが挿入されてもよい。
【０１６６】
第１ビデオＥＳループ１０５５、第２ビデオＥＳループ１０６０及び第３ビデオＥＳループ１０７０は、それぞれ、「Stream＿type」フィールド１０５１，１０６１，１０７１、「ＰＩＤ」フィールド１０５２，１０６２，１０７２及び「Descriptors」フィールド１０５３，１０６３，１０７３を含んでもよい。
【０１６７】
「Stream＿type」フィールド１０５１，１０６１，１０７１に、当該ビデオＥＳのストリームタイプ情報が挿入され、「ＰＩＤ」フィールド１０５２，１０６２，１０７２に、当該ビデオＥＳのＰＩＤ情報が挿入されてもよい。「Descriptors」フィールド１０５３，１０６３，１０７３には、当該ビデオＥＳのビデオデータに係わるビデオ特性についての情報が含まれ、当該ビデオＥＳが三次元を構成するための特性に係わる三次元付加情報または三次元叙述子情報が含まれてもよい。
【０１６８】
以上、図９Ａ及び図９Ｂを参照し、第１実施形態によるＰＭＴ情報の構造を例示し、図１０Ａ及び図１０Ｂを参照し、第２実施形態によるＰＭＴ情報の構造を例示したが、第１ＥＳループ、第２ＥＳループ、第３ＥＳループが階層的または並列的な構造によって挿入されるならば、それぞれのＰＭＴ情報に挿入されるパラメータまたは情報などの種類、順序、定義及び使用例は変更される。
【０１６９】
一実施形態による三次元付加情報は、現在ＥＳへの二次元ビデオデータまたは三次元ビデオデータの挿入いかんを示すための情報を含んでもよい。例えば、表３の二次元／三次元モード情報（「２Ｄ／３Ｄ＿mode」）及び表４の二次元／三次元モード転換通知情報（「notice＿indicator」）がこれに該当する。
【０１７０】
【表３】
一実施形態による二次元／三次元モード情報（「２Ｄ／３Ｄ＿mode」）は、現在ＥＳに挿入されたビデオデータが、二次元ビデオ、三次元ビデオまたは二次元／三次元混合ビデオであるかを示す。二次元／三次元混合ビデオは、二次元ビデオ及び三次元ビデオが混在しているビデオストリームであり、１つのチャネルを介して、二次元ビデオ及び三次元ビデオが共に送受信できる。一実施形態によるデータストリーム生成装置１００は、ＰＭＴ情報に、二次元／三次元モード情報（「２Ｄ／３Ｄ＿mode」）を挿入し、現在ビデオデータに、二次元ビデオ及び三次元ビデオ、並びに二次元／三次元混合ビデオのうちいずれか一つが挿入されているという情報を知らせることができる。一実施形態によるデータストリーム受信装置２００は、ＰＭＴ情報から抽出された二次元／三次元モード情報（「２Ｄ／３Ｄ＿mode」）に基づいて、１つのチャネルを介して、受信したビデオデータストリームに、二次元ビデオ、三次元ビデオ及び二次元／三次元ビデオデータのうちいずれか一つが抽出されるかを予想できる。
【０１７１】
【表４】
一実施形態による二次元／三次元モード転換通知情報（「notice＿indicator」）は、現在ＥＳのうち、ビデオデータが二次元ビデオデータから三次元ビデオデータに転換されるか否かを示す。一実施形態によるデータストリーム生成装置１００は、現在ＥＳのビデオデータが、二次元ビデオデータから三次元ビデオデータに転換されるか否かを示すために、二次元／三次元モード転換通知情報をＰＭＴ情報に挿入することができる。一実施形態によるデータストリーム受信装置２００は、ＰＭＴ情報から抽出した二次元／三次元モード転換通知情報に基づいて、現在受信したビデオデータのうち、二次元ビデオデータ及び三次元ビデオデータ間の転換が生じるか否かを予想することができる。
【０１７２】
一実施形態によるデータストリーム生成装置１００のＰＭＴ生成部１２０は、一実施形態による二次元／三次元モード情報及び二次元／三次元モード転換通知情報を、ＰＭＴ情報の予約割当（reserved）領域に挿入することができる。一実施形態によるデータストリーム受信装置２００のＰＭＴ付加情報抽出部２３０が、一実施形態による二次元／三次元モード情報及び二次元／三次元モード転換通知情報を、ＰＭＴ情報の予約割当（reserved）領域から抽出することができる。一実施形態によるデータストリーム受信装置２００は、二次元／三次元モード情報及び二次元／三次元モード転換通知情報を利用し、現在ＥＳから、いずれのビデオデータ及び関連付加情報をパーシングして抽出するかを決定することができる。
【０１７３】
一実施形態による二次元／三次元モード情報及び二次元／三次元モード転換通知情報は、多様な用途によって、第１実施形態によるＰＭＴ情報及び第２実施形態によるＰＭＴ情報で、選択的に挿入されることもあれば、挿入されないこともある。
【０１７４】
以下の表５の三次元ストリーム叙述子情報（「３Ｄ＿stream＿Descriptor」）及び表６の視点別配置順序情報（「ＬＲ＿first」）は、第１実施形態によるＰＭＴ情報に挿入される三次元付加情報に属する。
【０１７５】
【表５】
表５の三次元ストリーム叙述子情報（「３Ｄ＿stream＿Descriptor」）は、図９Ａ及び図９Ｂを参照して説明した第１ビデオＥＳループ９１０，９５５に挿入された叙述子情報９１５，９５４に挿入することができる。表５の三次元ストリーム叙述子情報（「３Ｄ＿stream＿Descriptor」）において、for文が付加ＥＳループ、すなわち、図９Ａ及び図９Ｂの第２ビデオＥＳループ９２０，９７０に対応する。三次元ストリーム叙述子情報（「３Ｄ＿stream＿Descriptor」）に、基本ＥＳに係わる三次元付加情報が挿入され、付加ＥＳループに、付加ＥＳに係わる三次元付加情報が挿入されてもよい。
【０１７６】
第１実施形態によるＰＭＴ生成部１２０は、三次元付加情報に、三次元ビデオデータを視点別に識別して再生するための情報として、基本ビデオデータの映像フォーマット情報（Main＿Video＿format）、基本ビデオデータの映像フォーマットのうち視点別配置順序情報（ＬＲ＿first）、及び付加ＥＳの個数情報（ｎｕｍ＿of＿ｓｕｂ＿stream）のうち少なくとも一つを含んでもよい。付加ＥＳの個数情報（ｎｕｍ＿of＿ｓｕｂ＿stream）によって、三次元ストリーム叙述子情報（「３Ｄ＿stream＿Descriptor」）に挿入される付加ＥＳループの個数が決定され、それぞれの付加ＥＳループに、三次元付加情報が挿入されてもよい。
【０１７７】
第１実施形態によるＰＭＴ生成部１２０は、三次元付加情報として、付加ＥＳのストリームタイプ情報（ｓｕｂ＿stream＿type）、付加ＥＳのＰＩＤ情報（ｓｕｂ＿video＿ＰＩＤ）、付加視点ビデオデータの映像フォーマット情報（ｓｕｂ＿video＿Format）、基本視点ビデオデータ及び付加視点ビデオデータのディスプレイ順序情報（picture＿display＿order）、子供用または大人用の立体感効果を調節するための情報（ｓｕｂ＿view＿ｉｎｆｏ）、及び三次元ビデオデータのうち付加視点ビデオデータを指す付加視点インデックス情報（ｓｕｂ＿view＿index）のうち、少なくとも一つをＰＭＴ情報に挿入することができる。
【０１７８】
視点別配置順序情報（ＬＲ＿first）によって、現在ＥＳの三次元合成フォーマットのうち、いずれの領域が左視点映像であり、右視点映像であるかが表現される。表６を参照すれば、一実施形態によるフォーマット配置順序が、図７の三次元合成フォーマットにおいて、左視点映像と右視点映像とが配置される位置を定義することができる。
【０１７９】
【表６】
「ＬＲ＿first」値が０である場合、左視点ビデオデータが、サイドバイサイド・フォーマット映像の左側領域、トップアンドボトム・フォーマットの上領域、垂直方向ラインインターリーブド・フォーマットの奇数番目のライン、水平方向ラインインターリーブド・フォーマットでの奇数番目のライン、フィールドシーケンシャル・フォーマットの奇数番目のパラメータ及びフレームシーケンシャル・フォーマットの奇数番目のフレームに配置される。また、現在三次元ビデオデータが２つのＥＳ（Two ＥＳ）に挿入されている場合、「ＬＲ＿first」値が０であるならば、左視点ビデオデータが２つのＥＳのうち、第１ＥＳの基本視点ビデオデータ（Main media）であることが設定される。これにより、前述の各合成フォーマットのうち、左視点ビデオデータが配置された領域の反対領域に、右視点ビデオデータが配置されてもよい。
【０１８０】
「ＬＲ＿first」値が１である場合、右視点ビデオデータ及び左視点ビデオデータの配置が、前述の「ＬＲ＿first」値が０である場合と正反対となる。
【０１８１】
一実施形態によるデータストリーム受信装置２００のＰＭＴ付加情報抽出部２３０は、表５の三次元ストリーム叙述子情報（「３Ｄ＿stream＿Descriptor」）を判読し、第１ビデオＥＳループ９１０，９５５内の叙述子情報９１５，９５４から、基本ＥＳに係わる三次元付加情報を抽出することができる。また、一実施形態によるＰＭＴ付加情報抽出部２３０は、三次元ストリーム叙述子情報（「３Ｄ＿stream＿Descriptor」）において、付加ＥＳループから、付加ＥＳに係わる三次元付加情報を抽出することができる。従って、基本ＥＳ及び付加ＥＳに係わる三次元付加情報を利用し、ＥＳ復元部２４０が三次元ビデオデータを正確に復元し、再生部２５０が三次元ビデオを再生することができる。
【０１８２】
図１０Ａ及び図１０Ｂを参照して説明した第２実施形態によるＰＭＴ情報に挿入することができる多様な三次元付加情報または三次元付加叙述子を、以下の表７ないし表２０で例示する。
【０１８３】
一実施形態によるデータストリーム生成装置１００のＰＭＴ生成部１２０は、下記表７の三次元叙述子情報（「３Ｄ＿descriptor」）について、図１０Ａ及び図１０Ｂを参照して説明した第１ビデオＥＳループ１０１０，１０５５のうち叙述子情報１０１５，１０５３に挿入することができる。
【０１８４】
【表７】
表７の三次元叙述子情報（「３ｄ＿descriptor」）は、三次元ビデオの視点別ビデオデータが挿入されたＥＳの個数情報（「ｎｕｍ＿of＿ＥＳ」）によって、記述する三次元ビデオに係わる情報が変わる。１個のＥＳに、視点別ビデオデータが挿入されたとすれば、三次元叙述子情報（「３ｄ＿descriptor」）では、図７を参照して説明した三次元合成フォーマット情報（１ＥＳ＿format）及び表６を参照して説明した視点別配置順序情報（ＬＲ＿first）が記述される。また、２以上のＥＳに、視点別ビデオデータが挿入されたとすれば、三次元叙述子情報（「３ｄ＿descriptor」）で、図８を参照して説明した三次元ハイブリッドフォーマット情報（Multi＿ＥＳ＿format）が記述される。
【０１８５】
従って、一実施形態によるデータストリーム生成装置２００のＰＭＴ付加情報抽出部２３０は、第２実施形態によるＰＭＴ情報のうち、第１ビデオＥＳループ１０１０，１０５５内の叙述子情報１０１５，１０５３だけパージングして判読しても、第１ビデオＥＳに係わる三次元付加情報だけではなく、付加ＥＳに挿入された付加ビデオデータの三次元映像フォーマットまで予測することができる。
【０１８６】
一実施形態によるデータストリーム生成装置１００のＰＭＴ生成部１２０は、下記表８の付加ビデオストリーム叙述子情報（「Auxiliary＿video＿stream＿descriptor（）」）について、図１０Ａ及び図１０Ｂを参照して説明した第２ビデオ及び第３ビデオＥＳループ１０２０，１０３０，１０６０，１０７０のうち叙述子情報１０２５，１０３５，１０６３，１０７３に挿入することができる。
【０１８７】
【表８】
一実施形態による付加ビデオストリーム叙述子情報（Auxiliary＿video＿stream＿descriptor）は、付加ビデオデータの符号化方式についての情報（ａｕｘ＿video＿codedstreamtype）を含んでもよい。
【０１８８】
一実施形態によるＰＭＴ生成部１２０は、三次元付加情報を「ｓｉ＿ｒｂｓｐ（descriptor＿length−１）」情報に挿入することができる。
【０１８９】
さらに具体的には、一実施形態によるＰＭＴ生成部１２０は、表９の「Auxiliary＿video＿stream＿descriptor」情報のうちの「ｓｉ＿ｒｂｓｐ」情報のうちの「ｓｉ＿message」情報のうちの「ｓｉ＿payload」に、三次元付加情報を挿入することができる。以下の表９、表１０及び表１１が、「Auxiliary＿video＿stream＿descriptor」情報のうち「ｓｉ＿ｒｂｓｐ」情報、「ｓｉ＿message」情報及び「ｓｉ＿payload」情報の構造をそれぞれ図示している。
【０１９０】
【表９】
一実施形態によるＰＭＴ生成部１２０は、表１２のように、付加ＥＳのためのペイロードタイプ情報として、深度マップ（「Depth map」）及び両眼視差マップ（「Parallax map」）に追加して、付加視点ビデオデータ（「Additional view」）項目を追加する。
【０１９１】
【表１０】
また、現在付加ビデオストリームタイプのＥＳのためのペイロードタイプ情報が付加視点ビデオデータである場合（「payloadType＝＝２」）に必要な三次元付加情報のために、ＰＭＴ生成部１２０は、表１０の「ｓｉ＿payload」情報のうち、「generic＿ｐａｒａｍｓ（）」情報の設定内容を、表１３のように変更して利用し、表１６の「additional＿view＿ｐａｒａｍｓ（）」情報を新たに追加することができる。
【０１９２】
まず、一実施形態によるＰＭＴ生成部１２０は、表１３の「generic＿ｐａｒａｍｓ（）」情報に、現在三次元ビデオデータがハイブリッドフォーマットであるか否かを示す情報（「hybrid＿indicator」）及びハイブリッドフォーマット種類についての情報（「hybrid＿type」）をさらに挿入する。
【０１９３】
【表１１】
一実施形態によるデータストリーム受信装置２００のＰＭＴ付加情報抽出部２３０は、ＰＭＴ情報のうち、付加ＥＳに係わる付加ストリーム叙述子情報（「Auxiliary＿video＿stream＿descriptor」）から、ハイブリッドフォーマット表示子情報（「hybrid＿indicator」）を抽出し、再生部２５０は、これを基に、現在ＥＳに挿入されている三次元ビデオデータが、三次元ハイブリッドフォーマットであるか否かを、表１４によって予測することができる。
【０１９４】
また、一実施形態によるＰＭＴ付加情報抽出部２３０は、付加ストリーム叙述子情報（「Auxiliary＿video＿stream＿descriptor」）から、ハイブリッドフォーマットタイプ情報（「hybrid＿type」）を抽出し、再生部２５０は、これを基に、現在付加ＥＳの付加ビデオデータのハイブリッドフォーマットの種類を、表１５によって決定することができる。
【０１９５】
一実施形態によるＰＭＴ生成部１２０は、付加ストリームタイプのＥＳのペイロードタイプ情報が、付加視点ビデオデータである場合（「payloadType＝＝２」）に必要な三次元付加情報のために、付加ビデオ叙述子情報（「Auxiliary＿video＿stream＿descriptor」）に、表１６の「additional＿view＿ｐａｒａｍｓ（）」情報をさらに挿入することができる。
【０１９６】
【表１２】
一実施形態によるＰＭＴ生成部１２０は、「additional＿view＿ｐａｒａｍｓ（）」情報に、三次元ビデオデータを構成するように、現在付加ＥＳの付加ビデオデータと関連した他のビデオデータのＰＩＤ情報（「linked＿ＰＩＤ」）及び付加ビデオデータが、左視点ビデオであるか、右視点ビデオであるかを示す情報（「ＬＲ＿indicator」）をさらに挿入することができる。
【０１９７】
【表１３】
一実施形態によるデータストリーム受信装置２００のＰＭＴ付加情報抽出部２３０は、ＰＭＴ情報のうち、付加ＥＳに係わる付加ストリーム叙述子情報（「Auxiliary＿video＿stream＿descriptor」）から、表１６の付加視点パラメータ（「additional＿view＿ｐａｒａｍｓ（）」）を抽出することができる。
【０１９８】
一実施形態によるＰＭＴ付加情報抽出部２３０が、付加視点パラメータ（「additional＿view＿ｐａｒａｍｓ（）」）において、関連ビデオＰＩＤ情報（「linked＿ＰＩＤ」）を抽出し、再生部２５０は、これを基に、現在付加ビデオデータと三次元ビデオデータとを構成するように、関連する他のビデオデータが挿入されたパケットまたはストリームに係わるＰＩＤ情報を確認することができる。表１７によって、一実施形態による関連ビデオＰＩＤ情報（「linked＿ＰＩＤ」）は、現在付加ビデオデータと関連する基本視点ビデオデータとして示すことができる。
【０１９９】
一実施形態によるＰＭＴ付加情報抽出部２３０が、付加視点パラメータ（「additional＿view＿ｐａｒａｍｓ（）」）において、左右表示情報（「ＬＲ＿indicator」）を抽出し、再生部２５０は、これを基に、表１８のように、現在付加ＥＳの付加ビデオデータがステレオビデオにおいて、左視点または右視点のビデオデータであるかを決定することができる。
【０２００】
他の実施形態によるＰＭＴ生成部１２０は、表１９によって、付加視点パラメータ（「additional＿view＿ｐａｒａｍｓ（）」）に、関連ビデオＰＩＤ情報（「linked＿ＰＩＤ」）及び左右表示情報（「ＬＲ＿indicator」）以外に、付加視点ビデオ解像度情報（「additional＿view＿resolution」）をさらに挿入することができる。
【０２０１】
【表１４】
一実施形態によるＰＭＴ付加情報抽出部２３０が、付加視点パラメータ（「additional＿view＿ｐａｒａｍｓ（）」）において、付加視点ビデオ解像度情報（「additional＿view＿resolution」）を抽出し、再生部２５０は、表２０によって、伝送フォーマットの付加視点ビデオデータの大きさを確認することができる。再生部２５０は、伝送フォーマットの基本視点ビデオデータ及び付加視点ビデオデータの大きさを比較し、伝送フォーマットを再生フォーマットに変換するときに大きさを調節することができる。
【０２０２】
一実施形態によるデータストリーム生成装置１００のＰＭＴ生成部１２０は、三次元ビデオデータの特性についての情報が収録された三次元ストリーム叙述子情報（「３Ｄ＿stream＿Descriptor（）」）または三次元ビデオ叙述子情報（「３ｄ＿descriptor（）」）以外に、表２１の三次元モード叙述子情報（「３Ｄ＿mode＿descriptor（）」）及び表２２の三次元通知叙述子情報（「３Ｄ＿notice＿descriptor（）」）を、三次元付加情報として、ＰＭＴ情報にさらに挿入することもできる。
【０２０３】
一実施形態によるＰＭＴ生成部１２０は、三次元モード叙述子情報（「３Ｄ＿mode＿descriptor（）」）に、二次元／三次元モード情報（「２Ｄ／３Ｄ＿mode」）及び二次元／三次元モード転換通知情報（「notice＿indicator」）を挿入することができる。一実施形態によるＰＭＴ生成部１２０は、三次元通知叙述子情報（「３Ｄ＿notice＿descriptor（）」）に、三次元アイコン表示情報（「ｅｓ＿icon＿indicator」）、転換表示情報（「transition＿indicator」）、転換時間スタンプ情報（「transition＿time＿stamp」）及び転換メッセージ情報（「transition＿message」）を挿入することができる。
【０２０４】
【表１５】
一実施形態によるデータストリーム受信装置１００のＰＭＴ付加情報抽出部２３０は、ＰＭＴ情報のうち、プログラムループの叙述子領域またはＥＳループの叙述子領域から、三次元モード叙述子情報（「３Ｄ＿mode＿descriptor（）」）を抽出し、二次元／三次元モード情報（「２Ｄ／３Ｄ＿mode」）及び二次元／三次元モード転換通知情報（「notice＿indicator」）を抽出することもできる。一実施形態によるデータストリーム受信装置１００の再生部２５０は、これを基に、現在プログラムまたはＥＳのビデオデータのうち、二次元モード及び三次元モード間の転換が生じるか否かを決定することができる。
【０２０５】
【表１６】
一実施形態によるデータストリーム受信装置１００のＰＭＴ付加情報抽出部２３０は、ＰＭＴ情報のうち、プログラムループの叙述子領域またはＥＳループの叙述子領域から、三次元通知叙述子情報（「３Ｄ＿notice＿descriptor（）」）を抽出することができる。
【０２０６】
一実施形態によるＰＭＴ付加情報抽出部２３０は、三次元通知叙述子情報（「３Ｄ＿notice＿descriptor（）」）において、三次元アイコン表示情報（「ｅｓ＿icon＿indicator」）を抽出し、再生部２５０は、これを基に、三次元通知表示のような三次元関連アイコンが、コンテンツ提供者から提供されていることを認識し、コンテンツの三次元通知表示を、セットトップボックス（set-top box）またはＴＶ（television）自体の三次元通知表示と重複しないようにディスプレイすることができる。例えば、三次元アイコン表示情報（「ｅｓ＿icon＿indicator」）値が０である場合、ビデオＥＳ内に、三次元通知アイコンがないことが予想されるので、セットトップボックスやＴＶ自体の三次元通知表示を利用し、三次元アイコン表示情報値が１である場合、三次元通知アイコンがあることが予想されるので、ビデオＥＳ内の三次元通知アイコン、セットトップボックスやＴＶ自体の三次元通知表示において選択的に利用するように決定することができる。
【０２０７】
一実施形態によるＰＭＴ付加情報抽出部２３０は、三次元通知叙述子情報（「３Ｄ＿notice＿descriptor（）」）において、転換表示情報（「transition＿indicator」）を抽出し、再生部２５０は、今後受信するＰＭＴ情報に、現在ＰＭＴ情報から得られた現在二次元／三次元モードと異なるモードであることを示す二次元／三次元モード情報が含まれていることを示す情報、すなわち、二次元／三次元モードの転換が生じるか否かを決定することができる。例えば、転換表示情報（「transition＿indicator」）値が０である場合、ビデオＥＳ内に、現在二次元／三次元モードが持続されるということが予想され、１である場合、今後現在二次元／三次元モードが、反対モードに転換される予定であることが予想される。
【０２０８】
一実施形態によるＰＭＴ付加情報抽出部２３０は、転換表示情報が、今後二次元／三次元転換が生じるということを示す場合（「transition＿indicator＝＝１」）、三次元通知叙述子情報（「３Ｄ＿notice＿descriptor（）」）から、転換時間スタンプ情報（「transition＿time＿stamp」）を抽出し、再生部２５０は、今後二次元／三次元モードの転換が生じる時間情報を決定することができる。一実施形態による転換発生時間スタンプ情報は、ＰＴＳ（presentation time stamp）単位で表現される。この場合、一実施形態による転換発生時間スタンプ情報は、現在ＰＭＴ情報を含むピクチャ映像のＰＴＳ値と、二次元／三次元モード転換が生じる時点のＰＴＳ値との相対値、または二次元／三次元モード転換が生じる時点のＰＴＳ値の絶対値として表現される。一実施形態による転換発生時間スタンプ情報は、ＰＴＳ単位以外に、フレーム個数単位など多様な方式でも表現される。
【０２０９】
一実施形態によるＰＭＴ付加情報抽出部２３０は、転換表示情報が、今後二次元／三次元転換が生じるということを示す場合（「transition＿indicator＝＝１」）、三次元通知叙述子情報（「３Ｄ＿notice＿descriptor（）」）から、転換メッセージ情報（「transition＿message」）を抽出することができる。一実施形態によるデータストリーム受信装置１００の再生部２５０は、これを基に、コンテンツサービス再生中、二次元／三次元モード転換通知表示のアイコン、テキスト、声などの視覚効果または聴覚効果を決定することができる。ユーザは、二次元／三次元モード転換通知表示を介して、現在二次元／三次元モードが転換されるということを認識したり、あるいはすぐに二次元／三次元モードが転換される予定であるならば、あらかじめ視聴方式を変更するように準備することができる。
【０２１０】
図１１は、一実施形態による二次元／三次元モード転換情報の使用例を図示している。
【０２１１】
現在ビデオストリーム１１００において一部分である二次元映像１１０２から三次元映像１１３６まで図示されており、二次元映像シーケンス１１０２，１１０４，１１０６，１１０８，１１１０，１１１２，１１１４，１１１６，１１１８，１１２０，１１２２，１１２４，１１２６，１１２８、及び三次元映像シーケンス１１３０，１１３２，１１３４，１１３６から構成されている。
【０２１２】
一実施形態によるデータストリーム生成装置１００は、現在ビデオストリーム１１００において、時点Ｔ１，Ｔ２，Ｔ３で、現在ビデオストリーム１１００に係わるＰＭＴ情報１１４０，１１５０，１１６０をそれぞれ伝送する。時点Ｔ１のＰＭＴ情報１１４０で、二次元／三次元モード情報（２Ｄ／３Ｄ＿mode）が「２Ｄ」を示しているので、現在ビデオデータは、二次元モードであることが確認される。ただし、時点Ｔ２のＰＭＴ情報１１５０で、二次元／三次元モード情報（２Ｄ／３Ｄ＿mode）は、「２Ｄ」を示しているが、二次元／三次元モード転換情報（transition＿time＿stamp）は、時点「Ｔ３」を指している。すなわち、現在ビデオデータは、二次元モードであるが、今後現在ビデオストリーム１１００において、三次元モードが生じるということが予想される。
【０２１３】
時点Ｔ２のＰＭＴ情報１１５０で、二次元／三次元モード転換情報（transition＿time＿stamp）が予告したように、時点Ｔ３で、二次元／三次元モード転換が生じ、時点Ｔ３のＰＭＴ情報１１６０で、二次元／三次元モード情報（２Ｄ／３Ｄ＿mode）は、「３Ｄ」を示している。一実施形態によるデータストリーム受信装置２００は、ＰＭＴ情報１１４０，１１５０，１１６０の二次元／三次元モード転換情報を利用し、時点Ｔ１，Ｔ２，Ｔ３当時の二次元／三次元モード及び今後二次元／三次元モード転換が生じる時点を予想することができ、二次元／三次元モード転換通知表示情報（「transition＿message」）によって、時点Ｔ２及び時点Ｔ３間の所定時点から、二次元／三次元モード転換通知メッセージが、画面上で、視聴資料として表示されたり、あるいは聴覚資料として再生される。
【０２１４】
一実施形態によるデータストリーム生成装置１００は、互いに異なる解像度の基本視点ビデオと、付加視点ビデオとを伝送することもできる。例えば、一実施形態によるデータストリーム生成装置１００は、フルＨＤ（full high definition）級解像度の基本視点ビデオデータと、ＳＤ（standard definition）クラス解像度の付加視点ビデオデータとを伝送することができる。
【０２１５】
図１２は、左視点（left view）ビデオ及び右視点（right view）ビデオが異なった大きさで伝送される場合を例示している。
【０２１６】
一実施形態によるデータストリーム生成装置１００は、縦横に１９２０ｘ１０８０のフルＨＤクラス解像度の左視点ビデオ１２１０及びフルＨＤクラス解像度の右視点ビデオ１２２０を獲得し、伝送フォーマットとしては、縦横に１９２０ｘ１０８０のフルＨＤクラス解像度の左視点ビデオデータ１２３０、及び縦横に６４０ｘ４８０のＳＤクラス解像度の右視点ビデオデータ１２４０が挿入されたデータストリームを、ＴＳの形態に変換して伝送することができる。
【０２１７】
一実施形態によるデータストリーム受信装置２００は、ＴＳを受信し、ＥＳ復元部２４０で、フルＨＤクラス解像度の左視点ビデオデータ１２３０、及びＳＤクラス解像度の右視点ビデオデータ１２４０を復元することができる。一実施形態による再生部２５０は、フルＨＤクラス解像度の左視点ビデオデータ１２３０及びＳＤクラス解像度の右視点ビデオデータ１２４０を再生フォーマットに変換するために拡大したとしても、左視点ビデオデータ１２３０及び右視点ビデオデータ１２４０の縦横比が１６：９及び４：３と異なるために、縦横がいずれも一致しない。すなわち、再生フォーマットのフルＨＤクラス解像度の左視点ビデオ１２５０、及び縦横に１４４０ｘ１０８０の拡大された右視点ビデオ１２６０は、縦サイズが１０８０ピクセルと同一であっても、横サイズが１９２０：１４４０と異なってしまう。基本視点ビデオ及び付加視点ビデオの解像度が同一ではないならば、三次元ビデオ再生時、三次元効果が生じ難くなる。
【０２１８】
図１３は、一実施形態による縦横比情報の使用例を図示している。
【０２１９】
一実施形態による再生部２５０が、再生フォーマットのフルＨＤクラス左視点ビデオ１２５０を復元し、伝送フォーマットが、拡大された再生フォーマットの右視点ビデオ１２６０を復元することができる。この場合、左視点ビデオ１２５０及び右視点ビデオ１２６０がそのまま再生されれば、左視点ビデオ１２５０において、右視点ビデオ１２６０が表示されない領域１３５０，１３６０が生じる。
【０２２０】
従って、一実施形態によるデータストリーム生成装置１００は、基本視点ビデオ及び付加視点ビデオの解像度が同一ではない場合のために、三次元付加情報として、縦横比情報を含む。一実施形態によるデータストリーム生成装置１００のＰＭＴ生成部１２０は、三次元付加情報として、縦横比情報（「３ｄ＿aspect＿ratio＿descriptor」）をＰＭＴ情報に挿入し、表２３のように、縦横比情報（「３ｄ＿aspect＿ratio＿descriptor」）として、クロップオフセット情報（「cropping＿offset」）を挿入することができる。例えば、基本視点ビデオにおいて、拡大された付加視点ビデオで隠れない領域の幅に係わる情報をクロップオフセット情報（「cropping＿offset」）として設定し、三次元付加情報として、ＰＭＴ情報に挿入することができる。
【０２２１】
【表１７】
一実施形態によるデータストリーム受信装置２００のＰＭＴ付加情報抽出部２３０は、ＰＭＴ情報から縦横比情報（「３ｄ＿aspect＿ratio＿descriptor」）を抽出し、縦横比情報（「３ｄ＿aspect＿ratio＿descriptor」）において、クロップオフセット情報（「cropping＿offset」）を抽出することができる。一実施形態による再生部２５０は、クロップオフセット情報（「cropping＿offset」）に基づいて、縦横に１９２０ｘ１０８０の左視点ビデオ１２５０において、中央の縦横に１４４０ｘ１０８０の右視点ビデオ１２６０で隠れない領域１３５０，１３６０をクロップし、縦横比４：３の左視点ビデオ及び右視点ビデオを再生することができる。または、一実施形態による再生部２５０は、縦横に１９２０ｘ１０８０の左視点ビデオ１２５０において領域１３５０，１３６０は、左視点ビデオをディスプレイし、付加視点ビデオ１２６０で隠れる中央の縦横に１４４０ｘ１０８０領域でのみ左視点ビデオと右視点ビデオとが交互にディスプレイされるように制御することによって、中央の縦横に１４４０ｘ１０８０領域でのみ三次元効果が生じる。
【０２２２】
一実施形態によるデータストリーム生成装置１００は、ＰＭＴ情報に、二次元または三次元のビデオデータが挿入されたパケットに係わるＰＩＤ情報を挿入し、ＰＭＴ情報のうち、プログラムループ、ストリームタイプ情報が「video stream＿type」または「auxiliary video stream＿type」である． ＥＳループ及び各種予約割当領域に、以上の表１ないし表２３の三次元付加情報を挿入し、二次元または三次元のビデオデータが挿入されたパケットと共にＴＳに変換して伝送することができる。
【０２２３】
ＭＰＥＧ ＴＳ方式による受信端が二次元ビデオだけ支援する場合、受信端の受信されたデータストリーム・パージング及び復号化過程で、一実施形態によるＰＭＴ情報のうち、三次元付加情報、三次元叙述子情報、三次元ストリーム叙述子情報は、パージングされて解釈されないので、三次元ビデオデータが含まれたパケットも検出されず、ＭＰＥＧ ＴＳ方式で設定された二次元ビデオデータ及びそれに係わる叙述子情報だけ認識されて復号化される。従って、二次元ビデオだけ支援する受信端でも、一実施形態によるデータストリーム生成装置１００によって生成されたデータストリームのうち二次元ビデオ関連データを処理することができる。
【０２２４】
一実施形態によるデータストリーム受信装置２００は、ＴＳを受信し、ＰＭＴ情報のＰＩＤ情報を有するパケットを集めてＰＭＴ情報を抽出し、ＰＭＴ付加情報抽出部２３０は、ＰＭＴ情報のプログラムループ、ＥＳループ及び各種予約割当領域から三次元付加情報を抽出し、て再生部２５０に伝達することができる。
【０２２５】
また、一実施形態によるデータストリーム受信装置２００は、ＰＭＴ情報のうち、ストリームタイプ情報が「video stream＿type」を有するパケットのＰＩＤ情報に基づいて、「video stream＿type」を有するパケットのペイロードを集め、ＥＳ復元部２４０でビデオデータを復元することができる。
【０２２６】
また、一実施形態によるデータストリーム受信装置２００は、ストリームタイプ情報が「Auxiliary video stream＿type」を有するパケットのＰＩＤ情報に基づいて、「Auxiliary video stream＿type」を有するパケットのペイロードを集め、ＥＳ復元部２４０で付加ビデオデータが復元される。
【０２２７】
一実施形態によるデータストリーム受信装置２００の再生部２５０は、ＰＭＴ情報のうち三次元付加情報を利用し、基本ＥＳ及び付加ＥＳから抽出された基本ビデオデータ、並びに付加ビデオデータの三次元合成フォーマットまたは三次元ハイブリッドフォーマットを解釈し、基本視点ビデオ及び付加視点ビデオを復元し、相互関連した基本視点及び付加視点を再生周期を同期化して再生することができる。
【０２２８】
以下、一実施形態による再生部２５０の動作について具体的に記述する。
【０２２９】
一実施形態によるＥＳ復元部２４０が、基本ビデオデータとして基本視点ビデオを抽出し、付加ビデオデータとして付加視点ビデオを抽出する場合、一実施形態による再生部２５０は、基本視点ビデオ及び付加視点ビデオを、三次元ディスプレイ装置が再生可能な再生フォーマットに構成して出力することができる。
【０２３０】
一実施形態によるＥＳ復元部２４０が、基本ビデオデータとして基本視点ビデオを抽出し、付加ビデオデータとして差映像を抽出する場合、一実施形態による再生部２５０は、基本視点ビデオ及び差映像を利用し、付加視点ビデオを復元した後、基本視点ビデオ及び付加視点ビデオを、三次元ディスプレイ装置が再生可能な再生フォーマットに構成して出力することができる。
【０２３１】
一実施形態によるＥＳ復元部２４０が、基本ビデオデータとして基本視点ビデオを抽出し、１つまたは２つの付加ビデオデータとして、深度情報（または、両眼視差情報）と付加視点ビデオとを抽出する場合、一実施形態による再生部２５０は、基本視点ビデオ、付加視点ビデオ及び深度情報（または、両眼視差情報）を利用し、中間視点ビデオを生成することができる。例えば、ＤＩＢＲ（depth image based rendering）技法を利用し、基本視点ビデオ及び深度情報を基に中間視点の映像が生成される。一実施形態による再生部２５０は、基本視点ビデオ、中間視点ビデオ及び付加視点ビデオのうち２視点ビデオを選択し、三次元ディスプレイ装置が再生可能な再生フォーマットに構成して出力することができる。基本視点ビデオ及び付加視点ビデオ間の深度または両眼視差が大きい場合、中間視点ビデオが導入されるので、視聴疲労感を防止するのに有用である。
【０２３２】
一実施形態によるＥＳ復元部２４０が、基本ビデオデータとして三次元合成フォーマットデータを抽出する場合、一実施形態による再生部２５０は、三次元合成フォーマットデータから、基本視点ビデオ及び付加視点ビデオを復元した後、基本視点ビデオ及び付加視点ビデオを、三次元ディスプレイ装置が再生可能な再生フォーマットに構成して出力することができる。
【０２３３】
一実施形態によるＥＳ復元部２４０が、基本ビデオデータとして三次元合成フォーマットデータを抽出し、付加ビデオデータとして深度情報（両眼視差情報）を抽出する場合、一実施形態による再生部２５０は、三次元合成フォーマットデータから、基本視点ビデオ及び付加視点ビデオを復元し、基本視点ビデオ、付加視点ビデオ及び深度情報（または、両眼視差情報）を利用し、中間視点ビデオを生成することができる。例えば、中間視点ビデオは、基本視点、付加視点ビデオ及び深度情報について、ＤＩＢＲ技法が適用されれば、任意の中間視点ビデオが生成される。中間視点ビデオ及び付加視点ビデオのうち２視点ビデオを選択し、三次元ディスプレイ装置が再生可能な再生フォーマットに構成して出力することができる。
【０２３４】
一実施形態によるＥＳ復元部２４０が、基本ビデオデータとして三次元合成フォーマットデータを抽出し、付加ビデオデータとして差情報を抽出する場合、一実施形態による再生部２５０は、三次元合成フォーマットデータから、原本解像度の半分である基本視点ビデオ及び付加視点ビデオを復元することができる。この場合、一実施形態による再生部２５０は、半解像度の基本視点ビデオ及び付加視点ビデオに差情報を追加して利用し、原本解像度と同じ基本視点ビデオ及び付加視点ビデオを復元することができる。一実施形態による再生部２５０は、基本視点ビデオ及び付加視点ビデオを、三次元ディスプレイ装置が再生可能な再生フォーマットに構成して出力することができる。
【０２３５】
一実施形態によるＥＳ復元部２４０が、基本ビデオデータとして二次元ビデオを抽出し、付加ビデオデータとして深度情報（または、両眼視差情報）を抽出する場合、一実施形態による再生部２５０は、二次元ビデオ及び深度情報（または、両眼視差情報）を利用し、付加視点ビデオを復元した後、基本視点ビデオ及び付加視点ビデオを、三次元ディスプレイ装置が再生可能な再生フォーマットに構成して出力することができる。ただし、この場合、基本視点ビデオと、完全な三次元ビデオを構成する付加視点ビデオとが復元されない場合、視差遮蔽（occlusion）現象が発生しうる。
【０２３６】
一実施形態によるＥＳ復元部２４０が、基本ビデオデータとして多視点ビデオを構成する第１視点ビデオを抽出し、複数個の付加ビデオデータとして、多視点ビデオを構成する第２視点ビデオ、第３視点ビデオなどの複数個の他の視点ビデオを抽出する場合、一実施形態による再生部２５０は、複数個の視点ビデオを、第１視点ビデオを基準に、三次元ディスプレイ装置が再生可能な再生フォーマットに構成して出力することができる。ステレオビデオとは異なり、多視点ビデオは、３６０°回転して視聴可能な三次元ビデオを提供することができる。
【０２３７】
一実施形態によるＥＳ復元部２４０が、基本ビデオデータとして多重撮影ビデオを構成する第１ビデオを抽出し、付加ビデオデータとして、第２ビデオ、第３ビデオなどの複数個の他のビデオを抽出する場合、一実施形態による再生部２５０は、選択的に、それぞれのビデオを別途に出力したり、あるいはＰＩＰ（picture-in-picture）方式で構成して出力することができる。例えば、野球試合で、捕手の視点から撮影された第１ビデオ、投手視点から撮影された第２ビデオ、観衆席を撮影した第３ビデオ、１つの主題でさまざまな位置、さまざまな方向から撮影されたコンテンツのディスプレイ方式は、多視点ビデオとは異なり、視聴者または放送目的によって変更されもする。
【０２３８】
図１４は、一実施形態によるデータストリーム伝送装置１００及び一実施形態によるデータストリーム受信装置２００が具現される三次元ビデオデータストリーム通信システムの概要図である。
【０２３９】
伝送端のコンテンツ生成部（content generator）１４１０は、（準）手動深度抽出方式（（semi-）manual depth extraction from ２Ｄ）１４１２、ＲＧＢ＋赤外線カメラ方式（ＲＧＢ＋infrared camera）１４１４、またはステレオカメラ方式（stereo camera）１４１６などの多様な撮影方式を利用し、コンテンツに係わるビデオデータを生成することができる。
【０２４０】
コンテンツ生成部１４１０のビデオデータのうち、基本ビデオデータ（MAIN VIDEO）は、ビデオエンコーダＡ（VIDEO ENCODER Ａ）１４２０）に、第１付加ビデオデータ／第１深度情報／第１両眼視差情報（SUB VIDEO １／DEPTH １／PARALLAX １）のうち少なくとも一つは、ビデオエンコーダＢ（VIDEO ENCODER Ｂ）１４３０に、第２付加ビデオデータ／第２深度情報／第２両眼視差情報（SUB VIDEO ２／DEPTH ２／PARALLAX ２）のうち少なくとも一つは、ビデオエンコーダＣ（VIDEO ENCODER Ｃ）１４４０に出力されてもよい。
【０２４１】
ビデオエンコーダＡ １４２０、ビデオエンコーダＢ １４３０及びビデオエンコーダＣ １４３０は、それぞれ入力されたビデオデータを符号化し、基本ビデオストリーム（MAIN VIDEO STREAM）、第１付加ストリーム（SUB VIDEO STREAM１）及び第２付加ストリーム（SUB VIDEO STREAM１）をチャネル（CHANNEL）１４５０に出力することができる。
【０２４２】
基本ビデオストリーム、第１付加ストリーム及び第２付加ストリームのＴＳは、チャネル１４５０を介して受信端に伝送され、受信端は、ＴＳを逆多重化し、ビデオパケットをビデオデコーダＡ（VIDEO DECODER Ａ）１４６０、ビデオデコーダＢ（VIDEO DECODER Ｂ）１４７０及びビデオデコーダＣ（VIDEO DECODER Ｃ）１４８０に伝達することができる。
【０２４３】
ビデオデコーダＡ １４６０は、基本ビデオストリームから基本ビデオを復元し、ビデオデコーダＢ １４７０は、第１付加ストリームから、第１付加ビデオデータ／第１深度情報／第１両眼視差情報を復元し、ビデオデコーダＣ １４８０は、第２付加ストリームから、第２付加ビデオデータ／第２深度情報／第２両眼視差情報を復元して出力することができる。
【０２４４】
復元された基本ビデオ、第１付加ビデオデータ／第１深度情報／第１両眼視差情報、及び第２付加ビデオデータ／第２深度情報／第２両眼視差情報は、三次元ディスプレイ装置（３Ｄ DISPLAY DEVICE）１４９０に入力され、それぞれのディスプレイ方式に適するように変換されて三次元で再生される。例えば、復元された三次元ビデオは、オートステレオスコピック・レンチキュラ（AUTO-STEREOSCOPIC LENTICULAR）方式１４９２、オートステレオスコピック・バリア（AUTO-STEREOSCOPIC BARRIER）方式１４９４、または立体メガネ方式のステレオスコピック・システム（GLASSES-BASED STEREOSCOPIC SYSTEM）１４９６など多様な方式の三次元ディスプレイ機器によって三次元で再生される。
【０２４５】
従って、一実施形態によるデータストリーム伝送装置１００が、三次元ハイブリッドフォーマットの基本ビデオデータ、第１付加データ及び第２付加データを、三次元付加情報をＰＭＴ情報に挿入して伝送することができる。また、一実施形態によるデータストリーム受信装置２００は、受信したデータストリームにおいて、ＰＭＴ情報から三次元付加情報を抽出し、これを利用し、データストリームのペイロードに、三次元ハイブリッドフォーマットの基本ビデオデータ、第１付加データ及び第２付加データのような三次元付加情報が挿入されていることを予想することができる。また、一実施形態によるデータストリーム受信装置２００は、ペイロードのビデオデータを抽出した後には、三次元付加情報を利用し、基本視点ビデオ及び付加視点ビデオに復元し、三次元ディスプレイ機器を介して三次元で再生することができる。
【０２４６】
図１５は、一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム生成方法のフローチャートである。
【０２４７】
段階１５１０で、二次元または三次元のマルチメディア・サービスに係わるプログラムにおける視点別ビデオデータを含む少なくとも１つのＥＳが生成される。プログラムにおけるオーディオデータ及び付加データに係わるＥＳも生成される。
【０２４８】
段階１５２０で、少なくとも１つのＥＳに係わる参照情報及び視点別ビデオデータを、視点別に識別して再生するための三次元付加情報を含むプログラムに係わるＰＭＴ情報が生成される。ＰＭＴ情報のうち、当該ＥＳに係わる叙述子情報に、三次元付加情報及び参照情報のうち少なくとも一つが挿入されてもよい。第１実施形態によるＰＭＴ情報の構造によれば、ＰＭＴ情報のうち、基本ＥＳに係わる三次元付加情報が、付加ＥＳに係わる三次元付加情報及び参照情報のうち少なくとも一つを含んでもよい。第２実施形態によるＰＭＴ情報の構造によれば、ＰＭＴ情報が、少なくとも１つのＥＳに係わるそれぞれのＥＳ情報を順次に含み、それぞれのＥＳ情報には、当該ＥＳに係わる三次元付加情報及び参照情報のうち少なくとも一つが含まれる。
【０２４９】
三次元付加情報は、現在ビデオパケットが、二次元または三次元のビデオデータを含むということを知らせるための二次元／三次元通知情報、三次元ビデオの復元及び再生のための三次元叙述子情報、現在プログラムにおける現在二次元／三次元モード、及び未来の二次元／三次元モードの転換を知らせるための二次元／三次元モード転換情報、三次元縦横比情報などを含んでもよい。
【０２５０】
段階１５３０で、少なくとも１つのＥＳをパケット化して生成されたＰＥＳパケット及びＰＭＴ情報を多重化し、ＴＳが生成される。ＴＳは、ペイロードとヘッダとから構成され、ペイロードに、ＰＥＳパケットまたはＰＭＴ情報などのセクションが含まれてもよい。ＴＳは、少なくとも１つのチャネルを介して伝送される。
【０２５１】
図１６は、一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム受信方法のフローチャートである。段階１６１０で、二次元または三次元のマルチメディア・サービスに係わるプログラムに係わるＴＳが受信される。
【０２５２】
段階１６２０で、ＴＳが逆多重化され、プログラムに係わるＰＥＳパケット及びプログラムに係わるＰＭＴ情報が抽出される。
【０２５３】
段階１６３０で、ＰＭＴ情報から、プログラムにおける視点別ビデオデータのＥＳに係わる参照情報及び三次元付加情報が抽出される。第１実施形態によるＰＭＴ情報のうち、基本ＥＳに係わる三次元付加叙述子情報から、付加ＥＳに係わる三次元付加情報及び参照情報のうち少なくとも一つが抽出される。または、第２実施形態によるＰＭＴ情報のうち、付加ＥＳに係わるＥＳ情報または基本ＥＳに係わるＥＳ情報から、三次元付加叙述子情報が抽出され、三次元付加叙述子情報から、付加ＥＳに係わる参照情報及び三次元付加情報が抽出される。
【０２５４】
段階１６４０で、ＰＥＳパケットを逆パケット化して抽出されたＥＳのうち、ＰＭＴ情報から抽出されたＥＳに係わる参照情報を利用し、少なくとも１つのＥＳストリームが復元され、少なくとも１つのＥＳから、プログラムにおける視点別ビデオデータが抽出される。
【０２５５】
三次元付加情報及び参照情報を利用し、視点別ビデオデータを復元し、視点別に再生周期及び再生順序を同期化し、再生位置を合わせて三次元ビデオを再生することによって、視聴者に三次元マルチメディア・サービスが提供される。
【０２５６】
一実施形態によるデータストリーム伝送方法によれば、ＭＰＥＧ ＴＳシステムを基に、三次元ビデオデータを挿入するためのＥＳに係わるストリームタイプを追加する必要なしに、既存ストリームタイプのＥＳを利用し、二次元ビデオ及び三次元ビデオを、各種三次元付加情報及び参照情報と共に伝送することができる。例えば、基本ＥＳのストリームタイプは、周知の符号化方式であるＭＰＥＧ−２規格、ＭＰＥＧ−４／ＡＶＣ規格によるＥＳとして設定し、付加ＥＳのストリームタイプは、ＭＰＥＧ−２規格、ＭＰＥＧ−４／ＡＶＣ規格によるＥＳだけではなく、補助ビデオストリーム（auxiliary video stream）として設定されもする。
【０２５７】
補助ビデオストリームタイプを支援しない受信システムでは、付加ＥＳを認識することができないので、基本ＥＳだけを認識し、現在サービスを二次元ビデオサービスで認識することもできる。従って、既存受信システムが、一実施形態によるデータストリーム生成方法によって生成されたＴＳを受信しても、基準受信システムの機能に合うように、ビデオデータを解釈し、二次元で再生することによって、逆互換性も維持される。
【０２５８】
一実施形態によるデータストリーム受信方法によれば、１つのチャネルを介して、受信された１つのプログラム（番組）に係わるＴＳを介して、基本視点ビデオデータ及び付加視点ビデオデータだけではなく、深度情報及び両眼視差情報が追加して受信される場合、これを復元し、ステレオビデオだけではなく、多視点ビデオが再生される。この場合、ＰＭＴ情報から抽出された三次元付加情報及び参照情報を利用し、多視点ビデオが正確に復元されて再生される。
【０２５９】
一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）のような記録媒体を含む。また、前述の装置の一つ以上の構成要素は、コンピュータで読み取り可能な記録媒体に保存されたコンピュータプログラムを実行するプロセッサまたはマイクロプロセスを含んでもよい。
【０２６０】
以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されねばならない。本発明の範囲は、前述の説明ではなく、特許請求範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれたものであると解釈されねばならないのである。
【技術分野】
【０００１】
本発明は、三次元マルチメディア・サービスを提供するためのデータストリームの送受信に関する。
【背景技術】
【０００２】
ＭＰＥＧ（moving picture experts group） ＴＳ（transport stream）基盤のデジタル放送方式では、送信端が無圧縮のビデオデータ及びオーディオデータをそれぞれのＥＳ（elementary stream）に挿入し、ＥＳ別に多重化して生成されたＴＳをチャネルを介して伝送する。
【０００３】
ＴＳには、ＥＳと共に、ＰＳＩ（program specification information）が共に収録される。ＰＳＩは、代表的なものとして、ＰＡＴ（program association table）情報及びＰＭＴ（program map table）情報を含む。シングルプログラムに係わるプログラム情報を提供するＰＭＴ情報は、ＥＳ別ＰＩＤ（packet identifier）情報を記述し、ＰＡＴ情報は、それぞれのＰＭＴ情報のＰＩＤ情報を記述する。
【０００４】
受信端は、チャネルを介してＴＳを受信し、送信端と反対過程を介して、ＴＳからＥＳを抽出する。ＥＳに収録されたデジタルコンテンツが復元されてディスプレイ装置によって再生される。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、一実施形態によって、三次元付加情報及び参照情報（または、三次元叙述子情報）が、ＭＰＥＧ ＴＳシステムのＰＭＴ情報内のビデオ叙述子情報に追加して挿入され、三次元ビデオを再生するために、三次元付加情報及び参照情報（または、三次元叙述子情報）が認識されて抽出されるものである。
【課題を解決するための手段】
【０００６】
本発明の一実施形態による三次元（３Ｄ）マルチメディア・サービスを提供するためのデータストリーム生成方法は、二次元（２Ｄ）または三次元のマルチメディア・サービスに係わるプログラムから、視点別ビデオデータを含む少なくとも１つのＥＳ（elementary stream）を生成する段階と、前記少なくとも１つのＥＳに係わる参照（reference）情報と、前記視点別ビデオデータを視点別に識別して再生するための三次元付加情報と、を含む前記プログラムに係わるＰＭＴ（program map table）情報を生成する段階と、前記少なくとも１つのＥＳをパケット化（packetizing）して生成されたＰＥＳ（packetized elementary stream）パケットと前記ＰＭＴ情報とを多重化してＴＳ（transport stream）を生成する段階と、を含む。
【発明の効果】
【０００７】
三次元付加情報及び参照情報（または、三次元叙述子情報）を含むＰＭＴ情報が収録されたデータストリームが伝送され、このデータストリームを受信システムが受信する場合、既存ＭＰＥＧ ＴＳシステムによる受信システムは、三次元付加情報及び参照情報（または、三次元叙述子情報）と関係なく、二次元マルチメディア・サービスを提供することができるので、既存ＭＰＥＧ ＴＳシステムとの互換性が維持され、一実施形態によるデータストリーム受信装置が搭載された受信システムは、三次元マルチメディア・サービスを提供することができる。
【０００８】
また、既存ＭＰＥＧ ＴＳシステムで定義されたストリームタイプ情報を利用し、それぞれのＥＳのストリームタイプ情報が設定されるので、既存ＭＰＥＧ ＴＳシステムのデータストリーム構造と比べ、ストリームタイプが追加して新設される必要がない。
【図面の簡単な説明】
【０００９】
【図１】一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム生成装置のブロック図である。
【図２】一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム受信装置のブロック図である。
【図３】ＭＰＥＧ ＴＳシステム基盤のデジタル放送伝送装置の概要図である。
【図４】ＭＰＥＧ ＴＳシステム基盤のデジタル放送受信装置の概要図である。
【図５】一実施形態によるデータストリーム生成装置によって、複数個のビデオＥＳを伝送するためのＭＰＥＧ ＴＳ伝送装置の概要図である。
【図６】一実施形態によるデータストリーム受信装置によって、複数個のビデオＥＳを受信するためのＭＰＥＧ ＴＳ受信装置の概要図である。
【図７】一実施形態による三次元合成フォーマットを図示する図面である。
【図８】一実施形態によって、三次元ビデオを構成する複数個の視点別ビデオデータに係わるＥＳの各種組み合わせを図示する図面である。
【図９Ａ】一実施形態によるＰＭＴ情報の三次元付加情報のうち、基本ＥＳに係わる三次元ビデオ叙述子情報に、付加ＥＳに係わる三次元ビデオ叙述子情報が含まれる一例を図示する図面である。
【図９Ｂ】図９ＡによるＰＭＴ情報のストリーム構造を図示する図面である。
【図１０Ａ】一実施形態によるＰＭＴ情報の三次元付加情報のうち、基本ＥＳに係わる三次元ビデオ叙述子情報及び付加ＥＳに係わる三次元ビデオ叙述子情報が、順次に含まれる一例を図示する図面である。
【図１０Ｂ】図１０ＡによるＰＭＴ情報のストリーム構造を図示する図面である。
【図１１】一実施形態によるモード転換情報の使用例を図示する図面である。
【図１２】左視点ビデオ及び右視点ビデオが異なったサイズで伝送される場合を例示する図面である。
【図１３】一実施形態による縦横比情報の使用例を図示する図面である。
【図１４】一実施形態によるデータストリーム伝送装置及び一実施形態によるデータストリーム受信装置が具現される三次元ビデオデータストリーム通信システムの概要図である。
【図１５】一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム生成方法のフローチャートである。
【図１６】一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム受信方法のフローチャートである。
【発明を実施するための形態】
【００１０】
本発明の一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム生成方法は、二次元または三次元のマルチメディア・サービスに係わるプログラムから、視点別ビデオデータを含む少なくとも１つのＥＳ（elementary stream）を生成する段階と、前記少なくとも１つのＥＳに係わる参照（reference）情報と、前記視点別ビデオデータを視点別に識別して再生するための三次元付加情報と、を含む前記プログラムに係わるＰＭＴ（program map table）情報を生成する段階と、前記少なくとも１つのＥＳをパケット化（packetizing）して生成されたＰＥＳ（packetized elementary stream）パケットと前記ＰＭＴ情報とを多重化してＴＳ（transport stream）を生成する段階と、を含む。
【００１１】
一実施形態による前記ＰＭＴ情報の生成段階は、前記ＰＭＴ情報において、前記少なくとも１つのＥＳのうち基本ＥＳのための叙述子（descriptor）情報に、前記基本ＥＳに挿入された基本ビデオデータに係わる三次元付加情報を挿入する段階と、前記基本ＥＳのための叙述子情報に、前記少なくとも１つのＥＳのうち付加ＥＳに含まれた付加ビデオデータに係わる三次元付加情報及び参照情報のうち少なくとも一つを挿入する段階と、を含み、前記基本ビデオデータ及び前記付加ビデオデータは、それぞれ前記視点別ビデオデータの組み合わせである。
【００１２】
一実施形態による前記ＥＳに係わる参照情報は、当該ＥＳのストリームタイプ（steam type）情報及びＰＩＤ（packet indentifier）情報のうち少なくとも一つを含んでもよい。一実施形態による前記付加ビデオデータに係わる三次元付加情報及び参照情報の挿入段階は、前記付加ＥＳに係わる参照情報のうち、前記付加ＥＳのストリームタイプ（stream type）情報をＭＰＥＧ（moving picture experts group）システムで割り当てられた値に設定される。
【００１３】
一実施形態による前記付加ビデオデータに係わる三次元付加情報及び参照情報の挿入段階は、前記少なくとも１つのＥＳのうち、前記付加ＥＳの個数が複数個である場合、それぞれの付加ＥＳ別に、三次元付加情報及び参照情報のうち少なくとも一つを設定することができる。
【００１４】
一実施形態による前記基本視点ビデオデータに係わる三次元付加情報は、前記基本ビデオデータの映像フォーマット情報、前記基本ビデオデータの映像フォーマットのうち視点別配置順序情報、及び付加ＥＳの個数情報のうち少なくとも一つを含んでもよい。
【００１５】
一実施形態による前記付加ビデオデータに係わる三次元付加情報は、前記付加ビデオデータの映像フォーマット情報、前記基本ビデオデータ及び前記付加ビデオデータのディスプレイ順序情報、子供用あるいは大人用の立体感効果調節情報、及び前記視点別ビデオデータのうち、前記付加ビデオデータを指す付加ビデオインデックス情報のうち少なくとも一つを含んでもよい。
【００１６】
一実施形態による前記ＰＭＴ情報の生成段階は、前記ＰＭＴ情報に、前記少なくとも１つのＥＳ別に順次に、当該ＥＳのストリームタイプ情報、ＰＩＤ情報及びビデオストリーム叙述子情報を含むＥＳ情報を挿入する段階を含んでもよい。
【００１７】
一実施形態による前記ＰＭＴ情報の生成段階は、前記少なくとも１つのＥＳのうち、前記基本ＥＳに含まれた基本ビデオデータに係わる三次元付加情報を含む三次元ビデオ叙述子情報を挿入する段階をさらに含んでもよい。
【００１８】
一実施形態による前記三次元ビデオ叙述子情報の挿入段階は、前記三次元ビデオ叙述子情報に、前記少なくとも１つのＥＳの個数情報、及び前記少なくとも１つのＥＳの映像フォーマット情報を挿入する段階を含んでもよい。一実施例によって、前記少なくとも１つのＥＳの個数が一つである場合、前記映像フォーマット情報は、前記視点別ビデオデータのうち、基本視点ビデオデータ及び付加視点ビデオデータが合成された三次元合成フォーマットを示し、前記少なくとも１つのＥＳの個数が２以上である場合、前記映像フォーマット情報は、前記視点別ビデオデータが、前記基本視点ビデオに係わる前記付加視点ビデオの深度（depth）情報、両眼視差情報及び前記付加視点ビデオデータのうち少なくとも一つと、前記基本視点ビデオデータと、を含む三次元映像フォーマットであってもよい。
【００１９】
一実施形態による前記ＰＭＴ情報の生成段階は、前記少なくとも１つのＥＳのうち付加ＥＳに係わるＥＳ情報に、前記付加ＥＳに含まれた付加ビデオデータの符号化／復号化方式に係わるコーデック情報を挿入することができる。
【００２０】
一実施形態による前記ＰＭＴ情報の生成段階は、前記少なくとも１つのＥＳのうち付加ＥＳに係わるＥＳ情報に、前記三次元付加情報及び参照情報のうち少なくとも一つを含む付加ＥＳビデオ叙述子情報を挿入する段階を含んでもよい。
【００２１】
一実施形態による前記付加ＥＳビデオ叙述子情報の挿入段階は、前記付加ＥＳビデオ叙述子情報に、前記基本視点ビデオに係わる前記付加視点ビデオの深度情報または両眼視差（parallax）情報を、前記付加視点ビデオデータと同時に伝送する三次元ハイブリッドフォーマットであるか否かを示すための情報と、三次元ハイブリッドフォーマット情報と、を挿入する段階を含んでもよい。
【００２２】
一実施形態による前記付加ＥＳビデオ叙述子情報の挿入段階は、前記付加ＥＳビデオ叙述子情報に、前記付加ビデオデータが、前記基本視点ビデオに係わる前記付加視点ビデオの深度情報または両眼視差情報、及び付加視点ビデオデータのうち少なくとも一つであるか否かを示す情報を挿入する段階を含んでもよい。
【００２３】
一実施形態による前記付加ＥＳビデオ叙述子情報の挿入段階は、前記付加ビデオデータが付加視点ビデオデータである場合、前記付加ＥＳビデオ叙述子情報に、前記付加視点ＥＳと関連する基本視点ＥＳに係わるＰＩＤ情報、及び前記付加ビデオデータが左視点または右視点のビデオデータであるかを示す情報のうち少なくとも一つを含む付加視点ビデオパラメータをさらに挿入する段階をさらに含んでもよい。一実施形態による前記付加視点ビデオパラメータは、前記三次元マルチメディア・サービスの再生時、前記基本視点ビデオデータと、前記付加視点ビデオデータとの映像サイズを同一に変換するために、前記付加視点ビデオデータの映像サイズを示す情報を含んでもよい。
【００２４】
一実施形態による前記ＥＳ情報の挿入段階は、前記少なくとも１つのＥＳのうち付加ＥＳに係わるＥＳ情報のうち、前記ストリームタイプ情報をＭＰＥＧシステムで割り当てられた付加ビデオストリーム（auxiliary video stream）値として設定することができる。
【００２５】
一実施形態による前記付加ＥＳビデオ叙述子情報の挿入段階は、前記付加ＥＳの個数が複数個である場合、それぞれの付加ＥＳ別に、付加ＥＳビデオ叙述子情報を設定することができる。
【００２６】
一実施形態による前記ＰＭＴ情報の生成段階は、前記ＰＭＴ情報に、前記ＴＳに三次元ビデオデータが含まれるか否かを示す三次元通知叙述子（notice descriptor）情報を挿入する段階を含んでもよい。一実施形態による前記三次元通知叙述子情報は、現在ＥＳに三次元ビデオデータが含まれていることを示す三次元通知表示アイコンが存在するか否かを示す情報、現在ＰＭＴ情報の二次元モードまたは三次元モードのうち、現在モード情報と異なるモード情報が現在ＰＭＴ情報に後続するＰＭＴ情報に含まれるか否かを示す二次元／三次元モード転換情報、前記二次元／三次元モード転換が生じる時間を示す転換時間スタンプ情報、及び前記二次元／三次元モード転換が生じる場合、画面に表示するメッセージを含んだテキスト情報のうち少なくとも一つを含んでもよい。
【００２７】
一実施形態による前記ＰＭＴ情報の生成段階は、前記ＰＭＴ情報に、現在ＥＳに二次元ビデオデータ、三次元ビデオデータ、並びに二次元及び三次元のビデオデータの混合データのうちいずれか一つが含まれているか否かを示す二次元／三次元モード情報、及び前記現在ＰＭＴ情報の前記二次元／三次元モード情報が現在ＰＭＴ情報に後続するＰＭＴ情報において転換されているか否かを示す二次元／三次元モード転換情報のうち少なくとも一つを含む二次元／三次元モード情報をさらに挿入する段階を含んでもよい。
【００２８】
一実施形態による前記ＰＭＴ情報の生成段階は、前記ＰＭＴ情報に、前記視点別ビデオデータのうち、基本視点ビデオデータ及び付加視点ビデオデータの大きさまたは縦横比（aspect ratio）が異なるように伝送される場合、前記三次元再生時、前記基本視点ビデオデータ及び前記付加視点ビデオデータが表示される領域を調節する方法に係わるクロップオフセット情報を含む縦横比叙述子情報を挿入する段階を含んでもよい。
【００２９】
一実施形態による前記データストリーム生成方法は、前記ＴＳをチャネルに同調化して伝送する段階を含んでもよい。
【００３０】
本発明の一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム受信方法は、二次元または三次元のマルチメディア・サービスに係わるプログラムに係わるＴＳを受信する段階と、前記ＴＳを逆多重化し、前記プログラムに係わるＰＥＳパケット及び前記プログラムに係わるＰＭＴ情報を抽出する段階と、前記ＰＭＴ情報から、前記プログラムにおける視点別ビデオデータを含む少なくとも１つのＥＳに係わる参照情報と、前記視点別ビデオデータを視点別に識別して再生するための三次元付加情報と、を抽出する段階と、前記ＰＥＳパケットを逆パケット化して抽出されたＥＳのうち、前記ＰＭＴ情報から抽出された前記ＥＳに係わる参照情報を利用し、前記少なくとも１つのＥＳを復元し、前記少なくとも１つのＥＳから、前記プログラムにおける視点別ビデオデータを抽出する段階と、を含む。
【００３１】
一実施形態による前記データストリーム受信方法は、前記抽出された視点別ビデオデータを復号化して復元し、前記三次元付加情報及び参照情報のうち少なくとも一つを利用し、三次元で再生する段階をさらに含んでもよい。一実施形態による前記ＰＭＴ情報から三次元付加情報を抽出する段階は、前記ＰＭＴ情報において、前記少なくとも１つのＥＳのうち基本ＥＳのための叙述子情報から、前記基本ＥＳに含まれた基本ビデオデータに係わる三次元付加情報及び付加情報のうち少なくとも一つを抽出する段階と、前記基本ＥＳのための叙述子情報から、前記少なくとも１つのＥＳのうち付加ＥＳに含まれた付加ビデオデータに係わる三次元付加情報及び参照情報のうち少なくとも一つを抽出する段階と、を含み、前記基本ビデオデータ及び前記付加ビデオデータは、それぞれ前記視点別ビデオデータの組み合わせであってもよい。
【００３２】
一実施形態による前記付加ビデオデータに係わる三次元付加情報及び参照情報の抽出段階は、前記付加ＥＳの個数が複数個である場合、それぞれの付加ＥＳ別に、三次元付加情報及び参照情報のうち少なくとも一つを抽出することができる。
【００３３】
一実施形態による前記ＰＭＴ情報からの三次元付加情報及び参照情報の抽出段階は、前記ＰＭＴ情報から、前記少なくとも１つのＥＳ別に順次にＥＳ情報を抽出する段階を含み、前記ＥＳ情報は、当該ＥＳのストリームタイプ情報、ＰＩＤ情報を含む参照情報及び三次元付加情報のうち少なくとも一つを含むビデオストリーム叙述子情報を含んでもよい。
【００３４】
一実施形態による前記ＰＭＴ情報からの三次元付加情報及び参照情報の抽出段階は、前記少なくとも１つのＥＳのうち、前記視点別ビデオデータのうち基本視点ビデオデータを含む基本視点ＥＳに係わるＥＳ情報から、前記視点別ビデオデータに係わる三次元付加情報及び参照情報のうち少なくとも一つを含む三次元ビデオ叙述子情報を抽出する段階をさらに含んでもよい。
【００３５】
一実施形態による前記ＰＭＴ情報からの三次元付加情報及び参照情報の抽出段階は、前記少なくとも１つのＥＳのうち付加ＥＳに係わるＥＳ情報から、前記三次元付加情報及び参照情報のうち少なくとも一つを含む付加ＥＳビデオ叙述子情報を抽出する段階を含んでもよい。
【００３６】
一実施形態による前記ＥＳ情報抽出段階は、前記少なくとも１つのＥＳのうち付加ＥＳに係わるＥＳ情報のうち、前記ストリームタイプ情報がＭＰＥＧシステムで割り当てられた付加ビデオストリーム（auxiliary video stream）値として設定されていてもよい。
【００３７】
一実施形態による前記ＰＭＴ情報からの三次元付加情報及び参照情報の抽出段階は、前記ＰＭＴ情報から、前記ＴＳに三次元ビデオデータが含まれるか否かを示す三次元通知叙述子情報を抽出する段階を含んでもよい。
【００３８】
一実施形態による前記ＰＭＴ情報からの三次元付加情報及び参照情報の抽出段階は、前記ＰＭＴ情報から、二次元／三次元モード情報及び二次元／三次元モード転換情報のうち少なくとも一つをさらに抽出する段階を含んでもよい。
【００３９】
一実施形態による前記ＰＭＴ情報からの三次元付加情報及び参照情報の抽出段階は、前記ＰＭＴ情報から、クロップオフセット情報を含む縦横比叙述子情報を抽出する段階を含んでもよい。
【００４０】
一実施形態による前記三次元再生段階は、前記三次元マルチメディア・サービスの三次元ビデオの基本視点ビデオデータ及び付加視点ビデオデータを復元する段階と、前記三次元付加情報及び参照情報のうち少なくとも一つを利用し、前記基本視点ビデオデータ及び前記付加視点ビデオデータを三次元再生フォーマットに変換して再生する段階を含んでもよい。
【００４１】
一実施形態による前記三次元再生段階は、前記三次元マルチメディア・サービスの三次元ビデオの基本視点ビデオデータ及び二次元ビデオデータのうち一つである第１視点ビデオデータと、前記三次元ビデオの付加視点ビデオ及び前記基本視点ビデオと前記付加視点ビデオとの差情報、深度情報及び両眼視差情報のうち少なくとも一つを含む第２視点ビデオデータと、を復元する段階と、前記三次元付加情報及び参照情報のうち少なくとも一つを利用し、前記第１視点ビデオデータ及び前記第２視点ビデオデータを三次元再生フォーマットに変換して再生する段階と、を含んでもよい。
【００４２】
一実施形態による前記三次元再生段階は、前記三次元マルチメディア・サービスの三次元ビデオの基本視点ビデオデータ及び付加視点ビデオデータが合成された三次元合成フォーマットデータである第１視点ビデオデータと、前記基本視点ビデオ及び前記付加視点ビデオ間の差情報、深度情報及び両眼視差情報のうち一つである第２視点ビデオデータと、を復元し、前記三次元付加情報及び参照情報のうち少なくとも一つを利用し、前記第１視点ビデオデータ及び前記第２視点ビデオデータを三次元再生フォーマットに変換して再生することができる。一実施形態による前記復元段階は、前記第１視点ビデオデータ及び前記第２視点ビデオデータを利用し、基本視点及び付加視点の中間視点ビデオデータを生成する段階を含み、前記三次元再生フォーマットに変換して再生する段階は、前記三次元付加情報及び参照情報のうち少なくとも一つを利用し、前記第１視点ビデオデータ、前記中間視点ビデオデータ及び前記第２視点ビデオデータを三次元再生フォーマットに変換して再生することができる。
【００４３】
一実施形態による前記三次元再生段階は、三次元ビデオを構成する多数の二次元ビデオデータを復元する段階と、前記三次元付加情報及び参照情報のうち少なくとも一つを利用し、前記多数の二次元ビデオデータを選択的に再生したり、あるいはＰＩＰ（picture-in-picture）再生モードで再生する段階を含んでもよい。
【００４４】
一実施形態による前記データストリーム受信方法は、前記抽出された視点別ビデオデータを復号化して復元し、前記三次元付加情報及び参照情報のうち少なくとも一つを利用し、三次元で再生する段階をさらに含み、前記三次元再生段階は、前記縦横比叙述子情報のうち前記クロップオフセット情報に基づいて、前記付加視点ビデオデータに比べて、前記基本視点ビデオデータが外れる領域をクロップ（cropping）し、前記クロップされた基本視点ビデオデータ及び前記付加視点ビデオデータを利用し、三次元で再生することができる。
【００４５】
一実施形態による前記データストリーム受信方法は、前記抽出された視点別ビデオデータを復号化して復元し、前記三次元付加情報及び参照情報のうち少なくとも一つを利用し、三次元で再生する段階をさらに含み、前記三次元再生段階は、前記縦横比叙述子情報のうち前記クロップオフセット情報に基づいて、前記基本視点ビデオデータに比べて、前記付加視点ビデオデータが小さい領域に、当該基本視点ビデオデータを充填した拡張された付加視点ビデオデータを生成する段階と、前記基本視点ビデオデータ及び前記拡張された付加視点ビデオデータを利用して三次元で再生する段階と、を含んでもよい。
【００４６】
本発明の一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム生成装置は、二次元または三次元のマルチメディア・サービスに係わるプログラムにおける視点別ビデオデータを含む少なくとも１つのＥＳを生成するＥＳ生成部と、前記少なくとも１つのＥＳに係わる参照情報と、前記視点別ビデオデータを視点別に識別して再生するための三次元付加情報と、を含む前記プログラムに係わるＰＭＴ情報を生成するＰＭＴ生成部と、前記少なくとも１つのＥＳをパケット化して生成されたＰＥＳパケットと前記ＰＭＴ情報とを多重化してＴＳを生成するＴＳ生成部と、前記ＴＳをチャネルに同調化して伝送するチャネル伝送部と、を含む。
【００４７】
一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム受信装置は、二次元または三次元のマルチメディア・サービスに係わるプログラムに係わるＴＳを受信するＴＳ受信部と、前記ＴＳを逆多重化し、前記プログラムに係わるＰＥＳパケット及び前記プログラムに係わるＰＭＴ情報を抽出するＴＳ逆多重化部と、前記ＰＭＴ情報から、前記プログラムにおける視点別ビデオデータを含む少なくとも１つのＥＳに係わる参照情報と、前記視点別ビデオデータを視点別に識別して再生するための三次元付加情報と、を抽出するＰＭＴ三次元付加情報抽出部と、前記ＰＥＳパケットを逆パケット化して抽出されたＥＳのうち、前記ＰＭＴ情報から抽出された前記ＥＳに係わる参照情報を利用し、前記少なくとも１つのＥＳを復元し、前記少なくとも１つのＥＳから、前記プログラムにおける視点別ビデオデータを抽出するＥＳ復元部と、前記抽出された視点別ビデオデータを復号化して復元し、前記三次元付加情報及び参照情報のうち少なくとも一つを利用し、三次元で再生する再生部と、を含む。
【００４８】
本発明は、一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム生成方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。
【００４９】
本発明は、一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム受信方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。
【００５０】
本発明の多様な実施形態については、前記添付された図面を参照しつつ説明する。以下、羅列された構成要素に先行する「少なくとも１つの」というような表現は、羅列された構成要素をいずれも限定するものであり、個々の構成要素を限定するというものではない。また、「部」と命名された構成要素は、ハードウェア構成要素でもって具現されたり、あるいはコンピュータまたはハードウェアプロセッサによって実行されるソフトウェア構成要素でもあってもよい。
【００５１】
以下、図１ないし図１６を参照しつつ、一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム生成装置及びこれを具現する方法、並びに一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム受信装置及びこれを具現する方法について説明する。
【００５２】
図１は、一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム生成装置のブロック図である。
【００５３】
一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム生成装置１００は、ＥＳ（elementary stream）生成部１１０、ＰＭＴ（elementary stream）生成部１２０、ＴＳ（transport stream）生成部１３０及びチャネル伝送部１４０を含む。
【００５４】
一実施形態によるＥＳ生成部１１０は、二次元ビデオまたは三次元ビデオの視点別ビデオデータを受信し、視点別ビデオデータを含む少なくとも１つのＥＳを生成する。受信された視点別ビデオデータ、関連オーディオデータ及び付加データは、１つのプログラムで構成され、一実施形態によるＥＳ生成部１１０は、二次元または三次元のマルチメディア・サービスに係わるプログラムを構成するための視点別ビデオデータ及びオーディオデータに係わるそれぞれのＥＳを生成することができる。
【００５５】
三次元マルチメディア・サービスのための視点別ビデオデータは、基本視点ビデオデータ及び少なくとも１つの付加ビデオデータを含んでもよい。付加ビデオデータは、付加視点ビデオデータそれ自体であるか、あるいは基本視点ビデオデータ及び付加視点ビデオデータが合成された三次元合成フォーマットのビデオデータ、基本視点ビデオデータまたは付加視点ビデオデータ間の深度（depth）情報、両眼視差（parallax）情報及び差（difference）情報などでもある。
【００５６】
一実施形態によるＥＳ生成部１１０は、複数個の視点別ビデオデータをそれぞれのＥＳに挿入することができる。１つのプログラムのビデオデータのためのＥＳは、基本ＥＳ及び少なくとも１つの付加ＥＳを含んでもよい。一実施形態による基本ＥＳには、基本視点ビデオデータが挿入されたり、あるいは基本視点ビデオデータ及び付加視点ビデオデータが合成された三次元合成フォーマットのビデオデータが挿入されてもよい。付加ＥＳには、付加ビデオデータが挿入されてもよい。
【００５７】
一実施形態によるＰＭＴ生成部１２０は、ＥＳ生成部１１０で生成されたＥＳと関連したプログラムに係わるＰＭＴ情報を生成する。ＰＭＴ情報は、プログラムを構成するビデオデータ、オーディオデータ、付加データなどのデータに係わる参照（reference）情報を含む。参照情報は、データが含まれたＴＳのＰＩＤ（packet identifier）情報及びストリームタイプ（stream type）情報のうち少なくとも１つの情報であってもよい。１つのプログラムに係わる視点別ビデオデータが挿入されたＥＳが複数個生成される場合、一実施形態によるＰＭＴ情報は、ＥＳ別ＰＩＤ情報及びストリームタイプ情報のうち少なくとも一つを収録することができる。
【００５８】
一実施形態によるＰＭＴ生成部１２０は、ＰＭＴ情報に、当該プログラムの三次元ビデオが２以上の視点別ビデオから構成される特性から起因する三次元付加情報及び参照情報のうち少なくとも一つを挿入する。一実施形態による三次元付加情報は、当該プログラムの視点別ビデオデータを視点別に識別して再生するのに利用される。一実施形態によれば、１つのプログラムに係わる視点別ビデオデータが挿入されたＥＳが複数個生成される場合、ＥＳ別に、三次元付加情報及び参照情報のうち少なくとも一つが設定される。
【００５９】
それぞれのＥＳについては、ＥＳのストリームタイプ情報が設定される。一実施形態によるＰＭＴ生成部１２０は、参照情報に、当該ビデオデータが挿入された基本ＥＳ及び付加ＥＳのストリームタイプ情報を含めることができる。例えば、一実施形態によるデータストリーム生成装置１００がＭＰＥＧ（moving picture experts group） ＴＳシステムに基づく場合、基本ＥＳのストリームタイプ情報及び付加ＥＳのストリームタイプ情報が、ＭＰＥＧシステムで定義されたストリームタイプ情報を利用して設定することができる。
【００６０】
一実施形態によるＰＭＴ生成部１２０は、ＰＭＴ情報のうち当該ＥＳに係わる叙述子（descriptor）情報に、三次元付加情報及び参照情報のうち少なくとも一つを挿入することができる。一実施形態によるＰＭＴ生成部１２０は、基本ＥＳ及び付加ＥＳに係わる三次元付加情報または参照情報をＰＭＴ情報に挿入する位置によって、多様な構造のＰＭＴ情報を生成することができる。
【００６１】
第１実施形態によるＰＭＴ情報において、基本ＥＳに係わる三次元付加情報は、付加ＥＳに係わる三次元付加情報及び参照情報のうち少なくとも一つを含む。
【００６２】
一実施形態によるＰＭＴ生成部１２０は、第１実施形態によるＰＭＴ情報のうち基本ＥＳに係わる三次元付加叙述子情報内に、付加ＥＳに係わる三次元付加情報及び参照情報のうち少なくとも一つを挿入することができる。すなわち、基本ＥＳに係わる三次元付加情報または参照情報が、付加ＥＳに係わる三次元付加情報または参照情報と階層関係をなす。
【００６３】
第２実施形態によるＰＭＴ情報は、少なくとも１つのＥＳに係わるそれぞれのＥＳ情報を順次に含む。一実施形態によるＰＭＴ生成部１２０は、第２実施形態によるＰＭＴ情報のうち、付加ＥＳに係わるＥＳ情報、または基本ＥＳに係わるＥＳ情報に、三次元付加叙述子情報を挿入することができる。すなわち、基本ＥＳに係わる三次元付加情報または参照情報が、付加ＥＳに係わる三次元付加情報または参照情報と、並列関係をなす。
【００６４】
例えば、三次元付加情報は、当該ＥＳに挿入されたビデオデータの視点識別情報、三次元合成フォーマット情報、視点優先順位情報、視点別ビデオデータのサイズ情報、コーデック情報など視点別ビデオデータについての情報などを含んでもよい。第１実施形態によるＰＭＴ情報、当該参照情報及び三次元付加情報は、図９Ａ及び図９Ｂ、並びに表５ないし表６を参照して後述する。第２実施形態によるＰＭＴ情報、当該参照情報及び三次元付加情報は、図１０Ａ及び図１０Ｂ、並びに表７ないし表２０を参照して後述する。
【００６５】
一実施形態によるＰＭＴ生成部１２０は、ＰＭＴ情報にＴＳに挿入されたビデオデータが、二次元または三次元のビデオデータであるかを示す二次元／三次元モード情報、二次元／三次元モード転換通知情報または二次元／三次元通知叙述子情報を挿入することができる。このような二次元／三次元モードまたは二次元／三次元モード転換についての三次元付加情報に係わる詳細な説明は、表３、４、２１及び２２、並びに図１１を参照して後述する。
【００６６】
一実施形態によるＰＭＴ生成部１２０は、基本視点ビデオデータ及び付加視点ビデオデータの大きさまたは縦横比（aspect ratio）が異なるように伝送される場合、三次元再生時、基本視点ビデオデータ及び付加視点ビデオデータが表示される領域を調節する方法に係わるクロップオフセット情報及び縦横比叙述子情報を、ＰＭＴ情報に挿入することができる。このようなクロップオフセットまたは縦横比に係わる三次元付加情報についての詳細な説明は、表２３、並びに図１２及び１３を参照して後述する。
【００６７】
一実施形態によるＴＳ生成部１３０は、ＥＳ生成部１１０から入力された少なくとも１つのＥＳを、ＥＳをパケット化してＰＥＳ（packetized elementary stream）パケットを生成する。一実施形態によるＴＳ生成部１３０は、ＰＥＳパケット、及びＰＭＴ生成部１２０から入力されたＰＭＴ情報を多重化してＴＳを生成する。
【００６８】
一実施形態によるチャネル伝送部１４０は、ＴＳ生成部１３０から入力されたＴＳをチャネルに同調化してチャネルを介して伝送する。ＥＳ生成部１１０、ＴＳ生成部１３０及びチャネル伝送部１４０の詳細な動作は、図５のシングルプログラム、ＰＥＳパケット及びＴＳ生成過程を介して詳細に後述する。
【００６９】
図２は、一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム受信装置のブロック図である。
【００７０】
一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム受信装置２００は、ＴＳ受信部２１０、ＴＳ逆多重化部２２０、ＰＭＴ付加情報抽出部２３０、ＥＳ復元部２４０及び再生部２５０を含む。
【００７１】
一実施形態によるＴＳ受信部２１０は、所定チャネルを介して、二次元または三次元のマルチメディア・サービスに係わるプログラムに係わるＴＳを受信する。一実施形態によるＴＳ逆多重化部２２０は、ＴＳ受信部２１０によって受信されたＴＳを逆多重化し、プログラムに係わるＰＥＳパケット及びプログラムに係わるＰＭＴ情報を抽出する。一実施形態によるＰＭＴ付加情報抽出部２３０は、ＴＳ逆多重化部２２０によって抽出されたＰＭＴ情報から、プログラムにおける視点別ビデオデータを含む少なくとも１つのＥＳまたはＴＳに係わる参照情報を抽出する。
【００７２】
一実施形態によるＥＳ復元部２４０は、ＴＳ逆多重化部２２０によって抽出されたＰＥＳパケットを逆パケット化してＥＳを復元する。このとき、ＰＭＴ情報から抽出されたＥＳに係わる参照情報を利用し、同じ種類のデータが挿入されたＥＳがそれぞれ復元される。一実施形態によるＥＳ復元部２４０は、ＥＳからプログラムの視点別ビデオデータを抽出する。類似の方式で、一実施形態によるＥＳ復元部２４０は、オーディオＥＳを復元してオーディオデータを抽出することができる。
【００７３】
一実施形態によるＰＭＴ付加情報抽出部２３０は、ＴＳ逆多重化部２２０によって抽出されたＰＭＴ情報から、二次元ビデオ及び三次元ビデオの視点別ビデオデータに係わる三次元付加情報及び参照情報のうち少なくとも一つを抽出する。
【００７４】
１つのプログラムに係わる視点別ビデオデータが挿入されたＥＳが複数個存在する場合、一実施形態によるＰＭＴ付加情報抽出部２３０は、ＥＳ別に、三次元付加情報及び参照情報のうち少なくとも一つを抽出することもできる。
【００７５】
一実施形態によるＰＭＴ付加情報抽出部２３０は、参照情報から、当該ＥＳに係わるストリームタイプ情報を抽出することができる。例えば、一実施形態によるデータストリーム受信装置１００がＭＰＥＧ ＴＳシステムに基づく場合、基本ＥＳのストリームタイプ情報及び付加ＥＳのストリームタイプ情報は、ＭＰＥＧシステムで定義されたストリームタイプ情報を利用して設定されている。
【００７６】
一実施形態によるＰＭＴ付加情報抽出部２３０は、ＰＭＴ情報のうち当該ＥＳに係わる叙述子情報から、三次元付加情報及び参照情報のうち少なくとも一つを抽出することができる。一実施形態によるＰＭＴ付加情報抽出部２３０は、ＰＭＴ情報に挿入する位置によって、多様な構造のＰＭＴ情報から、基本ＥＳ及び付加ＥＳに係わる三次元付加情報及び参照情報のうち少なくとも一つを抽出することができる。例えば、基本ＥＳに係わる三次元付加情報の下位階層に付加ＥＳに係わる三次元付加情報及び参照情報が含まれた第１実施形態によるＰＭＴ情報と、少なくとも１つのＥＳに係わるそれぞれのＥＳに係わる三次元付加情報及び参照情報がＥＳ別に順次に含まれた第２実施形態によるＰＭＴ情報と、がある。
【００７７】
一実施形態によるＰＭＴ付加情報抽出部２３０は、第１実施形態によるＰＭＴ情報のうち、基本ＥＳに係わる三次元付加叙述子情報から、付加ＥＳに係わる三次元付加情報及び参照情報のうち少なくとも一つを抽出することができる。
【００７８】
一実施形態によるＰＭＴ生成部１２０は、第２実施形態によるＰＭＴ情報のうち、付加ＥＳに係わるＥＳ情報または基本ＥＳに係わるＥＳ情報から、三次元付加叙述子情報を抽出することができる。
【００７９】
例えば、一実施形態によるＰＭＴ生成部１２０は、三次元付加情報から、当該ＥＳに挿入されたビデオデータの視点識別情報、三次元合成フォーマット情報、視点優先順位情報、視点別ビデオデータのサイズ情報、コーデック情報など視点別ビデオデータについての情報などを抽出することができる。一実施形態によるＰＭＴ生成部１２０は、ＰＭＴ情報から、ＴＳに二次元ビデオデータまたは三次元ビデオデータが含まれているか否かを示す二次元／三次元モード情報、二次元／三次元モード転換通知情報または三次元通知叙述子情報を抽出することができる。
【００８０】
一実施形態によるＰＭＴ生成部１２０は、三次元再生時、基本視点ビデオデータ及び付加視点ビデオデータが表示される領域を調節する方法に係わるクロップオフセット（cropping offset）情報及び縦横比叙述子情報を、ＰＭＴ情報から抽出することができる。基本視点ビデオデータ及び付加視点ビデオデータの大きさまたは縦横比が異なって伝送される場合、基本視点ビデオデータ及び付加視点ビデオデータを利用した三次元再生時、それぞれの視点別ビデオデータの大きさを同一に調整するために、クロップオフセット情報または縦横比叙述子情報が利用される。
【００８１】
一実施形態による再生部２５０は、ＥＳ復元部２４０によって抽出された視点別ビデオデータを復号化して復元し、ＰＭＴ付加情報抽出部２３０によって抽出された三次元付加情報及び参照情報のうち少なくとも一つを利用し、復元された三次元ビデオ映像を三次元で再生する。
【００８２】
一実施形態による再生部２５０は、基本ＥＳ及び付加ＥＳから抽出された視点別ビデオデータを、再生部２５０が再生できる三次元再生フォーマットに変換して再生することができる。例えば、再生部２５０が基本ＥＳから基本視点ビデオデータを抽出し、付加ＥＳから付加視点ビデオデータを抽出することができる。再生部２５０は、抽出された基本視点ビデオデータ及び付加視点ビデオデータを、三次元再生フォーマットに変換して再生することができる。
【００８３】
または、再生部２５０が基本ＥＳから基本視点ビデオデータを抽出し、付加ＥＳから、付加視点ビデオデータ、深度情報、両眼視差情報及び差情報のうち一つまたは組み合わせを抽出することができる。または、再生部２５０が基本ＥＳから三次元合成フォーマットのビデオデータを抽出し、付加ＥＳから、深度情報、両眼視差情報及び差情報のうち少なくとも一つを抽出することができる。この場合、再生部２５０は、抽出されたビデオデータから、基本視点ビデオデータ及び付加視点ビデオデータを復元し、三次元再生フォーマットに変換して再生することができる。
【００８４】
一実施形態によるデータストリーム生成装置１００によって生成されたＰＭＴ情報は、三次元ビデオデータを含む複数個のＥＳ別に、ＥＳ情報、並びに三次元付加情報及び参照情報のうち少なくとも一つを含んでもよいので、三次元ビデオデータストリームと共に、三次元付加情報及び参照情報のうち少なくとも一つが送受信されるので、受信端で、三次元ビデオが正確に再生される。受信端は、セットトップボックス、ディスプレイ機器、及びマルチメディアプロセッサが装着されたコンピュータなどを含む。
【００８５】
既存ＭＰＥＧ ＴＳシステムでは、二次元ビデオに係わるＴＳを仮定し、１つのＰＭＴ情報で、１つのビデオに係わる叙述子情報だけ設定される。
【００８６】
一実施形態によるデータストリーム生成装置１００は、既存ＭＰＥＧ ＴＳシステムのＰＭＴ情報のうちビデオ叙述子情報に、三次元付加情報及び参照情報（または、三次元叙述子情報）を含めることによって、一実施形態によるデータストリーム受信装置２００が搭載された受信端は、三次元付加情報及び参照情報（または、三次元叙述子情報）を認識して抽出し、三次元ビデオ再生時に利用することができ、既存ＭＰＥＧ ＴＳシステムによる受信システムは、三次元付加情報及び参照情報（または、三次元叙述子情報）を認識することができないので、既存叙述子情報だけを判読して利用する。
【００８７】
従って、一実施形態によるデータストリーム生成装置１００が、三次元付加情報及び参照情報（または、三次元叙述子情報）を含むＰＭＴ情報が収録されたデータストリームを伝送し、このデータストリームを受信システムが受信する場合、既存ＭＰＥＧ ＴＳシステムによる受信システムは、三次元付加情報及び参照情報（または、三次元叙述子情報）と関係なく、二次元マルチメディア・サービスを提供することができるので、既存ＭＰＥＧ ＴＳシステムとの互換性が維持され、一実施形態によるデータストリーム受信装置２００が搭載された受信システムは、三次元マルチメディア・サービスを提供することができる。
【００８８】
また、一実施形態によるデータストリーム生成装置１００及び一実施形態によるデータストリーム受信装置２００が、既存ＭＰＥＧ ＴＳシステムで定義されたストリームタイプ情報を利用し、それぞれのＥＳのストリームタイプ情報が設定されるので、既存ＭＰＥＧ ＴＳシステムのデータストリーム構造と比べて、ストリームタイプが追加して新設される必要がない。
【００８９】
図３は、ＭＰＥＧ ＴＳシステム基盤のデジタル放送伝送装置の概要図である。デジタル放送伝送装置３００は、シングルプログラム符号化器（single program encoder）３１０を介して、１つのビデオＴＳ及びオーディオＴＳを含むシングルプログラム（ＳＰ）ＴＳを生成し、複数個のシングルプログラム符号化器を介して生成した一つ以上のシングルプログラムＴＳを、多重化器（multiplexer（ＭＵＸ））３８０を介して、マルチプログラムＴＳ（ＭＰ ＴＳ）を生成して伝送する。デジタル放送伝送装置３００は、ＭＭＳ（multi mode service）方式のＭＰＥＧ ＴＳシステムに基づくので、複数個のプログラムを伝送するために、シングルプログラムＴＳが多重化されたマルチプログラムＴＳを伝送することができる。
【００９０】
シングルプログラム符号化器３１０は、ビデオ符号化器（video encoder）３２０、オーディオ符号化器（audio encoder）３３０、パケット化器（packetizer）３４０，３５０及び多重化器（ＭＵＸ）３６０を含む。
【００９１】
ビデオ符号化器３２０及びオーディオ符号化器３３０は、それぞれ無圧縮のビデオデータ及びオーディオデータを符号化し、ビデオＥＳ（video ＥＳ）及びオーディオＥＳ（audio ＥＳ）を生成して出力する。シングルプログラム符号化器３１０のパケット化器３４０，３５０は、それぞれビデオＥＳ及びオーディオＥＳをパケット化してＰＥＳヘッダを挿入し、ビデオＰＥＳパケット（video ＰＥＳ）及びオーディオＰＥＳパケット（audio ＰＥＳ）を生成する。
【００９２】
多重化器（ＭＵＸ）３６０を介して、ビデオＰＥＳパケット及びオーディオＰＥＳパケットと各種付加データとが多重化され、第１シングルプログラムＴＳ（ＳＰＴＳ１）が構成される。ＰＭＴ情報は、ビデオＰＥＳパケット及びオーディオＰＥＳパケットと共に多重化され、第１シングルプログラムＴＳに含まれてもよい。ＰＭＴ情報は、それぞれのシングルプログラムＴＳに含まれ、それぞれのＴＳのＰＩＤ情報を記述する。
【００９３】
多重化器（ＭＵＸ）３８０を介して、複数個のシングルプログラムＴＳ（ＳＰ ＴＳ１，ＳＰ ＴＳ２，…）がＰＡＴ情報と共に多重化され、１つのマルチプログラムＴＳ（ＭＰ ＴＳ）が構成される。
【００９４】
ＰＭＴ情報及びＰＡＴ情報は、ＰＳＩ及びＰＳＩＰ生成器（program specification information（ＰＳＩ） and program and system information protocol（ＰＳＩＰ） generator）３７０によって生成される。
【００９５】
マルチプログラムＴＳに、ＰＡＴ情報及びＰＳＩＰを挿入することができる。ＰＡＴ情報は、当該マルチプログラムＴＳに含まれたシングルプログラムＴＳに係わるＰＭＴ情報のＰＩＤ情報を記述する。
【００９６】
図４は、ＭＰＥＧ ＴＳシステム基盤のデジタル放送受信装置の概要図である。
【００９７】
デジタル放送受信装置４００は、デジタルデータストリームを入力され、ビデオデータ、オーディオデータ及び付加データを抽出する。
【００９８】
デジタルＴＶチュナ（ＤＴＶ tuner）４１０は、視聴者によるチャネル選択（physical channel select）信号に基づいて選択されたチャネルの電波周波数に同調し、当該電波を介して受信された信号だけを選択的に抽出する。
【００９９】
チャネル復号化及び復調器（channel decoder and demodulator）４２０は、チャネル信号からマルチプログラムＴＳ（ＭＰ ＴＳ）を抽出する。デジタル放送受信装置４００は、ＭＭＳ方式のＭＰＥＧ ＴＳシステムに基づくので、マルチプログラムＴＳを受信し、シングルプログラムＴＳに逆多重化することができる。マルチプログラムＴＳは、逆多重化器（demultiplexer（ＤＥＭＵＸ）４３０を介して、複数個のシングルプログラムＴＳ（ＳＰ ＴＳ１，ＳＰ ＴＳ２，…）及びＰＳＩＰに分離される。
【０１００】
視聴者によるプログラム選択（program select）信号を介して選択された第１シングルプログラムＴＳ（ＳＰ ＴＳ１）は、シングルプログラム復号化器（single program decoder）４４０を介して復号化される。シングルプログラム復号化器４４０は、シングルプログラム符号化器３１０の逆順で構成される。第１シングルプログラムＴＳから、それぞれビデオＰＥＳパケット、オーディオＰＥＳパケット及び付加データ（data）が復元される。ビデオＰＥＳパケット、オーディオＰＥＳパケットは、それぞれ逆パケット化器（depacketizer）４６０，４６５を介して、ＥＳ形態に復元された後、それぞれビデオ復号化器（video decoder）４７０とオーディオ復号化器（audio decoder）４７５とを介して、ビデオデータ及びオーディオデータに復元される。ビデオデータは、ディスプレイ処理部（display processing）４８０を介して、ディスプレイ可能な形態に変換される。
【０１０１】
クロック復元及びＡＶ同期化装置（clock recovery and ＡＶ synchronization）４９０は、第１シングルプログラムＴＳから抽出されたＰＣＲ（program clock reference）情報及びタイムスタンプ（time stamp）情報を利用し、ビデオデータ及びオーディオデータの再生時間を同期化させることができる。
【０１０２】
ユーザから入力されたプログラム選択信号に基づいて、マルチプログラムＴＳ（ＭＰ ＴＳ）から抽出されたＰＳＩＰと、プログラムガイド・データベース（program guide database、４４５）とを比較し、プログラムガイド・データベース４４５からユーザのプログラム選択信号に対応するチャネル及びプログラムが検索される。検索されたチャネル信号及びプログラム入力信号は、それぞれデジタルＴＶチュナ４１０及び逆多重化器４３０に出力されてもよい。また、プログラムガイド・データベース４４５からオンスクリーン・ディスプレイ（on-screen display）情報が、ディスプレイ処理部４８０に伝送されてオンスクリーン・ディスプレイ機能が支援される。
【０１０３】
前述の図１を参考にし、一実施形態によるデータストリーム生成装置１００が、互いに関連した三次元ビデオの視点別ビデオデータ、オーディオデータ及び付加データを含む１つのプログラムに係わるＴＳ、すなわち、シングルプログラムＴＳを生成する場合を例に挙げて説明したが、一実施形態によるデータストリーム生成装置１００の機能は、１つのビデオに限定されるものではない。すなわち、一実施形態によるデータストリーム生成装置１００に、複数個のビデオデータ、オーディオデータ及び付加データが入力されるならば、複数個のビデオが含まれたシングルプログラムＴＳを生成することができる。
【０１０４】
図５は、一実施形態によるデータストリーム生成装置１００によって、複数個のビデオＥＳを伝送するためのＭＰＥＧ ＴＳ伝送装置の概要図である。
【０１０５】
ＭＰＥＧ ＴＳ伝送装置５００は、１つのプログラム内に複数個のビデオが含まれたＭＰＥＧ ＴＳを支援するために、一実施形態によるデータストリーム生成装置１００を拡張した実施形態に該当する。すなわち、ＭＰＥＧ ＴＳ伝送装置５００のシングルプログラム符号化器５１０、多重化器（ＭＵＸ）５８０の動作は、一実施形態によるデータストリーム生成装置１００のＥＳ生成部１１０及びＴＳ生成部１３０の動作に対応し、ＭＰＥＧ ＴＳ伝送装置５００のＰＳＩ及びＰＳＩＰ生成器５７０の動作は、一実施形態によるデータストリーム生成装置１００のＰＭＴ生成部１２０の動作に対応し、ＭＰＥＧ ＴＳ伝送装置５００のチャネル符号化及び変調化器５９０及びＤＴＶ伝送器５９５の動作は、第３実施形態によるデータストリーム生成装置１００のチャネル伝送部１４０の動作に対応する。
【０１０６】
シングルプログラム符号化器５１０は、三次元ビデオを構成する第１ビデオ（video １）、第２ビデオ（video ２）及び第３ビデオ（video ３）を入力され、それぞれのビデオ符号化器（video encoder）５２０，５３０，５４０を介して、第１ビデオＥＳ（video ＥＳ１）、第２ビデオＥＳ（video ＥＳ２）及び第３ビデオＥＳ（video ＥＳ３）を生成する。第１ビデオ、第２ビデオ及び第３ビデオは、それぞれ三次元ビデオを構成する第１視点ビデオ、第２視点ビデオ及び第３視点ビデオであって、または第１視点ビデオ、第２視点ビデオ及び第３視点ビデオに係わるデータの組み合わせでもある。
【０１０７】
一実施形態によるビデオ符号化器５２０，５３０は、それぞれ独立したビデオ符号化方式によってもよい。例えば、第１ビデオ及び第２ビデオは、ＭＰＥＧ−２ビデオ符号化方式によって符号化され、第３ビデオは、ＭＰＥＧ ＡＶＣ（advanced video coding）／Ｈ．２６４ビデオ符号化方式によって符号化されもする。
【０１０８】
第１ビデオＥＳ（video ＥＳ１）、第２ビデオＥＳ（video ＥＳ２）及び第３ビデオＥＳ（video ＥＳ３）は、それぞれのパケット化器（packetizer）５２５，５３５，５４５を介して、第１ビデオＰＥＳ（video ＰＥＳ１）、第２ビデオＰＥＳパケット（video ＰＥＳ２）及び第３ビデオＰＥＳパケット（video ＰＥＳ３）にパケット化される。
【０１０９】
シングルプログラム符号化器５１０は、オーディオ（audio）を入力され、オーディオ符号化器（audio encoder）５５０を介して、オーディオＥＳ（audio ＥＳ）に変換され、オーディオＥＳ（audio ＥＳ）は、パケット化器５５５を介して、オーディオＰＥＳパケット（audio ＰＥＳ）に変換される。
【０１１０】
シングルプログラム符号化器５１０の多重化器５６０は、第１ビデオＰＥＳパケット、第２ビデオＰＥＳパケット及び第３ビデオＰＥＳパケットとオーディオＰＥＳパケットとを共に多重化し、１つのシングルプログラムＴＳ（ＳＰ ＴＳ１）を出力することができる。シングルプログラム符号化器５１０が入力された各種付加データ（data）と、ＰＳＩ及びＰＳＩＰ生成器（ＰＳＩ and ＰＳＩＰgenerator）５７０によって生成されたＰＭＴ情報も、多重化器５６０によって第１ビデオＰＥＳパケット、第２ビデオＰＥＳパケット及び第３ビデオＰＥＳパケット及びオーディオＰＥＳパケットと共に、第１シングルプログラムＴＳ（ＳＰ ＴＳ１）に挿入されて出力されてもよい。
【０１１１】
他の三次元ビデオデータが、第２シングルプログラムＴＳ（ＳＰ ＴＳ２）に多重化されて変換される。ＰＳＩ及びＰＳＩＰ生成器（ＰＳＩ and ＰＳＩＰgenerator）５７０は、第１シングルプログラムＴＳ（ＳＰ ＴＳ１）及び第２シングルプログラムＴＳ（ＳＰ ＴＳ２）に含まれたＰＭＴ情報のＰＩＤ情報を収録するＰＡＴ情報、並びに各種プログラム及びシステム情報に係わるＰＳＩＰを生成することができる。多重化器５８０は、第１シングルプログラムＴＳ（ＳＰ ＴＳ１）及び第２シングルプログラムＴＳ（ＳＰ ＴＳ２）、並びにＰＡＴ情報を多重化し、１つのマルチプログラムＴＳ（ＭＰ ＴＳ）を出力することができる。
【０１１２】
マルチプログラムＴＳ（ＭＰ ＴＳ）は、チャネル符号化及び変調化器５９０によって、チャネルに合うように符号化及び同調化される。ＤＴＶ伝送器５９５は、チャネルに割り当てられたＴＳを送信することができる。
【０１１３】
シングルプログラム符号化器５１０は、ＴＳをそれぞれ独立したデジタルデータ通信方式によって生成することもできる。プログラム別に、ＴＳがいずれも同じデジタルデータ通信方式によって生成されて伝送することができるが、それぞれ異なるデジタルデータ通信方式によって生成されて伝送されもする。例えば、ＡＴＳＣ（Advanced Television Systems Committee）地上波放送通信方式では、Ｅ−ＶＳＢ（enhanced ＶＳＢ（vestigial side band）方式を支援し、Ｅ−ＶＳＢ方式は、ＭＰＥＧ方式とは異なる方式で伝送ストリームを構成することができる。しかし、プログラムに係わるＰＭＴ情報が生成されてＴＳに挿入されて伝送されることは、ＭＰＥＧ方式と同一である。従って、第１シングルプログラムＴＳは、ＭＰＥＧ ＴＳの形態、第２シングルプログラムＴＳは、Ｅ−ＶＳＢ伝送ストリームの形態で伝送され、第１シングルプログラムＴＳ及び第２シングルプログラムＴＳには、それぞれプログラムを構成する視点別ビデオデータに係わる三次元付加情報を含むＰＭＴ情報が挿入されてもよい。
【０１１４】
前述の図２を参考にし、一実施形態によるデータストリーム受信装置２００が１つのプログラムに係わるＴＳ、すなわち、シングルプログラムＴＳを受信する場合を例に挙げて説明したが、一実施形態によるデータストリーム受信装置２００の機能は、１つのプログラムに限定されるものではない。すなわち、一実施形態によるデータストリーム受信装置２００に、複数個のプログラムに係わるプログラム別ＴＳを受信し、複数個のＴＳからプログラム別ＰＭＴ情報を抽出し、複数個のプログラムのビデオデータ、オーディオデータ及び付加データを抽出することができる。
【０１１５】
以下、図６を参照し、一実施形態によるデータストリーム受信装置２００の１個のプログラムが、複数個のビデオを含むＭＰＥＧ ＴＳを支援する場合について説明する。
【０１１６】
図６は、一実施形態によるデータストリーム受信装置２００によって、複数個のビデオＥＳを受信するためのＭＰＥＧ ＴＳ受信装置の概要図である。
【０１１７】
ＭＰＥＧ ＴＳ受信装置６００は、１個のプログラムが複数個のビデオを含むＭＰＥＧ ＴＳを支援するために一実施形態によるデータストリーム受信装置２００を拡張した実施形態に該当する。すなわち、ＭＰＥＧ ＴＳ受信装置６００のチャネル復号化及び復調器６１５、逆多重化器６２０及びシングルプログラム復号化器６３０の動作は、一実施形態によるデータストリーム受信装置１００のＴＳ受信部２１０、ＴＳ逆多重化部２２０、ＰＭＴ付加情報抽出部２３０及びＥＳ復元部２４０の動作に対応する。
【０１１８】
デジタルＴＶチュナ６１０は、視聴者による選択されたチャネルの電波を介して受信された信号だけを選択的に抽出する。チャネル復号化及び復調器６１５は、チャネル信号からマルチプログラムＴＳを抽出する。マルチプログラムＴＳは、逆多重化器６３０を介して複数個のシングルプログラムＴＳ（ＳＰ ＴＳ１，ＳＰ ＴＳ２，…）及びＰＳＩＰに分離される。
【０１１９】
視聴者によって選択された第１シングルプログラムＴＳ（ＳＰ ＴＳ１）は、シングルプログラム復号化器６３０を介して復号化される。第１シングルプログラムＴＳが逆多重化され、それぞれ第１ビデオＰＥＳパケット（video ＰＥＳ１）、第２ビデオＰＥＳパケット（video ＰＥＳ２）、第３ビデオＰＥＳパケット（video ＰＥＳ３）、オーディオＰＥＳパケット（audio ＰＥＳ）及び付加データ（data）が復元される。第１ビデオＰＥＳパケット、第２ビデオＰＥＳパケット及び第３ビデオＰＥＳパケットは、それぞれ逆パケット化器６５０，６６０，６７０を介して、第１ビデオＥＳ（video ＥＳ１）、第２ビデオＥＳ（video ＥＳ２）及び第３ビデオＥＳ（video ＥＳ３）に復元された後、それぞれビデオ復号化器（video decoder）６５３，６６３，６７３を介して、第１ビデオ、第２ビデオ及び第３ビデオに復元される。第１ビデオ、第２ビデオ及び第３ビデオは、それぞれディスプレイ処理部６５５，６６５，６７５を介して、ディスプレイ可能な形態に変換される。
【０１２０】
オーディオＰＥＳパケット（audio ＰＥＳ）も、逆パケット化器６８０とオーディオ復号化器６８３とを介してオーディオデータに復元される。
【０１２１】
クロック復元及びＡＶ同期化装置６９０は、第１シングルプログラムＴＳから抽出されたＰＣＲ情報及びタイムスタンプ情報を利用し、ビデオデータ及びオーディオデータの再生時間を同期化させることができる。
【０１２２】
ユーザから入力されたプログラム選択信号に基づいて、プログラムガイド・データベース６３５からユーザのプログラム選択信号に対応するチャネル及びプログラムに係わる信号が、デジタルＴＶチュナ６１０及び逆多重化器６３０に伝送される。また、オンスクリーン・ディスプレイ（on-screen display）情報がプログラムガイド・データベース６３５からディスプレイ処理部６５５，６６５，６７５に伝送される。
【０１２３】
従って、ＭＰＥＧ ＴＳ受信装置６００は、１つのチャネルを介して伝送され、三次元ビデオの第１ビデオ、第２ビデオ及び第３ビデオ、並びにオーディオに係わる１つのマルチプログラムＴＳを抽出し、１つのマルチプログラムＴＳを逆多重化し、所望するシングルプログラムＴＳを選択的に抽出することができる。また、ＭＰＥＧ ＴＳ受信装置６００は、抽出されたシングルプログラムＴＳから、三次元ビデオの第１ビデオ及び第２ビデオ及び第３ビデオに係わるビデオＥＳを選択的に抽出し、所望するビデオデータを復元することができる。
【０１２４】
このとき、ＭＰＥＧ ＴＳ受信装置６００は、第１シングルプログラムＴＳからＰＭＴ情報を抽出し、ＰＭＴ情報から、第１シングルプログラムの三次元ビデオに係わる三次元付加情報または三次元叙述子情報を抽出することができる。三次元付加情報または三次元叙述子情報を利用し、三次元ビデオを構成する視点別ビデオデータを正確に識別することによって、三次元ビデオが正確に再生される。
【０１２５】
一実施形態によるデータストリーム生成装置１００によって生成され、一実施形態によるデータストリーム受信装置２００によって受信されるＴＳのペイロードに挿入される三次元ビデオデータは、三次元ビデオを構成する視点に係わる視点別ビデオデータを含まねばならない。以下、説明の便宜のために、三次元ビデオにおいて、左視点ビデオ及び右視点ビデオから構成されるステレオ映像を利用する。しかし、本発明の多様な実施形態は、左視点ビデオ及び右視点ビデオの２視点ビデオから構成されるステレオ映像だけに限定されるものではなく、３以上の視点ビデオから構成された三次元ビデオにも適用される。
【０１２６】
三次元ビデオデータとしては、１つの映像に三次元ビデオを構成する左視点映像データ及び右視点映像データがいずれも挿入された三次元合成フォーマットと、２以上の映像に左視点映像データ、右視点映像データ、深度情報、両眼視差情報または差情報のうち３以上の組み合わせが挿入される三次元ハイブリッドフォーマットとがある。以下、図７及び図８を参考にして、三次元合成フォーマット及び三次元ハイブリッドフォーマットについて説明する。
【０１２７】
図７は、一実施形態による三次元合成フォーマットを図示している。
【０１２８】
三次元合成フォーマット（３Ｄ＿composite＿format）としては、サイドバイサイド・フォーマット（side-by-side format）、トップアンドボトム・フォーマット（top-and-bottom format）、垂直ラインインターリーブド・フォーマット（vertical line interleaved format）、水平ラインインターリーブド・フォーマット（horizontal line interleaved format）、フィールドシーケンシャルフォーマット（field sequential format）及びフレームシーケンシャル・フォーマット（frame sequential format）がある。、
サイドバイサイド・フォーマットは、三次元合成フォーマット映像の左側領域及び右側領域に相応する左視点映像及び右視点映像が並んで配列された映像フォーマットである。トップアンドボトム・フォーマットは、三次元合成フォーマット映像の上領域及び下領域に相応する左視点映像及び右視点映像が並んで配列された映像フォーマットである。
【０１２９】
垂直ラインインターリーブド・フォーマットは、三次元合成フォーマット映像の奇数番目の垂直ライン及び偶数番目の垂直ラインに相応する左視点映像及び右視点映像が並んで配列された映像フォーマットである。水平ラインインターリーブド・フォーマットは、三次元合成フォーマット映像の奇数番目の水平ライン及び偶数番目の水平ラインに相応する左視点映像及び右視点映像が並んで配列された映像フォーマットである。
【０１３０】
フィールド／フレームシーケンシャル・フォーマット（field/frame sequential format）は、三次元合成フォーマット映像の奇数番目のフレーム／情報、及び偶数番目のフレーム／情報に相応する左視点映像及び右視点映像が並んで配列された映像フォーマットである。
【０１３１】
サイドバイサイド・フォーマット、トップアンドボトム・フォーマット、垂直ラインインターリーブド・フォーマット、水平ラインインターリーブド・フォーマットの三次元映像は、原本映像の解像度の半分（half）である左視点映像及び右視点映像を有する。
【０１３２】
三次元ビデオデータが三次元合成フォーマットの形態で、付加ＥＳなしに１つのＥＳにのみ挿入された場合、一実施形態による三次元付加情報は、現在三次元ビデオデータの映像フォーマットの種類を示す三次元合成フォーマット情報（１ＥＳ＿format）を含んでもよい。すなわち、現在ＥＳに挿入された三次元ビデオデータの三次元合成フォーマットが、サイドバイサイド・フォーマット、トップアンドボトム・フォーマット、垂直ラインインターリーブド・フォーマット、水平ラインインターリーブド・フォーマット、フィールドシーケンシャル・フォーマット及びフレームシーケンシャル・フォーマットのうちいずれか一つであるかということによって、三次元合成フォーマット情報（１ＥＳ＿format）値が、図７で図示されたように、３ビットで割り当てられる。
【０１３３】
図８は、一実施形態によって、三次元ビデオを構成する複数個の視点別ビデオデータに係わるＥＳの各種組み合わせを図示している。
【０１３４】
２以上のＥＳに、三次元ビデオデータが挿入される場合、それぞれのＥＳに、左視点映像データ、右視点映像データ、深度（depth）情報、両眼視差（parallex）情報または差情報が挿入される三次元ハイブリッドフォーマットのビデオデータが挿入されてもよい。
【０１３５】
三次元ハイブリッドフォーマットの種類としては、２つのＥＳのうち、第１ＥＳに左視点ビデオデータが挿入され、第２ＥＳに付加ビデオデータが挿入されるフォーマットがある。第１ハイブリッドフォーマット、第２ハイブリッドフォーマット及び第３ハイブリッドフォーマットで、第２ＥＳに挿入される付加ビデオデータは、それぞれ深度情報、両眼視差情報及び右視点ビデオデータであってもよい。
【０１３６】
三次元ハイブリッドフォーマットの種類としては、２以上のＥＳのうち、第１ＥＳに左視点ビデオデータが挿入され、第２ＥＳまたは第３ＥＳに、右視点ビデオデータと共に、深度情報及び両眼視差情報のうちいずれか一つが挿入されるフォーマットがある。第４ハイブリッドフォーマットの第２ＥＳに、右視点ビデオデータ、第３ＥＳに、深度情報が挿入される。第５ハイブリッドフォーマットの第２ＥＳに、深度情報、第３ＥＳに、右視点ビデオデータが挿入される。第６ハイブリッドフォーマットの第２ＥＳに、右視点ビデオデータ及び深度情報が１つの映像に合成された付加ビデオデータが挿入される。第７ハイブリッドフォーマットの第２ＥＳに、右視点ビデオデータ、第３ＥＳに、両眼視差情報が挿入される。第８ハイブリッドフォーマットの第２ＥＳに、両眼視差情報、第３ＥＳに、右視点ビデオデータが挿入される。第９ハイブリッドフォーマットの第２ＥＳに、右視点ビデオデータ及び両眼視差情報が１つの映像に合成された付加ビデオデータが挿入される。
【０１３７】
図８に図示された三次元ハイブリッドフォーマットは例示であり、三次元ハイブリッドフォーマットの組み合わせ及び順序は、これに限定されるものではない。
【０１３８】
三次元ビデオデータが２以上のＥＳに挿入された場合、一実施形態による三次元付加情報は、現在三次元ビデオデータの映像フォーマットの種類を示す三次元ハイブリッドフォーマット情報（Multi＿ＥＳ＿format）を含んでもよい。すなわち、現在ＥＳに挿入された三次元ビデオデータの三次元ハイブリッドフォーマットが、第１ハイブリッドフォーマットないし第９ハイブリッドフォーマットのうちいずれか一つであるかということによって、三次元ハイブリッドフォーマット情報（Multi＿ＥＳ＿format）値が図８で図示されたように、４ビットで割り当てられる。
【０１３９】
以下の表１は、ＭＰＥＧ ＴＳシステムのＰＭＴ情報のシンタックスを（syntax）示している。一実施形態によるデータストリーム生成装置１００及び一実施形態によるデータストリーム受信装置２００は、ＴＳ及びＰＭＴ情報を利用するが、ＴＳ構造は、ＭＰＥＧ ＴＳシステム以外に、他のデジタル通信方式でも採択している。従って、一実施形態によるデータストリーム生成装置１００及び一実施形態によるデータストリーム受信装置２００がＴＳに挿入されるＰＭＴ情報も、表１に限定されるものではない。
【０１４０】
【表１】
一実施形態によれば、ＰＭＴ情報シンタックスのうち、予約情報（「reserved」）に、表３の二次元／三次元モード情報（「２Ｄ／３Ｄ＿mode」）及び表４の二次元／三次元モード転換通知情報（「notice＿indicator」）が挿入されてもよい。
【０１４１】
一実施形態によれば、ＰＭＴ情報シンタックスのうち、最初のfor文は、現在ＰＭＴ情報が記述するプログラムに係わる各種特性を示す情報が収録されるプログラムループ（loop）であり、プログラムループの叙述子領域（「descriptor（）」）に、表２１の三次元モード叙述子情報（「３Ｄ＿mode＿descriptor（）」）が挿入されてもよい。
【０１４２】
一実施形態によれば、ＰＭＴ情報シンタックスのうち２番目のfor文は、現在ＰＭＴ情報が記述するＥＳに係わる各種特性を示す情報が収録されるＥＳループであり、ＥＳループの叙述子領域（「descriptor（）」）に、表５の三次元ストリーム叙述子情報（「３Ｄ＿stream＿Descriptor（）」）、表２１の三次元モード叙述子情報（「３Ｄ＿mode＿descriptor（）」）及び表２２の二次元／三次元モード転換通知叙述子情報（「３Ｄ＿notice＿descriptor（）」）が挿入されてもよい。
【０１４３】
ストリームタイプ情報（「stream＿type」）は、当該ＥＳのストリームタイプを示す。表２は、ＭＰＥＧ ＴＳシステムのＩＳＯ／ＩＥＣ １３８１８−１規格で定義されたストリームタイプと、それぞれのストリームタイプとに割り当てられた値（Value）を表示している。
【０１４４】
【表２】
それぞれのＥＳにおいて、ストリームタイプ情報は、当該ＥＳのタイプによって、表２のストリームタイプのうち一つに設定される。ただし、表２のストリームタイプは、一実施形態によるデータストリーム生成装置１００及び一実施形態によるデータストリーム受信装置２００が採択することができるＥＳのタイプ種類を例示するものであり、採択可能なストリームタイプの種類が、表２のストリームタイプに必ずしも限定されるものではない。
【０１４５】
以下、図９Ａ及び図９Ｂ、図１０Ａ及び図１０Ｂを参照し、ＰＭＴ情報に三次元付加情報が挿入される位置によって分類される第１実施形態によるＰＭＴ情報及び第２実施形態のＰＭＴ情報の構造が、表１のＰＭＴ情報シンタックスと比較して詳細に記述してある。
【０１４６】
図９Ａは、一実施形態によるＰＭＴ情報の三次元付加情報のうち、基本ＥＳに係わる三次元ビデオ叙述子情報に、付加ＥＳに係わる三次元ビデオ叙述子情報が含まれる一例を図示している。
【０１４７】
第１実施形態によるＰＭＴ情報９００は、第１ビデオＥＳに係わる第１ＥＳループ（VIDEO １ＥＳ LOOP）９１０を含む。第１ＥＳループ（９１０は、第１ビデオＥＳに係わるストリームタイプ情報（VIDEO １ STREAM TYPE）、ＰＩＤ情報（VIDEO １ ＰＩＤ）及び第１ビデオ叙述子情報（VIDEO １ DESCRIPTOR）９１５を含んでもよい。第１ビデオ叙述子情報９１５は、第２ビデオＥＳに係わる第２ＥＳループ（VIDEO ２ ＥＳ LOOP）９２０及び第３ビデオＥＳに係わる第３ＥＳループ（VIDEO ３ ＥＳ LOOP）９３０を含んでもよい。
【０１４８】
第２ＥＳループ９２０及び第３ＥＳループ９３０は、それぞれ第２ビデオに係わる三次元付加情報が収録された第２ビデオ叙述子情報（VIDEO ２ DESCRIPTOR）９２５、及び第３ビデオに係わる三次元付加情報が収録された第３ビデオ叙述子情報（VIDEO ３ DESCRIPTOR）９３５を含んでもよい。
【０１４９】
第１実施形態によるＰＭＴ情報９００は、オーディオＥＳに係わるオーディオＥＳループ（AUIDO ＥＳ LOOP）９４０も含んでもよい。オーディオＥＳループ９４０は、オーディオＥＳに係わるストリームタイプ情報（AUDIO STREAM TYPE）、ＰＩＤ情報（AUDIO ＰＩＤ）及びオーディオ叙述子情報（AUDIO DESCRIPTOR）９４５を含んでもよい。
【０１５０】
すなわち、表１のＰＭＴ情報の２番目のfor文は、第１ビデオＥＳループ９１０に対応し、２番目のfor問い合わせ叙述子領域に、第１ビデオ叙述子情報９１５が挿入され、同時に、第１ビデオ叙述子情報９１５の下位階層に、第２ビデオＥＳループ９２０及び第３ビデオＥＳループ９３０が挿入されることによって、２番目のfor問い合わせ叙述子領域に、第２ビデオ叙述子情報９２５及び第３ビデオ叙述子情報９３５が挿入されてもよい。すなわち、第１ビデオ叙述子情報９１５、第２ビデオ叙述子情報９２５及び第３ビデオ叙述子情報９３５の間には、階層的構造が形成される。
【０１５１】
図９Ｂは、図９ＡによるＰＭＴ情報のストリーム構造を図示している。
【０１５２】
第１実施形態によるＰＭＴ情報のＰＭＴストリーム９５０は、第１ビデオＥＳ（VIDEO １ＥＳ）ループ９５５を含み、第１ビデオＥＳループ９５５は、「stream＿type」フィールド９５５、「Elementary＿ＰＩＤ」フィールド（９５２）、「ＥＳ＿ｉｎｆｏ＿ｌｅｎｇｔｈ」フィールド（９５３）及び「Descriptorｓ」フィールド９５４を含む。それぞれの情報に当該情報が挿入される。
【０１５３】
第１ビデオＥＳループ９５５の「Descriptors」フィールド９５４に、第１ＥＳ叙述子情報９６０が挿入される。第１ＥＳ叙述子情報９６０は、「Descriptor＿tag」フィールド９６１、「Descriptor＿length」フィールド９６２、「Main＿Video＿format」フィールド９６３、「Ｌ／Ｒ＿first」フィールド（９６４）及び「ｎｕｍ＿of＿ｓｕｂ＿stream」フィールド９６５を含む。「Main＿Video＿format」フィールド９６３に、第１ビデオの映像フォーマットについての情報が挿入され、「Ｌ／Ｒ＿first」フィールド９６４に、三次元合成フォーマットにおける左視点映像及び右視点映像の配置順序についての情報が挿入され、「ｎｕｍ＿of＿ｓｕｂ＿stream」フィールド９６５に、付加ＥＳの個数についての情報が挿入されてもよい。
【０１５４】
第１ビデオＥＳループ９５５の「Descriptors」フィールド９５４において、第１ＥＳ叙述子情報９６０に続き、第２ビデオＥＳ（VIDEO ２ ＥＳ）ループ９７０及び第３ビデオＥＳ（VIDEO ３ ＥＳ）ループ９８０が、第１ビデオＥＳ叙述子情報の下位階層に含まれてもよい。「ｎｕｍ＿of＿ｓｕｂ＿stream」フィールド９６５の値ほど、複数個の付加ＥＳループが第１ＥＳ叙述子情報９６０に続き、第１ビデオＥＳループ９５５の「Descriptors」フィールド９５４に含まれてもよい。
【０１５５】
第２ビデオＥＳループ９７０及び第３ビデオＥＳループ９８０は、それぞれ、「ｓｕｂ＿stream＿type」フィールド９７１，９８１、「ｓｕｂ＿video＿ＰＩＤ」フィールド９７２，９８２、「ｓｕｂ＿video＿Format」フィールド９７３，９８３、「picture＿display＿ｏｒｄｅｒ」フィールド９７４，９８４、「ｓｕｂ＿ｖｉｅｗ＿ｉｎｆｏ」フィールド（９７５、９８５）及び「ｓｕｂ＿ｖｉｅｗ＿ｉｎｄｅｘ」フィールド（９７６、９８６）を含んでもよい。
【０１５６】
「ｓｕｂ＿stream＿type」フィールド９７１，９８１に第２、３ビデオＥＳのストリームタイプ情報が挿入され、「ｓｕｂ＿video＿ＰＩＤ」フィールド９７２，９８２に第２、３ビデオＥＳのＰＩＤ情報が挿入され、「ｓｕｂ＿video＿Format」フィールド９７３，９８３に第２、３ビデオデータの映像フォーマット情報が挿入されてもよい。「picture＿display＿order」フィールド９７４，９８４に、第１ビデオ、第２ビデオ及び第３ビデオなどを含み、三次元ビデオを構成する視点別ビデオの視点による再生順序についての情報が挿入されてもよい。「ｓｕｂ＿view＿ｉｎｆｏ」フィールド９７５，９８５に、子供用または大人用の立体感効果を調節するための情報が挿入され、「ｓｕｂ＿view＿index」フィールド９７６，９８６に付加ビデオのうち、第２ビデオ及び第３ビデオのインデックス情報が挿入されてもよい。
【０１５７】
図１０Ａは、一実施形態によるＰＭＴ情報の三次元付加情報のうち、基本ＥＳに係わる三次元ビデオ叙述子情報及び付加ＥＳに係わる三次元ビデオ叙述子情報が順次に含まれる一例を図示している。
【０１５８】
第２実施形態によるＰＭＴ情報１０００に、第１ビデオＥＳに係わる第１ＥＳループ（VIDEO １ＥＳ LOOP）１０１０、第２ビデオＥＳに係わる第２ＥＳループ（VIDEO ２ ＥＳ LOOP）１０２０、第３ビデオＥＳに係わる第３ＥＳループ（VIDEO ３ ＥＳ LOOP）９３０及びオーディオＥＳに係わるオーディオＥＳループ（AUIDO ＥＳ LOOP）１０４０を順次に挿入することができる。
【０１５９】
第１ＥＳループ１０１０は、第１ビデオＥＳに係わるストリームタイプ情報（VIDEO １ STREAM TYPE）、ＰＩＤ情報（VIDEO １ ＰＩＤ）及び第１ビデオ叙述子情報（VIDEO １ DESCRIPTOR）１０１５を含んでもよい。
【０１６０】
類似の方式で、第２ＥＳループ１０２０は、第３ビデオＥＳに係わるストリームタイプ情報（VIDEO ２ STREAM TYPE）、ＰＩＤ情報（VIDEO ２ ＰＩＤ）及びビデオ叙述子情報（VIDEO ２ DESCRIPTOR）１０２５を含み、第３ＥＳループ１０３０は、第３ビデオＥＳに係わるストリームタイプ情報（VIDEO ３ STREAM TYPE）、ＰＩＤ情報（VIDEO ３ ＰＩＤ）及びビデオ叙述子情報（VIDEO ３ DESCRIPTOR）１０３５を含んでもよい。
【０１６１】
この場合、付加ＥＳの第２ＥＳ及び第３ＥＳのストリームタイプ情報は、ストリームタイプのうち「Auxiliary video stream」として選択されてもよい。例えば、表２のストリームタイプのうち「Auxiliary video stream as defined in ＩＳＯ／ＩＥＣ ２３００２−３」が第２ＥＳ及び第３ＥＳのストリームタイプ情報として選択されてもよい。
【０１６２】
オーディオＥＳループ１０４０は、オーディオＥＳに係わるストリームタイプ情報（AUDIO STREAM TYPE）、ＰＩＤ情報（AUDIO ＰＩＤ）及びオーディオ叙述子情報（AUDIO Descriptor）１０４５を含んでもよい。
【０１６３】
すなわち、表１のＰＭＴ情報の２番目のfor文は、第２ビデオＥＳループ１０１０、第２ビデオＥＳループ１０２０及び第３ビデオＥＳループ１０３０が挿入され、それぞれのＥＳループ１０１０，１０２０，１０３０のビデオ叙述子情報１０１５，１０２５，１０３５に、それぞれの三次元付加情報が挿入されてもよい。すなわち、第１ビデオＥＳループ１０１０、第２ビデオＥＳループ１０２０及び第３ビデオＥＳループ１０３０の間に並列的構造が形成される。
【０１６４】
図１０Ｂは、図１０ＡによるＰＭＴ情報のストリーム構造を図示している。
【０１６５】
第２実施形態によるＰＭＴ情報のＰＭＴストリーム１０５０は、第１ビデオＥＳ（VIDEO １ ＥＳ）ループ１０５５を含み、第１ビデオＥＳループ１０５５に続き、第２ビデオＥＳ（VIDEO ２ ＥＳ）ループ１０６０及び第３ビデオＥＳ（VIDEO ３ ＥＳ）ループ１０７０を続けて含んでもよい。三次元ビデオを構成するために、第１ビデオＥＳと関連した複数個の付加ＥＳループが存在する場合、ＰＭＴストリーム１０５０において、第１ビデオＥＳループ１０５５に続き、それぞれのＥＳループが挿入されてもよい。
【０１６６】
第１ビデオＥＳループ１０５５、第２ビデオＥＳループ１０６０及び第３ビデオＥＳループ１０７０は、それぞれ、「Stream＿type」フィールド１０５１，１０６１，１０７１、「ＰＩＤ」フィールド１０５２，１０６２，１０７２及び「Descriptors」フィールド１０５３，１０６３，１０７３を含んでもよい。
【０１６７】
「Stream＿type」フィールド１０５１，１０６１，１０７１に、当該ビデオＥＳのストリームタイプ情報が挿入され、「ＰＩＤ」フィールド１０５２，１０６２，１０７２に、当該ビデオＥＳのＰＩＤ情報が挿入されてもよい。「Descriptors」フィールド１０５３，１０６３，１０７３には、当該ビデオＥＳのビデオデータに係わるビデオ特性についての情報が含まれ、当該ビデオＥＳが三次元を構成するための特性に係わる三次元付加情報または三次元叙述子情報が含まれてもよい。
【０１６８】
以上、図９Ａ及び図９Ｂを参照し、第１実施形態によるＰＭＴ情報の構造を例示し、図１０Ａ及び図１０Ｂを参照し、第２実施形態によるＰＭＴ情報の構造を例示したが、第１ＥＳループ、第２ＥＳループ、第３ＥＳループが階層的または並列的な構造によって挿入されるならば、それぞれのＰＭＴ情報に挿入されるパラメータまたは情報などの種類、順序、定義及び使用例は変更される。
【０１６９】
一実施形態による三次元付加情報は、現在ＥＳへの二次元ビデオデータまたは三次元ビデオデータの挿入いかんを示すための情報を含んでもよい。例えば、表３の二次元／三次元モード情報（「２Ｄ／３Ｄ＿mode」）及び表４の二次元／三次元モード転換通知情報（「notice＿indicator」）がこれに該当する。
【０１７０】
【表３】
一実施形態による二次元／三次元モード情報（「２Ｄ／３Ｄ＿mode」）は、現在ＥＳに挿入されたビデオデータが、二次元ビデオ、三次元ビデオまたは二次元／三次元混合ビデオであるかを示す。二次元／三次元混合ビデオは、二次元ビデオ及び三次元ビデオが混在しているビデオストリームであり、１つのチャネルを介して、二次元ビデオ及び三次元ビデオが共に送受信できる。一実施形態によるデータストリーム生成装置１００は、ＰＭＴ情報に、二次元／三次元モード情報（「２Ｄ／３Ｄ＿mode」）を挿入し、現在ビデオデータに、二次元ビデオ及び三次元ビデオ、並びに二次元／三次元混合ビデオのうちいずれか一つが挿入されているという情報を知らせることができる。一実施形態によるデータストリーム受信装置２００は、ＰＭＴ情報から抽出された二次元／三次元モード情報（「２Ｄ／３Ｄ＿mode」）に基づいて、１つのチャネルを介して、受信したビデオデータストリームに、二次元ビデオ、三次元ビデオ及び二次元／三次元ビデオデータのうちいずれか一つが抽出されるかを予想できる。
【０１７１】
【表４】
一実施形態による二次元／三次元モード転換通知情報（「notice＿indicator」）は、現在ＥＳのうち、ビデオデータが二次元ビデオデータから三次元ビデオデータに転換されるか否かを示す。一実施形態によるデータストリーム生成装置１００は、現在ＥＳのビデオデータが、二次元ビデオデータから三次元ビデオデータに転換されるか否かを示すために、二次元／三次元モード転換通知情報をＰＭＴ情報に挿入することができる。一実施形態によるデータストリーム受信装置２００は、ＰＭＴ情報から抽出した二次元／三次元モード転換通知情報に基づいて、現在受信したビデオデータのうち、二次元ビデオデータ及び三次元ビデオデータ間の転換が生じるか否かを予想することができる。
【０１７２】
一実施形態によるデータストリーム生成装置１００のＰＭＴ生成部１２０は、一実施形態による二次元／三次元モード情報及び二次元／三次元モード転換通知情報を、ＰＭＴ情報の予約割当（reserved）領域に挿入することができる。一実施形態によるデータストリーム受信装置２００のＰＭＴ付加情報抽出部２３０が、一実施形態による二次元／三次元モード情報及び二次元／三次元モード転換通知情報を、ＰＭＴ情報の予約割当（reserved）領域から抽出することができる。一実施形態によるデータストリーム受信装置２００は、二次元／三次元モード情報及び二次元／三次元モード転換通知情報を利用し、現在ＥＳから、いずれのビデオデータ及び関連付加情報をパーシングして抽出するかを決定することができる。
【０１７３】
一実施形態による二次元／三次元モード情報及び二次元／三次元モード転換通知情報は、多様な用途によって、第１実施形態によるＰＭＴ情報及び第２実施形態によるＰＭＴ情報で、選択的に挿入されることもあれば、挿入されないこともある。
【０１７４】
以下の表５の三次元ストリーム叙述子情報（「３Ｄ＿stream＿Descriptor」）及び表６の視点別配置順序情報（「ＬＲ＿first」）は、第１実施形態によるＰＭＴ情報に挿入される三次元付加情報に属する。
【０１７５】
【表５】
表５の三次元ストリーム叙述子情報（「３Ｄ＿stream＿Descriptor」）は、図９Ａ及び図９Ｂを参照して説明した第１ビデオＥＳループ９１０，９５５に挿入された叙述子情報９１５，９５４に挿入することができる。表５の三次元ストリーム叙述子情報（「３Ｄ＿stream＿Descriptor」）において、for文が付加ＥＳループ、すなわち、図９Ａ及び図９Ｂの第２ビデオＥＳループ９２０，９７０に対応する。三次元ストリーム叙述子情報（「３Ｄ＿stream＿Descriptor」）に、基本ＥＳに係わる三次元付加情報が挿入され、付加ＥＳループに、付加ＥＳに係わる三次元付加情報が挿入されてもよい。
【０１７６】
第１実施形態によるＰＭＴ生成部１２０は、三次元付加情報に、三次元ビデオデータを視点別に識別して再生するための情報として、基本ビデオデータの映像フォーマット情報（Main＿Video＿format）、基本ビデオデータの映像フォーマットのうち視点別配置順序情報（ＬＲ＿first）、及び付加ＥＳの個数情報（ｎｕｍ＿of＿ｓｕｂ＿stream）のうち少なくとも一つを含んでもよい。付加ＥＳの個数情報（ｎｕｍ＿of＿ｓｕｂ＿stream）によって、三次元ストリーム叙述子情報（「３Ｄ＿stream＿Descriptor」）に挿入される付加ＥＳループの個数が決定され、それぞれの付加ＥＳループに、三次元付加情報が挿入されてもよい。
【０１７７】
第１実施形態によるＰＭＴ生成部１２０は、三次元付加情報として、付加ＥＳのストリームタイプ情報（ｓｕｂ＿stream＿type）、付加ＥＳのＰＩＤ情報（ｓｕｂ＿video＿ＰＩＤ）、付加視点ビデオデータの映像フォーマット情報（ｓｕｂ＿video＿Format）、基本視点ビデオデータ及び付加視点ビデオデータのディスプレイ順序情報（picture＿display＿order）、子供用または大人用の立体感効果を調節するための情報（ｓｕｂ＿view＿ｉｎｆｏ）、及び三次元ビデオデータのうち付加視点ビデオデータを指す付加視点インデックス情報（ｓｕｂ＿view＿index）のうち、少なくとも一つをＰＭＴ情報に挿入することができる。
【０１７８】
視点別配置順序情報（ＬＲ＿first）によって、現在ＥＳの三次元合成フォーマットのうち、いずれの領域が左視点映像であり、右視点映像であるかが表現される。表６を参照すれば、一実施形態によるフォーマット配置順序が、図７の三次元合成フォーマットにおいて、左視点映像と右視点映像とが配置される位置を定義することができる。
【０１７９】
【表６】
「ＬＲ＿first」値が０である場合、左視点ビデオデータが、サイドバイサイド・フォーマット映像の左側領域、トップアンドボトム・フォーマットの上領域、垂直方向ラインインターリーブド・フォーマットの奇数番目のライン、水平方向ラインインターリーブド・フォーマットでの奇数番目のライン、フィールドシーケンシャル・フォーマットの奇数番目のパラメータ及びフレームシーケンシャル・フォーマットの奇数番目のフレームに配置される。また、現在三次元ビデオデータが２つのＥＳ（Two ＥＳ）に挿入されている場合、「ＬＲ＿first」値が０であるならば、左視点ビデオデータが２つのＥＳのうち、第１ＥＳの基本視点ビデオデータ（Main media）であることが設定される。これにより、前述の各合成フォーマットのうち、左視点ビデオデータが配置された領域の反対領域に、右視点ビデオデータが配置されてもよい。
【０１８０】
「ＬＲ＿first」値が１である場合、右視点ビデオデータ及び左視点ビデオデータの配置が、前述の「ＬＲ＿first」値が０である場合と正反対となる。
【０１８１】
一実施形態によるデータストリーム受信装置２００のＰＭＴ付加情報抽出部２３０は、表５の三次元ストリーム叙述子情報（「３Ｄ＿stream＿Descriptor」）を判読し、第１ビデオＥＳループ９１０，９５５内の叙述子情報９１５，９５４から、基本ＥＳに係わる三次元付加情報を抽出することができる。また、一実施形態によるＰＭＴ付加情報抽出部２３０は、三次元ストリーム叙述子情報（「３Ｄ＿stream＿Descriptor」）において、付加ＥＳループから、付加ＥＳに係わる三次元付加情報を抽出することができる。従って、基本ＥＳ及び付加ＥＳに係わる三次元付加情報を利用し、ＥＳ復元部２４０が三次元ビデオデータを正確に復元し、再生部２５０が三次元ビデオを再生することができる。
【０１８２】
図１０Ａ及び図１０Ｂを参照して説明した第２実施形態によるＰＭＴ情報に挿入することができる多様な三次元付加情報または三次元付加叙述子を、以下の表７ないし表２０で例示する。
【０１８３】
一実施形態によるデータストリーム生成装置１００のＰＭＴ生成部１２０は、下記表７の三次元叙述子情報（「３Ｄ＿descriptor」）について、図１０Ａ及び図１０Ｂを参照して説明した第１ビデオＥＳループ１０１０，１０５５のうち叙述子情報１０１５，１０５３に挿入することができる。
【０１８４】
【表７】
表７の三次元叙述子情報（「３ｄ＿descriptor」）は、三次元ビデオの視点別ビデオデータが挿入されたＥＳの個数情報（「ｎｕｍ＿of＿ＥＳ」）によって、記述する三次元ビデオに係わる情報が変わる。１個のＥＳに、視点別ビデオデータが挿入されたとすれば、三次元叙述子情報（「３ｄ＿descriptor」）では、図７を参照して説明した三次元合成フォーマット情報（１ＥＳ＿format）及び表６を参照して説明した視点別配置順序情報（ＬＲ＿first）が記述される。また、２以上のＥＳに、視点別ビデオデータが挿入されたとすれば、三次元叙述子情報（「３ｄ＿descriptor」）で、図８を参照して説明した三次元ハイブリッドフォーマット情報（Multi＿ＥＳ＿format）が記述される。
【０１８５】
従って、一実施形態によるデータストリーム生成装置２００のＰＭＴ付加情報抽出部２３０は、第２実施形態によるＰＭＴ情報のうち、第１ビデオＥＳループ１０１０，１０５５内の叙述子情報１０１５，１０５３だけパージングして判読しても、第１ビデオＥＳに係わる三次元付加情報だけではなく、付加ＥＳに挿入された付加ビデオデータの三次元映像フォーマットまで予測することができる。
【０１８６】
一実施形態によるデータストリーム生成装置１００のＰＭＴ生成部１２０は、下記表８の付加ビデオストリーム叙述子情報（「Auxiliary＿video＿stream＿descriptor（）」）について、図１０Ａ及び図１０Ｂを参照して説明した第２ビデオ及び第３ビデオＥＳループ１０２０，１０３０，１０６０，１０７０のうち叙述子情報１０２５，１０３５，１０６３，１０７３に挿入することができる。
【０１８７】
【表８】
一実施形態による付加ビデオストリーム叙述子情報（Auxiliary＿video＿stream＿descriptor）は、付加ビデオデータの符号化方式についての情報（ａｕｘ＿video＿codedstreamtype）を含んでもよい。
【０１８８】
一実施形態によるＰＭＴ生成部１２０は、三次元付加情報を「ｓｉ＿ｒｂｓｐ（descriptor＿length−１）」情報に挿入することができる。
【０１８９】
さらに具体的には、一実施形態によるＰＭＴ生成部１２０は、表９の「Auxiliary＿video＿stream＿descriptor」情報のうちの「ｓｉ＿ｒｂｓｐ」情報のうちの「ｓｉ＿message」情報のうちの「ｓｉ＿payload」に、三次元付加情報を挿入することができる。以下の表９、表１０及び表１１が、「Auxiliary＿video＿stream＿descriptor」情報のうち「ｓｉ＿ｒｂｓｐ」情報、「ｓｉ＿message」情報及び「ｓｉ＿payload」情報の構造をそれぞれ図示している。
【０１９０】
【表９】
一実施形態によるＰＭＴ生成部１２０は、表１２のように、付加ＥＳのためのペイロードタイプ情報として、深度マップ（「Depth map」）及び両眼視差マップ（「Parallax map」）に追加して、付加視点ビデオデータ（「Additional view」）項目を追加する。
【０１９１】
【表１０】
また、現在付加ビデオストリームタイプのＥＳのためのペイロードタイプ情報が付加視点ビデオデータである場合（「payloadType＝＝２」）に必要な三次元付加情報のために、ＰＭＴ生成部１２０は、表１０の「ｓｉ＿payload」情報のうち、「generic＿ｐａｒａｍｓ（）」情報の設定内容を、表１３のように変更して利用し、表１６の「additional＿view＿ｐａｒａｍｓ（）」情報を新たに追加することができる。
【０１９２】
まず、一実施形態によるＰＭＴ生成部１２０は、表１３の「generic＿ｐａｒａｍｓ（）」情報に、現在三次元ビデオデータがハイブリッドフォーマットであるか否かを示す情報（「hybrid＿indicator」）及びハイブリッドフォーマット種類についての情報（「hybrid＿type」）をさらに挿入する。
【０１９３】
【表１１】
一実施形態によるデータストリーム受信装置２００のＰＭＴ付加情報抽出部２３０は、ＰＭＴ情報のうち、付加ＥＳに係わる付加ストリーム叙述子情報（「Auxiliary＿video＿stream＿descriptor」）から、ハイブリッドフォーマット表示子情報（「hybrid＿indicator」）を抽出し、再生部２５０は、これを基に、現在ＥＳに挿入されている三次元ビデオデータが、三次元ハイブリッドフォーマットであるか否かを、表１４によって予測することができる。
【０１９４】
また、一実施形態によるＰＭＴ付加情報抽出部２３０は、付加ストリーム叙述子情報（「Auxiliary＿video＿stream＿descriptor」）から、ハイブリッドフォーマットタイプ情報（「hybrid＿type」）を抽出し、再生部２５０は、これを基に、現在付加ＥＳの付加ビデオデータのハイブリッドフォーマットの種類を、表１５によって決定することができる。
【０１９５】
一実施形態によるＰＭＴ生成部１２０は、付加ストリームタイプのＥＳのペイロードタイプ情報が、付加視点ビデオデータである場合（「payloadType＝＝２」）に必要な三次元付加情報のために、付加ビデオ叙述子情報（「Auxiliary＿video＿stream＿descriptor」）に、表１６の「additional＿view＿ｐａｒａｍｓ（）」情報をさらに挿入することができる。
【０１９６】
【表１２】
一実施形態によるＰＭＴ生成部１２０は、「additional＿view＿ｐａｒａｍｓ（）」情報に、三次元ビデオデータを構成するように、現在付加ＥＳの付加ビデオデータと関連した他のビデオデータのＰＩＤ情報（「linked＿ＰＩＤ」）及び付加ビデオデータが、左視点ビデオであるか、右視点ビデオであるかを示す情報（「ＬＲ＿indicator」）をさらに挿入することができる。
【０１９７】
【表１３】
一実施形態によるデータストリーム受信装置２００のＰＭＴ付加情報抽出部２３０は、ＰＭＴ情報のうち、付加ＥＳに係わる付加ストリーム叙述子情報（「Auxiliary＿video＿stream＿descriptor」）から、表１６の付加視点パラメータ（「additional＿view＿ｐａｒａｍｓ（）」）を抽出することができる。
【０１９８】
一実施形態によるＰＭＴ付加情報抽出部２３０が、付加視点パラメータ（「additional＿view＿ｐａｒａｍｓ（）」）において、関連ビデオＰＩＤ情報（「linked＿ＰＩＤ」）を抽出し、再生部２５０は、これを基に、現在付加ビデオデータと三次元ビデオデータとを構成するように、関連する他のビデオデータが挿入されたパケットまたはストリームに係わるＰＩＤ情報を確認することができる。表１７によって、一実施形態による関連ビデオＰＩＤ情報（「linked＿ＰＩＤ」）は、現在付加ビデオデータと関連する基本視点ビデオデータとして示すことができる。
【０１９９】
一実施形態によるＰＭＴ付加情報抽出部２３０が、付加視点パラメータ（「additional＿view＿ｐａｒａｍｓ（）」）において、左右表示情報（「ＬＲ＿indicator」）を抽出し、再生部２５０は、これを基に、表１８のように、現在付加ＥＳの付加ビデオデータがステレオビデオにおいて、左視点または右視点のビデオデータであるかを決定することができる。
【０２００】
他の実施形態によるＰＭＴ生成部１２０は、表１９によって、付加視点パラメータ（「additional＿view＿ｐａｒａｍｓ（）」）に、関連ビデオＰＩＤ情報（「linked＿ＰＩＤ」）及び左右表示情報（「ＬＲ＿indicator」）以外に、付加視点ビデオ解像度情報（「additional＿view＿resolution」）をさらに挿入することができる。
【０２０１】
【表１４】
一実施形態によるＰＭＴ付加情報抽出部２３０が、付加視点パラメータ（「additional＿view＿ｐａｒａｍｓ（）」）において、付加視点ビデオ解像度情報（「additional＿view＿resolution」）を抽出し、再生部２５０は、表２０によって、伝送フォーマットの付加視点ビデオデータの大きさを確認することができる。再生部２５０は、伝送フォーマットの基本視点ビデオデータ及び付加視点ビデオデータの大きさを比較し、伝送フォーマットを再生フォーマットに変換するときに大きさを調節することができる。
【０２０２】
一実施形態によるデータストリーム生成装置１００のＰＭＴ生成部１２０は、三次元ビデオデータの特性についての情報が収録された三次元ストリーム叙述子情報（「３Ｄ＿stream＿Descriptor（）」）または三次元ビデオ叙述子情報（「３ｄ＿descriptor（）」）以外に、表２１の三次元モード叙述子情報（「３Ｄ＿mode＿descriptor（）」）及び表２２の三次元通知叙述子情報（「３Ｄ＿notice＿descriptor（）」）を、三次元付加情報として、ＰＭＴ情報にさらに挿入することもできる。
【０２０３】
一実施形態によるＰＭＴ生成部１２０は、三次元モード叙述子情報（「３Ｄ＿mode＿descriptor（）」）に、二次元／三次元モード情報（「２Ｄ／３Ｄ＿mode」）及び二次元／三次元モード転換通知情報（「notice＿indicator」）を挿入することができる。一実施形態によるＰＭＴ生成部１２０は、三次元通知叙述子情報（「３Ｄ＿notice＿descriptor（）」）に、三次元アイコン表示情報（「ｅｓ＿icon＿indicator」）、転換表示情報（「transition＿indicator」）、転換時間スタンプ情報（「transition＿time＿stamp」）及び転換メッセージ情報（「transition＿message」）を挿入することができる。
【０２０４】
【表１５】
一実施形態によるデータストリーム受信装置１００のＰＭＴ付加情報抽出部２３０は、ＰＭＴ情報のうち、プログラムループの叙述子領域またはＥＳループの叙述子領域から、三次元モード叙述子情報（「３Ｄ＿mode＿descriptor（）」）を抽出し、二次元／三次元モード情報（「２Ｄ／３Ｄ＿mode」）及び二次元／三次元モード転換通知情報（「notice＿indicator」）を抽出することもできる。一実施形態によるデータストリーム受信装置１００の再生部２５０は、これを基に、現在プログラムまたはＥＳのビデオデータのうち、二次元モード及び三次元モード間の転換が生じるか否かを決定することができる。
【０２０５】
【表１６】
一実施形態によるデータストリーム受信装置１００のＰＭＴ付加情報抽出部２３０は、ＰＭＴ情報のうち、プログラムループの叙述子領域またはＥＳループの叙述子領域から、三次元通知叙述子情報（「３Ｄ＿notice＿descriptor（）」）を抽出することができる。
【０２０６】
一実施形態によるＰＭＴ付加情報抽出部２３０は、三次元通知叙述子情報（「３Ｄ＿notice＿descriptor（）」）において、三次元アイコン表示情報（「ｅｓ＿icon＿indicator」）を抽出し、再生部２５０は、これを基に、三次元通知表示のような三次元関連アイコンが、コンテンツ提供者から提供されていることを認識し、コンテンツの三次元通知表示を、セットトップボックス（set-top box）またはＴＶ（television）自体の三次元通知表示と重複しないようにディスプレイすることができる。例えば、三次元アイコン表示情報（「ｅｓ＿icon＿indicator」）値が０である場合、ビデオＥＳ内に、三次元通知アイコンがないことが予想されるので、セットトップボックスやＴＶ自体の三次元通知表示を利用し、三次元アイコン表示情報値が１である場合、三次元通知アイコンがあることが予想されるので、ビデオＥＳ内の三次元通知アイコン、セットトップボックスやＴＶ自体の三次元通知表示において選択的に利用するように決定することができる。
【０２０７】
一実施形態によるＰＭＴ付加情報抽出部２３０は、三次元通知叙述子情報（「３Ｄ＿notice＿descriptor（）」）において、転換表示情報（「transition＿indicator」）を抽出し、再生部２５０は、今後受信するＰＭＴ情報に、現在ＰＭＴ情報から得られた現在二次元／三次元モードと異なるモードであることを示す二次元／三次元モード情報が含まれていることを示す情報、すなわち、二次元／三次元モードの転換が生じるか否かを決定することができる。例えば、転換表示情報（「transition＿indicator」）値が０である場合、ビデオＥＳ内に、現在二次元／三次元モードが持続されるということが予想され、１である場合、今後現在二次元／三次元モードが、反対モードに転換される予定であることが予想される。
【０２０８】
一実施形態によるＰＭＴ付加情報抽出部２３０は、転換表示情報が、今後二次元／三次元転換が生じるということを示す場合（「transition＿indicator＝＝１」）、三次元通知叙述子情報（「３Ｄ＿notice＿descriptor（）」）から、転換時間スタンプ情報（「transition＿time＿stamp」）を抽出し、再生部２５０は、今後二次元／三次元モードの転換が生じる時間情報を決定することができる。一実施形態による転換発生時間スタンプ情報は、ＰＴＳ（presentation time stamp）単位で表現される。この場合、一実施形態による転換発生時間スタンプ情報は、現在ＰＭＴ情報を含むピクチャ映像のＰＴＳ値と、二次元／三次元モード転換が生じる時点のＰＴＳ値との相対値、または二次元／三次元モード転換が生じる時点のＰＴＳ値の絶対値として表現される。一実施形態による転換発生時間スタンプ情報は、ＰＴＳ単位以外に、フレーム個数単位など多様な方式でも表現される。
【０２０９】
一実施形態によるＰＭＴ付加情報抽出部２３０は、転換表示情報が、今後二次元／三次元転換が生じるということを示す場合（「transition＿indicator＝＝１」）、三次元通知叙述子情報（「３Ｄ＿notice＿descriptor（）」）から、転換メッセージ情報（「transition＿message」）を抽出することができる。一実施形態によるデータストリーム受信装置１００の再生部２５０は、これを基に、コンテンツサービス再生中、二次元／三次元モード転換通知表示のアイコン、テキスト、声などの視覚効果または聴覚効果を決定することができる。ユーザは、二次元／三次元モード転換通知表示を介して、現在二次元／三次元モードが転換されるということを認識したり、あるいはすぐに二次元／三次元モードが転換される予定であるならば、あらかじめ視聴方式を変更するように準備することができる。
【０２１０】
図１１は、一実施形態による二次元／三次元モード転換情報の使用例を図示している。
【０２１１】
現在ビデオストリーム１１００において一部分である二次元映像１１０２から三次元映像１１３６まで図示されており、二次元映像シーケンス１１０２，１１０４，１１０６，１１０８，１１１０，１１１２，１１１４，１１１６，１１１８，１１２０，１１２２，１１２４，１１２６，１１２８、及び三次元映像シーケンス１１３０，１１３２，１１３４，１１３６から構成されている。
【０２１２】
一実施形態によるデータストリーム生成装置１００は、現在ビデオストリーム１１００において、時点Ｔ１，Ｔ２，Ｔ３で、現在ビデオストリーム１１００に係わるＰＭＴ情報１１４０，１１５０，１１６０をそれぞれ伝送する。時点Ｔ１のＰＭＴ情報１１４０で、二次元／三次元モード情報（２Ｄ／３Ｄ＿mode）が「２Ｄ」を示しているので、現在ビデオデータは、二次元モードであることが確認される。ただし、時点Ｔ２のＰＭＴ情報１１５０で、二次元／三次元モード情報（２Ｄ／３Ｄ＿mode）は、「２Ｄ」を示しているが、二次元／三次元モード転換情報（transition＿time＿stamp）は、時点「Ｔ３」を指している。すなわち、現在ビデオデータは、二次元モードであるが、今後現在ビデオストリーム１１００において、三次元モードが生じるということが予想される。
【０２１３】
時点Ｔ２のＰＭＴ情報１１５０で、二次元／三次元モード転換情報（transition＿time＿stamp）が予告したように、時点Ｔ３で、二次元／三次元モード転換が生じ、時点Ｔ３のＰＭＴ情報１１６０で、二次元／三次元モード情報（２Ｄ／３Ｄ＿mode）は、「３Ｄ」を示している。一実施形態によるデータストリーム受信装置２００は、ＰＭＴ情報１１４０，１１５０，１１６０の二次元／三次元モード転換情報を利用し、時点Ｔ１，Ｔ２，Ｔ３当時の二次元／三次元モード及び今後二次元／三次元モード転換が生じる時点を予想することができ、二次元／三次元モード転換通知表示情報（「transition＿message」）によって、時点Ｔ２及び時点Ｔ３間の所定時点から、二次元／三次元モード転換通知メッセージが、画面上で、視聴資料として表示されたり、あるいは聴覚資料として再生される。
【０２１４】
一実施形態によるデータストリーム生成装置１００は、互いに異なる解像度の基本視点ビデオと、付加視点ビデオとを伝送することもできる。例えば、一実施形態によるデータストリーム生成装置１００は、フルＨＤ（full high definition）級解像度の基本視点ビデオデータと、ＳＤ（standard definition）クラス解像度の付加視点ビデオデータとを伝送することができる。
【０２１５】
図１２は、左視点（left view）ビデオ及び右視点（right view）ビデオが異なった大きさで伝送される場合を例示している。
【０２１６】
一実施形態によるデータストリーム生成装置１００は、縦横に１９２０ｘ１０８０のフルＨＤクラス解像度の左視点ビデオ１２１０及びフルＨＤクラス解像度の右視点ビデオ１２２０を獲得し、伝送フォーマットとしては、縦横に１９２０ｘ１０８０のフルＨＤクラス解像度の左視点ビデオデータ１２３０、及び縦横に６４０ｘ４８０のＳＤクラス解像度の右視点ビデオデータ１２４０が挿入されたデータストリームを、ＴＳの形態に変換して伝送することができる。
【０２１７】
一実施形態によるデータストリーム受信装置２００は、ＴＳを受信し、ＥＳ復元部２４０で、フルＨＤクラス解像度の左視点ビデオデータ１２３０、及びＳＤクラス解像度の右視点ビデオデータ１２４０を復元することができる。一実施形態による再生部２５０は、フルＨＤクラス解像度の左視点ビデオデータ１２３０及びＳＤクラス解像度の右視点ビデオデータ１２４０を再生フォーマットに変換するために拡大したとしても、左視点ビデオデータ１２３０及び右視点ビデオデータ１２４０の縦横比が１６：９及び４：３と異なるために、縦横がいずれも一致しない。すなわち、再生フォーマットのフルＨＤクラス解像度の左視点ビデオ１２５０、及び縦横に１４４０ｘ１０８０の拡大された右視点ビデオ１２６０は、縦サイズが１０８０ピクセルと同一であっても、横サイズが１９２０：１４４０と異なってしまう。基本視点ビデオ及び付加視点ビデオの解像度が同一ではないならば、三次元ビデオ再生時、三次元効果が生じ難くなる。
【０２１８】
図１３は、一実施形態による縦横比情報の使用例を図示している。
【０２１９】
一実施形態による再生部２５０が、再生フォーマットのフルＨＤクラス左視点ビデオ１２５０を復元し、伝送フォーマットが、拡大された再生フォーマットの右視点ビデオ１２６０を復元することができる。この場合、左視点ビデオ１２５０及び右視点ビデオ１２６０がそのまま再生されれば、左視点ビデオ１２５０において、右視点ビデオ１２６０が表示されない領域１３５０，１３６０が生じる。
【０２２０】
従って、一実施形態によるデータストリーム生成装置１００は、基本視点ビデオ及び付加視点ビデオの解像度が同一ではない場合のために、三次元付加情報として、縦横比情報を含む。一実施形態によるデータストリーム生成装置１００のＰＭＴ生成部１２０は、三次元付加情報として、縦横比情報（「３ｄ＿aspect＿ratio＿descriptor」）をＰＭＴ情報に挿入し、表２３のように、縦横比情報（「３ｄ＿aspect＿ratio＿descriptor」）として、クロップオフセット情報（「cropping＿offset」）を挿入することができる。例えば、基本視点ビデオにおいて、拡大された付加視点ビデオで隠れない領域の幅に係わる情報をクロップオフセット情報（「cropping＿offset」）として設定し、三次元付加情報として、ＰＭＴ情報に挿入することができる。
【０２２１】
【表１７】
一実施形態によるデータストリーム受信装置２００のＰＭＴ付加情報抽出部２３０は、ＰＭＴ情報から縦横比情報（「３ｄ＿aspect＿ratio＿descriptor」）を抽出し、縦横比情報（「３ｄ＿aspect＿ratio＿descriptor」）において、クロップオフセット情報（「cropping＿offset」）を抽出することができる。一実施形態による再生部２５０は、クロップオフセット情報（「cropping＿offset」）に基づいて、縦横に１９２０ｘ１０８０の左視点ビデオ１２５０において、中央の縦横に１４４０ｘ１０８０の右視点ビデオ１２６０で隠れない領域１３５０，１３６０をクロップし、縦横比４：３の左視点ビデオ及び右視点ビデオを再生することができる。または、一実施形態による再生部２５０は、縦横に１９２０ｘ１０８０の左視点ビデオ１２５０において領域１３５０，１３６０は、左視点ビデオをディスプレイし、付加視点ビデオ１２６０で隠れる中央の縦横に１４４０ｘ１０８０領域でのみ左視点ビデオと右視点ビデオとが交互にディスプレイされるように制御することによって、中央の縦横に１４４０ｘ１０８０領域でのみ三次元効果が生じる。
【０２２２】
一実施形態によるデータストリーム生成装置１００は、ＰＭＴ情報に、二次元または三次元のビデオデータが挿入されたパケットに係わるＰＩＤ情報を挿入し、ＰＭＴ情報のうち、プログラムループ、ストリームタイプ情報が「video stream＿type」または「auxiliary video stream＿type」である． ＥＳループ及び各種予約割当領域に、以上の表１ないし表２３の三次元付加情報を挿入し、二次元または三次元のビデオデータが挿入されたパケットと共にＴＳに変換して伝送することができる。
【０２２３】
ＭＰＥＧ ＴＳ方式による受信端が二次元ビデオだけ支援する場合、受信端の受信されたデータストリーム・パージング及び復号化過程で、一実施形態によるＰＭＴ情報のうち、三次元付加情報、三次元叙述子情報、三次元ストリーム叙述子情報は、パージングされて解釈されないので、三次元ビデオデータが含まれたパケットも検出されず、ＭＰＥＧ ＴＳ方式で設定された二次元ビデオデータ及びそれに係わる叙述子情報だけ認識されて復号化される。従って、二次元ビデオだけ支援する受信端でも、一実施形態によるデータストリーム生成装置１００によって生成されたデータストリームのうち二次元ビデオ関連データを処理することができる。
【０２２４】
一実施形態によるデータストリーム受信装置２００は、ＴＳを受信し、ＰＭＴ情報のＰＩＤ情報を有するパケットを集めてＰＭＴ情報を抽出し、ＰＭＴ付加情報抽出部２３０は、ＰＭＴ情報のプログラムループ、ＥＳループ及び各種予約割当領域から三次元付加情報を抽出し、て再生部２５０に伝達することができる。
【０２２５】
また、一実施形態によるデータストリーム受信装置２００は、ＰＭＴ情報のうち、ストリームタイプ情報が「video stream＿type」を有するパケットのＰＩＤ情報に基づいて、「video stream＿type」を有するパケットのペイロードを集め、ＥＳ復元部２４０でビデオデータを復元することができる。
【０２２６】
また、一実施形態によるデータストリーム受信装置２００は、ストリームタイプ情報が「Auxiliary video stream＿type」を有するパケットのＰＩＤ情報に基づいて、「Auxiliary video stream＿type」を有するパケットのペイロードを集め、ＥＳ復元部２４０で付加ビデオデータが復元される。
【０２２７】
一実施形態によるデータストリーム受信装置２００の再生部２５０は、ＰＭＴ情報のうち三次元付加情報を利用し、基本ＥＳ及び付加ＥＳから抽出された基本ビデオデータ、並びに付加ビデオデータの三次元合成フォーマットまたは三次元ハイブリッドフォーマットを解釈し、基本視点ビデオ及び付加視点ビデオを復元し、相互関連した基本視点及び付加視点を再生周期を同期化して再生することができる。
【０２２８】
以下、一実施形態による再生部２５０の動作について具体的に記述する。
【０２２９】
一実施形態によるＥＳ復元部２４０が、基本ビデオデータとして基本視点ビデオを抽出し、付加ビデオデータとして付加視点ビデオを抽出する場合、一実施形態による再生部２５０は、基本視点ビデオ及び付加視点ビデオを、三次元ディスプレイ装置が再生可能な再生フォーマットに構成して出力することができる。
【０２３０】
一実施形態によるＥＳ復元部２４０が、基本ビデオデータとして基本視点ビデオを抽出し、付加ビデオデータとして差映像を抽出する場合、一実施形態による再生部２５０は、基本視点ビデオ及び差映像を利用し、付加視点ビデオを復元した後、基本視点ビデオ及び付加視点ビデオを、三次元ディスプレイ装置が再生可能な再生フォーマットに構成して出力することができる。
【０２３１】
一実施形態によるＥＳ復元部２４０が、基本ビデオデータとして基本視点ビデオを抽出し、１つまたは２つの付加ビデオデータとして、深度情報（または、両眼視差情報）と付加視点ビデオとを抽出する場合、一実施形態による再生部２５０は、基本視点ビデオ、付加視点ビデオ及び深度情報（または、両眼視差情報）を利用し、中間視点ビデオを生成することができる。例えば、ＤＩＢＲ（depth image based rendering）技法を利用し、基本視点ビデオ及び深度情報を基に中間視点の映像が生成される。一実施形態による再生部２５０は、基本視点ビデオ、中間視点ビデオ及び付加視点ビデオのうち２視点ビデオを選択し、三次元ディスプレイ装置が再生可能な再生フォーマットに構成して出力することができる。基本視点ビデオ及び付加視点ビデオ間の深度または両眼視差が大きい場合、中間視点ビデオが導入されるので、視聴疲労感を防止するのに有用である。
【０２３２】
一実施形態によるＥＳ復元部２４０が、基本ビデオデータとして三次元合成フォーマットデータを抽出する場合、一実施形態による再生部２５０は、三次元合成フォーマットデータから、基本視点ビデオ及び付加視点ビデオを復元した後、基本視点ビデオ及び付加視点ビデオを、三次元ディスプレイ装置が再生可能な再生フォーマットに構成して出力することができる。
【０２３３】
一実施形態によるＥＳ復元部２４０が、基本ビデオデータとして三次元合成フォーマットデータを抽出し、付加ビデオデータとして深度情報（両眼視差情報）を抽出する場合、一実施形態による再生部２５０は、三次元合成フォーマットデータから、基本視点ビデオ及び付加視点ビデオを復元し、基本視点ビデオ、付加視点ビデオ及び深度情報（または、両眼視差情報）を利用し、中間視点ビデオを生成することができる。例えば、中間視点ビデオは、基本視点、付加視点ビデオ及び深度情報について、ＤＩＢＲ技法が適用されれば、任意の中間視点ビデオが生成される。中間視点ビデオ及び付加視点ビデオのうち２視点ビデオを選択し、三次元ディスプレイ装置が再生可能な再生フォーマットに構成して出力することができる。
【０２３４】
一実施形態によるＥＳ復元部２４０が、基本ビデオデータとして三次元合成フォーマットデータを抽出し、付加ビデオデータとして差情報を抽出する場合、一実施形態による再生部２５０は、三次元合成フォーマットデータから、原本解像度の半分である基本視点ビデオ及び付加視点ビデオを復元することができる。この場合、一実施形態による再生部２５０は、半解像度の基本視点ビデオ及び付加視点ビデオに差情報を追加して利用し、原本解像度と同じ基本視点ビデオ及び付加視点ビデオを復元することができる。一実施形態による再生部２５０は、基本視点ビデオ及び付加視点ビデオを、三次元ディスプレイ装置が再生可能な再生フォーマットに構成して出力することができる。
【０２３５】
一実施形態によるＥＳ復元部２４０が、基本ビデオデータとして二次元ビデオを抽出し、付加ビデオデータとして深度情報（または、両眼視差情報）を抽出する場合、一実施形態による再生部２５０は、二次元ビデオ及び深度情報（または、両眼視差情報）を利用し、付加視点ビデオを復元した後、基本視点ビデオ及び付加視点ビデオを、三次元ディスプレイ装置が再生可能な再生フォーマットに構成して出力することができる。ただし、この場合、基本視点ビデオと、完全な三次元ビデオを構成する付加視点ビデオとが復元されない場合、視差遮蔽（occlusion）現象が発生しうる。
【０２３６】
一実施形態によるＥＳ復元部２４０が、基本ビデオデータとして多視点ビデオを構成する第１視点ビデオを抽出し、複数個の付加ビデオデータとして、多視点ビデオを構成する第２視点ビデオ、第３視点ビデオなどの複数個の他の視点ビデオを抽出する場合、一実施形態による再生部２５０は、複数個の視点ビデオを、第１視点ビデオを基準に、三次元ディスプレイ装置が再生可能な再生フォーマットに構成して出力することができる。ステレオビデオとは異なり、多視点ビデオは、３６０°回転して視聴可能な三次元ビデオを提供することができる。
【０２３７】
一実施形態によるＥＳ復元部２４０が、基本ビデオデータとして多重撮影ビデオを構成する第１ビデオを抽出し、付加ビデオデータとして、第２ビデオ、第３ビデオなどの複数個の他のビデオを抽出する場合、一実施形態による再生部２５０は、選択的に、それぞれのビデオを別途に出力したり、あるいはＰＩＰ（picture-in-picture）方式で構成して出力することができる。例えば、野球試合で、捕手の視点から撮影された第１ビデオ、投手視点から撮影された第２ビデオ、観衆席を撮影した第３ビデオ、１つの主題でさまざまな位置、さまざまな方向から撮影されたコンテンツのディスプレイ方式は、多視点ビデオとは異なり、視聴者または放送目的によって変更されもする。
【０２３８】
図１４は、一実施形態によるデータストリーム伝送装置１００及び一実施形態によるデータストリーム受信装置２００が具現される三次元ビデオデータストリーム通信システムの概要図である。
【０２３９】
伝送端のコンテンツ生成部（content generator）１４１０は、（準）手動深度抽出方式（（semi-）manual depth extraction from ２Ｄ）１４１２、ＲＧＢ＋赤外線カメラ方式（ＲＧＢ＋infrared camera）１４１４、またはステレオカメラ方式（stereo camera）１４１６などの多様な撮影方式を利用し、コンテンツに係わるビデオデータを生成することができる。
【０２４０】
コンテンツ生成部１４１０のビデオデータのうち、基本ビデオデータ（MAIN VIDEO）は、ビデオエンコーダＡ（VIDEO ENCODER Ａ）１４２０）に、第１付加ビデオデータ／第１深度情報／第１両眼視差情報（SUB VIDEO １／DEPTH １／PARALLAX １）のうち少なくとも一つは、ビデオエンコーダＢ（VIDEO ENCODER Ｂ）１４３０に、第２付加ビデオデータ／第２深度情報／第２両眼視差情報（SUB VIDEO ２／DEPTH ２／PARALLAX ２）のうち少なくとも一つは、ビデオエンコーダＣ（VIDEO ENCODER Ｃ）１４４０に出力されてもよい。
【０２４１】
ビデオエンコーダＡ １４２０、ビデオエンコーダＢ １４３０及びビデオエンコーダＣ １４３０は、それぞれ入力されたビデオデータを符号化し、基本ビデオストリーム（MAIN VIDEO STREAM）、第１付加ストリーム（SUB VIDEO STREAM１）及び第２付加ストリーム（SUB VIDEO STREAM１）をチャネル（CHANNEL）１４５０に出力することができる。
【０２４２】
基本ビデオストリーム、第１付加ストリーム及び第２付加ストリームのＴＳは、チャネル１４５０を介して受信端に伝送され、受信端は、ＴＳを逆多重化し、ビデオパケットをビデオデコーダＡ（VIDEO DECODER Ａ）１４６０、ビデオデコーダＢ（VIDEO DECODER Ｂ）１４７０及びビデオデコーダＣ（VIDEO DECODER Ｃ）１４８０に伝達することができる。
【０２４３】
ビデオデコーダＡ １４６０は、基本ビデオストリームから基本ビデオを復元し、ビデオデコーダＢ １４７０は、第１付加ストリームから、第１付加ビデオデータ／第１深度情報／第１両眼視差情報を復元し、ビデオデコーダＣ １４８０は、第２付加ストリームから、第２付加ビデオデータ／第２深度情報／第２両眼視差情報を復元して出力することができる。
【０２４４】
復元された基本ビデオ、第１付加ビデオデータ／第１深度情報／第１両眼視差情報、及び第２付加ビデオデータ／第２深度情報／第２両眼視差情報は、三次元ディスプレイ装置（３Ｄ DISPLAY DEVICE）１４９０に入力され、それぞれのディスプレイ方式に適するように変換されて三次元で再生される。例えば、復元された三次元ビデオは、オートステレオスコピック・レンチキュラ（AUTO-STEREOSCOPIC LENTICULAR）方式１４９２、オートステレオスコピック・バリア（AUTO-STEREOSCOPIC BARRIER）方式１４９４、または立体メガネ方式のステレオスコピック・システム（GLASSES-BASED STEREOSCOPIC SYSTEM）１４９６など多様な方式の三次元ディスプレイ機器によって三次元で再生される。
【０２４５】
従って、一実施形態によるデータストリーム伝送装置１００が、三次元ハイブリッドフォーマットの基本ビデオデータ、第１付加データ及び第２付加データを、三次元付加情報をＰＭＴ情報に挿入して伝送することができる。また、一実施形態によるデータストリーム受信装置２００は、受信したデータストリームにおいて、ＰＭＴ情報から三次元付加情報を抽出し、これを利用し、データストリームのペイロードに、三次元ハイブリッドフォーマットの基本ビデオデータ、第１付加データ及び第２付加データのような三次元付加情報が挿入されていることを予想することができる。また、一実施形態によるデータストリーム受信装置２００は、ペイロードのビデオデータを抽出した後には、三次元付加情報を利用し、基本視点ビデオ及び付加視点ビデオに復元し、三次元ディスプレイ機器を介して三次元で再生することができる。
【０２４６】
図１５は、一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム生成方法のフローチャートである。
【０２４７】
段階１５１０で、二次元または三次元のマルチメディア・サービスに係わるプログラムにおける視点別ビデオデータを含む少なくとも１つのＥＳが生成される。プログラムにおけるオーディオデータ及び付加データに係わるＥＳも生成される。
【０２４８】
段階１５２０で、少なくとも１つのＥＳに係わる参照情報及び視点別ビデオデータを、視点別に識別して再生するための三次元付加情報を含むプログラムに係わるＰＭＴ情報が生成される。ＰＭＴ情報のうち、当該ＥＳに係わる叙述子情報に、三次元付加情報及び参照情報のうち少なくとも一つが挿入されてもよい。第１実施形態によるＰＭＴ情報の構造によれば、ＰＭＴ情報のうち、基本ＥＳに係わる三次元付加情報が、付加ＥＳに係わる三次元付加情報及び参照情報のうち少なくとも一つを含んでもよい。第２実施形態によるＰＭＴ情報の構造によれば、ＰＭＴ情報が、少なくとも１つのＥＳに係わるそれぞれのＥＳ情報を順次に含み、それぞれのＥＳ情報には、当該ＥＳに係わる三次元付加情報及び参照情報のうち少なくとも一つが含まれる。
【０２４９】
三次元付加情報は、現在ビデオパケットが、二次元または三次元のビデオデータを含むということを知らせるための二次元／三次元通知情報、三次元ビデオの復元及び再生のための三次元叙述子情報、現在プログラムにおける現在二次元／三次元モード、及び未来の二次元／三次元モードの転換を知らせるための二次元／三次元モード転換情報、三次元縦横比情報などを含んでもよい。
【０２５０】
段階１５３０で、少なくとも１つのＥＳをパケット化して生成されたＰＥＳパケット及びＰＭＴ情報を多重化し、ＴＳが生成される。ＴＳは、ペイロードとヘッダとから構成され、ペイロードに、ＰＥＳパケットまたはＰＭＴ情報などのセクションが含まれてもよい。ＴＳは、少なくとも１つのチャネルを介して伝送される。
【０２５１】
図１６は、一実施形態による三次元マルチメディア・サービスを提供するためのデータストリーム受信方法のフローチャートである。段階１６１０で、二次元または三次元のマルチメディア・サービスに係わるプログラムに係わるＴＳが受信される。
【０２５２】
段階１６２０で、ＴＳが逆多重化され、プログラムに係わるＰＥＳパケット及びプログラムに係わるＰＭＴ情報が抽出される。
【０２５３】
段階１６３０で、ＰＭＴ情報から、プログラムにおける視点別ビデオデータのＥＳに係わる参照情報及び三次元付加情報が抽出される。第１実施形態によるＰＭＴ情報のうち、基本ＥＳに係わる三次元付加叙述子情報から、付加ＥＳに係わる三次元付加情報及び参照情報のうち少なくとも一つが抽出される。または、第２実施形態によるＰＭＴ情報のうち、付加ＥＳに係わるＥＳ情報または基本ＥＳに係わるＥＳ情報から、三次元付加叙述子情報が抽出され、三次元付加叙述子情報から、付加ＥＳに係わる参照情報及び三次元付加情報が抽出される。
【０２５４】
段階１６４０で、ＰＥＳパケットを逆パケット化して抽出されたＥＳのうち、ＰＭＴ情報から抽出されたＥＳに係わる参照情報を利用し、少なくとも１つのＥＳストリームが復元され、少なくとも１つのＥＳから、プログラムにおける視点別ビデオデータが抽出される。
【０２５５】
三次元付加情報及び参照情報を利用し、視点別ビデオデータを復元し、視点別に再生周期及び再生順序を同期化し、再生位置を合わせて三次元ビデオを再生することによって、視聴者に三次元マルチメディア・サービスが提供される。
【０２５６】
一実施形態によるデータストリーム伝送方法によれば、ＭＰＥＧ ＴＳシステムを基に、三次元ビデオデータを挿入するためのＥＳに係わるストリームタイプを追加する必要なしに、既存ストリームタイプのＥＳを利用し、二次元ビデオ及び三次元ビデオを、各種三次元付加情報及び参照情報と共に伝送することができる。例えば、基本ＥＳのストリームタイプは、周知の符号化方式であるＭＰＥＧ−２規格、ＭＰＥＧ−４／ＡＶＣ規格によるＥＳとして設定し、付加ＥＳのストリームタイプは、ＭＰＥＧ−２規格、ＭＰＥＧ−４／ＡＶＣ規格によるＥＳだけではなく、補助ビデオストリーム（auxiliary video stream）として設定されもする。
【０２５７】
補助ビデオストリームタイプを支援しない受信システムでは、付加ＥＳを認識することができないので、基本ＥＳだけを認識し、現在サービスを二次元ビデオサービスで認識することもできる。従って、既存受信システムが、一実施形態によるデータストリーム生成方法によって生成されたＴＳを受信しても、基準受信システムの機能に合うように、ビデオデータを解釈し、二次元で再生することによって、逆互換性も維持される。
【０２５８】
一実施形態によるデータストリーム受信方法によれば、１つのチャネルを介して、受信された１つのプログラム（番組）に係わるＴＳを介して、基本視点ビデオデータ及び付加視点ビデオデータだけではなく、深度情報及び両眼視差情報が追加して受信される場合、これを復元し、ステレオビデオだけではなく、多視点ビデオが再生される。この場合、ＰＭＴ情報から抽出された三次元付加情報及び参照情報を利用し、多視点ビデオが正確に復元されて再生される。
【０２５９】
一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）のような記録媒体を含む。また、前述の装置の一つ以上の構成要素は、コンピュータで読み取り可能な記録媒体に保存されたコンピュータプログラムを実行するプロセッサまたはマイクロプロセスを含んでもよい。
【０２６０】
以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されねばならない。本発明の範囲は、前述の説明ではなく、特許請求範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれたものであると解釈されねばならないのである。
【特許請求の範囲】
【請求項１】
二次元または三次元のマルチメディア・サービスに係わるプログラムから、視点別ビデオデータを含む少なくとも１つのＥＳ（elementary stream）を生成する段階と、
前記少なくとも１つのＥＳに係わる参照情報と、前記視点別ビデオデータを視点別に識別して再生するための三次元付加情報と、を含む前記プログラムに係わるＰＭＴ（program map table）情報を生成する段階と、
前記少なくとも１つのＥＳをパケット化して生成されたＰＥＳ（packetized elementary stream）パケットと前記ＰＭＴ情報とを多重化してＴＳを生成する段階と、を含むことを特徴とする三次元マルチメディア・サービスを提供するためのデータストリーム生成方法。
【請求項２】
前記ＰＭＴ情報の生成段階は、
前記ＰＭＴ情報において、前記少なくとも１つのＥＳのうち基本ＥＳのための叙述子情報に、前記基本ＥＳに挿入された基本ビデオデータに係わる三次元付加情報を挿入する段階と、
前記基本ＥＳのための叙述子情報に、前記少なくとも１つのＥＳのうち、付加ＥＳに含まれた付加ビデオデータに係わる三次元付加情報及び参照情報のうち、少なくとも一つを挿入する段階と、を含み、
前記基本ビデオデータ及び前記付加ビデオデータは、それぞれ前記視点別ビデオデータの組み合わせであることを特徴とする請求項１に記載の三次元マルチメディア・サービスを提供するためのデータストリーム生成方法。
【請求項３】
前記基本ビデオデータに係わる三次元付加情報は、
前記基本ビデオデータの映像フォーマット情報、前記基本ビデオデータの映像フォーマットのうち視点別配置順序情報、及び付加ＥＳの個数情報のうち少なくとも一つを含み、
前記付加ＥＳに係わる参照情報は、前記付加ＥＳのストリームタイプ情報、及び前記付加ＥＳのＰＩＤ（packet indentifier）情報のうち少なくとも一つを含むことを特徴とする請求項２に記載の三次元マルチメディア・サービスを提供するためのデータストリーム生成方法。
【請求項４】
前記ＰＭＴ情報の生成段階は、
前記ＰＭＴ情報に、前記少なくとも１つのＥＳ別に順次に、当該ＥＳのストリームタイプ情報、ＰＩＤ情報及びビデオストリーム叙述子情報を含むＥＳ情報を挿入する段階を含むことを特徴とする請求項１に記載の三次元マルチメディア・サービスを提供するためのデータストリーム生成方法。
【請求項５】
前記ＰＭＴ情報の生成段階は、
前記少なくとも１つのＥＳのうち、前記基本ＥＳに含まれた基本ビデオデータに係わる三次元付加情報を含む三次元ビデオ叙述子情報を挿入する段階と、
前記少なくとも１つのＥＳのうち付加ＥＳに係わるＥＳ情報に、前記三次元付加情報を含む付加ＥＳビデオ叙述子情報を挿入する段階と、をさらに含むことを特徴とする請求項４に記載の三次元マルチメディア・サービスを提供するためのデータストリーム生成方法。
【請求項６】
二次元または三次元のマルチメディア・サービスに係わるプログラムに係わるＴＳ（transport stream）を受信する段階と、
前記ＴＳを逆多重化し、前記プログラムに係わるＰＥＳ（packetized elementary stream）パケット及び前記プログラムに係わるＰＭＴ（program map table）情報を抽出する段階と、
前記ＰＭＴ情報から、前記プログラムにおける視点別ビデオデータを含む少なくとも１つのＥＳ（elementary stream）に係わる参照情報と、前記視点別ビデオデータを視点別に識別して再生するＥＳための三次元付加情報と、を抽出する段階と、
前記ＰＥＳパケットを逆パケット化して抽出されたＥＳのうち、前記ＰＭＴ情報から抽出された前記ＥＳに係わる参照情報を利用し、前記少なくとも１つのＥＳを復元し、前記少なくとも１つのＥＳから、前記プログラムにおける視点別ビデオデータを抽出する段階と、を含むことを特徴とする三次元マルチメディア・サービスを提供するためのデータストリーム受信方法。
【請求項７】
前記データストリーム受信方法は、
前記抽出された視点別ビデオデータを復号化して復元し、前記三次元付加情報を利用し、三次元で再生する段階をさらに含むことを特徴とする請求項６に記載の三次元マルチメディア・サービスを提供するためのデータストリーム受信方法。
【請求項８】
前記ＰＭＴ情報から参照情報及び三次元付加情報抽出段階は、
前記ＰＭＴ情報において、前記少なくとも１つのＥＳ（elementary stream）のうち、基本ＥＳのための叙述子情報から、前記基本ＥＳに係わる参照情報及び前記基本ＥＳに含まれた基本ビデオデータに係わる三次元付加情報のうち少なくとも一つを抽出する段階と、
前記基本ＥＳのための叙述子情報から、前記少なくとも１つのＥＳのうち付加ＥＳに係わる参照情報、及び前記付加ＥＳに含まれた付加ビデオデータに係わる三次元付加情報のうち少なくとも一つを抽出する段階と、を含み、
前記基本ビデオデータ及び前記付加ビデオデータは、それぞれ前記視点別ビデオデータの組み合わせであることを特徴とする請求項６に記載の三次元マルチメディア・サービスを提供するためのデータストリーム受信方法。
【請求項９】
前記基本視点ビデオデータに係わる三次元付加情報は、
前記基本ビデオデータの映像フォーマット情報、前記基本ビデオデータの映像フォーマットのうち視点別配置順序情報、付加ＥＳの個数情報及び前記付加ＥＳに係わる参照情報のうち少なくとも一つを含み、
前記付加ＥＳに係わる参照情報は、前記付加ＥＳのストリームタイプ情報及び前記付加ＥＳのＰＩＤ情報のうち少なくとも一つを含むことを特徴とする請求項８に記載の三次元マルチメディア・サービスを提供するためのデータストリーム受信方法。
【請求項１０】
前記ＰＭＴ情報からの参照情報及び三次元付加情報抽出段階は、
前記ＰＭＴ情報から、前記少なくとも１つのＥＳ別に順次に、当該ＥＳのストリームタイプ情報、ＰＩＤ情報及びビデオストリーム叙述子情報を含むＥＳ情報を抽出する段階を含むことを特徴とする請求項６に記載の三次元マルチメディア・サービスを提供するためのデータストリーム受信方法。
【請求項１１】
前記ＰＭＴ情報からの参照情報及び三次元付加情報抽出段階は、
前記少なくとも１つのＥＳのうち、前記視点別ビデオデータのうち基本視点ビデオデータを含む基本視点ＥＳに係わるＥＳ情報から、前記視点別ビデオデータに係わる三次元付加情報を含む三次元ビデオ叙述子情報を抽出する段階と、
前記少なくとも１つのＥＳのうち付加ＥＳに係わるＥＳ情報から、前記三次元付加情報を含む付加ＥＳビデオ叙述子情報を抽出する段階と、をさらに含むことを特徴とする請求項１０に記載の三次元マルチメディア・サービスを提供するためのデータストリーム受信方法。
【請求項１２】
三次元マルチメディア・サービスを提供するためのデータストリーム生成装置において、
二次元または三次元のマルチメディア・サービスに係わるプログラムから、視点別ビデオデータを含む少なくとも１つのＥＳ（elementary stream）を生成するＥＳ生成部と、
前記少なくとも１つのＥＳに係わる参照情報と、前記視点別ビデオデータを視点別に識別して再生するための三次元付加情報と、を含む前記プログラムに係わるＰＭＴ（program map table）情報を生成するＰＭＴ生成部と、
前記少なくとも１つのＥＳをパケット化して生成されたＰＥＳ（packetized elementary stream）パケットと前記ＰＭＴ情報とを多重化してＴＳを生成するＴＳ生成部と、
前記ＴＳをチャネルに同調化して伝送するチャネル伝送部と、を含むことを特徴とする三次元マルチメディア・サービスを提供するためのデータストリーム生成装置。
【請求項１３】
三次元マルチメディア・サービスを提供するためのデータストリーム受信装置において、
二次元または三次元のマルチメディア・サービスに係わるプログラムに係わるＴＳ（transport stream）を受信するＴＳ受信部と、
前記ＴＳを逆多重化し、前記プログラムに係わるＰＥＳ（packetized elementary stream）パケット及び前記プログラムに係わるＰＭＴ（program map table）情報を抽出するＴＳ逆多重化部と、
前記ＰＭＴ情報から、前記プログラムにおける視点別ビデオデータを含む少なくとも１つのＥＳに係わる参照情報と、前記視点別ビデオデータを視点別に識別して再生するための三次元付加情報と、を抽出するＰＭＴ三次元付加情報抽出部と、
前記ＰＥＳパケットを逆パケット化して抽出されたＥＳのうち、前記ＰＭＴ情報から抽出された前記ＥＳに係わる参照情報を利用し、前記少なくとも１つのＥＳを復元し、前記少なくとも１つのＥＳから、前記プログラムにおける視点別ビデオデータを抽出するＥＳ復元部と、
前記抽出された視点別ビデオデータを復号化して復元し、前記三次元付加情報及び前記参照情報のうち少なくとも一つを利用し、三次元で再生する再生部と、を含むことを特徴とする三次元マルチメディア・サービスを提供するためのデータストリーム受信装置。
【請求項１４】
請求項１に記載の三次元マルチメディア・サービスを提供するためのデータストリーム生成方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。
【請求項１５】
請求項６に記載の三次元マルチメディア・サービスを提供するためのデータストリーム受信方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。
【請求項１】
二次元または三次元のマルチメディア・サービスに係わるプログラムから、視点別ビデオデータを含む少なくとも１つのＥＳ（elementary stream）を生成する段階と、
前記少なくとも１つのＥＳに係わる参照情報と、前記視点別ビデオデータを視点別に識別して再生するための三次元付加情報と、を含む前記プログラムに係わるＰＭＴ（program map table）情報を生成する段階と、
前記少なくとも１つのＥＳをパケット化して生成されたＰＥＳ（packetized elementary stream）パケットと前記ＰＭＴ情報とを多重化してＴＳを生成する段階と、を含むことを特徴とする三次元マルチメディア・サービスを提供するためのデータストリーム生成方法。
【請求項２】
前記ＰＭＴ情報の生成段階は、
前記ＰＭＴ情報において、前記少なくとも１つのＥＳのうち基本ＥＳのための叙述子情報に、前記基本ＥＳに挿入された基本ビデオデータに係わる三次元付加情報を挿入する段階と、
前記基本ＥＳのための叙述子情報に、前記少なくとも１つのＥＳのうち、付加ＥＳに含まれた付加ビデオデータに係わる三次元付加情報及び参照情報のうち、少なくとも一つを挿入する段階と、を含み、
前記基本ビデオデータ及び前記付加ビデオデータは、それぞれ前記視点別ビデオデータの組み合わせであることを特徴とする請求項１に記載の三次元マルチメディア・サービスを提供するためのデータストリーム生成方法。
【請求項３】
前記基本ビデオデータに係わる三次元付加情報は、
前記基本ビデオデータの映像フォーマット情報、前記基本ビデオデータの映像フォーマットのうち視点別配置順序情報、及び付加ＥＳの個数情報のうち少なくとも一つを含み、
前記付加ＥＳに係わる参照情報は、前記付加ＥＳのストリームタイプ情報、及び前記付加ＥＳのＰＩＤ（packet indentifier）情報のうち少なくとも一つを含むことを特徴とする請求項２に記載の三次元マルチメディア・サービスを提供するためのデータストリーム生成方法。
【請求項４】
前記ＰＭＴ情報の生成段階は、
前記ＰＭＴ情報に、前記少なくとも１つのＥＳ別に順次に、当該ＥＳのストリームタイプ情報、ＰＩＤ情報及びビデオストリーム叙述子情報を含むＥＳ情報を挿入する段階を含むことを特徴とする請求項１に記載の三次元マルチメディア・サービスを提供するためのデータストリーム生成方法。
【請求項５】
前記ＰＭＴ情報の生成段階は、
前記少なくとも１つのＥＳのうち、前記基本ＥＳに含まれた基本ビデオデータに係わる三次元付加情報を含む三次元ビデオ叙述子情報を挿入する段階と、
前記少なくとも１つのＥＳのうち付加ＥＳに係わるＥＳ情報に、前記三次元付加情報を含む付加ＥＳビデオ叙述子情報を挿入する段階と、をさらに含むことを特徴とする請求項４に記載の三次元マルチメディア・サービスを提供するためのデータストリーム生成方法。
【請求項６】
二次元または三次元のマルチメディア・サービスに係わるプログラムに係わるＴＳ（transport stream）を受信する段階と、
前記ＴＳを逆多重化し、前記プログラムに係わるＰＥＳ（packetized elementary stream）パケット及び前記プログラムに係わるＰＭＴ（program map table）情報を抽出する段階と、
前記ＰＭＴ情報から、前記プログラムにおける視点別ビデオデータを含む少なくとも１つのＥＳ（elementary stream）に係わる参照情報と、前記視点別ビデオデータを視点別に識別して再生するＥＳための三次元付加情報と、を抽出する段階と、
前記ＰＥＳパケットを逆パケット化して抽出されたＥＳのうち、前記ＰＭＴ情報から抽出された前記ＥＳに係わる参照情報を利用し、前記少なくとも１つのＥＳを復元し、前記少なくとも１つのＥＳから、前記プログラムにおける視点別ビデオデータを抽出する段階と、を含むことを特徴とする三次元マルチメディア・サービスを提供するためのデータストリーム受信方法。
【請求項７】
前記データストリーム受信方法は、
前記抽出された視点別ビデオデータを復号化して復元し、前記三次元付加情報を利用し、三次元で再生する段階をさらに含むことを特徴とする請求項６に記載の三次元マルチメディア・サービスを提供するためのデータストリーム受信方法。
【請求項８】
前記ＰＭＴ情報から参照情報及び三次元付加情報抽出段階は、
前記ＰＭＴ情報において、前記少なくとも１つのＥＳ（elementary stream）のうち、基本ＥＳのための叙述子情報から、前記基本ＥＳに係わる参照情報及び前記基本ＥＳに含まれた基本ビデオデータに係わる三次元付加情報のうち少なくとも一つを抽出する段階と、
前記基本ＥＳのための叙述子情報から、前記少なくとも１つのＥＳのうち付加ＥＳに係わる参照情報、及び前記付加ＥＳに含まれた付加ビデオデータに係わる三次元付加情報のうち少なくとも一つを抽出する段階と、を含み、
前記基本ビデオデータ及び前記付加ビデオデータは、それぞれ前記視点別ビデオデータの組み合わせであることを特徴とする請求項６に記載の三次元マルチメディア・サービスを提供するためのデータストリーム受信方法。
【請求項９】
前記基本視点ビデオデータに係わる三次元付加情報は、
前記基本ビデオデータの映像フォーマット情報、前記基本ビデオデータの映像フォーマットのうち視点別配置順序情報、付加ＥＳの個数情報及び前記付加ＥＳに係わる参照情報のうち少なくとも一つを含み、
前記付加ＥＳに係わる参照情報は、前記付加ＥＳのストリームタイプ情報及び前記付加ＥＳのＰＩＤ情報のうち少なくとも一つを含むことを特徴とする請求項８に記載の三次元マルチメディア・サービスを提供するためのデータストリーム受信方法。
【請求項１０】
前記ＰＭＴ情報からの参照情報及び三次元付加情報抽出段階は、
前記ＰＭＴ情報から、前記少なくとも１つのＥＳ別に順次に、当該ＥＳのストリームタイプ情報、ＰＩＤ情報及びビデオストリーム叙述子情報を含むＥＳ情報を抽出する段階を含むことを特徴とする請求項６に記載の三次元マルチメディア・サービスを提供するためのデータストリーム受信方法。
【請求項１１】
前記ＰＭＴ情報からの参照情報及び三次元付加情報抽出段階は、
前記少なくとも１つのＥＳのうち、前記視点別ビデオデータのうち基本視点ビデオデータを含む基本視点ＥＳに係わるＥＳ情報から、前記視点別ビデオデータに係わる三次元付加情報を含む三次元ビデオ叙述子情報を抽出する段階と、
前記少なくとも１つのＥＳのうち付加ＥＳに係わるＥＳ情報から、前記三次元付加情報を含む付加ＥＳビデオ叙述子情報を抽出する段階と、をさらに含むことを特徴とする請求項１０に記載の三次元マルチメディア・サービスを提供するためのデータストリーム受信方法。
【請求項１２】
三次元マルチメディア・サービスを提供するためのデータストリーム生成装置において、
二次元または三次元のマルチメディア・サービスに係わるプログラムから、視点別ビデオデータを含む少なくとも１つのＥＳ（elementary stream）を生成するＥＳ生成部と、
前記少なくとも１つのＥＳに係わる参照情報と、前記視点別ビデオデータを視点別に識別して再生するための三次元付加情報と、を含む前記プログラムに係わるＰＭＴ（program map table）情報を生成するＰＭＴ生成部と、
前記少なくとも１つのＥＳをパケット化して生成されたＰＥＳ（packetized elementary stream）パケットと前記ＰＭＴ情報とを多重化してＴＳを生成するＴＳ生成部と、
前記ＴＳをチャネルに同調化して伝送するチャネル伝送部と、を含むことを特徴とする三次元マルチメディア・サービスを提供するためのデータストリーム生成装置。
【請求項１３】
三次元マルチメディア・サービスを提供するためのデータストリーム受信装置において、
二次元または三次元のマルチメディア・サービスに係わるプログラムに係わるＴＳ（transport stream）を受信するＴＳ受信部と、
前記ＴＳを逆多重化し、前記プログラムに係わるＰＥＳ（packetized elementary stream）パケット及び前記プログラムに係わるＰＭＴ（program map table）情報を抽出するＴＳ逆多重化部と、
前記ＰＭＴ情報から、前記プログラムにおける視点別ビデオデータを含む少なくとも１つのＥＳに係わる参照情報と、前記視点別ビデオデータを視点別に識別して再生するための三次元付加情報と、を抽出するＰＭＴ三次元付加情報抽出部と、
前記ＰＥＳパケットを逆パケット化して抽出されたＥＳのうち、前記ＰＭＴ情報から抽出された前記ＥＳに係わる参照情報を利用し、前記少なくとも１つのＥＳを復元し、前記少なくとも１つのＥＳから、前記プログラムにおける視点別ビデオデータを抽出するＥＳ復元部と、
前記抽出された視点別ビデオデータを復号化して復元し、前記三次元付加情報及び前記参照情報のうち少なくとも一つを利用し、三次元で再生する再生部と、を含むことを特徴とする三次元マルチメディア・サービスを提供するためのデータストリーム受信装置。
【請求項１４】
請求項１に記載の三次元マルチメディア・サービスを提供するためのデータストリーム生成方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。
【請求項１５】
請求項６に記載の三次元マルチメディア・サービスを提供するためのデータストリーム受信方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図１０ａ】
【図１０ｂ】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図１０ａ】
【図１０ｂ】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公表番号】特表２０１３−５１８５０５（Ｐ２０１３−５１８５０５Ａ）
【公表日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１２−５５１０９４（Ｐ２０１２−５５１０９４）
【出願日】平成２３年１月２８日（２０１１．１．２８）
【国際出願番号】ＰＣＴ／ＫＲ２０１１／０００６３０
【国際公開番号】ＷＯ２０１１／０９３６７６
【国際公開日】平成２３年８月４日（２０１１．８．４）
【出願人】（５０３４４７０３６）サムスン エレクトロニクス カンパニー リミテッド (2,221)
【Ｆターム（参考）】
【公表日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願日】平成２３年１月２８日（２０１１．１．２８）
【国際出願番号】ＰＣＴ／ＫＲ２０１１／０００６３０
【国際公開番号】ＷＯ２０１１／０９３６７６
【国際公開日】平成２３年８月４日（２０１１．８．４）
【出願人】（５０３４４７０３６）サムスン エレクトロニクス カンパニー リミテッド (2,221)
【Ｆターム（参考）】
[ Back to top ]