送信装置、送信方法、受信装置および受信方法
【課題】受信側での適切かつ効率的な処理を可能にする。
【解決手段】２次元画像表示用の単一のビューのビデオストリームおよび３次元画像表示用の複数のビューのビデオストリームが時分割的に含まれる所定フォーマットのコンテナを送信する。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）の他に、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。コンテナに、このコンテナに含まれる各ビューのビデオストリームの構成情報を挿入する。
【解決手段】２次元画像表示用の単一のビューのビデオストリームおよび３次元画像表示用の複数のビューのビデオストリームが時分割的に含まれる所定フォーマットのコンテナを送信する。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）の他に、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。コンテナに、このコンテナに含まれる各ビューのビデオストリームの構成情報を挿入する。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、送信装置、送信方法、受信装置および受信方法に関し、特に、２次元画像表示用および３次元画像表示用の各ビューのビデオストリームを時分割的に送信する送信装置等に関する。
【背景技術】
【０００２】
従来、３次元画像（立体画像）を表示するシステムとして、様々なものが知られている。例えば、特許文献１に記載されているように、視差を有する左眼画像および右眼画像を所定周期で交互にディスプレイに表示し、これら左眼画像および右眼画像を、その表示に同期して駆動される液晶シャッタを備えるシャッタメガネで観察する方法が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−１３８３８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
テレビ番組などのコンテンツを放送局からユーザのテレビ受像機に送信することを想定した場合、３次元（３Ｄ）画像表示用の複数のビューのビデオストリームと、２次元（２Ｄ）画像表示用の単一のビューのビデオストリームを切り換えながら送信することが考えられる。
【０００５】
例えば、イベント（番組）本編については３次元画像表示用の複数のビューのビデオストリームを送信し、ＣＭ（commercial message）については２次元画像表示用の単一のビューのビデオストリームを送信するような場合が考えられる。また、例えば、あるイベント（番組）では２次元画像表示用の単一のビューのビデオストリームを送信し、他のイベント（番組）では、少なくとも一部の期間に３次元画像表示用の複数のビューのビデオストリームを送信するような場合が考えられる。
【０００６】
この場合、ユーザ側のテレビ受像機において、送信側から送られてくるビデオストリームの構成を識別可能とすることが望まれる。すなわち、このようなビデオストリーム構成の識別が可能であれば、適切かつ効率的な処理を行うことが可能となる。
【０００７】
本技術の目的は、受信側での適切かつ効率的な処理を可能にすることにある。
【課題を解決するための手段】
【０００８】
本技術の概念は、
２次元画像表示用の単一のビューのビデオストリームおよび３次元画像表示用の複数のビューのビデオストリームが時分割的に含まれる所定フォーマットのコンテナを送信する送信部と、
上記コンテナに、該コンテナに含まれる各ビューのビデオストリームの構成情報を挿入する構成情報挿入部とを備える
送信装置にある。
【０００９】
本技術において、送信部により、２次元画像表示用の単一のビューのビデオストリームおよび３次元画像表示用の複数のビューのビデオストリームが時分割的に含まれる所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）であってもよい。また、例えば、３次元画像表示用の複数のビューは、左眼ビューおよび右眼ビューの２つのビューであってもよい。
【００１０】
構成情報挿入部により、コンテナに、このコンテナに含まれる各ビューのビデオストリームの構成情報が挿入される。例えば、構成情報には、コンテナに含まれるビデオストリームが、２次元画像表示用の単一のビューのビデオストリームであるか、３次元画像表示用の複数のビューのビデオストリームであるかを識別する情報が含まれていてもよい。
【００１１】
また、例えば、構成情報には、１つのビデオエレメンタリストリームに、上記複数のビューのビデオストリームが挿入されているか否かを示す情報が含まれていてもよい。また、例えば、構成情報には、１つのピクチャに複数のビューのビデオストリームのデータがインターリーブされているか否かを示す情報が含まれていてもよい。
【００１２】
また、例えば、構成情報には、ビュー割り当てを示す情報が含まれていてもよい。また、例えば、識別情報には、２次元画像表示に必須のビューのビデオストリームであるか否かを示す情報が含まれていてもよい。また、例えば、構成情報には、水平および／または垂直の所定の解像度に対する画素比率情報が含まれていてもよい。
【００１３】
このように本技術においては、コンテナに、このコンテナに含まれる各ビューのビデオストリームの構成情報を挿入するものであり、受信側において適切かつ効率的な処理が可能となる。
【００１４】
なお、本技術において、例えば、構成情報を挿入する単数あるいは複数のレイヤを選択する挿入レイヤ選択部をさらに備える、ようにされてもよい。例えば、構成情報の挿入レイヤの選択肢に、コンテナのレイヤおよびビデオストリームのレイヤが含まれる。この場合、サービスに応じて必要とするレイヤに構成情報を挿入でき、受信側における処理の便宜を図ることができる。
【００１５】
また、本技術において、例えば、１つのビデオエレメンタリストリームに複数のビューのビデオストリームが挿入される場合、各ビューのビデオストリームの間にビュー間境界を示す情報が配置される、ようにされてもよい。
【００１６】
また、本技術の他の概念は、
２次元画像表示用の単一のビューのビデオストリームおよび３次元画像表示用の複数のビューのビデオストリームが時分割的に含まれる所定フォーマットのコンテナを受信する受信部を備え、
上記コンテナには、該コンテナに含まれる各ビューのビデオストリームの構成情報が挿入されており、
上記コンテナから、上記構成情報に基づいて、各ビューのビデオストリームをデコードして画像データを取得する画像データ取得部をさらに備える
受信装置にある。
【００１７】
本技術において、受信部により、２次元画像表示用の単一のビューのビデオストリームおよび３次元画像表示用の複数のビューのビデオストリームが時分割的に含まれる所定フォーマットのコンテナが受信される。このコンテナには、このコンテナに含まれる各ビューのビデオストリームの構成情報が挿入されている。そして、画像データ取得部により、構成情報に基づいて、各ビューのビデオストリームがデコードされて画像データが取得される。この際、例えば、イベント単位あるいはこのイベント単位よりも細かい時間単位で挿入されている構成情報に基づいて、デコードバッファ領域が確保される。
【００１８】
例えば、イベント（番組）の全期間に対応して２次元画像表示用の単一のビューのビデオストリームが送信されてくる場合には、当該単一のビューのビデオストリームのバッファリングのためのデコードバッファ領域が確保される。一方、イベント（番組）の少なくとも一部期間に対応して３次元画像表示用の複数のビューのビデオストリームが送信されてくる場合には、当該複数のビューのビデオストリームのバッファリングのためのデコードバッファ領域が確保される。
【００１９】
このように本技術においては、コンテナに含まれる各ビューのビデオストリームの構成情報に基づいて各ビューのビデオストリームがデコードされて画像データが取得されるものであり、適切かつ効率的な処理が可能となる。
【発明の効果】
【００２０】
本技術によれば、受信側での適切かつ効率的な処理が可能となる。
【図面の簡単な説明】
【００２１】
【図１】実施の形態としての画像送受信システムの構成例を示すブロック図である。
【図２】３次元画像表示用の左眼、右眼の２つのビューのビデオストリームが１つまたは２つのビデオエレメンタリストリームに含まれる例を示す図である。
【図３】画像送受信システムを構成する放送局の送信データ生成部の構成例を示すブロック図である。
【図４】左眼、右眼の２つのビューのビデオストリームを１つのビデオエレメンタリストリームに含むＡＶＣストリームの例を示す図である。
【図５】３次元画像表示用の左眼、右眼の２つのビューのビデオストリームがサブストリームとして１つのビデオエレメンタリストリームに含まれる場合のトランスポートストリームＴＳの構成例を示す図である。
【図６】３次元画像表示用の左眼、右眼の２つのビューのビデオストリームがそれぞれ別個のビデオエレメンタリストリームに含まれる場合のトランスポートストリームＴＳの構成例を示す図である。
【図７】３次元画像表示用の左眼、右眼の２つのビューのビデオストリームがそれぞれ別個のビデオエレメンタリストリームに含まれる場合のトランスポートストリームＴＳの構成例を示す図である。
【図８】サブストリーム・コンフィグレーション・デスクリプタの構造例（Syntax）を示す図である。
【図９】「substream_configuration_data()」の構造例（Syntax）を示す図である。
【図１０】「substream_configuration_data()」の構造例における各情報の内容（Semantics）を示す図（１／２）である。
【図１１】「substream_configuration_data()」の構造例における各情報の内容（Semantics）を示す図（２／２）である。
【図１２】サブストリーム・コンフィグレーション・データがアクセスユニットの“ＳＥＬｓ”の部分に「substream configuration SEI message」として挿入されることを説明するための図である。
【図１３】「substream configuration SEI message」および「userdata_for_substream_configuration_data()」の構造例(Syntax)を示す図である。
【図１４】「user_data()」の構造例(Syntax)を示す図である。
【図１５】サブストリーム・コンフィグレーション・デスクリプタやサブストリーム・コンフィグレーション・データに含まれる情報の時間的な変化例を示す図である。
【図１６】サブストリーム・コンフィグレーション・デスクリプタやサブストリーム・コンフィグレーション・データに含まれる情報の時間的な変化例を示す図である。
【図１７】サブストリーム・コンフィグレーション・デスクリプタやサブストリーム・コンフィグレーション・データに含まれる情報の時間的な変化例を示す図である。
【図１８】サブストリーム・コンフィグレーション・デスクリプタやサブストリーム・コンフィグレーション・データに含まれる情報の時間的な変化例を示す図である。
【図１９】画像送受信システムを構成する受信機の構成例を示すブロック図である。
【発明を実施するための形態】
【００２２】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００２３】
＜１．実施の形態＞
［画像送受信システム］
図１は、実施の形態としての画像送受信システム１０の構成例を示している。この画像送受信システム１０は、放送局１００および受信機２００により構成されている。放送局１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。
【００２４】
このトランスポートストリームＴＳには、２次元画像表示用の単一のビューのビデオストリーム（画像データ）および３次元画像表示用の複数のビューのビデオストリーム（画像データ）が時分割的に含まれる。この３次元画像表示用の複数のビューのビデオストリームは、１つのエレメンタリストリームに含まれて送信されるか、あるいはそれ独立したエレメンタリストリームに含まれて送信される。この実施の形態において、複数のビューは、左眼ビュー（左眼画像）および右眼ビュー（右眼画像）の２つである。
【００２５】
例えば、イベント（番組）本編については３次元画像表示用の左眼、右眼の２つのビューのビデオストリームが送信され、ＣＭ（commercial message）については２次元画像表示用の単一のビューのビデオストリームが送信される場合が考えられる。また、例えば、あるイベント（番組）では２次元画像表示用の単一のビューのビデオストリームのみを送信し、他のイベント（番組）では、少なくとも一部の期間に３次元画像表示用の左眼、右眼の２つのビューのビデオストリームを送信するような場合が考えられる。
【００２６】
トラスポートストリームＴＳには、トランスポートストリームＴＳに含まれる各ビューのビデオストリームの構成情報が挿入される。この構成情報には、トランスポートストリームＴＳに含まれるビデオストリームが、２次元画像表示用の単一のビューのビデオストリームであるか、３次元画像表示用の左眼、右眼の２つのビューのビデオストリームであるかを識別する情報などが含まれている。
【００２７】
この構成情報は、トランスポートストリームＴＳの単数あるいは複数のレイヤに、選択的に挿入される。挿入レイヤの選択肢には、例えば、トランスポートストリームのレイヤが含まれる。この場合、構成情報は、トランスポートストリームＴＳに含まれるプログラム・マップ・テーブル（ＰＭＴ：Program Map Table）のビデオエレメンタリ・ループ（Video ESloop）の配下、あるいはイベント・インフォメーション・テーブル（ＥＩＴ：Event InformationTable）の配下などに挿入される。
【００２８】
また、挿入レイヤの選択肢には、例えば、ビデオストリームのレイヤ（ピクチャレイヤ、シーケンスレイヤ）が含まれる。この場合、構成情報は、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域などに挿入される。この構成情報の詳細については後述する。
【００２９】
受信機２００は、放送局１００から放送波に載せて送られてくるトランスポートストリームＴＳを受信する。また、受信機２００は、受信されたトランスポートストリームＴＳに挿入されている構成情報を抽出する。そして、受信機２００は、構成情報に基づいて、受信されたトラスポートストリームＴＳから、ビデオストリーム（画像データ）を取得する。
【００３０】
すなわち、受信機２００は、トランスポートストリームＴＳに２次元画像表示用の単一のビューのビデオストリーム（画像データ）が含まれているときには、その単一のビューのビデオストリームを取得する。また、受信機２００は、トランスポートストリームＴＳに３次元画像表示用の左眼、右眼の２つのビューのビデオストリーム（画像データ）が含まれているときには、その２つのビューのビデオストリームを取得する。
【００３１】
図２（ａ）は、３次元画像表示用の左眼、右眼の２つのビューのビデオストリームが１つのビデオエレメンタリストリームに含まれる例を示している。この例では、ＰＭＴの「Stream_Type=0x1b」で送られるＡＶＣストリームから構成されている。
【００３２】
図２（ｂ）は、３次元画像表示用の左眼、右眼の２つのビューのビデオストリームがそれぞれ別個のビデオエレメンタリストリームに含まれる例を示している。この例では、ＰＭＴの「Stream_Type=0x1b」で送られるＭＶＣのベースビュー(base view)のストリームと、ＰＭＴの「Stream_Type=0x20」で送られるＭＶＣのノンベースビュー（Non baseview）のストリームから構成されている。
【００３３】
図２（ｃ）は、３次元画像表示用の左眼、右眼の２つのビューのビデオストリームがそれぞれ別個のエレメンタリビデオストリームに含まれる例を示している。この例では、ＰＭＴの「Stream_Type=0x02」で送られるＭＰＥＧ２ｖｉｄｅｏストリームと、ＰＭＴの「Stream_Type=0x1ｂ」で送られるＡＶＣストリームとから構成されている。
【００３４】
「送信データ生成部の構成例」
図３は、放送局１００において、上述したトランスポートストリームＴＳを生成する送信データ生成部１１０の構成例を示している。この送信データ生成部１１０は、データ取り出し部（アーカイブ部）１１１と、ビデオエンコーダ１１２と、視差情報エンコーダ１１３と、オーディオエンコーダ１１４を有している。また、この送信データ生成部１１０は、グラフィクス発生部１１５と、グラフィクスエンコーダ１１６と、マルチプレクサ１１７を有している。
【００３５】
データ取り出し部１１１には、データ記録媒体１１１ａが、例えば、着脱自在に装着される。このデータ記録媒体１１１ａには、トランスポートストリームＴＳで送信する所定イベント（番組）のビデオストリーム（画像データ）と共に、このビデオストリーム（画像データ）に対応した音声データが記録されている。
【００３６】
例えば、ビデオストリームは、イベント（番組）に応じて、２次元画像表示用の単一のビューのビデオストリームあるいは３次元画像表示用の左眼、右眼の２つのビューのビデオストリームに切り替わる。また、例えば、画像データは、イベント（番組）内においても、本編やコマーシャルなどの内容に応じて、３次元画像表示用の左眼、右眼の２つのビューのビデオストリームあるいは２次元画像表示用の単一のビューのビデオストリームに切り替わる。
【００３７】
左眼、右眼の２つのビューのビデオストリーム（画像データ）である場合、このデータ記録媒体１１１ａには、そのビデオストリームに対応付けて、視差情報も記録されている。この視差情報は、左眼ビュー（左眼画像）と右眼ビュー（右眼画像）との間の視差を示す視差ベクトル、あるいは奥行きデータ等である。奥行きデータは、所定の変換により視差ベクトルとして扱うことが可能となる。
【００３８】
視差情報は、例えば、ビュー（画像）を所定数に分割して得られた各分割領域の視差情報である。この視差情報は、受信側において、左眼ビューおよび右眼ビューにそれぞれ重畳する同一の重畳情報（グラフィクス情報等）の位置を調整して視差を付与するために用いられる。データ記録媒体１１１ａは、ディスク状記録媒体、半導体メモリ等である。データ取り出し部１１１は、データ記録媒体１１１ａから、ビデオストリーム（画像データ）、音声データ、視差情報等を取り出して出力する。
【００３９】
ビデオエンコーダ１１２は、データ取り出し部１１１から出力されるビデオストリームに対して、例えば、ＭＰＥＧ４−ＡＶＣ（ＭＶＣ）、ＭＰＥＧ２ｖｉｄｅｏなどの符号化を施して符号化ビデオデータを得る。また、このビデオエンコーダ１１２は、後段に備えるストリームフォーマッタ（図示せず）により、ビデオストリームが２次元画像表示用の単一のビューのビデオストリームであるときは、このビデオストリームをサブストリームとして含むビデオエレメンタリストリームを生成する。
【００４０】
また、このビデオエンコーダ１１２は、後段に備えるストリームフォーマッタ（図示せず）により、ビデオストリームが３次元画像表示用の左眼、右眼の２つのビューのビデオストリームであるときは、これらのビデオストリームをサブストリームとして含むビデオエレメンタリストリームを生成する。ここで、３次元画像表示用の左眼、右眼の２つのビューのビデオストリームは、１つのビデオエレメンタリストリームに含まれるか（図２（ａ）参照）、それぞれ別個のビデオエレメンタリストリームに含まれる（図２（ｂ），（ｃ）参照）。
【００４１】
ここで、左眼、右眼の２つのビューのビデオストリームを、１つのビデオエレメンタリストリームに含む場合について説明する。図４（ａ），（ｂ）は、その一例を示し、各アクセスユニット（access unit）の前半に一方のビューのデータ（SPS 〜 Coded Slice）が配置され、後半に他方のビューのデータ（Subset SPS 〜 Coded Slice）が配置されている。なお、この例は、ＭＰＥＧ４−ＡＶＣの符号化がされている例であり、図中の１６進数字は「 NAL unit type 」を示している。
【００４２】
左眼、右眼の２つのビューのビデオストリームが１つのビデオエレメンタリストリームに共存する場合、各ビューのピクチャの境界が瞬時に識別可能なことが要求される。ＡＵＤ(access unit delimiter)は、一つのアクセスユニットの先頭にのみ付すことが可能である。
【００４３】
そこで、図４（ｂ）に示すように、２つのビューのデータの間に、「ViewSeparation Marker」というビュー間境界を示す新たな NAL unit を定義して配置することが考えられる。これにより、各ビューのピクチャの先頭データに瞬時にアクセスすることが可能となる。なお、図４（ａ）は、２つのビューのデータの間に、「View Separation Marker」が配置されていない例を示している。
【００４４】
視差情報エンコーダ１１３は、データ取り出し部１１１から出力される視差情報を含む視差情報エレメンタリストリームを生成する。オーディオエンコーダ１１４は、データ取り出し部１１１から出力される音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ、ＡＡＣ等の符号化を施し、オーディオエレメンタリストリームを生成する。
【００４５】
グラフィクス発生部１１５は、画像に重畳するグラフィクス情報（サブタイトル情報も含む）のデータ（グラフィクスデータ）を発生する。グラフィクスエンコーダ１１６は、グラフィクス発生部１１５で発生されたグラフィクスデータを含むグラフィクスエレメンタリストリームを生成する。ここで、グラフィクス情報は、重畳情報を構成し、例えば、ロゴなどである。サブタイトル情報は、例えば、字幕である。
【００４６】
グラフィクスデータは、ビットマップデータである。このグラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。このアイドリングオフセット情報は、例えば、画像の左上の原点から、グラフィクス情報の重畳位置の左上の画素までの垂直方向、水平方向のオフセット値を示す。なお、字幕データをビットマップデータとして伝送する規格は、例えば、ヨーロッパのデジタル放送規格であるＤＶＢで「DVB_Subtitling」として規格化され、運用されている。
【００４７】
マルチプレクサ１１７は、ビデオエンコーダ１１２、視差情報エンコーダ１１３、オーディオエンコーダ１１４およびグラフィクスエンコーダ１１６で生成された各エレメンタリストリームをパケット化して多重し、トランスポートストリームＴＳを生成する。
【００４８】
このトランスポートストリームＴＳは、データ取り出し部１１１から２次元画像表示用の単一のビューのビデオストリームが取り出される所定イベントの期間、あるいはイベント内の所定期間は、以下のビデオエレメンタリストリームを有するものとなる。すなわち、この期間は、そのビデオストリームがサブストリームとして含まれる１つのビデオエレメンタリストリームを有するものとなる。
【００４９】
また、このトランスポートストリームＴＳは、データ取り出し部１１１から３次元画像表示用の左眼、右眼の２つのビューのビデオストリームが取り出される所定イベントの期間、あるいはイベント内の所定期間は、以下のビデオエレメンタリストリームを有するものとなる。すなわち、この期間は、それらのビデオストリームがサブストリームとして共に含まれる１つのビデオエレメンタリストリーム、あるいはそれらのビデオストリームがサブストリームとしてそれぞれ含まれる２つのビデオエレメンタリストリームを有するものとなる。
【００５０】
マルチプレクサ１１７は、このトランスポートストリームＴＳに、上述した構成情報を挿入する。この構成情報は、例えば、ユーザの選択操作に基づく挿入レイヤ情報に基づいて、トランスポートストリームＴＳの単数あるいは複数のレイヤに、選択的に挿入される。挿入レイヤの選択肢には、例えば、トランスポートストリームのレイヤ、ビデオストリーム（サブストリーム）のレイヤなどがある。
【００５１】
トランスポートストリームのレイヤでは、ＰＭＴのビデオエレメンタリ・ループ（VideoES loop）の配下、あるいはＥＩＴの配下などに挿入される。また、ビデオストリームのレイヤ（ピクチャレイヤ、シーケンスレイヤ）では、ピクチャヘッダまたはシーケンスヘッダのユーザデータ領域などに挿入される。マルチプレクサ１１７における構成情報の挿入の詳細説明は後述する。
【００５２】
図３に示す送信データ生成部１１０の動作を簡単に説明する。データ取り出し部１１１から出力されるデータストリームは、ビデオエンコーダ１１２に供給される。この場合のデータストリームは、３次元画像表示用の左眼、右眼の２つのビューのデータストリーム、あるいは２次元画像表示用の単一のビューのデータストリームである。
【００５３】
ビデオエンコーダ１１２では、そのデータストリームに対して、例えば、ＭＰＥＧ４−ＡＶＣ（ＭＶＣ）、ＭＰＥＧ２ｖｉｄｅｏなどの符号化が施され、符号化ビデオデータを含むビデオエレメンタリストリームが生成され、マルチプレクサ１１７に供給される。ここで、２次元画像表示用の単一のビューのビデオストリームが供給される場合には、このビデオストリームをサブストリームとして含む１つのビデオエレメンタリストリームが生成される。
【００５４】
一方、３次元画像表示用の左眼、右眼の２つのビューのビデオストリームが供給される場合には、以下のように生成される。すなわち、２つのビューのビデオストリームを双方とも含む１つのビデオエレメンタリストリーム、あるいは２つのビューのビデオストリームをそれぞれ含む２つのビデオエレメンタリストリームが生成される。
【００５５】
また、データ取り出し部１１１から３次元画像表示用の左眼、右眼の２つのビューのビデオストリームが出力されるとき、このデータ取り出し部１１１からそのビデオストリームに対応した視差情報も出力される。この視差情報は、視差情報エンコーダ１１３に供給される。視差情報エンコーダ１１３では、視差情報に対して所定の符号化が施され、符号化データを含む視差情報エレメンタリストリームが生成される。この視差情報エレメンタリストリームはマルチプレクサ１１７に供給される。
【００５６】
また、データ取り出し部１１１からビデオストリームが出力されるとき、このデータ取り出し部１１１からそのビデオストリームに対応した音声データも出力される。この音声データは、オーディオエンコーダ１１４に供給される。このオーディオエンコーダ１１４では、音声データに対して、ＭＰＥＧ−２あるいはＭＰＥＧ−４ Ａｕｄｉｏ ＡＡＣ等の符号化が施され、符号化オーディオデータを含むオーディオエレメンタリストリームが生成される。このオーディオエレメンタリストリームはマルチプレクサ１１７に供給される。
【００５７】
また、データ取り出し部１１１から出力されるビデオストリームに対応してグラフィクス発生部１１５では、画像（ビュー）に重畳するグラフィクス情報（サブタイトル情報を含む）のデータ（グラフィクスデータ）が発生される。このグラフィクスデータは、グラフィクスエンコーダ１１６に供給される。グラフィクスエンコーダ１１６では、このグラフィクスデータに対して所定の符号化が施され、符号化データを含むグラフィクスエレメンタリストリームが生成される。このグラフィクスエレメンタリストリームはマルチプレクサ１１７に供給される。
【００５８】
マルチプレクサ１１７では、各エンコーダから供給されるエレメンタリストリームがパケット化されて多重され、トランスポートストリームＴＳが生成される。また、マルチプレクサ１１７では、トランスポートストリームＴＳに、このトランスポートストリームＴＳに含まれる各ビューのビデオストリームの構成情報が挿入される。
【００５９】
［構成情報とその挿入］
上述したように、マルチプレクサ１１７は、トランスポートストリームＴＳに、構成情報を挿入する。この構成情報は、ユーザの選択操作に基づく挿入レイヤ情報に基づいて、トランスポートストリームＴＳの単数あるいは複数のレイヤに、例えば、トランスポートストリームのレイヤ、ビデオストリームのレイヤなどに、選択的に挿入される。
【００６０】
トランスポートストリームのレイヤに挿入される場合、例えば、ＰＭＴのビデオエレメンタリ・ループ（Video ES loop）の配下、あるいはＥＩＴの配下に、構成情報を含むサブストリーム・コンフィグレーション・デスクリプタ（Substream_configuration_descriptor）が挿入される。また、ビデオストリームのレイヤに挿入される場合、例えば、ユーザデータ領域に、構成情報を含むサブストリーム・コンフィグレーション・データ（Substream_configuration_data（））が挿入される。
【００６１】
図５は、トランスポートストリームＴＳの構成例を示している。なお、この構成例では、図面の簡単化のために、視差情報、オーディオ、およびグラフィクスなどに関しては、その図示を省略している。この構成例は、３次元画像表示用の左眼、右眼の２つのビューのビデオストリームがサブストリームとして１つのビデオエレメンタリストリームに含まれる例を示している。このビデオエレメンタリストリームは、「Stream_Type=0x1b」で送られるＡＶＣストリームである（図２（ａ）参照）。この構成例では、ビデオエレメンタリストリームのＰＥＳパケット「Video PES1」が含まれている。このＰＥＳパケットには、左眼、右眼の２つのビューのデータが含まれている。
【００６２】
また、トランスポートストリームＴＳには、ＰＳＩ（Program SpecificInformation）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(EventInformation Table)が含まれている。
【００６３】
ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ（Video ES loop）が存在する。このエレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）、ストリームタイプ（Stream_Type）等の情報が配置されると共に、そのエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。
【００６４】
この構成例では、ビデオエレメンタリストリームのユーザデータ（user_data）領域に、各ビューのビデオストリームに対応してサブストリーム・コンフィグレーション・データ（Substream_configuration_data（））が挿入されている。また、この構成例では、ＰＭＴのビデオエレメンタリ・ループ（Video ES loop）に、サブストリーム・コンフィグレーション・デスクリプタ（Substream_configuration_descriptor）が挿入されている。なお、サブストリーム・コンフィグレーション・デスクリプタを、ＥＩＴの配下に挿入することも考えられる。
【００６５】
図６も、トランスポートストリームＴＳの構成例を示している。なお、この構成例では、図面の簡単化のために、視差情報、オーディオ、およびグラフィクスなどに関しては、その図示を省略している。この構成例は、３次元画像表示用の左眼、右眼の２つのビューのビデオストリームがそれぞれ別個のビデオエレメンタリストリームに含まれる例を示している。２つのビデオエレメンタリストリームは、「Stream_Type=0x1b」で送られるＭＶＣのベースビュー(base view)のストリームと、「Stream_Type=0x20」で送られるＭＶＣのノンベースビュー（Non baseview）のストリームである（図２（ｂ）参照）。この構成例では、ビデオエレメンタリストリームのＰＥＳパケット「VideoPES1」、ＰＥＳパケット「Video PES2」が含まれ、それぞれのＰＥＳパケットには左眼、右眼の２つのビューのデータが含まれている。
【００６６】
また、トランスポートストリームＴＳには、ＰＳＩ（Program SpecificInformation）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(EventInformation Table)が含まれている。
【００６７】
ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ（Video ES loop）が存在する。このエレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）、ストリームタイプ（Stream_Type）等の情報が配置されると共に、そのエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。
【００６８】
この構成例では、各ビデオエレメンタリストリームのユーザデータ（user_data）領域に、サブストリーム・コンフィグレーション・データ（Substream_configuration_data（））が挿入されている。また、この構成例では、ＰＭＴのビデオエレメンタリ・ループ（Video ES loop）に、ストリーム毎に、サブストリーム・コンフィグレーション・デスクリプタ（Substream_configuration_descriptor）が挿入されている。なお、サブストリーム・コンフィグレーション・デスクリプタを、ＥＩＴの配下に挿入することも考えられる。
【００６９】
図７も、トランスポートストリームＴＳの構成例を示している。なお、この構成例では、図面の簡単化のために、視差情報、オーディオ、およびグラフィクスなどに関しては、その図示を省略している。この構成例は、３次元画像表示用の左眼、右眼の２つのビューのビデオストリームがそれぞれ別個のビデオエレメンタリストリームに含まれる例を示している。２つのビデオエレメンタリストリームは、「Stream_Type=0x02」で送られるＭＰＥＧ２ｖｉｄｅｏストリームと、「Stream_Type=0x1ｂ」で送られるＡＶＣストリームである（図２（ｃ）参照）。この構成例では、ビデオエレメンタリストリームのＰＥＳパケット「Video PES1」、ＰＥＳパケット「Video PES2」が含まれ、それぞれのＰＥＳパケットには左眼、右眼の２つのビューのデータが含まれている。
【００７０】
また、トランスポートストリームＴＳには、ＰＳＩ（Program SpecificInformation）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(EventInformation Table)が含まれている。
【００７１】
ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ（Video ES loop）が存在する。このエレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）、ストリームタイプ（Stream_Type）等の情報が配置されると共に、そのエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。
【００７２】
この構成例では、各ビデオエレメンタリストリームのユーザデータ（user_data）領域に、サブストリーム・コンフィグレーション・データ（Substream_configuration_data（））が挿入されている。また、この構成例では、ＰＭＴのビデオエレメンタリ・ループ（Video ES loop）に、ストリーム毎に、サブストリーム・コンフィグレーション・デスクリプタ（Substream_configuration_descriptor）が挿入されている。なお、サブストリーム・コンフィグレーション・デスクリプタを、ＥＩＴの配下に挿入することも考えられる。
【００７３】
図８は、サブストリーム・コンフィグレーション・デスクリプタの構造例（Syntax）を示している。「substream_configuration_tag」は、デスクリプタタイプを示す８ビットのデータであり、ここでは、サブストリーム・コンフィグレーション・デスクリプタであることを示す。「substream_configuration_data_length」は、デスクリプタの長さ（サイズ）を示す８ビットのデータである。このデータは、デスクリプタの長さとして、以降の「substream_configuration_data()」のバイト数を示す。
【００７４】
図９は、「substream_configuration_data()」の構造例（Syntax）を示している。図１０、図１１は、図９に示す構造例における各情報の内容（Semantics）を示している。「3D_flag」の１ビットフィールドは、符号化されるビデオが３Ｄか否かを示す。“１”は、符号化されるビデオが３Ｄであること、つまりトランスポートストリームＴＳに３次元（３Ｄ）画像表示用の左眼、右眼の２つのビューを有するビデオストリームが含まれることを示す。一方、“０”は、符号化されるビデオが３Ｄではなく２Ｄであること、つまりトランスポートストリームＴＳに２次元（２Ｄ）画像表示用の単一のビューのビデオストリームが含まれることを示す。
【００７５】
また、以下の情報は、「3D_flag = 1」である場合に、存在する。「single_view_es_flag 」の１ビットフィールドは、１つのビデオエレメンタリストリームは１つのビューのみを符号化するか否かを示す。換言すれば、この「single_view_es_flag 」の１ビットフィールドは、１つのビデオエレメンタリストリームに、複数のビューのビデオストリーム（サブストリーム）が挿入されているかを示す。“１”は、１つのビデオエレメンタリストリームは１つのビューのみを符号化することを示す。一方、“０”は、１つのビデオエレメンタリストリームは２以上のビューを符号化することを示す。
【００７６】
「View_interleaving_flag」の１ビットフィールドは、１つのピクチャに複数のビューのビデオストリームのデータがインターリーブ（interleave）されているか否かを示す。“１”は、インターリーブされていることを示す。一方、“０”は、インターリーブされていないことを示す。
【００７７】
「view_allocation 」の３ビットフィールドは、当該ビューのビデオストリームのビュー割り当てを示す。「001」は、ステレオビュー構成の右眼ビュー（right view）に相当することを示す。「010」は、マルチビュー構成のセンタービュー(center view)、あるいは２Ｄのビューに相当することを示す。「011」は、マルチビュー構成時の、“right most view”「001」よりもセンター（center）に近い右眼ビュー（right view）を示す。
【００７８】
「100」は、ステレオビュー構成の左眼ビュー（left view）に相当することを示す。「101」は、１ピクチャが複数のビューデータ（view data）で構成され、左眼ビュー（Left view）、右眼ビュー（right view）がサイド・バイ・サイド（Side-by Side）の画を示す。これは、「View_interleaving_flag=1」のときのみ有効である。
【００７９】
「110」は、マルチビュー構成時の、“left most view”「100」よりもセンター（center）に近い左眼ビュー（left view）を示す。「111」は、１ピクチャが複数のビューデータ（view data）で構成され、左眼ビュー（Left view）、センタービュー(center view),右眼ビュー（right view）が分割された水平位置で共存する画を示す。これは、「View_interleaving_flag=1」のときのみ有効である。
【００８０】
「display_prompting_flag 」の１ビットフィールドは、当該ビューは２Ｄ表示を行わせる際に表示必須か否かを示す。“１”は、表示必須であることを示す。一方、“０”は、表示必須でないことを示す。
【００８１】
「indication_of_picture_size_scaling_horizontal 」の４ビットフィールドは、フルＨＤ（１９２０）に対してのデコード画の水平画素比率を示している。「0000」は１００％、「0001」は８０％、「0010」は７５％、「0011」は６６％、「0100」は５０％、「0101」は３３％、「0110」は２５％、「0111」は２０％をそれぞれ示す。
【００８２】
「indication_of_picture_size_scaling_vertical 」の４ビットフィールドは、フルＨＤ（１０８０）に対してのデコード画の垂直画素比率を示している。「0000」は１００％、「0001」は８０％、「0010」は７５％、「0011」は６６％、「0100」は５０％、「0101」は３３％、「0110」は２５％、「0111」は２０％をそれぞれ示す。
【００８３】
なお、デコード画を最終的にどの比率で表示するかは、再生機器依存である。例えば、テレビ受信機（ＴＶ）の場合は、Ｌ／Ｒ共に１００％になるように、後段でスケーリングすることが多いと考えられる。また、例えば、セットトップボックス（ＳＴＢ）の場合は、ＨＤＭＩ等のデジタルインタフェースでテレビ受信機（ＴＶ）に送信する際に、Ｌ／Ｒ共に水平方向に５０％にスケーリングして、サイド・バイ・サイド（Side-by-Side）の画として送ることも可能である。
【００８４】
次に、サブストリーム・コンフィグレーション・データ（Substream_configuration_data（））を、ビデオエレメンタリストリームのユーザデータ領域に挿入する場合について説明する。この場合、サブストリーム・コンフィグレーション・データは、ユーザデータ領域を利用して、例えば、ピクチャ単位あるいはＧＯＰ単位で挿入される。
【００８５】
例えば、符号化方式がＡＶＣである場合、サブストリーム・コンフィグレーション・データは、アクセスユニットの“ＳＥＬｓ”の部分に、「substream configuration SEI message」として、挿入される。図１２（ａ）は、ＧＯＰ（Group Of Pictures）の先頭のアクセスユニットを示しており、図１２（ｂ）は、ＧＯＰの先頭以外のアクセスユニットを示している。サブストリーム・コンフィグレーション・データがＧＯＰ単位で挿入される場合、ＧＯＰの先頭のアクセスユニットにのみ「substream configuration SEI message」が挿入される。
【００８６】
図１３（ａ）は、「substream configuration SEImessage」の構造例(Syntax)を示している。「uuid_iso_iec_11578」は、“ISO/IEC 11578:1996 AnnexA.”で示されるUUID値をもつ。「user_data_payload_byte」のフィールドに、「userdata_for_substream_configuration_data()」が挿入される。図１３（ｂ）は、「userdata_for_substream_configuration_data()」の構造例(Syntax)を示しており、この中に、サブストリーム・コンフィグレーション・データ（Substream_configuration_data（））が挿入される（図９参照）。「stream_association_id」は、符号なし１６ビットで示されるサブストリーム・コンフィグレーション・データの識別子である。
【００８７】
また、例えば、符号化方式がＭＰＥＧ２ ｖｉｄｅｏである場合、サブストリーム・コンフィグレーション・データは、ピクチャヘッダ部のユーザデータ領域に、ユーザデータ「user_data()」として挿入される。図１４（ａ）は、「user_data()」の構造例(Syntax)を示している。「user_data_start_code」の３２ビットフィールドは、ユーザデータ（user_data）の開始コードであり、“0x000001B2”の固定値とされる。
【００８８】
この開始コードに続く３２ビットフィールドは、ユーザデータの内容を識別する識別子である。ここでは、「Stereo_Video_Format_Signaling_identifier」とされ、ユーザデータが、サブストリーム・コンフィグレーション・データであることを識別可能とする。この識別子の後のデータ本体として、ストリーム関連付け情報としての「substream_configuration_information()」が挿入される。図１４（ｂ）は、「substream_configuration_information()」の構造例(Syntax)を示しており、この中に、サブストリーム・コンフィグレーション・データ（Substream_configuration_data（））が挿入される（図９参照）。
【００８９】
上述したように、図２に示す送信データ生成部１１０においては、マルチプレクサ１１７で、トランスポートストリームＴＳに、このトランスポートストリームＴＳに含まれる各ビューのビデオストリームの構成情報（Substream_configuration_data（））を挿入できる。したがって、受信側においては、この構成情報に基づいて、適切かつ効率的な処理が可能となる。
【００９０】
また、図２に送信データ生成部１１０においては、構成情報としてのサブストリーム・コンフィグレーション・データ（Substream_configuration_data（））を、トランスポートストリームのレイヤ、ビデオストリームのレイヤ等の単数または複数のレイヤに選択的に挿入できる。したがって、サービスに応じて必要とするレイヤに構成情報を挿入でき、受信側における処理の便宜を図ることができる。
【００９１】
例えば、サブストリーム・コンフィグレーション・データを含むサブストリーム・コンフィグレーション・デスクリプタは、イベント単位あるいは時間的に静的あるいは動的なユースケースにおいて、最適な位置に配置される。また、ピクチャ単位あるいはシーン単位（ランダムアクセス相当）で動的に切り替える際のシグナリングとして、ユーザデータ領域を利用する等して、サブストリーム・コンフィグレーション・データが、ビデオエレメンタリストリームの中の最適な位置に配置される。
【００９２】
図１５は、トランスポートストリームのレイヤに挿入されるサブストリーム・コンフィグレーション・デスクリプタ、あるいはビデオストリームのレイヤに挿入されるサブストリーム・コンフィグレーション・データに含まれる情報の時間的な変化例を示している。この例は、３次元画像表示用の左眼、右眼の２つのビューのビデオストリームが１つのビデオエレメンタリストリームに含まれる例を示している（図２（ａ）、図５参照）。この例では、１つのビデオエレメンタリストリームは、「Stream_Type=0x1b」で送られるＡＶＣストリームである。
【００９３】
この例では、イベント１「EVENT_1」、イベント２「EVENT_2」、イベント３「EVENT_3」のビデオストリーム（画像データ）が、この順に送信される場合を示している。イベント１「EVENT_1」は、全体が２Ｄサービスのイベントである。このイベント１「EVENT_1」のサービス期間では、２次元画像表示用の単一のビューのビデオストリームを含む１つのビデオエレメンタリストリームがトランスポートストリームＴＳで送信される。
【００９４】
イベント２「EVENT_2」は、３Ｄサービスを含むイベントである。このイベント２「EVENT_2」の２Ｄサービス期間では、２次元画像表示用の単一のビューのビデオストリームを含む１つのビデオエレメンタリストリームがトランスポートストリームＴＳで送信される。また、このイベント２「EVENT_2」の３Ｄサービス期間では、３次元画像表示用の左眼、右眼の２つのビューのビデオストリームを含む１つのビデオエレメンタリストリームがトランスポートストリームＴＳで送信される。
【００９５】
イベント３「EVENT_3」は、イベント１「EVENT_1」と同様に、全体が２Ｄサービスのイベントである。このイベント３「EVENT_3」のサービス期間では、２次元画像表示用の単一のビューのビデオストリームを含む１つのビデオエレメンタリストリームがトランスポートストリームＴＳで送信される。
【００９６】
この例において、サブストリーム・コンフィグレーション・デスクリプタは、ＥＩＴの配下に挿入され、イベント単位で構成情報の内容が変更される。例えば、イベント1「EVENT_1」およびイベント３「EVENT_3」では、「3D_flag=0」とされることで、これらのイベントは３Ｄサービスを含まず、全体として２Ｄサービスであることが示される。また、イベント２「EVENT_2」では、「3D_flag=１」とされることで、３Ｄサービスを含むことが示される。受信側においては、この「3D_flag」の情報によって、イベント単位で、例えば、必要とするデコードバッファ領域の確保する制御を適切に行うことができる。
【００９７】
また、各ビューのビデオストリームに対応したサブストリーム・コンフィグレーション・データが、ビデオエレメンタリストリームのユーザデータ領域に挿入され、ピクチャ単位あるいはＧＯＰ単位で、構成情報の内容が変更される。例えば、イベント1「EVENT_1」およびイベント３「EVENT_3」では、「3D_flag=0」とされることで、これらのイベントの全体が２Ｄサービスであることが示される。
【００９８】
また、イベント２「EVENT_2」では、３Ｄサービス期間では「3D_flag=１」とされ、２Ｄサービス期間では「3D_flag=0」とされることで、ピクチャ単位あるいはＧＯＰ単位で、３Ｄサービスであるか２Ｄサービスであるかが示される。受信側においては、この「3D_flag」の情報によって、受信処理を切り替える制御を適切に行うことができる。
【００９９】
また、その際、受信側では、「display_prompting_flag 」の情報により、３Ｄサービス期間において、２Ｄ表示が可能であるか、さらには可能である場合にどのビューを表示すべきかを知ることができ、２Ｄ表示の制御を適切に行うことができる。
【０１００】
この例では、例えば、イベント２「EVENT_2」の１つ目の３Ｄサービス期間では、“2D_display_allowed”、つまり２Ｄ表示が可能であり、“2D_display=view0”、つまり２Ｄ表示では左眼ビュー（View0）が表示される。この３Ｄサービス期間において、上述の「display_prompting_flag 」は、左眼ビュー（View0）に関しては“１”に設定され、右眼ビュー（View1）に関しては“０”に設定されている。
【０１０１】
また、この例では、例えば、イベント２「EVENT_2」の２つ目の３Ｄサービス期間では、“2D_display_allowed”、つまり２Ｄ表示が可能であり、“2D_display=view1”、つまり２Ｄ表示では右眼ビュー（View0）が表示される。この３Ｄサービス期間において、上述の「display_prompting_flag 」は、右眼ビュー（View1）に関しては“１”に設定され、左眼ビュー（View0）に関しては“０”に設定されている。
【０１０２】
図１６も、トランスポートストリームのレイヤに挿入されるサブストリーム・コンフィグレーション・デスクリプタ、あるいはビデオストリームのレイヤに挿入されるサブストリーム・コンフィグレーション・データに含まれる情報の時間的な変化例を示している。この例は、３次元画像表示用の左眼、右眼の２つのビューのビデオストリームがそれぞれ別個のビデオエレメンタリストリームに含まれる例を示している（図２（ｂ）、図６参照）。この例では、２つのビデオエレメンタリストリームは、「Stream_Type=0x1b」で送られるＭＶＣのベースビュー(base view)のストリームと、ＰＭＴの「Stream_Type=0x20」で送られるＭＶＣのノンベースビュー（Non baseview）のストリームである。
【０１０３】
この例でも、イベント１「EVENT_1」、イベント２「EVENT_2」、イベント３「EVENT_3」のビデオストリーム（画像データ）が、この順に送信される場合を示している。イベント１「EVENT_1」は、全体が２Ｄサービスのイベントである。このイベント１「EVENT_1」のサービス期間では、２次元画像表示用の単一のビューのビデオストリームを含む１つのビデオエレメンタリストリームがトランスポートストリームＴＳで送信される。
【０１０４】
イベント２「EVENT_2」は、３Ｄサービスを含むイベントである。このイベント２「EVENT_2」の２Ｄサービス期間では、２次元画像表示用の単一のビューのビデオストリームを含む１つのビデオエレメンタリストリームがトランスポートストリームＴＳで送信される。また、このイベント２「EVENT_2」の３Ｄサービス期間では、３次元画像表示用の左眼、右眼の２つのビューのビデオストリームを含むそれぞれ別個のビデオエレメンタリストリームがトランスポートストリームＴＳで送信される。
【０１０５】
イベント３「EVENT_3」は、イベント１「EVENT_1」と同様に、全体が２Ｄサービスのイベントである。このイベント３「EVENT_3」のサービス期間では、２次元画像表示用の単一のビューのビデオストリームを含む１つのビデオエレメンタリストリームがトランスポートストリームＴＳで送信される。
【０１０６】
この例において、サブストリーム・コンフィグレーション・デスクリプタは、ＥＩＴの配下に挿入され、イベント単位で構成情報の内容が変更される。例えば、イベント1「EVENT_1」およびイベント３「EVENT_3」では、「3D_flag=0」とされることで、これらのイベントは３Ｄサービスを含まず、全体として２Ｄサービスであることが示される。また、イベント２「EVENT_2」では、「3D_flag=１」とされることで、３Ｄサービスを含むことが示される。受信側においては、この「3D_flag」の情報によって、イベント単位で、例えば、必要とするデコードバッファ領域の確保する制御を適切に行うことができる。
【０１０７】
また、各ビューのビデオストリームに対応したサブストリーム・コンフィグレーション・データが、各ビデオエレメンタリストリームのユーザデータ領域に挿入され、ピクチャ単位あるいはＧＯＰ単位で、構成情報の内容が変更される。例えば、イベント1「EVENT_1」およびイベント３「EVENT_3」では、「3D_flag=0」とされることで、これらのイベントの全体が２Ｄサービスであることが示される。
【０１０８】
また、イベント２「EVENT_2」では、３Ｄサービス期間では「3D_flag=１」とされ、２Ｄサービス期間では「3D_flag=0」とされることで、ピクチャ単位あるいはＧＯＰ単位で、３Ｄサービスであるか２Ｄサービスであるかが示される。受信側においては、この「3D_flag」の情報によって、受信処理を切り替える制御を適切に行うことができる。
【０１０９】
また、その際、受信側では、「display_prompting_flag 」の情報により、３Ｄサービス期間において、２Ｄ表示が可能であるか、さらには可能である場合にどのビューを表示すべきかを知ることができ、２Ｄ表示の制御を適切に行うことができる。この例では、図１５の例と同様に、３Ｄサービス期間において、“2D_display_allowed”、つまり２Ｄ表示が可能であることが示されている。
【０１１０】
図１７も、トランスポートストリームのレイヤに挿入されるサブストリーム・コンフィグレーション・デスクリプタ、あるいはビデオストリームのレイヤに挿入されるサブストリーム・コンフィグレーション・データに含まれる情報の時間的な変化例を示している。この例は、３次元画像表示用の左眼、右眼の２つのビューのビデオストリームがそれぞれ別個のビデオエレメンタリストリームに含まれる例を示している（図２（ｃ）、図７参照）。この例では、２つのビデオエレメンタリストリームは、「Stream_Type=0x02」で送られるＭＰＥＧ２ｖｉｄｅｏストリームと、ＰＭＴの「Stream_Type=0x1ｂ」で送られるＡＶＣストリームである。詳細説明は省略するが、その他は図１６の例と同様である。
【０１１１】
図１８も、トランスポートストリームのレイヤに挿入されるサブストリーム・コンフィグレーション・デスクリプタ、あるいはビデオストリームのレイヤに挿入されるサブストリーム・コンフィグレーション・データに含まれる情報の時間的な変化例を示している。この例は、３次元画像表示用の左眼、右眼の２つのビューのビデオストリームがそれぞれ別個のビデオエレメンタリストリームに含まれる例を示している（図２（ｂ）、図６参照）。
この例においても、上述の各例と同様に、受信側においては、「3D_flag」の情報によって、受信処理を切り替える制御を適切に行うことができる。そして、その際、受信側では、「display_prompting_flag 」の情報により、３Ｄサービス期間において、２Ｄ表示が可能であるか、さらには可能である場合にどのビューを表示すべきかを知ることができ、２Ｄ表示の制御を適切に行うことができる。
【０１１２】
この例では、例えば、イベント２「EVENT_2」の各３Ｄサービス期間では、“2D_display_NOTallowed”、つまり２Ｄ表示が許可されておらず不可能である。これらの３Ｄサービス期間において、上述の「display_prompting_flag 」は、左眼ビュー（View0）および右眼ビュー（View1）の両方に関して“１”に設定されている。
詳細説明は省略するが、その他は図１６の例と同様である。
【０１１３】
「受信機の構成例」
図１９は、受信機２００の構成例を示している。この受信機２００は、ＣＰＵ２０１と、フラッシュＲＯＭ２０２と、ＤＲＡＭ２０３と、内部バス２０４と、リモコン受信部２０５と、リモコン送信機２０６を有している。また、この受信機２００は、アンテナ端子２１１と、デジタルチューナ２１２と、トランスポートストリームバッファ（ＴＳバッファ）２１３と、デマルチプレクサ２１４を有している。
【０１１４】
また、受信機２００は、コーデッドバッファ２１５と、ビデオデコーダ２１６ａ，２１６ｂと、ビューバッファ２１７ａ，２１７ｂと、スケーラ２１８ａ，２１８ｂと、ビデオ重畳部（ディスプレイバッファ）２１９ａ，２１９ｂを有している。また、受信機２００は、グラフィクスデコーダ２２１と、ピクセルバッファ２２２と、視差情報デコーダ２２３と、負らフィクスバッファ２２４ａ，２２４ｂと、オーディオデコーダ２２５と、チャネル処理部２２６を有している。
【０１１５】
ＣＰＵ２０１は、受信機２００の各部の動作を制御する。フラッシュＲＯＭ２０２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２０３は、ＣＰＵ２０１のワークエリアを構成する。ＣＰＵ２０１は、フラッシュＲＯＭ２０２から読み出したソフトウェアやデータをＤＲＡＭ２０３上に展開してソフトウェアを起動させ、受信機２００の各部を制御する。リモコン受信部２０５は、リモコン送信機２０６から送信されたリモーコントロール信号（リモコンコード）を受信し、ＣＰＵ２０１に供給する。ＣＰＵ２０１は、このリモコンコードに基づいて、受信機２００の各部を制御する。ＣＰＵ２０１、フラッシュＲＯＭ２０２およびＤＲＡＭ２０３は内部バス２０４に接続されている。
【０１１６】
アンテナ端子２１１は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２１２は、アンテナ端子２１１に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のトランスポートストリーム（ビットストリームデータ）ＴＳを出力する。トランスポートストリームバッファ（ＴＳバッファ）２１３は、デジタルチューナ２１２から出力されたトランスポートストリームＴＳを一時的に蓄積する。
【０１１７】
このトランスポートストリームＴＳには、上述したように、２次元画像表示用の単一のビューのビデオストリーム、あるいは３次元画像表示用の左眼、右眼の２つのビューのビデオストリームが含まれている。なお、この左眼、右眼の２つのビューのビデオストリームは、１つのビデオエレメンタリストリームに含まれ、あるいはそれぞれ別個のビデオストリームに含まれている。このトランスポートストリームＴＳには、上述したように、このトランスポートストリームＴＳに含まれる各ビューのビデオストリームの構成情報が挿入されている。
【０１１８】
すなわち、この構成情報は、ユーザの選択操作に基づく挿入レイヤ情報に基づいて、トランスポートストリームＴＳの単数あるいは複数のレイヤに、例えば、トランスポートストリームのレイヤ、ビデオストリームのレイヤなどに、選択的に挿入されている。トランスポートストリームのレイヤに挿入される場合、例えば、ＰＭＴのビデオエレメンタリ・ループ（Video ES loop）の配下、あるいはＥＩＴの配下に、構成情報を含むサブストリーム・コンフィグレーション・デスクリプタが挿入されている。また、ビデオストリームのレイヤに挿入される場合、例えば、ユーザデータ領域に、構成情報を含むサブストリーム・コンフィグレーション・データが挿入されている。
【０１１９】
デマルチプレクサ２１４は、ＴＳバッファ２１３に一時的に蓄積されたトランスポートストリームＴＳから、ビデオ、視差情報、グラフィクスおよびオーディオの各エレメンタリストリームを抽出する。視差情報エレメンタリストリームは、トランスポートストリームＴＳに含まれるビデオエレメンタリストリームが３次元画像表示用の左眼、右眼の２つのビューのビデオストリーム（画像データ）を含む場合のみ抽出される。デマルチプレクサ２１４で抽出される１つまたは２つのビデオエレメンタリストリームは、コーデッドバッファ２１５に一時的に蓄積される。
【０１２０】
トランスポートストリームＴＳには、２次元画像表示用の単一のビューのビデオストリームおよび３次元画像表示用の複数のビューのビデオストリーム（画像データ）が時分割的に含まれる。この３次元画像表示用の左眼、右眼の２つのビューのビデオストリームは、１つのエレメンタリストリームに含まれて送信されるか、あるいはそれ独立したエレメンタリストリームに含まれて送信される。
【０１２１】
例えば、イベント（番組）本編については３次元画像表示用の左眼、右眼の２つのビューのビデオストリームが送信され、ＣＭ（commercial message）については２次元画像表示用の単一のビューのビデオストリームが送信される場合が考えられる。また、例えば、あるイベント（番組）では２次元画像表示用の単一のビューのビデオストリームのみを送信し、他のイベント（番組）では、少なくとも一部の期間に３次元画像表示用の左眼、右眼の２つのビューのビデオストリームを送信するような場合が考えられる。
【０１２２】
また、デマルチプレクサ２１４は、トランスポートストリームＴＳのレイヤ、例えばＰＭＴのビデオエレメンタリ・ループの配下、あるいはＥＩＴの配下に挿入されているサブストリーム・コンフィグレーション・デスクリプタを抽出し、ＣＰＵ２０１に供給する。上述したように、このデスクリプタには、トランスポートストリームＴＳに含まれる各ビューのビデオストリームの構成情報（Substream_configuration_data（））（図９参照）が挿入されている。
【０１２３】
この構成情報には、上述したように、符号化されるビデオが３Ｄか否かを示す「3D_flag」の１ビットフィールドが存在する。ＣＰＵ２０１は、例えば、ＥＩＴの配下に挿入されているサブストリーム・コンフィグレーション・デスクリプタの「3D_flag」に基づいて、イベント（番組）単位で、コーデッドバッファ２１５の領域（デコードバッファ領域）として必要領域を確保する制御を行う。すなわち、「3D_flag=１」とされており、そのイベントに３Ｄサービスを含むことが示されている場合には、３Ｄ用のバッファスペースが確保される。これに対して、「3D_flag=0」とされており、そのイベントの全体が２Ｄサービスであることが示されている場合には、２Ｄ用のバッファスペースが確保される。
【０１２４】
ビデオデコーダ２１６ａ，２１６ｂは、ＣＰＵ２０１の制御のもと、コーデッドバッファ２１５に記憶されているビデオエレメンタリストリームの復号化処理を行って、所定のビューのビデオストリーム（画像データ）を取得する。ここで、ビデオデコーダ２１６ａは、２次元画像表示用のビューのビデオストリーム、あるいは３次元画像表示用の左眼ビューのビデオストリームを取得する。一方、ビデオデコーダ２１６ｂは、３次元画像表示用の右眼ビューのビデオストリームを取得する。
【０１２５】
また、ビデオデコーダ２１６ａ，２１６ｂは、ビデオストリームのレイヤ、例えばユーザデータ領域を利用してピクチャ単位あるいはＧＯＰ単位で挿入されているサブストリーム・コンフィグレーション・データ（Substream_configuration_data（））を抽出し、ＣＰＵ２０１に供給する。上述したように、このデータには、トランスポートストリームＴＳに含まれる各ビューのビデオストリームの構成情報（図９参照）が挿入されている。
【０１２６】
この構成情報には、上述したように、符号化されるビデオが３Ｄか否かを示す「3D_flag」の１ビットフィールドが存在する。また、１つのビデオエレメンタリストリームは１つのビューのみを符号化するか否かを示す「single_view_es_flag 」の１ビットフィールドが存在する。また、この構成情報には、ビュー割り当てを示す「view_allocation 」の３ビットフィールドが存在する。ＣＰＵ２０１は、これらの情報に基づいて、ピクチャ単位あるいはＧＯＰ単位で、ビデオデコーダ２１６ａ，２１６ｂの動作を制御する。
【０１２７】
例えば、ＣＰＵ２０１は、１つのビュー（view）のデータが１つのエレメンタリストリーム（elementary stream）で構成される場合、各ストリームに対応したデスクリプタ、あるいはエレメンタリストリーム内のユーザデータに記述される「view_allocation 」の３ビットフィールドにより、左眼ビューおよび右眼ビューを識別できる（図６、図７参照）。また、例えば、ＣＰＵ２０１は、２つのビュー（view）のデータが１つのエレメンタリストリーム（elementary stream）で構成される場合、エレメンタリストリーム内のユーザデータに記述される「view_allocation 」の３ビットフィールドにより、左眼ビューおよび右眼ビューを識別できる（図５参照）。
【０１２８】
これにより、２Ｄサービス期間では、ビデオデコーダ２１６ａにより２次元画像表示用のビューのビデオストリーム（画像データ）が取得される。また、３Ｄサービス期間では、ビデオデコーダ２１６ａにより３次元画像表示用の左眼ビューのビデオストリーム（画像データ）が取得され、ビデオデコーダ２１６ｂにより３次元画像表示用の右眼ビューのビデオストリーム（画像データ）が取得される。
【０１２９】
また、上述の構成情報には、各ビューが２Ｄ表示を行わせる際に表示必須か否かを示す「display_prompting_flag 」の１ビットフィールドが存在する。ＣＰＵ２０１は、この情報に基づいて、３Ｄサービス期間において、ユーザが２Ｄ表示モードを選択した際におけるビデオデコーダ２１６ａ，２１６ｂの動作を制御する。
【０１３０】
すなわち、表示必須のビューが存在して２Ｄ表示が可能であるときには、ビデオデコーダ２１６ａにより、その表示必須のビュー（左眼ビューあるいは右眼ビュー）のビデオストリーム（画像データ）が取得される。一方、表示必須のビューが存在せず２Ｄ表示が許可されていないときは、ユーザの２Ｄ表示モードの選択は無効とされ、ビデオデコーダ２１６ａ，２１６ｂにより、それぞれ、左眼、右眼の各ビューのビデオストリーム（画像データ）が取得される。
【０１３１】
ビューバッファ２１７ａ，２１７ｂは、それぞれ、ビデオデコーダ２１６ａ，２１６ｂで取得された各ビューのビデオストリーム（画像データ）を一時的に蓄積する。
【０１３２】
グラフィクスデコーダ２２１は、上述の送信データ生成部１１０のグラフィクスエンコーダ１１６（図３参照）とは逆の処理を行う。すなわち、グラフィクスデコーダ２２１は、デマルチプレクサ２１４で抽出されたグラフィクスエレメンタリストリームに含まれる符号化グラフィクスデータに対して復号化処理を行って復号化されたグラフィクスデータ（サブタイトルデータを含む）を得る。
【０１３３】
視差情報デコーダ２２３は、上述の送信データ生成部１１０の視差情報エンコーダ１１３（図３参照）とは逆の処理を行う。すなわち、視差情報デコーダ２２３は、デマルチプレクサ２１４で抽出された視差情報エレメンタリストリームに含まれる符号化視差情報に対して復号化処理を行って復号化された視差情報を得る。この視差情報は、左眼ビュー（左眼画像）と右眼ビュー（右眼画像）との間の視差を示す視差ベクトル、あるいは奥行きデータ等である。奥行きデータは、所定の変換により視差ベクトルとして扱うことが可能となる。視差情報は、例えば、ビュー（画像）を所定数に分割して得られた各分割領域の視差情報である。
【０１３４】
グラフィクス発生部２２２は、グラフィクスデコーダ２２１で得られたグラフィクスデータに基づいて、ビュー（画像）に重畳するグラフィクス情報のデータを発生する。グラフィクス発生部２２２は、３Ｄサービス時（２Ｄ表示モードを除く）に、左眼ビューおよび右眼ビューにそれぞれ重畳するグラフィクス情報のデータを発生する。この場合、グラフィクス発生部２２２は、視差情報デコーダ２２３で得られる視差情報に基づいて、各ビューに重畳するグラフィクス情報の重畳位置を調整して視差を付与する。また、グラフィクス発生部２２２は、２Ｄサービス時（３Ｄサービス時で２Ｄ表示モードを含む）に、２次元画像表示用のビューに重畳するグラフィクス情報のデータを発生する。
【０１３５】
グラフィクスバッファ２２４ａは、３Ｄサービス時（２Ｄ表示モードを除く）にグラフィクス発生部２２２で発生される、左眼ビューに重畳するグラフィクス情報のデータを一時的に蓄積する。また、グラフィクスバッファ２２４ａは、２Ｄサービス時（３Ｄサービス時で２Ｄ表示モードを含む）にグラフィクス発生部２２２で発生される、２次元画像表示用のビューに重畳するグラフィクス情報のデータを一時的に蓄積する。また、グラフィクスバッファ２２４ｂは、３Ｄサービス時（２Ｄ表示モードを除く）にグラフィクス発生部２２２で発生される、右眼ビューに重畳するグラフィクス情報のデータを一時的に蓄積する。
【０１３６】
スケーラ２１８ａ，２１８ｂは、それぞれ、ビューバッファ２１７ａ，２１７ｂから出力される各ビューのビデオストリーム（画像データ）の出力解像度を、所定の解像度となるように調整する。上述した構成情報には、デコード画の水平画素比率を示す「indication_of_picture_size_scaling _horizontal 」の４ビットフィールドおよびデコード画の垂直画素比率を示す「indication_of_picture_size_scaling _vertical 」の４ビットフィールドが存在する。ＣＰＵ２０１は、この画素比率情報に基づいて、スケーラ２１８ａ，２１８ｂにおけるスケーリング比率を制御し、所定の解像度が得られるようにする。
【０１３７】
ビデオ重畳部２１９ａは、３Ｄサービス時（２Ｄ表示モードを除く）に、グラフィクス情報が重畳された左眼ビュー（左眼画像）を表示するためのビデオストリーム（画像データ）ＳＬを出力する。このとき、ビデオ重畳部２１９ａは、ビューバッファ２１７ａに蓄積され、スケーラ２１８ａでスケーリング処理された左眼ビューのビデオストリームに、グラフィクスバッファ２２４ａに蓄積されたグラフィクス情報のデータを重畳して、ビデオストリームＳＬを得る。
【０１３８】
また、ビデオ重畳部２１９ａは、２Ｄサービス時（３Ｄサービス時で２Ｄ表示モードを含む）に、グラフィクス情報が重畳された２次元画像表示用のビューを表示するためのビデオストリーム（画像データ）ＳＶを出力する。このとき、ビデオ重畳部２１９ａは、ビューバッファ２１７ａに蓄積され、スケーラ２１８ａでスケーリング処理された２次元画像表示用のビューのビデオストリームに、グラフィクスバッファ２２４ａに蓄積されたグラフィクス情報のデータを重畳して、ビデオストリームＳＶを得る。
【０１３９】
また、ビデオ重畳部２１９ｂは、３Ｄサービス時（２Ｄ表示モードを除く）に、グラフィクス情報が重畳された右眼ビュー（右眼画像）を表示するためのビデオストリーム（画像データ）ＳＲを出力する。このとき、ビデオ重畳部２１９ｂは、ビューバッファ２１７ｂに蓄積され、スケーラ２１８ｂでスケーリング処理された右眼ビューのビデオストリームに、グラフィクスバッファ２２４ｂに蓄積されたグラフィクス情報のデータを重畳して、ビデオストリームＳＲを得る。
【０１４０】
オーディオデコーダ２２５は、上述の送信データ生成部１１０のオーディオエンコーダ１１４（図３参照）とは逆の処理を行う。すなわち、このオーディオデコーダ２２５は、デマルチプレクサ２１４で抽出されたオーディオエレメンタリストリームに含まれる符号化音声データに対して復号化処理を行って復号化された音声データを得る。チャネル処理部２２６は、オーディオデコーダ２２５で得られる音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データＳＡを生成して出力する。
【０１４１】
なお、ビューバッファ２１７ａ，２１７ｂからの各ビューのビデオストリーム（画像データ）の読み出しと、グラフィクスバッファ２２４ａ，２２４ｂからの各ビューに対応したグラフィクス情報のデータの読み出しとは、タイプスタンプＰＴＳに基づいて行われ、転送同期が取られる。
【０１４２】
受信機２００の動作を簡単に説明する。アンテナ端子２１１に入力されたテレビ放送信号はデジタルチューナ２１２に供給される。このデジタルチューナ２１２では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のトランスポートストリームＴＳが出力される。このトランスポートストリームＴＳは、ＴＳバッファ２１３に一時的に蓄積される。
【０１４３】
デマルチプレクサ２１４では、ＴＳバッファ２１３に一時的に蓄積されたトランスポートストリームＴＳから、ビデオ、視差情報、グラフィクスおよびオーディオの各エレメンタリストリームが抽出される。視差情報エレメンタリストリームは、トランスポートストリームＴＳに含まれるビデオエレメンタリストリームが３次元画像表示用の左眼、右眼の２つのビューのビデオストリーム（画像データ）を含む場合のみ抽出される
【０１４４】
また、デマルチプレクサ２１４では、トランスポートストリームＴＳのレイヤ、例えばＰＭＴのビデオエレメンタリ・ループの配下、あるいはＥＩＴの配下に挿入されているサブストリーム・コンフィグレーション・デスクリプタが抽出され、ＣＰＵ２０１に供給される。ＣＰＵ２０１は、このデスクリプタに基づいて、イベント（番組）単位で、コーデッドバッファ２１５の領域（デコードバッファ領域）として必要領域を確保する等の制御を行う。なお、このデコードバッファ領域の確保制御に関しては、イベント単位より細かい時間単位、例えばシーン単位で行うことも考えられる。この場合、例えば、ビデオストリームのレイヤにイベント単位より細かい時間単位で挿入されるサブストリーム・コンフィグレーション・データ（Substream_configuration_data（））に基づいて制御できる。
【０１４５】
デマルチプレクサ２１４で抽出されるビデオエレメンタリストリームは、コーデッドバッファ２１５に一時的に蓄積される。ビデオデコーダ２１６ａ，２１６ｂでは、コーデッドバッファ２１５に記憶されているビデオエレメンタリストリームの復号化処理が行われ、所定のビューのビデオストリーム（画像データ）が取得される。ここで、ビデオデコーダ２１６ａでは、２次元画像表示用のビューのビデオストリーム、あるいは３次元画像表示用の左眼ビューのビデオストリームが取得される。一方、ビデオデコーダ２１６ｂでは、３次元画像表示用の右眼ビューのビデオストリームが取得される。
【０１４６】
また、ビデオデコーダ２１６ａ，２１６ｂでは、ビデオストリームのレイヤ、例えばユーザデータ領域を利用してピクチャ単位あるいはＧＯＰ単位で挿入されているサブストリーム・コンフィグレーション・データ（Substream_configuration_data（））が抽出され、ＣＰＵ２０１に供給される。ＣＰＵ２０１は、このデータに基づいて、ピクチャ単位あるいはＧＯＰ単位で、ビデオデコーダ２１６ａ，２１６ｂの動作などを制御する。
【０１４７】
以下、最初に、３Ｄサービス時（２Ｄ表示モードを除く）の動作を説明する。ビデオデコーダ２１６ａからは３次元画像表示用の左眼ビューのビデオストリーム（画像データ）が得られ、このビデオストリームはビューバッファ２１７ａに一時的に蓄積される。また、ビデオデコーダ２１６ｂからは３次元画像表示用の右眼ビューのビデオストリーム（画像データ）が得られ、このビデオストリームはビューバッファ２１７ｂに一時的に蓄積される。
【０１４８】
デマルチプレクサ２１４で抽出されたグラフィクスエレメンタリストリームは、グラフィクスデコーダ２２１に供給される。このグラフィクスデコーダ２２１では、グラフィクスエレメンタリストリームに含まれる符号化グラフィクスデータに対して復号化処理が行われて、復号化されたグラフィクスデータ（サブタイトルデータを含む）が得られる。このグラフィクスデータは、グラフィクス発生部２２２に供給される。
【０１４９】
デマルチプレクサ２１４で抽出された視差情報エレメンタリストリームは、視差情報デコーダ２２３に供給される。この視差情報デコーダ２２３では、視差情報エレメンタリストリームに含まれる符号化視差情報に対して復号化処理が行われて、復号化された視差情報が得られる。この視差情報は、グラフィクス発生部２２２に供給される。
【０１５０】
グラフィクス発生部２２２では、グラフィクスデコーダ２２１で得られたグラフィクスデータに基づいて、画像に重畳するグラフィクス情報のデータが発生される。この場合、グラフィクス発生部２２２では、視差情報デコーダ２２３で得られる視差情報に基づいて、左眼ビュー（左眼画像）および右眼ビュー（右眼画像）の各ビューに重畳するグラフィクス情報の重畳位置が調整されて視差が付与される。
【０１５１】
グラフィクス発生部２２２で発生される、左眼ビューに重畳するグラフィクス情報のデータは、グラフィクスバッファ２２４ａに一時的に蓄積される。また、グラフィクス発生部２２２で発生される、右眼ビューに重畳するグラフィクス情報のデータは、グラフィクスバッファ２２４ｂに一時的に蓄積される。
【０１５２】
ビデオ重畳部２１９ａでは、ビューバッファ２１７ａに蓄積され、スケーラ２１８ａでスケーリング処理された左眼ビューのビデオストリーム（画像データ）に、グラフィクスバッファ２２４ａに蓄積されたグラフィクス情報のデータが重畳されて、左眼ビューのビデオストリーム（画像データ）ＳＬが得られる。このビデオストリームＳＬは、グラフィクス情報が重畳された左眼ビュー（左眼画像）を表示するためのビデオストリームとして出力される。
【０１５３】
また、ビデオ重畳部２１９ｂでは、ビューバッファ２１７ｂに蓄積され、スケーラ２１８ｂでスケーリング処理された右眼ビューのビデオストリーム（画像データ）に、グラフィクスバッファ２２４ｂに蓄積されたグラフィクス情報のデータが重畳されて、右眼ビューのビデオストリーム（画像データ）ＳＲが得られる。このビデオストリームＳＲは、グラフィクス情報が重畳された右眼ビュー（左眼画像）を表示するためのビデオストリームとして出力される。
【０１５４】
次に、２Ｄサービス時（３Ｄサービス時で２Ｄ表示モードを含む）の動作を説明する。ビデオデコーダ２１６ａからは２次元画像表示用のビューのビデオストリーム（画像データ）が得られ、このビデオストリームはビューバッファ２１７ａに一時的に蓄積される。
【０１５５】
デマルチプレクサ２１４で抽出されたグラフィクスエレメンタリストリームは、グラフィクスデコーダ２２１に供給される。このグラフィクスデコーダ２２１では、グラフィクスエレメンタリストリームに含まれる符号化グラフィクスデータに対して復号化処理が行われて、復号化されたグラフィクスデータ（サブタイトルデータを含む）が得られる。このグラフィクスデータは、グラフィクス発生部２２２に供給される。
【０１５６】
グラフィクス発生部２２２では、グラフィクスデコーダ２２１で得られたグラフィクスデータに基づいて、ビュー（画像）に重畳するグラフィクス情報のデータが発生される。このグラフィクス情報のデータは、グラフィクスバッファ２２４ａに一時的に蓄積される。
【０１５７】
ビデオ重畳部２１９ａでは、ビューバッファ２１７ａに蓄積され、スケーラ２１８ａでスケーリング処理された２次元画像表示用のビューのビデオストリーム（画像データ）に、グラフィクスバッファ２２４ａに蓄積されたグラフィクス情報のデータが重畳されて、２次元画像表示用のビューのビデオストリーム（画像データ）ＳＶが得られる。このビデオストリームＳＶは、グラフィクス情報が重畳された２次元画像表示用のビュー（画像）を表示するためのビデオストリームとして出力される。
【０１５８】
また、デマルチプレクサ２１４で抽出されたオーディオエレメンタリストリームは、オーディオデコーダ２２５に供給される。このオーディオデコーダ２２５では、オーディオエレメンタリストリームに含まれる符号化音声データに対して復号化処理が行われて、復号化された音声データが得られる。この音声データは、チャネル処理部２２６に供給される。チャネル処理部２２６では、その音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データＳＡが生成されて出力される。
【０１５９】
なお、図１９に示す受信機２００においては、コーデッドバッファ２１５を１つのブロックで示している。上述していないが、このコーデッドバッファ２１５は、エレメンタリストリーム構成によって、２つのビデオデコーダ２１６ａ，２１６ｂが共有する場合、あるいは各々のビデオデコーダ２１６ａ，２１６ｂに占有される形で２つに分かれて管理される場合、の両方の場合が可能である。
【０１６０】
上述したように、図１９に示す受信機２００においては、受信されるトランスポートストリームＴＳに、各ビューのビデオストリームの構成情報を含むサブストリーム・コンフィグレーション・デスクリプタやサブストリーム・コンフィグレーション・データが挿入されている。受信機２００においては、この構成情報に基づいて、各部の処理が制御される。したがって、適切かつ効率的な処理が可能となる。
【０１６１】
＜２．変形例＞
なお、上述実施の形態においては、本技術を、左眼、右眼の２つのビューを取り扱う例に適用したものである。しかし、マルチビューを取り扱う場合にも、本技術を同様に適用できることは勿論である。
【０１６２】
また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。
【０１６３】
また、上述実施の形態においては、重畳情報がグラフィクスである例を示したが、クローズド・キャプションなどのその他の重畳情報の場合も同様に考えることができる。また、上述実施の形態においては、送信側から、画像データと共にグラフィクスのデータを送信する例を示したが、重畳情報のデータは、受信側において発生されるＯＳＤ表示などの場合も考えられる。
【０１６４】
また、本技術は、以下のような構成を取ることもできる。
（１）２次元画像表示用の単一のビューのビデオストリームおよび３次元画像表示用の複数のビューのビデオストリームが時分割的に含まれる所定フォーマットのコンテナを送信する送信部と、
上記コンテナに、該コンテナに含まれる各ビューのビデオストリームの構成情報を挿入する構成情報挿入部とを備える
送信装置。
（２）上記構成情報を挿入する単数あるいは複数のレイヤを選択する挿入レイヤ選択部をさらに備える
前記（１）に記載の送信装置。
（３）上記構成情報の挿入レイヤの選択肢に、上記コンテナのレイヤおよび上記ビデオストリームのレイヤが含まれる
前記（２）に記載の送信装置。
（４）上記構成情報には、
上記コンテナに含まれるビデオストリームが、上記２次元画像表示用の単一のビューのビデオストリームであるか、上記３次元画像表示用の複数のビューのビデオストリームであるかを識別する情報が含まれている
前記（１）から（３）のいずれかに記載の送信装置。
（５）上記構成情報には、
１つのビデオエレメンタリストリームに、上記複数のビューのビデオストリームが挿入されているか否かを示す情報が含まれている
前記（１）から（４）のいずれかに記載の送信装置。
（６）上記構成情報には、
１つのピクチャに複数のビューのビデオストリームのデータがインターリーブされているか否かを示す情報が含まれている
前記（１）から（５）のいずれかに記載の送信装置。
（７）上記構成情報には、
ビュー割り当てを示す情報が含まれている
前記（１）から（６）のいずれかに記載の送信装置。
（８）上記識別情報には、
２次元画像表示に必須のビューのビデオストリームであるか否かを示す情報が含まれている
前記（１）から（７）のいずれかに記載の送信装置。
（９）上記構成情報には、
水平および／または垂直の所定の解像度に対する画素比率情報が含まれている
前記（１）から（８）のいずれかに記載の送信装置。
（１０）上記コンテナは、トランスポートストリームである
前記（１）から（９）のいずれかに記載の送信装置。
（１１）上記３次元画像表示用の複数のビューは、左眼ビューおよび右眼ビューの２つのビューである
前記（１）から（１０）のいずれかに記載の送信装置。
（１２）１つのビデオエレメンタリストリームに上記複数のビューのビデオストリームが挿入される場合、各ビューのビデオストリームの間にビュー間境界を示す情報が配置される
前記（１）から（１１）のいずれかに記載の送信装置。
（１３）２次元画像表示用の単一のビューのビデオストリームおよび３次元画像表示用の複数のビューのビデオストリームが時分割的に含まれる所定フォーマットのコンテナを送信する送信ステップと、
上記コンテナに、該コンテナに含まれる各ビューのビデオストリームの構成情報を挿入する構成情報挿入ステップとを備える
送信方法。
（１４）２次元画像表示用の単一のビューのビデオストリームおよび３次元画像表示用の複数のビューのビデオストリームが時分割的に含まれる所定フォーマットのコンテナを受信する受信部を備え、
上記コンテナには、該コンテナに含まれる各ビューのビデオストリームの構成情報が挿入されており、
上記コンテナから、上記構成情報に基づいて、各ビューのビデオストリームをデコードして画像データを取得する画像データ取得部をさらに備える
受信装置。
（１５）上記画像データ取得部は、イベント単位あるいは該イベント単位より細かい時間単位で挿入されている上記構成情報に基づいて、デコードバッファ領域を確保する
前記（１４）に記載の受信装置。
（１６）２次元画像表示用の単一のビューのビデオストリームおよび３次元画像表示用の複数のビューのビデオストリームが時分割的に含まれる所定フォーマットのコンテナを受信する受信ステップを備え、
上記コンテナには、該コンテナに含まれる各ビューのビデオストリームの構成情報が挿入されており、
上記コンテナから、上記構成情報に基づいて、各ビューのビデオストリームをデコードして画像データを取得する画像データ取得ステップをさらに備える
受信方法。
【０１６５】
本技術の主な特徴は、２Ｄサービス、３Ｄサービスにおける各ビューのビデオストリームをトランスポートストリーム等のコンテナで送信する際に、各ビューのビデオストリームの構成を示す構成情報を選択された所定のレイヤに挿入可能としたことで、受信側での適切かつ効率的な処理を可能としたことである（図５〜図７参照）。
【符号の説明】
【０１６６】
１０・・・画像送受信システム
１００・・・放送局
１１０・・・送信データ生成部
１１１・・・データ取り出し部
１１１ａ・・・データ記録媒体
１１２・・・ビデオエンコーダ
１１３・・・視差情報エンコーダ
１１４・・・オーディオエンコーダ
１１５・・・グラフィクス発生部
１１６・・・グラフィクスエンコーダ
１１７・・・マルチプレクサ
２００・・・受信機
２０１・・・ＣＰＵ
２０２・・・フラッシュＲＯＭ
２０３・・・ＤＲＡＭ
２０４・・・内部バス
２０５・・・リモコン受信部
２０６・・・リモコン送信機
２１１・・・アンテナ端子
２１２・・・デジタルチューナ
２１３・・・トランスポートストリームバッファ（ＴＳバッファ）
２１４・・・デマルチプレクサ
２１５・・・コーデッドバッファ
２１６ａ，２１６ｂ・・・ビデオデコーダ
２１７ａ，２１７ｂ・・・ビューバッファ
２１８ａ，２１８ｂ・・・スケーラ
２１９ａ，２１９ｂ・・・ビデオ重畳部
２２１・・・グラフィクスデコーダ
２２２・・・グラフィクス発生部
２２３・・・視差情報デコーダ
２２４ａ，２２４ｂ・・・グラフィクスバッファ
２２５・・・オーディオデコーダ
２２６・・・チャネル処理部
【技術分野】
【０００１】
本技術は、送信装置、送信方法、受信装置および受信方法に関し、特に、２次元画像表示用および３次元画像表示用の各ビューのビデオストリームを時分割的に送信する送信装置等に関する。
【背景技術】
【０００２】
従来、３次元画像（立体画像）を表示するシステムとして、様々なものが知られている。例えば、特許文献１に記載されているように、視差を有する左眼画像および右眼画像を所定周期で交互にディスプレイに表示し、これら左眼画像および右眼画像を、その表示に同期して駆動される液晶シャッタを備えるシャッタメガネで観察する方法が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−１３８３８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
テレビ番組などのコンテンツを放送局からユーザのテレビ受像機に送信することを想定した場合、３次元（３Ｄ）画像表示用の複数のビューのビデオストリームと、２次元（２Ｄ）画像表示用の単一のビューのビデオストリームを切り換えながら送信することが考えられる。
【０００５】
例えば、イベント（番組）本編については３次元画像表示用の複数のビューのビデオストリームを送信し、ＣＭ（commercial message）については２次元画像表示用の単一のビューのビデオストリームを送信するような場合が考えられる。また、例えば、あるイベント（番組）では２次元画像表示用の単一のビューのビデオストリームを送信し、他のイベント（番組）では、少なくとも一部の期間に３次元画像表示用の複数のビューのビデオストリームを送信するような場合が考えられる。
【０００６】
この場合、ユーザ側のテレビ受像機において、送信側から送られてくるビデオストリームの構成を識別可能とすることが望まれる。すなわち、このようなビデオストリーム構成の識別が可能であれば、適切かつ効率的な処理を行うことが可能となる。
【０００７】
本技術の目的は、受信側での適切かつ効率的な処理を可能にすることにある。
【課題を解決するための手段】
【０００８】
本技術の概念は、
２次元画像表示用の単一のビューのビデオストリームおよび３次元画像表示用の複数のビューのビデオストリームが時分割的に含まれる所定フォーマットのコンテナを送信する送信部と、
上記コンテナに、該コンテナに含まれる各ビューのビデオストリームの構成情報を挿入する構成情報挿入部とを備える
送信装置にある。
【０００９】
本技術において、送信部により、２次元画像表示用の単一のビューのビデオストリームおよび３次元画像表示用の複数のビューのビデオストリームが時分割的に含まれる所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）であってもよい。また、例えば、３次元画像表示用の複数のビューは、左眼ビューおよび右眼ビューの２つのビューであってもよい。
【００１０】
構成情報挿入部により、コンテナに、このコンテナに含まれる各ビューのビデオストリームの構成情報が挿入される。例えば、構成情報には、コンテナに含まれるビデオストリームが、２次元画像表示用の単一のビューのビデオストリームであるか、３次元画像表示用の複数のビューのビデオストリームであるかを識別する情報が含まれていてもよい。
【００１１】
また、例えば、構成情報には、１つのビデオエレメンタリストリームに、上記複数のビューのビデオストリームが挿入されているか否かを示す情報が含まれていてもよい。また、例えば、構成情報には、１つのピクチャに複数のビューのビデオストリームのデータがインターリーブされているか否かを示す情報が含まれていてもよい。
【００１２】
また、例えば、構成情報には、ビュー割り当てを示す情報が含まれていてもよい。また、例えば、識別情報には、２次元画像表示に必須のビューのビデオストリームであるか否かを示す情報が含まれていてもよい。また、例えば、構成情報には、水平および／または垂直の所定の解像度に対する画素比率情報が含まれていてもよい。
【００１３】
このように本技術においては、コンテナに、このコンテナに含まれる各ビューのビデオストリームの構成情報を挿入するものであり、受信側において適切かつ効率的な処理が可能となる。
【００１４】
なお、本技術において、例えば、構成情報を挿入する単数あるいは複数のレイヤを選択する挿入レイヤ選択部をさらに備える、ようにされてもよい。例えば、構成情報の挿入レイヤの選択肢に、コンテナのレイヤおよびビデオストリームのレイヤが含まれる。この場合、サービスに応じて必要とするレイヤに構成情報を挿入でき、受信側における処理の便宜を図ることができる。
【００１５】
また、本技術において、例えば、１つのビデオエレメンタリストリームに複数のビューのビデオストリームが挿入される場合、各ビューのビデオストリームの間にビュー間境界を示す情報が配置される、ようにされてもよい。
【００１６】
また、本技術の他の概念は、
２次元画像表示用の単一のビューのビデオストリームおよび３次元画像表示用の複数のビューのビデオストリームが時分割的に含まれる所定フォーマットのコンテナを受信する受信部を備え、
上記コンテナには、該コンテナに含まれる各ビューのビデオストリームの構成情報が挿入されており、
上記コンテナから、上記構成情報に基づいて、各ビューのビデオストリームをデコードして画像データを取得する画像データ取得部をさらに備える
受信装置にある。
【００１７】
本技術において、受信部により、２次元画像表示用の単一のビューのビデオストリームおよび３次元画像表示用の複数のビューのビデオストリームが時分割的に含まれる所定フォーマットのコンテナが受信される。このコンテナには、このコンテナに含まれる各ビューのビデオストリームの構成情報が挿入されている。そして、画像データ取得部により、構成情報に基づいて、各ビューのビデオストリームがデコードされて画像データが取得される。この際、例えば、イベント単位あるいはこのイベント単位よりも細かい時間単位で挿入されている構成情報に基づいて、デコードバッファ領域が確保される。
【００１８】
例えば、イベント（番組）の全期間に対応して２次元画像表示用の単一のビューのビデオストリームが送信されてくる場合には、当該単一のビューのビデオストリームのバッファリングのためのデコードバッファ領域が確保される。一方、イベント（番組）の少なくとも一部期間に対応して３次元画像表示用の複数のビューのビデオストリームが送信されてくる場合には、当該複数のビューのビデオストリームのバッファリングのためのデコードバッファ領域が確保される。
【００１９】
このように本技術においては、コンテナに含まれる各ビューのビデオストリームの構成情報に基づいて各ビューのビデオストリームがデコードされて画像データが取得されるものであり、適切かつ効率的な処理が可能となる。
【発明の効果】
【００２０】
本技術によれば、受信側での適切かつ効率的な処理が可能となる。
【図面の簡単な説明】
【００２１】
【図１】実施の形態としての画像送受信システムの構成例を示すブロック図である。
【図２】３次元画像表示用の左眼、右眼の２つのビューのビデオストリームが１つまたは２つのビデオエレメンタリストリームに含まれる例を示す図である。
【図３】画像送受信システムを構成する放送局の送信データ生成部の構成例を示すブロック図である。
【図４】左眼、右眼の２つのビューのビデオストリームを１つのビデオエレメンタリストリームに含むＡＶＣストリームの例を示す図である。
【図５】３次元画像表示用の左眼、右眼の２つのビューのビデオストリームがサブストリームとして１つのビデオエレメンタリストリームに含まれる場合のトランスポートストリームＴＳの構成例を示す図である。
【図６】３次元画像表示用の左眼、右眼の２つのビューのビデオストリームがそれぞれ別個のビデオエレメンタリストリームに含まれる場合のトランスポートストリームＴＳの構成例を示す図である。
【図７】３次元画像表示用の左眼、右眼の２つのビューのビデオストリームがそれぞれ別個のビデオエレメンタリストリームに含まれる場合のトランスポートストリームＴＳの構成例を示す図である。
【図８】サブストリーム・コンフィグレーション・デスクリプタの構造例（Syntax）を示す図である。
【図９】「substream_configuration_data()」の構造例（Syntax）を示す図である。
【図１０】「substream_configuration_data()」の構造例における各情報の内容（Semantics）を示す図（１／２）である。
【図１１】「substream_configuration_data()」の構造例における各情報の内容（Semantics）を示す図（２／２）である。
【図１２】サブストリーム・コンフィグレーション・データがアクセスユニットの“ＳＥＬｓ”の部分に「substream configuration SEI message」として挿入されることを説明するための図である。
【図１３】「substream configuration SEI message」および「userdata_for_substream_configuration_data()」の構造例(Syntax)を示す図である。
【図１４】「user_data()」の構造例(Syntax)を示す図である。
【図１５】サブストリーム・コンフィグレーション・デスクリプタやサブストリーム・コンフィグレーション・データに含まれる情報の時間的な変化例を示す図である。
【図１６】サブストリーム・コンフィグレーション・デスクリプタやサブストリーム・コンフィグレーション・データに含まれる情報の時間的な変化例を示す図である。
【図１７】サブストリーム・コンフィグレーション・デスクリプタやサブストリーム・コンフィグレーション・データに含まれる情報の時間的な変化例を示す図である。
【図１８】サブストリーム・コンフィグレーション・デスクリプタやサブストリーム・コンフィグレーション・データに含まれる情報の時間的な変化例を示す図である。
【図１９】画像送受信システムを構成する受信機の構成例を示すブロック図である。
【発明を実施するための形態】
【００２２】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００２３】
＜１．実施の形態＞
［画像送受信システム］
図１は、実施の形態としての画像送受信システム１０の構成例を示している。この画像送受信システム１０は、放送局１００および受信機２００により構成されている。放送局１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。
【００２４】
このトランスポートストリームＴＳには、２次元画像表示用の単一のビューのビデオストリーム（画像データ）および３次元画像表示用の複数のビューのビデオストリーム（画像データ）が時分割的に含まれる。この３次元画像表示用の複数のビューのビデオストリームは、１つのエレメンタリストリームに含まれて送信されるか、あるいはそれ独立したエレメンタリストリームに含まれて送信される。この実施の形態において、複数のビューは、左眼ビュー（左眼画像）および右眼ビュー（右眼画像）の２つである。
【００２５】
例えば、イベント（番組）本編については３次元画像表示用の左眼、右眼の２つのビューのビデオストリームが送信され、ＣＭ（commercial message）については２次元画像表示用の単一のビューのビデオストリームが送信される場合が考えられる。また、例えば、あるイベント（番組）では２次元画像表示用の単一のビューのビデオストリームのみを送信し、他のイベント（番組）では、少なくとも一部の期間に３次元画像表示用の左眼、右眼の２つのビューのビデオストリームを送信するような場合が考えられる。
【００２６】
トラスポートストリームＴＳには、トランスポートストリームＴＳに含まれる各ビューのビデオストリームの構成情報が挿入される。この構成情報には、トランスポートストリームＴＳに含まれるビデオストリームが、２次元画像表示用の単一のビューのビデオストリームであるか、３次元画像表示用の左眼、右眼の２つのビューのビデオストリームであるかを識別する情報などが含まれている。
【００２７】
この構成情報は、トランスポートストリームＴＳの単数あるいは複数のレイヤに、選択的に挿入される。挿入レイヤの選択肢には、例えば、トランスポートストリームのレイヤが含まれる。この場合、構成情報は、トランスポートストリームＴＳに含まれるプログラム・マップ・テーブル（ＰＭＴ：Program Map Table）のビデオエレメンタリ・ループ（Video ESloop）の配下、あるいはイベント・インフォメーション・テーブル（ＥＩＴ：Event InformationTable）の配下などに挿入される。
【００２８】
また、挿入レイヤの選択肢には、例えば、ビデオストリームのレイヤ（ピクチャレイヤ、シーケンスレイヤ）が含まれる。この場合、構成情報は、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域などに挿入される。この構成情報の詳細については後述する。
【００２９】
受信機２００は、放送局１００から放送波に載せて送られてくるトランスポートストリームＴＳを受信する。また、受信機２００は、受信されたトランスポートストリームＴＳに挿入されている構成情報を抽出する。そして、受信機２００は、構成情報に基づいて、受信されたトラスポートストリームＴＳから、ビデオストリーム（画像データ）を取得する。
【００３０】
すなわち、受信機２００は、トランスポートストリームＴＳに２次元画像表示用の単一のビューのビデオストリーム（画像データ）が含まれているときには、その単一のビューのビデオストリームを取得する。また、受信機２００は、トランスポートストリームＴＳに３次元画像表示用の左眼、右眼の２つのビューのビデオストリーム（画像データ）が含まれているときには、その２つのビューのビデオストリームを取得する。
【００３１】
図２（ａ）は、３次元画像表示用の左眼、右眼の２つのビューのビデオストリームが１つのビデオエレメンタリストリームに含まれる例を示している。この例では、ＰＭＴの「Stream_Type=0x1b」で送られるＡＶＣストリームから構成されている。
【００３２】
図２（ｂ）は、３次元画像表示用の左眼、右眼の２つのビューのビデオストリームがそれぞれ別個のビデオエレメンタリストリームに含まれる例を示している。この例では、ＰＭＴの「Stream_Type=0x1b」で送られるＭＶＣのベースビュー(base view)のストリームと、ＰＭＴの「Stream_Type=0x20」で送られるＭＶＣのノンベースビュー（Non baseview）のストリームから構成されている。
【００３３】
図２（ｃ）は、３次元画像表示用の左眼、右眼の２つのビューのビデオストリームがそれぞれ別個のエレメンタリビデオストリームに含まれる例を示している。この例では、ＰＭＴの「Stream_Type=0x02」で送られるＭＰＥＧ２ｖｉｄｅｏストリームと、ＰＭＴの「Stream_Type=0x1ｂ」で送られるＡＶＣストリームとから構成されている。
【００３４】
「送信データ生成部の構成例」
図３は、放送局１００において、上述したトランスポートストリームＴＳを生成する送信データ生成部１１０の構成例を示している。この送信データ生成部１１０は、データ取り出し部（アーカイブ部）１１１と、ビデオエンコーダ１１２と、視差情報エンコーダ１１３と、オーディオエンコーダ１１４を有している。また、この送信データ生成部１１０は、グラフィクス発生部１１５と、グラフィクスエンコーダ１１６と、マルチプレクサ１１７を有している。
【００３５】
データ取り出し部１１１には、データ記録媒体１１１ａが、例えば、着脱自在に装着される。このデータ記録媒体１１１ａには、トランスポートストリームＴＳで送信する所定イベント（番組）のビデオストリーム（画像データ）と共に、このビデオストリーム（画像データ）に対応した音声データが記録されている。
【００３６】
例えば、ビデオストリームは、イベント（番組）に応じて、２次元画像表示用の単一のビューのビデオストリームあるいは３次元画像表示用の左眼、右眼の２つのビューのビデオストリームに切り替わる。また、例えば、画像データは、イベント（番組）内においても、本編やコマーシャルなどの内容に応じて、３次元画像表示用の左眼、右眼の２つのビューのビデオストリームあるいは２次元画像表示用の単一のビューのビデオストリームに切り替わる。
【００３７】
左眼、右眼の２つのビューのビデオストリーム（画像データ）である場合、このデータ記録媒体１１１ａには、そのビデオストリームに対応付けて、視差情報も記録されている。この視差情報は、左眼ビュー（左眼画像）と右眼ビュー（右眼画像）との間の視差を示す視差ベクトル、あるいは奥行きデータ等である。奥行きデータは、所定の変換により視差ベクトルとして扱うことが可能となる。
【００３８】
視差情報は、例えば、ビュー（画像）を所定数に分割して得られた各分割領域の視差情報である。この視差情報は、受信側において、左眼ビューおよび右眼ビューにそれぞれ重畳する同一の重畳情報（グラフィクス情報等）の位置を調整して視差を付与するために用いられる。データ記録媒体１１１ａは、ディスク状記録媒体、半導体メモリ等である。データ取り出し部１１１は、データ記録媒体１１１ａから、ビデオストリーム（画像データ）、音声データ、視差情報等を取り出して出力する。
【００３９】
ビデオエンコーダ１１２は、データ取り出し部１１１から出力されるビデオストリームに対して、例えば、ＭＰＥＧ４−ＡＶＣ（ＭＶＣ）、ＭＰＥＧ２ｖｉｄｅｏなどの符号化を施して符号化ビデオデータを得る。また、このビデオエンコーダ１１２は、後段に備えるストリームフォーマッタ（図示せず）により、ビデオストリームが２次元画像表示用の単一のビューのビデオストリームであるときは、このビデオストリームをサブストリームとして含むビデオエレメンタリストリームを生成する。
【００４０】
また、このビデオエンコーダ１１２は、後段に備えるストリームフォーマッタ（図示せず）により、ビデオストリームが３次元画像表示用の左眼、右眼の２つのビューのビデオストリームであるときは、これらのビデオストリームをサブストリームとして含むビデオエレメンタリストリームを生成する。ここで、３次元画像表示用の左眼、右眼の２つのビューのビデオストリームは、１つのビデオエレメンタリストリームに含まれるか（図２（ａ）参照）、それぞれ別個のビデオエレメンタリストリームに含まれる（図２（ｂ），（ｃ）参照）。
【００４１】
ここで、左眼、右眼の２つのビューのビデオストリームを、１つのビデオエレメンタリストリームに含む場合について説明する。図４（ａ），（ｂ）は、その一例を示し、各アクセスユニット（access unit）の前半に一方のビューのデータ（SPS 〜 Coded Slice）が配置され、後半に他方のビューのデータ（Subset SPS 〜 Coded Slice）が配置されている。なお、この例は、ＭＰＥＧ４−ＡＶＣの符号化がされている例であり、図中の１６進数字は「 NAL unit type 」を示している。
【００４２】
左眼、右眼の２つのビューのビデオストリームが１つのビデオエレメンタリストリームに共存する場合、各ビューのピクチャの境界が瞬時に識別可能なことが要求される。ＡＵＤ(access unit delimiter)は、一つのアクセスユニットの先頭にのみ付すことが可能である。
【００４３】
そこで、図４（ｂ）に示すように、２つのビューのデータの間に、「ViewSeparation Marker」というビュー間境界を示す新たな NAL unit を定義して配置することが考えられる。これにより、各ビューのピクチャの先頭データに瞬時にアクセスすることが可能となる。なお、図４（ａ）は、２つのビューのデータの間に、「View Separation Marker」が配置されていない例を示している。
【００４４】
視差情報エンコーダ１１３は、データ取り出し部１１１から出力される視差情報を含む視差情報エレメンタリストリームを生成する。オーディオエンコーダ１１４は、データ取り出し部１１１から出力される音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ、ＡＡＣ等の符号化を施し、オーディオエレメンタリストリームを生成する。
【００４５】
グラフィクス発生部１１５は、画像に重畳するグラフィクス情報（サブタイトル情報も含む）のデータ（グラフィクスデータ）を発生する。グラフィクスエンコーダ１１６は、グラフィクス発生部１１５で発生されたグラフィクスデータを含むグラフィクスエレメンタリストリームを生成する。ここで、グラフィクス情報は、重畳情報を構成し、例えば、ロゴなどである。サブタイトル情報は、例えば、字幕である。
【００４６】
グラフィクスデータは、ビットマップデータである。このグラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。このアイドリングオフセット情報は、例えば、画像の左上の原点から、グラフィクス情報の重畳位置の左上の画素までの垂直方向、水平方向のオフセット値を示す。なお、字幕データをビットマップデータとして伝送する規格は、例えば、ヨーロッパのデジタル放送規格であるＤＶＢで「DVB_Subtitling」として規格化され、運用されている。
【００４７】
マルチプレクサ１１７は、ビデオエンコーダ１１２、視差情報エンコーダ１１３、オーディオエンコーダ１１４およびグラフィクスエンコーダ１１６で生成された各エレメンタリストリームをパケット化して多重し、トランスポートストリームＴＳを生成する。
【００４８】
このトランスポートストリームＴＳは、データ取り出し部１１１から２次元画像表示用の単一のビューのビデオストリームが取り出される所定イベントの期間、あるいはイベント内の所定期間は、以下のビデオエレメンタリストリームを有するものとなる。すなわち、この期間は、そのビデオストリームがサブストリームとして含まれる１つのビデオエレメンタリストリームを有するものとなる。
【００４９】
また、このトランスポートストリームＴＳは、データ取り出し部１１１から３次元画像表示用の左眼、右眼の２つのビューのビデオストリームが取り出される所定イベントの期間、あるいはイベント内の所定期間は、以下のビデオエレメンタリストリームを有するものとなる。すなわち、この期間は、それらのビデオストリームがサブストリームとして共に含まれる１つのビデオエレメンタリストリーム、あるいはそれらのビデオストリームがサブストリームとしてそれぞれ含まれる２つのビデオエレメンタリストリームを有するものとなる。
【００５０】
マルチプレクサ１１７は、このトランスポートストリームＴＳに、上述した構成情報を挿入する。この構成情報は、例えば、ユーザの選択操作に基づく挿入レイヤ情報に基づいて、トランスポートストリームＴＳの単数あるいは複数のレイヤに、選択的に挿入される。挿入レイヤの選択肢には、例えば、トランスポートストリームのレイヤ、ビデオストリーム（サブストリーム）のレイヤなどがある。
【００５１】
トランスポートストリームのレイヤでは、ＰＭＴのビデオエレメンタリ・ループ（VideoES loop）の配下、あるいはＥＩＴの配下などに挿入される。また、ビデオストリームのレイヤ（ピクチャレイヤ、シーケンスレイヤ）では、ピクチャヘッダまたはシーケンスヘッダのユーザデータ領域などに挿入される。マルチプレクサ１１７における構成情報の挿入の詳細説明は後述する。
【００５２】
図３に示す送信データ生成部１１０の動作を簡単に説明する。データ取り出し部１１１から出力されるデータストリームは、ビデオエンコーダ１１２に供給される。この場合のデータストリームは、３次元画像表示用の左眼、右眼の２つのビューのデータストリーム、あるいは２次元画像表示用の単一のビューのデータストリームである。
【００５３】
ビデオエンコーダ１１２では、そのデータストリームに対して、例えば、ＭＰＥＧ４−ＡＶＣ（ＭＶＣ）、ＭＰＥＧ２ｖｉｄｅｏなどの符号化が施され、符号化ビデオデータを含むビデオエレメンタリストリームが生成され、マルチプレクサ１１７に供給される。ここで、２次元画像表示用の単一のビューのビデオストリームが供給される場合には、このビデオストリームをサブストリームとして含む１つのビデオエレメンタリストリームが生成される。
【００５４】
一方、３次元画像表示用の左眼、右眼の２つのビューのビデオストリームが供給される場合には、以下のように生成される。すなわち、２つのビューのビデオストリームを双方とも含む１つのビデオエレメンタリストリーム、あるいは２つのビューのビデオストリームをそれぞれ含む２つのビデオエレメンタリストリームが生成される。
【００５５】
また、データ取り出し部１１１から３次元画像表示用の左眼、右眼の２つのビューのビデオストリームが出力されるとき、このデータ取り出し部１１１からそのビデオストリームに対応した視差情報も出力される。この視差情報は、視差情報エンコーダ１１３に供給される。視差情報エンコーダ１１３では、視差情報に対して所定の符号化が施され、符号化データを含む視差情報エレメンタリストリームが生成される。この視差情報エレメンタリストリームはマルチプレクサ１１７に供給される。
【００５６】
また、データ取り出し部１１１からビデオストリームが出力されるとき、このデータ取り出し部１１１からそのビデオストリームに対応した音声データも出力される。この音声データは、オーディオエンコーダ１１４に供給される。このオーディオエンコーダ１１４では、音声データに対して、ＭＰＥＧ−２あるいはＭＰＥＧ−４ Ａｕｄｉｏ ＡＡＣ等の符号化が施され、符号化オーディオデータを含むオーディオエレメンタリストリームが生成される。このオーディオエレメンタリストリームはマルチプレクサ１１７に供給される。
【００５７】
また、データ取り出し部１１１から出力されるビデオストリームに対応してグラフィクス発生部１１５では、画像（ビュー）に重畳するグラフィクス情報（サブタイトル情報を含む）のデータ（グラフィクスデータ）が発生される。このグラフィクスデータは、グラフィクスエンコーダ１１６に供給される。グラフィクスエンコーダ１１６では、このグラフィクスデータに対して所定の符号化が施され、符号化データを含むグラフィクスエレメンタリストリームが生成される。このグラフィクスエレメンタリストリームはマルチプレクサ１１７に供給される。
【００５８】
マルチプレクサ１１７では、各エンコーダから供給されるエレメンタリストリームがパケット化されて多重され、トランスポートストリームＴＳが生成される。また、マルチプレクサ１１７では、トランスポートストリームＴＳに、このトランスポートストリームＴＳに含まれる各ビューのビデオストリームの構成情報が挿入される。
【００５９】
［構成情報とその挿入］
上述したように、マルチプレクサ１１７は、トランスポートストリームＴＳに、構成情報を挿入する。この構成情報は、ユーザの選択操作に基づく挿入レイヤ情報に基づいて、トランスポートストリームＴＳの単数あるいは複数のレイヤに、例えば、トランスポートストリームのレイヤ、ビデオストリームのレイヤなどに、選択的に挿入される。
【００６０】
トランスポートストリームのレイヤに挿入される場合、例えば、ＰＭＴのビデオエレメンタリ・ループ（Video ES loop）の配下、あるいはＥＩＴの配下に、構成情報を含むサブストリーム・コンフィグレーション・デスクリプタ（Substream_configuration_descriptor）が挿入される。また、ビデオストリームのレイヤに挿入される場合、例えば、ユーザデータ領域に、構成情報を含むサブストリーム・コンフィグレーション・データ（Substream_configuration_data（））が挿入される。
【００６１】
図５は、トランスポートストリームＴＳの構成例を示している。なお、この構成例では、図面の簡単化のために、視差情報、オーディオ、およびグラフィクスなどに関しては、その図示を省略している。この構成例は、３次元画像表示用の左眼、右眼の２つのビューのビデオストリームがサブストリームとして１つのビデオエレメンタリストリームに含まれる例を示している。このビデオエレメンタリストリームは、「Stream_Type=0x1b」で送られるＡＶＣストリームである（図２（ａ）参照）。この構成例では、ビデオエレメンタリストリームのＰＥＳパケット「Video PES1」が含まれている。このＰＥＳパケットには、左眼、右眼の２つのビューのデータが含まれている。
【００６２】
また、トランスポートストリームＴＳには、ＰＳＩ（Program SpecificInformation）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(EventInformation Table)が含まれている。
【００６３】
ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ（Video ES loop）が存在する。このエレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）、ストリームタイプ（Stream_Type）等の情報が配置されると共に、そのエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。
【００６４】
この構成例では、ビデオエレメンタリストリームのユーザデータ（user_data）領域に、各ビューのビデオストリームに対応してサブストリーム・コンフィグレーション・データ（Substream_configuration_data（））が挿入されている。また、この構成例では、ＰＭＴのビデオエレメンタリ・ループ（Video ES loop）に、サブストリーム・コンフィグレーション・デスクリプタ（Substream_configuration_descriptor）が挿入されている。なお、サブストリーム・コンフィグレーション・デスクリプタを、ＥＩＴの配下に挿入することも考えられる。
【００６５】
図６も、トランスポートストリームＴＳの構成例を示している。なお、この構成例では、図面の簡単化のために、視差情報、オーディオ、およびグラフィクスなどに関しては、その図示を省略している。この構成例は、３次元画像表示用の左眼、右眼の２つのビューのビデオストリームがそれぞれ別個のビデオエレメンタリストリームに含まれる例を示している。２つのビデオエレメンタリストリームは、「Stream_Type=0x1b」で送られるＭＶＣのベースビュー(base view)のストリームと、「Stream_Type=0x20」で送られるＭＶＣのノンベースビュー（Non baseview）のストリームである（図２（ｂ）参照）。この構成例では、ビデオエレメンタリストリームのＰＥＳパケット「VideoPES1」、ＰＥＳパケット「Video PES2」が含まれ、それぞれのＰＥＳパケットには左眼、右眼の２つのビューのデータが含まれている。
【００６６】
また、トランスポートストリームＴＳには、ＰＳＩ（Program SpecificInformation）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(EventInformation Table)が含まれている。
【００６７】
ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ（Video ES loop）が存在する。このエレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）、ストリームタイプ（Stream_Type）等の情報が配置されると共に、そのエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。
【００６８】
この構成例では、各ビデオエレメンタリストリームのユーザデータ（user_data）領域に、サブストリーム・コンフィグレーション・データ（Substream_configuration_data（））が挿入されている。また、この構成例では、ＰＭＴのビデオエレメンタリ・ループ（Video ES loop）に、ストリーム毎に、サブストリーム・コンフィグレーション・デスクリプタ（Substream_configuration_descriptor）が挿入されている。なお、サブストリーム・コンフィグレーション・デスクリプタを、ＥＩＴの配下に挿入することも考えられる。
【００６９】
図７も、トランスポートストリームＴＳの構成例を示している。なお、この構成例では、図面の簡単化のために、視差情報、オーディオ、およびグラフィクスなどに関しては、その図示を省略している。この構成例は、３次元画像表示用の左眼、右眼の２つのビューのビデオストリームがそれぞれ別個のビデオエレメンタリストリームに含まれる例を示している。２つのビデオエレメンタリストリームは、「Stream_Type=0x02」で送られるＭＰＥＧ２ｖｉｄｅｏストリームと、「Stream_Type=0x1ｂ」で送られるＡＶＣストリームである（図２（ｃ）参照）。この構成例では、ビデオエレメンタリストリームのＰＥＳパケット「Video PES1」、ＰＥＳパケット「Video PES2」が含まれ、それぞれのＰＥＳパケットには左眼、右眼の２つのビューのデータが含まれている。
【００７０】
また、トランスポートストリームＴＳには、ＰＳＩ（Program SpecificInformation）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(EventInformation Table)が含まれている。
【００７１】
ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ（Video ES loop）が存在する。このエレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）、ストリームタイプ（Stream_Type）等の情報が配置されると共に、そのエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。
【００７２】
この構成例では、各ビデオエレメンタリストリームのユーザデータ（user_data）領域に、サブストリーム・コンフィグレーション・データ（Substream_configuration_data（））が挿入されている。また、この構成例では、ＰＭＴのビデオエレメンタリ・ループ（Video ES loop）に、ストリーム毎に、サブストリーム・コンフィグレーション・デスクリプタ（Substream_configuration_descriptor）が挿入されている。なお、サブストリーム・コンフィグレーション・デスクリプタを、ＥＩＴの配下に挿入することも考えられる。
【００７３】
図８は、サブストリーム・コンフィグレーション・デスクリプタの構造例（Syntax）を示している。「substream_configuration_tag」は、デスクリプタタイプを示す８ビットのデータであり、ここでは、サブストリーム・コンフィグレーション・デスクリプタであることを示す。「substream_configuration_data_length」は、デスクリプタの長さ（サイズ）を示す８ビットのデータである。このデータは、デスクリプタの長さとして、以降の「substream_configuration_data()」のバイト数を示す。
【００７４】
図９は、「substream_configuration_data()」の構造例（Syntax）を示している。図１０、図１１は、図９に示す構造例における各情報の内容（Semantics）を示している。「3D_flag」の１ビットフィールドは、符号化されるビデオが３Ｄか否かを示す。“１”は、符号化されるビデオが３Ｄであること、つまりトランスポートストリームＴＳに３次元（３Ｄ）画像表示用の左眼、右眼の２つのビューを有するビデオストリームが含まれることを示す。一方、“０”は、符号化されるビデオが３Ｄではなく２Ｄであること、つまりトランスポートストリームＴＳに２次元（２Ｄ）画像表示用の単一のビューのビデオストリームが含まれることを示す。
【００７５】
また、以下の情報は、「3D_flag = 1」である場合に、存在する。「single_view_es_flag 」の１ビットフィールドは、１つのビデオエレメンタリストリームは１つのビューのみを符号化するか否かを示す。換言すれば、この「single_view_es_flag 」の１ビットフィールドは、１つのビデオエレメンタリストリームに、複数のビューのビデオストリーム（サブストリーム）が挿入されているかを示す。“１”は、１つのビデオエレメンタリストリームは１つのビューのみを符号化することを示す。一方、“０”は、１つのビデオエレメンタリストリームは２以上のビューを符号化することを示す。
【００７６】
「View_interleaving_flag」の１ビットフィールドは、１つのピクチャに複数のビューのビデオストリームのデータがインターリーブ（interleave）されているか否かを示す。“１”は、インターリーブされていることを示す。一方、“０”は、インターリーブされていないことを示す。
【００７７】
「view_allocation 」の３ビットフィールドは、当該ビューのビデオストリームのビュー割り当てを示す。「001」は、ステレオビュー構成の右眼ビュー（right view）に相当することを示す。「010」は、マルチビュー構成のセンタービュー(center view)、あるいは２Ｄのビューに相当することを示す。「011」は、マルチビュー構成時の、“right most view”「001」よりもセンター（center）に近い右眼ビュー（right view）を示す。
【００７８】
「100」は、ステレオビュー構成の左眼ビュー（left view）に相当することを示す。「101」は、１ピクチャが複数のビューデータ（view data）で構成され、左眼ビュー（Left view）、右眼ビュー（right view）がサイド・バイ・サイド（Side-by Side）の画を示す。これは、「View_interleaving_flag=1」のときのみ有効である。
【００７９】
「110」は、マルチビュー構成時の、“left most view”「100」よりもセンター（center）に近い左眼ビュー（left view）を示す。「111」は、１ピクチャが複数のビューデータ（view data）で構成され、左眼ビュー（Left view）、センタービュー(center view),右眼ビュー（right view）が分割された水平位置で共存する画を示す。これは、「View_interleaving_flag=1」のときのみ有効である。
【００８０】
「display_prompting_flag 」の１ビットフィールドは、当該ビューは２Ｄ表示を行わせる際に表示必須か否かを示す。“１”は、表示必須であることを示す。一方、“０”は、表示必須でないことを示す。
【００８１】
「indication_of_picture_size_scaling_horizontal 」の４ビットフィールドは、フルＨＤ（１９２０）に対してのデコード画の水平画素比率を示している。「0000」は１００％、「0001」は８０％、「0010」は７５％、「0011」は６６％、「0100」は５０％、「0101」は３３％、「0110」は２５％、「0111」は２０％をそれぞれ示す。
【００８２】
「indication_of_picture_size_scaling_vertical 」の４ビットフィールドは、フルＨＤ（１０８０）に対してのデコード画の垂直画素比率を示している。「0000」は１００％、「0001」は８０％、「0010」は７５％、「0011」は６６％、「0100」は５０％、「0101」は３３％、「0110」は２５％、「0111」は２０％をそれぞれ示す。
【００８３】
なお、デコード画を最終的にどの比率で表示するかは、再生機器依存である。例えば、テレビ受信機（ＴＶ）の場合は、Ｌ／Ｒ共に１００％になるように、後段でスケーリングすることが多いと考えられる。また、例えば、セットトップボックス（ＳＴＢ）の場合は、ＨＤＭＩ等のデジタルインタフェースでテレビ受信機（ＴＶ）に送信する際に、Ｌ／Ｒ共に水平方向に５０％にスケーリングして、サイド・バイ・サイド（Side-by-Side）の画として送ることも可能である。
【００８４】
次に、サブストリーム・コンフィグレーション・データ（Substream_configuration_data（））を、ビデオエレメンタリストリームのユーザデータ領域に挿入する場合について説明する。この場合、サブストリーム・コンフィグレーション・データは、ユーザデータ領域を利用して、例えば、ピクチャ単位あるいはＧＯＰ単位で挿入される。
【００８５】
例えば、符号化方式がＡＶＣである場合、サブストリーム・コンフィグレーション・データは、アクセスユニットの“ＳＥＬｓ”の部分に、「substream configuration SEI message」として、挿入される。図１２（ａ）は、ＧＯＰ（Group Of Pictures）の先頭のアクセスユニットを示しており、図１２（ｂ）は、ＧＯＰの先頭以外のアクセスユニットを示している。サブストリーム・コンフィグレーション・データがＧＯＰ単位で挿入される場合、ＧＯＰの先頭のアクセスユニットにのみ「substream configuration SEI message」が挿入される。
【００８６】
図１３（ａ）は、「substream configuration SEImessage」の構造例(Syntax)を示している。「uuid_iso_iec_11578」は、“ISO/IEC 11578:1996 AnnexA.”で示されるUUID値をもつ。「user_data_payload_byte」のフィールドに、「userdata_for_substream_configuration_data()」が挿入される。図１３（ｂ）は、「userdata_for_substream_configuration_data()」の構造例(Syntax)を示しており、この中に、サブストリーム・コンフィグレーション・データ（Substream_configuration_data（））が挿入される（図９参照）。「stream_association_id」は、符号なし１６ビットで示されるサブストリーム・コンフィグレーション・データの識別子である。
【００８７】
また、例えば、符号化方式がＭＰＥＧ２ ｖｉｄｅｏである場合、サブストリーム・コンフィグレーション・データは、ピクチャヘッダ部のユーザデータ領域に、ユーザデータ「user_data()」として挿入される。図１４（ａ）は、「user_data()」の構造例(Syntax)を示している。「user_data_start_code」の３２ビットフィールドは、ユーザデータ（user_data）の開始コードであり、“0x000001B2”の固定値とされる。
【００８８】
この開始コードに続く３２ビットフィールドは、ユーザデータの内容を識別する識別子である。ここでは、「Stereo_Video_Format_Signaling_identifier」とされ、ユーザデータが、サブストリーム・コンフィグレーション・データであることを識別可能とする。この識別子の後のデータ本体として、ストリーム関連付け情報としての「substream_configuration_information()」が挿入される。図１４（ｂ）は、「substream_configuration_information()」の構造例(Syntax)を示しており、この中に、サブストリーム・コンフィグレーション・データ（Substream_configuration_data（））が挿入される（図９参照）。
【００８９】
上述したように、図２に示す送信データ生成部１１０においては、マルチプレクサ１１７で、トランスポートストリームＴＳに、このトランスポートストリームＴＳに含まれる各ビューのビデオストリームの構成情報（Substream_configuration_data（））を挿入できる。したがって、受信側においては、この構成情報に基づいて、適切かつ効率的な処理が可能となる。
【００９０】
また、図２に送信データ生成部１１０においては、構成情報としてのサブストリーム・コンフィグレーション・データ（Substream_configuration_data（））を、トランスポートストリームのレイヤ、ビデオストリームのレイヤ等の単数または複数のレイヤに選択的に挿入できる。したがって、サービスに応じて必要とするレイヤに構成情報を挿入でき、受信側における処理の便宜を図ることができる。
【００９１】
例えば、サブストリーム・コンフィグレーション・データを含むサブストリーム・コンフィグレーション・デスクリプタは、イベント単位あるいは時間的に静的あるいは動的なユースケースにおいて、最適な位置に配置される。また、ピクチャ単位あるいはシーン単位（ランダムアクセス相当）で動的に切り替える際のシグナリングとして、ユーザデータ領域を利用する等して、サブストリーム・コンフィグレーション・データが、ビデオエレメンタリストリームの中の最適な位置に配置される。
【００９２】
図１５は、トランスポートストリームのレイヤに挿入されるサブストリーム・コンフィグレーション・デスクリプタ、あるいはビデオストリームのレイヤに挿入されるサブストリーム・コンフィグレーション・データに含まれる情報の時間的な変化例を示している。この例は、３次元画像表示用の左眼、右眼の２つのビューのビデオストリームが１つのビデオエレメンタリストリームに含まれる例を示している（図２（ａ）、図５参照）。この例では、１つのビデオエレメンタリストリームは、「Stream_Type=0x1b」で送られるＡＶＣストリームである。
【００９３】
この例では、イベント１「EVENT_1」、イベント２「EVENT_2」、イベント３「EVENT_3」のビデオストリーム（画像データ）が、この順に送信される場合を示している。イベント１「EVENT_1」は、全体が２Ｄサービスのイベントである。このイベント１「EVENT_1」のサービス期間では、２次元画像表示用の単一のビューのビデオストリームを含む１つのビデオエレメンタリストリームがトランスポートストリームＴＳで送信される。
【００９４】
イベント２「EVENT_2」は、３Ｄサービスを含むイベントである。このイベント２「EVENT_2」の２Ｄサービス期間では、２次元画像表示用の単一のビューのビデオストリームを含む１つのビデオエレメンタリストリームがトランスポートストリームＴＳで送信される。また、このイベント２「EVENT_2」の３Ｄサービス期間では、３次元画像表示用の左眼、右眼の２つのビューのビデオストリームを含む１つのビデオエレメンタリストリームがトランスポートストリームＴＳで送信される。
【００９５】
イベント３「EVENT_3」は、イベント１「EVENT_1」と同様に、全体が２Ｄサービスのイベントである。このイベント３「EVENT_3」のサービス期間では、２次元画像表示用の単一のビューのビデオストリームを含む１つのビデオエレメンタリストリームがトランスポートストリームＴＳで送信される。
【００９６】
この例において、サブストリーム・コンフィグレーション・デスクリプタは、ＥＩＴの配下に挿入され、イベント単位で構成情報の内容が変更される。例えば、イベント1「EVENT_1」およびイベント３「EVENT_3」では、「3D_flag=0」とされることで、これらのイベントは３Ｄサービスを含まず、全体として２Ｄサービスであることが示される。また、イベント２「EVENT_2」では、「3D_flag=１」とされることで、３Ｄサービスを含むことが示される。受信側においては、この「3D_flag」の情報によって、イベント単位で、例えば、必要とするデコードバッファ領域の確保する制御を適切に行うことができる。
【００９７】
また、各ビューのビデオストリームに対応したサブストリーム・コンフィグレーション・データが、ビデオエレメンタリストリームのユーザデータ領域に挿入され、ピクチャ単位あるいはＧＯＰ単位で、構成情報の内容が変更される。例えば、イベント1「EVENT_1」およびイベント３「EVENT_3」では、「3D_flag=0」とされることで、これらのイベントの全体が２Ｄサービスであることが示される。
【００９８】
また、イベント２「EVENT_2」では、３Ｄサービス期間では「3D_flag=１」とされ、２Ｄサービス期間では「3D_flag=0」とされることで、ピクチャ単位あるいはＧＯＰ単位で、３Ｄサービスであるか２Ｄサービスであるかが示される。受信側においては、この「3D_flag」の情報によって、受信処理を切り替える制御を適切に行うことができる。
【００９９】
また、その際、受信側では、「display_prompting_flag 」の情報により、３Ｄサービス期間において、２Ｄ表示が可能であるか、さらには可能である場合にどのビューを表示すべきかを知ることができ、２Ｄ表示の制御を適切に行うことができる。
【０１００】
この例では、例えば、イベント２「EVENT_2」の１つ目の３Ｄサービス期間では、“2D_display_allowed”、つまり２Ｄ表示が可能であり、“2D_display=view0”、つまり２Ｄ表示では左眼ビュー（View0）が表示される。この３Ｄサービス期間において、上述の「display_prompting_flag 」は、左眼ビュー（View0）に関しては“１”に設定され、右眼ビュー（View1）に関しては“０”に設定されている。
【０１０１】
また、この例では、例えば、イベント２「EVENT_2」の２つ目の３Ｄサービス期間では、“2D_display_allowed”、つまり２Ｄ表示が可能であり、“2D_display=view1”、つまり２Ｄ表示では右眼ビュー（View0）が表示される。この３Ｄサービス期間において、上述の「display_prompting_flag 」は、右眼ビュー（View1）に関しては“１”に設定され、左眼ビュー（View0）に関しては“０”に設定されている。
【０１０２】
図１６も、トランスポートストリームのレイヤに挿入されるサブストリーム・コンフィグレーション・デスクリプタ、あるいはビデオストリームのレイヤに挿入されるサブストリーム・コンフィグレーション・データに含まれる情報の時間的な変化例を示している。この例は、３次元画像表示用の左眼、右眼の２つのビューのビデオストリームがそれぞれ別個のビデオエレメンタリストリームに含まれる例を示している（図２（ｂ）、図６参照）。この例では、２つのビデオエレメンタリストリームは、「Stream_Type=0x1b」で送られるＭＶＣのベースビュー(base view)のストリームと、ＰＭＴの「Stream_Type=0x20」で送られるＭＶＣのノンベースビュー（Non baseview）のストリームである。
【０１０３】
この例でも、イベント１「EVENT_1」、イベント２「EVENT_2」、イベント３「EVENT_3」のビデオストリーム（画像データ）が、この順に送信される場合を示している。イベント１「EVENT_1」は、全体が２Ｄサービスのイベントである。このイベント１「EVENT_1」のサービス期間では、２次元画像表示用の単一のビューのビデオストリームを含む１つのビデオエレメンタリストリームがトランスポートストリームＴＳで送信される。
【０１０４】
イベント２「EVENT_2」は、３Ｄサービスを含むイベントである。このイベント２「EVENT_2」の２Ｄサービス期間では、２次元画像表示用の単一のビューのビデオストリームを含む１つのビデオエレメンタリストリームがトランスポートストリームＴＳで送信される。また、このイベント２「EVENT_2」の３Ｄサービス期間では、３次元画像表示用の左眼、右眼の２つのビューのビデオストリームを含むそれぞれ別個のビデオエレメンタリストリームがトランスポートストリームＴＳで送信される。
【０１０５】
イベント３「EVENT_3」は、イベント１「EVENT_1」と同様に、全体が２Ｄサービスのイベントである。このイベント３「EVENT_3」のサービス期間では、２次元画像表示用の単一のビューのビデオストリームを含む１つのビデオエレメンタリストリームがトランスポートストリームＴＳで送信される。
【０１０６】
この例において、サブストリーム・コンフィグレーション・デスクリプタは、ＥＩＴの配下に挿入され、イベント単位で構成情報の内容が変更される。例えば、イベント1「EVENT_1」およびイベント３「EVENT_3」では、「3D_flag=0」とされることで、これらのイベントは３Ｄサービスを含まず、全体として２Ｄサービスであることが示される。また、イベント２「EVENT_2」では、「3D_flag=１」とされることで、３Ｄサービスを含むことが示される。受信側においては、この「3D_flag」の情報によって、イベント単位で、例えば、必要とするデコードバッファ領域の確保する制御を適切に行うことができる。
【０１０７】
また、各ビューのビデオストリームに対応したサブストリーム・コンフィグレーション・データが、各ビデオエレメンタリストリームのユーザデータ領域に挿入され、ピクチャ単位あるいはＧＯＰ単位で、構成情報の内容が変更される。例えば、イベント1「EVENT_1」およびイベント３「EVENT_3」では、「3D_flag=0」とされることで、これらのイベントの全体が２Ｄサービスであることが示される。
【０１０８】
また、イベント２「EVENT_2」では、３Ｄサービス期間では「3D_flag=１」とされ、２Ｄサービス期間では「3D_flag=0」とされることで、ピクチャ単位あるいはＧＯＰ単位で、３Ｄサービスであるか２Ｄサービスであるかが示される。受信側においては、この「3D_flag」の情報によって、受信処理を切り替える制御を適切に行うことができる。
【０１０９】
また、その際、受信側では、「display_prompting_flag 」の情報により、３Ｄサービス期間において、２Ｄ表示が可能であるか、さらには可能である場合にどのビューを表示すべきかを知ることができ、２Ｄ表示の制御を適切に行うことができる。この例では、図１５の例と同様に、３Ｄサービス期間において、“2D_display_allowed”、つまり２Ｄ表示が可能であることが示されている。
【０１１０】
図１７も、トランスポートストリームのレイヤに挿入されるサブストリーム・コンフィグレーション・デスクリプタ、あるいはビデオストリームのレイヤに挿入されるサブストリーム・コンフィグレーション・データに含まれる情報の時間的な変化例を示している。この例は、３次元画像表示用の左眼、右眼の２つのビューのビデオストリームがそれぞれ別個のビデオエレメンタリストリームに含まれる例を示している（図２（ｃ）、図７参照）。この例では、２つのビデオエレメンタリストリームは、「Stream_Type=0x02」で送られるＭＰＥＧ２ｖｉｄｅｏストリームと、ＰＭＴの「Stream_Type=0x1ｂ」で送られるＡＶＣストリームである。詳細説明は省略するが、その他は図１６の例と同様である。
【０１１１】
図１８も、トランスポートストリームのレイヤに挿入されるサブストリーム・コンフィグレーション・デスクリプタ、あるいはビデオストリームのレイヤに挿入されるサブストリーム・コンフィグレーション・データに含まれる情報の時間的な変化例を示している。この例は、３次元画像表示用の左眼、右眼の２つのビューのビデオストリームがそれぞれ別個のビデオエレメンタリストリームに含まれる例を示している（図２（ｂ）、図６参照）。
この例においても、上述の各例と同様に、受信側においては、「3D_flag」の情報によって、受信処理を切り替える制御を適切に行うことができる。そして、その際、受信側では、「display_prompting_flag 」の情報により、３Ｄサービス期間において、２Ｄ表示が可能であるか、さらには可能である場合にどのビューを表示すべきかを知ることができ、２Ｄ表示の制御を適切に行うことができる。
【０１１２】
この例では、例えば、イベント２「EVENT_2」の各３Ｄサービス期間では、“2D_display_NOTallowed”、つまり２Ｄ表示が許可されておらず不可能である。これらの３Ｄサービス期間において、上述の「display_prompting_flag 」は、左眼ビュー（View0）および右眼ビュー（View1）の両方に関して“１”に設定されている。
詳細説明は省略するが、その他は図１６の例と同様である。
【０１１３】
「受信機の構成例」
図１９は、受信機２００の構成例を示している。この受信機２００は、ＣＰＵ２０１と、フラッシュＲＯＭ２０２と、ＤＲＡＭ２０３と、内部バス２０４と、リモコン受信部２０５と、リモコン送信機２０６を有している。また、この受信機２００は、アンテナ端子２１１と、デジタルチューナ２１２と、トランスポートストリームバッファ（ＴＳバッファ）２１３と、デマルチプレクサ２１４を有している。
【０１１４】
また、受信機２００は、コーデッドバッファ２１５と、ビデオデコーダ２１６ａ，２１６ｂと、ビューバッファ２１７ａ，２１７ｂと、スケーラ２１８ａ，２１８ｂと、ビデオ重畳部（ディスプレイバッファ）２１９ａ，２１９ｂを有している。また、受信機２００は、グラフィクスデコーダ２２１と、ピクセルバッファ２２２と、視差情報デコーダ２２３と、負らフィクスバッファ２２４ａ，２２４ｂと、オーディオデコーダ２２５と、チャネル処理部２２６を有している。
【０１１５】
ＣＰＵ２０１は、受信機２００の各部の動作を制御する。フラッシュＲＯＭ２０２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２０３は、ＣＰＵ２０１のワークエリアを構成する。ＣＰＵ２０１は、フラッシュＲＯＭ２０２から読み出したソフトウェアやデータをＤＲＡＭ２０３上に展開してソフトウェアを起動させ、受信機２００の各部を制御する。リモコン受信部２０５は、リモコン送信機２０６から送信されたリモーコントロール信号（リモコンコード）を受信し、ＣＰＵ２０１に供給する。ＣＰＵ２０１は、このリモコンコードに基づいて、受信機２００の各部を制御する。ＣＰＵ２０１、フラッシュＲＯＭ２０２およびＤＲＡＭ２０３は内部バス２０４に接続されている。
【０１１６】
アンテナ端子２１１は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２１２は、アンテナ端子２１１に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のトランスポートストリーム（ビットストリームデータ）ＴＳを出力する。トランスポートストリームバッファ（ＴＳバッファ）２１３は、デジタルチューナ２１２から出力されたトランスポートストリームＴＳを一時的に蓄積する。
【０１１７】
このトランスポートストリームＴＳには、上述したように、２次元画像表示用の単一のビューのビデオストリーム、あるいは３次元画像表示用の左眼、右眼の２つのビューのビデオストリームが含まれている。なお、この左眼、右眼の２つのビューのビデオストリームは、１つのビデオエレメンタリストリームに含まれ、あるいはそれぞれ別個のビデオストリームに含まれている。このトランスポートストリームＴＳには、上述したように、このトランスポートストリームＴＳに含まれる各ビューのビデオストリームの構成情報が挿入されている。
【０１１８】
すなわち、この構成情報は、ユーザの選択操作に基づく挿入レイヤ情報に基づいて、トランスポートストリームＴＳの単数あるいは複数のレイヤに、例えば、トランスポートストリームのレイヤ、ビデオストリームのレイヤなどに、選択的に挿入されている。トランスポートストリームのレイヤに挿入される場合、例えば、ＰＭＴのビデオエレメンタリ・ループ（Video ES loop）の配下、あるいはＥＩＴの配下に、構成情報を含むサブストリーム・コンフィグレーション・デスクリプタが挿入されている。また、ビデオストリームのレイヤに挿入される場合、例えば、ユーザデータ領域に、構成情報を含むサブストリーム・コンフィグレーション・データが挿入されている。
【０１１９】
デマルチプレクサ２１４は、ＴＳバッファ２１３に一時的に蓄積されたトランスポートストリームＴＳから、ビデオ、視差情報、グラフィクスおよびオーディオの各エレメンタリストリームを抽出する。視差情報エレメンタリストリームは、トランスポートストリームＴＳに含まれるビデオエレメンタリストリームが３次元画像表示用の左眼、右眼の２つのビューのビデオストリーム（画像データ）を含む場合のみ抽出される。デマルチプレクサ２１４で抽出される１つまたは２つのビデオエレメンタリストリームは、コーデッドバッファ２１５に一時的に蓄積される。
【０１２０】
トランスポートストリームＴＳには、２次元画像表示用の単一のビューのビデオストリームおよび３次元画像表示用の複数のビューのビデオストリーム（画像データ）が時分割的に含まれる。この３次元画像表示用の左眼、右眼の２つのビューのビデオストリームは、１つのエレメンタリストリームに含まれて送信されるか、あるいはそれ独立したエレメンタリストリームに含まれて送信される。
【０１２１】
例えば、イベント（番組）本編については３次元画像表示用の左眼、右眼の２つのビューのビデオストリームが送信され、ＣＭ（commercial message）については２次元画像表示用の単一のビューのビデオストリームが送信される場合が考えられる。また、例えば、あるイベント（番組）では２次元画像表示用の単一のビューのビデオストリームのみを送信し、他のイベント（番組）では、少なくとも一部の期間に３次元画像表示用の左眼、右眼の２つのビューのビデオストリームを送信するような場合が考えられる。
【０１２２】
また、デマルチプレクサ２１４は、トランスポートストリームＴＳのレイヤ、例えばＰＭＴのビデオエレメンタリ・ループの配下、あるいはＥＩＴの配下に挿入されているサブストリーム・コンフィグレーション・デスクリプタを抽出し、ＣＰＵ２０１に供給する。上述したように、このデスクリプタには、トランスポートストリームＴＳに含まれる各ビューのビデオストリームの構成情報（Substream_configuration_data（））（図９参照）が挿入されている。
【０１２３】
この構成情報には、上述したように、符号化されるビデオが３Ｄか否かを示す「3D_flag」の１ビットフィールドが存在する。ＣＰＵ２０１は、例えば、ＥＩＴの配下に挿入されているサブストリーム・コンフィグレーション・デスクリプタの「3D_flag」に基づいて、イベント（番組）単位で、コーデッドバッファ２１５の領域（デコードバッファ領域）として必要領域を確保する制御を行う。すなわち、「3D_flag=１」とされており、そのイベントに３Ｄサービスを含むことが示されている場合には、３Ｄ用のバッファスペースが確保される。これに対して、「3D_flag=0」とされており、そのイベントの全体が２Ｄサービスであることが示されている場合には、２Ｄ用のバッファスペースが確保される。
【０１２４】
ビデオデコーダ２１６ａ，２１６ｂは、ＣＰＵ２０１の制御のもと、コーデッドバッファ２１５に記憶されているビデオエレメンタリストリームの復号化処理を行って、所定のビューのビデオストリーム（画像データ）を取得する。ここで、ビデオデコーダ２１６ａは、２次元画像表示用のビューのビデオストリーム、あるいは３次元画像表示用の左眼ビューのビデオストリームを取得する。一方、ビデオデコーダ２１６ｂは、３次元画像表示用の右眼ビューのビデオストリームを取得する。
【０１２５】
また、ビデオデコーダ２１６ａ，２１６ｂは、ビデオストリームのレイヤ、例えばユーザデータ領域を利用してピクチャ単位あるいはＧＯＰ単位で挿入されているサブストリーム・コンフィグレーション・データ（Substream_configuration_data（））を抽出し、ＣＰＵ２０１に供給する。上述したように、このデータには、トランスポートストリームＴＳに含まれる各ビューのビデオストリームの構成情報（図９参照）が挿入されている。
【０１２６】
この構成情報には、上述したように、符号化されるビデオが３Ｄか否かを示す「3D_flag」の１ビットフィールドが存在する。また、１つのビデオエレメンタリストリームは１つのビューのみを符号化するか否かを示す「single_view_es_flag 」の１ビットフィールドが存在する。また、この構成情報には、ビュー割り当てを示す「view_allocation 」の３ビットフィールドが存在する。ＣＰＵ２０１は、これらの情報に基づいて、ピクチャ単位あるいはＧＯＰ単位で、ビデオデコーダ２１６ａ，２１６ｂの動作を制御する。
【０１２７】
例えば、ＣＰＵ２０１は、１つのビュー（view）のデータが１つのエレメンタリストリーム（elementary stream）で構成される場合、各ストリームに対応したデスクリプタ、あるいはエレメンタリストリーム内のユーザデータに記述される「view_allocation 」の３ビットフィールドにより、左眼ビューおよび右眼ビューを識別できる（図６、図７参照）。また、例えば、ＣＰＵ２０１は、２つのビュー（view）のデータが１つのエレメンタリストリーム（elementary stream）で構成される場合、エレメンタリストリーム内のユーザデータに記述される「view_allocation 」の３ビットフィールドにより、左眼ビューおよび右眼ビューを識別できる（図５参照）。
【０１２８】
これにより、２Ｄサービス期間では、ビデオデコーダ２１６ａにより２次元画像表示用のビューのビデオストリーム（画像データ）が取得される。また、３Ｄサービス期間では、ビデオデコーダ２１６ａにより３次元画像表示用の左眼ビューのビデオストリーム（画像データ）が取得され、ビデオデコーダ２１６ｂにより３次元画像表示用の右眼ビューのビデオストリーム（画像データ）が取得される。
【０１２９】
また、上述の構成情報には、各ビューが２Ｄ表示を行わせる際に表示必須か否かを示す「display_prompting_flag 」の１ビットフィールドが存在する。ＣＰＵ２０１は、この情報に基づいて、３Ｄサービス期間において、ユーザが２Ｄ表示モードを選択した際におけるビデオデコーダ２１６ａ，２１６ｂの動作を制御する。
【０１３０】
すなわち、表示必須のビューが存在して２Ｄ表示が可能であるときには、ビデオデコーダ２１６ａにより、その表示必須のビュー（左眼ビューあるいは右眼ビュー）のビデオストリーム（画像データ）が取得される。一方、表示必須のビューが存在せず２Ｄ表示が許可されていないときは、ユーザの２Ｄ表示モードの選択は無効とされ、ビデオデコーダ２１６ａ，２１６ｂにより、それぞれ、左眼、右眼の各ビューのビデオストリーム（画像データ）が取得される。
【０１３１】
ビューバッファ２１７ａ，２１７ｂは、それぞれ、ビデオデコーダ２１６ａ，２１６ｂで取得された各ビューのビデオストリーム（画像データ）を一時的に蓄積する。
【０１３２】
グラフィクスデコーダ２２１は、上述の送信データ生成部１１０のグラフィクスエンコーダ１１６（図３参照）とは逆の処理を行う。すなわち、グラフィクスデコーダ２２１は、デマルチプレクサ２１４で抽出されたグラフィクスエレメンタリストリームに含まれる符号化グラフィクスデータに対して復号化処理を行って復号化されたグラフィクスデータ（サブタイトルデータを含む）を得る。
【０１３３】
視差情報デコーダ２２３は、上述の送信データ生成部１１０の視差情報エンコーダ１１３（図３参照）とは逆の処理を行う。すなわち、視差情報デコーダ２２３は、デマルチプレクサ２１４で抽出された視差情報エレメンタリストリームに含まれる符号化視差情報に対して復号化処理を行って復号化された視差情報を得る。この視差情報は、左眼ビュー（左眼画像）と右眼ビュー（右眼画像）との間の視差を示す視差ベクトル、あるいは奥行きデータ等である。奥行きデータは、所定の変換により視差ベクトルとして扱うことが可能となる。視差情報は、例えば、ビュー（画像）を所定数に分割して得られた各分割領域の視差情報である。
【０１３４】
グラフィクス発生部２２２は、グラフィクスデコーダ２２１で得られたグラフィクスデータに基づいて、ビュー（画像）に重畳するグラフィクス情報のデータを発生する。グラフィクス発生部２２２は、３Ｄサービス時（２Ｄ表示モードを除く）に、左眼ビューおよび右眼ビューにそれぞれ重畳するグラフィクス情報のデータを発生する。この場合、グラフィクス発生部２２２は、視差情報デコーダ２２３で得られる視差情報に基づいて、各ビューに重畳するグラフィクス情報の重畳位置を調整して視差を付与する。また、グラフィクス発生部２２２は、２Ｄサービス時（３Ｄサービス時で２Ｄ表示モードを含む）に、２次元画像表示用のビューに重畳するグラフィクス情報のデータを発生する。
【０１３５】
グラフィクスバッファ２２４ａは、３Ｄサービス時（２Ｄ表示モードを除く）にグラフィクス発生部２２２で発生される、左眼ビューに重畳するグラフィクス情報のデータを一時的に蓄積する。また、グラフィクスバッファ２２４ａは、２Ｄサービス時（３Ｄサービス時で２Ｄ表示モードを含む）にグラフィクス発生部２２２で発生される、２次元画像表示用のビューに重畳するグラフィクス情報のデータを一時的に蓄積する。また、グラフィクスバッファ２２４ｂは、３Ｄサービス時（２Ｄ表示モードを除く）にグラフィクス発生部２２２で発生される、右眼ビューに重畳するグラフィクス情報のデータを一時的に蓄積する。
【０１３６】
スケーラ２１８ａ，２１８ｂは、それぞれ、ビューバッファ２１７ａ，２１７ｂから出力される各ビューのビデオストリーム（画像データ）の出力解像度を、所定の解像度となるように調整する。上述した構成情報には、デコード画の水平画素比率を示す「indication_of_picture_size_scaling _horizontal 」の４ビットフィールドおよびデコード画の垂直画素比率を示す「indication_of_picture_size_scaling _vertical 」の４ビットフィールドが存在する。ＣＰＵ２０１は、この画素比率情報に基づいて、スケーラ２１８ａ，２１８ｂにおけるスケーリング比率を制御し、所定の解像度が得られるようにする。
【０１３７】
ビデオ重畳部２１９ａは、３Ｄサービス時（２Ｄ表示モードを除く）に、グラフィクス情報が重畳された左眼ビュー（左眼画像）を表示するためのビデオストリーム（画像データ）ＳＬを出力する。このとき、ビデオ重畳部２１９ａは、ビューバッファ２１７ａに蓄積され、スケーラ２１８ａでスケーリング処理された左眼ビューのビデオストリームに、グラフィクスバッファ２２４ａに蓄積されたグラフィクス情報のデータを重畳して、ビデオストリームＳＬを得る。
【０１３８】
また、ビデオ重畳部２１９ａは、２Ｄサービス時（３Ｄサービス時で２Ｄ表示モードを含む）に、グラフィクス情報が重畳された２次元画像表示用のビューを表示するためのビデオストリーム（画像データ）ＳＶを出力する。このとき、ビデオ重畳部２１９ａは、ビューバッファ２１７ａに蓄積され、スケーラ２１８ａでスケーリング処理された２次元画像表示用のビューのビデオストリームに、グラフィクスバッファ２２４ａに蓄積されたグラフィクス情報のデータを重畳して、ビデオストリームＳＶを得る。
【０１３９】
また、ビデオ重畳部２１９ｂは、３Ｄサービス時（２Ｄ表示モードを除く）に、グラフィクス情報が重畳された右眼ビュー（右眼画像）を表示するためのビデオストリーム（画像データ）ＳＲを出力する。このとき、ビデオ重畳部２１９ｂは、ビューバッファ２１７ｂに蓄積され、スケーラ２１８ｂでスケーリング処理された右眼ビューのビデオストリームに、グラフィクスバッファ２２４ｂに蓄積されたグラフィクス情報のデータを重畳して、ビデオストリームＳＲを得る。
【０１４０】
オーディオデコーダ２２５は、上述の送信データ生成部１１０のオーディオエンコーダ１１４（図３参照）とは逆の処理を行う。すなわち、このオーディオデコーダ２２５は、デマルチプレクサ２１４で抽出されたオーディオエレメンタリストリームに含まれる符号化音声データに対して復号化処理を行って復号化された音声データを得る。チャネル処理部２２６は、オーディオデコーダ２２５で得られる音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データＳＡを生成して出力する。
【０１４１】
なお、ビューバッファ２１７ａ，２１７ｂからの各ビューのビデオストリーム（画像データ）の読み出しと、グラフィクスバッファ２２４ａ，２２４ｂからの各ビューに対応したグラフィクス情報のデータの読み出しとは、タイプスタンプＰＴＳに基づいて行われ、転送同期が取られる。
【０１４２】
受信機２００の動作を簡単に説明する。アンテナ端子２１１に入力されたテレビ放送信号はデジタルチューナ２１２に供給される。このデジタルチューナ２１２では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のトランスポートストリームＴＳが出力される。このトランスポートストリームＴＳは、ＴＳバッファ２１３に一時的に蓄積される。
【０１４３】
デマルチプレクサ２１４では、ＴＳバッファ２１３に一時的に蓄積されたトランスポートストリームＴＳから、ビデオ、視差情報、グラフィクスおよびオーディオの各エレメンタリストリームが抽出される。視差情報エレメンタリストリームは、トランスポートストリームＴＳに含まれるビデオエレメンタリストリームが３次元画像表示用の左眼、右眼の２つのビューのビデオストリーム（画像データ）を含む場合のみ抽出される
【０１４４】
また、デマルチプレクサ２１４では、トランスポートストリームＴＳのレイヤ、例えばＰＭＴのビデオエレメンタリ・ループの配下、あるいはＥＩＴの配下に挿入されているサブストリーム・コンフィグレーション・デスクリプタが抽出され、ＣＰＵ２０１に供給される。ＣＰＵ２０１は、このデスクリプタに基づいて、イベント（番組）単位で、コーデッドバッファ２１５の領域（デコードバッファ領域）として必要領域を確保する等の制御を行う。なお、このデコードバッファ領域の確保制御に関しては、イベント単位より細かい時間単位、例えばシーン単位で行うことも考えられる。この場合、例えば、ビデオストリームのレイヤにイベント単位より細かい時間単位で挿入されるサブストリーム・コンフィグレーション・データ（Substream_configuration_data（））に基づいて制御できる。
【０１４５】
デマルチプレクサ２１４で抽出されるビデオエレメンタリストリームは、コーデッドバッファ２１５に一時的に蓄積される。ビデオデコーダ２１６ａ，２１６ｂでは、コーデッドバッファ２１５に記憶されているビデオエレメンタリストリームの復号化処理が行われ、所定のビューのビデオストリーム（画像データ）が取得される。ここで、ビデオデコーダ２１６ａでは、２次元画像表示用のビューのビデオストリーム、あるいは３次元画像表示用の左眼ビューのビデオストリームが取得される。一方、ビデオデコーダ２１６ｂでは、３次元画像表示用の右眼ビューのビデオストリームが取得される。
【０１４６】
また、ビデオデコーダ２１６ａ，２１６ｂでは、ビデオストリームのレイヤ、例えばユーザデータ領域を利用してピクチャ単位あるいはＧＯＰ単位で挿入されているサブストリーム・コンフィグレーション・データ（Substream_configuration_data（））が抽出され、ＣＰＵ２０１に供給される。ＣＰＵ２０１は、このデータに基づいて、ピクチャ単位あるいはＧＯＰ単位で、ビデオデコーダ２１６ａ，２１６ｂの動作などを制御する。
【０１４７】
以下、最初に、３Ｄサービス時（２Ｄ表示モードを除く）の動作を説明する。ビデオデコーダ２１６ａからは３次元画像表示用の左眼ビューのビデオストリーム（画像データ）が得られ、このビデオストリームはビューバッファ２１７ａに一時的に蓄積される。また、ビデオデコーダ２１６ｂからは３次元画像表示用の右眼ビューのビデオストリーム（画像データ）が得られ、このビデオストリームはビューバッファ２１７ｂに一時的に蓄積される。
【０１４８】
デマルチプレクサ２１４で抽出されたグラフィクスエレメンタリストリームは、グラフィクスデコーダ２２１に供給される。このグラフィクスデコーダ２２１では、グラフィクスエレメンタリストリームに含まれる符号化グラフィクスデータに対して復号化処理が行われて、復号化されたグラフィクスデータ（サブタイトルデータを含む）が得られる。このグラフィクスデータは、グラフィクス発生部２２２に供給される。
【０１４９】
デマルチプレクサ２１４で抽出された視差情報エレメンタリストリームは、視差情報デコーダ２２３に供給される。この視差情報デコーダ２２３では、視差情報エレメンタリストリームに含まれる符号化視差情報に対して復号化処理が行われて、復号化された視差情報が得られる。この視差情報は、グラフィクス発生部２２２に供給される。
【０１５０】
グラフィクス発生部２２２では、グラフィクスデコーダ２２１で得られたグラフィクスデータに基づいて、画像に重畳するグラフィクス情報のデータが発生される。この場合、グラフィクス発生部２２２では、視差情報デコーダ２２３で得られる視差情報に基づいて、左眼ビュー（左眼画像）および右眼ビュー（右眼画像）の各ビューに重畳するグラフィクス情報の重畳位置が調整されて視差が付与される。
【０１５１】
グラフィクス発生部２２２で発生される、左眼ビューに重畳するグラフィクス情報のデータは、グラフィクスバッファ２２４ａに一時的に蓄積される。また、グラフィクス発生部２２２で発生される、右眼ビューに重畳するグラフィクス情報のデータは、グラフィクスバッファ２２４ｂに一時的に蓄積される。
【０１５２】
ビデオ重畳部２１９ａでは、ビューバッファ２１７ａに蓄積され、スケーラ２１８ａでスケーリング処理された左眼ビューのビデオストリーム（画像データ）に、グラフィクスバッファ２２４ａに蓄積されたグラフィクス情報のデータが重畳されて、左眼ビューのビデオストリーム（画像データ）ＳＬが得られる。このビデオストリームＳＬは、グラフィクス情報が重畳された左眼ビュー（左眼画像）を表示するためのビデオストリームとして出力される。
【０１５３】
また、ビデオ重畳部２１９ｂでは、ビューバッファ２１７ｂに蓄積され、スケーラ２１８ｂでスケーリング処理された右眼ビューのビデオストリーム（画像データ）に、グラフィクスバッファ２２４ｂに蓄積されたグラフィクス情報のデータが重畳されて、右眼ビューのビデオストリーム（画像データ）ＳＲが得られる。このビデオストリームＳＲは、グラフィクス情報が重畳された右眼ビュー（左眼画像）を表示するためのビデオストリームとして出力される。
【０１５４】
次に、２Ｄサービス時（３Ｄサービス時で２Ｄ表示モードを含む）の動作を説明する。ビデオデコーダ２１６ａからは２次元画像表示用のビューのビデオストリーム（画像データ）が得られ、このビデオストリームはビューバッファ２１７ａに一時的に蓄積される。
【０１５５】
デマルチプレクサ２１４で抽出されたグラフィクスエレメンタリストリームは、グラフィクスデコーダ２２１に供給される。このグラフィクスデコーダ２２１では、グラフィクスエレメンタリストリームに含まれる符号化グラフィクスデータに対して復号化処理が行われて、復号化されたグラフィクスデータ（サブタイトルデータを含む）が得られる。このグラフィクスデータは、グラフィクス発生部２２２に供給される。
【０１５６】
グラフィクス発生部２２２では、グラフィクスデコーダ２２１で得られたグラフィクスデータに基づいて、ビュー（画像）に重畳するグラフィクス情報のデータが発生される。このグラフィクス情報のデータは、グラフィクスバッファ２２４ａに一時的に蓄積される。
【０１５７】
ビデオ重畳部２１９ａでは、ビューバッファ２１７ａに蓄積され、スケーラ２１８ａでスケーリング処理された２次元画像表示用のビューのビデオストリーム（画像データ）に、グラフィクスバッファ２２４ａに蓄積されたグラフィクス情報のデータが重畳されて、２次元画像表示用のビューのビデオストリーム（画像データ）ＳＶが得られる。このビデオストリームＳＶは、グラフィクス情報が重畳された２次元画像表示用のビュー（画像）を表示するためのビデオストリームとして出力される。
【０１５８】
また、デマルチプレクサ２１４で抽出されたオーディオエレメンタリストリームは、オーディオデコーダ２２５に供給される。このオーディオデコーダ２２５では、オーディオエレメンタリストリームに含まれる符号化音声データに対して復号化処理が行われて、復号化された音声データが得られる。この音声データは、チャネル処理部２２６に供給される。チャネル処理部２２６では、その音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データＳＡが生成されて出力される。
【０１５９】
なお、図１９に示す受信機２００においては、コーデッドバッファ２１５を１つのブロックで示している。上述していないが、このコーデッドバッファ２１５は、エレメンタリストリーム構成によって、２つのビデオデコーダ２１６ａ，２１６ｂが共有する場合、あるいは各々のビデオデコーダ２１６ａ，２１６ｂに占有される形で２つに分かれて管理される場合、の両方の場合が可能である。
【０１６０】
上述したように、図１９に示す受信機２００においては、受信されるトランスポートストリームＴＳに、各ビューのビデオストリームの構成情報を含むサブストリーム・コンフィグレーション・デスクリプタやサブストリーム・コンフィグレーション・データが挿入されている。受信機２００においては、この構成情報に基づいて、各部の処理が制御される。したがって、適切かつ効率的な処理が可能となる。
【０１６１】
＜２．変形例＞
なお、上述実施の形態においては、本技術を、左眼、右眼の２つのビューを取り扱う例に適用したものである。しかし、マルチビューを取り扱う場合にも、本技術を同様に適用できることは勿論である。
【０１６２】
また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。
【０１６３】
また、上述実施の形態においては、重畳情報がグラフィクスである例を示したが、クローズド・キャプションなどのその他の重畳情報の場合も同様に考えることができる。また、上述実施の形態においては、送信側から、画像データと共にグラフィクスのデータを送信する例を示したが、重畳情報のデータは、受信側において発生されるＯＳＤ表示などの場合も考えられる。
【０１６４】
また、本技術は、以下のような構成を取ることもできる。
（１）２次元画像表示用の単一のビューのビデオストリームおよび３次元画像表示用の複数のビューのビデオストリームが時分割的に含まれる所定フォーマットのコンテナを送信する送信部と、
上記コンテナに、該コンテナに含まれる各ビューのビデオストリームの構成情報を挿入する構成情報挿入部とを備える
送信装置。
（２）上記構成情報を挿入する単数あるいは複数のレイヤを選択する挿入レイヤ選択部をさらに備える
前記（１）に記載の送信装置。
（３）上記構成情報の挿入レイヤの選択肢に、上記コンテナのレイヤおよび上記ビデオストリームのレイヤが含まれる
前記（２）に記載の送信装置。
（４）上記構成情報には、
上記コンテナに含まれるビデオストリームが、上記２次元画像表示用の単一のビューのビデオストリームであるか、上記３次元画像表示用の複数のビューのビデオストリームであるかを識別する情報が含まれている
前記（１）から（３）のいずれかに記載の送信装置。
（５）上記構成情報には、
１つのビデオエレメンタリストリームに、上記複数のビューのビデオストリームが挿入されているか否かを示す情報が含まれている
前記（１）から（４）のいずれかに記載の送信装置。
（６）上記構成情報には、
１つのピクチャに複数のビューのビデオストリームのデータがインターリーブされているか否かを示す情報が含まれている
前記（１）から（５）のいずれかに記載の送信装置。
（７）上記構成情報には、
ビュー割り当てを示す情報が含まれている
前記（１）から（６）のいずれかに記載の送信装置。
（８）上記識別情報には、
２次元画像表示に必須のビューのビデオストリームであるか否かを示す情報が含まれている
前記（１）から（７）のいずれかに記載の送信装置。
（９）上記構成情報には、
水平および／または垂直の所定の解像度に対する画素比率情報が含まれている
前記（１）から（８）のいずれかに記載の送信装置。
（１０）上記コンテナは、トランスポートストリームである
前記（１）から（９）のいずれかに記載の送信装置。
（１１）上記３次元画像表示用の複数のビューは、左眼ビューおよび右眼ビューの２つのビューである
前記（１）から（１０）のいずれかに記載の送信装置。
（１２）１つのビデオエレメンタリストリームに上記複数のビューのビデオストリームが挿入される場合、各ビューのビデオストリームの間にビュー間境界を示す情報が配置される
前記（１）から（１１）のいずれかに記載の送信装置。
（１３）２次元画像表示用の単一のビューのビデオストリームおよび３次元画像表示用の複数のビューのビデオストリームが時分割的に含まれる所定フォーマットのコンテナを送信する送信ステップと、
上記コンテナに、該コンテナに含まれる各ビューのビデオストリームの構成情報を挿入する構成情報挿入ステップとを備える
送信方法。
（１４）２次元画像表示用の単一のビューのビデオストリームおよび３次元画像表示用の複数のビューのビデオストリームが時分割的に含まれる所定フォーマットのコンテナを受信する受信部を備え、
上記コンテナには、該コンテナに含まれる各ビューのビデオストリームの構成情報が挿入されており、
上記コンテナから、上記構成情報に基づいて、各ビューのビデオストリームをデコードして画像データを取得する画像データ取得部をさらに備える
受信装置。
（１５）上記画像データ取得部は、イベント単位あるいは該イベント単位より細かい時間単位で挿入されている上記構成情報に基づいて、デコードバッファ領域を確保する
前記（１４）に記載の受信装置。
（１６）２次元画像表示用の単一のビューのビデオストリームおよび３次元画像表示用の複数のビューのビデオストリームが時分割的に含まれる所定フォーマットのコンテナを受信する受信ステップを備え、
上記コンテナには、該コンテナに含まれる各ビューのビデオストリームの構成情報が挿入されており、
上記コンテナから、上記構成情報に基づいて、各ビューのビデオストリームをデコードして画像データを取得する画像データ取得ステップをさらに備える
受信方法。
【０１６５】
本技術の主な特徴は、２Ｄサービス、３Ｄサービスにおける各ビューのビデオストリームをトランスポートストリーム等のコンテナで送信する際に、各ビューのビデオストリームの構成を示す構成情報を選択された所定のレイヤに挿入可能としたことで、受信側での適切かつ効率的な処理を可能としたことである（図５〜図７参照）。
【符号の説明】
【０１６６】
１０・・・画像送受信システム
１００・・・放送局
１１０・・・送信データ生成部
１１１・・・データ取り出し部
１１１ａ・・・データ記録媒体
１１２・・・ビデオエンコーダ
１１３・・・視差情報エンコーダ
１１４・・・オーディオエンコーダ
１１５・・・グラフィクス発生部
１１６・・・グラフィクスエンコーダ
１１７・・・マルチプレクサ
２００・・・受信機
２０１・・・ＣＰＵ
２０２・・・フラッシュＲＯＭ
２０３・・・ＤＲＡＭ
２０４・・・内部バス
２０５・・・リモコン受信部
２０６・・・リモコン送信機
２１１・・・アンテナ端子
２１２・・・デジタルチューナ
２１３・・・トランスポートストリームバッファ（ＴＳバッファ）
２１４・・・デマルチプレクサ
２１５・・・コーデッドバッファ
２１６ａ，２１６ｂ・・・ビデオデコーダ
２１７ａ，２１７ｂ・・・ビューバッファ
２１８ａ，２１８ｂ・・・スケーラ
２１９ａ，２１９ｂ・・・ビデオ重畳部
２２１・・・グラフィクスデコーダ
２２２・・・グラフィクス発生部
２２３・・・視差情報デコーダ
２２４ａ，２２４ｂ・・・グラフィクスバッファ
２２５・・・オーディオデコーダ
２２６・・・チャネル処理部
【特許請求の範囲】
【請求項１】
２次元画像表示用の単一のビューのビデオストリームおよび３次元画像表示用の複数のビューのビデオストリームが時分割的に含まれる所定フォーマットのコンテナを送信する送信部と、
上記コンテナに、該コンテナに含まれる各ビューのビデオストリームの構成情報を挿入する構成情報挿入部とを備える
送信装置。
【請求項２】
上記構成情報を挿入する単数あるいは複数のレイヤを選択する挿入レイヤ選択部をさらに備える
請求項１に記載の送信装置。
【請求項３】
上記構成情報の挿入レイヤの選択肢に、上記コンテナのレイヤおよび上記ビデオストリームのレイヤが含まれる
請求項２に記載の送信装置。
【請求項４】
上記構成情報には、
上記コンテナに含まれるビデオストリームが、上記２次元画像表示用の単一のビューのビデオストリームであるか、上記３次元画像表示用の複数のビューのビデオストリームであるかを識別する情報が含まれている
請求項１に記載の送信装置。
【請求項５】
上記構成情報には、
１つのビデオエレメンタリストリームに、上記複数のビューのビデオストリームが挿入されているか否かを示す情報が含まれている
請求項１に記載の送信装置。
【請求項６】
上記構成情報には、
１つのピクチャに複数のビューのビデオストリームのデータがインターリーブされているか否かを示す情報が含まれている
請求項１に記載の送信装置。
【請求項７】
上記構成情報には、
ビュー割り当てを示す情報が含まれている
請求項１に記載の送信装置。
【請求項８】
上記識別情報には、
２次元画像表示に必須のビューのビデオストリームであるか否かを示す情報が含まれている
請求項１に記載の送信装置。
【請求項９】
上記構成情報には、
水平および／または垂直の所定の解像度に対する画素比率情報が含まれている
請求項１に記載の送信装置。
【請求項１０】
上記コンテナは、トランスポートストリームである
請求項１に記載の送信装置。
【請求項１１】
上記３次元画像表示用の複数のビューは、左眼ビューおよび右眼ビューの２つのビューである
請求項１に記載の送信装置。
【請求項１２】
１つのビデオエレメンタリストリームに上記複数のビューのビデオストリームが挿入される場合、各ビューのビデオストリームの間にビュー間境界を示す情報が配置される
請求項１に記載の送信装置。
【請求項１３】
２次元画像表示用の単一のビューのビデオストリームおよび３次元画像表示用の複数のビューのビデオストリームが時分割的に含まれる所定フォーマットのコンテナを送信する送信ステップと、
上記コンテナに、該コンテナに含まれる各ビューのビデオストリームの構成情報を挿入する構成情報挿入ステップとを備える
送信方法。
【請求項１４】
２次元画像表示用の単一のビューのビデオストリームおよび３次元画像表示用の複数のビューのビデオストリームが時分割的に含まれる所定フォーマットのコンテナを受信する受信部を備え、
上記コンテナには、該コンテナに含まれる各ビューのビデオストリームの構成情報が挿入されており、
上記コンテナから、上記構成情報に基づいて、各ビューのビデオストリームをデコードして画像データを取得する画像データ取得部をさらに備える
受信装置。
【請求項１５】
上記画像データ取得部は、イベント単位あるいは該イベント単位より細かい時間単位で挿入されている上記構成情報に基づいて、デコードバッファ領域を確保する
請求項１４に記載の受信装置。
【請求項１６】
２次元画像表示用の単一のビューのビデオストリームおよび３次元画像表示用の複数のビューのビデオストリームが時分割的に含まれる所定フォーマットのコンテナを受信する受信ステップを備え、
上記コンテナには、該コンテナに含まれる各ビューのビデオストリームの構成情報が挿入されており、
上記コンテナから、上記構成情報に基づいて、各ビューのビデオストリームをデコードして画像データを取得する画像データ取得ステップをさらに備える
受信方法。
【請求項１】
２次元画像表示用の単一のビューのビデオストリームおよび３次元画像表示用の複数のビューのビデオストリームが時分割的に含まれる所定フォーマットのコンテナを送信する送信部と、
上記コンテナに、該コンテナに含まれる各ビューのビデオストリームの構成情報を挿入する構成情報挿入部とを備える
送信装置。
【請求項２】
上記構成情報を挿入する単数あるいは複数のレイヤを選択する挿入レイヤ選択部をさらに備える
請求項１に記載の送信装置。
【請求項３】
上記構成情報の挿入レイヤの選択肢に、上記コンテナのレイヤおよび上記ビデオストリームのレイヤが含まれる
請求項２に記載の送信装置。
【請求項４】
上記構成情報には、
上記コンテナに含まれるビデオストリームが、上記２次元画像表示用の単一のビューのビデオストリームであるか、上記３次元画像表示用の複数のビューのビデオストリームであるかを識別する情報が含まれている
請求項１に記載の送信装置。
【請求項５】
上記構成情報には、
１つのビデオエレメンタリストリームに、上記複数のビューのビデオストリームが挿入されているか否かを示す情報が含まれている
請求項１に記載の送信装置。
【請求項６】
上記構成情報には、
１つのピクチャに複数のビューのビデオストリームのデータがインターリーブされているか否かを示す情報が含まれている
請求項１に記載の送信装置。
【請求項７】
上記構成情報には、
ビュー割り当てを示す情報が含まれている
請求項１に記載の送信装置。
【請求項８】
上記識別情報には、
２次元画像表示に必須のビューのビデオストリームであるか否かを示す情報が含まれている
請求項１に記載の送信装置。
【請求項９】
上記構成情報には、
水平および／または垂直の所定の解像度に対する画素比率情報が含まれている
請求項１に記載の送信装置。
【請求項１０】
上記コンテナは、トランスポートストリームである
請求項１に記載の送信装置。
【請求項１１】
上記３次元画像表示用の複数のビューは、左眼ビューおよび右眼ビューの２つのビューである
請求項１に記載の送信装置。
【請求項１２】
１つのビデオエレメンタリストリームに上記複数のビューのビデオストリームが挿入される場合、各ビューのビデオストリームの間にビュー間境界を示す情報が配置される
請求項１に記載の送信装置。
【請求項１３】
２次元画像表示用の単一のビューのビデオストリームおよび３次元画像表示用の複数のビューのビデオストリームが時分割的に含まれる所定フォーマットのコンテナを送信する送信ステップと、
上記コンテナに、該コンテナに含まれる各ビューのビデオストリームの構成情報を挿入する構成情報挿入ステップとを備える
送信方法。
【請求項１４】
２次元画像表示用の単一のビューのビデオストリームおよび３次元画像表示用の複数のビューのビデオストリームが時分割的に含まれる所定フォーマットのコンテナを受信する受信部を備え、
上記コンテナには、該コンテナに含まれる各ビューのビデオストリームの構成情報が挿入されており、
上記コンテナから、上記構成情報に基づいて、各ビューのビデオストリームをデコードして画像データを取得する画像データ取得部をさらに備える
受信装置。
【請求項１５】
上記画像データ取得部は、イベント単位あるいは該イベント単位より細かい時間単位で挿入されている上記構成情報に基づいて、デコードバッファ領域を確保する
請求項１４に記載の受信装置。
【請求項１６】
２次元画像表示用の単一のビューのビデオストリームおよび３次元画像表示用の複数のビューのビデオストリームが時分割的に含まれる所定フォーマットのコンテナを受信する受信ステップを備え、
上記コンテナには、該コンテナに含まれる各ビューのビデオストリームの構成情報が挿入されており、
上記コンテナから、上記構成情報に基づいて、各ビューのビデオストリームをデコードして画像データを取得する画像データ取得ステップをさらに備える
受信方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１３−９００１６（Ｐ２０１３−９００１６Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２２６２８９（Ｐ２０１１−２２６２８９）
【出願日】平成２３年１０月１３日（２０１１．１０．１３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月１３日（２０１１．１０．１３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]