画像データ送信装置、画像データ送信方法および画像データ受信装置
【課題】ＭＶＣに対応する受信機が、配信内容の動的な変化に的確に対応し、正しいストリーム受信を行い得るようにする。
【解決手段】放送局１００は、第１のトランスポートストリームＴＳ１および第２のトランスポートストリームＴＳ２を時分割的に送信する。ＴＳ１は、ベースビューおよび所定数のノンベースビューのビデオエレメンタリストリームを含む。ＴＳ２は、２次元（２Ｄ）画像データのビデオエレメンタリストリームを含む。ＴＳ１に、ベースビューおよび所定数のノンベースビューを関連付けするストリーム関連付け情報を挿入する。受信機２００は、ストリーム関連付け情報に基づいて、ＴＳ１の送信されていることを認識する。また、ベースビューとノンベースビューの関連付けも知る。受信機２００は、ＴＳ１，ＴＳ２の動的な変化、つまり配信内容の動的な変化に的確に対応でき、正しいストリーム受信を行うことができる。
【解決手段】放送局１００は、第１のトランスポートストリームＴＳ１および第２のトランスポートストリームＴＳ２を時分割的に送信する。ＴＳ１は、ベースビューおよび所定数のノンベースビューのビデオエレメンタリストリームを含む。ＴＳ２は、２次元（２Ｄ）画像データのビデオエレメンタリストリームを含む。ＴＳ１に、ベースビューおよび所定数のノンベースビューを関連付けするストリーム関連付け情報を挿入する。受信機２００は、ストリーム関連付け情報に基づいて、ＴＳ１の送信されていることを認識する。また、ベースビューとノンベースビューの関連付けも知る。受信機２００は、ＴＳ１，ＴＳ２の動的な変化、つまり配信内容の動的な変化に的確に対応でき、正しいストリーム受信を行うことができる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像データ送信装置、画像データ送信方法および画像データ受信装置に関し、特に、立体画像データ、スケーラブル符号化画像データ等を送信する画像データ送信装置等に関する。
【背景技術】
【０００２】
従来、動画像の符号化方式として、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）が知られている（非特許文献１参照）。また、このＨ．２６４／ＡＶＣの拡張方式として, Ｈ．２６４／ＭＶＣ（Multi-view Video Coding）が知られている（非特許文献２参照）。ＭＶＣでは、マルチビューの画像データをまとめて符号化する仕組みが採用されている。ＭＶＣでは、マルチビュー画像データを、１個のベースビュー(base view)の画像データと、１個以上のノンベースビュー (non-baseview)の画像データとして符号化する。
【０００３】
なお、このＨ．２６４／ＡＶＣの拡張方式として、Ｈ．２６４／ＳＶＣ（Scalable
VideoCoding）も知られている（非特許文献３参照）。ＳＶＣは、画像を階層的に符号化する技術である。ＳＶＣでは、動画像を最低限の品質で復号化するのに必要な画像データを有する基本階層（最下位階層）と、この基本階層に付加することによって動画像の品質を高める画像データを有する拡張階層（上位階層）に分けられている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】「Draft Errata List with Revision-Marked Corrections for H.264/AVC」, JVT-1050, Thomas Wiegand et al., Joint Video Team (JVT) of ISO/IECMPEG & ITU-T VCEG, 2003
【非特許文献２】Joint Draft 4.0 on Multiview Video Coding, Joint Video Team ofISO/IEC MPEG & ITU-T VCEG,JVT-X209, July 2007
【非特許文献３】Heiko Schwarz, Detlev Marpe, and Thomas Wiegand,“Overview of the Scalable Video Coding Extension of the H.264/AVCStandard ”, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMSFOR VIDEO TECHNOLOGY, VOL.17, NO.9, SEPTEMBER 2007, pp.1103-1120.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ＡＶＣストリームとＭＶＣストリームとが、動的に切り替わる配信環境において、ＭＶＣに対応した受信機は、「Stream_Type=0x1B」のみのストリームか、「Stream_Type=0x1B」と「Stream_Type=0x20」の両方があるストリームかを判断して、受信モードの切換えを行うことが期待される。
【０００６】
通常のＡＶＣ（２Ｄ）のビデオエレメンタリストリームは、ＰＭＴ（Program Map Table）の「Stream_Type=0x1B」で送られる。また、ＭＶＣのベースビュー（Base view）のビデオエレメンタリストリーム（Base viewsub-bitstream）は、ＰＭＴの「Stream_Type=0x1B」で送られる場合がある。ＭＶＣの場合、ベースビューの画像データと、ノンベースビュー（Non base view）の画像データとがまとめて送られる場合がある。つまり、ベースビューの画像データと、ノンベースビューの画像データとが分かれて送られる場合には、ＭＶＣのベースビューのビデオエレメンタリストリーム（Base view sub-bitstream）は、ＰＭＴの「Stream_Type=0x1B」で送られることがある。
【０００７】
トランスポートストリーム（Transport Stream）の中のセクション（Section）部分には、ＰＳＩ（Program Specific Information）としてのＰＭＴのレベルで、ＡＶＣストリームであるかＭＶＣストリームであるかが分かる仕組みが提供されている。すなわち、ビデオエレメンタリストリームが「Stream_Type=0x1B」のみのときは、２ＤＡＶＣストリームであることが分かる。また、ビデオエレメンタリストリームが「Stream_Type=0x1B」と「Stream_Type=0x20」の両方があるときは、ＭＶＣストリームであることが分かる。
【０００８】
しかし、ＰＭＴというのは、送信側設備によっては、必ずしも動的に更新されない場合がある。その場合には、配信内容が立体（３Ｄ）画像から二次元（２Ｄ）画像に切り替わる際に、以下の不都合が考えられる。すなわち、受信機は、ストリームタイプ（Stream_Type）が「0x1B」のエレメンタリストリームと共に、ストリームタイプ（Stream_Type）が「0x20」のストリームも継続受信するものとして、そのデータを待ち続けることが考えられる。
【０００９】
配信内容が二次元（２Ｄ）画像に切り替わった後には、「0x20」のエレメンタリストリームは受信されないわけだが、受信機内部では、「0x20」のエレメンタリストリームがくるものとして、待ち続ける。その結果、正しいデコードに至らず、正常な表示ができなくなるおそれがある。このように、受信機が、ＰＭＴの［stream_type］の種類のみを当てにして自らのモードを決定した場合、そのモードが正しくなく、正しいストリーム受信でない可能性が出てくる。
【００１０】
また、既存の信号規格(ＭＰＥＧ)では、「Stream_Type=0x1B」のＭＶＣのベースビューのビデオエレメンタリストリーム（Base view sub-bitstream）には、ＰＭＴの記述子として、「MVC_extensiondescriptor」のデスクリプタを挿入することが必須とされている。このデスクリプタが存在すれば、ノンベースビューのビデオエレメンタリストリーム（Non-Base view sub-bitstream）の存在が分かる。
【００１１】
しかし、「Stream_Type=0x1B」が指す「Elementary PID」のビデオエレメンタリストリームは、上述のＭＶＣのベースビュー（Base view）のビデオエレメンタリストリーム
（Baseview sub-bitstream）であるとは限らない。従来のＡＶＣ（この場合、多くはHighProfile)のストリームである場合も考えられる。特に、既存の２Ｄ受信機との互換性を保証するために、立体（３Ｄ）画像データであるが、ベースビューのビデオエレメンタリストリームが、従来のＡＶＣ（２Ｄ）のビデオエレメンタリストリームそのままであることが推奨される場合がある。
【００１２】
この場合、立体画像データのストリームは、ＡＶＣ（２Ｄ）のビデオエレメンタリストリームと、ノンベースビューのビデオエレメンタリストリーム（Non-Base view sub-bitstream）とで構成される。その場合、「Stream_Type=0x1B」のビデオエレメンタリストリームには、「MVC_extension descriptor」の記述子は関連付けされない。そのため、ベースビューのビデオエレメンタリストリームに相当するＡＶＣ（２Ｄ）のビデオエレメンタリストリーム以外に、ノンベースビューのビデオエレメンタリストリーム（Non-Base view sub-bitstream）の存在が分からないことになる。
【００１３】
また、上述したように、ＡＶＣ（２Ｄ）ストリームとＭＶＣストリームとが、動的に切り替わる配信環境において、ＭＶＣに対応した受信機は、「Stream_Type=0x1B」のみのストリームか、「Stream_Type=0x1B」と「Stream_Type=0x20」の両方あるストリームかを判断して、受信モードの切換えを行うことが期待される。通常のＡＶＣ（２Ｄ）のビデオエレメンタリストリームは、ＰＭＴ（Program Map Table）の「Stream_Type=0x1B」で送られる。また、ＭＶＣのベースビュー（Base view）のビデオエレメンタリストリーム（Base viewsub-bitstream）は、ＰＭＴの「Stream_Type=0x1B」で送られる場合がある。
【００１４】
その際、１つのトランスポートストリーム（ＴＳ：Tranport Stream）の中に、複数のビデオエレメンタリストリームを多重化することが可能である。そして、そのうちの幾つかのビデオエレメンタリストリームで、立体画像データのストリームが構成される場合がある。例えば、１つのトランスポートストリームに、以下のようなビデオストリームが多重されている場合を考える。
PID0 (AVC 2D) stream_type = 0x1B
PID1 (AVC 3D Frame Compatible) stream_type = 0x1B
PID2 (MVC non-base substream) stream_type = 0x20
【００１５】
「PID0」のビデオエレメンタリストリームは、これ自体は従来の２次元（２Ｄ）画像データのストリームそのものである。このビデオエレメンタリストリームが、「PID2」のノンベースビューのビデオエレメンタリストリーム（Non-Base viewsub-bitstream）と共に、立体（３Ｄ）画像データのストリームを構成する。しかし、単に、「stream_type」だけで３Ｄ構成要素としてのビデオストリームを関連付けできるわけではない。すなわち、「stream_type=0x1B」は、「PID1」のビデオエレメンタリストリームにも当てはまるからである。なお、「AVC 3D Frame Compatible」は、サイドバイサイド方式やトップアンドボトム方式等の立体（３Ｄ）画像データを示している。
【００１６】
なお、上述では、ベースビューの画像データの符号化方式とノンベースビューの画像データの符号化方式がＭＰＥＧ４−ＡＶＣである例を示した。しかし、ベースビューの画像データの符号化方式とノンベースビューの画像データの符号化方式がＭＰＥＧ２ｖｉｄｅｏ方式等の他の符号化方式である場合、さらには、ベースビューの画像データの符号化方式とノンベースビューの画像データの符号化方式が同一ではなく、異なる場合も考えられる。
【００１７】
また、上述では、トランスポートストリームに含まれるエレメンタリストリームが立体（３Ｄ）画像データを構成しているか否かの判断が困難であること、さらには、トランスポートストリームに含まれるエレメンタリストリームのうち、立体（３Ｄ）画像データを構成するエレメンタリストリームがどれであるかの特定が困難であること等を説明した。詳細説明は省略するが、これらの不都合は、ＡＶＣストリームと上述のＳＶＣストリームとを時分割的に送信する場合にも生じる。
【００１８】
この発明の目的は、例えば、ＭＶＣあるいはＳＶＣ等に対応する受信機が、配信内容の動的な変化に的確に対応し、正しいストリーム受信を行い得るようにすることにある。
【課題を解決するための手段】
【００１９】
この発明の概念は、
第１の画像データと、該第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータを出力するデータ出力部と、
トランスポートストリームを送信するデータ送信部とを備え、
上記トランスポートストリームは、上記データ出力部から出力される第１の画像データを含む第１のエレメンタリストリームおよび上記データ出力部から出力される所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームをパケット化して得られた各パケットを有し、
上記データ送信部は、上記トランスポートストリームに、上記第１のエレメンタリストリームと上記所定数の第２のエレメンタリストリームとを関連付けるためのストリーム関連付け情報を挿入する
画像データ送信装置にある。
【００２０】
この発明において、データ出力部により、第１の画像データと、この第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータが出力される。例えば、第１の画像データは、立体（３Ｄ）画像データを構成するベースビューの画像データであり、第２の画像データは、立体画像（３Ｄ）データを構成するベースビュー以外のビュー（ノンベースビュー）の画像データである。この場合、例えば、第１の画像データは、ステレオ立体画像を得るための左眼および右眼の一方の画像データであり、第２の画像データは、ステレオ立体画像を得るための左眼および右眼の他方の画像データである。
【００２１】
また、例えば、メタデータは、立体画像データに対応した視差情報（視差ベクトル、奥行きデータなど）である。例えば、受信側においては、この視差情報を用い、受信画像データに補間処理（ポスト処理）を施して、所定数のビューの表示画像データを得ることが可能となる。また、例えば、第１の画像データは、スケーラブル符号化画像データを構成する最下位層の符号化画像データであり、第２の画像データは、スケーラブル符号化画像データを構成する最下位層以外の階層の符号化画像データである。
【００２２】
データ送信部により、トランスポートストリームが送信される。このトランスポートストリームは、第１の画像データを含む第１のエレメンタリストリームおよび所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームをパケット化して得られた各パケットを有している。この場合、所定数の第２の画像データのみが存在する状態、所定数のメタデータのみが存在する状態、さらには、第２の画像データおよびメタデータを合わせて所定数存在する状態などがある。
【００２３】
例えば、第１のエレメンタリストリームに含まれる第１の画像データの符号化方式と、所定数の第２のエレメンタリストリームに含まれる第２の画像データの符号化方式として、任意の符号化方式の組み合わせが可能とされる。例えば、符号化方式がＭＰＥＧ４−ＡＶＣのみである場合、符号化方式がＭＰＥＧ２ｖｉｄｅｏのみである場合、さらには、それらの符号化方式、さらには別な符号化方式の組み合わせである場合などが考えられる。
【００２４】
データ送信部により、トランスポートストリームに、第１のエレメンタリストリームと所定数の第２のビデオエレメンタリストリームとを関連付けるためのストリーム関連付け情報が挿入される。例えば、このストリーム関連付け情報は、第１のエレメンタリストリームのパケット識別子と、所定数の第２のエレメンタリストリームのパケット識別子とを関連付ける情報とされる。また、例えば、このストリーム関連付け情報は、第１のエレメンタリストリームのコンポーネント・タグと、所定数の第２のエレメンタリストリームのコンポーネント・タグとを関連付ける情報とされる。
【００２５】
この発明において、例えば、データ送信部は、ストリーム関連付け情報を、第１のエレメンタリストリームをパケット化して得られたパケット（ＰＥＳパケット）のプライベートデータ領域に挿入する、ようにされる。この場合、立体画像データのビュー数の変化、あるいはスケーラブル符号化画像データの階層数の変化を、ＰＥＳ単位で管理可能となる。
【００２６】
また、この発明において、例えば、トランスポートストリームには、イベント単位の管理を行うサービス・インフォメーションとしてのイベント・インフォメーション・テーブルが含まれており、データ送信部は、ストリーム関連付け情報を、イベント・インフォメーション・テーブルの配下に挿入する、ようにされる。この場合、立体画像データのビュー数の変化、あるいはスケーラブル符号化画像データの階層数の変化を、イベント単位で管理できる。
【００２７】
また、この発明において、例えば、トランスポートストリームには、このトランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを示すプログラム・スペシフィック・インフォメーションとしてのプログラム・マップ・テーブルが含まれており、データ送信部は、ストリーム関連付け情報を、プログラム・マップ・テーブルの配下に挿入する、ようにされる。
【００２８】
この場合、例えば、データ送信部は、ストリーム関連付け情報を、プログラム・マップ・テーブルのプログラム・デスクリプタとして挿入する、ようにされる。また、この場合、例えば、データ送信部は、ストリーム関連付け情報を、プログラム・マップ・テーブルのビデオエレメンタリ・ループの配下に挿入する、ようにされる。この場合、立体画像データのビュー数の変化、あるいはスケーラブル符号化画像データの階層数の変化を、プログラム（番組）単位で管理できる。
【００２９】
この発明において、例えば、ストリーム関連付け情報は、第１の画像データおよび第２の画像データの出力解像度の制御情報をさらに含む、ようにされてもよい。これにより、受信側においては、この制御情報に基づいて、第１の画像データおよび第２の画像データの出力解像度を所定解像度に調整することが可能となる。
【００３０】
また、この発明において、例えば、ストリーム関連付け情報は、所定数の第２の画像データのそれぞれに対して表示必須とするか否かを指定する制御情報をさらに含む、ようにされてもよい。これにより、受信側においては、この制御情報に基づいて、所定数の第２の画像データのどれが表示必須であるかを知ることができる。
【００３１】
また、この発明において、例えば、画像データ送信部は、トランスポートストリームに、Ｍ個（Ｍは２以上の整数）のストリーム関連付け情報を挿入し、このＭ個のストリーム関連付け情報は、第１のビデオエレメンタリストリームと、所定数の第２のビデオエレメンタリストリームをＭ組に分割して得られたそれぞれの組内の第２のビデオエレメンタリストリームとを関連付けする、ようにされる。このようにＭ個のストリーム関連付け情報を用いることで、例えば、ストリーム関連付け情報を、ＰＥＳパケットのプライベートデータ領域等の容量の少ない領域に挿入する場合にあっても、第１のビデオエレメンタリストリームに対して、多数の第２のビデオエレメンタリストリームを関連付けることが可能となる。
【００３２】
この発明においては、トランスポートストリームに、第１のエレメンタリストリームと、所定数の第２のエレメンタリストリームとを関連付けるためのストリーム関連付け情報が挿入される。そのため、受信側では、このストリーム関連付け情報に基づいて、例えば、このトランスポートストリームが立体（３Ｄ）画像データ、あるいはスケーラブル符号化画像データを含むものであるとの判断などが容易となる。また、受信側では、このトランスポートストリームにおいて、例えば、立体（３Ｄ）画像データ、あるいはスケーラブル符号化画像データを構成するエレメンタリストリームがどれであるかなどの特定が容易となる。そのため、受信側では、配信内容の動的な変化に的確に対応し、正しいストリーム受信を行い得る。
【００３３】
また、この発明の他の概念は、
少なくとも、第１のトランスポートストリームおよび第２のトランスポートストリームを時分割的に送信するデータ送信部を備え、
上記第１のトランスポートストリームは、第１の画像データを含む第１のエレメンタリストリームと上記第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームをパケット化して得られた各パケットを有し、さらに、上記第１のエレメンタリストリームと上記所定数の第２のエレメンタリストリームとを関連付けるためのストリーム関連付け情報を有し、
上記第２のトランスポートストリームは、第３の画像データを含む第３のエレメンタリストリームをパケット化して得られたパケットを有する
画像データ送信装置にある。
【００３４】
この発明において、データ送信部により、少なくとも、第１のトランスポートストリームおよび第２のトランスポートストリームが時分割的に送信される。第１のトランスポートストリームは、第１の画像データを含む第１のエレメンタリストリームおよび所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームをパケット化して得られた各パケットを有している。
【００３５】
この発明においては、第１のトランスポートストリームに、第１のエレメンタリストリームと所定数の第２のエレメンタリストリームとを関連付けるためのストリーム関連付け情報が挿入される。そのため、受信側では、このストリーム関連付け情報に基づいて、例えば、第１のトランスポートストリームであるか、第２のトランスポートストリームであるかの判断が容易となる。また、受信側では、このストリーム関連付け情報に基づいて、第１のトランスポートストリームにおいて、例えば、立体（３Ｄ）画像データ、あるいはスケーラブル符号化画像データを構成するエレメンタリストリームがどれであるかなどの特定が容易となる。つまり、受信側では、配信内容の動的な変化に的確に対応し、正しいストリーム受信を行い得る。
【００３６】
また、この発明の他の概念は、
少なくとも、第１のトランスポートストリームおよび第２のトランスポートストリームを時分割的に受信するデータ受信部と、
上記データ受信部で受信された上記第１のトランスポートストリームおよび上記第２のトランスポートストリームからデータを取得するデータ取得部とを備え、
上記第１のトランスポートストリームは、第１の画像データを含む第１のエレメンタリストリームと上記第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームをパケット化して得られた各パケットを有し、さらに、上記第１のエレメンタリストリームと上記所定数の第２のエレメンタリストリームとを関連付けるためのストリーム関連付け情報を有し、
上記第２のトランスポートストリームは、第３の画像データを含む第３のエレメンタリストリームをパケット化して得られたパケットを有し、
上記データ取得部は、
上記データ受信部で上記第１のトランスポートストリームを受信するとき、該第１のトランスポートストリームから上記第１の画像データを取得し、さらに、該第１のトランスポートストリームから、上記ストリーム関連付け情報に基づいて、上記所定数の第２の画像データおよび／またはメタデータを取得し、
上記画像データ受信部で上記第２のトランスポートストリームを受信するとき、該第２のトランスポートストリームから上記第３の画像データを取得する
画像データ受信装置にある。
【００３７】
この発明において、データ受信部により、少なくとも、第１のトランスポートストリームおよび第２のトランスポートストリームが時分割的に受信される。第１のトランスポートストリームは、第１の画像データを含む第１のエレメンタリストリームおよびこの第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームをパケット化して得られた各パケットを有している。また、第２のトランスポートストリームは、第３の画像データを含む第３のビデオエレメンタリストリームをパケット化して得られたパケットを有している。
【００３８】
例えば、第１の画像データは、立体（３Ｄ）画像データを構成するベースビューの画像データであり、第２の画像データは、立体画像（３Ｄ）データを構成するベースビュー以外のビュー（ノンベースビュー）の画像データである。そして、第３の画像データは、上述の第１の画像データに相当する、２次元（２Ｄ）画像データでる。
【００３９】
また、例えば、第１の画像データは、スケーラブル符号化画像データを構成する最下位層の符号化画像データであり、第２の画像データは、スケーラブル符号化画像データを構成する最下位層以外の階層の符号化画像データである。そして、第３の画像データは、上述の第１の画像データに相当する符号化画像データである。
【００４０】
また、第１のトランスポートストリームは、第１のエレメンタリストリームと所定数の第２のエレメンタリストリームとを関連付けるためのストリーム関連付け情報を有している。例えば、このストリーム関連付け情報は、第１のエレメンタリストリームのパケット識別子と、所定数の第２のビデオエレメンタリストリームのパケット識別子とを関連付ける情報とされる。また、例えば、このストリーム関連付け情報は、第１のビデオエレメンタリストリームのコンポーネント・タグと、所定数の第２のビデオエレメンタリストリームのコンポーネント・タグとを関連付ける情報とされる。
【００４１】
このストリーム関連付け情報は、例えば、第１のエレメンタリストリームをパケット化して得られたパケット（ＰＥＳパケット）のプライベートデータ領域に挿入されている。また、トランスポートストリームには、イベント単位の管理を行うサービス・インフォメーションとしてのイベント・インフォメーション・テーブルが含まれており、ストリーム関連付け情報は、例えば、イベント・インフォメーション・テーブルの配下に挿入されている。また、トランスポートストリームには、このトランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを示すプログラム・スペシフィック・インフォメーションとしてのプログラム・マップ・テーブルが含まれており、ストリーム関連付け情報は、例えば、プログラム・マップ・テーブルの配下に挿入されている。
【００４２】
データ取得部により、データ受信部で受信された第１のトランスポートストリームおよび第２のトランスポートストリームから画像データおよび／またはメタデータが取得される。この場合、第１のトランスポートストリームが受信されるとき、この第１のトランスポートストリームから第１の画像データが取得され、さらに、この第１のトランスポートストリームから、ストリーム関連付け情報に基づいて、所定数の第２の画像データおよび／またはメタデータが取得される。また、第２のトランスポートストリームが受信されるとき、この第２のトランスポートストリームから第３の画像データが取得される。
【００４３】
この発明においては、第１のトランスポートストリームに、第１のエレメンタリストリームと所定数の第２のエレメンタリストリームとを関連付けるためのストリーム関連付け情報が挿入されている。そのため、このストリーム関連付け情報に基づいて、例えば、第１のトランスポートストリームであるか、第２のトランスポートストリームであるかの判断が容易となる。また、このストリーム関連付け情報に基づいて、第１のトランスポートストリームにおいて、例えば、立体（３Ｄ）画像データ、あるいはスケーラブル符号化画像データを構成するエレメンタリストリームがどれであるかなどの特定が容易となる。そのため、配信内容の動的な変化に的確に対応し、各トランスポートストリームから画像データを的確に取得できる。
【００４４】
この発明において、例えば、重畳情報のデータを出力する重畳情報データ出力部と、データ取得部で取得された画像データに重畳情報データ出力部から出力される重畳情報のデータを重畳するデータ重畳部をさらに備え、データ受信部で第１のトランスポートストリームが受信されてデータ取得部で取得される第１の画像データは、立体画像データを構成するベースビューの画像データであり、データ受信部で第１のトランスポートストリームが受信されてデータ取得部で取得される所定数の第２の画像データは、立体画像データを構成するベースビュー以外の所定数のビューの画像データであり、データ受信部で第１のトランスポートストリームが受信されてデータ取得部で取得される第３の画像データは、２次元画像データであり、データ重畳部は、データ受信部で第１のトランスポートストリームが受信されるとき、データ取得部で取得される第１の画像データによる画像と所定数の第２の画像データによる画像との間の視差情報に基づいて、重畳情報データ出力部から出力される重畳情報のデータの重畳位置を調整し、この重畳位置が調整された重畳情報のデータを第１の画像データおよび所定数の第２の画像データに重畳し、データ受信部で第２のトランスポートストリームが受信されるとき、データ取得部で取得される第３の画像データに重畳情報データ出力部から出力される重畳情報のデータをそのまま重畳する、ようにされる。
【００４５】
この場合、立体画像データを構成する第１の画像データおよび所定数の第２の画像データに重畳される重畳情報のデータは、それぞれ、視差情報に基づいて重畳位置が調整されたものとなる。そのため、重畳情報の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。
【００４６】
また、この発明の他の概念は、
第１の画像データを含む第１のエレメンタリストリームと上記第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームをパケット化して得られた各パケットを有し、さらに、上記第１のエレメンタリストリームと上記所定数の第２のエレメンタリストリームとを関連付けるためのストリーム関連付け情報を有するトランスポートストリームを受信するデータ受信部と、
上記データ受信部で受信された上記トランスポートストリームから、上記第１の画像データを取得し、さらに、該第１のトランスポートストリームから、上記ストリーム関連付け情報に基づいて、上記所定数の第２の画像データおよび／またはメタデータを取得するデータ取得部と
を備える画像データ受信装置にある。
【００４７】
この発明において、データ受信部により、トランスポートストリームが受信される。このトランスポートストリームは、第１の画像データを含む第１のエレメンタリストリームおよびこの第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームをパケット化して得られた各パケットを有している。
【００４８】
また、トランスポートストリームは、第１のエレメンタリストリームと所定数の第２のエレメンタリストリームとを関連付けるためのストリーム関連付け情報を有している。例えば、このストリーム関連付け情報は、第１のエレメンタリストリームのパケット識別子と、所定数の第２のビデオエレメンタリストリームのパケット識別子とを関連付ける情報とされる。また、例えば、このストリーム関連付け情報は、第１のビデオエレメンタリストリームのコンポーネント・タグと、所定数の第２のビデオエレメンタリストリームのコンポーネント・タグとを関連付ける情報とされる。
【００４９】
データ取得部により、データ受信部で受信されたトランスポートストリームから画像データおよび／またはメタデータが取得される。この場合、このトランスポートストリームから第１の画像データが取得され、さらに、このトランスポートストリームから、ストリーム関連付け情報に基づいて、所定数の第２の画像データおよび／またはメタデータが取得される。
【００５０】
この発明においては、トランスポートストリームに、第１のエレメンタリストリームと所定数の第２のエレメンタリストリームとを関連付けるためのストリーム関連付け情報が挿入されている。そのため、このストリーム関連付け情報に基づいて、トランスポートストリームにおいて、例えば、立体（３Ｄ）画像データ、あるいはスケーラブル符号化画像データを構成するエレメンタリストリームがどれであるか等の特定が容易となり、的確な処理を行うことが可能となる。
【００５１】
この発明において、例えば、データ取得部で取得された第１の画像データおよび所定数の第２の画像データの出力解像度を調整する解像度調整部をさらに備える、ようにされてもよい。この場合、第１の画像データおよび所定数の第２の画像データの解像度が異なる場合であっても、解像度調整部によりそれらの出力解像度を合わせることが可能となる。
【００５２】
また、この発明において、例えば、ストリーム関連付け情報は、第１の画像データおよび第２の画像データの出力解像度の制御情報をさらに含み、解像度調整部は、このストリーム関連付け情報に含まれる出力解像度の制御情報に基づいて、第１の画像データおよび所定数の第２の画像データの出力解像度を調整し、出力同期を取って表示させる、ようにされてもよい。この場合、解像度調整部において、第１の画像データおよび所定数の第２の画像データの出力解像度を所定の解像度、例えば、いずれかの画像データをマスターとして、その解像度に合わせるように調整することが可能となる。
【００５３】
また、この発明において、例えば、データ取得部で取得された上記メタデータは、立体画像データに対応した視差情報であり、この視差情報を用い、データ取得部で取得された第１の画像データおよび第２の画像データに補間処理を施して、所定数のビューの表示画像データを得るポスト処理部をさらに備える、ようにされてもよい。
【発明の効果】
【００５４】
この発明によれば、第１の画像データを含む第１のエレメンタリストリームおよびこの第１の画像データに関連した第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームを含むトランスポートストリームに、それらのエレメンタリストリームを関連付けるためのストリーム関連付け情報を挿入するものである。
【００５５】
そのため、受信側では、このストリーム関連付け情報に基づいて、例えば、このトランスポートストリームが立体（３Ｄ）画像データ、あるいはスケーラブル符号化画像データを含むものであるとの判断などが容易となる。また、受信側では、このトランスポートストリームにおいて、例えば、立体（３Ｄ）画像データ、あるいはスケーラブル符号化画像データを構成するエレメンタリストリームがどれであるかなどの特定が容易となる。そのため、受信側では、配信内容の動的な変化に的確に対応し、正しいストリーム受信を行い得る。
【図面の簡単な説明】
【００５６】
【図１】この発明の第１の実施の形態としての画像送受信システムの構成例を示すブロック図である。
【図２】画像送受信システムを構成する放送局の送信データ生成部の構成例を示すブロック図である。
【図３】ビデオエレメンタリストリーム、グラフィクスエレメンタリストリーム、オーディオエレメンタリストリームを含む一般的なトランスポートストリームの構成例を示す図である。
【図４】ストリーム関連付け情報をベースビューのビデオエレメンタリストリームのＰＥＳパケットに挿入する第１の方法を採用した場合のトランスポートストリームの構成例を示す図である。
【図５】ストリーム関連付け情報「Stream_association Information」を含むストリーム・アソシエーション・データ「Stream_Association data」の構成例を示す図である。
【図６】ストリーム・アソシエーション・データ「Stream_Association data」内の各情報の内容を説明するための図である。
【図７】ストリーム関連付け情報「Stream_association Information」を含むストリーム・アソシエーション・データ「Stream_Association data」の他の構成例を示す図である。
【図８】ストリーム関連付け情報をＥＩＴの配下に挿入する第２の方法を採用した場合のトランスポートストリームの構成例を示す図である。
【図９】ストリーム関連付け情報「Stream_association Information」を含むストリーム・アソシエーション・デスクリプタ「Stream_Association_descriptor」の構成例を示す図である。
【図１０】ストリーム・アソシエーション・デスクリプタ「Stream_Association_descriptor」内の各情報の内容を説明するための図である。
【図１１】ストリーム関連付け情報「Stream_association Information」を含むストリーム・アソシエーション・デスクリプタ「Stream_Association_descriptor」の構成例を示す図である。
【図１２】ストリーム関連付け情報をＰＭＴのプログラム・デスクリプタとして挿入する第３の方法（１）を採用した場合のトランスポートストリームの構成例を示す図である。
【図１３】ストリーム関連付け情報をＰＭＴのビデオエレメンタリ・ループ（Video ES loop）の配下に挿入する第３の方法（２）を採用した場合のトランスポートストリームの構成例を示す図である。
【図１４】２次元（２Ｄ）画像データを含むトランスポートストリームの構成例を示す図である。
【図１５】画像送受信システムを構成する受信機の構成例を示すブロック図である。
【図１６】ストリーム関連付け情報ＳＡＩの有無に基づく、受信機のＣＰＵの制御処理手順を示すフローチャートである。
【図１７】受信機の各部が３Ｄ処理状態（立体（３Ｄ）画像データを含む第１のトランスポートストリームＴＳ１の受信処理状態）とされる場合の動作を説明するための図である。
【図１８】受信機の各部が２Ｄ処理状態（２次元（２Ｄ）画像データを含む第２のトランスポートストリームＴＳ２の受信処理状態）とされる場合の動作を説明するための図である。
【図１９】第１のトランスポートストリームＴＳ１と、第２のトランスポートストリームＴＳ２とが、交互に送られてくる場合の受信機の動作例を示す図である。
【図２０】第１のトランスポートストリームＴＳ１および第２のトランスポートストリームＴＳ２に関し、ビデオデコーダにおいてデコード対象となるアクセスユニットを説明するための図である。
【図２１】第１のトランスポートストリームＴＳ１および第２のトランスポートストリームＴＳ２に関し、ビデオデコーダにおいてデコード対象となるアクセスユニットを説明するための図である。
【図２２】トランスポートストリームにＭ個のストリーム関連付け情報を挿入する場合における、各ストリーム・アソシエーション・データ「Stream_Association data」の構成例を示す図である。
【図２３】ストリーム・アソシエーション・データ「Stream_Association data」内の各情報の内容を説明するための図である。
【図２４】トランスポートストリームにＭ個のストリーム関連付け情報を挿入する場合における、各ストリーム・アソシエーション・データ「Stream_Association data」の他の構成例を示す図である。
【図２５】トランスポートストリームの送信例（ストリーム関連付け情報ＳＡＩで関連付けされる各エレメンタリストリームの画像データの符号化方式が同一）を示す図である。
【図２６】トランスポートストリームの送信例（ストリーム関連付け情報ＳＡＩで関連付けされる各エレメンタリストリームの画像データの符号化方式が異なる）を示す図である。
【図２７】トランスポートストリームの送信例（ストリーム関連付け情報ＳＡＩで関連付けされる各エレメンタリストリームの画像データの符号化方式が異なる）を示す図である。
【図２８】トランスポートストリームの送信例（ストリーム関連付け情報ＳＡＩで関連付けされる各エレメンタリストリームの画像データの解像度が異なる）を示す図である。
【図２９】画像送受信システムを構成する受信機（解像度調整部を備える）の構成例を示すブロック図である。
【図３０】トランスポートストリームの送信例（ストリーム関連付け情報ＳＡＩで関連付けされるエレメンタリストリームにメタデータのエレメンタリストリームを含む）を示す図である。
【図３１】画像送受信システムを構成する受信機（ポスト処理部を備える）の構成例を示すブロック図である。
【図３２】トランスポートストリームにＭ個のストリーム関連付け情報を挿入する場合における、各ストリーム・アソシエーション・データ「Stream_Association data」の構成例を示す図である。
【図３３】ストリーム・アソシエーション・データ「Stream_Association data」内の各情報の内容を説明するための図である。
【図３４】ストリーム・アソシエーション・データ「Stream_Association data」内の各情報の内容を説明するための図である。
【図３５】トランスポートストリームにＭ個のストリーム関連付け情報を挿入する場合における、各ストリーム・アソシエーション・データ「Stream_Association data」の他の構成例を示す図である。
【発明を実施するための形態】
【００５７】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００５８】
＜１．実施の形態＞
［画像送受信システム］
図１は、実施の形態としての画像送受信システム１０の構成例を示している。この画像送受信システム１０は、放送局１００および受信機２００により構成されている。放送局１００は、トランスポートストリームを、放送波にのせて送信する。放送局１００は、少なくとも、第１のトランスポートストリームおよび第２のトランスポートストリームを時分割的に送信する。
【００５９】
第１のトランスポートストリームは、立体（３Ｄ）画像データを含むトランスポートストリームである。この第１のトランスポートストリームは、立体画像データを構成するベースビュー（Base view）の画像データを含むベースビューのビデオエレメンタリストリームを含んでいる。なお、このビデオエレメンタリストリーム（Base view sub-bitstream）の代わりに、ＡＶＣ（２Ｄ）のビデオエレメンタリストリームであってもよい。以下の説明では、単に、ベースビューのビデオエレメンタリストリームとして説明する。
【００６０】
また、この第１のトランスポートストリームは、所定数のノンベースビューのビデオエレメンタリストリーム（Non-Base view sub-bitstream）を含んでいる。各ノンベースビューのビデオエレメンタリストリームは、それぞれ、立体画像データを構成するノンベースビュー（Non base view）の画像データを含んでいる。実際、第１のトランスポートストリームは、ベースビューおよびノンベースビューのビデオエレメンタリストリームをパケット化して得られた各パケットを有している。このパケットは、ＰＥＳ（Packetized Elementary Stream）パケットである。
【００６１】
なお、ステレオ立体（３Ｄ）画像データの場合、立体画像データを構成するノンベースビューの画像データは１つである。すなわち、所定数は１である。この場合、ベースビューの画像データは左眼および右眼の一方の画像データであり、ノンベースビューの１つの画像データは左眼および右眼の他方の画像データである。
【００６２】
この第１のトランスポートストリームは、ベースビューのビデオエレメンタリストリームと、所定数のノンベースビューのビデオエレメンタリストリームとを関連付けするためのストリーム関連付け情報を有している。ストリーム関連付け情報の詳細説明は後述する。
【００６３】
また、第２のトランスポートストリームは、２次元（２Ｄ）画像データを含むトランスポートストリームである。この第２のトランスポートストリームは、例えば、２次元（２Ｄ）画像データのビデオエレメンタリストリーム、例えばＡＶＣ（２Ｄ）のビデオエレメンタリストリームを含んでいる。実際、第２のトランスポートストリームは、２次元画像データのエレメンタリストリームをパケット化して得られた各パケット（ＰＥＳパケット）を有している。
【００６４】
受信機２００は、放送局１００から放送波にのせて送られてくるトランスポートストリームを受信する。受信機２００は、受信されたトラスポートストリームから画像データを取得する。上述したように、放送局が第１のトランスポートストリームおよび第２のトランスポートストリームを時分割的に送信するとき、受信機２００は、第１のトランスポートストリームおよび第２のトランスポートストリームを時分割的に受信する。
【００６５】
受信機２００は、第１のトランスポートストリームを受信するとき、この第１のトランスポートストリームに含まれるベースビューのビデオエレメンタリストリームから、ベースビューの画像データを取得する。この第１のトランスポートストリームは、ストリーム関連付け情報を有している。このストリーム関連付け情報は、上述したように、ベースビューのビデオエレメンタリストリームと、所定数のノンベースビューのビデオエレメンタリストリームとを関連付けする情報である。
【００６６】
受信機２００は、この第１のトランスポートストリームを受信するとき、ストリーム関連付け情報に基づいて、第１のトランスポートストリームの受信であることを認識する。さらに、受信機２００は、このストリーム関連付け情報に基づいて、ベースビューのビデオエレメンタリストリームに関連付けられている所定数のノンベースビューのビデオエレメンタリストリームを認識する。そして、受信機２００は、この所定数のノンベースビューのビデオエレメンタリストリームから、所定数のノンベースビューの画像データを取得する。
【００６７】
また、受信機２００は、第２のトランスポートストリームを受信するとき、この第２のトランスポートストリームに含まれる２次元画像データのビデオエレメンタリストリームから、２次元画像データを取得する。この２次元画像データは、上述の立体画像データを構成するベースビューの画像データに相当する。
【００６８】
「送信データ生成部の構成例」
図２は、放送局１００において、上述した第１、第２のトランスポートストリームを生成する送信データ生成部１１０の構成例を示している。この送信データ生成部１１０は、データ取り出し部（アーカイブ部）１１１と、ビデオエンコーダ１１２と、視差情報エンコーダ１１３と、オーディオエンコーダ１１４を有している。また、この送信データ生成部１１０は、グラフィクス発生部１１５と、グラフィクスエンコーダ１１６と、マルチプレクサ１１７を有している。
【００６９】
データ取り出し部１１１には、データ記録媒体１１１ａが、例えば、着脱自在に装着される。このデータ記録媒体１１１ａには、第１、第２のトランスポートストリームで送信する所定番組の画像データと共に、この画像データに対応した音声データが記録されている。例えば、画像データは、番組に応じて、立体（３Ｄ）画像データあるいは二次元（２Ｄ）画像データに切り替わる。また、例えば、画像データは、番組内においても、本編やコマーシャルなどの内容に応じて、立体画像データあるいは二次元画像データに切り替わる。立体画像データは、ベースビューの画像データと、所定数のノンベースビューの画像データとからなっている。
【００７０】
画像データが立体画像データである場合、このデータ記録媒体１１１ａには、この立体画像データに対応して、視差情報も記録されている。この視差情報は、ベースビューと各ノンベースビューとの間の視差を示す視差ベクトル、あるいは奥行きデータ等である。奥行きデータは、所定の変換により視差ベクトルとして扱うことが可能となる。視差情報は、例えば、ピクセル（画素）毎の視差情報、あるいはビュー（画像）を所定数に分割して得られた各分割領域の視差情報などである。
【００７１】
例えば、この視差情報は、受信側において、ベースビューおよび各ノンベースビューの画像にそれぞれ重畳する同一の重畳情報（グラフィクス情報等）の位置を調整して視差を付与するために用いられる。また、例えば、この視差情報は、受信側において、ベースビューおよび各ノンベースビューの画像データに補間処理（ポスト処理）を施して所定数のビューの表示画像データを得るために用いられる。データ記録媒体１１１ａは、ディスク状記録媒体、半導体メモリ等である。データ取り出し部１１１は、データ記録媒体１１１ａから、画像データ、音声データ、視差情報等を取り出して出力する。
【００７２】
ビデオエンコーダ１１２は、データ取り出し部１１１から出力される画像データに対して、ＭＰＥＧ４−ＡＶＣの符号化を施して符号化ビデオデータを得る。また、このビデオエンコーダ１１２は、後段に備えるストリームフォーマッタ（図示せず）により、画像データが２次元画像データであるときは、この２次元画像データを含むビデオエレメンタリストリームを生成する。また、画像データが立体画像データであるときは、ベースビューの画像データを含むベースビューのビデオエレメンタリストリームを生成する。そして、画像データが立体画像データであるときは、さらに、所定数のノンベースビューの画像データをそれぞれ含む所定数のノンベースビューのビデオエレメンタリストリームを生成する。オーディオエンコーダ１１４は、データ取り出し部１１１から出力される音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化を施し、オーディオのエレメンタリストリームを生成する。
【００７３】
視差情報エンコーダ１１３は、データ取り出し部１１１から出力される視差情報に対して所定の符号化を施し、視差情報のエレメンタリストリームを生成する。なお、視差情報が、上述したようにピクセル（画素）毎の視差情報である場合、この視差情報を画素データのように取り扱うことができる。この場合、視差情報エンコーダ１１３は、視差情報に対して、上述した画像データと同様の符号化方式で符号化を施し、視差情報エレメンタリストリームを生成できる。なお、この場合、データ取り出し部１１１から出力される視差情報の符号化をビデオエンコーダ１１２で行う構成も考えられ、その場合には、視差情報エンコーダ１１３は不要となる。
【００７４】
グラフィクス発生部１１５は、画像に重畳するグラフィクス情報（サブタイトル情報も含む）のデータ（グラフィクスデータ）を発生する。グラフィクスエンコーダ１１６は、グラフィクス発生部１１５で発生されたグラフィクスデータを含むグラフィクスエレメンタリストリームを生成する。ここで、グラフィクス情報は、重畳情報を構成している。
【００７５】
グラフィクス情報は、例えば、ロゴなどである。サブタイトル情報は、例えば、字幕である。このグラフィクスデータは、ビットマップデータである。このグラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。このアイドリングオフセット情報は、例えば、画像の左上の原点から、グラフィクス情報の重畳位置の左上の画素までの垂直方向、水平方向のオフセット値を示す。なお、字幕データをビットマップデータとして伝送する規格は、ヨーロッパのデジタル放送規格であるＤＶＢで「DVB_Subtitling」として規格化され、運用されている。
【００７６】
マルチプレクサ１１７は、ビデオエンコーダ１１２、視差情報エンコーダ１１３、オーディオエンコーダ１１４およびグラフィクスエンコーダ１１６で生成された各エレメンタリストリームをパケット化して多重し、トランスポートストリームＴＳを生成する。このトランスポートストリームＴＳは、データ取り出し部１１１から立体（３Ｄ）画像データが出力される所定番組の期間、あるいは番組内の所定期間は、上述した第１のトランスポートストリームＴＳ１となる。
【００７７】
この第１のトランスポートストリームＴＳ１は、ビデオエレメンタリストリームとして、ベースビューのビデオエレメンタリストリームと、所定数のノンベースビューのビデオエレメンタリストリームとを含んでいる。マルチプレクサ１１７は、この第１のトランスポートストリームＴＳ１に、ベースビューのビデオエレメンタリストリームと所定数のノンベースビューのビデオエレメンタリストリームとを関連付けするためのストリーム関連付け情報を挿入する。これにより、この第１のトランスポートストリームＴＳ１は、ストリーム関連付け情報を有するものとなる。マルチプレクサ１１７におけるストリーム関連付け情報の挿入の詳細説明は後述する。
【００７８】
また、トランスポートストリームＴＳは、データ取り出し部１１１から二次元（２Ｄ）画像データが出力される所定番組の期間、あるいは番組内の所定期間は、上述した第２のトランスポートストリームＴＳ２となる。この第２のトランスポートストリームＴＳ２は、ビデオエレメンタリストリームとして、二次元画像データのビデオエレメンタリストリームを含んでいる。
【００７９】
図２に示す送信データ生成部１１０の動作を簡単に説明する。データ取り出し部１１１から出力される画像データ（立体画像データあるいは２次元画像データ）は、ビデオエンコーダ１１２に供給される。このビデオエンコーダ１１２では、その画像データに対してＭＰＥＧ４−ＡＶＣの符号化が施され、符号化ビデオデータを含むビデオエレメンタリストリームが生成される。
【００８０】
この場合、画像データが立体（３Ｄ）画像データ、つまりベースビューの画像データおよび所定数のノンベースビューの画像データであるときは、ベースビューのビデオエレメンタリストリームと、所定数のビデオエレメンタリストリームとが生成される。また、この場合、画像データが二次元（２Ｄ）画像データであるときは、二次元画像データを含むビデオエレメンタリストリームが生成される。このようにビデオエンコーダ１１２で生成されたビデオエレメンタリストリームは、マルチプレクサ１１７に供給される。
【００８１】
また、データ取り出し部１１１から立体画像データが出力されるとき、このデータ取り出し部１１１からその立体画像データに対応した視差情報も出力される。この視差情報は、視差情報エンコーダ１１３に供給される。視差情報エンコーダ１１３では、視差情報に対して所定の符号化が施され、符号化データを含む視差情報エレメンタリストリームが生成される。この視差情報エレメンタリストリームはマルチプレクサ１１７に供給される。
【００８２】
また、データ取り出し部１１１から画像データが出力されるとき、このデータ取り出し部１１１からその画像データに対応した音声データも出力される。この音声データは、オーディオエンコーダ１１４に供給される。このオーディオエンコーダ１１４では、音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化が施され、符号化オーディオデータを含むオーディオエレメンタリストリームが生成される。このオーディオエレメンタリストリームはマルチプレクサ１１７に供給される。
【００８３】
また、データ取り出し部１１１から出力される画像データに対応してグラフィクス発生部１１５では、画像（ビュー）に重畳するグラフィクス情報（サブタイトル情報を含む）のデータ（グラフィクスデータ）が発生される。このグラフィクスデータは、グラフィクスエンコーダ１１６に供給される。グラフィクスエンコーダ１１６では、このグラフィクスデータに対して所定の符号化が施され、符号化データを含むグラフィクスエレメンタリストリームが生成される。このグラフィクスエレメンタリストリームはマルチプレクサ１１７に供給される。
【００８４】
マルチプレクサ１１７では、各エンコーダから供給されるエレメンタリストリームがパケット化されて多重され、トランスポートストリームＴＳが生成される。この場合、データ取り出し部１１１から２次元（２Ｄ）画像データが出力される所定番組の期間、あるいは番組内の所定期間では、２次元画像データのビデオエレメンタリストリームが含まれる第２のトランスポートストリームＴＳ２が生成される。
【００８５】
データ取り出し部１１１から立体（３Ｄ）画像データが出力される所定番組の期間、あるいは番組内の所定期間では、ベースビューおよび所定数のノンベースビューのビデオエレメンタリストリームが含まれる第１のトランスポートストリームＴＳ１が生成される。そして、この第１のトランスポートストリームＴＳ１には、ベースビューのビデオエレメンタリストリームと所定数のノンベースビューのビデオエレメンタリストリームとを関連付けするためのストリーム関連付け情報を挿入される。
【００８６】
［ストリーム関連付け情報とその挿入］
上述したように、マルチプレクサ１１７は、第１のトランスポートストリームＴＳ１に、ストリーム関連付け情報を挿入する。つまり、マルチプレクサ１１７は、データ取り出し部１１１から立体（３Ｄ）画像データが供給されて第１のトランスポートストリームＴＳ１を生成する際に、この第１のトランスポートストリームＴＳ１にストリーム関連付け情報を挿入する。ストリーム関連付け情報は、受信側において、ストリームＴＳ１，ＴＳ２の動的な変化に的確に対応し、正しいストリーム受信が行われるように、例えば、以下の第１〜第３の方法で、挿入される。
【００８７】
「第１の方法」
マルチプレクサ１１７は、ストリーム関連付け情報を、ベースビューの画像データを含むベースビューのビデオエレメンタリストリームをパケット化して得られたパケット（ＰＥＳパケット）のプライベートデータ領域に挿入する。この場合、立体（３Ｄ）画像データのビュー数の変化、トランスポートストリームＴＳ１からトランスポートストリームＴＳ２への変化を、ＰＥＳ単位で管理可能となる。
【００８８】
図３は、ビデオエレメンタリストリーム、グラフィクスエレメンタリストリーム、オーディオエレメンタリストリームを含む一般的なトランスポートストリームの構成例を示している。トランスポートストリームには、各エレメンタリストリームをパケット化して得られたＰＥＳパケットが含まれている。この構成例では、２つのビデオエレメンタリストリームのＰＥＳパケット「Video PES1」、「Video PES2」が含まれている。また、この構成例では、グラフィクスエレメンタリストリームのＰＥＳパケット「Graphcs PES」およびオーディオエレメンタリストリームのＰＥＳパケット「AudioPES」が含まれている。
【００８９】
また、トランスポートストリームには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（ProgramMap Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(EventInformation Table)が含まれている。
【００９０】
ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・デスクリプタ（Program Descriptor）が存在する。また、このＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ、グラフィクスエレメンタリ・ループ、オーディオエレメンタリ・ループが存在する。各エレメンタリ・ループには、ストリーム毎に、コンポーネント・タグ（Component_tag）、パケット識別子（PID）、ストリームタイプ（Stream_Type）等の情報が配置されると共に、図示していないが、そのエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。
【００９１】
図４は、第１の方法を採用した場合のトランスポートストリームの構成例を示している。この構成例では、トランスポートストリームに、ベースビューのビデオエレメンタリストリーム（Stream_Type=0x1B）のＰＥＳパケット「Video PES1」が含まれている。また、この構成例では、トランスポートストリームに、ノンベースビューのビデオエレメンタリストリーム（Stream_Type=0x20）のＰＥＳパケット「Video PES2」が含まれている。なお、この構成例では、図面の簡単化のために、この第１の方法の説明に不必要なオーディオおよびグラフィクスなどに関しては、その図示を省略している。
【００９２】
この構成例では、ベースビューのエレメンタリストリームのＰＥＳパケット「Video PES1」のプライベートデータ領域に、ストリーム・アソシエーション・データ「Stream_Associationdata」が挿入されている。ＰＥＳパケットのプライベートデータ領域は、１２８ビットの固定長領域である。このストリーム・アソシエーション・データに、ストリーム関連付け情報「Stream_association Information」が含まれている。ここでは、ストリーム関連付け情報により、ベースビューのビデオエレメンタリストリーム（Stream_Type=0x1B）に、ノンベースビューのビデオエレメンタリストリーム（Stream_Type=0x20）が関連付けされる。
【００９３】
図５は、ストリーム・アソシエーション・データの構成例を示している。図６は、図５に示す構成における各情報の内容を示している。図５のデータ構成例は、パケット識別子（PID）によって関連付けする例である。「Stream_association_tag」は、データタイプを示す８ビットのデータであり、ここでは、ストリーム・アソシエーション・データであることを示す。「Stream_association_data_length」は、データの長さ（サイズ）を示す８ビットのデータである。このデータは、データの長さとして、「Stream_association_data_length」以降のバイト数を示す。
「stream_count_for_association」は、ベースビューに関連付けられるノンベースビューの個数を示す４ビットのデータであり、０〜１５の値をとる。ステレオ立体画像の場合、「stream_count_for_association=1」となる。「stream_count_for_association=0」は、ベースビューに関連付けられるノンベースビューが存在しないことを示す。「Elementary_PID_of_minimum_view_id」は、ベースビューのビデオエレメンタリストリームのパケット識別子（PID）を示す１３ビットのデータである。
【００９４】
そして、「Elementary_PID_of_minimum_view_id」に対して、「stream_count_for_association」が示す数だけ「Associated_stream_Elementary_PID」が存在する。この「Associated_stream_Elementary_PID」は、ベースビューのビデオエレメンタリストリームと関連付けられているノンベースビューのビデオエレメンタリストリームのパケット識別子「PID」を示す１３ビットのデータである。このように、図５のデータ構成例では、ストリーム関連付け情報は、ベースビューと所定数のノンベースビューのビデオエレメンタリストリームのパケット識別子を関連付けする情報となっている。
【００９５】
図７は、ストリーム・アソシエーション・データの他の構成例を示している。図６は、図７に示す構成における各情報の内容も示している。図７のデータ構成例は、コンポーネント・タグ（Component_tag）によって関連付けする例である。「Component_tag_minimum_view_id」は、図５のデータ構成例における「Elementary_PID_of_minimum_view_id」の代わりに配置されたデータである。このデータは、ベースビューのビデオエレメンタリストリームのコンポーネント・タグ（Component_tag）を示す８ビットのデータである。
【００９６】
そして、「Component_tag_minimum_view_id」に対して、「stream_count_for_association」が示す数だけ「Component_tag_Associated_stream」が存在する。この「Component_tag_Associated_stream」は、ベースビューのビデオエレメンタリストリームと関連付けられているノンベースビューのビデオエレメンタリストリームのコンポーネント・タグ（Component_tag）を示す８ビットのデータである。このように、図７のデータ構成例では、ストリーム関連付け情報は、ベースビューと所定数のノンベースビューのビデオエレメンタリストリームのコンポーネント・タグ（Component_tag）を関連付けする情報となっている。
【００９７】
「第２の方法」
上述したように、トランスポートストリームには、イベント単位の管理を行うＳＩとしてのＥＩＴが含まれている。マルチプレクサ１１７は、ストリーム関連付け情報を、このＥＩＴの配下に挿入する。この場合、立体（３Ｄ）画像データのビュー数の変化、トランスポートストリームＴＳ１からトランスポートストリームＴＳ２への変化を、イベント単位で管理できる。
【００９８】
図８は、第２の方法を採用した場合のトランスポートストリームの構成例を示している。この構成例では、トランスポートストリームに、ベースビューのビデオエレメンタリストリーム（Stream_Type=0x1B）のＰＥＳパケット「Video PES1」が含まれている。また、この構成例では、トランスポートストリームに、ノンベースビューのビデオエレメンタリストリーム（Stream_Type=0x20）のＰＥＳパケット「Video PES2」が含まれている。なお、この構成例では、図面の簡単化のために、この第２の方法の説明に不必要なオーディオおよびグラフィクスなどに関しては、その図示を省略している。
【００９９】
この構成例では、ＥＩＴの配下に、ストリーム・アソシエーション・デスクリプタ「Stream_Association_descriptor」が挿入されている。このストリーム・アソシエーション・デスクリプタに、ストリーム関連付け情報「Stream_Association Information」が含まれている。ここでは、ストリーム関連付け情報により、ベースビューのビデオエレメンタリストリーム（Stream_Type=0x1B）に、ノンベースビューのビデオエレメンタリストリーム（Stream_Type=0x20）が関連付けされる。
【０１００】
図９は、ストリーム・アソシエーション・デスクリプタの構成例を示している。図１０は、図９に示す構成における各情報の内容を示している。図９のデスクリプタ構成例は、パケット識別子（PID）によって関連付けする例である。「descriptor_tag」は、デスクリプタタイプを示す８ビットのデータであり、ここでは、ストリーム・アソシエーション・デスクリプタであることを示す。「descriptor _length」は、デスクリプタの長さ（サイズ）を示す８ビットのデータである。このデータは、デスクリプタの長さとして、「descriptor _length」以降のバイト数を示す。
「stream_count_for_association」は、ベースビューに関連付けられるノンベースビューの個数を示す４ビットのデータであり、０〜１５の値をとる。ステレオ立体画像の場合、「stream_count_for_association=1」となる。「stream_count_for_association=0」は、ベースビューに関連づけられるノンベースビューが存在しないことを示す。「Elementary_PID_of_minimum_view_id」は、ベースビューのビデオエレメンタリストリームのパケット識別子「PID」を示す１３ビットのデータである。
【０１０１】
そして、「Elementary_PID_of_minimum_view_id」に対して、「stream_count_for_association」が示す数だけ「Associated_stream_Elementary_PID」が存在する。この「Associated_stream_Elementary_PID」は、ベースビューのビデオエレメンタリストリームと関連付けられているノンベースビューのビデオエレメンタリストリームのパケット識別子「PID」を示す１３ビットのデータである。このように、図８のデスクリプタ構成例では、ストリーム関連付け情報は、ベースビューと所定数のノンベースビューのビデオエレメンタリストリームのパケット識別子を関連付けする情報となっている。
【０１０２】
図１１は、ストリーム・アソシエーション・データの他の構成例を示している。図１０は、図１１に示す構成における各情報の内容も示している。図１１のデスクリプタ構成例は、コンポーネント・タグ（Component_tag）によって関連付けする例である。「Component_tag_minimum_view_id」は、図９のデスクリプタ構成例における「Elementary_PID_of_minimum_view_id」の代わりに配置されたデータである。このデータは、ベースビューのビデオエレメンタリストリームのコンポーネント・タグ（Component_tag）を示す８ビットのデータである。
【０１０３】
そして、「Component_tag_minimum_view_id」に対して、「stream_count_for_association」が示す数だけ「Component_tag_Associated_stream」が存在する。この「Component_tag_Associated_stream」は、ベースビューのビデオエレメンタリストリームと関連付けられているノンベースビューのビデオエレメンタリストリームのコンポーネント・タグ（Component_tag）を示す８ビットのデータである。このように、図１１のデスクリプタ構成例では、ストリーム関連付け情報は、ベースビューと所定数のノンベースビューのビデオエレメンタリストリームのコンポーネント・タグ（Component_tag）を関連付けする情報となっている。
【０１０４】
「第３の方法」
上述したように、トランスポートストリームには、このトランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを示すＰＳＩとしてのＰＭＴが含まれている。マルチプレクサ１１７は、ストリーム関連付け情報を、このＰＭＴの配下に挿入する。この場合、立体（３Ｄ）画像データのビュー数の変化、トランスポートストリームＴＳ１からトランスポートストリームＴＳ２への変化を、プログラム（番組）単位で管理できる。
【０１０５】
ストリーム関連付け情報をＰＭＴの配下に挿入する例として、ストリーム関連付け情報をプログラム・デスクリプタとして挿入することが考えられる。図１２は、その場合のトランスポートストリームの構成例を示している。この構成例では、トランスポートストリームに、ベースビューのビデオエレメンタリストリーム（Stream_Type=0x1B）のＰＥＳパケット「Video PES1」が含まれている。また、この構成例では、トランスポートストリームに、ノンベースビューのビデオエレメンタリストリーム（Stream_Type=0x20）のＰＥＳパケット「Video PES2」が含まれている。なお、この構成例では、図面の簡単化のために、説明に不必要なオーディオおよびグラフィクスなどに関しては、その図示を省略している。
【０１０６】
この構成例では、ＰＭＴのプログラム・デスクリプタとして、ストリーム・アソシエーション・デスクリプタが挿入されている（図９、図１１参照）。このストリーム・アソシエーション・デスクリプタに、ストリーム関連付け情報「Stream_Association Information」が含まれている。ここでは、ストリーム関連付け情報により、ベースビューのビデオエレメンタリストリーム（Stream_Type=0x1B）に、ノンベースビューのビデオエレメンタリストリーム（Stream_Type=0x20）が関連付けされる。
【０１０７】
また、ストリーム関連付け情報をＰＭＴの配下に挿入する例として、ストリーム関連付け情報を、ＰＭＴのビデオエレメンタリ・ループ（Video ES loop）の配下に挿入することが考えられる。図１３は、その場合のトランスポートストリームの構成例を示している。この構成例では、トランスポートストリームに、ベースビューのビデオエレメンタリストリーム（Stream_Type=0x1B）のＰＥＳパケット「Video PES1」が含まれている。また、この構成例では、トランスポートストリームに、ノンベースビューのビデオエレメンタリストリーム（Stream_Type=0x20）のＰＥＳパケット「Video PES2」が含まれている。なお、この構成例では、図面の簡単化のために、説明に不必要なオーディオおよびグラフィクスなどに関しては、その図示を省略している。
【０１０８】
この構成例では、ＰＭＴのビデオエレメンタリ・ループ（Video ES loop）の、ベースビューのビデオエレメンタリストリームに関連する情報を記述するデスクリプタとして、ストリーム・アソシエーション・デスクリプタ（図９、図１１参照）が挿入されている。このストリーム・アソシエーション・デスクリプタに、ストリーム関連付け情報「Stream_Association Information」が含まれている。ここでは、ストリーム関連付け情報により、ベースビューのビデオエレメンタリストリーム（Stream_Type=0x1B）に、ノンベースビューのビデオエレメンタリストリーム（Stream_Type=0x20）が関連付けされる。
【０１０９】
なお、上述したように、マルチプレクサ１１７は、第１のトランスポートストリームＴＳ１に、ストリーム関連付け情報を挿入するが、第２のトランスポートストリームＴＳ２には、ストリーム関連付け情報を挿入しない。つまり、マルチプレクサ１１７は、第２のトランスポートストリームＴＳ２には、上述したストリーム・アソシエーション・データ（図５、図７参照）もストリーム・アソシエーション・デスクリプタ（図９、図１１参照）も挿入しない。
【０１１０】
図１４は、第２のトランスポートストリームの構成例を示している。この構成例では、トランスポートストリームに、二次元（２Ｄ）画像データを含むビデオエレメンタリストリーム（Stream_Type=0x1B）のＰＥＳパケット「Video PES1」が含まれている。なお、この構成例では、図面の簡単化のために、オーディオおよびグラフィクスなどに関しては、その図示を省略している。
【０１１１】
「受信機の構成例」
図１５は、受信機２００の構成例を示している。この受信機２００は、ＣＰＵ２０１と、フラッシュＲＯＭ２０２と、ＤＲＡＭ２０３と、内部バス２０４と、リモコン受信部２０５と、リモコン送信機２０６を有している。また、この受信機２００は、アンテナ端子２１１と、デジタルチューナ２１２と、トランスポートストリームバッファ（ＴＳバッファ）２１３と、デマルチプレクサ２１４を有している。
【０１１２】
また、受信機２００は、ビデオデコーダ２１５と、ビューバッファ２１６，２１６-1〜２１６-Nと、ビデオ重畳部２１７，２１７-1〜２１７-Nを有している。さらに、受信機２００は、グラフィクスデコーダ２１８と、グラフィクス発生部２１９と、視差情報デコーダ２２０と、グラフィクスバッファ２２１，２２１-1〜２２１-Nと、オーディオデコーダ２２２と、チャネル処理部２２３を有している。
【０１１３】
ＣＰＵ２０１は、受信機２００の各部の動作を制御する。フラッシュＲＯＭ２０２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２０３は、ＣＰＵ２０１のワークエリアを構成する。ＣＰＵ２０１は、フラッシュＲＯＭ２０２から読み出したソフトウェアやデータをＤＲＡＭ２０３上に展開してソフトウェアを起動させ、受信機２００の各部を制御する。リモコン受信部２０５は、リモコン送信機２０６から送信されたリモーコントロール信号（リモコンコード）を受信し、ＣＰＵ２０１に供給する。ＣＰＵ２０１は、このリモコンコードに基づいて、受信機２００の各部を制御する。ＣＰＵ２０１、フラッシュＲＯＭ２０２およびＤＲＡＭ２０３は内部バス２０４に接続されている。
【０１１４】
アンテナ端子２１１は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２１２は、アンテナ端子２１１に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のトランスポートストリーム（ビットストリームデータ）ＴＳを出力する。トランスポートストリームバッファ（ＴＳバッファ）２１３は、デジタルチューナ２１２から出力されたトランスポートストリームＴＳを一時的に蓄積する。
【０１１５】
このトランスポートストリームＴＳは、上述したように、第１のトランスポートストリームＴＳ１あるいは第２のトランスポートストリームＴＳ２である。第１のトランスポートストリームＴＳ１には、立体（３Ｄ）画像データのビデオエレメンタリストリームが含まれている。すなわち、この第１のトランスポートストリームＴＳ１には、ビデオエレメンタリストリームとして、ベースビューのビデオエレメンタリストリームと、所定数、ここではＮ個のノンベースビューのビデオエレメンタリストリームとが含まれている。
【０１１６】
また、第１のトランスポートストリームＴＳ１には、ベースビューおよびＮ個のノンベースビューのビデオエレメンタリストリームを関連付けるストリーム関連付け情報ＳＡＩ（Stream Association Information）が挿入されている。また、第１のトランスポートストリームＴＳ１には、グラフィクス、視差情報、オーディオの各エレメンタリストリームも含まれている。
【０１１７】
第２のトランスポートストリームＴＳ２には、ビデオエレメンタリストリームとして、二次元画像データのビデオエレメンタリストリームが含まれている。また、第２のトランスポートストリームＴＳ２には、グラフィクス、オーディオの各エレメンタリストリームも含まれている。
【０１１８】
デマルチプレクサ２１４は、ＴＳバッファ２１３に一時的に蓄積されたトランスポートストリームＴＳから、ビデオ、視差情報、グラフィクスおよびオーディオの各エレメンタリストリームを抽出する。視差情報エレメンタリストリームは、トランスポートストリームＴＳが立体（３Ｄ）画像データのビデオエレメンタリストリームが含まれている第１のトランスポートストリームＴＳ１である場合のみ抽出される。また、デマルチプレクサ２１４は、トランスポートストリームＴＳが、第１のトランスポートストリームＴＳ１であるとき、ストリーム関連付け情報ＳＡＩを抽出し、ＣＰＵ２０１に供給する。
【０１１９】
ＣＰＵ２０１は、ストリーム関連付け情報ＳＡＩの供給があるとき、デジタルチューナ２１２の出力トランスポートストリームＴＳは立体（３Ｄ）画像データが含まれている第１のトランスポートストリームＴＳ１であると認識する。そして、ＣＰＵ２０１は、受信機２００の各部を、第１のトランスポートストリームＴＳ１の受信処理状態（３Ｄ処理状態）とする。一方、ＣＰＵ２０１は、ストリーム関連付け情報ＳＡＩの供給がないとき、デジタルチューナ２１２の出力トランスポートストリームＴＳは２次元（２Ｄ）画像データが含まれている第２のトランスポートストリームＴＳ２であると認識する。そして、ＣＰＵ２０１は、受信機２００の各部を、この第２のトランスポートストリームＴＳ２の受信処理状態（２Ｄ処理状態）とする。
【０１２０】
図１６のフローチャートは、ＣＰＵ２０１の制御処理の手順を示している。ＣＰＵ２０１は、ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２の処理に移る。このステップＳＴ２において、ＣＰＵ２０１は、ストリーム関連付け情報ＳＡＩの供給があるか否かを判断する。ストリーム関連付け情報ＳＡＩの供給があるとき、ＣＰＵ２０１は、ステップＳＴ３において、受信機２００の各部を第１のトランスポートストリームＴＳ１の受信処理状態（３Ｄ処理状態）とし、その後に、ステップＳＴ２の処理に戻る。一方、ステップＳＴ２でＳＡＩの供給がないとき、ＣＰＵ２０１は、ステップＳＴ４において、受信機２００の各部を第２のトランスポートストリームＴＳ２の受信処理状態（２Ｄ処理状態）とし、その後に、ステップＳＴ２の処理に戻る。
【０１２１】
図１５に戻って、デマルチプレクサ２１４は、ＣＰＵ２０１の制御により、３Ｄ処理状態とされるとき、第１のトランスポートストリームＴＳ１から、ビデオエレメンタリストリームとして、ベースビューおよびＮ個のノンベースビューのストリームを抽出する。
【０１２２】
この場合、デマルチプレクサ２１４は、ストリームタイプ「Stream_Type」が「0x1B」であるビデオエレメンタリストリームをベースビューのビデオエレメンタリストリームとして抽出する。また、デマルチプレクサ２１４は、ベースビューと関連付けられているＮ個のノンベースビューのビデオエレメンタリストリームを抽出する。この場合、デマルチプレクサ２１４は、ストリーム関連付け情報ＳＡＩに含まれている、Ｎ個のノンベースビューのビデオエレメンタリストリームのパケット識別子（ＰＩＤ）を利用する。
【０１２３】
また、デマルチプレクサ２１４は、ＣＰＵ２０１の制御により、２Ｄ処理状態とされるとき、第２のトランスポートストリームＴＳ２から、ビデオエレメンタリストリームとして、２次元（２Ｄ）画像データのストリームを抽出する。この場合、デマルチプレクサ２１４は、ストリームタイプ「Stream_Type」が「0x1B」であるビデオエレメンタリストリームを抽出する。
【０１２４】
ビデオデコーダ２１５は、上述の送信データ生成部１１０のビデオエンコーダ１１２とは逆の処理を行う。すなわち、このビデオデコーダ２１５は、デマルチプレクサ２１４で抽出されたビデオエレメンタリストリームに含まれる符号化画像データに対して復号化処理を行って復号化された画像データを得る。
【０１２５】
ビデオデコーダ２１５は、ＣＰＵ２０１の制御により、３Ｄ処理状態とされるとき、デマルチプレクサ２１４で抽出されたベースビューのビデオエレメンタリストリームを処理してベースビューの画像データを取得する。また、ビデオデコーダ２１５は、ＣＰＵ２０１の制御により、３Ｄ処理状態とされるとき、デマルチプレクサ２１４で抽出されたＮ個のノンベースビューのビデオエレメンタリストリームを処理してＮ個のノンベースビューの画像データを取得する。
【０１２６】
また、ビデオデコーダ２１５は、ＣＰＵ２０１の制御により、２Ｄ処理状態とされるとき、デマルチプレクサ２１４で抽出された２次元画像データのビデオエレメンタリストリームを処理して２次元画像データを取得する。
【０１２７】
ビューバッファ（ビデオバッファ）２１６は、ＣＰＵ２０１の制御により、３Ｄ処理状態とされるとき、ビデオデコーダ２１５で取得されるベースビューの画像データを一時的に蓄積する。また、ビューバッファ２１６は、ＣＰＵ２０１の制御により、２Ｄ処理状態とされるとき、ビデオデコーダ２１５で取得される２次元画像データを一時的に蓄積する。また、ビューバッファ（ビデオバッファ）２１６-1〜２１６-Nは、ＣＰＵ２０１の制御により、３Ｄ処理状態とされるとき、ビデオデコーダ２１５で取得されるＮ個のノンベースビューの画像データをそれぞれ一時的に蓄積する。
【０１２８】
グラフィクスデコーダ２１８は、上述の送信データ生成部１１０のグラフィクスエンコーダ１１６とは逆の処理を行う。すなわち、グラフィクスデコーダ２１８は、デマルチプレクサ２１４で抽出されたグラフィクスエレメンタリストリームに含まれる符号化グラフィクスデータに対して復号化処理を行って復号化されたグラフィクスデータ（サブタイトルデータを含む）を得る。
【０１２９】
視差情報デコーダ２２０は、上述の送信データ生成部１１０の視差情報エンコーダ１１３とは逆の処理を行う。すなわち、視差情報デコーダ２２０は、デマルチプレクサ２１４で抽出された視差情報エレメンタリストリームに含まれる符号化視差情報に対して復号化処理を行って復号化された視差情報を得る。この視差情報は、ベースビューと各ノンベースビューとの間の視差を示す視差ベクトル、あるいは奥行きデータ等である。奥行きデータは、所定の変換により視差ベクトルとして扱うことが可能となる。視差情報は、例えば、ピクセル（画素）毎の視差情報、あるいはビュー（画像）を所定数に分割して得られた各分割領域の視差情報である。
【０１３０】
グラフィクス発生部２１９は、グラフィクスデコーダ２１８で得られたグラフィクスデータに基づいて、画像に重畳するグラフィクス情報のデータを発生する。グラフィクス発生部２１９は、ＣＰＵ２０１の制御により、３Ｄ処理状態とされるとき、各ビューの画像データにそれぞれ重畳するグラフィクス情報のデータを発生する。この場合、グラフィクス発生部２１９は、視差情報デコーダ２２０で得られる視差情報に基づいて、各ビューの画像に重畳するグラフィクス情報の重畳位置を調整し、それぞれに視差を付与する。また、グラフィクス発生部２１９は、ＣＰＵ２０１の制御により、２Ｄ処理状態とされるとき、２次元画像データに重畳するグラフィクス情報のデータを発生する。
【０１３１】
グラフィクスバッファ２２１は、ＣＰＵ２０１の制御により、３Ｄ処理状態とされるとき、グラフィクス発生部２１９で発生される、ベースビューの画像データに重畳するグラフィクス情報のデータを一時的に蓄積する。また、グラフィクスバッファ２２１は、ＣＰＵ２０１の制御により、２Ｄ処理状態とされるとき、グラフィクス発生部２１９で発生される、２次元画像データに重畳するグラフィクス情報のデータを一時的に蓄積する。また、グラフィクスバッファ２２１-1〜２２１-Nは、ＣＰＵ２０１の制御により、３Ｄ処理状態とされるとき、ビデオデコーダ２１５で取得されるＮ個のノンベースビューの画像データにそれぞれ重畳するグラフィクス情報のデータを一時的に蓄積する。
【０１３２】
ビデオ重畳部（ディスプレイバッファ）２１７は、ＣＰＵ２０１の制御により、３Ｄ処理状態とされるとき、グラフィクス情報が重畳されたベースビュー画像を表示するための画像データＢＶを出力する。このとき、ビデオ重畳部２１７は、ビューバッファ２１６に蓄積されたベースビューの画像データに、グラフィクスバッファ２２１に蓄積されたグラフィクス情報のデータを重畳して、画像データＢＶを得る。また、ビデオ重畳部２１７は、ＣＰＵ２０１の制御により、２Ｄ処理状態とされるとき、グラフィクス情報が重畳された２次元画像を表示するための画像データＳＶを出力する。このとき、ビデオ重畳部２１７は、ビューバッファ２１６に蓄積された２次元画像データに、グラフィクスバッファ２２１に蓄積されたグラフィクス情報のデータを重畳して、画像データＳＶを得る。
【０１３３】
また、ビデオ重畳部（ディスプレイバッファ）２１７-1〜２１７-Nは、ＣＰＵ２０１の制御により、３Ｄ処理状態とされるとき、グラフィクス情報が重畳されたＮ個のノンベースビュー画像をそれぞれ表示するための画像データＮＢ-1〜ＮＢ-Nを出力する。このとき、ビデオ重畳部２１７-1〜２１７-Nは、ビューバッファ２１６-1〜２１６-Nにそれぞれ蓄積されたベースビューの画像データに、グラフィクスバッファ２２１-1〜２２１-Nにそれぞれ蓄積されたグラフィクス情報のデータを重畳する。なお、タイムスタンプＰＴＳにより、ビューバッファ２１６，２１６-1〜２１６-Nからビデオ重畳部２１７，２１７-1〜２１７-Nへの転送同期が取られる。
【０１３４】
オーディオデコーダ２２２は、上述の送信データ生成部１１０のオーディオエンコーダ１１４とは逆の処理を行う。すなわち、このオーディオデコーダ２２２は、デマルチプレクサ２１４で抽出されたオーディオエレメンタリストリームに含まれる符号化音声データに対して復号化処理を行って復号化された音声データを得る。チャネル処理部２２３は、オーディオデコーダ２２２で得られる音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データＳＡを生成して出力する。
【０１３５】
受信機２００の動作を簡単に説明する。アンテナ端子２１１に入力されたテレビ放送信号はデジタルチューナ２１２に供給される。このデジタルチューナ２１２では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のトランスポートストリームＴＳが出力される。このトランスポートストリームＴＳは、ＴＳバッファ２１３に一時的に蓄積される。
【０１３６】
デマルチプレクサ２１４では、ＴＳバッファ２１３に一時的に蓄積されたトランスポートストリームＴＳから、ビデオ、視差情報、グラフィクスおよびオーディオの各エレメンタリストリームが抽出される。視差情報エレメンタリストリームは、トランスポートストリームＴＳが立体（３Ｄ）画像データのビデオエレメンタリストリームが含まれている第１のトランスポートストリームＴＳ１である場合のみ抽出される。また、デマルチプレクサ２１４では、トランスポートストリームＴＳが、第１のトランスポートストリームＴＳ１であるとき、ストリーム関連付け情報ＳＡＩが抽出され、ＣＰＵ２０１に供給する。
【０１３７】
ＣＰＵ２０１では、ストリーム関連付け情報ＳＡＩの供給があるとき、デジタルチューナ２１２の出力トランスポートストリームＴＳは立体（３Ｄ）画像データが含まれている第１のトランスポートストリームＴＳ１であると認識される。そして、ＣＰＵ２０１により、受信機２００の各部は、第１のトランスポートストリームＴＳ１の受信処理状態（３Ｄ処理状態）とされる。一方、ＣＰＵ２０１では、ストリーム関連付け情報ＳＡＩの供給がないとき、デジタルチューナ２１２の出力トランスポートストリームＴＳは２次元（２Ｄ）画像データが含まれている第２のトランスポートストリームＴＳ２であると認識される。そして、ＣＰＵ２０１により、受信機２００の各部は、第２のトランスポートストリームＴＳ２の受信処理状態（２Ｄ処理状態）とされる。
【０１３８】
以下、受信機２００の各部が、第１のトランスポートストリームＴＳ１の受信処理状態（３Ｄ処理状態）とされる場合について、図１７を参照して説明する。この図１７において、破線は、データ、情報あるいは信号の流れを示している。
【０１３９】
デマルチプレクサ２１４では、第１のトランスポートストリームＴＳ１から、ビデオエレメンタリストリームとして、ベースビューおよびＮ個のノンベースビューのビデオエレメンタリストリームが抽出される。これら各ビデオエレメンタリストリームは、ビデオデコーダ２１５に供給される。ビデオデコーダ２１５では、デマルチプレクサ２１４で抽出されたビデオエレメンタリストリームに含まれる符号化画像データに対して復号化処理が行われて、復号化された画像データが得られる。
【０１４０】
この場合、デマルチプレクサ２１４で抽出されたベースビューのビデオエレメンタリストリームが処理されて、ベースビューの画像データが取得される。このベースビューの画像データは、ビューバッファ２１６に一時的に蓄積される。また、デマルチプレクサ２１４で抽出されたＮ個のノンベースビューのビデオエレメンタリストリームが処理されて、Ｎ個のノンベースビューの画像データが取得される。このＮ個のノンベースビューの画像データは、それぞれ、Ｎ個のビューバッファ２１６-1〜２１６-Nに一時的に蓄積される。
【０１４１】
また、デマルチプレクサ２１４では、第１のトランスポートストリームＴＳ１から、グラフィクスエレメンタリストリームが抽出される。このグラフィクスエレメンタリストリームは、グラフィクスデコーダ２１８に供給される。このグラフィクスデコーダ２１８では、グラフィクスエレメンタリストリームに含まれる符号化グラフィクスデータに対して復号化処理が行われて、復号化されたグラフィクスデータ（サブタイトルデータを含む）が得られる。このグラフィクスデータは、グラフィクス発生部２１９に供給される。
【０１４２】
また、デマルチプレクサ２１４では、第１のトランスポートストリームＴＳ１から、視差情報エレメンタリストリームが抽出される。この視差情報エレメンタリストリームは、視差情報デコーダ２２０に供給される。この視差情報デコーダ２２０では、視差情報エレメンタリストリームに含まれる符号化視差情報に対して復号化処理が行われて、復号化された視差情報が得られる。この視差情報は、グラフィクス発生部２１９に供給される。
【０１４３】
グラフィクス発生部２１９では、グラフィクスデコーダ２１８で得られたグラフィクスデータに基づいて、画像に重畳するグラフィクス情報のデータが発生される。この場合、グラフィクス発生部２１９では、視差情報デコーダ２２０で得られる視差情報に基づいて、各ビューの画像に重畳するグラフィクス情報の重畳位置が調整されて、それぞれに視差が付与される。グラフィクスバッファ２２１では、グラフィクス発生部２１９で発生される、ベースビューの画像データに重畳するグラフィクス情報のデータが一時的に蓄積される。また、グラフィクスバッファ２２１-1〜２２１-Nでは、グラフィクス発生部２１９で発生される、Ｎ個のノンベースビューの画像データにそれぞれ重畳するグラフィクス情報のデータが一時的に蓄積される。
【０１４４】
ビデオ重畳部２１７では、ビューバッファ２１６に蓄積されたベースビューの画像データに、グラフィクスバッファ２２１に蓄積されたグラフィクス情報のデータが重畳されて、画像データＢＶが得られる。この画像データＢＶは、グラフィクス情報が重畳されたベースビュー画像を表示するための画像データとして出力される。また、ビデオ重畳部２１７-1〜２１７-Nでは、画像データＮＢ-1〜ＮＢ-Nが得られる。この場合、ビデオ重畳部２１７-1〜２１７-Nでは、ビューバッファ２１６-1〜２１６-Nに蓄積されたベースビューの画像データに、グラフィクスバッファ２２１-1〜２２１-Nに蓄積されたグラフィクス情報のデータが重畳される。この画像データＮＢ-1〜ＮＢ-Nは、グラフィクス情報が重畳されたＮ個のノンベースビュー画像を表示するための画像データとして出力される。
【０１４５】
次に、受信機２００の各部が、第２のトランスポートストリームＴＳ２の受信処理状態（２Ｄ処理状態）とされる場合について、図１８を参照して説明する。この図１８において、破線は、データ、情報あるいは信号の流れを示している。
【０１４６】
デマルチプレクサ２１４では、第２のトランスポートストリームＴＳ２から、ビデオエレメンタリストリームとして、２次元（２Ｄ）画像データを含むビデオエレメンタリストリームが抽出される。このビデオエレメンタリストリームは、ビデオデコーダ２１５に供給される。ビデオデコーダ２１５では、デマルチプレクサ２１４で抽出されたビデオエレメンタリストリームに含まれる符号化画像データに対して復号化処理が行われて、復号化された二次元（２Ｄ）画像データが得られる。この二次元画像データは、ビューバッファ２１６に一時的に蓄積される。
【０１４７】
また、デマルチプレクサ２１４では、第２のトランスポートストリームＴＳ２から、グラフィクスエレメンタリストリームが抽出される。このグラフィクスエレメンタリストリームは、グラフィクスデコーダ２１８に供給される。このグラフィクスデコーダ２１８では、グラフィクスエレメンタリストリームに含まれる符号化グラフィクスデータに対して復号化処理が行われて、復号化されたグラフィクスデータ（サブタイトルデータを含む）が得られる。このグラフィクスデータは、グラフィクス発生部２１９に供給される。
【０１４８】
グラフィクス発生部２１９では、グラフィクスデコーダ２１８で得られたグラフィクスデータに基づいて、画像に重畳するグラフィクス情報のデータが発生される。このグラフィクス情報のデータは、グラフィクスバッファ２２１に一時的に蓄積される。ビデオ重畳部２１７では、ビューバッファ２１６に蓄積された二次元（２Ｄ）画像データに、グラフィクスバッファ２２１に蓄積されたグラフィクス情報のデータが重畳されて、画像データＳＶが得られる。この画像データＳＶは、グラフィクス情報が重畳された二次元画像を表示するための画像データとして出力される。
【０１４９】
また、デマルチプレクサ２１４で抽出されたオーディオエレメンタリストリームは、オーディオデコーダ２２２に供給される。このオーディオデコーダ２２２では、オーディオエレメンタリストリームに含まれる符号化音声データに対して復号化処理が行われて、復号化された音声データが得られる。この音声データは、チャネル処理部２２３に供給される。チャネル処理部２２３では、その音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データＳＡが生成されて出力される。
【０１５０】
以上説明したように、図１に示す画像送受信システム１０において、放送局１００から送信される立体（３Ｄ）画像データを含む第１のトランスポートストリームＴＳ１には、ストリーム関連付け情報が挿入される。このストリーム関連付け情報により、ベースビューのビデオエレメンタリストリームと、所定数（Ｎ個）のノンベースビューのビデオエレメンタリストリームとが関連付けされている。
【０１５１】
そのため、受信機２００では、この第１のトランスポートストリームＴＳ１と、２次元（２Ｄ）画像データを含む第２のトランスポートストリームＴＳ２の動的な変化、つまり配信内容の動的な変化に的確に対応でき、正しいストリーム受信を行うことができる。図１９は、第１のトランスポートストリームＴＳ１と、第２のトランスポートストリームＴＳ２とが、交互に送られてくる場合の例を示している。
【０１５２】
ｔn-1の期間、第１のトランスポートストリームＴＳ１が送られてくる。この第１のトランスポートストリームＴＳ１には、ベースビューのビデオエレメンタリストリーム（Stream_Type=0x1B）と、ノンベースビューのビデオエレメンタリストリーム（Stream_Type=0x20）が含まれている。なお、ここでは、ベースビューのビデオエレメンタリストリームとして、ＡＶＣ（２Ｄ）のビデオエレメンタリストリームが使用されている例を示している。また、第１のトランスポートストリームＴＳ１には、ストリーム関連付け情報ＳＡＩ（Stream_Association Information）が含まれており、２つのビデオエレメンタリストリームが、パケット識別子（ＰＩＤ）で関連付けされている。
【０１５３】
そのため、受信機２００では、第１のトランスポートストリームＴＳ１が送られてきていることを容易に把握できる。また、受信機２００ではベースビューのビデオエレメンタリストリームに関連付けされているノンベースビューのビデオエレメンタリストリームを容易に把握できる。そのため、受信機２００は、このｔn-1の期間、立体（３Ｄ）画像データの受信状態となる。したがって、受信機２００では、この第１のトランスポートストリームＴＳ１の受信を正しく行うことができ、立体（３Ｄ）画像データを構成するベースビューおよびノンベースビューの画像データを取得できる。
【０１５４】
また、ｔn-1の期間に続くｔnの期間、第２のトランスポートストリームＴＳ２が送られてくる。この第２のトランスポートストリームＴＳ２には、ストリーム関連付け情報ＳＡＩが含まれていない。そのため、受信機２００では、第２のトランスポートストリームＴＳ２が送られてきていることを容易に把握でき、このｔn-1の期間、二次元（２Ｄ）画像データの受信状態となる。したがって、受信機２００では、この第２のトランスポートストリームＴＳ２の受信を正しく行うことができ、二次元（２Ｄ）画像データを取得できる。
【０１５５】
さらに、ｔnの期間に続くｔn+1の期間、第１のトランスポートストリームＴＳ１が送られてくる。このｔn+1の期間、上述のｔn-1の期間と同様に、受信機２００では、ストリーム関連付け情報ＳＡＩに基づいて、この第１のトランスポートストリームＴＳ１の受信を正しく行うことができ、立体（３Ｄ）画像データを取得できる。
【０１５６】
図２０、図２１は、図１９の第１のトランスポートストリームＴＳ１および第２のトランスポートストリームＴＳ２に関し、ビデオデコーダ２１５（図１５参照）においてデコード対象となるアクセスユニット（Access Unit）を示している。ストリーム関連付け情報ＳＡＩにより、ベースビューのエレメンタリストリームに関連付けされたノンビューのエレメンタリストリームが存在する場合は、供給されたストリームから、図２０で示すようなパケット(NAL パケット）を識別し、図２１のように、 ＭＶＣアクセスユニット（MVCAccess Unit）毎にデコード処理を進める。一方、二次元（２Ｄ）画像データのストリームのみ存在すると判断された場合は、図２１のＡＶＣアクセスユニット（AVC Access Unit）の部分のみでデコード処理を進める。
【０１５７】
なお、２Ｄと３Ｄとの変化点は、フレーム単位で送信側および受信側が同期することが要求される。ストリーム関連付け情報ＳＡＩの有無の変化に伴って、ビデオのシーケンスの先頭の情報を示すパケットにより切り換えるなどによって、上記要求を満足させることが可能である。
【０１５８】
また、図１に示す画像送受信システム１０において、受信機２００は、立体（３Ｄ）画像データを含む第１のトランスポートストリームＴＳ１が送られてくるとき、立体（３Ｄ）画像データの受信状態となる。そして、受信機２００のグラフィクス発生部２１９では、視差情報デコーダ２２０で得られる視差情報に基づいて、各ビューの画像に重畳するグラフィクス情報の重畳位置が調整され、それぞれに視差が付与される。そのため、グラフィクス情報の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。
【０１５９】
＜２．変形例＞
なお、上述実施の形態においては、第１のビデオエレメンタリストリームと所定数の第２のビデオエレメンタリストリームとの関連付けを、１個のストリーム関連付け情報を用いて行う例を示した。例えば、この１個のストリーム関連付け情報は、上述の図５、あるいは図７に構成例を示すストリーム・アソシエーション・データ「Stream_Association data」、に含まれる。また、例えば、この１個のストリーム関連付け情報は、上述の図９、あるいは図１１に構成例を示すストリーム・アソシエーション・デスクリプタ「Stream_Association_descriptor」に含まれる。
【０１６０】
このように１個のストリーム関連付け情報を用いる場合、例えば、ストリーム関連付け情報を、ＰＥＳパケットのプライベートデータ領域等の容量の少ない領域に挿入する場合には、以下のような不都合が発生する。すなわち、第１のビデオエレメンタリストリームに対して関連付けする第２のビデオエレメンタリストリームの数が少なく制限されることである。
【０１６１】
しかし、第１のビデオエレメンタリストリームに対して関連付けする第２のビデオエレメンタリストリームが多数となる場合も想定される。そこで、第１のビデオエレメンタリストリームと所定数の第２のビデオエレメンタリストリームとの関連付けを、Ｍ個（Ｍは２以上の整数）のストリーム関連付け情報を用いて行うことも考えられる。この場合、Ｍ個のストリーム関連付け情報は、第１のビデオエレメンタリストリームと、所定数の第２のビデオエレメンタリストリームをＭ組に分割して得られたそれぞれの組内の第２のビデオエレメンタリストリームとを関連付けする、ようにされる。
【０１６２】
このようにＭ個のストリーム関連付け情報を用いることで、例えば、ストリーム関連付け情報を、ＰＥＳパケットのプライベートデータ領域等の容量の少ない領域に挿入する場合にあっても、第１のビデオエレメンタリストリームに対して、多数の第２のビデオエレメンタリストリームを関連付けることが可能となる。
【０１６３】
図２２は、Ｍ個のストリーム関連付け情報を用いる場合において、ＰＥＳパケットのプライベート領域に挿入される、各ストリーム・アソシエーション・データ「Stream_Association data」の構成例を示している。図２３は、図２２に示す構成における各情報の内容を示している。図２２のデータ構成例は、パケット識別子（PID）によって関連付けする例である。「Stream_association_tag」は、データタイプを示す８ビットのデータであり、ここでは、ストリーム・アソシエーション・データであることを示す。「Stream_association_data_length」は、データの長さ（サイズ）を示す８ビットのデータである。このデータは、データの長さとして、「Stream_association_data_length」以降のバイト数を示す。
【０１６４】
「stream_association_number_minus1は、ストリーム・アソシエーション・データの個数を示す３ビットのデータである。ストリーム・アソシエーション・データの個数がＭであるときは、（Ｍ−１）の値に設定される。「stream_count_for_association」は、このストリーム・アソシエーション・データにおいて、ベースビューに関連付けられるノンベースビューの個数を示す４ビットのデータであり、０〜１５の値をとる。ステレオ立体画像の場合、「stream_count_for_association=1」となる。
【０１６５】
「stream_association_id」は、このストリーム・アソシエーション・データ、つまり自身を特定する識別情報としての３ビットのデータである。例えば、ベースビューと所定数のノンベースビューのビデオエレメンタリストリームを関連付けるために全部で２個のストリーム・アソシエーション・データが用いられる場合を考える。この場合、例えば、１番目のストリーム・アソシエーション・データにおいては「stream_association_id=0」とされ、２番目のストリーム・アソシエーション・データにおいては「stream_association_id=1」とされる。
【０１６６】
「Elementary_PID_of_minimum_view_id」は、ベースビューのビデオエレメンタリストリームのパケット識別子「PID」を示す１３ビットのデータである。この「Elementary_PID_of_minimum_view_id」に対して、「stream_count_for_association」が示す数だけ「Associated_stream_Elementary_PID」が存在する。この「Associated_stream_Elementary_PID」は、ベースビューのビデオエレメンタリストリームと関連付けられているノンベースビューのビデオエレメンタリストリームのパケット識別子「PID」を示す１３ビットのデータである。
【０１６７】
図２４は、ストリーム・アソシエーション・データの他の構成例を示している。図２３は、図２４に示す構成における各情報の内容も示している。図２４のデータ構成例は、コンポーネント・タグ（Component_tag）によって関連付けする例である。「Component_tag_minimum_view_id」は、図２２のデータ構成例における「Elementary_PID_of_minimum_view_id」の代わりに配置されたデータである。このデータは、ベースビューのビデオエレメンタリストリームのコンポーネント・タグ（Component_tag）を示す８ビットのデータである。
【０１６８】
そして、「Component_tag_minimum_view_id」に対して、「stream_count_for_association」が示す数だけ「Component_tag_Associated_stream」が存在する。この「Component_tag_Associated_stream」は、ベースビューのビデオエレメンタリストリームと関連付けられているノンベースビューのビデオエレメンタリストリームのコンポーネント・タグ（Component_tag）を示す８ビットのデータである。このように、図２４のデータ構成例では、ストリーム関連付け情報は、ベースビューと所定数のノンベースビューのビデオエレメンタリストリームのコンポーネント・タグ（Component_tag）を関連付けする情報となっている。
【０１６９】
なお、詳細説明は省略するが、ＥＩＴの配下等に挿入されるストリーム・アソシエーション・デスクリプタ「Stream_Association_descriptor」に関しても、図２２、あるいは図２４に示すストリーム・アソシエーション・データと同様に構成できる。
【０１７０】
なお、上述実施の形態においては、第１のビデオエレメンタリストリームに含まれるベースビューの画像データと、第２のビデオエレメンタリストリームに含まれるノンベースビューの画像データにＭＰＥＧ４−ＡＶＣの符号化が施されている。しかし、各画像データに施される符号化はＭＰＥＧ４−ＡＶＣに限定されるものではなく、その他の符号化の方式が施されてもよい。また、各画像データに施される符号化の方式は、同一である必要はなく、異なっていてもよい。
【０１７１】
図２５は、第１のトランスポートストリームＴＳ１と第２のトランスポートストリームＴＳ２とが交互に送信されるトランスポートストリームの送信例を示している。この送信例では、第１のトランスポートストリームＴＳ１に含まれ、ストリーム関連付け情報ＳＡＩで関連付けされる各エレメンタリストリームの画像データの符号化方式が同一とされている。
【０１７２】
第１のトランスポートストリームＴＳ１には、ベースビューおよびノンベースビューの２つのビデオエレメンタリストリームが含まれている。各ビデオエレメンタリストリームには、ＭＰＥＧ２ｖｉｄｅｏの符号化が施された各ビューの画像データが含まれており、ストリーム・タイプ（Stream_Type）は「0x02」である。
【０１７３】
また、第１のトランスポートストリームＴＳ１には、ストリーム関連付け情報ＳＡＩ（Stream_Association Information）が含まれている。このストリーム関連付け情報ＳＡＩにより、ベースビューおよびノンベースビューの２つのビデオエレメンタリストリームが、パケット識別子（ＰＩＤ）、あるいはコンポーネント・タグ(Component_tag)で関連付けされている。
【０１７４】
第２のトランスポートストリームＴＳ２には、２次元（２Ｄ）画像データのビデオエレメンタリストリームが含まれている。このビデオエレメンタリストリームには、上述したベースビューのビデオエレメンタリストリームと同様に、ＭＰＥＧ２ｖｉｄｅｏの符号化が施された２次元（２Ｄ）画像データが含まれており、ストリーム・タイプ（Stream_Type）は、「0x02」である。この第２のトランスポートストリームＴＳ２には、ストリーム関連付け情報ＳＡＩが含まれていない。
【０１７５】
図２６は、第１のトランスポートストリームＴＳ１と第２のトランスポートストリームＴＳ２とが交互に送信されるトランスポートストリームの他の送信例を示している。この送信例では、第１のトランスポートストリームＴＳ１に含まれ、ストリーム関連付け情報ＳＡＩで関連付けされる各エレメンタリストリームの画像データの符号化方式が異なるものとされている。
【０１７６】
第１のトランスポートストリームＴＳ１には、ベースビューおよびノンベースビューの２つのビデオエレメンタリストリームが含まれている。ベースビューのビデオエレメンタリストリームには、ＭＰＥＧ２ｖｉｄｅｏの符号化が施されたベースビューの画像データが含まれており、ストリーム・タイプ（Stream_Type）は「0x02」である。また、ノンベースビューのビデオエレメンタリストリームには、ＭＰＥＧ４−ＡＶＣの符号化が施されたノンベースビューの画像データが含まれており、ストリーム・タイプ（Stream_Type）は「0x1B」である。
【０１７７】
また、第１のトランスポートストリームＴＳ１には、ストリーム関連付け情報ＳＡＩ（Stream_Association Information）が含まれている。このストリーム関連付け情報ＳＡＩにより、ベースビューおよびノンベースビューの２つのビデオエレメンタリストリームが、パケット識別子（ＰＩＤ）、あるいはコンポーネント・タグ(Component_tag)で関連付けされている。
【０１７８】
第２のトランスポートストリームＴＳ２には、２次元（２Ｄ）画像データのビデオエレメンタリストリームが含まれている。このビデオエレメンタリストリームには、上述したベースビューのビデオエレメンタリストリームと同様に、ＭＰＥＧ２ｖｉｄｅｏの符号化が施された２次元（２Ｄ）画像データが含まれており、ストリーム・タイプ（Stream_Type）は、「0x02」である。この第２のトランスポートストリームＴＳ２には、ストリーム関連付け情報ＳＡＩが含まれていない。
【０１７９】
図２７は、第１のトランスポートストリームＴＳ１と第２のトランスポートストリームＴＳ２とが交互に送信されるトランスポートストリームのさらに他の送信例を示している。この送信例では、第１のトランスポートストリームＴＳ１に含まれ、ストリーム関連付け情報ＳＡＩで関連付けされる各エレメンタリストリームの画像データの符号化方式が異なるものとされている。
【０１８０】
第１のトランスポートストリームＴＳ１には、ベースビューおよびノンベースビューの２つのビデオエレメンタリストリームが含まれている。ベースビューのビデオエレメンタリストリームには、ＭＰＥＧ２ｖｉｄｅｏの符号化が施されたベースビューの画像データが含まれており、ストリーム・タイプ（Stream_Type）は「0x02」である。また、第１のノンベースビューのビデオエレメンタリストリームには、ＭＰＥＧ４−ＡＶＣの符号化が施されたノンベースビューの画像データが含まれており、ストリーム・タイプ（Stream_Type）は「0x1B」である。さらに、第２のノンベースビューのビデオエレメンタリストリームには、ＭＰＥＧ４−ＡＶＣの符号化が施されたノンベースビューの画像データが含まれており、ストリーム・タイプ（Stream_Type）は「0x20」である。
【０１８１】
また、第１のトランスポートストリームＴＳ１には、ストリーム関連付け情報ＳＡＩ（Stream_Association Information）が含まれている。このストリーム関連付け情報ＳＡＩにより、ベースビューおよびノンベースビューの３つのビデオエレメンタリストリームが、パケット識別子（ＰＩＤ）、あるいはコンポーネント・タグ(Component_tag)で関連付けされている。
【０１８２】
第２のトランスポートストリームＴＳ２には、２次元（２Ｄ）画像データのビデオエレメンタリストリームが含まれている。このビデオエレメンタリストリームには、上述したベースビューのビデオエレメンタリストリームと同様に、ＭＰＥＧ２ｖｉｄｅｏの符号化が施された２次元（２Ｄ）画像データが含まれており、ストリーム・タイプ（Stream_Type）は、「0x02」である。この第２のトランスポートストリームＴＳ２には、ストリーム関連付け情報ＳＡＩが含まれていない。
【０１８３】
受信機２００では、図２５、図２６、あるいは図２７に示すようなトラスポートストリームの送信例にあっても、第１のトランスポートストリームＴＳ１と第２のトランスポートストリームＴＳ２の動的な変化、つまり配信内容の動的な変化に的確に対応でき、正しいストリーム受信を行うことができる。
【０１８４】
すなわち、ｔn-1の期間、第１のトランスポートストリームＴＳ１が送られてくる。この第１のトランスポートストリームＴＳ１には、ストリーム関連付け情報ＳＡＩ（Stream_Association Information）が含まれており、２つ、あるいは３つのビデオエレメンタリストリームが、パケット識別子（ＰＩＤ）、あるいはコンポーネント・タグ(Component_tag)で関連付けされている。
【０１８５】
そのため、受信機２００では、第１のトランスポートストリームＴＳ１が送られてきていることを容易に把握できる。また、受信機２００ではベースビューのビデオエレメンタリストリームに関連付けされているノンベースビューのビデオエレメンタリストリームを容易に把握できる。受信機２００は、このｔn-1の期間、立体（３Ｄ）画像データの受信状態となる。したがって、受信機２００では、この第１のトランスポートストリームＴＳ１の受信を正しく行うことができ、立体（３Ｄ）画像データを構成するベースビューおよびノンベースビューの画像データを取得し、それらを、出力同期を取って表示できる。
【０１８６】
また、ｔn-1の期間に続くｔnの期間、第２のトランスポートストリームＴＳ２が送られてくる。この第２のトランスポートストリームＴＳ２には、ストリーム関連付け情報ＳＡＩが含まれていない。そのため、受信機２００では、第２のトランスポートストリームＴＳ２が送られてきていることを容易に把握でき、このｔn-1の期間、二次元（２Ｄ）画像データの受信状態となる。したがって、受信機２００では、この第２のトランスポートストリームＴＳ２の受信を正しく行うことができ、二次元（２Ｄ）画像データを取得できる。
【０１８７】
さらに、ｔnの期間に続くｔn+1の期間、第１のトランスポートストリームＴＳ１が送られてくる。このｔn+1の期間、上述のｔn-1の期間と同様に、受信機２００では、ストリーム関連付け情報ＳＡＩに基づいて、この第１のトランスポートストリームＴＳ１の受信を正しく行うことができ、立体（３Ｄ）画像データを構成するベースビューおよびノンベースビューの画像データを取得し、それらを、出力同期を取って表示できる。
【０１８８】
また、上述実施の形態においては、第１のビデオエレメンタリストリームに含まれるベースビューの画像データと、第２のビデオエレメンタリストリームに含まれるノンベースビューの画像データの解像度が同じであることを前提としている。しかし、各画像データの解像度は同じでなくてもよい。例えば、ベースビューの画像データの解像度が１９２０×１０８０、ノンベースビューの画像データの解像度が１２８０×７２０、あるいは他の解像度などである。
【０１８９】
図２８は、第１のトランスポートストリームＴＳ１と第２のトランスポートストリームＴＳ２とが交互に送信されるトランスポートストリームの送信例を示している。この送信例では、第１のトランスポートストリームＴＳ１に含まれ、ストリーム関連付け情報ＳＡＩで関連付けされる各エレメンタリストリームの画像データの解像度が異なるものとされている。
【０１９０】
第１のトランスポートストリームＴＳ１には、ベースビューおよびノンベースビューの２つのビデオエレメンタリストリームが含まれている。ベースビューのビデオエレメンタリストリームには、例えば、１９２０×１０８０の解像度の画像データが含まれており、ストリーム・タイプ（Stream_Type）は「0x02」、あるいは「0x1B」である。また、ノンベースビューのビデオエレメンタリストリームには、例えば、１２８０×７２０の解像度の画像データが含まれており、ストリーム・タイプ（Stream_Type）は「0x02」、あるいは「0x1B」である。
【０１９１】
また、第１のトランスポートストリームＴＳ１には、ストリーム関連付け情報ＳＡＩ（Stream_Association Information）が含まれている。このストリーム関連付け情報ＳＡＩにより、ベースビューおよびノンベースビューの２つのビデオエレメンタリストリームが、パケット識別子（ＰＩＤ）、あるいはコンポーネント・タグ(Component_tag)で関連付けされている。
【０１９２】
第２のトランスポートストリームＴＳ２には、２次元（２Ｄ）画像データのビデオエレメンタリストリームが含まれている。このビデオエレメンタリストリームには、上述したベースビューのビデオエレメンタリストリームと同様に、例えば、１９２０×１０８０の解像度の画像データが含まれており、ストリーム・タイプ（Stream_Type）は「0x02」、あるいは「0x1B」である。この第２のトランスポートストリームＴＳ２には、ストリーム関連付け情報ＳＡＩが含まれていない。
【０１９３】
受信側では、図２８に示すようなトラスポートストリームの送信例にあっても、第１のトランスポートストリームＴＳ１と第２のトランスポートストリームＴＳ２の動的な変化、つまり配信内容の動的な変化に的確に対応でき、正しいストリーム受信を行うことができる。
【０１９４】
すなわち、ｔn-1の期間、第１のトランスポートストリームＴＳ１が送られてくる。この第１のトランスポートストリームＴＳ１には、ストリーム関連付け情報ＳＡＩ（Stream_Association Information）が含まれており、２つのビデオエレメンタリストリームが、パケット識別子（ＰＩＤ）、あるいはコンポーネント・タグ(Component_tag)で関連付けされている。
【０１９５】
そのため、受信側では、第１のトランスポートストリームＴＳ１が送られてきていることを容易に把握できる。また、受信側ではベースビューのビデオエレメンタリストリームに関連付けされているノンベースビューのビデオエレメンタリストリームを容易に把握できる。受信側は、このｔn-1の期間、立体（３Ｄ）画像データの受信状態となる。したがって、受信側では、この第１のトランスポートストリームＴＳ１の受信を正しく行うことができ、立体（３Ｄ）画像データを構成するベースビューおよびノンベースビューの画像データを取得できる。
【０１９６】
また、ｔn-1の期間に続くｔnの期間、第２のトランスポートストリームＴＳ２が送られてくる。この第２のトランスポートストリームＴＳ２には、ストリーム関連付け情報ＳＡＩが含まれていない。そのため、受信側では、第２のトランスポートストリームＴＳ２が送られてきていることを容易に把握でき、このｔn-1の期間、二次元（２Ｄ）画像データの受信状態となる。したがって、受信側では、この第２のトランスポートストリームＴＳ２の受信を正しく行うことができ、二次元（２Ｄ）画像データを取得できる。
【０１９７】
さらに、ｔnの期間に続くｔn+1の期間、第１のトランスポートストリームＴＳ１が送られてくる。このｔn+1の期間、上述のｔn-1の期間と同様に、受信側では、ストリーム関連付け情報ＳＡＩに基づいて、この第１のトランスポートストリームＴＳ１の受信を正しく行うことができ、立体（３Ｄ）画像データを取得できる。
【０１９８】
ここで、受信側で取得される立体（３Ｄ）画像データは、解像度を異にするベースビューおよびノンベースビューの画像データから構成されている。受信側では、例えば、各画像データの出力解像度を等しくする解像度調整処理が行われてもよい。この場合、出力解像度は、例えば、ベースビューの画像データの解像度、あるいは受信側で予め設定された解像度に調整される。また、この場合、後述するように、ストリーム関連付け情報ＳＡＩに、出力解像度の制御情報が含まれている場合、例えば、所定のビデオエレメンタリストリームの画像データの解像度に調整される。
【０１９９】
図２９は、解像度調整部を備える受信機２００Ａの構成例を示している。この図２９において、図１５と対応する部分には同一符号を付し、その詳細説明は省略する。この受信機２００Ａは、ＣＰＵ２０１と、フラッシュＲＯＭ２０２と、ＤＲＡＭ２０３と、内部バス２０４と、リモコン受信部２０５と、リモコン送信機２０６を有している。また、この受信機２００は、アンテナ端子２１１と、デジタルチューナ２１２と、トランスポートストリームバッファ（ＴＳバッファ）２１３と、デマルチプレクサ２１４を有している。
【０２００】
また、受信機２００Ａは、ビデオデコーダ２１５と、ビューバッファ２１６，２１６-1〜２１６-Nと、スケーラ２２４，２２４-1〜２２４-Nと、ビデオ重畳部２１７，２１７-1〜２１７-Nを有している。さらに、受信機２００は、グラフィクスデコーダ２１８と、グラフィクス発生部２１９と、視差情報デコーダ２２０と、グラフィクスバッファ２２１，２２１-1〜２２１-Nと、オーディオデコーダ２２２と、チャネル処理部２２３を有している。
【０２０１】
スケーラ２２４，２２４-1〜２２４-Nは、ＣＰＵ２０１の制御のもと、ビューバッファ２１６，２１６-1〜２１６-Nから出力される各ビューの画像データの出力解像度が、所定の解像度となるように調整する。スケーラ２２４，２２４-1〜２２４-Nは、解像度調整部を構成している。ビデオ重畳部２１７，２１７-1〜２１７-Nには、解像度調整された各ビューの画像データが送られる。
【０２０２】
この場合、ＣＰＵ２０１は、ビデオデコーダ２１５から、各ビューの画像データの解像度情報を取得する。ＣＰＵ２０１は、各ビューの画像データの出力解像度が目標解像度となるように、各ビューの解像度情報に基づいて、スケーラ２２４，２２４-1〜２２４-Nのフィルタ設定を実行する。スケーラ２２４，２２４-1〜２２４-Nでは、入力画像データの解像度が目標解像度と異なるとき、補間処理により解像度変換が行われて、目標解像度の出力画像データが得られる。
【０２０３】
図２９に示す受信機２００Ａにおけるその他は、詳細説明は省略するが、図１５に示す受信機２００と同様に構成され、同様に動作する。
【０２０４】
また、上述実施の形態においては、ストリーム関連付け情報ＳＡＩにより、ベースビューおよび所定数のノンベースビューのビデオエレメンタリストリームを関連付けするものを示した。しかし、このストリーム関連付け情報ＳＡＩにより、例えば、ベースビューの画像データに関連するメタデータをも関連付けすることが考えられる。メタデータとしては、例えば視差情報（視差ベクトルあるいは奥行きデータ）などが考えられる。
【０２０５】
図３０は、第１のトランスポートストリームＴＳ１と第２のトランスポートストリームＴＳ２とが交互に送信されるトランスポートストリームの送信例を示している。この送信例では、第１のトランスポートストリームＴＳ１には、ベースビューおよびノンベースビューの２つのビデオエレメンタリストリームと、視差情報エレメンタリストリームが含まれている。
【０２０６】
ベースビューのビデオエレメンタリストリームには、例えば、ベースビューの画像データが含まれており、ストリーム・タイプ（Stream_Type）は「0x02」、あるいは「0x1B」である。また、ノンベースビューのビデオエレメンタリストリームには、ノンベースビューの画像データが含まれており、ストリーム・タイプ（Stream_Type）は「0x02」、あるいは「0x1B」である。さらに、視差情報エレメンタリストリームには、例えば、ピクセル（画素）毎の視差情報が含まれており、ストリーム・タイプ（Stream_Type）は「0xAB」である。
【０２０７】
また、第１のトランスポートストリームＴＳ１には、ストリーム関連付け情報ＳＡＩ（Stream_Association Information）が含まれている。このストリーム関連付け情報ＳＡＩにより、ベースビューおよびノンベースビューの２つのビデオエレメンタリストリームと共に視差情報エレメンタリストリームが、パケット識別子（ＰＩＤ）、あるいはコンポーネント・タグ(Component_tag)で関連付けされている。
【０２０８】
第２のトランスポートストリームＴＳ２には、２次元（２Ｄ）画像データのビデオエレメンタリストリームが含まれている。このビデオエレメンタリストリームには、上述したベースビューのビデオエレメンタリストリームと同様に、２次元（２Ｄ）画像データが含まれており、ストリーム・タイプ（Stream_Type）は「0x02」、あるいは「0x1B」である。この第２のトランスポートストリームＴＳ２には、ストリーム関連付け情報ＳＡＩが含まれていない。
【０２０９】
受信側では、図３０に示すようなトラスポートストリームの送信例にあっても、第１のトランスポートストリームＴＳ１と第２のトランスポートストリームＴＳ２の動的な変化、つまり配信内容の動的な変化に的確に対応でき、正しいストリーム受信を行うことができる。
【０２１０】
すなわち、ｔn-1の期間、第１のトランスポートストリームＴＳ１が送られてくる。この第１のトランスポートストリームＴＳ１には、ストリーム関連付け情報ＳＡＩ（Stream_Association Information）が含まれており、２つのビデオエレメンタリストリームと、１つの視差情報エレメンタリストリームが、パケット識別子（ＰＩＤ）、あるいはコンポーネント・タグ(Component_tag)で関連付けされている。
【０２１１】
そのため、受信側では、第１のトランスポートストリームＴＳ１が送られてきていることを容易に把握できる。また、受信側ではベースビューのビデオエレメンタリストリームに関連付けされているノンベースビューのビデオエレメンタリストリーム、さらには視差情報エレメンタリストリームを容易に把握できる。受信側は、このｔn-1の期間、立体（３Ｄ）画像データの受信状態となる。したがって、受信側では、この第１のトランスポートストリームＴＳ１の受信を正しく行うことができ、立体（３Ｄ）画像データを構成するベースビューおよびノンベースビューの画像データと、この立体画像データに対応したピクセル（画素）毎の視差情報を取得できる。
【０２１２】
また、ｔn-1の期間に続くｔnの期間、第２のトランスポートストリームＴＳ２が送られてくる。この第２のトランスポートストリームＴＳ２には、ストリーム関連付け情報ＳＡＩが含まれていない。そのため、受信側では、第２のトランスポートストリームＴＳ２が送られてきていることを容易に把握でき、このｔn-1の期間、二次元（２Ｄ）画像データの受信状態となる。したがって、受信側では、この第２のトランスポートストリームＴＳ２の受信を正しく行うことができ、二次元（２Ｄ）画像データを取得できる。
【０２１３】
さらに、ｔnの期間に続くｔn+1の期間、第１のトランスポートストリームＴＳ１が送られてくる。このｔn+1の期間、上述のｔn-1の期間と同様に、受信側では、ストリーム関連付け情報ＳＡＩに基づいて、この第１のトランスポートストリームＴＳ１の受信を正しく行うことができ、立体（３Ｄ）画像データおよびそれに対応した視差情報を取得できる。
【０２１４】
ここで、受信側では、立体（３Ｄ）画像データに対応した視差情報（ピクセル毎の視差情報）に基づいて、ベースビューおよびノンベースビューの画像データに補間処理（ポスト処理）を施して、所定数のビューの表示画像データを得ることが可能となる。
【０２１５】
図３１は、ポスト処理部を備える受信機２００Ｂの構成例を示している。この図３１において、図１５と対応する部分には同一符号を付し、その詳細説明は省略する。この受信機２００Ｂは、ＣＰＵ２０１と、フラッシュＲＯＭ２０２と、ＤＲＡＭ２０３と、内部バス２０４と、リモコン受信部２０５と、リモコン送信機２０６を有している。また、この受信機２００は、アンテナ端子２１１と、デジタルチューナ２１２と、トランスポートストリームバッファ（ＴＳバッファ）２１３と、デマルチプレクサ２１４を有している。
【０２１６】
また、受信機２００Ａは、ビデオデコーダ２１５と、ビューバッファ２１６，２１６-1〜２１６-Nと、ビデオ重畳部２１７，２１７-1〜２１７-Nと、メタデータバッファ２２５と、ポスト処理部２２６を有している。さらに、受信機２００は、グラフィクスデコーダ２１８と、グラフィクス発生部２１９と、視差情報デコーダ２２０と、グラフィクスバッファ２２１，２２１-1〜２２１-Nと、オーディオデコーダ２２２と、チャネル処理部２２３を有している。
【０２１７】
メタデータバッファ２２５は、ビデオデコーダ２１５で取得されるピクセル（画素）毎の視差情報を一時的に蓄積する。なお、視差情報がピクセル（画素）毎の視差情報である場合、この視差情報を画素データのように取り扱うことができる。ビデオデコーダ２１５でピクセル（画素）毎の視差情報が取得されるものにあっては、送信側において、視差情報に対して画像データと同様の符号化方式で符号化が施されて視差情報エレメンタリストリームが生成されている。
【０２１８】
ポスト処理部２２６は、メタデータバッファ２２５に蓄積されているピクセル（画素）毎の視差情報を用い、ビューバッファ２１６，２１６-1〜２１６-Nから出力される各ビューの画像データに補間処理（ポスト処理）を施して、所定数のビューの表示画像データDisplay View 1〜Display View Pを得る。
【０２１９】
図３１に示す受信機２００Ｂにおけるその他は、詳細説明は省略するが、図１５に示す受信機２００と同様に構成され、同様に動作する。
【０２２０】
また、上述実施の形態におけるストリーム関連付け情報ＳＡＩは、ベースビューおよびノンベースビュー等のエレメンタリストリームを関連付けるための情報（パケット識別子情報、コンポーネント・タグ情報）を含んでいる。しかし、このストリーム関連付け情報ＳＡＩに、さらに、他の情報を含めることも考えられる。例えば、ベースビューおよびノンベースビューの画像データの出力解像度の制御情報を含めることが考えられる。また、例えば、所定数のノンベースビューの画像データを表示必須とするか否かを指定する制御情報を含めることが考えられる。
【０２２１】
図３２は、Ｍ個のストリーム関連付け情報を用いる場合において、ＰＥＳパケットのプライベート領域に挿入される、各ストリーム・アソシエーション・データ「Stream_Association data」の構成例を示している。図３３、図３４は、図３２に示す構成における各情報の内容を示している。図３２のデータ構成例は、パケット識別子（PID）によって関連付けする例である。
【０２２２】
「Stream_association_tag」は、データタイプを示す８ビットのデータであり、ここでは、ストリーム・アソシエーション・データであることを示す。「Stream_association_data_length」は、データの長さ（サイズ）を示す８ビットのデータである。このデータは、データの長さとして、「Stream_association_data_length」以降のバイト数を示す。「stream_association_number」は、ストリーム・アソシエーション・データの個数を示す４ビットのデータであり、０〜１５の値をとる。ストリーム・アソシエーション・データの個数がＭであるときは、（Ｍ−１）の値に設定される。
【０２２３】
「stream_association_id」は、このストリーム・アソシエーション・データ、つまり自身を特定する識別情報としての４ビットのデータである。例えば、ベースビューと所定数のノンベースビューのビデオエレメンタリストリームを関連付けるために全部で２個のストリーム・アソシエーション・データが用いられる場合を考える。この場合、例えば、１番目のストリーム・アソシエーション・データにおいては「stream_association_id=0」とされ、２番目のストリーム・アソシエーション・データにおいては「stream_association_id=1」とされる。
【０２２４】
「stream_count_for_association」は、このストリーム・アソシエーション・データにおいて、ベースビューに関連付けられるノンベースビューの個数を示す４ビットのデータであり、０〜１５の値をとる。ステレオ立体画像の場合、「stream_count_for_association=1」となる。
【０２２５】
「indication_of_resolution_master」は、１ビットのフラグ情報である。このフラグ情報は、このストリーム・アソシエーション・データにおいてベースビューと関連付けられる所定数のノンベースビューのビデオエレメンタリストリームの中に、出力解像度の点でマスター（primary master）となるものがあるか否かを示す。“１”はノンベースビューのビデオエレメンタリストリームの中にマスターが存在することを示す。“０”はベースビューのビデオエレメンタリストリームがマスターであることを示し、受信（デコーダ）側は、このベースビューのビデオエレメンタリストリームに含まれる画像データの解像度を、各ビューの画像データの出力解像度の目標とする。
【０２２６】
「Elementary_PID_of_minimum_view_id」は、ベースビューのビデオエレメンタリストリームのパケット識別子「PID」を示す１３ビットのデータである。この「Elementary_PID_of_minimum_view_id」に対して、「stream_count_for_association」が示す数だけ「Associated_stream_Elementary_PID」が存在する。この「Associated_stream_Elementary_PID」は、ベースビューのビデオエレメンタリストリームと関連付けられているノンベースビューのビデオエレメンタリストリームのパケット識別子「PID」を示す１３ビットのデータである。
【０２２７】
「indication_of_selected_stream_display」は、１ビットのフラグ情報である。このフラグ情報は、このストリーム・アソシエーション・データにおいてベースビュー自体と、それに関連付けられる所定数のノンベースビューのビデオエレメンタリストリームの中で、デコードそして表示が必須であるものを示す。“１”はベースビューのビデオエレメンタリストリームとノンベースビューのビデオエレメンタリストリームのうちのいずれかが表示必須であることを示し、“０”はベースビューのビデオエレメンタリストリームとノンベースビューのビデオエレメンタリストリームの全てが表示必須であることを示す。“１”の場合、display_mandatory_flagでセットされたノンベースビューのビデオエレメンタリストリームはベースビューのビデオエレメンタリストリームと共に表示必須となる。
【０２２８】
また、「Elementary_PID_of_minimum_view_id」に対して、「stream_count_for_association」が示す数だけ、「display_mandatory_flag」および「resolution_master_flag」が存在する。「display_mandatory_flag」は、１ビットのフラグ情報である。この「display_mandatory_flag」は、このノンベースビューのビデオエレメンタリストリーム（画像データ）が表示必須であるか否かを示す。“１”は表示必須（mandatory）を示し、“０”は表示必須ではないことを示す。この「display_mandatory_flag」は、各ノンベースビューの画像データのそれぞれに対して表示必須か否かを指定する制御情報を構成している。
【０２２９】
例えば、左眼画像データを含むベースビューのビデオエレメンタリストリームに対して、右眼画像データを含むノンベースビューのビデオエレメンタリストリームが関連付けられている場合を考える。この場合、「indication_of_selected_stream_display」が“０”であるとき、受信（デコーダ）側は左眼画像データおよび右眼画像データの双方を表示画像データとして出力する。一方、「indication_of_selected_stream_display」が“１”であり、かつ、ノンベースビューの「display_mandatory_flag」が“０”のとき、ノンベースビューは表示が必須ではないので、受信（デコーダ）側は、左眼画像データあるいは右眼画像データのみ、あるいは左眼画像データおよび右眼画像データの双方を表示画像データとして出力する。
【０２３０】
「resolution_master_flag」は、１ビットのフラグ情報である。この「resolution_master_flag」は、このノンベースビューのビデオエレメンタリストリームが出力解像度の点でマスター（primary master）であるか否かを示す。“１”はマスターであることを示し、“０”はマスターではないことを示す。「resolution_master_flag」が“１”であってマスターであるとき、受信（デコーダ）側は、このノンベースビューのビデオエレメンタリストリームに含まれる画像データの解像度を、各ビューの画像データの出力解像度の目標とする。この「resolution_master_flag」は、上述の「indication_of_resolution_master」と共に、各ビューの画像データの出力解像度の制御情報を構成している。
【０２３１】
図３５は、ストリーム・アソシエーション・データの他の構成例を示している。図３３、図３４は、図３５に示す構成における各情報の内容も示している。図３５の構成例は、コンポーネント・タグ（Component_tag）によって関連付けする例である。「Component_tag_minimum_view_id」は、図３２のデータ構成例における「Elementary_PID_of_minimum_view_id」の代わりに配置されたデータである。このデータは、ベースビューのビデオエレメンタリストリームのコンポーネント・タグ（Component_tag）を示す８ビットのデータである。
【０２３２】
そして、「Component_tag_minimum_view_id」に対して、「stream_count_for_association」が示す数だけ「Component_tag_Associated_stream」等が存在する。この「Component_tag_Associated_stream」は、ベースビューのビデオエレメンタリストリームと関連付けられているノンベースビューのビデオエレメンタリストリームのコンポーネント・タグ（Component_tag）を示す８ビットのデータである。このように、図３５のデータ構成例では、ストリーム関連付け情報は、ベースビューと所定数のノンベースビューのビデオエレメンタリストリームのコンポーネント・タグ（Component_tag）を関連付けする情報となっている。
【０２３３】
なお、詳細説明は省略するが、ＥＩＴの配下等に挿入されるストリーム・アソシエーション・デスクリプタ「Stream_Association_descriptor」に関しても、図３２、あるいは図３５に示すストリーム・アソシエーション・データと同様に構成できる。
【０２３４】
また、上述実施の形態においては、立体（３Ｄ）画像データを含む第１のトランスポートストリームＴＳ１と、二次元（２Ｄ）画像データを含む第２のトランスポートストリームＴＳ２とが送信される例に着目した。しかし、この発明は、ＡＶＣストリームとＳＶＣストリームとの送信が行われる場合にも同様に適用できる。
【０２３５】
ＳＶＣストリームには、スケーラブル符号化画像データを構成する最下位層の符号化画像データのビデオエレメンタリストリームが含まれる。さらに、このＳＶＣストリームには、スケーラブル符号化画像データを構成する最下位層以外の所定数の上位階層の符号化画像データのビデオエレメンタリストリームが含まれる。このＳＶＣストリームに、上述のストリーム関連付け情報ＳＡＩと同様の情報を挿入することで、受信側では、ＡＶＣストリームとＳＶＣストリームの動的な変化、つまり配信内容の動的な変化に的確に対応でき、正しいストリーム受信を行うことが可能となる。
【０２３６】
また、上述実施の形態においては、トランスポートストリームＴＳを放送波にのせて配信する例を示したが、この発明は、このトランスポートストリームＴＳを、インターネット等のネットワークを通じて配信する場合にも同様に適用できる。一方で、トランスポートストリームＴＳ以外のコンテナファイルフォーマットにおけるインターネット配信の場合にも、上述の関連付けデータの構成は適用できる。
【産業上の利用可能性】
【０２３７】
この発明は、立体画像データ、スケーラブル符号化画像データ等を構成する複数の画像データのビデオエレメンタリストリームを含むＭＶＣ、ＳＶＣ等のトランスポートストリームの送受信を行う画像データ送受信システムに適用できる。
【符号の説明】
【０２３８】
１０・・・画像送受信システム
１００・・・放送局
１１０・・・送信データ生成部
１１１・・・データ取り出し部
１１１ａ・・・データ記録媒体
１１２・・・ビデオエンコーダ
１１３・・・視差情報エンコーダ
１１４・・・オーディオエンコーダ
１１５・・・グラフィクス発生部
１１６・・・グラフィクスエンコーダ
１１７・・・マルチプレクサ
２００，２００Ａ，２００Ｂ・・・受信機
２０１・・・ＣＰＵ
２１２・・・デジタルチューナ
２１３・・・トランスポートストリームバッファ（ＴＳバッファ）
２１４・・・デマルチプレクサ
２１５・・・ビデオデコーダ
２１６，２１６-1〜２１６-N・・・ビューバッファ
２１７，２１７-1〜２１７-N・・・ビデオ重畳部
２１８・・・グラフィクスデコーダ
２１９・・・グラフィクス発生部
２２０・・・視差情報デコーダ
２２１，２２１-1〜２２１-N・・・グラフィクスバッファ
２２２・・・オーディオデコーダ
２２３・・・チャネル処理部
２２４，２２４-1〜２２４-N・・・スケーラ
２２５・・・メタデータバッファ
２２６・・・ポスト処理部
【技術分野】
【０００１】
この発明は、画像データ送信装置、画像データ送信方法および画像データ受信装置に関し、特に、立体画像データ、スケーラブル符号化画像データ等を送信する画像データ送信装置等に関する。
【背景技術】
【０００２】
従来、動画像の符号化方式として、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）が知られている（非特許文献１参照）。また、このＨ．２６４／ＡＶＣの拡張方式として, Ｈ．２６４／ＭＶＣ（Multi-view Video Coding）が知られている（非特許文献２参照）。ＭＶＣでは、マルチビューの画像データをまとめて符号化する仕組みが採用されている。ＭＶＣでは、マルチビュー画像データを、１個のベースビュー(base view)の画像データと、１個以上のノンベースビュー (non-baseview)の画像データとして符号化する。
【０００３】
なお、このＨ．２６４／ＡＶＣの拡張方式として、Ｈ．２６４／ＳＶＣ（Scalable
VideoCoding）も知られている（非特許文献３参照）。ＳＶＣは、画像を階層的に符号化する技術である。ＳＶＣでは、動画像を最低限の品質で復号化するのに必要な画像データを有する基本階層（最下位階層）と、この基本階層に付加することによって動画像の品質を高める画像データを有する拡張階層（上位階層）に分けられている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】「Draft Errata List with Revision-Marked Corrections for H.264/AVC」, JVT-1050, Thomas Wiegand et al., Joint Video Team (JVT) of ISO/IECMPEG & ITU-T VCEG, 2003
【非特許文献２】Joint Draft 4.0 on Multiview Video Coding, Joint Video Team ofISO/IEC MPEG & ITU-T VCEG,JVT-X209, July 2007
【非特許文献３】Heiko Schwarz, Detlev Marpe, and Thomas Wiegand,“Overview of the Scalable Video Coding Extension of the H.264/AVCStandard ”, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMSFOR VIDEO TECHNOLOGY, VOL.17, NO.9, SEPTEMBER 2007, pp.1103-1120.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ＡＶＣストリームとＭＶＣストリームとが、動的に切り替わる配信環境において、ＭＶＣに対応した受信機は、「Stream_Type=0x1B」のみのストリームか、「Stream_Type=0x1B」と「Stream_Type=0x20」の両方があるストリームかを判断して、受信モードの切換えを行うことが期待される。
【０００６】
通常のＡＶＣ（２Ｄ）のビデオエレメンタリストリームは、ＰＭＴ（Program Map Table）の「Stream_Type=0x1B」で送られる。また、ＭＶＣのベースビュー（Base view）のビデオエレメンタリストリーム（Base viewsub-bitstream）は、ＰＭＴの「Stream_Type=0x1B」で送られる場合がある。ＭＶＣの場合、ベースビューの画像データと、ノンベースビュー（Non base view）の画像データとがまとめて送られる場合がある。つまり、ベースビューの画像データと、ノンベースビューの画像データとが分かれて送られる場合には、ＭＶＣのベースビューのビデオエレメンタリストリーム（Base view sub-bitstream）は、ＰＭＴの「Stream_Type=0x1B」で送られることがある。
【０００７】
トランスポートストリーム（Transport Stream）の中のセクション（Section）部分には、ＰＳＩ（Program Specific Information）としてのＰＭＴのレベルで、ＡＶＣストリームであるかＭＶＣストリームであるかが分かる仕組みが提供されている。すなわち、ビデオエレメンタリストリームが「Stream_Type=0x1B」のみのときは、２ＤＡＶＣストリームであることが分かる。また、ビデオエレメンタリストリームが「Stream_Type=0x1B」と「Stream_Type=0x20」の両方があるときは、ＭＶＣストリームであることが分かる。
【０００８】
しかし、ＰＭＴというのは、送信側設備によっては、必ずしも動的に更新されない場合がある。その場合には、配信内容が立体（３Ｄ）画像から二次元（２Ｄ）画像に切り替わる際に、以下の不都合が考えられる。すなわち、受信機は、ストリームタイプ（Stream_Type）が「0x1B」のエレメンタリストリームと共に、ストリームタイプ（Stream_Type）が「0x20」のストリームも継続受信するものとして、そのデータを待ち続けることが考えられる。
【０００９】
配信内容が二次元（２Ｄ）画像に切り替わった後には、「0x20」のエレメンタリストリームは受信されないわけだが、受信機内部では、「0x20」のエレメンタリストリームがくるものとして、待ち続ける。その結果、正しいデコードに至らず、正常な表示ができなくなるおそれがある。このように、受信機が、ＰＭＴの［stream_type］の種類のみを当てにして自らのモードを決定した場合、そのモードが正しくなく、正しいストリーム受信でない可能性が出てくる。
【００１０】
また、既存の信号規格(ＭＰＥＧ)では、「Stream_Type=0x1B」のＭＶＣのベースビューのビデオエレメンタリストリーム（Base view sub-bitstream）には、ＰＭＴの記述子として、「MVC_extensiondescriptor」のデスクリプタを挿入することが必須とされている。このデスクリプタが存在すれば、ノンベースビューのビデオエレメンタリストリーム（Non-Base view sub-bitstream）の存在が分かる。
【００１１】
しかし、「Stream_Type=0x1B」が指す「Elementary PID」のビデオエレメンタリストリームは、上述のＭＶＣのベースビュー（Base view）のビデオエレメンタリストリーム
（Baseview sub-bitstream）であるとは限らない。従来のＡＶＣ（この場合、多くはHighProfile)のストリームである場合も考えられる。特に、既存の２Ｄ受信機との互換性を保証するために、立体（３Ｄ）画像データであるが、ベースビューのビデオエレメンタリストリームが、従来のＡＶＣ（２Ｄ）のビデオエレメンタリストリームそのままであることが推奨される場合がある。
【００１２】
この場合、立体画像データのストリームは、ＡＶＣ（２Ｄ）のビデオエレメンタリストリームと、ノンベースビューのビデオエレメンタリストリーム（Non-Base view sub-bitstream）とで構成される。その場合、「Stream_Type=0x1B」のビデオエレメンタリストリームには、「MVC_extension descriptor」の記述子は関連付けされない。そのため、ベースビューのビデオエレメンタリストリームに相当するＡＶＣ（２Ｄ）のビデオエレメンタリストリーム以外に、ノンベースビューのビデオエレメンタリストリーム（Non-Base view sub-bitstream）の存在が分からないことになる。
【００１３】
また、上述したように、ＡＶＣ（２Ｄ）ストリームとＭＶＣストリームとが、動的に切り替わる配信環境において、ＭＶＣに対応した受信機は、「Stream_Type=0x1B」のみのストリームか、「Stream_Type=0x1B」と「Stream_Type=0x20」の両方あるストリームかを判断して、受信モードの切換えを行うことが期待される。通常のＡＶＣ（２Ｄ）のビデオエレメンタリストリームは、ＰＭＴ（Program Map Table）の「Stream_Type=0x1B」で送られる。また、ＭＶＣのベースビュー（Base view）のビデオエレメンタリストリーム（Base viewsub-bitstream）は、ＰＭＴの「Stream_Type=0x1B」で送られる場合がある。
【００１４】
その際、１つのトランスポートストリーム（ＴＳ：Tranport Stream）の中に、複数のビデオエレメンタリストリームを多重化することが可能である。そして、そのうちの幾つかのビデオエレメンタリストリームで、立体画像データのストリームが構成される場合がある。例えば、１つのトランスポートストリームに、以下のようなビデオストリームが多重されている場合を考える。
PID0 (AVC 2D) stream_type = 0x1B
PID1 (AVC 3D Frame Compatible) stream_type = 0x1B
PID2 (MVC non-base substream) stream_type = 0x20
【００１５】
「PID0」のビデオエレメンタリストリームは、これ自体は従来の２次元（２Ｄ）画像データのストリームそのものである。このビデオエレメンタリストリームが、「PID2」のノンベースビューのビデオエレメンタリストリーム（Non-Base viewsub-bitstream）と共に、立体（３Ｄ）画像データのストリームを構成する。しかし、単に、「stream_type」だけで３Ｄ構成要素としてのビデオストリームを関連付けできるわけではない。すなわち、「stream_type=0x1B」は、「PID1」のビデオエレメンタリストリームにも当てはまるからである。なお、「AVC 3D Frame Compatible」は、サイドバイサイド方式やトップアンドボトム方式等の立体（３Ｄ）画像データを示している。
【００１６】
なお、上述では、ベースビューの画像データの符号化方式とノンベースビューの画像データの符号化方式がＭＰＥＧ４−ＡＶＣである例を示した。しかし、ベースビューの画像データの符号化方式とノンベースビューの画像データの符号化方式がＭＰＥＧ２ｖｉｄｅｏ方式等の他の符号化方式である場合、さらには、ベースビューの画像データの符号化方式とノンベースビューの画像データの符号化方式が同一ではなく、異なる場合も考えられる。
【００１７】
また、上述では、トランスポートストリームに含まれるエレメンタリストリームが立体（３Ｄ）画像データを構成しているか否かの判断が困難であること、さらには、トランスポートストリームに含まれるエレメンタリストリームのうち、立体（３Ｄ）画像データを構成するエレメンタリストリームがどれであるかの特定が困難であること等を説明した。詳細説明は省略するが、これらの不都合は、ＡＶＣストリームと上述のＳＶＣストリームとを時分割的に送信する場合にも生じる。
【００１８】
この発明の目的は、例えば、ＭＶＣあるいはＳＶＣ等に対応する受信機が、配信内容の動的な変化に的確に対応し、正しいストリーム受信を行い得るようにすることにある。
【課題を解決するための手段】
【００１９】
この発明の概念は、
第１の画像データと、該第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータを出力するデータ出力部と、
トランスポートストリームを送信するデータ送信部とを備え、
上記トランスポートストリームは、上記データ出力部から出力される第１の画像データを含む第１のエレメンタリストリームおよび上記データ出力部から出力される所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームをパケット化して得られた各パケットを有し、
上記データ送信部は、上記トランスポートストリームに、上記第１のエレメンタリストリームと上記所定数の第２のエレメンタリストリームとを関連付けるためのストリーム関連付け情報を挿入する
画像データ送信装置にある。
【００２０】
この発明において、データ出力部により、第１の画像データと、この第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータが出力される。例えば、第１の画像データは、立体（３Ｄ）画像データを構成するベースビューの画像データであり、第２の画像データは、立体画像（３Ｄ）データを構成するベースビュー以外のビュー（ノンベースビュー）の画像データである。この場合、例えば、第１の画像データは、ステレオ立体画像を得るための左眼および右眼の一方の画像データであり、第２の画像データは、ステレオ立体画像を得るための左眼および右眼の他方の画像データである。
【００２１】
また、例えば、メタデータは、立体画像データに対応した視差情報（視差ベクトル、奥行きデータなど）である。例えば、受信側においては、この視差情報を用い、受信画像データに補間処理（ポスト処理）を施して、所定数のビューの表示画像データを得ることが可能となる。また、例えば、第１の画像データは、スケーラブル符号化画像データを構成する最下位層の符号化画像データであり、第２の画像データは、スケーラブル符号化画像データを構成する最下位層以外の階層の符号化画像データである。
【００２２】
データ送信部により、トランスポートストリームが送信される。このトランスポートストリームは、第１の画像データを含む第１のエレメンタリストリームおよび所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームをパケット化して得られた各パケットを有している。この場合、所定数の第２の画像データのみが存在する状態、所定数のメタデータのみが存在する状態、さらには、第２の画像データおよびメタデータを合わせて所定数存在する状態などがある。
【００２３】
例えば、第１のエレメンタリストリームに含まれる第１の画像データの符号化方式と、所定数の第２のエレメンタリストリームに含まれる第２の画像データの符号化方式として、任意の符号化方式の組み合わせが可能とされる。例えば、符号化方式がＭＰＥＧ４−ＡＶＣのみである場合、符号化方式がＭＰＥＧ２ｖｉｄｅｏのみである場合、さらには、それらの符号化方式、さらには別な符号化方式の組み合わせである場合などが考えられる。
【００２４】
データ送信部により、トランスポートストリームに、第１のエレメンタリストリームと所定数の第２のビデオエレメンタリストリームとを関連付けるためのストリーム関連付け情報が挿入される。例えば、このストリーム関連付け情報は、第１のエレメンタリストリームのパケット識別子と、所定数の第２のエレメンタリストリームのパケット識別子とを関連付ける情報とされる。また、例えば、このストリーム関連付け情報は、第１のエレメンタリストリームのコンポーネント・タグと、所定数の第２のエレメンタリストリームのコンポーネント・タグとを関連付ける情報とされる。
【００２５】
この発明において、例えば、データ送信部は、ストリーム関連付け情報を、第１のエレメンタリストリームをパケット化して得られたパケット（ＰＥＳパケット）のプライベートデータ領域に挿入する、ようにされる。この場合、立体画像データのビュー数の変化、あるいはスケーラブル符号化画像データの階層数の変化を、ＰＥＳ単位で管理可能となる。
【００２６】
また、この発明において、例えば、トランスポートストリームには、イベント単位の管理を行うサービス・インフォメーションとしてのイベント・インフォメーション・テーブルが含まれており、データ送信部は、ストリーム関連付け情報を、イベント・インフォメーション・テーブルの配下に挿入する、ようにされる。この場合、立体画像データのビュー数の変化、あるいはスケーラブル符号化画像データの階層数の変化を、イベント単位で管理できる。
【００２７】
また、この発明において、例えば、トランスポートストリームには、このトランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを示すプログラム・スペシフィック・インフォメーションとしてのプログラム・マップ・テーブルが含まれており、データ送信部は、ストリーム関連付け情報を、プログラム・マップ・テーブルの配下に挿入する、ようにされる。
【００２８】
この場合、例えば、データ送信部は、ストリーム関連付け情報を、プログラム・マップ・テーブルのプログラム・デスクリプタとして挿入する、ようにされる。また、この場合、例えば、データ送信部は、ストリーム関連付け情報を、プログラム・マップ・テーブルのビデオエレメンタリ・ループの配下に挿入する、ようにされる。この場合、立体画像データのビュー数の変化、あるいはスケーラブル符号化画像データの階層数の変化を、プログラム（番組）単位で管理できる。
【００２９】
この発明において、例えば、ストリーム関連付け情報は、第１の画像データおよび第２の画像データの出力解像度の制御情報をさらに含む、ようにされてもよい。これにより、受信側においては、この制御情報に基づいて、第１の画像データおよび第２の画像データの出力解像度を所定解像度に調整することが可能となる。
【００３０】
また、この発明において、例えば、ストリーム関連付け情報は、所定数の第２の画像データのそれぞれに対して表示必須とするか否かを指定する制御情報をさらに含む、ようにされてもよい。これにより、受信側においては、この制御情報に基づいて、所定数の第２の画像データのどれが表示必須であるかを知ることができる。
【００３１】
また、この発明において、例えば、画像データ送信部は、トランスポートストリームに、Ｍ個（Ｍは２以上の整数）のストリーム関連付け情報を挿入し、このＭ個のストリーム関連付け情報は、第１のビデオエレメンタリストリームと、所定数の第２のビデオエレメンタリストリームをＭ組に分割して得られたそれぞれの組内の第２のビデオエレメンタリストリームとを関連付けする、ようにされる。このようにＭ個のストリーム関連付け情報を用いることで、例えば、ストリーム関連付け情報を、ＰＥＳパケットのプライベートデータ領域等の容量の少ない領域に挿入する場合にあっても、第１のビデオエレメンタリストリームに対して、多数の第２のビデオエレメンタリストリームを関連付けることが可能となる。
【００３２】
この発明においては、トランスポートストリームに、第１のエレメンタリストリームと、所定数の第２のエレメンタリストリームとを関連付けるためのストリーム関連付け情報が挿入される。そのため、受信側では、このストリーム関連付け情報に基づいて、例えば、このトランスポートストリームが立体（３Ｄ）画像データ、あるいはスケーラブル符号化画像データを含むものであるとの判断などが容易となる。また、受信側では、このトランスポートストリームにおいて、例えば、立体（３Ｄ）画像データ、あるいはスケーラブル符号化画像データを構成するエレメンタリストリームがどれであるかなどの特定が容易となる。そのため、受信側では、配信内容の動的な変化に的確に対応し、正しいストリーム受信を行い得る。
【００３３】
また、この発明の他の概念は、
少なくとも、第１のトランスポートストリームおよび第２のトランスポートストリームを時分割的に送信するデータ送信部を備え、
上記第１のトランスポートストリームは、第１の画像データを含む第１のエレメンタリストリームと上記第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームをパケット化して得られた各パケットを有し、さらに、上記第１のエレメンタリストリームと上記所定数の第２のエレメンタリストリームとを関連付けるためのストリーム関連付け情報を有し、
上記第２のトランスポートストリームは、第３の画像データを含む第３のエレメンタリストリームをパケット化して得られたパケットを有する
画像データ送信装置にある。
【００３４】
この発明において、データ送信部により、少なくとも、第１のトランスポートストリームおよび第２のトランスポートストリームが時分割的に送信される。第１のトランスポートストリームは、第１の画像データを含む第１のエレメンタリストリームおよび所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームをパケット化して得られた各パケットを有している。
【００３５】
この発明においては、第１のトランスポートストリームに、第１のエレメンタリストリームと所定数の第２のエレメンタリストリームとを関連付けるためのストリーム関連付け情報が挿入される。そのため、受信側では、このストリーム関連付け情報に基づいて、例えば、第１のトランスポートストリームであるか、第２のトランスポートストリームであるかの判断が容易となる。また、受信側では、このストリーム関連付け情報に基づいて、第１のトランスポートストリームにおいて、例えば、立体（３Ｄ）画像データ、あるいはスケーラブル符号化画像データを構成するエレメンタリストリームがどれであるかなどの特定が容易となる。つまり、受信側では、配信内容の動的な変化に的確に対応し、正しいストリーム受信を行い得る。
【００３６】
また、この発明の他の概念は、
少なくとも、第１のトランスポートストリームおよび第２のトランスポートストリームを時分割的に受信するデータ受信部と、
上記データ受信部で受信された上記第１のトランスポートストリームおよび上記第２のトランスポートストリームからデータを取得するデータ取得部とを備え、
上記第１のトランスポートストリームは、第１の画像データを含む第１のエレメンタリストリームと上記第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームをパケット化して得られた各パケットを有し、さらに、上記第１のエレメンタリストリームと上記所定数の第２のエレメンタリストリームとを関連付けるためのストリーム関連付け情報を有し、
上記第２のトランスポートストリームは、第３の画像データを含む第３のエレメンタリストリームをパケット化して得られたパケットを有し、
上記データ取得部は、
上記データ受信部で上記第１のトランスポートストリームを受信するとき、該第１のトランスポートストリームから上記第１の画像データを取得し、さらに、該第１のトランスポートストリームから、上記ストリーム関連付け情報に基づいて、上記所定数の第２の画像データおよび／またはメタデータを取得し、
上記画像データ受信部で上記第２のトランスポートストリームを受信するとき、該第２のトランスポートストリームから上記第３の画像データを取得する
画像データ受信装置にある。
【００３７】
この発明において、データ受信部により、少なくとも、第１のトランスポートストリームおよび第２のトランスポートストリームが時分割的に受信される。第１のトランスポートストリームは、第１の画像データを含む第１のエレメンタリストリームおよびこの第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームをパケット化して得られた各パケットを有している。また、第２のトランスポートストリームは、第３の画像データを含む第３のビデオエレメンタリストリームをパケット化して得られたパケットを有している。
【００３８】
例えば、第１の画像データは、立体（３Ｄ）画像データを構成するベースビューの画像データであり、第２の画像データは、立体画像（３Ｄ）データを構成するベースビュー以外のビュー（ノンベースビュー）の画像データである。そして、第３の画像データは、上述の第１の画像データに相当する、２次元（２Ｄ）画像データでる。
【００３９】
また、例えば、第１の画像データは、スケーラブル符号化画像データを構成する最下位層の符号化画像データであり、第２の画像データは、スケーラブル符号化画像データを構成する最下位層以外の階層の符号化画像データである。そして、第３の画像データは、上述の第１の画像データに相当する符号化画像データである。
【００４０】
また、第１のトランスポートストリームは、第１のエレメンタリストリームと所定数の第２のエレメンタリストリームとを関連付けるためのストリーム関連付け情報を有している。例えば、このストリーム関連付け情報は、第１のエレメンタリストリームのパケット識別子と、所定数の第２のビデオエレメンタリストリームのパケット識別子とを関連付ける情報とされる。また、例えば、このストリーム関連付け情報は、第１のビデオエレメンタリストリームのコンポーネント・タグと、所定数の第２のビデオエレメンタリストリームのコンポーネント・タグとを関連付ける情報とされる。
【００４１】
このストリーム関連付け情報は、例えば、第１のエレメンタリストリームをパケット化して得られたパケット（ＰＥＳパケット）のプライベートデータ領域に挿入されている。また、トランスポートストリームには、イベント単位の管理を行うサービス・インフォメーションとしてのイベント・インフォメーション・テーブルが含まれており、ストリーム関連付け情報は、例えば、イベント・インフォメーション・テーブルの配下に挿入されている。また、トランスポートストリームには、このトランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを示すプログラム・スペシフィック・インフォメーションとしてのプログラム・マップ・テーブルが含まれており、ストリーム関連付け情報は、例えば、プログラム・マップ・テーブルの配下に挿入されている。
【００４２】
データ取得部により、データ受信部で受信された第１のトランスポートストリームおよび第２のトランスポートストリームから画像データおよび／またはメタデータが取得される。この場合、第１のトランスポートストリームが受信されるとき、この第１のトランスポートストリームから第１の画像データが取得され、さらに、この第１のトランスポートストリームから、ストリーム関連付け情報に基づいて、所定数の第２の画像データおよび／またはメタデータが取得される。また、第２のトランスポートストリームが受信されるとき、この第２のトランスポートストリームから第３の画像データが取得される。
【００４３】
この発明においては、第１のトランスポートストリームに、第１のエレメンタリストリームと所定数の第２のエレメンタリストリームとを関連付けるためのストリーム関連付け情報が挿入されている。そのため、このストリーム関連付け情報に基づいて、例えば、第１のトランスポートストリームであるか、第２のトランスポートストリームであるかの判断が容易となる。また、このストリーム関連付け情報に基づいて、第１のトランスポートストリームにおいて、例えば、立体（３Ｄ）画像データ、あるいはスケーラブル符号化画像データを構成するエレメンタリストリームがどれであるかなどの特定が容易となる。そのため、配信内容の動的な変化に的確に対応し、各トランスポートストリームから画像データを的確に取得できる。
【００４４】
この発明において、例えば、重畳情報のデータを出力する重畳情報データ出力部と、データ取得部で取得された画像データに重畳情報データ出力部から出力される重畳情報のデータを重畳するデータ重畳部をさらに備え、データ受信部で第１のトランスポートストリームが受信されてデータ取得部で取得される第１の画像データは、立体画像データを構成するベースビューの画像データであり、データ受信部で第１のトランスポートストリームが受信されてデータ取得部で取得される所定数の第２の画像データは、立体画像データを構成するベースビュー以外の所定数のビューの画像データであり、データ受信部で第１のトランスポートストリームが受信されてデータ取得部で取得される第３の画像データは、２次元画像データであり、データ重畳部は、データ受信部で第１のトランスポートストリームが受信されるとき、データ取得部で取得される第１の画像データによる画像と所定数の第２の画像データによる画像との間の視差情報に基づいて、重畳情報データ出力部から出力される重畳情報のデータの重畳位置を調整し、この重畳位置が調整された重畳情報のデータを第１の画像データおよび所定数の第２の画像データに重畳し、データ受信部で第２のトランスポートストリームが受信されるとき、データ取得部で取得される第３の画像データに重畳情報データ出力部から出力される重畳情報のデータをそのまま重畳する、ようにされる。
【００４５】
この場合、立体画像データを構成する第１の画像データおよび所定数の第２の画像データに重畳される重畳情報のデータは、それぞれ、視差情報に基づいて重畳位置が調整されたものとなる。そのため、重畳情報の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。
【００４６】
また、この発明の他の概念は、
第１の画像データを含む第１のエレメンタリストリームと上記第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームをパケット化して得られた各パケットを有し、さらに、上記第１のエレメンタリストリームと上記所定数の第２のエレメンタリストリームとを関連付けるためのストリーム関連付け情報を有するトランスポートストリームを受信するデータ受信部と、
上記データ受信部で受信された上記トランスポートストリームから、上記第１の画像データを取得し、さらに、該第１のトランスポートストリームから、上記ストリーム関連付け情報に基づいて、上記所定数の第２の画像データおよび／またはメタデータを取得するデータ取得部と
を備える画像データ受信装置にある。
【００４７】
この発明において、データ受信部により、トランスポートストリームが受信される。このトランスポートストリームは、第１の画像データを含む第１のエレメンタリストリームおよびこの第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームをパケット化して得られた各パケットを有している。
【００４８】
また、トランスポートストリームは、第１のエレメンタリストリームと所定数の第２のエレメンタリストリームとを関連付けるためのストリーム関連付け情報を有している。例えば、このストリーム関連付け情報は、第１のエレメンタリストリームのパケット識別子と、所定数の第２のビデオエレメンタリストリームのパケット識別子とを関連付ける情報とされる。また、例えば、このストリーム関連付け情報は、第１のビデオエレメンタリストリームのコンポーネント・タグと、所定数の第２のビデオエレメンタリストリームのコンポーネント・タグとを関連付ける情報とされる。
【００４９】
データ取得部により、データ受信部で受信されたトランスポートストリームから画像データおよび／またはメタデータが取得される。この場合、このトランスポートストリームから第１の画像データが取得され、さらに、このトランスポートストリームから、ストリーム関連付け情報に基づいて、所定数の第２の画像データおよび／またはメタデータが取得される。
【００５０】
この発明においては、トランスポートストリームに、第１のエレメンタリストリームと所定数の第２のエレメンタリストリームとを関連付けるためのストリーム関連付け情報が挿入されている。そのため、このストリーム関連付け情報に基づいて、トランスポートストリームにおいて、例えば、立体（３Ｄ）画像データ、あるいはスケーラブル符号化画像データを構成するエレメンタリストリームがどれであるか等の特定が容易となり、的確な処理を行うことが可能となる。
【００５１】
この発明において、例えば、データ取得部で取得された第１の画像データおよび所定数の第２の画像データの出力解像度を調整する解像度調整部をさらに備える、ようにされてもよい。この場合、第１の画像データおよび所定数の第２の画像データの解像度が異なる場合であっても、解像度調整部によりそれらの出力解像度を合わせることが可能となる。
【００５２】
また、この発明において、例えば、ストリーム関連付け情報は、第１の画像データおよび第２の画像データの出力解像度の制御情報をさらに含み、解像度調整部は、このストリーム関連付け情報に含まれる出力解像度の制御情報に基づいて、第１の画像データおよび所定数の第２の画像データの出力解像度を調整し、出力同期を取って表示させる、ようにされてもよい。この場合、解像度調整部において、第１の画像データおよび所定数の第２の画像データの出力解像度を所定の解像度、例えば、いずれかの画像データをマスターとして、その解像度に合わせるように調整することが可能となる。
【００５３】
また、この発明において、例えば、データ取得部で取得された上記メタデータは、立体画像データに対応した視差情報であり、この視差情報を用い、データ取得部で取得された第１の画像データおよび第２の画像データに補間処理を施して、所定数のビューの表示画像データを得るポスト処理部をさらに備える、ようにされてもよい。
【発明の効果】
【００５４】
この発明によれば、第１の画像データを含む第１のエレメンタリストリームおよびこの第１の画像データに関連した第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームを含むトランスポートストリームに、それらのエレメンタリストリームを関連付けるためのストリーム関連付け情報を挿入するものである。
【００５５】
そのため、受信側では、このストリーム関連付け情報に基づいて、例えば、このトランスポートストリームが立体（３Ｄ）画像データ、あるいはスケーラブル符号化画像データを含むものであるとの判断などが容易となる。また、受信側では、このトランスポートストリームにおいて、例えば、立体（３Ｄ）画像データ、あるいはスケーラブル符号化画像データを構成するエレメンタリストリームがどれであるかなどの特定が容易となる。そのため、受信側では、配信内容の動的な変化に的確に対応し、正しいストリーム受信を行い得る。
【図面の簡単な説明】
【００５６】
【図１】この発明の第１の実施の形態としての画像送受信システムの構成例を示すブロック図である。
【図２】画像送受信システムを構成する放送局の送信データ生成部の構成例を示すブロック図である。
【図３】ビデオエレメンタリストリーム、グラフィクスエレメンタリストリーム、オーディオエレメンタリストリームを含む一般的なトランスポートストリームの構成例を示す図である。
【図４】ストリーム関連付け情報をベースビューのビデオエレメンタリストリームのＰＥＳパケットに挿入する第１の方法を採用した場合のトランスポートストリームの構成例を示す図である。
【図５】ストリーム関連付け情報「Stream_association Information」を含むストリーム・アソシエーション・データ「Stream_Association data」の構成例を示す図である。
【図６】ストリーム・アソシエーション・データ「Stream_Association data」内の各情報の内容を説明するための図である。
【図７】ストリーム関連付け情報「Stream_association Information」を含むストリーム・アソシエーション・データ「Stream_Association data」の他の構成例を示す図である。
【図８】ストリーム関連付け情報をＥＩＴの配下に挿入する第２の方法を採用した場合のトランスポートストリームの構成例を示す図である。
【図９】ストリーム関連付け情報「Stream_association Information」を含むストリーム・アソシエーション・デスクリプタ「Stream_Association_descriptor」の構成例を示す図である。
【図１０】ストリーム・アソシエーション・デスクリプタ「Stream_Association_descriptor」内の各情報の内容を説明するための図である。
【図１１】ストリーム関連付け情報「Stream_association Information」を含むストリーム・アソシエーション・デスクリプタ「Stream_Association_descriptor」の構成例を示す図である。
【図１２】ストリーム関連付け情報をＰＭＴのプログラム・デスクリプタとして挿入する第３の方法（１）を採用した場合のトランスポートストリームの構成例を示す図である。
【図１３】ストリーム関連付け情報をＰＭＴのビデオエレメンタリ・ループ（Video ES loop）の配下に挿入する第３の方法（２）を採用した場合のトランスポートストリームの構成例を示す図である。
【図１４】２次元（２Ｄ）画像データを含むトランスポートストリームの構成例を示す図である。
【図１５】画像送受信システムを構成する受信機の構成例を示すブロック図である。
【図１６】ストリーム関連付け情報ＳＡＩの有無に基づく、受信機のＣＰＵの制御処理手順を示すフローチャートである。
【図１７】受信機の各部が３Ｄ処理状態（立体（３Ｄ）画像データを含む第１のトランスポートストリームＴＳ１の受信処理状態）とされる場合の動作を説明するための図である。
【図１８】受信機の各部が２Ｄ処理状態（２次元（２Ｄ）画像データを含む第２のトランスポートストリームＴＳ２の受信処理状態）とされる場合の動作を説明するための図である。
【図１９】第１のトランスポートストリームＴＳ１と、第２のトランスポートストリームＴＳ２とが、交互に送られてくる場合の受信機の動作例を示す図である。
【図２０】第１のトランスポートストリームＴＳ１および第２のトランスポートストリームＴＳ２に関し、ビデオデコーダにおいてデコード対象となるアクセスユニットを説明するための図である。
【図２１】第１のトランスポートストリームＴＳ１および第２のトランスポートストリームＴＳ２に関し、ビデオデコーダにおいてデコード対象となるアクセスユニットを説明するための図である。
【図２２】トランスポートストリームにＭ個のストリーム関連付け情報を挿入する場合における、各ストリーム・アソシエーション・データ「Stream_Association data」の構成例を示す図である。
【図２３】ストリーム・アソシエーション・データ「Stream_Association data」内の各情報の内容を説明するための図である。
【図２４】トランスポートストリームにＭ個のストリーム関連付け情報を挿入する場合における、各ストリーム・アソシエーション・データ「Stream_Association data」の他の構成例を示す図である。
【図２５】トランスポートストリームの送信例（ストリーム関連付け情報ＳＡＩで関連付けされる各エレメンタリストリームの画像データの符号化方式が同一）を示す図である。
【図２６】トランスポートストリームの送信例（ストリーム関連付け情報ＳＡＩで関連付けされる各エレメンタリストリームの画像データの符号化方式が異なる）を示す図である。
【図２７】トランスポートストリームの送信例（ストリーム関連付け情報ＳＡＩで関連付けされる各エレメンタリストリームの画像データの符号化方式が異なる）を示す図である。
【図２８】トランスポートストリームの送信例（ストリーム関連付け情報ＳＡＩで関連付けされる各エレメンタリストリームの画像データの解像度が異なる）を示す図である。
【図２９】画像送受信システムを構成する受信機（解像度調整部を備える）の構成例を示すブロック図である。
【図３０】トランスポートストリームの送信例（ストリーム関連付け情報ＳＡＩで関連付けされるエレメンタリストリームにメタデータのエレメンタリストリームを含む）を示す図である。
【図３１】画像送受信システムを構成する受信機（ポスト処理部を備える）の構成例を示すブロック図である。
【図３２】トランスポートストリームにＭ個のストリーム関連付け情報を挿入する場合における、各ストリーム・アソシエーション・データ「Stream_Association data」の構成例を示す図である。
【図３３】ストリーム・アソシエーション・データ「Stream_Association data」内の各情報の内容を説明するための図である。
【図３４】ストリーム・アソシエーション・データ「Stream_Association data」内の各情報の内容を説明するための図である。
【図３５】トランスポートストリームにＭ個のストリーム関連付け情報を挿入する場合における、各ストリーム・アソシエーション・データ「Stream_Association data」の他の構成例を示す図である。
【発明を実施するための形態】
【００５７】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００５８】
＜１．実施の形態＞
［画像送受信システム］
図１は、実施の形態としての画像送受信システム１０の構成例を示している。この画像送受信システム１０は、放送局１００および受信機２００により構成されている。放送局１００は、トランスポートストリームを、放送波にのせて送信する。放送局１００は、少なくとも、第１のトランスポートストリームおよび第２のトランスポートストリームを時分割的に送信する。
【００５９】
第１のトランスポートストリームは、立体（３Ｄ）画像データを含むトランスポートストリームである。この第１のトランスポートストリームは、立体画像データを構成するベースビュー（Base view）の画像データを含むベースビューのビデオエレメンタリストリームを含んでいる。なお、このビデオエレメンタリストリーム（Base view sub-bitstream）の代わりに、ＡＶＣ（２Ｄ）のビデオエレメンタリストリームであってもよい。以下の説明では、単に、ベースビューのビデオエレメンタリストリームとして説明する。
【００６０】
また、この第１のトランスポートストリームは、所定数のノンベースビューのビデオエレメンタリストリーム（Non-Base view sub-bitstream）を含んでいる。各ノンベースビューのビデオエレメンタリストリームは、それぞれ、立体画像データを構成するノンベースビュー（Non base view）の画像データを含んでいる。実際、第１のトランスポートストリームは、ベースビューおよびノンベースビューのビデオエレメンタリストリームをパケット化して得られた各パケットを有している。このパケットは、ＰＥＳ（Packetized Elementary Stream）パケットである。
【００６１】
なお、ステレオ立体（３Ｄ）画像データの場合、立体画像データを構成するノンベースビューの画像データは１つである。すなわち、所定数は１である。この場合、ベースビューの画像データは左眼および右眼の一方の画像データであり、ノンベースビューの１つの画像データは左眼および右眼の他方の画像データである。
【００６２】
この第１のトランスポートストリームは、ベースビューのビデオエレメンタリストリームと、所定数のノンベースビューのビデオエレメンタリストリームとを関連付けするためのストリーム関連付け情報を有している。ストリーム関連付け情報の詳細説明は後述する。
【００６３】
また、第２のトランスポートストリームは、２次元（２Ｄ）画像データを含むトランスポートストリームである。この第２のトランスポートストリームは、例えば、２次元（２Ｄ）画像データのビデオエレメンタリストリーム、例えばＡＶＣ（２Ｄ）のビデオエレメンタリストリームを含んでいる。実際、第２のトランスポートストリームは、２次元画像データのエレメンタリストリームをパケット化して得られた各パケット（ＰＥＳパケット）を有している。
【００６４】
受信機２００は、放送局１００から放送波にのせて送られてくるトランスポートストリームを受信する。受信機２００は、受信されたトラスポートストリームから画像データを取得する。上述したように、放送局が第１のトランスポートストリームおよび第２のトランスポートストリームを時分割的に送信するとき、受信機２００は、第１のトランスポートストリームおよび第２のトランスポートストリームを時分割的に受信する。
【００６５】
受信機２００は、第１のトランスポートストリームを受信するとき、この第１のトランスポートストリームに含まれるベースビューのビデオエレメンタリストリームから、ベースビューの画像データを取得する。この第１のトランスポートストリームは、ストリーム関連付け情報を有している。このストリーム関連付け情報は、上述したように、ベースビューのビデオエレメンタリストリームと、所定数のノンベースビューのビデオエレメンタリストリームとを関連付けする情報である。
【００６６】
受信機２００は、この第１のトランスポートストリームを受信するとき、ストリーム関連付け情報に基づいて、第１のトランスポートストリームの受信であることを認識する。さらに、受信機２００は、このストリーム関連付け情報に基づいて、ベースビューのビデオエレメンタリストリームに関連付けられている所定数のノンベースビューのビデオエレメンタリストリームを認識する。そして、受信機２００は、この所定数のノンベースビューのビデオエレメンタリストリームから、所定数のノンベースビューの画像データを取得する。
【００６７】
また、受信機２００は、第２のトランスポートストリームを受信するとき、この第２のトランスポートストリームに含まれる２次元画像データのビデオエレメンタリストリームから、２次元画像データを取得する。この２次元画像データは、上述の立体画像データを構成するベースビューの画像データに相当する。
【００６８】
「送信データ生成部の構成例」
図２は、放送局１００において、上述した第１、第２のトランスポートストリームを生成する送信データ生成部１１０の構成例を示している。この送信データ生成部１１０は、データ取り出し部（アーカイブ部）１１１と、ビデオエンコーダ１１２と、視差情報エンコーダ１１３と、オーディオエンコーダ１１４を有している。また、この送信データ生成部１１０は、グラフィクス発生部１１５と、グラフィクスエンコーダ１１６と、マルチプレクサ１１７を有している。
【００６９】
データ取り出し部１１１には、データ記録媒体１１１ａが、例えば、着脱自在に装着される。このデータ記録媒体１１１ａには、第１、第２のトランスポートストリームで送信する所定番組の画像データと共に、この画像データに対応した音声データが記録されている。例えば、画像データは、番組に応じて、立体（３Ｄ）画像データあるいは二次元（２Ｄ）画像データに切り替わる。また、例えば、画像データは、番組内においても、本編やコマーシャルなどの内容に応じて、立体画像データあるいは二次元画像データに切り替わる。立体画像データは、ベースビューの画像データと、所定数のノンベースビューの画像データとからなっている。
【００７０】
画像データが立体画像データである場合、このデータ記録媒体１１１ａには、この立体画像データに対応して、視差情報も記録されている。この視差情報は、ベースビューと各ノンベースビューとの間の視差を示す視差ベクトル、あるいは奥行きデータ等である。奥行きデータは、所定の変換により視差ベクトルとして扱うことが可能となる。視差情報は、例えば、ピクセル（画素）毎の視差情報、あるいはビュー（画像）を所定数に分割して得られた各分割領域の視差情報などである。
【００７１】
例えば、この視差情報は、受信側において、ベースビューおよび各ノンベースビューの画像にそれぞれ重畳する同一の重畳情報（グラフィクス情報等）の位置を調整して視差を付与するために用いられる。また、例えば、この視差情報は、受信側において、ベースビューおよび各ノンベースビューの画像データに補間処理（ポスト処理）を施して所定数のビューの表示画像データを得るために用いられる。データ記録媒体１１１ａは、ディスク状記録媒体、半導体メモリ等である。データ取り出し部１１１は、データ記録媒体１１１ａから、画像データ、音声データ、視差情報等を取り出して出力する。
【００７２】
ビデオエンコーダ１１２は、データ取り出し部１１１から出力される画像データに対して、ＭＰＥＧ４−ＡＶＣの符号化を施して符号化ビデオデータを得る。また、このビデオエンコーダ１１２は、後段に備えるストリームフォーマッタ（図示せず）により、画像データが２次元画像データであるときは、この２次元画像データを含むビデオエレメンタリストリームを生成する。また、画像データが立体画像データであるときは、ベースビューの画像データを含むベースビューのビデオエレメンタリストリームを生成する。そして、画像データが立体画像データであるときは、さらに、所定数のノンベースビューの画像データをそれぞれ含む所定数のノンベースビューのビデオエレメンタリストリームを生成する。オーディオエンコーダ１１４は、データ取り出し部１１１から出力される音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化を施し、オーディオのエレメンタリストリームを生成する。
【００７３】
視差情報エンコーダ１１３は、データ取り出し部１１１から出力される視差情報に対して所定の符号化を施し、視差情報のエレメンタリストリームを生成する。なお、視差情報が、上述したようにピクセル（画素）毎の視差情報である場合、この視差情報を画素データのように取り扱うことができる。この場合、視差情報エンコーダ１１３は、視差情報に対して、上述した画像データと同様の符号化方式で符号化を施し、視差情報エレメンタリストリームを生成できる。なお、この場合、データ取り出し部１１１から出力される視差情報の符号化をビデオエンコーダ１１２で行う構成も考えられ、その場合には、視差情報エンコーダ１１３は不要となる。
【００７４】
グラフィクス発生部１１５は、画像に重畳するグラフィクス情報（サブタイトル情報も含む）のデータ（グラフィクスデータ）を発生する。グラフィクスエンコーダ１１６は、グラフィクス発生部１１５で発生されたグラフィクスデータを含むグラフィクスエレメンタリストリームを生成する。ここで、グラフィクス情報は、重畳情報を構成している。
【００７５】
グラフィクス情報は、例えば、ロゴなどである。サブタイトル情報は、例えば、字幕である。このグラフィクスデータは、ビットマップデータである。このグラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。このアイドリングオフセット情報は、例えば、画像の左上の原点から、グラフィクス情報の重畳位置の左上の画素までの垂直方向、水平方向のオフセット値を示す。なお、字幕データをビットマップデータとして伝送する規格は、ヨーロッパのデジタル放送規格であるＤＶＢで「DVB_Subtitling」として規格化され、運用されている。
【００７６】
マルチプレクサ１１７は、ビデオエンコーダ１１２、視差情報エンコーダ１１３、オーディオエンコーダ１１４およびグラフィクスエンコーダ１１６で生成された各エレメンタリストリームをパケット化して多重し、トランスポートストリームＴＳを生成する。このトランスポートストリームＴＳは、データ取り出し部１１１から立体（３Ｄ）画像データが出力される所定番組の期間、あるいは番組内の所定期間は、上述した第１のトランスポートストリームＴＳ１となる。
【００７７】
この第１のトランスポートストリームＴＳ１は、ビデオエレメンタリストリームとして、ベースビューのビデオエレメンタリストリームと、所定数のノンベースビューのビデオエレメンタリストリームとを含んでいる。マルチプレクサ１１７は、この第１のトランスポートストリームＴＳ１に、ベースビューのビデオエレメンタリストリームと所定数のノンベースビューのビデオエレメンタリストリームとを関連付けするためのストリーム関連付け情報を挿入する。これにより、この第１のトランスポートストリームＴＳ１は、ストリーム関連付け情報を有するものとなる。マルチプレクサ１１７におけるストリーム関連付け情報の挿入の詳細説明は後述する。
【００７８】
また、トランスポートストリームＴＳは、データ取り出し部１１１から二次元（２Ｄ）画像データが出力される所定番組の期間、あるいは番組内の所定期間は、上述した第２のトランスポートストリームＴＳ２となる。この第２のトランスポートストリームＴＳ２は、ビデオエレメンタリストリームとして、二次元画像データのビデオエレメンタリストリームを含んでいる。
【００７９】
図２に示す送信データ生成部１１０の動作を簡単に説明する。データ取り出し部１１１から出力される画像データ（立体画像データあるいは２次元画像データ）は、ビデオエンコーダ１１２に供給される。このビデオエンコーダ１１２では、その画像データに対してＭＰＥＧ４−ＡＶＣの符号化が施され、符号化ビデオデータを含むビデオエレメンタリストリームが生成される。
【００８０】
この場合、画像データが立体（３Ｄ）画像データ、つまりベースビューの画像データおよび所定数のノンベースビューの画像データであるときは、ベースビューのビデオエレメンタリストリームと、所定数のビデオエレメンタリストリームとが生成される。また、この場合、画像データが二次元（２Ｄ）画像データであるときは、二次元画像データを含むビデオエレメンタリストリームが生成される。このようにビデオエンコーダ１１２で生成されたビデオエレメンタリストリームは、マルチプレクサ１１７に供給される。
【００８１】
また、データ取り出し部１１１から立体画像データが出力されるとき、このデータ取り出し部１１１からその立体画像データに対応した視差情報も出力される。この視差情報は、視差情報エンコーダ１１３に供給される。視差情報エンコーダ１１３では、視差情報に対して所定の符号化が施され、符号化データを含む視差情報エレメンタリストリームが生成される。この視差情報エレメンタリストリームはマルチプレクサ１１７に供給される。
【００８２】
また、データ取り出し部１１１から画像データが出力されるとき、このデータ取り出し部１１１からその画像データに対応した音声データも出力される。この音声データは、オーディオエンコーダ１１４に供給される。このオーディオエンコーダ１１４では、音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化が施され、符号化オーディオデータを含むオーディオエレメンタリストリームが生成される。このオーディオエレメンタリストリームはマルチプレクサ１１７に供給される。
【００８３】
また、データ取り出し部１１１から出力される画像データに対応してグラフィクス発生部１１５では、画像（ビュー）に重畳するグラフィクス情報（サブタイトル情報を含む）のデータ（グラフィクスデータ）が発生される。このグラフィクスデータは、グラフィクスエンコーダ１１６に供給される。グラフィクスエンコーダ１１６では、このグラフィクスデータに対して所定の符号化が施され、符号化データを含むグラフィクスエレメンタリストリームが生成される。このグラフィクスエレメンタリストリームはマルチプレクサ１１７に供給される。
【００８４】
マルチプレクサ１１７では、各エンコーダから供給されるエレメンタリストリームがパケット化されて多重され、トランスポートストリームＴＳが生成される。この場合、データ取り出し部１１１から２次元（２Ｄ）画像データが出力される所定番組の期間、あるいは番組内の所定期間では、２次元画像データのビデオエレメンタリストリームが含まれる第２のトランスポートストリームＴＳ２が生成される。
【００８５】
データ取り出し部１１１から立体（３Ｄ）画像データが出力される所定番組の期間、あるいは番組内の所定期間では、ベースビューおよび所定数のノンベースビューのビデオエレメンタリストリームが含まれる第１のトランスポートストリームＴＳ１が生成される。そして、この第１のトランスポートストリームＴＳ１には、ベースビューのビデオエレメンタリストリームと所定数のノンベースビューのビデオエレメンタリストリームとを関連付けするためのストリーム関連付け情報を挿入される。
【００８６】
［ストリーム関連付け情報とその挿入］
上述したように、マルチプレクサ１１７は、第１のトランスポートストリームＴＳ１に、ストリーム関連付け情報を挿入する。つまり、マルチプレクサ１１７は、データ取り出し部１１１から立体（３Ｄ）画像データが供給されて第１のトランスポートストリームＴＳ１を生成する際に、この第１のトランスポートストリームＴＳ１にストリーム関連付け情報を挿入する。ストリーム関連付け情報は、受信側において、ストリームＴＳ１，ＴＳ２の動的な変化に的確に対応し、正しいストリーム受信が行われるように、例えば、以下の第１〜第３の方法で、挿入される。
【００８７】
「第１の方法」
マルチプレクサ１１７は、ストリーム関連付け情報を、ベースビューの画像データを含むベースビューのビデオエレメンタリストリームをパケット化して得られたパケット（ＰＥＳパケット）のプライベートデータ領域に挿入する。この場合、立体（３Ｄ）画像データのビュー数の変化、トランスポートストリームＴＳ１からトランスポートストリームＴＳ２への変化を、ＰＥＳ単位で管理可能となる。
【００８８】
図３は、ビデオエレメンタリストリーム、グラフィクスエレメンタリストリーム、オーディオエレメンタリストリームを含む一般的なトランスポートストリームの構成例を示している。トランスポートストリームには、各エレメンタリストリームをパケット化して得られたＰＥＳパケットが含まれている。この構成例では、２つのビデオエレメンタリストリームのＰＥＳパケット「Video PES1」、「Video PES2」が含まれている。また、この構成例では、グラフィクスエレメンタリストリームのＰＥＳパケット「Graphcs PES」およびオーディオエレメンタリストリームのＰＥＳパケット「AudioPES」が含まれている。
【００８９】
また、トランスポートストリームには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（ProgramMap Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(EventInformation Table)が含まれている。
【００９０】
ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・デスクリプタ（Program Descriptor）が存在する。また、このＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ、グラフィクスエレメンタリ・ループ、オーディオエレメンタリ・ループが存在する。各エレメンタリ・ループには、ストリーム毎に、コンポーネント・タグ（Component_tag）、パケット識別子（PID）、ストリームタイプ（Stream_Type）等の情報が配置されると共に、図示していないが、そのエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。
【００９１】
図４は、第１の方法を採用した場合のトランスポートストリームの構成例を示している。この構成例では、トランスポートストリームに、ベースビューのビデオエレメンタリストリーム（Stream_Type=0x1B）のＰＥＳパケット「Video PES1」が含まれている。また、この構成例では、トランスポートストリームに、ノンベースビューのビデオエレメンタリストリーム（Stream_Type=0x20）のＰＥＳパケット「Video PES2」が含まれている。なお、この構成例では、図面の簡単化のために、この第１の方法の説明に不必要なオーディオおよびグラフィクスなどに関しては、その図示を省略している。
【００９２】
この構成例では、ベースビューのエレメンタリストリームのＰＥＳパケット「Video PES1」のプライベートデータ領域に、ストリーム・アソシエーション・データ「Stream_Associationdata」が挿入されている。ＰＥＳパケットのプライベートデータ領域は、１２８ビットの固定長領域である。このストリーム・アソシエーション・データに、ストリーム関連付け情報「Stream_association Information」が含まれている。ここでは、ストリーム関連付け情報により、ベースビューのビデオエレメンタリストリーム（Stream_Type=0x1B）に、ノンベースビューのビデオエレメンタリストリーム（Stream_Type=0x20）が関連付けされる。
【００９３】
図５は、ストリーム・アソシエーション・データの構成例を示している。図６は、図５に示す構成における各情報の内容を示している。図５のデータ構成例は、パケット識別子（PID）によって関連付けする例である。「Stream_association_tag」は、データタイプを示す８ビットのデータであり、ここでは、ストリーム・アソシエーション・データであることを示す。「Stream_association_data_length」は、データの長さ（サイズ）を示す８ビットのデータである。このデータは、データの長さとして、「Stream_association_data_length」以降のバイト数を示す。
「stream_count_for_association」は、ベースビューに関連付けられるノンベースビューの個数を示す４ビットのデータであり、０〜１５の値をとる。ステレオ立体画像の場合、「stream_count_for_association=1」となる。「stream_count_for_association=0」は、ベースビューに関連付けられるノンベースビューが存在しないことを示す。「Elementary_PID_of_minimum_view_id」は、ベースビューのビデオエレメンタリストリームのパケット識別子（PID）を示す１３ビットのデータである。
【００９４】
そして、「Elementary_PID_of_minimum_view_id」に対して、「stream_count_for_association」が示す数だけ「Associated_stream_Elementary_PID」が存在する。この「Associated_stream_Elementary_PID」は、ベースビューのビデオエレメンタリストリームと関連付けられているノンベースビューのビデオエレメンタリストリームのパケット識別子「PID」を示す１３ビットのデータである。このように、図５のデータ構成例では、ストリーム関連付け情報は、ベースビューと所定数のノンベースビューのビデオエレメンタリストリームのパケット識別子を関連付けする情報となっている。
【００９５】
図７は、ストリーム・アソシエーション・データの他の構成例を示している。図６は、図７に示す構成における各情報の内容も示している。図７のデータ構成例は、コンポーネント・タグ（Component_tag）によって関連付けする例である。「Component_tag_minimum_view_id」は、図５のデータ構成例における「Elementary_PID_of_minimum_view_id」の代わりに配置されたデータである。このデータは、ベースビューのビデオエレメンタリストリームのコンポーネント・タグ（Component_tag）を示す８ビットのデータである。
【００９６】
そして、「Component_tag_minimum_view_id」に対して、「stream_count_for_association」が示す数だけ「Component_tag_Associated_stream」が存在する。この「Component_tag_Associated_stream」は、ベースビューのビデオエレメンタリストリームと関連付けられているノンベースビューのビデオエレメンタリストリームのコンポーネント・タグ（Component_tag）を示す８ビットのデータである。このように、図７のデータ構成例では、ストリーム関連付け情報は、ベースビューと所定数のノンベースビューのビデオエレメンタリストリームのコンポーネント・タグ（Component_tag）を関連付けする情報となっている。
【００９７】
「第２の方法」
上述したように、トランスポートストリームには、イベント単位の管理を行うＳＩとしてのＥＩＴが含まれている。マルチプレクサ１１７は、ストリーム関連付け情報を、このＥＩＴの配下に挿入する。この場合、立体（３Ｄ）画像データのビュー数の変化、トランスポートストリームＴＳ１からトランスポートストリームＴＳ２への変化を、イベント単位で管理できる。
【００９８】
図８は、第２の方法を採用した場合のトランスポートストリームの構成例を示している。この構成例では、トランスポートストリームに、ベースビューのビデオエレメンタリストリーム（Stream_Type=0x1B）のＰＥＳパケット「Video PES1」が含まれている。また、この構成例では、トランスポートストリームに、ノンベースビューのビデオエレメンタリストリーム（Stream_Type=0x20）のＰＥＳパケット「Video PES2」が含まれている。なお、この構成例では、図面の簡単化のために、この第２の方法の説明に不必要なオーディオおよびグラフィクスなどに関しては、その図示を省略している。
【００９９】
この構成例では、ＥＩＴの配下に、ストリーム・アソシエーション・デスクリプタ「Stream_Association_descriptor」が挿入されている。このストリーム・アソシエーション・デスクリプタに、ストリーム関連付け情報「Stream_Association Information」が含まれている。ここでは、ストリーム関連付け情報により、ベースビューのビデオエレメンタリストリーム（Stream_Type=0x1B）に、ノンベースビューのビデオエレメンタリストリーム（Stream_Type=0x20）が関連付けされる。
【０１００】
図９は、ストリーム・アソシエーション・デスクリプタの構成例を示している。図１０は、図９に示す構成における各情報の内容を示している。図９のデスクリプタ構成例は、パケット識別子（PID）によって関連付けする例である。「descriptor_tag」は、デスクリプタタイプを示す８ビットのデータであり、ここでは、ストリーム・アソシエーション・デスクリプタであることを示す。「descriptor _length」は、デスクリプタの長さ（サイズ）を示す８ビットのデータである。このデータは、デスクリプタの長さとして、「descriptor _length」以降のバイト数を示す。
「stream_count_for_association」は、ベースビューに関連付けられるノンベースビューの個数を示す４ビットのデータであり、０〜１５の値をとる。ステレオ立体画像の場合、「stream_count_for_association=1」となる。「stream_count_for_association=0」は、ベースビューに関連づけられるノンベースビューが存在しないことを示す。「Elementary_PID_of_minimum_view_id」は、ベースビューのビデオエレメンタリストリームのパケット識別子「PID」を示す１３ビットのデータである。
【０１０１】
そして、「Elementary_PID_of_minimum_view_id」に対して、「stream_count_for_association」が示す数だけ「Associated_stream_Elementary_PID」が存在する。この「Associated_stream_Elementary_PID」は、ベースビューのビデオエレメンタリストリームと関連付けられているノンベースビューのビデオエレメンタリストリームのパケット識別子「PID」を示す１３ビットのデータである。このように、図８のデスクリプタ構成例では、ストリーム関連付け情報は、ベースビューと所定数のノンベースビューのビデオエレメンタリストリームのパケット識別子を関連付けする情報となっている。
【０１０２】
図１１は、ストリーム・アソシエーション・データの他の構成例を示している。図１０は、図１１に示す構成における各情報の内容も示している。図１１のデスクリプタ構成例は、コンポーネント・タグ（Component_tag）によって関連付けする例である。「Component_tag_minimum_view_id」は、図９のデスクリプタ構成例における「Elementary_PID_of_minimum_view_id」の代わりに配置されたデータである。このデータは、ベースビューのビデオエレメンタリストリームのコンポーネント・タグ（Component_tag）を示す８ビットのデータである。
【０１０３】
そして、「Component_tag_minimum_view_id」に対して、「stream_count_for_association」が示す数だけ「Component_tag_Associated_stream」が存在する。この「Component_tag_Associated_stream」は、ベースビューのビデオエレメンタリストリームと関連付けられているノンベースビューのビデオエレメンタリストリームのコンポーネント・タグ（Component_tag）を示す８ビットのデータである。このように、図１１のデスクリプタ構成例では、ストリーム関連付け情報は、ベースビューと所定数のノンベースビューのビデオエレメンタリストリームのコンポーネント・タグ（Component_tag）を関連付けする情報となっている。
【０１０４】
「第３の方法」
上述したように、トランスポートストリームには、このトランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを示すＰＳＩとしてのＰＭＴが含まれている。マルチプレクサ１１７は、ストリーム関連付け情報を、このＰＭＴの配下に挿入する。この場合、立体（３Ｄ）画像データのビュー数の変化、トランスポートストリームＴＳ１からトランスポートストリームＴＳ２への変化を、プログラム（番組）単位で管理できる。
【０１０５】
ストリーム関連付け情報をＰＭＴの配下に挿入する例として、ストリーム関連付け情報をプログラム・デスクリプタとして挿入することが考えられる。図１２は、その場合のトランスポートストリームの構成例を示している。この構成例では、トランスポートストリームに、ベースビューのビデオエレメンタリストリーム（Stream_Type=0x1B）のＰＥＳパケット「Video PES1」が含まれている。また、この構成例では、トランスポートストリームに、ノンベースビューのビデオエレメンタリストリーム（Stream_Type=0x20）のＰＥＳパケット「Video PES2」が含まれている。なお、この構成例では、図面の簡単化のために、説明に不必要なオーディオおよびグラフィクスなどに関しては、その図示を省略している。
【０１０６】
この構成例では、ＰＭＴのプログラム・デスクリプタとして、ストリーム・アソシエーション・デスクリプタが挿入されている（図９、図１１参照）。このストリーム・アソシエーション・デスクリプタに、ストリーム関連付け情報「Stream_Association Information」が含まれている。ここでは、ストリーム関連付け情報により、ベースビューのビデオエレメンタリストリーム（Stream_Type=0x1B）に、ノンベースビューのビデオエレメンタリストリーム（Stream_Type=0x20）が関連付けされる。
【０１０７】
また、ストリーム関連付け情報をＰＭＴの配下に挿入する例として、ストリーム関連付け情報を、ＰＭＴのビデオエレメンタリ・ループ（Video ES loop）の配下に挿入することが考えられる。図１３は、その場合のトランスポートストリームの構成例を示している。この構成例では、トランスポートストリームに、ベースビューのビデオエレメンタリストリーム（Stream_Type=0x1B）のＰＥＳパケット「Video PES1」が含まれている。また、この構成例では、トランスポートストリームに、ノンベースビューのビデオエレメンタリストリーム（Stream_Type=0x20）のＰＥＳパケット「Video PES2」が含まれている。なお、この構成例では、図面の簡単化のために、説明に不必要なオーディオおよびグラフィクスなどに関しては、その図示を省略している。
【０１０８】
この構成例では、ＰＭＴのビデオエレメンタリ・ループ（Video ES loop）の、ベースビューのビデオエレメンタリストリームに関連する情報を記述するデスクリプタとして、ストリーム・アソシエーション・デスクリプタ（図９、図１１参照）が挿入されている。このストリーム・アソシエーション・デスクリプタに、ストリーム関連付け情報「Stream_Association Information」が含まれている。ここでは、ストリーム関連付け情報により、ベースビューのビデオエレメンタリストリーム（Stream_Type=0x1B）に、ノンベースビューのビデオエレメンタリストリーム（Stream_Type=0x20）が関連付けされる。
【０１０９】
なお、上述したように、マルチプレクサ１１７は、第１のトランスポートストリームＴＳ１に、ストリーム関連付け情報を挿入するが、第２のトランスポートストリームＴＳ２には、ストリーム関連付け情報を挿入しない。つまり、マルチプレクサ１１７は、第２のトランスポートストリームＴＳ２には、上述したストリーム・アソシエーション・データ（図５、図７参照）もストリーム・アソシエーション・デスクリプタ（図９、図１１参照）も挿入しない。
【０１１０】
図１４は、第２のトランスポートストリームの構成例を示している。この構成例では、トランスポートストリームに、二次元（２Ｄ）画像データを含むビデオエレメンタリストリーム（Stream_Type=0x1B）のＰＥＳパケット「Video PES1」が含まれている。なお、この構成例では、図面の簡単化のために、オーディオおよびグラフィクスなどに関しては、その図示を省略している。
【０１１１】
「受信機の構成例」
図１５は、受信機２００の構成例を示している。この受信機２００は、ＣＰＵ２０１と、フラッシュＲＯＭ２０２と、ＤＲＡＭ２０３と、内部バス２０４と、リモコン受信部２０５と、リモコン送信機２０６を有している。また、この受信機２００は、アンテナ端子２１１と、デジタルチューナ２１２と、トランスポートストリームバッファ（ＴＳバッファ）２１３と、デマルチプレクサ２１４を有している。
【０１１２】
また、受信機２００は、ビデオデコーダ２１５と、ビューバッファ２１６，２１６-1〜２１６-Nと、ビデオ重畳部２１７，２１７-1〜２１７-Nを有している。さらに、受信機２００は、グラフィクスデコーダ２１８と、グラフィクス発生部２１９と、視差情報デコーダ２２０と、グラフィクスバッファ２２１，２２１-1〜２２１-Nと、オーディオデコーダ２２２と、チャネル処理部２２３を有している。
【０１１３】
ＣＰＵ２０１は、受信機２００の各部の動作を制御する。フラッシュＲＯＭ２０２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２０３は、ＣＰＵ２０１のワークエリアを構成する。ＣＰＵ２０１は、フラッシュＲＯＭ２０２から読み出したソフトウェアやデータをＤＲＡＭ２０３上に展開してソフトウェアを起動させ、受信機２００の各部を制御する。リモコン受信部２０５は、リモコン送信機２０６から送信されたリモーコントロール信号（リモコンコード）を受信し、ＣＰＵ２０１に供給する。ＣＰＵ２０１は、このリモコンコードに基づいて、受信機２００の各部を制御する。ＣＰＵ２０１、フラッシュＲＯＭ２０２およびＤＲＡＭ２０３は内部バス２０４に接続されている。
【０１１４】
アンテナ端子２１１は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２１２は、アンテナ端子２１１に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のトランスポートストリーム（ビットストリームデータ）ＴＳを出力する。トランスポートストリームバッファ（ＴＳバッファ）２１３は、デジタルチューナ２１２から出力されたトランスポートストリームＴＳを一時的に蓄積する。
【０１１５】
このトランスポートストリームＴＳは、上述したように、第１のトランスポートストリームＴＳ１あるいは第２のトランスポートストリームＴＳ２である。第１のトランスポートストリームＴＳ１には、立体（３Ｄ）画像データのビデオエレメンタリストリームが含まれている。すなわち、この第１のトランスポートストリームＴＳ１には、ビデオエレメンタリストリームとして、ベースビューのビデオエレメンタリストリームと、所定数、ここではＮ個のノンベースビューのビデオエレメンタリストリームとが含まれている。
【０１１６】
また、第１のトランスポートストリームＴＳ１には、ベースビューおよびＮ個のノンベースビューのビデオエレメンタリストリームを関連付けるストリーム関連付け情報ＳＡＩ（Stream Association Information）が挿入されている。また、第１のトランスポートストリームＴＳ１には、グラフィクス、視差情報、オーディオの各エレメンタリストリームも含まれている。
【０１１７】
第２のトランスポートストリームＴＳ２には、ビデオエレメンタリストリームとして、二次元画像データのビデオエレメンタリストリームが含まれている。また、第２のトランスポートストリームＴＳ２には、グラフィクス、オーディオの各エレメンタリストリームも含まれている。
【０１１８】
デマルチプレクサ２１４は、ＴＳバッファ２１３に一時的に蓄積されたトランスポートストリームＴＳから、ビデオ、視差情報、グラフィクスおよびオーディオの各エレメンタリストリームを抽出する。視差情報エレメンタリストリームは、トランスポートストリームＴＳが立体（３Ｄ）画像データのビデオエレメンタリストリームが含まれている第１のトランスポートストリームＴＳ１である場合のみ抽出される。また、デマルチプレクサ２１４は、トランスポートストリームＴＳが、第１のトランスポートストリームＴＳ１であるとき、ストリーム関連付け情報ＳＡＩを抽出し、ＣＰＵ２０１に供給する。
【０１１９】
ＣＰＵ２０１は、ストリーム関連付け情報ＳＡＩの供給があるとき、デジタルチューナ２１２の出力トランスポートストリームＴＳは立体（３Ｄ）画像データが含まれている第１のトランスポートストリームＴＳ１であると認識する。そして、ＣＰＵ２０１は、受信機２００の各部を、第１のトランスポートストリームＴＳ１の受信処理状態（３Ｄ処理状態）とする。一方、ＣＰＵ２０１は、ストリーム関連付け情報ＳＡＩの供給がないとき、デジタルチューナ２１２の出力トランスポートストリームＴＳは２次元（２Ｄ）画像データが含まれている第２のトランスポートストリームＴＳ２であると認識する。そして、ＣＰＵ２０１は、受信機２００の各部を、この第２のトランスポートストリームＴＳ２の受信処理状態（２Ｄ処理状態）とする。
【０１２０】
図１６のフローチャートは、ＣＰＵ２０１の制御処理の手順を示している。ＣＰＵ２０１は、ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２の処理に移る。このステップＳＴ２において、ＣＰＵ２０１は、ストリーム関連付け情報ＳＡＩの供給があるか否かを判断する。ストリーム関連付け情報ＳＡＩの供給があるとき、ＣＰＵ２０１は、ステップＳＴ３において、受信機２００の各部を第１のトランスポートストリームＴＳ１の受信処理状態（３Ｄ処理状態）とし、その後に、ステップＳＴ２の処理に戻る。一方、ステップＳＴ２でＳＡＩの供給がないとき、ＣＰＵ２０１は、ステップＳＴ４において、受信機２００の各部を第２のトランスポートストリームＴＳ２の受信処理状態（２Ｄ処理状態）とし、その後に、ステップＳＴ２の処理に戻る。
【０１２１】
図１５に戻って、デマルチプレクサ２１４は、ＣＰＵ２０１の制御により、３Ｄ処理状態とされるとき、第１のトランスポートストリームＴＳ１から、ビデオエレメンタリストリームとして、ベースビューおよびＮ個のノンベースビューのストリームを抽出する。
【０１２２】
この場合、デマルチプレクサ２１４は、ストリームタイプ「Stream_Type」が「0x1B」であるビデオエレメンタリストリームをベースビューのビデオエレメンタリストリームとして抽出する。また、デマルチプレクサ２１４は、ベースビューと関連付けられているＮ個のノンベースビューのビデオエレメンタリストリームを抽出する。この場合、デマルチプレクサ２１４は、ストリーム関連付け情報ＳＡＩに含まれている、Ｎ個のノンベースビューのビデオエレメンタリストリームのパケット識別子（ＰＩＤ）を利用する。
【０１２３】
また、デマルチプレクサ２１４は、ＣＰＵ２０１の制御により、２Ｄ処理状態とされるとき、第２のトランスポートストリームＴＳ２から、ビデオエレメンタリストリームとして、２次元（２Ｄ）画像データのストリームを抽出する。この場合、デマルチプレクサ２１４は、ストリームタイプ「Stream_Type」が「0x1B」であるビデオエレメンタリストリームを抽出する。
【０１２４】
ビデオデコーダ２１５は、上述の送信データ生成部１１０のビデオエンコーダ１１２とは逆の処理を行う。すなわち、このビデオデコーダ２１５は、デマルチプレクサ２１４で抽出されたビデオエレメンタリストリームに含まれる符号化画像データに対して復号化処理を行って復号化された画像データを得る。
【０１２５】
ビデオデコーダ２１５は、ＣＰＵ２０１の制御により、３Ｄ処理状態とされるとき、デマルチプレクサ２１４で抽出されたベースビューのビデオエレメンタリストリームを処理してベースビューの画像データを取得する。また、ビデオデコーダ２１５は、ＣＰＵ２０１の制御により、３Ｄ処理状態とされるとき、デマルチプレクサ２１４で抽出されたＮ個のノンベースビューのビデオエレメンタリストリームを処理してＮ個のノンベースビューの画像データを取得する。
【０１２６】
また、ビデオデコーダ２１５は、ＣＰＵ２０１の制御により、２Ｄ処理状態とされるとき、デマルチプレクサ２１４で抽出された２次元画像データのビデオエレメンタリストリームを処理して２次元画像データを取得する。
【０１２７】
ビューバッファ（ビデオバッファ）２１６は、ＣＰＵ２０１の制御により、３Ｄ処理状態とされるとき、ビデオデコーダ２１５で取得されるベースビューの画像データを一時的に蓄積する。また、ビューバッファ２１６は、ＣＰＵ２０１の制御により、２Ｄ処理状態とされるとき、ビデオデコーダ２１５で取得される２次元画像データを一時的に蓄積する。また、ビューバッファ（ビデオバッファ）２１６-1〜２１６-Nは、ＣＰＵ２０１の制御により、３Ｄ処理状態とされるとき、ビデオデコーダ２１５で取得されるＮ個のノンベースビューの画像データをそれぞれ一時的に蓄積する。
【０１２８】
グラフィクスデコーダ２１８は、上述の送信データ生成部１１０のグラフィクスエンコーダ１１６とは逆の処理を行う。すなわち、グラフィクスデコーダ２１８は、デマルチプレクサ２１４で抽出されたグラフィクスエレメンタリストリームに含まれる符号化グラフィクスデータに対して復号化処理を行って復号化されたグラフィクスデータ（サブタイトルデータを含む）を得る。
【０１２９】
視差情報デコーダ２２０は、上述の送信データ生成部１１０の視差情報エンコーダ１１３とは逆の処理を行う。すなわち、視差情報デコーダ２２０は、デマルチプレクサ２１４で抽出された視差情報エレメンタリストリームに含まれる符号化視差情報に対して復号化処理を行って復号化された視差情報を得る。この視差情報は、ベースビューと各ノンベースビューとの間の視差を示す視差ベクトル、あるいは奥行きデータ等である。奥行きデータは、所定の変換により視差ベクトルとして扱うことが可能となる。視差情報は、例えば、ピクセル（画素）毎の視差情報、あるいはビュー（画像）を所定数に分割して得られた各分割領域の視差情報である。
【０１３０】
グラフィクス発生部２１９は、グラフィクスデコーダ２１８で得られたグラフィクスデータに基づいて、画像に重畳するグラフィクス情報のデータを発生する。グラフィクス発生部２１９は、ＣＰＵ２０１の制御により、３Ｄ処理状態とされるとき、各ビューの画像データにそれぞれ重畳するグラフィクス情報のデータを発生する。この場合、グラフィクス発生部２１９は、視差情報デコーダ２２０で得られる視差情報に基づいて、各ビューの画像に重畳するグラフィクス情報の重畳位置を調整し、それぞれに視差を付与する。また、グラフィクス発生部２１９は、ＣＰＵ２０１の制御により、２Ｄ処理状態とされるとき、２次元画像データに重畳するグラフィクス情報のデータを発生する。
【０１３１】
グラフィクスバッファ２２１は、ＣＰＵ２０１の制御により、３Ｄ処理状態とされるとき、グラフィクス発生部２１９で発生される、ベースビューの画像データに重畳するグラフィクス情報のデータを一時的に蓄積する。また、グラフィクスバッファ２２１は、ＣＰＵ２０１の制御により、２Ｄ処理状態とされるとき、グラフィクス発生部２１９で発生される、２次元画像データに重畳するグラフィクス情報のデータを一時的に蓄積する。また、グラフィクスバッファ２２１-1〜２２１-Nは、ＣＰＵ２０１の制御により、３Ｄ処理状態とされるとき、ビデオデコーダ２１５で取得されるＮ個のノンベースビューの画像データにそれぞれ重畳するグラフィクス情報のデータを一時的に蓄積する。
【０１３２】
ビデオ重畳部（ディスプレイバッファ）２１７は、ＣＰＵ２０１の制御により、３Ｄ処理状態とされるとき、グラフィクス情報が重畳されたベースビュー画像を表示するための画像データＢＶを出力する。このとき、ビデオ重畳部２１７は、ビューバッファ２１６に蓄積されたベースビューの画像データに、グラフィクスバッファ２２１に蓄積されたグラフィクス情報のデータを重畳して、画像データＢＶを得る。また、ビデオ重畳部２１７は、ＣＰＵ２０１の制御により、２Ｄ処理状態とされるとき、グラフィクス情報が重畳された２次元画像を表示するための画像データＳＶを出力する。このとき、ビデオ重畳部２１７は、ビューバッファ２１６に蓄積された２次元画像データに、グラフィクスバッファ２２１に蓄積されたグラフィクス情報のデータを重畳して、画像データＳＶを得る。
【０１３３】
また、ビデオ重畳部（ディスプレイバッファ）２１７-1〜２１７-Nは、ＣＰＵ２０１の制御により、３Ｄ処理状態とされるとき、グラフィクス情報が重畳されたＮ個のノンベースビュー画像をそれぞれ表示するための画像データＮＢ-1〜ＮＢ-Nを出力する。このとき、ビデオ重畳部２１７-1〜２１７-Nは、ビューバッファ２１６-1〜２１６-Nにそれぞれ蓄積されたベースビューの画像データに、グラフィクスバッファ２２１-1〜２２１-Nにそれぞれ蓄積されたグラフィクス情報のデータを重畳する。なお、タイムスタンプＰＴＳにより、ビューバッファ２１６，２１６-1〜２１６-Nからビデオ重畳部２１７，２１７-1〜２１７-Nへの転送同期が取られる。
【０１３４】
オーディオデコーダ２２２は、上述の送信データ生成部１１０のオーディオエンコーダ１１４とは逆の処理を行う。すなわち、このオーディオデコーダ２２２は、デマルチプレクサ２１４で抽出されたオーディオエレメンタリストリームに含まれる符号化音声データに対して復号化処理を行って復号化された音声データを得る。チャネル処理部２２３は、オーディオデコーダ２２２で得られる音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データＳＡを生成して出力する。
【０１３５】
受信機２００の動作を簡単に説明する。アンテナ端子２１１に入力されたテレビ放送信号はデジタルチューナ２１２に供給される。このデジタルチューナ２１２では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のトランスポートストリームＴＳが出力される。このトランスポートストリームＴＳは、ＴＳバッファ２１３に一時的に蓄積される。
【０１３６】
デマルチプレクサ２１４では、ＴＳバッファ２１３に一時的に蓄積されたトランスポートストリームＴＳから、ビデオ、視差情報、グラフィクスおよびオーディオの各エレメンタリストリームが抽出される。視差情報エレメンタリストリームは、トランスポートストリームＴＳが立体（３Ｄ）画像データのビデオエレメンタリストリームが含まれている第１のトランスポートストリームＴＳ１である場合のみ抽出される。また、デマルチプレクサ２１４では、トランスポートストリームＴＳが、第１のトランスポートストリームＴＳ１であるとき、ストリーム関連付け情報ＳＡＩが抽出され、ＣＰＵ２０１に供給する。
【０１３７】
ＣＰＵ２０１では、ストリーム関連付け情報ＳＡＩの供給があるとき、デジタルチューナ２１２の出力トランスポートストリームＴＳは立体（３Ｄ）画像データが含まれている第１のトランスポートストリームＴＳ１であると認識される。そして、ＣＰＵ２０１により、受信機２００の各部は、第１のトランスポートストリームＴＳ１の受信処理状態（３Ｄ処理状態）とされる。一方、ＣＰＵ２０１では、ストリーム関連付け情報ＳＡＩの供給がないとき、デジタルチューナ２１２の出力トランスポートストリームＴＳは２次元（２Ｄ）画像データが含まれている第２のトランスポートストリームＴＳ２であると認識される。そして、ＣＰＵ２０１により、受信機２００の各部は、第２のトランスポートストリームＴＳ２の受信処理状態（２Ｄ処理状態）とされる。
【０１３８】
以下、受信機２００の各部が、第１のトランスポートストリームＴＳ１の受信処理状態（３Ｄ処理状態）とされる場合について、図１７を参照して説明する。この図１７において、破線は、データ、情報あるいは信号の流れを示している。
【０１３９】
デマルチプレクサ２１４では、第１のトランスポートストリームＴＳ１から、ビデオエレメンタリストリームとして、ベースビューおよびＮ個のノンベースビューのビデオエレメンタリストリームが抽出される。これら各ビデオエレメンタリストリームは、ビデオデコーダ２１５に供給される。ビデオデコーダ２１５では、デマルチプレクサ２１４で抽出されたビデオエレメンタリストリームに含まれる符号化画像データに対して復号化処理が行われて、復号化された画像データが得られる。
【０１４０】
この場合、デマルチプレクサ２１４で抽出されたベースビューのビデオエレメンタリストリームが処理されて、ベースビューの画像データが取得される。このベースビューの画像データは、ビューバッファ２１６に一時的に蓄積される。また、デマルチプレクサ２１４で抽出されたＮ個のノンベースビューのビデオエレメンタリストリームが処理されて、Ｎ個のノンベースビューの画像データが取得される。このＮ個のノンベースビューの画像データは、それぞれ、Ｎ個のビューバッファ２１６-1〜２１６-Nに一時的に蓄積される。
【０１４１】
また、デマルチプレクサ２１４では、第１のトランスポートストリームＴＳ１から、グラフィクスエレメンタリストリームが抽出される。このグラフィクスエレメンタリストリームは、グラフィクスデコーダ２１８に供給される。このグラフィクスデコーダ２１８では、グラフィクスエレメンタリストリームに含まれる符号化グラフィクスデータに対して復号化処理が行われて、復号化されたグラフィクスデータ（サブタイトルデータを含む）が得られる。このグラフィクスデータは、グラフィクス発生部２１９に供給される。
【０１４２】
また、デマルチプレクサ２１４では、第１のトランスポートストリームＴＳ１から、視差情報エレメンタリストリームが抽出される。この視差情報エレメンタリストリームは、視差情報デコーダ２２０に供給される。この視差情報デコーダ２２０では、視差情報エレメンタリストリームに含まれる符号化視差情報に対して復号化処理が行われて、復号化された視差情報が得られる。この視差情報は、グラフィクス発生部２１９に供給される。
【０１４３】
グラフィクス発生部２１９では、グラフィクスデコーダ２１８で得られたグラフィクスデータに基づいて、画像に重畳するグラフィクス情報のデータが発生される。この場合、グラフィクス発生部２１９では、視差情報デコーダ２２０で得られる視差情報に基づいて、各ビューの画像に重畳するグラフィクス情報の重畳位置が調整されて、それぞれに視差が付与される。グラフィクスバッファ２２１では、グラフィクス発生部２１９で発生される、ベースビューの画像データに重畳するグラフィクス情報のデータが一時的に蓄積される。また、グラフィクスバッファ２２１-1〜２２１-Nでは、グラフィクス発生部２１９で発生される、Ｎ個のノンベースビューの画像データにそれぞれ重畳するグラフィクス情報のデータが一時的に蓄積される。
【０１４４】
ビデオ重畳部２１７では、ビューバッファ２１６に蓄積されたベースビューの画像データに、グラフィクスバッファ２２１に蓄積されたグラフィクス情報のデータが重畳されて、画像データＢＶが得られる。この画像データＢＶは、グラフィクス情報が重畳されたベースビュー画像を表示するための画像データとして出力される。また、ビデオ重畳部２１７-1〜２１７-Nでは、画像データＮＢ-1〜ＮＢ-Nが得られる。この場合、ビデオ重畳部２１７-1〜２１７-Nでは、ビューバッファ２１６-1〜２１６-Nに蓄積されたベースビューの画像データに、グラフィクスバッファ２２１-1〜２２１-Nに蓄積されたグラフィクス情報のデータが重畳される。この画像データＮＢ-1〜ＮＢ-Nは、グラフィクス情報が重畳されたＮ個のノンベースビュー画像を表示するための画像データとして出力される。
【０１４５】
次に、受信機２００の各部が、第２のトランスポートストリームＴＳ２の受信処理状態（２Ｄ処理状態）とされる場合について、図１８を参照して説明する。この図１８において、破線は、データ、情報あるいは信号の流れを示している。
【０１４６】
デマルチプレクサ２１４では、第２のトランスポートストリームＴＳ２から、ビデオエレメンタリストリームとして、２次元（２Ｄ）画像データを含むビデオエレメンタリストリームが抽出される。このビデオエレメンタリストリームは、ビデオデコーダ２１５に供給される。ビデオデコーダ２１５では、デマルチプレクサ２１４で抽出されたビデオエレメンタリストリームに含まれる符号化画像データに対して復号化処理が行われて、復号化された二次元（２Ｄ）画像データが得られる。この二次元画像データは、ビューバッファ２１６に一時的に蓄積される。
【０１４７】
また、デマルチプレクサ２１４では、第２のトランスポートストリームＴＳ２から、グラフィクスエレメンタリストリームが抽出される。このグラフィクスエレメンタリストリームは、グラフィクスデコーダ２１８に供給される。このグラフィクスデコーダ２１８では、グラフィクスエレメンタリストリームに含まれる符号化グラフィクスデータに対して復号化処理が行われて、復号化されたグラフィクスデータ（サブタイトルデータを含む）が得られる。このグラフィクスデータは、グラフィクス発生部２１９に供給される。
【０１４８】
グラフィクス発生部２１９では、グラフィクスデコーダ２１８で得られたグラフィクスデータに基づいて、画像に重畳するグラフィクス情報のデータが発生される。このグラフィクス情報のデータは、グラフィクスバッファ２２１に一時的に蓄積される。ビデオ重畳部２１７では、ビューバッファ２１６に蓄積された二次元（２Ｄ）画像データに、グラフィクスバッファ２２１に蓄積されたグラフィクス情報のデータが重畳されて、画像データＳＶが得られる。この画像データＳＶは、グラフィクス情報が重畳された二次元画像を表示するための画像データとして出力される。
【０１４９】
また、デマルチプレクサ２１４で抽出されたオーディオエレメンタリストリームは、オーディオデコーダ２２２に供給される。このオーディオデコーダ２２２では、オーディオエレメンタリストリームに含まれる符号化音声データに対して復号化処理が行われて、復号化された音声データが得られる。この音声データは、チャネル処理部２２３に供給される。チャネル処理部２２３では、その音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データＳＡが生成されて出力される。
【０１５０】
以上説明したように、図１に示す画像送受信システム１０において、放送局１００から送信される立体（３Ｄ）画像データを含む第１のトランスポートストリームＴＳ１には、ストリーム関連付け情報が挿入される。このストリーム関連付け情報により、ベースビューのビデオエレメンタリストリームと、所定数（Ｎ個）のノンベースビューのビデオエレメンタリストリームとが関連付けされている。
【０１５１】
そのため、受信機２００では、この第１のトランスポートストリームＴＳ１と、２次元（２Ｄ）画像データを含む第２のトランスポートストリームＴＳ２の動的な変化、つまり配信内容の動的な変化に的確に対応でき、正しいストリーム受信を行うことができる。図１９は、第１のトランスポートストリームＴＳ１と、第２のトランスポートストリームＴＳ２とが、交互に送られてくる場合の例を示している。
【０１５２】
ｔn-1の期間、第１のトランスポートストリームＴＳ１が送られてくる。この第１のトランスポートストリームＴＳ１には、ベースビューのビデオエレメンタリストリーム（Stream_Type=0x1B）と、ノンベースビューのビデオエレメンタリストリーム（Stream_Type=0x20）が含まれている。なお、ここでは、ベースビューのビデオエレメンタリストリームとして、ＡＶＣ（２Ｄ）のビデオエレメンタリストリームが使用されている例を示している。また、第１のトランスポートストリームＴＳ１には、ストリーム関連付け情報ＳＡＩ（Stream_Association Information）が含まれており、２つのビデオエレメンタリストリームが、パケット識別子（ＰＩＤ）で関連付けされている。
【０１５３】
そのため、受信機２００では、第１のトランスポートストリームＴＳ１が送られてきていることを容易に把握できる。また、受信機２００ではベースビューのビデオエレメンタリストリームに関連付けされているノンベースビューのビデオエレメンタリストリームを容易に把握できる。そのため、受信機２００は、このｔn-1の期間、立体（３Ｄ）画像データの受信状態となる。したがって、受信機２００では、この第１のトランスポートストリームＴＳ１の受信を正しく行うことができ、立体（３Ｄ）画像データを構成するベースビューおよびノンベースビューの画像データを取得できる。
【０１５４】
また、ｔn-1の期間に続くｔnの期間、第２のトランスポートストリームＴＳ２が送られてくる。この第２のトランスポートストリームＴＳ２には、ストリーム関連付け情報ＳＡＩが含まれていない。そのため、受信機２００では、第２のトランスポートストリームＴＳ２が送られてきていることを容易に把握でき、このｔn-1の期間、二次元（２Ｄ）画像データの受信状態となる。したがって、受信機２００では、この第２のトランスポートストリームＴＳ２の受信を正しく行うことができ、二次元（２Ｄ）画像データを取得できる。
【０１５５】
さらに、ｔnの期間に続くｔn+1の期間、第１のトランスポートストリームＴＳ１が送られてくる。このｔn+1の期間、上述のｔn-1の期間と同様に、受信機２００では、ストリーム関連付け情報ＳＡＩに基づいて、この第１のトランスポートストリームＴＳ１の受信を正しく行うことができ、立体（３Ｄ）画像データを取得できる。
【０１５６】
図２０、図２１は、図１９の第１のトランスポートストリームＴＳ１および第２のトランスポートストリームＴＳ２に関し、ビデオデコーダ２１５（図１５参照）においてデコード対象となるアクセスユニット（Access Unit）を示している。ストリーム関連付け情報ＳＡＩにより、ベースビューのエレメンタリストリームに関連付けされたノンビューのエレメンタリストリームが存在する場合は、供給されたストリームから、図２０で示すようなパケット(NAL パケット）を識別し、図２１のように、 ＭＶＣアクセスユニット（MVCAccess Unit）毎にデコード処理を進める。一方、二次元（２Ｄ）画像データのストリームのみ存在すると判断された場合は、図２１のＡＶＣアクセスユニット（AVC Access Unit）の部分のみでデコード処理を進める。
【０１５７】
なお、２Ｄと３Ｄとの変化点は、フレーム単位で送信側および受信側が同期することが要求される。ストリーム関連付け情報ＳＡＩの有無の変化に伴って、ビデオのシーケンスの先頭の情報を示すパケットにより切り換えるなどによって、上記要求を満足させることが可能である。
【０１５８】
また、図１に示す画像送受信システム１０において、受信機２００は、立体（３Ｄ）画像データを含む第１のトランスポートストリームＴＳ１が送られてくるとき、立体（３Ｄ）画像データの受信状態となる。そして、受信機２００のグラフィクス発生部２１９では、視差情報デコーダ２２０で得られる視差情報に基づいて、各ビューの画像に重畳するグラフィクス情報の重畳位置が調整され、それぞれに視差が付与される。そのため、グラフィクス情報の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。
【０１５９】
＜２．変形例＞
なお、上述実施の形態においては、第１のビデオエレメンタリストリームと所定数の第２のビデオエレメンタリストリームとの関連付けを、１個のストリーム関連付け情報を用いて行う例を示した。例えば、この１個のストリーム関連付け情報は、上述の図５、あるいは図７に構成例を示すストリーム・アソシエーション・データ「Stream_Association data」、に含まれる。また、例えば、この１個のストリーム関連付け情報は、上述の図９、あるいは図１１に構成例を示すストリーム・アソシエーション・デスクリプタ「Stream_Association_descriptor」に含まれる。
【０１６０】
このように１個のストリーム関連付け情報を用いる場合、例えば、ストリーム関連付け情報を、ＰＥＳパケットのプライベートデータ領域等の容量の少ない領域に挿入する場合には、以下のような不都合が発生する。すなわち、第１のビデオエレメンタリストリームに対して関連付けする第２のビデオエレメンタリストリームの数が少なく制限されることである。
【０１６１】
しかし、第１のビデオエレメンタリストリームに対して関連付けする第２のビデオエレメンタリストリームが多数となる場合も想定される。そこで、第１のビデオエレメンタリストリームと所定数の第２のビデオエレメンタリストリームとの関連付けを、Ｍ個（Ｍは２以上の整数）のストリーム関連付け情報を用いて行うことも考えられる。この場合、Ｍ個のストリーム関連付け情報は、第１のビデオエレメンタリストリームと、所定数の第２のビデオエレメンタリストリームをＭ組に分割して得られたそれぞれの組内の第２のビデオエレメンタリストリームとを関連付けする、ようにされる。
【０１６２】
このようにＭ個のストリーム関連付け情報を用いることで、例えば、ストリーム関連付け情報を、ＰＥＳパケットのプライベートデータ領域等の容量の少ない領域に挿入する場合にあっても、第１のビデオエレメンタリストリームに対して、多数の第２のビデオエレメンタリストリームを関連付けることが可能となる。
【０１６３】
図２２は、Ｍ個のストリーム関連付け情報を用いる場合において、ＰＥＳパケットのプライベート領域に挿入される、各ストリーム・アソシエーション・データ「Stream_Association data」の構成例を示している。図２３は、図２２に示す構成における各情報の内容を示している。図２２のデータ構成例は、パケット識別子（PID）によって関連付けする例である。「Stream_association_tag」は、データタイプを示す８ビットのデータであり、ここでは、ストリーム・アソシエーション・データであることを示す。「Stream_association_data_length」は、データの長さ（サイズ）を示す８ビットのデータである。このデータは、データの長さとして、「Stream_association_data_length」以降のバイト数を示す。
【０１６４】
「stream_association_number_minus1は、ストリーム・アソシエーション・データの個数を示す３ビットのデータである。ストリーム・アソシエーション・データの個数がＭであるときは、（Ｍ−１）の値に設定される。「stream_count_for_association」は、このストリーム・アソシエーション・データにおいて、ベースビューに関連付けられるノンベースビューの個数を示す４ビットのデータであり、０〜１５の値をとる。ステレオ立体画像の場合、「stream_count_for_association=1」となる。
【０１６５】
「stream_association_id」は、このストリーム・アソシエーション・データ、つまり自身を特定する識別情報としての３ビットのデータである。例えば、ベースビューと所定数のノンベースビューのビデオエレメンタリストリームを関連付けるために全部で２個のストリーム・アソシエーション・データが用いられる場合を考える。この場合、例えば、１番目のストリーム・アソシエーション・データにおいては「stream_association_id=0」とされ、２番目のストリーム・アソシエーション・データにおいては「stream_association_id=1」とされる。
【０１６６】
「Elementary_PID_of_minimum_view_id」は、ベースビューのビデオエレメンタリストリームのパケット識別子「PID」を示す１３ビットのデータである。この「Elementary_PID_of_minimum_view_id」に対して、「stream_count_for_association」が示す数だけ「Associated_stream_Elementary_PID」が存在する。この「Associated_stream_Elementary_PID」は、ベースビューのビデオエレメンタリストリームと関連付けられているノンベースビューのビデオエレメンタリストリームのパケット識別子「PID」を示す１３ビットのデータである。
【０１６７】
図２４は、ストリーム・アソシエーション・データの他の構成例を示している。図２３は、図２４に示す構成における各情報の内容も示している。図２４のデータ構成例は、コンポーネント・タグ（Component_tag）によって関連付けする例である。「Component_tag_minimum_view_id」は、図２２のデータ構成例における「Elementary_PID_of_minimum_view_id」の代わりに配置されたデータである。このデータは、ベースビューのビデオエレメンタリストリームのコンポーネント・タグ（Component_tag）を示す８ビットのデータである。
【０１６８】
そして、「Component_tag_minimum_view_id」に対して、「stream_count_for_association」が示す数だけ「Component_tag_Associated_stream」が存在する。この「Component_tag_Associated_stream」は、ベースビューのビデオエレメンタリストリームと関連付けられているノンベースビューのビデオエレメンタリストリームのコンポーネント・タグ（Component_tag）を示す８ビットのデータである。このように、図２４のデータ構成例では、ストリーム関連付け情報は、ベースビューと所定数のノンベースビューのビデオエレメンタリストリームのコンポーネント・タグ（Component_tag）を関連付けする情報となっている。
【０１６９】
なお、詳細説明は省略するが、ＥＩＴの配下等に挿入されるストリーム・アソシエーション・デスクリプタ「Stream_Association_descriptor」に関しても、図２２、あるいは図２４に示すストリーム・アソシエーション・データと同様に構成できる。
【０１７０】
なお、上述実施の形態においては、第１のビデオエレメンタリストリームに含まれるベースビューの画像データと、第２のビデオエレメンタリストリームに含まれるノンベースビューの画像データにＭＰＥＧ４−ＡＶＣの符号化が施されている。しかし、各画像データに施される符号化はＭＰＥＧ４−ＡＶＣに限定されるものではなく、その他の符号化の方式が施されてもよい。また、各画像データに施される符号化の方式は、同一である必要はなく、異なっていてもよい。
【０１７１】
図２５は、第１のトランスポートストリームＴＳ１と第２のトランスポートストリームＴＳ２とが交互に送信されるトランスポートストリームの送信例を示している。この送信例では、第１のトランスポートストリームＴＳ１に含まれ、ストリーム関連付け情報ＳＡＩで関連付けされる各エレメンタリストリームの画像データの符号化方式が同一とされている。
【０１７２】
第１のトランスポートストリームＴＳ１には、ベースビューおよびノンベースビューの２つのビデオエレメンタリストリームが含まれている。各ビデオエレメンタリストリームには、ＭＰＥＧ２ｖｉｄｅｏの符号化が施された各ビューの画像データが含まれており、ストリーム・タイプ（Stream_Type）は「0x02」である。
【０１７３】
また、第１のトランスポートストリームＴＳ１には、ストリーム関連付け情報ＳＡＩ（Stream_Association Information）が含まれている。このストリーム関連付け情報ＳＡＩにより、ベースビューおよびノンベースビューの２つのビデオエレメンタリストリームが、パケット識別子（ＰＩＤ）、あるいはコンポーネント・タグ(Component_tag)で関連付けされている。
【０１７４】
第２のトランスポートストリームＴＳ２には、２次元（２Ｄ）画像データのビデオエレメンタリストリームが含まれている。このビデオエレメンタリストリームには、上述したベースビューのビデオエレメンタリストリームと同様に、ＭＰＥＧ２ｖｉｄｅｏの符号化が施された２次元（２Ｄ）画像データが含まれており、ストリーム・タイプ（Stream_Type）は、「0x02」である。この第２のトランスポートストリームＴＳ２には、ストリーム関連付け情報ＳＡＩが含まれていない。
【０１７５】
図２６は、第１のトランスポートストリームＴＳ１と第２のトランスポートストリームＴＳ２とが交互に送信されるトランスポートストリームの他の送信例を示している。この送信例では、第１のトランスポートストリームＴＳ１に含まれ、ストリーム関連付け情報ＳＡＩで関連付けされる各エレメンタリストリームの画像データの符号化方式が異なるものとされている。
【０１７６】
第１のトランスポートストリームＴＳ１には、ベースビューおよびノンベースビューの２つのビデオエレメンタリストリームが含まれている。ベースビューのビデオエレメンタリストリームには、ＭＰＥＧ２ｖｉｄｅｏの符号化が施されたベースビューの画像データが含まれており、ストリーム・タイプ（Stream_Type）は「0x02」である。また、ノンベースビューのビデオエレメンタリストリームには、ＭＰＥＧ４−ＡＶＣの符号化が施されたノンベースビューの画像データが含まれており、ストリーム・タイプ（Stream_Type）は「0x1B」である。
【０１７７】
また、第１のトランスポートストリームＴＳ１には、ストリーム関連付け情報ＳＡＩ（Stream_Association Information）が含まれている。このストリーム関連付け情報ＳＡＩにより、ベースビューおよびノンベースビューの２つのビデオエレメンタリストリームが、パケット識別子（ＰＩＤ）、あるいはコンポーネント・タグ(Component_tag)で関連付けされている。
【０１７８】
第２のトランスポートストリームＴＳ２には、２次元（２Ｄ）画像データのビデオエレメンタリストリームが含まれている。このビデオエレメンタリストリームには、上述したベースビューのビデオエレメンタリストリームと同様に、ＭＰＥＧ２ｖｉｄｅｏの符号化が施された２次元（２Ｄ）画像データが含まれており、ストリーム・タイプ（Stream_Type）は、「0x02」である。この第２のトランスポートストリームＴＳ２には、ストリーム関連付け情報ＳＡＩが含まれていない。
【０１７９】
図２７は、第１のトランスポートストリームＴＳ１と第２のトランスポートストリームＴＳ２とが交互に送信されるトランスポートストリームのさらに他の送信例を示している。この送信例では、第１のトランスポートストリームＴＳ１に含まれ、ストリーム関連付け情報ＳＡＩで関連付けされる各エレメンタリストリームの画像データの符号化方式が異なるものとされている。
【０１８０】
第１のトランスポートストリームＴＳ１には、ベースビューおよびノンベースビューの２つのビデオエレメンタリストリームが含まれている。ベースビューのビデオエレメンタリストリームには、ＭＰＥＧ２ｖｉｄｅｏの符号化が施されたベースビューの画像データが含まれており、ストリーム・タイプ（Stream_Type）は「0x02」である。また、第１のノンベースビューのビデオエレメンタリストリームには、ＭＰＥＧ４−ＡＶＣの符号化が施されたノンベースビューの画像データが含まれており、ストリーム・タイプ（Stream_Type）は「0x1B」である。さらに、第２のノンベースビューのビデオエレメンタリストリームには、ＭＰＥＧ４−ＡＶＣの符号化が施されたノンベースビューの画像データが含まれており、ストリーム・タイプ（Stream_Type）は「0x20」である。
【０１８１】
また、第１のトランスポートストリームＴＳ１には、ストリーム関連付け情報ＳＡＩ（Stream_Association Information）が含まれている。このストリーム関連付け情報ＳＡＩにより、ベースビューおよびノンベースビューの３つのビデオエレメンタリストリームが、パケット識別子（ＰＩＤ）、あるいはコンポーネント・タグ(Component_tag)で関連付けされている。
【０１８２】
第２のトランスポートストリームＴＳ２には、２次元（２Ｄ）画像データのビデオエレメンタリストリームが含まれている。このビデオエレメンタリストリームには、上述したベースビューのビデオエレメンタリストリームと同様に、ＭＰＥＧ２ｖｉｄｅｏの符号化が施された２次元（２Ｄ）画像データが含まれており、ストリーム・タイプ（Stream_Type）は、「0x02」である。この第２のトランスポートストリームＴＳ２には、ストリーム関連付け情報ＳＡＩが含まれていない。
【０１８３】
受信機２００では、図２５、図２６、あるいは図２７に示すようなトラスポートストリームの送信例にあっても、第１のトランスポートストリームＴＳ１と第２のトランスポートストリームＴＳ２の動的な変化、つまり配信内容の動的な変化に的確に対応でき、正しいストリーム受信を行うことができる。
【０１８４】
すなわち、ｔn-1の期間、第１のトランスポートストリームＴＳ１が送られてくる。この第１のトランスポートストリームＴＳ１には、ストリーム関連付け情報ＳＡＩ（Stream_Association Information）が含まれており、２つ、あるいは３つのビデオエレメンタリストリームが、パケット識別子（ＰＩＤ）、あるいはコンポーネント・タグ(Component_tag)で関連付けされている。
【０１８５】
そのため、受信機２００では、第１のトランスポートストリームＴＳ１が送られてきていることを容易に把握できる。また、受信機２００ではベースビューのビデオエレメンタリストリームに関連付けされているノンベースビューのビデオエレメンタリストリームを容易に把握できる。受信機２００は、このｔn-1の期間、立体（３Ｄ）画像データの受信状態となる。したがって、受信機２００では、この第１のトランスポートストリームＴＳ１の受信を正しく行うことができ、立体（３Ｄ）画像データを構成するベースビューおよびノンベースビューの画像データを取得し、それらを、出力同期を取って表示できる。
【０１８６】
また、ｔn-1の期間に続くｔnの期間、第２のトランスポートストリームＴＳ２が送られてくる。この第２のトランスポートストリームＴＳ２には、ストリーム関連付け情報ＳＡＩが含まれていない。そのため、受信機２００では、第２のトランスポートストリームＴＳ２が送られてきていることを容易に把握でき、このｔn-1の期間、二次元（２Ｄ）画像データの受信状態となる。したがって、受信機２００では、この第２のトランスポートストリームＴＳ２の受信を正しく行うことができ、二次元（２Ｄ）画像データを取得できる。
【０１８７】
さらに、ｔnの期間に続くｔn+1の期間、第１のトランスポートストリームＴＳ１が送られてくる。このｔn+1の期間、上述のｔn-1の期間と同様に、受信機２００では、ストリーム関連付け情報ＳＡＩに基づいて、この第１のトランスポートストリームＴＳ１の受信を正しく行うことができ、立体（３Ｄ）画像データを構成するベースビューおよびノンベースビューの画像データを取得し、それらを、出力同期を取って表示できる。
【０１８８】
また、上述実施の形態においては、第１のビデオエレメンタリストリームに含まれるベースビューの画像データと、第２のビデオエレメンタリストリームに含まれるノンベースビューの画像データの解像度が同じであることを前提としている。しかし、各画像データの解像度は同じでなくてもよい。例えば、ベースビューの画像データの解像度が１９２０×１０８０、ノンベースビューの画像データの解像度が１２８０×７２０、あるいは他の解像度などである。
【０１８９】
図２８は、第１のトランスポートストリームＴＳ１と第２のトランスポートストリームＴＳ２とが交互に送信されるトランスポートストリームの送信例を示している。この送信例では、第１のトランスポートストリームＴＳ１に含まれ、ストリーム関連付け情報ＳＡＩで関連付けされる各エレメンタリストリームの画像データの解像度が異なるものとされている。
【０１９０】
第１のトランスポートストリームＴＳ１には、ベースビューおよびノンベースビューの２つのビデオエレメンタリストリームが含まれている。ベースビューのビデオエレメンタリストリームには、例えば、１９２０×１０８０の解像度の画像データが含まれており、ストリーム・タイプ（Stream_Type）は「0x02」、あるいは「0x1B」である。また、ノンベースビューのビデオエレメンタリストリームには、例えば、１２８０×７２０の解像度の画像データが含まれており、ストリーム・タイプ（Stream_Type）は「0x02」、あるいは「0x1B」である。
【０１９１】
また、第１のトランスポートストリームＴＳ１には、ストリーム関連付け情報ＳＡＩ（Stream_Association Information）が含まれている。このストリーム関連付け情報ＳＡＩにより、ベースビューおよびノンベースビューの２つのビデオエレメンタリストリームが、パケット識別子（ＰＩＤ）、あるいはコンポーネント・タグ(Component_tag)で関連付けされている。
【０１９２】
第２のトランスポートストリームＴＳ２には、２次元（２Ｄ）画像データのビデオエレメンタリストリームが含まれている。このビデオエレメンタリストリームには、上述したベースビューのビデオエレメンタリストリームと同様に、例えば、１９２０×１０８０の解像度の画像データが含まれており、ストリーム・タイプ（Stream_Type）は「0x02」、あるいは「0x1B」である。この第２のトランスポートストリームＴＳ２には、ストリーム関連付け情報ＳＡＩが含まれていない。
【０１９３】
受信側では、図２８に示すようなトラスポートストリームの送信例にあっても、第１のトランスポートストリームＴＳ１と第２のトランスポートストリームＴＳ２の動的な変化、つまり配信内容の動的な変化に的確に対応でき、正しいストリーム受信を行うことができる。
【０１９４】
すなわち、ｔn-1の期間、第１のトランスポートストリームＴＳ１が送られてくる。この第１のトランスポートストリームＴＳ１には、ストリーム関連付け情報ＳＡＩ（Stream_Association Information）が含まれており、２つのビデオエレメンタリストリームが、パケット識別子（ＰＩＤ）、あるいはコンポーネント・タグ(Component_tag)で関連付けされている。
【０１９５】
そのため、受信側では、第１のトランスポートストリームＴＳ１が送られてきていることを容易に把握できる。また、受信側ではベースビューのビデオエレメンタリストリームに関連付けされているノンベースビューのビデオエレメンタリストリームを容易に把握できる。受信側は、このｔn-1の期間、立体（３Ｄ）画像データの受信状態となる。したがって、受信側では、この第１のトランスポートストリームＴＳ１の受信を正しく行うことができ、立体（３Ｄ）画像データを構成するベースビューおよびノンベースビューの画像データを取得できる。
【０１９６】
また、ｔn-1の期間に続くｔnの期間、第２のトランスポートストリームＴＳ２が送られてくる。この第２のトランスポートストリームＴＳ２には、ストリーム関連付け情報ＳＡＩが含まれていない。そのため、受信側では、第２のトランスポートストリームＴＳ２が送られてきていることを容易に把握でき、このｔn-1の期間、二次元（２Ｄ）画像データの受信状態となる。したがって、受信側では、この第２のトランスポートストリームＴＳ２の受信を正しく行うことができ、二次元（２Ｄ）画像データを取得できる。
【０１９７】
さらに、ｔnの期間に続くｔn+1の期間、第１のトランスポートストリームＴＳ１が送られてくる。このｔn+1の期間、上述のｔn-1の期間と同様に、受信側では、ストリーム関連付け情報ＳＡＩに基づいて、この第１のトランスポートストリームＴＳ１の受信を正しく行うことができ、立体（３Ｄ）画像データを取得できる。
【０１９８】
ここで、受信側で取得される立体（３Ｄ）画像データは、解像度を異にするベースビューおよびノンベースビューの画像データから構成されている。受信側では、例えば、各画像データの出力解像度を等しくする解像度調整処理が行われてもよい。この場合、出力解像度は、例えば、ベースビューの画像データの解像度、あるいは受信側で予め設定された解像度に調整される。また、この場合、後述するように、ストリーム関連付け情報ＳＡＩに、出力解像度の制御情報が含まれている場合、例えば、所定のビデオエレメンタリストリームの画像データの解像度に調整される。
【０１９９】
図２９は、解像度調整部を備える受信機２００Ａの構成例を示している。この図２９において、図１５と対応する部分には同一符号を付し、その詳細説明は省略する。この受信機２００Ａは、ＣＰＵ２０１と、フラッシュＲＯＭ２０２と、ＤＲＡＭ２０３と、内部バス２０４と、リモコン受信部２０５と、リモコン送信機２０６を有している。また、この受信機２００は、アンテナ端子２１１と、デジタルチューナ２１２と、トランスポートストリームバッファ（ＴＳバッファ）２１３と、デマルチプレクサ２１４を有している。
【０２００】
また、受信機２００Ａは、ビデオデコーダ２１５と、ビューバッファ２１６，２１６-1〜２１６-Nと、スケーラ２２４，２２４-1〜２２４-Nと、ビデオ重畳部２１７，２１７-1〜２１７-Nを有している。さらに、受信機２００は、グラフィクスデコーダ２１８と、グラフィクス発生部２１９と、視差情報デコーダ２２０と、グラフィクスバッファ２２１，２２１-1〜２２１-Nと、オーディオデコーダ２２２と、チャネル処理部２２３を有している。
【０２０１】
スケーラ２２４，２２４-1〜２２４-Nは、ＣＰＵ２０１の制御のもと、ビューバッファ２１６，２１６-1〜２１６-Nから出力される各ビューの画像データの出力解像度が、所定の解像度となるように調整する。スケーラ２２４，２２４-1〜２２４-Nは、解像度調整部を構成している。ビデオ重畳部２１７，２１７-1〜２１７-Nには、解像度調整された各ビューの画像データが送られる。
【０２０２】
この場合、ＣＰＵ２０１は、ビデオデコーダ２１５から、各ビューの画像データの解像度情報を取得する。ＣＰＵ２０１は、各ビューの画像データの出力解像度が目標解像度となるように、各ビューの解像度情報に基づいて、スケーラ２２４，２２４-1〜２２４-Nのフィルタ設定を実行する。スケーラ２２４，２２４-1〜２２４-Nでは、入力画像データの解像度が目標解像度と異なるとき、補間処理により解像度変換が行われて、目標解像度の出力画像データが得られる。
【０２０３】
図２９に示す受信機２００Ａにおけるその他は、詳細説明は省略するが、図１５に示す受信機２００と同様に構成され、同様に動作する。
【０２０４】
また、上述実施の形態においては、ストリーム関連付け情報ＳＡＩにより、ベースビューおよび所定数のノンベースビューのビデオエレメンタリストリームを関連付けするものを示した。しかし、このストリーム関連付け情報ＳＡＩにより、例えば、ベースビューの画像データに関連するメタデータをも関連付けすることが考えられる。メタデータとしては、例えば視差情報（視差ベクトルあるいは奥行きデータ）などが考えられる。
【０２０５】
図３０は、第１のトランスポートストリームＴＳ１と第２のトランスポートストリームＴＳ２とが交互に送信されるトランスポートストリームの送信例を示している。この送信例では、第１のトランスポートストリームＴＳ１には、ベースビューおよびノンベースビューの２つのビデオエレメンタリストリームと、視差情報エレメンタリストリームが含まれている。
【０２０６】
ベースビューのビデオエレメンタリストリームには、例えば、ベースビューの画像データが含まれており、ストリーム・タイプ（Stream_Type）は「0x02」、あるいは「0x1B」である。また、ノンベースビューのビデオエレメンタリストリームには、ノンベースビューの画像データが含まれており、ストリーム・タイプ（Stream_Type）は「0x02」、あるいは「0x1B」である。さらに、視差情報エレメンタリストリームには、例えば、ピクセル（画素）毎の視差情報が含まれており、ストリーム・タイプ（Stream_Type）は「0xAB」である。
【０２０７】
また、第１のトランスポートストリームＴＳ１には、ストリーム関連付け情報ＳＡＩ（Stream_Association Information）が含まれている。このストリーム関連付け情報ＳＡＩにより、ベースビューおよびノンベースビューの２つのビデオエレメンタリストリームと共に視差情報エレメンタリストリームが、パケット識別子（ＰＩＤ）、あるいはコンポーネント・タグ(Component_tag)で関連付けされている。
【０２０８】
第２のトランスポートストリームＴＳ２には、２次元（２Ｄ）画像データのビデオエレメンタリストリームが含まれている。このビデオエレメンタリストリームには、上述したベースビューのビデオエレメンタリストリームと同様に、２次元（２Ｄ）画像データが含まれており、ストリーム・タイプ（Stream_Type）は「0x02」、あるいは「0x1B」である。この第２のトランスポートストリームＴＳ２には、ストリーム関連付け情報ＳＡＩが含まれていない。
【０２０９】
受信側では、図３０に示すようなトラスポートストリームの送信例にあっても、第１のトランスポートストリームＴＳ１と第２のトランスポートストリームＴＳ２の動的な変化、つまり配信内容の動的な変化に的確に対応でき、正しいストリーム受信を行うことができる。
【０２１０】
すなわち、ｔn-1の期間、第１のトランスポートストリームＴＳ１が送られてくる。この第１のトランスポートストリームＴＳ１には、ストリーム関連付け情報ＳＡＩ（Stream_Association Information）が含まれており、２つのビデオエレメンタリストリームと、１つの視差情報エレメンタリストリームが、パケット識別子（ＰＩＤ）、あるいはコンポーネント・タグ(Component_tag)で関連付けされている。
【０２１１】
そのため、受信側では、第１のトランスポートストリームＴＳ１が送られてきていることを容易に把握できる。また、受信側ではベースビューのビデオエレメンタリストリームに関連付けされているノンベースビューのビデオエレメンタリストリーム、さらには視差情報エレメンタリストリームを容易に把握できる。受信側は、このｔn-1の期間、立体（３Ｄ）画像データの受信状態となる。したがって、受信側では、この第１のトランスポートストリームＴＳ１の受信を正しく行うことができ、立体（３Ｄ）画像データを構成するベースビューおよびノンベースビューの画像データと、この立体画像データに対応したピクセル（画素）毎の視差情報を取得できる。
【０２１２】
また、ｔn-1の期間に続くｔnの期間、第２のトランスポートストリームＴＳ２が送られてくる。この第２のトランスポートストリームＴＳ２には、ストリーム関連付け情報ＳＡＩが含まれていない。そのため、受信側では、第２のトランスポートストリームＴＳ２が送られてきていることを容易に把握でき、このｔn-1の期間、二次元（２Ｄ）画像データの受信状態となる。したがって、受信側では、この第２のトランスポートストリームＴＳ２の受信を正しく行うことができ、二次元（２Ｄ）画像データを取得できる。
【０２１３】
さらに、ｔnの期間に続くｔn+1の期間、第１のトランスポートストリームＴＳ１が送られてくる。このｔn+1の期間、上述のｔn-1の期間と同様に、受信側では、ストリーム関連付け情報ＳＡＩに基づいて、この第１のトランスポートストリームＴＳ１の受信を正しく行うことができ、立体（３Ｄ）画像データおよびそれに対応した視差情報を取得できる。
【０２１４】
ここで、受信側では、立体（３Ｄ）画像データに対応した視差情報（ピクセル毎の視差情報）に基づいて、ベースビューおよびノンベースビューの画像データに補間処理（ポスト処理）を施して、所定数のビューの表示画像データを得ることが可能となる。
【０２１５】
図３１は、ポスト処理部を備える受信機２００Ｂの構成例を示している。この図３１において、図１５と対応する部分には同一符号を付し、その詳細説明は省略する。この受信機２００Ｂは、ＣＰＵ２０１と、フラッシュＲＯＭ２０２と、ＤＲＡＭ２０３と、内部バス２０４と、リモコン受信部２０５と、リモコン送信機２０６を有している。また、この受信機２００は、アンテナ端子２１１と、デジタルチューナ２１２と、トランスポートストリームバッファ（ＴＳバッファ）２１３と、デマルチプレクサ２１４を有している。
【０２１６】
また、受信機２００Ａは、ビデオデコーダ２１５と、ビューバッファ２１６，２１６-1〜２１６-Nと、ビデオ重畳部２１７，２１７-1〜２１７-Nと、メタデータバッファ２２５と、ポスト処理部２２６を有している。さらに、受信機２００は、グラフィクスデコーダ２１８と、グラフィクス発生部２１９と、視差情報デコーダ２２０と、グラフィクスバッファ２２１，２２１-1〜２２１-Nと、オーディオデコーダ２２２と、チャネル処理部２２３を有している。
【０２１７】
メタデータバッファ２２５は、ビデオデコーダ２１５で取得されるピクセル（画素）毎の視差情報を一時的に蓄積する。なお、視差情報がピクセル（画素）毎の視差情報である場合、この視差情報を画素データのように取り扱うことができる。ビデオデコーダ２１５でピクセル（画素）毎の視差情報が取得されるものにあっては、送信側において、視差情報に対して画像データと同様の符号化方式で符号化が施されて視差情報エレメンタリストリームが生成されている。
【０２１８】
ポスト処理部２２６は、メタデータバッファ２２５に蓄積されているピクセル（画素）毎の視差情報を用い、ビューバッファ２１６，２１６-1〜２１６-Nから出力される各ビューの画像データに補間処理（ポスト処理）を施して、所定数のビューの表示画像データDisplay View 1〜Display View Pを得る。
【０２１９】
図３１に示す受信機２００Ｂにおけるその他は、詳細説明は省略するが、図１５に示す受信機２００と同様に構成され、同様に動作する。
【０２２０】
また、上述実施の形態におけるストリーム関連付け情報ＳＡＩは、ベースビューおよびノンベースビュー等のエレメンタリストリームを関連付けるための情報（パケット識別子情報、コンポーネント・タグ情報）を含んでいる。しかし、このストリーム関連付け情報ＳＡＩに、さらに、他の情報を含めることも考えられる。例えば、ベースビューおよびノンベースビューの画像データの出力解像度の制御情報を含めることが考えられる。また、例えば、所定数のノンベースビューの画像データを表示必須とするか否かを指定する制御情報を含めることが考えられる。
【０２２１】
図３２は、Ｍ個のストリーム関連付け情報を用いる場合において、ＰＥＳパケットのプライベート領域に挿入される、各ストリーム・アソシエーション・データ「Stream_Association data」の構成例を示している。図３３、図３４は、図３２に示す構成における各情報の内容を示している。図３２のデータ構成例は、パケット識別子（PID）によって関連付けする例である。
【０２２２】
「Stream_association_tag」は、データタイプを示す８ビットのデータであり、ここでは、ストリーム・アソシエーション・データであることを示す。「Stream_association_data_length」は、データの長さ（サイズ）を示す８ビットのデータである。このデータは、データの長さとして、「Stream_association_data_length」以降のバイト数を示す。「stream_association_number」は、ストリーム・アソシエーション・データの個数を示す４ビットのデータであり、０〜１５の値をとる。ストリーム・アソシエーション・データの個数がＭであるときは、（Ｍ−１）の値に設定される。
【０２２３】
「stream_association_id」は、このストリーム・アソシエーション・データ、つまり自身を特定する識別情報としての４ビットのデータである。例えば、ベースビューと所定数のノンベースビューのビデオエレメンタリストリームを関連付けるために全部で２個のストリーム・アソシエーション・データが用いられる場合を考える。この場合、例えば、１番目のストリーム・アソシエーション・データにおいては「stream_association_id=0」とされ、２番目のストリーム・アソシエーション・データにおいては「stream_association_id=1」とされる。
【０２２４】
「stream_count_for_association」は、このストリーム・アソシエーション・データにおいて、ベースビューに関連付けられるノンベースビューの個数を示す４ビットのデータであり、０〜１５の値をとる。ステレオ立体画像の場合、「stream_count_for_association=1」となる。
【０２２５】
「indication_of_resolution_master」は、１ビットのフラグ情報である。このフラグ情報は、このストリーム・アソシエーション・データにおいてベースビューと関連付けられる所定数のノンベースビューのビデオエレメンタリストリームの中に、出力解像度の点でマスター（primary master）となるものがあるか否かを示す。“１”はノンベースビューのビデオエレメンタリストリームの中にマスターが存在することを示す。“０”はベースビューのビデオエレメンタリストリームがマスターであることを示し、受信（デコーダ）側は、このベースビューのビデオエレメンタリストリームに含まれる画像データの解像度を、各ビューの画像データの出力解像度の目標とする。
【０２２６】
「Elementary_PID_of_minimum_view_id」は、ベースビューのビデオエレメンタリストリームのパケット識別子「PID」を示す１３ビットのデータである。この「Elementary_PID_of_minimum_view_id」に対して、「stream_count_for_association」が示す数だけ「Associated_stream_Elementary_PID」が存在する。この「Associated_stream_Elementary_PID」は、ベースビューのビデオエレメンタリストリームと関連付けられているノンベースビューのビデオエレメンタリストリームのパケット識別子「PID」を示す１３ビットのデータである。
【０２２７】
「indication_of_selected_stream_display」は、１ビットのフラグ情報である。このフラグ情報は、このストリーム・アソシエーション・データにおいてベースビュー自体と、それに関連付けられる所定数のノンベースビューのビデオエレメンタリストリームの中で、デコードそして表示が必須であるものを示す。“１”はベースビューのビデオエレメンタリストリームとノンベースビューのビデオエレメンタリストリームのうちのいずれかが表示必須であることを示し、“０”はベースビューのビデオエレメンタリストリームとノンベースビューのビデオエレメンタリストリームの全てが表示必須であることを示す。“１”の場合、display_mandatory_flagでセットされたノンベースビューのビデオエレメンタリストリームはベースビューのビデオエレメンタリストリームと共に表示必須となる。
【０２２８】
また、「Elementary_PID_of_minimum_view_id」に対して、「stream_count_for_association」が示す数だけ、「display_mandatory_flag」および「resolution_master_flag」が存在する。「display_mandatory_flag」は、１ビットのフラグ情報である。この「display_mandatory_flag」は、このノンベースビューのビデオエレメンタリストリーム（画像データ）が表示必須であるか否かを示す。“１”は表示必須（mandatory）を示し、“０”は表示必須ではないことを示す。この「display_mandatory_flag」は、各ノンベースビューの画像データのそれぞれに対して表示必須か否かを指定する制御情報を構成している。
【０２２９】
例えば、左眼画像データを含むベースビューのビデオエレメンタリストリームに対して、右眼画像データを含むノンベースビューのビデオエレメンタリストリームが関連付けられている場合を考える。この場合、「indication_of_selected_stream_display」が“０”であるとき、受信（デコーダ）側は左眼画像データおよび右眼画像データの双方を表示画像データとして出力する。一方、「indication_of_selected_stream_display」が“１”であり、かつ、ノンベースビューの「display_mandatory_flag」が“０”のとき、ノンベースビューは表示が必須ではないので、受信（デコーダ）側は、左眼画像データあるいは右眼画像データのみ、あるいは左眼画像データおよび右眼画像データの双方を表示画像データとして出力する。
【０２３０】
「resolution_master_flag」は、１ビットのフラグ情報である。この「resolution_master_flag」は、このノンベースビューのビデオエレメンタリストリームが出力解像度の点でマスター（primary master）であるか否かを示す。“１”はマスターであることを示し、“０”はマスターではないことを示す。「resolution_master_flag」が“１”であってマスターであるとき、受信（デコーダ）側は、このノンベースビューのビデオエレメンタリストリームに含まれる画像データの解像度を、各ビューの画像データの出力解像度の目標とする。この「resolution_master_flag」は、上述の「indication_of_resolution_master」と共に、各ビューの画像データの出力解像度の制御情報を構成している。
【０２３１】
図３５は、ストリーム・アソシエーション・データの他の構成例を示している。図３３、図３４は、図３５に示す構成における各情報の内容も示している。図３５の構成例は、コンポーネント・タグ（Component_tag）によって関連付けする例である。「Component_tag_minimum_view_id」は、図３２のデータ構成例における「Elementary_PID_of_minimum_view_id」の代わりに配置されたデータである。このデータは、ベースビューのビデオエレメンタリストリームのコンポーネント・タグ（Component_tag）を示す８ビットのデータである。
【０２３２】
そして、「Component_tag_minimum_view_id」に対して、「stream_count_for_association」が示す数だけ「Component_tag_Associated_stream」等が存在する。この「Component_tag_Associated_stream」は、ベースビューのビデオエレメンタリストリームと関連付けられているノンベースビューのビデオエレメンタリストリームのコンポーネント・タグ（Component_tag）を示す８ビットのデータである。このように、図３５のデータ構成例では、ストリーム関連付け情報は、ベースビューと所定数のノンベースビューのビデオエレメンタリストリームのコンポーネント・タグ（Component_tag）を関連付けする情報となっている。
【０２３３】
なお、詳細説明は省略するが、ＥＩＴの配下等に挿入されるストリーム・アソシエーション・デスクリプタ「Stream_Association_descriptor」に関しても、図３２、あるいは図３５に示すストリーム・アソシエーション・データと同様に構成できる。
【０２３４】
また、上述実施の形態においては、立体（３Ｄ）画像データを含む第１のトランスポートストリームＴＳ１と、二次元（２Ｄ）画像データを含む第２のトランスポートストリームＴＳ２とが送信される例に着目した。しかし、この発明は、ＡＶＣストリームとＳＶＣストリームとの送信が行われる場合にも同様に適用できる。
【０２３５】
ＳＶＣストリームには、スケーラブル符号化画像データを構成する最下位層の符号化画像データのビデオエレメンタリストリームが含まれる。さらに、このＳＶＣストリームには、スケーラブル符号化画像データを構成する最下位層以外の所定数の上位階層の符号化画像データのビデオエレメンタリストリームが含まれる。このＳＶＣストリームに、上述のストリーム関連付け情報ＳＡＩと同様の情報を挿入することで、受信側では、ＡＶＣストリームとＳＶＣストリームの動的な変化、つまり配信内容の動的な変化に的確に対応でき、正しいストリーム受信を行うことが可能となる。
【０２３６】
また、上述実施の形態においては、トランスポートストリームＴＳを放送波にのせて配信する例を示したが、この発明は、このトランスポートストリームＴＳを、インターネット等のネットワークを通じて配信する場合にも同様に適用できる。一方で、トランスポートストリームＴＳ以外のコンテナファイルフォーマットにおけるインターネット配信の場合にも、上述の関連付けデータの構成は適用できる。
【産業上の利用可能性】
【０２３７】
この発明は、立体画像データ、スケーラブル符号化画像データ等を構成する複数の画像データのビデオエレメンタリストリームを含むＭＶＣ、ＳＶＣ等のトランスポートストリームの送受信を行う画像データ送受信システムに適用できる。
【符号の説明】
【０２３８】
１０・・・画像送受信システム
１００・・・放送局
１１０・・・送信データ生成部
１１１・・・データ取り出し部
１１１ａ・・・データ記録媒体
１１２・・・ビデオエンコーダ
１１３・・・視差情報エンコーダ
１１４・・・オーディオエンコーダ
１１５・・・グラフィクス発生部
１１６・・・グラフィクスエンコーダ
１１７・・・マルチプレクサ
２００，２００Ａ，２００Ｂ・・・受信機
２０１・・・ＣＰＵ
２１２・・・デジタルチューナ
２１３・・・トランスポートストリームバッファ（ＴＳバッファ）
２１４・・・デマルチプレクサ
２１５・・・ビデオデコーダ
２１６，２１６-1〜２１６-N・・・ビューバッファ
２１７，２１７-1〜２１７-N・・・ビデオ重畳部
２１８・・・グラフィクスデコーダ
２１９・・・グラフィクス発生部
２２０・・・視差情報デコーダ
２２１，２２１-1〜２２１-N・・・グラフィクスバッファ
２２２・・・オーディオデコーダ
２２３・・・チャネル処理部
２２４，２２４-1〜２２４-N・・・スケーラ
２２５・・・メタデータバッファ
２２６・・・ポスト処理部
【特許請求の範囲】
【請求項１】
第１の画像データと、該第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータを出力するデータ出力部と、
トランスポートストリームを送信するデータ送信部とを備え、
上記トランスポートストリームは、上記データ出力部から出力される第１の画像データを含む第１のエレメンタリストリームおよび上記データ出力部から出力される所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームをパケット化して得られた各パケットを有し、
上記データ送信部は、上記トランスポートストリームに、上記第１のエレメンタリストリームと上記所定数の第２のエレメンタリストリームとを関連付けるためのストリーム関連付け情報を挿入する
画像データ送信装置。
【請求項２】
上記ストリーム関連付け情報は、上記第１のエレメンタリストリームのパケット識別子と、上記所定数の第２のエレメンタリストリームのパケット識別子とを関連付ける情報である
請求項１に記載の画像データ送信装置。
【請求項３】
上記ストリーム関連付け情報は、上記第１のエレメンタリストリームのコンポーネント・タグと、上記所定数の第２のエレメンタリストリームのコンポーネント・タグとを関連付ける情報である
請求項１に記載の画像データ送信装置。
【請求項４】
上記データ送信部は、上記ストリーム関連付け情報を、上記第１のエレメンタリストリームをパケット化して得られたパケットのプライベートデータ領域に挿入する
請求項１に記載の画像データ送信装置。
【請求項５】
上記トランスポートストリームには、イベント単位の管理を行うサービス・インフォメーションとしてのイベント・インフォメーション・テーブルが含まれており、
上記データ送信部は、上記ストリーム関連付け情報を、上記イベント・インフォメーション・テーブルの配下に挿入する
請求項１に記載の画像データ送信装置。
【請求項６】
上記トランスポートストリームには、該トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを示すプログラム・スペシフィック・インフォメーションとしてのプログラム・マップ・テーブルが含まれており、
上記データ送信部は、上記ストリーム関連付け情報を、上記プログラム・マップ・テーブルの配下に挿入する
請求項１に記載の画像データ送信装置。
【請求項７】
上記データ送信部は、上記ストリーム関連付け情報を、上記プログラム・マップ・テーブルのプログラム・デスクリプタとして挿入する
請求項６に記載の画像データ送信装置。
【請求項８】
上記データ送信部は、上記ストリーム関連付け情報を、上記プログラム・マップ・テーブルのビデオエレメンタリ・ループの配下に挿入する
請求項６に記載の画像データ送信装置。
【請求項９】
上記第１のエレメンタリストリームに含まれる第１の画像データの符号化方式と、上記所定数の第２のエレメンタリストリームに含まれる第２の画像データの符号化方式として、任意の符号化方式の組み合わせが可能とされている
請求項１に記載の画像データ送信装置。
【請求項１０】
上記第１の画像データは、立体画像データを構成するベースビューの画像データであり、
上記第２の画像データは、上記立体画像データを構成する上記ベースビュー以外のビューの画像データである
請求項１に記載の画像データ送信装置。
【請求項１１】
上記第１の画像データは、ステレオ立体画像を得るための左眼および右眼の一方の画像データであり、
上記第２の画像データは、上記ステレオ立体画像を得るための左眼および右眼の他方の画像データである
請求項１０に記載の画像データ送信装置。
【請求項１２】
上記メタデータは、上記立体画像データに対応した視差情報である
請求項１０に記載の画像データ送信装置。
【請求項１３】
上記第１の画像データは、スケーラブル符号化画像データを構成する最下位層の符号化画像データであり、
上記第２の画像データは、上記スケーラブル符号化画像データを構成する上記最下位層以外の階層の符号化画像データである
請求項１に記載の画像データ送信装置。
【請求項１４】
上記ストリーム関連付け情報は、上記第１の画像データおよび上記第２の画像データの出力解像度の制御情報をさらに含む
請求項１に記載の画像データ送信装置。
【請求項１５】
上記ストリーム関連付け情報は、上記所定数の第２の画像データのそれぞれに対して表示必須とするか否かを指定する制御情報をさらに含む
請求項１に記載の画像データ送信装置。
【請求項１６】
上記データ送信部は、上記トランスポートストリームに、Ｍ個（Ｍは２以上の整数）の上記ストリーム関連付け情報を挿入し、
上記Ｍ個のストリーム関連付け情報は、上記第１のエレメンタリストリームと、上記所定数の第２のエレメンタリストリームをＭ組に分割して得られたそれぞれの組内の上記第２のエレメンタリストリームとを関連付けする
請求項１に記載の画像データ送信装置。
【請求項１７】
第１の画像データと、該第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータを出力するデータ出力ステップと、
トランスポートストリームを送信するデータ送信ステップとを備え、
上記トランスポートストリームは、上記第１の画像データを含む第１のエレメンタリストリームおよび上記所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームをパケット化して得られた各パケットを有し、
上記データ送信ステップは、上記トランスポートストリームに、上記第１のエレメンタリストリームと上記所定数の第２のエレメンタリストリームとを関連付けるためのストリーム関連付け情報を挿入する
画像データ送信方法。
【請求項１８】
少なくとも、第１のトランスポートストリームおよび第２のトランスポートストリームを時分割的に送信するデータ送信部を備え、
上記第１のトランスポートストリームは、第１の画像データを含む第１のエレメンタリストリームと上記第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームをパケット化して得られた各パケットを有し、さらに、上記第１のエレメンタリストリームと上記所定数の第２のエレメンタリストリームとを関連付けるためのストリーム関連付け情報を有し、
上記第２のトランスポートストリームは、第３の画像データを含む第３のエレメンタリストリームをパケット化して得られたパケットを有する
画像データ送信装置。
【請求項１９】
少なくとも、第１のトランスポートストリームおよび第２のトランスポートストリームを時分割的に受信するデータ受信部と、
上記データ受信部で受信された上記第１のトランスポートストリームおよび上記第２のトランスポートストリームからデータを取得するデータ取得部とを備え、
上記第１のトランスポートストリームは、第１の画像データを含む第１のエレメンタリストリームと上記第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームをパケット化して得られた各パケットを有し、さらに、上記第１のエレメンタリストリームと上記所定数の第２のエレメンタリストリームとを関連付けるためのストリーム関連付け情報を有し、
上記第２のトランスポートストリームは、第３の画像データを含む第３のエレメンタリストリームをパケット化して得られたパケットを有し、
上記データ取得部は、
上記データ受信部で上記第１のトランスポートストリームを受信するとき、該第１のトランスポートストリームから上記第１の画像データを取得し、さらに、該第１のトランスポートストリームから、上記ストリーム関連付け情報に基づいて、上記所定数の第２の画像データおよび／またはメタデータを取得し、
上記画像データ受信部で上記第２のトランスポートストリームを受信するとき、該第２のトランスポートストリームから上記第３の画像データを取得する
画像データ受信装置。
【請求項２０】
重畳情報のデータを出力する重畳情報データ出力部と、
上記画像データ取得部で取得された画像データに上記重畳情報データ出力部から出力される重畳情報のデータを重畳するデータ重畳部をさらに備え、
上記データ受信部で上記第１のトランスポートストリームが受信されて上記データ取得部で取得される上記第１の画像データは、立体画像データを構成するベースビューの画像データであり、
上記データ受信部で上記第１のトランスポートストリームが受信されて上記データ取得部で取得される上記所定数の第２の画像データは、上記立体画像データを構成する上記ベースビュー以外の所定数のビューの画像データであり、
上記データ受信部で上記第１のトランスポートストリームが受信されて上記データ取得部で取得される上記第３の画像データは、２次元画像データであり、
上記データ重畳部は、
上記データ受信部で上記第１のトランスポートストリームが受信されるとき、上記データ取得部で取得される上記第１の画像データによる画像と上記所定数の第２の画像データによる画像との間の視差情報に基づいて、上記重畳情報データ出力部から出力される上記重畳情報のデータの重畳位置を調整し、該重畳位置が調整された重畳情報のデータを上記第１の画像データおよび上記所定数の第２の画像データに重畳し、
上記データ受信部で上記第２のトランスポートストリームが受信されるとき、上記データ取得部で取得される上記第３の画像データに上記重畳情報データ出力部から出力される上記重畳情報のデータをそのまま重畳する
請求項１９に記載の画像データ受信装置。
【請求項２１】
第１の画像データを含む第１のエレメンタリストリームと上記第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームをパケット化して得られた各パケットを有し、さらに、上記第１のエレメンタリストリームと上記所定数の第２のエレメンタリストリームとを関連付けるためのストリーム関連付け情報を有するトランスポートストリームを受信するデータ受信部と、
上記データ受信部で受信された上記トランスポートストリームから、上記第１の画像データを取得し、さらに、該第１のトランスポートストリームから、上記ストリーム関連付け情報に基づいて、上記所定数の第２の画像データおよび／またはメタデータを取得するデータ取得部と
を備える画像データ受信装置。
【請求項２２】
上記データ取得部で取得された上記第１の画像データおよび上記第２の画像データの出力解像度を調整する解像度調整部をさらに備える
請求項２１に記載の画像データ受信装置。
【請求項２３】
上記ストリーム関連付け情報は、上記第１の画像データおよび上記第２の画像データの出力解像度の制御情報をさらに含み、
上記解像度調整部は、上記ストリーム関連付け情報に含まれる上記出力解像度の制御情報に基づいて、上記第１の画像データおよび上記第２の画像データの出力解像度を調整し、出力同期を取って表示させる
請求項２２に記載の画像データ受信装置。
【請求項２４】
上記データ取得部で取得された上記メタデータは、上記立体画像データに対応した視差情報であり、
該視差情報を用い、上記データ取得部で取得された上記第１の画像データおよび上記第２の画像データに補間処理を施して、所定数のビューの表示画像データを得るポスト処理部をさらに備える
請求項２１に記載の画像データ受信装置。
【請求項１】
第１の画像データと、該第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータを出力するデータ出力部と、
トランスポートストリームを送信するデータ送信部とを備え、
上記トランスポートストリームは、上記データ出力部から出力される第１の画像データを含む第１のエレメンタリストリームおよび上記データ出力部から出力される所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームをパケット化して得られた各パケットを有し、
上記データ送信部は、上記トランスポートストリームに、上記第１のエレメンタリストリームと上記所定数の第２のエレメンタリストリームとを関連付けるためのストリーム関連付け情報を挿入する
画像データ送信装置。
【請求項２】
上記ストリーム関連付け情報は、上記第１のエレメンタリストリームのパケット識別子と、上記所定数の第２のエレメンタリストリームのパケット識別子とを関連付ける情報である
請求項１に記載の画像データ送信装置。
【請求項３】
上記ストリーム関連付け情報は、上記第１のエレメンタリストリームのコンポーネント・タグと、上記所定数の第２のエレメンタリストリームのコンポーネント・タグとを関連付ける情報である
請求項１に記載の画像データ送信装置。
【請求項４】
上記データ送信部は、上記ストリーム関連付け情報を、上記第１のエレメンタリストリームをパケット化して得られたパケットのプライベートデータ領域に挿入する
請求項１に記載の画像データ送信装置。
【請求項５】
上記トランスポートストリームには、イベント単位の管理を行うサービス・インフォメーションとしてのイベント・インフォメーション・テーブルが含まれており、
上記データ送信部は、上記ストリーム関連付け情報を、上記イベント・インフォメーション・テーブルの配下に挿入する
請求項１に記載の画像データ送信装置。
【請求項６】
上記トランスポートストリームには、該トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを示すプログラム・スペシフィック・インフォメーションとしてのプログラム・マップ・テーブルが含まれており、
上記データ送信部は、上記ストリーム関連付け情報を、上記プログラム・マップ・テーブルの配下に挿入する
請求項１に記載の画像データ送信装置。
【請求項７】
上記データ送信部は、上記ストリーム関連付け情報を、上記プログラム・マップ・テーブルのプログラム・デスクリプタとして挿入する
請求項６に記載の画像データ送信装置。
【請求項８】
上記データ送信部は、上記ストリーム関連付け情報を、上記プログラム・マップ・テーブルのビデオエレメンタリ・ループの配下に挿入する
請求項６に記載の画像データ送信装置。
【請求項９】
上記第１のエレメンタリストリームに含まれる第１の画像データの符号化方式と、上記所定数の第２のエレメンタリストリームに含まれる第２の画像データの符号化方式として、任意の符号化方式の組み合わせが可能とされている
請求項１に記載の画像データ送信装置。
【請求項１０】
上記第１の画像データは、立体画像データを構成するベースビューの画像データであり、
上記第２の画像データは、上記立体画像データを構成する上記ベースビュー以外のビューの画像データである
請求項１に記載の画像データ送信装置。
【請求項１１】
上記第１の画像データは、ステレオ立体画像を得るための左眼および右眼の一方の画像データであり、
上記第２の画像データは、上記ステレオ立体画像を得るための左眼および右眼の他方の画像データである
請求項１０に記載の画像データ送信装置。
【請求項１２】
上記メタデータは、上記立体画像データに対応した視差情報である
請求項１０に記載の画像データ送信装置。
【請求項１３】
上記第１の画像データは、スケーラブル符号化画像データを構成する最下位層の符号化画像データであり、
上記第２の画像データは、上記スケーラブル符号化画像データを構成する上記最下位層以外の階層の符号化画像データである
請求項１に記載の画像データ送信装置。
【請求項１４】
上記ストリーム関連付け情報は、上記第１の画像データおよび上記第２の画像データの出力解像度の制御情報をさらに含む
請求項１に記載の画像データ送信装置。
【請求項１５】
上記ストリーム関連付け情報は、上記所定数の第２の画像データのそれぞれに対して表示必須とするか否かを指定する制御情報をさらに含む
請求項１に記載の画像データ送信装置。
【請求項１６】
上記データ送信部は、上記トランスポートストリームに、Ｍ個（Ｍは２以上の整数）の上記ストリーム関連付け情報を挿入し、
上記Ｍ個のストリーム関連付け情報は、上記第１のエレメンタリストリームと、上記所定数の第２のエレメンタリストリームをＭ組に分割して得られたそれぞれの組内の上記第２のエレメンタリストリームとを関連付けする
請求項１に記載の画像データ送信装置。
【請求項１７】
第１の画像データと、該第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータを出力するデータ出力ステップと、
トランスポートストリームを送信するデータ送信ステップとを備え、
上記トランスポートストリームは、上記第１の画像データを含む第１のエレメンタリストリームおよび上記所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームをパケット化して得られた各パケットを有し、
上記データ送信ステップは、上記トランスポートストリームに、上記第１のエレメンタリストリームと上記所定数の第２のエレメンタリストリームとを関連付けるためのストリーム関連付け情報を挿入する
画像データ送信方法。
【請求項１８】
少なくとも、第１のトランスポートストリームおよび第２のトランスポートストリームを時分割的に送信するデータ送信部を備え、
上記第１のトランスポートストリームは、第１の画像データを含む第１のエレメンタリストリームと上記第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームをパケット化して得られた各パケットを有し、さらに、上記第１のエレメンタリストリームと上記所定数の第２のエレメンタリストリームとを関連付けるためのストリーム関連付け情報を有し、
上記第２のトランスポートストリームは、第３の画像データを含む第３のエレメンタリストリームをパケット化して得られたパケットを有する
画像データ送信装置。
【請求項１９】
少なくとも、第１のトランスポートストリームおよび第２のトランスポートストリームを時分割的に受信するデータ受信部と、
上記データ受信部で受信された上記第１のトランスポートストリームおよび上記第２のトランスポートストリームからデータを取得するデータ取得部とを備え、
上記第１のトランスポートストリームは、第１の画像データを含む第１のエレメンタリストリームと上記第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームをパケット化して得られた各パケットを有し、さらに、上記第１のエレメンタリストリームと上記所定数の第２のエレメンタリストリームとを関連付けるためのストリーム関連付け情報を有し、
上記第２のトランスポートストリームは、第３の画像データを含む第３のエレメンタリストリームをパケット化して得られたパケットを有し、
上記データ取得部は、
上記データ受信部で上記第１のトランスポートストリームを受信するとき、該第１のトランスポートストリームから上記第１の画像データを取得し、さらに、該第１のトランスポートストリームから、上記ストリーム関連付け情報に基づいて、上記所定数の第２の画像データおよび／またはメタデータを取得し、
上記画像データ受信部で上記第２のトランスポートストリームを受信するとき、該第２のトランスポートストリームから上記第３の画像データを取得する
画像データ受信装置。
【請求項２０】
重畳情報のデータを出力する重畳情報データ出力部と、
上記画像データ取得部で取得された画像データに上記重畳情報データ出力部から出力される重畳情報のデータを重畳するデータ重畳部をさらに備え、
上記データ受信部で上記第１のトランスポートストリームが受信されて上記データ取得部で取得される上記第１の画像データは、立体画像データを構成するベースビューの画像データであり、
上記データ受信部で上記第１のトランスポートストリームが受信されて上記データ取得部で取得される上記所定数の第２の画像データは、上記立体画像データを構成する上記ベースビュー以外の所定数のビューの画像データであり、
上記データ受信部で上記第１のトランスポートストリームが受信されて上記データ取得部で取得される上記第３の画像データは、２次元画像データであり、
上記データ重畳部は、
上記データ受信部で上記第１のトランスポートストリームが受信されるとき、上記データ取得部で取得される上記第１の画像データによる画像と上記所定数の第２の画像データによる画像との間の視差情報に基づいて、上記重畳情報データ出力部から出力される上記重畳情報のデータの重畳位置を調整し、該重畳位置が調整された重畳情報のデータを上記第１の画像データおよび上記所定数の第２の画像データに重畳し、
上記データ受信部で上記第２のトランスポートストリームが受信されるとき、上記データ取得部で取得される上記第３の画像データに上記重畳情報データ出力部から出力される上記重畳情報のデータをそのまま重畳する
請求項１９に記載の画像データ受信装置。
【請求項２１】
第１の画像データを含む第１のエレメンタリストリームと上記第１の画像データに関連した所定数の第２の画像データおよび／またはメタデータをそれぞれ含む所定数の第２のエレメンタリストリームをパケット化して得られた各パケットを有し、さらに、上記第１のエレメンタリストリームと上記所定数の第２のエレメンタリストリームとを関連付けるためのストリーム関連付け情報を有するトランスポートストリームを受信するデータ受信部と、
上記データ受信部で受信された上記トランスポートストリームから、上記第１の画像データを取得し、さらに、該第１のトランスポートストリームから、上記ストリーム関連付け情報に基づいて、上記所定数の第２の画像データおよび／またはメタデータを取得するデータ取得部と
を備える画像データ受信装置。
【請求項２２】
上記データ取得部で取得された上記第１の画像データおよび上記第２の画像データの出力解像度を調整する解像度調整部をさらに備える
請求項２１に記載の画像データ受信装置。
【請求項２３】
上記ストリーム関連付け情報は、上記第１の画像データおよび上記第２の画像データの出力解像度の制御情報をさらに含み、
上記解像度調整部は、上記ストリーム関連付け情報に含まれる上記出力解像度の制御情報に基づいて、上記第１の画像データおよび上記第２の画像データの出力解像度を調整し、出力同期を取って表示させる
請求項２２に記載の画像データ受信装置。
【請求項２４】
上記データ取得部で取得された上記メタデータは、上記立体画像データに対応した視差情報であり、
該視差情報を用い、上記データ取得部で取得された上記第１の画像データおよび上記第２の画像データに補間処理を施して、所定数のビューの表示画像データを得るポスト処理部をさらに備える
請求項２１に記載の画像データ受信装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【公開番号】特開２０１１−２３４３３６（Ｐ２０１１−２３４３３６Ａ）
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願番号】特願２０１０−２０４９６０（Ｐ２０１０−２０４９６０）
【出願日】平成２２年９月１３日（２０１０．９．１３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願日】平成２２年９月１３日（２０１０．９．１３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]