説明

画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法

【課題】地上波放送などの帯域が限定されている放送において3D放送の導入を容易とする。
【解決手段】ベース映像信号(MPEG2)の他に、拡張映像信号(AVC)が存在する。ベース映像信号は、2次元画像データまたは左眼画像データを選択的に含む。拡張映像信号は、ベース映像信号に含まれる画像データと同一または異なる映像フォーマットの右眼画像データを含む。拡張映像信号の取得先は、同一サービスの他、他の放送サービス、通信VOD、通信マルチキャスト等がある。PMTの配下に、ベース映像信号に含まれる画像データとして左眼画像データが含まれること、および右眼画像データ(他の画像データ)の取得先を示す情報を持つ制御信号(3D方式記述子)を挿入する。ベース映像信号は、フレーム単位で、含まれる画像データが2次元画像データであるか左眼画像データであるかを識別する識別情報(映像3D識別信号)を含む。

【発明の詳細な説明】
【技術分野】
【0001】
本技術は、画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法に関し、特に、ステレオ立体画像等の目的のために連結される他の画像データが存在する画像データの送信を行う画像データ送信装置等に関する。
【背景技術】
【0002】
例えば、特許文献1には、立体画像データのテレビ放送電波を用いた伝送方式について提案されている。この場合、左眼用画像データおよび右眼用画像データを含む立体画像データが送信され、テレビ受信機において、両眼視差を利用した立体画像表示が行われる。
【0003】
図23は、両眼視差を利用したステレオ立体画像表示において、スクリーン上におけるオブジェクト(物体)の左右像の表示位置と、その立体画像(3D画像)の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Laが右側に右像Raが左側にずれて表示されているオブジェクトAに関しては、左右の視線がスクリーン面より手前で交差するため、その立体画像の再生位置はスクリーン面より手前となる。
【0004】
また、例えば、スクリーン上に図示のように左像Lbおよび右像Rbが同一位置に表示されているオブジェクトBに関しては、左右の視線がスクリーン面で交差するため、その立体画像の再生位置はスクリーン面上となる。さらに、例えば、スクリーン上に図示のように左像Lcが左側に右像Rcが右側にずれて表示されているオブジェクトCに関しては、左右の視線がスクリーン面より奥で交差するため、その立体画像の再生位置はスクリーン面より奥となる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2005−6114号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
3DTVの出現により、3D放送サービスや3DIPTVサービスの方式が検討されている。衛星放送、ケーブルTV等、放送帯域において新たな3D放送を追加する余裕がある放送メディアでは、現状の伝送方式や受信機の機能を流用可能なサイドバイサイド方式などにより3Dサービスが導入されつつある。
【0007】
地上放送においては、既存の2D受信端末で2D放送を受信し、同時に3D対応受信端末で3D放送を受信できるようにすることが求められる。つまり、1つの番組に関して、既存の2D受信端末では2Dの放送として受信し、3D対応端末では3Dの放送として受信する、ということが求められる。しかし、帯域が限定されていて、かつMPEG2video等、現状では効率の劣る符号化方式で伝送されている。
【0008】
そのため、上述のサイドバイサイド方式では帯域不足となる。つまり、サイドバイサイド方式の3D画像データと通常の2Dの画像データとを並行して送ることは、帯域上困難となる。したがって、地上放送では、3D放送の導入が困難となっている。
【0009】
本技術の目的は、地上波放送などの帯域が限定されている放送において3D放送の導入を容易とすることにある。
【課題を解決するための手段】
【0010】
本技術の概念は、
所定目的のために連結される他の画像データが存在する第1の画像データを含む第1のビデオデータストリームを有するトランスポートストリームを送信するデータ送信部を備え、
上記トランスポートストリームは、上記第1のビデオデータストリームに含まれる画像データとして上記第1のデータが含まれること、および上記他の画像データの取得先を示す情報を持つ制御信号を含む
画像データ送信装置にある。
【0011】
本技術において、データ送信部により、第1のビデオデータストリームを有する第1のトランスポートストリームが送信される。第1のビデオデータストリームには、所定目的のために連結される他の画像データが存在する第1の画像データが含まれる。例えば、所定目的は、ステレオ立体画像であり、第1の画像データおよび他の画像データによりステレオ立体画像データが構成される。また、例えば、所定目的は、多視点画像、パノラマ画像等である。
【0012】
トランスポートストリームには、制御信号が含まれる。この制御信号は、第1のビデオデータストリームに含まれる画像データとして第1のデータが含まれること、および他の画像データの取得先を示す情報を持つものである。例えば、トランスポートストリームには、このトランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを示すプログラム・スペシフィック・インフォメーションとしてのプログラム・マップ・テーブルが含まれており、制御信号は、プログラム・マップ・テーブルの配下に挿入される。
【0013】
例えば、第1の画像データの符号化方式はMPEG2videoであり、他の画像データの符号化方式はMPEG4−AVCとされる。MPEG4−AVCは、MPEG2videoに比べて、効率が高く、データ量を低減できる。例えば、他の画像データの取得先は、同一サービス、異なるサービス、通信VOD、通信マルチキャストなどである。
【0014】
このように、本技術においては、トランスポートストリームに、第1のビデオデータストリームに含まれる画像データとして第1のデータが含まれること、および他の画像データの取得先を示す情報を持つ制御信号を含まれる。そのため、受信装置においては、この制御信号に基づいて、第1のビデオデータストリームに含まれる画像データが、所定目的のために連結される他の画像データが存在するものであることを認識可能となる。そして、受信装置においては、取得先を示す情報に基づいて、他の画像データを容易に取得可能となる。したがって、本技術においては、例えば、地上波放送などの帯域が限定されている放送において3D放送の導入が容易となる。
【0015】
なお、本技術において、例えば、他の画像データの映像フォーマットは、第1の画像データの映像フォーマットと同じか異なっており、制御信号は、第1の画像データおよび他の画像データの映像フォーマット情報をさらに持つ、ようにされてもよい。このように制御信号が映像フォーマット情報を持つことで、例えば、他の画像データの映像フォーマットとして、第1の画像データの映像フォーマットと同じあるいは異なる任意の映像フォーマットの選択が可能となり、映像フォーマットの選択の自由度が増す。また、このように、制御信号が映像フォーマット情報を持つことで、受信装置においては、第1の画像データおよび他の画像データの映像フォーマットを容易に認識でき、他の画像データの映像フォーマットを第1の画像データの映像フォーマットに合わせるための処理を適切に行ことができる。
【0016】
また、本技術において、例えば、制御信号に含まれる取得先が同一サービスであるとき、トランスポートストリームは、他の画像データを含む第2のビデオデータストリームを有し、制御信号は、第1のビデオデータストリームと、第2のビデオデータストリームとの組み合わせを示す情報をさらに持つ、ようにされてもよい。この場合、受信装置においては、この組み合わせを示す情報に基づいて、第2のビデオデータストリームに他の画像データが含まれることを容易に知ることができ、この第2のビデオデータストリームから他の画像データを容易に取得可能となる。
【0017】
また、本技術において、例えば、第1のビデオデータストリームは、第1の画像データと、連結される他の画像データが存在しない第2の画像データとを選択的に含み、第1のビデオデータストリームは、フレーム単位で、含まれる画像データが第1の画像データであるか第2の画像データであるかを識別する識別情報を含む、ようにされてもよい。例えば、識別情報は、第1のビデオデータストリームの各ピクチャのヘッダ内に挿入される。この場合、受信装置においては、この識別情報に基づいて、処理の切り換えを迅速に行うことが可能となる。
【0018】
また、本技術の他の概念は、
所定目的のために連結される他の画像データが存在する第1の画像データを含むビデオデータストリームを有するトランスポートストリームを受信するデータ受信部を備え、
上記トランスポートストリームは、上記ビデオデータストリームに含まれる画像データとして上記第1のデータが含まれること、および上記他の画像データの取得先を示す情報を持つ制御信号を含み、
上記データ受信部で受信された上記トランスポートストリームから上記第1の画像データを取得する第1のデータ取得部と、
上記データ受信部で受信された上記トランスポートストリームに含まれる上記制御信号に基づいて、上記取得先から上記他の画像データを取得する第2のデータ取得部と、
上記第1のデータ取得部で取得された上記第1の画像データおよび上記第2のデータ取得部で取得された上記他の画像データを連結して処理するデータ処理部とをさらに備える
画像データ受信装置にある。
【0019】
本技術においては、データ受信部により、第1の画像データを含むトランスポートストリームが受信される。第1の画像データには、所定目的のために連結される他の画像データが存在する第1の画像データが含まれている。例えば、所定目的は、ステレオ立体画像であり、第1の画像データおよび他の画像データによりステレオ立体画像データが構成される。また、例えば、所定目的は、多視点画像、パノラマ画像等である。トランスポートストリームには、制御信号が含まれる。この制御信号は、ビデオデータストリームに含まれる画像データとして第1のデータが含まれること、および他の画像データの取得先を示す情報を持つものである。
【0020】
第1のデータ取得部により、データ受信部で受信されたトランスポートストリームから第1の画像データが取得される。また、第2のデータ取得部により、データ受信部で受信されたトランスポートストリームに含まれる制御信号に基づいて、取得先から他の画像データが取得される。例えば、他の画像データの取得先は、同一サービス、異なるサービス、通信VOD、通信マルチキャストなどである。そして、データ処理部により、第1のデータ取得部で取得された第1の画像データおよび第2のデータ取得部で取得された他の画像データが連結され、所定目的を達成するように処理される。
【0021】
なお、本技術において、例えば、他の画像データの映像フォーマットは、第1の画像データの映像フォーマットと同じか異なっており、第1のデータ取得部で取得された第1の画像データの映像フォーマットに、第2のデータ取得部で取得された他の画像データの映像フォーマットを合わせる映像フォーマット調整部をさらに備える、ようにされてもよい。この場合、例えば他の画像データの映像フォーマットが第1の画像データの映像フォーマットと異なる場合であっても、それに合わせることが可能となる。
【0022】
また、本技術において、例えば、ビデオデータストリームは、第1の画像データと、連結される他の画像データが存在しない第2の画像データとを選択的に含み、ビデオデータストリームは、フレーム単位で、含まれる画像データが第1の画像データであるか第2の画像データであるかを識別する識別情報を含み、ビデオデータストリームに含まれる識別情報に基づいて、第2のデータ取得部およびデータ処理部の動作を制御する制御部をさらに備える、ようにされてもよい。
【0023】
このように識別情報に基づいて第2のデータ取得部およびデータ処理部の動作を制御することで、ビデオデータストリームに第1の画像データが含まれるときと第2の画像データが含まれるときとで、処理の切り換えを迅速に行うことができる。そして、例えば、第1の画像データが含まれるときには、他の画像データを取得し、これと第1の画像データとを連結し、所定目的を達成するように、適切に処理できる。
【発明の効果】
【0024】
本技術によれば、地上波放送などの帯域が限定されている放送において3D放送の導入が容易となる。
【図面の簡単な説明】
【0025】
【図1】本技術の実施の形態としての画像送受信システムの構成例を示すブロック図である。
【図2】放送局における送信データ生成部の構成例を示すブロック図である。
【図3】右眼画像データが同一の放送サービスで伝送される場合(MPEG2+n/m-H AVC)の概念を示す図である。
【図4】右眼画像データが同一の放送サービスで伝送される場合(MPEG2+free format AVC)の概念を示す図である。
【図5】右眼画像データが通信で伝送される場合(放送・通信ハイブリッド伝送方式)の概念を示す図である。
【図6】右眼画像データが同一の放送サービスで伝送される場合について、伝送情報の全体を示す図である。
【図7】右眼画像データが同一の放送サービスで伝送される場合における、トランスポートストリームTSの構成例を示す図である。
【図8】右眼画像データが通信で伝送される場合について、伝送情報の全体を示す図である。
【図9】右眼画像データが通信で伝送される場合における、トランスポートストリームTSの構成例を示す図である。
【図10】映像3D識別信号(Stereo_Video_Format_Signaling)を含むユーザデータの構造例(Syntax)を示す図である。
【図11】映像3D識別信号(Stereo_Video_Format_Signaling)の構造例(Syntax)を示す図である。
【図12】「Stereo_Video_Format_Signaling_type」の7ビットフィールドの画像データの識別情報を説明するための図である。
【図13】ユーザデータおよび映像3D識別信号の構造例における主要なデータ規定内容(semantics)を示す図である。
【図14】3D方式記述子(Stereoscopic_video_descriptor)の構造例(Syntax)を示す図である。
【図15】3D方式記述子の構造例における主要なデータ規定内容(semantics)を示す図である。
【図16】連結映像信号記述子(combined_video_descriptor)の構造例(Syntax)を示す図である。
【図17】連結映像信号記述子の構造例における主要なデータ規定内容(semantics)を示す図である。
【図18】映像フォーマットを示す8ビットフィールドのビット構成を説明するための図である。
【図19】3D情報記述子(Stereoscopic_information_descriptor)の構造例(Syntax)を示す図である。
【図20】3D情報記述子の構造例における主要なデータ規定内容(semantics)を示す図である。
【図21】3D方式記述子(Stereoscopic_video_descriptor)の他の構造例(Syntax)を示す図である。
【図22】連結映像信号記述子(combined_video_descriptor)の他の構造例(Syntax)を示す図である。
【図23】両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクトの左右像の表示位置と、その立体像の再生位置との関係を説明するための図である。
【発明を実施するための形態】
【0026】
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.実施の形態
2.変形例
【0027】
<1.実施の形態>
[画像送受信システムの構成例]
図1は、実施の形態としての画像送受信システム10の構成例を示している。この画像送受信システム10は、放送局100とテレビ受信機200により構成されている。放送局100は、トランスポートストリームを、放送波にのせて送信する。このトランスポートストリームは、画像データを含む第1のビデオデータストリームを有している。
【0028】
第1のビデオデータストリームは、画像データとして、第1の画像データまたは第2の画像データを選択的に含んでいる。画像データが第1の画像データであるとき、所定目的のために連結される他の画像データが存在する。この実施の形態において、所定目的はステレオ立体画像であり、この第1の画像データはステレオ立体(3D)画像データを構成する一方の画像データ、例えば左眼画像データであり、他の画像データはステレオ立体画像データを構成する右眼画像データである。また、画像データが第2の画像データであるとき、所定目的のために連結される他の画像データは存在せず、この第2の画像データは2次元(2D)画像データである。
【0029】
第1のビデオデータストリームには、フレーム単位で、含まれる画像データが第1の画像データであるか第2の画像データであるかを識別する識別情報が含まれている。この識別情報は、例えば、この第1のビデオデータストリームの各ピクチャのヘッダ内にユーザデータとして挿入されている。
【0030】
トランスポートストリームには、第1のビデオデータストリームに含まれる画像データとして第1の画像データが含まれること、およびこの第1の画像データに連結される他の画像データの取得先を示す情報を持つ制御信号が含まれている。取得先は、例えば、同一サービス(チャネル)、他の放送サービス、通信VOD(Video On Demand)、通信マルチキャストなどである。取得先が同一サービスであるとき、トランスポートストリームは、他の画像データを含む第2のビデオデータストリームをさらに有している。この場合、上述したようにトランスポートストリームに含まれる制御信号は、第1のビデオデータストリームと第2のビデオデータストリームとの組み合わせ(連結)を示す情報を持つようにされる。
【0031】
なお、第2のビデオデータストリームに含まれる他の画像データの符号化方式は、第1のビデオデータストリームに含まれる画像データ(第1の画像データ、第2の画像データ)の符号化方式と同じか異なるものとされる。この実施の形態において、第1のビデオデータストリームに含まれる画像データの符号化方式は、MPEGvideoとされ、第2のビデオデータストリームに含まれる他の画像データの符号化方式はMPEG4−AVCとされる。
【0032】
また、第2のビデオデータストリームに含まれる他の画像データの映像フォーマットは、第1のビデオデータストリームに含まれる画像データ(第1の画像データ、第2の画像データ)の映像フォーマットと同じか異なるものとされる。そして、上述したようにトランスポートストリームに含まれる制御信号は、それぞれの画像データの映像フォーマット情報を持つようにされる。
【0033】
テレビ受信機200は、放送局100から放送波に載せて送られてくる、上述のトランスポートストリームを受信する。そして、テレビ受信機200は、このトランスポートストリームから、画像データを取得する。上述したように、このトランスポートストリームには、画像データとして、第1の画像データまたは第2の画像データを選択的に含まれている。
【0034】
上述したように、第1のビデオデータストリームには、フレーム単位で、含まれる画像データが第1の画像データであるか第2の画像データであるかを識別する識別情報が含まれている。テレビ受信機200は、この識別情報に基づいて、トランスポートストリームから取得される画像データが第1の画像データであるか第2の画像データであるかを識別する。第2の画像データであるとき、テレビ受信機200は、この第2の画像データに基づいて、2次元画像の表示処理を行う。
【0035】
一方、第1の画像データであるとき、テレビ受信機200は、この第1の画像データに基づいて、ステレオ立体画像の表示処理を行う。上述したように、トランスポートストリームには、第1のビデオデータストリームに含まれる画像データとして第1の画像データが含まれること、およびこの第1の画像データに連結される他の画像データの取得先を示す情報を持つ制御信号が含まれている。
【0036】
テレビ受信機200は、この取得先情報に基づいて、ステレオ立体画像の目的のために第1の画像データと連結される他の画像データを取得する。そして、テレビ受信機200は、第1の画像データおよび他の画像データを連結し、それらに基づいて、ステレオ立体画像の表示処理を行う。例えば、左眼画像および右眼画像を交互に表示するための処理を行う。
【0037】
また、上述したように、制御信号は、トランスポートストリームから取得される第1の画像データおよびこの第1の画像データに連結される他の画像データの映像フォーマットの情報を持っている。テレビ受信機200は、この映像フォーマット情報に基づいて、他の映像フォーマットを第1の画像データの映像フォーマットに合わせた後に、これら第1の画像データおよび他の画像データを連結して処理する。
【0038】
「送信データ生成部の構成例」
図2は、放送局100において、上述したトランスポートストリームを生成する送信データ生成部110の構成例を示している。この送信データ生成部110は、データ取り出し部(アーカイブ部)111と、ビデオエンコーダ112と、オーディオエンコーダ113と、マルチプレクサ114とを有している。
【0039】
データ取り出し部111には、データ記録媒体111aが、例えば、着脱自在に装着される。このデータ記録媒体111aには、トランスポートストリームで送信する所定番組の画像データと共に、この画像データに対応した音声データが記録されている。この画像データとして、2次元画像データが存在する他、ステレオ立体画像データを構成する一方の画像データ、例えば左眼画像データが存在する。なお、この左眼画像データに対応した右眼画像データを同一サービスで送信するとき、データ記録媒体111aには、さらに、この右眼画像データも存在する。
【0040】
データ取り出し部111のデータ記録媒体111aは、例えば、ディスク状記録媒体、半導体メモリなどで構成されている。データ取り出し部111は、データ記録媒体111aから、所定番組の画像データを取り出すと共に、この画像データに関連付けて記録されている音声データを取り出して出力する。この場合、画像データには、2次元画像データ(第2の画像データ)またはステレオ立体画像データを構成する左眼画像データ(第1の画像データ)が選択的に含まれる。
【0041】
ビデオエンコーダ112は、データ取り出し部111から出力される画像データに対して、例えば、MPEG2videoで符号化を施して符号化ビデオデータを得る。また、このビデオエンコーダ112は、後段に備えるストリームフォーマッタ(図示せず)により、画像データ(符号化ビデオデータ)を含む第1のビデオデータストリーム(ビデオエレメンタリストリーム)を生成する。
【0042】
この場合、ビデオエンコーダ112は、第1のビデオデータストリームに、フレーム単位で、画像データが第1の画像データであるか第2の画像データであるかを識別する識別情報を含める。識別情報は、例えば、この第1のビデオデータストリームの各ピクチャのヘッダ内にユーザデータとして挿入される。
【0043】
オーディオエンコーダ113は、データ取り出し部111から出力される音声データに対して、MPEG−2Audio AAC等の符号化を施し、オーディオデータストリーム(オーディオエレメンタリストリーム)を生成する。マルチプレクサ114は、ビデオエンコーダ112およびオーディオエンコーダ113で生成された各エレメンタリストリームをパケット化して多重し、トランスポートストリームTSを生成する。
【0044】
マルチプレクサ114は、トランスポートストリームTSに、第1のビデオデータストリームに含まれる画像データとして第1の画像データが含まれること、およびこの第1の画像データに連結される他の画像データの取得先を示す情報を持つ制御信号を含める。上述したように、他の画像データの映像フォーマットは、第1の画像データの映像フォーマットと同じか異なるものである。マルチプレクサ114は、制御信号に、これら第1の画像データおよび第2の画像データの映像フォーマット情報をさらに持たせる。
【0045】
なお、データ取り出し部111から出力される画像データが第1の画像データ(ステレオ立体画像データを構成する左眼画像データ)であって、右眼画像データを同一サービスで送信するとき、データ取り出し部111から右眼画像データも同時に出力される。この場合、ビデオエンコーダ112は、この右眼画像データに対して、例えば、MPEG4−AVCで符号化を施し、第2のビデオデータストリーム(ビデオエレメンタリストリーム)を生成する。マルチプレクサ114は、トランスポートストリームTSに、この第2のビデオデータストリームも含める。
【0046】
このように、左眼画像データを同一サービスで送信するとき、マルチプレクサ114は、制御信号に、第1のビデオデータストリームと第2のビデオデータストリームとの組み合わせ(連結)を示す情報をさらに持たせる。例えば、この情報は、コンポーネントタグ(component_tag)を用いて構成される。
【0047】
[独立映像連結3D伝送方式の概念]
上述したようにステレオ立体画像データを構成する一方の画像データ、例えば左眼画像データを所定の放送サービスで伝送すると共に、これと独立して他方の画像データ、例えば右眼画像データを伝送する方式の概念を説明する。この場合、右眼画像データは、例えば、同一の放送サービス、他の放送サービス、通信VOD、通信マルチキャストなどで伝送される。
【0048】
図3は、右眼画像データが同一の放送サービスで伝送される場合(MPEG2+n/m-H AVC)の概念を示している。この場合、第1の画像データとしての左眼画像データは、1920×1080iの映像フォーマットであって、MPEG2Vvideoの符号化が施されている。一方、この第1の画像データと連結される他の画像データとしての右眼画像データは、水平方向の解像度がn/m(例えば1/2、3/4等)とされた映像フォーマットであって、MPEG4−AVCの符号化が施されている。
【0049】
右眼画像データの水平方向の解像度を低下させることで、データ量を少なくでき、帯域節約が可能となる。なお、水平方向の解像度を低下させる代わりに垂直方向の解像度を低下させるか、あるいは、双方の解像度を低下させることも考えられる。また、右眼画像データに、MPEG2videoに比して効率のよいMPEG4−AVCの符号化を施すことで、データ量を少なくでき、帯域節約が可能となる。
【0050】
右眼画像データが同一の放送サービスで伝送される場合、テレビ受信機200は、左眼画像データを含む第1のビデオデータストリームと右眼画像データを含む第2のビデオデータストリームとを含むトランスポートストリームTSを受信する。すなわち、テレビ受信機200は、デジタルチューナ、デマルチプレクサ等からなる受信部202を備え、この受信部202により、トランスポートストリームTSを受信する。
【0051】
また、テレビ受信機200は、制御部201と、MPEG2videoのデコーダ203と、MPEG4−AVCのデコーダ204と、同期部205と、スケーリング部206と、3D処理部207と、3Dパネル208とを備えている。制御部201は、テレビ受信機200の各部の動作を制御する。
【0052】
デコーダ203は、受信部202で得られる左眼画像データを含む第1のビデオデータストリーム(MPEG2videoの符号化データ)に対してデコード処理を施して、左眼画像データを取得する。デコーダ204は、受信部202で得られる右眼画像データを含む第2のビデオデータストリーム(MPEG4−AVCの符号化データ)に対してデコード処理を施して、右眼画像データを取得する。
【0053】
同期部205は、デコーダ203で得られる左眼画像データと、デコーダ204で得られる右眼画像データとの同期を取る。同期部205は、例えば、PTS(Presentation Time Stamp)などの同期再生のための時間情報を利用して、左眼画像データと右眼画像データとの同期合わせを行う。
【0054】
スケーリング部206は、デコーダ204で得られた右眼画像データに対して、その水平方向の解像度を、デコーダ203で得られた左眼画像データの水平方向の解像度に合わせるためのスケーリング処理を行う。これにより、左眼画像データおよび右眼画像データの映像フォーマットは、1920×1080iとなる。ここで、スケーリング部206は、映像フォーマット調整部を構成している。
【0055】
3D処理部207は、デコーダ203で得られた左眼画像データと、スケーリング部206で得られた右眼画像データとを連結し、ステレオ立体画像の表示処理を行う。例えば、この3D処理部207は、左眼画像データと右眼画像データとを交互に出力し、3Dパネル208に、左眼画像および右眼画像を交互に表示する。
【0056】
なお、図3は、第1のビデオデータストリームに含まれる画像データが第1の画像データである場合を示している。第1のビデオデータストリームに含まれる画像データが第2の画像データ(2次元画像データ)である場合には、第2のビデオデータストリームは存在しない。
【0057】
テレビ受信機200の制御部201には、例えば、デコーダ203から、第1のビデオデータストリームにフレーム単位で含まれている、第1の画像データであるか第2の画像データであるかを識別する識別情報が供給される。制御部201は、この識別情報に基づいて、テレビ受信機200の各部を、2次元画像の表示処理状態、あるいはステレオ立体画像の表示処理状態に制御する。第1のビデオデータストリームに含まれる画像データが第1の画像データである場合、上述したように、デコーダ204およびスケーリング部206は動作状態とされ、3D処理部207はステレオ立体画像の表示処理状態とされる。
【0058】
これに対して、第1のビデオデータストリームに含まれる画像データが第2の画像データである場合、デコーダ204およびスケーリング部206は非動作状態とされ、3D処理部207は2次元画像の表示処理状態とされる。3D処理部207は、2次元画像の表示処理状態のとき、3Dパネル208に、2次元画像を順次表示する。
【0059】
また、テレビ受信機200の制御部201には、例えば、受信部202から、トランスポートストリームTSに含まれている制御信号が供給される。この制御信号には、上述したように、左眼画像データおよび右眼画像データの映像フォーマット情報が含まれている。制御部201は、この映像フォーマット情報に基づいて、スケーリング部206におけるスケーリング処理を制御する。また、この制御信号には、右眼画像データの取得先情報が含まれている。制御部201は、この取得先情報に基づいて、右眼画像データの取得先が同一放送サービスであることがわかる。
【0060】
また、図4は、右眼画像データが同一の放送サービスで伝送される場合(MPEG2+free format AVC)の概念を示している。この図4において、図3と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。この場合、第1の画像データとしての左眼画像データは、1920×1080iの映像フォーマットであって、MPEG2Vvideoの符号化が施されている。一方、この第1の画像データと連結される他の画像データとしての右眼画像データは、任意の映像フォーマット(1280×720P、720×480i等)であって、MPEG4−AVCの符号化が施されている。
【0061】
右眼画像データの映像フォーマットを低解像度のものとすることで、データ量を少なくでき、帯域節約が可能となる。また、右眼画像データに、MPEG2videoに比して効率のよいMPEG4−AVCの符号化を施すことで、データ量を少なくでき、帯域節約が可能となる。
【0062】
右眼画像データが同一の放送サービスで伝送される場合、テレビ受信機200は、左眼画像データを含む第1のビデオデータストリームと右眼画像データを含む第2のビデオデータストリームとを含むトランスポートストリームTSを受信する。すなわち、テレビ受信機200は、デジタルチューナ、デマルチプレクサ等からなる受信部202を備え、この受信部202により、トランスポートストリームTSを受信する。
【0063】
また、テレビ受信機200は、制御部201と、MPEG2videoのデコーダ203と、MPEG4−AVCのデコーダ204と、同期部205と、アップコンバータ211と、3D処理部207と、3Dパネル208とを備えている。制御部201は、テレビ受信機200の各部の動作を制御する。
【0064】
アップコンバータ211は、デコーダ204で得られた右眼画像データに対して、その映像フォーマットを、デコーダ203で得られた左眼画像データの映像フォーマットに合わせるためのアップコンバート処理を行う。これにより、左眼画像データおよび右眼画像データの映像フォーマットは、1920×1080iとなる。ここで、アップコンバータ211は、映像フォーマット調整部を構成している。詳細説明は省略するが、図4における受信部200のその他は、図3における受信部200と同様である。
【0065】
また、図5は、右眼画像データが通信で伝送される場合(放送・通信ハイブリッド伝送方式)の概念を示している。この図5において、図3、図4と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。この場合、第1の画像データとしての左眼画像データは、1920×1080iの映像フォーマットであって、MPEG2Vvideoの符号化が施されている。
【0066】
一方、この第1の画像データと連結される他の画像データとしての右眼画像データは、MPEG4−AVCの符号化が施されている。そして、この右眼画像データの映像フォーマットは、水平方向の解像度がn/m(例えば1/2、3/4等)とされた映像フォーマット、あるいは任意の映像フォーマット(1280×720P、720×480i等)とされている。
【0067】
右眼画像データの水平方向の解像度を低下させること、あるいはその映像フォーマットを低解像度のものとすることで、データ量を少なくでき、帯域節約が可能となる。また、右眼画像データに、MPEG2videoに比して効率のよいMPEG4−AVCの符号化を施すことで、データ量を少なくでき、帯域節約が可能となる。
【0068】
テレビ受信機200は、左眼画像データを含む第1のビデオデータストリームを含むトランスポートストリームTSを受信する受信部202を備える。また、右眼画像データが通信で伝送されるので、テレビ受信機200は、右眼画像データを含む第2のビデオデータストリームを取得する通信部221を備える。
【0069】
また、テレビ受信機200は、制御部201と、MPEG2videoのデコーダ203と、MPEG4−AVCのデコーダ204と、同期部205と、アップコンバータ211と、3D処理部207と、3Dパネル208とを備えている。制御部201は、テレビ受信機200の各部の動作を制御する。
【0070】
デコーダ203は、受信部202で得られる左眼画像データを含む第1のビデオデータストリーム(MPEG2videoの符号化データ)に対してデコード処理を施して、左眼画像データを取得する。デコーダ204は、通信部221で得られる右眼画像データを含む第2のビデオデータストリーム(MPEG4−AVCの符号化データ)に対してデコード処理を施して、右眼画像データを取得する。
【0071】
同期部205は、デコーダ203で得られる左眼画像データと、デコーダ204で得られる右眼画像データとの同期を取る。同期部205は、例えば、PTS(Presentation Time Stamp)などの同期再生のための時間情報を利用して、左眼画像データと右眼画像データとの同期合わせを行う。
【0072】
アップコンバータ211は、デコーダ204で得られた右眼画像データに対して、その映像フォーマットを、デコーダ203で得られた左眼画像データの映像フォーマットに合わせるためのアップコンバート処理を行う。これにより、左眼画像データおよび右眼画像データの映像フォーマットは、1920×1080iとなる。ここで、アップコンバータ211は、映像フォーマット調整部を構成している。
【0073】
3D処理部207は、デコーダ203で得られた左眼画像データと、アップコンバータ211で得られた右眼画像データとを連結し、ステレオ立体画像の表示処理を行う。例えば、この3D処理部207は、左眼画像データと右眼画像データとを交互に出力し、3Dパネル208に、左眼画像および右眼画像を交互に表示する。
【0074】
なお、図5は、放送サービスで伝送される第1のビデオデータストリームに含まれる画像データが第1の画像データである場合を示している。第1のビデオデータストリームに含まれる画像データが第2の画像データ(2次元画像データ)である場合には、第2のビデオデータストリームは存在しない。
【0075】
テレビ受信機200の制御部201には、例えば、デコーダ203から、第1のビデオデータストリームにフレーム単位で含まれている、第1の画像データであるか第2の画像データであるかを識別する識別情報が供給される。制御部201は、この識別情報に基づいて、テレビ受信機200の各部を、2次元画像の表示処理状態、あるいはステレオ立体画像の表示処理状態に制御する。第1のビデオデータストリームに含まれる画像データが第1の画像データである場合、上述したように、通信部221、デコーダ204およびアップコンバータ211は動作状態とされ、3D処理部207はステレオ立体画像の表示処理状態とされる。
【0076】
これに対して、第1のビデオデータストリームに含まれる画像データが第2の画像データである場合、通信部221、デコーダ204およびアップコンバータ211は非動作状態とされ、3D処理部207は2次元画像の表示処理状態とされる。3D処理部207は、2次元画像の表示処理状態のとき、3Dパネル208に、2次元画像を順次表示する。
【0077】
また、テレビ受信機200の制御部201には、例えば、受信部202から、トランスポートストリームTSに含まれている制御信号が供給される。この制御信号には、上述したように、左眼画像データおよび右眼画像データの映像フォーマット情報が含まれている。制御部201は、この映像フォーマット情報に基づいて、アップコンバータ211におけるアップコンバート処理を制御する。
【0078】
また、この制御信号には、右眼画像データの取得先情報が含まれている。制御部201は、この取得先情報に基づいて、右眼画像データの取得先が通信(通信VOD、通信マルチキャスト)であることがわかる。制御部201は、この取得先情報に基づいて、通信部221の動作を制御する。
【0079】
なお、上述の図3〜図5の概念は、右眼画像データを含む第2のビデオデータストリームの取得先が同一放送サービスあるいは通信である。図示は省略するが、この第2のビデオデータストリームの取得先が他の放送サービスである場合も、同様の概念となる。その場合、受信機200は、受信部202の他に、右眼画像データを含む第2のビデオデータストリームを有するトランスポートストリームTSを受信する受信部を備える。
【0080】
図6は、右眼画像データが同一の放送サービスで伝送される場合について、伝送情報の全体を示している。ここで、「ベース映像信号(MPEG2)」は、左眼画像データ(第1の画像データ)あるいは2次元画像データ(第2の画像データ)が含まれる第1のビデオデータストリームを示している。また、「拡張映像信号(AVC)」は、右眼画像データが含まれる第2のビデオデータストリームを示している。
【0081】
また、「PMT」は、第1のビデオデータストリームおよび第2のビデオデータストリームを有するトランスポートストリームTSに含まれているプログラム・マップ・テーブルを示している。このプログラム・マップ・テーブルは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを示すプログラム・スペシフィック・インフォメーションを構成している。
【0082】
また、「EIT」は、第1のビデオデータストリームおよび第2のビデオデータストリームを有するトランスポートストリームTSに含まれているイベント・インフォメーション・テーブルを示している。このイベント・インフォメーション・テーブルは、イベント単位の管理を行うサービス・スペシフィック・インフォメーションを構成している。このイベント・インフォメーション・テーブルには、番組名、放送日時、番組内容など、番組に関する情報が記述される。
【0083】
ベース映像信号(第1のビデオデータストリーム)の各ピクチャのヘッダ内にユーザデータとして、映像3D識別信号が挿入される。この映像3D識別信号は、ベース映像信号に含まれる画像データが、左眼画像データ(第1の画像データ)であるか2次元画像データ(第2の画像データ)であるかを識別する識別情報を構成する。
【0084】
この映像3D識別信号は、ベース映像信号に含まれる画像データが2次元画像データ(第2の画像データ)であるとき、2D映像であることを示す。また、この映像3D識別信号は、ベース映像信号に含まれる画像データが左眼画像データ(第1の画像データ)であるとき、3D独立映像連結方式の左眼映像(L映像)であることを示す。
【0085】
プログラム・マップ・テーブルの配下のビデオエレメンタリ・ループには、ベース映像信号(第1のビデオデータストリーム)および拡張映像信号(第2のビデオデータストリーム)の情報が含まれている。すなわち、ベース映像信号(Video#1)に関連して、パケット識別子(PID1)、コンポーネント・タグ(Component_tag1)、ストリームタイプ(Stream_Type→MPEG2)等の情報が配置される。さらに、このベース映像信号(Video#1)に関連して、制御信号としての3D方式記述子が配置される。
【0086】
この3D方式記述子には、独立映像連結方式の3Dであること、つまり、ベース映像信号に、3D独立映像連結方式の左眼映像(L映像)のデータ(左眼画像データ)が含まれることが記述される。また、この3D方式記述子には、連結先情報、つまり右眼映像(R映像)のデータ(右眼画像データ)の取得先の情報が記述される。ここでは、連結先(取得先)は同一サービスとされる。
【0087】
また、拡張映像信号(Video#2)に関連して、パケット識別子(PID2)、コンポーネント・タグ(Component_tag2)、ストリームタイプ(Stream_Type→AVC)等の情報が配置される。さらに、この拡張映像信号(Video#2)に関連して、制御信号としての連結映像信号記述子が配置される。この連結映像信号記述子には、連結目的が3D(ステレオ立体画像)であることが記述される。
【0088】
また、この連結映像信号記述子には、連結ベースエレメンタリストリームのコンポーネント・タグ(Component_tag1)の情報が記述される。この情報は、ベース映像信号(第1のビデオデータストリーム)と拡張映像信号(第2のビデオデータストリーム)との組み合わせを示す情報を構成する。また、この連結映像信号記述子には、さらに、ベース映像信号に含まれる左眼画像データおよび拡張映像信号に含まれる右眼画像データの映像フォーマット情報(picture format)が記述される。
【0089】
また、イベント・インフォメーション・テーブルには、番組番号、イベント識別子(Event_id)、番組名などの情報が配置される他に、制御信号としての3D情報記述子が配置される。この3D情報記述子には、独立映像連結方式の3Dであること、つまり、ベース映像信号に、3D独立映像連結方式の左眼映像(L映像)のデータ(左眼画像データ)が含まれることが記述される。また、この3D方式記述子には、連結先情報、つまり右眼映像(R映像)のデータ(右眼画像データ)の取得先の情報が記述される。ここでは、連結先(取得先)は、同一番組(上述した3D方式記述子に記述される同一サービスと同じ意味)とされる。
【0090】
図7は、右眼画像データが同一の放送サービスで伝送される場合における、トランスポートストリームTSの構成例を示している。この場合、トランスポートストリームTSには、ベース映像信号(MPEG2)である第1のビデオデータストリームのPESパケット「Video PES1」が含まれている。また、この場合、トランスポートストリームTSには、拡張映像信号(AVC)である第2のビデオデータストリームのPESパケット「Video PES1」が含まれている。なお、この構成例では、図面の簡単化のために、オーディオに関しては、その図示を省略している。
【0091】
この構成例では、ベース映像信号(MPEG2)である第1のビデオデータストリームに、上述した映像3D識別信号が挿入されている。上述したように、この映像3D識別信号は、各ピクチャのヘッダ内にユーザデータとして挿入されている。
【0092】
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(ProgramMap Table)が含まれている。このPSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うSI(Serviced Information)としてのEIT(EventInformation Table)が含まれている。
【0093】
PMTには、プログラム全体に関連する情報を記述するプログラム・デスクリプタ(Program Descriptor)が存在する。また、このPMTには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ(Video ES loop)が存在する。このビデオエレメンタリ・ループには、ストリーム毎に、パケット識別子(PID)、コンポーネント・タグ(Component_tag)、ストリームタイプ(Stream_Type)等の情報が配置されている。
【0094】
このビデオエレメンタリ・ループには、ベース映像信号(Video#1)に関連して、上述した3D方式記述子が配置されている。また、このビデオエレメンタリ・ループには、拡張映像信号(Video#2)に関連して、上述した連結映像信号記述子が配置されている。また、EITには、上述した3D情報記述子が配置されている。
【0095】
図8は、右眼画像データが通信で伝送される場合について、伝送情報の全体を示している。ここで、「ベース映像信号(MPEG2)」は、左眼画像データ(第1の画像データ)あるいは2次元画像データ(第2の画像データ)が含まれる第1のビデオデータストリームを示している。また、「拡張映像信号(AVC)」は、右眼画像データが含まれる第2のビデオデータストリームを示している。なお、ここでは、この右眼画像データの取得先が通信VOD(VODサーバ)であるとしている。
【0096】
また、「PMT」は、第1のビデオデータストリームを有するトランスポートストリームTSに含まれているプログラム・マップ・テーブルを示している。また、「EIT」は、第1のビデオデータストリームを有するトランスポートストリームTSに含まれているイベント・インフォメーション・テーブルを示している。
【0097】
ベース映像信号(第1のビデオデータストリーム)の各ピクチャのヘッダ内にユーザデータとして、映像3D識別信号が挿入される。この映像3D識別信号は、ベース映像信号に含まれる画像データが、左眼画像データ(第1の画像データ)であるか2次元画像データ(第2の画像データ)であるかを識別する識別情報を構成する。
【0098】
この映像3D識別信号は、ベース映像信号に含まれる画像データが2次元画像データ(第2の画像データ)であるとき、2D映像であることを示す。また、この映像3D識別信号は、ベース映像信号に含まれる画像データが左眼画像データ(第1の画像データ)であるとき、3D独立映像連結方式の左眼映像(L映像)であることを示す。
【0099】
プログラム・マップ・テーブルの配下のビデオエレメンタリ・ループには、ベース映像信号(第1のビデオデータストリーム)の情報が含まれている。すなわち、ベース映像信号(Video#1)に関連して、パケット識別子(PID1)、コンポーネント・タグ(Component_tag1)、ストリームタイプ(Stream_Type→MPEG2)等の情報が配置される。さらに、このベース映像信号(Video#1)に関連して、制御信号としての3D方式記述子が配置される。
【0100】
この3D方式記述子には、独立映像連結方式の3Dであること、つまり、ベース映像信号に、3D独立映像連結方式の左眼映像(L映像)のデータ(左眼画像データ)が含まれることが記述される。また、この3D方式記述子には、連結先情報、つまり右眼映像(R映像)のデータ(右眼画像データ)の取得先の情報が記述される。ここでは、連結先(取得先)は、通信VODとされる。
【0101】
また、イベント・インフォメーション・テーブルには、番組番号、イベント識別子(Event_id)、番組名などの情報が配置される他に、制御信号としての3D情報記述子が配置される。この3D情報記述子には、独立映像連結方式の3Dであること、つまり、ベース映像信号に、3D独立映像連結方式の左眼映像(L映像)のデータ(左眼画像データ)が含まれることが記述される。また、この3D方式記述子には、連結先情報、つまり右眼映像(R映像)のデータ(右眼画像データ)の取得先の情報が記述される。ここでは、連結先(取得先)は、通信VODとされ、併せて、そのURL情報も記述される。
【0102】
なお、イベント・インフォメーション・テーブルの配下に3D情報記述子を挿入し、この3D情報記述子に連結先(取得先)が通信VODであることと、そのURL情報を記述するのは、以下の理由からである。すなわち、上述のプログラム・マップ・テーブルの配下に挿入される3D方式記述子にURL情報を記述することも考えられるが、プログラム・マップ・テーブルの容量が少なく、URL情報を記述するとオーバフローする恐れがあるからである。また、URL情報は、番組単位で記述すれば充分であると考えられるからでる。
【0103】
また、イベント・インフォメーション・テーブルは、予約録画のときに、本当に録画できるかチェックするという目的もある。このイベント・インフォメーション・テーブルに3D情報記述子を挿入しておくことで、3D映像の録画チェックに利用できる。例えば、独立映像連結方式の3Dである場合、連結先(取得先)が同一のサービス内であれば可能だが、連結先(取得先)が通信VOD、通信マルチキャストである場合、通信機能がないので不可能、などの判断が可能となる。
【0104】
図9は、右眼画像データが通信で伝送される場合における、トランスポートストリームTSの構成例を示している。この場合、トランスポートストリームTSには、ベース映像信号(MPEG2)である第1のビデオデータストリームのPESパケット「Video PES1」が含まれている。この場合、上述の図7とは異なり、このトランスポートストリームTSには、拡張映像信号(AVC)である第2のビデオデータストリームのPESパケット「Video PES1」が含まれない。なお、この構成例では、図面の簡単化のために、オーディオに関しては、その図示を省略している。
【0105】
この構成例では、ベース映像信号(MPEG2)である第1のビデオデータストリームに、上述した映像3D識別信号が挿入されている。上述したように、この映像3D識別信号は、各ピクチャのヘッダ内にユーザデータとして挿入されている。また、この構成例では、PMTのビデオエレメンタリ・ループに、ベース映像信号(Video#1)に関連して、上述した3D方式記述子が配置されている。また、この構成例では、また、EITに、上述した3D情報記述子が配置されている。
【0106】
[映像3D識別信号]
ベース映像信号(第1のビデオデータストリーム)の各ピクチャのヘッダ内にユーザデータとして挿入される映像3D識別信号(Stereo_Video_Format_Signaling)について説明する。図10は、映像3D識別信号(Stereo_Video_Format_Signaling)を含むユーザデータの構造例(Syntax)を示している。
【0107】
「user_data_start_code」の32ビットフィールドは、ユーザデータの開始コードであり、固定値“0x000001B2 ”が記載される。「Stereo_Video_Format_Signaling_identifier」の32ビットフィールドは、データ識別子であり、ここでは、映像3D識別信号を示す、固定値“0x4A503344”が記載される。データ識別子が「Stereo_Video_Format_Signaling_identifier」であるとき、その後のデータ本体として、映像3D識別信号(Stereo_Video_Format_Signaling)が配置される。
【0108】
図11は、映像3D識別信号(Stereo_Video_Format_Signaling)の構造例(Syntax)を示している。「Stereo_Video_Format_Signaling_Length」の8ビットフィールドは、このフィールド以降のバイト長を示し、ここでは、固定値“3”が記載される。「Stereo_Video_Format_Signaling_type」の7ビットフィールドは、画像データの識別情報である。図12に示すように、“0000110”は、画像データが、3D独立映像連結方式の左眼映像(L映像)のデータであることを示す。また、“0001000”は、画像データが、2次元(2D)映像のデータ(2次元画像データ)であることを示す。
【0109】
なお、図13は、上述した図10、図11の構造例(Syntax)における主要なデータ規定内容(semantics)を示している。
【0110】
[3D方式記述子]
PMTの配下にあるビデオエレメンタリ・ループに、ベース映像信号(第1のビデオデータストリーム)に関連して配置される3D方式記述子(Stereoscopic_video_descriptor)について説明する。図14は、3D方式記述子(Stereoscopic_video_descriptor)の構造例(Syntax)を示している。図15は、その構造例における主要なデータ規定内容(semantics)を示している。
【0111】
「descriptor_tag」の8ビットフィールドは、デスクリプタの識別子であり、ここでは、3D方式記述子(Stereoscopic_video_descriptor)であることを示す。「descriptor_length」は、以降のデータの長さ(バイト数)を示す。「Stereo_Video_Format_Signaling_present_flag 」の1ビットのフラグ情報は、ベース映像信号に、所定目的のために連結される他の画像データが存在する第1の画像データが含まれることを示す。このフラグ情報が“1”であるとき、「Stereo_Video_Format_Signaling_type」の7ビットフィールドの情報、つまり他の画像データの取得先情報が存在する。この7ビットフィールドは、上述の映像3D識別信号(Stereo_Video_Format_Signaling)における「Stereo_Video_Format_Signaling_type」の7ビットフィールドと同じである(図12参照)。
【0112】
「Stereo_Video_Format_Signaling_type」の7ビットフィールドは、“0000110”であるとき、3D独立映像連結方式の左眼映像(L映像)のデータであることを示す。このとき、「alternative_combined_signal_location_type」の6ビットフィールドの情報が存在する。この情報は、連結される画像データの取得先、つまり連結先を示す。“1”は、連結先が同一サービス内であることを示す。“2”は、連結先が他の放送サービスであることを示す。“3”は、連結先が通信VODであることを示す。さらに、“4”は、連結先が通信マルチキャストであることを示す。
【0113】
[連結映像信号記述子]
PMTの配下にあるビデオエレメンタリ・ループに、拡張映像信号(第2のビデオデータストリーム)に関連して配置される連結映像信号記述子(combined_video_descriptor)について説明する。図16は、連結映像信号記述子(combined_video_descriptor)の構造例(Syntax)を示している。図17は、その構造例における主要なデータ規定内容(semantics)を示している。
【0114】
「descriptor_tag」の8ビットフィールドは、デスクリプタの識別子であり、ここでは、連結映像信号記述子(combined_video_descriptor)であることを示す。「descriptor_length」は、以降のデータの長さ(バイト数)を示す。「combined_video_type」は、連結目的を示す。“1”は、ステレオ立体画像(stereoscopic)であることを示す。なお、その他に、多視点画像(multi-scopic)、パノラマ画像(panorama)等を連結目的として示すこともできる。
【0115】
「base_video_component」の8ビットフィールドは、連結のベースとなるビデオエレメンタリストリーム(映像ES)のコンポーネント・タグ(component_tag)の値を示す。「base_video_format_type」の8ビットフィールドは、連結のベースとなるビデオエレメンタリストリーム(映像ES)に含まれる画像データの映像フォーマットを示す。「extended_video_format_type」8ビットフィールドは、連結の拡張となるビデオエレメンタリストリーム(映像ES)に含まれる画像データの映像フォーマットを示す。
【0116】
映像フォーマットを示す8ビットフィールドは、例えば、図18に示すようなビット構成とされている。第7ビットは、インタレースであるかプログレッシブであるかを示す。例えば、“0”はインタレースであることを示す、“1”はプログレッシブであることを示す。また、第6ビット〜第4ビットは、垂直方向のサイズを示す。例えば、“1”は480画素であることを示し、“2”は576画素であることを示し、“3”は720画素であることを示し、“4”は1080画素であることを示し、“5”は2160画素であることを示す。
【0117】
また、第3ビット〜第0ビットは、水平方向のサイズを示す。例えば、“1”は720画素であることを示し、“2”は960画素であることを示し、“3”は1280画素であることを示し、“4”は1440画素であることを示し、“5”は1920画素であることを示し、“6”は3840画素であることを示す。なお、垂直および水平の画素サイズは一例あって、その他のサイズを示すことも可能である。
【0118】
[3D情報記述子]
EIT配置される3D情報記述子(Stereoscopic_information_descriptor)について説明する。図19は、3D情報記述子(Stereoscopic_information_descriptor)の構造例(Syntax)を示している。図20は、その構造例における主要なデータ規定内容(semantics)を示している。
【0119】
「descriptor_tag」の8ビットフィールドは、デスクリプタの識別子であり、ここでは、3D情報記述子(Stereoscopic_information_descriptor)であることを示す。「descriptor_length」は、以降のデータの長さ(バイト数)を示す。「Stereo_Video_Format_Signaling_type」の7ビットフィールドは、上述の3D方式記述子(Stereoscopic_video_descriptor)のものと同じ情報である(図12参照)。
【0120】
「Stereo_Video_Format_Signaling_type」の7ビットフィールドが、“0000110”であるとき、3D独立映像連結方式の左眼映像(L映像)のデータであることを示す。このとき、「alternative_combined_signal_location_type」の6ビットフィールドの情報が存在する。この6ビットフィールドは、上述の3D方式記述子(Stereoscopic_video_descriptor)のものと同じ情報である(図15参照)。
【0121】
この「alternative_combined_signal_location_type」の6ビットフィールドが“000010”であるとき、連結先が他の放送サービスである。このとき、「network_id 」、「transport_stream_id 」、「service_id 」、「event_id 」の各情報が存在する。これらは、連結される拡張ビデオデータストリームの取得先が別放送サービスの場合の放送サービスのチューニング情報、および番組IDを示す。
【0122】
また、「alternative_combined_signal_location_type」の6ビットフィールドが“000011”であるとき、連結先が通信VODである。このとき、「alternative_stream_url_byte」の情報が存在する。この「alternative_stream_url_byte」の情報は、連結される拡張データストリームの取得先が通信VODの場合のURLの各データバイトを示す。なお、「alternative_signal_url_length 」の16ビットフィールドは、「alternative_stream_url_byte」の情報のデータバイト数を示す。
【0123】
また、「alternative_combined_signal_location_type」の6ビットフィールドが“000100”であるとき、連結先が通信マルチキャストである。このとき、「ip_version 」、「multicast_protocol 」の情報が存在する。「ip_version 」の1ビットフィールドは、IPアドレスのバージョンを示す。例えば、“0”はIPv4を示し、“1”はIPv6を示す。「multicast_protocol 」の4ビットフィールドは、マルチキャスト制御プロトコルを示す。例えば、“0x00”はIGMPv2を示し、“0x01”はMLDv2を示す。
【0124】
「ip_version」の1ビットフィールドが“0”であるとき、通信マルチキャストのIPアドレスを示す「group_address_32」および「service_address_32 」の32ビットフィールドが存在する。また、「ip_version 」の1ビットフィールドが“1”であるとき、通信マルチキャストのIPアドレスを示す「group_address_128 」および「service_address_128 」の128ビットフィールドが存在する。
【0125】
上述したように、図1に示す画像送受信システム10において、ステレオ立体画像データを構成する左眼画像データを含む第1のビデオデータストリームを有するトランスポートストリームTSに制御信号が挿入される。この制御信号は、第1のビデオデータストリームに含まれる画像データとしてステレオ立体画像データを構成する左眼画像データ(第1の画像データ)が含まれることを示す情報(PMTの3D方式記述子、EITの3D情報記述子)を持つものとされる。また、この制御信号は、右眼画像データ(他の画像データ)の取得先を示す情報(3D方式記述子の連結先、3D情報記述子の連結先)を持つものとされる。
【0126】
そのため、テレビ受信機200においては、この制御信号に基づいて、第1のビデオデータストリームに含まれる画像データが、ステレオ立体画像データを構成する左眼画像データ(第1の画像データ)であることを認識できる。そして、テレビ受信機200においては、取得先を示す情報に基づいて、右眼画像データを容易に取得でき、ステレオ立体画像表示を行うことができる。この場合、右眼画像データの取得先は同一サービスに限定されるものではなく、他の放送サービス、あるいは通信VOD、通信マルチキャスト等でもよく、地上波放送などの帯域が限定されている放送において3D放送の導入が容易となる。
【0127】
また、図1に示す画像送受信システム10において、第2のビデオデータストリームに含まれる右眼画像データの映像フォーマットは、第1のビデオデータストリームに含まれる左眼画像データの映像フォーマットと同じか異なるものとされる。そして、トランスポートストリームTSに挿入される制御信号は、左眼画像データおよび右眼画像データの映像フォーマット情報(連結映像信号記述子のベース・拡張ピクチャフォーマット)を持つようにされる。
【0128】
そのため、右眼画像データの映像フォーマットとして、左眼画像データの映像フォーマットと同じあるいは異なる任意の映像フォーマットの選択が可能となり、映像フォーマットの選択の自由度が増す。すなわち、右眼画像データの映像フォーマットを左眼画像データの映像フォーマットよりも低解像度の映像フォーマットとして、右眼画像データを含む第2のビデオデータストリームのデータ量を低減して、帯域を節約することも容易となる。
【0129】
また、テレビ受信機200においては、制御信号が映像フォーマット情報を持つことで、放送で受信された左眼画像データの映像フォーマットと取得先から取得された右眼画像データの映像フォーマットとを容易に認識できる。そのため、ステレオ立体画像表示のために、右眼画像データの映像フォーマットを左眼画像データの映像フォーマットに合わせるための処理を適切に行ことができる。
【0130】
また、図1に示す画像送受信システム10において、制御信号に含まれる取得先が同一サービスであるとき、トランスポートストリームTSは、他の画像データとしての右眼画像データを含む第2のビデオデータストリームを有するものとされる。そして、トランスポートストリームTSに挿入される制御信号は、第1のビデオデータストリームと、第2のビデオデータストリームとの組み合わせを示す情報(連結映像信号記述子の連結ベースESのコンポーネント・タグ値)を持つようにされる。
【0131】
そのため、テレビ受信機200においては、この組み合わせを示す情報に基づいて、第2のビデオデータストリームに、第1のビデオデータストリームに含まれる左眼画像データと連結して使用される右眼画像データが含まれることを容易に知ることができる。そして、この第2のビデオデータストリームから右眼画像データを容易に取得可能となる。
【0132】
また、図1に示す画像送受信システム10において、第1のビデオデータストリームには、ステレオ立体画像データを構成する左眼画像データ(第1の画像データ)および2次元画像データ(第2の画像データ)が選択的に含まれる。そして、第1のビデオデータストリームには、フレーム単位で、含まれる画像データが第1の画像データであるか第2の画像データであるかを識別する識別情報(映像3D識別信号)が含まれる。
【0133】
そのため、テレビ受信機200においては、この識別情報に基づいて、第1のデータストリームに含まれている画像データが第1の画像データであるか第2の画像データであるかを、フレーム単位で認識できる。そして、テレビ受信機200においては、ステレオ立体画像の表示処理状態と2次元画像の表示処理状態とを、迅速かつ適切に切り換えることが可能となる。
【0134】
<2.変形例>
なお、上述実施の形態においては、PMTの配下のビデオエレメンタリ・ループにベース映像信号(第1のビデオデータストリーム)に関連して配置される3D方式記述子には、映像フォーマット情報が記述されていない。しかし、この3D方式記述子に、映像フォーマット情報を記述することも考えられる。
【0135】
図21は、その場合における3D方式記述子(Stereoscopic_video_descriptor)の構造例(Syntax)を示している。この図21の構造例では、図14の構造例に対して、さらに、「base_video_format_type」、「extended_video_format_type」の情報が追加されている。上述したように、「base_video_format_type」の8ビットフィールドは、連結のベースとなるビデオエレメンタリストリーム(映像ES)に含まれる画像データの映像フォーマットを示す。「extended_video_format_type」8ビットフィールドは、連結の拡張となるビデオエレメンタリストリーム(映像ES)に含まれる画像データの映像フォーマットを示す。
【0136】
この場合、PMTの配下のビデオエレメンタリ・ループに拡張映像信号(第2のビデオデータストリーム)に関連して連結映像信号記述子(図16参照)がなくても、テレビ受信機200では、左眼画像データおよび右眼画像データの映像フォーマットを認識できる。つまり、右眼画像データの取得先が他の放送サービス、通信VOD、通信マルチキャスト等であっても、テレビ受信機200では、左眼画像データおよび右眼画像データの映像フォーマットを容易に認識できる。そして、ステレオ立体画像表示のために、右眼画像データの映像フォーマットを左眼画像データの映像フォーマットに合わせるための処理を適切に行ことができる。
【0137】
図22は、上述したように3D方式記述子に映像フォーマット情報を記述する場合における連結映像信号記述子(combined_video_descriptor)の構造例(Syntax)を示している。この図22の構造例では、図16の構造例に対して、「base_video_format_type」、「extended_video_format_type」の情報が除かれている。これらの情報は、3D方式記述子に記述されているので、不要となるからである。
【0138】
また、上述実施の形態においては、所定目的がステレオ立体画像であり、ベース映像信号(第1のビデオデータストリーム)には左眼画像データが含まれ、拡張映像信号(第2のビデオデータストリーム)に右眼画像データが含まれる例を示した。所定目的が多視点画像、パノラマ画像などである場合にも、同様に構成できることは勿論である。
【産業上の利用可能性】
【0139】
本技術は、ステレオ立体画像表示を行うための画像送信を行う画像送受信システム等に適用できる。
【符号の説明】
【0140】
10・・・画像送受信システム
100・・・放送局
110・・・送信データ生成部
111・・・データ取り出し部
111a・・・データ記録媒体
112・・・ビデオエンコーダ
113・・・オーディオエンコーダ
114・・・マルチプレクサ
200・・・テレビ受信機
201・・・制御部
202・・・受信部
203・・・MPEG2videoのデコーダ
204・・・MPEG4−AVCのデコーダ
205・・・同期部
206・・・スケーリング部
207・・・3D処理部
208・・・3Dパネル
211・・・アップコンバータ
221・・・通信部

【特許請求の範囲】
【請求項1】
所定目的のために連結される他の画像データが存在する第1の画像データを含む第1のビデオデータストリームを有するトランスポートストリームを送信するデータ送信部を備え、
上記トランスポートストリームは、上記第1のビデオデータストリームに含まれる画像データとして上記第1のデータが含まれること、および上記他の画像データの取得先を示す情報を持つ制御信号を含む
画像データ送信装置。
【請求項2】
上記他の画像データの映像フォーマットは、上記第1の画像データの映像フォーマットと同じか異なっており、
上記制御信号は、上記第1の画像データおよび上記他の画像データの映像フォーマット情報をさらに持つ
請求項1に記載の画像データ送信装置。
【請求項3】
上記第1の画像データと、該第1の画像データに連結される上記他の画像データは、ステレオ立体画像データを構成する
請求項1に記載の画像データ送信装置。
【請求項4】
上記トランスポートストリームには、該トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを示すプログラム・スペシフィック・インフォメーションとしてのプログラム・マップ・テーブルが含まれており、
上記制御信号は、上記プログラム・マップ・テーブルの配下に挿入されている
請求項1に記載の画像データ送信装置。
【請求項5】
上記制御信号に含まれる上記取得先が同一サービスであるとき、
上記トランスポートストリームは、上記他の画像データを含む第2のビデオデータストリームを有し、
上記制御信号は、上記第1のビデオデータストリームと、上記第2のビデオデータストリームとの組み合わせを示す情報をさらに持つ
請求項1に記載の画像データ送信装置。
【請求項6】
上記第1の画像データの符号化方式はMPEG2videoであり、上記他の画像データの符号化方式はMPEG4−AVCである
請求項1に記載の画像データ送信装置。
【請求項7】
上記第1のビデオデータストリームは、上記第1の画像データまたは連結される他の画像データが存在しない第2の画像データを選択的に含み、
上記第1のビデオデータストリームは、フレーム単位で、含まれる画像データが上記第1の画像データであるか上記第2の画像データであるかを識別する識別情報を含む
請求項1に記載の画像データ送信装置。
【請求項8】
上記識別情報は、上記第1のビデオデータストリームの各ピクチャのヘッダ内に挿入されている
請求項7に記載の画像データ送信装置。
【請求項9】
所定目的のために連結される他の画像データが存在する第1の画像データを含むビデオデータストリームを有するトランスポートストリームを生成するストリーム生成ステップと、
上記ストリーム生成ステップで生成されたトランスポートストリームに、上記ビデオデータストリームに含まれる画像データとして上記第1の画像データが含まれること、および上記他の画像データの取得先を示す情報を持つ制御信号を挿入する制御信号挿入ステップと、
上記制御信号挿入ステップで制御信号が挿入された上記トランスポートストリームを送信するデータ送信ステップと
を備える画像データ送信方法。
【請求項10】
所定目的のために連結される他の画像データが存在する第1の画像データを含むビデオデータストリームを有するトランスポートストリームを受信するデータ受信部を備え、
上記トランスポートストリームは、上記ビデオデータストリームに含まれる画像データとして上記第1のデータが含まれること、および上記他の画像データの取得先を示す情報を持つ制御信号を含み、
上記データ受信部で受信された上記トランスポートストリームから上記第1の画像データを取得する第1のデータ取得部と、
上記データ受信部で受信された上記トランスポートストリームに含まれる上記制御信号に基づいて、上記取得先から上記他の画像データを取得する第2のデータ取得部と、
上記第1のデータ取得部で取得された上記第1の画像データおよび上記第2のデータ取得部で取得された上記他の画像データを連結して処理するデータ処理部とをさらに備える
画像データ受信装置。
【請求項11】
上記他の画像データの映像フォーマットは、上記第1の画像データの映像フォーマットと同じか異なっており、
上記第1のデータ取得部で取得された上記第1の画像データの映像フォーマットに、上記第2のデータ取得部で取得された上記他の画像データの映像フォーマットを合わせる映像フォーマット調整部をさらに備える
請求項10に記載の画像データ受信装置。
【請求項12】
上記ビデオデータストリームは、上記第1の画像データと、連結される他の画像データが存在しない第2の画像データとを選択的に含み、
上記ビデオデータストリームは、フレーム単位で、含まれる画像データが上記第1の画像データであるか上記第2の画像データであるかを識別する識別情報を含み、
上記ビデオデータストリームに含まれる上記識別情報に基づいて、上記第2のデータ取得部および上記データ処理部の動作を制御する制御部をさらに備える
請求項10に記載の画像データ受信装置。
【請求項13】
所定目的のために連結される他の画像データが存在する第1の画像データを含むビデオデータストリームを有するトランスポートストリームを受信するデータ受信ステップをさらに備え、
上記トランスポートストリームは、上記ビデオデータストリームに含まれる画像データとして上記第1のデータが含まれること、および上記他の画像データの取得先を示す情報を持つ制御信号を含み、
上記データ受信ステップで受信された上記トランスポートストリームから上記第1の画像データを取得する第1のデータ取得ステップと、
上記データ受信ステップで受信された上記トランスポートストリームに含まれる上記制御信号に基づいて、上記取得先から上記他の画像データを取得する第2のデータ取得ステップと、
上記第1のデータ取得ステップで取得された上記第1の画像データおよび上記第2のデータ取得ステップで取得された上記他の画像データを連結して処理するデータ処理ステップとをさらに備える
画像データ受信方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate


【公開番号】特開2012−160813(P2012−160813A)
【公開日】平成24年8月23日(2012.8.23)
【国際特許分類】
【出願番号】特願2011−17598(P2011−17598)
【出願日】平成23年1月31日(2011.1.31)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】