立体画像データ送信装置および立体画像データ送信方法
【課題】重畳情報の表示において画像内の各物体との間の遠近感の整合性の維持を図る。
【解決手段】セットトップボックス２００は、左眼画像データおよび右眼画像データを含む立体画像データと共に、左眼画像および右眼画像の一方に対する他方の視差情報を含む視差情報セットを、ＨＤＭＩインタフェースにより、外部機器（テレビ受信機等）に送信する。視差情報セットをＨＤＭＩインタフェースで送信する際に、（１）ＨＤＭＩ Vendor Specific InfoFrame を利用する、あるいは（２）フレームパッキング方式等の３Ｄビデオフォーマット（3D Video Format）のアクティブスペース（Active Space）を利用する。第１の種類の視差情報セットには、所定数の視差ベクトル（視差情報）と、各視差ベクトルが属する画像領域上の位置を示す位置情報（ブロックＩＤ）が含まれる。第２の種類の視差情報セットには、画像領域の分割情報と、各分割領域を代表する視差情報とが含まれる。
【解決手段】セットトップボックス２００は、左眼画像データおよび右眼画像データを含む立体画像データと共に、左眼画像および右眼画像の一方に対する他方の視差情報を含む視差情報セットを、ＨＤＭＩインタフェースにより、外部機器（テレビ受信機等）に送信する。視差情報セットをＨＤＭＩインタフェースで送信する際に、（１）ＨＤＭＩ Vendor Specific InfoFrame を利用する、あるいは（２）フレームパッキング方式等の３Ｄビデオフォーマット（3D Video Format）のアクティブスペース（Active Space）を利用する。第１の種類の視差情報セットには、所定数の視差ベクトル（視差情報）と、各視差ベクトルが属する画像領域上の位置を示す位置情報（ブロックＩＤ）が含まれる。第２の種類の視差情報セットには、画像領域の分割情報と、各分割領域を代表する視差情報とが含まれる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、立体画像データ送信装置および立体画像データ送信方法に関し、特に、重畳情報（メニュー、番組表等）の表示を良好に行い得る立体画像データ送信装置等に関する。
【背景技術】
【０００２】
例えば、特許文献１には、立体画像データのテレビ放送電波を用いた伝送方式について提案されている。この場合、左眼用画像データおよび右眼用画像データを含む立体画像データが送信され、テレビ受信機において、両眼視差を利用した立体画像表示が行われる。
【０００３】
図７８は、両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクト（物体）の左右像の表示位置と、その立体像の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Ｌａが右側に右像Ｒａが左側にずれて表示されているオブジェクトＡに関しては、左右の視線がスクリーン面より手前で交差するため、その立体像の再生位置はスクリーン面より手前となる。
【０００４】
また、例えば、スクリーン上に図示のように左像Ｌｂおよび右像Ｒｂが同一位置に表示されているオブジェクトＢに関しては、左右の視線がスクリーン面で交差するため、その立体像の再生位置はスクリーン面上となる。さらに、例えば、スクリーン上に図示のように左像Ｌｃが左側に右像Ｒｃが右側にずれて表示されているオブジェクトＣに関しては、左右の視線がスクリーン面より奥で交差するため、その立体像の再生位置はスクリーン面より奥となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−６１１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したように立体画像表示において、視聴者は、両眼視差を利用して、立体画像の遠近感を認知することが普通である。画像に重畳される重畳情報、例えば、クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報等に関しても、２次元空間的のみならず、３次元の奥行き感としても、立体画像表示と連動してレンダリングされることが期待される。
【０００７】
例えば、画像にクローズド・キャプション情報あるいはサブタイトル情報である字幕を重畳表示(オーバーレイ表示)する場合、遠近感でいうところの最も近い画像内の物体（オブジェクト）よりも手前に表示されないと、視聴者は、遠近感の矛盾を感じる場合がある。また、他のグラフィクス情報、あるいはテキスト情報を画像に重畳表示する場合にも、画像内の各物体の遠近感に応じて視差調整を施し、遠近感の整合性を維持することが期待される。
【０００８】
この発明の目的は、画像表示装置における重畳情報（メニュー、番組表等）の表示において、画像内の各物体との間の遠近感の整合性の維持を図ることにある。
【課題を解決するための手段】
【０００９】
この発明の概念は、
左眼画像データおよび右眼画像データを含む立体画像データと、左眼画像および右眼画像の一方に対する他方の視差情報を含む視差情報セットとを、伝送路を介して、外部機器に送信するデータ送信部
を備える立体画像データ送信装置にある。
【００１０】
この発明において、データ受信部により、立体画像データと視差情報セットとが、伝送路を介して、外部機器に送信される。立体画像データには、左眼画像データおよび右眼画像データが含まれている。視差情報セットには、左眼画像および右眼画像の一方に対する他方の視差情報が含まれている。
【００１１】
この発明において、例えば、データ送信部は、画像データを、複数チャネルで、差動信号により、伝送路を介して、外部機器に送信し、画像データのブランキング期間に視差情報セットを挿入することで、この視差情報セットを外部機器に送信する、ようにされる。
【００１２】
また、この発明において、例えば、データ送信部は、垂直同期信号により区切られる、水平ブランキング期間、垂直ブランキング期間およびアクティブビデオ区間を含むビデオフィールド区間を単位とする伝送データを生成する伝送データ生成部と、伝送データ生成部で生成された伝送データを、複数チャネルで、差動信号により、伝送路を介して、外部機器に送信する伝送データ送信部とを有し、アクティブビデオ区間は、主映像領域および補助映像領域を有し、伝送データ生成部は、主映像領域に画像データを配し、補助映像領域に、主映像領域に配される画像データに関連した視差情報セットを配する、ようにされる。
【００１３】
また、この発明において、例えば、視差情報セットは、画像領域上の所定数の位置に対応した視差情報と、各視差情報が属する画像領域上の位置を示す位置情報とを含む、ようにされる。
【００１４】
また、この発明において、例えば、視差情報セットは、画像領域の分割情報と、各分割領域を代表する視差情報とを含む、ようにされる。
【００１５】
また、この発明において、例えば、視差情報セットには、この視差情報セットが第１の種類であるか第２の種類であるかを示す識別情報が付加されており、視差情報セットは、識別情報が第１の種類を示すとき、画像領域上の所定数の位置に対応した視差情報と、各視差情報が属する画像領域上の位置を示す位置情報とを含み、識別情報が第２の種類を示すとき、画像領域の分割情報と、各分割領域を代表する視差情報とを含む、ようにされる。
【００１６】
このように、この発明においては、左眼画像データおよび右眼画像データを含む立体画像データと共に、左眼画像および右眼画像の一方に対する他方の視差情報を含む視差情報セットが、伝送路を介して、外部機器に送信される。そのため、外部機器、例えばテレビ受信機等の画像表示装置においては、左眼画像および右眼画像に重畳される同一の重畳情報（メニュー、番組表等）として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができ、重畳情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。
【発明の効果】
【００１７】
この発明によれば、左眼画像データおよび右眼画像データを含む立体画像データと共に、左眼画像および右眼画像の一方に対する他方の視差情報を含む視差情報セットを外部機器に送信するものであり、重畳情報（メニュー、番組表等）として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができ、重畳情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】この発明の実施の形態としての立体画像表示システムの構成例を示すブロック図である。
【図２】放送局における送信データ生成部の構成例を示すブロック図である。
【図３】１９２０×１０８０ｐのピクセルフォーマットの画像データを示す図である。
【図４】立体画像データ（３Ｄ画像データ）の伝送方式である「Top & Bottom」方式、「Side By Side」方式、「Frame Sequential」方式を説明するための図である。
【図５】左眼画像に対する右眼画像の視差ベクトルを検出する例を説明するための図である。
【図６】視差ベクトルをブロックマッチング方式で求めることを説明するための図である。
【図７】視差ベクトル検出部で検出される、画像内の所定位置おける視差ベクトルＶＶの一例を示す図である。
【図８】視差ベクトルの伝送内容を示す図である。
【図９】視差検出ブロック例と、その場合の視差ベクトルの伝送内容を示す図である。
【図１０】視差ベクトルを検出して伝送するタイミングの例を説明するための図である。
【図１１】視差ベクトルを検出して伝送するタイミングの例を説明するための図である。
【図１２】送信データ生成部において多重化される各データのストリーム例を示す図である。
【図１３】放送局における送信データ生成部の他の構成例を示すブロック図である。
【図１４】放送局における送信データ生成部において多重化される各ストリームの一例を示している。
【図１５】放送局における送信データ生成部の他の構成例を示すブロック図である。
【図１６】放送局における送信データ生成部において多重化される各ストリームの一例を示している。
【図１７】伝送方式が第１の伝送方式（「Top & Bottom」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置等を説明するための図である。
【図１８】伝送方式が第１の伝送方式（「Top & Bottom」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の生成方法を説明するための図である。
【図１９】伝送方式が第２の伝送方式（「Side By Side」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の生成方法を説明するための図である。
【図２０】伝送方式が第２の伝送方式（「Side By Side」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の生成方法を説明するための図である。
【図２１】放送局における送信データ生成部の他の構成例を示すブロック図である。
【図２２】放送局における送信データ生成部の他の構成例を示すブロック図である。
【図２３】ピクセル（画素）毎の視差ベクトルの値を各ピクセル（各画素）の輝度値として用いた場合の画像例を示す図である。
【図２４】ブロック（Block）毎の視差ベクトルの一例を示す図である。
【図２５】送信データ生成部の視差情報セット作成部で行われるダウンサイジング処理の一例を示す図である。
【図２６】視差情報セット作成部で管理される各階層の各領域の視差ベクトルを説明するための図である。
【図２７】視差情報セットの内容の一例を示す図である。
【図２８】伝送方式が第２の伝送方式（「Side By Side」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示す図である。
【図２９】左眼画像、右眼画像に対して、ビットストリームデータから抽出された従来方法により伝送されるグラフィクスデータによるグラフィクス画像をそのまま重畳した状態を示す図である。
【図３０】時刻Ｔ０，Ｔ１，Ｔ２，Ｔ３における３つのオブジェクト位置の視差ベクトル（View Vector）を示す図である。
【図３１】画像上における字幕（グラフィクス情報）の表示例と、背景、近景オブジェクト、字幕の遠近感を示す図である。
【図３２】画像上における字幕（グラフィクス情報）の表示例と、字幕を表示するための左眼グラフィクス情報ＬＧＩおよび右眼グラフィクス情報ＲＧＩを示す図である。
【図３３】視差ベクトルとして、画像内の複数位置で検出された視差ベクトルのうち、その重畳位置に対応したものを使用することを説明するための図である。
【図３４】画像内にＡ，Ｂ，Ｃの各オブジェクトが存在し、これら各オブジェクトの近傍位置に、各オブジェクトの注釈を示すテキスト情報を重畳することを示す図である。
【図３５】立体画像表示システムを構成するセットトップボックスの構成例を示すブロック図である。
【図３６】セットトップボックスを構成するビットストリーム処理部の構成例を示すブロック図である。
【図３７】視差ベクトルＶＶ１が、テレビディスプレイに向かって左側のビデオオブジェクトの方が大きい場合のスピーカ出力制御例を示す図である。
【図３８】放送局から送られてくる各データストリームと視差ベクトルとの対応関係を示す図である。
【図３９】放送局から送られてくる各データストリームと視差ベクトルとの対応関係を示す図である。
【図４０】セットトップボックスを構成するビットストリーム処理部の他の構成例を示すブロック図である。
【図４１】放送局から送られてくる各データストリームと視差ベクトルとの対応関係を示す図である。
【図４２】放送局から送られてくる各データストリームと視差ベクトルとの対応関係を示す図である。
【図４３】放送局から送られてくる各データストリームと視差ベクトルとの対応関係を示す図である。
【図４４】セットトップボックスを構成するビットストリーム処理部の他の構成例を示すブロック図である。
【図４５】セットトップボックスを構成するビットストリーム処理部の他の構成例を示すブロック図である。
【図４６】立体画像表示システムを構成するテレビ受信機の構成例を示す図である。
【図４７】ＨＤＭＩ送信部（ＨＤＭＩソース）とＨＤＭＩ受信部（ＨＤＭＩシンク）の構成例を示すブロック図である。
【図４８】ＨＤＭＩ送信部を構成するＨＤＭＩトランスミッタと、ＨＤＭＩ受信部を構成するＨＤＭＩレシーバの構成例を示すブロック図である。
【図４９】ＴＭＤＳ伝送データの構造例（横×縦が１９２０ピクセル×１０８０ラインの画像データが伝送される場合）を示す図である。
【図５０】ソース機器およびシンク機器のＨＤＭＩケーブルが接続されるＨＤＭＩ端子のピン配列（タイプＡ）を示す図である。
【図５１】Ｅ−ＥＤＩＤのデータ構造例を示す図である。
【図５２】Vender Specific領域（HDMI Vendor Specific DataBlock）のデータ構造例を示す図である。
【図５３】立体画像データのＴＭＤＳ伝送データ構造の一つであるフレームパッキング方式の３Ｄビデオフォーマットを示す図である。
【図５４】立体画像データのＴＭＤＳ伝送データ構造の一つであるラインオルタネイティブ方式の３Ｄビデオフォーマットを示す図である。
【図５５】立体画像データのＴＭＤＳ伝送データ構造の一つであるサイド・バイ・サイド（Ｆｕｌｌ）方式の３Ｄビデオフォーマットを示す図である。
【図５６】立体画像表示システムを構成するセットトップボックスの他の構成例を示すブロック図である。
【図５７】立体画像表示システムを構成するテレビ受信機の他の構成例を示す図である。
【図５８】セットトップボックスからテレビ受信機に送信される視差情報セットの内容の一例を示す図である。
【図５９】画像（ピクチャ）領域を９分割して得られる各ブロックＢＫ０〜ＢＫ８と、その場合の各ブロックの視差ベクトルの配置を説明するための図である。
【図６０】視差情報セットの送信にＨＤＭＩ Vendor Specific InfoFrame を利用する場合における、ＨＤＭＩVendor Specific InfoFrame のパケット構造例を示す図である。
【図６１】視差情報セットの送信にアクティブスペース領域を利用する場合における、ＨＤＭＩ Vendor Specific InfoFrame のパケット構造例を示す図である。
【図６２】アクティブスペース領域に配置される視差情報セットの構造を示す図である。
【図６３】視差情報セット構造の各情報の内容を示す図である。
【図６４】ブロックサイズに応じた各視差ベクトルの情報セットの配置例を説明するための図である。
【図６５】視差情報セット（第２の種類）の送信にＨＤＭＩ Vendor Specific InfoFrame を利用する場合における、ＨＤＭＩVendor Specific InfoFrame のパケット構造例を示す図である。
【図６６】視差情報セット（第１の種類）の送信にＨＤＭＩ Vendor Specific InfoFrame を利用する場合における、ＨＤＭＩVendor Specific InfoFrame のパケット構造例を示す図である。
【図６７】ＨＤＭＩ Vendor Specific InfoFrame のパケットに含まれる主要な情報の内容を示す図である。
【図６８】ＨＤＭＩ Vendor Specific InfoFrame のパケットに含まれる「Dimension」の情報を説明するための図である。
【図６９】ＨＤＭＩ Vendor Specific InfoFrame のパケットに含まれる第１の種類の視差情報セットを説明するための図である。
【図７０】視差情報セット（第２の種類のみ）の送信にＨＤＭＩ Vendor Specific InfoFrame を利用する場合における、ＨＤＭＩVendor Specific InfoFrame のパケット構造例を示す図である。
【図７１】視差情報セット（第１の種類、第２の種類）の送信にアクティブスペース領域を利用する場合における、ＨＤＭＩ Vendor Specific InfoFrame のパケット構造例を示す図である。
【図７２】アクティブスペース領域に配置される視差情報セット（第２の種類）の構造を示す図である。
【図７３】アクティブスペース領域に配置される視差情報セット（第１の種類）の構造を示す図である。
【図７４】アクティブスペース領域に配置される視差情報セット（第１の種類、第２の種類）の構造の各情報の内容を示す図である。
【図７５】ブロックサイズに応じた各視差ベクトルの情報セットの配置例を説明するための図である。
【図７６】視差情報セット（第１の種類のみ、または第２の種類のみ）の送信にアクティブスペース領域を利用する場合における、ＨＤＭＩ Vendor Specific InfoFrame のパケット構造例を示す図である。
【図７７】立体画像表示システムの他の構成例を示す図である。
【図７８】両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクトの左右像の表示位置と、その立体像の再生位置との関係を示す図である。
【発明を実施するための形態】
【００１９】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例
【００２０】
＜１．実施の形態＞
［立体画像送受信システムの構成例］
図１は、実施の形態としての立体画像送受信システム１０の構成例を示している。この立体画像送受信システム１０は、放送局１００と、セットトップボックス（ＳＴＢ：Set Top Box）２００と、テレビ受信機３００を有している。
【００２１】
セットトップボックス２００およびテレビ受信機３００は、ＨＤＭＩ(High Definition Multimedia Interface)ケーブル４００を介して接続されている。セットトップボックス２００には、ＨＤＭＩ端子２０２が設けられている。テレビ受信機３００には、ＨＤＭＩ端子３０２が設けられている。ＨＤＭＩケーブル４００の一端はセットトップボックス２００のＨＤＭＩ端子２０２に接続され、このＨＤＭＩケーブル４００の他端はテレビ受信機３００のＨＤＭＩ端子３０２に接続されている。
【００２２】
［放送局の説明］
放送局１００は、ビットストリームデータを、放送波にのせて送信する。このビットストリームデータには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データ、重畳情報データ、さらには視差情報（視差ベクトル）などが含まれる。ここで、重畳情報データは、クローズド・キャプションデータ、サブタイトルデータ、グラフィクスデータ、テキストデータなどである。
【００２３】
「送信データ生成部の構成例」
図２は、放送局１００において、上述のビットストリームデータを生成する送信データ生成部１１０の構成例を示している。この構成例は、視差ベクトルを数値情報として送信する例である。この送信データ生成部１１０は、カメラ１１１Ｌ，１１１Ｒと、ビデオフレーミング部１１２と、ビデオエンコーダ１１３と、視差ベクトル検出部１１４と、視差ベクトルエンコーダ１１５を有している。
【００２４】
また、この送信データ生成部１１０は、マイクロホン１１６と、オーディオエンコーダ１１７と、サブタイトル・グラフィクス発生部１１８と、サブタイトル・グラフィクスエンコーダ１１９と、テキスト発生部１２０と、テキストエンコーダ１２１と、マルチプレクサ１２２を有している。なお、この実施の形態において、テキスト発生部１２０は、クローズド・キャプションデータの発生部を兼ねているものとする。このクローズド・キャプションデータは、クローズド・キャプションの字幕表示をするためのテキストデータである。
【００２５】
カメラ１１１Ｌは、左眼画像を撮影して立体画像表示のための左眼画像データを得る。カメラ１１１Ｒは、右眼画像を撮影して立体画像表示のための右眼画像データを得る。ビデオフレーミング部１１２は、カメラ１１１Ｌで得られる左眼画像データおよびカメラ１１１Ｒで得られる右眼画像データを、伝送方式に応じた状態に加工処理する。
【００２６】
［立体画像データの伝送方式例］
ここでは、立体画像データ（３Ｄ画像データ）の伝送方式として、以下の第１〜第３の方式を挙げるが、これら以外の伝送方式であってもよい。ここでは、図３に示すように、左眼（Ｌ）および右眼（Ｒ）の画像データが、それぞれ、決められた解像度、例えば １９２０×１０８０ｐのピクセルフォーマットの画像データである場合を例にとって説明する。
【００２７】
第１の伝送方式は、「Top & Bottom」方式で、図４（ａ）に示すように、垂直方向の前半では左眼画像データの各ラインのデータを伝送し、垂直方向の後半では左眼画像データの各ラインのデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データのラインが１／２に間引かれることから原信号に対して垂直解像度は半分となる。
【００２８】
第２の伝送方式は、「Side By Side」方式で、図４（ｂ）に示すように、水平方向の前半では左眼画像データのピクセルデータを伝送し、水平方向の後半では右眼画像データのピクセルデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが１／２に間引かれる。現信号に対して、水平解像度は半分となる。
【００２９】
第３の伝送方式は、「Frame Sequential」方式で、図４（ｃ）に示すように、左眼画像データと右眼画像データとをフィールド毎に順次切換えて伝送する方式である。
【００３０】
図２に戻って、ビデオエンコーダ１１３は、ビデオフレーミング部１１２で加工処理された立体画像データに対して、ＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化を施して符号化ビデオデータを得る。また、ビデオエンコーダ１１３は、後段にストリームフォーマッタ１１３ａを備える。このストリームフォーマッタ１１３ａにより、ペイロード部に符号化ビデオデータを含むビデオのエレメンタリーストリームを生成する。
【００３１】
視差ベクトル検出部１１４は、左眼画像データおよび右眼画像データに基づき、画像内の所定位置において、左眼画像および右眼画像の一方に対する他方の視差情報である視差ベクトルを検出する。ここで、画像内の所定位置は、全ての画素位置、複数画素からなる各領域の代表位置、あるいは、重畳情報、ここではグラフィック情報やテキスト情報を重畳する領域の代表位置等である。
【００３２】
［視差ベクトルの検出］
視差ベクトルの検出例について説明する。ここでは、左眼画像に対する右眼画像の視差ベクトルを検出する例について説明する。図５に示すように、左眼画像を検出画像とし、右眼画像を参照画像とする。この例では、（xi,yi）および（xj,yj）の位置における視差ベクトルが検出される。
【００３３】
（xi,yi）の位置における視差ベクトルを検出する場合を例にとって説明する。この場合、左眼画像に、（xi,yi）の位置の画素を左上とする、例えば８×８あるいは１６×１６の画素ブロック（視差検出ブロック）Ｂｉが設定される。そして、右眼画像において、画素ブロックＢｉとマッチングする画素ブロックが探索される。
【００３４】
この場合、右眼画像に、（xi,yi）の位置を中心とする探索範囲が設定され、その探索範囲内の各画素を順次注目画素として、上述の画素ブロックＢｉと同様の例えば８×８あるいは１６×１６の比較ブロックが順次設定されていく。
【００３５】
画素ブロックＢｉと順次設定される比較ブロックとの間で、対応する画素毎の差分絶対値の総和が求められる。ここで、図６に示すように、画素ブロックＢｉの画素値をＬ(x,y)とし、比較ブロックの画素値をＲ(x,y)とするとき、画素ブロックＢｉと、ある比較ブロックとの間における差分絶対値の総和は、Σ｜Ｌ(x,y)−Ｒ(x,y)｜で表される。
【００３６】
右眼画像に設定される探索範囲にｎ個の画素が含まれているとき、最終的にｎ個の総和Ｓ１〜Ｓｎが求められ、その中で最小の総和Ｓminが選択される。そして、この総和Ｓminが得られた比較ブロックから左上の画素の位置が（xi′,yi′）が得られる。これにより、（xi,yi）の位置における視差ベクトルは、（xi′−xi，yi′−yi）のように検出される。詳細説明は省略するが、（xj,yj）の位置における視差ベクトルについても、左眼画像に、（xj,yj）の位置の画素を左上とする、例えば８×８あるいは１６×１６の画素ブロックＢｊが設定されて、同様の処理過程で検出される。
【００３７】
図７（ａ）は、視差ベクトル検出部１１４で検出される、画像内の所定位置おける視差ベクトルＶＶの一例を示している。この場合、図７（ｂ）に示すように、この画像内の所定位置においては、左眼画像（検出画像）を視差ベクトルＶＶだけずらすと、右眼画像（参照画像）と重なることを意味する。
【００３８】
図２に戻って、視差ベクトルエンコーダ１１５は、視差ベクトル検出部１１４で検出された視差ベクトル等を含む視差ベクトルのエレメンタリーストリームを生成する。ここで、視差ベクトルのエレメンタリーストリームには、以下の内容が含まれる。すなわち、ＩＤ（ID_Block）、垂直位置情報（Vertical_Position）、水平位置情報（Horizontal_Position）、視差ベクトル（View_Vector）が１セットとされる。そして、この１セットが視差検出ブロックの数であるＮ個分だけ繰り返される。
【００３９】
図８は、視差ベクトルの伝送内容を示している。視差ベクトルには、垂直方向成分（View_Vector_Vertical）および水平方向成分（View_Vector_Horizontal）が含まれている。 なお、視差検出ブロックの垂直、水平の位置は、画像の左上の原点から、ブロックの左上の画素までの垂直方向、水平方向のオフセット値となる。各視差ベクトルの伝送に、視差検出ブロックのＩＤを付すのは、画像に重畳表示させるクローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報等の重畳情報のパターンとのリンクがとれるようにするためである。
【００４０】
例えば、図９（ａ）に示すように、Ａ〜Ｆまでの視差検出ブロックが存在するとき、伝送内容には、図９（ｂ）に示すように、その視差検出ブロックＡ〜ＦのＩＤと、垂直、水平の位置情報と、視差ベクトルが含まれる。例えば、図９（ｂ）において、視差検出ブロックＡに関しては、ＩＤ２は視差検出ブロックＡのＩＤを示し、（Ｈａ，Ｖａ）は視差検出ブロックＡの垂直、水平の位置情報を示し、視差ベクトルａは視差検出ブロックＡの視差ベクトルを示している。
【００４１】
ここで、視差ベクトルを検出して伝送するタイミングについて説明する。このタイミングに関しては、例えば、以下の第１〜第４の例が考えられる。
【００４２】
第１の例においては、図１０（ａ）に示すように、ピクチャの符号化に同期させる。この場合、視差ベクトルは、ピクチャ単位で伝送される。このピクチャ単位は、視差ベクトルを伝送する際のもっとも細かい単位である。第２の例においては、図１０（ｂ）に示すように、ビデオのシーンに同期させる。この場合、視差ベクトルは、シーン単位で伝送される。
【００４３】
第３の例においては、図１０（ｃ）に示すように、符号化ビデオのＩピクチャ(Intra picture)、またはＧＯＰ（Group Of Pictures）に同期させる。第４の例においては、図１１に示すように、画像に重畳表示されるサブタイトル情報、グラフィクス情報、テキスト情報等の表示開始タイミングに同期させる。
【００４４】
図２に戻って、マイクロホン１１６は、カメラ１１１Ｌ，１１１Ｒで撮影された画像に対応した音声を検出して、音声データを得る。オーディオエンコーダ１１７は、マイクロホン１１６で得られた音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化を施し、オーディオのエレメンタリーストリームを生成する。
【００４５】
サブタイトル・グラフィクス発生部１１８は、画像に重畳するサブタイトル情報やグラフィクス情報のデータ（サブタイトルデータ、グラフィクスデータ）を発生する。サブタイトル情報は、例えば字幕である。また、グラフィクス情報は、例えばロゴなどである。このサブタイトルデータおよびグラフィクスデータは、ビットマップデータである。このサブタイトルデータおよびグラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。
【００４６】
このアイドリングオフセット情報は、例えば、画像の左上の原点から、サブタイトル情報やグラフィクス情報の重畳位置の左上の画素までの垂直方向、水平方向のオフセット値を示す。なお、字幕データをビットマップデータとして伝送する規格は、ヨーロッパのデジタル放送規格であるＤＶＢでDVB_Subtitlingとして規格化され、運用されている。
【００４７】
サブタイトル・グラフィクスエンコーダ１１９は、サブタイトル・グラフィクス発生部１１８で発生されたサブタイトル情報やグラフィクス情報のデータ（サブタイトルデータ、グラフィクスデータ）を入力する。そして、このサブタイトル・グラフィクスエンコーダ１１９は、これらのデータをペイロード部に含むエレメンタリーストリームを生成する。
【００４８】
テキスト発生部１２０は、画像に重畳するテキスト情報のデータ（テキストデータ）を発生する。テキスト情報は、例えば電子番組表、文字放送内容などである。このテキストデータには、上述のグラフィクスデータと同様に、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。このアイドリングオフセット情報は、例えば、画像の左上の原点から、テキスト情報の重畳位置の左上の画素までの垂直方向、水平方向のオフセット値を示す。なお、テキストデータを伝送する例としては、番組予約として運用されているＥＰＧ、アメリカのデジタル地上波規格ＡＴＳＣのCC_data(Closed Caption)がある。
【００４９】
テキストエンコーダ１２１は、テキスト発生部１２０で発生されたテキストデータを入力する。そして、テキストエンコーダ１２１は、これらのデータをペイロード部に含むエレメンタリーストリームを生成する。
【００５０】
マルチプレクサ１２２は、エンコーダ１１３，１１５，１１７，１１９，１２１から出力されるパケット化されたエレメンタリーストリームを多重化する。そして、このマルチプレクサ１２２は、伝送データとしてのビットストリームデータ（トランスポートストリーム）ＢＳＤを出力する。
【００５１】
図２に示す送信データ生成部１１０の動作を簡単に説明する。カメラ１１１Ｌでは、左眼画像が撮影される。このカメラ１１１Ｌで得られる立体画像表示のための左眼画像データはビデオフレーミング部１１２に供給される。また、カメラ１１１Ｒでは、右眼画像が撮影される。このカメラ１１１Ｒで得られる立体画像表示のための右眼画像データはビデオフレーミング部１１２に供給される。ビデオフレーミング部１１２では、左眼画像データおよび右眼画像データが、伝送方式に応じた状態に加工処理されて、立体画像データが得られる（図４（ａ）〜（ｃ）参照）。
【００５２】
ビデオフレーミング部１１２で得られる立体画像データはビデオエンコーダ１１３に供給される。このビデオエンコーダ１１３では、立体画像データに対してＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化が施され、符号化ビデオデータを含むビデオエレメンタリーストリームが生成される。このビデオエレメンタリーストリームはマルチプレクサ１２２に供給される。
【００５３】
また、カメラ１１１Ｌ，１１１Ｒで得られた左眼画像データ、右眼画像データは、ビデオフレーミング部１１２を通じて、視差ベクトル検出部１１４に供給される。この視差ベクトル検出部１１４では、左眼画像データおよび右眼画像データに基づき、画像内の所定位置において、視差検出ブロックが設定され、左眼画像および右眼画像の一方に対する他方の視差情報である視差ベクトルが検出される。
【００５４】
視差ベクトル検出部１１４で検出された画像内の所定位置における視差ベクトルは、視差ベクトルエンコーダ１１５に供給される。この場合、視差検出ブロックのＩＤ、視差検出ブロックの垂直位置情報、視差検出ブロックの水平位置情報、視差ベクトルが１セットとして渡される。視差ベクトルエンコーダ１１５では、視差ベクトルの伝送内容（図８参照）を含む視差ベクトルエレメンタリーストリームが生成される。この視差ベクトルエレメンタリーストリームはマルチプレクサ１２２に供給される。
【００５５】
また、マイクロホン１１６では、カメラ１１１Ｌ，１１１Ｒで撮影された画像に対応した音声が検出される。このマイクロホン１１６で得られる音声データはオーディオエンコーダ１１７に供給される。このオーディオエンコーダ１１７では、音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化が施され、符号化オーディオデータを含むオーディオエレメンタリーストリームが生成される。このオーディオエレメンタリーストリームはマルチプレクサ１２２に供給される。
【００５６】
また、サブタイトル・グラフィクス発生部１１８では、画像に重畳するサブタイトル情報やグラフィクス情報のデータ（サブタイトルデータ、グラフィクスデータ）が発生される。このデータ（ビットマップデータ）は、サブタイトル・グラフィクスエンコーダ１１９に供給される。このサブタイトル・グラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。サブタイトル・グラフィクスエンコーダ１１９では、このグラフィクスデータに対して所定の符号化が施され、符号化データを含むエレメンタリーストリームが生成される。このエレメンタリーストリームはマルチプレクサ１２２に供給される。
【００５７】
また、テキスト発生部１２０では、画像に重畳するテキスト情報のデータ（テキストデータ）が発生される。このテキストデータは、テキストエンコーダ１２１に供給される。このテキストデータには、上述のグラフィクスデータと同様に、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。テキストエンコーダ１２１では、このテキストデータに対して所定の符号化が施され、符号化データを含むエレメンタリーストリームが生成される。このエレメンタリーストリームはマルチプレクサ１２２に供給される。
【００５８】
マルチプレクサ１２２では、各エンコーダから供給されるエレメンタリーストリームのパケットが多重化され、伝送データとしてのビットストリームデータ（トランスポートストリーム）ＢＳＤが得られる。
【００５９】
図１２は、図２に示す送信データ生成部１１０において多重化される各データのストリーム例を示している。なお、この例は、視差ベクトルが、ビデオのシーン単位で検出されて伝送される場合（図１０（ｂ）参照）を示している。なお、各ストリームのパケットには、同期表示用のタイムスタンプが付され、受信側で、画像に対して、サブタイトル情報、グラフィクス情報、テキスト情報等の重畳タイミングを制御することが可能となっている。
【００６０】
「送信データ生成部の他の構成例」
なお、上述の図２に示す送信データ生成部１１０は、視差ベクトルの伝送内容（図８参照）を独立したエレメンタリーストリームとして受信側に伝送する構成となっている。しかし、視差ベクトルの伝送内容を他のストリームの中に埋め込んで伝送することも考えられる。例えば、視差ベクトルの伝送内容は、ビデオのストリームにユーザデータとして埋め込まれて伝送される。また、例えば、視差ベクトルの伝送内容は、サブタイトル、グラフィクス、あるいはテキストのストリームに埋め込まれて伝送される。
【００６１】
図１３は、送信データ生成部１１０Ａの構成例を示している。この例も、視差ベクトルを数値情報として送信する例である。この送信データ生成部１１０Ａは、視差ベクトルの伝送内容を、ビデオのストリームにユーザデータとして埋め込んで伝送する構成となっている。この図１３において、図２と対応する部分には同一符号を付し、その詳細説明は省略する。
【００６２】
この送信データ生成部１１０Ａにおいて、視差ベクトル検出１１４で検出された画像内の所定位置における視差ベクトルは、ビデオエンコーダ１１３内のストリームフォーマッタ１１３ａに供給される。この場合、視差検出ブロックのＩＤ、視差検出ブロックの垂直位置情報、視差検出ブロックの水平位置情報、視差ベクトルが１セットとして渡される。ストリームフォーマッタ１１３ａでは、ビデオのストリームに、視差ベクトルの伝送内容（図８参照）が、ユーザデータとして埋め込まれる。
【００６３】
詳細説明は省略するが、この図１３に示す送信データ生成部１１０Ａのその他は、図２に示す送信データ生成部１１０と同様に構成されている。
【００６４】
図１４は、図１３に示す送信データ生成部１１０Ａにおいて多重化される画像データストリームと、サブタイトルあるいはグラフィクスのデータストリームと、テキストデータストリームの一例を示している。視差ベクトル（視差情報）は、画像データストリームに埋め込まれて伝送される。
【００６５】
「送信データ生成部の他の構成例」
図１５は、送信データ生成部１１０Ｂの構成例を示している。この例も、視差ベクトルを数値情報として送信する例である。この送信データ生成部１１０Ｂは、視差ベクトルの伝送内容を、サブタイトルあるいはグラフィクスのデータストリームに埋め込んで伝送する構成となっている。この図１５において、図２と対応する部分には同一符号を付し、その詳細説明は省略する。
【００６６】
この送信データ生成部１１０Ｂにおいて、視差ベクトル検出１１４で検出された画像内の所定位置における視差ベクトルは、サブタイトル・グラフィクスエンコーダ１１９内のストリームフォーマッタ１１９ａに供給される。この場合、視差検出ブロックのＩＤ、視差検出ブロックの垂直位置情報、視差検出ブロックの水平位置情報、視差ベクトルが１セットとして渡される。ストリームフォーマッタ１１９ａでは、サブタイトルあるいはグラフィクスのデータストリームに、視差ベクトルの伝送内容（図８参照）が埋め込まれる。
【００６７】
詳細説明は省略するが、この図１５に示す送信データ生成部１１０Ｂのその他は、図２に示す送信データ生成部１１０と同様に構成され、同様に動作する。
【００６８】
図１６は、図１５に示す送信データ生成部１１０Ｂにおいて多重化される、画像データストリームと、サブタイトルあるいはグラフィクスのデータストリームと、テキストデータストリームの一例を示している。視差ベクトル（視差情報）は、サブタイトルあるいはグラフィクスのデータストリームに埋め込まれて伝送される。
【００６９】
「送信データ生成部の他の構成例」
また、上述の図２、図１３、図１５に示す送信データ生成部１１０，１１０Ａ，１１０Ｂは、視差ベクトルを数値情報として送信する（図８参照）。しかし、視差ベクトルを数値情報として伝送する代わりに、画像に重畳するための重畳情報（例えば、サブタイトル情報、グラフィクス情報、テキスト情報等）のデータに送信側で視差情報を予め反映させて送信することも考えられる。
【００７０】
例えば、グラフィクス情報のデータに反映させる場合、送信側で、左眼画像に重畳すべき左眼グラフィクス情報と右眼画像に重畳すべき右眼グラフィクス情報の双方に対応したグラフィクスデータが生成される。この場合、左眼グラフィクス情報および右眼グラフィクス情報は同一のグラフィクス情報である。しかし、画像内の表示位置が、例えば、左眼グラフィクス情報に対して、右眼グラフィクス情報は、その表示位置に対応した視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。
【００７１】
例えば、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトルのうち、その重畳位置に対応したものが使用される。また、例えば、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトルのうち、遠近感でいうところの最も近く認識される位置の視差ベクトルが使用される。なお、詳細説明は省略するが、サブタイトル情報やグラフィクス情報のデータに視差情報を反映させる場合も同様である。
【００７２】
図１７（ａ）は、伝送方式が上述の第１の伝送方式（「Top & Bottom」方式）である場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示している。これら左眼グラフィクス情報および右眼グラフィクス情報は同一の情報である。ただし、左眼画像ＩＬ上に重畳される左眼グラフィクス情報ＬＧＩに対して、右眼画像ＩＲ上に重畳される右眼グラフィクス情報ＲＧＩは、視差ベクトルの水平方向成分ＶＶTだけ水平方向にずれた位置とされている。
【００７３】
各画像ＩＬ，ＩＲに対して、図１７（ａ）に示すように、各グラフィクス情報ＬＧＩ，ＲＧＩが重畳されるように、グラフィクスデータが生成される。これにより、視聴者は、図１７（ｂ）に示すように、各画像ＩＬ，ＩＲと共に、各グラフィクス情報ＬＧＩ，ＲＧＩを、視差をもって観察でき、グラフィクス情報にも、遠近感を認知可能となる。
【００７４】
例えば、各グラフィクス情報ＬＧＩ，ＲＧＩのグラフィクスデータは、図１８（ａ）に示すように、単一領域のデータとして生成される。この場合、各グラフィクス情報ＬＧＩ，ＲＧＩ以外の部分のデータは、透明データとして生成されればよい。また、例えば、各グラフィクス情報ＬＧＩ，ＲＧＩのグラフィクスデータは、図１８（ｂ）に示すように、別領域のデータとして生成される。
【００７５】
図１９（ａ）は、伝送方式が上述の第２の伝送方式（「Side By Side」方式）である場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示している。これら左眼グラフィクス情報および右眼グラフィクス情報は同一の情報である。ただし、左眼画像ＩＬ上に重畳される左眼グラフィクス情報ＬＧＩに対して、右眼画像ＩＲ上に重畳される右眼グラフィクス情報ＲＧＩは、視差ベクトルの水平方向成分ＶＶTだけ水平方向にずれた位置とされている。なお、ＩTは、アイドリングオフセット値である。
【００７６】
各画像ＩＬ，ＩＲに対して、図１９（ａ）に示すように、各グラフィクス情報ＬＧＩ，ＲＧＩが重畳されるように、グラフィクスデータが生成される。これにより、視聴者は、図１９（ｂ）に示すように、各画像ＩＬ，ＩＲと共に、各グラフィクス情報ＬＧＩ，ＲＧＩを、視差をもって観察でき、グラフィクス情報にも、遠近感を認知可能となる。
【００７７】
例えば、各グラフィクス情報ＬＧＩ，ＲＧＩのグラフィクスデータは、図２０に示すように、単一領域のデータとして生成される。この場合、各グラフィクス情報ＬＧＩ，ＲＧＩ以外の部分のデータは、透明データとして生成されればよい。
【００７８】
図２１は、送信データ生成部１１０Ｃの構成例を示している。この送信データ生成部１１０Ｃは、クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報等の重畳情報のデータに視差情報を反映させて送信する構成となっている。この図２１において、図２と対応する部分には同一符号を付し、その詳細説明は省略する。
【００７９】
この送信データ生成部１１０Ｃでは、サブタイトル・グラフィクス発生部１１８とサブタイトル・グラフィクスエンコーダ１１９との間に、サブタイトル・グラフィクス処理部１２４が挿入されている。また、この送信データ生成部１１０Ｃでは、テキスト発生部１２０とテキストエンコーダ１２１との間に、テキスト処理部１２５が挿入されている。そして、視差ベクトル検出部１１４で検出された画像内の所定位置における視差ベクトルは、サブタイトル・グラフィクス処理部１２４およびテキスト処理部１２５に供給される。
【００８０】
サブタイトル・グラフィクス処理部１２４では、左眼画像ＩＬ、右眼画像ＩＲに重畳される、左眼、右眼のサブタイトルやグラフィクスの情報ＬＧＩ，ＲＧＩのデータが生成される。この場合、サブタイトル・グラフィクス発生部１１８で発生されるサブタイトルデータやグラフィクスデータに基づいて発生される。左眼および右眼のサブタイトル情報やグラフィクス情報は同一の情報である。しかし、画像内の重畳位置が、例えば、左眼のサブタイトル情報やグラフィクス情報に対して、右眼のサブタイトル情報やグラフィクス情報は、視差ベクトルの水平方向成分ＶＶTだけ、水平方向にずれるようにされる（図１７（ａ）、図１９（ａ）参照）。
【００８１】
このようにサブタイトル・グラフィクス処理部１２４で生成されたサブタイトルデータやグラフィクスデータは、サブタイトル・グラフィクスエンコーダ１１９に供給される。なお、このサブタイトルデータやグラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。サブタイトル・グラフィクスエンコーダ１１９では、サブタイトル・グラフィクス処理部１２４で生成されたサブタイトルデータやグラフィクスデータのエレメンタリーストリームが生成される。
【００８２】
また、テキスト処理部１２５では、テキスト発生部１２０で発生されるテキストデータに基づいて、左眼画像上に重畳される左眼テキスト情報のデータおよび右眼画像上に重畳される右眼テキスト情報のデータが生成される。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報であるが、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分ＶＶTだけ、水平方向にずれるようにされる。
【００８３】
このようにテキスト処理部１２５で生成されたテキストデータは、テキストエンコーダ１２１に供給される。なお、このテキストデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。テキストエンコーダ１２１では、テキスト処理部で生成されたテキストスデータのエレメンタリーストリームが生成される。
【００８４】
詳細説明は省略するが、この図２１に示す送信データ生成部１１０Ｃのその他は、図２に示す送信データ生成部１１０と同様に構成されている。
【００８５】
「送信データ生成部の他の構成例」
図２、図１３、図１５に示す送信データ生成部１１０，１１０Ａ，１１０Ｂにおいて、視差ベクトル検出部１１４では、左眼画像データおよび右眼画像データに基づき、画像内の所定位置における視差ベクトル（視差情報）が検出される。送信データ生成部１１０，１１０Ａ，１１０Ｂでは、視差ベクトル検出部１１４で検出された画像内の所定位置における視差情報をそのまま受信側に送信する構成となっている。
【００８６】
しかし、例えば、視差ベクトル検出部１１４でピクセル毎（画素毎）の視差ベクトルを検出し、それにダウンサイジング処理を施し、画像領域を階層的に分割して得られた各階層の各領域の視差ベクトルを求めることが考えられる。そして、受信側が要求する視差ベクトルの空間密度、あるいは伝送帯域などに基づいて選択された階層の各領域の視差ベクトルを階層順に配置した視差情報セットを作成し、この視差情報セットを受信側に送信することが考えられる。
【００８７】
また、データ記録媒体に、送信すべき左眼画像データおよび右眼画像データと共に、ピクセル（画素）毎の視差ベクトル（視差情報）が記録されている場合がある。その場合に、それにダウンサイジング処理を施し、画像領域を階層的に分割して得られた各階層の各領域の視差ベクトルを求めることが考えられる。そして、受信側が要求する視差ベクトルの空間密度、あるいは伝送帯域などに基づいて選択された階層の各領域の視差ベクトルをデータ記録媒体から読み出して階層順に配置した視差情報セットを作成し、この視差情報セットを受信側に送信することが考えられる。
【００８８】
図２２は、送信データ生成部１１０Ｄの構成例を示している。この送信データ生成部１１０Ｄは、選択された階層の各領域の視差ベクトルを階層順に配置した視差情報セットを作成し、この視差情報セットを受信側に送信する構成となっている。この図２２において、図２と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
【００８９】
この送信データ生成部１１０Ｄは、カメラ１１１Ｌ，１１１Ｒと、ビデオフレーミング部１１２と、ビデオエンコーダ１１３と、視差ベクトル検出部１１４と、視差ベクトルエンコーダ１１５を有している。また、この送信データ生成部１１０Ｄは、マイクロホン１１６と、オーディオエンコーダ１１７と、サブタイトル・グラフィクス発生部１１８と、サブタイトル・グラフィクスエンコーダ１１９と、テキスト発生部１２０と、テキストエンコーダ１２１と、マルチプレクサ１２２を有している。また、この送信データ生成部１１０Ｄは、データ取り出し部１３０と、切換スイッチ１３１〜１３３、視差情報セット作成部１３４を有している。
【００９０】
データ取り出し部１３０には、データ記録媒体１３０ａが、例えば、着脱自在に装着される。このデータ記録媒体１３０ａには、左眼画像データおよび右眼画像データを含む立体画像データと共に、音声データ、重畳情報のデータ、視差ベクトルが対応付けて記録されている。データ取り出し部１３０は、データ記録媒体１３０ａから、立体画像データ、音声データ、重畳情報のデータ、視差ベクトル等を取り出して出力する。
【００９１】
ここで、データ記録媒体１３０ａに記録されている立体画像データは、ビデオフレーミング部１１２で得られる立体画像データに相当するものである。また、データ記録媒体１３０ａに記録されている重畳情報のデータは、サブタイトルデータ、グラフィクスデータ、テキストデータ等である。また、データ記録媒体１３０ａに記録されている視差ベクトルは、例えば、最下層に位置するピクセル（画素）毎の視差ベクトルである。
【００９２】
視差ベクトル検出部１１４は、左眼画像データおよび右眼画像データに基づき、例えば、最下層に位置するピクセル毎（画素毎）の視差ベクトルを検出する。切換スイッチ１３１は、ライブモードではビデオフレーミング部１１２で得られた立体画像データを取り出し、再生モードではデータ取り出し部１３０から出力された立体画像データを取り出し、ビデオエンコーダ１１３に供給する。
【００９３】
切換スイッチ１３２は、ライブモードでは視差ベクトル検出部１１４で得られた視差ベクトルを取り出し、再生モードではデータ取り出し部１３０から出力された視差ベクトルを取り出し、視差情報セット作成部１３４に供給する。切換スイッチ１３３は、ライブモードではマイクロホン１１６で得られた音声データを取り出し、再生モードではデータ取り出し部１３０から出力された音声データを取り出し、オーディオエンコーダ１１７に供給する。
【００９４】
視差情報セット作成部１３４は、切換スイッチ１３２で取り出された視差ベクトル、すなわち最下層に位置するピクセル（画素）毎の視差ベクトルにダウンサイジング処理を施し、画像（ピクチャ）領域を階層的に分割して得られた各階層の各領域の視差情報を求める。
【００９５】
図２３は、各ピクセル（画素）の輝度値のようにして与えられる相対的な深さ方向のデータの例を示している。ここで、相対的な深さ方向のデータは所定の変換により画素ごとの視差ベクトルとして扱うことが可能となる。この例において、人物部分の輝度値は高くなっている。これは、人物部分の視差ベクトルの値が大きいことを意味し、従って、立体画像表示では、この人物部分が浮き出た状態に知覚されることを意味している。また、この例において、背景部分の輝度値は低くなっている。これは、背景部分の視差ベクトルの値が小さいことを意味し、従って、立体画像表示では、この背景部分が沈んだ状態に知覚されることを意味している。
【００９６】
図２４は、ブロック（Block）毎の視差ベクトルの一例を示している。ブロックは、最下層に位置するピクセル（画素）の上位層に当たる。このブロックは、画像（ピクチャ）領域が、水平方向および垂直方向に所定の大きさで分割されることで構成される。各ブロックの視差ベクトルは、例えば、そのブロック内に存在する全ピクセル（画素）の視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。この例においては、各ブロックの視差ベクトルを矢印で示しており、矢印の長さが視差ベクトルの大きさに対応している。
【００９７】
図２５は、視差情報セット作成部１３４で行われるダウンサイジング処理の一例を示している。まず、視差情報セット作成部１３４は、図２５（ａ）に示すように、ピクセル（画素）毎の視差ベクトルを用いて、ブロック毎の視差ベクトルを求める。上述したように、ブロックは、最下層に位置するピクセル（画素）の上位層に当たり、画像（ピクチャ）領域が水平方向および垂直方向に所定の大きさで分割されることで構成される。そして、各ブロックの視差ベクトルは、例えば、そのブロック内に存在する全ピクセル（画素）の視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。
【００９８】
次に、視差情報セット作成部１３４は、図２５（ｂ）に示すように、ブロック毎の視差ベクトルを用いて、グループ（Group Of Block）毎の視差ベクトルを求める。グループは、ブロックの上位層に当たり、複数個の近接するブロックをまとめてグループ化することで得られる。図２５（ｂ）の例では、各グループは、破線枠で括られる４個のブロックにより構成されている。そして、各グループの視差ベクトルは、例えば、そのグループ内の全ブロックの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。
【００９９】
次に、視差情報セット作成部１３４は、図２５（ｃ）に示すように、グループ毎の視差ベクトルを用いて、リージョン（Region）毎の視差ベクトルを求める。リージョンは、グループの上位層に当たり、複数個の近接するグループをまとめてグループ化することで得られる。図２５（ｃ）の例では、各リージョンは、破線枠で括られる２個のグループにより構成されている。そして、各リージョンの視差ベクトルは、例えば、そのリージョン内の全グループの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。
【０１００】
次に、視差情報セット作成部１３４は、図２５（ｄ）に示すように、リージョン毎の視差ベクトルを用いて、最上位層に位置するピクチャ全体（画像全体）の視差ベクトルを求める。図２５（ｄ）の例では、ピクチャ全体には、破線枠で括られる４個のリージョンが含まれている。そして、ピクチャ全体の視差ベクトルは、例えば、ピクチャ全体に含まれる全リージョンの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。この場合、ピクチャ全体の視差ベクトルの他に、その視差ベクトルが得られた元々のピクセル（画素）の位置（「＋」で図示）の情報を求めて、視差ベクトルの付加情報とすることもできる。これは、上述したブロック、グループ、リージョンの視差ベクトルを求める際も同様である。
【０１０１】
このようにして、視差情報セット作成部１３４は、最下層に位置するピクセル（画素）毎の視差ベクトルにダウンサイジング処理を施して、ブロック、グループ、リージョン、ピクチャ全体の各階層の各領域の視差ベクトルを求めることができる。なお、図２５に示すダウンサイジング処理の一例では、最終的に、ピクセル（画素）の階層の他、ブロック、グループ、リージョン、ピクチャ全体の４階層の視差ベクトルを求めているが、階層数ならびに各階層の領域の切り方や領域の数はこれに限定されるものではない。
【０１０２】
また、視差情報セット作成部１３４は、受信側が要求する視差ベクトルの空間密度、あるいは伝送帯域などに基づいて選択された階層の各領域の視差ベクトルを階層順に配置した視差情報セットを作成する。
【０１０３】
視差情報セット作成部１３４では、上述のダウンサイジング処理により、例えば、ピクチャ全体、リージョン、グループ、ブロック、ピクセル（画素）の各階層の各領域の視差ベクトルが取得される。視差情報セット作成部１３４は、各階層の各領域の視差ベクトルを管理する。図２６に示すように、各階層の各領域の視差ベクトルには、ブロックＩＤ（Block ID）が付加されている。このブロック ＩＤは、対象の視差ベクトルが属する最下層の位置情報を示すものであり、上位層から見た際にも視差と位置を的確に検知することを可能とするものである。図２６は、図面の簡単のために、ピクチャ全体（ＤＰall）および各リージョン（ＤＰ0〜ＤＰ3）の視差ベクトル部分だけを示している。
【０１０４】
図２６において、ピクチャ全体（ＤＰall）の視差ベクトル（DP_value0）は、ブロックＩＤ（ＩＤ0）で示される最下層の位置に属する視差ベクトルであることが分かる。また、図２６において、各リージョン（ＤＰ0〜ＤＰ3）の視差ベクトル（DP_value1〜DP_value4）は、それぞれ、ブロックＩＤ（ＩＤ1〜ＩＤ４）で示される最下層の位置に属する視差ベクトルであることが分かる。
【０１０５】
なお、ブロック ＩＤの代わりに、あるいはブロックＩＤと共に、位置そのものを示す情報を用いることができる。この情報は、例えば、画面左上から各領域の左上までのオフセット値であり、画素単位で表される。また、ピクセル（画素）毎の視差ベクトルに関しては、スキャン順（映像画素順）に配置しておくことで位置情報の付加を省略できる。
【０１０６】
視差情報セット作成部１３４は、例えば、送信階層として最上位階層であるピクチャ全体の階層のみを選択する場合、図２６に矢印ａで範囲を示すように、その視差ベクトル（DP_value0）を含む視差情報セットを作成する。また、視差情報セット作成部１３４は、例えば、送信階層としてピクチャ全体およびリージョンの階層を選択する場合、図２６に矢印ｂで範囲を示すように、その視差ベクトル（DP_value0，DP_value1〜DP_value4）を含む視差情報セットを作成する。
【０１０７】
以下、同様に、視差情報セット作成部１３４は、送信階層として選択された各階層の各領域の視差ベクトルを含む視差情報セットを作成する。なお、送信階層として、必ずしも、ピクチャ全体の階層が含まれる必要はなく、リージョン階層以下、あるいはいグループ階層以下などが選択されてもよい。また、リージョン等の各階層の各領域の構成そのものに関しても、各階層のピクチャ全体の切り方や領域数などに自由度をもたせることが可能であることは言うまでもない。
【０１０８】
視差情報セット作成部１３４では、視差情報セットに、送信階層として選択された各階層の各領域の視差ベクトルを、階層順、例えば上位階層から順に配置する。図２７は、視差情報セットの内容の一例を示している。
【０１０９】
この視差情報セットには、Ｎ個の視差ベクトルの情報セットが含まれている。各情報セットは、１６ビットのブロックＩＤ（ID_Block(i)）と、１６ビットの垂直位置情報（Vertical_Position）と、１６ビットの水平位置情報（Horizontal_Position）と、１６ビットの水平方向の視差ベクトル（Disparity_Vector_Horizontal）により構成されている。
【０１１０】
なお、受信側において、ブロック ＩＤ（ID_Block(i)）のみで視差ベクトルが属する最下層の位置が分かる場合には、位置情報（Vertical_Position，Horizontal_Position）を不要とできる。また、ピクセル（画素）毎の視差ベクトルを送信する場合にあってスキャン順（映像画素順）に配置する場合には、ブロックＩＤおよび位置情報のいずれも不要とできる。
【０１１１】
ビデオエンコーダ１１３は、切換スイッチ１３１から供給された立体画像データに対して、ＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化を施して符号化ビデオデータを得る。また、ビデオエンコーダ１１３は、ペイロード部に符号化ビデオデータを含むビデオのエレメンタリーストリームを生成する。視差ベクトルエンコーダ１１５は、視差情報セット作成部１３４で作成された視差情報セットを含む視差ベクトルのエレメンタリーストリームを生成する。また、オーディオエンコーダ１１７は、切換スイッチ１３３から供給された音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化を施し、オーディオのエレメンタリーストリームを生成する。
【０１１２】
詳細説明は省略するが、この図２２に示す送信データ生成部１１０Ｄのその他は、図２に示す送信データ生成部１１０と同様に構成されている。
【０１１３】
図２２に示す送信データ生成部１１０Ｄの動作を簡単に説明する。最初にライブモードの動作を説明する。このライブモードでは、切換スイッチ１３１〜１３３は、いずれも、ａ側に接続されている。
【０１１４】
ビデオフレーミング部１１２で得られた立体画像データは、切換スイッチ１３１を介して、ビデオエンコーダ１１３に供給される。このビデオエンコーダ１１３では、その立体画像データに対してＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化が施され、符号化ビデオデータを含むビデオエレメンタリーストリームが生成される。このビデオエレメンタリーストリームはマルチプレクサ１２２に供給される。
【０１１５】
また、カメラ１１１Ｌ，１１１Ｒで得られた左眼画像データ、右眼画像データは、ビデオフレーミング部１１２を通じて、視差ベクトル検出部１１４に供給される。この視差ベクトル検出部１１４では、左眼画像データおよび右眼画像データに基づき、例えば、最下層に位置するピクセル毎（画素毎）の視差ベクトルが検出される。この視差ベクトルは、切換スイッチ１３２を介して、視差情報セット作成部１３４に供給される。
【０１１６】
視差情報セット作成部１３４では、視差ベクトル、すなわち最下層に位置するピクセル（画素）毎の視差ベクトルにダウンサイジング処理が施され、画像領域を階層的に分割して得られた各階層の各領域の視差情報が求められる。例えば、視差情報セット作成部１３４では、最下層に位置するピクセル（画素）毎の視差ベクトルにダウンサイジング処理が施されて、ブロック、グループ、リージョン、ピクチャ全体の各階層の各領域の視差ベクトルが求められる。
【０１１７】
また、視差情報セット作成部１３４では、さらに、視差情報セット作成部１３４では、受信側が要求する視差ベクトルの空間密度、あるいは伝送帯域などに基づいて選択された階層の各領域の視差ベクトルを階層順に配置した視差情報セットが作成される（図２７参照）。この視差情報セットは、視差ベクトルエンコーダ１１５に供給される。視差ベクトルエンコーダ１１５では、視差情報セットを含む視差ベクトルエレメンタリーストリームが生成される。この視差ベクトルエレメンタリーストリームはマルチプレクサ１２２に供給される。
【０１１８】
また、マイクロホン１１６で得られた音声データは、切換スイッチ１３３を介して、オーディオエンコーダ１１７に供給される。このオーディオエンコーダ１１７では、音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化が施され、符号化オーディオデータを含むオーディオエレメンタリーストリームが生成される。このオーディオエレメンタリーストリームはマルチプレクサ１２２に供給される。
【０１１９】
また、マルチプレクサ１２２には、サブタイトル・グラフィクスエンコーダ１１９から、サブタイトルデータあるいはグラフィクスデータの符号化データを含むエレメンタリーストリームが供給される。さらに、このマルチプレクサ１２２には、テキストエンコーダ１２１から、テキストデータの符号化データを含むエレメンタリーストリームが供給される。そして、マルチプレクサ１２２では、各エンコーダから供給されるエレメンタリーストリームのパケットが多重化され、伝送データとしてのビットストリームデータ（トランスポートストリーム）ＢＳＤが得られる。
【０１２０】
次に、再生モードの動作を説明する。この再生モードでは、切換スイッチ１３１〜１３３は、いずれも、ｂ側に接続されている。データ取り出し部１３０で得られた立体画像データが、切換スイッチ１３１を介して、ビデオエンコーダ１１３に供給される。また、データ取り出し部１３０で得られた視差ベクトル、すなわち最下層に位置するピクセル（画素）毎の視差ベクトルが、切換スイッチ１３２を介して、視差情報セット作成部１３４に供給される。また、データ取り出し部１３０で得られた音声データが、切換スイッチ１３３を介して、オーディオエンコーダ１１７に供給される。
【０１２１】
詳細説明は省略するが、この再生モードにおいて、その他の動作は、上述したライブモードと同様である。
【０１２２】
図２２に示す送信データ生成部１１０Ｄにおいては、上述したように、視差情報セット作成部１３４で作成される視差情報セットには、画像（ピクチャ）領域を階層的に分割して得られた各階層のうち、選択された階層の各領域の視差ベクトル（視差情報）が、階層順に配置されている。そのため、受信側においては、この視差情報セットから重畳情報の重畳位置に対応した視差ベクトルを容易に取り出して用いることができる。すなわち、受信側において、重畳情報の重畳位置に対応した視差ベクトルを得るための計算などが不要となり、簡単な構成とすることができる。
【０１２３】
なお、図２２に示す送信データ生成部１１０Ｄの上述の説明では、視差情報セット作成部１３４で、最下位層のピクセル（画素）毎の視差ベクトルにダウンサイジング処理を施して各階層の各領域の視差ベクトルを求める旨、説明した。しかし、各階層の各領域の視差ベクトルが視差ベクトル検出部１１４で検出あるいは求められ、視差情報セット作成部１３４ではそれを利用するようにしてもよい。あるいは、データ記録媒体１３０ａに各階層の各領域の視差ベクトルが記録されており、視差情報セット作成部１３４ではそれを利用するようにしてもよい。
【０１２４】
また、図２２に示す送信データ生成部１１０Ｄの上述の説明では、視差情報セット作成部１３４で、最下位層のピクセル（画素）毎の視差ベクトルにダウンサイジング処理が施して各階層の各領域の視差ベクトルを求める旨、説明した。しかし、視差情報セット作成部１３４では、送信階層として選択された各階層の各領域の視差ベクトルのみを求めることで足りる。
【０１２５】
また、図２２に示す送信データ生成部１１０Ｄは、視差情報セットを含む視差ベクトルエレメンタリーストリームを、マルチプレクサ１２２で他のストリームと多重化する構成となっている。すなわち、この図２２に示す送信データ生成部１１０Ｄは、図２に示す送信データ生成部１１０に対応した構成となっている。しかし、図１３、図１５に示す送信データ生成部１１０Ａ，１１０Ｂと同様に、画像データストリーム等の他のストリームに視差情報セットを挿入して受信側に送る構成とすることもできる。
【０１２６】
［セットトップボックスの説明］
図１に戻って、セットトップボックス２００は、放送局１００から放送波にのせて送信されてくるビットストリームデータ（トランスポートストリーム）を受信する。このビットストリームデータには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データ、重畳情報データ、さらには視差情報（視差ベクトル）が含まれる。ここで、重畳情報データは、例えば、サブタイトルデータ、グラフィクスデータ、テキストデータ（クローズド・キャプションデータを含む）等である。
【０１２７】
セットトップボックス２００は、ビットストリーム処理部２０１を有している。このビットストリーム処理部２０１は、ビットストリームデータから、立体画像データ、音声データ、重畳情報データ、視差ベクトル等を抽出する。このビットストリーム処理部２０１は、立体画像データ、重畳情報データ（サブタイトルデータ、グラフィクスデータ、テキストデータ）等を用いて、重畳情報が重畳された左眼画像および右眼画像のデータを生成する。
【０１２８】
ここで、視差ベクトルが数値情報として送信されてくる場合には、視差ベクトルと重畳情報データに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼重畳情報、右眼重畳情報を生成する。この場合、左眼重畳情報および右眼重畳情報は同一の重畳情報である。しかし、画像内の重畳位置が、例えば、左眼重畳情報に対して、右眼重畳グ情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。
【０１２９】
図２８（ａ）は、伝送方式が上述の第２の伝送方式（「Side By Side」方式）である場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示している。左眼画像ＩＬ上に重畳される左眼グラフィクス情報ＬＧＩに対して、右眼画像ＩＲ上に重畳される右眼グラフィクス情報ＲＧＩは、視差ベクトルの水平方向成分ＶＶTだけ水平方向にずれた位置とされている。なお、ＩTは、アイドリングオフセット値である。
【０１３０】
ビットストリーム処理部２０１では、各画像ＩＬ，ＩＲに対して各グラフィクス情報ＬＧＩ，ＲＧＩが図２８（ａ）に示すように重畳されるように、グラフィクスデータが生成される。ビットストリーム処理部２０１は、ビットストリームデータから抽出された立体画像データ（左眼画像データ、右眼画像データ）に対して、生成された左眼グラフィクスデータ、右眼グラフィクスデータを合成して、処理後の立体画像データを取得する。この立体画像データによれば、視聴者は、図２８（ｂ）に示すように、各画像ＩＬ，ＩＲと共に、各グラフィクス情報ＬＧＩ，ＲＧＩを、視差をもって観察でき、グラフィクス情報にも、遠近感を認知可能となる。
【０１３１】
なお、図２９（ａ）は、各画像ＩＬ，ＩＲに対して、ビットストリームデータから抽出されたグラフィクスデータによるグラフィクス画像をそのまま重畳した状態を示している。この場合、視聴者は、図２９（ｂ）に示すように、左眼画像ＩＬと共にグラフィクス情報の左半分、右眼画像ＩＲと共にグラフィクス情報の右半分を観察する。そのため、グラフィクス情報を正しく認識できなくなる。
【０１３２】
図２８は、グラフィクス情報の場合を示したが、その他の重畳情報（クローズド・キャプション情報、サブタイトル情報、テキスト情報など）に関しても同様である。すなわち、視差ベクトルが数値情報として送信されてくる場合には、視差ベクトルと重畳情報データデータに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼重畳情報、右眼重畳情報を生成する。この場合、左眼重畳情報および右眼重畳情報は同一の重畳情報である。しかし、画像内の重畳位置が、例えば、左眼重畳情報に対して、右眼重畳情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。
【０１３３】
ここで、左眼重畳情報と右眼重畳情報との間に視差を与える視差ベクトルとしては、以下の視差ベクトルを用いることが考えられる。例えば、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトルのうち、遠近感でいうところの最も近く認識される位置の視差ベクトルを使用することが考えられる。図３０（ａ），（ｂ），（ｃ），（ｄ）は、それぞれ時刻Ｔ０，Ｔ１，Ｔ２，Ｔ３における３つのオブジェクト位置の視差ベクトル（View Vector）を示している。
【０１３４】
時刻Ｔ０では、オブジェクト１に対応した位置（Ｈ０，Ｖ０）における視差ベクトルＶＶ０-1が最大の視差ベクトルＭａｘＶＶ（Ｔ０）となっている。時刻Ｔ１では、オブジェクト１に対応した位置（Ｈ１，Ｖ１）における視差ベクトルＶＶ１-1が最大の視差ベクトルＭａｘＶＶ（Ｔ１）となっている。時刻Ｔ２では、オブジェクト２に対応した位置（Ｈ２，Ｖ２）における視差ベクトルＶＶ２-2が最大の視差ベクトルＭａｘＶＶ（Ｔ２）となっている。時刻Ｔ３では、オブジェクト１に対応した位置（Ｈ３，Ｖ３）における視差ベクトルＶＶ３-0が最大の視差ベクトルＭａｘＶＶ（Ｔ３）となっている。
【０１３５】
このように、視差ベクトルとして、画像内の複数位置で検出された視差ベクトルのうち、遠近感でいうところの最も近く認識される位置の視差ベクトルを使用することで、遠近感でいうところの最も近い画像内の物体よりも手前に、重畳情報を表示できる。
【０１３６】
図３１（ａ）は、画像上における字幕（例えば、クローズド・キャプション情報、サブタイトル情報）の表示例を示している。この表示例では、背景と近景オブジェクトとからなる画像上に、字幕が重畳された例である。図３１（ｂ）は、背景、近景オブジェクト、字幕の遠近感を示し、字幕が最も近くにあるように認識されることを示している。
【０１３７】
図３２（ａ）は、図３１（ａ）と同じ、画像上における字幕（例えば、クローズド・キャプション情報、サブタイトル情報）の表示例を示している。図３２（ｂ）は、字幕を表示するための左眼サブタイトル情報ＬＧＩと、右眼サブタイトル情報ＲＧＩを示している。図３２（ｃ）は、字幕が最も近くにあるように認識されるために、各サブタイトル情報ＬＧＩ，ＲＧＩに視差が与えられることを示している。
【０１３８】
また、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトル（視差情報セットに含まれる各階層の各領域の視差ベクトルを含む）のうち、その重畳位置に対応したものを使用することが考えられる。図３３（ａ）は、ビットストリームデータから抽出されるグラフィックデータによるグラフィック情報と、ビットストリームデータから抽出されるテキストデータによるテキスト情報を示している。
【０１３９】
図３３（ｂ）は、左眼画像に、左眼グラフィクス情報ＬＧＩおよび左眼テキスト情報ＬＴＩが重畳された状態を示している。この場合、左眼グラフィクス情報ＬＧＩは、その重畳位置が水平方向にはアイドリングオフセット値（ＩＴ-0）で規制されている。また、左眼テキスト情報ＬＴＩは、その重畳位置が水平方向にはアイドリングオフセット値（ＩＴ-1）で規制されている。
【０１４０】
図３３（ｃ）は、右眼画像に、右眼グラフィクス情報ＲＧＩおよび右眼テキスト情報ＲＴＩが重畳された状態を示している。この場合、右眼グラフィクス情報ＲＧＩは、その重畳位置が水平方向にはアイドリングオフセット値（ＩＴ-0）で規制され、さらにこの重畳位置に対応した視差ベクトルの水平方向成分ＶＶT-0だけ、左眼グラフィクス情報ＬＧＩの重畳位置よりずらされている。また、右眼テキスト情報ＲＴＩは、その重畳位置が水平方向にはアイドリングオフセット値（ＩＴ-1）で規制され、さらにこの重畳位置に対応した視差ベクトルの水平方向成分ＶＶT-1だけ、左眼テキスト情報ＬＴＩの重畳位置よりずらされている。
【０１４１】
上述では、左眼画像および右眼画像に、ビットストリームデータから抽出されたグラフィクスデータによるグラフィクス情報、あるいはビットストリームデータから抽出されたテキストデータによるテキスト情報を重畳する場合を説明した。この他に、セットトップボックス２００内でグラフィクスデータあるいはテキストデータが発生され、それらによる情報を、左眼画像および右眼画像に、重畳する場合も考えられる。
【０１４２】
その場合にあっても、ビットストリームデータから抽出された画像内の所定位置の視差ベクトルを利用して、左眼グラフィクス情報と右眼グラフィクス情報との間、あるいは左眼テキスト情報と右眼テキスト情報との間に、視差を持たせることができる。これにより、グラフィクス情報、テキスト情報の表示において、画像内の各物体（オブジェクト）の遠近感との間で遠近感の整合性の維持を図った適切な遠近感を付与できる。
【０１４３】
図３４（ａ）は、画像内にＡ，Ｂ，Ｃの各オブジェクトが存在し、例えば、これら各オブジェクトの近傍位置に、各オブジェクトの注釈を示すテキスト情報を重畳することを示している。図３４（ｂ）は、Ａ，Ｂ，Ｃの各オブジェクトの位置と、その位置における視差ベクトルの対応を示す視差ベクトルリストと、それぞれの視差ベクトルを、Ａ，Ｂ，Ｃの各オブジェクの注釈を示すテキスト情報に視差を与える場合に利用することを示している。例えば、Ａのオブジェクトの近傍には「Ｔｅｘｔ」のテキスト情報が重畳されるが、その左眼テキスト情報と右眼テキスト情報との間には、Ａのオブジェクトの位置（Ｈａ，Ｖａ）における視差ベクトルＶＶ-aに対応した視差が与えられる。なお、Ｂ，Ｃのオブジェクトの近傍に重畳されるテキスト情報に関しても同様である。
【０１４４】
なお、図３３は、重畳情報がグラフィクス情報およびテキスト情報である場合を示している。また、図３４は、重畳情報がテキスト情報である場合を示している。詳細説明は省略するが、その他の重畳情報（クローズド・キャプション情報、サブタイトル情報など）の場合も同様である。
【０１４５】
次に、視差ベクトルが、重畳情報（クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報など）のデータに予め反映されて送信されてくる場合について説明する。この場合、ビットストリームデータから抽出された重畳情報データには、視差ベクトルにより視差が与えられた、左眼重畳情報および右眼重畳情報のデータが含まれている。
【０１４６】
そのため、ビットストリーム処理部２０１は、ビットストリームデータから抽出された立体画像データ（左眼画像データ、右眼画像データ）に対して、ビットストリームデータから抽出された重畳情報データを単に合成して、処理後の立体画像データを取得する。なお、テキストデータ（クローズド・キャプションデータを含む）に関しては、キャラクタコードをビットマップデータに変換する等の処理は必要である。
【０１４７】
［セットトップボックスの構成例］
セットトップボックス２００の構成例を説明する。図３５は、セットトップボックス２００の構成例を示している。このセットトップボックス２００は、ビットストリーム処理部２０１と、ＨＤＭＩ端子２０２と、アンテナ端子２０３と、デジタルチューナ２０４と、映像信号処理回路２０５と、ＨＤＭＩ送信部２０６と、音声信号処理回路２０７を有している。また、このセットトップボックス２００は、ＣＰＵ２１１と、フラッシュＲＯＭ２１２と、ＤＲＡＭ２１３と、内部バス２１４と、リモコン受信部２１５と、リモコン送信機２１６を有している。
【０１４８】
アンテナ端子２０３は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２０４は、アンテナ端子２０３に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）を出力する。
【０１４９】
ビットストリーム処理部２０１は、上述したように、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、重畳情報データ、視差情報（視差ベクトル）等を抽出する。重畳情報データは、サブタイトルデータ、グラフィクスデータ、テキストデータ（クローズド・キャプションデータを含む）等である。このビットストリーム処理部２０１は、上述したように、立体画像データに対し、重畳情報（クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報など）のデータを合成し、表示用立体画像データを取得する。また、ビットストリーム処理部２０１は、音声データを出力する。ビットストリーム処理部２０１の詳細構成は後述する。
【０１５０】
映像信号処理回路２０５は、ビットストリーム処理部２０１から出力された立体画像データに対して必要に応じて画質調整処理などを行い、処理後の立体画像データをＨＤＭＩ送信部２０６に供給する。音声信号処理回路２０７は、ビットストリーム処理部２０１から出力された音声データに対して必要に応じて音質調整処理等を行い、処理後の音声データをＨＤＭＩ送信部２０６に供給する。
【０１５１】
ＨＤＭＩ送信部２０６は、ＨＤＭＩに準拠した通信により、ベースバンドの画像（映像）と音声のデータを、ＨＤＭＩ端子２０２から送出する。この場合、ＨＤＭＩのＴＭＤＳチャネルで送信するため、画像および音声のデータがパッキングされて、ＨＤＭＩ送信部２０６からＨＤＭＩ端子２０２に出力される。このＨＤＭＩ送信部２０６の詳細は後述する。
【０１５２】
ＣＰＵ２１１は、セットトップボックス２００の各部の動作を制御する。フラッシュＲＯＭ２１２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２１３は、ＣＰＵ２１１のワークエリアを構成する。ＣＰＵ２１１は、フラッシュＲＯＭ２１２から読み出したソフトウェアやデータをＤＲＡＭ２１３上に展開してソフトウェアを起動させ、セットトップボックス２００の各部を制御する。
【０１５３】
リモコン受信部２１５は、リモコン送信機２１６から送信されたリモーコントロール信号（リモコンコード）を受信し、ＣＰＵ２１１に供給する。ＣＰＵ２１１は、このリモコンコードに基づいて、セットトップボックス２００の各部を制御する。ＣＰＵ２１１、フラッシュＲＯＭ２１２およびＤＲＡＭ２１３は内部バス２１４に接続されている。
【０１５４】
セットトップボックス２００の動作を簡単に説明する。アンテナ端子２０３に入力されたテレビ放送信号はデジタルチューナ２０４に供給される。このデジタルチューナ２０４では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）が出力される。
【０１５５】
デジタルチューナ２０４から出力されるビットストリームデータは、ビットストリーム処理部２０１に供給される。このビットストリーム処理部２０１では、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、グラフィクスデータ、テキストデータ、視差ベクトル等が抽出される。また、このビットストリーム処理部２０１では、立体画像データに対し、重畳情報（クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報など）のデータが合成され、表示用立体画像データが生成される。
【０１５６】
ビットストリーム処理部２０１で生成される表示用立体画像データは、映像信号処理回路２０５で必要に応じて画質調整処理等が行われた後に、ＨＤＭＩ送信部２０６に供給される。また、ビットストリーム処理部２０１で得られる音声データは、音声信号処理回路２０７で必要に応じて音質調整処理等が行われた後に、ＨＤＭＩ送信部２０６に供給される。ＨＤＭＩ送信部２０６に供給された立体画像データおよび音声データは、ＨＤＭＩのＴＭＤＳチャネルにより、ＨＤＭＩ端子２０２からＨＤＭＩケーブル４００に送出される。
【０１５７】
［ビットストリーム処理部の構成例］
図３６は、ビットストリーム処理部２０１の構成例を示している。このビットストリーム処理部２０１は、上述の図２、図２２に示す送信データ生成部１１０，１１０Ｄに対応させた構成となっている。このビットストリーム処理部２０１は、デマルチプレクサ２２０と、ビデオデコーダ２２１と、サブタイトル・グラフィクスデコーダ２２２と、テキストデコーダ２２３と、オーディオデコーダ２２４と、視差ベクトルデコーダ２２５を有している。また、このビットストリーム処理部２０１は、立体画像用サブタイトル・グラフィクス発生部２２６と、立体画像用テキスト発生部２２７と、ビデオ重畳部２２８と、マルチチャネルスピーカコントロール部２２９を有している。
【０１５８】
デマルチプレクサ２２０は、ビットストリームデータＢＳＤから、ビデオ、オーディオ、視差ベクトル、サブタイトルやグラフィクスおよびテキストのパケットを抽出し、各デコーダに送る。
【０１５９】
ビデオデコーダ２２１は、上述の送信データ生成部１１０のビデオエンコーダ１１３とは逆の処理を行う。すなわち、このビデオデコーダ２２１は、デマルチプレクサ２２０で抽出されたビデオのパケットからビデオのエレメンタリーストリームを再構成し、復号化処理を行って、左眼画像データおよび右眼画像データを含む立体画像データを得る。この立体画像データの伝送方式は、例えば、上述の第１の伝送方式（「Top & Bottom」方式）、第２の伝送方式は（「Side By Side」方式）、第３の伝送方式（「Frame Sequential」方式）などである（図４（ａ）〜（ｃ）参照）。
【０１６０】
サブタイトル・グラフィクスデコーダ２２２は、上述の送信データ生成部１１０のサブタイトル・グラフィクスエンコーダ１１９とは逆の処理を行う。すなわち、このサブタイトル・グラフィクスデコーダ２２２は、デマルチプレクサ２２０で抽出されたサブタイトルやグラフィクスのパケットからサブタイトルやグラフィクスのエレメンタリーストリームを再構成する。そして、このサブタイトル・グラフィクスデコーダ２２２は、さらに復号化処理を行って、サブタイトルデータやグラフィクスデータを得る。
【０１６１】
テキストデコーダ２２３は、上述の送信データ生成部１１０のテキストエンコーダ１２１とは逆の処理を行う。すなわち、このテキストデコーダ２２３は、デマルチプレクサ２２０で抽出されたテキストのパケットからテキストのエレメンタリーストリームを再構成し、復号化処理を行って、テキストデータ（クローズド・キャプションデータを含む）を得る。
【０１６２】
オーディオデコーダ２２４は、上述の送信データ生成部１１０のオーディオエンコーダ１１７とは逆の処理を行う。すなわち、このオーディオデコーダ２２４は、デマルチプレクサ２２０で抽出されたオーディオのパケットからオーディオのエレメンタリーストリームを再構成し、復号化処理を行って、音声データを得る。
【０１６３】
視差ベクトルデコーダ２２５は、上述の送信データ生成部１１０の視差ベクトルエンコーダ１１５とは逆の処理を行う。すなわち、この視差ベクトルデコーダ２２５は、デマルチプレクサ２２０で抽出された視差ベクトルのパケットから視差ベクトルのエレメンタリーストリームを再構成し、復号化処理を行って、画像内の所定位置の視差ベクトルを得る。
【０１６４】
立体画像用サブタイトル・グラフィクス発生部２２６は、左眼画像および右眼画像にそれぞれ重畳する左眼および右眼のサブタイトル情報やグラフィクス情報を生成する。この生成処理は、デコーダ２２２で得られたサブタイトルデータやグラフィクスデータと、デコーダ２２５で得られた視差ベクトルに基づいて行われる。この場合、左眼および左眼のサブタイトル情報やグラフィクス情報は同一の情報である。しかし、画像内の重畳位置が、例えば、左眼のサブタイトル情報やグラフィクス情報に対して、右眼のブタイトル情報やグラフィクス情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。そして、この立体画像用サブタイトル・グラフィクス発生部２２６は、生成された左眼および左眼のサブタイトル情報やグラフィクス情報のデータ（ビットマップデータ）を出力する。
【０１６５】
立体画像用テキスト発生部２２７は、デコーダ２２３で得られたテキストスデータと、デコーダ２２５で得られた視差ベクトルに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼テキスト情報、右眼テキスト情報を生成する。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報であるが、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。そして、この立体画像用テキスト発生部２２７は、生成された左眼テキスト情報および右眼テキスト情報のデータ（ビットマップデータ）を出力する。
【０１６６】
ビデオ重畳部２２８は、ビデオデコーダ２２１で得られた立体画像データ（左眼画像データ、右眼画像データ）に対して、発生部２２６，２２７で発生されたデータを重畳し、表示用立体画像データＶoutを得る。なお、立体画像データ（左眼画像データ、右眼画像データ）への重畳情報データの重畳はシステムレイヤのタイムスタンプにより開始される。
【０１６７】
マルチチャネルスピーカコントロール部２２９は、オーディオデコーダ２２４で得られる音声データに対して、例えば５．１chサラウンド等を実現するためのマルチチャネルスピーカの音声データを生成する処理、所定の音場特性を付与する処理等を施す。また、このマルチチャネルスピーカコントロール部２２９は、デコーダ２２５で得られた視差ベクトルに基づいて、マルチチャネルスピーカの出力を制御する。
【０１６８】
視差ベクトルの大きさが大きくなる程、立体感が際だつ効果がある。立体の度合いに合わせて、マルチチャネルのスピーカ出力を制御することで、更なる立体体験の提供を実現できる。
【０１６９】
図３７は、視差ベクトルＶＶ１が、テレビディスプレイに向かって、左側のビデオオブジェクトの方が大きい場合のスピーカ出力制御例を示している。この制御例では、マルチチャネルスピーカのRear Leftのスピーカ音量は大きくされ、Front Leftのスピーカ音量は中程度とされ、さらに、Front Right，Rear Rightのスピーカ音量が小さくされる。このように、ビデオコンテンツ（立体画像データ）の視差ベクトルを、音声データ等の他のメディアデータへ受信側で適用することで、視聴者に、立体感を総合的に体感させることが可能になる。
【０１７０】
図３６に示すビットストリーム処理部２０１の動作を簡単に説明する。デジタルチューナ２０４（図３５参照）から出力されるビットストリームデータＢＳＤは、デマルチプレクサ２２０に供給される。このデマルチプレクサ２２０では、ビットストリームデータＢＳＤから、ビデオ、オーディオ、視差ベクトル、サブタイトルやグラフィクス、およびテキストのＴＳパケットが抽出され、各デコーダに供給される。
【０１７１】
ビデオデコーダ２２１では、デマルチプレクサ２２０で抽出されたビデオのパケットからビデオのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、左眼画像データおよび右眼画像データを含む立体画像データが得られる。この立体画像データは、ビデオ重畳部２２８に供給される。また、視差ベクトルデコーダ２２５では、デマルチプレクサ２２０で抽出された視差ベクトルのパケットから視差ベクトルのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、画像内の所定位置の視差ベクトルが得られる（図８、図２７参照）。
【０１７２】
サブタイトル・グラフィクスデコーダ２２２では、デマルチプレクサ２２０で抽出されたサブタイトルやグラフィクスのパケットからサブタイトルやグラフィクスのエレメンタリーストリームが再構成される。サブタイトル・グラフィクスデコーダ２２２では、さらに、サブタイトルやグラフィクスのエレメンタリーストリームに対して復号化処理が行われて、サブタイトルデータやグラフィクスデータが得られる。このサブタイトルデータやグラフィクスデータは、立体画像用サブタイトル・グラフィクス発生部２２６に供給される。この立体画像用サブタイトル・グラフィクス発生部２２６には、視差ベクトルデコーダ２２５で得られた視差ベクトルも供給される。
【０１７３】
この立体画像用サブタイトル・グラフィクス発生部２２６では、左眼画像、右眼画像にそれぞれ重畳する左眼および右眼のサブタイトル情報やグラフィクス情報のデータが生成される。この生成処理は、デコーダ２２２で得られたサブタイトルデータやグラフィクスデータと、デコーダ２２５で得られた視差ベクトルに基づいて行われる。この場合、画像内の重畳位置が、例えば、左眼のサブタイトル情報や左眼グラフィクス情報に対して、右眼のサブタイトル情報やグラフィクス情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。この立体画像用サブタイトル・グラフィクス発生部２２６からは、生成された左眼および右眼のサブタイトル情報やグラフィクス情報のデータ（ビットマップデータ）が出力される。
【０１７４】
また、テキストデコーダ２２３では、デマルチプレクサ２２０で抽出されたテキストのＴＳパケットからテキストのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、テキストデータが得られる。このテキストデータは立体画像用テキスト発生部２２７に供給される。この立体画像用テキスト発生部２２７には、視差ベクトルデコーダ２２５で得られた視差ベクトルも供給される。
【０１７５】
この立体画像用テキスト発生部２２７では、デコーダ２２３で得られたテキストスデータと、デコーダ２２５で得られた視差ベクトルに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼テキスト情報、右眼テキスト情報が生成される。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報であるが、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。この立体画像用テキスト発生部２２７からは、生成された左眼テキスト情報および右眼テキスト情報のデータ（ビットマップデータ）が出力される。
【０１７６】
ビデオ重畳部２２８には、上述したビデオデコーダ２２１からの立体画像データ（左眼画像データ、右眼画像データ）の他に、サブタイトル・グラフィクス発生部２２６およびテキスト発生部２２７から出力されるデータが供給される。このビデオ重畳部２２８では、立体画像データ（左眼画像データ、右眼画像データ）に対して、サブタイトル・グラフィクス発生部２２６およびテキスト発生部２２７で発生されたデータが重畳され、表示用立体画像データＶoutが得られる。この表示用立体画像データＶoutは、映像信号処理回路２０５を介して、ＨＤＭＩ送信部２０６（図３５参照）に、送信画像データとして供給される。
【０１７７】
また、オーディオデコーダ２２４では、デマルチプレクサ２２０で抽出されたオーディオのＴＳパケットからオーディオのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、音声データが得られる。この音声データは、マルチチャネルスピーカコントロール部２２９に供給される。このマルチチャネルスピーカコントロール部２２９では、音声データに対して、例えば５．１chサラウンド等を実現するためのマルチチャネルスピーカの音声データを生成する処理、所定の音場特性を付与する処理等が施される。
【０１７８】
このマルチチャネルスピーカコントロール部２２９には、視差ベクトルデコーダ２２５で得られた視差ベクトルも供給される。そして、このマルチチャネルスピーカコントロール部２２９では、視差ベクトルに基づいて、マルチチャネルスピーカの出力が制御される。このマルチチャネルスピーカコントロール部２２９で得られるマルチチャネル音声データは、音声信号処理回路２０７を介してＨＤＭＩ送信部２０６（図３５参照）に、送信音声データとして供給される。
【０１７９】
［重畳情報への視差の付与］
ここで、図３６に示すビットストリーム処理部２０１の立体画像用サブタイトル・グラフィクス発生部２２６および立体画像用テキスト発生部２２７における重畳情報への視差の付与について、さらに説明する。
【０１８０】
放送局１００（図１参照）からは、例えば、図３８、図３９に示すように、画像データストリームと、サブタイトルあるいはグラフィクスのデータストリームと、テキストデータストリームと共に、視差ベクトル（図８、図２７参照）を含む視差ベクトルストリームが送られてくる。この場合、符号化ビデオのＧＯＰ（Group Of Pictures）、あるいはＩ(Intra picture)ピクチャ、またはシーン等の各一定期間の開始タイミングに合わせて、各一定期間に対応した所定単位毎の視差ベクトルがまとめて送られてくる。所定単位としては、例えば、ピクチャ（フレーム）単位、あるいはピクチャの整数倍の単位等が考えられる。
【０１８１】
例えば、立体画像用サブタイトル・グラフィクス発生部２２６および立体画像用テキスト発生部２２７では、重畳情報の重畳期間において、所定単位毎に、重畳情報に、対応する視差ベクトル（情報情報）による視差が付与される。図３８のサブタイトル（グラフィクス）データストリームおよびテキストデータストリームの部分に付されている矢印は、重畳情報に所定単位毎に視差が付与されるタイミングを表している。このように重畳情報に視差が付与される構成とすることで、重畳情報に付与する視差を、画像内容の変化に連動して動的に変化させることが可能となる。
【０１８２】
また、例えば、立体画像用サブタイトル・グラフィクス発生部２２６および立体画像用テキスト発生部２２７では、重畳情報の重畳期間において、所定単位毎に、重畳情報に、重畳期間分の視差ベクトルから選択された所定の視差ベクトル（視差情報）による視差が付与される。所定の視差ベクトルは、例えば、重畳期間分の視差情報のうち最大の視差を示す視差情報とされる。
【０１８３】
図３９のサブタイトル（グラフィクス）データストリームおよびテキストデータストリームの部分に付されている矢印は、重畳情報に視差が付与されるタイミングを表している。この場合、重畳期間の最初に重畳情報に対して視差が付与され、以降はその視差が付与された重畳情報が、左眼画像および右眼画像に重畳すべき重畳情報として使用される。このように重畳情報に視差が付与される構成とすることで、画像内容の変化によらずに、重畳情報に、例えば、重畳情報の重畳期間中の最大視差を付与することが可能となる。
【０１８４】
「ビットストリーム処理部の他の構成例」
図４０に示すビットストリーム処理部２０１Ａは、上述の図１３に示す送信データ生成部１１０Ａに対応させた構成となっている。この図４０において、図３６と対応する部分には同一符号を付し、その詳細説明は省略する。
【０１８５】
このビットストリーム処理部２０１Ａは、図３６に示すビットストリーム処理部２０１の視差ベクトルデコーダ２２５の代わりに、視差ベクトル取り出し部２３１が設けられる。この視差ベクトル取り出し部２３１は、ビデオデコーダ２２１を通じて得られるビデオのストリームから、そのユーザデータ領域に埋め込まれている視差ベクトルを取り出す。そして、この視差ベクトル取り出し部２３１は、取り出した視差ベクトルを、立体画像用サブタイトル・グラフィクス発生部２２６、立体画像用テキスト発生部２２７およびマルチチャネルスピーカコントロール部２２９に供給する。
【０１８６】
詳細説明は省略するが、この図４０に示すビットストリーム処理部２０１Ａのその他は、図３６に示すビットストリーム処理部２０１と同様に構成され、同様に動作する。
【０１８７】
［重畳情報への視差の付与］
ここで、図４０に示すビットストリーム処理部２０１Ａの立体画像用サブタイトル・グラフィクス発生部２２６および立体画像用テキスト発生部２２７における重畳情報への視差の付与について、さらに説明する。
【０１８８】
放送局１００（図１参照）からは、例えば、図４１に示すように、画像データストリームと、サブタイトルあるいはグラフィクスのデータストリームと、テキストデータストリームが送られてくる。そして、視差ベクトル（図８、図２７参照）は、画像データストリームに埋め込まれて送られてくる。この場合、画像データの所定単位毎、例えば符号化ビデオのピクチャ毎に、その所定単位に対応した視差ベクトルが、画像データストリームに埋め込まれて送られてくる。
【０１８９】
立体画像用サブタイトル・グラフィクス発生部２２６および立体画像用テキスト発生部２２７では、重畳情報の重畳期間において、所定単位毎に、重畳情報に、対応する視差ベクトル（情報情報）による視差が付与される。図４１のサブタイトル（グラフィクス）データストリームおよびテキストデータストリームの部分に付されている矢印は、重畳情報に所定単位毎に視差が付与されるタイミングを表している。このように重畳情報に視差が付与される構成とすることで、重畳情報に付与する視差を、画像内容の変化に連動して動的に変化させることが可能となる。
【０１９０】
また、放送局１００（図１参照）からは、例えば、図４２、図４３に示すように、画像データストリームと、サブタイトルあるいはグラフィクスのデータストリームと、テキストデータストリームが送られてくる。そして、視差ベクトル（図８、図２７参照）は、画像データストリームに埋め込まれて送られてくる。この場合、符号化ビデオのＧＯＰ、あるいはＩピクチャ、またはシーン等の各一定期間の開始タイミングに合わせて、各一定期間に対応した所定単位毎の視差ベクトルがまとめて送られてくる。所定単位としては、例えば、ピクチャ（フレーム）単位、あるいはピクチャの整数倍の単位等が考えられる。
【０１９１】
例えば、立体画像用サブタイトル・グラフィクス発生部２２６および立体画像用テキスト発生部２２７では、重畳情報の重畳期間において、所定単位毎に、重畳情報に、対応する視差ベクトル（情報情報）による視差が付与される。図４２のサブタイトル（グラフィクス）データストリームおよびテキストデータストリームの部分に付されている矢印は、重畳情報に所定単位毎に視差が付与されるタイミングを表している。このように重畳情報に視差が付与される構成とすることで、重畳情報に付与する視差を、画像内容の変化に連動して動的に変化させることが可能となる。
【０１９２】
また、例えば、立体画像用サブタイトル・グラフィクス発生部２２６および立体画像用テキスト発生部２２７では、重畳情報の重畳期間において、所定単位毎に、重畳情報に、重畳期間分の視差ベクトルから選択された所定の視差ベクトル（視差情報）による視差が付与される。所定の視差ベクトルは、例えば、所定の視差情報は、重畳期間分の視差情報のうち最大の視差を示す視差情報とされる。
【０１９３】
図４３のサブタイトル（グラフィクス）データストリームおよびテキストデータストリームの部分に付されている矢印は、重畳情報に視差が付与されるタイミングを表している。この場合、重畳期間の最初に重畳情報に対して視差が付与され、以降はその視差が付与された重畳情報が、左眼画像および右眼画像に重畳すべき重畳情報として使用される。このように重畳情報に視差が付与される構成とすることで、画像内容の変化によらずに、重畳情報に、例えば、重畳情報の重畳期間中の最大視差を付与することが可能となる。
【０１９４】
「ビットストリーム処理部の他の構成例」
図４４に示すビットストリーム処理部２０１Ｂは、上述の図１５に示す送信データ生成部１１０Ｂに対応させた構成となっている。この図４４において、図３６と対応する部分には同一符号を付し、その詳細説明は省略する。
【０１９５】
このビットストリーム処理部２０１Ｂは、図３６に示すビットストリーム処理部２０１の視差ベクトルデコーダ２２５の代わりに、視差ベクトル取り出し部２３２が設けられる。この視差ベクトル取り出し部２３２は、サブタイトル・グラフィクスデコーダ２２２を通じて得られるサブタイトルあるいはグラフィクスのストリームから、それに埋め込まれている視差ベクトルを取り出す。そして、この視差ベクトル取り出し部２３２は、取り出した視差ベクトルを、立体画像用サブタイトル・グラフィクス発生部２２６、立体画像用テキスト発生部２２７およびマルチチャネルスピーカコントロール部２２９に供給する。
【０１９６】
詳細説明は省略するが、この図４４に示すビットストリーム処理部２０１Ｂのその他は、図３６に示すビットストリーム処理部２０１と同様に構成され、同様に動作する。なお、この図４４のビットストリーム処理部２０１Ｂおける重畳情報への視差の付与については、上述した図４０のビットストリーム処理部２０１Ａおける重畳情報への視差の付与と同様である（図４１〜図４３参照）。
【０１９７】
「ビットストリーム処理部の他の構成例」
図４５に示すビットストリーム処理部２０１Ｃは、上述の図２１に示す送信データ生成部１１０Ｃに対応させた構成となっている。この図４５において、図３６と対応する部分には同一符号を付し、その詳細説明は省略する。
【０１９８】
このビットストリーム処理部２０１Ｃは、図３６に示すビットストリーム処理部２０１から、視差ベクトルデコーダ２２５、立体画像用サブタイトル・グラフィクス発生部２２６および立体画像用テキスト発生部２２７が除かれたものである。この場合、視差ベクトルは、サブタイトル情報、グラフィクス情報、テキスト情報のデータに予め反映されている。
【０１９９】
送信されてくるサブタイトルデータやグラフィクスデータには、上述したように、左眼画像に重畳される左眼のサブタイトル情報やグラフィクス情報のデータ、および右眼画像に重畳される右眼のサブタイトル情報やグラフィクス情報のデータが含まれている。同様に、送信されてくるテキストデータには、上述したように、左眼画像に重畳される左眼テキスト情報のデータおよび右眼画像に重畳される右眼テキスト情報のデータが含まれている。したがって、視差ベクトルデコーダ２２５、立体画像用サブタイトル・グラフィクス発生部２２６および立体画像用テキスト発生部２２７は不要となる。
【０２００】
なお、テキストデコーダ２２３で得られるテキストデータはコードデータ（キャラクタコード）であるので、これをビットマップデータに変換する処理は必要である。この処理は、例えば、テキストデコーダ２２３の最終段で行われるか、あるいはビデオ重畳部２２８の入力段で行われる。
【０２０１】
［テレビ受信機の説明］
図１に戻って、テレビ受信機３００は、セットトップボックス２００からＨＤＭＩケーブル４００を介して送られてくる立体画像データを受信する。このテレビ受信機３００は、３Ｄ信号処理部３０１を有している。この３Ｄ信号処理部３０１は、立体画像データに対して、伝送方式に対応した処理（デコード処理）を行って、左眼画像データおよび右眼画像データを生成する。すなわち、この３Ｄ信号処理部３０１は、図２、図１３、図１５、図２１、図２２に示す送信データ生成部１１０，１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄにおけるビデオフレーミング部１１２とは逆の処理を行う。そして、この３Ｄ信号処理部３０１は、立体画像データを構成する左眼画像データおよび右眼画像データを取得する。
【０２０２】
［テレビ受信機の構成例］
テレビ受信機３００の構成例を説明する。図４６は、テレビ受信機３００の構成例を示している。このテレビ受信機３００は、３Ｄ信号処理部３０１と、ＨＤＭＩ端子３０２と、ＨＤＭＩ受信部３０３と、アンテナ端子３０４と、デジタルチューナ３０５と、ビットストリーム処理部３０６を有している。
【０２０３】
また、このテレビ受信機３００は、映像・グラフィック処理回路３０７と、パネル駆動回路３０８と、表示パネル３０９と、音声信号処理回路３１０と、音声増幅回路３１１と、スピーカ３１２を有している。また、このテレビ受信機３００は、ＣＰＵ３２１と、フラッシュＲＯＭ３２２と、ＤＲＡＭ３２３と、内部バス３２４と、リモコン受信部３２５と、リモコン送信機３２６を有している。
【０２０４】
アンテナ端子３０４は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ３０５は、アンテナ端子３０４に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）を出力する。
【０２０５】
ビットストリーム処理部３０６は、図３５に示すセットトップボックス２００のビットストリーム処理部２０１と同様の構成とされている。このビットストリーム処理部３０６は、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、重畳情報データ、視差ベクトル（視差情報）等を抽出する。重畳情報データは、サブタイトルデータ、グラフィクスデータ、テキストデータ（クローズド・キャプションデータを含む）等である。このビットストリーム処理部３０６は、立体画像データに対し、重畳情報データを合成し、表示用立体画像データを取得する。また、ビットストリーム処理部３０６は、音声データを出力する。
【０２０６】
ＨＤＭＩ受信部３０３は、ＨＤＭＩに準拠した通信により、ＨＤＭＩケーブル４００を介してＨＤＭＩ端子３０２に供給される非圧縮の画像データおよび音声データを受信する。このＨＤＭＩ受信部３０３は、そのバージョンが例えばＨＤＭＩ１．４とされており、立体画像データの取り扱いが可能な状態にある。このＨＤＭＩ受信部３０３の詳細は後述する。
【０２０７】
３Ｄ信号処理部３０１は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた立体画像データに対して、デコード処理を行って、左眼画像データおよび右眼画像データを生成する。この場合、３Ｄ信号処理部３０１は、ビットストリーム処理部３０６で得られた立体画像データに対しては、その伝送方式（図４参照）に対応したデコード処理を行う。また、３Ｄ信号処理部３０１は、ＨＤＭＩ受信部３０３で受信された立体画像データに対しては、後述するＴＭＤＳ伝送データ構造に対応したデコード処理を行う。
【０２０８】
映像・グラフィック処理回路３０７は、３Ｄ信号処理部３０１で生成された左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データを生成する。また、映像・グラフィック処理回路３０７は、画像データに対して、必要に応じて、画質調整処理を行う。また、映像・グラフィック処理回路３０７は、画像データに対して、必要に応じて、メニュー、番組表などの重畳情報のデータを合成する。パネル駆動回路３０８は、映像・グラフィック処理回路３０７から出力される画像データに基づいて、表示パネル３０９を駆動する。表示パネル３０９は、例えば、ＬＣＤ(Liquid Crystal Display)、ＰＤＰ(Plasma DisplayPanel)等で構成されている。
【０２０９】
音声信号処理回路３１０は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理を行う。音声増幅回路３１１は、音声信号処理回路３１０から出力される音声信号を増幅してスピーカ３１２に供給する。
【０２１０】
ＣＰＵ３２１は、テレビ受信機３００の各部の動作を制御する。フラッシュＲＯＭ３２２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ３２３は、ＣＰＵ３２１のワークエリアを構成する。ＣＰＵ３２１は、フラッシュＲＯＭ３２２から読み出したソフトウェアやデータをＤＲＡＭ３２３上に展開してソフトウェアを起動させ、テレビ受信機３００の各部を制御する。
【０２１１】
リモコン受信部３２５は、リモコン送信機３２６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ３２１に供給する。ＣＰＵ３２１は、このリモコンコードに基づいて、テレビ受信機３００の各部を制御する。ＣＰＵ３２１、フラッシュＲＯＭ３２２およびＤＲＡＭ３２３は、内部バス３２４に接続されている。
【０２１２】
図４６に示すテレビ受信機３００の動作を簡単に説明する。ＨＤＭＩ受信部３０３では、ＨＤＭＩ端子３０２にＨＤＭＩケーブル４００を介して接続されているセットトップボックス２００から送信されてくる、立体画像データおよび音声データが受信される。このＨＤＭＩ受信部３０３で受信された立体画像データは、３Ｄ信号処理部３０１に供給される。また、このＨＤＭＩ受信部３０３で受信された音声データは音声信号処理回路３１０に供給される。
【０２１３】
アンテナ端子３０４に入力されたテレビ放送信号はデジタルチューナ３０５に供給される。このデジタルチューナ３０５では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）が出力される。
【０２１４】
デジタルチューナ３０５から出力されるビットストリームデータは、ビットストリーム処理部３０６に供給される。このビットストリーム処理部３０６では、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、重畳情報データ、視差ベクトル（視差情報）等が抽出される。また、このビットストリーム処理部３０６では、立体画像データに対し、重畳情報（クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報）のデータが合成され、表示用立体画像データが生成される。
【０２１５】
ビットストリーム処理部３０６で生成される表示用立体画像データは、３Ｄ信号処理部３０１に供給される。また、このビットストリーム処理部３０６で得られる音声データは、音声信号処理回路３１０に供給される。
【０２１６】
３Ｄ信号処理部３０１では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた立体画像データに対してデコード処理が行われて、左眼画像データおよび右眼画像データが生成される。この左眼画像データおよび右眼画像データは、映像・グラフィック処理回路３０７に供給される。この映像・グラフィック処理回路３０７では、左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データが生成され、必要に応じて、画質調整処理、重畳情報データの合成処理も行われる。
【０２１７】
この映像・グラフィック処理回路３０７で得られる画像データはパネル駆動回路３０８に供給される。そのため、表示パネル３０９により立体画像が表示される。例えば、表示パネル３０９に、左眼画像データによる左眼画像および右眼画像データによる右眼画像が交互に時分割的に表示される。視聴者は、表示パネル３０９の表示に同期して左眼シャッタおよび右眼シャッタが交互に開くシャッタメガネを装着することで、左眼では左眼画像のみを見ることができ、右眼では右眼画像のみを見ることができ、立体画像を知覚できる。
【０２１８】
また、音声信号処理回路３１０では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理が施される。この音声データは、音声増幅回路３１１で増幅された後に、スピーカ３１２に供給される。そのため、スピーカ３１２から表示パネル３０９の表示画像に対応した音声が出力される。
【０２１９】
［ＨＤＭＩ送信部、ＨＤＭＩ受信部の構成例］
図４７は、図１の立体画像表示システム１０における、セットトップボックス２００のＨＤＭＩ送信部（ＨＤＭＩソース）２０６と、テレビ受信機３００のＨＤＭＩ受信部（ＨＤＭＩシンク）３０３の構成例を示している。
【０２２０】
ＨＤＭＩ送信部２０６は、有効画像区間（以下、適宜、アクティブビデオ区間ともいう）において、非圧縮の１画面分の画像の画素データに対応する差動信号を、複数のチャネルで、ＨＤＭＩ受信部３０３に一方向に送信する。ここで、有効画像区間は、一の垂直同期信号から次の垂直同期信号までの区間から、水平帰線区間及び垂直帰線区間を除いた区間である。また、ＨＤＭＩ送信部２０６は、水平帰線区間または垂直帰線区間において、少なくとも画像に付随する音声データや制御データ、その他の補助データ等に対応する差動信号を、複数のチャネルで、ＨＤＭＩ受信部３０３に一方向に送信する。
【０２２１】
ＨＤＭＩ送信部２０６とＨＤＭＩ受信部３０３とからなるＨＤＭＩシステムの伝送チャネルには、以下の伝送チャネルがある。すなわち、ＨＤＭＩ送信部２０６からＨＤＭＩ受信部３０３に対して、画素データおよび音声データを、ピクセルクロックに同期して、一方向にシリアル伝送するための伝送チャネルとしての、３つのＴＭＤＳチャネル＃０乃至＃２がある。また、ピクセルクロックを伝送する伝送チャネルとしての、ＴＭＤＳクロックチャネルがある。
【０２２２】
ＨＤＭＩ送信部２０６は、ＨＤＭＩトランスミッタ８１を有する。トランスミッタ８１は、例えば、非圧縮の画像の画素データを対応する差動信号に変換し、複数のチャネルである３つのＴＭＤＳチャネル＃０，＃１，＃２で、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３０３に、一方向にシリアル伝送する。
【０２２３】
また、トランスミッタ８１は、非圧縮の画像に付随する音声データ、さらには、必要な制御データその他の補助データ等を、対応する差動信号に変換し、３つのＴＭＤＳチャネル＃０，＃１，＃２でＨＤＭＩ受信部３０３に、一方向にシリアル伝送する。
【０２２４】
さらに、トランスミッタ８１は、３つのＴＭＤＳチャネル＃０，＃１，＃２で送信する画素データに同期したピクセルクロックを、ＴＭＤＳクロックチャネルで、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３０３に送信する。ここで、１つのＴＭＤＳチャネル＃ｉ（ｉ=０，１，２）では、ピクセルクロックの１クロックの間に、１０ビットの画素データが送信される。
【０２２５】
ＨＤＭＩ受信部３０３は、アクティブビデオ区間において、複数のチャネルで、ＨＤＭＩ送信部２０６から一方向に送信されてくる、画素データに対応する差動信号を受信する。また、このＨＤＭＩ受信部３０３は、水平帰線区間または垂直帰線区間において、複数のチャネルで、ＨＤＭＩ送信部２０６から一方向に送信されてくる、音声データや制御データに対応する差動信号を受信する。
【０２２６】
すなわち、ＨＤＭＩ受信部３０３は、ＨＤＭＩレシーバ８２を有する。このＨＤＭＩレシーバ８２は、ＴＭＤＳチャネル＃０，＃１，＃２で、ＨＤＭＩ送信部２０６から一方向に送信されてくる、画素データに対応する差動信号と、音声データや制御データに対応する差動信号を受信する。この場合、ＨＤＭＩ送信部２０６からＴＭＤＳクロックチャネルで送信されてくるピクセルクロックに同期して受信する。
【０２２７】
ＨＤＭＩシステムの伝送チャネルには、上述のＴＭＤＳチャネル＃０乃至＃２およびＴＭＤＳクロックチャネルの他に、ＤＤＣ（Display Data Channel）８３やＣＥＣライン８４と呼ばれる伝送チャネルがある。ＤＤＣ８３は、ＨＤＭＩケーブル４００に含まれる図示しない２本の信号線からなる。ＤＤＣ８３は、ＨＤＭＩ送信部２０６が、ＨＤＭＩ受信部３０３から、Ｅ−ＥＤＩＤ（Enhanced Extended Display Identification Data）を読み出すために使用される。
【０２２８】
すなわち、ＨＤＭＩ受信部３０３は、ＨＤＭＩレシーバ８１の他に、自身の性能（Configuration/capability）に関する性能情報であるＥ−ＥＤＩＤを記憶している、ＥＤＩＤ ＲＯＭ(Read Only Memory)８５を有している。ＨＤＭＩ送信部２０６は、例えば、ＣＰＵ２１１（図３５参照）からの要求に応じて、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３０３から、Ｅ−ＥＤＩＤを、ＤＤＣ８３を介して読み出す。
【０２２９】
ＨＤＭＩ送信部２０６は、読み出したＥ−ＥＤＩＤをＣＰＵ２１１に送る。ＣＰＵ２１１は、このＥ−ＥＤＩＤを、フラッシュＲＯＭ２１２あるいはＤＲＡＭ２１３に格納する。ＣＰＵ２１１は、Ｅ−ＥＤＩＤに基づき、ＨＤＭＩ受信部３０３の性能の設定を認識できる。例えば、ＣＰＵ２１１は、ＨＤＭＩ受信部３０３を有するテレビ受信機３００が立体画像データの取り扱いが可能か否か、可能である場合はさらにいかなるＴＭＤＳ伝送データ構造に対応可能であるか等を認識する。
【０２３０】
ＣＥＣライン８４は、ＨＤＭＩケーブル４００に含まれる図示しない１本の信号線からなり、ＨＤＭＩ送信部２０６とＨＤＭＩ受信部３０３との間で、制御用のデータの双方向通信を行うために用いられる。このＣＥＣライン８４は、制御データラインを構成している。
【０２３１】
また、ＨＤＭＩケーブル４００には、ＨＰＤ(Hot Plug Detect)と呼ばれるピンに接続されるライン（ＨＰＤライン）８６が含まれている。ソース機器は、当該ライン８６を利用して、シンク機器の接続を検出することができる。なお、このＨＰＤライン８６は双方向通信路を構成するＨＥＡＣ−ラインとしても使用される。また、ＨＤＭＩケーブル４００には、ソース機器からシンク機器に電源を供給するために用いられるライン（電源ライン）８７が含まれている。さらに、ＨＤＭＩケーブル４００には、ユーティリティライン８８が含まれている。このユーティリティライン８８は双方向通信路を構成するＨＥＡＣ＋ラインとしても使用される。
【０２３２】
図４８は、図４７のＨＤＭＩトランスミッタ８１とＨＤＭＩレシーバ８２の構成例を示している。ＨＤＭＩトランスミッタ８１は、３つのＴＭＤＳチャネル＃０，＃１，＃２にそれぞれ対応する３つのエンコーダ／シリアライザ８１Ａ，８１Ｂ，８１Ｃを有する。そして、エンコーダ／シリアライザ８１Ａ，８１Ｂ，８１Ｃのそれぞれは、そこに供給される画像データ、補助データ、制御データをエンコードし、パラレルデータからシリアルデータに変換して、差動信号により送信する。ここで、画像データが、例えばＲ，Ｇ，Ｂの３成分を有する場合、Ｂ成分はエンコーダ／シリアライザ８１Ａに供給され、Ｇ成分はエンコーダ／シリアライザ８１Ｂに供給され、Ｒ成分はエンコーダ／シリアライザ８１Ｃに供給される。
【０２３３】
また、補助データとしては、例えば、音声データや制御パケットがあり、制御パケットは、例えば、エンコーダ／シリアライザ８１Ａに供給され、音声データは、エンコーダ／シリアライザ８１Ｂ，８１Ｃに供給される。さらに、制御データとしては、１ビットの垂直同期信号（VSYNC）、１ビットの水平同期信号（HSYNC）、および、それぞれ１ビットの制御ビットＣＴＬ０，ＣＴＬ１，ＣＴＬ２，ＣＴＬ３がある。垂直同期信号および水平同期信号は、エンコーダ／シリアライザ８１Ａに供給される。制御ビットＣＴＬ０，ＣＴＬ１はエンコーダ／シリアライザ８１Ｂに供給され、制御ビットＣＴＬ２，ＣＴＬ３はエンコーダ／シリアライザ８１Ｃに供給される。
【０２３４】
エンコーダ／シリアライザ８１Ａは、そこに供給される画像データのＢ成分、垂直同期信号および水平同期信号、並びに補助データを、時分割で送信する。すなわち、エンコーダ／シリアライザ８１Ａは、そこに供給される画像データのＢ成分を、固定のビット数である８ビット単位のパラレルデータとする。さらに、エンコーダ／シリアライザ８１Ａは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃０で送信する。
【０２３５】
また、エンコーダ／シリアライザ８１Ａは、そこに供給される垂直同期信号および水平同期信号の２ビットのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃０で送信する。さらに、エンコーダ／シリアライザ８１Ａは、そこに供給される補助データを４ビット単位のパラレルデータとする。そして、エンコーダ／シリアライザ８１Ａは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃０で送信する。
【０２３６】
エンコーダ／シリアライザ８１Ｂは、そこに供給される画像データのＧ成分、制御ビットＣＴＬ０，ＣＴＬ１、並びに補助データを、時分割で送信する。すなわち、エンコーダ／シリアライザ８１Ｂは、そこに供給される画像データのＧ成分を、固定のビット数である８ビット単位のパラレルデータとする。さらに、エンコーダ／シリアライザ８１Ｂは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃１で送信する。
【０２３７】
また、エンコーダ／シリアライザ８１Ｂは、そこに供給される制御ビットＣＴＬ０，ＣＴＬ１の２ビットのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃１で送信する。さらに、エンコーダ／シリアライザ８１Ｂは、そこに供給される補助データを４ビット単位のパラレルデータとする。そして、エンコーダ／シリアライザ８１Ｂは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃１で送信する。
【０２３８】
エンコーダ／シリアライザ８１Ｃは、そこに供給される画像データのＲ成分、制御ビットＣＴＬ２，ＣＴＬ３、並びに補助データを、時分割で送信する。すなわち、エンコーダ／シリアライザ８１Ｃは、そこに供給される画像データのＲ成分を、固定のビット数である８ビット単位のパラレルデータとする。さらに、エンコーダ／シリアライザ８１Ｃは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃２で送信する。
【０２３９】
また、エンコーダ／シリアライザ８１Ｃは、そこに供給される制御ビットＣＴＬ２，ＣＴＬ３の２ビットのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃２で送信する。さらに、エンコーダ／シリアライザ８１Ｃは、そこに供給される補助データを４ビット単位のパラレルデータとする。そして、エンコーダ／シリアライザ８１Ｃは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃２で送信する。
【０２４０】
ＨＤＭＩレシーバ８２は、３つのＴＭＤＳチャネル＃０，＃１，＃２にそれぞれ対応する３つのリカバリ／デコーダ８２Ａ，８２Ｂ，８２Ｃを有する。そして、リカバリ／デコーダ８２Ａ，８２Ｂ，８２Ｃのそれぞれは、ＴＭＤＳチャネル＃０，＃１，＃２で差動信号により送信されてくる画像データ、補助データ、制御データを受信する。さらに、リカバリ／デコーダ８２Ａ，８２Ｂ，８２Ｃのそれぞれは、画像データ、補助データ、制御データを、シリアルデータからパラレルデータに変換し、さらにデコードして出力する。
【０２４１】
すなわち、リカバリ／デコーダ８２Ａは、ＴＭＤＳチャネル＃０で差動信号により送信されてくる画像データのＢ成分、垂直同期信号および水平同期信号、補助データを受信する。そして、リカバリ／デコーダ８２Ａは、その画像データのＢ成分、垂直同期信号および水平同期信号、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。
【０２４２】
リカバリ／デコーダ８２Ｂは、ＴＭＤＳチャネル＃１で差動信号により送信されてくる画像データのＧ成分、制御ビットＣＴＬ０，ＣＴＬ１、補助データを受信する。そして、リカバリ／デコーダ８２Ｂは、その画像データのＧ成分、制御ビットＣＴＬ０，ＣＴＬ１、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。
【０２４３】
リカバリ／デコーダ８２Ｃは、ＴＭＤＳチャネル＃２で差動信号により送信されてくる画像データのＲ成分、制御ビットＣＴＬ２，ＣＴＬ３、補助データを受信する。そして、リカバリ／デコーダ８２Ｃは、その画像データのＲ成分、制御ビットＣＴＬ２，ＣＴＬ３、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。
【０２４４】
図４９は、ＴＭＤＳ伝送データの構造例を示している。この図４９は、ＴＭＤＳチャネル＃０，＃１，＃２において、横×縦が１９２０ピクセル×１０８０ラインの画像データが伝送される場合の、各種の伝送データの区間を示している。
【０２４５】
ＨＤＭＩの３つのＴＭＤＳチャネル＃０，＃１，＃２で伝送データが伝送されるビデオフィールド（Video Field）には、伝送データの種類に応じて、３種類の区間が存在する。この３種類の区間は、ビデオデータ区間（Video Data period）、データアイランド区間（Data Islandperiod）、およびコントロール区間（Control period）である。
【０２４６】
ここで、ビデオフィールド区間は、ある垂直同期信号の立ち上がりエッジ（active edge）から次の垂直同期信号の立ち上がりエッジまでの区間である。このビデオフィールド区間は、水平ブランキング期間（horizontal blanking）、垂直ブランキング期間（verticalblanking）、並びに、アクティブビデオ区間（Active Video）に分けられる。このアクティブビデオ区間は、ビデオフィールド区間から、水平ブランキング期間および垂直ブランキング期間を除いた区間である
【０２４７】
ビデオデータ区間は、アクティブビデオ区間に割り当てられる。このビデオデータ区間では、非圧縮の１画面分の画像データを構成する１９２０ピクセル（画素）×１０８０ライン分の有効画素（Active pixel）のデータが伝送される。
【０２４８】
データアイランド区間およびコントロール区間は、水平ブランキング期間および垂直ブランキング期間に割り当てられる。このデータアイランド区間およびコントロール区間では、補助データ（Auxiliary data）が伝送される。すなわち、データアイランド区間は、水平ブランキング期間と垂直ブランキング期間の一部分に割り当てられている。このデータアイランド区間では、補助データのうち、制御に関係しないデータである、例えば、音声データのパケット等が伝送される。
【０２４９】
コントロール区間は、水平ブランキング期間と垂直ブランキング期間の他の部分に割り当てられている。このコントロール区間では、補助データのうちの、制御に関係するデータである、例えば、垂直同期信号および水平同期信号、制御パケット等が伝送される。
【０２５０】
図５０は、ＨＤＭＩ端子のピン配列の一例を示している。図５０に示すピン配列はタイプＡ（type-A）と呼ばれている。ＴＭＤＳチャネル＃ｉの差動信号であるＴＭＤＳ Ｄａｔａ＃ｉ＋とＴＭＤＳ Ｄａｔａ＃ｉ−は差動線である２本のラインにより伝送される。この２本のラインは、ＴＭＤＳ Ｄａｔａ＃ｉ＋が割り当てられているピン（ピン番号が１，４，７のピン）と、ＴＭＤＳ Ｄａｔａ＃ｉ−が割り当てられているピン（ピン番号が３，６，９のピン）に接続される。
【０２５１】
また、制御用のデータであるＣＥＣ信号が伝送されるＣＥＣライン８４は、ピン番号が１３であるピンに接続される。また、Ｅ−ＥＤＩＤ等のＳＤＡ(Serial Data)信号が伝送されるラインは、ピン番号が１６であるピンに接続される。ＳＤＡ信号の送受信時の同期に用いられるクロック信号であるＳＣＬ(Serial Clock)信号が伝送されるラインは、ピン番号が１５であるピンに接続される。上述のＤＤＣ８３は、ＳＤＡ信号が伝送されるラインおよびＳＣＬ信号が伝送されるラインにより構成される。
【０２５２】
また、上述したようにソース機器がシンク機器の接続を検出するためのＨＰＤライン（ＨＥＡＣ−ライン）８６は、ピン番号が１９であるピンに接続される。また、ユーティリティライン（ＨＥＡＣ＋ライン）８８は、ピン番号が１４であるピンに接続される。また、上述したように電源を供給するためのライン８７は、ピン番号が１８であるピンに接続される。
【０２５３】
［Ｅ−ＥＤＩＤ構造］
上述したように、ＨＤＭＩ送信部２０６は、例えば、ＣＰＵ２１１（図３５参照）からの要求に応じて、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３０３から、Ｅ−ＥＤＩＤを、ＤＤＣ８３を介して読み出す。そして、ＣＰＵ２１１は、このＥ−ＥＤＩＤに基づき、ＨＤＭＩ受信部３０３の性能の設定、例えば立体画像データの取り扱いが可能か否か等を認識する。
【０２５４】
図５１は、Ｅ−ＥＤＩＤのデータ構造例を示している。このＥ−ＥＤＩＤは、基本ブロックと拡張ブロックとからなっている。基本ブロックには、先頭に、“E-EDID1.3 Basic Structure”で表されるＥ−ＥＤＩＤ１．３の規格で定められたデータが配置されている。基本ブロックには、続いて“Preferred timing”で表される従来のＥＤＩＤとの互換性を保つためのタイミング情報が配置されている。また、基本ブロックには、続いて、“2nd timing”で表される従来のＥＤＩＤとの互換性を保つための、“Preferredtiming”とは異なるタイミング情報が配置されている。
【０２５５】
また、基本ブロックには、“2nd timing”に続いて、“Monitor NAME”で表される表示装置の名前を示す情報が配置されている。基本ブロックには、続いて、“Monitor Range Limits”で表される、アスペクト比が４：３および１６：９である場合についての表示可能な画素数を示す情報が配置されている。
【０２５６】
拡張ブロックの先頭には、“Short Video Descriptor”が配置されている。これは、表示可能な画像サイズ(解像度)、フレームレート、インターレースであるかプログレッシブであるかを示す情報である。続いて、“Short Audio Descriptor”が配置されている。これは、再生可能な音声コーデック方式、サンプリング周波数、カットオフ帯域、コーデックビット数などの情報である。続いて、“Speaker Allocation”で表される左右のスピーカに関する情報が配置されている。
【０２５７】
また、拡張ブロックには、“Speaker Allocation”に続いて、“Vender Specific”で表されるメーカごとに固有に定義されたデータが配置されている。拡張ブロックには、続いて、“3rd timing”で表される従来のＥＤＩＤとの互換性を保つためのタイミング情報が配置されている。拡張ブロックには、さらに続いて、“4th timing”で表される従来のＥＤＩＤとの互換性を保つためのタイミング情報が配置されている。
【０２５８】
図５２は、Vender Specific領域（HDMI Vendor Specific DataBlock）のデータ構造例を示している。このVender Specific領域には、１バイトのブロックである第０ブロック乃至第Ｎブロックが設けられている。
【０２５９】
第０ブロックには、“Vendor-Specific tag code(=3)”で表されるデータ“VenderSpecific”のデータ領域を示すヘッダが配置される。また、この第０ブロックには、“Length(=N)”で表されるデータ“Vender Specific”の長さを示す情報が配置される。また、第１ブロック乃至第３ブロックには、“24bit IEEE Registration Identifier(0x000C03)LSB first”で表されるＨＤＭＩ（Ｒ）用として登録された番号“0x000C03“を示す情報が配置される。さらに、第４ブロックおよび第５ブロックには、”Ａ“、”Ｂ“、”Ｃ“、および”Ｄ“のそれぞれにより表される、２４ｂｉｔのシンク機器の物理アドレスを示す情報が配置される。
【０２６０】
第６ブロックには、“Supports-AI”で表される、シンク機器が対応している機能を示すフラグが配置されている。また、この第６ブロックには、“DC-48bit”、“DC-36bit”、および“DC-30bit”のそれぞれで表される、１ピクセル当たりのビット数を指定する情報のそれぞれが配置されている。また、この第６ブロックには、“DC-Y444”で表される、シンク機器がＹＣｂＣｒ４：４：４の画像の伝送に対応しているかを示すフラグが配置されている。さらに、この第６ブロックには、“DVI-Dual”で表される、シンク機器がデュアルＤＶＩ（Digital VisualInterface）に対応しているかを示すフラグが配置されている。
【０２６１】
また、第７ブロックには、“Max-TMDS-Clock”で表されるＴＭＤＳのピクセルクロックの最大の周波数を示す情報が配置される。また、第８ブロックの第６ビット、第７ビットには、“Latency”で表される映像と音声の遅延情報の有無を示すフラグが配置されている。また、第８ブロックの第５ビットには、“HDMI_Video_present”で表される追加のＨＤＭＩビデオフォーマット（３Ｄ、４ｋ×２ｋ）の取り扱いが可能か否かを示すフラグが配置されている。
【０２６２】
また、第９ブロックには、“Video Latency”で表される、プログレッシブの映像の遅延時間データが配置され、第１０ブロックには、“Audio Latency”で表される、プログレッシブの映像に付随する音声の遅延時間データが配置される。また、第１１ブロックには、“Interlaced Video Latency”で表されるインターレースの映像の遅延時間データが配置されている。さらに、第１２ブロックには、“Interlaced Audio Latency”で表される、インターレースの映像に付随する音声の遅延時間データが配置されている。
【０２６３】
また、第１３ブロックの第７ビットには、“3D_present”で表される３Ｄ画像データの取り扱いが可能か否かを示すフラグが配置されている。また、第１４ブロックの第７ビットから第５ビットには、“HDMI_VIC_LEN”で表される、図示しない第１５ブロック以降に配置される必須（mandatory）な３Ｄデータ構造の他に取り扱い可能なデータ構造を示すブロックのサイズ情報が配置されている。また、第１４ブロックの第４ビットから第０ビットには、“HDMI_3D_LEN”で表される、図示しない第１５ブロック以降に配置される取り扱い可能な４ｋ×２ｋのビデオフォーマットを示すブロックのサイズ情報が配置されている。
【０２６４】
［立体画像データのＴＭＤＳ伝送データ構造］
図５３は、立体画像データのＴＭＤＳ伝送データ構造の一つであるフレームパッキング（Frame packing）方式の３Ｄビデオフォーマット（3D Video Format）を示している。この３Ｄビデオフォーマットは、立体画像データとして、プログレッシブ方式の左眼（Ｌ）および右眼（Ｒ）の画像データを伝送するためのフォーマットである。
【０２６５】
この３Ｄビデオフォーマットでは、左眼（Ｌ）および右眼（Ｒ）の画像データとして、１９２０×１０８０ｐ、１０８０×７２０ｐのピクセルフォーマットの画像データの伝送が行われる。なお、図５３には、左眼（Ｌ）画像データおよび右眼（Ｒ）画像データが、それぞれ、１９２０ライン×１０８０ピクセルである例を示している。
【０２６６】
この３Ｄビデオフォーマットにより、垂直同期信号により区切られる、水平ブランキング期間（Hblank）、垂直ブランキング期間（Vblank）およびアクティブビデオ区間（Hactive×Vactive）を含むビデオフィールド区間を単位とする伝送データが生成される。この３Ｄビデオフォーマットにおいて、アクティブビデオ区間は、２つのアクティブビデオ領域（Active video）と、それらの間に１つのアクティブスペース領域（Activespace）を有している。第１のアクティブビデオ領域に左眼（Ｌ）画像データが配され、第２のアクティブビデオ領域に右眼（Ｒ）画像データが配される。
【０２６７】
図５４は、立体画像データのＴＭＤＳ伝送データ構造の一つであるラインオルタネイティブ（Line alternative）方式の３Ｄビデオフォーマット（3D VideoFormat）を示している。この３Ｄビデオフォーマットは、立体画像データとして、プログレッシブ方式の左眼（Ｌ）および右眼（Ｒ）の画像データを伝送するためのフォーマットである。この３Ｄビデオフォーマットでは、左眼（Ｌ）および右眼（Ｒ）の画像データとして、１９２０×１０８０ｐのピクセルフォーマットの画像データの伝送が行われる。
【０２６８】
この３Ｄビデオフォーマットにより、垂直同期信号により区切られる、水平ブランキング期間（Hblank）、垂直ブランキング期間（２×Vblank）およびアクティブビデオ区間（（Hactive×２Vactive）を含むビデオフィールド区間を単位とする伝送データが生成される。この３Ｄビデオフォーマットにおいて、アクティブビデオ区間には、左眼画像データの１ライン分と右眼画像データの１ライン分とが交互に配置される。
【０２６９】
図５５は、立体画像データのＴＭＤＳ伝送データ構造の一つであるサイド・バイ・サイド（side-bay-side）（Ｆｕｌｌ）方式の３Ｄビデオフォーマット（3D VideoFormat）を示している。この３Ｄビデオフォーマットは、立体画像データとして、プログレッシブ方式の左眼（Ｌ）および右眼（Ｒ）の画像データを伝送するためのフォーマットである。この３Ｄビデオフォーマットでは、左眼（Ｌ）および右眼（Ｒ）の画像データとして、１９２０×１０８０ｐのピクセルフォーマットの画像データの伝送が行われる。
【０２７０】
この３Ｄビデオフォーマットにより、垂直同期信号により区切られる、水平ブランキング期間（２×Hblank）、垂直ブランキング期間（Vblank）およびアクティブビデオ区間（（２Hactive×Vactive）を含むビデオフィールド区間を単位とする伝送データが生成される。この３Ｄビデオフォーマットにおいて、アクティブビデオ区間には、水平方向の前半に左眼（Ｌ）画像データが配され、水平方向の後半に右眼（Ｒ）画像データが配される。
【０２７１】
なお、詳細説明は省略するが、ＨＤＭＩ１．４では、上述の図５３〜図５５に示す３Ｄビデオフォーマットの他にも、立体画像データのＴＭＤＳ伝送データ構造としての３Ｄビデオフォーマットが定義されている。例えば、フレームパッキング（Frame packing for interlaced format）方式、フィールドオルタネイティブ（Field alternative）方式、サイド・バイ・サイド（side-bay-side）（Ｈａｌｆ）方式等である。
【０２７２】
［セットトップボックスとテレビ受信機の他の構成例］
図３５に示すセットトップボックス２００においては、ＨＤＭＩインタフェースにより、ベースバンドの立体画像データおよび音声データをテレビ受信機３００に送信する構成となっている。しかし、セットトップボックスからテレビ受信機に、ビットストリーム処理部２０１で使用されている視差ベクトル（図８、図２７参照）の全部または一部を視差情報セットとして、ＨＤＭＩインタフェースにより送信して利用することも考えられる。
【０２７３】
図５６は、視差情報セットを送信するセットトップボックス２００Ａの構成例を示している。この図５６において、図３５と対応する部分には同一符号を付して示し、適宜、その詳細説明を省略する。このセットトップボックス２００Ａにおいては、ビットストリーム処理部２０１より視差情報セットがＨＤＭＩ送信部２０６に供給される。そして、ＨＤＭＩ送信部２０６により、立体画像データおよび音声データと共に、この視差情報セットが、ＨＤＭＩ端子２０２からＨＤＭＩケーブル４００に送出される。このセットトップボックス２００Ａのその他については、図３５に示すセットトップボックス２００と同様に構成され、同様に動作する。
【０２７４】
また、図５７は、視差情報セットを受信して利用するテレビ受信機３００Ａの構成例を示している。この図５７において、図４６と対応する部分には同一符号を付して示し、適宜、その詳細説明を省略する。このテレビ受信機３００Ａにおいては、ＨＤＭＩ受信部３０３で受信された視差情報セットが映像・グラフィック処理回路３０７に供給される。映像・グラフィック処理回路３０７では、左眼画像および右眼画像に貼り付けるメニュー、番組表などの同一の重畳情報に、視差情報セットに含まれる視差ベクトルに基づいて視差が付与される。
【０２７５】
すなわち、このテレビ受信機３００Ａにおいては、左眼画像および右眼画像に重畳される同一の重畳情報（メニュー、番組表等）として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができ、重畳情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。このテレビ受信機３００Ａのその他については、図４６に示すテレビ受信機３００と同様に構成され、同様に動作する。
【０２７６】
図５８は、セットトップボックス２００Ａからテレビ受信機３００Ａに送信される視差情報セットの内容の一例を示している。この視差情報セットには、Ｎ個の視差ベクトルの情報セットが含まれている。各情報セットは、１６ビットのブロックＩＤ（ID_Block(i)）と、１６ビットの水平方向の視差ベクトル（Disparity_Vector_Horizontal）により構成されている。
【０２７７】
ここで、例えば、図５９に示すように、画像（ピクチャ）領域を９分割して得られる各ブロックＢＫ０〜ＢＫ８の視差ベクトルが含まれる視差情報セットの場合、最初に最も値の大きな視差ベクトル、この例ではブロックＢＫ４の視差ベクトルが配置され、その後に、残りのブロックの視差ベクトルが順次配置される。
【０２７８】
［ＨＤＭＩでの視差情報セットの送信方法］
視差情報セットをＨＤＭＩインタフェースで送信する方法として、例えば、以下の（１）、（２）の方法が考えられる。
（１）ＨＤＭＩ Vendor Specific InfoFrame を利用する方法
（２）フレームパッキング方式等の３Ｄビデオフォーマット（3D Video Format）のアクティブスペース（Active Space）を利用する方法
【０２７９】
最初に、（１）のＨＤＭＩ Vendor Specific InfoFrame を利用する方法について説明する。この方法では、ＨＤＭＩ Vendor Specific InfoFrame paketにおいて、HDMI_Video_Format＝“０１０”かつ3D_Meta_present＝１とされて、Vendor SpecificInfoFrame extensionが指定される。その場合、3D_Metadata_typeは、未使用の、例えば、“０１０”と定義され、視差情報セット（Disparrity Set）の情報が指定される。
【０２８０】
図６０は、ＨＤＭＩ Vendor Specific InfoFrame のパケット構造を示している。このＨＤＭＩ Vendor Specific InfoFrameについては、CEA-861-Dに定義されているので、詳細説明は省略する。
【０２８１】
第４バイト（ＰＢ４）の第７ビットから第５ビットに、画像データの種類を示す３ビットの情報「HDMI_Video_Format」が配置されている。画像データが３Ｄ画像データである場合、この３ビットの情報は「０１０」とされる。また、このように画像データが３Ｄ画像データである場合、第５バイト（ＰＢ５）の第７ビットから第４ビットに、ＴＭＤＳ伝送データ構造を示す４ビットの情報「3D_Structure」が配置される。例えば、フレームパッキング方式（図５３参照）の場合、この４ビットの情報は、「００００」とされる。また、例えば、ラインオルタネイティブ方式（図５４参照）の場合、この４ビットの情報は、「００１０」とされる。また、例えば、サイド・バイ・サイド（Ｆｕｌｌ）方式（図５５参照）の場合、この４ビットの情報は、「００１１」とされる。
【０２８２】
また、第５バイト（ＰＢ５）の第３ビットに、「3D_Meta_present」が配置され、Vendor SpecificInfoFrame extensionを指定する場合、この１ビットは「１」とされる。また、第７バイト（ＰＢ７）の第７ビットから第５ビットに、「3D_Metadata_type」が配置されている。視差情報セット（DisparritySet）の情報を指定する場合、この３ビットの情報は、未使用の、例えば、“０１０”とされる。また、第７バイト（ＰＢ７）の第４バイトから第０バイトに、「3D_Metadata_length」が配置されている。この５ビットの情報により、以降に配置される3D_Metadata領域の長さが示される。
【０２８３】
視差情報セットを構成する各視差ベクトルの情報セットは、上述の図５８に示すように、１６ビットのブロックＩＤ（ID_Block(i)）と、１６ビットの水平方向の視差ベクトル（Disparity_Vector_Horizontal）により構成されている。例えば、１９２０×１０８０の画像（ピクチャ）領域を１６×１６画素のブロックで分割すると、ブロック数は８１００となり、個々のブロックは１３ビットでＩＤ表現できる。また、１９２０×１０８０の画サイズにおいて、水平方向の視差を画素数で表現する場合、符号付きで１１ビットあれば一般には問題ないことがわかる。
【０２８４】
そのため、各視差ベクトルの情報セットを配置するために、第１〜第３の３バイトが使用される。第１バイトに「ID_Block(i)」の上位８ビットが配置され、第２のバイトの第７ビットから第３ビットに「ID_Block(i)」の下位５ビットが配置される。また、第２バイトの第２ビットから第０ビットに「Disparity_Vector_Horizontal」の上位３ビットが配置され、第３バイトに「Disparity_Vector_Horizontal」の下位８ビットが配置される。上述の図５９に示すように９ブロックの視差ベクトルを送信するためには、３バイト×９＝２７バイトの領域が使用される。
【０２８５】
視差情報セットを上位の階層からいずれの階層までを含むかは、3D_Metadata_lengthによって指定することが可能である。あるいは、3D_Metadata_typeの空きビットに定義を追加し、3D_Metadata_type=“010”では第１階層（画面全体における最大視差）を、3D_Metadata_type=“110”では第２階層（複数リージョンごとのリージョン内最大視差）を挿入するように指定することも可能である。
【０２８６】
次に、（２）のアクティブスペース（Active Space）を利用する方法について説明する。この方法では、図６１にＨＤＭＩVendor Specific InfoFrame のパケット構造を示すように、現状ではReservedbitとなっている第５バイト（ＰＢ５）の第２ビットに、「ActiveSpace Enable」が定義され、この１ビットの情報が“１”とされる。その上で、現状ではReservedとされているアクティブスペース領域を用いて、新たに情報エリアが定義され、そこに視差情報セットが配置される。
【０２８７】
アクティブスペース領域は、左眼画像データおよび右眼画像データが配置されるアクティブビデオ領域と共に、アクティブビデオ区間を構成している。ここで、アクティブビデオ領域は主映像領域を構成し、アクティブスペース領域は補助映像領域を構成している。アクティブスペース領域は、ビデオの画サイズにより変動するが、１９２０×１０８０の画サイズの場合には、１フレームあたり４５ライン分（８６４００バイト）の容量を持つ。
【０２８８】
１９２０×１０８０の画像（ピクチャ）領域を１６×１６画素のブロックで分割すると、ブロック数は８１００となる。この場合、上述したように、各視差ベクトルの情報セットを配置するために３バイトが使用される。すなわち、「ID_Block(i)」に１３ビットが使用され、「Disparity_Vector_Horizontal」に１１ビットが使用される。そのため、全てのブロックの視差ベクトルを含む視差情報セットを配置するためには、３バイト×８１００＝２４３００バイトの容量があればよい。上述したようにアクティブスペース領域は８６４００バイトの容量を持っている。そのため、このアクティブスペース領域を利用することで、ビデオのフレーム毎に、全てのブロックの視差ベクトルを含む視差情報セットを送信できる。
【０２８９】
なお、ブロックのサイズを小さくしていき、視差ベクトル（視差情報）の空間密度をより高めることも可能である。その場合、１フレームのアクティブスペース領域で伝送可能な容量を越えてしまう場合がある。その場合には、連結情報を用いて、次フレームのアクティブスペース領域と連結されることを明示する。
【０２９０】
図６２は、アクティブスペース領域に配置される視差情報セットの構造を示している。第０バイトに、３ビットの「Active_space_info_Type」と、３ビットの「Block_Size」と、２ビットの「Connect_Info」の情報が配置される。第１バイトおよび第２バイトに、以降の視差情報セットが配置される領域の長さを示す１６ビットの「Data_Length」の上位８ビットおよび下位８ビットが配置される。
【０２９１】
各視差ベクトルの情報セットは各３バイトの領域を使用して配置される。第１バイトに「ID_Block(i)」の上位８ビットが配置され、第２のバイトの第７ビットから第３ビットに「ID_Block(i)」の下位５ビットが配置される。また、第２バイトの第２ビットから第０ビットに「Disparity_Vector_Horizontal」の上位３ビットが配置され、第３バイトに「Disparity_Vector_Horizontal」の下位８ビットが配置される。
【０２９２】
図６３は、図６２に示す視差情報セット構造の各情報の内容を示している。「Active_space_info_Type」の情報は、視差情報セットであることを示す識別情報である。「Block_Size」の情報は、視差ベクトル（視差情報）の空間密度を示すブロックサイズを示している。“００”はブロックサイズが１×１画素、つまりピクセル（画素）であることを示す。“０１”は、ブロックサイズが１６×１６画素であることを示す。“１０”はブロックサイズが３２×３２画素であることを示す。
【０２９３】
「Connect_Info」の情報は、アクティブスペース領域の連結情報を示している。“００”は、このアクティブスペース領域に配置されている視差情報セットで完結していることを示す。“０１”は、このアクティブスペース領域に配置されている視差情報セットが、後のアクティブスペース領域に配置される視差情報セットと連結されることを示す。“１０”は、このアクティブスペース領域に配置されている視差情報セットが、前のアクティブスペース領域に配置される視差情報セットと連結されることを示す。“１１”は、このアクティブスペース領域に配置されている視差情報セットが、前後のアクティブスペース領域に配置される視差情報セットと連結されることを示す。
【０２９４】
なお、連結される最後のアクティブスペースが終了するビデオフレームのタイミングは、対象となる画像データを送るフレームよりも少なくとも同時か、それよりも早い時点で送信終了するよう配置することが、シンク側での対応の点で重要である。
【０２９５】
図６４（ａ）は、「Block_Size」が“０１”、“１０”の場合の各視差ベクトルの情報セットの配置例を示している。この場合には、上述したように、各視差ベクトルの情報セットは各３バイトの領域を使用して配置される。図６４（ｂ）は、「Block_Size」が“００”の場合の各視差ベクトルの情報セットの配置例を示している。この場合には、ピクチャの全画素をスキャン順（映像画素順）に羅列することで、「ID_Block(i)」を省略できる。すなわち、この場合、各視差ベクトルの情報セットは各２バイトの領域を使用して配置される。
【０２９６】
なお、この場合、符号付き１１ビットの「Disparity_Vector_Horizontal」の情報を、符号付き８ビットに正規化することで、図６４（ｃ）に示すように、各視差ベクトルの情報セットは各１バイトの領域を使用して配置でき、伝送帯域を半分にできる。
【０２９７】
なお、上述では、セットトップボックス２００Ａからテレビ受信機３００Ａに送信される視差情報セットとして、所定数の視差ベクトル（視差情報）と、各視差ベクトルが属する画像領域上の位置を示す位置情報（ブロックＩＤ）が含まれている、第１の種類を示した。しかし、この視差情報セットとして、画像領域の分割情報と、各分割領域を代表する視差情報とが含まれている、第２の種類も考えられる。
【０２９８】
最初に、ＨＤＭＩ Vendor Specific InfoFrame を利用して、第１の種類または第２の種類の視差情報セットを、選択的に送信する方法について説明する。この方法では、ＨＤＭＩ Vendor Specific InfoFrame paketにおいて、HDMI_Video_Format＝“０１０”かつ3D_Meta_present＝１とされて、Vendor SpecificInfoFrame extensionが指定される。その場合、3D_Metadata_typeは、未使用の、例えば、“０１０”と定義され、視差情報セット（Disparrity Set）の情報が指定される。
【０２９９】
図６５、図６６は、ＨＤＭＩ Vendor Specific InfoFrame のパケット構造を示している。このＨＤＭＩ Vendor Specific InfoFrameについては、CEA-861-Dに定義されているので、詳細説明は省略する。
【０３００】
第４バイト（ＰＢ４）の第７ビットから第５ビットに、画像データの種類を示す３ビットの情報「HDMI_Video_Format」が配置されている。画像データが３Ｄ画像データである場合、この３ビットの情報は「０１０」とされる。また、このように画像データが３Ｄ画像データである場合、第５バイト（ＰＢ５）の第７ビットから第４ビットに、ＴＭＤＳ伝送データ構造を示す４ビットの情報「3D_Structure」が配置される。例えば、フレームパッキング方式（図５３参照）の場合、この４ビットの情報は、「００００」とされる。また、例えば、ラインオルタネイティブ方式（図５４参照）の場合、この４ビットの情報は、「００１０」とされる。また、例えば、サイド・バイ・サイド（Ｆｕｌｌ）方式（図５５参照）の場合、この４ビットの情報は、「００１１」とされる。
【０３０１】
また、第５バイト（ＰＢ５）の第３ビットに、「3D_Meta_present」が配置され、Vendor SpecificInfoFrame extensionを指定する場合、この１ビットは「１」とされる。また、第７バイト（ＰＢ７）の第７ビットから第５ビットに、「3D_Metadata_type」が配置されている。視差情報セット（Disparity Set）の情報を指定する場合、この３ビットの情報は、未使用の、例えば、“０１０”とされる。また、第７バイト（ＰＢ７）の第４バイトから第０バイトに、「3D_Metadata_length」が配置されている。この５ビットの情報により、以降に配置される3D_Metadata領域の長さが示される。
【０３０２】
また、第７＋１バイト（ＰＢ７＋１）の第７ビットに、「Disparity_Info_type（1bit）」が配置されている。この情報は、視差情報セットが第１の種類であるか第２の種類であるかを示す。図６７に示すように、「Disparity_Info_type」が“１”であるとき、視差情報セットが第１の種類であることを示す。この場合、視差情報セットには、所定数の視差ベクトル（視差情報）と、各視差ベクトルが属する画像領域上の位置を示す位置情報（ブロックＩＤ）が含まれている。また、「Disparity_Info_type」が“０”であるとき、視差情報セットが第２の種類であることを示す。この場合、視差情報セットには、画像領域の分割情報と、各分割領域を代表する視差情報とが含まれている。
【０３０３】
また、第７＋１バイトの第６ビットから第４ビットに、「Dimension(3bits)」が配置されている。この情報は、画像（ピクチャ）領域の分割情報である。図６７および図６８（ａ）に示すように、「Dimension」が“０００”であるとき、画像（ピクチャ）領域は分割されておらず、この画像（ピクチャ）領域を代表する１つの視差ベクトル（視差情報）が送信されることを示す。
【０３０４】
また、図６７および図６８（ｂ）に示すように、「Dimension」が“００１”であるとき、画像（ピクチャ）領域は４分割されており、この各分割領域を代表する４個の視差ベクトル（視差情報）が送信されることを示す。この場合、左上の領域の視差ベクトルが最初で、右下の領域の視差ベクトルが最後となるように配置される（図６８（ｂ）の０〜３の順）。
【０３０５】
また、図６７および図６８（ｃ）に示すように、「Dimension」が“０１０”であるとき、画像（ピクチャ）領域は９分割されており、この各分割領域を代表する９個の視差ベクトル（視差情報）が送信されることを示す。この場合、左上の領域の視差ベクトルが最初で、右下の領域の視差ベクトルが最後となるように配置される（図６８（ｃ）の０〜８の順）。
【０３０６】
また、図６７および図６８（ｄ）に示すように、「Dimension」が“０１１”であるとき、画像（ピクチャ）領域は１６分割されており、この各分割領域を代表する１６個の視差ベクトル（視差情報）が送信されることを示す。この場合、左上の領域の視差ベクトルが最初で、右下の領域の視差ベクトルが最後となるように配置される（図６８（ｄ）の０〜１５の順）。
【０３０７】
また、第７＋１バイト（ＰＢ７＋１）の第３ビットに、「DPstrt(1bit)」が配置されている。この情報は、現在のフレームの視差情報セットの連続情報を示す。図６７に示すように、「DPstrt」が“０”であるとき、現在のフレームの視差情報セットは、前のフレームの視差情報セットから連続したものであることを示す。また、図６７に示すように、「DPstrt」が“１”であるとき、現在のフレームの視差情報セットは、現在のフレームから始まったものであることを示す。
【０３０８】
また、第７＋１バイト（ＰＢ７＋１）の第２ビットに、「ASP(1bit)」が配置されている。この情報は、視差情報セットがアクティブスペース領域を利用して送信されるか否かを示す。「ASP」が“１”であるとき、視差情報セットがアクティブスペース領域を利用して送信されることを示す。なお、ここでは、視差情報セットがＨＤＭＩ Vendor Specific InfoFrame を利用して送信されるものであり、「ASP」が“０”とされる。
【０３０９】
また、第７＋１バイト（ＰＢ７＋１）の第１ビットに、「VB(1bit)」が配置されている。この情報は、視差情報セットが、ＨＤＭＩ VendorSpecific InfoFrame パケット以外を利用して、画像データのブランキング期間で送信されるか否かを示す。「VB」が“１”であるとき、視差情報セットがＨＤＭＩ Vendor SpecificInfoFrame パケット以外を利用して画像データのブランキング期間で送信されることを示す。なお、ここでは、視差情報セットがＨＤＭＩ Vendor Specific InfoFrame を利用して送信されるものであり、「VB」が“０”とされる。
【０３１０】
第７＋２バイト以降に、実際の視差情報セットが配置される。図６５は、「Disparity_Info_type」が“０”の場合を示している。視差情報セットとして、第２の種類の視差情報セットが配置されている。各分割領域を代表する水平方向の視差ベクトル（視差情報）が順次配置されている。この場合、各視差ベクトルは８ビットの情報とされる。ここで、「Dimension」が“０００”，“００１”，“０１０”，“０１１”であるとき、それぞれ、１個、４個、９個、１６個の視差ベクトル（視差情報）が配置される。
【０３１１】
図６６は、「Disparity_Info_type」が“１”の場合を示している。視差情報セットとして、第１の種類の視差情報セットが配置されている。位置情報（ブロックＩＤ）および視差ベクトルのセットが順次配置されている。例えば、１９２０×１０８０の画像（ピクチャ）領域を１６×１６画素のブロックで分割すると、ブロック数は８１００となり、個々のブロックは１３ビットでＩＤ表現できる。
【０３１２】
ここで、各視差ベクトルのセットは、図６９（ｄ）に示すように、１３ビットのブロックＩＤ（ID_Block(i)）と、８ビットの水平方向の視差ベクトル（Disparity_Vector_Horizontal）により構成される。そのため、各視差ベクトルのセットを配置するために、第１〜第３の３バイトが使用される。第１バイトに「ID_Block(i)」の上位８ビットが配置され、第２のバイトの第７ビットから第３ビットに「ID_Block(i)」の下位５ビットが配置される。第３バイトに「Disparity_Vector_Horizontal」が配置される。
【０３１３】
視差ベクトルのセットの個数は、視差情報セットに、どの階層を含むかによる。例えば、図６９（ａ）に示す階層だけを含む場合には、１セットとなり、そのセットの視差ベクトルは、例えば、図６９（ｄ）に示す最下層の各領域（ブロック）で検出された視差ベクトルのうち最大視差を示すものとされる。そして、そのセットのブロックＩＤは、その最大視差を示す視差ベクトルが属する最下層の領域位置を示すものとされる。
【０３１４】
同様に、例えば、図６９（ｂ）に示す階層のみを含む場合には各領域に対応した４セットとなり、図６９（ｃ）に示す階層のみを含む場合には各領域に対応した２４セットとなる。この場合、各セットの視差ベクトルは、各領域内に含まれる最下層の各領域（ブロック）で検出された視差ベクトルのうち最大視差を示すものとされる。そして、その各セットのブロックＩＤは、その最大視差を示す視差ベクトルが属する最下層の領域位置を示すものとされる。
【０３１５】
なお、図６５、図６６に示すＨＤＭＩ Vendor Specific InfoFrame のパケット構造は、「Disparity_Info_type」の情報で、このパケットで送信される視差情報セットが第１の種類か第２の種類かを示している。しかし、最初からこのパケットで送信される視差情報セットが第１の種類あるいは第２の種類のみに限られている場合には、この「Disparity_Info_type」の情報は不要となる。
【０３１６】
図７０は、送信される視差情報セットが第２の種類のみに限られている場合における、ＨＤＭＩ Vendor Specific InfoFrame のパケット構造を示している。この場合、第７＋１バイト（ＰＢ７＋１）の第７ビットは、リザーブ（Reserved(0)とされる。
【０３１７】
次に、アクティブスペース（Active Space）を利用して、第１の種類または第２の種類の視差情報セットを、選択的に送信する方法について説明する。この方法では、図７１にＨＤＭＩ Vendor Specific InfoFrame のパケット構造を示すように、現状ではReserved bitとなっている第７＋１バイト（ＰＢ７＋１）の第２ビットに、「ASP(1bit)」が定義され、この１ビットの情報が“１”とされる。その上で、現状ではReservedとされているアクティブスペース領域を用いて、新たに情報エリアが定義され、そこに視差情報セットが配置される。
【０３１８】
なお、図７１のＨＤＭＩ Vendor Specific InfoFrame のパケット構造において、第７バイトには、上述した図６５、図６６に示すＨＤＭＩ Vendor Specific InfoFrame のパケット構造と同様の情報が配置されている。
【０３１９】
図７２は、「Disparity_Info_type」が“０”の場合、つまり視差情報セットとして第２の種類の視差情報セットを送信する場合における、アクティブスペース領域に配置される視差情報セットの構造を示している。この場合、視差情報セットとして、各分割領域を代表する水平方向の視差ベクトル（視差情報）が順次配置される。第０バイトに、３ビットの「Active_space_info_Type」と、２ビットの「Connect_Info」の情報が配置される。また、第１バイトおよび第２バイトに、以降の視差情報セットが配置される領域の長さを示す１６ビットの「Data_Length」の上位８ビットおよび下位８ビットが配置される。
【０３２０】
図７３は、「Disparity_Info_type」が“１”の場合、つまり視差情報セットとして第１の種類の視差情報セットを送信する場合における、アクティブスペース領域に配置される視差情報セットの構造を示している。この場合、視差情報セットとして、位置情報（ブロックＩＤ）および視差ベクトルのセットが順次配置される。
【０３２１】
第０バイトに、３ビットの「Active_space_info_Type」と、３ビットの「Block_Size」と、２ビットの「Connect_Info」の情報が配置される。第１バイトおよび第２バイトに、以降の視差情報セットが配置される領域の長さを示す１６ビットの「Data_Length」の上位８ビットおよび下位８ビットが配置される。
【０３２２】
各視差ベクトルの情報セットは各３バイトの領域を使用して配置される。第１バイトに「ID_Block(i)」の上位８ビットが配置され、第２のバイトの第７ビットから第３ビットに「ID_Block(i)」の下位５ビットが配置される。第３バイトに「Disparity_Vector_Horizontal」が配置される。
【０３２３】
図７４は、図７２、図７３に示す視差情報セット構造の各情報の内容を示している。「Active_space_info_Type」の情報は、視差情報セットであることを示す識別情報である。「Block_Size」の情報は、視差ベクトル（視差情報）の空間密度を示すブロックサイズを示している。“００”はブロックサイズが１×１画素、つまりピクセル（画素）であることを示す。“０１”は、ブロックサイズが１６×１６画素であることを示す。“１０”はブロックサイズが３２×３２画素であることを示す。
【０３２４】
「Connect_Info」の情報は、アクティブスペース領域の連結情報を示している。“００”は、現在のアクティブスペース領域に配置されている視差情報セットは、現在のアクティブスペース領域から始まっていることを示す。“０１”は、このアクティブスペース領域に配置されている視差情報セットが、後のアクティブスペース領域に配置される視差情報セットと連結されることを示す。“１０”は、このアクティブスペース領域に配置されている視差情報セットが、前のアクティブスペース領域に配置される視差情報セットと連結されることを示す。“１１”は、このアクティブスペース領域に配置されている視差情報セットが、前後のアクティブスペース領域に配置される視差情報セットと連結されることを示す。
【０３２５】
なお、連結される最後のアクティブスペースが終了するビデオフレームのタイミングは、対象となる画像データを送るフレームよりも少なくとも同時か、それよりも早い時点で送信終了するよう配置することが、シンク側での対応の点で重要である。
【０３２６】
図７５（ａ）は、視差情報セットが第１の種類であって、「Block_Size」が“０１”、“１０”の場合の各視差ベクトルの情報セットの配置例を示している。この場合には、上述したように、各視差ベクトルの情報セットは各３バイトの領域を使用して配置される。図７５（ｂ）は、視差情報セットが第１の種類であって、「Block_Size」が“００”の場合の各視差ベクトルの情報セットの配置例を示している。この場合には、ピクチャの全画素をスキャン順（映像画素順）に羅列することで、「ID_Block(i)」を省略できる。すなわち、この場合、各視差ベクトルの情報セットは各２バイトの領域を使用して配置される。
【０３２７】
なお、図７１に示すＨＤＭＩ Vendor Specific InfoFrame のパケット構造は、「Disparity_Info_type」の情報で、アクティブスペース領域で送信される視差情報セットが第１の種類か第２の種類かを示している。しかし、最初からアクティブスペース領域で送信される視差情報セットが第１の種類あるいは第２の種類のみに限られている場合には、この「Disparity_Info_type」の情報は不要となる。その場合、図７６に示すように、第７＋１バイト（ＰＢ７＋１）の第７ビットは、リザーブ（Reserved(0)とされる。
【０３２８】
上述したように、図１に示す立体画像表示システム１０においては、左眼画像および右眼画像の一方に対する他方の視差情報に基づいて、左眼画像および右眼画像に重畳する同一の重畳情報（クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報など）に視差が付与される。そのため、左眼画像および右眼画像に重畳される同一の重畳情報として、画像内の各物体（オブジェクト）の遠近感に応じて視差調整が施されたものを用いることができ、重畳情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。
【０３２９】
＜２．変形例＞
なお、上述実施の形態においては、立体画像表示システム１０が、放送局１００、セットトップボックス２００およびテレビ受信機３００で構成されているものを示した。しかし、テレビ受信機３００は、図４６に示すように、セットトップボックス２００内のビットストリーム処理部２０１と同等に機能するビットストリーム処理部２０１を備えている。したがって、図７７に示すように、放送局１００およびテレビ受信機３００で構成される立体画像表示システム１０Ａも考えられる。
【０３３０】
また、上述実施の形態においては、立体画像データを含むデータストリーム（ビットストリームデータ）が放送局１００から放送される例を示した。しかし、この発明は、このデータストリームがインターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できることは勿論である。
【０３３１】
また、上述実施の形態においては、セットトップボックス２００Ａからテレビ受信機３００Ａに視差情報セットを送信する方法として、ＨＤＭＩ Vendor Specific InfoFrame を利用する方法、アクティブスペース（Active Space）を利用する方法を説明した。その他に、ＨＰＤライン８６（ＨＥＡＣ−ライン）およびユーティリティライン８８（ＨＥＡＣ＋ライン）で構成される双方向通信路を通じて送信することも考えられる。
【０３３２】
また、上述実施の形態においては、セットトップボックス２００，２００Ａと、テレビ受信機３００，３００Ａとが、ＨＤＭＩのデジタルインタフェースで接続されるものを示している。しかし、これらが、ＨＤＭＩのデジタルインタフェースと同様のデジタルインタフェース（有線の他に無線も含む）で接続される場合においても、この発明を適用できることは勿論である。
【０３３３】
また、上述実施の形態においては、セットトップボックス２００Ａからテレビ受信機３００Ａに、ビットストリーム処理部２０１で使用されている視差ベクトル（図８、図２７参照）の全部または一部を視差情報セットとして、ＨＤＭＩインタフェースにより送信する例を示した。しかし、このようにＨＤＭＩインタフェースを通じて視差情報セットを送信する技術に関しては、その他のソース機器およびシンク機器の組み合わせにも応用できることは勿論である。例えば、ソース機器としてはＢＤやＤＶＤ等のディスクプレーヤ、さらにはゲーム機なども考えられ、シンク機器としてはモニタ装置、プロジェクタ装置なども考えられる。
【産業上の利用可能性】
【０３３４】
この発明は、クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報等の重畳情報を画像に重畳して表示する立体画像表示システム等に適用できる。
【符号の説明】
【０３３５】
１０，１０Ａ・・・立体画像表示システム、１００・・・放送局、１１０，１１０Ａ〜１１０Ｄ・・・送信データ生成部、１１１Ｌ，１１１Ｒ・・・カメラ、１１２・・・ビデオフレーミング部、１１３・・・ビデオエンコーダ、１１３ａ・・・ストリームフォーマッタ、１１４・・・視差ベクトル検出部、１１５・・・視差ベクトルエンコーダ、１１６・・・マイクロホン、１１７・・・オーディオエンコーダ、１１８・・・サブタイトル・グラフィクス発生部、１１９・・・サブタイトル・グラフィクスエンコーダ、１１９ａ・・・ストリームフォーマッタ、１２０・・・テキスト発生部、１２１・・・テキストエンコーダ、１２２・・・マルチプレクサ、１２４・・・サブタイトル・グラフィクス処理部、１２５・・・テキスト処理部、１３０・・・データ取り出し部、１３０ａ・・・データ記録媒体、１３１〜１３３・・・切換スイッチ、視差情報セット作成部、２００，２００Ａ・・・セットトップボックス、２０１，２０１Ａ，２０１Ｂ，２０１Ｃ・・・ビットストリーム処理部、２０２・・・ＨＤＭＩ端子、２０３・・・アンテナ端子、２０４・・・デジタルチューナ、２０５・・・映像信号処理回路、２０６・・・ＨＤＭＩ送信部、２０７・・・音声信号処理回路、２１１・・・ＣＰＵ、２１２・・・フラッシュＲＯＭ、２１３・・・ＤＲＡＭ、２１４・・・内部バス、２１５・・・リモコン受信部、２１６・・・リモコン送信機、２２０・・・デマルチプレクサ、２２１・・・ビデオデコーダ、２２２・・・サブタイトル・グラフィクスデコーダ、２２３・・・テキストデコーダ、２２４・・・オーディオデコーダ、２２５・・・視差ベクトルデコーダ、２２６・・・立体画像用サブタイトル・グラフィクス発生部、２２７・・・立体画像用テキスト発生部、２２８・・・ビデオ重畳部、２２９・・・マルチチャネルスピーカコントロール部、２３１・・・視差ベクトル抽出部、２３２・・・視差ベクトル取り出し検出部、３００，３００Ａ・・・テレビ受信機、３０１・・・３Ｄ信号処理部、３０２・・・ＨＤＭＩ端子、３０３・・・ＨＤＭＩ受信部、３０４・・・アンテナ端子、３０５・・・デジタルチューナ、３０６・・・ビットストリーム処理部、３０７・・・映像・グラフィック処理回路、３０８・・・パネル駆動回路、３０９・・・表示パネル、３１０・・・音声信号処理回路、３１１・・・音声増幅回路、３１２・・・スピーカ、３２１・・・ＣＰＵ、３２２・・・フラッシュＲＯＭ、３２３・・・ＤＲＡＭ、３２４・・・内部バス、３２５・・・リモコン受信部、３２６・・・リモコン送信機、４００・・・ＨＤＭＩケーブル
【技術分野】
【０００１】
この発明は、立体画像データ送信装置および立体画像データ送信方法に関し、特に、重畳情報（メニュー、番組表等）の表示を良好に行い得る立体画像データ送信装置等に関する。
【背景技術】
【０００２】
例えば、特許文献１には、立体画像データのテレビ放送電波を用いた伝送方式について提案されている。この場合、左眼用画像データおよび右眼用画像データを含む立体画像データが送信され、テレビ受信機において、両眼視差を利用した立体画像表示が行われる。
【０００３】
図７８は、両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクト（物体）の左右像の表示位置と、その立体像の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Ｌａが右側に右像Ｒａが左側にずれて表示されているオブジェクトＡに関しては、左右の視線がスクリーン面より手前で交差するため、その立体像の再生位置はスクリーン面より手前となる。
【０００４】
また、例えば、スクリーン上に図示のように左像Ｌｂおよび右像Ｒｂが同一位置に表示されているオブジェクトＢに関しては、左右の視線がスクリーン面で交差するため、その立体像の再生位置はスクリーン面上となる。さらに、例えば、スクリーン上に図示のように左像Ｌｃが左側に右像Ｒｃが右側にずれて表示されているオブジェクトＣに関しては、左右の視線がスクリーン面より奥で交差するため、その立体像の再生位置はスクリーン面より奥となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−６１１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したように立体画像表示において、視聴者は、両眼視差を利用して、立体画像の遠近感を認知することが普通である。画像に重畳される重畳情報、例えば、クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報等に関しても、２次元空間的のみならず、３次元の奥行き感としても、立体画像表示と連動してレンダリングされることが期待される。
【０００７】
例えば、画像にクローズド・キャプション情報あるいはサブタイトル情報である字幕を重畳表示(オーバーレイ表示)する場合、遠近感でいうところの最も近い画像内の物体（オブジェクト）よりも手前に表示されないと、視聴者は、遠近感の矛盾を感じる場合がある。また、他のグラフィクス情報、あるいはテキスト情報を画像に重畳表示する場合にも、画像内の各物体の遠近感に応じて視差調整を施し、遠近感の整合性を維持することが期待される。
【０００８】
この発明の目的は、画像表示装置における重畳情報（メニュー、番組表等）の表示において、画像内の各物体との間の遠近感の整合性の維持を図ることにある。
【課題を解決するための手段】
【０００９】
この発明の概念は、
左眼画像データおよび右眼画像データを含む立体画像データと、左眼画像および右眼画像の一方に対する他方の視差情報を含む視差情報セットとを、伝送路を介して、外部機器に送信するデータ送信部
を備える立体画像データ送信装置にある。
【００１０】
この発明において、データ受信部により、立体画像データと視差情報セットとが、伝送路を介して、外部機器に送信される。立体画像データには、左眼画像データおよび右眼画像データが含まれている。視差情報セットには、左眼画像および右眼画像の一方に対する他方の視差情報が含まれている。
【００１１】
この発明において、例えば、データ送信部は、画像データを、複数チャネルで、差動信号により、伝送路を介して、外部機器に送信し、画像データのブランキング期間に視差情報セットを挿入することで、この視差情報セットを外部機器に送信する、ようにされる。
【００１２】
また、この発明において、例えば、データ送信部は、垂直同期信号により区切られる、水平ブランキング期間、垂直ブランキング期間およびアクティブビデオ区間を含むビデオフィールド区間を単位とする伝送データを生成する伝送データ生成部と、伝送データ生成部で生成された伝送データを、複数チャネルで、差動信号により、伝送路を介して、外部機器に送信する伝送データ送信部とを有し、アクティブビデオ区間は、主映像領域および補助映像領域を有し、伝送データ生成部は、主映像領域に画像データを配し、補助映像領域に、主映像領域に配される画像データに関連した視差情報セットを配する、ようにされる。
【００１３】
また、この発明において、例えば、視差情報セットは、画像領域上の所定数の位置に対応した視差情報と、各視差情報が属する画像領域上の位置を示す位置情報とを含む、ようにされる。
【００１４】
また、この発明において、例えば、視差情報セットは、画像領域の分割情報と、各分割領域を代表する視差情報とを含む、ようにされる。
【００１５】
また、この発明において、例えば、視差情報セットには、この視差情報セットが第１の種類であるか第２の種類であるかを示す識別情報が付加されており、視差情報セットは、識別情報が第１の種類を示すとき、画像領域上の所定数の位置に対応した視差情報と、各視差情報が属する画像領域上の位置を示す位置情報とを含み、識別情報が第２の種類を示すとき、画像領域の分割情報と、各分割領域を代表する視差情報とを含む、ようにされる。
【００１６】
このように、この発明においては、左眼画像データおよび右眼画像データを含む立体画像データと共に、左眼画像および右眼画像の一方に対する他方の視差情報を含む視差情報セットが、伝送路を介して、外部機器に送信される。そのため、外部機器、例えばテレビ受信機等の画像表示装置においては、左眼画像および右眼画像に重畳される同一の重畳情報（メニュー、番組表等）として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができ、重畳情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。
【発明の効果】
【００１７】
この発明によれば、左眼画像データおよび右眼画像データを含む立体画像データと共に、左眼画像および右眼画像の一方に対する他方の視差情報を含む視差情報セットを外部機器に送信するものであり、重畳情報（メニュー、番組表等）として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができ、重畳情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】この発明の実施の形態としての立体画像表示システムの構成例を示すブロック図である。
【図２】放送局における送信データ生成部の構成例を示すブロック図である。
【図３】１９２０×１０８０ｐのピクセルフォーマットの画像データを示す図である。
【図４】立体画像データ（３Ｄ画像データ）の伝送方式である「Top & Bottom」方式、「Side By Side」方式、「Frame Sequential」方式を説明するための図である。
【図５】左眼画像に対する右眼画像の視差ベクトルを検出する例を説明するための図である。
【図６】視差ベクトルをブロックマッチング方式で求めることを説明するための図である。
【図７】視差ベクトル検出部で検出される、画像内の所定位置おける視差ベクトルＶＶの一例を示す図である。
【図８】視差ベクトルの伝送内容を示す図である。
【図９】視差検出ブロック例と、その場合の視差ベクトルの伝送内容を示す図である。
【図１０】視差ベクトルを検出して伝送するタイミングの例を説明するための図である。
【図１１】視差ベクトルを検出して伝送するタイミングの例を説明するための図である。
【図１２】送信データ生成部において多重化される各データのストリーム例を示す図である。
【図１３】放送局における送信データ生成部の他の構成例を示すブロック図である。
【図１４】放送局における送信データ生成部において多重化される各ストリームの一例を示している。
【図１５】放送局における送信データ生成部の他の構成例を示すブロック図である。
【図１６】放送局における送信データ生成部において多重化される各ストリームの一例を示している。
【図１７】伝送方式が第１の伝送方式（「Top & Bottom」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置等を説明するための図である。
【図１８】伝送方式が第１の伝送方式（「Top & Bottom」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の生成方法を説明するための図である。
【図１９】伝送方式が第２の伝送方式（「Side By Side」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の生成方法を説明するための図である。
【図２０】伝送方式が第２の伝送方式（「Side By Side」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の生成方法を説明するための図である。
【図２１】放送局における送信データ生成部の他の構成例を示すブロック図である。
【図２２】放送局における送信データ生成部の他の構成例を示すブロック図である。
【図２３】ピクセル（画素）毎の視差ベクトルの値を各ピクセル（各画素）の輝度値として用いた場合の画像例を示す図である。
【図２４】ブロック（Block）毎の視差ベクトルの一例を示す図である。
【図２５】送信データ生成部の視差情報セット作成部で行われるダウンサイジング処理の一例を示す図である。
【図２６】視差情報セット作成部で管理される各階層の各領域の視差ベクトルを説明するための図である。
【図２７】視差情報セットの内容の一例を示す図である。
【図２８】伝送方式が第２の伝送方式（「Side By Side」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示す図である。
【図２９】左眼画像、右眼画像に対して、ビットストリームデータから抽出された従来方法により伝送されるグラフィクスデータによるグラフィクス画像をそのまま重畳した状態を示す図である。
【図３０】時刻Ｔ０，Ｔ１，Ｔ２，Ｔ３における３つのオブジェクト位置の視差ベクトル（View Vector）を示す図である。
【図３１】画像上における字幕（グラフィクス情報）の表示例と、背景、近景オブジェクト、字幕の遠近感を示す図である。
【図３２】画像上における字幕（グラフィクス情報）の表示例と、字幕を表示するための左眼グラフィクス情報ＬＧＩおよび右眼グラフィクス情報ＲＧＩを示す図である。
【図３３】視差ベクトルとして、画像内の複数位置で検出された視差ベクトルのうち、その重畳位置に対応したものを使用することを説明するための図である。
【図３４】画像内にＡ，Ｂ，Ｃの各オブジェクトが存在し、これら各オブジェクトの近傍位置に、各オブジェクトの注釈を示すテキスト情報を重畳することを示す図である。
【図３５】立体画像表示システムを構成するセットトップボックスの構成例を示すブロック図である。
【図３６】セットトップボックスを構成するビットストリーム処理部の構成例を示すブロック図である。
【図３７】視差ベクトルＶＶ１が、テレビディスプレイに向かって左側のビデオオブジェクトの方が大きい場合のスピーカ出力制御例を示す図である。
【図３８】放送局から送られてくる各データストリームと視差ベクトルとの対応関係を示す図である。
【図３９】放送局から送られてくる各データストリームと視差ベクトルとの対応関係を示す図である。
【図４０】セットトップボックスを構成するビットストリーム処理部の他の構成例を示すブロック図である。
【図４１】放送局から送られてくる各データストリームと視差ベクトルとの対応関係を示す図である。
【図４２】放送局から送られてくる各データストリームと視差ベクトルとの対応関係を示す図である。
【図４３】放送局から送られてくる各データストリームと視差ベクトルとの対応関係を示す図である。
【図４４】セットトップボックスを構成するビットストリーム処理部の他の構成例を示すブロック図である。
【図４５】セットトップボックスを構成するビットストリーム処理部の他の構成例を示すブロック図である。
【図４６】立体画像表示システムを構成するテレビ受信機の構成例を示す図である。
【図４７】ＨＤＭＩ送信部（ＨＤＭＩソース）とＨＤＭＩ受信部（ＨＤＭＩシンク）の構成例を示すブロック図である。
【図４８】ＨＤＭＩ送信部を構成するＨＤＭＩトランスミッタと、ＨＤＭＩ受信部を構成するＨＤＭＩレシーバの構成例を示すブロック図である。
【図４９】ＴＭＤＳ伝送データの構造例（横×縦が１９２０ピクセル×１０８０ラインの画像データが伝送される場合）を示す図である。
【図５０】ソース機器およびシンク機器のＨＤＭＩケーブルが接続されるＨＤＭＩ端子のピン配列（タイプＡ）を示す図である。
【図５１】Ｅ−ＥＤＩＤのデータ構造例を示す図である。
【図５２】Vender Specific領域（HDMI Vendor Specific DataBlock）のデータ構造例を示す図である。
【図５３】立体画像データのＴＭＤＳ伝送データ構造の一つであるフレームパッキング方式の３Ｄビデオフォーマットを示す図である。
【図５４】立体画像データのＴＭＤＳ伝送データ構造の一つであるラインオルタネイティブ方式の３Ｄビデオフォーマットを示す図である。
【図５５】立体画像データのＴＭＤＳ伝送データ構造の一つであるサイド・バイ・サイド（Ｆｕｌｌ）方式の３Ｄビデオフォーマットを示す図である。
【図５６】立体画像表示システムを構成するセットトップボックスの他の構成例を示すブロック図である。
【図５７】立体画像表示システムを構成するテレビ受信機の他の構成例を示す図である。
【図５８】セットトップボックスからテレビ受信機に送信される視差情報セットの内容の一例を示す図である。
【図５９】画像（ピクチャ）領域を９分割して得られる各ブロックＢＫ０〜ＢＫ８と、その場合の各ブロックの視差ベクトルの配置を説明するための図である。
【図６０】視差情報セットの送信にＨＤＭＩ Vendor Specific InfoFrame を利用する場合における、ＨＤＭＩVendor Specific InfoFrame のパケット構造例を示す図である。
【図６１】視差情報セットの送信にアクティブスペース領域を利用する場合における、ＨＤＭＩ Vendor Specific InfoFrame のパケット構造例を示す図である。
【図６２】アクティブスペース領域に配置される視差情報セットの構造を示す図である。
【図６３】視差情報セット構造の各情報の内容を示す図である。
【図６４】ブロックサイズに応じた各視差ベクトルの情報セットの配置例を説明するための図である。
【図６５】視差情報セット（第２の種類）の送信にＨＤＭＩ Vendor Specific InfoFrame を利用する場合における、ＨＤＭＩVendor Specific InfoFrame のパケット構造例を示す図である。
【図６６】視差情報セット（第１の種類）の送信にＨＤＭＩ Vendor Specific InfoFrame を利用する場合における、ＨＤＭＩVendor Specific InfoFrame のパケット構造例を示す図である。
【図６７】ＨＤＭＩ Vendor Specific InfoFrame のパケットに含まれる主要な情報の内容を示す図である。
【図６８】ＨＤＭＩ Vendor Specific InfoFrame のパケットに含まれる「Dimension」の情報を説明するための図である。
【図６９】ＨＤＭＩ Vendor Specific InfoFrame のパケットに含まれる第１の種類の視差情報セットを説明するための図である。
【図７０】視差情報セット（第２の種類のみ）の送信にＨＤＭＩ Vendor Specific InfoFrame を利用する場合における、ＨＤＭＩVendor Specific InfoFrame のパケット構造例を示す図である。
【図７１】視差情報セット（第１の種類、第２の種類）の送信にアクティブスペース領域を利用する場合における、ＨＤＭＩ Vendor Specific InfoFrame のパケット構造例を示す図である。
【図７２】アクティブスペース領域に配置される視差情報セット（第２の種類）の構造を示す図である。
【図７３】アクティブスペース領域に配置される視差情報セット（第１の種類）の構造を示す図である。
【図７４】アクティブスペース領域に配置される視差情報セット（第１の種類、第２の種類）の構造の各情報の内容を示す図である。
【図７５】ブロックサイズに応じた各視差ベクトルの情報セットの配置例を説明するための図である。
【図７６】視差情報セット（第１の種類のみ、または第２の種類のみ）の送信にアクティブスペース領域を利用する場合における、ＨＤＭＩ Vendor Specific InfoFrame のパケット構造例を示す図である。
【図７７】立体画像表示システムの他の構成例を示す図である。
【図７８】両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクトの左右像の表示位置と、その立体像の再生位置との関係を示す図である。
【発明を実施するための形態】
【００１９】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例
【００２０】
＜１．実施の形態＞
［立体画像送受信システムの構成例］
図１は、実施の形態としての立体画像送受信システム１０の構成例を示している。この立体画像送受信システム１０は、放送局１００と、セットトップボックス（ＳＴＢ：Set Top Box）２００と、テレビ受信機３００を有している。
【００２１】
セットトップボックス２００およびテレビ受信機３００は、ＨＤＭＩ(High Definition Multimedia Interface)ケーブル４００を介して接続されている。セットトップボックス２００には、ＨＤＭＩ端子２０２が設けられている。テレビ受信機３００には、ＨＤＭＩ端子３０２が設けられている。ＨＤＭＩケーブル４００の一端はセットトップボックス２００のＨＤＭＩ端子２０２に接続され、このＨＤＭＩケーブル４００の他端はテレビ受信機３００のＨＤＭＩ端子３０２に接続されている。
【００２２】
［放送局の説明］
放送局１００は、ビットストリームデータを、放送波にのせて送信する。このビットストリームデータには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データ、重畳情報データ、さらには視差情報（視差ベクトル）などが含まれる。ここで、重畳情報データは、クローズド・キャプションデータ、サブタイトルデータ、グラフィクスデータ、テキストデータなどである。
【００２３】
「送信データ生成部の構成例」
図２は、放送局１００において、上述のビットストリームデータを生成する送信データ生成部１１０の構成例を示している。この構成例は、視差ベクトルを数値情報として送信する例である。この送信データ生成部１１０は、カメラ１１１Ｌ，１１１Ｒと、ビデオフレーミング部１１２と、ビデオエンコーダ１１３と、視差ベクトル検出部１１４と、視差ベクトルエンコーダ１１５を有している。
【００２４】
また、この送信データ生成部１１０は、マイクロホン１１６と、オーディオエンコーダ１１７と、サブタイトル・グラフィクス発生部１１８と、サブタイトル・グラフィクスエンコーダ１１９と、テキスト発生部１２０と、テキストエンコーダ１２１と、マルチプレクサ１２２を有している。なお、この実施の形態において、テキスト発生部１２０は、クローズド・キャプションデータの発生部を兼ねているものとする。このクローズド・キャプションデータは、クローズド・キャプションの字幕表示をするためのテキストデータである。
【００２５】
カメラ１１１Ｌは、左眼画像を撮影して立体画像表示のための左眼画像データを得る。カメラ１１１Ｒは、右眼画像を撮影して立体画像表示のための右眼画像データを得る。ビデオフレーミング部１１２は、カメラ１１１Ｌで得られる左眼画像データおよびカメラ１１１Ｒで得られる右眼画像データを、伝送方式に応じた状態に加工処理する。
【００２６】
［立体画像データの伝送方式例］
ここでは、立体画像データ（３Ｄ画像データ）の伝送方式として、以下の第１〜第３の方式を挙げるが、これら以外の伝送方式であってもよい。ここでは、図３に示すように、左眼（Ｌ）および右眼（Ｒ）の画像データが、それぞれ、決められた解像度、例えば １９２０×１０８０ｐのピクセルフォーマットの画像データである場合を例にとって説明する。
【００２７】
第１の伝送方式は、「Top & Bottom」方式で、図４（ａ）に示すように、垂直方向の前半では左眼画像データの各ラインのデータを伝送し、垂直方向の後半では左眼画像データの各ラインのデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データのラインが１／２に間引かれることから原信号に対して垂直解像度は半分となる。
【００２８】
第２の伝送方式は、「Side By Side」方式で、図４（ｂ）に示すように、水平方向の前半では左眼画像データのピクセルデータを伝送し、水平方向の後半では右眼画像データのピクセルデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが１／２に間引かれる。現信号に対して、水平解像度は半分となる。
【００２９】
第３の伝送方式は、「Frame Sequential」方式で、図４（ｃ）に示すように、左眼画像データと右眼画像データとをフィールド毎に順次切換えて伝送する方式である。
【００３０】
図２に戻って、ビデオエンコーダ１１３は、ビデオフレーミング部１１２で加工処理された立体画像データに対して、ＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化を施して符号化ビデオデータを得る。また、ビデオエンコーダ１１３は、後段にストリームフォーマッタ１１３ａを備える。このストリームフォーマッタ１１３ａにより、ペイロード部に符号化ビデオデータを含むビデオのエレメンタリーストリームを生成する。
【００３１】
視差ベクトル検出部１１４は、左眼画像データおよび右眼画像データに基づき、画像内の所定位置において、左眼画像および右眼画像の一方に対する他方の視差情報である視差ベクトルを検出する。ここで、画像内の所定位置は、全ての画素位置、複数画素からなる各領域の代表位置、あるいは、重畳情報、ここではグラフィック情報やテキスト情報を重畳する領域の代表位置等である。
【００３２】
［視差ベクトルの検出］
視差ベクトルの検出例について説明する。ここでは、左眼画像に対する右眼画像の視差ベクトルを検出する例について説明する。図５に示すように、左眼画像を検出画像とし、右眼画像を参照画像とする。この例では、（xi,yi）および（xj,yj）の位置における視差ベクトルが検出される。
【００３３】
（xi,yi）の位置における視差ベクトルを検出する場合を例にとって説明する。この場合、左眼画像に、（xi,yi）の位置の画素を左上とする、例えば８×８あるいは１６×１６の画素ブロック（視差検出ブロック）Ｂｉが設定される。そして、右眼画像において、画素ブロックＢｉとマッチングする画素ブロックが探索される。
【００３４】
この場合、右眼画像に、（xi,yi）の位置を中心とする探索範囲が設定され、その探索範囲内の各画素を順次注目画素として、上述の画素ブロックＢｉと同様の例えば８×８あるいは１６×１６の比較ブロックが順次設定されていく。
【００３５】
画素ブロックＢｉと順次設定される比較ブロックとの間で、対応する画素毎の差分絶対値の総和が求められる。ここで、図６に示すように、画素ブロックＢｉの画素値をＬ(x,y)とし、比較ブロックの画素値をＲ(x,y)とするとき、画素ブロックＢｉと、ある比較ブロックとの間における差分絶対値の総和は、Σ｜Ｌ(x,y)−Ｒ(x,y)｜で表される。
【００３６】
右眼画像に設定される探索範囲にｎ個の画素が含まれているとき、最終的にｎ個の総和Ｓ１〜Ｓｎが求められ、その中で最小の総和Ｓminが選択される。そして、この総和Ｓminが得られた比較ブロックから左上の画素の位置が（xi′,yi′）が得られる。これにより、（xi,yi）の位置における視差ベクトルは、（xi′−xi，yi′−yi）のように検出される。詳細説明は省略するが、（xj,yj）の位置における視差ベクトルについても、左眼画像に、（xj,yj）の位置の画素を左上とする、例えば８×８あるいは１６×１６の画素ブロックＢｊが設定されて、同様の処理過程で検出される。
【００３７】
図７（ａ）は、視差ベクトル検出部１１４で検出される、画像内の所定位置おける視差ベクトルＶＶの一例を示している。この場合、図７（ｂ）に示すように、この画像内の所定位置においては、左眼画像（検出画像）を視差ベクトルＶＶだけずらすと、右眼画像（参照画像）と重なることを意味する。
【００３８】
図２に戻って、視差ベクトルエンコーダ１１５は、視差ベクトル検出部１１４で検出された視差ベクトル等を含む視差ベクトルのエレメンタリーストリームを生成する。ここで、視差ベクトルのエレメンタリーストリームには、以下の内容が含まれる。すなわち、ＩＤ（ID_Block）、垂直位置情報（Vertical_Position）、水平位置情報（Horizontal_Position）、視差ベクトル（View_Vector）が１セットとされる。そして、この１セットが視差検出ブロックの数であるＮ個分だけ繰り返される。
【００３９】
図８は、視差ベクトルの伝送内容を示している。視差ベクトルには、垂直方向成分（View_Vector_Vertical）および水平方向成分（View_Vector_Horizontal）が含まれている。 なお、視差検出ブロックの垂直、水平の位置は、画像の左上の原点から、ブロックの左上の画素までの垂直方向、水平方向のオフセット値となる。各視差ベクトルの伝送に、視差検出ブロックのＩＤを付すのは、画像に重畳表示させるクローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報等の重畳情報のパターンとのリンクがとれるようにするためである。
【００４０】
例えば、図９（ａ）に示すように、Ａ〜Ｆまでの視差検出ブロックが存在するとき、伝送内容には、図９（ｂ）に示すように、その視差検出ブロックＡ〜ＦのＩＤと、垂直、水平の位置情報と、視差ベクトルが含まれる。例えば、図９（ｂ）において、視差検出ブロックＡに関しては、ＩＤ２は視差検出ブロックＡのＩＤを示し、（Ｈａ，Ｖａ）は視差検出ブロックＡの垂直、水平の位置情報を示し、視差ベクトルａは視差検出ブロックＡの視差ベクトルを示している。
【００４１】
ここで、視差ベクトルを検出して伝送するタイミングについて説明する。このタイミングに関しては、例えば、以下の第１〜第４の例が考えられる。
【００４２】
第１の例においては、図１０（ａ）に示すように、ピクチャの符号化に同期させる。この場合、視差ベクトルは、ピクチャ単位で伝送される。このピクチャ単位は、視差ベクトルを伝送する際のもっとも細かい単位である。第２の例においては、図１０（ｂ）に示すように、ビデオのシーンに同期させる。この場合、視差ベクトルは、シーン単位で伝送される。
【００４３】
第３の例においては、図１０（ｃ）に示すように、符号化ビデオのＩピクチャ(Intra picture)、またはＧＯＰ（Group Of Pictures）に同期させる。第４の例においては、図１１に示すように、画像に重畳表示されるサブタイトル情報、グラフィクス情報、テキスト情報等の表示開始タイミングに同期させる。
【００４４】
図２に戻って、マイクロホン１１６は、カメラ１１１Ｌ，１１１Ｒで撮影された画像に対応した音声を検出して、音声データを得る。オーディオエンコーダ１１７は、マイクロホン１１６で得られた音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化を施し、オーディオのエレメンタリーストリームを生成する。
【００４５】
サブタイトル・グラフィクス発生部１１８は、画像に重畳するサブタイトル情報やグラフィクス情報のデータ（サブタイトルデータ、グラフィクスデータ）を発生する。サブタイトル情報は、例えば字幕である。また、グラフィクス情報は、例えばロゴなどである。このサブタイトルデータおよびグラフィクスデータは、ビットマップデータである。このサブタイトルデータおよびグラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。
【００４６】
このアイドリングオフセット情報は、例えば、画像の左上の原点から、サブタイトル情報やグラフィクス情報の重畳位置の左上の画素までの垂直方向、水平方向のオフセット値を示す。なお、字幕データをビットマップデータとして伝送する規格は、ヨーロッパのデジタル放送規格であるＤＶＢでDVB_Subtitlingとして規格化され、運用されている。
【００４７】
サブタイトル・グラフィクスエンコーダ１１９は、サブタイトル・グラフィクス発生部１１８で発生されたサブタイトル情報やグラフィクス情報のデータ（サブタイトルデータ、グラフィクスデータ）を入力する。そして、このサブタイトル・グラフィクスエンコーダ１１９は、これらのデータをペイロード部に含むエレメンタリーストリームを生成する。
【００４８】
テキスト発生部１２０は、画像に重畳するテキスト情報のデータ（テキストデータ）を発生する。テキスト情報は、例えば電子番組表、文字放送内容などである。このテキストデータには、上述のグラフィクスデータと同様に、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。このアイドリングオフセット情報は、例えば、画像の左上の原点から、テキスト情報の重畳位置の左上の画素までの垂直方向、水平方向のオフセット値を示す。なお、テキストデータを伝送する例としては、番組予約として運用されているＥＰＧ、アメリカのデジタル地上波規格ＡＴＳＣのCC_data(Closed Caption)がある。
【００４９】
テキストエンコーダ１２１は、テキスト発生部１２０で発生されたテキストデータを入力する。そして、テキストエンコーダ１２１は、これらのデータをペイロード部に含むエレメンタリーストリームを生成する。
【００５０】
マルチプレクサ１２２は、エンコーダ１１３，１１５，１１７，１１９，１２１から出力されるパケット化されたエレメンタリーストリームを多重化する。そして、このマルチプレクサ１２２は、伝送データとしてのビットストリームデータ（トランスポートストリーム）ＢＳＤを出力する。
【００５１】
図２に示す送信データ生成部１１０の動作を簡単に説明する。カメラ１１１Ｌでは、左眼画像が撮影される。このカメラ１１１Ｌで得られる立体画像表示のための左眼画像データはビデオフレーミング部１１２に供給される。また、カメラ１１１Ｒでは、右眼画像が撮影される。このカメラ１１１Ｒで得られる立体画像表示のための右眼画像データはビデオフレーミング部１１２に供給される。ビデオフレーミング部１１２では、左眼画像データおよび右眼画像データが、伝送方式に応じた状態に加工処理されて、立体画像データが得られる（図４（ａ）〜（ｃ）参照）。
【００５２】
ビデオフレーミング部１１２で得られる立体画像データはビデオエンコーダ１１３に供給される。このビデオエンコーダ１１３では、立体画像データに対してＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化が施され、符号化ビデオデータを含むビデオエレメンタリーストリームが生成される。このビデオエレメンタリーストリームはマルチプレクサ１２２に供給される。
【００５３】
また、カメラ１１１Ｌ，１１１Ｒで得られた左眼画像データ、右眼画像データは、ビデオフレーミング部１１２を通じて、視差ベクトル検出部１１４に供給される。この視差ベクトル検出部１１４では、左眼画像データおよび右眼画像データに基づき、画像内の所定位置において、視差検出ブロックが設定され、左眼画像および右眼画像の一方に対する他方の視差情報である視差ベクトルが検出される。
【００５４】
視差ベクトル検出部１１４で検出された画像内の所定位置における視差ベクトルは、視差ベクトルエンコーダ１１５に供給される。この場合、視差検出ブロックのＩＤ、視差検出ブロックの垂直位置情報、視差検出ブロックの水平位置情報、視差ベクトルが１セットとして渡される。視差ベクトルエンコーダ１１５では、視差ベクトルの伝送内容（図８参照）を含む視差ベクトルエレメンタリーストリームが生成される。この視差ベクトルエレメンタリーストリームはマルチプレクサ１２２に供給される。
【００５５】
また、マイクロホン１１６では、カメラ１１１Ｌ，１１１Ｒで撮影された画像に対応した音声が検出される。このマイクロホン１１６で得られる音声データはオーディオエンコーダ１１７に供給される。このオーディオエンコーダ１１７では、音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化が施され、符号化オーディオデータを含むオーディオエレメンタリーストリームが生成される。このオーディオエレメンタリーストリームはマルチプレクサ１２２に供給される。
【００５６】
また、サブタイトル・グラフィクス発生部１１８では、画像に重畳するサブタイトル情報やグラフィクス情報のデータ（サブタイトルデータ、グラフィクスデータ）が発生される。このデータ（ビットマップデータ）は、サブタイトル・グラフィクスエンコーダ１１９に供給される。このサブタイトル・グラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。サブタイトル・グラフィクスエンコーダ１１９では、このグラフィクスデータに対して所定の符号化が施され、符号化データを含むエレメンタリーストリームが生成される。このエレメンタリーストリームはマルチプレクサ１２２に供給される。
【００５７】
また、テキスト発生部１２０では、画像に重畳するテキスト情報のデータ（テキストデータ）が発生される。このテキストデータは、テキストエンコーダ１２１に供給される。このテキストデータには、上述のグラフィクスデータと同様に、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。テキストエンコーダ１２１では、このテキストデータに対して所定の符号化が施され、符号化データを含むエレメンタリーストリームが生成される。このエレメンタリーストリームはマルチプレクサ１２２に供給される。
【００５８】
マルチプレクサ１２２では、各エンコーダから供給されるエレメンタリーストリームのパケットが多重化され、伝送データとしてのビットストリームデータ（トランスポートストリーム）ＢＳＤが得られる。
【００５９】
図１２は、図２に示す送信データ生成部１１０において多重化される各データのストリーム例を示している。なお、この例は、視差ベクトルが、ビデオのシーン単位で検出されて伝送される場合（図１０（ｂ）参照）を示している。なお、各ストリームのパケットには、同期表示用のタイムスタンプが付され、受信側で、画像に対して、サブタイトル情報、グラフィクス情報、テキスト情報等の重畳タイミングを制御することが可能となっている。
【００６０】
「送信データ生成部の他の構成例」
なお、上述の図２に示す送信データ生成部１１０は、視差ベクトルの伝送内容（図８参照）を独立したエレメンタリーストリームとして受信側に伝送する構成となっている。しかし、視差ベクトルの伝送内容を他のストリームの中に埋め込んで伝送することも考えられる。例えば、視差ベクトルの伝送内容は、ビデオのストリームにユーザデータとして埋め込まれて伝送される。また、例えば、視差ベクトルの伝送内容は、サブタイトル、グラフィクス、あるいはテキストのストリームに埋め込まれて伝送される。
【００６１】
図１３は、送信データ生成部１１０Ａの構成例を示している。この例も、視差ベクトルを数値情報として送信する例である。この送信データ生成部１１０Ａは、視差ベクトルの伝送内容を、ビデオのストリームにユーザデータとして埋め込んで伝送する構成となっている。この図１３において、図２と対応する部分には同一符号を付し、その詳細説明は省略する。
【００６２】
この送信データ生成部１１０Ａにおいて、視差ベクトル検出１１４で検出された画像内の所定位置における視差ベクトルは、ビデオエンコーダ１１３内のストリームフォーマッタ１１３ａに供給される。この場合、視差検出ブロックのＩＤ、視差検出ブロックの垂直位置情報、視差検出ブロックの水平位置情報、視差ベクトルが１セットとして渡される。ストリームフォーマッタ１１３ａでは、ビデオのストリームに、視差ベクトルの伝送内容（図８参照）が、ユーザデータとして埋め込まれる。
【００６３】
詳細説明は省略するが、この図１３に示す送信データ生成部１１０Ａのその他は、図２に示す送信データ生成部１１０と同様に構成されている。
【００６４】
図１４は、図１３に示す送信データ生成部１１０Ａにおいて多重化される画像データストリームと、サブタイトルあるいはグラフィクスのデータストリームと、テキストデータストリームの一例を示している。視差ベクトル（視差情報）は、画像データストリームに埋め込まれて伝送される。
【００６５】
「送信データ生成部の他の構成例」
図１５は、送信データ生成部１１０Ｂの構成例を示している。この例も、視差ベクトルを数値情報として送信する例である。この送信データ生成部１１０Ｂは、視差ベクトルの伝送内容を、サブタイトルあるいはグラフィクスのデータストリームに埋め込んで伝送する構成となっている。この図１５において、図２と対応する部分には同一符号を付し、その詳細説明は省略する。
【００６６】
この送信データ生成部１１０Ｂにおいて、視差ベクトル検出１１４で検出された画像内の所定位置における視差ベクトルは、サブタイトル・グラフィクスエンコーダ１１９内のストリームフォーマッタ１１９ａに供給される。この場合、視差検出ブロックのＩＤ、視差検出ブロックの垂直位置情報、視差検出ブロックの水平位置情報、視差ベクトルが１セットとして渡される。ストリームフォーマッタ１１９ａでは、サブタイトルあるいはグラフィクスのデータストリームに、視差ベクトルの伝送内容（図８参照）が埋め込まれる。
【００６７】
詳細説明は省略するが、この図１５に示す送信データ生成部１１０Ｂのその他は、図２に示す送信データ生成部１１０と同様に構成され、同様に動作する。
【００６８】
図１６は、図１５に示す送信データ生成部１１０Ｂにおいて多重化される、画像データストリームと、サブタイトルあるいはグラフィクスのデータストリームと、テキストデータストリームの一例を示している。視差ベクトル（視差情報）は、サブタイトルあるいはグラフィクスのデータストリームに埋め込まれて伝送される。
【００６９】
「送信データ生成部の他の構成例」
また、上述の図２、図１３、図１５に示す送信データ生成部１１０，１１０Ａ，１１０Ｂは、視差ベクトルを数値情報として送信する（図８参照）。しかし、視差ベクトルを数値情報として伝送する代わりに、画像に重畳するための重畳情報（例えば、サブタイトル情報、グラフィクス情報、テキスト情報等）のデータに送信側で視差情報を予め反映させて送信することも考えられる。
【００７０】
例えば、グラフィクス情報のデータに反映させる場合、送信側で、左眼画像に重畳すべき左眼グラフィクス情報と右眼画像に重畳すべき右眼グラフィクス情報の双方に対応したグラフィクスデータが生成される。この場合、左眼グラフィクス情報および右眼グラフィクス情報は同一のグラフィクス情報である。しかし、画像内の表示位置が、例えば、左眼グラフィクス情報に対して、右眼グラフィクス情報は、その表示位置に対応した視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。
【００７１】
例えば、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトルのうち、その重畳位置に対応したものが使用される。また、例えば、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトルのうち、遠近感でいうところの最も近く認識される位置の視差ベクトルが使用される。なお、詳細説明は省略するが、サブタイトル情報やグラフィクス情報のデータに視差情報を反映させる場合も同様である。
【００７２】
図１７（ａ）は、伝送方式が上述の第１の伝送方式（「Top & Bottom」方式）である場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示している。これら左眼グラフィクス情報および右眼グラフィクス情報は同一の情報である。ただし、左眼画像ＩＬ上に重畳される左眼グラフィクス情報ＬＧＩに対して、右眼画像ＩＲ上に重畳される右眼グラフィクス情報ＲＧＩは、視差ベクトルの水平方向成分ＶＶTだけ水平方向にずれた位置とされている。
【００７３】
各画像ＩＬ，ＩＲに対して、図１７（ａ）に示すように、各グラフィクス情報ＬＧＩ，ＲＧＩが重畳されるように、グラフィクスデータが生成される。これにより、視聴者は、図１７（ｂ）に示すように、各画像ＩＬ，ＩＲと共に、各グラフィクス情報ＬＧＩ，ＲＧＩを、視差をもって観察でき、グラフィクス情報にも、遠近感を認知可能となる。
【００７４】
例えば、各グラフィクス情報ＬＧＩ，ＲＧＩのグラフィクスデータは、図１８（ａ）に示すように、単一領域のデータとして生成される。この場合、各グラフィクス情報ＬＧＩ，ＲＧＩ以外の部分のデータは、透明データとして生成されればよい。また、例えば、各グラフィクス情報ＬＧＩ，ＲＧＩのグラフィクスデータは、図１８（ｂ）に示すように、別領域のデータとして生成される。
【００７５】
図１９（ａ）は、伝送方式が上述の第２の伝送方式（「Side By Side」方式）である場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示している。これら左眼グラフィクス情報および右眼グラフィクス情報は同一の情報である。ただし、左眼画像ＩＬ上に重畳される左眼グラフィクス情報ＬＧＩに対して、右眼画像ＩＲ上に重畳される右眼グラフィクス情報ＲＧＩは、視差ベクトルの水平方向成分ＶＶTだけ水平方向にずれた位置とされている。なお、ＩTは、アイドリングオフセット値である。
【００７６】
各画像ＩＬ，ＩＲに対して、図１９（ａ）に示すように、各グラフィクス情報ＬＧＩ，ＲＧＩが重畳されるように、グラフィクスデータが生成される。これにより、視聴者は、図１９（ｂ）に示すように、各画像ＩＬ，ＩＲと共に、各グラフィクス情報ＬＧＩ，ＲＧＩを、視差をもって観察でき、グラフィクス情報にも、遠近感を認知可能となる。
【００７７】
例えば、各グラフィクス情報ＬＧＩ，ＲＧＩのグラフィクスデータは、図２０に示すように、単一領域のデータとして生成される。この場合、各グラフィクス情報ＬＧＩ，ＲＧＩ以外の部分のデータは、透明データとして生成されればよい。
【００７８】
図２１は、送信データ生成部１１０Ｃの構成例を示している。この送信データ生成部１１０Ｃは、クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報等の重畳情報のデータに視差情報を反映させて送信する構成となっている。この図２１において、図２と対応する部分には同一符号を付し、その詳細説明は省略する。
【００７９】
この送信データ生成部１１０Ｃでは、サブタイトル・グラフィクス発生部１１８とサブタイトル・グラフィクスエンコーダ１１９との間に、サブタイトル・グラフィクス処理部１２４が挿入されている。また、この送信データ生成部１１０Ｃでは、テキスト発生部１２０とテキストエンコーダ１２１との間に、テキスト処理部１２５が挿入されている。そして、視差ベクトル検出部１１４で検出された画像内の所定位置における視差ベクトルは、サブタイトル・グラフィクス処理部１２４およびテキスト処理部１２５に供給される。
【００８０】
サブタイトル・グラフィクス処理部１２４では、左眼画像ＩＬ、右眼画像ＩＲに重畳される、左眼、右眼のサブタイトルやグラフィクスの情報ＬＧＩ，ＲＧＩのデータが生成される。この場合、サブタイトル・グラフィクス発生部１１８で発生されるサブタイトルデータやグラフィクスデータに基づいて発生される。左眼および右眼のサブタイトル情報やグラフィクス情報は同一の情報である。しかし、画像内の重畳位置が、例えば、左眼のサブタイトル情報やグラフィクス情報に対して、右眼のサブタイトル情報やグラフィクス情報は、視差ベクトルの水平方向成分ＶＶTだけ、水平方向にずれるようにされる（図１７（ａ）、図１９（ａ）参照）。
【００８１】
このようにサブタイトル・グラフィクス処理部１２４で生成されたサブタイトルデータやグラフィクスデータは、サブタイトル・グラフィクスエンコーダ１１９に供給される。なお、このサブタイトルデータやグラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。サブタイトル・グラフィクスエンコーダ１１９では、サブタイトル・グラフィクス処理部１２４で生成されたサブタイトルデータやグラフィクスデータのエレメンタリーストリームが生成される。
【００８２】
また、テキスト処理部１２５では、テキスト発生部１２０で発生されるテキストデータに基づいて、左眼画像上に重畳される左眼テキスト情報のデータおよび右眼画像上に重畳される右眼テキスト情報のデータが生成される。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報であるが、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分ＶＶTだけ、水平方向にずれるようにされる。
【００８３】
このようにテキスト処理部１２５で生成されたテキストデータは、テキストエンコーダ１２１に供給される。なお、このテキストデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。テキストエンコーダ１２１では、テキスト処理部で生成されたテキストスデータのエレメンタリーストリームが生成される。
【００８４】
詳細説明は省略するが、この図２１に示す送信データ生成部１１０Ｃのその他は、図２に示す送信データ生成部１１０と同様に構成されている。
【００８５】
「送信データ生成部の他の構成例」
図２、図１３、図１５に示す送信データ生成部１１０，１１０Ａ，１１０Ｂにおいて、視差ベクトル検出部１１４では、左眼画像データおよび右眼画像データに基づき、画像内の所定位置における視差ベクトル（視差情報）が検出される。送信データ生成部１１０，１１０Ａ，１１０Ｂでは、視差ベクトル検出部１１４で検出された画像内の所定位置における視差情報をそのまま受信側に送信する構成となっている。
【００８６】
しかし、例えば、視差ベクトル検出部１１４でピクセル毎（画素毎）の視差ベクトルを検出し、それにダウンサイジング処理を施し、画像領域を階層的に分割して得られた各階層の各領域の視差ベクトルを求めることが考えられる。そして、受信側が要求する視差ベクトルの空間密度、あるいは伝送帯域などに基づいて選択された階層の各領域の視差ベクトルを階層順に配置した視差情報セットを作成し、この視差情報セットを受信側に送信することが考えられる。
【００８７】
また、データ記録媒体に、送信すべき左眼画像データおよび右眼画像データと共に、ピクセル（画素）毎の視差ベクトル（視差情報）が記録されている場合がある。その場合に、それにダウンサイジング処理を施し、画像領域を階層的に分割して得られた各階層の各領域の視差ベクトルを求めることが考えられる。そして、受信側が要求する視差ベクトルの空間密度、あるいは伝送帯域などに基づいて選択された階層の各領域の視差ベクトルをデータ記録媒体から読み出して階層順に配置した視差情報セットを作成し、この視差情報セットを受信側に送信することが考えられる。
【００８８】
図２２は、送信データ生成部１１０Ｄの構成例を示している。この送信データ生成部１１０Ｄは、選択された階層の各領域の視差ベクトルを階層順に配置した視差情報セットを作成し、この視差情報セットを受信側に送信する構成となっている。この図２２において、図２と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
【００８９】
この送信データ生成部１１０Ｄは、カメラ１１１Ｌ，１１１Ｒと、ビデオフレーミング部１１２と、ビデオエンコーダ１１３と、視差ベクトル検出部１１４と、視差ベクトルエンコーダ１１５を有している。また、この送信データ生成部１１０Ｄは、マイクロホン１１６と、オーディオエンコーダ１１７と、サブタイトル・グラフィクス発生部１１８と、サブタイトル・グラフィクスエンコーダ１１９と、テキスト発生部１２０と、テキストエンコーダ１２１と、マルチプレクサ１２２を有している。また、この送信データ生成部１１０Ｄは、データ取り出し部１３０と、切換スイッチ１３１〜１３３、視差情報セット作成部１３４を有している。
【００９０】
データ取り出し部１３０には、データ記録媒体１３０ａが、例えば、着脱自在に装着される。このデータ記録媒体１３０ａには、左眼画像データおよび右眼画像データを含む立体画像データと共に、音声データ、重畳情報のデータ、視差ベクトルが対応付けて記録されている。データ取り出し部１３０は、データ記録媒体１３０ａから、立体画像データ、音声データ、重畳情報のデータ、視差ベクトル等を取り出して出力する。
【００９１】
ここで、データ記録媒体１３０ａに記録されている立体画像データは、ビデオフレーミング部１１２で得られる立体画像データに相当するものである。また、データ記録媒体１３０ａに記録されている重畳情報のデータは、サブタイトルデータ、グラフィクスデータ、テキストデータ等である。また、データ記録媒体１３０ａに記録されている視差ベクトルは、例えば、最下層に位置するピクセル（画素）毎の視差ベクトルである。
【００９２】
視差ベクトル検出部１１４は、左眼画像データおよび右眼画像データに基づき、例えば、最下層に位置するピクセル毎（画素毎）の視差ベクトルを検出する。切換スイッチ１３１は、ライブモードではビデオフレーミング部１１２で得られた立体画像データを取り出し、再生モードではデータ取り出し部１３０から出力された立体画像データを取り出し、ビデオエンコーダ１１３に供給する。
【００９３】
切換スイッチ１３２は、ライブモードでは視差ベクトル検出部１１４で得られた視差ベクトルを取り出し、再生モードではデータ取り出し部１３０から出力された視差ベクトルを取り出し、視差情報セット作成部１３４に供給する。切換スイッチ１３３は、ライブモードではマイクロホン１１６で得られた音声データを取り出し、再生モードではデータ取り出し部１３０から出力された音声データを取り出し、オーディオエンコーダ１１７に供給する。
【００９４】
視差情報セット作成部１３４は、切換スイッチ１３２で取り出された視差ベクトル、すなわち最下層に位置するピクセル（画素）毎の視差ベクトルにダウンサイジング処理を施し、画像（ピクチャ）領域を階層的に分割して得られた各階層の各領域の視差情報を求める。
【００９５】
図２３は、各ピクセル（画素）の輝度値のようにして与えられる相対的な深さ方向のデータの例を示している。ここで、相対的な深さ方向のデータは所定の変換により画素ごとの視差ベクトルとして扱うことが可能となる。この例において、人物部分の輝度値は高くなっている。これは、人物部分の視差ベクトルの値が大きいことを意味し、従って、立体画像表示では、この人物部分が浮き出た状態に知覚されることを意味している。また、この例において、背景部分の輝度値は低くなっている。これは、背景部分の視差ベクトルの値が小さいことを意味し、従って、立体画像表示では、この背景部分が沈んだ状態に知覚されることを意味している。
【００９６】
図２４は、ブロック（Block）毎の視差ベクトルの一例を示している。ブロックは、最下層に位置するピクセル（画素）の上位層に当たる。このブロックは、画像（ピクチャ）領域が、水平方向および垂直方向に所定の大きさで分割されることで構成される。各ブロックの視差ベクトルは、例えば、そのブロック内に存在する全ピクセル（画素）の視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。この例においては、各ブロックの視差ベクトルを矢印で示しており、矢印の長さが視差ベクトルの大きさに対応している。
【００９７】
図２５は、視差情報セット作成部１３４で行われるダウンサイジング処理の一例を示している。まず、視差情報セット作成部１３４は、図２５（ａ）に示すように、ピクセル（画素）毎の視差ベクトルを用いて、ブロック毎の視差ベクトルを求める。上述したように、ブロックは、最下層に位置するピクセル（画素）の上位層に当たり、画像（ピクチャ）領域が水平方向および垂直方向に所定の大きさで分割されることで構成される。そして、各ブロックの視差ベクトルは、例えば、そのブロック内に存在する全ピクセル（画素）の視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。
【００９８】
次に、視差情報セット作成部１３４は、図２５（ｂ）に示すように、ブロック毎の視差ベクトルを用いて、グループ（Group Of Block）毎の視差ベクトルを求める。グループは、ブロックの上位層に当たり、複数個の近接するブロックをまとめてグループ化することで得られる。図２５（ｂ）の例では、各グループは、破線枠で括られる４個のブロックにより構成されている。そして、各グループの視差ベクトルは、例えば、そのグループ内の全ブロックの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。
【００９９】
次に、視差情報セット作成部１３４は、図２５（ｃ）に示すように、グループ毎の視差ベクトルを用いて、リージョン（Region）毎の視差ベクトルを求める。リージョンは、グループの上位層に当たり、複数個の近接するグループをまとめてグループ化することで得られる。図２５（ｃ）の例では、各リージョンは、破線枠で括られる２個のグループにより構成されている。そして、各リージョンの視差ベクトルは、例えば、そのリージョン内の全グループの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。
【０１００】
次に、視差情報セット作成部１３４は、図２５（ｄ）に示すように、リージョン毎の視差ベクトルを用いて、最上位層に位置するピクチャ全体（画像全体）の視差ベクトルを求める。図２５（ｄ）の例では、ピクチャ全体には、破線枠で括られる４個のリージョンが含まれている。そして、ピクチャ全体の視差ベクトルは、例えば、ピクチャ全体に含まれる全リージョンの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。この場合、ピクチャ全体の視差ベクトルの他に、その視差ベクトルが得られた元々のピクセル（画素）の位置（「＋」で図示）の情報を求めて、視差ベクトルの付加情報とすることもできる。これは、上述したブロック、グループ、リージョンの視差ベクトルを求める際も同様である。
【０１０１】
このようにして、視差情報セット作成部１３４は、最下層に位置するピクセル（画素）毎の視差ベクトルにダウンサイジング処理を施して、ブロック、グループ、リージョン、ピクチャ全体の各階層の各領域の視差ベクトルを求めることができる。なお、図２５に示すダウンサイジング処理の一例では、最終的に、ピクセル（画素）の階層の他、ブロック、グループ、リージョン、ピクチャ全体の４階層の視差ベクトルを求めているが、階層数ならびに各階層の領域の切り方や領域の数はこれに限定されるものではない。
【０１０２】
また、視差情報セット作成部１３４は、受信側が要求する視差ベクトルの空間密度、あるいは伝送帯域などに基づいて選択された階層の各領域の視差ベクトルを階層順に配置した視差情報セットを作成する。
【０１０３】
視差情報セット作成部１３４では、上述のダウンサイジング処理により、例えば、ピクチャ全体、リージョン、グループ、ブロック、ピクセル（画素）の各階層の各領域の視差ベクトルが取得される。視差情報セット作成部１３４は、各階層の各領域の視差ベクトルを管理する。図２６に示すように、各階層の各領域の視差ベクトルには、ブロックＩＤ（Block ID）が付加されている。このブロック ＩＤは、対象の視差ベクトルが属する最下層の位置情報を示すものであり、上位層から見た際にも視差と位置を的確に検知することを可能とするものである。図２６は、図面の簡単のために、ピクチャ全体（ＤＰall）および各リージョン（ＤＰ0〜ＤＰ3）の視差ベクトル部分だけを示している。
【０１０４】
図２６において、ピクチャ全体（ＤＰall）の視差ベクトル（DP_value0）は、ブロックＩＤ（ＩＤ0）で示される最下層の位置に属する視差ベクトルであることが分かる。また、図２６において、各リージョン（ＤＰ0〜ＤＰ3）の視差ベクトル（DP_value1〜DP_value4）は、それぞれ、ブロックＩＤ（ＩＤ1〜ＩＤ４）で示される最下層の位置に属する視差ベクトルであることが分かる。
【０１０５】
なお、ブロック ＩＤの代わりに、あるいはブロックＩＤと共に、位置そのものを示す情報を用いることができる。この情報は、例えば、画面左上から各領域の左上までのオフセット値であり、画素単位で表される。また、ピクセル（画素）毎の視差ベクトルに関しては、スキャン順（映像画素順）に配置しておくことで位置情報の付加を省略できる。
【０１０６】
視差情報セット作成部１３４は、例えば、送信階層として最上位階層であるピクチャ全体の階層のみを選択する場合、図２６に矢印ａで範囲を示すように、その視差ベクトル（DP_value0）を含む視差情報セットを作成する。また、視差情報セット作成部１３４は、例えば、送信階層としてピクチャ全体およびリージョンの階層を選択する場合、図２６に矢印ｂで範囲を示すように、その視差ベクトル（DP_value0，DP_value1〜DP_value4）を含む視差情報セットを作成する。
【０１０７】
以下、同様に、視差情報セット作成部１３４は、送信階層として選択された各階層の各領域の視差ベクトルを含む視差情報セットを作成する。なお、送信階層として、必ずしも、ピクチャ全体の階層が含まれる必要はなく、リージョン階層以下、あるいはいグループ階層以下などが選択されてもよい。また、リージョン等の各階層の各領域の構成そのものに関しても、各階層のピクチャ全体の切り方や領域数などに自由度をもたせることが可能であることは言うまでもない。
【０１０８】
視差情報セット作成部１３４では、視差情報セットに、送信階層として選択された各階層の各領域の視差ベクトルを、階層順、例えば上位階層から順に配置する。図２７は、視差情報セットの内容の一例を示している。
【０１０９】
この視差情報セットには、Ｎ個の視差ベクトルの情報セットが含まれている。各情報セットは、１６ビットのブロックＩＤ（ID_Block(i)）と、１６ビットの垂直位置情報（Vertical_Position）と、１６ビットの水平位置情報（Horizontal_Position）と、１６ビットの水平方向の視差ベクトル（Disparity_Vector_Horizontal）により構成されている。
【０１１０】
なお、受信側において、ブロック ＩＤ（ID_Block(i)）のみで視差ベクトルが属する最下層の位置が分かる場合には、位置情報（Vertical_Position，Horizontal_Position）を不要とできる。また、ピクセル（画素）毎の視差ベクトルを送信する場合にあってスキャン順（映像画素順）に配置する場合には、ブロックＩＤおよび位置情報のいずれも不要とできる。
【０１１１】
ビデオエンコーダ１１３は、切換スイッチ１３１から供給された立体画像データに対して、ＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化を施して符号化ビデオデータを得る。また、ビデオエンコーダ１１３は、ペイロード部に符号化ビデオデータを含むビデオのエレメンタリーストリームを生成する。視差ベクトルエンコーダ１１５は、視差情報セット作成部１３４で作成された視差情報セットを含む視差ベクトルのエレメンタリーストリームを生成する。また、オーディオエンコーダ１１７は、切換スイッチ１３３から供給された音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化を施し、オーディオのエレメンタリーストリームを生成する。
【０１１２】
詳細説明は省略するが、この図２２に示す送信データ生成部１１０Ｄのその他は、図２に示す送信データ生成部１１０と同様に構成されている。
【０１１３】
図２２に示す送信データ生成部１１０Ｄの動作を簡単に説明する。最初にライブモードの動作を説明する。このライブモードでは、切換スイッチ１３１〜１３３は、いずれも、ａ側に接続されている。
【０１１４】
ビデオフレーミング部１１２で得られた立体画像データは、切換スイッチ１３１を介して、ビデオエンコーダ１１３に供給される。このビデオエンコーダ１１３では、その立体画像データに対してＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化が施され、符号化ビデオデータを含むビデオエレメンタリーストリームが生成される。このビデオエレメンタリーストリームはマルチプレクサ１２２に供給される。
【０１１５】
また、カメラ１１１Ｌ，１１１Ｒで得られた左眼画像データ、右眼画像データは、ビデオフレーミング部１１２を通じて、視差ベクトル検出部１１４に供給される。この視差ベクトル検出部１１４では、左眼画像データおよび右眼画像データに基づき、例えば、最下層に位置するピクセル毎（画素毎）の視差ベクトルが検出される。この視差ベクトルは、切換スイッチ１３２を介して、視差情報セット作成部１３４に供給される。
【０１１６】
視差情報セット作成部１３４では、視差ベクトル、すなわち最下層に位置するピクセル（画素）毎の視差ベクトルにダウンサイジング処理が施され、画像領域を階層的に分割して得られた各階層の各領域の視差情報が求められる。例えば、視差情報セット作成部１３４では、最下層に位置するピクセル（画素）毎の視差ベクトルにダウンサイジング処理が施されて、ブロック、グループ、リージョン、ピクチャ全体の各階層の各領域の視差ベクトルが求められる。
【０１１７】
また、視差情報セット作成部１３４では、さらに、視差情報セット作成部１３４では、受信側が要求する視差ベクトルの空間密度、あるいは伝送帯域などに基づいて選択された階層の各領域の視差ベクトルを階層順に配置した視差情報セットが作成される（図２７参照）。この視差情報セットは、視差ベクトルエンコーダ１１５に供給される。視差ベクトルエンコーダ１１５では、視差情報セットを含む視差ベクトルエレメンタリーストリームが生成される。この視差ベクトルエレメンタリーストリームはマルチプレクサ１２２に供給される。
【０１１８】
また、マイクロホン１１６で得られた音声データは、切換スイッチ１３３を介して、オーディオエンコーダ１１７に供給される。このオーディオエンコーダ１１７では、音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化が施され、符号化オーディオデータを含むオーディオエレメンタリーストリームが生成される。このオーディオエレメンタリーストリームはマルチプレクサ１２２に供給される。
【０１１９】
また、マルチプレクサ１２２には、サブタイトル・グラフィクスエンコーダ１１９から、サブタイトルデータあるいはグラフィクスデータの符号化データを含むエレメンタリーストリームが供給される。さらに、このマルチプレクサ１２２には、テキストエンコーダ１２１から、テキストデータの符号化データを含むエレメンタリーストリームが供給される。そして、マルチプレクサ１２２では、各エンコーダから供給されるエレメンタリーストリームのパケットが多重化され、伝送データとしてのビットストリームデータ（トランスポートストリーム）ＢＳＤが得られる。
【０１２０】
次に、再生モードの動作を説明する。この再生モードでは、切換スイッチ１３１〜１３３は、いずれも、ｂ側に接続されている。データ取り出し部１３０で得られた立体画像データが、切換スイッチ１３１を介して、ビデオエンコーダ１１３に供給される。また、データ取り出し部１３０で得られた視差ベクトル、すなわち最下層に位置するピクセル（画素）毎の視差ベクトルが、切換スイッチ１３２を介して、視差情報セット作成部１３４に供給される。また、データ取り出し部１３０で得られた音声データが、切換スイッチ１３３を介して、オーディオエンコーダ１１７に供給される。
【０１２１】
詳細説明は省略するが、この再生モードにおいて、その他の動作は、上述したライブモードと同様である。
【０１２２】
図２２に示す送信データ生成部１１０Ｄにおいては、上述したように、視差情報セット作成部１３４で作成される視差情報セットには、画像（ピクチャ）領域を階層的に分割して得られた各階層のうち、選択された階層の各領域の視差ベクトル（視差情報）が、階層順に配置されている。そのため、受信側においては、この視差情報セットから重畳情報の重畳位置に対応した視差ベクトルを容易に取り出して用いることができる。すなわち、受信側において、重畳情報の重畳位置に対応した視差ベクトルを得るための計算などが不要となり、簡単な構成とすることができる。
【０１２３】
なお、図２２に示す送信データ生成部１１０Ｄの上述の説明では、視差情報セット作成部１３４で、最下位層のピクセル（画素）毎の視差ベクトルにダウンサイジング処理を施して各階層の各領域の視差ベクトルを求める旨、説明した。しかし、各階層の各領域の視差ベクトルが視差ベクトル検出部１１４で検出あるいは求められ、視差情報セット作成部１３４ではそれを利用するようにしてもよい。あるいは、データ記録媒体１３０ａに各階層の各領域の視差ベクトルが記録されており、視差情報セット作成部１３４ではそれを利用するようにしてもよい。
【０１２４】
また、図２２に示す送信データ生成部１１０Ｄの上述の説明では、視差情報セット作成部１３４で、最下位層のピクセル（画素）毎の視差ベクトルにダウンサイジング処理が施して各階層の各領域の視差ベクトルを求める旨、説明した。しかし、視差情報セット作成部１３４では、送信階層として選択された各階層の各領域の視差ベクトルのみを求めることで足りる。
【０１２５】
また、図２２に示す送信データ生成部１１０Ｄは、視差情報セットを含む視差ベクトルエレメンタリーストリームを、マルチプレクサ１２２で他のストリームと多重化する構成となっている。すなわち、この図２２に示す送信データ生成部１１０Ｄは、図２に示す送信データ生成部１１０に対応した構成となっている。しかし、図１３、図１５に示す送信データ生成部１１０Ａ，１１０Ｂと同様に、画像データストリーム等の他のストリームに視差情報セットを挿入して受信側に送る構成とすることもできる。
【０１２６】
［セットトップボックスの説明］
図１に戻って、セットトップボックス２００は、放送局１００から放送波にのせて送信されてくるビットストリームデータ（トランスポートストリーム）を受信する。このビットストリームデータには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データ、重畳情報データ、さらには視差情報（視差ベクトル）が含まれる。ここで、重畳情報データは、例えば、サブタイトルデータ、グラフィクスデータ、テキストデータ（クローズド・キャプションデータを含む）等である。
【０１２７】
セットトップボックス２００は、ビットストリーム処理部２０１を有している。このビットストリーム処理部２０１は、ビットストリームデータから、立体画像データ、音声データ、重畳情報データ、視差ベクトル等を抽出する。このビットストリーム処理部２０１は、立体画像データ、重畳情報データ（サブタイトルデータ、グラフィクスデータ、テキストデータ）等を用いて、重畳情報が重畳された左眼画像および右眼画像のデータを生成する。
【０１２８】
ここで、視差ベクトルが数値情報として送信されてくる場合には、視差ベクトルと重畳情報データに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼重畳情報、右眼重畳情報を生成する。この場合、左眼重畳情報および右眼重畳情報は同一の重畳情報である。しかし、画像内の重畳位置が、例えば、左眼重畳情報に対して、右眼重畳グ情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。
【０１２９】
図２８（ａ）は、伝送方式が上述の第２の伝送方式（「Side By Side」方式）である場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示している。左眼画像ＩＬ上に重畳される左眼グラフィクス情報ＬＧＩに対して、右眼画像ＩＲ上に重畳される右眼グラフィクス情報ＲＧＩは、視差ベクトルの水平方向成分ＶＶTだけ水平方向にずれた位置とされている。なお、ＩTは、アイドリングオフセット値である。
【０１３０】
ビットストリーム処理部２０１では、各画像ＩＬ，ＩＲに対して各グラフィクス情報ＬＧＩ，ＲＧＩが図２８（ａ）に示すように重畳されるように、グラフィクスデータが生成される。ビットストリーム処理部２０１は、ビットストリームデータから抽出された立体画像データ（左眼画像データ、右眼画像データ）に対して、生成された左眼グラフィクスデータ、右眼グラフィクスデータを合成して、処理後の立体画像データを取得する。この立体画像データによれば、視聴者は、図２８（ｂ）に示すように、各画像ＩＬ，ＩＲと共に、各グラフィクス情報ＬＧＩ，ＲＧＩを、視差をもって観察でき、グラフィクス情報にも、遠近感を認知可能となる。
【０１３１】
なお、図２９（ａ）は、各画像ＩＬ，ＩＲに対して、ビットストリームデータから抽出されたグラフィクスデータによるグラフィクス画像をそのまま重畳した状態を示している。この場合、視聴者は、図２９（ｂ）に示すように、左眼画像ＩＬと共にグラフィクス情報の左半分、右眼画像ＩＲと共にグラフィクス情報の右半分を観察する。そのため、グラフィクス情報を正しく認識できなくなる。
【０１３２】
図２８は、グラフィクス情報の場合を示したが、その他の重畳情報（クローズド・キャプション情報、サブタイトル情報、テキスト情報など）に関しても同様である。すなわち、視差ベクトルが数値情報として送信されてくる場合には、視差ベクトルと重畳情報データデータに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼重畳情報、右眼重畳情報を生成する。この場合、左眼重畳情報および右眼重畳情報は同一の重畳情報である。しかし、画像内の重畳位置が、例えば、左眼重畳情報に対して、右眼重畳情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。
【０１３３】
ここで、左眼重畳情報と右眼重畳情報との間に視差を与える視差ベクトルとしては、以下の視差ベクトルを用いることが考えられる。例えば、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトルのうち、遠近感でいうところの最も近く認識される位置の視差ベクトルを使用することが考えられる。図３０（ａ），（ｂ），（ｃ），（ｄ）は、それぞれ時刻Ｔ０，Ｔ１，Ｔ２，Ｔ３における３つのオブジェクト位置の視差ベクトル（View Vector）を示している。
【０１３４】
時刻Ｔ０では、オブジェクト１に対応した位置（Ｈ０，Ｖ０）における視差ベクトルＶＶ０-1が最大の視差ベクトルＭａｘＶＶ（Ｔ０）となっている。時刻Ｔ１では、オブジェクト１に対応した位置（Ｈ１，Ｖ１）における視差ベクトルＶＶ１-1が最大の視差ベクトルＭａｘＶＶ（Ｔ１）となっている。時刻Ｔ２では、オブジェクト２に対応した位置（Ｈ２，Ｖ２）における視差ベクトルＶＶ２-2が最大の視差ベクトルＭａｘＶＶ（Ｔ２）となっている。時刻Ｔ３では、オブジェクト１に対応した位置（Ｈ３，Ｖ３）における視差ベクトルＶＶ３-0が最大の視差ベクトルＭａｘＶＶ（Ｔ３）となっている。
【０１３５】
このように、視差ベクトルとして、画像内の複数位置で検出された視差ベクトルのうち、遠近感でいうところの最も近く認識される位置の視差ベクトルを使用することで、遠近感でいうところの最も近い画像内の物体よりも手前に、重畳情報を表示できる。
【０１３６】
図３１（ａ）は、画像上における字幕（例えば、クローズド・キャプション情報、サブタイトル情報）の表示例を示している。この表示例では、背景と近景オブジェクトとからなる画像上に、字幕が重畳された例である。図３１（ｂ）は、背景、近景オブジェクト、字幕の遠近感を示し、字幕が最も近くにあるように認識されることを示している。
【０１３７】
図３２（ａ）は、図３１（ａ）と同じ、画像上における字幕（例えば、クローズド・キャプション情報、サブタイトル情報）の表示例を示している。図３２（ｂ）は、字幕を表示するための左眼サブタイトル情報ＬＧＩと、右眼サブタイトル情報ＲＧＩを示している。図３２（ｃ）は、字幕が最も近くにあるように認識されるために、各サブタイトル情報ＬＧＩ，ＲＧＩに視差が与えられることを示している。
【０１３８】
また、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトル（視差情報セットに含まれる各階層の各領域の視差ベクトルを含む）のうち、その重畳位置に対応したものを使用することが考えられる。図３３（ａ）は、ビットストリームデータから抽出されるグラフィックデータによるグラフィック情報と、ビットストリームデータから抽出されるテキストデータによるテキスト情報を示している。
【０１３９】
図３３（ｂ）は、左眼画像に、左眼グラフィクス情報ＬＧＩおよび左眼テキスト情報ＬＴＩが重畳された状態を示している。この場合、左眼グラフィクス情報ＬＧＩは、その重畳位置が水平方向にはアイドリングオフセット値（ＩＴ-0）で規制されている。また、左眼テキスト情報ＬＴＩは、その重畳位置が水平方向にはアイドリングオフセット値（ＩＴ-1）で規制されている。
【０１４０】
図３３（ｃ）は、右眼画像に、右眼グラフィクス情報ＲＧＩおよび右眼テキスト情報ＲＴＩが重畳された状態を示している。この場合、右眼グラフィクス情報ＲＧＩは、その重畳位置が水平方向にはアイドリングオフセット値（ＩＴ-0）で規制され、さらにこの重畳位置に対応した視差ベクトルの水平方向成分ＶＶT-0だけ、左眼グラフィクス情報ＬＧＩの重畳位置よりずらされている。また、右眼テキスト情報ＲＴＩは、その重畳位置が水平方向にはアイドリングオフセット値（ＩＴ-1）で規制され、さらにこの重畳位置に対応した視差ベクトルの水平方向成分ＶＶT-1だけ、左眼テキスト情報ＬＴＩの重畳位置よりずらされている。
【０１４１】
上述では、左眼画像および右眼画像に、ビットストリームデータから抽出されたグラフィクスデータによるグラフィクス情報、あるいはビットストリームデータから抽出されたテキストデータによるテキスト情報を重畳する場合を説明した。この他に、セットトップボックス２００内でグラフィクスデータあるいはテキストデータが発生され、それらによる情報を、左眼画像および右眼画像に、重畳する場合も考えられる。
【０１４２】
その場合にあっても、ビットストリームデータから抽出された画像内の所定位置の視差ベクトルを利用して、左眼グラフィクス情報と右眼グラフィクス情報との間、あるいは左眼テキスト情報と右眼テキスト情報との間に、視差を持たせることができる。これにより、グラフィクス情報、テキスト情報の表示において、画像内の各物体（オブジェクト）の遠近感との間で遠近感の整合性の維持を図った適切な遠近感を付与できる。
【０１４３】
図３４（ａ）は、画像内にＡ，Ｂ，Ｃの各オブジェクトが存在し、例えば、これら各オブジェクトの近傍位置に、各オブジェクトの注釈を示すテキスト情報を重畳することを示している。図３４（ｂ）は、Ａ，Ｂ，Ｃの各オブジェクトの位置と、その位置における視差ベクトルの対応を示す視差ベクトルリストと、それぞれの視差ベクトルを、Ａ，Ｂ，Ｃの各オブジェクの注釈を示すテキスト情報に視差を与える場合に利用することを示している。例えば、Ａのオブジェクトの近傍には「Ｔｅｘｔ」のテキスト情報が重畳されるが、その左眼テキスト情報と右眼テキスト情報との間には、Ａのオブジェクトの位置（Ｈａ，Ｖａ）における視差ベクトルＶＶ-aに対応した視差が与えられる。なお、Ｂ，Ｃのオブジェクトの近傍に重畳されるテキスト情報に関しても同様である。
【０１４４】
なお、図３３は、重畳情報がグラフィクス情報およびテキスト情報である場合を示している。また、図３４は、重畳情報がテキスト情報である場合を示している。詳細説明は省略するが、その他の重畳情報（クローズド・キャプション情報、サブタイトル情報など）の場合も同様である。
【０１４５】
次に、視差ベクトルが、重畳情報（クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報など）のデータに予め反映されて送信されてくる場合について説明する。この場合、ビットストリームデータから抽出された重畳情報データには、視差ベクトルにより視差が与えられた、左眼重畳情報および右眼重畳情報のデータが含まれている。
【０１４６】
そのため、ビットストリーム処理部２０１は、ビットストリームデータから抽出された立体画像データ（左眼画像データ、右眼画像データ）に対して、ビットストリームデータから抽出された重畳情報データを単に合成して、処理後の立体画像データを取得する。なお、テキストデータ（クローズド・キャプションデータを含む）に関しては、キャラクタコードをビットマップデータに変換する等の処理は必要である。
【０１４７】
［セットトップボックスの構成例］
セットトップボックス２００の構成例を説明する。図３５は、セットトップボックス２００の構成例を示している。このセットトップボックス２００は、ビットストリーム処理部２０１と、ＨＤＭＩ端子２０２と、アンテナ端子２０３と、デジタルチューナ２０４と、映像信号処理回路２０５と、ＨＤＭＩ送信部２０６と、音声信号処理回路２０７を有している。また、このセットトップボックス２００は、ＣＰＵ２１１と、フラッシュＲＯＭ２１２と、ＤＲＡＭ２１３と、内部バス２１４と、リモコン受信部２１５と、リモコン送信機２１６を有している。
【０１４８】
アンテナ端子２０３は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２０４は、アンテナ端子２０３に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）を出力する。
【０１４９】
ビットストリーム処理部２０１は、上述したように、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、重畳情報データ、視差情報（視差ベクトル）等を抽出する。重畳情報データは、サブタイトルデータ、グラフィクスデータ、テキストデータ（クローズド・キャプションデータを含む）等である。このビットストリーム処理部２０１は、上述したように、立体画像データに対し、重畳情報（クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報など）のデータを合成し、表示用立体画像データを取得する。また、ビットストリーム処理部２０１は、音声データを出力する。ビットストリーム処理部２０１の詳細構成は後述する。
【０１５０】
映像信号処理回路２０５は、ビットストリーム処理部２０１から出力された立体画像データに対して必要に応じて画質調整処理などを行い、処理後の立体画像データをＨＤＭＩ送信部２０６に供給する。音声信号処理回路２０７は、ビットストリーム処理部２０１から出力された音声データに対して必要に応じて音質調整処理等を行い、処理後の音声データをＨＤＭＩ送信部２０６に供給する。
【０１５１】
ＨＤＭＩ送信部２０６は、ＨＤＭＩに準拠した通信により、ベースバンドの画像（映像）と音声のデータを、ＨＤＭＩ端子２０２から送出する。この場合、ＨＤＭＩのＴＭＤＳチャネルで送信するため、画像および音声のデータがパッキングされて、ＨＤＭＩ送信部２０６からＨＤＭＩ端子２０２に出力される。このＨＤＭＩ送信部２０６の詳細は後述する。
【０１５２】
ＣＰＵ２１１は、セットトップボックス２００の各部の動作を制御する。フラッシュＲＯＭ２１２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２１３は、ＣＰＵ２１１のワークエリアを構成する。ＣＰＵ２１１は、フラッシュＲＯＭ２１２から読み出したソフトウェアやデータをＤＲＡＭ２１３上に展開してソフトウェアを起動させ、セットトップボックス２００の各部を制御する。
【０１５３】
リモコン受信部２１５は、リモコン送信機２１６から送信されたリモーコントロール信号（リモコンコード）を受信し、ＣＰＵ２１１に供給する。ＣＰＵ２１１は、このリモコンコードに基づいて、セットトップボックス２００の各部を制御する。ＣＰＵ２１１、フラッシュＲＯＭ２１２およびＤＲＡＭ２１３は内部バス２１４に接続されている。
【０１５４】
セットトップボックス２００の動作を簡単に説明する。アンテナ端子２０３に入力されたテレビ放送信号はデジタルチューナ２０４に供給される。このデジタルチューナ２０４では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）が出力される。
【０１５５】
デジタルチューナ２０４から出力されるビットストリームデータは、ビットストリーム処理部２０１に供給される。このビットストリーム処理部２０１では、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、グラフィクスデータ、テキストデータ、視差ベクトル等が抽出される。また、このビットストリーム処理部２０１では、立体画像データに対し、重畳情報（クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報など）のデータが合成され、表示用立体画像データが生成される。
【０１５６】
ビットストリーム処理部２０１で生成される表示用立体画像データは、映像信号処理回路２０５で必要に応じて画質調整処理等が行われた後に、ＨＤＭＩ送信部２０６に供給される。また、ビットストリーム処理部２０１で得られる音声データは、音声信号処理回路２０７で必要に応じて音質調整処理等が行われた後に、ＨＤＭＩ送信部２０６に供給される。ＨＤＭＩ送信部２０６に供給された立体画像データおよび音声データは、ＨＤＭＩのＴＭＤＳチャネルにより、ＨＤＭＩ端子２０２からＨＤＭＩケーブル４００に送出される。
【０１５７】
［ビットストリーム処理部の構成例］
図３６は、ビットストリーム処理部２０１の構成例を示している。このビットストリーム処理部２０１は、上述の図２、図２２に示す送信データ生成部１１０，１１０Ｄに対応させた構成となっている。このビットストリーム処理部２０１は、デマルチプレクサ２２０と、ビデオデコーダ２２１と、サブタイトル・グラフィクスデコーダ２２２と、テキストデコーダ２２３と、オーディオデコーダ２２４と、視差ベクトルデコーダ２２５を有している。また、このビットストリーム処理部２０１は、立体画像用サブタイトル・グラフィクス発生部２２６と、立体画像用テキスト発生部２２７と、ビデオ重畳部２２８と、マルチチャネルスピーカコントロール部２２９を有している。
【０１５８】
デマルチプレクサ２２０は、ビットストリームデータＢＳＤから、ビデオ、オーディオ、視差ベクトル、サブタイトルやグラフィクスおよびテキストのパケットを抽出し、各デコーダに送る。
【０１５９】
ビデオデコーダ２２１は、上述の送信データ生成部１１０のビデオエンコーダ１１３とは逆の処理を行う。すなわち、このビデオデコーダ２２１は、デマルチプレクサ２２０で抽出されたビデオのパケットからビデオのエレメンタリーストリームを再構成し、復号化処理を行って、左眼画像データおよび右眼画像データを含む立体画像データを得る。この立体画像データの伝送方式は、例えば、上述の第１の伝送方式（「Top & Bottom」方式）、第２の伝送方式は（「Side By Side」方式）、第３の伝送方式（「Frame Sequential」方式）などである（図４（ａ）〜（ｃ）参照）。
【０１６０】
サブタイトル・グラフィクスデコーダ２２２は、上述の送信データ生成部１１０のサブタイトル・グラフィクスエンコーダ１１９とは逆の処理を行う。すなわち、このサブタイトル・グラフィクスデコーダ２２２は、デマルチプレクサ２２０で抽出されたサブタイトルやグラフィクスのパケットからサブタイトルやグラフィクスのエレメンタリーストリームを再構成する。そして、このサブタイトル・グラフィクスデコーダ２２２は、さらに復号化処理を行って、サブタイトルデータやグラフィクスデータを得る。
【０１６１】
テキストデコーダ２２３は、上述の送信データ生成部１１０のテキストエンコーダ１２１とは逆の処理を行う。すなわち、このテキストデコーダ２２３は、デマルチプレクサ２２０で抽出されたテキストのパケットからテキストのエレメンタリーストリームを再構成し、復号化処理を行って、テキストデータ（クローズド・キャプションデータを含む）を得る。
【０１６２】
オーディオデコーダ２２４は、上述の送信データ生成部１１０のオーディオエンコーダ１１７とは逆の処理を行う。すなわち、このオーディオデコーダ２２４は、デマルチプレクサ２２０で抽出されたオーディオのパケットからオーディオのエレメンタリーストリームを再構成し、復号化処理を行って、音声データを得る。
【０１６３】
視差ベクトルデコーダ２２５は、上述の送信データ生成部１１０の視差ベクトルエンコーダ１１５とは逆の処理を行う。すなわち、この視差ベクトルデコーダ２２５は、デマルチプレクサ２２０で抽出された視差ベクトルのパケットから視差ベクトルのエレメンタリーストリームを再構成し、復号化処理を行って、画像内の所定位置の視差ベクトルを得る。
【０１６４】
立体画像用サブタイトル・グラフィクス発生部２２６は、左眼画像および右眼画像にそれぞれ重畳する左眼および右眼のサブタイトル情報やグラフィクス情報を生成する。この生成処理は、デコーダ２２２で得られたサブタイトルデータやグラフィクスデータと、デコーダ２２５で得られた視差ベクトルに基づいて行われる。この場合、左眼および左眼のサブタイトル情報やグラフィクス情報は同一の情報である。しかし、画像内の重畳位置が、例えば、左眼のサブタイトル情報やグラフィクス情報に対して、右眼のブタイトル情報やグラフィクス情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。そして、この立体画像用サブタイトル・グラフィクス発生部２２６は、生成された左眼および左眼のサブタイトル情報やグラフィクス情報のデータ（ビットマップデータ）を出力する。
【０１６５】
立体画像用テキスト発生部２２７は、デコーダ２２３で得られたテキストスデータと、デコーダ２２５で得られた視差ベクトルに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼テキスト情報、右眼テキスト情報を生成する。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報であるが、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。そして、この立体画像用テキスト発生部２２７は、生成された左眼テキスト情報および右眼テキスト情報のデータ（ビットマップデータ）を出力する。
【０１６６】
ビデオ重畳部２２８は、ビデオデコーダ２２１で得られた立体画像データ（左眼画像データ、右眼画像データ）に対して、発生部２２６，２２７で発生されたデータを重畳し、表示用立体画像データＶoutを得る。なお、立体画像データ（左眼画像データ、右眼画像データ）への重畳情報データの重畳はシステムレイヤのタイムスタンプにより開始される。
【０１６７】
マルチチャネルスピーカコントロール部２２９は、オーディオデコーダ２２４で得られる音声データに対して、例えば５．１chサラウンド等を実現するためのマルチチャネルスピーカの音声データを生成する処理、所定の音場特性を付与する処理等を施す。また、このマルチチャネルスピーカコントロール部２２９は、デコーダ２２５で得られた視差ベクトルに基づいて、マルチチャネルスピーカの出力を制御する。
【０１６８】
視差ベクトルの大きさが大きくなる程、立体感が際だつ効果がある。立体の度合いに合わせて、マルチチャネルのスピーカ出力を制御することで、更なる立体体験の提供を実現できる。
【０１６９】
図３７は、視差ベクトルＶＶ１が、テレビディスプレイに向かって、左側のビデオオブジェクトの方が大きい場合のスピーカ出力制御例を示している。この制御例では、マルチチャネルスピーカのRear Leftのスピーカ音量は大きくされ、Front Leftのスピーカ音量は中程度とされ、さらに、Front Right，Rear Rightのスピーカ音量が小さくされる。このように、ビデオコンテンツ（立体画像データ）の視差ベクトルを、音声データ等の他のメディアデータへ受信側で適用することで、視聴者に、立体感を総合的に体感させることが可能になる。
【０１７０】
図３６に示すビットストリーム処理部２０１の動作を簡単に説明する。デジタルチューナ２０４（図３５参照）から出力されるビットストリームデータＢＳＤは、デマルチプレクサ２２０に供給される。このデマルチプレクサ２２０では、ビットストリームデータＢＳＤから、ビデオ、オーディオ、視差ベクトル、サブタイトルやグラフィクス、およびテキストのＴＳパケットが抽出され、各デコーダに供給される。
【０１７１】
ビデオデコーダ２２１では、デマルチプレクサ２２０で抽出されたビデオのパケットからビデオのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、左眼画像データおよび右眼画像データを含む立体画像データが得られる。この立体画像データは、ビデオ重畳部２２８に供給される。また、視差ベクトルデコーダ２２５では、デマルチプレクサ２２０で抽出された視差ベクトルのパケットから視差ベクトルのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、画像内の所定位置の視差ベクトルが得られる（図８、図２７参照）。
【０１７２】
サブタイトル・グラフィクスデコーダ２２２では、デマルチプレクサ２２０で抽出されたサブタイトルやグラフィクスのパケットからサブタイトルやグラフィクスのエレメンタリーストリームが再構成される。サブタイトル・グラフィクスデコーダ２２２では、さらに、サブタイトルやグラフィクスのエレメンタリーストリームに対して復号化処理が行われて、サブタイトルデータやグラフィクスデータが得られる。このサブタイトルデータやグラフィクスデータは、立体画像用サブタイトル・グラフィクス発生部２２６に供給される。この立体画像用サブタイトル・グラフィクス発生部２２６には、視差ベクトルデコーダ２２５で得られた視差ベクトルも供給される。
【０１７３】
この立体画像用サブタイトル・グラフィクス発生部２２６では、左眼画像、右眼画像にそれぞれ重畳する左眼および右眼のサブタイトル情報やグラフィクス情報のデータが生成される。この生成処理は、デコーダ２２２で得られたサブタイトルデータやグラフィクスデータと、デコーダ２２５で得られた視差ベクトルに基づいて行われる。この場合、画像内の重畳位置が、例えば、左眼のサブタイトル情報や左眼グラフィクス情報に対して、右眼のサブタイトル情報やグラフィクス情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。この立体画像用サブタイトル・グラフィクス発生部２２６からは、生成された左眼および右眼のサブタイトル情報やグラフィクス情報のデータ（ビットマップデータ）が出力される。
【０１７４】
また、テキストデコーダ２２３では、デマルチプレクサ２２０で抽出されたテキストのＴＳパケットからテキストのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、テキストデータが得られる。このテキストデータは立体画像用テキスト発生部２２７に供給される。この立体画像用テキスト発生部２２７には、視差ベクトルデコーダ２２５で得られた視差ベクトルも供給される。
【０１７５】
この立体画像用テキスト発生部２２７では、デコーダ２２３で得られたテキストスデータと、デコーダ２２５で得られた視差ベクトルに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼テキスト情報、右眼テキスト情報が生成される。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報であるが、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。この立体画像用テキスト発生部２２７からは、生成された左眼テキスト情報および右眼テキスト情報のデータ（ビットマップデータ）が出力される。
【０１７６】
ビデオ重畳部２２８には、上述したビデオデコーダ２２１からの立体画像データ（左眼画像データ、右眼画像データ）の他に、サブタイトル・グラフィクス発生部２２６およびテキスト発生部２２７から出力されるデータが供給される。このビデオ重畳部２２８では、立体画像データ（左眼画像データ、右眼画像データ）に対して、サブタイトル・グラフィクス発生部２２６およびテキスト発生部２２７で発生されたデータが重畳され、表示用立体画像データＶoutが得られる。この表示用立体画像データＶoutは、映像信号処理回路２０５を介して、ＨＤＭＩ送信部２０６（図３５参照）に、送信画像データとして供給される。
【０１７７】
また、オーディオデコーダ２２４では、デマルチプレクサ２２０で抽出されたオーディオのＴＳパケットからオーディオのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、音声データが得られる。この音声データは、マルチチャネルスピーカコントロール部２２９に供給される。このマルチチャネルスピーカコントロール部２２９では、音声データに対して、例えば５．１chサラウンド等を実現するためのマルチチャネルスピーカの音声データを生成する処理、所定の音場特性を付与する処理等が施される。
【０１７８】
このマルチチャネルスピーカコントロール部２２９には、視差ベクトルデコーダ２２５で得られた視差ベクトルも供給される。そして、このマルチチャネルスピーカコントロール部２２９では、視差ベクトルに基づいて、マルチチャネルスピーカの出力が制御される。このマルチチャネルスピーカコントロール部２２９で得られるマルチチャネル音声データは、音声信号処理回路２０７を介してＨＤＭＩ送信部２０６（図３５参照）に、送信音声データとして供給される。
【０１７９】
［重畳情報への視差の付与］
ここで、図３６に示すビットストリーム処理部２０１の立体画像用サブタイトル・グラフィクス発生部２２６および立体画像用テキスト発生部２２７における重畳情報への視差の付与について、さらに説明する。
【０１８０】
放送局１００（図１参照）からは、例えば、図３８、図３９に示すように、画像データストリームと、サブタイトルあるいはグラフィクスのデータストリームと、テキストデータストリームと共に、視差ベクトル（図８、図２７参照）を含む視差ベクトルストリームが送られてくる。この場合、符号化ビデオのＧＯＰ（Group Of Pictures）、あるいはＩ(Intra picture)ピクチャ、またはシーン等の各一定期間の開始タイミングに合わせて、各一定期間に対応した所定単位毎の視差ベクトルがまとめて送られてくる。所定単位としては、例えば、ピクチャ（フレーム）単位、あるいはピクチャの整数倍の単位等が考えられる。
【０１８１】
例えば、立体画像用サブタイトル・グラフィクス発生部２２６および立体画像用テキスト発生部２２７では、重畳情報の重畳期間において、所定単位毎に、重畳情報に、対応する視差ベクトル（情報情報）による視差が付与される。図３８のサブタイトル（グラフィクス）データストリームおよびテキストデータストリームの部分に付されている矢印は、重畳情報に所定単位毎に視差が付与されるタイミングを表している。このように重畳情報に視差が付与される構成とすることで、重畳情報に付与する視差を、画像内容の変化に連動して動的に変化させることが可能となる。
【０１８２】
また、例えば、立体画像用サブタイトル・グラフィクス発生部２２６および立体画像用テキスト発生部２２７では、重畳情報の重畳期間において、所定単位毎に、重畳情報に、重畳期間分の視差ベクトルから選択された所定の視差ベクトル（視差情報）による視差が付与される。所定の視差ベクトルは、例えば、重畳期間分の視差情報のうち最大の視差を示す視差情報とされる。
【０１８３】
図３９のサブタイトル（グラフィクス）データストリームおよびテキストデータストリームの部分に付されている矢印は、重畳情報に視差が付与されるタイミングを表している。この場合、重畳期間の最初に重畳情報に対して視差が付与され、以降はその視差が付与された重畳情報が、左眼画像および右眼画像に重畳すべき重畳情報として使用される。このように重畳情報に視差が付与される構成とすることで、画像内容の変化によらずに、重畳情報に、例えば、重畳情報の重畳期間中の最大視差を付与することが可能となる。
【０１８４】
「ビットストリーム処理部の他の構成例」
図４０に示すビットストリーム処理部２０１Ａは、上述の図１３に示す送信データ生成部１１０Ａに対応させた構成となっている。この図４０において、図３６と対応する部分には同一符号を付し、その詳細説明は省略する。
【０１８５】
このビットストリーム処理部２０１Ａは、図３６に示すビットストリーム処理部２０１の視差ベクトルデコーダ２２５の代わりに、視差ベクトル取り出し部２３１が設けられる。この視差ベクトル取り出し部２３１は、ビデオデコーダ２２１を通じて得られるビデオのストリームから、そのユーザデータ領域に埋め込まれている視差ベクトルを取り出す。そして、この視差ベクトル取り出し部２３１は、取り出した視差ベクトルを、立体画像用サブタイトル・グラフィクス発生部２２６、立体画像用テキスト発生部２２７およびマルチチャネルスピーカコントロール部２２９に供給する。
【０１８６】
詳細説明は省略するが、この図４０に示すビットストリーム処理部２０１Ａのその他は、図３６に示すビットストリーム処理部２０１と同様に構成され、同様に動作する。
【０１８７】
［重畳情報への視差の付与］
ここで、図４０に示すビットストリーム処理部２０１Ａの立体画像用サブタイトル・グラフィクス発生部２２６および立体画像用テキスト発生部２２７における重畳情報への視差の付与について、さらに説明する。
【０１８８】
放送局１００（図１参照）からは、例えば、図４１に示すように、画像データストリームと、サブタイトルあるいはグラフィクスのデータストリームと、テキストデータストリームが送られてくる。そして、視差ベクトル（図８、図２７参照）は、画像データストリームに埋め込まれて送られてくる。この場合、画像データの所定単位毎、例えば符号化ビデオのピクチャ毎に、その所定単位に対応した視差ベクトルが、画像データストリームに埋め込まれて送られてくる。
【０１８９】
立体画像用サブタイトル・グラフィクス発生部２２６および立体画像用テキスト発生部２２７では、重畳情報の重畳期間において、所定単位毎に、重畳情報に、対応する視差ベクトル（情報情報）による視差が付与される。図４１のサブタイトル（グラフィクス）データストリームおよびテキストデータストリームの部分に付されている矢印は、重畳情報に所定単位毎に視差が付与されるタイミングを表している。このように重畳情報に視差が付与される構成とすることで、重畳情報に付与する視差を、画像内容の変化に連動して動的に変化させることが可能となる。
【０１９０】
また、放送局１００（図１参照）からは、例えば、図４２、図４３に示すように、画像データストリームと、サブタイトルあるいはグラフィクスのデータストリームと、テキストデータストリームが送られてくる。そして、視差ベクトル（図８、図２７参照）は、画像データストリームに埋め込まれて送られてくる。この場合、符号化ビデオのＧＯＰ、あるいはＩピクチャ、またはシーン等の各一定期間の開始タイミングに合わせて、各一定期間に対応した所定単位毎の視差ベクトルがまとめて送られてくる。所定単位としては、例えば、ピクチャ（フレーム）単位、あるいはピクチャの整数倍の単位等が考えられる。
【０１９１】
例えば、立体画像用サブタイトル・グラフィクス発生部２２６および立体画像用テキスト発生部２２７では、重畳情報の重畳期間において、所定単位毎に、重畳情報に、対応する視差ベクトル（情報情報）による視差が付与される。図４２のサブタイトル（グラフィクス）データストリームおよびテキストデータストリームの部分に付されている矢印は、重畳情報に所定単位毎に視差が付与されるタイミングを表している。このように重畳情報に視差が付与される構成とすることで、重畳情報に付与する視差を、画像内容の変化に連動して動的に変化させることが可能となる。
【０１９２】
また、例えば、立体画像用サブタイトル・グラフィクス発生部２２６および立体画像用テキスト発生部２２７では、重畳情報の重畳期間において、所定単位毎に、重畳情報に、重畳期間分の視差ベクトルから選択された所定の視差ベクトル（視差情報）による視差が付与される。所定の視差ベクトルは、例えば、所定の視差情報は、重畳期間分の視差情報のうち最大の視差を示す視差情報とされる。
【０１９３】
図４３のサブタイトル（グラフィクス）データストリームおよびテキストデータストリームの部分に付されている矢印は、重畳情報に視差が付与されるタイミングを表している。この場合、重畳期間の最初に重畳情報に対して視差が付与され、以降はその視差が付与された重畳情報が、左眼画像および右眼画像に重畳すべき重畳情報として使用される。このように重畳情報に視差が付与される構成とすることで、画像内容の変化によらずに、重畳情報に、例えば、重畳情報の重畳期間中の最大視差を付与することが可能となる。
【０１９４】
「ビットストリーム処理部の他の構成例」
図４４に示すビットストリーム処理部２０１Ｂは、上述の図１５に示す送信データ生成部１１０Ｂに対応させた構成となっている。この図４４において、図３６と対応する部分には同一符号を付し、その詳細説明は省略する。
【０１９５】
このビットストリーム処理部２０１Ｂは、図３６に示すビットストリーム処理部２０１の視差ベクトルデコーダ２２５の代わりに、視差ベクトル取り出し部２３２が設けられる。この視差ベクトル取り出し部２３２は、サブタイトル・グラフィクスデコーダ２２２を通じて得られるサブタイトルあるいはグラフィクスのストリームから、それに埋め込まれている視差ベクトルを取り出す。そして、この視差ベクトル取り出し部２３２は、取り出した視差ベクトルを、立体画像用サブタイトル・グラフィクス発生部２２６、立体画像用テキスト発生部２２７およびマルチチャネルスピーカコントロール部２２９に供給する。
【０１９６】
詳細説明は省略するが、この図４４に示すビットストリーム処理部２０１Ｂのその他は、図３６に示すビットストリーム処理部２０１と同様に構成され、同様に動作する。なお、この図４４のビットストリーム処理部２０１Ｂおける重畳情報への視差の付与については、上述した図４０のビットストリーム処理部２０１Ａおける重畳情報への視差の付与と同様である（図４１〜図４３参照）。
【０１９７】
「ビットストリーム処理部の他の構成例」
図４５に示すビットストリーム処理部２０１Ｃは、上述の図２１に示す送信データ生成部１１０Ｃに対応させた構成となっている。この図４５において、図３６と対応する部分には同一符号を付し、その詳細説明は省略する。
【０１９８】
このビットストリーム処理部２０１Ｃは、図３６に示すビットストリーム処理部２０１から、視差ベクトルデコーダ２２５、立体画像用サブタイトル・グラフィクス発生部２２６および立体画像用テキスト発生部２２７が除かれたものである。この場合、視差ベクトルは、サブタイトル情報、グラフィクス情報、テキスト情報のデータに予め反映されている。
【０１９９】
送信されてくるサブタイトルデータやグラフィクスデータには、上述したように、左眼画像に重畳される左眼のサブタイトル情報やグラフィクス情報のデータ、および右眼画像に重畳される右眼のサブタイトル情報やグラフィクス情報のデータが含まれている。同様に、送信されてくるテキストデータには、上述したように、左眼画像に重畳される左眼テキスト情報のデータおよび右眼画像に重畳される右眼テキスト情報のデータが含まれている。したがって、視差ベクトルデコーダ２２５、立体画像用サブタイトル・グラフィクス発生部２２６および立体画像用テキスト発生部２２７は不要となる。
【０２００】
なお、テキストデコーダ２２３で得られるテキストデータはコードデータ（キャラクタコード）であるので、これをビットマップデータに変換する処理は必要である。この処理は、例えば、テキストデコーダ２２３の最終段で行われるか、あるいはビデオ重畳部２２８の入力段で行われる。
【０２０１】
［テレビ受信機の説明］
図１に戻って、テレビ受信機３００は、セットトップボックス２００からＨＤＭＩケーブル４００を介して送られてくる立体画像データを受信する。このテレビ受信機３００は、３Ｄ信号処理部３０１を有している。この３Ｄ信号処理部３０１は、立体画像データに対して、伝送方式に対応した処理（デコード処理）を行って、左眼画像データおよび右眼画像データを生成する。すなわち、この３Ｄ信号処理部３０１は、図２、図１３、図１５、図２１、図２２に示す送信データ生成部１１０，１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄにおけるビデオフレーミング部１１２とは逆の処理を行う。そして、この３Ｄ信号処理部３０１は、立体画像データを構成する左眼画像データおよび右眼画像データを取得する。
【０２０２】
［テレビ受信機の構成例］
テレビ受信機３００の構成例を説明する。図４６は、テレビ受信機３００の構成例を示している。このテレビ受信機３００は、３Ｄ信号処理部３０１と、ＨＤＭＩ端子３０２と、ＨＤＭＩ受信部３０３と、アンテナ端子３０４と、デジタルチューナ３０５と、ビットストリーム処理部３０６を有している。
【０２０３】
また、このテレビ受信機３００は、映像・グラフィック処理回路３０７と、パネル駆動回路３０８と、表示パネル３０９と、音声信号処理回路３１０と、音声増幅回路３１１と、スピーカ３１２を有している。また、このテレビ受信機３００は、ＣＰＵ３２１と、フラッシュＲＯＭ３２２と、ＤＲＡＭ３２３と、内部バス３２４と、リモコン受信部３２５と、リモコン送信機３２６を有している。
【０２０４】
アンテナ端子３０４は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ３０５は、アンテナ端子３０４に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）を出力する。
【０２０５】
ビットストリーム処理部３０６は、図３５に示すセットトップボックス２００のビットストリーム処理部２０１と同様の構成とされている。このビットストリーム処理部３０６は、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、重畳情報データ、視差ベクトル（視差情報）等を抽出する。重畳情報データは、サブタイトルデータ、グラフィクスデータ、テキストデータ（クローズド・キャプションデータを含む）等である。このビットストリーム処理部３０６は、立体画像データに対し、重畳情報データを合成し、表示用立体画像データを取得する。また、ビットストリーム処理部３０６は、音声データを出力する。
【０２０６】
ＨＤＭＩ受信部３０３は、ＨＤＭＩに準拠した通信により、ＨＤＭＩケーブル４００を介してＨＤＭＩ端子３０２に供給される非圧縮の画像データおよび音声データを受信する。このＨＤＭＩ受信部３０３は、そのバージョンが例えばＨＤＭＩ１．４とされており、立体画像データの取り扱いが可能な状態にある。このＨＤＭＩ受信部３０３の詳細は後述する。
【０２０７】
３Ｄ信号処理部３０１は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた立体画像データに対して、デコード処理を行って、左眼画像データおよび右眼画像データを生成する。この場合、３Ｄ信号処理部３０１は、ビットストリーム処理部３０６で得られた立体画像データに対しては、その伝送方式（図４参照）に対応したデコード処理を行う。また、３Ｄ信号処理部３０１は、ＨＤＭＩ受信部３０３で受信された立体画像データに対しては、後述するＴＭＤＳ伝送データ構造に対応したデコード処理を行う。
【０２０８】
映像・グラフィック処理回路３０７は、３Ｄ信号処理部３０１で生成された左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データを生成する。また、映像・グラフィック処理回路３０７は、画像データに対して、必要に応じて、画質調整処理を行う。また、映像・グラフィック処理回路３０７は、画像データに対して、必要に応じて、メニュー、番組表などの重畳情報のデータを合成する。パネル駆動回路３０８は、映像・グラフィック処理回路３０７から出力される画像データに基づいて、表示パネル３０９を駆動する。表示パネル３０９は、例えば、ＬＣＤ(Liquid Crystal Display)、ＰＤＰ(Plasma DisplayPanel)等で構成されている。
【０２０９】
音声信号処理回路３１０は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理を行う。音声増幅回路３１１は、音声信号処理回路３１０から出力される音声信号を増幅してスピーカ３１２に供給する。
【０２１０】
ＣＰＵ３２１は、テレビ受信機３００の各部の動作を制御する。フラッシュＲＯＭ３２２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ３２３は、ＣＰＵ３２１のワークエリアを構成する。ＣＰＵ３２１は、フラッシュＲＯＭ３２２から読み出したソフトウェアやデータをＤＲＡＭ３２３上に展開してソフトウェアを起動させ、テレビ受信機３００の各部を制御する。
【０２１１】
リモコン受信部３２５は、リモコン送信機３２６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ３２１に供給する。ＣＰＵ３２１は、このリモコンコードに基づいて、テレビ受信機３００の各部を制御する。ＣＰＵ３２１、フラッシュＲＯＭ３２２およびＤＲＡＭ３２３は、内部バス３２４に接続されている。
【０２１２】
図４６に示すテレビ受信機３００の動作を簡単に説明する。ＨＤＭＩ受信部３０３では、ＨＤＭＩ端子３０２にＨＤＭＩケーブル４００を介して接続されているセットトップボックス２００から送信されてくる、立体画像データおよび音声データが受信される。このＨＤＭＩ受信部３０３で受信された立体画像データは、３Ｄ信号処理部３０１に供給される。また、このＨＤＭＩ受信部３０３で受信された音声データは音声信号処理回路３１０に供給される。
【０２１３】
アンテナ端子３０４に入力されたテレビ放送信号はデジタルチューナ３０５に供給される。このデジタルチューナ３０５では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）が出力される。
【０２１４】
デジタルチューナ３０５から出力されるビットストリームデータは、ビットストリーム処理部３０６に供給される。このビットストリーム処理部３０６では、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、重畳情報データ、視差ベクトル（視差情報）等が抽出される。また、このビットストリーム処理部３０６では、立体画像データに対し、重畳情報（クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報）のデータが合成され、表示用立体画像データが生成される。
【０２１５】
ビットストリーム処理部３０６で生成される表示用立体画像データは、３Ｄ信号処理部３０１に供給される。また、このビットストリーム処理部３０６で得られる音声データは、音声信号処理回路３１０に供給される。
【０２１６】
３Ｄ信号処理部３０１では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた立体画像データに対してデコード処理が行われて、左眼画像データおよび右眼画像データが生成される。この左眼画像データおよび右眼画像データは、映像・グラフィック処理回路３０７に供給される。この映像・グラフィック処理回路３０７では、左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データが生成され、必要に応じて、画質調整処理、重畳情報データの合成処理も行われる。
【０２１７】
この映像・グラフィック処理回路３０７で得られる画像データはパネル駆動回路３０８に供給される。そのため、表示パネル３０９により立体画像が表示される。例えば、表示パネル３０９に、左眼画像データによる左眼画像および右眼画像データによる右眼画像が交互に時分割的に表示される。視聴者は、表示パネル３０９の表示に同期して左眼シャッタおよび右眼シャッタが交互に開くシャッタメガネを装着することで、左眼では左眼画像のみを見ることができ、右眼では右眼画像のみを見ることができ、立体画像を知覚できる。
【０２１８】
また、音声信号処理回路３１０では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理が施される。この音声データは、音声増幅回路３１１で増幅された後に、スピーカ３１２に供給される。そのため、スピーカ３１２から表示パネル３０９の表示画像に対応した音声が出力される。
【０２１９】
［ＨＤＭＩ送信部、ＨＤＭＩ受信部の構成例］
図４７は、図１の立体画像表示システム１０における、セットトップボックス２００のＨＤＭＩ送信部（ＨＤＭＩソース）２０６と、テレビ受信機３００のＨＤＭＩ受信部（ＨＤＭＩシンク）３０３の構成例を示している。
【０２２０】
ＨＤＭＩ送信部２０６は、有効画像区間（以下、適宜、アクティブビデオ区間ともいう）において、非圧縮の１画面分の画像の画素データに対応する差動信号を、複数のチャネルで、ＨＤＭＩ受信部３０３に一方向に送信する。ここで、有効画像区間は、一の垂直同期信号から次の垂直同期信号までの区間から、水平帰線区間及び垂直帰線区間を除いた区間である。また、ＨＤＭＩ送信部２０６は、水平帰線区間または垂直帰線区間において、少なくとも画像に付随する音声データや制御データ、その他の補助データ等に対応する差動信号を、複数のチャネルで、ＨＤＭＩ受信部３０３に一方向に送信する。
【０２２１】
ＨＤＭＩ送信部２０６とＨＤＭＩ受信部３０３とからなるＨＤＭＩシステムの伝送チャネルには、以下の伝送チャネルがある。すなわち、ＨＤＭＩ送信部２０６からＨＤＭＩ受信部３０３に対して、画素データおよび音声データを、ピクセルクロックに同期して、一方向にシリアル伝送するための伝送チャネルとしての、３つのＴＭＤＳチャネル＃０乃至＃２がある。また、ピクセルクロックを伝送する伝送チャネルとしての、ＴＭＤＳクロックチャネルがある。
【０２２２】
ＨＤＭＩ送信部２０６は、ＨＤＭＩトランスミッタ８１を有する。トランスミッタ８１は、例えば、非圧縮の画像の画素データを対応する差動信号に変換し、複数のチャネルである３つのＴＭＤＳチャネル＃０，＃１，＃２で、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３０３に、一方向にシリアル伝送する。
【０２２３】
また、トランスミッタ８１は、非圧縮の画像に付随する音声データ、さらには、必要な制御データその他の補助データ等を、対応する差動信号に変換し、３つのＴＭＤＳチャネル＃０，＃１，＃２でＨＤＭＩ受信部３０３に、一方向にシリアル伝送する。
【０２２４】
さらに、トランスミッタ８１は、３つのＴＭＤＳチャネル＃０，＃１，＃２で送信する画素データに同期したピクセルクロックを、ＴＭＤＳクロックチャネルで、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３０３に送信する。ここで、１つのＴＭＤＳチャネル＃ｉ（ｉ=０，１，２）では、ピクセルクロックの１クロックの間に、１０ビットの画素データが送信される。
【０２２５】
ＨＤＭＩ受信部３０３は、アクティブビデオ区間において、複数のチャネルで、ＨＤＭＩ送信部２０６から一方向に送信されてくる、画素データに対応する差動信号を受信する。また、このＨＤＭＩ受信部３０３は、水平帰線区間または垂直帰線区間において、複数のチャネルで、ＨＤＭＩ送信部２０６から一方向に送信されてくる、音声データや制御データに対応する差動信号を受信する。
【０２２６】
すなわち、ＨＤＭＩ受信部３０３は、ＨＤＭＩレシーバ８２を有する。このＨＤＭＩレシーバ８２は、ＴＭＤＳチャネル＃０，＃１，＃２で、ＨＤＭＩ送信部２０６から一方向に送信されてくる、画素データに対応する差動信号と、音声データや制御データに対応する差動信号を受信する。この場合、ＨＤＭＩ送信部２０６からＴＭＤＳクロックチャネルで送信されてくるピクセルクロックに同期して受信する。
【０２２７】
ＨＤＭＩシステムの伝送チャネルには、上述のＴＭＤＳチャネル＃０乃至＃２およびＴＭＤＳクロックチャネルの他に、ＤＤＣ（Display Data Channel）８３やＣＥＣライン８４と呼ばれる伝送チャネルがある。ＤＤＣ８３は、ＨＤＭＩケーブル４００に含まれる図示しない２本の信号線からなる。ＤＤＣ８３は、ＨＤＭＩ送信部２０６が、ＨＤＭＩ受信部３０３から、Ｅ−ＥＤＩＤ（Enhanced Extended Display Identification Data）を読み出すために使用される。
【０２２８】
すなわち、ＨＤＭＩ受信部３０３は、ＨＤＭＩレシーバ８１の他に、自身の性能（Configuration/capability）に関する性能情報であるＥ−ＥＤＩＤを記憶している、ＥＤＩＤ ＲＯＭ(Read Only Memory)８５を有している。ＨＤＭＩ送信部２０６は、例えば、ＣＰＵ２１１（図３５参照）からの要求に応じて、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３０３から、Ｅ−ＥＤＩＤを、ＤＤＣ８３を介して読み出す。
【０２２９】
ＨＤＭＩ送信部２０６は、読み出したＥ−ＥＤＩＤをＣＰＵ２１１に送る。ＣＰＵ２１１は、このＥ−ＥＤＩＤを、フラッシュＲＯＭ２１２あるいはＤＲＡＭ２１３に格納する。ＣＰＵ２１１は、Ｅ−ＥＤＩＤに基づき、ＨＤＭＩ受信部３０３の性能の設定を認識できる。例えば、ＣＰＵ２１１は、ＨＤＭＩ受信部３０３を有するテレビ受信機３００が立体画像データの取り扱いが可能か否か、可能である場合はさらにいかなるＴＭＤＳ伝送データ構造に対応可能であるか等を認識する。
【０２３０】
ＣＥＣライン８４は、ＨＤＭＩケーブル４００に含まれる図示しない１本の信号線からなり、ＨＤＭＩ送信部２０６とＨＤＭＩ受信部３０３との間で、制御用のデータの双方向通信を行うために用いられる。このＣＥＣライン８４は、制御データラインを構成している。
【０２３１】
また、ＨＤＭＩケーブル４００には、ＨＰＤ(Hot Plug Detect)と呼ばれるピンに接続されるライン（ＨＰＤライン）８６が含まれている。ソース機器は、当該ライン８６を利用して、シンク機器の接続を検出することができる。なお、このＨＰＤライン８６は双方向通信路を構成するＨＥＡＣ−ラインとしても使用される。また、ＨＤＭＩケーブル４００には、ソース機器からシンク機器に電源を供給するために用いられるライン（電源ライン）８７が含まれている。さらに、ＨＤＭＩケーブル４００には、ユーティリティライン８８が含まれている。このユーティリティライン８８は双方向通信路を構成するＨＥＡＣ＋ラインとしても使用される。
【０２３２】
図４８は、図４７のＨＤＭＩトランスミッタ８１とＨＤＭＩレシーバ８２の構成例を示している。ＨＤＭＩトランスミッタ８１は、３つのＴＭＤＳチャネル＃０，＃１，＃２にそれぞれ対応する３つのエンコーダ／シリアライザ８１Ａ，８１Ｂ，８１Ｃを有する。そして、エンコーダ／シリアライザ８１Ａ，８１Ｂ，８１Ｃのそれぞれは、そこに供給される画像データ、補助データ、制御データをエンコードし、パラレルデータからシリアルデータに変換して、差動信号により送信する。ここで、画像データが、例えばＲ，Ｇ，Ｂの３成分を有する場合、Ｂ成分はエンコーダ／シリアライザ８１Ａに供給され、Ｇ成分はエンコーダ／シリアライザ８１Ｂに供給され、Ｒ成分はエンコーダ／シリアライザ８１Ｃに供給される。
【０２３３】
また、補助データとしては、例えば、音声データや制御パケットがあり、制御パケットは、例えば、エンコーダ／シリアライザ８１Ａに供給され、音声データは、エンコーダ／シリアライザ８１Ｂ，８１Ｃに供給される。さらに、制御データとしては、１ビットの垂直同期信号（VSYNC）、１ビットの水平同期信号（HSYNC）、および、それぞれ１ビットの制御ビットＣＴＬ０，ＣＴＬ１，ＣＴＬ２，ＣＴＬ３がある。垂直同期信号および水平同期信号は、エンコーダ／シリアライザ８１Ａに供給される。制御ビットＣＴＬ０，ＣＴＬ１はエンコーダ／シリアライザ８１Ｂに供給され、制御ビットＣＴＬ２，ＣＴＬ３はエンコーダ／シリアライザ８１Ｃに供給される。
【０２３４】
エンコーダ／シリアライザ８１Ａは、そこに供給される画像データのＢ成分、垂直同期信号および水平同期信号、並びに補助データを、時分割で送信する。すなわち、エンコーダ／シリアライザ８１Ａは、そこに供給される画像データのＢ成分を、固定のビット数である８ビット単位のパラレルデータとする。さらに、エンコーダ／シリアライザ８１Ａは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃０で送信する。
【０２３５】
また、エンコーダ／シリアライザ８１Ａは、そこに供給される垂直同期信号および水平同期信号の２ビットのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃０で送信する。さらに、エンコーダ／シリアライザ８１Ａは、そこに供給される補助データを４ビット単位のパラレルデータとする。そして、エンコーダ／シリアライザ８１Ａは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃０で送信する。
【０２３６】
エンコーダ／シリアライザ８１Ｂは、そこに供給される画像データのＧ成分、制御ビットＣＴＬ０，ＣＴＬ１、並びに補助データを、時分割で送信する。すなわち、エンコーダ／シリアライザ８１Ｂは、そこに供給される画像データのＧ成分を、固定のビット数である８ビット単位のパラレルデータとする。さらに、エンコーダ／シリアライザ８１Ｂは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃１で送信する。
【０２３７】
また、エンコーダ／シリアライザ８１Ｂは、そこに供給される制御ビットＣＴＬ０，ＣＴＬ１の２ビットのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃１で送信する。さらに、エンコーダ／シリアライザ８１Ｂは、そこに供給される補助データを４ビット単位のパラレルデータとする。そして、エンコーダ／シリアライザ８１Ｂは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃１で送信する。
【０２３８】
エンコーダ／シリアライザ８１Ｃは、そこに供給される画像データのＲ成分、制御ビットＣＴＬ２，ＣＴＬ３、並びに補助データを、時分割で送信する。すなわち、エンコーダ／シリアライザ８１Ｃは、そこに供給される画像データのＲ成分を、固定のビット数である８ビット単位のパラレルデータとする。さらに、エンコーダ／シリアライザ８１Ｃは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃２で送信する。
【０２３９】
また、エンコーダ／シリアライザ８１Ｃは、そこに供給される制御ビットＣＴＬ２，ＣＴＬ３の２ビットのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃２で送信する。さらに、エンコーダ／シリアライザ８１Ｃは、そこに供給される補助データを４ビット単位のパラレルデータとする。そして、エンコーダ／シリアライザ８１Ｃは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃２で送信する。
【０２４０】
ＨＤＭＩレシーバ８２は、３つのＴＭＤＳチャネル＃０，＃１，＃２にそれぞれ対応する３つのリカバリ／デコーダ８２Ａ，８２Ｂ，８２Ｃを有する。そして、リカバリ／デコーダ８２Ａ，８２Ｂ，８２Ｃのそれぞれは、ＴＭＤＳチャネル＃０，＃１，＃２で差動信号により送信されてくる画像データ、補助データ、制御データを受信する。さらに、リカバリ／デコーダ８２Ａ，８２Ｂ，８２Ｃのそれぞれは、画像データ、補助データ、制御データを、シリアルデータからパラレルデータに変換し、さらにデコードして出力する。
【０２４１】
すなわち、リカバリ／デコーダ８２Ａは、ＴＭＤＳチャネル＃０で差動信号により送信されてくる画像データのＢ成分、垂直同期信号および水平同期信号、補助データを受信する。そして、リカバリ／デコーダ８２Ａは、その画像データのＢ成分、垂直同期信号および水平同期信号、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。
【０２４２】
リカバリ／デコーダ８２Ｂは、ＴＭＤＳチャネル＃１で差動信号により送信されてくる画像データのＧ成分、制御ビットＣＴＬ０，ＣＴＬ１、補助データを受信する。そして、リカバリ／デコーダ８２Ｂは、その画像データのＧ成分、制御ビットＣＴＬ０，ＣＴＬ１、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。
【０２４３】
リカバリ／デコーダ８２Ｃは、ＴＭＤＳチャネル＃２で差動信号により送信されてくる画像データのＲ成分、制御ビットＣＴＬ２，ＣＴＬ３、補助データを受信する。そして、リカバリ／デコーダ８２Ｃは、その画像データのＲ成分、制御ビットＣＴＬ２，ＣＴＬ３、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。
【０２４４】
図４９は、ＴＭＤＳ伝送データの構造例を示している。この図４９は、ＴＭＤＳチャネル＃０，＃１，＃２において、横×縦が１９２０ピクセル×１０８０ラインの画像データが伝送される場合の、各種の伝送データの区間を示している。
【０２４５】
ＨＤＭＩの３つのＴＭＤＳチャネル＃０，＃１，＃２で伝送データが伝送されるビデオフィールド（Video Field）には、伝送データの種類に応じて、３種類の区間が存在する。この３種類の区間は、ビデオデータ区間（Video Data period）、データアイランド区間（Data Islandperiod）、およびコントロール区間（Control period）である。
【０２４６】
ここで、ビデオフィールド区間は、ある垂直同期信号の立ち上がりエッジ（active edge）から次の垂直同期信号の立ち上がりエッジまでの区間である。このビデオフィールド区間は、水平ブランキング期間（horizontal blanking）、垂直ブランキング期間（verticalblanking）、並びに、アクティブビデオ区間（Active Video）に分けられる。このアクティブビデオ区間は、ビデオフィールド区間から、水平ブランキング期間および垂直ブランキング期間を除いた区間である
【０２４７】
ビデオデータ区間は、アクティブビデオ区間に割り当てられる。このビデオデータ区間では、非圧縮の１画面分の画像データを構成する１９２０ピクセル（画素）×１０８０ライン分の有効画素（Active pixel）のデータが伝送される。
【０２４８】
データアイランド区間およびコントロール区間は、水平ブランキング期間および垂直ブランキング期間に割り当てられる。このデータアイランド区間およびコントロール区間では、補助データ（Auxiliary data）が伝送される。すなわち、データアイランド区間は、水平ブランキング期間と垂直ブランキング期間の一部分に割り当てられている。このデータアイランド区間では、補助データのうち、制御に関係しないデータである、例えば、音声データのパケット等が伝送される。
【０２４９】
コントロール区間は、水平ブランキング期間と垂直ブランキング期間の他の部分に割り当てられている。このコントロール区間では、補助データのうちの、制御に関係するデータである、例えば、垂直同期信号および水平同期信号、制御パケット等が伝送される。
【０２５０】
図５０は、ＨＤＭＩ端子のピン配列の一例を示している。図５０に示すピン配列はタイプＡ（type-A）と呼ばれている。ＴＭＤＳチャネル＃ｉの差動信号であるＴＭＤＳ Ｄａｔａ＃ｉ＋とＴＭＤＳ Ｄａｔａ＃ｉ−は差動線である２本のラインにより伝送される。この２本のラインは、ＴＭＤＳ Ｄａｔａ＃ｉ＋が割り当てられているピン（ピン番号が１，４，７のピン）と、ＴＭＤＳ Ｄａｔａ＃ｉ−が割り当てられているピン（ピン番号が３，６，９のピン）に接続される。
【０２５１】
また、制御用のデータであるＣＥＣ信号が伝送されるＣＥＣライン８４は、ピン番号が１３であるピンに接続される。また、Ｅ−ＥＤＩＤ等のＳＤＡ(Serial Data)信号が伝送されるラインは、ピン番号が１６であるピンに接続される。ＳＤＡ信号の送受信時の同期に用いられるクロック信号であるＳＣＬ(Serial Clock)信号が伝送されるラインは、ピン番号が１５であるピンに接続される。上述のＤＤＣ８３は、ＳＤＡ信号が伝送されるラインおよびＳＣＬ信号が伝送されるラインにより構成される。
【０２５２】
また、上述したようにソース機器がシンク機器の接続を検出するためのＨＰＤライン（ＨＥＡＣ−ライン）８６は、ピン番号が１９であるピンに接続される。また、ユーティリティライン（ＨＥＡＣ＋ライン）８８は、ピン番号が１４であるピンに接続される。また、上述したように電源を供給するためのライン８７は、ピン番号が１８であるピンに接続される。
【０２５３】
［Ｅ−ＥＤＩＤ構造］
上述したように、ＨＤＭＩ送信部２０６は、例えば、ＣＰＵ２１１（図３５参照）からの要求に応じて、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３０３から、Ｅ−ＥＤＩＤを、ＤＤＣ８３を介して読み出す。そして、ＣＰＵ２１１は、このＥ−ＥＤＩＤに基づき、ＨＤＭＩ受信部３０３の性能の設定、例えば立体画像データの取り扱いが可能か否か等を認識する。
【０２５４】
図５１は、Ｅ−ＥＤＩＤのデータ構造例を示している。このＥ−ＥＤＩＤは、基本ブロックと拡張ブロックとからなっている。基本ブロックには、先頭に、“E-EDID1.3 Basic Structure”で表されるＥ−ＥＤＩＤ１．３の規格で定められたデータが配置されている。基本ブロックには、続いて“Preferred timing”で表される従来のＥＤＩＤとの互換性を保つためのタイミング情報が配置されている。また、基本ブロックには、続いて、“2nd timing”で表される従来のＥＤＩＤとの互換性を保つための、“Preferredtiming”とは異なるタイミング情報が配置されている。
【０２５５】
また、基本ブロックには、“2nd timing”に続いて、“Monitor NAME”で表される表示装置の名前を示す情報が配置されている。基本ブロックには、続いて、“Monitor Range Limits”で表される、アスペクト比が４：３および１６：９である場合についての表示可能な画素数を示す情報が配置されている。
【０２５６】
拡張ブロックの先頭には、“Short Video Descriptor”が配置されている。これは、表示可能な画像サイズ(解像度)、フレームレート、インターレースであるかプログレッシブであるかを示す情報である。続いて、“Short Audio Descriptor”が配置されている。これは、再生可能な音声コーデック方式、サンプリング周波数、カットオフ帯域、コーデックビット数などの情報である。続いて、“Speaker Allocation”で表される左右のスピーカに関する情報が配置されている。
【０２５７】
また、拡張ブロックには、“Speaker Allocation”に続いて、“Vender Specific”で表されるメーカごとに固有に定義されたデータが配置されている。拡張ブロックには、続いて、“3rd timing”で表される従来のＥＤＩＤとの互換性を保つためのタイミング情報が配置されている。拡張ブロックには、さらに続いて、“4th timing”で表される従来のＥＤＩＤとの互換性を保つためのタイミング情報が配置されている。
【０２５８】
図５２は、Vender Specific領域（HDMI Vendor Specific DataBlock）のデータ構造例を示している。このVender Specific領域には、１バイトのブロックである第０ブロック乃至第Ｎブロックが設けられている。
【０２５９】
第０ブロックには、“Vendor-Specific tag code(=3)”で表されるデータ“VenderSpecific”のデータ領域を示すヘッダが配置される。また、この第０ブロックには、“Length(=N)”で表されるデータ“Vender Specific”の長さを示す情報が配置される。また、第１ブロック乃至第３ブロックには、“24bit IEEE Registration Identifier(0x000C03)LSB first”で表されるＨＤＭＩ（Ｒ）用として登録された番号“0x000C03“を示す情報が配置される。さらに、第４ブロックおよび第５ブロックには、”Ａ“、”Ｂ“、”Ｃ“、および”Ｄ“のそれぞれにより表される、２４ｂｉｔのシンク機器の物理アドレスを示す情報が配置される。
【０２６０】
第６ブロックには、“Supports-AI”で表される、シンク機器が対応している機能を示すフラグが配置されている。また、この第６ブロックには、“DC-48bit”、“DC-36bit”、および“DC-30bit”のそれぞれで表される、１ピクセル当たりのビット数を指定する情報のそれぞれが配置されている。また、この第６ブロックには、“DC-Y444”で表される、シンク機器がＹＣｂＣｒ４：４：４の画像の伝送に対応しているかを示すフラグが配置されている。さらに、この第６ブロックには、“DVI-Dual”で表される、シンク機器がデュアルＤＶＩ（Digital VisualInterface）に対応しているかを示すフラグが配置されている。
【０２６１】
また、第７ブロックには、“Max-TMDS-Clock”で表されるＴＭＤＳのピクセルクロックの最大の周波数を示す情報が配置される。また、第８ブロックの第６ビット、第７ビットには、“Latency”で表される映像と音声の遅延情報の有無を示すフラグが配置されている。また、第８ブロックの第５ビットには、“HDMI_Video_present”で表される追加のＨＤＭＩビデオフォーマット（３Ｄ、４ｋ×２ｋ）の取り扱いが可能か否かを示すフラグが配置されている。
【０２６２】
また、第９ブロックには、“Video Latency”で表される、プログレッシブの映像の遅延時間データが配置され、第１０ブロックには、“Audio Latency”で表される、プログレッシブの映像に付随する音声の遅延時間データが配置される。また、第１１ブロックには、“Interlaced Video Latency”で表されるインターレースの映像の遅延時間データが配置されている。さらに、第１２ブロックには、“Interlaced Audio Latency”で表される、インターレースの映像に付随する音声の遅延時間データが配置されている。
【０２６３】
また、第１３ブロックの第７ビットには、“3D_present”で表される３Ｄ画像データの取り扱いが可能か否かを示すフラグが配置されている。また、第１４ブロックの第７ビットから第５ビットには、“HDMI_VIC_LEN”で表される、図示しない第１５ブロック以降に配置される必須（mandatory）な３Ｄデータ構造の他に取り扱い可能なデータ構造を示すブロックのサイズ情報が配置されている。また、第１４ブロックの第４ビットから第０ビットには、“HDMI_3D_LEN”で表される、図示しない第１５ブロック以降に配置される取り扱い可能な４ｋ×２ｋのビデオフォーマットを示すブロックのサイズ情報が配置されている。
【０２６４】
［立体画像データのＴＭＤＳ伝送データ構造］
図５３は、立体画像データのＴＭＤＳ伝送データ構造の一つであるフレームパッキング（Frame packing）方式の３Ｄビデオフォーマット（3D Video Format）を示している。この３Ｄビデオフォーマットは、立体画像データとして、プログレッシブ方式の左眼（Ｌ）および右眼（Ｒ）の画像データを伝送するためのフォーマットである。
【０２６５】
この３Ｄビデオフォーマットでは、左眼（Ｌ）および右眼（Ｒ）の画像データとして、１９２０×１０８０ｐ、１０８０×７２０ｐのピクセルフォーマットの画像データの伝送が行われる。なお、図５３には、左眼（Ｌ）画像データおよび右眼（Ｒ）画像データが、それぞれ、１９２０ライン×１０８０ピクセルである例を示している。
【０２６６】
この３Ｄビデオフォーマットにより、垂直同期信号により区切られる、水平ブランキング期間（Hblank）、垂直ブランキング期間（Vblank）およびアクティブビデオ区間（Hactive×Vactive）を含むビデオフィールド区間を単位とする伝送データが生成される。この３Ｄビデオフォーマットにおいて、アクティブビデオ区間は、２つのアクティブビデオ領域（Active video）と、それらの間に１つのアクティブスペース領域（Activespace）を有している。第１のアクティブビデオ領域に左眼（Ｌ）画像データが配され、第２のアクティブビデオ領域に右眼（Ｒ）画像データが配される。
【０２６７】
図５４は、立体画像データのＴＭＤＳ伝送データ構造の一つであるラインオルタネイティブ（Line alternative）方式の３Ｄビデオフォーマット（3D VideoFormat）を示している。この３Ｄビデオフォーマットは、立体画像データとして、プログレッシブ方式の左眼（Ｌ）および右眼（Ｒ）の画像データを伝送するためのフォーマットである。この３Ｄビデオフォーマットでは、左眼（Ｌ）および右眼（Ｒ）の画像データとして、１９２０×１０８０ｐのピクセルフォーマットの画像データの伝送が行われる。
【０２６８】
この３Ｄビデオフォーマットにより、垂直同期信号により区切られる、水平ブランキング期間（Hblank）、垂直ブランキング期間（２×Vblank）およびアクティブビデオ区間（（Hactive×２Vactive）を含むビデオフィールド区間を単位とする伝送データが生成される。この３Ｄビデオフォーマットにおいて、アクティブビデオ区間には、左眼画像データの１ライン分と右眼画像データの１ライン分とが交互に配置される。
【０２６９】
図５５は、立体画像データのＴＭＤＳ伝送データ構造の一つであるサイド・バイ・サイド（side-bay-side）（Ｆｕｌｌ）方式の３Ｄビデオフォーマット（3D VideoFormat）を示している。この３Ｄビデオフォーマットは、立体画像データとして、プログレッシブ方式の左眼（Ｌ）および右眼（Ｒ）の画像データを伝送するためのフォーマットである。この３Ｄビデオフォーマットでは、左眼（Ｌ）および右眼（Ｒ）の画像データとして、１９２０×１０８０ｐのピクセルフォーマットの画像データの伝送が行われる。
【０２７０】
この３Ｄビデオフォーマットにより、垂直同期信号により区切られる、水平ブランキング期間（２×Hblank）、垂直ブランキング期間（Vblank）およびアクティブビデオ区間（（２Hactive×Vactive）を含むビデオフィールド区間を単位とする伝送データが生成される。この３Ｄビデオフォーマットにおいて、アクティブビデオ区間には、水平方向の前半に左眼（Ｌ）画像データが配され、水平方向の後半に右眼（Ｒ）画像データが配される。
【０２７１】
なお、詳細説明は省略するが、ＨＤＭＩ１．４では、上述の図５３〜図５５に示す３Ｄビデオフォーマットの他にも、立体画像データのＴＭＤＳ伝送データ構造としての３Ｄビデオフォーマットが定義されている。例えば、フレームパッキング（Frame packing for interlaced format）方式、フィールドオルタネイティブ（Field alternative）方式、サイド・バイ・サイド（side-bay-side）（Ｈａｌｆ）方式等である。
【０２７２】
［セットトップボックスとテレビ受信機の他の構成例］
図３５に示すセットトップボックス２００においては、ＨＤＭＩインタフェースにより、ベースバンドの立体画像データおよび音声データをテレビ受信機３００に送信する構成となっている。しかし、セットトップボックスからテレビ受信機に、ビットストリーム処理部２０１で使用されている視差ベクトル（図８、図２７参照）の全部または一部を視差情報セットとして、ＨＤＭＩインタフェースにより送信して利用することも考えられる。
【０２７３】
図５６は、視差情報セットを送信するセットトップボックス２００Ａの構成例を示している。この図５６において、図３５と対応する部分には同一符号を付して示し、適宜、その詳細説明を省略する。このセットトップボックス２００Ａにおいては、ビットストリーム処理部２０１より視差情報セットがＨＤＭＩ送信部２０６に供給される。そして、ＨＤＭＩ送信部２０６により、立体画像データおよび音声データと共に、この視差情報セットが、ＨＤＭＩ端子２０２からＨＤＭＩケーブル４００に送出される。このセットトップボックス２００Ａのその他については、図３５に示すセットトップボックス２００と同様に構成され、同様に動作する。
【０２７４】
また、図５７は、視差情報セットを受信して利用するテレビ受信機３００Ａの構成例を示している。この図５７において、図４６と対応する部分には同一符号を付して示し、適宜、その詳細説明を省略する。このテレビ受信機３００Ａにおいては、ＨＤＭＩ受信部３０３で受信された視差情報セットが映像・グラフィック処理回路３０７に供給される。映像・グラフィック処理回路３０７では、左眼画像および右眼画像に貼り付けるメニュー、番組表などの同一の重畳情報に、視差情報セットに含まれる視差ベクトルに基づいて視差が付与される。
【０２７５】
すなわち、このテレビ受信機３００Ａにおいては、左眼画像および右眼画像に重畳される同一の重畳情報（メニュー、番組表等）として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができ、重畳情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。このテレビ受信機３００Ａのその他については、図４６に示すテレビ受信機３００と同様に構成され、同様に動作する。
【０２７６】
図５８は、セットトップボックス２００Ａからテレビ受信機３００Ａに送信される視差情報セットの内容の一例を示している。この視差情報セットには、Ｎ個の視差ベクトルの情報セットが含まれている。各情報セットは、１６ビットのブロックＩＤ（ID_Block(i)）と、１６ビットの水平方向の視差ベクトル（Disparity_Vector_Horizontal）により構成されている。
【０２７７】
ここで、例えば、図５９に示すように、画像（ピクチャ）領域を９分割して得られる各ブロックＢＫ０〜ＢＫ８の視差ベクトルが含まれる視差情報セットの場合、最初に最も値の大きな視差ベクトル、この例ではブロックＢＫ４の視差ベクトルが配置され、その後に、残りのブロックの視差ベクトルが順次配置される。
【０２７８】
［ＨＤＭＩでの視差情報セットの送信方法］
視差情報セットをＨＤＭＩインタフェースで送信する方法として、例えば、以下の（１）、（２）の方法が考えられる。
（１）ＨＤＭＩ Vendor Specific InfoFrame を利用する方法
（２）フレームパッキング方式等の３Ｄビデオフォーマット（3D Video Format）のアクティブスペース（Active Space）を利用する方法
【０２７９】
最初に、（１）のＨＤＭＩ Vendor Specific InfoFrame を利用する方法について説明する。この方法では、ＨＤＭＩ Vendor Specific InfoFrame paketにおいて、HDMI_Video_Format＝“０１０”かつ3D_Meta_present＝１とされて、Vendor SpecificInfoFrame extensionが指定される。その場合、3D_Metadata_typeは、未使用の、例えば、“０１０”と定義され、視差情報セット（Disparrity Set）の情報が指定される。
【０２８０】
図６０は、ＨＤＭＩ Vendor Specific InfoFrame のパケット構造を示している。このＨＤＭＩ Vendor Specific InfoFrameについては、CEA-861-Dに定義されているので、詳細説明は省略する。
【０２８１】
第４バイト（ＰＢ４）の第７ビットから第５ビットに、画像データの種類を示す３ビットの情報「HDMI_Video_Format」が配置されている。画像データが３Ｄ画像データである場合、この３ビットの情報は「０１０」とされる。また、このように画像データが３Ｄ画像データである場合、第５バイト（ＰＢ５）の第７ビットから第４ビットに、ＴＭＤＳ伝送データ構造を示す４ビットの情報「3D_Structure」が配置される。例えば、フレームパッキング方式（図５３参照）の場合、この４ビットの情報は、「００００」とされる。また、例えば、ラインオルタネイティブ方式（図５４参照）の場合、この４ビットの情報は、「００１０」とされる。また、例えば、サイド・バイ・サイド（Ｆｕｌｌ）方式（図５５参照）の場合、この４ビットの情報は、「００１１」とされる。
【０２８２】
また、第５バイト（ＰＢ５）の第３ビットに、「3D_Meta_present」が配置され、Vendor SpecificInfoFrame extensionを指定する場合、この１ビットは「１」とされる。また、第７バイト（ＰＢ７）の第７ビットから第５ビットに、「3D_Metadata_type」が配置されている。視差情報セット（DisparritySet）の情報を指定する場合、この３ビットの情報は、未使用の、例えば、“０１０”とされる。また、第７バイト（ＰＢ７）の第４バイトから第０バイトに、「3D_Metadata_length」が配置されている。この５ビットの情報により、以降に配置される3D_Metadata領域の長さが示される。
【０２８３】
視差情報セットを構成する各視差ベクトルの情報セットは、上述の図５８に示すように、１６ビットのブロックＩＤ（ID_Block(i)）と、１６ビットの水平方向の視差ベクトル（Disparity_Vector_Horizontal）により構成されている。例えば、１９２０×１０８０の画像（ピクチャ）領域を１６×１６画素のブロックで分割すると、ブロック数は８１００となり、個々のブロックは１３ビットでＩＤ表現できる。また、１９２０×１０８０の画サイズにおいて、水平方向の視差を画素数で表現する場合、符号付きで１１ビットあれば一般には問題ないことがわかる。
【０２８４】
そのため、各視差ベクトルの情報セットを配置するために、第１〜第３の３バイトが使用される。第１バイトに「ID_Block(i)」の上位８ビットが配置され、第２のバイトの第７ビットから第３ビットに「ID_Block(i)」の下位５ビットが配置される。また、第２バイトの第２ビットから第０ビットに「Disparity_Vector_Horizontal」の上位３ビットが配置され、第３バイトに「Disparity_Vector_Horizontal」の下位８ビットが配置される。上述の図５９に示すように９ブロックの視差ベクトルを送信するためには、３バイト×９＝２７バイトの領域が使用される。
【０２８５】
視差情報セットを上位の階層からいずれの階層までを含むかは、3D_Metadata_lengthによって指定することが可能である。あるいは、3D_Metadata_typeの空きビットに定義を追加し、3D_Metadata_type=“010”では第１階層（画面全体における最大視差）を、3D_Metadata_type=“110”では第２階層（複数リージョンごとのリージョン内最大視差）を挿入するように指定することも可能である。
【０２８６】
次に、（２）のアクティブスペース（Active Space）を利用する方法について説明する。この方法では、図６１にＨＤＭＩVendor Specific InfoFrame のパケット構造を示すように、現状ではReservedbitとなっている第５バイト（ＰＢ５）の第２ビットに、「ActiveSpace Enable」が定義され、この１ビットの情報が“１”とされる。その上で、現状ではReservedとされているアクティブスペース領域を用いて、新たに情報エリアが定義され、そこに視差情報セットが配置される。
【０２８７】
アクティブスペース領域は、左眼画像データおよび右眼画像データが配置されるアクティブビデオ領域と共に、アクティブビデオ区間を構成している。ここで、アクティブビデオ領域は主映像領域を構成し、アクティブスペース領域は補助映像領域を構成している。アクティブスペース領域は、ビデオの画サイズにより変動するが、１９２０×１０８０の画サイズの場合には、１フレームあたり４５ライン分（８６４００バイト）の容量を持つ。
【０２８８】
１９２０×１０８０の画像（ピクチャ）領域を１６×１６画素のブロックで分割すると、ブロック数は８１００となる。この場合、上述したように、各視差ベクトルの情報セットを配置するために３バイトが使用される。すなわち、「ID_Block(i)」に１３ビットが使用され、「Disparity_Vector_Horizontal」に１１ビットが使用される。そのため、全てのブロックの視差ベクトルを含む視差情報セットを配置するためには、３バイト×８１００＝２４３００バイトの容量があればよい。上述したようにアクティブスペース領域は８６４００バイトの容量を持っている。そのため、このアクティブスペース領域を利用することで、ビデオのフレーム毎に、全てのブロックの視差ベクトルを含む視差情報セットを送信できる。
【０２８９】
なお、ブロックのサイズを小さくしていき、視差ベクトル（視差情報）の空間密度をより高めることも可能である。その場合、１フレームのアクティブスペース領域で伝送可能な容量を越えてしまう場合がある。その場合には、連結情報を用いて、次フレームのアクティブスペース領域と連結されることを明示する。
【０２９０】
図６２は、アクティブスペース領域に配置される視差情報セットの構造を示している。第０バイトに、３ビットの「Active_space_info_Type」と、３ビットの「Block_Size」と、２ビットの「Connect_Info」の情報が配置される。第１バイトおよび第２バイトに、以降の視差情報セットが配置される領域の長さを示す１６ビットの「Data_Length」の上位８ビットおよび下位８ビットが配置される。
【０２９１】
各視差ベクトルの情報セットは各３バイトの領域を使用して配置される。第１バイトに「ID_Block(i)」の上位８ビットが配置され、第２のバイトの第７ビットから第３ビットに「ID_Block(i)」の下位５ビットが配置される。また、第２バイトの第２ビットから第０ビットに「Disparity_Vector_Horizontal」の上位３ビットが配置され、第３バイトに「Disparity_Vector_Horizontal」の下位８ビットが配置される。
【０２９２】
図６３は、図６２に示す視差情報セット構造の各情報の内容を示している。「Active_space_info_Type」の情報は、視差情報セットであることを示す識別情報である。「Block_Size」の情報は、視差ベクトル（視差情報）の空間密度を示すブロックサイズを示している。“００”はブロックサイズが１×１画素、つまりピクセル（画素）であることを示す。“０１”は、ブロックサイズが１６×１６画素であることを示す。“１０”はブロックサイズが３２×３２画素であることを示す。
【０２９３】
「Connect_Info」の情報は、アクティブスペース領域の連結情報を示している。“００”は、このアクティブスペース領域に配置されている視差情報セットで完結していることを示す。“０１”は、このアクティブスペース領域に配置されている視差情報セットが、後のアクティブスペース領域に配置される視差情報セットと連結されることを示す。“１０”は、このアクティブスペース領域に配置されている視差情報セットが、前のアクティブスペース領域に配置される視差情報セットと連結されることを示す。“１１”は、このアクティブスペース領域に配置されている視差情報セットが、前後のアクティブスペース領域に配置される視差情報セットと連結されることを示す。
【０２９４】
なお、連結される最後のアクティブスペースが終了するビデオフレームのタイミングは、対象となる画像データを送るフレームよりも少なくとも同時か、それよりも早い時点で送信終了するよう配置することが、シンク側での対応の点で重要である。
【０２９５】
図６４（ａ）は、「Block_Size」が“０１”、“１０”の場合の各視差ベクトルの情報セットの配置例を示している。この場合には、上述したように、各視差ベクトルの情報セットは各３バイトの領域を使用して配置される。図６４（ｂ）は、「Block_Size」が“００”の場合の各視差ベクトルの情報セットの配置例を示している。この場合には、ピクチャの全画素をスキャン順（映像画素順）に羅列することで、「ID_Block(i)」を省略できる。すなわち、この場合、各視差ベクトルの情報セットは各２バイトの領域を使用して配置される。
【０２９６】
なお、この場合、符号付き１１ビットの「Disparity_Vector_Horizontal」の情報を、符号付き８ビットに正規化することで、図６４（ｃ）に示すように、各視差ベクトルの情報セットは各１バイトの領域を使用して配置でき、伝送帯域を半分にできる。
【０２９７】
なお、上述では、セットトップボックス２００Ａからテレビ受信機３００Ａに送信される視差情報セットとして、所定数の視差ベクトル（視差情報）と、各視差ベクトルが属する画像領域上の位置を示す位置情報（ブロックＩＤ）が含まれている、第１の種類を示した。しかし、この視差情報セットとして、画像領域の分割情報と、各分割領域を代表する視差情報とが含まれている、第２の種類も考えられる。
【０２９８】
最初に、ＨＤＭＩ Vendor Specific InfoFrame を利用して、第１の種類または第２の種類の視差情報セットを、選択的に送信する方法について説明する。この方法では、ＨＤＭＩ Vendor Specific InfoFrame paketにおいて、HDMI_Video_Format＝“０１０”かつ3D_Meta_present＝１とされて、Vendor SpecificInfoFrame extensionが指定される。その場合、3D_Metadata_typeは、未使用の、例えば、“０１０”と定義され、視差情報セット（Disparrity Set）の情報が指定される。
【０２９９】
図６５、図６６は、ＨＤＭＩ Vendor Specific InfoFrame のパケット構造を示している。このＨＤＭＩ Vendor Specific InfoFrameについては、CEA-861-Dに定義されているので、詳細説明は省略する。
【０３００】
第４バイト（ＰＢ４）の第７ビットから第５ビットに、画像データの種類を示す３ビットの情報「HDMI_Video_Format」が配置されている。画像データが３Ｄ画像データである場合、この３ビットの情報は「０１０」とされる。また、このように画像データが３Ｄ画像データである場合、第５バイト（ＰＢ５）の第７ビットから第４ビットに、ＴＭＤＳ伝送データ構造を示す４ビットの情報「3D_Structure」が配置される。例えば、フレームパッキング方式（図５３参照）の場合、この４ビットの情報は、「００００」とされる。また、例えば、ラインオルタネイティブ方式（図５４参照）の場合、この４ビットの情報は、「００１０」とされる。また、例えば、サイド・バイ・サイド（Ｆｕｌｌ）方式（図５５参照）の場合、この４ビットの情報は、「００１１」とされる。
【０３０１】
また、第５バイト（ＰＢ５）の第３ビットに、「3D_Meta_present」が配置され、Vendor SpecificInfoFrame extensionを指定する場合、この１ビットは「１」とされる。また、第７バイト（ＰＢ７）の第７ビットから第５ビットに、「3D_Metadata_type」が配置されている。視差情報セット（Disparity Set）の情報を指定する場合、この３ビットの情報は、未使用の、例えば、“０１０”とされる。また、第７バイト（ＰＢ７）の第４バイトから第０バイトに、「3D_Metadata_length」が配置されている。この５ビットの情報により、以降に配置される3D_Metadata領域の長さが示される。
【０３０２】
また、第７＋１バイト（ＰＢ７＋１）の第７ビットに、「Disparity_Info_type（1bit）」が配置されている。この情報は、視差情報セットが第１の種類であるか第２の種類であるかを示す。図６７に示すように、「Disparity_Info_type」が“１”であるとき、視差情報セットが第１の種類であることを示す。この場合、視差情報セットには、所定数の視差ベクトル（視差情報）と、各視差ベクトルが属する画像領域上の位置を示す位置情報（ブロックＩＤ）が含まれている。また、「Disparity_Info_type」が“０”であるとき、視差情報セットが第２の種類であることを示す。この場合、視差情報セットには、画像領域の分割情報と、各分割領域を代表する視差情報とが含まれている。
【０３０３】
また、第７＋１バイトの第６ビットから第４ビットに、「Dimension(3bits)」が配置されている。この情報は、画像（ピクチャ）領域の分割情報である。図６７および図６８（ａ）に示すように、「Dimension」が“０００”であるとき、画像（ピクチャ）領域は分割されておらず、この画像（ピクチャ）領域を代表する１つの視差ベクトル（視差情報）が送信されることを示す。
【０３０４】
また、図６７および図６８（ｂ）に示すように、「Dimension」が“００１”であるとき、画像（ピクチャ）領域は４分割されており、この各分割領域を代表する４個の視差ベクトル（視差情報）が送信されることを示す。この場合、左上の領域の視差ベクトルが最初で、右下の領域の視差ベクトルが最後となるように配置される（図６８（ｂ）の０〜３の順）。
【０３０５】
また、図６７および図６８（ｃ）に示すように、「Dimension」が“０１０”であるとき、画像（ピクチャ）領域は９分割されており、この各分割領域を代表する９個の視差ベクトル（視差情報）が送信されることを示す。この場合、左上の領域の視差ベクトルが最初で、右下の領域の視差ベクトルが最後となるように配置される（図６８（ｃ）の０〜８の順）。
【０３０６】
また、図６７および図６８（ｄ）に示すように、「Dimension」が“０１１”であるとき、画像（ピクチャ）領域は１６分割されており、この各分割領域を代表する１６個の視差ベクトル（視差情報）が送信されることを示す。この場合、左上の領域の視差ベクトルが最初で、右下の領域の視差ベクトルが最後となるように配置される（図６８（ｄ）の０〜１５の順）。
【０３０７】
また、第７＋１バイト（ＰＢ７＋１）の第３ビットに、「DPstrt(1bit)」が配置されている。この情報は、現在のフレームの視差情報セットの連続情報を示す。図６７に示すように、「DPstrt」が“０”であるとき、現在のフレームの視差情報セットは、前のフレームの視差情報セットから連続したものであることを示す。また、図６７に示すように、「DPstrt」が“１”であるとき、現在のフレームの視差情報セットは、現在のフレームから始まったものであることを示す。
【０３０８】
また、第７＋１バイト（ＰＢ７＋１）の第２ビットに、「ASP(1bit)」が配置されている。この情報は、視差情報セットがアクティブスペース領域を利用して送信されるか否かを示す。「ASP」が“１”であるとき、視差情報セットがアクティブスペース領域を利用して送信されることを示す。なお、ここでは、視差情報セットがＨＤＭＩ Vendor Specific InfoFrame を利用して送信されるものであり、「ASP」が“０”とされる。
【０３０９】
また、第７＋１バイト（ＰＢ７＋１）の第１ビットに、「VB(1bit)」が配置されている。この情報は、視差情報セットが、ＨＤＭＩ VendorSpecific InfoFrame パケット以外を利用して、画像データのブランキング期間で送信されるか否かを示す。「VB」が“１”であるとき、視差情報セットがＨＤＭＩ Vendor SpecificInfoFrame パケット以外を利用して画像データのブランキング期間で送信されることを示す。なお、ここでは、視差情報セットがＨＤＭＩ Vendor Specific InfoFrame を利用して送信されるものであり、「VB」が“０”とされる。
【０３１０】
第７＋２バイト以降に、実際の視差情報セットが配置される。図６５は、「Disparity_Info_type」が“０”の場合を示している。視差情報セットとして、第２の種類の視差情報セットが配置されている。各分割領域を代表する水平方向の視差ベクトル（視差情報）が順次配置されている。この場合、各視差ベクトルは８ビットの情報とされる。ここで、「Dimension」が“０００”，“００１”，“０１０”，“０１１”であるとき、それぞれ、１個、４個、９個、１６個の視差ベクトル（視差情報）が配置される。
【０３１１】
図６６は、「Disparity_Info_type」が“１”の場合を示している。視差情報セットとして、第１の種類の視差情報セットが配置されている。位置情報（ブロックＩＤ）および視差ベクトルのセットが順次配置されている。例えば、１９２０×１０８０の画像（ピクチャ）領域を１６×１６画素のブロックで分割すると、ブロック数は８１００となり、個々のブロックは１３ビットでＩＤ表現できる。
【０３１２】
ここで、各視差ベクトルのセットは、図６９（ｄ）に示すように、１３ビットのブロックＩＤ（ID_Block(i)）と、８ビットの水平方向の視差ベクトル（Disparity_Vector_Horizontal）により構成される。そのため、各視差ベクトルのセットを配置するために、第１〜第３の３バイトが使用される。第１バイトに「ID_Block(i)」の上位８ビットが配置され、第２のバイトの第７ビットから第３ビットに「ID_Block(i)」の下位５ビットが配置される。第３バイトに「Disparity_Vector_Horizontal」が配置される。
【０３１３】
視差ベクトルのセットの個数は、視差情報セットに、どの階層を含むかによる。例えば、図６９（ａ）に示す階層だけを含む場合には、１セットとなり、そのセットの視差ベクトルは、例えば、図６９（ｄ）に示す最下層の各領域（ブロック）で検出された視差ベクトルのうち最大視差を示すものとされる。そして、そのセットのブロックＩＤは、その最大視差を示す視差ベクトルが属する最下層の領域位置を示すものとされる。
【０３１４】
同様に、例えば、図６９（ｂ）に示す階層のみを含む場合には各領域に対応した４セットとなり、図６９（ｃ）に示す階層のみを含む場合には各領域に対応した２４セットとなる。この場合、各セットの視差ベクトルは、各領域内に含まれる最下層の各領域（ブロック）で検出された視差ベクトルのうち最大視差を示すものとされる。そして、その各セットのブロックＩＤは、その最大視差を示す視差ベクトルが属する最下層の領域位置を示すものとされる。
【０３１５】
なお、図６５、図６６に示すＨＤＭＩ Vendor Specific InfoFrame のパケット構造は、「Disparity_Info_type」の情報で、このパケットで送信される視差情報セットが第１の種類か第２の種類かを示している。しかし、最初からこのパケットで送信される視差情報セットが第１の種類あるいは第２の種類のみに限られている場合には、この「Disparity_Info_type」の情報は不要となる。
【０３１６】
図７０は、送信される視差情報セットが第２の種類のみに限られている場合における、ＨＤＭＩ Vendor Specific InfoFrame のパケット構造を示している。この場合、第７＋１バイト（ＰＢ７＋１）の第７ビットは、リザーブ（Reserved(0)とされる。
【０３１７】
次に、アクティブスペース（Active Space）を利用して、第１の種類または第２の種類の視差情報セットを、選択的に送信する方法について説明する。この方法では、図７１にＨＤＭＩ Vendor Specific InfoFrame のパケット構造を示すように、現状ではReserved bitとなっている第７＋１バイト（ＰＢ７＋１）の第２ビットに、「ASP(1bit)」が定義され、この１ビットの情報が“１”とされる。その上で、現状ではReservedとされているアクティブスペース領域を用いて、新たに情報エリアが定義され、そこに視差情報セットが配置される。
【０３１８】
なお、図７１のＨＤＭＩ Vendor Specific InfoFrame のパケット構造において、第７バイトには、上述した図６５、図６６に示すＨＤＭＩ Vendor Specific InfoFrame のパケット構造と同様の情報が配置されている。
【０３１９】
図７２は、「Disparity_Info_type」が“０”の場合、つまり視差情報セットとして第２の種類の視差情報セットを送信する場合における、アクティブスペース領域に配置される視差情報セットの構造を示している。この場合、視差情報セットとして、各分割領域を代表する水平方向の視差ベクトル（視差情報）が順次配置される。第０バイトに、３ビットの「Active_space_info_Type」と、２ビットの「Connect_Info」の情報が配置される。また、第１バイトおよび第２バイトに、以降の視差情報セットが配置される領域の長さを示す１６ビットの「Data_Length」の上位８ビットおよび下位８ビットが配置される。
【０３２０】
図７３は、「Disparity_Info_type」が“１”の場合、つまり視差情報セットとして第１の種類の視差情報セットを送信する場合における、アクティブスペース領域に配置される視差情報セットの構造を示している。この場合、視差情報セットとして、位置情報（ブロックＩＤ）および視差ベクトルのセットが順次配置される。
【０３２１】
第０バイトに、３ビットの「Active_space_info_Type」と、３ビットの「Block_Size」と、２ビットの「Connect_Info」の情報が配置される。第１バイトおよび第２バイトに、以降の視差情報セットが配置される領域の長さを示す１６ビットの「Data_Length」の上位８ビットおよび下位８ビットが配置される。
【０３２２】
各視差ベクトルの情報セットは各３バイトの領域を使用して配置される。第１バイトに「ID_Block(i)」の上位８ビットが配置され、第２のバイトの第７ビットから第３ビットに「ID_Block(i)」の下位５ビットが配置される。第３バイトに「Disparity_Vector_Horizontal」が配置される。
【０３２３】
図７４は、図７２、図７３に示す視差情報セット構造の各情報の内容を示している。「Active_space_info_Type」の情報は、視差情報セットであることを示す識別情報である。「Block_Size」の情報は、視差ベクトル（視差情報）の空間密度を示すブロックサイズを示している。“００”はブロックサイズが１×１画素、つまりピクセル（画素）であることを示す。“０１”は、ブロックサイズが１６×１６画素であることを示す。“１０”はブロックサイズが３２×３２画素であることを示す。
【０３２４】
「Connect_Info」の情報は、アクティブスペース領域の連結情報を示している。“００”は、現在のアクティブスペース領域に配置されている視差情報セットは、現在のアクティブスペース領域から始まっていることを示す。“０１”は、このアクティブスペース領域に配置されている視差情報セットが、後のアクティブスペース領域に配置される視差情報セットと連結されることを示す。“１０”は、このアクティブスペース領域に配置されている視差情報セットが、前のアクティブスペース領域に配置される視差情報セットと連結されることを示す。“１１”は、このアクティブスペース領域に配置されている視差情報セットが、前後のアクティブスペース領域に配置される視差情報セットと連結されることを示す。
【０３２５】
なお、連結される最後のアクティブスペースが終了するビデオフレームのタイミングは、対象となる画像データを送るフレームよりも少なくとも同時か、それよりも早い時点で送信終了するよう配置することが、シンク側での対応の点で重要である。
【０３２６】
図７５（ａ）は、視差情報セットが第１の種類であって、「Block_Size」が“０１”、“１０”の場合の各視差ベクトルの情報セットの配置例を示している。この場合には、上述したように、各視差ベクトルの情報セットは各３バイトの領域を使用して配置される。図７５（ｂ）は、視差情報セットが第１の種類であって、「Block_Size」が“００”の場合の各視差ベクトルの情報セットの配置例を示している。この場合には、ピクチャの全画素をスキャン順（映像画素順）に羅列することで、「ID_Block(i)」を省略できる。すなわち、この場合、各視差ベクトルの情報セットは各２バイトの領域を使用して配置される。
【０３２７】
なお、図７１に示すＨＤＭＩ Vendor Specific InfoFrame のパケット構造は、「Disparity_Info_type」の情報で、アクティブスペース領域で送信される視差情報セットが第１の種類か第２の種類かを示している。しかし、最初からアクティブスペース領域で送信される視差情報セットが第１の種類あるいは第２の種類のみに限られている場合には、この「Disparity_Info_type」の情報は不要となる。その場合、図７６に示すように、第７＋１バイト（ＰＢ７＋１）の第７ビットは、リザーブ（Reserved(0)とされる。
【０３２８】
上述したように、図１に示す立体画像表示システム１０においては、左眼画像および右眼画像の一方に対する他方の視差情報に基づいて、左眼画像および右眼画像に重畳する同一の重畳情報（クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報など）に視差が付与される。そのため、左眼画像および右眼画像に重畳される同一の重畳情報として、画像内の各物体（オブジェクト）の遠近感に応じて視差調整が施されたものを用いることができ、重畳情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。
【０３２９】
＜２．変形例＞
なお、上述実施の形態においては、立体画像表示システム１０が、放送局１００、セットトップボックス２００およびテレビ受信機３００で構成されているものを示した。しかし、テレビ受信機３００は、図４６に示すように、セットトップボックス２００内のビットストリーム処理部２０１と同等に機能するビットストリーム処理部２０１を備えている。したがって、図７７に示すように、放送局１００およびテレビ受信機３００で構成される立体画像表示システム１０Ａも考えられる。
【０３３０】
また、上述実施の形態においては、立体画像データを含むデータストリーム（ビットストリームデータ）が放送局１００から放送される例を示した。しかし、この発明は、このデータストリームがインターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できることは勿論である。
【０３３１】
また、上述実施の形態においては、セットトップボックス２００Ａからテレビ受信機３００Ａに視差情報セットを送信する方法として、ＨＤＭＩ Vendor Specific InfoFrame を利用する方法、アクティブスペース（Active Space）を利用する方法を説明した。その他に、ＨＰＤライン８６（ＨＥＡＣ−ライン）およびユーティリティライン８８（ＨＥＡＣ＋ライン）で構成される双方向通信路を通じて送信することも考えられる。
【０３３２】
また、上述実施の形態においては、セットトップボックス２００，２００Ａと、テレビ受信機３００，３００Ａとが、ＨＤＭＩのデジタルインタフェースで接続されるものを示している。しかし、これらが、ＨＤＭＩのデジタルインタフェースと同様のデジタルインタフェース（有線の他に無線も含む）で接続される場合においても、この発明を適用できることは勿論である。
【０３３３】
また、上述実施の形態においては、セットトップボックス２００Ａからテレビ受信機３００Ａに、ビットストリーム処理部２０１で使用されている視差ベクトル（図８、図２７参照）の全部または一部を視差情報セットとして、ＨＤＭＩインタフェースにより送信する例を示した。しかし、このようにＨＤＭＩインタフェースを通じて視差情報セットを送信する技術に関しては、その他のソース機器およびシンク機器の組み合わせにも応用できることは勿論である。例えば、ソース機器としてはＢＤやＤＶＤ等のディスクプレーヤ、さらにはゲーム機なども考えられ、シンク機器としてはモニタ装置、プロジェクタ装置なども考えられる。
【産業上の利用可能性】
【０３３４】
この発明は、クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報等の重畳情報を画像に重畳して表示する立体画像表示システム等に適用できる。
【符号の説明】
【０３３５】
１０，１０Ａ・・・立体画像表示システム、１００・・・放送局、１１０，１１０Ａ〜１１０Ｄ・・・送信データ生成部、１１１Ｌ，１１１Ｒ・・・カメラ、１１２・・・ビデオフレーミング部、１１３・・・ビデオエンコーダ、１１３ａ・・・ストリームフォーマッタ、１１４・・・視差ベクトル検出部、１１５・・・視差ベクトルエンコーダ、１１６・・・マイクロホン、１１７・・・オーディオエンコーダ、１１８・・・サブタイトル・グラフィクス発生部、１１９・・・サブタイトル・グラフィクスエンコーダ、１１９ａ・・・ストリームフォーマッタ、１２０・・・テキスト発生部、１２１・・・テキストエンコーダ、１２２・・・マルチプレクサ、１２４・・・サブタイトル・グラフィクス処理部、１２５・・・テキスト処理部、１３０・・・データ取り出し部、１３０ａ・・・データ記録媒体、１３１〜１３３・・・切換スイッチ、視差情報セット作成部、２００，２００Ａ・・・セットトップボックス、２０１，２０１Ａ，２０１Ｂ，２０１Ｃ・・・ビットストリーム処理部、２０２・・・ＨＤＭＩ端子、２０３・・・アンテナ端子、２０４・・・デジタルチューナ、２０５・・・映像信号処理回路、２０６・・・ＨＤＭＩ送信部、２０７・・・音声信号処理回路、２１１・・・ＣＰＵ、２１２・・・フラッシュＲＯＭ、２１３・・・ＤＲＡＭ、２１４・・・内部バス、２１５・・・リモコン受信部、２１６・・・リモコン送信機、２２０・・・デマルチプレクサ、２２１・・・ビデオデコーダ、２２２・・・サブタイトル・グラフィクスデコーダ、２２３・・・テキストデコーダ、２２４・・・オーディオデコーダ、２２５・・・視差ベクトルデコーダ、２２６・・・立体画像用サブタイトル・グラフィクス発生部、２２７・・・立体画像用テキスト発生部、２２８・・・ビデオ重畳部、２２９・・・マルチチャネルスピーカコントロール部、２３１・・・視差ベクトル抽出部、２３２・・・視差ベクトル取り出し検出部、３００，３００Ａ・・・テレビ受信機、３０１・・・３Ｄ信号処理部、３０２・・・ＨＤＭＩ端子、３０３・・・ＨＤＭＩ受信部、３０４・・・アンテナ端子、３０５・・・デジタルチューナ、３０６・・・ビットストリーム処理部、３０７・・・映像・グラフィック処理回路、３０８・・・パネル駆動回路、３０９・・・表示パネル、３１０・・・音声信号処理回路、３１１・・・音声増幅回路、３１２・・・スピーカ、３２１・・・ＣＰＵ、３２２・・・フラッシュＲＯＭ、３２３・・・ＤＲＡＭ、３２４・・・内部バス、３２５・・・リモコン受信部、３２６・・・リモコン送信機、４００・・・ＨＤＭＩケーブル
【特許請求の範囲】
【請求項１】
左眼画像データおよび右眼画像データを含む立体画像データと、左眼画像および右眼画像の一方に対する他方の視差情報を含む視差情報セットとを、伝送路を介して、外部機器に送信するデータ送信部
を備える立体画像データ送信装置。
【請求項２】
上記データ送信部は、
上記画像データを、複数チャネルで、差動信号により、上記伝送路を介して、上記外部機器に送信し、
上記画像データのブランキング期間に上記視差情報セットを挿入することで、該視差情報を上記外部機器に送信する
請求項１に記載の立体画像データ受信装置。
【請求項３】
上記視差情報セットは、画像領域上の所定数の位置に対応した視差情報と、各視差情報が属する上記画像領域上の位置を示す位置情報とを含む
請求項２に記載の立体画像データ送信装置。
【請求項４】
上記視差情報セットは、画像領域の分割情報と、各分割領域を代表する視差情報とを含む
請求項２に記載の立体画像データ送信装置。
【請求項５】
上記視差情報セットには、該視差情報セットが第１の種類であるか第２の種類であるかを示す識別情報が付加されており、
上記視差情報セットは、
上記識別情報が上記第１の種類を示すとき、画像領域上の所定数の位置に対応した視差情報と、各視差情報が属する上記画像領域上の位置を示す位置情報とを含み、
上記識別情報が上記第２の種類を示すとき、上記画像領域の分割情報と、各分割領域を代表する視差情報とを含む
請求項２に記載の立体画像データ送信装置。
【請求項６】
上記データ送信部は、
垂直同期信号により区切られる、水平ブランキング期間、垂直ブランキング期間およびアクティブビデオ区間を含むビデオフィールド区間を単位とする伝送データを生成する伝送データ生成部と、
上記伝送データ生成部で生成された伝送データを、複数チャネルで、差動信号により、上記伝送路を介して、上記外部機器に送信する伝送データ送信部とを有し、
上記アクティブビデオ区間は、主映像領域および補助映像領域を有し、
上記伝送データ生成部は、上記主映像領域に画像データを配し、上記補助映像領域に、上記主映像領域に配される画像データに関連した上記視差情報セットを配する
請求項１に記載の立体画像データ受信装置。
【請求項７】
上記視差情報セットは、画像領域上の所定数の位置に対応した視差情報と、各視差情報が属する上記画像領域上の位置を示す位置情報とを含む
請求項６に記載の立体画像データ送信装置。
【請求項８】
上記視差情報セットは、画像領域の分割情報と、各分割領域を代表する視差情報とを含む
請求項６に記載の立体画像データ送信装置。
【請求項９】
上記視差情報セットには、該視差情報セットが第１の種類であるか第２の種類であるかを示す識別情報が付加されており、
上記視差情報セットは、
上記識別情報が上記第１の種類を示すとき、画像領域上の所定数の位置に対応した視差情報と、各視差情報が属する上記画像領域上の位置を示す位置情報とを含み、
上記識別情報が上記第２の種類を示すとき、上記画像領域の分割情報と、各分割領域を代表する視差情報とを含む
請求項６に記載の立体画像データ送信装置。
【請求項１０】
左眼画像データおよび右眼画像データを含む立体画像データと、左眼画像および右眼画像の一方に対する他方の視差情報を含む視差情報セットとを、伝送路を介して、外部機器に送信するデータ送信ステップ
を有する立体画像データ送信方法。
【請求項１】
左眼画像データおよび右眼画像データを含む立体画像データと、左眼画像および右眼画像の一方に対する他方の視差情報を含む視差情報セットとを、伝送路を介して、外部機器に送信するデータ送信部
を備える立体画像データ送信装置。
【請求項２】
上記データ送信部は、
上記画像データを、複数チャネルで、差動信号により、上記伝送路を介して、上記外部機器に送信し、
上記画像データのブランキング期間に上記視差情報セットを挿入することで、該視差情報を上記外部機器に送信する
請求項１に記載の立体画像データ受信装置。
【請求項３】
上記視差情報セットは、画像領域上の所定数の位置に対応した視差情報と、各視差情報が属する上記画像領域上の位置を示す位置情報とを含む
請求項２に記載の立体画像データ送信装置。
【請求項４】
上記視差情報セットは、画像領域の分割情報と、各分割領域を代表する視差情報とを含む
請求項２に記載の立体画像データ送信装置。
【請求項５】
上記視差情報セットには、該視差情報セットが第１の種類であるか第２の種類であるかを示す識別情報が付加されており、
上記視差情報セットは、
上記識別情報が上記第１の種類を示すとき、画像領域上の所定数の位置に対応した視差情報と、各視差情報が属する上記画像領域上の位置を示す位置情報とを含み、
上記識別情報が上記第２の種類を示すとき、上記画像領域の分割情報と、各分割領域を代表する視差情報とを含む
請求項２に記載の立体画像データ送信装置。
【請求項６】
上記データ送信部は、
垂直同期信号により区切られる、水平ブランキング期間、垂直ブランキング期間およびアクティブビデオ区間を含むビデオフィールド区間を単位とする伝送データを生成する伝送データ生成部と、
上記伝送データ生成部で生成された伝送データを、複数チャネルで、差動信号により、上記伝送路を介して、上記外部機器に送信する伝送データ送信部とを有し、
上記アクティブビデオ区間は、主映像領域および補助映像領域を有し、
上記伝送データ生成部は、上記主映像領域に画像データを配し、上記補助映像領域に、上記主映像領域に配される画像データに関連した上記視差情報セットを配する
請求項１に記載の立体画像データ受信装置。
【請求項７】
上記視差情報セットは、画像領域上の所定数の位置に対応した視差情報と、各視差情報が属する上記画像領域上の位置を示す位置情報とを含む
請求項６に記載の立体画像データ送信装置。
【請求項８】
上記視差情報セットは、画像領域の分割情報と、各分割領域を代表する視差情報とを含む
請求項６に記載の立体画像データ送信装置。
【請求項９】
上記視差情報セットには、該視差情報セットが第１の種類であるか第２の種類であるかを示す識別情報が付加されており、
上記視差情報セットは、
上記識別情報が上記第１の種類を示すとき、画像領域上の所定数の位置に対応した視差情報と、各視差情報が属する上記画像領域上の位置を示す位置情報とを含み、
上記識別情報が上記第２の種類を示すとき、上記画像領域の分割情報と、各分割領域を代表する視差情報とを含む
請求項６に記載の立体画像データ送信装置。
【請求項１０】
左眼画像データおよび右眼画像データを含む立体画像データと、左眼画像および右眼画像の一方に対する他方の視差情報を含む視差情報セットとを、伝送路を介して、外部機器に送信するデータ送信ステップ
を有する立体画像データ送信方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図５４】
【図５５】
【図５６】
【図５７】
【図５８】
【図５９】
【図６０】
【図６１】
【図６２】
【図６３】
【図６４】
【図６５】
【図６６】
【図６７】
【図６８】
【図６９】
【図７０】
【図７１】
【図７２】
【図７３】
【図７４】
【図７５】
【図７６】
【図７７】
【図７８】
【図２３】
【図３１】
【図３２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図５４】
【図５５】
【図５６】
【図５７】
【図５８】
【図５９】
【図６０】
【図６１】
【図６２】
【図６３】
【図６４】
【図６５】
【図６６】
【図６７】
【図６８】
【図６９】
【図７０】
【図７１】
【図７２】
【図７３】
【図７４】
【図７５】
【図７６】
【図７７】
【図７８】
【図２３】
【図３１】
【図３２】
【公開番号】特開２０１１−３０１８３（Ｐ２０１１−３０１８３Ａ）
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願番号】特願２０１０−１０５３６（Ｐ２０１０−１０５３６）
【出願日】平成２２年１月２０日（２０１０．１．２０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願日】平成２２年１月２０日（２０１０．１．２０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]