立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
【課題】重畳情報の表示において画像内の各物体との間の遠近感の整合性を維持する。
【解決手段】ビデオフレーミング部１１２は、左眼画像データ及び右眼画像データを、伝送方式に応じた状態に加工し、送信用立体画像データを得る。視差ベクトル検出部１１４は、左眼画像データ及び右眼画像データに基づき、画像内の所定位置において、左眼画像及び右眼画像の一方に対する他方の視差情報である視差ベクトルを検出する。視差ベクトルエンコーダ１１５は、視差ベクトルのエレメンタリーストリームを生成する。マルチプレクサ１２２により、ビデオストリーム、オーディオストリーム、グラフィクスストリーム等の他に視差ベクトルストリームが多重化されたビットストリームデータを生成し、送信する。受信側においては、左眼画像および右眼画像に重畳される同一の重畳情報として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができる。
【解決手段】ビデオフレーミング部１１２は、左眼画像データ及び右眼画像データを、伝送方式に応じた状態に加工し、送信用立体画像データを得る。視差ベクトル検出部１１４は、左眼画像データ及び右眼画像データに基づき、画像内の所定位置において、左眼画像及び右眼画像の一方に対する他方の視差情報である視差ベクトルを検出する。視差ベクトルエンコーダ１１５は、視差ベクトルのエレメンタリーストリームを生成する。マルチプレクサ１２２により、ビデオストリーム、オーディオストリーム、グラフィクスストリーム等の他に視差ベクトルストリームが多重化されたビットストリームデータを生成し、送信する。受信側においては、左眼画像および右眼画像に重畳される同一の重畳情報として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法に関し、特に、グラフィクス情報、テキスト情報等の重畳情報の表示を良好に行い得る立体画像データ送信方法等に関する。
【背景技術】
【０００２】
例えば、特許文献１には、立体画像データのテレビ放送電波を用いた伝送方式について提案されている。この場合、左眼用画像データおよび右眼用画像データを含む立体画像データが送信され、テレビ受信機において、両眼視差を利用した立体画像表示が行われる。
【０００３】
図４２は、両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクト（物体）の左右像の表示位置と、その立体像の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Ｌａが右側に右像Ｒａが左側にずれて表示されているオブジェクトＡに関しては、左右の視線がスクリーン面より手前で交差するため、その立体像の再生位置はスクリーン面より手前となる。
【０００４】
また、例えば、スクリーン上に図示のように左像Ｌｂおよび右像Ｒｂが同一位置に表示されているオブジェクトＢに関しては、左右の視線がスクリーン面で交差するため、その立体像の再生位置はスクリーン面上となる。さらに、例えば、スクリーン上に図示のように左像Ｌｃが左側に右像Ｒｃが右側にずれて表示されているオブジェクトＣに関しては、左右の視線がスクリーン面より奥で交差するため、その立体像の再生位置はスクリーン面より奥となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−６１１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したように立体画像表示において、視聴者は、両眼視差を利用して、立体画像の遠近感を認知することが普通である。画像に重畳される重畳情報、例えばグラフィクス情報、テキスト情報等に関しても、２次元空間的のみならず、３次元の奥行き感としても、立体画像表示と連動してレンダリングされることが期待される。
【０００７】
例えば、画像にグラフィクス情報である字幕を重畳表示(オーバーレイ表示)する場合、遠近感でいうところの最も近い画像内の物体（オブジェクト）よりも手前に表示されないと、視聴者は、遠近感の矛盾を感じる場合がある。また、他のグラフィクス情報、あるいはテキスト情報を画像に重畳表示する場合にも、画像内の各物体の遠近感に応じて視差調整を施し、遠近感の整合性を維持することが期待される。
【０００８】
この発明の目的は、グラフィクス情報、テキスト情報等の重畳情報の表示において、画像内の各物体との間の遠近感の整合性の維持を図ることにある。
【課題を解決するための手段】
【０００９】
この発明の概念は、
立体画像を表示するための左眼画像データおよび右眼画像データに基づき、画像内の所定位置において、左眼画像および右眼画像の一方に対する他方の視差情報を取得し、
上記左眼画像データおよび上記右眼画像データを含む立体画像データと共に、上記取得された視差情報を送信する
立体画像データ送信方法にある。
【００１０】
この発明において、立体画像を表示するための左眼画像データおよび右眼画像データに基づいて、左眼画像および右眼画像の一方に対する他方の視差情報が求められる。この場合、画像内の所定位置において、例えば、ブロックマッチング法により視差情報としての視差ベクトルが求められる。そして、左眼画像データおよび上記右眼画像データを含む立体画像データと共に視差情報が送信される。
【００１１】
例えば、視差情報は、数値情報として送信される。この場合、受信側において、この数値情報に基づいて、左眼画像および右眼画像に重畳される同一の重畳情報に視差が付与される。ここで、重畳情報は、字幕を表示するグラフィクス情報、電子番組表（ＥＰＧ：Electronic Program Guide）、文字放送内容を表示するテキスト情報など、画像に重畳表示される情報を意味している。また、視差情報は、左眼画像データおよび右眼画像データによる画像に重畳するための重畳情報のデータに含めて送信される。この場合、受信側においては、この重畳情報がそのまま用いられる、
【００１２】
このように、左眼画像データおよび右眼画像データを含む立体画像データと共に、画像内の所定位置において取得された視差情報が送信されることで、受信側においては、左眼画像および右眼画像に重畳される同一の重畳情報として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができ、重畳情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。
【００１３】
また、この発明の概念は、
左眼画像データおよび右眼画像データを含む立体画像データを受信する画像データ受信部と、
上記画像データ受信部で受信される立体画像データに含まれる上記左眼画像データおよび上記右眼画像データが処理されて得られた、左眼画像および右眼画像の一方に対する他方の視差情報に基づいて、上記左眼画像および上記右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る画像データ処理部
を備える立体画像データ受信装置にある。
【００１４】
この発明において、画像データ受信部により、左眼画像データおよび右眼画像データを含む立体画像データが受信される。また、画像データ処理部により、左眼画像および右眼画像の一方に対する他方の視差情報に基づいて、左眼画像および右眼画像に重畳する同一の重畳情報に視差が付与される。この視差情報は、画像データ受信部で受信される立体画像データに含まれる左眼画像データおよび右眼画像データが処理されて得られたものである。
【００１５】
例えば、視差情報は、視差情報受信部により、画像データ受信部で受信される立体画像データに同期して、受信される。この場合、画像データ受信部で受信された立体画像データに含まれる左眼画像データおよび右眼画像データに基づいて視差情報を得ることを必要とせず、受信側の処理が簡単となる。また、例えば、視差情報は、視差情報取得部により得られる。この視差情報取得部では、画像データ受信部で受信された立体画像データに含まれる左眼画像データおよび右眼画像データに基づき、画像内の所定位置において、左眼画像および右眼画像の一方に対する他方の視差情報が得られる。この場合、視差情報が送られてこなくても、視差情報を用いた処理が可能となる。
【００１６】
また、画像データ処理部により、重畳情報が重畳された左眼画像のデータおよび重畳情報が重畳された右眼画像のデータが得られる。例えば、画像データ送信部により、画像データ処理部で得られた左眼画像データおよび右眼画像データを含む立体画像データが外部機器に送信される。また、例えば、画像表示部により、画像データ処理部で得られた左眼画像データおよび右眼画像データによる立体画像表示のための画像が表示される。
【００１７】
このように、左眼画像および右眼画像の一方に対する他方の視差情報に基づいて、左眼画像および右眼画像に重畳する同一の重畳情報に視差が付与される。そのため、左眼画像および右眼画像に重畳される同一の重畳情報として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができ、重畳情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。
【００１８】
なお、この発明において、例えば、画像データ処理部は、左眼画像および右眼画像に重畳する同一の重畳情報に、この重畳情報の重畳位置に応じた視差を付与する、ようにしてもよい。この場合、各重畳情報に重畳位置に応じた視差が付与されるので、例えば重畳位置に存在する物体の遠近感と同等の遠近感を重畳情報に持たせることが可能となる。
【００１９】
また、この発明において、例えば、マルチチャネルのスピーカと、左眼画像データおよび右眼画像データの一方に対する他方の視差情報に基づいて、マルチチャネルのスピーカ出力を制御する制御部をさらに備える、ようにしてもよい。この場合、立体感をさらに際だたせることができる。
【発明の効果】
【００２０】
この発明によれば、立体画像データの受信側で、左眼画像および右眼画像に重畳される同一の重畳情報として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができ、重畳情報の表示において遠近感の整合性を維持することが可能となる。
【図面の簡単な説明】
【００２１】
【図１】この発明の実施の形態としての立体画像表示システムの構成例を示すブロック図である。
【図２】放送局における送信データ生成部の構成例を示すブロック図である。
【図３】１９２０×１０８０ｐのピクセルフォーマットの画像データを示す図である。
【図４】立体画像データ（３Ｄ画像データ）の伝送方式である「Top & Bottom」方式、「Side By Side」方式、「Frame Sequential」方式を説明するための図である。
【図５】左眼画像に対する右眼画像の視差ベクトルを検出する例を説明するための図である。
【図６】視差ベクトルをブロックマッチング方式で求めることを説明するための図である。
【図７】視差ベクトル検出部で検出される、画像内の所定位置おける視差ベクトルＶＶの一例を示す図である。
【図８】視差ベクトルの伝送内容を示す図である。
【図９】視差検出ブロック例と、その場合の視差ベクトルの伝送内容を示す図である。
【図１０】視差ベクトルを検出して伝送するタイミングの例を説明するための図である。
【図１１】視差ベクトルを検出して伝送するタイミングの例を説明するための図である。
【図１２】送信データ生成部において多重化される各データのストリーム例を示す図である。
【図１３】放送局における送信データ生成部の他の構成例を示すブロック図である。
【図１４】伝送方式が第１の伝送方式（「Top & Bottom」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置等を説明するための図である。
【図１５】伝送方式が第１の伝送方式（「Top & Bottom」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の生成方法を説明するための図である。
【図１６】伝送方式が第２の伝送方式（「Side By Side」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の生成方法を説明するための図である。
【図１７】伝送方式が第２の伝送方式（「Side By Side」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の生成方法を説明するための図である。
【図１８】放送局における送信データ生成部の他の構成例を示すブロック図である。
【図１９】伝送方式が第２の伝送方式（「Side By Side」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示す図である。
【図２０】左眼画像、右眼画像に対して、ビットストリームデータから抽出された従来方法により伝送されるグラフィクスデータによるグラフィクス画像をそのまま重畳した状態を示す図である。
【図２１】時刻Ｔ０，Ｔ１，Ｔ２，Ｔ３における３つのオブジェクト位置の視差ベクトル（View Vector）を示す図である。
【図２２】画像上における字幕（グラフィクス情報）の表示例と、背景、近景オブジェクト、字幕の遠近感を示す図である。
【図２３】画像上における字幕（グラフィクス情報）の表示例と、字幕を表示するための左眼グラフィクス情報ＬＧＩおよび右眼グラフィクス情報ＲＧＩを示す図である。
【図２４】視差ベクトルとして、画像内の複数位置で検出された視差ベクトルのうち、その重畳位置に対応したものを使用することを説明するための図である。
【図２５】画像内にＡ，Ｂ，Ｃの各オブジェクトが存在し、これら各オブジェクトの近傍位置に、各オブジェクトの注釈を示すテキスト情報を重畳することを示す図である。
【図２６】セットトップボックスの構成例を示すブロック図である。
【図２７】セットトップボックスを構成するビットストリーム処理部の構成例を示すブロック図である。
【図２８】視差ベクトルＶＶ１が、テレビディスプレイに向かって左側のビデオオブジェクトの方が大きい場合のスピーカ出力制御例を示す図である。
【図２９】セットトップボックスを構成するビットストリーム処理部の他の構成例を示すブロック図である。
【図３０】セットトップボックスを構成するビットストリーム処理部の他の構成例を示すブロック図である。
【図３１】テレビ受信機の構成例を示す図である。
【図３２】ＨＤＭＩ送信部（ＨＤＭＩソース）とＨＤＭＩ受信部（ＨＤＭＩシンク）の構成例を示すブロック図である。
【図３３】ＨＤＭＩ送信部を構成するＨＤＭＩトランスミッタと、ＨＤＭＩ受信部を構成するＨＤＭＩレシーバの構成例を示すブロック図である。
【図３４】ＴＭＤＳ伝送データの構造例（横×縦が１９２０ピクセル×１０８０ラインの画像データが伝送される場合）を示す図である。
【図３５】ソース機器およびシンク機器のＨＤＭＩケーブルが接続されるＨＤＭＩ端子のピン配列（タイプＡ）を示す図である。
【図３６】第１の伝送方式（「Top & Bottom」方式）のＴＭＤＳ伝送データ例を示す図である。
【図３７】第２の伝送方式（「Side By Side」方式）のＴＭＤＳ伝送データ例を示す図である。
【図３８】第３の伝送方式（「Frame Sequential」方式）のＴＭＤＳ伝送データ例を示す図である。
【図３９】ＨＤＭＩ 1.4（New HDMI）での「FrameSequential」方式と、ＨＤＭＩ 1.3（LegacyHDMI）での「Frame Sequential」方式を説明するための図である。
【図４０】セットトップボックスを構成するビットストリーム処理部の他の構成例を示すブロック図である。
【図４１】立体画像表示システムの他の構成例を示す図である。
【図４２】両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクトの左右像の表示位置と、その立体像の再生位置との関係を示す図である。
【発明を実施するための形態】
【００２２】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．第１の実施の形態
２．変形例
【００２３】
＜１．実施の形態＞
［立体画像送受信システムの構成例］
図１は、実施の形態としての立体画像送受信システム１０の構成例を示している。この立体画像送受信システム１０は、放送局１００と、セットトップボックス（ＳＴＢ：Set Top Box）２００と、テレビ受信機３００を有している。
【００２４】
セットトップボックス２００およびテレビ受信機３００は、ＨＤＭＩ（High Definition Multimedia Interface）ケーブル４００を介して接続されている。セットトップボックス２００には、ＨＤＭＩ端子２０２が設けられている。テレビ受信機３００には、ＨＤＭＩ端子３０２が設けられている。ＨＤＭＩケーブル４００の一端はセットトップボックス２００のＨＤＭＩ端子２０２に接続され、このＨＤＭＩケーブル４００の他端はテレビ受信機３００のＨＤＭＩ端子３０２に接続されている。
【００２５】
［放送局の説明］
放送局１００は、ビットストリームデータを、放送波にのせて送信する。このビットストリームデータには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データ、グラフィクスデータ、テキストデータ、さらには視差情報としての視差ベクトルが含まれる。
【００２６】
図２は、放送局１００において、上述のビットストリームデータを生成する送信データ生成部１１０の構成例を示している。この構成例は、視差ベクトルを数値情報として送信する例である。この送信データ生成部１１０は、カメラ１１１Ｌ，１１１Ｒと、ビデオフレーミング部１１２と、ビデオエンコーダ１１３と、ビデオエンコーダ１１３と、視差ベクトル検出部１１４と、視差ベクトルエンコーダ１１５を有している。また、この送信データ生成部１１０は、マイクロホン１１６と、オーディオエンコーダ１１７と、グラフィクス発生部１１８と、グラフィクスエンコーダ１１９と、テキスト発生部１２０と、テキストエンコーダ１２１と、マルチプレクサ１２２を有している。
【００２７】
カメラ１１１Ｌは、左眼画像を撮影して立体画像表示のための左眼画像データを得る。カメラ１１１Ｒは、右眼画像を撮影して立体画像表示のための右眼画像データを得る。ビデオフレーミング部１１２は、カメラ１１１Ｌで得られる左眼画像データおよびカメラ１１１Ｒで得られる右眼画像データを、伝送方式に応じた状態に加工処理する。
【００２８】
［立体画像データの伝送方式例］
ここでは、立体画像データ（３Ｄ画像データ）の伝送方式として、以下の第１〜第３の方式を挙げるが、これら以外の伝送方式であってもよい。ここでは、図３に示すように、左眼（Ｌ）および右眼（Ｒ）の画像データが、それぞれ、決められた解像度、例えば １９２０×１０８０ｐのピクセルフォーマットの画像データである場合を例にとって説明する。
【００２９】
第１の伝送方式は、「Top & Bottom」方式で、図４（ａ）に示すように、垂直方向の前半では左眼画像データの各ラインのデータを伝送し、垂直方向の後半では左眼画像データの各ラインのデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データのラインが１／２に間引かれることから原信号に対して垂直解像度は半分となる。
【００３０】
第２の伝送方式は、「Side By Side」方式で、図４（ｂ）に示すように、水平方向の前半では左眼画像データのピクセルデータを伝送し、水平方向の後半では右眼画像データのピクセルデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが１／２に間引かれる。現信号に対して、水平解像度は半分となる。
【００３１】
第３の伝送方式は、「Frame Sequential」方式で、図４（ｃ）に示すように、左眼画像データと右眼画像データとをフィールド毎に順次切換えて伝送する方式である。
【００３２】
図２に戻って、ビデオエンコーダ１１３は、ビデオフレーミング部１１２で加工処理された立体画像データに対して、ＭＰＥＧ４−ＡＶＣ、あるいはＭＰＥＧ２等の圧縮符号化を施し、ビデオのエレメンタリーストリームを生成する。さらに、ビデオエンコーダ１１３は、このビデオのエレメンタリーストリームを分割してビデオのＰＥＳ（Packetized Elementary Stream）パケットを生成し、最終的にビデオのＴＳ（Transport Stream）パケットを生成する。あるいは、ＭＰ４などのファイルコンテナに多重化され、またはリアルタイム用のパケットをコンテナとして伝送されるよう生成がなされる。
【００３３】
視差ベクトル検出部１１４は、左眼画像データおよび右眼画像データに基づき、画像内の所定位置において、左眼画像および右眼画像の一方に対する他方の視差情報である視差ベクトルを検出する。ここで、画像内の所定位置は、全ての画素位置、複数画素からなる各領域の代表位置、あるいは、グラフィック情報やテキスト情報を重畳する領域の代表位置等である。
【００３４】
［視差ベクトルの検出］
視差ベクトルの検出例について説明する。ここでは、左眼画像に対する右眼画像の視差ベクトルを検出する例について説明する。図５に示すように、左眼画像を検出画像とし、右眼画像を参照画像とする。この例では、（xi,yi）および（xj,yj）の位置における視差ベクトルが検出される。
【００３５】
（xi,yi）の位置における視差ベクトルを検出する場合を例にとって説明する。この場合、左眼画像に、（xi,yi）の位置の画素を左上とする、例えば８×８あるいは１６×１６の画素ブロック（視差検出ブロック）Ｂｉが設定される。そして、右眼画像において、画素ブロックＢｉとマッチングする画素ブロックが探索される。
【００３６】
この場合、右眼画像に、（xi,yi）の位置を中心とする探索範囲が設定され、その探索範囲内の各画素を順次注目画素として、上述の画素ブロックＢｉと同様の例えば８×８あるいは１６×１６の比較ブロックが順次設定されていく。
【００３７】
画素ブロックＢｉと順次設定される比較ブロックとの間で、対応する画素毎の差分絶対値の総和が求められる。ここで、図６に示すように、画素ブロックＢｉの画素値をＬ(x,y)とし、比較ブロックの画素値をＲ(x,y)とするとき、画素ブロックＢｉと、ある比較ブロックとの間における差分絶対値の総和は、Σ｜Ｌ(x,y)−Ｒ(x,y)｜で表される。
【００３８】
右眼画像に設定される探索範囲にｎ個の画素が含まれているとき、最終的にｎ個の総和Ｓ１〜Ｓｎが求められ、その中で最小の総和Ｓminが選択される。そして、この総和Ｓminが得られた比較ブロックから左上の画素の位置が（xi′,yi′）が得られる。これにより、（xi,yi）の位置における視差ベクトルは、（xi′−xi，yi′−yi）のように検出される。詳細説明は省略するが、（xj,yj）の位置における視差ベクトルについても、左眼画像に、（xj,yj）の位置の画素を左上とする、例えば８×８あるいは１６×１６の画素ブロックＢｊが設定されて、同様の処理過程で検出される。
【００３９】
図７（ａ）は、視差ベクトル検出部１１４で検出される、画像内の所定位置おける視差ベクトルＶＶの一例を示している。この場合、図７（ｂ）に示すように、この画像内の所定位置においては、左眼画像（検出画像）を視差ベクトルＶＶだけずらすと、右眼画像（参照画像）と重なることを意味する。
【００４０】
図２に戻って、視差ベクトルエンコーダ１１５は、視差ベクトル検出部１１４で検出された視差ベクトル等を含む視差ベクトルのエレメンタリーストリームを生成する。視差ベクトルエレメンタリーストリームはビデオのエレメンタリーストリームなどと共にＴＳパケットを構成する。
【００４１】
ここで、視差ベクトルのエレメンタリーストリームには、以下の内容が含まれる。すなわち、視差検出ブロックのＩＤ（ID_Block）、視差検出ブロックの垂直位置情報（VerticaL_Position）、視差検出ブロックの水平位置情報（Horizontal_Position）、視差ベクトル（View_Vector）が１セットとされる。そして、このセットが視差検出ブロックの数Ｎの分だけ繰り返される。図８は、視差ベクトルの伝送内容を示している。
【００４２】
なお、視差検出ブロックの垂直、水平の位置は、画像の左上の原点から、ブロックの左上の画素までの垂直方向、水平方向のオフセット値となる。各視差ベクトルの伝送に、視差検出ブロックのＩＤを付すのは、画像に重畳表示させるグラフィクス情報、テキスト情報等の重畳情報のパターンとのリンクがとれるようにするためである。
【００４３】
例えば、図９（ａ）に示すように、Ａ〜Ｆまでの視差検出ブロックが存在するとき、伝送内容には、図９（ｂ）に示すように、その視差検出ブロックＡ〜ＦのＩＤと、垂直、水平の位置情報と、視差ベクトルが含まれる。例えば、図９（ｂ）において、視差検出ブロックＡに関しては、ＩＤ２は視差検出ブロックＡのＩＤを示し、（Ｈａ，Ｖａ）は視差検出ブロックＡの垂直、水平の位置情報を示し、視差ベクトルａは視差検出ブロックＡの視差ベクトルを示している。
【００４４】
ここで、視差ベクトルを検出して伝送するタイミングについて説明する。このタイミングに関しては、例えば、以下の第１〜第４の例が考えられる。
【００４５】
第１の例においては、図１０（ａ）に示すように、ピクチャの符号化に同期させる。この場合、視差ベクトルは、ピクチャ単位で伝送される。このピクチャ単位は、視差ベクトルを伝送する際のもっとも細かい単位である。第２の例においては、図１０（ｂ）に示すように、ビデオのシーンに同期させる。この場合、視差ベクトルは、シーン単位で伝送される。
【００４６】
第３の例においては、図１０（ｃ）に示すように、符号化ビデオのＩピクチャ(Intra picture)に同期させる。第４の例においては、図１１に示すように、画像に重畳表示されるグラフィクス情報、テキスト情報等の表示開始タイミングに同期させる。
【００４７】
図２に戻って、マイクロホン１１６は、カメラ１１１Ｌ，１１１Ｒで撮影された画像に対応した音声を検出して、音声データを得る。オーディオエンコーダ１１７は、マイクロホン１１６で得られた音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の圧縮符号化を施し、オーディオのエレメンタリーストリームを生成する。さらに、オーディオエンコーダ１１７は、このオーディオのエレメンタリーストリームを分割してオーディオのＰＥＳパケットを生成し、最終的にＴＳパケットを生成する。
【００４８】
グラフィクス発生部１１８は、画像に重畳するグラフィクス情報のデータ（グラフィクスデータ）を発生する。グラフィクス情報は、例えば字幕などである。このグラフィクスデータは、ビットマップデータである。このグラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。このアイドリングオフセット情報は、例えば、画像の左上の原点から、グラフィクス情報の重畳位置の左上の画素までの垂直方向、水平方向のオフセット値を示す。なお、字幕データをビットマップデータとして伝送する規格は、ヨーロッパのデジタル放送規格であるＤＶＢでDVB_Subtitlingとして規格化され、運用されている。
【００４９】
グラフィクスエンコーダ１１９は、グラフィクス発生部１１８で発生されたグラフィクスデータのエレメンタリーストリームを生成する。そして、グラフィクスエンコーダ１１９は、最終的に上述のＴＳパケットを生成する。
【００５０】
テキスト発生部１２０は、画像に重畳するテキスト情報のデータ（テキストデータ）を発生する。テキスト情報は、例えば電子番組表、文字放送内容などである。このテキストデータには、上述のグラフィクスデータと同様に、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。このアイドリングオフセット情報は、例えば、画像の左上の原点から、テキスト情報の重畳位置の左上の画素までの垂直方向、水平方向のオフセット値を示す。なお、テキストデータを伝送する例としては、番組予約として運用されているＥＰＧ、アメリカのデジタル地上波規格ＡＴＳＣのCC_data(Closed Caption)がある。
【００５１】
テキストエンコーダ１２１は、テキスト発生部１２０で発生されたテキストデータのエレメンタリーストリームを生成する。
【００５２】
マルチプレクサ１２２は、ビデオエンコーダ１１３、視差ベクトルエンコーダ１１５、オーディオエンコーダ１１７，グラフィクスエンコーダ１１９およびテキストエンコーダ１２１の各エンコーダから出力されるパケット化されたエレメンタリーストリームを多重化する。そして、このマルチプレクサ１２２は、伝送データとしてのビットストリームデータ（トランスポートストリーム）ＢＳＤを出力する。
【００５３】
図２に示す送信データ生成部１１０の動作を簡単に説明する。カメラ１１１Ｌでは、左眼画像が撮影される。このカメラ１１１Ｌで得られる立体画像表示のための左眼画像データはビデオフレーミング部１１２に供給される。また、カメラ１１１Ｒでは、右眼画像が撮影される。このカメラ１１１Ｒで得られる立体画像表示のための右眼画像データはビデオフレーミング部１１２に供給される。ビデオフレーミング部１１２では、左眼画像データおよび右眼画像データが、伝送方式に応じた状態に加工処理されて、立体画像データが得られる（図４（ａ）〜（ｃ）参照）。
【００５４】
ビデオフレーミング部１１２で得られる立体画像データはビデオエンコーダ１１３に供給される。このビデオエンコーダ１１３では、立体画像データに対してＭＰＥＧ４−ＡＶＣ、あるいはＭＰＥＧ２等の圧縮符号化が施され、ビデオのエレメンタリーストリームが生成され、最終的にビデオパケットは、マルチプレクサ１２２に供給される。
【００５５】
また、カメラ１１１Ｌ，１１１Ｒで得られた左眼画像データ、右眼画像データは、ビデオフレーミング部１１２を通じて、視差ベクトル検出部１１４に供給される。この視差ベクトル検出部１１４では、左眼画像データおよび右眼画像データに基づき、画像内の所定位置において、視差検出ブロックが設定され、左眼画像および右眼画像の一方に対する他方の視差情報である視差ベクトルが検出される。
【００５６】
視差ベクトル検出部１１４で検出された画像内の所定位置における視差ベクトルは、視差ベクトルエンコーダ１１５に供給される。この場合、視差検出ブロックのＩＤ、視差検出ブロックの垂直位置情報、視差検出ブロックの水平位置情報、視差ベクトルが１セットとして渡される。視差ベクトルエンコーダ１１５では、視差ベクトルの伝送内容（図８参照）を含む視差ベクトルのエレメンタリーストリームが生成され、マルチプレクサ１２２に供給される。
【００５７】
また、マイクロホン１１６では、カメラ１１１Ｌ，１１１Ｒで撮影された画像に対応した音声が検出される。このマイクロホン１１６で得られる音声データはオーディオエンコーダ１１７に供給される。このオーディオエンコーダ１１７では、音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の圧縮符号化が施され、オーディオのエレメンタリーストリームが生成され、マルチプレクサ１２２に供給される。
【００５８】
また、グラフィクス発生部１１８では、画像に重畳するグラフィクス情報のデータ（グラフィクスデータ）が発生される。このグラフィクスデータ（ビットマップデータ）は、グラフィクスエンコーダ１１９に供給される。このグラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。グラフィクスエンコーダ１１９では、このグラフィクスデータに対して所定の圧縮符号化が施されてエレメンタリーストリームが生成され、マルチプレクサ１２２に供給される。
【００５９】
また、テキスト発生部１２０では、画像に重畳するテキスト情報のデータ（テキストデータ）が発生される。このテキストデータは、テキストエンコーダ１２１に供給される。このテキストデータには、上述のグラフィクスデータと同様に、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。テキストエンコーダ１２１では、このテキストデータに対して所定の圧縮符号化が施されてエレメンタリーストリームが生成され、最終的にテキストのＴＳパケットが得られる。このテキストのＴＳパケットは、マルチプレクサ１２２に供給される。
【００６０】
マルチプレクサ１２２では、各エンコーダから供給されるエレメンタリーストリームのパケットが多重化され、伝送データとしてのビットストリームデータ（トランスポートストリーム）ＢＳＤが得られる。
【００６１】
図１２は、図２に示す送信データ生成部１１０において多重化される各データのストリーム例を示している。なお、この例は、視差ベクトルが、ビデオのシーン単位で検出されて伝送される場合（図１０（ｂ）参照）を示している。なお、各ストリームのパケットには、同期表示用のタイムスタンプが付され、受信側で、画像に対して、グラフィクス情報、テキスト情報等の重畳タイミングを制御することが可能となっている。
【００６２】
なお、上述の図２に示す送信データ生成部１１０は、視差ベクトルの伝送内容（図８参照）を独立したエレメンタリーストリームとして受信側に伝送する構成となっている。しかし、視差ベクトルの伝送内容を他のストリームの中に埋め込んで伝送することも考えられる。例えば、視差ベクトルの伝送内容は、ビデオのストリームにユーザデータとして埋め込まれて伝送される。また、例えば、視差ベクトルの伝送内容は、グラフィクス、あるいはテキストのストリームに埋め込まれて伝送される。
【００６３】
図１３は、送信データ生成部１１０Ａの構成例を示している。この例も、視差ベクトルを数値情報として送信する例である。この送信データ生成部１１０Ａは、視差ベクトルの伝送内容を、ビデオのストリームにユーザデータとして埋め込んで伝送する構成となっている。この図１３において、図２と対応する部分には同一符号を付し、その詳細説明は省略する。
【００６４】
この送信データ生成部１１０Ａは、ビデオエンコーダ１１３とマルチプレクサ１２２との間に、ストリームフレーミング部１２３が挿入されている。視差ベクトル検出１１４で検出された画像内の所定位置における視差ベクトルは、ストリームフレーミング部１２３に供給される。この場合、視差検出ブロックのＩＤ、視差検出ブロックの垂直位置情報、視差検出ブロックの水平位置情報、視差ベクトルが１セットとして渡される。
【００６５】
ストリームフレーミング部１２３では、ビデオのストリームに、視差ベクトルの伝送内容（図８参照）が、ユーザデータとして埋め込まれる。
【００６６】
詳細説明は省略するが、この図１３に示す送信データ生成部１１０Ａのその他は、図２に示す送信データ生成部１１０と同様に構成されている。
【００６７】
また、上述の図２に示す送信データ生成部１１０および上述の図１３に示す送信データ生成部１１０Ａは、視差ベクトルを数値情報として送信する（図８参照）。しかし、視差ベクトルを数値情報として伝送する代わりに、画像に重畳するための重畳情報（例えば、グラフィクス情報、テキスト情報等）のデータに含めて送信することも考えられる。
【００６８】
例えば、グラフィクス情報のデータに含めて送信する場合、送信側で、左眼画像に重畳すべき左眼グラフィクス情報と右眼画像に重畳すべき右眼グラフィクス情報の双方に対応したグラフィクスデータが生成される。この場合、左眼グラフィクス情報および右眼グラフィクス情報は同一のグラフィクス情報である。しかし、画像内の表示位置が、例えば、左眼グラフィクス情報に対して、右眼グラフィクス情報は、その表示位置に対応した視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。
【００６９】
また、例えば、テキスト情報のデータに含めて送信する場合、送信側で、左眼画像に重畳すべき左眼テキスト情報と右眼画像に重畳すべき右眼テキスト情報の双方に対応したテキストデータが生成される。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報である。しかし、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。
【００７０】
例えば、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトルのうち、その重畳位置に対応したものが使用される。また、例えば、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトルのうち、遠近感でいうところの最も近く認識される位置の視差ベクトルが使用される。
【００７１】
図１４（ａ）は、伝送方式が上述の第１の伝送方式（「Top & Bottom」方式）である場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示している。これら左眼グラフィクス情報および右眼グラフィクス情報は同一の情報である。ただし、左眼画像ＩＬ上に重畳される左眼グラフィクス情報ＬＧＩに対して、右眼画像ＩＲ上に重畳される右眼グラフィクス情報ＲＧＩは、視差ベクトルの水平方向成分ＶＶTだけ水平方向にずれた位置とされている。
【００７２】
各画像ＩＬ，ＩＲに対して、図１４（ａ）に示すように、各グラフィクス情報ＬＧＩ，ＲＧＩが重畳されるように、グラフィクスデータが生成される。これにより、視聴者は、図１４（ｂ）に示すように、各画像ＩＬ，ＩＲと共に、各グラフィクス情報ＬＧＩ，ＲＧＩを、視差をもって観察でき、グラフィクス情報にも、遠近感を認知可能となる。
【００７３】
例えば、各グラフィクス情報ＬＧＩ，ＲＧＩのグラフィクスデータは、図１５（ａ）に示すように、単一領域のデータとして生成される。この場合、各グラフィクス情報ＬＧＩ，ＲＧＩ以外の部分のデータは、透明データとして生成されればよい。また、例えば、各グラフィクス情報ＬＧＩ，ＲＧＩのグラフィクスデータは、図１５（ｂ）に示すように、別領域のデータとして生成される。
【００７４】
図１６（ａ）は、伝送方式が上述の第２の伝送方式（「Side By Side」方式）である場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示している。これら左眼グラフィクス情報および右眼グラフィクス情報は同一の情報である。ただし、左眼画像ＩＬ上に重畳される左眼グラフィクス情報ＬＧＩに対して、右眼画像ＩＲ上に重畳される右眼グラフィクス情報ＲＧＩは、視差ベクトルの水平方向成分ＶＶTだけ水平方向にずれた位置とされている。なお、ＩTは、アイドリングオフセット値である。
【００７５】
各画像ＩＬ，ＩＲに対して、図１６（ａ）に示すように、各グラフィクス情報ＬＧＩ，ＲＧＩが重畳されるように、グラフィクスデータが生成される。これにより、視聴者は、図１６（ｂ）に示すように、各画像ＩＬ，ＩＲと共に、各グラフィクス情報ＬＧＩ，ＲＧＩを、視差をもって観察でき、グラフィクス情報にも、遠近感を認知可能となる。
【００７６】
例えば、各グラフィクス情報ＬＧＩ，ＲＧＩのグラフィクスデータは、図１７に示すように、単一領域のデータとして生成される。この場合、各グラフィクス情報ＬＧＩ，ＲＧＩ以外の部分のデータは、透明データとして生成されればよい。
【００７７】
図１８は、送信データ生成部１１０Ｂの構成例を示している。この送信データ生成部１１０Ｂは、視差ベクトルを、グラフィクス情報、テキスト情報のデータに含めて送信する構成となっている。この図１８において、図２と対応する部分には同一符号を付し、その詳細説明は省略する。
【００７８】
この送信データ生成部１１０Ｂでは、グラフィクス発生部１１８とグラフィクスエンコーダ１１９との間に、グラフィクス処理部１２４が挿入されている。また、この送信データ生成部１１０Ｂでは、テキスト発生部１２０とテキストエンコーダ１２１との間に、テキスト処理部１２５が挿入されている。そして、視差ベクトル検出１１４で検出された画像内の所定位置における視差ベクトルは、グラフィクス処理部１２４およびテキスト処理部１２５に供給される。
【００７９】
グラフィクス処理部１２４では、グラフィクス発生部１１８で発生されるグラフィクスデータに基づいて、左眼画像ＩＬ上に重畳される左眼グラフィクス情報ＬＧＩのデータおよび右眼画像ＩＲ上に重畳される右眼グラフィクス情報ＲＧＩのデータが生成される。この場合、左眼グラフィクス情報および右眼グラフィクス情報は同一のグラフィクス情報であるが、画像内の重畳位置が、例えば、左眼グラフィクス情報に対して、右眼グラフィクス情報は、視差ベクトルの水平方向成分ＶＶTだけ、水平方向にずれるようにされる（図１４（ａ）、図１６（ａ）参照）。
【００８０】
このようにグラフィクス処理部１２４で生成されたグラフィクスデータは、グラフィクスエンコーダ１１９に供給される。なお、このグラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。グラフィクスエンコーダ１１９では、グラフィクス処理部１２４で生成されたグラフィクスデータのエレメンタリーストリームが生成される。
【００８１】
また、テキスト処理部１２５では、テキスト発生部１２０で発生されるテキストデータに基づいて、左眼画像上に重畳される左眼テキスト情報のデータおよび右眼画像上に重畳される右眼テキスト情報のデータが生成される。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報であるが、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分ＶＶTだけ、水平方向にずれるようにされる。
【００８２】
このようにテキスト処理部１２５で生成されたテキストデータは、テキストエンコーダ１２１に供給される。なお、このテキストデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。テキストエンコーダ１２１では、テキスト処理部で生成されたテキストスデータのエレメンタリーストリームが生成される。
【００８３】
詳細説明は省略するが、この図１８に示す送信データ生成部１１０Ｂのその他は、図２に示す送信データ生成部１１０と同様に構成されている。
【００８４】
［セットトップボックスの説明］
図１に戻って、セットトップボックス２００は、放送局１００から放送波にのせて送信されてくるビットストリームデータ（トランスポートストリーム）を受信する。このビットストリームデータには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データ、グラフィクスデータ、テキストデータ、さらには視差情報としての視差ベクトルが含まれる
【００８５】
セットトップボックス２００は、ビットストリーム処理部２０１を有している。このビットストリーム処理部２０１は、ビットストリームデータから、立体画像データ、音声データ、グラフィクスデータ、テキストデータ、視差ベクトル等を抽出する。また、このビットストリーム処理部２０１は、立体画像データ、グラフィクスデータ、テキストデータ等を用いて、重畳情報が重畳された左眼画像および右眼画像のデータを生成する。
【００８６】
ここで、視差ベクトルが数値情報として送信されてくる場合には、視差ベクトルとグラフィクスデータに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼グラフィクス情報、右眼グラフィクス情報を生成する。この場合、左眼グラフィクス情報および右眼グラフィクス情報は同一のグラフィクス情報である。しかし、画像内の重畳位置が、例えば、左眼グラフィクス情報に対して、右眼グラフィクス情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。
【００８７】
図１９（ａ）は、伝送方式が上述の第２の伝送方式（「Side By Side」方式）である場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示している。
【００８８】
左眼画像ＩＬ上に重畳される左眼グラフィクス情報ＬＧＩに対して、右眼画像ＩＲ上に重畳される右眼グラフィクス情報ＲＧＩは、視差ベクトルの水平方向成分ＶＶTだけ水平方向にずれた位置とされている。なお、ＩTは、アイドリングオフセット値である。
【００８９】
各画像ＩＬ，ＩＲに対して、図１９（ａ）に示すように、各グラフィクス情報ＬＧＩ，ＲＧＩが重畳されるように、グラフィクスデータが生成される。
【００９０】
ビットストリーム処理部２０１は、ビットストリームデータから抽出された立体画像データ（左眼画像データ、右眼画像データ）に対して、生成された左眼グラフィクスデータ、右眼グラフィクスデータを合成して、処理後の立体画像データを取得する。この立体画像データによれば、視聴者は、図１９（ｂ）に示すように、各画像ＩＬ，ＩＲと共に、各グラフィクス情報ＬＧＩ，ＲＧＩを、視差をもって観察でき、グラフィクス情報にも、遠近感を認知可能となる。
【００９１】
なお、図２０（ａ）は、各画像ＩＬ，ＩＲに対して、ビットストリームデータから抽出されたグラフィクスデータによるグラフィクス画像をそのまま重畳した状態を示している。この場合、視聴者は、図２０（ｂ）に示すように、左眼画像ＩＬと共にグラフィクス情報の左半分、右眼画像ＩＲと共にグラフィクス情報の右半分を観察する。そのため、グラフィクス情報を正しく認識できなくなる。
【００９２】
また、視差ベクトルが数値情報として送信されてくる場合には、視差ベクトルとテキストデータに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼テキスト情報、右眼テキスト情報を生成する。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報である。しかし、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。
【００９３】
ビットストリーム処理部２０１は、ビットストリームデータから抽出された立体画像データ（左眼画像データ、右眼画像データ）に対して、生成された左眼テキスト情報および右眼テキスト情報のデータ（ビットマップデータ）を合成して、処理後の立体画像データを得る。この立体画像データによれば、視聴者は、上述したグラフィクス情報の場合と同様に、左眼画像、右眼画像と共に、各テキスト情報を、視差をもって観察でき、テキスト情報にも、遠近感を認知可能となる。
【００９４】
この場合、左眼グラフィクス情報と右眼グラフィクス情報との間、あるいは左眼テキスト情報と右眼テキスト情報との間に視差を与える視差ベクトルとしては、以下の視差ベクトルを用いることが考えられる。
【００９５】
例えば、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトルのうち、遠近感でいうところの最も近く認識される位置の視差ベクトルを使用することが考えられる。図２１（ａ），（ｂ），（ｃ），（ｄ）は、それぞれ時刻Ｔ０，Ｔ１，Ｔ２，Ｔ３における３つのオブジェクト位置の視差ベクトル（View Vector）を示している。
【００９６】
時刻Ｔ０では、オブジェクト１に対応した位置（Ｈ０，Ｖ０）における視差ベクトルＶＶ０-1が最大の視差ベクトルＭａｘＶＶ（Ｔ０）となっている。時刻Ｔ１では、オブジェクト１に対応した位置（Ｈ１，Ｖ１）における視差ベクトルＶＶ１-1が最大の視差ベクトルＭａｘＶＶ（Ｔ１）となっている。時刻Ｔ２では、オブジェクト２に対応した位置（Ｈ２，Ｖ２）における視差ベクトルＶＶ２-2が最大の視差ベクトルＭａｘＶＶ（Ｔ２）となっている。時刻Ｔ３では、オブジェクト１に対応した位置（Ｈ３，Ｖ３）における視差ベクトルＶＶ３-0が最大の視差ベクトルＭａｘＶＶ（Ｔ３）となっている。
【００９７】
このように、視差ベクトルとして、画像内の複数位置で検出された視差ベクトルのうち、遠近感でいうところの最も近く認識される位置の視差ベクトルを使用することで、遠近感でいうところの最も近い画像内の物体（オブジェクト）よりも手前に、グラフィクス情報、テキスト情報を表示することが可能となる。
【００９８】
図２２（ａ）は、画像上における字幕（グラフィクス情報）の表示例を示している。この表示例では、背景と近景オブジェクトとからなる画像上に、字幕が重畳された例である。図２２（ｂ）は、背景、近景オブジェクト、字幕の遠近感を示し、字幕が最も近くにあるように認識されることを示している。
【００９９】
図２３（ａ）は、図２２（ａ）と同じ、画像上における字幕（グラフィクス情報）の表示例を示している。図２３（ｂ）は、字幕を表示するための左眼グラフィクス情報ＬＧＩと、右眼グラフィクス情報ＲＧＩを示している。そして、図２３（ｃ）は、字幕が最も近くにあるように認識されるために、各グラフィクス情報ＬＧＩ，ＲＧＩに視差が与えられることを示している。
【０１００】
また、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトルのうち、その重畳位置に対応したものを使用することが考えられる。図２４（ａ）は、ビットストリームデータから抽出されるグラフィックデータによるグラフィック情報と、ビットストリームデータから抽出されるテキストデータによるテキスト情報を示している。
【０１０１】
図２４（ｂ）は、左眼画像に、左眼グラフィクス情報ＬＧＩおよび左眼テキスト情報ＬＴＩが重畳された状態を示している。この場合、左眼グラフィクス情報ＬＧＩは、その重畳位置が水平方向にはアイドリングオフセット値（ＩＴ-0）で規制されている。また、左眼テキスト情報ＬＴＩは、その重畳位置が水平方向にはアイドリングオフセット値（ＩＴ-1）で規制されている。
【０１０２】
図２４（ｃ）は、右眼画像に、右眼グラフィクス情報ＲＧＩおよび右眼テキスト情報ＲＴＩが重畳された状態を示している。この場合、右眼グラフィクス情報ＲＧＩは、その重畳位置が水平方向にはアイドリングオフセット値（ＩＴ-0）で規制され、さらにこの重畳位置に対応した視差ベクトルの水平方向成分ＶＶT-0だけ、左眼グラフィクス情報ＬＧＩの重畳位置よりずらされている。また、右眼テキスト情報ＲＴＩは、その重畳位置が水平方向にはアイドリングオフセット値（ＩＴ-1）で規制され、さらにこの重畳位置に対応した視差ベクトルの水平方向成分ＶＶT-1だけ、左眼テキスト情報ＬＴＩの重畳位置よりずらされている。
【０１０３】
なお、上述では、左眼画像および右眼画像に、ビットストリームデータから抽出されたグラフィクスデータによるグラフィクス情報、あるいはビットストリームデータから抽出されたテキストデータによるテキスト情報を重畳する場合を説明した。この他に、セットトップボックス２００内でグラフィクスデータあるいはテキストデータが発生され、それらによる情報を、左眼画像および右眼画像に、重畳する場合も考えられる。
【０１０４】
その場合にあっても、ビットストリームデータから抽出された画像内の所定位置の視差ベクトルを利用して、左眼グラフィクス情報と右眼グラフィクス情報との間、あるいは左眼テキスト情報と右眼テキスト情報との間に、視差を持たせることができる。これにより、グラフィクス情報、テキスト情報の表示において、画像内の各物体（オブジェクト）の遠近感との間で遠近感の整合性の維持を図った適切な遠近感を付与できる。
【０１０５】
図２５（ａ）は、画像内にＡ，Ｂ，Ｃの各オブジェクトが存在し、例えば、これら各オブジェクトの近傍位置に、各オブジェクトの注釈を示すテキスト情報を重畳することを示している。
【０１０６】
図２５（ｂ）は、Ａ，Ｂ，Ｃの各オブジェクトの位置と、その位置における視差ベクトルの対応を示す視差ベクトルリストと、それぞれの視差ベクトルを、Ａ，Ｂ，Ｃの各オブジェクの注釈を示すテキスト情報に視差を与える場合に利用することを示している。例えば、Ａのオブジェクトの近傍には「Ｔｅｘｔ」のテキスト情報が重畳されるが、その左眼テキスト情報と右眼テキスト情報との間には、Ａのオブジェクトの位置（Ｈａ，Ｖａ）における視差ベクトルＶＶ-aに対応した視差が与えられる。なお、Ｂ，Ｃのオブジェクトの近傍に重畳されるテキスト情報に関しても同様である。
【０１０７】
次に、視差ベクトルが、グラフィクス情報、テキスト情報のデータに含めて送信されてくる場合を説明する。この場合、ビットストリームデータから抽出されたグラフィクスデータには、視差ベクトルにより視差が与えられた、左眼グラフィクス情報および右眼グラフィクス情報のデータが含まれている。同様に、ビットストリームデータから抽出されたテキストデータには、視差ベクトルにより視差が与えられた、左眼テキスト情報および右眼テキスト情報のデータが含まれている。
【０１０８】
そのため、ビットストリーム処理部２０１は、ビットストリームデータから抽出された立体画像データ（左眼画像データ、右眼画像データ）に対して、ビットストリームデータから抽出されたグラフィクスデータ、テキストデータを単に合成して、処理後の立体画像データを取得する。なお、テキストデータに関しては、テキストデータ（コードデータ）をビットマップデータに変換することは必要である。
【０１０９】
［セットトップボックスの構成例］
セットトップボックス２００の構成例を説明する。図２６は、セットトップボックス２００の構成例を示している。このセットトップボックス２００は、ビットストリーム処理部２０１と、ＨＤＭＩ端子２０２と、アンテナ端子２０３と、デジタルチューナ２０４と、映像信号処理回路２０５と、ＨＤＭＩ送信部２０６と、音声信号処理回路２０７を有している。また、このセットトップボックス２００は、ＣＰＵ２１１と、フラッシュＲＯＭ２１２と、ＤＲＡＭ２１３と、内部バス２１４と、リモコン受信部２１５と、リモコン送信機２１６を有している。
【０１１０】
アンテナ端子２０３は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２０４は、アンテナ端子２０３に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）を出力する。
【０１１１】
ビットストリーム処理部２０１は、上述したように、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、グラフィクスデータ、テキストデータ、視差ベクトル等を抽出する。そして、このビットストリーム処理部２０１は、上述したように、立体画像データに対し、重畳情報（グラフィクス情報、テキスト情報）のデータを合成し、表示用立体画像データを取得する。また、ビットストリーム処理部２０１は、音声データを出力する。ビットストリーム処理部２０１の詳細構成は後述する。
【０１１２】
映像信号処理回路２０５は、ビットストリーム処理部２０１から出力された立体画像データに対して必要に応じて画質調整処理などを行い、処理後の立体画像データをＨＤＭＩ送信部２０６に供給する。音声信号処理回路２０７は、ビットストリーム処理部２０１から出力された音声データに対して必要に応じて音質調整処理等を行い、処理後の音声データをＨＤＭＩ送信部２０６に供給する。
【０１１３】
ＨＤＭＩ送信部２０６は、ＨＤＭＩに準拠した通信により、ベースバンドの画像（映像）と音声のデータを、ＨＤＭＩ端子２０２から送出する。この場合、ＨＤＭＩのＴＭＤＳチャネルで送信するため、画像および音声のデータがパッキングされて、ＨＤＭＩ送信部２０６からＨＤＭＩ端子２０２に出力される。このＨＤＭＩ送信部２０６の詳細は後述する。
【０１１４】
ＣＰＵ２１１は、セットトップボックス２００の各部の動作を制御する。フラッシュＲＯＭ２１２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２１３は、ＣＰＵ２１１のワークエリアを構成する。ＣＰＵ２１１は、フラッシュＲＯＭ２１２から読み出したソフトウェアやデータをＤＲＡＭ２１３上に展開してソフトウェアを起動させ、セットトップボックス２００の各部を制御する。
【０１１５】
リモコン受信部２１５は、リモコン送信機２１６から送信されたリモーコントロール信号（リモコンコード）を受信し、ＣＰＵ２１１に供給する。ＣＰＵ２１１は、このリモコンコードに基づいて、セットトップボックス２００の各部を制御する。ＣＰＵ２１１、フラッシュＲＯＭ２１２およびＤＲＡＭ２１３は内部バス２１４に接続されている。
【０１１６】
セットトップボックス２００の動作を簡単に説明する。アンテナ端子２０３に入力されたテレビ放送信号はデジタルチューナ２０４に供給される。このデジタルチューナ２０４では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）が出力される。
【０１１７】
デジタルチューナ２０４から出力されるビットストリームデータは、ビットストリーム処理部２０１に供給される。このビットストリーム処理部２０１では、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、グラフィクスデータ、テキストデータ、視差ベクトル等が抽出される。また、このビットストリーム処理部２０１では、立体画像データに対し、重畳情報（グラフィクス情報、テキスト情報）のデータが合成され、表示用立体画像データが生成される。
【０１１８】
ビットストリーム処理部２０１で生成される表示用立体画像データは、映像信号処理回路２０５で必要に応じて画質調整処理等が行われた後に、ＨＤＭＩ送信部２０６に供給される。また、ビットストリーム処理部２０１で得られる音声データは、音声信号処理回路２０７で必要に応じて音質調整処理等が行われた後に、ＨＤＭＩ送信部２０６に供給される。ＨＤＭＩ送信部２０６に供給された立体画像データおよび音声データは、ＨＤＭＩのＴＭＤＳチャネルにより、ＨＤＭＩ端子２０２からＨＤＭＩケーブル４００に送出される。
【０１１９】
［ビットストリーム処理部の構成例］
ビットストリーム処理部２０１の構成例を説明する。図２７は、ビットストリーム処理部２０１の構成例を示している。このビットストリーム処理部２０１は、上述の図２に示す送信データ生成部１１０に対応させた構成となっている。このビットストリーム処理部２０１は、デマルチプレクサ２２０と、ビデオデコーダ２２１と、グラフィクスデコーダ２２２と、テキストデコーダ２２３と、オーディオデコーダ２２４と、視差ベクトルデコーダ２２５を有している。また、このビットストリーム処理部２０１は、立体画像用グラフィクス発生部２２６と、立体画像用テキスト発生部２２７と、ビデオ重畳部２２８と、マルチチャネルスピーカコントロール部２２９を有している。
【０１２０】
デマルチプレクサ２２０は、ビットストリームデータＢＳＤから、ビデオ、オーディオ、視差ベクトル、グラフィクスおよびテキストのＴＳパケットを抽出し、各デコーダに送る。
【０１２１】
ビデオデコーダ２２１は、上述の送信データ生成部１１０のビデオエンコーダ１１３とは逆の処理を行う。すなわち、このビデオデコーダ２２１は、デマルチプレクサ２２０で抽出されたビデオのパケットからビデオのエレメンタリーストリームを再構成し、復号化処理を行って、左眼画像データおよび右眼画像データを含む立体画像データを得る。この立体画像データの伝送方式は、例えば、上述の第１の伝送方式（「Top & Bottom」方式）、第２の伝送方式は（「Side By Side」方式）、第３の伝送方式（「Frame Sequential」方式）などである（図４（ａ）〜（ｃ）参照）。
【０１２２】
グラフィクスデコーダ２２２は、上述の送信データ生成部１１０のグラフィクスエンコーダ１１９とは逆の処理を行う。すなわち、このグラフィクスデコーダ２２２は、デマルチプレクサ２２０で抽出されたグラフィクスのパケットからグラフィクスのエレメンタリーストリームを再構成し、復号化処理を行って、グラフィクスデータを得る。
【０１２３】
テキストデコーダ２２３は、上述の送信データ生成部１１０のテキストエンコーダ１２１とは逆の処理を行う。すなわち、このテキストデコーダ２２３は、デマルチプレクサ２２０で抽出されたテキストのパケットからテキストのエレメンタリーストリームを再構成し、復号化処理を行って、テキストデータを得る。
【０１２４】
オーディオデコーダ２２４は、上述の送信データ生成部１１０のオーディオエンコーダ１１７とは逆の処理を行う。すなわち、このオーディオデコーダ２２４は、デマルチプレクサ２２０で抽出されたオーディオのパケットからオーディオのエレメンタリーストリームを再構成し、復号化処理を行って、音声データを得る。
【０１２５】
視差ベクトルデコーダ２２５は、上述の送信データ生成部１１０の視差ベクトルエンコーダ１１５とは逆の処理を行う。すなわち、この視差ベクトルデコーダ２２５は、デマルチプレクサ２２０で抽出された視差ベクトルのパケットから視差ベクトルのエレメンタリーストリームを再構成し、復号化処理を行って、画像内の所定位置の視差ベクトルを得る。
【０１２６】
立体画像用グラフィクス発生部２２６は、デコーダ２２２で得られたグラフィクスデータと、デコーダ２２５で得られた視差ベクトルに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼グラフィクス情報、右眼グラフィクス情報を生成する。この場合、左眼グラフィクス情報および右眼グラフィクス情報は同一のグラフィクス情報であるが、画像内の重畳位置が、例えば、左眼グラフィクス情報に対して、右眼グラフィクス情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。そして、この立体画像用グラフィクス発生部２２６は、生成された左眼グラフィクス情報および右眼グラフィクス情報のデータ（ビットマップデータ）を出力する。
【０１２７】
立体画像用テキスト発生部２２７は、デコーダ２２３で得られたテキストスデータと、デコーダ２２５で得られた視差ベクトルに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼テキスト情報、右眼テキスト情報を生成する。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報であるが、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。そして、この立体画像用テキスト発生部２２７は、生成された左眼テキスト情報および右眼テキスト情報のデータ（ビットマップデータ）を出力する。
【０１２８】
ビデオ重畳部２２８は、ビデオデコーダ２２１で得られた立体画像データ（左眼画像データ、右眼画像データ）に対して、グラフィクス発生部２２６で発生されるデータ、およびテキスト発生部２２７で発生されるデータを重畳し、表示用立体画像データＶoutを得る。
【０１２９】
マルチチャネルスピーカコントロール部２２９は、オーディオデコーダ２２４で得られる音声データに対して、例えば５．１chサラウンド等を実現するためのマルチチャネルスピーカの音声データを生成する処理、所定の音場特性を付与する処理等を施す。また、このマルチチャネルスピーカコントロール部２２９は、デコーダ２２５で得られた視差ベクトルに基づいて、マルチチャネルスピーカの出力を制御する。
【０１３０】
視差ベクトルの大きさが大きくなる程、立体感が際だつ効果がある。立体の度合いに合わせて、マルチチャネルのスピーカ出力を制御することで、更なる立体体験の提供を実現できる。
【０１３１】
図２８は、視差ベクトルＶＶ１が、テレビディスプレイに向かって、左側のビデオオブジェクトの方が大きい場合のスピーカ出力制御例を示している。この制御例では、マルチチャネルスピーカのRear Leftのスピーカ音量は大きくされ、Front Leftのスピーカ音量は中程度とされ、さらに、Front Right，Rear Rightのスピーカ音量が小さくされる。このように、ビデオコンテンツ（立体画像データ）の視差ベクトルを、音声データ等の他のメディアデータへ受信側で適用することで、視聴者に、立体感を総合的に体感させることが可能になる。
【０１３２】
図２７に示すビットストリーム処理部２０１の動作を簡単に説明する。デジタルチューナ２０４（図２６参照）から出力されるビットストリームデータＢＳＤは、デマルチプレクサ２２０に供給される。このデマルチプレクサ２２０では、ビットストリームデータＢＳＤから、ビデオ、オーディオ、視差ベクトル、グラフィクスおよびテキストのＴＳパケットが抽出され、各デコーダに供給される。
【０１３３】
ビデオデコーダ２２１では、デマルチプレクサ２２０で抽出されたビデオのパケットからビデオのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、左眼画像データおよび右眼画像データを含む立体画像データが得られる。この立体画像データは、ビデオ重畳部２２８に供給される。また、視差ベクトルデコーダ２２５では、デマルチプレクサ２２０で抽出された視差ベクトルのパケットから視差ベクトルのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、画像内の所定位置の視差ベクトルが得られる（図８参照）。
【０１３４】
グラフィクスデコーダ２２２では、デマルチプレクサ２２０で抽出されたグラフィクスのパケットからグラフィクスのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、グラフィクスデータが得られる。このグラフィクスデータは、立体画像用グラフィクス発生部２２６に供給される。この立体画像用グラフィクス発生部２２６には、視差ベクトルデコーダ２２５で得られた視差ベクトルも供給される。
【０１３５】
この立体画像用グラフィクス発生部２２６では、デコーダ２２２で得られたグラフィクスデータと、デコーダ２２５で得られた視差ベクトルに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼グラフィクス情報、右眼グラフィクス情報が生成される。この場合、左眼グラフィクス情報および右眼グラフィクス情報は同一のグラフィクス情報であるが、画像内の重畳位置が、例えば、左眼グラフィクス情報に対して、右眼グラフィクス情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。この立体画像用グラフィクス発生部２２６からは、生成された左眼グラフィクス情報および右眼グラフィクス情報のデータ（ビットマップデータ）が出力される。
【０１３６】
また、テキストデコーダ２２３では、デマルチプレクサ２２０で抽出されたテキストのＴＳパケットからテキストのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、テキストデータが得られる。このテキストデータは立体画像用テキスト発生部２２７に供給される。この立体画像用テキスト発生部２２７には、視差ベクトルデコーダ２２５で得られた視差ベクトルも供給される。
【０１３７】
この立体画像用テキスト発生部２２７では、デコーダ２２３で得られたテキストスデータと、デコーダ２２５で得られた視差ベクトルに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼テキスト情報、右眼テキスト情報が生成される。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報であるが、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。この立体画像用テキスト発生部２２７からは、生成された左眼テキスト情報および右眼テキスト情報のデータ（ビットマップデータ）が出力される。
【０１３８】
ビデオ重畳部２２８には、上述したビデオデコーダ２２１からの立体画像データ（左眼画像データ、右眼画像データ）の他に、グラフィクス発生部２２６およびテキスト発生部２２７から出力されるデータが供給される。このビデオ重畳部２２８では、立体画像データ（左眼画像データ、右眼画像データ）に対して、グラフィクス発生部２２６およびテキスト発生部２２７で発生されたデータが重畳され、表示用立体画像データＶoutが得られる。この表示用立体画像データＶoutは、映像信号処理回路２０５を介して、ＨＤＭＩ送信部２０６（図２６参照）に、送信画像データとして供給される。
【０１３９】
また、オーディオデコーダ２２４では、デマルチプレクサ２２０で抽出されたオーディオのＴＳパケットからオーディオのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、音声データが得られる。この音声データは、マルチチャネルスピーカコントロール部２２９に供給される。このマルチチャネルスピーカコントロール部２２９では、音声データに対して、例えば５．１chサラウンド等を実現するためのマルチチャネルスピーカの音声データを生成する処理、所定の音場特性を付与する処理等が施される。
【０１４０】
このマルチチャネルスピーカコントロール部２２９には、視差ベクトルデコーダ２２５で得られた視差ベクトルも供給される。そして、このマルチチャネルスピーカコントロール部２２９では、視差ベクトルに基づいて、マルチチャネルスピーカの出力が制御される。このマルチチャネルスピーカコントロール部２２９で得られるマルチチャネル音声データは、音声信号処理回路２０７を介してＨＤＭＩ送信部２０６（図２６参照）に、送信音声データとして供給される。
【０１４１】
なお、上述の図２７に示すビットストリーム処理部２０１は、上述の図２に示す送信データ生成部１１０に対応させた構成となっている。図２９に示すビットストリーム処理部２０１Ａは、上述の図１３に示す送信データ生成部１１０Ａに対応させた構成となっている。この図２９において、図２７と対応する部分には同一符号を付し、その詳細説明は省略する。
【０１４２】
このビットストリーム処理部２０１Ａは、図２７に示すビットストリーム処理部２０１の視差ベクトルデコーダ２２５の代わりに、視差ベクトル取り出し部２３１が設けられる。この視差ベクトル取り出し部２３１は、ビデオデコーダ２２１を通じて得られるビデオのストリームから、そのユーザデータに埋め込まれている視差ベクトルを取り出す。そして、この視差ベクトル取り出し部２３１は、取り出した視差ベクトルを、立体画像用グラフィクス発生部２０６、立体画像用テキスト発生部２２７およびマルチチャネルスピーカコントロール部２２９に供給する。
【０１４３】
詳細説明は省略するが、この図２９に示すビットストリーム処理部２０１Ａのその他は、図２７に示すビットストリーム処理部２０１と同様に構成されている。
【０１４４】
また、図３０に示すビットストリーム処理部２０１Ｂは、上述の図１８に示す送信データ生成部１１０Ｂに対応させた構成となっている。この図３０において、図２７と対応する部分には同一符号を付し、その詳細説明は省略する。
【０１４５】
このビットストリーム処理部２０１Ｂは、図２７に示すビットストリーム処理部２０１から、視差ベクトルデコーダ２２５、立体画像用グラフィクス発生部２０６および立体画像用テキスト発生部２０７が除かれたものである。この場合、視差ベクトルは、グラフィクス情報、テキスト情報のデータに含めて送信されてくる。また、送信されてくるグラフィクスデータには、上述したように、左眼画像に重畳される左眼グラフィクス情報のデータおよび右眼画像に重畳される右眼グラフィクス情報のデータが含まれている。同様に、送信されてくるテキストデータには、上述したように、左眼画像に重畳される左眼テキスト情報のデータおよび右眼画像に重畳される右眼テキスト情報のデータが含まれている。したがって、視差ベクトルデコーダ２２５、立体画像用グラフィクス発生部２０６および立体画像用テキスト発生部２０７は不要となる。
【０１４６】
なお、テキストデコーダ２２３で得られるテキストデータはコードデータであるので、これをビットマップデータに変換する処理は必要である。この処理は、例えば、テキストデコーダ２２３の最終段で行われるか、あるいはビデオ重畳部２２８の入力段で行われる。
【０１４７】
［テレビ受信機の説明］
図１に戻って、テレビ受信機３００は、セットトップボックス２００からＨＤＭＩケーブル４００を介して送られてくる立体画像データを受信する。このテレビ受信機３００は、３Ｄ信号処理部３０１を有している。この３Ｄ信号処理部３０１は、立体画像データに対して、伝送方式に対応した処理（デコード処理）を行って、左眼画像データおよび右眼画像データを生成する。すなわち、この３Ｄ信号処理部３０１は、図２、図１３、図１８に示す送信データ生成部１１０，１１０Ａ，１１０Ｂにおけるビデオフレーミング部１１２とは逆の処理を行って、立体画像データを構成する左眼画像データおよび右眼画像データを取得する。
【０１４８】
［テレビ受信機の構成例］
テレビ受信機３００の構成例を説明する。図３１は、テレビ受信機３００の構成例を示している。このテレビ受信機３００は、３Ｄ信号処理部３０１と、ＨＤＭＩ端子３０２と、ＨＤＭＩ受信部３０３と、アンテナ端子３０４と、デジタルチューナ３０５と、ビットストリーム処理部３０６を有している。また、このテレビ受信機３００は、映像信号処理回路３０７と、パネル駆動回路３０８と、表示パネル３０９と、音声信号処理回路３１０と、音声増幅回路３１１と、スピーカ３１２を有している。また、このテレビ受信機３００は、ＣＰＵ３２１と、フラッシュＲＯＭ３２２と、ＤＲＡＭ３２３と、内部バス３２４と、リモコン受信部３２５と、リモコン送信機３２６を有している。
【０１４９】
アンテナ端子３０４は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ３０５は、アンテナ端子３０４に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）を出力する。
【０１５０】
ビットストリーム処理部３０６は、図２６に示すセットトップボックス２００のビットストリーム処理部２０１と同様の構成とされている。このビットストリーム処理部３０６は、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、グラフィクスデータ、テキストデータ、視差ベクトル等を抽出する。そして、このビットストリーム処理部３０６は、立体画像データに対し、重畳情報（グラフィクス情報、テキスト情報）のデータを合成し、表示用立体画像データを取得する。また、ビットストリーム処理部３０６は、音声データを出力する。
【０１５１】
ＨＤＭＩ受信部３０３は、ＨＤＭＩに準拠した通信により、ＨＤＭＩケーブル４００を介してＨＤＭＩ端子３０２に供給される非圧縮の画像データ（立体画像データ）および音声データを受信する。このＨＤＭＩ受信部３０３の詳細は後述する。３Ｄ信号処理部３０１は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた立体画像データに対して、伝送方式に対応した処理（デコード処理）を行って、左眼画像データおよび右眼画像データを生成する。
【０１５２】
映像信号処理回路３０７は、３Ｄ信号処理部３０１で生成された左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データを生成する。また、映像信号処理回路は、画像データに対して、必要に応じて、画質調整処理を行う。パネル駆動回路３０８は、映像信号処理回路３０７から出力される画像データに基づいて、表示パネル３０９を駆動する。表示パネル３０９は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma DisplayPanel）等で構成されている。
【０１５３】
音声信号処理回路３１０は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理を行う。音声増幅回路３１１は、音声信号処理回路３１０から出力される音声信号を増幅してスピーカ３１２に供給する。
【０１５４】
ＣＰＵ３２１は、テレビ受信機３００の各部の動作を制御する。フラッシュＲＯＭ３２２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ３２３は、ＣＰＵ３２１のワークエリアを構成する。ＣＰＵ３２１は、フラッシュＲＯＭ３２２から読み出したソフトウェアやデータをＤＲＡＭ３２３上に展開してソフトウェアを起動させ、テレビ受信機３００の各部を制御する。
【０１５５】
リモコン受信部３２５は、リモコン送信機３２６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ３２１に供給する。ＣＰＵ３２１は、このリモコンコードに基づいて、テレビ受信機３００の各部を制御する。ＣＰＵ３２１、フラッシュＲＯＭ３２２およびＤＲＡＭ３２３は、内部バス３２４に接続されている。
【０１５６】
図３１に示すテレビ受信機３００の動作を簡単に説明する。ＨＤＭＩ受信部３０３では、ＨＤＭＩ端子３０２にＨＤＭＩケーブル４００を介して接続されているセットトップボックス２００から送信されてくる、立体画像データおよび音声データが受信される。このＨＤＭＩ受信部３０３で受信された立体画像データは、３Ｄ信号処理部３０１に供給される。また、このＨＤＭＩ受信部３０３で受信された音声データは音声信号処理回路３１０に供給される。
【０１５７】
アンテナ端子３０４に入力されたテレビ放送信号はデジタルチューナ３０５に供給される。このデジタルチューナ３０５では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）が出力される。
【０１５８】
デジタルチューナ３０５から出力されるビットストリームデータは、ビットストリーム処理部３０６に供給される。このビットストリーム処理部３０６では、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、グラフィクスデータ、テキストデータ、視差ベクトル等が抽出される。また、このビットストリーム処理部３０６では、立体画像データに対し、重畳情報（グラフィクス情報、テキスト情報）のデータが合成され、表示用立体画像データが生成される。
【０１５９】
ビットストリーム処理部３０６で生成される表示用立体画像データは、３Ｄ信号処理部３０１に供給される。また、このビットストリーム処理部３０６で得られる音声データは、音声信号処理回路３１０に供給される。
【０１６０】
３Ｄ信号処理部３０１では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた立体画像データに対して、伝送方式に対応した処理（デコード処理）が行われて、左眼画像データおよび右眼画像データが生成される。この左眼画像データおよび右眼画像データは、映像信号処理部回路３０７に供給される。この映像信号処理回路３０７では、左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データが生成される。そのため、表示パネル３０９により立体画像が表示される。
【０１６１】
また、音声信号処理回路３１０では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理が施される。この音声データは、音声増幅回路３１１で増幅された後に、スピーカ３１２に供給される。そのため、スピーカ３１２から音声が出力される。
【０１６２】
［ＨＤＭＩ送信部、ＨＤＭＩ受信部の構成例］
図３２は、図１の立体画像表示システム１０における、セットトップボックス２００のＨＤＭＩ送信部（ＨＤＭＩソース）２０６と、テレビ受信機３００のＨＤＭＩ受信部（ＨＤＭＩシンク）３０３の構成例を示している。
【０１６３】
ＨＤＭＩ送信部２０６は、有効画像区間（以下、適宜、アクティブビデオ区間ともいう）において、非圧縮の１画面分の画像の画素データに対応する差動信号を、複数のチャネルで、ＨＤＭＩ受信部３０３に一方向に送信する。ここで、有効画像区間は、一の垂直同期信号から次の垂直同期信号までの区間から、水平帰線区間及び垂直帰線区間を除いた区間である。また、ＨＤＭＩ送信部２０６は、水平帰線区間または垂直帰線区間において、少なくとも画像に付随する音声データや制御データ、その他の補助データ等に対応する差動信号を、複数のチャネルで、ＨＤＭＩ受信部３０３に一方向に送信する。
【０１６４】
ＨＤＭＩ送信部２０６とＨＤＭＩ受信部３０３とからなるＨＤＭＩシステムの伝送チャネルには、以下の伝送チャネルがある。すなわち、ＨＤＭＩ送信部２０６からＨＤＭＩ受信部３０３に対して、画素データおよび音声データを、ピクセルクロックに同期して、一方向にシリアル伝送するための伝送チャネルとしての、３つのＴＭＤＳチャネル＃０乃至＃２がある。また、ピクセルクロックを伝送する伝送チャネルとしての、ＴＭＤＳクロックチャネルがある。
【０１６５】
ＨＤＭＩ送信部２０６は、ＨＤＭＩトランスミッタ８１を有する。トランスミッタ８１は、例えば、非圧縮の画像の画素データを対応する差動信号に変換し、複数のチャネルである３つのＴＭＤＳチャネル＃０，＃１，＃２で、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３０３に、一方向にシリアル伝送する。
【０１６６】
また、トランスミッタ８１は、非圧縮の画像に付随する音声データ、さらには、必要な制御データその他の補助データ等を、対応する差動信号に変換し、３つのＴＭＤＳチャネル＃０，＃１，＃２でＨＤＭＩ受信部３０３に、一方向にシリアル伝送する。
【０１６７】
さらに、トランスミッタ８１は、３つのＴＭＤＳチャネル＃０，＃１，＃２で送信する画素データに同期したピクセルクロックを、ＴＭＤＳクロックチャネルで、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３０３に送信する。ここで、１つのＴＭＤＳチャネル＃ｉ（ｉ＝０，１，２）では、ピクセルクロックの１クロックの間に、１０ビットの画素データが送信される。
【０１６８】
ＨＤＭＩ受信部３０３は、アクティブビデオ区間において、複数のチャネルで、ＨＤＭＩ送信部２０６から一方向に送信されてくる、画素データに対応する差動信号を受信する。また、このＨＤＭＩ受信部３０３は、水平帰線区間または垂直帰線区間において、複数のチャネルで、ＨＤＭＩ送信部２０６から一方向に送信されてくる、音声データや制御データに対応する差動信号を受信する。
【０１６９】
すなわち、ＨＤＭＩ受信部３０３は、ＨＤＭＩレシーバ８２を有する。このＨＤＭＩレシーバ８２は、ＴＭＤＳチャネル＃０，＃１，＃２で、ＨＤＭＩ送信部２０６から一方向に送信されてくる、画素データに対応する差動信号と、音声データや制御データに対応する差動信号を受信する。この場合、ＨＤＭＩ送信部２０６からＴＭＤＳクロックチャネルで送信されてくるピクセルクロックに同期して受信する。
【０１７０】
ＨＤＭＩ送信部２０６とＨＤＭＩ受信部３０３とからなるＨＤＭＩシステムの伝送チャネルには、上述のＴＭＤＳチャネル＃０乃至＃２およびＴＭＤＳクロックチャネルの他に、ＤＤＣ（Display Data Channel）８３やＣＥＣライン８４と呼ばれる伝送チャネルがある。ＤＤＣ８３は、ＨＤＭＩケーブル４００に含まれる図示しない２本の信号線からなり、ＨＤＭＩ送信部２０６が、ＨＤＭＩケーブル４００を介して接続されたＨＤＭＩ受信部３０３から、Ｅ−ＥＤＩＤ（Enhanced Extended Display Identification Data）を読み出すために使用される。
【０１７１】
すなわち、ＨＤＭＩ受信部３０３は、ＨＤＭＩレシーバ８１の他に、自身の性能（Configuration/capability）に関する性能情報であるＥ−ＥＤＩＤを記憶している、ＥＤＩＤ ＲＯＭ（Read Only Memory）８５を有している。ＨＤＭＩ送信部２０６は、例えば、ＣＰＵ２１１（図２６参照）からの要求に応じて、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３０３から、当該ＨＤＭＩ受信部３０３のＥ−ＥＤＩＤを、ＤＤＣ８３を介して読み出す。ＨＤＭＩ送信部２０６は、読み出したＥ−ＥＤＩＤをＣＰＵ２１１に送る。ＣＰＵ２１１は、このＥ−ＥＤＩＤを、フラッシュＲＯＭ２１２あるいはＤＲＡＭ２１３に格納する。
【０１７２】
ＣＰＵ２１１は、Ｅ−ＥＤＩＤに基づき、ＨＤＭＩ受信部３０３の性能の設定を認識できる。例えば、ＣＰＵ２１１は、ＨＤＭＩ受信部３０３を有するテレビ受信機３００が対応可能な画像データのフォーマット（解像度、フレームレート、アスペクト等）を認識する。
【０１７３】
ＣＥＣライン８４は、ＨＤＭＩケーブル４００に含まれる図示しない１本の信号線からなり、ＨＤＭＩ送信部２０６とＨＤＭＩ受信部３０３との間で、制御用のデータの双方向通信を行うために用いられる。このＣＥＣライン８４は、制御データラインを構成している。
【０１７４】
また、ＨＤＭＩケーブル４００には、ＨＰＤ（Hot Plug Detect）と呼ばれるピンに接続されるライン（ＨＰＤライン）８６が含まれている。ソース機器は、当該ライン８６を利用して、シンク機器の接続を検出することができる。また、ＨＤＭＩケーブル４００には、ソース機器からシンク機器に電源を供給するために用いられるライン８７が含まれている。さらに、ＨＤＭＩケーブル４００には、リザーブライン８８が含まれている。
【０１７５】
図３３は、図３２のＨＤＭＩトランスミッタ８１とＨＤＭＩレシーバ８２の構成例を示している。ＨＤＭＩトランスミッタ８１は、３つのＴＭＤＳチャネル＃０，＃１，＃２にそれぞれ対応する３つのエンコーダ／シリアライザ８１Ａ，８１Ｂ，８１Ｃを有する。そして、エンコーダ／シリアライザ８１Ａ，８１Ｂ，８１Ｃのそれぞれは、そこに供給される画像データ、補助データ、制御データをエンコードし、パラレルデータからシリアルデータに変換して、差動信号により送信する。ここで、画像データが、例えばＲ，Ｇ，Ｂの３成分を有する場合、Ｂ成分はエンコーダ／シリアライザ８１Ａに供給され、Ｇ成分はエンコーダ／シリアライザ８１Ｂに供給され、Ｒ成分はエンコーダ／シリアライザ８１Ｃに供給される。
【０１７６】
また、補助データとしては、例えば、音声データや制御パケットがあり、制御パケットは、例えば、エンコーダ／シリアライザ８１Ａに供給され、音声データは、エンコーダ／シリアライザ８１Ｂ，８１Ｃに供給される。さらに、制御データとしては、１ビットの垂直同期信号（VSYNC）、１ビットの水平同期信号（HSYNC）、および、それぞれ１ビットの制御ビットＣＴＬ０，ＣＴＬ１，ＣＴＬ２，ＣＴＬ３がある。垂直同期信号および水平同期信号は、エンコーダ／シリアライザ８１Ａに供給される。制御ビットＣＴＬ０，ＣＴＬ１はエンコーダ／シリアライザ８１Ｂに供給され、制御ビットＣＴＬ２，ＣＴＬ３はエンコーダ／シリアライザ８１Ｃに供給される。
【０１７７】
エンコーダ／シリアライザ８１Ａは、そこに供給される画像データのＢ成分、垂直同期信号および水平同期信号、並びに補助データを、時分割で送信する。すなわち、エンコーダ／シリアライザ８１Ａは、そこに供給される画像データのＢ成分を、固定のビット数である８ビット単位のパラレルデータとする。さらに、エンコーダ／シリアライザ８１Ａは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃０で送信する。
【０１７８】
また、エンコーダ／シリアライザ８１Ａは、そこに供給される垂直同期信号および水平同期信号の２ビットのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃０で送信する。さらに、エンコーダ／シリアライザ８１Ａは、そこに供給される補助データを４ビット単位のパラレルデータとする。そして、エンコーダ／シリアライザ８１Ａは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃０で送信する。
【０１７９】
エンコーダ／シリアライザ８１Ｂは、そこに供給される画像データのＧ成分、制御ビットＣＴＬ０，ＣＴＬ１、並びに補助データを、時分割で送信する。すなわち、エンコーダ／シリアライザ８１Ｂは、そこに供給される画像データのＧ成分を、固定のビット数である８ビット単位のパラレルデータとする。さらに、エンコーダ／シリアライザ８１Ｂは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃１で送信する。
【０１８０】
また、エンコーダ／シリアライザ８１Ｂは、そこに供給される制御ビットＣＴＬ０，ＣＴＬ１の２ビットのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃１で送信する。さらに、エンコーダ／シリアライザ８１Ｂは、そこに供給される補助データを４ビット単位のパラレルデータとする。そして、エンコーダ／シリアライザ８１Ｂは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃１で送信する。
【０１８１】
エンコーダ／シリアライザ８１Ｃは、そこに供給される画像データのＲ成分、制御ビットＣＴＬ２，ＣＴＬ３、並びに補助データを、時分割で送信する。すなわち、エンコーダ／シリアライザ８１Ｃは、そこに供給される画像データのＲ成分を、固定のビット数である８ビット単位のパラレルデータとする。さらに、エンコーダ／シリアライザ８１Ｃは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃２で送信する。
【０１８２】
また、エンコーダ／シリアライザ８１Ｃは、そこに供給される制御ビットＣＴＬ２，ＣＴＬ３の２ビットのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃２で送信する。さらに、エンコーダ／シリアライザ８１Ｃは、そこに供給される補助データを４ビット単位のパラレルデータとする。そして、エンコーダ／シリアライザ８１Ｃは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃２で送信する。
【０１８３】
ＨＤＭＩレシーバ８２は、３つのＴＭＤＳチャネル＃０，＃１，＃２にそれぞれ対応する３つのリカバリ／デコーダ８２Ａ，８２Ｂ，８２Ｃを有する。そして、リカバリ／デコーダ８２Ａ，８２Ｂ，８２Ｃのそれぞれは、ＴＭＤＳチャネル＃０，＃１，＃２で差動信号により送信されてくる画像データ、補助データ、制御データを受信する。さらに、リカバリ／デコーダ８２Ａ，８２Ｂ，８２Ｃのそれぞれは、画像データ、補助データ、制御データを、シリアルデータからパラレルデータに変換し、さらにデコードして出力する。
【０１８４】
すなわち、リカバリ／デコーダ８２Ａは、ＴＭＤＳチャネル＃０で差動信号により送信されてくる画像データのＢ成分、垂直同期信号および水平同期信号、補助データを受信する。そして、リカバリ／デコーダ８２Ａは、その画像データのＢ成分、垂直同期信号および水平同期信号、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。
【０１８５】
リカバリ／デコーダ８２Ｂは、ＴＭＤＳチャネル＃１で差動信号により送信されてくる画像データのＧ成分、制御ビットＣＴＬ０，ＣＴＬ１、補助データを受信する。そして、リカバリ／デコーダ８２Ｂは、その画像データのＧ成分、制御ビットＣＴＬ０，ＣＴＬ１、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。
【０１８６】
リカバリ／デコーダ８２Ｃは、ＴＭＤＳチャネル＃２で差動信号により送信されてくる画像データのＲ成分、制御ビットＣＴＬ２，ＣＴＬ３、補助データを受信する。そして、リカバリ／デコーダ８２Ｃは、その画像データのＲ成分、制御ビットＣＴＬ２，ＣＴＬ３、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。
【０１８７】
図３４は、ＴＭＤＳ伝送データの構造例を示している。この図３４は、ＴＭＤＳチャネル＃０，＃１，＃２において、横×縦が１９２０ピクセル×１０８０ラインの画像データが伝送される場合の、各種の伝送データの区間を示している。
【０１８８】
ＨＤＭＩの３つのＴＭＤＳチャネル＃０，＃１，＃２で伝送データが伝送されるビデオフィールド（Video Field）には、伝送データの種類に応じて、３種類の区間が存在する。この３種類の区間は、ビデオデータ区間（Video Data period）、データアイランド区間（Data Islandperiod）、およびコントロール区間（Control period）である。
【０１８９】
ここで、ビデオフィールド区間は、ある垂直同期信号の立ち上がりエッジ（active edge）から次の垂直同期信号の立ち上がりエッジまでの区間である。このビデオフィールド区間は、水平ブランキング期間（horizontal blanking）、垂直ブランキング期間（verticalblanking）、並びに、アクティブビデオ区間（Active Video）に分けられる。このアクティブビデオ区間は、ビデオフィールド区間から、水平ブランキング期間および垂直ブランキング期間を除いた区間である
【０１９０】
ビデオデータ区間は、アクティブビデオ区間に割り当てられる。このビデオデータ区間では、非圧縮の１画面分の画像データを構成する１９２０ピクセル（画素）×１０８０ライン分の有効画素（Active pixel）のデータが伝送される。
【０１９１】
データアイランド区間およびコントロール区間は、水平ブランキング期間および垂直ブランキング期間に割り当てられる。このデータアイランド区間およびコントロール区間では、補助データ（Auxiliary data）が伝送される。すなわち、データアイランド区間は、水平ブランキング期間と垂直ブランキング期間の一部分に割り当てられている。このデータアイランド区間では、補助データのうち、制御に関係しないデータである、例えば、音声データのパケット等が伝送される。
【０１９２】
コントロール区間は、水平ブランキング期間と垂直ブランキング期間の他の部分に割り当てられている。このコントロール区間では、補助データのうちの、制御に関係するデータである、例えば、垂直同期信号および水平同期信号、制御パケット等が伝送される。
【０１９３】
図３５は、ＨＤＭＩ端子２１１，２５１のピン配列の一例を示している。図３５に示すピン配列はタイプＡ（type-A）と呼ばれている。
【０１９４】
ＴＭＤＳチャネル＃ｉの差動信号であるＴＭＤＳ Ｄａｔａ＃ｉ＋とＴＭＤＳ Ｄａｔａ＃ｉ−が伝送される差動線である２本のラインは、ＴＭＤＳ Ｄａｔａ＃ｉ＋が割り当てられているピン（ピン番号が１，４，７のピン）と、ＴＭＤＳ Ｄａｔａ＃ｉ−が割り当てられているピン（ピン番号が３，６，９のピン）に接続される。
【０１９５】
また、制御用のデータであるＣＥＣ信号が伝送されるＣＥＣライン８４は、ピン番号が１３であるピンに接続され、ピン番号が１４のピンは空き（Reserved）ピンとなっている。また、Ｅ−ＥＤＩＤ等のＳＤＡ（SerialData）信号が伝送されるラインは、ピン番号が１６であるピンに接続され、ＳＤＡ信号の送受信時の同期に用いられるクロック信号であるＳＣＬ（Serial Clock）信号が伝送されるラインは、ピン番号が１５であるピンに接続される。上述のＤＤＣ８３は、ＳＤＡ信号が伝送されるラインおよびＳＣＬ信号が伝送されるラインにより構成される。
【０１９６】
また、上述したようにソース機器がシンク機器の接続を検出するためのＨＰＤライン８６は、ピン番号が１９であるピンに接続される。また、上述したように電源を供給するためのライン８７は、ピン番号が１８であるピンに接続される。
【０１９７】
［立体画像データの各方式におけるＴＭＤＳ伝送データ例］
ここで、立体画像データの各方式におけるＴＭＤＳ伝送データ例を説明する。図３６は、第１の伝送方式（「Top & Bottom」方式）のＴＭＤＳ伝送データ例を示している。この場合、１９２０ピクセル×１０８０ラインのアクティブビデオ区間に、１９２０ピクセル（画素）×１０８０ライン分の有効画素（Active pixel）のデータ（左眼（Ｌ）画像データおよび右眼（Ｒ）画像データの合成データ）が配置される。この第１の方式の場合、上述したように、左眼画像データおよび右眼画像データは、それぞれ、垂直方向のラインが１／２に間引かれる。ここで、伝送すべき左眼画像データは奇数ラインまたは偶数ラインのいずれかであり、同様に、伝送すべき右眼画像データは奇数ラインまたは偶数ラインのいずれかである。
【０１９８】
図３７は、第２の伝送方式（「Side By Side」方式）のＴＭＤＳ伝送データ例を示している。この場合、１９２０ピクセル×１０８０ラインのアクティブビデオ区間に、１９２０ピクセル（画素）×１０８０ライン分の有効画素（Active pixel）のデータ（左眼（Ｌ）画像データおよび右眼（Ｒ）画像データの合成データ）が配置される。この第２の伝送方式の場合、上述したように、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが１／２に間引かれる。
【０１９９】
図３８は、第３の伝送方式（「Frame Sequential」方式）におけるＴＭＤＳ伝送データ例を示している。この場合、奇数フィールドの１９２０ピクセル×１０８０ラインのアクティブビデオ区間に、１９２０ピクセル（画素）×１０８０ライン分の有効画素（Active pixel）の左眼（Ｌ）画像データが配置される。また、偶数フィールドの１９２０ピクセル×１０８０ラインのアクティブビデオ区間に、１９２０ピクセル（画素）×１０８０ライン分の有効画素（Active pixel）の右眼（Ｒ）画像データが配置される。
【０２００】
なお、図３８に示す「Frame Sequential」方式におけるＴＭＤＳ伝送データ例は、ＨＤＭＩ 1.4（New HDMI）での「Frame Sequential」方式を示している。この場合、図３９（ａ）に示すように、各フレーム期間Ｖfreqにおいて、奇数フィールドに左眼画像データが配置され、偶数フィールドに右眼画像データが配置されている。
【０２０１】
しかし、ＨＤＭＩ 1.3（Legacy HDMI）での「FrameSequential」方式の場合には、図３９（ｂ）に示すように、フレーム期間Ｖfreq毎に、左眼画像データと右眼画像データとは交互に伝送される。この場合、フレーム毎に伝送される画像データが左眼画像データ、右眼画像データのいずれであるかを示す情報（Ｌ，Ｒのsignaling情報）を、ソース機器はシンク機器に送ることが必要となる。
【０２０２】
「Top& Bottom」方式、「Side By Side」方式、「Frame Sequential」方式の立体画像データをシンク機器に送信する場合、ソース機器側で方式を指定し、さらに「Frame Sequential」方式の場合には、Ｌ，Ｒをフレーム毎にsignalingする。
【０２０３】
例えば、以下のシンタクスをLegacy ＨＤＭＩ仕様のブランキングに定義されているVendor Specific、あるいはAVI InfoFrame、もしくはReservedの一つを新規定義して、伝送する。
【０２０４】
ＨＤＭＩ 1.3の場合、ブランキング期間で送る情報としては、次のものが定義されている。
InfoFrameType # (8bits)
--------------------------
0x01:Vendor Specific
0x02:AVI InfoFrame
0x03:Source Product Description
0x04: AudioInfoFrame
0x05: MPEGSource
0x06 -0xFF Reserved
【０２０５】
このうちの、Vendor Specific、あるいはAVI InfoFrame、もしくは未使用領域の一つを新規定義して、以下のようにする。
3DVideoFlag 1bit (0:2D, 1: 3D)
if(3DVideoFlag) {
3DVideoFormat 3bits (0x0:Frame Packing Left View
0x1:Frame Packing Right View
0x2:Side by Side
0x4:Top & Bottom by Frame
0x6:Top & Bottom by Field
0x3,5,7:Reserved )
Reserved 4bits (0x0)
}
else {
Reserved 7bits (0x0)
}
【０２０６】
上述の情報には、３次元画像データおよび２次元画像データの切り替え情報（１ビットの3DVideoFlag情報）と、３次元画像データのフォーマットの指定あるいは左眼画像データおよび右眼画像データの切り替えの情報（３ビットの3DVideoFormat情報）が含まれている。
【０２０７】
なお、この情報は、同様の内容が放送されるビットストリームの中において、ピクチャーヘッダあるいはそれに相当するタイミングで送られる補助情報に定義されるべきものである。この場合、このビットストリームには、３次元画像データ（左眼画像データおよび右眼画像データからなる立体画像データ）または２次元画像データが択一的に含まれる。
受信機（セットトップボックス２００）では、そのストリームを受信した際に、このシグナリング情報を後段のデジタルインタフェースへ送ることで、表示ディスプレイ（テレビ受信機３００）において正確な３Ｄ変換が行えるようにとり図る。
【０２０８】
また、受信機は、切り替え情報（１ビットの3DVideoFlag情報）が３次元画像データを示すとき、つまりデータストリームが３次元画像データを含むとき、この３次元画像データを処理するためのソフトウェアを放送サーバ等の外部機器からダウンロードしてインストールするようにしてもよい。
【０２０９】
例えば、上述の３Ｄ情報を伝送するため、ＨＤＭＩ１．３対応のシステム上に追加で対応すること、あるいはＨＤＭＩ１．４対応のシステムのソフトウェアを更新することが必要となる。そのため、ソフトウェアのアップデートの際には、例えば、上述の３Ｄ情報を伝送するために必要なファームウェア、ミドルウェア関係のソフトウェアがアップデートの対象となる。
【０２１０】
上述したように、図１に示す立体画像表示システム１０においては、左眼画像および右眼画像の一方に対する他方の視差情報に基づいて、左眼画像および右眼画像に重畳する同一の重畳情報（グラフィクス情報、テキスト情報など）に視差が付与される。そのため、左眼画像および右眼画像に重畳される同一の重畳情報として、画像内の各物体（オブジェクト）の遠近感に応じて視差調整が施されたものを用いることができ、重畳情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。
【０２１１】
＜２．変形例＞
なお、上述実施の形態においては、放送局１００側からセットトップボックス２００に画像内の所定位置の視差ベクトルが送信されてくる。この場合、セットトップボックス２００は、受信された立体画像データに含まれる左眼画像データおよび右眼画像データに基づいて視差ベクトルを得ることを必要とせず、セットトップボックス２００の処理が簡単となる。
【０２１２】
しかし、立体画像データの受信側、上述の実施の形態ではセットトップボックス２００に、図２の送信データ生成部１１０における視差ベクトル検出部１１４と同等の視差ベクトル検出部を配置することも考えられる。この場合、視差ベクトルが送られてこなくても、視差ベクトルを用いた処理が可能となる。
【０２１３】
図４０は、例えば、セットトップボックス２００に設けられるビットストリーム処理部２０１Ｃの構成例を示している。この図４０において、図２７と対応する部分には同一符号を付し、その詳細説明は省略する。このビットストリーム処理部２０１Ｃでは、図２７に示すビットストリーム処理部２０１における視差ベクトルデコーダ２２５の代わりに、視差ベクトル検出部２３３が配置されている。
【０２１４】
この視差ベクトル検出部２３３は、ビデオデコーダ２２１で得られる立体画像データを構成する左眼画像データおよび右眼画像データに基づいて、画像内の所定位置における視差ベクトルを検出する。そして、この視差ベクトル検出部２３３は、検出した視差ベクトルを、立体画像用グラフィクス発生部２０６、立体画像用テキスト発生部２２７およびマルチチャネルスピーカ出力制御部２２９に供給する。
【０２１５】
詳細説明は省略するが、この図４０に示すビットストリーム処理部２０１Ｃのその他は、図２７に示すビットストリーム処理部２０１と同様に構成されている。
【０２１６】
また、上述実施の形態においては、立体画像表示システム１０が、放送局１００、セットトップボックス２００およびテレビ受信機３００で構成されているものを示した。しかし、テレビ受信機３００は、図３１に示すように、セットトップボックス２００内のビットストリーム処理部２０１と同等に機能するビットストリーム処理部２０１を備えている。したがって、図４１に示すように、放送局１００およびテレビ受信機３００で構成される立体画像表示システム１０Ａも考えられる。
【０２１７】
また、上述実施例においては、立体画像データを含むデータストリーム（ビットストリームデータ）が放送局１００から放送される例を示した。しかし、この発明は、このデータストリームがインターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できることは勿論である。
【産業上の利用可能性】
【０２１８】
この発明は、グラフィクス情報、テキスト情報等の重畳情報を画像に重畳して表示する立体画像表示システム等に適用できる。
【符号の説明】
【０２１９】
１０，１０Ａ・・・立体画像表示システム、１００・・・放送局、１１０，１１０Ａ，１１０Ｂ・・・送信データ生成部、１１１Ｌ，１１１Ｒ・・・カメラ、１１２・・・ビデオフレーミング部、１１３・・・ビデオエンコーダ、１１４・・・視差ベクトル検出部、１１５・・・視差ベクトルエンコーダ、１１６・・・マイクロホン、１１７・・・オーディオエンコーダ、１１８・・・グラフィクス発生部、１１９・・・グラフィクスエンコーダ、１２０・・・テキスト発生部、１２１・・・テキストエンコーダ、１２２・・・マルチプレクサ、１２３・・・ストリームフレーミング部、１２４・・・グラフィクス処理部、１２５・・・テキスト処理部、２００・・・セットトップボックス、２０１，２０１Ａ，２０１Ｂ，２０１Ｃ・・・ビットストリーム処理部、２０２・・・ＨＤＭＩ端子、２０３・・・アンテナ端子、２０４・・・デジタルチューナ、２０５・・・映像信号処理回路、２０６・・・ＨＤＭＩ送信部、２０７・・・音声信号処理回路、２１１・・・ＣＰＵ、２１２・・・フラッシュＲＯＭ、２１３・・・ＤＲＡＭ、２１４・・・内部バス、２１５・・・リモコン受信部、２１６・・・リモコン送信機、２２０・・・デマルチプレクサ、２２１・・・ビデオデコーダ、２２２・・・グラフィクスデコーダ、２２３・・・テキストデコーダ、２２４・・・オーディオデコーダ、２２５・・・視差ベクトルデコーダ、２２６・・・立体画像用グラフィクス発生部、２２７・・・立体画像用テキスト発生部、２２８・・・ビデオ重畳部、２２９・・・マルチチャネルスピーカコントロール部、２３１・・・視差ベクトル抽出部、２３３・・・視差ベクトル検出部、３００・・・テレビ受信機、３０１・・・３Ｄ信号処理部、３０２・・・ＨＤＭＩ端子、３０３・・・ＨＤＭＩ受信部、３０４・・・アンテナ端子、３０５・・・デジタルチューナ、３０６・・・ビットストリーム処理部、３０７・・・映像信号処理回路、３０８・・・パネル駆動回路、３０９・・・表示パネル、３１０・・・音声信号処理回路、３１１・・・音声増幅回路、３１２・・・スピーカ、３２１・・・ＣＰＵ、３２２・・・フラッシュＲＯＭ、３２３・・・ＤＲＡＭ、３２４・・・内部バス、３２５・・・リモコン受信部、３２６・・・リモコン送信機、４００・・・ＨＤＭＩケーブル
【技術分野】
【０００１】
この発明は、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法に関し、特に、グラフィクス情報、テキスト情報等の重畳情報の表示を良好に行い得る立体画像データ送信方法等に関する。
【背景技術】
【０００２】
例えば、特許文献１には、立体画像データのテレビ放送電波を用いた伝送方式について提案されている。この場合、左眼用画像データおよび右眼用画像データを含む立体画像データが送信され、テレビ受信機において、両眼視差を利用した立体画像表示が行われる。
【０００３】
図４２は、両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクト（物体）の左右像の表示位置と、その立体像の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Ｌａが右側に右像Ｒａが左側にずれて表示されているオブジェクトＡに関しては、左右の視線がスクリーン面より手前で交差するため、その立体像の再生位置はスクリーン面より手前となる。
【０００４】
また、例えば、スクリーン上に図示のように左像Ｌｂおよび右像Ｒｂが同一位置に表示されているオブジェクトＢに関しては、左右の視線がスクリーン面で交差するため、その立体像の再生位置はスクリーン面上となる。さらに、例えば、スクリーン上に図示のように左像Ｌｃが左側に右像Ｒｃが右側にずれて表示されているオブジェクトＣに関しては、左右の視線がスクリーン面より奥で交差するため、その立体像の再生位置はスクリーン面より奥となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−６１１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したように立体画像表示において、視聴者は、両眼視差を利用して、立体画像の遠近感を認知することが普通である。画像に重畳される重畳情報、例えばグラフィクス情報、テキスト情報等に関しても、２次元空間的のみならず、３次元の奥行き感としても、立体画像表示と連動してレンダリングされることが期待される。
【０００７】
例えば、画像にグラフィクス情報である字幕を重畳表示(オーバーレイ表示)する場合、遠近感でいうところの最も近い画像内の物体（オブジェクト）よりも手前に表示されないと、視聴者は、遠近感の矛盾を感じる場合がある。また、他のグラフィクス情報、あるいはテキスト情報を画像に重畳表示する場合にも、画像内の各物体の遠近感に応じて視差調整を施し、遠近感の整合性を維持することが期待される。
【０００８】
この発明の目的は、グラフィクス情報、テキスト情報等の重畳情報の表示において、画像内の各物体との間の遠近感の整合性の維持を図ることにある。
【課題を解決するための手段】
【０００９】
この発明の概念は、
立体画像を表示するための左眼画像データおよび右眼画像データに基づき、画像内の所定位置において、左眼画像および右眼画像の一方に対する他方の視差情報を取得し、
上記左眼画像データおよび上記右眼画像データを含む立体画像データと共に、上記取得された視差情報を送信する
立体画像データ送信方法にある。
【００１０】
この発明において、立体画像を表示するための左眼画像データおよび右眼画像データに基づいて、左眼画像および右眼画像の一方に対する他方の視差情報が求められる。この場合、画像内の所定位置において、例えば、ブロックマッチング法により視差情報としての視差ベクトルが求められる。そして、左眼画像データおよび上記右眼画像データを含む立体画像データと共に視差情報が送信される。
【００１１】
例えば、視差情報は、数値情報として送信される。この場合、受信側において、この数値情報に基づいて、左眼画像および右眼画像に重畳される同一の重畳情報に視差が付与される。ここで、重畳情報は、字幕を表示するグラフィクス情報、電子番組表（ＥＰＧ：Electronic Program Guide）、文字放送内容を表示するテキスト情報など、画像に重畳表示される情報を意味している。また、視差情報は、左眼画像データおよび右眼画像データによる画像に重畳するための重畳情報のデータに含めて送信される。この場合、受信側においては、この重畳情報がそのまま用いられる、
【００１２】
このように、左眼画像データおよび右眼画像データを含む立体画像データと共に、画像内の所定位置において取得された視差情報が送信されることで、受信側においては、左眼画像および右眼画像に重畳される同一の重畳情報として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができ、重畳情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。
【００１３】
また、この発明の概念は、
左眼画像データおよび右眼画像データを含む立体画像データを受信する画像データ受信部と、
上記画像データ受信部で受信される立体画像データに含まれる上記左眼画像データおよび上記右眼画像データが処理されて得られた、左眼画像および右眼画像の一方に対する他方の視差情報に基づいて、上記左眼画像および上記右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る画像データ処理部
を備える立体画像データ受信装置にある。
【００１４】
この発明において、画像データ受信部により、左眼画像データおよび右眼画像データを含む立体画像データが受信される。また、画像データ処理部により、左眼画像および右眼画像の一方に対する他方の視差情報に基づいて、左眼画像および右眼画像に重畳する同一の重畳情報に視差が付与される。この視差情報は、画像データ受信部で受信される立体画像データに含まれる左眼画像データおよび右眼画像データが処理されて得られたものである。
【００１５】
例えば、視差情報は、視差情報受信部により、画像データ受信部で受信される立体画像データに同期して、受信される。この場合、画像データ受信部で受信された立体画像データに含まれる左眼画像データおよび右眼画像データに基づいて視差情報を得ることを必要とせず、受信側の処理が簡単となる。また、例えば、視差情報は、視差情報取得部により得られる。この視差情報取得部では、画像データ受信部で受信された立体画像データに含まれる左眼画像データおよび右眼画像データに基づき、画像内の所定位置において、左眼画像および右眼画像の一方に対する他方の視差情報が得られる。この場合、視差情報が送られてこなくても、視差情報を用いた処理が可能となる。
【００１６】
また、画像データ処理部により、重畳情報が重畳された左眼画像のデータおよび重畳情報が重畳された右眼画像のデータが得られる。例えば、画像データ送信部により、画像データ処理部で得られた左眼画像データおよび右眼画像データを含む立体画像データが外部機器に送信される。また、例えば、画像表示部により、画像データ処理部で得られた左眼画像データおよび右眼画像データによる立体画像表示のための画像が表示される。
【００１７】
このように、左眼画像および右眼画像の一方に対する他方の視差情報に基づいて、左眼画像および右眼画像に重畳する同一の重畳情報に視差が付与される。そのため、左眼画像および右眼画像に重畳される同一の重畳情報として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができ、重畳情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。
【００１８】
なお、この発明において、例えば、画像データ処理部は、左眼画像および右眼画像に重畳する同一の重畳情報に、この重畳情報の重畳位置に応じた視差を付与する、ようにしてもよい。この場合、各重畳情報に重畳位置に応じた視差が付与されるので、例えば重畳位置に存在する物体の遠近感と同等の遠近感を重畳情報に持たせることが可能となる。
【００１９】
また、この発明において、例えば、マルチチャネルのスピーカと、左眼画像データおよび右眼画像データの一方に対する他方の視差情報に基づいて、マルチチャネルのスピーカ出力を制御する制御部をさらに備える、ようにしてもよい。この場合、立体感をさらに際だたせることができる。
【発明の効果】
【００２０】
この発明によれば、立体画像データの受信側で、左眼画像および右眼画像に重畳される同一の重畳情報として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができ、重畳情報の表示において遠近感の整合性を維持することが可能となる。
【図面の簡単な説明】
【００２１】
【図１】この発明の実施の形態としての立体画像表示システムの構成例を示すブロック図である。
【図２】放送局における送信データ生成部の構成例を示すブロック図である。
【図３】１９２０×１０８０ｐのピクセルフォーマットの画像データを示す図である。
【図４】立体画像データ（３Ｄ画像データ）の伝送方式である「Top & Bottom」方式、「Side By Side」方式、「Frame Sequential」方式を説明するための図である。
【図５】左眼画像に対する右眼画像の視差ベクトルを検出する例を説明するための図である。
【図６】視差ベクトルをブロックマッチング方式で求めることを説明するための図である。
【図７】視差ベクトル検出部で検出される、画像内の所定位置おける視差ベクトルＶＶの一例を示す図である。
【図８】視差ベクトルの伝送内容を示す図である。
【図９】視差検出ブロック例と、その場合の視差ベクトルの伝送内容を示す図である。
【図１０】視差ベクトルを検出して伝送するタイミングの例を説明するための図である。
【図１１】視差ベクトルを検出して伝送するタイミングの例を説明するための図である。
【図１２】送信データ生成部において多重化される各データのストリーム例を示す図である。
【図１３】放送局における送信データ生成部の他の構成例を示すブロック図である。
【図１４】伝送方式が第１の伝送方式（「Top & Bottom」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置等を説明するための図である。
【図１５】伝送方式が第１の伝送方式（「Top & Bottom」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の生成方法を説明するための図である。
【図１６】伝送方式が第２の伝送方式（「Side By Side」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の生成方法を説明するための図である。
【図１７】伝送方式が第２の伝送方式（「Side By Side」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の生成方法を説明するための図である。
【図１８】放送局における送信データ生成部の他の構成例を示すブロック図である。
【図１９】伝送方式が第２の伝送方式（「Side By Side」方式）の場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示す図である。
【図２０】左眼画像、右眼画像に対して、ビットストリームデータから抽出された従来方法により伝送されるグラフィクスデータによるグラフィクス画像をそのまま重畳した状態を示す図である。
【図２１】時刻Ｔ０，Ｔ１，Ｔ２，Ｔ３における３つのオブジェクト位置の視差ベクトル（View Vector）を示す図である。
【図２２】画像上における字幕（グラフィクス情報）の表示例と、背景、近景オブジェクト、字幕の遠近感を示す図である。
【図２３】画像上における字幕（グラフィクス情報）の表示例と、字幕を表示するための左眼グラフィクス情報ＬＧＩおよび右眼グラフィクス情報ＲＧＩを示す図である。
【図２４】視差ベクトルとして、画像内の複数位置で検出された視差ベクトルのうち、その重畳位置に対応したものを使用することを説明するための図である。
【図２５】画像内にＡ，Ｂ，Ｃの各オブジェクトが存在し、これら各オブジェクトの近傍位置に、各オブジェクトの注釈を示すテキスト情報を重畳することを示す図である。
【図２６】セットトップボックスの構成例を示すブロック図である。
【図２７】セットトップボックスを構成するビットストリーム処理部の構成例を示すブロック図である。
【図２８】視差ベクトルＶＶ１が、テレビディスプレイに向かって左側のビデオオブジェクトの方が大きい場合のスピーカ出力制御例を示す図である。
【図２９】セットトップボックスを構成するビットストリーム処理部の他の構成例を示すブロック図である。
【図３０】セットトップボックスを構成するビットストリーム処理部の他の構成例を示すブロック図である。
【図３１】テレビ受信機の構成例を示す図である。
【図３２】ＨＤＭＩ送信部（ＨＤＭＩソース）とＨＤＭＩ受信部（ＨＤＭＩシンク）の構成例を示すブロック図である。
【図３３】ＨＤＭＩ送信部を構成するＨＤＭＩトランスミッタと、ＨＤＭＩ受信部を構成するＨＤＭＩレシーバの構成例を示すブロック図である。
【図３４】ＴＭＤＳ伝送データの構造例（横×縦が１９２０ピクセル×１０８０ラインの画像データが伝送される場合）を示す図である。
【図３５】ソース機器およびシンク機器のＨＤＭＩケーブルが接続されるＨＤＭＩ端子のピン配列（タイプＡ）を示す図である。
【図３６】第１の伝送方式（「Top & Bottom」方式）のＴＭＤＳ伝送データ例を示す図である。
【図３７】第２の伝送方式（「Side By Side」方式）のＴＭＤＳ伝送データ例を示す図である。
【図３８】第３の伝送方式（「Frame Sequential」方式）のＴＭＤＳ伝送データ例を示す図である。
【図３９】ＨＤＭＩ 1.4（New HDMI）での「FrameSequential」方式と、ＨＤＭＩ 1.3（LegacyHDMI）での「Frame Sequential」方式を説明するための図である。
【図４０】セットトップボックスを構成するビットストリーム処理部の他の構成例を示すブロック図である。
【図４１】立体画像表示システムの他の構成例を示す図である。
【図４２】両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクトの左右像の表示位置と、その立体像の再生位置との関係を示す図である。
【発明を実施するための形態】
【００２２】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．第１の実施の形態
２．変形例
【００２３】
＜１．実施の形態＞
［立体画像送受信システムの構成例］
図１は、実施の形態としての立体画像送受信システム１０の構成例を示している。この立体画像送受信システム１０は、放送局１００と、セットトップボックス（ＳＴＢ：Set Top Box）２００と、テレビ受信機３００を有している。
【００２４】
セットトップボックス２００およびテレビ受信機３００は、ＨＤＭＩ（High Definition Multimedia Interface）ケーブル４００を介して接続されている。セットトップボックス２００には、ＨＤＭＩ端子２０２が設けられている。テレビ受信機３００には、ＨＤＭＩ端子３０２が設けられている。ＨＤＭＩケーブル４００の一端はセットトップボックス２００のＨＤＭＩ端子２０２に接続され、このＨＤＭＩケーブル４００の他端はテレビ受信機３００のＨＤＭＩ端子３０２に接続されている。
【００２５】
［放送局の説明］
放送局１００は、ビットストリームデータを、放送波にのせて送信する。このビットストリームデータには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データ、グラフィクスデータ、テキストデータ、さらには視差情報としての視差ベクトルが含まれる。
【００２６】
図２は、放送局１００において、上述のビットストリームデータを生成する送信データ生成部１１０の構成例を示している。この構成例は、視差ベクトルを数値情報として送信する例である。この送信データ生成部１１０は、カメラ１１１Ｌ，１１１Ｒと、ビデオフレーミング部１１２と、ビデオエンコーダ１１３と、ビデオエンコーダ１１３と、視差ベクトル検出部１１４と、視差ベクトルエンコーダ１１５を有している。また、この送信データ生成部１１０は、マイクロホン１１６と、オーディオエンコーダ１１７と、グラフィクス発生部１１８と、グラフィクスエンコーダ１１９と、テキスト発生部１２０と、テキストエンコーダ１２１と、マルチプレクサ１２２を有している。
【００２７】
カメラ１１１Ｌは、左眼画像を撮影して立体画像表示のための左眼画像データを得る。カメラ１１１Ｒは、右眼画像を撮影して立体画像表示のための右眼画像データを得る。ビデオフレーミング部１１２は、カメラ１１１Ｌで得られる左眼画像データおよびカメラ１１１Ｒで得られる右眼画像データを、伝送方式に応じた状態に加工処理する。
【００２８】
［立体画像データの伝送方式例］
ここでは、立体画像データ（３Ｄ画像データ）の伝送方式として、以下の第１〜第３の方式を挙げるが、これら以外の伝送方式であってもよい。ここでは、図３に示すように、左眼（Ｌ）および右眼（Ｒ）の画像データが、それぞれ、決められた解像度、例えば １９２０×１０８０ｐのピクセルフォーマットの画像データである場合を例にとって説明する。
【００２９】
第１の伝送方式は、「Top & Bottom」方式で、図４（ａ）に示すように、垂直方向の前半では左眼画像データの各ラインのデータを伝送し、垂直方向の後半では左眼画像データの各ラインのデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データのラインが１／２に間引かれることから原信号に対して垂直解像度は半分となる。
【００３０】
第２の伝送方式は、「Side By Side」方式で、図４（ｂ）に示すように、水平方向の前半では左眼画像データのピクセルデータを伝送し、水平方向の後半では右眼画像データのピクセルデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが１／２に間引かれる。現信号に対して、水平解像度は半分となる。
【００３１】
第３の伝送方式は、「Frame Sequential」方式で、図４（ｃ）に示すように、左眼画像データと右眼画像データとをフィールド毎に順次切換えて伝送する方式である。
【００３２】
図２に戻って、ビデオエンコーダ１１３は、ビデオフレーミング部１１２で加工処理された立体画像データに対して、ＭＰＥＧ４−ＡＶＣ、あるいはＭＰＥＧ２等の圧縮符号化を施し、ビデオのエレメンタリーストリームを生成する。さらに、ビデオエンコーダ１１３は、このビデオのエレメンタリーストリームを分割してビデオのＰＥＳ（Packetized Elementary Stream）パケットを生成し、最終的にビデオのＴＳ（Transport Stream）パケットを生成する。あるいは、ＭＰ４などのファイルコンテナに多重化され、またはリアルタイム用のパケットをコンテナとして伝送されるよう生成がなされる。
【００３３】
視差ベクトル検出部１１４は、左眼画像データおよび右眼画像データに基づき、画像内の所定位置において、左眼画像および右眼画像の一方に対する他方の視差情報である視差ベクトルを検出する。ここで、画像内の所定位置は、全ての画素位置、複数画素からなる各領域の代表位置、あるいは、グラフィック情報やテキスト情報を重畳する領域の代表位置等である。
【００３４】
［視差ベクトルの検出］
視差ベクトルの検出例について説明する。ここでは、左眼画像に対する右眼画像の視差ベクトルを検出する例について説明する。図５に示すように、左眼画像を検出画像とし、右眼画像を参照画像とする。この例では、（xi,yi）および（xj,yj）の位置における視差ベクトルが検出される。
【００３５】
（xi,yi）の位置における視差ベクトルを検出する場合を例にとって説明する。この場合、左眼画像に、（xi,yi）の位置の画素を左上とする、例えば８×８あるいは１６×１６の画素ブロック（視差検出ブロック）Ｂｉが設定される。そして、右眼画像において、画素ブロックＢｉとマッチングする画素ブロックが探索される。
【００３６】
この場合、右眼画像に、（xi,yi）の位置を中心とする探索範囲が設定され、その探索範囲内の各画素を順次注目画素として、上述の画素ブロックＢｉと同様の例えば８×８あるいは１６×１６の比較ブロックが順次設定されていく。
【００３７】
画素ブロックＢｉと順次設定される比較ブロックとの間で、対応する画素毎の差分絶対値の総和が求められる。ここで、図６に示すように、画素ブロックＢｉの画素値をＬ(x,y)とし、比較ブロックの画素値をＲ(x,y)とするとき、画素ブロックＢｉと、ある比較ブロックとの間における差分絶対値の総和は、Σ｜Ｌ(x,y)−Ｒ(x,y)｜で表される。
【００３８】
右眼画像に設定される探索範囲にｎ個の画素が含まれているとき、最終的にｎ個の総和Ｓ１〜Ｓｎが求められ、その中で最小の総和Ｓminが選択される。そして、この総和Ｓminが得られた比較ブロックから左上の画素の位置が（xi′,yi′）が得られる。これにより、（xi,yi）の位置における視差ベクトルは、（xi′−xi，yi′−yi）のように検出される。詳細説明は省略するが、（xj,yj）の位置における視差ベクトルについても、左眼画像に、（xj,yj）の位置の画素を左上とする、例えば８×８あるいは１６×１６の画素ブロックＢｊが設定されて、同様の処理過程で検出される。
【００３９】
図７（ａ）は、視差ベクトル検出部１１４で検出される、画像内の所定位置おける視差ベクトルＶＶの一例を示している。この場合、図７（ｂ）に示すように、この画像内の所定位置においては、左眼画像（検出画像）を視差ベクトルＶＶだけずらすと、右眼画像（参照画像）と重なることを意味する。
【００４０】
図２に戻って、視差ベクトルエンコーダ１１５は、視差ベクトル検出部１１４で検出された視差ベクトル等を含む視差ベクトルのエレメンタリーストリームを生成する。視差ベクトルエレメンタリーストリームはビデオのエレメンタリーストリームなどと共にＴＳパケットを構成する。
【００４１】
ここで、視差ベクトルのエレメンタリーストリームには、以下の内容が含まれる。すなわち、視差検出ブロックのＩＤ（ID_Block）、視差検出ブロックの垂直位置情報（VerticaL_Position）、視差検出ブロックの水平位置情報（Horizontal_Position）、視差ベクトル（View_Vector）が１セットとされる。そして、このセットが視差検出ブロックの数Ｎの分だけ繰り返される。図８は、視差ベクトルの伝送内容を示している。
【００４２】
なお、視差検出ブロックの垂直、水平の位置は、画像の左上の原点から、ブロックの左上の画素までの垂直方向、水平方向のオフセット値となる。各視差ベクトルの伝送に、視差検出ブロックのＩＤを付すのは、画像に重畳表示させるグラフィクス情報、テキスト情報等の重畳情報のパターンとのリンクがとれるようにするためである。
【００４３】
例えば、図９（ａ）に示すように、Ａ〜Ｆまでの視差検出ブロックが存在するとき、伝送内容には、図９（ｂ）に示すように、その視差検出ブロックＡ〜ＦのＩＤと、垂直、水平の位置情報と、視差ベクトルが含まれる。例えば、図９（ｂ）において、視差検出ブロックＡに関しては、ＩＤ２は視差検出ブロックＡのＩＤを示し、（Ｈａ，Ｖａ）は視差検出ブロックＡの垂直、水平の位置情報を示し、視差ベクトルａは視差検出ブロックＡの視差ベクトルを示している。
【００４４】
ここで、視差ベクトルを検出して伝送するタイミングについて説明する。このタイミングに関しては、例えば、以下の第１〜第４の例が考えられる。
【００４５】
第１の例においては、図１０（ａ）に示すように、ピクチャの符号化に同期させる。この場合、視差ベクトルは、ピクチャ単位で伝送される。このピクチャ単位は、視差ベクトルを伝送する際のもっとも細かい単位である。第２の例においては、図１０（ｂ）に示すように、ビデオのシーンに同期させる。この場合、視差ベクトルは、シーン単位で伝送される。
【００４６】
第３の例においては、図１０（ｃ）に示すように、符号化ビデオのＩピクチャ(Intra picture)に同期させる。第４の例においては、図１１に示すように、画像に重畳表示されるグラフィクス情報、テキスト情報等の表示開始タイミングに同期させる。
【００４７】
図２に戻って、マイクロホン１１６は、カメラ１１１Ｌ，１１１Ｒで撮影された画像に対応した音声を検出して、音声データを得る。オーディオエンコーダ１１７は、マイクロホン１１６で得られた音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の圧縮符号化を施し、オーディオのエレメンタリーストリームを生成する。さらに、オーディオエンコーダ１１７は、このオーディオのエレメンタリーストリームを分割してオーディオのＰＥＳパケットを生成し、最終的にＴＳパケットを生成する。
【００４８】
グラフィクス発生部１１８は、画像に重畳するグラフィクス情報のデータ（グラフィクスデータ）を発生する。グラフィクス情報は、例えば字幕などである。このグラフィクスデータは、ビットマップデータである。このグラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。このアイドリングオフセット情報は、例えば、画像の左上の原点から、グラフィクス情報の重畳位置の左上の画素までの垂直方向、水平方向のオフセット値を示す。なお、字幕データをビットマップデータとして伝送する規格は、ヨーロッパのデジタル放送規格であるＤＶＢでDVB_Subtitlingとして規格化され、運用されている。
【００４９】
グラフィクスエンコーダ１１９は、グラフィクス発生部１１８で発生されたグラフィクスデータのエレメンタリーストリームを生成する。そして、グラフィクスエンコーダ１１９は、最終的に上述のＴＳパケットを生成する。
【００５０】
テキスト発生部１２０は、画像に重畳するテキスト情報のデータ（テキストデータ）を発生する。テキスト情報は、例えば電子番組表、文字放送内容などである。このテキストデータには、上述のグラフィクスデータと同様に、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。このアイドリングオフセット情報は、例えば、画像の左上の原点から、テキスト情報の重畳位置の左上の画素までの垂直方向、水平方向のオフセット値を示す。なお、テキストデータを伝送する例としては、番組予約として運用されているＥＰＧ、アメリカのデジタル地上波規格ＡＴＳＣのCC_data(Closed Caption)がある。
【００５１】
テキストエンコーダ１２１は、テキスト発生部１２０で発生されたテキストデータのエレメンタリーストリームを生成する。
【００５２】
マルチプレクサ１２２は、ビデオエンコーダ１１３、視差ベクトルエンコーダ１１５、オーディオエンコーダ１１７，グラフィクスエンコーダ１１９およびテキストエンコーダ１２１の各エンコーダから出力されるパケット化されたエレメンタリーストリームを多重化する。そして、このマルチプレクサ１２２は、伝送データとしてのビットストリームデータ（トランスポートストリーム）ＢＳＤを出力する。
【００５３】
図２に示す送信データ生成部１１０の動作を簡単に説明する。カメラ１１１Ｌでは、左眼画像が撮影される。このカメラ１１１Ｌで得られる立体画像表示のための左眼画像データはビデオフレーミング部１１２に供給される。また、カメラ１１１Ｒでは、右眼画像が撮影される。このカメラ１１１Ｒで得られる立体画像表示のための右眼画像データはビデオフレーミング部１１２に供給される。ビデオフレーミング部１１２では、左眼画像データおよび右眼画像データが、伝送方式に応じた状態に加工処理されて、立体画像データが得られる（図４（ａ）〜（ｃ）参照）。
【００５４】
ビデオフレーミング部１１２で得られる立体画像データはビデオエンコーダ１１３に供給される。このビデオエンコーダ１１３では、立体画像データに対してＭＰＥＧ４−ＡＶＣ、あるいはＭＰＥＧ２等の圧縮符号化が施され、ビデオのエレメンタリーストリームが生成され、最終的にビデオパケットは、マルチプレクサ１２２に供給される。
【００５５】
また、カメラ１１１Ｌ，１１１Ｒで得られた左眼画像データ、右眼画像データは、ビデオフレーミング部１１２を通じて、視差ベクトル検出部１１４に供給される。この視差ベクトル検出部１１４では、左眼画像データおよび右眼画像データに基づき、画像内の所定位置において、視差検出ブロックが設定され、左眼画像および右眼画像の一方に対する他方の視差情報である視差ベクトルが検出される。
【００５６】
視差ベクトル検出部１１４で検出された画像内の所定位置における視差ベクトルは、視差ベクトルエンコーダ１１５に供給される。この場合、視差検出ブロックのＩＤ、視差検出ブロックの垂直位置情報、視差検出ブロックの水平位置情報、視差ベクトルが１セットとして渡される。視差ベクトルエンコーダ１１５では、視差ベクトルの伝送内容（図８参照）を含む視差ベクトルのエレメンタリーストリームが生成され、マルチプレクサ１２２に供給される。
【００５７】
また、マイクロホン１１６では、カメラ１１１Ｌ，１１１Ｒで撮影された画像に対応した音声が検出される。このマイクロホン１１６で得られる音声データはオーディオエンコーダ１１７に供給される。このオーディオエンコーダ１１７では、音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の圧縮符号化が施され、オーディオのエレメンタリーストリームが生成され、マルチプレクサ１２２に供給される。
【００５８】
また、グラフィクス発生部１１８では、画像に重畳するグラフィクス情報のデータ（グラフィクスデータ）が発生される。このグラフィクスデータ（ビットマップデータ）は、グラフィクスエンコーダ１１９に供給される。このグラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。グラフィクスエンコーダ１１９では、このグラフィクスデータに対して所定の圧縮符号化が施されてエレメンタリーストリームが生成され、マルチプレクサ１２２に供給される。
【００５９】
また、テキスト発生部１２０では、画像に重畳するテキスト情報のデータ（テキストデータ）が発生される。このテキストデータは、テキストエンコーダ１２１に供給される。このテキストデータには、上述のグラフィクスデータと同様に、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。テキストエンコーダ１２１では、このテキストデータに対して所定の圧縮符号化が施されてエレメンタリーストリームが生成され、最終的にテキストのＴＳパケットが得られる。このテキストのＴＳパケットは、マルチプレクサ１２２に供給される。
【００６０】
マルチプレクサ１２２では、各エンコーダから供給されるエレメンタリーストリームのパケットが多重化され、伝送データとしてのビットストリームデータ（トランスポートストリーム）ＢＳＤが得られる。
【００６１】
図１２は、図２に示す送信データ生成部１１０において多重化される各データのストリーム例を示している。なお、この例は、視差ベクトルが、ビデオのシーン単位で検出されて伝送される場合（図１０（ｂ）参照）を示している。なお、各ストリームのパケットには、同期表示用のタイムスタンプが付され、受信側で、画像に対して、グラフィクス情報、テキスト情報等の重畳タイミングを制御することが可能となっている。
【００６２】
なお、上述の図２に示す送信データ生成部１１０は、視差ベクトルの伝送内容（図８参照）を独立したエレメンタリーストリームとして受信側に伝送する構成となっている。しかし、視差ベクトルの伝送内容を他のストリームの中に埋め込んで伝送することも考えられる。例えば、視差ベクトルの伝送内容は、ビデオのストリームにユーザデータとして埋め込まれて伝送される。また、例えば、視差ベクトルの伝送内容は、グラフィクス、あるいはテキストのストリームに埋め込まれて伝送される。
【００６３】
図１３は、送信データ生成部１１０Ａの構成例を示している。この例も、視差ベクトルを数値情報として送信する例である。この送信データ生成部１１０Ａは、視差ベクトルの伝送内容を、ビデオのストリームにユーザデータとして埋め込んで伝送する構成となっている。この図１３において、図２と対応する部分には同一符号を付し、その詳細説明は省略する。
【００６４】
この送信データ生成部１１０Ａは、ビデオエンコーダ１１３とマルチプレクサ１２２との間に、ストリームフレーミング部１２３が挿入されている。視差ベクトル検出１１４で検出された画像内の所定位置における視差ベクトルは、ストリームフレーミング部１２３に供給される。この場合、視差検出ブロックのＩＤ、視差検出ブロックの垂直位置情報、視差検出ブロックの水平位置情報、視差ベクトルが１セットとして渡される。
【００６５】
ストリームフレーミング部１２３では、ビデオのストリームに、視差ベクトルの伝送内容（図８参照）が、ユーザデータとして埋め込まれる。
【００６６】
詳細説明は省略するが、この図１３に示す送信データ生成部１１０Ａのその他は、図２に示す送信データ生成部１１０と同様に構成されている。
【００６７】
また、上述の図２に示す送信データ生成部１１０および上述の図１３に示す送信データ生成部１１０Ａは、視差ベクトルを数値情報として送信する（図８参照）。しかし、視差ベクトルを数値情報として伝送する代わりに、画像に重畳するための重畳情報（例えば、グラフィクス情報、テキスト情報等）のデータに含めて送信することも考えられる。
【００６８】
例えば、グラフィクス情報のデータに含めて送信する場合、送信側で、左眼画像に重畳すべき左眼グラフィクス情報と右眼画像に重畳すべき右眼グラフィクス情報の双方に対応したグラフィクスデータが生成される。この場合、左眼グラフィクス情報および右眼グラフィクス情報は同一のグラフィクス情報である。しかし、画像内の表示位置が、例えば、左眼グラフィクス情報に対して、右眼グラフィクス情報は、その表示位置に対応した視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。
【００６９】
また、例えば、テキスト情報のデータに含めて送信する場合、送信側で、左眼画像に重畳すべき左眼テキスト情報と右眼画像に重畳すべき右眼テキスト情報の双方に対応したテキストデータが生成される。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報である。しかし、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。
【００７０】
例えば、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトルのうち、その重畳位置に対応したものが使用される。また、例えば、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトルのうち、遠近感でいうところの最も近く認識される位置の視差ベクトルが使用される。
【００７１】
図１４（ａ）は、伝送方式が上述の第１の伝送方式（「Top & Bottom」方式）である場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示している。これら左眼グラフィクス情報および右眼グラフィクス情報は同一の情報である。ただし、左眼画像ＩＬ上に重畳される左眼グラフィクス情報ＬＧＩに対して、右眼画像ＩＲ上に重畳される右眼グラフィクス情報ＲＧＩは、視差ベクトルの水平方向成分ＶＶTだけ水平方向にずれた位置とされている。
【００７２】
各画像ＩＬ，ＩＲに対して、図１４（ａ）に示すように、各グラフィクス情報ＬＧＩ，ＲＧＩが重畳されるように、グラフィクスデータが生成される。これにより、視聴者は、図１４（ｂ）に示すように、各画像ＩＬ，ＩＲと共に、各グラフィクス情報ＬＧＩ，ＲＧＩを、視差をもって観察でき、グラフィクス情報にも、遠近感を認知可能となる。
【００７３】
例えば、各グラフィクス情報ＬＧＩ，ＲＧＩのグラフィクスデータは、図１５（ａ）に示すように、単一領域のデータとして生成される。この場合、各グラフィクス情報ＬＧＩ，ＲＧＩ以外の部分のデータは、透明データとして生成されればよい。また、例えば、各グラフィクス情報ＬＧＩ，ＲＧＩのグラフィクスデータは、図１５（ｂ）に示すように、別領域のデータとして生成される。
【００７４】
図１６（ａ）は、伝送方式が上述の第２の伝送方式（「Side By Side」方式）である場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示している。これら左眼グラフィクス情報および右眼グラフィクス情報は同一の情報である。ただし、左眼画像ＩＬ上に重畳される左眼グラフィクス情報ＬＧＩに対して、右眼画像ＩＲ上に重畳される右眼グラフィクス情報ＲＧＩは、視差ベクトルの水平方向成分ＶＶTだけ水平方向にずれた位置とされている。なお、ＩTは、アイドリングオフセット値である。
【００７５】
各画像ＩＬ，ＩＲに対して、図１６（ａ）に示すように、各グラフィクス情報ＬＧＩ，ＲＧＩが重畳されるように、グラフィクスデータが生成される。これにより、視聴者は、図１６（ｂ）に示すように、各画像ＩＬ，ＩＲと共に、各グラフィクス情報ＬＧＩ，ＲＧＩを、視差をもって観察でき、グラフィクス情報にも、遠近感を認知可能となる。
【００７６】
例えば、各グラフィクス情報ＬＧＩ，ＲＧＩのグラフィクスデータは、図１７に示すように、単一領域のデータとして生成される。この場合、各グラフィクス情報ＬＧＩ，ＲＧＩ以外の部分のデータは、透明データとして生成されればよい。
【００７７】
図１８は、送信データ生成部１１０Ｂの構成例を示している。この送信データ生成部１１０Ｂは、視差ベクトルを、グラフィクス情報、テキスト情報のデータに含めて送信する構成となっている。この図１８において、図２と対応する部分には同一符号を付し、その詳細説明は省略する。
【００７８】
この送信データ生成部１１０Ｂでは、グラフィクス発生部１１８とグラフィクスエンコーダ１１９との間に、グラフィクス処理部１２４が挿入されている。また、この送信データ生成部１１０Ｂでは、テキスト発生部１２０とテキストエンコーダ１２１との間に、テキスト処理部１２５が挿入されている。そして、視差ベクトル検出１１４で検出された画像内の所定位置における視差ベクトルは、グラフィクス処理部１２４およびテキスト処理部１２５に供給される。
【００７９】
グラフィクス処理部１２４では、グラフィクス発生部１１８で発生されるグラフィクスデータに基づいて、左眼画像ＩＬ上に重畳される左眼グラフィクス情報ＬＧＩのデータおよび右眼画像ＩＲ上に重畳される右眼グラフィクス情報ＲＧＩのデータが生成される。この場合、左眼グラフィクス情報および右眼グラフィクス情報は同一のグラフィクス情報であるが、画像内の重畳位置が、例えば、左眼グラフィクス情報に対して、右眼グラフィクス情報は、視差ベクトルの水平方向成分ＶＶTだけ、水平方向にずれるようにされる（図１４（ａ）、図１６（ａ）参照）。
【００８０】
このようにグラフィクス処理部１２４で生成されたグラフィクスデータは、グラフィクスエンコーダ１１９に供給される。なお、このグラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。グラフィクスエンコーダ１１９では、グラフィクス処理部１２４で生成されたグラフィクスデータのエレメンタリーストリームが生成される。
【００８１】
また、テキスト処理部１２５では、テキスト発生部１２０で発生されるテキストデータに基づいて、左眼画像上に重畳される左眼テキスト情報のデータおよび右眼画像上に重畳される右眼テキスト情報のデータが生成される。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報であるが、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分ＶＶTだけ、水平方向にずれるようにされる。
【００８２】
このようにテキスト処理部１２５で生成されたテキストデータは、テキストエンコーダ１２１に供給される。なお、このテキストデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。テキストエンコーダ１２１では、テキスト処理部で生成されたテキストスデータのエレメンタリーストリームが生成される。
【００８３】
詳細説明は省略するが、この図１８に示す送信データ生成部１１０Ｂのその他は、図２に示す送信データ生成部１１０と同様に構成されている。
【００８４】
［セットトップボックスの説明］
図１に戻って、セットトップボックス２００は、放送局１００から放送波にのせて送信されてくるビットストリームデータ（トランスポートストリーム）を受信する。このビットストリームデータには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データ、グラフィクスデータ、テキストデータ、さらには視差情報としての視差ベクトルが含まれる
【００８５】
セットトップボックス２００は、ビットストリーム処理部２０１を有している。このビットストリーム処理部２０１は、ビットストリームデータから、立体画像データ、音声データ、グラフィクスデータ、テキストデータ、視差ベクトル等を抽出する。また、このビットストリーム処理部２０１は、立体画像データ、グラフィクスデータ、テキストデータ等を用いて、重畳情報が重畳された左眼画像および右眼画像のデータを生成する。
【００８６】
ここで、視差ベクトルが数値情報として送信されてくる場合には、視差ベクトルとグラフィクスデータに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼グラフィクス情報、右眼グラフィクス情報を生成する。この場合、左眼グラフィクス情報および右眼グラフィクス情報は同一のグラフィクス情報である。しかし、画像内の重畳位置が、例えば、左眼グラフィクス情報に対して、右眼グラフィクス情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。
【００８７】
図１９（ａ）は、伝送方式が上述の第２の伝送方式（「Side By Side」方式）である場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示している。
【００８８】
左眼画像ＩＬ上に重畳される左眼グラフィクス情報ＬＧＩに対して、右眼画像ＩＲ上に重畳される右眼グラフィクス情報ＲＧＩは、視差ベクトルの水平方向成分ＶＶTだけ水平方向にずれた位置とされている。なお、ＩTは、アイドリングオフセット値である。
【００８９】
各画像ＩＬ，ＩＲに対して、図１９（ａ）に示すように、各グラフィクス情報ＬＧＩ，ＲＧＩが重畳されるように、グラフィクスデータが生成される。
【００９０】
ビットストリーム処理部２０１は、ビットストリームデータから抽出された立体画像データ（左眼画像データ、右眼画像データ）に対して、生成された左眼グラフィクスデータ、右眼グラフィクスデータを合成して、処理後の立体画像データを取得する。この立体画像データによれば、視聴者は、図１９（ｂ）に示すように、各画像ＩＬ，ＩＲと共に、各グラフィクス情報ＬＧＩ，ＲＧＩを、視差をもって観察でき、グラフィクス情報にも、遠近感を認知可能となる。
【００９１】
なお、図２０（ａ）は、各画像ＩＬ，ＩＲに対して、ビットストリームデータから抽出されたグラフィクスデータによるグラフィクス画像をそのまま重畳した状態を示している。この場合、視聴者は、図２０（ｂ）に示すように、左眼画像ＩＬと共にグラフィクス情報の左半分、右眼画像ＩＲと共にグラフィクス情報の右半分を観察する。そのため、グラフィクス情報を正しく認識できなくなる。
【００９２】
また、視差ベクトルが数値情報として送信されてくる場合には、視差ベクトルとテキストデータに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼テキスト情報、右眼テキスト情報を生成する。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報である。しかし、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。
【００９３】
ビットストリーム処理部２０１は、ビットストリームデータから抽出された立体画像データ（左眼画像データ、右眼画像データ）に対して、生成された左眼テキスト情報および右眼テキスト情報のデータ（ビットマップデータ）を合成して、処理後の立体画像データを得る。この立体画像データによれば、視聴者は、上述したグラフィクス情報の場合と同様に、左眼画像、右眼画像と共に、各テキスト情報を、視差をもって観察でき、テキスト情報にも、遠近感を認知可能となる。
【００９４】
この場合、左眼グラフィクス情報と右眼グラフィクス情報との間、あるいは左眼テキスト情報と右眼テキスト情報との間に視差を与える視差ベクトルとしては、以下の視差ベクトルを用いることが考えられる。
【００９５】
例えば、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトルのうち、遠近感でいうところの最も近く認識される位置の視差ベクトルを使用することが考えられる。図２１（ａ），（ｂ），（ｃ），（ｄ）は、それぞれ時刻Ｔ０，Ｔ１，Ｔ２，Ｔ３における３つのオブジェクト位置の視差ベクトル（View Vector）を示している。
【００９６】
時刻Ｔ０では、オブジェクト１に対応した位置（Ｈ０，Ｖ０）における視差ベクトルＶＶ０-1が最大の視差ベクトルＭａｘＶＶ（Ｔ０）となっている。時刻Ｔ１では、オブジェクト１に対応した位置（Ｈ１，Ｖ１）における視差ベクトルＶＶ１-1が最大の視差ベクトルＭａｘＶＶ（Ｔ１）となっている。時刻Ｔ２では、オブジェクト２に対応した位置（Ｈ２，Ｖ２）における視差ベクトルＶＶ２-2が最大の視差ベクトルＭａｘＶＶ（Ｔ２）となっている。時刻Ｔ３では、オブジェクト１に対応した位置（Ｈ３，Ｖ３）における視差ベクトルＶＶ３-0が最大の視差ベクトルＭａｘＶＶ（Ｔ３）となっている。
【００９７】
このように、視差ベクトルとして、画像内の複数位置で検出された視差ベクトルのうち、遠近感でいうところの最も近く認識される位置の視差ベクトルを使用することで、遠近感でいうところの最も近い画像内の物体（オブジェクト）よりも手前に、グラフィクス情報、テキスト情報を表示することが可能となる。
【００９８】
図２２（ａ）は、画像上における字幕（グラフィクス情報）の表示例を示している。この表示例では、背景と近景オブジェクトとからなる画像上に、字幕が重畳された例である。図２２（ｂ）は、背景、近景オブジェクト、字幕の遠近感を示し、字幕が最も近くにあるように認識されることを示している。
【００９９】
図２３（ａ）は、図２２（ａ）と同じ、画像上における字幕（グラフィクス情報）の表示例を示している。図２３（ｂ）は、字幕を表示するための左眼グラフィクス情報ＬＧＩと、右眼グラフィクス情報ＲＧＩを示している。そして、図２３（ｃ）は、字幕が最も近くにあるように認識されるために、各グラフィクス情報ＬＧＩ，ＲＧＩに視差が与えられることを示している。
【０１００】
また、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトルのうち、その重畳位置に対応したものを使用することが考えられる。図２４（ａ）は、ビットストリームデータから抽出されるグラフィックデータによるグラフィック情報と、ビットストリームデータから抽出されるテキストデータによるテキスト情報を示している。
【０１０１】
図２４（ｂ）は、左眼画像に、左眼グラフィクス情報ＬＧＩおよび左眼テキスト情報ＬＴＩが重畳された状態を示している。この場合、左眼グラフィクス情報ＬＧＩは、その重畳位置が水平方向にはアイドリングオフセット値（ＩＴ-0）で規制されている。また、左眼テキスト情報ＬＴＩは、その重畳位置が水平方向にはアイドリングオフセット値（ＩＴ-1）で規制されている。
【０１０２】
図２４（ｃ）は、右眼画像に、右眼グラフィクス情報ＲＧＩおよび右眼テキスト情報ＲＴＩが重畳された状態を示している。この場合、右眼グラフィクス情報ＲＧＩは、その重畳位置が水平方向にはアイドリングオフセット値（ＩＴ-0）で規制され、さらにこの重畳位置に対応した視差ベクトルの水平方向成分ＶＶT-0だけ、左眼グラフィクス情報ＬＧＩの重畳位置よりずらされている。また、右眼テキスト情報ＲＴＩは、その重畳位置が水平方向にはアイドリングオフセット値（ＩＴ-1）で規制され、さらにこの重畳位置に対応した視差ベクトルの水平方向成分ＶＶT-1だけ、左眼テキスト情報ＬＴＩの重畳位置よりずらされている。
【０１０３】
なお、上述では、左眼画像および右眼画像に、ビットストリームデータから抽出されたグラフィクスデータによるグラフィクス情報、あるいはビットストリームデータから抽出されたテキストデータによるテキスト情報を重畳する場合を説明した。この他に、セットトップボックス２００内でグラフィクスデータあるいはテキストデータが発生され、それらによる情報を、左眼画像および右眼画像に、重畳する場合も考えられる。
【０１０４】
その場合にあっても、ビットストリームデータから抽出された画像内の所定位置の視差ベクトルを利用して、左眼グラフィクス情報と右眼グラフィクス情報との間、あるいは左眼テキスト情報と右眼テキスト情報との間に、視差を持たせることができる。これにより、グラフィクス情報、テキスト情報の表示において、画像内の各物体（オブジェクト）の遠近感との間で遠近感の整合性の維持を図った適切な遠近感を付与できる。
【０１０５】
図２５（ａ）は、画像内にＡ，Ｂ，Ｃの各オブジェクトが存在し、例えば、これら各オブジェクトの近傍位置に、各オブジェクトの注釈を示すテキスト情報を重畳することを示している。
【０１０６】
図２５（ｂ）は、Ａ，Ｂ，Ｃの各オブジェクトの位置と、その位置における視差ベクトルの対応を示す視差ベクトルリストと、それぞれの視差ベクトルを、Ａ，Ｂ，Ｃの各オブジェクの注釈を示すテキスト情報に視差を与える場合に利用することを示している。例えば、Ａのオブジェクトの近傍には「Ｔｅｘｔ」のテキスト情報が重畳されるが、その左眼テキスト情報と右眼テキスト情報との間には、Ａのオブジェクトの位置（Ｈａ，Ｖａ）における視差ベクトルＶＶ-aに対応した視差が与えられる。なお、Ｂ，Ｃのオブジェクトの近傍に重畳されるテキスト情報に関しても同様である。
【０１０７】
次に、視差ベクトルが、グラフィクス情報、テキスト情報のデータに含めて送信されてくる場合を説明する。この場合、ビットストリームデータから抽出されたグラフィクスデータには、視差ベクトルにより視差が与えられた、左眼グラフィクス情報および右眼グラフィクス情報のデータが含まれている。同様に、ビットストリームデータから抽出されたテキストデータには、視差ベクトルにより視差が与えられた、左眼テキスト情報および右眼テキスト情報のデータが含まれている。
【０１０８】
そのため、ビットストリーム処理部２０１は、ビットストリームデータから抽出された立体画像データ（左眼画像データ、右眼画像データ）に対して、ビットストリームデータから抽出されたグラフィクスデータ、テキストデータを単に合成して、処理後の立体画像データを取得する。なお、テキストデータに関しては、テキストデータ（コードデータ）をビットマップデータに変換することは必要である。
【０１０９】
［セットトップボックスの構成例］
セットトップボックス２００の構成例を説明する。図２６は、セットトップボックス２００の構成例を示している。このセットトップボックス２００は、ビットストリーム処理部２０１と、ＨＤＭＩ端子２０２と、アンテナ端子２０３と、デジタルチューナ２０４と、映像信号処理回路２０５と、ＨＤＭＩ送信部２０６と、音声信号処理回路２０７を有している。また、このセットトップボックス２００は、ＣＰＵ２１１と、フラッシュＲＯＭ２１２と、ＤＲＡＭ２１３と、内部バス２１４と、リモコン受信部２１５と、リモコン送信機２１６を有している。
【０１１０】
アンテナ端子２０３は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２０４は、アンテナ端子２０３に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）を出力する。
【０１１１】
ビットストリーム処理部２０１は、上述したように、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、グラフィクスデータ、テキストデータ、視差ベクトル等を抽出する。そして、このビットストリーム処理部２０１は、上述したように、立体画像データに対し、重畳情報（グラフィクス情報、テキスト情報）のデータを合成し、表示用立体画像データを取得する。また、ビットストリーム処理部２０１は、音声データを出力する。ビットストリーム処理部２０１の詳細構成は後述する。
【０１１２】
映像信号処理回路２０５は、ビットストリーム処理部２０１から出力された立体画像データに対して必要に応じて画質調整処理などを行い、処理後の立体画像データをＨＤＭＩ送信部２０６に供給する。音声信号処理回路２０７は、ビットストリーム処理部２０１から出力された音声データに対して必要に応じて音質調整処理等を行い、処理後の音声データをＨＤＭＩ送信部２０６に供給する。
【０１１３】
ＨＤＭＩ送信部２０６は、ＨＤＭＩに準拠した通信により、ベースバンドの画像（映像）と音声のデータを、ＨＤＭＩ端子２０２から送出する。この場合、ＨＤＭＩのＴＭＤＳチャネルで送信するため、画像および音声のデータがパッキングされて、ＨＤＭＩ送信部２０６からＨＤＭＩ端子２０２に出力される。このＨＤＭＩ送信部２０６の詳細は後述する。
【０１１４】
ＣＰＵ２１１は、セットトップボックス２００の各部の動作を制御する。フラッシュＲＯＭ２１２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２１３は、ＣＰＵ２１１のワークエリアを構成する。ＣＰＵ２１１は、フラッシュＲＯＭ２１２から読み出したソフトウェアやデータをＤＲＡＭ２１３上に展開してソフトウェアを起動させ、セットトップボックス２００の各部を制御する。
【０１１５】
リモコン受信部２１５は、リモコン送信機２１６から送信されたリモーコントロール信号（リモコンコード）を受信し、ＣＰＵ２１１に供給する。ＣＰＵ２１１は、このリモコンコードに基づいて、セットトップボックス２００の各部を制御する。ＣＰＵ２１１、フラッシュＲＯＭ２１２およびＤＲＡＭ２１３は内部バス２１４に接続されている。
【０１１６】
セットトップボックス２００の動作を簡単に説明する。アンテナ端子２０３に入力されたテレビ放送信号はデジタルチューナ２０４に供給される。このデジタルチューナ２０４では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）が出力される。
【０１１７】
デジタルチューナ２０４から出力されるビットストリームデータは、ビットストリーム処理部２０１に供給される。このビットストリーム処理部２０１では、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、グラフィクスデータ、テキストデータ、視差ベクトル等が抽出される。また、このビットストリーム処理部２０１では、立体画像データに対し、重畳情報（グラフィクス情報、テキスト情報）のデータが合成され、表示用立体画像データが生成される。
【０１１８】
ビットストリーム処理部２０１で生成される表示用立体画像データは、映像信号処理回路２０５で必要に応じて画質調整処理等が行われた後に、ＨＤＭＩ送信部２０６に供給される。また、ビットストリーム処理部２０１で得られる音声データは、音声信号処理回路２０７で必要に応じて音質調整処理等が行われた後に、ＨＤＭＩ送信部２０６に供給される。ＨＤＭＩ送信部２０６に供給された立体画像データおよび音声データは、ＨＤＭＩのＴＭＤＳチャネルにより、ＨＤＭＩ端子２０２からＨＤＭＩケーブル４００に送出される。
【０１１９】
［ビットストリーム処理部の構成例］
ビットストリーム処理部２０１の構成例を説明する。図２７は、ビットストリーム処理部２０１の構成例を示している。このビットストリーム処理部２０１は、上述の図２に示す送信データ生成部１１０に対応させた構成となっている。このビットストリーム処理部２０１は、デマルチプレクサ２２０と、ビデオデコーダ２２１と、グラフィクスデコーダ２２２と、テキストデコーダ２２３と、オーディオデコーダ２２４と、視差ベクトルデコーダ２２５を有している。また、このビットストリーム処理部２０１は、立体画像用グラフィクス発生部２２６と、立体画像用テキスト発生部２２７と、ビデオ重畳部２２８と、マルチチャネルスピーカコントロール部２２９を有している。
【０１２０】
デマルチプレクサ２２０は、ビットストリームデータＢＳＤから、ビデオ、オーディオ、視差ベクトル、グラフィクスおよびテキストのＴＳパケットを抽出し、各デコーダに送る。
【０１２１】
ビデオデコーダ２２１は、上述の送信データ生成部１１０のビデオエンコーダ１１３とは逆の処理を行う。すなわち、このビデオデコーダ２２１は、デマルチプレクサ２２０で抽出されたビデオのパケットからビデオのエレメンタリーストリームを再構成し、復号化処理を行って、左眼画像データおよび右眼画像データを含む立体画像データを得る。この立体画像データの伝送方式は、例えば、上述の第１の伝送方式（「Top & Bottom」方式）、第２の伝送方式は（「Side By Side」方式）、第３の伝送方式（「Frame Sequential」方式）などである（図４（ａ）〜（ｃ）参照）。
【０１２２】
グラフィクスデコーダ２２２は、上述の送信データ生成部１１０のグラフィクスエンコーダ１１９とは逆の処理を行う。すなわち、このグラフィクスデコーダ２２２は、デマルチプレクサ２２０で抽出されたグラフィクスのパケットからグラフィクスのエレメンタリーストリームを再構成し、復号化処理を行って、グラフィクスデータを得る。
【０１２３】
テキストデコーダ２２３は、上述の送信データ生成部１１０のテキストエンコーダ１２１とは逆の処理を行う。すなわち、このテキストデコーダ２２３は、デマルチプレクサ２２０で抽出されたテキストのパケットからテキストのエレメンタリーストリームを再構成し、復号化処理を行って、テキストデータを得る。
【０１２４】
オーディオデコーダ２２４は、上述の送信データ生成部１１０のオーディオエンコーダ１１７とは逆の処理を行う。すなわち、このオーディオデコーダ２２４は、デマルチプレクサ２２０で抽出されたオーディオのパケットからオーディオのエレメンタリーストリームを再構成し、復号化処理を行って、音声データを得る。
【０１２５】
視差ベクトルデコーダ２２５は、上述の送信データ生成部１１０の視差ベクトルエンコーダ１１５とは逆の処理を行う。すなわち、この視差ベクトルデコーダ２２５は、デマルチプレクサ２２０で抽出された視差ベクトルのパケットから視差ベクトルのエレメンタリーストリームを再構成し、復号化処理を行って、画像内の所定位置の視差ベクトルを得る。
【０１２６】
立体画像用グラフィクス発生部２２６は、デコーダ２２２で得られたグラフィクスデータと、デコーダ２２５で得られた視差ベクトルに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼グラフィクス情報、右眼グラフィクス情報を生成する。この場合、左眼グラフィクス情報および右眼グラフィクス情報は同一のグラフィクス情報であるが、画像内の重畳位置が、例えば、左眼グラフィクス情報に対して、右眼グラフィクス情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。そして、この立体画像用グラフィクス発生部２２６は、生成された左眼グラフィクス情報および右眼グラフィクス情報のデータ（ビットマップデータ）を出力する。
【０１２７】
立体画像用テキスト発生部２２７は、デコーダ２２３で得られたテキストスデータと、デコーダ２２５で得られた視差ベクトルに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼テキスト情報、右眼テキスト情報を生成する。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報であるが、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。そして、この立体画像用テキスト発生部２２７は、生成された左眼テキスト情報および右眼テキスト情報のデータ（ビットマップデータ）を出力する。
【０１２８】
ビデオ重畳部２２８は、ビデオデコーダ２２１で得られた立体画像データ（左眼画像データ、右眼画像データ）に対して、グラフィクス発生部２２６で発生されるデータ、およびテキスト発生部２２７で発生されるデータを重畳し、表示用立体画像データＶoutを得る。
【０１２９】
マルチチャネルスピーカコントロール部２２９は、オーディオデコーダ２２４で得られる音声データに対して、例えば５．１chサラウンド等を実現するためのマルチチャネルスピーカの音声データを生成する処理、所定の音場特性を付与する処理等を施す。また、このマルチチャネルスピーカコントロール部２２９は、デコーダ２２５で得られた視差ベクトルに基づいて、マルチチャネルスピーカの出力を制御する。
【０１３０】
視差ベクトルの大きさが大きくなる程、立体感が際だつ効果がある。立体の度合いに合わせて、マルチチャネルのスピーカ出力を制御することで、更なる立体体験の提供を実現できる。
【０１３１】
図２８は、視差ベクトルＶＶ１が、テレビディスプレイに向かって、左側のビデオオブジェクトの方が大きい場合のスピーカ出力制御例を示している。この制御例では、マルチチャネルスピーカのRear Leftのスピーカ音量は大きくされ、Front Leftのスピーカ音量は中程度とされ、さらに、Front Right，Rear Rightのスピーカ音量が小さくされる。このように、ビデオコンテンツ（立体画像データ）の視差ベクトルを、音声データ等の他のメディアデータへ受信側で適用することで、視聴者に、立体感を総合的に体感させることが可能になる。
【０１３２】
図２７に示すビットストリーム処理部２０１の動作を簡単に説明する。デジタルチューナ２０４（図２６参照）から出力されるビットストリームデータＢＳＤは、デマルチプレクサ２２０に供給される。このデマルチプレクサ２２０では、ビットストリームデータＢＳＤから、ビデオ、オーディオ、視差ベクトル、グラフィクスおよびテキストのＴＳパケットが抽出され、各デコーダに供給される。
【０１３３】
ビデオデコーダ２２１では、デマルチプレクサ２２０で抽出されたビデオのパケットからビデオのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、左眼画像データおよび右眼画像データを含む立体画像データが得られる。この立体画像データは、ビデオ重畳部２２８に供給される。また、視差ベクトルデコーダ２２５では、デマルチプレクサ２２０で抽出された視差ベクトルのパケットから視差ベクトルのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、画像内の所定位置の視差ベクトルが得られる（図８参照）。
【０１３４】
グラフィクスデコーダ２２２では、デマルチプレクサ２２０で抽出されたグラフィクスのパケットからグラフィクスのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、グラフィクスデータが得られる。このグラフィクスデータは、立体画像用グラフィクス発生部２２６に供給される。この立体画像用グラフィクス発生部２２６には、視差ベクトルデコーダ２２５で得られた視差ベクトルも供給される。
【０１３５】
この立体画像用グラフィクス発生部２２６では、デコーダ２２２で得られたグラフィクスデータと、デコーダ２２５で得られた視差ベクトルに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼グラフィクス情報、右眼グラフィクス情報が生成される。この場合、左眼グラフィクス情報および右眼グラフィクス情報は同一のグラフィクス情報であるが、画像内の重畳位置が、例えば、左眼グラフィクス情報に対して、右眼グラフィクス情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。この立体画像用グラフィクス発生部２２６からは、生成された左眼グラフィクス情報および右眼グラフィクス情報のデータ（ビットマップデータ）が出力される。
【０１３６】
また、テキストデコーダ２２３では、デマルチプレクサ２２０で抽出されたテキストのＴＳパケットからテキストのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、テキストデータが得られる。このテキストデータは立体画像用テキスト発生部２２７に供給される。この立体画像用テキスト発生部２２７には、視差ベクトルデコーダ２２５で得られた視差ベクトルも供給される。
【０１３７】
この立体画像用テキスト発生部２２７では、デコーダ２２３で得られたテキストスデータと、デコーダ２２５で得られた視差ベクトルに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼テキスト情報、右眼テキスト情報が生成される。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報であるが、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。この立体画像用テキスト発生部２２７からは、生成された左眼テキスト情報および右眼テキスト情報のデータ（ビットマップデータ）が出力される。
【０１３８】
ビデオ重畳部２２８には、上述したビデオデコーダ２２１からの立体画像データ（左眼画像データ、右眼画像データ）の他に、グラフィクス発生部２２６およびテキスト発生部２２７から出力されるデータが供給される。このビデオ重畳部２２８では、立体画像データ（左眼画像データ、右眼画像データ）に対して、グラフィクス発生部２２６およびテキスト発生部２２７で発生されたデータが重畳され、表示用立体画像データＶoutが得られる。この表示用立体画像データＶoutは、映像信号処理回路２０５を介して、ＨＤＭＩ送信部２０６（図２６参照）に、送信画像データとして供給される。
【０１３９】
また、オーディオデコーダ２２４では、デマルチプレクサ２２０で抽出されたオーディオのＴＳパケットからオーディオのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、音声データが得られる。この音声データは、マルチチャネルスピーカコントロール部２２９に供給される。このマルチチャネルスピーカコントロール部２２９では、音声データに対して、例えば５．１chサラウンド等を実現するためのマルチチャネルスピーカの音声データを生成する処理、所定の音場特性を付与する処理等が施される。
【０１４０】
このマルチチャネルスピーカコントロール部２２９には、視差ベクトルデコーダ２２５で得られた視差ベクトルも供給される。そして、このマルチチャネルスピーカコントロール部２２９では、視差ベクトルに基づいて、マルチチャネルスピーカの出力が制御される。このマルチチャネルスピーカコントロール部２２９で得られるマルチチャネル音声データは、音声信号処理回路２０７を介してＨＤＭＩ送信部２０６（図２６参照）に、送信音声データとして供給される。
【０１４１】
なお、上述の図２７に示すビットストリーム処理部２０１は、上述の図２に示す送信データ生成部１１０に対応させた構成となっている。図２９に示すビットストリーム処理部２０１Ａは、上述の図１３に示す送信データ生成部１１０Ａに対応させた構成となっている。この図２９において、図２７と対応する部分には同一符号を付し、その詳細説明は省略する。
【０１４２】
このビットストリーム処理部２０１Ａは、図２７に示すビットストリーム処理部２０１の視差ベクトルデコーダ２２５の代わりに、視差ベクトル取り出し部２３１が設けられる。この視差ベクトル取り出し部２３１は、ビデオデコーダ２２１を通じて得られるビデオのストリームから、そのユーザデータに埋め込まれている視差ベクトルを取り出す。そして、この視差ベクトル取り出し部２３１は、取り出した視差ベクトルを、立体画像用グラフィクス発生部２０６、立体画像用テキスト発生部２２７およびマルチチャネルスピーカコントロール部２２９に供給する。
【０１４３】
詳細説明は省略するが、この図２９に示すビットストリーム処理部２０１Ａのその他は、図２７に示すビットストリーム処理部２０１と同様に構成されている。
【０１４４】
また、図３０に示すビットストリーム処理部２０１Ｂは、上述の図１８に示す送信データ生成部１１０Ｂに対応させた構成となっている。この図３０において、図２７と対応する部分には同一符号を付し、その詳細説明は省略する。
【０１４５】
このビットストリーム処理部２０１Ｂは、図２７に示すビットストリーム処理部２０１から、視差ベクトルデコーダ２２５、立体画像用グラフィクス発生部２０６および立体画像用テキスト発生部２０７が除かれたものである。この場合、視差ベクトルは、グラフィクス情報、テキスト情報のデータに含めて送信されてくる。また、送信されてくるグラフィクスデータには、上述したように、左眼画像に重畳される左眼グラフィクス情報のデータおよび右眼画像に重畳される右眼グラフィクス情報のデータが含まれている。同様に、送信されてくるテキストデータには、上述したように、左眼画像に重畳される左眼テキスト情報のデータおよび右眼画像に重畳される右眼テキスト情報のデータが含まれている。したがって、視差ベクトルデコーダ２２５、立体画像用グラフィクス発生部２０６および立体画像用テキスト発生部２０７は不要となる。
【０１４６】
なお、テキストデコーダ２２３で得られるテキストデータはコードデータであるので、これをビットマップデータに変換する処理は必要である。この処理は、例えば、テキストデコーダ２２３の最終段で行われるか、あるいはビデオ重畳部２２８の入力段で行われる。
【０１４７】
［テレビ受信機の説明］
図１に戻って、テレビ受信機３００は、セットトップボックス２００からＨＤＭＩケーブル４００を介して送られてくる立体画像データを受信する。このテレビ受信機３００は、３Ｄ信号処理部３０１を有している。この３Ｄ信号処理部３０１は、立体画像データに対して、伝送方式に対応した処理（デコード処理）を行って、左眼画像データおよび右眼画像データを生成する。すなわち、この３Ｄ信号処理部３０１は、図２、図１３、図１８に示す送信データ生成部１１０，１１０Ａ，１１０Ｂにおけるビデオフレーミング部１１２とは逆の処理を行って、立体画像データを構成する左眼画像データおよび右眼画像データを取得する。
【０１４８】
［テレビ受信機の構成例］
テレビ受信機３００の構成例を説明する。図３１は、テレビ受信機３００の構成例を示している。このテレビ受信機３００は、３Ｄ信号処理部３０１と、ＨＤＭＩ端子３０２と、ＨＤＭＩ受信部３０３と、アンテナ端子３０４と、デジタルチューナ３０５と、ビットストリーム処理部３０６を有している。また、このテレビ受信機３００は、映像信号処理回路３０７と、パネル駆動回路３０８と、表示パネル３０９と、音声信号処理回路３１０と、音声増幅回路３１１と、スピーカ３１２を有している。また、このテレビ受信機３００は、ＣＰＵ３２１と、フラッシュＲＯＭ３２２と、ＤＲＡＭ３２３と、内部バス３２４と、リモコン受信部３２５と、リモコン送信機３２６を有している。
【０１４９】
アンテナ端子３０４は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ３０５は、アンテナ端子３０４に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）を出力する。
【０１５０】
ビットストリーム処理部３０６は、図２６に示すセットトップボックス２００のビットストリーム処理部２０１と同様の構成とされている。このビットストリーム処理部３０６は、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、グラフィクスデータ、テキストデータ、視差ベクトル等を抽出する。そして、このビットストリーム処理部３０６は、立体画像データに対し、重畳情報（グラフィクス情報、テキスト情報）のデータを合成し、表示用立体画像データを取得する。また、ビットストリーム処理部３０６は、音声データを出力する。
【０１５１】
ＨＤＭＩ受信部３０３は、ＨＤＭＩに準拠した通信により、ＨＤＭＩケーブル４００を介してＨＤＭＩ端子３０２に供給される非圧縮の画像データ（立体画像データ）および音声データを受信する。このＨＤＭＩ受信部３０３の詳細は後述する。３Ｄ信号処理部３０１は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた立体画像データに対して、伝送方式に対応した処理（デコード処理）を行って、左眼画像データおよび右眼画像データを生成する。
【０１５２】
映像信号処理回路３０７は、３Ｄ信号処理部３０１で生成された左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データを生成する。また、映像信号処理回路は、画像データに対して、必要に応じて、画質調整処理を行う。パネル駆動回路３０８は、映像信号処理回路３０７から出力される画像データに基づいて、表示パネル３０９を駆動する。表示パネル３０９は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma DisplayPanel）等で構成されている。
【０１５３】
音声信号処理回路３１０は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理を行う。音声増幅回路３１１は、音声信号処理回路３１０から出力される音声信号を増幅してスピーカ３１２に供給する。
【０１５４】
ＣＰＵ３２１は、テレビ受信機３００の各部の動作を制御する。フラッシュＲＯＭ３２２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ３２３は、ＣＰＵ３２１のワークエリアを構成する。ＣＰＵ３２１は、フラッシュＲＯＭ３２２から読み出したソフトウェアやデータをＤＲＡＭ３２３上に展開してソフトウェアを起動させ、テレビ受信機３００の各部を制御する。
【０１５５】
リモコン受信部３２５は、リモコン送信機３２６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ３２１に供給する。ＣＰＵ３２１は、このリモコンコードに基づいて、テレビ受信機３００の各部を制御する。ＣＰＵ３２１、フラッシュＲＯＭ３２２およびＤＲＡＭ３２３は、内部バス３２４に接続されている。
【０１５６】
図３１に示すテレビ受信機３００の動作を簡単に説明する。ＨＤＭＩ受信部３０３では、ＨＤＭＩ端子３０２にＨＤＭＩケーブル４００を介して接続されているセットトップボックス２００から送信されてくる、立体画像データおよび音声データが受信される。このＨＤＭＩ受信部３０３で受信された立体画像データは、３Ｄ信号処理部３０１に供給される。また、このＨＤＭＩ受信部３０３で受信された音声データは音声信号処理回路３１０に供給される。
【０１５７】
アンテナ端子３０４に入力されたテレビ放送信号はデジタルチューナ３０５に供給される。このデジタルチューナ３０５では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）が出力される。
【０１５８】
デジタルチューナ３０５から出力されるビットストリームデータは、ビットストリーム処理部３０６に供給される。このビットストリーム処理部３０６では、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、グラフィクスデータ、テキストデータ、視差ベクトル等が抽出される。また、このビットストリーム処理部３０６では、立体画像データに対し、重畳情報（グラフィクス情報、テキスト情報）のデータが合成され、表示用立体画像データが生成される。
【０１５９】
ビットストリーム処理部３０６で生成される表示用立体画像データは、３Ｄ信号処理部３０１に供給される。また、このビットストリーム処理部３０６で得られる音声データは、音声信号処理回路３１０に供給される。
【０１６０】
３Ｄ信号処理部３０１では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた立体画像データに対して、伝送方式に対応した処理（デコード処理）が行われて、左眼画像データおよび右眼画像データが生成される。この左眼画像データおよび右眼画像データは、映像信号処理部回路３０７に供給される。この映像信号処理回路３０７では、左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データが生成される。そのため、表示パネル３０９により立体画像が表示される。
【０１６１】
また、音声信号処理回路３１０では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理が施される。この音声データは、音声増幅回路３１１で増幅された後に、スピーカ３１２に供給される。そのため、スピーカ３１２から音声が出力される。
【０１６２】
［ＨＤＭＩ送信部、ＨＤＭＩ受信部の構成例］
図３２は、図１の立体画像表示システム１０における、セットトップボックス２００のＨＤＭＩ送信部（ＨＤＭＩソース）２０６と、テレビ受信機３００のＨＤＭＩ受信部（ＨＤＭＩシンク）３０３の構成例を示している。
【０１６３】
ＨＤＭＩ送信部２０６は、有効画像区間（以下、適宜、アクティブビデオ区間ともいう）において、非圧縮の１画面分の画像の画素データに対応する差動信号を、複数のチャネルで、ＨＤＭＩ受信部３０３に一方向に送信する。ここで、有効画像区間は、一の垂直同期信号から次の垂直同期信号までの区間から、水平帰線区間及び垂直帰線区間を除いた区間である。また、ＨＤＭＩ送信部２０６は、水平帰線区間または垂直帰線区間において、少なくとも画像に付随する音声データや制御データ、その他の補助データ等に対応する差動信号を、複数のチャネルで、ＨＤＭＩ受信部３０３に一方向に送信する。
【０１６４】
ＨＤＭＩ送信部２０６とＨＤＭＩ受信部３０３とからなるＨＤＭＩシステムの伝送チャネルには、以下の伝送チャネルがある。すなわち、ＨＤＭＩ送信部２０６からＨＤＭＩ受信部３０３に対して、画素データおよび音声データを、ピクセルクロックに同期して、一方向にシリアル伝送するための伝送チャネルとしての、３つのＴＭＤＳチャネル＃０乃至＃２がある。また、ピクセルクロックを伝送する伝送チャネルとしての、ＴＭＤＳクロックチャネルがある。
【０１６５】
ＨＤＭＩ送信部２０６は、ＨＤＭＩトランスミッタ８１を有する。トランスミッタ８１は、例えば、非圧縮の画像の画素データを対応する差動信号に変換し、複数のチャネルである３つのＴＭＤＳチャネル＃０，＃１，＃２で、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３０３に、一方向にシリアル伝送する。
【０１６６】
また、トランスミッタ８１は、非圧縮の画像に付随する音声データ、さらには、必要な制御データその他の補助データ等を、対応する差動信号に変換し、３つのＴＭＤＳチャネル＃０，＃１，＃２でＨＤＭＩ受信部３０３に、一方向にシリアル伝送する。
【０１６７】
さらに、トランスミッタ８１は、３つのＴＭＤＳチャネル＃０，＃１，＃２で送信する画素データに同期したピクセルクロックを、ＴＭＤＳクロックチャネルで、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３０３に送信する。ここで、１つのＴＭＤＳチャネル＃ｉ（ｉ＝０，１，２）では、ピクセルクロックの１クロックの間に、１０ビットの画素データが送信される。
【０１６８】
ＨＤＭＩ受信部３０３は、アクティブビデオ区間において、複数のチャネルで、ＨＤＭＩ送信部２０６から一方向に送信されてくる、画素データに対応する差動信号を受信する。また、このＨＤＭＩ受信部３０３は、水平帰線区間または垂直帰線区間において、複数のチャネルで、ＨＤＭＩ送信部２０６から一方向に送信されてくる、音声データや制御データに対応する差動信号を受信する。
【０１６９】
すなわち、ＨＤＭＩ受信部３０３は、ＨＤＭＩレシーバ８２を有する。このＨＤＭＩレシーバ８２は、ＴＭＤＳチャネル＃０，＃１，＃２で、ＨＤＭＩ送信部２０６から一方向に送信されてくる、画素データに対応する差動信号と、音声データや制御データに対応する差動信号を受信する。この場合、ＨＤＭＩ送信部２０６からＴＭＤＳクロックチャネルで送信されてくるピクセルクロックに同期して受信する。
【０１７０】
ＨＤＭＩ送信部２０６とＨＤＭＩ受信部３０３とからなるＨＤＭＩシステムの伝送チャネルには、上述のＴＭＤＳチャネル＃０乃至＃２およびＴＭＤＳクロックチャネルの他に、ＤＤＣ（Display Data Channel）８３やＣＥＣライン８４と呼ばれる伝送チャネルがある。ＤＤＣ８３は、ＨＤＭＩケーブル４００に含まれる図示しない２本の信号線からなり、ＨＤＭＩ送信部２０６が、ＨＤＭＩケーブル４００を介して接続されたＨＤＭＩ受信部３０３から、Ｅ−ＥＤＩＤ（Enhanced Extended Display Identification Data）を読み出すために使用される。
【０１７１】
すなわち、ＨＤＭＩ受信部３０３は、ＨＤＭＩレシーバ８１の他に、自身の性能（Configuration/capability）に関する性能情報であるＥ−ＥＤＩＤを記憶している、ＥＤＩＤ ＲＯＭ（Read Only Memory）８５を有している。ＨＤＭＩ送信部２０６は、例えば、ＣＰＵ２１１（図２６参照）からの要求に応じて、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３０３から、当該ＨＤＭＩ受信部３０３のＥ−ＥＤＩＤを、ＤＤＣ８３を介して読み出す。ＨＤＭＩ送信部２０６は、読み出したＥ−ＥＤＩＤをＣＰＵ２１１に送る。ＣＰＵ２１１は、このＥ−ＥＤＩＤを、フラッシュＲＯＭ２１２あるいはＤＲＡＭ２１３に格納する。
【０１７２】
ＣＰＵ２１１は、Ｅ−ＥＤＩＤに基づき、ＨＤＭＩ受信部３０３の性能の設定を認識できる。例えば、ＣＰＵ２１１は、ＨＤＭＩ受信部３０３を有するテレビ受信機３００が対応可能な画像データのフォーマット（解像度、フレームレート、アスペクト等）を認識する。
【０１７３】
ＣＥＣライン８４は、ＨＤＭＩケーブル４００に含まれる図示しない１本の信号線からなり、ＨＤＭＩ送信部２０６とＨＤＭＩ受信部３０３との間で、制御用のデータの双方向通信を行うために用いられる。このＣＥＣライン８４は、制御データラインを構成している。
【０１７４】
また、ＨＤＭＩケーブル４００には、ＨＰＤ（Hot Plug Detect）と呼ばれるピンに接続されるライン（ＨＰＤライン）８６が含まれている。ソース機器は、当該ライン８６を利用して、シンク機器の接続を検出することができる。また、ＨＤＭＩケーブル４００には、ソース機器からシンク機器に電源を供給するために用いられるライン８７が含まれている。さらに、ＨＤＭＩケーブル４００には、リザーブライン８８が含まれている。
【０１７５】
図３３は、図３２のＨＤＭＩトランスミッタ８１とＨＤＭＩレシーバ８２の構成例を示している。ＨＤＭＩトランスミッタ８１は、３つのＴＭＤＳチャネル＃０，＃１，＃２にそれぞれ対応する３つのエンコーダ／シリアライザ８１Ａ，８１Ｂ，８１Ｃを有する。そして、エンコーダ／シリアライザ８１Ａ，８１Ｂ，８１Ｃのそれぞれは、そこに供給される画像データ、補助データ、制御データをエンコードし、パラレルデータからシリアルデータに変換して、差動信号により送信する。ここで、画像データが、例えばＲ，Ｇ，Ｂの３成分を有する場合、Ｂ成分はエンコーダ／シリアライザ８１Ａに供給され、Ｇ成分はエンコーダ／シリアライザ８１Ｂに供給され、Ｒ成分はエンコーダ／シリアライザ８１Ｃに供給される。
【０１７６】
また、補助データとしては、例えば、音声データや制御パケットがあり、制御パケットは、例えば、エンコーダ／シリアライザ８１Ａに供給され、音声データは、エンコーダ／シリアライザ８１Ｂ，８１Ｃに供給される。さらに、制御データとしては、１ビットの垂直同期信号（VSYNC）、１ビットの水平同期信号（HSYNC）、および、それぞれ１ビットの制御ビットＣＴＬ０，ＣＴＬ１，ＣＴＬ２，ＣＴＬ３がある。垂直同期信号および水平同期信号は、エンコーダ／シリアライザ８１Ａに供給される。制御ビットＣＴＬ０，ＣＴＬ１はエンコーダ／シリアライザ８１Ｂに供給され、制御ビットＣＴＬ２，ＣＴＬ３はエンコーダ／シリアライザ８１Ｃに供給される。
【０１７７】
エンコーダ／シリアライザ８１Ａは、そこに供給される画像データのＢ成分、垂直同期信号および水平同期信号、並びに補助データを、時分割で送信する。すなわち、エンコーダ／シリアライザ８１Ａは、そこに供給される画像データのＢ成分を、固定のビット数である８ビット単位のパラレルデータとする。さらに、エンコーダ／シリアライザ８１Ａは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃０で送信する。
【０１７８】
また、エンコーダ／シリアライザ８１Ａは、そこに供給される垂直同期信号および水平同期信号の２ビットのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃０で送信する。さらに、エンコーダ／シリアライザ８１Ａは、そこに供給される補助データを４ビット単位のパラレルデータとする。そして、エンコーダ／シリアライザ８１Ａは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃０で送信する。
【０１７９】
エンコーダ／シリアライザ８１Ｂは、そこに供給される画像データのＧ成分、制御ビットＣＴＬ０，ＣＴＬ１、並びに補助データを、時分割で送信する。すなわち、エンコーダ／シリアライザ８１Ｂは、そこに供給される画像データのＧ成分を、固定のビット数である８ビット単位のパラレルデータとする。さらに、エンコーダ／シリアライザ８１Ｂは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃１で送信する。
【０１８０】
また、エンコーダ／シリアライザ８１Ｂは、そこに供給される制御ビットＣＴＬ０，ＣＴＬ１の２ビットのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃１で送信する。さらに、エンコーダ／シリアライザ８１Ｂは、そこに供給される補助データを４ビット単位のパラレルデータとする。そして、エンコーダ／シリアライザ８１Ｂは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃１で送信する。
【０１８１】
エンコーダ／シリアライザ８１Ｃは、そこに供給される画像データのＲ成分、制御ビットＣＴＬ２，ＣＴＬ３、並びに補助データを、時分割で送信する。すなわち、エンコーダ／シリアライザ８１Ｃは、そこに供給される画像データのＲ成分を、固定のビット数である８ビット単位のパラレルデータとする。さらに、エンコーダ／シリアライザ８１Ｃは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃２で送信する。
【０１８２】
また、エンコーダ／シリアライザ８１Ｃは、そこに供給される制御ビットＣＴＬ２，ＣＴＬ３の２ビットのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃２で送信する。さらに、エンコーダ／シリアライザ８１Ｃは、そこに供給される補助データを４ビット単位のパラレルデータとする。そして、エンコーダ／シリアライザ８１Ｃは、そのパラレルデータをエンコードし、シリアルデータに変換して、ＴＭＤＳチャネル＃２で送信する。
【０１８３】
ＨＤＭＩレシーバ８２は、３つのＴＭＤＳチャネル＃０，＃１，＃２にそれぞれ対応する３つのリカバリ／デコーダ８２Ａ，８２Ｂ，８２Ｃを有する。そして、リカバリ／デコーダ８２Ａ，８２Ｂ，８２Ｃのそれぞれは、ＴＭＤＳチャネル＃０，＃１，＃２で差動信号により送信されてくる画像データ、補助データ、制御データを受信する。さらに、リカバリ／デコーダ８２Ａ，８２Ｂ，８２Ｃのそれぞれは、画像データ、補助データ、制御データを、シリアルデータからパラレルデータに変換し、さらにデコードして出力する。
【０１８４】
すなわち、リカバリ／デコーダ８２Ａは、ＴＭＤＳチャネル＃０で差動信号により送信されてくる画像データのＢ成分、垂直同期信号および水平同期信号、補助データを受信する。そして、リカバリ／デコーダ８２Ａは、その画像データのＢ成分、垂直同期信号および水平同期信号、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。
【０１８５】
リカバリ／デコーダ８２Ｂは、ＴＭＤＳチャネル＃１で差動信号により送信されてくる画像データのＧ成分、制御ビットＣＴＬ０，ＣＴＬ１、補助データを受信する。そして、リカバリ／デコーダ８２Ｂは、その画像データのＧ成分、制御ビットＣＴＬ０，ＣＴＬ１、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。
【０１８６】
リカバリ／デコーダ８２Ｃは、ＴＭＤＳチャネル＃２で差動信号により送信されてくる画像データのＲ成分、制御ビットＣＴＬ２，ＣＴＬ３、補助データを受信する。そして、リカバリ／デコーダ８２Ｃは、その画像データのＲ成分、制御ビットＣＴＬ２，ＣＴＬ３、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。
【０１８７】
図３４は、ＴＭＤＳ伝送データの構造例を示している。この図３４は、ＴＭＤＳチャネル＃０，＃１，＃２において、横×縦が１９２０ピクセル×１０８０ラインの画像データが伝送される場合の、各種の伝送データの区間を示している。
【０１８８】
ＨＤＭＩの３つのＴＭＤＳチャネル＃０，＃１，＃２で伝送データが伝送されるビデオフィールド（Video Field）には、伝送データの種類に応じて、３種類の区間が存在する。この３種類の区間は、ビデオデータ区間（Video Data period）、データアイランド区間（Data Islandperiod）、およびコントロール区間（Control period）である。
【０１８９】
ここで、ビデオフィールド区間は、ある垂直同期信号の立ち上がりエッジ（active edge）から次の垂直同期信号の立ち上がりエッジまでの区間である。このビデオフィールド区間は、水平ブランキング期間（horizontal blanking）、垂直ブランキング期間（verticalblanking）、並びに、アクティブビデオ区間（Active Video）に分けられる。このアクティブビデオ区間は、ビデオフィールド区間から、水平ブランキング期間および垂直ブランキング期間を除いた区間である
【０１９０】
ビデオデータ区間は、アクティブビデオ区間に割り当てられる。このビデオデータ区間では、非圧縮の１画面分の画像データを構成する１９２０ピクセル（画素）×１０８０ライン分の有効画素（Active pixel）のデータが伝送される。
【０１９１】
データアイランド区間およびコントロール区間は、水平ブランキング期間および垂直ブランキング期間に割り当てられる。このデータアイランド区間およびコントロール区間では、補助データ（Auxiliary data）が伝送される。すなわち、データアイランド区間は、水平ブランキング期間と垂直ブランキング期間の一部分に割り当てられている。このデータアイランド区間では、補助データのうち、制御に関係しないデータである、例えば、音声データのパケット等が伝送される。
【０１９２】
コントロール区間は、水平ブランキング期間と垂直ブランキング期間の他の部分に割り当てられている。このコントロール区間では、補助データのうちの、制御に関係するデータである、例えば、垂直同期信号および水平同期信号、制御パケット等が伝送される。
【０１９３】
図３５は、ＨＤＭＩ端子２１１，２５１のピン配列の一例を示している。図３５に示すピン配列はタイプＡ（type-A）と呼ばれている。
【０１９４】
ＴＭＤＳチャネル＃ｉの差動信号であるＴＭＤＳ Ｄａｔａ＃ｉ＋とＴＭＤＳ Ｄａｔａ＃ｉ−が伝送される差動線である２本のラインは、ＴＭＤＳ Ｄａｔａ＃ｉ＋が割り当てられているピン（ピン番号が１，４，７のピン）と、ＴＭＤＳ Ｄａｔａ＃ｉ−が割り当てられているピン（ピン番号が３，６，９のピン）に接続される。
【０１９５】
また、制御用のデータであるＣＥＣ信号が伝送されるＣＥＣライン８４は、ピン番号が１３であるピンに接続され、ピン番号が１４のピンは空き（Reserved）ピンとなっている。また、Ｅ−ＥＤＩＤ等のＳＤＡ（SerialData）信号が伝送されるラインは、ピン番号が１６であるピンに接続され、ＳＤＡ信号の送受信時の同期に用いられるクロック信号であるＳＣＬ（Serial Clock）信号が伝送されるラインは、ピン番号が１５であるピンに接続される。上述のＤＤＣ８３は、ＳＤＡ信号が伝送されるラインおよびＳＣＬ信号が伝送されるラインにより構成される。
【０１９６】
また、上述したようにソース機器がシンク機器の接続を検出するためのＨＰＤライン８６は、ピン番号が１９であるピンに接続される。また、上述したように電源を供給するためのライン８７は、ピン番号が１８であるピンに接続される。
【０１９７】
［立体画像データの各方式におけるＴＭＤＳ伝送データ例］
ここで、立体画像データの各方式におけるＴＭＤＳ伝送データ例を説明する。図３６は、第１の伝送方式（「Top & Bottom」方式）のＴＭＤＳ伝送データ例を示している。この場合、１９２０ピクセル×１０８０ラインのアクティブビデオ区間に、１９２０ピクセル（画素）×１０８０ライン分の有効画素（Active pixel）のデータ（左眼（Ｌ）画像データおよび右眼（Ｒ）画像データの合成データ）が配置される。この第１の方式の場合、上述したように、左眼画像データおよび右眼画像データは、それぞれ、垂直方向のラインが１／２に間引かれる。ここで、伝送すべき左眼画像データは奇数ラインまたは偶数ラインのいずれかであり、同様に、伝送すべき右眼画像データは奇数ラインまたは偶数ラインのいずれかである。
【０１９８】
図３７は、第２の伝送方式（「Side By Side」方式）のＴＭＤＳ伝送データ例を示している。この場合、１９２０ピクセル×１０８０ラインのアクティブビデオ区間に、１９２０ピクセル（画素）×１０８０ライン分の有効画素（Active pixel）のデータ（左眼（Ｌ）画像データおよび右眼（Ｒ）画像データの合成データ）が配置される。この第２の伝送方式の場合、上述したように、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが１／２に間引かれる。
【０１９９】
図３８は、第３の伝送方式（「Frame Sequential」方式）におけるＴＭＤＳ伝送データ例を示している。この場合、奇数フィールドの１９２０ピクセル×１０８０ラインのアクティブビデオ区間に、１９２０ピクセル（画素）×１０８０ライン分の有効画素（Active pixel）の左眼（Ｌ）画像データが配置される。また、偶数フィールドの１９２０ピクセル×１０８０ラインのアクティブビデオ区間に、１９２０ピクセル（画素）×１０８０ライン分の有効画素（Active pixel）の右眼（Ｒ）画像データが配置される。
【０２００】
なお、図３８に示す「Frame Sequential」方式におけるＴＭＤＳ伝送データ例は、ＨＤＭＩ 1.4（New HDMI）での「Frame Sequential」方式を示している。この場合、図３９（ａ）に示すように、各フレーム期間Ｖfreqにおいて、奇数フィールドに左眼画像データが配置され、偶数フィールドに右眼画像データが配置されている。
【０２０１】
しかし、ＨＤＭＩ 1.3（Legacy HDMI）での「FrameSequential」方式の場合には、図３９（ｂ）に示すように、フレーム期間Ｖfreq毎に、左眼画像データと右眼画像データとは交互に伝送される。この場合、フレーム毎に伝送される画像データが左眼画像データ、右眼画像データのいずれであるかを示す情報（Ｌ，Ｒのsignaling情報）を、ソース機器はシンク機器に送ることが必要となる。
【０２０２】
「Top& Bottom」方式、「Side By Side」方式、「Frame Sequential」方式の立体画像データをシンク機器に送信する場合、ソース機器側で方式を指定し、さらに「Frame Sequential」方式の場合には、Ｌ，Ｒをフレーム毎にsignalingする。
【０２０３】
例えば、以下のシンタクスをLegacy ＨＤＭＩ仕様のブランキングに定義されているVendor Specific、あるいはAVI InfoFrame、もしくはReservedの一つを新規定義して、伝送する。
【０２０４】
ＨＤＭＩ 1.3の場合、ブランキング期間で送る情報としては、次のものが定義されている。
InfoFrameType # (8bits)
--------------------------
0x01:Vendor Specific
0x02:AVI InfoFrame
0x03:Source Product Description
0x04: AudioInfoFrame
0x05: MPEGSource
0x06 -0xFF Reserved
【０２０５】
このうちの、Vendor Specific、あるいはAVI InfoFrame、もしくは未使用領域の一つを新規定義して、以下のようにする。
3DVideoFlag 1bit (0:2D, 1: 3D)
if(3DVideoFlag) {
3DVideoFormat 3bits (0x0:Frame Packing Left View
0x1:Frame Packing Right View
0x2:Side by Side
0x4:Top & Bottom by Frame
0x6:Top & Bottom by Field
0x3,5,7:Reserved )
Reserved 4bits (0x0)
}
else {
Reserved 7bits (0x0)
}
【０２０６】
上述の情報には、３次元画像データおよび２次元画像データの切り替え情報（１ビットの3DVideoFlag情報）と、３次元画像データのフォーマットの指定あるいは左眼画像データおよび右眼画像データの切り替えの情報（３ビットの3DVideoFormat情報）が含まれている。
【０２０７】
なお、この情報は、同様の内容が放送されるビットストリームの中において、ピクチャーヘッダあるいはそれに相当するタイミングで送られる補助情報に定義されるべきものである。この場合、このビットストリームには、３次元画像データ（左眼画像データおよび右眼画像データからなる立体画像データ）または２次元画像データが択一的に含まれる。
受信機（セットトップボックス２００）では、そのストリームを受信した際に、このシグナリング情報を後段のデジタルインタフェースへ送ることで、表示ディスプレイ（テレビ受信機３００）において正確な３Ｄ変換が行えるようにとり図る。
【０２０８】
また、受信機は、切り替え情報（１ビットの3DVideoFlag情報）が３次元画像データを示すとき、つまりデータストリームが３次元画像データを含むとき、この３次元画像データを処理するためのソフトウェアを放送サーバ等の外部機器からダウンロードしてインストールするようにしてもよい。
【０２０９】
例えば、上述の３Ｄ情報を伝送するため、ＨＤＭＩ１．３対応のシステム上に追加で対応すること、あるいはＨＤＭＩ１．４対応のシステムのソフトウェアを更新することが必要となる。そのため、ソフトウェアのアップデートの際には、例えば、上述の３Ｄ情報を伝送するために必要なファームウェア、ミドルウェア関係のソフトウェアがアップデートの対象となる。
【０２１０】
上述したように、図１に示す立体画像表示システム１０においては、左眼画像および右眼画像の一方に対する他方の視差情報に基づいて、左眼画像および右眼画像に重畳する同一の重畳情報（グラフィクス情報、テキスト情報など）に視差が付与される。そのため、左眼画像および右眼画像に重畳される同一の重畳情報として、画像内の各物体（オブジェクト）の遠近感に応じて視差調整が施されたものを用いることができ、重畳情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。
【０２１１】
＜２．変形例＞
なお、上述実施の形態においては、放送局１００側からセットトップボックス２００に画像内の所定位置の視差ベクトルが送信されてくる。この場合、セットトップボックス２００は、受信された立体画像データに含まれる左眼画像データおよび右眼画像データに基づいて視差ベクトルを得ることを必要とせず、セットトップボックス２００の処理が簡単となる。
【０２１２】
しかし、立体画像データの受信側、上述の実施の形態ではセットトップボックス２００に、図２の送信データ生成部１１０における視差ベクトル検出部１１４と同等の視差ベクトル検出部を配置することも考えられる。この場合、視差ベクトルが送られてこなくても、視差ベクトルを用いた処理が可能となる。
【０２１３】
図４０は、例えば、セットトップボックス２００に設けられるビットストリーム処理部２０１Ｃの構成例を示している。この図４０において、図２７と対応する部分には同一符号を付し、その詳細説明は省略する。このビットストリーム処理部２０１Ｃでは、図２７に示すビットストリーム処理部２０１における視差ベクトルデコーダ２２５の代わりに、視差ベクトル検出部２３３が配置されている。
【０２１４】
この視差ベクトル検出部２３３は、ビデオデコーダ２２１で得られる立体画像データを構成する左眼画像データおよび右眼画像データに基づいて、画像内の所定位置における視差ベクトルを検出する。そして、この視差ベクトル検出部２３３は、検出した視差ベクトルを、立体画像用グラフィクス発生部２０６、立体画像用テキスト発生部２２７およびマルチチャネルスピーカ出力制御部２２９に供給する。
【０２１５】
詳細説明は省略するが、この図４０に示すビットストリーム処理部２０１Ｃのその他は、図２７に示すビットストリーム処理部２０１と同様に構成されている。
【０２１６】
また、上述実施の形態においては、立体画像表示システム１０が、放送局１００、セットトップボックス２００およびテレビ受信機３００で構成されているものを示した。しかし、テレビ受信機３００は、図３１に示すように、セットトップボックス２００内のビットストリーム処理部２０１と同等に機能するビットストリーム処理部２０１を備えている。したがって、図４１に示すように、放送局１００およびテレビ受信機３００で構成される立体画像表示システム１０Ａも考えられる。
【０２１７】
また、上述実施例においては、立体画像データを含むデータストリーム（ビットストリームデータ）が放送局１００から放送される例を示した。しかし、この発明は、このデータストリームがインターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できることは勿論である。
【産業上の利用可能性】
【０２１８】
この発明は、グラフィクス情報、テキスト情報等の重畳情報を画像に重畳して表示する立体画像表示システム等に適用できる。
【符号の説明】
【０２１９】
１０，１０Ａ・・・立体画像表示システム、１００・・・放送局、１１０，１１０Ａ，１１０Ｂ・・・送信データ生成部、１１１Ｌ，１１１Ｒ・・・カメラ、１１２・・・ビデオフレーミング部、１１３・・・ビデオエンコーダ、１１４・・・視差ベクトル検出部、１１５・・・視差ベクトルエンコーダ、１１６・・・マイクロホン、１１７・・・オーディオエンコーダ、１１８・・・グラフィクス発生部、１１９・・・グラフィクスエンコーダ、１２０・・・テキスト発生部、１２１・・・テキストエンコーダ、１２２・・・マルチプレクサ、１２３・・・ストリームフレーミング部、１２４・・・グラフィクス処理部、１２５・・・テキスト処理部、２００・・・セットトップボックス、２０１，２０１Ａ，２０１Ｂ，２０１Ｃ・・・ビットストリーム処理部、２０２・・・ＨＤＭＩ端子、２０３・・・アンテナ端子、２０４・・・デジタルチューナ、２０５・・・映像信号処理回路、２０６・・・ＨＤＭＩ送信部、２０７・・・音声信号処理回路、２１１・・・ＣＰＵ、２１２・・・フラッシュＲＯＭ、２１３・・・ＤＲＡＭ、２１４・・・内部バス、２１５・・・リモコン受信部、２１６・・・リモコン送信機、２２０・・・デマルチプレクサ、２２１・・・ビデオデコーダ、２２２・・・グラフィクスデコーダ、２２３・・・テキストデコーダ、２２４・・・オーディオデコーダ、２２５・・・視差ベクトルデコーダ、２２６・・・立体画像用グラフィクス発生部、２２７・・・立体画像用テキスト発生部、２２８・・・ビデオ重畳部、２２９・・・マルチチャネルスピーカコントロール部、２３１・・・視差ベクトル抽出部、２３３・・・視差ベクトル検出部、３００・・・テレビ受信機、３０１・・・３Ｄ信号処理部、３０２・・・ＨＤＭＩ端子、３０３・・・ＨＤＭＩ受信部、３０４・・・アンテナ端子、３０５・・・デジタルチューナ、３０６・・・ビットストリーム処理部、３０７・・・映像信号処理回路、３０８・・・パネル駆動回路、３０９・・・表示パネル、３１０・・・音声信号処理回路、３１１・・・音声増幅回路、３１２・・・スピーカ、３２１・・・ＣＰＵ、３２２・・・フラッシュＲＯＭ、３２３・・・ＤＲＡＭ、３２４・・・内部バス、３２５・・・リモコン受信部、３２６・・・リモコン送信機、４００・・・ＨＤＭＩケーブル
【特許請求の範囲】
【請求項１】
立体画像を表示するための左眼画像データおよび右眼画像データに基づき、画像内の所定位置において、左眼画像および右眼画像の一方に対する他方の視差情報を取得し、
上記左眼画像データおよび上記右眼画像データを含む立体画像データと共に、上記取得された視差情報を送信する
立体画像データ送信方法。
【請求項２】
上記視差情報を数値情報として送信する
請求項１に記載の立体画像データ送信方法。
【請求項３】
上記視差情報を、上記左眼画像データおよび上記右眼画像データによる画像に重畳するための重畳情報のデータに含めて送信する
請求項１または請求項２に記載の立体画像データ送信方法。
【請求項４】
左眼画像データおよび右眼画像データを含む立体画像データを受信する画像データ受信部と、
上記画像データ受信部で受信される立体画像データに含まれる上記左眼画像データおよび上記右眼画像データが処理されて得られた、左眼画像および右眼画像の一方に対する他方の視差情報に基づいて、上記左眼画像および上記右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る画像データ処理部
を備える立体画像データ受信装置。
【請求項５】
上記画像データ処理部は、上記左眼画像および上記右眼画像に重畳する同一の重畳情報に、該重畳情報の重畳位置に応じた視差を付与する
請求項４に記載の立体画像データ受信装置。
【請求項６】
上記画像データ受信部で受信される上記立体画像データに同期して、上記視差情報を受信する視差情報受信部をさらに備える
請求項４または請求項５に記載の立体画像データ受信装置。
【請求項７】
上記画像データ受信部で受信された上記立体画像データに含まれる上記左眼画像データおよび上記右眼画像データに基づき、画像内の所定位置において、左眼画像および右眼画像の一方に対する他方の視差情報を得る視差情報取得部をさらに備える
請求項４または請求項５に記載の立体画像データ受信装置。
【請求項８】
上記画像データ処理部で得られた上記左眼画像データおよび上記右眼画像データを含む立体画像データを外部機器に送信する画像データ送信部をさらに備える
請求項４に記載の立体画像データ受信装置。
【請求項９】
上記画像データ送信部は、上記左眼画像データおよび上記右眼画像データをフレームシーケンシャル方式で上記外部機器に送信し、各フレームで送信される画像データが上記左眼画像データであるか上記右眼画像データであるかを判別するための信号を上記外部機器にさらに送信する
請求項８に記載の立体画像データ受信装置。
【請求項１０】
上記画像データ処理部で得られた上記左眼画像データおよび上記右眼画像データによる立体画像表示のための画像を表示する画像表示部をさらに備える
請求項４に記載の立体画像データ受信装置。
【請求項１１】
マルチチャネルのスピーカと、
上記左眼画像データおよび上記右眼画像データの一方に対する他方の視差情報に基づいて、上記マルチチャネルのスピーカ出力を制御する制御部をさらに備える
請求項４に記載の立体画像データ受信装置。
【請求項１２】
左眼画像データおよび右眼画像データを含む立体画像データを受信する画像データ受信ステップと、
左眼画像および右眼画像の一方に対する他方の視差情報に基づいて、上記左眼画像および上記右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを含む立体画像データを得る画像データ処理ステップ
を備える立体画像データ受信方法。
【請求項１】
立体画像を表示するための左眼画像データおよび右眼画像データに基づき、画像内の所定位置において、左眼画像および右眼画像の一方に対する他方の視差情報を取得し、
上記左眼画像データおよび上記右眼画像データを含む立体画像データと共に、上記取得された視差情報を送信する
立体画像データ送信方法。
【請求項２】
上記視差情報を数値情報として送信する
請求項１に記載の立体画像データ送信方法。
【請求項３】
上記視差情報を、上記左眼画像データおよび上記右眼画像データによる画像に重畳するための重畳情報のデータに含めて送信する
請求項１または請求項２に記載の立体画像データ送信方法。
【請求項４】
左眼画像データおよび右眼画像データを含む立体画像データを受信する画像データ受信部と、
上記画像データ受信部で受信される立体画像データに含まれる上記左眼画像データおよび上記右眼画像データが処理されて得られた、左眼画像および右眼画像の一方に対する他方の視差情報に基づいて、上記左眼画像および上記右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る画像データ処理部
を備える立体画像データ受信装置。
【請求項５】
上記画像データ処理部は、上記左眼画像および上記右眼画像に重畳する同一の重畳情報に、該重畳情報の重畳位置に応じた視差を付与する
請求項４に記載の立体画像データ受信装置。
【請求項６】
上記画像データ受信部で受信される上記立体画像データに同期して、上記視差情報を受信する視差情報受信部をさらに備える
請求項４または請求項５に記載の立体画像データ受信装置。
【請求項７】
上記画像データ受信部で受信された上記立体画像データに含まれる上記左眼画像データおよび上記右眼画像データに基づき、画像内の所定位置において、左眼画像および右眼画像の一方に対する他方の視差情報を得る視差情報取得部をさらに備える
請求項４または請求項５に記載の立体画像データ受信装置。
【請求項８】
上記画像データ処理部で得られた上記左眼画像データおよび上記右眼画像データを含む立体画像データを外部機器に送信する画像データ送信部をさらに備える
請求項４に記載の立体画像データ受信装置。
【請求項９】
上記画像データ送信部は、上記左眼画像データおよび上記右眼画像データをフレームシーケンシャル方式で上記外部機器に送信し、各フレームで送信される画像データが上記左眼画像データであるか上記右眼画像データであるかを判別するための信号を上記外部機器にさらに送信する
請求項８に記載の立体画像データ受信装置。
【請求項１０】
上記画像データ処理部で得られた上記左眼画像データおよび上記右眼画像データによる立体画像表示のための画像を表示する画像表示部をさらに備える
請求項４に記載の立体画像データ受信装置。
【請求項１１】
マルチチャネルのスピーカと、
上記左眼画像データおよび上記右眼画像データの一方に対する他方の視差情報に基づいて、上記マルチチャネルのスピーカ出力を制御する制御部をさらに備える
請求項４に記載の立体画像データ受信装置。
【請求項１２】
左眼画像データおよび右眼画像データを含む立体画像データを受信する画像データ受信ステップと、
左眼画像および右眼画像の一方に対する他方の視差情報に基づいて、上記左眼画像および上記右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを含む立体画像データを得る画像データ処理ステップ
を備える立体画像データ受信方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図２２】
【図２３】
【公開番号】特開２０１１−１０２５５（Ｐ２０１１−１０２５５Ａ）
【公開日】平成２３年１月１３日（２０１１．１．１３）
【国際特許分類】
【出願番号】特願２００９−２４８３５７（Ｐ２００９−２４８３５７）
【出願日】平成２１年１０月２９日（２００９．１０．２９）
【分割の表示】特願２００９−１５３６８６（Ｐ２００９−１５３６８６）の分割
【原出願日】平成２１年６月２９日（２００９．６．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年１月１３日（２０１１．１．１３）
【国際特許分類】
【出願日】平成２１年１０月２９日（２００９．１０．２９）
【分割の表示】特願２００９−１５３６８６（Ｐ２００９−１５３６８６）の分割
【原出願日】平成２１年６月２９日（２００９．６．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]