立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置
【課題】立体画像表示の際の重畳情報、例えばＯＳＤ等のグラフィクス情報の表示において、画像内の各物体との間の遠近感の整合性の維持を容易に図る。
【解決手段】奥行き情報セット作成部１２２は、ディスパリティ・マップに基づいて、立体画像データに対応した奥行き情報セットを作成する。奥行き情報セットは、画像表示面の分割情報と各分割領域の奥行き情報を含む。奥行き情報は、例えば、モニタポジションに対して立体画像面が手前にあるか否かを示す画像面情報、さらには、この画像面情報および視差情報とされる。奥行き情報セットには、視差情報の存在を示すフラグ情報が挿入される。奥行き情報セットを、立体画像データのデータストリームを有する多重化データストリームのＰＭＴやＥＩＴ等の配下に挿入されるデスクリプタに含めて送信する。
【解決手段】奥行き情報セット作成部１２２は、ディスパリティ・マップに基づいて、立体画像データに対応した奥行き情報セットを作成する。奥行き情報セットは、画像表示面の分割情報と各分割領域の奥行き情報を含む。奥行き情報は、例えば、モニタポジションに対して立体画像面が手前にあるか否かを示す画像面情報、さらには、この画像面情報および視差情報とされる。奥行き情報セットには、視差情報の存在を示すフラグ情報が挿入される。奥行き情報セットを、立体画像データのデータストリームを有する多重化データストリームのＰＭＴやＥＩＴ等の配下に挿入されるデスクリプタに含めて送信する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置に関し、特に、受信側において、ＯＳＤ等のグラフィクス情報の表示を良好に行い得る立体画像データ送信装置等に関する。
【背景技術】
【０００２】
例えば、特許文献１には、立体画像データのテレビ放送電波を用いた伝送方式について提案されている。この場合、左眼用画像データおよび右眼用画像データを含む立体画像データが送信され、テレビ受信機において、両眼視差を利用した立体画像表示が行われる。
【０００３】
図３５は、両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクト（物体）の左右像の表示位置と、その立体像の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Ｌａが右側に右像Ｒａが左側にずれて表示されているオブジェクトＡに関しては、左右の視線がスクリーン面より手前で交差するため、その立体像の再生位置はスクリーン面より手前となる。ＤＰａは、オブジェクトＡに関する水平方向の視差ベクトル（視差情報）を表している。
【０００４】
また、例えば、スクリーン上に図示のように左像Ｌｂおよび右像Ｒｂが同一位置に表示されているオブジェクトＢに関しては、左右の視線がスクリーン面で交差するため、その立体像の再生位置はスクリーン上、つまりモニタポジションとなる。さらに、例えば、スクリーン上に図示のように左像Ｌｃが左側に右像Ｒｃが右側にずれて表示されているオブジェクトＣに関しては、左右の視線がスクリーン面より奥で交差するため、その立体像の再生位置はスクリーン面より奥となる。ＤＰｃは、オブジェクトＣに関する水平方向の視差ベクトルを表している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−６１１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したように、立体画像表示において、視聴者は、両眼視差を利用して、立体画像の遠近感を認知することが普通である。画像に重畳される重畳情報、例えばＯＳＤ（On Screen Display）等のグラフィクス情報に関しても、２次元空間的のみならず、３次元の奥行き感としても、立体画像表示と連動してレンダリングされることが期待される。
【０００７】
例えば、立体画像にＯＳＤ等のグラフィクス情報を重畳表示(オーバーレイ表示)する場合、遠近感でいうところの最も近い画像内の物体（オブジェクト）の面（以下、「立体画像面」という）よりも手前に表示されないと、視聴者は、遠近感の矛盾を感じる場合がある。つまり、画像にＯＳＤ等のグラフィクス情報を重畳表示する場合、画像内の各物体の遠近感に応じて視差調整を施し、遠近感の整合性を維持することが期待される。
【０００８】
この発明の目的は、立体画像表示の際の重畳情報、例えばＯＳＤ等のグラフィクス情報の表示において、画像内の各物体との間の遠近感の整合性の維持を図ることにある。
【課題を解決するための手段】
【０００９】
この発明の概念は、
左眼画像データおよび右眼画像データを有する立体画像データを出力する画像データ出力部と、
上記画像データ出力部から出力される立体画像データに対応した奥行き情報セットを出力する奥行き情報セット出力部と、
上記画像データ出力部から出力される立体画像データおよび上記奥行き情報セット出力部から出力される奥行き情報セットを送信する送信部とを備え、
上記奥行き情報セットは、画像表示面の分割情報と各分割領域の奥行き情報を含み、
上記送信部は、上記画像データ出力部から出力される立体画像データを含むデータストリームを有する多重化データストリームを送信し、該多重化データストリームに、上記奥行き情報セット出力部から出力される奥行き情報セットを含むデスクリプタを挿入する
立体画像データ送信装置にある。
【００１０】
この発明において、画像データ出力部により、左眼画像データおよび右眼画像データを有する立体画像データが出力される。また、奥行き情報セット出力部により、立体画像データに対応した奥行き情報セットが出力される。そして、送信部により、立体画像データおよび奥行き情報セットが送信される。この奥行き情報セットには、画像表示面の分割情報と、各分割領域の奥行き情報が含まれる。
【００１１】
例えば、奥行き情報は、モニタポジションに対して立体画像面（画像内の、遠近感でいうところの最も近い物体の面）が手前にあるか否かを示す画像面情報とされてもよい。そして、この画像面情報は、例えば、左眼画像および右眼画像の視差情報（視差ベクトル）を構成する符号情報とされてもよい。視差情報の符号が負の場合、立体画像面がモニタポジションに対して手前にあることが分かる。
【００１２】
また、例えば、奥行き情報は、モニタポジションに対して立体画像面が手前にあるか否かを示す画像面情報、またはこの画像面情報と左眼画像および右眼画像の視差情報であり、奥行き情報セットには、視差情報の存在を示すフラグ情報が挿入されてもよい。例えば、奥行き情報は、視差情報を構成する符号情報、またはこの符号情報および視差情報を構成する絶対値情報とされる。この場合、視差情報の符号情報は、画像面情報を構成する。
【００１３】
奥行き情報として、画像面情報の他に視差情報が含まれることで、受信側において、立体画像面の位置がモニタポジションに対して手前にあるか否かだけでなく、その位置をより詳細に把握可能となる。また、フラグ情報が挿入されていることにより、奥行き情報として、画像面情報のみ、あるいは画面情報および視差情報の双方を、選択的に送信することが可能となる。
【００１４】
例えば、分割情報は、分割タイプを示す情報と分割数を示す情報とからなっていてもよい。このように分割情報が２つの情報から構成されることにより、少ない情報数でより多くの分割パターンを指定することが可能となる。例えば、分割タイプには、画像表示面を対角線を用いて分割する分割タイプが含まれる。また、例えば、分割タイプには、画像表示面を水平方向線および／または垂直方向線を用いて分割する分割タイプが含まれる。
【００１５】
送信部では、画像データ出力部から出力される立体画像データを含むデータストリームを有する多重化データストリームが送信される。この多重化データストリームに、奥行き情報セットを含むデスクリプタが挿入される。
【００１６】
例えば、多重化データストリームには、この多重化データストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを示すプログラム・スペシフィック・インフォメーションとしてのプログラム・マップ・テーブルが含まれており、デスクリプタは、このプログラム・マップ・テーブルの配下に挿入される。この場合、番組期間中にデスクリプタが順次送信され、番組期間中において、奥行き情報がダイナミックに変化可能とされる。
【００１７】
また、例えば、多重化データストリームには、イベント単位の管理を行うサービス・インフォメーションとしてのイベント・インフォメーション・テーブルが含まれており、デスクリプタは、このイベント・インフォメーション・テーブルの配下に挿入される。この場合、番組の最初にデスクリプタが送信され、番組期間中において、奥行き情報は固定とされる。
【００１８】
このように、この発明においては、左眼画像データおよび右眼画像データを有する立体画像データと共に、この立体画像データに対応した奥行き情報セットが送信される。そのため、受信側において、奥行き情報セットを用いることで、左眼画像および右眼画像に重畳される重畳情報、例えばＯＳＤ等のグラフィクス情報として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができる。これにより、例えばＯＳＤ等のグラフィクス情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。
【００１９】
また、この発明においては、奥行き情報セットは、画像表示面の分割情報と各分割領域の奥行き情報を含むものであって、立体画像データを含むデータストリームを有する多重化データストリームに挿入されるデスクリプタに含まれて送信される。つまり、奥行き情報セットの受信側への送信を簡単に行うことできる。
【００２０】
なお、この発明において、例えば、送信部は、デスクリプタを、立体画像データの所定期間毎の開始時点に対応させて多重化データストリームに挿入し、各期間の開始時点に対応させて多重化データストリームに挿入されるデスクリプタには、当該期間より後の期間の奥行き情報セットが含まれている、ようにされてもよい。これにより、受信側において、各期間の左眼重畳情報と右眼重畳情報との間に視差を付与する際に使用する視差情報として、当該期間および当該期間の前後の期間の奥行き情報セットに含まれる視差情報を用いた補間処理により、時間方向（フレーム方向の）変化がなだらかな、つまり更新カーブがスムーズとなる視差情報を得ることが可能となる。
【００２１】
また、この発明の他の概念は、
左眼画像データおよび右眼画像データを有する立体画像データを含むデータストリームを有し、画像表示面の分割情報と上記立体画像データに対応した各分割領域の奥行き情報とからなる奥行き情報セットを含むデスクリプタが挿入された多重化データストリームを受信する受信部と、
上記受信部で受信された多重化データストリームから取得された上記立体画像データに含まれる左眼画像データに対応した左眼重畳情報のデータおよび該立体画像データに含まれる右眼画像データに対応した右眼重畳情報のデータを出力する重畳情報データ出力部と、
上記受信部で受信された多重化データストリームから取得された上記左眼画像データおよび上記右眼画像データに、上記重畳情報データ出力部から出力される上記左眼重畳情報のデータおよび上記右眼重畳情報のデータを重畳するデータ重畳部を備え、
上記重畳情報データ出力部は、上記受信部で受信された多重化データストリームから取得された上記奥行き情報セットに基づいて、上記左眼重畳情報と上記右眼重畳情報との間に視差を付与する
立体画像データ受信装置にある。
【００２２】
この発明において、受信部により、左眼画像データおよび右眼画像データを含むデータストリームを有する多重化データストリームが受信される。この多重化データストリームには、画像表示面の分割情報と立体画像データに対応した各割領域の奥行き情報とからなる奥行き情報セットを含むデスクリプタが挿入されている。例えば、このデスクリプタは、プログラム・マップ・テーブル、あるいはイベント・インフォメーション・テーブルの配下に挿入されている。
【００２３】
重畳情報データ出力部により、受信部で受信された多重化データストリームから取得された立体画像データに含まれる左眼画像データに対応した左眼重畳情報のデータ、およびこの立体画像データに含まれる右眼画像データに対応した右眼重畳情報のデータが出力される。そして、データ重畳部により、受信部で受信された多重化データストリームから所得された左眼画像データおよび右眼画像データに、重畳情報データ出力部から出力される左眼重畳情報のデータおよび右眼重畳情報のデータが重畳される。これにより、立体画像にＯＳＤ等のグラフィクス情報を重畳表示できる。
【００２４】
重畳情報データ出力部では、受信部で受信された多重化データストリームから取得された奥行き情報セットに基づいて、左眼重畳情報と右眼重畳情報との間に視差が付与される。そのため、この発明においては、例えばＯＳＤ等のグラフィクス情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。
【００２５】
なお、この発明において、例えば、重畳情報データ出力部は、奥行き情報セットに含まれる視差情報に基づいて左眼重畳情報と右眼重畳情報との間に視差を付与する際、受信部で新たなデスクリプタが受信されて視差情報の更新があるとき、この新たな視差情報に複数フレームをかけて到達するように、この複数フレームの間は補間処理で得られる視差情報を使用する、ようにされてもよい。これにより、視差付与に使用される視差情報の時間方向（フレーム方向の）変化をなだらかにでき、左眼および右眼のグラフィクス情報に付与する視差が急激に変化して視聴者に違和感を発生させることを抑制可能となる。
【００２６】
また、この発明において、例えば、多重化データストリームには、立体画像データの所定期間毎の開始時点に対応させてデスクリプタが挿入されており、各期間の開始時点に対応させて多重化データストリームに挿入されているデスクリプタには、当該期間より後の期間の奥行き情報セットが含まれており、重畳情報データ出力部は、各期間の左眼重畳情報と右眼重畳情報との間に視差を付与する際、当該期間および当該期間の前後の期間の奥行き情報セットに含まれる視差情報を用いた補間処理で得られる視差情報を使用する、ようにされてもよい。これにより、視差付与に使用される視差情報の時間方向（フレーム方向の）変化をなだらかにでき、つまり視差付与に使用される視差情報の更新カーブをスムーズにでき、左眼および右眼のグラフィクス情報に付与する視差が急激に変化して視聴者に違和感を発生させることを抑制可能となる。
【００２７】
この発明のさらに他の概念は、
左眼画像データおよび右眼画像データを有する立体画像データを含むデータストリームを有し、画像表示面の分割情報と上記立体画像データに対応した各分割領域の奥行き情報とからなる奥行き情報セットを含むデスクリプタが挿入された多重化データストリームを受信する受信部と、
上記受信部で受信された多重化データストリームから取得された、上記左眼画像データおよび上記右眼画像データと、上記奥行き情報セットとを、伝送路を介して、外部機器に送信する送信部と
を備える立体画像データ受信装置にある。
【００２８】
この発明においては、受信部により、左眼画像データおよび右眼画像データを含むデータストリームを有する多重化データストリームが受信される。この多重化データストリームには、画像表示面の分割情報と立体画像データに対応した各割領域の奥行き情報とからなる奥行き情報セットを含むデスクリプタが挿入されている。例えば、このデスクリプタは、プログラム・マップ・テーブル、あるいはイベント・インフォメーション・テーブルの配下に挿入されている。
【００２９】
送信部により、受信部で受信された多重化データストリームから取得された、左眼画像データおよび右眼画像データと、奥行き情報セットとが、伝送路を介して、外部機器に送信される。例えば、送信部では、画像データが、複数チャネルで、差動信号により、伝送路を介して、外部機器に送信され、奥行き情報セットが、画像データのブランキング期間に挿入されて、外部機器に送信される。
【００３０】
このように、この発明においては、立体画像データを構成する左眼画像データおよび右眼画像データと共に、この立体画像データに対応した奥行き情報セットが、伝送路を介して、外部機器に送信される。そのため、外部機器、例えばテレビ受信機等の画像表示装置において、奥行き情報セットを用いることで、左眼画像および右眼画像に重畳される重畳情報、例えばＯＳＤ等のグラフィクス情報として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができる。これにより、例えばＯＳＤ等のグラフィクス情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。
【発明の効果】
【００３１】
この発明によれば、立体画像表示の際の重畳情報、例えばＯＳＤ等のグラフィクス情報の表示において、画像内の各物体との間の遠近感の整合性の維持を容易に図ることができる。
【図面の簡単な説明】
【００３２】
【図１】この発明の実施の形態としての立体画像表示システムの構成例を示すブロック図である。
【図２】放送局における送信データ生成部の構成例を示すブロック図である。
【図３】１９２０×１０８０ｐのピクセルフォーマットの画像データを示す図である。
【図４】立体画像データ（３Ｄ画像データ）の伝送方式である「Top &Bottom」方式、「Side By Side」方式、「FrameSequential」方式を説明するための図である。
【図５】左眼画像に対する右眼画像の視差ベクトルを検出する例を説明するための図である。
【図６】視差ベクトルをブロックマッチング方式で求めることを説明するための図である。
【図７】画像表示面を対角線を用いて分割する分割タイプ１において４分割した場合におけるポジションマップ例を示す図である。
【図８】ＯＳＤグラフィクス情報を画像の端部分にシフトした形で重畳表示する場合を示す図である。
【図９】画像表示面を対角線を用いて分割する分割タイプ１において８分割した場合におけるポジションマップ例を示す図である。
【図１０】画像表示面を水平方向および垂直方向に等分割するタイプ２において４分割した場合におけるポジションマップ例を示す図である。
【図１１】ＯＳＤグラフィクス情報を画像の角部分にシフトした形で重畳表示する場合を示す図である。
【図１２】画像表示面を水平方向および垂直方向に等分割するタイプ２において９分割した場合におけるポジションマップ例を示す図である。
【図１３】画像表示面を対角線および長方形の辺を用いて分割する分割タイプ３において５分割した場合におけるポジションマップ例を示す図である。
【図１４】画像表示面を対角線により４分割する分割パターンにおける各分割領域の視差情報の代表の求め方を示す図である。
【図１５】ＯＳＤグラフィクス情報を画像の端部分にシフトした形で重畳表示する場合、その重畳表示位置に対応した分割領域の視差情報（代表）を用いて、左眼、右眼のＯＳＤグラフィクス情報に視差を付与できることを示す図である。
【図１６】ＰＭＴの配下、つまりＰＭＴ中のプログラム・デスクリプタ（ProgramDescriptor）にデスクリプタ（ｚ−Surface descriptor）が配置される多重化データストリームの構成例（case1）を示す図である。
【図１７】ＰＭＴの配下、つまりビデオ・エレメンタリ・ループ（Video ESloop）のデスクリプタ（descriptor）部分にデスクリプタ（ｚ−Surface descriptor）が配置される多重化データストリームの構成例（case2）を示す図である。
【図１８】ＥＩＴの配下にデスクリプタ（ｚ−Surface descriptor）が配置される多重化データストリームの構成例（case3）を示す図である。
【図１９】デスクリプタ（ｚ−Surface descriptor）をＰＭＴの配下に挿入し、番組期間中にデスクリプタを順次送信して奥行き情報をダイナミックに変化させる場合を示す図である。
【図２０】シーン検出とデスクリプタ送信の処理概要を説明するためのフローチャートである。
【図２１】各期間の開始時点で送信されるデスクリプタ（ｚ−Surface descriptor）に１つ後の期間の奥行き情報を含ませる場合における各デスクリプタの送信タイミングと、各デスクリプタに含まれる奥行き情報との関係を示す図である。
【図２２】デスクリプタ（ｚ−Surface descriptor）をＥＩＴの配下に挿入し、番組期間中において奥行き情報を固定とする場合を示す図である。
【図２３】デスクリプタ（ｚ−Surface descriptor）の構造例（Syntax）を示す図である。
【図２４】デスクリプタ（ｚ−Surface descriptor）の構造例における主要な情報の内容（Semantics）を示す図である。
【図２５】デスクリプタ（ｚ−Surface descriptor）の他の構造例（Syntax）を示す図である。
【図２６】セットトップボックスの構成例を示すブロック図である。
【図２７】ＯＳＤ表示データ発生部における視差情報の補間処理を説明するための図である。
【図２８】各期間の開始時点に対応して送られてくるデスクリプタ（ｚ−Surface descriptor）に１つ後の期間の奥行き情報が含まれている場合の補間処理例を説明するための図である。
【図２９】テレビ受信機の構成例を示すブロック図である。
【図３０】ＨＤＭＩ送信部（ＨＤＭＩソース）とＨＤＭＩ受信部（ＨＤＭＩシンク）の構成例を示すブロック図である。
【図３１】ＴＭＤＳ伝送データの構造例（横×縦が１９２０ピクセル×１０８０ラインの画像データが伝送される場合）を示す図である。
【図３２】ソース機器およびシンク機器のＨＤＭＩケーブルが接続されるＨＤＭＩ端子のピン配列（タイプＡ）を示す図である。
【図３３】奥行き情報セットの送信にＨＤＭＩ Vendor SpecificInfoFrame を利用する場合における、ＨＤＭＩ Vendor Specific InfoFrame のパケット構造例を示す図である。
【図３４】立体画像表示システムの他の構成例を示す図である。
【図３５】両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクトの左右像の表示位置と、その立体像の再生位置との関係を示す図である。
【発明を実施するための形態】
【００３３】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例
【００３４】
＜１．実施の形態＞
［立体画像表示システムの構成例］
図１は、実施の形態としての立体画像表示システム１０の構成例を示している。この立体画像表示システム１０は、放送局１００と、セットトップボックス（ＳＴＢ）２００と、テレビ受信機（ＴＶ）３００を有している。
【００３５】
セットトップボックス２００およびテレビ受信機３００は、ＨＤＭＩ(HighDefinition Multimedia Interface)ケーブル４００を介して接続されている。セットトップボックス２００には、ＨＤＭＩ端子２０２が設けられている。テレビ受信機３００には、ＨＤＭＩ端子３０２が設けられている。ＨＤＭＩケーブル４００の一端はセットトップボックス２００のＨＤＭＩ端子２０２に接続され、このＨＤＭＩケーブル４００の他端はテレビ受信機３００のＨＤＭＩ端子３０２に接続されている。
【００３６】
［放送局の説明］
放送局１００は、ビットストリームデータＢＳＤを、放送波に載せて送信する。放送局１００は、ビットストリームデータＢＳＤを生成する送信データ生成部１１０を備えている。このビットストリームデータＢＳＤには、立体画像データ、音声データ、奥行き情報セットなどが含まれる。ここで、立体画像データは、左眼画像データおよび右眼画像データを有する所定番組の立体画像データである。音声データは、この立体画像データに対応した音声データである。奥行き情報セットは、この立体画像データに対応したものであり、画像表示面の分割情報と各分割領域の奥行き情報を含んでいる。
【００３７】
「送信データ生成部の構成例」
図２は、放送局１００において送信データを生成する送信データ生成部１１０の構成例を示している。この送信データ生成部１１０は、カメラ１１１Ｌ，１１１Ｒと、ビデオフレーミング部１１２と、ディスパリティ・マップ生成部１１３と、マイクロホン１１４と、データ取り出し部１１５と、切換スイッチ１１６〜１１８を有している。また、この送信データ生成部１１０は、ビデオエンコーダ１１９と、オーディオエンコーダ１２０と、奥行き情報セット作成部１２２と、マルチプレクサ１２６を有している。
【００３８】
カメラ１１１Ｌは、左眼画像を撮影して立体画像表示のための左眼画像データを得る。カメラ１１１Ｒは、右眼画像を撮影して立体画像表示のための右眼画像データを得る。ビデオフレーミング部１１２は、カメラ１１１Ｌで得られた左眼画像データおよびカメラ１１１Ｒで得られた右眼画像データを、伝送フォーマットに応じた立体画像データ（３Ｄ画像データ）に加工処理する。このビデオフレーミング部１１２は、画像データ出力部を構成している。
【００３９】
立体画像データの伝送フォーマット例を説明する。ここでは、以下の第１〜第３の伝送フォーマットを挙げるが、これら以外の伝送フォーマットであってもよい。また、ここでは、図３に示すように、左眼（Ｌ）および右眼（Ｒ）の画像データが、それぞれ、決められた解像度、例えば、１９２０×１０８０のピクセルフォーマットの画像データである場合を例にとって説明する。
【００４０】
第１の伝送方式は、トップ・アンド・ボトム（Top & Bottom）方式で、図４（ａ）に示すように、垂直方向の前半では左眼画像データの各ラインのデータを伝送し、垂直方向の後半では左眼画像データの各ラインのデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データのラインが１／２に間引かれることから原信号に対して垂直解像度は半分となる。
【００４１】
第２の伝送方式は、サイド・バイ・サイド（Side By Side）方式で、図４（ｂ）に示すように、水平方向の前半では左眼画像データのピクセルデータを伝送し、水平方向の後半では右眼画像データのピクセルデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが１／２に間引かれる。原信号に対して、水平解像度は半分となる。
【００４２】
第３の伝送方式は、フレーム・シーケンシャル（FrameSequential）方式で、図４（ｃ）に示すように、左眼画像データと右眼画像データとをフレーム毎に順次切換えて伝送する方式である。なお、このフレーム・シーケンシャル方式は、フル・フレーム（Full Frame）方式、あるいはバックワード・コンパチブル（BackwardCompatible）方式と称される場合もある。
【００４３】
図２に戻って、ディスパリティ・マップ生成部１１３は、左眼画像データおよび右眼画像データに基づき、例えば、画像を構成するピクセル毎の視差情報（視差ベクトル)を検出して、ディスパリティ・マップを作成する。視差情報は、符号情報と絶対値情報とから構成される。例えば、モニタポジションより手前に知覚されるピクセル（画素）の視差情報の符号は負となり、モニタポジションより奥に知覚されるピクセルの視差情報の符号は正となる。また、モニタポジションより遠くに知覚されるピクセルほど、視差情報の絶対値は大きくなる。
【００４４】
視差ベクトルの検出例について説明する。ここでは、左眼画像に対する右眼画像の視差ベクトルを検出する例について説明する。図５に示すように、左眼画像を検出画像とし、右眼画像を参照画像とする。この例では、（xi,yi）および（xj,yj）の位置における視差ベクトルが検出される。
【００４５】
（xi,yi）の位置における視差ベクトルを検出する場合を例にとって説明する。この場合、左眼画像に、（xi,yi）の位置の画素を左上とする、例えば４×４、８×８、あるいは１６×１６の画素ブロック（視差検出ブロック）Ｂｉが設定される。そして、右眼画像において、画素ブロックＢｉとマッチングする画素ブロックが探索される。
【００４６】
この場合、右眼画像に、（xi,yi）の位置を中心とする探索範囲が設定され、その探索範囲内の各画素を順次注目画素として、上述の画素ブロックＢｉと同様の例えば４×４、８×８、あるいは１６×１６の比較ブロックが順次設定されていく。
【００４７】
画素ブロックＢｉと順次設定される比較ブロックとの間で、対応する画素毎の差分絶対値の総和が求められる。ここで、図６に示すように、画素ブロックＢｉの画素値をＬ(x,y)とし、比較ブロックの画素値をＲ(x,y)とするとき、画素ブロックＢｉと、ある比較ブロックとの間における差分絶対値の総和は、Σ｜Ｌ(x,y)−Ｒ(x,y)｜で表される。
【００４８】
右眼画像に設定される探索範囲にｎ個の画素が含まれているとき、最終的にｎ個の総和Ｓ１〜Ｓｎが求められ、その中で最小の総和Ｓminが選択される。そして、この総和Ｓminが得られた比較ブロックから左上の画素の位置が（xi′,yi′）が得られる。これにより、（xi,yi）の位置における視差ベクトルは、（xi′−xi，yi′−yi）のように検出される。詳細説明は省略するが、（xj,yj）の位置における視差ベクトルについても、左眼画像に、（xj,yj）の位置の画素を左上とする、例えば４×４、８×８、あるいは１６×１６の画素ブロックＢｊが設定されて、同様の処理過程で検出される。
【００４９】
マイクロホン１１４は、カメラ１１１Ｌ，１１１Ｒで撮影された画像に対応した音声を検出して、音声データを得る。
【００５０】
データ取り出し部１１５は、データ記録媒体１１５ａを着脱自在に装着した状態で使用される。このデータ記録媒体１１５ａは、ディスク状記録媒体、半導体メモリ等である。このデータ記録媒体１１５ａには、左眼画像データおよび右眼画像データを含む立体画像データと共に、音声データ、ディスパリティ・マップが対応付けて記録されている。データ取り出し部１１５は、データ記録媒体１１５ａから、立体画像データ、音声データおよびディスパリティ・マップを取り出して出力する。このデータ取り出し部１１５は、画像データ出力部を構成している。
【００５１】
ここで、データ記録媒体１１５ａに記録されている立体画像データは、ビデオフレーミング部１１２で得られる立体画像データに相当するものである。また、データ記録媒体１１５ａに記録されている音声データは、マイクロホン１１４で得られる音声データに相当するものである。また、データ記録媒体１１５ａに記録されているディスパリティ・マップは、ディスパリティ・マップ生成部１１３で生成される視差ベクトルに相当するものである。
【００５２】
切り換えスイッチ１１６は、ビデオフレーミング部１１２で得られた立体画像データまたはデータ取り出し部１１５から出力された立体画像データを選択的に取り出す。この場合、切り換えスイッチ１１６は、ライブモードでは、ａ側に接続され、ビデオフレーミング部１１２で得られた立体画像データを取り出し、再生モードでは、ｂ側に接続され、データ取り出し部１１５から出力された立体画像データを取り出す。
【００５３】
切り換えスイッチ１１７は、ディスパリティ・マップ生成部１１３で生成されたディスパリティ・マップまたはデータ取り出し部１１５から出力されたディスパリティ・マップを選択的に取り出す。この場合、切り換えスイッチ１１７は、ライブモードでは、ａ側に接続され、ディスパリティ・マップ生成部１１３で生成されたディスパリティ・マップを取り出し、再生モードでは、ｂ側に接続され、データ取り出し部１１５から出力されたディスパリティ・マップを取り出す。
【００５４】
切り換えスイッチ１１８は、マイクロホン１１４で得られた音声データまたはデータ取り出し部１１５から出力された音声データを選択的に取り出す。この場合、切り換えスイッチ１１８は、ライブモードでは、ａ側に接続され、マイクロホン１１４で得られた音声データを取り出し、再生モードでは、ｂ側に接続され、データ取り出し部１１５から出力された音声データを取り出す。
【００５５】
ビデオエンコーダ１１９は、切り換えスイッチ１１６で取り出された立体画像データに対して、ＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化を施し、ビデオデータストリーム（ビデオエレメンタリストリーム）を生成する。オーディオエンコーダ１２０は、切り換えスイッチ１１８で取り出された音声データに対して、ＡＣ３、ＡＡＣ等の符号化を施し、オーディオデータストリーム（オーディオエレメンタリストリーム）を生成する。
【００５６】
奥行き情報セット作成部１２２は、切り換えスイッチ１１７で取り出されたディスパリティ・マップに基づいて、切り換えスイッチ１１６から出力される所定番組の立体画像データに対応した奥行き情報セットを作成する。この奥行き情報セットは、画像表示面の分割情報と各分割領域の奥行き情報を含むものとされる。
【００５７】
画像表示面の分割情報について説明する。この分割情報は、分割タイプを示す情報と、分割数を示す情報とからなる。例えば、分割タイプには、画像表示面を対角線を用いて分割する分割タイプ、画像表示面を水平方向線および／または垂直方向線を用いて分割する分割タイプなどがある。分割タイプおよび分割数が決まることで、画像表示面の分割パターンが一意に決まる。この分割タイプおよび分割数は、ユーザにより設定可能とされている。
【００５８】
図７は、画像表示面を対角線を用いて分割する分割タイプ１において４分割した場合におけるポジションマップ例を示している。この例では、画像表示面が、対角線を用いて４分割されており、上側の分割領域が「0000」で表され、右側の分割領域が「0001」で表され、下側の分割領域が「0010」で表され、左側の分割領域が「0011」で表されている。
【００５９】
この図７の分割例は、例えば、図８に示すように、ＯＳＤグラフィクス情報を画像の端部分にシフトした形で重畳表示する場合に、その重畳表示位置に対応した奥行き情報を送信できることから好適なものとなる。図９は、画像表示面を対角線を用いて分割する分割タイプ１において８分割した場合におけるポジションマップ例を示している。この例では、画像表示面が、対角線および長方形の辺を用いて８分割されており、各分割領域が「0000」〜「0111」で表されている。
【００６０】
図１０は、画像表示面を水平方向および垂直方向に等分割するタイプ２において４分割した場合におけるポジションマップ例を示している。この例では、画像表示面が、垂直方向線および水平方向線で４分割されており、右上側の分割領域が「0000」で表され、右下側の分割領域が「0001」で表され、左下側の分割領域が「0010」で表され、左上側の分割領域が「0011」で表されている。
【００６１】
この図１０の分割例は、例えば、図１１に示すように、ＯＳＤグラフィクス情報を画像の角部分にシフトした形で重畳表示する場合に、その重畳表示位置に対応した奥行き情報を送信できることから好適なものとなる。図１２は、画像表示面を水平方向および垂直方向に等分割するタイプ２において９分割した場合におけるポジションマップ例を示している。この例では、画像表示面が、垂直方向線および水平方向線で９分割されており、各分割領域が「0000」〜「1000」で表される。
【００６２】
図１３は、画像表示面を対角線および長方形の辺を用いて分割する分割タイプ３において５分割した場合におけるポジションマップ例を示している。この例では、画像表示面が、対角線および長方形の辺を用いて５分割されており、上側の分割領域が「0000」で表され、右側の分割領域が「0001」で表され、下側の分割領域が「0010」で表され、左側の分割領域が「0011」で表され、中央の分割領域が「0100」で表されている。この図１３の分割例は、ＯＳＤグラフィクス情報を、画像の端部分にシフトした形で、あるいは画像の中央部分に重畳表示する場合に、その重畳表示位置に対応した奥行き情報を送信できることから好適なものとなる。
【００６３】
次に、各分割領域の奥行き情報について説明する。この奥行き情報には、画像面情報が含まれる。この画像面情報は、モニタポジションに対して、立体画像面が手前にあるか否かを示す情報である。この立体画像面は、対応する領域の画像内の、遠近感でいうところの最も近い物体の面を意味している。この実施の形態において、この画像面情報は、立体画像面に対応した視差情報（視差ベクトル）を構成する符号情報とされる。この場合、符号情報は、モニタポジションに対して立体画像面が手前にあるときは、「負」を示すものとされる。
【００６４】
また、この奥行き情報には、上述の画像面情報の他に、視差情報が含まれることもある。この視差情報として、例えば、対応する領域の画像を構成する各ピクセル（画素）の視差情報（視差ベクトル）のうち、遠近感でいうところの最も手前に知覚されるピクセルの視差情報が代表として使用される。この場合、「負」の視差情報があるときは、その中で最も絶対値の大きな視差情報とされる。また、この場合、「負」の視差情報がないときは、最も絶対値の小さな視差情報とされる。このように、視差情報が含まれる場合にあって、上述したように画像面情報が視差情報を構成する符号情報とされるときには、視差情報を構成する絶対値情報をさらに含めるだけで済む。
【００６５】
各分割領域における視差情報の代表は、例えば、分割領域内において、画素毎、あるいは所定の大きさのブロック毎の視差情報を表示スキャン順に比較していくことで求めることができる。図１４は、上述したように、画像表示面を対角線により４分割する分割パターンにおける各分割領域の視差情報の代表の求め方を示している。この場合、各分割領域では、視差情報の代表として、「Disparity_00」、「Disparity_01」、「Disparity_10」、「Disparity_11」が求められる。
【００６６】
画像表示面を対角線により４分割する分割パターンにおいて、各分割領域の画像面情報だけでなく視差情報をも送信する場合、例えば、上述したように求められた各分割領域の視差情報の代表が使用される。その場合、図１５に示すように、ＯＳＤグラフィクス情報を画像の端部分にシフトした形で重畳表示する場合、その重畳表示位置に対応した分割領域の視差情報（代表）を用いて、左眼、右眼のＯＳＤグラフィクス情報に視差を付与することが可能となる。
【００６７】
奥行き情報セットには、分割領域毎に、あるいは各分割領域共通に、視差情報の存在を示すフラグ情報が挿入される。奥行き情報として、画像面情報の他に視差情報が含まれることで、受信側において、立体画像面の位置がモニタポジションに対して手前にあるか否かだけでなく、その位置をより詳細に把握可能となる。また、フラグ情報が挿入されていることにより、奥行き情報として、画像面情報のみ、あるいは画面情報および視差情報の双方を、選択的に送信することが可能となる。
【００６８】
受信側において画像にＯＳＤグラフィクス情報を重畳する場合、左右のＯＳＤグラフィクス情報に視差を付与しなければならないのは、立体画像面がモニタポジションより手前にある場合である。その場合、左右のＯＳＤグラフィクス情報に視差を付与して、このＯＳＤグラフィクス情報が立体画像面より手前に知覚されるようにする必要がある。ただ、左右のＯＳＤグラフィクス情報にどの程度の視差を付与するかは受信側で任意に設定可能であり、従って、画像面情報のみを送信することにも充分意義がある。
【００６９】
マルチプレクサ１２６は、ビデオエンコーダ１１９およびオーディオエンコーダ１２０からの各データストリームを多重化し、ビットストリームデータ（トランスポートストリーム）ＢＳＤとしての多重化データストリームを得る。また、マルチプレクサ１２６は、このビットストリームデータＢＳＤに、奥行き情報セット作成部１２２で作成された奥行き情報セットを挿入する。具体的には、マルチプレクサ１２６は、ビットストリームデータＢＳＤに挿入されるＰＳＩ情報またはＳＩ情報の所定位置に、奥行き情報セットを含むデスクリプタ（ｚ−Surface descriptor）を挿入する。このデスクリプタの詳細については、後述する。
【００７０】
図２に示す送信データ生成部１１０の動作を簡単に説明する。カメラ１１１Ｌでは、左眼画像が撮影される。このカメラ１１１Ｌで得られる立体画像表示のための左眼画像データはビデオフレーミング部１１２に供給される。また、カメラ１１１Ｒでは、右眼画像が撮影される。このカメラ１１１Ｒで得られる立体画像表示のための右眼画像データはビデオフレーミング部１１２に供給される。ビデオフレーミング部１１２では、左眼画像データおよび右眼画像データが、伝送フォーマットに応じた状態に加工処理されて、立体画像データが得られる（図４（ａ）〜（ｃ）参照）。
【００７１】
ビデオフレーミング部１１２で得られた立体画像データは、切り換えスイッチ１１６のａ側の固定端子に供給される。また、データ取り出し部１１５で得られた立体画像データは、切り換えスイッチ１１６のｂ側の固定端子に供給される。ライブモードでは、切り換えスイッチ１１６はａ側に接続され、この切り換えスイッチ１１６からはビデオフレーミング部１１２で得られた立体画像データが取り出される。再生モードでは、切り換えスイッチ１１６はｂ側に接続され、この切り換えスイッチ１１６からはデータ取り出し部１１５から出力された立体画像データが取り出される。
【００７２】
切り換えスイッチ１１６で取り出された立体画像データは、ビデオエンコーダ１１９に供給される。このビデオエンコーダ１１９では、その立体画像データに対してＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化が施され、符号化ビデオデータを含むビデオデータストリームが生成される。このビデオデータストリームはマルチプレクサ１２６に供給される。
【００７３】
マイクロホン１１４で得られた音声データは、切り換えスイッチ１１８のａ側の固定端子に供給される。また、データ取り出し部１１５で得られた音声データは、切り換えスイッチ１１８のｂ側の固定端子に供給される。ライブモードでは、切り換えスイッチ１１８はａ側に接続され、この切り換えスイッチ１１８からはマイクロホン１１４で得られた音声データが取り出される。再生モードでは、切り換えスイッチ１１８はｂ側に接続され、この切り換えスイッチ１１８からはデータ取り出し部１１５から出力された音声データが取り出される。
【００７４】
切り換えスイッチ１１８で取り出された音声データはオーディオエンコーダ１２０に供給される。このオーディオエンコーダ１２０では、音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ、あるいは、ＭＰＥＧ−４ ＡＡＣ等の符号化が施され、符号化オーディオデータを含むオーディオデータストリームが生成される。このオーディオデータストリームはマルチプレクサ１２６に供給される。
【００７５】
カメラ１１１Ｌ，１１１Ｒで得られた左眼画像データ、右眼画像データは、ビデオフレーミング部１１２を通じて、ディスパリティ・マップ生成部１１３に供給される。このディスパリティ・マップ生成部１１３では、左眼画像データおよび右眼画像データに基づき、ピクセル（画素）毎の視差ベクトルが検出され、ディスパリティ・マップが生成される。このディスパリティ・マップは、切換スイッチ１１７のａ側の固定端子に供給される。また、データ取り出し部１１５から出力されたディスパリティ・マップは、切り換えスイッチ１１７のｂ側の固定端子に供給される。
【００７６】
ライブモードでは、切り換えスイッチ１１７はａ側に接続され、この切り換えスイッチ１１７からはディスパリティ・マップ生成部１１３で生成されたディスパリティ・マップが取り出される。再生モードでは、切り換えスイッチ１１７はｂ側に接続され、この切り換えスイッチ１１７からはデータ取り出し部１１５から出力されたディスパリティ・マップが取り出される。
【００７７】
切り換えスイッチ１１７で取り出されたディスパリティ・マップは、奥行き情報セット作成部１２２に供給される。この奥行き情報セット作成部１２２では、ディスパリティ・マップに基づいて、切り換えスイッチ１１６から出力される所定番組の立体画像データに対応した奥行き情報セットが作成される。この奥行き情報セットには、画像表示面の分割情報と各分割領域の奥行き情報が含まれている。この奥行き情報セットは、マルチプレクサ１２６に供給される。
【００７８】
マルチプレクサ１２６では、ビデオエンコーダ１１９およびオーディオエンコーダ１２０からの各データストリームが多重化され、ビットストリームデータ（トランスポートストリーム）ＢＳＤとしての多重化データストリームが得られる。
【００７９】
また、このマルチプレクサ１２６では、このビットストリームデータＢＳＤに、奥行き情報セット作成部１２２で作成された奥行き情報セットが挿入される。すなわち、このマルチプレクサ１２６では、ビットストリームデータＢＳＤに挿入されるＰＳＩ情報またはＳＩ情報の所定位置に、奥行き情報セットを含むデスクリプタ（ｚ−Surface descriptor）が挿入される。
【００８０】
［多重化データストリームの構成例］
図１６〜図１８は、多重化データストリーム（トランスポートストリーム）の構成例を示している。この多重化データストリームには、各エレメンタリストリームをパケット化して得られたＰＥＳパケットが含まれている。この構成例では、ビデオエレメンタリストリームのＰＥＳパケット「Video PES」、オーディオエレメンタリストリームのＰＥＳパケット「AudioPES」が含まれている。
【００８１】
また、トランスポートストリームには、ＰＳＩ（Program SpecificInformation）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記載した情報である。また、トランスポートストリームには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(EventInformation Table)が含まれている。このＥＩＴには、番組単位のメタデータが記載される。
【００８２】
ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・デスクリプタ（ProgramDescriptor）が存在する。また、このＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ、オーディオエレメンタリ・ループが存在する。各エレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）等の情報が配置されると共に、図示していないが、そのエレメンタリストリームに関連する情報を記述する記述子（デスクリプタ）も配置される。
【００８３】
図１６、図１７に示す多重化データストリームの構成例は、奥行き情報セットを含むデスクリプタ（ｚ−Surface descriptor）を、ＰＭＴの配下に挿入する例である。すなわち、図１６に示す多重化データストリームの構成例（case1）では、ＰＭＴ中のプログラム・デスクリプタ（Program Descriptor）に、デスクリプタ（ｚ−Surfacedescriptor）が配置されている。また、図１７に示す多重化データストリームの構成例（case2）では、ビデオ・エレメンタリ・ループ（Video ES loop）のデスクリプタ（descriptor）部分に、デスクリプタ（ｚ−Surface descriptor）が配置されている。また、図１８に示す多重化データストリームの構成例（case3）は、奥行き情報セットを含むデスクリプタ（ｚ−Surface descriptor）を、ＥＩＴの配下に挿入する例である。
【００８４】
奥行き情報セットを含むデスクリプタ（ｚ−Surface descriptor）をＰＭＴの配下に挿入する場合、図１９に示すように、番組期間中の所定タイミングでデスクリプタを送ることができ、番組期間中において、奥行き情報をダイナミックに変化させることが可能となる。図１９に示す例では、番組期間中において、奥行き情報ａ、奥行き情報ｂ、奥行き情報ｃの順にダイナミックに変えられている。この奥行き情報の更新期間は、例えば、１００ｍsec、あるいは１００ｍｓｅｃより長い期間とされる。
【００８５】
デスクリプタを送信するタイミングとしては、例えば、シーン変化点が考えられる。その場合、番組期間中の先頭タイミングでデスクリプタを送信し、その後は、シーン変化点毎にデスクリプタを送信して、奥行き情報の更新が図られる。図２０は、シーン検出とデスクリプタ送信の処理概要を示している。
【００８６】
この場合、現在フレームに含まれる全てのブロックについて、１フレーム前の画像データと比較されて動きベクトルが検出される。そして、現在フレームと１フレーム前のフレームとの間で、相関度の検査値として、ブロック毎の動きベクトル（大きさ）の差分値の総和Σ（mv((t-1)-mv(t))が算出される。同様に、１フレーム前のフレームと２フレーム前のフレームとの間で、相関度の検査値として、ブロック毎の動きベクトル（大きさ）の差分値の総和Σ（mv((t-2)-mv(t-1))が算出される。
【００８７】
１フレーム前のフレームと２フレーム前のフレームの間の動きベクトルの相関が高く、かつ、現在フレームと１フレーム前のフレームとの間の動きベクトルの相関が小さいとき、シーン変化があったと判断される。つまり、「Σ（mv((t-2)-mv(t-1))＜threshold2）」を満たし、かつ「Σ（mv((t-1)-mv(t))＜threshold1）を満たさないとき、シーン変化があったと判断される。このようにシーン変化があったと判断されたとき、デスクリプタの送信が行われる。このデスクリプタには、シーン変化後の画像（現在フレームの画像）に対応した奥行き情報が含まれることとなる。なお、シーン検出方法は、上述例に限定されないことは勿論である。
【００８８】
上述したように、番組期間中において、所定期間毎の奥行き情報を含むデスクリプタを送ることができる、その場合、図１９に示すように、各期間の開始時点に対応させてデスクリプタ（ｚ−Surface descriptor）が送信される。この場合、デスクリプタに、当該期間の奥行き情報を含ませることの他に、当該期間より後の期間、例えば１つ後の期間の奥行き情報を、いわゆる先出し情報として含ませることも考えられる。
【００８９】
図２１は、その場合における各デスクリプタ（ｚ−Surface descriptor）の送信タイミングと、各デスクリプタに含まれる奥行き情報との関係を示している。例えば、期間Ａの開始時点で送信されるデスクリプタ（ｚ−Surface descriptor）には、期間Ｂの奥行き情報ｂが含まれる。また、期間Ｂの開始時点で送信されるデスクリプタ（ｚ−Surface descriptor）には、期間Ｃの奥行き情報ｃが含まれる。以下の各期間の開始時点で送信されるデスクリプタ（ｚ−Surface descriptor）においても同様であり、そのデスクリプタには、次に期間の奥行き情報が含まれる。
【００９０】
このように各期間の開始時点で送信されるデスクリプタ（ｚ−Surface descriptor）に、その後の期間、例えば１つ後の期間の奥行き情報を先出し情報として含ませることで、受信側において時間方向変化がなだらかな視差情報を得ることが可能となる。すなわち、受信側において、各期間の左眼重畳情報と右眼重畳情報との間に視差を付与する際に使用する視差情報として、当該期間および当該期間の前後の期間の奥行き情報セットに含まれる視差情報を用いた補間処理を行うことが可能となる。そして、これにより、時間方向（フレーム方向の）変化がなだらかな、つまり更新カーブがスムーズとなる視差情報を得ることが可能となる。
【００９１】
なお、図２１において、破線Ｓ１は送信される立体画像データにおける視差情報カーブ（Videodisparity curve）の一例を示し、実線Ｓ２は、各期間に対応して更新される視差情報（Disparityupdate）の一例を示している。また、この図２１において、破線Ｓ３は、受信側において、補間処理で得られる視差情報カーブ（Receiverinterpolation curve）の一例を示している。
【００９２】
この場合、受信側においては、例えば以下のような補間処理が行われる。すなわち、各期間の前半では、前の期間の視差情報と当該期間の視差情報との混合比率が当該期間の方が順次高くされていくことで、各時点の補間視差情報が得られる。また、各期間の後半では、当該期間の視差情報と後の期間の視差情報との混合比率が後の期間の方が順次高くされていくことで、各時点の補間視差情報が得られる。
【００９３】
また、奥行き情報セットを含むデスクリプタ（ｚ−Surface descriptor）をＥＩＴの配下に挿入する場合、図２２に示すように、番組の最初にデスクリプタ送信でき、番組期間中において、奥行き情報は固定となる。
【００９４】
［デスクリプタ（ｚ−Surface descriptor）の構造例］
図２３は、デスクリプタ（ｚ−Surface descriptor）の構造例（Syntax）を示している。図２４は、図２３に示す構造例における主要な情報の内容（Semantics）を示している。「descriptor_tag」の８ビットフィールドは、デスクリプタ（記述子）のタイプを示し、ここでは、デスクリプタ（ｚ−Surface descriptor）であることを示す。「descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示す８ビットのデータである。このデータは、デスクリプタの長さとして、「descriptor _length」以降のバイト数を示す。
【００９５】
「display_partition_type」の２ビットフィールドは、画像表示面の分割タイプを示す（図７〜図１３参照）。「number_of_partition」の４ビットフィールドは、画像表示面の分割数を示す。ここで、“0000”は画像表示面が分割されていないこと、つまり、分割数＝１を示す。この場合には、デスクリプタ（ｚ−Surface descriptor）には、画像表示面の全体に対する、単一の奥行き情報が含まれる。画像表示面の分割数分だけ、以降のforループが繰り返される。
【００９６】
「z_depth_negative 」の１ビットフィールドは、画像面情報を示す。この画像面情報は、上述したように、モニタポジションに対して立体画像面（対応する分割領域の画像内の、遠近感でいうところの最も近い物体の面）が負（手前）にあるか否かを示す。“１”は、立体画像面がモニタポジションに対して負（手前）にあることを示す。“１”は、立体画像面がモニタポジションと同じか、モニタポジションに対して正（奥）にあることを示す。
【００９７】
なお、この実施の形態においては、上述したように、「z_depth_negative 」の１ビットフィールドとして、視差情報を構成する符号情報が用いられる。この場合の視差情報は、対応する領域の画像を構成する各ピクセル（画素）の視差情報（視差ベクトル）のうち、遠近感でいうところの最も手前に知覚されるピクセルの視差情報であり、立体画像面を構成するピクセルの視差情報である。
【００９８】
「disparity_value_flag」は、上述の画像面情報の他に、視差情報が存在するか否かを示す１ビットのフラグ情報である。この場合の視差情報は、例えば、上述した立体画像面を構成するピクセルの視差情報である。“１”は視差情報が存在することを示し、“０”は視差情報が存在しないことを示す。このフラグ情報が“１”であるとき、「absolute_disparity_value」の８ビットフィールドが存在する。この「absolute_disparity_value」は、視差情報を構成する絶対値情報を示す。この絶対値情報と上述の画像面情報としての符号情報により、視差情報が構成される。
【００９９】
図２５は、デスクリプタ（ｚ−Surface descriptor）の他の構造例（Syntax）を示している。この構造例において、「disparity_value_flag」は各分割領域で共通とされ、forループの外側に配置されている。forループの中には、「z_depth_negative 」の１ビットフィールドが存在する。また、このforループの中には、「disparity_value_flag」が“１”で視差情報の存在を示すとき「absolute_disparity_value」の７ビットフィールドが存在し、その他のとき７ビットの「reserved」が存在する。
【０１００】
このように、図２５に示すデスクリプタ（ｚ−Surface descriptor）の構造例では、forループ中のバイトアライン（Byte Align）が確保されている。つまり、この図２５に示すデスクリプタの構造例では、forループ中に、バイトアライン（Byte Align）を確保するための「bit_stuffing」は不要となる。
【０１０１】
図２に示す送信データ生成部１１０において、マルチプレクサ１２６から出力されるビットストリームデータＢＳＤには、左眼画像データおよび右眼画像データを有する所定番組の立体画像データと共に、所定番組の立体画像データに対応した奥行き情報セットが含まれている。そのため、受信側において、この奥行き情報セットを用いることで、左眼画像および右眼画像に重畳される重畳情報、例えばＯＳＤ等のグラフィクス情報として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができる。これにより、例えばＯＳＤ等のグラフィクス情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。
【０１０２】
また、図２に示す送信データ生成部１１０において、奥行き情報セットは、画像表示面の分割情報と各分割領域の奥行き情報を含むものであって、立体画像データを含むデータストリームを有するビットストリームデータ（多重化データストリーム）ＢＳＤに挿入されるデスクリプタに含まれて送信される。つまり、奥行き情報セットを、デスクリプタを用いて、受信側に簡単に送信できる。
【０１０３】
［セットトップボックスの説明］
図１に戻って、セットトップボックス２００は、放送局１００から放送波にのせて送信されてくるビットストリームデータ（トランスポートストリーム）ＢＳＤを受信する。このビットストリームデータＢＳＤには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データ、奥行き情報セットが含まれる。
【０１０４】
セットトップボックス２００は、ビットストリーム処理部２０１を有している。このビットストリーム処理部２０１は、ビットストリームデータから、立体画像データ、音声データ、奥行き情報セット等を抽出する。このビットストリーム処理部２０１は、適宜、ＯＳＤ等のグラフィクス情報が重畳された左眼画像および右眼画像のデータを生成する。この場合、奥行き情報セットに基づいて、左眼画像に重畳する左眼グラフィクス情報と右眼画像に重畳する右眼グラフィクス情報との間には視差が付与される。このように左眼グラフィクス情報と右眼グラフィクスとの間に視差が付与されることで、ユーザは、立体画像に重畳されるＯＳＤ等のグラフィクス情報を、例えば、画像の手前に認識可能となる。
【０１０５】
［セットトップボックスの構成例］
セットトップボックス２００の構成例を説明する。図２６は、セットトップボックス２００の構成例を示している。このセットトップボックス２００は、ビットストリーム処理部２０１と、ＨＤＭＩ端子２０２と、アンテナ端子２０３と、デジタルチューナ２０４と、映像処理回路２０５と、ＨＤＭＩ送信部２０６と、音声処理回路２０７を有している。また、このセットトップボックス２００は、ＣＰＵ２１１と、フラッシュＲＯＭ２１２と、ＤＲＡＭ２１３と、内部バス２１４と、リモコン受信部２１５と、リモコン送信機２１６を有している。
【０１０６】
アンテナ端子２０３は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２０４は、アンテナ端子２０３に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤを出力する。
【０１０７】
ビットストリーム処理部２０１は、上述したように、ビットストリームデータＢＳＤから立体画像データ、音声データ等を抽出して出力する。このビットストリーム処理部２０１は、立体画像データに対して、適宜、ＯＳＤ等のグラフィクス情報の表示データを合成する。その際、ビットストリーム処理部２０１は、奥行き情報セットに基づいて、適宜、左眼画像に重畳する左眼グラフィクス情報と右眼画像に重畳する右眼グラフィクス情報との間に視差を付与する。
【０１０８】
映像処理回路２０５は、ビットストリーム処理部２０１から出力される立体画像データに対して必要に応じて画質調整処理などを行い、処理後の立体画像データをＨＤＭＩ送信部２０６に供給する。音声処理回路２０７は、ビットストリーム処理部２０１から出力された音声データに対して必要に応じて音質調整処理等を行い、処理後の音声データをＨＤＭＩ送信部２０６に供給する。
【０１０９】
ＨＤＭＩ送信部２０６は、ＨＤＭＩに準拠した通信により、例えば、非圧縮の画像データおよび音声データを、ＨＤＭＩ端子２０２から送出する。この場合、ＨＤＭＩのＴＭＤＳチャネルで送信するため、画像データおよび音声データはパッキングされ、ＨＤＭＩ送信部２０６からＨＤＭＩ端子２０２に出力される。また、このＨＤＭＩ送信部２０６は、上述の奥行き情報セットを、ＨＤＭＩインタフェースで、テレビ受信機３００に送信する。このＨＤＭＩ送信部２０６の詳細は後述する。
【０１１０】
ＣＰＵ２１１は、セットトップボックス２００の各部の動作を制御する。フラッシュＲＯＭ２１２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２１３は、ＣＰＵ２１１のワークエリアを構成する。ＣＰＵ２１１は、フラッシュＲＯＭ２１２から読み出したソフトウェアやデータをＤＲＡＭ２１３上に展開してソフトウェアを起動させ、セットトップボックス２００の各部を制御する。
【０１１１】
リモコン受信部２１５は、リモコン送信機２１６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ２１１に供給する。ＣＰＵ２１１は、このリモコンコードに基づいて、セットトップボックス２００の各部を制御する。ＣＰＵ２１１、フラッシュＲＯＭ２１２およびＤＲＡＭ２１３は内部バス２１４に接続されている。
【０１１２】
ビットストリーム処理部２０１について説明する。このビットストリーム処理部２０１は、デマルチプレクサ２２０と、ビデオデコーダ２２１と、オーディオデコーダ２２４と、ＯＳＤ表示データ発生部２２６と、ビデオ重畳部２２８を有している。デマルチプレクサ２２０は、ビットストリームデータＢＳＤから、ビデオ、オーディオのパケットを抽出し、各デコーダに送る。また、デマルチプレクサ２２０は、ビットストリームデータＢＳＤから、奥行き情報セットを抽出し、ＯＳＤ表示データ発生部２２６と、上述したＨＤＭＩ送信部２０６に送る。
【０１１３】
ビデオデコーダ２２１は、デマルチプレクサ２２０で抽出されたビデオのパケットからビデオのエレメンタリストリームを再構成し、復号化処理を行って、左眼画像データおよび右眼画像データを含む立体画像データを得る。オーディオデコーダ２２４は、デマルチプレクサ２２０で抽出されたオーディオのパケットからオーディオのエレメンタリストリームを再構成し、復号化処理を行って、音声データを得て、ビットストリーム処理部２０１の外部に出力する。
【０１１４】
ＯＳＤ表示データ発生部２２６は、立体画像データに含まれる左眼画像データに対応した左眼グラフィクス情報のデータおよび立体画像データに含まれる右眼画像データに対応した右眼グラフィクス情報のデータを発生する。この場合、ＯＳＤ表示データ発生部２２６は、デマルチプレクサ２２０で抽出された奥行き情報セットに含まれる画像面情報、あるいは画像面情報および視差情報に基づいて、左眼グラフィクス情報と右眼グラフィクス情報との間に、適宜、視差を付与する。
【０１１５】
例えば、画像面情報に基づいて、立体画像面がモニタポジションに対して手前に位置する場合には、グラフィクス情報が立体画像面より手前に知覚されるように、予め決められた所定の視差が付与される。また、例えば、画像面情報に基づいて、立体画像面がモニタポジションと同じ位置か、あるいはそれより奥に位置する場合には、視差は付与されない。また、例えば、視差情報に基づいて、グラフィクス情報が立体画像面より手前に知覚されるように視差が付与される。
【０１１６】
ここで、奥行き情報セットを含むデスクリプタ（ｚ−Surface descriptor）がＰＭＴの配下に挿入される場合にあっては、番組期間中において各分割領域の奥行き情報の更新が可能となる（図１９参照）。ＯＳＤ表示データ発生部２２６は、このように更新される奥行き情報、例えば視差情報を用いることで、左眼および右眼のグラフィクス情報に付与する視差を動的に変化させることができる。
【０１１７】
この場合、ＯＳＤ表示データ発生部２２６は、あるデスクリプタ（ｚ−Surfacedescriptor）に含まれる視差情報を次にデスクリプタ（ｚ−Surface descriptor）が送信されてくるまでの各フレームで使用するということを、繰り返すことも可能である。しかし、その場合、デスクリプタが送信されてきて視差情報が更新される時点で、左眼および右眼のグラフィクス情報に付与する視差が急激に変化して視聴者に違和感を発生させるおそれがある。
【０１１８】
そこで、この実施の形態において、ＯＳＤ表示データ発生部２２６は、図２７に示すように、次のデスクリプタ（ｚ−Surface descriptor）が送られてきた場合、そのデスクリプタに含まれる視差情報を直ちに用いることをしない。つまり、ＯＳＤ表示データ発生部２２６は、新たな視差情報に複数フレームをかけて到達するように、この複数フレームの間は補間処理による視差情報（破線図示）を使用する。この処理により、視差付与に使用される視差情報の時間方向（フレーム方向の）変化をなだらかにでき、左眼および右眼のグラフィクス情報に付与する視差が急激に変化して視聴者に違和感を発生させることを抑制できる。
【０１１９】
上述の図２７に示す補間処理例は、各期間の開始時点に対応して送られてくるデスクリプタ（ｚ−Surface descriptor）に、当該期間の奥行き情報が含まれている場合を示している。各期間の開始時点に対応して送られてくるデスクリプタ（ｚ−Surface descriptor）に、その後の期間、例えば１つ後の期間の奥行き情報が含まれている場合の補間処理例を説明する。
【０１２０】
図２８は、その場合の補間処理例を示している。この場合、期間Ａの開始時点で送られてくるデスクリプタ（ｚ−Surface descriptor）には、期間Ｂの奥行き情報ｂが含まれている。また、期間Ｂの開始時点で送られてくるデスクリプタ（ｚ−Surface descriptor）には、期間Ｃの奥行き情報ｃが含まれている。以下の各期間の開始時点で送られてくるデスクリプタ（ｚ−Surface descriptor）においても同様であり、そのデスクリプタには、次に期間の奥行き情報が含まれている。
【０１２１】
この場合、以下のような補間処理が行われて、各時点の補間視差情報が得られる。すなわち、各期間の前半では、前の期間の視差情報と当該期間の視差情報との混合比率が当該期間の方が順次高くされていくことで、各時点の補間視差情報が得られる。また、各期間の後半では、当該期間の視差情報と後の期間の視差情報との混合比率が後の期間の方が順次高くされていくことで、各時点の補間視差情報が得られる。
【０１２２】
例えば、期間Ａの中間時点から期間Ｂの中間時点までの期間Ｔ＿ＡＢの各時点の補間視差情報は、期間Ａの視差情報と期間Ｂの視差情報との混合比率を順次変化させることで得られる。この場合、期間Ａの視差情報に関しては１００％から０％に順次変化させられ、期間Ｂの視差情報に関しては０％から１００％に順次変化させられる。また、例えば、期間Ｂの中間時点から期間Ｃの中間時点までの期間Ｔ＿ＢＣの各時点の補間視差情報は、期間Ｂの視差情報と期間Ｃの視差情報との混合比率を順次変化させることで得られる。この場合、期間Ｂの視差情報に関しては１００％から０％に順次変化させられ、期間Ｃの視差情報に関しては０％から１００％に順次変化させられる。
【０１２３】
なお、図２８において、破線Ｓ１は送信されてくる立体画像データにおける視差情報カーブ（Videodisparity curve）の一例を示し、実線Ｓ２は、各期間に対応して更新される視差情報（Disparityupdate）の一例を示している。また、この図２８において、破線Ｓ３は、補間処理で得られる視差情報カーブ（Receiver interpolationcurve）の一例を示している。
【０１２４】
図２８に示すような補間処理が行われることで、時間方向変化がなだらかな、つまり更新カーブがスムーズとなる視差情報を得ることが可能となる。これにより、視差付与に使用される視差情報の時間方向（フレーム方向の）変化をなだらかにでき、左眼および右眼のグラフィクス情報に付与する視差が急激に変化して視聴者に違和感を発生させることを抑制できる。
【０１２５】
ビデオ重畳部２２８は、ビデオデコーダ２２１で得られた立体画像データ（左眼画像データ、右眼画像データ）に対し、ＯＳＤ表示データ発生部２２６で発生された左眼および左眼のグラフィクス情報のデータを重畳し、表示用立体画像データを得る。そして、このビデオ重畳部２２８は、表示用立体画像データを、ビットストリーム処理部２０１の外部に出力する。
【０１２６】
セットトップボックス２００の動作を簡単に説明する。アンテナ端子２０３に入力されたテレビ放送信号はデジタルチューナ２０４に供給される。このデジタルチューナ２０４では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤが出力される。
【０１２７】
デジタルチューナ２０４から出力されるビットストリームデータＢＳＤは、ビットストリーム処理部２０１に供給される。このビットストリーム処理部２０１では、ビットストリームデータＢＳＤから立体画像データ、音声データ、奥行き情報セット等が抽出される。ビットストリーム処理部２０１では、立体画像データに対して、適宜、ＯＳＤ等のグラフィクス情報の表示データが合成される。
【０１２８】
その際、ビットストリーム処理部２０１では、奥行き情報セットに基づいて、左眼画像に重畳する左眼グラフィクス情報と右眼画像に重畳する右眼グラフィクス情報との間に視差が付与される。これにより、立体画像に重畳表示されるＯＳＤ等のグラフィクス情報に関して、画像内の各物体との間の遠近感の整合性を最適な状態に維持することが可能となる。
【０１２９】
ビットストリーム処理部２０１で得られた表示用立体画像データは、映像処理回路２０５に供給される。この映像処理回路２０５では、表示用立体画像データに対して、必要に応じて画質調整処理等が行われる。この映像処理回路２０５から出力される処理後の表示用立体画像データは、ＨＤＭＩ送信部２０６に供給される。
【０１３０】
また、ビットストリーム処理部２０１で得られた音声データは、音声処理回路２０７に供給される。この音声処理回路２０７では、音声データに対して、必要に応じて音質調整処理等の処理が行われる。この音声処理回路２０７から出力される処理後の音声データは、ＨＤＭＩ送信部２０６に供給される。そして、ＨＤＭＩ送信部２０６に供給された立体画像データおよび音声データは、ＨＤＭＩのＴＭＤＳチャネルにより、ＨＤＭＩ端子２０２からＨＤＭＩケーブル４００に送出される。
【０１３１】
［テレビ受信機の説明］
図１に戻って、テレビ受信機３００は、セットトップボックス２００からＨＤＭＩケーブル４００を介して送られてくる立体画像データを受信する。このテレビ受信機３００は、３Ｄ信号処理部３０１を有している。この３Ｄ信号処理部３０１は、立体画像データに対して、伝送方式に対応した処理（デコード処理）を行って、左眼画像データおよび右眼画像データを生成する。この３Ｄ信号処理部３０１は、立体画像データを構成する左眼画像データおよび右眼画像データを取得する。
【０１３２】
［テレビ受信機の構成例］
テレビ受信機３００の構成例を説明する。図２９は、テレビ受信機３００の構成例を示している。このテレビ受信機３００は、３Ｄ信号処理部３０１と、ＨＤＭＩ端子３０２と、ＨＤＭＩ受信部３０３と、アンテナ端子３０４と、デジタルチューナ３０５と、ビットストリーム処理部３０６を有している。
【０１３３】
また、このテレビ受信機３００は、ＯＳＤ表示データ発生部３１３と、ビデオ重畳部３１４と、映像処理回路３０７と、パネル駆動回路３０８と、表示パネル３０９と、音声処理回路３１０と、音声増幅回路３１１と、スピーカ３１２を有している。また、このテレビ受信機３００は、ＣＰＵ３２１と、フラッシュＲＯＭ３２２と、ＤＲＡＭ３２３と、内部バス３２４と、リモコン受信部３２５と、リモコン送信機３２６を有している。
【０１３４】
アンテナ端子３０４は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ３０５は、アンテナ端子３０４に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）を出力する。
【０１３５】
ビットストリーム処理部３０６は、図２６に示すセットトップボックス２００のビットストリーム処理部２０１と同様の構成とされている。このビットストリーム処理部３０６は、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、奥行き情報セット等を抽出する。
【０１３６】
ＨＤＭＩ受信部３０３は、ＨＤＭＩに準拠した通信により、ＨＤＭＩケーブル４００を介してＨＤＭＩ端子３０２に供給される非圧縮の画像データおよび音声データを受信する。このＨＤＭＩ受信部３０３は、そのバージョンが例えばＨＤＭＩ１．４とされており、立体画像データの取り扱いが可能な状態にある。また、このＨＤＭＩ受信部３０３は、上述の奥行き情報セットを、ＨＤＭＩインタフェースで、セットトップボックス２００から受信する。このＨＤＭＩ受信部３０３の詳細は後述する。
【０１３７】
３Ｄ信号処理部３０１は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた立体画像データに対して、デコード処理を行って、左眼画像データおよび右眼画像データを生成する。この場合、３Ｄ信号処理部３０１は、ビットストリーム処理部３０６で得られた立体画像データに対しては、その伝送方フォーマットに対応したデコード処理を行う。また、３Ｄ信号処理部３０１は、ＨＤＭＩ受信部３０３で受信された立体画像データに対しては、後述するＴＭＤＳ伝送データ構造に対応したデコード処理を行う。
【０１３８】
ＯＳＤ表示データ発生部３１３は、立体画像データに含まれる左眼画像データに対応した左眼グラフィクス情報のデータおよび立体画像データに含まれる右眼画像データに対応した右眼グラフィクス情報のデータを発生する。このグラフィクス情報は、メニュー、番組表などのＯＳＤ表示のための重畳情報である。
【０１３９】
この場合、ＯＳＤ表示データ発生部３１３は、ビットストリーム処理部３０６で得られた、あるいはＨＤＭＩ受信部３０３で受信された奥行き情報セットに基づいて、左眼グラフィクス情報と右眼グラフィクス情報との間に視差を付与する。ここで、ＯＳＤ表示データ発生部３１３は、奥行き情報セットに含まれる画像面情報、あるいは画像面情報および視差情報に基づいて、左眼グラフィクス情報と右眼グラフィクス情報との間に、適宜、視差を付与する。
【０１４０】
例えば、画像面情報に基づいて、立体画像面がモニタポジションに対して手前に位置する場合には、グラフィクス情報が立体画像面より手前に知覚されるように、予め決められた所定の視差が付与される。また、例えば、画像面情報に基づいて、立体画像面がモニタポジションと同じ位置か、あるいはそれより奥に位置する場合には、視差は付与されない。また、例えば、視差情報に基づいて、グラフィクス情報が立体画像面より手前に知覚されるように視差が付与される。
【０１４１】
ビデオ重畳部３１４は、３Ｄ信号処理部３０１で得られた立体画像データ（左眼画像データ、右眼画像データ）に対し、ＯＳＤ表示データ発生部３１３で発生された左眼および左眼のグラフィクス情報のデータを重畳し、表示用立体画像データを得る。
【０１４２】
映像処理回路３０７は、３Ｄ信号処理部３０１で生成された左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データを生成する。また、映像処理回路３０７は、画像データに対して、必要に応じて、画質調整処理を行う。パネル駆動回路３０８は、映像処理回路３０７から出力される画像データに基づいて、表示パネル３０９を駆動する。表示パネル３０９は、例えば、ＬＣＤ(Liquid Crystal Display)、ＰＤＰ(Plasma DisplayPanel)等で構成されている。
【０１４３】
音声処理回路３１０は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理を行う。音声増幅回路３１１は、音声処理回路３１０から出力される音声信号を増幅してスピーカ３１２に供給する。
【０１４４】
ＣＰＵ３２１は、テレビ受信機３００の各部の動作を制御する。フラッシュＲＯＭ３２２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ３２３は、ＣＰＵ３２１のワークエリアを構成する。ＣＰＵ３２１は、フラッシュＲＯＭ３２２から読み出したソフトウェアやデータをＤＲＡＭ３２３上に展開してソフトウェアを起動させ、テレビ受信機３００の各部を制御する。
【０１４５】
リモコン受信部３２５は、リモコン送信機３２６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ３２１に供給する。ＣＰＵ３２１は、このリモコンコードに基づいて、テレビ受信機３００の各部を制御する。ＣＰＵ３２１、フラッシュＲＯＭ３２２およびＤＲＡＭ３２３は、内部バス３２４に接続されている。
【０１４６】
図２９に示すテレビ受信機３００の動作を簡単に説明する。ＨＤＭＩ受信部３０３では、ＨＤＭＩ端子３０２にＨＤＭＩケーブル４００を介して接続されているセットトップボックス２００から送信されてくる、立体画像データおよび音声データが受信される。このＨＤＭＩ受信部３０３で受信された立体画像データは、３Ｄ信号処理部３０１に供給される。また、このＨＤＭＩ受信部３０３で受信された音声データは音声処理回路３１０に供給される。
【０１４７】
アンテナ端子３０４に入力されたテレビ放送信号はデジタルチューナ３０５に供給される。このデジタルチューナ３０５では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）が出力される。
【０１４８】
デジタルチューナ３０５から出力されるビットストリームデータは、ビットストリーム処理部３０６に供給される。このビットストリーム処理部３０６では、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、奥行き情報セット等が抽出される。ビットストリーム処理部３０６で得られた立体画像データは、３Ｄ信号処理部３０１に供給される。また、このビットストリーム処理部３０６で得られた音声データは、音声処理回路３１０に供給される。
【０１４９】
３Ｄ信号処理部３０１では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた立体画像データに対してデコード処理が行われて、左眼画像データおよび右眼画像データが生成される。この左眼画像データおよび右眼画像データは、ビデオ重畳部３１４に供給される。
【０１５０】
ＯＳＤ表示データ発生部３１３では、立体画像データに含まれる左眼画像データに対応した左眼グラフィクス情報のデータおよび立体画像データに含まれる右眼画像データに対応した右眼グラフィクス情報のデータが発生される。この場合、ＯＳＤ表示データ発生部３１３では、ビットストリーム処理部３０６で得られた、あるいはＨＤＭＩ受信部３０３で受信された奥行き情報セットに基づいて、左眼グラフィクス情報と右眼グラフィクス情報との間に視差が付与される。
【０１５１】
ビデオ重畳部３１４では、３Ｄ信号処理部３０１で得られた立体画像データ（左眼画像データ、右眼画像データ）に対し、ＯＳＤ表示データ発生部３１３で発生された左眼および左眼のグラフィクス情報のデータが重畳し、表示用立体画像データが得られる。この表示用立体画像データは、映像処理回路３０７に供給される。この映像処理回路３０７では、左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データが生成され、必要に応じて、画質調整処理も行われる。
【０１５２】
映像処理回路３０７で得られる画像データはパネル駆動回路３０８に供給される。そのため、表示パネル３０９により立体画像が表示される。例えば、表示パネル３０９に、左眼画像データによる左眼画像および右眼画像データによる右眼画像が交互に時分割的に表示される。視聴者は、表示パネル３０９の表示に同期して左眼シャッタおよび右眼シャッタが交互に開くシャッタメガネを装着することで、左眼では左眼画像のみを見ることができ、右眼では右眼画像のみを見ることができ、立体画像を知覚できる。
【０１５３】
また、音声処理回路３１０では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理が施される。この音声データは、音声増幅回路３１１で増幅された後に、スピーカ３１２に供給される。そのため、スピーカ３１２から表示パネル３０９の表示画像に対応した音声が出力される。
【０１５４】
［ＨＤＭＩ送信部、ＨＤＭＩ受信部の構成例］
図３０は、図１の立体画像表示システム１０における、セットトップボックス２００のＨＤＭＩ送信部（ＨＤＭＩソース）２０６と、テレビ受信機３００のＨＤＭＩ受信部（ＨＤＭＩシンク）３０３の構成例を示している。
【０１５５】
ＨＤＭＩ送信部２０６は、有効画像区間（以下、適宜、アクティブビデオ区間ともいう）において、非圧縮の１画面分の画像の画素データに対応する差動信号を、複数のチャネルで、ＨＤＭＩ受信部３０３に一方向に送信する。ここで、有効画像区間は、一の垂直同期信号から次の垂直同期信号までの区間から、水平帰線区間及び垂直帰線区間を除いた区間である。また、ＨＤＭＩ送信部２０６は、水平帰線区間または垂直帰線区間において、少なくとも画像に付随する音声データや制御データ、その他の補助データ等に対応する差動信号を、複数のチャネルで、ＨＤＭＩ受信部３０３に一方向に送信する。
【０１５６】
ＨＤＭＩ送信部２０６とＨＤＭＩ受信部３０３とからなるＨＤＭＩシステムの伝送チャネルには、以下の伝送チャネルがある。すなわち、ＨＤＭＩ送信部２０６からＨＤＭＩ受信部３０３に対して、画素データおよび音声データを、ピクセルクロックに同期して、一方向にシリアル伝送するための伝送チャネルとしての、３つのＴＭＤＳチャネル＃０乃至＃２がある。また、ピクセルクロックを伝送する伝送チャネルとしての、ＴＭＤＳクロックチャネルがある。
【０１５７】
ＨＤＭＩ送信部２０６は、ＨＤＭＩトランスミッタ８１を有する。トランスミッタ８１は、例えば、非圧縮の画像の画素データを対応する差動信号に変換し、複数のチャネルである３つのＴＭＤＳチャネル＃０，＃１，＃２で、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３０３に、一方向にシリアル伝送する。
【０１５８】
また、トランスミッタ８１は、非圧縮の画像に付随する音声データ、さらには、必要な制御データその他の補助データ等を、対応する差動信号に変換し、３つのＴＭＤＳチャネル＃０，＃１，＃２でＨＤＭＩ受信部３０３に、一方向にシリアル伝送する。
【０１５９】
さらに、トランスミッタ８１は、３つのＴＭＤＳチャネル＃０，＃１，＃２で送信する画素データに同期したピクセルクロックを、ＴＭＤＳクロックチャネルで、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３０３に送信する。ここで、１つのＴＭＤＳチャネル＃ｉ（ｉ＝０，１，２）では、ピクセルクロックの１クロックの間に、１０ビットの画素データが送信される。
【０１６０】
ＨＤＭＩ受信部３０３は、アクティブビデオ区間において、複数のチャネルで、ＨＤＭＩ送信部２０６から一方向に送信されてくる、画素データに対応する差動信号を受信する。また、このＨＤＭＩ受信部３０３は、水平帰線区間または垂直帰線区間において、複数のチャネルで、ＨＤＭＩ送信部２０６から一方向に送信されてくる、音声データや制御データに対応する差動信号を受信する。
【０１６１】
すなわち、ＨＤＭＩ受信部３０３は、ＨＤＭＩレシーバ８２を有する。このＨＤＭＩレシーバ８２は、ＴＭＤＳチャネル＃０，＃１，＃２で、ＨＤＭＩ送信部２０６から一方向に送信されてくる、画素データに対応する差動信号と、音声データや制御データに対応する差動信号を受信する。この場合、ＨＤＭＩ送信部２０６からＴＭＤＳクロックチャネルで送信されてくるピクセルクロックに同期して受信する。
【０１６２】
ＨＤＭＩシステムの伝送チャネルには、上述のＴＭＤＳチャネル＃０乃至＃２およびＴＭＤＳクロックチャネルの他に、ＤＤＣ（Display Data Channel）８３やＣＥＣライン８４と呼ばれる伝送チャネルがある。ＤＤＣ８３は、ＨＤＭＩケーブル４００に含まれる図示しない２本の信号線からなる。ＤＤＣ８３は、ＨＤＭＩ送信部２０６が、ＨＤＭＩ受信部３０３から、Ｅ−ＥＤＩＤ（Enhanced Extended Display Identification Data）を読み出すために使用される。
【０１６３】
すなわち、ＨＤＭＩ受信部３０３は、ＨＤＭＩレシーバ８１の他に、自身の性能（Configuration/capability）に関する性能情報であるＥ−ＥＤＩＤを記憶している、ＥＤＩＤ ＲＯＭ(Read Only Memory)８５を有している。ＨＤＭＩ送信部２０６は、例えば、ＣＰＵ２１１（図２６参照）からの要求に応じて、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３０３から、Ｅ−ＥＤＩＤを、ＤＤＣ８３を介して読み出す。
【０１６４】
ＨＤＭＩ送信部２０６は、読み出したＥ−ＥＤＩＤをＣＰＵ２１１に送る。ＣＰＵ２１１は、このＥ−ＥＤＩＤを、フラッシュＲＯＭ２１２あるいはＤＲＡＭ２１３に格納する。ＣＰＵ２１１は、Ｅ−ＥＤＩＤに基づき、ＨＤＭＩ受信部３０３の性能の設定を認識できる。例えば、ＣＰＵ２１１は、ＨＤＭＩ受信部３０３を有するテレビ受信機３００が立体画像データの取り扱いが可能か否か、可能である場合はさらにいかなるＴＭＤＳ伝送データ構造に対応可能であるか等を認識する。
【０１６５】
ＣＥＣライン８４は、ＨＤＭＩケーブル４００に含まれる図示しない１本の信号線からなり、ＨＤＭＩ送信部２０６とＨＤＭＩ受信部３０３との間で、制御用のデータの双方向通信を行うために用いられる。このＣＥＣライン８４は、制御データラインを構成している。
【０１６６】
また、ＨＤＭＩケーブル４００には、ＨＰＤ(Hot Plug Detect)と呼ばれるピンに接続されるライン（ＨＰＤライン）８６が含まれている。ソース機器は、当該ライン８６を利用して、シンク機器の接続を検出することができる。なお、このＨＰＤライン８６は双方向通信路を構成するＨＥＡＣ−ラインとしても使用される。また、ＨＤＭＩケーブル４００には、ソース機器からシンク機器に電源を供給するために用いられるライン（電源ライン）８７が含まれている。さらに、ＨＤＭＩケーブル４００には、ユーティリティライン８８が含まれている。このユーティリティライン８８は双方向通信路を構成するＨＥＡＣ＋ラインとしても使用される。
【０１６７】
図３１は、ＴＭＤＳ伝送データの構造例を示している。この図３１は、ＴＭＤＳチャネル＃０，＃１，＃２において、横×縦が１９２０ピクセル×１０８０ラインの画像データが伝送される場合の、各種の伝送データの区間を示している。
【０１６８】
ＨＤＭＩの３つのＴＭＤＳチャネル＃０，＃１，＃２で伝送データが伝送されるビデオフィールド（Video Field）には、伝送データの種類に応じて、３種類の区間が存在する。この３種類の区間は、ビデオデータ区間（Video Data period）、データアイランド区間（Data Islandperiod）、およびコントロール区間（Control period）である。
【０１６９】
ここで、ビデオフィールド区間は、ある垂直同期信号の立ち上がりエッジ（activeedge）から次の垂直同期信号の立ち上がりエッジまでの区間である。このビデオフィールド区間は、水平ブランキング期間（horizontal blanking）、垂直ブランキング期間（verticalblanking）、並びに、アクティブビデオ区間（Active Video）に分けられる。このアクティブビデオ区間は、ビデオフィールド区間から、水平ブランキング期間および垂直ブランキング期間を除いた区間である
【０１７０】
ビデオデータ区間は、アクティブビデオ区間に割り当てられる。このビデオデータ区間では、非圧縮の１画面分の画像データを構成する１９２０ピクセル（画素）×１０８０ライン分の有効画素（Active pixel）のデータが伝送される。
【０１７１】
データアイランド区間およびコントロール区間は、水平ブランキング期間および垂直ブランキング期間に割り当てられる。このデータアイランド区間およびコントロール区間では、補助データ（Auxiliary data）が伝送される。すなわち、データアイランド区間は、水平ブランキング期間と垂直ブランキング期間の一部分に割り当てられている。このデータアイランド区間では、補助データのうち、制御に関係しないデータである、例えば、音声データのパケット等が伝送される。
【０１７２】
コントロール区間は、水平ブランキング期間と垂直ブランキング期間の他の部分に割り当てられている。このコントロール区間では、補助データのうちの、制御に関係するデータである、例えば、垂直同期信号および水平同期信号、制御パケット等が伝送される。
【０１７３】
図３２は、ＨＤＭＩ端子のピン配列の一例を示している。図３２に示すピン配列はタイプＡ（type-A）と呼ばれている。ＴＭＤＳチャネル＃ｉの差動信号であるＴＭＤＳ Ｄａｔａ＃ｉ＋とＴＭＤＳ Ｄａｔａ＃ｉ−は差動線である２本のラインにより伝送される。この２本のラインは、ＴＭＤＳ Ｄａｔａ＃ｉ＋が割り当てられているピン（ピン番号が１，４，７のピン）と、ＴＭＤＳ Ｄａｔａ＃ｉ−が割り当てられているピン（ピン番号が３，６，９のピン）に接続される。
【０１７４】
また、制御用のデータであるＣＥＣ信号が伝送されるＣＥＣライン８４は、ピン番号が１３であるピンに接続される。また、Ｅ−ＥＤＩＤ等のＳＤＡ(Serial Data)信号が伝送されるラインは、ピン番号が１６であるピンに接続される。ＳＤＡ信号の送受信時の同期に用いられるクロック信号であるＳＣＬ(Serial Clock)信号が伝送されるラインは、ピン番号が１５であるピンに接続される。上述のＤＤＣ８３は、ＳＤＡ信号が伝送されるラインおよびＳＣＬ信号が伝送されるラインにより構成される。
【０１７５】
また、上述したようにソース機器がシンク機器の接続を検出するためのＨＰＤライン（ＨＥＡＣ−ライン）８６は、ピン番号が１９であるピンに接続される。また、ユーティリティライン（ＨＥＡＣ＋ライン）８８は、ピン番号が１４であるピンに接続される。また、上述したように電源を供給するためのライン８７は、ピン番号が１８であるピンに接続される。
【０１７６】
［ＨＤＭＩでの奥行き情報セットの送信方法］
奥行き情報セットをＨＤＭＩインタフェースで送信する方法として、例えば、ＨＤＭＩVendor Specific InfoFrame を利用する方法が考えられる。この方法では、ＨＤＭＩVendor Specific InfoFrame paketにおいて、HDMI_Video_Format＝“０１０”かつ3D_Meta_present＝１とされて、Vendor SpecificInfoFrame extensionが指定される。その場合、3D_Metadata_typeは、未使用の、例えば、“１００”と定義され、奥行き情報セットが指定される。
【０１７７】
図３３は、ＨＤＭＩVendor Specific InfoFrame のパケット構造を示している。このＨＤＭＩ VendorSpecific InfoFrameについては、CEA-861-Dに定義されているので、詳細説明は省略する。
【０１７８】
第４バイト（ＰＢ４）の第７ビットから第５ビットに、画像データの種類を示す３ビットの情報「HDMI_Video_Format」が配置されている。画像データが３Ｄ画像データである場合、この３ビットの情報は「０１０」とされる。また、このように画像データが３Ｄ画像データである場合、第５バイト（ＰＢ５）の第７ビットから第４ビットに、ＴＭＤＳ伝送データ構造を示す４ビットの情報「3D_Structure」が配置される。例えば、フレームパッキング方式の場合、この４ビットの情報は、「００００」とされる。
【０１７９】
また、第５バイト（ＰＢ５）の第３ビットに、「3D_Meta_present」が配置され、Vendor Specific InfoFrame extensionを指定する場合、この１ビットは「１」とされる。また、第７バイト（ＰＢ７）の第７ビットから第５ビットに、「3D_Metadata_type」が配置されている。奥行き情報セットの情報を指定する場合、この３ビットの情報は、未使用の、例えば、“１００”とされる。また、第７バイト（ＰＢ７）の第４バイトから第０バイトに、「3D_Metadata_length」が配置されている。この５ビットの情報により、以降に配置される3D_Metadata領域の長さが示される。
【０１８０】
また、第８バイト（ＰＢ８）の第７ビットから第６ビットに、「display_partition_type」の２ビット情報が配置される。また、第８バイト（ＰＢ８）の第３ビットから第０ビットに、「number_of_partition 」の４ビット情報が配置される。そして、以降に、「number_of_partition」が示す画像表示面の分割数に対応した個数の奥行き情報が配置される。この奥行き情報には、「z_depth_negative」の１ビット情報（画像面情報）が含まれ、さらに、「disparity_value_flag」が視差情報の存在を示すとき、「absolute_disparity_value」の８ビット情報が含まれる。
【０１８１】
上述したように、図１に示す画像送受信システム１０において、放送局１００（送信データ生成部２０１）からセットトップボックス２００やテレビ受信機３００に、左眼画像データおよび右眼画像データを有する所定番組の立体画像データと共に、この立体画像データに対応した奥行き情報セットが送信される。そのため、受信側において、この奥行き情報セットを用いることで、左眼画像および右眼画像に重畳される重畳情報、例えばＯＳＤ等のグラフィクス情報として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができる。これにより、例えばＯＳＤ等のグラフィクス情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。
【０１８２】
また、図１に示す画像送受信システム１０において、放送局１００（送信データ生成部２０１）からセットトップボックス２００やテレビ受信機３００に送信される奥行き情報セットは、画像表示面の分割情報と各分割領域の奥行き情報を含むものであって、立体画像データを含むデータストリームを有するビットストリームデータ（多重化データストリーム）ＢＳＤに挿入されるデスクリプタに含まれて送信される。つまり、放送局１００は、奥行き情報セットを、デスクリプタを用いて、受信側に簡単に送信できる。
【０１８３】
また、図１に示す画像送受信システム１０において、セットトップボックス２００からテレビ受信機３００に、所定番組の立体画像データと共に、それに対応した奥行き情報セット（画像表示面の分割情報と各分割領域の奥行き情報を含む）が、ＨＤＭＩケーブル４００を介して送信される。そのため、テレビ受信機３００において、奥行き情報セットを用いることで、左眼画像および右眼画像に重畳される重畳情報、例えばＯＳＤ等のグラフィクス情報として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができる。これにより、例えばＯＳＤ等のグラフィクス情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。
【０１８４】
＜２．変形例＞
なお、上述実施の形態においては、立体画像表示システム１０が、放送局１００、セットトップボックス２００およびテレビ受信機３００で構成されているものを示した。しかし、テレビ受信機３００は、図２９に示すように、セットトップボックス２００内のビットストリーム処理部２０１と同等に機能するビットストリーム処理部３０６を備えている。したがって、図３４に示すように、放送局１００およびテレビ受信機３００で構成される立体画像表示システム１０Ａも考えられる。
【０１８５】
また、上述実施の形態においては、セットトップボックス２００からテレビ受信機３００に奥行き情報セットを送信する方法として、ＨＤＭＩ Vendor Specific InfoFrame を利用する方法を説明した。その他に、アクティブスペース（Active Space）を利用する方法、さらには、ＨＰＤライン８６（ＨＥＡＣ−ライン）およびユーティリティライン８８（ＨＥＡＣ＋ライン）で構成される双方向通信路を通じて送信することも考えられる。
【０１８６】
また、上述実施の形態においては、セットトップボックス２００と、テレビ受信機３００とが、ＨＤＭＩのデジタルインタフェースで接続されるものを示している。しかし、これらが、ＨＤＭＩのデジタルインタフェースと同様のデジタルインタフェース（有線の他に無線も含む）で接続される場合においても、この発明を適用できることは勿論である。
【０１８７】
また、上述実施の形態においては、セットトップボックス２００からテレビ受信機３００に、ビットストリーム処理部２０１で使用されている奥行き情報セットを、ＨＤＭＩインタフェースにより送信する例を示した。しかし、このようにＨＤＭＩインタフェースを通じて奥行き情報セットを送信する技術に関しては、その他のソース機器およびシンク機器の組み合わせにも応用できることは勿論である。例えば、ソース機器としてはＢＤやＤＶＤ等のディスクプレーヤ、さらにはゲーム機なども考えられ、シンク機器としてはモニタ装置、プロジェクタ装置なども考えられる。
【産業上の利用可能性】
【０１８８】
この発明は、立体画像表示の際の重畳情報、例えばＯＳＤ等のグラフィクス情報の表示を良好に行うことができ、立体画像表示システム等に適用できる。
【符号の説明】
【０１８９】
１０，１０Ａ・・・立体画像表示システム
１００・・・放送局
１１０・・・送信データ生成部
１１１Ｌ，１１１Ｒ・・・カメラ
１１２・・・ビデオフレーミング部
１１３・・・ディスパリティ・マップ作成部
１１４・・・マイクロホン
１１５・・・データ取り出し部
１１５ａ・・・データ記録媒体
１１６〜１１８・・・切り換えスイッチ
１１９・・・ビデオエンコーダ
１２０・・・オーディオエンコーダ
１２２・・・奥行き情報セット作成部
１２６・・・マルチプレクサ
２００・・・セットトップボックス（ＳＴＢ）
２０１・・・ビットストリーム処理部
２０２・・・ＨＤＭＩ端子
２０３・・・アンテナ端子
２０４・・・デジタルチューナ
２０５・・・映像処理回路
２０６・・・ＨＤＭＩ送信部
２０７・・・音声処理回路
２１１・・・ＣＰＵ
２１５・・・リモコン受信部
２１６・・・リモコン送信機
２２０・・・デマルチプレクサ
２２１・・・ビデオデコーダ
２２４・・・オーディオデコーダ
２２６・・・ＯＳＤ表示データ発生部
２２８・・・ビデオ重畳部
３００・・・テレビ受信機（ＴＶ）
３０１・・・３Ｄ信号処理部
３０２・・・ＨＤＭＩ端子
３０３・・・ＨＤＭＩ受信部
３０４・・・アンテナ端子
３０５・・・デジタルチューナ
３０６・・・ビットストリーム処理部
３０７・・・映像処理回路
３０８・・・パネル駆動回路
３０９・・・表示パネル
３１０・・・音声処理回路
３１１・・・音声増幅回路
３１２・・・スピーカ
３１３・・・ＯＳＤ表示データ発生部
３１４・・・ビデオ重畳部
３２１・・・ＣＰＵ
３２５・・・リモコン受信部
３２６・・・リモコン送信機
４００・・・ＨＤＭＩケーブル
【技術分野】
【０００１】
この発明は、立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置に関し、特に、受信側において、ＯＳＤ等のグラフィクス情報の表示を良好に行い得る立体画像データ送信装置等に関する。
【背景技術】
【０００２】
例えば、特許文献１には、立体画像データのテレビ放送電波を用いた伝送方式について提案されている。この場合、左眼用画像データおよび右眼用画像データを含む立体画像データが送信され、テレビ受信機において、両眼視差を利用した立体画像表示が行われる。
【０００３】
図３５は、両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクト（物体）の左右像の表示位置と、その立体像の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Ｌａが右側に右像Ｒａが左側にずれて表示されているオブジェクトＡに関しては、左右の視線がスクリーン面より手前で交差するため、その立体像の再生位置はスクリーン面より手前となる。ＤＰａは、オブジェクトＡに関する水平方向の視差ベクトル（視差情報）を表している。
【０００４】
また、例えば、スクリーン上に図示のように左像Ｌｂおよび右像Ｒｂが同一位置に表示されているオブジェクトＢに関しては、左右の視線がスクリーン面で交差するため、その立体像の再生位置はスクリーン上、つまりモニタポジションとなる。さらに、例えば、スクリーン上に図示のように左像Ｌｃが左側に右像Ｒｃが右側にずれて表示されているオブジェクトＣに関しては、左右の視線がスクリーン面より奥で交差するため、その立体像の再生位置はスクリーン面より奥となる。ＤＰｃは、オブジェクトＣに関する水平方向の視差ベクトルを表している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−６１１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したように、立体画像表示において、視聴者は、両眼視差を利用して、立体画像の遠近感を認知することが普通である。画像に重畳される重畳情報、例えばＯＳＤ（On Screen Display）等のグラフィクス情報に関しても、２次元空間的のみならず、３次元の奥行き感としても、立体画像表示と連動してレンダリングされることが期待される。
【０００７】
例えば、立体画像にＯＳＤ等のグラフィクス情報を重畳表示(オーバーレイ表示)する場合、遠近感でいうところの最も近い画像内の物体（オブジェクト）の面（以下、「立体画像面」という）よりも手前に表示されないと、視聴者は、遠近感の矛盾を感じる場合がある。つまり、画像にＯＳＤ等のグラフィクス情報を重畳表示する場合、画像内の各物体の遠近感に応じて視差調整を施し、遠近感の整合性を維持することが期待される。
【０００８】
この発明の目的は、立体画像表示の際の重畳情報、例えばＯＳＤ等のグラフィクス情報の表示において、画像内の各物体との間の遠近感の整合性の維持を図ることにある。
【課題を解決するための手段】
【０００９】
この発明の概念は、
左眼画像データおよび右眼画像データを有する立体画像データを出力する画像データ出力部と、
上記画像データ出力部から出力される立体画像データに対応した奥行き情報セットを出力する奥行き情報セット出力部と、
上記画像データ出力部から出力される立体画像データおよび上記奥行き情報セット出力部から出力される奥行き情報セットを送信する送信部とを備え、
上記奥行き情報セットは、画像表示面の分割情報と各分割領域の奥行き情報を含み、
上記送信部は、上記画像データ出力部から出力される立体画像データを含むデータストリームを有する多重化データストリームを送信し、該多重化データストリームに、上記奥行き情報セット出力部から出力される奥行き情報セットを含むデスクリプタを挿入する
立体画像データ送信装置にある。
【００１０】
この発明において、画像データ出力部により、左眼画像データおよび右眼画像データを有する立体画像データが出力される。また、奥行き情報セット出力部により、立体画像データに対応した奥行き情報セットが出力される。そして、送信部により、立体画像データおよび奥行き情報セットが送信される。この奥行き情報セットには、画像表示面の分割情報と、各分割領域の奥行き情報が含まれる。
【００１１】
例えば、奥行き情報は、モニタポジションに対して立体画像面（画像内の、遠近感でいうところの最も近い物体の面）が手前にあるか否かを示す画像面情報とされてもよい。そして、この画像面情報は、例えば、左眼画像および右眼画像の視差情報（視差ベクトル）を構成する符号情報とされてもよい。視差情報の符号が負の場合、立体画像面がモニタポジションに対して手前にあることが分かる。
【００１２】
また、例えば、奥行き情報は、モニタポジションに対して立体画像面が手前にあるか否かを示す画像面情報、またはこの画像面情報と左眼画像および右眼画像の視差情報であり、奥行き情報セットには、視差情報の存在を示すフラグ情報が挿入されてもよい。例えば、奥行き情報は、視差情報を構成する符号情報、またはこの符号情報および視差情報を構成する絶対値情報とされる。この場合、視差情報の符号情報は、画像面情報を構成する。
【００１３】
奥行き情報として、画像面情報の他に視差情報が含まれることで、受信側において、立体画像面の位置がモニタポジションに対して手前にあるか否かだけでなく、その位置をより詳細に把握可能となる。また、フラグ情報が挿入されていることにより、奥行き情報として、画像面情報のみ、あるいは画面情報および視差情報の双方を、選択的に送信することが可能となる。
【００１４】
例えば、分割情報は、分割タイプを示す情報と分割数を示す情報とからなっていてもよい。このように分割情報が２つの情報から構成されることにより、少ない情報数でより多くの分割パターンを指定することが可能となる。例えば、分割タイプには、画像表示面を対角線を用いて分割する分割タイプが含まれる。また、例えば、分割タイプには、画像表示面を水平方向線および／または垂直方向線を用いて分割する分割タイプが含まれる。
【００１５】
送信部では、画像データ出力部から出力される立体画像データを含むデータストリームを有する多重化データストリームが送信される。この多重化データストリームに、奥行き情報セットを含むデスクリプタが挿入される。
【００１６】
例えば、多重化データストリームには、この多重化データストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを示すプログラム・スペシフィック・インフォメーションとしてのプログラム・マップ・テーブルが含まれており、デスクリプタは、このプログラム・マップ・テーブルの配下に挿入される。この場合、番組期間中にデスクリプタが順次送信され、番組期間中において、奥行き情報がダイナミックに変化可能とされる。
【００１７】
また、例えば、多重化データストリームには、イベント単位の管理を行うサービス・インフォメーションとしてのイベント・インフォメーション・テーブルが含まれており、デスクリプタは、このイベント・インフォメーション・テーブルの配下に挿入される。この場合、番組の最初にデスクリプタが送信され、番組期間中において、奥行き情報は固定とされる。
【００１８】
このように、この発明においては、左眼画像データおよび右眼画像データを有する立体画像データと共に、この立体画像データに対応した奥行き情報セットが送信される。そのため、受信側において、奥行き情報セットを用いることで、左眼画像および右眼画像に重畳される重畳情報、例えばＯＳＤ等のグラフィクス情報として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができる。これにより、例えばＯＳＤ等のグラフィクス情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。
【００１９】
また、この発明においては、奥行き情報セットは、画像表示面の分割情報と各分割領域の奥行き情報を含むものであって、立体画像データを含むデータストリームを有する多重化データストリームに挿入されるデスクリプタに含まれて送信される。つまり、奥行き情報セットの受信側への送信を簡単に行うことできる。
【００２０】
なお、この発明において、例えば、送信部は、デスクリプタを、立体画像データの所定期間毎の開始時点に対応させて多重化データストリームに挿入し、各期間の開始時点に対応させて多重化データストリームに挿入されるデスクリプタには、当該期間より後の期間の奥行き情報セットが含まれている、ようにされてもよい。これにより、受信側において、各期間の左眼重畳情報と右眼重畳情報との間に視差を付与する際に使用する視差情報として、当該期間および当該期間の前後の期間の奥行き情報セットに含まれる視差情報を用いた補間処理により、時間方向（フレーム方向の）変化がなだらかな、つまり更新カーブがスムーズとなる視差情報を得ることが可能となる。
【００２１】
また、この発明の他の概念は、
左眼画像データおよび右眼画像データを有する立体画像データを含むデータストリームを有し、画像表示面の分割情報と上記立体画像データに対応した各分割領域の奥行き情報とからなる奥行き情報セットを含むデスクリプタが挿入された多重化データストリームを受信する受信部と、
上記受信部で受信された多重化データストリームから取得された上記立体画像データに含まれる左眼画像データに対応した左眼重畳情報のデータおよび該立体画像データに含まれる右眼画像データに対応した右眼重畳情報のデータを出力する重畳情報データ出力部と、
上記受信部で受信された多重化データストリームから取得された上記左眼画像データおよび上記右眼画像データに、上記重畳情報データ出力部から出力される上記左眼重畳情報のデータおよび上記右眼重畳情報のデータを重畳するデータ重畳部を備え、
上記重畳情報データ出力部は、上記受信部で受信された多重化データストリームから取得された上記奥行き情報セットに基づいて、上記左眼重畳情報と上記右眼重畳情報との間に視差を付与する
立体画像データ受信装置にある。
【００２２】
この発明において、受信部により、左眼画像データおよび右眼画像データを含むデータストリームを有する多重化データストリームが受信される。この多重化データストリームには、画像表示面の分割情報と立体画像データに対応した各割領域の奥行き情報とからなる奥行き情報セットを含むデスクリプタが挿入されている。例えば、このデスクリプタは、プログラム・マップ・テーブル、あるいはイベント・インフォメーション・テーブルの配下に挿入されている。
【００２３】
重畳情報データ出力部により、受信部で受信された多重化データストリームから取得された立体画像データに含まれる左眼画像データに対応した左眼重畳情報のデータ、およびこの立体画像データに含まれる右眼画像データに対応した右眼重畳情報のデータが出力される。そして、データ重畳部により、受信部で受信された多重化データストリームから所得された左眼画像データおよび右眼画像データに、重畳情報データ出力部から出力される左眼重畳情報のデータおよび右眼重畳情報のデータが重畳される。これにより、立体画像にＯＳＤ等のグラフィクス情報を重畳表示できる。
【００２４】
重畳情報データ出力部では、受信部で受信された多重化データストリームから取得された奥行き情報セットに基づいて、左眼重畳情報と右眼重畳情報との間に視差が付与される。そのため、この発明においては、例えばＯＳＤ等のグラフィクス情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。
【００２５】
なお、この発明において、例えば、重畳情報データ出力部は、奥行き情報セットに含まれる視差情報に基づいて左眼重畳情報と右眼重畳情報との間に視差を付与する際、受信部で新たなデスクリプタが受信されて視差情報の更新があるとき、この新たな視差情報に複数フレームをかけて到達するように、この複数フレームの間は補間処理で得られる視差情報を使用する、ようにされてもよい。これにより、視差付与に使用される視差情報の時間方向（フレーム方向の）変化をなだらかにでき、左眼および右眼のグラフィクス情報に付与する視差が急激に変化して視聴者に違和感を発生させることを抑制可能となる。
【００２６】
また、この発明において、例えば、多重化データストリームには、立体画像データの所定期間毎の開始時点に対応させてデスクリプタが挿入されており、各期間の開始時点に対応させて多重化データストリームに挿入されているデスクリプタには、当該期間より後の期間の奥行き情報セットが含まれており、重畳情報データ出力部は、各期間の左眼重畳情報と右眼重畳情報との間に視差を付与する際、当該期間および当該期間の前後の期間の奥行き情報セットに含まれる視差情報を用いた補間処理で得られる視差情報を使用する、ようにされてもよい。これにより、視差付与に使用される視差情報の時間方向（フレーム方向の）変化をなだらかにでき、つまり視差付与に使用される視差情報の更新カーブをスムーズにでき、左眼および右眼のグラフィクス情報に付与する視差が急激に変化して視聴者に違和感を発生させることを抑制可能となる。
【００２７】
この発明のさらに他の概念は、
左眼画像データおよび右眼画像データを有する立体画像データを含むデータストリームを有し、画像表示面の分割情報と上記立体画像データに対応した各分割領域の奥行き情報とからなる奥行き情報セットを含むデスクリプタが挿入された多重化データストリームを受信する受信部と、
上記受信部で受信された多重化データストリームから取得された、上記左眼画像データおよび上記右眼画像データと、上記奥行き情報セットとを、伝送路を介して、外部機器に送信する送信部と
を備える立体画像データ受信装置にある。
【００２８】
この発明においては、受信部により、左眼画像データおよび右眼画像データを含むデータストリームを有する多重化データストリームが受信される。この多重化データストリームには、画像表示面の分割情報と立体画像データに対応した各割領域の奥行き情報とからなる奥行き情報セットを含むデスクリプタが挿入されている。例えば、このデスクリプタは、プログラム・マップ・テーブル、あるいはイベント・インフォメーション・テーブルの配下に挿入されている。
【００２９】
送信部により、受信部で受信された多重化データストリームから取得された、左眼画像データおよび右眼画像データと、奥行き情報セットとが、伝送路を介して、外部機器に送信される。例えば、送信部では、画像データが、複数チャネルで、差動信号により、伝送路を介して、外部機器に送信され、奥行き情報セットが、画像データのブランキング期間に挿入されて、外部機器に送信される。
【００３０】
このように、この発明においては、立体画像データを構成する左眼画像データおよび右眼画像データと共に、この立体画像データに対応した奥行き情報セットが、伝送路を介して、外部機器に送信される。そのため、外部機器、例えばテレビ受信機等の画像表示装置において、奥行き情報セットを用いることで、左眼画像および右眼画像に重畳される重畳情報、例えばＯＳＤ等のグラフィクス情報として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができる。これにより、例えばＯＳＤ等のグラフィクス情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。
【発明の効果】
【００３１】
この発明によれば、立体画像表示の際の重畳情報、例えばＯＳＤ等のグラフィクス情報の表示において、画像内の各物体との間の遠近感の整合性の維持を容易に図ることができる。
【図面の簡単な説明】
【００３２】
【図１】この発明の実施の形態としての立体画像表示システムの構成例を示すブロック図である。
【図２】放送局における送信データ生成部の構成例を示すブロック図である。
【図３】１９２０×１０８０ｐのピクセルフォーマットの画像データを示す図である。
【図４】立体画像データ（３Ｄ画像データ）の伝送方式である「Top &Bottom」方式、「Side By Side」方式、「FrameSequential」方式を説明するための図である。
【図５】左眼画像に対する右眼画像の視差ベクトルを検出する例を説明するための図である。
【図６】視差ベクトルをブロックマッチング方式で求めることを説明するための図である。
【図７】画像表示面を対角線を用いて分割する分割タイプ１において４分割した場合におけるポジションマップ例を示す図である。
【図８】ＯＳＤグラフィクス情報を画像の端部分にシフトした形で重畳表示する場合を示す図である。
【図９】画像表示面を対角線を用いて分割する分割タイプ１において８分割した場合におけるポジションマップ例を示す図である。
【図１０】画像表示面を水平方向および垂直方向に等分割するタイプ２において４分割した場合におけるポジションマップ例を示す図である。
【図１１】ＯＳＤグラフィクス情報を画像の角部分にシフトした形で重畳表示する場合を示す図である。
【図１２】画像表示面を水平方向および垂直方向に等分割するタイプ２において９分割した場合におけるポジションマップ例を示す図である。
【図１３】画像表示面を対角線および長方形の辺を用いて分割する分割タイプ３において５分割した場合におけるポジションマップ例を示す図である。
【図１４】画像表示面を対角線により４分割する分割パターンにおける各分割領域の視差情報の代表の求め方を示す図である。
【図１５】ＯＳＤグラフィクス情報を画像の端部分にシフトした形で重畳表示する場合、その重畳表示位置に対応した分割領域の視差情報（代表）を用いて、左眼、右眼のＯＳＤグラフィクス情報に視差を付与できることを示す図である。
【図１６】ＰＭＴの配下、つまりＰＭＴ中のプログラム・デスクリプタ（ProgramDescriptor）にデスクリプタ（ｚ−Surface descriptor）が配置される多重化データストリームの構成例（case1）を示す図である。
【図１７】ＰＭＴの配下、つまりビデオ・エレメンタリ・ループ（Video ESloop）のデスクリプタ（descriptor）部分にデスクリプタ（ｚ−Surface descriptor）が配置される多重化データストリームの構成例（case2）を示す図である。
【図１８】ＥＩＴの配下にデスクリプタ（ｚ−Surface descriptor）が配置される多重化データストリームの構成例（case3）を示す図である。
【図１９】デスクリプタ（ｚ−Surface descriptor）をＰＭＴの配下に挿入し、番組期間中にデスクリプタを順次送信して奥行き情報をダイナミックに変化させる場合を示す図である。
【図２０】シーン検出とデスクリプタ送信の処理概要を説明するためのフローチャートである。
【図２１】各期間の開始時点で送信されるデスクリプタ（ｚ−Surface descriptor）に１つ後の期間の奥行き情報を含ませる場合における各デスクリプタの送信タイミングと、各デスクリプタに含まれる奥行き情報との関係を示す図である。
【図２２】デスクリプタ（ｚ−Surface descriptor）をＥＩＴの配下に挿入し、番組期間中において奥行き情報を固定とする場合を示す図である。
【図２３】デスクリプタ（ｚ−Surface descriptor）の構造例（Syntax）を示す図である。
【図２４】デスクリプタ（ｚ−Surface descriptor）の構造例における主要な情報の内容（Semantics）を示す図である。
【図２５】デスクリプタ（ｚ−Surface descriptor）の他の構造例（Syntax）を示す図である。
【図２６】セットトップボックスの構成例を示すブロック図である。
【図２７】ＯＳＤ表示データ発生部における視差情報の補間処理を説明するための図である。
【図２８】各期間の開始時点に対応して送られてくるデスクリプタ（ｚ−Surface descriptor）に１つ後の期間の奥行き情報が含まれている場合の補間処理例を説明するための図である。
【図２９】テレビ受信機の構成例を示すブロック図である。
【図３０】ＨＤＭＩ送信部（ＨＤＭＩソース）とＨＤＭＩ受信部（ＨＤＭＩシンク）の構成例を示すブロック図である。
【図３１】ＴＭＤＳ伝送データの構造例（横×縦が１９２０ピクセル×１０８０ラインの画像データが伝送される場合）を示す図である。
【図３２】ソース機器およびシンク機器のＨＤＭＩケーブルが接続されるＨＤＭＩ端子のピン配列（タイプＡ）を示す図である。
【図３３】奥行き情報セットの送信にＨＤＭＩ Vendor SpecificInfoFrame を利用する場合における、ＨＤＭＩ Vendor Specific InfoFrame のパケット構造例を示す図である。
【図３４】立体画像表示システムの他の構成例を示す図である。
【図３５】両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクトの左右像の表示位置と、その立体像の再生位置との関係を示す図である。
【発明を実施するための形態】
【００３３】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例
【００３４】
＜１．実施の形態＞
［立体画像表示システムの構成例］
図１は、実施の形態としての立体画像表示システム１０の構成例を示している。この立体画像表示システム１０は、放送局１００と、セットトップボックス（ＳＴＢ）２００と、テレビ受信機（ＴＶ）３００を有している。
【００３５】
セットトップボックス２００およびテレビ受信機３００は、ＨＤＭＩ(HighDefinition Multimedia Interface)ケーブル４００を介して接続されている。セットトップボックス２００には、ＨＤＭＩ端子２０２が設けられている。テレビ受信機３００には、ＨＤＭＩ端子３０２が設けられている。ＨＤＭＩケーブル４００の一端はセットトップボックス２００のＨＤＭＩ端子２０２に接続され、このＨＤＭＩケーブル４００の他端はテレビ受信機３００のＨＤＭＩ端子３０２に接続されている。
【００３６】
［放送局の説明］
放送局１００は、ビットストリームデータＢＳＤを、放送波に載せて送信する。放送局１００は、ビットストリームデータＢＳＤを生成する送信データ生成部１１０を備えている。このビットストリームデータＢＳＤには、立体画像データ、音声データ、奥行き情報セットなどが含まれる。ここで、立体画像データは、左眼画像データおよび右眼画像データを有する所定番組の立体画像データである。音声データは、この立体画像データに対応した音声データである。奥行き情報セットは、この立体画像データに対応したものであり、画像表示面の分割情報と各分割領域の奥行き情報を含んでいる。
【００３７】
「送信データ生成部の構成例」
図２は、放送局１００において送信データを生成する送信データ生成部１１０の構成例を示している。この送信データ生成部１１０は、カメラ１１１Ｌ，１１１Ｒと、ビデオフレーミング部１１２と、ディスパリティ・マップ生成部１１３と、マイクロホン１１４と、データ取り出し部１１５と、切換スイッチ１１６〜１１８を有している。また、この送信データ生成部１１０は、ビデオエンコーダ１１９と、オーディオエンコーダ１２０と、奥行き情報セット作成部１２２と、マルチプレクサ１２６を有している。
【００３８】
カメラ１１１Ｌは、左眼画像を撮影して立体画像表示のための左眼画像データを得る。カメラ１１１Ｒは、右眼画像を撮影して立体画像表示のための右眼画像データを得る。ビデオフレーミング部１１２は、カメラ１１１Ｌで得られた左眼画像データおよびカメラ１１１Ｒで得られた右眼画像データを、伝送フォーマットに応じた立体画像データ（３Ｄ画像データ）に加工処理する。このビデオフレーミング部１１２は、画像データ出力部を構成している。
【００３９】
立体画像データの伝送フォーマット例を説明する。ここでは、以下の第１〜第３の伝送フォーマットを挙げるが、これら以外の伝送フォーマットであってもよい。また、ここでは、図３に示すように、左眼（Ｌ）および右眼（Ｒ）の画像データが、それぞれ、決められた解像度、例えば、１９２０×１０８０のピクセルフォーマットの画像データである場合を例にとって説明する。
【００４０】
第１の伝送方式は、トップ・アンド・ボトム（Top & Bottom）方式で、図４（ａ）に示すように、垂直方向の前半では左眼画像データの各ラインのデータを伝送し、垂直方向の後半では左眼画像データの各ラインのデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データのラインが１／２に間引かれることから原信号に対して垂直解像度は半分となる。
【００４１】
第２の伝送方式は、サイド・バイ・サイド（Side By Side）方式で、図４（ｂ）に示すように、水平方向の前半では左眼画像データのピクセルデータを伝送し、水平方向の後半では右眼画像データのピクセルデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが１／２に間引かれる。原信号に対して、水平解像度は半分となる。
【００４２】
第３の伝送方式は、フレーム・シーケンシャル（FrameSequential）方式で、図４（ｃ）に示すように、左眼画像データと右眼画像データとをフレーム毎に順次切換えて伝送する方式である。なお、このフレーム・シーケンシャル方式は、フル・フレーム（Full Frame）方式、あるいはバックワード・コンパチブル（BackwardCompatible）方式と称される場合もある。
【００４３】
図２に戻って、ディスパリティ・マップ生成部１１３は、左眼画像データおよび右眼画像データに基づき、例えば、画像を構成するピクセル毎の視差情報（視差ベクトル)を検出して、ディスパリティ・マップを作成する。視差情報は、符号情報と絶対値情報とから構成される。例えば、モニタポジションより手前に知覚されるピクセル（画素）の視差情報の符号は負となり、モニタポジションより奥に知覚されるピクセルの視差情報の符号は正となる。また、モニタポジションより遠くに知覚されるピクセルほど、視差情報の絶対値は大きくなる。
【００４４】
視差ベクトルの検出例について説明する。ここでは、左眼画像に対する右眼画像の視差ベクトルを検出する例について説明する。図５に示すように、左眼画像を検出画像とし、右眼画像を参照画像とする。この例では、（xi,yi）および（xj,yj）の位置における視差ベクトルが検出される。
【００４５】
（xi,yi）の位置における視差ベクトルを検出する場合を例にとって説明する。この場合、左眼画像に、（xi,yi）の位置の画素を左上とする、例えば４×４、８×８、あるいは１６×１６の画素ブロック（視差検出ブロック）Ｂｉが設定される。そして、右眼画像において、画素ブロックＢｉとマッチングする画素ブロックが探索される。
【００４６】
この場合、右眼画像に、（xi,yi）の位置を中心とする探索範囲が設定され、その探索範囲内の各画素を順次注目画素として、上述の画素ブロックＢｉと同様の例えば４×４、８×８、あるいは１６×１６の比較ブロックが順次設定されていく。
【００４７】
画素ブロックＢｉと順次設定される比較ブロックとの間で、対応する画素毎の差分絶対値の総和が求められる。ここで、図６に示すように、画素ブロックＢｉの画素値をＬ(x,y)とし、比較ブロックの画素値をＲ(x,y)とするとき、画素ブロックＢｉと、ある比較ブロックとの間における差分絶対値の総和は、Σ｜Ｌ(x,y)−Ｒ(x,y)｜で表される。
【００４８】
右眼画像に設定される探索範囲にｎ個の画素が含まれているとき、最終的にｎ個の総和Ｓ１〜Ｓｎが求められ、その中で最小の総和Ｓminが選択される。そして、この総和Ｓminが得られた比較ブロックから左上の画素の位置が（xi′,yi′）が得られる。これにより、（xi,yi）の位置における視差ベクトルは、（xi′−xi，yi′−yi）のように検出される。詳細説明は省略するが、（xj,yj）の位置における視差ベクトルについても、左眼画像に、（xj,yj）の位置の画素を左上とする、例えば４×４、８×８、あるいは１６×１６の画素ブロックＢｊが設定されて、同様の処理過程で検出される。
【００４９】
マイクロホン１１４は、カメラ１１１Ｌ，１１１Ｒで撮影された画像に対応した音声を検出して、音声データを得る。
【００５０】
データ取り出し部１１５は、データ記録媒体１１５ａを着脱自在に装着した状態で使用される。このデータ記録媒体１１５ａは、ディスク状記録媒体、半導体メモリ等である。このデータ記録媒体１１５ａには、左眼画像データおよび右眼画像データを含む立体画像データと共に、音声データ、ディスパリティ・マップが対応付けて記録されている。データ取り出し部１１５は、データ記録媒体１１５ａから、立体画像データ、音声データおよびディスパリティ・マップを取り出して出力する。このデータ取り出し部１１５は、画像データ出力部を構成している。
【００５１】
ここで、データ記録媒体１１５ａに記録されている立体画像データは、ビデオフレーミング部１１２で得られる立体画像データに相当するものである。また、データ記録媒体１１５ａに記録されている音声データは、マイクロホン１１４で得られる音声データに相当するものである。また、データ記録媒体１１５ａに記録されているディスパリティ・マップは、ディスパリティ・マップ生成部１１３で生成される視差ベクトルに相当するものである。
【００５２】
切り換えスイッチ１１６は、ビデオフレーミング部１１２で得られた立体画像データまたはデータ取り出し部１１５から出力された立体画像データを選択的に取り出す。この場合、切り換えスイッチ１１６は、ライブモードでは、ａ側に接続され、ビデオフレーミング部１１２で得られた立体画像データを取り出し、再生モードでは、ｂ側に接続され、データ取り出し部１１５から出力された立体画像データを取り出す。
【００５３】
切り換えスイッチ１１７は、ディスパリティ・マップ生成部１１３で生成されたディスパリティ・マップまたはデータ取り出し部１１５から出力されたディスパリティ・マップを選択的に取り出す。この場合、切り換えスイッチ１１７は、ライブモードでは、ａ側に接続され、ディスパリティ・マップ生成部１１３で生成されたディスパリティ・マップを取り出し、再生モードでは、ｂ側に接続され、データ取り出し部１１５から出力されたディスパリティ・マップを取り出す。
【００５４】
切り換えスイッチ１１８は、マイクロホン１１４で得られた音声データまたはデータ取り出し部１１５から出力された音声データを選択的に取り出す。この場合、切り換えスイッチ１１８は、ライブモードでは、ａ側に接続され、マイクロホン１１４で得られた音声データを取り出し、再生モードでは、ｂ側に接続され、データ取り出し部１１５から出力された音声データを取り出す。
【００５５】
ビデオエンコーダ１１９は、切り換えスイッチ１１６で取り出された立体画像データに対して、ＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化を施し、ビデオデータストリーム（ビデオエレメンタリストリーム）を生成する。オーディオエンコーダ１２０は、切り換えスイッチ１１８で取り出された音声データに対して、ＡＣ３、ＡＡＣ等の符号化を施し、オーディオデータストリーム（オーディオエレメンタリストリーム）を生成する。
【００５６】
奥行き情報セット作成部１２２は、切り換えスイッチ１１７で取り出されたディスパリティ・マップに基づいて、切り換えスイッチ１１６から出力される所定番組の立体画像データに対応した奥行き情報セットを作成する。この奥行き情報セットは、画像表示面の分割情報と各分割領域の奥行き情報を含むものとされる。
【００５７】
画像表示面の分割情報について説明する。この分割情報は、分割タイプを示す情報と、分割数を示す情報とからなる。例えば、分割タイプには、画像表示面を対角線を用いて分割する分割タイプ、画像表示面を水平方向線および／または垂直方向線を用いて分割する分割タイプなどがある。分割タイプおよび分割数が決まることで、画像表示面の分割パターンが一意に決まる。この分割タイプおよび分割数は、ユーザにより設定可能とされている。
【００５８】
図７は、画像表示面を対角線を用いて分割する分割タイプ１において４分割した場合におけるポジションマップ例を示している。この例では、画像表示面が、対角線を用いて４分割されており、上側の分割領域が「0000」で表され、右側の分割領域が「0001」で表され、下側の分割領域が「0010」で表され、左側の分割領域が「0011」で表されている。
【００５９】
この図７の分割例は、例えば、図８に示すように、ＯＳＤグラフィクス情報を画像の端部分にシフトした形で重畳表示する場合に、その重畳表示位置に対応した奥行き情報を送信できることから好適なものとなる。図９は、画像表示面を対角線を用いて分割する分割タイプ１において８分割した場合におけるポジションマップ例を示している。この例では、画像表示面が、対角線および長方形の辺を用いて８分割されており、各分割領域が「0000」〜「0111」で表されている。
【００６０】
図１０は、画像表示面を水平方向および垂直方向に等分割するタイプ２において４分割した場合におけるポジションマップ例を示している。この例では、画像表示面が、垂直方向線および水平方向線で４分割されており、右上側の分割領域が「0000」で表され、右下側の分割領域が「0001」で表され、左下側の分割領域が「0010」で表され、左上側の分割領域が「0011」で表されている。
【００６１】
この図１０の分割例は、例えば、図１１に示すように、ＯＳＤグラフィクス情報を画像の角部分にシフトした形で重畳表示する場合に、その重畳表示位置に対応した奥行き情報を送信できることから好適なものとなる。図１２は、画像表示面を水平方向および垂直方向に等分割するタイプ２において９分割した場合におけるポジションマップ例を示している。この例では、画像表示面が、垂直方向線および水平方向線で９分割されており、各分割領域が「0000」〜「1000」で表される。
【００６２】
図１３は、画像表示面を対角線および長方形の辺を用いて分割する分割タイプ３において５分割した場合におけるポジションマップ例を示している。この例では、画像表示面が、対角線および長方形の辺を用いて５分割されており、上側の分割領域が「0000」で表され、右側の分割領域が「0001」で表され、下側の分割領域が「0010」で表され、左側の分割領域が「0011」で表され、中央の分割領域が「0100」で表されている。この図１３の分割例は、ＯＳＤグラフィクス情報を、画像の端部分にシフトした形で、あるいは画像の中央部分に重畳表示する場合に、その重畳表示位置に対応した奥行き情報を送信できることから好適なものとなる。
【００６３】
次に、各分割領域の奥行き情報について説明する。この奥行き情報には、画像面情報が含まれる。この画像面情報は、モニタポジションに対して、立体画像面が手前にあるか否かを示す情報である。この立体画像面は、対応する領域の画像内の、遠近感でいうところの最も近い物体の面を意味している。この実施の形態において、この画像面情報は、立体画像面に対応した視差情報（視差ベクトル）を構成する符号情報とされる。この場合、符号情報は、モニタポジションに対して立体画像面が手前にあるときは、「負」を示すものとされる。
【００６４】
また、この奥行き情報には、上述の画像面情報の他に、視差情報が含まれることもある。この視差情報として、例えば、対応する領域の画像を構成する各ピクセル（画素）の視差情報（視差ベクトル）のうち、遠近感でいうところの最も手前に知覚されるピクセルの視差情報が代表として使用される。この場合、「負」の視差情報があるときは、その中で最も絶対値の大きな視差情報とされる。また、この場合、「負」の視差情報がないときは、最も絶対値の小さな視差情報とされる。このように、視差情報が含まれる場合にあって、上述したように画像面情報が視差情報を構成する符号情報とされるときには、視差情報を構成する絶対値情報をさらに含めるだけで済む。
【００６５】
各分割領域における視差情報の代表は、例えば、分割領域内において、画素毎、あるいは所定の大きさのブロック毎の視差情報を表示スキャン順に比較していくことで求めることができる。図１４は、上述したように、画像表示面を対角線により４分割する分割パターンにおける各分割領域の視差情報の代表の求め方を示している。この場合、各分割領域では、視差情報の代表として、「Disparity_00」、「Disparity_01」、「Disparity_10」、「Disparity_11」が求められる。
【００６６】
画像表示面を対角線により４分割する分割パターンにおいて、各分割領域の画像面情報だけでなく視差情報をも送信する場合、例えば、上述したように求められた各分割領域の視差情報の代表が使用される。その場合、図１５に示すように、ＯＳＤグラフィクス情報を画像の端部分にシフトした形で重畳表示する場合、その重畳表示位置に対応した分割領域の視差情報（代表）を用いて、左眼、右眼のＯＳＤグラフィクス情報に視差を付与することが可能となる。
【００６７】
奥行き情報セットには、分割領域毎に、あるいは各分割領域共通に、視差情報の存在を示すフラグ情報が挿入される。奥行き情報として、画像面情報の他に視差情報が含まれることで、受信側において、立体画像面の位置がモニタポジションに対して手前にあるか否かだけでなく、その位置をより詳細に把握可能となる。また、フラグ情報が挿入されていることにより、奥行き情報として、画像面情報のみ、あるいは画面情報および視差情報の双方を、選択的に送信することが可能となる。
【００６８】
受信側において画像にＯＳＤグラフィクス情報を重畳する場合、左右のＯＳＤグラフィクス情報に視差を付与しなければならないのは、立体画像面がモニタポジションより手前にある場合である。その場合、左右のＯＳＤグラフィクス情報に視差を付与して、このＯＳＤグラフィクス情報が立体画像面より手前に知覚されるようにする必要がある。ただ、左右のＯＳＤグラフィクス情報にどの程度の視差を付与するかは受信側で任意に設定可能であり、従って、画像面情報のみを送信することにも充分意義がある。
【００６９】
マルチプレクサ１２６は、ビデオエンコーダ１１９およびオーディオエンコーダ１２０からの各データストリームを多重化し、ビットストリームデータ（トランスポートストリーム）ＢＳＤとしての多重化データストリームを得る。また、マルチプレクサ１２６は、このビットストリームデータＢＳＤに、奥行き情報セット作成部１２２で作成された奥行き情報セットを挿入する。具体的には、マルチプレクサ１２６は、ビットストリームデータＢＳＤに挿入されるＰＳＩ情報またはＳＩ情報の所定位置に、奥行き情報セットを含むデスクリプタ（ｚ−Surface descriptor）を挿入する。このデスクリプタの詳細については、後述する。
【００７０】
図２に示す送信データ生成部１１０の動作を簡単に説明する。カメラ１１１Ｌでは、左眼画像が撮影される。このカメラ１１１Ｌで得られる立体画像表示のための左眼画像データはビデオフレーミング部１１２に供給される。また、カメラ１１１Ｒでは、右眼画像が撮影される。このカメラ１１１Ｒで得られる立体画像表示のための右眼画像データはビデオフレーミング部１１２に供給される。ビデオフレーミング部１１２では、左眼画像データおよび右眼画像データが、伝送フォーマットに応じた状態に加工処理されて、立体画像データが得られる（図４（ａ）〜（ｃ）参照）。
【００７１】
ビデオフレーミング部１１２で得られた立体画像データは、切り換えスイッチ１１６のａ側の固定端子に供給される。また、データ取り出し部１１５で得られた立体画像データは、切り換えスイッチ１１６のｂ側の固定端子に供給される。ライブモードでは、切り換えスイッチ１１６はａ側に接続され、この切り換えスイッチ１１６からはビデオフレーミング部１１２で得られた立体画像データが取り出される。再生モードでは、切り換えスイッチ１１６はｂ側に接続され、この切り換えスイッチ１１６からはデータ取り出し部１１５から出力された立体画像データが取り出される。
【００７２】
切り換えスイッチ１１６で取り出された立体画像データは、ビデオエンコーダ１１９に供給される。このビデオエンコーダ１１９では、その立体画像データに対してＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化が施され、符号化ビデオデータを含むビデオデータストリームが生成される。このビデオデータストリームはマルチプレクサ１２６に供給される。
【００７３】
マイクロホン１１４で得られた音声データは、切り換えスイッチ１１８のａ側の固定端子に供給される。また、データ取り出し部１１５で得られた音声データは、切り換えスイッチ１１８のｂ側の固定端子に供給される。ライブモードでは、切り換えスイッチ１１８はａ側に接続され、この切り換えスイッチ１１８からはマイクロホン１１４で得られた音声データが取り出される。再生モードでは、切り換えスイッチ１１８はｂ側に接続され、この切り換えスイッチ１１８からはデータ取り出し部１１５から出力された音声データが取り出される。
【００７４】
切り換えスイッチ１１８で取り出された音声データはオーディオエンコーダ１２０に供給される。このオーディオエンコーダ１２０では、音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ、あるいは、ＭＰＥＧ−４ ＡＡＣ等の符号化が施され、符号化オーディオデータを含むオーディオデータストリームが生成される。このオーディオデータストリームはマルチプレクサ１２６に供給される。
【００７５】
カメラ１１１Ｌ，１１１Ｒで得られた左眼画像データ、右眼画像データは、ビデオフレーミング部１１２を通じて、ディスパリティ・マップ生成部１１３に供給される。このディスパリティ・マップ生成部１１３では、左眼画像データおよび右眼画像データに基づき、ピクセル（画素）毎の視差ベクトルが検出され、ディスパリティ・マップが生成される。このディスパリティ・マップは、切換スイッチ１１７のａ側の固定端子に供給される。また、データ取り出し部１１５から出力されたディスパリティ・マップは、切り換えスイッチ１１７のｂ側の固定端子に供給される。
【００７６】
ライブモードでは、切り換えスイッチ１１７はａ側に接続され、この切り換えスイッチ１１７からはディスパリティ・マップ生成部１１３で生成されたディスパリティ・マップが取り出される。再生モードでは、切り換えスイッチ１１７はｂ側に接続され、この切り換えスイッチ１１７からはデータ取り出し部１１５から出力されたディスパリティ・マップが取り出される。
【００７７】
切り換えスイッチ１１７で取り出されたディスパリティ・マップは、奥行き情報セット作成部１２２に供給される。この奥行き情報セット作成部１２２では、ディスパリティ・マップに基づいて、切り換えスイッチ１１６から出力される所定番組の立体画像データに対応した奥行き情報セットが作成される。この奥行き情報セットには、画像表示面の分割情報と各分割領域の奥行き情報が含まれている。この奥行き情報セットは、マルチプレクサ１２６に供給される。
【００７８】
マルチプレクサ１２６では、ビデオエンコーダ１１９およびオーディオエンコーダ１２０からの各データストリームが多重化され、ビットストリームデータ（トランスポートストリーム）ＢＳＤとしての多重化データストリームが得られる。
【００７９】
また、このマルチプレクサ１２６では、このビットストリームデータＢＳＤに、奥行き情報セット作成部１２２で作成された奥行き情報セットが挿入される。すなわち、このマルチプレクサ１２６では、ビットストリームデータＢＳＤに挿入されるＰＳＩ情報またはＳＩ情報の所定位置に、奥行き情報セットを含むデスクリプタ（ｚ−Surface descriptor）が挿入される。
【００８０】
［多重化データストリームの構成例］
図１６〜図１８は、多重化データストリーム（トランスポートストリーム）の構成例を示している。この多重化データストリームには、各エレメンタリストリームをパケット化して得られたＰＥＳパケットが含まれている。この構成例では、ビデオエレメンタリストリームのＰＥＳパケット「Video PES」、オーディオエレメンタリストリームのＰＥＳパケット「AudioPES」が含まれている。
【００８１】
また、トランスポートストリームには、ＰＳＩ（Program SpecificInformation）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記載した情報である。また、トランスポートストリームには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(EventInformation Table)が含まれている。このＥＩＴには、番組単位のメタデータが記載される。
【００８２】
ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・デスクリプタ（ProgramDescriptor）が存在する。また、このＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ、オーディオエレメンタリ・ループが存在する。各エレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）等の情報が配置されると共に、図示していないが、そのエレメンタリストリームに関連する情報を記述する記述子（デスクリプタ）も配置される。
【００８３】
図１６、図１７に示す多重化データストリームの構成例は、奥行き情報セットを含むデスクリプタ（ｚ−Surface descriptor）を、ＰＭＴの配下に挿入する例である。すなわち、図１６に示す多重化データストリームの構成例（case1）では、ＰＭＴ中のプログラム・デスクリプタ（Program Descriptor）に、デスクリプタ（ｚ−Surfacedescriptor）が配置されている。また、図１７に示す多重化データストリームの構成例（case2）では、ビデオ・エレメンタリ・ループ（Video ES loop）のデスクリプタ（descriptor）部分に、デスクリプタ（ｚ−Surface descriptor）が配置されている。また、図１８に示す多重化データストリームの構成例（case3）は、奥行き情報セットを含むデスクリプタ（ｚ−Surface descriptor）を、ＥＩＴの配下に挿入する例である。
【００８４】
奥行き情報セットを含むデスクリプタ（ｚ−Surface descriptor）をＰＭＴの配下に挿入する場合、図１９に示すように、番組期間中の所定タイミングでデスクリプタを送ることができ、番組期間中において、奥行き情報をダイナミックに変化させることが可能となる。図１９に示す例では、番組期間中において、奥行き情報ａ、奥行き情報ｂ、奥行き情報ｃの順にダイナミックに変えられている。この奥行き情報の更新期間は、例えば、１００ｍsec、あるいは１００ｍｓｅｃより長い期間とされる。
【００８５】
デスクリプタを送信するタイミングとしては、例えば、シーン変化点が考えられる。その場合、番組期間中の先頭タイミングでデスクリプタを送信し、その後は、シーン変化点毎にデスクリプタを送信して、奥行き情報の更新が図られる。図２０は、シーン検出とデスクリプタ送信の処理概要を示している。
【００８６】
この場合、現在フレームに含まれる全てのブロックについて、１フレーム前の画像データと比較されて動きベクトルが検出される。そして、現在フレームと１フレーム前のフレームとの間で、相関度の検査値として、ブロック毎の動きベクトル（大きさ）の差分値の総和Σ（mv((t-1)-mv(t))が算出される。同様に、１フレーム前のフレームと２フレーム前のフレームとの間で、相関度の検査値として、ブロック毎の動きベクトル（大きさ）の差分値の総和Σ（mv((t-2)-mv(t-1))が算出される。
【００８７】
１フレーム前のフレームと２フレーム前のフレームの間の動きベクトルの相関が高く、かつ、現在フレームと１フレーム前のフレームとの間の動きベクトルの相関が小さいとき、シーン変化があったと判断される。つまり、「Σ（mv((t-2)-mv(t-1))＜threshold2）」を満たし、かつ「Σ（mv((t-1)-mv(t))＜threshold1）を満たさないとき、シーン変化があったと判断される。このようにシーン変化があったと判断されたとき、デスクリプタの送信が行われる。このデスクリプタには、シーン変化後の画像（現在フレームの画像）に対応した奥行き情報が含まれることとなる。なお、シーン検出方法は、上述例に限定されないことは勿論である。
【００８８】
上述したように、番組期間中において、所定期間毎の奥行き情報を含むデスクリプタを送ることができる、その場合、図１９に示すように、各期間の開始時点に対応させてデスクリプタ（ｚ−Surface descriptor）が送信される。この場合、デスクリプタに、当該期間の奥行き情報を含ませることの他に、当該期間より後の期間、例えば１つ後の期間の奥行き情報を、いわゆる先出し情報として含ませることも考えられる。
【００８９】
図２１は、その場合における各デスクリプタ（ｚ−Surface descriptor）の送信タイミングと、各デスクリプタに含まれる奥行き情報との関係を示している。例えば、期間Ａの開始時点で送信されるデスクリプタ（ｚ−Surface descriptor）には、期間Ｂの奥行き情報ｂが含まれる。また、期間Ｂの開始時点で送信されるデスクリプタ（ｚ−Surface descriptor）には、期間Ｃの奥行き情報ｃが含まれる。以下の各期間の開始時点で送信されるデスクリプタ（ｚ−Surface descriptor）においても同様であり、そのデスクリプタには、次に期間の奥行き情報が含まれる。
【００９０】
このように各期間の開始時点で送信されるデスクリプタ（ｚ−Surface descriptor）に、その後の期間、例えば１つ後の期間の奥行き情報を先出し情報として含ませることで、受信側において時間方向変化がなだらかな視差情報を得ることが可能となる。すなわち、受信側において、各期間の左眼重畳情報と右眼重畳情報との間に視差を付与する際に使用する視差情報として、当該期間および当該期間の前後の期間の奥行き情報セットに含まれる視差情報を用いた補間処理を行うことが可能となる。そして、これにより、時間方向（フレーム方向の）変化がなだらかな、つまり更新カーブがスムーズとなる視差情報を得ることが可能となる。
【００９１】
なお、図２１において、破線Ｓ１は送信される立体画像データにおける視差情報カーブ（Videodisparity curve）の一例を示し、実線Ｓ２は、各期間に対応して更新される視差情報（Disparityupdate）の一例を示している。また、この図２１において、破線Ｓ３は、受信側において、補間処理で得られる視差情報カーブ（Receiverinterpolation curve）の一例を示している。
【００９２】
この場合、受信側においては、例えば以下のような補間処理が行われる。すなわち、各期間の前半では、前の期間の視差情報と当該期間の視差情報との混合比率が当該期間の方が順次高くされていくことで、各時点の補間視差情報が得られる。また、各期間の後半では、当該期間の視差情報と後の期間の視差情報との混合比率が後の期間の方が順次高くされていくことで、各時点の補間視差情報が得られる。
【００９３】
また、奥行き情報セットを含むデスクリプタ（ｚ−Surface descriptor）をＥＩＴの配下に挿入する場合、図２２に示すように、番組の最初にデスクリプタ送信でき、番組期間中において、奥行き情報は固定となる。
【００９４】
［デスクリプタ（ｚ−Surface descriptor）の構造例］
図２３は、デスクリプタ（ｚ−Surface descriptor）の構造例（Syntax）を示している。図２４は、図２３に示す構造例における主要な情報の内容（Semantics）を示している。「descriptor_tag」の８ビットフィールドは、デスクリプタ（記述子）のタイプを示し、ここでは、デスクリプタ（ｚ−Surface descriptor）であることを示す。「descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示す８ビットのデータである。このデータは、デスクリプタの長さとして、「descriptor _length」以降のバイト数を示す。
【００９５】
「display_partition_type」の２ビットフィールドは、画像表示面の分割タイプを示す（図７〜図１３参照）。「number_of_partition」の４ビットフィールドは、画像表示面の分割数を示す。ここで、“0000”は画像表示面が分割されていないこと、つまり、分割数＝１を示す。この場合には、デスクリプタ（ｚ−Surface descriptor）には、画像表示面の全体に対する、単一の奥行き情報が含まれる。画像表示面の分割数分だけ、以降のforループが繰り返される。
【００９６】
「z_depth_negative 」の１ビットフィールドは、画像面情報を示す。この画像面情報は、上述したように、モニタポジションに対して立体画像面（対応する分割領域の画像内の、遠近感でいうところの最も近い物体の面）が負（手前）にあるか否かを示す。“１”は、立体画像面がモニタポジションに対して負（手前）にあることを示す。“１”は、立体画像面がモニタポジションと同じか、モニタポジションに対して正（奥）にあることを示す。
【００９７】
なお、この実施の形態においては、上述したように、「z_depth_negative 」の１ビットフィールドとして、視差情報を構成する符号情報が用いられる。この場合の視差情報は、対応する領域の画像を構成する各ピクセル（画素）の視差情報（視差ベクトル）のうち、遠近感でいうところの最も手前に知覚されるピクセルの視差情報であり、立体画像面を構成するピクセルの視差情報である。
【００９８】
「disparity_value_flag」は、上述の画像面情報の他に、視差情報が存在するか否かを示す１ビットのフラグ情報である。この場合の視差情報は、例えば、上述した立体画像面を構成するピクセルの視差情報である。“１”は視差情報が存在することを示し、“０”は視差情報が存在しないことを示す。このフラグ情報が“１”であるとき、「absolute_disparity_value」の８ビットフィールドが存在する。この「absolute_disparity_value」は、視差情報を構成する絶対値情報を示す。この絶対値情報と上述の画像面情報としての符号情報により、視差情報が構成される。
【００９９】
図２５は、デスクリプタ（ｚ−Surface descriptor）の他の構造例（Syntax）を示している。この構造例において、「disparity_value_flag」は各分割領域で共通とされ、forループの外側に配置されている。forループの中には、「z_depth_negative 」の１ビットフィールドが存在する。また、このforループの中には、「disparity_value_flag」が“１”で視差情報の存在を示すとき「absolute_disparity_value」の７ビットフィールドが存在し、その他のとき７ビットの「reserved」が存在する。
【０１００】
このように、図２５に示すデスクリプタ（ｚ−Surface descriptor）の構造例では、forループ中のバイトアライン（Byte Align）が確保されている。つまり、この図２５に示すデスクリプタの構造例では、forループ中に、バイトアライン（Byte Align）を確保するための「bit_stuffing」は不要となる。
【０１０１】
図２に示す送信データ生成部１１０において、マルチプレクサ１２６から出力されるビットストリームデータＢＳＤには、左眼画像データおよび右眼画像データを有する所定番組の立体画像データと共に、所定番組の立体画像データに対応した奥行き情報セットが含まれている。そのため、受信側において、この奥行き情報セットを用いることで、左眼画像および右眼画像に重畳される重畳情報、例えばＯＳＤ等のグラフィクス情報として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができる。これにより、例えばＯＳＤ等のグラフィクス情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。
【０１０２】
また、図２に示す送信データ生成部１１０において、奥行き情報セットは、画像表示面の分割情報と各分割領域の奥行き情報を含むものであって、立体画像データを含むデータストリームを有するビットストリームデータ（多重化データストリーム）ＢＳＤに挿入されるデスクリプタに含まれて送信される。つまり、奥行き情報セットを、デスクリプタを用いて、受信側に簡単に送信できる。
【０１０３】
［セットトップボックスの説明］
図１に戻って、セットトップボックス２００は、放送局１００から放送波にのせて送信されてくるビットストリームデータ（トランスポートストリーム）ＢＳＤを受信する。このビットストリームデータＢＳＤには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データ、奥行き情報セットが含まれる。
【０１０４】
セットトップボックス２００は、ビットストリーム処理部２０１を有している。このビットストリーム処理部２０１は、ビットストリームデータから、立体画像データ、音声データ、奥行き情報セット等を抽出する。このビットストリーム処理部２０１は、適宜、ＯＳＤ等のグラフィクス情報が重畳された左眼画像および右眼画像のデータを生成する。この場合、奥行き情報セットに基づいて、左眼画像に重畳する左眼グラフィクス情報と右眼画像に重畳する右眼グラフィクス情報との間には視差が付与される。このように左眼グラフィクス情報と右眼グラフィクスとの間に視差が付与されることで、ユーザは、立体画像に重畳されるＯＳＤ等のグラフィクス情報を、例えば、画像の手前に認識可能となる。
【０１０５】
［セットトップボックスの構成例］
セットトップボックス２００の構成例を説明する。図２６は、セットトップボックス２００の構成例を示している。このセットトップボックス２００は、ビットストリーム処理部２０１と、ＨＤＭＩ端子２０２と、アンテナ端子２０３と、デジタルチューナ２０４と、映像処理回路２０５と、ＨＤＭＩ送信部２０６と、音声処理回路２０７を有している。また、このセットトップボックス２００は、ＣＰＵ２１１と、フラッシュＲＯＭ２１２と、ＤＲＡＭ２１３と、内部バス２１４と、リモコン受信部２１５と、リモコン送信機２１６を有している。
【０１０６】
アンテナ端子２０３は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２０４は、アンテナ端子２０３に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤを出力する。
【０１０７】
ビットストリーム処理部２０１は、上述したように、ビットストリームデータＢＳＤから立体画像データ、音声データ等を抽出して出力する。このビットストリーム処理部２０１は、立体画像データに対して、適宜、ＯＳＤ等のグラフィクス情報の表示データを合成する。その際、ビットストリーム処理部２０１は、奥行き情報セットに基づいて、適宜、左眼画像に重畳する左眼グラフィクス情報と右眼画像に重畳する右眼グラフィクス情報との間に視差を付与する。
【０１０８】
映像処理回路２０５は、ビットストリーム処理部２０１から出力される立体画像データに対して必要に応じて画質調整処理などを行い、処理後の立体画像データをＨＤＭＩ送信部２０６に供給する。音声処理回路２０７は、ビットストリーム処理部２０１から出力された音声データに対して必要に応じて音質調整処理等を行い、処理後の音声データをＨＤＭＩ送信部２０６に供給する。
【０１０９】
ＨＤＭＩ送信部２０６は、ＨＤＭＩに準拠した通信により、例えば、非圧縮の画像データおよび音声データを、ＨＤＭＩ端子２０２から送出する。この場合、ＨＤＭＩのＴＭＤＳチャネルで送信するため、画像データおよび音声データはパッキングされ、ＨＤＭＩ送信部２０６からＨＤＭＩ端子２０２に出力される。また、このＨＤＭＩ送信部２０６は、上述の奥行き情報セットを、ＨＤＭＩインタフェースで、テレビ受信機３００に送信する。このＨＤＭＩ送信部２０６の詳細は後述する。
【０１１０】
ＣＰＵ２１１は、セットトップボックス２００の各部の動作を制御する。フラッシュＲＯＭ２１２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２１３は、ＣＰＵ２１１のワークエリアを構成する。ＣＰＵ２１１は、フラッシュＲＯＭ２１２から読み出したソフトウェアやデータをＤＲＡＭ２１３上に展開してソフトウェアを起動させ、セットトップボックス２００の各部を制御する。
【０１１１】
リモコン受信部２１５は、リモコン送信機２１６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ２１１に供給する。ＣＰＵ２１１は、このリモコンコードに基づいて、セットトップボックス２００の各部を制御する。ＣＰＵ２１１、フラッシュＲＯＭ２１２およびＤＲＡＭ２１３は内部バス２１４に接続されている。
【０１１２】
ビットストリーム処理部２０１について説明する。このビットストリーム処理部２０１は、デマルチプレクサ２２０と、ビデオデコーダ２２１と、オーディオデコーダ２２４と、ＯＳＤ表示データ発生部２２６と、ビデオ重畳部２２８を有している。デマルチプレクサ２２０は、ビットストリームデータＢＳＤから、ビデオ、オーディオのパケットを抽出し、各デコーダに送る。また、デマルチプレクサ２２０は、ビットストリームデータＢＳＤから、奥行き情報セットを抽出し、ＯＳＤ表示データ発生部２２６と、上述したＨＤＭＩ送信部２０６に送る。
【０１１３】
ビデオデコーダ２２１は、デマルチプレクサ２２０で抽出されたビデオのパケットからビデオのエレメンタリストリームを再構成し、復号化処理を行って、左眼画像データおよび右眼画像データを含む立体画像データを得る。オーディオデコーダ２２４は、デマルチプレクサ２２０で抽出されたオーディオのパケットからオーディオのエレメンタリストリームを再構成し、復号化処理を行って、音声データを得て、ビットストリーム処理部２０１の外部に出力する。
【０１１４】
ＯＳＤ表示データ発生部２２６は、立体画像データに含まれる左眼画像データに対応した左眼グラフィクス情報のデータおよび立体画像データに含まれる右眼画像データに対応した右眼グラフィクス情報のデータを発生する。この場合、ＯＳＤ表示データ発生部２２６は、デマルチプレクサ２２０で抽出された奥行き情報セットに含まれる画像面情報、あるいは画像面情報および視差情報に基づいて、左眼グラフィクス情報と右眼グラフィクス情報との間に、適宜、視差を付与する。
【０１１５】
例えば、画像面情報に基づいて、立体画像面がモニタポジションに対して手前に位置する場合には、グラフィクス情報が立体画像面より手前に知覚されるように、予め決められた所定の視差が付与される。また、例えば、画像面情報に基づいて、立体画像面がモニタポジションと同じ位置か、あるいはそれより奥に位置する場合には、視差は付与されない。また、例えば、視差情報に基づいて、グラフィクス情報が立体画像面より手前に知覚されるように視差が付与される。
【０１１６】
ここで、奥行き情報セットを含むデスクリプタ（ｚ−Surface descriptor）がＰＭＴの配下に挿入される場合にあっては、番組期間中において各分割領域の奥行き情報の更新が可能となる（図１９参照）。ＯＳＤ表示データ発生部２２６は、このように更新される奥行き情報、例えば視差情報を用いることで、左眼および右眼のグラフィクス情報に付与する視差を動的に変化させることができる。
【０１１７】
この場合、ＯＳＤ表示データ発生部２２６は、あるデスクリプタ（ｚ−Surfacedescriptor）に含まれる視差情報を次にデスクリプタ（ｚ−Surface descriptor）が送信されてくるまでの各フレームで使用するということを、繰り返すことも可能である。しかし、その場合、デスクリプタが送信されてきて視差情報が更新される時点で、左眼および右眼のグラフィクス情報に付与する視差が急激に変化して視聴者に違和感を発生させるおそれがある。
【０１１８】
そこで、この実施の形態において、ＯＳＤ表示データ発生部２２６は、図２７に示すように、次のデスクリプタ（ｚ−Surface descriptor）が送られてきた場合、そのデスクリプタに含まれる視差情報を直ちに用いることをしない。つまり、ＯＳＤ表示データ発生部２２６は、新たな視差情報に複数フレームをかけて到達するように、この複数フレームの間は補間処理による視差情報（破線図示）を使用する。この処理により、視差付与に使用される視差情報の時間方向（フレーム方向の）変化をなだらかにでき、左眼および右眼のグラフィクス情報に付与する視差が急激に変化して視聴者に違和感を発生させることを抑制できる。
【０１１９】
上述の図２７に示す補間処理例は、各期間の開始時点に対応して送られてくるデスクリプタ（ｚ−Surface descriptor）に、当該期間の奥行き情報が含まれている場合を示している。各期間の開始時点に対応して送られてくるデスクリプタ（ｚ−Surface descriptor）に、その後の期間、例えば１つ後の期間の奥行き情報が含まれている場合の補間処理例を説明する。
【０１２０】
図２８は、その場合の補間処理例を示している。この場合、期間Ａの開始時点で送られてくるデスクリプタ（ｚ−Surface descriptor）には、期間Ｂの奥行き情報ｂが含まれている。また、期間Ｂの開始時点で送られてくるデスクリプタ（ｚ−Surface descriptor）には、期間Ｃの奥行き情報ｃが含まれている。以下の各期間の開始時点で送られてくるデスクリプタ（ｚ−Surface descriptor）においても同様であり、そのデスクリプタには、次に期間の奥行き情報が含まれている。
【０１２１】
この場合、以下のような補間処理が行われて、各時点の補間視差情報が得られる。すなわち、各期間の前半では、前の期間の視差情報と当該期間の視差情報との混合比率が当該期間の方が順次高くされていくことで、各時点の補間視差情報が得られる。また、各期間の後半では、当該期間の視差情報と後の期間の視差情報との混合比率が後の期間の方が順次高くされていくことで、各時点の補間視差情報が得られる。
【０１２２】
例えば、期間Ａの中間時点から期間Ｂの中間時点までの期間Ｔ＿ＡＢの各時点の補間視差情報は、期間Ａの視差情報と期間Ｂの視差情報との混合比率を順次変化させることで得られる。この場合、期間Ａの視差情報に関しては１００％から０％に順次変化させられ、期間Ｂの視差情報に関しては０％から１００％に順次変化させられる。また、例えば、期間Ｂの中間時点から期間Ｃの中間時点までの期間Ｔ＿ＢＣの各時点の補間視差情報は、期間Ｂの視差情報と期間Ｃの視差情報との混合比率を順次変化させることで得られる。この場合、期間Ｂの視差情報に関しては１００％から０％に順次変化させられ、期間Ｃの視差情報に関しては０％から１００％に順次変化させられる。
【０１２３】
なお、図２８において、破線Ｓ１は送信されてくる立体画像データにおける視差情報カーブ（Videodisparity curve）の一例を示し、実線Ｓ２は、各期間に対応して更新される視差情報（Disparityupdate）の一例を示している。また、この図２８において、破線Ｓ３は、補間処理で得られる視差情報カーブ（Receiver interpolationcurve）の一例を示している。
【０１２４】
図２８に示すような補間処理が行われることで、時間方向変化がなだらかな、つまり更新カーブがスムーズとなる視差情報を得ることが可能となる。これにより、視差付与に使用される視差情報の時間方向（フレーム方向の）変化をなだらかにでき、左眼および右眼のグラフィクス情報に付与する視差が急激に変化して視聴者に違和感を発生させることを抑制できる。
【０１２５】
ビデオ重畳部２２８は、ビデオデコーダ２２１で得られた立体画像データ（左眼画像データ、右眼画像データ）に対し、ＯＳＤ表示データ発生部２２６で発生された左眼および左眼のグラフィクス情報のデータを重畳し、表示用立体画像データを得る。そして、このビデオ重畳部２２８は、表示用立体画像データを、ビットストリーム処理部２０１の外部に出力する。
【０１２６】
セットトップボックス２００の動作を簡単に説明する。アンテナ端子２０３に入力されたテレビ放送信号はデジタルチューナ２０４に供給される。このデジタルチューナ２０４では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤが出力される。
【０１２７】
デジタルチューナ２０４から出力されるビットストリームデータＢＳＤは、ビットストリーム処理部２０１に供給される。このビットストリーム処理部２０１では、ビットストリームデータＢＳＤから立体画像データ、音声データ、奥行き情報セット等が抽出される。ビットストリーム処理部２０１では、立体画像データに対して、適宜、ＯＳＤ等のグラフィクス情報の表示データが合成される。
【０１２８】
その際、ビットストリーム処理部２０１では、奥行き情報セットに基づいて、左眼画像に重畳する左眼グラフィクス情報と右眼画像に重畳する右眼グラフィクス情報との間に視差が付与される。これにより、立体画像に重畳表示されるＯＳＤ等のグラフィクス情報に関して、画像内の各物体との間の遠近感の整合性を最適な状態に維持することが可能となる。
【０１２９】
ビットストリーム処理部２０１で得られた表示用立体画像データは、映像処理回路２０５に供給される。この映像処理回路２０５では、表示用立体画像データに対して、必要に応じて画質調整処理等が行われる。この映像処理回路２０５から出力される処理後の表示用立体画像データは、ＨＤＭＩ送信部２０６に供給される。
【０１３０】
また、ビットストリーム処理部２０１で得られた音声データは、音声処理回路２０７に供給される。この音声処理回路２０７では、音声データに対して、必要に応じて音質調整処理等の処理が行われる。この音声処理回路２０７から出力される処理後の音声データは、ＨＤＭＩ送信部２０６に供給される。そして、ＨＤＭＩ送信部２０６に供給された立体画像データおよび音声データは、ＨＤＭＩのＴＭＤＳチャネルにより、ＨＤＭＩ端子２０２からＨＤＭＩケーブル４００に送出される。
【０１３１】
［テレビ受信機の説明］
図１に戻って、テレビ受信機３００は、セットトップボックス２００からＨＤＭＩケーブル４００を介して送られてくる立体画像データを受信する。このテレビ受信機３００は、３Ｄ信号処理部３０１を有している。この３Ｄ信号処理部３０１は、立体画像データに対して、伝送方式に対応した処理（デコード処理）を行って、左眼画像データおよび右眼画像データを生成する。この３Ｄ信号処理部３０１は、立体画像データを構成する左眼画像データおよび右眼画像データを取得する。
【０１３２】
［テレビ受信機の構成例］
テレビ受信機３００の構成例を説明する。図２９は、テレビ受信機３００の構成例を示している。このテレビ受信機３００は、３Ｄ信号処理部３０１と、ＨＤＭＩ端子３０２と、ＨＤＭＩ受信部３０３と、アンテナ端子３０４と、デジタルチューナ３０５と、ビットストリーム処理部３０６を有している。
【０１３３】
また、このテレビ受信機３００は、ＯＳＤ表示データ発生部３１３と、ビデオ重畳部３１４と、映像処理回路３０７と、パネル駆動回路３０８と、表示パネル３０９と、音声処理回路３１０と、音声増幅回路３１１と、スピーカ３１２を有している。また、このテレビ受信機３００は、ＣＰＵ３２１と、フラッシュＲＯＭ３２２と、ＤＲＡＭ３２３と、内部バス３２４と、リモコン受信部３２５と、リモコン送信機３２６を有している。
【０１３４】
アンテナ端子３０４は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ３０５は、アンテナ端子３０４に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）を出力する。
【０１３５】
ビットストリーム処理部３０６は、図２６に示すセットトップボックス２００のビットストリーム処理部２０１と同様の構成とされている。このビットストリーム処理部３０６は、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、奥行き情報セット等を抽出する。
【０１３６】
ＨＤＭＩ受信部３０３は、ＨＤＭＩに準拠した通信により、ＨＤＭＩケーブル４００を介してＨＤＭＩ端子３０２に供給される非圧縮の画像データおよび音声データを受信する。このＨＤＭＩ受信部３０３は、そのバージョンが例えばＨＤＭＩ１．４とされており、立体画像データの取り扱いが可能な状態にある。また、このＨＤＭＩ受信部３０３は、上述の奥行き情報セットを、ＨＤＭＩインタフェースで、セットトップボックス２００から受信する。このＨＤＭＩ受信部３０３の詳細は後述する。
【０１３７】
３Ｄ信号処理部３０１は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた立体画像データに対して、デコード処理を行って、左眼画像データおよび右眼画像データを生成する。この場合、３Ｄ信号処理部３０１は、ビットストリーム処理部３０６で得られた立体画像データに対しては、その伝送方フォーマットに対応したデコード処理を行う。また、３Ｄ信号処理部３０１は、ＨＤＭＩ受信部３０３で受信された立体画像データに対しては、後述するＴＭＤＳ伝送データ構造に対応したデコード処理を行う。
【０１３８】
ＯＳＤ表示データ発生部３１３は、立体画像データに含まれる左眼画像データに対応した左眼グラフィクス情報のデータおよび立体画像データに含まれる右眼画像データに対応した右眼グラフィクス情報のデータを発生する。このグラフィクス情報は、メニュー、番組表などのＯＳＤ表示のための重畳情報である。
【０１３９】
この場合、ＯＳＤ表示データ発生部３１３は、ビットストリーム処理部３０６で得られた、あるいはＨＤＭＩ受信部３０３で受信された奥行き情報セットに基づいて、左眼グラフィクス情報と右眼グラフィクス情報との間に視差を付与する。ここで、ＯＳＤ表示データ発生部３１３は、奥行き情報セットに含まれる画像面情報、あるいは画像面情報および視差情報に基づいて、左眼グラフィクス情報と右眼グラフィクス情報との間に、適宜、視差を付与する。
【０１４０】
例えば、画像面情報に基づいて、立体画像面がモニタポジションに対して手前に位置する場合には、グラフィクス情報が立体画像面より手前に知覚されるように、予め決められた所定の視差が付与される。また、例えば、画像面情報に基づいて、立体画像面がモニタポジションと同じ位置か、あるいはそれより奥に位置する場合には、視差は付与されない。また、例えば、視差情報に基づいて、グラフィクス情報が立体画像面より手前に知覚されるように視差が付与される。
【０１４１】
ビデオ重畳部３１４は、３Ｄ信号処理部３０１で得られた立体画像データ（左眼画像データ、右眼画像データ）に対し、ＯＳＤ表示データ発生部３１３で発生された左眼および左眼のグラフィクス情報のデータを重畳し、表示用立体画像データを得る。
【０１４２】
映像処理回路３０７は、３Ｄ信号処理部３０１で生成された左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データを生成する。また、映像処理回路３０７は、画像データに対して、必要に応じて、画質調整処理を行う。パネル駆動回路３０８は、映像処理回路３０７から出力される画像データに基づいて、表示パネル３０９を駆動する。表示パネル３０９は、例えば、ＬＣＤ(Liquid Crystal Display)、ＰＤＰ(Plasma DisplayPanel)等で構成されている。
【０１４３】
音声処理回路３１０は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理を行う。音声増幅回路３１１は、音声処理回路３１０から出力される音声信号を増幅してスピーカ３１２に供給する。
【０１４４】
ＣＰＵ３２１は、テレビ受信機３００の各部の動作を制御する。フラッシュＲＯＭ３２２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ３２３は、ＣＰＵ３２１のワークエリアを構成する。ＣＰＵ３２１は、フラッシュＲＯＭ３２２から読み出したソフトウェアやデータをＤＲＡＭ３２３上に展開してソフトウェアを起動させ、テレビ受信機３００の各部を制御する。
【０１４５】
リモコン受信部３２５は、リモコン送信機３２６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ３２１に供給する。ＣＰＵ３２１は、このリモコンコードに基づいて、テレビ受信機３００の各部を制御する。ＣＰＵ３２１、フラッシュＲＯＭ３２２およびＤＲＡＭ３２３は、内部バス３２４に接続されている。
【０１４６】
図２９に示すテレビ受信機３００の動作を簡単に説明する。ＨＤＭＩ受信部３０３では、ＨＤＭＩ端子３０２にＨＤＭＩケーブル４００を介して接続されているセットトップボックス２００から送信されてくる、立体画像データおよび音声データが受信される。このＨＤＭＩ受信部３０３で受信された立体画像データは、３Ｄ信号処理部３０１に供給される。また、このＨＤＭＩ受信部３０３で受信された音声データは音声処理回路３１０に供給される。
【０１４７】
アンテナ端子３０４に入力されたテレビ放送信号はデジタルチューナ３０５に供給される。このデジタルチューナ３０５では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）が出力される。
【０１４８】
デジタルチューナ３０５から出力されるビットストリームデータは、ビットストリーム処理部３０６に供給される。このビットストリーム処理部３０６では、ビットストリームデータから立体画像データ（左眼画像データ、右眼画像データ）、音声データ、奥行き情報セット等が抽出される。ビットストリーム処理部３０６で得られた立体画像データは、３Ｄ信号処理部３０１に供給される。また、このビットストリーム処理部３０６で得られた音声データは、音声処理回路３１０に供給される。
【０１４９】
３Ｄ信号処理部３０１では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた立体画像データに対してデコード処理が行われて、左眼画像データおよび右眼画像データが生成される。この左眼画像データおよび右眼画像データは、ビデオ重畳部３１４に供給される。
【０１５０】
ＯＳＤ表示データ発生部３１３では、立体画像データに含まれる左眼画像データに対応した左眼グラフィクス情報のデータおよび立体画像データに含まれる右眼画像データに対応した右眼グラフィクス情報のデータが発生される。この場合、ＯＳＤ表示データ発生部３１３では、ビットストリーム処理部３０６で得られた、あるいはＨＤＭＩ受信部３０３で受信された奥行き情報セットに基づいて、左眼グラフィクス情報と右眼グラフィクス情報との間に視差が付与される。
【０１５１】
ビデオ重畳部３１４では、３Ｄ信号処理部３０１で得られた立体画像データ（左眼画像データ、右眼画像データ）に対し、ＯＳＤ表示データ発生部３１３で発生された左眼および左眼のグラフィクス情報のデータが重畳し、表示用立体画像データが得られる。この表示用立体画像データは、映像処理回路３０７に供給される。この映像処理回路３０７では、左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データが生成され、必要に応じて、画質調整処理も行われる。
【０１５２】
映像処理回路３０７で得られる画像データはパネル駆動回路３０８に供給される。そのため、表示パネル３０９により立体画像が表示される。例えば、表示パネル３０９に、左眼画像データによる左眼画像および右眼画像データによる右眼画像が交互に時分割的に表示される。視聴者は、表示パネル３０９の表示に同期して左眼シャッタおよび右眼シャッタが交互に開くシャッタメガネを装着することで、左眼では左眼画像のみを見ることができ、右眼では右眼画像のみを見ることができ、立体画像を知覚できる。
【０１５３】
また、音声処理回路３１０では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理が施される。この音声データは、音声増幅回路３１１で増幅された後に、スピーカ３１２に供給される。そのため、スピーカ３１２から表示パネル３０９の表示画像に対応した音声が出力される。
【０１５４】
［ＨＤＭＩ送信部、ＨＤＭＩ受信部の構成例］
図３０は、図１の立体画像表示システム１０における、セットトップボックス２００のＨＤＭＩ送信部（ＨＤＭＩソース）２０６と、テレビ受信機３００のＨＤＭＩ受信部（ＨＤＭＩシンク）３０３の構成例を示している。
【０１５５】
ＨＤＭＩ送信部２０６は、有効画像区間（以下、適宜、アクティブビデオ区間ともいう）において、非圧縮の１画面分の画像の画素データに対応する差動信号を、複数のチャネルで、ＨＤＭＩ受信部３０３に一方向に送信する。ここで、有効画像区間は、一の垂直同期信号から次の垂直同期信号までの区間から、水平帰線区間及び垂直帰線区間を除いた区間である。また、ＨＤＭＩ送信部２０６は、水平帰線区間または垂直帰線区間において、少なくとも画像に付随する音声データや制御データ、その他の補助データ等に対応する差動信号を、複数のチャネルで、ＨＤＭＩ受信部３０３に一方向に送信する。
【０１５６】
ＨＤＭＩ送信部２０６とＨＤＭＩ受信部３０３とからなるＨＤＭＩシステムの伝送チャネルには、以下の伝送チャネルがある。すなわち、ＨＤＭＩ送信部２０６からＨＤＭＩ受信部３０３に対して、画素データおよび音声データを、ピクセルクロックに同期して、一方向にシリアル伝送するための伝送チャネルとしての、３つのＴＭＤＳチャネル＃０乃至＃２がある。また、ピクセルクロックを伝送する伝送チャネルとしての、ＴＭＤＳクロックチャネルがある。
【０１５７】
ＨＤＭＩ送信部２０６は、ＨＤＭＩトランスミッタ８１を有する。トランスミッタ８１は、例えば、非圧縮の画像の画素データを対応する差動信号に変換し、複数のチャネルである３つのＴＭＤＳチャネル＃０，＃１，＃２で、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３０３に、一方向にシリアル伝送する。
【０１５８】
また、トランスミッタ８１は、非圧縮の画像に付随する音声データ、さらには、必要な制御データその他の補助データ等を、対応する差動信号に変換し、３つのＴＭＤＳチャネル＃０，＃１，＃２でＨＤＭＩ受信部３０３に、一方向にシリアル伝送する。
【０１５９】
さらに、トランスミッタ８１は、３つのＴＭＤＳチャネル＃０，＃１，＃２で送信する画素データに同期したピクセルクロックを、ＴＭＤＳクロックチャネルで、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３０３に送信する。ここで、１つのＴＭＤＳチャネル＃ｉ（ｉ＝０，１，２）では、ピクセルクロックの１クロックの間に、１０ビットの画素データが送信される。
【０１６０】
ＨＤＭＩ受信部３０３は、アクティブビデオ区間において、複数のチャネルで、ＨＤＭＩ送信部２０６から一方向に送信されてくる、画素データに対応する差動信号を受信する。また、このＨＤＭＩ受信部３０３は、水平帰線区間または垂直帰線区間において、複数のチャネルで、ＨＤＭＩ送信部２０６から一方向に送信されてくる、音声データや制御データに対応する差動信号を受信する。
【０１６１】
すなわち、ＨＤＭＩ受信部３０３は、ＨＤＭＩレシーバ８２を有する。このＨＤＭＩレシーバ８２は、ＴＭＤＳチャネル＃０，＃１，＃２で、ＨＤＭＩ送信部２０６から一方向に送信されてくる、画素データに対応する差動信号と、音声データや制御データに対応する差動信号を受信する。この場合、ＨＤＭＩ送信部２０６からＴＭＤＳクロックチャネルで送信されてくるピクセルクロックに同期して受信する。
【０１６２】
ＨＤＭＩシステムの伝送チャネルには、上述のＴＭＤＳチャネル＃０乃至＃２およびＴＭＤＳクロックチャネルの他に、ＤＤＣ（Display Data Channel）８３やＣＥＣライン８４と呼ばれる伝送チャネルがある。ＤＤＣ８３は、ＨＤＭＩケーブル４００に含まれる図示しない２本の信号線からなる。ＤＤＣ８３は、ＨＤＭＩ送信部２０６が、ＨＤＭＩ受信部３０３から、Ｅ−ＥＤＩＤ（Enhanced Extended Display Identification Data）を読み出すために使用される。
【０１６３】
すなわち、ＨＤＭＩ受信部３０３は、ＨＤＭＩレシーバ８１の他に、自身の性能（Configuration/capability）に関する性能情報であるＥ−ＥＤＩＤを記憶している、ＥＤＩＤ ＲＯＭ(Read Only Memory)８５を有している。ＨＤＭＩ送信部２０６は、例えば、ＣＰＵ２１１（図２６参照）からの要求に応じて、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３０３から、Ｅ−ＥＤＩＤを、ＤＤＣ８３を介して読み出す。
【０１６４】
ＨＤＭＩ送信部２０６は、読み出したＥ−ＥＤＩＤをＣＰＵ２１１に送る。ＣＰＵ２１１は、このＥ−ＥＤＩＤを、フラッシュＲＯＭ２１２あるいはＤＲＡＭ２１３に格納する。ＣＰＵ２１１は、Ｅ−ＥＤＩＤに基づき、ＨＤＭＩ受信部３０３の性能の設定を認識できる。例えば、ＣＰＵ２１１は、ＨＤＭＩ受信部３０３を有するテレビ受信機３００が立体画像データの取り扱いが可能か否か、可能である場合はさらにいかなるＴＭＤＳ伝送データ構造に対応可能であるか等を認識する。
【０１６５】
ＣＥＣライン８４は、ＨＤＭＩケーブル４００に含まれる図示しない１本の信号線からなり、ＨＤＭＩ送信部２０６とＨＤＭＩ受信部３０３との間で、制御用のデータの双方向通信を行うために用いられる。このＣＥＣライン８４は、制御データラインを構成している。
【０１６６】
また、ＨＤＭＩケーブル４００には、ＨＰＤ(Hot Plug Detect)と呼ばれるピンに接続されるライン（ＨＰＤライン）８６が含まれている。ソース機器は、当該ライン８６を利用して、シンク機器の接続を検出することができる。なお、このＨＰＤライン８６は双方向通信路を構成するＨＥＡＣ−ラインとしても使用される。また、ＨＤＭＩケーブル４００には、ソース機器からシンク機器に電源を供給するために用いられるライン（電源ライン）８７が含まれている。さらに、ＨＤＭＩケーブル４００には、ユーティリティライン８８が含まれている。このユーティリティライン８８は双方向通信路を構成するＨＥＡＣ＋ラインとしても使用される。
【０１６７】
図３１は、ＴＭＤＳ伝送データの構造例を示している。この図３１は、ＴＭＤＳチャネル＃０，＃１，＃２において、横×縦が１９２０ピクセル×１０８０ラインの画像データが伝送される場合の、各種の伝送データの区間を示している。
【０１６８】
ＨＤＭＩの３つのＴＭＤＳチャネル＃０，＃１，＃２で伝送データが伝送されるビデオフィールド（Video Field）には、伝送データの種類に応じて、３種類の区間が存在する。この３種類の区間は、ビデオデータ区間（Video Data period）、データアイランド区間（Data Islandperiod）、およびコントロール区間（Control period）である。
【０１６９】
ここで、ビデオフィールド区間は、ある垂直同期信号の立ち上がりエッジ（activeedge）から次の垂直同期信号の立ち上がりエッジまでの区間である。このビデオフィールド区間は、水平ブランキング期間（horizontal blanking）、垂直ブランキング期間（verticalblanking）、並びに、アクティブビデオ区間（Active Video）に分けられる。このアクティブビデオ区間は、ビデオフィールド区間から、水平ブランキング期間および垂直ブランキング期間を除いた区間である
【０１７０】
ビデオデータ区間は、アクティブビデオ区間に割り当てられる。このビデオデータ区間では、非圧縮の１画面分の画像データを構成する１９２０ピクセル（画素）×１０８０ライン分の有効画素（Active pixel）のデータが伝送される。
【０１７１】
データアイランド区間およびコントロール区間は、水平ブランキング期間および垂直ブランキング期間に割り当てられる。このデータアイランド区間およびコントロール区間では、補助データ（Auxiliary data）が伝送される。すなわち、データアイランド区間は、水平ブランキング期間と垂直ブランキング期間の一部分に割り当てられている。このデータアイランド区間では、補助データのうち、制御に関係しないデータである、例えば、音声データのパケット等が伝送される。
【０１７２】
コントロール区間は、水平ブランキング期間と垂直ブランキング期間の他の部分に割り当てられている。このコントロール区間では、補助データのうちの、制御に関係するデータである、例えば、垂直同期信号および水平同期信号、制御パケット等が伝送される。
【０１７３】
図３２は、ＨＤＭＩ端子のピン配列の一例を示している。図３２に示すピン配列はタイプＡ（type-A）と呼ばれている。ＴＭＤＳチャネル＃ｉの差動信号であるＴＭＤＳ Ｄａｔａ＃ｉ＋とＴＭＤＳ Ｄａｔａ＃ｉ−は差動線である２本のラインにより伝送される。この２本のラインは、ＴＭＤＳ Ｄａｔａ＃ｉ＋が割り当てられているピン（ピン番号が１，４，７のピン）と、ＴＭＤＳ Ｄａｔａ＃ｉ−が割り当てられているピン（ピン番号が３，６，９のピン）に接続される。
【０１７４】
また、制御用のデータであるＣＥＣ信号が伝送されるＣＥＣライン８４は、ピン番号が１３であるピンに接続される。また、Ｅ−ＥＤＩＤ等のＳＤＡ(Serial Data)信号が伝送されるラインは、ピン番号が１６であるピンに接続される。ＳＤＡ信号の送受信時の同期に用いられるクロック信号であるＳＣＬ(Serial Clock)信号が伝送されるラインは、ピン番号が１５であるピンに接続される。上述のＤＤＣ８３は、ＳＤＡ信号が伝送されるラインおよびＳＣＬ信号が伝送されるラインにより構成される。
【０１７５】
また、上述したようにソース機器がシンク機器の接続を検出するためのＨＰＤライン（ＨＥＡＣ−ライン）８６は、ピン番号が１９であるピンに接続される。また、ユーティリティライン（ＨＥＡＣ＋ライン）８８は、ピン番号が１４であるピンに接続される。また、上述したように電源を供給するためのライン８７は、ピン番号が１８であるピンに接続される。
【０１７６】
［ＨＤＭＩでの奥行き情報セットの送信方法］
奥行き情報セットをＨＤＭＩインタフェースで送信する方法として、例えば、ＨＤＭＩVendor Specific InfoFrame を利用する方法が考えられる。この方法では、ＨＤＭＩVendor Specific InfoFrame paketにおいて、HDMI_Video_Format＝“０１０”かつ3D_Meta_present＝１とされて、Vendor SpecificInfoFrame extensionが指定される。その場合、3D_Metadata_typeは、未使用の、例えば、“１００”と定義され、奥行き情報セットが指定される。
【０１７７】
図３３は、ＨＤＭＩVendor Specific InfoFrame のパケット構造を示している。このＨＤＭＩ VendorSpecific InfoFrameについては、CEA-861-Dに定義されているので、詳細説明は省略する。
【０１７８】
第４バイト（ＰＢ４）の第７ビットから第５ビットに、画像データの種類を示す３ビットの情報「HDMI_Video_Format」が配置されている。画像データが３Ｄ画像データである場合、この３ビットの情報は「０１０」とされる。また、このように画像データが３Ｄ画像データである場合、第５バイト（ＰＢ５）の第７ビットから第４ビットに、ＴＭＤＳ伝送データ構造を示す４ビットの情報「3D_Structure」が配置される。例えば、フレームパッキング方式の場合、この４ビットの情報は、「００００」とされる。
【０１７９】
また、第５バイト（ＰＢ５）の第３ビットに、「3D_Meta_present」が配置され、Vendor Specific InfoFrame extensionを指定する場合、この１ビットは「１」とされる。また、第７バイト（ＰＢ７）の第７ビットから第５ビットに、「3D_Metadata_type」が配置されている。奥行き情報セットの情報を指定する場合、この３ビットの情報は、未使用の、例えば、“１００”とされる。また、第７バイト（ＰＢ７）の第４バイトから第０バイトに、「3D_Metadata_length」が配置されている。この５ビットの情報により、以降に配置される3D_Metadata領域の長さが示される。
【０１８０】
また、第８バイト（ＰＢ８）の第７ビットから第６ビットに、「display_partition_type」の２ビット情報が配置される。また、第８バイト（ＰＢ８）の第３ビットから第０ビットに、「number_of_partition 」の４ビット情報が配置される。そして、以降に、「number_of_partition」が示す画像表示面の分割数に対応した個数の奥行き情報が配置される。この奥行き情報には、「z_depth_negative」の１ビット情報（画像面情報）が含まれ、さらに、「disparity_value_flag」が視差情報の存在を示すとき、「absolute_disparity_value」の８ビット情報が含まれる。
【０１８１】
上述したように、図１に示す画像送受信システム１０において、放送局１００（送信データ生成部２０１）からセットトップボックス２００やテレビ受信機３００に、左眼画像データおよび右眼画像データを有する所定番組の立体画像データと共に、この立体画像データに対応した奥行き情報セットが送信される。そのため、受信側において、この奥行き情報セットを用いることで、左眼画像および右眼画像に重畳される重畳情報、例えばＯＳＤ等のグラフィクス情報として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができる。これにより、例えばＯＳＤ等のグラフィクス情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。
【０１８２】
また、図１に示す画像送受信システム１０において、放送局１００（送信データ生成部２０１）からセットトップボックス２００やテレビ受信機３００に送信される奥行き情報セットは、画像表示面の分割情報と各分割領域の奥行き情報を含むものであって、立体画像データを含むデータストリームを有するビットストリームデータ（多重化データストリーム）ＢＳＤに挿入されるデスクリプタに含まれて送信される。つまり、放送局１００は、奥行き情報セットを、デスクリプタを用いて、受信側に簡単に送信できる。
【０１８３】
また、図１に示す画像送受信システム１０において、セットトップボックス２００からテレビ受信機３００に、所定番組の立体画像データと共に、それに対応した奥行き情報セット（画像表示面の分割情報と各分割領域の奥行き情報を含む）が、ＨＤＭＩケーブル４００を介して送信される。そのため、テレビ受信機３００において、奥行き情報セットを用いることで、左眼画像および右眼画像に重畳される重畳情報、例えばＯＳＤ等のグラフィクス情報として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができる。これにより、例えばＯＳＤ等のグラフィクス情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。
【０１８４】
＜２．変形例＞
なお、上述実施の形態においては、立体画像表示システム１０が、放送局１００、セットトップボックス２００およびテレビ受信機３００で構成されているものを示した。しかし、テレビ受信機３００は、図２９に示すように、セットトップボックス２００内のビットストリーム処理部２０１と同等に機能するビットストリーム処理部３０６を備えている。したがって、図３４に示すように、放送局１００およびテレビ受信機３００で構成される立体画像表示システム１０Ａも考えられる。
【０１８５】
また、上述実施の形態においては、セットトップボックス２００からテレビ受信機３００に奥行き情報セットを送信する方法として、ＨＤＭＩ Vendor Specific InfoFrame を利用する方法を説明した。その他に、アクティブスペース（Active Space）を利用する方法、さらには、ＨＰＤライン８６（ＨＥＡＣ−ライン）およびユーティリティライン８８（ＨＥＡＣ＋ライン）で構成される双方向通信路を通じて送信することも考えられる。
【０１８６】
また、上述実施の形態においては、セットトップボックス２００と、テレビ受信機３００とが、ＨＤＭＩのデジタルインタフェースで接続されるものを示している。しかし、これらが、ＨＤＭＩのデジタルインタフェースと同様のデジタルインタフェース（有線の他に無線も含む）で接続される場合においても、この発明を適用できることは勿論である。
【０１８７】
また、上述実施の形態においては、セットトップボックス２００からテレビ受信機３００に、ビットストリーム処理部２０１で使用されている奥行き情報セットを、ＨＤＭＩインタフェースにより送信する例を示した。しかし、このようにＨＤＭＩインタフェースを通じて奥行き情報セットを送信する技術に関しては、その他のソース機器およびシンク機器の組み合わせにも応用できることは勿論である。例えば、ソース機器としてはＢＤやＤＶＤ等のディスクプレーヤ、さらにはゲーム機なども考えられ、シンク機器としてはモニタ装置、プロジェクタ装置なども考えられる。
【産業上の利用可能性】
【０１８８】
この発明は、立体画像表示の際の重畳情報、例えばＯＳＤ等のグラフィクス情報の表示を良好に行うことができ、立体画像表示システム等に適用できる。
【符号の説明】
【０１８９】
１０，１０Ａ・・・立体画像表示システム
１００・・・放送局
１１０・・・送信データ生成部
１１１Ｌ，１１１Ｒ・・・カメラ
１１２・・・ビデオフレーミング部
１１３・・・ディスパリティ・マップ作成部
１１４・・・マイクロホン
１１５・・・データ取り出し部
１１５ａ・・・データ記録媒体
１１６〜１１８・・・切り換えスイッチ
１１９・・・ビデオエンコーダ
１２０・・・オーディオエンコーダ
１２２・・・奥行き情報セット作成部
１２６・・・マルチプレクサ
２００・・・セットトップボックス（ＳＴＢ）
２０１・・・ビットストリーム処理部
２０２・・・ＨＤＭＩ端子
２０３・・・アンテナ端子
２０４・・・デジタルチューナ
２０５・・・映像処理回路
２０６・・・ＨＤＭＩ送信部
２０７・・・音声処理回路
２１１・・・ＣＰＵ
２１５・・・リモコン受信部
２１６・・・リモコン送信機
２２０・・・デマルチプレクサ
２２１・・・ビデオデコーダ
２２４・・・オーディオデコーダ
２２６・・・ＯＳＤ表示データ発生部
２２８・・・ビデオ重畳部
３００・・・テレビ受信機（ＴＶ）
３０１・・・３Ｄ信号処理部
３０２・・・ＨＤＭＩ端子
３０３・・・ＨＤＭＩ受信部
３０４・・・アンテナ端子
３０５・・・デジタルチューナ
３０６・・・ビットストリーム処理部
３０７・・・映像処理回路
３０８・・・パネル駆動回路
３０９・・・表示パネル
３１０・・・音声処理回路
３１１・・・音声増幅回路
３１２・・・スピーカ
３１３・・・ＯＳＤ表示データ発生部
３１４・・・ビデオ重畳部
３２１・・・ＣＰＵ
３２５・・・リモコン受信部
３２６・・・リモコン送信機
４００・・・ＨＤＭＩケーブル
【特許請求の範囲】
【請求項１】
左眼画像データおよび右眼画像データを有する立体画像データを出力する画像データ出力部と、
上記画像データ出力部から出力される上記立体画像データに対応した奥行き情報セットを出力する奥行き情報セット出力部と、
上記画像データ出力部から出力される立体画像データおよび上記奥行き情報セット出力部から出力される奥行き情報セットを送信する送信部とを備え、
上記奥行き情報セットは、画像表示面の分割情報と各分割領域の奥行き情報を含み、
上記送信部は、上記画像データ出力部から出力される立体画像データを含むデータストリームを有する多重化データストリームを送信し、該多重化データストリームに、上記奥行き情報セット出力部から出力される奥行き情報セットを含むデスクリプタを挿入する
立体画像データ送信装置。
【請求項２】
上記奥行き情報は、モニタポジションに対して立体画像面が手前にあるか否かを示す画像面情報である
請求項１に記載の立体画像データ送信装置。
【請求項３】
上記画像面情報は、左眼画像および右眼画像の視差情報を構成する符号情報である
請求項２に記載の立体画像データ送信装置。
【請求項４】
上記奥行き情報は、モニタポジションに対して立体画像面が手前にあるか否かを示す画面情報、または該画像面情報と左眼画像および右眼画像の視差情報であり、
上記奥行き情報セットには、上記視差情報の存在を示すフラグ情報が挿入されている
請求項１に記載の立体画像データ送信装置。
【請求項５】
上記奥行き情報は、上記視差情報を構成する符号情報、または該符号情報および上記視差情報を構成する絶対値情報である
請求項４に記載の立体画像データ送信装置。
【請求項６】
上記多重化データストリームには、該多重化データストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを示すプログラム・スペシフィック・インフォメーションとしてのプログラム・マップ・テーブルが含まれており、
上記デスクリプタは、上記プログラム・マップ・テーブルの配下に挿入されている
請求項１に記載の立体画像データ送信装置。
【請求項７】
上記多重化データストリームには、イベント単位の管理を行うサービス・インフォメーションとしてのイベント・インフォメーション・テーブルが含まれており、
上記デスクリプタは、上記イベント・インフォメーション・テーブルの配下に挿入されている
請求項１に記載の立体画像データ送信装置。
【請求項８】
上記分割情報は、分割タイプを示す情報と分割数を示す情報とからなる
請求項１に記載の立体画像データ送信装置。
【請求項９】
上記分割タイプには、上記画像表示面を、対角線を用いて分割する分割タイプが含まれる
請求項８に記載の立体画像データ送信装置。
【請求項１０】
上記分割タイプには、上記画像表示面を、水平方向線および／または垂直方向線を用いて分割する分割タイプが含まれる
請求項８に記載の立体画像データ送信装置。
【請求項１１】
上記送信部は、上記デスクリプタを、上記立体画像データの所定期間毎の開始時点に対応させて上記多重化データストリームに挿入し、
各期間の開始時点に対応させて上記多重化データストリームに挿入されるデスクリプタには、当該期間より後の期間の奥行き情報セットが含まれている
請求項１に記載の立体画像データ送信装置。
【請求項１２】
左眼画像データおよび右眼画像データを有する立体画像データを出力する画像データ出力ステップと、
上記画像データ出力ステップで出力される立体画像データに対応した奥行き情報セットを出力する奥行き情報セット出力ステップと、
上記画像データ出力ステップで出力される立体画像データおよび上記奥行き情報セット出力ステップで出力される奥行き情報セットを送信する送信部とを備え、
上記奥行き情報セットは、画像表示面の分割情報と各分割領域の奥行き情報を含み、
上記送信ステップでは、上記画像データ出力ステップで出力される立体画像データを含むデータストリームを有する多重化データストリームを送信し、該多重化データストリームに、上記奥行き情報セット出力部ステップで出力される奥行き情報セットを含むデスクリプタを挿入する
立体画像データ送信方法。
【請求項１３】
左眼画像データおよび右眼画像データを有する立体画像データを出力する画像データ出力部と、
上記画像データ出力部から出力される上記立体画像データに対応した奥行き情報セットを出力する奥行き情報セット出力部と、
上記画像データ出力部から出力される立体画像データおよび上記奥行き情報セット出力部から出力される奥行き情報セットを送信する送信部とを備え、
上記奥行き情報セットは、画像表示面の分割情報と各分割領域の奥行き情報を含み、
上記奥行き情報は、モニタポジションに対して立体画像面が手前にあるか否かを示す画像面情報である
立体画像データ送信装置。
【請求項１４】
左眼画像データおよび右眼画像データを有する立体画像データを含むデータストリームを有し、画像表示面の分割情報と上記立体画像データに対応した各分割領域の奥行き情報とからなる奥行き情報セットを含むデスクリプタが挿入された多重化データストリームを受信する受信部と、
上記受信部で受信された多重化データストリームから取得された上記立体画像データに含まれる左眼画像データに対応した左眼重畳情報のデータおよび該立体画像データに含まれる右眼画像データに対応した右眼重畳情報のデータを出力する重畳情報データ出力部と、
上記受信部で受信された多重化データストリームから取得された上記左眼画像データおよび上記右眼画像データに、上記重畳情報データ出力部から出力される上記左眼重畳情報のデータおよび上記右眼重畳情報のデータを重畳するデータ重畳部を備え、
上記重畳情報データ出力部は、上記受信部で受信された多重化データストリームから取得された上記奥行き情報セットに基づいて、上記左眼重畳情報と上記右眼重畳情報との間に視差を付与する
立体画像データ受信装置。
【請求項１５】
上記重畳情報データ出力部は、
上記奥行き情報セットに含まれる視差情報に基づいて上記左眼重畳情報と上記右眼重畳情報との間に視差を付与する際、
上記受信部で新たな上記デスクリプタが受信されて視差情報の更新があるとき、該新たな視差情報に複数フレームをかけて到達するように、該複数フレームの間は補間処理で得られる視差情報を使用する
請求項１４に記載の立体画像データ受信装置。
【請求項１６】
上記多重化データストリームには、上記立体画像データの所定期間毎の開始時点に対応させて上記デスクリプタが挿入されており、
各期間の開始時点に対応させて上記多重化データストリームに挿入されているデスクリプタには、当該期間より後の期間の奥行き情報セットが含まれており、
上記重畳情報データ出力部は、
各期間の上記左眼重畳情報と上記右眼重畳情報との間に視差を付与する際、
当該期間および当該期間の前後の期間の上記奥行き情報セットに含まれる視差情報を用いた補間処理で得られる視差情報を使用する
請求項１４に記載の立体画像データ受信装置。
【請求項１７】
左眼画像データおよび右眼画像データを有する立体画像データを含むデータストリームを有し、画像表示面の分割情報と上記立体画像データに対応した各分割領域の奥行き情報とからなる奥行き情報セットを含むデスクリプタが挿入された多重化データストリームを受信する受信部と、
上記受信部で受信された多重化データストリームから取得された、上記左眼画像データおよび上記右眼画像データと、上記奥行き情報セットとを、伝送路を介して、外部機器に送信する送信部と
を備える立体画像データ受信装置。
【請求項１８】
上記送信部は、上記画像データを、複数チャネルで、差動信号により、上記伝送路を介して、上記外部機器に送信し、
上記画像データのブランキング期間に上記奥行き情報セットを挿入することで、該奥行き情報セットを上記外部機器に送信する
請求項１７に記載の立体画像データ受信装置。
【請求項１】
左眼画像データおよび右眼画像データを有する立体画像データを出力する画像データ出力部と、
上記画像データ出力部から出力される上記立体画像データに対応した奥行き情報セットを出力する奥行き情報セット出力部と、
上記画像データ出力部から出力される立体画像データおよび上記奥行き情報セット出力部から出力される奥行き情報セットを送信する送信部とを備え、
上記奥行き情報セットは、画像表示面の分割情報と各分割領域の奥行き情報を含み、
上記送信部は、上記画像データ出力部から出力される立体画像データを含むデータストリームを有する多重化データストリームを送信し、該多重化データストリームに、上記奥行き情報セット出力部から出力される奥行き情報セットを含むデスクリプタを挿入する
立体画像データ送信装置。
【請求項２】
上記奥行き情報は、モニタポジションに対して立体画像面が手前にあるか否かを示す画像面情報である
請求項１に記載の立体画像データ送信装置。
【請求項３】
上記画像面情報は、左眼画像および右眼画像の視差情報を構成する符号情報である
請求項２に記載の立体画像データ送信装置。
【請求項４】
上記奥行き情報は、モニタポジションに対して立体画像面が手前にあるか否かを示す画面情報、または該画像面情報と左眼画像および右眼画像の視差情報であり、
上記奥行き情報セットには、上記視差情報の存在を示すフラグ情報が挿入されている
請求項１に記載の立体画像データ送信装置。
【請求項５】
上記奥行き情報は、上記視差情報を構成する符号情報、または該符号情報および上記視差情報を構成する絶対値情報である
請求項４に記載の立体画像データ送信装置。
【請求項６】
上記多重化データストリームには、該多重化データストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを示すプログラム・スペシフィック・インフォメーションとしてのプログラム・マップ・テーブルが含まれており、
上記デスクリプタは、上記プログラム・マップ・テーブルの配下に挿入されている
請求項１に記載の立体画像データ送信装置。
【請求項７】
上記多重化データストリームには、イベント単位の管理を行うサービス・インフォメーションとしてのイベント・インフォメーション・テーブルが含まれており、
上記デスクリプタは、上記イベント・インフォメーション・テーブルの配下に挿入されている
請求項１に記載の立体画像データ送信装置。
【請求項８】
上記分割情報は、分割タイプを示す情報と分割数を示す情報とからなる
請求項１に記載の立体画像データ送信装置。
【請求項９】
上記分割タイプには、上記画像表示面を、対角線を用いて分割する分割タイプが含まれる
請求項８に記載の立体画像データ送信装置。
【請求項１０】
上記分割タイプには、上記画像表示面を、水平方向線および／または垂直方向線を用いて分割する分割タイプが含まれる
請求項８に記載の立体画像データ送信装置。
【請求項１１】
上記送信部は、上記デスクリプタを、上記立体画像データの所定期間毎の開始時点に対応させて上記多重化データストリームに挿入し、
各期間の開始時点に対応させて上記多重化データストリームに挿入されるデスクリプタには、当該期間より後の期間の奥行き情報セットが含まれている
請求項１に記載の立体画像データ送信装置。
【請求項１２】
左眼画像データおよび右眼画像データを有する立体画像データを出力する画像データ出力ステップと、
上記画像データ出力ステップで出力される立体画像データに対応した奥行き情報セットを出力する奥行き情報セット出力ステップと、
上記画像データ出力ステップで出力される立体画像データおよび上記奥行き情報セット出力ステップで出力される奥行き情報セットを送信する送信部とを備え、
上記奥行き情報セットは、画像表示面の分割情報と各分割領域の奥行き情報を含み、
上記送信ステップでは、上記画像データ出力ステップで出力される立体画像データを含むデータストリームを有する多重化データストリームを送信し、該多重化データストリームに、上記奥行き情報セット出力部ステップで出力される奥行き情報セットを含むデスクリプタを挿入する
立体画像データ送信方法。
【請求項１３】
左眼画像データおよび右眼画像データを有する立体画像データを出力する画像データ出力部と、
上記画像データ出力部から出力される上記立体画像データに対応した奥行き情報セットを出力する奥行き情報セット出力部と、
上記画像データ出力部から出力される立体画像データおよび上記奥行き情報セット出力部から出力される奥行き情報セットを送信する送信部とを備え、
上記奥行き情報セットは、画像表示面の分割情報と各分割領域の奥行き情報を含み、
上記奥行き情報は、モニタポジションに対して立体画像面が手前にあるか否かを示す画像面情報である
立体画像データ送信装置。
【請求項１４】
左眼画像データおよび右眼画像データを有する立体画像データを含むデータストリームを有し、画像表示面の分割情報と上記立体画像データに対応した各分割領域の奥行き情報とからなる奥行き情報セットを含むデスクリプタが挿入された多重化データストリームを受信する受信部と、
上記受信部で受信された多重化データストリームから取得された上記立体画像データに含まれる左眼画像データに対応した左眼重畳情報のデータおよび該立体画像データに含まれる右眼画像データに対応した右眼重畳情報のデータを出力する重畳情報データ出力部と、
上記受信部で受信された多重化データストリームから取得された上記左眼画像データおよび上記右眼画像データに、上記重畳情報データ出力部から出力される上記左眼重畳情報のデータおよび上記右眼重畳情報のデータを重畳するデータ重畳部を備え、
上記重畳情報データ出力部は、上記受信部で受信された多重化データストリームから取得された上記奥行き情報セットに基づいて、上記左眼重畳情報と上記右眼重畳情報との間に視差を付与する
立体画像データ受信装置。
【請求項１５】
上記重畳情報データ出力部は、
上記奥行き情報セットに含まれる視差情報に基づいて上記左眼重畳情報と上記右眼重畳情報との間に視差を付与する際、
上記受信部で新たな上記デスクリプタが受信されて視差情報の更新があるとき、該新たな視差情報に複数フレームをかけて到達するように、該複数フレームの間は補間処理で得られる視差情報を使用する
請求項１４に記載の立体画像データ受信装置。
【請求項１６】
上記多重化データストリームには、上記立体画像データの所定期間毎の開始時点に対応させて上記デスクリプタが挿入されており、
各期間の開始時点に対応させて上記多重化データストリームに挿入されているデスクリプタには、当該期間より後の期間の奥行き情報セットが含まれており、
上記重畳情報データ出力部は、
各期間の上記左眼重畳情報と上記右眼重畳情報との間に視差を付与する際、
当該期間および当該期間の前後の期間の上記奥行き情報セットに含まれる視差情報を用いた補間処理で得られる視差情報を使用する
請求項１４に記載の立体画像データ受信装置。
【請求項１７】
左眼画像データおよび右眼画像データを有する立体画像データを含むデータストリームを有し、画像表示面の分割情報と上記立体画像データに対応した各分割領域の奥行き情報とからなる奥行き情報セットを含むデスクリプタが挿入された多重化データストリームを受信する受信部と、
上記受信部で受信された多重化データストリームから取得された、上記左眼画像データおよび上記右眼画像データと、上記奥行き情報セットとを、伝送路を介して、外部機器に送信する送信部と
を備える立体画像データ受信装置。
【請求項１８】
上記送信部は、上記画像データを、複数チャネルで、差動信号により、上記伝送路を介して、上記外部機器に送信し、
上記画像データのブランキング期間に上記奥行き情報セットを挿入することで、該奥行き情報セットを上記外部機器に送信する
請求項１７に記載の立体画像データ受信装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図１４】
【公開番号】特開２０１２−１２０１４２（Ｐ２０１２−１２０１４２Ａ）
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願番号】特願２０１０−２７９７６５（Ｐ２０１０−２７９７６５）
【出願日】平成２２年１２月１５日（２０１０．１２．１５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願日】平成２２年１２月１５日（２０１０．１２．１５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]