送信装置、送信方法、受信装置および受信方法
【課題】受信側において立体画像の表示処理を良好に行い得るようにする。
【解決手段】所定数のビューの画像データを取得する。例えば、立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビュー、例えば中央のビューの画像データを取得する。画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを送信する。ビデオストリームのレイヤに、少なくとも所定数のビューの相対位置関係を示す情報が含まれるビュー構成情報を挿入する。ビデオストリームのレイヤにビュー構成情報が挿入されて送信されることから、受信側おいて各ビューの相対位置関係を容易に把握でき、立体画像の表示処理を良好に行うことができる。
【解決手段】所定数のビューの画像データを取得する。例えば、立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビュー、例えば中央のビューの画像データを取得する。画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを送信する。ビデオストリームのレイヤに、少なくとも所定数のビューの相対位置関係を示す情報が含まれるビュー構成情報を挿入する。ビデオストリームのレイヤにビュー構成情報が挿入されて送信されることから、受信側おいて各ビューの相対位置関係を容易に把握でき、立体画像の表示処理を良好に行うことができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、送信装置、送信方法、受信装置および受信方法に関し、特に、受信側で立体画像（３次元画像）の表示を良好に行うための送信装置等に関する。
【背景技術】
【０００２】
従来、３次元画像（立体画像）を表示するシステムとして、様々なものが知られている。例えば、特許文献１に記載されているように、視差を有する左眼画像および右眼画像を所定周期で交互にディスプレイに表示し、これら左眼画像および右眼画像を、その表示に同期して駆動される液晶シャッタを備えるシャッタメガネで観察する方法が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−１３８３８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
３次元画像（立体画像）の裸眼観賞を可能にする方式に、Ｎ個のビュー（view）を持つマルチビュー構成による方法が考えられる。その場合、全てのビューの画像データを伝送すると、伝送帯域が増大する懸念がある。そこで、全てのビューの画像データを伝送する代わりに、１つのビュー以上、例えば２つのビューの画像データを伝送し、受信側で伝送されたビュー以外のビューの画像データを補間処理で生成することも考えられる。
【０００５】
図３１は、その場合における画像送受信システム５０の構成例を示している。送信側においては、Ｎ個のカメラ５１-1〜５１-Nで撮像されて得られたＮ個のビュー（View 1・・・View N）の画像データからビューセレクタ５２で例えば２つのビューの画像データが選択される。そして、この２つのビューの画像データをエンコーダ５３によって符号化して得られる例えば２つのビデオストリーム（1st video, 2nd video）が受信側に向けて送信される。
【０００６】
また、受信側において、送信側から送られてくる２つのビデオストリームがデコーダ５４によりデコードされて２つのビューの画像データが得られる。そして、この２つのビューの画像データに基づいて補間処理部５５で補間処理が行われて、伝送されなかったその他のビューの画像データが生成され、結果的にＮ個のビュー（View 1・・・View N）の画像データが得られる。これにより、受信側では、Ｎ個のビューの画像データによる３次元画像（立体画像）の裸眼観賞が可能となる。
【０００７】
例えば、２つのビューの画像データを伝送する方法として、（１）Ｎ個のビューのうち、両端の２つのビューの画像データを伝送する方法、（２）Ｎ個のビューのうち、内側の２つのビューの画像データを伝送する方法の２つが考えられる。
【０００８】
（１）の伝送方法については、マルチビューのビュー数が増加すると、伝送される両端の２つのビュー間の相対視差が大きくなる。そのため、伝送されないビューの画像データを補間する際の細かな部分の処理に伴うオクルージョン（occlusion）周辺の補間が困難になり、再生画像の品質が問題となる場合がある。
【０００９】
図３２は、この伝送方法において、ビュー数を５とした場合の受信側の表示部を概略的に示している。ここで、「View_0」は中央のビュー、「View_1」は中央から１つ右のビュー、「View_2」は中央から１つ左のビュー、「View_3」は中央から２つ右、つまり右端のビュー、「View_4」は中央から２つ左、つまり左端のビューを示している。この場合、送信側から「View_3」、「View_4」のビューの画像データのみが送信され、受信側では「View_3」、「View_4」のビューの画像データが受信され、その他の「View_0」、「View_1」、「View_2」のビューの画像データは補間処理で求められる。そして、受信側では、３次元画像（立体画像）の裸眼観賞のために、これらの５つのビューの画像が表示部に合成表示される。なお、図３２には、レンチキュラーレンズを示しているが、この代わりにパララックスバリアなどであってもよい。これは、以下の図３３においても同様である。
【００１０】
（２）の伝送方法については、いわゆる従来のステレオビュー（stereo view）の画像データを伝送し、伝送されないビューの画像データを受信側で補間するものとなる。その際、ステレオビューを構成する２つのビューの内側のビューの画像データの補間は内挿処理によって合成できる。しかし、ステレオビューの外側のビューの画像データの補間は外挿処理によって合成することになる。外挿処理による合成は、オクルージョン（occlusion）などの端点処理に関して高画質を維持することが困難であり、画質劣化の要因になる。
【００１１】
図３３は、この伝送方法において、ビュー数を５とした場合の受信側の表示部を概略的に示している。ここで、「View_0」は中央のビュー、「View_1」は中央から１つ右のビュー、「View_2」は中央から１つ左のビュー、「View_3」は中央から２つ右、つまり右端のビュー、「View_4」は中央から２つ左、つまり左端のビューを示している。この場合、送信側から「View_1」、「View_2」のビューの画像データのみが送信され、受信側では「View_1」、「View_2」のビューの画像データが受信され、その他の「View_0」、「View_3」、「View_4」のビューの画像データは補間処理で求められる。そして、受信側では、３次元画像（立体画像）の裸眼観賞のために、これらの５つのビューの画像が表示部に合成表示される。
【００１２】
本技術の目的は、受信側において立体画像の表示処理を良好に行い得るようにすることにある。
【課題を解決するための手段】
【００１３】
本技術の概念は、
立体画像表示のための所定数のビューの画像データを取得する画像データ取得部と、
上記取得された画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信部と、
上記ビデオストリームのレイヤに、少なくとも上記所定数のビューの相対位置関係を示す情報が含まれるビュー構成情報を挿入するビュー構成情報挿入部を備える
送信装置。
【００１４】
本技術において、画像データ送信部により、所定数のビューの画像データが取得される。例えば、立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビュー、例えば中央のビューの画像データが取得される。この場合の画像データは、例えば、カメラで撮像されて得られたもの、あるいは記憶媒体から読み出されて得られたものなどである。
【００１５】
画像データ送信部により、取得された画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。
【００１６】
例えば、コンテナが含むビデオストリームにおいて、左端のビューおよび右端のビューの画像データはそれぞれ１つのピクチャのデータとして符号化されていてもよい。また、例えば、コンテナが含むビデオストリームにおいて、左端のビューおよび右端のビューの画像データはインターリーブ処理されて１つのピクチャのデータとして符号化されていてもよい。
【００１７】
また、例えば、コンテナが含むビデオストリームは、１つまたは複数のピクチャのデータを含む、ようにされてもよい。この場合、例えば、コンテナが含むビデオストリームが複数のピクチャの符号化データを含むとき、各ピクチャの符号化データの間に境界を示す情報が配置されていてもよい。このように境界を示す情報が配置されることで、各ピクチャの先頭データに瞬時にアクセスすることが可能となる。
【００１８】
ビュー構成情報挿入部により、ビデオストリームのレイヤに、少なくとも所定数のビューの相対位置関係を示す情報が含まれるビュー構成情報が挿入される。本技術においては、このようにビデオストリームのレイヤにビュー構成情報が挿入されて送信されることから、受信側おいて各ビューの相対位置関係を容易に把握でき、立体画像の表示処理を良好に行うことができる。
【００１９】
なお、本技術において、例えば、画像データ取得部は、立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビューの画像データを取得する、ようにされてもよい。この場合、左端のビューおよび右端のビューの画像データだけでなく、中間のビューの画像データも送信されるので、ビュー間の相対視差が小さく、その他のビューの画像データを補間する際の細かな部分の処理に伴うオクルージョン周辺の補間が容易になり、再生画像の品質向上を図ることができる。また、左端のビューおよび右端のビューの画像データが送信されるので、伝送されないビューの画像データの補間は全て内挿処理によって合成でき、オクルージョンなどの端点処理に関して高画質を維持することが容易となる。
【００２０】
なお、本技術において、例えば、ビデオストリームのレイヤに、このビデオストリーム内の画像データに関するビュー構成情報を挿入するビュー構成情報挿入部をさらに備える、ようにされてもよい。このビュー構成情報により、受信側では、複数のビューの画像データによる３次元画像（立体画像）の裸眼観賞を行うための適切かつ効率的な処理が可能となる。
【００２１】
この場合、例えば、コンテナのレイヤに、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを識別するための識別情報を挿入する識別情報挿入部をさらに備える、ようにされてもよい。この識別情報により、受信側では、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを容易に識別可能となる。
【００２２】
例えば、コンテナが含むビデオストリームにおいて、所定のビューの画像データが１つのピクチャのデータとして符号化されているとき、このビデオストリームのレイヤに挿入されるビュー構成情報には、所定のビューの位置を示す情報が含まれていてもよい。
【００２３】
また、例えば、コンテナが含むビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されているとき、このビデオストリームのレイヤに挿入されるビュー構成情報には、この２つのビューの位置を示す情報が含まれていてもよい。この場合、例えば、ビュー構成情報には、２つのビューの画像データに対して行われるインターリーブのタイプを示す情報がさらに含まれていてもよい。
【００２４】
また、例えば、ビデオストリームのレイヤに挿入されるビュー構成情報には、このビデオストリームの１アクセスユニット内に複数のピクチャのデータが符号されているか否かを示す情報が含まれていてもよい。また、例えば、ビデオストリームのレイヤに挿入されるビュー構成情報には、画像表示に必須のビューの画像データが符号化されているビデオストリームであるか否かを示す情報が含まれていてもよい。また、例えば、ビデオストリームのレイヤに挿入されるビュー構成情報には、水平および／または垂直の所定の解像度に対する画素比率情報が含まれていてもよい。
【００２５】
また、本技術において、例えば、各ビューの間の視差データを取得する視差データ取得部をさらに備え、画像データ送信部は、取得された画像データが符号化されて得られたビデオストリームの他に、取得された視差データが符号化されて得られた視差ストリームを含む所定フォーマットのコンテナを送信する、ようにされてもよい。この場合、受信側では、受信された各ビューの画像データから視差データを生成する処理を行うことなく、送られてくる視差データに基づいて、伝送されない各ビューの画像データを容易に補間合成することが可能となる。
【００２６】
また、本技術の他の概念は、
立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、上記左端および上記右端の間に位置する中間のビューの画像データとが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信部と、
上記コンテナに含まれるビデオストリームをデコードして、上記各ビューの画像データを得る画像データ取得部と、
上記各ビューの視差データに基づいて、上記各ビューの間に位置する所定数のビューの画像データを補間処理で取得する補間処理部を備える
受信装置にある。
【００２７】
本技術において、画像データ受信部により、立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビューの画像データとが符号化されて得られたビデオストリームを含む所定フォーマットのストリームが受信される。画像データ取得部により、ストリームに含まれるビデオストリームがデコードされて、各ビューの画像データが得られる。そして、補間処理部により、各ビューの間の視差データに基づいて、各ビューの間に位置する所定数のビューの画像データが補間処理で取得される。
【００２８】
例えば、コンテナは、視差データが符号化されて得られた視差ストリームを含み、コンテナに含まれる視差ストリームをデコードして視差データを得る視差データ取得部をさらに備える、ようにされてもよい。また、例えば、画像データ取得部で得られた各ビューの画像データに基づいて、視差データを生成する視差データ生成部をさらに備える、ようにされてもよい。
【００２９】
このように本技術においては、立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビューの画像データとが受信され、その他のビューは視差データに基づいて補間処理で得るものである。そのため、マルチビュー構成による立体画像の裸眼観賞を良好に行うことができる。
【００３０】
すなわち、左端のビューおよび右端のビューの画像データだけでなく、それらのビューの中間のビューの画像データも受信されるので、ビュー間の相対視差が小さく、伝送されないビューの画像データを補間する際の細かな部分の処理に伴うオクルージョン周辺の補間が容易になり、再生画像の品質向上を図ることができる。また、左端のビューおよび右端のビューの画像データが受信されるので、伝送されないビューの画像データの補間は全て内挿処理によって合成でき、オクルージョンなどの端点処理に関して高画質を維持することが容易となる。
【発明の効果】
【００３１】
本技術によれば、受信側において立体画像の表示処理を良好に行うことができる。
【図面の簡単な説明】
【００３２】
【図１】実施の形態としての画像送受信システムの構成例を示すブロック図である。
【図２】中央、左端および右端の各ビューの画像データがそれぞれ１つのピクチャのデータとして符号化される例を説明するための図である。
【図３】中央のビューの画像データは１つのピクチャのデータとして符号化され、左端および右端の２つのビューの画像データはインターリーブ処理されて１つのピクチャのデータとして符号化される例を説明するための図である。
【図４】複数のピクチャの符号化データを含むビデオストリームの一例を示す図である。
【図５】３つのピクチャの符号化データが１つのビデオストリームに共存する場合の例を示す図である。
【図６】Ｎ個のビューのうち、左端および右端のビューと、それらの間に位置する中央のビューの画像データを伝送する方法において、ビュー数を５とした場合の受信機の表示部を概略的に示す図である。
【図７】トランスポートストリームを生成する送信データ生成部の構成例を示すブロック図である。
【図８】送信データ生成部内のビューセレクタにおけるビュー選択状態を示す図である。
【図９】ブロック（Block）毎の視差データ（視差ベクトル）の一例を示す図である。
【図１０】ブロック単位の視差データの生成方法の一例を説明するための図である。
【図１１】ブロック単位から画素単位への変換処理により画素単位の視差データを生成する方法を説明するための図である。
【図１２】識別情報としてのマルチビュー・ストリーム・コンフィグレーション・デスクリプタの構造例を示す図である。
【図１３】マルチビュー・ストリーム・コンフィグレーション・デスクリプタの構造例における主要な情報の内容を示す図である。
【図１４】ビュー構成情報としてのマルチビュー・ストリーム・コンフィグレーション・インフォの構造例を示す図である。
【図１５】マルチビュー・ストリーム・コンフィグレーション・インフォの構造例における主要な情報の内容を示す図である。
【図１６】マルチビュー・ストリーム・コンフィグレーション・インフォの構造例における主要な情報の内容を示す図である。
【図１７】マルチビュー・ストリーム・コンフィグレーション・インフォの構造例における主要な情報の内容を示す図である。
【図１８】「view_count」が示すビュー数と、「view_pair_position_id」が示す２つのビューの位置との関係の一例を示す図である。
【図１９】両端の２つのビューペアの画像データと共に、両端よりも内側の２つのビューペアの画像データを送信する場合において、送信側あるいは受信側における視差データの生成例を説明するための図である。
【図２０】視差データに基づき、受信側で、各ビューの間に位置するビューの画像データを補間合成する例を説明するための図である。
【図２１】マルチビュー・ストリーム・コンフィグレーション・インフォがアクセスユニットの“ＳＥＬｓ”の部分に「Multiview stream configuration SEI message」として挿入されることを説明するための図である。
【図２２】「Multiview stream configuration SEI message」および「userdata_for_multiview_stream_configuration()」の構造例を示す図である。
【図２３】「user_data()」の構造例を示す図である。
【図２４】トランスポートストリームＴＳに３つのビデオストリームが含まれる場合の構成例を示す図である。
【図２５】トランスポートストリームＴＳに２つのビデオストリームが含まれる場合の構成例を示す図である。
【図２６】トランスポートストリームＴＳに１つのビデオストリームが含まれる場合の構成例を示す図である。
【図２７】画像送受信システムを構成する受信機の構成例を示すブロック図である。
【図２８】スケーリング比の算出例を示す図である。
【図２９】ビュー補間部における補間合成処理の一例を概略的に示す図である。
【図３０】画像送受信システムを構成する受信機の他の構成例を示すブロック図である。
【図３１】３次元画像（立体画像）の裸眼観賞を可能にする画像送受信システムの構成例を示す図である。
【図３２】Ｎ個のビューのうち、両端の２つのビューの画像データを伝送する方法において、ビュー数を５とした場合の受信側の表示部を概略的に示す図である。
【図３３】Ｎ個のビューのうち、内側の２つのビューの画像データを伝送する方法において、ビュー数を５とした場合の受信側の表示部を概略的に示す図である。
【発明を実施するための形態】
【００３３】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００３４】
＜１．実施の形態＞
［画像送受信システム］
図１は、実施の形態としての画像送受信システム１０の構成例を示している。この画像送受信システム１０は、放送局１００および受信機２００により構成されている。放送局１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。
【００３５】
このトランスポートストリームＴＳには、立体画像表示のための複数のビューのうち、少なくとも中央のビュー、左端のビューおよび右端のビューの画像データが符号化されて得られたビデオストリームが含まれる。この場合、中央のビューは、左端ビューおよび右端ビューの間に位置する中間ビューを構成している。
【００３６】
トランスポートストリームＴＳが含むビデオストリームにおいて、図２に示すように、中央（Center）のビュー、左端（Left)のビューおよび右端（Right）のビューの画像データはそれぞれ１つのピクチャのデータとして符号化される。図示の例では、各ピクチャのデータは１９２０＊１０８０のフルＨＤのサイズとされる。
【００３７】
あるいは、トランスポートストリームＴＳが含むビデオストリームにおいて、図３（ａ）に示すように、中央（Center）のビューの画像データは１つのピクチャのデータとして符号化され、左端（Left)のビューおよび右端（Right）のビューの画像データはインターリーブ処理されて１つのピクチャのデータとして符号化される。図示の例では、各ピクチャのデータは１９２０＊１０８０のフルＨＤのサイズとされる。
【００３８】
なお、左端のビューおよび右端のビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化される場合、各ビューの画像データは水平方向あるいは垂直方向に１／２に間引かれた状態となる。図示の例では、インターリーブのタイプがサイド・バイ・サイドであり、各ビューのサイズは９６０＊１０８０とされる。図示していないが、インターリーブのタイプとしてトップ・アンド・ボトムも考えられ、その場合には、各ビューのサイズは１９２０＊５４０とされる。
【００３９】
このように左端のビューおよび右端のビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化される場合、受信側においては、図３（ｂ）に示すように、スケーリング処理され、左端のビューおよび右端のビューの画像データのサイズは１９２０＊１０８０のフルＨＤのサイズに戻される。
【００４０】
トランスポートストリームＴＳが含むビデオストリームは、１つまたは複数のピクチャのデータを含むものとされる。例えば、トランスポートストリームＴＳには、以下の３つのビデオストリーム（ビデオエレメンタリストリーム）が含まれる。すなわち、中央のビュー、左端のビューおよび右端のビューの画像データがそれぞれ１つのピクチャとして符号化されて得られたビデオストリームである。
【００４１】
また、例えば、トランスポートストリームＴＳには、以下の２つのビデオストリーム（ビデオエレメンタリストリーム）が含まれる。すなわち、中央のビューの画像データが１つのピクチャとして符号化されて得られたビデオストリームと、左端のビューおよび右端のビューの画像データがインターリーブ処理されて１つのピクチャとして符号化されて得られたビデオストリームである。
【００４２】
また、例えば、トランスポートストリームＴＳには、以下の１つのビデオストリーム（ビデオエレメンタリストリーム）が含まれる。すなわち、この１つのビデオストリームには、中央のビュー、左端のビューおよび右端のビューの画像データがそれぞれ１つのピクチャのデータとして符号化されたデータが含まれる。
【００４３】
図４（ａ），（ｂ）は、複数のピクチャの符号化データを含むビデオストリームの一例を示している。各アクセスユニットに、各ピクチャの符号化データが順次配置される。この場合、最初のピクチャの符号化データは、“SPS 〜 Coded Slice”で構成され、２番目以降のピクチャの符号化データは、“Subset SPS 〜 Coded Slice”で構成される。なお、この例は、ＭＰＥＧ４−ＡＶＣの符号化がされている例であるが、他の符号化方式でも適用可能である。なお、図中の１６進数字は「 NAL unit type 」を示している。
【００４４】
各ピクチャの符号化データが１つのビデオストリームに共存する場合、各ピクチャの境界が瞬時に識別可能なことが要求される。しかし、ＡＵＤ(access unit delimiter)は、一つのアクセスユニットの先頭にのみ付すことが可能である。そこで、図４（ｂ）に示すように、各ピクチャの符号化データの間に、「View Separation Marker」という境界を示す新たな“NAL unit”を定義して配置することが考えられる。これにより、各ピクチャの先頭データに瞬時にアクセスすることが可能となる。なお、図４（ａ）は、２つのビューのデータの間に、「View Separation Marker」が配置されていない例を示している。
【００４５】
図５（ａ），（ｂ）は、３つのピクチャの符号化データが１つのビデオストリームに共存する場合の例を示している。ここでは、各ピクチャの符号化データをサブストリーム（sub stream）として示している。図５（ａ）は、ＧＯＰ（Group OfPictures）の先頭のアクセスユニットを示しており、図５（ｂ）は、ＧＯＰの先頭以外のアクセスユニットを示している。
【００４６】
ビデオストリームのレイヤ（ピクチャレイヤ、シーケンスレイヤなど）に、このビデオストリーム内の画像データに関するビュー構成情報が挿入される。このビュー構成情報には、当該ビデオストリームに含まれる画像データがどのビューの画像データであるかを示す情報、当該ビデオストリームの１アクセスユニット内に複数のピクチャのデータが符号化されているかを示す情報等が含まれている。このビュー構成情報は、例えば、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域などに挿入される。このビュー構成情報により、受信側では、複数のビューの画像データによる３次元画像（立体画像）の裸眼観賞を行うための適切かつ効率的な処理が可能となる。このビュー構成情報の詳細については後述する。
【００４７】
また、トランスポートストリームＴＳのレイヤに、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを識別するための識別情報が挿入される。この識別情報は、例えば、トランスポートストリームＴＳに含まれるプログラム・マップ・テーブル（ＰＭＴ：Program Map Table）のビデオエレメンタリ・ループ（Video ESloop）の配下、あるいはイベント・インフォメーション・テーブル（ＥＩＴ：Event InformationTable）の配下などに挿入される。この識別情報により、受信側では、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを容易に識別可能となる。この識別情報の詳細については後述する。
【００４８】
受信機２００は、放送局１００から放送波に載せて送られてくるトランスポートストリームＴＳを受信する。また、受信機２００は、このトランスポートストリームＴＳに含まれるビデオストリームをデコードして、例えば、中央のビュー、左端のビューおよび右端のビューの画像データを取得する。この際、受信機２００は、ビデオストリームのレイヤに含まれるビュー構成情報により、各ビデオストリームに含まれる画像データが、どのビュー位置の画像データであるかを知ることができる。
【００４９】
また、受信機２００は、中央のビューおよび左端ビューの間の視差データと、中央のビューおよび右端ビューの間の視差データとに基づいて、中央のビューおよび左端ビューの間と、中央のビューおよび右端ビューの間とに位置する所定数のビューの画像データを補間処理で取得する。この際、受信機２００は、ビデオストリームのレイヤに含まれるビュー構成情報により、ビュー数を知ることができ、どの位置のビューが伝送されなかったかを容易に把握できる。
【００５０】
受信機２００は、放送局１００からビデオストリームと共に送られてくる視差データストリームをデコードして、上述の視差データを取得する。あるいは、受信機２００は、取得された中央のビュー、左端のビューおよび右端のビューの画像データに基づいて、上述の視差データを生成する。
【００５１】
受信機２００は、放送局１００から送られてくる中央、左端および右端の各ビューの画像データと、上述の補間処理で取得される各ビューの画像データとに基づき、３次元画像（立体画像）の裸眼観賞のために、各ビューの画像を表示部に合成表示する。
【００５２】
図６は、ビュー数を５とした場合の受信機２００の表示部を概略的に示している。ここで、「View_0」は中央のビュー、「View_1」は中央から１つ右のビュー、「View_2」は中央から１つ左のビュー、「View_3」は中央から２つ右、つまり右端のビュー、「View_4」は中央から２つ左、つまり左端のビューを示している。この場合、放送局１００から「View_0」、「View_3」、「View_4」のビューの画像データのみが送信され、受信機２００では「View_0」、「View_3」、「View_4」のビューの画像データが受信され、その他の「View_1」、「View_2」のビューの画像データは補間処理で求められる。そして、受信機２００では、３次元画像（立体画像）の裸眼観賞のために、これらの５つのビューの画像が表示部に合成表示される。なお、図６には、レンチキュラーレンズを示しているが、この代わりにパララックスバリアなどであってもよい。
【００５３】
「送信データ生成部の構成例」
図７は、放送局１００において、上述したトランスポートストリームＴＳを生成する送信データ生成部１１０の構成例を示している。この送信データ生成部１１０は、Ｎ個の画像データ出力部１１１-1〜１１１-Nと、ビューセレクタ１１２と、スケーラ１１３-1，１１３-2，１１３-3と、ビデオエンコーダ１１４-1，１１４-2，１１４-3と、マルチプレクサ１１５を有している。また、この送信データ生成部１１０は、視差データ生成部１１６と、視差エンコーダ１１７と、グラフィクスデータ出力部１１８と、グラフィクスエンコーダ１１９と、音声データ出力部１２０と、オーディオエンコーダ１２１を有している。
【００５４】
画像データ出力部１１１-1〜１１１-Nは、立体画像表示のためのＮ個のビュー（View 1・・・View N）の画像データを出力する。この画像データ出力部は、例えば、被写体を撮像して画像データを出力するカメラ、あるいは記憶媒体から画像データを読み出して出力する画像データ読み出し部などにより構成される。なお、伝送されないビューの画像データは、実際にはなくてもよい。
【００５５】
また、ビューセレクタ１１２は、Ｎ個のビュー（View 1・・・View N）の画像データから、少なくとも左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビュー（１つまたは２つ以上）の画像データを選択的に取り出す。この実施の形態において、ビューセレクタ１１２は、左端のビューの画像データＶＬおよび右端のビューの画像データＶＲを取り出すと共に、中央のビューの画像データＶＣを取り出す。図８は、ビューセレクタ１１２におけるビュー選択状態を示している。
【００５６】
また、スケーラ１１３-1，１１３-2，１１３-3は、それぞれ、画像データＶＣ，ＶＬ，ＶＲに対してスケーリング処理を施して、例えば、１９２０＊１０８０のフルＨＤのサイズの画像データＶＣ′，ＶＬ′，ＶＲ′を得る。この場合、画像データＶＣ，ＶＬ，ＶＲが１９２０＊１０８０のフルＨＤのサイズであるときは、そのまま出力する。また、画像データＶＣ，ＶＬ，ＶＲが１９２０＊１０８０のサイズより大きいときは、スケールダウンして出力する。
【００５７】
ビデオエンコーダ１１４-1は、中央のビューの画像データＶＣ′に対して、例えば、ＭＰＥＧ４−ＡＶＣ（ＭＶＣ）、ＭＰＥＧ２ｖｉｄｅｏなどの符号化を施して、符号化ビデオデータを得る。そして、このビデオエンコーダ１１４-1は、後段に備えるストリームフォーマッタ（図示せず）により、この符号化データをサブストリーム（sub stream 1）として含むビデオストリームを生成する。
【００５８】
また、ビデオエンコーダ１１４-2は、左端のビューの画像データＶＬ′に対して、例えば、ＭＰＥＧ４−ＡＶＣ（ＭＶＣ）、ＭＰＥＧ２ｖｉｄｅｏなどの符号化を施して、符号化ビデオデータを得る。そして、このビデオエンコーダ１１４-2は、後段に備えるストリームフォーマッタ（図示せず）により、この符号化データをサブストリーム（sub stream 2）として含むビデオストリームを生成する。
【００５９】
さらに、ビデオエンコーダ１１４-3は、右端のビューの画像データＶＲ′に対して、例えば、ＭＰＥＧ４−ＡＶＣ（ＭＶＣ）、ＭＰＥＧ２ｖｉｄｅｏなどの符号化を施して、符号化ビデオデータを得る。そして、このビデオエンコーダ１１４-3は、後段に備えるストリームフォーマッタ（図示せず）により、この符号化データをサブストリーム（sub stream 3）として含むビデオストリームを生成する。
【００６０】
ビデオエンコーダ１１４-1，１１４-2，１１４-3は、ビデオストリームのレイヤに、上述したビュー構成情報を挿入する。このビュー構成情報は、上述したように、当該ビデオストリームに含まれる画像データがどのビューの画像データであるかを示す情報、当該ビデオストリームの１アクセスユニット内に複数のピクチャのデータが符号化されているかを示す情報等を含むものである。このビュー構成情報は、例えば、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域などに挿入される。
【００６１】
視差データ生成部１１６は、ビューセレクタ１１２から出力される中央、左端および右端の各ビューの画像データに基づいて、視差データ（disparity data）を生成する。この視差データには、例えば、中央のビューおよび左端のビューの間の視差データと、中央のビューおよび右端のビューの間の視差データが含まれている。この場合、画素単位、あるいはブロック（Block）単位で、視差データが生成される。図９は、ブロック（Block）毎の視差データ（視差ベクトル）の一例を示している。
【００６２】
図１０は、ブロック単位の視差データの生成方法の一例を示している。この例は、ｉ番目のビューからｊ番目のビューを指し示す視差データを求める例である。この場合、ｉ番目のビューのピクチャに、例えば４＊４、８＊８あるいは１６＊１６などの画素ブロック（視差検出ブロック）が設定される。
【００６３】
図示のように、ｉ番目のビューのピクチャが検出画像とされ、ｊ番目のビューのピクチャが参照画像とされて、ｉ番目のビューのピクチャのブロック毎に、画素間の差分絶対値和が最小となるように、ｊ番目のビューのピクチャのブロック探索がされて、視差データが求められる。
【００６４】
すなわち、Ｎ番目のブロックの視差データＤＰｎは、例えば、以下の（１）式に示すように、当該Ｎ番目のブロックにおける差分絶対値和が最小となるようにブロック探索されて求められる。なお、この（１）式において、Ｄｊはｊ番目のビューのピクチャにおける画素値、Ｄｉはｉ番目のビューのピクチャにおける画素値を示している。
ＤＰｎ ＝ min ( Σabs( differ (Dj - Di))) ・・・（１）
【００６５】
図１１は、画素単位の視差データの生成方法の一例を示している。この例は、ブロック単位から画素単位への変換処理により画素単位の視差データを生成する方法である。図１１（ａ）における“Ａ”、“Ｂ”、“Ｃ”、“Ｄ”、“Ｘ”は、それぞれ、ブロックの領域を示している。
【００６６】
これらのブロックの視差データから、図１１（ｂ）に示すように、“Ｘ”のブロックを４分割した各領域の視差データは、以下の（２）式で求められる。例えば、“Ａ”、“Ｂ”に隣接する分割領域の視差データＸ（Ａ，Ｂ）は、“Ａ”、“Ｂ”、“Ｘ”のブロックの視差データの中央値とされる。その他の分割領域においても、同様にして、視差データが求められる。
【００６７】
Ｘ（Ａ，Ｂ）＝median（Ｘ，Ａ，Ｂ）
Ｘ（Ａ，Ｃ）＝median（Ｘ，Ａ，Ｃ）
Ｘ（Ｂ，Ｄ）＝median（Ｘ，Ｂ，Ｄ）
Ｘ（Ｃ，Ｄ）＝median（Ｘ，Ｃ，Ｄ）
・・・（２）
【００６８】
上述の一度の変換で、視差データの占める領域は、元の縦横サイズの１／２のサイズに狭まる。ブロックサイズにより、この変換を所定回数繰り返すことによって、画素単位の視差データが求まる。なお、テクスチャにエッジを含んでいたりして画面内オブジェクトの複雑度が他の部分よりも高い場合などには、適宜、ブロックサイズを小さくとって、初期のブロック単位の視差データ自体のテクスチャ追従性を向上することも可能である。
【００６９】
視差エンコーダ１１７は、視差データ生成部１１６で生成された視差データに符号化を施して視差ストリーム（視差データエレメンタリストリーム）を生成する。この視差ストリームには、画素単位、またはブロック単位の視差データが含まれることとなる。視差データが画素単位である場合には、画素データと同様に、圧縮符号化して伝送できる。
【００７０】
なお、この視差ストリームにブロック単位の視差データが含まれる場合には、受信側で、上述した変換処理を行うことで、画素単位に変換することも可能である。また、このような視差ストリームの送信がない場合、受信側で、上述したように各ビュー間におけるブロック単位の視差データを求め、さらに画素単位に変換することが可能である。
【００７１】
グラフィクスデータ出力部１１８は、画像に重畳するグラフィクス（字幕としてのサブタイトルも含む）のデータを出力する。グラフィクスエンコーダ１１９は、グラフィクスデータ出力部１１８から出力されたグラフィクスデータを含むグラフィクスストリーム（グラフィクスエレメンタリストリーム）を生成する。ここで、グラフィクスは、重畳情報を構成し、例えば、ロゴ、字幕などである。
【００７２】
なお、グラフィクスデータ出力部１１８から出力されるグラフィクスデータは、例えば、中央のビューの画像に重畳するグラフィクスのデータである。グラフィクスデータ１１９は、視差データ生成部１１６で生成された視差データに基づいて、左端および右端のビューに重畳するグラフィクスのデータを作成して、これらのグラフィクスデータを含むグラフィクスストリームを生成してもよい。この場合には、受信側において左端および右端のビューに重畳するグラフィクスのデータを作成することが不要となる。
【００７３】
グラフィクスデータは、主にはビットマップデータである。このグラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。このアイドリングオフセット情報は、例えば、画像の左上の原点から、グラフィクスの重畳位置の左上の画素までの垂直方向、水平方向のオフセット値を示す。なお、字幕データをビットマップデータとして伝送する規格は、例えば、ヨーロッパのデジタル放送規格であるＤＶＢで「DVB_Subtitling」として規格化され、運用されている。
【００７４】
音声データ出力部１２０は、画像データに対応した音声データを出力する。この音声データ出力部１２０は、例えば、マイクロホン、あるいは記憶媒体から音声データを読み出して出力する音声データ読み出し部などにより構成される。オーディオエンコーダ１２１は、音声データ出力部１２０から出力される音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ、ＡＡＣ等の符号化を施し、オーディオストリーム（オーディオエレメンタリストリーム）を生成する。
【００７５】
マルチプレクサ１１５は、ビデオエンコーダ１１４-1，１１４-2，１１４-3、視差エンコーダ１１７、グラフィクスエンコーダ１１９およびオーディオエンコーダ１２１で生成された各エレメンタリストリームをパケット化して多重し、トランスポートストリームＴＳを生成する。この場合、それぞれのＰＥＳ(Packetized Elementarty Stream)のヘッダには、受信側における同期再生のために、ＰＴＳ（Presentation Time Stamp）が挿入される。
【００７６】
マルチプレクサ１１５は、トランスポートストリームＴＳのレイヤに、上述した識別情報を挿入する。この識別情報は、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを識別するための情報である。この識別情報は、例えば、トランスポートストリームＴＳに含まれるプログラム・マップ・テーブル（ＰＭＴ：Program Map Table）のビデオエレメンタリ・ループ（Video ESloop）の配下、あるいはイベント・インフォメーション・テーブル（ＥＩＴ：Event InformationTable）の配下などに挿入される。
【００７７】
図７に示す送信データ生成部１１０の動作を簡単に説明する。Ｎ個の画像データ出力部１１１-1〜１１１-Nから出力される立体画像表示のためのＮ個のビュー（View 1・・・View N）の画像データは、ビューセレクタ１１２に供給される。ビューセレクタ１１２では、Ｎ個のビューの画像データから、中央のビューの画像データＶＣ、左端のビューの画像データＶＬおよび右端のビューの画像データＶＲが取り出される。
【００７８】
ビューセレクタ１１２で取り出された中央のビューの画像データＶＣはスケーラ１１３-1に供給され、例えば、１９２０＊１０８０のフルＨＤのサイズにスケーリング処理される。スケーリング処理後の画像データＶＣ′は、ビデオエンコーダ１１４-1に供給される。
【００７９】
ビデオエンコーダ１１４-1では、この画像データＶＣ′に対して符号化が施されて符号化ビデオデータが得られ、この符号化データをサブストリーム（sub stream 1）として含むビデオストリームが生成される。また、このビデオエンコーダ１１４-1では、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域などに、当該ビデオストリームに含まれる画像データがどのビューの画像データであるかを示す情報などを持つビュー構成情報が挿入される。このビデオストリームは、マルチプレクサ１１５に供給される。
【００８０】
また、ビューセレクタ１１２で取り出された左端のビューの画像データＶＬはスケーラ１１３-2に供給され、例えば、１９２０＊１０８０のフルＨＤのサイズにスケーリング処理される。スケーリング処理後の画像データＶＬ′は、ビデオエンコーダ１１４-2に供給される。
【００８１】
ビデオエンコーダ１１４-2では、この画像データＶＬ′に対して符号化が施されて符号化ビデオデータが得られ、この符号化データをサブストリーム（sub stream 2）として含むビデオストリームが生成される。また、このビデオエンコーダ１１４-2では、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域などに、当該ビデオストリームに含まれる画像データがどのビューの画像データであるかを示す情報などを持つビュー構成情報が挿入される。このビデオストリームは、マルチプレクサ１１５に供給される。
【００８２】
さらに、ビューセレクタ１１２で取り出された右端のビューの画像データＶＲはスケーラ１１３-3に供給され、例えば、１９２０＊１０８０のフルＨＤのサイズにスケーリング処理される。スケーリング処理後の画像データＶＲ′は、ビデオエンコーダ１１４-3に供給される。
【００８３】
ビデオエンコーダ１１４-3では、この画像データＶＲ′に対して符号化が施されて符号化ビデオデータが得られ、この符号化データをサブストリーム（sub stream 3）として含むビデオストリームが生成される。また、このビデオエンコーダ１１４-3では、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域などに、当該ビデオストリームに含まれる画像データがどのビューの画像データであるかを示す情報などを持つビュー構成情報が挿入される。このビデオストリームは、マルチプレクサ１１５に供給される。
【００８４】
また、ビューセレクタ１１２から出力される中央、左端および右端の各ビューの画像データは視差データ生成部１１６に供給される。この視差データ生成部１１６では、各ビューの画像データに基づいて、視差データ（disparity data）が生成される。この視差データには、中央のビューおよび左端のビューの間の視差データと、中央のビューおよび右端のビューの間の視差データが含まれる。この場合、画素単位、あるいはブロック（Block）単位で、視差データが生成される。
【００８５】
視差データ生成部１１６で生成された視差データは、視差エンコーダ１１７に供給される。この視差エンコーダ１１７では、視差データに符号化処理が施されて、視差ストリームが生成される。この視差ストリームは、マルチプレクサ１１５に供給される。
【００８６】
また、グラフィクスデータ出力部１１８から出力されるグラフィクスデータ（サブタイトルデータも含む）は、グラフィクスエンコーダ１１９に供給される。このグラフィクスエンコーダ１１９では、グラフィクスデータを含むグラフィクスストリームが生成される。このグラフィクスストリームは、マルチプレクサ１１５に供給される。
【００８７】
また、音声データ出力部１１８から出力される音声データは、オーディオエンコーダ１２１に供給される。このオーディオエンコーダ１２１では、音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ、ＡＡＣ等の符号化が施され、オーディオストリームが生成される。このオーディオストリームは、マルチプレクサ１１５に供給される。
【００８８】
マルチプレクサ１１５では、各エンコーダから供給されるエレメンタリストリームがパケット化されて多重され、トランスポートストリームＴＳが生成される。この場合、それぞれのＰＥＳヘッダには、受信側における同期再生のために、ＰＴＳが挿入される。また、マルチプレクサ１１５では、ＰＭＴの配下、あるいはＥＩＴの配下などに、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを識別するための識別情報が挿入される。
【００８９】
なお、図７に示す送信データ生成部１１０は、トランスポートストリームＴＳに３つのビデオストリームが含まれる場合を示している。すなわち、トランスポートストリームＴＳには、中央、左端および右端の各ビューの画像データがそれぞれ１つのピクチャとして符号化されて得られた３つのビデオストリームが含まれる。
【００９０】
詳細説明は省略するが、上述したように、トランスポートストリームＴＳに２つ、あるいは１つのビデオストリームが含まれる場合も、同様に構成できる。トランスポートストリームＴＳに２つのビデオストリームが含まれる場合には、例えば、以下のビデオストリームが含まれる。すなわち、中央のビューの画像データが１つのピクチャとして符号化されて得られたビデオストリームと、左端のビューおよび右端のビューの画像データがインターリーブ処理されて１つのピクチャとして符号化されて得られたビデオストリームが含まれる。
【００９１】
また、トランスポートストリームＴＳに１つのビデオストリームが含まれる場合には、例えば、以下のビデオストリームが含まれる。すなわち、中央、左端および右端の各ビューの画像データがそれぞれ１つのピクチャのデータとして符号化されたデータを含むビデオストリームが含まれる。
【００９２】
［識別情報およびビュー構成情報の構造と、ＴＳ構成］
上述したように、トランスポートストリームＴＳのレイヤに、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを識別するための識別情報が挿入される。図１２は、この識別情報としてのマルチビュー・ストリーム・コンフィグレーション・デスクリプタ（multiview_stream_configuration_descriptor）の構造例（Syntax）を示している。また、図１３は、図１２に示す構造例における主要な情報の内容（Semantics）を示している。
【００９３】
「multiview_stream_configuration_tag」は、デスクリプタタイプを示す８ビットのデータであり、ここでは、マルチビュー・ストリーム・コンフィグレーション・デスクリプタであることを示す。「multiview_stream_configuration_length」は、デスクリプタの長さ（サイズ）を示す８ビットのデータである。このデータは、デスクリプタの長さとして、以降のバイト数を示す。
【００９４】
「multiview_stream_checkflag」の１ビットフィールドは、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを示す。“１”は、ビデオストリームのレイヤにビュー構成情報の挿入があることを示し、“０”はその挿入がないことを示す。“１”であるとき、受信側（デコーダ）では、ユーザデータ領域に存在するビュー構成情報をチェックすることとなる。
【００９５】
また、上述したように、ビデオストリームのレイヤに、当該ビデオストリームに含まれる画像データがどのビューの画像データであるかを示す情報などを持つビュー構成情報が挿入される。図１４は、このビュー構成情報としてのマルチビュー・ストリーム・コンフィグレーション・インフォ（multiview_stream_configuration_info()）の構造例（Syntax）を示している。また、図１５、図１６、図１７は、図１４に示す構造例における主要な情報の内容（Semantics）を示している。
【００９６】
「3D_flag」の１ビットフィールドは、符号化されるビデオストリームに含まれる画像データが３Ｄを構成する一部のビューの画像データであるか否かを示す。“１”は一部のビューの画像データであることを示し、“０”は一部を示す画像データでないことを示す。
【００９７】
「3D_flag=1」であるとき、「view_count」、「single_view_es_flag」、「view_interleaving_flag」の各情報が存在する。「view_count」の４ビットフィールドは、３Ｄサービスを構成するビュー数を示す。最小値は１で、最大値は１５である。「single_view_es_flag 」の１ビットフィールドは、当該ビデオストリームの１アクセスユニット内に複数のピクチャのデータが符号化されているか否かを示す。“１”は１つのピクチャのデータのみが符号化されていることを示し、“０”は２つ以上のピクチャのデータが符号化されていることを示す。
【００９８】
「view_interleaving_flag」の１ビットフィールドは、当該ビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されているか否かを示す。“１”はインターリーブ処理されていて画面スプリットの構成であることを示し、“０”はインターリーブ処理されていないことを示す。
【００９９】
「view_interleaving_flag= 0」であるとき、「view_allocation」の情報が存在する。「view_allocation」の４ビットフィールドは、当該ビデオストリームに含まれる画像データがどのビューの画像データであるか、つまりビュー割り当てを示す。例えば、“0000”は、中央のビュー（center view）であることを示す。また、例えば、“0001”は、中央から左側に１つ隣りのビュー(1st left view next tocenter)であることを示す。また、例えば、“0010”は、中央から右側に１つ隣りのビュー(1st right view next to center)であることを示す。
【０１００】
「view_interleaving_flag= 1」であるとき、「view_pair_position_id」、「view_interleaving_type」の情報が存在する。「view_pair_position_id」の３ビットフィールドは、全ビューにおける２つのビューの相対的なビュー位置を示す。この場合、例えば、スキャン順で早い位置が左（left）、遅い位置が右（right）とする。例えば、“000”は、両端の２つのビューペアであることを示す。また、例えば、“001”は、両端から１つ内側の２つのビューペアであることを示す。また、例えば、“010”は、両端から１つ内側の２つのビューペアであることを示す。
【０１０１】
「view_interleaving_type」の１ビットフィールドは、インターリーブのタイプ（type）を示している。“１”はインターリーブのタイプがサイド・バイ・サイド（Side-by-Side）であることを示し、“０”はインターリーブのタイプがトップ・アンド・ボトム（Top&Bottom）であることを示す。
【０１０２】
また、「3D_flag= 1」であるとき、「display_flag」、「indication_of_picture_size_scaling_horizontal」、「indication_of_picture_size_scaling_vertical」の各情報が存在する。「display_flag」の１ビットフィールドは、当該ビューは画像表示を行わせる際に表示必須か否かを示す。“１”は、表示必須であることを示す。一方、“０”は、表示必須でないことを示す。
【０１０３】
「indication_of_picture_size_scaling_horizontal 」の４ビットフィールドは、フルＨＤ（１９２０）に対してのデコード画の水平画素比率を示している。“0000”は１００％、“0001”は８０％、“0010”は７５％、“0011”は６６％、“0100”は５０％、“0101”は３３％、“0110”は２５％、“0111”は２０％をそれぞれ示す。
【０１０４】
「indication_of_picture_size_scaling_vertical 」の４ビットフィールドは、フルＨＤ（１０８０）に対してのデコード画の垂直画素比率を示している。0000”は１００％、“0001”は８０％、“0010”は７５％、“0011”は６６％、“0100”は５０％、“0101”は３３％、“0110”は２５％、“0111”は２０％をそれぞれ示す。
【０１０５】
図１８は、「view_count」が示すビュー数と、「view_pair_position_id」が示す２つのビュー（ここでは、“View 1”, “View 2”としている）の位置との関係の一例を示している。（１）の例は、「view_count」が示すビュー数が２であって、「view_pair_position_id= 000」であって両端の２つのビューであることを示している場合である。また、（２）の例は、「view_count」が示すビュー数が４であって、「view_pair_position_id = 000」であって両端の２つのビューであることを示している場合である。
【０１０６】
また、（３）の例は、「view_count」が示すビュー数が４であって、「view_pair_position_id= 001」であって両端から１つ内側の２つのビューであることを示している場合である。また、（４）の例は、「view_count」が示すビュー数が５であって、「view_pair_position_id = 000」であって両端の２つのビューであることを示している場合である。
【０１０７】
また、（５）の例は、「view_count」が示すビュー数が９であって、「view_pair_position_id= 000」であって両端の２つのビューであることを示している場合である。さらに、（６）の例は、「view_count」が示すビュー数が９であって、「view_pair_position_id = 010」であって両端から２つ内側の２つのビューであることを示している場合である。
【０１０８】
両端よりも内側のビューペアは、受信側でビュー合成を行う際に両端の２つのビューでは十分に画質が満足できないような場合に、補間合成の性能を向上させるために、両端のビューペアに追加で伝送されることが可能である。その際、追加で伝送されるビューペアの符号化ビデオデータは、両端のビューペアのストリームの中に、アクセスユニット（AccessUnit）を共有するように符号化されてもよいし、あるいは、別のストリームとして符号化されてもよい。
【０１０９】
図１９は、上述のように両端の２つのビューペアの画像データと共に、両端よりも内側の２つのビューペアの画像データを送信する場合において、送信側あるいは受信側における視差データ（disparity data）の生成例を示している。図示の例では、view_count」が示すビュー数が９とされている。そして、両端の２つのビュー（View 1, View 2）の画像データが含まれるサブストリーム（substream1）と、それよりも内側の２つのビュー（View 3, View 4）の画像データが含まれるサブストリーム（substream 2）とが存在するものとしている。
【０１１０】
この場合、最初に、「View 1」と「View 3」とで視差データを計算する。次に、「View 2」と「View 4」とで視差データを計算する。最後に、「View 3」と「View 4」とで視差データを計算する。なお、サブストリーム間で、ビューの解像度が異なる場合は、どちらかの解像度に合わせた上で、視差データの計算を行う。
【０１１１】
図２０は、上述したように計算された視差データに基づき、受信側で、各ビューの間に位置するビューの画像データを補間合成する例を示している。この場合、最初に、「View 1」と「View 3」との間の視差データを用いて、「View 1」と「View 3」の間に位置する「View_A」を補間合成する。
【０１１２】
次に、「View 2」と「View 4」との間の視差データを用いて、「View 2」と「View 4」の間に位置する「View_B」を補間合成する。最後に、「View 3」と「View 4」との間の視差データを用いて、「View 3」と「View 4」の間に位置する「View_C」、「View_D」、「View_Ｅ」を補間合成する。
【０１１３】
次に、ビュー構成情報としてのマルチビュー・ストリーム・コンフィグレーション・インフォ（multiview_stream_configuration_info()）を、ビデオストリーム（ビデオエレメンタリストリーム）のユーザデータ領域に挿入する場合について説明する。この場合、マルチビュー・ストリーム・コンフィグレーション・インフォは、ユーザデータ領域を利用して、例えば、ピクチャ単位あるいはＧＯＰ単位で挿入される。
【０１１４】
例えば、符号化方式がＡＶＣである場合、マルチビュー・ストリーム・コンフィグレーション・インフォは、アクセスユニットの“ＳＥＬｓ”の部分に、「Multiview stream configuration SEI message」として、挿入される。図２１（ａ）は、ＧＯＰ（Group Of Pictures）の先頭のアクセスユニットを示しており、図２１（ｂ）は、ＧＯＰの先頭以外のアクセスユニットを示している。マルチビュー・ストリーム・コンフィグレーション・インフォがＧＯＰ単位で挿入される場合、ＧＯＰの先頭のアクセスユニットにのみ「Multiview stream configuration SEI message」が挿入される。
【０１１５】
図２２（ａ）は、「Multiview stream configuration SEI message」の構造例(Syntax)を示している。「uuid_iso_iec_11578」は、“ISO/IEC 11578:1996 AnnexA.”で示されるUUID値をもつ。「user_data_payload_byte」のフィールドに、「userdata_for_multiview_stream_configuration()」が挿入される。図２２（ｂ）は、「userdata_for_multiview_stream _configuration()」の構造例(Syntax)を示している。この中に、マルチビュー・ストリーム・コンフィグレーション・インフォ（multiview_stream_configuration_info()）が挿入される（図１４参照）。「userdata_id」は、符号なし１６ビットで示されるマルチビュー・ストリーム・コンフィグレーション・インフォの識別子である。
【０１１６】
また、例えば、符号化方式がＭＰＥＧ２ ｖｉｄｅｏである場合、マルチビュー・ストリーム・コンフィグレーション・インフォは、ピクチャヘッダ部のユーザデータ領域に、ユーザデータ「user_data()」として挿入される。図２３（ａ）は、「user_data()」の構造例(Syntax)を示している。「user_data_start_code」の３２ビットフィールドは、ユーザデータ（user_data）の開始コードであり、“0x000001B2”の固定値とされる。
【０１１７】
この開始コードに続く３２ビットフィールドは、ユーザデータの内容を識別する識別子である。ここでは、「Stereo_Video_Format_Signaling_identifier」とされ、ユーザデータが、マルチビュー・ストリーム・コンフィグレーション・インフォであることを識別可能とする。この識別子の後のデータ本体として、ストリーム関連付け情報としての「Multiview_stream_configuration()」が挿入される。図２３（ｂ）は、Multiview_stream_configuration()」の構造例(Syntax)を示している。この中に、マルチビュー・ストリーム・コンフィグレーション・インフォ（multiview_stream_configuration_info()）が挿入される（図１４参照）。
【０１１８】
上述の図１２に示す識別情報としてのマルチビュー・ストリーム・コンフィグレーション・デスクリプタ（multiview_stream_configuration_descriptor）は、トランスポートストリームＴＳのレイヤ、例えばＰＭＴの配下、あるいはＥＩＴの配下などに挿入される。すなわち、このデスクリプタは、イベント単位あるいは時間的に静的ないし動的なユースケースに置いて最適な位置に配置される。
【０１１９】
図２４は、トランスポートストリームＴＳの構成例を示している。なお、この構成例では、図面の簡単化のために、視差データ、オーディオ、およびグラフィクスなどに関しては、その図示を省略している。この構成例は、トランスポートストリームＴＳに３つのビデオストリームが含まれる場合を示している。すなわち、トランスポートストリームＴＳには、中央、左端および右端の各ビューの画像データがそれぞれ１つのピクチャとして符号化されて得られた３つのビデオストリームが含まれている。また、この構成例は、ビュー数が５である場合を示している。
【０１２０】
この図２４の構成例では、中央ビューの画像データＶＣ′が１つのピクチャとして符号化されているビデオストリームのＰＥＳパケット「video PES1」が含まれている。このビデオストリームのユーザデータ領域に挿入されるマルチビュー・ストリーム・コンフィグレーション・インフォにおいては、「View_count」が示すビュー数が５であることが示されている。
【０１２１】
また、このインフォにおいては、「single_view_es_flag = 1」とされ、このビデオストリームにおいて、１アクセスユニット内の１つのピクチャのデータのみが符号化されていることが示されている。また、このインフォにおいては、「View_interleaving_flag= 0」とされ、このビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されていないことが示されている。さらに、「view_allocation = 0000」とされ、このビデオストリームに含まれる画像データが中央のビューの画像データであることが示されている。
【０１２２】
また、この図２４の構成例では、左端ビューの画像データＶＬ′が１つのピクチャとして符号化されているビデオストリームのＰＥＳパケット「video PES2」が含まれている。このビデオストリームのユーザデータ領域に挿入されるマルチビュー・ストリーム・コンフィグレーション・インフォにおいては、「View_count」が示すビュー数が５であることが示されている。
【０１２３】
また、このインフォにおいては、「single_view_es_flag = 1」とされ、このビデオストリームにおいて、１アクセスユニット内の１つのピクチャのデータのみが符号化されていることが示されている。また、このインフォにおいては、「View_interleaving_flag= 0」とされ、このビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されていないことが示されている。さらに、「view_allocation = 0011」とされ、このビデオストリームに含まれる画像データが中央から左側に２つ隣りのビュー、つまり左端ビューの画像データであることが示されている。
【０１２４】
また、この図２４の構成例では、左端ビューの画像データＶＲ′が１つのピクチャとして符号化されているビデオストリームのＰＥＳパケット「video PES3」が含まれている。このビデオストリームのユーザデータ領域に挿入されるマルチビュー・ストリーム・コンフィグレーション・インフォにおいては、「View_count」が示すビュー数が５であることが示されている。
【０１２５】
また、このインフォにおいては、「single_view_es_flag = 1」とされ、このビデオストリームにおいて、１アクセスユニット内の１つのピクチャのデータのみが符号化されていることが示されている。また、このインフォにおいては、「View_interleaving_flag= 0」とされ、このビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されていないことが示されている。さらに、「view_allocation = 0100」とされ、このビデオストリームに含まれる画像データが中央から右側に２つ隣りのビュー、つまり右端ビューの画像データであることが示されている。
【０１２６】
また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（ProgramMap Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(EventInformation Table)が含まれている。
【０１２７】
ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ（Video ES loop）が存在する。このエレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）等の情報が配置されると共に、そのエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。
【０１２８】
この構成例では、ＰＭＴのビデオエレメンタリ・ループ（Video ES loop）の配下に、各ビデオストリームに関連して、マルチビュー・ストリーム・コンフィグレーション・デスクリプタ（multiview_stream_configuration_descriptor）が挿入されている。このデスクリプタで「multiview_stream_checkflag = 1」とされ、ビデオストリームのユーザ領域におけるビュー構成情報としてのマルチビュー・ストリーム・コンフィグレーション・インフォの存在が示されている。なお、このデスクリプタを、破線図示するように、ＥＩＴの配下に挿入することも考えられる。
【０１２９】
また、図２５も、トランスポートストリームＴＳの構成例を示している。なお、この構成例でも、図面の簡単化のために、視差データ、オーディオ、およびグラフィクスなどに関しては、その図示を省略している。この構成例は、トランスポートストリームＴＳに２つのビデオストリームが含まれる場合を示している。すなわち、トランスポートストリームＴＳには、中央のビューの画像データが１つのピクチャとして符号化されて得られたビデオストリームとが含まれている。また、このトランスポートストリームＴＳには、左端のビューおよび右端のビューの画像データがインターリーブ処理されて１つのピクチャとして符号化されて得られたビデオストリームが含まれている。また、この構成例も、ビュー数が５である場合を示している。
【０１３０】
この図２５の構成例では、中央ビューの画像データＶＣ′が１つのピクチャとして符号化されているビデオストリームのＰＥＳパケット「video PES1」が含まれている。このビデオストリームのユーザデータ領域に挿入されるマルチビュー・ストリーム・コンフィグレーション・インフォにおいては、「View_count」が示すビュー数が５であることが示されている。
【０１３１】
また、このインフォにおいては、「single_view_es_flag = 1」とされ、このビデオストリームにおいて、１アクセスユニット内の１つのピクチャのデータのみが符号化されていることが示されている。また、このインフォにおいては、「View_interleaving_flag= 0」とされ、このビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されているものではないことが示されている。さらに、「view_allocation = 0000」とされ、このビデオストリームに含まれる画像データが中央のビューの画像データであることが示されている。
【０１３２】
また、この図２５の構成例では、左端ビューの画像データＶＬ′および右端ビューの画像データＶＲ′が１つのピクチャとして符号化されているビデオストリームのＰＥＳパケット「video PES2」が含まれている。このビデオストリームのユーザデータ領域に挿入されるマルチビュー・ストリーム・コンフィグレーション・インフォにおいては、「View_count」が示すビュー数が５であることが示されている。
【０１３３】
また、このインフォにおいては、「single_view_es_flag = 1」とされ、このビデオストリームにおいて、１アクセスユニット内の１つのピクチャのデータのみが符号化されていることが示されている。また、このインフォにおいては、「View_interleaving_flag= 1」とされ、このビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されていることが示されている。さらに、「view_pair_position_id= 000」とされ、両端の２つのビューペアであることが示されている。さらに、「view_interleaving_type= 1」とされ、インターリーブのタイプがサイド・バイ・サイド（Side-by-Side）であることが示されている。
【０１３４】
また、この構成例では、ＰＭＴのビデオエレメンタリ・ループ（Video ES loop）の配下に、各ビデオストリームに関連して、マルチビュー・ストリーム・コンフィグレーション・デスクリプタ（multiview_stream_configuration_descriptor）が挿入されている。このデスクリプタで「multiview_stream_checkflag = 1」とされ、ビデオストリームのユーザ領域におけるビュー構成情報としてのマルチビュー・ストリーム・コンフィグレーション・インフォの存在が示されている。なお、このデスクリプタを、破線図示するように、ＥＩＴの配下に挿入することも考えられる。
【０１３５】
また、図２６も、トランスポートストリームＴＳの構成例を示している。なお、この構成例でも、図面の簡単化のために、視差データ、オーディオ、およびグラフィクスなどに関しては、その図示を省略している。この構成例は、トランスポートストリームＴＳに１つのビデオストリームが含まれる場合を示している。すなわち、トランスポートストリームＴＳには、中央、左端および右端の各ビューの画像データがそれぞれ１つのピクチャのデータとして符号化されたデータを含むビデオストリームが含まれている。また、この構成例も、ビュー数が５である場合を示している。
【０１３６】
この図２６の構成例では、１つのビデオストリームのＰＥＳパケット「video PES1」が含まれている。このビデオストリームには、中央、左端および右端の各ビューの画像データがそれぞれ１アクセスユニット内の１つのピクチャのデータとして符号化されたデータが含まれており、各ピクチャに対応してユーザデータ領域が存在する。そして、それぞれに、マルチビュー・ストリーム・コンフィグレーション・インフォが挿入されている。
【０１３７】
中央ビューの画像データが符号化されたピクチャデータに対応するインフォにおいては、「View_count」が示すビュー数が５であることが示されている。また、このインフォにおいては、「single_view_es_flag = 0」とされ、このビデオストリームにおいて、１アクセスユニット内に複数のピクチャのデータが符号化されていることが示されている。また、このインフォにおいては、「View_interleaving_flag= 0」とされ、このピクチャデータが２つのビューの画像データがインターリーブ処理されて符号化されたものでないことが示されている。さらに、「view_allocation = 0000」とされ、このピクチャデータに含まれる画像データが中央のビューの画像データであることが示されている。
【０１３８】
また、左端ビューの画像データが符号化されたピクチャデータに対応するインフォにおいては、「View_count」が示すビュー数が５であることが示されている。また、このインフォにおいては、「single_view_es_flag = 0」とされ、このビデオストリームにおいて、１アクセスユニット内に複数のピクチャのデータが符号化されていることが示されている。また、このインフォにおいては、「View_interleaving_flag= 0」とされ、このピクチャデータが２つのビューの画像データがインターリーブ処理されて符号化されたものでないことが示されている。さらに、「view_allocation = 0011」とされ、このピクチャデータに含まれる画像データが中央から左側に２つ隣りのビュー、つまり左端ビューの画像データであることが示されている。
【０１３９】
また、右端ビューの画像データが符号化されたピクチャデータに対応するインフォにおいては、「View_count」が示すビュー数が５であることが示されている。また、このインフォにおいては、「single_view_es_flag = 0」とされ、このビデオストリームにおいて、１アクセスユニット内に複数のピクチャのデータが符号化されていることが示されている。また、このインフォにおいては、「View_interleaving_flag= 0」とされ、このピクチャデータが２つのビューの画像データがインターリーブ処理されて符号化されたものでないことが示されている。さらに、「view_allocation = 0100」とされ、このピクチャデータに含まれる画像データが中央から右側に２つ隣りのビュー、つまり右端ビューの画像データであることが示されている。
【０１４０】
また、この構成例では、ＰＭＴのビデオエレメンタリ・ループ（Video ES loop）の配下に、１つのビデオストリームに関連して、マルチビュー・ストリーム・コンフィグレーション・デスクリプタ（multiview_stream_configuration_descriptor）が挿入されている。このデスクリプタで「multiview_stream_checkflag = 1」とされ、ビデオストリームのユーザ領域におけるビュー構成情報としてのマルチビュー・ストリーム・コンフィグレーション・インフォの存在が示されている。なお、このデスクリプタを、破線図示するように、ＥＩＴの配下に挿入することも考えられる。
【０１４１】
上述したように、図７に示す送信データ生成部１１０においては、立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビューの画像データとが符号化されて得られたビデオストリームを含むトランスポートストリームＴＳが生成される。そのため、マルチビュー構成による立体画像の裸眼観賞を行うための画像データ伝送を効果的に行うことができる。
【０１４２】
すなわち、左端のビューおよび右端のビューの画像データだけでなく、中間のビューの画像データも送信されるので、ビュー間の相対視差が小さく、その他のビューの画像データを補間する際の細かな部分の処理に伴うオクルージョン周辺の補間が容易になり、再生画像の品質向上を図ることができる。また、左端のビューおよび右端のビューの画像データが送信されるので、伝送されないビューの画像データの補間は全て内挿処理によって合成でき、オクルージョンなどの端点処理に関して高画質を維持することが容易となる。
【０１４３】
また、図７に示す送信データ生成部１１０においては、ビデオストリームのレイヤに、ビュー構成情報としてのマルチビュー・ストリーム・コンフィグレーション・インフォ（multiview_stream_configuration_info()）が挿入される。そのため、受信側では、このビュー構成情報により、複数のビューの画像データによる３次元画像（立体画像）の裸眼観賞を行うための適切かつ効率的な処理が可能となる。
【０１４４】
また、図７に示す送信データ生成部１１０においては、トランスポートストリームＴＳのレイヤに、マルチビュー・ストリーム・コンフィグレーション・デスクリプタ（multiview_stream_configuration_descriptor）が挿入される。このデスクリプタは、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを識別するための識別情報を構成している。この識別情報により、受信側では、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを容易に識別可能となる。そのため、ビデオストリームのユーザデータ領域からのビュー構成情報の効率的な抽出が可能となる。
【０１４５】
また、図７に示す送信データ生成部１１０においては、視差データ生成部１１６で各ビュー間の視差データが生成され、この視差データが符号化されて得られた視差ストリームが、ビデオストリームと共に、トランスポートストリームＴＳに含まれる。そのため、受信側では、受信された各ビューの画像データから視差データを生成する処理を行うことなく、送られてくる視差データに基づいて、伝送されない各ビューの画像データを容易に補間合成することが可能となる。
【０１４６】
「受信機の構成例」
図２７は、受信機２００の構成例を示している。この受信機２００は、ＣＰＵ２０１と、フラッシュＲＯＭ２０２と、ＤＲＡＭ２０３と、内部バス２０４と、リモートコントロール受信部（ＲＣ受信部）２０５と、リモートコントロール送信機（ＲＣ送信機）２０６を有している。また、この受信機２００は、アンテナ端子２１１と、デジタルチューナ２１２と、トランスポートストリームバッファ（ＴＳバッファ）２１３と、デマルチプレクサ２１４を有している。
【０１４７】
また、受信機２００は、コーデッドバッファ２１５-1，２１５-2，２１５-3と、ビデオデコーダ２１6-1，２１６-2，２１６-3と、デコーデッドバッファ２１７-1，２１７-2，２１７-3と、スケーラ２１８-1，２１８-2，２１８-3を有している。また、受信機２００は、ビュー補間部２１９と、ピクセルインターリーブ／重畳部２２０を有している。また、受信機２００は、コーデッドバッファ２２１と、視差デコーダ２２２と、視差バッファ２２３と、視差データ変換部２２４を有している。
【０１４８】
また、受信機２００は、コーデッドバッファ２２５と、グラフィクスデコーダ２２６と、ピクセルバッファ２２７と、スケーラ２２８と、グラフィクスシフタ２２９を有している。さらに、受信機２００は、コーデッドバッファ２３０と、オーディオデコーダ２３１と、チャネルミキシング部２３２を有している。
【０１４９】
ＣＰＵ２０１は、受信機２００の各部の動作を制御する。フラッシュＲＯＭ２０２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２０３は、ＣＰＵ２０１のワークエリアを構成する。ＣＰＵ２０１は、フラッシュＲＯＭ２０２から読み出したソフトウェアやデータをＤＲＡＭ２０３上に展開してソフトウェアを起動させ、受信機２００の各部を制御する。ＲＣ受信部２０５は、ＲＣ送信機２０６から送信されたリモーコントロール信号（リモコンコード）を受信し、ＣＰＵ２０１に供給する。ＣＰＵ２０１は、このリモコンコードに基づいて、受信機２００の各部を制御する。ＣＰＵ２０１、フラッシュＲＯＭ２０２およびＤＲＡＭ２０３は、内部バス２０４に接続されている。
【０１５０】
アンテナ端子２１１は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２１２は、アンテナ端子２１１に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のトランスポートストリーム（ビットストリームデータ）ＴＳを出力する。トランスポートストリームバッファ（ＴＳバッファ）２１３は、デジタルチューナ２１２から出力されたトランスポートストリームＴＳを一時的に蓄積する。
【０１５１】
このトランスポートストリームＴＳには、立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビューとしての中央のビューの画像データとが符号化されて得られたビデオストリームが含まれている。
【０１５２】
この場合、トランスポートストリームＴＳに、３つ、２つ、あるいは１つのビデオストリームが含まれる場合等がある（図２４、図２５、図２６参照）。ここでは、説明を簡単にするために、トランスポートストリームＴＳに、中央、左端および右端の各ビューの画像データがそれぞれ１つのピクチャとして符号化されて得られた３つのビデオストリームが含まれるものとして説明を行うものとする。
【０１５３】
このトランスポートストリームＴＳには、上述したように、ＰＭＴの配下、あるいはＥＩＴの配下などに、マルチビュー・ストリーム・コンフィグレーション・デスクリプタ（multiview_stream_configuration_descriptor）が挿入されている。このデスクリプタは、ビデオストリームのレイヤにビュー構成情報、つまりマルチビュー・ストリーム・コンフィグレーション・インフォ（multiview_stream_configuration_info()）の挿入があるか否かを識別するための識別情報である。
【０１５４】
デマルチプレクサ２１４は、ＴＳバッファ２１３に一時的に蓄積されたトランスポートストリームＴＳから、ビデオ、視差、グラフィクスおよびオーディオの各エレメンタリストリームを抽出する。また、デマルチプレクサ２１４は、このトランスポートストリームＴＳから、上述したマルチビュー・ストリーム・コンフィグレーション・デスクリプタを抽出し、ＣＰＵ２０１に送る。ＣＰＵ２０１は、このデスクリプタの「multiview_stream_checkflag」の１ビットフィールドにより、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを容易に判断できる。
【０１５５】
コーデッドバッファ２１５-1，２１５-2，２１５-3は、それぞれ、デマルチプレクサ２１４で抽出される中央、左端および右端の各ビューの画像データがそれぞれ１つのピクチャとして符号化されて得られたビデオストリームを一時的に蓄積する。ビデオデコーダ２１６-1，２１６-2，２１６-3は、ＣＰＵ２０１の制御のもと、それぞれ、コーデッドバッファ２１５-1，２１５-2，２１５-3に記憶されているビデオストリームの復号化処理を行って、中央、左端および右端の各ビューの画像データを取得する。
【０１５６】
ここで、ビデオデコーダ２１６-1は、中央ビュー（center view）の画像データを取得する。また、ビデオデコーダ２１６-2は、左端ビュー（left view）の画像データを取得する。さらに、ビデオデコーダ２１６-3は、右端ビュー（right view）の画像データを取得する。なお、２つ以上のビューがインターリーブされて符号化されている場合は、ストリーム単位で、コーデッドバッファ、ビデオデコーダ、デコーデッドバッファ、スケ―ラが割り当てられることになる。
【０１５７】
各ビデオデコーダは、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域などに挿入されているビュー構成情報としてのマルチビュー・ストリーム・コンフィグレーション・インフォ（multiview_stream_configuration_info()）を抽出し、ＣＰＵ２０１に送る。ＣＰＵ２０１は、このビュー構成情報により、複数のビューの画像データによる３次元画像（立体画像）の裸眼観賞を行うための適切かつ効率的な処理を行う。
【０１５８】
すなわち、ＣＰＵ２０１は、このビュー構成情報に基づいて、ピクチャ単位あるいはＧＯＰ単位で、デマルチプレクサ２１４、ビデオデコーダ２１６-1，２１６-2，２１６-3、スケーラ２１８-1，２１８-2，２１８-3、ビュー補間部２１９等の動作を制御する。例えば、ＣＰＵ２０１は、「3D_flag」の１ビットフィールドにより、ビデオストリームに含まれる画像データが３Ｄを構成する一部のビューの画像データであるか否かを識別できる。また、例えば、ＣＰＵ２０１は、「view_count」の４ビットフィールドにより、３Ｄサービスを構成するビュー数を認識できる。
【０１５９】
また、例えば、ＣＰＵ２０１は、「single_view_es_flag 」の１ビットフィールドにより、ビデオストリームの１アクセスユニット内に複数のピクチャのデータが符号化されているか否かを識別できる。また、例えば、ＣＰＵ２０１は、「view_interleaving_flag」の１ビットフィールドにより、ビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されているか否かを識別できる。
【０１６０】
また、例えば、ＣＰＵ２０１は、ビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されていないとき、「view_allocation」の４ビットフィールドにより、ビデオストリームに含まれる画像データがどのビューの画像データであるかを認識できる。
【０１６１】
また、例えば、ＣＰＵ２０１は、ビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されているとき、「view_pair_position_id」の３ビットフィールドにより、全ビューにおける２つのビューの相対的なビュー位置を認識できる。さらに、このとき、ＣＰＵ２０１は、「view_interleaving_type」の１ビットフィールドにより、インターリーブのタイプ（type）を知ることができる。
【０１６２】
また、例えば、ＣＰＵ２０１は、「indication_of_picture_size_scaling _horizontal 」の４ビットフィールドおよび「indication_of_picture_size_scaling _vertical 」の４ビットフィールドにより、フルＨＤに対してのデコード画の水平画素比率を認識できる。
【０１６３】
デコーデッドバッファ２１７-1，２１７-2，２１７-3は、それぞれ、ビデオデコーダ２１６-1，２１６-2，２１６-3で取得された各ビューの画像データを一時的に蓄積する。スケーラ２１８-1，２１８-2，２１８-3は、それぞれ、デコーデッドバッファ２１７-1，２１７-2，２１７-3から出力される各ビューの画像データの出力解像度が、所定の解像度となるように調整する。
【０１６４】
マルチビュー・ストリーム・コンフィグレーション・インフォには、デコード画の水平画素比率を示す「indication_of_picture_size_scaling _horizontal 」の４ビットフィールドおよびデコード画の垂直画素比率を示す「indication_of_picture_size_scaling _vertical 」の４ビットフィールドが存在する。ＣＰＵ２０１は、この画素比率情報に基づいて、スケーラ２１８-1，２１８-2，２１８-3におけるスケーリング比率を制御し、所定の解像度が得られるようにする。
【０１６５】
この場合、ＣＰＵ２０１は、デコードした画像データの解像度、モニタの解像度およびビュー（view）の数に基づいて、デコーデッドバッファに蓄積されている画像データに対するスケーリング比を算出し、スケーラ２１８-1，２１８-2，２１８-3に指示を行う。図２８は、スケーリング比の算出例を示している。
【０１６６】
例えば、デコードした画像データの解像度が９６０＊１０８０で、モニタ解像度が１９２０＊１０８０で、表示するビューの数が４である場合には、スケーリング比は１／２とされる。また、例えば、デコードした画像データの解像度が１９２０＊１０８０で、モニタ解像度が１９２０＊１０８０で、表示するビューの数が４である場合には、スケーリング比は１／４とされる。さらに、例えば、デコードした画像データの解像度が１９２０＊２１６０で、モニタ解像度が３８４０＊２１６０で、表示するビューの数が８である場合には、スケーリング比は１／４とされる。
【０１６７】
コーデッドバッファ２２１は、デマルチプレクサ２１４で抽出される視差ストリームを一時的に蓄積する。視差デコーダ２２２は、上述の送信データ生成部１１０の視差エンコーダ１１７（図７参照）とは逆の処理を行う。すなわち、視差デコーダ２２３は、コーデッドバッファ２２１に記憶されている視差ストリームの復号化処理を行って、視差データを得る。この視差データには、中央ビューと左端ビューとの間の視差データと、中央ビューと右端ビューとの間の視差データが含まれている。また、この視差データは、画素単位、あるいはブロック単位の視差データである。視差バッファ２２３は、視差デコーダ２２２で取得された視差データを一時的に蓄積する。
【０１６８】
視差データ変換部２２４は、視差バッファ２２３に蓄積されている視差データに基づいて、スケーリング後の画像データのサイズに合った画素単位の視差データを生成する。例えば、送信されてくる視差データがブロック単位である場合には、画素単位の視差データに変換する（図１１参照）。また、例えば、送信されてくる視差データが画素単位であるが、スケーリング後の画像データのサイズに合っていない場合には、適宜、スケーリングされる。
【０１６９】
ビュー補間部２１９は、スケーリング後の中央、左端および右端の各ビューの画像データから、視差データ変換部２２４で得られた各ビュー間の視差データに基づいて、伝送されてこない所定数のビューの画像データを補間合成する。すなわち、ビュー補間部２１９は、中央ビューと左端ビューとの間に位置する各ビューの画像データを補間合成して出力する。また、ビュー補間部２１９は、中央ビューと右端ビューとの間に位置する各ビューの画像データを補間合成して出力する。
【０１７０】
図２９は、ビュー補間部２１９における補間合成処理の一例を概略的に示している。図示の例において、例えば、カレントビュー（Current view）は上述の中央ビューに相当し、ターゲットビュー１（Targetview 1）は上述の左端ビューに相当し、ターゲットビュー２（Target view 2）は上述の右端ビューに相当する。
【０１７１】
カレントビューとターゲットビュー１との間に位置するビューの補間合成と、カレントビューとターゲットビュー２との間に位置するビューの補間合成とは、同様に行われる。以下では、カレントビューとターゲットビュー１との間に位置するビューの補間合成について説明する。
【０１７２】
カレントビューとターゲットビュー１との間に位置する補間合成するビューの画素は、以下のように割り当てられる。この場合、カレントビューからターゲットビュー１を指し示す視差データと、逆に、ターゲットビュー１からカレントビューを指し示す視差データとの、２方向の視差データが用いられる。まず、補間合成するビューの画素として、カレントビューの画素を、視差データをベクターとしてずらすことで、割り当てる（カレントビューからターゲットビュー１に向いた実線矢印および破線矢印と、黒丸を参照）。
【０１７３】
この際に、ターゲットビュー１においてターゲット・オクルーデッド（target occluded）となる部分では、以下の画素割り当てを行う。すなわち、補間合成するビューの画素として、ターゲットビュー１の画素を、視差データをベクターとしてずらすことで、割り当てる（ターゲットビュー１からカレントビューに向いた一点鎖線矢印と、白丸を参照）。
【０１７４】
このように、ターゲット・オクルーデッドとなる部分では、双方向の視差データを持つことで、補間合成されるビューの画素を、バックグランド（background）と見なせるビューからの画素で充当できる。なお、双方向で対応できないオクルージョン（Occlusion）領域は、ポスト（Post）処理で値を充当する。
【０１７５】
また、図示の矢印の先端が重なっているターゲット・オーバーラップド（target overlapped）となる部分は、ターゲットビュー１において、視差（disparity）によるシフトが重なる部分である。この部分においては、２つの視差のうち、どちらがカレントビューのフォグランド（fore ground）に相当するかを、視差データの値で判断し、選択する。この場合には、主には値の小さな方が選択される。
【０１７６】
図２７に戻って、コーデッドバッファ２２５は、デマルチプレクサ２１４で抽出されるグラフィクスストリームを一時的に蓄積する。グラフィクスデコーダ２２６は、上述の送信データ生成部１１０のグラフィクスエンコーダ１１９（図７参照）とは逆の処理を行う。すなわち、グラフィクスデコーダ２２６は、コーデッドバッファ２２５に記憶されているグラフィクスストリームの復号化処理を行って、復号化されたグラフィクスデータ（サブタイトルデータを含む）を得る。また、グラフィクスデコーダ２２６は、このグラフィクスデータに基づいて、ビュー（画像）に重畳するグラフィクスのビットマップデータを発生する。
【０１７７】
ピクセルバッファ２２７は、グラフィクスデコーダ２２６で発生されるグラフィクスのビットマップデータを一時的に蓄積する。スケーラ２２８は、ピクセルバッファ２２７に蓄積されているグラフィクスのビットマップデータのサイズを、スケーリング後の画像データのサイズに対応するように調整する。グラフィクスシフタ２２９は、サイズ調整後のグラフィクスのビットマップデータに対して、視差データ変換部２２４で得られる視差データに基づいてシフト処理を施す。そして、グラフィクスシフタ２２９は、ビュー補間部２１９から出力されるＮ個のビュー（View1, View2,・・・,ViewN ）の画像データにそれぞれ重畳するＮ個のグラフィクスのビットマップデータを生成する。
【０１７８】
ピクセルインターリーブ／重畳部２２０は、ビュー補間部２１９から出力されるＮ個のビュー（View1, View2,・・・,ViewN ）の画像データにそれぞれ対応するグラフィクスのビットマップデータを重畳する。さらに、ピクセルインターリーブ／重畳部２２０は、Ｎ個のビュー（View1, View2,・・・,ViewN ）の画像データに対してピクセルインターリーブ処理を行って、３次元画像（立体画像）の裸眼観賞のための表示用画像データを生成する。
【０１７９】
コーデッドバッファ２３０は、デマルチプレクサ２１４で抽出されるオーディオストリームを一時的に蓄積する。オーディオデコーダ２３１は、上述の送信データ生成部１１０のオーディオエンコーダ１２１（図７参照）とは逆の処理を行う。すなわち、オーディオデコーダ２３１は、コーデッドバッファ２３０に記憶されているオーディオスストリームの復号化処理を行って、復号化された音声データを得る。チャネルミキシング部２３２は、オーディオデコーダ２３１で得られる音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データを生成して出力する。
【０１８０】
なお、デコーデッドバッファ２１７-1，２１７-2，２１７-2からの各ビューの画像データの読み出しと、視差バッファ２２３からの視差データの読み出しと、ピクセルバッファ２２７からのグラフィクスのビットマップデータの読み出しとは、ＰＴＳに基づいて行われ、転送同期が取られる。
【０１８１】
受信機２００の動作を簡単に説明する。アンテナ端子２１１に入力されたテレビ放送信号はデジタルチューナ２１２に供給される。このデジタルチューナ２１２では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のトランスポートストリームＴＳが出力される。このトランスポートストリームＴＳは、ＴＳバッファ２１３に一時的に蓄積される。
【０１８２】
このトランスポートストリームＴＳには、立体画像表示のための複数のビューのうち、左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビューとしての中央のビューの画像データとが符号化されて得られたビデオストリームが含まれている。
【０１８３】
デマルチプレクサ２１４では、ＴＳバッファ２１３に一時的に蓄積されたトランスポートストリームＴＳから、ビデオ、視差、グラフィクスおよびオーディオの各エレメンタリストリームが抽出される。また、デマルチプレクサ２１４では、このトランスポートストリームＴＳから、識別情報としてのマルチビュー・ストリーム・コンフィグレーション・デスクリプタが抽出され、ＣＰＵ２０１に送られる。ＣＰＵ２０１では、このデスクリプタの「multiview_stream_checkflag」の１ビットフィールドにより、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを容易に判断できる
【０１８４】
デマルチプレクサ２１４で抽出される中央、左端および右端の各ビューの画像データは、それぞれ、コーデッドバッファ２１５-1，２１５-2，２１５-3に供給されて一時的に蓄積する。そして、ビデオデコーダ２１６-1，２１６-2，２１６-3では、ＣＰＵ２０１の制御のもと、それぞれ、コーデッドバッファ２１５-1，２１５-2，２１５-3に記憶されているビデオストリームの復号化処理が行われて、中央、左端および右端の各ビューの画像データが取得される。
【０１８５】
また、各ビデオデコーダでは、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域などに挿入されているビュー構成情報としてのマルチビュー・ストリーム・コンフィグレーション・インフォ（multiview_stream_configuration_info()）が抽出され、ＣＰＵ２０１に送られる。ＣＰＵ２０１は、このビュー構成情報に基づいて、ピクチャ単位あるいはＧＯＰ単位で、デマルチプレクサ２１４、ビデオデコーダ２１６-1，２１６-2，２１６-3、スケーラ２１８-1，２１８-2，２１８-3、ビュー補間部２１９等の動作を制御する。
【０１８６】
ビデオデコーダ２１６-1，２１６-2，２１６-3で取得された各ビューの画像データは、それぞれ、デコーデッドバッファ２１７-1，２１７-2，２１７-3に供給されて一時的に蓄積される。スケーラ２１８-1，２１８-2，２１８-3では、それぞれ、デコーデッドバッファ２１７-1，２１７-2，２１７-3から出力される各ビューの画像データの出力解像度が所定の解像度となるように調整される。
【０１８７】
また、デマルチプレクサ２１４で抽出される視差ストリームは、コーデッドバッファ２２１に供給されて一時的に蓄積される。視差デコーダ２２２では、コーデッドバッファ２２１に記憶されている視差ストリームの復号化処理が行われて、視差データが得られる。この視差データには、中央ビューと左端ビューとの間の視差データと、中央ビューと右端ビューとの間の視差データが含まれている。また、この視差データは、画素単位、あるいはブロック単位の視差データである。
【０１８８】
視差デコーダ２２２で取得された視差データは、視差バッファ２２３に供給されて一時的に蓄積される。視差データ変換部２２４は、視差バッファ２２３に蓄積されている視差データに基づいて、スケーリング後の画像データのサイズに合った画素単位の視差データが生成される。この場合、送信されてくる視差データがブロック単位である場合には、画素単位の視差データに変換される。また、この場合、送信されてくる視差データが画素単位であるが、スケーリング後の画像データのサイズに合っていない場合には、適宜、スケーリングされる。
【０１８９】
ビュー補間部２１９では、スケーリング後の中央、左端および右端の各ビューの画像データから、視差データ変換部２２４で得られた各ビュー間の視差データに基づいて、伝送されてこない所定数のビューの画像データが補間合成される。このビュー補間部２１９からは、３次元画像（立体画像）を裸眼観賞するためのＮ個のビュー（View1, View2,・・・,ViewN ）の画像データが得られる。なお、中央、左端および右端の各ビューの画像データも含まれる。
【０１９０】
また、デマルチプレクサ２１４で抽出されるグラフィクスストリームは、コーデッドバッファ２２５に供給されて一時的に蓄積される。グラフィクスデコーダ２２６では、コーデッドバッファ２２５に記憶されているグラフィクスストリームの復号化処理が行われて、復号化されたグラフィクスデータ（サブタイトルデータを含む）が得られる。また、このグラフィクスデコーダ２２６では、このグラフィクスデータに基づいて、ビュー（画像）に重畳するグラフィクスのビットマップデータが発生される。
【０１９１】
グラフィクスデコーダ２２６で発生されるグラフィクスのビットマップデータは、ピクセルバッファ２２７に供給されて一時的に蓄積される。スケーラ２２８では、ピクセルバッファ２２７に蓄積されているグラフィクスのビットマップデータのサイズが、スケーリング後の画像データのサイズに対応するように調整される。
【０１９２】
グラフィクスシフタ２２９では、サイズ調整後のグラフィクスのビットマップデータに対して、視差データ変換部２２４で得られる視差データに基づいてシフト処理が施される。そして、グラフィクスシフタ２２９では、ビュー補間部２１９から出力されるＮ個のビュー（View1, View2,・・・,ViewN ）の画像データにそれぞれ重畳するＮ個のグラフィクスのビットマップデータが生成され、ピクセルインターリーブ／重畳部２２０に供給される。
【０１９３】
ピクセルインターリーブ／重畳部２２０では、Ｎ個のビュー（View1, View2,・・・,ViewN ）の画像データにそれぞれ対応するグラフィクスのビットマップデータが重畳される。また、ピクセルインターリーブ／重畳部２２０では、Ｎ個のビュー（View1, View2,・・・,ViewN ）の画像データに対してピクセルインターリーブ処理が行われて、３次元画像（立体画像）の裸眼観賞のための表示用画像データが生成される。この表示用画像データがディスプレイに供給されることで、３次元画像（立体画像）の裸眼観賞のための、画像表示が行われる。
【０１９４】
また、デマルチプレクサ２１４で抽出されるオーディオストリームは、コーデッドバッファ２３０に供給されて一時的に蓄積される。オーディオデコーダ２３１では、コーデッドバッファ２３０に記憶されているオーディオスストリームの復号化処理が行われて、復号化された音声データが得られ。この音声データはチャネルミキシング部２３２に供給される。チャネルミキシング部２３２では、音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データが生成される。この音声データは例えばスピーカに供給され、画像表示に合わせた音声出力がなされる。
【０１９５】
上述したように、図２７に示す受信機２００においては、立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビューの画像データとが受信されるものである。そして、この受信機２００において、その他のビューは視差データに基づいて補間処理で得るものである。そのため、マルチビュー構成による立体画像の裸眼観賞を良好に行うことができる。
【０１９６】
すなわち、左端のビューおよび右端のビューの画像データだけでなく、中央のビューの画像データも受信される。そのため、ビュー間の相対視差が小さく、伝送されないビューの画像データを補間する際の細かな部分の処理に伴うオクルージョン周辺の補間が容易になり、再生画像の品質向上を図ることができる。また、左端のビューおよび右端のビューの画像データが受信されるので、伝送されないビューの画像データの補間は全て内挿処理によって合成でき、オクルージョンなどの端点処理に関して高画質を維持することが容易となる。
【０１９７】
なお、図２７に示す受信機２００は、トランスポートストリームＴＳに視差データが符号化されて得られた視差ストリームが含まれる場合の構成例を示している。トランスポートストリームＴＳに視差ストリームが含まれていない場合には、受信された各ビューの画像データから視差データを生成して用いることになる。
【０１９８】
図３０は、その場合における受信機２００Ａの構成例を示している。この図３０において、図２７と対応する部分には同一符号を付し、その詳細説明は省略する。この受信機２００Ａは、視差データ生成部２３３を有している。この視差データ生成部２３３は、スケーリング処理された中央、左端および右端の各ビューの画像データに基づいて、視差データを生成する。
【０１９９】
詳細説明は省略するが、この場合における視差データの生成方法は、上述した送信データ生成部１１０における視差データ生成部１１６における視差データ生成方法と同様である。なお、この視差データ生成部２３３は、図２７に示す受信機２００の視差データ変換部２２４で生成される画素単位の視差データと同様の視差データを生成して出力する。視差データ生成部２３３で生成された視差データは、ビュー補間部２１９に供給されると共に、フラフィクスシフタ２２９に供給されて用いられる。
【０２００】
なお、図３０に示す受信機２００Ａにおいては、図２７に示す受信機２００におけるコーデッドバッファ２２１、視差デコーダ２２２、視差バッファ２２３および視差データ変換部２２４は、省略される。この図３０に示す受信機２００Ａにおけるその他の構成は、図２７に示す受信機２００の構成と同様とされる。
【０２０１】
＜２．変形例＞
なお、上述実施の形態においては、放送局１００と受信機２００からなる画像送受信システム１０を示したが、本技術を適用し得る画像送受信システムの構成は、これに限定されるものではない。例えば、受信機２００の部分が、例えば、（ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。
【０２０２】
また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。
【０２０３】
また、本技術は、以下のような構成を取ることもできる。
（１）立体画像表示のための所定数のビューの画像データを取得する画像データ取得部と、
上記取得された画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信部と、
上記ビデオストリームのレイヤに、少なくとも上記所定数のビューの相対位置関係を示す情報が含まれるビュー構成情報を挿入するビュー構成情報挿入部を備える
（２）上記画像データ取得部は、
上記立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、上記左端および上記右端の間に位置する中間のビューの画像データを取得する
前記（１）に記載の送信装置。
（３）上記コンテナのレイヤに、上記ビデオストリームのレイヤに上記ビュー構成情報の挿入があるか否かを識別するための識別情報を挿入する識別情報挿入部をさらに備える
前記（１）に記載の送信装置。
（４）上記コンテナが含むビデオストリームにおいて、上記左端のビューおよび上記右端のビューの画像データはそれぞれ１つのピクチャのデータとして符号化されている
前記（２）または（３）に記載の送信装置。
（５）上記コンテナが含むビデオストリームにおいて、上記左端のビューおよび上記右端のビューの画像データはインターリーブ処理されて１つのピクチャのデータとして符号化されている
前記（２）または（３）に記載の送信装置。
（６）上記コンテナが含むビデオストリームは、１つまたは複数のピクチャのデータを含む
前記（１）から（５）のいずれかに記載の送信装置。
（７）上記コンテナが含むビデオストリームが複数のピクチャの符号化データを含むとき、各ピクチャの符号化データの間に境界を示す情報が配置される
前記（１）から（６）のいずれかに記載の送信装置。
（８）上記コンテナが含むビデオストリームにおいて、所定のビューの画像データが１つのピクチャのデータとして符号化されているとき、該ビデオストリームのレイヤに挿入される上記ビュー構成情報には、上記所定のビューの位置を示す情報が含まれる
前記（１）から（７）のいずれかに記載の送信装置。
（９）上記コンテナが含むビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されているとき、該ビデオストリームのレイヤに挿入される上記ビュー構成情報には、該２つのビューの位置を示す情報が含まれる
前記（１）または（８）に記載の送信装置。
（１０）上記ビュー構成情報には、上記２つのビューの画像データに対して行われるインターリーブのタイプを示す情報がさらに含まれる
前記（９）に記載の送信装置。
（１１）上記ビデオストリームのレイヤに挿入される上記ビュー構成情報には、該ビデオストリームの１アクセスユニット内に複数のピクチャのデータが符号されているか否かを示す情報が含まれている
前記（１）、（８）から（１０）のいずれかに記載の送信装置。
（１２）上記ビデオストリームのレイヤに挿入される上記ビュー構成情報には、画像表示に必須のビューの画像データが符号化されているビデオストリームであるか否かを示す情報が含まれている
前記（１）、（８）から（１１）のいずれかに記載の送信装置。
（１３）上記ビデオストリームのレイヤに挿入される上記ビュー構成情報には、水平および／または垂直の所定の解像度に対する画素比率情報が含まれている
前記（１）、（８）から（１２）のいずれかに記載の送信装置。
（１４）上記各ビューの間の視差データを取得する視差データ取得部をさらに備え、
上記画像データ送信部は、
上記取得された画像データが符号化されて得られたビデオストリームの他に、上記取得された視差データが符号化されて得られた視差ストリームを含む所定フォーマットのコンテナを送信する
前記（１）から（１３）のいずれかに記載の送信装置。
（１５）上記コンテナは、トランスポートストリームである
前記（１）から（１４）のいずれかに記載の送信装置。
（１６）立体画像表示のための所定数のビューの画像データを取得する画像データ取得ステップと、
上記取得された画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信ステップと、
上記ビデオストリームのレイヤに、少なくとも上記所定数のビューの相対位置関係を示す情報が含まれるビュー構成情報を挿入するビュー構成情報挿入ステップを備える
送信方法。
（１７）立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、上記左端および上記右端の間に位置する中間のビューの画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信部と、
上記コンテナに含まれるビデオストリームをデコードして、上記各ビューの画像データを得る画像データ取得部と、
上記各ビューの間の視差データに基づいて、上記各ビューの間に位置する所定数のビューの画像データを補間処理で取得する補間処理部を備える
受信装置。
（１８）上記コンテナは、上記視差データが符号化されて得られた視差ストリームを含み、
上記コンテナに含まれる上記視差ストリームをデコードして上記視差データを得る視差データ取得部をさらに備える
前記（１７）に記載の受信装置。
（１９）上記画像データ取得部で得られた上記各ビューの画像データに基づいて、上記視差データを生成する視差データ生成部をさらに備える
前記（１７）に記載の受信装置。
（２０）立体画像表示のための複数のビューのうち、少なくとも左端ビューおよび右端のビューの画像データと、上記左端および上記右端の間に位置する中間のビューの画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信ステップと、
上記コンテナに含まれるビデオストリームをデコードして、上記各ビューの画像データを得る画像データ取得ステップと、
上記各ビューの間の視差データに基づいて、上記各ビューの間に位置する所定数のビューの画像データを補間処理で取得する補間処理ステップを備える
受信方法。
【０２０４】
本技術の主な特徴は、ビデオストリームのレイヤに少なくとも所定数のビューの相対位置関係を示す情報が含まれるビュー構成情報を挿入するようにしたことで、受信側おいて各ビューの相対位置関係を容易に把握でき、立体画像の表示処理を良好に行い得るようにしたことである（図１４、図１５参照）
【符号の説明】
【０２０５】
１０・・・画像送受信システム
１００・・・放送局
１１０・・・送信データ生成部
１１１-1〜１１１-N・・・画像データ出力部
１１２・・・ビューセレクタ
１１３-1，１１３-2，１１３-3・・・スケーラ
１１４-1，１１４-2，１１４-3・・・ビデオエンコーダ
１１５・・・マルチプレクサ
１１６・・・視差データ生成部
１１７・・・視差エンコーダ
１１８・・・グラフィクスデータ出力部
１１９・・・グラフィクスエンコーダ
１２０・・・音声データ出力部
１２１・・・オーディオエンコーダ
２００，２００Ａ・・・受信機
２０１・・・ＣＰＵ
２１１・・・アンテナ端子
２１２・・・デジタルチューナ
２１３・・・トランスポートストリームバッファ（ＴＳバッファ）
２１４・・・デマルチプレクサ
２１５-1，２１５-2，２１５-3，２２１，２２５，２３０・・・コーデッドバッファ
２１６-1，２１６-2，２１６-3・・・ビデオデコーダ
２１７-1，２１７-2，２１７-3・・・ビューバッファ
２１８-1，２１８-2，２１８-3，２２８・・・スケーラ
２１９・・・ビュー補間部
２２０・・・ピクセルインターリーブ／重畳部
２２２・・・視差デコーダ
２２３・・・視差バッファ
２２４・・・視差データ変換部
２２６・・・グラフィクスデコーダ
２２７・・・ピクセルバッファ
２２９・・・グラフィクスシフタ
２３１・・・オーディオデコーダ
２３２・・・チャネルミキシング部
２３３・・・視差データ生成部
【技術分野】
【０００１】
本技術は、送信装置、送信方法、受信装置および受信方法に関し、特に、受信側で立体画像（３次元画像）の表示を良好に行うための送信装置等に関する。
【背景技術】
【０００２】
従来、３次元画像（立体画像）を表示するシステムとして、様々なものが知られている。例えば、特許文献１に記載されているように、視差を有する左眼画像および右眼画像を所定周期で交互にディスプレイに表示し、これら左眼画像および右眼画像を、その表示に同期して駆動される液晶シャッタを備えるシャッタメガネで観察する方法が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−１３８３８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
３次元画像（立体画像）の裸眼観賞を可能にする方式に、Ｎ個のビュー（view）を持つマルチビュー構成による方法が考えられる。その場合、全てのビューの画像データを伝送すると、伝送帯域が増大する懸念がある。そこで、全てのビューの画像データを伝送する代わりに、１つのビュー以上、例えば２つのビューの画像データを伝送し、受信側で伝送されたビュー以外のビューの画像データを補間処理で生成することも考えられる。
【０００５】
図３１は、その場合における画像送受信システム５０の構成例を示している。送信側においては、Ｎ個のカメラ５１-1〜５１-Nで撮像されて得られたＮ個のビュー（View 1・・・View N）の画像データからビューセレクタ５２で例えば２つのビューの画像データが選択される。そして、この２つのビューの画像データをエンコーダ５３によって符号化して得られる例えば２つのビデオストリーム（1st video, 2nd video）が受信側に向けて送信される。
【０００６】
また、受信側において、送信側から送られてくる２つのビデオストリームがデコーダ５４によりデコードされて２つのビューの画像データが得られる。そして、この２つのビューの画像データに基づいて補間処理部５５で補間処理が行われて、伝送されなかったその他のビューの画像データが生成され、結果的にＮ個のビュー（View 1・・・View N）の画像データが得られる。これにより、受信側では、Ｎ個のビューの画像データによる３次元画像（立体画像）の裸眼観賞が可能となる。
【０００７】
例えば、２つのビューの画像データを伝送する方法として、（１）Ｎ個のビューのうち、両端の２つのビューの画像データを伝送する方法、（２）Ｎ個のビューのうち、内側の２つのビューの画像データを伝送する方法の２つが考えられる。
【０００８】
（１）の伝送方法については、マルチビューのビュー数が増加すると、伝送される両端の２つのビュー間の相対視差が大きくなる。そのため、伝送されないビューの画像データを補間する際の細かな部分の処理に伴うオクルージョン（occlusion）周辺の補間が困難になり、再生画像の品質が問題となる場合がある。
【０００９】
図３２は、この伝送方法において、ビュー数を５とした場合の受信側の表示部を概略的に示している。ここで、「View_0」は中央のビュー、「View_1」は中央から１つ右のビュー、「View_2」は中央から１つ左のビュー、「View_3」は中央から２つ右、つまり右端のビュー、「View_4」は中央から２つ左、つまり左端のビューを示している。この場合、送信側から「View_3」、「View_4」のビューの画像データのみが送信され、受信側では「View_3」、「View_4」のビューの画像データが受信され、その他の「View_0」、「View_1」、「View_2」のビューの画像データは補間処理で求められる。そして、受信側では、３次元画像（立体画像）の裸眼観賞のために、これらの５つのビューの画像が表示部に合成表示される。なお、図３２には、レンチキュラーレンズを示しているが、この代わりにパララックスバリアなどであってもよい。これは、以下の図３３においても同様である。
【００１０】
（２）の伝送方法については、いわゆる従来のステレオビュー（stereo view）の画像データを伝送し、伝送されないビューの画像データを受信側で補間するものとなる。その際、ステレオビューを構成する２つのビューの内側のビューの画像データの補間は内挿処理によって合成できる。しかし、ステレオビューの外側のビューの画像データの補間は外挿処理によって合成することになる。外挿処理による合成は、オクルージョン（occlusion）などの端点処理に関して高画質を維持することが困難であり、画質劣化の要因になる。
【００１１】
図３３は、この伝送方法において、ビュー数を５とした場合の受信側の表示部を概略的に示している。ここで、「View_0」は中央のビュー、「View_1」は中央から１つ右のビュー、「View_2」は中央から１つ左のビュー、「View_3」は中央から２つ右、つまり右端のビュー、「View_4」は中央から２つ左、つまり左端のビューを示している。この場合、送信側から「View_1」、「View_2」のビューの画像データのみが送信され、受信側では「View_1」、「View_2」のビューの画像データが受信され、その他の「View_0」、「View_3」、「View_4」のビューの画像データは補間処理で求められる。そして、受信側では、３次元画像（立体画像）の裸眼観賞のために、これらの５つのビューの画像が表示部に合成表示される。
【００１２】
本技術の目的は、受信側において立体画像の表示処理を良好に行い得るようにすることにある。
【課題を解決するための手段】
【００１３】
本技術の概念は、
立体画像表示のための所定数のビューの画像データを取得する画像データ取得部と、
上記取得された画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信部と、
上記ビデオストリームのレイヤに、少なくとも上記所定数のビューの相対位置関係を示す情報が含まれるビュー構成情報を挿入するビュー構成情報挿入部を備える
送信装置。
【００１４】
本技術において、画像データ送信部により、所定数のビューの画像データが取得される。例えば、立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビュー、例えば中央のビューの画像データが取得される。この場合の画像データは、例えば、カメラで撮像されて得られたもの、あるいは記憶媒体から読み出されて得られたものなどである。
【００１５】
画像データ送信部により、取得された画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。
【００１６】
例えば、コンテナが含むビデオストリームにおいて、左端のビューおよび右端のビューの画像データはそれぞれ１つのピクチャのデータとして符号化されていてもよい。また、例えば、コンテナが含むビデオストリームにおいて、左端のビューおよび右端のビューの画像データはインターリーブ処理されて１つのピクチャのデータとして符号化されていてもよい。
【００１７】
また、例えば、コンテナが含むビデオストリームは、１つまたは複数のピクチャのデータを含む、ようにされてもよい。この場合、例えば、コンテナが含むビデオストリームが複数のピクチャの符号化データを含むとき、各ピクチャの符号化データの間に境界を示す情報が配置されていてもよい。このように境界を示す情報が配置されることで、各ピクチャの先頭データに瞬時にアクセスすることが可能となる。
【００１８】
ビュー構成情報挿入部により、ビデオストリームのレイヤに、少なくとも所定数のビューの相対位置関係を示す情報が含まれるビュー構成情報が挿入される。本技術においては、このようにビデオストリームのレイヤにビュー構成情報が挿入されて送信されることから、受信側おいて各ビューの相対位置関係を容易に把握でき、立体画像の表示処理を良好に行うことができる。
【００１９】
なお、本技術において、例えば、画像データ取得部は、立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビューの画像データを取得する、ようにされてもよい。この場合、左端のビューおよび右端のビューの画像データだけでなく、中間のビューの画像データも送信されるので、ビュー間の相対視差が小さく、その他のビューの画像データを補間する際の細かな部分の処理に伴うオクルージョン周辺の補間が容易になり、再生画像の品質向上を図ることができる。また、左端のビューおよび右端のビューの画像データが送信されるので、伝送されないビューの画像データの補間は全て内挿処理によって合成でき、オクルージョンなどの端点処理に関して高画質を維持することが容易となる。
【００２０】
なお、本技術において、例えば、ビデオストリームのレイヤに、このビデオストリーム内の画像データに関するビュー構成情報を挿入するビュー構成情報挿入部をさらに備える、ようにされてもよい。このビュー構成情報により、受信側では、複数のビューの画像データによる３次元画像（立体画像）の裸眼観賞を行うための適切かつ効率的な処理が可能となる。
【００２１】
この場合、例えば、コンテナのレイヤに、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを識別するための識別情報を挿入する識別情報挿入部をさらに備える、ようにされてもよい。この識別情報により、受信側では、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを容易に識別可能となる。
【００２２】
例えば、コンテナが含むビデオストリームにおいて、所定のビューの画像データが１つのピクチャのデータとして符号化されているとき、このビデオストリームのレイヤに挿入されるビュー構成情報には、所定のビューの位置を示す情報が含まれていてもよい。
【００２３】
また、例えば、コンテナが含むビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されているとき、このビデオストリームのレイヤに挿入されるビュー構成情報には、この２つのビューの位置を示す情報が含まれていてもよい。この場合、例えば、ビュー構成情報には、２つのビューの画像データに対して行われるインターリーブのタイプを示す情報がさらに含まれていてもよい。
【００２４】
また、例えば、ビデオストリームのレイヤに挿入されるビュー構成情報には、このビデオストリームの１アクセスユニット内に複数のピクチャのデータが符号されているか否かを示す情報が含まれていてもよい。また、例えば、ビデオストリームのレイヤに挿入されるビュー構成情報には、画像表示に必須のビューの画像データが符号化されているビデオストリームであるか否かを示す情報が含まれていてもよい。また、例えば、ビデオストリームのレイヤに挿入されるビュー構成情報には、水平および／または垂直の所定の解像度に対する画素比率情報が含まれていてもよい。
【００２５】
また、本技術において、例えば、各ビューの間の視差データを取得する視差データ取得部をさらに備え、画像データ送信部は、取得された画像データが符号化されて得られたビデオストリームの他に、取得された視差データが符号化されて得られた視差ストリームを含む所定フォーマットのコンテナを送信する、ようにされてもよい。この場合、受信側では、受信された各ビューの画像データから視差データを生成する処理を行うことなく、送られてくる視差データに基づいて、伝送されない各ビューの画像データを容易に補間合成することが可能となる。
【００２６】
また、本技術の他の概念は、
立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、上記左端および上記右端の間に位置する中間のビューの画像データとが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信部と、
上記コンテナに含まれるビデオストリームをデコードして、上記各ビューの画像データを得る画像データ取得部と、
上記各ビューの視差データに基づいて、上記各ビューの間に位置する所定数のビューの画像データを補間処理で取得する補間処理部を備える
受信装置にある。
【００２７】
本技術において、画像データ受信部により、立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビューの画像データとが符号化されて得られたビデオストリームを含む所定フォーマットのストリームが受信される。画像データ取得部により、ストリームに含まれるビデオストリームがデコードされて、各ビューの画像データが得られる。そして、補間処理部により、各ビューの間の視差データに基づいて、各ビューの間に位置する所定数のビューの画像データが補間処理で取得される。
【００２８】
例えば、コンテナは、視差データが符号化されて得られた視差ストリームを含み、コンテナに含まれる視差ストリームをデコードして視差データを得る視差データ取得部をさらに備える、ようにされてもよい。また、例えば、画像データ取得部で得られた各ビューの画像データに基づいて、視差データを生成する視差データ生成部をさらに備える、ようにされてもよい。
【００２９】
このように本技術においては、立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビューの画像データとが受信され、その他のビューは視差データに基づいて補間処理で得るものである。そのため、マルチビュー構成による立体画像の裸眼観賞を良好に行うことができる。
【００３０】
すなわち、左端のビューおよび右端のビューの画像データだけでなく、それらのビューの中間のビューの画像データも受信されるので、ビュー間の相対視差が小さく、伝送されないビューの画像データを補間する際の細かな部分の処理に伴うオクルージョン周辺の補間が容易になり、再生画像の品質向上を図ることができる。また、左端のビューおよび右端のビューの画像データが受信されるので、伝送されないビューの画像データの補間は全て内挿処理によって合成でき、オクルージョンなどの端点処理に関して高画質を維持することが容易となる。
【発明の効果】
【００３１】
本技術によれば、受信側において立体画像の表示処理を良好に行うことができる。
【図面の簡単な説明】
【００３２】
【図１】実施の形態としての画像送受信システムの構成例を示すブロック図である。
【図２】中央、左端および右端の各ビューの画像データがそれぞれ１つのピクチャのデータとして符号化される例を説明するための図である。
【図３】中央のビューの画像データは１つのピクチャのデータとして符号化され、左端および右端の２つのビューの画像データはインターリーブ処理されて１つのピクチャのデータとして符号化される例を説明するための図である。
【図４】複数のピクチャの符号化データを含むビデオストリームの一例を示す図である。
【図５】３つのピクチャの符号化データが１つのビデオストリームに共存する場合の例を示す図である。
【図６】Ｎ個のビューのうち、左端および右端のビューと、それらの間に位置する中央のビューの画像データを伝送する方法において、ビュー数を５とした場合の受信機の表示部を概略的に示す図である。
【図７】トランスポートストリームを生成する送信データ生成部の構成例を示すブロック図である。
【図８】送信データ生成部内のビューセレクタにおけるビュー選択状態を示す図である。
【図９】ブロック（Block）毎の視差データ（視差ベクトル）の一例を示す図である。
【図１０】ブロック単位の視差データの生成方法の一例を説明するための図である。
【図１１】ブロック単位から画素単位への変換処理により画素単位の視差データを生成する方法を説明するための図である。
【図１２】識別情報としてのマルチビュー・ストリーム・コンフィグレーション・デスクリプタの構造例を示す図である。
【図１３】マルチビュー・ストリーム・コンフィグレーション・デスクリプタの構造例における主要な情報の内容を示す図である。
【図１４】ビュー構成情報としてのマルチビュー・ストリーム・コンフィグレーション・インフォの構造例を示す図である。
【図１５】マルチビュー・ストリーム・コンフィグレーション・インフォの構造例における主要な情報の内容を示す図である。
【図１６】マルチビュー・ストリーム・コンフィグレーション・インフォの構造例における主要な情報の内容を示す図である。
【図１７】マルチビュー・ストリーム・コンフィグレーション・インフォの構造例における主要な情報の内容を示す図である。
【図１８】「view_count」が示すビュー数と、「view_pair_position_id」が示す２つのビューの位置との関係の一例を示す図である。
【図１９】両端の２つのビューペアの画像データと共に、両端よりも内側の２つのビューペアの画像データを送信する場合において、送信側あるいは受信側における視差データの生成例を説明するための図である。
【図２０】視差データに基づき、受信側で、各ビューの間に位置するビューの画像データを補間合成する例を説明するための図である。
【図２１】マルチビュー・ストリーム・コンフィグレーション・インフォがアクセスユニットの“ＳＥＬｓ”の部分に「Multiview stream configuration SEI message」として挿入されることを説明するための図である。
【図２２】「Multiview stream configuration SEI message」および「userdata_for_multiview_stream_configuration()」の構造例を示す図である。
【図２３】「user_data()」の構造例を示す図である。
【図２４】トランスポートストリームＴＳに３つのビデオストリームが含まれる場合の構成例を示す図である。
【図２５】トランスポートストリームＴＳに２つのビデオストリームが含まれる場合の構成例を示す図である。
【図２６】トランスポートストリームＴＳに１つのビデオストリームが含まれる場合の構成例を示す図である。
【図２７】画像送受信システムを構成する受信機の構成例を示すブロック図である。
【図２８】スケーリング比の算出例を示す図である。
【図２９】ビュー補間部における補間合成処理の一例を概略的に示す図である。
【図３０】画像送受信システムを構成する受信機の他の構成例を示すブロック図である。
【図３１】３次元画像（立体画像）の裸眼観賞を可能にする画像送受信システムの構成例を示す図である。
【図３２】Ｎ個のビューのうち、両端の２つのビューの画像データを伝送する方法において、ビュー数を５とした場合の受信側の表示部を概略的に示す図である。
【図３３】Ｎ個のビューのうち、内側の２つのビューの画像データを伝送する方法において、ビュー数を５とした場合の受信側の表示部を概略的に示す図である。
【発明を実施するための形態】
【００３３】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００３４】
＜１．実施の形態＞
［画像送受信システム］
図１は、実施の形態としての画像送受信システム１０の構成例を示している。この画像送受信システム１０は、放送局１００および受信機２００により構成されている。放送局１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。
【００３５】
このトランスポートストリームＴＳには、立体画像表示のための複数のビューのうち、少なくとも中央のビュー、左端のビューおよび右端のビューの画像データが符号化されて得られたビデオストリームが含まれる。この場合、中央のビューは、左端ビューおよび右端ビューの間に位置する中間ビューを構成している。
【００３６】
トランスポートストリームＴＳが含むビデオストリームにおいて、図２に示すように、中央（Center）のビュー、左端（Left)のビューおよび右端（Right）のビューの画像データはそれぞれ１つのピクチャのデータとして符号化される。図示の例では、各ピクチャのデータは１９２０＊１０８０のフルＨＤのサイズとされる。
【００３７】
あるいは、トランスポートストリームＴＳが含むビデオストリームにおいて、図３（ａ）に示すように、中央（Center）のビューの画像データは１つのピクチャのデータとして符号化され、左端（Left)のビューおよび右端（Right）のビューの画像データはインターリーブ処理されて１つのピクチャのデータとして符号化される。図示の例では、各ピクチャのデータは１９２０＊１０８０のフルＨＤのサイズとされる。
【００３８】
なお、左端のビューおよび右端のビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化される場合、各ビューの画像データは水平方向あるいは垂直方向に１／２に間引かれた状態となる。図示の例では、インターリーブのタイプがサイド・バイ・サイドであり、各ビューのサイズは９６０＊１０８０とされる。図示していないが、インターリーブのタイプとしてトップ・アンド・ボトムも考えられ、その場合には、各ビューのサイズは１９２０＊５４０とされる。
【００３９】
このように左端のビューおよび右端のビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化される場合、受信側においては、図３（ｂ）に示すように、スケーリング処理され、左端のビューおよび右端のビューの画像データのサイズは１９２０＊１０８０のフルＨＤのサイズに戻される。
【００４０】
トランスポートストリームＴＳが含むビデオストリームは、１つまたは複数のピクチャのデータを含むものとされる。例えば、トランスポートストリームＴＳには、以下の３つのビデオストリーム（ビデオエレメンタリストリーム）が含まれる。すなわち、中央のビュー、左端のビューおよび右端のビューの画像データがそれぞれ１つのピクチャとして符号化されて得られたビデオストリームである。
【００４１】
また、例えば、トランスポートストリームＴＳには、以下の２つのビデオストリーム（ビデオエレメンタリストリーム）が含まれる。すなわち、中央のビューの画像データが１つのピクチャとして符号化されて得られたビデオストリームと、左端のビューおよび右端のビューの画像データがインターリーブ処理されて１つのピクチャとして符号化されて得られたビデオストリームである。
【００４２】
また、例えば、トランスポートストリームＴＳには、以下の１つのビデオストリーム（ビデオエレメンタリストリーム）が含まれる。すなわち、この１つのビデオストリームには、中央のビュー、左端のビューおよび右端のビューの画像データがそれぞれ１つのピクチャのデータとして符号化されたデータが含まれる。
【００４３】
図４（ａ），（ｂ）は、複数のピクチャの符号化データを含むビデオストリームの一例を示している。各アクセスユニットに、各ピクチャの符号化データが順次配置される。この場合、最初のピクチャの符号化データは、“SPS 〜 Coded Slice”で構成され、２番目以降のピクチャの符号化データは、“Subset SPS 〜 Coded Slice”で構成される。なお、この例は、ＭＰＥＧ４−ＡＶＣの符号化がされている例であるが、他の符号化方式でも適用可能である。なお、図中の１６進数字は「 NAL unit type 」を示している。
【００４４】
各ピクチャの符号化データが１つのビデオストリームに共存する場合、各ピクチャの境界が瞬時に識別可能なことが要求される。しかし、ＡＵＤ(access unit delimiter)は、一つのアクセスユニットの先頭にのみ付すことが可能である。そこで、図４（ｂ）に示すように、各ピクチャの符号化データの間に、「View Separation Marker」という境界を示す新たな“NAL unit”を定義して配置することが考えられる。これにより、各ピクチャの先頭データに瞬時にアクセスすることが可能となる。なお、図４（ａ）は、２つのビューのデータの間に、「View Separation Marker」が配置されていない例を示している。
【００４５】
図５（ａ），（ｂ）は、３つのピクチャの符号化データが１つのビデオストリームに共存する場合の例を示している。ここでは、各ピクチャの符号化データをサブストリーム（sub stream）として示している。図５（ａ）は、ＧＯＰ（Group OfPictures）の先頭のアクセスユニットを示しており、図５（ｂ）は、ＧＯＰの先頭以外のアクセスユニットを示している。
【００４６】
ビデオストリームのレイヤ（ピクチャレイヤ、シーケンスレイヤなど）に、このビデオストリーム内の画像データに関するビュー構成情報が挿入される。このビュー構成情報には、当該ビデオストリームに含まれる画像データがどのビューの画像データであるかを示す情報、当該ビデオストリームの１アクセスユニット内に複数のピクチャのデータが符号化されているかを示す情報等が含まれている。このビュー構成情報は、例えば、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域などに挿入される。このビュー構成情報により、受信側では、複数のビューの画像データによる３次元画像（立体画像）の裸眼観賞を行うための適切かつ効率的な処理が可能となる。このビュー構成情報の詳細については後述する。
【００４７】
また、トランスポートストリームＴＳのレイヤに、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを識別するための識別情報が挿入される。この識別情報は、例えば、トランスポートストリームＴＳに含まれるプログラム・マップ・テーブル（ＰＭＴ：Program Map Table）のビデオエレメンタリ・ループ（Video ESloop）の配下、あるいはイベント・インフォメーション・テーブル（ＥＩＴ：Event InformationTable）の配下などに挿入される。この識別情報により、受信側では、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを容易に識別可能となる。この識別情報の詳細については後述する。
【００４８】
受信機２００は、放送局１００から放送波に載せて送られてくるトランスポートストリームＴＳを受信する。また、受信機２００は、このトランスポートストリームＴＳに含まれるビデオストリームをデコードして、例えば、中央のビュー、左端のビューおよび右端のビューの画像データを取得する。この際、受信機２００は、ビデオストリームのレイヤに含まれるビュー構成情報により、各ビデオストリームに含まれる画像データが、どのビュー位置の画像データであるかを知ることができる。
【００４９】
また、受信機２００は、中央のビューおよび左端ビューの間の視差データと、中央のビューおよび右端ビューの間の視差データとに基づいて、中央のビューおよび左端ビューの間と、中央のビューおよび右端ビューの間とに位置する所定数のビューの画像データを補間処理で取得する。この際、受信機２００は、ビデオストリームのレイヤに含まれるビュー構成情報により、ビュー数を知ることができ、どの位置のビューが伝送されなかったかを容易に把握できる。
【００５０】
受信機２００は、放送局１００からビデオストリームと共に送られてくる視差データストリームをデコードして、上述の視差データを取得する。あるいは、受信機２００は、取得された中央のビュー、左端のビューおよび右端のビューの画像データに基づいて、上述の視差データを生成する。
【００５１】
受信機２００は、放送局１００から送られてくる中央、左端および右端の各ビューの画像データと、上述の補間処理で取得される各ビューの画像データとに基づき、３次元画像（立体画像）の裸眼観賞のために、各ビューの画像を表示部に合成表示する。
【００５２】
図６は、ビュー数を５とした場合の受信機２００の表示部を概略的に示している。ここで、「View_0」は中央のビュー、「View_1」は中央から１つ右のビュー、「View_2」は中央から１つ左のビュー、「View_3」は中央から２つ右、つまり右端のビュー、「View_4」は中央から２つ左、つまり左端のビューを示している。この場合、放送局１００から「View_0」、「View_3」、「View_4」のビューの画像データのみが送信され、受信機２００では「View_0」、「View_3」、「View_4」のビューの画像データが受信され、その他の「View_1」、「View_2」のビューの画像データは補間処理で求められる。そして、受信機２００では、３次元画像（立体画像）の裸眼観賞のために、これらの５つのビューの画像が表示部に合成表示される。なお、図６には、レンチキュラーレンズを示しているが、この代わりにパララックスバリアなどであってもよい。
【００５３】
「送信データ生成部の構成例」
図７は、放送局１００において、上述したトランスポートストリームＴＳを生成する送信データ生成部１１０の構成例を示している。この送信データ生成部１１０は、Ｎ個の画像データ出力部１１１-1〜１１１-Nと、ビューセレクタ１１２と、スケーラ１１３-1，１１３-2，１１３-3と、ビデオエンコーダ１１４-1，１１４-2，１１４-3と、マルチプレクサ１１５を有している。また、この送信データ生成部１１０は、視差データ生成部１１６と、視差エンコーダ１１７と、グラフィクスデータ出力部１１８と、グラフィクスエンコーダ１１９と、音声データ出力部１２０と、オーディオエンコーダ１２１を有している。
【００５４】
画像データ出力部１１１-1〜１１１-Nは、立体画像表示のためのＮ個のビュー（View 1・・・View N）の画像データを出力する。この画像データ出力部は、例えば、被写体を撮像して画像データを出力するカメラ、あるいは記憶媒体から画像データを読み出して出力する画像データ読み出し部などにより構成される。なお、伝送されないビューの画像データは、実際にはなくてもよい。
【００５５】
また、ビューセレクタ１１２は、Ｎ個のビュー（View 1・・・View N）の画像データから、少なくとも左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビュー（１つまたは２つ以上）の画像データを選択的に取り出す。この実施の形態において、ビューセレクタ１１２は、左端のビューの画像データＶＬおよび右端のビューの画像データＶＲを取り出すと共に、中央のビューの画像データＶＣを取り出す。図８は、ビューセレクタ１１２におけるビュー選択状態を示している。
【００５６】
また、スケーラ１１３-1，１１３-2，１１３-3は、それぞれ、画像データＶＣ，ＶＬ，ＶＲに対してスケーリング処理を施して、例えば、１９２０＊１０８０のフルＨＤのサイズの画像データＶＣ′，ＶＬ′，ＶＲ′を得る。この場合、画像データＶＣ，ＶＬ，ＶＲが１９２０＊１０８０のフルＨＤのサイズであるときは、そのまま出力する。また、画像データＶＣ，ＶＬ，ＶＲが１９２０＊１０８０のサイズより大きいときは、スケールダウンして出力する。
【００５７】
ビデオエンコーダ１１４-1は、中央のビューの画像データＶＣ′に対して、例えば、ＭＰＥＧ４−ＡＶＣ（ＭＶＣ）、ＭＰＥＧ２ｖｉｄｅｏなどの符号化を施して、符号化ビデオデータを得る。そして、このビデオエンコーダ１１４-1は、後段に備えるストリームフォーマッタ（図示せず）により、この符号化データをサブストリーム（sub stream 1）として含むビデオストリームを生成する。
【００５８】
また、ビデオエンコーダ１１４-2は、左端のビューの画像データＶＬ′に対して、例えば、ＭＰＥＧ４−ＡＶＣ（ＭＶＣ）、ＭＰＥＧ２ｖｉｄｅｏなどの符号化を施して、符号化ビデオデータを得る。そして、このビデオエンコーダ１１４-2は、後段に備えるストリームフォーマッタ（図示せず）により、この符号化データをサブストリーム（sub stream 2）として含むビデオストリームを生成する。
【００５９】
さらに、ビデオエンコーダ１１４-3は、右端のビューの画像データＶＲ′に対して、例えば、ＭＰＥＧ４−ＡＶＣ（ＭＶＣ）、ＭＰＥＧ２ｖｉｄｅｏなどの符号化を施して、符号化ビデオデータを得る。そして、このビデオエンコーダ１１４-3は、後段に備えるストリームフォーマッタ（図示せず）により、この符号化データをサブストリーム（sub stream 3）として含むビデオストリームを生成する。
【００６０】
ビデオエンコーダ１１４-1，１１４-2，１１４-3は、ビデオストリームのレイヤに、上述したビュー構成情報を挿入する。このビュー構成情報は、上述したように、当該ビデオストリームに含まれる画像データがどのビューの画像データであるかを示す情報、当該ビデオストリームの１アクセスユニット内に複数のピクチャのデータが符号化されているかを示す情報等を含むものである。このビュー構成情報は、例えば、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域などに挿入される。
【００６１】
視差データ生成部１１６は、ビューセレクタ１１２から出力される中央、左端および右端の各ビューの画像データに基づいて、視差データ（disparity data）を生成する。この視差データには、例えば、中央のビューおよび左端のビューの間の視差データと、中央のビューおよび右端のビューの間の視差データが含まれている。この場合、画素単位、あるいはブロック（Block）単位で、視差データが生成される。図９は、ブロック（Block）毎の視差データ（視差ベクトル）の一例を示している。
【００６２】
図１０は、ブロック単位の視差データの生成方法の一例を示している。この例は、ｉ番目のビューからｊ番目のビューを指し示す視差データを求める例である。この場合、ｉ番目のビューのピクチャに、例えば４＊４、８＊８あるいは１６＊１６などの画素ブロック（視差検出ブロック）が設定される。
【００６３】
図示のように、ｉ番目のビューのピクチャが検出画像とされ、ｊ番目のビューのピクチャが参照画像とされて、ｉ番目のビューのピクチャのブロック毎に、画素間の差分絶対値和が最小となるように、ｊ番目のビューのピクチャのブロック探索がされて、視差データが求められる。
【００６４】
すなわち、Ｎ番目のブロックの視差データＤＰｎは、例えば、以下の（１）式に示すように、当該Ｎ番目のブロックにおける差分絶対値和が最小となるようにブロック探索されて求められる。なお、この（１）式において、Ｄｊはｊ番目のビューのピクチャにおける画素値、Ｄｉはｉ番目のビューのピクチャにおける画素値を示している。
ＤＰｎ ＝ min ( Σabs( differ (Dj - Di))) ・・・（１）
【００６５】
図１１は、画素単位の視差データの生成方法の一例を示している。この例は、ブロック単位から画素単位への変換処理により画素単位の視差データを生成する方法である。図１１（ａ）における“Ａ”、“Ｂ”、“Ｃ”、“Ｄ”、“Ｘ”は、それぞれ、ブロックの領域を示している。
【００６６】
これらのブロックの視差データから、図１１（ｂ）に示すように、“Ｘ”のブロックを４分割した各領域の視差データは、以下の（２）式で求められる。例えば、“Ａ”、“Ｂ”に隣接する分割領域の視差データＸ（Ａ，Ｂ）は、“Ａ”、“Ｂ”、“Ｘ”のブロックの視差データの中央値とされる。その他の分割領域においても、同様にして、視差データが求められる。
【００６７】
Ｘ（Ａ，Ｂ）＝median（Ｘ，Ａ，Ｂ）
Ｘ（Ａ，Ｃ）＝median（Ｘ，Ａ，Ｃ）
Ｘ（Ｂ，Ｄ）＝median（Ｘ，Ｂ，Ｄ）
Ｘ（Ｃ，Ｄ）＝median（Ｘ，Ｃ，Ｄ）
・・・（２）
【００６８】
上述の一度の変換で、視差データの占める領域は、元の縦横サイズの１／２のサイズに狭まる。ブロックサイズにより、この変換を所定回数繰り返すことによって、画素単位の視差データが求まる。なお、テクスチャにエッジを含んでいたりして画面内オブジェクトの複雑度が他の部分よりも高い場合などには、適宜、ブロックサイズを小さくとって、初期のブロック単位の視差データ自体のテクスチャ追従性を向上することも可能である。
【００６９】
視差エンコーダ１１７は、視差データ生成部１１６で生成された視差データに符号化を施して視差ストリーム（視差データエレメンタリストリーム）を生成する。この視差ストリームには、画素単位、またはブロック単位の視差データが含まれることとなる。視差データが画素単位である場合には、画素データと同様に、圧縮符号化して伝送できる。
【００７０】
なお、この視差ストリームにブロック単位の視差データが含まれる場合には、受信側で、上述した変換処理を行うことで、画素単位に変換することも可能である。また、このような視差ストリームの送信がない場合、受信側で、上述したように各ビュー間におけるブロック単位の視差データを求め、さらに画素単位に変換することが可能である。
【００７１】
グラフィクスデータ出力部１１８は、画像に重畳するグラフィクス（字幕としてのサブタイトルも含む）のデータを出力する。グラフィクスエンコーダ１１９は、グラフィクスデータ出力部１１８から出力されたグラフィクスデータを含むグラフィクスストリーム（グラフィクスエレメンタリストリーム）を生成する。ここで、グラフィクスは、重畳情報を構成し、例えば、ロゴ、字幕などである。
【００７２】
なお、グラフィクスデータ出力部１１８から出力されるグラフィクスデータは、例えば、中央のビューの画像に重畳するグラフィクスのデータである。グラフィクスデータ１１９は、視差データ生成部１１６で生成された視差データに基づいて、左端および右端のビューに重畳するグラフィクスのデータを作成して、これらのグラフィクスデータを含むグラフィクスストリームを生成してもよい。この場合には、受信側において左端および右端のビューに重畳するグラフィクスのデータを作成することが不要となる。
【００７３】
グラフィクスデータは、主にはビットマップデータである。このグラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。このアイドリングオフセット情報は、例えば、画像の左上の原点から、グラフィクスの重畳位置の左上の画素までの垂直方向、水平方向のオフセット値を示す。なお、字幕データをビットマップデータとして伝送する規格は、例えば、ヨーロッパのデジタル放送規格であるＤＶＢで「DVB_Subtitling」として規格化され、運用されている。
【００７４】
音声データ出力部１２０は、画像データに対応した音声データを出力する。この音声データ出力部１２０は、例えば、マイクロホン、あるいは記憶媒体から音声データを読み出して出力する音声データ読み出し部などにより構成される。オーディオエンコーダ１２１は、音声データ出力部１２０から出力される音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ、ＡＡＣ等の符号化を施し、オーディオストリーム（オーディオエレメンタリストリーム）を生成する。
【００７５】
マルチプレクサ１１５は、ビデオエンコーダ１１４-1，１１４-2，１１４-3、視差エンコーダ１１７、グラフィクスエンコーダ１１９およびオーディオエンコーダ１２１で生成された各エレメンタリストリームをパケット化して多重し、トランスポートストリームＴＳを生成する。この場合、それぞれのＰＥＳ(Packetized Elementarty Stream)のヘッダには、受信側における同期再生のために、ＰＴＳ（Presentation Time Stamp）が挿入される。
【００７６】
マルチプレクサ１１５は、トランスポートストリームＴＳのレイヤに、上述した識別情報を挿入する。この識別情報は、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを識別するための情報である。この識別情報は、例えば、トランスポートストリームＴＳに含まれるプログラム・マップ・テーブル（ＰＭＴ：Program Map Table）のビデオエレメンタリ・ループ（Video ESloop）の配下、あるいはイベント・インフォメーション・テーブル（ＥＩＴ：Event InformationTable）の配下などに挿入される。
【００７７】
図７に示す送信データ生成部１１０の動作を簡単に説明する。Ｎ個の画像データ出力部１１１-1〜１１１-Nから出力される立体画像表示のためのＮ個のビュー（View 1・・・View N）の画像データは、ビューセレクタ１１２に供給される。ビューセレクタ１１２では、Ｎ個のビューの画像データから、中央のビューの画像データＶＣ、左端のビューの画像データＶＬおよび右端のビューの画像データＶＲが取り出される。
【００７８】
ビューセレクタ１１２で取り出された中央のビューの画像データＶＣはスケーラ１１３-1に供給され、例えば、１９２０＊１０８０のフルＨＤのサイズにスケーリング処理される。スケーリング処理後の画像データＶＣ′は、ビデオエンコーダ１１４-1に供給される。
【００７９】
ビデオエンコーダ１１４-1では、この画像データＶＣ′に対して符号化が施されて符号化ビデオデータが得られ、この符号化データをサブストリーム（sub stream 1）として含むビデオストリームが生成される。また、このビデオエンコーダ１１４-1では、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域などに、当該ビデオストリームに含まれる画像データがどのビューの画像データであるかを示す情報などを持つビュー構成情報が挿入される。このビデオストリームは、マルチプレクサ１１５に供給される。
【００８０】
また、ビューセレクタ１１２で取り出された左端のビューの画像データＶＬはスケーラ１１３-2に供給され、例えば、１９２０＊１０８０のフルＨＤのサイズにスケーリング処理される。スケーリング処理後の画像データＶＬ′は、ビデオエンコーダ１１４-2に供給される。
【００８１】
ビデオエンコーダ１１４-2では、この画像データＶＬ′に対して符号化が施されて符号化ビデオデータが得られ、この符号化データをサブストリーム（sub stream 2）として含むビデオストリームが生成される。また、このビデオエンコーダ１１４-2では、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域などに、当該ビデオストリームに含まれる画像データがどのビューの画像データであるかを示す情報などを持つビュー構成情報が挿入される。このビデオストリームは、マルチプレクサ１１５に供給される。
【００８２】
さらに、ビューセレクタ１１２で取り出された右端のビューの画像データＶＲはスケーラ１１３-3に供給され、例えば、１９２０＊１０８０のフルＨＤのサイズにスケーリング処理される。スケーリング処理後の画像データＶＲ′は、ビデオエンコーダ１１４-3に供給される。
【００８３】
ビデオエンコーダ１１４-3では、この画像データＶＲ′に対して符号化が施されて符号化ビデオデータが得られ、この符号化データをサブストリーム（sub stream 3）として含むビデオストリームが生成される。また、このビデオエンコーダ１１４-3では、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域などに、当該ビデオストリームに含まれる画像データがどのビューの画像データであるかを示す情報などを持つビュー構成情報が挿入される。このビデオストリームは、マルチプレクサ１１５に供給される。
【００８４】
また、ビューセレクタ１１２から出力される中央、左端および右端の各ビューの画像データは視差データ生成部１１６に供給される。この視差データ生成部１１６では、各ビューの画像データに基づいて、視差データ（disparity data）が生成される。この視差データには、中央のビューおよび左端のビューの間の視差データと、中央のビューおよび右端のビューの間の視差データが含まれる。この場合、画素単位、あるいはブロック（Block）単位で、視差データが生成される。
【００８５】
視差データ生成部１１６で生成された視差データは、視差エンコーダ１１７に供給される。この視差エンコーダ１１７では、視差データに符号化処理が施されて、視差ストリームが生成される。この視差ストリームは、マルチプレクサ１１５に供給される。
【００８６】
また、グラフィクスデータ出力部１１８から出力されるグラフィクスデータ（サブタイトルデータも含む）は、グラフィクスエンコーダ１１９に供給される。このグラフィクスエンコーダ１１９では、グラフィクスデータを含むグラフィクスストリームが生成される。このグラフィクスストリームは、マルチプレクサ１１５に供給される。
【００８７】
また、音声データ出力部１１８から出力される音声データは、オーディオエンコーダ１２１に供給される。このオーディオエンコーダ１２１では、音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ、ＡＡＣ等の符号化が施され、オーディオストリームが生成される。このオーディオストリームは、マルチプレクサ１１５に供給される。
【００８８】
マルチプレクサ１１５では、各エンコーダから供給されるエレメンタリストリームがパケット化されて多重され、トランスポートストリームＴＳが生成される。この場合、それぞれのＰＥＳヘッダには、受信側における同期再生のために、ＰＴＳが挿入される。また、マルチプレクサ１１５では、ＰＭＴの配下、あるいはＥＩＴの配下などに、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを識別するための識別情報が挿入される。
【００８９】
なお、図７に示す送信データ生成部１１０は、トランスポートストリームＴＳに３つのビデオストリームが含まれる場合を示している。すなわち、トランスポートストリームＴＳには、中央、左端および右端の各ビューの画像データがそれぞれ１つのピクチャとして符号化されて得られた３つのビデオストリームが含まれる。
【００９０】
詳細説明は省略するが、上述したように、トランスポートストリームＴＳに２つ、あるいは１つのビデオストリームが含まれる場合も、同様に構成できる。トランスポートストリームＴＳに２つのビデオストリームが含まれる場合には、例えば、以下のビデオストリームが含まれる。すなわち、中央のビューの画像データが１つのピクチャとして符号化されて得られたビデオストリームと、左端のビューおよび右端のビューの画像データがインターリーブ処理されて１つのピクチャとして符号化されて得られたビデオストリームが含まれる。
【００９１】
また、トランスポートストリームＴＳに１つのビデオストリームが含まれる場合には、例えば、以下のビデオストリームが含まれる。すなわち、中央、左端および右端の各ビューの画像データがそれぞれ１つのピクチャのデータとして符号化されたデータを含むビデオストリームが含まれる。
【００９２】
［識別情報およびビュー構成情報の構造と、ＴＳ構成］
上述したように、トランスポートストリームＴＳのレイヤに、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを識別するための識別情報が挿入される。図１２は、この識別情報としてのマルチビュー・ストリーム・コンフィグレーション・デスクリプタ（multiview_stream_configuration_descriptor）の構造例（Syntax）を示している。また、図１３は、図１２に示す構造例における主要な情報の内容（Semantics）を示している。
【００９３】
「multiview_stream_configuration_tag」は、デスクリプタタイプを示す８ビットのデータであり、ここでは、マルチビュー・ストリーム・コンフィグレーション・デスクリプタであることを示す。「multiview_stream_configuration_length」は、デスクリプタの長さ（サイズ）を示す８ビットのデータである。このデータは、デスクリプタの長さとして、以降のバイト数を示す。
【００９４】
「multiview_stream_checkflag」の１ビットフィールドは、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを示す。“１”は、ビデオストリームのレイヤにビュー構成情報の挿入があることを示し、“０”はその挿入がないことを示す。“１”であるとき、受信側（デコーダ）では、ユーザデータ領域に存在するビュー構成情報をチェックすることとなる。
【００９５】
また、上述したように、ビデオストリームのレイヤに、当該ビデオストリームに含まれる画像データがどのビューの画像データであるかを示す情報などを持つビュー構成情報が挿入される。図１４は、このビュー構成情報としてのマルチビュー・ストリーム・コンフィグレーション・インフォ（multiview_stream_configuration_info()）の構造例（Syntax）を示している。また、図１５、図１６、図１７は、図１４に示す構造例における主要な情報の内容（Semantics）を示している。
【００９６】
「3D_flag」の１ビットフィールドは、符号化されるビデオストリームに含まれる画像データが３Ｄを構成する一部のビューの画像データであるか否かを示す。“１”は一部のビューの画像データであることを示し、“０”は一部を示す画像データでないことを示す。
【００９７】
「3D_flag=1」であるとき、「view_count」、「single_view_es_flag」、「view_interleaving_flag」の各情報が存在する。「view_count」の４ビットフィールドは、３Ｄサービスを構成するビュー数を示す。最小値は１で、最大値は１５である。「single_view_es_flag 」の１ビットフィールドは、当該ビデオストリームの１アクセスユニット内に複数のピクチャのデータが符号化されているか否かを示す。“１”は１つのピクチャのデータのみが符号化されていることを示し、“０”は２つ以上のピクチャのデータが符号化されていることを示す。
【００９８】
「view_interleaving_flag」の１ビットフィールドは、当該ビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されているか否かを示す。“１”はインターリーブ処理されていて画面スプリットの構成であることを示し、“０”はインターリーブ処理されていないことを示す。
【００９９】
「view_interleaving_flag= 0」であるとき、「view_allocation」の情報が存在する。「view_allocation」の４ビットフィールドは、当該ビデオストリームに含まれる画像データがどのビューの画像データであるか、つまりビュー割り当てを示す。例えば、“0000”は、中央のビュー（center view）であることを示す。また、例えば、“0001”は、中央から左側に１つ隣りのビュー(1st left view next tocenter)であることを示す。また、例えば、“0010”は、中央から右側に１つ隣りのビュー(1st right view next to center)であることを示す。
【０１００】
「view_interleaving_flag= 1」であるとき、「view_pair_position_id」、「view_interleaving_type」の情報が存在する。「view_pair_position_id」の３ビットフィールドは、全ビューにおける２つのビューの相対的なビュー位置を示す。この場合、例えば、スキャン順で早い位置が左（left）、遅い位置が右（right）とする。例えば、“000”は、両端の２つのビューペアであることを示す。また、例えば、“001”は、両端から１つ内側の２つのビューペアであることを示す。また、例えば、“010”は、両端から１つ内側の２つのビューペアであることを示す。
【０１０１】
「view_interleaving_type」の１ビットフィールドは、インターリーブのタイプ（type）を示している。“１”はインターリーブのタイプがサイド・バイ・サイド（Side-by-Side）であることを示し、“０”はインターリーブのタイプがトップ・アンド・ボトム（Top&Bottom）であることを示す。
【０１０２】
また、「3D_flag= 1」であるとき、「display_flag」、「indication_of_picture_size_scaling_horizontal」、「indication_of_picture_size_scaling_vertical」の各情報が存在する。「display_flag」の１ビットフィールドは、当該ビューは画像表示を行わせる際に表示必須か否かを示す。“１”は、表示必須であることを示す。一方、“０”は、表示必須でないことを示す。
【０１０３】
「indication_of_picture_size_scaling_horizontal 」の４ビットフィールドは、フルＨＤ（１９２０）に対してのデコード画の水平画素比率を示している。“0000”は１００％、“0001”は８０％、“0010”は７５％、“0011”は６６％、“0100”は５０％、“0101”は３３％、“0110”は２５％、“0111”は２０％をそれぞれ示す。
【０１０４】
「indication_of_picture_size_scaling_vertical 」の４ビットフィールドは、フルＨＤ（１０８０）に対してのデコード画の垂直画素比率を示している。0000”は１００％、“0001”は８０％、“0010”は７５％、“0011”は６６％、“0100”は５０％、“0101”は３３％、“0110”は２５％、“0111”は２０％をそれぞれ示す。
【０１０５】
図１８は、「view_count」が示すビュー数と、「view_pair_position_id」が示す２つのビュー（ここでは、“View 1”, “View 2”としている）の位置との関係の一例を示している。（１）の例は、「view_count」が示すビュー数が２であって、「view_pair_position_id= 000」であって両端の２つのビューであることを示している場合である。また、（２）の例は、「view_count」が示すビュー数が４であって、「view_pair_position_id = 000」であって両端の２つのビューであることを示している場合である。
【０１０６】
また、（３）の例は、「view_count」が示すビュー数が４であって、「view_pair_position_id= 001」であって両端から１つ内側の２つのビューであることを示している場合である。また、（４）の例は、「view_count」が示すビュー数が５であって、「view_pair_position_id = 000」であって両端の２つのビューであることを示している場合である。
【０１０７】
また、（５）の例は、「view_count」が示すビュー数が９であって、「view_pair_position_id= 000」であって両端の２つのビューであることを示している場合である。さらに、（６）の例は、「view_count」が示すビュー数が９であって、「view_pair_position_id = 010」であって両端から２つ内側の２つのビューであることを示している場合である。
【０１０８】
両端よりも内側のビューペアは、受信側でビュー合成を行う際に両端の２つのビューでは十分に画質が満足できないような場合に、補間合成の性能を向上させるために、両端のビューペアに追加で伝送されることが可能である。その際、追加で伝送されるビューペアの符号化ビデオデータは、両端のビューペアのストリームの中に、アクセスユニット（AccessUnit）を共有するように符号化されてもよいし、あるいは、別のストリームとして符号化されてもよい。
【０１０９】
図１９は、上述のように両端の２つのビューペアの画像データと共に、両端よりも内側の２つのビューペアの画像データを送信する場合において、送信側あるいは受信側における視差データ（disparity data）の生成例を示している。図示の例では、view_count」が示すビュー数が９とされている。そして、両端の２つのビュー（View 1, View 2）の画像データが含まれるサブストリーム（substream1）と、それよりも内側の２つのビュー（View 3, View 4）の画像データが含まれるサブストリーム（substream 2）とが存在するものとしている。
【０１１０】
この場合、最初に、「View 1」と「View 3」とで視差データを計算する。次に、「View 2」と「View 4」とで視差データを計算する。最後に、「View 3」と「View 4」とで視差データを計算する。なお、サブストリーム間で、ビューの解像度が異なる場合は、どちらかの解像度に合わせた上で、視差データの計算を行う。
【０１１１】
図２０は、上述したように計算された視差データに基づき、受信側で、各ビューの間に位置するビューの画像データを補間合成する例を示している。この場合、最初に、「View 1」と「View 3」との間の視差データを用いて、「View 1」と「View 3」の間に位置する「View_A」を補間合成する。
【０１１２】
次に、「View 2」と「View 4」との間の視差データを用いて、「View 2」と「View 4」の間に位置する「View_B」を補間合成する。最後に、「View 3」と「View 4」との間の視差データを用いて、「View 3」と「View 4」の間に位置する「View_C」、「View_D」、「View_Ｅ」を補間合成する。
【０１１３】
次に、ビュー構成情報としてのマルチビュー・ストリーム・コンフィグレーション・インフォ（multiview_stream_configuration_info()）を、ビデオストリーム（ビデオエレメンタリストリーム）のユーザデータ領域に挿入する場合について説明する。この場合、マルチビュー・ストリーム・コンフィグレーション・インフォは、ユーザデータ領域を利用して、例えば、ピクチャ単位あるいはＧＯＰ単位で挿入される。
【０１１４】
例えば、符号化方式がＡＶＣである場合、マルチビュー・ストリーム・コンフィグレーション・インフォは、アクセスユニットの“ＳＥＬｓ”の部分に、「Multiview stream configuration SEI message」として、挿入される。図２１（ａ）は、ＧＯＰ（Group Of Pictures）の先頭のアクセスユニットを示しており、図２１（ｂ）は、ＧＯＰの先頭以外のアクセスユニットを示している。マルチビュー・ストリーム・コンフィグレーション・インフォがＧＯＰ単位で挿入される場合、ＧＯＰの先頭のアクセスユニットにのみ「Multiview stream configuration SEI message」が挿入される。
【０１１５】
図２２（ａ）は、「Multiview stream configuration SEI message」の構造例(Syntax)を示している。「uuid_iso_iec_11578」は、“ISO/IEC 11578:1996 AnnexA.”で示されるUUID値をもつ。「user_data_payload_byte」のフィールドに、「userdata_for_multiview_stream_configuration()」が挿入される。図２２（ｂ）は、「userdata_for_multiview_stream _configuration()」の構造例(Syntax)を示している。この中に、マルチビュー・ストリーム・コンフィグレーション・インフォ（multiview_stream_configuration_info()）が挿入される（図１４参照）。「userdata_id」は、符号なし１６ビットで示されるマルチビュー・ストリーム・コンフィグレーション・インフォの識別子である。
【０１１６】
また、例えば、符号化方式がＭＰＥＧ２ ｖｉｄｅｏである場合、マルチビュー・ストリーム・コンフィグレーション・インフォは、ピクチャヘッダ部のユーザデータ領域に、ユーザデータ「user_data()」として挿入される。図２３（ａ）は、「user_data()」の構造例(Syntax)を示している。「user_data_start_code」の３２ビットフィールドは、ユーザデータ（user_data）の開始コードであり、“0x000001B2”の固定値とされる。
【０１１７】
この開始コードに続く３２ビットフィールドは、ユーザデータの内容を識別する識別子である。ここでは、「Stereo_Video_Format_Signaling_identifier」とされ、ユーザデータが、マルチビュー・ストリーム・コンフィグレーション・インフォであることを識別可能とする。この識別子の後のデータ本体として、ストリーム関連付け情報としての「Multiview_stream_configuration()」が挿入される。図２３（ｂ）は、Multiview_stream_configuration()」の構造例(Syntax)を示している。この中に、マルチビュー・ストリーム・コンフィグレーション・インフォ（multiview_stream_configuration_info()）が挿入される（図１４参照）。
【０１１８】
上述の図１２に示す識別情報としてのマルチビュー・ストリーム・コンフィグレーション・デスクリプタ（multiview_stream_configuration_descriptor）は、トランスポートストリームＴＳのレイヤ、例えばＰＭＴの配下、あるいはＥＩＴの配下などに挿入される。すなわち、このデスクリプタは、イベント単位あるいは時間的に静的ないし動的なユースケースに置いて最適な位置に配置される。
【０１１９】
図２４は、トランスポートストリームＴＳの構成例を示している。なお、この構成例では、図面の簡単化のために、視差データ、オーディオ、およびグラフィクスなどに関しては、その図示を省略している。この構成例は、トランスポートストリームＴＳに３つのビデオストリームが含まれる場合を示している。すなわち、トランスポートストリームＴＳには、中央、左端および右端の各ビューの画像データがそれぞれ１つのピクチャとして符号化されて得られた３つのビデオストリームが含まれている。また、この構成例は、ビュー数が５である場合を示している。
【０１２０】
この図２４の構成例では、中央ビューの画像データＶＣ′が１つのピクチャとして符号化されているビデオストリームのＰＥＳパケット「video PES1」が含まれている。このビデオストリームのユーザデータ領域に挿入されるマルチビュー・ストリーム・コンフィグレーション・インフォにおいては、「View_count」が示すビュー数が５であることが示されている。
【０１２１】
また、このインフォにおいては、「single_view_es_flag = 1」とされ、このビデオストリームにおいて、１アクセスユニット内の１つのピクチャのデータのみが符号化されていることが示されている。また、このインフォにおいては、「View_interleaving_flag= 0」とされ、このビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されていないことが示されている。さらに、「view_allocation = 0000」とされ、このビデオストリームに含まれる画像データが中央のビューの画像データであることが示されている。
【０１２２】
また、この図２４の構成例では、左端ビューの画像データＶＬ′が１つのピクチャとして符号化されているビデオストリームのＰＥＳパケット「video PES2」が含まれている。このビデオストリームのユーザデータ領域に挿入されるマルチビュー・ストリーム・コンフィグレーション・インフォにおいては、「View_count」が示すビュー数が５であることが示されている。
【０１２３】
また、このインフォにおいては、「single_view_es_flag = 1」とされ、このビデオストリームにおいて、１アクセスユニット内の１つのピクチャのデータのみが符号化されていることが示されている。また、このインフォにおいては、「View_interleaving_flag= 0」とされ、このビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されていないことが示されている。さらに、「view_allocation = 0011」とされ、このビデオストリームに含まれる画像データが中央から左側に２つ隣りのビュー、つまり左端ビューの画像データであることが示されている。
【０１２４】
また、この図２４の構成例では、左端ビューの画像データＶＲ′が１つのピクチャとして符号化されているビデオストリームのＰＥＳパケット「video PES3」が含まれている。このビデオストリームのユーザデータ領域に挿入されるマルチビュー・ストリーム・コンフィグレーション・インフォにおいては、「View_count」が示すビュー数が５であることが示されている。
【０１２５】
また、このインフォにおいては、「single_view_es_flag = 1」とされ、このビデオストリームにおいて、１アクセスユニット内の１つのピクチャのデータのみが符号化されていることが示されている。また、このインフォにおいては、「View_interleaving_flag= 0」とされ、このビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されていないことが示されている。さらに、「view_allocation = 0100」とされ、このビデオストリームに含まれる画像データが中央から右側に２つ隣りのビュー、つまり右端ビューの画像データであることが示されている。
【０１２６】
また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（ProgramMap Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(EventInformation Table)が含まれている。
【０１２７】
ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ（Video ES loop）が存在する。このエレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）等の情報が配置されると共に、そのエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。
【０１２８】
この構成例では、ＰＭＴのビデオエレメンタリ・ループ（Video ES loop）の配下に、各ビデオストリームに関連して、マルチビュー・ストリーム・コンフィグレーション・デスクリプタ（multiview_stream_configuration_descriptor）が挿入されている。このデスクリプタで「multiview_stream_checkflag = 1」とされ、ビデオストリームのユーザ領域におけるビュー構成情報としてのマルチビュー・ストリーム・コンフィグレーション・インフォの存在が示されている。なお、このデスクリプタを、破線図示するように、ＥＩＴの配下に挿入することも考えられる。
【０１２９】
また、図２５も、トランスポートストリームＴＳの構成例を示している。なお、この構成例でも、図面の簡単化のために、視差データ、オーディオ、およびグラフィクスなどに関しては、その図示を省略している。この構成例は、トランスポートストリームＴＳに２つのビデオストリームが含まれる場合を示している。すなわち、トランスポートストリームＴＳには、中央のビューの画像データが１つのピクチャとして符号化されて得られたビデオストリームとが含まれている。また、このトランスポートストリームＴＳには、左端のビューおよび右端のビューの画像データがインターリーブ処理されて１つのピクチャとして符号化されて得られたビデオストリームが含まれている。また、この構成例も、ビュー数が５である場合を示している。
【０１３０】
この図２５の構成例では、中央ビューの画像データＶＣ′が１つのピクチャとして符号化されているビデオストリームのＰＥＳパケット「video PES1」が含まれている。このビデオストリームのユーザデータ領域に挿入されるマルチビュー・ストリーム・コンフィグレーション・インフォにおいては、「View_count」が示すビュー数が５であることが示されている。
【０１３１】
また、このインフォにおいては、「single_view_es_flag = 1」とされ、このビデオストリームにおいて、１アクセスユニット内の１つのピクチャのデータのみが符号化されていることが示されている。また、このインフォにおいては、「View_interleaving_flag= 0」とされ、このビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されているものではないことが示されている。さらに、「view_allocation = 0000」とされ、このビデオストリームに含まれる画像データが中央のビューの画像データであることが示されている。
【０１３２】
また、この図２５の構成例では、左端ビューの画像データＶＬ′および右端ビューの画像データＶＲ′が１つのピクチャとして符号化されているビデオストリームのＰＥＳパケット「video PES2」が含まれている。このビデオストリームのユーザデータ領域に挿入されるマルチビュー・ストリーム・コンフィグレーション・インフォにおいては、「View_count」が示すビュー数が５であることが示されている。
【０１３３】
また、このインフォにおいては、「single_view_es_flag = 1」とされ、このビデオストリームにおいて、１アクセスユニット内の１つのピクチャのデータのみが符号化されていることが示されている。また、このインフォにおいては、「View_interleaving_flag= 1」とされ、このビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されていることが示されている。さらに、「view_pair_position_id= 000」とされ、両端の２つのビューペアであることが示されている。さらに、「view_interleaving_type= 1」とされ、インターリーブのタイプがサイド・バイ・サイド（Side-by-Side）であることが示されている。
【０１３４】
また、この構成例では、ＰＭＴのビデオエレメンタリ・ループ（Video ES loop）の配下に、各ビデオストリームに関連して、マルチビュー・ストリーム・コンフィグレーション・デスクリプタ（multiview_stream_configuration_descriptor）が挿入されている。このデスクリプタで「multiview_stream_checkflag = 1」とされ、ビデオストリームのユーザ領域におけるビュー構成情報としてのマルチビュー・ストリーム・コンフィグレーション・インフォの存在が示されている。なお、このデスクリプタを、破線図示するように、ＥＩＴの配下に挿入することも考えられる。
【０１３５】
また、図２６も、トランスポートストリームＴＳの構成例を示している。なお、この構成例でも、図面の簡単化のために、視差データ、オーディオ、およびグラフィクスなどに関しては、その図示を省略している。この構成例は、トランスポートストリームＴＳに１つのビデオストリームが含まれる場合を示している。すなわち、トランスポートストリームＴＳには、中央、左端および右端の各ビューの画像データがそれぞれ１つのピクチャのデータとして符号化されたデータを含むビデオストリームが含まれている。また、この構成例も、ビュー数が５である場合を示している。
【０１３６】
この図２６の構成例では、１つのビデオストリームのＰＥＳパケット「video PES1」が含まれている。このビデオストリームには、中央、左端および右端の各ビューの画像データがそれぞれ１アクセスユニット内の１つのピクチャのデータとして符号化されたデータが含まれており、各ピクチャに対応してユーザデータ領域が存在する。そして、それぞれに、マルチビュー・ストリーム・コンフィグレーション・インフォが挿入されている。
【０１３７】
中央ビューの画像データが符号化されたピクチャデータに対応するインフォにおいては、「View_count」が示すビュー数が５であることが示されている。また、このインフォにおいては、「single_view_es_flag = 0」とされ、このビデオストリームにおいて、１アクセスユニット内に複数のピクチャのデータが符号化されていることが示されている。また、このインフォにおいては、「View_interleaving_flag= 0」とされ、このピクチャデータが２つのビューの画像データがインターリーブ処理されて符号化されたものでないことが示されている。さらに、「view_allocation = 0000」とされ、このピクチャデータに含まれる画像データが中央のビューの画像データであることが示されている。
【０１３８】
また、左端ビューの画像データが符号化されたピクチャデータに対応するインフォにおいては、「View_count」が示すビュー数が５であることが示されている。また、このインフォにおいては、「single_view_es_flag = 0」とされ、このビデオストリームにおいて、１アクセスユニット内に複数のピクチャのデータが符号化されていることが示されている。また、このインフォにおいては、「View_interleaving_flag= 0」とされ、このピクチャデータが２つのビューの画像データがインターリーブ処理されて符号化されたものでないことが示されている。さらに、「view_allocation = 0011」とされ、このピクチャデータに含まれる画像データが中央から左側に２つ隣りのビュー、つまり左端ビューの画像データであることが示されている。
【０１３９】
また、右端ビューの画像データが符号化されたピクチャデータに対応するインフォにおいては、「View_count」が示すビュー数が５であることが示されている。また、このインフォにおいては、「single_view_es_flag = 0」とされ、このビデオストリームにおいて、１アクセスユニット内に複数のピクチャのデータが符号化されていることが示されている。また、このインフォにおいては、「View_interleaving_flag= 0」とされ、このピクチャデータが２つのビューの画像データがインターリーブ処理されて符号化されたものでないことが示されている。さらに、「view_allocation = 0100」とされ、このピクチャデータに含まれる画像データが中央から右側に２つ隣りのビュー、つまり右端ビューの画像データであることが示されている。
【０１４０】
また、この構成例では、ＰＭＴのビデオエレメンタリ・ループ（Video ES loop）の配下に、１つのビデオストリームに関連して、マルチビュー・ストリーム・コンフィグレーション・デスクリプタ（multiview_stream_configuration_descriptor）が挿入されている。このデスクリプタで「multiview_stream_checkflag = 1」とされ、ビデオストリームのユーザ領域におけるビュー構成情報としてのマルチビュー・ストリーム・コンフィグレーション・インフォの存在が示されている。なお、このデスクリプタを、破線図示するように、ＥＩＴの配下に挿入することも考えられる。
【０１４１】
上述したように、図７に示す送信データ生成部１１０においては、立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビューの画像データとが符号化されて得られたビデオストリームを含むトランスポートストリームＴＳが生成される。そのため、マルチビュー構成による立体画像の裸眼観賞を行うための画像データ伝送を効果的に行うことができる。
【０１４２】
すなわち、左端のビューおよび右端のビューの画像データだけでなく、中間のビューの画像データも送信されるので、ビュー間の相対視差が小さく、その他のビューの画像データを補間する際の細かな部分の処理に伴うオクルージョン周辺の補間が容易になり、再生画像の品質向上を図ることができる。また、左端のビューおよび右端のビューの画像データが送信されるので、伝送されないビューの画像データの補間は全て内挿処理によって合成でき、オクルージョンなどの端点処理に関して高画質を維持することが容易となる。
【０１４３】
また、図７に示す送信データ生成部１１０においては、ビデオストリームのレイヤに、ビュー構成情報としてのマルチビュー・ストリーム・コンフィグレーション・インフォ（multiview_stream_configuration_info()）が挿入される。そのため、受信側では、このビュー構成情報により、複数のビューの画像データによる３次元画像（立体画像）の裸眼観賞を行うための適切かつ効率的な処理が可能となる。
【０１４４】
また、図７に示す送信データ生成部１１０においては、トランスポートストリームＴＳのレイヤに、マルチビュー・ストリーム・コンフィグレーション・デスクリプタ（multiview_stream_configuration_descriptor）が挿入される。このデスクリプタは、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを識別するための識別情報を構成している。この識別情報により、受信側では、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを容易に識別可能となる。そのため、ビデオストリームのユーザデータ領域からのビュー構成情報の効率的な抽出が可能となる。
【０１４５】
また、図７に示す送信データ生成部１１０においては、視差データ生成部１１６で各ビュー間の視差データが生成され、この視差データが符号化されて得られた視差ストリームが、ビデオストリームと共に、トランスポートストリームＴＳに含まれる。そのため、受信側では、受信された各ビューの画像データから視差データを生成する処理を行うことなく、送られてくる視差データに基づいて、伝送されない各ビューの画像データを容易に補間合成することが可能となる。
【０１４６】
「受信機の構成例」
図２７は、受信機２００の構成例を示している。この受信機２００は、ＣＰＵ２０１と、フラッシュＲＯＭ２０２と、ＤＲＡＭ２０３と、内部バス２０４と、リモートコントロール受信部（ＲＣ受信部）２０５と、リモートコントロール送信機（ＲＣ送信機）２０６を有している。また、この受信機２００は、アンテナ端子２１１と、デジタルチューナ２１２と、トランスポートストリームバッファ（ＴＳバッファ）２１３と、デマルチプレクサ２１４を有している。
【０１４７】
また、受信機２００は、コーデッドバッファ２１５-1，２１５-2，２１５-3と、ビデオデコーダ２１6-1，２１６-2，２１６-3と、デコーデッドバッファ２１７-1，２１７-2，２１７-3と、スケーラ２１８-1，２１８-2，２１８-3を有している。また、受信機２００は、ビュー補間部２１９と、ピクセルインターリーブ／重畳部２２０を有している。また、受信機２００は、コーデッドバッファ２２１と、視差デコーダ２２２と、視差バッファ２２３と、視差データ変換部２２４を有している。
【０１４８】
また、受信機２００は、コーデッドバッファ２２５と、グラフィクスデコーダ２２６と、ピクセルバッファ２２７と、スケーラ２２８と、グラフィクスシフタ２２９を有している。さらに、受信機２００は、コーデッドバッファ２３０と、オーディオデコーダ２３１と、チャネルミキシング部２３２を有している。
【０１４９】
ＣＰＵ２０１は、受信機２００の各部の動作を制御する。フラッシュＲＯＭ２０２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２０３は、ＣＰＵ２０１のワークエリアを構成する。ＣＰＵ２０１は、フラッシュＲＯＭ２０２から読み出したソフトウェアやデータをＤＲＡＭ２０３上に展開してソフトウェアを起動させ、受信機２００の各部を制御する。ＲＣ受信部２０５は、ＲＣ送信機２０６から送信されたリモーコントロール信号（リモコンコード）を受信し、ＣＰＵ２０１に供給する。ＣＰＵ２０１は、このリモコンコードに基づいて、受信機２００の各部を制御する。ＣＰＵ２０１、フラッシュＲＯＭ２０２およびＤＲＡＭ２０３は、内部バス２０４に接続されている。
【０１５０】
アンテナ端子２１１は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２１２は、アンテナ端子２１１に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のトランスポートストリーム（ビットストリームデータ）ＴＳを出力する。トランスポートストリームバッファ（ＴＳバッファ）２１３は、デジタルチューナ２１２から出力されたトランスポートストリームＴＳを一時的に蓄積する。
【０１５１】
このトランスポートストリームＴＳには、立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビューとしての中央のビューの画像データとが符号化されて得られたビデオストリームが含まれている。
【０１５２】
この場合、トランスポートストリームＴＳに、３つ、２つ、あるいは１つのビデオストリームが含まれる場合等がある（図２４、図２５、図２６参照）。ここでは、説明を簡単にするために、トランスポートストリームＴＳに、中央、左端および右端の各ビューの画像データがそれぞれ１つのピクチャとして符号化されて得られた３つのビデオストリームが含まれるものとして説明を行うものとする。
【０１５３】
このトランスポートストリームＴＳには、上述したように、ＰＭＴの配下、あるいはＥＩＴの配下などに、マルチビュー・ストリーム・コンフィグレーション・デスクリプタ（multiview_stream_configuration_descriptor）が挿入されている。このデスクリプタは、ビデオストリームのレイヤにビュー構成情報、つまりマルチビュー・ストリーム・コンフィグレーション・インフォ（multiview_stream_configuration_info()）の挿入があるか否かを識別するための識別情報である。
【０１５４】
デマルチプレクサ２１４は、ＴＳバッファ２１３に一時的に蓄積されたトランスポートストリームＴＳから、ビデオ、視差、グラフィクスおよびオーディオの各エレメンタリストリームを抽出する。また、デマルチプレクサ２１４は、このトランスポートストリームＴＳから、上述したマルチビュー・ストリーム・コンフィグレーション・デスクリプタを抽出し、ＣＰＵ２０１に送る。ＣＰＵ２０１は、このデスクリプタの「multiview_stream_checkflag」の１ビットフィールドにより、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを容易に判断できる。
【０１５５】
コーデッドバッファ２１５-1，２１５-2，２１５-3は、それぞれ、デマルチプレクサ２１４で抽出される中央、左端および右端の各ビューの画像データがそれぞれ１つのピクチャとして符号化されて得られたビデオストリームを一時的に蓄積する。ビデオデコーダ２１６-1，２１６-2，２１６-3は、ＣＰＵ２０１の制御のもと、それぞれ、コーデッドバッファ２１５-1，２１５-2，２１５-3に記憶されているビデオストリームの復号化処理を行って、中央、左端および右端の各ビューの画像データを取得する。
【０１５６】
ここで、ビデオデコーダ２１６-1は、中央ビュー（center view）の画像データを取得する。また、ビデオデコーダ２１６-2は、左端ビュー（left view）の画像データを取得する。さらに、ビデオデコーダ２１６-3は、右端ビュー（right view）の画像データを取得する。なお、２つ以上のビューがインターリーブされて符号化されている場合は、ストリーム単位で、コーデッドバッファ、ビデオデコーダ、デコーデッドバッファ、スケ―ラが割り当てられることになる。
【０１５７】
各ビデオデコーダは、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域などに挿入されているビュー構成情報としてのマルチビュー・ストリーム・コンフィグレーション・インフォ（multiview_stream_configuration_info()）を抽出し、ＣＰＵ２０１に送る。ＣＰＵ２０１は、このビュー構成情報により、複数のビューの画像データによる３次元画像（立体画像）の裸眼観賞を行うための適切かつ効率的な処理を行う。
【０１５８】
すなわち、ＣＰＵ２０１は、このビュー構成情報に基づいて、ピクチャ単位あるいはＧＯＰ単位で、デマルチプレクサ２１４、ビデオデコーダ２１６-1，２１６-2，２１６-3、スケーラ２１８-1，２１８-2，２１８-3、ビュー補間部２１９等の動作を制御する。例えば、ＣＰＵ２０１は、「3D_flag」の１ビットフィールドにより、ビデオストリームに含まれる画像データが３Ｄを構成する一部のビューの画像データであるか否かを識別できる。また、例えば、ＣＰＵ２０１は、「view_count」の４ビットフィールドにより、３Ｄサービスを構成するビュー数を認識できる。
【０１５９】
また、例えば、ＣＰＵ２０１は、「single_view_es_flag 」の１ビットフィールドにより、ビデオストリームの１アクセスユニット内に複数のピクチャのデータが符号化されているか否かを識別できる。また、例えば、ＣＰＵ２０１は、「view_interleaving_flag」の１ビットフィールドにより、ビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されているか否かを識別できる。
【０１６０】
また、例えば、ＣＰＵ２０１は、ビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されていないとき、「view_allocation」の４ビットフィールドにより、ビデオストリームに含まれる画像データがどのビューの画像データであるかを認識できる。
【０１６１】
また、例えば、ＣＰＵ２０１は、ビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されているとき、「view_pair_position_id」の３ビットフィールドにより、全ビューにおける２つのビューの相対的なビュー位置を認識できる。さらに、このとき、ＣＰＵ２０１は、「view_interleaving_type」の１ビットフィールドにより、インターリーブのタイプ（type）を知ることができる。
【０１６２】
また、例えば、ＣＰＵ２０１は、「indication_of_picture_size_scaling _horizontal 」の４ビットフィールドおよび「indication_of_picture_size_scaling _vertical 」の４ビットフィールドにより、フルＨＤに対してのデコード画の水平画素比率を認識できる。
【０１６３】
デコーデッドバッファ２１７-1，２１７-2，２１７-3は、それぞれ、ビデオデコーダ２１６-1，２１６-2，２１６-3で取得された各ビューの画像データを一時的に蓄積する。スケーラ２１８-1，２１８-2，２１８-3は、それぞれ、デコーデッドバッファ２１７-1，２１７-2，２１７-3から出力される各ビューの画像データの出力解像度が、所定の解像度となるように調整する。
【０１６４】
マルチビュー・ストリーム・コンフィグレーション・インフォには、デコード画の水平画素比率を示す「indication_of_picture_size_scaling _horizontal 」の４ビットフィールドおよびデコード画の垂直画素比率を示す「indication_of_picture_size_scaling _vertical 」の４ビットフィールドが存在する。ＣＰＵ２０１は、この画素比率情報に基づいて、スケーラ２１８-1，２１８-2，２１８-3におけるスケーリング比率を制御し、所定の解像度が得られるようにする。
【０１６５】
この場合、ＣＰＵ２０１は、デコードした画像データの解像度、モニタの解像度およびビュー（view）の数に基づいて、デコーデッドバッファに蓄積されている画像データに対するスケーリング比を算出し、スケーラ２１８-1，２１８-2，２１８-3に指示を行う。図２８は、スケーリング比の算出例を示している。
【０１６６】
例えば、デコードした画像データの解像度が９６０＊１０８０で、モニタ解像度が１９２０＊１０８０で、表示するビューの数が４である場合には、スケーリング比は１／２とされる。また、例えば、デコードした画像データの解像度が１９２０＊１０８０で、モニタ解像度が１９２０＊１０８０で、表示するビューの数が４である場合には、スケーリング比は１／４とされる。さらに、例えば、デコードした画像データの解像度が１９２０＊２１６０で、モニタ解像度が３８４０＊２１６０で、表示するビューの数が８である場合には、スケーリング比は１／４とされる。
【０１６７】
コーデッドバッファ２２１は、デマルチプレクサ２１４で抽出される視差ストリームを一時的に蓄積する。視差デコーダ２２２は、上述の送信データ生成部１１０の視差エンコーダ１１７（図７参照）とは逆の処理を行う。すなわち、視差デコーダ２２３は、コーデッドバッファ２２１に記憶されている視差ストリームの復号化処理を行って、視差データを得る。この視差データには、中央ビューと左端ビューとの間の視差データと、中央ビューと右端ビューとの間の視差データが含まれている。また、この視差データは、画素単位、あるいはブロック単位の視差データである。視差バッファ２２３は、視差デコーダ２２２で取得された視差データを一時的に蓄積する。
【０１６８】
視差データ変換部２２４は、視差バッファ２２３に蓄積されている視差データに基づいて、スケーリング後の画像データのサイズに合った画素単位の視差データを生成する。例えば、送信されてくる視差データがブロック単位である場合には、画素単位の視差データに変換する（図１１参照）。また、例えば、送信されてくる視差データが画素単位であるが、スケーリング後の画像データのサイズに合っていない場合には、適宜、スケーリングされる。
【０１６９】
ビュー補間部２１９は、スケーリング後の中央、左端および右端の各ビューの画像データから、視差データ変換部２２４で得られた各ビュー間の視差データに基づいて、伝送されてこない所定数のビューの画像データを補間合成する。すなわち、ビュー補間部２１９は、中央ビューと左端ビューとの間に位置する各ビューの画像データを補間合成して出力する。また、ビュー補間部２１９は、中央ビューと右端ビューとの間に位置する各ビューの画像データを補間合成して出力する。
【０１７０】
図２９は、ビュー補間部２１９における補間合成処理の一例を概略的に示している。図示の例において、例えば、カレントビュー（Current view）は上述の中央ビューに相当し、ターゲットビュー１（Targetview 1）は上述の左端ビューに相当し、ターゲットビュー２（Target view 2）は上述の右端ビューに相当する。
【０１７１】
カレントビューとターゲットビュー１との間に位置するビューの補間合成と、カレントビューとターゲットビュー２との間に位置するビューの補間合成とは、同様に行われる。以下では、カレントビューとターゲットビュー１との間に位置するビューの補間合成について説明する。
【０１７２】
カレントビューとターゲットビュー１との間に位置する補間合成するビューの画素は、以下のように割り当てられる。この場合、カレントビューからターゲットビュー１を指し示す視差データと、逆に、ターゲットビュー１からカレントビューを指し示す視差データとの、２方向の視差データが用いられる。まず、補間合成するビューの画素として、カレントビューの画素を、視差データをベクターとしてずらすことで、割り当てる（カレントビューからターゲットビュー１に向いた実線矢印および破線矢印と、黒丸を参照）。
【０１７３】
この際に、ターゲットビュー１においてターゲット・オクルーデッド（target occluded）となる部分では、以下の画素割り当てを行う。すなわち、補間合成するビューの画素として、ターゲットビュー１の画素を、視差データをベクターとしてずらすことで、割り当てる（ターゲットビュー１からカレントビューに向いた一点鎖線矢印と、白丸を参照）。
【０１７４】
このように、ターゲット・オクルーデッドとなる部分では、双方向の視差データを持つことで、補間合成されるビューの画素を、バックグランド（background）と見なせるビューからの画素で充当できる。なお、双方向で対応できないオクルージョン（Occlusion）領域は、ポスト（Post）処理で値を充当する。
【０１７５】
また、図示の矢印の先端が重なっているターゲット・オーバーラップド（target overlapped）となる部分は、ターゲットビュー１において、視差（disparity）によるシフトが重なる部分である。この部分においては、２つの視差のうち、どちらがカレントビューのフォグランド（fore ground）に相当するかを、視差データの値で判断し、選択する。この場合には、主には値の小さな方が選択される。
【０１７６】
図２７に戻って、コーデッドバッファ２２５は、デマルチプレクサ２１４で抽出されるグラフィクスストリームを一時的に蓄積する。グラフィクスデコーダ２２６は、上述の送信データ生成部１１０のグラフィクスエンコーダ１１９（図７参照）とは逆の処理を行う。すなわち、グラフィクスデコーダ２２６は、コーデッドバッファ２２５に記憶されているグラフィクスストリームの復号化処理を行って、復号化されたグラフィクスデータ（サブタイトルデータを含む）を得る。また、グラフィクスデコーダ２２６は、このグラフィクスデータに基づいて、ビュー（画像）に重畳するグラフィクスのビットマップデータを発生する。
【０１７７】
ピクセルバッファ２２７は、グラフィクスデコーダ２２６で発生されるグラフィクスのビットマップデータを一時的に蓄積する。スケーラ２２８は、ピクセルバッファ２２７に蓄積されているグラフィクスのビットマップデータのサイズを、スケーリング後の画像データのサイズに対応するように調整する。グラフィクスシフタ２２９は、サイズ調整後のグラフィクスのビットマップデータに対して、視差データ変換部２２４で得られる視差データに基づいてシフト処理を施す。そして、グラフィクスシフタ２２９は、ビュー補間部２１９から出力されるＮ個のビュー（View1, View2,・・・,ViewN ）の画像データにそれぞれ重畳するＮ個のグラフィクスのビットマップデータを生成する。
【０１７８】
ピクセルインターリーブ／重畳部２２０は、ビュー補間部２１９から出力されるＮ個のビュー（View1, View2,・・・,ViewN ）の画像データにそれぞれ対応するグラフィクスのビットマップデータを重畳する。さらに、ピクセルインターリーブ／重畳部２２０は、Ｎ個のビュー（View1, View2,・・・,ViewN ）の画像データに対してピクセルインターリーブ処理を行って、３次元画像（立体画像）の裸眼観賞のための表示用画像データを生成する。
【０１７９】
コーデッドバッファ２３０は、デマルチプレクサ２１４で抽出されるオーディオストリームを一時的に蓄積する。オーディオデコーダ２３１は、上述の送信データ生成部１１０のオーディオエンコーダ１２１（図７参照）とは逆の処理を行う。すなわち、オーディオデコーダ２３１は、コーデッドバッファ２３０に記憶されているオーディオスストリームの復号化処理を行って、復号化された音声データを得る。チャネルミキシング部２３２は、オーディオデコーダ２３１で得られる音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データを生成して出力する。
【０１８０】
なお、デコーデッドバッファ２１７-1，２１７-2，２１７-2からの各ビューの画像データの読み出しと、視差バッファ２２３からの視差データの読み出しと、ピクセルバッファ２２７からのグラフィクスのビットマップデータの読み出しとは、ＰＴＳに基づいて行われ、転送同期が取られる。
【０１８１】
受信機２００の動作を簡単に説明する。アンテナ端子２１１に入力されたテレビ放送信号はデジタルチューナ２１２に供給される。このデジタルチューナ２１２では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のトランスポートストリームＴＳが出力される。このトランスポートストリームＴＳは、ＴＳバッファ２１３に一時的に蓄積される。
【０１８２】
このトランスポートストリームＴＳには、立体画像表示のための複数のビューのうち、左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビューとしての中央のビューの画像データとが符号化されて得られたビデオストリームが含まれている。
【０１８３】
デマルチプレクサ２１４では、ＴＳバッファ２１３に一時的に蓄積されたトランスポートストリームＴＳから、ビデオ、視差、グラフィクスおよびオーディオの各エレメンタリストリームが抽出される。また、デマルチプレクサ２１４では、このトランスポートストリームＴＳから、識別情報としてのマルチビュー・ストリーム・コンフィグレーション・デスクリプタが抽出され、ＣＰＵ２０１に送られる。ＣＰＵ２０１では、このデスクリプタの「multiview_stream_checkflag」の１ビットフィールドにより、ビデオストリームのレイヤにビュー構成情報の挿入があるか否かを容易に判断できる
【０１８４】
デマルチプレクサ２１４で抽出される中央、左端および右端の各ビューの画像データは、それぞれ、コーデッドバッファ２１５-1，２１５-2，２１５-3に供給されて一時的に蓄積する。そして、ビデオデコーダ２１６-1，２１６-2，２１６-3では、ＣＰＵ２０１の制御のもと、それぞれ、コーデッドバッファ２１５-1，２１５-2，２１５-3に記憶されているビデオストリームの復号化処理が行われて、中央、左端および右端の各ビューの画像データが取得される。
【０１８５】
また、各ビデオデコーダでは、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域などに挿入されているビュー構成情報としてのマルチビュー・ストリーム・コンフィグレーション・インフォ（multiview_stream_configuration_info()）が抽出され、ＣＰＵ２０１に送られる。ＣＰＵ２０１は、このビュー構成情報に基づいて、ピクチャ単位あるいはＧＯＰ単位で、デマルチプレクサ２１４、ビデオデコーダ２１６-1，２１６-2，２１６-3、スケーラ２１８-1，２１８-2，２１８-3、ビュー補間部２１９等の動作を制御する。
【０１８６】
ビデオデコーダ２１６-1，２１６-2，２１６-3で取得された各ビューの画像データは、それぞれ、デコーデッドバッファ２１７-1，２１７-2，２１７-3に供給されて一時的に蓄積される。スケーラ２１８-1，２１８-2，２１８-3では、それぞれ、デコーデッドバッファ２１７-1，２１７-2，２１７-3から出力される各ビューの画像データの出力解像度が所定の解像度となるように調整される。
【０１８７】
また、デマルチプレクサ２１４で抽出される視差ストリームは、コーデッドバッファ２２１に供給されて一時的に蓄積される。視差デコーダ２２２では、コーデッドバッファ２２１に記憶されている視差ストリームの復号化処理が行われて、視差データが得られる。この視差データには、中央ビューと左端ビューとの間の視差データと、中央ビューと右端ビューとの間の視差データが含まれている。また、この視差データは、画素単位、あるいはブロック単位の視差データである。
【０１８８】
視差デコーダ２２２で取得された視差データは、視差バッファ２２３に供給されて一時的に蓄積される。視差データ変換部２２４は、視差バッファ２２３に蓄積されている視差データに基づいて、スケーリング後の画像データのサイズに合った画素単位の視差データが生成される。この場合、送信されてくる視差データがブロック単位である場合には、画素単位の視差データに変換される。また、この場合、送信されてくる視差データが画素単位であるが、スケーリング後の画像データのサイズに合っていない場合には、適宜、スケーリングされる。
【０１８９】
ビュー補間部２１９では、スケーリング後の中央、左端および右端の各ビューの画像データから、視差データ変換部２２４で得られた各ビュー間の視差データに基づいて、伝送されてこない所定数のビューの画像データが補間合成される。このビュー補間部２１９からは、３次元画像（立体画像）を裸眼観賞するためのＮ個のビュー（View1, View2,・・・,ViewN ）の画像データが得られる。なお、中央、左端および右端の各ビューの画像データも含まれる。
【０１９０】
また、デマルチプレクサ２１４で抽出されるグラフィクスストリームは、コーデッドバッファ２２５に供給されて一時的に蓄積される。グラフィクスデコーダ２２６では、コーデッドバッファ２２５に記憶されているグラフィクスストリームの復号化処理が行われて、復号化されたグラフィクスデータ（サブタイトルデータを含む）が得られる。また、このグラフィクスデコーダ２２６では、このグラフィクスデータに基づいて、ビュー（画像）に重畳するグラフィクスのビットマップデータが発生される。
【０１９１】
グラフィクスデコーダ２２６で発生されるグラフィクスのビットマップデータは、ピクセルバッファ２２７に供給されて一時的に蓄積される。スケーラ２２８では、ピクセルバッファ２２７に蓄積されているグラフィクスのビットマップデータのサイズが、スケーリング後の画像データのサイズに対応するように調整される。
【０１９２】
グラフィクスシフタ２２９では、サイズ調整後のグラフィクスのビットマップデータに対して、視差データ変換部２２４で得られる視差データに基づいてシフト処理が施される。そして、グラフィクスシフタ２２９では、ビュー補間部２１９から出力されるＮ個のビュー（View1, View2,・・・,ViewN ）の画像データにそれぞれ重畳するＮ個のグラフィクスのビットマップデータが生成され、ピクセルインターリーブ／重畳部２２０に供給される。
【０１９３】
ピクセルインターリーブ／重畳部２２０では、Ｎ個のビュー（View1, View2,・・・,ViewN ）の画像データにそれぞれ対応するグラフィクスのビットマップデータが重畳される。また、ピクセルインターリーブ／重畳部２２０では、Ｎ個のビュー（View1, View2,・・・,ViewN ）の画像データに対してピクセルインターリーブ処理が行われて、３次元画像（立体画像）の裸眼観賞のための表示用画像データが生成される。この表示用画像データがディスプレイに供給されることで、３次元画像（立体画像）の裸眼観賞のための、画像表示が行われる。
【０１９４】
また、デマルチプレクサ２１４で抽出されるオーディオストリームは、コーデッドバッファ２３０に供給されて一時的に蓄積される。オーディオデコーダ２３１では、コーデッドバッファ２３０に記憶されているオーディオスストリームの復号化処理が行われて、復号化された音声データが得られ。この音声データはチャネルミキシング部２３２に供給される。チャネルミキシング部２３２では、音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データが生成される。この音声データは例えばスピーカに供給され、画像表示に合わせた音声出力がなされる。
【０１９５】
上述したように、図２７に示す受信機２００においては、立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、左端および右端の間に位置する中間のビューの画像データとが受信されるものである。そして、この受信機２００において、その他のビューは視差データに基づいて補間処理で得るものである。そのため、マルチビュー構成による立体画像の裸眼観賞を良好に行うことができる。
【０１９６】
すなわち、左端のビューおよび右端のビューの画像データだけでなく、中央のビューの画像データも受信される。そのため、ビュー間の相対視差が小さく、伝送されないビューの画像データを補間する際の細かな部分の処理に伴うオクルージョン周辺の補間が容易になり、再生画像の品質向上を図ることができる。また、左端のビューおよび右端のビューの画像データが受信されるので、伝送されないビューの画像データの補間は全て内挿処理によって合成でき、オクルージョンなどの端点処理に関して高画質を維持することが容易となる。
【０１９７】
なお、図２７に示す受信機２００は、トランスポートストリームＴＳに視差データが符号化されて得られた視差ストリームが含まれる場合の構成例を示している。トランスポートストリームＴＳに視差ストリームが含まれていない場合には、受信された各ビューの画像データから視差データを生成して用いることになる。
【０１９８】
図３０は、その場合における受信機２００Ａの構成例を示している。この図３０において、図２７と対応する部分には同一符号を付し、その詳細説明は省略する。この受信機２００Ａは、視差データ生成部２３３を有している。この視差データ生成部２３３は、スケーリング処理された中央、左端および右端の各ビューの画像データに基づいて、視差データを生成する。
【０１９９】
詳細説明は省略するが、この場合における視差データの生成方法は、上述した送信データ生成部１１０における視差データ生成部１１６における視差データ生成方法と同様である。なお、この視差データ生成部２３３は、図２７に示す受信機２００の視差データ変換部２２４で生成される画素単位の視差データと同様の視差データを生成して出力する。視差データ生成部２３３で生成された視差データは、ビュー補間部２１９に供給されると共に、フラフィクスシフタ２２９に供給されて用いられる。
【０２００】
なお、図３０に示す受信機２００Ａにおいては、図２７に示す受信機２００におけるコーデッドバッファ２２１、視差デコーダ２２２、視差バッファ２２３および視差データ変換部２２４は、省略される。この図３０に示す受信機２００Ａにおけるその他の構成は、図２７に示す受信機２００の構成と同様とされる。
【０２０１】
＜２．変形例＞
なお、上述実施の形態においては、放送局１００と受信機２００からなる画像送受信システム１０を示したが、本技術を適用し得る画像送受信システムの構成は、これに限定されるものではない。例えば、受信機２００の部分が、例えば、（ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。
【０２０２】
また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。
【０２０３】
また、本技術は、以下のような構成を取ることもできる。
（１）立体画像表示のための所定数のビューの画像データを取得する画像データ取得部と、
上記取得された画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信部と、
上記ビデオストリームのレイヤに、少なくとも上記所定数のビューの相対位置関係を示す情報が含まれるビュー構成情報を挿入するビュー構成情報挿入部を備える
（２）上記画像データ取得部は、
上記立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、上記左端および上記右端の間に位置する中間のビューの画像データを取得する
前記（１）に記載の送信装置。
（３）上記コンテナのレイヤに、上記ビデオストリームのレイヤに上記ビュー構成情報の挿入があるか否かを識別するための識別情報を挿入する識別情報挿入部をさらに備える
前記（１）に記載の送信装置。
（４）上記コンテナが含むビデオストリームにおいて、上記左端のビューおよび上記右端のビューの画像データはそれぞれ１つのピクチャのデータとして符号化されている
前記（２）または（３）に記載の送信装置。
（５）上記コンテナが含むビデオストリームにおいて、上記左端のビューおよび上記右端のビューの画像データはインターリーブ処理されて１つのピクチャのデータとして符号化されている
前記（２）または（３）に記載の送信装置。
（６）上記コンテナが含むビデオストリームは、１つまたは複数のピクチャのデータを含む
前記（１）から（５）のいずれかに記載の送信装置。
（７）上記コンテナが含むビデオストリームが複数のピクチャの符号化データを含むとき、各ピクチャの符号化データの間に境界を示す情報が配置される
前記（１）から（６）のいずれかに記載の送信装置。
（８）上記コンテナが含むビデオストリームにおいて、所定のビューの画像データが１つのピクチャのデータとして符号化されているとき、該ビデオストリームのレイヤに挿入される上記ビュー構成情報には、上記所定のビューの位置を示す情報が含まれる
前記（１）から（７）のいずれかに記載の送信装置。
（９）上記コンテナが含むビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されているとき、該ビデオストリームのレイヤに挿入される上記ビュー構成情報には、該２つのビューの位置を示す情報が含まれる
前記（１）または（８）に記載の送信装置。
（１０）上記ビュー構成情報には、上記２つのビューの画像データに対して行われるインターリーブのタイプを示す情報がさらに含まれる
前記（９）に記載の送信装置。
（１１）上記ビデオストリームのレイヤに挿入される上記ビュー構成情報には、該ビデオストリームの１アクセスユニット内に複数のピクチャのデータが符号されているか否かを示す情報が含まれている
前記（１）、（８）から（１０）のいずれかに記載の送信装置。
（１２）上記ビデオストリームのレイヤに挿入される上記ビュー構成情報には、画像表示に必須のビューの画像データが符号化されているビデオストリームであるか否かを示す情報が含まれている
前記（１）、（８）から（１１）のいずれかに記載の送信装置。
（１３）上記ビデオストリームのレイヤに挿入される上記ビュー構成情報には、水平および／または垂直の所定の解像度に対する画素比率情報が含まれている
前記（１）、（８）から（１２）のいずれかに記載の送信装置。
（１４）上記各ビューの間の視差データを取得する視差データ取得部をさらに備え、
上記画像データ送信部は、
上記取得された画像データが符号化されて得られたビデオストリームの他に、上記取得された視差データが符号化されて得られた視差ストリームを含む所定フォーマットのコンテナを送信する
前記（１）から（１３）のいずれかに記載の送信装置。
（１５）上記コンテナは、トランスポートストリームである
前記（１）から（１４）のいずれかに記載の送信装置。
（１６）立体画像表示のための所定数のビューの画像データを取得する画像データ取得ステップと、
上記取得された画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信ステップと、
上記ビデオストリームのレイヤに、少なくとも上記所定数のビューの相対位置関係を示す情報が含まれるビュー構成情報を挿入するビュー構成情報挿入ステップを備える
送信方法。
（１７）立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、上記左端および上記右端の間に位置する中間のビューの画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信部と、
上記コンテナに含まれるビデオストリームをデコードして、上記各ビューの画像データを得る画像データ取得部と、
上記各ビューの間の視差データに基づいて、上記各ビューの間に位置する所定数のビューの画像データを補間処理で取得する補間処理部を備える
受信装置。
（１８）上記コンテナは、上記視差データが符号化されて得られた視差ストリームを含み、
上記コンテナに含まれる上記視差ストリームをデコードして上記視差データを得る視差データ取得部をさらに備える
前記（１７）に記載の受信装置。
（１９）上記画像データ取得部で得られた上記各ビューの画像データに基づいて、上記視差データを生成する視差データ生成部をさらに備える
前記（１７）に記載の受信装置。
（２０）立体画像表示のための複数のビューのうち、少なくとも左端ビューおよび右端のビューの画像データと、上記左端および上記右端の間に位置する中間のビューの画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信ステップと、
上記コンテナに含まれるビデオストリームをデコードして、上記各ビューの画像データを得る画像データ取得ステップと、
上記各ビューの間の視差データに基づいて、上記各ビューの間に位置する所定数のビューの画像データを補間処理で取得する補間処理ステップを備える
受信方法。
【０２０４】
本技術の主な特徴は、ビデオストリームのレイヤに少なくとも所定数のビューの相対位置関係を示す情報が含まれるビュー構成情報を挿入するようにしたことで、受信側おいて各ビューの相対位置関係を容易に把握でき、立体画像の表示処理を良好に行い得るようにしたことである（図１４、図１５参照）
【符号の説明】
【０２０５】
１０・・・画像送受信システム
１００・・・放送局
１１０・・・送信データ生成部
１１１-1〜１１１-N・・・画像データ出力部
１１２・・・ビューセレクタ
１１３-1，１１３-2，１１３-3・・・スケーラ
１１４-1，１１４-2，１１４-3・・・ビデオエンコーダ
１１５・・・マルチプレクサ
１１６・・・視差データ生成部
１１７・・・視差エンコーダ
１１８・・・グラフィクスデータ出力部
１１９・・・グラフィクスエンコーダ
１２０・・・音声データ出力部
１２１・・・オーディオエンコーダ
２００，２００Ａ・・・受信機
２０１・・・ＣＰＵ
２１１・・・アンテナ端子
２１２・・・デジタルチューナ
２１３・・・トランスポートストリームバッファ（ＴＳバッファ）
２１４・・・デマルチプレクサ
２１５-1，２１５-2，２１５-3，２２１，２２５，２３０・・・コーデッドバッファ
２１６-1，２１６-2，２１６-3・・・ビデオデコーダ
２１７-1，２１７-2，２１７-3・・・ビューバッファ
２１８-1，２１８-2，２１８-3，２２８・・・スケーラ
２１９・・・ビュー補間部
２２０・・・ピクセルインターリーブ／重畳部
２２２・・・視差デコーダ
２２３・・・視差バッファ
２２４・・・視差データ変換部
２２６・・・グラフィクスデコーダ
２２７・・・ピクセルバッファ
２２９・・・グラフィクスシフタ
２３１・・・オーディオデコーダ
２３２・・・チャネルミキシング部
２３３・・・視差データ生成部
【特許請求の範囲】
【請求項１】
立体画像表示のための所定数のビューの画像データを取得する画像データ取得部と、
上記取得された画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信部と、
上記ビデオストリームのレイヤに、少なくとも上記所定数のビューの相対位置関係を示す情報が含まれるビュー構成情報を挿入するビュー構成情報挿入部を備える
送信装置。
【請求項２】
上記画像データ取得部は、
上記立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、上記左端および上記右端の間に位置する中間のビューの画像データを取得する
請求項１に記載の送信装置。
【請求項３】
上記コンテナのレイヤに、上記ビデオストリームのレイヤに上記ビュー構成情報の挿入があるか否かを識別するための識別情報を挿入する識別情報挿入部をさらに備える
請求項１に記載の送信装置。
【請求項４】
上記コンテナが含むビデオストリームにおいて、上記左端のビューおよび上記右端のビューの画像データはそれぞれ１つのピクチャのデータとして符号化されている
請求項２に記載の送信装置。
【請求項５】
上記コンテナが含むビデオストリームにおいて、上記左端のビューおよび上記右端のビューの画像データはインターリーブ処理されて１つのピクチャのデータとして符号化されている
請求項２に記載の送信装置。
【請求項６】
上記コンテナが含むビデオストリームは、１つまたは複数のピクチャのデータを含む
請求項１に記載の送信装置。
【請求項７】
上記コンテナが含むビデオストリームが複数のピクチャの符号化データを含むとき、各ピクチャの符号化データの間に境界を示す情報が配置される
請求項１に記載の送信装置。
【請求項８】
上記コンテナが含むビデオストリームにおいて、所定のビューの画像データが１つのピクチャのデータとして符号化されているとき、該ビデオストリームのレイヤに挿入される上記ビュー構成情報には、上記所定のビューの位置を示す情報が含まれる
請求項１に記載の送信装置。
【請求項９】
上記コンテナが含むビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されているとき、該ビデオストリームのレイヤに挿入される上記ビュー構成情報には、該２つのビューの位置を示す情報が含まれる
請求項１に記載の送信装置。
【請求項１０】
上記ビュー構成情報には、上記２つのビューの画像データに対して行われるインターリーブのタイプを示す情報がさらに含まれる
請求項９に記載の送信装置。
【請求項１１】
上記ビデオストリームのレイヤに挿入される上記ビュー構成情報には、該ビデオストリームの１アクセスユニット内に複数のピクチャのデータが符号されているか否かを示す情報が含まれている
請求項１に記載の送信装置。
【請求項１２】
上記ビデオストリームのレイヤに挿入される上記ビュー構成情報には、画像表示に必須のビューの画像データが符号化されているビデオストリームであるか否かを示す情報が含まれている
請求項１に記載の送信装置。
【請求項１３】
上記ビデオストリームのレイヤに挿入される上記ビュー構成情報には、水平および／または垂直の所定の解像度に対する画素比率情報が含まれている
請求項１に記載の送信装置。
【請求項１４】
上記各ビューの間の視差データを取得する視差データ取得部をさらに備え、
上記画像データ送信部は、
上記取得された画像データが符号化されて得られたビデオストリームの他に、上記取得された視差データが符号化されて得られた視差ストリームを含む所定フォーマットのコンテナを送信する
請求項１に記載の送信装置。
【請求項１５】
上記コンテナは、トランスポートストリームである
請求項１に記載の送信装置。
【請求項１６】
立体画像表示のための所定数のビューの画像データを取得する画像データ取得ステップと、
上記取得された画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信ステップと、
上記ビデオストリームのレイヤに、少なくとも上記所定数のビューの相対位置関係を示す情報が含まれるビュー構成情報を挿入するビュー構成情報挿入ステップを備える
送信方法。
【請求項１７】
立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、上記左端および上記右端の間に位置する中間のビューの画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信部と、
上記コンテナに含まれるビデオストリームをデコードして、上記各ビューの画像データを得る画像データ取得部と、
上記各ビューの間の視差データに基づいて、上記各ビューの間に位置する所定数のビューの画像データを補間処理で取得する補間処理部を備える
受信装置。
【請求項１８】
上記コンテナは、上記視差データが符号化されて得られた視差ストリームを含み、
上記コンテナに含まれる上記視差ストリームをデコードして上記視差データを得る視差データ取得部をさらに備える
請求項１７に記載の受信装置。
【請求項１９】
上記画像データ取得部で得られた上記各ビューの画像データに基づいて、上記視差データを生成する視差データ生成部をさらに備える
請求項１７に記載の受信装置。
【請求項２０】
立体画像表示のための複数のビューのうち、少なくとも左端ビューおよび右端のビューの画像データと、上記左端および上記右端の間に位置する中間のビューの画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信ステップと、
上記コンテナに含まれるビデオストリームをデコードして、上記各ビューの画像データを得る画像データ取得ステップと、
上記各ビューの間の視差データに基づいて、上記各ビューの間に位置する所定数のビューの画像データを補間処理で取得する補間処理ステップを備える
受信方法。
【請求項１】
立体画像表示のための所定数のビューの画像データを取得する画像データ取得部と、
上記取得された画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信部と、
上記ビデオストリームのレイヤに、少なくとも上記所定数のビューの相対位置関係を示す情報が含まれるビュー構成情報を挿入するビュー構成情報挿入部を備える
送信装置。
【請求項２】
上記画像データ取得部は、
上記立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、上記左端および上記右端の間に位置する中間のビューの画像データを取得する
請求項１に記載の送信装置。
【請求項３】
上記コンテナのレイヤに、上記ビデオストリームのレイヤに上記ビュー構成情報の挿入があるか否かを識別するための識別情報を挿入する識別情報挿入部をさらに備える
請求項１に記載の送信装置。
【請求項４】
上記コンテナが含むビデオストリームにおいて、上記左端のビューおよび上記右端のビューの画像データはそれぞれ１つのピクチャのデータとして符号化されている
請求項２に記載の送信装置。
【請求項５】
上記コンテナが含むビデオストリームにおいて、上記左端のビューおよび上記右端のビューの画像データはインターリーブ処理されて１つのピクチャのデータとして符号化されている
請求項２に記載の送信装置。
【請求項６】
上記コンテナが含むビデオストリームは、１つまたは複数のピクチャのデータを含む
請求項１に記載の送信装置。
【請求項７】
上記コンテナが含むビデオストリームが複数のピクチャの符号化データを含むとき、各ピクチャの符号化データの間に境界を示す情報が配置される
請求項１に記載の送信装置。
【請求項８】
上記コンテナが含むビデオストリームにおいて、所定のビューの画像データが１つのピクチャのデータとして符号化されているとき、該ビデオストリームのレイヤに挿入される上記ビュー構成情報には、上記所定のビューの位置を示す情報が含まれる
請求項１に記載の送信装置。
【請求項９】
上記コンテナが含むビデオストリームにおいて、２つのビューの画像データがインターリーブ処理されて１つのピクチャのデータとして符号化されているとき、該ビデオストリームのレイヤに挿入される上記ビュー構成情報には、該２つのビューの位置を示す情報が含まれる
請求項１に記載の送信装置。
【請求項１０】
上記ビュー構成情報には、上記２つのビューの画像データに対して行われるインターリーブのタイプを示す情報がさらに含まれる
請求項９に記載の送信装置。
【請求項１１】
上記ビデオストリームのレイヤに挿入される上記ビュー構成情報には、該ビデオストリームの１アクセスユニット内に複数のピクチャのデータが符号されているか否かを示す情報が含まれている
請求項１に記載の送信装置。
【請求項１２】
上記ビデオストリームのレイヤに挿入される上記ビュー構成情報には、画像表示に必須のビューの画像データが符号化されているビデオストリームであるか否かを示す情報が含まれている
請求項１に記載の送信装置。
【請求項１３】
上記ビデオストリームのレイヤに挿入される上記ビュー構成情報には、水平および／または垂直の所定の解像度に対する画素比率情報が含まれている
請求項１に記載の送信装置。
【請求項１４】
上記各ビューの間の視差データを取得する視差データ取得部をさらに備え、
上記画像データ送信部は、
上記取得された画像データが符号化されて得られたビデオストリームの他に、上記取得された視差データが符号化されて得られた視差ストリームを含む所定フォーマットのコンテナを送信する
請求項１に記載の送信装置。
【請求項１５】
上記コンテナは、トランスポートストリームである
請求項１に記載の送信装置。
【請求項１６】
立体画像表示のための所定数のビューの画像データを取得する画像データ取得ステップと、
上記取得された画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信ステップと、
上記ビデオストリームのレイヤに、少なくとも上記所定数のビューの相対位置関係を示す情報が含まれるビュー構成情報を挿入するビュー構成情報挿入ステップを備える
送信方法。
【請求項１７】
立体画像表示のための複数のビューのうち、少なくとも左端のビューおよび右端のビューの画像データと、上記左端および上記右端の間に位置する中間のビューの画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信部と、
上記コンテナに含まれるビデオストリームをデコードして、上記各ビューの画像データを得る画像データ取得部と、
上記各ビューの間の視差データに基づいて、上記各ビューの間に位置する所定数のビューの画像データを補間処理で取得する補間処理部を備える
受信装置。
【請求項１８】
上記コンテナは、上記視差データが符号化されて得られた視差ストリームを含み、
上記コンテナに含まれる上記視差ストリームをデコードして上記視差データを得る視差データ取得部をさらに備える
請求項１７に記載の受信装置。
【請求項１９】
上記画像データ取得部で得られた上記各ビューの画像データに基づいて、上記視差データを生成する視差データ生成部をさらに備える
請求項１７に記載の受信装置。
【請求項２０】
立体画像表示のための複数のビューのうち、少なくとも左端ビューおよび右端のビューの画像データと、上記左端および上記右端の間に位置する中間のビューの画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信ステップと、
上記コンテナに含まれるビデオストリームをデコードして、上記各ビューの画像データを得る画像データ取得ステップと、
上記各ビューの間の視差データに基づいて、上記各ビューの間に位置する所定数のビューの画像データを補間処理で取得する補間処理ステップを備える
受信方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【公開番号】特開２０１３−１０６３４１（Ｐ２０１３−１０６３４１Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１２−９３３９９（Ｐ２０１２−９３３９９）
【出願日】平成２４年４月１６日（２０１２．４．１６）
【分割の表示】特願２０１１−２４８１１４（Ｐ２０１１−２４８１１４）の分割
【原出願日】平成２３年１１月１１日（２０１１．１１．１１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＨＤＭＩ
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２４年４月１６日（２０１２．４．１６）
【分割の表示】特願２０１１−２４８１１４（Ｐ２０１１−２４８１１４）の分割
【原出願日】平成２３年１１月１１日（２０１１．１１．１１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＨＤＭＩ
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]