画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
【課題】受信側においてクロッピング情報を用いた切り出し処理が常に適切に行われるようにする。
【解決手段】ヘッダ部にクロッピング情報が挿入されたビデオストリームを有する所定フォーマットのコンテナ、例えばトランスポートストリームを送信する。ビデオストリームよりも上位のレイヤに、クロッピング情報のパラメータ値の解釈情報を挿入する。画像データが２次元画像データあるいはフレームコンパチブル方式の立体画像データのいずれであっても、受信側において、クロッピング情報を解釈情報に基づいて適切に解釈でき、このクロッピング情報を用いた切り出し処理（クロッピング）を適切に行って表示用画像データを正しく生成できる。
【解決手段】ヘッダ部にクロッピング情報が挿入されたビデオストリームを有する所定フォーマットのコンテナ、例えばトランスポートストリームを送信する。ビデオストリームよりも上位のレイヤに、クロッピング情報のパラメータ値の解釈情報を挿入する。画像データが２次元画像データあるいはフレームコンパチブル方式の立体画像データのいずれであっても、受信側において、クロッピング情報を解釈情報に基づいて適切に解釈でき、このクロッピング情報を用いた切り出し処理（クロッピング）を適切に行って表示用画像データを正しく生成できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法に関し、特に、送信側から画像データと共にクロッピング情報を送信し、受信側ではこのクロッピング情報を用いて画像データの切り出し処理を行う画像送受信システムにおける画像データ送信装置等に関する。
【背景技術】
【０００２】
例えば、特許文献１には、立体画像データのテレビ放送電波を用いた伝送方式について提案されている。この場合、左眼用画像データおよび右眼用画像データを含む立体画像データが送信され、テレビ受信機において、両眼視差を利用した立体画像表示が行われる。
【０００３】
図２２は、両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクト（物体）の左右像の表示位置と、その立体画像（３Ｄ画像）の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Ｌａが右側に右像Ｒａが左側にずれて表示されているオブジェクトＡに関しては、左右の視線がスクリーン面より手前で交差するため、その立体画像の再生位置はスクリーン面より手前となる。ＤＰａは、オブジェクトＡに関する水平方向の視差ベクトルを表している。
【０００４】
また、例えば、スクリーン上に図示のように左像Ｌｂおよび右像Ｒｂが同一位置に表示されているオブジェクトＢに関しては、左右の視線がスクリーン面で交差するため、その立体画像の再生位置はスクリーン面上となる。さらに、例えば、スクリーン上に図示のように左像Ｌｃが左側に右像Ｒｃが右側にずれて表示されているオブジェクトＣに関しては、左右の視線がスクリーン面より奥で交差するため、その立体画像の再生位置はスクリーン面より奥となる。ＤＰｃは、オブジェクトＣに関する水平方向の視差ベクトルを表している。
【０００５】
従来、立体画像データの伝送フォーマットとして、サイド・バイ・サイド（Side By Side）方式、トップ・アンド・ボトム（Top & Bottom）方式などのフレームコンパチブル方式が知られている。例えば、図２３（ａ）はサイド・バイ・サイド方式を示し、図２３（ｂ）はトップ・アンド・ボトム方式を示している。ここでは、１９２０×１０８０のピクセルフォーマットである場合を示している。
【０００６】
サイド・バイ・サイド方式は、図２３（ａ）に示すように、水平方向の前半では左眼画像データのピクセルデータを伝送し、水平方向の後半では右眼画像データのピクセルデータを伝送する方式である。この方式の場合、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが１／２に間引かれ、原信号に対して水平解像度は半分となる。
【０００７】
トップ・アンド・ボトム方式は、図２３（ｂ）に示すように、垂直方向の前半では左眼画像データの各ラインのデータを伝送し、垂直方向の後半では右眼画像データの各ラインのデータを伝送する方式である。この方式の場合、左眼画像データおよび右眼画像データのラインが１／２に間引かれ、原信号に対して垂直解像度は半分となる。
【０００８】
ここで、受信側における表示画像データ生成処理について簡単に説明する。図２４（ａ）は、１９２０×１０８０のピクセルフォーマットの２次元画像データに関する処理を概略的に示している。この場合、送信側では、１６×１６のブロック毎に符号化を行うために、ブランクデータからなる８ラインを付加して、１９２０画素×１０８８ラインの画像データとして符号化が行われる。
【０００９】
そのため、受信側では、復号化後に、１９２０画素×１０８８ラインの画像データが得られる。しかし、そのうち８ラインはブランクデータであることから、ビデオデータストリームに含まれるクロッピング（cropping）情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しが行われて、２次元テレビ受信機（以下、適宜、「２ＤＴＶ」という）用の表示用画像データが生成される。
【００１０】
図２４（ｂ）は、１９２０×１０８０のピクセルフォーマットのサイド・バイ・サイド方式の立体画像データ（３次元画像データ）に関する処理を概略的に示している。この場合も、送信側では、１６×１６のブロック毎に符号化を行うために、ブランクデータからなる８ラインを付加して、１９２０画素×１０８８ラインの画像データとして符号化が行われる。
【００１１】
そのため、受信側では、復号化後に、１９２０画素×１０８８ラインの画像データが得られる。しかし、そのうち８ラインはブランクデータであることから、ビデオデータストリームに含まれるクロッピング情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しが行われる。そして、この画像データが左右に二分され、それぞれにスケーリング処理が施されて、立体テレビ受信機（以下、適宜、「３ＤＴＶ」という）用の左眼および右眼の表示用画像データが生成される。
【００１２】
図２４（ｃ）は、１９２０×１０８０のピクセルフォーマットのトップ・アンド・ボトム方式の立体画像データ（３次元画像データ）に関する処理を概略的に示している。この場合も、送信側では、１６×１６のブロック毎に符号化を行うために、ブランクデータからなる８ラインを付加して、１９２０画素×１０８８ラインの画像データとして符号化が行われている。
【００１３】
そのため、受信側では、復号化後に、１９２０画素×１０８８ラインの画像データが得られる。しかし、そのうち８ラインはブランクデータであることから、ビデオデータストリームに含まれるクロッピング情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しが行われる。そして、この画像データが上下に二分され、それぞれにスケーリング処理が施されて、３ＤＴＶ用の左眼および右眼の表示用画像データが生成される。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２００５−６１１４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
２ＤＴＶにおいて、上述のサイド・バイ・サイド方式、あるいはトップ・アンド・ボトム方式の立体画像データの場合、１９２０画素×１０８０ラインの画像データを切り出しして２ＤＴＶ用の表示用画像データを生成した場合、左右あるいは上下に同様の画像が並んだ不自然な画像表示となる。
【００１６】
そこで、２ＤＴＶにおいて、この不自然な画像表示を回避できるように、ビデオデータストリームに含まれるクロッピング情報を、左眼または右眼の一方、例えば左眼の画像データのみを切り出すための情報とすることが考えられる。その場合、２ＤＴＶ、３ＤＴＶの処理は、以下のようになる。
【００１７】
図２５（ａ）は、２ＤＴＶにおける、１９２０×１０８０のピクセルフォーマットのサイド・バイ・サイド方式の立体画像データ（３次元画像データ）における処理を概略的に示している。２ＤＴＶでは、復号化後に、１９２０画素×１０８８ラインの画像データが得られるが、そのうち８ラインはブランクデータである。この場合、クロッピング（cropping）情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、９６０画素×１０８０ラインの左眼画像データの切り出しが行われる。そして、この左眼画像データにスケーリング処理が施されて、２ＤＴＶ用の表示用画像データが生成される。この場合、正しく２次元表示（２Ｄ表示）が行われる。
【００１８】
これに対して、図２５（ｂ）は、３ＤＴＶにおける、１９２０×１０８０のピクセルフォーマットのサイド・バイ・サイド方式の立体画像データ（３次元画像データ）における処理を概略的に示している。３ＤＴＶでも、復号化後に、１９２０画素×１０８８ラインの画像データが得られるが、そのうち８ラインはブランクデータである。この場合、クロッピング（cropping）情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、９６０画素×１０８０ラインの左眼画像データの切り出しが行われる。
【００１９】
そして、この左眼画像データにスケーリング処理が施されて、１９２０画素×１０８０ラインの画像データが生成される。この画像データは、上述した２ＤＴＶの表示用画像データと同じものである。３ＤＴＶでは、サイド・バイ・サイド方式なので、さらに、この画像データが左右に二分され、それぞれにスケーリング処理が施されて、３ＤＴＶ用の左眼および右眼の表示用画像データが生成される。この場合、左眼画像および右眼画像は、１つの画像を左右に二分した一方および他方であることから、正しく立体表示（３Ｄ表示）がなされない。
【００２０】
図２６（ａ）は、２ＤＴＶにおける、１９２０×１０８０のピクセルフォーマットのトップ・アンド・ボトム方式の立体画像データ（３次元画像データ）における処理を概略的に示している。２ＤＴＶでは、復号化後に、１９２０画素×１０８８ラインの画像データが得られるが、そのうち８ラインはブランクデータである。この場合、クロッピング（cropping）情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、１９２０画素×５４０ラインの左眼画像データの切り出しが行われる。そして、この左眼画像データにスケーリング処理が施されて、２ＤＴＶ用の表示用画像データが生成される。この場合、正しく２次元表示（２Ｄ表示）が行われる。
【００２１】
これに対して、２６（ｂ）は、３ＤＴＶにおける、１９２０×１０８０のピクセルフォーマットのトップ・アンド・ボトム方式の立体画像データ（３次元画像データ）の処理を概略的に示している。３ＤＴＶでも、復号化後に、１９２０画素×１０８８ラインの画像データが得られるが、そのうち８ラインはブランクデータである。この場合、クロッピング（cropping）情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、１９２０画素×５４０ラインの左眼画像データの切り出しが行われる。
【００２２】
そして、この左眼画像データにスケーリング処理が施されて、１９２０画素×１０８０ラインの画像データが生成される。この画像データは、上述した２ＤＴＶの表示用画像データと同じものである。３ＤＴＶでは、トップ・アンド・ボトム方式なので、さらに、この画像データが上下に二分され、それぞれにスケーリング処理が施されて、３ＤＴＶ用の左眼および右眼の表示用画像データが生成される。この場合、左眼画像および右眼画像は、１つの画像を上下に二分した一方および他方であることから、正しく立体表示（３Ｄ表示）がなされない。
【００２３】
本技術の目的は、受信側においてクロッピング情報を用いた切り出し処理を適切に行って表示用画像データを正しく生成可能とすることにある。
【課題を解決するための手段】
【００２４】
本技術の概念は、
画像データを含み、ヘッダ部にクロッピング情報が挿入されたビデオストリームを有する所定フォーマットのコンテナを送信する画像データ送信部と、
上記ビデオストリームよりも上位のレイヤに、上記クロッピング情報のパラメータ値の解釈情報を挿入する情報挿入部を備える
画像データ送信装置にある。
【００２５】
本技術において、画像データ送信部により、画像データを含み、ヘッダ部にクロッピング情報が挿入されたビデオストリームを有する所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。
【００２６】
情報挿入部により、ビデオストリームよりも上位のレイヤに、クロッピング情報のパラメータ値の解釈情報が挿入される。例えば、コンテナはトランスポートストリームであり、情報挿入部は、解釈情報をプログラム・マップ・テーブル、あるいはイベント・インフォメーション・テーブルの配下に挿入する、ようにされてもよい。例えば、情報挿入部は、プログラム・マップ・テーブル、あるいはイベント・インフォメーション・テーブルの配下に挿入されるデスクリプタに、解釈情報を記述する、ようにされる。
【００２７】
例えば、ビデオストリームは、Ｈ．２６４／ＡＶＣ、あるいはＨＥＶＣの符号化データであり、クロッピング情報は、ビデオストリームのシーケンス・パラメータ・セットに定義されており、情報挿入部は、解釈情報を、プログラム・マップ・テーブル、あるいはイベント・インフォメーション・テーブルの配下に挿入されるデスクリプタに記述する、ようにされてもよい。
【００２８】
例えば、解釈情報は、画像データが、同一フレーム内に左眼画像データおよび右眼画像データが水平方向あるいは垂直方向に分割配置された立体画像データ、いわゆるフレームコンパチブル方式の立体画像データであるとき、クロッピング情報のパラメータ値を特殊に解釈すべきことを示す、ものとされる。なお、この場合、解釈情報は、画像データが２次元画像データであるとき、クロッピング情報のパラメータ値をそのままに解釈すべきことを示す、ものとされる。
【００２９】
例えば、画像データが、同一フレーム内に左眼画像データおよび右眼画像データが水平方向あるいは垂直方向に分割配置された立体画像データであるとき、解釈情報は、クロッピング情報のパラメータ値を、クロッピング領域が水平方向あるいは垂直方向に２倍となるように解釈すべきことを示す、ようにされてもよい。例えば、サイド・バイ・サイド方式の立体画像データである場合には、クロッピング領域が水平方向に２倍となるように解釈すべきことを示すものとなる。また、例えば、トップ・アンド・ボトム方式の立体画像データである場合には、クロッピング領域が垂直に２倍となるように解釈すべきことを示すものとなる。この場合、解釈情報は、クロッピング情報のパラメータ値の解釈を指定する。
【００３０】
このように本技術においては、ビデオストリームよりも上位のレイヤに、クロッピング情報のパラメータ値の解釈情報が挿入される。そのため、画像データが２次元画像データあるいはフレームコンパチブル方式の立体画像データのいずれであっても、受信側では、クロッピング情報のパラメータ値を解釈情報により適切に解釈でき、このクロッピング情報を用いた切り出し処理（クロッピング）を適切に行って表示用画像データを正しく生成可能となる。
【００３１】
なお、本技術において、例えば、画像データは、２次元画像データあるいは同一フレーム内に左眼画像データおよび右眼画像データが水平方向あるいは垂直方向に分割配置された立体画像データであり、情報挿入部は、２次元画像データおよび立体画像データの切り替えタイミングに先行するタイミングで、切り替え後の画像データに対応して変更された解釈情報をビデオストリームよりも上位のレイヤに挿入する、ようにされてもよい。
【００３２】
この場合、受信側では、２次元画像データおよび立体画像データの切り替えタイミングの前に、切り替え後の画像データに対応して変更された解釈情報を取得することが可能となる。そのため、切り換えタイミングから直ちに切り替え後の画像データに合ったクロッピング情報のパラメータ値の解釈で画像データの切り出し（クロッピング）を行うことが可能となり、画像データの切り替えにより不自然な画像表示が行われることを回避可能となる。
【００３３】
また、本技術の他の概念は、
画像データを含み、ヘッダ部にクロッピング情報が挿入されたビデオストリームを有する所定フォーマットのコンテナを受信する画像データ受信部を備え、
上記ビデオストリームよりも上位のレイヤに、上記クロッピング情報のパラメータ値の解釈情報が挿入されており、
上記コンテナから上記解釈情報を取得する情報取得部と、
上記コンテナが有するビデオストリームをデコードして上記画像データおよび上記クロッピング情報を取得するデコード部と、
上記クロッピング情報のパラメータ値を上記解釈情報に基づいて解釈し、上記画像データから、所定の領域の画像データを切り出して表示用の画像データを生成する画像データ処理部とをさらに備える
画像データ受信装置にある。
【００３４】
本技術において、画像データ受信部により、画像データを含み、ヘッダ部にクロッピング情報が挿入されたビデオストリームを有する所定フォーマットのコンテナ、例えばトランスポートストリームが受信される。ここで、ビデオストリームよりも上位のレイヤに、クロッピング情報のパラメータ値の解釈情報が挿入されている。
【００３５】
情報取得部により、コンテナから解釈情報が取得される。また、デコード部により、コンテナが有するビデオストリームがデコードされて、画像データおよびクロッピング情報が取得される。そして、画像データ処理部により、クロッピング情報のパラメータ値が解釈情報に基づいて解釈され、画像データから、所定の領域の画像データが切り出されて表示用の画像データが生成される。
【００３６】
このように本技術においては、ヘッダ部にクロッピング情報が挿入されたビデオストリームを有する所定フォーマットのコンテナが受信されるが、ビデオストリームよりも上位のレイヤに、クロッピング情報の解釈情報が挿入されている。そのため、画像データが２次元画像データあるいはフレームコンパチブル方式の立体画像データのいずれであっても、クロッピング情報を解釈情報により適切に解釈でき、このクロッピング情報を用いた切り出し処理を適切に行って表示用画像データを正しく生成可能となる。
【００３７】
なお、本技術において、例えば、画像データは、２次元画像データあるいは同一フレーム内に左眼画像データおよび右眼画像データが水平方向あるいは垂直方向に分割配置された立体画像データであり、切り替え後の画像データに対応して変更された解釈情報は、ビデオストリームよりも上位のレイヤに、２次元画像データおよび立体画像データの切り替えタイミングに先行するタイミングで挿入されており、画像データ処理部は、画像データの切り替えタイミングから、この切り替えタイミングに先行するタイミングで挿入されている、切り替え後の画像データに対応して変更された解釈情報に基づいて、クロッピング情報のパラメータ値を解釈する、ようにされてもよい。
【００３８】
この場合、切り換えタイミングから直ちに切り替え後の画像データに合ったクロッピング情報のパラメータ値の解釈で画像データの切り出しを適切に行うことが可能となる。また、解釈情報の取得が画像データの切り替えタイミングに同期していなくても、不自然な画像表示が行われることを回避できる。
【発明の効果】
【００３９】
本技術によれば、受信側においてクロッピング情報を用いた切り出し処理を適切に行って表示用画像データを正しく生成できる。
【図面の簡単な説明】
【００４０】
【図１】実施の形態としての画像送受信システムの構成例を示すブロック図である。
【図２】ビデオストリームにおけるアクセスユニットのデータ構造例を示す図である。
【図３】アクセスユニットのＳＰＳ（Sequence Parameter Set）の中で定義されているクロッピング情報の構造を示す図である。
【図４】１９２０×１０８０のピクセルフォーマットのサイド・バイ・サイド方式の立体画像データに対する受信処理を概略的に示す図である。
【図５】１９２０×１０８０のピクセルフォーマットのトップ・アンド・ボトム方式の立体画像データに対する受信処理を概略的に示す図である。
【図６】画像送受信システムを構成する放送局の送信データ生成部の構成例を示すブロック図である。
【図７】トランスポートストリームＴＳの構成例を示す図である。
【図８】トランスポートストリームＴＳの他の構成例を示す図である。
【図９】「AVC_video_descriptor」の構造例（Syntax）を示す図である。
【図１０】「AVC_video_descriptor」の規定内容（Semantics）を示す図である。
【図１１】「Cropping_interpretation_descriptor」の構造例（Syntax）を示す図である。
【図１２】画像送受信システムを構成する受信機の構成例を示すブロック図である。
【図１３】受信機内のＣＰＵのクロッピング制御処理の一例を示すフローチャートである。
【図１４】ＰＭＴ配下のＡＶＣ・ビデオ・デスクリプタに記述される「cropping_normal_interpretation_flag」のフラグ情報の運用時の一例を説明するための図である。
【図１５】トランスポートストリームＴＳの構成例を示す図である。
【図１６】トランスポートストリームＴＳの他の構成例を示す図である。
【図１７】「AVC_video_descriptor」の構造例（Syntax）を示す図である。
【図１８】「AVC_video_descriptor」の規定内容（Semantics）を示す図である。
【図１９】「Cropping_interpretation_descriptor」の構造例（Syntax）を示す図である。
【図２０】受信機内のＣＰＵのクロッピング制御処理の一例を示すフローチャートである。
【図２１】ＰＭＴ配下のＡＶＣ・ビデオ・デスクリプタに記述される「cropping_interpretation_mode」のモード情報の運用時の一例を説明するための図である。
【図２２】両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクトの左右像の表示位置と、その立体像の再生位置との関係を説明するための図である。
【図２３】立体画像データの伝送フォーマットの一例（サイド・バイ・サイド方式、トップ・アンド・ボトム方式など）を説明するための図である。
【図２４】受信側における表示画像データ生成処理を説明するための図である。
【図２５】従来のクロッピング情報を用いたサイド・バイ・サイド方式における画像処理を説明するための図である。
【図２６】従来のクロッピング情報を用いたトップ・アンド・ボトム方式における画像処理を説明するための図である。
【発明を実施するための形態】
【００４１】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００４２】
＜１．実施の形態＞
［画像送受信システム］
図１は、実施の形態としての画像送受信システム１０の構成例を示している。この画像送受信システム１０は、放送局１００、および受信機（３ＤＴＶ）２００により構成されている。放送局１００は、画像データを含むビデオストリームを有するトランスポートストリームＴＳを、放送波に載せて送信する。
【００４３】
このビデオストリームに含まれる画像データは、２次元画像データ、あるいは同一フレーム内に左眼画像データおよび右眼画像データが水平方向あるいは垂直方向に分割配置された、いわゆるフレームコンパチブル方式の立体画像データである。この立体画像データの伝送フォーマットは、例えば、サイド・バイ・サイド（Side By Side）方式（図２３（ａ）参照）、トップ・アンド・ボトム（Top& Bottom）方式（図２３（ｂ）参照）などである。
【００４４】
この実施の形態において、画像データのピクセルフォーマットは、１９２０×１０８０であるとする。放送局１００は、この画像データに対して、１６×１６のブロック毎に符号化を行う。そのため、放送局１００は、ブランクデータからなる８ラインを付加して、１９２０画素×１０８８ラインの画像データとして符号化を行う。
【００４５】
ビデオストリームのヘッダ部には、クロッピング（cropping）情報が挿入されている。このクロッピング情報は、画像データが２次元画像データである場合、デコード後の１９２０画素×１０８８ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データを切り出すための情報となっている。
【００４６】
また、このクロッピング情報は、画像データがフレームコンパチブル方式の立体画像データである場合、デコード後の１９２０画素×１０８８ラインの画像データから、実質的な左眼画像データあるいは右眼画像データを切り出すための情報となる。例えば、サイド・バイ・サイド方式の立体画像データでは、９６０画素×１０８０ラインの画像データの切り出しを行うための情報となる。また、例えば、トップ・アンド・ボトム方式の立体画像データでは、１９２０画素×５４０ラインの画像データの切り出しを行うための情報となる。
【００４７】
なお、この実施の形態において、ビデオデータストリームは、例えば、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）ストリームであり、クロッピング情報はビデオストリームのシーケンス・パラメータ・セット（ＳＰＳ）に定義されている。図２（ａ），（ｂ）は、ビデオデータストリームにおけるアクセスユニットのデータ構造例を示している。Ｈ．２６４ではピクチャをアクセスユニットという単位で定義している。図２（ａ）は、ＧＯＰ（Group Of Pictures）の先頭のアクセスユニットの構造を示し、図２（ｂ）は、ＧＯＰの先頭以外のアクセスユニットの構造を示している。
【００４８】
クロッピング情報は、ＧＯＰの先頭のアクセスユニットに存在するＳＰＳ（Sequence Parameter Set）の部分に挿入される。図３は、ＳＰＳの中で定義されているクロッピング情報の構造（Syntax）を示している。このＳＰＳの中では、「frame_cropping_flag」のフラグ情報でクロッピング情報の存在の有無が示される。そして、クロッピング情報は、画像データの切り出し領域としての長方形領域を指定する情報である。
【００４９】
「frame_crop_left_offset」は水平方向の開始位置、つまり左端位置を示す。「frame_crop_right_offset」は水平方向の終了位置、つまり右端位置を示す。「frame_crop_top_offset」は垂直方向の開始位置、つまり上端位置を示す。「frame_crop_bottom_offset」は垂直方向の終了位置、つまり下端位置を示す。いずれも、左上位置からのオフセット値で示される。
【００５０】
画像データが立体画像データである場合、アクセスユニットのＳＥＩｓの部分に、「Frame Packing Arrangement SEI message」が挿入される。このＳＥＩに、画像データがいかなる伝送フォーマットの立体画像データであるかを示すタイプ情報が含まれている。
【００５１】
トランスポートストリームＴＳには、ビデオストリームよりも上位のレイヤに、クロッピング情報のパラメータ値の解釈情報が挿入される。この解釈情報は、例えば、プログラム・マップ・テーブル（ＰＭＴ：Program Map Table）の配下に挿入される。具体的には、この解釈情報は、例えば、プログラム・マップ・テーブルのビデオエレメンタリ・ループの配下に挿入されるデスクリプタ（descriptor）に記述される。このデスクリプタは、例えば、既存のＡＶＣ・ビデオ・デスクリプタ（AVC video descriptor）、あるいは新規に定義されるクロッピング・インタープリテーション・デスクリプタ（Cropping_interpretation_descriptor）である。
【００５２】
この解釈情報は、画像データがフレームコンパチブル方式の立体画像データである場合、クロッピング情報のパラメータ値を特殊に解釈すべきことを示す。また、この解釈情報は、画像データが２次元画像データである場合、クロッピング情報のパラメータ値をそのままに解釈すべきことを示す。この解釈情報は、２次元画像データおよび立体画像データの切り替えタイミングに先行するタイミングで挿入される。
【００５３】
受信機２００は、放送局１００から放送波に載せて送られてくるトランスポートストリームＴＳを受信する。受信機２００は、トラスポートストリームＴＳから、上述したようにビデオストリームよりも上位のレイヤに挿入されているクロッピング情報のパラメータ値の解釈情報を取得する。また、受信機２００は、ビデオストリームをデコードして、画像データおよびクロッピング情報を取得する。
【００５４】
そして、受信機２００は、クロッピング情報のパラメータ値を解釈情報に基づいて解釈し、画像データから、所定の領域の画像データを切り出して表示用の画像データを生成する。例えば、画像データが２次元画像データである場合、クロッピング情報は、復号化後の１９２０画素×１０８８ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データを切り出すための情報となっている。この場合、受信機２００は、クロッピング情報のパラメータ値をそのままに解釈し、デコード後の１９２０画素×１０８８ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データを切り出し、２次元画像表示の画像データを生成さする。
【００５５】
また、例えば、画像データがフレームコンパチブル方式の立体画像データである場合、クロッピング情報は、デコード後の１９２０画素×１０８８ラインの画像データから、実質的な左眼画像データあるいは右眼画像データを切り出すための情報となっている。この場合、受信機２００は、クロッピング情報のパラメータ値を、クロッピング領域が水平方向あるいは垂直方向に２倍となるように解釈する。そして、受信機２００は、復号化後の１９２０画素×１０８８ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データを切り出し、左眼および右眼の各画像データ部分のそれぞれにスケーリング処理を施して、立体画像表示用の左眼および右眼の画像データを生成する。
【００５６】
なお、解釈情報は、上述したように、２次元画像データおよび立体画像データの切り替えタイミングに先行するタイミングで挿入されている。受信機２００は、画像データの切り替えタイミングから、この切り替えタイミングに先行するタイミングで挿入されている、切り替え後の画像データに対応して変更された解釈情報に基づいて、クロッピング情報のパラメータ値を解釈する。つまり、受信機２００は、切り換えタイミングから直ちに切り替え後の画像データに合ったクロッピング情報の解釈で画像データの切り出しを行って、表示用画像データを生成する。
【００５７】
図４は、１９２０×１０８０のピクセルフォーマットのサイド・バイ・サイド方式の立体画像データに対する受信処理を概略的に示している。復号化後に、１９２０画素×１０８８ラインの画像データが得られるが、そのうち８ラインはブランクデータである。
【００５８】
２次元（２Ｄ）表示モードの場合、クロッピング情報（白抜きの○印でオフセット位置を示す）は、そのままに解釈される。そのため、このクロッピング情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、例えば、９６０画素×１０８０ラインの左眼画像データの切り出しが行われる。そして、この左眼画像データに水平方向のスケーリング処理が施されて、２次元画像表示用の画像データが生成される。この場合、正しく２次元画像の表示が行われる。
【００５９】
また、立体（３Ｄ）表示モードの場合、クロッピング情報（白抜きの○印でオフセット位置を示す）は、クロッピング領域が水平方向に２倍となるように、解釈される（ハッチングされた○印でオフセットの変更位置を示す）。そのため、このクロッピング情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しが行われる。そして、サイド・バイ・サイド方式の立体画像データであることから、この切り出された画像データが左右に二分され、それぞれに水平方向のスケーリング処理が施されて、立体画像表示用の左眼および右眼の画像データが生成される。この場合、正しく立体画像の表示が行われる。
【００６０】
また、図５は、１９２０×１０８０のピクセルフォーマットのトップ・アンド・ボトム方式の立体画像データに対する受信処理を概略的に示している。復号化後に、１９２０画素×１０８８ラインの画像データが得られるが、そのうち８ラインはブランクデータである。
【００６１】
２次元（２Ｄ）表示モードの場合、クロッピング情報（白抜きの○印でオフセット位置を示す）は、そのままに解釈される。そのため、このクロッピング情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、例えば、１９２０画素×５４０ラインの左眼画像データの切り出しが行われる。そして、この左眼画像データに垂直方向のスケーリング処理が施されて、２次元画像表示用の画像データが生成される。この場合、正しく２次元画像の表示が行われる。
【００６２】
また、立体（３Ｄ）表示モードの場合、クロッピング情報（白抜きの○印でオフセット位置を示す）は、クロッピング領域が垂直方向に２倍となるように、解釈される（ハッチングされた○印でオフセットの変更位置を示す）。そのため、このクロッピング情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しが行われる。そして、トップ・アンド・ボトム方式の立体画像データであることから、この切り出された画像データが上下に二分され、それぞれに垂直方向のスケーリング処理が施されて、立体画像表示用の左眼および右眼の画像データが生成される。この場合、正しく立体画像の表示が行われる。
【００６３】
「送信データ生成部の構成例」
図６は、放送局１００において、上述したトランスポートストリームＴＳを生成する送信データ生成部１１０の構成例を示している。この送信データ生成部１１０は、データ取り出し部（アーカイブ部）１１１と、ビデオエンコーダ１１２と、オーディオエンコーダ１１３と、マルチプレクサ１１４を有している。
【００６４】
データ取り出し部１１１には、データ記録媒体１１１ａが、例えば、着脱自在に装着される。データ記録媒体１１１ａは、ディスク状記録媒体、半導体メモリ等である。このデータ記録媒体１１１ａには、トランスポートストリームＴＳで送信する複数の番組の画像データが記録されている。
【００６５】
各番組の画像データは、例えば、２次元画像データあるいはフレームコンパチブル方式の立体画像データ（以下、単、「立体画像データ」という）とされている。この立体画像データの伝送フォーマットは、例えば、サイド・バイ・サイド方式、トップ・アンド・ボトム方式などである（図２３（ａ），（ｂ）参照）。データ取り出し部１１１は、データ記録媒体１１１ａから、送信対象番組の画像データおよび音声データを順次取り出して出力する。
【００６６】
ビデオエンコーダ１１２は、データ取り出し部１１１から出力される画像データに対して、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）の符号化を施して符号化ビデオデータを得る。また、このビデオエンコーダ１１２は、後段に備えるストリームフォーマッタ（図示せず）により、この符号化ビデオデータを含むビデオストリーム（ビデオエレメンタリストリーム）を生成する。この際、ビデオエンコーダ１１２は、このビデオストリームのヘッダ部に、クロッピング情報を挿入する。上述したように、クロッピング情報は、ＧＯＰの先頭のアクセスユニットに存在するＳＰＳ（Sequence Parameter Set）の部分に挿入される（図２（ａ）参照）。
【００６７】
オーディオエンコーダ１１３は、データ取り出し部１１１から出力される音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化を施し、オーディオストリーム（オーディオエレメンタリストリーム）を生成する。マルチプレクサ１１４は、ビデオエンコーダ１１２およびオーディオエンコーダ１１３で生成された各エレメンタリストリームをパケット化して多重し、トランスポートストリーム（多重化データストリーム）ＴＳを生成する。
【００６８】
ここで、マルチプレクサ１１４は、ビデオストリームよりも上位のレイヤに、クロッピング情報のパラメータ値の解釈情報を挿入する。マルチプレクサ１１４は、２次元画像データおよび立体画像データの切り替えタイミングに先行するタイミングで、その切り替え後の画像データに対応した解釈情報を挿入する。
【００６９】
上述したように、この解釈情報は、例えば、プログラム・マップ・テーブルのビデオエレメンタリ・ループの配下に挿入されるデスクリプタ（descriptor）に記述される。このデスクリプタは、例えば、既存のＡＶＣ・ビデオ・デスクリプタ（AVC video descriptor）、あるいは新規に定義されるクロッピング・インタープリテーション・デスクリプタ（Cropping_interpretation_descriptor）である。
【００７０】
図７は、トランスポートストリームＴＳの構成例を示している。この構成例は、既存のＡＶＣ・ビデオ・デスクリプタに、クロッピング情報のパラメータ値の解釈情報としての「cropping_normal_interpretation_flag」のフラグ情報が記述される例である。
【００７１】
この構成例では、ビデオストリームのＰＥＳパケット「Video PES」が含まれている。このビデオストリームには、含まれる画像データが立体画像データである場合には、上述したように、そのアクセスユニットのＳＥＩｓの部分に、「Frame Packing Arrangement SEI message」が挿入されている。このＳＥＩには、画像データがいかなる伝送フォーマットの立体画像データであるかを示すタイプ情報が含まれている。
【００７２】
トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（ProgramMap Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(EventInformation Table)が含まれている。
【００７３】
ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・デスクリプタ（Program Descriptor）が存在する。また、このＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ（Video ES loop）が存在する。
【００７４】
このエレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）などの情報が配置されると共に、そのエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。なお、この構成例では、図面の簡単化のために、オーディオに関しては、その図示を省略している。
【００７５】
この構成例では、「cropping_normal_interpretation_flag」のフラグ情報が、ビデオエレメンタリ・ループ（Video ES loop）に含まれる「AVC_video_descriptor」内に記述されている。
【００７６】
図８（ａ）は、トランスポートストリームＴＳの他の構成例を示している。この構成例は、新規定義されるクロッピング・インタープリテーション・デスクリプタに、クロッピング情報のパラメータ値の解釈情報としての「cropping_normal_interpretation_flag」のフラグ情報が記述される例である。
【００７７】
この構成例では、「cropping_normal_interpretation_flag」のフラグ情報が、ビデオエレメンタリ・ループ（Video ES loop）に挿入される「Cropping_interpretation_descriptor」内に記述されている。詳細説明は省略するが、この構成例におけるその他は、図７に示す構成例と同様である。
【００７８】
なお、イベントごとにクロッピング情報のパラメータ値の解釈を変える場合、「Cropping_interpretation_descriptor」を、図８（ｂ）に示すように、ＥＩＴの配下に挿入することも考えられる。
【００７９】
図９は、「AVC_video_descriptor」の構造例（Syntax）を示している。このデスクリプタ自体は、既にＨ．２６４／ＡＶＣの規格に入っている。ここでは、このデスクリプタに、「cropping_normal_interpretation_flag」の１ビットのフラグ情報が、新たに、定義される。
【００８０】
このフラグ情報は、図１０の規定内容（semantics）に示すように、ＧＯＰの先頭アクセスユニット内のＳＰＳ（SequenceParameter Set）で定義されるクロッピング情報のパラメータ値をそのまま適用するかどうか、換言すれば、このクロッピング情報のパラメータ値を特殊に解釈すべきかどうか、を示す。
【００８１】
このフラグ情報が“０”であるとき、クロッピング情報のパラメータ値を特殊解釈すべきことを示す。このとき、受信機は、(frame_crop_right_offset - frame_crop_left_offset )がピクチャ（picture）の水平方向サイズ（horizontal_size）の１／２に一致する場合、以下の（１）あるいは（２）において、各々右辺を左辺に代入することで、クロッピングをする位置を設定し、それに基づいてクロッピング（cropping）を施すことになる。なお、（１）か（２）かは、例えば、（１）による解釈の値が、ピクチャサイズ（picture size）の範囲に収まるかどうかで判断可能である。
【００８２】
（１） frame_crop_right_offset = frame_crop_right_offset * 2
（２） frame_crop_left_offset = 0
【００８３】
また、このとき、受信機は、( frame_crop_bottom _offset - frame_crop_ top_offset )がピクチャ（picture）の垂直方向サイズ（vertical_size）の１／２に一致する場合、以下の（３）あるいは（４）において、各々右辺を左辺に代入することで、クロッピングをする位置を設定し、それに基づいてクロッピング（cropping）を施すことになる。なお、（３）か（４）かは、例えば、（３）による解釈の値が、ピクチャサイズ（picture size）の範囲に収まるかどうかで判断可能である。
【００８４】
（３） frame_crop_bottom_offset = frame_crop_bottom_offset * 2
（４） frame_crop_top_offset = 0
【００８５】
なお、受信機は、このようにフラグ情報が“０”であるが、上述のいずれにも当てはまらない場合は、ＳＰＳで定義されるクロッピング情報のパラメータ値そのままと解釈し、クロッピング（cropping）を施すことになる。
【００８６】
また、このフラグ情報が“１”であるとき、受信機は、ＳＰＳで定義されるクロッピング情報のパラメータ値そのままと解釈し、クロッピング（cropping）を施すことになる。
【００８７】
図１１は、「Cropping_interpretation_descriptor」の構造例（Syntax）を示している。「descriptor_tag」の８ビットフィールドは、このデスクリプタが「Cropping_interpretation_descriptor」であることを示す。「descriptor_length」の８ビットフィールドは、以降のデータバイト数を示す。そして、このデスクリプタに、上述した「cropping_normal_interpretation_flag」の１ビットのフラグ情報が記述されている。
【００８８】
図６に示す送信データ生成部１１０の動作を簡単に説明する。データ取り出し部１１１から順次出力される送信対象番組の画像データ（２次元画像データあるいは立体画像データ）は、ビデオエンコーダ１１２に供給される。このビデオエンコーダ１１２では、その画像データに対して、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）の符号化が施されて、符号化ビデオデータが得られる。また、このビデオエンコーダ１１２では、後段に備えるストリームフォーマッタ（図示せず）により、この符号化ビデオデータを含むビデオストリーム（ビデオエレメンタリストリーム）が生成される。
【００８９】
この場合、ビデオエンコーダ１１２では、このビデオデータストリームのヘッダ部に、クロッピング情報が挿入される。すなわち、この場合、ＧＯＰの先頭のアクセスユニットに存在するＳＰＳ（Sequence Parameter Set）の部分に、クロッピング情報が挿入される（図２、図３参照）。また、このビデオエンコーダ１１２では、画像データが立体画像データである場合、アクセスユニットのＳＥＩｓの部分に、「Frame Packing Arrangement SEI message」が挿入される（図２参照）。このＳＥＩには、画像データがいかなる伝送フォーマットの立体画像データであるかを示すタイプ情報が含まれている。
【００９０】
また、データ取り出し部１１１から上述の送信対象番組の画像データが出力されるとき、このデータ取り出し部１１１からその画像データに対応した音声データも出力される。この音声データは、オーディオエンコーダ１１３に供給される。このオーディオエンコーダ１１３では、音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化が施され、符号化オーディオデータを含むオーディオストリーム（オーディオエレメンタリストリーム）が生成される。
【００９１】
ビデオエンコーダ１１２で生成されたビデオストリームはマルチプレクサ１１４に供給される。また、オーディエンコーダ１１３で生成されたオーディオストリームはマルチプレクサ１１４に供給される。マルチプレクサ１１４では、各エンコーダから供給されるエレメンタリストリームがパケット化されて多重化され、トランスポートストリーム（多重化データストリーム）ＴＳが生成される。
【００９２】
この場合、マルチプレクサ１１４では、ビデオデータストリームの上位レイヤに、クロッピング情報のパラメータ値の解釈情報が挿入される。この場合、２次元画像データおよび立体画像データの切り替えタイミングに先行するタイミングで、その切り替え後の画像データに対応した解釈情報が挿入される。この場合、解釈情報としての「cropping_normal_interpretation_flag」のフラグ情報が、例えば、プログラム・マップ・テーブルのビデオエレメンタリ・ループの配下に挿入されるデスクリプタ（descriptor）に記述される（図７、図８、図９、図１１参照）。
【００９３】
上述したように、図６に示す送信データ生成部１１０では、ビデオストリームよりも上位のレイヤに、クロッピング情報のパラメータ値の解釈情報が挿入される。そのため、画像データが２次元画像データあるいは立体画像データのいずれであっても、受信側では、クロッピング情報のパラメータ値をこの解釈情報により適切に解釈でき、このクロッピング情報を用いた切り出し処理（クロッピング）を適切に行って表示用画像データを正しく生成できる。
【００９４】
また、図６に示す送信データ生成部１１０では、２次元画像データおよび立体画像データの切り替えタイミングに先行するタイミングで、その切り替え後の画像データに対応した解釈情報が、ビデオストリームよりも上位のレイヤに挿入される。そのため、受信側では、２次元画像データおよび立体画像データの切り替えタイミングの前に、切り替え後の画像データに対応して変更された解釈情報を取得できる。したがって、切り換えタイミングから直ちに切り替え後の画像データに合ったクロッピング情報のパラメータ値の解釈で画像データの切り出し処理（クロッピング）を行うことができ、画像データの切り替えにより不自然な画像表示が行われることを回避できる。
【００９５】
「受信機の構成例」
図１２は、受信機（３ＤＴＶ）２００の構成例を示している。この受信機２００は、ＣＰＵ２０１と、フラッシュＲＯＭ２０２と、ＤＲＡＭ２０３と、内部バス２０４と、リモートコントロール受信部（ＲＣ受信部）２０５と、リモートコントロール送信機（ＲＣ送信機）２０６を有している。
【００９６】
また、この受信機２００は、アンテナ端子２１０と、デジタルチューナ２１１と、デマルチプレクサ２１３と、ビデオデコーダ部２１４と、ビューバッファ２１７Ｌ，２１７Ｒと、オーディオデコーダ２１８と、チャネル処理部２１９を有している。
【００９７】
ＣＰＵ２０１は、受信機２００の各部の動作を制御する。フラッシュＲＯＭ２０２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２０３は、ＣＰＵ２０１のワークエリアを構成する。ＣＰＵ２０１は、フラッシュＲＯＭ２０２から読み出したソフトウェアやデータをＤＲＡＭ２０３上に展開してソフトウェアを起動させ、受信機２００の各部を制御する。ＲＣ受信部２０５は、ＲＣ送信機２０６から送信されたリモーコントロール信号（リモコンコード）を受信し、ＣＰＵ２０１に供給する。ＣＰＵ２０１は、このリモコンコードに基づいて、受信機２００の各部を制御する。ＣＰＵ２０１、フラッシュＲＯＭ２０２およびＤＲＡＭ２０３は内部バス２０４に接続されている。
【００９８】
アンテナ端子２１０は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２１１は、アンテナ端子２１０に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のトランスポートストリームＴＳを出力する。
【００９９】
トランスポートストリームＴＳは、上述したように、画像データを含むビデオストリームを有するものであって、ヘッダ部にクロッピング情報が挿入されている。ここで、画像データは、２次元画像データあるいは立体画像データである。また、このトランスポートストリームＴＳにおいて、上述したように、ビデオストリームよりも上位のレイヤに、クロッピング情報のパラメータ値の解釈情報としての「cropping_normal_interpretation_flag」のフラグ情報が挿入されている。
【０１００】
上述したように、この解釈情報は、例えば、プログラム・マップ・テーブル、あるいはイベント・インフォメーション・テーブルの配下に挿入されるデスクリプタ内に記述されている。このデスクリプタは、例えば、既存のＡＶＣ・ビデオ・デスクリプタ、あるいは新規に定義されるクロッピング・インタープリテーション・デスクリプタでる。また、この場合、２次元画像データおよび立体画像データの切り替えタイミングに先行するタイミングで、その切り替え後の画像データに対応した解釈情報が、ビデオストリームよりも上位のレイヤに挿入されている。
【０１０１】
デマルチプレクサ２１３は、デジタルチューナ２２１から出力されるトランスポートストリームＴＳから、ビデオおよびオーディオの各ストリームを抽出する。また、デマルチプレクサ２１３は、このトランスポートストリームＴＳからプログラム・マップ・テーブル（ＰＭＴ）等の情報を抽出し、その情報をＣＰＵ２０１に供給する。
【０１０２】
この情報には、上述したように、クロッピング情報のパラメータ値の解釈情報としての「cropping_normal_interpretation_flag」のフラグ情報も含まれている。ＣＰＵ２０１は、このフラグ情報に基づいてクロッピング情報のパラメータ値の解釈を行って、復号化後の画像データからの画像データの切り出し処理（クロッピング）を制御する。
【０１０３】
ビデオデコーダ部２１４は、上述の送信データ生成部１１０のビデオエンコーダ１１２とは逆の処理を行う。すなわち、このビデオデコーダ２１４は、デマルチプレクサ２１３で抽出されたビデオストリームに含まれる符号化画像データに対して復号化処理を行って復号化された画像データを得る。
【０１０４】
上述したように、放送局１００の送信データ生成部１１０では、１６×１６のブロック毎に符号化を行うため、ブランクデータからなる８ラインが付加されて、１９２０画素×１０８８ラインの画像データとして符号化が行われている。そのため、ビデオデコーダ部２１４は、復号化後の画像データとして、ブランクデータからなる８ラインが付加された１９２０画素×１０８８ラインの画像データを取得する。
【０１０５】
また、ビデオデコーダ部２１４は、ビデオデータストリームのヘッダ情報を抽出し、このヘッダ情報をＣＰＵ２０１に供給する。この場合、ＧＯＰの先頭アクセスユニットのＳＰＳの部分にはクロッピング情報が含まれている。また、画像データが立体画像データである場合には、アクセスユニットのＳＥＩｓの部分に、そのタイプ情報を含む「Frame Packing Arrangement SEI message」が挿入されている。ＣＰＵ２０１は、クロッピング情報およびＳＥＩに基づいて、復号化後の画像データからの画像データの切り出し処理（クロッピング）を制御する。
【０１０６】
また、ビデオデコーダ部２１４は、復号化後の画像データから、ＣＰＵ２０１の制御のもと、画像データの切り出し処理（クロッピング）を行い、適宜、スケーリングを行って、表示用の画像データを生成する。
【０１０７】
ビデオデコーダ部２１４は、画像データが２次元画像データである場合、以下の処理を行う。すなわち、ビデオデコーダ部２１４は、復号化後の１９２０画素×１０８８ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データを切り出して、２次元画像表示用の画像データＳＶを生成する。
【０１０８】
また、ビデオデコーダ部２１４は、画像データが立体画像データであって、２次元表示モードにある場合、以下の処理を行う。すなわち、ビデオデコーダ部２１４は、復号化後の１９２０画素×１０８８ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、左眼画像データあるいは右眼画像データを切り出す。さらに、ビデオデコーダ部２１４は、切り出した画像データにスケーリングを行って、２次元画像表示用の画像データＳＶを生成する（図４、図５の２Ｄ表示モード参照）。
【０１０９】
また、ビデオデコーダ部２１４は、画像データが立体画像データであって、立体表示モードにある場合、以下の処理を行う。すなわち、ビデオデコーダ部２１４は、復号化後の１９２０画素×１０８８ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データを切り出す。
【０１１０】
さらに、ビデオデコーダ部２１４は、切り出した画像データを左右あるいは上下に二分し、それぞれにスケーリングを行って、立体画像表示用の左眼画像データＳＬおよび右眼画像データＳＲを生成する（図４、図５の３Ｄ表示モード参照）。この場合、サイド・バイ・サイド方式の立体画像データである場合には左右に二分し、トップ・アンド・ボトム方式の立体画像データである場合には上下に二分する。
【０１１１】
ビューバッファ２１７Ｌは、ビデオデコーダ部２１４で生成された、１９２０画素×１０８０ラインの、２次元画像データＳＶあるいは左眼画像データＳＬを一時的に蓄積し、表示ディスプレイなどの画像出力部に出力する。また、ビューバッファ２１７Ｒは、ビデオデコーダ部２１４で生成された１９２０画素×１０８０ラインの右眼画像データＳＲを一時的に蓄積し、表示ディスプレイなどの画像出力部に出力する。
【０１１２】
オーディオデコーダ２１８は、上述の送信データ生成部１１０のオーディオエンコーダ１１３とは逆の処理を行う。すなわち、このオーディオデコーダ２１８は、デマルチプレクサ２１３で抽出されたオーディオストリームに含まれる符号化音声データに対して復号化処理を行って復号化された音声データを得る。チャネル処理部２１９は、オーディオデコーダ２１８で得られる音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データＳＡを生成し、スピーカなどの音声出力部に出力する。
【０１１３】
［クロッピング制御］
ＣＰＵ２０１によるビデオデコーダ部２１４におけるクロッピング（画像データ切り出し処理）の制御について説明する。ＣＰＵ２０１は、クロッピング情報、そのパラメータ値の解釈情報、さらには立体画像データのタイプ情報が含まれているＳＥＩなどに基づいて、画像データ処理部２１６におけるクロッピング制御を行う。
【０１１４】
図１３のフローチャートは、ＣＰＵ２０１のクロッピング制御処理の一例を示している。ＣＰＵ２０１は、ピクチャ毎に、このフローチャートの処理を実行する。ＣＰＵ２０１は、ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２の処理に移る。このステップＳＴ２において、ＣＰＵ２０１は、３Ｄ表示モードか否かを判断する。なお、ユーザは、ＲＣ送信機２０６を操作することで、３Ｄ表示モードあるいは２Ｄ表示モードの設定を行うことができる。
【０１１５】
３Ｄ表示モードであるとき、ＣＰＵ２０１は、ステップＳＴ３において、クロッピング情報のパラメータ値の解釈情報である「cropping_normal_interpretation_flag」が“０”であるか否かを判断する。このフラグ情報は、画像データが立体画像データであり、かつ、２Ｄ互換性を考慮した３Ｄサービスの場合には“０”とされている。
【０１１６】
このフラグ情報が“０”であるとき、ＣＰＵ２０１は、ステップＳＴ４において、「Frame Packing Arrangement SEI message」のＳＥＩを検出したか否かを判断する。このＳＥＩは、画像データが立体画像データである場合には存在する。このＳＥＩを検出したとき、ＣＰＵ２０１は、ステップＳＴ５において、(frame_crop_right_offset - frame_crop_left_offset )が、ピクチャ（picture）の水平方向サイズ（horizontal_size）の１／２に一致するか否かを判断する。
【０１１７】
サイド・バイ・サイド方式の立体画像データである場合には、このステップＳＴ５の条件を満足する。そのため、ＣＰＵ２０１は、ステップＳＴ５の条件を満足するとき、ステップＳＴ６の処理に移る。このステップＳＴ６において、ＣＰＵ２０１は、クロッピング領域が水平方向に２倍となるように、クロッピング情報を解釈して、クロッピングの制御処理を行う。
【０１１８】
この場合、ＣＰＵ２０１は、元々のクロッピング情報で切り出される領域が左側半分であるか右側半分であるかにより、クロッピング情報のパラメータ値を以下のように変更する。すなわち、左側半分であるときは、「frame_crop_right_offset = frame_crop_right_offset * 2」と右辺を左辺に代入するかたちで解釈を行った上で、クロッピングの制御処理を行う。一方、右側半分であるときは、「frame_crop_left_offset = 0」と右辺を左辺に代入するかたちで解釈を行った上で、クロッピングの制御処理を行う。
【０１１９】
ＣＰＵ２０１は、ステップＳＴ６の処理の後、ステップＳＴ７において、処理を終了する。
【０１２０】
また、ＣＰＵ２０１は、ステップＳＴ５の条件を満足しないとき、ステップＳＴ８の処理に移る。このステップＳＴ８において、ＣＰＵ２０１は、(frame_crop_bottom_offset - frame_crop_top_offset )が、ピクチャ（picture）の垂直方向サイズ（vertical_size）の１／２に一致するか否かを判断する。
【０１２１】
トップ・アンド・ボトム方式の立体画像データである場合には、このステップＳＴ８の条件を満足する。そのため、ＣＰＵ２０１は、ステップＳＴ８の条件を満足するとき、ステップＳＴ９の処理に移る。このステップＳＴ９において、ＣＰＵ２０１は、クロッピング領域が垂直方向に２倍となるように、クロッピング情報を解釈して、クロッピングの制御処理を行う。
【０１２２】
この場合、ＣＰＵ２０１は、元々のクロッピング情報で切り出される領域が上側半分であるか下側半分であるかにより、クロッピング情報のパラメータ値を以下のように変更する。すなわち、上側半分であるときは、「frame_crop_bottom_offset = frame_crop_bottom_offset * 2」と右辺を左辺に代入するかたちで解釈を行った上で、クロッピングの制御処理を行う。一方、下側半分であるときは、「frame_crop_top_offset = 0」と右辺を左辺に代入するかたちで解釈を行った上で、クロッピングの制御処理を行う。
【０１２３】
ＣＰＵ２０１は、ステップＳＴ９の処理の後、ステップＳＴ７において、処理を終了する。なお、該当するピクチャのフォーマットがサイド・バイ・サイドかトップ・アンド・ボトムかは、「Frame Packing Arrangement SEI」で分かることは言うまでもない。
【０１２４】
また、ＣＰＵ２０１は、ステップＳＴ２で３Ｄ表示モードでないとき、ステップＳＴ３でフラグ情報が“１”であるとき、ステップＳＴ４でＳＥＩの検出がなかったとき、さらには、ステップＳＴ８の条件を満足しないとき、ステップＳＴ１０の処理に移る。このステップＳＴ１０において、ＣＰＵ２０１は、クロッピング情報のパラメータ値をそのままとして、クロッピングの制御処理を行う。ＣＰＵ２０１は、このステップＳＴ１０の処理の後、ステップＳＴ７において、処理を終了する。
【０１２５】
図１４は、システムレイヤに挿入されるＰＭＴ配下のＡＶＣ・ビデオ・デスクリプタ（AVC_video_descriptor）に記述される「cropping_normal_interpretation_flag」のフラグ情報の運用時の一例を示している。ＭＰＥＧでは、ＰＭＴの最大挿入サイクルは１００msecである。そのため、ＰＭＴの挿入タイミングとビデオのフレームのタイミングとは必ずしも一致しない。なお、以下では、３Ｄ表示モードにあるとして、説明する。
【０１２６】
図示の例において、画像データは、タイミングＴｂで、２次元画像データから立体画像データに切り替えられている。この切り替え後の画像データに対応した「cropping_normal_interpretation_flag」のフラグ情報が記述されたＡＶＣ・ビデオ・デスクリプタは、タイミングＴｂに先行したタイミングＴａで取得される。
【０１２７】
切り替え後の画像データが立体画像データであることから、このＡＶＣ・ビデオ・デスクリプタ（AVC_video_descriptor）において、「Frame_Packing_SEI_not_present_flag= 0」であり、「cropping_normal_interpretation_flag = 0」となっている。しかし、画像データは、タイミングＴｂとなるまでは、２次元画像データであって、「Frame Packing Arrangement SEI message」のＳＥＩが検出されることはない。
【０１２８】
つまり、ＣＰＵ２０１は、「cropping_normal_interpretation_flag = 0」のフラグ情報が取得されたとしても、タイミングＴｂまでは、クロッピング情報のパラメータ値を特殊解釈することはなく、そのままの値に解釈し、クロッピングの制御処理を行う。そのため、タイミングＴｂまでは、画像データ処理部２１６で、２次元画像表示用の画像データＳＶが正しく生成される。
【０１２９】
タイミングＴｂとなると、「Frame Packing Arrangement SEI message」のＳＥＩが検出される。図示の例では、このＳＥＩに含まれる立体画像データのタイプ情報が「３」とされており、サイド・バイ・サイド方式の立体画像データであることが分かる。ＣＰＵ２０１は、このタイミングＴｂからクロッピング情報のパラメータ値を特殊解釈し、クロッピングの制御処理を行う。そのため、タイミングＴｂから、画像データ処理部２１６で、立体画像表示用の画像データＳＬ，ＳＲが正しく生成される。
【０１３０】
同様に、図示の例において、画像データは、タイミングＴｄで、立体画像データから２次元画像データに切り替えられている。この切り替え後の画像データに対応した「cropping_normal_interpretation_flag」のフラグ情報が記述されたＡＶＣ・ビデオ・デスクリプタは、タイミングＴｄに先行したタイミングＴｃで取得される。
【０１３１】
切り替え後の画像データが２次元画像データであることから、このＡＶＣ・ビデオ・デスクリプタ（AVC_video_descriptor）において、「Frame_Packing_SEI_not_present_flag= 1」であり、「cropping_normal_interpretation_flag = 1」となっている。しかし、画像データは、タイミングＴｄとなるまでは、立体画像データであって、「Frame Packing Arrangement SEI message」のＳＥＩが検出される。
【０１３２】
つまり、ＣＰＵ２０１は、「cropping_normal_interpretation_flag = 1」のフラグ情報が取得されたとしても、タイミングＴｄまでは、クロッピング情報のパラメータ値を特殊解釈することを継続し、クロッピングの制御処理を行う。そのため、タイミングＴｄまでは、画像データ処理部２１６で、立体画像表示用の画像データＳＬ，ＳＲが正しく生成される。これは、前の状態において、「cropping_normal_interpretation_flag=0 であったことを受信機において記憶しておくことで可能となる。
【０１３３】
一方、図１４において、チャンネル切り替えがＴｄのタイミングで起こった場合にも正しい表示を行うために、「cropping_normal_interpretation_flag」を常に“０”としておき、クロッピング情報のパラメータ値の解釈を受信機側に行わせることで、表示範囲を決定させることが可能である。
【０１３４】
サイド・バイ・サイド方式の立体画像データである場合には、受信機側に、以下のような解釈を行わせる。すなわち、切り出し領域が左側半分であると判断できる場合には、「frame_crop_right_offset = frame_crop_right_offset * 2」と右辺を左辺に代入するかたちで解釈を行わせる。また、切り出し領域が右側半分であると判断できる場合には、「frame_crop_left_offset = 0」と右辺を左辺に代入するかたちで解釈を行わせる。
【０１３５】
また、トップ・アンド・ボトム方式の立体画像データである場合には、受信機側に、以下のような解釈を行わせる。すなわち、切り出し領域が上側半分であると判断できる場合には、「frame_crop_bottom_offset = frame_crop_bottom_offset * 2」と右辺を左辺に代入するかたちで解釈を行わせる。また、切り出し領域が下側半分であるとであると判断できる場合には、「frame_crop_top_offset = 0」と右辺を左辺に代入するかたちで解釈を行わせる。
【０１３６】
あるいは、イベントごとにクロッピング情報のパラメータ値の解釈を設定する場合には、上述の図８（ｂ）のような配置、すなわち「Cropping_interpretation_descriptor」をＥＩＴの配下に挿入することで実現可能である。
【０１３７】
タイミングＴｄとなると、「Frame Packing Arrangement SEI message」のＳＥＩが検出されなくなる。ＣＰＵ２０１は、このタイミングＴｄからクロッピング情報のパラメータ値をそのままに解釈し、クロッピングの制御処理を行う。そのため、タイミングＴｄから、画像データ処理部２１６で、２次元画像表示用の画像データＳＶが正しく生成される。
【０１３８】
受信機２００の動作を簡単に説明する。アンテナ端子２１０に入力されたテレビ放送信号はデジタルチューナ２１１に供給される。このデジタルチューナ２１１では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のトランスポートストリームＴＳが出力される。
【０１３９】
デマルチプレクサ２１３では、デジタルチューナ２１１で得られるトランスポートストリームＴＳから、ビデオおよびオーディオの各エレメンタリストリームが抽出される。また、デマルチプレクサ２１３では、トランスポートストリームＴＳからプログラム・マップ・テーブル（ＰＭＴ）等の情報が抽出され、その情報はＣＰＵ２０１に供給される。この情報には、クロッピング情報のパラメータ値の解釈情報としての「cropping_normal_interpretation_flag」のフラグ情報も含まれている。
【０１４０】
デマルチプレクサ２１３で抽出されるビデオストリームは、ビデオデコーダ部２１４に供給される。このビデオデコーダ部２１４では、ビデオストリームに含まれる符号化画像データに対して復号化処理が行われ、復号化された画像データ（２次元画像データあるいは立体画像データ）が得られる。この画像データは、ブランクデータからなる８ラインが付加された１９２０画素×１０８８ラインの画像データである。また、ビデオデコーダ部２１４では、ビデオデータストリームのヘッダ情報が抽出され、このヘッダ情報はＣＰＵ２０１に供給される。このヘッダ情報には、クロッピング情報や「Frame Packing Arrangement SEI message」のＳＥＩも含まれている。
【０１４１】
ＣＰＵ２０１により、クロッピング情報、そのパラメータ値の解釈情報、さらには立体画像データのタイプ情報が含まれているＳＥＩなどに基づいて、ビデオデコーダ部２１４に対するクロッピング制御が行われる。この場合、ＣＰＵ２０１では、画像データが２次元画像データであるときは、クロッピング情報のパラメータ値をそのままに解釈することが行われる。
【０１４２】
また、ＣＰＵ２０１では、２Ｄ表示モードにあって、画像データが立体画像データであるときは、クロッピング情報のパラメータ値をそのままに解釈することが行われる。さらに、ＣＰＵ２０１では、３Ｄ表示モードにあって、画像データが立体画像データであるときは、クロッピング領域が水平方向あるいは垂直方向に２倍となるように、クロッピング情報を解釈することが行われる。
【０１４３】
ビデオデコーダ部２１４では、復号化後の画像データから、ＣＰＵ２０１の制御のもと、解釈されたクロッピング情報に基づいて画像データの切り出し処理（クロッピング）が行われる。さらに、ビデオデコーダ部２１４では、切り出された画像データに対して、適宜、スケーリングが行われて、表示用の画像データが生成される。
【０１４４】
ここで、画像データが２次元画像データである場合、ビデオデコーダ部２１４では、以下の処理が行われる。すなわち、ビデオデコーダ部２１４では、復号化後の１９２０画素×１０８８ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データが切り出されて、２次元画像表示用の画像データＳＶが生成される。
【０１４５】
また、画像データが立体画像データであって、２次元表示モードにある場合、ビデオデコーダ部２１４では、以下の処理が行われる。すなわち、ビデオデコーダ部２１４では、復号化後の１９２０画素×１０８８ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、左眼画像データあるいは右眼画像データが切り出される。さらに、ビデオデコーダ部２１４では、切り出された画像データにスケーリングが行われて、２次元画像表示用の画像データＳＶが生成される。
【０１４６】
また、画像データが立体画像データであって、立体表示モードにある場合、ビデオデコーダ部２１４では、以下の処理が行われる。すなわち、ビデオデコーダ部２１４では、復号化後の１９２０画素×１０８８ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データが切り出される。さらに、ビデオデコーダ部２１４では、切り出された画像データが左右あるいは上下に二分され、それぞれにスケーリングが行われて、立体画像表示用の左眼画像データＳＬおよび右眼画像データＳＲが生成される。
【０１４７】
ビデオデコーダ部２１４で生成された２次元画像表示用の画像データＳＶ、あるいは立体画像表示用の左眼画像データＳＬは、ビューバッファ２１７Ｌを通じて、表示ディスプレイなどの画像出力部に出力される。また、ビデオデコーダ部２１４で生成された立体画像表示用の右眼画像データＳＲは、ビューバッファ２１７Ｒを通じて、表示ディスプレイなどの画像出力部に出力される。
【０１４８】
また、デマルチプレクサ２１３で抽出されたオーディオストリームは、オーディオデコーダ２１８に供給される。このオーディオデコーダ２１８では、オーディオストリームに含まれる符号化音声データに対して復号化処理が行われて、復号化された音声データが得られる。この音声データは、チャネル処理部２１９に供給される。チャネル処理部２１９では、その音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データＳＡが生成される。この音声データＳＡは、スピーカなどの音声出力部に出力される。
【０１４９】
上述したように、図１２に示す受信装置２００において、ＣＰＵ２０１では、ビデオストリームよりも上位のレイヤに挿入されているクロッピング情報のパラメータ値の解釈情報に基づいて、ビデオストリームのヘッダ部に挿入されたクロッピング情報が適切に解釈される。そして、その解釈結果に基づいて、ＣＰＵ２０１により、画像データ処理部２１６における画像データの切り出し処理（クロッピング）が制御される。したがって、画像データが２次元画像データあるいは立体画像データのいずれであっても、画像データ処理部２１６では、画像データの切り出し処理を適切に行うことができ、表示用画像データを正しく生成できる。
【０１５０】
また、図１２に示す受信機２００において、ＣＰＵ２０１では、画像データの切り替えタイミングに先行して、切り替え後の画像データに対応して変更された解釈情報が取得される。しかし、この解釈情報によるクロッピング情報のパラメータ値の解釈の反映は、実際に画像データが切り替わった直後から行われる。したがって、切り換えタイミングから直ちに切り替え後の画像データに合ったクロッピング情報のパラメータ値の解釈で画像データの切り出しを適切に行うことができる。また、解釈情報の取得が画像データの切り替えタイミングに同期していなくても、不自然な画像表示が行われることを回避できる。
【０１５１】
ここで、図１に示す画像送受信システム１０における放送局１００からのトランスポートストリームＴｓを、レガシーの２Ｄ受信機（２ＤＴＶ）が受信する場合について説明する。この場合、レガシーの２Ｄ受信機は、ビデオストリームよりも上位のレイヤに挿入されるクロッピング情報のパラメータ値の解釈情報を読み飛ばすこととなる。そのため、この解釈情報が２Ｄ受信機におけるクロッピングの処理に影響を与えることはない。
【０１５２】
＜２．変形例＞
なお、上述実施の形態においては、プログラム・マップ・テーブルのビデオエレメンタリ・ループの配下に挿入されるデスクリプタ（descriptor）に、「cropping_normal_interpretation_flag」のフラグ情報を解釈情報として記述する例を示した。このフラグ情報の代わりに、以下に詳述する「cropping_interpretation_mode」のモード情報を、解釈情報として、デスクリプタに記述することも考えられる。
【０１５３】
図１５は、トランスポートストリームＴＳの構成例を示している。この構成例は、既存のＡＶＣ・ビデオ・デスクリプタに、クロッピング情報のパラメータ値の解釈情報としての「cropping_interpretation_mode」のモード情報が記述される例である。
【０１５４】
この構成例では、ビデオストリームのＰＥＳパケット「Video PES」が含まれている。このビデオストリームには、含まれる画像データが立体画像データである場合には、上述したように、そのアクセスユニットのＳＥＩｓの部分に、「Frame Packing Arrangement SEI message」が挿入されている。このＳＥＩには、画像データがいかなる伝送フォーマットの立体画像データであるかを示すタイプ情報が含まれている。
【０１５５】
トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（ProgramMap Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(EventInformation Table)が含まれている。
【０１５６】
ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・デスクリプタ（Program Descriptor）が存在する。また、このＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ（Video ES loop）が存在する。
【０１５７】
このエレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）などの情報が配置されると共に、そのエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。なお、この構成例では、図面の簡単化のために、オーディオに関しては、その図示を省略している。
【０１５８】
この構成例では、「cropping_interpretation_mode」のモード情報が、ビデオエレメンタリ・ループ（Video ES loop）に含まれる「AVC_video_descriptor」内に記述されている。
【０１５９】
図１６（ａ）は、トランスポートストリームＴＳの他の構成例を示している。この構成例は、新規定義されるクロッピング・インタープリテーション・デスクリプタに、クロッピング情報のパラメータ値の解釈情報としての「cropping_interpretation_mode」のモード情報が記述される例である。
【０１６０】
この構成例では、「cropping_interpretation_mode」のモード情報が、ビデオエレメンタリ・ループ（Video ES loop）に挿入される「Cropping_interpretation_descriptor」内に記述されている。詳細説明は省略するが、この構成例におけるその他は、図１５に示す構成例と同様である。
【０１６１】
なお、イベントごとにクロッピング情報のパラメータ値の解釈を変える場合、「Cropping_interpretation_descriptor」を、図１６（ｂ）に示すように、ＥＩＴの配下に挿入することも考えられる。
【０１６２】
図１７は、「AVC_video_descriptor」の構造例（Syntax）を示している。このデスクリプタ自体は、既にＨ．２６４／ＡＶＣの規格に入っている。ここでは、このデスクリプタに、「cropping_interpretation_mode」の２ビットのモード情報が、新たに、定義される。
【０１６３】
このモード情報は、図１８の規定内容（semantics）に示すように、ＧＯＰの先頭アクセスユニット内のＳＰＳ（SequenceParameter Set）で定義されるクロッピング情報のパラメータ値の解釈を指定する。０１”であるとき、frame_crop_right_offsetの値を２倍に解釈することを指定する。これは、サイド・バイ・サイド方式の立体画像データに向けたものである。また、“１０”であるとき、frame_crop_bottom_offsetの値を２倍に解釈することを指定する。これは、トップ・アンド・ボトム方式の立体画像データに向けたものである。さらに、“１１”であるとき、クロッピング情報のパラメータ値をそのままに解釈することを指定する。
【０１６４】
図１９は、「Cropping_interpretation_descriptor」の構造例（Syntax）を示している。「descriptor_tag」の８ビットフィールドは、このデスクリプタが「Cropping_interpretation_descriptor」であることを示す。「descriptor_length」の８ビットフィールドは、以降のデータバイト数を示す。そして、このデスクリプタに、上述した「cropping_interpretation_mode」の２ビットのモード情報が記述されている。
【０１６５】
受信機２００の画像データ処理部２１６では、ＣＰＵ２０１の制御のもと、「cropping_normal_interpretation_flag」のフラグ情報の代わりに、「cropping_interpretation_mode」のモード情報を使用した場合であっても、同様の処理が行われる。
【０１６６】
すなわち、画像データが２次元画像データである場合、画像データ処理部２１６では、以下の処理が行われる。すなわち、画像データ処理部２１６では、ＤＯバッファ２１５に蓄積されている復号化後の１９２０画素×１０８８ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データが切り出されて、２次元画像表示用の画像データＳＶが生成される。
【０１６７】
また、画像データが立体画像データであって、２次元表示モードにある場合、画像データ処理部２１６では、以下の処理が行われる。すなわち、画像データ処理部２１６では、復号化後の１９２０画素×１０８８ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、左眼画像データあるいは右眼画像データが切り出される。そして、画像データ処理部２１６では、切り出された画像データにスケーリングが行われて、２次元画像表示用の画像データＳＶが生成される。
【０１６８】
また、画像データが立体画像データであって、立体表示モードにある場合、画像データ処理部２１６では、以下の処理が行われる。すなわち、画像データ処理部２１６では、復号化後の１９２０画素×１０８８ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データが切り出される。そして、画像データ処理部２１６では、切り出された画像データが左右あるいは上下に二分され、それぞれにスケーリングが行われて、立体画像表示用の左眼画像データＳＬおよび右眼画像データＳＲが生成される。
【０１６９】
図２０のフローチャートは、「cropping_interpretation_mode」のモード情報を使用する場合における、ＣＰＵ２０１のクロッピング制御処理の一例を示している。ＣＰＵ２０１は、ピクチャ毎に、このフローチャートの処理を実行する。ＣＰＵ２０１は、ステップＳＴ１１において、処理を開始し、その後に、ステップＳＴ１２の処理に移る。このステップＳＴ１２において、ＣＰＵ２０１は、３Ｄ表示モードか否かを判断する。なお、ユーザは、ＲＣ送信機２０６を操作することで、３Ｄ表示モードあるいは２Ｄ表示モードの設定を行うことができる。
【０１７０】
３Ｄ表示モードであるとき、ＣＰＵ２０１は、ステップＳＴ１３において、「cropping_interpretation_mode」のモード情報が“０１”であるか否かを判断する。このモード情報が“０１”であるとき、ＣＰＵ２０１は、ステップＳＴ１４において、「Frame Packing Arrangement SEI message」のＳＥＩを検出したか否かを判断する。このＳＥＩは、画像データが立体画像データである場合には存在する。このＳＥＩを検出したとき、ＣＰＵ２０１は、ステップＳＴ１５において、(frame_crop_right_offset - frame_crop_left_offset )が、ピクチャ（picture）の水平方向サイズ（horizontal_size）の１／２に一致するか否かを判断する。
【０１７１】
サイド・バイ・サイド方式の立体画像データである場合には、このステップＳＴ１５の条件を満足する。そのため、ＣＰＵ２０１は、ステップＳＴ１５の条件を満足するとき、ステップＳＴ１６の処理に移る。このステップＳＴ１６において、ＣＰＵ２０１は、クロッピング領域が水平方向に２倍となるように、クロッピング情報を解釈して、クロッピングの制御処理を行う。
【０１７２】
この場合、ＣＰＵ２０１は、元々のクロッピング情報で切り出される領域が左側半分であるか右側半分であるかにより、クロッピング情報のパラメータ値を以下のように変更する。すなわち、左側半分であるときは、「frame_crop_right_offset = frame_crop_right_offset * 2」として、クロッピングの制御処理を行う。一方、右側半分であるときは、「frame_crop_left_offset = 0」として、クロッピングの制御処理を行う。
【０１７３】
ＣＰＵ２０１は、ステップＳＴ１６の処理の後、ステップＳＴ１７において、処理を終了する。
【０１７４】
また、ＣＰＵ２０１は、ステップＳＴ１２で３Ｄ表示モードでないとき、ステップＳＴ１４でＳＥＩの検出がなかったとき、さらには、ステップＳＴ１５の条件を満足しないとき、ステップＳＴ１８の処理に移る。このステップＳＴ１８において、ＣＰＵ２０１は、クロッピング情報のパラメータ値をそのままとして、クロッピングの制御処理を行う。ＣＰＵ２０１は、このステップＳＴ１８の処理の後、ステップＳＴ１７において、処理を終了する。
【０１７５】
また、ＣＰＵ２０１は、ステップＳＴ１３でモード情報が“０１”でないとき、ステップＳＴ１９の処理に移る。このステップＳＴ１９において、ＣＰＵ２０１は、「cropping_interpretation_mode」のモード情報が“１０”であるか否かを判断する。このモード情報が“１０”であるとき、ＣＰＵ２０１は、ステップＳＴ２０において、「Frame Packing Arrangement SEI message」のＳＥＩを検出したか否かを判断する。
【０１７６】
このＳＥＩは、画像データが立体画像データである場合には存在する。このＳＥＩを検出したとき、ＣＰＵ２０１は、ステップＳＴ２１において、 (frame_crop_bottom_offset - frame_crop_top_offset )が、ピクチャ（picture）の垂直方向サイズ（vertical_size）の１／２に一致するか否かを判断する。
【０１７７】
トップ・アンド・ボトム方式の立体画像データである場合には、このステップＳＴ２１の条件を満足する。そのため、ＣＰＵ２０１は、ステップＳＴ２１の条件を満足するとき、ステップＳＴ２２の処理に移る。このステップＳＴ２２において、ＣＰＵ２０１は、クロッピング領域が垂直方向に２倍となるように、クロッピング情報を解釈して、クロッピングの制御処理を行う。
【０１７８】
この場合、ＣＰＵ２０１は、元々のクロッピング情報で切り出される領域が上側半分であるか下側半分であるかにより、クロッピング情報のパラメータ値を以下のように変更する。すなわち、上側半分であるときは、「frame_crop_bottom_offset = frame_crop_bottom_offset * 2」として、クロッピングの制御処理を行う。一方、下側半分であるときは、「frame_crop_top_offset = 0」として、クロッピングの制御処理を行う。
【０１７９】
ＣＰＵ２０１は、ステップＳＴ２２の処理の後、ステップＳＴ１７において、処理を終了する。
【０１８０】
また、ＣＰＵ２０１は、ステップＳＴ１９でモード情報が“１０”でないとき、ステップＳＴ２０でＳＥＩの検出がなかったとき、さらには、ステップＳＴ２１の条件を満足しないとき、ステップＳＴ１８の処理に移る。このステップＳＴ１８において、ＣＰＵ２０１は、クロッピング情報のパラメータ値をそのままとして、クロッピングの制御処理を行う。ＣＰＵ２０１は、このステップＳＴ１８の処理の後、ステップＳＴ１７において、処理を終了する。
【０１８１】
図２１は、システムレイヤに挿入されるＰＭＴ配下のＡＶＣ・ビデオ・デスクリプタ（AVC_video_descriptor）に記述される「cropping_interpretation_mode」のモード情報の運用時の一例を示している。ＭＰＥＧでは、ＰＭＴの最大挿入サイクルは１００msecである。そのため、ＰＭＴの挿入タイミングとビデオのフレームのタイミングとは必ずしも一致しない。なお、以下では、３Ｄ表示モードにあるとして、説明する。
【０１８２】
図示の例において、画像データは、タイミングＴｂで、２次元画像データから立体画像データに切り替えられている。この切り替え後の画像データに対応した「cropping_interpretation_mode」のモード情報が記述されたＡＶＣ・ビデオ・デスクリプタは、タイミングＴｂに先行したタイミングＴａで取得される。
【０１８３】
切り替え後の画像データが立体画像データであることから、このＡＶＣ・ビデオ・デスクリプタ（AVC_video_descriptor）において、「Frame_Packing_SEI_not_present_flag= 0」であり、「cropping_interpretation_mode = 01」となっている。しかし、画像データは、タイミングＴｂとなるまでは、２次元画像データであって、「Frame Packing Arrangement SEI message」のＳＥＩが検出されることはない。
【０１８４】
つまり、ＣＰＵ２０１は、「cropping_interpretation_mode = 01」のモード情報が取得されたとしても、タイミングＴｂまでは、frame_crop_right_offset の値を２倍に解釈するということはせず、そのままの値に解釈し、クロッピングの制御処理を行う。そのため、タイミングＴｂまでは、画像データ処理部２１６で、２次元画像表示用の画像データＳＶが正しく生成される。
【０１８５】
タイミングＴｂとなると、「Frame Packing Arrangement SEI message」のＳＥＩが検出される。図示の例では、このＳＥＩに含まれる立体画像データのタイプ情報が「３」とされており、サイド・バイ・サイド方式の立体画像データであることが分かる。ＣＰＵ２０１は、このタイミングＴｂから、frame_crop_right_offset の値を２倍に解釈し、クロッピングの制御処理を行う。そのため、タイミングＴｂから、画像データ処理部２１６で、立体画像表示用の画像データＳＬ，ＳＲが正しく生成される。
【０１８６】
同様に、図示の例において、画像データは、タイミングＴｄで、立体画像データから２次元画像データに切り替えられている。この切り替え後の画像データに対応した「cropping_interpretation_mode」のモード情報が記述されたＡＶＣ・ビデオ・デスクリプタは、タイミングＴｄに先行したタイミングＴｃで取得される。
【０１８７】
切り替え後の画像データが２次元画像データであることから、このＡＶＣ・ビデオ・デスクリプタ（AVC_video_descriptor）において、「Frame_Packing_SEI_not_present_flag= 1」であり、「cropping_interpretation_mode = 11」となっている。しかし、画像データは、タイミングＴdとなるまでは、立体画像データであって、「Frame PackingArrangement SEI message」のＳＥＩが検出される。
【０１８８】
つまり、ＣＰＵ２０１は、「cropping_interpretation_mode = 11」のフラグ情報が取得されたとしても、タイミングＴｄまでは、frame_crop_right_offset の値を２倍に解釈することを継続し、クロッピングの制御処理を行う。そのため、タイミングＴｄまでは、画像データ処理部２１６で、立体画像表示用の画像データＳＬ，ＳＲが正しく生成される。これは、前の状態において、「cropping_interpretation_mode」が“０１”あるいは“１０”であったことを受信機において記憶しておくことで可能となる。
【０１８９】
一方、図２１において、チャンネル切り替えがＴｄのタイミングで起こった場合にも正しい表示を行うために、「cropping_interpretation_mode」を常に“０１”あるいは“１０”としておき、クロッピング情報のパラメータ値の解釈を受信機側に行わせることで、表示範囲を決定させることが可能である。
【０１９０】
サイド・バイ・サイド方式の立体画像データである場合には、受信機側に、以下のような解釈を行わせる。すなわち、切り出し領域が左側半分であると判断できる場合には、「frame_crop_right_offset = frame_crop_right_offset * 2」と右辺を左辺に代入するかたちで解釈を行わせる。また、切り出し領域が右側半分であると判断できる場合には、「frame_crop_left_offset = 0」と右辺を左辺に代入するかたちで解釈を行わせる。
【０１９１】
また、トップ・アンド・ボトム方式の立体画像データである場合には、受信機側に、以下のような解釈を行わせる。すなわち、切り出し領域が上側半分であると判断できる場合には、「frame_crop_bottom_offset = frame_crop_bottom_offset * 2」と右辺を左辺に代入するかたちで解釈を行わせる。また、切り出し領域が下側半分であると判断できる場合には、「frame_crop_top_offset = 0」と右辺を左辺に代入するかたちで解釈を行わせる。
【０１９２】
あるいは、イベントごとにクロッピング情報のパラメータ値の解釈を設定する場合には、上述の図１６（ｂ）のような配置、すなわち「Cropping_interpretation_descriptor」をＥＩＴの配下に挿入することで実現可能である。
【０１９３】
タイミングＴｄとなると、「Frame Packing Arrangement SEI message」のＳＥＩが検出されなくなる。ＣＰＵ２０１は、このタイミングＴｄからクロッピング情報のパラメータ値をそのままに解釈し、クロッピングの制御処理を行う。そのため、タイミングＴｄから、画像データ処理部２１６で、２次元画像表示用の画像データＳＶが正しく生成される。
【０１９４】
このように、「cropping_interpretation_mode」のモード情報を、解釈情報としてデスクリプタに記述する場合にあっても、受信機２００においては、上述実施の形態と同様の動作が可能となる。つまり、この場合にあっても、上述実施の形態と同様の効果を得ることができる。
【０１９５】
また、上述実施例においては、画像データに対してＨ．２６４／ＡＶＣの符号化を施す例を示した。しかし、画像データに対して、例えば、ＭＰＥＧ２ｖｉｄｅｏなどのその他の符号化が施されるものであってもよい。また、画像データに対して、例えば、ＨＥＶＣ (High Efficiency Video Coding )などのその他の符号化が施されるものであってもよい。ＭＰＥＧ２ｖｉｄｅｏの符号化の場合には、立体画像データのタイプ情報は、例えばピクチャヘッダに挿入されている。
【０１９６】
また、上述実施の形態においては、放送局１００と受信機２００からなる画像送受信システム１０を示したが、本技術を適用し得る画像送受信システムの構成は、これに限定されるものではない。例えば、受信機２００の部分が、例えば、ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。
【０１９７】
また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。
【０１９８】
また、本技術は、以下のような構成を取ることもできる。
（１）画像データを含み、ヘッダ部にクロッピング情報が挿入されたビデオストリームを有する所定フォーマットのコンテナを送信する画像データ送信部と、
上記ビデオストリームよりも上位のレイヤに、上記クロッピング情報のパラメータ値の解釈情報を挿入する情報挿入部を備える
画像データ送信装置。
（２）上記解釈情報は、
上記画像データが、同一フレーム内に左眼画像データおよび右眼画像データが水平方向あるいは垂直方向に分割配置された立体画像データであるとき、
上記クロッピング情報のパラメータ値を特殊に解釈すべきことを示す
前記（１）に記載の画像データ送信装置。
（３）上記解釈情報は、
上記クロッピング情報のパラメータ値を、クロッピング領域が水平方向あるいは垂直方向に２倍となるように解釈すべきことを示す
前記（２）に記載の画像データ送信装置。
（４）上記画像データは、２次元画像データあるいは同一フレーム内に左眼画像データおよび右眼画像データが水平方向あるいは垂直方向に分割配置された立体画像データであり、
上記情報挿入部は、
上記２次元画像データおよび上記立体画像データの切り替えタイミングに先行するタイミングで、切り替え後の画像データに対応して変更された上記解釈情報を、上記ビデオストリームよりも上位のレイヤに挿入する
前記（１）から（３）のいずれかに記載の画像データ送信装置。
（５）上記コンテナは、トランスポートストリームであり、
上記情報挿入部は、
上記解釈情報をプログラム・マップ・テーブル、あるいは、イベント・インフォメーション・テーブルの配下に挿入する
前記（１）から（４）のいずれかに記載の画像データ送信装置。
（６）上記情報挿入部は、
上記プログラム・マップ・テーブル、あるいは、イベント・インフォメーション・テーブルの配下に挿入されるデスクリプタに、上記解釈情報を記述する
前記（５）に記載の画像データ送信装置。
（７）上記ビデオストリームは、Ｈ．２６４／ＡＶＣ、あるいはＨＥＶＣの符号化データであり、
上記クロッピング情報は、上記ビデオストリームのシーケンス・パラメータ・セットに定義されており、
上記情報挿入部は、
上記解釈情報を、上記プログラム・マップ・テーブル、あるいは、イベント・インフォメーション・テーブルの配下に挿入されるデスクリプタに記述する
前記（６）に記載の画像データ送信装置。
（８）画像データを含み、ヘッダ部にクロッピング情報が挿入されたビデオストリームを有する所定フォーマットのコンテナを送信する画像データ送信ステップと、
上記ビデオストリームよりも上位のレイヤに、上記クロッピング情報のパラメータ値の解釈情報を挿入する情報挿入ステップを備える
画像データ送信方法。
（９）画像データを含み、ヘッダ部にクロッピング情報が挿入されたビデオストリームを有する所定フォーマットのコンテナを受信する画像データ受信部を備え、
上記ビデオストリームよりも上位のレイヤに、上記クロッピング情報のパラメータ値の解釈情報が挿入されており、
上記コンテナから上記解釈情報を取得する情報取得部と、
上記コンテナが有するビデオストリームをデコードして上記画像データおよびクロッピング情報を取得するデコード部と、
上記クロッピング情報のパラメータ値を上記解釈情報に基づいて解釈し、上記画像データから、所定の領域の画像データを切り出して表示用の画像データを生成する画像データ処理部とをさらに備える
画像データ受信装置。
（１０）上記画像データは、２次元画像データあるいは同一フレーム内に左眼画像データおよび右眼画像データが水平方向あるいは垂直方向に分割配置された立体画像データであり、
切り替え後の画像データに対応して変更された上記解釈情報は、上記ビデオストリームよりも上位のレイヤに、上記２次元画像データおよび上記立体画像データの切り替えタイミングに先行するタイミングで挿入されており、
上記画像データ処理部は、
画像データの上記切り替えタイミングから、該切り替えタイミングに先行するタイミングで挿入されている、上記切り替え後の画像データに対応して変更された上記解釈情報に基づいて、上記クロッピング情報のパラメータ値を解釈する
前記（１０）に記載の画像データ受信装置。
（１１）画像データを含み、ヘッダ部にクロッピング情報が挿入されたビデオストリームを有する所定フォーマットのコンテナを受信する画像データ受信ステップを備え、
上記ビデオストリームよりも上位のレイヤに、上記クロッピング情報のパラメータ値の解釈情報を挿入されており、
上記コンテナから上記解釈情報を取得する情報取得ステップと、
上記コンテナが有するビデオストリームをデコードして上記画像データおよびクロッピング情報を取得するデコードステップと、
上記クロッピング情報のパラメータ値を上記解釈情報に基づいて解釈し、上記画像データから、所定の領域の画像データを切り出して表示用の画像データを生成する画像データ処理ステップとをさらに備える
画像データ受信方法。
【０１９９】
本技術の主な特徴は、ヘッダ部にクロッピング情報が挿入されたビデオストリームを有する所定フォーマットのトランスポートストリーム（コンテナ）を送信する際に、ビデオストリームよりも上位のレイヤにクロッピング情報のパラメータ値の解釈情報を挿入するようにしたことで、受信側におけるクリッピング情報を用いた画像データの切り出し処理（クロッピング）が常に適切に行われるようにしたことである（図４、図５参照）
【符号の説明】
【０２００】
１０・・・画像送受信システム
１００・・・放送局
１１０・・・送信データ生成部
１１１・・・データ取り出し部
１１１ａ・・・データ記録媒体
１１２・・・ビデオエンコーダ
１１３・・・オーディオエンコーダ
１１４・・・マルチプレクサ
２００・・・受信機
２０１・・・ＣＰＵ
２０２・・・フラッシュＲＯＭ
２０３・・・ＤＲＡＭ
２０４・・・内部バス
２０５・・・リモートコントロール受信部（ＲＣ受信部）
２０６・・・リモートコントロール送信機（ＲＣ送信機）
２１０・・・アンテナ端子
２１１・・・デジタルチューナ
２１３・・・デマルチプレクサ
２１４・・・ビデオデコーダ部
２１７Ｌ，２１７Ｒ・・・ビューバッファ
２１８・・・オーディオデコーダ
２１９・・・チャネル処理部
【技術分野】
【０００１】
本技術は、画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法に関し、特に、送信側から画像データと共にクロッピング情報を送信し、受信側ではこのクロッピング情報を用いて画像データの切り出し処理を行う画像送受信システムにおける画像データ送信装置等に関する。
【背景技術】
【０００２】
例えば、特許文献１には、立体画像データのテレビ放送電波を用いた伝送方式について提案されている。この場合、左眼用画像データおよび右眼用画像データを含む立体画像データが送信され、テレビ受信機において、両眼視差を利用した立体画像表示が行われる。
【０００３】
図２２は、両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクト（物体）の左右像の表示位置と、その立体画像（３Ｄ画像）の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Ｌａが右側に右像Ｒａが左側にずれて表示されているオブジェクトＡに関しては、左右の視線がスクリーン面より手前で交差するため、その立体画像の再生位置はスクリーン面より手前となる。ＤＰａは、オブジェクトＡに関する水平方向の視差ベクトルを表している。
【０００４】
また、例えば、スクリーン上に図示のように左像Ｌｂおよび右像Ｒｂが同一位置に表示されているオブジェクトＢに関しては、左右の視線がスクリーン面で交差するため、その立体画像の再生位置はスクリーン面上となる。さらに、例えば、スクリーン上に図示のように左像Ｌｃが左側に右像Ｒｃが右側にずれて表示されているオブジェクトＣに関しては、左右の視線がスクリーン面より奥で交差するため、その立体画像の再生位置はスクリーン面より奥となる。ＤＰｃは、オブジェクトＣに関する水平方向の視差ベクトルを表している。
【０００５】
従来、立体画像データの伝送フォーマットとして、サイド・バイ・サイド（Side By Side）方式、トップ・アンド・ボトム（Top & Bottom）方式などのフレームコンパチブル方式が知られている。例えば、図２３（ａ）はサイド・バイ・サイド方式を示し、図２３（ｂ）はトップ・アンド・ボトム方式を示している。ここでは、１９２０×１０８０のピクセルフォーマットである場合を示している。
【０００６】
サイド・バイ・サイド方式は、図２３（ａ）に示すように、水平方向の前半では左眼画像データのピクセルデータを伝送し、水平方向の後半では右眼画像データのピクセルデータを伝送する方式である。この方式の場合、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが１／２に間引かれ、原信号に対して水平解像度は半分となる。
【０００７】
トップ・アンド・ボトム方式は、図２３（ｂ）に示すように、垂直方向の前半では左眼画像データの各ラインのデータを伝送し、垂直方向の後半では右眼画像データの各ラインのデータを伝送する方式である。この方式の場合、左眼画像データおよび右眼画像データのラインが１／２に間引かれ、原信号に対して垂直解像度は半分となる。
【０００８】
ここで、受信側における表示画像データ生成処理について簡単に説明する。図２４（ａ）は、１９２０×１０８０のピクセルフォーマットの２次元画像データに関する処理を概略的に示している。この場合、送信側では、１６×１６のブロック毎に符号化を行うために、ブランクデータからなる８ラインを付加して、１９２０画素×１０８８ラインの画像データとして符号化が行われる。
【０００９】
そのため、受信側では、復号化後に、１９２０画素×１０８８ラインの画像データが得られる。しかし、そのうち８ラインはブランクデータであることから、ビデオデータストリームに含まれるクロッピング（cropping）情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しが行われて、２次元テレビ受信機（以下、適宜、「２ＤＴＶ」という）用の表示用画像データが生成される。
【００１０】
図２４（ｂ）は、１９２０×１０８０のピクセルフォーマットのサイド・バイ・サイド方式の立体画像データ（３次元画像データ）に関する処理を概略的に示している。この場合も、送信側では、１６×１６のブロック毎に符号化を行うために、ブランクデータからなる８ラインを付加して、１９２０画素×１０８８ラインの画像データとして符号化が行われる。
【００１１】
そのため、受信側では、復号化後に、１９２０画素×１０８８ラインの画像データが得られる。しかし、そのうち８ラインはブランクデータであることから、ビデオデータストリームに含まれるクロッピング情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しが行われる。そして、この画像データが左右に二分され、それぞれにスケーリング処理が施されて、立体テレビ受信機（以下、適宜、「３ＤＴＶ」という）用の左眼および右眼の表示用画像データが生成される。
【００１２】
図２４（ｃ）は、１９２０×１０８０のピクセルフォーマットのトップ・アンド・ボトム方式の立体画像データ（３次元画像データ）に関する処理を概略的に示している。この場合も、送信側では、１６×１６のブロック毎に符号化を行うために、ブランクデータからなる８ラインを付加して、１９２０画素×１０８８ラインの画像データとして符号化が行われている。
【００１３】
そのため、受信側では、復号化後に、１９２０画素×１０８８ラインの画像データが得られる。しかし、そのうち８ラインはブランクデータであることから、ビデオデータストリームに含まれるクロッピング情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しが行われる。そして、この画像データが上下に二分され、それぞれにスケーリング処理が施されて、３ＤＴＶ用の左眼および右眼の表示用画像データが生成される。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２００５−６１１４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
２ＤＴＶにおいて、上述のサイド・バイ・サイド方式、あるいはトップ・アンド・ボトム方式の立体画像データの場合、１９２０画素×１０８０ラインの画像データを切り出しして２ＤＴＶ用の表示用画像データを生成した場合、左右あるいは上下に同様の画像が並んだ不自然な画像表示となる。
【００１６】
そこで、２ＤＴＶにおいて、この不自然な画像表示を回避できるように、ビデオデータストリームに含まれるクロッピング情報を、左眼または右眼の一方、例えば左眼の画像データのみを切り出すための情報とすることが考えられる。その場合、２ＤＴＶ、３ＤＴＶの処理は、以下のようになる。
【００１７】
図２５（ａ）は、２ＤＴＶにおける、１９２０×１０８０のピクセルフォーマットのサイド・バイ・サイド方式の立体画像データ（３次元画像データ）における処理を概略的に示している。２ＤＴＶでは、復号化後に、１９２０画素×１０８８ラインの画像データが得られるが、そのうち８ラインはブランクデータである。この場合、クロッピング（cropping）情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、９６０画素×１０８０ラインの左眼画像データの切り出しが行われる。そして、この左眼画像データにスケーリング処理が施されて、２ＤＴＶ用の表示用画像データが生成される。この場合、正しく２次元表示（２Ｄ表示）が行われる。
【００１８】
これに対して、図２５（ｂ）は、３ＤＴＶにおける、１９２０×１０８０のピクセルフォーマットのサイド・バイ・サイド方式の立体画像データ（３次元画像データ）における処理を概略的に示している。３ＤＴＶでも、復号化後に、１９２０画素×１０８８ラインの画像データが得られるが、そのうち８ラインはブランクデータである。この場合、クロッピング（cropping）情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、９６０画素×１０８０ラインの左眼画像データの切り出しが行われる。
【００１９】
そして、この左眼画像データにスケーリング処理が施されて、１９２０画素×１０８０ラインの画像データが生成される。この画像データは、上述した２ＤＴＶの表示用画像データと同じものである。３ＤＴＶでは、サイド・バイ・サイド方式なので、さらに、この画像データが左右に二分され、それぞれにスケーリング処理が施されて、３ＤＴＶ用の左眼および右眼の表示用画像データが生成される。この場合、左眼画像および右眼画像は、１つの画像を左右に二分した一方および他方であることから、正しく立体表示（３Ｄ表示）がなされない。
【００２０】
図２６（ａ）は、２ＤＴＶにおける、１９２０×１０８０のピクセルフォーマットのトップ・アンド・ボトム方式の立体画像データ（３次元画像データ）における処理を概略的に示している。２ＤＴＶでは、復号化後に、１９２０画素×１０８８ラインの画像データが得られるが、そのうち８ラインはブランクデータである。この場合、クロッピング（cropping）情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、１９２０画素×５４０ラインの左眼画像データの切り出しが行われる。そして、この左眼画像データにスケーリング処理が施されて、２ＤＴＶ用の表示用画像データが生成される。この場合、正しく２次元表示（２Ｄ表示）が行われる。
【００２１】
これに対して、２６（ｂ）は、３ＤＴＶにおける、１９２０×１０８０のピクセルフォーマットのトップ・アンド・ボトム方式の立体画像データ（３次元画像データ）の処理を概略的に示している。３ＤＴＶでも、復号化後に、１９２０画素×１０８８ラインの画像データが得られるが、そのうち８ラインはブランクデータである。この場合、クロッピング（cropping）情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、１９２０画素×５４０ラインの左眼画像データの切り出しが行われる。
【００２２】
そして、この左眼画像データにスケーリング処理が施されて、１９２０画素×１０８０ラインの画像データが生成される。この画像データは、上述した２ＤＴＶの表示用画像データと同じものである。３ＤＴＶでは、トップ・アンド・ボトム方式なので、さらに、この画像データが上下に二分され、それぞれにスケーリング処理が施されて、３ＤＴＶ用の左眼および右眼の表示用画像データが生成される。この場合、左眼画像および右眼画像は、１つの画像を上下に二分した一方および他方であることから、正しく立体表示（３Ｄ表示）がなされない。
【００２３】
本技術の目的は、受信側においてクロッピング情報を用いた切り出し処理を適切に行って表示用画像データを正しく生成可能とすることにある。
【課題を解決するための手段】
【００２４】
本技術の概念は、
画像データを含み、ヘッダ部にクロッピング情報が挿入されたビデオストリームを有する所定フォーマットのコンテナを送信する画像データ送信部と、
上記ビデオストリームよりも上位のレイヤに、上記クロッピング情報のパラメータ値の解釈情報を挿入する情報挿入部を備える
画像データ送信装置にある。
【００２５】
本技術において、画像データ送信部により、画像データを含み、ヘッダ部にクロッピング情報が挿入されたビデオストリームを有する所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。
【００２６】
情報挿入部により、ビデオストリームよりも上位のレイヤに、クロッピング情報のパラメータ値の解釈情報が挿入される。例えば、コンテナはトランスポートストリームであり、情報挿入部は、解釈情報をプログラム・マップ・テーブル、あるいはイベント・インフォメーション・テーブルの配下に挿入する、ようにされてもよい。例えば、情報挿入部は、プログラム・マップ・テーブル、あるいはイベント・インフォメーション・テーブルの配下に挿入されるデスクリプタに、解釈情報を記述する、ようにされる。
【００２７】
例えば、ビデオストリームは、Ｈ．２６４／ＡＶＣ、あるいはＨＥＶＣの符号化データであり、クロッピング情報は、ビデオストリームのシーケンス・パラメータ・セットに定義されており、情報挿入部は、解釈情報を、プログラム・マップ・テーブル、あるいはイベント・インフォメーション・テーブルの配下に挿入されるデスクリプタに記述する、ようにされてもよい。
【００２８】
例えば、解釈情報は、画像データが、同一フレーム内に左眼画像データおよび右眼画像データが水平方向あるいは垂直方向に分割配置された立体画像データ、いわゆるフレームコンパチブル方式の立体画像データであるとき、クロッピング情報のパラメータ値を特殊に解釈すべきことを示す、ものとされる。なお、この場合、解釈情報は、画像データが２次元画像データであるとき、クロッピング情報のパラメータ値をそのままに解釈すべきことを示す、ものとされる。
【００２９】
例えば、画像データが、同一フレーム内に左眼画像データおよび右眼画像データが水平方向あるいは垂直方向に分割配置された立体画像データであるとき、解釈情報は、クロッピング情報のパラメータ値を、クロッピング領域が水平方向あるいは垂直方向に２倍となるように解釈すべきことを示す、ようにされてもよい。例えば、サイド・バイ・サイド方式の立体画像データである場合には、クロッピング領域が水平方向に２倍となるように解釈すべきことを示すものとなる。また、例えば、トップ・アンド・ボトム方式の立体画像データである場合には、クロッピング領域が垂直に２倍となるように解釈すべきことを示すものとなる。この場合、解釈情報は、クロッピング情報のパラメータ値の解釈を指定する。
【００３０】
このように本技術においては、ビデオストリームよりも上位のレイヤに、クロッピング情報のパラメータ値の解釈情報が挿入される。そのため、画像データが２次元画像データあるいはフレームコンパチブル方式の立体画像データのいずれであっても、受信側では、クロッピング情報のパラメータ値を解釈情報により適切に解釈でき、このクロッピング情報を用いた切り出し処理（クロッピング）を適切に行って表示用画像データを正しく生成可能となる。
【００３１】
なお、本技術において、例えば、画像データは、２次元画像データあるいは同一フレーム内に左眼画像データおよび右眼画像データが水平方向あるいは垂直方向に分割配置された立体画像データであり、情報挿入部は、２次元画像データおよび立体画像データの切り替えタイミングに先行するタイミングで、切り替え後の画像データに対応して変更された解釈情報をビデオストリームよりも上位のレイヤに挿入する、ようにされてもよい。
【００３２】
この場合、受信側では、２次元画像データおよび立体画像データの切り替えタイミングの前に、切り替え後の画像データに対応して変更された解釈情報を取得することが可能となる。そのため、切り換えタイミングから直ちに切り替え後の画像データに合ったクロッピング情報のパラメータ値の解釈で画像データの切り出し（クロッピング）を行うことが可能となり、画像データの切り替えにより不自然な画像表示が行われることを回避可能となる。
【００３３】
また、本技術の他の概念は、
画像データを含み、ヘッダ部にクロッピング情報が挿入されたビデオストリームを有する所定フォーマットのコンテナを受信する画像データ受信部を備え、
上記ビデオストリームよりも上位のレイヤに、上記クロッピング情報のパラメータ値の解釈情報が挿入されており、
上記コンテナから上記解釈情報を取得する情報取得部と、
上記コンテナが有するビデオストリームをデコードして上記画像データおよび上記クロッピング情報を取得するデコード部と、
上記クロッピング情報のパラメータ値を上記解釈情報に基づいて解釈し、上記画像データから、所定の領域の画像データを切り出して表示用の画像データを生成する画像データ処理部とをさらに備える
画像データ受信装置にある。
【００３４】
本技術において、画像データ受信部により、画像データを含み、ヘッダ部にクロッピング情報が挿入されたビデオストリームを有する所定フォーマットのコンテナ、例えばトランスポートストリームが受信される。ここで、ビデオストリームよりも上位のレイヤに、クロッピング情報のパラメータ値の解釈情報が挿入されている。
【００３５】
情報取得部により、コンテナから解釈情報が取得される。また、デコード部により、コンテナが有するビデオストリームがデコードされて、画像データおよびクロッピング情報が取得される。そして、画像データ処理部により、クロッピング情報のパラメータ値が解釈情報に基づいて解釈され、画像データから、所定の領域の画像データが切り出されて表示用の画像データが生成される。
【００３６】
このように本技術においては、ヘッダ部にクロッピング情報が挿入されたビデオストリームを有する所定フォーマットのコンテナが受信されるが、ビデオストリームよりも上位のレイヤに、クロッピング情報の解釈情報が挿入されている。そのため、画像データが２次元画像データあるいはフレームコンパチブル方式の立体画像データのいずれであっても、クロッピング情報を解釈情報により適切に解釈でき、このクロッピング情報を用いた切り出し処理を適切に行って表示用画像データを正しく生成可能となる。
【００３７】
なお、本技術において、例えば、画像データは、２次元画像データあるいは同一フレーム内に左眼画像データおよび右眼画像データが水平方向あるいは垂直方向に分割配置された立体画像データであり、切り替え後の画像データに対応して変更された解釈情報は、ビデオストリームよりも上位のレイヤに、２次元画像データおよび立体画像データの切り替えタイミングに先行するタイミングで挿入されており、画像データ処理部は、画像データの切り替えタイミングから、この切り替えタイミングに先行するタイミングで挿入されている、切り替え後の画像データに対応して変更された解釈情報に基づいて、クロッピング情報のパラメータ値を解釈する、ようにされてもよい。
【００３８】
この場合、切り換えタイミングから直ちに切り替え後の画像データに合ったクロッピング情報のパラメータ値の解釈で画像データの切り出しを適切に行うことが可能となる。また、解釈情報の取得が画像データの切り替えタイミングに同期していなくても、不自然な画像表示が行われることを回避できる。
【発明の効果】
【００３９】
本技術によれば、受信側においてクロッピング情報を用いた切り出し処理を適切に行って表示用画像データを正しく生成できる。
【図面の簡単な説明】
【００４０】
【図１】実施の形態としての画像送受信システムの構成例を示すブロック図である。
【図２】ビデオストリームにおけるアクセスユニットのデータ構造例を示す図である。
【図３】アクセスユニットのＳＰＳ（Sequence Parameter Set）の中で定義されているクロッピング情報の構造を示す図である。
【図４】１９２０×１０８０のピクセルフォーマットのサイド・バイ・サイド方式の立体画像データに対する受信処理を概略的に示す図である。
【図５】１９２０×１０８０のピクセルフォーマットのトップ・アンド・ボトム方式の立体画像データに対する受信処理を概略的に示す図である。
【図６】画像送受信システムを構成する放送局の送信データ生成部の構成例を示すブロック図である。
【図７】トランスポートストリームＴＳの構成例を示す図である。
【図８】トランスポートストリームＴＳの他の構成例を示す図である。
【図９】「AVC_video_descriptor」の構造例（Syntax）を示す図である。
【図１０】「AVC_video_descriptor」の規定内容（Semantics）を示す図である。
【図１１】「Cropping_interpretation_descriptor」の構造例（Syntax）を示す図である。
【図１２】画像送受信システムを構成する受信機の構成例を示すブロック図である。
【図１３】受信機内のＣＰＵのクロッピング制御処理の一例を示すフローチャートである。
【図１４】ＰＭＴ配下のＡＶＣ・ビデオ・デスクリプタに記述される「cropping_normal_interpretation_flag」のフラグ情報の運用時の一例を説明するための図である。
【図１５】トランスポートストリームＴＳの構成例を示す図である。
【図１６】トランスポートストリームＴＳの他の構成例を示す図である。
【図１７】「AVC_video_descriptor」の構造例（Syntax）を示す図である。
【図１８】「AVC_video_descriptor」の規定内容（Semantics）を示す図である。
【図１９】「Cropping_interpretation_descriptor」の構造例（Syntax）を示す図である。
【図２０】受信機内のＣＰＵのクロッピング制御処理の一例を示すフローチャートである。
【図２１】ＰＭＴ配下のＡＶＣ・ビデオ・デスクリプタに記述される「cropping_interpretation_mode」のモード情報の運用時の一例を説明するための図である。
【図２２】両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクトの左右像の表示位置と、その立体像の再生位置との関係を説明するための図である。
【図２３】立体画像データの伝送フォーマットの一例（サイド・バイ・サイド方式、トップ・アンド・ボトム方式など）を説明するための図である。
【図２４】受信側における表示画像データ生成処理を説明するための図である。
【図２５】従来のクロッピング情報を用いたサイド・バイ・サイド方式における画像処理を説明するための図である。
【図２６】従来のクロッピング情報を用いたトップ・アンド・ボトム方式における画像処理を説明するための図である。
【発明を実施するための形態】
【００４１】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００４２】
＜１．実施の形態＞
［画像送受信システム］
図１は、実施の形態としての画像送受信システム１０の構成例を示している。この画像送受信システム１０は、放送局１００、および受信機（３ＤＴＶ）２００により構成されている。放送局１００は、画像データを含むビデオストリームを有するトランスポートストリームＴＳを、放送波に載せて送信する。
【００４３】
このビデオストリームに含まれる画像データは、２次元画像データ、あるいは同一フレーム内に左眼画像データおよび右眼画像データが水平方向あるいは垂直方向に分割配置された、いわゆるフレームコンパチブル方式の立体画像データである。この立体画像データの伝送フォーマットは、例えば、サイド・バイ・サイド（Side By Side）方式（図２３（ａ）参照）、トップ・アンド・ボトム（Top& Bottom）方式（図２３（ｂ）参照）などである。
【００４４】
この実施の形態において、画像データのピクセルフォーマットは、１９２０×１０８０であるとする。放送局１００は、この画像データに対して、１６×１６のブロック毎に符号化を行う。そのため、放送局１００は、ブランクデータからなる８ラインを付加して、１９２０画素×１０８８ラインの画像データとして符号化を行う。
【００４５】
ビデオストリームのヘッダ部には、クロッピング（cropping）情報が挿入されている。このクロッピング情報は、画像データが２次元画像データである場合、デコード後の１９２０画素×１０８８ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データを切り出すための情報となっている。
【００４６】
また、このクロッピング情報は、画像データがフレームコンパチブル方式の立体画像データである場合、デコード後の１９２０画素×１０８８ラインの画像データから、実質的な左眼画像データあるいは右眼画像データを切り出すための情報となる。例えば、サイド・バイ・サイド方式の立体画像データでは、９６０画素×１０８０ラインの画像データの切り出しを行うための情報となる。また、例えば、トップ・アンド・ボトム方式の立体画像データでは、１９２０画素×５４０ラインの画像データの切り出しを行うための情報となる。
【００４７】
なお、この実施の形態において、ビデオデータストリームは、例えば、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）ストリームであり、クロッピング情報はビデオストリームのシーケンス・パラメータ・セット（ＳＰＳ）に定義されている。図２（ａ），（ｂ）は、ビデオデータストリームにおけるアクセスユニットのデータ構造例を示している。Ｈ．２６４ではピクチャをアクセスユニットという単位で定義している。図２（ａ）は、ＧＯＰ（Group Of Pictures）の先頭のアクセスユニットの構造を示し、図２（ｂ）は、ＧＯＰの先頭以外のアクセスユニットの構造を示している。
【００４８】
クロッピング情報は、ＧＯＰの先頭のアクセスユニットに存在するＳＰＳ（Sequence Parameter Set）の部分に挿入される。図３は、ＳＰＳの中で定義されているクロッピング情報の構造（Syntax）を示している。このＳＰＳの中では、「frame_cropping_flag」のフラグ情報でクロッピング情報の存在の有無が示される。そして、クロッピング情報は、画像データの切り出し領域としての長方形領域を指定する情報である。
【００４９】
「frame_crop_left_offset」は水平方向の開始位置、つまり左端位置を示す。「frame_crop_right_offset」は水平方向の終了位置、つまり右端位置を示す。「frame_crop_top_offset」は垂直方向の開始位置、つまり上端位置を示す。「frame_crop_bottom_offset」は垂直方向の終了位置、つまり下端位置を示す。いずれも、左上位置からのオフセット値で示される。
【００５０】
画像データが立体画像データである場合、アクセスユニットのＳＥＩｓの部分に、「Frame Packing Arrangement SEI message」が挿入される。このＳＥＩに、画像データがいかなる伝送フォーマットの立体画像データであるかを示すタイプ情報が含まれている。
【００５１】
トランスポートストリームＴＳには、ビデオストリームよりも上位のレイヤに、クロッピング情報のパラメータ値の解釈情報が挿入される。この解釈情報は、例えば、プログラム・マップ・テーブル（ＰＭＴ：Program Map Table）の配下に挿入される。具体的には、この解釈情報は、例えば、プログラム・マップ・テーブルのビデオエレメンタリ・ループの配下に挿入されるデスクリプタ（descriptor）に記述される。このデスクリプタは、例えば、既存のＡＶＣ・ビデオ・デスクリプタ（AVC video descriptor）、あるいは新規に定義されるクロッピング・インタープリテーション・デスクリプタ（Cropping_interpretation_descriptor）である。
【００５２】
この解釈情報は、画像データがフレームコンパチブル方式の立体画像データである場合、クロッピング情報のパラメータ値を特殊に解釈すべきことを示す。また、この解釈情報は、画像データが２次元画像データである場合、クロッピング情報のパラメータ値をそのままに解釈すべきことを示す。この解釈情報は、２次元画像データおよび立体画像データの切り替えタイミングに先行するタイミングで挿入される。
【００５３】
受信機２００は、放送局１００から放送波に載せて送られてくるトランスポートストリームＴＳを受信する。受信機２００は、トラスポートストリームＴＳから、上述したようにビデオストリームよりも上位のレイヤに挿入されているクロッピング情報のパラメータ値の解釈情報を取得する。また、受信機２００は、ビデオストリームをデコードして、画像データおよびクロッピング情報を取得する。
【００５４】
そして、受信機２００は、クロッピング情報のパラメータ値を解釈情報に基づいて解釈し、画像データから、所定の領域の画像データを切り出して表示用の画像データを生成する。例えば、画像データが２次元画像データである場合、クロッピング情報は、復号化後の１９２０画素×１０８８ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データを切り出すための情報となっている。この場合、受信機２００は、クロッピング情報のパラメータ値をそのままに解釈し、デコード後の１９２０画素×１０８８ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データを切り出し、２次元画像表示の画像データを生成さする。
【００５５】
また、例えば、画像データがフレームコンパチブル方式の立体画像データである場合、クロッピング情報は、デコード後の１９２０画素×１０８８ラインの画像データから、実質的な左眼画像データあるいは右眼画像データを切り出すための情報となっている。この場合、受信機２００は、クロッピング情報のパラメータ値を、クロッピング領域が水平方向あるいは垂直方向に２倍となるように解釈する。そして、受信機２００は、復号化後の１９２０画素×１０８８ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データを切り出し、左眼および右眼の各画像データ部分のそれぞれにスケーリング処理を施して、立体画像表示用の左眼および右眼の画像データを生成する。
【００５６】
なお、解釈情報は、上述したように、２次元画像データおよび立体画像データの切り替えタイミングに先行するタイミングで挿入されている。受信機２００は、画像データの切り替えタイミングから、この切り替えタイミングに先行するタイミングで挿入されている、切り替え後の画像データに対応して変更された解釈情報に基づいて、クロッピング情報のパラメータ値を解釈する。つまり、受信機２００は、切り換えタイミングから直ちに切り替え後の画像データに合ったクロッピング情報の解釈で画像データの切り出しを行って、表示用画像データを生成する。
【００５７】
図４は、１９２０×１０８０のピクセルフォーマットのサイド・バイ・サイド方式の立体画像データに対する受信処理を概略的に示している。復号化後に、１９２０画素×１０８８ラインの画像データが得られるが、そのうち８ラインはブランクデータである。
【００５８】
２次元（２Ｄ）表示モードの場合、クロッピング情報（白抜きの○印でオフセット位置を示す）は、そのままに解釈される。そのため、このクロッピング情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、例えば、９６０画素×１０８０ラインの左眼画像データの切り出しが行われる。そして、この左眼画像データに水平方向のスケーリング処理が施されて、２次元画像表示用の画像データが生成される。この場合、正しく２次元画像の表示が行われる。
【００５９】
また、立体（３Ｄ）表示モードの場合、クロッピング情報（白抜きの○印でオフセット位置を示す）は、クロッピング領域が水平方向に２倍となるように、解釈される（ハッチングされた○印でオフセットの変更位置を示す）。そのため、このクロッピング情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しが行われる。そして、サイド・バイ・サイド方式の立体画像データであることから、この切り出された画像データが左右に二分され、それぞれに水平方向のスケーリング処理が施されて、立体画像表示用の左眼および右眼の画像データが生成される。この場合、正しく立体画像の表示が行われる。
【００６０】
また、図５は、１９２０×１０８０のピクセルフォーマットのトップ・アンド・ボトム方式の立体画像データに対する受信処理を概略的に示している。復号化後に、１９２０画素×１０８８ラインの画像データが得られるが、そのうち８ラインはブランクデータである。
【００６１】
２次元（２Ｄ）表示モードの場合、クロッピング情報（白抜きの○印でオフセット位置を示す）は、そのままに解釈される。そのため、このクロッピング情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、例えば、１９２０画素×５４０ラインの左眼画像データの切り出しが行われる。そして、この左眼画像データに垂直方向のスケーリング処理が施されて、２次元画像表示用の画像データが生成される。この場合、正しく２次元画像の表示が行われる。
【００６２】
また、立体（３Ｄ）表示モードの場合、クロッピング情報（白抜きの○印でオフセット位置を示す）は、クロッピング領域が垂直方向に２倍となるように、解釈される（ハッチングされた○印でオフセットの変更位置を示す）。そのため、このクロッピング情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しが行われる。そして、トップ・アンド・ボトム方式の立体画像データであることから、この切り出された画像データが上下に二分され、それぞれに垂直方向のスケーリング処理が施されて、立体画像表示用の左眼および右眼の画像データが生成される。この場合、正しく立体画像の表示が行われる。
【００６３】
「送信データ生成部の構成例」
図６は、放送局１００において、上述したトランスポートストリームＴＳを生成する送信データ生成部１１０の構成例を示している。この送信データ生成部１１０は、データ取り出し部（アーカイブ部）１１１と、ビデオエンコーダ１１２と、オーディオエンコーダ１１３と、マルチプレクサ１１４を有している。
【００６４】
データ取り出し部１１１には、データ記録媒体１１１ａが、例えば、着脱自在に装着される。データ記録媒体１１１ａは、ディスク状記録媒体、半導体メモリ等である。このデータ記録媒体１１１ａには、トランスポートストリームＴＳで送信する複数の番組の画像データが記録されている。
【００６５】
各番組の画像データは、例えば、２次元画像データあるいはフレームコンパチブル方式の立体画像データ（以下、単、「立体画像データ」という）とされている。この立体画像データの伝送フォーマットは、例えば、サイド・バイ・サイド方式、トップ・アンド・ボトム方式などである（図２３（ａ），（ｂ）参照）。データ取り出し部１１１は、データ記録媒体１１１ａから、送信対象番組の画像データおよび音声データを順次取り出して出力する。
【００６６】
ビデオエンコーダ１１２は、データ取り出し部１１１から出力される画像データに対して、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）の符号化を施して符号化ビデオデータを得る。また、このビデオエンコーダ１１２は、後段に備えるストリームフォーマッタ（図示せず）により、この符号化ビデオデータを含むビデオストリーム（ビデオエレメンタリストリーム）を生成する。この際、ビデオエンコーダ１１２は、このビデオストリームのヘッダ部に、クロッピング情報を挿入する。上述したように、クロッピング情報は、ＧＯＰの先頭のアクセスユニットに存在するＳＰＳ（Sequence Parameter Set）の部分に挿入される（図２（ａ）参照）。
【００６７】
オーディオエンコーダ１１３は、データ取り出し部１１１から出力される音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化を施し、オーディオストリーム（オーディオエレメンタリストリーム）を生成する。マルチプレクサ１１４は、ビデオエンコーダ１１２およびオーディオエンコーダ１１３で生成された各エレメンタリストリームをパケット化して多重し、トランスポートストリーム（多重化データストリーム）ＴＳを生成する。
【００６８】
ここで、マルチプレクサ１１４は、ビデオストリームよりも上位のレイヤに、クロッピング情報のパラメータ値の解釈情報を挿入する。マルチプレクサ１１４は、２次元画像データおよび立体画像データの切り替えタイミングに先行するタイミングで、その切り替え後の画像データに対応した解釈情報を挿入する。
【００６９】
上述したように、この解釈情報は、例えば、プログラム・マップ・テーブルのビデオエレメンタリ・ループの配下に挿入されるデスクリプタ（descriptor）に記述される。このデスクリプタは、例えば、既存のＡＶＣ・ビデオ・デスクリプタ（AVC video descriptor）、あるいは新規に定義されるクロッピング・インタープリテーション・デスクリプタ（Cropping_interpretation_descriptor）である。
【００７０】
図７は、トランスポートストリームＴＳの構成例を示している。この構成例は、既存のＡＶＣ・ビデオ・デスクリプタに、クロッピング情報のパラメータ値の解釈情報としての「cropping_normal_interpretation_flag」のフラグ情報が記述される例である。
【００７１】
この構成例では、ビデオストリームのＰＥＳパケット「Video PES」が含まれている。このビデオストリームには、含まれる画像データが立体画像データである場合には、上述したように、そのアクセスユニットのＳＥＩｓの部分に、「Frame Packing Arrangement SEI message」が挿入されている。このＳＥＩには、画像データがいかなる伝送フォーマットの立体画像データであるかを示すタイプ情報が含まれている。
【００７２】
トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（ProgramMap Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(EventInformation Table)が含まれている。
【００７３】
ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・デスクリプタ（Program Descriptor）が存在する。また、このＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ（Video ES loop）が存在する。
【００７４】
このエレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）などの情報が配置されると共に、そのエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。なお、この構成例では、図面の簡単化のために、オーディオに関しては、その図示を省略している。
【００７５】
この構成例では、「cropping_normal_interpretation_flag」のフラグ情報が、ビデオエレメンタリ・ループ（Video ES loop）に含まれる「AVC_video_descriptor」内に記述されている。
【００７６】
図８（ａ）は、トランスポートストリームＴＳの他の構成例を示している。この構成例は、新規定義されるクロッピング・インタープリテーション・デスクリプタに、クロッピング情報のパラメータ値の解釈情報としての「cropping_normal_interpretation_flag」のフラグ情報が記述される例である。
【００７７】
この構成例では、「cropping_normal_interpretation_flag」のフラグ情報が、ビデオエレメンタリ・ループ（Video ES loop）に挿入される「Cropping_interpretation_descriptor」内に記述されている。詳細説明は省略するが、この構成例におけるその他は、図７に示す構成例と同様である。
【００７８】
なお、イベントごとにクロッピング情報のパラメータ値の解釈を変える場合、「Cropping_interpretation_descriptor」を、図８（ｂ）に示すように、ＥＩＴの配下に挿入することも考えられる。
【００７９】
図９は、「AVC_video_descriptor」の構造例（Syntax）を示している。このデスクリプタ自体は、既にＨ．２６４／ＡＶＣの規格に入っている。ここでは、このデスクリプタに、「cropping_normal_interpretation_flag」の１ビットのフラグ情報が、新たに、定義される。
【００８０】
このフラグ情報は、図１０の規定内容（semantics）に示すように、ＧＯＰの先頭アクセスユニット内のＳＰＳ（SequenceParameter Set）で定義されるクロッピング情報のパラメータ値をそのまま適用するかどうか、換言すれば、このクロッピング情報のパラメータ値を特殊に解釈すべきかどうか、を示す。
【００８１】
このフラグ情報が“０”であるとき、クロッピング情報のパラメータ値を特殊解釈すべきことを示す。このとき、受信機は、(frame_crop_right_offset - frame_crop_left_offset )がピクチャ（picture）の水平方向サイズ（horizontal_size）の１／２に一致する場合、以下の（１）あるいは（２）において、各々右辺を左辺に代入することで、クロッピングをする位置を設定し、それに基づいてクロッピング（cropping）を施すことになる。なお、（１）か（２）かは、例えば、（１）による解釈の値が、ピクチャサイズ（picture size）の範囲に収まるかどうかで判断可能である。
【００８２】
（１） frame_crop_right_offset = frame_crop_right_offset * 2
（２） frame_crop_left_offset = 0
【００８３】
また、このとき、受信機は、( frame_crop_bottom _offset - frame_crop_ top_offset )がピクチャ（picture）の垂直方向サイズ（vertical_size）の１／２に一致する場合、以下の（３）あるいは（４）において、各々右辺を左辺に代入することで、クロッピングをする位置を設定し、それに基づいてクロッピング（cropping）を施すことになる。なお、（３）か（４）かは、例えば、（３）による解釈の値が、ピクチャサイズ（picture size）の範囲に収まるかどうかで判断可能である。
【００８４】
（３） frame_crop_bottom_offset = frame_crop_bottom_offset * 2
（４） frame_crop_top_offset = 0
【００８５】
なお、受信機は、このようにフラグ情報が“０”であるが、上述のいずれにも当てはまらない場合は、ＳＰＳで定義されるクロッピング情報のパラメータ値そのままと解釈し、クロッピング（cropping）を施すことになる。
【００８６】
また、このフラグ情報が“１”であるとき、受信機は、ＳＰＳで定義されるクロッピング情報のパラメータ値そのままと解釈し、クロッピング（cropping）を施すことになる。
【００８７】
図１１は、「Cropping_interpretation_descriptor」の構造例（Syntax）を示している。「descriptor_tag」の８ビットフィールドは、このデスクリプタが「Cropping_interpretation_descriptor」であることを示す。「descriptor_length」の８ビットフィールドは、以降のデータバイト数を示す。そして、このデスクリプタに、上述した「cropping_normal_interpretation_flag」の１ビットのフラグ情報が記述されている。
【００８８】
図６に示す送信データ生成部１１０の動作を簡単に説明する。データ取り出し部１１１から順次出力される送信対象番組の画像データ（２次元画像データあるいは立体画像データ）は、ビデオエンコーダ１１２に供給される。このビデオエンコーダ１１２では、その画像データに対して、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）の符号化が施されて、符号化ビデオデータが得られる。また、このビデオエンコーダ１１２では、後段に備えるストリームフォーマッタ（図示せず）により、この符号化ビデオデータを含むビデオストリーム（ビデオエレメンタリストリーム）が生成される。
【００８９】
この場合、ビデオエンコーダ１１２では、このビデオデータストリームのヘッダ部に、クロッピング情報が挿入される。すなわち、この場合、ＧＯＰの先頭のアクセスユニットに存在するＳＰＳ（Sequence Parameter Set）の部分に、クロッピング情報が挿入される（図２、図３参照）。また、このビデオエンコーダ１１２では、画像データが立体画像データである場合、アクセスユニットのＳＥＩｓの部分に、「Frame Packing Arrangement SEI message」が挿入される（図２参照）。このＳＥＩには、画像データがいかなる伝送フォーマットの立体画像データであるかを示すタイプ情報が含まれている。
【００９０】
また、データ取り出し部１１１から上述の送信対象番組の画像データが出力されるとき、このデータ取り出し部１１１からその画像データに対応した音声データも出力される。この音声データは、オーディオエンコーダ１１３に供給される。このオーディオエンコーダ１１３では、音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化が施され、符号化オーディオデータを含むオーディオストリーム（オーディオエレメンタリストリーム）が生成される。
【００９１】
ビデオエンコーダ１１２で生成されたビデオストリームはマルチプレクサ１１４に供給される。また、オーディエンコーダ１１３で生成されたオーディオストリームはマルチプレクサ１１４に供給される。マルチプレクサ１１４では、各エンコーダから供給されるエレメンタリストリームがパケット化されて多重化され、トランスポートストリーム（多重化データストリーム）ＴＳが生成される。
【００９２】
この場合、マルチプレクサ１１４では、ビデオデータストリームの上位レイヤに、クロッピング情報のパラメータ値の解釈情報が挿入される。この場合、２次元画像データおよび立体画像データの切り替えタイミングに先行するタイミングで、その切り替え後の画像データに対応した解釈情報が挿入される。この場合、解釈情報としての「cropping_normal_interpretation_flag」のフラグ情報が、例えば、プログラム・マップ・テーブルのビデオエレメンタリ・ループの配下に挿入されるデスクリプタ（descriptor）に記述される（図７、図８、図９、図１１参照）。
【００９３】
上述したように、図６に示す送信データ生成部１１０では、ビデオストリームよりも上位のレイヤに、クロッピング情報のパラメータ値の解釈情報が挿入される。そのため、画像データが２次元画像データあるいは立体画像データのいずれであっても、受信側では、クロッピング情報のパラメータ値をこの解釈情報により適切に解釈でき、このクロッピング情報を用いた切り出し処理（クロッピング）を適切に行って表示用画像データを正しく生成できる。
【００９４】
また、図６に示す送信データ生成部１１０では、２次元画像データおよび立体画像データの切り替えタイミングに先行するタイミングで、その切り替え後の画像データに対応した解釈情報が、ビデオストリームよりも上位のレイヤに挿入される。そのため、受信側では、２次元画像データおよび立体画像データの切り替えタイミングの前に、切り替え後の画像データに対応して変更された解釈情報を取得できる。したがって、切り換えタイミングから直ちに切り替え後の画像データに合ったクロッピング情報のパラメータ値の解釈で画像データの切り出し処理（クロッピング）を行うことができ、画像データの切り替えにより不自然な画像表示が行われることを回避できる。
【００９５】
「受信機の構成例」
図１２は、受信機（３ＤＴＶ）２００の構成例を示している。この受信機２００は、ＣＰＵ２０１と、フラッシュＲＯＭ２０２と、ＤＲＡＭ２０３と、内部バス２０４と、リモートコントロール受信部（ＲＣ受信部）２０５と、リモートコントロール送信機（ＲＣ送信機）２０６を有している。
【００９６】
また、この受信機２００は、アンテナ端子２１０と、デジタルチューナ２１１と、デマルチプレクサ２１３と、ビデオデコーダ部２１４と、ビューバッファ２１７Ｌ，２１７Ｒと、オーディオデコーダ２１８と、チャネル処理部２１９を有している。
【００９７】
ＣＰＵ２０１は、受信機２００の各部の動作を制御する。フラッシュＲＯＭ２０２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２０３は、ＣＰＵ２０１のワークエリアを構成する。ＣＰＵ２０１は、フラッシュＲＯＭ２０２から読み出したソフトウェアやデータをＤＲＡＭ２０３上に展開してソフトウェアを起動させ、受信機２００の各部を制御する。ＲＣ受信部２０５は、ＲＣ送信機２０６から送信されたリモーコントロール信号（リモコンコード）を受信し、ＣＰＵ２０１に供給する。ＣＰＵ２０１は、このリモコンコードに基づいて、受信機２００の各部を制御する。ＣＰＵ２０１、フラッシュＲＯＭ２０２およびＤＲＡＭ２０３は内部バス２０４に接続されている。
【００９８】
アンテナ端子２１０は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２１１は、アンテナ端子２１０に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のトランスポートストリームＴＳを出力する。
【００９９】
トランスポートストリームＴＳは、上述したように、画像データを含むビデオストリームを有するものであって、ヘッダ部にクロッピング情報が挿入されている。ここで、画像データは、２次元画像データあるいは立体画像データである。また、このトランスポートストリームＴＳにおいて、上述したように、ビデオストリームよりも上位のレイヤに、クロッピング情報のパラメータ値の解釈情報としての「cropping_normal_interpretation_flag」のフラグ情報が挿入されている。
【０１００】
上述したように、この解釈情報は、例えば、プログラム・マップ・テーブル、あるいはイベント・インフォメーション・テーブルの配下に挿入されるデスクリプタ内に記述されている。このデスクリプタは、例えば、既存のＡＶＣ・ビデオ・デスクリプタ、あるいは新規に定義されるクロッピング・インタープリテーション・デスクリプタでる。また、この場合、２次元画像データおよび立体画像データの切り替えタイミングに先行するタイミングで、その切り替え後の画像データに対応した解釈情報が、ビデオストリームよりも上位のレイヤに挿入されている。
【０１０１】
デマルチプレクサ２１３は、デジタルチューナ２２１から出力されるトランスポートストリームＴＳから、ビデオおよびオーディオの各ストリームを抽出する。また、デマルチプレクサ２１３は、このトランスポートストリームＴＳからプログラム・マップ・テーブル（ＰＭＴ）等の情報を抽出し、その情報をＣＰＵ２０１に供給する。
【０１０２】
この情報には、上述したように、クロッピング情報のパラメータ値の解釈情報としての「cropping_normal_interpretation_flag」のフラグ情報も含まれている。ＣＰＵ２０１は、このフラグ情報に基づいてクロッピング情報のパラメータ値の解釈を行って、復号化後の画像データからの画像データの切り出し処理（クロッピング）を制御する。
【０１０３】
ビデオデコーダ部２１４は、上述の送信データ生成部１１０のビデオエンコーダ１１２とは逆の処理を行う。すなわち、このビデオデコーダ２１４は、デマルチプレクサ２１３で抽出されたビデオストリームに含まれる符号化画像データに対して復号化処理を行って復号化された画像データを得る。
【０１０４】
上述したように、放送局１００の送信データ生成部１１０では、１６×１６のブロック毎に符号化を行うため、ブランクデータからなる８ラインが付加されて、１９２０画素×１０８８ラインの画像データとして符号化が行われている。そのため、ビデオデコーダ部２１４は、復号化後の画像データとして、ブランクデータからなる８ラインが付加された１９２０画素×１０８８ラインの画像データを取得する。
【０１０５】
また、ビデオデコーダ部２１４は、ビデオデータストリームのヘッダ情報を抽出し、このヘッダ情報をＣＰＵ２０１に供給する。この場合、ＧＯＰの先頭アクセスユニットのＳＰＳの部分にはクロッピング情報が含まれている。また、画像データが立体画像データである場合には、アクセスユニットのＳＥＩｓの部分に、そのタイプ情報を含む「Frame Packing Arrangement SEI message」が挿入されている。ＣＰＵ２０１は、クロッピング情報およびＳＥＩに基づいて、復号化後の画像データからの画像データの切り出し処理（クロッピング）を制御する。
【０１０６】
また、ビデオデコーダ部２１４は、復号化後の画像データから、ＣＰＵ２０１の制御のもと、画像データの切り出し処理（クロッピング）を行い、適宜、スケーリングを行って、表示用の画像データを生成する。
【０１０７】
ビデオデコーダ部２１４は、画像データが２次元画像データである場合、以下の処理を行う。すなわち、ビデオデコーダ部２１４は、復号化後の１９２０画素×１０８８ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データを切り出して、２次元画像表示用の画像データＳＶを生成する。
【０１０８】
また、ビデオデコーダ部２１４は、画像データが立体画像データであって、２次元表示モードにある場合、以下の処理を行う。すなわち、ビデオデコーダ部２１４は、復号化後の１９２０画素×１０８８ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、左眼画像データあるいは右眼画像データを切り出す。さらに、ビデオデコーダ部２１４は、切り出した画像データにスケーリングを行って、２次元画像表示用の画像データＳＶを生成する（図４、図５の２Ｄ表示モード参照）。
【０１０９】
また、ビデオデコーダ部２１４は、画像データが立体画像データであって、立体表示モードにある場合、以下の処理を行う。すなわち、ビデオデコーダ部２１４は、復号化後の１９２０画素×１０８８ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データを切り出す。
【０１１０】
さらに、ビデオデコーダ部２１４は、切り出した画像データを左右あるいは上下に二分し、それぞれにスケーリングを行って、立体画像表示用の左眼画像データＳＬおよび右眼画像データＳＲを生成する（図４、図５の３Ｄ表示モード参照）。この場合、サイド・バイ・サイド方式の立体画像データである場合には左右に二分し、トップ・アンド・ボトム方式の立体画像データである場合には上下に二分する。
【０１１１】
ビューバッファ２１７Ｌは、ビデオデコーダ部２１４で生成された、１９２０画素×１０８０ラインの、２次元画像データＳＶあるいは左眼画像データＳＬを一時的に蓄積し、表示ディスプレイなどの画像出力部に出力する。また、ビューバッファ２１７Ｒは、ビデオデコーダ部２１４で生成された１９２０画素×１０８０ラインの右眼画像データＳＲを一時的に蓄積し、表示ディスプレイなどの画像出力部に出力する。
【０１１２】
オーディオデコーダ２１８は、上述の送信データ生成部１１０のオーディオエンコーダ１１３とは逆の処理を行う。すなわち、このオーディオデコーダ２１８は、デマルチプレクサ２１３で抽出されたオーディオストリームに含まれる符号化音声データに対して復号化処理を行って復号化された音声データを得る。チャネル処理部２１９は、オーディオデコーダ２１８で得られる音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データＳＡを生成し、スピーカなどの音声出力部に出力する。
【０１１３】
［クロッピング制御］
ＣＰＵ２０１によるビデオデコーダ部２１４におけるクロッピング（画像データ切り出し処理）の制御について説明する。ＣＰＵ２０１は、クロッピング情報、そのパラメータ値の解釈情報、さらには立体画像データのタイプ情報が含まれているＳＥＩなどに基づいて、画像データ処理部２１６におけるクロッピング制御を行う。
【０１１４】
図１３のフローチャートは、ＣＰＵ２０１のクロッピング制御処理の一例を示している。ＣＰＵ２０１は、ピクチャ毎に、このフローチャートの処理を実行する。ＣＰＵ２０１は、ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２の処理に移る。このステップＳＴ２において、ＣＰＵ２０１は、３Ｄ表示モードか否かを判断する。なお、ユーザは、ＲＣ送信機２０６を操作することで、３Ｄ表示モードあるいは２Ｄ表示モードの設定を行うことができる。
【０１１５】
３Ｄ表示モードであるとき、ＣＰＵ２０１は、ステップＳＴ３において、クロッピング情報のパラメータ値の解釈情報である「cropping_normal_interpretation_flag」が“０”であるか否かを判断する。このフラグ情報は、画像データが立体画像データであり、かつ、２Ｄ互換性を考慮した３Ｄサービスの場合には“０”とされている。
【０１１６】
このフラグ情報が“０”であるとき、ＣＰＵ２０１は、ステップＳＴ４において、「Frame Packing Arrangement SEI message」のＳＥＩを検出したか否かを判断する。このＳＥＩは、画像データが立体画像データである場合には存在する。このＳＥＩを検出したとき、ＣＰＵ２０１は、ステップＳＴ５において、(frame_crop_right_offset - frame_crop_left_offset )が、ピクチャ（picture）の水平方向サイズ（horizontal_size）の１／２に一致するか否かを判断する。
【０１１７】
サイド・バイ・サイド方式の立体画像データである場合には、このステップＳＴ５の条件を満足する。そのため、ＣＰＵ２０１は、ステップＳＴ５の条件を満足するとき、ステップＳＴ６の処理に移る。このステップＳＴ６において、ＣＰＵ２０１は、クロッピング領域が水平方向に２倍となるように、クロッピング情報を解釈して、クロッピングの制御処理を行う。
【０１１８】
この場合、ＣＰＵ２０１は、元々のクロッピング情報で切り出される領域が左側半分であるか右側半分であるかにより、クロッピング情報のパラメータ値を以下のように変更する。すなわち、左側半分であるときは、「frame_crop_right_offset = frame_crop_right_offset * 2」と右辺を左辺に代入するかたちで解釈を行った上で、クロッピングの制御処理を行う。一方、右側半分であるときは、「frame_crop_left_offset = 0」と右辺を左辺に代入するかたちで解釈を行った上で、クロッピングの制御処理を行う。
【０１１９】
ＣＰＵ２０１は、ステップＳＴ６の処理の後、ステップＳＴ７において、処理を終了する。
【０１２０】
また、ＣＰＵ２０１は、ステップＳＴ５の条件を満足しないとき、ステップＳＴ８の処理に移る。このステップＳＴ８において、ＣＰＵ２０１は、(frame_crop_bottom_offset - frame_crop_top_offset )が、ピクチャ（picture）の垂直方向サイズ（vertical_size）の１／２に一致するか否かを判断する。
【０１２１】
トップ・アンド・ボトム方式の立体画像データである場合には、このステップＳＴ８の条件を満足する。そのため、ＣＰＵ２０１は、ステップＳＴ８の条件を満足するとき、ステップＳＴ９の処理に移る。このステップＳＴ９において、ＣＰＵ２０１は、クロッピング領域が垂直方向に２倍となるように、クロッピング情報を解釈して、クロッピングの制御処理を行う。
【０１２２】
この場合、ＣＰＵ２０１は、元々のクロッピング情報で切り出される領域が上側半分であるか下側半分であるかにより、クロッピング情報のパラメータ値を以下のように変更する。すなわち、上側半分であるときは、「frame_crop_bottom_offset = frame_crop_bottom_offset * 2」と右辺を左辺に代入するかたちで解釈を行った上で、クロッピングの制御処理を行う。一方、下側半分であるときは、「frame_crop_top_offset = 0」と右辺を左辺に代入するかたちで解釈を行った上で、クロッピングの制御処理を行う。
【０１２３】
ＣＰＵ２０１は、ステップＳＴ９の処理の後、ステップＳＴ７において、処理を終了する。なお、該当するピクチャのフォーマットがサイド・バイ・サイドかトップ・アンド・ボトムかは、「Frame Packing Arrangement SEI」で分かることは言うまでもない。
【０１２４】
また、ＣＰＵ２０１は、ステップＳＴ２で３Ｄ表示モードでないとき、ステップＳＴ３でフラグ情報が“１”であるとき、ステップＳＴ４でＳＥＩの検出がなかったとき、さらには、ステップＳＴ８の条件を満足しないとき、ステップＳＴ１０の処理に移る。このステップＳＴ１０において、ＣＰＵ２０１は、クロッピング情報のパラメータ値をそのままとして、クロッピングの制御処理を行う。ＣＰＵ２０１は、このステップＳＴ１０の処理の後、ステップＳＴ７において、処理を終了する。
【０１２５】
図１４は、システムレイヤに挿入されるＰＭＴ配下のＡＶＣ・ビデオ・デスクリプタ（AVC_video_descriptor）に記述される「cropping_normal_interpretation_flag」のフラグ情報の運用時の一例を示している。ＭＰＥＧでは、ＰＭＴの最大挿入サイクルは１００msecである。そのため、ＰＭＴの挿入タイミングとビデオのフレームのタイミングとは必ずしも一致しない。なお、以下では、３Ｄ表示モードにあるとして、説明する。
【０１２６】
図示の例において、画像データは、タイミングＴｂで、２次元画像データから立体画像データに切り替えられている。この切り替え後の画像データに対応した「cropping_normal_interpretation_flag」のフラグ情報が記述されたＡＶＣ・ビデオ・デスクリプタは、タイミングＴｂに先行したタイミングＴａで取得される。
【０１２７】
切り替え後の画像データが立体画像データであることから、このＡＶＣ・ビデオ・デスクリプタ（AVC_video_descriptor）において、「Frame_Packing_SEI_not_present_flag= 0」であり、「cropping_normal_interpretation_flag = 0」となっている。しかし、画像データは、タイミングＴｂとなるまでは、２次元画像データであって、「Frame Packing Arrangement SEI message」のＳＥＩが検出されることはない。
【０１２８】
つまり、ＣＰＵ２０１は、「cropping_normal_interpretation_flag = 0」のフラグ情報が取得されたとしても、タイミングＴｂまでは、クロッピング情報のパラメータ値を特殊解釈することはなく、そのままの値に解釈し、クロッピングの制御処理を行う。そのため、タイミングＴｂまでは、画像データ処理部２１６で、２次元画像表示用の画像データＳＶが正しく生成される。
【０１２９】
タイミングＴｂとなると、「Frame Packing Arrangement SEI message」のＳＥＩが検出される。図示の例では、このＳＥＩに含まれる立体画像データのタイプ情報が「３」とされており、サイド・バイ・サイド方式の立体画像データであることが分かる。ＣＰＵ２０１は、このタイミングＴｂからクロッピング情報のパラメータ値を特殊解釈し、クロッピングの制御処理を行う。そのため、タイミングＴｂから、画像データ処理部２１６で、立体画像表示用の画像データＳＬ，ＳＲが正しく生成される。
【０１３０】
同様に、図示の例において、画像データは、タイミングＴｄで、立体画像データから２次元画像データに切り替えられている。この切り替え後の画像データに対応した「cropping_normal_interpretation_flag」のフラグ情報が記述されたＡＶＣ・ビデオ・デスクリプタは、タイミングＴｄに先行したタイミングＴｃで取得される。
【０１３１】
切り替え後の画像データが２次元画像データであることから、このＡＶＣ・ビデオ・デスクリプタ（AVC_video_descriptor）において、「Frame_Packing_SEI_not_present_flag= 1」であり、「cropping_normal_interpretation_flag = 1」となっている。しかし、画像データは、タイミングＴｄとなるまでは、立体画像データであって、「Frame Packing Arrangement SEI message」のＳＥＩが検出される。
【０１３２】
つまり、ＣＰＵ２０１は、「cropping_normal_interpretation_flag = 1」のフラグ情報が取得されたとしても、タイミングＴｄまでは、クロッピング情報のパラメータ値を特殊解釈することを継続し、クロッピングの制御処理を行う。そのため、タイミングＴｄまでは、画像データ処理部２１６で、立体画像表示用の画像データＳＬ，ＳＲが正しく生成される。これは、前の状態において、「cropping_normal_interpretation_flag=0 であったことを受信機において記憶しておくことで可能となる。
【０１３３】
一方、図１４において、チャンネル切り替えがＴｄのタイミングで起こった場合にも正しい表示を行うために、「cropping_normal_interpretation_flag」を常に“０”としておき、クロッピング情報のパラメータ値の解釈を受信機側に行わせることで、表示範囲を決定させることが可能である。
【０１３４】
サイド・バイ・サイド方式の立体画像データである場合には、受信機側に、以下のような解釈を行わせる。すなわち、切り出し領域が左側半分であると判断できる場合には、「frame_crop_right_offset = frame_crop_right_offset * 2」と右辺を左辺に代入するかたちで解釈を行わせる。また、切り出し領域が右側半分であると判断できる場合には、「frame_crop_left_offset = 0」と右辺を左辺に代入するかたちで解釈を行わせる。
【０１３５】
また、トップ・アンド・ボトム方式の立体画像データである場合には、受信機側に、以下のような解釈を行わせる。すなわち、切り出し領域が上側半分であると判断できる場合には、「frame_crop_bottom_offset = frame_crop_bottom_offset * 2」と右辺を左辺に代入するかたちで解釈を行わせる。また、切り出し領域が下側半分であるとであると判断できる場合には、「frame_crop_top_offset = 0」と右辺を左辺に代入するかたちで解釈を行わせる。
【０１３６】
あるいは、イベントごとにクロッピング情報のパラメータ値の解釈を設定する場合には、上述の図８（ｂ）のような配置、すなわち「Cropping_interpretation_descriptor」をＥＩＴの配下に挿入することで実現可能である。
【０１３７】
タイミングＴｄとなると、「Frame Packing Arrangement SEI message」のＳＥＩが検出されなくなる。ＣＰＵ２０１は、このタイミングＴｄからクロッピング情報のパラメータ値をそのままに解釈し、クロッピングの制御処理を行う。そのため、タイミングＴｄから、画像データ処理部２１６で、２次元画像表示用の画像データＳＶが正しく生成される。
【０１３８】
受信機２００の動作を簡単に説明する。アンテナ端子２１０に入力されたテレビ放送信号はデジタルチューナ２１１に供給される。このデジタルチューナ２１１では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のトランスポートストリームＴＳが出力される。
【０１３９】
デマルチプレクサ２１３では、デジタルチューナ２１１で得られるトランスポートストリームＴＳから、ビデオおよびオーディオの各エレメンタリストリームが抽出される。また、デマルチプレクサ２１３では、トランスポートストリームＴＳからプログラム・マップ・テーブル（ＰＭＴ）等の情報が抽出され、その情報はＣＰＵ２０１に供給される。この情報には、クロッピング情報のパラメータ値の解釈情報としての「cropping_normal_interpretation_flag」のフラグ情報も含まれている。
【０１４０】
デマルチプレクサ２１３で抽出されるビデオストリームは、ビデオデコーダ部２１４に供給される。このビデオデコーダ部２１４では、ビデオストリームに含まれる符号化画像データに対して復号化処理が行われ、復号化された画像データ（２次元画像データあるいは立体画像データ）が得られる。この画像データは、ブランクデータからなる８ラインが付加された１９２０画素×１０８８ラインの画像データである。また、ビデオデコーダ部２１４では、ビデオデータストリームのヘッダ情報が抽出され、このヘッダ情報はＣＰＵ２０１に供給される。このヘッダ情報には、クロッピング情報や「Frame Packing Arrangement SEI message」のＳＥＩも含まれている。
【０１４１】
ＣＰＵ２０１により、クロッピング情報、そのパラメータ値の解釈情報、さらには立体画像データのタイプ情報が含まれているＳＥＩなどに基づいて、ビデオデコーダ部２１４に対するクロッピング制御が行われる。この場合、ＣＰＵ２０１では、画像データが２次元画像データであるときは、クロッピング情報のパラメータ値をそのままに解釈することが行われる。
【０１４２】
また、ＣＰＵ２０１では、２Ｄ表示モードにあって、画像データが立体画像データであるときは、クロッピング情報のパラメータ値をそのままに解釈することが行われる。さらに、ＣＰＵ２０１では、３Ｄ表示モードにあって、画像データが立体画像データであるときは、クロッピング領域が水平方向あるいは垂直方向に２倍となるように、クロッピング情報を解釈することが行われる。
【０１４３】
ビデオデコーダ部２１４では、復号化後の画像データから、ＣＰＵ２０１の制御のもと、解釈されたクロッピング情報に基づいて画像データの切り出し処理（クロッピング）が行われる。さらに、ビデオデコーダ部２１４では、切り出された画像データに対して、適宜、スケーリングが行われて、表示用の画像データが生成される。
【０１４４】
ここで、画像データが２次元画像データである場合、ビデオデコーダ部２１４では、以下の処理が行われる。すなわち、ビデオデコーダ部２１４では、復号化後の１９２０画素×１０８８ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データが切り出されて、２次元画像表示用の画像データＳＶが生成される。
【０１４５】
また、画像データが立体画像データであって、２次元表示モードにある場合、ビデオデコーダ部２１４では、以下の処理が行われる。すなわち、ビデオデコーダ部２１４では、復号化後の１９２０画素×１０８８ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、左眼画像データあるいは右眼画像データが切り出される。さらに、ビデオデコーダ部２１４では、切り出された画像データにスケーリングが行われて、２次元画像表示用の画像データＳＶが生成される。
【０１４６】
また、画像データが立体画像データであって、立体表示モードにある場合、ビデオデコーダ部２１４では、以下の処理が行われる。すなわち、ビデオデコーダ部２１４では、復号化後の１９２０画素×１０８８ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データが切り出される。さらに、ビデオデコーダ部２１４では、切り出された画像データが左右あるいは上下に二分され、それぞれにスケーリングが行われて、立体画像表示用の左眼画像データＳＬおよび右眼画像データＳＲが生成される。
【０１４７】
ビデオデコーダ部２１４で生成された２次元画像表示用の画像データＳＶ、あるいは立体画像表示用の左眼画像データＳＬは、ビューバッファ２１７Ｌを通じて、表示ディスプレイなどの画像出力部に出力される。また、ビデオデコーダ部２１４で生成された立体画像表示用の右眼画像データＳＲは、ビューバッファ２１７Ｒを通じて、表示ディスプレイなどの画像出力部に出力される。
【０１４８】
また、デマルチプレクサ２１３で抽出されたオーディオストリームは、オーディオデコーダ２１８に供給される。このオーディオデコーダ２１８では、オーディオストリームに含まれる符号化音声データに対して復号化処理が行われて、復号化された音声データが得られる。この音声データは、チャネル処理部２１９に供給される。チャネル処理部２１９では、その音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データＳＡが生成される。この音声データＳＡは、スピーカなどの音声出力部に出力される。
【０１４９】
上述したように、図１２に示す受信装置２００において、ＣＰＵ２０１では、ビデオストリームよりも上位のレイヤに挿入されているクロッピング情報のパラメータ値の解釈情報に基づいて、ビデオストリームのヘッダ部に挿入されたクロッピング情報が適切に解釈される。そして、その解釈結果に基づいて、ＣＰＵ２０１により、画像データ処理部２１６における画像データの切り出し処理（クロッピング）が制御される。したがって、画像データが２次元画像データあるいは立体画像データのいずれであっても、画像データ処理部２１６では、画像データの切り出し処理を適切に行うことができ、表示用画像データを正しく生成できる。
【０１５０】
また、図１２に示す受信機２００において、ＣＰＵ２０１では、画像データの切り替えタイミングに先行して、切り替え後の画像データに対応して変更された解釈情報が取得される。しかし、この解釈情報によるクロッピング情報のパラメータ値の解釈の反映は、実際に画像データが切り替わった直後から行われる。したがって、切り換えタイミングから直ちに切り替え後の画像データに合ったクロッピング情報のパラメータ値の解釈で画像データの切り出しを適切に行うことができる。また、解釈情報の取得が画像データの切り替えタイミングに同期していなくても、不自然な画像表示が行われることを回避できる。
【０１５１】
ここで、図１に示す画像送受信システム１０における放送局１００からのトランスポートストリームＴｓを、レガシーの２Ｄ受信機（２ＤＴＶ）が受信する場合について説明する。この場合、レガシーの２Ｄ受信機は、ビデオストリームよりも上位のレイヤに挿入されるクロッピング情報のパラメータ値の解釈情報を読み飛ばすこととなる。そのため、この解釈情報が２Ｄ受信機におけるクロッピングの処理に影響を与えることはない。
【０１５２】
＜２．変形例＞
なお、上述実施の形態においては、プログラム・マップ・テーブルのビデオエレメンタリ・ループの配下に挿入されるデスクリプタ（descriptor）に、「cropping_normal_interpretation_flag」のフラグ情報を解釈情報として記述する例を示した。このフラグ情報の代わりに、以下に詳述する「cropping_interpretation_mode」のモード情報を、解釈情報として、デスクリプタに記述することも考えられる。
【０１５３】
図１５は、トランスポートストリームＴＳの構成例を示している。この構成例は、既存のＡＶＣ・ビデオ・デスクリプタに、クロッピング情報のパラメータ値の解釈情報としての「cropping_interpretation_mode」のモード情報が記述される例である。
【０１５４】
この構成例では、ビデオストリームのＰＥＳパケット「Video PES」が含まれている。このビデオストリームには、含まれる画像データが立体画像データである場合には、上述したように、そのアクセスユニットのＳＥＩｓの部分に、「Frame Packing Arrangement SEI message」が挿入されている。このＳＥＩには、画像データがいかなる伝送フォーマットの立体画像データであるかを示すタイプ情報が含まれている。
【０１５５】
トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（ProgramMap Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(EventInformation Table)が含まれている。
【０１５６】
ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・デスクリプタ（Program Descriptor）が存在する。また、このＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ（Video ES loop）が存在する。
【０１５７】
このエレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）などの情報が配置されると共に、そのエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。なお、この構成例では、図面の簡単化のために、オーディオに関しては、その図示を省略している。
【０１５８】
この構成例では、「cropping_interpretation_mode」のモード情報が、ビデオエレメンタリ・ループ（Video ES loop）に含まれる「AVC_video_descriptor」内に記述されている。
【０１５９】
図１６（ａ）は、トランスポートストリームＴＳの他の構成例を示している。この構成例は、新規定義されるクロッピング・インタープリテーション・デスクリプタに、クロッピング情報のパラメータ値の解釈情報としての「cropping_interpretation_mode」のモード情報が記述される例である。
【０１６０】
この構成例では、「cropping_interpretation_mode」のモード情報が、ビデオエレメンタリ・ループ（Video ES loop）に挿入される「Cropping_interpretation_descriptor」内に記述されている。詳細説明は省略するが、この構成例におけるその他は、図１５に示す構成例と同様である。
【０１６１】
なお、イベントごとにクロッピング情報のパラメータ値の解釈を変える場合、「Cropping_interpretation_descriptor」を、図１６（ｂ）に示すように、ＥＩＴの配下に挿入することも考えられる。
【０１６２】
図１７は、「AVC_video_descriptor」の構造例（Syntax）を示している。このデスクリプタ自体は、既にＨ．２６４／ＡＶＣの規格に入っている。ここでは、このデスクリプタに、「cropping_interpretation_mode」の２ビットのモード情報が、新たに、定義される。
【０１６３】
このモード情報は、図１８の規定内容（semantics）に示すように、ＧＯＰの先頭アクセスユニット内のＳＰＳ（SequenceParameter Set）で定義されるクロッピング情報のパラメータ値の解釈を指定する。０１”であるとき、frame_crop_right_offsetの値を２倍に解釈することを指定する。これは、サイド・バイ・サイド方式の立体画像データに向けたものである。また、“１０”であるとき、frame_crop_bottom_offsetの値を２倍に解釈することを指定する。これは、トップ・アンド・ボトム方式の立体画像データに向けたものである。さらに、“１１”であるとき、クロッピング情報のパラメータ値をそのままに解釈することを指定する。
【０１６４】
図１９は、「Cropping_interpretation_descriptor」の構造例（Syntax）を示している。「descriptor_tag」の８ビットフィールドは、このデスクリプタが「Cropping_interpretation_descriptor」であることを示す。「descriptor_length」の８ビットフィールドは、以降のデータバイト数を示す。そして、このデスクリプタに、上述した「cropping_interpretation_mode」の２ビットのモード情報が記述されている。
【０１６５】
受信機２００の画像データ処理部２１６では、ＣＰＵ２０１の制御のもと、「cropping_normal_interpretation_flag」のフラグ情報の代わりに、「cropping_interpretation_mode」のモード情報を使用した場合であっても、同様の処理が行われる。
【０１６６】
すなわち、画像データが２次元画像データである場合、画像データ処理部２１６では、以下の処理が行われる。すなわち、画像データ処理部２１６では、ＤＯバッファ２１５に蓄積されている復号化後の１９２０画素×１０８８ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データが切り出されて、２次元画像表示用の画像データＳＶが生成される。
【０１６７】
また、画像データが立体画像データであって、２次元表示モードにある場合、画像データ処理部２１６では、以下の処理が行われる。すなわち、画像データ処理部２１６では、復号化後の１９２０画素×１０８８ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、左眼画像データあるいは右眼画像データが切り出される。そして、画像データ処理部２１６では、切り出された画像データにスケーリングが行われて、２次元画像表示用の画像データＳＶが生成される。
【０１６８】
また、画像データが立体画像データであって、立体表示モードにある場合、画像データ処理部２１６では、以下の処理が行われる。すなわち、画像データ処理部２１６では、復号化後の１９２０画素×１０８８ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データが切り出される。そして、画像データ処理部２１６では、切り出された画像データが左右あるいは上下に二分され、それぞれにスケーリングが行われて、立体画像表示用の左眼画像データＳＬおよび右眼画像データＳＲが生成される。
【０１６９】
図２０のフローチャートは、「cropping_interpretation_mode」のモード情報を使用する場合における、ＣＰＵ２０１のクロッピング制御処理の一例を示している。ＣＰＵ２０１は、ピクチャ毎に、このフローチャートの処理を実行する。ＣＰＵ２０１は、ステップＳＴ１１において、処理を開始し、その後に、ステップＳＴ１２の処理に移る。このステップＳＴ１２において、ＣＰＵ２０１は、３Ｄ表示モードか否かを判断する。なお、ユーザは、ＲＣ送信機２０６を操作することで、３Ｄ表示モードあるいは２Ｄ表示モードの設定を行うことができる。
【０１７０】
３Ｄ表示モードであるとき、ＣＰＵ２０１は、ステップＳＴ１３において、「cropping_interpretation_mode」のモード情報が“０１”であるか否かを判断する。このモード情報が“０１”であるとき、ＣＰＵ２０１は、ステップＳＴ１４において、「Frame Packing Arrangement SEI message」のＳＥＩを検出したか否かを判断する。このＳＥＩは、画像データが立体画像データである場合には存在する。このＳＥＩを検出したとき、ＣＰＵ２０１は、ステップＳＴ１５において、(frame_crop_right_offset - frame_crop_left_offset )が、ピクチャ（picture）の水平方向サイズ（horizontal_size）の１／２に一致するか否かを判断する。
【０１７１】
サイド・バイ・サイド方式の立体画像データである場合には、このステップＳＴ１５の条件を満足する。そのため、ＣＰＵ２０１は、ステップＳＴ１５の条件を満足するとき、ステップＳＴ１６の処理に移る。このステップＳＴ１６において、ＣＰＵ２０１は、クロッピング領域が水平方向に２倍となるように、クロッピング情報を解釈して、クロッピングの制御処理を行う。
【０１７２】
この場合、ＣＰＵ２０１は、元々のクロッピング情報で切り出される領域が左側半分であるか右側半分であるかにより、クロッピング情報のパラメータ値を以下のように変更する。すなわち、左側半分であるときは、「frame_crop_right_offset = frame_crop_right_offset * 2」として、クロッピングの制御処理を行う。一方、右側半分であるときは、「frame_crop_left_offset = 0」として、クロッピングの制御処理を行う。
【０１７３】
ＣＰＵ２０１は、ステップＳＴ１６の処理の後、ステップＳＴ１７において、処理を終了する。
【０１７４】
また、ＣＰＵ２０１は、ステップＳＴ１２で３Ｄ表示モードでないとき、ステップＳＴ１４でＳＥＩの検出がなかったとき、さらには、ステップＳＴ１５の条件を満足しないとき、ステップＳＴ１８の処理に移る。このステップＳＴ１８において、ＣＰＵ２０１は、クロッピング情報のパラメータ値をそのままとして、クロッピングの制御処理を行う。ＣＰＵ２０１は、このステップＳＴ１８の処理の後、ステップＳＴ１７において、処理を終了する。
【０１７５】
また、ＣＰＵ２０１は、ステップＳＴ１３でモード情報が“０１”でないとき、ステップＳＴ１９の処理に移る。このステップＳＴ１９において、ＣＰＵ２０１は、「cropping_interpretation_mode」のモード情報が“１０”であるか否かを判断する。このモード情報が“１０”であるとき、ＣＰＵ２０１は、ステップＳＴ２０において、「Frame Packing Arrangement SEI message」のＳＥＩを検出したか否かを判断する。
【０１７６】
このＳＥＩは、画像データが立体画像データである場合には存在する。このＳＥＩを検出したとき、ＣＰＵ２０１は、ステップＳＴ２１において、 (frame_crop_bottom_offset - frame_crop_top_offset )が、ピクチャ（picture）の垂直方向サイズ（vertical_size）の１／２に一致するか否かを判断する。
【０１７７】
トップ・アンド・ボトム方式の立体画像データである場合には、このステップＳＴ２１の条件を満足する。そのため、ＣＰＵ２０１は、ステップＳＴ２１の条件を満足するとき、ステップＳＴ２２の処理に移る。このステップＳＴ２２において、ＣＰＵ２０１は、クロッピング領域が垂直方向に２倍となるように、クロッピング情報を解釈して、クロッピングの制御処理を行う。
【０１７８】
この場合、ＣＰＵ２０１は、元々のクロッピング情報で切り出される領域が上側半分であるか下側半分であるかにより、クロッピング情報のパラメータ値を以下のように変更する。すなわち、上側半分であるときは、「frame_crop_bottom_offset = frame_crop_bottom_offset * 2」として、クロッピングの制御処理を行う。一方、下側半分であるときは、「frame_crop_top_offset = 0」として、クロッピングの制御処理を行う。
【０１７９】
ＣＰＵ２０１は、ステップＳＴ２２の処理の後、ステップＳＴ１７において、処理を終了する。
【０１８０】
また、ＣＰＵ２０１は、ステップＳＴ１９でモード情報が“１０”でないとき、ステップＳＴ２０でＳＥＩの検出がなかったとき、さらには、ステップＳＴ２１の条件を満足しないとき、ステップＳＴ１８の処理に移る。このステップＳＴ１８において、ＣＰＵ２０１は、クロッピング情報のパラメータ値をそのままとして、クロッピングの制御処理を行う。ＣＰＵ２０１は、このステップＳＴ１８の処理の後、ステップＳＴ１７において、処理を終了する。
【０１８１】
図２１は、システムレイヤに挿入されるＰＭＴ配下のＡＶＣ・ビデオ・デスクリプタ（AVC_video_descriptor）に記述される「cropping_interpretation_mode」のモード情報の運用時の一例を示している。ＭＰＥＧでは、ＰＭＴの最大挿入サイクルは１００msecである。そのため、ＰＭＴの挿入タイミングとビデオのフレームのタイミングとは必ずしも一致しない。なお、以下では、３Ｄ表示モードにあるとして、説明する。
【０１８２】
図示の例において、画像データは、タイミングＴｂで、２次元画像データから立体画像データに切り替えられている。この切り替え後の画像データに対応した「cropping_interpretation_mode」のモード情報が記述されたＡＶＣ・ビデオ・デスクリプタは、タイミングＴｂに先行したタイミングＴａで取得される。
【０１８３】
切り替え後の画像データが立体画像データであることから、このＡＶＣ・ビデオ・デスクリプタ（AVC_video_descriptor）において、「Frame_Packing_SEI_not_present_flag= 0」であり、「cropping_interpretation_mode = 01」となっている。しかし、画像データは、タイミングＴｂとなるまでは、２次元画像データであって、「Frame Packing Arrangement SEI message」のＳＥＩが検出されることはない。
【０１８４】
つまり、ＣＰＵ２０１は、「cropping_interpretation_mode = 01」のモード情報が取得されたとしても、タイミングＴｂまでは、frame_crop_right_offset の値を２倍に解釈するということはせず、そのままの値に解釈し、クロッピングの制御処理を行う。そのため、タイミングＴｂまでは、画像データ処理部２１６で、２次元画像表示用の画像データＳＶが正しく生成される。
【０１８５】
タイミングＴｂとなると、「Frame Packing Arrangement SEI message」のＳＥＩが検出される。図示の例では、このＳＥＩに含まれる立体画像データのタイプ情報が「３」とされており、サイド・バイ・サイド方式の立体画像データであることが分かる。ＣＰＵ２０１は、このタイミングＴｂから、frame_crop_right_offset の値を２倍に解釈し、クロッピングの制御処理を行う。そのため、タイミングＴｂから、画像データ処理部２１６で、立体画像表示用の画像データＳＬ，ＳＲが正しく生成される。
【０１８６】
同様に、図示の例において、画像データは、タイミングＴｄで、立体画像データから２次元画像データに切り替えられている。この切り替え後の画像データに対応した「cropping_interpretation_mode」のモード情報が記述されたＡＶＣ・ビデオ・デスクリプタは、タイミングＴｄに先行したタイミングＴｃで取得される。
【０１８７】
切り替え後の画像データが２次元画像データであることから、このＡＶＣ・ビデオ・デスクリプタ（AVC_video_descriptor）において、「Frame_Packing_SEI_not_present_flag= 1」であり、「cropping_interpretation_mode = 11」となっている。しかし、画像データは、タイミングＴdとなるまでは、立体画像データであって、「Frame PackingArrangement SEI message」のＳＥＩが検出される。
【０１８８】
つまり、ＣＰＵ２０１は、「cropping_interpretation_mode = 11」のフラグ情報が取得されたとしても、タイミングＴｄまでは、frame_crop_right_offset の値を２倍に解釈することを継続し、クロッピングの制御処理を行う。そのため、タイミングＴｄまでは、画像データ処理部２１６で、立体画像表示用の画像データＳＬ，ＳＲが正しく生成される。これは、前の状態において、「cropping_interpretation_mode」が“０１”あるいは“１０”であったことを受信機において記憶しておくことで可能となる。
【０１８９】
一方、図２１において、チャンネル切り替えがＴｄのタイミングで起こった場合にも正しい表示を行うために、「cropping_interpretation_mode」を常に“０１”あるいは“１０”としておき、クロッピング情報のパラメータ値の解釈を受信機側に行わせることで、表示範囲を決定させることが可能である。
【０１９０】
サイド・バイ・サイド方式の立体画像データである場合には、受信機側に、以下のような解釈を行わせる。すなわち、切り出し領域が左側半分であると判断できる場合には、「frame_crop_right_offset = frame_crop_right_offset * 2」と右辺を左辺に代入するかたちで解釈を行わせる。また、切り出し領域が右側半分であると判断できる場合には、「frame_crop_left_offset = 0」と右辺を左辺に代入するかたちで解釈を行わせる。
【０１９１】
また、トップ・アンド・ボトム方式の立体画像データである場合には、受信機側に、以下のような解釈を行わせる。すなわち、切り出し領域が上側半分であると判断できる場合には、「frame_crop_bottom_offset = frame_crop_bottom_offset * 2」と右辺を左辺に代入するかたちで解釈を行わせる。また、切り出し領域が下側半分であると判断できる場合には、「frame_crop_top_offset = 0」と右辺を左辺に代入するかたちで解釈を行わせる。
【０１９２】
あるいは、イベントごとにクロッピング情報のパラメータ値の解釈を設定する場合には、上述の図１６（ｂ）のような配置、すなわち「Cropping_interpretation_descriptor」をＥＩＴの配下に挿入することで実現可能である。
【０１９３】
タイミングＴｄとなると、「Frame Packing Arrangement SEI message」のＳＥＩが検出されなくなる。ＣＰＵ２０１は、このタイミングＴｄからクロッピング情報のパラメータ値をそのままに解釈し、クロッピングの制御処理を行う。そのため、タイミングＴｄから、画像データ処理部２１６で、２次元画像表示用の画像データＳＶが正しく生成される。
【０１９４】
このように、「cropping_interpretation_mode」のモード情報を、解釈情報としてデスクリプタに記述する場合にあっても、受信機２００においては、上述実施の形態と同様の動作が可能となる。つまり、この場合にあっても、上述実施の形態と同様の効果を得ることができる。
【０１９５】
また、上述実施例においては、画像データに対してＨ．２６４／ＡＶＣの符号化を施す例を示した。しかし、画像データに対して、例えば、ＭＰＥＧ２ｖｉｄｅｏなどのその他の符号化が施されるものであってもよい。また、画像データに対して、例えば、ＨＥＶＣ (High Efficiency Video Coding )などのその他の符号化が施されるものであってもよい。ＭＰＥＧ２ｖｉｄｅｏの符号化の場合には、立体画像データのタイプ情報は、例えばピクチャヘッダに挿入されている。
【０１９６】
また、上述実施の形態においては、放送局１００と受信機２００からなる画像送受信システム１０を示したが、本技術を適用し得る画像送受信システムの構成は、これに限定されるものではない。例えば、受信機２００の部分が、例えば、ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。
【０１９７】
また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。
【０１９８】
また、本技術は、以下のような構成を取ることもできる。
（１）画像データを含み、ヘッダ部にクロッピング情報が挿入されたビデオストリームを有する所定フォーマットのコンテナを送信する画像データ送信部と、
上記ビデオストリームよりも上位のレイヤに、上記クロッピング情報のパラメータ値の解釈情報を挿入する情報挿入部を備える
画像データ送信装置。
（２）上記解釈情報は、
上記画像データが、同一フレーム内に左眼画像データおよび右眼画像データが水平方向あるいは垂直方向に分割配置された立体画像データであるとき、
上記クロッピング情報のパラメータ値を特殊に解釈すべきことを示す
前記（１）に記載の画像データ送信装置。
（３）上記解釈情報は、
上記クロッピング情報のパラメータ値を、クロッピング領域が水平方向あるいは垂直方向に２倍となるように解釈すべきことを示す
前記（２）に記載の画像データ送信装置。
（４）上記画像データは、２次元画像データあるいは同一フレーム内に左眼画像データおよび右眼画像データが水平方向あるいは垂直方向に分割配置された立体画像データであり、
上記情報挿入部は、
上記２次元画像データおよび上記立体画像データの切り替えタイミングに先行するタイミングで、切り替え後の画像データに対応して変更された上記解釈情報を、上記ビデオストリームよりも上位のレイヤに挿入する
前記（１）から（３）のいずれかに記載の画像データ送信装置。
（５）上記コンテナは、トランスポートストリームであり、
上記情報挿入部は、
上記解釈情報をプログラム・マップ・テーブル、あるいは、イベント・インフォメーション・テーブルの配下に挿入する
前記（１）から（４）のいずれかに記載の画像データ送信装置。
（６）上記情報挿入部は、
上記プログラム・マップ・テーブル、あるいは、イベント・インフォメーション・テーブルの配下に挿入されるデスクリプタに、上記解釈情報を記述する
前記（５）に記載の画像データ送信装置。
（７）上記ビデオストリームは、Ｈ．２６４／ＡＶＣ、あるいはＨＥＶＣの符号化データであり、
上記クロッピング情報は、上記ビデオストリームのシーケンス・パラメータ・セットに定義されており、
上記情報挿入部は、
上記解釈情報を、上記プログラム・マップ・テーブル、あるいは、イベント・インフォメーション・テーブルの配下に挿入されるデスクリプタに記述する
前記（６）に記載の画像データ送信装置。
（８）画像データを含み、ヘッダ部にクロッピング情報が挿入されたビデオストリームを有する所定フォーマットのコンテナを送信する画像データ送信ステップと、
上記ビデオストリームよりも上位のレイヤに、上記クロッピング情報のパラメータ値の解釈情報を挿入する情報挿入ステップを備える
画像データ送信方法。
（９）画像データを含み、ヘッダ部にクロッピング情報が挿入されたビデオストリームを有する所定フォーマットのコンテナを受信する画像データ受信部を備え、
上記ビデオストリームよりも上位のレイヤに、上記クロッピング情報のパラメータ値の解釈情報が挿入されており、
上記コンテナから上記解釈情報を取得する情報取得部と、
上記コンテナが有するビデオストリームをデコードして上記画像データおよびクロッピング情報を取得するデコード部と、
上記クロッピング情報のパラメータ値を上記解釈情報に基づいて解釈し、上記画像データから、所定の領域の画像データを切り出して表示用の画像データを生成する画像データ処理部とをさらに備える
画像データ受信装置。
（１０）上記画像データは、２次元画像データあるいは同一フレーム内に左眼画像データおよび右眼画像データが水平方向あるいは垂直方向に分割配置された立体画像データであり、
切り替え後の画像データに対応して変更された上記解釈情報は、上記ビデオストリームよりも上位のレイヤに、上記２次元画像データおよび上記立体画像データの切り替えタイミングに先行するタイミングで挿入されており、
上記画像データ処理部は、
画像データの上記切り替えタイミングから、該切り替えタイミングに先行するタイミングで挿入されている、上記切り替え後の画像データに対応して変更された上記解釈情報に基づいて、上記クロッピング情報のパラメータ値を解釈する
前記（１０）に記載の画像データ受信装置。
（１１）画像データを含み、ヘッダ部にクロッピング情報が挿入されたビデオストリームを有する所定フォーマットのコンテナを受信する画像データ受信ステップを備え、
上記ビデオストリームよりも上位のレイヤに、上記クロッピング情報のパラメータ値の解釈情報を挿入されており、
上記コンテナから上記解釈情報を取得する情報取得ステップと、
上記コンテナが有するビデオストリームをデコードして上記画像データおよびクロッピング情報を取得するデコードステップと、
上記クロッピング情報のパラメータ値を上記解釈情報に基づいて解釈し、上記画像データから、所定の領域の画像データを切り出して表示用の画像データを生成する画像データ処理ステップとをさらに備える
画像データ受信方法。
【０１９９】
本技術の主な特徴は、ヘッダ部にクロッピング情報が挿入されたビデオストリームを有する所定フォーマットのトランスポートストリーム（コンテナ）を送信する際に、ビデオストリームよりも上位のレイヤにクロッピング情報のパラメータ値の解釈情報を挿入するようにしたことで、受信側におけるクリッピング情報を用いた画像データの切り出し処理（クロッピング）が常に適切に行われるようにしたことである（図４、図５参照）
【符号の説明】
【０２００】
１０・・・画像送受信システム
１００・・・放送局
１１０・・・送信データ生成部
１１１・・・データ取り出し部
１１１ａ・・・データ記録媒体
１１２・・・ビデオエンコーダ
１１３・・・オーディオエンコーダ
１１４・・・マルチプレクサ
２００・・・受信機
２０１・・・ＣＰＵ
２０２・・・フラッシュＲＯＭ
２０３・・・ＤＲＡＭ
２０４・・・内部バス
２０５・・・リモートコントロール受信部（ＲＣ受信部）
２０６・・・リモートコントロール送信機（ＲＣ送信機）
２１０・・・アンテナ端子
２１１・・・デジタルチューナ
２１３・・・デマルチプレクサ
２１４・・・ビデオデコーダ部
２１７Ｌ，２１７Ｒ・・・ビューバッファ
２１８・・・オーディオデコーダ
２１９・・・チャネル処理部
【特許請求の範囲】
【請求項１】
画像データを含み、ヘッダ部にクロッピング情報が挿入されたビデオストリームを有する所定フォーマットのコンテナを送信する画像データ送信部と、
上記ビデオストリームよりも上位のレイヤに、上記クロッピング情報のパラメータ値の解釈情報を挿入する情報挿入部を備える
画像データ送信装置。
【請求項２】
上記解釈情報は、
上記画像データが、同一フレーム内に左眼画像データおよび右眼画像データが水平方向あるいは垂直方向に分割配置された立体画像データであるとき、
上記クロッピング情報のパラメータ値を特殊に解釈すべきことを示す
請求項１に記載の画像データ送信装置。
【請求項３】
上記解釈情報は、
上記クロッピング情報のパラメータ値を、クロッピング領域が水平方向あるいは垂直方向に２倍となるように解釈すべきことを示す
請求項２に記載の画像データ送信装置。
【請求項４】
上記画像データは、２次元画像データあるいは同一フレーム内に左眼画像データおよび右眼画像データが水平方向あるいは垂直方向に分割配置された立体画像データであり、
上記情報挿入部は、
上記２次元画像データおよび上記立体画像データの切り替えタイミングに先行するタイミングで、切り替え後の画像データに対応して変更された上記解釈情報を、上記ビデオストリームよりも上位のレイヤに挿入する
請求項１に記載の画像データ送信装置。
【請求項５】
上記コンテナは、トランスポートストリームであり、
上記情報挿入部は、
上記解釈情報をプログラム・マップ・テーブル、あるいは、イベント・インフォメーション・テーブルの配下に挿入する
請求項１に記載の画像データ送信装置。
【請求項６】
上記情報挿入部は、
上記プログラム・マップ・テーブル、あるいは、イベント・インフォメーション・テーブルの配下に挿入されるデスクリプタに、上記解釈情報を記述する
請求項５に記載の画像データ送信装置。
【請求項７】
上記ビデオストリームは、Ｈ．２６４／ＡＶＣ、あるいはＨＥＶＣの符号化データであり、
上記クロッピング情報は、上記ビデオストリームのシーケンス・パラメータ・セットに定義されており、
上記情報挿入部は、
上記解釈情報を、上記プログラム・マップ・テーブル、あるいは、イベント・インフォメーション・テーブルの配下に挿入されるデスクリプタに記述する
請求項６に記載の画像データ送信装置。
【請求項８】
画像データを含み、ヘッダ部にクロッピング情報が挿入されたビデオストリームを有する所定フォーマットのコンテナを送信する画像データ送信ステップと、
上記ビデオストリームよりも上位のレイヤに、上記クロッピング情報のパラメータ値の解釈情報を挿入する情報挿入ステップを備える
画像データ送信方法。
【請求項９】
画像データを含み、ヘッダ部にクロッピング情報が挿入されたビデオストリームを有する所定フォーマットのコンテナを受信する画像データ受信部を備え、
上記ビデオストリームよりも上位のレイヤに、上記クロッピング情報のパラメータ値の解釈情報が挿入されており、
上記コンテナから上記解釈情報を取得する情報取得部と、
上記コンテナが有するビデオストリームをデコードして上記画像データおよびクロッピング情報を取得するデコード部と、
上記クロッピング情報のパラメータ値を上記解釈情報に基づいて解釈し、上記画像データから、所定の領域の画像データを切り出して表示用の画像データを生成する画像データ処理部とをさらに備える
画像データ受信装置。
【請求項１０】
上記画像データは、２次元画像データあるいは同一フレーム内に左眼画像データおよび右眼画像データが水平方向あるいは垂直方向に分割配置された立体画像データであり、
切り替え後の画像データに対応して変更された上記解釈情報は、上記ビデオストリームよりも上位のレイヤに、上記２次元画像データおよび上記立体画像データの切り替えタイミングに先行するタイミングで挿入されており、
上記画像データ処理部は、
画像データの上記切り替えタイミングから、該切り替えタイミングに先行するタイミングで挿入されている、上記切り替え後の画像データに対応して変更された上記解釈情報に基づいて、上記クロッピング情報のパラメータ値を解釈する
請求項９に記載の画像データ受信装置。
【請求項１１】
画像データを含み、ヘッダ部にクロッピング情報が挿入されたビデオストリームを有する所定フォーマットのコンテナを受信する画像データ受信ステップを備え、
上記ビデオストリームよりも上位のレイヤに、上記クロッピング情報のパラメータ値の解釈情報を挿入されており、
上記コンテナから上記解釈情報を取得する情報取得ステップと、
上記コンテナが有するビデオストリームをデコードして上記画像データおよびクロッピング情報を取得するデコードステップと、
上記クロッピング情報のパラメータ値を上記解釈情報に基づいて解釈し、上記画像データから、所定の領域の画像データを切り出して表示用の画像データを生成する画像データ処理ステップとをさらに備える
画像データ受信方法。
【請求項１】
画像データを含み、ヘッダ部にクロッピング情報が挿入されたビデオストリームを有する所定フォーマットのコンテナを送信する画像データ送信部と、
上記ビデオストリームよりも上位のレイヤに、上記クロッピング情報のパラメータ値の解釈情報を挿入する情報挿入部を備える
画像データ送信装置。
【請求項２】
上記解釈情報は、
上記画像データが、同一フレーム内に左眼画像データおよび右眼画像データが水平方向あるいは垂直方向に分割配置された立体画像データであるとき、
上記クロッピング情報のパラメータ値を特殊に解釈すべきことを示す
請求項１に記載の画像データ送信装置。
【請求項３】
上記解釈情報は、
上記クロッピング情報のパラメータ値を、クロッピング領域が水平方向あるいは垂直方向に２倍となるように解釈すべきことを示す
請求項２に記載の画像データ送信装置。
【請求項４】
上記画像データは、２次元画像データあるいは同一フレーム内に左眼画像データおよび右眼画像データが水平方向あるいは垂直方向に分割配置された立体画像データであり、
上記情報挿入部は、
上記２次元画像データおよび上記立体画像データの切り替えタイミングに先行するタイミングで、切り替え後の画像データに対応して変更された上記解釈情報を、上記ビデオストリームよりも上位のレイヤに挿入する
請求項１に記載の画像データ送信装置。
【請求項５】
上記コンテナは、トランスポートストリームであり、
上記情報挿入部は、
上記解釈情報をプログラム・マップ・テーブル、あるいは、イベント・インフォメーション・テーブルの配下に挿入する
請求項１に記載の画像データ送信装置。
【請求項６】
上記情報挿入部は、
上記プログラム・マップ・テーブル、あるいは、イベント・インフォメーション・テーブルの配下に挿入されるデスクリプタに、上記解釈情報を記述する
請求項５に記載の画像データ送信装置。
【請求項７】
上記ビデオストリームは、Ｈ．２６４／ＡＶＣ、あるいはＨＥＶＣの符号化データであり、
上記クロッピング情報は、上記ビデオストリームのシーケンス・パラメータ・セットに定義されており、
上記情報挿入部は、
上記解釈情報を、上記プログラム・マップ・テーブル、あるいは、イベント・インフォメーション・テーブルの配下に挿入されるデスクリプタに記述する
請求項６に記載の画像データ送信装置。
【請求項８】
画像データを含み、ヘッダ部にクロッピング情報が挿入されたビデオストリームを有する所定フォーマットのコンテナを送信する画像データ送信ステップと、
上記ビデオストリームよりも上位のレイヤに、上記クロッピング情報のパラメータ値の解釈情報を挿入する情報挿入ステップを備える
画像データ送信方法。
【請求項９】
画像データを含み、ヘッダ部にクロッピング情報が挿入されたビデオストリームを有する所定フォーマットのコンテナを受信する画像データ受信部を備え、
上記ビデオストリームよりも上位のレイヤに、上記クロッピング情報のパラメータ値の解釈情報が挿入されており、
上記コンテナから上記解釈情報を取得する情報取得部と、
上記コンテナが有するビデオストリームをデコードして上記画像データおよびクロッピング情報を取得するデコード部と、
上記クロッピング情報のパラメータ値を上記解釈情報に基づいて解釈し、上記画像データから、所定の領域の画像データを切り出して表示用の画像データを生成する画像データ処理部とをさらに備える
画像データ受信装置。
【請求項１０】
上記画像データは、２次元画像データあるいは同一フレーム内に左眼画像データおよび右眼画像データが水平方向あるいは垂直方向に分割配置された立体画像データであり、
切り替え後の画像データに対応して変更された上記解釈情報は、上記ビデオストリームよりも上位のレイヤに、上記２次元画像データおよび上記立体画像データの切り替えタイミングに先行するタイミングで挿入されており、
上記画像データ処理部は、
画像データの上記切り替えタイミングから、該切り替えタイミングに先行するタイミングで挿入されている、上記切り替え後の画像データに対応して変更された上記解釈情報に基づいて、上記クロッピング情報のパラメータ値を解釈する
請求項９に記載の画像データ受信装置。
【請求項１１】
画像データを含み、ヘッダ部にクロッピング情報が挿入されたビデオストリームを有する所定フォーマットのコンテナを受信する画像データ受信ステップを備え、
上記ビデオストリームよりも上位のレイヤに、上記クロッピング情報のパラメータ値の解釈情報を挿入されており、
上記コンテナから上記解釈情報を取得する情報取得ステップと、
上記コンテナが有するビデオストリームをデコードして上記画像データおよびクロッピング情報を取得するデコードステップと、
上記クロッピング情報のパラメータ値を上記解釈情報に基づいて解釈し、上記画像データから、所定の領域の画像データを切り出して表示用の画像データを生成する画像データ処理ステップとをさらに備える
画像データ受信方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【公開番号】特開２０１３−１１０５４０（Ｐ２０１３−１１０５４０Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５３３５０（Ｐ２０１１−２５３３５０）
【出願日】平成２３年１１月１８日（２０１１．１１．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月１８日（２０１１．１１．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]