説明

送信装置、送信方法、受信装置および受信方法

【課題】アクティブスペースを有効活用することにある。ある程度大きなデータを、フレーム精度で同期をとって送信可能とする。3D画像の補正、高画質化などの処理品質の向上を図る。
【解決手段】伝送データは、垂直同期信号により区切られる、水平ブランキング期間、垂直ブランキング期間およびアクティブビデオ区間を含むビデオフィールド区間を単位とする。アクティブビデオ区間は、アクティブビデオ領域およびアクティブスペース領域を有する。アクティブビデオ領域に、立体画像データ(左眼画像データ、右眼画像データ等)が配される。アクティブスペース領域に、立体画像データに関連した付加情報が配される。付加情報は、情報データおよび画像データのいずれかあるいは双方を含んでいる。付加情報は、立体画像データの補正のための撮像時のカメラ情報、字幕、メニュー、OSD等の表示情報などである。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、送信装置、送信方法、受信装置および受信方法に関し、特に、アクティブビデオ区間に主映像領域の他に補助映像領域を有する伝送データを扱う送信装置等に関する。
【背景技術】
【0002】
近年、例えば、ゲーム機、DVD(Digital Versatile Disc)レコーダや、セットトップボックス、その他のAVソース(Audio Visual source)から、テレビ受信機、プロジェクタ、その他のディスプレイに対して、デジタル映像信号、すなわち、非圧縮(ベースバンド)のデジタル映像信号(画像データ)と、その映像信号に付随するデジタル音声信号(音声データ)とを、高速に伝送する通信インタフェースとして、HDMI(High Definition Multimedia Interface)等のインタフェースが普及しつつある。例えば、非特許文献1には、HDMI規格の詳細についての記載がある。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】High-Definition Multimedia Interface Specification Version 1.4,June5 2009
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述のHDMI規格において、3D画像の伝送方法が定義されている。例えば、フレームパッキング(Frame Packing)方式では、左眼画像(L)、右眼画像(R)の間に、アクティブスペース(Active Space)というタイミング調整用の隙間があり、現状何の用途にも使われていない。
【0005】
また、上述のHDMI規格において、情報伝送用に InfoFrame という方法が定義されている。しかし、この InfoFrame は、映像との同期が保証されず、フレーム精度で同期がとれないという問題がある。また、このInfoFrame は、そのデータサイズが32byte に制限されているため、大きなデータを送れないという問題がある。
【0006】
また、BD(Blu-ray Disc)プレーヤなどのソース(Source)機器からテレビ受信機(TV)などのシンク(Sink)機器に3D画像を出力する場合、字幕、メニュー(BDのメニューなど)、OSD(BDプレーヤの情報表示、メニューなど)を3D画像に合成してから、出力する。
【0007】
しかし、テレビ受信機で3D画像の補正、高画質化などの処理を行うことを考えると、3D画像と、合成される字幕、メニュー、OSDなどの画像レイヤーを、別々に伝送して、テレビ受信機で3D画像の補正を行った後に合成を行うことが望ましい。3Dの画像処理においては、左右の画像の相関を求める必要性が高い。そのため、別の画像レイヤーが合成されていると、相関を求める精度が大幅に低下してしまい、画像補正の質を低下させてしまう。
【0008】
この発明の目的は、例えば、アクティブスペースを有効活用することにある。また、この発明の目的は、ある程度大きなデータを、フレーム精度で同期をとって送信可能とすることにある。また、この発明の目的は、3D画像の補正、高画質化などの処理品質の向上を図ることにある。
【課題を解決するための手段】
【0009】
この発明の概念は、
垂直同期信号により区切られる、水平ブランキング期間、垂直ブランキング期間およびアクティブビデオ区間を含むビデオフィールド区間を単位とする伝送データを生成する伝送データ生成部と、
上記伝送データ生成部で生成された伝送データを、複数チャネルで、差動信号により、伝送路を介して外部機器に送信する伝送データ送信部とを備え、
上記アクティブビデオ区間は、主映像領域および補助映像領域を有し、
上記伝送データ生成部は、上記主映像領域に画像データを配し、上記補助映像領域に、上記主映像領域に配される画像データに関連した付加情報を配する
送信装置にある。
【0010】
この発明において、伝送データ生成部により、垂直同期信号により区切られる、水平ブランキング期間、垂直ブランキング期間およびアクティブビデオ区間を含むビデオフィールド区間を単位とする伝送データが生成される。アクティブビデオ区間は、主映像領域および補助映像領域を有するものとされる。そして、主映像領域に画像データが配され、補助映像領域に、この主映像領域に配される画像データに関連した付加情報を配される。伝送データ送信部により、伝送データ生成部で生成された伝送データが、複数チャネルで、差動信号により、伝送路を介して外部機器に送信される。
【0011】
主映像領域に配される画像データは、例えば、立体画像(3D画像)を表示するための立体画像データとされる。例えば、この立体画像データには、左眼画像データおよび右眼画像データが含まれる。また、例えば、この立体画像データには、2次元画像データおよび各画素に対応した奥行き情報が含まれる。
【0012】
例えば、補助映像領域に配される付加情報の先頭には、固定値のシンクパターンが設けられる、ようにされてもよい。この場合、受信側では、補助映像領域で固定値のシンクパターンを検出することで、この補助映像領域に付加情報が配されていること、および付加情報の開始位置を容易に知ることができ、この付加情報の分離も容易となる。
【0013】
例えば、補助映像領域に配される付加情報には、情報データおよび画像データのいずれかまたは両方が含まれる。例えば、情報データは、3重化多数決法等により誤り訂正符号化される。例えば、情報データは、主映像領域に配される画像データによる画像に重ねて表示される画像(例えば、ソース機器の情報表示、メニューなどのOSD画像)に関係する情報のデータとされる。ここで、画像に関係する情報は、例えば、表示位置、透過度、カラーパレットや表示オフセットなどの情報である。
【0014】
また、例えば、情報データは、主映像領域に配される画像データによる画像に重ねて表示される字幕に関係する情報のデータとされる。ここで、画像に関係する情報は、文字列の情報、表示領域(表示位置、表示サイズ等)の情報、表示方向の情報等である。
【0015】
また、例えば、情報データは、主映像領域に配される左眼画像データおよび右眼画像データの撮影時情報のデータとされる。ここで、撮影時情報は、左右のカメラ間距離の情報、左右のカメラの方向情報、左右のカメラの画角情報等である。この撮影時情報は、受信側で立体画像データの補正時に必要となる奥行き情報の推測に使用される。
【0016】
この発明においては、アクティブビデオ区間が主映像領域および補助映像領域を有するものとされ、補助映像領域に、主映像領域に配される画像データ関連した付加情報が配される。そのため、例えば、アクティブスペースを補助映像領域として用いることで、このアクティブスペースを有効活用できる。
【0017】
また、この発明においては、補助映像領域は主映像領域とともにアクティブビデオ区間に含まれる。そのため、この補助映像領域にある程度大きなサイズの付加情報を配することができ、しかも、この付加情報を主映像領域に配される画像データにフレーム精度で同期をとって送信できる。
【0018】
また、この発明においては、アクティブビデオ区間が主映像領域および補助映像領域を有するものとされ、補助映像領域に、主映像領域に配される画像データ関連した付加情報が配される。そのため、主映像領域に配される画像データによる画像に重ねて表示される字幕あるいは画像に関係する情報のデータを補助映像領域に配して送信できる。したがって、例えば、受信側で3D画像の補正、高画質化などの処理を行った後に字幕、メニュー画像などを合成可能となり、それらの処理品質の向上を図ることができる。
【0019】
この発明は、例えば、補助映像領域に配される付加情報に関する情報を、外部機器から伝送路を介して取得する情報取得部をさらに備え、伝送データ生成部は、情報取得部で取得される情報に基づいて、補助映像領域に付加情報を配する、ようにしてもよい。例えば、情報取得部は、付加情報に関する情報を、外部機器が有する記憶部、例えばEDIDROMから読み出して取得する。
【0020】
例えば、付加情報に関する情報は、補助映像領域に配される情報を有効使用する機能の有無を示す情報であり、伝送データ生成部は、その情報が有効使用する機能があることを示している場合、補助映像領域に付加情報を配する。この場合、外部機器に補助映像領域に配される情報を有効使用する機能がないのに、補助映像領域に付加情報を配して送信するという無駄を排除できる。
【0021】
また、この発明は、例えば、補助映像領域に配される付加情報に関する情報を、外部機器に伝送路を介して送信する情報送信部をさらに備える、ようにしてもよい。例えば、情報送信部は、付加情報に関する情報を、伝送データのブランキング期間に挿入することで、外部機器に伝送路を介して送信する。
【0022】
例えば、付加情報に関する情報は、補助映像領域に付加情報が配されているか否かを示す情報とされる。この場合、受信側では、この情報に基づいて、補助映像領域に付加情報が配されているか否かを容易に把握できる。また、例えば、付加情報に関する情報は、補助映像領域に配される付加情報のデータ形式を示す情報とされる。この場合、受信側では、この情報に基づいて、付加情報のデータ形式を容易に把握できる。また、例えば、付加情報に関する情報は、補助映像領域の先頭に設けられるスペース長の情報とされる。この場合、受信側では、この情報に基づいて、補助映像領域の先頭に設けられるスペース長を容易に把握できる。
【0023】
また、この発明は、例えば、主映像領域および補助映像領域のデータはピクセル毎に3チャネルの8ビットデータを有し、伝送データ送信部は、主映像領域のデータをクリップ処理して送信し、補助映像領域のデータをクリップ処理せずに送信する、ようにされてもよい。この場合、補助映像領域で no-clip を指定する必要があり、データ送信部の動作は複雑となるが、リミテッドレンジ(Limited Range)の画像の場合にも、補助映像領域に付加情報を構成する8ビットデータをそのまま配することができ、データ生成が容易となる。
【0024】
また、この発明は、例えば、主映像領域および補助映像領域のデータはピクセル毎に3チャネルの8ビットデータを有し、伝送データ生成部は、補助映像領域の各3チャネルの8ビットデータの上位2番目から下位側のビットに付加情報の2個の8ビットデータの各ビットを割り振って配すると共に、この各3チャネルの8ビットデータの上位1番目のビットの値を上位2番目のビットの値の反転値にし、伝送データ送信部は、主映像領域および補助映像領域のデータをクリップ処理して送信する、ようにされてもよい。この場合、データ生成部の動作は複雑となるが、リミテッドレンジ(Limited Range)の画像の場合、補助映像領域で no-clip を指定する必要がなく、データータ送信部の動作が簡単となる。
【0025】
また、この発明の概念は、
垂直同期信号により区切られる、水平ブランキング期間、垂直ブランキング期間およびアクティブビデオ区間を含むビデオフィールド区間を単位とし、上記アクティブビデオ区間は、主映像領域および補助映像領域を有し、上記主映像領域に画像データが配され、上記補助映像領域に、上記主映像領域に配される画像データに関連した付加情報が配されている伝送データを、外部機器から、複数のチャネルで、差動信号により、伝送路を介して受信する伝送データ受信部と、
上記伝送データ受信部で受信された伝送データの上記主映像領域から上記画像データを分離して得ると共に、上記伝送データ受信部で受信された伝送データの上記補助映像領域から上記付加情報を分離して得るデータ分離部と
を備える受信装置にある。
【0026】
この発明において、伝送データ受信部により、外部機器から、複数のチャネルで、差動信号により、伝送路を介して伝送データが受信される。この伝送データは、垂直同期信号により区切られる、水平ブランキング期間、垂直ブランキング期間およびアクティブビデオ区間を含むビデオフィールド区間が単位とされる。アクティブビデオ区間は主映像領域および補助映像領域を有するものとされ、主映像領域に画像データが配され、補助映像領域に、主映像領域に配される画像データに関連した付加情報が配されている。データ分離部により、受信された伝送データの主映像領域から画像データが分離されて得られ、受信された伝送データの補助映像領域から付加情報が分離されて得られる。
【0027】
この発明は、例えば、主映像領域から分離して得られる画像データが立体画像を表示するための左眼画像データおよび右眼画像データであり、補助映像領域から分離して得られる付加情報に、左眼画像データおよび右眼画像データの撮影時情報のデータが含まれている場合、画像データ補正部により、左眼画像データおよび右眼画像データが撮影時情報のデータに基づいて補正される、ようにされてもよい。例えば、画像データ補正部では、撮影時情報のデータを用いて奥行き情報が推測され、この奥行き情報とスクリーンサイズの情報に基づいて、左眼画像データおよび右眼画像データが補正される。この場合、撮影時情報は、左眼画像データおよび右眼画像データにフレーム精度で同期したものであり、高品質の補正が可能となる。
【0028】
また、この発明は、例えば、主映像領域から分離して得られる画像データは立体画像を表示するための左眼画像データおよび右眼画像データであり、左眼画像データによる左眼画像および右眼画像データによる右眼画像を左右方向にシフト調整する画像シフト部をさらに備え、補助映像領域から分離して得られる付加情報には、画像シフト部におけるシフト調整に伴って必要となる画素データが含まれる、ようにされてもよい。この場合、左眼画像、右眼画像のシフトがあっても、そのシフトに伴って黒画が表示されることがなく、有効な画像を表示することが可能となる。
【0029】
また、この発明は、例えば、複数のバッファと、補助映像領域から分離して得られる付加情報に含まれる画像データを、この付加情報に含まれる指定情報に基づいて、指定されたバッファの指定された位置に書き込む画像データ書き込み部と、データ分離部において伝送データの主映像領域から分離して得られる画像データと複数のバッファに書き込まれている画像データとを所定の比率で合成する画像データ合成部をさらに備える、ようにされてもよい。この場合、付加情報に含まれる画像データの種類に応じて異なるバッファに書き込むことが可能となり、画像データの更新などの処理を効率的に行うことができる。
【発明の効果】
【0030】
この発明によれば、アクティブスペースを有効活用できる。また、この発明によれば、ある程度大きなデータを、フレーム精度で同期をとって送信できる。また、この発明によれば、3D画像の補正、高画質化などの処理品質の向上を図ることができる。
【図面の簡単な説明】
【0031】
【図1】この発明の実施の形態としてのAVシステムの構成例を示すブロック図である。
【図2】AVシステムを構成するディスクプレーヤ(ソース機器)の構成例を示すブロック図である。
【図3】AVシステムを構成するテレビ受信機(シンク機器)の構成例を示すブロック図である。
【図4】HDMI送信部(HDMIソース)とHDMI受信部(HDMIシンク)の構成例を示すブロック図である。
【図5】HDMI送信部を構成するHDMIトランスミッタと、HDMI受信部を構成するHDMIレシーバの構成例を示すブロック図である。
【図6】TMDS伝送データの構造例(横×縦が1920ピクセル×1080ラインの画像データが伝送される場合)を示す図である。
【図7】ソース機器およびシンク機器のHDMIケーブルが接続されるHDMI端子のピン配列(タイプA)を示す図である。
【図8】立体画像データのTMDS伝送データ構造の一つであるフレームパッキング方式の3Dビデオフォーマットを示す図である。
【図9】立体画像データのTMDS伝送データ構造の一つであるインターレースフォーマットのためのフレームパッキング方式の3Dビデオフォーマットを示す図である。
【図10】複数のアクティブスペース領域が存在する場合におけるアクティブスペース領域の統合の様子を示す図である。
【図11】3つのアクティブスペース領域を統合して扱った場合における、各アクティブスペース領域の最初のラインの付加情報配置状態の一例を示す図である。
【図12】フレームパッキング方式の3Dビデオフォーマットにおけるアクティブスペース領域のフレーム毎のサイズ例を示す図である。
【図13】アクティブスペース領域を付加情報伝送に使用しない場合における、TMDSの3チャネルの各ピクセル位置のデータを示す図である。
【図14】アクティブスペース領域を付加情報伝送に使用する場合における、TMDSの3チャネルの各ピクセル位置のデータを示す図である。
【図15】付加情報に情報データおよび画像データの両方が含まれる場合におけるアクティブスペース領域内のデータレイアウトを示す図である。
【図16】付加情報に情報データのみが含まれる場合におけるアクティブスペース領域内のデータレイアウトを示す図である。
【図17】付加情報に画像データのみが含まれる場合におけるアクティブスペース領域内のデータレイアウトを示す図である。
【図18】拡張された3D伝送用のHDMI Vendor Specific InfoFrame パケットを示す図である。
【図19】情報領域ヘッダの構成例を示す図である。
【図20】情報ブロックの構成例を示す図である。
【図21】画像領域ヘッダの構成例を示す図である。
【図22】画像ブロックの構成例を示す図である。
【図23】HDMI規格で定義されているビデオ(Video)データの色の値の範囲を示す図である。
【図24】リミテッドレンジの場合のデータ格納方法において、ビット7の値をビット6の反転値とすることを説明するための図である。
【図25】リミテッドレンジの場合のデータ格納方法における、TMDSの#0,#1,#2の3チャネルのピクセル値(8ビットデータ)のビット構成を説明するための図である。
【図26】3重化多数決法を採用した場合における、送信側のエンコード処理および受信側のデコード処理を示す図である。
【図27】3重化多数決法を採用した場合に、送信側で、ピクセル毎の、#0,#1,#2の3チャネルの8ビットデータとして、同一のデータを配することを説明するための図である。
【図28】ディスクプレーヤで字幕、メニュー、OSDなどの画像データを立体画像データに重ね合わせてからテレビ受信機に送信する場合におけるデータの流れを概略的に示す図である。
【図29】立体画像データとは別に、アクティブスペース領域で字幕、メニュー、OSDなどの画像情報をテレビ受信機に送信し、テレビ受信機側で立体画像データを補正してから、この立体画像データに字幕、メニュー、OSDなどの画像データを重ね合わせる場合におけるデータの流れを概略的に示す図である。
【図30】奥行き情報の推測を行う際のL,R画像間の相関を水平方向のライン単位で求めることを説明するための図である。
【図31】奥行き情報の推測を説明するための図である。
【図32】推測された画像の奥行き情報を示す図である。
【図33】カメラの方向α、カメラの画角(水平方向)β、カメラ間距離dを示す図である。
【図34】画像の横幅のドット数W、画像の高さのドット数Hを示す図である。
【図35】左眼(L)画像の(xl,yl)の位置に表示される物体Aに関し、カメラの方向(軸)と“物体−カメラ”を結ぶ線の間の角度γ1を示す図である。
【図36】立体画像データを補正する場合におけるモデリング処理を説明するための図である。
【図37】立体画像データを補正する際に、スクリーンサイズおよび視距離をパラメータとして用いることを説明するための図である。
【図38】CPUにおける立体画像データの再構成の流れを概略的に示すフローチャートである。
【図39】カメラの画角およびアスペクトの計算方法を説明するための参考図である。
【図40】左眼(L)画像、右眼(R)画像の表示位置をシフトさせたとき、反対側の端の画像データがない場合にはシフト分だけ反対側の端が黒画として表示されることを示す図である。
【図41】アクティブスペース領域に配されるOSD表示用の画像データが、テレビ受信機側に備えられるピクチャープレーンと呼ばれる仮想的なバッファに書き込まれることを説明するための図である。
【図42】あるピクチャープレーンに書き込んだOSD表示用の画像データが、次のフレームのタイミングで伝送されている立体画像データ(伝送Video)とαブレンドされる、テレビ受信機側で行われる演算の様子を示す図である。
【図43】情報ブロックのペイロードに格納される情報の構成例を示す図である。
【図44】ピクチャーディスクリプタ(12バイト)の構成例を示す図である。
【図45】ピクチャーディスクリプタの各フィールドの説明に供する図である。
【図46】ピクチャーディスクリプタのオペレーションフィールド(3ビット)で示される操作のリストを示す図である。
【図47】「NOP」の操作を行う場合のピクチャーディスクリプタの構成例を示す図である。
【図48】「Clear Picture Plane」の操作を行う場合のピクチャーディスクリプタの構成例を示す図である。
【図49】「Clear Active Video Area」の操作を行う場合のピクチャーディスクリプタの構成例を示す図である。
【図50】「Put Picture Horizontally N+1」の操作を行う場合のピクチャーディスクリプタの構成例を示す図である。
【図51】「Put Picture Horizontally N+1」の操作を行うピクチャーディスクリプタによる操作の一例を示す図である。
【図52】「Put Picture Vertically N+1」の操作を行う場合のピクチャーディスクリプタの構成例を示す図である。
【図53】「Put Picture Vertically N+1」の操作を行うピクチャーディスクリプタによる操作の一例を示す図である。
【図54】「Put Picture Magnification N+1」の操作を行う場合のピクチャーディスクリプタの構成例を示す図である。
【図55】「Put Picture Magnification N+1」の操作を行うピクチャーディスクリプタによる操作の一例を示す図である。
【図56】E−EDIDデータの構造例を示す図である。
【図57】Vendor Speciffic領域のデータ構造例を示す図である。
【図58】描画した映像出力用フレームメモリの内容をHDMI送信部に送信する際の設定情報を説明するための図である。
【発明を実施するための形態】
【0032】
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.実施の形態
2.変形例
【0033】
<1.実施の形態>
[AVシステムの構成例]
図1は、実施の形態としてのAV(Audio Visual)システム10の構成例を示している。このAVシステム10は、HDMIソース機器としてのディスクプレーヤ100と、HDMIシンク機器としてのテレビ受信機200とを有している。
【0034】
ディスクプレーヤ100およびテレビ受信機200は、HDMIケーブル300を介して接続されている。ディスクプレーヤ100には、HDMI送信部(HDMITX)102が接続されたHDMI端子101が設けられている。テレビ受信機200には、HDMI受信部(HDMI RX)202が接続されたHDMI端子201が設けられている。HDMIケーブル300の一端はディスクプレーヤ100のHDMI端子101に接続され、このHDMIケーブル300の他端はテレビ受信機200のHDMI端子201に接続されている。
【0035】
図1に示すAVシステム200において、ディスクプレーヤ100からテレビ受信機200に、非圧縮(ベースバンド)の画像データ(映像信号)が、HDMIケーブル300を介して送信される。テレビ受信機200では、ディスクプレーヤ100から送信されてくる画像データによる画像が表示される。また、ディスクプレーヤ100からテレビ受信機200に、非圧縮(ベースバンド)の音声データ(音声信号)が、HDMIケーブル300を介して送信される。テレビ受信機200では、ディスクプレーヤ100から送信されてくる音声データによる音声が出力される。
【0036】
ディスクプレーヤ100からテレビ受信機200に送信される画像データが2次元画像データ(2D画像データ)である場合、テレビ受信機200では2次元画像の表示が行われる。また、ディスクプレーヤ100からテレビ受信機200に送信される画像データが立体画像を表示するための3次元画像データ(3D画像データ)、つまり立体画像データである場合、テレビ受信機200では、立体画像の表示が行われる。例えば、立体画像データには、左眼画像データおよび右眼画像データが含まれる。また、例えば、立体画像データには、2次元画像データおよび各画素に対応した奥行き情報(奥行きデータ)が含まれる(MPEG−C方式)。
【0037】
ここで、ディスクプレーヤ100からテレビ受信機200に送信される立体画像データは、TMDS伝送データのアクティブビデオ区間に配置される。このアクティブビデオ区間には、立体画像データを配するアクティブビデオ領域の他に、アクティブスペース領域が設けられている。この実施の形態においては、このアクティブスペース領域に、立体画像データに関連した付加情報が配され、この付加情報が立体画像データと共にディスクプレーヤ100からテレビ受信機200に送信される。テレビ受信機200では、この付加情報を利用した処理が行われる。この場合、アクティブビデオ領域は主映像領域を構成し、アクティブスペース領域は補助映像領域を構成する。この付加情報の詳細説明は後述する。
【0038】
[ディスクプレーヤの構成例]
図2は、ディスクプレーヤ100の構成例を示している。このディスクプレーヤ100は、HDMI端子101と、HDMI送信部102と、ドライブインタフェース103と、BD(Blu-ray Disc)/DVD(Digital Versatile Disc)ドライブ104を有している。また、このディスクプレーヤ100は、デマルチプレクサ105と、MPEGデコーダ106と、映像信号処理回路107と、オーディオデコーダ108と、音声信号処理回路109を有している。
【0039】
また、このディスクプレーヤ100は、内部バス120と、CPU121と、フラッシュROM122と、DRAM123を有している。また、このディスクプレーヤ100は、イーサネットインタフェース(Ethernet I/F)124と、ネットワーク端子125と、リモコン受信部126と、リモコン送信機127を有している。なお、「イーサネット」および「Ethernet」は、登録商標である。CPU121、フラッシュROM122、DRAM123、イーサネットインタフェース124およびドライブインタフェース103は、内部バス120に接続されている。
【0040】
CPU121は、ディスクプレーヤ100の各部の動作を制御する。フラッシュROM122は、制御ソフトウェアの格納およびデータの保管を行う。DRAM123は、CPU121のワークエリアを構成する。CPU121は、フラッシュROM122から読み出したソフトウェアやデータをDRAM123上に展開してソフトウェアを起動させ、ディスクプレーヤ100の各部を制御する。リモコン受信部126は、リモコン送信機127から送信されたリモーコントロール信号(リモコンコード)を受信し、CPU121に供給する。CPU121は、リモコンコードに従ってディスクプレーヤ100の各部を制御する。
【0041】
BD/DVDドライブ104は、ディスク状記録メディアとしてのBD,DVD(図示せず)に対して、コンテンツデータを記録し、あるいは、このBD,DVDからコンテンツデータを再生する。このBD/DVDドライブ104は、ドライブインタフェース103を介して内部バス120に接続されている。
【0042】
デマルチプレクサ105は、BD/DVDドライブ104の再生データから映像、音声等のエレメンタリストリームを分離する。MPEGデコーダ106は、デマルチプレクサ105で分離された映像のエレメンタリストリームに対してデコード処理を行って非圧縮(ベースバンド)の画像データを得る。
【0043】
映像信号処理回路107は、MPEGデコーダ106で得られた画像データに対して、必要に応じてスケーリング処理(解像度変換処理)、グラフィックスデータの重畳処理等を行って、HDMI送信部102に供給する。また、この映像信号処理回路107は、MPEGデコーダ106で得られた画像データが立体画像データである場合、3D映像生成部において、この立体画像データを伝送方式に応じた状態に加工処理する。この加工処理において、立体画像データはTMDS伝送データのアクティブビデオ区間のアクティブビデオ領域に配される。
【0044】
オーディオデコーダ108は、デマルチプレクサ105で分離された音声のエレメンタリストリームに対してデコード処理を行って非圧縮(ベースバンド)の音声データを得る。音声信号処理回路109は、オーディオデコーダ108で得られた音声データに対して、必要に応じて音質調整処理等を行って、HDMI送信部102に供給する。
【0045】
HDMI送信部102は、HDMIに準拠した通信により、非圧縮の画像(映像)と音声のデータを、HDMI端子101から送出する。この場合、HDMIのTMDSチャネルで送信するため、画像および音声のデータがパッキングされて、HDMI送信部102からHDMI端子101に出力される。このHDMI送信部102の詳細は後述する。
【0046】
上述したようにディスクプレーヤ100からテレビ受信機200に立体画像データを送信する場合、TMDS伝送データのアクティブビデオ区間に、立体画像データを配するアクティブビデオ領域の他に、アクティブスペース領域が設けられる。この実施の形態において、このアクティブスペース領域に立体画像データに関連した付加情報を配することは、映像信号処理回路103あるいはHDMI送信部102において行われる。
【0047】
図2に示すディスクプレーヤ100の動作を簡単に説明する。BD/DVDドライブ104の再生データはデマルチプレクサ105に供給され、映像、音声等のエレメンタリストリームに分離される。デマルチプレクサ105で分離された映像のエレメンタリストリームはMPEGデコーダ106に供給されてデコードされ、非圧縮の画像データが得られる。また、デマルチプレクサ105で分離された音声のエレメンタリストリームはオーディオデコーダ108に供給されてデコードされ、非圧縮の音声データが得られる。
【0048】
MPEGデコーダ106で得られる画像データは、映像信号処理回路107を介してHDMI送信部102に供給される。また、オーディオデコーダ108で得られた音声データは音声信号処理回路109を介してHDMI送信部102に供給される。そして、これら画像および音声のデータは、HDMIのTMDSチャネルにより、HDMI端子101からHDMIケーブルに送出される。
【0049】
MPEGデコーダ106で得られる画像データが立体画像データである場合、この立体画像データは、映像信号処理回路107の3D映像生成部において伝送方式に応じた状態に加工処理された後に、HDMI送信部102に供給される。また、画像データが立体画像データである場合、映像信号処理回路103あるいはHDMI送信部102において、アクティブビデオ区間のアクティブスペース領域に、必要に応じて、立体画像データに関連した付加情報が配される。
【0050】
[テレビ受信機の構成例]
図3は、テレビ受信機200の構成例を示している。このテレビ受信機200は、HDMI端子201と、HDMI受信部202を有している。また、テレビ受信機200は、アンテナ端子204と、デジタルチューナ205と、デマルチプレクサ206と、MPEGデコーダ207と、映像信号処理回路208と、グラフィック生成回路209と、パネル駆動回路210と、表示パネル211を有している。
【0051】
また、テレビ受信機200は、音声信号処理回路212と、音声増幅回路213と、スピーカ214と、内部バス220と、CPU221と、フラッシュROM222と、DRAM223を有している。また、テレビ受信機200は、イーサネットインタフェース(Ethernet I/F)224と、ネットワーク端子225と、DTCP回路226と、リモコン受信部227と、リモコン送信機228を有している。
【0052】
アンテナ端子204は、受信アンテナ(図示せず)で受信されたテレビ放送信号を入力する端子である。デジタルチューナ205は、アンテナ端子204に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のトランスポートストリームを出力する。デマルチプレクサ206は、デジタルチューナ205で得られたトランスポートストリームから、ユーザの選択チャネルに対応した、パーシャルTS(Transport Stream)(映像データのTSパケット、音声データのTSパケット)を抽出する。
【0053】
また、デマルチプレクサ206は、デジタルチューナ205で得られたトランスポートストリームから、PSI/SI(Program Specific Information/Service Information)を取り出し、CPU221に出力する。デジタルチューナ205で得られたトランスポートストリームには、複数のチャネルが多重化されている。デマルチプレクサ206で、当該トランスポートストリームから任意のチャネルのパーシャルTSを抽出する処理は、PSI/SI(PAT/PMT)から当該任意のチャネルのパケットID(PID)の情報を得ることで可能となる。
【0054】
MPEGデコーダ207は、デマルチプレクサ206で得られる映像データのTSパケットにより構成される映像PES(Packetized Elementary Stream)パケットに対してデコード処理を行って画像データを得る。また、MPEGデコーダ207は、デマルチプレクサ206で得られる音声データのTSパケットにより構成される音声PESパケットに対してデコード処理を行って音声データを得る。
【0055】
HDMI受信部(HDMIシンク)202は、HDMIに準拠した通信により、HDMIケーブル300を介してHDMI端子201に供給される非圧縮(ベースバンド)の画像(映像)と音声のデータを受信する。このHDMI受信部202の詳細は後述する。
【0056】
映像信号処理回路208、グラフィック生成回路209は、MPEGデコーダ207あるいはHDMI受信部202で得られた画像データに対して、必要に応じてスケーリング処理(解像度変換処理)、グラフィックスデータの重畳処理等を行う。また、映像信号処理回路208は、HDMI受信部202で受信された画像データが立体画像データである場合、この立体画像データに対して、立体画像を表示するために必要な処理を行う。
【0057】
この場合、HDMI受信部202あるいは映像信号処理回路208は、3Dビデオフォーマットの伝送データ(後述する図8、図9参照)のアクティブビデオ領域から、立体画像データを分離して得る。また、この場合、HDMI受信部202あるいは映像信号処理回路208は、その伝送データのアクティブスペース領域から、立体画像データに関連した付加情報を分離して得る。ここで、HDMI受信部202あるいは映像信号処理回路208は、データ分離部を構成する。
【0058】
また、映像信号処理回路208は、HDMI受信部202で受信された画像データが立体画像データである場合、その立体画像データに関連した付加情報に基づいて、字幕、OSDの合成処理、立体画像データの補正処理等の処理を行う。パネル駆動回路210は、グラフィック生成回路209から出力される画像(映像)データに基づいて、表示パネル211を駆動する。
【0059】
パネル駆動回路210は、グラフィック生成回路209から出力される映像(画像)データに基づいて、表示パネル211を駆動する。表示パネル211は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma DisplayPanel)等で構成されている。
【0060】
音声信号処理回路212は、MPEGデコーダ207で得られた音声データ、あるいはHDMI受信部202で受信された画像データに対して、D/A変換等の必要な処理を行う。音声増幅回路213は、音声信号処理回路212から出力される音声信号を増幅してスピーカ214に供給する。
【0061】
CPU221は、テレビ受信機200の各部の動作を制御する。フラッシュROM222は、制御ソフトウェアの格納およびデータの保管を行う。DRAM223は、CPU221のワークエリアを構成する。CPU221は、フラッシュROM222から読み出したソフトウェアやデータをDRAM223上に展開してソフトウェアを起動させ、テレビ受信機200の各部を制御する。
【0062】
リモコン受信部227は、リモコン送信機228から送信されたリモーコントロール信号(リモコンコード)を受信し、CPU221に供給する。CPU221は、このリモコンコードに基づいて、テレビ受信機200の各部を制御する。
【0063】
ネットワーク端子225は、ネットワークに接続する端子であり、イーサネットインタフェース224に接続される。CPU221、フラッシュROM222、DRAM223およびイーサネットインタフェース224は、内部バス220に接続されている。DTCP回路226は、ネットワーク端子225からイーサネットインタフェース224に供給される暗号化データを復号する。
【0064】
図3に示すテレビ受信機200の動作を簡単に説明する。アンテナ端子204に入力されたテレビ放送信号はデジタルチューナ205に供給される。このデジタルチューナ205では、テレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のトランスポートストリームが出力され、当該所定のトランスポートストリームはデマルチプレクサ206に供給される。このデマルチプレクサ206では、トランスポートストリームから、ユーザの選択チャネルに対応した、パーシャルTS(映像データのTSパケット、音声データのTSパケット)が抽出され、当該パーシャルTSはMPEGデコーダ207に供給される。
【0065】
MPEGデコーダ207では、映像データのTSパケットにより構成される映像PESパケットに対してデコード処理が行われて画像データが得られる。この画像データは、映像信号処理回路208およびグラフィック生成回路209において、必要に応じて、スケーリング処理(解像度変換処理)、グラフィックスデータの重畳処理等が行われた後に、パネル駆動回路210に供給される。そのため、表示パネル211には、ユーザの選択チャネルに対応した画像が表示される。
【0066】
また、MPEGデコーダ207では、音声データのTSパケットにより構成される音声PESパケットに対してデコード処理が行われて音声データが得られる。この音声データは、音声信号処理回路212でD/A変換等の必要な処理が行われ、さらに、音声増幅回路213で増幅された後に、スピーカ214に供給される。そのため、スピーカ214から、ユーザの選択チャネルに対応した音声が出力される。
【0067】
また、ネットワーク端子225からイーサネットインタフェース224に供給される暗号化されているコンテンツデータ(画像データ、音声データ)は、DTCP回路226で復号化された後に、MPEGデコーダ207に供給される。以降は、上述したテレビ放送信号の受信時と同様の動作となり、表示パネル211に画像が表示され、スピーカ214から音声が出力される。
【0068】
また、HDMI受信部202では、HDMI端子201にHDMIケーブル300を介して接続されているディスクプレーヤ100から送信されてくる、画像データおよび音声データが取得される。画像データは、映像信号処理回路208に供給される。また、音声データは、音声信号処理回路212に供給される。以降は、上述したテレビ放送信号の受信時と同様の動作となり、表示パネル211に画像が表示され、スピーカ214から音声が出力される。
【0069】
なお、HDMI受信部202で受信された画像データが立体画像データである場合、映像信号処理回路208では、その立体画像データに関連した付加情報に基づいて、字幕、OSDの合成処理、立体画像データの補正処理等の処理が行われる。また、この場合、映像信号処理回路208では、立体画像を表示するための画像データが生成される。そのため、表示パネル211により立体画像が表示される。
【0070】
[HDMI送信部、HDMI受信部の構成例]
図4は、図1のAVシステム10における、ディスクプレーヤ100のHDMI送信部(HDMIソース)102と、テレビ受信機200のHDMI受信部(HDMIシンク)202の構成例を示している。
【0071】
HDMI送信部102は、有効画像区間(以下、適宜、アクティブビデオ区間ともいう)において、非圧縮の1画面分の画像の画素データに対応する差動信号を、複数のチャネルで、HDMI受信部202に一方向に送信する。ここで、有効画像区間は、一の垂直同期信号から次の垂直同期信号までの区間から、水平帰線区間及び垂直帰線区間を除いた区間である。また、HDMI送信部102は、水平帰線区間または垂直帰線区間において、少なくとも画像に付随する音声データや制御データ、その他の補助データ等に対応する差動信号を、複数のチャネルで、HDMI受信部202に一方向に送信する。
【0072】
HDMI送信部102とHDMI受信部202とからなるHDMIシステムの伝送チャネルには、以下の伝送チャネルがある。すなわち、HDMI送信部102からHDMI受信部202に対して、画素データおよび音声データを、ピクセルクロックに同期して、一方向にシリアル伝送するための伝送チャネルとしての、3つのTMDSチャネル#0乃至#2がある。また、ピクセルクロックを伝送する伝送チャネルとしての、TMDSクロックチャネルがある。
【0073】
HDMI送信部102は、HDMIトランスミッタ81を有する。トランスミッタ81は、例えば、非圧縮の画像の画素データを対応する差動信号に変換し、複数のチャネルである3つのTMDSチャネル#0,#1,#2で、HDMIケーブル300を介して接続されているHDMI受信部202に、一方向にシリアル伝送する。
【0074】
また、トランスミッタ81は、非圧縮の画像に付随する音声データ、さらには、必要な制御データその他の補助データ等を、対応する差動信号に変換し、3つのTMDSチャネル#0,#1,#2でHDMI受信部202に、一方向にシリアル伝送する。
【0075】
さらに、トランスミッタ81は、3つのTMDSチャネル#0,#1,#2で送信する画素データに同期したピクセルクロックを、TMDSクロックチャネルで、HDMIケーブル300を介して接続されているHDMI受信部202に送信する。ここで、1つのTMDSチャネル#i(i=0,1,2)では、ピクセルクロックの1クロックの間に、10ビットの画素データが送信される。
【0076】
HDMI受信部202は、アクティブビデオ区間において、複数のチャネルで、HDMI送信部102から一方向に送信されてくる、画素データに対応する差動信号を受信する。また、このHDMI受信部202は、水平帰線区間または垂直帰線区間において、複数のチャネルで、HDMI送信部102から一方向に送信されてくる、音声データや制御データに対応する差動信号を受信する。
【0077】
すなわち、HDMI受信部202は、HDMIレシーバ82を有する。このHDMIレシーバ82は、TMDSチャネル#0,#1,#2で、HDMI送信部102から一方向に送信されてくる、画素データに対応する差動信号と、音声データや制御データに対応する差動信号を受信する。この場合、HDMI送信部102からTMDSクロックチャネルで送信されてくるピクセルクロックに同期して受信する。
【0078】
HDMIシステムの伝送チャネルには、上述のTMDSチャネル#0乃至#2およびTMDSクロックチャネルの他に、DDC(Display Data Channel)83やCECライン84と呼ばれる伝送チャネルがある。DDC83は、HDMIケーブル300に含まれる図示しない2本の信号線からなる。DDC83は、HDMI送信部102が、HDMI受信部202から、E−EDID(Enhanced Extended Display Identification Data)を読み出すために使用される。
【0079】
すなわち、HDMI受信部202は、HDMIレシーバ81の他に、自身の性能(Configuration/capability)に関する性能情報であるE−EDIDを記憶している、EDID ROM(Read Only Memory)85を有している。HDMI送信部102は、例えば、CPU121(図2参照)からの要求に応じて、HDMIケーブル300を介して接続されているHDMI受信部202から、E−EDIDを、DDC83を介して読み出す。HDMI送信部102は、読み出したE−EDIDをCPU121に送る。CPU121は、このE−EDIDを、フラッシュROM122あるいはDRAM123に格納する。
【0080】
CPU121は、E−EDIDに基づき、HDMI受信部202の性能の設定を認識できる。例えば、CPU121は、HDMI受信部202を有するテレビ受信機200が対応可能な画像データのフォーマット(解像度、フレームレート、アスペクト等)を認識する。この実施の形態において、CPU121は、E−EDIDに含まれる付加情報に関する情報に基づき、例えばHDMI受信部202を有するテレビ受信機200が、アクティブスペース領域に配される付加情報を有効使用する機能を有しているか否か等を認識する。
【0081】
CECライン84は、HDMIケーブル300に含まれる図示しない1本の信号線からなり、HDMI送信部102とHDMI受信部202との間で、制御用データの双方向通信を行うために用いられる。このCECライン84は、制御データラインを構成している。
【0082】
また、HDMIケーブル300には、HPD(Hot Plug Detect)と呼ばれるピンに接続されるライン(HPDライン)86が含まれている。ソース機器は、当該ライン86を利用して、シンク機器の接続を検出することができる。また、HDMIケーブル300には、ソース機器からシンク機器に電源を供給するために用いられるライン87が含まれている。さらに、HDMIケーブル300には、リザーブライン88が含まれている。
【0083】
図5は、図4のHDMIトランスミッタ81とHDMIレシーバ82の構成例を示している。
【0084】
HDMIトランスミッタ81は、3つのTMDSチャネル#0,#1,#2にそれぞれ対応する3つのエンコーダ/シリアライザ81A,81B,81Cを有する。そして、エンコーダ/シリアライザ81A,81B,81Cのそれぞれは、そこに供給される画像データ、補助データ、制御データをエンコードし、パラレルデータからシリアルデータに変換して、差動信号により送信する。ここで、画像データが、例えばR,G,Bの3成分を有する場合、B成分はエンコーダ/シリアライザ81Aに供給され、G成分はエンコーダ/シリアライザ81Bに供給され、R成分はエンコーダ/シリアライザ81Cに供給される。
【0085】
また、補助データとしては、例えば、音声データや制御パケットがあり、制御パケットは、例えば、エンコーダ/シリアライザ81Aに供給され、音声データは、エンコーダ/シリアライザ81B,81Cに供給される。さらに、制御データとしては、1ビットの垂直同期信号(VSYNC)、1ビットの水平同期信号(HSYNC)、および、それぞれ1ビットの制御ビットCTL0,CTL1,CTL2,CTL3がある。垂直同期信号および水平同期信号は、エンコーダ/シリアライザ81Aに供給される。制御ビットCTL0,CTL1はエンコーダ/シリアライザ81Bに供給され、制御ビットCTL2,CTL3はエンコーダ/シリアライザ81Cに供給される。
【0086】
エンコーダ/シリアライザ81Aは、そこに供給される画像データのB成分、垂直同期信号および水平同期信号、並びに補助データを、時分割で送信する。すなわち、エンコーダ/シリアライザ81Aは、そこに供給される画像データのB成分を、固定のビット数である8ビット単位のパラレルデータとする。さらに、エンコーダ/シリアライザ81Aは、そのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#0で送信する。
【0087】
また、エンコーダ/シリアライザ81Aは、そこに供給される垂直同期信号および水平同期信号の2ビットのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#0で送信する。さらに、エンコーダ/シリアライザ81Aは、そこに供給される補助データを4ビット単位のパラレルデータとする。そして、エンコーダ/シリアライザ81Aは、そのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#0で送信する。
【0088】
エンコーダ/シリアライザ81Bは、そこに供給される画像データのG成分、制御ビットCTL0,CTL1、並びに補助データを、時分割で送信する。すなわち、エンコーダ/シリアライザ81Bは、そこに供給される画像データのG成分を、固定のビット数である8ビット単位のパラレルデータとする。さらに、エンコーダ/シリアライザ81Bは、そのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#1で送信する。
【0089】
また、エンコーダ/シリアライザ81Bは、そこに供給される制御ビットCTL0,CTL1の2ビットのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#1で送信する。さらに、エンコーダ/シリアライザ81Bは、そこに供給される補助データを4ビット単位のパラレルデータとする。そして、エンコーダ/シリアライザ81Bは、そのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#1で送信する。
【0090】
エンコーダ/シリアライザ81Cは、そこに供給される画像データのR成分、制御ビットCTL2,CTL3、並びに補助データを、時分割で送信する。すなわち、エンコーダ/シリアライザ81Cは、そこに供給される画像データのR成分を、固定のビット数である8ビット単位のパラレルデータとする。さらに、エンコーダ/シリアライザ81Cは、そのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#2で送信する。
【0091】
また、エンコーダ/シリアライザ81Cは、そこに供給される制御ビットCTL2,CTL3の2ビットのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#2で送信する。さらに、エンコーダ/シリアライザ81Cは、そこに供給される補助データを4ビット単位のパラレルデータとする。そして、エンコーダ/シリアライザ81Cは、そのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#2で送信する。
【0092】
HDMIレシーバ82は、3つのTMDSチャネル#0,#1,#2にそれぞれ対応する3つのリカバリ/デコーダ82A,82B,82Cを有する。そして、リカバリ/デコーダ82A,82B,82Cのそれぞれは、TMDSチャネル#0,#1,#2で差動信号により送信されてくる画像データ、補助データ、制御データを受信する。さらに、リカバリ/デコーダ82A,82B,82Cのそれぞれは、画像データ、補助データ、制御データを、シリアルデータからパラレルデータに変換し、さらにデコードして出力する。
【0093】
すなわち、リカバリ/デコーダ82Aは、TMDSチャネル#0で差動信号により送信されてくる画像データのB成分、垂直同期信号および水平同期信号、補助データを受信する。そして、リカバリ/デコーダ82Aは、その画像データのB成分、垂直同期信号および水平同期信号、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。
【0094】
リカバリ/デコーダ82Bは、TMDSチャネル#1で差動信号により送信されてくる画像データのG成分、制御ビットCTL0,CTL1、補助データを受信する。そして、リカバリ/デコーダ82Bは、その画像データのG成分、制御ビットCTL0,CTL1、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。
【0095】
リカバリ/デコーダ82Cは、TMDSチャネル#2で差動信号により送信されてくる画像データのR成分、制御ビットCTL2,CTL3、補助データを受信する。そして、リカバリ/デコーダ82Cは、その画像データのR成分、制御ビットCTL2,CTL3、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。
【0096】
図6は、TMDS伝送データの構造例を示している。この図6は、TMDSチャネル#0,#1,#2において、横×縦が1920ピクセル×1080ラインの画像データが伝送される場合の、各種の伝送データの区間を示している。
【0097】
HDMIの3つのTMDSチャネル#0,#1,#2で伝送データが伝送されるビデオフィールド(Video Field)には、伝送データの種類に応じて、3種類の区間が存在する。この3種類の区間は、ビデオデータ区間(Video Data period)、データアイランド区間(Data Islandperiod)、およびコントロール区間(Control period)である。
【0098】
ここで、ビデオフィールド区間は、ある垂直同期信号の立ち上がりエッジ(active edge)から次の垂直同期信号の立ち上がりエッジまでの区間である。このビデオフィールド区間は、水平ブランキング期間(horizontal blanking)、垂直ブランキング期間(verticalblanking)、並びに、アクティブビデオ区間(Active Video)に分けられる。このアクティブビデオ区間は、ビデオフィールド区間から、水平ブランキング期間および垂直ブランキング期間を除いた区間である
【0099】
ビデオデータ区間は、アクティブビデオ区間に割り当てられる。このビデオデータ区間では、非圧縮の1画面分の画像データを構成する1920ピクセル(画素)×1080ライン分の有効画素(Active pixel)のデータが伝送される。
【0100】
データアイランド区間およびコントロール区間は、水平ブランキング期間および垂直ブランキング期間に割り当てられる。このデータアイランド区間およびコントロール区間では、補助データ(Auxiliary data)が伝送される。すなわち、データアイランド区間は、水平ブランキング期間と垂直ブランキング期間の一部分に割り当てられている。このデータアイランド区間では、補助データのうち、制御に関係しないデータである、例えば、音声データのパケット等が伝送される。
【0101】
コントロール区間は、水平ブランキング期間と垂直ブランキング期間の他の部分に割り当てられている。このコントロール区間では、補助データのうちの、制御に関係するデータである、例えば、垂直同期信号および水平同期信号、制御パケット等が伝送される。
【0102】
図7は、HDMI端子211,251のピン配列の一例を示している。図7に示すピン配列はタイプA(type-A)と呼ばれている。
【0103】
TMDSチャネル#iの差動信号であるTMDS Data#i+とTMDS Data#i−は差動線である2本のラインにより伝送される。この2本のラインは、TMDS Data#i+が割り当てられているピン(ピン番号が1,4,7のピン)と、TMDS Data#i−が割り当てられているピン(ピン番号が3,6,9のピン)に接続される。
【0104】
また、制御用のデータであるCEC信号が伝送されるCECライン84は、ピン番号が13であるピンに接続され、ピン番号が14のピンは空き(Reserved)ピンとなっている。また、E−EDID等のSDA(SerialData)信号が伝送されるラインは、ピン番号が16であるピンに接続される。そして、SDA信号の送受信時の同期に用いられるクロック信号であるSCL(Serial Clock)信号が伝送されるラインは、ピン番号が15であるピンに接続される。上述のDDC83は、SDA信号が伝送されるラインおよびSCL信号が伝送されるラインにより構成される。
【0105】
また、上述したようにソース機器がシンク機器の接続を検出するためのHPDライン86は、ピン番号が19であるピンに接続される。また、上述したように電源を供給するためのライン87は、ピン番号が18であるピンに接続される。
【0106】
[付加情報の詳細説明]
図8は、立体画像データのTMDS伝送データ構造の一つであるフレームパッキング方式の3Dビデオフォーマット(3D Video Format)を示している。この3Dビデオフォーマットは、立体画像データとして、プログレッシブ方式の左眼(L)および右眼(R)の画像データを伝送するためのフォーマットである。この3Dビデオフォーマットでは、左眼(L)および右眼(R)の画像データとして、1920×1080p,1080×720Pのピクセルフォーマットの画像データの伝送が行われる。
【0107】
この3Dビデオフォーマットにより、垂直同期信号により区切られる、水平ブランキング期間(Hblank)、垂直ブランキング期間(Vblank)及びアクティブビデオ区間(Vactive)を含むビデオフィールド区間を単位とする伝送データが生成される。この3Dビデオフォーマットにおいて、アクティブビデオ区間(Vactive)は、2つのアクティブビデオ領域(Active video)と、それらの間に1つのアクティブスペース領域(Active space)を有している。
【0108】
ライン数がVact_videoである第1のアクティブビデオ領域にプログレッシブ方式の左眼(L)画像データが配され、ライン数がVact_videoである第2のアクティブビデオ領域にプログレッシブ方式の右眼(R)画像データが配される。また、ライン数がVact_spaceであるアクティブスペース領域に、アクティブビデオ領域に配される左眼(L)および右眼(R)の画像データに関連した付加情報が配される。
【0109】
ここで、1920×1080pのピクセルフォーマットの場合、Vact_space=45ラインとされている。また、1280×720Pのピクセルフォーマットの場合、Vact_space=30ラインとされている。
【0110】
図9は、立体画像データのTMDS伝送データ構造の一つであるインターレースフォーマットのためのフレームパッキング方式の3Dビデオフォーマット(3D Video Format)を示している。この3Dビデオフォーマットは、立体画像データとして、インターレース方式の左眼(L)および右眼(R)の画像データを伝送するためのフォーマットである。この3Dビデオフォーマットでは、左眼(L)および右眼(R)の画像データとして、1920×1080iのピクセルフォーマット等の画像データの伝送が行われる。
【0111】
この3Dビデオフォーマットにより、垂直同期信号により区切られる、水平ブランキング期間(Hblank)、垂直ブランキング期間(Vblank)及びアクティブビデオ区間(Vactive)を含むビデオフィールド区間を単位とする伝送データが生成される。この3Dビデオフォーマットにおいて、アクティブビデオ区間(Vactive)は、4つのアクティブビデオ領域(Active video)と、それらの間に3つのアクティブスペース領域(Active space)を有している。
【0112】
ライン数が Vact_video である第1のアクティブビデオ領域に奇数フィールドの左眼(L)画像データが配され、ライン数が Vact_video である第2のアクティブビデオ領域に奇数フィールドの右眼(R)画像データが配される。また、ライン数が Vact_video である第3のアクティブビデオ領域に偶数フィールドの左眼(L)画像データが配され、ライン数が Vact_video である第4のアクティブビデオ領域に偶数フィールドの右眼(R)画像データが配される。
【0113】
ライン数がそれぞれVact_space1,Vact_space2,Vact_space1である3つのアクティブスペース領域に、アクティブビデオ領域に配される左眼(L)および右眼(R)の画像データに関連した付加情報が配される。ここで、1920×1080iのピクセルフォーマットの場合、Vact_space1=23ライン、Vact_space2=22ラインとされている。
【0114】
図9の3Dビデオフォーマットの場合のように複数のアクティブスペース領域が存在する場合、それらのアクティブスペース領域を、統合した1つの領域として扱うことができる。図10は、アクティブスペース領域の統合の様子を示している。このように複数のアクティブスペース領域を統合して扱うことで、1つのフレーム内で伝送できる付加情報のデータ量を増やすことができる。
【0115】
図11は、図10に示すように3つのアクティブスペース領域を統合して扱った場合における、各アクティブスペース領域の最初のラインの付加情報配置状態の一例を示している。図11(a)は、第1のアクティブスペース領域(Active Space1)の最初のラインを示しており、このラインの番号は#0となる。
【0116】
この#0のラインの#0,#1の2つのピクセル位置には、TMDSの3チャネルの各チャネルのデータとして、固定値「0x00」、「0xFF」のシンクパターンが配置されている。そして、この#0のラインの#2のピクセル位置から、TMDSの3チャネルの各チャネルのデータとして、付加情報を構成するX0,X1,X2・・・の各8ビットデータが配置されている。
【0117】
また、図11(b)は、第2のアクティブスペース領域(Active Space2)の最初のラインを示しており、このラインの番号は#V0となっている。また、図11(c)は、第3のアクティブスペース領域(Active Space3)の最初のラインを示しており、このラインの番号は#V0+V1となっている。ここでは、第1のアクティブスペース領域のライン数(Vact_space1)を「V0」とし、第2のアクティブスペース領域のライン数(Vact_space2)を「V1」としている。また、水平方向のピクセル数を「H」としている。
【0118】
図12は、フレームパッキング方式の3Dビデオフォーマットにおけるアクティブスペース領域のフレーム毎のサイズ例を示している。この例は、TMDSの3チャネルの各ピクセル位置で8ビットデータが伝送されるものとして計算した例である。1920×1080pのピクセルフォーマットの画像データが伝送される3D伝送フォーマット(図8参照)では、アクティブスペース領域の合計ライン数Vact_spaceが45ラインである。そのため、アクティブスペース領域のフレーム毎のサイズは、約259KBとなる。
【0119】
また、1920×1080iのピクセルフォーマットの画像データが伝送される3D伝送フォーマット(図9参照)では、アクティブスペース領域の合計ライン数Vact_spaceが68ラインである。そのため、アクティブスペース領域のフレーム毎のサイズは、約392KBとなる。さらに、1280×720pのピクセルフォーマットの画像データが伝送される3D伝送フォーマット(図8参照)では、アクティブスペース領域の合計ライン数Vact_spaceが30ラインである。そのため、アクティブスペース領域のフレーム毎のサイズは、約115KBとなる。
【0120】
[アクティブスペース領域内のデータ格納方法]
アクティブスペース(Active Space)領域内のデータ格納方法について説明する。HDMI規格Ver.1.4 では、アクティブスペース領域は、単一色で塗りつぶすことが要求されている。図13は、アクティブスペース領域を付加情報伝送に使用しない場合における、TMDSの3チャネルの各ピクセル位置のデータを示している。図13(a)は、第0ライン(Line #0)を示し、図13(b)は、第1ライン以降(Line #1 以降)を示している。この場合、全ピクセル位置に同一のデータが配され、HDMI規格 Ver.1.4 で定義されたように単一色で塗りつぶされる。なお、図13において、C0,C1,C2は、任意の定数である。
【0121】
図14は、アクティブスペース領域を付加情報伝送に使用する場合における、TMDSの3チャネルの各ピクセル位置のデータを示している。図14(a)は、第0ライン(Line #0)を示し、図14(b)は、第1ライン(Line #1)を示している。この場合、第0ラインのピクセル0(Pixel 0)、ピクセル1(Pixel 1)のピクセル位置に固定値のシンクパターンが配置される。なお、図示の例では、各位置に配される固定値を、「0xA5」、「0x96」としている。また、第0ラインのピクセル2(Pixel 2)の位置から、TMDSの3チャネルの各チャネルのデータとして、付加情報を構成するX0,X1,X2・・・の各8ビットデータが配置される。なお、「H」は、水平方向のピクセル数(Hactive)を表している。
【0122】
[アクティブスペース領域内のデータ格納方法(データ構造)]
アクティブスペース領域内に配置される付加情報には、情報データおよび画像データのいずれかまたは両方が含まれる。ここで、情報データは、一個または複数個の情報ブロックにより構成される。また、画像データは、一個または複数個の画像ブロックにより構成される。
【0123】
図15は、付加情報に情報データおよび画像データの両方が含まれる場合におけるアクティブスペース領域内のデータレイアウトを示している。この場合、アクティブスペース領域には、スペース、シンクパターン(Sync Pattern)、情報領域ヘッダ、情報ブロック1〜N、画像領域ヘッダ、画像ブロック1〜N、エンドパターン(End Pattern)、スペースが、この順に配置される。なお、最初のスペースは送り側の都合によって配置される。また、エンドパターン(End Pattern)は、省略可能とされる。
【0124】
図16は、付加情報に情報データのみが含まれる場合におけるアクティブスペース領域内のデータレイアウトを示している。この場合、アクティブスペース領域には、スペース、シンクパターン(Sync Pattern)、情報領域ヘッダ、情報ブロック1〜N、エンドパターン(EndPattern)、スペースが、この順に配置される。最初のスペースは送り側の都合によって配置される。
【0125】
図17は、付加情報に画像データのみが含まれる場合におけるアクティブスペース領域内のデータレイアウトを示している。この場合、アクティブスペース領域には、スペース、シンクパターン(Sync Pattern)、画像領域ヘッダ、画像ブロック1〜N、エンドパターン(EndPattern)、スペースが、この順に配置される。なお、最初のスペースは送り側の都合によって配置される。また、エンドパターン(End Pattern)は、省略可能とされる。
【0126】
スペースのデータサイズは任意とされ、そのデータ種別は“画像データ”とされる。このスペースは、単一色で塗りつぶされる。送り側の都合によっては、アクティブスペース領域の先頭部分はスペースとされる。なお、インターレースフォーマットのためのフレームパッキング方式の3Dビデオフォーマット(図9参照)のように、複数個のアクティブスペース領域が存在する場合、各アクティブスペース領域の先頭部分が同じデータ長分だけスペースとされる。
【0127】
アクティブスペース領域の先頭部分のスペースのデータ長は、送信側(HDMIのソース機器)から受信側(HDMIシンク機器)に、InfoFrame で通知される。例えば、3D伝送用のHDMI VendorSpecific InfoFrame パケットが、図18に示すように拡張される。なお、このHDMIVendor Specific InfoFrame パケットは、ブランキング期間内のデータアイランド区間に配置される。
【0128】
このHDMI Vendor Specific InfoFrame ついてはCEA-861-Dに定義されているので省略する。ここでは、拡張部分について説明する。第5バイトについて説明する。第5バイトの第3ビットに、アクティブスペース領域に付加情報が配されているか否か、つまりアクティブスペース領域内で付加情報を伝送するか否かを示す情報「3D_OptData_Present」が配置される。この第3ビットが「1」であるとき、アクティブスペース領域内で付加情報の伝送を行わないことを示す。
【0129】
上述の第5バイトの第3ビットが「1」であるとき、「OptDataFmt」および「OptData_SkipLines」のフィールドが存在する。「OptDataFmt」のフィールドは、アクティブスペース領域内で伝送するデータの形式、例えばフルレンジ(Full Range)での伝送か、リミテッドレンジ(Limited Range)での伝送かを示す。また、この「OptDataFmt」のフィールドは、アクティブスペース領域内で伝送するデータの種類なども示す。「OptData_SkipLines」のフィールドは、アクティブスペース領域内の先頭Nラインはスペースであるということを示す。スペースが存在しない場合は、0をセットする。
【0130】
受信側(HDMIシンク機器)では、上述のHDMI Vendor Specific InfoFrame パケットの「3D_OptData_Present」の情報によりアクティブスペース領域に付加情報が配されているか否かを認識できる。また、「OptDataFmt」のフィールドによりデータ形式等を把握でき、さらに、「OptData_SkipLines」のフィールドによりアクティブスペース領域内の先頭部分のスペースの有無、さらにはそのデータサイズを把握できる。
【0131】
シンクパターンのデータサイズは固定長(2pixelまたはそれ以上)とされ、そのデータ種別は“固定値”とされる。例えば、シンクパターンとして、「0xA5」、「0x96」などといった固定値が定義される。受信側(HDMIシンク機器)では、シンクパターンを見つけると、それ以降は有効なデータとしてデータの読み取りが行われる。
【0132】
情報領域ヘッダは、領域サイズ、内部のブロック数の情報を含む。この情報領域ヘッダのデータサイズは固定長とされ、そのデータ種別は“情報データ”とされる。図19は、情報領域ヘッダの構成例を示している。この情報領域ヘッダには、「シンクパターン(Sync Pattern)」、「情報ブロック数」、「データ長」のデータがこの順に含まれている。
【0133】
「シンクパターン」のデータサイズは2バイトとされ、そのデータ種別は“固定値”とされる。この「シンクパターン」は、情報領域の開始を示す。「情報ブロック数」のデータサイズは1バイトとされ、そのデータ種別は“情報データ”とされる。この「情報ブロック数」は、フレーム内に含まれる情報ブロックの個数を示す。「データ長」のデータサイズは2バイトとされ、そのデータ種別は“情報データ”とされる。この「データ長」は、フレーム内に含まれる情報ブロックのデータサイズを示す。このデータサイズは、例えばピクセル数で表される。
【0134】
情報領域ヘッダの後ろに、「情報ブロック数」の値の個数分だけの情報ブロック1〜Nが続く。各情報ブロックのデータサイズは任意とされ、そのデータ種別は“情報データ”とされる。図20は、情報ブロックの構成例を示している。この情報ブロックには、「データID」、「データ長」、「ペイロード(Payload)」、「CRC(Cyclic Redundancy Check:巡回冗長検査)」のデータがこの順に含まれている。「データID」のデータサイズは1バイトとされ、そのデータ種別は“固定値”とされる。この「データID」は情報ブロック内に含まれるデータの種類を示す。「データ長」のデータサイズは、「2バイトbyte」とされ、そのデータ種別は“情報データ”とされる。この「データ長」は、情報ブロックのデータの実体部(Payload)のデータサイズ(Pixel数)を示す。
【0135】
「ペイロード」のデータサイズは「データ長」で示されるサイズであり、そのデータ種別は“情報データ”とされる。この「ペイロード」は、情報ブロックのデータの実体である。「CRC」のデータサイズは2バイトとされ、そのデータ種別は“情報データ”とされる。この「CRC」は、「データID」、「データ長」および「ペイロード」の全体に対するCRCの値である。
【0136】
画像領域ヘッダは、領域サイズ、内部のブロック数の情報を含む。この情報領域ヘッダのデータサイズは固定長とされ、そのデータ種別は“情報データ”とされる。図21は、画像領域ヘッダの構成例を示している。この画像領域ヘッダには、「シンクパターン(Sync Pattern)」、「画像ブロック数」、「データ長」のデータがこの順に含まれている。
【0137】
「シンクパターン」のデータサイズは2バイトとされ、そのデータ種別は“固定値”とされる。この「シンクパターン」は、画像領域の開始を示す。「画像ブロック数」のデータサイズは1バイトとされ、そのデータ種別は“情報データ”とされる。この「画像ブロック数」は、フレーム内に含まれる画像ブロックの個数を示す。「データ長」のデータサイズは2バイトとされ、そのデータ種別は“情報データ”とされる。この「データ長」は、フレーム内に含まれる画像ブロックのデータサイズを示す。
【0138】
画像領域ヘッダの後ろに、「画像ブロック数」の値の個数分だけの画像ブロック1〜Nが続く。各画像ブロックのデータサイズは任意とされ、そのデータ種別は“画像データ”とされる。図22は、画像ブロックの構成例を示している。この画像ブロックには、「画像ID」、「横のピクセル(Pixel)数」、「縦のピクセル(Pixel)数」、「画像データ」のデータがこの順に含まれている。
【0139】
画像ID」のデータサイズは1バイト(byte)とされ、そのデータ種別は“固定値”とされる。この「画像ID」は画像フォーマットを示すIDである。例えば、「0」は、アクティブビデオ領域に配される立体画像(3D画像)データと同じ画像フォーマットであることを示す。
【0140】
「横のピクセル数」のデータサイズは2バイトとされ、そのデータ種別は“情報データ”とされる。この「横のピクセル数」は、画像の横方向のピクセル数を示す。「縦のピクセル数」のデータサイズは2バイトとされ、そのデータ種別は“情報データ”とされる。この「縦のピクセル数」は、画像の縦方向のピクセル数を示す。「画像データ」のデータサイズは「横のピクセル数」×「縦のピクセル数」であり、そのデータの種別は“画像データ”である。この「画像データ」は、画像データの実体である。
【0141】
エンドパターン(End Pattern)のデータサイズは固定長(2pixelまたはそれ以上)とされ、そのデータ種別は“固定値”とされる。例えば、エンドパターンとして、「0xFE」、「0xFE」などといった固定値が定義される。受信側(HDMIシンク機器)では、エンドパターンを見つけることで、データの終わりを知る。なお、画像データが最後に配置される場合には、エンドパターンの省略が可能とされる(図15、図17参照)。
【0142】
[各ピクセル(Pixel)のデータ格納方法]
ここで、アクティブスペース領域における各ピクセル(Pixel)のデータ格納方法について説明する。HDMI規格では、ビデオ(Video)データで使用できる色の値の範囲が、図23に示すように、定義されている。
【0143】
DVD(Digital Versatile Disc)/BD(Blu-ray Disc)などの画像データ(映像データ)は、Y,Cb,Crのリミテッドレンジ(Limited range)で出力されることが多い。リミテッドレンジの場合、0−255の8ビットのデータがまるまる使える訳ではない。リミテッドレンジの場合、値の有効範囲(Valid Range)が「1 to 254」であるので、0,255の値は使用できない。
【0144】
この実施の形態では、上述したようにアクティブスペース領域で情報データを伝送する。そのため、以下のいずれかの方法で、アクティブスペース領域のデータを伝送する。
【0145】
「方法1」
この方法1は、リミテッドレンジ(Limited Range)で画像データを送信する場合、アクティブスペース領域のデータ(付加情報)をクリップせずにそのまま送信し、データ(付加情報)として0,255の使用を可能とする方法である。
【0146】
(方法1−1)
HDMI送信部102(図2参照)は、RGBのカラースペースをYCbCrのカラースペースに変換したり、逆にYCbCrのカラースペースをRGBのカラースペースに変換したりといったカラースペース変換機能や、リミテッドレンジ(Limited Range)で出力する場合には、0〜255の範囲のピクセル(Pixel)値を、リミテッドレンジの1〜254に丸める(クリップする)という機能を有する。
【0147】
HDMI送信部102は、立体画像データ(図8、図9参照)を出力する場合、アクティブビデオ(Active Video)領域内の画像データについては、必要に応じてカラースペース変換機能を適用したり、リミテッドレンジの範囲の値にクリップして送信する。しかし、HDMI送信部102は、アクティブスペース(Active Space)領域内のデータ(付加情報)についてはカラースペース変換機能は無効で、データの値もクリップせずにそのまま送信する。
【0148】
この場合、送信側(HDMIのソース機器)、例えば図2のディスクプレーヤ100の映像信号処理回路107は、3D映像生成部において、映像出力用のフレームメモリにアクティブビデオ領域に立体画像(3D画像)を描画し、アクティブスペース領域にデータを描画する。
【0149】
送信側は、HDMI送信部102に、描画した映像出力用フレームメモリの内容を送信するときに、以下のような情報を設定(指定)する(図58参照)。
(a)HDMIに送信する信号のビデオフォーマット(フレームレート、Vblank、Vactive、Hblank、Hactive、PixelClock(転送レート))、アクティブビデオ領域のカラースペース、Full Range/Limited Range、ビット数(Deep Color かどうか)、Active video、Active space 領域のそれぞれの個数、それぞれの領域の開始・終了ライン数
(b)フレームメモリ上の映像のライン数 (Vactive, Hactive, Hblank)、カラースペース、ビット数
【0150】
HDMI送信部102は、HDMIに送信する信号を生成する際に、フレームメモリ上のカラースペースとHDMIに出力するカラースペースとが一致しない場合には、指定されたアクティブビデオの領域(立体画像データ:左眼および右眼の画像データ)については、フレームメモリ上の各ドットのピクセル値を、指定された通りにカラースペースを変換してHDMIに出力するデータを生成する。一方、指定されたアクティブスペースの領域(付加情報)については、各ドットのピクセル値(データ)を変換せずにそのまま出力データを生成する。
【0151】
また、出力フォーマットとしてリミテッドレンジ(Limited Range)が指定されている場合には、指定されたアクティブビデオ領域(立体画像データ)については、各ドットの0〜255の範囲のピクセル値を1〜254の範囲にクリップして、HDMIに出力するデータを生成する。一方、指定されたアクティブスペースの領域(付加情報)については、各ドットのピクセル値(データ)をクリップせずにそのまま出力データを生成する。
【0152】
(方法1−2)
HDMI送信部102(図2参照)は、アクティブビデオ領域で送信する立体画像データと、アクティブスペース領域で送信するデータとを別々のデータとして入力し、画像送信時に、合成して出力するという機能を有する。また、HDMI送信部102は、映像信号処理回路107の3D映像生成部からの立体画像データ(左眼および右眼の画像データ)の0〜255の範囲のピクセル(Pixel)値を、リミテッドレンジの1〜254に丸める(クリップする)という機能を有する。
【0153】
送信側(HDMIのソース機器)、例えば図2のディスクプレーヤ100の映像信号処理回路107は、3D映像生成部において、アクティブビデオ(Active Video)領域に立体画像(3D画像)を描画する。また、CPU121は、アクティブスペース領域に配置して送信するデータ(付加情報)を生成しておく。
【0154】
立体画像データ(図8、図9参照)を出力する場合、3D映像生成部は垂直同期信号(Vsync)をトリガーとして左眼画像データをHDMI送信部102に送る。また、3D映像生成部は、左眼画像データの送信が終わると、HDMI送信部102が作成する擬似的な垂直同期信号(Vsync)をトリガーとして右眼画像データをHDMI送信部102に送る。
【0155】
また、CPU121は、アクティブスペース領域に対応して、作成したデータ(付加情報)をHDMI送信部102に送る。HDMI送信部102は、クリップ処理した左眼画像データ、クリップ処理していないデータ(付加情報)、クリップ処理した右眼画像データをこの順に送信する。
【0156】
なお、このような送り方をする場合、左眼画像データ、データ(付加情報)、右眼画像データの領域が隙間なしに隣接していると、映像信号処理回路107の3D映像生成部およびCPU121と、HDMI送信部102との間のタイミング合わせが難しくなってくる。この場合、アクティブスペース領域の先頭部分に上述したようにスペース(図15、図16、図17参照)を設けることで各データ領域の間に隙間ができ、上述のタイミング合わせが容易となる。
【0157】
「方法2」
この方法2は、リミテッドレンジ(Limited Range)で画像データを送信する場合、アクティブスペース領域も画像データと同じくバリッドレンジ(Valid Range)でデータを送信可能とする方法である。
【0158】
この方法2において、映像信号処理回路107の3D映像生成部は、アクティブスペース領域のピクセル値(8ビットデータ)を、予めリミテッドレンジの範囲(1〜254)に収めるように加工する。すなわち、3D映像生成部は、各ピクセルにおいてビット0〜ビット6で7ビットのデータを送信するものとし、図24に示すように、ビット7の値をビット6の反転値とする。これにより、アクティブスペース領域の各ピクセル値(8ビットデータ)は、64(01000000)〜191(10111111)の範囲の値になり、リミテッドレンジの範囲(1〜254)に収まる。
【0159】
この場合、各ピクセルにおいて7ビットのデータを送信することから、TMDSの#0,#1,#2の3チャネル分を合計すると、ピクセル毎に、21(=7×3)ビットのデータの格納が可能となる。そこで、例えば、16ビットは2バイトのデータ(付加情報)を格納するために使用され、残りの5ビットはパリティビットとして使用される。図25は、TMDSの#0,#1,#2の3チャネルのピクセル値(8ビットデータ)のビット構成例を示している。
【0160】
チャネル#0,#1,#2の3チャネルのビット6〜ビット4として、1バイトのデータを構成する8ビット(A7〜A0)と、それに対するパリティビット(Ap)が格納される。また、チャネル#0,#1,#2の3チャネルのビット3〜ビット1として、1バイトのデータを構成する8ビット(B7〜B0)と、それに対するパリティビット(Bp)が格納される。また、チャネル#0,#1,#2の3チャネルのビット7の値として、それぞれ、ビット6の反転値が格納される。また、チャネル#0,#1,#2の3チャネルのビット0として、それぞれ、ビット7〜ビット1に対するパリティビット(P)が格納される。
【0161】
なお、HDMIにおける映像伝送としては、ディープカラー(Deep Color)モードが存在する。このディープカラーモードは、各ピクセルの値を8ビットではなく、10ビット、12ビット、16ビットなどの多ビット長のデータとして伝送できるモードである。この実施の形態においては、各ピクセルについて8ビットの範囲でデータを伝送することについて説明する。
【0162】
ディープカラー伝送時は、上述の「方法2」で説明したと同様に、最上位ビットにその次のビットの値を反転した値をセットするという運用にし、ピクセル値の下位8ビットには0〜255のすべてを使用可能な状態にして伝送してもよい。この場合、送信側(HDMIのソース機器)におけるデータ生成の処理、受信側(HDMIのシンク機器)におけるデータ読み取りの処理が簡単になる。
【0163】
[エラー訂正]
アクティブスペース領域で用いられるTMDSコーディング(8b/10b符号化)は、本来画像用のコーディングであり、エラーに弱い。そのため、例えば、アクティブスペース領域に配されるデータ(付加情報)に信頼性向上のためのエラー訂正符号化が行われる。ここでは、アクティブスペース領域にデータ(付加情報)をフルレンジ(Full Range)で格納できる場合について説明する。リミテッドレンジ(LimitedRange)の場合は、他の方法でエラー訂正を扱う必要がある。
【0164】
エラー訂正符号化に、例えば、従来周知の3重化多数決法が採用される。図26は、3重化多数決法を採用した場合における、送信側のエンコード処理および受信側のデコード処理を示している。Xn[i]は、nバイト目のビットiのデータを示している。Xn0[i]は、チャネル#0のnバイト目のビットiのデータを示している。Xn1[i]は、チャネル#1のnバイト目のビットiのデータを示している。Xn2[i]は、チャネル#2のnバイト目のビットiのデータを示している。
【0165】
この場合、送信側では、図27に示すように、ピクセル毎の、チャネル#0,#1,#2の3チャネルの8ビットデータとして、同一のデータが配される。受信側では、ピクセル毎に、3チャネルの8ビットデータがビット毎に比較され、ビット7〜ビット0の値が多数決で決定されてエラー訂正される。
【0166】
[テレビ受信機(シンク機器)における立体画像データの補正]
テレビ受信機200における立体画像データ(3D画像データ)の補正処理について説明する。立体画像表示の場合は、視聴環境(スクリーンサイズ、視聴距離、周囲の明るさ)やユーザの好みに応じて画像データを補正してあげることが、2次元画像(2D画像)表示の場合以上に重要になると思われる。
【0167】
視聴環境の情報はテレビ受信機200側で取得しやすいため、視聴環境に応じた立体画像データの補正処理をテレビ受信機200で行うことが好ましい。また、ユーザの好みによる立体画像データの補正は、テレビ受信機200およびディスクプレーヤ100のどちらで行ってもよい。しかし、放送などを考えるとテレビ受信機200側で処理できた方が対応できるコンテンツの種類が広がるため望ましい。
【0168】
テレビ受信機200で立体画像データの補正、高画質化などの処理を行うことを考える。この場合、ディスクプレーヤ100で字幕、メニュー、OSDなどの画像データを立体画像データに重ね合わせてからテレビ受信機200に送信すると、立体画像データの補正、高画質化などの処理を行う際にその表示データが邪魔になる。ここで、メニューはDVD、BD等のディスクのメニューを意味し、OSDはディスクプレーヤの情報表示、メニューなどを意味している。
【0169】
図28は、この場合におけるデータの流れを概略的に示している。ディスクプレーヤ100側を説明する。ディスクからのビデオストリームがデコードされて立体画像データ(左眼画像データ、右眼画像データ)が得られる。また、ディスクからの字幕、メニュー等の情報に基づいて描画が行われて字幕、メニューなどの画像データが得られる。そして、立体画像データと字幕、メニューなどの画像データが合成されて、字幕、メニューなどの画像が重ね合わせられた立体画像データが生成され、テレビ受信機200に送信される。テレビ受信機200側を説明する。ディスクプレーヤ100から、字幕、メニューなどの画像が重ね合わせられた立体画像データが受信される。そして、この立体画像データにより、字幕、メニューなどの画像が重ね合わせられた立体画像が表示される。
【0170】
そこで、この実施の形態では、立体画像データとは別に、アクティブスペース領域で字幕、メニュー、OSDなどの画像情報をテレビ受信機200に送信する。そして、テレビ受信機200側で、立体画像データを補正してから、この立体画像データに字幕、メニュー、OSDなどの画像データを重ね合わせる。これにより、立体画像データの補正、高画質化などの処理品質の向上を図ることができる。
【0171】
図29は、この場合におけるデータの流れを概略的に示している。ディスクプレーヤ100側を説明する。ディスクからのビデオストリームがデコードされて立体画像データ(左眼画像データ、右眼画像データ)が得られる。また、ディスクからの字幕、メニュー等の情報に基づいて描画が行われて字幕、メニューなどの画像データが得られる。立体画像データは、アクティブビデオ領域に配されて、テレビ受信機200に送信される。また、字幕、メニューなどの画像データおよびディスクからの画像補正用のメタデータは、アクティブスペース領域に配されて、テレビ受信機200に送信される。
【0172】
テレビ受信機200側を説明する。ディスクプレーヤ100から、立体画像データと、字幕、メニューなどの画像データが別々に受信される。また、ディスクプレーヤ100から、画像補正用のメタデータが受信される。この画像補正用のメタデータに基づいて、立体画像データの補正が行われる。そして、この補正後の立体画像データと字幕、メニューなどの画像データが合成されて、字幕、メニューなどの画像が重ね合わせられた立体画像データが生成される。この立体画像データにより、字幕、メニューなどの画像が重ね合わせられた立体画像が表示される。
【0173】
なお、図29に破線で示すように、ディスクからの字幕、メニュー等の情報がアクティブスペース領域に配されてディスクプレーヤ100からテレビ受信機200に送信されてもよい。この場合、テレビ受信機200側において、字幕、メニュー等の情報に基づいて描画が行われて字幕、メニューなどの画像データが得られ、この画像データは補正後の立体画像データに合成される。
【0174】
[字幕情報の伝送]
ディスクプレーヤ100(ソース機器)からテレビ受信機200(シンク機器)に、アクティブスペース領域を利用して、以下のような情報を含む情報ブロックを送信する。これにより、テレビ受信機200側で、字幕、メッセージ、文字列を表示することが可能となる。
【0175】
(a)文字列
(b)文字の表示方向 (左→右、右→左、上→下)
(c)表示領域: 位置(座標)、サイズ、背景色(透過度αも指定可能)
(d)文字表示位置、文字揃え(横方向:左揃え/右揃え/中央揃え/均等割付、縦方向:上揃え/中央揃え/下揃え など)
(e)文字間隔、改行幅
【0176】
(f)3D表示方法
・表示オフセット:左右にxドットずらして表示する
・影をつける
など
(g)文字コードの種類
(h)フォントの種類
(i)フォントサイズ
(j)文字装飾 (太字、斜体、下線、など)
(k)文字色(透過度 α も指定可能)
【0177】
(l)文字の縁取りの幅・色(透過度 α も指定可能)
(m)背景のテクスチャの使用
使用する場合:
・テクスチャとして使用するイメージID(画像領域で伝送される)
(n)文字のテクスチャの使用
使用する場合:
・テクスチャとして使用する イメージID
(o)外字の定義機能 (外字はビットマップとして別データで伝送する)
【0178】
(p)表示時間
・表示を継続する フレーム数
次に 字幕情報が送ってきた時点で前の字幕の表示は消える
字幕を消すために、空文字列の字幕情報を伝送してもよい
(q)アニメーション (フェードイン、フェードアウト、スクロールなど)
・毎フレーム 字幕情報を送ってもよいし、
字幕の表示開始時に、表示時間+アニメーションの情報を送ってもよい
【0179】
BD−ROM規格では、字幕データの記録方式として、PG(Presentation Graphics)と、TextST(Text Subtitle)の2種類が定義されている。PGは、画像データとして字幕データを記録する方式である。TextSTは、テキスト、フォントデータとして字幕データを記録する方式である。
【0180】
TextST方式の字幕データでは、以下のような文字表示情報がBD−ROMディスクに記録されている。
・文字列
・表示領域: 位置、サイズ、背景色
・文字表示位置(座標、表示エリアの幅)、文字揃え(縦方向、横方向)、改行幅
・フォントの種類、文字装飾、フォントサイズ、文字色、文字の縁取りの幅・色
など
【0181】
ディスクプレーヤ100は、TextST方式の字幕データを含む情報ブロックを伝送データのアクティブスペース領域に配することで、当該TextST方式の字幕データをHDMIでテレビ受信機200に送信できる。テレビ受信機200は、伝送データのアクティブスペース領域から当該TextST方式の字幕データを取得し、字幕を表示できる。
【0182】
なお、TextST方式の字幕データには、字幕の表示タイミングに関する情報が含まれる。そのため、ディスクプレーヤ100は、字幕表示を開始するタイミングで字幕データの送出を開始し、表示時間を指定するか、字幕表示を終了するタイミングで空文字列を送出することによって字幕表示を終了する。
【0183】
日本のデジタル放送における、字幕・文字スーパーのデータとしては、
・文字列
・文字サイズ(フォントサイズ)
・文字色、背景色
・アンダーライン(下線)
・縁取り
・字体
・フォント
・スクロール
・外字
といった情報が含まれる。
【0184】
現在、日本のデジタル放送は3Dに対応していない。しかし、将来3Dに対応した場合、ディスクプレーヤ100がデジタル録画されたBD−REディスクの再生をするときに、字幕・文字スーパーのデータが存在する場合がある。その場合、ディスクプレーヤ100は、字幕・文字スーパーのデータを含む情報ブロックを伝送データのアクティブスペース領域に配することで、当該字幕・文字スーパーのデータをHDMIでテレビ受信機200に送信できる。テレビ受信機200は、伝送データのアクティブスペース領域から当該字幕・文字スーパーのデータを取得し、字幕を表示できる。
【0185】
なお、米国で運用されているクローズドキャプション(Closed Caption)のデータを、上述した字幕データ等と同様に、伝送データのアクティブスペース領域を利用して、ディスクプレーヤ100からテレビ受信機200に送信することもできる。
【0186】
テレビ受信機200(シンク機器)側では、字幕情報として字幕表示に必要なデータがHDMIで送信されてきたら、字幕画像データを生成し、さらに3D表示方法(表示オフセット、影)の処理を行う。そして、立体画像データを構成する左眼画像データ、右眼画像データに字幕の画像データを重ね合わせることによって字幕を表示する。
【0187】
上述の字幕画像データの生成、3D表示方法の処理、重ね合わせの処理などは、テレビ受信機200の例えば映像信号処理回路208、グラフィック生成回路209等で実行される(図3参照)。
【0188】
[撮影時カメラ情報の伝送]
ディスクプレーヤ100は、テレビ受信機200に、立体画像データの補正を行うためのメタデータとして撮影時のカメラ情報を送信する。カメラの方向、ズームの情報などはフレーム精度でデータを転送することが要求される。そのため、立体画像データと同じプレーンのアクティブスペース領域に情報を入れて伝送することにより、フレーム精度での伝送を保障できる。
【0189】
ここで、撮影時のカメラ情報は、例えば、
・カメラ間距離
・L,Rのカメラの方向
・L,Rのカメラの画角
・L,Rのカメラのレンズ情報、フォーカス情報
などである。
【0190】
テレビ受信機200は、奥行きを検出して、立体画像データ(左眼画像データおよび右眼画像データ)の補正を行う。テレビ受信機200のCPU221は、左眼画像データおよび右眼画像データに基づいて、左眼、右眼の画像を解析し、特徴点抽出、左眼、右眼の画像間の相関を検出することにより、奥行情報を推測することができる。
【0191】
また、テレビ受信機200のCPU221は、奥行情報を推測した後、スクリーンサイズと視距離(テレビ受信機200と視聴者間の距離)の情報に基づいて、左眼画像データおよび右眼画像データを補正する。これにより、テレビ受信機200は、視差の正しい立体画像を表示できる。
【0192】
ここで、奥行きを検出して立体画像データの補正を行う場合の処理の流れを説明する。CPU221は、まず、奥行き情報の推測を行う。CPU221は、立体画像データを構成する左眼(L)画像データおよび右眼(R)画像データを解析し、L,R画像間の相関を求める。立体画像の表示のために撮影されたL,Rの画像は、それぞれカメラの垂直(上下)方向ベクトルは一致していると仮定してよい。
【0193】
そのため、図30に示すように、L,Rの画像に関して、水平方向のライン単位で、L,R画像間の相関を求める。この場合、輝度・色情報、および輝度・色に対して微分等のフィルタ(エッジ検出)をかけた後の画像情報などを用いて相関を求め、画像の各領域・各点に対して左右のずれを求める。
【0194】
L,Rの画像が図30に示すものであるとき、図31に示すように、円筒の物体(オブジェクト)に関しては、スクリーン面より手前で左右の視線が交差する。そのため、この円筒は基準面(スクリーン面)よりも手前に存在していることがわかる。この場合、奥行きがどのあたりなのかも計算によって求めることができる。また、直方体の物体(オブジェクト)に関しては、スクリーン面で左右の視線が交差する。そのため、直方体は基準面(スクリーン面)の位置に存在していることがわかる。
【0195】
この画像の奥行き情報は、図32のように表現できる。すなわち、円筒は基準面より手前、直方体は基準面の位置に存在する。また、物体の位置は左右の領域の中間だと想定することができる。このようにして、奥行き情報を推測できる。
【0196】
カメラの撮影条件として、2眼のレンズ間の距離、レンズの角度などの情報を利用できるのであれば、カメラの位置・角度情報と、各領域・各点の左右のずれ情報から、各領域・各点の奥行き情報をより正確に推測することができる。
【0197】
ここで、図33に示すように、カメラの方向をα、カメラの画角(水平方向)をβ、カメラ間距離をdとする。また、図34に示すように、画像の横幅のドット数をWとし、画像の高さのドット数をHとする。
【0198】
左眼(L)画像の(xl,yl)の位置に表示される物体Aに関し、図35に示すように、カメラの方向(軸)と“物体−カメラ”を結ぶ線の間の角度γ1は、(1)式で表される。
γl=sgn(xl−W/2)・atan((xl/W−1/2)・tan(βl/2)) ・・・(1)
そのため、この物体は、(2)式で表される直線上に存在する。
X=tan(αl+γl)・Z−d/2 ・・・(2)
【0199】
また、図示しないが、右眼(R)画像の(xr,yr)の位置に表示される物体Aに関し、カメラの方向(軸)と“物体− カメラ”を結ぶ線の間の角度γrは、(3)式で表される。
γr=sgn(xr−W/2)・atan((xr/W−1/2)・tan(βr/2)) ・・・(3)
そのため、この物体は、(4)式で表される直線上に存在する。
X=tan(−αr+γr )・Z+d/2 ・・・(4)
【0200】
(2)式、(4)式を解くと、撮影時の物体Aの位置(Z,X)が、以下の(5)式、(6)式のように求められる。
Z=d/(tan(αl+γl)−tan(−αr+γr)) ・・・(5)
X=d・(tan(αl+γl)+tan(−αr+γr))/(2・(tan(αl+γl)
−tan(−αr+γr)) ・・(6)
【0201】
このように、左眼(L)画像、右眼(R)画像の相関を求め、それぞれの画像における物体の座標が求められると、撮影時の物体の位置を計算することができ、撮影時の空間配置を計算することができる。したがって、各領域・各点の奥行き情報をより正確に推測できる。
【0202】
CPU221は、上述のようにして物体の位置、奥行き情報(撮影時の空間配置)を推測した後に、ユーザの視聴環境において正しく3D的な奥行きで表示できるように、立体画像データ(左眼画像データ、右眼画像データ)を再構成する。この場合、CPU221は、スクリーンサイズ(3D映像を表示するスクリーンの物理的な大きさ)および視距離(テレビ受信機と視聴者の間の距離)の情報を用いる。また、この場合、CPU221は、モデリングの処理で、推測で求められた物体の位置、奥行き情報をセットし、その後は、視点・光源設定、レンダリング、映像出力の処理を行う。
【0203】
立体画像データ(左眼画像データ、右眼画像データ)の再構成の流れを簡単に説明する。
立体画像データを生成する場合、図36に示すように、3D(3次元)空間でモデリングし、2D(2次元)のスクリーンに投影することによって、2Dの画像(左眼画像、右眼画像)を生成する。この図36のモデリング例においては、スクリーン面の奥に直方体のオブジェクトOaと、円柱のオブジェクトObが配置されている。この場合、図37に示すように、スクリーンサイズおよび視距離をパラメータとして用いることにより、正確な視差を持つ2Dの画像(左眼画像、右眼画像)を生成できる。
【0204】
図38のフローチャートは、CPU221における立体画像データの再構成の流れを概略的に示している。まず、CPU221は、ステップST1において、初期化処理を行う。この場合、CPU221は、各種ライブラリ・メモリの初期化、VRAM(フレームバッファ)の設定、出力設定などを含む、各種初期化の処理を行う。
【0205】
次に、CPU221は、ステップST2において、モデリング処理を行う。このモデリング処理では、CPU221は、各描画フレームにおいて、描画対象の各頂点データの計算を行う。この場合、各物体のモデルを構築する。そして、物体毎の「モデル座標系」(「ローカル座標系」)上で、描画する各頂点のデータを計算する。そして、描画する各物体を、「ワールド座標系」の空間に配置する。すなわち、「モデル座標系」上で計算された描画対象の各物体の頂点データを「ワールド座標系」上に配置していく。
【0206】
次に、CPU221は、ステップST3において、視点・光源の設定処理を行うと共に、ステップST4において、レンダリングを行って、左右の画像データを生成する。立体画像データを生成する場合には、この視点の設定が重要である。この場合、CPU221は、左眼画像について、視点・光源設定、レンダリングを行って、左眼画像データを生成し、その後に、右眼画像について、視点・光源設定、レンダリングを行って、右眼画像データを生成する。
【0207】
視点・光源設定の処理では、視点位置・方向の設定を行う。描画する各物体が配置された「ワールド座標系」において、視点、注視点、上方向ベクトル(視点の姿勢を決めるために、どの方向がカメラの上向きなのかを指定する)、カメラの画角、カメラのアスペクトを設定する。この場合、両眼の感覚だけ離して、左眼用、右眼用の視点の座標を決める。注視点は、左眼用、右眼用で、同じ点を指定する。上方向ベクトルは、左眼・右眼が水平に並ぶように、左眼用、右眼用で同じ方向を指定する。
【0208】
カメラの画角(視野角)に関しては、テレビ受信機200のスクリーンサイズ、視距離から求められる画角を指定する。この場合、テレビ受信機200から取得したスクリーンサイズに関する情報に基づいて、スクリーンサイズとしての高さ、横幅を求める。視距離については、ユーザが設定した値、あるいはスクリーンサイズを元にした推奨視聴距離(例えば、画面の高さの2〜3倍)といった値を用いる。
【0209】
カメラの画角として縦方向の画角を指定する場合は、スクリーンサイズの高さと視距離から、実際の視環境における画角を求めることができる。カメラの画角として横方向の画角を指定する場合は、スクリーンサイズの横幅と視距離から実際の視環境における画角を求めることができる。カメラのアスペクトは、出力する画像のアスペクトを指定する。例えば、Full HD (1920x1080 16:9) で出力する場合は、16:9 となるように指定する。
【0210】
図39は、カメラの画角およびアスペクトの計算方法を説明するための参考図である。この計算方法では、画角およびアスペクトを、より正確な値で得ることができる。この場合、画角1は(7)式で求められ、画角2は(8)式で求められる。そして、画角は、画角1と画角2の加算値として、(9)式で求められる。
【0211】
[画角1] = atan (([スクリーンサイズ]/2 − [両眼の間隔]/2) / [視距離])
・・・(7) [画角2] = atan (([スクリーンサイズ]/2 + [両眼の間隔]/2) / [視距離])
・・・(8) [画角] = [画角1] + [画角2]
= atan (([スクリーンサイズ]/2 − [両眼の間隔]/2) / [視距離])
+ atan (([スクリーンサイズ]/2 + [両眼の間隔]/2) / [視距離])
・・・(9)
【0212】
また、指定するカメラのアスペクトが [横]/[縦]の場合、アスペクト(横/縦)は、(10)式で求められる。
[アスペクト(横/縦)]
=cos ([画角]/2 − [画角1]) * [出力する映像のアスペクト(横/縦)]
=cos( atan (([スクリーンサイズ]/2 + [両眼の間隔]/2) / [視距離])
− atan ( ( [スクリーンサイズ] /2 − [両眼の間隔]/2 ) / [視距離]))
* [出力する映像のアスペクト(横/縦)]
・・・(10)
【0213】
また、指定するカメラのアスペクトが [縦] / [横]の場合、アスペクト(縦/横)は、(9)式の逆数となる。
【0214】
レンダリングの処理では、テクスチャマッピング、深度テスト、アルファテスト、ステンシルテスト、ブレンディング、各種エフェクト処理などを行う。そして、このレンダリング処理では、表示する最終画像に対応した左眼画像データおよび右眼画像データを生成して、VRAM(フレームバッファ)に展開(描画)する。
【0215】
次に、CPU2210は、ステップST5において、VRAMに展開(描画)された左眼画像データおよび右眼画像データ、つまり補正後の左眼画像データおよび右眼画像データを読み出し、例えば、映像信号処理回路208に出力する。
【0216】
[メニュー、OSD等の画像情報の伝送]
ディスクプレーヤ100(ソース機器)からテレビ受信機200(シンク機器)に、アクティブスペース領域を利用して、メニュー、OSDの画像情報(圧縮画像データ)を含む情報ブロックを送信する。これにより、テレビ受信機200側で、メニュー、OSDを表示することが可能となる。ここで、メニューはDVD、BD等のディスクのメニューを意味し、OSDはディスクプレーヤの情報表示、メニューなどを意味している。画像情報は、メニュー、OSDの画像を例えばカラーパレット、ランレングス圧縮等によって画像圧縮して得られた情報である。
【0217】
なお、この場合、ディスクプレーヤ100からテレビ受信機200には、上述したメニュー、OSDの画像情報(圧縮画像データ)だけでなく、画像サイズ、表示位置等の情報も送られる。以下は、送信する情報の一例を示している。
【0218】
(a)画像サイズ
(b)表示位置
(c)3D表示方法
・オフセット
・L,Rでカラーパレットを変更する
・影をつける
など
【0219】
(d)透過度α
(e)表示時間
(f)アニメーション (フェードイン、フェードアウト、スクロールなど)
・毎フレーム 字幕情報を送ってもよいし、
字幕の表示開始時に 表示時間+アニメーションの情報を送ってもよい
(g)画像情報(圧縮画像データ)
・カラーパレット
・ランレングス圧縮された画像データ
【0220】
BD−ROM規格では、メニューデータの記録方式として、IG(Interactive Graphics)が定義されている。また、BD−ROM規格では、字幕データの記録方式として、PG(Presentation Graphics)が定義されている。IG,PGはカラーパレットを用いたランレングス方式で画像データが圧縮されている。1画面内に複数個のIG,PGオブジェクトが存在することもある。ディスクプレーヤ100で一旦IG,PGオブジェクトを描画し、それを再度カラーパレット+ランレングス圧縮で圧縮しなおしてから、上述したように情報ブロックに含めて送信してもよい。
【0221】
あるいは、各IG,PGオブジェクトを順番に情報ブロックに含めてディスクプレーヤ100からテレビ受信機200に送信し、テレビ受信機200でデータの配置順にオブジェクトを描画してもよい。この場合、テレビ受信機200でデータの配置順にオブジェクトを描画していくことにより、IG,PGオブジェクトの全てを、テレビ受信機200側で描画することも可能である。
【0222】
[シフト表示用の補助画像データの伝送]
テレビ受信機200において、立体画像(3D画像)の奥行き感を簡単に調整する方法として、画像のシフト表示という方法が存在する。左眼(L)画像、右眼(R)画像の表示位置を左右に数ドットずらすことによって、立体画像の奥行き感を全体に前後させることができる。例えば、左眼(L)画像を左に、右眼(R)画像を右にシフトさせると、立体画像全体が奥にシフトする。また、例えば、左眼(L)画像を右に、右眼(R)画像を左にシフトさせると、立体画像全体が手前にシフトする。
【0223】
左眼(L)画像、右眼(R)画像の表示位置をシフトさせたとき、反対側の端の画像データがない場合には、シフト分だけ、反対側の端が黒画として表示される。例えば、シフト前の左眼(L)画像、右眼(R)画像が図40(a)に示すように表示されているとき、左眼(L)画像を左に、右眼(R)画像を右にシフトさせる。このような画像シフトは、立体画像が手前に飛び出しすぎると、疲労感が増したり、人によっては嫌われたりすることから、それを改善するために行われる。しかし、このような画像シフトにより、画像データが不足するため、図40(b)に示すように、それぞれの画像の端に黒画が表示される状態となる。
【0224】
ディスクプレーヤ100(ソース機器)からテレビ受信機200(シンク機器)に、アクティブスペース領域を利用して、上述の画像シフト時に黒画となる部分の画像データ(補助画像データ)を含む画像ブロックを送信する。これにより、テレビ受信機200側で、画像シフト時に、この補助画像データを用いて黒画となる部分に有効な画像を表示でき、黒画の発生を防止できる。
【0225】
[OSD表示用の画像データの伝送]
ディスクプレーヤ100(ソース機器)からテレビ受信機200(シンク機器)に、アクティブスペース領域を利用して、OSD表示用の画像データを含む画像ブロックを送信する。これにより、テレビ受信機200側で、OSDを表示することが可能となる。この場合、図41に示すように、アクティブスペース領域に配されるOSD表示用の画像データが、テレビ受信機200側に備えられるピクチャープレーン(Picture Plane)と呼ばれる仮想的なバッファに書き込まれる。テレビ受信機200において、このバッファは、例えば、映像信号処理回路208が備える図示しないメモリ内に構成される。
【0226】
このピクチャープレーンは、立体画像データ(3D画像データ)が配されるアクティブビデオ領域と同じ構成とされている。テレビ受信機200は、このピクチャープレーンを複数持つことができる。そして、各ピクチャープレーンは、3Dビデオフォーマット(図8、図9参照)で示される属性を持つアクティブビデオ領域(Active Video Area)に分かれている。アクティブスペース領域に用意される画像データは、これらのアクティブビデオの属性に適合する必要がある。この属性は、L/R/depth/Graphics/Graphics−depth,odd/even, YCC/RGB, 4:2:2/4:4:4, deep color, colorimetryなどである。
【0227】
なお、アクティブスペース領域に配される情報データとしてピクチャーディスクリプタ(Picture Descriptor)が設けられる。このピクチャーディスクリプタには、アクティブスペース領域内の画像データの位置、画像サイズ、画像データを書き込むべきピクチャープレーン番号およびアクティブビデオ領域番号、画像データを書き込むべきアクティブビデオ領域の位置等の情報が含まれる。
【0228】
テレビ受信機200側では、あるピクチャープレーンに書き込んだOSD表示用の画像データが、次のフレームのタイミングで伝送されている立体画像データ(伝送Video)とαブレンドの演算が行われて、OSD画像の重ね合わされた立体画像が表示される。図42は、αブレンドの演算の様子を示している。複数のピクチャープレーンを用いることで、付加情報に含まれる画像データの種類に応じて異なるピクチャープレーンに書き込むことができ、更新などの処理を効率的に行うことが可能となる。例えば、画像データの種類として、動きのある画像のデータ、静止している画像のデータ等がある。止まっている画像のデータは毎フレームで更新する必要はなく、動きのある画像のデータだけを毎フレームで更新すればよい。
【0229】
因みに、α値を0にした場合は、ピクチャープレーンの画像を表示しないので、描画が終了していないピクチャープレーンについて、このα値を0にすることによって、表示の同期をとることが可能となる。また、カーソルのように高速に表示する必要のあるデータは、フレーム毎に0以外のα値を用いることにより、常に表示することが可能となる。
【0230】
図43は、情報ブロック(図20参照)のペイロードに格納される情報の構成例を示している。
【0231】
第0バイトの第6ビット〜第4ビットに、ピクチャープレーン数NP(Number of Picture Plane)−1を示す数値が配置される。なお、ピクチャープレーン数は1以上とされる。また、第1バイト〜第NPバイトに、それぞれ、各ピクチャープレーンのα値(Alpha Blending value of Picture Plane)が配置される。また、第NP+1バイト〜第NP+2バイトに、ピクチャーディスクリプタ(Picture Descriptor)の個数を示す2バイトの情報(PictureDescriptor Count)が配置される。なお、“H”は上位ビット側を示し、“L”は下位ビット側を示している。以下の各情報においても同様である。
【0232】
第NP+3バイト以降に、12バイトの固定長のピクチャーディスクリプタが、上述の個数分だけ配置される。各ピクチャーディスクリプタには、画像ブロックに格納された画像データを操作し、ピクチャープレーン上に描画するために必要な情報が記述されている。
【0233】
図44は、ピクチャーディスクリプタ(Picture Descriptor)(12バイト)の構成例を示している。第0バイトの第7ビット〜第5ビットの3ビットは、操作を示すオペレーション(Operation)フィールドとされている。また、第0バイトの第4ビット〜第0ビットの5ビットは、操作に必要となるパラメータを示すオペランド(Operand)フィールドとされている。
【0234】
また、第1バイトおよび第2バイトに、アクティブスペース領域内の画像データの所在を示す2バイトのポインタ情報(Picture Buffer Pointer)が配置される(図45参照)。このポインタ情報は、例えば、アクティブススペース領域の最初から画像データが含まれる画像ブロックの最初までのピクセル(Pixel)数から1を引いた値を示す。なお、ここで言うアクティブスペース領域は、複数のアクティブスペース領域が存在する3Dビデオフォーマットの場合には結合後のものを意味している(図9,図10参照)。
【0235】
また、第3バイトおよび第4バイトに、矩形画像の幅(ピクセル数)を示す2バイトの情報(Picture Width)が配置される(図45参照)。また、第5バイトおよび第6バイトに、矩形画像の高さ(ピクセル数)を示す2バイトの情報(Picture Hight)が配置される(図45参照)。
【0236】
また、第7バイトの第6ビット〜第4ビットに、画像データが書き込まれるピクチャープレーン番号を示す3ビットの情報(Picture Plane #.)が配置される。また、この第7バイトの第2ビット〜第0ビットに、画像データが書き込まれるピクチャープレーン内のアクティブビデオ領域番号を示す3ビットの情報(Active Video Area #.)が配置される。なお、アクティブビデオ領域番号は、垂直ブランキング期間の後、0から割り当てられる。
【0237】
また、第8バイトおよび第9バイトに、矩形画像が書き込まれるアクティブビデオ領域中の水平位置を表す2バイトの情報(Active Video Horizontal position)が配置される。この情報は、アクティブビデオ領域の左上を原点としたときの、矩形画像の左上の水平位置を示している(図45参照)。また、第10バイトおよび第11バイトに、矩形画像が書き込まれるアクティブビデオ領域中の垂直位置を表す2バイトの情報(Active Video Vertical position)が配置される。この情報は、アクティブビデオ領域の左上を原点としたときの、矩形画像の左上の垂直位置を示している(図45参照)。
【0238】
図46は、ピクチャーディスクリプタのオペレーションフィールド(3ビット)で示される操作のリストを示している。オペレーションフィールドが「0x0」であるとき、「NOP」の操作を示す。この操作では、何もしない。また、オペレーションフィールドが「0x1」であるとき、「Clear Picture Plane」の操作を示す。この操作では、プレーン(Plane)をクリアする。
【0239】
また、オペレーションフィールドが「0x2」であるとき、「Clear Active Video Area」の操作を示す。この操作では、アクティブビデオ領域(Active Video Area)をクリアする。また、オペレーションフィールドが「0x3」であるとき、「Put Picture Horizontally N+1」の操作を示す。この操作では、ピクチャ(Picture)を水平方向にN個並べておく。この場合、ピクチャーディスクリプタのオペランドフィールド(3ビット)では、操作に必要となるパラメータとして、「N」が与えられる。
【0240】
また、オペレーションフィールドが「0x4」であるとき、「Put Picture Vertically N+1」の操作を示す。この操作では、ピクチャ(Picture)を垂直方向にN個並べておく。この場合、ピクチャーディスクリプタのオペランドフィールド(3ビット)では、操作に必要となるパラメータとして、「N」が与えられる。また、オペレーションフィールドが「0x5」であるとき、「Put Picture Magnification N+1」の操作を示す。この操作では、ピクチャ(Picture)をN倍しておく。この場合、ピクチャーディスクリプタのオペランドフィールド(3ビット)では、操作に必要となるパラメータとして、「N」が与えられる。
【0241】
図47は、「NOP」の操作を行う場合のピクチャーディスクリプタ(Picture Descriptor)の構成例を示している。オペレーションフィールドは「0x0」とされている。この操作では、その他のフィールドに情報は配置されない。
【0242】
図48は、「Clear Picture Plane」の操作を行う場合のピクチャーディスクリプタ(PictureDescriptor)の構成例を示している。オペレーションフィールドは「0x1」とされている。また、第7バイトの第6ビット〜第4ビットに、クリアすべきピクチャープレーンの番号を示す3ビットの情報(Picture Plane #.)が配置されるが、その他のフィールドに情報は配置されない。この場合、受信側(テレビ受信機200)では、情報(Picture Plane #.)に基づいてクリアすべきピクチャープレーンの番号が認識され、そのピクチャープレーンが有する全てのアクティブビデオ領域内の画像データがクリアされる。
【0243】
図49は、「Clear Active Video Area」の操作を行う場合のピクチャーディスクリプタ(Picture Descriptor)の構成例を示している。オペレーションフィールドは「0x2」とされている。また、第7バイトの第6ビット〜第4ビットに、クリアすべきアクティブビデオ領域を有するピクチャープレーンの番号を示す3ビットの情報(Picture Plane #.)が配置される。さらに、第7バイトの第2ビット〜第0ビットに、クリアすべきアクティブビデオ領域の番号を示す3ビットの情報(Active Video Area #.)が配置される。その他のフィールドに情報は配置されない。
【0244】
この場合、受信側(テレビ受信機200)では、情報(Picture Plane #.)に基づいてクリアすべきアクティブビデオ領域を有するピクチャープレーンの番号が認識される。そして、受信側(テレビ受信機200)では、情報(Active Video Area #.)に基づいてクリアすべきアクティブビデオ領域の番号が認識され、そのアクティブビデオ領域内の画像データがクリアされる。
【0245】
図50は、「Put Picture Horizontally N+1」の操作を行う場合のピクチャーディスクリプタ(Picture Descriptor)の構成例を示している。オペレーションフィールドは「0x3」とされ、オペランドフィールドにパラメータとして「N」が与えられている。また、第7バイトの第6ビット〜第4ビットに、画像データを書き込むべきアクティブビデオ領域を有するピクチャープレーンの番号を示す3ビットの情報(Picture Plane #.)が配置される。さらに、第7バイトの第2ビット〜第0ビットに、画像データを書き込むべきアクティブビデオ領域の番号を示す3ビットの情報(Active Video Area #.)が配置される。この場合、その他のフィールドの情報も必要となるので、各フィールドには情報が配置される。
【0246】
図51は、図50に示す「Put Picture Horizontally N+1」の操作を行うピクチャーディスクリプタによる操作の一例を示している。この例は、N=1の場合の例である。この場合、受信側(テレビ受信機200)では、2バイトのポインタ情報(Picture Buffer Pointer)に基づいてアクティブスペース領域から矩形画像の画像データが読み出される。そして、受信側では、この矩形画像の画像データが、指定されたピクチャープレーンの指定されたアクティブビデオ領域に書き込まれる。
【0247】
この場合、受信側(テレビ受信機200)では、矩形画像の大きさ、およびアクティブビデオ領域中における矩形画像の画像データを書き込むべき矩形領域の左上の位置が認識される。矩形画像の大きさは、矩形画像の幅を示す2バイトの情報(Picture Width)と、矩形画像の高さを示す2バイトの情報(PictureHight)に基づいて認識される。矩形領域の左上の位置は、水平位置、垂直位置を表す各2バイトの情報(ActiveVideo Horizontal position,Active Video Verticalposition)に基づいて認識される。
【0248】
N=0の場合、アクティブビデオ領域中に矩形画像の画像データが1個分だけ書き込まれるが、上述したようにN=1の場合には、さらに、水平方向に並べて1個分だけ同じ画像データが書き込まれる。つまり、N=1の場合には、矩形画像の画像データが水平方向に2個分だけ並べて書き込まれる。なお、この場合、画像データの書き込み位置がアクティブビデオ領域を超えるときは、アクティブビデオ領域内にクリップされる。
【0249】
図52は、「Put Picture Vertically N+1」の操作を行う場合のピクチャーディスクリプタ(Picture Descriptor)の構成例を示している。オペレーションフィールドは「0x4」とされ、オペランドフィールドにパラメータとして「N」が与えられている。また、第7バイトの第6ビット〜第4ビットに、画像データを書き込むべきアクティブビデオ領域を有するピクチャープレーンの番号を示す3ビットの情報(Picture Plane #.)が配置される。さらに、第7バイトの第2ビット〜第0ビットに、画像データを書き込むべきアクティブビデオ領域の番号を示す3ビットの情報(Active Video Area #.)が配置される。この場合、その他のフィールドの情報も必要となるので、各フィールドには情報が配置される。
【0250】
図53は、図52に示す「Put Picture Vertically N+1」の操作を行うピクチャーディスクリプタによる操作の一例を示している。この例は、N=2の場合の例である。この場合、受信側(テレビ受信機200)では、2バイトのポインタ情報(Picture Buffer Pointer)に基づいてアクティブスペース領域から矩形画像の画像データが読み出される。そして、受信側では、この矩形画像の画像データが、指定されたピクチャープレーンの指定されたアクティブビデオ領域に書き込まれる。
【0251】
この場合、受信側(テレビ受信機200)では、矩形画像の大きさ、およびアクティブビデオ領域中における矩形画像の画像データを書き込むべき矩形領域の左上の位置が認識される。矩形画像の大きさは、矩形画像の幅を示す2バイトの情報(Picture Width)と、矩形画像の高さを示す2バイトの情報(PictureHight)に基づいて認識される。矩形領域の左上の位置は、水平位置、垂直位置を表す各2バイトの情報(ActiveVideo Horizontal position,Active Video Verticalposition)に基づいて認識される。
【0252】
N=0の場合、アクティブビデオ領域中に矩形画像の画像データが1個分だけ書き込まれるが、上述したようにN=2の場合には、さらに、垂直方向に並べて2個分だけ同じ画像データが書き込まれる。つまり、N=2の場合には、矩形画像の画像データが垂直方向に3個分だけ並べて書き込まれる。なお、この場合、画像データの書き込み位置がアクティブビデオ領域を超えるときは、アクティブビデオ領域内にクリップされる。
【0253】
図54は、「Put Picture Magnification N+1」の操作を行う場合のピクチャーディスクリプタ(Picture Descriptor)の構成例を示している。オペレーションフィールドは「0x5」とされ、オペランドフィールドにパラメータとして「N」が与えられている。また、第7バイトの第6ビット〜第4ビットに、画像データを書き込むべきアクティブビデオ領域を有するピクチャープレーンの番号を示す3ビットの情報(Picture Plane #.)が配置される。さらに、第7バイトの第2ビット〜第0ビットに、画像データを書き込むべきアクティブビデオ領域の番号を示す3ビットの情報(Active Video Area #.)が配置される。この場合、その他のフィールドの情報も必要となるので、各フィールドには情報が配置される。
【0254】
図55は、図54に示す「Put Picture Magnification N+1」の操作を行うピクチャーディスクリプタによる操作の一例を示している。この例は、N=1の場合の例である。この場合、受信側(テレビ受信機200)では、2バイトのポインタ情報(Picture Buffer Pointer)に基づいてアクティブスペース領域から矩形画像の画像データが読み出される。そして、受信側では、この矩形画像の画像データが、指定されたピクチャープレーンの指定されたアクティブビデオ領域に書き込まれる。
【0255】
この場合、受信側(テレビ受信機200)では、矩形画像の大きさ、およびアクティブビデオ領域中における矩形画像の画像データを書き込むべき矩形領域の左上の位置が認識される。矩形画像の大きさは、矩形画像の幅を示す2バイトの情報(Picture Width)と、矩形画像の高さを示す2バイトの情報(PictureHight)に基づいて認識される。矩形領域の左上の位置は、水平位置、垂直位置を表す各2バイトの情報(ActiveVideo Horizontal position,Active Video Verticalposition)に基づいて認識される。
【0256】
N=0の場合、アクティブビデオ領域中に矩形画像の画像データが、その矩形画像に対応した領域に等倍で書き込まれる。しかし、上述したようにN=1の場合には、矩形画像の画像データの画素数がスケーリング処理により水平および垂直ともに2倍に拡大される。そして、この画像データがアクティブビデオ領域中の水平および垂直ともに2倍とされた領域に書き込まれる。なお、この場合、画像データの書き込み位置がアクティブビデオ領域を超えるときは、アクティブビデオ領域内にクリップされる。
【0257】
[EDID]
上述したように、HDMIソース機器であるディスクプレーヤ100のCPU121は、テレビ受信機200が、アクティブスペース領域に配される付加情報を有効使用する機能を有しているか否か等を認識する。CPU121は、この認識を、E−EDID(図4参照)に含まれる付加情報に関する情報に基づいて行う。
【0258】
図56は、E−EDIDのデータ構造例を示している。このE−EDIDは、基本ブロックと拡張ブロックとからなっている。基本ブロックには、先頭に、“E−EDID1.3 Basic Structure”で表されるE−EDID1.3の規格で定められたデータが配置されている。基本ブロックには、続いて“Preferred timing”で表される従来のEDIDとの互換性を保つためのタイミング情報が配置されている。また、基本ブロックには、続いて、“2nd timing”で表される従来のEDIDとの互換性を保つための、“Preferred timing”とは異なるタイミング情報が配置されている。
【0259】
また、基本ブロックには、“2nd timing”に続いて、“Monitor NAME”で表される表示装置の名前を示す情報が配置されている。基本ブロックには、続いて、“Monitor Range Limits”で表される、アスペクト比が4:3および16:9である場合についての表示可能な画素数を示す情報が配置されている。
【0260】
拡張ブロックの先頭には、“Short Video Descriptor”が配置されている。これは、表示可能な画像サイズ(解像度)、フレームレート、インターレースであるかプログレッシブであるかを示す情報である。続いて、“Short Audio Descriptor”が配置されている。これは、再生可能な音声コーデック方式、サンプリング周波数、カットオフ帯域、コーデックビット数などの情報である。続いて、“Speaker Allocation”で表される左右のスピーカに関する情報が配置されている。
【0261】
また、拡張ブロックには、“Speaker Allocation”に続いて、“Vender Specific”で表されるメーカごとに固有に定義されたデータが配置されている。拡張ブロックには、続いて、“3rd timing”で表される従来のEDIDとの互換性を保つためのタイミング情報が配置されている。拡張ブロックには、さらに続いて、“4th timing”で表される従来のEDIDとの互換性を保つためのタイミング情報が配置されている。
【0262】
図57は、Vender Specific領域(HDMI Vendor Specific Data Block)のデータ構造例を示している。このVender Specific領域には、1バイトのブロックである第0ブロック乃至第Nブロックが設けられている。
【0263】
第0ブロックには、“Vendor−Specific tag code(=3)”で表されるデータ“Vender Specific”のデータ領域を示すヘッダが配置される。また、この第0ブロックには、“Length(=N)”で表されるデータ“Vender Specific”の長さを示す情報が配置される。
【0264】
また、第1ブロック乃至第3ブロックには、“24bit IEEE Registration Identifier(0x000C03)LSB first”で表されるHDMI(R)用として登録された番号“0x000C03“を示す情報が配置される。さらに、第4ブロックおよび第5ブロックには、”A“、”B“、”C“、および”D“のそれぞれにより表される、24bitのシンク機器の物理アドレスを示す情報が配置される。
【0265】
第6ブロックには、“Supports−AI”で表される、シンク機器が対応している機能を示すフラグが配置されている。また、この第6ブロックには、“DC−48bit”、“DC−36bit”、および“DC−30bit”のそれぞれで表される、1ピクセル当たりのビット数を指定する情報のそれぞれが配置されている。また、この第6ブロックには、“DC−Y444”で表される、シンク機器がYCbCr4:4:4の画像の伝送に対応しているかを示すフラグが配置されている。さらに、この第6ブロックには、“DVI−Dual”で表される、シンク機器がデュアルDVI(Digital Visual Interface)に対応しているかを示すフラグが配置されている。
【0266】
また、第7ブロックには、“Max−TMDS−Clock”で表されるTMDSのピクセルクロックの最大の周波数を示す情報が配置される。さらに、第8ブロックの第6ビット、第7ビットには、“Latency”で表される映像と音声の遅延情報の有無を示すフラグが配置されている。
【0267】
また、第9ブロックには、“Video Latency”で表される、プログレッシブの映像の遅延時間データが配置され、第10ブロックには、“Audio Latency”で表される、プログレッシブの映像に付随する音声の遅延時間データが配置される。また、第11ブロックには、“Interlaced Video Latency”で表されるインターレースの映像の遅延時間データが配置されている。さらに、第12ブロックには、“Interlaced Audio Latency”で表される、インターレースの映像に付随する音声の遅延時間データが配置されている。
【0268】
この実施の形態において、例えば、第8ブロックの第5ビットには、アクティブスペース領域に配される情報を有効使用する機能の有無を示すフラグ(OptData_FLG)が配置されている。例えば、このフラグが“1”であるとき、アクティブスペース領域に配される情報を有効使用する機能があることを示す。
【0269】
また、第nブロックの第5ビットおよび第4ビットには、アクティブスペース領域に配されるデータに対する誤り訂正符号化に対する性能を示す2ビットの情報(Coding1,Coding1)が配置されている。例えば、2ビットの情報が「0x0」であるときは、「エラー訂正なし」に対応し、2ビットの情報が「0x1」であるときは「3重化多数決法」に対応していることを示す。
【0270】
また、第nブロックの第1ビットおよび第0ビットには、アクティブスペース領域の使い方に対する性能を示す2ビットの情報(Type1,Type0)が配置されている。例えば、2ビットの情報が「0x0」であるときは、「画像データ領域として使用」に対応し、2ビットの情報が「0x1」であるときは、「3D言語(例えばX3D)の記述領域として使用」に対応していることを示す。また、第n+1ブロックの第2ビット〜第0ビットには、使用可能なピクチャープレーンの数を示す2ビットの情報(Number of Picture Plane)が配置されている。
【0271】
ディスクプレーヤ100のCPU121は、上述したE−EDIDに含まれるフラグ(OptData_FLG)に基づいて、テレビ受信機200がアクティブスペース領域に配される付加情報を有効使用する機能を有しているか否かを認識できる。そして、ディスクプレーヤ100のCPU121は、テレビ受信機200がこの機能があることを示している場合に、アクティブスペース領域に付加情報を配して、テレビ受信機200に送信する。これにより、ディスクプレーヤ100は、テレビ受信機200がアクティブスペース領域に配される付加情報を有効使用する機能がないのに、アクティブスペース領域に付加情報を配して送信するという無駄を排除できる。また、ディスクプレーヤ100は、E−EDIDに含まれる付加情報に関する情報(Coding,Type,Number of Picture Plane)に基づき、テレビ受信機200に送信する付加情報を適切な状態に制御できる。
【0272】
上述したように、図1に示すAVシステム10においては、アクティブビデオ区間にアクティブビデオ領域と共に、アクティブスペース領域を有する3Dビデオフォーマットを用いて立体画像データ(3D画像データ)が伝送される。その場合、アクティブビデオ領域に配される立体画像データに関連した付加情報がアクティブスペース領域に配されて、立体画像データと共に伝送されるものである。したがって、アクティブスペース領域を有効使用することができる。
【0273】
また、図1に示すAVシステム10においては、3Dビデオフォーマットのアクティブビデオ区間が有するアクティブスペース領域を利用して立体画像データに関連した付加情報を送信するものである。従って、HDMI規格で定義されているInfoFrame による伝送に比べて、付加情報として比較的大きなサイズの情報を伝送でき、しかも、立体画像データにフレーム精度で同期をとって伝送できる。
【0274】
また、図1に示すAVシステム10においては、3Dビデオフォーマットのアクティブビデオ区間が有するアクティブスペース領域を利用して立体画像データに関連した付加情報を送信するものである。そのため、アクティブビデオ領域に配される立体画像データによる画像に重ねて表示される字幕あるいは画像に関係する情報のデータをアクティブスペース領域に配して伝送できる。
【0275】
したがって、テレビ受信機200で3D画像データの補正、高画質化などの処理を行った後に字幕、メニュー画像などを合成可能となり、それらの処理品質の向上を図ることができる。なお、上述実施の形態においては、3D画像データの補正についてのみ説明した。コントラスト補正、色補正などの高画質化処理においても、字幕、メニュー画像等の画像データが合成されていない状態の画像データに基づいて行うことができ、処理品質の向上を図ることができる。
【0276】
また、図1に示すAVシステム10においては、ソース機器(ディスクプレーヤ100)からシンク機器(テレビ受信機200)に、上述したように立体画像データと字幕あるいは画像に関係する情報のデータとを別個に送信できる。そのため、テレビ受信機200側で表示のオン/オフが可能になる用途に適する。3Dによるクローズドキャプション、ソース機器の制御画面、3Dの広告、チャネル表示、警告メッセージ、別のサービス(RSSなどによるニュース配信)の表示などに効果が期待できる。
【0277】
<2.変形例>
なお、上述実施の形態においては、立体画像データのTMDS伝送データ構造がフレームパッキング方式の3Dビデオフォーマットである場合を示した。この発明は、立体画像データのTMDS伝送データ構造が、アクティブビデオ区間にアクティブビデオ領域と共に、アクティブスペース領域を有するその他の3Dビデオフォーマットである場合にも同様に適用できる。例えば、立体画像データとして左眼画像データおよび右眼画像データが含まれる3Dビデオフォーマットの他に、立体画像データとして2次元画像データおよび各画素に対応した奥行き情報が含まれる3Dビデオフォーマットである場合にも適用できる。
【0278】
また、上述実施の形態においては、アクティブビデオ領域に配される画像データによる画像に重ねて表示される画像のデータを、アクティブスペース領域に配することを説明した。しかし、このアクティブスペース領域のデータサイズはそれほど大きくない。従って、複数フレームのアクティブスペース領域で1つの画像の画像データを分割して送信するようにしてもよい。あるいは、アクティブスペース領域ではフレーム番号を送り、このフレーム番号に対応する画像データをイーサネット等のTMDSラインとは別の伝送路で送り、より大きなサイズの画像データを伝送するようにしてもよい。
【0279】
また、上述実施の形態において、HDMIのソース機器がディスクプレーヤ100であり、HDMIのシンク機器がテレビ受信機200であるAVシステム10の例を示した。しかし、HDMIのソース機器およびシンク機器がこれらに限定されるものではない。例えば、ソース機器としては、ディスクプレーヤ100以外に、DVDレコーダ、セットトップボックス、ゲーム機、その他のAVソースであってもよい。また、シンク機器としては、テレビ受信機200の他に、プロジェクタ、PC用モニタ、その他のディスプレイであってもよい。
【0280】
また、上述実施の形態においては、各機器を接続する伝送路として、HDMI規格のインタフェースを前提として説明したが、その他の同様な伝送規格にも適用可能である。また、上述実施の形態においては、機器間をHDMIケーブルで接続したものを示したが、この発明は、電子機器間の接続を無線で行うものにも、同様に適用できる。
【産業上の利用可能性】
【0281】
この発明は、アクティブビデオ区間にアクティブビデオ領域と共に、アクティブスペース領域を有する3Dビデオフォーマットを用いて立体画像データ(3D画像データ)を伝送するAVシステム等に適用できる。
【符号の説明】
【0282】
10・・・AVシステム
100・・・ディスクプレーヤ
101・・・HDMI端子
102・・・HDMI送信部
103・・・ドライブインタフェース
104・・・BD/DVDドライブ
105・・・デマルチプレクサ
106・・・MPEGデコーダ
107・・・映像信号処理回路
108・・・オーディオデコーダ
109・・・音声信号処理回路
120・・・内部バス
121・・・CPU
122・・・フラッシュROM
123・・・DRAM
124・・・イーサネットインタフェース
125・・・ネットワーク端子
126・・・リモコン受信部
127・・・リモコン送信機
200・・・テレビ受信機
201・・・HDMI端子
202・・・HDMI受信部
204・・・アンテナ端子
205・・・デジタルチューナ
206・・・デマルチプレクサ
207・・・MPEGデコーダ
208・・・映像信号処理回路
209・・・グラフィック生成回路
210・・・パネル駆動回路
211・・・表示パネル
213・・・音声信号処理回路
214・・・スピーカ
220・・・内部バス
221・・・CPU
222・・・フラッシュROM
223・・・DRAM
224・・・イーサネットインタフェース
225・・・ネットワーク端子
226・・・DTCP回路
227・・・リモコン受信部
228・・・リモコン送信機
300・・・HDMIケーブル

【特許請求の範囲】
【請求項1】
垂直同期信号により区切られる、水平ブランキング期間、垂直ブランキング期間およびアクティブビデオ区間を含むビデオフィールド区間を単位とする伝送データを生成する伝送データ生成部と、
上記伝送データ生成部で生成された伝送データを、複数チャネルで、差動信号により、伝送路を介して外部機器に送信する伝送データ送信部とを備え、
上記アクティブビデオ区間は、主映像領域および補助映像領域を有し、
上記伝送データ生成部は、上記主映像領域に画像データを配し、上記補助映像領域に、上記主映像領域に配される画像データに関連した付加情報を配する
送信装置。
【請求項2】
上記補助映像領域に配される上記付加情報に関する情報を、上記外部機器から上記伝送路を介して取得する情報取得部をさらに備え、
上記伝送データ生成部は、上記情報取得部で取得される情報に基づいて、上記補助映像領域に上記付加情報を配する
請求項1に記載の送信装置。
【請求項3】
上記情報取得部で取得される上記付加情報に関する情報は、上記補助映像領域に配される付加情報を有効使用する機能の有無を示す情報であり、
上記伝送データ生成部は、上記情報取得部で取得される情報が上記補助映像領域に配される情報を有効使用する機能があることを示している場合、上記補助映像領域に上記付加情報を配する
請求項2に記載の送信装置。
【請求項4】
上記情報取得部は、上記付加情報に関する情報を、上記外部機器が有する記憶部から読み出して取得する
請求項2に記載の送信装置。
【請求項5】
上記主映像領域に配される画像データは、立体画像を表示するための立体画像データである
請求項1に記載の送信装置。
【請求項6】
上記立体画像データは左眼画像データおよび右眼画像データを含む
請求項5に記載の送信装置。
【請求項7】
上記立体画像データは2次元画像データおよび各画素に対応した奥行き情報を含む
請求項5に記載の送信装置。
【請求項8】
上記補助映像領域に配される上記付加情報に関する情報を、上記外部機器に上記伝送路を介して送信する情報送信部をさらに備える
請求項1に記載の送信装置。
【請求項9】
上記付加情報に関する情報は、上記補助映像領域に上記付加情報が配されているか否かを示す情報である
請求項8に記載の送信装置。
【請求項10】
上記付加情報に関する情報は、上記補助映像領域に配される上記付加情報のデータ形式を示す情報である
請求項8に記載の送信装置。
【請求項11】
上記付加情報に関する情報は、上記補助映像領域の先頭に設けられるスペース長の情報である
請求項8に記載の送信装置。
【請求項12】
上記情報送信部は、上記付加情報に関する情報を、上記伝送データのブランキング期間に挿入することで、上記外部機器に上記伝送路を介して送信する
請求項8に記載の送信装置。
【請求項13】
上記補助映像領域に配される上記付加情報の先頭には、固定値のシンクパターンが設けられる
請求項1に記載の送信装置。
【請求項14】
上記補助映像領域に配される上記付加情報には、情報データおよび画像データのいずれかまたは両方が含まれる
請求項13に記載の送信装置。
【請求項15】
上記主映像領域および上記補助映像領域のデータはピクセル毎に3チャネルの8ビットデータを有し、
上記伝送データ送信部は、上記主映像領域のデータをカラースペース変換またはクリップ処理して送信し、上記補助映像領域のデータをカラースペース変換およびクリップ処理せずに送信する
請求項1に記載の送信装置。
【請求項16】
上記伝送データ送信部は、
上記映像領域と上記補助映像領域の領域を指定する、
上記主映像領域に関して、上記伝送データ生成部で生成される伝送データと上記伝送路に出力するビデオデータのカラースペース情報を指定する、
上記主映像領域に関して、上記伝送路に出力するビデオデータがフルレンジまたはリミテッドレンジのいずれなのかを指定することによって、
上記伝送データ生成部から上記伝送データが供給されるときに、
上記主映像領域に関しては、指定されたようにカラースペース変換、リミテッドレンジの範囲チェック・変換処理を行って出力し、
上記補助映像領域に関しては、カラースペース変換、リミテッドレンジの範囲チェック・変換処理は行わずにそのまま出力する
という機能を有する
請求項15に記載の送信装置。
【請求項17】
上記主映像領域および上記補助映像領域のデータはピクセル毎に3チャネルの8ビットデータを有し、
上記伝送データ生成部は、上記補助映像領域の各3チャネルの8ビットデータの上位2番目から下位側のビットに上記付加情報の2個の8ビットデータの各ビットを割り振って配すると共に、該各3チャネルの8ビットデータの上位1番目のビットの値を上位2番目のビットの値の反転値にし、
上記伝送データ送信部は、上記主映像領域および上記補助映像領域のデータをクリップ処理して送信する
請求項1に記載の送信装置。
【請求項18】
上記補助映像領域に配される上記付加情報に含まれる情報データは誤り訂正符号化されている
請求項14に記載の送信装置。
【請求項19】
上記主映像領域および上記補助映像領域のデータはピクセル毎に3チャネルの8ビットデータを有し、
上記誤り訂正符号化は3重化多数決法による誤り訂正符号化であり、
上記伝送データ生成部は、上記補助映像領域の各3チャネルの8ビットデータとして同一の8ビットデータを配する
請求項18に記載の送信装置。
【請求項20】
上記補助映像領域に配される上記付加情報に含まれる情報データは、上記主映像領域に配される画像データによる画像に重ねて表示される画像に関係する情報のデータである
請求項14に記載の送信装置。
【請求項21】
上記補助映像領域に配される上記付加情報に含まれる情報データは、上記主映像領域に配される画像データによる画像に重ねて表示される字幕に関係する情報のデータである
請求項14に記載の送信装置。
【請求項22】
上記主映像領域に配される画像データは、立体画像を表示するための左眼画像データおよび右眼画像データであり、
上記補助映像領域に配される上記付加情報に含まれる情報データは、上記左眼画像データおよび上記右眼画像データの撮影時情報のデータである
請求項14に記載の送信装置。
【請求項23】
垂直同期信号により区切られる、水平ブランキング期間、垂直ブランキング期間およびアクティブビデオ区間を含むビデオフィールド区間を単位とする伝送データを生成する伝送データ生成ステップと、
上記伝送データ生成ステップで生成された伝送データを、複数チャネルで、差動信号により、伝送路を介して外部機器に送信する伝送データ送信ステップとを備え、
上記アクティブビデオ区間は、主映像領域および補助映像領域を有し、
上記伝送データ生成ステップでは、上記主映像領域に画像データを配し、上記補助映像領域に、上記主映像領域に配される画像データに関連した付加情報を配する
送信方法。
【請求項24】
垂直同期信号により区切られる、水平ブランキング期間、垂直ブランキング期間およびアクティブビデオ区間を含むビデオフィールド区間を単位とし、上記アクティブビデオ区間は、主映像領域および補助映像領域を有し、上記主映像領域に画像データが配され、上記補助映像領域に、上記主映像領域に配される画像データに関連した付加情報が配されている伝送データを、外部機器から、複数のチャネルで、差動信号により、伝送路を介して受信する伝送データ受信部と、
上記伝送データ受信部で受信された伝送データの上記主映像領域から上記画像データを分離して得ると共に、上記伝送データ受信部で受信された伝送データの上記補助映像領域から上記付加情報を分離して得るデータ分離部と
を備える受信装置。
【請求項25】
上記データ分離部において上記伝送データの上記主映像領域から分離して得られる上記画像データは立体画像を表示するための左眼画像データおよび右眼画像データであり、
上記データ分離部において上記伝送データの上記補助映像領域から分離して得られる上記付加情報には、上記左眼画像データおよび上記右眼画像データの撮影時情報のデータが含まれており、
上記データ分離部で得られる上記左眼画像データおよび上記右眼画像データを、上記データ分離部で得られる上記撮影時情報のデータに基づいて補正する画像データ補正部をさらに備える
請求項24に記載の受信装置。
【請求項26】
上記画像データ補正部は、上記撮影時情報のデータを用いて奥行き情報を推測し、該奥行き情報とスクリーンサイズの情報に基づいて、上記左眼画像データおよび上記右眼画像データを補正する請求項25に記載の受信装置。
【請求項27】
上記データ分離部において上記伝送データの上記主映像領域から分離して得られる上記画像データは立体画像を表示するための左眼画像データおよび右眼画像データであり、
上記左眼画像データによる左眼画像および上記右眼画像データによる右眼画像を左右方向にシフト調整する画像シフト部をさらに備え、
上記データ分離部において上記伝送データの上記補助映像領域から分離して得られる上記付加情報には、上記画像シフト部におけるシフト調整に伴って必要となる画素データが含まれる
請求項請求項24に記載の受信装置。
【請求項28】
複数のバッファと、
上記データ分離部において上記伝送データの上記補助映像領域から分離して得られる上記付加情報に含まれる画像データを、該付加情報に含まれる指定情報に基づいて、指定されたバッファの指定された位置に書き込む画像データ書き込み部と、
上記データ分離部において上記伝送データの上記主映像領域から分離して得られる上記画像データと上記複数のバッファに書き込まれている画像データとを所定の比率で合成する画像データ合成部をさらに備える
請求項24に記載の受信装置。
【請求項29】
垂直同期信号により区切られる、水平ブランキング期間、垂直ブランキング期間およびアクティブビデオ区間を含むビデオフィールド区間を単位とし、上記アクティブビデオ区間は、主映像領域および補助映像領域を有し、上記主映像領域に画像データが配され、上記補助映像領域に、上記主映像領域に配される画像データに関連した付加情報が配されている伝送データを、外部機器から、複数のチャネルで、差動信号により、伝送路を介して受信する伝送データ受信ステップと、
上記伝送データ受信ステップで受信された伝送データの上記主映像領域から上記画像データを分離して得ると共に、上記伝送データ受信部で受信された伝送データの上記補助映像領域から上記付加情報を分離して得るデータ分離ステップと
を備える受信方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図31】
image rotate

【図32】
image rotate

【図36】
image rotate

【図37】
image rotate

【図38】
image rotate

【図39】
image rotate

【図41】
image rotate

【図43】
image rotate

【図44】
image rotate

【図45】
image rotate

【図46】
image rotate

【図47】
image rotate

【図48】
image rotate

【図49】
image rotate

【図50】
image rotate

【図51】
image rotate

【図52】
image rotate

【図53】
image rotate

【図54】
image rotate

【図55】
image rotate

【図56】
image rotate

【図57】
image rotate

【図58】
image rotate

【図30】
image rotate

【図33】
image rotate

【図34】
image rotate

【図35】
image rotate

【図40】
image rotate

【図42】
image rotate


【公開番号】特開2011−77785(P2011−77785A)
【公開日】平成23年4月14日(2011.4.14)
【国際特許分類】
【出願番号】特願2009−226538(P2009−226538)
【出願日】平成21年9月30日(2009.9.30)
【出願人】(000002185)ソニー株式会社 (34,172)
【出願人】(310021766)株式会社ソニー・コンピュータエンタテインメント (417)
【Fターム(参考)】