デジタル映像データ送信装置、デジタル映像データ受信装置、デジタル映像データ伝送システム、デジタル映像データ送信方法、デジタル映像データ受信方法、およびデジタル映像データ伝送方法
【課題】 汎用的なインターフェース規格の伝送経路を用いて送信装置と受信装置とを接続するだけで、適切に立体映像を表示できるようにすることを目的とする。
【解決手段】 HDMIケーブル11を介して当該機器10に接続された外部機器12の機器情報を取得する外部機器情報取得部と、番組ストリームを再生する番組ストリーム再生部6と、番組ストリーム再生部6が再生した番組ストリームが立体映像方式の場合、外部機器12の機器情報から外部機器12の立体映像表示方式情報を抽出し、抽出した立体映像表示方式情報に適合するように、再生した番組ストリームのデータ多重化方式を決定するデータ多重化方式決定部1と、データ多重化方式決定部1が決定した多重化方式に従い、再生した番組ストリームのデータを多重化するデータ多重化部7と、伝送経路11を介してデータ多重化部7が多重化した番組ストリームのデータを出力する伝送処理部8と、を備えた。
【解決手段】 HDMIケーブル11を介して当該機器10に接続された外部機器12の機器情報を取得する外部機器情報取得部と、番組ストリームを再生する番組ストリーム再生部6と、番組ストリーム再生部6が再生した番組ストリームが立体映像方式の場合、外部機器12の機器情報から外部機器12の立体映像表示方式情報を抽出し、抽出した立体映像表示方式情報に適合するように、再生した番組ストリームのデータ多重化方式を決定するデータ多重化方式決定部1と、データ多重化方式決定部1が決定した多重化方式に従い、再生した番組ストリームのデータを多重化するデータ多重化部7と、伝送経路11を介してデータ多重化部7が多重化した番組ストリームのデータを出力する伝送処理部8と、を備えた。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、立体映像方式のデジタル映像データを、各色の原色データとして画素単位で個別に伝送するインターフェース規格である、例えばHDMI(High-Definition Multimedia Interface)規格を用いて送受信するデジタル映像データ送信装置、デジタル映像データ受信装置、デジタル映像データ伝送システム、デジタル映像データ送信方法、デジタル映像データ受信方法、およびデジタル映像データ伝送方法に関するものである。
【背景技術】
【0002】
近年、デジタル映像データを送信するレコーダーとデジタル映像データを受信して表示するテレビを簡単に接続するデジタル方式の映像・音声入出力インターフェース規格としてHDMI規格が用いられるようになってきた。HDMI規格では、各色を表す原色データとしては、R、G、Bといった加法混色の原色データ、もしくはY、Cb、Crといった輝度および色差信号による3チャンネルのデータで表現され、1画素単位で個別に伝送される。各画素のデータは、10ビット以上を用いることも可能であるが、基本的には8ビットで構成される。
【0003】
一方、映像表示方法として、右目用の映像と左目用の映像を用いて、それぞれ対応する目に個別に入射させるように構成して立体的な表示を行う立体映像表示方法が実用化されており、一部の映画館にて先行的に立体映像表示が行われていることから、今後更なる普及が予想される。立体映像表示を行うためには、右目用の映像と左目用の映像を同期して伝送し表示する必要がある。右目用、左目用の映像を同期して伝送する方法としては、右目用もしくは左目用の映像データのいずれか一方に、1画素ごとに他方の映像データを付加して1画素の映像データを2倍のビット数で構成させることで、立体映像表示用の画像データを伝送する方法が提案されている(例えば、特許文献1参照)。
【0004】
【特許文献1】特開2007−336518号公報(段落0036、第4図)
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、上記のような構成では、伝送経路を介して接続される送信側と受信側は、互いに独立して立体映像表示用画像データの処理を行うので、それぞれ異なる方式でデータを処理した場合には、適切な立体映像表示を行うことができないという問題があった。また、上記のような伝送方法では、受信側の表示能力を超えるデータ量の画像データが伝送されてきた場合、受信側でデータを間引く必要があり、高速なデータ伝送に対応可能な部品を使用する必要があるとともに、活用されない無駄なデータを伝送するという問題があった。
【0006】
本発明は、上記のような問題点を解決するためになされたものであり、映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格の伝送経路を用いて送信装置と受信装置とを接続するだけで、適切に立体映像を表示することができるデジタル映像データ送信装置、デジタル映像データ受信装置、デジタル映像データ伝送システム、デジタル映像データ送信方法、デジタル映像データ受信方法、およびデジタル映像データ伝送方法を得ることを目的とする。
【課題を解決するための手段】
【0007】
本発明にかかるデジタル映像データ送信装置は、映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格を用いて送信するデジタル映像データ送信装置であって、前記インターフェース規格を用いる伝送経路を介して当該機器に接続された外部機器の機器情報を取得する外部機器情報取得部と、番組ストリームを再生する番組ストリーム再生部と、前記番組ストリーム再生部が再生した番組ストリームが立体映像方式の場合、前記外部機器の機器情報から前記外部機器の立体映像表示方式情報を抽出し、抽出した立体映像表示方式情報に適合するように、前記再生した番組ストリームのデータ多重化方式を決定するデータ多重化方式決定部と、前記データ多重化方式決定部が決定した多重化方式に従い、前記再生した番組ストリームのデータを多重化するデータ多重化部と、前記伝送経路を介して前記データ多重化部が多重化した番組ストリームのデータを出力する伝送処理部と、を備えるものである。
【0008】
また、本発明にかかるデジタル映像データ受信装置は、映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格を用いて受信するデジタル映像データ受信装置であって、前記インターフェース規格を用いる伝送経路を介して当該機器に接続された外部機器に当該機器の機器情報を送信する受信装置情報出力部と、前記外部機器から送信された番組ストリームのデータを分離処理する分離処理部と、前記分離処理されたデータから多重化情報を抽出する多重化情報抽出部と、前記映像データが立体映像方式の場合、前記多重化情報抽出部が抽出した多重化情報に基づき、前記分離した映像データを立体映像表示用に処理する映像処理部と、を備えるものである。
【0009】
また、本発明にかかるデジタル映像データ伝送システムは、上記デジタル映像データ送信装置と、映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格を用いる伝送経路を介して前記デジタル映像データ送信装置と接続されるデジタル映像データ受信装置と、を備えるものである。
【0010】
また、本発明にかかるデジタル映像データ送信方法は、映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格を用いて送信するデジタル映像データ送信方法であって、前記インターフェース規格を用いる伝送経路を介して当該機器に接続された外部機器の機器情報を取得する外部機器情報取得ステップと、番組ストリームを再生する番組ストリーム再生ステップと、前記番組ストリーム再生ステップで再生した番組ストリームが立体映像方式の場合、前記外部機器の機器情報から前記外部機器の立体映像表示方式情報を抽出し、抽出した立体映像表示方式情報に適合するように、前記再生した番組ストリームのデータ多重化方式を決定するデータ多重化方式決定ステップと、前記データ多重化方式決定ステップで決定した多重化方式に従い、前記再生した番組ストリームのデータを多重化するデータ多重化ステップと、前記伝送経路を介して前記データ多重化ステップで多重化した番組ストリームのデータを出力する伝送処理ステップと、を備えるものである。
【0011】
また、本発明にかかるデジタル映像データ受信方法は、映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格を用いて受信するデジタル映像データ受信方法であって、前記インターフェース規格を用いる伝送経路を介して当該機器に接続された外部機器に当該機器の機器情報を送信する受信装置情報出力ステップと、前記外部機器から送信された番組ストリームのデータを分離処理する分離処理ステップと、前記分離処理されたデータから多重化情報を抽出する多重化情報抽出ステップと、
前記映像データが立体映像方式の場合、前記多重化情報抽出ステップで抽出した多重化情報に基づき、前記分離した映像データを立体映像表示用に処理する映像処理ステップと、を備えるものである。
【0012】
また、本発明にかかるデジタル映像データ伝送方法は、映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格を用いる伝送経路を介して、上記デジタル映像データ送信方法と、上記デジタル映像データ受信方法と、を行うものである。
【発明の効果】
【0013】
本発明によれば、映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格を用いる伝送経路を介して接続された受信装置の能力に応じて立体映像表示用画像データを処理して伝送するので、送信装置と受信装置とを接続するだけで、適切に立体映像を表示することができるデジタル映像データ送信装置、デジタル映像データ受信装置、デジタル映像データ伝送システム、デジタル映像データ送信方法、デジタル映像データ受信方法、およびデジタル映像データ伝送方法が得られる。
【発明を実施するための最良の形態】
【0014】
実施の形態1.
図1は、本発明の実施の形態1にかかるデジタル映像データ送信装置、デジタル映像データ受信装置および両者をHDMIケーブルで接続したデジタル映像データ伝送システムの構成を示すブロック図である。図において、デジタル映像データ送信装置である録画再生装置10と、デジタル映像データ受信装置であるテレビ12とは、映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格を用いるHDMIケーブル11を用いて接続されている。そして、デジタル映像データ送信装置である録画再生装置10から見て、テレビ12はHDMIケーブルを介して接続された外部機器であり、デジタル映像データ受信装置であるテレビ12から見て、録画再生装置10はHDMIケーブルを介して接続された外部機器である。
【0015】
デジタル映像データ送信装置である録画再生装置10は、装置全体を制御するコントローラ1、放送波を受信するチューナ2、受信した番組ストリームを記録するための信号処理を行う記録処理部3、記録媒体である番組記憶領域4と光学ドライブ5、記録媒体に記録された番組ストリームを読み込んで出力する再生処理部6、再生した番組ストリームのデータを多重化する多重化処理部7、伝送経路であるHDMIケーブル11を用いてデジタル映像データ受信装置であるテレビ12とのデータ伝送処理を行う伝送処理部8とを有している。
【0016】
デジタル映像データ受信装置であるテレビ12は、装置全体を制御するコントローラ20と、インターフェースケーブル11を用いて録画再生装置10とのデータ伝送処理を行う伝送処理部21と、多重化されたデータを音声データと映像データ等に分離処理する分離処理部22と、分離された映像データを処理する映像処理部23と、処理された映像データを表示デバイス用のフォーマット信号に変換する表示処理部24と、表示デバイス25と、分離された音声データを処理する音声出力処理部26と、スピーカ27とを有する。なお、本実施の形態では、テレビ12については3D映像に関連した部分についてのみ説明する。
【0017】
伝送経路であるHDMIケーブル11はHDMI(High-Definition Multimedia Interface)インターフェース規格に準拠したケーブルであり、録画再生装置10およびテレビ12に設置されたコネクタ端子(図示せず)のそれぞれにケーブルの一端と他端を挿入することで両機器間のデータ伝送が可能となる。また、同規格に準拠した機器であれば、どのような機器に対してもその機器に設置されたHDMI用のコネクタ端子に挿入するだけでデータ伝送が可能となる。次に各部の詳細について説明する。
【0018】
本実施の形態1におけるデジタル映像データ送信装置である録画再生装置10は、コントローラ1の制御によって立体(以降3Dと呼ぶ)映像に対応した番組の記録や再生を行う。チューナ2は、コントローラ1の指示により放送波を受信し、番組ストリームを記録処理部3、もしくは再生処理部6へ出力する。
【0019】
番組ストリームを記録する際は、番組ストリームはチューナ2から記録処理部3に入力され、コントローラ1の指示により記録媒体である番組記憶領域4もしくは光学ドライブ5へ出力される。番組記憶領域4は、ハードディスクで構成され、コントローラ1の制御により記録処理部3からの番組ストリームを保存する。光学ドライブ5は、DVD等の出し入れ可能な記録媒体への読出し書込みを行う装置で、コントローラ1の制御により記録処理部3からの番組ストリームを保存する。
【0020】
番組ストリームを再生する際は、コントローラ1の指示により、記録媒体に記録されている番組ストリームを再生する場合は、番組記憶領域4もしくは光学ドライブ5から再生処理部6へ番組ストリームを出力する。一方、リアルタイム視聴時にはチューナ2から再生処理部6に番組ストリームを出力する。再生処理部6は、コントローラ1の指示に従って、入力された番組ストリームを受けて映像データと音声データにデコードし、多重化処理部7へ出力する。多重化処理部7は、コントローラ1の指示に従って、再生処理部6からの映像データ及び音声データを多重化し、伝送処理部8へと出力する。伝送処理部8は、コントローラ1の指示に従い、デジタル映像データ受信装置であるテレビ12とを接続するHDMIケーブル11を通じて、テレビ12へ多重化された映像・音声情報を伝送する。
【0021】
このとき、映像が3D映像であった場合、再生処理部6は、右目用映像と左目用映像をそれぞれデコードし、多重化処理部7へ出力する。映像が3D映像であった場合、多重化処理部7は、コントローラ1の指示に従って右目用映像と左目用映像を多重化し、さらに音声を多重化して伝送処理部8へと出力する。なお、3D映像の多重化方式については後に詳しく述べる。
【0022】
デジタル映像データ受信装置であるテレビ12は、コントローラ20の制御によってHDMIケーブル11を介して入力された番組ストリームや自身が有するチューナ(図示せず)が受信した放送波からの番組ストリームの表示を行う。そして、表示を行う番組ストリームが3D映像の場合は、コントローラ20の制御によって3D映像に対応した番組の表示、つまり視聴者が立体視できるような映像表示を行う。ただし、以降は伝送経路であるHDMIケーブル11を介して入力された番組ストリームを表示する場合に特化して説明する。
【0023】
伝送処理部21は、コントローラ20の指示に従い、HDMIケーブル11を通じて入力された録画再生装置10からの映像・音声情報あるいは多重化方式の情報の入ったデータを受けて、分離処理部22へと出力する。また、伝送処理部21は、HDMIケーブル11を通じて録画再生装置10から要求があった場合、テレビ12の機器情報を録画再生装置に送信する受信装置情報出力部としても機能する。分離処理部22では、データ中の映像データと音声データを分離し、映像データは映像処理部23へ、音声は音声出力処理部26へと出力する。また、データ中に多重化方式等の情報が付加されている場合には、多重化情報を抽出してコントローラ20に出力する多重化情報抽出部として機能する。映像処理部23は、コントローラ20の指示に従い、入力された映像に必要な映像処理を加えた後、表示処理部24へ映像信号を出力する。表示処理部24では、コントローラ20の指示に従い、映像信号を表示デバイス25に出力できるフォーマットの信号に変換して、表示デバイス25へ信号データを出力する。表示デバイス25は、表示処理部24から出力された信号データを元に画面表示を行う。一方、分離処理部22から出力された音声は、音声処理部26にて必要な音声処理を加えた後、スピーカ27へ出力され、スピーカ27から音が出力される。
【0024】
図2は、録画再生装置10の伝送処理部8とテレビ12の伝送処理部21とを結ぶHDMIケーブル11を流れる信号の構成図である。チャンネル0、チャンネル1、チャンネル2は、映像データ及び音声データが流れる信号線である。R,G,Bの原色データを流す場合を考えると、チャンネル0にはBデータ、チャンネル1にはGデータ、チャンネル2にはRデータが割り振られ、3つのチャンネルのデータとして画素単位で個別に伝送される。音声データは、映像データのブランキング期間に補助データとして伝送される。
【0025】
DDC(Display Data Channel)ラインは、シンク側の機器(テレビ12)の能力や特徴である機器情報をソース側の機器(録画再生装置10)が知るために用いられる。ソース側の機器は、この情報を元にして、シンク側の機器が表示できる映像や音声を選ぶことができる。CEC(Consumer Electronics Control)ラインは、ソース側の機器とシンク側の機器とが互いに制御できるような機能を実現するために用いられる。
【0026】
次に、3つの主要な3D映像表示方式について述べる。図3は、3D表示を行う際の、立体映像表示方式のひとつの例を説明するために1フレームの画面における左目用データと右目用データの振り分けを示すものである。表示デバイスの水平方向の画素が左目用映像と右目用映像を交互に表示する(以降、画素交互式と称する)ようにしたものであり、各ラインの画素0、画素2、画素4、画素6などの偶数画素は、全て左目用の映像を表示する画素であり、各ラインの画素1、画素3、画素5などの奇数画素は、全て右目用の映像を表示する画素である。このようなデータ構成からなる映像を表示する画面の手前(視聴者側)に上記画素配列に対応した偏向フィルターを配置し、対応する偏向めがねで見ることにより、右目には右目用の映像が、左目には左目用の映像が見えるようになる。この例では、偶数画素が左目用、奇数画素が右目用としたが、もちろん、偶数画素が右目用、奇数画素が左目用として設計しても構わない。
【0027】
図4は、3D表示を行う際の、立体映像表示方式の別の例を説明するために1フレームの画面における左目用データと右目用データの振り分けを示すものである。図3の場合と異なり、今度は表示デバイスの垂直方向のラインが左目用映像と右目用映像を交互に表示する(以降、ライン交互式と称する)ようにしたものであり、ライン0、ライン2などの偶数ラインは、全て左目用の映像を表示するラインであり、ライン1、ライン3などの奇数ラインは、全て右目用の映像を表示するラインである。このようなデータ構成からなる映像を表示する画面の手前(視聴者側)に上記ライン配列に対応した偏向フィルターを配置し、対応する偏向めがねで見ることにより、右目には右目用の映像が、左目には左目用の映像が見えるようになる。この例では、偶数ラインが左目用、奇数ラインが右目用としたが、もちろん、偶数ラインが右目用、奇数ラインが左目用として設計しても構わない。
【0028】
図5は、3D表示を行う際の、立体映像表示方式のさらに別の例を説明するために複数フレームに亘る画面における左目用データと右目用データの振り分けを示すものである。図3、図4の場合と異なり、フレーム内では左目用、もしくは右目用の映像のみが表示される。図5の例では、フレーム0、フレーム2、フレーム4などの偶数フレームでは左目用の映像のみが表示され、フレーム1、フレーム3などの奇数フレームでは右目用の映像のみが表示(以降、フレーム交互式と称する)される。この映像をフレームの表示と同期した切替シャッターのついためがねをかけて見ると、左目用の映像が表示されているときには左目側のみシャッターが開き、右目用の映像が表示されているときには右目側のみシャッターが開くことで、左目には左目用の映像が、右目には右目用の映像が見える。この例では、偶数フレームが左目用、奇数フレームが右目用としたが、もちろん、偶数フレームが右目用、奇数フレームが左目用として設計しても構わない。
【0029】
また、レーザを光源として利用する表示デバイスの場合、p偏光光のレーザ光源とs偏光光のレーザ光源を上記フレームに同期してパルス発光させるようにすれば、図3、図4の方式と同様の偏向めがねで見ることにより、右目には右目用の映像が、左目には左目用の映像が見えるようになる。あるいは、単一偏光光の光源に対して進相軸の方向が異なる偏光板を上記フレームに同期して交互に透過させるようにすれば、図3、図4の方式と同様の偏向めがねで見ることにより、右目には右目用の映像が、左目には左目用の映像が見えるようになる。
【0030】
次に、録画再生装置10の多重化処理部7で、左目用映像と右目用映像を多重化する方法について述べる。なお、本実施の形態1では、再生処理部6で再生した番組ストリームの映像データは、右目用、左目用ともに、テレビ12の表示デバイス25の画像表示能力である1画面フルハイビジョン(水平1920画素×1080ライン)対応の画素数で、表示デバイス25のフレーム周波数分の映像データをそれぞれ有しているものとする。つまり、テレビ12の表示デバイス25で表示できるデータ量の倍のデータ量を持っているものとする。
【0031】
図6は、図3に示す画素交互式の3D表示方式に対応する多重化方法であり、さらに、テレビ12の画像表示能力に合わせて、左目用映像および右目用映像の水平画素数を半分に間引き、左目用映像の画素と右目用映像の画素を交互に配置するように多重化した。左目用映像のBデータの画素を順にB0L、B1L、B2L、B3L、・・・、とし、左目用映像のGデータの画素を順にG0L、G1L、G2L、G3L、・・・、とし、左目用映像のRデータの画素を順にR0L、R1L、R2L、R3L、・・・、とし、右目用映像のBデータの画素を順にB0R、B1R、B2R、B3R、・・・、とし、右目用映像のGデータの画素を順にG0R、G1R、G2R、G3R、・・・、とし、右目用映像のRデータの画素を順にR0R、R1R、R2R、R3R、・・・、とする。また、図6の画素0、画素2などの偶数画素には左目用の映像を構成する画素が配置され、図6の画素1、画素3などの奇数画素には右目用の映像を構成する画素が配置されるとする。ここで、図6のBH1R、BH2L、GH1R、GH2L、RH1R、RH2Lは以下の式で表される。
BH1R=(B0R+B1R×2+B2R)÷4
BH2L=(B1L+B2L×2+B3L)÷4
GH1R=(G0R+G1R×2+G2R)÷4
GH2L=(G1L+G2L×2+G3L)÷4
RH1R=(R0R+R1R×2+R2R)÷4
RH2L=(R1L+R2L×2+R3L)÷4
【0032】
上記のように、配置先の画素を中心としつつ左右の間引かれる画素の情報を参照して間引くことにより、間引きによる影響を抑えつつデータ量を半分に削減できる。間引く際の変換式は、変換元である左目用映像の情報を用いて水平方向の画素数を半分にするやり方であれば、上記式以外でもかまわない。右目用映像についても同様である。また、上記例では偶数画素が左目用映像、奇数画素が右目用映像としているが、偶数画素が右目用映像、奇数画素が左目用映像としてもかまわない。一方、再生した映像データが、左目用映像及び右目用映像が毎秒60フィールド以内のインターレース方式であり、録画再生装置10からテレビ12へ毎秒60フレームの映像が伝送できる場合、間引きを行わず、例えばそれぞれのラインの偶数の画素のラインを交互に入れ替えることにより、間引きをおこなうことなく多重化してもよい。
【0033】
図7は、図4に示すライン交互式の3D表示方式に対応する多重化方法であり、さらに、テレビ12の画像表示能力に合わせて、左目用映像および右目用映像のライン数を半分に間引き、左目用映像のラインと右目用映像のラインを交互に配置するものである。左目用映像のBデータのラインを順にBL0L、BL1L、BL2L、BL3L、・・・、とし、左目用映像のGデータのラインを順にGL0L、GL1L、GL2L、GL3L、・・・、とし、左目用映像のRデータのラインを順にRL0L、RL1L、RL2L、RL3L、・・・、とし、右目用映像のBデータのラインを順にBL0R、BL1R、BL2R、BL3R、・・・、とし、右目用映像のGデータのラインを順にGL0R、GL1R、GL2R、GL3R、・・・、とし、右目用映像のRデータのラインを順にRL0R、RL1R、RL2R、RL3R、・・・、とする。また、図7のライン0、ライン2などの偶数ラインには左目用の映像を構成するラインが配置され、図7のライン1、ライン3などの奇数ラインには右目用の映像を構成するラインが配置されるとする。ここで、図7のBV1R、BV2L、GV1R、GV2L、RV1R、RV2Lは以下の式で表される。
BV1R=(BL0R+BL1R×2+BL2R)÷4
BV2L=(BL1L+BL2L×2+BL3L)÷4
GV1R=(GL0R+GL1R×2+GL2R)÷4
GV2L=(GL1L+GL2L×2+GL3L)÷4
RV1R=(RL0R+RL1R×2+RL2R)÷4
RV2L=(RL1L+RL2L×2+RL3L)÷4
【0034】
上記のように、配置先のラインを中心としつつ左右の間引かれるラインの情報を参照して間引くことにより、間引きによる影響を抑えつつデータ量を半分に削減できる。間引く際の変換式は、変換元である左目用映像の情報を用いて垂直方向のライン数を半分にするやり方であれば、上記式以外でもかまわない。右目用映像についても同様である。また、上記例では偶数ラインが左目用映像、奇数ラインが右目用映像としているが、偶数ラインが右目用映像、奇数ラインが左目用映像としてもかまわない。一方、左目用映像及び右目用映像が毎秒60フィールド以内のインターレース方式であり、録画再生装置10からテレビ12へ毎秒60フレームの映像が伝送できる場合、上記式による変換を行うことなく、左目用映像のラインと右目用映像のラインを交互に配置することにより、間引きをおこなうことなく多重化してもよい。
【0035】
図8は、図5に示すフレーム交互式の3D表示方式に対応する多重化方法であり、フレーム周波数を2倍にして左目用の映像フレームと右目用の映像フレームを交互に配置するものである。但し、このままではテレビ12の画像表示能力を超える2倍の伝送量となるため、図6にて行った水平画素数を間引いて半分にする方法を適用することにより、全体のデータ伝送量を増やすことなく、フレーム周波数を2倍にすることができる。具体的な変換方法としては、図6の左目用もしくは右目用のみの変換式を用いて水平画素数を半分にし、1フレームごとに左目用の映像と右目用の映像を交互に切替えて各フレームは間引くことなく変換する。例えば、変換前のフレーム0のBデータの映像は、変換後のフレーム0として左目用の映像を構成するフレームであるBFOLが変換前のフレーム0の左目用画像から水平間引きを行うことにより生成され、変換後のフレーム1として右目用の映像を構成するフレームであるBF1Rが変換前のフレーム0の右目用画像から水平間引きを行うことにより生成される。また、フレーム周波数を2倍にする別の方法としては、図7のライン数を半分にする方式を用いて変換後のフレームのデータ量を半減させるという方法もある。また、上記例では偶数フレームが左目用映像、奇数フレームが右目用映像としているが、偶数フレームが右目用映像、奇数フレーム左目用映像としてもかまわない。一方、右目用映像及び左目用映像が、毎秒30フレーム(右目用映像及び左目用映像を合わせて毎秒60フレーム)以内であり、録画再生装置10からテレビ12へ毎秒60フレームの映像が伝送できる場合、右目用映像と左目用映像を間引くことなく伝送してもよい。
【0036】
図9は、HDMIケーブル11を通して録画再生装置10の伝送処理部8とテレビ12の伝送処理部21を結ぶDDCラインにて伝送されるVSDB(Vender Specific Data Block)と呼ばれるデータの構成例である。ソース側の機器(録画再生装置10)からシンク側の機器(テレビ12)のVSDBを読み出すことで、シンク側の機器の能力や特徴(機器情報)を知ることができる。同図において、0バイト目の上位4ビットは、当該ブロックのタグコード、0バイト目の下位4ビットはブロック長、1バイト目から3バイト目までは認識コード、4バイト目及び5バイト目はソース側の機器の物理アドレス、6バイト目は色深度などのフラグ情報、7バイト目は最大転送クロック、8バイト目の上位2ビットは遅延量に関するフラグ、9バイト目から12バイト目までは映像と音声の遅延量をあらわす。13バイト目の上位4ビットには、シンク側の機器が3D表示に対応可能か、対応可能であればどの表示方式を採用しているか、偶数画素(画素交互式の場合)、偶数ライン(ライン交互式の場合)、偶数フレーム(フレーム交互式の場合)が左目用映像か否かなどを示す立体映像表示方式情報である3D表示情報が設定される。ソース側の機器は、当該3D情報を読むことでシンク側の機器の3D対応状況や表示方式を知り、どの間引き方法や多重化方式によって映像データを処理したらよいかなどを知ることができる。
【0037】
図10は、HDMIケーブル11を通して録画再生装置10の伝送処理部8とテレビ12の伝送処理部21を結ぶチャンネル0からチャンネル2において、映像データのブランキング期間に流すことができる補助データの一つであるAVI(Auxiliary Video Information)InfoFrameの構成例である。ソース側の機器は、現在伝送している映像データの特徴を当該AVI InfoFrameに設定することで、シンク側の機器に映像データの特徴を伝えることができる。同図において、0バイト目は当該パケットのチェックサム、1バイト目から5バイト目までは映像データに関連するフラグ情報、6バイト目から13バイト目までは映像の有効領域に関する情報、14バイト目の上位4ビットには3D多重情報が記述される。当該3D多重情報には、映像データは2Dか3Dか、3Dの場合、左目用映像と右目用映像の多重化方式の種別情報(画素交互式、ライン交互式、フレーム交互式、および間引き方式)と、左目用映像と右目用映像を見分けるための情報(例えば、左目用映像は偶数画素、偶数ライン、もしくは当該フレームかどうかなどの情報)などが記述される。シンク側の機器は、当該3D多重情報を読むことで、現在送られている映像が2Dか3Dか、3Dであればどの多重化方式で、左右の映像はどうやって見分けることができるか、などの情報を知ることができる。
【0038】
次に、録画再生装置10の多重化処理部7で左目用映像と右目用映像の多重化を行う際の、コントローラ1の多重化方式選択処理について述べる。なお、コントローラ1には図示しないメモリが備えられており、そのメモリには、再生した番組ストリームの映像形式やテレビ12の立体映像表示方式および画像表示能力と、それに対応する多重化方式や間引き方式の好適な組み合わせを示すテーブルが記憶されている。そして、コントローラ1は、再生する番組ストリームの映像形式やテレビ12から入力される機器情報等に基づき、上記テーブルを参照して以下に示すような動作の制御を行う。
【0039】
図11は、コントローラ1における多重化方式選択処理のフローチャートである。同図において、ステップS101では、再生処理部6で再生した番組ストリームの映像データの種類を識別し、再生映像が3D映像かどうかで処理を変え、3D映像であった場合はステップS102へ進み、そうでない場合はステップS106へ進む。ステップS102では、テレビ12からHDMIケーブル11を介して読み出したVSDBからテレビ12の機器情報を取得し、ステップS103へ進む。ステップS103では、取得した機器情報から立体映像表示方式情報である3D表示情報を抽出し、抽出した3D表示情報により、テレビ12が3D表示に対応しているか否かを判断する。3D対応している場合はステップS104へ進み、そうでない場合はS107へ進む。
【0040】
ステップS104では、テレビ12の3D表示方式にあわせて、録画再生装置10で変換可能かどうかを判断する。例えば、テレビ12の3D表示方式が右目用映像と左目用映像をラインごとに交互に表示する方式であった場合、録画再生装置10が右目用映像と左目用映像をラインごとに交互に多重できるかどうかで判断する。また、取得した機器情報からテレビ12の表示デバイスの画像表示能力情報を抽出し、抽出した画像表示能力情報により、間引きが必要か否かを判断する。変換可能な場合はステップS105へ進み、そうでない場合はステップS108へ進む。ステップS105では、多重化方式決定部として機能するコントローラ1が3D表示方式や画素、ライン、フレームの配置順、データの間引きなどをテレビ12の立体映像表示方式情報や画像表示能力情報に合わせた左目用映像データと右目用映像データの間引き方式と多重化を決定し、多重化処理部7に対して指示する。更に補助データとして音声データの多重化を指示する。また、InfoFrameの3D多重情報に、左目用映像と右目用映像の多重化方式や左目用映像と右目用映像の判別法の記述を指示し、処理を終了する。
【0041】
ステップS107は、再生処理部6で再生した映像データは3D映像であるが、テレビ12が3D表示に対応していない場合に行われる処理であり、再生処理部6から出力された左目用映像もしくは右目用映像のいずれか一方を選択して2D表示方式の映像として扱うよう多重化処理部7に指示し、ステップS106へ進む。
【0042】
ステップS108は、再生映像は3D映像で、テレビ12の3D表示方式に録画再生装置10で変換できない場合に行われる処理であり、3D表示に対応した全ての機器のソース側とシンク側で共通のデフォルト多重化方式をあらかじめ決めておき、そのデフォルトの多重化方式により、左目用映像と右目用映像を多重化し、更に補助データとして音声データを多重化するよう多重化処理部7に指示する。また、InfoFrameの3D多重情報に、左目用映像と右目用映像の多重化方式や左目用映像と右目用映像の判別法の記述を指示し、処理を終了する。デフォルトでの多重化方式が選択されると、テレビ12の3D表示方式に合った多重化方式で変換できないため、間引きを行う際に劣化が発生する場合があるものの、録画再生装置10で対応できない3D表示方式であってもテレビ12で表示可能な映像データを伝送することができる。
【0043】
ステップS106は、再生映像が3D映像でない、もしくはテレビ12で3D表示ができない場合に行われる処理であり、立体映像表示でない、いわゆる2D表示方式に合わせて、つまりそのまま1本の映像と音声データの多重化を多重化処理部7に指示する。また、InfoFrameの3D多重情報に、2D映像であることの記述を指示し、処理を終了する。
【0044】
次に、デジタル映像データ受信装置であるテレビ12おいて、HDMIケーブル11を介して伝送されてきた3Dの映像データを処理する際の動作について説明する。具体的には、分離処理部22において、左目用映像と右目用映像、音声データの分離を行う際の、コントローラ20の分離選択処理について説明する。図12は、コントローラ20における分離選択処理のフローチャートである。同図において、ステップS201では、分離処理部22で分離されたAVI InfoFrameから3D多重化方式の情報を取得し、ステップS202へ進む。ステップS202では、取得した3D多重化方式情報にもとづいて、伝送されてきた映像が3D映像かどうかを判断する。3D映像であった場合、ステップS203へ進み、そうでない場合はステップS205へと進む。ステップS203では、左目用映像と右目用映像の多重化方式が、テレビ12の3D表示方式と一致するかどうかを判断する。一致する場合はS204へ進み、そうでない場合はS206へ進む。ステップS204では、テレビ12の3D表示方式と左目用映像と右目用映像の多重化方式が一致しているので、映像はそのままで音声のみを分離して、映像を映像処理部S23へ出力させ、音声データは音声出力処理部へ出力させる。映像は既に表示デバイス25へ出力可能な形式の3D映像であるため、その旨を映像処理部S23に指示し、処理を終了する。
【0045】
ステップS206は、映像は3D映像で、多重化方式がテレビ12の3D表示方式と一致しない場合(録画再生装置10側でデフォルトの多重化方式で多重した場合(図11のステップS108)にこの処理に入る)に行われる処理であり、分離処理部22に対して、デフォルトの多重化方式から左目用映像と右目用映像を分離して映像処理部23へ出力するよう指示する。ステップS207では、映像処理部23に対して、左目用映像と右目用映像とをテレビ12の3D表示方式に合わせて変換させ、処理を終了する。
【0046】
ステップS205は、映像が3D映像でない2D映像の場合に行われる処理であり、分離処理部22に対して、映像はそのままで音声のみを分離して、映像は2D映像として映像処理部S23へ出力させ、音声データは音声出力処理部へ出力させて、処理を終了する。
【0047】
以上のように、本実施の形態1にかかるデジタル映像データ送信装置によれば、映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格(HDMI規格)を用いる伝送経路であるHDMIケーブル11を介して当該機器である録画再生装置10に接続された外部機器であるテレビ12の機器情報を取得する外部機器情報取得部として機能する伝送処理部8とコントローラ1と、番組ストリームを再生する番組ストリーム再生部として機能する再生処理部6と、番組ストリーム再生部6が再生した番組ストリームが立体映像方式の場合、テレビ12の機器情報からテレビ12の立体映像表示方式情報を抽出し、抽出した立体映像表示方式情報に適合するように、再生した番組ストリームのデータ多重化方式を決定するデータ多重化方式決定部として機能するコントローラ1と、データ多重化方式決定部1が決定した多重化方式に従い、再生した番組ストリームのデータを多重化するデータ多重化部として機能する多重化処理部7と、伝送経路11を介してデータ多重化部7が多重化した番組ストリームのデータを出力する伝送処理部8と、を備えるように構成したので、デジタル映像データ送信装置である録画再生装置10とデジタル映像データ受信装置であるテレビ12とをHDMIケーブル11で接続するだけで、録画再生装置10はテレビ12に適した多重化方式で多重化した立体映像データを送信できるので、録画再生装置10が送信した立体映像データをテレビ12で適切に表示することができる。
【0048】
とくに、データ多重化部として機能する多重化処理部7は、多重化した番組ストリームのデータに、多重化方式の情報を付加するように構成したので、テレビ12は付加された情報に基づいて送信された立体映像データに適した分離処理ができ、良好な立体映像表示を行うことができる。
【0049】
また、データ多重化方式決定部として機能するコントローラ1は、外部機器であるテレビ12の機器情報からテレビ12の画像表示能力情報を抽出し、抽出した画像表示能力情報に適合するように再生した番組ストリームのデータの間引き方式を決定し、データ多重化部7は、再生した番組ストリームのデータを決定した間引き方式に従い間引いたのち、多重化するように構成したので、テレビ12の3D映像表示方式に合わせた間引き方法を選択して間引くことができ、1画素あたりのデータ転送量を増加させずに多重化するので、表示品質の低下を抑えることができる。
【0050】
また、間引き方式は、再生した立体映像表示方式の番組ストリームの右目用映像データと左目用映像データをそれぞれ半分のサイズになるように間引くようにしたので、2D映像表示方式の場合と比較してデータ送信量が変化しないので、通常のインターフェース規格に準じた伝送経路をそのまま使用して左目用映像と右目用映像を転送できるようになる。さらに、録画再生装置10でテレビ12に対応した多重化方式に変換して伝送するように構成していることにより、テレビ12はデフォルトとしてあらかじめ決められた多重化方式からテレビ12自身が採用している3D映像表示方式に変換する処理を持つだけでよく、3D映像の伝送及び変換に要する機器のコストを抑えることができる。
【0051】
また、本実施の形態1にかかるデジタル映像データ受信装置によれば、映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格を用いる伝送経路11を介して当該機器に接続された外部機器である録画再生装置10に当該機器の機器情報を送信する受信装置情報出力部として機能するコントローラ20と伝送処理部21と、録画再生装置10から送信された番組ストリームのデータを分離処理する分離処理部22と、分離処理されたデータから多重化情報を抽出する多重化情報抽出部として機能する分離処理部22と、映像データが立体映像方式の場合、多重化情報抽出部22が抽出した多重化情報に基づき、分離した映像データを立体映像表示用に処理する映像処理部23と、を備えるように構成したので、外部機器である録画再生装置10からテレビ12の機器の能力に応じたデータ形式の立体映像表示用の映像データを送信させることができるので、録画再生装置10から受信した立体映像データをテレビ12のデフォルトの機能で適切に表示することができる。
【0052】
さらに、本実施の形態1にかかるデジタル映像データ伝送システムによれば、上述したデジタル映像データ送信装置である録画再生装置10と、デジタル映像データ受信装置であるテレビ12とを、映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格(HDMI規格)を用いる伝送経路であるHDMIケーブル11により接続して構成したので、簡単にシステム構成ができ、良好な立体映像表示を行うことができる。
【0053】
さらに、伝送経路のインターフェース規格をHDMI(High Definition Multimedia Interface)規格としたので、録画再生装置10とテレビ12間のデータがスムーズに伝送できるとともに、本実施の形態で示した送・受信機以外のHDMI規格に準拠した外部機器にも接続して伝送システムを形成することができる。
【0054】
また、本実施の形態1にかかるデジタル映像データ送信方法では、映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格(HDMI規格)を用いる伝送経路であるHDMIケーブル11を介して当該機器である録画再生装置10に接続された外部機器であるテレビ12の機器情報を取得する外部機器情報取得ステップS102と、番組ストリームを再生する番組ストリーム再生ステップと、番組ストリーム再生ステップで再生した番組ストリームが立体映像方式の場合、テレビ12の機器情報からテレビ12の立体映像表示方式情報を抽出S102し、抽出した立体映像表示方式情報に適合するように、再生した番組ストリームのデータ多重化方式を決定するデータ多重化方式決定ステップと、データ多重化方式決定ステップで決定した多重化方式に従い、再生した番組ストリームのデータを多重化するデータ多重化ステップS105と、伝送経路11を介してデータ多重化ステップで多重化した番組ストリームのデータを出力する伝送処理ステップと、を備えるように構成したので、デジタル映像データ送信装置である録画再生装置10とデジタル映像データ受信装置であるテレビ12とをHDMIケーブル11で接続するだけで、送信した立体映像データをテレビ12で適切に表示することができる。
【0055】
また、本実施の形態1にかかるデジタル映像データ受信方法では、映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格を用いる伝送経路11を介して当該機器に接続された外部機器である録画再生装置10に当該機器の機器情報を送信する受信装置情報出力ステップと、
録画再生装置10から送信された番組ストリームのデータを分離処理する分離処理ステップS204と、分離処理されたデータから多重化情報を抽出する多重化情報抽出ステップS203と、映像データが立体映像方式の場合、多重化情報抽出ステップS203で抽出した多重化情報に基づき、分離した映像データを立体映像表示用に処理する映像処理ステップと、を備えるように構成したので、外部機器である録画再生装置10からテレビ12の機器の能力に応じたデータ形式の立体映像表示用の映像データを送信させることができるので、受信した立体映像データをテレビ12のデフォルトの機能を用いて適切に表示することができる。
【0056】
さらに、本実施の形態1にかかるデジタル映像データ伝送方法によれば、映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格(HDMI規格)を用いる伝送経路を介して、上述したデジタル映像データ送信方法と、デジタル映像データ受信方法とを行うように構成したので、簡単な構成で良好な立体映像表示を行うことができる。
【0057】
実施の形態2.
本実施の形態2における録画再生装置10とテレビ12では、実施の形態1と異なり、テレビ12の3D表示方式に関する情報の伝送路としてHDMIケーブル11のDDCの代わりに、双方向の通信が可能なCECを使っている。そして、本実施の形態2にかかる録画再生装置10とテレビ12は、実施の形態1で用いた図1で説明すると、録画再生装置10のコントローラ1と伝送処理部8からなる伝送処理部は、伝送経路であるHDMIケーブル11を介して録画再生装置10の能力情報をテレビ12に出力する機能を有し、テレビ12の受信装置情報出力部として機能するコントローラ20と伝送処理部21は、録画再生装置10の能力情報を取得する外部機器能力情報取得部として機能する。そしてテレビ12のコントローラ20は、外部機器能力情報から抽出した録画再生装置10の立体映像表示方式とテレビ12自身の立体映像表示方式とを提示して、ユーザに立体映像表示方式を選択させる立体映像表示方式選択部として機能し、テレビ12の伝送処理部21は、選択した立体映像表示方式情報を録画再生装置10に送信する選択立体映像表示方式送信部として機能する。
【0058】
図13は、本発明の実施の形態2にかかる録画再生装置10とテレビ12間において、テレビ12の3D表示方式に関する通信処理及び多重化方式選択処理を示すフローである。図において、ステップS301では、再生映像が3D映像かどうかで処理を変え、3D映像であった場合はステップS302へ進み、そうでない場合はステップS307へ進む。ステップS302では、録画再生装置10からテレビ12へ録画再生装置10が対応している3D多重化方式の通知をおこなう。ステップS303では、テレビ12のコントローラ20が、録画再生装置10の3D多重化方式情報をもとに3D表示情報を設定する。具体的には、録画再生装置10が対応する3D多重化方式とテレビ12内の映像処理部23及び表示処理部24の能力から最適なものを選択し、3D表示方式として録画再生装置10へ通知する。この際、単純にテレビ12自身の採用している3D表示方式を選択してもよいし、ユーザが選択した3D表示方式を選択してもよい。また、テレビ12が3D表示方式に対応していない場合、右目用映像もしくは左目用映像のどちらを伝送して欲しいかを録画再生装置10へ伝えることもできる。録画再生装置10が3D表示方式を取得すると、ステップS304へ進む。ステップS304では、テレビ12が3D表示に対応しているか否かを判断する。3D対応している場合はステップS305へ進み、そうでない場合はS308へ進む。
【0059】
ステップS305では、テレビ12の選択した3D表示方式にあわせて、録画再生装置10で変換可能かどうかを判断する。例えば、テレビ12が選択した3D表示方式が右目用映像と左目用映像をラインごとに交互に表示する方式であった場合、録画再生装置10が右目用映像と左目用映像をラインごとに交互に多重できるかどうかで判断する。変換可能な場合はステップS306へ進み、そうでない場合はステップS309へ進む。ステップS306では、多重化処理部7に対して、3D表示方式や画素、ライン、フレームの配置順などをテレビ12のそれに合わせた左目用映像と右目用映像の多重化を指示し、更に補助データとして音声データの多重化を指示する。また、InfoFrameの3D多重情報に、左目用映像と右目用映像の多重化方式や左目用映像と右目用映像の判別法の記述を指示し、処理を終了する。
【0060】
ステップS308は、再生映像は3D映像で、テレビ12が3D表示に対応していない場合に行われる処理であり、左目用映像もしくは右目用映像のいずれか一方を選択する。この際、ステップS303でテレビ12が右目用映像または左目用映像を要求していた場合、その指示に従って選択を行う。映像選択後、2D表示方式の映像として扱うよう多重化処理部7に指示し、ステップS307へ進む。
【0061】
ステップS309は、再生映像は3D映像で、テレビ12の3D表示方式に録画再生装置10で変換できない場合に行われる処理であり、3D表示に対応した全ての機器のソース側とシンク側で共通のデフォルト多重化方式をあらかじめ決めておき、そのデフォルトの多重化方式により、左目用映像と右目用映像を多重化し、更に補助データとして音声データを多重化するよう多重化処理部7に指示する。また、InfoFrameの3D多重情報に、左目用映像と右目用映像の多重化方式や左目用映像と右目用映像の判別法の記述を指示し、処理を終了する。デフォルトでの多重化方式が選択されると、テレビ12の3D表示方式に合った多重化方式で変換できないため、間引きを行う際に劣化が発生するものの、録画再生装置10で対応できない3D表示方式の映像を伝送することができる。
【0062】
ステップS307は、再生映像が3D映像でない、もしくはテレビ12が3D表示ができない場合に行われる処理であり、2D表示方式に合わせて、つまりそのまま1本の映像と音声データの多重化を多重化処理部7に指示する。また、InfoFrameの3D多重情報に、2D映像であることの記述を指示し、処理を終了する。
【0063】
以上のように、本実施の形態2にかかるデジタル映像データ送信装置によれば、伝送処理部として機能するコントローラ1と伝送処理部8は、伝送経路であるHDMIケーブル11を介して当該機器の機器情報を外部機器であるテレビ12に出力し、出力した機器情報をもとにテレビ12により選定された立体映像表示方式情報をテレビ12から受信したときは、データ多重化方式決定部として機能するコントローラ1は、再生した番組ストリームのデータ多重化方式をテレビ12から受信した立体映像表示方式情報により決定するように構成したので、録画再生装置10が対応する3D多重化方式とテレビ12内の映像処理部23及び表示処理部24の能力から最適なものを選択することが可能となり、また、ユーザの指定した3D表示方式や2D表示における右目用映像、左目用映像の選択も可能となるため、表示品質の向上と表示映像に対する選択自由度が向上する。
【0064】
また、本実施の形態2にかかるデジタル映像データ受信装置によれば、外部機器である録画再生装置10から録画再生装置10の能力情報を取得する外部機器能力情報取得部21と、取得した外部機器能力情報から抽出した録画再生装置10の立体映像表示方式情報とテレビ12自身の立体映像表示方式情報を提示して、その中からユーザに立体映像表示方式を選択させる立体映像表示方式選択部と、選択した立体映像表示方式情報を外部機器である録画再生装置10に送信する選択立体映像表示方式送信部21と、を備えるように構成したので、録画再生装置10が対応する3D多重化方式とテレビ12内の映像処理部23及び表示処理部24の能力から最適なものを選択することが可能となり、また、ユーザの指定した3D表示方式や2D表示における右目用映像、左目用映像の選択も可能となるため、表示品質の向上と表示映像に対する選択自由度が向上する。
【0065】
実施の形態3.
本実施の形態3では、3D映像を左目用と右目用のデータによって表現するのではなく、3D映像を2D映像と深さ情報で現す方式に対応して3D映像データを多重化する場合について説明する。図14は、本発明の実施の形態3におけるHDMIケーブル11を用いて3D映像を伝送する際の、後述する3D映像を2D映像と深さ情報で現す方法における3D映像多重化方式を示した図である。図において、チャンネル0のD0、D1、D2、D3は、画素0、画素1、画素2、画素3における深さ情報を表す。チャンネル1のY0、Y1、Y2、Y3は、画素0、画素1、画素2、画素3における輝度データ、チャンネル2のCb0、Cr1、Cb2、Cr3は、画素0、画素1、画素2、画素3における色差データを表す。
【0066】
また、本実施の形態3は、実施の形態1と比較して、3D映像多重化方式として、2D映像と深さ情報による方式に対応していることに加え、映像データの表現方法が、R、G、Bの原色データから、Y、Cb、Crの輝度・色差データに変わったことが異なる。つまり、コントローラ1に備えられた図示しないメモリには、上記2D映像と深さ情報による方式を含む番組ストリームの映像形式やテレビ12の立体映像表示方式および画像表示能力と、それに対応する多重化方式や間引き方式の好適な組み合わせを示すテーブルが記憶されている。Y、Cb、Crを用いた表現方法は、放送やDVD、Blu−ray Discなどのパッケージメディアにてよく用いられる方法であり、輝度データと色差データを間引かずに扱う4:4:4方式、輝度データに対して色差データを半分に間引く4:2:2方式、更に間引きを行う4:2:0方式などがある。図14においては、4:2:2方式で色差データを間引いて表現する方法の場合を示している。この方法で表現すると、R、G、Bの原色データを用いた表現方法と比べて1チャンネル分のデータ量が削減できるため、チャンネル0に深さ情報を割り当てて伝送することにより、輝度データと色差データを用いて表現される2D映像に加えて、深さ情報を同時に伝送することが可能となる。放送やDVD、Blu−ray Discなどのパッケージメディアにおいては、通常、4:2:2方式や4:2:0方式が用いられているため、この限りにおいて図14のようにデータを転送しても劣化が生じない。
【0067】
図15は、3D映像を2D映像と深さ情報で現す方法を示した図である。同図において、2D映像は、輝度や色の情報が含まれた2D映像であり、深さ情報は、その画素における奥行きに関する情報を深さ情報として表現したものである。深さ情報は、0(黒)から255(白)で表現され、255が一番手前に位置することを表し、0は一番遠くにあることを表す。2D映像に対して深さ情報を加味して表示することにより、3D映像を表現することができる。
【0068】
以上のように、本実施の形態3にかかる立体映像表示用データの伝送方法によれば、2D映像と深さ情報を用いて表現した3D映像を録画再生装置10からテレビ12に伝送する際に、HDMIケーブル11の伝送路を使った右目用映像と左目用映像にて表現した3D映像方式に加えて、2D映像と深さ情報を同時に伝送できるようにしたため、右目用映像と左目用映像にて表現した3D映像方式だけでなく、2D映像と深さ情報を用いて表現した3D映像を劣化無くあるいは劣化を最小限にとどめて伝送することができる。
【図面の簡単な説明】
【0069】
【図1】この発明の実施の形態1におけるデジタル映像データ送信装置、デジタル映像データ受信装置、およびデジタル映像データ伝送システムの構成例を示すブロック図である。
【図2】この発明の実施の形態1における伝送経路での信号構成図である。
【図3】この発明の実施の形態1における左目用映像と右目用映像を画素単位で交互に表示する3D表示方式を示した図である。
【図4】この発明の実施の形態1における左目用映像と右目用映像をライン単位で交互に表示する3D表示方式を示した図である。
【図5】この発明の実施の形態1における左目用映像と右目用映像をフレーム単位で交互に表示する3D表示方式を示した図である。
【図6】この発明の実施の形態1における左目用映像と右目用映像を画素単位で多重したデータ列を示した図である。
【図7】この発明の実施の形態1における左目用映像と右目用映像をライン単位で多重したデータ列を示した図である。
【図8】この発明の実施の形態1における左目用映像と右目用映像をフレーム単位で多重したデータ列を示した図である。
【図9】この発明の実施の形態1におけるVSDBの構成例を示した図である。
【図10】この発明の実施の形態1におけるAVI InfoFrameの構成例を示した図である。
【図11】この発明の実施の形態1における多重化方式選択処理を示したフローチャートである。
【図12】この発明の実施の形態1における分離選択処理を示したフローチャートである。
【図13】この発明の実施の形態2における3D表示方式通信及び多重化方式選択処理を示したフローチャートである。
【図14】この発明の実施の形態3における2D映像と深さ情報を多重したデータ列を示した図である。
【図15】この発明の実施の形態3における2D映像と深さ情報で3D映像を表現する方法を示した図である。
【符号の説明】
【0070】
1 コントローラ(データ多重化方式決定部)、 2 チューナ、 3 記録処理部、 4 番組記憶領域(記録媒体)、 5 光学ドライブ(記録媒体)、 6 再生処理部(番組ストリーム再生部)、 7 多重化処理部(データ多重化部)、 8 伝送処理部(外部機器情報取得部)、 10 録画再生装置(デジタル映像データ送信装置)、
11 HDMIケーブル(伝送経路)、
12 テレビ(デジタル映像データ受信装置)、 20 コントローラ(立体映像表示方式選択部)、 21 伝送処理部(受信装置情報出力部、外部機器能力情報取得部、選択立体映像表示方式送信部)、 22 分離処理部(多重化情報抽出部)、 23 映像処理部、 24 表示処理部、 25 表示デバイス、 26 音声出力処理部、 27 スピーカ。
【技術分野】
【0001】
本発明は、立体映像方式のデジタル映像データを、各色の原色データとして画素単位で個別に伝送するインターフェース規格である、例えばHDMI(High-Definition Multimedia Interface)規格を用いて送受信するデジタル映像データ送信装置、デジタル映像データ受信装置、デジタル映像データ伝送システム、デジタル映像データ送信方法、デジタル映像データ受信方法、およびデジタル映像データ伝送方法に関するものである。
【背景技術】
【0002】
近年、デジタル映像データを送信するレコーダーとデジタル映像データを受信して表示するテレビを簡単に接続するデジタル方式の映像・音声入出力インターフェース規格としてHDMI規格が用いられるようになってきた。HDMI規格では、各色を表す原色データとしては、R、G、Bといった加法混色の原色データ、もしくはY、Cb、Crといった輝度および色差信号による3チャンネルのデータで表現され、1画素単位で個別に伝送される。各画素のデータは、10ビット以上を用いることも可能であるが、基本的には8ビットで構成される。
【0003】
一方、映像表示方法として、右目用の映像と左目用の映像を用いて、それぞれ対応する目に個別に入射させるように構成して立体的な表示を行う立体映像表示方法が実用化されており、一部の映画館にて先行的に立体映像表示が行われていることから、今後更なる普及が予想される。立体映像表示を行うためには、右目用の映像と左目用の映像を同期して伝送し表示する必要がある。右目用、左目用の映像を同期して伝送する方法としては、右目用もしくは左目用の映像データのいずれか一方に、1画素ごとに他方の映像データを付加して1画素の映像データを2倍のビット数で構成させることで、立体映像表示用の画像データを伝送する方法が提案されている(例えば、特許文献1参照)。
【0004】
【特許文献1】特開2007−336518号公報(段落0036、第4図)
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、上記のような構成では、伝送経路を介して接続される送信側と受信側は、互いに独立して立体映像表示用画像データの処理を行うので、それぞれ異なる方式でデータを処理した場合には、適切な立体映像表示を行うことができないという問題があった。また、上記のような伝送方法では、受信側の表示能力を超えるデータ量の画像データが伝送されてきた場合、受信側でデータを間引く必要があり、高速なデータ伝送に対応可能な部品を使用する必要があるとともに、活用されない無駄なデータを伝送するという問題があった。
【0006】
本発明は、上記のような問題点を解決するためになされたものであり、映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格の伝送経路を用いて送信装置と受信装置とを接続するだけで、適切に立体映像を表示することができるデジタル映像データ送信装置、デジタル映像データ受信装置、デジタル映像データ伝送システム、デジタル映像データ送信方法、デジタル映像データ受信方法、およびデジタル映像データ伝送方法を得ることを目的とする。
【課題を解決するための手段】
【0007】
本発明にかかるデジタル映像データ送信装置は、映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格を用いて送信するデジタル映像データ送信装置であって、前記インターフェース規格を用いる伝送経路を介して当該機器に接続された外部機器の機器情報を取得する外部機器情報取得部と、番組ストリームを再生する番組ストリーム再生部と、前記番組ストリーム再生部が再生した番組ストリームが立体映像方式の場合、前記外部機器の機器情報から前記外部機器の立体映像表示方式情報を抽出し、抽出した立体映像表示方式情報に適合するように、前記再生した番組ストリームのデータ多重化方式を決定するデータ多重化方式決定部と、前記データ多重化方式決定部が決定した多重化方式に従い、前記再生した番組ストリームのデータを多重化するデータ多重化部と、前記伝送経路を介して前記データ多重化部が多重化した番組ストリームのデータを出力する伝送処理部と、を備えるものである。
【0008】
また、本発明にかかるデジタル映像データ受信装置は、映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格を用いて受信するデジタル映像データ受信装置であって、前記インターフェース規格を用いる伝送経路を介して当該機器に接続された外部機器に当該機器の機器情報を送信する受信装置情報出力部と、前記外部機器から送信された番組ストリームのデータを分離処理する分離処理部と、前記分離処理されたデータから多重化情報を抽出する多重化情報抽出部と、前記映像データが立体映像方式の場合、前記多重化情報抽出部が抽出した多重化情報に基づき、前記分離した映像データを立体映像表示用に処理する映像処理部と、を備えるものである。
【0009】
また、本発明にかかるデジタル映像データ伝送システムは、上記デジタル映像データ送信装置と、映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格を用いる伝送経路を介して前記デジタル映像データ送信装置と接続されるデジタル映像データ受信装置と、を備えるものである。
【0010】
また、本発明にかかるデジタル映像データ送信方法は、映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格を用いて送信するデジタル映像データ送信方法であって、前記インターフェース規格を用いる伝送経路を介して当該機器に接続された外部機器の機器情報を取得する外部機器情報取得ステップと、番組ストリームを再生する番組ストリーム再生ステップと、前記番組ストリーム再生ステップで再生した番組ストリームが立体映像方式の場合、前記外部機器の機器情報から前記外部機器の立体映像表示方式情報を抽出し、抽出した立体映像表示方式情報に適合するように、前記再生した番組ストリームのデータ多重化方式を決定するデータ多重化方式決定ステップと、前記データ多重化方式決定ステップで決定した多重化方式に従い、前記再生した番組ストリームのデータを多重化するデータ多重化ステップと、前記伝送経路を介して前記データ多重化ステップで多重化した番組ストリームのデータを出力する伝送処理ステップと、を備えるものである。
【0011】
また、本発明にかかるデジタル映像データ受信方法は、映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格を用いて受信するデジタル映像データ受信方法であって、前記インターフェース規格を用いる伝送経路を介して当該機器に接続された外部機器に当該機器の機器情報を送信する受信装置情報出力ステップと、前記外部機器から送信された番組ストリームのデータを分離処理する分離処理ステップと、前記分離処理されたデータから多重化情報を抽出する多重化情報抽出ステップと、
前記映像データが立体映像方式の場合、前記多重化情報抽出ステップで抽出した多重化情報に基づき、前記分離した映像データを立体映像表示用に処理する映像処理ステップと、を備えるものである。
【0012】
また、本発明にかかるデジタル映像データ伝送方法は、映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格を用いる伝送経路を介して、上記デジタル映像データ送信方法と、上記デジタル映像データ受信方法と、を行うものである。
【発明の効果】
【0013】
本発明によれば、映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格を用いる伝送経路を介して接続された受信装置の能力に応じて立体映像表示用画像データを処理して伝送するので、送信装置と受信装置とを接続するだけで、適切に立体映像を表示することができるデジタル映像データ送信装置、デジタル映像データ受信装置、デジタル映像データ伝送システム、デジタル映像データ送信方法、デジタル映像データ受信方法、およびデジタル映像データ伝送方法が得られる。
【発明を実施するための最良の形態】
【0014】
実施の形態1.
図1は、本発明の実施の形態1にかかるデジタル映像データ送信装置、デジタル映像データ受信装置および両者をHDMIケーブルで接続したデジタル映像データ伝送システムの構成を示すブロック図である。図において、デジタル映像データ送信装置である録画再生装置10と、デジタル映像データ受信装置であるテレビ12とは、映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格を用いるHDMIケーブル11を用いて接続されている。そして、デジタル映像データ送信装置である録画再生装置10から見て、テレビ12はHDMIケーブルを介して接続された外部機器であり、デジタル映像データ受信装置であるテレビ12から見て、録画再生装置10はHDMIケーブルを介して接続された外部機器である。
【0015】
デジタル映像データ送信装置である録画再生装置10は、装置全体を制御するコントローラ1、放送波を受信するチューナ2、受信した番組ストリームを記録するための信号処理を行う記録処理部3、記録媒体である番組記憶領域4と光学ドライブ5、記録媒体に記録された番組ストリームを読み込んで出力する再生処理部6、再生した番組ストリームのデータを多重化する多重化処理部7、伝送経路であるHDMIケーブル11を用いてデジタル映像データ受信装置であるテレビ12とのデータ伝送処理を行う伝送処理部8とを有している。
【0016】
デジタル映像データ受信装置であるテレビ12は、装置全体を制御するコントローラ20と、インターフェースケーブル11を用いて録画再生装置10とのデータ伝送処理を行う伝送処理部21と、多重化されたデータを音声データと映像データ等に分離処理する分離処理部22と、分離された映像データを処理する映像処理部23と、処理された映像データを表示デバイス用のフォーマット信号に変換する表示処理部24と、表示デバイス25と、分離された音声データを処理する音声出力処理部26と、スピーカ27とを有する。なお、本実施の形態では、テレビ12については3D映像に関連した部分についてのみ説明する。
【0017】
伝送経路であるHDMIケーブル11はHDMI(High-Definition Multimedia Interface)インターフェース規格に準拠したケーブルであり、録画再生装置10およびテレビ12に設置されたコネクタ端子(図示せず)のそれぞれにケーブルの一端と他端を挿入することで両機器間のデータ伝送が可能となる。また、同規格に準拠した機器であれば、どのような機器に対してもその機器に設置されたHDMI用のコネクタ端子に挿入するだけでデータ伝送が可能となる。次に各部の詳細について説明する。
【0018】
本実施の形態1におけるデジタル映像データ送信装置である録画再生装置10は、コントローラ1の制御によって立体(以降3Dと呼ぶ)映像に対応した番組の記録や再生を行う。チューナ2は、コントローラ1の指示により放送波を受信し、番組ストリームを記録処理部3、もしくは再生処理部6へ出力する。
【0019】
番組ストリームを記録する際は、番組ストリームはチューナ2から記録処理部3に入力され、コントローラ1の指示により記録媒体である番組記憶領域4もしくは光学ドライブ5へ出力される。番組記憶領域4は、ハードディスクで構成され、コントローラ1の制御により記録処理部3からの番組ストリームを保存する。光学ドライブ5は、DVD等の出し入れ可能な記録媒体への読出し書込みを行う装置で、コントローラ1の制御により記録処理部3からの番組ストリームを保存する。
【0020】
番組ストリームを再生する際は、コントローラ1の指示により、記録媒体に記録されている番組ストリームを再生する場合は、番組記憶領域4もしくは光学ドライブ5から再生処理部6へ番組ストリームを出力する。一方、リアルタイム視聴時にはチューナ2から再生処理部6に番組ストリームを出力する。再生処理部6は、コントローラ1の指示に従って、入力された番組ストリームを受けて映像データと音声データにデコードし、多重化処理部7へ出力する。多重化処理部7は、コントローラ1の指示に従って、再生処理部6からの映像データ及び音声データを多重化し、伝送処理部8へと出力する。伝送処理部8は、コントローラ1の指示に従い、デジタル映像データ受信装置であるテレビ12とを接続するHDMIケーブル11を通じて、テレビ12へ多重化された映像・音声情報を伝送する。
【0021】
このとき、映像が3D映像であった場合、再生処理部6は、右目用映像と左目用映像をそれぞれデコードし、多重化処理部7へ出力する。映像が3D映像であった場合、多重化処理部7は、コントローラ1の指示に従って右目用映像と左目用映像を多重化し、さらに音声を多重化して伝送処理部8へと出力する。なお、3D映像の多重化方式については後に詳しく述べる。
【0022】
デジタル映像データ受信装置であるテレビ12は、コントローラ20の制御によってHDMIケーブル11を介して入力された番組ストリームや自身が有するチューナ(図示せず)が受信した放送波からの番組ストリームの表示を行う。そして、表示を行う番組ストリームが3D映像の場合は、コントローラ20の制御によって3D映像に対応した番組の表示、つまり視聴者が立体視できるような映像表示を行う。ただし、以降は伝送経路であるHDMIケーブル11を介して入力された番組ストリームを表示する場合に特化して説明する。
【0023】
伝送処理部21は、コントローラ20の指示に従い、HDMIケーブル11を通じて入力された録画再生装置10からの映像・音声情報あるいは多重化方式の情報の入ったデータを受けて、分離処理部22へと出力する。また、伝送処理部21は、HDMIケーブル11を通じて録画再生装置10から要求があった場合、テレビ12の機器情報を録画再生装置に送信する受信装置情報出力部としても機能する。分離処理部22では、データ中の映像データと音声データを分離し、映像データは映像処理部23へ、音声は音声出力処理部26へと出力する。また、データ中に多重化方式等の情報が付加されている場合には、多重化情報を抽出してコントローラ20に出力する多重化情報抽出部として機能する。映像処理部23は、コントローラ20の指示に従い、入力された映像に必要な映像処理を加えた後、表示処理部24へ映像信号を出力する。表示処理部24では、コントローラ20の指示に従い、映像信号を表示デバイス25に出力できるフォーマットの信号に変換して、表示デバイス25へ信号データを出力する。表示デバイス25は、表示処理部24から出力された信号データを元に画面表示を行う。一方、分離処理部22から出力された音声は、音声処理部26にて必要な音声処理を加えた後、スピーカ27へ出力され、スピーカ27から音が出力される。
【0024】
図2は、録画再生装置10の伝送処理部8とテレビ12の伝送処理部21とを結ぶHDMIケーブル11を流れる信号の構成図である。チャンネル0、チャンネル1、チャンネル2は、映像データ及び音声データが流れる信号線である。R,G,Bの原色データを流す場合を考えると、チャンネル0にはBデータ、チャンネル1にはGデータ、チャンネル2にはRデータが割り振られ、3つのチャンネルのデータとして画素単位で個別に伝送される。音声データは、映像データのブランキング期間に補助データとして伝送される。
【0025】
DDC(Display Data Channel)ラインは、シンク側の機器(テレビ12)の能力や特徴である機器情報をソース側の機器(録画再生装置10)が知るために用いられる。ソース側の機器は、この情報を元にして、シンク側の機器が表示できる映像や音声を選ぶことができる。CEC(Consumer Electronics Control)ラインは、ソース側の機器とシンク側の機器とが互いに制御できるような機能を実現するために用いられる。
【0026】
次に、3つの主要な3D映像表示方式について述べる。図3は、3D表示を行う際の、立体映像表示方式のひとつの例を説明するために1フレームの画面における左目用データと右目用データの振り分けを示すものである。表示デバイスの水平方向の画素が左目用映像と右目用映像を交互に表示する(以降、画素交互式と称する)ようにしたものであり、各ラインの画素0、画素2、画素4、画素6などの偶数画素は、全て左目用の映像を表示する画素であり、各ラインの画素1、画素3、画素5などの奇数画素は、全て右目用の映像を表示する画素である。このようなデータ構成からなる映像を表示する画面の手前(視聴者側)に上記画素配列に対応した偏向フィルターを配置し、対応する偏向めがねで見ることにより、右目には右目用の映像が、左目には左目用の映像が見えるようになる。この例では、偶数画素が左目用、奇数画素が右目用としたが、もちろん、偶数画素が右目用、奇数画素が左目用として設計しても構わない。
【0027】
図4は、3D表示を行う際の、立体映像表示方式の別の例を説明するために1フレームの画面における左目用データと右目用データの振り分けを示すものである。図3の場合と異なり、今度は表示デバイスの垂直方向のラインが左目用映像と右目用映像を交互に表示する(以降、ライン交互式と称する)ようにしたものであり、ライン0、ライン2などの偶数ラインは、全て左目用の映像を表示するラインであり、ライン1、ライン3などの奇数ラインは、全て右目用の映像を表示するラインである。このようなデータ構成からなる映像を表示する画面の手前(視聴者側)に上記ライン配列に対応した偏向フィルターを配置し、対応する偏向めがねで見ることにより、右目には右目用の映像が、左目には左目用の映像が見えるようになる。この例では、偶数ラインが左目用、奇数ラインが右目用としたが、もちろん、偶数ラインが右目用、奇数ラインが左目用として設計しても構わない。
【0028】
図5は、3D表示を行う際の、立体映像表示方式のさらに別の例を説明するために複数フレームに亘る画面における左目用データと右目用データの振り分けを示すものである。図3、図4の場合と異なり、フレーム内では左目用、もしくは右目用の映像のみが表示される。図5の例では、フレーム0、フレーム2、フレーム4などの偶数フレームでは左目用の映像のみが表示され、フレーム1、フレーム3などの奇数フレームでは右目用の映像のみが表示(以降、フレーム交互式と称する)される。この映像をフレームの表示と同期した切替シャッターのついためがねをかけて見ると、左目用の映像が表示されているときには左目側のみシャッターが開き、右目用の映像が表示されているときには右目側のみシャッターが開くことで、左目には左目用の映像が、右目には右目用の映像が見える。この例では、偶数フレームが左目用、奇数フレームが右目用としたが、もちろん、偶数フレームが右目用、奇数フレームが左目用として設計しても構わない。
【0029】
また、レーザを光源として利用する表示デバイスの場合、p偏光光のレーザ光源とs偏光光のレーザ光源を上記フレームに同期してパルス発光させるようにすれば、図3、図4の方式と同様の偏向めがねで見ることにより、右目には右目用の映像が、左目には左目用の映像が見えるようになる。あるいは、単一偏光光の光源に対して進相軸の方向が異なる偏光板を上記フレームに同期して交互に透過させるようにすれば、図3、図4の方式と同様の偏向めがねで見ることにより、右目には右目用の映像が、左目には左目用の映像が見えるようになる。
【0030】
次に、録画再生装置10の多重化処理部7で、左目用映像と右目用映像を多重化する方法について述べる。なお、本実施の形態1では、再生処理部6で再生した番組ストリームの映像データは、右目用、左目用ともに、テレビ12の表示デバイス25の画像表示能力である1画面フルハイビジョン(水平1920画素×1080ライン)対応の画素数で、表示デバイス25のフレーム周波数分の映像データをそれぞれ有しているものとする。つまり、テレビ12の表示デバイス25で表示できるデータ量の倍のデータ量を持っているものとする。
【0031】
図6は、図3に示す画素交互式の3D表示方式に対応する多重化方法であり、さらに、テレビ12の画像表示能力に合わせて、左目用映像および右目用映像の水平画素数を半分に間引き、左目用映像の画素と右目用映像の画素を交互に配置するように多重化した。左目用映像のBデータの画素を順にB0L、B1L、B2L、B3L、・・・、とし、左目用映像のGデータの画素を順にG0L、G1L、G2L、G3L、・・・、とし、左目用映像のRデータの画素を順にR0L、R1L、R2L、R3L、・・・、とし、右目用映像のBデータの画素を順にB0R、B1R、B2R、B3R、・・・、とし、右目用映像のGデータの画素を順にG0R、G1R、G2R、G3R、・・・、とし、右目用映像のRデータの画素を順にR0R、R1R、R2R、R3R、・・・、とする。また、図6の画素0、画素2などの偶数画素には左目用の映像を構成する画素が配置され、図6の画素1、画素3などの奇数画素には右目用の映像を構成する画素が配置されるとする。ここで、図6のBH1R、BH2L、GH1R、GH2L、RH1R、RH2Lは以下の式で表される。
BH1R=(B0R+B1R×2+B2R)÷4
BH2L=(B1L+B2L×2+B3L)÷4
GH1R=(G0R+G1R×2+G2R)÷4
GH2L=(G1L+G2L×2+G3L)÷4
RH1R=(R0R+R1R×2+R2R)÷4
RH2L=(R1L+R2L×2+R3L)÷4
【0032】
上記のように、配置先の画素を中心としつつ左右の間引かれる画素の情報を参照して間引くことにより、間引きによる影響を抑えつつデータ量を半分に削減できる。間引く際の変換式は、変換元である左目用映像の情報を用いて水平方向の画素数を半分にするやり方であれば、上記式以外でもかまわない。右目用映像についても同様である。また、上記例では偶数画素が左目用映像、奇数画素が右目用映像としているが、偶数画素が右目用映像、奇数画素が左目用映像としてもかまわない。一方、再生した映像データが、左目用映像及び右目用映像が毎秒60フィールド以内のインターレース方式であり、録画再生装置10からテレビ12へ毎秒60フレームの映像が伝送できる場合、間引きを行わず、例えばそれぞれのラインの偶数の画素のラインを交互に入れ替えることにより、間引きをおこなうことなく多重化してもよい。
【0033】
図7は、図4に示すライン交互式の3D表示方式に対応する多重化方法であり、さらに、テレビ12の画像表示能力に合わせて、左目用映像および右目用映像のライン数を半分に間引き、左目用映像のラインと右目用映像のラインを交互に配置するものである。左目用映像のBデータのラインを順にBL0L、BL1L、BL2L、BL3L、・・・、とし、左目用映像のGデータのラインを順にGL0L、GL1L、GL2L、GL3L、・・・、とし、左目用映像のRデータのラインを順にRL0L、RL1L、RL2L、RL3L、・・・、とし、右目用映像のBデータのラインを順にBL0R、BL1R、BL2R、BL3R、・・・、とし、右目用映像のGデータのラインを順にGL0R、GL1R、GL2R、GL3R、・・・、とし、右目用映像のRデータのラインを順にRL0R、RL1R、RL2R、RL3R、・・・、とする。また、図7のライン0、ライン2などの偶数ラインには左目用の映像を構成するラインが配置され、図7のライン1、ライン3などの奇数ラインには右目用の映像を構成するラインが配置されるとする。ここで、図7のBV1R、BV2L、GV1R、GV2L、RV1R、RV2Lは以下の式で表される。
BV1R=(BL0R+BL1R×2+BL2R)÷4
BV2L=(BL1L+BL2L×2+BL3L)÷4
GV1R=(GL0R+GL1R×2+GL2R)÷4
GV2L=(GL1L+GL2L×2+GL3L)÷4
RV1R=(RL0R+RL1R×2+RL2R)÷4
RV2L=(RL1L+RL2L×2+RL3L)÷4
【0034】
上記のように、配置先のラインを中心としつつ左右の間引かれるラインの情報を参照して間引くことにより、間引きによる影響を抑えつつデータ量を半分に削減できる。間引く際の変換式は、変換元である左目用映像の情報を用いて垂直方向のライン数を半分にするやり方であれば、上記式以外でもかまわない。右目用映像についても同様である。また、上記例では偶数ラインが左目用映像、奇数ラインが右目用映像としているが、偶数ラインが右目用映像、奇数ラインが左目用映像としてもかまわない。一方、左目用映像及び右目用映像が毎秒60フィールド以内のインターレース方式であり、録画再生装置10からテレビ12へ毎秒60フレームの映像が伝送できる場合、上記式による変換を行うことなく、左目用映像のラインと右目用映像のラインを交互に配置することにより、間引きをおこなうことなく多重化してもよい。
【0035】
図8は、図5に示すフレーム交互式の3D表示方式に対応する多重化方法であり、フレーム周波数を2倍にして左目用の映像フレームと右目用の映像フレームを交互に配置するものである。但し、このままではテレビ12の画像表示能力を超える2倍の伝送量となるため、図6にて行った水平画素数を間引いて半分にする方法を適用することにより、全体のデータ伝送量を増やすことなく、フレーム周波数を2倍にすることができる。具体的な変換方法としては、図6の左目用もしくは右目用のみの変換式を用いて水平画素数を半分にし、1フレームごとに左目用の映像と右目用の映像を交互に切替えて各フレームは間引くことなく変換する。例えば、変換前のフレーム0のBデータの映像は、変換後のフレーム0として左目用の映像を構成するフレームであるBFOLが変換前のフレーム0の左目用画像から水平間引きを行うことにより生成され、変換後のフレーム1として右目用の映像を構成するフレームであるBF1Rが変換前のフレーム0の右目用画像から水平間引きを行うことにより生成される。また、フレーム周波数を2倍にする別の方法としては、図7のライン数を半分にする方式を用いて変換後のフレームのデータ量を半減させるという方法もある。また、上記例では偶数フレームが左目用映像、奇数フレームが右目用映像としているが、偶数フレームが右目用映像、奇数フレーム左目用映像としてもかまわない。一方、右目用映像及び左目用映像が、毎秒30フレーム(右目用映像及び左目用映像を合わせて毎秒60フレーム)以内であり、録画再生装置10からテレビ12へ毎秒60フレームの映像が伝送できる場合、右目用映像と左目用映像を間引くことなく伝送してもよい。
【0036】
図9は、HDMIケーブル11を通して録画再生装置10の伝送処理部8とテレビ12の伝送処理部21を結ぶDDCラインにて伝送されるVSDB(Vender Specific Data Block)と呼ばれるデータの構成例である。ソース側の機器(録画再生装置10)からシンク側の機器(テレビ12)のVSDBを読み出すことで、シンク側の機器の能力や特徴(機器情報)を知ることができる。同図において、0バイト目の上位4ビットは、当該ブロックのタグコード、0バイト目の下位4ビットはブロック長、1バイト目から3バイト目までは認識コード、4バイト目及び5バイト目はソース側の機器の物理アドレス、6バイト目は色深度などのフラグ情報、7バイト目は最大転送クロック、8バイト目の上位2ビットは遅延量に関するフラグ、9バイト目から12バイト目までは映像と音声の遅延量をあらわす。13バイト目の上位4ビットには、シンク側の機器が3D表示に対応可能か、対応可能であればどの表示方式を採用しているか、偶数画素(画素交互式の場合)、偶数ライン(ライン交互式の場合)、偶数フレーム(フレーム交互式の場合)が左目用映像か否かなどを示す立体映像表示方式情報である3D表示情報が設定される。ソース側の機器は、当該3D情報を読むことでシンク側の機器の3D対応状況や表示方式を知り、どの間引き方法や多重化方式によって映像データを処理したらよいかなどを知ることができる。
【0037】
図10は、HDMIケーブル11を通して録画再生装置10の伝送処理部8とテレビ12の伝送処理部21を結ぶチャンネル0からチャンネル2において、映像データのブランキング期間に流すことができる補助データの一つであるAVI(Auxiliary Video Information)InfoFrameの構成例である。ソース側の機器は、現在伝送している映像データの特徴を当該AVI InfoFrameに設定することで、シンク側の機器に映像データの特徴を伝えることができる。同図において、0バイト目は当該パケットのチェックサム、1バイト目から5バイト目までは映像データに関連するフラグ情報、6バイト目から13バイト目までは映像の有効領域に関する情報、14バイト目の上位4ビットには3D多重情報が記述される。当該3D多重情報には、映像データは2Dか3Dか、3Dの場合、左目用映像と右目用映像の多重化方式の種別情報(画素交互式、ライン交互式、フレーム交互式、および間引き方式)と、左目用映像と右目用映像を見分けるための情報(例えば、左目用映像は偶数画素、偶数ライン、もしくは当該フレームかどうかなどの情報)などが記述される。シンク側の機器は、当該3D多重情報を読むことで、現在送られている映像が2Dか3Dか、3Dであればどの多重化方式で、左右の映像はどうやって見分けることができるか、などの情報を知ることができる。
【0038】
次に、録画再生装置10の多重化処理部7で左目用映像と右目用映像の多重化を行う際の、コントローラ1の多重化方式選択処理について述べる。なお、コントローラ1には図示しないメモリが備えられており、そのメモリには、再生した番組ストリームの映像形式やテレビ12の立体映像表示方式および画像表示能力と、それに対応する多重化方式や間引き方式の好適な組み合わせを示すテーブルが記憶されている。そして、コントローラ1は、再生する番組ストリームの映像形式やテレビ12から入力される機器情報等に基づき、上記テーブルを参照して以下に示すような動作の制御を行う。
【0039】
図11は、コントローラ1における多重化方式選択処理のフローチャートである。同図において、ステップS101では、再生処理部6で再生した番組ストリームの映像データの種類を識別し、再生映像が3D映像かどうかで処理を変え、3D映像であった場合はステップS102へ進み、そうでない場合はステップS106へ進む。ステップS102では、テレビ12からHDMIケーブル11を介して読み出したVSDBからテレビ12の機器情報を取得し、ステップS103へ進む。ステップS103では、取得した機器情報から立体映像表示方式情報である3D表示情報を抽出し、抽出した3D表示情報により、テレビ12が3D表示に対応しているか否かを判断する。3D対応している場合はステップS104へ進み、そうでない場合はS107へ進む。
【0040】
ステップS104では、テレビ12の3D表示方式にあわせて、録画再生装置10で変換可能かどうかを判断する。例えば、テレビ12の3D表示方式が右目用映像と左目用映像をラインごとに交互に表示する方式であった場合、録画再生装置10が右目用映像と左目用映像をラインごとに交互に多重できるかどうかで判断する。また、取得した機器情報からテレビ12の表示デバイスの画像表示能力情報を抽出し、抽出した画像表示能力情報により、間引きが必要か否かを判断する。変換可能な場合はステップS105へ進み、そうでない場合はステップS108へ進む。ステップS105では、多重化方式決定部として機能するコントローラ1が3D表示方式や画素、ライン、フレームの配置順、データの間引きなどをテレビ12の立体映像表示方式情報や画像表示能力情報に合わせた左目用映像データと右目用映像データの間引き方式と多重化を決定し、多重化処理部7に対して指示する。更に補助データとして音声データの多重化を指示する。また、InfoFrameの3D多重情報に、左目用映像と右目用映像の多重化方式や左目用映像と右目用映像の判別法の記述を指示し、処理を終了する。
【0041】
ステップS107は、再生処理部6で再生した映像データは3D映像であるが、テレビ12が3D表示に対応していない場合に行われる処理であり、再生処理部6から出力された左目用映像もしくは右目用映像のいずれか一方を選択して2D表示方式の映像として扱うよう多重化処理部7に指示し、ステップS106へ進む。
【0042】
ステップS108は、再生映像は3D映像で、テレビ12の3D表示方式に録画再生装置10で変換できない場合に行われる処理であり、3D表示に対応した全ての機器のソース側とシンク側で共通のデフォルト多重化方式をあらかじめ決めておき、そのデフォルトの多重化方式により、左目用映像と右目用映像を多重化し、更に補助データとして音声データを多重化するよう多重化処理部7に指示する。また、InfoFrameの3D多重情報に、左目用映像と右目用映像の多重化方式や左目用映像と右目用映像の判別法の記述を指示し、処理を終了する。デフォルトでの多重化方式が選択されると、テレビ12の3D表示方式に合った多重化方式で変換できないため、間引きを行う際に劣化が発生する場合があるものの、録画再生装置10で対応できない3D表示方式であってもテレビ12で表示可能な映像データを伝送することができる。
【0043】
ステップS106は、再生映像が3D映像でない、もしくはテレビ12で3D表示ができない場合に行われる処理であり、立体映像表示でない、いわゆる2D表示方式に合わせて、つまりそのまま1本の映像と音声データの多重化を多重化処理部7に指示する。また、InfoFrameの3D多重情報に、2D映像であることの記述を指示し、処理を終了する。
【0044】
次に、デジタル映像データ受信装置であるテレビ12おいて、HDMIケーブル11を介して伝送されてきた3Dの映像データを処理する際の動作について説明する。具体的には、分離処理部22において、左目用映像と右目用映像、音声データの分離を行う際の、コントローラ20の分離選択処理について説明する。図12は、コントローラ20における分離選択処理のフローチャートである。同図において、ステップS201では、分離処理部22で分離されたAVI InfoFrameから3D多重化方式の情報を取得し、ステップS202へ進む。ステップS202では、取得した3D多重化方式情報にもとづいて、伝送されてきた映像が3D映像かどうかを判断する。3D映像であった場合、ステップS203へ進み、そうでない場合はステップS205へと進む。ステップS203では、左目用映像と右目用映像の多重化方式が、テレビ12の3D表示方式と一致するかどうかを判断する。一致する場合はS204へ進み、そうでない場合はS206へ進む。ステップS204では、テレビ12の3D表示方式と左目用映像と右目用映像の多重化方式が一致しているので、映像はそのままで音声のみを分離して、映像を映像処理部S23へ出力させ、音声データは音声出力処理部へ出力させる。映像は既に表示デバイス25へ出力可能な形式の3D映像であるため、その旨を映像処理部S23に指示し、処理を終了する。
【0045】
ステップS206は、映像は3D映像で、多重化方式がテレビ12の3D表示方式と一致しない場合(録画再生装置10側でデフォルトの多重化方式で多重した場合(図11のステップS108)にこの処理に入る)に行われる処理であり、分離処理部22に対して、デフォルトの多重化方式から左目用映像と右目用映像を分離して映像処理部23へ出力するよう指示する。ステップS207では、映像処理部23に対して、左目用映像と右目用映像とをテレビ12の3D表示方式に合わせて変換させ、処理を終了する。
【0046】
ステップS205は、映像が3D映像でない2D映像の場合に行われる処理であり、分離処理部22に対して、映像はそのままで音声のみを分離して、映像は2D映像として映像処理部S23へ出力させ、音声データは音声出力処理部へ出力させて、処理を終了する。
【0047】
以上のように、本実施の形態1にかかるデジタル映像データ送信装置によれば、映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格(HDMI規格)を用いる伝送経路であるHDMIケーブル11を介して当該機器である録画再生装置10に接続された外部機器であるテレビ12の機器情報を取得する外部機器情報取得部として機能する伝送処理部8とコントローラ1と、番組ストリームを再生する番組ストリーム再生部として機能する再生処理部6と、番組ストリーム再生部6が再生した番組ストリームが立体映像方式の場合、テレビ12の機器情報からテレビ12の立体映像表示方式情報を抽出し、抽出した立体映像表示方式情報に適合するように、再生した番組ストリームのデータ多重化方式を決定するデータ多重化方式決定部として機能するコントローラ1と、データ多重化方式決定部1が決定した多重化方式に従い、再生した番組ストリームのデータを多重化するデータ多重化部として機能する多重化処理部7と、伝送経路11を介してデータ多重化部7が多重化した番組ストリームのデータを出力する伝送処理部8と、を備えるように構成したので、デジタル映像データ送信装置である録画再生装置10とデジタル映像データ受信装置であるテレビ12とをHDMIケーブル11で接続するだけで、録画再生装置10はテレビ12に適した多重化方式で多重化した立体映像データを送信できるので、録画再生装置10が送信した立体映像データをテレビ12で適切に表示することができる。
【0048】
とくに、データ多重化部として機能する多重化処理部7は、多重化した番組ストリームのデータに、多重化方式の情報を付加するように構成したので、テレビ12は付加された情報に基づいて送信された立体映像データに適した分離処理ができ、良好な立体映像表示を行うことができる。
【0049】
また、データ多重化方式決定部として機能するコントローラ1は、外部機器であるテレビ12の機器情報からテレビ12の画像表示能力情報を抽出し、抽出した画像表示能力情報に適合するように再生した番組ストリームのデータの間引き方式を決定し、データ多重化部7は、再生した番組ストリームのデータを決定した間引き方式に従い間引いたのち、多重化するように構成したので、テレビ12の3D映像表示方式に合わせた間引き方法を選択して間引くことができ、1画素あたりのデータ転送量を増加させずに多重化するので、表示品質の低下を抑えることができる。
【0050】
また、間引き方式は、再生した立体映像表示方式の番組ストリームの右目用映像データと左目用映像データをそれぞれ半分のサイズになるように間引くようにしたので、2D映像表示方式の場合と比較してデータ送信量が変化しないので、通常のインターフェース規格に準じた伝送経路をそのまま使用して左目用映像と右目用映像を転送できるようになる。さらに、録画再生装置10でテレビ12に対応した多重化方式に変換して伝送するように構成していることにより、テレビ12はデフォルトとしてあらかじめ決められた多重化方式からテレビ12自身が採用している3D映像表示方式に変換する処理を持つだけでよく、3D映像の伝送及び変換に要する機器のコストを抑えることができる。
【0051】
また、本実施の形態1にかかるデジタル映像データ受信装置によれば、映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格を用いる伝送経路11を介して当該機器に接続された外部機器である録画再生装置10に当該機器の機器情報を送信する受信装置情報出力部として機能するコントローラ20と伝送処理部21と、録画再生装置10から送信された番組ストリームのデータを分離処理する分離処理部22と、分離処理されたデータから多重化情報を抽出する多重化情報抽出部として機能する分離処理部22と、映像データが立体映像方式の場合、多重化情報抽出部22が抽出した多重化情報に基づき、分離した映像データを立体映像表示用に処理する映像処理部23と、を備えるように構成したので、外部機器である録画再生装置10からテレビ12の機器の能力に応じたデータ形式の立体映像表示用の映像データを送信させることができるので、録画再生装置10から受信した立体映像データをテレビ12のデフォルトの機能で適切に表示することができる。
【0052】
さらに、本実施の形態1にかかるデジタル映像データ伝送システムによれば、上述したデジタル映像データ送信装置である録画再生装置10と、デジタル映像データ受信装置であるテレビ12とを、映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格(HDMI規格)を用いる伝送経路であるHDMIケーブル11により接続して構成したので、簡単にシステム構成ができ、良好な立体映像表示を行うことができる。
【0053】
さらに、伝送経路のインターフェース規格をHDMI(High Definition Multimedia Interface)規格としたので、録画再生装置10とテレビ12間のデータがスムーズに伝送できるとともに、本実施の形態で示した送・受信機以外のHDMI規格に準拠した外部機器にも接続して伝送システムを形成することができる。
【0054】
また、本実施の形態1にかかるデジタル映像データ送信方法では、映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格(HDMI規格)を用いる伝送経路であるHDMIケーブル11を介して当該機器である録画再生装置10に接続された外部機器であるテレビ12の機器情報を取得する外部機器情報取得ステップS102と、番組ストリームを再生する番組ストリーム再生ステップと、番組ストリーム再生ステップで再生した番組ストリームが立体映像方式の場合、テレビ12の機器情報からテレビ12の立体映像表示方式情報を抽出S102し、抽出した立体映像表示方式情報に適合するように、再生した番組ストリームのデータ多重化方式を決定するデータ多重化方式決定ステップと、データ多重化方式決定ステップで決定した多重化方式に従い、再生した番組ストリームのデータを多重化するデータ多重化ステップS105と、伝送経路11を介してデータ多重化ステップで多重化した番組ストリームのデータを出力する伝送処理ステップと、を備えるように構成したので、デジタル映像データ送信装置である録画再生装置10とデジタル映像データ受信装置であるテレビ12とをHDMIケーブル11で接続するだけで、送信した立体映像データをテレビ12で適切に表示することができる。
【0055】
また、本実施の形態1にかかるデジタル映像データ受信方法では、映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格を用いる伝送経路11を介して当該機器に接続された外部機器である録画再生装置10に当該機器の機器情報を送信する受信装置情報出力ステップと、
録画再生装置10から送信された番組ストリームのデータを分離処理する分離処理ステップS204と、分離処理されたデータから多重化情報を抽出する多重化情報抽出ステップS203と、映像データが立体映像方式の場合、多重化情報抽出ステップS203で抽出した多重化情報に基づき、分離した映像データを立体映像表示用に処理する映像処理ステップと、を備えるように構成したので、外部機器である録画再生装置10からテレビ12の機器の能力に応じたデータ形式の立体映像表示用の映像データを送信させることができるので、受信した立体映像データをテレビ12のデフォルトの機能を用いて適切に表示することができる。
【0056】
さらに、本実施の形態1にかかるデジタル映像データ伝送方法によれば、映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格(HDMI規格)を用いる伝送経路を介して、上述したデジタル映像データ送信方法と、デジタル映像データ受信方法とを行うように構成したので、簡単な構成で良好な立体映像表示を行うことができる。
【0057】
実施の形態2.
本実施の形態2における録画再生装置10とテレビ12では、実施の形態1と異なり、テレビ12の3D表示方式に関する情報の伝送路としてHDMIケーブル11のDDCの代わりに、双方向の通信が可能なCECを使っている。そして、本実施の形態2にかかる録画再生装置10とテレビ12は、実施の形態1で用いた図1で説明すると、録画再生装置10のコントローラ1と伝送処理部8からなる伝送処理部は、伝送経路であるHDMIケーブル11を介して録画再生装置10の能力情報をテレビ12に出力する機能を有し、テレビ12の受信装置情報出力部として機能するコントローラ20と伝送処理部21は、録画再生装置10の能力情報を取得する外部機器能力情報取得部として機能する。そしてテレビ12のコントローラ20は、外部機器能力情報から抽出した録画再生装置10の立体映像表示方式とテレビ12自身の立体映像表示方式とを提示して、ユーザに立体映像表示方式を選択させる立体映像表示方式選択部として機能し、テレビ12の伝送処理部21は、選択した立体映像表示方式情報を録画再生装置10に送信する選択立体映像表示方式送信部として機能する。
【0058】
図13は、本発明の実施の形態2にかかる録画再生装置10とテレビ12間において、テレビ12の3D表示方式に関する通信処理及び多重化方式選択処理を示すフローである。図において、ステップS301では、再生映像が3D映像かどうかで処理を変え、3D映像であった場合はステップS302へ進み、そうでない場合はステップS307へ進む。ステップS302では、録画再生装置10からテレビ12へ録画再生装置10が対応している3D多重化方式の通知をおこなう。ステップS303では、テレビ12のコントローラ20が、録画再生装置10の3D多重化方式情報をもとに3D表示情報を設定する。具体的には、録画再生装置10が対応する3D多重化方式とテレビ12内の映像処理部23及び表示処理部24の能力から最適なものを選択し、3D表示方式として録画再生装置10へ通知する。この際、単純にテレビ12自身の採用している3D表示方式を選択してもよいし、ユーザが選択した3D表示方式を選択してもよい。また、テレビ12が3D表示方式に対応していない場合、右目用映像もしくは左目用映像のどちらを伝送して欲しいかを録画再生装置10へ伝えることもできる。録画再生装置10が3D表示方式を取得すると、ステップS304へ進む。ステップS304では、テレビ12が3D表示に対応しているか否かを判断する。3D対応している場合はステップS305へ進み、そうでない場合はS308へ進む。
【0059】
ステップS305では、テレビ12の選択した3D表示方式にあわせて、録画再生装置10で変換可能かどうかを判断する。例えば、テレビ12が選択した3D表示方式が右目用映像と左目用映像をラインごとに交互に表示する方式であった場合、録画再生装置10が右目用映像と左目用映像をラインごとに交互に多重できるかどうかで判断する。変換可能な場合はステップS306へ進み、そうでない場合はステップS309へ進む。ステップS306では、多重化処理部7に対して、3D表示方式や画素、ライン、フレームの配置順などをテレビ12のそれに合わせた左目用映像と右目用映像の多重化を指示し、更に補助データとして音声データの多重化を指示する。また、InfoFrameの3D多重情報に、左目用映像と右目用映像の多重化方式や左目用映像と右目用映像の判別法の記述を指示し、処理を終了する。
【0060】
ステップS308は、再生映像は3D映像で、テレビ12が3D表示に対応していない場合に行われる処理であり、左目用映像もしくは右目用映像のいずれか一方を選択する。この際、ステップS303でテレビ12が右目用映像または左目用映像を要求していた場合、その指示に従って選択を行う。映像選択後、2D表示方式の映像として扱うよう多重化処理部7に指示し、ステップS307へ進む。
【0061】
ステップS309は、再生映像は3D映像で、テレビ12の3D表示方式に録画再生装置10で変換できない場合に行われる処理であり、3D表示に対応した全ての機器のソース側とシンク側で共通のデフォルト多重化方式をあらかじめ決めておき、そのデフォルトの多重化方式により、左目用映像と右目用映像を多重化し、更に補助データとして音声データを多重化するよう多重化処理部7に指示する。また、InfoFrameの3D多重情報に、左目用映像と右目用映像の多重化方式や左目用映像と右目用映像の判別法の記述を指示し、処理を終了する。デフォルトでの多重化方式が選択されると、テレビ12の3D表示方式に合った多重化方式で変換できないため、間引きを行う際に劣化が発生するものの、録画再生装置10で対応できない3D表示方式の映像を伝送することができる。
【0062】
ステップS307は、再生映像が3D映像でない、もしくはテレビ12が3D表示ができない場合に行われる処理であり、2D表示方式に合わせて、つまりそのまま1本の映像と音声データの多重化を多重化処理部7に指示する。また、InfoFrameの3D多重情報に、2D映像であることの記述を指示し、処理を終了する。
【0063】
以上のように、本実施の形態2にかかるデジタル映像データ送信装置によれば、伝送処理部として機能するコントローラ1と伝送処理部8は、伝送経路であるHDMIケーブル11を介して当該機器の機器情報を外部機器であるテレビ12に出力し、出力した機器情報をもとにテレビ12により選定された立体映像表示方式情報をテレビ12から受信したときは、データ多重化方式決定部として機能するコントローラ1は、再生した番組ストリームのデータ多重化方式をテレビ12から受信した立体映像表示方式情報により決定するように構成したので、録画再生装置10が対応する3D多重化方式とテレビ12内の映像処理部23及び表示処理部24の能力から最適なものを選択することが可能となり、また、ユーザの指定した3D表示方式や2D表示における右目用映像、左目用映像の選択も可能となるため、表示品質の向上と表示映像に対する選択自由度が向上する。
【0064】
また、本実施の形態2にかかるデジタル映像データ受信装置によれば、外部機器である録画再生装置10から録画再生装置10の能力情報を取得する外部機器能力情報取得部21と、取得した外部機器能力情報から抽出した録画再生装置10の立体映像表示方式情報とテレビ12自身の立体映像表示方式情報を提示して、その中からユーザに立体映像表示方式を選択させる立体映像表示方式選択部と、選択した立体映像表示方式情報を外部機器である録画再生装置10に送信する選択立体映像表示方式送信部21と、を備えるように構成したので、録画再生装置10が対応する3D多重化方式とテレビ12内の映像処理部23及び表示処理部24の能力から最適なものを選択することが可能となり、また、ユーザの指定した3D表示方式や2D表示における右目用映像、左目用映像の選択も可能となるため、表示品質の向上と表示映像に対する選択自由度が向上する。
【0065】
実施の形態3.
本実施の形態3では、3D映像を左目用と右目用のデータによって表現するのではなく、3D映像を2D映像と深さ情報で現す方式に対応して3D映像データを多重化する場合について説明する。図14は、本発明の実施の形態3におけるHDMIケーブル11を用いて3D映像を伝送する際の、後述する3D映像を2D映像と深さ情報で現す方法における3D映像多重化方式を示した図である。図において、チャンネル0のD0、D1、D2、D3は、画素0、画素1、画素2、画素3における深さ情報を表す。チャンネル1のY0、Y1、Y2、Y3は、画素0、画素1、画素2、画素3における輝度データ、チャンネル2のCb0、Cr1、Cb2、Cr3は、画素0、画素1、画素2、画素3における色差データを表す。
【0066】
また、本実施の形態3は、実施の形態1と比較して、3D映像多重化方式として、2D映像と深さ情報による方式に対応していることに加え、映像データの表現方法が、R、G、Bの原色データから、Y、Cb、Crの輝度・色差データに変わったことが異なる。つまり、コントローラ1に備えられた図示しないメモリには、上記2D映像と深さ情報による方式を含む番組ストリームの映像形式やテレビ12の立体映像表示方式および画像表示能力と、それに対応する多重化方式や間引き方式の好適な組み合わせを示すテーブルが記憶されている。Y、Cb、Crを用いた表現方法は、放送やDVD、Blu−ray Discなどのパッケージメディアにてよく用いられる方法であり、輝度データと色差データを間引かずに扱う4:4:4方式、輝度データに対して色差データを半分に間引く4:2:2方式、更に間引きを行う4:2:0方式などがある。図14においては、4:2:2方式で色差データを間引いて表現する方法の場合を示している。この方法で表現すると、R、G、Bの原色データを用いた表現方法と比べて1チャンネル分のデータ量が削減できるため、チャンネル0に深さ情報を割り当てて伝送することにより、輝度データと色差データを用いて表現される2D映像に加えて、深さ情報を同時に伝送することが可能となる。放送やDVD、Blu−ray Discなどのパッケージメディアにおいては、通常、4:2:2方式や4:2:0方式が用いられているため、この限りにおいて図14のようにデータを転送しても劣化が生じない。
【0067】
図15は、3D映像を2D映像と深さ情報で現す方法を示した図である。同図において、2D映像は、輝度や色の情報が含まれた2D映像であり、深さ情報は、その画素における奥行きに関する情報を深さ情報として表現したものである。深さ情報は、0(黒)から255(白)で表現され、255が一番手前に位置することを表し、0は一番遠くにあることを表す。2D映像に対して深さ情報を加味して表示することにより、3D映像を表現することができる。
【0068】
以上のように、本実施の形態3にかかる立体映像表示用データの伝送方法によれば、2D映像と深さ情報を用いて表現した3D映像を録画再生装置10からテレビ12に伝送する際に、HDMIケーブル11の伝送路を使った右目用映像と左目用映像にて表現した3D映像方式に加えて、2D映像と深さ情報を同時に伝送できるようにしたため、右目用映像と左目用映像にて表現した3D映像方式だけでなく、2D映像と深さ情報を用いて表現した3D映像を劣化無くあるいは劣化を最小限にとどめて伝送することができる。
【図面の簡単な説明】
【0069】
【図1】この発明の実施の形態1におけるデジタル映像データ送信装置、デジタル映像データ受信装置、およびデジタル映像データ伝送システムの構成例を示すブロック図である。
【図2】この発明の実施の形態1における伝送経路での信号構成図である。
【図3】この発明の実施の形態1における左目用映像と右目用映像を画素単位で交互に表示する3D表示方式を示した図である。
【図4】この発明の実施の形態1における左目用映像と右目用映像をライン単位で交互に表示する3D表示方式を示した図である。
【図5】この発明の実施の形態1における左目用映像と右目用映像をフレーム単位で交互に表示する3D表示方式を示した図である。
【図6】この発明の実施の形態1における左目用映像と右目用映像を画素単位で多重したデータ列を示した図である。
【図7】この発明の実施の形態1における左目用映像と右目用映像をライン単位で多重したデータ列を示した図である。
【図8】この発明の実施の形態1における左目用映像と右目用映像をフレーム単位で多重したデータ列を示した図である。
【図9】この発明の実施の形態1におけるVSDBの構成例を示した図である。
【図10】この発明の実施の形態1におけるAVI InfoFrameの構成例を示した図である。
【図11】この発明の実施の形態1における多重化方式選択処理を示したフローチャートである。
【図12】この発明の実施の形態1における分離選択処理を示したフローチャートである。
【図13】この発明の実施の形態2における3D表示方式通信及び多重化方式選択処理を示したフローチャートである。
【図14】この発明の実施の形態3における2D映像と深さ情報を多重したデータ列を示した図である。
【図15】この発明の実施の形態3における2D映像と深さ情報で3D映像を表現する方法を示した図である。
【符号の説明】
【0070】
1 コントローラ(データ多重化方式決定部)、 2 チューナ、 3 記録処理部、 4 番組記憶領域(記録媒体)、 5 光学ドライブ(記録媒体)、 6 再生処理部(番組ストリーム再生部)、 7 多重化処理部(データ多重化部)、 8 伝送処理部(外部機器情報取得部)、 10 録画再生装置(デジタル映像データ送信装置)、
11 HDMIケーブル(伝送経路)、
12 テレビ(デジタル映像データ受信装置)、 20 コントローラ(立体映像表示方式選択部)、 21 伝送処理部(受信装置情報出力部、外部機器能力情報取得部、選択立体映像表示方式送信部)、 22 分離処理部(多重化情報抽出部)、 23 映像処理部、 24 表示処理部、 25 表示デバイス、 26 音声出力処理部、 27 スピーカ。
【特許請求の範囲】
【請求項1】
映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格を用いて送信するデジタル映像データ送信装置であって、
前記インターフェース規格を用いる伝送経路を介して当該機器に接続された外部機器の機器情報を取得する外部機器情報取得部と、
番組ストリームを再生する番組ストリーム再生部と、
前記番組ストリーム再生部が再生した番組ストリームが立体映像方式の場合、前記外部機器の機器情報から前記外部機器の立体映像表示方式情報を抽出し、抽出した立体映像表示方式情報に適合するように、前記再生した番組ストリームのデータ多重化方式を決定するデータ多重化方式決定部と、
前記データ多重化方式決定部が決定した多重化方式に従い、前記再生した番組ストリームのデータを多重化するデータ多重化部と、
前記伝送経路を介して前記データ多重化部が多重化した番組ストリームのデータを出力する伝送処理部と、
を備えてなるデジタル映像データ送信装置。
【請求項2】
前記データ多重化部は、前記多重化した番組ストリームのデータに、前記多重化方式の情報を付加することを特徴とする請求項1に記載のデジタル映像データ送信装置。
【請求項3】
前記データ多重化方式決定部は、前記外部機器の機器情報から前記外部機器の画像表示能力情報を抽出し、抽出した画像表示能力情報に適合するように前記再生した番組ストリームのデータの間引き方式を決定し、
前記データ多重化部は、前記再生した番組ストリームのデータを決定した間引き方式に従い間引いたのち、多重化する
ことを特徴とする請求項1または2に記載のデジタル映像データ送信装置。
【請求項4】
前記間引き方式は、前記再生した番組ストリームの右目用映像データと左目用映像データをそれぞれ半分のサイズになるように間引くことを特徴とする請求項3に記載のデジタル映像データ送信装置。
【請求項5】
前記伝送処理部は、前記伝送経路を介して当該機器の機器情報を前記外部機器に出力し、
前記出力した機器情報をもとに前記外部機器により選定された立体映像表示方式情報を前記外部機器から受信したときは、前記データ多重化方式決定部は、前記再生した番組ストリームのデータ多重化方式を前記外部機器から受信した多重化方式情報により決定することを特徴とする請求項1ないし4のいずれかに記載のデジタル映像データ送信装置。
【請求項6】
映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格を用いて受信するデジタル映像データ受信装置であって、
前記インターフェース規格を用いる伝送経路を介して当該機器に接続された外部機器に当該機器の機器情報を送信する受信装置情報出力部と、
前記外部機器から送信された番組ストリームのデータを分離処理する分離処理部と、
前記分離処理されたデータから多重化情報を抽出する多重化情報抽出部と、
前記映像データが立体映像方式の場合、前記多重化情報抽出部が抽出した多重化情報に基づき、前記分離した映像データを立体映像表示用に処理する映像処理部と、
を備えてなるデジタル映像データ受信装置。
【請求項7】
前記外部機器から前記外部機器の能力情報を取得する外部機器能力情報取得部と、
前記取得した外部機器能力情報から抽出した前記外部機器の立体映像表示方式情報と当該機器の立体映像表示方式情報を提示して、その中から立体映像表示方法を選択する立体映像表示方式選択部と、
前記選択した立体映像表示方式情報を前記外部機器に送信する選択立体映像表示方式送信部と、
を備えてなる請求項6に記載のデジタル映像データ受信装置。
【請求項8】
請求項1ないし5のいずれかに記載のデジタル映像データ送信装置と、
映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格を用いる伝送経路を介して前記デジタル映像データ送信装置と接続される請求項6または7に記載のデジタル映像データ受信装置と、
を備えてなるデジタル映像データ伝送システム。
【請求項9】
前記インターフェース規格はHDMI(High Definition Multimedia Interface)規格であることを特徴とする請求項8に記載のデジタル映像データ伝送システム。
【請求項10】
映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格を用いて送信するデジタル映像データ送信方法であって、
前記インターフェース規格を用いる伝送経路を介して当該機器に接続された外部機器の機器情報を取得する外部機器情報取得ステップと、
番組ストリームを再生する番組ストリーム再生ステップと、
前記番組ストリーム再生ステップで再生した番組ストリームが立体映像方式の場合、前記外部機器の機器情報から前記外部機器の立体映像表示方式情報を抽出し、抽出した立体映像表示方式情報に適合するように、前記再生した番組ストリームのデータ多重化方式を決定するデータ多重化方式決定ステップと、
前記データ多重化方式決定ステップで決定した多重化方式に従い、前記再生した番組ストリームのデータを多重化するデータ多重化ステップと、
前記伝送経路を介して前記データ多重化ステップで多重化した番組ストリームのデータを出力する伝送処理ステップと、
を備えてなるデジタル映像データ送信方法。
【請求項11】
映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格を用いて受信するデジタル映像データ受信方法であって、
前記インターフェース規格を用いる伝送経路を介して当該機器に接続された外部機器に当該機器の機器情報を送信する受信装置情報出力ステップと、
前記外部機器から送信された番組ストリームのデータを分離処理する分離処理ステップと、
前記分離処理されたデータから多重化情報を抽出する多重化情報抽出ステップと、
前記映像データが立体映像方式の場合、前記多重化情報抽出ステップで抽出した多重化情報に基づき、前記分離した映像データを立体映像表示用に処理する映像処理ステップと、
を備えてなるデジタル映像データ受信方法。
【請求項12】
映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格を用いる伝送経路を介して、請求項10に記載のデジタル映像データ送信方法と、請求項11に記載のデジタル映像データ受信方法と、
を行うデジタル映像データ伝送方法。
【請求項1】
映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格を用いて送信するデジタル映像データ送信装置であって、
前記インターフェース規格を用いる伝送経路を介して当該機器に接続された外部機器の機器情報を取得する外部機器情報取得部と、
番組ストリームを再生する番組ストリーム再生部と、
前記番組ストリーム再生部が再生した番組ストリームが立体映像方式の場合、前記外部機器の機器情報から前記外部機器の立体映像表示方式情報を抽出し、抽出した立体映像表示方式情報に適合するように、前記再生した番組ストリームのデータ多重化方式を決定するデータ多重化方式決定部と、
前記データ多重化方式決定部が決定した多重化方式に従い、前記再生した番組ストリームのデータを多重化するデータ多重化部と、
前記伝送経路を介して前記データ多重化部が多重化した番組ストリームのデータを出力する伝送処理部と、
を備えてなるデジタル映像データ送信装置。
【請求項2】
前記データ多重化部は、前記多重化した番組ストリームのデータに、前記多重化方式の情報を付加することを特徴とする請求項1に記載のデジタル映像データ送信装置。
【請求項3】
前記データ多重化方式決定部は、前記外部機器の機器情報から前記外部機器の画像表示能力情報を抽出し、抽出した画像表示能力情報に適合するように前記再生した番組ストリームのデータの間引き方式を決定し、
前記データ多重化部は、前記再生した番組ストリームのデータを決定した間引き方式に従い間引いたのち、多重化する
ことを特徴とする請求項1または2に記載のデジタル映像データ送信装置。
【請求項4】
前記間引き方式は、前記再生した番組ストリームの右目用映像データと左目用映像データをそれぞれ半分のサイズになるように間引くことを特徴とする請求項3に記載のデジタル映像データ送信装置。
【請求項5】
前記伝送処理部は、前記伝送経路を介して当該機器の機器情報を前記外部機器に出力し、
前記出力した機器情報をもとに前記外部機器により選定された立体映像表示方式情報を前記外部機器から受信したときは、前記データ多重化方式決定部は、前記再生した番組ストリームのデータ多重化方式を前記外部機器から受信した多重化方式情報により決定することを特徴とする請求項1ないし4のいずれかに記載のデジタル映像データ送信装置。
【請求項6】
映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格を用いて受信するデジタル映像データ受信装置であって、
前記インターフェース規格を用いる伝送経路を介して当該機器に接続された外部機器に当該機器の機器情報を送信する受信装置情報出力部と、
前記外部機器から送信された番組ストリームのデータを分離処理する分離処理部と、
前記分離処理されたデータから多重化情報を抽出する多重化情報抽出部と、
前記映像データが立体映像方式の場合、前記多重化情報抽出部が抽出した多重化情報に基づき、前記分離した映像データを立体映像表示用に処理する映像処理部と、
を備えてなるデジタル映像データ受信装置。
【請求項7】
前記外部機器から前記外部機器の能力情報を取得する外部機器能力情報取得部と、
前記取得した外部機器能力情報から抽出した前記外部機器の立体映像表示方式情報と当該機器の立体映像表示方式情報を提示して、その中から立体映像表示方法を選択する立体映像表示方式選択部と、
前記選択した立体映像表示方式情報を前記外部機器に送信する選択立体映像表示方式送信部と、
を備えてなる請求項6に記載のデジタル映像データ受信装置。
【請求項8】
請求項1ないし5のいずれかに記載のデジタル映像データ送信装置と、
映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格を用いる伝送経路を介して前記デジタル映像データ送信装置と接続される請求項6または7に記載のデジタル映像データ受信装置と、
を備えてなるデジタル映像データ伝送システム。
【請求項9】
前記インターフェース規格はHDMI(High Definition Multimedia Interface)規格であることを特徴とする請求項8に記載のデジタル映像データ伝送システム。
【請求項10】
映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格を用いて送信するデジタル映像データ送信方法であって、
前記インターフェース規格を用いる伝送経路を介して当該機器に接続された外部機器の機器情報を取得する外部機器情報取得ステップと、
番組ストリームを再生する番組ストリーム再生ステップと、
前記番組ストリーム再生ステップで再生した番組ストリームが立体映像方式の場合、前記外部機器の機器情報から前記外部機器の立体映像表示方式情報を抽出し、抽出した立体映像表示方式情報に適合するように、前記再生した番組ストリームのデータ多重化方式を決定するデータ多重化方式決定ステップと、
前記データ多重化方式決定ステップで決定した多重化方式に従い、前記再生した番組ストリームのデータを多重化するデータ多重化ステップと、
前記伝送経路を介して前記データ多重化ステップで多重化した番組ストリームのデータを出力する伝送処理ステップと、
を備えてなるデジタル映像データ送信方法。
【請求項11】
映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格を用いて受信するデジタル映像データ受信方法であって、
前記インターフェース規格を用いる伝送経路を介して当該機器に接続された外部機器に当該機器の機器情報を送信する受信装置情報出力ステップと、
前記外部機器から送信された番組ストリームのデータを分離処理する分離処理ステップと、
前記分離処理されたデータから多重化情報を抽出する多重化情報抽出ステップと、
前記映像データが立体映像方式の場合、前記多重化情報抽出ステップで抽出した多重化情報に基づき、前記分離した映像データを立体映像表示用に処理する映像処理ステップと、
を備えてなるデジタル映像データ受信方法。
【請求項12】
映像データを各色の原色データとして画素単位で個別に伝送するインターフェース規格を用いる伝送経路を介して、請求項10に記載のデジタル映像データ送信方法と、請求項11に記載のデジタル映像データ受信方法と、
を行うデジタル映像データ伝送方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【公開番号】特開2009−296144(P2009−296144A)
【公開日】平成21年12月17日(2009.12.17)
【国際特許分類】
【出願番号】特願2008−145850(P2008−145850)
【出願日】平成20年6月3日(2008.6.3)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】
【公開日】平成21年12月17日(2009.12.17)
【国際特許分類】
【出願日】平成20年6月3日(2008.6.3)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】
[ Back to top ]