携帯端末、映像表示装置、および映像処理システム
【課題】携帯端末に過大な処理負荷を掛けることなく携帯端末ＵＩデータとともにビデオデータを外部の映像表示装置に表示させる。
【解決手段】携帯端末１００は、ビデオデータと携帯端末ＵＩデータとを画像として合成することなく映像表示装置（ＴＶ）２００へ出力する。映像表示装置２００において、ＵＩ描画部２３０は、ＨＤＭＩ受信部２１０で携帯端末から受信した携帯端末ＵＩデータと、内部に用意されている映像表示装置ＵＩデータとに基づいてＵＩ画像を描画する。フレーム合成部２５０は、この描画されたＵＩ画像をビデオデータと合成し、合成したデータを表示ドライバ２７０を介してＴＶ表示部２８０に表示する。
【解決手段】携帯端末１００は、ビデオデータと携帯端末ＵＩデータとを画像として合成することなく映像表示装置（ＴＶ）２００へ出力する。映像表示装置２００において、ＵＩ描画部２３０は、ＨＤＭＩ受信部２１０で携帯端末から受信した携帯端末ＵＩデータと、内部に用意されている映像表示装置ＵＩデータとに基づいてＵＩ画像を描画する。フレーム合成部２５０は、この描画されたＵＩ画像をビデオデータと合成し、合成したデータを表示ドライバ２７０を介してＴＶ表示部２８０に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末から出力したビデオデータを映像表示装置に表示させる映像処理システムに関する。
【背景技術】
【０００２】
現在、携帯電話端末に代表される携帯端末（モバイル機器）には映像（ビデオ）データおよび音声（オーディオ）データを再生し、外部へ出力する機能を有するものがある。これにより携帯端末がビデオデータの供給源として、より大きな画面を有するモニタやテレビジョン装置（以下、テレビ：ＴＶと略す）に映像を表示させて視聴することができる。その際、携帯端末の操作部による操作のナビゲーション（またはガイダンス）等を行うためのユーザインタフェース画面をＴＶ側に表示することが好ましい。
【０００３】
図１はそのような従来の映像処理システムの一般的な構成を示している。
【０００４】
このシステムは、従来ＴＶ側に備わっている、チャンネル情報、時刻情報などを表示するＴＶユーザインタフェース（ＵＩ）に加えて、携帯端末側の操作メニューを表示する場合を考慮している。
【０００５】
携帯端末１０はビデオデータの供給源であり、ＴＶ２０側にビデオデータを転送し、ＴＶ画面上に表示させる。携帯端末１０はストレージもしくはストリーミングによる、圧縮されたビデオデータを保持しており、ビデオデコーダ１１にてデコード処理を行い、ビデオ画像の復元を行う。携帯端末１０からのナビゲーションキー等、携帯端末ＵＩとして同時にＴＶ出力を行いたいＵＩ画像をＵＩ描画部１２にて描画生成する。ＴＶ２０においてこのビデオデータとＵＩデータの表示を行うためには、フレーム合成部１５で両データの合成処理を行う。さらに、ＨＤＭＩ(High Definition Multimedia Interface)規格に準拠したＨＤＭＩドライバ１７からＨＤＭＩ接続上のデジタル信号伝送方式であるＴＭＤＳ(Transition Minimized Differential Signalling)を介して、この合成データをＴＶ２０側へ送信する。ＨＤＭＩは、家電およびＡＶ機器向けのデジタル映像・音声入出力インタフェースの規格である。これにより、１本のケーブルで映像・音声・制御信号を合わせて送受信することができる。
【０００６】
ＴＶ２０は、合成信号であるビデオ・携帯ＵＩ合成データをＨＤＭＩ受信部２１にて受信する。また、ＴＶナビゲーション用のユーザインタフェースデータ（映像表示装置ＵＩデータ）はＴＶＵＩ描画部２３にて生成され、フレーム合成部２５でビデオ・携帯ＵＩ合成データと合成される。フレーム合成部２５から出力されるビデオ・携帯端末ＵＩ／ＴＶＵＩ合成データは、表示ドライバ２７を介してＴＶ表示部２８に表示される。
【０００７】
図２に、従来のフレーム合成の対象フレームの流れを示す。
【０００８】
携帯端末において、デコード後のビデオフレームは携帯ＵＩフレームと合成され、中間フレームとなる。この中間フレームはＴＶ側でＴＶＵＩフレームと合成され、最終的な表示フレームとなる。
【０００９】
なお、ＨＤＭＩに関連した従来の技術として、特許文献１には、ＨＤＭＩ規格に準拠したＤＶＤプレーヤ、ＡＶアンプおよびディスプレイ装置がＨＤＭＩケーブルを介して接続されるシステムの改良について開示されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００７−７９１７７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
従来の携帯端末環境では、ビデオフレームのデコード後に発生する、ＵＩデータとの合成処理の負担が重く、処理能力の不足により、ビデオコンテンツに求められている再生パフォーマンスを満たすことができない場合があった。また、消費電力の観点からも問題があった。
【００１２】
本発明はこのような背景においてなされたものであり、携帯端末に過大な処理負荷を掛けることなく携帯端末ＵＩデータとともにビデオデータを外部の映像表示装置に表示させることができるようにすることを企図する。
【課題を解決するための手段】
【００１３】
本発明による携帯端末は、ビデオデータを生成する手段と、携帯端末ＵＩデータを生成する手段と、前記ビデオデータと前記携帯端末ＵＩデータとを画像として合成することなく外部へ出力する出力手段とを備えたものである。これにより、携帯端末でのビデオデータと携帯端末ＵＩデータの合成処理は不要となる。
【００１４】
前記出力手段は、例えば、前記携帯端末ＵＩデータをＨＤＭＩ規格のデジタル信号伝送方式におけるデータアイランド期間に転送し、前記ビデオデータをそのビデオデータ期間に転送する。
【００１５】
本発明の映像表示装置は、携帯端末からビデオデータおよび携帯端末ＵＩデータを受信する手段と、内部に用意されている映像表示装置ＵＩデータと、前記携帯端末から受信した携帯端末ＵＩデータとに基づいてＵＩ画像を描画する手段と、描画されたＵＩ画像を前記ビデオデータと合成する手段と、合成したデータを表示画面上に表示する表示手段とを備える。
【００１６】
本発明による映像処理システムは、携帯端末から出力したビデオデータを映像表示装置に表示させる映像処理システムである。前記携帯端末は、ビデオデータと携帯端末ＵＩデータとを画像として合成することなく前記映像表示装置へ出力する。前記映像表示装置は、前記携帯端末から受信した携帯端末ＵＩデータと、内部に用意されている映像表示装置ＵＩデータとに基づいてＵＩ画像を描画し、この描画されたＵＩ画像を前記携帯端末から受信したビデオデータと合成し、合成したデータを表示画面上に表示する。
【発明の効果】
【００１７】
本発明によれば、携帯端末からビデオデータを出力する際に、従来端末側で行っていた携帯端末ＵＩデータの画像合成の処理を、映像表示装置側に分散することにより、携帯端末の処理負荷を軽減することができる。また、その消費電力の低減を図ることができる。
【図面の簡単な説明】
【００１８】
【図１】従来の映像処理システムの一般的な構成を示した図である。
【図２】従来のフレーム合成の対象フレームの流れを示した図である。
【図３】本発明の実施の形態における携帯端末のＨＤＭＩ接続時の映像処理システムの基本構成を示した図である。
【図４】本発明の実施の形態に係る映像表示装置（ＴＶ）におけるユーザインタフェース（ＵＩ）の表示例を示した図である。
【図５】本発明の実施の形態におけるシステム構成例を示した図である。
【図６】本発明の実施の形態におけるフレーム合成の対象フレームの流れを示した図である。
【図７】本発明の実施の形態におけるＵＩデータパック部の処理のフローチャートである。
【図８】本発明の実施の形態におけるＵＩデータアンパック部の処理のフローチャートである。
【図９】ＨＤＭＩのＴＭＤＳ経由で転送するデータの構成を示した図である。
【図１０】ＴＭＤＳのデータ転送イメージを示した図である。
【発明を実施するための形態】
【００１９】
以下、本発明の好適な実施の形態についてさらなる図面を参照しながら詳細に説明する。
【００２０】
図３に、本実施の形態における携帯端末のＨＤＭＩ接続時の映像処理システムの基本構成を示している。携帯端末１００は例えば携帯電話端末に代表される携帯機器である。携帯端末１００と映像表示装置（ＴＶ）２００との間はＨＤＭＩケーブル１６０を介して接続している。同時に映像表示装置２００のリモート・コントローラ２５０による例えば赤外線通信２０２による映像表示装置２００の操作も可能である。ＨＤＭＩでは、ビデオ、オーディオデータのＴＶ側への送信、並びに、ＣＥＣ(Consumer Electronics Control)による制御信号の受け渡し方法が規格として定義されている。
【００２１】
図４は、本実施の形態に係る映像表示装置（ＴＶ）２００におけるユーザインタフェース（ＵＩ）画像の表示例を示したものである。ここでは、携帯端末１００とＴＶ２００とで異なるＵＩ情報を持つことを前提としている。
【００２２】
図４（ａ）は、映像領域（ビデオエリア）に携帯端末から送出されたＵＩデータに基づくＵＩ画像をオーバーレイ表示する例を示したものである。この場合、一般的技術として、ＵＩデータは位置情報と共にＲＧＢ８８８などのビットマップイメージでパーツのデータを保持する仕組みを想定している。
【００２３】
図４（ｂ）は、携帯端末から送出されたＵＩをビデオのエリア範囲外に表示する場合の例を示している。この場合、ＴＶ側のＵＩ表示ツールを操作することを想定している。つまりは、ビットマップイメージを直接受け渡しするのではなく、ＧＵＩライブラリの操作に必要なデータを受け渡しすることになる。
【００２４】
図４（ａ）（ｂ）の表示は状況に応じて切り替えて表示することも可能である。なお、映像表示装置２００側のＵＩをどのように表示するかは映像表示装置の製品ごとの要求仕様に依存する。
【００２５】
いずれにせよ本発明では、従来、端末側で行っていた携帯端末ＵＩの合成処理を端末側では行わず、ＴＶ側でのＴＶＵＩ合成時に合わせて行うようにしたものである。
【００２６】
図５は、本実施の形態におけるシステム構成例を示している。
【００２７】
図１に示したと同様、ストレージもしくはストリーミングによる、圧縮されたビデオデータを保持しており、ビデオデコーダ１１０にてデコード処理を行い、ビデオ画像の復元を行う。ビデオストリームのデコード処理によりビデオフレームを生成し、このビデオフレームをＨＤＭＩのＴＭＤＳ経由でＴＶ２００へビデオデータとして送信する。この時、図１の従来例と異なり、ビデオデータとＵＩデータとの合成は行わない。ビデオフレームの生成と平行して、携帯端末ＵＩデータの更新時にＵＩ描画部１２０でＵＩ画像の描画を行い、その携帯端末ＵＩデータをＨＤＭＩのデータアイランドパケット（Data Island Packet）に乗せる。そのために、ＵＩデータパック部１３０により携帯端末ＵＩデータ自体をパケット化する。ここでは、ＨＤＭＩの規格CEA-861Dに規定されたVendor-Specific Info Frame, 0x81を用いることを想定している。また、ＵＩデータは、ＲＧＢ形式を代表とした画像データを想定しているが、これに限るものではない。ＵＩデータパック部１３０により生成されたパケットデータは、ビデオデコーダ１１０から出力されるビデオフレームデータとともに、ＨＤＭＩドライバ（出力手段）１４０により、ＨＤＭＩ接続上のＴＭＤＳ経由でＴＶ２００へ転送される。ＵＩデータのフレーム更新はＵＩ更新時（例えば操作メニュー変更時等）にのみ発生するため、データ量は大きくなく、ビデオ転送への影響は無視できる。
【００２８】
転送された携帯端末ＵＩデータは、ＴＶ（Ｓｉｎｋ）側で、パケットが解かれ、ＴＶ側のＵＩ描画部２３０へと入力される。ＵＩ描画部２３０では、内部に用意されているＴＶＵＩデータ（映像表示装置ＵＩデータ）と携帯端末ＵＩデータとを同時に扱い、フレーム合成部２５０にてビデオフレームとの合成処理を行う。この合成データは表示ドライバ２７０を介してＴＶ表示部２８０へ出力される。
【００２９】
図６に、本実施の形態におけるフレーム合成の対象フレームの流れを示す。
【００３０】
デコード後のビデオフレームに対して、携帯端末ＵＩの合成は携帯端末側では行わずに、パケット化した携帯端末ＵＩデータがビデオデータとともにＴＶへ送信される。ＵＩデータアンパック部２２０でパケットから携帯端末ＵＩデータが抽出される。この携帯端末ＵＩデータはＴＶＵＩ描画部２３０で、ＴＶナビゲーション用ＵＩと合成される。この合成結果はさらにフレーム合成部２５０で表示フレームと合成される。
【００３１】
図７に、ＵＩデータパック部１３０の処理のフローチャートを示す。この処理は、ＵＩデータの転送サイズと一度に転送可能なサイズとに基づいて転送回数を算出し、"info frame"（パケット）にＵＩデータを詰めて、転送回数分、転送を行うものである。
【００３２】
具体的には、携帯端末ＵＩデータの更新があると、転送数（ｃｔ）を携帯端末ＵＩデータ総数／パケットサイズ＋１に設定する（Ｓ１１）。ついで、ｃｔをループ変数として、ループ処理に入る。まず、ｃｔをデクリメントし（Ｓ１２）、携帯端末ＵＩデータを”ｉｎｆｏ ｆｒａｍｅ”中に詰め込む（すなわちパックする）（Ｓ１３）。この”ｉｎｆｏ ｆｒａｍｅ”をＨＤＭＩ転送する（Ｓ１４）。ｃｔが０に達するまではステップＳ１２に戻り、上記の処理を繰り返す。ｃｔが０に達したら処理を終了する。
【００３３】
図８に、ＵＩデータアンパック部２２０の処理のフローチャートを示す。
【００３４】
携帯端末から”ｉｎｆｏ ｆｒａｍｅ”を受信したとき、これが新たな携帯端末ＵＩデータかどうかをチェックする（Ｓ２１）。新たな携帯端末ＵＩデータであれば、転送数（ｃｔ）を更新する（Ｓ２２）。新たな携帯端末ＵＩデータでない場合、またはステップＳ２２の後、ｃｔをデクリメントし（Ｓ２３）、その”ｉｎｆｏ ｆｒａｍｅ”から抽出した携帯端末ＵＩデータを蓄積する（Ｓ２４）。ｃｔが０に達するまでは（Ｓ２５，Ｎｏ）、次の”ｉｎｆｏ ｆｒａｍｅ”を待つ。ｃｔが０に達したら（Ｓ２５，Ｙｅｓ）、それまでに蓄積して組み立てたＵＩデータをＵＩ描画部２３０に渡す（Ｓ２６）。
【００３５】
図９に、ＨＤＭＩのＴＭＤＳ経由で転送するデータの構成（規格書より抜粋）を示す。総数５２５ラインのビデオデータに対する水平帰線期間と、垂直帰線期間との中に制御期間とデータアイランド（Data Island）期間が設けられている。本実施の形態では、そのデータアイランド期間を携帯端末ＵＩデータの転送に利用する。
【００３６】
なお、前述のようにＨＤＭＩ規格ではＣＥＣによる制御情報の転送も可能としている。携帯端末の操作部の操作に基づく制御情報はＣＥＣを利用して映像表示装置へ送信することができる。携帯端末ＵＩデータの転送にもＣＥＣを利用することが考えられる。しかし、その制御ラインは画像の転送のためではなく、リモコン操作等のコンシューマ機器の操作に用いるためのものであり、転送速度は高速ではない。よって、本実施の形態のようにＵＩデータをＴＭＤＳ経由で転送するのが効果的である。
【００３７】
図１０にＴＭＤＳのデータ転送イメージ（規格書より抜粋）を示す。図示のＴＭＤＳのライン上に、携帯端末ＵＩデータをデータアイランド期間に転送し、携帯端末ＵＩとの未合成のビデオデータを通常のビデオデータ期間に転送する。
【００３８】
以上、本発明の好適な実施の形態について説明したが、上記で言及した以外にも種々の変形、変更を行うことが可能である。
【００３９】
例えば、デジタル映像・音声入出力インタフェースとしてＨＤＭＩを例に挙げたが、本発明は必ずしもＨＤＭＩの利用に限定されるものではない。
【００４０】
携帯端末ＵＩデータとしてそのＵＩ画像のサイズについては特に言及しなかったが、異なる表示画面サイズに応じた携帯端末ＵＩデータを別個に用意しておき、確認した転送先の映像表示装置の表示画面サイズに応じて対応するサイズの携帯端末ＵＩデータを選択して映像表示装置へ送るようにしてもよい。
【符号の説明】
【００４１】
１００…携帯端末、１１０…ビデオデコーダ、１２０…ＵＩ描画部、１３０…データパック部、１６０…ＨＤＭＩケーブル、２００…映像表示装置、２０２…赤外線通信、２１０…ＨＤＭＩ受信部、２２０…データアンパック部、２３０…ＵＩ描画部、２５０…フレーム合成部、２５０…リモート・コントローラ、２７０…表示ドライバ、２８０…ＴＶ表示部
【技術分野】
【０００１】
本発明は、携帯端末から出力したビデオデータを映像表示装置に表示させる映像処理システムに関する。
【背景技術】
【０００２】
現在、携帯電話端末に代表される携帯端末（モバイル機器）には映像（ビデオ）データおよび音声（オーディオ）データを再生し、外部へ出力する機能を有するものがある。これにより携帯端末がビデオデータの供給源として、より大きな画面を有するモニタやテレビジョン装置（以下、テレビ：ＴＶと略す）に映像を表示させて視聴することができる。その際、携帯端末の操作部による操作のナビゲーション（またはガイダンス）等を行うためのユーザインタフェース画面をＴＶ側に表示することが好ましい。
【０００３】
図１はそのような従来の映像処理システムの一般的な構成を示している。
【０００４】
このシステムは、従来ＴＶ側に備わっている、チャンネル情報、時刻情報などを表示するＴＶユーザインタフェース（ＵＩ）に加えて、携帯端末側の操作メニューを表示する場合を考慮している。
【０００５】
携帯端末１０はビデオデータの供給源であり、ＴＶ２０側にビデオデータを転送し、ＴＶ画面上に表示させる。携帯端末１０はストレージもしくはストリーミングによる、圧縮されたビデオデータを保持しており、ビデオデコーダ１１にてデコード処理を行い、ビデオ画像の復元を行う。携帯端末１０からのナビゲーションキー等、携帯端末ＵＩとして同時にＴＶ出力を行いたいＵＩ画像をＵＩ描画部１２にて描画生成する。ＴＶ２０においてこのビデオデータとＵＩデータの表示を行うためには、フレーム合成部１５で両データの合成処理を行う。さらに、ＨＤＭＩ(High Definition Multimedia Interface)規格に準拠したＨＤＭＩドライバ１７からＨＤＭＩ接続上のデジタル信号伝送方式であるＴＭＤＳ(Transition Minimized Differential Signalling)を介して、この合成データをＴＶ２０側へ送信する。ＨＤＭＩは、家電およびＡＶ機器向けのデジタル映像・音声入出力インタフェースの規格である。これにより、１本のケーブルで映像・音声・制御信号を合わせて送受信することができる。
【０００６】
ＴＶ２０は、合成信号であるビデオ・携帯ＵＩ合成データをＨＤＭＩ受信部２１にて受信する。また、ＴＶナビゲーション用のユーザインタフェースデータ（映像表示装置ＵＩデータ）はＴＶＵＩ描画部２３にて生成され、フレーム合成部２５でビデオ・携帯ＵＩ合成データと合成される。フレーム合成部２５から出力されるビデオ・携帯端末ＵＩ／ＴＶＵＩ合成データは、表示ドライバ２７を介してＴＶ表示部２８に表示される。
【０００７】
図２に、従来のフレーム合成の対象フレームの流れを示す。
【０００８】
携帯端末において、デコード後のビデオフレームは携帯ＵＩフレームと合成され、中間フレームとなる。この中間フレームはＴＶ側でＴＶＵＩフレームと合成され、最終的な表示フレームとなる。
【０００９】
なお、ＨＤＭＩに関連した従来の技術として、特許文献１には、ＨＤＭＩ規格に準拠したＤＶＤプレーヤ、ＡＶアンプおよびディスプレイ装置がＨＤＭＩケーブルを介して接続されるシステムの改良について開示されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００７−７９１７７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
従来の携帯端末環境では、ビデオフレームのデコード後に発生する、ＵＩデータとの合成処理の負担が重く、処理能力の不足により、ビデオコンテンツに求められている再生パフォーマンスを満たすことができない場合があった。また、消費電力の観点からも問題があった。
【００１２】
本発明はこのような背景においてなされたものであり、携帯端末に過大な処理負荷を掛けることなく携帯端末ＵＩデータとともにビデオデータを外部の映像表示装置に表示させることができるようにすることを企図する。
【課題を解決するための手段】
【００１３】
本発明による携帯端末は、ビデオデータを生成する手段と、携帯端末ＵＩデータを生成する手段と、前記ビデオデータと前記携帯端末ＵＩデータとを画像として合成することなく外部へ出力する出力手段とを備えたものである。これにより、携帯端末でのビデオデータと携帯端末ＵＩデータの合成処理は不要となる。
【００１４】
前記出力手段は、例えば、前記携帯端末ＵＩデータをＨＤＭＩ規格のデジタル信号伝送方式におけるデータアイランド期間に転送し、前記ビデオデータをそのビデオデータ期間に転送する。
【００１５】
本発明の映像表示装置は、携帯端末からビデオデータおよび携帯端末ＵＩデータを受信する手段と、内部に用意されている映像表示装置ＵＩデータと、前記携帯端末から受信した携帯端末ＵＩデータとに基づいてＵＩ画像を描画する手段と、描画されたＵＩ画像を前記ビデオデータと合成する手段と、合成したデータを表示画面上に表示する表示手段とを備える。
【００１６】
本発明による映像処理システムは、携帯端末から出力したビデオデータを映像表示装置に表示させる映像処理システムである。前記携帯端末は、ビデオデータと携帯端末ＵＩデータとを画像として合成することなく前記映像表示装置へ出力する。前記映像表示装置は、前記携帯端末から受信した携帯端末ＵＩデータと、内部に用意されている映像表示装置ＵＩデータとに基づいてＵＩ画像を描画し、この描画されたＵＩ画像を前記携帯端末から受信したビデオデータと合成し、合成したデータを表示画面上に表示する。
【発明の効果】
【００１７】
本発明によれば、携帯端末からビデオデータを出力する際に、従来端末側で行っていた携帯端末ＵＩデータの画像合成の処理を、映像表示装置側に分散することにより、携帯端末の処理負荷を軽減することができる。また、その消費電力の低減を図ることができる。
【図面の簡単な説明】
【００１８】
【図１】従来の映像処理システムの一般的な構成を示した図である。
【図２】従来のフレーム合成の対象フレームの流れを示した図である。
【図３】本発明の実施の形態における携帯端末のＨＤＭＩ接続時の映像処理システムの基本構成を示した図である。
【図４】本発明の実施の形態に係る映像表示装置（ＴＶ）におけるユーザインタフェース（ＵＩ）の表示例を示した図である。
【図５】本発明の実施の形態におけるシステム構成例を示した図である。
【図６】本発明の実施の形態におけるフレーム合成の対象フレームの流れを示した図である。
【図７】本発明の実施の形態におけるＵＩデータパック部の処理のフローチャートである。
【図８】本発明の実施の形態におけるＵＩデータアンパック部の処理のフローチャートである。
【図９】ＨＤＭＩのＴＭＤＳ経由で転送するデータの構成を示した図である。
【図１０】ＴＭＤＳのデータ転送イメージを示した図である。
【発明を実施するための形態】
【００１９】
以下、本発明の好適な実施の形態についてさらなる図面を参照しながら詳細に説明する。
【００２０】
図３に、本実施の形態における携帯端末のＨＤＭＩ接続時の映像処理システムの基本構成を示している。携帯端末１００は例えば携帯電話端末に代表される携帯機器である。携帯端末１００と映像表示装置（ＴＶ）２００との間はＨＤＭＩケーブル１６０を介して接続している。同時に映像表示装置２００のリモート・コントローラ２５０による例えば赤外線通信２０２による映像表示装置２００の操作も可能である。ＨＤＭＩでは、ビデオ、オーディオデータのＴＶ側への送信、並びに、ＣＥＣ(Consumer Electronics Control)による制御信号の受け渡し方法が規格として定義されている。
【００２１】
図４は、本実施の形態に係る映像表示装置（ＴＶ）２００におけるユーザインタフェース（ＵＩ）画像の表示例を示したものである。ここでは、携帯端末１００とＴＶ２００とで異なるＵＩ情報を持つことを前提としている。
【００２２】
図４（ａ）は、映像領域（ビデオエリア）に携帯端末から送出されたＵＩデータに基づくＵＩ画像をオーバーレイ表示する例を示したものである。この場合、一般的技術として、ＵＩデータは位置情報と共にＲＧＢ８８８などのビットマップイメージでパーツのデータを保持する仕組みを想定している。
【００２３】
図４（ｂ）は、携帯端末から送出されたＵＩをビデオのエリア範囲外に表示する場合の例を示している。この場合、ＴＶ側のＵＩ表示ツールを操作することを想定している。つまりは、ビットマップイメージを直接受け渡しするのではなく、ＧＵＩライブラリの操作に必要なデータを受け渡しすることになる。
【００２４】
図４（ａ）（ｂ）の表示は状況に応じて切り替えて表示することも可能である。なお、映像表示装置２００側のＵＩをどのように表示するかは映像表示装置の製品ごとの要求仕様に依存する。
【００２５】
いずれにせよ本発明では、従来、端末側で行っていた携帯端末ＵＩの合成処理を端末側では行わず、ＴＶ側でのＴＶＵＩ合成時に合わせて行うようにしたものである。
【００２６】
図５は、本実施の形態におけるシステム構成例を示している。
【００２７】
図１に示したと同様、ストレージもしくはストリーミングによる、圧縮されたビデオデータを保持しており、ビデオデコーダ１１０にてデコード処理を行い、ビデオ画像の復元を行う。ビデオストリームのデコード処理によりビデオフレームを生成し、このビデオフレームをＨＤＭＩのＴＭＤＳ経由でＴＶ２００へビデオデータとして送信する。この時、図１の従来例と異なり、ビデオデータとＵＩデータとの合成は行わない。ビデオフレームの生成と平行して、携帯端末ＵＩデータの更新時にＵＩ描画部１２０でＵＩ画像の描画を行い、その携帯端末ＵＩデータをＨＤＭＩのデータアイランドパケット（Data Island Packet）に乗せる。そのために、ＵＩデータパック部１３０により携帯端末ＵＩデータ自体をパケット化する。ここでは、ＨＤＭＩの規格CEA-861Dに規定されたVendor-Specific Info Frame, 0x81を用いることを想定している。また、ＵＩデータは、ＲＧＢ形式を代表とした画像データを想定しているが、これに限るものではない。ＵＩデータパック部１３０により生成されたパケットデータは、ビデオデコーダ１１０から出力されるビデオフレームデータとともに、ＨＤＭＩドライバ（出力手段）１４０により、ＨＤＭＩ接続上のＴＭＤＳ経由でＴＶ２００へ転送される。ＵＩデータのフレーム更新はＵＩ更新時（例えば操作メニュー変更時等）にのみ発生するため、データ量は大きくなく、ビデオ転送への影響は無視できる。
【００２８】
転送された携帯端末ＵＩデータは、ＴＶ（Ｓｉｎｋ）側で、パケットが解かれ、ＴＶ側のＵＩ描画部２３０へと入力される。ＵＩ描画部２３０では、内部に用意されているＴＶＵＩデータ（映像表示装置ＵＩデータ）と携帯端末ＵＩデータとを同時に扱い、フレーム合成部２５０にてビデオフレームとの合成処理を行う。この合成データは表示ドライバ２７０を介してＴＶ表示部２８０へ出力される。
【００２９】
図６に、本実施の形態におけるフレーム合成の対象フレームの流れを示す。
【００３０】
デコード後のビデオフレームに対して、携帯端末ＵＩの合成は携帯端末側では行わずに、パケット化した携帯端末ＵＩデータがビデオデータとともにＴＶへ送信される。ＵＩデータアンパック部２２０でパケットから携帯端末ＵＩデータが抽出される。この携帯端末ＵＩデータはＴＶＵＩ描画部２３０で、ＴＶナビゲーション用ＵＩと合成される。この合成結果はさらにフレーム合成部２５０で表示フレームと合成される。
【００３１】
図７に、ＵＩデータパック部１３０の処理のフローチャートを示す。この処理は、ＵＩデータの転送サイズと一度に転送可能なサイズとに基づいて転送回数を算出し、"info frame"（パケット）にＵＩデータを詰めて、転送回数分、転送を行うものである。
【００３２】
具体的には、携帯端末ＵＩデータの更新があると、転送数（ｃｔ）を携帯端末ＵＩデータ総数／パケットサイズ＋１に設定する（Ｓ１１）。ついで、ｃｔをループ変数として、ループ処理に入る。まず、ｃｔをデクリメントし（Ｓ１２）、携帯端末ＵＩデータを”ｉｎｆｏ ｆｒａｍｅ”中に詰め込む（すなわちパックする）（Ｓ１３）。この”ｉｎｆｏ ｆｒａｍｅ”をＨＤＭＩ転送する（Ｓ１４）。ｃｔが０に達するまではステップＳ１２に戻り、上記の処理を繰り返す。ｃｔが０に達したら処理を終了する。
【００３３】
図８に、ＵＩデータアンパック部２２０の処理のフローチャートを示す。
【００３４】
携帯端末から”ｉｎｆｏ ｆｒａｍｅ”を受信したとき、これが新たな携帯端末ＵＩデータかどうかをチェックする（Ｓ２１）。新たな携帯端末ＵＩデータであれば、転送数（ｃｔ）を更新する（Ｓ２２）。新たな携帯端末ＵＩデータでない場合、またはステップＳ２２の後、ｃｔをデクリメントし（Ｓ２３）、その”ｉｎｆｏ ｆｒａｍｅ”から抽出した携帯端末ＵＩデータを蓄積する（Ｓ２４）。ｃｔが０に達するまでは（Ｓ２５，Ｎｏ）、次の”ｉｎｆｏ ｆｒａｍｅ”を待つ。ｃｔが０に達したら（Ｓ２５，Ｙｅｓ）、それまでに蓄積して組み立てたＵＩデータをＵＩ描画部２３０に渡す（Ｓ２６）。
【００３５】
図９に、ＨＤＭＩのＴＭＤＳ経由で転送するデータの構成（規格書より抜粋）を示す。総数５２５ラインのビデオデータに対する水平帰線期間と、垂直帰線期間との中に制御期間とデータアイランド（Data Island）期間が設けられている。本実施の形態では、そのデータアイランド期間を携帯端末ＵＩデータの転送に利用する。
【００３６】
なお、前述のようにＨＤＭＩ規格ではＣＥＣによる制御情報の転送も可能としている。携帯端末の操作部の操作に基づく制御情報はＣＥＣを利用して映像表示装置へ送信することができる。携帯端末ＵＩデータの転送にもＣＥＣを利用することが考えられる。しかし、その制御ラインは画像の転送のためではなく、リモコン操作等のコンシューマ機器の操作に用いるためのものであり、転送速度は高速ではない。よって、本実施の形態のようにＵＩデータをＴＭＤＳ経由で転送するのが効果的である。
【００３７】
図１０にＴＭＤＳのデータ転送イメージ（規格書より抜粋）を示す。図示のＴＭＤＳのライン上に、携帯端末ＵＩデータをデータアイランド期間に転送し、携帯端末ＵＩとの未合成のビデオデータを通常のビデオデータ期間に転送する。
【００３８】
以上、本発明の好適な実施の形態について説明したが、上記で言及した以外にも種々の変形、変更を行うことが可能である。
【００３９】
例えば、デジタル映像・音声入出力インタフェースとしてＨＤＭＩを例に挙げたが、本発明は必ずしもＨＤＭＩの利用に限定されるものではない。
【００４０】
携帯端末ＵＩデータとしてそのＵＩ画像のサイズについては特に言及しなかったが、異なる表示画面サイズに応じた携帯端末ＵＩデータを別個に用意しておき、確認した転送先の映像表示装置の表示画面サイズに応じて対応するサイズの携帯端末ＵＩデータを選択して映像表示装置へ送るようにしてもよい。
【符号の説明】
【００４１】
１００…携帯端末、１１０…ビデオデコーダ、１２０…ＵＩ描画部、１３０…データパック部、１６０…ＨＤＭＩケーブル、２００…映像表示装置、２０２…赤外線通信、２１０…ＨＤＭＩ受信部、２２０…データアンパック部、２３０…ＵＩ描画部、２５０…フレーム合成部、２５０…リモート・コントローラ、２７０…表示ドライバ、２８０…ＴＶ表示部
【特許請求の範囲】
【請求項１】
ビデオデータを生成する手段と、
携帯端末ＵＩデータを生成する手段と、
前記ビデオデータと前記携帯端末ＵＩデータとを画像として合成することなく外部へ出力する出力手段と
を備えた携帯端末。
【請求項２】
前記出力手段は、前記携帯端末ＵＩデータをＨＤＭＩ規格のデジタル信号伝送方式におけるデータアイランド期間に転送し、前記ビデオデータをそのビデオデータ期間に転送する請求項１に記載の携帯端末。
【請求項３】
携帯端末からビデオデータおよび携帯端末ＵＩデータを受信する手段と、
内部に用意されている映像表示装置ＵＩデータと、前記携帯端末から受信した携帯端末ＵＩデータとに基づいてＵＩ画像を描画する手段と、
描画されたＵＩ画像を前記ビデオデータと合成する手段と、
合成したデータを表示画面上に表示する表示手段と
を備えた映像表示装置。
【請求項４】
携帯端末から出力したビデオデータを映像表示装置に表示させる映像処理システムであって、
前記携帯端末は、ビデオデータと携帯端末ＵＩデータとを画像として合成することなく前記映像表示装置へ出力し、
前記映像表示装置は、前記携帯端末から受信した携帯端末ＵＩデータと、内部に用意されている映像表示装置ＵＩデータとに基づいてＵＩ画像を描画し、この描画されたＵＩ画像を前記携帯端末から受信したビデオデータと合成し、合成したデータを表示画面上に表示する
映像処理システム。
【請求項１】
ビデオデータを生成する手段と、
携帯端末ＵＩデータを生成する手段と、
前記ビデオデータと前記携帯端末ＵＩデータとを画像として合成することなく外部へ出力する出力手段と
を備えた携帯端末。
【請求項２】
前記出力手段は、前記携帯端末ＵＩデータをＨＤＭＩ規格のデジタル信号伝送方式におけるデータアイランド期間に転送し、前記ビデオデータをそのビデオデータ期間に転送する請求項１に記載の携帯端末。
【請求項３】
携帯端末からビデオデータおよび携帯端末ＵＩデータを受信する手段と、
内部に用意されている映像表示装置ＵＩデータと、前記携帯端末から受信した携帯端末ＵＩデータとに基づいてＵＩ画像を描画する手段と、
描画されたＵＩ画像を前記ビデオデータと合成する手段と、
合成したデータを表示画面上に表示する表示手段と
を備えた映像表示装置。
【請求項４】
携帯端末から出力したビデオデータを映像表示装置に表示させる映像処理システムであって、
前記携帯端末は、ビデオデータと携帯端末ＵＩデータとを画像として合成することなく前記映像表示装置へ出力し、
前記映像表示装置は、前記携帯端末から受信した携帯端末ＵＩデータと、内部に用意されている映像表示装置ＵＩデータとに基づいてＵＩ画像を描画し、この描画されたＵＩ画像を前記携帯端末から受信したビデオデータと合成し、合成したデータを表示画面上に表示する
映像処理システム。
【図１】
【図４】
【図５】
【図７】
【図８】
【図２】
【図３】
【図６】
【図９】
【図１０】
【図４】
【図５】
【図７】
【図８】
【図２】
【図３】
【図６】
【図９】
【図１０】
【公開番号】特開２０１０−２５２２１５（Ｐ２０１０−２５２２１５Ａ）
【公開日】平成２２年１１月４日（２０１０．１１．４）
【国際特許分類】
【出願番号】特願２００９−１０１７３４（Ｐ２００９−１０１７３４）
【出願日】平成２１年４月２０日（２００９．４．２０）
【出願人】（５０２０８７５０７）ソニー エリクソン モバイル コミュニケーションズ， エービー (823)
【Ｆターム（参考）】
【公開日】平成２２年１１月４日（２０１０．１１．４）
【国際特許分類】
【出願日】平成２１年４月２０日（２００９．４．２０）
【出願人】（５０２０８７５０７）ソニー エリクソン モバイル コミュニケーションズ， エービー (823)
【Ｆターム（参考）】
[ Back to top ]