受信装置、表示制御方法、放送システム、並びにコンピューター・プログラム
【課題】データ放送サービスにより放送コンテンツとネットワーク・コンテンツを複合して好適に同期再生する。
【解決手段】放送事業者やアプリケーション・プロバイダーは、例えば、放送コンテンツと関連するAVコンテンツをサーバーにアップロードしておくとともに、AVコンテンツへのURLリンクを含んだデータ放送アプリケーションを配信する。モザイク形式のメニューの各選択ボタンは、AVコンテンツへのURLリンクを含む。放送事業者やアプリケーション・プロバイダーは、ユーザーが番組視聴と同時再生するストリーミング動画を何にすべきかをコントロールできる。
【解決手段】放送事業者やアプリケーション・プロバイダーは、例えば、放送コンテンツと関連するAVコンテンツをサーバーにアップロードしておくとともに、AVコンテンツへのURLリンクを含んだデータ放送アプリケーションを配信する。モザイク形式のメニューの各選択ボタンは、AVコンテンツへのURLリンクを含む。放送事業者やアプリケーション・プロバイダーは、ユーザーが番組視聴と同時再生するストリーミング動画を何にすべきかをコントロールできる。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書で開示する技術は、放送信号を受信して放送コンテンツを表示する受信装置、表示制御方法、放送システム、並びにコンピューター・プログラムに係り、特に、放送信号から得た放送コンテンツとネットワーク経由で取得したネットワーク・コンテンツを複合して同期再生する受信装置、表示制御方法、放送システム、並びにコンピューター・プログラムに関する。
【背景技術】
【0002】
現在、世界の各国において、地上波、衛星波、ケーブルなどの放送システムにおいて、ディジタル化への移行が進められている。ディジタル信号はアナログ信号よりも安定性に優れ、データ圧縮率も高いことから、ディジタル放送によれば、一定の帯域でアナログ信号よりも多くのチャンネルを確保することができる。また、ディジタル放送では、併せてデータ放送を送信することで、他のサービスと組み合わせたハイブリッドな放送サービスを実現することができる。
【0003】
例えば、日本国内で2000年に開始されたISDB(Integrated Services Digital Broadcasting)方式のディジタル放送は、データ放送も特徴の1つであり、各放送事業者などから、放送番組本体を構成する映像と音声のデータ(AVデータ)の他に、放送番組に付随するディジタル伝送データ(以下、「データ放送用データ」とも呼ぶ)が並行して配信されている。より具体的には、MPEG(Moving Picture Expert Group)2など所定の圧縮方式で圧縮されたAVデータと、BML(Broadcast Markup Language)などの符号化方式によるデータ放送用データとを多重化して構成されたトランスポート・ストリームの形式で、放送信号が配信される。BMLは、XML(eXtensible Markup Language)を基に策定され、マルチメディア・データの配置位置の指定機能や、Java(登録商標)スクリプトの標準規格であるECMAスクリプトによるスクリプト実行機能、DOM(Document Object Model)によるXMLの操作機能などを備えている。
【0004】
TVにおけるデータ放送は、例えば、テレビジョン番組(以下、「放送コンテンツ」とも呼ぶ)を視聴しているユーザーが、リモコンに設けられたd(データ連動)ボタンを操作することに対応して表示される。具体的には、TVの画面の状態が放送コンテンツ全画面表示であるときにdボタンが操作されると、BML形式で記述されたデータ放送用データを解するデータ放送用ブラウザーが起動して、画面の状態がデータ放送表示に遷移する。
【0005】
データ放送用データは、例えば、静止画、動画、音声、図形・文字などのメディア・データと、これらのデータを統合して表現形式や動作を制御するデータ放送アプリケーションなどからなる。ユーザー(ディジタル放送の視聴者)は、例えばリモコンのカーソル・キー、決定キー、色ボタン、数字ボタンなどを用いて、データ放送表示画面上で各メディア・データの動作を指示することができる。放送事業者などは、データ放送アプリケーションにより、放送番組本体に関連したデータ放送サービスを実現することができる。
【0006】
データ放送アプリケーションに例えばJava(登録商標)技術を適用することができる。この場合、データ放送アプリケーションは、Java(登録商標)仮想マシン上で動作するバイトコードであるクラス・ファイルからなる。受信機(例えば、テレビ受像機)内のJav(登録商標)a仮想マシンは、受信したクラス・ファイルを実行することによって、視聴者にデータ放送サービスが提供される。1つのJava(登録商標)データ放送サービスを実行するために必要なクラス・ファイルは複数あり、そのすべてが揃うまではJava(登録商標)データ放送サービスを実行することができない。また、あるJav(登録商標)aデータ放送サービスを一度実行すると、そのとき利用したクラス・ファイルを受信機内に蓄積しておき、以降同様のJava(登録商標)データ放送サービスでも利用することが可能である。例えば、ユーザーが指定した放送サービスを実行するために必須の必須プログラム・ファイルのうち不足しているものを、選択した取得経路を介して取得するプログラム・ファイル取得装置について提案がなされている(例えば、特許文献1を参照のこと)。
【0007】
他方、通信ネットワークのブロードバンド化により、動画などの大容量データをインターネット経由で伝送することが可能となってきている。例えば、インターネットを介して、映画などのコンテンツ(以下、「ネットワーク・コンテンツ」とも呼ぶ)をダウンロードして蓄積し、任意のタイミングで再生できる情報処理装置(例えば、特許文献2を参照のこと)や、さらには放送コンテンツの表示状態と、ネットワーク・コンテンツの表示状態とをシームレスに遷移する受信装置(例えば、特許文献3を参照のこと)について提案がなされている。
【0008】
後者の受信装置によれば、データ放送表示と擬似データ放送表示の両方を表示可能な(すなわち、BML及びHTMLを解することができる)共用ブラウザーを事前に起動し、これを表示又は非表示のいずれかに制御するようにすることで、放送コンテンツ・モードにおけるデータ放送表示と、ネットワーク・コンテンツ・モードにおける擬似データ放送表示間を相互にシームレスに直接遷移することができる。
【0009】
しかしながら、この受信装置は、放送コンテンツとネットワーク・コンテンツの統合処理を行なうといっても、HTMLを解することよってネットワーク・コンテンツの表示を行なうことは旧来と変わるものでない。すなわち、この受信装置は、BMLを解すること、すなわちデータ放送サービスとしてネットワーク・コンテンツの表示を行なうものではない。言い換えれば、放送事業者などは、放送コンテンツとネットワーク・コンテンツとを複合させたハイブリッドな放送サービスを、データ放送によって提供することはできない。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】特開2010−166339号公報
【特許文献2】特開2008−109606号公報
【特許文献3】特開2009−296126号公報
【発明の概要】
【発明が解決しようとする課題】
【0011】
本明細書で開示する技術の目的は、放送信号から得た放送コンテンツとネットワーク経由で取得したネットワーク・コンテンツを複合して好適に同期再生することができる、優れた受信装置、表示制御方法、放送システム、並びにコンピューター・プログラムを提供することにある。
【0012】
本明細書で開示する技術のさらなる目的は、データ放送サービスにより放送コンテンツとネットワーク・コンテンツを複合して好適に同期再生することができる、優れた受信装置、表示制御方法、放送システム、並びにコンピューター・プログラムを提供することにある。
【課題を解決するための手段】
【0013】
本願は、上記課題を参酌してなされたものであり、請求項1に記載の技術は、
放送信号を受信する放送受信部と、
ネットワーク経由で情報を送受信するネットワーク通信部と、
前記放送受信部で受信した情報をコピーする第1のプレーン及び前記ネットワーク通信部で受信した情報をコピーする第2のプレーンを含むビデオ・メモリーと、
前記ビデオ・メモリー内の情報を表示する表示部と、
前記ビデオ・メモリー内の各プレーンにコピーされた情報の前記表示部への表示出力を制御する制御部を具備し、
前記制御部は、前記放送受信部又は前記ネットワーク通信部で受信したデータ放送アプリケーションを実行して、前記ビデオ・メモリー内の前記第1のプレーン及び第2のプレーンを含む複数のプレーンを合成処理して前記表示部に表示させる、
受信装置である。
【0014】
本願の請求項2に記載の技術によれば、請求項1に記載の受信装置の前記ビデオ・メモリー内では、後方から前方に向かって前記第1のプレーン、前記第2のプレーンの順序で配置され、さらに前記第2のプレーンの前方に他の複数のプレーンが所定の順序で配置されている。そして、前記制御部は、前記データ放送アプリケーションを実行して実現する処理として、前記の配置された順序に従って各プレーンの合成処理を行なうように構成されている。
【0015】
本願の請求項3に記載の技術によれば、請求項2に記載の受信装置の前記制御部は、前記データ放送アプリケーションを実行して実現する処理として、前記放送受信部で受信した放送コンテンツを前記第1のプレーンにコピーするとともに、前記ネットワーク通信部で受信したネットワーク・コンテンツを前記放送コンテンツと同時再生することを指示するためのユーザー・インターフェースを前記第2のプレーンにコピーし、前記第1のプレーンと前記第2のプレーンを合成して、前記放送コンテンツに前記ユーザー・インターフェースを重畳したプレーンを生成するように構成されている。
【0016】
本願の請求項4に記載の技術によれば、請求項3に記載の受信装置において、前記放送コンテンツと同時再生するネットワーク・コンテンツはストリーミング動画である。また、前記ユーザー・インターフェースは、同時再生することが可能な複数のストリーミング動画の各々の動画サムネイルからなる選択ボタンを配置したメニューである。
【0017】
本願の請求項5に記載の技術によれば、請求項3に記載の受信装置において、前記放送コンテンツと同時再生することが可能なネットワーク・コンテンツは、前記データ放送アプリケーションで所在場所が指定されており、また、前記ユーザー・インターフェースは、同時再生することが可能な各ネットワークの所在場所へのリンクを含んだ選択ボタンを配置したメニューである。そして、前記制御部は、いずれかの選択ボタンが選択されたことに応答して、選択ボタンに含まれるリンクに従って前記ネットワーク通信部で受信するネットワーク・コンテンツを前記第2のプレーンにコピーし、前記第1のプレーンと前記第2のプレーンを合成して、前記放送コンテンツと前記ネットワーク・コンテンツを同時再生させるように構成されている。
【0018】
また、本願の請求項6に記載の技術は、
コンピューターがデータ放送アプリケーションを実行して具現化される第1のコピー手段が、放送信号として受信した情報をビデオ・メモリー内の第1のプレーンにコピーする第1のコピー・ステップと、
前記コンピューターが前記データ放送アプリケーションを実行して具現化される第2のコピー手段が、ネットワーク経由で受信した情報を前記ビデオ・メモリー内の第2のプレーンにコピーする第2のコピー・ステップと、
前記コンピューターが前記データ放送アプリケーションを実行して具現化される合成手段が、前記ビデオ・メモリー内の前記第1のプレーン及び第2のプレーンを含む複数のプレーンを合成処理する合成ステップと、
前記コンピューターが前記データ放送アプリケーションを実行して具現化される表示手段が、前記合成ステップで生成された合成プレーンを表示出力する出力ステップと、
を有する表示制御方法である。
【0019】
また、本願の請求項7に記載の技術は、
放送コンテンツとデータ放送の組み合わせからなるデータ放送サービスを提供する放送局と、
ネットワーク・コンテンツを提供するサーバーと、
放送局から配信される放送信号を受信するとともに、ネットワーク経由で情報を送受信するハイブリッド端末からなり、
前記ハイブリッド端末は、放送信号として受信した情報をコピーする第1のプレーン及び前記サーバーから受信した情報をコピーする第2のプレーンを含むビデオ・メモリーと、前記ビデオ・メモリー内の情報を表示する表示部を備え、前記放送局又は前記サーバーから受信したデータ放送アプリケーションを実行して、前記ビデオ・メモリー内の前記第1のプレーン及び第2のプレーンを含む複数のプレーンを合成処理して前記表示部に表示させる、
放送システムである。
【0020】
但し、ここで言う「システム」とは、複数の装置(又は特定の機能を実現する機能モジュール)が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。
【0021】
また、本願の請求項8に記載の技術は、
放送信号として受信した情報をビデオ・メモリー内の第1のプレーンにコピーする第1のコピー手段、
ネットワーク経由で受信した情報を前記ビデオ・メモリー内の第2のプレーンにコピーする第2のコピー手段、
前記ビデオ・メモリー内の前記第1のプレーン及び第2のプレーンを含む複数のプレーンを合成処理する合成手段、
前記合成手段により生成された合成プレーンを表示出力する出力手段、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラムである。
【0022】
本願の請求項8に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項8に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項1に係る受信装置と同様の作用効果を得ることができる。
【発明の効果】
【0023】
本明細書で開示する技術によれば、送信号から得た放送コンテンツとネットワーク経由で取得したネットワーク・コンテンツを複合して好適に同期再生することができる、優れた受信装置、表示制御方法、放送システム、並びにコンピューター・プログラムを提供することができる。
【0024】
また、本明細書で開示する技術によれば、データ放送サービスにより放送コンテンツとネットワーク・コンテンツを複合して好適に同期再生することができる、優れた受信装置、表示制御方法、放送システム、並びにコンピューター・プログラムを提供することができる。
【0025】
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【0026】
【図1】図1は、放送とネットワークを融合させたハイブリッド放送システム100の基本構成を模式的に示した図である。
【図2】図2は、ハイブリッド端末103の内部構成例を示した図である。
【図3】図3は、ビデオ・メモリー213上で構成されるグラフィック・プレーンのモデルを示した図である。
【図4】図4は、動画プレーン同士を合成する基本処理を説明するための図である。
【図5】図5は、合成動画プレーンCVP上にさらに静止画プレーンを合成する基本処理を説明するための図である。
【図6】図6は、動画プレーン同士を合成する代替処理を説明するための図である。
【図7】図7は、合成動画プレーンCVP上にさらに静止画プレーンを合成する代替処理を説明するための図である。
【図8】図8は、3次元信号からなる動画プレーンを合成する処理を説明するための図である。
【図9】図9は、適用する動画・静止画切替プレーンCPを変更したことにより動画・静止画の合成プレーンSVPが変わる例を示した図である。
【図10A】図10Aは、モザイク形式のメニューの構成方法を説明するための図である。
【図10B】図10Bは、モザイク形式のメニューの構成方法を説明するための図である。
【図10C】図10Cは、モザイク形式のメニューの構成方法を説明するための図である。
【図11】図11は、モザイク形式のメニュー領域の配置場所のバリエーションを示した図である。
【図12】図12は、モザイク形式のメニュー領域内でのメニュー選択操作によって、ストリーミング動画の再生を開始する様子を示した図である。
【図13A】図13Aは、再サイズ化されたストリーミング動画caを放送コンテンツの全画面動画cb上に重畳する位置をデータ放送アプリケーションにより設定する方法を説明するための図である。
【図13B】図13Bは、再サイズ化されたストリーミング動画caを放送コンテンツの全画面動画cb上に重畳する位置をデータ放送アプリケーションにより設定する方法を説明するための図である。
【図14】図14は、動画プレーン#1と動画プレーン#2の配置順序の入れ替えを行なう様子を示した図である。
【図15】図15は、ハイブリッド端末103の表示部220における画面遷移を示した図である。
【図16】図16は、データ放送アプリケーションの起動状態「Video,running app service」における画面遷移をより詳細に示した図である。
【図17】図17は、プロセッサー211がデータ放送アプリケーションを実行することにより実現される各機能ブロックを示した図である。
【発明を実施するための形態】
【0027】
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
【0028】
図1には、放送とネットワークを融合させたハイブリッド放送システム100の基本構成を模式的に示している。
【0029】
地球のはるか上空では、放送衛星101が周回している。放送コンテンツを配信する放送事業者や、データ放送アプリケーションを提供するアプリケーション・プロバイダーは、放送局102などのアップリンクから、放送番組本体となるAVコンテンツと、データ放送用データを、放送衛星101に送信する。放送衛星101は、受信したAVコンテンツ及びデータ放送用データを、地上に散在する受信局に向けて再送信する。
【0030】
但し、放送衛星101を用いた衛星波ではなく、放送衛星101を用いることなく地上波でAVコンテンツ及びデータ放送用データの配信を行なうようにしてもよい。また、受信局は、例えば各一般家庭内に設置されているテレビ受像機などの受信端末103である。受信端末103は、バックチャネルとして、インターネット104などのブロードバンド・ネットワークにも接続され、動画ストリーミングなどネットワーク・コンテンツを取得することもできる。放送コンテンツ及びネットワーク・コンテンツの双方を扱うことができる受信端末103のことを、以下では「ハイブリッド端末」とも呼ぶ。
【0031】
また、放送事業者やアプリケーション・プロバイダーは、AVコンテンツやデータ放送用データを、インターネット104などのブロードバンド・ネットワーク上に構築されたウェブ・サーバー105にアップロードすることもある。このような場合、ハイブリッド端末103は、AVコンテンツ並びにデータ放送用データを、放送波ではなく、インターネット104などのバックチャネル経由で取得(ダウンロード)することもできる。
【0032】
放送事業者やアプリケーション・プロバイダーは、例えば、放送コンテンツと関連するAVコンテンツをウェブ・サーバー105にアップロードしておくとともに、ウェブ・サーバー105内のAVコンテンツの所在を指すURL(Uniform Resource Locator)リンクを含んだデータ放送アプリケーションを放送信号又はインターネット104経由で配信する。これによって、放送事業者やアプリケーション・プロバイダーは、放送番組のデータ放送サービスを利用するユーザーが番組視聴に付随してアクセスするストリーミング動画を制御することができる。
【0033】
図2には、ハイブリッド端末103の内部構成例を示している。ハイブリッド端末103は、従来のテレビ受像機と同様に地上波ディジタル放送や衛星ディジタル放送を受信するとともに、インターネット104上の所定のサーバー105からネットワーク・コンテンツをダウンロードすることができる。
【0034】
ハイブリッド端末103は、放送コンテンツを処理するための系として、チューナー201と、復調器202と、デマルチプレクサー(DEMUX)203と、ブロードキャスト・デコーダー204を備えている。
【0035】
チューナー201は、アンテナやCATVケーブルなどを介して入力される放送信号から選局に対応する周波数成分を抽出し、復調器202は、抽出された放送信号を復調処理する。
【0036】
デマルチプレクサー203は、選局に対応する放送信号の周波数成分から、MPEG2トランスポート・ストリームなどの符号化されたAVデータと、データ放送用データの信号を分離する。
【0037】
ブロードキャスト・デコーダー204は、HE−AACやH.264などの方式で符号化されたAVデータをデコードして、音声信号と映像信号を再生する。再生された音声信号及び映像信号、並びに、デマルチプレクサー203で分離されたPSI(Program Specific Information)、AIT(Application Information Table)を含むデータ放送用データは、AV出力制御部210に供給される。
【0038】
また、ハイブリッド端末103は、ネットワーク・コンテンツを処理するための系として、データ通信部205と、ブロードバンド・デコーダー206を備えている。
【0039】
データ通信部205は、イーサネット(登録商標)・インターフェースなどで構成され、インターネット104などを介して所定のサーバー105に接続して、ネットワーク・コンテンツをダウンロードして、AV出力制御部210に供給する。ダウンロードしたネットワーク・コンテンツには、データ放送用データ並びにAVストリーミング・コンテンツが含まれている。
【0040】
ネットワーク経由で受信するAVストリーミング・データは、例えばASF、MOV、MP4などの形式である。ブロードバンド・デコーダー206は、IPオーディオ・デコーダー及びIPビデオ・デコーダーを備え、この種のAVストリーミング・データをデコードして、音声信号と映像信号を再生する。
【0041】
また、データ放送用データには、JPEGやPNG形式の静止画データやテキスト・データなどの各種メディア・データと、BML若しくはXML形式で記述されたデータ放送アプリケーションが含まれる。データ放送アプリケーションに例えばJava(登録商標)技術を適用することができるが、本明細書で開示する技術の要旨はこれに限定されるものではない。AV出力制御部210は、データ放送アプリケーションを解して、放送コンテンツやAVストリーミング・データなどの表示部22への画面表示の形態を制御する。
【0042】
AV出力制御部210は、プロセッサー211と、システム・メモリー212と、ビデオ・メモリー213を備えている。
【0043】
ビデオ・メモリー213には、ブロードキャスト・デコーダー204によって再生された映像信号をコピーする動画プレーン#1や、インターネット104経由でダウンロードしたAVストリーミング・データをコピーする動画プレーン#2、データ放送用データに含まれる静止画、図形・文字などをコピーする各グラフィック・プレーン、並びに、ビデオ・バッファーが含まれる(後述)。
【0044】
プロセッサー211は、システム・メモリー212にロードしたデータ放送アプリケーションを実行して、ビデオ・メモリー213内の上記の各プレーン・メモリーにコピーされたグラフィック・プレーンから、表示部220で表示する画面を組み立てる。図17には、プロセッサー211がデータ放送アプリケーションを実行することにより実現される各機能ブロックを示している。例えば、データ放送アプリケーションにJava(登録商標)技術が適用される場合には、各機能ブロックはクラス・ファイルに相当する。機能ブロックの詳細については後述に譲る。
【0045】
図3には、ビデオ・メモリー213上で構成されるグラフィック・プレーンのモデルを示している。図示の例では、後方(Backward)から前方(Forward)に向かう順番で、動画プレーン#1(Primary Video Plane)、動画プレーン#2(Secondary Video Plane)、静止画プレーン(Still−Picture Plane)、動画・静止画切替プレーン(Switching Plane)、図形・文字プレーン(Graphics Plane)、字幕プレーン(Subtitle Plane)の各プレーンが配置されている。
【0046】
上述したように、動画プレーン#1には受信放送の動画(ブロードキャスト・デコーダー204によって再生された映像信号)がコピーされ、動画プレーン#2にはインターネット104経由でダウンロードしたストリーミング動画がコピーされる。動画プレーン#1にコピーされる画像は、表示部220の表示画面全体の解像度(例えば、1920×1080画素)を持つ。一方、動画プレーン#2にコピーされる画像は、表示画面全体よりも低解像度(例えば、528×384画素(DCIF))をデフォルトの解像度とする。インターネット104経由でダウンロードしたストリーミング動画を動画プレーン#2にコピーする際、必要に応じて再サイズ化する。
【0047】
また、データ放送用データに含まれる静止画、動画・静止画切替、図形・文字、字幕は、それぞれ静止画プレーン、動画・静止画切替プレーン・図形・文字プレーン、字幕プレーンにコピーされる。
【0048】
プロセッサー211は、例えばデータ放送用アプリケーションを実行して、各プレーンを上記の順番で重畳して、画面を組み立てる処理を実現する。組み立てられた最終的なプレーンは、バック・バッファー(Back Buffer)に保持される。そして、表示部220に画面表示される画面はプライマリー・バッファー(Primary Buffer)に保持される。
【0049】
本実施形態では、プロセッサー211がデータ放送アプリケーションを実行することにより、上記の各プレーンの合成処理を行ない、表示部220で出力する画面の表示形態を制御するようになっている。以下では、データ放送アプリケーションによって実現される表示形態について説明する。
【0050】
図4には、動画プレーン同士を合成する基本処理を図解している。図示の例では、受信放送の動画(broadcast video)が全解像度で動画プレーン#1にコピーされる。これに対し、インターネット104経由で受信したストリーミング動画(broadband video)は、低解像度(DCIF)に再サイズ化してから、動画プレーン#2にコピーされる(前述)。重畳部は、動画プレーン#1にコピーされた動画cb上に動画プレーン#2にコピーされた動画caを、例えばPorter−Duffルールに従って重畳して、合成動画プレーン(Composite Video Plane:CVP)が生成される。合成動画プレーンは、動画cb内に動画caが埋め込まれた、ピクチャー・イン・ピクチャー(Picture in Picture:PiP)画像である。
【0051】
下式(1)には、重畳部で適用するプレーンの合成ルールを示している。前方の動画プレーン#2のアルファ・ブレンド値αaとして1が設定された、100%不透明な画素位置では、動画プレーン#2上にコピーされた動画caが合成動画プレーンCVPとなる。また、動画プレーン#2のアルファ・ブレンド値αaとして0が設定された、100%透明な画素位置では、動画プレーン#1上にコピーされた動画cbが合成動画プレーンCVPとなる。基本的には、動画プレーン#2にコピーされた動画サイズ内の画素位置のアルファ・ブレンド値αaを1とし、その外の画素位置のアルファ・ブレンド値αaを0とする。したがって、動画プレーン#2にコピーされた動画サイズ内の合成動画プレーンCVPの画素はca、その外の合成動画プレーンCVPの画僧cbとなる。
【0052】
【数1】
【0053】
図5には、合成動画プレーンCVP上にさらに静止画プレーンSPを合成する基本処理を図解している。合成動画プレーンCVPを生成する仕組みは上述と同様である。
【0054】
動画・静止画切替プレーンCPは、静止画プレーンSPをマスクする1ビットのマスクであり、画素値CPで静止画プレーンSPをマスクする画素位置を指定している。下式(2)に示すように、静止画プレーンSPをマスクする画素位置ではCPを0とし、静止画プレーンSPをマスクしない画素位置ではCPを1にする。
【0055】
【数2】
【0056】
動画・静止画合成部は、画素値CPに基づいて静止画プレーンSPの各画素をマスクし、合成動画プレーンCVPにマスクした後の静止画プレーンを例えばPorter−Duffルールに従って重畳し、動画・静止画の合成プレーン(Composition of Video and Still−Picture Plane:SVP)を生成する。図5に示す例では、すべての画素位置で画素値CPが0(黒)であり、静止画プレーンの全画素がマスクされるので、合成動画プレーンCVPがそのまま動画・静止画の合成プレーンSVPとして出力される。下式(3)には、動画・静止画合成部で適用する合成ルールを示している。CPが1すなわちマスクされない画素位置では、合成プレーンSVPは静止画プレーンSPの画素となる。また、CPが0すなわちマスクされる画素位置では、前方の静止画プレーンSPがマスクされる結果として、合成プレーンSVPはその後方の合成動画プレーンCVPの画素となる。
【0057】
【数3】
【0058】
また、図6には、動画プレーン同士を合成する代替処理を図解している。図示の例では、受信放送の動画(broadcast video)、及び、インターネット104経由で受信したストリーミング動画(broadband video)はいずれも、画面全体よりも低解像度でそれぞれ動画プレーン#1、動画プレーン#2にコピーされている。重畳部は、動画プレーン#1にコピーされた低解像度動画cb上に、動画プレーン#2にコピーされた低解像度の動画caを、例えばPorter−Duffルールに従って重畳して、合成動画プレーンCVPが生成される。
【0059】
また、図7には、合成動画プレーンCVP上にさらに静止画プレーンSPを合成する代替処理を図解している。図6に示したように、それぞれ低解像度に再サイズ化された2つの動画cb及びcaから合成動画プレーンCVPが生成される。また、動画・静止画切替プレーンCPは、低解像度に再サイズ化した動画ca及びcbの表示領域のみ、静止画プレーンSPをマスクしている。したがって、画素値CPに基づいて静止画プレーンSPの各画素をマスクすると、低解像度化した動画ca及びcbの表示領域が透明になるので、合成動画プレーンCVPにマスクした後の静止画プレーンを例えばPorter−Duffルールに従って重畳すると、図示のように、静止画プレーンSPのマスクされた枠から各動画ca及びcbが表示される動画・静止画の合成プレーンSVPが得られる。
【0060】
また、図8には、3次元信号からなる動画プレーンを合成する処理を図解している。受信放送の動画(broadcast video)、並びに、インターネット104経由で受信したストリーミング動画(broadband video)のうちいずれも3次元信号である可能性がある。但し、本実施形態に係るハイブリッド端末103は、ハードウェア上の制約から、一方の動画プレーンが3次元信号のときには、他方の動画プレーンの表示を停止するようになっている。図示の例では、インターネット104経由で受信したストリーミング動画すなわち動画プレーン#2にコピーされる動画caがサイド・バイ・サイド形式の3次元信号であり、動画プレーン#1にコピーされる動画cbの表示は停止される。したがって、合成動画プレーンCVPは動画プレーン#2上の3次元動画のままとなる。また、静止画プレーンSP及び動画・静止画切替プレーンCPはともにディセーブルされ、両プレーンの全画素が黒色に設定される。したがって、全解像度の3次元動画がSVPとして表示されることになる。
【0061】
図9には、同じ合成動画プレーン及び静止画プレーンに対し、適用する動画・静止画切替プレーンCPを変更したことにより動画・静止画の合成プレーンSVPが変わる例をいくつか示している。同図(a)では、一部の領域がマスクされない動画・静止画切替プレーンCPが使用されている。したがって、図示のように、動画・静止画切替プレーンでマスクされた領域では合成動画プレーンCVPが背景として表示され、マスクされない領域では静止画プレーンが最前面で表示された動画・静止画合成プレーンSVPとなる。また、同図(b)では、すべての領域をマスクする動画・静止画切替プレーン(すなわち、全画素が黒色のプレーン)CPが使用されている。したがって、図示のように、前面の静止画プレーンがすべてマスクされ、後方の合成動画プレーンCVPのみが表示された動画・静止画合成プレーンSVPとなる。他方、同図(c)では、すべての領域をマスクしない動画・静止画切替プレーン(すなわち、全画素が白色のプレーン)CPが使用されている。したがって、図示のように前面の静止画プレーンのみが表示され、後方の合成動画プレーンCVPが完全に覆い隠された動画・静止画合成プレーンSVPとなる。
【0062】
特許文献3に記載の技術では、ネットワーク・コンテンツのポータル画面を表示するためのHTML(Hyper Text Markup Language)を解するネットワーク用ブラウザーが起動して、ネットワーク・コンテンツの再生指示を入力するポータル画面が表示される。すなわち、特許文献3に記載の技術では、データ放送用ブラウザーとは独立した処理によりポータル画面の表示が行なわれるので、言い換えれば、放送コンテンツとネットワーク・コンテンツが融合することはない。
【0063】
これに対し、本明細書で開示する技術では、放送コンテンツ用の動画プレーン#1と、ストリーミング動画などのネットワーク・コンテンツ用の動画プレーン#2を含む、所定の配置順からなる複数のプレーンを有し(図3を参照のこと)、データ放送アプリケーションを用いて上記したようなプレーン同士の合成処理を行なうことができる。本実施形態では、当該技術を利用して、ネットワーク・コンテンツの再生指示を入力する画面を、放送コンテンツと融合した形態で提供するようにしている。
【0064】
図10Aには、ネットワーク・コンテンツの再生指示を入力する画面の一例として、モザイク形式のメニューの構成方法を図解している。
【0065】
動画プレーン#1には、受信した放送コンテンツの動画がコピーされる。一方、図形・文字プレーンには、画面の一部のユーザー・インターフェース領域にのみ、放送コンテンツとストリーミング動画の同時再生を指示するためのユーザー・インターフェースがコピーされる。このユーザー・インターフェースは、選択可能な複数のネットワーク・コンテンツの選択ボタンMNG1、MNG2、…が配列されたモザイク形式のメニューである。選択可能なネットワーク・コンテンツは、基本的には、インターネット104上のコンテンツ・サーバーなどから提供されるストリーミング動画である。
【0066】
各選択ボタンMNG1、MNG2、…は、該当するストリーミング動画の動画サムネイルである。動画サムネイルは、例えばPNG(Portable Network Graphics)イメージの集合からなるMNG(Multiple−image Network Graphics)ファイルで構成される。但し、選択ボタンは、動画である必要はなく、該当するストリーミング動画を象徴するような静止画であってもよい。データ放送アプリケーションは、さらに、複数のセルからなるグリッド(図10Bを参照のこと)を、上記の図形・文字プレーンにコピーする。グリッド内の各セルは、コンテンツ・サーバー上の該当するストリーミング動画の所在を示すURLリンクを持っている。なお、ネットワーク上のストリーミング動画であるとは限らず、例えばハイブリッド端末103のローカル・コンテンツであってもよく、この場合もセルがコンテンツの所在をURL形式で持っていればよい。そして、データ放送アプリケーションは、図3に示した配置順序に従ってすべてのプレーンを組み合わせて、ユーザー・インターフェースを備えたプレーンを得る。
【0067】
モザイク形式のメニューの他の構成方法として、データ放送アプリケーションにより、動画プレーン#2の表示領域をユーザー・インターフェース領域に限定し、そこにモザイク形式の各メニューを1つのストリーミング動画として組み合わせて、合成動画プレーンCVPを生成するようにしてもよい(図10Cを参照のこと)。
【0068】
この場合、データ放送アプリケーションは、さらに、複数のセルからなるグリッド(図10Bを参照のこと)を上記の合成動画プレーンCVPに付加する。グリッドの位置は、動画プレーン#2の限定された表示領域、すなわちモザイク形式のメニュー領域と一致し、各セルは動画サムネイルからなる各選択ボタンと一致する。例えば、データ放送アプリケーションは、図形・文字プレーンにグリッドをコピーすることで、合成動画プレーンCVPにこのようなグリッドを付加することができる。また、グリッド内の各セルは、コンテンツ・サーバー上の該当するストリーミング動画の所在を示すURLリンクを持っている。なお、ネットワーク上のストリーミング動画であるとは限らず、例えばハイブリッド端末103のローカル・コンテンツであってもよく、この場合もセルがコンテンツの所在をURL形式で持っていればよい。
【0069】
放送事業者やアプリケーション・プロバイダーは、例えば、放送コンテンツと関連するAVコンテンツをサーバー105にアップロードしておくとともに、ウェブ・サーバー105内のAVコンテンツの所在を指すURLリンクを含んだデータ放送アプリケーションを放送信号又はインターネット104経由で配信する。すると、モザイク形式のメニューの各選択ボタンは、放送事業者やアプリケーション・プロバイダーが仕込んだAVコンテンツへのURLリンクを含むことになる。したがって、放送事業者やアプリケーション・プロバイダーは、放送番組のデータ放送サービスを利用するユーザーが番組視聴と同時再生するストリーミング動画を何にすべきかをコントロールすることができる。
【0070】
図11には、モザイク形式のメニュー領域の配置場所のバリエーションを示している。図10では、プレーンの底部側縁(Bottom side)に沿って水平方向にセルを並べたグリッドからなるモザイク形式のメニュー領域を示した。その他、図11にも示すように、プレーンの左側縁(Left side)に沿って垂直方向にセルを並べたグリッドからなるモザイク形式のメニュー領域、プレーンの右側縁(Right side)に沿って垂直方向にセルを並べたグリッドからなるモザイク形式のメニュー領域、プレーンの上部側縁(Top side)に沿って水平方向にセルを並べたグリッドからなるモザイク形式のメニュー領域を挙げることができる。
【0071】
また、図12には、モザイク形式のメニュー領域内でのメニュー選択操作によって、ストリーミング動画の再生を開始する様子を示している。
【0072】
上述したように、モザイク形式のメニュー領域に重畳されたグリッド内の各セルは、コンテンツ・サーバー上の該当するストリーミング動画の所在を示すURLリンクを持っている。ハイブリッド端末103のユーザーは、例えばリモコン(図示しない)のカーソル・ボタンを用いてグリッド内でカーソルを移動させ、所望の動画サムネイルのセルに合わせることができる。図12左では、カーソルが合わせられたセルを太線の枠で示している。
【0073】
そして、ユーザーがリモコンの決定キーを押下するなどして、グリッド内のいずれか1つのセルを選択すると、データ放送アプリケーションは、選択したセルが持つURLリンクを用いて、関連するストリーミング動画の表示、すなわち放送コンテンツとの同時再生を開始する。
【0074】
上述したように、データ放送アプリケーションは、受信した放送コンテンツの映像を動画プレーン#1にコピーするとともに、インターネット104からダウンロードしたストリーミング動画を画面よりも低解像度に再サイズ化して動画プレーン#2にコピーする。そして、動画プレーン#1と動画プレーン#2を例えばPorter−Duffルールに従って重畳して(図4を参照のこと)、図12右に示すような合成動画プレーンCVPが表示される。
【0075】
インターネット104からダウンロードしたストリーミング動画caを合成動画プレーンCVP上で表示する位置(x,y)、すなわち、再サイズ化されたストリーミング動画caを放送コンテンツの全画面動画cb上に重畳する位置を、データ放送アプリケーションで設定することができる。
【0076】
データ放送アプリケーションがストリーミング動画caの表示位置(x,y)を明示的に設定しない場合には、図13Aに示すように、デフォルトの表示位置default(x,y)でストリーミング動画caが表示される。
【0077】
ユーザーは、例えばリモコンのカーソル・ボタンを用いて、ストリーミング動画caの新しい表示位置new(x,y)を指示することができる。データ放送アプリケーションがこの新しい表示位置new(x,y)を設定すると、図13Bに示すように、新しい表示位置new(x,y)でストリーミング動画caが表示される。
【0078】
また、データ放送アプリケーションは、動画プレーンを配置する順序の入れ替えを行なうこともできる。ユーザーは、例えばリモコンの緑ボタンを操作することで、動画プレーンの配置順序の入れ替えを指示する。図14には、動画プレーン#1と動画プレーン#2の配置順序の入れ替えを行なう様子を示している。配置順序の入れ替えの際、動画プレーン#2上のストリーミング動画を全解像度にするとともに、動画プレーン#1上の受信放送の動画を再サイズ化する。そして、動画プレーン#2にコピーされたストリーミング動画cb上に、動画プレーン#1にコピーされた受信放送の動画caを重畳して、合成動画プレーンCVPが生成される。
【0079】
図15には、ハイブリッド端末103の表示部220における画面遷移を図解している。
【0080】
通常の放送番組の受信中には、画面には受信した放送番組の動画のみが表示される「Only Video」状態である。ユーザーは、例えばリモコンのチャンネル・ボタンや+/−キーを操作することで、表示する放送番組が切り替わる。また、この状態では、受信信号にAITが含まれていないかどうかを検出する。AITは、データ放送アプリケーションの動作を制御するために記述された制御情報である。
【0081】
AITを検出すると、ハイブリッド端末103で受信したAITを処理した後、AITから得られたデータ放送アプリケーションの情報を表示する(display app info from AIT)。そして、勧誘アイコン(invite icon)を表示する放送番組の動画画面の状態「Video, displaying invite icon」に遷移する。
【0082】
ここで、ユーザーがデータ放送アプリケーションのダウンロードの開始を指示すると、アプリケーションのダウンロード実行をしながら放送番組を表示する画面状態「Video,app downloading」に遷移する。他方、ユーザーがデータ放送アプリケーションのダウンロードをキャンセルしたときには、受信した放送番組の動画のみが表示される「Only Video」状態に遷移する。そして、リモコンのチャンネル・ボタンや+/−キーを操作すると、元のチャンネルの表示画面に復帰する。
【0083】
アプリケーションのダウンロード実行をしながら放送番組を表示する画面状態「Video,app downloading」では、AITの記述に従ってデータ放送アプリケーションのダウンロードを行なう。例えば、AITでDSM−CC(Digital Storage Media−Command and Control)が示されていれば、ハイブリッド端末103は、放送信号からデータ放送アプリケーションをダウンロードする(Video,downloading from broadcast)。また、AITでHTTP(Hyper Text Transfer Protocol)が示されていれば、ハイブリッド端末103は、インターネット104などの通信ネットワーク経由でデータ放送アプリケーションをダウンロードする(Video,downloading from broadband)。
【0084】
そして、データ放送アプリケーションのダウンロードが終了すると、ハイブリッド端末103は、データ放送アプリケーションの起動状態「Video,running app service」に遷移する。
【0085】
また、データ放送アプリケーションのダウンロード中に、ユーザーからの指示などによりダウンロードをキャンセルしたときには、受信した放送番組の動画のみが表示される「Only Video」状態に遷移する。そして、リモコンのチャンネル・ボタンや+/−キーを操作すると、元のチャンネルの表示画面に復帰する。
【0086】
また、データ放送アプリケーションの起動状態「Video,running app service」で、ユーザーからの指示などによりアプリケーションを終了すると(close app)、受信した放送番組の動画のみが表示される「Only Video」状態に遷移する。そして、リモコンのチャンネル・ボタンや+/−キーを操作すると、元のチャンネルの表示画面に復帰する。
【0087】
図16には、データ放送アプリケーションの起動状態「Video,running app service」における画面遷移をより詳細に示している。同図中央が、データ放送アプリケーションのダウンロードを終了した直後の、初期の画面状態「Video,displaying app」であり、データ放送アプリケーションのユーザー・インターフェース(App UI)として、図10に示したようなモザイク形式のメニュー領域が画面に表示される。
【0088】
モザイク形式のメニュー領域は、このメニュー領域と同じサイズのグリッド内でセルを選択する操作により、メニューを選択して、所望のコンテンツのストリーミングを要求することができる(図12を参照のこと)。
【0089】
モザイク形式のメニュー領域を介して動画ストリーミングが要求されると(IP Video streaming requested)、図4に示したような、動画プレーン#1の放送番組の動画cbと動画プレーン#2のストリーミング動画caを重畳した合成動画プレーンCVPを表示する画面状態「Video,displaying IP streaming」に遷移する。ここで、データ放送アプリケーションのユーザー・インターフェースの表示が指示されると(Show App UI)、さらにモザイク形式のメニュー領域が表示された画面状態「Video,displaying IP streaming+app」に遷移する。そして、ユーザー・インターフェースの非表示が指示されると(hide App UI)、モザイク形式のメニュー領域が隠れ、上記の画面状態「Video,displaying IP streaming」に復帰する。また、モザイク形式のメニュー領域を介して動画ストリーミングの終了が指示されると(close IP streaming)、初期の画面状態「Video displaying app」に復帰する。
【0090】
モザイク形式のメニュー領域を介して音楽ストリーミングが要求されると(IP audio streaming requested)、動画プレーン#1の放送番組の動画cbの表示と音楽ストリーミングを同時に行なう画面状態「Video,IP audio streaming」に遷移する。ここで、データ放送アプリケーションのユーザー・インターフェースの表示が指示されると(Show App UI)、さらにモザイク形式のメニュー領域が表示された画面状態「Video,IP A.streaming+app」に遷移する。そして、ユーザー・インターフェースの非表示が指示されると(hide App UI)、モザイク形式のメニュー領域が隠れ、上記の画面状態「Video,IP audio streaming」に復帰する。また、モザイク形式のメニュー領域を介して音楽ストリーミングの終了が指示されると(close IP audio)、初期の画面状態「Video,displaying app」に復帰する。
【0091】
モザイク形式のメニュー領域を介して3次元信号の動画ストリーミングが要求されると(IP 3D SbS video streaming requested)、図8に示したような、動画プレーン#2の3次元ストリーミング動画caを重畳した合成動画プレーンを表示する状態「Displaying IP 3D streaming」に遷移する。本実施形態に係るハイブリッド端末103は、ハードウェア上の制約から、3次元動画を表示するときには他の動画プレーンの表示を停止するようになっている(前述)。
【0092】
合成動画プレーンCVPを表示する画面状態「Video,displaying IP streaming」で動画ストリーミングの終了が指示されたとき(close IP streaming)、動画プレーン#1の放送番組の動画cbの表示と音楽ストリーミングを同時に行なう画面状態「Video,IP audio streaming」で音楽ストリーミングの終了が指示されたとき(close IP audio streaming)、並びに、3次元ストリーミング動画を表示する画面状態「Displaying IP 3D streaming」で3次元動画ストリーミングの終了が指示されたときには(close IP 3D video)、アプリケーションのユーザー・インターフェース(モザイク形式のメニュー領域)が隠れた画面状態「Only Video,app hiden」に遷移する。ここで、データ放送アプリケーションのユーザー・インターフェースの表示が指示されると(Show App UI)、初期の画面状態「Video,displaying app」に復帰する。また、初期の画面状態「Video,displaying app」でユーザー・インターフェースの非表示が指示されると(hide App UI)、画面状態「Only Video,app hiden」に遷移する。
【0093】
図17には、プロセッサー211が処理を実行することにより実現される各機能ブロックを示している。例えばJava(登録商標)技術が適用される場合には、各機能ブロックはクラス・ファイルに相当する。以下では、図15並びに図16に示した画面制御に関連のある機能を中心に、各機能ブロックで行なわれる処理について説明する。
【0094】
Process TSは、放送事業者(Broadcaster)から配信されるMPEG2トランスポート・ストリームの受信処理を行なう。Process TSは、チャンネル選局が行なわれる度にトランスポート・ストリームの受信処理を行なう。また、Process TSは、トランスポート・ストリームから分離されたデータ放送用データから、AITの検出処理を行なう。
【0095】
Decode A/Vは、トランスポート・ストリームから分離されたAVデータを、デコーダー204を用いて復号処理する。
【0096】
Decode AITは、Process TSによって検出されたAITのデコード処理を行なう。Download Appは、データ放送アプリケーションのダウンロードが指示されたときに、デコードされたAITの記述に従ってダウンロード処理を行なう。AITでDSM−CCが示されていれば、Download Appは、放送信号からデータ放送アプリケーションをダウンロードする。また、AITでHTTPが示されていれば、Download Appは、アプリケーション・サーバーからインターネット104経由でデータ放送アプリケーションをダウンロードする。
【0097】
Download Appがデータ放送アプリケーションのダウンロードを完了すると、Run Appは、このデータ放送アプリケーションを実行する。この結果、ハイブリッド端末103は、データ放送アプリケーションの起動状態「Video,running app service」(前述、並びに図15を参照のこと)に遷移する。
【0098】
Display Appは、モザイク形式のメニュー領域などの、データ放送アプリケーションのユーザー・インターフェースの表示/非表示を行なう。例えば、画面状態「Video,displaying IP streaming」、「Video,IP audio streaming」、「Only Video,app hiden」で、Display Appは、ユーザー・インターフェースの表示(show App UI)並びに非表示(hide App UI)を行なう。
【0099】
Select Videoは、初期の画面状態「Video,displaying app」(図16を参照のこと)で、ユーザー・インターフェースに対するユーザーの操作に従って、動画を選択する処理を行なう。Request A/V Streamingは、Select Videoによって選択された動画のストリーミングを該当するコンテンツ・サーバー(Media Server)に要求する。Buffer A/V Streamingは、Request A/V Streamingが受信する動画ストリームをバッファリングする。Decode A/V Streamingは、バッファーされた動画ストリームを、ブロードバンド・デコーダー206を用いてデコードする。
【0100】
Enable PiP presentationは、図4などに示した、動画内に動画を表示するピクチャー・イン・ピクチャー画像の生成処理を可能にする。また、Choose the PiP orderは、ユーザーからの指示などに従って、ピクチャー・イン・ピクチャー画像内の画像の配置順序を選択する。例えば、図14に示したように、動画プレーン#1と動画プレーン#2の配置順序の入れ替えを行なう。そして、Display PiPは、受信放送の動画とダウンロードしたストリーム動画のピクチャー・イン・ピクチャー画像表示を行なう。
【0101】
但し、Select Videoで選択された動画ストリームが3次元信号の場合には、Display 3Dが3次元動画ストリームの表示を行なうとともに、Stop Broadcast videoが受信ストリームの表示を停止する。また、受信放送の動画ストリームが3次元信号の場合には、ダウンロードした動画ストリームの表示を停止する。一方の動画ストリームが3次元信号のときにピクチャー・イン・ピクチャー画像表示しないのは、ハイブリッド端末103のハードウェア上の制約に依拠する(同上)。
【0102】
Choose the audio sourceは、音楽ソースの選択を行なう。例えば、モザイク形式のメニュー領域を介して音楽ストリーミングが要求されたときには、要求された音楽ストリームを音楽ソースに選択して音響出力する。また、放送番組の動画cbの表示と音楽ストリーミングを行なう画面状態「Video,IP audio streaming」で、音楽ストリーミングの終了が指示されると(close IP audio)、放送番組を音楽ソースに選択して音響出力する。
【0103】
なお、有料の動画サイト(Storefront)から動画ストリームを購入するときには、Check authorizationがStorefrontに対して認証処理を行なう。そして、Request content listがStorefrontに対して、利用可能なコンテンツのリストを要求し、Display Video Listがリストを表示する。
【0104】
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)放送信号を受信する放送受信部と、ネットワーク経由で情報を送受信するネットワーク通信部と、前記放送受信部で受信した情報をコピーする第1のプレーン及び前記ネットワーク通信部で受信した情報をコピーする第2のプレーンを含むビデオ・メモリーと、前記ビデオ・メモリー内の情報を表示する表示部と、
前記ビデオ・メモリー内の各プレーンにコピーされた情報の前記表示部への表示出力を制御する制御部を具備し、前記制御部は、前記放送受信部又は前記ネットワーク通信部で受信したデータ放送アプリケーションを実行して、前記ビデオ・メモリー内の前記第1のプレーン及び第2のプレーンを含む複数のプレーンを合成処理して前記表示部に表示させる、受信装置。
(2)前記ビデオ・メモリー内では、後方から前方に向かって前記第1のプレーン、前記第2のプレーンの順序で配置され、さらに前記第2のプレーンの前方に他の複数のプレーンが所定の順序で配置されており、前記制御部は、前記データ放送アプリケーションを実行して実現する処理として、前記の配置された順序に従って各プレーンの合成処理を行なう、上記(1)に記載の受信装置。
(3)前記制御部は、前記データ放送アプリケーションを実行して実現する処理として、前記放送受信部で受信した放送コンテンツを前記第1のプレーンにコピーするとともに、前記ネットワーク通信部で受信したネットワーク・コンテンツを前記放送コンテンツと同時再生することを指示するためのユーザー・インターフェースを前記第2のプレーンにコピーし、前記第1のプレーンと前記第2のプレーンを合成して、前記放送コンテンツに前記ユーザー・インターフェースを重畳したプレーンを生成する、上記(2)に記載の受信装置。
(4)前記放送コンテンツと同時再生するネットワーク・コンテンツはストリーミング動画であり、前記ユーザー・インターフェースは、同時再生することが可能な複数のストリーミング動画の各々の動画サムネイルからなる選択ボタンを配置したメニューである、上記(3)に記載の受信装置。
(5)前記放送コンテンツと同時再生することが可能なネットワーク・コンテンツは、前記データ放送アプリケーションで所在場所が指定されており、前記ユーザー・インターフェースは、同時再生することが可能な各ネットワークの所在場所へのリンクを含んだ選択ボタンを配置したメニューであり、前記制御部は、いずれかの選択ボタンが選択されたことに応答して、選択ボタンに含まれるリンクに従って前記ネットワーク通信部で受信するネットワーク・コンテンツを前記第2のプレーンにコピーし、前記第1のプレーンと前記第2のプレーンを合成して、前記放送コンテンツと前記ネットワーク・コンテンツを同時再生させる、上記(3)に記載の受信装置。
(6)コンピューターがデータ放送アプリケーションを実行して具現化される第1のコピー手段が、放送信号として受信した情報をビデオ・メモリー内の第1のプレーンにコピーする第1のコピー・ステップと、前記コンピューターが前記データ放送アプリケーションを実行して具現化される第2のコピー手段が、ネットワーク経由で受信した情報を前記ビデオ・メモリー内の第2のプレーンにコピーする第2のコピー・ステップと、前記コンピューターが前記データ放送アプリケーションを実行して具現化される合成手段が、前記ビデオ・メモリー内の前記第1のプレーン及び第2のプレーンを含む複数のプレーンを合成処理する合成ステップと、前記コンピューターが前記データ放送アプリケーションを実行して具現化される表示手段が、前記合成ステップで生成された合成プレーンを表示出力する出力ステップと、を有する表示制御方法。
(7)放送コンテンツとデータ放送の組み合わせからなるデータ放送サービスを提供する放送局と、ネットワーク・コンテンツを提供するサーバーと、放送局から配信される放送信号を受信するとともに、ネットワーク経由で情報を送受信するハイブリッド端末からなり、前記ハイブリッド端末は、放送信号として受信した情報をコピーする第1のプレーン及び前記サーバーから受信した情報をコピーする第2のプレーンを含むビデオ・メモリーと、前記ビデオ・メモリー内の情報を表示する表示部を備え、前記放送局又は前記サーバーから受信したデータ放送アプリケーションを実行して、前記ビデオ・メモリー内の前記第1のプレーン及び第2のプレーンを含む複数のプレーンを合成処理して前記表示部に表示させる、放送システム。
(8)放送信号として受信した情報をビデオ・メモリー内の第1のプレーンにコピーする第1のコピー手段、ネットワーク経由で受信した情報を前記ビデオ・メモリー内の第2のプレーンにコピーする第2のコピー手段、前記ビデオ・メモリー内の前記第1のプレーン及び第2のプレーンを含む複数のプレーンを合成処理する合成手段、前記合成手段により生成された合成プレーンを表示出力する出力手段、としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
【産業上の利用可能性】
【0105】
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【0106】
本明細書で開示する技術は、例えばJava(登録商標)技術を適用して実現することができるが、本明細書で開示する技術の要旨はこれに限定されるものではない。また、放送信号として配信されるAVコンテンツ、ネットワーク経由で伝送されるAVコンテンツ、データ放送用データなどは特定のファイル形式に限定されない。
【0107】
要するに、本明細書で開示する技術を例示という形態で開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【符号の説明】
【0108】
100…ハイブリッド放送システム
101…放送衛星
102…放送局
103…受信端末(ハイブリッド端末)
104…インターネット(ブロードバンド・ネットワーク)
105…サーバー
201…チューナー
202…復調器
203…デマルチプレクサー
204…ブロードキャスト・デコーダー
205…データ通信部
206…ブロードバンド・デコーダー
210…AV出力制御部
211…プロセッサー
212…システム・メモリー
213…ビデオ・メモリー
【技術分野】
【0001】
本明細書で開示する技術は、放送信号を受信して放送コンテンツを表示する受信装置、表示制御方法、放送システム、並びにコンピューター・プログラムに係り、特に、放送信号から得た放送コンテンツとネットワーク経由で取得したネットワーク・コンテンツを複合して同期再生する受信装置、表示制御方法、放送システム、並びにコンピューター・プログラムに関する。
【背景技術】
【0002】
現在、世界の各国において、地上波、衛星波、ケーブルなどの放送システムにおいて、ディジタル化への移行が進められている。ディジタル信号はアナログ信号よりも安定性に優れ、データ圧縮率も高いことから、ディジタル放送によれば、一定の帯域でアナログ信号よりも多くのチャンネルを確保することができる。また、ディジタル放送では、併せてデータ放送を送信することで、他のサービスと組み合わせたハイブリッドな放送サービスを実現することができる。
【0003】
例えば、日本国内で2000年に開始されたISDB(Integrated Services Digital Broadcasting)方式のディジタル放送は、データ放送も特徴の1つであり、各放送事業者などから、放送番組本体を構成する映像と音声のデータ(AVデータ)の他に、放送番組に付随するディジタル伝送データ(以下、「データ放送用データ」とも呼ぶ)が並行して配信されている。より具体的には、MPEG(Moving Picture Expert Group)2など所定の圧縮方式で圧縮されたAVデータと、BML(Broadcast Markup Language)などの符号化方式によるデータ放送用データとを多重化して構成されたトランスポート・ストリームの形式で、放送信号が配信される。BMLは、XML(eXtensible Markup Language)を基に策定され、マルチメディア・データの配置位置の指定機能や、Java(登録商標)スクリプトの標準規格であるECMAスクリプトによるスクリプト実行機能、DOM(Document Object Model)によるXMLの操作機能などを備えている。
【0004】
TVにおけるデータ放送は、例えば、テレビジョン番組(以下、「放送コンテンツ」とも呼ぶ)を視聴しているユーザーが、リモコンに設けられたd(データ連動)ボタンを操作することに対応して表示される。具体的には、TVの画面の状態が放送コンテンツ全画面表示であるときにdボタンが操作されると、BML形式で記述されたデータ放送用データを解するデータ放送用ブラウザーが起動して、画面の状態がデータ放送表示に遷移する。
【0005】
データ放送用データは、例えば、静止画、動画、音声、図形・文字などのメディア・データと、これらのデータを統合して表現形式や動作を制御するデータ放送アプリケーションなどからなる。ユーザー(ディジタル放送の視聴者)は、例えばリモコンのカーソル・キー、決定キー、色ボタン、数字ボタンなどを用いて、データ放送表示画面上で各メディア・データの動作を指示することができる。放送事業者などは、データ放送アプリケーションにより、放送番組本体に関連したデータ放送サービスを実現することができる。
【0006】
データ放送アプリケーションに例えばJava(登録商標)技術を適用することができる。この場合、データ放送アプリケーションは、Java(登録商標)仮想マシン上で動作するバイトコードであるクラス・ファイルからなる。受信機(例えば、テレビ受像機)内のJav(登録商標)a仮想マシンは、受信したクラス・ファイルを実行することによって、視聴者にデータ放送サービスが提供される。1つのJava(登録商標)データ放送サービスを実行するために必要なクラス・ファイルは複数あり、そのすべてが揃うまではJava(登録商標)データ放送サービスを実行することができない。また、あるJav(登録商標)aデータ放送サービスを一度実行すると、そのとき利用したクラス・ファイルを受信機内に蓄積しておき、以降同様のJava(登録商標)データ放送サービスでも利用することが可能である。例えば、ユーザーが指定した放送サービスを実行するために必須の必須プログラム・ファイルのうち不足しているものを、選択した取得経路を介して取得するプログラム・ファイル取得装置について提案がなされている(例えば、特許文献1を参照のこと)。
【0007】
他方、通信ネットワークのブロードバンド化により、動画などの大容量データをインターネット経由で伝送することが可能となってきている。例えば、インターネットを介して、映画などのコンテンツ(以下、「ネットワーク・コンテンツ」とも呼ぶ)をダウンロードして蓄積し、任意のタイミングで再生できる情報処理装置(例えば、特許文献2を参照のこと)や、さらには放送コンテンツの表示状態と、ネットワーク・コンテンツの表示状態とをシームレスに遷移する受信装置(例えば、特許文献3を参照のこと)について提案がなされている。
【0008】
後者の受信装置によれば、データ放送表示と擬似データ放送表示の両方を表示可能な(すなわち、BML及びHTMLを解することができる)共用ブラウザーを事前に起動し、これを表示又は非表示のいずれかに制御するようにすることで、放送コンテンツ・モードにおけるデータ放送表示と、ネットワーク・コンテンツ・モードにおける擬似データ放送表示間を相互にシームレスに直接遷移することができる。
【0009】
しかしながら、この受信装置は、放送コンテンツとネットワーク・コンテンツの統合処理を行なうといっても、HTMLを解することよってネットワーク・コンテンツの表示を行なうことは旧来と変わるものでない。すなわち、この受信装置は、BMLを解すること、すなわちデータ放送サービスとしてネットワーク・コンテンツの表示を行なうものではない。言い換えれば、放送事業者などは、放送コンテンツとネットワーク・コンテンツとを複合させたハイブリッドな放送サービスを、データ放送によって提供することはできない。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】特開2010−166339号公報
【特許文献2】特開2008−109606号公報
【特許文献3】特開2009−296126号公報
【発明の概要】
【発明が解決しようとする課題】
【0011】
本明細書で開示する技術の目的は、放送信号から得た放送コンテンツとネットワーク経由で取得したネットワーク・コンテンツを複合して好適に同期再生することができる、優れた受信装置、表示制御方法、放送システム、並びにコンピューター・プログラムを提供することにある。
【0012】
本明細書で開示する技術のさらなる目的は、データ放送サービスにより放送コンテンツとネットワーク・コンテンツを複合して好適に同期再生することができる、優れた受信装置、表示制御方法、放送システム、並びにコンピューター・プログラムを提供することにある。
【課題を解決するための手段】
【0013】
本願は、上記課題を参酌してなされたものであり、請求項1に記載の技術は、
放送信号を受信する放送受信部と、
ネットワーク経由で情報を送受信するネットワーク通信部と、
前記放送受信部で受信した情報をコピーする第1のプレーン及び前記ネットワーク通信部で受信した情報をコピーする第2のプレーンを含むビデオ・メモリーと、
前記ビデオ・メモリー内の情報を表示する表示部と、
前記ビデオ・メモリー内の各プレーンにコピーされた情報の前記表示部への表示出力を制御する制御部を具備し、
前記制御部は、前記放送受信部又は前記ネットワーク通信部で受信したデータ放送アプリケーションを実行して、前記ビデオ・メモリー内の前記第1のプレーン及び第2のプレーンを含む複数のプレーンを合成処理して前記表示部に表示させる、
受信装置である。
【0014】
本願の請求項2に記載の技術によれば、請求項1に記載の受信装置の前記ビデオ・メモリー内では、後方から前方に向かって前記第1のプレーン、前記第2のプレーンの順序で配置され、さらに前記第2のプレーンの前方に他の複数のプレーンが所定の順序で配置されている。そして、前記制御部は、前記データ放送アプリケーションを実行して実現する処理として、前記の配置された順序に従って各プレーンの合成処理を行なうように構成されている。
【0015】
本願の請求項3に記載の技術によれば、請求項2に記載の受信装置の前記制御部は、前記データ放送アプリケーションを実行して実現する処理として、前記放送受信部で受信した放送コンテンツを前記第1のプレーンにコピーするとともに、前記ネットワーク通信部で受信したネットワーク・コンテンツを前記放送コンテンツと同時再生することを指示するためのユーザー・インターフェースを前記第2のプレーンにコピーし、前記第1のプレーンと前記第2のプレーンを合成して、前記放送コンテンツに前記ユーザー・インターフェースを重畳したプレーンを生成するように構成されている。
【0016】
本願の請求項4に記載の技術によれば、請求項3に記載の受信装置において、前記放送コンテンツと同時再生するネットワーク・コンテンツはストリーミング動画である。また、前記ユーザー・インターフェースは、同時再生することが可能な複数のストリーミング動画の各々の動画サムネイルからなる選択ボタンを配置したメニューである。
【0017】
本願の請求項5に記載の技術によれば、請求項3に記載の受信装置において、前記放送コンテンツと同時再生することが可能なネットワーク・コンテンツは、前記データ放送アプリケーションで所在場所が指定されており、また、前記ユーザー・インターフェースは、同時再生することが可能な各ネットワークの所在場所へのリンクを含んだ選択ボタンを配置したメニューである。そして、前記制御部は、いずれかの選択ボタンが選択されたことに応答して、選択ボタンに含まれるリンクに従って前記ネットワーク通信部で受信するネットワーク・コンテンツを前記第2のプレーンにコピーし、前記第1のプレーンと前記第2のプレーンを合成して、前記放送コンテンツと前記ネットワーク・コンテンツを同時再生させるように構成されている。
【0018】
また、本願の請求項6に記載の技術は、
コンピューターがデータ放送アプリケーションを実行して具現化される第1のコピー手段が、放送信号として受信した情報をビデオ・メモリー内の第1のプレーンにコピーする第1のコピー・ステップと、
前記コンピューターが前記データ放送アプリケーションを実行して具現化される第2のコピー手段が、ネットワーク経由で受信した情報を前記ビデオ・メモリー内の第2のプレーンにコピーする第2のコピー・ステップと、
前記コンピューターが前記データ放送アプリケーションを実行して具現化される合成手段が、前記ビデオ・メモリー内の前記第1のプレーン及び第2のプレーンを含む複数のプレーンを合成処理する合成ステップと、
前記コンピューターが前記データ放送アプリケーションを実行して具現化される表示手段が、前記合成ステップで生成された合成プレーンを表示出力する出力ステップと、
を有する表示制御方法である。
【0019】
また、本願の請求項7に記載の技術は、
放送コンテンツとデータ放送の組み合わせからなるデータ放送サービスを提供する放送局と、
ネットワーク・コンテンツを提供するサーバーと、
放送局から配信される放送信号を受信するとともに、ネットワーク経由で情報を送受信するハイブリッド端末からなり、
前記ハイブリッド端末は、放送信号として受信した情報をコピーする第1のプレーン及び前記サーバーから受信した情報をコピーする第2のプレーンを含むビデオ・メモリーと、前記ビデオ・メモリー内の情報を表示する表示部を備え、前記放送局又は前記サーバーから受信したデータ放送アプリケーションを実行して、前記ビデオ・メモリー内の前記第1のプレーン及び第2のプレーンを含む複数のプレーンを合成処理して前記表示部に表示させる、
放送システムである。
【0020】
但し、ここで言う「システム」とは、複数の装置(又は特定の機能を実現する機能モジュール)が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。
【0021】
また、本願の請求項8に記載の技術は、
放送信号として受信した情報をビデオ・メモリー内の第1のプレーンにコピーする第1のコピー手段、
ネットワーク経由で受信した情報を前記ビデオ・メモリー内の第2のプレーンにコピーする第2のコピー手段、
前記ビデオ・メモリー内の前記第1のプレーン及び第2のプレーンを含む複数のプレーンを合成処理する合成手段、
前記合成手段により生成された合成プレーンを表示出力する出力手段、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラムである。
【0022】
本願の請求項8に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項8に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項1に係る受信装置と同様の作用効果を得ることができる。
【発明の効果】
【0023】
本明細書で開示する技術によれば、送信号から得た放送コンテンツとネットワーク経由で取得したネットワーク・コンテンツを複合して好適に同期再生することができる、優れた受信装置、表示制御方法、放送システム、並びにコンピューター・プログラムを提供することができる。
【0024】
また、本明細書で開示する技術によれば、データ放送サービスにより放送コンテンツとネットワーク・コンテンツを複合して好適に同期再生することができる、優れた受信装置、表示制御方法、放送システム、並びにコンピューター・プログラムを提供することができる。
【0025】
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【0026】
【図1】図1は、放送とネットワークを融合させたハイブリッド放送システム100の基本構成を模式的に示した図である。
【図2】図2は、ハイブリッド端末103の内部構成例を示した図である。
【図3】図3は、ビデオ・メモリー213上で構成されるグラフィック・プレーンのモデルを示した図である。
【図4】図4は、動画プレーン同士を合成する基本処理を説明するための図である。
【図5】図5は、合成動画プレーンCVP上にさらに静止画プレーンを合成する基本処理を説明するための図である。
【図6】図6は、動画プレーン同士を合成する代替処理を説明するための図である。
【図7】図7は、合成動画プレーンCVP上にさらに静止画プレーンを合成する代替処理を説明するための図である。
【図8】図8は、3次元信号からなる動画プレーンを合成する処理を説明するための図である。
【図9】図9は、適用する動画・静止画切替プレーンCPを変更したことにより動画・静止画の合成プレーンSVPが変わる例を示した図である。
【図10A】図10Aは、モザイク形式のメニューの構成方法を説明するための図である。
【図10B】図10Bは、モザイク形式のメニューの構成方法を説明するための図である。
【図10C】図10Cは、モザイク形式のメニューの構成方法を説明するための図である。
【図11】図11は、モザイク形式のメニュー領域の配置場所のバリエーションを示した図である。
【図12】図12は、モザイク形式のメニュー領域内でのメニュー選択操作によって、ストリーミング動画の再生を開始する様子を示した図である。
【図13A】図13Aは、再サイズ化されたストリーミング動画caを放送コンテンツの全画面動画cb上に重畳する位置をデータ放送アプリケーションにより設定する方法を説明するための図である。
【図13B】図13Bは、再サイズ化されたストリーミング動画caを放送コンテンツの全画面動画cb上に重畳する位置をデータ放送アプリケーションにより設定する方法を説明するための図である。
【図14】図14は、動画プレーン#1と動画プレーン#2の配置順序の入れ替えを行なう様子を示した図である。
【図15】図15は、ハイブリッド端末103の表示部220における画面遷移を示した図である。
【図16】図16は、データ放送アプリケーションの起動状態「Video,running app service」における画面遷移をより詳細に示した図である。
【図17】図17は、プロセッサー211がデータ放送アプリケーションを実行することにより実現される各機能ブロックを示した図である。
【発明を実施するための形態】
【0027】
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
【0028】
図1には、放送とネットワークを融合させたハイブリッド放送システム100の基本構成を模式的に示している。
【0029】
地球のはるか上空では、放送衛星101が周回している。放送コンテンツを配信する放送事業者や、データ放送アプリケーションを提供するアプリケーション・プロバイダーは、放送局102などのアップリンクから、放送番組本体となるAVコンテンツと、データ放送用データを、放送衛星101に送信する。放送衛星101は、受信したAVコンテンツ及びデータ放送用データを、地上に散在する受信局に向けて再送信する。
【0030】
但し、放送衛星101を用いた衛星波ではなく、放送衛星101を用いることなく地上波でAVコンテンツ及びデータ放送用データの配信を行なうようにしてもよい。また、受信局は、例えば各一般家庭内に設置されているテレビ受像機などの受信端末103である。受信端末103は、バックチャネルとして、インターネット104などのブロードバンド・ネットワークにも接続され、動画ストリーミングなどネットワーク・コンテンツを取得することもできる。放送コンテンツ及びネットワーク・コンテンツの双方を扱うことができる受信端末103のことを、以下では「ハイブリッド端末」とも呼ぶ。
【0031】
また、放送事業者やアプリケーション・プロバイダーは、AVコンテンツやデータ放送用データを、インターネット104などのブロードバンド・ネットワーク上に構築されたウェブ・サーバー105にアップロードすることもある。このような場合、ハイブリッド端末103は、AVコンテンツ並びにデータ放送用データを、放送波ではなく、インターネット104などのバックチャネル経由で取得(ダウンロード)することもできる。
【0032】
放送事業者やアプリケーション・プロバイダーは、例えば、放送コンテンツと関連するAVコンテンツをウェブ・サーバー105にアップロードしておくとともに、ウェブ・サーバー105内のAVコンテンツの所在を指すURL(Uniform Resource Locator)リンクを含んだデータ放送アプリケーションを放送信号又はインターネット104経由で配信する。これによって、放送事業者やアプリケーション・プロバイダーは、放送番組のデータ放送サービスを利用するユーザーが番組視聴に付随してアクセスするストリーミング動画を制御することができる。
【0033】
図2には、ハイブリッド端末103の内部構成例を示している。ハイブリッド端末103は、従来のテレビ受像機と同様に地上波ディジタル放送や衛星ディジタル放送を受信するとともに、インターネット104上の所定のサーバー105からネットワーク・コンテンツをダウンロードすることができる。
【0034】
ハイブリッド端末103は、放送コンテンツを処理するための系として、チューナー201と、復調器202と、デマルチプレクサー(DEMUX)203と、ブロードキャスト・デコーダー204を備えている。
【0035】
チューナー201は、アンテナやCATVケーブルなどを介して入力される放送信号から選局に対応する周波数成分を抽出し、復調器202は、抽出された放送信号を復調処理する。
【0036】
デマルチプレクサー203は、選局に対応する放送信号の周波数成分から、MPEG2トランスポート・ストリームなどの符号化されたAVデータと、データ放送用データの信号を分離する。
【0037】
ブロードキャスト・デコーダー204は、HE−AACやH.264などの方式で符号化されたAVデータをデコードして、音声信号と映像信号を再生する。再生された音声信号及び映像信号、並びに、デマルチプレクサー203で分離されたPSI(Program Specific Information)、AIT(Application Information Table)を含むデータ放送用データは、AV出力制御部210に供給される。
【0038】
また、ハイブリッド端末103は、ネットワーク・コンテンツを処理するための系として、データ通信部205と、ブロードバンド・デコーダー206を備えている。
【0039】
データ通信部205は、イーサネット(登録商標)・インターフェースなどで構成され、インターネット104などを介して所定のサーバー105に接続して、ネットワーク・コンテンツをダウンロードして、AV出力制御部210に供給する。ダウンロードしたネットワーク・コンテンツには、データ放送用データ並びにAVストリーミング・コンテンツが含まれている。
【0040】
ネットワーク経由で受信するAVストリーミング・データは、例えばASF、MOV、MP4などの形式である。ブロードバンド・デコーダー206は、IPオーディオ・デコーダー及びIPビデオ・デコーダーを備え、この種のAVストリーミング・データをデコードして、音声信号と映像信号を再生する。
【0041】
また、データ放送用データには、JPEGやPNG形式の静止画データやテキスト・データなどの各種メディア・データと、BML若しくはXML形式で記述されたデータ放送アプリケーションが含まれる。データ放送アプリケーションに例えばJava(登録商標)技術を適用することができるが、本明細書で開示する技術の要旨はこれに限定されるものではない。AV出力制御部210は、データ放送アプリケーションを解して、放送コンテンツやAVストリーミング・データなどの表示部22への画面表示の形態を制御する。
【0042】
AV出力制御部210は、プロセッサー211と、システム・メモリー212と、ビデオ・メモリー213を備えている。
【0043】
ビデオ・メモリー213には、ブロードキャスト・デコーダー204によって再生された映像信号をコピーする動画プレーン#1や、インターネット104経由でダウンロードしたAVストリーミング・データをコピーする動画プレーン#2、データ放送用データに含まれる静止画、図形・文字などをコピーする各グラフィック・プレーン、並びに、ビデオ・バッファーが含まれる(後述)。
【0044】
プロセッサー211は、システム・メモリー212にロードしたデータ放送アプリケーションを実行して、ビデオ・メモリー213内の上記の各プレーン・メモリーにコピーされたグラフィック・プレーンから、表示部220で表示する画面を組み立てる。図17には、プロセッサー211がデータ放送アプリケーションを実行することにより実現される各機能ブロックを示している。例えば、データ放送アプリケーションにJava(登録商標)技術が適用される場合には、各機能ブロックはクラス・ファイルに相当する。機能ブロックの詳細については後述に譲る。
【0045】
図3には、ビデオ・メモリー213上で構成されるグラフィック・プレーンのモデルを示している。図示の例では、後方(Backward)から前方(Forward)に向かう順番で、動画プレーン#1(Primary Video Plane)、動画プレーン#2(Secondary Video Plane)、静止画プレーン(Still−Picture Plane)、動画・静止画切替プレーン(Switching Plane)、図形・文字プレーン(Graphics Plane)、字幕プレーン(Subtitle Plane)の各プレーンが配置されている。
【0046】
上述したように、動画プレーン#1には受信放送の動画(ブロードキャスト・デコーダー204によって再生された映像信号)がコピーされ、動画プレーン#2にはインターネット104経由でダウンロードしたストリーミング動画がコピーされる。動画プレーン#1にコピーされる画像は、表示部220の表示画面全体の解像度(例えば、1920×1080画素)を持つ。一方、動画プレーン#2にコピーされる画像は、表示画面全体よりも低解像度(例えば、528×384画素(DCIF))をデフォルトの解像度とする。インターネット104経由でダウンロードしたストリーミング動画を動画プレーン#2にコピーする際、必要に応じて再サイズ化する。
【0047】
また、データ放送用データに含まれる静止画、動画・静止画切替、図形・文字、字幕は、それぞれ静止画プレーン、動画・静止画切替プレーン・図形・文字プレーン、字幕プレーンにコピーされる。
【0048】
プロセッサー211は、例えばデータ放送用アプリケーションを実行して、各プレーンを上記の順番で重畳して、画面を組み立てる処理を実現する。組み立てられた最終的なプレーンは、バック・バッファー(Back Buffer)に保持される。そして、表示部220に画面表示される画面はプライマリー・バッファー(Primary Buffer)に保持される。
【0049】
本実施形態では、プロセッサー211がデータ放送アプリケーションを実行することにより、上記の各プレーンの合成処理を行ない、表示部220で出力する画面の表示形態を制御するようになっている。以下では、データ放送アプリケーションによって実現される表示形態について説明する。
【0050】
図4には、動画プレーン同士を合成する基本処理を図解している。図示の例では、受信放送の動画(broadcast video)が全解像度で動画プレーン#1にコピーされる。これに対し、インターネット104経由で受信したストリーミング動画(broadband video)は、低解像度(DCIF)に再サイズ化してから、動画プレーン#2にコピーされる(前述)。重畳部は、動画プレーン#1にコピーされた動画cb上に動画プレーン#2にコピーされた動画caを、例えばPorter−Duffルールに従って重畳して、合成動画プレーン(Composite Video Plane:CVP)が生成される。合成動画プレーンは、動画cb内に動画caが埋め込まれた、ピクチャー・イン・ピクチャー(Picture in Picture:PiP)画像である。
【0051】
下式(1)には、重畳部で適用するプレーンの合成ルールを示している。前方の動画プレーン#2のアルファ・ブレンド値αaとして1が設定された、100%不透明な画素位置では、動画プレーン#2上にコピーされた動画caが合成動画プレーンCVPとなる。また、動画プレーン#2のアルファ・ブレンド値αaとして0が設定された、100%透明な画素位置では、動画プレーン#1上にコピーされた動画cbが合成動画プレーンCVPとなる。基本的には、動画プレーン#2にコピーされた動画サイズ内の画素位置のアルファ・ブレンド値αaを1とし、その外の画素位置のアルファ・ブレンド値αaを0とする。したがって、動画プレーン#2にコピーされた動画サイズ内の合成動画プレーンCVPの画素はca、その外の合成動画プレーンCVPの画僧cbとなる。
【0052】
【数1】
【0053】
図5には、合成動画プレーンCVP上にさらに静止画プレーンSPを合成する基本処理を図解している。合成動画プレーンCVPを生成する仕組みは上述と同様である。
【0054】
動画・静止画切替プレーンCPは、静止画プレーンSPをマスクする1ビットのマスクであり、画素値CPで静止画プレーンSPをマスクする画素位置を指定している。下式(2)に示すように、静止画プレーンSPをマスクする画素位置ではCPを0とし、静止画プレーンSPをマスクしない画素位置ではCPを1にする。
【0055】
【数2】
【0056】
動画・静止画合成部は、画素値CPに基づいて静止画プレーンSPの各画素をマスクし、合成動画プレーンCVPにマスクした後の静止画プレーンを例えばPorter−Duffルールに従って重畳し、動画・静止画の合成プレーン(Composition of Video and Still−Picture Plane:SVP)を生成する。図5に示す例では、すべての画素位置で画素値CPが0(黒)であり、静止画プレーンの全画素がマスクされるので、合成動画プレーンCVPがそのまま動画・静止画の合成プレーンSVPとして出力される。下式(3)には、動画・静止画合成部で適用する合成ルールを示している。CPが1すなわちマスクされない画素位置では、合成プレーンSVPは静止画プレーンSPの画素となる。また、CPが0すなわちマスクされる画素位置では、前方の静止画プレーンSPがマスクされる結果として、合成プレーンSVPはその後方の合成動画プレーンCVPの画素となる。
【0057】
【数3】
【0058】
また、図6には、動画プレーン同士を合成する代替処理を図解している。図示の例では、受信放送の動画(broadcast video)、及び、インターネット104経由で受信したストリーミング動画(broadband video)はいずれも、画面全体よりも低解像度でそれぞれ動画プレーン#1、動画プレーン#2にコピーされている。重畳部は、動画プレーン#1にコピーされた低解像度動画cb上に、動画プレーン#2にコピーされた低解像度の動画caを、例えばPorter−Duffルールに従って重畳して、合成動画プレーンCVPが生成される。
【0059】
また、図7には、合成動画プレーンCVP上にさらに静止画プレーンSPを合成する代替処理を図解している。図6に示したように、それぞれ低解像度に再サイズ化された2つの動画cb及びcaから合成動画プレーンCVPが生成される。また、動画・静止画切替プレーンCPは、低解像度に再サイズ化した動画ca及びcbの表示領域のみ、静止画プレーンSPをマスクしている。したがって、画素値CPに基づいて静止画プレーンSPの各画素をマスクすると、低解像度化した動画ca及びcbの表示領域が透明になるので、合成動画プレーンCVPにマスクした後の静止画プレーンを例えばPorter−Duffルールに従って重畳すると、図示のように、静止画プレーンSPのマスクされた枠から各動画ca及びcbが表示される動画・静止画の合成プレーンSVPが得られる。
【0060】
また、図8には、3次元信号からなる動画プレーンを合成する処理を図解している。受信放送の動画(broadcast video)、並びに、インターネット104経由で受信したストリーミング動画(broadband video)のうちいずれも3次元信号である可能性がある。但し、本実施形態に係るハイブリッド端末103は、ハードウェア上の制約から、一方の動画プレーンが3次元信号のときには、他方の動画プレーンの表示を停止するようになっている。図示の例では、インターネット104経由で受信したストリーミング動画すなわち動画プレーン#2にコピーされる動画caがサイド・バイ・サイド形式の3次元信号であり、動画プレーン#1にコピーされる動画cbの表示は停止される。したがって、合成動画プレーンCVPは動画プレーン#2上の3次元動画のままとなる。また、静止画プレーンSP及び動画・静止画切替プレーンCPはともにディセーブルされ、両プレーンの全画素が黒色に設定される。したがって、全解像度の3次元動画がSVPとして表示されることになる。
【0061】
図9には、同じ合成動画プレーン及び静止画プレーンに対し、適用する動画・静止画切替プレーンCPを変更したことにより動画・静止画の合成プレーンSVPが変わる例をいくつか示している。同図(a)では、一部の領域がマスクされない動画・静止画切替プレーンCPが使用されている。したがって、図示のように、動画・静止画切替プレーンでマスクされた領域では合成動画プレーンCVPが背景として表示され、マスクされない領域では静止画プレーンが最前面で表示された動画・静止画合成プレーンSVPとなる。また、同図(b)では、すべての領域をマスクする動画・静止画切替プレーン(すなわち、全画素が黒色のプレーン)CPが使用されている。したがって、図示のように、前面の静止画プレーンがすべてマスクされ、後方の合成動画プレーンCVPのみが表示された動画・静止画合成プレーンSVPとなる。他方、同図(c)では、すべての領域をマスクしない動画・静止画切替プレーン(すなわち、全画素が白色のプレーン)CPが使用されている。したがって、図示のように前面の静止画プレーンのみが表示され、後方の合成動画プレーンCVPが完全に覆い隠された動画・静止画合成プレーンSVPとなる。
【0062】
特許文献3に記載の技術では、ネットワーク・コンテンツのポータル画面を表示するためのHTML(Hyper Text Markup Language)を解するネットワーク用ブラウザーが起動して、ネットワーク・コンテンツの再生指示を入力するポータル画面が表示される。すなわち、特許文献3に記載の技術では、データ放送用ブラウザーとは独立した処理によりポータル画面の表示が行なわれるので、言い換えれば、放送コンテンツとネットワーク・コンテンツが融合することはない。
【0063】
これに対し、本明細書で開示する技術では、放送コンテンツ用の動画プレーン#1と、ストリーミング動画などのネットワーク・コンテンツ用の動画プレーン#2を含む、所定の配置順からなる複数のプレーンを有し(図3を参照のこと)、データ放送アプリケーションを用いて上記したようなプレーン同士の合成処理を行なうことができる。本実施形態では、当該技術を利用して、ネットワーク・コンテンツの再生指示を入力する画面を、放送コンテンツと融合した形態で提供するようにしている。
【0064】
図10Aには、ネットワーク・コンテンツの再生指示を入力する画面の一例として、モザイク形式のメニューの構成方法を図解している。
【0065】
動画プレーン#1には、受信した放送コンテンツの動画がコピーされる。一方、図形・文字プレーンには、画面の一部のユーザー・インターフェース領域にのみ、放送コンテンツとストリーミング動画の同時再生を指示するためのユーザー・インターフェースがコピーされる。このユーザー・インターフェースは、選択可能な複数のネットワーク・コンテンツの選択ボタンMNG1、MNG2、…が配列されたモザイク形式のメニューである。選択可能なネットワーク・コンテンツは、基本的には、インターネット104上のコンテンツ・サーバーなどから提供されるストリーミング動画である。
【0066】
各選択ボタンMNG1、MNG2、…は、該当するストリーミング動画の動画サムネイルである。動画サムネイルは、例えばPNG(Portable Network Graphics)イメージの集合からなるMNG(Multiple−image Network Graphics)ファイルで構成される。但し、選択ボタンは、動画である必要はなく、該当するストリーミング動画を象徴するような静止画であってもよい。データ放送アプリケーションは、さらに、複数のセルからなるグリッド(図10Bを参照のこと)を、上記の図形・文字プレーンにコピーする。グリッド内の各セルは、コンテンツ・サーバー上の該当するストリーミング動画の所在を示すURLリンクを持っている。なお、ネットワーク上のストリーミング動画であるとは限らず、例えばハイブリッド端末103のローカル・コンテンツであってもよく、この場合もセルがコンテンツの所在をURL形式で持っていればよい。そして、データ放送アプリケーションは、図3に示した配置順序に従ってすべてのプレーンを組み合わせて、ユーザー・インターフェースを備えたプレーンを得る。
【0067】
モザイク形式のメニューの他の構成方法として、データ放送アプリケーションにより、動画プレーン#2の表示領域をユーザー・インターフェース領域に限定し、そこにモザイク形式の各メニューを1つのストリーミング動画として組み合わせて、合成動画プレーンCVPを生成するようにしてもよい(図10Cを参照のこと)。
【0068】
この場合、データ放送アプリケーションは、さらに、複数のセルからなるグリッド(図10Bを参照のこと)を上記の合成動画プレーンCVPに付加する。グリッドの位置は、動画プレーン#2の限定された表示領域、すなわちモザイク形式のメニュー領域と一致し、各セルは動画サムネイルからなる各選択ボタンと一致する。例えば、データ放送アプリケーションは、図形・文字プレーンにグリッドをコピーすることで、合成動画プレーンCVPにこのようなグリッドを付加することができる。また、グリッド内の各セルは、コンテンツ・サーバー上の該当するストリーミング動画の所在を示すURLリンクを持っている。なお、ネットワーク上のストリーミング動画であるとは限らず、例えばハイブリッド端末103のローカル・コンテンツであってもよく、この場合もセルがコンテンツの所在をURL形式で持っていればよい。
【0069】
放送事業者やアプリケーション・プロバイダーは、例えば、放送コンテンツと関連するAVコンテンツをサーバー105にアップロードしておくとともに、ウェブ・サーバー105内のAVコンテンツの所在を指すURLリンクを含んだデータ放送アプリケーションを放送信号又はインターネット104経由で配信する。すると、モザイク形式のメニューの各選択ボタンは、放送事業者やアプリケーション・プロバイダーが仕込んだAVコンテンツへのURLリンクを含むことになる。したがって、放送事業者やアプリケーション・プロバイダーは、放送番組のデータ放送サービスを利用するユーザーが番組視聴と同時再生するストリーミング動画を何にすべきかをコントロールすることができる。
【0070】
図11には、モザイク形式のメニュー領域の配置場所のバリエーションを示している。図10では、プレーンの底部側縁(Bottom side)に沿って水平方向にセルを並べたグリッドからなるモザイク形式のメニュー領域を示した。その他、図11にも示すように、プレーンの左側縁(Left side)に沿って垂直方向にセルを並べたグリッドからなるモザイク形式のメニュー領域、プレーンの右側縁(Right side)に沿って垂直方向にセルを並べたグリッドからなるモザイク形式のメニュー領域、プレーンの上部側縁(Top side)に沿って水平方向にセルを並べたグリッドからなるモザイク形式のメニュー領域を挙げることができる。
【0071】
また、図12には、モザイク形式のメニュー領域内でのメニュー選択操作によって、ストリーミング動画の再生を開始する様子を示している。
【0072】
上述したように、モザイク形式のメニュー領域に重畳されたグリッド内の各セルは、コンテンツ・サーバー上の該当するストリーミング動画の所在を示すURLリンクを持っている。ハイブリッド端末103のユーザーは、例えばリモコン(図示しない)のカーソル・ボタンを用いてグリッド内でカーソルを移動させ、所望の動画サムネイルのセルに合わせることができる。図12左では、カーソルが合わせられたセルを太線の枠で示している。
【0073】
そして、ユーザーがリモコンの決定キーを押下するなどして、グリッド内のいずれか1つのセルを選択すると、データ放送アプリケーションは、選択したセルが持つURLリンクを用いて、関連するストリーミング動画の表示、すなわち放送コンテンツとの同時再生を開始する。
【0074】
上述したように、データ放送アプリケーションは、受信した放送コンテンツの映像を動画プレーン#1にコピーするとともに、インターネット104からダウンロードしたストリーミング動画を画面よりも低解像度に再サイズ化して動画プレーン#2にコピーする。そして、動画プレーン#1と動画プレーン#2を例えばPorter−Duffルールに従って重畳して(図4を参照のこと)、図12右に示すような合成動画プレーンCVPが表示される。
【0075】
インターネット104からダウンロードしたストリーミング動画caを合成動画プレーンCVP上で表示する位置(x,y)、すなわち、再サイズ化されたストリーミング動画caを放送コンテンツの全画面動画cb上に重畳する位置を、データ放送アプリケーションで設定することができる。
【0076】
データ放送アプリケーションがストリーミング動画caの表示位置(x,y)を明示的に設定しない場合には、図13Aに示すように、デフォルトの表示位置default(x,y)でストリーミング動画caが表示される。
【0077】
ユーザーは、例えばリモコンのカーソル・ボタンを用いて、ストリーミング動画caの新しい表示位置new(x,y)を指示することができる。データ放送アプリケーションがこの新しい表示位置new(x,y)を設定すると、図13Bに示すように、新しい表示位置new(x,y)でストリーミング動画caが表示される。
【0078】
また、データ放送アプリケーションは、動画プレーンを配置する順序の入れ替えを行なうこともできる。ユーザーは、例えばリモコンの緑ボタンを操作することで、動画プレーンの配置順序の入れ替えを指示する。図14には、動画プレーン#1と動画プレーン#2の配置順序の入れ替えを行なう様子を示している。配置順序の入れ替えの際、動画プレーン#2上のストリーミング動画を全解像度にするとともに、動画プレーン#1上の受信放送の動画を再サイズ化する。そして、動画プレーン#2にコピーされたストリーミング動画cb上に、動画プレーン#1にコピーされた受信放送の動画caを重畳して、合成動画プレーンCVPが生成される。
【0079】
図15には、ハイブリッド端末103の表示部220における画面遷移を図解している。
【0080】
通常の放送番組の受信中には、画面には受信した放送番組の動画のみが表示される「Only Video」状態である。ユーザーは、例えばリモコンのチャンネル・ボタンや+/−キーを操作することで、表示する放送番組が切り替わる。また、この状態では、受信信号にAITが含まれていないかどうかを検出する。AITは、データ放送アプリケーションの動作を制御するために記述された制御情報である。
【0081】
AITを検出すると、ハイブリッド端末103で受信したAITを処理した後、AITから得られたデータ放送アプリケーションの情報を表示する(display app info from AIT)。そして、勧誘アイコン(invite icon)を表示する放送番組の動画画面の状態「Video, displaying invite icon」に遷移する。
【0082】
ここで、ユーザーがデータ放送アプリケーションのダウンロードの開始を指示すると、アプリケーションのダウンロード実行をしながら放送番組を表示する画面状態「Video,app downloading」に遷移する。他方、ユーザーがデータ放送アプリケーションのダウンロードをキャンセルしたときには、受信した放送番組の動画のみが表示される「Only Video」状態に遷移する。そして、リモコンのチャンネル・ボタンや+/−キーを操作すると、元のチャンネルの表示画面に復帰する。
【0083】
アプリケーションのダウンロード実行をしながら放送番組を表示する画面状態「Video,app downloading」では、AITの記述に従ってデータ放送アプリケーションのダウンロードを行なう。例えば、AITでDSM−CC(Digital Storage Media−Command and Control)が示されていれば、ハイブリッド端末103は、放送信号からデータ放送アプリケーションをダウンロードする(Video,downloading from broadcast)。また、AITでHTTP(Hyper Text Transfer Protocol)が示されていれば、ハイブリッド端末103は、インターネット104などの通信ネットワーク経由でデータ放送アプリケーションをダウンロードする(Video,downloading from broadband)。
【0084】
そして、データ放送アプリケーションのダウンロードが終了すると、ハイブリッド端末103は、データ放送アプリケーションの起動状態「Video,running app service」に遷移する。
【0085】
また、データ放送アプリケーションのダウンロード中に、ユーザーからの指示などによりダウンロードをキャンセルしたときには、受信した放送番組の動画のみが表示される「Only Video」状態に遷移する。そして、リモコンのチャンネル・ボタンや+/−キーを操作すると、元のチャンネルの表示画面に復帰する。
【0086】
また、データ放送アプリケーションの起動状態「Video,running app service」で、ユーザーからの指示などによりアプリケーションを終了すると(close app)、受信した放送番組の動画のみが表示される「Only Video」状態に遷移する。そして、リモコンのチャンネル・ボタンや+/−キーを操作すると、元のチャンネルの表示画面に復帰する。
【0087】
図16には、データ放送アプリケーションの起動状態「Video,running app service」における画面遷移をより詳細に示している。同図中央が、データ放送アプリケーションのダウンロードを終了した直後の、初期の画面状態「Video,displaying app」であり、データ放送アプリケーションのユーザー・インターフェース(App UI)として、図10に示したようなモザイク形式のメニュー領域が画面に表示される。
【0088】
モザイク形式のメニュー領域は、このメニュー領域と同じサイズのグリッド内でセルを選択する操作により、メニューを選択して、所望のコンテンツのストリーミングを要求することができる(図12を参照のこと)。
【0089】
モザイク形式のメニュー領域を介して動画ストリーミングが要求されると(IP Video streaming requested)、図4に示したような、動画プレーン#1の放送番組の動画cbと動画プレーン#2のストリーミング動画caを重畳した合成動画プレーンCVPを表示する画面状態「Video,displaying IP streaming」に遷移する。ここで、データ放送アプリケーションのユーザー・インターフェースの表示が指示されると(Show App UI)、さらにモザイク形式のメニュー領域が表示された画面状態「Video,displaying IP streaming+app」に遷移する。そして、ユーザー・インターフェースの非表示が指示されると(hide App UI)、モザイク形式のメニュー領域が隠れ、上記の画面状態「Video,displaying IP streaming」に復帰する。また、モザイク形式のメニュー領域を介して動画ストリーミングの終了が指示されると(close IP streaming)、初期の画面状態「Video displaying app」に復帰する。
【0090】
モザイク形式のメニュー領域を介して音楽ストリーミングが要求されると(IP audio streaming requested)、動画プレーン#1の放送番組の動画cbの表示と音楽ストリーミングを同時に行なう画面状態「Video,IP audio streaming」に遷移する。ここで、データ放送アプリケーションのユーザー・インターフェースの表示が指示されると(Show App UI)、さらにモザイク形式のメニュー領域が表示された画面状態「Video,IP A.streaming+app」に遷移する。そして、ユーザー・インターフェースの非表示が指示されると(hide App UI)、モザイク形式のメニュー領域が隠れ、上記の画面状態「Video,IP audio streaming」に復帰する。また、モザイク形式のメニュー領域を介して音楽ストリーミングの終了が指示されると(close IP audio)、初期の画面状態「Video,displaying app」に復帰する。
【0091】
モザイク形式のメニュー領域を介して3次元信号の動画ストリーミングが要求されると(IP 3D SbS video streaming requested)、図8に示したような、動画プレーン#2の3次元ストリーミング動画caを重畳した合成動画プレーンを表示する状態「Displaying IP 3D streaming」に遷移する。本実施形態に係るハイブリッド端末103は、ハードウェア上の制約から、3次元動画を表示するときには他の動画プレーンの表示を停止するようになっている(前述)。
【0092】
合成動画プレーンCVPを表示する画面状態「Video,displaying IP streaming」で動画ストリーミングの終了が指示されたとき(close IP streaming)、動画プレーン#1の放送番組の動画cbの表示と音楽ストリーミングを同時に行なう画面状態「Video,IP audio streaming」で音楽ストリーミングの終了が指示されたとき(close IP audio streaming)、並びに、3次元ストリーミング動画を表示する画面状態「Displaying IP 3D streaming」で3次元動画ストリーミングの終了が指示されたときには(close IP 3D video)、アプリケーションのユーザー・インターフェース(モザイク形式のメニュー領域)が隠れた画面状態「Only Video,app hiden」に遷移する。ここで、データ放送アプリケーションのユーザー・インターフェースの表示が指示されると(Show App UI)、初期の画面状態「Video,displaying app」に復帰する。また、初期の画面状態「Video,displaying app」でユーザー・インターフェースの非表示が指示されると(hide App UI)、画面状態「Only Video,app hiden」に遷移する。
【0093】
図17には、プロセッサー211が処理を実行することにより実現される各機能ブロックを示している。例えばJava(登録商標)技術が適用される場合には、各機能ブロックはクラス・ファイルに相当する。以下では、図15並びに図16に示した画面制御に関連のある機能を中心に、各機能ブロックで行なわれる処理について説明する。
【0094】
Process TSは、放送事業者(Broadcaster)から配信されるMPEG2トランスポート・ストリームの受信処理を行なう。Process TSは、チャンネル選局が行なわれる度にトランスポート・ストリームの受信処理を行なう。また、Process TSは、トランスポート・ストリームから分離されたデータ放送用データから、AITの検出処理を行なう。
【0095】
Decode A/Vは、トランスポート・ストリームから分離されたAVデータを、デコーダー204を用いて復号処理する。
【0096】
Decode AITは、Process TSによって検出されたAITのデコード処理を行なう。Download Appは、データ放送アプリケーションのダウンロードが指示されたときに、デコードされたAITの記述に従ってダウンロード処理を行なう。AITでDSM−CCが示されていれば、Download Appは、放送信号からデータ放送アプリケーションをダウンロードする。また、AITでHTTPが示されていれば、Download Appは、アプリケーション・サーバーからインターネット104経由でデータ放送アプリケーションをダウンロードする。
【0097】
Download Appがデータ放送アプリケーションのダウンロードを完了すると、Run Appは、このデータ放送アプリケーションを実行する。この結果、ハイブリッド端末103は、データ放送アプリケーションの起動状態「Video,running app service」(前述、並びに図15を参照のこと)に遷移する。
【0098】
Display Appは、モザイク形式のメニュー領域などの、データ放送アプリケーションのユーザー・インターフェースの表示/非表示を行なう。例えば、画面状態「Video,displaying IP streaming」、「Video,IP audio streaming」、「Only Video,app hiden」で、Display Appは、ユーザー・インターフェースの表示(show App UI)並びに非表示(hide App UI)を行なう。
【0099】
Select Videoは、初期の画面状態「Video,displaying app」(図16を参照のこと)で、ユーザー・インターフェースに対するユーザーの操作に従って、動画を選択する処理を行なう。Request A/V Streamingは、Select Videoによって選択された動画のストリーミングを該当するコンテンツ・サーバー(Media Server)に要求する。Buffer A/V Streamingは、Request A/V Streamingが受信する動画ストリームをバッファリングする。Decode A/V Streamingは、バッファーされた動画ストリームを、ブロードバンド・デコーダー206を用いてデコードする。
【0100】
Enable PiP presentationは、図4などに示した、動画内に動画を表示するピクチャー・イン・ピクチャー画像の生成処理を可能にする。また、Choose the PiP orderは、ユーザーからの指示などに従って、ピクチャー・イン・ピクチャー画像内の画像の配置順序を選択する。例えば、図14に示したように、動画プレーン#1と動画プレーン#2の配置順序の入れ替えを行なう。そして、Display PiPは、受信放送の動画とダウンロードしたストリーム動画のピクチャー・イン・ピクチャー画像表示を行なう。
【0101】
但し、Select Videoで選択された動画ストリームが3次元信号の場合には、Display 3Dが3次元動画ストリームの表示を行なうとともに、Stop Broadcast videoが受信ストリームの表示を停止する。また、受信放送の動画ストリームが3次元信号の場合には、ダウンロードした動画ストリームの表示を停止する。一方の動画ストリームが3次元信号のときにピクチャー・イン・ピクチャー画像表示しないのは、ハイブリッド端末103のハードウェア上の制約に依拠する(同上)。
【0102】
Choose the audio sourceは、音楽ソースの選択を行なう。例えば、モザイク形式のメニュー領域を介して音楽ストリーミングが要求されたときには、要求された音楽ストリームを音楽ソースに選択して音響出力する。また、放送番組の動画cbの表示と音楽ストリーミングを行なう画面状態「Video,IP audio streaming」で、音楽ストリーミングの終了が指示されると(close IP audio)、放送番組を音楽ソースに選択して音響出力する。
【0103】
なお、有料の動画サイト(Storefront)から動画ストリームを購入するときには、Check authorizationがStorefrontに対して認証処理を行なう。そして、Request content listがStorefrontに対して、利用可能なコンテンツのリストを要求し、Display Video Listがリストを表示する。
【0104】
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)放送信号を受信する放送受信部と、ネットワーク経由で情報を送受信するネットワーク通信部と、前記放送受信部で受信した情報をコピーする第1のプレーン及び前記ネットワーク通信部で受信した情報をコピーする第2のプレーンを含むビデオ・メモリーと、前記ビデオ・メモリー内の情報を表示する表示部と、
前記ビデオ・メモリー内の各プレーンにコピーされた情報の前記表示部への表示出力を制御する制御部を具備し、前記制御部は、前記放送受信部又は前記ネットワーク通信部で受信したデータ放送アプリケーションを実行して、前記ビデオ・メモリー内の前記第1のプレーン及び第2のプレーンを含む複数のプレーンを合成処理して前記表示部に表示させる、受信装置。
(2)前記ビデオ・メモリー内では、後方から前方に向かって前記第1のプレーン、前記第2のプレーンの順序で配置され、さらに前記第2のプレーンの前方に他の複数のプレーンが所定の順序で配置されており、前記制御部は、前記データ放送アプリケーションを実行して実現する処理として、前記の配置された順序に従って各プレーンの合成処理を行なう、上記(1)に記載の受信装置。
(3)前記制御部は、前記データ放送アプリケーションを実行して実現する処理として、前記放送受信部で受信した放送コンテンツを前記第1のプレーンにコピーするとともに、前記ネットワーク通信部で受信したネットワーク・コンテンツを前記放送コンテンツと同時再生することを指示するためのユーザー・インターフェースを前記第2のプレーンにコピーし、前記第1のプレーンと前記第2のプレーンを合成して、前記放送コンテンツに前記ユーザー・インターフェースを重畳したプレーンを生成する、上記(2)に記載の受信装置。
(4)前記放送コンテンツと同時再生するネットワーク・コンテンツはストリーミング動画であり、前記ユーザー・インターフェースは、同時再生することが可能な複数のストリーミング動画の各々の動画サムネイルからなる選択ボタンを配置したメニューである、上記(3)に記載の受信装置。
(5)前記放送コンテンツと同時再生することが可能なネットワーク・コンテンツは、前記データ放送アプリケーションで所在場所が指定されており、前記ユーザー・インターフェースは、同時再生することが可能な各ネットワークの所在場所へのリンクを含んだ選択ボタンを配置したメニューであり、前記制御部は、いずれかの選択ボタンが選択されたことに応答して、選択ボタンに含まれるリンクに従って前記ネットワーク通信部で受信するネットワーク・コンテンツを前記第2のプレーンにコピーし、前記第1のプレーンと前記第2のプレーンを合成して、前記放送コンテンツと前記ネットワーク・コンテンツを同時再生させる、上記(3)に記載の受信装置。
(6)コンピューターがデータ放送アプリケーションを実行して具現化される第1のコピー手段が、放送信号として受信した情報をビデオ・メモリー内の第1のプレーンにコピーする第1のコピー・ステップと、前記コンピューターが前記データ放送アプリケーションを実行して具現化される第2のコピー手段が、ネットワーク経由で受信した情報を前記ビデオ・メモリー内の第2のプレーンにコピーする第2のコピー・ステップと、前記コンピューターが前記データ放送アプリケーションを実行して具現化される合成手段が、前記ビデオ・メモリー内の前記第1のプレーン及び第2のプレーンを含む複数のプレーンを合成処理する合成ステップと、前記コンピューターが前記データ放送アプリケーションを実行して具現化される表示手段が、前記合成ステップで生成された合成プレーンを表示出力する出力ステップと、を有する表示制御方法。
(7)放送コンテンツとデータ放送の組み合わせからなるデータ放送サービスを提供する放送局と、ネットワーク・コンテンツを提供するサーバーと、放送局から配信される放送信号を受信するとともに、ネットワーク経由で情報を送受信するハイブリッド端末からなり、前記ハイブリッド端末は、放送信号として受信した情報をコピーする第1のプレーン及び前記サーバーから受信した情報をコピーする第2のプレーンを含むビデオ・メモリーと、前記ビデオ・メモリー内の情報を表示する表示部を備え、前記放送局又は前記サーバーから受信したデータ放送アプリケーションを実行して、前記ビデオ・メモリー内の前記第1のプレーン及び第2のプレーンを含む複数のプレーンを合成処理して前記表示部に表示させる、放送システム。
(8)放送信号として受信した情報をビデオ・メモリー内の第1のプレーンにコピーする第1のコピー手段、ネットワーク経由で受信した情報を前記ビデオ・メモリー内の第2のプレーンにコピーする第2のコピー手段、前記ビデオ・メモリー内の前記第1のプレーン及び第2のプレーンを含む複数のプレーンを合成処理する合成手段、前記合成手段により生成された合成プレーンを表示出力する出力手段、としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
【産業上の利用可能性】
【0105】
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【0106】
本明細書で開示する技術は、例えばJava(登録商標)技術を適用して実現することができるが、本明細書で開示する技術の要旨はこれに限定されるものではない。また、放送信号として配信されるAVコンテンツ、ネットワーク経由で伝送されるAVコンテンツ、データ放送用データなどは特定のファイル形式に限定されない。
【0107】
要するに、本明細書で開示する技術を例示という形態で開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【符号の説明】
【0108】
100…ハイブリッド放送システム
101…放送衛星
102…放送局
103…受信端末(ハイブリッド端末)
104…インターネット(ブロードバンド・ネットワーク)
105…サーバー
201…チューナー
202…復調器
203…デマルチプレクサー
204…ブロードキャスト・デコーダー
205…データ通信部
206…ブロードバンド・デコーダー
210…AV出力制御部
211…プロセッサー
212…システム・メモリー
213…ビデオ・メモリー
【特許請求の範囲】
【請求項1】
放送信号を受信する放送受信部と、
ネットワーク経由で情報を送受信するネットワーク通信部と、
前記放送受信部で受信した情報をコピーする第1のプレーン及び前記ネットワーク通信部で受信した情報をコピーする第2のプレーンを含むビデオ・メモリーと、
前記ビデオ・メモリー内の情報を表示する表示部と、
前記ビデオ・メモリー内の各プレーンにコピーされた情報の前記表示部への表示出力を制御する制御部を具備し、
前記制御部は、前記放送受信部又は前記ネットワーク通信部で受信したデータ放送アプリケーションを実行して、前記ビデオ・メモリー内の前記第1のプレーン及び第2のプレーンを含む複数のプレーンを合成処理して前記表示部に表示させる、
受信装置。
【請求項2】
前記ビデオ・メモリー内では、後方から前方に向かって前記第1のプレーン、前記第2のプレーンの順序で配置され、さらに前記第2のプレーンの前方に他の複数のプレーンが所定の順序で配置されており、
前記制御部は、前記データ放送アプリケーションを実行して実現する処理として、前記の配置された順序に従って各プレーンの合成処理を行なう、
請求項1に記載の受信装置。
【請求項3】
前記制御部は、前記データ放送アプリケーションを実行して実現する処理として、前記放送受信部で受信した放送コンテンツを前記第1のプレーンにコピーするとともに、前記ネットワーク通信部で受信したネットワーク・コンテンツを前記放送コンテンツと同時再生することを指示するためのユーザー・インターフェースを前記第2のプレーンにコピーし、前記第1のプレーンと前記第2のプレーンを合成して、前記放送コンテンツに前記ユーザー・インターフェースを重畳したプレーンを生成する、
請求項2に記載の受信装置。
【請求項4】
前記放送コンテンツと同時再生するネットワーク・コンテンツはストリーミング動画であり、
前記ユーザー・インターフェースは、同時再生することが可能な複数のストリーミング動画の各々の動画サムネイルからなる選択ボタンを配置したメニューである、
請求項3に記載の受信装置。
【請求項5】
前記放送コンテンツと同時再生することが可能なネットワーク・コンテンツは、前記データ放送アプリケーションで所在場所が指定されており、
前記ユーザー・インターフェースは、同時再生することが可能な各ネットワークの所在場所へのリンクを含んだ選択ボタンを配置したメニューであり、
前記制御部は、いずれかの選択ボタンが選択されたことに応答して、選択ボタンに含まれるリンクに従って前記ネットワーク通信部で受信するネットワーク・コンテンツを前記第2のプレーンにコピーし、前記第1のプレーンと前記第2のプレーンを合成して、前記放送コンテンツと前記ネットワーク・コンテンツを同時再生させる、
請求項3に記載の受信装置。
【請求項6】
コンピューターがデータ放送アプリケーションを実行して具現化される第1のコピー手段が、放送信号として受信した情報をビデオ・メモリー内の第1のプレーンにコピーする第1のコピー・ステップと、
前記コンピューターが前記データ放送アプリケーションを実行して具現化される第2のコピー手段が、ネットワーク経由で受信した情報を前記ビデオ・メモリー内の第2のプレーンにコピーする第2のコピー・ステップと、
前記コンピューターが前記データ放送アプリケーションを実行して具現化される合成手段が、前記ビデオ・メモリー内の前記第1のプレーン及び第2のプレーンを含む複数のプレーンを合成処理する合成ステップと、
前記コンピューターが前記データ放送アプリケーションを実行して具現化される表示手段が、前記合成ステップで生成された合成プレーンを表示出力する出力ステップと、
を有する表示制御方法。
【請求項7】
放送コンテンツとデータ放送の組み合わせからなるデータ放送サービスを提供する放送局と、
ネットワーク・コンテンツを提供するサーバーと、
放送局から配信される放送信号を受信するとともに、ネットワーク経由で情報を送受信するハイブリッド端末からなり、
前記ハイブリッド端末は、放送信号として受信した情報をコピーする第1のプレーン及び前記サーバーから受信した情報をコピーする第2のプレーンを含むビデオ・メモリーと、前記ビデオ・メモリー内の情報を表示する表示部を備え、前記放送局又は前記サーバーから受信したデータ放送アプリケーションを実行して、前記ビデオ・メモリー内の前記第1のプレーン及び第2のプレーンを含む複数のプレーンを合成処理して前記表示部に表示させる、
放送システム。
【請求項8】
放送信号として受信した情報をビデオ・メモリー内の第1のプレーンにコピーする第1のコピー手段、
ネットワーク経由で受信した情報を前記ビデオ・メモリー内の第2のプレーンにコピーする第2のコピー手段、
前記ビデオ・メモリー内の前記第1のプレーン及び第2のプレーンを含む複数のプレーンを合成処理する合成手段、
前記合成手段により生成された合成プレーンを表示出力する出力手段、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
【請求項1】
放送信号を受信する放送受信部と、
ネットワーク経由で情報を送受信するネットワーク通信部と、
前記放送受信部で受信した情報をコピーする第1のプレーン及び前記ネットワーク通信部で受信した情報をコピーする第2のプレーンを含むビデオ・メモリーと、
前記ビデオ・メモリー内の情報を表示する表示部と、
前記ビデオ・メモリー内の各プレーンにコピーされた情報の前記表示部への表示出力を制御する制御部を具備し、
前記制御部は、前記放送受信部又は前記ネットワーク通信部で受信したデータ放送アプリケーションを実行して、前記ビデオ・メモリー内の前記第1のプレーン及び第2のプレーンを含む複数のプレーンを合成処理して前記表示部に表示させる、
受信装置。
【請求項2】
前記ビデオ・メモリー内では、後方から前方に向かって前記第1のプレーン、前記第2のプレーンの順序で配置され、さらに前記第2のプレーンの前方に他の複数のプレーンが所定の順序で配置されており、
前記制御部は、前記データ放送アプリケーションを実行して実現する処理として、前記の配置された順序に従って各プレーンの合成処理を行なう、
請求項1に記載の受信装置。
【請求項3】
前記制御部は、前記データ放送アプリケーションを実行して実現する処理として、前記放送受信部で受信した放送コンテンツを前記第1のプレーンにコピーするとともに、前記ネットワーク通信部で受信したネットワーク・コンテンツを前記放送コンテンツと同時再生することを指示するためのユーザー・インターフェースを前記第2のプレーンにコピーし、前記第1のプレーンと前記第2のプレーンを合成して、前記放送コンテンツに前記ユーザー・インターフェースを重畳したプレーンを生成する、
請求項2に記載の受信装置。
【請求項4】
前記放送コンテンツと同時再生するネットワーク・コンテンツはストリーミング動画であり、
前記ユーザー・インターフェースは、同時再生することが可能な複数のストリーミング動画の各々の動画サムネイルからなる選択ボタンを配置したメニューである、
請求項3に記載の受信装置。
【請求項5】
前記放送コンテンツと同時再生することが可能なネットワーク・コンテンツは、前記データ放送アプリケーションで所在場所が指定されており、
前記ユーザー・インターフェースは、同時再生することが可能な各ネットワークの所在場所へのリンクを含んだ選択ボタンを配置したメニューであり、
前記制御部は、いずれかの選択ボタンが選択されたことに応答して、選択ボタンに含まれるリンクに従って前記ネットワーク通信部で受信するネットワーク・コンテンツを前記第2のプレーンにコピーし、前記第1のプレーンと前記第2のプレーンを合成して、前記放送コンテンツと前記ネットワーク・コンテンツを同時再生させる、
請求項3に記載の受信装置。
【請求項6】
コンピューターがデータ放送アプリケーションを実行して具現化される第1のコピー手段が、放送信号として受信した情報をビデオ・メモリー内の第1のプレーンにコピーする第1のコピー・ステップと、
前記コンピューターが前記データ放送アプリケーションを実行して具現化される第2のコピー手段が、ネットワーク経由で受信した情報を前記ビデオ・メモリー内の第2のプレーンにコピーする第2のコピー・ステップと、
前記コンピューターが前記データ放送アプリケーションを実行して具現化される合成手段が、前記ビデオ・メモリー内の前記第1のプレーン及び第2のプレーンを含む複数のプレーンを合成処理する合成ステップと、
前記コンピューターが前記データ放送アプリケーションを実行して具現化される表示手段が、前記合成ステップで生成された合成プレーンを表示出力する出力ステップと、
を有する表示制御方法。
【請求項7】
放送コンテンツとデータ放送の組み合わせからなるデータ放送サービスを提供する放送局と、
ネットワーク・コンテンツを提供するサーバーと、
放送局から配信される放送信号を受信するとともに、ネットワーク経由で情報を送受信するハイブリッド端末からなり、
前記ハイブリッド端末は、放送信号として受信した情報をコピーする第1のプレーン及び前記サーバーから受信した情報をコピーする第2のプレーンを含むビデオ・メモリーと、前記ビデオ・メモリー内の情報を表示する表示部を備え、前記放送局又は前記サーバーから受信したデータ放送アプリケーションを実行して、前記ビデオ・メモリー内の前記第1のプレーン及び第2のプレーンを含む複数のプレーンを合成処理して前記表示部に表示させる、
放送システム。
【請求項8】
放送信号として受信した情報をビデオ・メモリー内の第1のプレーンにコピーする第1のコピー手段、
ネットワーク経由で受信した情報を前記ビデオ・メモリー内の第2のプレーンにコピーする第2のコピー手段、
前記ビデオ・メモリー内の前記第1のプレーン及び第2のプレーンを含む複数のプレーンを合成処理する合成手段、
前記合成手段により生成された合成プレーンを表示出力する出力手段、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
【図2】
【図10B】
【図13A】
【図13B】
【図17】
【図1】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10C】
【図11】
【図12】
【図14】
【図15】
【図16】
【図10B】
【図13A】
【図13B】
【図17】
【図1】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10C】
【図11】
【図12】
【図14】
【図15】
【図16】
【公開番号】特開2013−31046(P2013−31046A)
【公開日】平成25年2月7日(2013.2.7)
【国際特許分類】
【出願番号】特願2011−166503(P2011−166503)
【出願日】平成23年7月29日(2011.7.29)
【出願人】(000002185)ソニー株式会社 (34,172)
【出願人】(511185139)ソニー・ブラジル・リミターダ (1)
【Fターム(参考)】
【公開日】平成25年2月7日(2013.2.7)
【国際特許分類】
【出願日】平成23年7月29日(2011.7.29)
【出願人】(000002185)ソニー株式会社 (34,172)
【出願人】(511185139)ソニー・ブラジル・リミターダ (1)
【Fターム(参考)】
[ Back to top ]