受信機及びプログラム
【課題】放送と通信の連携を図るシステムにおいて、サーバが、放送局が放送したコンテンツの所定シーンについての視聴状態を容易かつ適切に取得できるようにすること。
【解決手段】受信機４は、ネットワークＮを介してサービスサーバ３に接続され、放送局１が放送した番組コンテンツを含んだ放送信号を受信する受信機４であって、番組コンテンツのコンテンツ音声情報と、視聴者が番組コンテンツを視聴した時に発した視聴者音声情報と、をミキシングしたミキシング音声情報を生成する関連付け部２５と、関連付け部２５で生成したミキシング音声情報をサービスサーバ３に送信する通信部１４と、を備える。
【解決手段】受信機４は、ネットワークＮを介してサービスサーバ３に接続され、放送局１が放送した番組コンテンツを含んだ放送信号を受信する受信機４であって、番組コンテンツのコンテンツ音声情報と、視聴者が番組コンテンツを視聴した時に発した視聴者音声情報と、をミキシングしたミキシング音声情報を生成する関連付け部２５と、関連付け部２５で生成したミキシング音声情報をサービスサーバ３に送信する通信部１４と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、放送と通信の連携を図る機能を有する受信機及びプログラムに関する。
【背景技術】
【０００２】
近年、放送のデジタル化と通信のブロードバンド化の進展に伴い、放送通信連携サービスの実現に向けた研究開発が行われている。
【０００３】
また、この放送通信連携サービスにおいては、放送と通信という異なる伝送路を用いて複数のコンテンツを配信し、デジタルテレビ等の受信機において、配信された複数のコンテンツを統合して提示する形態が想定される。
【０００４】
ところで、現在、データ放送では、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）をベースとした、マルチメディア符号化用に開発されたＢＭＬ（Ｂｒｏａｄｃａｓｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）という放送サービスに必要な機能を拡張した言語を用いて、様々なコンテンツが提供されている（特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−６０９３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、データ放送では、全ての情報を放送波に多重化させる必要があるため、放送波で送信可能なデータ容量に一定の制限がある。
【０００７】
そこで、放送に対して、送信可能なデータ容量に制限のない通信との連携させるシステムの実現が望まれている。
【０００８】
特に、このような放送と通信の連携を図るシステムでは、通信により受信機に対して各種サービスを提供するサーバが構築される。
従って、例えば、放送局が放送したコンテンツのうち所定シーンに対する視聴者の視聴状態、例えば当該所定シーンを視聴しているときの視聴者の表情や音声等を、多数の受信機の各々から取得して、サービスに活用するサーバが現れてくることが想定される。
【０００９】
この場合、仮に、データ放送等の従来の受信機が対象となっているのであれば、サーバは、所定コンテンツの所定シーンを視聴しているときの多数の視聴者の視聴状態として、所定シーンが放送局から放送された時刻（１０時１０分等の絶対時刻）における視聴状態を多数の受信機の各々から取得すればよい。
【００１０】
しかしながら、放送と通信の連携を図るシステムでは、サーバが、同一時刻（絶対時刻）における視聴状態を多数の受信機の各々から取得したとしても、これらの視聴状態は、同一シーンについてのものであるとは必ずしも限らない。受信機が、放送と通信の同期を内部で取ることがあり、放送によるコンテンツの再生が遅延することがあるためである。即ち、複数の受信機の間では、同一時刻に同一シーンが必ずしも再生されているとは限らないためである。
【００１１】
このため、放送と通信の連携を図るシステムにおいて、サーバが、放送局が放送したコンテンツの所定シーンについての視聴状態を容易かつ適切に取得できる仕組みの実現が要望されている。
【００１２】
本発明は、このような状況に鑑みてなされたものであり、放送と通信の連携を図るシステムにおいて、サーバが、放送局が放送したコンテンツの所定シーンについての視聴状態を容易かつ適切に取得できるようにすることを１つの目的とする。
【課題を解決するための手段】
【００１３】
本発明に係る受信機は、ネットワークを介してサーバに接続され、放送局が放送したコンテンツを含んだ放送信号を受信する受信機であって、前記コンテンツの音声情報と、視聴者が前記コンテンツを視聴した時に発した音声情報と、をミキシングしたミキシング音声情報を生成するミキシング手段と、前記ミキシング手段で生成した前記ミキシング音声情報を前記サーバに送信する通信手段と、を備える構成とした。
【００１４】
かかる構成によれば、ミキシング手段は、コンテンツの音声情報と、視聴者がコンテンツを視聴した時に発した音声情報と、をミキシングしたミキシング音声情報を生成する。
通信手段は、ミキシング手段で生成したミキシング音声情報をサーバに送信する。
【００１５】
これにより、コンテンツの音声情報と視聴者がコンテンツを視聴した時に発した音声情報とがミキシングされ、サーバに送信される。
従って、放送と通信の連携を図るシステムにおいて、サーバは、放送局が放送したコンテンツの所定シーンについての視聴状態を容易かつ適切に取得できるようになる。
【００１６】
この場合、前記コンテンツを視聴した視聴者が発した音声情報を取得するマイクデバイスが接続される外部機器接続手段を備えることが好ましい。
かかる構成によれば、マイクデバイスを備えていない受信機であっても、視聴者が発した音声情報を取得するマイクデバイスを外部機器接続手段に接続することで、視聴状態情報を取得できる。
これにより、放送と通信の連携を図るシステムにおいて、受信機がマイクデバイスを備えなくとも、サーバは、放送局が放送したコンテンツの所定シーンについての視聴状態を容易かつ適切に取得できるようになる。
また、当該サービスを受けることができる受信機の必須項目からマイクデバイスを除外できるので、当該サービスを受けることができる受信機の普及を促進できる。
【００１７】
また、この場合、前記コンテンツを視聴した視聴者が発した音声情報を取得するマイクデバイスを備えることが好ましい。
【００１８】
かかる構成によれば、受信機が視聴状態取得手段を備えたので、放送と通信の連携を図るシステムにおいて、別途にマイクデバイスを用意しなくとも、サーバは、放送局が放送したコンテンツの所定シーンについての視聴状態を容易かつ適切に取得できるようになる。
【００１９】
本発明に係るプログラムは、ネットワークを介してサーバに接続され、放送局が放送したコンテンツを含んだ放送信号を受信する受信機を制御するコンピュータを、前記コンテンツの音声情報と、視聴者が前記コンテンツを視聴した時に発した音声情報と、をミキシングしたミキシング音声情報を生成するミキシング手段、前記ミキシング手段により生成された前記ミキシング音声情報を前記サーバに送信する制御を実行する通信手段、として機能させる構成とした。
かかる構成によれば、本発明に係る受信機と同様の作用効果を奏する。
【発明の効果】
【００２０】
本発明によれば、放送と通信という異なる伝送路から配信される複数のコンテンツを統合して提示するサービスにおいて、受信機で提示されたコンテンツのシーンと正確に対応した視聴者の視聴状態についての情報を得ることができる受信機及びプログラムを提供できる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態に係る放送通信連携システムの全体構成図である。
【図２】デジタル放送に係る放送信号の伝送プロトコルのスタックを示す図である。
【図３】放送通信連携システムの概要を示す図である。
【図４】受信機の機能構成を示すブロック図である。
【図５】ＸＭＬ形式で記述されたＡＩＴの一例を示す図である。
【図６】デバイスの発見に関する動作を説明する図であって、Ｈｙｂｒｉｄｃａｓｔ機能のレイヤの関係を示す図である。
【図７】デバイス接続部の概念を示す図である。
【図８】視聴状況取得等でデバイスを使用するＨｙｂｒｉｄｃａｓｔアプリケーションのサービスが開始される際に、所定の外部機器がデバイスとして接続されたときのシーケンス図である。
【図９】デバイスの電源状態がＯＦＦ状態である場合における、デバイスインスタンスによるディスクリプションとコントロール部分のシーケンス図である。
【図１０】視聴状況取得等でデバイスを使用するＨｙｂｒｉｄｃａｓｔアプリケーションのサービスが開始される際に、デバイスとして受信機の内蔵機器を用いる場合のシーケンス図である。
【図１１】関連付け部の機能構成を示すブロック図である。
【図１２】図１１の関連付け部の処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態について図面を参照して説明する。
図１は、本発明の一実施形態に係る放送通信連携システム１００の全体構成図である。放送通信連携システム１００は、放送局１と、放送用アンテナ２と、サービスサーバ３（配信サーバ）と、受信機４とを含んで構成される。この放送通信連携システム１００では、受信機４において、ＩＳＤＢ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｂｒｏａｄｃａｓｔｉｎｇ：統合デジタル放送サービス）方式によって放送局１から提供される放送サービスと、インターネット等により構成される通信ネットワークＮを介してサービスサーバ３から提供される通信サービスとが連携される。これにより、放送通信連携サービスが受信機４のユーザに提供される。
本実施形態では、放送通信連携システム１００は、Ｈｙｂｒｉｄｃａｓｔ（登録商標）システムであるものとする。Ｈｙｂｒｉｄｃａｓｔとは、同報性、高品質、高信頼という放送の特徴と、視聴者の個別の要求に応えることができるという通信の特徴とを生かしたシステムを構築するための仕組みである。Ｈｙｂｒｉｄｃａｓｔシステムは、放送サービスを中心に置きながら、通信の活用によってサービスを強化するという観点で、放送と通信のハイブリッドサービスを実現することができる。
【００２３】
放送局１は、番組編成設備と、番組送出設備と、送信設備とを含んで構成される一般的なデジタル放送用の放送設備（図示省略）を備える。
放送局１は、放送設備によって、コンテンツや、イベント情報（Ｅｖｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｔａｂｌｅ：ＥＩＴ）や、ＡＩＴ（以下、アプリケーション管理情報とも適宜呼ぶ）等を制作する。そして、放送局１は、放送設備によって、これらコンテンツ、イベント情報及びＡＩＴ等を多重化した放送信号を生成し、当該放送信号を放送波に変調して放送用アンテナ２から送信する。
【００２４】
このような放送波に含まれるコンテンツとしては、放送スケジュールに従って放送される番組を構成する映像や音声の各データを含むコンテンツ（以下、番組コンテンツと呼ぶ）の他、番組コンテンツとは非同期に発生するコンテンツ、例えば緊急地震速報等を含むコンテンツ（以下、緊急コンテンツと呼ぶ）も存在する。
【００２５】
イベント情報は、番組コンテンツの名称、番組コンテンツの放送日時、番組コンテンツの説明等、コンテンツに関するメタ情報を含む。以下、テーブル形式のイベント情報をＥＩＴと呼ぶ。
ＡＩＴ（アプリケーション管理情報）は、受信機４で実行可能な１以上のアプリケーションを管理するための情報である。ＡＩＴには、１以上のアプリケーションのそれぞれに対応し、当該１以上のアプリケーションのそれぞれを管理するための個別管理情報が含まれる。個別管理情報には、管理対象のアプリケーションを識別するアプリケーションＩＤ、当該アプリケーションのライフサイクルを制御するライフサイクル制御情報、当該アプリケーションの所在を示すロケーション情報等が含まれている（後述の図５参照）。
【００２６】
アプリケーションにより提供されるコンテンツには、番組コンテンツに連動するコンテンツ及び番組コンテンツに連動しないコンテンツが含まれる。以下、アプリケーションにより提供されるコンテンツをアプリ用コンテンツという。
【００２７】
放送信号は、従来のデジタル放送の放送信号と同一であり、ＡＲＩＢ（登録商標）（Ａｓｓｏｃｉａｔｉｏｎ ｏｆ Ｒａｄｉｏ Ｉｎｄｕｓｔｒｉｅｓ ａｎｄ Ｂｒｏａｄｃａｓｔ：社団法人電波産業会）標準規格で規定される。
【００２８】
図２は、デジタル放送に係る放送信号の伝送プロトコルのスタックを示す図である。図２に示すように、デジタル放送によって提供される映像、音声等の各種データは、国際標準規格ＭＰＥＧ−２ Ｓｙｓｔｅｍｓで規定されるＴＳパケット（トランスポートストリームパケット）に格納されて、時分割で多重伝送される。
【００２９】
ＴＳパケットには、図２に示すように、セクション（Ｓｅｃｔｉｏｎ）に対してＰＳＩ（Ｐｒｏｇｒａｍ Ｓｐｅｃｉｆｉｃ Ｉｎｆｏｒｍａｔｉｏｎ）／ＳＩ（Ｓｅｒｖｉｃｅ Ｉｎｆｏｒｍａｔｉｏｎ）が規定されている。ＰＳＩ／ＳＩには、ＴＳパケットに格納されているデータの種別を示す情報や、コンテンツの種別を示す情報が含まれている。上述のＥＩＴは、ＳＩに含まれている。
【００３０】
ＴＳパケットによるデータ伝送は、セクションを用いてデータを伝送する方式とＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケットを用いてデータを伝送する方式（データストリーム伝送方式）とに分類される。
【００３１】
セクションを用いてデータを伝送する方式には、データカルーセル伝送方式と、イベントメッセージ伝送方式がある。
【００３２】
データカルーセル伝送方式は、１以上のデータを一定周期で繰り返し伝送する伝送方式である。データカルーセル伝送方式によって伝送される個々のデータ（モジュール）には、それらを一意に識別するための識別情報が付されている。データカルーセル伝送方式は、受信機４側に個々のデータを任意のタイミングで取得させるために用いられる。
【００３３】
イベントメッセージ伝送方式は、放送局１から受信機４に対して、トリガ信号を送るための方式である。イベントメッセージ伝送方式は、データ量が少ないメッセージを放送局１から受信機４に伝送する場合に用いられる。
【００３４】
データストリーム伝送方式は、伝送するデータをＰＥＳパケットに収容してストリームとして伝送する伝送方式である。データストリーム伝送方式は、映像、音声、字幕データ等のリアルタイム型のデータや、他のストリームとの同期を要するデータの伝送に用いられる。
【００３５】
ここで、ＡＩＴは、ＴＳパケットを用いて様々な方法によって伝送可能である。
即ち、ＡＩＴは、ＴＳパケットのＳＩに含まれるＥＩＴに対して記述することによって伝送可能である。
【００３６】
また、ＡＩＴは、セクションを用いてデータカルーセル伝送方式により伝送可能である。ＡＩＴをデータカルーセル伝送方式により伝送する場合、受信機４側でＡＩＴであることを認識できるようにモジュールに対して識別情報が付される。
【００３７】
また、ＡＩＴは、ＰＥＳとしてコンテンツの映像や音声に多重させて伝送可能である。
【００３８】
また、ＡＩＴは、バイナリ表現又はＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）によるテキスト表現で記述して、ＴＳパケットに格納することができる。
本実施形態では、ＡＩＴの伝送方法は、上記の伝送方法の少なくともいずれかに予め規定されているものとする。
【００３９】
なお、ＸＭＬをベースとした、マルチメディア符号化用に開発されたＢＭＬは、Ｗ３Ｃ（登録商標）（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ Ｃｏｎｓｏｒｔｉｕｍ）が定義したｘＨＴＭＬを基礎とし、手続き型言語にはＪａｖａＳｃｒｉｐｔ（登録商標）を基礎としたＥＣＭＡＳｃｒｉｐｔを用いて国際標準との整合性を考慮して定義された規格である。
【００４０】
サービスサーバ３は、図示は省略するが、放送済みの番組コンテンツや、アプリ用コンテンツを配信するコンテンツ配信サーバと、受信機４で動作する各種のアプリケーションを配信するアプリケーション配信サーバとを備える。
【００４１】
サービスサーバ３は、放送局１の設備と通信可能に接続されており、番組コンテンツや、番組コンテンツのメタデータを放送局１から受信する。
サービスサーバ３は、受信機４から番組コンテンツの取得要求を受け付けたことに応じて、受信機４に対して番組コンテンツを送信する。
【００４２】
また、サービスサーバ３は、受信機４からアプリケーションの取得要求を受け付けたことに応じて、受信機４に対してアプリケーションを送信する。さらに、サービスサーバ３は、受信機４においてアプリケーションが実行されている場合に、映像や音声等の各データを含むアプリ用コンテンツを受信機４に送信する。
【００４３】
また、サービスサーバ３は、必要に応じて、番組コンテンツに対してＡＩＴを多重化させて受信機４に送信する。また、サービスサーバ３は、受信機４からＡＩＴの取得要求を受け付けたことに応じて、受信機４に対してＡＩＴを送信する。
【００４４】
また、サービスサーバ３は、番組コンテンツの音声情報と、視聴者が番組コンテンツを視聴した時に発した音声情報と、をミキシングしたミキシング音声情報にユーザＩＤを関連付けたミキシングされたアップリンク情報を受信機４から受信する。
【００４５】
また、サービスサーバ３は、受信機４から受信したミキシングされたアップリンク情報をもとに、番組コンテンツの音声情報からシーンを特定し、当該シーンにおける視聴者の発話内容や周囲の暗騒音区間を抽出し、この抽出の結果を用いて視聴者の番組に関する関心度等を算出し、当該視聴者に勧める番組や当該番組や当該シーンに関連する情報を生成し、当該情報を受信機４や受信機４に接続された携帯端末等に送信する。
【００４６】
受信機４は、放送局１からの放送又はサービスサーバ３との通信を介して受信する番組コンテンツに対して所定の処理を行うことにより、番組コンテンツを構成する映像や音声を同期して出力する。また、受信機４は、ＡＩＴに基づいて、アプリケーションを適宜取得し、取得したアプリケーションを起動して実行する。また例えば、受信機４は、実行されているアプリケーションによってサービスサーバ３からアプリ用コンテンツを取得し、番組コンテンツに連携させて出力することも可能である。なお、アプリ用コンテンツの出力は、必ずしも番組コンテンツに連携させる必要はない。
以下、このような受信機４の機能について詳述する。
【００４７】
まず、理解を容易にするため、図３を参照して、受信機４が有する機能の一部の概要を説明する。
図３は、放送通信連携システム１００の概要を示す図である。
【００４８】
図３の例では、視聴状態情報として、視聴者が発声した音声のデータが採用されている。このため、視聴者の音声を入力するためのマイクロフォンデバイス６（以下、マイクデバイス６と略称する）が、受信機４に接続されている。なお、図３においては、マイクデバイス６は受信機４からみて外部機器となっているが、これはあくまでも例示であって、後述するように、マイクデバイス６は受信機４に内蔵されていてもよい。また、受信機４は、スマートフォンや携帯電話機等で構成される携帯端末１０と連動して動作することもできる。
【００４９】
受信機４は、放送局１が放送した番組コンテンツを含んだ放送信号を受信して、当該番組コンテンツを再生する。
このとき、受信機４は、当該番組コンテンツにおける所定シーンを再生させているときに、番組コンテンツの音声情報と、マイクデバイス６から入力した視聴者の音声のデータを音声情報として取得する。
次に、受信機４は、これら取得した情報をミキシングした情報（以下、ミキシング音声情報と呼ぶ）を生成する。
そして、受信機４は、ミキシング音声情報を、通信によりサービスサーバ３に提供する。
【００５０】
サービスサーバ３は、ミキシング音声情報を受信すると、これに対するサービスフィードバック情報として、当該番組コンテンツの所定シーンに関連する各種情報や、当該視聴者に推薦する別の番組コンテンツの情報を、受信機４や携帯端末１０に送信する。
【００５１】
さらに以下、図４を参照して、受信機４について詳述する。
図４は、受信機４の機能構成を示すブロック図である。
受信機４は、放送波受信部１１と、第１分離部１２と、放送ＡＩＴ取得部１３と、通信部１４と、第２分離部１５と、通信ＡＩＴ取得部１６と、アプリケーション実行制御部１７と、音声制御部１８と、表示制御部１９と、スピーカ２０と、ディスプレイ２１と、メモリ２２と、ＡＩＴ記憶部２３、外部機器接続手段としてのデバイス接続部２４と、ミキシング手段としての関連付け部２５とを備える。
【００５２】
放送波受信部１１は、放送用アンテナ２を介して放送局１から送信されている放送波を受信する。
【００５３】
第１分離部１２は、放送波受信部１１に受信された放送波を復調することによって、放送信号、即ちＴＳパケットを抽出する。そして、第１分離部１２は、ＴＳパケットのＰＳＩ／ＳＩを参照して、ＴＳパケットに含まれているデータの種別を判別し、映像、音声、ＥＩＴ等の各種データを分離して抽出する。また、第１分離部１２は、予め規定されているＡＩＴの伝送方法に応じて、セクションやＰＥＳを参照してＡＩＴを分離して抽出する。
【００５４】
続いて、第１分離部１２は、ＴＳパケットのＰＥＳに含まれているデータが音声データである場合、この音声データを音声制御部１８に出力する。また、第１分離部１２は、ＴＳパケットのＰＥＳに含まれているデータが映像データである場合、この映像データを表示制御部１９に出力する。
【００５５】
また、第１分離部１２は、抽出したＥＩＴやその他の各種データをメモリ２２に記憶させる。また、第１分離部１２は、ＡＩＴを抽出した場合、抽出したＡＩＴを放送ＡＩＴ取得部１３に出力する。
【００５６】
放送ＡＩＴ取得部１３は、第１分離部１２から出力されたＡＩＴを取得し、ＡＩＴ記憶部２３に記憶させる。
【００５７】
通信部１４は、通信ネットワークＮを介するサーバ群３との間で各種情報を送受信したり、リモートコントローラＲ（以下、リモコンＲと略記する）からの操作信号を受信したり、携帯端末１０との間で各種情報を送受信する。
【００５８】
第２分離部１５は、サーバ群３から通信ネットワークＮを介して送信されてきて通信部１４に受信されたデータの種別を判別し、その判別結果に基づいてデータの出力先を分離する。例えば、第２分離部１５は、受信したデータがＡＩＴであると判別した場合、このＡＩＴを通信ＡＩＴ取得部１６に出力する。また、第２分離部１５は、受信したデータがアプリケーションであると判別した場合、このアプリケーションをアプリケーション実行制御部１７に出力する。
【００５９】
また、第２分離部１５は、受信したデータがＴＳパケットであると判別した場合、映像、音声、ＡＩＴ等の各種データをＴＳパケットから分離して抽出する。そして、第２分離部１５は、ＡＩＴを抽出した場合、このＡＩＴを通信ＡＩＴ取得部１６に出力し、ＡＩＴ以外のデータを抽出した場合、このデータをアプリケーション実行制御部１７に出力する。
【００６０】
通信ＡＩＴ取得部１６は、第２分離部１５から出力されたＡＩＴを取得し、ＡＩＴ記憶部２３に記憶させる。
【００６１】
アプリケーション実行制御部１７は、ＡＩＴ又はリモコンＲを介したユーザの実行指示に基づいてアプリケーションを取得し、取得したアプリケーションの実行を制御する。例えば、アプリケーション実行制御部１７は、関連付け情報を生成して出力するアプリケーションを起動した場合、当該アプリケーションの実行によって、メモリ２２に記憶されたユーザを特定するユーザＩＤを関連付け部２５に出力する。
【００６２】
メモリ２２は、ＥＩＴ等の番組コンテンツのメタ情報やその他各種情報を記憶する。
ＡＩＴ記憶部２３は、放送ＡＩＴ取得部１３及び通信ＡＩＴ取得部１６によって取得されたＡＩＴを記憶する。
【００６３】
デバイス接続部２４は、マイクデバイス６等のデバイスを接続し、当該デバイスからの入力情報を視聴状態情報として関連付け部２５に供給する。
具体的には、デバイス接続部２４は、アプリケーション実行制御部１７により実行されたアプリケーションによって、マイクデバイス６から入力された視聴者の音声のデータを、視聴者音声情報として取得して、関連付け部２５に出力する。
なお、デバイス接続部２４に接続されるデバイスは、マイクデバイス６に限られず、その他例えば、視聴者の動作を撮影するカメラデバイスや、視聴者の位置情報を取得可能なジャイロセンサや、視聴者の動作を検知可能な光センサであってもよい。
さらに、デバイス接続部２４に接続とは、外部機器に接続することのみを意味せず、内蔵機器に接続することも意味する。従って、マイクデバイス６は、外部機器である必要は特になく、受信機４に内蔵されていてもよい。
なお、デバイス接続部２４のさらなる詳細については、図６乃至図１０を参照して後述する。
【００６４】
関連付け部２５は、番組コンテンツの音声データをコンテンツ音声情報として音声制御部１８から取得する。関連付け部２５は、視聴者が番組コンテンツを視聴した時に発した音声データを視聴者音声情報としてデバイス接続部２４から取得する。関連付け部２５は、ユーザＩＤ等のＩＤ情報をメモリ２２から取得する。
関連付け部２５は、これらの取得した情報、即ち、コンテンツ音声情報と視聴者音声情報とをミキシングしたミキシング音声情報にユーザＩＤを関連付けたミキシングされたアップリンク情報を生成して、通信部１４を介してサービスサーバ３に送信する。
なお、関連付け部２５のさらなる詳細については、図１１及び図１２を参照して後述する。
【００６５】
さらに以下、このような機能的構成を有する受信機４のうち、デバイス接続部２４について、図６乃至図１０を参照して説明する。
【００６６】
上述の如く、デバイス接続部２４には、マイクデバイス６といったデバイスが接続される。ただし、デバイス接続部２４は、デバイスが単に物理的に接続されたとしても、当該デバイスを発見して認識しなければ、当該デバイスからの情報を視聴状態情報として関連付け部２５に出力することはできない。
【００６７】
図６は、このようなデバイスの発見に関する動作を説明する図であって、Ｈｙｂｒｉｄｃａｓｔ機能のレイヤの関係を示す図である。
図６に示すように、Ｈｙｂｒｉｄｃａｓｔ機能のレイヤとしては、下層から上層に向かう順に、ハードウェア、システムソフトウェア、ヴァーチャルマシン、Ｈｙｂｒｉｄｃａｓｔ基本ライブラリ及び拡張ライブラリ、及び、Ｈｙｂｒｉｄｃａｓｔアプリケーションが存在する。
デバイス接続部２４におけるデバイスの発見の動作は、本実施形態では、拡張ライブラリ（ソフトウェアプログラム）の１つである機器発見ライブラリによって行われる。
【００６８】
図７は、デバイス接続部２４の概念を示す図である。
図７に示すように、アプリケーション実行制御部１７により実行されるＨｙｂｒｉｄｃａｓｔアプリケーションが、デバイス接続部２４に設けられるデバイスマネージャやＨＩＤ（Ｈｕｍａｎ Ｉｎｔｅｒｆａｃｅ Ｄｅｖｉｃｅ）等とやり取りをする。
ここで、一般的なフィジカルネットワーク層におけるデバイスマネージャインプリメンテイションやＨＩＤインプリメンテイションは、本実施形態では、従来から存在するものが流用される。このため、図８乃至図１０のシーケンス図に示すような各種各様のリスナーを実装し、同シーケンス図に示すような各種イベント等を生成して処理するクラスとして、デバイスマネージャやＨＩＤを含むインプリメンテイションクラスを実装することにより、デバイス接続部２４が実現される。
【００６９】
図８は、視聴状況取得等でデバイスを使用するＨｙｂｒｉｄｃａｓｔアプリケーションのサービスが開始される際に、所定の外部機器がデバイスとして接続されたときのシーケンス図を示している。
ステップＳ１において、関連付け部２５は、ユーザＩＤ等のＩＤ情報をメモリ２２から取得する。ただし、ＩＤ情報の取得は、ステップＳ１の処理タイミングだけではなく、放送局１からの番組コンテンツの変わり目等で随時行われる。
【００７０】
次に、デバイスマネージャによる機器発見部分のシーケンスとして、次のようなステップＳ２乃至Ｓ９の処理が実行される。
ステップＳ２において、アプリケーション実行制御部１７により実行されるＨｙｂｒｉｄｃａｓｔアプリケーション（図８乃至図１０のシーケンス図の説明ではアプリと略称する）は、デバイス接続部２４において、デバイスマネージャインスタンスを登録する。
ステップＳ３において、デバイスマネージャは、関連付け部２５に対してアプリを通知する。
ステップＳ４において、関連付け部２５は、関連付け部物理情報をデバイスマネージャに通知する。ここで、関連付け部物理情報とは、音声データを物理的にどこに流すべきかを示す情報である。
ステップＳ５において、アプリは、デバイスディスカバリーリスナを生成する。即ち、デバイスディスカバリイベントが登録される。
ステップＳ６において、デバイスマネージャが、ＨＩＤに対してデバイスの発見を試みる。
ステップＳ７において、ＨＩＤは、その応答をデバイスマネージャに返す。
ステップＳ８において、デバイスマネージャは、ステップＳ７の応答から得られたデバイス情報と、ステップＳ４において通知された関連付け部物理情報とに基づいて、新しいデバイスインスタンスを生成して登録する。
ステップＳ９において、デバイスマネージャは、デバイス情報をアプリに送ることによって、新しいデバイスをアプリに通知する。
【００７１】
このようにして、デバイスマネージャによる機器発見部分のシーケンスとして、ステップＳ２乃至Ｓ９の処理が実行されると、それに引き続き、デバイスインスタンスによるディスクリプションとコントロール部分のシーケンスとして、次のようなステップＳ１０乃至Ｓ１４の処理が実行される。
ステップＳ１０において、アプリは、デバイスインスタンスに対して、デバイスステイタスリスナーを登録する。
ステップＳ１１において、デバイスインスタンスは、デバイスの状況（例えば電源状態がＯＮ状態なのかＯＦＦ状態なのかといった状況）を、ＨＩＤに対して確認する。
ステップＳ１２において、ＨＩＤは、デバイスの状況、例えば電源状態やデバイス固有情報をデバイスインスタンスに通知する。なお、デバイスの電源状態がＯＦＦ状態の場合には、さらに図９に示す処理が必要になるが、この処理については後述する。
ステップＳ１３において、デバイスインスタンスは、ＨＩＤから通知されたデバイスの状況を、アプリに通知する。
ステップＳ１４において、デバイスインスタンスは、デバイスの入力データ（音声のデータであって、視聴者音声情報になるデータ）を関連付け部２５に出力する制御を実行すべく、関連付け部２５の通知をＨＩＤに対して行う。
【００７２】
ここで、デバイスの電源状態がＯＦＦ状態である場合における、デバイスインスタンスによるディスクリプションとコントロール部分のシーケンスについて説明する。
先ず、デバイスの電源状態によらず、ステップＳ１１の処理は実行されるが、デバイスの電源状態がＯＦＦ状態である場合には、ステップＳ１２の処理の代わりに、図９のシーケンス図に従った処理が実行される。
図９は、デバイスの電源状態がＯＦＦ状態である場合における、デバイスインスタンスによるディスクリプションとコントロール部分のシーケンス図である。
ステップＳ１２−１の処理は、ステップＳ１２と実質同一の処理である。ただし、ステップＳ１２−１においては、電源状態がＯＦＦ状態である旨がデバイスインスタンスに通知される。
そこで、ステップＳ３３において、デバイスインスタンスは、デバイスの電源状態をＯＮ状態に遷移させる要求（以下、デバイス電源ＯＮ要求と呼ぶ）を、デバイスマネージャに対して行う。
ステップＳ３４において、デバイスマネージャは、デバイスの電源状態をＯＮ状態に遷移させる。
ステップＳ１２−２において、ＨＩＤは、デバイスの状況、例えば電源状態やデバイス固有情報をデバイスインスタンスに通知する。なお、この場合、電源状態がＯＮ状態である旨がデバイスインスタンスに通知される。
その後、上述した図８のステップＳ１３及びＳ１４の処理が実行される。
【００７３】
このようにして、デバイスインスタンスによるディスクリプションとコントロール部分のシーケンスとして、図８のステップＳ１０乃至Ｓ１４の処理（デバイスの電源状態がＯＦＦ状態の場合図９の処理）が実行されると、次に引き続き、次のようなステップＳ１５乃至Ｓ１９の処理が実行される。
ステップＳ１５において、アプリは、デバイスインスタンスに対して、入力イベントを要求する。
ステップＳ１６において、デバイスインスタンスは、ＨＩＤに対して、入力イベントを要求する。
ステップＳ１７において、デバイスは、即ちここでは外部機器であるマイクデバイス６は、音声のデータをＨＩＤに入力する。
ステップＳ１８において、ＨＩＤは、ステップＳ１７の処理で入力された音声のデータを、入力データとして関連付け部２５に提供する。なお、関連付け部２５は、当該入力データを視聴者音声情報として取得する。
ステップＳ１９において、音声制御部１８は、番組コンテンツの音声データを関連付け部２５に提供する。
これ以降、アプリから入力イベントが要求される毎に、ステップＳ１５乃至Ｓ１９の処理が繰り返し実行される。
【００７４】
以上まとめると、デバイス接続部２４においては、デバイスマネージャが機能する。このデバイスマネージャの主な機能は、ＨＩＤ（デバイス）を発見し、発見したデバイスのデバイス情報と、関連付け部情報とを一緒に用いてデバイスインスタンスを生成することである。
また、このようにしてデバイスマネージャにより生成されたデバイスインスタンスの機能は、アプリから入力イベントを受け取り、ＨＩＤと関連付け部２５とを制御することである。
また、関連付け部２５の機能は、デバイス（ＨＩＤ）からの入力データ（音声のデータであって、視聴者音声情報となるデータ）と、受信機４の内部情報（ＩＤ情報）とを関連付けることである。
【００７５】
ところで、デバイス接続部２４に接続されるデバイスは、上述したように、外部機器に特に限定されず、受信機４の内蔵機器であってもよい。
【００７６】
図１０は、視聴状況取得等でデバイスを使用するＨｙｂｒｉｄｃａｓｔアプリケーションのサービスが開始される際に、デバイスとして受信機４の内蔵機器を用いる場合のシーケンス図を示している。
図１０と図８とを比較するに、図１０のステップＳ５１乃至Ｓ５４は、図８のステップＳ１乃至Ｓ４と同様の処理である。
しかしながら、図１０においては、図８のステップＳ５乃至Ｓ７に相当する処理は存在しない。内蔵機器の発見は不要だからである。このため、図１０のステップＳ５５においては、デバイスマネージャは、内蔵機器の既知情報と、ステップＳ５４において通知された関連付け部物理情報とに基づいて、新しいデバイスインスタンスを生成して登録する。
また、図１０においては、デバイスインスタンスによるディスクリプションとコントロール部分のシーケンスが存在しない。即ち、図１０においては、図８のステップＳ１０乃至Ｓ１４（デバイスの電源状態がＯＦＦ状態の場合には図９）に相当する処理は存在しない。内蔵機器の場合、ステイタスリスナーは不要だからである。即ち、デバイスマネージャから状況を変更可能だからである。
なお、図１０のステップＳ５６乃至Ｓ６０は、図８のステップＳ１５乃至Ｓ１９と同様の処理である。即ち、アプリから入力イベントが要求される毎に、ステップＳ５６乃至Ｓ６０の処理が繰り返し実行される。
【００７７】
以上、図４の機能的構成を有する受信機４のうち、デバイス接続部２４の詳細について、図６乃至図１０を参照して説明した。次に、このような受信機４のうち、関連付け部２５の詳細について、図１１及び図１２を参照して説明する。
【００７８】
図１１は、関連付け部２５の機能構成を示す機能ブロック図である。
関連付け部２５は、視聴者音声情報取得部２５１と、コンテンツ音声情報取得部２５２と、ＩＤ（ユーザＩＤ）取得部２５３と、音声ミキシング部２５４と、によりミキシングされたアップリンク情報を生成する。
【００７９】
視聴者音声情報取得部２５１は、デバイス接続部２４から入力データとして出力された音声のデータ（図８のステップＳ１８参照）、即ち視聴者が番組コンテンツを視聴した時に発した音声のデータを、視聴者音声情報として取得する。
コンテンツ音声情報取得部２５２は、音声制御部１８から入力データとして出力された音声のデータ（図８のステップＳ１９参照）を、コンテンツ音声情報として取得する。
ＩＤ（ユーザＩＤ）取得部２５３は、アプリケーション実行制御部１７から出力されたユーザＩＤ（図８のステップＳ１のＩＤ情報）を取得する。
【００８０】
音声ミキシング部２５４は、視聴者音声情報取得部２５１に取得された視聴者音声情報と、コンテンツ音声情報取得部２５２に取得されたコンテンツ音声情報とをミキシングしたミキシング音声情報にユーザＩＤを関連付けることによって、ミキシングされたアップリンク情報を生成する。音声ミキシング部２５４は、アプリケーション実行制御部１７がアプリケーションを終了させるまで、随時、ミキシングされたアップリンク情報を通信部１４に出力する。
【００８１】
図１２は、関連付け部２５の処理の流れを説明するフローチャートである。
ステップＳ１０１において、関連付け部２５は、視聴者音声情報取得部２５１で視聴者音声情報を取得し、コンテンツ音声情報取得部２５２でコンテンツ音声情報を取得し、ＩＤ取得部２５３でユーザＩＤを取得する。
ステップＳ１０２において、音声ミキシング部２５４は、ステップＳ１０１で取得した各種情報、即ち、視聴者音声情報及びコンテンツ音声情報をミキシングしたミキシング音声情報に対して、ユーザＩＤを関連付けることによって、ミキシングされたアップリンク情報を生成する。
ステップＳ１０３において、音声ミキシング部２５４は、ステップＳ１０２で生成したミキシングされたアップリンク情報を通信部１４に出力する。
ステップＳ１０４において、関連付け部２５は、アプリケーション実行制御部１７がアプリケーションを終了させたか否かを判断し、終了させていない場合はステップＳ１０１に処理を戻し、終了させた場合は本処理を終了させる。
【００８２】
関連付け部２５から出力された、ミキシングされたアップリンク情報は、通信部１４を介して、サービスサーバ３に送信される。
サービスサーバ３は、ミキシングされたアップリンク情報を受信し、これをもとに音声処理を行う。これにより、サービスサーバ３は、ユーザＩＤにより特定される視聴者が「どのシーンで笑った」、「どのシーンで興味を失った」等の情報を推定し、視聴者に特別な動作をさせることなく、コンテンツの各シーンにおける視聴者の視聴状態を的確に推定することが可能となる。
【００８３】
本実施形態によれば、以下のような効果がある。
（１）受信機４の関連付け部２５は、コンテンツの音声情報と、視聴者がコンテンツを視聴した時に発した音声情報と、をミキシングしたミキシング音声情報を生成する。
通信部１４は、関連付け部２５で生成したミキシング音声情報をサーバに送信する。
これにより、コンテンツの音声情報と、視聴者がコンテンツを視聴した時に発した音声情報とがミキシングされ、サーバに送信される。
従って、放送と通信の連携を図るシステムにおいて、サーバは、放送局が放送したコンテンツの所定シーンについての視聴状態を容易かつ適切に取得できるようになる。
【００８４】
（２）受信機４は、マイクデバイス６を備えていなくとも、視聴者が発した音声情報を取得するマイクデバイスをデバイス接続部２４に接続することで、視聴状態情報を取得できる。
これにより、放送と通信の連携を図るシステムにおいて、受信機がマイクデバイスを備えなくとも、サーバは、放送局が放送したコンテンツの所定シーンについての視聴状態を容易かつ適切に取得できるようになる。
また、当該サービスを受けることができる受信機の必須項目からマイクデバイスを除外できるので、当該サービスを受けることができる受信機の普及を促進できる。
【００８５】
（３）受信機４は、マイクデバイス６を備えたので、放送と通信の連携を図るシステムにおいて、別途にマイクデバイスを用意しなくとも、サーバは、放送局が放送したコンテンツの所定シーンについての視聴状態を容易かつ適切に取得できるようになる。
【００８６】
なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
本実施形態では、番組コンテンツのコンテンツ音声情報とマイクデバイスにより取得した視聴者の視聴者音声情報をミキシングしているが、コンテンツのシーンと当該シーンを視聴した視聴者の視聴状態とを関連付けできる限り、番組コンテンツのコンテンツ画像とカメラデバイスにより取得した視聴者の視聴者画像とをミキシングしたミキシング画像情報を生成し、このミキシング画像情報をサービスサーバに送信してもよい。
【符号の説明】
【００８７】
１ 放送局
３ サービスサーバ
４ 受信機
２５ 関連付け部（ミキシング手段）
１４ 通信部
Ｎ ネットワーク
【技術分野】
【０００１】
本発明は、放送と通信の連携を図る機能を有する受信機及びプログラムに関する。
【背景技術】
【０００２】
近年、放送のデジタル化と通信のブロードバンド化の進展に伴い、放送通信連携サービスの実現に向けた研究開発が行われている。
【０００３】
また、この放送通信連携サービスにおいては、放送と通信という異なる伝送路を用いて複数のコンテンツを配信し、デジタルテレビ等の受信機において、配信された複数のコンテンツを統合して提示する形態が想定される。
【０００４】
ところで、現在、データ放送では、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）をベースとした、マルチメディア符号化用に開発されたＢＭＬ（Ｂｒｏａｄｃａｓｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）という放送サービスに必要な機能を拡張した言語を用いて、様々なコンテンツが提供されている（特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−６０９３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、データ放送では、全ての情報を放送波に多重化させる必要があるため、放送波で送信可能なデータ容量に一定の制限がある。
【０００７】
そこで、放送に対して、送信可能なデータ容量に制限のない通信との連携させるシステムの実現が望まれている。
【０００８】
特に、このような放送と通信の連携を図るシステムでは、通信により受信機に対して各種サービスを提供するサーバが構築される。
従って、例えば、放送局が放送したコンテンツのうち所定シーンに対する視聴者の視聴状態、例えば当該所定シーンを視聴しているときの視聴者の表情や音声等を、多数の受信機の各々から取得して、サービスに活用するサーバが現れてくることが想定される。
【０００９】
この場合、仮に、データ放送等の従来の受信機が対象となっているのであれば、サーバは、所定コンテンツの所定シーンを視聴しているときの多数の視聴者の視聴状態として、所定シーンが放送局から放送された時刻（１０時１０分等の絶対時刻）における視聴状態を多数の受信機の各々から取得すればよい。
【００１０】
しかしながら、放送と通信の連携を図るシステムでは、サーバが、同一時刻（絶対時刻）における視聴状態を多数の受信機の各々から取得したとしても、これらの視聴状態は、同一シーンについてのものであるとは必ずしも限らない。受信機が、放送と通信の同期を内部で取ることがあり、放送によるコンテンツの再生が遅延することがあるためである。即ち、複数の受信機の間では、同一時刻に同一シーンが必ずしも再生されているとは限らないためである。
【００１１】
このため、放送と通信の連携を図るシステムにおいて、サーバが、放送局が放送したコンテンツの所定シーンについての視聴状態を容易かつ適切に取得できる仕組みの実現が要望されている。
【００１２】
本発明は、このような状況に鑑みてなされたものであり、放送と通信の連携を図るシステムにおいて、サーバが、放送局が放送したコンテンツの所定シーンについての視聴状態を容易かつ適切に取得できるようにすることを１つの目的とする。
【課題を解決するための手段】
【００１３】
本発明に係る受信機は、ネットワークを介してサーバに接続され、放送局が放送したコンテンツを含んだ放送信号を受信する受信機であって、前記コンテンツの音声情報と、視聴者が前記コンテンツを視聴した時に発した音声情報と、をミキシングしたミキシング音声情報を生成するミキシング手段と、前記ミキシング手段で生成した前記ミキシング音声情報を前記サーバに送信する通信手段と、を備える構成とした。
【００１４】
かかる構成によれば、ミキシング手段は、コンテンツの音声情報と、視聴者がコンテンツを視聴した時に発した音声情報と、をミキシングしたミキシング音声情報を生成する。
通信手段は、ミキシング手段で生成したミキシング音声情報をサーバに送信する。
【００１５】
これにより、コンテンツの音声情報と視聴者がコンテンツを視聴した時に発した音声情報とがミキシングされ、サーバに送信される。
従って、放送と通信の連携を図るシステムにおいて、サーバは、放送局が放送したコンテンツの所定シーンについての視聴状態を容易かつ適切に取得できるようになる。
【００１６】
この場合、前記コンテンツを視聴した視聴者が発した音声情報を取得するマイクデバイスが接続される外部機器接続手段を備えることが好ましい。
かかる構成によれば、マイクデバイスを備えていない受信機であっても、視聴者が発した音声情報を取得するマイクデバイスを外部機器接続手段に接続することで、視聴状態情報を取得できる。
これにより、放送と通信の連携を図るシステムにおいて、受信機がマイクデバイスを備えなくとも、サーバは、放送局が放送したコンテンツの所定シーンについての視聴状態を容易かつ適切に取得できるようになる。
また、当該サービスを受けることができる受信機の必須項目からマイクデバイスを除外できるので、当該サービスを受けることができる受信機の普及を促進できる。
【００１７】
また、この場合、前記コンテンツを視聴した視聴者が発した音声情報を取得するマイクデバイスを備えることが好ましい。
【００１８】
かかる構成によれば、受信機が視聴状態取得手段を備えたので、放送と通信の連携を図るシステムにおいて、別途にマイクデバイスを用意しなくとも、サーバは、放送局が放送したコンテンツの所定シーンについての視聴状態を容易かつ適切に取得できるようになる。
【００１９】
本発明に係るプログラムは、ネットワークを介してサーバに接続され、放送局が放送したコンテンツを含んだ放送信号を受信する受信機を制御するコンピュータを、前記コンテンツの音声情報と、視聴者が前記コンテンツを視聴した時に発した音声情報と、をミキシングしたミキシング音声情報を生成するミキシング手段、前記ミキシング手段により生成された前記ミキシング音声情報を前記サーバに送信する制御を実行する通信手段、として機能させる構成とした。
かかる構成によれば、本発明に係る受信機と同様の作用効果を奏する。
【発明の効果】
【００２０】
本発明によれば、放送と通信という異なる伝送路から配信される複数のコンテンツを統合して提示するサービスにおいて、受信機で提示されたコンテンツのシーンと正確に対応した視聴者の視聴状態についての情報を得ることができる受信機及びプログラムを提供できる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態に係る放送通信連携システムの全体構成図である。
【図２】デジタル放送に係る放送信号の伝送プロトコルのスタックを示す図である。
【図３】放送通信連携システムの概要を示す図である。
【図４】受信機の機能構成を示すブロック図である。
【図５】ＸＭＬ形式で記述されたＡＩＴの一例を示す図である。
【図６】デバイスの発見に関する動作を説明する図であって、Ｈｙｂｒｉｄｃａｓｔ機能のレイヤの関係を示す図である。
【図７】デバイス接続部の概念を示す図である。
【図８】視聴状況取得等でデバイスを使用するＨｙｂｒｉｄｃａｓｔアプリケーションのサービスが開始される際に、所定の外部機器がデバイスとして接続されたときのシーケンス図である。
【図９】デバイスの電源状態がＯＦＦ状態である場合における、デバイスインスタンスによるディスクリプションとコントロール部分のシーケンス図である。
【図１０】視聴状況取得等でデバイスを使用するＨｙｂｒｉｄｃａｓｔアプリケーションのサービスが開始される際に、デバイスとして受信機の内蔵機器を用いる場合のシーケンス図である。
【図１１】関連付け部の機能構成を示すブロック図である。
【図１２】図１１の関連付け部の処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態について図面を参照して説明する。
図１は、本発明の一実施形態に係る放送通信連携システム１００の全体構成図である。放送通信連携システム１００は、放送局１と、放送用アンテナ２と、サービスサーバ３（配信サーバ）と、受信機４とを含んで構成される。この放送通信連携システム１００では、受信機４において、ＩＳＤＢ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｂｒｏａｄｃａｓｔｉｎｇ：統合デジタル放送サービス）方式によって放送局１から提供される放送サービスと、インターネット等により構成される通信ネットワークＮを介してサービスサーバ３から提供される通信サービスとが連携される。これにより、放送通信連携サービスが受信機４のユーザに提供される。
本実施形態では、放送通信連携システム１００は、Ｈｙｂｒｉｄｃａｓｔ（登録商標）システムであるものとする。Ｈｙｂｒｉｄｃａｓｔとは、同報性、高品質、高信頼という放送の特徴と、視聴者の個別の要求に応えることができるという通信の特徴とを生かしたシステムを構築するための仕組みである。Ｈｙｂｒｉｄｃａｓｔシステムは、放送サービスを中心に置きながら、通信の活用によってサービスを強化するという観点で、放送と通信のハイブリッドサービスを実現することができる。
【００２３】
放送局１は、番組編成設備と、番組送出設備と、送信設備とを含んで構成される一般的なデジタル放送用の放送設備（図示省略）を備える。
放送局１は、放送設備によって、コンテンツや、イベント情報（Ｅｖｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｔａｂｌｅ：ＥＩＴ）や、ＡＩＴ（以下、アプリケーション管理情報とも適宜呼ぶ）等を制作する。そして、放送局１は、放送設備によって、これらコンテンツ、イベント情報及びＡＩＴ等を多重化した放送信号を生成し、当該放送信号を放送波に変調して放送用アンテナ２から送信する。
【００２４】
このような放送波に含まれるコンテンツとしては、放送スケジュールに従って放送される番組を構成する映像や音声の各データを含むコンテンツ（以下、番組コンテンツと呼ぶ）の他、番組コンテンツとは非同期に発生するコンテンツ、例えば緊急地震速報等を含むコンテンツ（以下、緊急コンテンツと呼ぶ）も存在する。
【００２５】
イベント情報は、番組コンテンツの名称、番組コンテンツの放送日時、番組コンテンツの説明等、コンテンツに関するメタ情報を含む。以下、テーブル形式のイベント情報をＥＩＴと呼ぶ。
ＡＩＴ（アプリケーション管理情報）は、受信機４で実行可能な１以上のアプリケーションを管理するための情報である。ＡＩＴには、１以上のアプリケーションのそれぞれに対応し、当該１以上のアプリケーションのそれぞれを管理するための個別管理情報が含まれる。個別管理情報には、管理対象のアプリケーションを識別するアプリケーションＩＤ、当該アプリケーションのライフサイクルを制御するライフサイクル制御情報、当該アプリケーションの所在を示すロケーション情報等が含まれている（後述の図５参照）。
【００２６】
アプリケーションにより提供されるコンテンツには、番組コンテンツに連動するコンテンツ及び番組コンテンツに連動しないコンテンツが含まれる。以下、アプリケーションにより提供されるコンテンツをアプリ用コンテンツという。
【００２７】
放送信号は、従来のデジタル放送の放送信号と同一であり、ＡＲＩＢ（登録商標）（Ａｓｓｏｃｉａｔｉｏｎ ｏｆ Ｒａｄｉｏ Ｉｎｄｕｓｔｒｉｅｓ ａｎｄ Ｂｒｏａｄｃａｓｔ：社団法人電波産業会）標準規格で規定される。
【００２８】
図２は、デジタル放送に係る放送信号の伝送プロトコルのスタックを示す図である。図２に示すように、デジタル放送によって提供される映像、音声等の各種データは、国際標準規格ＭＰＥＧ−２ Ｓｙｓｔｅｍｓで規定されるＴＳパケット（トランスポートストリームパケット）に格納されて、時分割で多重伝送される。
【００２９】
ＴＳパケットには、図２に示すように、セクション（Ｓｅｃｔｉｏｎ）に対してＰＳＩ（Ｐｒｏｇｒａｍ Ｓｐｅｃｉｆｉｃ Ｉｎｆｏｒｍａｔｉｏｎ）／ＳＩ（Ｓｅｒｖｉｃｅ Ｉｎｆｏｒｍａｔｉｏｎ）が規定されている。ＰＳＩ／ＳＩには、ＴＳパケットに格納されているデータの種別を示す情報や、コンテンツの種別を示す情報が含まれている。上述のＥＩＴは、ＳＩに含まれている。
【００３０】
ＴＳパケットによるデータ伝送は、セクションを用いてデータを伝送する方式とＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケットを用いてデータを伝送する方式（データストリーム伝送方式）とに分類される。
【００３１】
セクションを用いてデータを伝送する方式には、データカルーセル伝送方式と、イベントメッセージ伝送方式がある。
【００３２】
データカルーセル伝送方式は、１以上のデータを一定周期で繰り返し伝送する伝送方式である。データカルーセル伝送方式によって伝送される個々のデータ（モジュール）には、それらを一意に識別するための識別情報が付されている。データカルーセル伝送方式は、受信機４側に個々のデータを任意のタイミングで取得させるために用いられる。
【００３３】
イベントメッセージ伝送方式は、放送局１から受信機４に対して、トリガ信号を送るための方式である。イベントメッセージ伝送方式は、データ量が少ないメッセージを放送局１から受信機４に伝送する場合に用いられる。
【００３４】
データストリーム伝送方式は、伝送するデータをＰＥＳパケットに収容してストリームとして伝送する伝送方式である。データストリーム伝送方式は、映像、音声、字幕データ等のリアルタイム型のデータや、他のストリームとの同期を要するデータの伝送に用いられる。
【００３５】
ここで、ＡＩＴは、ＴＳパケットを用いて様々な方法によって伝送可能である。
即ち、ＡＩＴは、ＴＳパケットのＳＩに含まれるＥＩＴに対して記述することによって伝送可能である。
【００３６】
また、ＡＩＴは、セクションを用いてデータカルーセル伝送方式により伝送可能である。ＡＩＴをデータカルーセル伝送方式により伝送する場合、受信機４側でＡＩＴであることを認識できるようにモジュールに対して識別情報が付される。
【００３７】
また、ＡＩＴは、ＰＥＳとしてコンテンツの映像や音声に多重させて伝送可能である。
【００３８】
また、ＡＩＴは、バイナリ表現又はＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）によるテキスト表現で記述して、ＴＳパケットに格納することができる。
本実施形態では、ＡＩＴの伝送方法は、上記の伝送方法の少なくともいずれかに予め規定されているものとする。
【００３９】
なお、ＸＭＬをベースとした、マルチメディア符号化用に開発されたＢＭＬは、Ｗ３Ｃ（登録商標）（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ Ｃｏｎｓｏｒｔｉｕｍ）が定義したｘＨＴＭＬを基礎とし、手続き型言語にはＪａｖａＳｃｒｉｐｔ（登録商標）を基礎としたＥＣＭＡＳｃｒｉｐｔを用いて国際標準との整合性を考慮して定義された規格である。
【００４０】
サービスサーバ３は、図示は省略するが、放送済みの番組コンテンツや、アプリ用コンテンツを配信するコンテンツ配信サーバと、受信機４で動作する各種のアプリケーションを配信するアプリケーション配信サーバとを備える。
【００４１】
サービスサーバ３は、放送局１の設備と通信可能に接続されており、番組コンテンツや、番組コンテンツのメタデータを放送局１から受信する。
サービスサーバ３は、受信機４から番組コンテンツの取得要求を受け付けたことに応じて、受信機４に対して番組コンテンツを送信する。
【００４２】
また、サービスサーバ３は、受信機４からアプリケーションの取得要求を受け付けたことに応じて、受信機４に対してアプリケーションを送信する。さらに、サービスサーバ３は、受信機４においてアプリケーションが実行されている場合に、映像や音声等の各データを含むアプリ用コンテンツを受信機４に送信する。
【００４３】
また、サービスサーバ３は、必要に応じて、番組コンテンツに対してＡＩＴを多重化させて受信機４に送信する。また、サービスサーバ３は、受信機４からＡＩＴの取得要求を受け付けたことに応じて、受信機４に対してＡＩＴを送信する。
【００４４】
また、サービスサーバ３は、番組コンテンツの音声情報と、視聴者が番組コンテンツを視聴した時に発した音声情報と、をミキシングしたミキシング音声情報にユーザＩＤを関連付けたミキシングされたアップリンク情報を受信機４から受信する。
【００４５】
また、サービスサーバ３は、受信機４から受信したミキシングされたアップリンク情報をもとに、番組コンテンツの音声情報からシーンを特定し、当該シーンにおける視聴者の発話内容や周囲の暗騒音区間を抽出し、この抽出の結果を用いて視聴者の番組に関する関心度等を算出し、当該視聴者に勧める番組や当該番組や当該シーンに関連する情報を生成し、当該情報を受信機４や受信機４に接続された携帯端末等に送信する。
【００４６】
受信機４は、放送局１からの放送又はサービスサーバ３との通信を介して受信する番組コンテンツに対して所定の処理を行うことにより、番組コンテンツを構成する映像や音声を同期して出力する。また、受信機４は、ＡＩＴに基づいて、アプリケーションを適宜取得し、取得したアプリケーションを起動して実行する。また例えば、受信機４は、実行されているアプリケーションによってサービスサーバ３からアプリ用コンテンツを取得し、番組コンテンツに連携させて出力することも可能である。なお、アプリ用コンテンツの出力は、必ずしも番組コンテンツに連携させる必要はない。
以下、このような受信機４の機能について詳述する。
【００４７】
まず、理解を容易にするため、図３を参照して、受信機４が有する機能の一部の概要を説明する。
図３は、放送通信連携システム１００の概要を示す図である。
【００４８】
図３の例では、視聴状態情報として、視聴者が発声した音声のデータが採用されている。このため、視聴者の音声を入力するためのマイクロフォンデバイス６（以下、マイクデバイス６と略称する）が、受信機４に接続されている。なお、図３においては、マイクデバイス６は受信機４からみて外部機器となっているが、これはあくまでも例示であって、後述するように、マイクデバイス６は受信機４に内蔵されていてもよい。また、受信機４は、スマートフォンや携帯電話機等で構成される携帯端末１０と連動して動作することもできる。
【００４９】
受信機４は、放送局１が放送した番組コンテンツを含んだ放送信号を受信して、当該番組コンテンツを再生する。
このとき、受信機４は、当該番組コンテンツにおける所定シーンを再生させているときに、番組コンテンツの音声情報と、マイクデバイス６から入力した視聴者の音声のデータを音声情報として取得する。
次に、受信機４は、これら取得した情報をミキシングした情報（以下、ミキシング音声情報と呼ぶ）を生成する。
そして、受信機４は、ミキシング音声情報を、通信によりサービスサーバ３に提供する。
【００５０】
サービスサーバ３は、ミキシング音声情報を受信すると、これに対するサービスフィードバック情報として、当該番組コンテンツの所定シーンに関連する各種情報や、当該視聴者に推薦する別の番組コンテンツの情報を、受信機４や携帯端末１０に送信する。
【００５１】
さらに以下、図４を参照して、受信機４について詳述する。
図４は、受信機４の機能構成を示すブロック図である。
受信機４は、放送波受信部１１と、第１分離部１２と、放送ＡＩＴ取得部１３と、通信部１４と、第２分離部１５と、通信ＡＩＴ取得部１６と、アプリケーション実行制御部１７と、音声制御部１８と、表示制御部１９と、スピーカ２０と、ディスプレイ２１と、メモリ２２と、ＡＩＴ記憶部２３、外部機器接続手段としてのデバイス接続部２４と、ミキシング手段としての関連付け部２５とを備える。
【００５２】
放送波受信部１１は、放送用アンテナ２を介して放送局１から送信されている放送波を受信する。
【００５３】
第１分離部１２は、放送波受信部１１に受信された放送波を復調することによって、放送信号、即ちＴＳパケットを抽出する。そして、第１分離部１２は、ＴＳパケットのＰＳＩ／ＳＩを参照して、ＴＳパケットに含まれているデータの種別を判別し、映像、音声、ＥＩＴ等の各種データを分離して抽出する。また、第１分離部１２は、予め規定されているＡＩＴの伝送方法に応じて、セクションやＰＥＳを参照してＡＩＴを分離して抽出する。
【００５４】
続いて、第１分離部１２は、ＴＳパケットのＰＥＳに含まれているデータが音声データである場合、この音声データを音声制御部１８に出力する。また、第１分離部１２は、ＴＳパケットのＰＥＳに含まれているデータが映像データである場合、この映像データを表示制御部１９に出力する。
【００５５】
また、第１分離部１２は、抽出したＥＩＴやその他の各種データをメモリ２２に記憶させる。また、第１分離部１２は、ＡＩＴを抽出した場合、抽出したＡＩＴを放送ＡＩＴ取得部１３に出力する。
【００５６】
放送ＡＩＴ取得部１３は、第１分離部１２から出力されたＡＩＴを取得し、ＡＩＴ記憶部２３に記憶させる。
【００５７】
通信部１４は、通信ネットワークＮを介するサーバ群３との間で各種情報を送受信したり、リモートコントローラＲ（以下、リモコンＲと略記する）からの操作信号を受信したり、携帯端末１０との間で各種情報を送受信する。
【００５８】
第２分離部１５は、サーバ群３から通信ネットワークＮを介して送信されてきて通信部１４に受信されたデータの種別を判別し、その判別結果に基づいてデータの出力先を分離する。例えば、第２分離部１５は、受信したデータがＡＩＴであると判別した場合、このＡＩＴを通信ＡＩＴ取得部１６に出力する。また、第２分離部１５は、受信したデータがアプリケーションであると判別した場合、このアプリケーションをアプリケーション実行制御部１７に出力する。
【００５９】
また、第２分離部１５は、受信したデータがＴＳパケットであると判別した場合、映像、音声、ＡＩＴ等の各種データをＴＳパケットから分離して抽出する。そして、第２分離部１５は、ＡＩＴを抽出した場合、このＡＩＴを通信ＡＩＴ取得部１６に出力し、ＡＩＴ以外のデータを抽出した場合、このデータをアプリケーション実行制御部１７に出力する。
【００６０】
通信ＡＩＴ取得部１６は、第２分離部１５から出力されたＡＩＴを取得し、ＡＩＴ記憶部２３に記憶させる。
【００６１】
アプリケーション実行制御部１７は、ＡＩＴ又はリモコンＲを介したユーザの実行指示に基づいてアプリケーションを取得し、取得したアプリケーションの実行を制御する。例えば、アプリケーション実行制御部１７は、関連付け情報を生成して出力するアプリケーションを起動した場合、当該アプリケーションの実行によって、メモリ２２に記憶されたユーザを特定するユーザＩＤを関連付け部２５に出力する。
【００６２】
メモリ２２は、ＥＩＴ等の番組コンテンツのメタ情報やその他各種情報を記憶する。
ＡＩＴ記憶部２３は、放送ＡＩＴ取得部１３及び通信ＡＩＴ取得部１６によって取得されたＡＩＴを記憶する。
【００６３】
デバイス接続部２４は、マイクデバイス６等のデバイスを接続し、当該デバイスからの入力情報を視聴状態情報として関連付け部２５に供給する。
具体的には、デバイス接続部２４は、アプリケーション実行制御部１７により実行されたアプリケーションによって、マイクデバイス６から入力された視聴者の音声のデータを、視聴者音声情報として取得して、関連付け部２５に出力する。
なお、デバイス接続部２４に接続されるデバイスは、マイクデバイス６に限られず、その他例えば、視聴者の動作を撮影するカメラデバイスや、視聴者の位置情報を取得可能なジャイロセンサや、視聴者の動作を検知可能な光センサであってもよい。
さらに、デバイス接続部２４に接続とは、外部機器に接続することのみを意味せず、内蔵機器に接続することも意味する。従って、マイクデバイス６は、外部機器である必要は特になく、受信機４に内蔵されていてもよい。
なお、デバイス接続部２４のさらなる詳細については、図６乃至図１０を参照して後述する。
【００６４】
関連付け部２５は、番組コンテンツの音声データをコンテンツ音声情報として音声制御部１８から取得する。関連付け部２５は、視聴者が番組コンテンツを視聴した時に発した音声データを視聴者音声情報としてデバイス接続部２４から取得する。関連付け部２５は、ユーザＩＤ等のＩＤ情報をメモリ２２から取得する。
関連付け部２５は、これらの取得した情報、即ち、コンテンツ音声情報と視聴者音声情報とをミキシングしたミキシング音声情報にユーザＩＤを関連付けたミキシングされたアップリンク情報を生成して、通信部１４を介してサービスサーバ３に送信する。
なお、関連付け部２５のさらなる詳細については、図１１及び図１２を参照して後述する。
【００６５】
さらに以下、このような機能的構成を有する受信機４のうち、デバイス接続部２４について、図６乃至図１０を参照して説明する。
【００６６】
上述の如く、デバイス接続部２４には、マイクデバイス６といったデバイスが接続される。ただし、デバイス接続部２４は、デバイスが単に物理的に接続されたとしても、当該デバイスを発見して認識しなければ、当該デバイスからの情報を視聴状態情報として関連付け部２５に出力することはできない。
【００６７】
図６は、このようなデバイスの発見に関する動作を説明する図であって、Ｈｙｂｒｉｄｃａｓｔ機能のレイヤの関係を示す図である。
図６に示すように、Ｈｙｂｒｉｄｃａｓｔ機能のレイヤとしては、下層から上層に向かう順に、ハードウェア、システムソフトウェア、ヴァーチャルマシン、Ｈｙｂｒｉｄｃａｓｔ基本ライブラリ及び拡張ライブラリ、及び、Ｈｙｂｒｉｄｃａｓｔアプリケーションが存在する。
デバイス接続部２４におけるデバイスの発見の動作は、本実施形態では、拡張ライブラリ（ソフトウェアプログラム）の１つである機器発見ライブラリによって行われる。
【００６８】
図７は、デバイス接続部２４の概念を示す図である。
図７に示すように、アプリケーション実行制御部１７により実行されるＨｙｂｒｉｄｃａｓｔアプリケーションが、デバイス接続部２４に設けられるデバイスマネージャやＨＩＤ（Ｈｕｍａｎ Ｉｎｔｅｒｆａｃｅ Ｄｅｖｉｃｅ）等とやり取りをする。
ここで、一般的なフィジカルネットワーク層におけるデバイスマネージャインプリメンテイションやＨＩＤインプリメンテイションは、本実施形態では、従来から存在するものが流用される。このため、図８乃至図１０のシーケンス図に示すような各種各様のリスナーを実装し、同シーケンス図に示すような各種イベント等を生成して処理するクラスとして、デバイスマネージャやＨＩＤを含むインプリメンテイションクラスを実装することにより、デバイス接続部２４が実現される。
【００６９】
図８は、視聴状況取得等でデバイスを使用するＨｙｂｒｉｄｃａｓｔアプリケーションのサービスが開始される際に、所定の外部機器がデバイスとして接続されたときのシーケンス図を示している。
ステップＳ１において、関連付け部２５は、ユーザＩＤ等のＩＤ情報をメモリ２２から取得する。ただし、ＩＤ情報の取得は、ステップＳ１の処理タイミングだけではなく、放送局１からの番組コンテンツの変わり目等で随時行われる。
【００７０】
次に、デバイスマネージャによる機器発見部分のシーケンスとして、次のようなステップＳ２乃至Ｓ９の処理が実行される。
ステップＳ２において、アプリケーション実行制御部１７により実行されるＨｙｂｒｉｄｃａｓｔアプリケーション（図８乃至図１０のシーケンス図の説明ではアプリと略称する）は、デバイス接続部２４において、デバイスマネージャインスタンスを登録する。
ステップＳ３において、デバイスマネージャは、関連付け部２５に対してアプリを通知する。
ステップＳ４において、関連付け部２５は、関連付け部物理情報をデバイスマネージャに通知する。ここで、関連付け部物理情報とは、音声データを物理的にどこに流すべきかを示す情報である。
ステップＳ５において、アプリは、デバイスディスカバリーリスナを生成する。即ち、デバイスディスカバリイベントが登録される。
ステップＳ６において、デバイスマネージャが、ＨＩＤに対してデバイスの発見を試みる。
ステップＳ７において、ＨＩＤは、その応答をデバイスマネージャに返す。
ステップＳ８において、デバイスマネージャは、ステップＳ７の応答から得られたデバイス情報と、ステップＳ４において通知された関連付け部物理情報とに基づいて、新しいデバイスインスタンスを生成して登録する。
ステップＳ９において、デバイスマネージャは、デバイス情報をアプリに送ることによって、新しいデバイスをアプリに通知する。
【００７１】
このようにして、デバイスマネージャによる機器発見部分のシーケンスとして、ステップＳ２乃至Ｓ９の処理が実行されると、それに引き続き、デバイスインスタンスによるディスクリプションとコントロール部分のシーケンスとして、次のようなステップＳ１０乃至Ｓ１４の処理が実行される。
ステップＳ１０において、アプリは、デバイスインスタンスに対して、デバイスステイタスリスナーを登録する。
ステップＳ１１において、デバイスインスタンスは、デバイスの状況（例えば電源状態がＯＮ状態なのかＯＦＦ状態なのかといった状況）を、ＨＩＤに対して確認する。
ステップＳ１２において、ＨＩＤは、デバイスの状況、例えば電源状態やデバイス固有情報をデバイスインスタンスに通知する。なお、デバイスの電源状態がＯＦＦ状態の場合には、さらに図９に示す処理が必要になるが、この処理については後述する。
ステップＳ１３において、デバイスインスタンスは、ＨＩＤから通知されたデバイスの状況を、アプリに通知する。
ステップＳ１４において、デバイスインスタンスは、デバイスの入力データ（音声のデータであって、視聴者音声情報になるデータ）を関連付け部２５に出力する制御を実行すべく、関連付け部２５の通知をＨＩＤに対して行う。
【００７２】
ここで、デバイスの電源状態がＯＦＦ状態である場合における、デバイスインスタンスによるディスクリプションとコントロール部分のシーケンスについて説明する。
先ず、デバイスの電源状態によらず、ステップＳ１１の処理は実行されるが、デバイスの電源状態がＯＦＦ状態である場合には、ステップＳ１２の処理の代わりに、図９のシーケンス図に従った処理が実行される。
図９は、デバイスの電源状態がＯＦＦ状態である場合における、デバイスインスタンスによるディスクリプションとコントロール部分のシーケンス図である。
ステップＳ１２−１の処理は、ステップＳ１２と実質同一の処理である。ただし、ステップＳ１２−１においては、電源状態がＯＦＦ状態である旨がデバイスインスタンスに通知される。
そこで、ステップＳ３３において、デバイスインスタンスは、デバイスの電源状態をＯＮ状態に遷移させる要求（以下、デバイス電源ＯＮ要求と呼ぶ）を、デバイスマネージャに対して行う。
ステップＳ３４において、デバイスマネージャは、デバイスの電源状態をＯＮ状態に遷移させる。
ステップＳ１２−２において、ＨＩＤは、デバイスの状況、例えば電源状態やデバイス固有情報をデバイスインスタンスに通知する。なお、この場合、電源状態がＯＮ状態である旨がデバイスインスタンスに通知される。
その後、上述した図８のステップＳ１３及びＳ１４の処理が実行される。
【００７３】
このようにして、デバイスインスタンスによるディスクリプションとコントロール部分のシーケンスとして、図８のステップＳ１０乃至Ｓ１４の処理（デバイスの電源状態がＯＦＦ状態の場合図９の処理）が実行されると、次に引き続き、次のようなステップＳ１５乃至Ｓ１９の処理が実行される。
ステップＳ１５において、アプリは、デバイスインスタンスに対して、入力イベントを要求する。
ステップＳ１６において、デバイスインスタンスは、ＨＩＤに対して、入力イベントを要求する。
ステップＳ１７において、デバイスは、即ちここでは外部機器であるマイクデバイス６は、音声のデータをＨＩＤに入力する。
ステップＳ１８において、ＨＩＤは、ステップＳ１７の処理で入力された音声のデータを、入力データとして関連付け部２５に提供する。なお、関連付け部２５は、当該入力データを視聴者音声情報として取得する。
ステップＳ１９において、音声制御部１８は、番組コンテンツの音声データを関連付け部２５に提供する。
これ以降、アプリから入力イベントが要求される毎に、ステップＳ１５乃至Ｓ１９の処理が繰り返し実行される。
【００７４】
以上まとめると、デバイス接続部２４においては、デバイスマネージャが機能する。このデバイスマネージャの主な機能は、ＨＩＤ（デバイス）を発見し、発見したデバイスのデバイス情報と、関連付け部情報とを一緒に用いてデバイスインスタンスを生成することである。
また、このようにしてデバイスマネージャにより生成されたデバイスインスタンスの機能は、アプリから入力イベントを受け取り、ＨＩＤと関連付け部２５とを制御することである。
また、関連付け部２５の機能は、デバイス（ＨＩＤ）からの入力データ（音声のデータであって、視聴者音声情報となるデータ）と、受信機４の内部情報（ＩＤ情報）とを関連付けることである。
【００７５】
ところで、デバイス接続部２４に接続されるデバイスは、上述したように、外部機器に特に限定されず、受信機４の内蔵機器であってもよい。
【００７６】
図１０は、視聴状況取得等でデバイスを使用するＨｙｂｒｉｄｃａｓｔアプリケーションのサービスが開始される際に、デバイスとして受信機４の内蔵機器を用いる場合のシーケンス図を示している。
図１０と図８とを比較するに、図１０のステップＳ５１乃至Ｓ５４は、図８のステップＳ１乃至Ｓ４と同様の処理である。
しかしながら、図１０においては、図８のステップＳ５乃至Ｓ７に相当する処理は存在しない。内蔵機器の発見は不要だからである。このため、図１０のステップＳ５５においては、デバイスマネージャは、内蔵機器の既知情報と、ステップＳ５４において通知された関連付け部物理情報とに基づいて、新しいデバイスインスタンスを生成して登録する。
また、図１０においては、デバイスインスタンスによるディスクリプションとコントロール部分のシーケンスが存在しない。即ち、図１０においては、図８のステップＳ１０乃至Ｓ１４（デバイスの電源状態がＯＦＦ状態の場合には図９）に相当する処理は存在しない。内蔵機器の場合、ステイタスリスナーは不要だからである。即ち、デバイスマネージャから状況を変更可能だからである。
なお、図１０のステップＳ５６乃至Ｓ６０は、図８のステップＳ１５乃至Ｓ１９と同様の処理である。即ち、アプリから入力イベントが要求される毎に、ステップＳ５６乃至Ｓ６０の処理が繰り返し実行される。
【００７７】
以上、図４の機能的構成を有する受信機４のうち、デバイス接続部２４の詳細について、図６乃至図１０を参照して説明した。次に、このような受信機４のうち、関連付け部２５の詳細について、図１１及び図１２を参照して説明する。
【００７８】
図１１は、関連付け部２５の機能構成を示す機能ブロック図である。
関連付け部２５は、視聴者音声情報取得部２５１と、コンテンツ音声情報取得部２５２と、ＩＤ（ユーザＩＤ）取得部２５３と、音声ミキシング部２５４と、によりミキシングされたアップリンク情報を生成する。
【００７９】
視聴者音声情報取得部２５１は、デバイス接続部２４から入力データとして出力された音声のデータ（図８のステップＳ１８参照）、即ち視聴者が番組コンテンツを視聴した時に発した音声のデータを、視聴者音声情報として取得する。
コンテンツ音声情報取得部２５２は、音声制御部１８から入力データとして出力された音声のデータ（図８のステップＳ１９参照）を、コンテンツ音声情報として取得する。
ＩＤ（ユーザＩＤ）取得部２５３は、アプリケーション実行制御部１７から出力されたユーザＩＤ（図８のステップＳ１のＩＤ情報）を取得する。
【００８０】
音声ミキシング部２５４は、視聴者音声情報取得部２５１に取得された視聴者音声情報と、コンテンツ音声情報取得部２５２に取得されたコンテンツ音声情報とをミキシングしたミキシング音声情報にユーザＩＤを関連付けることによって、ミキシングされたアップリンク情報を生成する。音声ミキシング部２５４は、アプリケーション実行制御部１７がアプリケーションを終了させるまで、随時、ミキシングされたアップリンク情報を通信部１４に出力する。
【００８１】
図１２は、関連付け部２５の処理の流れを説明するフローチャートである。
ステップＳ１０１において、関連付け部２５は、視聴者音声情報取得部２５１で視聴者音声情報を取得し、コンテンツ音声情報取得部２５２でコンテンツ音声情報を取得し、ＩＤ取得部２５３でユーザＩＤを取得する。
ステップＳ１０２において、音声ミキシング部２５４は、ステップＳ１０１で取得した各種情報、即ち、視聴者音声情報及びコンテンツ音声情報をミキシングしたミキシング音声情報に対して、ユーザＩＤを関連付けることによって、ミキシングされたアップリンク情報を生成する。
ステップＳ１０３において、音声ミキシング部２５４は、ステップＳ１０２で生成したミキシングされたアップリンク情報を通信部１４に出力する。
ステップＳ１０４において、関連付け部２５は、アプリケーション実行制御部１７がアプリケーションを終了させたか否かを判断し、終了させていない場合はステップＳ１０１に処理を戻し、終了させた場合は本処理を終了させる。
【００８２】
関連付け部２５から出力された、ミキシングされたアップリンク情報は、通信部１４を介して、サービスサーバ３に送信される。
サービスサーバ３は、ミキシングされたアップリンク情報を受信し、これをもとに音声処理を行う。これにより、サービスサーバ３は、ユーザＩＤにより特定される視聴者が「どのシーンで笑った」、「どのシーンで興味を失った」等の情報を推定し、視聴者に特別な動作をさせることなく、コンテンツの各シーンにおける視聴者の視聴状態を的確に推定することが可能となる。
【００８３】
本実施形態によれば、以下のような効果がある。
（１）受信機４の関連付け部２５は、コンテンツの音声情報と、視聴者がコンテンツを視聴した時に発した音声情報と、をミキシングしたミキシング音声情報を生成する。
通信部１４は、関連付け部２５で生成したミキシング音声情報をサーバに送信する。
これにより、コンテンツの音声情報と、視聴者がコンテンツを視聴した時に発した音声情報とがミキシングされ、サーバに送信される。
従って、放送と通信の連携を図るシステムにおいて、サーバは、放送局が放送したコンテンツの所定シーンについての視聴状態を容易かつ適切に取得できるようになる。
【００８４】
（２）受信機４は、マイクデバイス６を備えていなくとも、視聴者が発した音声情報を取得するマイクデバイスをデバイス接続部２４に接続することで、視聴状態情報を取得できる。
これにより、放送と通信の連携を図るシステムにおいて、受信機がマイクデバイスを備えなくとも、サーバは、放送局が放送したコンテンツの所定シーンについての視聴状態を容易かつ適切に取得できるようになる。
また、当該サービスを受けることができる受信機の必須項目からマイクデバイスを除外できるので、当該サービスを受けることができる受信機の普及を促進できる。
【００８５】
（３）受信機４は、マイクデバイス６を備えたので、放送と通信の連携を図るシステムにおいて、別途にマイクデバイスを用意しなくとも、サーバは、放送局が放送したコンテンツの所定シーンについての視聴状態を容易かつ適切に取得できるようになる。
【００８６】
なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
本実施形態では、番組コンテンツのコンテンツ音声情報とマイクデバイスにより取得した視聴者の視聴者音声情報をミキシングしているが、コンテンツのシーンと当該シーンを視聴した視聴者の視聴状態とを関連付けできる限り、番組コンテンツのコンテンツ画像とカメラデバイスにより取得した視聴者の視聴者画像とをミキシングしたミキシング画像情報を生成し、このミキシング画像情報をサービスサーバに送信してもよい。
【符号の説明】
【００８７】
１ 放送局
３ サービスサーバ
４ 受信機
２５ 関連付け部（ミキシング手段）
１４ 通信部
Ｎ ネットワーク
【特許請求の範囲】
【請求項１】
ネットワークを介してサーバに接続され、放送局が放送したコンテンツを含んだ放送信号を受信する受信機であって、
前記コンテンツの音声情報と、視聴者が前記コンテンツを視聴した時に発した音声情報と、をミキシングしたミキシング音声情報を生成するミキシング手段と、
前記ミキシング手段で生成した前記ミキシング音声情報を前記サーバに送信する通信手段と、
を備える受信機。
【請求項２】
前記コンテンツを視聴した視聴者が発した音声情報を取得するマイクデバイスが接続される外部機器接続手段を備える請求項１に記載の受信機。
【請求項３】
前記コンテンツを視聴した視聴者が発した音声情報を取得するマイクデバイスを備える請求項１に記載の受信機。
【請求項４】
ネットワークを介してサーバに接続され、放送局が放送したコンテンツを含んだ放送信号を受信する受信機を制御するコンピュータを、
前記コンテンツの音声情報と、視聴者が前記コンテンツを視聴した時に発した音声情報と、をミキシングしたミキシング音声情報を生成するミキシング手段、
前記ミキシング手段により生成された前記ミキシング音声情報を前記サーバに送信する制御を実行する通信手段、
として機能させるプログラム。
【請求項１】
ネットワークを介してサーバに接続され、放送局が放送したコンテンツを含んだ放送信号を受信する受信機であって、
前記コンテンツの音声情報と、視聴者が前記コンテンツを視聴した時に発した音声情報と、をミキシングしたミキシング音声情報を生成するミキシング手段と、
前記ミキシング手段で生成した前記ミキシング音声情報を前記サーバに送信する通信手段と、
を備える受信機。
【請求項２】
前記コンテンツを視聴した視聴者が発した音声情報を取得するマイクデバイスが接続される外部機器接続手段を備える請求項１に記載の受信機。
【請求項３】
前記コンテンツを視聴した視聴者が発した音声情報を取得するマイクデバイスを備える請求項１に記載の受信機。
【請求項４】
ネットワークを介してサーバに接続され、放送局が放送したコンテンツを含んだ放送信号を受信する受信機を制御するコンピュータを、
前記コンテンツの音声情報と、視聴者が前記コンテンツを視聴した時に発した音声情報と、をミキシングしたミキシング音声情報を生成するミキシング手段、
前記ミキシング手段により生成された前記ミキシング音声情報を前記サーバに送信する制御を実行する通信手段、
として機能させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−２４４３６２（Ｐ２０１２−２４４３６２Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１１８１１（Ｐ２０１１−１１１８１１）
【出願日】平成２３年５月１８日（２０１１．５．１８）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月１８日（２０１１．５．１８）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]