視聴状況認識装置および視聴状況認識システム
【課題】視聴中の番組やコンテンツに対する自分の反応を客観的に体感できる。
【解決手段】視聴状況認識装置１の音声信号処理部１２は、マイクロホンＭＣの収音信号をエコーキャンセルすることで、視聴者ＵＳの音声を取得する。音声信号処理部１２は、視聴者ＵＳの音声を解析し、当該音声の特性から、音声の特徴情報を取得する。音声信号処理部１２は、当該特徴情報に対応する放送音声信号を取得する。制御部１０は、特徴情報および特徴時放送音声信号から個別反応データを生成し、サーバ装置３へ送信する。サーバ装置は、複数の視聴者からの個別反応データに基づいて、視聴状況に関する分析データを生成し、視聴状況認識装置１の制御部１０へ送信する。制御部１０は、分析データに基づいて分析結果画像を表示部２０に表示するとともに、付加放音信号をスピーカＳＰから放音する。
【解決手段】視聴状況認識装置１の音声信号処理部１２は、マイクロホンＭＣの収音信号をエコーキャンセルすることで、視聴者ＵＳの音声を取得する。音声信号処理部１２は、視聴者ＵＳの音声を解析し、当該音声の特性から、音声の特徴情報を取得する。音声信号処理部１２は、当該特徴情報に対応する放送音声信号を取得する。制御部１０は、特徴情報および特徴時放送音声信号から個別反応データを生成し、サーバ装置３へ送信する。サーバ装置は、複数の視聴者からの個別反応データに基づいて、視聴状況に関する分析データを生成し、視聴状況認識装置１の制御部１０へ送信する。制御部１０は、分析データに基づいて分析結果画像を表示部２０に表示するとともに、付加放音信号をスピーカＳＰから放音する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、視聴者の反応等の視聴状況を認識する視聴状況認識装置および視聴状況認識システムに関する。
【背景技術】
【０００２】
従来、視聴者の視聴状況を認識する装置が各種考案されている。例えば、特許文献１では、リモコン操作に応じた視聴者の視聴状況を取得して記録している。また、特許文献２では、それぞれの視聴者に対して視聴状況を取得し、同じ番組を視聴している者がいるかどうかを検出する。そして、同じ番組を視聴している者が検出されれば、これらの視聴者の音声をまとめて、それぞれの視聴者に対して放音している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２７５０５７号公報
【特許文献２】特開２００７−１３４８０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の特許文献１に記載の技術では、それぞれの視聴者の状況を個別に取得できるものの、その他の視聴者の視聴状況を利用して、付加的なサービスを提供することができない。
【０００５】
上述の特許文献２では、このような付加的なサービスとして、同じ番組を見ている複数の視聴者が、一緒に番組を見ているような疑似体験を与えることができるが、単に同じ番組を見ている者の声等が聞こえるだけであり、視聴している番組に対する自分の反応とその他の視聴者の反応との違いを体感することができない。
【０００６】
したがって、この発明の目的は、視聴中の番組やコンテンツに対する自分の反応を客観的に体感できる視聴状況認識装置および視聴状況認識システムを提供することにある。
【課題を解決するための手段】
【０００７】
この発明は、視聴状況認識装置に関する。当該視聴状況認識装置は、音声信号処理部、制御部、表示部、および放音部を備える。音声信号処理部は、収音部で収音された視聴者の音声と、視聴対象メディアの音声とに基づいて、該視聴対象メディアに対する視聴者の反応を示す個別反応データを生成する。制御部は、個別反応データに基づいて得られる分析データを取得し、該分析データに基づく分析結果画像および分析結果音声を生成する。表示部は、分析結果画像を表示する。放音部は、分析結果音声を放音する。
【０００８】
この構成では、視聴者の個別反応が音声のみで分析され、視聴者の視聴対象メディアに対する反応の客観的な位置づけが得られる。そして、この分析結果を視聴者へ体感させることが可能になる。
【０００９】
また、この発明の視聴状況認識装置では、音声信号処理部は、視聴者の音声のレベルおよび音声パターンを取得し、当該音声レベルおよび音声パターンから前記視聴者の反応を識別する。音声信号処理部は、特定の反応を検出した場合に、当該反応の検出情報と、該検出した時間に対応する視聴対象メディアの音声の情報とを含んで個別反応データを生成する。
【００１０】
この構成では、具体的な個別反応データの生成方法を示している。例えば、視聴者の反応として笑いを例にすれば、当該笑いの反応の場合、音声レベルが相対的に高くなり、会話とは異なる特徴的な音声パターンとなる。このように、音声レベルや音声パターンを取得すれば、これらの特徴から反応を識別することができる。そして、このような特徴が現れる時間の視聴対象メディアの音声を添付すれば、視聴対象メディアのどのタイミングで特徴的な反応が生じたかを関連付けできる。
【００１１】
また、この発明の視聴状況認識装置では、音声信号処理部は、収音部の収音信号に対して、分析結果音声信号および視聴メディアの音声に基づくエコーキャンセル処理を行うことで、視聴者の音声を取得する。
【００１２】
この構成では、エコーキャンセル処理を行うことで、視聴対象メディアの音声が放音されていても、分析結果に基づく分析結果音声が放音されていても、視聴者の音声を、より正確に取得することができる。これにより、より正確な個別反応データを生成することができる。
【００１３】
また、この発明は、上述の視聴状況認識装置を含む視聴状況認識システムに関する。この視聴状況認識システムは、視聴状況認識装置とサーバとからなる。サーバは、視聴状況認識装置の制御部からの個別反応データを受信し、分析データを前記制御部へ送信する通信部を備える。サーバは、同一の視聴対象メディアに対する複数の個別反応データに基づいて、統計処理を行うことで分析データを生成する統計情報分析部を備える。
【００１４】
この構成では、上述の視聴状況認識装置を含む視聴状況認識システムについて示しており、サーバにおける分析データの生成方法について示している。このように、複数の個別反応データを統計処理することで、各視聴者の個別反応データの客観的位置づけが分かる分析データが得られる。
【００１５】
また、この発明の視聴状況認識システムでは、サーバは分析データを更新記録する記録媒体を備える。サーバの統計情報分析部は、更新記録された分析データを含んで統計処理を実行する。
【００１６】
この構成では、例えば、コンテンツサーバから視聴対象メディアを再生する場合、同じ時刻に複数の視聴者が視聴するとは限らない。このような場合に対応し、個別反応データが入力される度に分析データを読み出して、更新し、再度記録しておく。これにより、同時刻ではなくても、各視聴者の個別反応データの客観的位置づけが分かる分析データが得られる。
【発明の効果】
【００１７】
この発明によれば、単に番組やコンテンツを視聴するだけでなく、番組やコンテンツを視聴しながら、自分の反応を客観的に体感することができる。
【図面の簡単な説明】
【００１８】
【図１】第１の実施形態に係る視聴状況認識装置およびこれに接続する視聴者側のシステム構成について示す図である。
【図２】図１に示す音声信号処理部１２の構成を示すブロック図である。
【図３】第１の実施形態に係る視聴状況認識システムにおけるサーバの構成について示す図である。
【図４】第１の実施形態に係る視聴状況認識フローを示すフローチャートである。
【図５】具体的な視聴状況を説明するための図である。
【図６】第２の実施形態に係る視聴状況認識装置およびこれに接続する視聴者側のシステム構成について示す図である。
【図７】第２の実施形態に係る視聴状況認識システムにおけるサーバの構成について示す図である。
【図８】第２の実施形態に係る視聴状況認識フローを示すフローチャートである。
【発明を実施するための形態】
【００１９】
本発明の第１の実施形態に係る視聴状況認識装置および当該視聴状況認識装置を含む視聴状況認識システムについて、図を参照して説明する。図１は本実施形態における視聴状況認識装置１を含む視聴者側の構成を示すブロック図である。図２は図１に示す音声信号処理部１２の具体的構成を示すブロック図である。図３は本実施形態の視聴状況認識システムにおけるサーバ３の構成図である。
【００２０】
視聴状況認識システムは、図１に示すような視聴状況認識装置１を含む視聴者ＵＳ側の構成と、図３に示すようなサーバ装置３とがネットワーク９００により接続されてなる。なお、サーバ装置３には、複数の視聴者側の構成（視聴状況認識装置１）がネットワーク９００を介して接続されている。
【００２１】
視聴者ＵＳ側には、図１に示すように視聴状況認識装置１とテレビジョン装置２とが配設されている。テレビジョン装置２は、テレビ放送信号（ここでは、地上波デジタル放送を例にする。）を受信して、放送映像を画面上に表示するとともに、放送音声を内蔵スピーカから放音する。テレビジョン装置２は、放送音声信号を視聴状況認識装置１へも出力する。
【００２２】
視聴状況認識装置１は、制御部１０、収音制御部１１、音声信号処理部１２、放音制御部１３および表示部２０を備える。
【００２３】
制御部１０は、視聴状況認識装置１の全体制御を行うともに、ネットワーク９００を介してのサーバ装置３との通信制御も行う。制御部１０は、音声信号処理部１２で形成された収音音声の解析結果に基づいて、個別反応データを生成し、サーバ装置３へ送信する。制御部１０は、サーバ装置３から受信した分析データに基づいて、分析結果画像を生成して、表示部２０へ出力する。また、制御部１０は、分析データに基づいて、「分析結果音声」に相当する付加放音信号を生成して、音声信号処理部１２へ出力する。ここで、分析データは、概略的には、サーバ装置３に集計された複数の個別反応データに基づく統計処理から得られるデータである。なお、分析データの具体的形成方法は、後述のサーバ装置３の説明の際に、併せて説明する。
【００２４】
また、制御部１０は、テレビジョン装置２から取得した放送音声信号を、定期的に所定時間長に亘り、サーバ装置３へ送信する。
【００２５】
収音制御部１１には、複数のマイクロホンＭＣが所定パターンで配列されたマイクアレイＭＣＡが接続されている。収音制御部１１は、各マイクロホンＭＣの収音信号に基づいて、所定の収音指向性からなる収音指向性信号を生成する。この際、例えば、複数の収音指向性信号を形成し、複数の収音指向性信号から話者方位を検出する機能を備えておけば、当該話者方位を最大収音感度方向とする収音指向性信号を形成することができる。なお、このような指向性制御を行わない場合は、複数のマイクロホンＭＣからなるマイクアレイＭＣＡを用いる必要はなく、一本のマイクロホンを用いればよい。
【００２６】
放音制御部１３には、複数のスピーカＳＰが所定パターンで配列されたスピーカアレイＳＰＡが接続されている。放音制御部１３には、制御部１０から付加放音信号が与えられており、放音制御部１３は、当該付加放音信号を所定の放音指向性で放音するように、各スピーカＳＰに対する放音駆動信号を生成し、それぞれのスピーカＳＰへ出力する。
【００２７】
音声信号処理部１２は、第１エコーキャンセル部１２１、第２エコーキャンセル部１２２、および収音音声解析部１２３を備える。
【００２８】
第１エコーキャンセル部１２１は、スピーカアレイＳＰＡからの放音とマイクアレイＭＣＡによる収音に基づくエコー経路に対する第１の適応パラメータを設定する。第１エコーキャンセル部１２１は、第１の適応パラメータを付加放音信号に乗算することで、第１擬似エコー信号を生成する。第１エコーキャンセル部１２１は、収音制御部１１からの収音指向性信号から第１擬似エコー信号を減算する。これにより、収音指向性信号に含まれる付加放音信号のエコー成分を抑圧することができる。
【００２９】
第２エコーキャンセル部１２２は、テレビジョン装置２の内蔵スピーカからの放音とマイクアレイＭＣＡによる収音に基づくエコー経路に対する第２の適応パラメータを設定する。第２エコーキャンセル部１２２は、第２の適応パラメータを放送音声信号に乗算することで、第２擬似エコー信号を生成する。第２エコーキャンセル部１２２は、第１エコーキャンセル部１２１から出力された第１段のエコーキャンセル後の収音指向性信号から第２擬似エコー信号を減算する。これにより、第１段のエコーキャンセル後の収音指向性信号に含まれる放送音声信号のエコー成分を抑圧することができる。
【００３０】
以上のようなエコーキャンセル処理を行うことで、収音指向性信号から、付加放音信号と放送音声信号のエコー成分の両方を抑圧することができる。これにより、収音音声解析部１２３には、視聴者ＵＳの発声音のみからなる音声信号が入力される。
【００３１】
収音音声解析部１２３は、上述のエコーキャンセル後の音声信号に基づいて、当該音声信号の特徴を検出し、特徴情報、当該特徴の発生検出時間に対応する放送音声信号（特徴時放送音声信号と称する。）を解析結果として、制御部１０へ出力する。
【００３２】
具体的な特徴情報の検出方法は、以下の通りである。
【００３３】
収音音声解析部１２３は、各種の特徴的な発声音（例えば笑い声）の時間軸上や周波数軸上の特性を予め記憶している。このような特性は、視聴状況認識装置１の製造時に、予め一般的な特性として記憶しておいてもよいし、使用開始時に視聴者ＵＳが自身の特徴的な発生視聴状況認識装置１に収音させて、当該特性を記憶しておいてもよい。
【００３４】
収音音声解析部１２３は、入力されたエコーキャンセル後の音声信号のレベル、時間的なレベル変化、周波数特性を解析する。なお、これらの特性は、必ずしも全てを取得する必要はなく、少なくとも一つの特性が得られればよい。ただし、解析する特性数が多いほど、より正確な特徴の解析結果が得られる。
【００３５】
収音音声解析部１２３は、これらの情報から、入力されたエコーキャンセル後の音声信号の特徴を、記憶された特性と比較することで、解析する。例えば、笑い声の場合、通常の音声レベルよりも時間軸上で全体的にレベルが高くなり、レベルの高い区間と低い区間とが短い間隔で繰り返す。また、周波数軸上では、笑い声の周波数が、他の周波数よりも大幅に高くなる。このような特性が、特徴毎に記憶されているので、収音音声解析部１２３は、それぞれの特徴の特性と、入力されたエコーキャンセル後の音声信号の解析した特性とを比較して、一致するものを検出する。例えば、エコーキャンセル後の音声信号の解析した特性が、笑い声の特性とに所定閾値以上の一致度であれば、当該エコーキャンセル後の音声信号は、笑い声であると判定する。そして、当該笑い声であるという特徴情報を出力する。
【００３６】
表示部２０は、液晶ディスプレイ等からなり、分析結果画像を表示する。
【００３７】
サーバ装置３は、通信部３１、放送信号受信部３２、統計情報分析部３３を備える。通信部３１は、ネットワーク９００を介して各視聴状況認識装置１の制御部１０からの個別反応データを受信する。通信部３１は、ネットワーク９００を介して各視聴状況認識装置１の制御部１０へ分析データを送信する。放送信号受信部３２は、放送信号を受信して、放送音声信号を統計情報分析部３３へ出力する。なお、放送信号受信部３２は、受信可能な全ての放送信号を受信して統計情報分析部３３へ出力する。
【００３８】
統計情報分析部３３は、放送音声信号を参照して、複数の個別反応データから特徴情報に関する統計処理を実行することで、分析データを生成する。具体的には、統計情報分析部３３は、各個別反応データから、特徴時放送音声信号を抽出する。この特徴時放送音声信号が同期情報となる。すなわち、統計情報分析部３３は、同じ特徴時放送音声信号を有する個別反応データ同士を関連付けする。
【００３９】
統計情報分析部３３は、各特徴時放送音声信号と、放送信号受信部３２で受信した放送音声信号とを比較し、各特徴時放送音声信号に対応するチャンネルおよび番組を検出する。
【００４０】
統計情報分析部３３は、関連付けられた複数の個別反応データから特徴情報を読み出し、これらの特徴情報を分類する。また、統計情報分析部３３は、関連付けられた複数の個別反応データから、同一特徴情報の発生頻度をそれぞれに取得する。
【００４１】
このような処理を行うことで、例えば、次に示すような視聴状況に関する分析データを得ることができる。
【００４２】
同じチャンネルおよび番組における、笑い声の特徴情報を有する個別反応データの数が取得できるので、一般的な当該番組に対する笑い度（笑っている視聴者の割合）が得られる。また、各個別反応データにおける笑い声の特徴情報の期間長さから、それぞれの視聴者の個別笑い度（どれぐらい笑っているか）が得られる。さらに、それぞれの視聴者の個別笑い度が取得できることで、他の視聴者の個別笑い度の平均と自分の個別笑い度との比較結果も得られる。また、同一時間に対する特徴時放送音声信号の頻度から番組の視聴率が得られる。
【００４３】
統計情報分析部３３は、これらの個別反応データに含まれる各情報の統計処理から得られる、視聴者毎のおよび世間一般の視聴状況に関する各種の分析結果を分析データとして生成し、通信部３１へ出力する。
【００４４】
分析データは、通信部３１、ネットワーク９００を介して視聴状況認識装置１へ送信される。視聴状況認識装置１は、上述のように分析データに基づく分析結果画像を表示部２０で表示するとともに、分析データに基づく付加音声をスピーカアレイＳＰＡから放音する。これにより、視聴者ＵＳは、視聴状況を客観的に把握しながら、視聴することができる。
【００４５】
次に、上述の視聴状況認識装置１およびサーバ装置３の処理を、フローチャートに沿って説明する。図４は本実施形態の視聴状況認識フローを示すフローチャートである。
【００４６】
まず、視聴者ＵＳが視聴を開始すると、視聴状況認識装置１は、放送音声信号を取得して、その一部にあたる所定時間長の放送音声信号を、サーバ装置３へ送信する（Ｓ１０１）。ここで、テレビジョン放送がデジタル放送であれば、例えば、１個のトランスポートストリームパケットＴＳＰ単位で、サーバ装置３に送る等の処理を行う。
【００４７】
サーバ装置３は、放送音声信号を受信すると（Ｓ２０１）、視聴チャネルおよび視聴番組の特定を行う（Ｓ２０２）。
【００４８】
視聴状況認識装置１は、視聴者ＵＳの音声をエコーキャンセル処理して取得し、上述のように特徴解析を行う（Ｓ１０２）。視聴状況認識装置１は、特徴解析結果と特徴時放送音声信号とから個別反応データを生成し、サーバ装置３へ送信する（Ｓ１０３）。
【００４９】
サーバ装置３は、個別反応データを受信すると（Ｓ２０３）、当該個別反応データと、略同時に受信した他の視聴状況認識装置からの個別反応データとを用いて、上述のように視聴状況に関する分析データを生成する（Ｓ２０４）。サーバ装置３は、当該分析データを視聴状況認識装置１へ送信する（Ｓ２０５）。
【００５０】
視聴状況認識装置１は、分析データを受信すると（Ｓ１０４）、該分析データに基づいて、分析結果画像を表示部２０から表示するとともに、付加放音信号をスピーカＳＰから放音する（Ｓ１０５）。
【００５１】
視聴状況認識装置１は、視聴が終了するまで（Ｓ１０６：Ｎｏ）、上述の処理を所定タイミング間隔で継続的に行い、視聴が終了すれば（Ｓ１０６：Ｙｅｓ）、一連の処理を終了させる。
【００５２】
以上のような構成および処理を行った場合、図５に示すような視聴が可能になる。図５は具体的な視聴状況を説明するための図であり、図５（Ａ）が世間の笑い度が、視聴者ＵＳ自身の笑い度よりも低い場合を示し、図５（Ｂ）が世間の笑い度と視聴者ＵＳ自身の笑い度とが略一致して高い場合を示す。
【００５３】
図５（Ａ）のように、視聴者ＵＳ自身が非常に笑っている場合、当該高い笑い度に対応する個別反応データが視聴状況認識装置１からサーバ装置３へ送信される。サーバ装置３では、他の多くの視聴者からの個別反応データも用いて分析データを生成する。そして、他の多くの視聴者があまり笑っていなければ、笑い度が低い分析データとなる。この分析データは視聴状況認識装置１に送信され、視聴状況認識装置１は、この低い笑い度の分析データに基づいて、分析結果画像を表示するとともに、付加放音信号を放音する。ここで、図５（Ａ）に示すように、表示部２０の画面上には、視聴者ＵＳ自身の笑い度と、分析データに基づく世間一般の笑い度とが、表示される。これにより、視聴者ＵＳは、自身と世間との感覚の違いを視覚的に知ることができる。また、これにより、視聴中の番組に対する世間の評価を知ることもできる。この際、図５（Ａ）に示すように、視聴率を同時に表示すれば、さらに別の観点からの視聴中の番組に対する世間の評価を知ることもできる。また、さらに、図５（Ａ）に示すように、付加放音信号から小さい笑い声が放音されれば、聴覚的にも違いを体感することができる。
【００５４】
図５（Ｂ）の場合にも、視聴者ＵＳ自身が非常に笑っているので、当該高い笑い度に対応する個別反応データが視聴状況認識装置１からサーバ装置３へ送信される。サーバ装置３では、他の多くの視聴者からの個別反応データも用いて分析データを生成する。そして、他の多くの視聴者も大いに笑っているので、笑い度が高い分析データが得られる。この分析データは視聴状況認識装置１に送信され、視聴状況認識装置１は、この高い笑い度の分析データに基づいて、分析結果画像を表示するとともに、付加放音信号を放音する。ここでも、図５（Ｂ）に示すように、表示部２０の画面上には、視聴者ＵＳ自身の笑い度と、分析データに基づく世間一般の笑い度とが、表示される。これにより、視聴者ＵＳは、世間でも同じ感覚で笑っていることを視覚的に知ることができ、視聴者間での親近感や番組に対する親近感を与えることができる。また、さらに、図５（Ｂ）に示すように、付加放音信号から大きな笑い声が放音されれば、聴覚的にも他の視聴者や番組との親近感を体感することができる。
【００５５】
なお、上述に示す放音される笑い声は、予め視聴状況認識装置１に記憶されたものを用いればよいが、上述の個別反応データに特徴を検出した音声信号を含ませれば、当該音声信号に基づく他の視聴者の笑い声を放音することもできる。これにより、自身の視聴状況だけでなく、さらに臨場感も得ることができる。
【００５６】
次に、第２の実施形態に係る視聴状況認識システムについて、図を参照して説明する。図６は第２の実施形態に係る視聴状況認識装置およびこれに接続する視聴者側のシステム構成について示す図である。図７は第２の実施形態に係る視聴状況認識システムにおけるサーバの構成について示す図である。
【００５７】
上述の第１の実施形態では、リアルタイムに放送信号を受信した場合について示したが、本実施形態では、ＤＶＤ等のメディアに記録されたコンテンツや、ネットを介してストリーミング配信されるコンテンツを視聴する場合について、説明する。なお、以下ではストリーミング配信されるコンテンツの場合について説明する。また、以下では、第１の実施形態と異なる箇所のみを説明し、同一の構成および同一の処理の箇所については説明を省略する。
【００５８】
図６に示すように、本実施形態の視聴者ＵＳ側の構成では、視聴状況認識装置１およびテレビジョン装置２とともに、コンテンツ再生装置４が設置されている。コンテンツ再生装置４は、ネットワーク９００を介してコンテンツデータを取得する。コンテンツ再生装置４は、コンテンツデータをデコードして、コンテンツ映像信号およびコンテンツ音声信号を生成し、テレビジョン装置２の外部入力端子へ供給する。また、コンテンツ再生装置４は、コンテンツデータおよびコンテンツ音声信号を視聴状況認識装置１へも出力する。
【００５９】
視聴状況認識装置１は、テレビジョン装置２からの放送音声信号に代わりコンテンツデータの一部をサーバ装置３Ａへ送信する。また、視聴状況認識装置１は、放送音声信号に代わりコンテンツ音声信号に基づいて個別反応データを生成し、サーバ装置３Ａへ送信する。
【００６０】
サーバ装置３Ａは、図７に示すように、通信部３１、統計情報分析部３３Ａ、ソース情報分析部３４、記録媒体３５を備える。通信部３１は、ネットワーク９００を介して、各視聴状況認識装置１との間で、個別反応データ、コンテンツデータ、分析データの送受信を行う。
【００６１】
ソース情報分析部３４は、通信部３１からのコンテンツデータを、デコードし、記録媒体３５のコンテンツパラメータ記録部３５１に記録されたコンテンツパラメータとを比較する。コンテンツパラメータとは、コンテンツデータにより構成されるコンテンツの種類や内容、取得したコンテンツデータのコンテンツ内における時間帯等の情報である。
【００６２】
ソース情報分析部３４は、受信したコンテンツデータに該当するコンテンツパラメータを検出すると、検出したコンテンツパラメータに対応する記録媒体３５の統計分析データ記録部３５２に記録されている分析データを、統計情報分析部３３Ａへ出力するように制御する。
【００６３】
統計分析データ記録部３５２には、コンテンツパラメータ毎に分析データが記録されており、ソース情報分析部３４からの分析データの出力制御に応じて、分析データを統計情報分析部３３Ａへ出力する。
【００６４】
統計情報分析部３３Ａは、通信部３１を介して受信した個別反応データと、統計分析データ記録部３５２からの分析データとに基づいて、第１の実施形態と同様の視聴状況に関する分析データを更新生成する。これにより、異なる時に、複数の視聴者が同じコンテンツを視聴した場合であっても、当該コンテンツに対する分析データを得ることができる。
【００６５】
分析データは、第１の実施形態と同様に、通信部３１、ネットワーク９００を介して視聴状況認識装置１へ送信される。視聴状況認識装置１は、上述のように分析データに基づく分析結果画像を表示部２０で表示するとともに、分析データに基づく付加放音信号を生成して、スピーカアレイＳＰＡから放音する。
【００６６】
次に、上述の視聴状況認識装置１およびサーバ装置３Ａの処理を、フローチャートに沿って説明する。図８は本実施形態の視聴状況認識フローを示すフローチャートである。
【００６７】
まず、視聴者ＵＳがコンテンツの再生をして視聴を開始すると、視聴状況認識装置１は、コンテンツデータを取得して、サーバ装置３へ送信する（Ｓ３０１）。
【００６８】
サーバ装置３Ａは、コンテンツデータを受信すると（Ｓ４０１）、予め記憶したコンテンツパラメータと比較して、コンテンツの特定を行う（Ｓ４０２）。
【００６９】
視聴状況認識装置１は、視聴者ＵＳの音声をエコーキャンセル処理して取得し、上述のように特徴解析を行う（Ｓ３０２）。視聴状況認識装置１は、特徴解析結果とコンテンツ音声信号とから個別反応データを生成し、サーバ装置３へ送信する。
【００７０】
サーバ装置３Ａは、個別反応データを受信すると（Ｓ４０３）、当該個別反応データと、略同時に受信した他の視聴状況認識装置からの個別反応データとを用いて、上述のように視聴状況に関する分析データを生成する。この際、サーバ装置３Ａは、記録媒体３５に記録されている分析データを読み出し（Ｓ４０４）、当該分析データをベースにして分析データを更新生成する（Ｓ４０５）。サーバ装置３は、当該分析データを視聴状況認識装置１へ送信し（Ｓ４０６）、分析データの更新を記録する（Ｓ４０７）。
【００７１】
視聴状況認識装置１は、分析データを受信すると（Ｓ３０４）、該分析データに基づいて、分析結果画像を表示部２０から表示するとともに、付加放音信号をスピーカＳＰから放音する（Ｓ３０５）。
【００７２】
視聴状況認識装置１は、視聴が終了するまで（Ｓ３０６：Ｎｏ）、上述の処理を所定タイミング間隔で継続的に行い、視聴が終了すれば（Ｓ３０６：Ｙｅｓ）、一連の処理を終了させる。
【００７３】
以上のように、本実施形態の構成および処理を用いれば、一つのコンテンツを複数の視聴者が異なる時間に、別々に視聴しても、他の視聴者および自身の視聴状況を客観的に把握しながら視聴することができる。
【００７４】
なお、上述の説明では、テレビジョン放送や映像コンテンツを用いた場合を例に説明したが、ラジオ放送や音声コンテンツを用いた場合にも、上述の構成および処理を適用することができる。
【００７５】
また、上述の説明は、音声から個別反応を検出する例を示したが、カメラ等を配置することで、音声に加えて映像からも個別反応を検出してもよい。
【符号の説明】
【００７６】
１−視聴状況認識装置、２−テレビジョン装置、３，３Ａ−サーバ装置、４−コンテンツ再生装置、１０−制御部、１１−収音制御部、１２−音声信号処理部、１２１−第１エコーキャンセル部、１２２−第２エコーキャンセル部、１２３−収音音声解析部、１３−放音制御部、２０−表示部、３１−通信部、３２−放送信号受信部、３３，３３Ａ−統計情報分析部、３４−ソース情報分析部、３５−記録媒体、３５１−コンテンツパラメータ記録部、３５２−統計分析データ記録部、９００−ネットワーク、ＭＣ−マイクロホン、ＭＣＡ−マイクアレイ、ＳＰ−スピーカ、ＳＰＡ−スピーカアレイ
【技術分野】
【０００１】
この発明は、視聴者の反応等の視聴状況を認識する視聴状況認識装置および視聴状況認識システムに関する。
【背景技術】
【０００２】
従来、視聴者の視聴状況を認識する装置が各種考案されている。例えば、特許文献１では、リモコン操作に応じた視聴者の視聴状況を取得して記録している。また、特許文献２では、それぞれの視聴者に対して視聴状況を取得し、同じ番組を視聴している者がいるかどうかを検出する。そして、同じ番組を視聴している者が検出されれば、これらの視聴者の音声をまとめて、それぞれの視聴者に対して放音している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２７５０５７号公報
【特許文献２】特開２００７−１３４８０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の特許文献１に記載の技術では、それぞれの視聴者の状況を個別に取得できるものの、その他の視聴者の視聴状況を利用して、付加的なサービスを提供することができない。
【０００５】
上述の特許文献２では、このような付加的なサービスとして、同じ番組を見ている複数の視聴者が、一緒に番組を見ているような疑似体験を与えることができるが、単に同じ番組を見ている者の声等が聞こえるだけであり、視聴している番組に対する自分の反応とその他の視聴者の反応との違いを体感することができない。
【０００６】
したがって、この発明の目的は、視聴中の番組やコンテンツに対する自分の反応を客観的に体感できる視聴状況認識装置および視聴状況認識システムを提供することにある。
【課題を解決するための手段】
【０００７】
この発明は、視聴状況認識装置に関する。当該視聴状況認識装置は、音声信号処理部、制御部、表示部、および放音部を備える。音声信号処理部は、収音部で収音された視聴者の音声と、視聴対象メディアの音声とに基づいて、該視聴対象メディアに対する視聴者の反応を示す個別反応データを生成する。制御部は、個別反応データに基づいて得られる分析データを取得し、該分析データに基づく分析結果画像および分析結果音声を生成する。表示部は、分析結果画像を表示する。放音部は、分析結果音声を放音する。
【０００８】
この構成では、視聴者の個別反応が音声のみで分析され、視聴者の視聴対象メディアに対する反応の客観的な位置づけが得られる。そして、この分析結果を視聴者へ体感させることが可能になる。
【０００９】
また、この発明の視聴状況認識装置では、音声信号処理部は、視聴者の音声のレベルおよび音声パターンを取得し、当該音声レベルおよび音声パターンから前記視聴者の反応を識別する。音声信号処理部は、特定の反応を検出した場合に、当該反応の検出情報と、該検出した時間に対応する視聴対象メディアの音声の情報とを含んで個別反応データを生成する。
【００１０】
この構成では、具体的な個別反応データの生成方法を示している。例えば、視聴者の反応として笑いを例にすれば、当該笑いの反応の場合、音声レベルが相対的に高くなり、会話とは異なる特徴的な音声パターンとなる。このように、音声レベルや音声パターンを取得すれば、これらの特徴から反応を識別することができる。そして、このような特徴が現れる時間の視聴対象メディアの音声を添付すれば、視聴対象メディアのどのタイミングで特徴的な反応が生じたかを関連付けできる。
【００１１】
また、この発明の視聴状況認識装置では、音声信号処理部は、収音部の収音信号に対して、分析結果音声信号および視聴メディアの音声に基づくエコーキャンセル処理を行うことで、視聴者の音声を取得する。
【００１２】
この構成では、エコーキャンセル処理を行うことで、視聴対象メディアの音声が放音されていても、分析結果に基づく分析結果音声が放音されていても、視聴者の音声を、より正確に取得することができる。これにより、より正確な個別反応データを生成することができる。
【００１３】
また、この発明は、上述の視聴状況認識装置を含む視聴状況認識システムに関する。この視聴状況認識システムは、視聴状況認識装置とサーバとからなる。サーバは、視聴状況認識装置の制御部からの個別反応データを受信し、分析データを前記制御部へ送信する通信部を備える。サーバは、同一の視聴対象メディアに対する複数の個別反応データに基づいて、統計処理を行うことで分析データを生成する統計情報分析部を備える。
【００１４】
この構成では、上述の視聴状況認識装置を含む視聴状況認識システムについて示しており、サーバにおける分析データの生成方法について示している。このように、複数の個別反応データを統計処理することで、各視聴者の個別反応データの客観的位置づけが分かる分析データが得られる。
【００１５】
また、この発明の視聴状況認識システムでは、サーバは分析データを更新記録する記録媒体を備える。サーバの統計情報分析部は、更新記録された分析データを含んで統計処理を実行する。
【００１６】
この構成では、例えば、コンテンツサーバから視聴対象メディアを再生する場合、同じ時刻に複数の視聴者が視聴するとは限らない。このような場合に対応し、個別反応データが入力される度に分析データを読み出して、更新し、再度記録しておく。これにより、同時刻ではなくても、各視聴者の個別反応データの客観的位置づけが分かる分析データが得られる。
【発明の効果】
【００１７】
この発明によれば、単に番組やコンテンツを視聴するだけでなく、番組やコンテンツを視聴しながら、自分の反応を客観的に体感することができる。
【図面の簡単な説明】
【００１８】
【図１】第１の実施形態に係る視聴状況認識装置およびこれに接続する視聴者側のシステム構成について示す図である。
【図２】図１に示す音声信号処理部１２の構成を示すブロック図である。
【図３】第１の実施形態に係る視聴状況認識システムにおけるサーバの構成について示す図である。
【図４】第１の実施形態に係る視聴状況認識フローを示すフローチャートである。
【図５】具体的な視聴状況を説明するための図である。
【図６】第２の実施形態に係る視聴状況認識装置およびこれに接続する視聴者側のシステム構成について示す図である。
【図７】第２の実施形態に係る視聴状況認識システムにおけるサーバの構成について示す図である。
【図８】第２の実施形態に係る視聴状況認識フローを示すフローチャートである。
【発明を実施するための形態】
【００１９】
本発明の第１の実施形態に係る視聴状況認識装置および当該視聴状況認識装置を含む視聴状況認識システムについて、図を参照して説明する。図１は本実施形態における視聴状況認識装置１を含む視聴者側の構成を示すブロック図である。図２は図１に示す音声信号処理部１２の具体的構成を示すブロック図である。図３は本実施形態の視聴状況認識システムにおけるサーバ３の構成図である。
【００２０】
視聴状況認識システムは、図１に示すような視聴状況認識装置１を含む視聴者ＵＳ側の構成と、図３に示すようなサーバ装置３とがネットワーク９００により接続されてなる。なお、サーバ装置３には、複数の視聴者側の構成（視聴状況認識装置１）がネットワーク９００を介して接続されている。
【００２１】
視聴者ＵＳ側には、図１に示すように視聴状況認識装置１とテレビジョン装置２とが配設されている。テレビジョン装置２は、テレビ放送信号（ここでは、地上波デジタル放送を例にする。）を受信して、放送映像を画面上に表示するとともに、放送音声を内蔵スピーカから放音する。テレビジョン装置２は、放送音声信号を視聴状況認識装置１へも出力する。
【００２２】
視聴状況認識装置１は、制御部１０、収音制御部１１、音声信号処理部１２、放音制御部１３および表示部２０を備える。
【００２３】
制御部１０は、視聴状況認識装置１の全体制御を行うともに、ネットワーク９００を介してのサーバ装置３との通信制御も行う。制御部１０は、音声信号処理部１２で形成された収音音声の解析結果に基づいて、個別反応データを生成し、サーバ装置３へ送信する。制御部１０は、サーバ装置３から受信した分析データに基づいて、分析結果画像を生成して、表示部２０へ出力する。また、制御部１０は、分析データに基づいて、「分析結果音声」に相当する付加放音信号を生成して、音声信号処理部１２へ出力する。ここで、分析データは、概略的には、サーバ装置３に集計された複数の個別反応データに基づく統計処理から得られるデータである。なお、分析データの具体的形成方法は、後述のサーバ装置３の説明の際に、併せて説明する。
【００２４】
また、制御部１０は、テレビジョン装置２から取得した放送音声信号を、定期的に所定時間長に亘り、サーバ装置３へ送信する。
【００２５】
収音制御部１１には、複数のマイクロホンＭＣが所定パターンで配列されたマイクアレイＭＣＡが接続されている。収音制御部１１は、各マイクロホンＭＣの収音信号に基づいて、所定の収音指向性からなる収音指向性信号を生成する。この際、例えば、複数の収音指向性信号を形成し、複数の収音指向性信号から話者方位を検出する機能を備えておけば、当該話者方位を最大収音感度方向とする収音指向性信号を形成することができる。なお、このような指向性制御を行わない場合は、複数のマイクロホンＭＣからなるマイクアレイＭＣＡを用いる必要はなく、一本のマイクロホンを用いればよい。
【００２６】
放音制御部１３には、複数のスピーカＳＰが所定パターンで配列されたスピーカアレイＳＰＡが接続されている。放音制御部１３には、制御部１０から付加放音信号が与えられており、放音制御部１３は、当該付加放音信号を所定の放音指向性で放音するように、各スピーカＳＰに対する放音駆動信号を生成し、それぞれのスピーカＳＰへ出力する。
【００２７】
音声信号処理部１２は、第１エコーキャンセル部１２１、第２エコーキャンセル部１２２、および収音音声解析部１２３を備える。
【００２８】
第１エコーキャンセル部１２１は、スピーカアレイＳＰＡからの放音とマイクアレイＭＣＡによる収音に基づくエコー経路に対する第１の適応パラメータを設定する。第１エコーキャンセル部１２１は、第１の適応パラメータを付加放音信号に乗算することで、第１擬似エコー信号を生成する。第１エコーキャンセル部１２１は、収音制御部１１からの収音指向性信号から第１擬似エコー信号を減算する。これにより、収音指向性信号に含まれる付加放音信号のエコー成分を抑圧することができる。
【００２９】
第２エコーキャンセル部１２２は、テレビジョン装置２の内蔵スピーカからの放音とマイクアレイＭＣＡによる収音に基づくエコー経路に対する第２の適応パラメータを設定する。第２エコーキャンセル部１２２は、第２の適応パラメータを放送音声信号に乗算することで、第２擬似エコー信号を生成する。第２エコーキャンセル部１２２は、第１エコーキャンセル部１２１から出力された第１段のエコーキャンセル後の収音指向性信号から第２擬似エコー信号を減算する。これにより、第１段のエコーキャンセル後の収音指向性信号に含まれる放送音声信号のエコー成分を抑圧することができる。
【００３０】
以上のようなエコーキャンセル処理を行うことで、収音指向性信号から、付加放音信号と放送音声信号のエコー成分の両方を抑圧することができる。これにより、収音音声解析部１２３には、視聴者ＵＳの発声音のみからなる音声信号が入力される。
【００３１】
収音音声解析部１２３は、上述のエコーキャンセル後の音声信号に基づいて、当該音声信号の特徴を検出し、特徴情報、当該特徴の発生検出時間に対応する放送音声信号（特徴時放送音声信号と称する。）を解析結果として、制御部１０へ出力する。
【００３２】
具体的な特徴情報の検出方法は、以下の通りである。
【００３３】
収音音声解析部１２３は、各種の特徴的な発声音（例えば笑い声）の時間軸上や周波数軸上の特性を予め記憶している。このような特性は、視聴状況認識装置１の製造時に、予め一般的な特性として記憶しておいてもよいし、使用開始時に視聴者ＵＳが自身の特徴的な発生視聴状況認識装置１に収音させて、当該特性を記憶しておいてもよい。
【００３４】
収音音声解析部１２３は、入力されたエコーキャンセル後の音声信号のレベル、時間的なレベル変化、周波数特性を解析する。なお、これらの特性は、必ずしも全てを取得する必要はなく、少なくとも一つの特性が得られればよい。ただし、解析する特性数が多いほど、より正確な特徴の解析結果が得られる。
【００３５】
収音音声解析部１２３は、これらの情報から、入力されたエコーキャンセル後の音声信号の特徴を、記憶された特性と比較することで、解析する。例えば、笑い声の場合、通常の音声レベルよりも時間軸上で全体的にレベルが高くなり、レベルの高い区間と低い区間とが短い間隔で繰り返す。また、周波数軸上では、笑い声の周波数が、他の周波数よりも大幅に高くなる。このような特性が、特徴毎に記憶されているので、収音音声解析部１２３は、それぞれの特徴の特性と、入力されたエコーキャンセル後の音声信号の解析した特性とを比較して、一致するものを検出する。例えば、エコーキャンセル後の音声信号の解析した特性が、笑い声の特性とに所定閾値以上の一致度であれば、当該エコーキャンセル後の音声信号は、笑い声であると判定する。そして、当該笑い声であるという特徴情報を出力する。
【００３６】
表示部２０は、液晶ディスプレイ等からなり、分析結果画像を表示する。
【００３７】
サーバ装置３は、通信部３１、放送信号受信部３２、統計情報分析部３３を備える。通信部３１は、ネットワーク９００を介して各視聴状況認識装置１の制御部１０からの個別反応データを受信する。通信部３１は、ネットワーク９００を介して各視聴状況認識装置１の制御部１０へ分析データを送信する。放送信号受信部３２は、放送信号を受信して、放送音声信号を統計情報分析部３３へ出力する。なお、放送信号受信部３２は、受信可能な全ての放送信号を受信して統計情報分析部３３へ出力する。
【００３８】
統計情報分析部３３は、放送音声信号を参照して、複数の個別反応データから特徴情報に関する統計処理を実行することで、分析データを生成する。具体的には、統計情報分析部３３は、各個別反応データから、特徴時放送音声信号を抽出する。この特徴時放送音声信号が同期情報となる。すなわち、統計情報分析部３３は、同じ特徴時放送音声信号を有する個別反応データ同士を関連付けする。
【００３９】
統計情報分析部３３は、各特徴時放送音声信号と、放送信号受信部３２で受信した放送音声信号とを比較し、各特徴時放送音声信号に対応するチャンネルおよび番組を検出する。
【００４０】
統計情報分析部３３は、関連付けられた複数の個別反応データから特徴情報を読み出し、これらの特徴情報を分類する。また、統計情報分析部３３は、関連付けられた複数の個別反応データから、同一特徴情報の発生頻度をそれぞれに取得する。
【００４１】
このような処理を行うことで、例えば、次に示すような視聴状況に関する分析データを得ることができる。
【００４２】
同じチャンネルおよび番組における、笑い声の特徴情報を有する個別反応データの数が取得できるので、一般的な当該番組に対する笑い度（笑っている視聴者の割合）が得られる。また、各個別反応データにおける笑い声の特徴情報の期間長さから、それぞれの視聴者の個別笑い度（どれぐらい笑っているか）が得られる。さらに、それぞれの視聴者の個別笑い度が取得できることで、他の視聴者の個別笑い度の平均と自分の個別笑い度との比較結果も得られる。また、同一時間に対する特徴時放送音声信号の頻度から番組の視聴率が得られる。
【００４３】
統計情報分析部３３は、これらの個別反応データに含まれる各情報の統計処理から得られる、視聴者毎のおよび世間一般の視聴状況に関する各種の分析結果を分析データとして生成し、通信部３１へ出力する。
【００４４】
分析データは、通信部３１、ネットワーク９００を介して視聴状況認識装置１へ送信される。視聴状況認識装置１は、上述のように分析データに基づく分析結果画像を表示部２０で表示するとともに、分析データに基づく付加音声をスピーカアレイＳＰＡから放音する。これにより、視聴者ＵＳは、視聴状況を客観的に把握しながら、視聴することができる。
【００４５】
次に、上述の視聴状況認識装置１およびサーバ装置３の処理を、フローチャートに沿って説明する。図４は本実施形態の視聴状況認識フローを示すフローチャートである。
【００４６】
まず、視聴者ＵＳが視聴を開始すると、視聴状況認識装置１は、放送音声信号を取得して、その一部にあたる所定時間長の放送音声信号を、サーバ装置３へ送信する（Ｓ１０１）。ここで、テレビジョン放送がデジタル放送であれば、例えば、１個のトランスポートストリームパケットＴＳＰ単位で、サーバ装置３に送る等の処理を行う。
【００４７】
サーバ装置３は、放送音声信号を受信すると（Ｓ２０１）、視聴チャネルおよび視聴番組の特定を行う（Ｓ２０２）。
【００４８】
視聴状況認識装置１は、視聴者ＵＳの音声をエコーキャンセル処理して取得し、上述のように特徴解析を行う（Ｓ１０２）。視聴状況認識装置１は、特徴解析結果と特徴時放送音声信号とから個別反応データを生成し、サーバ装置３へ送信する（Ｓ１０３）。
【００４９】
サーバ装置３は、個別反応データを受信すると（Ｓ２０３）、当該個別反応データと、略同時に受信した他の視聴状況認識装置からの個別反応データとを用いて、上述のように視聴状況に関する分析データを生成する（Ｓ２０４）。サーバ装置３は、当該分析データを視聴状況認識装置１へ送信する（Ｓ２０５）。
【００５０】
視聴状況認識装置１は、分析データを受信すると（Ｓ１０４）、該分析データに基づいて、分析結果画像を表示部２０から表示するとともに、付加放音信号をスピーカＳＰから放音する（Ｓ１０５）。
【００５１】
視聴状況認識装置１は、視聴が終了するまで（Ｓ１０６：Ｎｏ）、上述の処理を所定タイミング間隔で継続的に行い、視聴が終了すれば（Ｓ１０６：Ｙｅｓ）、一連の処理を終了させる。
【００５２】
以上のような構成および処理を行った場合、図５に示すような視聴が可能になる。図５は具体的な視聴状況を説明するための図であり、図５（Ａ）が世間の笑い度が、視聴者ＵＳ自身の笑い度よりも低い場合を示し、図５（Ｂ）が世間の笑い度と視聴者ＵＳ自身の笑い度とが略一致して高い場合を示す。
【００５３】
図５（Ａ）のように、視聴者ＵＳ自身が非常に笑っている場合、当該高い笑い度に対応する個別反応データが視聴状況認識装置１からサーバ装置３へ送信される。サーバ装置３では、他の多くの視聴者からの個別反応データも用いて分析データを生成する。そして、他の多くの視聴者があまり笑っていなければ、笑い度が低い分析データとなる。この分析データは視聴状況認識装置１に送信され、視聴状況認識装置１は、この低い笑い度の分析データに基づいて、分析結果画像を表示するとともに、付加放音信号を放音する。ここで、図５（Ａ）に示すように、表示部２０の画面上には、視聴者ＵＳ自身の笑い度と、分析データに基づく世間一般の笑い度とが、表示される。これにより、視聴者ＵＳは、自身と世間との感覚の違いを視覚的に知ることができる。また、これにより、視聴中の番組に対する世間の評価を知ることもできる。この際、図５（Ａ）に示すように、視聴率を同時に表示すれば、さらに別の観点からの視聴中の番組に対する世間の評価を知ることもできる。また、さらに、図５（Ａ）に示すように、付加放音信号から小さい笑い声が放音されれば、聴覚的にも違いを体感することができる。
【００５４】
図５（Ｂ）の場合にも、視聴者ＵＳ自身が非常に笑っているので、当該高い笑い度に対応する個別反応データが視聴状況認識装置１からサーバ装置３へ送信される。サーバ装置３では、他の多くの視聴者からの個別反応データも用いて分析データを生成する。そして、他の多くの視聴者も大いに笑っているので、笑い度が高い分析データが得られる。この分析データは視聴状況認識装置１に送信され、視聴状況認識装置１は、この高い笑い度の分析データに基づいて、分析結果画像を表示するとともに、付加放音信号を放音する。ここでも、図５（Ｂ）に示すように、表示部２０の画面上には、視聴者ＵＳ自身の笑い度と、分析データに基づく世間一般の笑い度とが、表示される。これにより、視聴者ＵＳは、世間でも同じ感覚で笑っていることを視覚的に知ることができ、視聴者間での親近感や番組に対する親近感を与えることができる。また、さらに、図５（Ｂ）に示すように、付加放音信号から大きな笑い声が放音されれば、聴覚的にも他の視聴者や番組との親近感を体感することができる。
【００５５】
なお、上述に示す放音される笑い声は、予め視聴状況認識装置１に記憶されたものを用いればよいが、上述の個別反応データに特徴を検出した音声信号を含ませれば、当該音声信号に基づく他の視聴者の笑い声を放音することもできる。これにより、自身の視聴状況だけでなく、さらに臨場感も得ることができる。
【００５６】
次に、第２の実施形態に係る視聴状況認識システムについて、図を参照して説明する。図６は第２の実施形態に係る視聴状況認識装置およびこれに接続する視聴者側のシステム構成について示す図である。図７は第２の実施形態に係る視聴状況認識システムにおけるサーバの構成について示す図である。
【００５７】
上述の第１の実施形態では、リアルタイムに放送信号を受信した場合について示したが、本実施形態では、ＤＶＤ等のメディアに記録されたコンテンツや、ネットを介してストリーミング配信されるコンテンツを視聴する場合について、説明する。なお、以下ではストリーミング配信されるコンテンツの場合について説明する。また、以下では、第１の実施形態と異なる箇所のみを説明し、同一の構成および同一の処理の箇所については説明を省略する。
【００５８】
図６に示すように、本実施形態の視聴者ＵＳ側の構成では、視聴状況認識装置１およびテレビジョン装置２とともに、コンテンツ再生装置４が設置されている。コンテンツ再生装置４は、ネットワーク９００を介してコンテンツデータを取得する。コンテンツ再生装置４は、コンテンツデータをデコードして、コンテンツ映像信号およびコンテンツ音声信号を生成し、テレビジョン装置２の外部入力端子へ供給する。また、コンテンツ再生装置４は、コンテンツデータおよびコンテンツ音声信号を視聴状況認識装置１へも出力する。
【００５９】
視聴状況認識装置１は、テレビジョン装置２からの放送音声信号に代わりコンテンツデータの一部をサーバ装置３Ａへ送信する。また、視聴状況認識装置１は、放送音声信号に代わりコンテンツ音声信号に基づいて個別反応データを生成し、サーバ装置３Ａへ送信する。
【００６０】
サーバ装置３Ａは、図７に示すように、通信部３１、統計情報分析部３３Ａ、ソース情報分析部３４、記録媒体３５を備える。通信部３１は、ネットワーク９００を介して、各視聴状況認識装置１との間で、個別反応データ、コンテンツデータ、分析データの送受信を行う。
【００６１】
ソース情報分析部３４は、通信部３１からのコンテンツデータを、デコードし、記録媒体３５のコンテンツパラメータ記録部３５１に記録されたコンテンツパラメータとを比較する。コンテンツパラメータとは、コンテンツデータにより構成されるコンテンツの種類や内容、取得したコンテンツデータのコンテンツ内における時間帯等の情報である。
【００６２】
ソース情報分析部３４は、受信したコンテンツデータに該当するコンテンツパラメータを検出すると、検出したコンテンツパラメータに対応する記録媒体３５の統計分析データ記録部３５２に記録されている分析データを、統計情報分析部３３Ａへ出力するように制御する。
【００６３】
統計分析データ記録部３５２には、コンテンツパラメータ毎に分析データが記録されており、ソース情報分析部３４からの分析データの出力制御に応じて、分析データを統計情報分析部３３Ａへ出力する。
【００６４】
統計情報分析部３３Ａは、通信部３１を介して受信した個別反応データと、統計分析データ記録部３５２からの分析データとに基づいて、第１の実施形態と同様の視聴状況に関する分析データを更新生成する。これにより、異なる時に、複数の視聴者が同じコンテンツを視聴した場合であっても、当該コンテンツに対する分析データを得ることができる。
【００６５】
分析データは、第１の実施形態と同様に、通信部３１、ネットワーク９００を介して視聴状況認識装置１へ送信される。視聴状況認識装置１は、上述のように分析データに基づく分析結果画像を表示部２０で表示するとともに、分析データに基づく付加放音信号を生成して、スピーカアレイＳＰＡから放音する。
【００６６】
次に、上述の視聴状況認識装置１およびサーバ装置３Ａの処理を、フローチャートに沿って説明する。図８は本実施形態の視聴状況認識フローを示すフローチャートである。
【００６７】
まず、視聴者ＵＳがコンテンツの再生をして視聴を開始すると、視聴状況認識装置１は、コンテンツデータを取得して、サーバ装置３へ送信する（Ｓ３０１）。
【００６８】
サーバ装置３Ａは、コンテンツデータを受信すると（Ｓ４０１）、予め記憶したコンテンツパラメータと比較して、コンテンツの特定を行う（Ｓ４０２）。
【００６９】
視聴状況認識装置１は、視聴者ＵＳの音声をエコーキャンセル処理して取得し、上述のように特徴解析を行う（Ｓ３０２）。視聴状況認識装置１は、特徴解析結果とコンテンツ音声信号とから個別反応データを生成し、サーバ装置３へ送信する。
【００７０】
サーバ装置３Ａは、個別反応データを受信すると（Ｓ４０３）、当該個別反応データと、略同時に受信した他の視聴状況認識装置からの個別反応データとを用いて、上述のように視聴状況に関する分析データを生成する。この際、サーバ装置３Ａは、記録媒体３５に記録されている分析データを読み出し（Ｓ４０４）、当該分析データをベースにして分析データを更新生成する（Ｓ４０５）。サーバ装置３は、当該分析データを視聴状況認識装置１へ送信し（Ｓ４０６）、分析データの更新を記録する（Ｓ４０７）。
【００７１】
視聴状況認識装置１は、分析データを受信すると（Ｓ３０４）、該分析データに基づいて、分析結果画像を表示部２０から表示するとともに、付加放音信号をスピーカＳＰから放音する（Ｓ３０５）。
【００７２】
視聴状況認識装置１は、視聴が終了するまで（Ｓ３０６：Ｎｏ）、上述の処理を所定タイミング間隔で継続的に行い、視聴が終了すれば（Ｓ３０６：Ｙｅｓ）、一連の処理を終了させる。
【００７３】
以上のように、本実施形態の構成および処理を用いれば、一つのコンテンツを複数の視聴者が異なる時間に、別々に視聴しても、他の視聴者および自身の視聴状況を客観的に把握しながら視聴することができる。
【００７４】
なお、上述の説明では、テレビジョン放送や映像コンテンツを用いた場合を例に説明したが、ラジオ放送や音声コンテンツを用いた場合にも、上述の構成および処理を適用することができる。
【００７５】
また、上述の説明は、音声から個別反応を検出する例を示したが、カメラ等を配置することで、音声に加えて映像からも個別反応を検出してもよい。
【符号の説明】
【００７６】
１−視聴状況認識装置、２−テレビジョン装置、３，３Ａ−サーバ装置、４−コンテンツ再生装置、１０−制御部、１１−収音制御部、１２−音声信号処理部、１２１−第１エコーキャンセル部、１２２−第２エコーキャンセル部、１２３−収音音声解析部、１３−放音制御部、２０−表示部、３１−通信部、３２−放送信号受信部、３３，３３Ａ−統計情報分析部、３４−ソース情報分析部、３５−記録媒体、３５１−コンテンツパラメータ記録部、３５２−統計分析データ記録部、９００−ネットワーク、ＭＣ−マイクロホン、ＭＣＡ−マイクアレイ、ＳＰ−スピーカ、ＳＰＡ−スピーカアレイ
【特許請求の範囲】
【請求項１】
収音部で収音された視聴者の音声と、視聴対象メディアの音声とに基づいて、該視聴対象メディアに対する前記視聴者の反応を示す個別反応データを生成する音声信号処理部と、
前記個別反応データに基づいて得られる分析データを取得し、該分析データに基づく分析結果画像および分析結果音声を生成する制御部と、
前記分析結果画像を表示する表示部と、
前記分析結果音声を放音する放音部と、を備えた視聴状況認識装置。
【請求項２】
請求項１に記載の視聴状況認識装置であって、
前記音声信号処理部は、
前記視聴者の音声のレベルおよび音声パターンを取得し、当該音声レベルおよび音声パターンから前記視聴者の反応を識別し、
特定の反応を検出した場合に、当該反応の検出情報と、該検出した時間に対応する視聴対象メディアの音声の情報とを含んで前記個別反応データを生成する、視聴状況認識装置。
【請求項３】
請求項１または請求項２に記載の視聴状況認識装置であって、
前記音声信号処理部は、
前記収音部の収音信号に対して、前記分析結果音声信号および前記視聴メディアの音声に基づくエコーキャンセル処理を行うことで、前記視聴者の音声を取得する、視聴状況認識装置。
【請求項４】
請求項１乃至請求項３のいずれかに記載の視聴状況認識装置を備えるとともに、
該視聴状況認識装置の制御部からの前記個別反応データを受信し、前記分析データを前記制御部へ送信する通信部、および、同一の視聴対象メディアに対する複数の個別反応データに基づいて、統計処理を行うことで前記分析データを生成する統計情報分析部を有するサーバを備えた、視聴状況認識システム。
【請求項５】
請求項４に記載の視聴状況認識システムであって、
前記サーバは、前記分析データを更新記録する記録媒体を備え、
前記統計情報分析部は、更新記録された分析データを含んで前記統計処理を実行する、視聴状況認識システム。
【請求項１】
収音部で収音された視聴者の音声と、視聴対象メディアの音声とに基づいて、該視聴対象メディアに対する前記視聴者の反応を示す個別反応データを生成する音声信号処理部と、
前記個別反応データに基づいて得られる分析データを取得し、該分析データに基づく分析結果画像および分析結果音声を生成する制御部と、
前記分析結果画像を表示する表示部と、
前記分析結果音声を放音する放音部と、を備えた視聴状況認識装置。
【請求項２】
請求項１に記載の視聴状況認識装置であって、
前記音声信号処理部は、
前記視聴者の音声のレベルおよび音声パターンを取得し、当該音声レベルおよび音声パターンから前記視聴者の反応を識別し、
特定の反応を検出した場合に、当該反応の検出情報と、該検出した時間に対応する視聴対象メディアの音声の情報とを含んで前記個別反応データを生成する、視聴状況認識装置。
【請求項３】
請求項１または請求項２に記載の視聴状況認識装置であって、
前記音声信号処理部は、
前記収音部の収音信号に対して、前記分析結果音声信号および前記視聴メディアの音声に基づくエコーキャンセル処理を行うことで、前記視聴者の音声を取得する、視聴状況認識装置。
【請求項４】
請求項１乃至請求項３のいずれかに記載の視聴状況認識装置を備えるとともに、
該視聴状況認識装置の制御部からの前記個別反応データを受信し、前記分析データを前記制御部へ送信する通信部、および、同一の視聴対象メディアに対する複数の個別反応データに基づいて、統計処理を行うことで前記分析データを生成する統計情報分析部を有するサーバを備えた、視聴状況認識システム。
【請求項５】
請求項４に記載の視聴状況認識システムであって、
前記サーバは、前記分析データを更新記録する記録媒体を備え、
前記統計情報分析部は、更新記録された分析データを含んで前記統計処理を実行する、視聴状況認識システム。
【図１】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図５】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図５】
【公開番号】特開２０１１−２０５３５３（Ｐ２０１１−２０５３５３Ａ）
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願番号】特願２０１０−６９９９４（Ｐ２０１０−６９９９４）
【出願日】平成２２年３月２５日（２０１０．３．２５）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願日】平成２２年３月２５日（２０１０．３．２５）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]