集団行動判定装置、方法及びプログラム
【課題】複数のユーザがコンテンツを集団で視聴しているか或いは一人で視聴しているかを、ユーザに心理的負担を与えることなく高精度に判定できるようにする。
【解決手段】テレビジョン受信機１の電源のオンオフ状態を検出すると共に、リモートコントローラ２から送信された電波の受信強度を判定し、さらに各ユーザのリモートコントローラ２から送信されるユーザの生体情報をそれぞれ受信し保存する。そして、電源がオン状態となっておりかつ上記リモートコントローラ２からの電波の受信強度が閾値以上の期間に検出された上記ユーザの生体情報を読み出してその変化量を算出し、この変化量の算出結果をもとに上記各ユーザの生体情報の変化タイミングが一致した時点から少なくとも一方のユーザの生体情報が変化するまでの期間を検出し、この期間を上記各ユーザが同時に同一のテレビジョン番組を視聴している期間、つまり集団視聴期間と判定する。
【解決手段】テレビジョン受信機１の電源のオンオフ状態を検出すると共に、リモートコントローラ２から送信された電波の受信強度を判定し、さらに各ユーザのリモートコントローラ２から送信されるユーザの生体情報をそれぞれ受信し保存する。そして、電源がオン状態となっておりかつ上記リモートコントローラ２からの電波の受信強度が閾値以上の期間に検出された上記ユーザの生体情報を読み出してその変化量を算出し、この変化量の算出結果をもとに上記各ユーザの生体情報の変化タイミングが一致した時点から少なくとも一方のユーザの生体情報が変化するまでの期間を検出し、この期間を上記各ユーザが同時に同一のテレビジョン番組を視聴している期間、つまり集団視聴期間と判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えばテレビジョン受信機により放送番組を視聴しているユーザが、集団で視聴しているか一人で視聴しているかを判定するための集団行動判定装置、方法及びプログラムに関する。
【背景技術】
【０００２】
近年、視聴履歴や録画履歴を用いてユーザに適したテレビジョン番組を推薦するといった機能を搭載したテレビジョン番組レコーダなどが商品化されている。しかし、既存の機器では一人で視聴したのか集団(たとえば夫婦)で視聴したのかを区別していない。そのため、その機器を利用しているすべてのユーザの履歴が混在してしまい、個々人あるいは集団に適した番組の推薦精度が落ちてしまうという問題がある。
【０００３】
そこで、テレビジョン番組を一人で視聴しているか集団で視聴しているかを推定する技術が提案されている。この技術は、例えばテレビジョン受信機もしくはその周辺にカメラを設置し、このカメラにより撮影された画像から人物を認識し、その認識結果から何人のユーザが視聴しているのかを推定するものとなっている（例えば特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１５７７６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところが、カメラを使用する手段では、ユーザは常に撮影されているという意識が生じ、心理的不快感を覚える。また、カメラの撮影画像が漏洩した場合には、プライバシの流出といった問題にもつながる。
この発明は上記事情に着目してなされたもので、その目的とするところは、複数のユーザがコンテンツを集団で視聴しているか或いは一人で視聴しているかを、ユーザに心理的負担を与えることなく高精度に判定可能な集団行動判定装置、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するためにこの発明の１つの観点は、コンテンツを複数のユーザが同時に視聴可能に表示するコンテンツ表示装置と、上記複数のユーザの各々についてその生体情報を検出し送信する複数の生体情報検出装置とにそれぞれ接続される集団行動判定装置において上記複数のユーザの集団行動を判定する際に、
上記コンテンツ表示装置の動作状態をもとに当該コンテンツ表示装置がコンテンツを表示動作中であるか否かを判定すると共に、上記生体情報検出装置から送信された信号の受信品質から上記ユーザが上記コンテンツ表示装置に対しその視聴可能範囲に存在するか否かを判定し、さらに上記複数の生体情報検出装置から送信されるユーザの生体情報をそれぞれ受信してその変化特性を算出し、この算出された各生体情報の変化特性の類似性が予め設定された条件を満たしているか否かを判定する。
そして、上記コンテンツ表示装置がコンテンツを表示動作中であると判定され、上記ユーザが上記コンテンツ表示装置に対しその視聴可能範囲に存在すると判定され、かつ上記各生体情報の変化特性の類似性が予め設定された条件を満たしていると判定された場合に、上記複数のユーザが上記コンテンツを集団で視聴していると判定するようにしたものである。
【０００７】
したがって、先ずコンテンツ表示装置がコンテンツの表示動作中であり、かつユーザがコンテンツ表示装置で表示されるコンテンツを視聴可能な位置に存在することを前提条件とし、その上で複数のユーザの生体情報の変化特性が所定の範囲で類似している場合に、これらのユーザは集団でコンテンツを視聴していると判定される。このため、複数のユーザがコンテンツを集団で視聴しているか或いは一人で視聴しているかを、カメラ等を用いてユーザに心理的負担を与えることなく、高精度に判定することが可能となる。
【０００８】
また、この発明の第１の観点は以下のような実施態様を備えることも特徴とする。
第１の態様は、生体情報の変化特性を算出する際に、各生体情報の変化量を時系列上で算出してこの算出された変化量が予め設定した閾値以上となるタイミングを検出する。そして、この変化のタイミングの検出結果に基づいて、上記複数の生体情報の変化が同調しているシンクロ期間を特定するものである。
【０００９】
第２の態様は、上記シンクロ期間を特定する際に、上記複数の生体情報の変化が予め設定した同一時間内に発生した時のそのタイミングを上記シンクロ期間の開始タイミングに設定し、上記複数の生体情報のいずれか一方が変化した時のそのタイミングを上記シンクロ期間の終了タイミングに設定するものである。
【００１０】
この第１及び第２の態様によれば、複数のユーザ間の生体情報の類似性が、生体情報の変化が同調して起きるシンクロ期間として検出されることになり、これにより比較的簡単にかつ正確に複数のユーザが一緒に同一のコンテンツを視聴しているか否かを判定することが可能となる。
【００１１】
第３の態様は、生体情報検査装置にユーザの脈拍を検出する脈拍センサを備え、上記変化特性算出手段は上記脈拍センサにより検出されたユーザの脈拍検出データからその変化特性を算出するものである。
一般に、恐怖や面白さ、興奮状態等の人の感情の変化は個人差を生じることなく脈拍に反映され、しかも脈拍は安価なセンサにより感度よく検出することが可能である。このため、生体情報として脈拍を用いることで、安価な構成でありながら、ユーザがコンテンツを集団で視聴しているか否かを比較的高精度に判定することが可能となる。
【００１２】
第４の態様は、生体情報の変化量を算出する手法として、隣接する２つのタイミングで得られた各生体情報値の変化方向を余弦値で表すことにより当該各生体情報値のコサイン類似度を算出し、この算出されたコサイン類似度を上記隣接する２つのタイミング間における生体情報の変化量とする手法を用いるものである。
【００１３】
このようにすると、各タイミング間における生体情報の変化をコサイン類似度という指標を用いて表すことができる。コサイン類似度を用いることにより、微細な変化はより小さい値に、大きな変化はより大きい値として検出することが可能となる。したがって、生体情報検出装置の検出精度や周辺環境によって生じるノイズの影響を軽減することができる。
【発明の効果】
【００１４】
すなわちこの発明によれば、複数のユーザがコンテンツを集団で視聴しているか或いは一人で視聴しているかを、ユーザに心理的負担を与えることなく高精度に判定することができる集団行動判定装置、方法及びプログラムを提供することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】この発明の原理説明に使用する、生体情報の変化タイミングが一致する場合の一例を示す図。
【図２】この発明の原理説明に使用する、cosine similarityを用いた生体情報変化量の算出例を示す図。
【図３】この発明の原理説明に使用する、生体情報の変化タイミングに基づく同調判定結果の一例を示す図。
【図４】この発明の原理説明に使用する、生体情報による同調判定の効果を実験結果により示した図。
【図５】この発明の一実施形態に係わる集団行動判定装置を備えたテレビジョン受信システムの機能構成を示すブロック図。
【図６】この発明の一実施形態に係わる集団行動判定装置を備えたテレビジョン受信システムのより具体的な構成を示すブロック図。
【図７】図５及び図６に示したシステムによる集団行動判定処理の手順と処理内容を示すフローチャート。
【図８】図７に示した集団行動判定処理手順のうち生体情報の変化量を算出する処理の手順と処理内容を示すフローチャート。
【図９】図５及び図６に示したテレビジョン受信機の電源情報の一例を示す図。
【図１０】図５及び図６に示したテレビジョン受信機において管理される、リモートコントローラからの電波強度情報の一例を示す図。
【図１１】図５及び図６に示したテレビジョン受信機において管理される、ユーザの生体情報の一例を示す図。
【図１２】図７に示した集団行動判定処理により作成される、集団によるテレビジョン視聴情報の一例を示す図。
【発明を実施するための形態】
【００１６】
［原理］
先ず、この発明の原理を説明する。
例えば、テレビジョン放送の番組を視聴している際に、怖いシーンや面白いシーンなどがあると、視聴者には脈拍の上昇や発汗量の増化といった生体情報の変化が現れる。もし集団、例えば夫婦などで同時にそのようなシーンを視聴していた場合、生体情報の変化のタイミング(時刻)が一致する可能性が高い。すなわち、集団の生体情報の変化は同調する。図１は、ユーザＡとユーザＢが同時に同一の番組を視聴していたときに、これらのユーザＡ、Ｂに起こる生体情報、例えば脈拍の変化の一例を示した図である。このように、複数のユーザが同時に同じ番組を視聴している場合には、その生体情報の変化に同調が起こると予想される。したがって、この生体情報の変化の同調に着目することにより、複数のユーザが同時に同じ番組を視聴していたか否かを判定することは可能である。
【００１７】
しかし、上記の生体情報の変化の同調だけでは不十分である。それは、複数のユーザの生体情報の変化は、テレビジョン放送番組の視聴動作以外の行動により一致することもあれば、偶然一致することもあるからである。そこで、テレビジョン受信機の電源がオンとなっているか否かと、テレビジョン受信機に対しユーザは視聴可能な距離な存在するか否かという２つの要素も判定規準とする。
【００１８】
テレビジョン受信機の電源がオンとなっているか否かを表す情報を利用することにより、ユーザの生体情報の変化がテレビジョン放送番組の視聴によるものか否かを判別することが可能となる。すなわち、そもそもテレビジョン受信機の電源がオンになっていなければ、テレビジョン放送番組を視聴している状態ではないことが明らかなので、テレビジョン受信機の電源がオンになっていない時以外で同調している時間を除去することが可能となる。
【００１９】
また、テレビジョン受信機とユーザとの間の距離が近いか否かを利用することで、ユーザがテレビジョン放送番組を視聴可能な位置にいるか否か、つまりテレビジョン受信機が設置されている部屋にユーザが存在するか否かを判定することが可能である。テレビジョン受信機の電源がオンになっていても、ユーザがテレビジョン放送番組を視聴可能な位置にいなければ視聴していないと同義である。したがって、このテレビジョン受信機とユーザとの間の距離の情報と、上述した電源のオンオフ状態の情報とを併用することで、テレビジョン放送番組を視聴していなかった時間をさらに除去することが可能となる。
【００２０】
さらに、以上の２つの要素だけでは、ユーザが二人ともテレビジョン受信機の近くにいても一人しか視聴していなく、もう一人は読書や家事をしているといった場合に対応できない。そこで、先に述べた生体情報の同調についての情報が必要となる。すなわち、ユーザの片方しかテレビジョン放送番組を視聴していない場合には、生体情報に同調は起き難い。そのため、生体情報の同調を用いることで精度の高い判定が可能となる。
【００２１】
この発明は、以上の点に着目し、
(1) テレビジョン受信機の電源がオンになっている。
(2) 複数のユーザがいずれもテレビジョン放送番組を視聴可能な位置にいる。
(3) 複数のユーザ間で生体情報に同調が起きている。
の３つの条件をいずれも満たした場合に、複数のユーザがテレビジョン放送番組を同時に視聴しているか否か、つまり対象集団が同時にテレビジョン放送番組を視聴しているか否かを判定する。
【００２２】
ところで、上記の生体情報の同調を判定するには、生体情報の変化量を算出する必要がある。変化量の算出には、例えばcosine similarityを応用した手法を用いる。cosine similarityとは、余弦値を利用して２つのデータの類似度を算出する手法である。cosine similarityは−１から１の範囲の値を取り、１に近いほどその２つのデータは類似しているとみなす。cosine similarity を用いることにより、微細な変化はより小さい値に、大きな変化はより大きい値にすることが可能となる。したがって、脈拍などの生体情報を検出するセンサの精度や周辺環境によって生じるノイズの影響を低減できるといった効果が得られる。
【００２３】
いま、時刻t-1及びt における生体情報が図２に示すような値であるとする。このとき、時刻t-1における脈拍数と時刻t における脈拍数とで成す角をθt とすると、θt は図２に示したようになる。したがって、時刻t における脈拍数と時刻t-1 における脈拍数との類似度sim(t) は以下の式で表せる。
sim(t) ＝ cos(θt)
【００２４】
図２に示したような角θを取る場合、θの取りうる値の範囲は−π／２からπ／２となる。このため、類似度sim(t) の取りうる値の範囲は０から１となる。また、算出したい値は変化量であり、「類似している」ということは「変化がない」ということに等しい。以上２つのことより、１を類似度sim(t) で減算したものを変化量とすると、変化が少ないほど０に近づき、変化が大きいほど１に近づく値が得られる。よって、時刻t における変化量var (t) は以下の式で表せる。
var (t) ＝１− sim(t)
【００２５】
この変化量のうち、ある閾値未満のものを“０”、閾値以上のものを“１”とすると、図３で示したようなグラフになる。このようなグラフで対象集団（図３ではユーザＡとユーザＢ）の生体情報を比較したときに、その変化のタイミングが一致したタイミングを生体情報の同期期間（シンクロ期間）の開始時刻とする。そして、このシンクロ期間は、いずれか一方のユーザの生体情報に変化が発生するまで続く。図３の例では、記載されている３つの区間が生体情報が同期しているシンクロ期間となる。このシンクロ期間の検出情報を利用すれば、対象集団が同時にテレビジョン番組を視聴しているか否かを判定可能である。
【００２６】
なお、上記の例では時刻t とその１サンプル前のタイミングt-1 のデータのみを用いて生体情報の変化量を算出したが、さらにノイズに強くするためにn サンプルタイミンク前までの過去の複数のデータを用いて変化量を求めてもよい。例えば、n＝5 とした場合は、var(t-4) 、var(t-3) 、var(t-2) 、var(t-1) 、var(t) の値を平均した値が時刻t における変化量とする。つまり、時刻t における変化量を以下の式を用いて算出する。
【数１】
ここで、ωk は時刻k における加重値であり、そのとりうる範囲を０≦ωt ≦１とすることで、もともとの変化量がとりうる範囲を変えずに加重をかけることが可能となる。
【００２７】
［生体情報の同調で効果が得られる根拠］
生体情報の同調に着目することでこの発明の効果の可能性に関する検証を行った。
いま、同居している夫婦それぞれに市販の脈拍センサを装着した状態で生活してもらった。図４は、同調が起きた時間と、一緒にテレビジョン番組を視聴していた時間と、一緒にいたが一人しかテレビジョン番組を視聴していなかった時間をそれぞれ示したものである。図４によれば、一緒にテレビジョン番組を視聴していた時間帯は他の時間帯に比べ同調が起きている頻度が多い。この結果より、生体情報（脈拍など）の同調は複数のユーザが一緒にテレビジョン番組を視聴しているか否かの判断規準に用いることが可能であることが分かる。
【００２８】
［実施形態］
以下、図面を参照してこの発明に係わる実施形態を説明する。
（装置の構成）
図５は、この発明の一実施形態に係る集団行動判定装置を備えたテレビジョン受信システムの機能構成を示すブロック図である。
このテレビジョン受信システムは、テレビジョン受信機１と、リモートコントローラ２とから構成される。
【００２９】
リモートコントローラ２は、リモコン信号生成部（図示省略）と、入出力インタフェース部２３を備える。リモコン信号生成部は、ユーザの操作に応じてテレビジョン受信機１に対するチャネル選択信号や音量制御信号等の各種リモコン信号を生成する。入出力インタフェース部２３は、上記リモコン信号生成部により生成されたリモコン信号をテレビジョン受信機１へ例えば赤外線を用いて送信する機能を有する。
【００３０】
さらにリモートコントローラ２は、生体情報生成部２１と、記憶部２２と、タイマ２４と、近接無線モジュール２５を備え、これらは生体情報検出装置の主要部を構成する。
タイマ２４は、生体情報生成部２１に対し予め決められた周期で生体情報取得開始トリガ信号を与える。生体情報生成部２１は、上記タイマ２４から与えられる生体情報取得開始トリガにより起動し、例えばリモートコントローラ２を把持するユーザの手からユーザの脈拍を検出して単位時間当たりの脈拍数をカウントする。そして、この脈拍数のカウント値を、その計測時刻、ユーザＩＤ及び生体情報種別情報に対応付け、これを生体情報として記憶部２２に記憶させる機能を有する。
【００３１】
記憶部２２は、生体情報を送信可能な状態になると、蓄積された上記生体情報を読み出し、この読み出された生体情報を入出力インタフェース部２３からテレビジョン受信機１へ送信する。そして、この送信完了後に送信済の生体情報を記憶部２２から削除する機能を有する。近接無線モジュール２５は、リモートコントローラ２が作動している期間に連続的又は間欠的に電波を送信する機能を有する。この送信電波は、テレビジョン受信機１がリモートコントローラ２からの受信強度を計測するために用いられる。
【００３２】
テレビジョン受信機１は、テレビジョン受信機本体１１と、入出力インタフェース部１６を備える。
このテレビジョン受信機本体１１は、放送局から送信されるテレビジョン放送信号を受信してその映像及び音声を出力する機能を有する。またテレビジョン受信機本体１１は、テレビジョン受信機１の電源のオンオフを監視し、この電源のオンオフ状態を表す情報をその検出時刻と対応付けて、電源情報として後述する記憶部１２に記憶させる機能も有する。
【００３３】
入出力インタフェース部１６は、上記リモートコントローラ２から送信されたリモコン信号を受信してテレビジョン受信機本体１１に与える。また入出力インタフェース部１６は、リモートコントローラ２から送信される生体情報を受信して、後述する記憶部１２に記憶させる機能も有する。
【００３４】
さらにテレビジョン受信機１は、記憶部１２と、集団視聴判定部１３と、タイマ１４と、近接無線モジュール１５を備え、これらは集団行動判定装置の主要部を構成する。
近接無線モジュール１５は、リモートコントローラ２から送信される電波を受信してその受信強度を検出し、この検出された電波強度を表す情報をその計測時刻と、送信元のリモートコントローラ２のユーザＩＤと対応付けて上記記憶部１２に記憶させる機能を有する。
【００３５】
タイマ１４は、予め決められた周期で判定開始トリガ信号を発生して集団視聴判定部１３に与える。集団視聴判定部１３は、上記タイマ１４から発生される判定開始トリガ信号により起動される。そして、上記記憶部１２に蓄積された電源情報、電波強度情報及び生体情報に基づいて、例えば家族や夫婦等の複数のユーザが同時に同一の番組を視聴している時間帯を判定し、この判定結果をもとに集団視聴情報を作成して記憶部１２に記憶させる機能を有する。
【００３６】
図６は、以上述べた集団行動判定装置を備えたテレビジョン受信システムの機能を実現するための具体的な構成を示すブロック図である。
リモートコントローラ２は、中央処理部（ＣＰＵ；Central Processing Unit）２１１を備え、このＣＰＵ２１１に対しバス２１２を介して、プログラムメモリ２１３と、データメモリ２１４と、タイマインタフェース２１５と、入出力インタフェース２１６と、脈拍センサ２１７と、先に述べた近接無線モジュール２５を接続したものとなっている。
【００３７】
プログラムメモリ２１３には、入出力制御プログラム２１３１と、生体情報算出プログラム２１３２が格納されている。入出力制御プログラム２１３１は、入出力インタフェース２１６を制御することで、図５に示した入出力インタフェース部２３の機能を実現する。
【００３８】
生体情報算出プログラム２１３２は、脈拍センサ２１７と共同して図５に示した生体情報生成部２１の機能を実現するもので、タイマ２４から発生された生体情報取得開始トリガがタイマインタフェース２１５を介した通知された場合に、脈拍センサ２１７からユーザの脈拍検出データを取り込んで単位時間当たりの脈拍数をカウントする。そして、この脈拍数のカウント値を、その計測時刻、ユーザＩＤ及び生体情報種別情報に対応付け、これを生体情報としてデータメモリ２１４内の生体情報記憶エリア２１４１に記憶させる処理を行う。
【００３９】
データメモリ２１４には、生体情報記憶エリア２１４１が設けられている。生体情報記憶エリア２１４１は、上記生体情報算出プログラム２１３２により算出された生体情報を記憶するために用いられる。
テレビジョン受信機１も、上記したリモートコントローラ２と同様に中央処理部（ＣＰＵ；Control Processing Unit）１１１を備え、このＣＰＵ１１１に対しバス１１２を介して、プログラムメモリ１１３と、データメモリ１１４と、近接無線モジュール１５と、タイマインタフェース１１５と、入出力インタフェース１１６を接続したものとなっている。
【００４０】
データメモリ１１４には、この発明の実施形態を実施するために必要な記憶エリアとして、電源情報記憶エリア１１４１と、電波強度情報記憶エリア１１４２と、生体情報記憶エリア１１４３と、集団視聴情報記憶エリア１１４４が設けられている。電源情報記憶エリア１１４１は、先に述べた電源情報を蓄積するために使用される。電波強度情報記憶エリア１１４２は、先に述べた電波強度情報を蓄積するために使用される。生体情報記憶エリア１１４３は、先に述べた生体情報を蓄積するために使用される。集団視聴情報記憶エリア１１４４は、先に述べた集団視聴情報を記憶するために使用される。
【００４１】
プログラムメモリ１１３には、この発明の実施形態を実施するために必要なアプリケーションプログラムとして、入出力制御プログラム１１３１と、生体情報同調算出プログラム１１３２と、集団視聴判定プログラム１１３３が格納されている。このうち入出力制御プログラム１１３１は、入出力インタフェース１１６を制御することで、図５に示した入出力インタフェース部１６の機能を実現する。生体情報同調算出プログラム１１３２及び集団視聴判定プログラム１１３３は、図５に示した集団視聴判定部１３の機能を実現する。
【００４２】
生体情報同調算出プログラム１１３２は、タイマ１４から発生された判定開始トリガ信号がタイマインタフェース１１５を介して通知された場合に起動して、以下の処理を実行する。
(1) ユーザＩＤごとに、上記データメモリ１１４の電源情報記憶エリア１１４１から判定対象時刻における電源情報を読み出して、テレビジョン受信機１の電源がオンになっているか否かを判定する処理。
(2) 上記判定対象時刻においてテレビジョン受信機１の電源がオンになっていると判定された場合に、当該判定対象時刻における電波強度情報を電波強度情報記憶エリア１１４２から読み出して、リモートコントローラ２からの受信電界強度が予め設定された閾値以上であるか否かを判定する処理。
(3) 上記判定対象時刻における受信電界強度が閾値以上と判定された場合に、当該判定対象時刻における生体情報を上記生体情報記憶エリア１１４３から読み出し、この読み出された生体情報の変化量を算出する処理。
(4) 上記算出された生体情報の変化量を複数のユーザＡ，Ｂ間で比較し、所定量以上の変化量が検出されたときのタイミングが一致した時刻（開始時刻）と、その後いずれか一方の生体情報が所定量以上変化したことが検出されたときの時刻（終了時刻）を検出する処理。
【００４３】
集団視聴判定プログラム１１３３は、上記生体情報同調算出プログラム１１３２により検出された開始時刻及び終了時刻を該当するユーザＡ，ＢのＩＤと対応付ける。そして、この情報をユーザＡ，Ｂが同一番組を同時に視聴している期間を表す集団視聴情報として、集団視聴情報記憶エリア１１４４に記憶させる処理を行う。
【００４４】
（動作）
次に、以上のように構成されたシステムによる、集団でのテレビジョン番組視聴期間を判定するための動作を説明する。図７はその処理手順と処理内容を示すフローチャートである。
【００４５】
（１）電源情報の検出
テレビジョン受信機本体１１では、テレビジョン受信機１の電源のオンオフ動作が監視されている。そして、電源のオンオフが検出されると、この電源のオンオフ状態を表す情報がその検出時刻とともに電源情報としてデータメモリ１１４内の電源情報記憶エリア１１４１に記憶される。図９はその一例を示すものである。同図に示すように電源情報は、日時を表す情報と、テレビジョン受信機１の電源がオンであるかオフであるかを示す情報との集合が１データとなって記憶される。
【００４６】
（２）電波強度情報の検出
リモートコントローラ２では、近接無線モジュール２５がリモートコントローラ２が動作している期間に連続的又は間欠的に電波を送信する。これに対しテレビジョン受信機１では、リモートコントローラ２から送信された電波の受信品質を近接無線モジュール１５が周期的に監視している。そして、上記電波の受信強度の検出値を、その検出日時と、送信元となるリモートコントローラ２の識別情報（例えばユーザＩＤ）に対応付け、これを電波強度情報としてデータメモリ１１４内の電波強度情報記憶エリア１１４２に記憶させる。図１０はその一例を示すものである。同図に示すように電波強度情報は、日時と、送信元となるリモートコントローラ２を所持するユーザＩＤと、電波強度の検出値との集合が１データとなって記憶される。
【００４７】
（３）生体情報の取得
リモートコントローラ２では、タイマ２４から生体情報取得開始トリガが一定の周期で発生されるごとに、生体情報算出プログラム２１３２の制御の下で脈拍センサ２１７によりユーザの脈拍が検出され、その検出データをもとに単位時間当たりの脈拍数がカウントされる。そして、この脈拍数のカウント値が、その計測時刻、ユーザＩＤ及び生体情報種別情報と対応付けられたのち、生体情報としてデータメモリ２１４内の生体情報記憶エリア２１４１に記憶される。
【００４８】
またリモートコントローラ２では、生体情報を送信可能な状態になると、生体情報算出プログラム２１３２の制御の下で、上記生体情報記憶エリア２１４１から上記生体情報が読み出される。そして、この読み出された生体情報は入出力インタフェース部２３からテレビジョン受信機１へ送信される。なお、この送信完了後に当該送信済の生体情報は生体情報記憶エリア２１４１から消去される。
【００４９】
一方テレビジョン受信機１では、上記リモートコントローラ２から送信された生体情報が近接無線モジュール１５で受信され、この受信された生体情報はデータメモリ１１４内の生体情報記憶エリア１１４３に記憶される。図１１はその一例を示すものである。同図に示すように生体情報は、日時と、リモートコントローラ２を所持するユーザのＩＤと、生体情報の種別を表す情報（この実施形態では脈拍）と、脈拍数のカウント値とからなる集合が１データとなって記憶される。
【００５０】
（４）集団視聴判定処理
集団視聴判定処理は、テレビジョン受信機１において生体情報同調算出プログラム１１３２及び集団視聴判定プログラム１１３３の制御の下で以下のように行われる。
すなわち、先ずステップＳ１１において、判定対象時刻に対応する電源情報が電源情報記憶エリア１１４１から読み出され、この読み出された電源情報をもとに上記判定対象時刻においてテレビジョン受信機１の電源がオンだったかオフだったかが判定される。この判定の結果、オフであればステップＳ１９に移行し、ここで未判定の時刻が残っているか否かが判定される。そして、残っていればステップＳ１１に戻り、残っていなければそのまま処理を終了する。
【００５１】
一方、上記電源のオンオフ判定の結果、テレビジョン受信機１の電源がオンだったとする。この場合、集団視聴判定プログラム１１３３はステップＳ１２に移行する。このステップＳ１２では、判定対象となる各ユーザに対応する電波強度情報のうち、上記判定対象時刻に対応する電源強度情報が電波強度情報記憶エリア１１４２から読み出される。そして、この読み出された電波強度情報をもとに、上記判定対象時刻において各判定対象ユーザがいずれもテレビジョン受信機１を視聴可能な範囲内に存在するか否かが判定される。この判定処理は、電波強度が予め設定された閾値以上であるか否かを判定することによりなされる。
【００５２】
なお、上記判定処理をさらに正確に行うために、判定対象ユーザが使用するリモートコントローラ２間で近接無線モジュール２５が送信する電波の強度を測定し、その電波強度が閾値以上であるという条件を付け加えてもよい。このようにすると、複数のユーザが一緒にテレビジョンを視聴していることをより正確に判断可能となる。
【００５３】
上記電波強度の判定の結果、各判定対象ユーザのうち少なくとも一人がテレビジョン受信機１を視聴可能な範囲内に存在しない場合にはステップＳ１９に移行し、ここで未判定の時刻が残っているか否かが判定される。そして、残っていればステップＳ１１に戻り、残っていなければそのまま処理を終了する。
【００５４】
これに対し、上記電波強度の判定の結果、各判定対象ユーザがいずれもテレビジョン受信機１を視聴可能な範囲内に存在したとする。この場合には、ステップＳ１３に移行して上記判定対象ユーザごとにその生体情報の変化量を算出するための処理が実行される。この生体情報の変化量の算出処理はのちに詳しく説明する。
【００５５】
各判定対象ユーザについてそれぞれ生体情報の変化量が算出されると、ステップＳ１４に移行する。ステップＳ１４では、上記ステップＳ１３により算出された各判定対象ユーザの生体情報の変化量が“１”であるか“０”であるかが判定される。この“１”であるか“０”であるかの判定は、生体情報の変化量を予め設定された閾値をもとに二値化したデータに対し行われる。上記判定の結果、各判定対象ユーザの生体情報の変化量がともに“１”であればステップＳ１５に移行する。
【００５６】
ステップＳ１５では、上記ともに“１”と判定された各判定対象ユーザの生体情報の変化のタイミングが同期しているか否かが判定される。なお、同期しているか否かは、今回の判定対象時刻以前に作成された集団視聴情報のうち最新の集団視聴情報を集団視聴情報記憶エリア１１４４から読み出し、この読み出した情報の終了時刻が空白であれば同期していると判定する。この判定の結果、各判定対象ユーザの生体情報の変化のタイミングが同期している場合にはステップＳ１９に移行し、そうでなければステップＳ１７に移行する。
【００５７】
ステップＳ１７では、上記各判定対象ユーザについて今回の判定対象時刻における集団視聴情報が作成される。この場合、集団視聴開始時刻としては今回の判定対象時刻が挿入され、ユーザＩＤとしては判定対象ユーザのＩＤ（例えば図１２に示すようにuser01，user02）が記憶される。なお、終了時刻は空白のままにする。
【００５８】
一方、上記ステップＳ１４において、各判定対象ユーザの生体情報の変化量の少なくとも一方が“１”でなかったとする。この場合にはステップＳ１６において、先にステップＳ１３により算出された各判定対象ユーザの生体情報の変化量のうち片方のみが“１”で、かつ同期状態であるか否かが判定される。この判定の結果、片方のみが“１”でかつ同期状態であれば、各判定対象ユーザの一方が集団による視聴状態から離脱したと判断してステップＳ１８に移行し、そうでなければステップＳ１９に移行する。なお、同期状態であるか否かは、ステップＳ１５における判定処理と同様に、今回の判定対象時刻以前に作成された集団視聴情報のうち最新の集団視聴情報を集団視聴情報記憶エリア１１４４から読み出し、この読み出した情報の終了時刻が空白であるか否かにより判定される。
【００５９】
ステップＳ１８では、生体情報の同調が終了したことを示す情報を集団視聴情報に記載する処理が行われる。この処理は、例えば今回の判定対象時刻以前に作成された集団視聴情報のうち最新の集団視聴情報を集団視聴情報記憶エリア１１４４から読み出し、この読み出した情報の終了時刻に今回の判定対象時刻を挿入することによりなされる。
【００６０】
（５）生体情報の変化量算出処理
ところで、上記ステップＳ１３における生体情報の変化量の算出処理は、生体情報同調算出プログラム１１３２の制御の下で以下のように行われる。図８はその処理手順と処理内容を示すフローチャートである。
すなわち、先ずステップＳ１３１において、データメモリ１１４内の生体情報記憶エリア１１４３から、前記判定対象ユーザの判定対象時刻のn 秒前又はn 秒後、或いはその両方の生体情報が読み出される。なお、n の値は予め設定されており、この値に基づいて行われる。ただし、最低でも１サンプリング前のデータが含まれるような値に設定する必要がある。
【００６１】
続いてステップＳ１３２において、上記読み出された生体情報の中から最も古い時刻の生体情報が選択される。この選択された生体情報及び上記読み出された全生体情報は作業メモリに保持される。
【００６２】
次に、ステップＳ１３３において、上記読み出された全生体情報の中に、現在選択している生体情報より新しい時刻の生体情報が存在するか否かが判定され、存在する場合にはステップＳ１３４に移行し、存在しない場合にはステップＳ１３６へ移行する。
ステップＳ１３４では、現在選択している生体情報と、上記読み出された全生体情報の中で現在選択している生体情報より新しくかつ最も近い時刻の生体情報との変化量が算出される。例えば、時刻k における変化量var (k)の算出には以下の式が用いられる。
var (k) ＝１−cos (θk)
【００６３】
ここで、θk は、現在選択している生体情報と、上記読み出された全生体情報の中で現在選択している生体情報より新しくかつ最も近い時刻の生体情報とからなる角度を示す。例えば、上記読み出された全生体情報が時刻t-4 からt までの生体情報であり、現在選択している生体情報が時刻t-4 の生体情報であるとすると、上記読み出された全生体情報の中で現在選択している生体情報より新しくかつ最も近い時刻の生体情報は時刻t-3 となる。また、これらの２つの生体情報がなす角度はθt-3となり、その余弦値が変化量となる。なお、角度を求める際には、横軸は１サンプリングレートを１、縦軸は脈拍であれば１拍／分を１として算出する。この算出された変化量は作業メモリに保持される。
【００６４】
次にステップＳ１３５において、上記読み出された全生体情報の中で現在選択している生体情報より新しくかつ最も近い時刻の生体情報が、新たな選択先として選択される。例えば、いま時刻t-4 の生体情報が選択されていれば、時刻t-3 の生体情報が新たな選択先となる。
【００６５】
上記ステップＳ１３３〜Ｓ１３５による繰り返し処理が終了すると、つまり読み出された全生体情報が時刻t-4 からt までの場合、上記ステップＳ１３３で新たな時刻t の生体情報が選択されると、続いてステップＳ１３６において、上記ステップＳ１３３〜Ｓ１３５により算出された各変化量を統合することにより、判定対象時刻における最終的な変化量が算出される。判定対象時刻t における変化量sumvar(t)の算出には、例えば以下の式が用いられる。
【数２】
【００６６】
続いてステップＳ１３７において、上記ステップＳ１３６により算出された変化量が予め設定された閾値に基づいて二値化される。この結果、上記算出された変化量のうち閾値以上のものは“１”に変換され、閾値未満のものは“０”に変換される。そして、この二値化データに変換された、生体情報の変化量データが作業メモリに保存される。
【００６７】
最後にステップＳ１３８において、判定対象時刻における生体情報変化量をまだ算出していない判定対象ユーザが残っているか否かが判定される。この判定の結果、該当する判定対象ユーザが存在すれば当該ユーザが判定対象として選択され、ステップＳ１３１に戻って先に述べたステップＳ１３１〜Ｓ１３７による処理が実行される。これに対し、生体情報変化量をまだ算出していない判定対象ユーザが残っていなければ、生体情報の変化量算出処理を終了する。
かくして、cosine similarity を利用した生体情報の変化量の算出が行われる。
【００６８】
以上詳述したようにこの実施形態では、テレビジョン受信機１の電源のオンオフ状態を検出すると共に、リモートコントローラ２から送信された電波の受信強度を判定し、さらに各ユーザのリモートコントローラ２から送信されるユーザの生体情報をそれぞれ受信し保存する。そして、電源がオン状態となっておりかつ上記リモートコントローラ２からの電波の受信強度が閾値以上の期間に検出された上記ユーザの生体情報を読み出してその変化量を算出し、この変化量の算出結果をもとに上記各ユーザの生体情報の変化タイミングが一致した時点から少なくとも一方のユーザの生体情報が変化するまでの期間を検出し、この期間を上記各ユーザが同時に同一のテレビジョン番組を視聴している期間、つまり集団視聴期間と判定するようにしている。
【００６９】
したがって、テレビジョン受信機１がテレビジョン放送の受信動作中であり、かつユーザがテレビジョン受信機１に表示されているテレビジョン番組を視聴可能な位置に存在することを前提条件とし、その上で各ユーザの生体情報の閾値以上の変化のタイミングをもとに各ユーザが集団でテレビジョン番組を視聴しているか否かが判定される。このため、カメラ等を用いてユーザに心理的負担を与えることなく、高精度に集団視聴期間を判定することが可能となる。
【００７０】
また、生体情報の変化量をcosine similarity を利用して算出している。すなわち、隣接する２つのタイミングで得られた各生体情報値の変化方向を余弦値で表すことにより当該各生体情報値のコサイン類似度を算出し、この算出されたコサイン類似度を上記隣接する２つのタイミング間における生体情報の変化量とするようにしている。このため、各タイミング間における生体情報の変化をコサイン類似度という指標を用いて表すことができ、これにより微細な変化はより小さい値に、大きな変化はより大きい値として検出することが可能となる。したがって、生体情報検出装置の検出精度や周辺環境によって生じるノイズの影響を軽減することができる。
【００７１】
さらに、生体情報としてユーザの脈拍を検出し、その脈拍検出データから変化量を算出するようにしている。一般に、恐怖や面白さ、興奮状態等の人の感情の変化は個人差を生じることなく脈拍に反映され、しかも脈拍は安価なセンサにより感度よく検出することが可能である。このため、生体情報として脈拍を用いることで、安価な構成でありながら、各ユーザがテレビジョン番組を集団で視聴しているか否かを比較的高精度に判定することが可能となる。
【００７２】
なお、この発明は上記実施形態に限定されるものではない。例えば、前記実施形態では集団行動判定装置の機能をテレビジョン受信機１内の設けた場合を例にとって説明したが、集団行動判定装置をテレビジョン受信機１とは別に独立して設け、この集団行動判定装置とテレビジョン受信機１及びリモートコントローラ２との間を信号ケーブル又は無線回線で接続するようにしてもよい。また、集団行動判定装置を実現するための機能をフラッシュメモリやＵＳＢメモリなどの記憶媒体に収容し、これらのメモリをテレビジョン受信機１又はリモートコントローラ２に装着するようにしてもよい。
【００７３】
また、前記実施形態ではコンテンツ表示装置としてテレビジョン受信機１を使用した場合を例にとって説明したが、他にＷｅｂサイトから配信されるか又は記憶媒体に記憶された映像コンテンツやゲームコンテンツを再生する装置や、映画館やホールで映像コンテンツをスクリーン又は表示装置に表示する装置であってもよい。
【００７４】
また、前記実施形態では生体情報検出装置をリモートコントローラ２に設けた場合を例にとって説明したが、他に携帯電話機やスマートホン、電子書籍端末等の携帯通信端末や、ゲーム機のコントローラに生体情報検出装置を内蔵させるようにしてもよい。また、生体情報検出装置をリモートコントローラ等に内蔵せずに、生体情報センサと無線インタフェース機能のみを備えた独立した装置として構成し、この装置をユーザの体の生体情報検出対象部位に取り付けるようにしてもよい。
【００７５】
その他、コンテンツ表示装置や生体情報検出装置の種類や構成、集団視聴期間の判定処理手順と処理内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
【００７６】
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００７７】
１…テレビジョン受信機、２…リモートコントローラ、１１…テレビジョン受信機本体、１２，２２…記憶部、１３…集団視聴判定部、１４，２４…タイマ、１５，２５…近接無線モジュール、１６，２３…入出力インタフェース部、２１…生体情報生成部、１１１，２１１…ＣＰＵ、１１２，２１２…バス、１１３，２１３…プログラムメモリ、１１４，２１４…データメモリ、１１５，２１５…タイマインタフェース、１１６，２１６…入出力インタフェース、２１７…脈拍センサ、１１３１，２１３１…入出力制御プログラム、１１３２…生体情報同調算出プログラム、１１３３…集団視聴判定プログラム、１１４１…電源情報記憶エリア、１１４２…電波強度情報記憶エリア、１１４３…生体情報記憶エリア、１１４４…集団視聴情報記憶エリア、２１３２…生体情報算出プログラム、２１４１…生体情報記憶エリア。
【技術分野】
【０００１】
この発明は、例えばテレビジョン受信機により放送番組を視聴しているユーザが、集団で視聴しているか一人で視聴しているかを判定するための集団行動判定装置、方法及びプログラムに関する。
【背景技術】
【０００２】
近年、視聴履歴や録画履歴を用いてユーザに適したテレビジョン番組を推薦するといった機能を搭載したテレビジョン番組レコーダなどが商品化されている。しかし、既存の機器では一人で視聴したのか集団(たとえば夫婦)で視聴したのかを区別していない。そのため、その機器を利用しているすべてのユーザの履歴が混在してしまい、個々人あるいは集団に適した番組の推薦精度が落ちてしまうという問題がある。
【０００３】
そこで、テレビジョン番組を一人で視聴しているか集団で視聴しているかを推定する技術が提案されている。この技術は、例えばテレビジョン受信機もしくはその周辺にカメラを設置し、このカメラにより撮影された画像から人物を認識し、その認識結果から何人のユーザが視聴しているのかを推定するものとなっている（例えば特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１５７７６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところが、カメラを使用する手段では、ユーザは常に撮影されているという意識が生じ、心理的不快感を覚える。また、カメラの撮影画像が漏洩した場合には、プライバシの流出といった問題にもつながる。
この発明は上記事情に着目してなされたもので、その目的とするところは、複数のユーザがコンテンツを集団で視聴しているか或いは一人で視聴しているかを、ユーザに心理的負担を与えることなく高精度に判定可能な集団行動判定装置、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するためにこの発明の１つの観点は、コンテンツを複数のユーザが同時に視聴可能に表示するコンテンツ表示装置と、上記複数のユーザの各々についてその生体情報を検出し送信する複数の生体情報検出装置とにそれぞれ接続される集団行動判定装置において上記複数のユーザの集団行動を判定する際に、
上記コンテンツ表示装置の動作状態をもとに当該コンテンツ表示装置がコンテンツを表示動作中であるか否かを判定すると共に、上記生体情報検出装置から送信された信号の受信品質から上記ユーザが上記コンテンツ表示装置に対しその視聴可能範囲に存在するか否かを判定し、さらに上記複数の生体情報検出装置から送信されるユーザの生体情報をそれぞれ受信してその変化特性を算出し、この算出された各生体情報の変化特性の類似性が予め設定された条件を満たしているか否かを判定する。
そして、上記コンテンツ表示装置がコンテンツを表示動作中であると判定され、上記ユーザが上記コンテンツ表示装置に対しその視聴可能範囲に存在すると判定され、かつ上記各生体情報の変化特性の類似性が予め設定された条件を満たしていると判定された場合に、上記複数のユーザが上記コンテンツを集団で視聴していると判定するようにしたものである。
【０００７】
したがって、先ずコンテンツ表示装置がコンテンツの表示動作中であり、かつユーザがコンテンツ表示装置で表示されるコンテンツを視聴可能な位置に存在することを前提条件とし、その上で複数のユーザの生体情報の変化特性が所定の範囲で類似している場合に、これらのユーザは集団でコンテンツを視聴していると判定される。このため、複数のユーザがコンテンツを集団で視聴しているか或いは一人で視聴しているかを、カメラ等を用いてユーザに心理的負担を与えることなく、高精度に判定することが可能となる。
【０００８】
また、この発明の第１の観点は以下のような実施態様を備えることも特徴とする。
第１の態様は、生体情報の変化特性を算出する際に、各生体情報の変化量を時系列上で算出してこの算出された変化量が予め設定した閾値以上となるタイミングを検出する。そして、この変化のタイミングの検出結果に基づいて、上記複数の生体情報の変化が同調しているシンクロ期間を特定するものである。
【０００９】
第２の態様は、上記シンクロ期間を特定する際に、上記複数の生体情報の変化が予め設定した同一時間内に発生した時のそのタイミングを上記シンクロ期間の開始タイミングに設定し、上記複数の生体情報のいずれか一方が変化した時のそのタイミングを上記シンクロ期間の終了タイミングに設定するものである。
【００１０】
この第１及び第２の態様によれば、複数のユーザ間の生体情報の類似性が、生体情報の変化が同調して起きるシンクロ期間として検出されることになり、これにより比較的簡単にかつ正確に複数のユーザが一緒に同一のコンテンツを視聴しているか否かを判定することが可能となる。
【００１１】
第３の態様は、生体情報検査装置にユーザの脈拍を検出する脈拍センサを備え、上記変化特性算出手段は上記脈拍センサにより検出されたユーザの脈拍検出データからその変化特性を算出するものである。
一般に、恐怖や面白さ、興奮状態等の人の感情の変化は個人差を生じることなく脈拍に反映され、しかも脈拍は安価なセンサにより感度よく検出することが可能である。このため、生体情報として脈拍を用いることで、安価な構成でありながら、ユーザがコンテンツを集団で視聴しているか否かを比較的高精度に判定することが可能となる。
【００１２】
第４の態様は、生体情報の変化量を算出する手法として、隣接する２つのタイミングで得られた各生体情報値の変化方向を余弦値で表すことにより当該各生体情報値のコサイン類似度を算出し、この算出されたコサイン類似度を上記隣接する２つのタイミング間における生体情報の変化量とする手法を用いるものである。
【００１３】
このようにすると、各タイミング間における生体情報の変化をコサイン類似度という指標を用いて表すことができる。コサイン類似度を用いることにより、微細な変化はより小さい値に、大きな変化はより大きい値として検出することが可能となる。したがって、生体情報検出装置の検出精度や周辺環境によって生じるノイズの影響を軽減することができる。
【発明の効果】
【００１４】
すなわちこの発明によれば、複数のユーザがコンテンツを集団で視聴しているか或いは一人で視聴しているかを、ユーザに心理的負担を与えることなく高精度に判定することができる集団行動判定装置、方法及びプログラムを提供することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】この発明の原理説明に使用する、生体情報の変化タイミングが一致する場合の一例を示す図。
【図２】この発明の原理説明に使用する、cosine similarityを用いた生体情報変化量の算出例を示す図。
【図３】この発明の原理説明に使用する、生体情報の変化タイミングに基づく同調判定結果の一例を示す図。
【図４】この発明の原理説明に使用する、生体情報による同調判定の効果を実験結果により示した図。
【図５】この発明の一実施形態に係わる集団行動判定装置を備えたテレビジョン受信システムの機能構成を示すブロック図。
【図６】この発明の一実施形態に係わる集団行動判定装置を備えたテレビジョン受信システムのより具体的な構成を示すブロック図。
【図７】図５及び図６に示したシステムによる集団行動判定処理の手順と処理内容を示すフローチャート。
【図８】図７に示した集団行動判定処理手順のうち生体情報の変化量を算出する処理の手順と処理内容を示すフローチャート。
【図９】図５及び図６に示したテレビジョン受信機の電源情報の一例を示す図。
【図１０】図５及び図６に示したテレビジョン受信機において管理される、リモートコントローラからの電波強度情報の一例を示す図。
【図１１】図５及び図６に示したテレビジョン受信機において管理される、ユーザの生体情報の一例を示す図。
【図１２】図７に示した集団行動判定処理により作成される、集団によるテレビジョン視聴情報の一例を示す図。
【発明を実施するための形態】
【００１６】
［原理］
先ず、この発明の原理を説明する。
例えば、テレビジョン放送の番組を視聴している際に、怖いシーンや面白いシーンなどがあると、視聴者には脈拍の上昇や発汗量の増化といった生体情報の変化が現れる。もし集団、例えば夫婦などで同時にそのようなシーンを視聴していた場合、生体情報の変化のタイミング(時刻)が一致する可能性が高い。すなわち、集団の生体情報の変化は同調する。図１は、ユーザＡとユーザＢが同時に同一の番組を視聴していたときに、これらのユーザＡ、Ｂに起こる生体情報、例えば脈拍の変化の一例を示した図である。このように、複数のユーザが同時に同じ番組を視聴している場合には、その生体情報の変化に同調が起こると予想される。したがって、この生体情報の変化の同調に着目することにより、複数のユーザが同時に同じ番組を視聴していたか否かを判定することは可能である。
【００１７】
しかし、上記の生体情報の変化の同調だけでは不十分である。それは、複数のユーザの生体情報の変化は、テレビジョン放送番組の視聴動作以外の行動により一致することもあれば、偶然一致することもあるからである。そこで、テレビジョン受信機の電源がオンとなっているか否かと、テレビジョン受信機に対しユーザは視聴可能な距離な存在するか否かという２つの要素も判定規準とする。
【００１８】
テレビジョン受信機の電源がオンとなっているか否かを表す情報を利用することにより、ユーザの生体情報の変化がテレビジョン放送番組の視聴によるものか否かを判別することが可能となる。すなわち、そもそもテレビジョン受信機の電源がオンになっていなければ、テレビジョン放送番組を視聴している状態ではないことが明らかなので、テレビジョン受信機の電源がオンになっていない時以外で同調している時間を除去することが可能となる。
【００１９】
また、テレビジョン受信機とユーザとの間の距離が近いか否かを利用することで、ユーザがテレビジョン放送番組を視聴可能な位置にいるか否か、つまりテレビジョン受信機が設置されている部屋にユーザが存在するか否かを判定することが可能である。テレビジョン受信機の電源がオンになっていても、ユーザがテレビジョン放送番組を視聴可能な位置にいなければ視聴していないと同義である。したがって、このテレビジョン受信機とユーザとの間の距離の情報と、上述した電源のオンオフ状態の情報とを併用することで、テレビジョン放送番組を視聴していなかった時間をさらに除去することが可能となる。
【００２０】
さらに、以上の２つの要素だけでは、ユーザが二人ともテレビジョン受信機の近くにいても一人しか視聴していなく、もう一人は読書や家事をしているといった場合に対応できない。そこで、先に述べた生体情報の同調についての情報が必要となる。すなわち、ユーザの片方しかテレビジョン放送番組を視聴していない場合には、生体情報に同調は起き難い。そのため、生体情報の同調を用いることで精度の高い判定が可能となる。
【００２１】
この発明は、以上の点に着目し、
(1) テレビジョン受信機の電源がオンになっている。
(2) 複数のユーザがいずれもテレビジョン放送番組を視聴可能な位置にいる。
(3) 複数のユーザ間で生体情報に同調が起きている。
の３つの条件をいずれも満たした場合に、複数のユーザがテレビジョン放送番組を同時に視聴しているか否か、つまり対象集団が同時にテレビジョン放送番組を視聴しているか否かを判定する。
【００２２】
ところで、上記の生体情報の同調を判定するには、生体情報の変化量を算出する必要がある。変化量の算出には、例えばcosine similarityを応用した手法を用いる。cosine similarityとは、余弦値を利用して２つのデータの類似度を算出する手法である。cosine similarityは−１から１の範囲の値を取り、１に近いほどその２つのデータは類似しているとみなす。cosine similarity を用いることにより、微細な変化はより小さい値に、大きな変化はより大きい値にすることが可能となる。したがって、脈拍などの生体情報を検出するセンサの精度や周辺環境によって生じるノイズの影響を低減できるといった効果が得られる。
【００２３】
いま、時刻t-1及びt における生体情報が図２に示すような値であるとする。このとき、時刻t-1における脈拍数と時刻t における脈拍数とで成す角をθt とすると、θt は図２に示したようになる。したがって、時刻t における脈拍数と時刻t-1 における脈拍数との類似度sim(t) は以下の式で表せる。
sim(t) ＝ cos(θt)
【００２４】
図２に示したような角θを取る場合、θの取りうる値の範囲は−π／２からπ／２となる。このため、類似度sim(t) の取りうる値の範囲は０から１となる。また、算出したい値は変化量であり、「類似している」ということは「変化がない」ということに等しい。以上２つのことより、１を類似度sim(t) で減算したものを変化量とすると、変化が少ないほど０に近づき、変化が大きいほど１に近づく値が得られる。よって、時刻t における変化量var (t) は以下の式で表せる。
var (t) ＝１− sim(t)
【００２５】
この変化量のうち、ある閾値未満のものを“０”、閾値以上のものを“１”とすると、図３で示したようなグラフになる。このようなグラフで対象集団（図３ではユーザＡとユーザＢ）の生体情報を比較したときに、その変化のタイミングが一致したタイミングを生体情報の同期期間（シンクロ期間）の開始時刻とする。そして、このシンクロ期間は、いずれか一方のユーザの生体情報に変化が発生するまで続く。図３の例では、記載されている３つの区間が生体情報が同期しているシンクロ期間となる。このシンクロ期間の検出情報を利用すれば、対象集団が同時にテレビジョン番組を視聴しているか否かを判定可能である。
【００２６】
なお、上記の例では時刻t とその１サンプル前のタイミングt-1 のデータのみを用いて生体情報の変化量を算出したが、さらにノイズに強くするためにn サンプルタイミンク前までの過去の複数のデータを用いて変化量を求めてもよい。例えば、n＝5 とした場合は、var(t-4) 、var(t-3) 、var(t-2) 、var(t-1) 、var(t) の値を平均した値が時刻t における変化量とする。つまり、時刻t における変化量を以下の式を用いて算出する。
【数１】
ここで、ωk は時刻k における加重値であり、そのとりうる範囲を０≦ωt ≦１とすることで、もともとの変化量がとりうる範囲を変えずに加重をかけることが可能となる。
【００２７】
［生体情報の同調で効果が得られる根拠］
生体情報の同調に着目することでこの発明の効果の可能性に関する検証を行った。
いま、同居している夫婦それぞれに市販の脈拍センサを装着した状態で生活してもらった。図４は、同調が起きた時間と、一緒にテレビジョン番組を視聴していた時間と、一緒にいたが一人しかテレビジョン番組を視聴していなかった時間をそれぞれ示したものである。図４によれば、一緒にテレビジョン番組を視聴していた時間帯は他の時間帯に比べ同調が起きている頻度が多い。この結果より、生体情報（脈拍など）の同調は複数のユーザが一緒にテレビジョン番組を視聴しているか否かの判断規準に用いることが可能であることが分かる。
【００２８】
［実施形態］
以下、図面を参照してこの発明に係わる実施形態を説明する。
（装置の構成）
図５は、この発明の一実施形態に係る集団行動判定装置を備えたテレビジョン受信システムの機能構成を示すブロック図である。
このテレビジョン受信システムは、テレビジョン受信機１と、リモートコントローラ２とから構成される。
【００２９】
リモートコントローラ２は、リモコン信号生成部（図示省略）と、入出力インタフェース部２３を備える。リモコン信号生成部は、ユーザの操作に応じてテレビジョン受信機１に対するチャネル選択信号や音量制御信号等の各種リモコン信号を生成する。入出力インタフェース部２３は、上記リモコン信号生成部により生成されたリモコン信号をテレビジョン受信機１へ例えば赤外線を用いて送信する機能を有する。
【００３０】
さらにリモートコントローラ２は、生体情報生成部２１と、記憶部２２と、タイマ２４と、近接無線モジュール２５を備え、これらは生体情報検出装置の主要部を構成する。
タイマ２４は、生体情報生成部２１に対し予め決められた周期で生体情報取得開始トリガ信号を与える。生体情報生成部２１は、上記タイマ２４から与えられる生体情報取得開始トリガにより起動し、例えばリモートコントローラ２を把持するユーザの手からユーザの脈拍を検出して単位時間当たりの脈拍数をカウントする。そして、この脈拍数のカウント値を、その計測時刻、ユーザＩＤ及び生体情報種別情報に対応付け、これを生体情報として記憶部２２に記憶させる機能を有する。
【００３１】
記憶部２２は、生体情報を送信可能な状態になると、蓄積された上記生体情報を読み出し、この読み出された生体情報を入出力インタフェース部２３からテレビジョン受信機１へ送信する。そして、この送信完了後に送信済の生体情報を記憶部２２から削除する機能を有する。近接無線モジュール２５は、リモートコントローラ２が作動している期間に連続的又は間欠的に電波を送信する機能を有する。この送信電波は、テレビジョン受信機１がリモートコントローラ２からの受信強度を計測するために用いられる。
【００３２】
テレビジョン受信機１は、テレビジョン受信機本体１１と、入出力インタフェース部１６を備える。
このテレビジョン受信機本体１１は、放送局から送信されるテレビジョン放送信号を受信してその映像及び音声を出力する機能を有する。またテレビジョン受信機本体１１は、テレビジョン受信機１の電源のオンオフを監視し、この電源のオンオフ状態を表す情報をその検出時刻と対応付けて、電源情報として後述する記憶部１２に記憶させる機能も有する。
【００３３】
入出力インタフェース部１６は、上記リモートコントローラ２から送信されたリモコン信号を受信してテレビジョン受信機本体１１に与える。また入出力インタフェース部１６は、リモートコントローラ２から送信される生体情報を受信して、後述する記憶部１２に記憶させる機能も有する。
【００３４】
さらにテレビジョン受信機１は、記憶部１２と、集団視聴判定部１３と、タイマ１４と、近接無線モジュール１５を備え、これらは集団行動判定装置の主要部を構成する。
近接無線モジュール１５は、リモートコントローラ２から送信される電波を受信してその受信強度を検出し、この検出された電波強度を表す情報をその計測時刻と、送信元のリモートコントローラ２のユーザＩＤと対応付けて上記記憶部１２に記憶させる機能を有する。
【００３５】
タイマ１４は、予め決められた周期で判定開始トリガ信号を発生して集団視聴判定部１３に与える。集団視聴判定部１３は、上記タイマ１４から発生される判定開始トリガ信号により起動される。そして、上記記憶部１２に蓄積された電源情報、電波強度情報及び生体情報に基づいて、例えば家族や夫婦等の複数のユーザが同時に同一の番組を視聴している時間帯を判定し、この判定結果をもとに集団視聴情報を作成して記憶部１２に記憶させる機能を有する。
【００３６】
図６は、以上述べた集団行動判定装置を備えたテレビジョン受信システムの機能を実現するための具体的な構成を示すブロック図である。
リモートコントローラ２は、中央処理部（ＣＰＵ；Central Processing Unit）２１１を備え、このＣＰＵ２１１に対しバス２１２を介して、プログラムメモリ２１３と、データメモリ２１４と、タイマインタフェース２１５と、入出力インタフェース２１６と、脈拍センサ２１７と、先に述べた近接無線モジュール２５を接続したものとなっている。
【００３７】
プログラムメモリ２１３には、入出力制御プログラム２１３１と、生体情報算出プログラム２１３２が格納されている。入出力制御プログラム２１３１は、入出力インタフェース２１６を制御することで、図５に示した入出力インタフェース部２３の機能を実現する。
【００３８】
生体情報算出プログラム２１３２は、脈拍センサ２１７と共同して図５に示した生体情報生成部２１の機能を実現するもので、タイマ２４から発生された生体情報取得開始トリガがタイマインタフェース２１５を介した通知された場合に、脈拍センサ２１７からユーザの脈拍検出データを取り込んで単位時間当たりの脈拍数をカウントする。そして、この脈拍数のカウント値を、その計測時刻、ユーザＩＤ及び生体情報種別情報に対応付け、これを生体情報としてデータメモリ２１４内の生体情報記憶エリア２１４１に記憶させる処理を行う。
【００３９】
データメモリ２１４には、生体情報記憶エリア２１４１が設けられている。生体情報記憶エリア２１４１は、上記生体情報算出プログラム２１３２により算出された生体情報を記憶するために用いられる。
テレビジョン受信機１も、上記したリモートコントローラ２と同様に中央処理部（ＣＰＵ；Control Processing Unit）１１１を備え、このＣＰＵ１１１に対しバス１１２を介して、プログラムメモリ１１３と、データメモリ１１４と、近接無線モジュール１５と、タイマインタフェース１１５と、入出力インタフェース１１６を接続したものとなっている。
【００４０】
データメモリ１１４には、この発明の実施形態を実施するために必要な記憶エリアとして、電源情報記憶エリア１１４１と、電波強度情報記憶エリア１１４２と、生体情報記憶エリア１１４３と、集団視聴情報記憶エリア１１４４が設けられている。電源情報記憶エリア１１４１は、先に述べた電源情報を蓄積するために使用される。電波強度情報記憶エリア１１４２は、先に述べた電波強度情報を蓄積するために使用される。生体情報記憶エリア１１４３は、先に述べた生体情報を蓄積するために使用される。集団視聴情報記憶エリア１１４４は、先に述べた集団視聴情報を記憶するために使用される。
【００４１】
プログラムメモリ１１３には、この発明の実施形態を実施するために必要なアプリケーションプログラムとして、入出力制御プログラム１１３１と、生体情報同調算出プログラム１１３２と、集団視聴判定プログラム１１３３が格納されている。このうち入出力制御プログラム１１３１は、入出力インタフェース１１６を制御することで、図５に示した入出力インタフェース部１６の機能を実現する。生体情報同調算出プログラム１１３２及び集団視聴判定プログラム１１３３は、図５に示した集団視聴判定部１３の機能を実現する。
【００４２】
生体情報同調算出プログラム１１３２は、タイマ１４から発生された判定開始トリガ信号がタイマインタフェース１１５を介して通知された場合に起動して、以下の処理を実行する。
(1) ユーザＩＤごとに、上記データメモリ１１４の電源情報記憶エリア１１４１から判定対象時刻における電源情報を読み出して、テレビジョン受信機１の電源がオンになっているか否かを判定する処理。
(2) 上記判定対象時刻においてテレビジョン受信機１の電源がオンになっていると判定された場合に、当該判定対象時刻における電波強度情報を電波強度情報記憶エリア１１４２から読み出して、リモートコントローラ２からの受信電界強度が予め設定された閾値以上であるか否かを判定する処理。
(3) 上記判定対象時刻における受信電界強度が閾値以上と判定された場合に、当該判定対象時刻における生体情報を上記生体情報記憶エリア１１４３から読み出し、この読み出された生体情報の変化量を算出する処理。
(4) 上記算出された生体情報の変化量を複数のユーザＡ，Ｂ間で比較し、所定量以上の変化量が検出されたときのタイミングが一致した時刻（開始時刻）と、その後いずれか一方の生体情報が所定量以上変化したことが検出されたときの時刻（終了時刻）を検出する処理。
【００４３】
集団視聴判定プログラム１１３３は、上記生体情報同調算出プログラム１１３２により検出された開始時刻及び終了時刻を該当するユーザＡ，ＢのＩＤと対応付ける。そして、この情報をユーザＡ，Ｂが同一番組を同時に視聴している期間を表す集団視聴情報として、集団視聴情報記憶エリア１１４４に記憶させる処理を行う。
【００４４】
（動作）
次に、以上のように構成されたシステムによる、集団でのテレビジョン番組視聴期間を判定するための動作を説明する。図７はその処理手順と処理内容を示すフローチャートである。
【００４５】
（１）電源情報の検出
テレビジョン受信機本体１１では、テレビジョン受信機１の電源のオンオフ動作が監視されている。そして、電源のオンオフが検出されると、この電源のオンオフ状態を表す情報がその検出時刻とともに電源情報としてデータメモリ１１４内の電源情報記憶エリア１１４１に記憶される。図９はその一例を示すものである。同図に示すように電源情報は、日時を表す情報と、テレビジョン受信機１の電源がオンであるかオフであるかを示す情報との集合が１データとなって記憶される。
【００４６】
（２）電波強度情報の検出
リモートコントローラ２では、近接無線モジュール２５がリモートコントローラ２が動作している期間に連続的又は間欠的に電波を送信する。これに対しテレビジョン受信機１では、リモートコントローラ２から送信された電波の受信品質を近接無線モジュール１５が周期的に監視している。そして、上記電波の受信強度の検出値を、その検出日時と、送信元となるリモートコントローラ２の識別情報（例えばユーザＩＤ）に対応付け、これを電波強度情報としてデータメモリ１１４内の電波強度情報記憶エリア１１４２に記憶させる。図１０はその一例を示すものである。同図に示すように電波強度情報は、日時と、送信元となるリモートコントローラ２を所持するユーザＩＤと、電波強度の検出値との集合が１データとなって記憶される。
【００４７】
（３）生体情報の取得
リモートコントローラ２では、タイマ２４から生体情報取得開始トリガが一定の周期で発生されるごとに、生体情報算出プログラム２１３２の制御の下で脈拍センサ２１７によりユーザの脈拍が検出され、その検出データをもとに単位時間当たりの脈拍数がカウントされる。そして、この脈拍数のカウント値が、その計測時刻、ユーザＩＤ及び生体情報種別情報と対応付けられたのち、生体情報としてデータメモリ２１４内の生体情報記憶エリア２１４１に記憶される。
【００４８】
またリモートコントローラ２では、生体情報を送信可能な状態になると、生体情報算出プログラム２１３２の制御の下で、上記生体情報記憶エリア２１４１から上記生体情報が読み出される。そして、この読み出された生体情報は入出力インタフェース部２３からテレビジョン受信機１へ送信される。なお、この送信完了後に当該送信済の生体情報は生体情報記憶エリア２１４１から消去される。
【００４９】
一方テレビジョン受信機１では、上記リモートコントローラ２から送信された生体情報が近接無線モジュール１５で受信され、この受信された生体情報はデータメモリ１１４内の生体情報記憶エリア１１４３に記憶される。図１１はその一例を示すものである。同図に示すように生体情報は、日時と、リモートコントローラ２を所持するユーザのＩＤと、生体情報の種別を表す情報（この実施形態では脈拍）と、脈拍数のカウント値とからなる集合が１データとなって記憶される。
【００５０】
（４）集団視聴判定処理
集団視聴判定処理は、テレビジョン受信機１において生体情報同調算出プログラム１１３２及び集団視聴判定プログラム１１３３の制御の下で以下のように行われる。
すなわち、先ずステップＳ１１において、判定対象時刻に対応する電源情報が電源情報記憶エリア１１４１から読み出され、この読み出された電源情報をもとに上記判定対象時刻においてテレビジョン受信機１の電源がオンだったかオフだったかが判定される。この判定の結果、オフであればステップＳ１９に移行し、ここで未判定の時刻が残っているか否かが判定される。そして、残っていればステップＳ１１に戻り、残っていなければそのまま処理を終了する。
【００５１】
一方、上記電源のオンオフ判定の結果、テレビジョン受信機１の電源がオンだったとする。この場合、集団視聴判定プログラム１１３３はステップＳ１２に移行する。このステップＳ１２では、判定対象となる各ユーザに対応する電波強度情報のうち、上記判定対象時刻に対応する電源強度情報が電波強度情報記憶エリア１１４２から読み出される。そして、この読み出された電波強度情報をもとに、上記判定対象時刻において各判定対象ユーザがいずれもテレビジョン受信機１を視聴可能な範囲内に存在するか否かが判定される。この判定処理は、電波強度が予め設定された閾値以上であるか否かを判定することによりなされる。
【００５２】
なお、上記判定処理をさらに正確に行うために、判定対象ユーザが使用するリモートコントローラ２間で近接無線モジュール２５が送信する電波の強度を測定し、その電波強度が閾値以上であるという条件を付け加えてもよい。このようにすると、複数のユーザが一緒にテレビジョンを視聴していることをより正確に判断可能となる。
【００５３】
上記電波強度の判定の結果、各判定対象ユーザのうち少なくとも一人がテレビジョン受信機１を視聴可能な範囲内に存在しない場合にはステップＳ１９に移行し、ここで未判定の時刻が残っているか否かが判定される。そして、残っていればステップＳ１１に戻り、残っていなければそのまま処理を終了する。
【００５４】
これに対し、上記電波強度の判定の結果、各判定対象ユーザがいずれもテレビジョン受信機１を視聴可能な範囲内に存在したとする。この場合には、ステップＳ１３に移行して上記判定対象ユーザごとにその生体情報の変化量を算出するための処理が実行される。この生体情報の変化量の算出処理はのちに詳しく説明する。
【００５５】
各判定対象ユーザについてそれぞれ生体情報の変化量が算出されると、ステップＳ１４に移行する。ステップＳ１４では、上記ステップＳ１３により算出された各判定対象ユーザの生体情報の変化量が“１”であるか“０”であるかが判定される。この“１”であるか“０”であるかの判定は、生体情報の変化量を予め設定された閾値をもとに二値化したデータに対し行われる。上記判定の結果、各判定対象ユーザの生体情報の変化量がともに“１”であればステップＳ１５に移行する。
【００５６】
ステップＳ１５では、上記ともに“１”と判定された各判定対象ユーザの生体情報の変化のタイミングが同期しているか否かが判定される。なお、同期しているか否かは、今回の判定対象時刻以前に作成された集団視聴情報のうち最新の集団視聴情報を集団視聴情報記憶エリア１１４４から読み出し、この読み出した情報の終了時刻が空白であれば同期していると判定する。この判定の結果、各判定対象ユーザの生体情報の変化のタイミングが同期している場合にはステップＳ１９に移行し、そうでなければステップＳ１７に移行する。
【００５７】
ステップＳ１７では、上記各判定対象ユーザについて今回の判定対象時刻における集団視聴情報が作成される。この場合、集団視聴開始時刻としては今回の判定対象時刻が挿入され、ユーザＩＤとしては判定対象ユーザのＩＤ（例えば図１２に示すようにuser01，user02）が記憶される。なお、終了時刻は空白のままにする。
【００５８】
一方、上記ステップＳ１４において、各判定対象ユーザの生体情報の変化量の少なくとも一方が“１”でなかったとする。この場合にはステップＳ１６において、先にステップＳ１３により算出された各判定対象ユーザの生体情報の変化量のうち片方のみが“１”で、かつ同期状態であるか否かが判定される。この判定の結果、片方のみが“１”でかつ同期状態であれば、各判定対象ユーザの一方が集団による視聴状態から離脱したと判断してステップＳ１８に移行し、そうでなければステップＳ１９に移行する。なお、同期状態であるか否かは、ステップＳ１５における判定処理と同様に、今回の判定対象時刻以前に作成された集団視聴情報のうち最新の集団視聴情報を集団視聴情報記憶エリア１１４４から読み出し、この読み出した情報の終了時刻が空白であるか否かにより判定される。
【００５９】
ステップＳ１８では、生体情報の同調が終了したことを示す情報を集団視聴情報に記載する処理が行われる。この処理は、例えば今回の判定対象時刻以前に作成された集団視聴情報のうち最新の集団視聴情報を集団視聴情報記憶エリア１１４４から読み出し、この読み出した情報の終了時刻に今回の判定対象時刻を挿入することによりなされる。
【００６０】
（５）生体情報の変化量算出処理
ところで、上記ステップＳ１３における生体情報の変化量の算出処理は、生体情報同調算出プログラム１１３２の制御の下で以下のように行われる。図８はその処理手順と処理内容を示すフローチャートである。
すなわち、先ずステップＳ１３１において、データメモリ１１４内の生体情報記憶エリア１１４３から、前記判定対象ユーザの判定対象時刻のn 秒前又はn 秒後、或いはその両方の生体情報が読み出される。なお、n の値は予め設定されており、この値に基づいて行われる。ただし、最低でも１サンプリング前のデータが含まれるような値に設定する必要がある。
【００６１】
続いてステップＳ１３２において、上記読み出された生体情報の中から最も古い時刻の生体情報が選択される。この選択された生体情報及び上記読み出された全生体情報は作業メモリに保持される。
【００６２】
次に、ステップＳ１３３において、上記読み出された全生体情報の中に、現在選択している生体情報より新しい時刻の生体情報が存在するか否かが判定され、存在する場合にはステップＳ１３４に移行し、存在しない場合にはステップＳ１３６へ移行する。
ステップＳ１３４では、現在選択している生体情報と、上記読み出された全生体情報の中で現在選択している生体情報より新しくかつ最も近い時刻の生体情報との変化量が算出される。例えば、時刻k における変化量var (k)の算出には以下の式が用いられる。
var (k) ＝１−cos (θk)
【００６３】
ここで、θk は、現在選択している生体情報と、上記読み出された全生体情報の中で現在選択している生体情報より新しくかつ最も近い時刻の生体情報とからなる角度を示す。例えば、上記読み出された全生体情報が時刻t-4 からt までの生体情報であり、現在選択している生体情報が時刻t-4 の生体情報であるとすると、上記読み出された全生体情報の中で現在選択している生体情報より新しくかつ最も近い時刻の生体情報は時刻t-3 となる。また、これらの２つの生体情報がなす角度はθt-3となり、その余弦値が変化量となる。なお、角度を求める際には、横軸は１サンプリングレートを１、縦軸は脈拍であれば１拍／分を１として算出する。この算出された変化量は作業メモリに保持される。
【００６４】
次にステップＳ１３５において、上記読み出された全生体情報の中で現在選択している生体情報より新しくかつ最も近い時刻の生体情報が、新たな選択先として選択される。例えば、いま時刻t-4 の生体情報が選択されていれば、時刻t-3 の生体情報が新たな選択先となる。
【００６５】
上記ステップＳ１３３〜Ｓ１３５による繰り返し処理が終了すると、つまり読み出された全生体情報が時刻t-4 からt までの場合、上記ステップＳ１３３で新たな時刻t の生体情報が選択されると、続いてステップＳ１３６において、上記ステップＳ１３３〜Ｓ１３５により算出された各変化量を統合することにより、判定対象時刻における最終的な変化量が算出される。判定対象時刻t における変化量sumvar(t)の算出には、例えば以下の式が用いられる。
【数２】
【００６６】
続いてステップＳ１３７において、上記ステップＳ１３６により算出された変化量が予め設定された閾値に基づいて二値化される。この結果、上記算出された変化量のうち閾値以上のものは“１”に変換され、閾値未満のものは“０”に変換される。そして、この二値化データに変換された、生体情報の変化量データが作業メモリに保存される。
【００６７】
最後にステップＳ１３８において、判定対象時刻における生体情報変化量をまだ算出していない判定対象ユーザが残っているか否かが判定される。この判定の結果、該当する判定対象ユーザが存在すれば当該ユーザが判定対象として選択され、ステップＳ１３１に戻って先に述べたステップＳ１３１〜Ｓ１３７による処理が実行される。これに対し、生体情報変化量をまだ算出していない判定対象ユーザが残っていなければ、生体情報の変化量算出処理を終了する。
かくして、cosine similarity を利用した生体情報の変化量の算出が行われる。
【００６８】
以上詳述したようにこの実施形態では、テレビジョン受信機１の電源のオンオフ状態を検出すると共に、リモートコントローラ２から送信された電波の受信強度を判定し、さらに各ユーザのリモートコントローラ２から送信されるユーザの生体情報をそれぞれ受信し保存する。そして、電源がオン状態となっておりかつ上記リモートコントローラ２からの電波の受信強度が閾値以上の期間に検出された上記ユーザの生体情報を読み出してその変化量を算出し、この変化量の算出結果をもとに上記各ユーザの生体情報の変化タイミングが一致した時点から少なくとも一方のユーザの生体情報が変化するまでの期間を検出し、この期間を上記各ユーザが同時に同一のテレビジョン番組を視聴している期間、つまり集団視聴期間と判定するようにしている。
【００６９】
したがって、テレビジョン受信機１がテレビジョン放送の受信動作中であり、かつユーザがテレビジョン受信機１に表示されているテレビジョン番組を視聴可能な位置に存在することを前提条件とし、その上で各ユーザの生体情報の閾値以上の変化のタイミングをもとに各ユーザが集団でテレビジョン番組を視聴しているか否かが判定される。このため、カメラ等を用いてユーザに心理的負担を与えることなく、高精度に集団視聴期間を判定することが可能となる。
【００７０】
また、生体情報の変化量をcosine similarity を利用して算出している。すなわち、隣接する２つのタイミングで得られた各生体情報値の変化方向を余弦値で表すことにより当該各生体情報値のコサイン類似度を算出し、この算出されたコサイン類似度を上記隣接する２つのタイミング間における生体情報の変化量とするようにしている。このため、各タイミング間における生体情報の変化をコサイン類似度という指標を用いて表すことができ、これにより微細な変化はより小さい値に、大きな変化はより大きい値として検出することが可能となる。したがって、生体情報検出装置の検出精度や周辺環境によって生じるノイズの影響を軽減することができる。
【００７１】
さらに、生体情報としてユーザの脈拍を検出し、その脈拍検出データから変化量を算出するようにしている。一般に、恐怖や面白さ、興奮状態等の人の感情の変化は個人差を生じることなく脈拍に反映され、しかも脈拍は安価なセンサにより感度よく検出することが可能である。このため、生体情報として脈拍を用いることで、安価な構成でありながら、各ユーザがテレビジョン番組を集団で視聴しているか否かを比較的高精度に判定することが可能となる。
【００７２】
なお、この発明は上記実施形態に限定されるものではない。例えば、前記実施形態では集団行動判定装置の機能をテレビジョン受信機１内の設けた場合を例にとって説明したが、集団行動判定装置をテレビジョン受信機１とは別に独立して設け、この集団行動判定装置とテレビジョン受信機１及びリモートコントローラ２との間を信号ケーブル又は無線回線で接続するようにしてもよい。また、集団行動判定装置を実現するための機能をフラッシュメモリやＵＳＢメモリなどの記憶媒体に収容し、これらのメモリをテレビジョン受信機１又はリモートコントローラ２に装着するようにしてもよい。
【００７３】
また、前記実施形態ではコンテンツ表示装置としてテレビジョン受信機１を使用した場合を例にとって説明したが、他にＷｅｂサイトから配信されるか又は記憶媒体に記憶された映像コンテンツやゲームコンテンツを再生する装置や、映画館やホールで映像コンテンツをスクリーン又は表示装置に表示する装置であってもよい。
【００７４】
また、前記実施形態では生体情報検出装置をリモートコントローラ２に設けた場合を例にとって説明したが、他に携帯電話機やスマートホン、電子書籍端末等の携帯通信端末や、ゲーム機のコントローラに生体情報検出装置を内蔵させるようにしてもよい。また、生体情報検出装置をリモートコントローラ等に内蔵せずに、生体情報センサと無線インタフェース機能のみを備えた独立した装置として構成し、この装置をユーザの体の生体情報検出対象部位に取り付けるようにしてもよい。
【００７５】
その他、コンテンツ表示装置や生体情報検出装置の種類や構成、集団視聴期間の判定処理手順と処理内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
【００７６】
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００７７】
１…テレビジョン受信機、２…リモートコントローラ、１１…テレビジョン受信機本体、１２，２２…記憶部、１３…集団視聴判定部、１４，２４…タイマ、１５，２５…近接無線モジュール、１６，２３…入出力インタフェース部、２１…生体情報生成部、１１１，２１１…ＣＰＵ、１１２，２１２…バス、１１３，２１３…プログラムメモリ、１１４，２１４…データメモリ、１１５，２１５…タイマインタフェース、１１６，２１６…入出力インタフェース、２１７…脈拍センサ、１１３１，２１３１…入出力制御プログラム、１１３２…生体情報同調算出プログラム、１１３３…集団視聴判定プログラム、１１４１…電源情報記憶エリア、１１４２…電波強度情報記憶エリア、１１４３…生体情報記憶エリア、１１４４…集団視聴情報記憶エリア、２１３２…生体情報算出プログラム、２１４１…生体情報記憶エリア。
【特許請求の範囲】
【請求項１】
コンテンツを複数のユーザが同時に視聴可能に表示するコンテンツ表示装置と、前記複数のユーザの各々についてその生体情報を検出し送信する複数の生体情報検出装置とにそれぞれ接続される集団行動判定装置であって、
前記コンテンツ表示装置の動作状態をもとに、当該コンテンツ表示装置がコンテンツを表示動作中であるか否かを判定する第１の判定手段と、
前記生体情報検出装置から送信された信号の受信品質から、前記ユーザが前記コンテンツ表示装置に対しその視聴可能範囲に存在するか否かを判定する第２の判定手段と、
前記複数の生体情報検出装置から送信されるユーザの生体情報をそれぞれ受信し、この受信された各生体情報の変化特性をそれぞれ算出する変化特性算出手段と、
前記算出された各生体情報の変化特性の類似性を検出し、この検出された類似性が予め設定された条件を満たしているか否かを判定する第３の判定手段と、
前記第１の判定手段により前記コンテンツ表示装置がコンテンツを表示動作中であると判定され、前記第２の判定手段により前記ユーザが前記コンテンツ表示装置に対しその視聴可能範囲に存在すると判定され、かつ前記第３の判定手段により前記各生体情報の変化特性の類似性が予め設定された条件を満たしていると判定された場合に、前記複数のユーザが前記コンテンツを集団で視聴していると判定する集団判定手段と
を具備することを特徴とする集団行動判定装置。
【請求項２】
前記変化特性算出手段は、前記受信された各生体情報の変化量を時系列上で算出して、この算出された変化量が予め設定した閾値以上となるタイミングを検出し、
前記第３の判定手段は、前記タイミングの検出結果に基づいて前記複数の生体情報の変化が同調しているシンクロ期間を特定することを特徴とする請求項１記載の集団行動判定装置。
【請求項３】
前記第３の判定手段は、前記複数の生体情報の変化が予め設定した同一時間内に発生した時のそのタイミングを前記シンクロ期間の開始タイミングに設定し、前記複数の生体情報のいずれか一方が変化した時のそのタイミングを前記シンクロ期間の終了タイミングに設定することを特徴とする請求項２記載の集団行動判定装置。
【請求項４】
前記生体情報検査装置にユーザの脈拍を検出する脈拍センサを備え、前記変化特性算出手段は前記脈拍センサにより検出されたユーザの脈拍検出データからその変化特性を算出することを特徴とする請求項１記載の集団行動判定装置。
【請求項５】
前記変化特性算出手段は、隣接する２つのタイミングで得られた各生体情報値の変化方向を余弦値で表すことにより当該各生体情報値のコサイン類似度を算出し、この算出されたコサイン類似度を前記隣接する２つのタイミング間における生体情報の変化量とすることを特徴とする請求項２記載の集団行動判定装置。
【請求項６】
コンテンツを複数のユーザが同時に視聴可能に表示するコンテンツ表示装置と、前記複数のユーザの各々についてその生体情報を検出し送信する複数の生体情報検出装置とにそれぞれ接続される装置が実行する集団行動判定方法であって、
前記コンテンツ表示装置の動作状態をもとに、当該コンテンツ表示装置がコンテンツを表示動作中であるか否かを判定する第１の判定過程と、
前記生体情報検出装置から送信された信号の受信品質から、前記ユーザが前記コンテンツ表示装置に対しその視聴可能範囲に存在するか否かを判定する第２の判定過程と、
前記複数の生体情報検出装置から送信されるユーザの生体情報をそれぞれ受信し、この受信された各生体情報の変化特性をそれぞれ算出する過程手段と、
前記算出された各生体情報の変化特性の類似性を検出し、この検出された類似性が予め設定された条件を満たしているか否かを判定する第３の判定過程と、
前記第１の判定過程により前記コンテンツ表示装置がコンテンツを表示動作中であると判定され、前記第２の判定過程により前記ユーザが前記コンテンツ表示装置に対しその視聴可能範囲に存在すると判定され、かつ前記第３の判定過程により前記各生体情報の変化特性の類似性が予め設定された条件を満たしていると判定された場合に、前記複数のユーザが前記コンテンツを集団で視聴していると判定する過程と
を具備することを特徴とする集団行動判定方法。
【請求項７】
コンテンツを複数のユーザが同時に視聴可能に表示するコンテンツ表示装置と、前記複数のユーザの各々についてその生体情報を検出し送信する複数の生体情報検出装置とにそれぞれ接続される、コンピュータを備えた判定装置に対し、
前記コンテンツ表示装置の動作状態をもとに、当該コンテンツ表示装置がコンテンツを表示動作中であるか否かを判定する第１の判定処理と、
前記生体情報検出装置から送信された信号の受信品質から、前記ユーザが前記コンテンツ表示装置に対しその視聴可能範囲に存在するか否かを判定する第２の判定処理と、
前記複数の生体情報検出装置から送信されるユーザの生体情報をそれぞれ受信し、この受信された各生体情報の変化特性をそれぞれ算出する過程処理と、
前記算出された各生体情報の変化特性の類似性を検出し、この検出された類似性が予め設定された条件を満たしているか否かを判定する第３の判定処理と、
前記第１の判定過程により前記コンテンツ表示装置がコンテンツを表示動作中であると判定され、前記第２の判定過程により前記ユーザが前記コンテンツ表示装置に対しその視聴可能範囲に存在すると判定され、かつ前記第３の判定過程により前記各生体情報の変化特性の類似性が予め設定された条件を満たしていると判定された場合に、前記複数のユーザが前記コンテンツを集団で視聴していると判定する処理と
を実行させるプログラム。
【請求項１】
コンテンツを複数のユーザが同時に視聴可能に表示するコンテンツ表示装置と、前記複数のユーザの各々についてその生体情報を検出し送信する複数の生体情報検出装置とにそれぞれ接続される集団行動判定装置であって、
前記コンテンツ表示装置の動作状態をもとに、当該コンテンツ表示装置がコンテンツを表示動作中であるか否かを判定する第１の判定手段と、
前記生体情報検出装置から送信された信号の受信品質から、前記ユーザが前記コンテンツ表示装置に対しその視聴可能範囲に存在するか否かを判定する第２の判定手段と、
前記複数の生体情報検出装置から送信されるユーザの生体情報をそれぞれ受信し、この受信された各生体情報の変化特性をそれぞれ算出する変化特性算出手段と、
前記算出された各生体情報の変化特性の類似性を検出し、この検出された類似性が予め設定された条件を満たしているか否かを判定する第３の判定手段と、
前記第１の判定手段により前記コンテンツ表示装置がコンテンツを表示動作中であると判定され、前記第２の判定手段により前記ユーザが前記コンテンツ表示装置に対しその視聴可能範囲に存在すると判定され、かつ前記第３の判定手段により前記各生体情報の変化特性の類似性が予め設定された条件を満たしていると判定された場合に、前記複数のユーザが前記コンテンツを集団で視聴していると判定する集団判定手段と
を具備することを特徴とする集団行動判定装置。
【請求項２】
前記変化特性算出手段は、前記受信された各生体情報の変化量を時系列上で算出して、この算出された変化量が予め設定した閾値以上となるタイミングを検出し、
前記第３の判定手段は、前記タイミングの検出結果に基づいて前記複数の生体情報の変化が同調しているシンクロ期間を特定することを特徴とする請求項１記載の集団行動判定装置。
【請求項３】
前記第３の判定手段は、前記複数の生体情報の変化が予め設定した同一時間内に発生した時のそのタイミングを前記シンクロ期間の開始タイミングに設定し、前記複数の生体情報のいずれか一方が変化した時のそのタイミングを前記シンクロ期間の終了タイミングに設定することを特徴とする請求項２記載の集団行動判定装置。
【請求項４】
前記生体情報検査装置にユーザの脈拍を検出する脈拍センサを備え、前記変化特性算出手段は前記脈拍センサにより検出されたユーザの脈拍検出データからその変化特性を算出することを特徴とする請求項１記載の集団行動判定装置。
【請求項５】
前記変化特性算出手段は、隣接する２つのタイミングで得られた各生体情報値の変化方向を余弦値で表すことにより当該各生体情報値のコサイン類似度を算出し、この算出されたコサイン類似度を前記隣接する２つのタイミング間における生体情報の変化量とすることを特徴とする請求項２記載の集団行動判定装置。
【請求項６】
コンテンツを複数のユーザが同時に視聴可能に表示するコンテンツ表示装置と、前記複数のユーザの各々についてその生体情報を検出し送信する複数の生体情報検出装置とにそれぞれ接続される装置が実行する集団行動判定方法であって、
前記コンテンツ表示装置の動作状態をもとに、当該コンテンツ表示装置がコンテンツを表示動作中であるか否かを判定する第１の判定過程と、
前記生体情報検出装置から送信された信号の受信品質から、前記ユーザが前記コンテンツ表示装置に対しその視聴可能範囲に存在するか否かを判定する第２の判定過程と、
前記複数の生体情報検出装置から送信されるユーザの生体情報をそれぞれ受信し、この受信された各生体情報の変化特性をそれぞれ算出する過程手段と、
前記算出された各生体情報の変化特性の類似性を検出し、この検出された類似性が予め設定された条件を満たしているか否かを判定する第３の判定過程と、
前記第１の判定過程により前記コンテンツ表示装置がコンテンツを表示動作中であると判定され、前記第２の判定過程により前記ユーザが前記コンテンツ表示装置に対しその視聴可能範囲に存在すると判定され、かつ前記第３の判定過程により前記各生体情報の変化特性の類似性が予め設定された条件を満たしていると判定された場合に、前記複数のユーザが前記コンテンツを集団で視聴していると判定する過程と
を具備することを特徴とする集団行動判定方法。
【請求項７】
コンテンツを複数のユーザが同時に視聴可能に表示するコンテンツ表示装置と、前記複数のユーザの各々についてその生体情報を検出し送信する複数の生体情報検出装置とにそれぞれ接続される、コンピュータを備えた判定装置に対し、
前記コンテンツ表示装置の動作状態をもとに、当該コンテンツ表示装置がコンテンツを表示動作中であるか否かを判定する第１の判定処理と、
前記生体情報検出装置から送信された信号の受信品質から、前記ユーザが前記コンテンツ表示装置に対しその視聴可能範囲に存在するか否かを判定する第２の判定処理と、
前記複数の生体情報検出装置から送信されるユーザの生体情報をそれぞれ受信し、この受信された各生体情報の変化特性をそれぞれ算出する過程処理と、
前記算出された各生体情報の変化特性の類似性を検出し、この検出された類似性が予め設定された条件を満たしているか否かを判定する第３の判定処理と、
前記第１の判定過程により前記コンテンツ表示装置がコンテンツを表示動作中であると判定され、前記第２の判定過程により前記ユーザが前記コンテンツ表示装置に対しその視聴可能範囲に存在すると判定され、かつ前記第３の判定過程により前記各生体情報の変化特性の類似性が予め設定された条件を満たしていると判定された場合に、前記複数のユーザが前記コンテンツを集団で視聴していると判定する処理と
を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−１６９９１８（Ｐ２０１２−１６９９１８Ａ）
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願番号】特願２０１１−２９９５４（Ｐ２０１１−２９９５４）
【出願日】平成２３年２月１５日（２０１１．２．１５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願日】平成２３年２月１５日（２０１１．２．１５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]