ユーザ反応推定装置、ユーザ反応推定方法およびユーザ反応推定プログラム
【課題】ユーザの身体にセンサ類を直接装着することなく、コンテンツに対するユーザの反応を精度良く推定することができるユーザ反応推定装置、ユーザ反応推定方法およびユーザ反応推定プログラムを提供する。
【解決手段】シーンごとにメタデータ１２が付与されたコンテンツ１０の各シーンに対するユーザＵの反応を推定する反応推定装置であって、メタデータ１２が対応するシーンに対して示すことが期待されるユーザＵの反応を定義したものであり、状態検出装置で検出されたユーザＵの状態からその状態変化を検出する状態変化検出手段３１と、コンテンツ１０からメタデータ１２を取得するメタデータ取得手段３２と、状態変化の変化量が所定の閾値を超えた場合、その時点でユーザＵが視聴していたシーンに付与されたメタデータ１２が表す反応を、当該シーンに対してユーザＵが示した反応として判定する反応判定手段３３と、を備える
【解決手段】シーンごとにメタデータ１２が付与されたコンテンツ１０の各シーンに対するユーザＵの反応を推定する反応推定装置であって、メタデータ１２が対応するシーンに対して示すことが期待されるユーザＵの反応を定義したものであり、状態検出装置で検出されたユーザＵの状態からその状態変化を検出する状態変化検出手段３１と、コンテンツ１０からメタデータ１２を取得するメタデータ取得手段３２と、状態変化の変化量が所定の閾値を超えた場合、その時点でユーザＵが視聴していたシーンに付与されたメタデータ１２が表す反応を、当該シーンに対してユーザＵが示した反応として判定する反応判定手段３３と、を備える
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像、音声等のコンテンツに対するユーザの反応を推定するユーザ反応推定装置、ユーザ反応推定方法およびユーザ反応推定プログラムに関する。
【背景技術】
【０００２】
これまで、映像、音声等のコンテンツを視聴するユーザ（視聴者）の顔画像から、その表情を分類認識する技術が多く提案されている。また、コンテンツに対するユーザの反応については、前記したユーザの表情や脳波、心拍数等の観察、あるいは視線の動き等の情報から、ユーザがコンテンツのどのシーンに興味を持っているのかを推定する生理学的な推定方法が試みられている。
【０００３】
例えば、特許文献１では、コンテンツを視聴する視聴者に生起すると期待される感情を示す感情期待値情報と、コンテンツを視聴する際に視聴者に生起する感情を示す感情情報と、を取得し、これらを比較することでコンテンツの視聴質を判定することが提案されている。なお、ここでの感情期待値情報とは、コンテンツの編集内容から生成される情報であり、感情情報とは、視聴者の脳波、皮膚電気抵抗値、皮膚コンダクタンス、皮膚温度、心電図周波数、心拍数、脈拍、体温、筋電、顔画像、音声等の生体情報から生成される情報を示している。
【０００４】
また、特許文献２では、再生コンテンツに対しての視聴者の反応を示す視聴者反応データと、画面操作履歴の情報を含む再生コンテンツについての視聴データと、を収集してこれらを時間同期させて統合することで、視聴質データを生成することが提案されている。なお、ここでの視聴者反応データとは、人物の表情、視線パターン（注視方向）、目の瞳孔直径、瞬き、顔部の向き、笑い声、体温、心拍数、利用者識別ＩＤ等のセンシングデータおよび認識データを示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２０５８６１号公報
【特許文献２】特開２００５−１４２９７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に係る発明は、音楽（ＢＧＭ）、効果音、映像ショットおよびカメラワークといったコンテンツの編集内容から感情期待値を決定する必要があるため、処理が複雑になって感情期待値の決定が困難であるという問題があった。また、特許文献１に係る発明は、視聴質の判定精度が感情期待値情報および感情情報（生体情報）の測定精度に依存するという問題があった。
【０００７】
そして、特許文献２に係る発明も、視聴質データの生成結果が各種センシングに基づくセンシングデータおよび認識データの測定精度に依存するという問題があった。
【０００８】
また、特許文献１および特許文献２に係る発明で用いられる顔画像認識では、認識可能な表情が大きな表情変化の場合に限定される、複雑な表情を認識することができない、個人差によって誤差が生じる、といった問題があった。さらに、前記したような生体情報、センシングデータおよび認識データ等の生理学的手法を用いるためには、視聴者の身体にセンサ類を直接装着する必要があるため、日常的に利用するには煩雑であるという問題があった。
【０００９】
本発明はかかる点に鑑みてなされたものであって、ユーザの身体にセンサ類を直接装着することなく、少ない機材によってコンテンツに対するユーザの反応を精度良く的確に推定することができるユーザ反応推定装置、ユーザ反応推定方法およびユーザ反応推定プログラムを提供することを課題とする。
【課題を解決するための手段】
【００１０】
前記課題を解決するために請求項１に係るユーザ反応推定装置は、シーンごとにメタデータが付与されたコンテンツをユーザに提供するコンテンツ提供装置と前記ユーザの状態を検出する状態検出装置とを用いて、前記コンテンツ提供装置から前記ユーザに提供された前記コンテンツの各シーンに対する前記ユーザの反応を推定するユーザ反応推定装置であって、前記メタデータは、対応する前記シーンに対して前記ユーザが示すことが期待される前記ユーザの反応を定義したものであり、前記ユーザが前記コンテンツを視聴しているときに前記状態検出装置で検出された前記ユーザの状態から、当該ユーザの状態変化を検出する状態変化検出手段と、前記ユーザが前記コンテンツを視聴しているときに、当該コンテンツから前記メタデータを取得するメタデータ取得手段と、前記状態変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定する反応判定手段と、を備える構成とした。
【００１１】
このような構成によれば、ユーザ反応推定装置は、コンテンツのシーンごとにユーザの反応を定義するメタデータが付与されているため、ユーザの状態変化の変化量が所定の閾値を超えた場合に、その時点で当該ユーザが視聴していたシーンに付与されたメタデータが定義する反応をユーザの反応として推定することができる。
【００１２】
また、請求項２に係るユーザ反応推定装置は、前記状態検出装置が、前記ユーザを撮像するための撮像装置であり、前記状態変化検出手段が、前記撮像装置で撮像された画像データから、画像処理によって前記ユーザの顔の表情変化を検出し、前記反応判定手段が、前記ユーザの顔の表情変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定する構成とした。
【００１３】
このような構成によれば、ユーザ反応推定装置は、ユーザの顔の表情変化の変化量が所定の閾値を超えた場合に、その時点で当該ユーザが視聴していたシーンに付与されたメタデータが定義する反応をユーザの反応として推定することができる。
【００１４】
また、請求項３に係るユーザ反応推定装置は、前記状態検出装置が、前記ユーザを撮像するための撮像装置であり、前記状態変化検出手段が、前記撮像装置で撮像された画像データから、画像処理によって前記ユーザの視線の位置変化を検出し、前記反応判定手段が、前記ユーザの視線の位置変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定する構成とした。
【００１５】
このような構成によれば、ユーザ反応推定装置は、ユーザの視線の位置変化の変化量が所定の閾値を超えた場合に、その時点で当該ユーザが視聴していたシーンに付与されたメタデータが定義する反応をユーザの反応として推定することができる。
【００１６】
また、請求項４に係るユーザ反応推定装置は、前記状態検出装置が、前記ユーザを撮像するための撮像装置であり、前記状態変化検出手段が、前記撮像装置で撮像された画像データから、画像処理によって前記ユーザの頭部の位置変化を検出し、前記反応判定手段が、前記ユーザの頭部の位置変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定する構成とした。
【００１７】
このような構成によれば、ユーザ反応推定装置は、ユーザの頭部位置変化の変化量が所定の閾値を超えた場合に、その時点で当該ユーザが視聴していたシーンに付与されたメタデータが定義する反応をユーザの反応として推定することができる。
【００１８】
また、請求項５に係るユーザ反応推定装置は、前記状態検出装置が、前記ユーザを撮像するための撮像装置であり、前記状態変化検出手段が、前記撮像装置で撮像された画像データから、画像処理によって前記ユーザの身体の重心の位置変化を検出し、前記反応判定手段が、前記ユーザの身体の重心の位置変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定する構成とした。
【００１９】
このような構成によれば、ユーザ反応推定装置は、ユーザの身体の重心位置変化の変化量が所定の閾値を超えた場合に、その時点で当該ユーザが視聴していたシーンに付与されたメタデータが定義する反応をユーザの反応として推定することができる。
【００２０】
また、請求項６に係るユーザ反応推定装置は、前記状態検出装置が、前記ユーザの体重による圧力から、当該ユーザの身体の重心位置を測定するための圧力測定装置であり、前記状態変化検出手段が、前記圧力測定装置で測定された測定データから、前記ユーザの身体の重心の位置変化を検出し、前記反応判定手段が、前記ユーザの身体の重心の位置変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定する構成とした。
【００２１】
このような構成によれば、ユーザ反応推定装置は、ユーザの身体の重心位置変化の変化量が所定の閾値を超えた場合に、その時点で当該ユーザが視聴していたシーンに付与されたメタデータが定義する反応をユーザの反応として推定することができる。
【００２２】
また、請求項７に係るユーザ反応推定装置は、前記メタデータが、前記コンテンツ提供装置による前記コンテンツの提供中または提供後に、前記シーンに付与される構成とした。
【００２３】
このような構成によれば、ユーザ反応推定装置は、コンテンツに予めメタデータを付与する必要がないため、コンテンツからメタデータを取得する処理を省略することができる。
【００２４】
さらに、請求項８に係るユーザ反応推定方法は、シーンごとにメタデータが付与されたコンテンツの各シーンに対する前記ユーザの反応を推定するユーザ反応推定方法であって、前記メタデータが、対応する前記シーンに対して前記ユーザが示すことが期待される前記ユーザの反応を定義したものであり、状態変化検出手段によって、前記ユーザが前記コンテンツを視聴しているときの前記ユーザの状態から、当該ユーザの状態変化を検出するステップと、メタデータ取得手段によって、前記ユーザが前記コンテンツを視聴しているときに、当該コンテンツから前記メタデータを取得するステップと、反応判定手段によって、前記状態変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定するステップと、を行う手順とした。
【００２５】
このような手順によれば、ユーザ反応推定方法は、コンテンツのシーンごとにユーザの反応を定義するメタデータが付与されているため、ユーザの状態変化の変化量が所定の閾値を超えた場合に、その時点で当該ユーザが視聴していたシーンに付与されたメタデータが定義する反応をユーザの反応として推定することができる。
【００２６】
そして、請求項９に係るユーザ反応推定プログラムは、対応するシーンに対してユーザが示すことが期待されるユーザの反応を定義したメタデータがシーンごとに付与されたコンテンツを前記ユーザに提供するコンテンツ提供装置と前記ユーザの状態を検出する状態検出装置とを用いて、前記コンテンツ提供装置から前記ユーザに提供された前記コンテンツの各シーンに対する前記ユーザの反応を推定するために、コンピュータを、前記ユーザが前記コンテンツを視聴しているときに前記状態検出装置で検出された前記ユーザの状態から、当該ユーザの状態変化を検出する状態変化検出手段、前記ユーザが前記コンテンツを視聴しているときに、当該コンテンツから前記メタデータを取得するメタデータ取得手段、前記状態変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定する反応判定手段、として機能させる構成とした。
【００２７】
このような構成によれば、ユーザ反応推定プログラムは、コンテンツのシーンごとにユーザの反応を定義するメタデータが付与されているため、ユーザの状態変化の変化量が所定の閾値を超えた場合に、その時点で当該ユーザが視聴していたシーンに付与されたメタデータが定義する反応をユーザの反応として推定することができる。
【発明の効果】
【００２８】
請求項１、請求項８および請求項９に係る発明によれば、コンテンツのシーンに対して示すことが予想されるユーザの反応が、シーンごとにメタデータとして明確に付与されているため、複雑な処理を行うことなく、ユーザの反応を的確に推定することができる。また、コンテンツ視聴中におけるユーザのわずかな状態変化であっても推定が可能であるとともに、ユーザの状態変化の変化量が所定の閾値を超えるか否かのみを判定すればよいため、推定結果がユーザの状態変化の測定精度に依存することがなく、ユーザの反応を精度良く推定することができる。さらには、ユーザの身体にセンサ類を直接装着する必要がないため、ユーザにとって煩雑ではなく、コンテンツに対するユーザの反応の推定を日常的に行うことができる。
【００２９】
請求項２に係る発明によれば、コンテンツ視聴中におけるユーザの顔の表情変化の変化量が所定の閾値を超えるか否かを判定することで、ユーザの身体にセンサ類を直接装着することなく、ユーザの反応を精度良く的確に行うことができる。
【００３０】
請求項３に係る発明によれば、コンテンツ視聴中におけるユーザの視線の位置変化の変化量が所定の閾値を超えるか否かを判定することで、ユーザの身体にセンサ類を直接装着することなく、ユーザの反応を精度良く的確に行うことができる。
【００３１】
請求項４に係る発明によれば、コンテンツ視聴中におけるユーザの頭部の位置変化の変化量が所定の閾値を超えるか否かを判定することで、ユーザの身体にセンサ類を直接装着することなく、ユーザの反応を精度良く的確に行うことができる。
【００３２】
請求項５および請求項６に係る発明によれば、コンテンツ視聴中におけるユーザの身体の重心位置変化の変化量が所定の閾値を超えるか否かを判定することで、ユーザの身体にセンサ類を直接装着することなく、ユーザの反応を精度良く的確に行うことができる。
【００３３】
請求項７に係る発明によれば、コンテンツの各シーンに対して予めメタデータを付与する必要がないため、より簡単にユーザの反応を推定することができる。また、ユーザがライブ番組等の予めメタデータを付与することが難しいコンテンツを視聴した場合であっても、その反応を推定することができる。
【図面の簡単な説明】
【００３４】
【図１】本発明に係るユーザ反応推定装置の全体構成を示すブロック図である。
【図２】実施形態１に係るユーザ反応推定装置における状態変化検出手段の具体的構成を示すブロック図である。
【図３】第１実施形態に係るユーザ反応推定装置における反応判定手段の具体的構成を示すブロック図である。
【図４】本発明に係るユーザ反応推定装置の全体動作を示すフローチャートである。
【図５】第２実施形態に係るユーザ反応推定装置における状態変化検出手段の具体的構成を示すブロック図である。
【図６】第３実施形態に係るユーザ反応推定装置における状態変化検出手段の具体的構成を示すブロック図である。
【図７】第４実施形態に係るユーザ反応推定装置における状態変化検出手段の具体的構成を示すブロック図である。
【図８】第５実施形態に係るユーザ反応推定装置の全体構成を示すブロック図である。
【図９】第５実施形態に係るユーザ反応推定装置における状態変化検出手段の具体的構成を示すブロック図である。
【発明を実施するための形態】
【００３５】
本発明の実施形態に係るユーザ反応推定装置、ユーザ反応推定方法およびユーザ反応推定プログラムについて、図面を参照しながら説明する。なお、以下の説明において、同一の名称、符号については、原則として同一の構成を示しており、詳細説明を適宜省略する。
【００３６】
［第１実施形態］
以下、第１実施形態に係るユーザ反応推定装置３０の構成について、図１を参照しながら詳細に説明する。なお、以下の説明では、ユーザ反応推定装置３０を含むユーザ反応推定システム１００全体の構成を説明しながら、その中のユーザ反応推定装置３０について説明することとする。
【００３７】
ユーザ反応推定システム１００は、コンテンツ１０の映像、音声１１に対するユーザＵの反応を推定するためのシステムである。ユーザ反応推定システム１００は、ここでは図１に示すように、コンテンツ１０と、コンテンツ提供装置２０と、ユーザ反応推定装置３０と、格納装置５０と、を備えている。
【００３８】
コンテンツ１０は、ディレクター等のコンテンツ制作者によって制作される映像、音声、文字等の創作物である。コンテンツ１０の具体例としては、地上デジタル放送等でリアルタイムに放送される映画やドラマ等が挙げられる。コンテンツ１０は、ここでは図１に示すように、映像、音声１１と、メタデータ１２と、から構成される。
【００３９】
映像、音声１１は、コンテンツ１０の具体的な内容である。映像、音声１１は、ここでは図１に示すように、その内容ごとにシーン１〜シーン４の複数のシーンから構成されている。映像、音声１１には、図１に示すように、これらのシーンごとにメタデータ１２が付与され、それぞれのシーンとメタデータ１２とが対応付けられている。また、映像、音声１１は、図１に示すように、コンテンツ提供装置２０を介してユーザＵに提供される。
【００４０】
メタデータ１２は、コンテンツ１０の映像、音声１１に対して付与されるデータである。メタデータ１２は、ここでは図１に示すように、対応するシーンに対してユーザＵが示すことが期待されるユーザＵの反応を定義するものであり、より詳しくは、各シーンに対するコンテンツ制作者の演出意図、すなわちコンテンツ制作者がコンテンツ１０の映像、音声１１の各シーンを通じて誘導したいと考えるユーザＵの反応を定義したものである。従って、メタデータ１２は、主にコンテンツ制作者によってコンテンツ１０に付与されることになる。
【００４１】
ここで、例えば、コンテンツ１０の映像、音声１１が、図１に示すように「導入部」のシーン、「コミカル」のシーン、「アクション」のシーン、「主役の死」のシーン、という４つのシーンから構成されるドラマであるとする。この場合、コンテンツ制作者がシーン１の「導入部」のシーンを視聴したユーザＵに対して、物語に興味を持って欲しいと考えて演出を行った場合、シーン１には、図１に示すように「物語に興味」という反応を定義するメタデータ１２が付与される。
【００４２】
同じように、コンテンツ制作者がシーン２の「コミカル」のシーンを視聴したユーザＵに対して、笑って欲しいと考えて演出を行った場合、シーン２には、図１に示すように「笑い」という反応を定義するメタデータ１２が付与される。また、コンテンツ制作者がシーン３の「アクション」のシーンを視聴したユーザＵに対して、ドキドキ、ワクワクして欲しいと考えて演出を行った場合、シーン３には、図１に示すように「ドキドキ、ワクワク」という反応を定義するメタデータ１２が付与される。また、コンテンツ制作者がシーン４の「主役の死」のシーンを視聴したユーザＵに対して、悲しんで欲しいと考えて演出を行った場合、シーン４には、図１に示すように「悲しみ」という反応を定義するメタデータ１２が付与される。
【００４３】
メタデータ１２は、図１に示すように、ユーザＵがコンテンツ１０の映像、音声１１を視聴する際に、当該メタデータ１２が対応付けられたシーンが放送された時間（図示省略、以下「シーン放送時間」という）とともに、メタデータ取得手段３２に出力される。
【００４４】
コンテンツ提供装置２０は、ユーザＵに対してコンテンツ１０の映像、音声１１を提供するものである。コンテンツ提供装置２０は、具体的には、テレビ受像機、パソコンのディスプレイ等が挙げられる。コンテンツ提供装置２０には、図１に示すように、コンテンツ１０の映像、音声１１が入力される。なお、本実施形態では、コンテンツ１０が地上デジタル放送等の放送波としてコンテンツ提供装置２０に入力され、リアルタイムでユーザＵに提供されることを想定しているが、例えば、コンテンツ提供装置２０内部に記憶手段を設けてコンテンツ１０を予め記憶し、当該コンテンツ１０を読み出してユーザＵに提供される構成としても構わない。
【００４５】
ユーザ反応推定装置３０は、コンテンツ提供装置２０からユーザＵに提供されたコンテンツ１０の映像、音声１１の各シーンに対するユーザＵの反応を推定するものである。ユーザ反応推定装置３０は、ここでは図１に示すように、状態変化検出手段３１と、メタデータ取得手段３２と、反応判定手段３３と、を備えている。
【００４６】
状態変化検出手段３１は、撮像装置４０によって撮像されたユーザＵの状態から、コンテンツ１０視聴中におけるユーザＵの状態変化を検出するものである。本実施形態において、ユーザＵの状態および状態変化とは、後記するように、コンテンツ１０視聴中におけるユーザＵの画像データおよびユーザＵの表情変化のことを示している。状態変化検出手段３１には、図１に示すように、撮像装置４０からコンテンツ１０視聴中におけるユーザＵの状態と、当該ユーザＵの状態を撮像した時間（図示省略、以下「撮像時間」という）と、が入力される。そして、状態変化検出手段３１は、ユーザＵの状態変化を算出し、図１に示すように、当該ユーザＵの状態変化および撮像時間（図示省略）を反応判定手段３３に出力する。なお、状態変化検出手段３１の具体的構成および具体的処理手順については後記する。
【００４７】
メタデータ取得手段３２は、コンテンツ１０から、各シーンに付与されたメタデータ１２を取得するものである。メタデータ取得手段３２は、具体的には、前記したようにコンテンツ１０が地上デジタル放送等の放送波としてリアルタイムでユーザＵに提供される場合は、当該放送波として伝達されるコンテンツ１０からメタデータ１２を取得する。また、コンテンツ１０がコンテンツ提供装置２０内部の記憶手段からユーザＵに提供される場合は、コンテンツ提供装置２０内部の記憶手段に記録されたコンテンツ１０からメタデータ１２を取得する。なお、メタデータ取得手段３２は、前記した放送波のみならず、インターネット上からメタデータ１２を取得することもできる。
【００４８】
メタデータ取得手段３２には、図１に示すように、ユーザＵがコンテンツ１０を視聴するときに、コンテンツ１０のシーンごとに付与されたメタデータ１２およびシーン放送時間（図示省略）が入力される。そして、メタデータ取得手段３２は、図１に示すように、メタデータ１２およびシーン放送時間（図示省略）を反応判定手段３３に出力する。
【００４９】
反応判定手段３３は、ユーザＵの状態変化およびメタデータ１２を用いてユーザＵの反応を判定するものである。反応判定手段３３には、図１に示すように、状態変化検出手段３１からコンテンツ１０視聴中におけるユーザＵの状態変化および撮像時間（図示省略）が入力される。また同時に、反応判定手段３３には、図１に示すように、メタデータ取得手段３２からメタデータ１２およびシーン放送時間（図示省略）が入力される。
【００５０】
そして、反応判定手段３３は、ユーザＵの状態変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点でユーザＵが視聴していたシーンに付与されたメタデータ１２が定義する反応を、シーンに対してユーザＵが示した反応として判定し、これをユーザ反応推定情報として格納装置５０に出力する。なお、反応判定手段３３の具体的構成および具体的処理手順については後記する。
【００５１】
撮像装置４０は、コンテンツ１０視聴中におけるユーザＵの状態を撮像するためのものである。言い換えれば、撮像装置４０は、ユーザＵの状態を検出するための状態検出装置である。撮像装置４０の具体例としては、例えば、カメラ、ビデオカメラ、ｗｅｂカメラ等が挙げられる。撮像装置４０は、図１に示すように、ユーザＵを撮像して取得したユーザＵの状態および撮像時間（図示せず）を状態変化検出手段３１に出力する。なお、以下の説明では、撮像装置４０はコンテンツ提供装置２０の例えば上部に設置されたｗｅｂカメラであり、かつ、ユーザＵの顔が撮像装置４０およびコンテンツ提供装置２０に対して正対していると仮定して説明する。
【００５２】
格納装置５０は、ユーザＵの反応を推定した情報であるユーザ反応推定情報を格納するためのものである。格納装置５０の具体例としては、例えば、メモリ、ハードディスク等が挙げられる。格納装置５０には、図１に示すように、反応判定手段３３からユーザ反応推定情報が入力される。このように格納装置５０に格納されたユーザ反応推定情報は、例えばユーザＵが興味を持つジャンルの判定や、ユーザＵに対して次に視聴する番組を推薦、あるいは提案を行う際に利用することができる。また、ユーザ反応推定情報は、家庭用のゲームや、デジタルサイネージ（digital Signage：電子看板）等にも広く応用することができる。
【００５３】
＜状態変化検出手段＞
以下、前記した状態変化検出手段３１の具体的構成および具体的処理手順について、図２を参照しながら詳細に説明する。状態変化検出手段３１は、ここでは図２に示すように、表情取得手段３１ａと、表情変化算出手段３１ｂと、を備えている。
【００５４】
表情取得手段３１ａは、コンテンツ１０視聴中におけるユーザＵの画像データから、ユーザＵの表情データを取得するものである。表情取得手段３１ａは、図２に示すように、撮像装置４０（図１参照）からコンテンツ１０視聴中におけるユーザＵの画像データおよび撮像時間（図示省略）が入力されると、当該画像データからユーザＵの顔の領域を認識して表情データを抜き出し、この表情データおよび撮像時間（図示省略）をリアルタイムで表情変化算出手段３１ｂに出力する。なお、ユーザＵの画像データから表情データを抜き出す方法は、従来周知の方法を用いればよい。
【００５５】
表情変化算出手段３１ｂは、コンテンツ１０視聴中におけるユーザＵの表情データから、その表情変化を算出するものである。表情変化算出手段３１ｂは、本実施形態では、ユーザＵの顔の現在の特徴点の重心位置からの距離と、ユーザＵの顔の過去の特徴点の重心位置からの距離と、の差を求め、当該差の２乗総和値を一定時間積分することで、ユーザＵの表情変化を算出する。なお、表情変化算出手段３１ｂは、ユーザＵの現在および過去の表情データを保持するための図示しない記憶手段を備えている。
【００５６】
表情変化算出手段３１ｂは、図２に示すように、表情取得手段３１ａからユーザＵの表情データが入力されると、当該表情データからユーザＵの顔の大きさＡ、特徴点、特徴点の数ｍ、現在のｎ番目の特徴点と顔の重心位置との距離Ｌｎ１、過去のｎ番目の特徴点と顔の重心位置との距離Ｌｎ２、を抽出する。なお、前記したユーザＵの顔の大きさＡは、画像上におけるユーザＵの顔の縦方向の画素数である。そして、表情変化算出手段３１ｂは、下記式（１）によって、ユーザＵの表情変化Ｍを算出し、図２に示すように、当該表情変化Ｍおよび撮像時間（図示省略）を反応判定手段３３に出力する。
【００５７】
【数１】
【００５８】
このように算出した表情変化Ｍは、コンテンツ１０を視聴したユーザＵの表情の変化、すなわちコンテンツ１０に対するユーザＵの動揺度合いを示している。なお、ユーザＵの表情変化Ｍとして、下記式（２）のように、ユーザＵの顔の現在の特徴点の重心位置からの距離と、ユーザＵの顔の過去の特徴点の重心位置からの距離と、の差の総和値を一定の時間でサンプリングしたＴ回を積分して算出したものを用いてもよい。なお、下記式（２）におけるＬは、ユーザＵの顔の特徴点と、ユーザＵの顔の重心位置との距離である。
【００５９】
【数２】
【００６０】
＜反応判定手段＞
以下、前記した反応判定手段３３の具体的構成および具体的処理手順について、図３を参照しながら詳細に説明する。反応判定手段３３は、図３に示すように、比較手段３３ａと、閾値格納手段３３ｂと、反応抽出手段３３ｃと、を備えている。
【００６１】
比較手段３３ａは、コンテンツ１０視聴中におけるユーザＵの表情変化と、予め定められた所定の閾値と、を比較するものである。比較手段３３ａには、図３に示すように、表情変化算出手段３１ｂ（図２参照）からユーザＵの表情変化および撮像時間（図示省略）が入力される。また、同時に、比較手段３３ａには、図３に示すように、閾値格納手段３３ｂから閾値が入力される。そして、比較手段３３ａは、入力されたユーザＵの表情変化の変化量が閾値を超えるか否かを比較し、当該変化量が閾値を超える場合、図３に示すように、その比較結果と、前記した撮像時間のうち、変化量が閾値を超えた時点における時間（図示省略、以下「閾値超過時間」という）と、を反応抽出手段３３ｃに出力する。
【００６２】
閾値格納手段３３ｂは、ユーザＵの表情変化を閾値処理するための閾値を予め格納するものである。この閾値の具体的構成は特に限定されず、例えば、ユーザＵに提供されるコンテンツ１０（図１参照）に対して一つの閾値を設定する、あるいは、コンテンツ１０のシーンごとに閾値を設定することもできる。また、他にも、ユーザＵごとに閾値を設定することもできる。閾値格納手段３３ｂは、ユーザＵがコンテンツ１０を視聴する際に、図３に示すように、比較手段３３ａに対して閾値を出力する。
【００６３】
反応抽出手段３３ｃは、メタデータ１２からユーザＵの反応を抽出するものである。反応抽出手段３３ｃには、図３に示すように、比較手段３３ａから比較結果および閾値超過時間（図示省略）が入力される。この比較結果は、前記したように、ユーザＵの表情変化の変化量が予め定められた閾値を超える旨の結果である。また、反応抽出手段３３ｃには、図３に示すように、メタデータ取得手段３２からメタデータ１２およびシーン放送時間（図示省略）が入力される。そして、反応抽出手段３３ｃは、閾値超過時間（図示省略）と一致するシーン放送時間（図示省略）に放送されるシーンと対応付けられたメタデータ１２が定義する反応を抽出し、これをユーザ反応推定情報として格納装置５０に出力する。
【００６４】
このような構成を備えるユーザ反応推定装置３０は、コンテンツ１０のシーンに対して示すことが予想されるユーザＵの反応がシーンごとにメタデータ１２として明確に付与されているため、複雑な処理を行うことなく、ユーザＵの反応を的確に推定することができる。また、コンテンツ１０視聴中におけるユーザＵのわずかな状態変化であっても推定が可能であるとともに、ユーザＵの状態変化の変化量が所定の閾値を超えるか否かのみを判定すればよいため、推定結果がユーザＵの状態変化の測定精度に依存することがなく、ユーザＵの反応を精度良く推定することができる。さらには、ユーザＵの身体にセンサ類を直接装着する必要がないため、ユーザＵにとって煩雑ではなく、コンテンツ１０に対するユーザＵの反応の推定を日常的に行うことができる。
【００６５】
なお、ユーザ反応推定装置３０は、一般的なコンピュータを、前記した各手段として機能させるプログラムにより動作させることで実現することができる。このプログラム（コンテンツ暗号化プログラム）は、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【００６６】
［ユーザ反応推定装置の動作］
以下、ユーザ反応推定装置３０の動作、すなわちユーザ反応推定方法について、図４を参照しながら簡単に説明する。ユーザ反応推定方法は、図４に示すように、状態変化検出ステップＳ１０と、メタデータ取得ステップＳ２０と、反応判定ステップＳ３０と、を行う。ここで、状態変化検出ステップＳ１０とメタデータ取得ステップＳ２０の順序は、メタデータ取得ステップＳ２０が先でもよく、あるいは、２つの処理を同時に行っても構わない。
【００６７】
＜状態変化検出ステップ＞
状態変化検出ステップＳ１０は、状態変化検出手段３１によって、撮像装置４０によって撮像されたユーザＵの状態からその状態変化を検出するステップである。状態変化検出ステップＳ１０では、撮像装置４０から状態変化検出手段３１に対して、コンテンツ１０視聴中におけるユーザＵの状態および撮像時間が入力され、当該状態変化検出手段３１によって、ユーザＵの状態からユーザＵの状態変化が算出される。なお、本実施形態において、ユーザＵの状態および状態変化とは、前記したように、コンテンツ１０視聴中におけるユーザＵの画像データおよびユーザＵの表情変化のことを示している。
【００６８】
＜メタデータ取得ステップ＞
メタデータ取得ステップＳ２０は、メタデータ取得手段３２によって、コンテンツ１０から、各シーンに付与されたメタデータ１２を取得するステップである。メタデータ取得ステップＳ２０では、ユーザＵがコンテンツ１０を視聴する際に、メタデータ取得手段３２に対して、コンテンツ１０のシーンごとに付与されたメタデータ１２およびシーン放送時間が入力され、当該メタデータ取得手段３２から反応判定手段３３に対して、メタデータ１２およびシーン放送時間が出力される。
【００６９】
＜反応判定処理ステップ＞
反応判定ステップＳ３０は、反応判定手段３３によって、ユーザＵの状態変化およびメタデータ１２を用いてユーザＵの反応を判定するステップである。反応判定ステップＳ３０では、状態変化検出手段３１から反応判定手段３３に対して、コンテンツ１０視聴中におけるユーザＵの状態変化および撮像時間が入力され、メタデータ取得手段３２から反応判定手段３３に対して、メタデータ１２およびシーン放送時間が入力される。そして、反応判定手段３３によって、ユーザＵの状態変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点でユーザＵが視聴していたシーンに付与されたメタデータ１２が定義する反応を、シーンに対してユーザＵが示した反応として判定し、これをユーザ反応推定情報として格納装置５０に出力する。
【００７０】
このような手順を行なうユーザ反応推定方法は、コンテンツ１０のシーンに対して示すことが予想されるユーザＵの反応がシーンごとにメタデータ１２として明確に付与されているため、複雑な処理を行うことなく、ユーザＵの反応を的確に推定することができる。また、コンテンツ１０視聴中におけるユーザＵのわずかな状態変化であっても推定が可能であるとともに、ユーザＵの状態変化の変化量が所定の閾値を超えるか否かのみを判定すればよいため、推定結果がユーザＵの状態変化の測定精度に依存することがなく、ユーザＵの反応を精度良く推定することができる。さらには、ユーザＵの身体にセンサ類を直接装着する必要がないため、ユーザＵにとって煩雑ではなく、ユーザＵの反応の推定を日常的に行うことができる。
【００７１】
［第２実施形態］
以下、第２実施形態に係るユーザ反応推定装置の構成について、図１および図５を参照しながら詳細に説明する。第２実施形態に係るユーザ反応推定装置は、図１に示す状態変化検出手段３１を、図５に示す状態変化検出手段３４としたこと以外は、前記した第１実施形態に係るユーザ反応推定装置３０と同様の構成を備えている。従って、前記したユーザ反応推定装置３０と重複する構成については、図示および説明を省略する。
【００７２】
＜状態変化検出手段＞
第２実施形態に係るユーザ反応推定装置が備える状態変化検出手段３４は、図５に示すように、視線位置取得手段３４ａと、視線位置変化算出手段３４ｂと、を備えている。
【００７３】
視線位置取得手段３４ａは、コンテンツ１０視聴中におけるユーザＵの画像データから、ユーザＵの視線位置データを取得するものである。視線位置取得手段３４ａは、図５に示すように、撮像装置４０（図１参照）からコンテンツ１０視聴中におけるユーザＵの画像データおよび撮像時間（図示省略）が入力されると、当該画像データから矩形等の形でユーザＵの両目の領域を認識して視線位置データを抜き出し、この視線位置データおよび撮像時間（図示省略）を視線位置変化算出手段３４ｂに出力する。また同時に、視線位置取得手段３４ａは、前記した画像データからユーザＵの顔の大きさＡを抜き出して視線位置変化算出手段３４ｂに出力する（図示省略）。なお、ユーザＵの画像データから視線位置データおよびユーザＵの顔の大きさＡを抜き出す方法は、従来周知の方法を用いればよい。
【００７４】
視線位置変化算出手段３４ｂは、コンテンツ１０視聴中におけるユーザＵの視線位置データおよびユーザＵの顔の大きさＡから、その視線位置変化を算出するものである。視線位置変化算出手段３４ｂは、本実施形態では、視線位置データを画像データ上での方向（視線ベクトル）とみなし、ユーザＵの現在の視線ベクトルと、ユーザＵの過去の視線ベクトルと、の差の長さ（視線ベクトルの変化量）から求める。具体的には、ユーザＵの両目の白色領域の重心位置（ｘｗ，ｙｗ）と、肌色および白色領域を除いた画素、すなわち瞳孔および虹彩領域が主となる部分の画素の重心位置（ｘｉ，ｙｉ）と、を算出し、各重心位置が成すベクトルを視線ベクトルとし、このベクトルを画像上におけるユーザＵの顔の大きさＡに基づいて正規化したベクトルを視線位置データとして利用する。なお、視線位置変化算出手段３４ｂは、ユーザＵの現在および過去の視線位置データを保持するための図示しない記憶手段を備えている。
【００７５】
視線位置変化算出手段３４ｂは、図５に示すように、視線位置取得手段３４ａからユーザＵの視線位置データおよびユーザＵの顔の大きさＡが入力されると、視線位置データからユーザＵの両目の白色領域の現在の重心位置（ｘｗｃ，ｙｗｃ）、瞳孔および虹彩領域が主となる部分の画素の現在の重心位置（ｘｉｃ，ｙｉｃ）、白色領域の過去の重心位置（ｘｗｐ，ｙｗｐ）、瞳孔および虹彩領域が主となる部分の画素の過去の重心位置（ｘｉｐ，ｙｉｐ）、を抽出する。そして、視線位置変化算出手段３４ｂは、下記式（３）によって、ユーザＵの視線位置変化Ｍ１を算出し、図５に示すように、当該視線位置変化Ｍ１および撮像時間（図示省略）を反応判定手段３３に出力する。
【００７６】
【数３】
【００７７】
このように算出した視線位置変化Ｍ１は、コンテンツ１０を視聴したユーザＵの視線位置の変化量、すなわちコンテンツ１０に対するユーザＵの動揺度合いを示している。
【００７８】
第２実施形態に係るユーザ反応推定装置は、このような構成を備えることで、コンテンツ１０視聴中におけるユーザＵの視線の位置変化の変化量が所定の閾値を超えるか否かを判定することで、ユーザＵの身体にセンサ類を直接装着することなく、ユーザＵの反応を精度良く的確に行うことができる。
【００７９】
［第３実施形態］
以下、第３実施形態に係るユーザ反応推定装置の構成について、図１および図６を参照しながら詳細に説明する。第３実施形態に係るユーザ反応推定装置は、図１に示す状態変化検出手段３１を、図６に示す状態変化検出手段３５としたこと以外は、前記した第１実施形態に係るユーザ反応推定装置３０と同様の構成を備えている。従って、前記したユーザ反応推定装置３０と重複する構成については、図示および説明を省略する。
【００８０】
＜状態変化検出手段＞
第３実施形態に係るユーザ反応推定装置が備える状態変化検出手段３５は、図６に示すように、頭部位置取得手段３５ａと、頭部位置変化算出手段３５ｂと、を備えている。
【００８１】
頭部位置取得手段３５ａは、コンテンツ１０視聴中におけるユーザＵの画像データから、ユーザＵの頭部位置データを取得するものである。頭部位置取得手段３５ａは、図６に示すように、撮像装置４０（図１参照）からコンテンツ１０視聴中におけるユーザＵの画像データおよび撮像時間（図示省略）が入力されると、当該画像データからユーザＵの頭部領域を認識して頭部位置データを抜き出し、この頭部位置データおよび撮像時間（図示省略）を頭部位置変化算出手段３５ｂに出力する。なお、ユーザＵの画像データから頭部位置データを抜き出す方法は、従来周知の方法を用いればよい。
【００８２】
頭部位置変化算出手段３５ｂは、コンテンツ１０視聴中におけるユーザＵの頭部位置データから、その頭部位置変化を算出するものである。頭部位置変化算出手段３５ｂは、本実施形態では、ユーザＵの頭部の現在の重心位置と、ユーザＵの頭部の過去の重心位置と、の差（移動量）を求めて頭部位置変化として利用する。なお、頭部位置変化算出手段３５ｂは、ユーザＵの複数フレーム分の頭部位置データを保持するための図示しない記憶手段を備えている。
【００８３】
頭部位置変化算出手段３５ｂは、図６に示すように、頭部位置取得手段３５ａからユーザＵの頭部位置データが入力されると、当該頭部位置データからユーザＵの頭部の現在の重心位置（ｘｈｃ，ｙｈｃ）、ユーザＵの頭部の過去の重心位置（ｘｈｐ，ｙｈｐ）、を抽出する。そして、頭部位置変化算出手段３５ｂは、下記式（４）によって、ユーザＵの頭部位置変化Ｍ２を算出し、図６に示すように、当該頭部位置変化Ｍ２および撮像時間（図示省略）を反応判定手段３３に出力する。
【００８４】
【数４】
【００８５】
このように算出した頭部位置変化Ｍ２は、コンテンツ１０を視聴したユーザＵの頭部位置の変化量、すなわちコンテンツ１０に対するユーザＵの動揺度合いを示している。
【００８６】
第３実施形態に係るユーザ反応推定装置は、このような構成を備えることで、コンテンツ１０視聴中におけるユーザＵの頭部の位置変化の変化量が所定の閾値を超えるか否かを判定することで、ユーザＵの身体にセンサ類を直接装着することなく、ユーザＵの反応を精度良く的確に行うことができる。
【００８７】
［第４実施形態］
以下、第４実施形態に係るユーザ反応推定装置の構成について、図１および図７を参照しながら詳細に説明する。第４実施形態に係るユーザ反応推定装置は、図１に示す状態変化検出手段３１を、図７に示す状態変化検出手段３６としたこと以外は、前記した第１実施形態に係るユーザ反応推定装置３０と同様の構成を備えている。従って、前記したユーザ反応推定装置３０と重複する構成については、図示および説明を省略する。
【００８８】
＜状態変化検出手段＞
第４実施形態に係るユーザ反応推定装置が備える状態変化検出手段３６は、図７に示すように、重心位置取得手段３６ａと、重心位置変化算出手段３６ｂと、を備えている。
【００８９】
重心位置取得手段３６ａは、コンテンツ１０視聴中におけるユーザＵの画像データから、ユーザＵの身体の重心位置データを取得するものである。重心位置取得手段３６ａは、図５に示すように、撮像装置４０（図１参照）からコンテンツ１０視聴中におけるユーザＵの画像データおよび撮像時間（図示省略）が入力されると、当該画像データからユーザＵの重心位置を認識して重心位置データを抜き出し、この重心位置データおよび撮像時間（図示省略）を重心位置変化算出手段３６ｂに出力する。なお、ユーザＵの画像データから重心位置データを抜き出す方法は、従来周知の方法を用いればよい。
【００９０】
重心位置変化算出手段３６ｂは、コンテンツ１０視聴中におけるユーザＵの身体の重心位置データから、その重心位置変化を算出するものである。重心位置変化算出手段３６ｂは、本実施形態では、ユーザＵの身体の現在の重心位置と、ユーザＵの身体の過去の重心位置と、の差（移動量）を求めて重心位置変化として利用する。なお、重心位置変化算出手段３６ｂは、ユーザＵの現在および過去の重心位置データを保持するための図示しない記憶手段を備えている。
【００９１】
重心位置変化算出手段３６ｂは、図７に示すように、重心位置取得手段３６ａからユーザＵの身体の重心位置データが入力されると、当該重心位置データからユーザＵの身体の現在の重心位置（ｘｇｃ，ｙｇｃ）、ユーザＵの身体の過去の重心位置（ｘｇｐ，ｙｇｐ）、を抽出する。そして、重心位置変化算出手段３６ｂは、下記式（５）によって、ユーザＵの身体の重心位置変化Ｍ３を算出し、図７に示すように、当該重心位置変化Ｍ３および撮像時間（図示省略）を反応判定手段３３に出力する。
【００９２】
【数５】
【００９３】
このように算出した重心位置変化Ｍ３は、コンテンツ１０を視聴したユーザＵの身体の重心位置の変化量、すなわちコンテンツ１０に対するユーザＵの動揺度合いを示している。
【００９４】
第４実施形態に係るユーザ反応推定装置は、このような構成を備えることで、コンテンツ１０視聴中におけるユーザＵの身体の重心の位置変化の変化量が所定の閾値を超えるか否かを判定することで、ユーザＵの身体にセンサ類を直接装着することなく、ユーザＵの反応を精度良く的確に行うことができる。
【００９５】
［第５実施形態］
以下、第５実施形態に係るユーザ反応推定装置３０’の構成について、図８および図９を参照しながら詳細に説明する。第５実施形態に係るユーザ反応推定装置３０’は、図１に示す撮像装置４０および状態変化検出手段３１を、図８に示す圧力測定装置６０および図９に示す状態変化検出手段３７としたこと以外は、前記した第１実施形態に係るユーザ反応推定装置３０と同様の構成を備えている。従って、前記したユーザ反応推定装置３０と重複する構成については、説明を省略する。
【００９６】
＜圧力測定装置＞
圧力測定装置６０は、コンテンツ１０視聴中におけるユーザＵの体重による圧力を測定するものである。すなわち、圧力測定装置６０は、ユーザＵの状態を検出するための状態検出装置として機能する。圧力測定装置６０の具体例としては、ユーザＵが上に乗ることができる圧力センサ等が挙げられる。圧力測定装置６０は、図９に示すように、ユーザＵの体重による圧力の測定データと、当該圧力を測定した時間（図示省略、以下「測定時間」という）と、を状態変化検出手段３７に出力する。
【００９７】
＜状態変化検出手段＞
第５実施形態に係るユーザ反応推定装置３０’が備える状態変化検出手段３７は、図９に示すように、重心位置取得手段３７ａと、重心位置変化算出手段３７ｂと、を備えている。
【００９８】
重心位置取得手段３７ａは、コンテンツ１０視聴中におけるユーザＵの体重による圧力の測定データから、身体の重心位置データを取得するものである。重心位置取得手段３７ａは、図９に示すように、圧力測定装置６０（図８参照）からコンテンツ１０視聴中におけるユーザＵの体重による圧力の測定データおよび測定時間（図示省略）が入力されると、当該測定データからユーザＵの身体の重心位置データを算出し、この重心位置データおよび測定時間（図示省略）を重心位置変化算出手段３７ｂに出力する。なお、ユーザＵの体重による圧力の測定データから身体の重心位置データを算出する方法は、従来周知の方法を用いればよい。
【００９９】
重心位置変化算出手段３７ｂは、コンテンツ１０視聴中におけるユーザＵの身体の重心位置データから、その重心位置変化を算出するものである。重心位置変化算出手段３７ｂは、本実施形態では、ユーザＵの身体の現在の重心位置と、ユーザＵの身体の過去の重心位置と、の差（移動量）を求めて重心位置変化として利用する。なお、重心位置変化算出手段３７ｂは、ユーザＵの現在および過去の重心位置データを保持するための図示しない記憶手段を備えている。
【０１００】
重心位置変化算出手段３７ｂは、図９に示すように、重心位置取得手段３７ａからユーザＵの身体の重心位置データが入力されると、当該重心位置データからユーザＵの身体の現在の重心位置（ｘｐｃ，ｙｐｃ）、ユーザＵの身体の過去の重心位置（ｘｐｐ，ｙｐｐ）、を抽出する。そして、重心位置変化算出手段３７ｂは、下記式（６）によって、ユーザＵの身体の重心位置変化Ｍ４を算出し、図９に示すように、当該重心位置変化Ｍ４および測定時間（図示省略）を反応判定手段３３に出力する。
【０１０１】
【数６】
【０１０２】
このように算出した重心位置変化Ｍ４は、コンテンツ１０を視聴したユーザＵの身体の重心位置の変化量、すなわちコンテンツ１０に対するユーザＵの動揺度合いを示している。
【０１０３】
第５実施形態に係るユーザ反応推定装置３０’は、このような構成を備えることで、コンテンツ１０視聴中におけるユーザＵの重心の位置変化の変化量が所定の閾値を超えるか否かを判定することで、ユーザＵの身体にセンサ類を直接装着することなく、ユーザＵの反応を精度良く的確に行うことができる。
【０１０４】
以上、複数の実施形態により本発明に係るユーザ反応推定装置について説明したが、さらに以下のような変更、改変も可能である。
【０１０５】
例えば、メタデータ１２は、図１に示すようにコンテンツ１０の各シーンに予め付与されるのではなく、例えば、コンテンツ提供装置２０によるコンテンツ１０の提供中または提供後に、各シーンに付与しても良い。この場合、コンテンツ１０の提供中または提供後に、図１に示す反応判定手段３３に対して、放送局側またはユーザＵ側からネットワーク経由等でメタデータ１２を付与する方法等を用いることができる。
【０１０６】
このような構成を備えるユーザ反応推定装置は、コンテンツ１０の各シーンに対して予めメタデータ１２を付与する必要がないため、より簡単にユーザＵの反応を推定することができる。また、ユーザＵがライブ番組等の予めメタデータ１２を付与することが難しいコンテンツ１０を視聴した場合であっても、その反応を推定することができる。
【０１０７】
また、前記した各実施形態に係るユーザ反応推定装置では、メタデータ１２に定義された反応をユーザＵの反応として直接判定しているが、メタデータ１２に定義された反応を直接用いずに推定することも可能である。例えば、図１に示すシーン２に「爆笑」というメタデータ１２が付与されていた場合に、図示しない同意語データベースによって同意語を検索し、ユーザＵが「笑っている」と推定することもできる。
【０１０８】
また、前記した各実施形態に係るユーザ反応推定装置では、ユーザＵの状態変化を表情変化、視線位置変化、頭部位置変化、重心位置変化等の状態変化を一つだけ用いてユーザＵの反応を推定しているが、複数の状態変化を用いてユーザＵの反応を推定してもよい。この場合は、例えばユーザＵの表情変化と重心位置変化を併用し、適当な評価関数を定義してユーザＵの反応を多面的に推定することができる。
【０１０９】
また、ユーザＵの表情変化と重心位置変化を併用するとともに、それぞれについて閾値を超えたか否かを判定し、ユーザＵの表情変化と重心位置変化のいずれかが閾値を超えた場合に、メタデータ１２が定義する反応をユーザＵの反応として推定することができる。例えば、閾値の具体的数値が０．５の場合に、ユーザＵの表情変化の具体的数値が０．３であり、重心位置変化の具体的数値が０．８であれば、閾値を超えたと判定する。
【０１１０】
また、前記した各実施形態に係るユーザ反応推定装置では、閾値処理を行うことでユーザＵの反応を推定しているが、例えば、閾値処理を行わず、状態変化検出手段によって検出したユーザＵの状態変化をユーザＵの反応の度合いとして直接用いることもできる。例えば、前記した第１実施形態に係るユーザ反応推定装置３０を例に挙げると、仮に図１に示すシーン２の時点におけるユーザＵの表情変化Ｍを、ユーザＵがシーン２を視聴して笑っている度合いとして直接用いることもできる。
【符号の説明】
【０１１１】
１０ コンテンツ
１１ 映像、音声
１２ メタデータ
２０ コンテンツ提供装置
３０ ユーザ反応推定装置
３０’ ユーザ反応推定装置
３１ 状態変化検出手段
３１ａ 表情取得手段
３１ｂ 表情変化算出手段
３２ メタデータ取得手段
３３ 反応判定手段
３３ａ 比較手段
３３ｂ 閾値格納手段
３３ｃ 反応抽出手段
３４ 状態変化検出手段
３４ａ 視線位置取得手段
３４ｂ 視線位置変化算出手段
３５ 状態変化検出手段
３５ａ 頭部位置取得手段
３５ｂ 頭部位置変化算出手段
３６ 状態変化検出手段
３６ａ 重心位置取得手段
３６ｂ 重心位置変化算出手段
３７ 状態変化検出手段
３７ａ 重心位置取得手段
３７ｂ 重心位置変化算出手段
４０ 撮像装置
５０ 格納装置
６０ 圧力測定装置
１００ ユーザ反応推定システム
２００ ユーザ反応推定システム
Ｓ１０ 状態変化検出ステップ
Ｓ２０ メタデータ取得ステップ
Ｓ３０ 反応判定ステップ
Ｕ ユーザ
【技術分野】
【０００１】
本発明は、映像、音声等のコンテンツに対するユーザの反応を推定するユーザ反応推定装置、ユーザ反応推定方法およびユーザ反応推定プログラムに関する。
【背景技術】
【０００２】
これまで、映像、音声等のコンテンツを視聴するユーザ（視聴者）の顔画像から、その表情を分類認識する技術が多く提案されている。また、コンテンツに対するユーザの反応については、前記したユーザの表情や脳波、心拍数等の観察、あるいは視線の動き等の情報から、ユーザがコンテンツのどのシーンに興味を持っているのかを推定する生理学的な推定方法が試みられている。
【０００３】
例えば、特許文献１では、コンテンツを視聴する視聴者に生起すると期待される感情を示す感情期待値情報と、コンテンツを視聴する際に視聴者に生起する感情を示す感情情報と、を取得し、これらを比較することでコンテンツの視聴質を判定することが提案されている。なお、ここでの感情期待値情報とは、コンテンツの編集内容から生成される情報であり、感情情報とは、視聴者の脳波、皮膚電気抵抗値、皮膚コンダクタンス、皮膚温度、心電図周波数、心拍数、脈拍、体温、筋電、顔画像、音声等の生体情報から生成される情報を示している。
【０００４】
また、特許文献２では、再生コンテンツに対しての視聴者の反応を示す視聴者反応データと、画面操作履歴の情報を含む再生コンテンツについての視聴データと、を収集してこれらを時間同期させて統合することで、視聴質データを生成することが提案されている。なお、ここでの視聴者反応データとは、人物の表情、視線パターン（注視方向）、目の瞳孔直径、瞬き、顔部の向き、笑い声、体温、心拍数、利用者識別ＩＤ等のセンシングデータおよび認識データを示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２０５８６１号公報
【特許文献２】特開２００５−１４２９７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に係る発明は、音楽（ＢＧＭ）、効果音、映像ショットおよびカメラワークといったコンテンツの編集内容から感情期待値を決定する必要があるため、処理が複雑になって感情期待値の決定が困難であるという問題があった。また、特許文献１に係る発明は、視聴質の判定精度が感情期待値情報および感情情報（生体情報）の測定精度に依存するという問題があった。
【０００７】
そして、特許文献２に係る発明も、視聴質データの生成結果が各種センシングに基づくセンシングデータおよび認識データの測定精度に依存するという問題があった。
【０００８】
また、特許文献１および特許文献２に係る発明で用いられる顔画像認識では、認識可能な表情が大きな表情変化の場合に限定される、複雑な表情を認識することができない、個人差によって誤差が生じる、といった問題があった。さらに、前記したような生体情報、センシングデータおよび認識データ等の生理学的手法を用いるためには、視聴者の身体にセンサ類を直接装着する必要があるため、日常的に利用するには煩雑であるという問題があった。
【０００９】
本発明はかかる点に鑑みてなされたものであって、ユーザの身体にセンサ類を直接装着することなく、少ない機材によってコンテンツに対するユーザの反応を精度良く的確に推定することができるユーザ反応推定装置、ユーザ反応推定方法およびユーザ反応推定プログラムを提供することを課題とする。
【課題を解決するための手段】
【００１０】
前記課題を解決するために請求項１に係るユーザ反応推定装置は、シーンごとにメタデータが付与されたコンテンツをユーザに提供するコンテンツ提供装置と前記ユーザの状態を検出する状態検出装置とを用いて、前記コンテンツ提供装置から前記ユーザに提供された前記コンテンツの各シーンに対する前記ユーザの反応を推定するユーザ反応推定装置であって、前記メタデータは、対応する前記シーンに対して前記ユーザが示すことが期待される前記ユーザの反応を定義したものであり、前記ユーザが前記コンテンツを視聴しているときに前記状態検出装置で検出された前記ユーザの状態から、当該ユーザの状態変化を検出する状態変化検出手段と、前記ユーザが前記コンテンツを視聴しているときに、当該コンテンツから前記メタデータを取得するメタデータ取得手段と、前記状態変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定する反応判定手段と、を備える構成とした。
【００１１】
このような構成によれば、ユーザ反応推定装置は、コンテンツのシーンごとにユーザの反応を定義するメタデータが付与されているため、ユーザの状態変化の変化量が所定の閾値を超えた場合に、その時点で当該ユーザが視聴していたシーンに付与されたメタデータが定義する反応をユーザの反応として推定することができる。
【００１２】
また、請求項２に係るユーザ反応推定装置は、前記状態検出装置が、前記ユーザを撮像するための撮像装置であり、前記状態変化検出手段が、前記撮像装置で撮像された画像データから、画像処理によって前記ユーザの顔の表情変化を検出し、前記反応判定手段が、前記ユーザの顔の表情変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定する構成とした。
【００１３】
このような構成によれば、ユーザ反応推定装置は、ユーザの顔の表情変化の変化量が所定の閾値を超えた場合に、その時点で当該ユーザが視聴していたシーンに付与されたメタデータが定義する反応をユーザの反応として推定することができる。
【００１４】
また、請求項３に係るユーザ反応推定装置は、前記状態検出装置が、前記ユーザを撮像するための撮像装置であり、前記状態変化検出手段が、前記撮像装置で撮像された画像データから、画像処理によって前記ユーザの視線の位置変化を検出し、前記反応判定手段が、前記ユーザの視線の位置変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定する構成とした。
【００１５】
このような構成によれば、ユーザ反応推定装置は、ユーザの視線の位置変化の変化量が所定の閾値を超えた場合に、その時点で当該ユーザが視聴していたシーンに付与されたメタデータが定義する反応をユーザの反応として推定することができる。
【００１６】
また、請求項４に係るユーザ反応推定装置は、前記状態検出装置が、前記ユーザを撮像するための撮像装置であり、前記状態変化検出手段が、前記撮像装置で撮像された画像データから、画像処理によって前記ユーザの頭部の位置変化を検出し、前記反応判定手段が、前記ユーザの頭部の位置変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定する構成とした。
【００１７】
このような構成によれば、ユーザ反応推定装置は、ユーザの頭部位置変化の変化量が所定の閾値を超えた場合に、その時点で当該ユーザが視聴していたシーンに付与されたメタデータが定義する反応をユーザの反応として推定することができる。
【００１８】
また、請求項５に係るユーザ反応推定装置は、前記状態検出装置が、前記ユーザを撮像するための撮像装置であり、前記状態変化検出手段が、前記撮像装置で撮像された画像データから、画像処理によって前記ユーザの身体の重心の位置変化を検出し、前記反応判定手段が、前記ユーザの身体の重心の位置変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定する構成とした。
【００１９】
このような構成によれば、ユーザ反応推定装置は、ユーザの身体の重心位置変化の変化量が所定の閾値を超えた場合に、その時点で当該ユーザが視聴していたシーンに付与されたメタデータが定義する反応をユーザの反応として推定することができる。
【００２０】
また、請求項６に係るユーザ反応推定装置は、前記状態検出装置が、前記ユーザの体重による圧力から、当該ユーザの身体の重心位置を測定するための圧力測定装置であり、前記状態変化検出手段が、前記圧力測定装置で測定された測定データから、前記ユーザの身体の重心の位置変化を検出し、前記反応判定手段が、前記ユーザの身体の重心の位置変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定する構成とした。
【００２１】
このような構成によれば、ユーザ反応推定装置は、ユーザの身体の重心位置変化の変化量が所定の閾値を超えた場合に、その時点で当該ユーザが視聴していたシーンに付与されたメタデータが定義する反応をユーザの反応として推定することができる。
【００２２】
また、請求項７に係るユーザ反応推定装置は、前記メタデータが、前記コンテンツ提供装置による前記コンテンツの提供中または提供後に、前記シーンに付与される構成とした。
【００２３】
このような構成によれば、ユーザ反応推定装置は、コンテンツに予めメタデータを付与する必要がないため、コンテンツからメタデータを取得する処理を省略することができる。
【００２４】
さらに、請求項８に係るユーザ反応推定方法は、シーンごとにメタデータが付与されたコンテンツの各シーンに対する前記ユーザの反応を推定するユーザ反応推定方法であって、前記メタデータが、対応する前記シーンに対して前記ユーザが示すことが期待される前記ユーザの反応を定義したものであり、状態変化検出手段によって、前記ユーザが前記コンテンツを視聴しているときの前記ユーザの状態から、当該ユーザの状態変化を検出するステップと、メタデータ取得手段によって、前記ユーザが前記コンテンツを視聴しているときに、当該コンテンツから前記メタデータを取得するステップと、反応判定手段によって、前記状態変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定するステップと、を行う手順とした。
【００２５】
このような手順によれば、ユーザ反応推定方法は、コンテンツのシーンごとにユーザの反応を定義するメタデータが付与されているため、ユーザの状態変化の変化量が所定の閾値を超えた場合に、その時点で当該ユーザが視聴していたシーンに付与されたメタデータが定義する反応をユーザの反応として推定することができる。
【００２６】
そして、請求項９に係るユーザ反応推定プログラムは、対応するシーンに対してユーザが示すことが期待されるユーザの反応を定義したメタデータがシーンごとに付与されたコンテンツを前記ユーザに提供するコンテンツ提供装置と前記ユーザの状態を検出する状態検出装置とを用いて、前記コンテンツ提供装置から前記ユーザに提供された前記コンテンツの各シーンに対する前記ユーザの反応を推定するために、コンピュータを、前記ユーザが前記コンテンツを視聴しているときに前記状態検出装置で検出された前記ユーザの状態から、当該ユーザの状態変化を検出する状態変化検出手段、前記ユーザが前記コンテンツを視聴しているときに、当該コンテンツから前記メタデータを取得するメタデータ取得手段、前記状態変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定する反応判定手段、として機能させる構成とした。
【００２７】
このような構成によれば、ユーザ反応推定プログラムは、コンテンツのシーンごとにユーザの反応を定義するメタデータが付与されているため、ユーザの状態変化の変化量が所定の閾値を超えた場合に、その時点で当該ユーザが視聴していたシーンに付与されたメタデータが定義する反応をユーザの反応として推定することができる。
【発明の効果】
【００２８】
請求項１、請求項８および請求項９に係る発明によれば、コンテンツのシーンに対して示すことが予想されるユーザの反応が、シーンごとにメタデータとして明確に付与されているため、複雑な処理を行うことなく、ユーザの反応を的確に推定することができる。また、コンテンツ視聴中におけるユーザのわずかな状態変化であっても推定が可能であるとともに、ユーザの状態変化の変化量が所定の閾値を超えるか否かのみを判定すればよいため、推定結果がユーザの状態変化の測定精度に依存することがなく、ユーザの反応を精度良く推定することができる。さらには、ユーザの身体にセンサ類を直接装着する必要がないため、ユーザにとって煩雑ではなく、コンテンツに対するユーザの反応の推定を日常的に行うことができる。
【００２９】
請求項２に係る発明によれば、コンテンツ視聴中におけるユーザの顔の表情変化の変化量が所定の閾値を超えるか否かを判定することで、ユーザの身体にセンサ類を直接装着することなく、ユーザの反応を精度良く的確に行うことができる。
【００３０】
請求項３に係る発明によれば、コンテンツ視聴中におけるユーザの視線の位置変化の変化量が所定の閾値を超えるか否かを判定することで、ユーザの身体にセンサ類を直接装着することなく、ユーザの反応を精度良く的確に行うことができる。
【００３１】
請求項４に係る発明によれば、コンテンツ視聴中におけるユーザの頭部の位置変化の変化量が所定の閾値を超えるか否かを判定することで、ユーザの身体にセンサ類を直接装着することなく、ユーザの反応を精度良く的確に行うことができる。
【００３２】
請求項５および請求項６に係る発明によれば、コンテンツ視聴中におけるユーザの身体の重心位置変化の変化量が所定の閾値を超えるか否かを判定することで、ユーザの身体にセンサ類を直接装着することなく、ユーザの反応を精度良く的確に行うことができる。
【００３３】
請求項７に係る発明によれば、コンテンツの各シーンに対して予めメタデータを付与する必要がないため、より簡単にユーザの反応を推定することができる。また、ユーザがライブ番組等の予めメタデータを付与することが難しいコンテンツを視聴した場合であっても、その反応を推定することができる。
【図面の簡単な説明】
【００３４】
【図１】本発明に係るユーザ反応推定装置の全体構成を示すブロック図である。
【図２】実施形態１に係るユーザ反応推定装置における状態変化検出手段の具体的構成を示すブロック図である。
【図３】第１実施形態に係るユーザ反応推定装置における反応判定手段の具体的構成を示すブロック図である。
【図４】本発明に係るユーザ反応推定装置の全体動作を示すフローチャートである。
【図５】第２実施形態に係るユーザ反応推定装置における状態変化検出手段の具体的構成を示すブロック図である。
【図６】第３実施形態に係るユーザ反応推定装置における状態変化検出手段の具体的構成を示すブロック図である。
【図７】第４実施形態に係るユーザ反応推定装置における状態変化検出手段の具体的構成を示すブロック図である。
【図８】第５実施形態に係るユーザ反応推定装置の全体構成を示すブロック図である。
【図９】第５実施形態に係るユーザ反応推定装置における状態変化検出手段の具体的構成を示すブロック図である。
【発明を実施するための形態】
【００３５】
本発明の実施形態に係るユーザ反応推定装置、ユーザ反応推定方法およびユーザ反応推定プログラムについて、図面を参照しながら説明する。なお、以下の説明において、同一の名称、符号については、原則として同一の構成を示しており、詳細説明を適宜省略する。
【００３６】
［第１実施形態］
以下、第１実施形態に係るユーザ反応推定装置３０の構成について、図１を参照しながら詳細に説明する。なお、以下の説明では、ユーザ反応推定装置３０を含むユーザ反応推定システム１００全体の構成を説明しながら、その中のユーザ反応推定装置３０について説明することとする。
【００３７】
ユーザ反応推定システム１００は、コンテンツ１０の映像、音声１１に対するユーザＵの反応を推定するためのシステムである。ユーザ反応推定システム１００は、ここでは図１に示すように、コンテンツ１０と、コンテンツ提供装置２０と、ユーザ反応推定装置３０と、格納装置５０と、を備えている。
【００３８】
コンテンツ１０は、ディレクター等のコンテンツ制作者によって制作される映像、音声、文字等の創作物である。コンテンツ１０の具体例としては、地上デジタル放送等でリアルタイムに放送される映画やドラマ等が挙げられる。コンテンツ１０は、ここでは図１に示すように、映像、音声１１と、メタデータ１２と、から構成される。
【００３９】
映像、音声１１は、コンテンツ１０の具体的な内容である。映像、音声１１は、ここでは図１に示すように、その内容ごとにシーン１〜シーン４の複数のシーンから構成されている。映像、音声１１には、図１に示すように、これらのシーンごとにメタデータ１２が付与され、それぞれのシーンとメタデータ１２とが対応付けられている。また、映像、音声１１は、図１に示すように、コンテンツ提供装置２０を介してユーザＵに提供される。
【００４０】
メタデータ１２は、コンテンツ１０の映像、音声１１に対して付与されるデータである。メタデータ１２は、ここでは図１に示すように、対応するシーンに対してユーザＵが示すことが期待されるユーザＵの反応を定義するものであり、より詳しくは、各シーンに対するコンテンツ制作者の演出意図、すなわちコンテンツ制作者がコンテンツ１０の映像、音声１１の各シーンを通じて誘導したいと考えるユーザＵの反応を定義したものである。従って、メタデータ１２は、主にコンテンツ制作者によってコンテンツ１０に付与されることになる。
【００４１】
ここで、例えば、コンテンツ１０の映像、音声１１が、図１に示すように「導入部」のシーン、「コミカル」のシーン、「アクション」のシーン、「主役の死」のシーン、という４つのシーンから構成されるドラマであるとする。この場合、コンテンツ制作者がシーン１の「導入部」のシーンを視聴したユーザＵに対して、物語に興味を持って欲しいと考えて演出を行った場合、シーン１には、図１に示すように「物語に興味」という反応を定義するメタデータ１２が付与される。
【００４２】
同じように、コンテンツ制作者がシーン２の「コミカル」のシーンを視聴したユーザＵに対して、笑って欲しいと考えて演出を行った場合、シーン２には、図１に示すように「笑い」という反応を定義するメタデータ１２が付与される。また、コンテンツ制作者がシーン３の「アクション」のシーンを視聴したユーザＵに対して、ドキドキ、ワクワクして欲しいと考えて演出を行った場合、シーン３には、図１に示すように「ドキドキ、ワクワク」という反応を定義するメタデータ１２が付与される。また、コンテンツ制作者がシーン４の「主役の死」のシーンを視聴したユーザＵに対して、悲しんで欲しいと考えて演出を行った場合、シーン４には、図１に示すように「悲しみ」という反応を定義するメタデータ１２が付与される。
【００４３】
メタデータ１２は、図１に示すように、ユーザＵがコンテンツ１０の映像、音声１１を視聴する際に、当該メタデータ１２が対応付けられたシーンが放送された時間（図示省略、以下「シーン放送時間」という）とともに、メタデータ取得手段３２に出力される。
【００４４】
コンテンツ提供装置２０は、ユーザＵに対してコンテンツ１０の映像、音声１１を提供するものである。コンテンツ提供装置２０は、具体的には、テレビ受像機、パソコンのディスプレイ等が挙げられる。コンテンツ提供装置２０には、図１に示すように、コンテンツ１０の映像、音声１１が入力される。なお、本実施形態では、コンテンツ１０が地上デジタル放送等の放送波としてコンテンツ提供装置２０に入力され、リアルタイムでユーザＵに提供されることを想定しているが、例えば、コンテンツ提供装置２０内部に記憶手段を設けてコンテンツ１０を予め記憶し、当該コンテンツ１０を読み出してユーザＵに提供される構成としても構わない。
【００４５】
ユーザ反応推定装置３０は、コンテンツ提供装置２０からユーザＵに提供されたコンテンツ１０の映像、音声１１の各シーンに対するユーザＵの反応を推定するものである。ユーザ反応推定装置３０は、ここでは図１に示すように、状態変化検出手段３１と、メタデータ取得手段３２と、反応判定手段３３と、を備えている。
【００４６】
状態変化検出手段３１は、撮像装置４０によって撮像されたユーザＵの状態から、コンテンツ１０視聴中におけるユーザＵの状態変化を検出するものである。本実施形態において、ユーザＵの状態および状態変化とは、後記するように、コンテンツ１０視聴中におけるユーザＵの画像データおよびユーザＵの表情変化のことを示している。状態変化検出手段３１には、図１に示すように、撮像装置４０からコンテンツ１０視聴中におけるユーザＵの状態と、当該ユーザＵの状態を撮像した時間（図示省略、以下「撮像時間」という）と、が入力される。そして、状態変化検出手段３１は、ユーザＵの状態変化を算出し、図１に示すように、当該ユーザＵの状態変化および撮像時間（図示省略）を反応判定手段３３に出力する。なお、状態変化検出手段３１の具体的構成および具体的処理手順については後記する。
【００４７】
メタデータ取得手段３２は、コンテンツ１０から、各シーンに付与されたメタデータ１２を取得するものである。メタデータ取得手段３２は、具体的には、前記したようにコンテンツ１０が地上デジタル放送等の放送波としてリアルタイムでユーザＵに提供される場合は、当該放送波として伝達されるコンテンツ１０からメタデータ１２を取得する。また、コンテンツ１０がコンテンツ提供装置２０内部の記憶手段からユーザＵに提供される場合は、コンテンツ提供装置２０内部の記憶手段に記録されたコンテンツ１０からメタデータ１２を取得する。なお、メタデータ取得手段３２は、前記した放送波のみならず、インターネット上からメタデータ１２を取得することもできる。
【００４８】
メタデータ取得手段３２には、図１に示すように、ユーザＵがコンテンツ１０を視聴するときに、コンテンツ１０のシーンごとに付与されたメタデータ１２およびシーン放送時間（図示省略）が入力される。そして、メタデータ取得手段３２は、図１に示すように、メタデータ１２およびシーン放送時間（図示省略）を反応判定手段３３に出力する。
【００４９】
反応判定手段３３は、ユーザＵの状態変化およびメタデータ１２を用いてユーザＵの反応を判定するものである。反応判定手段３３には、図１に示すように、状態変化検出手段３１からコンテンツ１０視聴中におけるユーザＵの状態変化および撮像時間（図示省略）が入力される。また同時に、反応判定手段３３には、図１に示すように、メタデータ取得手段３２からメタデータ１２およびシーン放送時間（図示省略）が入力される。
【００５０】
そして、反応判定手段３３は、ユーザＵの状態変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点でユーザＵが視聴していたシーンに付与されたメタデータ１２が定義する反応を、シーンに対してユーザＵが示した反応として判定し、これをユーザ反応推定情報として格納装置５０に出力する。なお、反応判定手段３３の具体的構成および具体的処理手順については後記する。
【００５１】
撮像装置４０は、コンテンツ１０視聴中におけるユーザＵの状態を撮像するためのものである。言い換えれば、撮像装置４０は、ユーザＵの状態を検出するための状態検出装置である。撮像装置４０の具体例としては、例えば、カメラ、ビデオカメラ、ｗｅｂカメラ等が挙げられる。撮像装置４０は、図１に示すように、ユーザＵを撮像して取得したユーザＵの状態および撮像時間（図示せず）を状態変化検出手段３１に出力する。なお、以下の説明では、撮像装置４０はコンテンツ提供装置２０の例えば上部に設置されたｗｅｂカメラであり、かつ、ユーザＵの顔が撮像装置４０およびコンテンツ提供装置２０に対して正対していると仮定して説明する。
【００５２】
格納装置５０は、ユーザＵの反応を推定した情報であるユーザ反応推定情報を格納するためのものである。格納装置５０の具体例としては、例えば、メモリ、ハードディスク等が挙げられる。格納装置５０には、図１に示すように、反応判定手段３３からユーザ反応推定情報が入力される。このように格納装置５０に格納されたユーザ反応推定情報は、例えばユーザＵが興味を持つジャンルの判定や、ユーザＵに対して次に視聴する番組を推薦、あるいは提案を行う際に利用することができる。また、ユーザ反応推定情報は、家庭用のゲームや、デジタルサイネージ（digital Signage：電子看板）等にも広く応用することができる。
【００５３】
＜状態変化検出手段＞
以下、前記した状態変化検出手段３１の具体的構成および具体的処理手順について、図２を参照しながら詳細に説明する。状態変化検出手段３１は、ここでは図２に示すように、表情取得手段３１ａと、表情変化算出手段３１ｂと、を備えている。
【００５４】
表情取得手段３１ａは、コンテンツ１０視聴中におけるユーザＵの画像データから、ユーザＵの表情データを取得するものである。表情取得手段３１ａは、図２に示すように、撮像装置４０（図１参照）からコンテンツ１０視聴中におけるユーザＵの画像データおよび撮像時間（図示省略）が入力されると、当該画像データからユーザＵの顔の領域を認識して表情データを抜き出し、この表情データおよび撮像時間（図示省略）をリアルタイムで表情変化算出手段３１ｂに出力する。なお、ユーザＵの画像データから表情データを抜き出す方法は、従来周知の方法を用いればよい。
【００５５】
表情変化算出手段３１ｂは、コンテンツ１０視聴中におけるユーザＵの表情データから、その表情変化を算出するものである。表情変化算出手段３１ｂは、本実施形態では、ユーザＵの顔の現在の特徴点の重心位置からの距離と、ユーザＵの顔の過去の特徴点の重心位置からの距離と、の差を求め、当該差の２乗総和値を一定時間積分することで、ユーザＵの表情変化を算出する。なお、表情変化算出手段３１ｂは、ユーザＵの現在および過去の表情データを保持するための図示しない記憶手段を備えている。
【００５６】
表情変化算出手段３１ｂは、図２に示すように、表情取得手段３１ａからユーザＵの表情データが入力されると、当該表情データからユーザＵの顔の大きさＡ、特徴点、特徴点の数ｍ、現在のｎ番目の特徴点と顔の重心位置との距離Ｌｎ１、過去のｎ番目の特徴点と顔の重心位置との距離Ｌｎ２、を抽出する。なお、前記したユーザＵの顔の大きさＡは、画像上におけるユーザＵの顔の縦方向の画素数である。そして、表情変化算出手段３１ｂは、下記式（１）によって、ユーザＵの表情変化Ｍを算出し、図２に示すように、当該表情変化Ｍおよび撮像時間（図示省略）を反応判定手段３３に出力する。
【００５７】
【数１】
【００５８】
このように算出した表情変化Ｍは、コンテンツ１０を視聴したユーザＵの表情の変化、すなわちコンテンツ１０に対するユーザＵの動揺度合いを示している。なお、ユーザＵの表情変化Ｍとして、下記式（２）のように、ユーザＵの顔の現在の特徴点の重心位置からの距離と、ユーザＵの顔の過去の特徴点の重心位置からの距離と、の差の総和値を一定の時間でサンプリングしたＴ回を積分して算出したものを用いてもよい。なお、下記式（２）におけるＬは、ユーザＵの顔の特徴点と、ユーザＵの顔の重心位置との距離である。
【００５９】
【数２】
【００６０】
＜反応判定手段＞
以下、前記した反応判定手段３３の具体的構成および具体的処理手順について、図３を参照しながら詳細に説明する。反応判定手段３３は、図３に示すように、比較手段３３ａと、閾値格納手段３３ｂと、反応抽出手段３３ｃと、を備えている。
【００６１】
比較手段３３ａは、コンテンツ１０視聴中におけるユーザＵの表情変化と、予め定められた所定の閾値と、を比較するものである。比較手段３３ａには、図３に示すように、表情変化算出手段３１ｂ（図２参照）からユーザＵの表情変化および撮像時間（図示省略）が入力される。また、同時に、比較手段３３ａには、図３に示すように、閾値格納手段３３ｂから閾値が入力される。そして、比較手段３３ａは、入力されたユーザＵの表情変化の変化量が閾値を超えるか否かを比較し、当該変化量が閾値を超える場合、図３に示すように、その比較結果と、前記した撮像時間のうち、変化量が閾値を超えた時点における時間（図示省略、以下「閾値超過時間」という）と、を反応抽出手段３３ｃに出力する。
【００６２】
閾値格納手段３３ｂは、ユーザＵの表情変化を閾値処理するための閾値を予め格納するものである。この閾値の具体的構成は特に限定されず、例えば、ユーザＵに提供されるコンテンツ１０（図１参照）に対して一つの閾値を設定する、あるいは、コンテンツ１０のシーンごとに閾値を設定することもできる。また、他にも、ユーザＵごとに閾値を設定することもできる。閾値格納手段３３ｂは、ユーザＵがコンテンツ１０を視聴する際に、図３に示すように、比較手段３３ａに対して閾値を出力する。
【００６３】
反応抽出手段３３ｃは、メタデータ１２からユーザＵの反応を抽出するものである。反応抽出手段３３ｃには、図３に示すように、比較手段３３ａから比較結果および閾値超過時間（図示省略）が入力される。この比較結果は、前記したように、ユーザＵの表情変化の変化量が予め定められた閾値を超える旨の結果である。また、反応抽出手段３３ｃには、図３に示すように、メタデータ取得手段３２からメタデータ１２およびシーン放送時間（図示省略）が入力される。そして、反応抽出手段３３ｃは、閾値超過時間（図示省略）と一致するシーン放送時間（図示省略）に放送されるシーンと対応付けられたメタデータ１２が定義する反応を抽出し、これをユーザ反応推定情報として格納装置５０に出力する。
【００６４】
このような構成を備えるユーザ反応推定装置３０は、コンテンツ１０のシーンに対して示すことが予想されるユーザＵの反応がシーンごとにメタデータ１２として明確に付与されているため、複雑な処理を行うことなく、ユーザＵの反応を的確に推定することができる。また、コンテンツ１０視聴中におけるユーザＵのわずかな状態変化であっても推定が可能であるとともに、ユーザＵの状態変化の変化量が所定の閾値を超えるか否かのみを判定すればよいため、推定結果がユーザＵの状態変化の測定精度に依存することがなく、ユーザＵの反応を精度良く推定することができる。さらには、ユーザＵの身体にセンサ類を直接装着する必要がないため、ユーザＵにとって煩雑ではなく、コンテンツ１０に対するユーザＵの反応の推定を日常的に行うことができる。
【００６５】
なお、ユーザ反応推定装置３０は、一般的なコンピュータを、前記した各手段として機能させるプログラムにより動作させることで実現することができる。このプログラム（コンテンツ暗号化プログラム）は、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【００６６】
［ユーザ反応推定装置の動作］
以下、ユーザ反応推定装置３０の動作、すなわちユーザ反応推定方法について、図４を参照しながら簡単に説明する。ユーザ反応推定方法は、図４に示すように、状態変化検出ステップＳ１０と、メタデータ取得ステップＳ２０と、反応判定ステップＳ３０と、を行う。ここで、状態変化検出ステップＳ１０とメタデータ取得ステップＳ２０の順序は、メタデータ取得ステップＳ２０が先でもよく、あるいは、２つの処理を同時に行っても構わない。
【００６７】
＜状態変化検出ステップ＞
状態変化検出ステップＳ１０は、状態変化検出手段３１によって、撮像装置４０によって撮像されたユーザＵの状態からその状態変化を検出するステップである。状態変化検出ステップＳ１０では、撮像装置４０から状態変化検出手段３１に対して、コンテンツ１０視聴中におけるユーザＵの状態および撮像時間が入力され、当該状態変化検出手段３１によって、ユーザＵの状態からユーザＵの状態変化が算出される。なお、本実施形態において、ユーザＵの状態および状態変化とは、前記したように、コンテンツ１０視聴中におけるユーザＵの画像データおよびユーザＵの表情変化のことを示している。
【００６８】
＜メタデータ取得ステップ＞
メタデータ取得ステップＳ２０は、メタデータ取得手段３２によって、コンテンツ１０から、各シーンに付与されたメタデータ１２を取得するステップである。メタデータ取得ステップＳ２０では、ユーザＵがコンテンツ１０を視聴する際に、メタデータ取得手段３２に対して、コンテンツ１０のシーンごとに付与されたメタデータ１２およびシーン放送時間が入力され、当該メタデータ取得手段３２から反応判定手段３３に対して、メタデータ１２およびシーン放送時間が出力される。
【００６９】
＜反応判定処理ステップ＞
反応判定ステップＳ３０は、反応判定手段３３によって、ユーザＵの状態変化およびメタデータ１２を用いてユーザＵの反応を判定するステップである。反応判定ステップＳ３０では、状態変化検出手段３１から反応判定手段３３に対して、コンテンツ１０視聴中におけるユーザＵの状態変化および撮像時間が入力され、メタデータ取得手段３２から反応判定手段３３に対して、メタデータ１２およびシーン放送時間が入力される。そして、反応判定手段３３によって、ユーザＵの状態変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点でユーザＵが視聴していたシーンに付与されたメタデータ１２が定義する反応を、シーンに対してユーザＵが示した反応として判定し、これをユーザ反応推定情報として格納装置５０に出力する。
【００７０】
このような手順を行なうユーザ反応推定方法は、コンテンツ１０のシーンに対して示すことが予想されるユーザＵの反応がシーンごとにメタデータ１２として明確に付与されているため、複雑な処理を行うことなく、ユーザＵの反応を的確に推定することができる。また、コンテンツ１０視聴中におけるユーザＵのわずかな状態変化であっても推定が可能であるとともに、ユーザＵの状態変化の変化量が所定の閾値を超えるか否かのみを判定すればよいため、推定結果がユーザＵの状態変化の測定精度に依存することがなく、ユーザＵの反応を精度良く推定することができる。さらには、ユーザＵの身体にセンサ類を直接装着する必要がないため、ユーザＵにとって煩雑ではなく、ユーザＵの反応の推定を日常的に行うことができる。
【００７１】
［第２実施形態］
以下、第２実施形態に係るユーザ反応推定装置の構成について、図１および図５を参照しながら詳細に説明する。第２実施形態に係るユーザ反応推定装置は、図１に示す状態変化検出手段３１を、図５に示す状態変化検出手段３４としたこと以外は、前記した第１実施形態に係るユーザ反応推定装置３０と同様の構成を備えている。従って、前記したユーザ反応推定装置３０と重複する構成については、図示および説明を省略する。
【００７２】
＜状態変化検出手段＞
第２実施形態に係るユーザ反応推定装置が備える状態変化検出手段３４は、図５に示すように、視線位置取得手段３４ａと、視線位置変化算出手段３４ｂと、を備えている。
【００７３】
視線位置取得手段３４ａは、コンテンツ１０視聴中におけるユーザＵの画像データから、ユーザＵの視線位置データを取得するものである。視線位置取得手段３４ａは、図５に示すように、撮像装置４０（図１参照）からコンテンツ１０視聴中におけるユーザＵの画像データおよび撮像時間（図示省略）が入力されると、当該画像データから矩形等の形でユーザＵの両目の領域を認識して視線位置データを抜き出し、この視線位置データおよび撮像時間（図示省略）を視線位置変化算出手段３４ｂに出力する。また同時に、視線位置取得手段３４ａは、前記した画像データからユーザＵの顔の大きさＡを抜き出して視線位置変化算出手段３４ｂに出力する（図示省略）。なお、ユーザＵの画像データから視線位置データおよびユーザＵの顔の大きさＡを抜き出す方法は、従来周知の方法を用いればよい。
【００７４】
視線位置変化算出手段３４ｂは、コンテンツ１０視聴中におけるユーザＵの視線位置データおよびユーザＵの顔の大きさＡから、その視線位置変化を算出するものである。視線位置変化算出手段３４ｂは、本実施形態では、視線位置データを画像データ上での方向（視線ベクトル）とみなし、ユーザＵの現在の視線ベクトルと、ユーザＵの過去の視線ベクトルと、の差の長さ（視線ベクトルの変化量）から求める。具体的には、ユーザＵの両目の白色領域の重心位置（ｘｗ，ｙｗ）と、肌色および白色領域を除いた画素、すなわち瞳孔および虹彩領域が主となる部分の画素の重心位置（ｘｉ，ｙｉ）と、を算出し、各重心位置が成すベクトルを視線ベクトルとし、このベクトルを画像上におけるユーザＵの顔の大きさＡに基づいて正規化したベクトルを視線位置データとして利用する。なお、視線位置変化算出手段３４ｂは、ユーザＵの現在および過去の視線位置データを保持するための図示しない記憶手段を備えている。
【００７５】
視線位置変化算出手段３４ｂは、図５に示すように、視線位置取得手段３４ａからユーザＵの視線位置データおよびユーザＵの顔の大きさＡが入力されると、視線位置データからユーザＵの両目の白色領域の現在の重心位置（ｘｗｃ，ｙｗｃ）、瞳孔および虹彩領域が主となる部分の画素の現在の重心位置（ｘｉｃ，ｙｉｃ）、白色領域の過去の重心位置（ｘｗｐ，ｙｗｐ）、瞳孔および虹彩領域が主となる部分の画素の過去の重心位置（ｘｉｐ，ｙｉｐ）、を抽出する。そして、視線位置変化算出手段３４ｂは、下記式（３）によって、ユーザＵの視線位置変化Ｍ１を算出し、図５に示すように、当該視線位置変化Ｍ１および撮像時間（図示省略）を反応判定手段３３に出力する。
【００７６】
【数３】
【００７７】
このように算出した視線位置変化Ｍ１は、コンテンツ１０を視聴したユーザＵの視線位置の変化量、すなわちコンテンツ１０に対するユーザＵの動揺度合いを示している。
【００７８】
第２実施形態に係るユーザ反応推定装置は、このような構成を備えることで、コンテンツ１０視聴中におけるユーザＵの視線の位置変化の変化量が所定の閾値を超えるか否かを判定することで、ユーザＵの身体にセンサ類を直接装着することなく、ユーザＵの反応を精度良く的確に行うことができる。
【００７９】
［第３実施形態］
以下、第３実施形態に係るユーザ反応推定装置の構成について、図１および図６を参照しながら詳細に説明する。第３実施形態に係るユーザ反応推定装置は、図１に示す状態変化検出手段３１を、図６に示す状態変化検出手段３５としたこと以外は、前記した第１実施形態に係るユーザ反応推定装置３０と同様の構成を備えている。従って、前記したユーザ反応推定装置３０と重複する構成については、図示および説明を省略する。
【００８０】
＜状態変化検出手段＞
第３実施形態に係るユーザ反応推定装置が備える状態変化検出手段３５は、図６に示すように、頭部位置取得手段３５ａと、頭部位置変化算出手段３５ｂと、を備えている。
【００８１】
頭部位置取得手段３５ａは、コンテンツ１０視聴中におけるユーザＵの画像データから、ユーザＵの頭部位置データを取得するものである。頭部位置取得手段３５ａは、図６に示すように、撮像装置４０（図１参照）からコンテンツ１０視聴中におけるユーザＵの画像データおよび撮像時間（図示省略）が入力されると、当該画像データからユーザＵの頭部領域を認識して頭部位置データを抜き出し、この頭部位置データおよび撮像時間（図示省略）を頭部位置変化算出手段３５ｂに出力する。なお、ユーザＵの画像データから頭部位置データを抜き出す方法は、従来周知の方法を用いればよい。
【００８２】
頭部位置変化算出手段３５ｂは、コンテンツ１０視聴中におけるユーザＵの頭部位置データから、その頭部位置変化を算出するものである。頭部位置変化算出手段３５ｂは、本実施形態では、ユーザＵの頭部の現在の重心位置と、ユーザＵの頭部の過去の重心位置と、の差（移動量）を求めて頭部位置変化として利用する。なお、頭部位置変化算出手段３５ｂは、ユーザＵの複数フレーム分の頭部位置データを保持するための図示しない記憶手段を備えている。
【００８３】
頭部位置変化算出手段３５ｂは、図６に示すように、頭部位置取得手段３５ａからユーザＵの頭部位置データが入力されると、当該頭部位置データからユーザＵの頭部の現在の重心位置（ｘｈｃ，ｙｈｃ）、ユーザＵの頭部の過去の重心位置（ｘｈｐ，ｙｈｐ）、を抽出する。そして、頭部位置変化算出手段３５ｂは、下記式（４）によって、ユーザＵの頭部位置変化Ｍ２を算出し、図６に示すように、当該頭部位置変化Ｍ２および撮像時間（図示省略）を反応判定手段３３に出力する。
【００８４】
【数４】
【００８５】
このように算出した頭部位置変化Ｍ２は、コンテンツ１０を視聴したユーザＵの頭部位置の変化量、すなわちコンテンツ１０に対するユーザＵの動揺度合いを示している。
【００８６】
第３実施形態に係るユーザ反応推定装置は、このような構成を備えることで、コンテンツ１０視聴中におけるユーザＵの頭部の位置変化の変化量が所定の閾値を超えるか否かを判定することで、ユーザＵの身体にセンサ類を直接装着することなく、ユーザＵの反応を精度良く的確に行うことができる。
【００８７】
［第４実施形態］
以下、第４実施形態に係るユーザ反応推定装置の構成について、図１および図７を参照しながら詳細に説明する。第４実施形態に係るユーザ反応推定装置は、図１に示す状態変化検出手段３１を、図７に示す状態変化検出手段３６としたこと以外は、前記した第１実施形態に係るユーザ反応推定装置３０と同様の構成を備えている。従って、前記したユーザ反応推定装置３０と重複する構成については、図示および説明を省略する。
【００８８】
＜状態変化検出手段＞
第４実施形態に係るユーザ反応推定装置が備える状態変化検出手段３６は、図７に示すように、重心位置取得手段３６ａと、重心位置変化算出手段３６ｂと、を備えている。
【００８９】
重心位置取得手段３６ａは、コンテンツ１０視聴中におけるユーザＵの画像データから、ユーザＵの身体の重心位置データを取得するものである。重心位置取得手段３６ａは、図５に示すように、撮像装置４０（図１参照）からコンテンツ１０視聴中におけるユーザＵの画像データおよび撮像時間（図示省略）が入力されると、当該画像データからユーザＵの重心位置を認識して重心位置データを抜き出し、この重心位置データおよび撮像時間（図示省略）を重心位置変化算出手段３６ｂに出力する。なお、ユーザＵの画像データから重心位置データを抜き出す方法は、従来周知の方法を用いればよい。
【００９０】
重心位置変化算出手段３６ｂは、コンテンツ１０視聴中におけるユーザＵの身体の重心位置データから、その重心位置変化を算出するものである。重心位置変化算出手段３６ｂは、本実施形態では、ユーザＵの身体の現在の重心位置と、ユーザＵの身体の過去の重心位置と、の差（移動量）を求めて重心位置変化として利用する。なお、重心位置変化算出手段３６ｂは、ユーザＵの現在および過去の重心位置データを保持するための図示しない記憶手段を備えている。
【００９１】
重心位置変化算出手段３６ｂは、図７に示すように、重心位置取得手段３６ａからユーザＵの身体の重心位置データが入力されると、当該重心位置データからユーザＵの身体の現在の重心位置（ｘｇｃ，ｙｇｃ）、ユーザＵの身体の過去の重心位置（ｘｇｐ，ｙｇｐ）、を抽出する。そして、重心位置変化算出手段３６ｂは、下記式（５）によって、ユーザＵの身体の重心位置変化Ｍ３を算出し、図７に示すように、当該重心位置変化Ｍ３および撮像時間（図示省略）を反応判定手段３３に出力する。
【００９２】
【数５】
【００９３】
このように算出した重心位置変化Ｍ３は、コンテンツ１０を視聴したユーザＵの身体の重心位置の変化量、すなわちコンテンツ１０に対するユーザＵの動揺度合いを示している。
【００９４】
第４実施形態に係るユーザ反応推定装置は、このような構成を備えることで、コンテンツ１０視聴中におけるユーザＵの身体の重心の位置変化の変化量が所定の閾値を超えるか否かを判定することで、ユーザＵの身体にセンサ類を直接装着することなく、ユーザＵの反応を精度良く的確に行うことができる。
【００９５】
［第５実施形態］
以下、第５実施形態に係るユーザ反応推定装置３０’の構成について、図８および図９を参照しながら詳細に説明する。第５実施形態に係るユーザ反応推定装置３０’は、図１に示す撮像装置４０および状態変化検出手段３１を、図８に示す圧力測定装置６０および図９に示す状態変化検出手段３７としたこと以外は、前記した第１実施形態に係るユーザ反応推定装置３０と同様の構成を備えている。従って、前記したユーザ反応推定装置３０と重複する構成については、説明を省略する。
【００９６】
＜圧力測定装置＞
圧力測定装置６０は、コンテンツ１０視聴中におけるユーザＵの体重による圧力を測定するものである。すなわち、圧力測定装置６０は、ユーザＵの状態を検出するための状態検出装置として機能する。圧力測定装置６０の具体例としては、ユーザＵが上に乗ることができる圧力センサ等が挙げられる。圧力測定装置６０は、図９に示すように、ユーザＵの体重による圧力の測定データと、当該圧力を測定した時間（図示省略、以下「測定時間」という）と、を状態変化検出手段３７に出力する。
【００９７】
＜状態変化検出手段＞
第５実施形態に係るユーザ反応推定装置３０’が備える状態変化検出手段３７は、図９に示すように、重心位置取得手段３７ａと、重心位置変化算出手段３７ｂと、を備えている。
【００９８】
重心位置取得手段３７ａは、コンテンツ１０視聴中におけるユーザＵの体重による圧力の測定データから、身体の重心位置データを取得するものである。重心位置取得手段３７ａは、図９に示すように、圧力測定装置６０（図８参照）からコンテンツ１０視聴中におけるユーザＵの体重による圧力の測定データおよび測定時間（図示省略）が入力されると、当該測定データからユーザＵの身体の重心位置データを算出し、この重心位置データおよび測定時間（図示省略）を重心位置変化算出手段３７ｂに出力する。なお、ユーザＵの体重による圧力の測定データから身体の重心位置データを算出する方法は、従来周知の方法を用いればよい。
【００９９】
重心位置変化算出手段３７ｂは、コンテンツ１０視聴中におけるユーザＵの身体の重心位置データから、その重心位置変化を算出するものである。重心位置変化算出手段３７ｂは、本実施形態では、ユーザＵの身体の現在の重心位置と、ユーザＵの身体の過去の重心位置と、の差（移動量）を求めて重心位置変化として利用する。なお、重心位置変化算出手段３７ｂは、ユーザＵの現在および過去の重心位置データを保持するための図示しない記憶手段を備えている。
【０１００】
重心位置変化算出手段３７ｂは、図９に示すように、重心位置取得手段３７ａからユーザＵの身体の重心位置データが入力されると、当該重心位置データからユーザＵの身体の現在の重心位置（ｘｐｃ，ｙｐｃ）、ユーザＵの身体の過去の重心位置（ｘｐｐ，ｙｐｐ）、を抽出する。そして、重心位置変化算出手段３７ｂは、下記式（６）によって、ユーザＵの身体の重心位置変化Ｍ４を算出し、図９に示すように、当該重心位置変化Ｍ４および測定時間（図示省略）を反応判定手段３３に出力する。
【０１０１】
【数６】
【０１０２】
このように算出した重心位置変化Ｍ４は、コンテンツ１０を視聴したユーザＵの身体の重心位置の変化量、すなわちコンテンツ１０に対するユーザＵの動揺度合いを示している。
【０１０３】
第５実施形態に係るユーザ反応推定装置３０’は、このような構成を備えることで、コンテンツ１０視聴中におけるユーザＵの重心の位置変化の変化量が所定の閾値を超えるか否かを判定することで、ユーザＵの身体にセンサ類を直接装着することなく、ユーザＵの反応を精度良く的確に行うことができる。
【０１０４】
以上、複数の実施形態により本発明に係るユーザ反応推定装置について説明したが、さらに以下のような変更、改変も可能である。
【０１０５】
例えば、メタデータ１２は、図１に示すようにコンテンツ１０の各シーンに予め付与されるのではなく、例えば、コンテンツ提供装置２０によるコンテンツ１０の提供中または提供後に、各シーンに付与しても良い。この場合、コンテンツ１０の提供中または提供後に、図１に示す反応判定手段３３に対して、放送局側またはユーザＵ側からネットワーク経由等でメタデータ１２を付与する方法等を用いることができる。
【０１０６】
このような構成を備えるユーザ反応推定装置は、コンテンツ１０の各シーンに対して予めメタデータ１２を付与する必要がないため、より簡単にユーザＵの反応を推定することができる。また、ユーザＵがライブ番組等の予めメタデータ１２を付与することが難しいコンテンツ１０を視聴した場合であっても、その反応を推定することができる。
【０１０７】
また、前記した各実施形態に係るユーザ反応推定装置では、メタデータ１２に定義された反応をユーザＵの反応として直接判定しているが、メタデータ１２に定義された反応を直接用いずに推定することも可能である。例えば、図１に示すシーン２に「爆笑」というメタデータ１２が付与されていた場合に、図示しない同意語データベースによって同意語を検索し、ユーザＵが「笑っている」と推定することもできる。
【０１０８】
また、前記した各実施形態に係るユーザ反応推定装置では、ユーザＵの状態変化を表情変化、視線位置変化、頭部位置変化、重心位置変化等の状態変化を一つだけ用いてユーザＵの反応を推定しているが、複数の状態変化を用いてユーザＵの反応を推定してもよい。この場合は、例えばユーザＵの表情変化と重心位置変化を併用し、適当な評価関数を定義してユーザＵの反応を多面的に推定することができる。
【０１０９】
また、ユーザＵの表情変化と重心位置変化を併用するとともに、それぞれについて閾値を超えたか否かを判定し、ユーザＵの表情変化と重心位置変化のいずれかが閾値を超えた場合に、メタデータ１２が定義する反応をユーザＵの反応として推定することができる。例えば、閾値の具体的数値が０．５の場合に、ユーザＵの表情変化の具体的数値が０．３であり、重心位置変化の具体的数値が０．８であれば、閾値を超えたと判定する。
【０１１０】
また、前記した各実施形態に係るユーザ反応推定装置では、閾値処理を行うことでユーザＵの反応を推定しているが、例えば、閾値処理を行わず、状態変化検出手段によって検出したユーザＵの状態変化をユーザＵの反応の度合いとして直接用いることもできる。例えば、前記した第１実施形態に係るユーザ反応推定装置３０を例に挙げると、仮に図１に示すシーン２の時点におけるユーザＵの表情変化Ｍを、ユーザＵがシーン２を視聴して笑っている度合いとして直接用いることもできる。
【符号の説明】
【０１１１】
１０ コンテンツ
１１ 映像、音声
１２ メタデータ
２０ コンテンツ提供装置
３０ ユーザ反応推定装置
３０’ ユーザ反応推定装置
３１ 状態変化検出手段
３１ａ 表情取得手段
３１ｂ 表情変化算出手段
３２ メタデータ取得手段
３３ 反応判定手段
３３ａ 比較手段
３３ｂ 閾値格納手段
３３ｃ 反応抽出手段
３４ 状態変化検出手段
３４ａ 視線位置取得手段
３４ｂ 視線位置変化算出手段
３５ 状態変化検出手段
３５ａ 頭部位置取得手段
３５ｂ 頭部位置変化算出手段
３６ 状態変化検出手段
３６ａ 重心位置取得手段
３６ｂ 重心位置変化算出手段
３７ 状態変化検出手段
３７ａ 重心位置取得手段
３７ｂ 重心位置変化算出手段
４０ 撮像装置
５０ 格納装置
６０ 圧力測定装置
１００ ユーザ反応推定システム
２００ ユーザ反応推定システム
Ｓ１０ 状態変化検出ステップ
Ｓ２０ メタデータ取得ステップ
Ｓ３０ 反応判定ステップ
Ｕ ユーザ
【特許請求の範囲】
【請求項１】
シーンごとにメタデータが付与されたコンテンツをユーザに提供するコンテンツ提供装置と前記ユーザの状態を検出する状態検出装置とを用いて、前記コンテンツ提供装置から前記ユーザに提供された前記コンテンツの各シーンに対する前記ユーザの反応を推定するユーザ反応推定装置であって、
前記メタデータは、対応する前記シーンに対して前記ユーザが示すことが期待される前記ユーザの反応を定義したものであり、
前記ユーザが前記コンテンツを視聴しているときに前記状態検出装置で検出された前記ユーザの状態から、当該ユーザの状態変化を検出する状態変化検出手段と、
前記ユーザが前記コンテンツを視聴しているときに、当該コンテンツから前記メタデータを取得するメタデータ取得手段と、
前記状態変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定する反応判定手段と、
を備えることを特徴とするユーザ反応推定装置。
【請求項２】
前記状態検出装置は、前記ユーザを撮像するための撮像装置であり、
前記状態変化検出手段は、前記撮像装置で撮像された画像データから、画像処理によって前記ユーザの顔の表情変化を検出し、
前記反応判定手段は、前記ユーザの顔の表情変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定することを特徴とする請求項１に記載のユーザ反応推定装置。
【請求項３】
前記状態検出装置は、前記ユーザを撮像するための撮像装置であり、
前記状態変化検出手段は、前記撮像装置で撮像された画像データから、画像処理によって前記ユーザの視線の位置変化を検出し、
前記反応判定手段は、前記ユーザの視線の位置変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定することを特徴とする請求項１に記載のユーザ反応推定装置。
【請求項４】
前記状態検出装置は、前記ユーザを撮像するための撮像装置であり、
前記状態変化検出手段は、前記撮像装置で撮像された画像データから、画像処理によって前記ユーザの頭部の位置変化を検出し、
前記反応判定手段は、前記ユーザの頭部の位置変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定することを特徴とする請求項１に記載のユーザ反応推定装置。
【請求項５】
前記状態検出装置は、前記ユーザを撮像するための撮像装置であり、
前記状態変化検出手段は、前記撮像装置で撮像された画像データから、画像処理によって前記ユーザの身体の重心の位置変化を検出し、
前記反応判定手段は、前記ユーザの身体の重心の位置変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定することを特徴とする請求項１に記載のユーザ反応推定装置。
【請求項６】
前記状態検出装置は、前記ユーザの体重による圧力を測定するための圧力測定装置であり、
前記状態変化検出手段は、前記圧力測定装置で測定された圧力の測定データから、前記ユーザの身体の重心の位置変化を検出し、
前記反応判定手段は、前記ユーザの身体の重心の位置変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定することを特徴とする請求項１に記載のユーザ反応推定装置。
【請求項７】
前記メタデータは、前記コンテンツ提供装置による前記コンテンツの提供中または提供後に、前記シーンに付与されることを特徴とする請求項１から請求項６のいずれか一項に記載のユーザ反応推定装置。
【請求項８】
シーンごとにメタデータが付与されたコンテンツの各シーンに対する前記ユーザの反応を推定するユーザ反応推定方法であって、
前記メタデータは、対応する前記シーンに対して前記ユーザが示すことが期待される前記ユーザの反応を定義したものであり、
状態変化検出手段によって、前記ユーザが前記コンテンツを視聴しているときの前記ユーザの状態から、当該ユーザの状態変化を検出するステップと、
メタデータ取得手段によって、前記ユーザが前記コンテンツを視聴しているときに、当該コンテンツから前記メタデータを取得するステップと、
反応判定手段によって、前記状態変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定するステップと、
を行うことを特徴とするユーザ反応推定方法。
【請求項９】
対応するシーンに対してユーザが示すことが期待されるユーザの反応を定義したメタデータがシーンごとに付与されたコンテンツを前記ユーザに提供するコンテンツ提供装置と前記ユーザの状態を検出する状態検出装置とを用いて、前記コンテンツ提供装置から前記ユーザに提供された前記コンテンツの各シーンに対する前記ユーザの反応を推定するために、コンピュータを、
前記ユーザが前記コンテンツを視聴しているときに前記状態検出装置で検出された前記ユーザの状態から、当該ユーザの状態変化を検出する状態変化検出手段、
前記ユーザが前記コンテンツを視聴しているときに、当該コンテンツから前記メタデータを取得するメタデータ取得手段、
前記状態変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定する反応判定手段、
として機能させることを特徴とするユーザ反応推定プログラム。
【請求項１】
シーンごとにメタデータが付与されたコンテンツをユーザに提供するコンテンツ提供装置と前記ユーザの状態を検出する状態検出装置とを用いて、前記コンテンツ提供装置から前記ユーザに提供された前記コンテンツの各シーンに対する前記ユーザの反応を推定するユーザ反応推定装置であって、
前記メタデータは、対応する前記シーンに対して前記ユーザが示すことが期待される前記ユーザの反応を定義したものであり、
前記ユーザが前記コンテンツを視聴しているときに前記状態検出装置で検出された前記ユーザの状態から、当該ユーザの状態変化を検出する状態変化検出手段と、
前記ユーザが前記コンテンツを視聴しているときに、当該コンテンツから前記メタデータを取得するメタデータ取得手段と、
前記状態変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定する反応判定手段と、
を備えることを特徴とするユーザ反応推定装置。
【請求項２】
前記状態検出装置は、前記ユーザを撮像するための撮像装置であり、
前記状態変化検出手段は、前記撮像装置で撮像された画像データから、画像処理によって前記ユーザの顔の表情変化を検出し、
前記反応判定手段は、前記ユーザの顔の表情変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定することを特徴とする請求項１に記載のユーザ反応推定装置。
【請求項３】
前記状態検出装置は、前記ユーザを撮像するための撮像装置であり、
前記状態変化検出手段は、前記撮像装置で撮像された画像データから、画像処理によって前記ユーザの視線の位置変化を検出し、
前記反応判定手段は、前記ユーザの視線の位置変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定することを特徴とする請求項１に記載のユーザ反応推定装置。
【請求項４】
前記状態検出装置は、前記ユーザを撮像するための撮像装置であり、
前記状態変化検出手段は、前記撮像装置で撮像された画像データから、画像処理によって前記ユーザの頭部の位置変化を検出し、
前記反応判定手段は、前記ユーザの頭部の位置変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定することを特徴とする請求項１に記載のユーザ反応推定装置。
【請求項５】
前記状態検出装置は、前記ユーザを撮像するための撮像装置であり、
前記状態変化検出手段は、前記撮像装置で撮像された画像データから、画像処理によって前記ユーザの身体の重心の位置変化を検出し、
前記反応判定手段は、前記ユーザの身体の重心の位置変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定することを特徴とする請求項１に記載のユーザ反応推定装置。
【請求項６】
前記状態検出装置は、前記ユーザの体重による圧力を測定するための圧力測定装置であり、
前記状態変化検出手段は、前記圧力測定装置で測定された圧力の測定データから、前記ユーザの身体の重心の位置変化を検出し、
前記反応判定手段は、前記ユーザの身体の重心の位置変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定することを特徴とする請求項１に記載のユーザ反応推定装置。
【請求項７】
前記メタデータは、前記コンテンツ提供装置による前記コンテンツの提供中または提供後に、前記シーンに付与されることを特徴とする請求項１から請求項６のいずれか一項に記載のユーザ反応推定装置。
【請求項８】
シーンごとにメタデータが付与されたコンテンツの各シーンに対する前記ユーザの反応を推定するユーザ反応推定方法であって、
前記メタデータは、対応する前記シーンに対して前記ユーザが示すことが期待される前記ユーザの反応を定義したものであり、
状態変化検出手段によって、前記ユーザが前記コンテンツを視聴しているときの前記ユーザの状態から、当該ユーザの状態変化を検出するステップと、
メタデータ取得手段によって、前記ユーザが前記コンテンツを視聴しているときに、当該コンテンツから前記メタデータを取得するステップと、
反応判定手段によって、前記状態変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定するステップと、
を行うことを特徴とするユーザ反応推定方法。
【請求項９】
対応するシーンに対してユーザが示すことが期待されるユーザの反応を定義したメタデータがシーンごとに付与されたコンテンツを前記ユーザに提供するコンテンツ提供装置と前記ユーザの状態を検出する状態検出装置とを用いて、前記コンテンツ提供装置から前記ユーザに提供された前記コンテンツの各シーンに対する前記ユーザの反応を推定するために、コンピュータを、
前記ユーザが前記コンテンツを視聴しているときに前記状態検出装置で検出された前記ユーザの状態から、当該ユーザの状態変化を検出する状態変化検出手段、
前記ユーザが前記コンテンツを視聴しているときに、当該コンテンツから前記メタデータを取得するメタデータ取得手段、
前記状態変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定する反応判定手段、
として機能させることを特徴とするユーザ反応推定プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−２３９１５８（Ｐ２０１１−２３９１５８Ａ）
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願番号】特願２０１０−１０８６８３（Ｐ２０１０−１０８６８３）
【出願日】平成２２年５月１０日（２０１０．５．１０）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願日】平成２２年５月１０日（２０１０．５．１０）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]