関心度推定装置及びそのプログラム
【課題】本発明は、関心度を高い精度で推定できる関心度推定装置１０を提供する。
【解決手段】関心度推定装置１０は、視聴者Ｈの視聴状況を判定する視聴状況判定手段２０と、視聴状況の判定結果が関心視聴条件を満たす場合、関心度に定数を加算し、この判定結果が無関心視聴条件を満たす場合関心度から定数を減算する関心度計算手段３１と、関心度が上限閾値を超える時間帯を高関心視聴区間として判定し、関心度が下限閾値未満となる時間帯を無関心視聴区間として判定する関心度判定手段３２と、番組ＤＢ４０と、関心度の推定結果に基づいて推薦番組情報を提示する番組推薦手段５０とを備える。
【解決手段】関心度推定装置１０は、視聴者Ｈの視聴状況を判定する視聴状況判定手段２０と、視聴状況の判定結果が関心視聴条件を満たす場合、関心度に定数を加算し、この判定結果が無関心視聴条件を満たす場合関心度から定数を減算する関心度計算手段３１と、関心度が上限閾値を超える時間帯を高関心視聴区間として判定し、関心度が下限閾値未満となる時間帯を無関心視聴区間として判定する関心度判定手段３２と、番組ＤＢ４０と、関心度の推定結果に基づいて推薦番組情報を提示する番組推薦手段５０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツを視聴する人物を撮影した人物撮影映像を用いて、コンテンツに対する人物の関心度を推定する関心度推定装置及びそのプログラムに関する。
【背景技術】
【０００２】
従来から、視聴者が関心を持ちそうな番組を推薦番組として、自動的に録画する技術が知られている。この自動録画技術は、例えば、推薦番組の検索条件を予め入力する手法と、この検索条件を入力しない手法とに分類される。
【０００３】
検索条件を予め入力する手法では、視聴者が好むジャンルやキーワードを検索条件として入力しておくと、そのジャンルに近い推薦番組やキーワードが重なる推薦番組が自動的に録画される。例えば、この検索条件を予め入力する手法では、視聴者が好きな俳優を検索条件として入力しておけば、その俳優が出演しているドラマやバラエティ番組等の推薦番組が自動的に録画されることになる。
【０００４】
ところが、検索条件を予め入力する手法では、検索条件の入力に手間がかかり、視聴者の嗜好の変化にも対応できない。そこで、従来から、検索条件を入力しない手法も広く用いられている（例えば、特許文献１参照）。この特許文献１に記載の発明は、視聴者のアクセス履歴を示す操作ログを用いて視聴者の嗜好度を求め、この嗜好度に基づいて、推薦番組を自動的に録画するものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２６６０９６号公報（特許第４６４５６７６号公報）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１に記載の発明では、操作ログを用いて視聴者の嗜好を求めているだけであり、視聴者が推薦番組に実際に関心を持っているか明らかでない。このため、視聴者が放送番組等のコンテンツにどの程度の関心を持っているかを、正確に把握したいという強い要望がある。
【０００７】
そこで、本発明は、前記した問題を解決し、関心度を高い精度で推定できる関心度推定装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００８】
前記した課題に鑑みて、本願第１発明に係る関心度推定装置は、コンテンツを視聴する人物を撮影した人物撮影映像を用いて、コンテンツに対する人物の関心度を推定する関心度推定装置であって、顔認識手段と、視聴判定手段と、表情判定手段と、動作判定手段と、端末操作判定手段と、関心度計算手段と、を備えることを特徴とする。
【０００９】
かかる構成によれば、関心度推定装置は、顔認識手段によって、人物撮影映像が入力され、入力された人物撮影映像に顔認識処理を施すことで、人物の顔領域画像を抽出する。例えば、顔認識手段は、各利用者の顔画像が予め登録され（登録顔画像）、人物撮影映像の顔画像と、登録顔画像との特徴点配置情報に基づいて、視聴者Ｈを認識する。
【００１０】
また、関心度推定装置は、視聴判定手段によって、顔認識手段で抽出された顔領域画像に顔方向検出処理を施すことで人物の顔方向を求め、人物の顔がコンテンツを表示する表示装置に向いているか否かによって、人物によるコンテンツの視聴の有無を判定する。例えば、視聴判定手段は、表示装置の正面を基準として、求めた顔方向が予め設定された正面範囲内であるか否かによって、視聴の有無を判定する。
【００１１】
また、関心度推定装置は、表情判定手段によって、顔認識手段で抽出された顔領域画像に表情判定処理を施すことで、人物の表情の有無を判定する。例えば、表情判定手段は、顔領域画像が予め設定された喜怒哀楽等の表情パターンに該当するか否かによって、表情の有無を判定する。
【００１２】
また、関心度推定装置は、動作判定手段によって、人物撮影映像に対して動作判定処理（例えば、背景差分法）を施すことで、人物の動作の有無を判定する。さらに、関心度推定装置は、端末操作判定手段によって、表示装置の操作端末からの操作指令信号を受信したか否かによって、人物による操作端末の操作の有無を判定する。
【００１３】
このように、関心度推定装置は、人物撮影映像から、実際に人物がコンテンツを見ているか否か（視聴の有無）、その人物が何らかの表情を浮かべているか否か（表情の有無）、その人物が静止しているか否か（動作の有無）、操作端末をいじっているか否か（操作の有無）等の視聴状況を判定する。
【００１４】
また、関心度推定装置は、関心度計算手段によって、予め設定された計算時間ごとに、視聴の有無と、動作の有無と、表情の有無と、操作の有無との判定結果が、予め設定された人物がコンテンツに関心を持つことを示す関心視聴条件を満たす場合、関心度に所定の定数を加算し、判定結果が、予め設定された人物が前記コンテンツに関心を持たないことを示す無関心視聴条件を満たす場合、関心度から所定の定数を減算する。
【００１５】
このように、関心度推定装置は、実際の視聴状況に応じて、各計算時間で関心度を増減させる。
なお、関心度とは、コンテンツを視聴する人物がそのコンテンツにどの程度の関心を持っているかを示す値であり、興味度や集中度と呼ばれることもある。
【００１６】
また、本願第２発明に係る関心度推定装置は、関心度計算手段が、関心視聴条件として、視聴が有りで、かつ、動作が無し又は表情が有りを示す高関心時視聴条件と、視聴が有りで、かつ、動作が有りで、かつ、表情が無しを示す低関心時視聴条件とが予め設定され、判定結果が高関心時視聴条件を満たす場合、予め設定された高関心時加算定数を関心度に加算し、判定結果が低関心時視聴条件を満たす場合、高関心時加算定数以下で予め設定された低関心時加算定数を関心度に加算することを特徴とする。
【００１７】
ここで、人物がコンテンツを視聴する際、コンテンツに高い関心を持っていると、手が止まっていたり、表示装置に向いたり、嬉しそうに笑っていることが多いと考えられる。このとき、人物が嬉しそうに笑っていると、身体が動いていることもある。そこで、関心度推定装置は、実際の視聴状況が高関心時視聴条件を満たす場合、関心度を大きく増加させる。
【００１８】
また、関心度推定装置は、関心度計算手段が、無関心視聴条件として、視聴が無しで、かつ、操作が無しを示す無操作時無関心視聴条件と、視聴が無しで、かつ、操作が有りを示す有操作時無関心視聴条件とが予め設定され、判定結果が無操作時無関心視聴条件を満たす場合、予め設定された無操作時減算定数を関心度から減算し、判定結果が有操作時無関心視聴条件を満たす場合、予め設定された有操作時減算定数を関心度から減算する。
【００１９】
ここで、人物が表示装置に向いていないとき、コンテンツに関心を持っていないと考えられる。そこで、関心度推定装置は、実際の視聴状況が無関心視聴条件を満たす場合、関心度を減少させる。
【００２０】
また、本願第３発明に係る関心度推定装置は、関心度計算手段が、予め設定されたリセット時間よりも長い間、関心度計算手段で計算された関心度が０を超え、かつ、判定結果が無操作時無関心視聴条件を満たす場合、関心度を予め設定された初期値にリセットすると共に、関心度が０未満であり、かつ、視聴が有りと判定された場合、関心度を初期値にリセットする関心度リセット手段、を備えることを特徴とする。
【００２１】
ここで、人物がコンテンツに高い関心を持っていたとしても、一定時間以上、その人物が表示装置に向いていない状態が継続すれば、コンテンツへの関心を急に失ったと考えられる。一方、人物がコンテンツに関心を持っていなかったとしても、その人物が表示装置に向いた場合、コンテンツに関心を急に持ち始めたと考えられる。このように関心が急に変化した場合、関心度推定装置は、その変化を関心度の推定結果に反映させるべく、関心度をリセットする。
【００２２】
また、本願第４発明に係る関心度推定装置は、関心度計算手段で計算された関心度が予め設定された上限閾値を超える時間帯を、コンテンツでの高関心視聴区間として判定すると共に、関心度が予め設定された下限閾値未満となる時間帯を、コンテンツでの無関心視聴区間として判定する関心度判定手段、をさらに備えることを特徴とする。
かかる構成によれば、関心度推定装置は、コンテンツ全体のうち、コンテンツへの関心が高い高関心視聴区間と、コンテンツに関心を持っていない無関心視聴区間とを判定する。
【００２３】
なお、本願第１発明において、一般的なコンピュータを、顔認識手段と、視聴判定手段と、表情判定手段と、動作判定手段と、端末操作判定手段と、関心度計算手段として機能させるための関心度推定プログラムによって実現することもできる。このプログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。
【発明の効果】
【００２４】
本発明によれば、以下のような優れた効果を奏する。
本願第１発明によれば、人物撮影映像から視聴状況を判定し、この実際の視聴状況に応じて関心度を増減させるので、関心度を高い精度で推定することができる。
【００２５】
本願第２発明によれば、実際の視聴状況が、高関心時視聴条件を満たす場合に関心度を大きく増加させ、無関心視聴条件を満たす場合に関心度を減少させるので、関心度をより高い精度で推定することができる。
【００２６】
本願第３発明によれば、関心度をリセットすることで、コンテンツに対する関心の急な変化を、関心度の推定結果に反映させることができる。
本願第４発明によれば、高関心視聴区間と無関心視聴区間とを判定するので、コンテンツ全体で、どの区間で関心が高くなっているか、又は、関心を失っているかを容易に把握することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施形態に係る番組推薦装置が含まれる番組推薦システムの概略図である。
【図２】図１の番組推薦装置の構成を示すブロック図である。
【図３】本発明の実施形態において、関心度計算の第１例を説明する図である。
【図４】本発明の実施形態において、関心度計算の第２例を説明する図である。
【図５】本発明の実施形態において、関心度計算の第３例を説明する図である。
【図６】本発明の実施形態において、関心度計算の第４例を説明する図である。
【図７】本発明の実施形態において、関心度の推定結果を説明する図である。
【図８】図２の番組推薦装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００２８】
［番組推薦システムの概略］
図１を参照して、本発明の実施形態に係る番組推薦装置１が含まれる番組推薦システム１００について、概略を説明する。
番組推薦システム１００は、放送番組を視聴する視聴者（人物）Ｈに対して推薦番組情報を提示するものであり、番組推薦装置１と、テレビ２と、タブレット端末３と、センサカメラ４とを備える。
【００２９】
番組推薦装置１は、後記する関心度推定装置１０（図２）が内蔵されており、この関心度推定装置１０で推定された関心度に基づいて、視聴者Ｈに推薦する番組を検索し、その推薦番組情報を提示するものである。ここで、番組推薦装置１は、推薦番組の番組タイトル、番組内容等の推薦番組情報をテレビ２やタブレット端末３に出力する。
この番組推薦装置１については、詳細を後記する。
【００３０】
テレビ（表示装置）２は、放送番組（コンテンツ）を表示するものであり、液晶ディスプレイ、プラズマディスプレイ、エレクトロルミネッセンスディスプレイ等の一般的なディスプレイである。このテレビ２は、タブレット端末３から入力された操作指令信号に応じて、チャンネルの選局、音量ボリュームの大小等の各種テレビ操作が行われる。また、テレビ２は、番組推薦装置１から入力された推薦番組情報をその表示画面に表示する。
以後の説明では、視聴者Ｈが視聴している放送番組を「視聴番組」と呼ぶ。
【００３１】
タブレット端末（操作端末）３は、視聴者Ｈの操作に応じて、テレビ２に操作指令信号を出力するものである。また、タブレット端末３は、ネットワーク通信機能を有し、サーチエンジン等のインターネット上のサービスを利用できる。つまり、タブレット端末３は、テレビ２のリモコン機能と、情報通信端末機能とを備えている。さらに、タブレット端末３は、番組推薦装置１から入力された推薦番組情報をその表示画面に表示する。
【００３２】
センサカメラ４は、例えば、放送番組を視聴している視聴者Ｈを撮影するＣＣＤ（Charge Coupled Device）カメラである。つまり、センサカメラ４は、視聴者Ｈの視聴状況を示す視聴者撮影映像（人物撮影映像）を撮影して、番組推薦装置１に出力する。
【００３３】
ここで、センサカメラ４は、テレビ２の上部中央に配置され、テレビ２と同じ方向を向いていることとする。また、視聴者Ｈは、テレビ２の正面に位置することとする。従って、センサカメラ４は、視聴者Ｈを正面から撮影することになる。
【００３４】
また、センサカメラ４で撮影する視聴者撮影映像と、テレビ２に表示する放送番組とは、例えば、タイムコード等で同期させておく。そして、番組推薦装置１は、視聴者撮影映像から関心度を推定したとき、この関心度とこの視聴者撮影映像とをタイムコードで対応づけておく。このようにして、番組推薦装置１は、視聴番組の何れの時刻で、どの程度の関心度が推定されたかを提示できる。
【００３５】
［番組推薦装置の構成］
図２を参照して、番組推薦装置１の構成について説明する（適宜図１参照）。
図２に示すように、番組推薦装置１は、視聴者Ｈに推薦番組情報を提示するものであり、関心度推定装置１０と、番組ＤＢ４０と、番組推薦手段５０とを備える。
【００３６】
関心度推定装置１０は、視聴者撮影映像を用いて、視聴番組に対する視聴者Ｈの関心度を推定するものであり、視聴状況判定手段２０と、関心度推定手段３０とを備える。ここで、関心度推定装置１０は、センサカメラ４から視聴者撮影映像が入力され、タブレット端末３から端末操作情報（操作指令信号）が入力される。
【００３７】
視聴状況判定手段２０は、入力された視聴者撮影映像から視聴状況を判定するものであり、顔認識手段２１と、顔方向判定手段２２と、表情判定手段２３と、動作判定手段２４と、端末操作判定手段２５とを備える。
【００３８】
顔認識手段２１は、視聴者撮影映像に顔認識処理を施すことで、視聴者Ｈの顔領域画像を抽出するものである。例えば、顔認識手段２１は、特開２００５−２０８８５０号公報に記載された顔認識処理を利用できる。この特開２００５−２０８８５０号公報に記載の顔認識処理では、各利用者の顔画像を予め登録（登録顔画像）し、視聴者撮影映像の顔画像と、登録顔画像との特徴点配置情報に基づいて、出現確率が最大となる利用者を視聴者Ｈとして認識する。このとき、顔認識手段２１は、顔認識処理により識別した視聴者Ｈごとに、一意となる視聴者ＩＤを割り当ててもよい。
【００３９】
顔方向判定手段２２は、顔認識手段２１で抽出された顔領域画像に顔方向検出処理を施すことで、視聴者Ｈの顔方向を求めるものである。例えば、顔方向判定手段２２は、顔方向検出処理として、特開２０１１−３９８６９号公報に記載された［顔領域検出・照合処理］及び［特徴点の三次元位置・頭部姿勢推定処理］を利用できる。この特開２０１１−３９８６９号公報に記載の顔方向検出処理では、顔領域画像から二次元の特徴点位置を推定し、この二次元の特徴点位置から三次元の特徴点位置と頭部姿勢とを対応付けて推定する。
【００４０】
そして、顔方向判定手段２２は、視聴者Ｈの顔がテレビ２に向いているか否かによって、視聴者Ｈによるコンテンツの視聴の有無を判定する。例えば、顔方向判定手段２２は、テレビ２の正面を基準として、求めた顔方向が予め設定された正面範囲（上下左右に１０°）内であれば、視聴者Ｈの顔がテレビ２に向いており、「視聴が有り」と判定する。一方、顔方向判定手段２２は、テレビ２の正面を基準として、顔方向が正面範囲内でなければ、視聴者Ｈの顔がテレビ２に向いておらず、「視聴が無し」と判定する。
なお、視聴者Ｈがテレビ２の正面から左右にずれて位置する場合、その位置ずれ量を考慮して、顔方向の判定を行うことが好ましい。
【００４１】
表情判定手段２３は、顔認識手段２１で抽出された顔領域画像に表情判定処理を施すことで、視聴者Ｈの表情の有無を判定するものである。例えば、表情判定手段２３は、表情判定処理として、特開平３−２５２７７５号公報に記載の発明を利用できる。この特開平３−２５２７７５号公報に記載の表情判定処理では、喜怒哀楽等の様々な表情パターンが予め蓄積され、この顔領域画像が類似する表情パターンを検索する。そして、表情判定手段２３は、この顔領域画像が何れかの表情パターンに該当する場合、「表情が有り」と判定する。一方、表情判定手段２３は、顔領域画像が何れかの表情パターンにも該当しない場合、「表情が無し」と判定する。
【００４２】
この他、表情判定手段２３は、表情判定処理として、下記の参考文献に記載の技術を利用することもできる。
参考文献：「テレビ視聴者の興味状態推定に向けた顔表情変化度測定」、奥田誠他、電子情報通信学会、第１０回情報科学技術フォーラム（FIT2011）、第３分冊、２０１１年９月８日、J-019、p.569-570
【００４３】
動作判定手段（視聴判定手段）２４は、視聴者撮影映像に対して動作判定処理を施すことで、視聴者Ｈの動作の有無を判定するものである。例えば、動作判定手段２４は、動作判定処理として、一般的な背景差分法を利用できる。そして、動作判定手段２４は、視聴者Ｈが動いている場合、「動作が有り」と判定する。一方、動作判定手段２４は、視聴者Ｈが動いていない場合、「動作が無し」と判定する。
【００４４】
端末操作判定手段２５は、端末操作情報が入力されたか否かによって、視聴者Ｈによる操作端末の操作の有無を判定するものである。ここで、端末操作判定手段２５は、端末操作情報が入力された場合、「操作が有り」と判定する。一方、端末操作判定手段２５は、端末操作情報が入力されない場合、「操作が無し」と判定する。
【００４５】
その後、視聴状況判定手段２０は、顔方向判定手段２２で判定された視聴の有無と、表情判定手段２３で判定された表情の有無と、動作判定手段２４で判定された動作の有無と、端末操作判定手段２５で判定された操作の有無との判定結果（以後、「各種判定結果」と略記）を、関心度推定手段３０に出力する。
【００４６】
なお、顔方向判定手段２２、表情判定手段２３、動作判定手段２４及び端末操作判定手段２５は、それぞれ、任意の時間間隔で判定を行うことができる。以後、この時間間隔を「サンプリング時間」と呼ぶ。例えば、顔方向判定手段２２、表情判定手段２３、動作判定手段２４及び端末操作判定手段２５は、同一のサンプリング時間でもよく、全く異なるサンプリング時間でもよい。
【００４７】
関心度推定手段３０は、視聴状況判定手段２０で判定された視聴状況（各種判定結果）に基づいて、関心度を推定するものであり、関心度計算手段３１と、関心度判定手段３２とを備える。ここで、関心度推定手段３０は、視聴状況判定手段２０から各種判定結果が入力される。
【００４８】
関心度計算手段３１は、予め設定された計算時間ｔｍごとに、入力された各種判定結果が、後記する関心視聴条件を満たす場合、関心度に所定の定数を加算し、この各種判定結果が、後記する無関心視聴条件を満たす場合、関心度から所定の定数を減算するものである。本実施形態では、関心度計算手段３１は、下記の式（１）から式（５）を用いて、関心度を計算する。
【００４９】
【数１】
【００５０】
【数２】
【００５１】
【数３】
【００５２】
【数４】
【００５３】
【数５】
【００５４】
前記した各式では、‘Ｓ（ｔ）’は、時間ｔにおける視聴の有無であり、その値が１であれば「視聴が有り」を示し、その値が０であれば「視聴が無し」を示す。
‘Ｍｓ（ｔ）’は、時間ｔにおける動作の有無であり、その値が１であれば「動作が無し」を示し、その値が０であれば「動作が有り」を示す。
‘Ｅｘ（ｔ）’は、時間ｔにおける表情の有無であり、その値が１であれば「表情が有り」を示し、その値が０であれば「表情が無し」を示す。
‘Ｐ（ｔ）’は、時間ｔにおける操作の有無であり、その値が１であれば「操作が有り」を示し、その値が０であれば「操作が無し」を示す。
‘Ｉｎｔｅｒｅｓｔ’は、関心度であり、所定の初期値（例えば、０）が設定される。
【００５５】
また、前記の各式では、Ｋｃ，Ｋｓ，Ｋｕ，Ｋｖは、予め設定された定数である。これら定数Ｋｃ，Ｋｓ，Ｋｕ，Ｋｖは、視聴者Ｈごとに異なる値を設定できる。
ここで、視聴者Ｈがタブレット端末３を操作していても、視聴者Ｈが視聴番組に関心を持っていないと判定するのが困難なケースもある。この場合、有操作時減算定数Ｋｖを０に設定してもよい。
【００５６】
また、前記の各式では、‘ｉｆ’は、その後段に記載された条件を満たすか否かを判定する関数である。
‘＆＆’はＡＮＤ（論理積）を示す。
‘｜｜’はＯＲ（論理和）を表す。
’Ｔｅ’は、関心度を推定するタイミング（時間）を示す。
【００５７】
具体的に、関心度計算手段３１は、視聴者Ｈが視聴番組に関心を持つことを示す関心視聴条件として、高関心時視聴条件が予め設定されている。この高関心時視聴条件は、式（１）の‘ｉｆ’の後段のように、「視聴が有り」、かつ、「動作が無し」又は「表情が有り」を示している。そして、関心度計算手段３１は、式（１）及び式（５）に示すように、各種判定結果がこの高関心時視聴条件を満たす場合、高関心時加算定数Ｋｃ（例えば、３）を関心度に加算する。
【００５８】
また、関心度計算手段３１は、関心視聴条件として、「視聴が有り」、かつ、「動作が有り」、かつ、「表情が無し」を示す低関心時視聴条件が予め設定されている（式（２）の‘ｉｆ’の後段）。そして、関心度計算手段３１は、式（２）及び式（５）に示すように、各種判定結果がこの低関心時視聴条件を満たす場合、低関心時加算定数Ｋｓ（例えば、１）を関心度に加算する。
【００５９】
ここで、視聴者Ｈが視聴番組に高い関心を持っていると、手が止まっていたり、表示装置に向いたり、嬉しそうに笑っていることが多いと考えられる。このとき、視聴者Ｈが嬉しそうに笑っていると、身体が動いていることもある。つまり、高関心時視聴条件を満たす場合の方が、低関心時視聴条件を満たす場合よりも、視聴者Ｈが視聴番組に高い関心を持っていると考えられる。従って、関心度計算手段３１は、低関心時加算定数Ｋｓを高関心時加算定数Ｋｃ以下の値で設定し、各種判定結果が高関心時視聴条件を満たす場合、関心度を大きく増加させることが好ましい。
【００６０】
また、関心度計算手段３１は、視聴者Ｈが視聴番組に関心を持たないことを示す無関心視聴条件として、無操作時無関心視聴条件が予め設定されている。この無操作時無関心視聴条件は、式（３）の‘ｉｆ’の後段のように、「視聴が無し」かつ、「操作が無し」を示している。そして、関心度計算手段３１は、式（３）及び式（５）に示すように、各種判定結果が無操作時無関心視聴条件を満たす場合、無操作時減算定数Ｋｕ（例えば、３）を関心度から減算する。
【００６１】
さらに、関心度計算手段３１は、無関心視聴条件として、「視聴が無し」、かつ、「操作が有り」を示す有操作時無関心視聴条件が予め設定されている（式（４）の‘ｉｆ’の後段）。そして、関心度計算手段３１は、式（４）及び式（５）に示すように、各種判定結果がこの有操作時無関心視聴条件を満たす場合、有操作時減算定数Ｋｖ（例えば、１）を関心度から減算する。
【００６２】
ここで、関心度計算手段３１は、前記した計算時間ｔｍとサンプリング時間との関係を考慮して、関心度を計算することが好ましい。以下、下記の式（１）〜式（５）のうち、式（１）及び式（５）だけに着目して、関心度計算の第１例〜第４例について説明する（適宜図２参照）。
【００６３】
＜関心度計算の第１例＞
図３を参照して、関心度計算の第１例について説明する（適宜図２参照）。
以下の具体例では、顔方向判定手段２２のサンプリング時間が２秒であり、動作判定手段２４のサンプリング時間が３秒であり、表情判定手段２３のサンプリング時間が６秒であることとする。言い換えるなら、視聴の有無が２秒ごとに判定され、動作の有無が３秒ごとに判定され、表情の有無が６秒ごとに判定される。
【００６４】
図３では、計算時間ｔｍが１秒であり、判定結果に応じて関心度に加算する値を加算値として図示した。
また、図３では、上から順番に、視聴の有無、動作の有無及び表情の有無を図示した。これら判定結果の値は、式（１）と同様の意味である。
従って、時間ｔ＝０，１，６−９のとき「視聴が有り」で、時間ｔ＝２−５，１０，１１のとき「視聴が無し」である。
また、時間ｔ＝０−２，９−１１のとき「動作が無し」で、時間ｔ＝３−８のとき「動作が有り」である。
さらに、時間ｔ＝０−５のとき「表情が有り」で、時間ｔ＝６−１１のとき「表情が無し」である。
【００６５】
この第１例では、関心度計算手段３１は、計算時間ｔｍが計時単位（秒単位）のため、視聴の有無、動作の有無及び表情の有無をそのまま利用して、関心度を計算する。
図３の符合αに示すように、時間ｔ＝０では、Ｓ（０）＝１、Ｍｓ（０）＝１、Ｅｘ（０）＝１である。従って、関心度計算手段３１は、高関心時視聴条件（式（１）参照）を満たすため、高関心時加算定数Ｋｃ（例えば、３）を関心度に加算する。
【００６６】
また、図３の符合βに示すように、時間ｔ＝２では、Ｓ（２）＝０、Ｍｓ（２）＝１、Ｅｘ（２）＝１である。従って、関心度計算手段３１は、高関心時視聴条件を満たさないため、高関心時加算定数Ｋｃを関心度に加算しない（つまり、０を加算）。
なお、時間ｔ＝２ではＳ（２）＝０のため、式（３）の無操作時無関心視聴条件、又は、式（４）の有操作時無関心視聴条件の何れかを満たすことになる。
【００６７】
さらに、図３の符合γに示すように、時間ｔ＝９では、Ｓ（９）＝１、Ｍｓ（９）＝１、Ｅｘ（９）＝０である。従って、関心度計算手段３１は、高関心時視聴条件を満たすため、高関心時加算定数Ｋｃを関心度に加算する。
なお、第１例では、時間ｔ＝０，２，９のみ説明したが、残りの時間ｔについても同様に計算することは言うまでもない。
【００６８】
＜関心度計算の第２例＞
図４を参照して、関心度計算の第２例について説明する（適宜図２参照）。
図４では、計算時間ｔｍが５秒である。
【００６９】
第２例では、関心度計算手段３１は、計算時間ｔｍがサンプリング時間を越えるため、視聴の有無と、動作の有無と、表情の有無とを、計算時間ｔｍで区切る。そして、関心度計算手段３１は、計算時間ｔｍに区切った視聴の有無について、１秒（１回）でも「視聴が有り」が出現したら「視聴が有り」として扱い、これ以外を「視聴が無し」として扱う。また、関心度計算手段３１は、計算時間ｔｍに区切った動作の有無について、１秒（１回）でも「動作が無し」が出現したら「動作が無し」として扱い、これ以外を「動作が有り」として扱う。さらに、関心度計算手段３１は、計算時間ｔｍに区切った表情の有無について、１秒（１回）でも「表情が有り」が出現したら「表情が有り」として扱い、これ以外を「表情が無し」として扱う。
【００７０】
具体的に、時間ｔ＝０−４の間では、Ｓ（０，１）＝１なので、Ｓ（０−４）＝１として扱う。また、Ｍｓ（０−３）＝１なので、Ｍｓ（０−４）＝１として扱う。さらに、Ｅｘ（０−４）＝１である。従って、関心度計算手段３１は、高関心時視聴条件を満たすため、高関心時加算定数Ｋｃを関心度に加算する。
【００７１】
時間ｔ＝５−９では、Ｓ（６−９）＝１なので、Ｓ（５−９）＝１として扱う。また、Ｍｓ（９）＝１なので、Ｍｓ（５−９）＝１として扱う。さらに、Ｅｘ（５）＝１なので、Ｅｘ（５−９）＝１として扱う。従って、関心度計算手段３１は、高関心時視聴条件を満たすため、高関心時加算定数Ｋｃを関心度に加算する。
【００７２】
＜関心度計算の第３例＞
図５を参照して、関心度計算の第３例について説明する（適宜図２参照）。
第３例では、関心度計算手段３１は、第２例と同様、視聴の有無と、動作の有無と、表情の有無とを、計算時間ｔｍで区切る。
【００７３】
そして、関心度計算手段３１は、計算時間ｔｍに区切った視聴の有無について、全て「視聴が有り」が出現したときのみ「視聴が有り」として扱い、これ以外を「視聴が無し」として扱う。また、関心度計算手段３１は、計算時間ｔｍに区切った動作の有無について、全て「動作が無し」が出現したときのみ「動作が無し」として扱い、これ以外を「動作が有り」として扱う。さらに、関心度計算手段３１は、計算時間ｔｍに区切った表情の有無について、全て「表情が有り」が出現したときのみ「表情が有り」として扱い、これ以外を「表情が無し」として扱う。
【００７４】
具体的に、時間ｔ＝０−４では、Ｓ（２−４）≠１なので、Ｓ（０−４）＝０として扱う。また、Ｍｓ（３，４）≠１なので、Ｍｓ（０−４）＝０として扱う。さらに、Ｅｘ（０−４）＝１である。従って、関心度計算手段３１は、高関心時視聴条件を満たさないため、高関心時加算定数Ｋｃを関心度に加算しない。
【００７５】
時間ｔ＝５−９では、Ｓ（５）≠１なので、Ｓ（５−９）＝０として扱う。また、Ｍｓ（５−８）≠１なので、Ｍｓ（５−９）＝０として扱う。さらに、Ｅｘ（６−９）≠１なので、Ｅｘ（５−９）＝０として扱う。従って、関心度計算手段３１は、高関心時視聴条件を満たさないため、高関心時加算定数Ｋｃを関心度に加算しない。
【００７６】
＜関心度計算の第４例＞
図６を参照して、関心度計算の第４例について説明する（適宜図２参照）。
第４例では、関心度計算手段３１は、第２例と同様、視聴の有無と、動作の有無と、表情の有無とを、計算時間ｔｍで区切る。そして、関心度計算手段３１は、計算時間ｔｍに区切った視聴の有無と、動作の有無と、表情の有無とについて、それぞれの最頻値を判定結果とする。
【００７７】
具体的に、時間ｔ＝０−４では、Ｓ（０，１）＝１の２秒間（２回）に対して、Ｓ（２−４）＝０の３秒間（３回）であるから、最頻値が０になり、Ｓ（０−４）＝０として扱う。また、Ｍｓ（０−２）＝１の３秒間（３回）に対して、Ｍｓ（３，４）＝０の２秒間（２回）であるから、最頻値が１になり、Ｍｓ（０−４）＝１として扱う。さらに、Ｅｘ（０−４）＝１の５秒間（５回）であるから、最頻値が１になり、Ｅｘ（０−４）＝１として扱う。
【００７８】
時間ｔ＝５−９では、Ｓ（６−９）＝１の４秒間に対して、Ｓ（５）＝０の１秒間であるから、最頻値が１になり、Ｓ（５−９）＝１として扱う。また、Ｍｓ（９）＝１の１秒間に対して、Ｍｓ（５−８）＝０の４秒間であるから、最頻値が０になり、Ｍｓ（５−９）＝０として扱う。さらに、Ｅｘ（５）＝１の１秒間に対して、Ｅｘ（６−９）＝０の４秒間であるから、最頻値が０になり、Ｅｘ（５−９）＝０として扱う。
【００７９】
つまり、第４例の手法は、計算時間ｔｍごとにＳ（ｔ）、Ｍｓ（ｔ）及びＥｘ（ｔ）の平均値を求め、それぞれの平均値が０又は１の何れに近いかを判定し、近いと判定された値を判定結果として扱うことと等価である。
【００８０】
なお、式（１）及び式（５）だけに着目したが、関心度計算手段３１は、残りの式（２）、式（３）及び式（４）についても、第１例〜第４例と同様に計算を行う。
また、関心度計算手段３１は、第１例〜第４例の何れの手法で関心度計算を行うか、予め設定しておく。
また、関心度計算手段３１は、第１例〜第４例の手法を、視聴者ごと及び判定結果ごとに組み合わせることもできる。例えば、関心度計算手段３１は、視聴者Ｈが‘父親’の場合には第２例の手法を適用し、視聴者Ｈが‘母親’の場合には第３例の手法を適用できる。また、例えば、関心度計算手段３１は、視聴の有無（Ｓ（ｔ））には第２例の手法を適用し、動作の有無（Ｍｓ（ｔ））には第３例の手法を適用できる。
【００８１】
図２に戻り、番組推薦装置１の構成について説明を続ける。
視聴者Ｈが視聴番組に高い関心を持っていたとしても、一定時間以上、その視聴者Ｈがテレビ２に向いていない状態が継続すれば、視聴番組に関心を急に失ったと考えられる。一方、視聴者Ｈが視聴番組に関心を持っていなかったとしても、その視聴者Ｈがテレビ２に向いた場合、視聴番組に関心を急に持ち始めたと考えられる。
【００８２】
このように、関心度計算手段３１は、視聴者Ｈの関心が急に変化した場合、その変化を関心度の推定結果に反映させるべく、関心度をリセットすることが好ましい。このため、関心度計算手段３１は、関心度をリセットする関心度リセット手段３１ａを備える。
【００８３】
関心度リセット手段３１ａは、予め設定されたリセット時間ｔｇよりも長い間、関心度計算手段３１で計算された関心度が０を超え、かつ、判定結果が無操作時無関心視聴条件を満たす場合、関心度を初期値にリセットするものである。このリセット時間ｔｇは、例えば、視聴者Ｈが視聴番組に関心を持っている場合でも、短時間よそ見等をすることがあり、その時間を考慮したものである。
また、関心度リセット手段３１ａは、関心度が０未満であり、かつ、「視聴が有り」の場合にも、関心度を初期値にリセットする。
【００８４】
つまり、関心度リセット手段３１ａは、下記の式（６）を満たす場合、下記の式（７）で定義されるように、関心度を初期値（例えば、０）にリセットする。
このとき、関心度リセット手段３１ａは、高関心時視聴条件、低関心時視聴条件、無操作時無関心視聴条件及び有操作時無関心視聴条件の何れかで関心度を１回リセットすると、別条件を満たすと判定された後でなければ、同一条件で関心度を再度リセットしない。
【００８５】
【数６】
【００８６】
【数７】
【００８７】
関心度判定手段３２は、関心度計算手段３１で計算された関心度が予め設定された上限閾値を超える時間帯を、視聴番組での高関心視聴区間として判定するものである。
また、関心度判定手段３２は、関心度が予め設定された下限閾値未満となる時間帯を、視聴番組での無関心視聴区間として判定する。
なお、上限閾値及び下限閾値は、任意の値で設定可能であり、視聴者Ｈごとに異なる値を設定してもよい。
【００８８】
＜関心度の推定結果の具体例＞
図７を参照して、関心度の推定結果について、具体的に説明する。
図７は、上段に各種判定結果を示す３つの棒グラフを図示し、下段に時間の経過に伴う関心度の変化を図示した。
図７の横軸は時間ｔを表しており、その中で特定の時間をＴ０，Ｔ１，・・・，Ｔ８というように図示した。
【００８９】
図７上段の棒グラフは、上から順に、動作の有無及び表情の有無と、視聴の有無と、操作の有無との判定結果をそれぞれ表す。
上の棒グラフでは、「動作が無し」又は「表情が有り」の時間帯をハッチングし、「動作が有り」、かつ、「表情が無し」の時間帯を白塗りにした。
中央の棒グラフでは、「視聴が有り」の時間帯をハッチングし、「視聴が無し」の時間帯を白塗りにした。
下の棒グラフでは、「操作が有り」の時間帯をハッチングし、「操作が無し」の時間帯を白塗りにした。
【００９０】
時間Ｔ０において、関心度計算手段３１は、初期値から関心度の推定を開始する。時間Ｔ０〜Ｔ１の間では、「視聴が有り」、かつ、「動作が有り」、かつ、「表情が無し」のため、式（２）の低関心時視聴条件を満たす。この間、関心度計算手段３１は、関心度に低関心時加算定数Ｋｓを加算し続ける。つまり、視聴者Ｈの顔がテレビ２を向き、動作が有り、表情が無いとき、関心度が徐々に高まることになる。
【００９１】
また、時間Ｔ０〜Ｔ１の間、関心度判定手段３２は、関心度が上限閾値を超えておらず、かつ、下限閾値未満でもないため、この時間帯を高関心視聴区間及び無関心視聴区間の何れとも判定しない。
【００９２】
時間Ｔ１〜Ｔ３では、「視聴が有り」、かつ、「動作が無し」又は「表情が有り」のため、式（１）の高関心時視聴条件を満たす。この間、関心度計算手段３１は、関心度に高関心時加算定数Ｋｃを加算し続ける。つまり、視聴者Ｈの顔がテレビ２を向き、動作が無いか又は表情が有るとき、関心度が大いに高まることになる。
ここで、時間Ｔ２において、関心度判定手段３２は、関心度が上限閾値を超えるため、時間Ｔ２以降を高関心視聴区間として判定する。
【００９３】
時間Ｔ３〜Ｔ４の間では、式（２）の低関心時視聴条件を満たす。従って、この間、関心度計算手段３１は、関心度に低関心時加算定数Ｋｓを加算し続ける。つまり、時間Ｔ３〜Ｔ４の間、関心度は、時間Ｔ０〜Ｔ１の間と同じ割合で増加することになる。
【００９４】
時間Ｔ４〜Ｔ５の間では、「視聴が無し」、かつ、「操作が有り」のため、式（４）の有操作時無関心視聴条件を満たす。この間、関心度計算手段３１は、関心度から有操作時減算定数Ｋｖを減算し続ける。つまり、視聴者Ｈの顔がテレビ２を向いておらず、タブレット端末３を操作しているとき、関心度が徐々に低下することになる。
【００９５】
時間Ｔ５以後、「視聴が無し」かつ、「操作が無し」のため、式（３）の無操作時無関心視聴条件を満たす。この間、関心度計算手段３１は、関心度から無操作時減算定数Ｋｕを減算し続ける。つまり、視聴者Ｈの顔がテレビ２を向いておらず、タブレット端末３を操作していないとき、関心度が大いに低下することになる。
【００９６】
そして、時間Ｔ５からリセット時間ｔｇを経過するまで（時間Ｔ６）、この無操作時無関心視聴条件を満たす状態が継続する。この場合、時間Ｔ６において、関心度リセット手段３１ａは、式（６）を満たすため、関心度を初期値にリセットする。
このとき、時間Ｔ２で上限閾値を超えていた関心度が、この時間Ｔ６を堺に上限閾値を超えなくなる。このため、関心度判定手段３２は、時間Ｔ６までを高関心視聴区間として判定する。従って、時間Ｔ２以後、時間Ｔ６までの間が、高関心視聴区間となる。
【００９７】
リセットが行われた時間Ｔ６以後、関心度計算手段３１は、関心度の初期値から無操作時減算定数Ｋｕを減算し続ける。つまり、時間Ｔ６以降、関心度は、時間Ｔ５〜Ｔ６の間と同じ割合で減少することになる。
【００９８】
なお、時間Ｔ６以降も式（６）を満たす状態が継続している。その一方、時間Ｔ６以降、無操作時無関心視聴条件が継続しており、この無操作時無関心視聴条件以外の別条件を満たすと判定されていない。このため、関心度リセット手段３１ａは、関心度を再度リセットしない。
【００９９】
ここで、時間Ｔ７において、関心度判定手段３２は、関心度が下限閾値を超えるため、時間Ｔ７以降を無関心視聴区間として判定する。さらに、時間Ｔ８で関心度の推定を終了するため、無関心視聴区間が時間Ｔ８で終了する。従って、時間Ｔ７以後、時間Ｔ８までの間が、無関心視聴区間となる。
【０１００】
その後、関心度推定手段３０は、関心度の推定結果として、関心度計算手段３１で計算された関心度と、関心度判定手段３２で判定された高関心視聴区間及び無関心視聴区間とを、番組推薦手段５０に出力する。
【０１０１】
図２に戻り、番組推薦装置１の構成について説明を続ける。
番組ＤＢ４０は、放送番組の番組情報及び字幕を予め格納するデータベースである。ここで、番組ＤＢ４０は、例えば、放送波から番組情報及び字幕を取得することで、構築可能である。
【０１０２】
ここで、番組情報とは、放送番組の内容に関するテキストを含むデータであり、例えば、ジャンル、電子番組ガイドデータ（EPG:Electronic Program Guide）、ウェブページデータ、及び、クローズドキャプションデータ（CC:Closed Caption）が含まれる。
また、字幕とは、放送番組の字幕データのことであり、テレビ２に表示されていない字幕も含まれる。
【０１０３】
番組推薦手段５０は、関心度の推定結果に基づいて、視聴者Ｈに推薦番組情報を提示するものであり、高関心視聴区間番組情報抽出手段５１と、無関心視聴区間番組情報抽出手段５２と、推薦番組検索手段５３と、推薦番組提示手段５４とを備える。また、番組推薦手段５０は、関心度推定手段３０から、関心度の推定結果（関心度の値、高関心視聴区間及び無関心視聴区間）が入力される。さらに、番組推薦手段５０は、テレビ２から、視聴番組と、この視聴番組の番組情報及び字幕とが入力される。
【０１０４】
高関心視聴区間番組情報抽出手段５１は、視聴番組の高関心視聴区間において、番組情報と字幕とを抽出するものである。
なお、高関心視聴区間番組情報抽出手段５１は、字幕だけでなく、文字認識技術によって、番組中の文字スーパーを抽出してもよい。さらに、高関心視聴区間番組情報抽出手段５１は、顔認識技術によって、視聴番組の出演者の情報を抽出してもよい。これら文字スーパーや出演者の情報は、推薦番組の検索及び提示に利用できる。
【０１０５】
無関心視聴区間番組情報抽出手段５２は、視聴番組の無関心視聴区間において、番組情報と字幕とを抽出するものである。
この無関心視聴区間番組情報抽出手段５２は、高関心視聴区間ではなく無関心視聴区間を処理対象とする以外、高関心視聴区間番組情報抽出手段５１と同様のため、詳細な説明を省略する。
【０１０６】
推薦番組検索手段５３は、高関心視聴区間番組情報抽出手段５１で抽出された高関心視聴区間の字幕に基づいて、番組検索技術によって推薦番組を検索するものである。例えば、推薦番組検索手段５３は、特開２０１１−４３９０８号公報に記載の番組検索技術を用いて、高関心視聴区間の字幕を検索条件として、推薦番組を検索できる。
【０１０７】
また、推薦番組検索手段５３は、無関心視聴区間番組情報抽出手段５２で抽出された無関心視聴区間での番組情報（ジャンル）に基づいて、番組検索技術によって推薦番組を検索するものである。例えば、推薦番組検索手段５３は、無関心視聴区間で抽出されたジャンルと近いジャンルの放送番組を、推薦番組として検索する。また、推薦番組検索手段５３は、無関心視聴区間で抽出されたジャンルと全く異なるジャンルの放送番組を、推薦番組として検索してもよい。
【０１０８】
推薦番組提示手段５４は、推薦番組検索手段５３で検索された推薦番組について、番組ＤＢ４０を参照して、その番組タイトル等の推薦番組情報を取得する。そして、推薦番組提示手段５４は、取得した推薦番組情報をテレビ２やタブレット端末３に出力することで、この推薦番組情報を視聴者Ｈに提示するものである。
【０１０９】
このとき、推薦番組提示手段５４は、関心度の推定結果に応じて、推薦番組情報を提示することが好ましい。例えば、推薦番組提示手段５４は、図７の高関心視聴区間では、この高関心視聴区間で抽出された字幕に基づいて推薦番組情報を提示する。また、推薦番組提示手段５４は、図７の無関心視聴区間では、この無関心視聴区間で抽出されたジャンルに基づいて推薦番組情報を提示してもよい。
【０１１０】
また、推薦番組提示手段５４は、視聴者Ｈの年齢等の属性情報を予め設定し、この属性情報を考慮して、推薦番組情報を提示してもよい。例えば、推薦番組提示手段５４は、視聴者Ｈが子供であれば、子供向け放送番組を推薦し、視聴者Ｈが老人であれば、大きな文字サイズで推薦番組情報を提示する。
【０１１１】
さらに、推薦番組提示手段５４は、タブレット端末３に推薦番組の関連キーワードを出力してもよい。これによって、視聴者Ｈは、タブレット端末３に関連キーワードを手入力することなく、サーチエンジンによって関連キーワードを検索することができる。
【０１１２】
ここで、視聴番組に関心が高い視聴者Ｈ１と、この視聴番組に関心が無い視聴者Ｈ２というように、視聴者Ｈが複数いる場合を考える。この場合、推薦番組提示手段５４は、視聴者Ｈ１，Ｈ２に対する推薦番組のＡＮＤ（論理積）を取って、視聴者Ｈ１，Ｈ２に共通する推薦番組情報を提示する（何の推薦番組情報を提示しないこともある）。また、推薦番組提示手段５４は、視聴者Ｈ１，Ｈ２に対する推薦番組のＯＲ（論理和）を取って、視聴者Ｈ１，Ｈ２に対する全ての推薦番組情報を提示してもよい。
【０１１３】
［番組推薦装置の動作］
図８を参照して、番組推薦装置１の動作について説明する（適宜図２参照）。
番組推薦装置１は、顔認識手段２１によって、視聴者撮影映像に顔認識処理を施すことで、視聴者Ｈの顔領域画像を抽出する（ステップＳ１）。
【０１１４】
番組推薦装置１は、顔方向判定手段２２によって、顔領域画像に顔方向検出処理を施すことで、視聴者Ｈの顔方向を求める。そして、番組推薦装置１は、顔方向判定手段２２によって、視聴者Ｈの顔がテレビ２に向いているか否かによって、視聴者Ｈによるコンテンツの視聴の有無を判定する（ステップＳ２）。
【０１１５】
番組推薦装置１は、表情判定手段２３によって、顔領域画像に表情判定処理を施すことで、視聴者Ｈの表情の有無を判定する（ステップＳ３）。
番組推薦装置１は、動作判定手段２４によって、視聴者撮影映像に対して動作判定処理を施すことで、視聴者Ｈの動作の有無を判定する（ステップＳ４）。
番組推薦装置１は、端末操作判定手段２５によって、端末操作情報が入力されたか否かによって、視聴者Ｈによる操作の有無を判定する（ステップＳ５）。
【０１１６】
なお、ステップＳ２〜Ｓ４の処理は、ステップＳ１を実行した後であればその順番を問わず、並列に実行してもよい。
また、ステップＳ５の処理は、ステップＳ６の前に実行すれば、その順番を問わない。
【０１１７】
番組推薦装置１は、関心度計算手段３１によって、前記した式（１）から式（５）を用いて、関心度を計算する（ステップＳ６）。このとき、番組推薦装置１は、関心度リセット手段３１ａによって、前記した式（６）を満たす場合、前記した式（７）で定義されるように、関心度を初期値にリセットする（ステップＳ７）。
【０１１８】
番組推薦装置１は、関心度判定手段３２によって、関心度が上限閾値を超える時間帯を、視聴番組での高関心視聴区間として判定する。また、番組推薦装置１は、関心度判定手段３２によって、関心度が下限閾値未満となる時間帯を、視聴番組での無関心視聴区間として判定する（ステップＳ８）。
【０１１９】
番組推薦装置１は、高関心視聴区間番組情報抽出手段５１によって、視聴番組の高関心視聴区間において、番組情報と字幕とを抽出する（ステップＳ９）。
番組推薦装置１は、無関心視聴区間番組情報抽出手段５２によって、視聴番組の無関心視聴区間において、番組情報と字幕とを抽出する（ステップＳ１０）。
【０１２０】
番組推薦装置１は、推薦番組検索手段５３によって、高関心視聴区間の字幕や無関心視聴区間での番組情報（ジャンル）に基づいて、推薦番組を検索する（ステップＳ１１）。
番組推薦装置１は、推薦番組提示手段５４によって、推薦番組情報を視聴者Ｈに提示する（ステップＳ１２）。
【０１２１】
以上のように、本発明の実施形態に係る番組推薦装置１は、視聴者撮影映像から視聴状況を判定し、この実際の視聴状況に応じて関心度の値を増減するので、その関心度を高い精度で推定することができる。さらに、番組推薦装置１は、定数Ｋｃ，Ｋｓ，Ｋｕ，Ｋｖと、上限閾値及び下限閾値を視聴者Ｈごとに設定できる。このため、番組推薦装置１は、動作が多い、表情が激しく変化する等、視聴者Ｈごとの個人差が大きい場合でも、関心度を高い精度で推定することができる。
【０１２２】
また、番組推薦装置１は、関心度の変化に応じて番組を推薦するため、視聴者Ｈがより簡単に好みの番組にたどり着くことが可能となり、細やかな番組推薦を行うことができる。さらに、番組推薦装置１は、同一の放送番組を複数の視聴者Ｈが視聴した場合、視聴者Ｈごとに関心を持つシーンが異なるため、推薦番組も視聴者Ｈごとに異なり、個々の視聴者Ｈに対応した細やかな番組推薦を行うことができる。
【産業上の利用可能性】
【０１２３】
本発明に係る関心度推定装置及びそのプログラムは、視聴者への番組推薦に利用できる。
また、本発明に係る関心度推定装置及びそのプログラムは、放送番組や映画などのコンテンツでの関心度の変化を、制作者にフィードバックする用途にも利用できる。
さらに、本発明に係る関心度推定装置及びそのプログラムは、Ｅラーニング等の授業、講座において、生徒の関心度（集中度）を推定する用途にも利用できる。
【符号の説明】
【０１２４】
１ 番組推薦装置
２ テレビ（表示装置）
３ タブレット端末（操作端末）
４ センサカメラ
１０ 関心度推定装置
２０ 視聴状況判定手段
２１ 顔認識手段
２２ 顔方向判定手段（視聴判定手段）
２３ 表情判定手段
２４ 動作判定手段
２５ 端末操作判定手段
３０ 関心度推定手段
３１ 関心度計算手段
３２ 関心度判定手段
４０ 番組ＤＢ
５０ 番組推薦手段
５１ 高関心視聴区間番組情報抽出手段
５２ 無関心視聴区間番組情報抽出手段
５３ 推薦番組検索手段
５４ 推薦番組提示手段
１００ 番組推薦システム
Ｈ 視聴者（人物）
【技術分野】
【０００１】
本発明は、コンテンツを視聴する人物を撮影した人物撮影映像を用いて、コンテンツに対する人物の関心度を推定する関心度推定装置及びそのプログラムに関する。
【背景技術】
【０００２】
従来から、視聴者が関心を持ちそうな番組を推薦番組として、自動的に録画する技術が知られている。この自動録画技術は、例えば、推薦番組の検索条件を予め入力する手法と、この検索条件を入力しない手法とに分類される。
【０００３】
検索条件を予め入力する手法では、視聴者が好むジャンルやキーワードを検索条件として入力しておくと、そのジャンルに近い推薦番組やキーワードが重なる推薦番組が自動的に録画される。例えば、この検索条件を予め入力する手法では、視聴者が好きな俳優を検索条件として入力しておけば、その俳優が出演しているドラマやバラエティ番組等の推薦番組が自動的に録画されることになる。
【０００４】
ところが、検索条件を予め入力する手法では、検索条件の入力に手間がかかり、視聴者の嗜好の変化にも対応できない。そこで、従来から、検索条件を入力しない手法も広く用いられている（例えば、特許文献１参照）。この特許文献１に記載の発明は、視聴者のアクセス履歴を示す操作ログを用いて視聴者の嗜好度を求め、この嗜好度に基づいて、推薦番組を自動的に録画するものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２６６０９６号公報（特許第４６４５６７６号公報）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１に記載の発明では、操作ログを用いて視聴者の嗜好を求めているだけであり、視聴者が推薦番組に実際に関心を持っているか明らかでない。このため、視聴者が放送番組等のコンテンツにどの程度の関心を持っているかを、正確に把握したいという強い要望がある。
【０００７】
そこで、本発明は、前記した問題を解決し、関心度を高い精度で推定できる関心度推定装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００８】
前記した課題に鑑みて、本願第１発明に係る関心度推定装置は、コンテンツを視聴する人物を撮影した人物撮影映像を用いて、コンテンツに対する人物の関心度を推定する関心度推定装置であって、顔認識手段と、視聴判定手段と、表情判定手段と、動作判定手段と、端末操作判定手段と、関心度計算手段と、を備えることを特徴とする。
【０００９】
かかる構成によれば、関心度推定装置は、顔認識手段によって、人物撮影映像が入力され、入力された人物撮影映像に顔認識処理を施すことで、人物の顔領域画像を抽出する。例えば、顔認識手段は、各利用者の顔画像が予め登録され（登録顔画像）、人物撮影映像の顔画像と、登録顔画像との特徴点配置情報に基づいて、視聴者Ｈを認識する。
【００１０】
また、関心度推定装置は、視聴判定手段によって、顔認識手段で抽出された顔領域画像に顔方向検出処理を施すことで人物の顔方向を求め、人物の顔がコンテンツを表示する表示装置に向いているか否かによって、人物によるコンテンツの視聴の有無を判定する。例えば、視聴判定手段は、表示装置の正面を基準として、求めた顔方向が予め設定された正面範囲内であるか否かによって、視聴の有無を判定する。
【００１１】
また、関心度推定装置は、表情判定手段によって、顔認識手段で抽出された顔領域画像に表情判定処理を施すことで、人物の表情の有無を判定する。例えば、表情判定手段は、顔領域画像が予め設定された喜怒哀楽等の表情パターンに該当するか否かによって、表情の有無を判定する。
【００１２】
また、関心度推定装置は、動作判定手段によって、人物撮影映像に対して動作判定処理（例えば、背景差分法）を施すことで、人物の動作の有無を判定する。さらに、関心度推定装置は、端末操作判定手段によって、表示装置の操作端末からの操作指令信号を受信したか否かによって、人物による操作端末の操作の有無を判定する。
【００１３】
このように、関心度推定装置は、人物撮影映像から、実際に人物がコンテンツを見ているか否か（視聴の有無）、その人物が何らかの表情を浮かべているか否か（表情の有無）、その人物が静止しているか否か（動作の有無）、操作端末をいじっているか否か（操作の有無）等の視聴状況を判定する。
【００１４】
また、関心度推定装置は、関心度計算手段によって、予め設定された計算時間ごとに、視聴の有無と、動作の有無と、表情の有無と、操作の有無との判定結果が、予め設定された人物がコンテンツに関心を持つことを示す関心視聴条件を満たす場合、関心度に所定の定数を加算し、判定結果が、予め設定された人物が前記コンテンツに関心を持たないことを示す無関心視聴条件を満たす場合、関心度から所定の定数を減算する。
【００１５】
このように、関心度推定装置は、実際の視聴状況に応じて、各計算時間で関心度を増減させる。
なお、関心度とは、コンテンツを視聴する人物がそのコンテンツにどの程度の関心を持っているかを示す値であり、興味度や集中度と呼ばれることもある。
【００１６】
また、本願第２発明に係る関心度推定装置は、関心度計算手段が、関心視聴条件として、視聴が有りで、かつ、動作が無し又は表情が有りを示す高関心時視聴条件と、視聴が有りで、かつ、動作が有りで、かつ、表情が無しを示す低関心時視聴条件とが予め設定され、判定結果が高関心時視聴条件を満たす場合、予め設定された高関心時加算定数を関心度に加算し、判定結果が低関心時視聴条件を満たす場合、高関心時加算定数以下で予め設定された低関心時加算定数を関心度に加算することを特徴とする。
【００１７】
ここで、人物がコンテンツを視聴する際、コンテンツに高い関心を持っていると、手が止まっていたり、表示装置に向いたり、嬉しそうに笑っていることが多いと考えられる。このとき、人物が嬉しそうに笑っていると、身体が動いていることもある。そこで、関心度推定装置は、実際の視聴状況が高関心時視聴条件を満たす場合、関心度を大きく増加させる。
【００１８】
また、関心度推定装置は、関心度計算手段が、無関心視聴条件として、視聴が無しで、かつ、操作が無しを示す無操作時無関心視聴条件と、視聴が無しで、かつ、操作が有りを示す有操作時無関心視聴条件とが予め設定され、判定結果が無操作時無関心視聴条件を満たす場合、予め設定された無操作時減算定数を関心度から減算し、判定結果が有操作時無関心視聴条件を満たす場合、予め設定された有操作時減算定数を関心度から減算する。
【００１９】
ここで、人物が表示装置に向いていないとき、コンテンツに関心を持っていないと考えられる。そこで、関心度推定装置は、実際の視聴状況が無関心視聴条件を満たす場合、関心度を減少させる。
【００２０】
また、本願第３発明に係る関心度推定装置は、関心度計算手段が、予め設定されたリセット時間よりも長い間、関心度計算手段で計算された関心度が０を超え、かつ、判定結果が無操作時無関心視聴条件を満たす場合、関心度を予め設定された初期値にリセットすると共に、関心度が０未満であり、かつ、視聴が有りと判定された場合、関心度を初期値にリセットする関心度リセット手段、を備えることを特徴とする。
【００２１】
ここで、人物がコンテンツに高い関心を持っていたとしても、一定時間以上、その人物が表示装置に向いていない状態が継続すれば、コンテンツへの関心を急に失ったと考えられる。一方、人物がコンテンツに関心を持っていなかったとしても、その人物が表示装置に向いた場合、コンテンツに関心を急に持ち始めたと考えられる。このように関心が急に変化した場合、関心度推定装置は、その変化を関心度の推定結果に反映させるべく、関心度をリセットする。
【００２２】
また、本願第４発明に係る関心度推定装置は、関心度計算手段で計算された関心度が予め設定された上限閾値を超える時間帯を、コンテンツでの高関心視聴区間として判定すると共に、関心度が予め設定された下限閾値未満となる時間帯を、コンテンツでの無関心視聴区間として判定する関心度判定手段、をさらに備えることを特徴とする。
かかる構成によれば、関心度推定装置は、コンテンツ全体のうち、コンテンツへの関心が高い高関心視聴区間と、コンテンツに関心を持っていない無関心視聴区間とを判定する。
【００２３】
なお、本願第１発明において、一般的なコンピュータを、顔認識手段と、視聴判定手段と、表情判定手段と、動作判定手段と、端末操作判定手段と、関心度計算手段として機能させるための関心度推定プログラムによって実現することもできる。このプログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。
【発明の効果】
【００２４】
本発明によれば、以下のような優れた効果を奏する。
本願第１発明によれば、人物撮影映像から視聴状況を判定し、この実際の視聴状況に応じて関心度を増減させるので、関心度を高い精度で推定することができる。
【００２５】
本願第２発明によれば、実際の視聴状況が、高関心時視聴条件を満たす場合に関心度を大きく増加させ、無関心視聴条件を満たす場合に関心度を減少させるので、関心度をより高い精度で推定することができる。
【００２６】
本願第３発明によれば、関心度をリセットすることで、コンテンツに対する関心の急な変化を、関心度の推定結果に反映させることができる。
本願第４発明によれば、高関心視聴区間と無関心視聴区間とを判定するので、コンテンツ全体で、どの区間で関心が高くなっているか、又は、関心を失っているかを容易に把握することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施形態に係る番組推薦装置が含まれる番組推薦システムの概略図である。
【図２】図１の番組推薦装置の構成を示すブロック図である。
【図３】本発明の実施形態において、関心度計算の第１例を説明する図である。
【図４】本発明の実施形態において、関心度計算の第２例を説明する図である。
【図５】本発明の実施形態において、関心度計算の第３例を説明する図である。
【図６】本発明の実施形態において、関心度計算の第４例を説明する図である。
【図７】本発明の実施形態において、関心度の推定結果を説明する図である。
【図８】図２の番組推薦装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００２８】
［番組推薦システムの概略］
図１を参照して、本発明の実施形態に係る番組推薦装置１が含まれる番組推薦システム１００について、概略を説明する。
番組推薦システム１００は、放送番組を視聴する視聴者（人物）Ｈに対して推薦番組情報を提示するものであり、番組推薦装置１と、テレビ２と、タブレット端末３と、センサカメラ４とを備える。
【００２９】
番組推薦装置１は、後記する関心度推定装置１０（図２）が内蔵されており、この関心度推定装置１０で推定された関心度に基づいて、視聴者Ｈに推薦する番組を検索し、その推薦番組情報を提示するものである。ここで、番組推薦装置１は、推薦番組の番組タイトル、番組内容等の推薦番組情報をテレビ２やタブレット端末３に出力する。
この番組推薦装置１については、詳細を後記する。
【００３０】
テレビ（表示装置）２は、放送番組（コンテンツ）を表示するものであり、液晶ディスプレイ、プラズマディスプレイ、エレクトロルミネッセンスディスプレイ等の一般的なディスプレイである。このテレビ２は、タブレット端末３から入力された操作指令信号に応じて、チャンネルの選局、音量ボリュームの大小等の各種テレビ操作が行われる。また、テレビ２は、番組推薦装置１から入力された推薦番組情報をその表示画面に表示する。
以後の説明では、視聴者Ｈが視聴している放送番組を「視聴番組」と呼ぶ。
【００３１】
タブレット端末（操作端末）３は、視聴者Ｈの操作に応じて、テレビ２に操作指令信号を出力するものである。また、タブレット端末３は、ネットワーク通信機能を有し、サーチエンジン等のインターネット上のサービスを利用できる。つまり、タブレット端末３は、テレビ２のリモコン機能と、情報通信端末機能とを備えている。さらに、タブレット端末３は、番組推薦装置１から入力された推薦番組情報をその表示画面に表示する。
【００３２】
センサカメラ４は、例えば、放送番組を視聴している視聴者Ｈを撮影するＣＣＤ（Charge Coupled Device）カメラである。つまり、センサカメラ４は、視聴者Ｈの視聴状況を示す視聴者撮影映像（人物撮影映像）を撮影して、番組推薦装置１に出力する。
【００３３】
ここで、センサカメラ４は、テレビ２の上部中央に配置され、テレビ２と同じ方向を向いていることとする。また、視聴者Ｈは、テレビ２の正面に位置することとする。従って、センサカメラ４は、視聴者Ｈを正面から撮影することになる。
【００３４】
また、センサカメラ４で撮影する視聴者撮影映像と、テレビ２に表示する放送番組とは、例えば、タイムコード等で同期させておく。そして、番組推薦装置１は、視聴者撮影映像から関心度を推定したとき、この関心度とこの視聴者撮影映像とをタイムコードで対応づけておく。このようにして、番組推薦装置１は、視聴番組の何れの時刻で、どの程度の関心度が推定されたかを提示できる。
【００３５】
［番組推薦装置の構成］
図２を参照して、番組推薦装置１の構成について説明する（適宜図１参照）。
図２に示すように、番組推薦装置１は、視聴者Ｈに推薦番組情報を提示するものであり、関心度推定装置１０と、番組ＤＢ４０と、番組推薦手段５０とを備える。
【００３６】
関心度推定装置１０は、視聴者撮影映像を用いて、視聴番組に対する視聴者Ｈの関心度を推定するものであり、視聴状況判定手段２０と、関心度推定手段３０とを備える。ここで、関心度推定装置１０は、センサカメラ４から視聴者撮影映像が入力され、タブレット端末３から端末操作情報（操作指令信号）が入力される。
【００３７】
視聴状況判定手段２０は、入力された視聴者撮影映像から視聴状況を判定するものであり、顔認識手段２１と、顔方向判定手段２２と、表情判定手段２３と、動作判定手段２４と、端末操作判定手段２５とを備える。
【００３８】
顔認識手段２１は、視聴者撮影映像に顔認識処理を施すことで、視聴者Ｈの顔領域画像を抽出するものである。例えば、顔認識手段２１は、特開２００５−２０８８５０号公報に記載された顔認識処理を利用できる。この特開２００５−２０８８５０号公報に記載の顔認識処理では、各利用者の顔画像を予め登録（登録顔画像）し、視聴者撮影映像の顔画像と、登録顔画像との特徴点配置情報に基づいて、出現確率が最大となる利用者を視聴者Ｈとして認識する。このとき、顔認識手段２１は、顔認識処理により識別した視聴者Ｈごとに、一意となる視聴者ＩＤを割り当ててもよい。
【００３９】
顔方向判定手段２２は、顔認識手段２１で抽出された顔領域画像に顔方向検出処理を施すことで、視聴者Ｈの顔方向を求めるものである。例えば、顔方向判定手段２２は、顔方向検出処理として、特開２０１１−３９８６９号公報に記載された［顔領域検出・照合処理］及び［特徴点の三次元位置・頭部姿勢推定処理］を利用できる。この特開２０１１−３９８６９号公報に記載の顔方向検出処理では、顔領域画像から二次元の特徴点位置を推定し、この二次元の特徴点位置から三次元の特徴点位置と頭部姿勢とを対応付けて推定する。
【００４０】
そして、顔方向判定手段２２は、視聴者Ｈの顔がテレビ２に向いているか否かによって、視聴者Ｈによるコンテンツの視聴の有無を判定する。例えば、顔方向判定手段２２は、テレビ２の正面を基準として、求めた顔方向が予め設定された正面範囲（上下左右に１０°）内であれば、視聴者Ｈの顔がテレビ２に向いており、「視聴が有り」と判定する。一方、顔方向判定手段２２は、テレビ２の正面を基準として、顔方向が正面範囲内でなければ、視聴者Ｈの顔がテレビ２に向いておらず、「視聴が無し」と判定する。
なお、視聴者Ｈがテレビ２の正面から左右にずれて位置する場合、その位置ずれ量を考慮して、顔方向の判定を行うことが好ましい。
【００４１】
表情判定手段２３は、顔認識手段２１で抽出された顔領域画像に表情判定処理を施すことで、視聴者Ｈの表情の有無を判定するものである。例えば、表情判定手段２３は、表情判定処理として、特開平３−２５２７７５号公報に記載の発明を利用できる。この特開平３−２５２７７５号公報に記載の表情判定処理では、喜怒哀楽等の様々な表情パターンが予め蓄積され、この顔領域画像が類似する表情パターンを検索する。そして、表情判定手段２３は、この顔領域画像が何れかの表情パターンに該当する場合、「表情が有り」と判定する。一方、表情判定手段２３は、顔領域画像が何れかの表情パターンにも該当しない場合、「表情が無し」と判定する。
【００４２】
この他、表情判定手段２３は、表情判定処理として、下記の参考文献に記載の技術を利用することもできる。
参考文献：「テレビ視聴者の興味状態推定に向けた顔表情変化度測定」、奥田誠他、電子情報通信学会、第１０回情報科学技術フォーラム（FIT2011）、第３分冊、２０１１年９月８日、J-019、p.569-570
【００４３】
動作判定手段（視聴判定手段）２４は、視聴者撮影映像に対して動作判定処理を施すことで、視聴者Ｈの動作の有無を判定するものである。例えば、動作判定手段２４は、動作判定処理として、一般的な背景差分法を利用できる。そして、動作判定手段２４は、視聴者Ｈが動いている場合、「動作が有り」と判定する。一方、動作判定手段２４は、視聴者Ｈが動いていない場合、「動作が無し」と判定する。
【００４４】
端末操作判定手段２５は、端末操作情報が入力されたか否かによって、視聴者Ｈによる操作端末の操作の有無を判定するものである。ここで、端末操作判定手段２５は、端末操作情報が入力された場合、「操作が有り」と判定する。一方、端末操作判定手段２５は、端末操作情報が入力されない場合、「操作が無し」と判定する。
【００４５】
その後、視聴状況判定手段２０は、顔方向判定手段２２で判定された視聴の有無と、表情判定手段２３で判定された表情の有無と、動作判定手段２４で判定された動作の有無と、端末操作判定手段２５で判定された操作の有無との判定結果（以後、「各種判定結果」と略記）を、関心度推定手段３０に出力する。
【００４６】
なお、顔方向判定手段２２、表情判定手段２３、動作判定手段２４及び端末操作判定手段２５は、それぞれ、任意の時間間隔で判定を行うことができる。以後、この時間間隔を「サンプリング時間」と呼ぶ。例えば、顔方向判定手段２２、表情判定手段２３、動作判定手段２４及び端末操作判定手段２５は、同一のサンプリング時間でもよく、全く異なるサンプリング時間でもよい。
【００４７】
関心度推定手段３０は、視聴状況判定手段２０で判定された視聴状況（各種判定結果）に基づいて、関心度を推定するものであり、関心度計算手段３１と、関心度判定手段３２とを備える。ここで、関心度推定手段３０は、視聴状況判定手段２０から各種判定結果が入力される。
【００４８】
関心度計算手段３１は、予め設定された計算時間ｔｍごとに、入力された各種判定結果が、後記する関心視聴条件を満たす場合、関心度に所定の定数を加算し、この各種判定結果が、後記する無関心視聴条件を満たす場合、関心度から所定の定数を減算するものである。本実施形態では、関心度計算手段３１は、下記の式（１）から式（５）を用いて、関心度を計算する。
【００４９】
【数１】
【００５０】
【数２】
【００５１】
【数３】
【００５２】
【数４】
【００５３】
【数５】
【００５４】
前記した各式では、‘Ｓ（ｔ）’は、時間ｔにおける視聴の有無であり、その値が１であれば「視聴が有り」を示し、その値が０であれば「視聴が無し」を示す。
‘Ｍｓ（ｔ）’は、時間ｔにおける動作の有無であり、その値が１であれば「動作が無し」を示し、その値が０であれば「動作が有り」を示す。
‘Ｅｘ（ｔ）’は、時間ｔにおける表情の有無であり、その値が１であれば「表情が有り」を示し、その値が０であれば「表情が無し」を示す。
‘Ｐ（ｔ）’は、時間ｔにおける操作の有無であり、その値が１であれば「操作が有り」を示し、その値が０であれば「操作が無し」を示す。
‘Ｉｎｔｅｒｅｓｔ’は、関心度であり、所定の初期値（例えば、０）が設定される。
【００５５】
また、前記の各式では、Ｋｃ，Ｋｓ，Ｋｕ，Ｋｖは、予め設定された定数である。これら定数Ｋｃ，Ｋｓ，Ｋｕ，Ｋｖは、視聴者Ｈごとに異なる値を設定できる。
ここで、視聴者Ｈがタブレット端末３を操作していても、視聴者Ｈが視聴番組に関心を持っていないと判定するのが困難なケースもある。この場合、有操作時減算定数Ｋｖを０に設定してもよい。
【００５６】
また、前記の各式では、‘ｉｆ’は、その後段に記載された条件を満たすか否かを判定する関数である。
‘＆＆’はＡＮＤ（論理積）を示す。
‘｜｜’はＯＲ（論理和）を表す。
’Ｔｅ’は、関心度を推定するタイミング（時間）を示す。
【００５７】
具体的に、関心度計算手段３１は、視聴者Ｈが視聴番組に関心を持つことを示す関心視聴条件として、高関心時視聴条件が予め設定されている。この高関心時視聴条件は、式（１）の‘ｉｆ’の後段のように、「視聴が有り」、かつ、「動作が無し」又は「表情が有り」を示している。そして、関心度計算手段３１は、式（１）及び式（５）に示すように、各種判定結果がこの高関心時視聴条件を満たす場合、高関心時加算定数Ｋｃ（例えば、３）を関心度に加算する。
【００５８】
また、関心度計算手段３１は、関心視聴条件として、「視聴が有り」、かつ、「動作が有り」、かつ、「表情が無し」を示す低関心時視聴条件が予め設定されている（式（２）の‘ｉｆ’の後段）。そして、関心度計算手段３１は、式（２）及び式（５）に示すように、各種判定結果がこの低関心時視聴条件を満たす場合、低関心時加算定数Ｋｓ（例えば、１）を関心度に加算する。
【００５９】
ここで、視聴者Ｈが視聴番組に高い関心を持っていると、手が止まっていたり、表示装置に向いたり、嬉しそうに笑っていることが多いと考えられる。このとき、視聴者Ｈが嬉しそうに笑っていると、身体が動いていることもある。つまり、高関心時視聴条件を満たす場合の方が、低関心時視聴条件を満たす場合よりも、視聴者Ｈが視聴番組に高い関心を持っていると考えられる。従って、関心度計算手段３１は、低関心時加算定数Ｋｓを高関心時加算定数Ｋｃ以下の値で設定し、各種判定結果が高関心時視聴条件を満たす場合、関心度を大きく増加させることが好ましい。
【００６０】
また、関心度計算手段３１は、視聴者Ｈが視聴番組に関心を持たないことを示す無関心視聴条件として、無操作時無関心視聴条件が予め設定されている。この無操作時無関心視聴条件は、式（３）の‘ｉｆ’の後段のように、「視聴が無し」かつ、「操作が無し」を示している。そして、関心度計算手段３１は、式（３）及び式（５）に示すように、各種判定結果が無操作時無関心視聴条件を満たす場合、無操作時減算定数Ｋｕ（例えば、３）を関心度から減算する。
【００６１】
さらに、関心度計算手段３１は、無関心視聴条件として、「視聴が無し」、かつ、「操作が有り」を示す有操作時無関心視聴条件が予め設定されている（式（４）の‘ｉｆ’の後段）。そして、関心度計算手段３１は、式（４）及び式（５）に示すように、各種判定結果がこの有操作時無関心視聴条件を満たす場合、有操作時減算定数Ｋｖ（例えば、１）を関心度から減算する。
【００６２】
ここで、関心度計算手段３１は、前記した計算時間ｔｍとサンプリング時間との関係を考慮して、関心度を計算することが好ましい。以下、下記の式（１）〜式（５）のうち、式（１）及び式（５）だけに着目して、関心度計算の第１例〜第４例について説明する（適宜図２参照）。
【００６３】
＜関心度計算の第１例＞
図３を参照して、関心度計算の第１例について説明する（適宜図２参照）。
以下の具体例では、顔方向判定手段２２のサンプリング時間が２秒であり、動作判定手段２４のサンプリング時間が３秒であり、表情判定手段２３のサンプリング時間が６秒であることとする。言い換えるなら、視聴の有無が２秒ごとに判定され、動作の有無が３秒ごとに判定され、表情の有無が６秒ごとに判定される。
【００６４】
図３では、計算時間ｔｍが１秒であり、判定結果に応じて関心度に加算する値を加算値として図示した。
また、図３では、上から順番に、視聴の有無、動作の有無及び表情の有無を図示した。これら判定結果の値は、式（１）と同様の意味である。
従って、時間ｔ＝０，１，６−９のとき「視聴が有り」で、時間ｔ＝２−５，１０，１１のとき「視聴が無し」である。
また、時間ｔ＝０−２，９−１１のとき「動作が無し」で、時間ｔ＝３−８のとき「動作が有り」である。
さらに、時間ｔ＝０−５のとき「表情が有り」で、時間ｔ＝６−１１のとき「表情が無し」である。
【００６５】
この第１例では、関心度計算手段３１は、計算時間ｔｍが計時単位（秒単位）のため、視聴の有無、動作の有無及び表情の有無をそのまま利用して、関心度を計算する。
図３の符合αに示すように、時間ｔ＝０では、Ｓ（０）＝１、Ｍｓ（０）＝１、Ｅｘ（０）＝１である。従って、関心度計算手段３１は、高関心時視聴条件（式（１）参照）を満たすため、高関心時加算定数Ｋｃ（例えば、３）を関心度に加算する。
【００６６】
また、図３の符合βに示すように、時間ｔ＝２では、Ｓ（２）＝０、Ｍｓ（２）＝１、Ｅｘ（２）＝１である。従って、関心度計算手段３１は、高関心時視聴条件を満たさないため、高関心時加算定数Ｋｃを関心度に加算しない（つまり、０を加算）。
なお、時間ｔ＝２ではＳ（２）＝０のため、式（３）の無操作時無関心視聴条件、又は、式（４）の有操作時無関心視聴条件の何れかを満たすことになる。
【００６７】
さらに、図３の符合γに示すように、時間ｔ＝９では、Ｓ（９）＝１、Ｍｓ（９）＝１、Ｅｘ（９）＝０である。従って、関心度計算手段３１は、高関心時視聴条件を満たすため、高関心時加算定数Ｋｃを関心度に加算する。
なお、第１例では、時間ｔ＝０，２，９のみ説明したが、残りの時間ｔについても同様に計算することは言うまでもない。
【００６８】
＜関心度計算の第２例＞
図４を参照して、関心度計算の第２例について説明する（適宜図２参照）。
図４では、計算時間ｔｍが５秒である。
【００６９】
第２例では、関心度計算手段３１は、計算時間ｔｍがサンプリング時間を越えるため、視聴の有無と、動作の有無と、表情の有無とを、計算時間ｔｍで区切る。そして、関心度計算手段３１は、計算時間ｔｍに区切った視聴の有無について、１秒（１回）でも「視聴が有り」が出現したら「視聴が有り」として扱い、これ以外を「視聴が無し」として扱う。また、関心度計算手段３１は、計算時間ｔｍに区切った動作の有無について、１秒（１回）でも「動作が無し」が出現したら「動作が無し」として扱い、これ以外を「動作が有り」として扱う。さらに、関心度計算手段３１は、計算時間ｔｍに区切った表情の有無について、１秒（１回）でも「表情が有り」が出現したら「表情が有り」として扱い、これ以外を「表情が無し」として扱う。
【００７０】
具体的に、時間ｔ＝０−４の間では、Ｓ（０，１）＝１なので、Ｓ（０−４）＝１として扱う。また、Ｍｓ（０−３）＝１なので、Ｍｓ（０−４）＝１として扱う。さらに、Ｅｘ（０−４）＝１である。従って、関心度計算手段３１は、高関心時視聴条件を満たすため、高関心時加算定数Ｋｃを関心度に加算する。
【００７１】
時間ｔ＝５−９では、Ｓ（６−９）＝１なので、Ｓ（５−９）＝１として扱う。また、Ｍｓ（９）＝１なので、Ｍｓ（５−９）＝１として扱う。さらに、Ｅｘ（５）＝１なので、Ｅｘ（５−９）＝１として扱う。従って、関心度計算手段３１は、高関心時視聴条件を満たすため、高関心時加算定数Ｋｃを関心度に加算する。
【００７２】
＜関心度計算の第３例＞
図５を参照して、関心度計算の第３例について説明する（適宜図２参照）。
第３例では、関心度計算手段３１は、第２例と同様、視聴の有無と、動作の有無と、表情の有無とを、計算時間ｔｍで区切る。
【００７３】
そして、関心度計算手段３１は、計算時間ｔｍに区切った視聴の有無について、全て「視聴が有り」が出現したときのみ「視聴が有り」として扱い、これ以外を「視聴が無し」として扱う。また、関心度計算手段３１は、計算時間ｔｍに区切った動作の有無について、全て「動作が無し」が出現したときのみ「動作が無し」として扱い、これ以外を「動作が有り」として扱う。さらに、関心度計算手段３１は、計算時間ｔｍに区切った表情の有無について、全て「表情が有り」が出現したときのみ「表情が有り」として扱い、これ以外を「表情が無し」として扱う。
【００７４】
具体的に、時間ｔ＝０−４では、Ｓ（２−４）≠１なので、Ｓ（０−４）＝０として扱う。また、Ｍｓ（３，４）≠１なので、Ｍｓ（０−４）＝０として扱う。さらに、Ｅｘ（０−４）＝１である。従って、関心度計算手段３１は、高関心時視聴条件を満たさないため、高関心時加算定数Ｋｃを関心度に加算しない。
【００７５】
時間ｔ＝５−９では、Ｓ（５）≠１なので、Ｓ（５−９）＝０として扱う。また、Ｍｓ（５−８）≠１なので、Ｍｓ（５−９）＝０として扱う。さらに、Ｅｘ（６−９）≠１なので、Ｅｘ（５−９）＝０として扱う。従って、関心度計算手段３１は、高関心時視聴条件を満たさないため、高関心時加算定数Ｋｃを関心度に加算しない。
【００７６】
＜関心度計算の第４例＞
図６を参照して、関心度計算の第４例について説明する（適宜図２参照）。
第４例では、関心度計算手段３１は、第２例と同様、視聴の有無と、動作の有無と、表情の有無とを、計算時間ｔｍで区切る。そして、関心度計算手段３１は、計算時間ｔｍに区切った視聴の有無と、動作の有無と、表情の有無とについて、それぞれの最頻値を判定結果とする。
【００７７】
具体的に、時間ｔ＝０−４では、Ｓ（０，１）＝１の２秒間（２回）に対して、Ｓ（２−４）＝０の３秒間（３回）であるから、最頻値が０になり、Ｓ（０−４）＝０として扱う。また、Ｍｓ（０−２）＝１の３秒間（３回）に対して、Ｍｓ（３，４）＝０の２秒間（２回）であるから、最頻値が１になり、Ｍｓ（０−４）＝１として扱う。さらに、Ｅｘ（０−４）＝１の５秒間（５回）であるから、最頻値が１になり、Ｅｘ（０−４）＝１として扱う。
【００７８】
時間ｔ＝５−９では、Ｓ（６−９）＝１の４秒間に対して、Ｓ（５）＝０の１秒間であるから、最頻値が１になり、Ｓ（５−９）＝１として扱う。また、Ｍｓ（９）＝１の１秒間に対して、Ｍｓ（５−８）＝０の４秒間であるから、最頻値が０になり、Ｍｓ（５−９）＝０として扱う。さらに、Ｅｘ（５）＝１の１秒間に対して、Ｅｘ（６−９）＝０の４秒間であるから、最頻値が０になり、Ｅｘ（５−９）＝０として扱う。
【００７９】
つまり、第４例の手法は、計算時間ｔｍごとにＳ（ｔ）、Ｍｓ（ｔ）及びＥｘ（ｔ）の平均値を求め、それぞれの平均値が０又は１の何れに近いかを判定し、近いと判定された値を判定結果として扱うことと等価である。
【００８０】
なお、式（１）及び式（５）だけに着目したが、関心度計算手段３１は、残りの式（２）、式（３）及び式（４）についても、第１例〜第４例と同様に計算を行う。
また、関心度計算手段３１は、第１例〜第４例の何れの手法で関心度計算を行うか、予め設定しておく。
また、関心度計算手段３１は、第１例〜第４例の手法を、視聴者ごと及び判定結果ごとに組み合わせることもできる。例えば、関心度計算手段３１は、視聴者Ｈが‘父親’の場合には第２例の手法を適用し、視聴者Ｈが‘母親’の場合には第３例の手法を適用できる。また、例えば、関心度計算手段３１は、視聴の有無（Ｓ（ｔ））には第２例の手法を適用し、動作の有無（Ｍｓ（ｔ））には第３例の手法を適用できる。
【００８１】
図２に戻り、番組推薦装置１の構成について説明を続ける。
視聴者Ｈが視聴番組に高い関心を持っていたとしても、一定時間以上、その視聴者Ｈがテレビ２に向いていない状態が継続すれば、視聴番組に関心を急に失ったと考えられる。一方、視聴者Ｈが視聴番組に関心を持っていなかったとしても、その視聴者Ｈがテレビ２に向いた場合、視聴番組に関心を急に持ち始めたと考えられる。
【００８２】
このように、関心度計算手段３１は、視聴者Ｈの関心が急に変化した場合、その変化を関心度の推定結果に反映させるべく、関心度をリセットすることが好ましい。このため、関心度計算手段３１は、関心度をリセットする関心度リセット手段３１ａを備える。
【００８３】
関心度リセット手段３１ａは、予め設定されたリセット時間ｔｇよりも長い間、関心度計算手段３１で計算された関心度が０を超え、かつ、判定結果が無操作時無関心視聴条件を満たす場合、関心度を初期値にリセットするものである。このリセット時間ｔｇは、例えば、視聴者Ｈが視聴番組に関心を持っている場合でも、短時間よそ見等をすることがあり、その時間を考慮したものである。
また、関心度リセット手段３１ａは、関心度が０未満であり、かつ、「視聴が有り」の場合にも、関心度を初期値にリセットする。
【００８４】
つまり、関心度リセット手段３１ａは、下記の式（６）を満たす場合、下記の式（７）で定義されるように、関心度を初期値（例えば、０）にリセットする。
このとき、関心度リセット手段３１ａは、高関心時視聴条件、低関心時視聴条件、無操作時無関心視聴条件及び有操作時無関心視聴条件の何れかで関心度を１回リセットすると、別条件を満たすと判定された後でなければ、同一条件で関心度を再度リセットしない。
【００８５】
【数６】
【００８６】
【数７】
【００８７】
関心度判定手段３２は、関心度計算手段３１で計算された関心度が予め設定された上限閾値を超える時間帯を、視聴番組での高関心視聴区間として判定するものである。
また、関心度判定手段３２は、関心度が予め設定された下限閾値未満となる時間帯を、視聴番組での無関心視聴区間として判定する。
なお、上限閾値及び下限閾値は、任意の値で設定可能であり、視聴者Ｈごとに異なる値を設定してもよい。
【００８８】
＜関心度の推定結果の具体例＞
図７を参照して、関心度の推定結果について、具体的に説明する。
図７は、上段に各種判定結果を示す３つの棒グラフを図示し、下段に時間の経過に伴う関心度の変化を図示した。
図７の横軸は時間ｔを表しており、その中で特定の時間をＴ０，Ｔ１，・・・，Ｔ８というように図示した。
【００８９】
図７上段の棒グラフは、上から順に、動作の有無及び表情の有無と、視聴の有無と、操作の有無との判定結果をそれぞれ表す。
上の棒グラフでは、「動作が無し」又は「表情が有り」の時間帯をハッチングし、「動作が有り」、かつ、「表情が無し」の時間帯を白塗りにした。
中央の棒グラフでは、「視聴が有り」の時間帯をハッチングし、「視聴が無し」の時間帯を白塗りにした。
下の棒グラフでは、「操作が有り」の時間帯をハッチングし、「操作が無し」の時間帯を白塗りにした。
【００９０】
時間Ｔ０において、関心度計算手段３１は、初期値から関心度の推定を開始する。時間Ｔ０〜Ｔ１の間では、「視聴が有り」、かつ、「動作が有り」、かつ、「表情が無し」のため、式（２）の低関心時視聴条件を満たす。この間、関心度計算手段３１は、関心度に低関心時加算定数Ｋｓを加算し続ける。つまり、視聴者Ｈの顔がテレビ２を向き、動作が有り、表情が無いとき、関心度が徐々に高まることになる。
【００９１】
また、時間Ｔ０〜Ｔ１の間、関心度判定手段３２は、関心度が上限閾値を超えておらず、かつ、下限閾値未満でもないため、この時間帯を高関心視聴区間及び無関心視聴区間の何れとも判定しない。
【００９２】
時間Ｔ１〜Ｔ３では、「視聴が有り」、かつ、「動作が無し」又は「表情が有り」のため、式（１）の高関心時視聴条件を満たす。この間、関心度計算手段３１は、関心度に高関心時加算定数Ｋｃを加算し続ける。つまり、視聴者Ｈの顔がテレビ２を向き、動作が無いか又は表情が有るとき、関心度が大いに高まることになる。
ここで、時間Ｔ２において、関心度判定手段３２は、関心度が上限閾値を超えるため、時間Ｔ２以降を高関心視聴区間として判定する。
【００９３】
時間Ｔ３〜Ｔ４の間では、式（２）の低関心時視聴条件を満たす。従って、この間、関心度計算手段３１は、関心度に低関心時加算定数Ｋｓを加算し続ける。つまり、時間Ｔ３〜Ｔ４の間、関心度は、時間Ｔ０〜Ｔ１の間と同じ割合で増加することになる。
【００９４】
時間Ｔ４〜Ｔ５の間では、「視聴が無し」、かつ、「操作が有り」のため、式（４）の有操作時無関心視聴条件を満たす。この間、関心度計算手段３１は、関心度から有操作時減算定数Ｋｖを減算し続ける。つまり、視聴者Ｈの顔がテレビ２を向いておらず、タブレット端末３を操作しているとき、関心度が徐々に低下することになる。
【００９５】
時間Ｔ５以後、「視聴が無し」かつ、「操作が無し」のため、式（３）の無操作時無関心視聴条件を満たす。この間、関心度計算手段３１は、関心度から無操作時減算定数Ｋｕを減算し続ける。つまり、視聴者Ｈの顔がテレビ２を向いておらず、タブレット端末３を操作していないとき、関心度が大いに低下することになる。
【００９６】
そして、時間Ｔ５からリセット時間ｔｇを経過するまで（時間Ｔ６）、この無操作時無関心視聴条件を満たす状態が継続する。この場合、時間Ｔ６において、関心度リセット手段３１ａは、式（６）を満たすため、関心度を初期値にリセットする。
このとき、時間Ｔ２で上限閾値を超えていた関心度が、この時間Ｔ６を堺に上限閾値を超えなくなる。このため、関心度判定手段３２は、時間Ｔ６までを高関心視聴区間として判定する。従って、時間Ｔ２以後、時間Ｔ６までの間が、高関心視聴区間となる。
【００９７】
リセットが行われた時間Ｔ６以後、関心度計算手段３１は、関心度の初期値から無操作時減算定数Ｋｕを減算し続ける。つまり、時間Ｔ６以降、関心度は、時間Ｔ５〜Ｔ６の間と同じ割合で減少することになる。
【００９８】
なお、時間Ｔ６以降も式（６）を満たす状態が継続している。その一方、時間Ｔ６以降、無操作時無関心視聴条件が継続しており、この無操作時無関心視聴条件以外の別条件を満たすと判定されていない。このため、関心度リセット手段３１ａは、関心度を再度リセットしない。
【００９９】
ここで、時間Ｔ７において、関心度判定手段３２は、関心度が下限閾値を超えるため、時間Ｔ７以降を無関心視聴区間として判定する。さらに、時間Ｔ８で関心度の推定を終了するため、無関心視聴区間が時間Ｔ８で終了する。従って、時間Ｔ７以後、時間Ｔ８までの間が、無関心視聴区間となる。
【０１００】
その後、関心度推定手段３０は、関心度の推定結果として、関心度計算手段３１で計算された関心度と、関心度判定手段３２で判定された高関心視聴区間及び無関心視聴区間とを、番組推薦手段５０に出力する。
【０１０１】
図２に戻り、番組推薦装置１の構成について説明を続ける。
番組ＤＢ４０は、放送番組の番組情報及び字幕を予め格納するデータベースである。ここで、番組ＤＢ４０は、例えば、放送波から番組情報及び字幕を取得することで、構築可能である。
【０１０２】
ここで、番組情報とは、放送番組の内容に関するテキストを含むデータであり、例えば、ジャンル、電子番組ガイドデータ（EPG:Electronic Program Guide）、ウェブページデータ、及び、クローズドキャプションデータ（CC:Closed Caption）が含まれる。
また、字幕とは、放送番組の字幕データのことであり、テレビ２に表示されていない字幕も含まれる。
【０１０３】
番組推薦手段５０は、関心度の推定結果に基づいて、視聴者Ｈに推薦番組情報を提示するものであり、高関心視聴区間番組情報抽出手段５１と、無関心視聴区間番組情報抽出手段５２と、推薦番組検索手段５３と、推薦番組提示手段５４とを備える。また、番組推薦手段５０は、関心度推定手段３０から、関心度の推定結果（関心度の値、高関心視聴区間及び無関心視聴区間）が入力される。さらに、番組推薦手段５０は、テレビ２から、視聴番組と、この視聴番組の番組情報及び字幕とが入力される。
【０１０４】
高関心視聴区間番組情報抽出手段５１は、視聴番組の高関心視聴区間において、番組情報と字幕とを抽出するものである。
なお、高関心視聴区間番組情報抽出手段５１は、字幕だけでなく、文字認識技術によって、番組中の文字スーパーを抽出してもよい。さらに、高関心視聴区間番組情報抽出手段５１は、顔認識技術によって、視聴番組の出演者の情報を抽出してもよい。これら文字スーパーや出演者の情報は、推薦番組の検索及び提示に利用できる。
【０１０５】
無関心視聴区間番組情報抽出手段５２は、視聴番組の無関心視聴区間において、番組情報と字幕とを抽出するものである。
この無関心視聴区間番組情報抽出手段５２は、高関心視聴区間ではなく無関心視聴区間を処理対象とする以外、高関心視聴区間番組情報抽出手段５１と同様のため、詳細な説明を省略する。
【０１０６】
推薦番組検索手段５３は、高関心視聴区間番組情報抽出手段５１で抽出された高関心視聴区間の字幕に基づいて、番組検索技術によって推薦番組を検索するものである。例えば、推薦番組検索手段５３は、特開２０１１−４３９０８号公報に記載の番組検索技術を用いて、高関心視聴区間の字幕を検索条件として、推薦番組を検索できる。
【０１０７】
また、推薦番組検索手段５３は、無関心視聴区間番組情報抽出手段５２で抽出された無関心視聴区間での番組情報（ジャンル）に基づいて、番組検索技術によって推薦番組を検索するものである。例えば、推薦番組検索手段５３は、無関心視聴区間で抽出されたジャンルと近いジャンルの放送番組を、推薦番組として検索する。また、推薦番組検索手段５３は、無関心視聴区間で抽出されたジャンルと全く異なるジャンルの放送番組を、推薦番組として検索してもよい。
【０１０８】
推薦番組提示手段５４は、推薦番組検索手段５３で検索された推薦番組について、番組ＤＢ４０を参照して、その番組タイトル等の推薦番組情報を取得する。そして、推薦番組提示手段５４は、取得した推薦番組情報をテレビ２やタブレット端末３に出力することで、この推薦番組情報を視聴者Ｈに提示するものである。
【０１０９】
このとき、推薦番組提示手段５４は、関心度の推定結果に応じて、推薦番組情報を提示することが好ましい。例えば、推薦番組提示手段５４は、図７の高関心視聴区間では、この高関心視聴区間で抽出された字幕に基づいて推薦番組情報を提示する。また、推薦番組提示手段５４は、図７の無関心視聴区間では、この無関心視聴区間で抽出されたジャンルに基づいて推薦番組情報を提示してもよい。
【０１１０】
また、推薦番組提示手段５４は、視聴者Ｈの年齢等の属性情報を予め設定し、この属性情報を考慮して、推薦番組情報を提示してもよい。例えば、推薦番組提示手段５４は、視聴者Ｈが子供であれば、子供向け放送番組を推薦し、視聴者Ｈが老人であれば、大きな文字サイズで推薦番組情報を提示する。
【０１１１】
さらに、推薦番組提示手段５４は、タブレット端末３に推薦番組の関連キーワードを出力してもよい。これによって、視聴者Ｈは、タブレット端末３に関連キーワードを手入力することなく、サーチエンジンによって関連キーワードを検索することができる。
【０１１２】
ここで、視聴番組に関心が高い視聴者Ｈ１と、この視聴番組に関心が無い視聴者Ｈ２というように、視聴者Ｈが複数いる場合を考える。この場合、推薦番組提示手段５４は、視聴者Ｈ１，Ｈ２に対する推薦番組のＡＮＤ（論理積）を取って、視聴者Ｈ１，Ｈ２に共通する推薦番組情報を提示する（何の推薦番組情報を提示しないこともある）。また、推薦番組提示手段５４は、視聴者Ｈ１，Ｈ２に対する推薦番組のＯＲ（論理和）を取って、視聴者Ｈ１，Ｈ２に対する全ての推薦番組情報を提示してもよい。
【０１１３】
［番組推薦装置の動作］
図８を参照して、番組推薦装置１の動作について説明する（適宜図２参照）。
番組推薦装置１は、顔認識手段２１によって、視聴者撮影映像に顔認識処理を施すことで、視聴者Ｈの顔領域画像を抽出する（ステップＳ１）。
【０１１４】
番組推薦装置１は、顔方向判定手段２２によって、顔領域画像に顔方向検出処理を施すことで、視聴者Ｈの顔方向を求める。そして、番組推薦装置１は、顔方向判定手段２２によって、視聴者Ｈの顔がテレビ２に向いているか否かによって、視聴者Ｈによるコンテンツの視聴の有無を判定する（ステップＳ２）。
【０１１５】
番組推薦装置１は、表情判定手段２３によって、顔領域画像に表情判定処理を施すことで、視聴者Ｈの表情の有無を判定する（ステップＳ３）。
番組推薦装置１は、動作判定手段２４によって、視聴者撮影映像に対して動作判定処理を施すことで、視聴者Ｈの動作の有無を判定する（ステップＳ４）。
番組推薦装置１は、端末操作判定手段２５によって、端末操作情報が入力されたか否かによって、視聴者Ｈによる操作の有無を判定する（ステップＳ５）。
【０１１６】
なお、ステップＳ２〜Ｓ４の処理は、ステップＳ１を実行した後であればその順番を問わず、並列に実行してもよい。
また、ステップＳ５の処理は、ステップＳ６の前に実行すれば、その順番を問わない。
【０１１７】
番組推薦装置１は、関心度計算手段３１によって、前記した式（１）から式（５）を用いて、関心度を計算する（ステップＳ６）。このとき、番組推薦装置１は、関心度リセット手段３１ａによって、前記した式（６）を満たす場合、前記した式（７）で定義されるように、関心度を初期値にリセットする（ステップＳ７）。
【０１１８】
番組推薦装置１は、関心度判定手段３２によって、関心度が上限閾値を超える時間帯を、視聴番組での高関心視聴区間として判定する。また、番組推薦装置１は、関心度判定手段３２によって、関心度が下限閾値未満となる時間帯を、視聴番組での無関心視聴区間として判定する（ステップＳ８）。
【０１１９】
番組推薦装置１は、高関心視聴区間番組情報抽出手段５１によって、視聴番組の高関心視聴区間において、番組情報と字幕とを抽出する（ステップＳ９）。
番組推薦装置１は、無関心視聴区間番組情報抽出手段５２によって、視聴番組の無関心視聴区間において、番組情報と字幕とを抽出する（ステップＳ１０）。
【０１２０】
番組推薦装置１は、推薦番組検索手段５３によって、高関心視聴区間の字幕や無関心視聴区間での番組情報（ジャンル）に基づいて、推薦番組を検索する（ステップＳ１１）。
番組推薦装置１は、推薦番組提示手段５４によって、推薦番組情報を視聴者Ｈに提示する（ステップＳ１２）。
【０１２１】
以上のように、本発明の実施形態に係る番組推薦装置１は、視聴者撮影映像から視聴状況を判定し、この実際の視聴状況に応じて関心度の値を増減するので、その関心度を高い精度で推定することができる。さらに、番組推薦装置１は、定数Ｋｃ，Ｋｓ，Ｋｕ，Ｋｖと、上限閾値及び下限閾値を視聴者Ｈごとに設定できる。このため、番組推薦装置１は、動作が多い、表情が激しく変化する等、視聴者Ｈごとの個人差が大きい場合でも、関心度を高い精度で推定することができる。
【０１２２】
また、番組推薦装置１は、関心度の変化に応じて番組を推薦するため、視聴者Ｈがより簡単に好みの番組にたどり着くことが可能となり、細やかな番組推薦を行うことができる。さらに、番組推薦装置１は、同一の放送番組を複数の視聴者Ｈが視聴した場合、視聴者Ｈごとに関心を持つシーンが異なるため、推薦番組も視聴者Ｈごとに異なり、個々の視聴者Ｈに対応した細やかな番組推薦を行うことができる。
【産業上の利用可能性】
【０１２３】
本発明に係る関心度推定装置及びそのプログラムは、視聴者への番組推薦に利用できる。
また、本発明に係る関心度推定装置及びそのプログラムは、放送番組や映画などのコンテンツでの関心度の変化を、制作者にフィードバックする用途にも利用できる。
さらに、本発明に係る関心度推定装置及びそのプログラムは、Ｅラーニング等の授業、講座において、生徒の関心度（集中度）を推定する用途にも利用できる。
【符号の説明】
【０１２４】
１ 番組推薦装置
２ テレビ（表示装置）
３ タブレット端末（操作端末）
４ センサカメラ
１０ 関心度推定装置
２０ 視聴状況判定手段
２１ 顔認識手段
２２ 顔方向判定手段（視聴判定手段）
２３ 表情判定手段
２４ 動作判定手段
２５ 端末操作判定手段
３０ 関心度推定手段
３１ 関心度計算手段
３２ 関心度判定手段
４０ 番組ＤＢ
５０ 番組推薦手段
５１ 高関心視聴区間番組情報抽出手段
５２ 無関心視聴区間番組情報抽出手段
５３ 推薦番組検索手段
５４ 推薦番組提示手段
１００ 番組推薦システム
Ｈ 視聴者（人物）
【特許請求の範囲】
【請求項１】
コンテンツを視聴する人物を撮影した人物撮影映像を用いて、前記コンテンツに対する前記人物の関心度を推定する関心度推定装置であって、
前記人物撮影映像が入力され、入力された前記人物撮影映像に顔認識処理を施すことで、前記人物の顔領域画像を抽出する顔認識手段と、
前記顔認識手段で抽出された顔領域画像に顔方向検出処理を施すことで前記人物の顔方向を求め、前記人物の顔が前記コンテンツを表示する表示装置に向いているか否かによって、前記人物による前記コンテンツの視聴の有無を判定する視聴判定手段と、
前記顔認識手段で抽出された顔領域画像に表情判定処理を施すことで、前記人物の表情の有無を判定する表情判定手段と、
前記人物撮影映像に対して動作判定処理を施すことで、前記人物の動作の有無を判定する動作判定手段と、
前記表示装置の操作端末からの操作指令信号を受信したか否かによって、前記人物による前記操作端末の操作の有無を判定する端末操作判定手段と、
予め設定された計算時間ごとに、前記視聴の有無と、前記動作の有無と、前記表情の有無と、前記操作の有無との判定結果が、予め設定された前記人物がコンテンツに関心を持つことを示す関心視聴条件を満たす場合、前記関心度に所定の定数を加算し、前記判定結果が、予め設定された前記人物が前記コンテンツに関心を持たないことを示す無関心視聴条件を満たす場合、前記関心度から所定の定数を減算する関心度計算手段と、
を備えることを特徴とする関心度推定装置。
【請求項２】
前記関心度計算手段は、
前記関心視聴条件として、前記視聴が有りで、かつ、前記動作が無し又は前記表情が有りを示す高関心時視聴条件と、前記視聴が有りで、かつ、前記動作が有りで、かつ、前記表情が無しを示す低関心時視聴条件とが予め設定され、
前記判定結果が前記高関心時視聴条件を満たす場合、予め設定された高関心時加算定数を前記関心度に加算し、前記判定結果が前記低関心時視聴条件を満たす場合、前記高関心時加算定数以下で予め設定された低関心時加算定数を前記関心度に加算し、
前記無関心視聴条件として、前記視聴が無しで、かつ、前記操作が無しを示す無操作時無関心視聴条件と、前記視聴が無しで、かつ、前記操作が有りを示す有操作時無関心視聴条件とが予め設定され、
前記判定結果が前記無操作時無関心視聴条件を満たす場合、予め設定された無操作時減算定数を前記関心度から減算し、前記判定結果が前記有操作時無関心視聴条件を満たす場合、予め設定された有操作時減算定数を前記関心度から減算することを特徴とする請求項１に記載の関心度推定装置。
【請求項３】
前記関心度計算手段は、
予め設定されたリセット時間よりも長い間、前記関心度計算手段で計算された関心度が０を超え、かつ、前記判定結果が前記無操作時無関心視聴条件を満たす場合、前記関心度を予め設定された初期値にリセットすると共に、
前記関心度が０未満であり、かつ、前記視聴が有りと判定された場合、前記関心度を前記初期値にリセットする関心度リセット手段、
を備えることを特徴とする請求項２に記載の関心度推定装置。
【請求項４】
前記関心度計算手段で計算された関心度が予め設定された上限閾値を超える時間帯を、前記コンテンツでの高関心視聴区間として判定すると共に、
前記関心度が予め設定された下限閾値未満となる時間帯を、前記コンテンツでの無関心視聴区間として判定する関心度判定手段、
をさらに備えることを特徴とする請求項２又は請求項３に記載の関心度推定装置。
【請求項５】
コンテンツを視聴する人物を撮影した人物撮影映像を用いて、前記コンテンツに対する前記人物の関心度を推定するために、コンピュータを、
前記人物撮影映像が入力され、入力された前記人物撮影映像に顔認識処理を施すことで、前記人物の顔領域画像を抽出する顔認識手段、
前記顔認識手段で抽出された顔領域画像に顔方向検出処理を施すことで前記人物の顔方向を求め、前記人物の顔が前記コンテンツを表示する表示装置に向いているか否かによって、前記人物による前記コンテンツの視聴の有無を判定する視聴判定手段、
前記顔認識手段で抽出された顔領域画像に表情判定処理を施すことで、前記人物の表情の有無を判定する表情判定手段、
前記人物撮影映像に対して動作判定処理を施すことで、前記人物の動作の有無を判定する動作判定手段、
前記表示装置の操作端末からの操作指令信号を受信したか否かによって、前記人物による前記操作端末の操作の有無を判定する端末操作判定手段、
予め設定された計算時間ごとに、前記視聴の有無と、前記動作の有無と、前記表情の有無と、前記操作の有無との判定結果が、予め設定された前記人物がコンテンツに関心を持つことを示す関心視聴条件を満たす場合、前記関心度に所定の定数を加算し、前記判定結果が、予め設定された前記人物が前記コンテンツに関心を持たないことを示す無関心視聴条件を満たす場合、前記関心度から所定の定数を減算する関心度計算手段、
として機能させるための関心度推定プログラム。
【請求項１】
コンテンツを視聴する人物を撮影した人物撮影映像を用いて、前記コンテンツに対する前記人物の関心度を推定する関心度推定装置であって、
前記人物撮影映像が入力され、入力された前記人物撮影映像に顔認識処理を施すことで、前記人物の顔領域画像を抽出する顔認識手段と、
前記顔認識手段で抽出された顔領域画像に顔方向検出処理を施すことで前記人物の顔方向を求め、前記人物の顔が前記コンテンツを表示する表示装置に向いているか否かによって、前記人物による前記コンテンツの視聴の有無を判定する視聴判定手段と、
前記顔認識手段で抽出された顔領域画像に表情判定処理を施すことで、前記人物の表情の有無を判定する表情判定手段と、
前記人物撮影映像に対して動作判定処理を施すことで、前記人物の動作の有無を判定する動作判定手段と、
前記表示装置の操作端末からの操作指令信号を受信したか否かによって、前記人物による前記操作端末の操作の有無を判定する端末操作判定手段と、
予め設定された計算時間ごとに、前記視聴の有無と、前記動作の有無と、前記表情の有無と、前記操作の有無との判定結果が、予め設定された前記人物がコンテンツに関心を持つことを示す関心視聴条件を満たす場合、前記関心度に所定の定数を加算し、前記判定結果が、予め設定された前記人物が前記コンテンツに関心を持たないことを示す無関心視聴条件を満たす場合、前記関心度から所定の定数を減算する関心度計算手段と、
を備えることを特徴とする関心度推定装置。
【請求項２】
前記関心度計算手段は、
前記関心視聴条件として、前記視聴が有りで、かつ、前記動作が無し又は前記表情が有りを示す高関心時視聴条件と、前記視聴が有りで、かつ、前記動作が有りで、かつ、前記表情が無しを示す低関心時視聴条件とが予め設定され、
前記判定結果が前記高関心時視聴条件を満たす場合、予め設定された高関心時加算定数を前記関心度に加算し、前記判定結果が前記低関心時視聴条件を満たす場合、前記高関心時加算定数以下で予め設定された低関心時加算定数を前記関心度に加算し、
前記無関心視聴条件として、前記視聴が無しで、かつ、前記操作が無しを示す無操作時無関心視聴条件と、前記視聴が無しで、かつ、前記操作が有りを示す有操作時無関心視聴条件とが予め設定され、
前記判定結果が前記無操作時無関心視聴条件を満たす場合、予め設定された無操作時減算定数を前記関心度から減算し、前記判定結果が前記有操作時無関心視聴条件を満たす場合、予め設定された有操作時減算定数を前記関心度から減算することを特徴とする請求項１に記載の関心度推定装置。
【請求項３】
前記関心度計算手段は、
予め設定されたリセット時間よりも長い間、前記関心度計算手段で計算された関心度が０を超え、かつ、前記判定結果が前記無操作時無関心視聴条件を満たす場合、前記関心度を予め設定された初期値にリセットすると共に、
前記関心度が０未満であり、かつ、前記視聴が有りと判定された場合、前記関心度を前記初期値にリセットする関心度リセット手段、
を備えることを特徴とする請求項２に記載の関心度推定装置。
【請求項４】
前記関心度計算手段で計算された関心度が予め設定された上限閾値を超える時間帯を、前記コンテンツでの高関心視聴区間として判定すると共に、
前記関心度が予め設定された下限閾値未満となる時間帯を、前記コンテンツでの無関心視聴区間として判定する関心度判定手段、
をさらに備えることを特徴とする請求項２又は請求項３に記載の関心度推定装置。
【請求項５】
コンテンツを視聴する人物を撮影した人物撮影映像を用いて、前記コンテンツに対する前記人物の関心度を推定するために、コンピュータを、
前記人物撮影映像が入力され、入力された前記人物撮影映像に顔認識処理を施すことで、前記人物の顔領域画像を抽出する顔認識手段、
前記顔認識手段で抽出された顔領域画像に顔方向検出処理を施すことで前記人物の顔方向を求め、前記人物の顔が前記コンテンツを表示する表示装置に向いているか否かによって、前記人物による前記コンテンツの視聴の有無を判定する視聴判定手段、
前記顔認識手段で抽出された顔領域画像に表情判定処理を施すことで、前記人物の表情の有無を判定する表情判定手段、
前記人物撮影映像に対して動作判定処理を施すことで、前記人物の動作の有無を判定する動作判定手段、
前記表示装置の操作端末からの操作指令信号を受信したか否かによって、前記人物による前記操作端末の操作の有無を判定する端末操作判定手段、
予め設定された計算時間ごとに、前記視聴の有無と、前記動作の有無と、前記表情の有無と、前記操作の有無との判定結果が、予め設定された前記人物がコンテンツに関心を持つことを示す関心視聴条件を満たす場合、前記関心度に所定の定数を加算し、前記判定結果が、予め設定された前記人物が前記コンテンツに関心を持たないことを示す無関心視聴条件を満たす場合、前記関心度から所定の定数を減算する関心度計算手段、
として機能させるための関心度推定プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−１０９５３７（Ｐ２０１３−１０９５３７Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５３３９６（Ｐ２０１１−２５３３９６）
【出願日】平成２３年１１月２１日（２０１１．１１．２１）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月２１日（２０１１．１１．２１）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]