顔表情変化度測定装置およびそのプログラム並びに番組興味度測定装置
【課題】撮影環境の変動に対しても頑健に撮影画像から顔表情の変化度を測定する技術を提供する。
【解決手段】顔表情変化度測定装置１は、被写体の撮影画像において顔領域検出手段４によって検出された顔領域からＳＵＲＦを特徴点として抽出する画像特徴量抽出手段５と、被写体の標準顔から抽出されたＳＵＲＦをクラスタに分類すると共に、当該被写体の入力顔から抽出されたＳＵＲＦを、標準顔のＳＵＲＦを分類したときの各クラスタのうち特微量に関して最も距離の近いクラスタに分類するクラスタリング手段８と、標準顔に対して分類された各クラスタと、入力顔に対して分類された各クラスタの双方について、クラスタ毎にクラスタ中のＳＵＲＦの個数を頻度とするヒストグラムをそれぞれ作成するヒストグラム作成手段９と、標準顔ヒストグラム１３と入力顔ヒストグラム１４との差分を被写体の顔表情変化度として算出する差分算出手段１１とを備える。
【解決手段】顔表情変化度測定装置１は、被写体の撮影画像において顔領域検出手段４によって検出された顔領域からＳＵＲＦを特徴点として抽出する画像特徴量抽出手段５と、被写体の標準顔から抽出されたＳＵＲＦをクラスタに分類すると共に、当該被写体の入力顔から抽出されたＳＵＲＦを、標準顔のＳＵＲＦを分類したときの各クラスタのうち特微量に関して最も距離の近いクラスタに分類するクラスタリング手段８と、標準顔に対して分類された各クラスタと、入力顔に対して分類された各クラスタの双方について、クラスタ毎にクラスタ中のＳＵＲＦの個数を頻度とするヒストグラムをそれぞれ作成するヒストグラム作成手段９と、標準顔ヒストグラム１３と入力顔ヒストグラム１４との差分を被写体の顔表情変化度として算出する差分算出手段１１とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、測定対象の顔の表情を解析する技術に係り、特に、テレビ視聴者の顔の表情を解析する技術に関する。
【背景技術】
【０００２】
コンピュータビジョン技術において、人間とコンピュータやロボットとが円滑にコミュニケーションを図れるようにすることや、商品等に対する人の興味度合いを測定することを目的に、顔表情認識に関する研究が活発に行われている。
【０００３】
カメラで撮影した被写体の顔の表情が、怒り、悲しみ、驚き、喜び等のいずれであるのかをカテゴライズする手法は、非特許文献１等にも示されているように、既に高精度なものが多数提案されている。非特許文献１の手法は、表情認識法において、頑健な（ロバストな）パーティクルフィルタと、高精度の勾配法とを組み合わせることで、実時間での頑健かつ高精度な推定を行うものである。この手法は、照明変化や上下方向の首振りといった輝度変化に対して頑健である。つまり、輝度変化に対して安定して表情を推定することができる。しかしながら、前記のように人間とコンピュータ等がコミュニケーションを図ったり、人の商品等に対する興味度合いを測定したりするためには、顔表情のカテゴライズのみでなく、顔の表情の度合も測定できることが望まれている。
【０００４】
撮像装置の分野では、従来、例えば笑顔と通常の表情などの異なる表情の間において一方の表情にどれだけ近いかの度合いを示す表情評価値を算出する方法が知られている（例えば特許文献１参照）。特許文献１に記載の表情評価法では、笑顔のサンプル画像と通常の表情のサンプル画像として、４８画素×４８画素の一定サイズに正規化した顔画像を用意しておく。そして、これらのサンプル画像のデータを、（４８×４８）次元のベクトルデータとして取り扱い、線形判別分析（ＬＤＡ：Linear Discriminant Analysis）の処理を行う。
【０００５】
また、例えば特許文献２に記載された技術は、患者等の表情を撮影した画像を利用して、投薬制御や回復評価を行うシステムであって、感情や状態に伴って変化する表情の度合いが段階的に変化する複数の顔画像からなる表情遷移マップの各段階の顔画像と、取り込まれた人物の実写顔画像との照合を行い、最も類似している顔画像を選択してその段階を出力することにより、所定の表情の度合いの判定を行うものである。
【０００６】
また、近年、ハードディスクレコーダの普及や、インターネット経由でのビデオ配信サービスの広まりにより、視聴者が膨大なビデオから興味を持つ番組やシーンを的確に取得することを可能にする技術の開発が求められている。これを実現するために、視聴者の視聴番組履歴を利用して、視聴者が好むであろう番組を推薦するシステムが提案されている。また、視聴番組履歴以外の条件も考慮して、番組を推薦する技術も知られている（例えば特許文献３参照）。
【０００７】
例えば、特許文献３に開示されたクライアント・サーバシステムでは、多数のクライアントと接続されたサーバが、各クライアントから情報を収集し、協調フィルタリングによってクライアントにコンテンツの推薦を行う。また、クライアントでは、テレビ番組などのコンテンツの再生中に、コンテンツを視聴しているユーザを撮影して得られた画像からユーザの表情を検出し、ユーザが例えば笑顔になったタイミングと、笑顔の度合いを表す時系列データを取得すると共に、コンテンツの再生終了時にマウス等から入力されたユーザの評価を取得する。ここで、笑顔を検出する方法は、検出された顔から抽出された特徴と、予め用意されている笑顔の特徴とのマッチングにより行われる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−４２３１９号公報（段落００５５、図８）
【特許文献２】特開２００１−４３３４５号公報（段落００２５、図２）
【特許文献３】特開２００９−１４００１０号公報（段落００２３−００４３）
【非特許文献】
【０００９】
【非特許文献１】熊野史朗、大塚和弘、大和淳司、前田英作、佐藤洋一、“パーティクルフィルタと勾配法の組み合わせによる頭部姿勢変動に頑健な表情認識種表”、画像の認識・理解シンポジウム（MIRU2008）、Jul.（2008)
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、従来の画像中の顔の表情の度合を測定する技術は、頑健性が不十分であるという問題がある。例えば特許文献１に記載の技術では、笑顔度の測定に用いる特微量が、各画素データに基づく４８×４８次元ベクトルとなっており、各画素データとして画素値等を用いると、照明が変動する場合等において、顔の表情の度合を安定して測定することができない。
【００１１】
また、特許文献２に記載の技術は、照合に用いる特微量が画像の画素値であるため、同様に安定な測定が困難であると共に、さらに、照合に用いる表情遷移マップの信頼性が悪いという問題もある。また、特許文献３に記載の技術は、ユーザを撮影して得られた撮影画像において検出された顔から抽出された特徴として画素値等を用いると、同様に安定な測定が困難である。
【００１２】
本発明は、以上のような問題点に鑑みてなされたものであり、環境の変動に対しても安定して測定対象の画像から顔表情の変化度を測定する顔表情変化度測定装置およびそのプログラム並びに番組興味度測定装置を提供することを課題とする。
【課題を解決するための手段】
【００１３】
前記課題を解決するために、本発明の請求項１に記載の顔表情変化度測定装置は、測定対象の画像を取り込む画像取込手段と、前記画像中の測定対象の顔領域を検出する顔領域検出手段とを備え、前記画像として入力する測定対象の顔の表情の変化の度合いを顔表情変化度として測定する顔表情変化度測定装置であって、画像特徴量抽出手段と、クラスタリング手段と、ヒストグラム作成手段と、差分算出手段と、を備えることとした。
【００１４】
かかる構成によれば、顔表情変化度測定装置は、画像特徴量抽出手段によって、前記画像において前記顔領域検出手段によって検出された顔領域から、ベクトルまたはスカラーで表される画像の特徴量を示す複数の特徴点をそれぞれ抽出する。ここで、画像特徴量としてＳＵＲＦやＳＩＦＴ特徴量等を用いることができる。そして、顔表情変化度測定装置は、クラスタリング手段によって、前記検出された顔領域から前記特徴点が抽出された画像のうち、測定対象の基準とする顔の表情を示す標準顔と、当該測定対象の比較しようとする顔の表情を示す入力顔とに関する画像毎に、前記顔領域から抽出された複数の特徴点を、類似した特徴点同士をまとめた所定数のクラスタに分類する。ここで、標準顔と入力顔とは同一の測定対象のものであればよく、それらの表情は任意である。そして、顔表情変化度測定装置は、ヒストグラム作成手段によって、前記標準顔を含む画像に対して前記特徴点が分類された各クラスタと、前記入力顔を含む画像に対して前記特徴点が分類された各クラスタの双方について、各クラスタを階級としてクラスタの要素である特徴点の個数を頻度とするヒストグラムをそれぞれ作成する。そして、顔表情変化度測定装置は、差分算出手段によって、前記標準顔を含む画像に基づく各クラスタから作成されたヒストグラムと、前記入力顔を含む画像に基づく各クラスタから作成されたヒストグラムとの階級毎の差分を加工した正の値の累積和を、当該測定対象の顔表情変化度として算出する。そして、前記クラスタリング手段は、前記標準顔の顔領域から抽出された特徴点を分類して生成された各クラスタをそれぞれ示す標準顔クラスタと、前記入力顔の顔領域から抽出された特徴点との特微量に関する距離を求め、前記入力顔の顔領域から抽出された特徴点を、前記標準顔クラスタのうち特微量に関して最も距離の近いクラスタに分類することを特徴とする。したがって、測定対象の画像として標準顔と入力顔とを同様な環境で取得すれば、取り込んだ画像から顔表情の変化度を正しく測定することができる。
【００１５】
また、本発明の請求項２に記載の顔表情変化度測定装置は、請求項１に記載の顔表情変化度測定装置において、前記画像取込手段が、前記測定対象の画像として被写体を撮影するカメラから出力されるカメラ映像を取り込み、前記顔領域検出手段が、前記カメラ映像のフレーム画像毎に、前記被写体の顔領域を検出し、前記カメラ映像として入力する被写体の顔表情変化度を測定することとした。
【００１６】
かかる構成によれば、顔表情変化度測定装置は、カメラから出力されるカメラ映像のうちのある時点で検出した被写体の顔を標準顔として予め取得しておき、カメラから次々に出力されるフレーム画像でリアルタイムに検出した入力顔に対して、それぞれの顔表情変化度を求めることができる。また、カメラで次々に撮影されるカメラ影像の撮影環境が変化したときに、撮影環境に合わせて標準顔を新たに取得すれば、撮影環境の変動に対しても頑健に撮影画像から顔表情の変化度を測定することができる。
【００１７】
また、本発明の請求項３に記載の顔表情変化度測定装置は、請求項１に記載の顔表情変化度測定装置において、前記画像取込手段が、前記測定対象の画像として被写体をカメラで撮影したカメラ映像を蓄積した画像蓄積装置から出力されるカメラ映像を取り込み、前記顔領域検出手段が、前記カメラ映像のフレーム画像毎に、前記被写体の顔領域を検出し、前記カメラ映像として入力する被写体の顔表情変化度を測定することとした。
【００１８】
かかる構成によれば、顔表情変化度測定装置は、例えば画像蓄積装置から出力されるカメラ映像のうちのある時点で検出した被写体の顔を標準顔として予め取得しておき、画像蓄積装置から次々に出力されるフレーム画像から検出した入力顔に対して、それぞれの顔表情変化度を求めることができる。また、同一の被写体が映っている異なるタイミングで撮影したカメラ映像を互いに同様な撮影環境で撮影して蓄積していれば、それらの異なる映像で１つの標準顔を用いたとしても、頑健に撮影画像から顔表情の変化度を測定することができる。
【００１９】
また、本発明の請求項４に記載の顔表情変化度測定装置は、請求項１から請求項３のいずれか一項に記載の顔表情変化度測定装置において、画像記憶手段と、検索手段とをさらに備えることとした。
【００２０】
かかる構成によれば、顔表情変化度測定装置は、画像記憶手段に、前記画像取込手段で取り込まれた測定対象の画像と、当該画像を基に前記差分算出手段で算出された顔表情変化度とを対応付けて記憶する。そして、顔表情変化度測定装置は、検索手段によって、入力装置から検索キーとして顔表情変化度の入力を受け付け、前記受け付けた顔表情変化度に対応した画像を前記画像記憶手段から検索して表示装置に出力する。したがって、例えば大笑いをした表情に対応した顔表情変化度の値を指定することで、画像記憶手段に蓄積された測定対象の画像の中から、測定対象が大笑いしたシーンを探索することができる。
【００２１】
また、本発明の請求項５に記載の顔表情変化度測定プログラムは、測定対象の画像として入力する測定対象の顔の表情の変化の度合いを顔表情変化度として測定するために、コンピュータを、顔領域検出手段、画像特徴量抽出手段、クラスタリング手段、ヒストグラム作成手段、差分算出手段として機能させることとした。
【００２２】
かかる構成によれば、顔表情変化度測定プログラムは、顔領域検出手段によって、前記測定対象の顔領域を検出する。そして、顔表情変化度測定プログラムは、画像特徴量抽出手段によって、前記画像において前記顔領域検出手段によって検出された顔領域から、ベクトルまたはスカラーで表される画像の特徴量を示す複数の特徴点をそれぞれ抽出する。そして、顔表情変化度測定プログラムは、クラスタリング手段によって、前記検出された顔領域から前記特徴点が抽出された画像のうち、測定対象の基準とする顔の表情を示す標準顔と、当該測定対象の比較しようとする顔の表情を示す入力顔とに関する画像毎に、前記顔領域から抽出された複数の特徴点を、類似した特徴点同士をまとめた所定数のクラスタに分類する。そして、顔表情変化度測定プログラムは、ヒストグラム作成手段によって、前記標準顔を含む画像に対して前記特徴点が分類された各クラスタと、前記入力顔を含む画像に対して前記特徴点が分類された各クラスタの双方について、各クラスタを階級としてクラスタの要素である特徴点の個数を頻度とするヒストグラムをそれぞれ作成する。そして、顔表情変化度測定プログラムは、差分算出手段によって、前記標準顔を含む画像に基づく各クラスタから作成されたヒストグラムと、前記入力顔を含む画像に基づく各クラスタから作成されたヒストグラムとの階級毎の差分を加工した正の値の累積和を、当該測定対象の顔表情変化度として算出する。そして、前記クラスタリング手段は、前記標準顔の顔領域から抽出された特徴点を分類して生成された各クラスタをそれぞれ示す標準顔クラスタと、前記入力顔の顔領域から抽出された特徴点との特微量に関する距離を求め、前記入力顔の顔領域から抽出された特徴点を、前記標準顔クラスタのうち特微量に関して最も距離の近いクラスタに分類することを特徴とする。
【００２３】
また、本発明の請求項６に記載の番組興味度測定装置は、テレビ番組を表示するモニタと、前記モニタに表示されたテレビ番組を視聴する視聴者を撮影するカメラとを備えた番組興味度測定装置であって、請求項２に記載の顔表情変化度測定装置と、ビデオ管理手段と、番組興味度蓄積手段と、グラフ生成手段とを備えることとした。
【００２４】
かかる構成によれば、番組興味度測定装置は、顔表情変化度測定装置によって、前記カメラから出力されるカメラ映像を取り込む。そして、番組興味度測定装置は、前記顔表情変化度測定装置で測定された前記視聴者の顔表情変化度の時系列データを前記テレビ番組に対する時系列の番組興味度として取得し、前記時系列の番組興味度を、番組名および番組尺中における番組開始時刻からの経過時刻情報と共に番組興味度蓄積手段に蓄積する。そして、番組興味度測定装置は、グラフ生成手段によって、前記蓄積されたテレビ番組に対する時系列の番組興味度を示す時系列グラフを生成し、前記時系列グラフを前記モニタに表示させる。ここで、例えば、テレビ番組終了時に、時系列グラフをモニタに表示させる。そして、番組興味度測定装置は、ビデオ管理手段によって、前記時系列グラフを表示させるときに視聴者が視聴していたテレビ番組であって外部から受信する映像または内部に蓄積された映像を示す番組を前記モニタに表示させる。例えば、一度視聴したテレビ番組を録画しておいて再視聴する際に、映画のように番組尺全体を初めから最後まで視聴する場合もあるが、番組内容によっては興味を持った時間帯だけを視聴する場合もある。例えば、テレビ番組は、ニュース番組、スポーツ番組、ドラマ番組、バラエティー番組等のジャンルの種類や、番組内にて細分化されたコーナーの有無や、出演者の出演時間帯等によって、番組尺の中で、視聴者が興味を持って再視聴しようとする時間帯が限定的な場合もある。このような場合、当該番組の時系列グラフを参考にして、テレビ番組のうち、番組興味度が高い時間帯または低い時間帯のみを再視聴するといったことができる。
【００２５】
また、本発明の請求項７に記載の番組興味度測定装置は、請求項６に記載の番組興味度測定装置において、前記グラフ生成手段が、前記番組興味度の最大値が１．０になるよう正規化し、かつ、前記顔表情変化度測定装置にて顔領域を検出できなかったときの前記番組興味度の値が−１．０になるようにして前記時系列グラフを生成することとした。
【００２６】
かかる構成によれば、番組興味度測定装置は、番組興味度の最大値が１．０になるよう正規化した時系列グラフを生成する。したがって、視聴者は、時系列グラフが最大値となる時間帯のみを効率よく選択して再視聴することができる。また、番組興味度測定装置は、顔領域を検出できなかったときの番組興味度の値が−１．０になるよう正規化した時系列グラフを生成する。したがって、視聴者が、一度目に視聴したときに見逃してしまった時間帯があった場合に、再視聴時には、作成された時系列グラフを表示して、番組興味度の値が−１．０となる時間帯を選択して番組を視聴することで、見逃したシーンのみを効率よく選択して視聴することができる。
【００２７】
また、本発明の請求項８に記載の番組興味度測定装置は、請求項６または請求項７に記載の番組興味度測定装置において、前記グラフ生成手段が、予め定められた時間内にそれぞれ取得した前記番組興味度の値を平均化した平均化興味度を生成し、前記平均化興味度を用いて前記時系列グラフを生成することとした。
【００２８】
かかる構成によれば、番組興味度測定装置は、グラフ生成手段が、番組興味度の値を時間平均した平均化興味度を用いて時系列グラフを生成するので、例えば、フレーム画像毎にグラフを作成した場合に現れる瞬間的な興味度の増加や減少を軽減することができる。
【００２９】
また、本発明の請求項９に記載の番組興味度測定装置は、請求項６ないし請求項８のいずれか一項に記載の番組興味度測定装置において、前記ビデオ管理手段が、前記時系列グラフを生成するときに視聴者が視聴していたテレビ番組において当該番組尺中における時刻情報と、前記時系列グラフにおける時刻情報とを対応付け、入力装置から、前記モニタに表示された時系列グラフ上の点を指定する入力を受け付け、前記指定された時系列グラフ上の点で示される時刻情報に対応した時刻から当該番組を再生した映像を前記モニタに表示させる機能をさらに有することとした。
【００３０】
かかる構成によれば、番組興味度測定装置は、ビデオ管理手段が、テレビ番組の時刻情報と時系列グラフにおける時刻情報とを対応付け、指定された時系列グラフ上の点で示される時刻から番組を再生させる。したがって、視聴者は、興味のある番組内容が放映された時間の情報を気にとめることなく、モニタに表示された時系列グラフ上の任意の位置の点を指定する操作を行うだけで、番組の途中等のグラフで指定した任意の時間の放映内容から即座に視聴することができ、利便性が向上する。
【００３１】
また、本発明の請求項１０に記載の番組興味度測定装置は、請求項６ないし請求項９のいずれか一項に記載の番組興味度測定装置において、前記ビデオ管理手段が、前記時系列グラフにおいて、前記番組興味度が予め定められた閾値よりも大きい時間範囲を前記視聴者が興味を持ったシーンとして抽出し、前記シーンに登場する人物または物体を認識し、認識結果を視聴ログとして収集し、前記収集した視聴ログに含まれる人物名または物体名と、外部から受信する映像または内部に蓄積された映像を示す番組に予め付されたメタデータに含まれる人物名または物体名とを照合し、前記メタデータが付された番組の中から関連番組を探索して前記視聴者に推薦する機能をさらに有することとした。
【００３２】
かかる構成によれば、番組興味度測定装置は、ビデオ管理手段が、時系列グラフにおいて、番組興味度の大きさから視聴者が興味を持ったと推定されるシーンを抽出し、このシーンに登場する人物または物体を認識して視聴ログとして収集する。ここで、ビデオ管理手段は、人物の場合には一般的な顔認識技術、物体の場合には一般的な物体認識技術といった画像処理技術を用いて、当該シーンに登場する人物または物体を認識する。また、かかる構成によれば、番組興味度測定装置は、ビデオ管理手段が、外部から取得した番組または蓄積している番組のメタデータと収集した視聴ログとを照合することで、外部から取得した番組または蓄積している番組の中から決定した関連番組を視聴者に推薦することができる。
【発明の効果】
【００３３】
請求項１に記載の発明によれば、顔表情変化度測定装置は、測定対象の画像において基準とする標準顔から抽出した特徴点をクラスタリングしてヒストグラムを作成すると共に、取り込まれた画像中の当該測定対象の顔を示す入力顔から抽出された複数の特徴点を、標準顔に関して特徴点を分類したときの各クラスタのうち、特微量に関して最も距離の近いクラスタに分類してヒストグラムを作成してヒストグラムの差分を顔表情変化度として算出する。したがって、測定対象の標準顔と入力顔とを同様な環境のものとして取得できるので、環境の変動に対しても頑健に測定対象の画像から顔表情の変化度を測定することができる。その結果、人間と円滑にコミュニケーションを図るコンピュータやロボットにおけるモジュールとして適用することができる。また、顔表情変化度測定装置は、表情の変化から、人の商品等に対する興味度合いを正確に測定することができる。
また、請求項５に記載の発明によれば、顔表情変化度測定プログラムをインストールしたコンピュータは請求項１と同様の効果を奏することができる。
【００３４】
請求項２に記載の発明によれば、顔表情変化度測定装置は、カメラから次々に出力されるフレーム画像でリアルタイムに検出した入力顔に対して、それぞれの顔表情変化度を求めることができる。
【００３５】
請求項３に記載の発明によれば、顔表情変化度測定装置は、画像蓄積装置から次々に出力されるフレーム画像で検出した入力顔に対して、それぞれの顔表情変化度を求めることができる。
【００３６】
請求項４に記載の発明によれば、顔表情変化度測定装置は、測定対象の画像を顔表情変化度と対応付けて記憶するので、所望の表情に対応した顔表情変化度の値を指定することで、蓄積された画像の中から、測定対象の所望の表情が映ったシーンを探索することができる。
【００３７】
請求項６に記載の発明によれば、番組興味度測定装置は、顔表情変化度測定装置で測定された視聴者の顔表情変化度の時系列をテレビ番組に対する時系列の番組興味度として取得して時系列グラフを生成してモニタに表示させる。したがって、視聴者は、時系列グラフを参考にして、テレビ番組のうち、番組興味度が高い時間帯または低い時間帯のみを再視聴するといったことができる。
【００３８】
請求項７に記載の発明によれば、番組興味度測定装置は、興味度を正規化した時系列グラフを生成する。したがって、視聴者は、時系列グラフを参考にして、番組興味度の大きなシーンや番組を見逃したシーンのみを効率よく選択してテレビ番組を再視聴することができる。
【００３９】
請求項８に記載の発明によれば、番組興味度測定装置は、番組興味度の値を時間平均して時系列グラフを生成するので、瞬間的な興味度の増加や減少を軽減した時系列グラフを生成することができる。
【００４０】
請求項９に記載の発明によれば、番組興味度測定装置は、テレビ番組の映像および音声の時刻情報と時系列グラフ上の位置における時刻情報とを対応付け、指定された時系列グラフ上の点で示される時刻から番組を再生させる。したがって、視聴者は、時系列グラフ上の点を指定するだけで、グラフで指定した任意の時間の放映内容から番組を即座に視聴することができ、利便性が向上する。
【００４１】
請求項１０に記載の発明によれば、番組興味度測定装置は、番組興味度の大きさに基づいて時系列グラフから抽出したシーンに登場する人物または物体を認識し、認識結果に関連する関連番組を探索して視聴者に推薦する。したがって、番組興味度測定装置は、視聴者が興味を持つ事柄を、視聴テレビ番組から詳細に分析することができると共に、蓄積された膨大なテレビ番組ビデオから、視聴者が興味を持っていると推定される番組を、当該視聴者の興味を反映した時系列グラフに基づいて的確に推薦することができる。
【図面の簡単な説明】
【００４２】
【図１】本発明の第１実施形態に係る顔表情変化度測定装置の構成を模式的に示すブロック図である。
【図２】顔領域計測結果と顔領域中のＳＵＲＦ抽出結果の一例を示す図である。
【図３】顔表情変化度を測定するためのＧＵＩの一例を示す図である。
【図４】ＳＵＲＦのクラスタリングの概念図である。
【図５】標準顔画像ヒストグラムの一例を示す図である。
【図６】入力顔画像ヒストグラムの一例を示す図である。
【図７】顔表情変化度測定装置の動作を示すフローチヤートである。
【図８】顔表情変化度とヒストグラムの差分との関係を模式的に示す概念図であって、（ａ）は標準顔画像、（ｂ）は標準顔画像のＳＵＲＦクラスタリング結果、（ｃ）は標準顔画像ヒストグラム、（ｄ）は入力顔画像、（ｅ）は入力顔画像のＳＵＲＦクラスタリング結果、（ｆ）は入力顔画像ヒストグラムをそれぞれ示している。
【図９】本発明の第２実施形態に係る顔表情変化度測定装置の構成を模式的に示すブロック図である。
【図１０】本発明の実施形態にかかる番組興味度測定装置のシステム構成を模式的に示すブロック図である。
【図１１】本発明の実施形態にかかる番組興味度測定装置におけるモニタとカメラの一例を示す図である。
【図１２】本発明の実施形態にかかる番組興味度測定装置に記憶される番組興味度のデータ構造の一例を示す図である。
【図１３】本発明の実施形態にかかる番組興味度測定装置で作成した時系列グラフとテレビ番組のビデオとを同時にモニタに表示した場合の画面表示例を示す図である。
【発明を実施するための形態】
【００４３】
図面を参照して本発明の顔表情変化度測定装置を実施するための形態について詳細に説明する。
（第１実施形態）
［顔表情変化度測定装置の構成］
顔表情変化度測定装置１は、画像として入力する測定対象の顔の表情の変化の度合いを顔表情変化度として測定する装置であって、ＣＰＵ（Central Processing Unit）等の演算装置と、メモリやハードディスク等の記憶装置と、外部との間で各種情報の送受信を行うインタフェース装置とを備えたコンピュータおよび、このコンピュータにインストールされたプログラム（顔表情変化度測定プログラム）とから構成される。つまり、顔表情変化度測定装置１は、ハードウェア装置とソフトウェアとが協働することによって、前記したハードウェア資源がプログラムによって制御されることにより実現され、図１に示すように、モード判別手段２と、画像取込手段３と、顔領域検出手段４と、画像特徴量抽出手段５と、画像特徴量記憶手段６と、クラスタリング手段８と、ヒストグラム作成手段９と、ヒストグラム記憶手段１０と、差分算出手段１１とを備えている。
【００４４】
以下では、顔表情変化度測定装置１は、一例として、測定対象の画像として被写体を撮影するカメラＣから出力されるカメラ映像（撮影画像）を取り込み、カメラ映像として入力する被写体の顔の表情の変化の度合いを測定することとして説明する。
ここで、顔表情変化度測定装置１の概要として、被写体の基準とする顔の表情（以下、標準顔という）の一例を図８（ａ）に示し、同じ被写体の比較しようとする顔の表情（以下、入力顔という）の一例を図８（ｄ）に示す。なお、標準顔と入力顔とは同じ環境で取得されたものとする。また、標準顔は１つとする。また、一連の測定が終了したら標準顔を変更してもよい。また、この顔表情変化度測定装置１が、図８（ｄ）に示す入力顔を測定したときの処理画像の一例を図２に示す。また、顔表情変化度測定時に、図８（ａ）に示す標準顔に対しても同様の処理画像が得られるが、ここでは、図示は省略する。図２に示す画像は、表情の変化の度合（顔表情変化度）を求めるときの原理を説明するための画像である。なお、顔表情変化度測定装置１で測定して表示する処理結果は、顔表情変化度であって、図２に示すような画像を必ずしも表示する必要はない。
【００４５】
図１に戻って、顔表情変化度測定装置１の構成の説明を続ける。
＜モード判別手段＞
モード判別手段２は、入力装置１２から入力されるボタン押下信号が表すモードを判定し、モードに応じた動作を行うものである。ここで、入力装置１２は、例えば、キーボード、マウス、タッチパネル等から構成される。また、入力装置１２をＧＵＩ（Graphical User Interface）として構成してもよい。ＧＵＩの一例を図３に示す。このＧＵＩは、処理操作用の処理開始ボタン１１１、終了ボタン１１２および標準顔の取得ボタン１１３と、事前設定用の設定入力部１１４と、処理結果表示部１１５とを備えている。なお、ボタンの種類に応じて、モードとして、例えば、開始モード、通常処理モード、終了モード、標準顔取得モード等を設けている。
【００４６】
ここで、処理開始ボタン１１１は、顔表情変化度測定の処理を開始するためのボタンであり、終了ボタン１１２は、その処理を終了するためのボタンである。また、標準顔の取得ボタン１１３は、基準となる画像を取得するためのボタンである。ここで、標準顔と入力顔とは同一の被写体のものであればよく、それらの表情は任意である。例えば、標準顔を無表情、入力顔を笑顔としたり、標準顔を笑顔、入力顔を大笑いとしたりすることができる。
【００４７】
設定入力部１１４は、顔表情変化度を測定するための処理を開始する前に、所望の処理結果を得るために演算方法を調整する各種設定を入力するためのものである。ここでは、図３に示すように、設定入力部１１４は、顔領域の微調設定部１１６と、ＳＵＲＦ抽出パラメータ設定部１１７と、ヒストグラムのクラスタ数設定部１１８と、標準顔画像と入力顔画像のヒストグラム比較法設定部１１９とを備えることとした。
【００４８】
顔領域の微調設定部１１６は、図２に示す上半顔領域１０２に対応した「上半分の削減率」と、図２に示す下半顔領域１０３に対応した「下半分の削減率」とをそれぞれ設定するためのものである。この例では、１つの顔（顔領域）を２つの矩形領域で検出することとした。つまり、この例では、顔領域とは、上半顔領域１０２と下半顔領域１０３とを合わせた領域のことを指す。本実施形態のように２つの矩形領域で検出する場合、上半顔領域１０２や下半顔領域１０３が実際の顔の上半分の領域や下半分の領域よりもそれぞれ大きく検出されるので、上半顔領域１０２や下半顔領域１０３のサイズを拡大または縮小する微調整を行うために、顔領域の微調設定部１１６を設けた。なお、マイナスの削減率は増加率を表している。この例では、顎部からもＳＵＲＦを検出するために下半顔領域１０３を下方向に拡幅した。
【００４９】
ＳＵＲＦ抽出パラメータ設定部１１７は、図２に示すＳＵＲＦ１０４を抽出するためのパラメータを設定するためのものである。ここでは、一例として、「Ｈｅｓｓｉａｎ閾値」と、「ＳＵＲＦ記述子の要素数」とを設定することとした。
ヒストグラムのクラスタ数設定部１１８は、抽出されたＳＵＲＦを分類するクラスタの個数を設定するためのものである。
標準顔画像と入力顔画像のヒストグラム比較法設定部１１９は、差分算出手段１１において差分を求めるときの方法を設定するためのものである。ここでは、「残差絶対値和」を求めて比較する方法と、「残差２乗和」を求めて比較する方法とを選択できるように設けた。なお、この例では、設定入力部１１４を設けて種々の設定値を所望の値に変更できるように構成したが、設定入力部１１４は必須ではなく、各設定値を予め所定の値に固定しておいてもよい。
【００５０】
処理結果表示部１１５は、ＳＵＲＦキーポイント数表示部１２０と、顔表情変化度表示部１２１と、プログレスバー１２２とを備えている。
ＳＵＲＦキーポイント数表示部１２０は、抽出されたＳＵＲＦキーポイント数、つまり、Ｈｅｓｓｉａｎ閾値以上となるＳＵＲＦキーポイント数の値を表示するものである。
顔表情変化度表示部１２１は、差分算出手段１１で計算された差分の値を顔表情変化度として表示するものである。
プログレスバー１２２は、差分算出手段１１で計算された差分の値をグラフィック表示するものである。
なお、この例では、処理結果表示部１１５は、数値とプログレスバーとを両方とも表示することとしたが、いずれか一方のみを表示するようにしてもよい。
【００５１】
本実施形態では、図１に示すモード判別手段２は、図３に示すＧＵＩの操作に応じてモードを判定することとした。
モード判別手段２は、処理開始ボタン１１１または終了ボタン１１２が押下された場合に、その旨を開始モードまたは終了モードとして画像取込手段３に通知する。
【００５２】
また、モード判別手段２は、処理中に標準顔の取得ボタン１１３が押下された場合、その旨を標準顔取得モードとしてクラスタリング手段８に通知する。
また、モード判別手段２は、処理中に標準顔の取得ボタン１１３が押下されない場合（通常処理モード）、標準顔が取得済みであるか否かを判定し、標準顔を既に取得済みである場合、クラスタリング手段８に通知する。本実施形態では、モード判別手段２は、ヒストグラム記憶手段１０を参照して、標準顔画像ヒストグラム１３が作成されている場合に、標準顔が取得済みであると判定することとした。
【００５３】
＜画像取込手段＞
画像取込手段３は、測定対象の画像を顔表情変化度測定装置１に取り込むものであって、所定の入力インタフェースから構成される。本実施形態では、顔の表情変化度を測定したい被写体を撮影したカメラ映像（撮影画像）を取り込むこととした。画像取込手段３は、モード判別手段２から処理開始を通知されると、例えば、カメラＣからカメラ映像の取り込み処理を開始する。ここで、カメラＣは、例えばＷｅｂカメラから構成される。
【００５４】
＜顔領域検出手段＞
顔領域検出手段４は、測定対象の画像中の測定対象の顔領域を検出するものである。本実施形態では、画像取込手段３で取り込まれたカメラ映像中の被写体の顔領域を検出することとした。また、本実施形態では、顔領域検出手段４は、カメラ映像の各フレーム画像中の顔領域を検出する。この顔領域検出手段４は、従来公知の顔領域計測技術により顔領域を検出する。ここで、顔領域を計測する手法としては、例えば、「PAUL VIOLA, MICHAEL J. JONES: “Robust Real-Time Face Detection", International Journal of Computer Vision, Vol.57, No.2, pp.137-154(2004)」に記載されている方法を用いることができる。
【００５５】
顔領域検出手段４で検出した被写体の顔領域の一例を図２に示す。この例では、被写体１０１の顔に対して、顔の上半分の領域と下半分の領域とをそれぞれ示す上半顔領域１０２と下半顔領域１０３を合わせて、顔が検出された領域（顔領域）を表している。上半顔領域１０２と下半顔領域１０３とは、図３のＧＵＩの顔領域の微調設定部１１６の設定内容に従い、顔検出領域が微調される。なお、顔領域を１つ、または３つ以上の矩形領域で検出することとしてもよい。
【００５６】
＜画像特徴量抽出手段＞
画像特徴量抽出手段５は、測定対象の画像において検出された顔領域から、ベクトルまたはスカラーで表される画像の特徴量を示す複数の特徴点をそれぞれ抽出するものである。本実施形態では、画像特徴量抽出手段５は、被写体を撮影したカメラ映像において顔領域検出手段４によって検出された顔領域から特徴点を抽出する。また、本実施形態では、画像特徴量抽出手段５は、カメラ映像のフレーム画像から検出された顔領域から画像特徴量としてＳＵＲＦを抽出することとした。
ここで、ＳＵＲＦとは、公知文献「Herbert Bay， Tinne Tuytelaars，and Luc Van Gool: “ＳＵＲＦ: Speeded Up Robust, Features”， Computer Vision and Image Understanding(CVIU), Vol.110, No.3, pp.346-359(2008)」に記された画像特微量である。
【００５７】
画像特徴量抽出手段５で顔領域から抽出したＳＵＲＦの一例を図２に示す。この例では、被写体１０１の顔において、エッジの強い箇所として、例えば、黒目の縁、目の横の皺、口角の皺等の近傍に直径の異なる無数の円が表示されており、これらがＳＵＲＦ１０４を示している。ＳＵＲＦは、上半顔領域１０２と下半顔領域１０３とに跨って抽出される。抽出されるＳＵＲＦの各要素（ＳＵＲＦキーポイント）は、事前に設定する６４次元ベクトルもしくは１２８次元ベクトルのＳＵＲＦ記述子と呼ばれる、画像の模様により異なってくる画像特徴量を有する。ＳＵＲＦ抽出のためのパラメータは、図３のＧＵＩのＳＵＲＦ抽出パラメータ設定部１１７で設定される。
【００５８】
ここでは、画像特徴量抽出手段５で顔領域から抽出する画像特微量を、ＳＵＲＦとしたが、ＳＵＲＦ以外にＳＩＦＴ特徴量など、その他の特徴量であっても構わない。
なお、ＳＩＦＴ特徴量については、公知文献「David G. Lowe: “Object Recognition from Local Scale-Invariant Features”，Proc. of the International Conference on Computer Vision,pp.1150-1157(1999)」に記載されている。
【００５９】
＜画像特徴量記憶手段＞
画像特徴量記憶手段６は、例えば、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等のメモリやハードディスク等の記憶装置から構成され、画像特徴量として例えばＳＵＲＦ記述子を記憶する。
【００６０】
＜クラスタリング手段＞
クラスタリング手段８は、検出された顔領域から特徴点が抽出された画像のうち、測定対象の基準とする顔の表情を示す標準顔と、当該測定対象の比較しようとする顔の表情を示す入力顔とに関する画像毎に、顔領域から抽出された複数の特徴点を、類似した特徴点同士をまとめた所定数のクラスタに分類するものである。
本実施形態では、クラスタリング手段８は、被写体の標準顔の顔領域から抽出されたＳＵＲＦを画像特徴量記憶手段６から入力し、標準顔の顔領域から抽出されたＳＵＲＦの中から特徴量が類似したＳＵＲＦを分類する。これにより、標準顔に対応した各クラスタが標準顔クラスタとして生成される。
また、クラスタリング手段８は、当該被写体の入力顔の顔領域から抽出されたＳＵＲＦを画像特徴量記憶手段６から入力し、入力顔の顔領域から抽出されたＳＵＲＦの中から特徴量が類似したＳＵＲＦを分類する。これにより、入力顔に対応した各クラスタが生成される。このとき、クラスタリング手段８は、標準顔クラスタと、入力顔の顔領域から抽出されたＳＵＲＦとの特微量に関する距離を求め、入力顔の顔領域から抽出されたＳＵＲＦを、標準顔クラスタのうち特微量に関して最も距離の近いクラスタに分類する。つまり、クラスタリング手段８は、標準顔から抽出されたＳＵＲＦを分類するときに標準顔クラスタ（標準顔ＳＵＲＦクラスタ）を生成し、入力顔から抽出されたＳＵＲＦを分類するときには、標準顔ＳＵＲＦクラスタを用いて分類する。
【００６１】
このクラスタリング手段８は、画像特徴量抽出手段５で抽出されたＳＵＲＦを、ＳＵＲＦ記述子を基にクラスタリングする。また、クラスタリング手段８は、抽出されたＳＵＲＦを、ＳＵＲＦ記述子を基に一例としてＫ−ｍｅａｎｓクラスタリングすることとした。クラスタの数は、図３に示すＧＵＩのヒストグラムのクラスタ数設定部１１８の設定内容に従う。なお、クラスタリングする手法は、Ｋ−ｍｅａｎｓ法以外でも構わない。
【００６２】
また、クラスタリング手段８は、モード判別手段２から、標準顔の取得ボタン１１３が押下されたことを通知された場合、今回抽出された各ＳＵＲＦを、クラスタリングすることで、標準顔ＳＵＲＦクラスタを生成する。
また、クラスタリング手段８は、モード判別手段２から、標準顔を既に取得済みである通知を受けた場合、今回抽出された各ＳＵＲＦを、標準顔ＳＵＲＦクラスタのうち、最も距離の近いクラスタに分類する。ここで、標準顔を既に取得済みである場合、ＳＵＲＦと標準顔クラスタの距離の例としては、ＳＵＲＦ記述子ベクトルの各要素と標準顔クラスタ内のＳＵＲＦの平均記述子ベクトルの各要素との残差２乗和がある。
【００６３】
ここで、クラスタリング手段８によるクラスタリングの概念について図４に例示する。図４は、ＳＵＲＦのクラスタの概念図である。図３において、ＳＵＲＦ記述子の要素数を例えば６４に設定した場合、ＳＵＲＦ記述子は実際には６４次元ベクトルであるが、ここでは、簡便のため、ＳＵＲＦを一例として２次元で表現した。標準顔の顔領域から抽出された多数の特徴点は、予め指定されたクラスタ数に分類される。図４に示す例では、符号１２３で示すように、１０個のクラスタにそれぞれ分類されている。つまり、この場合には、Ｘ座標、Ｙ座標が２次元で表された特徴量を示しており、特徴点はＸＹ平面上において符号１２４で示す×印の点として表現されている。なお、ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉ，ｊは、クラスタＩＤを示す。
【００６４】
＜ヒストグラム作成手段＞
ヒストグラム作成手段９は、クラスタリング手段８でクラスタリングされた各クラスタを階級として、クラスタの要素である特徴点の個数を頻度とするヒストグラムを作成するものである。このヒストグラム作成手段９は、標準顔を含む画像（標準顔画像という）に対して特徴点が分類された各クラスタと、入力顔を含む画像（入力顔画像という）に対して特徴点が分類された各クラスタの双方について、ヒストグラムをそれぞれ作成する。
【００６５】
ここで、ヒストグラム作成手段９が、標準顔画像から抽出されたＳＵＲＦについてクラスタリングした結果から作成した標準顔画像ヒストグラム１３の一例を図５に示す。この例では、ＳＵＲＦが１０個のクラスタに分類されている。ただし、図５に示すヒストグラムの要素数と、図４に示す各クラスタ内の特徴点の個数とは一致していない。
同様に、ヒストグラム作成手段９が、入力顔画像から抽出されたＳＵＲＦについてクラスタリングした結果から作成した入力顔画像ヒストグラム１４の一例を図６に示す。なお、図６に示すヒストグラムの要素数と、図４に示す各クラスタ内の特徴点の個数とは一致していない。
図６に示す入力顔画像ヒストグラム１４の各クラスタと、図５に示す標準顔画像ヒストグラム１３の各クラスタとは同じものである。ただし、元の画像が異なるため、同じクラスタＩＤであっても、クラスタの要素数（頻度）が同じであるとは限らない。
【００６６】
＜ヒストグラム記憶手段＞
ヒストグラム記憶手段１０は、例えば、メモリやハードディスク等の記憶装置から構成され、ヒストグラム作成手段９の演算処理結果である標準顔画像ヒストグラム１３や入力顔画像ヒストグラム１４を記憶する。
【００６７】
＜差分算出手段＞
差分算出手段１１は、標準顔画像ヒストグラム１３と入力顔画像ヒストグラム１４の階級毎の差分を加工した正の値の累積和を当該被写体の顔表情変化度として表示装置１５に出力する。階級毎の差分を加工した正の値の累積和を計算する手法としては、例えば、クラスタ毎の頻度の差分の２乗和、差分の絶対値和等がある。差分算出手段１１から出力された値が顔表情変化度となる。ここで、表示装置１５は、例えば、液晶ディスプレイ等から構成される。図３のＧＵＩの処理結果表示部１１５には、出力値が数字とプログレスバーで示されている。なお、差分算出手段１１は、顔表情変化度を記憶手段に格納するようにしてもよい。
【００６８】
［顔表情変化度測定装置の動作］
次に、顔表情変化度測定装置の動作について図７を参照（適宜図１参照）して説明する。予め図３のＧＵＩの設定入力部１１４で各設定を実施した後、処理開始ボタン１１１の押下により処理を開始する。まず、顔表情変化度測定装置１は、画像取込手段３によって、顔の表情変化度合を測定したい人を撮影したカメラ映像を取り込む（ステップＳ１）。そして、顔表情変化度測定装置１は、顔領域検出手段４によって、フレーム中の顔領域を測定して検出処理を行う（ステップＳ２）。ここで顔領域の検出に失敗すると（ステップＳ２：Ｎｏ）、ステップＳ１に戻る。一方、顔領域の検出に成功すると（ステップＳ２：Ｙｅｓ）、顔表情変化度測定装置１は、画像特徴量抽出手段５によって、顔領域中のＳＵＲＦを抽出する（ステップＳ３）。
【００６９】
次いで、顔表情変化度測定装置１は、顔領域中のＳＵＲＦを抽出した後、モード判別手段２によって、標準顔の取得ボタン１１３が押下されたと判定した場合（ステップＳ４：Ｙｅｓ）、前記ステップＳ３にて顔領域からＳＵＲＦを抽出した画像は標準顔画像であり、クラスタリング手段８によって、ＳＵＲＦ記述子を基に、この標準顔画像の顔領域から抽出されたＳＵＲＦをＫ−ｍｅａｎｓクラスタリングする（ステップＳ５）。これにより、標準顔ＳＵＲＦクラスタが生成される。次に、顔表情変化度測定装置１は、ヒストグラム作成手段９によって、標準顔ＳＵＲＦクラスタの各クラスタの要素数を頻度とする標準顔画像ヒストグラムを作成し（ステップＳ６）、ステップＳ１に戻る。
【００７０】
前記したステップＳ４にて、標準顔の取得ボタン１１３が押下されなかったと判定した場合（ステップＳ４：Ｎｏ）、前記ステップＳ３にて顔領域からＳＵＲＦを抽出した画像は入力顔画像であり、顔表情変化度測定装置１は、モード判別手段２によって、標準顔が取得済みであるか否かを判定する（ステップＳ７）。標準顔をまだ取得していない場合（ステップＳ７：Ｎｏ）、顔表情変化度測定装置１は、ステップＳ１に戻る。
【００７１】
一方、ステップＳ７にて、標準顔を既に取得済みである場合（ステップＳ７：Ｙｅｓ）、顔表情変化度測定装置１は、クラスタリング手段８によって、今回の入力顔画像の顔領域から抽出された各ＳＵＲＦを、標準顔ＳＵＲＦクラスタのうち、最も距離の近いクラスタに分類する（ステップＳ８）。顔表情変化度測定装置１は、抽出された全てのＳＵＲＦについて分類を終えると、ヒストグラム作成手段９によって、各クラスタに分類されたＳＵＲＦの数を頻度とする入力顔画像ヒストグラムを作成する（ステップＳ９）。そして、顔表情変化度測定装置１は、差分算出手段１１によって、標準顔画像ヒストグラムと入力顔画像ヒストグラムの差分を計算し、その値を表示装置１５に出力する（ステップＳ１０）。以上の過程により、顔の表情変化度を取得することができる。
【００７２】
なお、ステップＳ１０に続いて、顔表情変化度測定装置１は、モード判別手段２によって、終了ボタン１１２が押下されなかったと判定した場合（ステップＳ１１：Ｎｏ）、ステップＳ１に戻り、処理を続ける。一方、終了ボタン１１２が押下されたと判定した場合（ステップＳ１１：Ｙｅｓ）、処理を終了する。
【００７３】
［顔表情変化度の計算の具体例］
次に、この顔表情変化度測定装置１で行っている標準顔画像ヒストグラムと入力顔画像ヒストグラムの差分を計算する処理の具体例について図８を参照して説明する。
図８は、顔の表情変化の度合とヒストグラムの差分との関係を模式的に示す概念図であって、（ａ）は標準顔画像、（ｂ）は標準顔画像のＳＵＲＦクラスタリング結果、（ｃ）は標準顔画像ヒストグラム、（ｄ）は入力顔画像、（ｅ）は入力顔画像のＳＵＲＦクラスタリング結果、（ｆ）は入力顔画像ヒストグラムをそれぞれ示している。
【００７４】
ここでは、一例として、ＳＵＲＦを２次元で表現し、標準顔画像のＳＵＲＦも入力顔画像のＳＵＲＦも５個のクラスタ（クラスタＩＤ＝ｋ，ｌ，ｍ，ｎ，ｏ）にそれぞれ分類されていることとした。この例では、標準顔画像ヒストグラムの頻度は（ｋ，ｌ，ｍ，ｎ，ｏ）＝（４，３，３，３，６）であり、入力顔画像ヒストグラムの頻度は（ｋ，ｌ，ｍ，ｎ，ｏ）＝（５，２，４，４，３）である。したがって、図３に示すＧＵＩの標準顔画像と入力顔画像のヒストグラム比較法設定部１１９において、残差２乗和が選択されている場合、クラスタ毎の頻度の差分の２乗和は１３なので、この値が顔表情変化度として表示されることとなる。
【００７５】
第１実施形態によれば、顔表情変化度測定装置１は、被写体の基準とする標準顔と、顔表情変化度測定して比較しようとする入力顔とを同様な環境で取得できるので、環境の変動に対しても安定して被写体の画像から顔表情変化度を測定することができる。その結果、顔表情変化度測定装置１は、人間と円滑にコミュニケーションを図るコンピュータやロボットにおけるモジュールとして適用することができる。また、表情の変化から、商品等に対する人の興味度合いを正確に測定することができる。
【００７６】
（第２実施形態）
図９は、本発明の第２実施形態に係る顔表情変化度測定装置の構成を模式的に示すブロック図である。以下では、この顔表情変化度測定装置１Ａの構成のうち、図１に示した構成と異なる構成について説明し、同じ構成については、同じ符号を付して説明を適宜省略する。
【００７７】
顔表情変化度測定装置１Ａは、図９に示すように、画像記憶手段７Ａの機能が異なると共に、画像取込手段３が画像蓄積装置１６から出力されるカメラ映像を取り込む点と、検索手段１７を備えている点が、図１に示す顔表情変化度測定装置１と異なっている。
【００７８】
画像記憶手段７Ａは、例えば、一般的なハードディスク等の記憶装置から構成され、画像取込手段３で取り込まれた測定対象の画像と、当該画像を基に差分算出手段１１で算出された顔表情変化度とを対応付けて記憶する。
画像蓄積装置１６は、測定対象の画像を蓄積するものであって、例えば、メモリや一般的なハードディスク装置等から構成される。
【００７９】
検索手段１７は、入力装置１２から検索キーとして顔表情変化度の入力を受け付け、受け付けた顔表情変化度に対応した画像を画像記憶手段７Ａから検索して表示装置１５に出力するものである。
【００８０】
入力装置１２からの検索キーは、例えば、単純に顔表情変化度の最大値や、最小値を有する撮影画像を検索するための「検索」ボタンである。標準顔を無表情として顔表情変化度の最大値を有する画像を専用に検索するための「検索」ボタンの場合、例えば、最も大笑いをした顔が映った画像を検索することができる。同様に、標準顔を無表情として顔表情変化度の最小値を有する画像を専用に検索するための「検索」ボタンの場合、例えば、無表情な顔が映った画像を検索することができる。
また、入力装置１２から検索キーは、顔表情変化度の任意の値や任意の値の範囲としてもよい。
【００８１】
第２実施形態によれば、顔表情変化度測定装置１Ａは、画像蓄積装置１６から次々に出力されるフレーム画像で検出した入力顔に対して、それぞれの顔表情変化度を求めることができる。そのため、同一の被写体が映っている異なるタイミングで撮影したカメラ映像を互いに同様な環境で取得して蓄積していれば、それらの異なる映像で１つの標準顔を用いたとしても、頑健に画像から顔表情の変化度を測定することができる。例えば、同じ被写体を屋内の同じ場所で数日前に撮影したカメラ映像と、過去と同じ撮影条件で撮影した現在のカメラ映像とを比較することも可能である。
【００８２】
（第３実施形態）
第３実施形態は、第１実施形態に係る顔表情変化度測定装置１を、テレビ視聴者の番組興味度測定装置に適用したものである。
図１０は、本発明の実施形態に係る番組興味度測定装置のシステム構成を模式的に示すブロック図である。
番組興味度測定装置２００は、テレビ番組を表示するモニタＭと、モニタＭに表示されたテレビ番組を視聴する視聴者２０１を撮影するカメラＣと、復調・デコード部２１と、ビデオ管理部２２と、ビデオ蓄積部２３と、顔表情変化度測定部２４と、番組興味度蓄積部２５と、グラフ生成部２６とを備えている。ここで、復調・デコード部２１と、ビデオ管理部２２と、ビデオ蓄積部２３と、顔表情変化度測定部２４と、番組興味度蓄積部２５と、グラフ生成部２６とは、ハードウェア装置とソフトウェアとが協働することによってそれぞれ実現される。
【００８３】
＜モニタ、カメラ＞
番組興味度測定装置２００におけるモニタとカメラの一例を図１１に示す。
モニタＭは、番組表示画面３０１にテレビ番組を表示する。カメラＣは、視聴者２０１の様子を撮影するため、例えばモニタＭを見る視聴者２０１の顔を正面から撮影できる位置に配置される。ここで撮影されたカメラ映像は、顔表情変化度測定部２４に送られ、視聴者２０１の顔の表情変化度が測定される。
【００８４】
＜復調・デコード部＞
図１０に示す復調・デコード部２１は、アンテナＡＴＮで受信した放送波を復調・デコードしたテレビ番組等をモニタＭに出力する。
【００８５】
＜ビデオ管理部の基本機能＞
ビデオ管理部（ビデオ管理手段）２２は、例えばインターネットＮ経由で受信するテレビ番組（以下、ビデオという）や、ビデオ蓄積部２３に蓄積されたビデオ等を、例えば番組名、放送日時、放送局等の情報を基に管理し、再生するものである。このビデオ管理部２２が、外部から受信するビデオまたは内部に蓄積されたビデオを示す番組をモニタＭに表示させているときに、視聴者２０１が視聴していたテレビ番組に対して、グラフ生成部２６は時系列グラフを生成する。また、ビデオ管理部２２は、詳細は後記するが、グラフ生成部２６により生成された時系列グラフの管理機能、映像のシーン分析機能、番組推薦機能等を有する。
ビデオ蓄積部２３は、ビデオを蓄積するものであり、一般的なハードディスク等から構成されている。
【００８６】
＜顔表情変化度測定部＞
顔表情変化度測定部（顔表情変化度測定装置）２４は、カメラＣから出力されるカメラ映像を取り込み、視聴者２０１の表情変化の度合を一定時間毎に取得し、番組興味度蓄積部２５に送信する。この顔表情変化度測定部２４は、図１に示す顔表情変化度測定装置１で構成することができるので、説明を省略する。
【００８７】
＜番組興味度蓄積部＞
番組興味度蓄積部（番組興味度蓄積手段）２５は、顔表情変化度測定部２４で測定された視聴者（テレビ視聴者）２０１の顔表情変化度の時系列データをテレビ番組に対する時系列の番組興味度として取得し、時系列の番組興味度を、番組名および番組尺中における番組開始時刻からの経過時刻情報と共に蓄積するものである。
【００８８】
この番組興味度蓄積部２５に蓄積される番組興味度のデータ構造の一例を図１２に示す。図１２のデータ構造に示すように、ある視聴者の番組興味度が、番組名、放送日時、放送局と合わせて蓄積される。ここで、番組興味度は、視聴者の顔表情変化度であって、番組の放送開始時間（番組開始時刻）からの時間と共に、蓄積されている。また、図１２に示す例では、符号３０２で示すように、番組興味度表中の「興味度」が「−」となっているところは、視聴者が余所見をし、顔表情変化度測定部２４にて顔検出できなかったことを意味している。
【００８９】
＜グラフ生成部＞
グラフ生成部（グラフ生成手段）２６は、蓄積されたテレビ番組に対する時系列の番組興味度を示す時系列グラフを生成し、時系列グラフをモニタＭに表示させるものである。グラフ生成部２６は、番組終了後、または、番組視聴時に、番組興味度蓄積部２５から、視聴者２０１の番組興味度を取得し、グラフ化する。一例として、ビデオと番組興味度の時系列グラフとを同時にモニタＭに表示した場合の画面表示例を図１３に示す。番組表示ウィンドウ３０３は、ビデオを表示するものであり、グラフ表示ウィンドウ３０４は、時系列グラフを表示するものである。なお、図１３に示す時系列グラフは、番組興味度が正規化されている。
【００９０】
本実施形態では、グラフ生成部２６は、顔表情変化度すなわち番組興味度が最大になった箇所が１．０になるよう正規化したグラフを生成する。例えば、図１２に示すように蓄積された番組興味度の最大値が４３０であれば、この値が１．０となる。
また、グラフ生成部２６は、顔表情変化度測定部２４にて顔領域を検出できなかったときの番組興味度の値が−１．０になるようにして時系列グラフを生成する。例えば、図１２に示すように、０時間２７分２２秒に、顔検出ができずに番組興味度が取得できなかた場合、この時刻の値が−１．０となる。
【００９１】
図１３に示す時系列グラフの興味度が１．０に近いシーンは、顔の表情がよく変化したところで、喜びや悲しみ等、視聴者２０１がより番組へ興味を示したところと考えることができる。視聴者２０１が、例えば、自ら視聴したスポーツのテレビ番組を再視聴する際に、時系列グラフが最大値となる時間帯を選択して、蓄積されたビデオを視聴することで、サッカーのゴールシーンや野球の得点シーンといった興味度の大きなシーンのみを効率よく選択して再視聴することができる。
【００９２】
一方、図１３に示す時系列グラフの興味度が−１．０になっているシーンは、視聴者２０１の番組に対する興味度が低かったシーン、または、番組を見逃してしまったシーンと考えることができる。視聴者２０１が、例えば、テレビの料理番組を放映中に視聴したときにメモをとるなどの他の用事をしていたために見逃してしまった時間帯があった場合に、蓄積されたビデオの視聴時には、作成された時系列グラフを表示して、番組興味度の値が−１．０となる時間帯を選択して番組を再視聴することで、見逃したシーンのみを効率よく選択して視聴することができる。
【００９３】
顔表情変化度測定部２４で測定された顔表情変化度（番組興味度）が瞬間的に跳ね上がったり、落ち込んだりすることもあるので、時系列グラフを作成して表示する際に、測定値をそのまま反映するのではなく、測定値を加工するフィルタリング処理をしてもよい。
例えば、グラフ生成部２６は、予め定められた時間内にそれぞれ取得した番組興味度の値を平均化した平均化興味度を生成し、平均化興味度を用いて時系列グラフを生成するようにすることができる。
【００９４】
例えば、図１２に示す例において、毎秒取得した各番組興味度をすべてそのまま用いて毎秒ごとの番組興味度を表す時系列グラフとすることもできるが、連続した複数の番組興味度を平均化した平均化興味度を、当該区間の値として、区間ごとの平均化興味度を表す時系列グラフとすることもできる。具体的には、図１２に示す例において、０時間１８分１２秒〜０時間１８分１４秒までの期間に抽出された３つの番組興味度の平均を求め、求めた平均番組興味度「４１９．７」をこの期間に対応させ、この期間の前後の他の期間も同様にして、連続する３つの番組興味度の平均を用いてグラフを生成してもよい。ここで、平均化興味度を生成するための時間幅は、数フレーム、数秒、数分等、所望の時間幅とすることができる。これにより、例えば数フレームや数秒といった時間幅のときには、各フレームにおける番組興味度を用いたときよりも同じ時間軸上では傾斜が緩やかで滑らかな時系列グラフを表示し、例えば、数十秒〜数分といった時間幅のときには、同様に山の位置や谷の位置が明確な時系列グラフを表示することができる。
【００９５】
＜ビデオ管理部の拡張機能1＞
ビデオ管理部２２は、前記した基本機能に加えて、次の拡張機能1を備えることができる。拡張機能1において、ビデオ管理部２２は、グラフ生成部２６により生成された時系列グラフと、時系列グラフを表示させるときに視聴者２０１が視聴していたテレビ番組のビデオとを番組名、放送日時、放送局等の情報を基に関連付ける。ここで、視聴者２０１が視聴していたテレビ番組のビデオとは、インターネットＮ経由で受信するビデオやビデオ蓄積部２３に蓄積されたビデオ等を指す。
【００９６】
また、拡張機能1において、ビデオ管理部２２は、そのビデオにおいて当該番組尺中における時刻情報と、時系列グラフにおける時刻情報とを対応付ける。
さらに、拡張機能1において、ビデオ管理部２２は、例えばリモコン等の入力装置１２から、モニタＭに表示された時系列グラフ上の点を指定する入力を受け付け、指定された時系列グラフ上の点で示される時刻情報に対応した時刻から当該番組のシーンを再生した映像をモニタＭに表示させる。これにより、視聴者２０１が、リモコン等によって、興味を持ったシーンや番組を見逃したシーンの開始時刻を時系列グラフ上の点で指定することで、ビデオ管理部２２は、当該シーンを瞬時に再生することができる。
【００９７】
時系列グラフ上の点の指定方法は、例えばマウスによってＧＵＩのチェックボックスやスライダ等を選択するように時系列グラフ上の点を指定することができる。ここで、時系列グラフ上の点とは、例えば、図１３に示す折れ線上の点、時間軸上の点、グラフ表示範囲で時間が特定できる領域上の点を示す。図１３に示す時刻ｐと時刻ｑとの間の範囲の点や、時刻ｒと時刻ｓとの間の範囲の点が指定されると、ビデオ管理部２２は、見逃したシーンを瞬時に再生することができる。また、図１３に示す時刻ｓ以降であって、興味度が「１．０」である範囲の点が指定されると、ビデオ管理部２２は、視聴者２０１が興味を持ったシーンを瞬時に再生することができる。
【００９８】
＜ビデオ管理部の拡張機能2＞
ビデオ管理部２２は、前記した基本機能に加えて、次の拡張機能2を備えることができる。拡張機能2において、ビデオ管理部２２は、時系列グラフにおいて、番組興味度が予め定められた閾値よりも大きい時間範囲を視聴者２０１が興味を持ったシーンとして抽出し、そのシーンを映像分析する。ここで、映像分析とは、そのシーンに登場する人物の顔を認識する処理や、そのシーンに表示された物体を認識する処理を行うことを表す。このような処理は、顔認識や一般的な物体認識等の各種画像処理技術や音声認識技術により行うことができる。これにより、そのシーンに登場する人物の顔から、視聴者２０１の興味のある人物の情報を視聴ログとして収集することができる。また、そのシーンに表示された物体から、視聴者２０１の興味のある物事の情報を視聴ログとして収集することができる。
【００９９】
また、拡張機能2は、ビデオ管理部２２が管理する番組であって外部から受信する映像またはビデオ蓄積部２３に蓄積された番組に対して、予め手動や各種技術により自動で付されたメタデータが存在している場合の機能である。ビデオ管理部２２は、拡張機能2において、視聴者２０１が興味を持つと推測される事柄（収集した視聴ログ）と、管理する番組に予め付されたメタデータとを照合することにより、視聴者２０１が興味を持つ内容を推定し、視聴者２０１が興味を持つと思われる関連番組を探索して当該視聴者２０１に推薦する。ここで、照合とは、収集した視聴ログに含まれる人物名または物体名と当該番組に予め付されたメタデータに含まれる人物名または物体名とを照合することをいう。ここで、推定内容が人物の場合、関連番組は、例えばテレビタレントやスポーツ選手が出演、出場しているテレビ番組を示す。また、推薦とは、関連番組のタイトル等の情報を提示することを示す。
【０１００】
なお、番組興味度測定装置２００が、視聴者２０１の映像を取得するカメラＣのほかに、視聴者２０１の音声を取得するマイクをさらに備える構成の場合には、画像処理技術のほかに一般的な音声認識技術も用いて総合的に認識することができる。さらに、番組興味度測定装置２００が、視聴者２０１の映像から画像処理技術によって視聴者２０１の身振り手振りを検出してスコア化できる場合には、顔表情変化度と組み合わせて番組興味度としてもよい。つまり、このように変形した場合、視聴者２０１の番組興味度は、顔の表情変化度を測定するのみではなく、例えば、視聴者２０１の身振り手振りや音声情報等も含めることができる。
【０１０１】
また、番組興味度測定装置２００は、非特許文献１等に示された手法により、視聴者２０１の感情（怒り、悲しみ、驚き、喜び等）を同時に取得する構成としてもよい。これにより、より詳細に視聴者２０１の番組への興味度を分析することができる。
【０１０２】
本発明の実施形態に係る番組興味度測定装置２００によれば、テレビ番組を視聴中の視聴者２０１の顔表情変化度を、視聴中のテレビ番組に対する番組興味度として取得し、その番組開始時刻からの経過時刻にしたがって取得した番組興味度を時系列グラフとして作成し、表示することができる。したがって、視聴者２０１が時系列グラフを参考にして、テレビ番組のうち、番組興味度が高い時間帯または低い時間帯のみを視聴することができる。また、番組興味度測定装置によれば、視聴者２０１が興味を持ったシーンや番組を見逃したシーンの開始時刻を時系列グラフ上の点で指定することで、当該シーンを瞬時に再生することができる。さらに、番組興味度測定装置によれば、視聴者２０１が興味を持つと推定される関連番組を視聴者２０１に推薦することができる。
【０１０３】
以上、各実施形態に基づいて本発明を説明したが、本発明はこれらに限定されるものではない。例えば、第１実施形態において、ステップＳ２で、顔領域をさらに分割し、分割した領域毎に標準顔画像ヒストグラム、入力顔画像ヒストグラムを算出し、それぞれの領域毎のヒストグラムの差分値をトータルして顔表情変化度とする構成としてもよい。これにより、標準顔画像と入力顔画像の全く異なる位置に抽出されたＳＵＲＦが同じクラスタに属するということが無くなるので、より正確に顔表情変化度を測定できる。
【０１０４】
また、顔表情変化度測定プログラムは、通信回線を介して配布することも可能であるし、ＤＶＤやＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【０１０５】
また、例えば第１実施形態に係る顔表情変化度測定装置１が、画像記憶手段７Ａと、検索手段１７とを備えるように変形して、所望の表情の画像を検索できるように構成してもよい。
【０１０６】
また、各実施形態では、被写体として１人の人物の顔表情変化度を測定するものとして説明したが、被写体は複数であってもよく、その場合には、複数の顔表情変化度測定装置を用いて並列に処理すればよい。
【０１０７】
また、各実施形態の顔表情変化度測定装置を家庭で利用する場合には、標準顔を取り込んで標準顔ヒストグラムを一度作成しておけば、前記したステップＳ３の処理の後に、前記したステップＳ４〜Ｓ７の処理をスキップして前記したステップＳ８に進むこととしてもよい。
【０１０８】
また、各実施形態では、被写体の動画映像の各フレーム画像から顔表情変化度を測定するものとしたが、静止画を用いてもよい。また、セキュリティ技術に適用してもよい。
【０１０９】
また、各実施形態では、顔表情変化度を測定する測定対象の画像は、人物をカメラで撮影した被写体として説明したが、顔の表情が変化し、その特徴点が抽出できるものであれば人物の実写に限定されるものではない。さらに、測定対象は、人間に限定されず、例えば、動物等の生物、人形やロボット等の無生物、ＣＧ、アニメーション、ゲーム等の架空のキャラクタの顔の画像でもよい。
【符号の説明】
【０１１０】
１、１Ａ 顔表情変化度測定装置
２ モード判別手段
３ 画像取込手段
４ 顔領域検出手段
５ 画像特徴量抽出手段
６ 画像特徴量記憶手段
７Ａ 画像記憶手段
８ クラスタリング手段
９ ヒストグラム作成手段
１０ ヒストグラム記憶手段
１１ 差分算出手段
１２ 入力装置
１３ 標準顔画像ヒストグラム
１４ 入力顔画像ヒストグラム
１５ 表示装置
１６ 画像蓄積装置
１７ 検索手段
２００ 番組興味度測定装置
２１ 復調・デコード部
２２ ビデオ管理部（ビデオ管理手段）
２３ ビデオ蓄積部
２４ 顔表情変化度測定部（顔表情変化度測定装置）
２５ 番組興味度蓄積部（番組興味度蓄積手段）
２６ グラフ生成部（グラフ生成手段）
Ｃ カメラ
Ｍ モニタ
Ｎ インターネット
ＡＴＮ アンテナ
【技術分野】
【０００１】
本発明は、測定対象の顔の表情を解析する技術に係り、特に、テレビ視聴者の顔の表情を解析する技術に関する。
【背景技術】
【０００２】
コンピュータビジョン技術において、人間とコンピュータやロボットとが円滑にコミュニケーションを図れるようにすることや、商品等に対する人の興味度合いを測定することを目的に、顔表情認識に関する研究が活発に行われている。
【０００３】
カメラで撮影した被写体の顔の表情が、怒り、悲しみ、驚き、喜び等のいずれであるのかをカテゴライズする手法は、非特許文献１等にも示されているように、既に高精度なものが多数提案されている。非特許文献１の手法は、表情認識法において、頑健な（ロバストな）パーティクルフィルタと、高精度の勾配法とを組み合わせることで、実時間での頑健かつ高精度な推定を行うものである。この手法は、照明変化や上下方向の首振りといった輝度変化に対して頑健である。つまり、輝度変化に対して安定して表情を推定することができる。しかしながら、前記のように人間とコンピュータ等がコミュニケーションを図ったり、人の商品等に対する興味度合いを測定したりするためには、顔表情のカテゴライズのみでなく、顔の表情の度合も測定できることが望まれている。
【０００４】
撮像装置の分野では、従来、例えば笑顔と通常の表情などの異なる表情の間において一方の表情にどれだけ近いかの度合いを示す表情評価値を算出する方法が知られている（例えば特許文献１参照）。特許文献１に記載の表情評価法では、笑顔のサンプル画像と通常の表情のサンプル画像として、４８画素×４８画素の一定サイズに正規化した顔画像を用意しておく。そして、これらのサンプル画像のデータを、（４８×４８）次元のベクトルデータとして取り扱い、線形判別分析（ＬＤＡ：Linear Discriminant Analysis）の処理を行う。
【０００５】
また、例えば特許文献２に記載された技術は、患者等の表情を撮影した画像を利用して、投薬制御や回復評価を行うシステムであって、感情や状態に伴って変化する表情の度合いが段階的に変化する複数の顔画像からなる表情遷移マップの各段階の顔画像と、取り込まれた人物の実写顔画像との照合を行い、最も類似している顔画像を選択してその段階を出力することにより、所定の表情の度合いの判定を行うものである。
【０００６】
また、近年、ハードディスクレコーダの普及や、インターネット経由でのビデオ配信サービスの広まりにより、視聴者が膨大なビデオから興味を持つ番組やシーンを的確に取得することを可能にする技術の開発が求められている。これを実現するために、視聴者の視聴番組履歴を利用して、視聴者が好むであろう番組を推薦するシステムが提案されている。また、視聴番組履歴以外の条件も考慮して、番組を推薦する技術も知られている（例えば特許文献３参照）。
【０００７】
例えば、特許文献３に開示されたクライアント・サーバシステムでは、多数のクライアントと接続されたサーバが、各クライアントから情報を収集し、協調フィルタリングによってクライアントにコンテンツの推薦を行う。また、クライアントでは、テレビ番組などのコンテンツの再生中に、コンテンツを視聴しているユーザを撮影して得られた画像からユーザの表情を検出し、ユーザが例えば笑顔になったタイミングと、笑顔の度合いを表す時系列データを取得すると共に、コンテンツの再生終了時にマウス等から入力されたユーザの評価を取得する。ここで、笑顔を検出する方法は、検出された顔から抽出された特徴と、予め用意されている笑顔の特徴とのマッチングにより行われる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−４２３１９号公報（段落００５５、図８）
【特許文献２】特開２００１−４３３４５号公報（段落００２５、図２）
【特許文献３】特開２００９−１４００１０号公報（段落００２３−００４３）
【非特許文献】
【０００９】
【非特許文献１】熊野史朗、大塚和弘、大和淳司、前田英作、佐藤洋一、“パーティクルフィルタと勾配法の組み合わせによる頭部姿勢変動に頑健な表情認識種表”、画像の認識・理解シンポジウム（MIRU2008）、Jul.（2008)
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、従来の画像中の顔の表情の度合を測定する技術は、頑健性が不十分であるという問題がある。例えば特許文献１に記載の技術では、笑顔度の測定に用いる特微量が、各画素データに基づく４８×４８次元ベクトルとなっており、各画素データとして画素値等を用いると、照明が変動する場合等において、顔の表情の度合を安定して測定することができない。
【００１１】
また、特許文献２に記載の技術は、照合に用いる特微量が画像の画素値であるため、同様に安定な測定が困難であると共に、さらに、照合に用いる表情遷移マップの信頼性が悪いという問題もある。また、特許文献３に記載の技術は、ユーザを撮影して得られた撮影画像において検出された顔から抽出された特徴として画素値等を用いると、同様に安定な測定が困難である。
【００１２】
本発明は、以上のような問題点に鑑みてなされたものであり、環境の変動に対しても安定して測定対象の画像から顔表情の変化度を測定する顔表情変化度測定装置およびそのプログラム並びに番組興味度測定装置を提供することを課題とする。
【課題を解決するための手段】
【００１３】
前記課題を解決するために、本発明の請求項１に記載の顔表情変化度測定装置は、測定対象の画像を取り込む画像取込手段と、前記画像中の測定対象の顔領域を検出する顔領域検出手段とを備え、前記画像として入力する測定対象の顔の表情の変化の度合いを顔表情変化度として測定する顔表情変化度測定装置であって、画像特徴量抽出手段と、クラスタリング手段と、ヒストグラム作成手段と、差分算出手段と、を備えることとした。
【００１４】
かかる構成によれば、顔表情変化度測定装置は、画像特徴量抽出手段によって、前記画像において前記顔領域検出手段によって検出された顔領域から、ベクトルまたはスカラーで表される画像の特徴量を示す複数の特徴点をそれぞれ抽出する。ここで、画像特徴量としてＳＵＲＦやＳＩＦＴ特徴量等を用いることができる。そして、顔表情変化度測定装置は、クラスタリング手段によって、前記検出された顔領域から前記特徴点が抽出された画像のうち、測定対象の基準とする顔の表情を示す標準顔と、当該測定対象の比較しようとする顔の表情を示す入力顔とに関する画像毎に、前記顔領域から抽出された複数の特徴点を、類似した特徴点同士をまとめた所定数のクラスタに分類する。ここで、標準顔と入力顔とは同一の測定対象のものであればよく、それらの表情は任意である。そして、顔表情変化度測定装置は、ヒストグラム作成手段によって、前記標準顔を含む画像に対して前記特徴点が分類された各クラスタと、前記入力顔を含む画像に対して前記特徴点が分類された各クラスタの双方について、各クラスタを階級としてクラスタの要素である特徴点の個数を頻度とするヒストグラムをそれぞれ作成する。そして、顔表情変化度測定装置は、差分算出手段によって、前記標準顔を含む画像に基づく各クラスタから作成されたヒストグラムと、前記入力顔を含む画像に基づく各クラスタから作成されたヒストグラムとの階級毎の差分を加工した正の値の累積和を、当該測定対象の顔表情変化度として算出する。そして、前記クラスタリング手段は、前記標準顔の顔領域から抽出された特徴点を分類して生成された各クラスタをそれぞれ示す標準顔クラスタと、前記入力顔の顔領域から抽出された特徴点との特微量に関する距離を求め、前記入力顔の顔領域から抽出された特徴点を、前記標準顔クラスタのうち特微量に関して最も距離の近いクラスタに分類することを特徴とする。したがって、測定対象の画像として標準顔と入力顔とを同様な環境で取得すれば、取り込んだ画像から顔表情の変化度を正しく測定することができる。
【００１５】
また、本発明の請求項２に記載の顔表情変化度測定装置は、請求項１に記載の顔表情変化度測定装置において、前記画像取込手段が、前記測定対象の画像として被写体を撮影するカメラから出力されるカメラ映像を取り込み、前記顔領域検出手段が、前記カメラ映像のフレーム画像毎に、前記被写体の顔領域を検出し、前記カメラ映像として入力する被写体の顔表情変化度を測定することとした。
【００１６】
かかる構成によれば、顔表情変化度測定装置は、カメラから出力されるカメラ映像のうちのある時点で検出した被写体の顔を標準顔として予め取得しておき、カメラから次々に出力されるフレーム画像でリアルタイムに検出した入力顔に対して、それぞれの顔表情変化度を求めることができる。また、カメラで次々に撮影されるカメラ影像の撮影環境が変化したときに、撮影環境に合わせて標準顔を新たに取得すれば、撮影環境の変動に対しても頑健に撮影画像から顔表情の変化度を測定することができる。
【００１７】
また、本発明の請求項３に記載の顔表情変化度測定装置は、請求項１に記載の顔表情変化度測定装置において、前記画像取込手段が、前記測定対象の画像として被写体をカメラで撮影したカメラ映像を蓄積した画像蓄積装置から出力されるカメラ映像を取り込み、前記顔領域検出手段が、前記カメラ映像のフレーム画像毎に、前記被写体の顔領域を検出し、前記カメラ映像として入力する被写体の顔表情変化度を測定することとした。
【００１８】
かかる構成によれば、顔表情変化度測定装置は、例えば画像蓄積装置から出力されるカメラ映像のうちのある時点で検出した被写体の顔を標準顔として予め取得しておき、画像蓄積装置から次々に出力されるフレーム画像から検出した入力顔に対して、それぞれの顔表情変化度を求めることができる。また、同一の被写体が映っている異なるタイミングで撮影したカメラ映像を互いに同様な撮影環境で撮影して蓄積していれば、それらの異なる映像で１つの標準顔を用いたとしても、頑健に撮影画像から顔表情の変化度を測定することができる。
【００１９】
また、本発明の請求項４に記載の顔表情変化度測定装置は、請求項１から請求項３のいずれか一項に記載の顔表情変化度測定装置において、画像記憶手段と、検索手段とをさらに備えることとした。
【００２０】
かかる構成によれば、顔表情変化度測定装置は、画像記憶手段に、前記画像取込手段で取り込まれた測定対象の画像と、当該画像を基に前記差分算出手段で算出された顔表情変化度とを対応付けて記憶する。そして、顔表情変化度測定装置は、検索手段によって、入力装置から検索キーとして顔表情変化度の入力を受け付け、前記受け付けた顔表情変化度に対応した画像を前記画像記憶手段から検索して表示装置に出力する。したがって、例えば大笑いをした表情に対応した顔表情変化度の値を指定することで、画像記憶手段に蓄積された測定対象の画像の中から、測定対象が大笑いしたシーンを探索することができる。
【００２１】
また、本発明の請求項５に記載の顔表情変化度測定プログラムは、測定対象の画像として入力する測定対象の顔の表情の変化の度合いを顔表情変化度として測定するために、コンピュータを、顔領域検出手段、画像特徴量抽出手段、クラスタリング手段、ヒストグラム作成手段、差分算出手段として機能させることとした。
【００２２】
かかる構成によれば、顔表情変化度測定プログラムは、顔領域検出手段によって、前記測定対象の顔領域を検出する。そして、顔表情変化度測定プログラムは、画像特徴量抽出手段によって、前記画像において前記顔領域検出手段によって検出された顔領域から、ベクトルまたはスカラーで表される画像の特徴量を示す複数の特徴点をそれぞれ抽出する。そして、顔表情変化度測定プログラムは、クラスタリング手段によって、前記検出された顔領域から前記特徴点が抽出された画像のうち、測定対象の基準とする顔の表情を示す標準顔と、当該測定対象の比較しようとする顔の表情を示す入力顔とに関する画像毎に、前記顔領域から抽出された複数の特徴点を、類似した特徴点同士をまとめた所定数のクラスタに分類する。そして、顔表情変化度測定プログラムは、ヒストグラム作成手段によって、前記標準顔を含む画像に対して前記特徴点が分類された各クラスタと、前記入力顔を含む画像に対して前記特徴点が分類された各クラスタの双方について、各クラスタを階級としてクラスタの要素である特徴点の個数を頻度とするヒストグラムをそれぞれ作成する。そして、顔表情変化度測定プログラムは、差分算出手段によって、前記標準顔を含む画像に基づく各クラスタから作成されたヒストグラムと、前記入力顔を含む画像に基づく各クラスタから作成されたヒストグラムとの階級毎の差分を加工した正の値の累積和を、当該測定対象の顔表情変化度として算出する。そして、前記クラスタリング手段は、前記標準顔の顔領域から抽出された特徴点を分類して生成された各クラスタをそれぞれ示す標準顔クラスタと、前記入力顔の顔領域から抽出された特徴点との特微量に関する距離を求め、前記入力顔の顔領域から抽出された特徴点を、前記標準顔クラスタのうち特微量に関して最も距離の近いクラスタに分類することを特徴とする。
【００２３】
また、本発明の請求項６に記載の番組興味度測定装置は、テレビ番組を表示するモニタと、前記モニタに表示されたテレビ番組を視聴する視聴者を撮影するカメラとを備えた番組興味度測定装置であって、請求項２に記載の顔表情変化度測定装置と、ビデオ管理手段と、番組興味度蓄積手段と、グラフ生成手段とを備えることとした。
【００２４】
かかる構成によれば、番組興味度測定装置は、顔表情変化度測定装置によって、前記カメラから出力されるカメラ映像を取り込む。そして、番組興味度測定装置は、前記顔表情変化度測定装置で測定された前記視聴者の顔表情変化度の時系列データを前記テレビ番組に対する時系列の番組興味度として取得し、前記時系列の番組興味度を、番組名および番組尺中における番組開始時刻からの経過時刻情報と共に番組興味度蓄積手段に蓄積する。そして、番組興味度測定装置は、グラフ生成手段によって、前記蓄積されたテレビ番組に対する時系列の番組興味度を示す時系列グラフを生成し、前記時系列グラフを前記モニタに表示させる。ここで、例えば、テレビ番組終了時に、時系列グラフをモニタに表示させる。そして、番組興味度測定装置は、ビデオ管理手段によって、前記時系列グラフを表示させるときに視聴者が視聴していたテレビ番組であって外部から受信する映像または内部に蓄積された映像を示す番組を前記モニタに表示させる。例えば、一度視聴したテレビ番組を録画しておいて再視聴する際に、映画のように番組尺全体を初めから最後まで視聴する場合もあるが、番組内容によっては興味を持った時間帯だけを視聴する場合もある。例えば、テレビ番組は、ニュース番組、スポーツ番組、ドラマ番組、バラエティー番組等のジャンルの種類や、番組内にて細分化されたコーナーの有無や、出演者の出演時間帯等によって、番組尺の中で、視聴者が興味を持って再視聴しようとする時間帯が限定的な場合もある。このような場合、当該番組の時系列グラフを参考にして、テレビ番組のうち、番組興味度が高い時間帯または低い時間帯のみを再視聴するといったことができる。
【００２５】
また、本発明の請求項７に記載の番組興味度測定装置は、請求項６に記載の番組興味度測定装置において、前記グラフ生成手段が、前記番組興味度の最大値が１．０になるよう正規化し、かつ、前記顔表情変化度測定装置にて顔領域を検出できなかったときの前記番組興味度の値が−１．０になるようにして前記時系列グラフを生成することとした。
【００２６】
かかる構成によれば、番組興味度測定装置は、番組興味度の最大値が１．０になるよう正規化した時系列グラフを生成する。したがって、視聴者は、時系列グラフが最大値となる時間帯のみを効率よく選択して再視聴することができる。また、番組興味度測定装置は、顔領域を検出できなかったときの番組興味度の値が−１．０になるよう正規化した時系列グラフを生成する。したがって、視聴者が、一度目に視聴したときに見逃してしまった時間帯があった場合に、再視聴時には、作成された時系列グラフを表示して、番組興味度の値が−１．０となる時間帯を選択して番組を視聴することで、見逃したシーンのみを効率よく選択して視聴することができる。
【００２７】
また、本発明の請求項８に記載の番組興味度測定装置は、請求項６または請求項７に記載の番組興味度測定装置において、前記グラフ生成手段が、予め定められた時間内にそれぞれ取得した前記番組興味度の値を平均化した平均化興味度を生成し、前記平均化興味度を用いて前記時系列グラフを生成することとした。
【００２８】
かかる構成によれば、番組興味度測定装置は、グラフ生成手段が、番組興味度の値を時間平均した平均化興味度を用いて時系列グラフを生成するので、例えば、フレーム画像毎にグラフを作成した場合に現れる瞬間的な興味度の増加や減少を軽減することができる。
【００２９】
また、本発明の請求項９に記載の番組興味度測定装置は、請求項６ないし請求項８のいずれか一項に記載の番組興味度測定装置において、前記ビデオ管理手段が、前記時系列グラフを生成するときに視聴者が視聴していたテレビ番組において当該番組尺中における時刻情報と、前記時系列グラフにおける時刻情報とを対応付け、入力装置から、前記モニタに表示された時系列グラフ上の点を指定する入力を受け付け、前記指定された時系列グラフ上の点で示される時刻情報に対応した時刻から当該番組を再生した映像を前記モニタに表示させる機能をさらに有することとした。
【００３０】
かかる構成によれば、番組興味度測定装置は、ビデオ管理手段が、テレビ番組の時刻情報と時系列グラフにおける時刻情報とを対応付け、指定された時系列グラフ上の点で示される時刻から番組を再生させる。したがって、視聴者は、興味のある番組内容が放映された時間の情報を気にとめることなく、モニタに表示された時系列グラフ上の任意の位置の点を指定する操作を行うだけで、番組の途中等のグラフで指定した任意の時間の放映内容から即座に視聴することができ、利便性が向上する。
【００３１】
また、本発明の請求項１０に記載の番組興味度測定装置は、請求項６ないし請求項９のいずれか一項に記載の番組興味度測定装置において、前記ビデオ管理手段が、前記時系列グラフにおいて、前記番組興味度が予め定められた閾値よりも大きい時間範囲を前記視聴者が興味を持ったシーンとして抽出し、前記シーンに登場する人物または物体を認識し、認識結果を視聴ログとして収集し、前記収集した視聴ログに含まれる人物名または物体名と、外部から受信する映像または内部に蓄積された映像を示す番組に予め付されたメタデータに含まれる人物名または物体名とを照合し、前記メタデータが付された番組の中から関連番組を探索して前記視聴者に推薦する機能をさらに有することとした。
【００３２】
かかる構成によれば、番組興味度測定装置は、ビデオ管理手段が、時系列グラフにおいて、番組興味度の大きさから視聴者が興味を持ったと推定されるシーンを抽出し、このシーンに登場する人物または物体を認識して視聴ログとして収集する。ここで、ビデオ管理手段は、人物の場合には一般的な顔認識技術、物体の場合には一般的な物体認識技術といった画像処理技術を用いて、当該シーンに登場する人物または物体を認識する。また、かかる構成によれば、番組興味度測定装置は、ビデオ管理手段が、外部から取得した番組または蓄積している番組のメタデータと収集した視聴ログとを照合することで、外部から取得した番組または蓄積している番組の中から決定した関連番組を視聴者に推薦することができる。
【発明の効果】
【００３３】
請求項１に記載の発明によれば、顔表情変化度測定装置は、測定対象の画像において基準とする標準顔から抽出した特徴点をクラスタリングしてヒストグラムを作成すると共に、取り込まれた画像中の当該測定対象の顔を示す入力顔から抽出された複数の特徴点を、標準顔に関して特徴点を分類したときの各クラスタのうち、特微量に関して最も距離の近いクラスタに分類してヒストグラムを作成してヒストグラムの差分を顔表情変化度として算出する。したがって、測定対象の標準顔と入力顔とを同様な環境のものとして取得できるので、環境の変動に対しても頑健に測定対象の画像から顔表情の変化度を測定することができる。その結果、人間と円滑にコミュニケーションを図るコンピュータやロボットにおけるモジュールとして適用することができる。また、顔表情変化度測定装置は、表情の変化から、人の商品等に対する興味度合いを正確に測定することができる。
また、請求項５に記載の発明によれば、顔表情変化度測定プログラムをインストールしたコンピュータは請求項１と同様の効果を奏することができる。
【００３４】
請求項２に記載の発明によれば、顔表情変化度測定装置は、カメラから次々に出力されるフレーム画像でリアルタイムに検出した入力顔に対して、それぞれの顔表情変化度を求めることができる。
【００３５】
請求項３に記載の発明によれば、顔表情変化度測定装置は、画像蓄積装置から次々に出力されるフレーム画像で検出した入力顔に対して、それぞれの顔表情変化度を求めることができる。
【００３６】
請求項４に記載の発明によれば、顔表情変化度測定装置は、測定対象の画像を顔表情変化度と対応付けて記憶するので、所望の表情に対応した顔表情変化度の値を指定することで、蓄積された画像の中から、測定対象の所望の表情が映ったシーンを探索することができる。
【００３７】
請求項６に記載の発明によれば、番組興味度測定装置は、顔表情変化度測定装置で測定された視聴者の顔表情変化度の時系列をテレビ番組に対する時系列の番組興味度として取得して時系列グラフを生成してモニタに表示させる。したがって、視聴者は、時系列グラフを参考にして、テレビ番組のうち、番組興味度が高い時間帯または低い時間帯のみを再視聴するといったことができる。
【００３８】
請求項７に記載の発明によれば、番組興味度測定装置は、興味度を正規化した時系列グラフを生成する。したがって、視聴者は、時系列グラフを参考にして、番組興味度の大きなシーンや番組を見逃したシーンのみを効率よく選択してテレビ番組を再視聴することができる。
【００３９】
請求項８に記載の発明によれば、番組興味度測定装置は、番組興味度の値を時間平均して時系列グラフを生成するので、瞬間的な興味度の増加や減少を軽減した時系列グラフを生成することができる。
【００４０】
請求項９に記載の発明によれば、番組興味度測定装置は、テレビ番組の映像および音声の時刻情報と時系列グラフ上の位置における時刻情報とを対応付け、指定された時系列グラフ上の点で示される時刻から番組を再生させる。したがって、視聴者は、時系列グラフ上の点を指定するだけで、グラフで指定した任意の時間の放映内容から番組を即座に視聴することができ、利便性が向上する。
【００４１】
請求項１０に記載の発明によれば、番組興味度測定装置は、番組興味度の大きさに基づいて時系列グラフから抽出したシーンに登場する人物または物体を認識し、認識結果に関連する関連番組を探索して視聴者に推薦する。したがって、番組興味度測定装置は、視聴者が興味を持つ事柄を、視聴テレビ番組から詳細に分析することができると共に、蓄積された膨大なテレビ番組ビデオから、視聴者が興味を持っていると推定される番組を、当該視聴者の興味を反映した時系列グラフに基づいて的確に推薦することができる。
【図面の簡単な説明】
【００４２】
【図１】本発明の第１実施形態に係る顔表情変化度測定装置の構成を模式的に示すブロック図である。
【図２】顔領域計測結果と顔領域中のＳＵＲＦ抽出結果の一例を示す図である。
【図３】顔表情変化度を測定するためのＧＵＩの一例を示す図である。
【図４】ＳＵＲＦのクラスタリングの概念図である。
【図５】標準顔画像ヒストグラムの一例を示す図である。
【図６】入力顔画像ヒストグラムの一例を示す図である。
【図７】顔表情変化度測定装置の動作を示すフローチヤートである。
【図８】顔表情変化度とヒストグラムの差分との関係を模式的に示す概念図であって、（ａ）は標準顔画像、（ｂ）は標準顔画像のＳＵＲＦクラスタリング結果、（ｃ）は標準顔画像ヒストグラム、（ｄ）は入力顔画像、（ｅ）は入力顔画像のＳＵＲＦクラスタリング結果、（ｆ）は入力顔画像ヒストグラムをそれぞれ示している。
【図９】本発明の第２実施形態に係る顔表情変化度測定装置の構成を模式的に示すブロック図である。
【図１０】本発明の実施形態にかかる番組興味度測定装置のシステム構成を模式的に示すブロック図である。
【図１１】本発明の実施形態にかかる番組興味度測定装置におけるモニタとカメラの一例を示す図である。
【図１２】本発明の実施形態にかかる番組興味度測定装置に記憶される番組興味度のデータ構造の一例を示す図である。
【図１３】本発明の実施形態にかかる番組興味度測定装置で作成した時系列グラフとテレビ番組のビデオとを同時にモニタに表示した場合の画面表示例を示す図である。
【発明を実施するための形態】
【００４３】
図面を参照して本発明の顔表情変化度測定装置を実施するための形態について詳細に説明する。
（第１実施形態）
［顔表情変化度測定装置の構成］
顔表情変化度測定装置１は、画像として入力する測定対象の顔の表情の変化の度合いを顔表情変化度として測定する装置であって、ＣＰＵ（Central Processing Unit）等の演算装置と、メモリやハードディスク等の記憶装置と、外部との間で各種情報の送受信を行うインタフェース装置とを備えたコンピュータおよび、このコンピュータにインストールされたプログラム（顔表情変化度測定プログラム）とから構成される。つまり、顔表情変化度測定装置１は、ハードウェア装置とソフトウェアとが協働することによって、前記したハードウェア資源がプログラムによって制御されることにより実現され、図１に示すように、モード判別手段２と、画像取込手段３と、顔領域検出手段４と、画像特徴量抽出手段５と、画像特徴量記憶手段６と、クラスタリング手段８と、ヒストグラム作成手段９と、ヒストグラム記憶手段１０と、差分算出手段１１とを備えている。
【００４４】
以下では、顔表情変化度測定装置１は、一例として、測定対象の画像として被写体を撮影するカメラＣから出力されるカメラ映像（撮影画像）を取り込み、カメラ映像として入力する被写体の顔の表情の変化の度合いを測定することとして説明する。
ここで、顔表情変化度測定装置１の概要として、被写体の基準とする顔の表情（以下、標準顔という）の一例を図８（ａ）に示し、同じ被写体の比較しようとする顔の表情（以下、入力顔という）の一例を図８（ｄ）に示す。なお、標準顔と入力顔とは同じ環境で取得されたものとする。また、標準顔は１つとする。また、一連の測定が終了したら標準顔を変更してもよい。また、この顔表情変化度測定装置１が、図８（ｄ）に示す入力顔を測定したときの処理画像の一例を図２に示す。また、顔表情変化度測定時に、図８（ａ）に示す標準顔に対しても同様の処理画像が得られるが、ここでは、図示は省略する。図２に示す画像は、表情の変化の度合（顔表情変化度）を求めるときの原理を説明するための画像である。なお、顔表情変化度測定装置１で測定して表示する処理結果は、顔表情変化度であって、図２に示すような画像を必ずしも表示する必要はない。
【００４５】
図１に戻って、顔表情変化度測定装置１の構成の説明を続ける。
＜モード判別手段＞
モード判別手段２は、入力装置１２から入力されるボタン押下信号が表すモードを判定し、モードに応じた動作を行うものである。ここで、入力装置１２は、例えば、キーボード、マウス、タッチパネル等から構成される。また、入力装置１２をＧＵＩ（Graphical User Interface）として構成してもよい。ＧＵＩの一例を図３に示す。このＧＵＩは、処理操作用の処理開始ボタン１１１、終了ボタン１１２および標準顔の取得ボタン１１３と、事前設定用の設定入力部１１４と、処理結果表示部１１５とを備えている。なお、ボタンの種類に応じて、モードとして、例えば、開始モード、通常処理モード、終了モード、標準顔取得モード等を設けている。
【００４６】
ここで、処理開始ボタン１１１は、顔表情変化度測定の処理を開始するためのボタンであり、終了ボタン１１２は、その処理を終了するためのボタンである。また、標準顔の取得ボタン１１３は、基準となる画像を取得するためのボタンである。ここで、標準顔と入力顔とは同一の被写体のものであればよく、それらの表情は任意である。例えば、標準顔を無表情、入力顔を笑顔としたり、標準顔を笑顔、入力顔を大笑いとしたりすることができる。
【００４７】
設定入力部１１４は、顔表情変化度を測定するための処理を開始する前に、所望の処理結果を得るために演算方法を調整する各種設定を入力するためのものである。ここでは、図３に示すように、設定入力部１１４は、顔領域の微調設定部１１６と、ＳＵＲＦ抽出パラメータ設定部１１７と、ヒストグラムのクラスタ数設定部１１８と、標準顔画像と入力顔画像のヒストグラム比較法設定部１１９とを備えることとした。
【００４８】
顔領域の微調設定部１１６は、図２に示す上半顔領域１０２に対応した「上半分の削減率」と、図２に示す下半顔領域１０３に対応した「下半分の削減率」とをそれぞれ設定するためのものである。この例では、１つの顔（顔領域）を２つの矩形領域で検出することとした。つまり、この例では、顔領域とは、上半顔領域１０２と下半顔領域１０３とを合わせた領域のことを指す。本実施形態のように２つの矩形領域で検出する場合、上半顔領域１０２や下半顔領域１０３が実際の顔の上半分の領域や下半分の領域よりもそれぞれ大きく検出されるので、上半顔領域１０２や下半顔領域１０３のサイズを拡大または縮小する微調整を行うために、顔領域の微調設定部１１６を設けた。なお、マイナスの削減率は増加率を表している。この例では、顎部からもＳＵＲＦを検出するために下半顔領域１０３を下方向に拡幅した。
【００４９】
ＳＵＲＦ抽出パラメータ設定部１１７は、図２に示すＳＵＲＦ１０４を抽出するためのパラメータを設定するためのものである。ここでは、一例として、「Ｈｅｓｓｉａｎ閾値」と、「ＳＵＲＦ記述子の要素数」とを設定することとした。
ヒストグラムのクラスタ数設定部１１８は、抽出されたＳＵＲＦを分類するクラスタの個数を設定するためのものである。
標準顔画像と入力顔画像のヒストグラム比較法設定部１１９は、差分算出手段１１において差分を求めるときの方法を設定するためのものである。ここでは、「残差絶対値和」を求めて比較する方法と、「残差２乗和」を求めて比較する方法とを選択できるように設けた。なお、この例では、設定入力部１１４を設けて種々の設定値を所望の値に変更できるように構成したが、設定入力部１１４は必須ではなく、各設定値を予め所定の値に固定しておいてもよい。
【００５０】
処理結果表示部１１５は、ＳＵＲＦキーポイント数表示部１２０と、顔表情変化度表示部１２１と、プログレスバー１２２とを備えている。
ＳＵＲＦキーポイント数表示部１２０は、抽出されたＳＵＲＦキーポイント数、つまり、Ｈｅｓｓｉａｎ閾値以上となるＳＵＲＦキーポイント数の値を表示するものである。
顔表情変化度表示部１２１は、差分算出手段１１で計算された差分の値を顔表情変化度として表示するものである。
プログレスバー１２２は、差分算出手段１１で計算された差分の値をグラフィック表示するものである。
なお、この例では、処理結果表示部１１５は、数値とプログレスバーとを両方とも表示することとしたが、いずれか一方のみを表示するようにしてもよい。
【００５１】
本実施形態では、図１に示すモード判別手段２は、図３に示すＧＵＩの操作に応じてモードを判定することとした。
モード判別手段２は、処理開始ボタン１１１または終了ボタン１１２が押下された場合に、その旨を開始モードまたは終了モードとして画像取込手段３に通知する。
【００５２】
また、モード判別手段２は、処理中に標準顔の取得ボタン１１３が押下された場合、その旨を標準顔取得モードとしてクラスタリング手段８に通知する。
また、モード判別手段２は、処理中に標準顔の取得ボタン１１３が押下されない場合（通常処理モード）、標準顔が取得済みであるか否かを判定し、標準顔を既に取得済みである場合、クラスタリング手段８に通知する。本実施形態では、モード判別手段２は、ヒストグラム記憶手段１０を参照して、標準顔画像ヒストグラム１３が作成されている場合に、標準顔が取得済みであると判定することとした。
【００５３】
＜画像取込手段＞
画像取込手段３は、測定対象の画像を顔表情変化度測定装置１に取り込むものであって、所定の入力インタフェースから構成される。本実施形態では、顔の表情変化度を測定したい被写体を撮影したカメラ映像（撮影画像）を取り込むこととした。画像取込手段３は、モード判別手段２から処理開始を通知されると、例えば、カメラＣからカメラ映像の取り込み処理を開始する。ここで、カメラＣは、例えばＷｅｂカメラから構成される。
【００５４】
＜顔領域検出手段＞
顔領域検出手段４は、測定対象の画像中の測定対象の顔領域を検出するものである。本実施形態では、画像取込手段３で取り込まれたカメラ映像中の被写体の顔領域を検出することとした。また、本実施形態では、顔領域検出手段４は、カメラ映像の各フレーム画像中の顔領域を検出する。この顔領域検出手段４は、従来公知の顔領域計測技術により顔領域を検出する。ここで、顔領域を計測する手法としては、例えば、「PAUL VIOLA, MICHAEL J. JONES: “Robust Real-Time Face Detection", International Journal of Computer Vision, Vol.57, No.2, pp.137-154(2004)」に記載されている方法を用いることができる。
【００５５】
顔領域検出手段４で検出した被写体の顔領域の一例を図２に示す。この例では、被写体１０１の顔に対して、顔の上半分の領域と下半分の領域とをそれぞれ示す上半顔領域１０２と下半顔領域１０３を合わせて、顔が検出された領域（顔領域）を表している。上半顔領域１０２と下半顔領域１０３とは、図３のＧＵＩの顔領域の微調設定部１１６の設定内容に従い、顔検出領域が微調される。なお、顔領域を１つ、または３つ以上の矩形領域で検出することとしてもよい。
【００５６】
＜画像特徴量抽出手段＞
画像特徴量抽出手段５は、測定対象の画像において検出された顔領域から、ベクトルまたはスカラーで表される画像の特徴量を示す複数の特徴点をそれぞれ抽出するものである。本実施形態では、画像特徴量抽出手段５は、被写体を撮影したカメラ映像において顔領域検出手段４によって検出された顔領域から特徴点を抽出する。また、本実施形態では、画像特徴量抽出手段５は、カメラ映像のフレーム画像から検出された顔領域から画像特徴量としてＳＵＲＦを抽出することとした。
ここで、ＳＵＲＦとは、公知文献「Herbert Bay， Tinne Tuytelaars，and Luc Van Gool: “ＳＵＲＦ: Speeded Up Robust, Features”， Computer Vision and Image Understanding(CVIU), Vol.110, No.3, pp.346-359(2008)」に記された画像特微量である。
【００５７】
画像特徴量抽出手段５で顔領域から抽出したＳＵＲＦの一例を図２に示す。この例では、被写体１０１の顔において、エッジの強い箇所として、例えば、黒目の縁、目の横の皺、口角の皺等の近傍に直径の異なる無数の円が表示されており、これらがＳＵＲＦ１０４を示している。ＳＵＲＦは、上半顔領域１０２と下半顔領域１０３とに跨って抽出される。抽出されるＳＵＲＦの各要素（ＳＵＲＦキーポイント）は、事前に設定する６４次元ベクトルもしくは１２８次元ベクトルのＳＵＲＦ記述子と呼ばれる、画像の模様により異なってくる画像特徴量を有する。ＳＵＲＦ抽出のためのパラメータは、図３のＧＵＩのＳＵＲＦ抽出パラメータ設定部１１７で設定される。
【００５８】
ここでは、画像特徴量抽出手段５で顔領域から抽出する画像特微量を、ＳＵＲＦとしたが、ＳＵＲＦ以外にＳＩＦＴ特徴量など、その他の特徴量であっても構わない。
なお、ＳＩＦＴ特徴量については、公知文献「David G. Lowe: “Object Recognition from Local Scale-Invariant Features”，Proc. of the International Conference on Computer Vision,pp.1150-1157(1999)」に記載されている。
【００５９】
＜画像特徴量記憶手段＞
画像特徴量記憶手段６は、例えば、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等のメモリやハードディスク等の記憶装置から構成され、画像特徴量として例えばＳＵＲＦ記述子を記憶する。
【００６０】
＜クラスタリング手段＞
クラスタリング手段８は、検出された顔領域から特徴点が抽出された画像のうち、測定対象の基準とする顔の表情を示す標準顔と、当該測定対象の比較しようとする顔の表情を示す入力顔とに関する画像毎に、顔領域から抽出された複数の特徴点を、類似した特徴点同士をまとめた所定数のクラスタに分類するものである。
本実施形態では、クラスタリング手段８は、被写体の標準顔の顔領域から抽出されたＳＵＲＦを画像特徴量記憶手段６から入力し、標準顔の顔領域から抽出されたＳＵＲＦの中から特徴量が類似したＳＵＲＦを分類する。これにより、標準顔に対応した各クラスタが標準顔クラスタとして生成される。
また、クラスタリング手段８は、当該被写体の入力顔の顔領域から抽出されたＳＵＲＦを画像特徴量記憶手段６から入力し、入力顔の顔領域から抽出されたＳＵＲＦの中から特徴量が類似したＳＵＲＦを分類する。これにより、入力顔に対応した各クラスタが生成される。このとき、クラスタリング手段８は、標準顔クラスタと、入力顔の顔領域から抽出されたＳＵＲＦとの特微量に関する距離を求め、入力顔の顔領域から抽出されたＳＵＲＦを、標準顔クラスタのうち特微量に関して最も距離の近いクラスタに分類する。つまり、クラスタリング手段８は、標準顔から抽出されたＳＵＲＦを分類するときに標準顔クラスタ（標準顔ＳＵＲＦクラスタ）を生成し、入力顔から抽出されたＳＵＲＦを分類するときには、標準顔ＳＵＲＦクラスタを用いて分類する。
【００６１】
このクラスタリング手段８は、画像特徴量抽出手段５で抽出されたＳＵＲＦを、ＳＵＲＦ記述子を基にクラスタリングする。また、クラスタリング手段８は、抽出されたＳＵＲＦを、ＳＵＲＦ記述子を基に一例としてＫ−ｍｅａｎｓクラスタリングすることとした。クラスタの数は、図３に示すＧＵＩのヒストグラムのクラスタ数設定部１１８の設定内容に従う。なお、クラスタリングする手法は、Ｋ−ｍｅａｎｓ法以外でも構わない。
【００６２】
また、クラスタリング手段８は、モード判別手段２から、標準顔の取得ボタン１１３が押下されたことを通知された場合、今回抽出された各ＳＵＲＦを、クラスタリングすることで、標準顔ＳＵＲＦクラスタを生成する。
また、クラスタリング手段８は、モード判別手段２から、標準顔を既に取得済みである通知を受けた場合、今回抽出された各ＳＵＲＦを、標準顔ＳＵＲＦクラスタのうち、最も距離の近いクラスタに分類する。ここで、標準顔を既に取得済みである場合、ＳＵＲＦと標準顔クラスタの距離の例としては、ＳＵＲＦ記述子ベクトルの各要素と標準顔クラスタ内のＳＵＲＦの平均記述子ベクトルの各要素との残差２乗和がある。
【００６３】
ここで、クラスタリング手段８によるクラスタリングの概念について図４に例示する。図４は、ＳＵＲＦのクラスタの概念図である。図３において、ＳＵＲＦ記述子の要素数を例えば６４に設定した場合、ＳＵＲＦ記述子は実際には６４次元ベクトルであるが、ここでは、簡便のため、ＳＵＲＦを一例として２次元で表現した。標準顔の顔領域から抽出された多数の特徴点は、予め指定されたクラスタ数に分類される。図４に示す例では、符号１２３で示すように、１０個のクラスタにそれぞれ分類されている。つまり、この場合には、Ｘ座標、Ｙ座標が２次元で表された特徴量を示しており、特徴点はＸＹ平面上において符号１２４で示す×印の点として表現されている。なお、ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉ，ｊは、クラスタＩＤを示す。
【００６４】
＜ヒストグラム作成手段＞
ヒストグラム作成手段９は、クラスタリング手段８でクラスタリングされた各クラスタを階級として、クラスタの要素である特徴点の個数を頻度とするヒストグラムを作成するものである。このヒストグラム作成手段９は、標準顔を含む画像（標準顔画像という）に対して特徴点が分類された各クラスタと、入力顔を含む画像（入力顔画像という）に対して特徴点が分類された各クラスタの双方について、ヒストグラムをそれぞれ作成する。
【００６５】
ここで、ヒストグラム作成手段９が、標準顔画像から抽出されたＳＵＲＦについてクラスタリングした結果から作成した標準顔画像ヒストグラム１３の一例を図５に示す。この例では、ＳＵＲＦが１０個のクラスタに分類されている。ただし、図５に示すヒストグラムの要素数と、図４に示す各クラスタ内の特徴点の個数とは一致していない。
同様に、ヒストグラム作成手段９が、入力顔画像から抽出されたＳＵＲＦについてクラスタリングした結果から作成した入力顔画像ヒストグラム１４の一例を図６に示す。なお、図６に示すヒストグラムの要素数と、図４に示す各クラスタ内の特徴点の個数とは一致していない。
図６に示す入力顔画像ヒストグラム１４の各クラスタと、図５に示す標準顔画像ヒストグラム１３の各クラスタとは同じものである。ただし、元の画像が異なるため、同じクラスタＩＤであっても、クラスタの要素数（頻度）が同じであるとは限らない。
【００６６】
＜ヒストグラム記憶手段＞
ヒストグラム記憶手段１０は、例えば、メモリやハードディスク等の記憶装置から構成され、ヒストグラム作成手段９の演算処理結果である標準顔画像ヒストグラム１３や入力顔画像ヒストグラム１４を記憶する。
【００６７】
＜差分算出手段＞
差分算出手段１１は、標準顔画像ヒストグラム１３と入力顔画像ヒストグラム１４の階級毎の差分を加工した正の値の累積和を当該被写体の顔表情変化度として表示装置１５に出力する。階級毎の差分を加工した正の値の累積和を計算する手法としては、例えば、クラスタ毎の頻度の差分の２乗和、差分の絶対値和等がある。差分算出手段１１から出力された値が顔表情変化度となる。ここで、表示装置１５は、例えば、液晶ディスプレイ等から構成される。図３のＧＵＩの処理結果表示部１１５には、出力値が数字とプログレスバーで示されている。なお、差分算出手段１１は、顔表情変化度を記憶手段に格納するようにしてもよい。
【００６８】
［顔表情変化度測定装置の動作］
次に、顔表情変化度測定装置の動作について図７を参照（適宜図１参照）して説明する。予め図３のＧＵＩの設定入力部１１４で各設定を実施した後、処理開始ボタン１１１の押下により処理を開始する。まず、顔表情変化度測定装置１は、画像取込手段３によって、顔の表情変化度合を測定したい人を撮影したカメラ映像を取り込む（ステップＳ１）。そして、顔表情変化度測定装置１は、顔領域検出手段４によって、フレーム中の顔領域を測定して検出処理を行う（ステップＳ２）。ここで顔領域の検出に失敗すると（ステップＳ２：Ｎｏ）、ステップＳ１に戻る。一方、顔領域の検出に成功すると（ステップＳ２：Ｙｅｓ）、顔表情変化度測定装置１は、画像特徴量抽出手段５によって、顔領域中のＳＵＲＦを抽出する（ステップＳ３）。
【００６９】
次いで、顔表情変化度測定装置１は、顔領域中のＳＵＲＦを抽出した後、モード判別手段２によって、標準顔の取得ボタン１１３が押下されたと判定した場合（ステップＳ４：Ｙｅｓ）、前記ステップＳ３にて顔領域からＳＵＲＦを抽出した画像は標準顔画像であり、クラスタリング手段８によって、ＳＵＲＦ記述子を基に、この標準顔画像の顔領域から抽出されたＳＵＲＦをＫ−ｍｅａｎｓクラスタリングする（ステップＳ５）。これにより、標準顔ＳＵＲＦクラスタが生成される。次に、顔表情変化度測定装置１は、ヒストグラム作成手段９によって、標準顔ＳＵＲＦクラスタの各クラスタの要素数を頻度とする標準顔画像ヒストグラムを作成し（ステップＳ６）、ステップＳ１に戻る。
【００７０】
前記したステップＳ４にて、標準顔の取得ボタン１１３が押下されなかったと判定した場合（ステップＳ４：Ｎｏ）、前記ステップＳ３にて顔領域からＳＵＲＦを抽出した画像は入力顔画像であり、顔表情変化度測定装置１は、モード判別手段２によって、標準顔が取得済みであるか否かを判定する（ステップＳ７）。標準顔をまだ取得していない場合（ステップＳ７：Ｎｏ）、顔表情変化度測定装置１は、ステップＳ１に戻る。
【００７１】
一方、ステップＳ７にて、標準顔を既に取得済みである場合（ステップＳ７：Ｙｅｓ）、顔表情変化度測定装置１は、クラスタリング手段８によって、今回の入力顔画像の顔領域から抽出された各ＳＵＲＦを、標準顔ＳＵＲＦクラスタのうち、最も距離の近いクラスタに分類する（ステップＳ８）。顔表情変化度測定装置１は、抽出された全てのＳＵＲＦについて分類を終えると、ヒストグラム作成手段９によって、各クラスタに分類されたＳＵＲＦの数を頻度とする入力顔画像ヒストグラムを作成する（ステップＳ９）。そして、顔表情変化度測定装置１は、差分算出手段１１によって、標準顔画像ヒストグラムと入力顔画像ヒストグラムの差分を計算し、その値を表示装置１５に出力する（ステップＳ１０）。以上の過程により、顔の表情変化度を取得することができる。
【００７２】
なお、ステップＳ１０に続いて、顔表情変化度測定装置１は、モード判別手段２によって、終了ボタン１１２が押下されなかったと判定した場合（ステップＳ１１：Ｎｏ）、ステップＳ１に戻り、処理を続ける。一方、終了ボタン１１２が押下されたと判定した場合（ステップＳ１１：Ｙｅｓ）、処理を終了する。
【００７３】
［顔表情変化度の計算の具体例］
次に、この顔表情変化度測定装置１で行っている標準顔画像ヒストグラムと入力顔画像ヒストグラムの差分を計算する処理の具体例について図８を参照して説明する。
図８は、顔の表情変化の度合とヒストグラムの差分との関係を模式的に示す概念図であって、（ａ）は標準顔画像、（ｂ）は標準顔画像のＳＵＲＦクラスタリング結果、（ｃ）は標準顔画像ヒストグラム、（ｄ）は入力顔画像、（ｅ）は入力顔画像のＳＵＲＦクラスタリング結果、（ｆ）は入力顔画像ヒストグラムをそれぞれ示している。
【００７４】
ここでは、一例として、ＳＵＲＦを２次元で表現し、標準顔画像のＳＵＲＦも入力顔画像のＳＵＲＦも５個のクラスタ（クラスタＩＤ＝ｋ，ｌ，ｍ，ｎ，ｏ）にそれぞれ分類されていることとした。この例では、標準顔画像ヒストグラムの頻度は（ｋ，ｌ，ｍ，ｎ，ｏ）＝（４，３，３，３，６）であり、入力顔画像ヒストグラムの頻度は（ｋ，ｌ，ｍ，ｎ，ｏ）＝（５，２，４，４，３）である。したがって、図３に示すＧＵＩの標準顔画像と入力顔画像のヒストグラム比較法設定部１１９において、残差２乗和が選択されている場合、クラスタ毎の頻度の差分の２乗和は１３なので、この値が顔表情変化度として表示されることとなる。
【００７５】
第１実施形態によれば、顔表情変化度測定装置１は、被写体の基準とする標準顔と、顔表情変化度測定して比較しようとする入力顔とを同様な環境で取得できるので、環境の変動に対しても安定して被写体の画像から顔表情変化度を測定することができる。その結果、顔表情変化度測定装置１は、人間と円滑にコミュニケーションを図るコンピュータやロボットにおけるモジュールとして適用することができる。また、表情の変化から、商品等に対する人の興味度合いを正確に測定することができる。
【００７６】
（第２実施形態）
図９は、本発明の第２実施形態に係る顔表情変化度測定装置の構成を模式的に示すブロック図である。以下では、この顔表情変化度測定装置１Ａの構成のうち、図１に示した構成と異なる構成について説明し、同じ構成については、同じ符号を付して説明を適宜省略する。
【００７７】
顔表情変化度測定装置１Ａは、図９に示すように、画像記憶手段７Ａの機能が異なると共に、画像取込手段３が画像蓄積装置１６から出力されるカメラ映像を取り込む点と、検索手段１７を備えている点が、図１に示す顔表情変化度測定装置１と異なっている。
【００７８】
画像記憶手段７Ａは、例えば、一般的なハードディスク等の記憶装置から構成され、画像取込手段３で取り込まれた測定対象の画像と、当該画像を基に差分算出手段１１で算出された顔表情変化度とを対応付けて記憶する。
画像蓄積装置１６は、測定対象の画像を蓄積するものであって、例えば、メモリや一般的なハードディスク装置等から構成される。
【００７９】
検索手段１７は、入力装置１２から検索キーとして顔表情変化度の入力を受け付け、受け付けた顔表情変化度に対応した画像を画像記憶手段７Ａから検索して表示装置１５に出力するものである。
【００８０】
入力装置１２からの検索キーは、例えば、単純に顔表情変化度の最大値や、最小値を有する撮影画像を検索するための「検索」ボタンである。標準顔を無表情として顔表情変化度の最大値を有する画像を専用に検索するための「検索」ボタンの場合、例えば、最も大笑いをした顔が映った画像を検索することができる。同様に、標準顔を無表情として顔表情変化度の最小値を有する画像を専用に検索するための「検索」ボタンの場合、例えば、無表情な顔が映った画像を検索することができる。
また、入力装置１２から検索キーは、顔表情変化度の任意の値や任意の値の範囲としてもよい。
【００８１】
第２実施形態によれば、顔表情変化度測定装置１Ａは、画像蓄積装置１６から次々に出力されるフレーム画像で検出した入力顔に対して、それぞれの顔表情変化度を求めることができる。そのため、同一の被写体が映っている異なるタイミングで撮影したカメラ映像を互いに同様な環境で取得して蓄積していれば、それらの異なる映像で１つの標準顔を用いたとしても、頑健に画像から顔表情の変化度を測定することができる。例えば、同じ被写体を屋内の同じ場所で数日前に撮影したカメラ映像と、過去と同じ撮影条件で撮影した現在のカメラ映像とを比較することも可能である。
【００８２】
（第３実施形態）
第３実施形態は、第１実施形態に係る顔表情変化度測定装置１を、テレビ視聴者の番組興味度測定装置に適用したものである。
図１０は、本発明の実施形態に係る番組興味度測定装置のシステム構成を模式的に示すブロック図である。
番組興味度測定装置２００は、テレビ番組を表示するモニタＭと、モニタＭに表示されたテレビ番組を視聴する視聴者２０１を撮影するカメラＣと、復調・デコード部２１と、ビデオ管理部２２と、ビデオ蓄積部２３と、顔表情変化度測定部２４と、番組興味度蓄積部２５と、グラフ生成部２６とを備えている。ここで、復調・デコード部２１と、ビデオ管理部２２と、ビデオ蓄積部２３と、顔表情変化度測定部２４と、番組興味度蓄積部２５と、グラフ生成部２６とは、ハードウェア装置とソフトウェアとが協働することによってそれぞれ実現される。
【００８３】
＜モニタ、カメラ＞
番組興味度測定装置２００におけるモニタとカメラの一例を図１１に示す。
モニタＭは、番組表示画面３０１にテレビ番組を表示する。カメラＣは、視聴者２０１の様子を撮影するため、例えばモニタＭを見る視聴者２０１の顔を正面から撮影できる位置に配置される。ここで撮影されたカメラ映像は、顔表情変化度測定部２４に送られ、視聴者２０１の顔の表情変化度が測定される。
【００８４】
＜復調・デコード部＞
図１０に示す復調・デコード部２１は、アンテナＡＴＮで受信した放送波を復調・デコードしたテレビ番組等をモニタＭに出力する。
【００８５】
＜ビデオ管理部の基本機能＞
ビデオ管理部（ビデオ管理手段）２２は、例えばインターネットＮ経由で受信するテレビ番組（以下、ビデオという）や、ビデオ蓄積部２３に蓄積されたビデオ等を、例えば番組名、放送日時、放送局等の情報を基に管理し、再生するものである。このビデオ管理部２２が、外部から受信するビデオまたは内部に蓄積されたビデオを示す番組をモニタＭに表示させているときに、視聴者２０１が視聴していたテレビ番組に対して、グラフ生成部２６は時系列グラフを生成する。また、ビデオ管理部２２は、詳細は後記するが、グラフ生成部２６により生成された時系列グラフの管理機能、映像のシーン分析機能、番組推薦機能等を有する。
ビデオ蓄積部２３は、ビデオを蓄積するものであり、一般的なハードディスク等から構成されている。
【００８６】
＜顔表情変化度測定部＞
顔表情変化度測定部（顔表情変化度測定装置）２４は、カメラＣから出力されるカメラ映像を取り込み、視聴者２０１の表情変化の度合を一定時間毎に取得し、番組興味度蓄積部２５に送信する。この顔表情変化度測定部２４は、図１に示す顔表情変化度測定装置１で構成することができるので、説明を省略する。
【００８７】
＜番組興味度蓄積部＞
番組興味度蓄積部（番組興味度蓄積手段）２５は、顔表情変化度測定部２４で測定された視聴者（テレビ視聴者）２０１の顔表情変化度の時系列データをテレビ番組に対する時系列の番組興味度として取得し、時系列の番組興味度を、番組名および番組尺中における番組開始時刻からの経過時刻情報と共に蓄積するものである。
【００８８】
この番組興味度蓄積部２５に蓄積される番組興味度のデータ構造の一例を図１２に示す。図１２のデータ構造に示すように、ある視聴者の番組興味度が、番組名、放送日時、放送局と合わせて蓄積される。ここで、番組興味度は、視聴者の顔表情変化度であって、番組の放送開始時間（番組開始時刻）からの時間と共に、蓄積されている。また、図１２に示す例では、符号３０２で示すように、番組興味度表中の「興味度」が「−」となっているところは、視聴者が余所見をし、顔表情変化度測定部２４にて顔検出できなかったことを意味している。
【００８９】
＜グラフ生成部＞
グラフ生成部（グラフ生成手段）２６は、蓄積されたテレビ番組に対する時系列の番組興味度を示す時系列グラフを生成し、時系列グラフをモニタＭに表示させるものである。グラフ生成部２６は、番組終了後、または、番組視聴時に、番組興味度蓄積部２５から、視聴者２０１の番組興味度を取得し、グラフ化する。一例として、ビデオと番組興味度の時系列グラフとを同時にモニタＭに表示した場合の画面表示例を図１３に示す。番組表示ウィンドウ３０３は、ビデオを表示するものであり、グラフ表示ウィンドウ３０４は、時系列グラフを表示するものである。なお、図１３に示す時系列グラフは、番組興味度が正規化されている。
【００９０】
本実施形態では、グラフ生成部２６は、顔表情変化度すなわち番組興味度が最大になった箇所が１．０になるよう正規化したグラフを生成する。例えば、図１２に示すように蓄積された番組興味度の最大値が４３０であれば、この値が１．０となる。
また、グラフ生成部２６は、顔表情変化度測定部２４にて顔領域を検出できなかったときの番組興味度の値が−１．０になるようにして時系列グラフを生成する。例えば、図１２に示すように、０時間２７分２２秒に、顔検出ができずに番組興味度が取得できなかた場合、この時刻の値が−１．０となる。
【００９１】
図１３に示す時系列グラフの興味度が１．０に近いシーンは、顔の表情がよく変化したところで、喜びや悲しみ等、視聴者２０１がより番組へ興味を示したところと考えることができる。視聴者２０１が、例えば、自ら視聴したスポーツのテレビ番組を再視聴する際に、時系列グラフが最大値となる時間帯を選択して、蓄積されたビデオを視聴することで、サッカーのゴールシーンや野球の得点シーンといった興味度の大きなシーンのみを効率よく選択して再視聴することができる。
【００９２】
一方、図１３に示す時系列グラフの興味度が−１．０になっているシーンは、視聴者２０１の番組に対する興味度が低かったシーン、または、番組を見逃してしまったシーンと考えることができる。視聴者２０１が、例えば、テレビの料理番組を放映中に視聴したときにメモをとるなどの他の用事をしていたために見逃してしまった時間帯があった場合に、蓄積されたビデオの視聴時には、作成された時系列グラフを表示して、番組興味度の値が−１．０となる時間帯を選択して番組を再視聴することで、見逃したシーンのみを効率よく選択して視聴することができる。
【００９３】
顔表情変化度測定部２４で測定された顔表情変化度（番組興味度）が瞬間的に跳ね上がったり、落ち込んだりすることもあるので、時系列グラフを作成して表示する際に、測定値をそのまま反映するのではなく、測定値を加工するフィルタリング処理をしてもよい。
例えば、グラフ生成部２６は、予め定められた時間内にそれぞれ取得した番組興味度の値を平均化した平均化興味度を生成し、平均化興味度を用いて時系列グラフを生成するようにすることができる。
【００９４】
例えば、図１２に示す例において、毎秒取得した各番組興味度をすべてそのまま用いて毎秒ごとの番組興味度を表す時系列グラフとすることもできるが、連続した複数の番組興味度を平均化した平均化興味度を、当該区間の値として、区間ごとの平均化興味度を表す時系列グラフとすることもできる。具体的には、図１２に示す例において、０時間１８分１２秒〜０時間１８分１４秒までの期間に抽出された３つの番組興味度の平均を求め、求めた平均番組興味度「４１９．７」をこの期間に対応させ、この期間の前後の他の期間も同様にして、連続する３つの番組興味度の平均を用いてグラフを生成してもよい。ここで、平均化興味度を生成するための時間幅は、数フレーム、数秒、数分等、所望の時間幅とすることができる。これにより、例えば数フレームや数秒といった時間幅のときには、各フレームにおける番組興味度を用いたときよりも同じ時間軸上では傾斜が緩やかで滑らかな時系列グラフを表示し、例えば、数十秒〜数分といった時間幅のときには、同様に山の位置や谷の位置が明確な時系列グラフを表示することができる。
【００９５】
＜ビデオ管理部の拡張機能1＞
ビデオ管理部２２は、前記した基本機能に加えて、次の拡張機能1を備えることができる。拡張機能1において、ビデオ管理部２２は、グラフ生成部２６により生成された時系列グラフと、時系列グラフを表示させるときに視聴者２０１が視聴していたテレビ番組のビデオとを番組名、放送日時、放送局等の情報を基に関連付ける。ここで、視聴者２０１が視聴していたテレビ番組のビデオとは、インターネットＮ経由で受信するビデオやビデオ蓄積部２３に蓄積されたビデオ等を指す。
【００９６】
また、拡張機能1において、ビデオ管理部２２は、そのビデオにおいて当該番組尺中における時刻情報と、時系列グラフにおける時刻情報とを対応付ける。
さらに、拡張機能1において、ビデオ管理部２２は、例えばリモコン等の入力装置１２から、モニタＭに表示された時系列グラフ上の点を指定する入力を受け付け、指定された時系列グラフ上の点で示される時刻情報に対応した時刻から当該番組のシーンを再生した映像をモニタＭに表示させる。これにより、視聴者２０１が、リモコン等によって、興味を持ったシーンや番組を見逃したシーンの開始時刻を時系列グラフ上の点で指定することで、ビデオ管理部２２は、当該シーンを瞬時に再生することができる。
【００９７】
時系列グラフ上の点の指定方法は、例えばマウスによってＧＵＩのチェックボックスやスライダ等を選択するように時系列グラフ上の点を指定することができる。ここで、時系列グラフ上の点とは、例えば、図１３に示す折れ線上の点、時間軸上の点、グラフ表示範囲で時間が特定できる領域上の点を示す。図１３に示す時刻ｐと時刻ｑとの間の範囲の点や、時刻ｒと時刻ｓとの間の範囲の点が指定されると、ビデオ管理部２２は、見逃したシーンを瞬時に再生することができる。また、図１３に示す時刻ｓ以降であって、興味度が「１．０」である範囲の点が指定されると、ビデオ管理部２２は、視聴者２０１が興味を持ったシーンを瞬時に再生することができる。
【００９８】
＜ビデオ管理部の拡張機能2＞
ビデオ管理部２２は、前記した基本機能に加えて、次の拡張機能2を備えることができる。拡張機能2において、ビデオ管理部２２は、時系列グラフにおいて、番組興味度が予め定められた閾値よりも大きい時間範囲を視聴者２０１が興味を持ったシーンとして抽出し、そのシーンを映像分析する。ここで、映像分析とは、そのシーンに登場する人物の顔を認識する処理や、そのシーンに表示された物体を認識する処理を行うことを表す。このような処理は、顔認識や一般的な物体認識等の各種画像処理技術や音声認識技術により行うことができる。これにより、そのシーンに登場する人物の顔から、視聴者２０１の興味のある人物の情報を視聴ログとして収集することができる。また、そのシーンに表示された物体から、視聴者２０１の興味のある物事の情報を視聴ログとして収集することができる。
【００９９】
また、拡張機能2は、ビデオ管理部２２が管理する番組であって外部から受信する映像またはビデオ蓄積部２３に蓄積された番組に対して、予め手動や各種技術により自動で付されたメタデータが存在している場合の機能である。ビデオ管理部２２は、拡張機能2において、視聴者２０１が興味を持つと推測される事柄（収集した視聴ログ）と、管理する番組に予め付されたメタデータとを照合することにより、視聴者２０１が興味を持つ内容を推定し、視聴者２０１が興味を持つと思われる関連番組を探索して当該視聴者２０１に推薦する。ここで、照合とは、収集した視聴ログに含まれる人物名または物体名と当該番組に予め付されたメタデータに含まれる人物名または物体名とを照合することをいう。ここで、推定内容が人物の場合、関連番組は、例えばテレビタレントやスポーツ選手が出演、出場しているテレビ番組を示す。また、推薦とは、関連番組のタイトル等の情報を提示することを示す。
【０１００】
なお、番組興味度測定装置２００が、視聴者２０１の映像を取得するカメラＣのほかに、視聴者２０１の音声を取得するマイクをさらに備える構成の場合には、画像処理技術のほかに一般的な音声認識技術も用いて総合的に認識することができる。さらに、番組興味度測定装置２００が、視聴者２０１の映像から画像処理技術によって視聴者２０１の身振り手振りを検出してスコア化できる場合には、顔表情変化度と組み合わせて番組興味度としてもよい。つまり、このように変形した場合、視聴者２０１の番組興味度は、顔の表情変化度を測定するのみではなく、例えば、視聴者２０１の身振り手振りや音声情報等も含めることができる。
【０１０１】
また、番組興味度測定装置２００は、非特許文献１等に示された手法により、視聴者２０１の感情（怒り、悲しみ、驚き、喜び等）を同時に取得する構成としてもよい。これにより、より詳細に視聴者２０１の番組への興味度を分析することができる。
【０１０２】
本発明の実施形態に係る番組興味度測定装置２００によれば、テレビ番組を視聴中の視聴者２０１の顔表情変化度を、視聴中のテレビ番組に対する番組興味度として取得し、その番組開始時刻からの経過時刻にしたがって取得した番組興味度を時系列グラフとして作成し、表示することができる。したがって、視聴者２０１が時系列グラフを参考にして、テレビ番組のうち、番組興味度が高い時間帯または低い時間帯のみを視聴することができる。また、番組興味度測定装置によれば、視聴者２０１が興味を持ったシーンや番組を見逃したシーンの開始時刻を時系列グラフ上の点で指定することで、当該シーンを瞬時に再生することができる。さらに、番組興味度測定装置によれば、視聴者２０１が興味を持つと推定される関連番組を視聴者２０１に推薦することができる。
【０１０３】
以上、各実施形態に基づいて本発明を説明したが、本発明はこれらに限定されるものではない。例えば、第１実施形態において、ステップＳ２で、顔領域をさらに分割し、分割した領域毎に標準顔画像ヒストグラム、入力顔画像ヒストグラムを算出し、それぞれの領域毎のヒストグラムの差分値をトータルして顔表情変化度とする構成としてもよい。これにより、標準顔画像と入力顔画像の全く異なる位置に抽出されたＳＵＲＦが同じクラスタに属するということが無くなるので、より正確に顔表情変化度を測定できる。
【０１０４】
また、顔表情変化度測定プログラムは、通信回線を介して配布することも可能であるし、ＤＶＤやＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【０１０５】
また、例えば第１実施形態に係る顔表情変化度測定装置１が、画像記憶手段７Ａと、検索手段１７とを備えるように変形して、所望の表情の画像を検索できるように構成してもよい。
【０１０６】
また、各実施形態では、被写体として１人の人物の顔表情変化度を測定するものとして説明したが、被写体は複数であってもよく、その場合には、複数の顔表情変化度測定装置を用いて並列に処理すればよい。
【０１０７】
また、各実施形態の顔表情変化度測定装置を家庭で利用する場合には、標準顔を取り込んで標準顔ヒストグラムを一度作成しておけば、前記したステップＳ３の処理の後に、前記したステップＳ４〜Ｓ７の処理をスキップして前記したステップＳ８に進むこととしてもよい。
【０１０８】
また、各実施形態では、被写体の動画映像の各フレーム画像から顔表情変化度を測定するものとしたが、静止画を用いてもよい。また、セキュリティ技術に適用してもよい。
【０１０９】
また、各実施形態では、顔表情変化度を測定する測定対象の画像は、人物をカメラで撮影した被写体として説明したが、顔の表情が変化し、その特徴点が抽出できるものであれば人物の実写に限定されるものではない。さらに、測定対象は、人間に限定されず、例えば、動物等の生物、人形やロボット等の無生物、ＣＧ、アニメーション、ゲーム等の架空のキャラクタの顔の画像でもよい。
【符号の説明】
【０１１０】
１、１Ａ 顔表情変化度測定装置
２ モード判別手段
３ 画像取込手段
４ 顔領域検出手段
５ 画像特徴量抽出手段
６ 画像特徴量記憶手段
７Ａ 画像記憶手段
８ クラスタリング手段
９ ヒストグラム作成手段
１０ ヒストグラム記憶手段
１１ 差分算出手段
１２ 入力装置
１３ 標準顔画像ヒストグラム
１４ 入力顔画像ヒストグラム
１５ 表示装置
１６ 画像蓄積装置
１７ 検索手段
２００ 番組興味度測定装置
２１ 復調・デコード部
２２ ビデオ管理部（ビデオ管理手段）
２３ ビデオ蓄積部
２４ 顔表情変化度測定部（顔表情変化度測定装置）
２５ 番組興味度蓄積部（番組興味度蓄積手段）
２６ グラフ生成部（グラフ生成手段）
Ｃ カメラ
Ｍ モニタ
Ｎ インターネット
ＡＴＮ アンテナ
【特許請求の範囲】
【請求項１】
測定対象の画像を取り込む画像取込手段と、前記画像中の測定対象の顔領域を検出する顔領域検出手段とを備え、前記画像として入力する測定対象の顔の表情の変化の度合いを顔表情変化度として測定する顔表情変化度測定装置であって、
前記画像において前記顔領域検出手段によって検出された顔領域から、ベクトルまたはスカラーで表される画像の特徴量を示す複数の特徴点をそれぞれ抽出する画像特徴量抽出手段と、
前記検出された顔領域から前記特徴点が抽出された画像のうち、測定対象の基準とする顔の表情を示す標準顔と、当該測定対象の比較しようとする顔の表情を示す入力顔とに関する画像毎に、前記顔領域から抽出された複数の特徴点を、類似した特徴点同士をまとめた所定数のクラスタに分類するクラスタリング手段と、
前記標準顔を含む画像に対して前記特徴点が分類された各クラスタと、前記入力顔を含む画像に対して前記特徴点が分類された各クラスタの双方について、各クラスタを階級としてクラスタの要素である特徴点の個数を頻度とするヒストグラムをそれぞれ作成するヒストグラム作成手段と、
前記標準顔を含む画像に基づく各クラスタから作成されたヒストグラムと、前記入力顔を含む画像に基づく各クラスタから作成されたヒストグラムとの階級毎の差分を加工した正の値の累積和を、当該測定対象の顔表情変化度として算出する差分算出手段と、を備え、
前記クラスタリング手段は、前記標準顔の顔領域から抽出された特徴点を分類して生成された各クラスタをそれぞれ示す標準顔クラスタと、前記入力顔の顔領域から抽出された特徴点との特微量に関する距離を求め、前記入力顔の顔領域から抽出された特徴点を、前記標準顔クラスタのうち特微量に関して最も距離の近いクラスタに分類することを特徴とする顔表情変化度測定装置。
【請求項２】
前記画像取込手段は、前記測定対象の画像として被写体を撮影するカメラから出力されるカメラ映像を取り込み、
前記顔領域検出手段は、前記カメラ映像のフレーム画像毎に、前記被写体の顔領域を検出し、
前記カメラ映像として入力する被写体の顔表情変化度を測定することを特徴とする請求項１に記載の顔表情変化度測定装置。
【請求項３】
前記画像取込手段は、前記測定対象の画像として被写体をカメラで撮影したカメラ映像を蓄積した画像蓄積装置から出力されるカメラ映像を取り込み、
前記顔領域検出手段は、前記カメラ映像のフレーム画像毎に、前記被写体の顔領域を検出し、
前記カメラ映像として入力する被写体の顔表情変化度を測定することを特徴とする請求項１に記載の顔表情変化度測定装置。
【請求項４】
前記画像取込手段で取り込まれた測定対象の画像と、当該画像を基に前記差分算出手段で算出された顔表情変化度とを対応付けて記憶する画像記憶手段と、
入力装置から検索キーとして顔表情変化度の入力を受け付け、前記受け付けた顔表情変化度に対応した画像を前記画像記憶手段から検索して表示装置に出力する検索手段と、
をさらに備えることを特徴とする請求項１から請求項３のいずれか一項に記載の顔表情変化度測定装置。
【請求項５】
測定対象の画像として入力する測定対象の顔の表情の変化の度合いを顔表情変化度として測定するために、コンピュータを、
前記測定対象の顔領域を検出する顔領域検出手段、
前記画像において前記顔領域検出手段によって検出された顔領域から、ベクトルまたはスカラーで表される画像の特徴量を示す複数の特徴点をそれぞれ抽出する画像特徴量抽出手段、
前記検出された顔領域から前記特徴点が抽出された画像のうち、測定対象の基準とする顔の表情を示す標準顔と、当該測定対象の比較しようとする顔の表情を示す入力顔とに関する画像毎に、前記顔領域から抽出された複数の特徴点を、類似した特徴点同士をまとめた所定数のクラスタに分類するクラスタリング手段、
前記標準顔を含む画像に対して前記特徴点が分類された各クラスタと、前記入力顔を含む画像に対して前記特徴点が分類された各クラスタの双方について、各クラスタを階級としてクラスタの要素である特徴点の個数を頻度とするヒストグラムをそれぞれ作成するヒストグラム作成手段、
前記標準顔を含む画像に基づく各クラスタから作成されたヒストグラムと、前記入力顔を含む画像に基づく各クラスタから作成されたヒストグラムとの階級毎の差分を加工した正の値の累積和を、当該測定対象の顔表情変化度として算出する差分算出手段として機能させ、
前記クラスタリング手段は、前記標準顔の顔領域から抽出された特徴点を分類して生成された各クラスタをそれぞれ示す標準顔クラスタと、前記入力顔の顔領域から抽出された特徴点との特微量に関する距離を求め、前記入力顔の顔領域から抽出された特徴点を、前記標準顔クラスタのうち特微量に関して最も距離の近いクラスタに分類することを特徴とする顔表情変化度測定プログラム。
【請求項６】
テレビ番組を表示するモニタと、前記モニタに表示されたテレビ番組を視聴する視聴者を撮影するカメラとを備えた番組興味度測定装置であって、
前記カメラから出力されるカメラ映像を取り込む請求項２に記載の顔表情変化度測定装置と、
外部から受信する映像または内部に蓄積された映像を示す番組を前記モニタに表示させるビデオ管理手段と、
前記顔表情変化度測定装置で測定された前記視聴者の顔表情変化度の時系列データを前記テレビ番組に対する時系列の番組興味度として取得し、前記時系列の番組興味度を、番組名および番組尺中における番組開始時刻からの経過時刻情報と共に蓄積する番組興味度蓄積手段と、
前記蓄積されたテレビ番組に対する時系列の番組興味度を示す時系列グラフを生成し、前記時系列グラフを前記モニタに表示させるグラフ生成手段と、
を備えることを特徴とする番組興味度測定装置。
【請求項７】
前記グラフ生成手段は、
前記番組興味度の最大値が１．０になるよう正規化し、かつ、前記顔表情変化度測定装置にて顔領域を検出できなかったときの前記番組興味度の値が−１．０になるようにして前記時系列グラフを生成することを特徴とする請求項６に記載の番組興味度測定装置。
【請求項８】
前記グラフ生成手段は、
予め定められた時間内にそれぞれ取得した前記番組興味度の値を平均化した平均化興味度を生成し、前記平均化興味度を用いて前記時系列グラフを生成することを特徴とする請求項６または請求項７に記載の番組興味度測定装置。
【請求項９】
前記ビデオ管理手段は、
前記時系列グラフを生成するときに視聴者が視聴していたテレビ番組において当該番組尺中における時刻情報と、前記時系列グラフにおける時刻情報とを対応付け、入力装置から、前記モニタに表示された時系列グラフ上の点を指定する入力を受け付け、前記指定された時系列グラフ上の点で示される時刻情報に対応した時刻から当該番組を再生した映像を前記モニタに表示させる機能をさらに有することを特徴とする請求項６ないし請求項８のいずれか一項に記載の番組興味度測定装置。
【請求項１０】
前記ビデオ管理手段は、
前記時系列グラフにおいて、前記番組興味度が予め定められた閾値よりも大きい時間範囲を前記視聴者が興味を持ったシーンとして抽出し、前記シーンに登場する人物または物体を認識し、認識結果を視聴ログとして収集し、前記収集した視聴ログに含まれる人物名または物体名と、外部から受信する映像または内部に蓄積された映像を示す番組に予め付されたメタデータに含まれる人物名または物体名とを照合し、前記メタデータが付された番組の中から関連番組を探索して前記視聴者に推薦する機能をさらに有することを特徴とする請求項６ないし請求項９のいずれか一項に記載の番組興味度測定装置。
【請求項１】
測定対象の画像を取り込む画像取込手段と、前記画像中の測定対象の顔領域を検出する顔領域検出手段とを備え、前記画像として入力する測定対象の顔の表情の変化の度合いを顔表情変化度として測定する顔表情変化度測定装置であって、
前記画像において前記顔領域検出手段によって検出された顔領域から、ベクトルまたはスカラーで表される画像の特徴量を示す複数の特徴点をそれぞれ抽出する画像特徴量抽出手段と、
前記検出された顔領域から前記特徴点が抽出された画像のうち、測定対象の基準とする顔の表情を示す標準顔と、当該測定対象の比較しようとする顔の表情を示す入力顔とに関する画像毎に、前記顔領域から抽出された複数の特徴点を、類似した特徴点同士をまとめた所定数のクラスタに分類するクラスタリング手段と、
前記標準顔を含む画像に対して前記特徴点が分類された各クラスタと、前記入力顔を含む画像に対して前記特徴点が分類された各クラスタの双方について、各クラスタを階級としてクラスタの要素である特徴点の個数を頻度とするヒストグラムをそれぞれ作成するヒストグラム作成手段と、
前記標準顔を含む画像に基づく各クラスタから作成されたヒストグラムと、前記入力顔を含む画像に基づく各クラスタから作成されたヒストグラムとの階級毎の差分を加工した正の値の累積和を、当該測定対象の顔表情変化度として算出する差分算出手段と、を備え、
前記クラスタリング手段は、前記標準顔の顔領域から抽出された特徴点を分類して生成された各クラスタをそれぞれ示す標準顔クラスタと、前記入力顔の顔領域から抽出された特徴点との特微量に関する距離を求め、前記入力顔の顔領域から抽出された特徴点を、前記標準顔クラスタのうち特微量に関して最も距離の近いクラスタに分類することを特徴とする顔表情変化度測定装置。
【請求項２】
前記画像取込手段は、前記測定対象の画像として被写体を撮影するカメラから出力されるカメラ映像を取り込み、
前記顔領域検出手段は、前記カメラ映像のフレーム画像毎に、前記被写体の顔領域を検出し、
前記カメラ映像として入力する被写体の顔表情変化度を測定することを特徴とする請求項１に記載の顔表情変化度測定装置。
【請求項３】
前記画像取込手段は、前記測定対象の画像として被写体をカメラで撮影したカメラ映像を蓄積した画像蓄積装置から出力されるカメラ映像を取り込み、
前記顔領域検出手段は、前記カメラ映像のフレーム画像毎に、前記被写体の顔領域を検出し、
前記カメラ映像として入力する被写体の顔表情変化度を測定することを特徴とする請求項１に記載の顔表情変化度測定装置。
【請求項４】
前記画像取込手段で取り込まれた測定対象の画像と、当該画像を基に前記差分算出手段で算出された顔表情変化度とを対応付けて記憶する画像記憶手段と、
入力装置から検索キーとして顔表情変化度の入力を受け付け、前記受け付けた顔表情変化度に対応した画像を前記画像記憶手段から検索して表示装置に出力する検索手段と、
をさらに備えることを特徴とする請求項１から請求項３のいずれか一項に記載の顔表情変化度測定装置。
【請求項５】
測定対象の画像として入力する測定対象の顔の表情の変化の度合いを顔表情変化度として測定するために、コンピュータを、
前記測定対象の顔領域を検出する顔領域検出手段、
前記画像において前記顔領域検出手段によって検出された顔領域から、ベクトルまたはスカラーで表される画像の特徴量を示す複数の特徴点をそれぞれ抽出する画像特徴量抽出手段、
前記検出された顔領域から前記特徴点が抽出された画像のうち、測定対象の基準とする顔の表情を示す標準顔と、当該測定対象の比較しようとする顔の表情を示す入力顔とに関する画像毎に、前記顔領域から抽出された複数の特徴点を、類似した特徴点同士をまとめた所定数のクラスタに分類するクラスタリング手段、
前記標準顔を含む画像に対して前記特徴点が分類された各クラスタと、前記入力顔を含む画像に対して前記特徴点が分類された各クラスタの双方について、各クラスタを階級としてクラスタの要素である特徴点の個数を頻度とするヒストグラムをそれぞれ作成するヒストグラム作成手段、
前記標準顔を含む画像に基づく各クラスタから作成されたヒストグラムと、前記入力顔を含む画像に基づく各クラスタから作成されたヒストグラムとの階級毎の差分を加工した正の値の累積和を、当該測定対象の顔表情変化度として算出する差分算出手段として機能させ、
前記クラスタリング手段は、前記標準顔の顔領域から抽出された特徴点を分類して生成された各クラスタをそれぞれ示す標準顔クラスタと、前記入力顔の顔領域から抽出された特徴点との特微量に関する距離を求め、前記入力顔の顔領域から抽出された特徴点を、前記標準顔クラスタのうち特微量に関して最も距離の近いクラスタに分類することを特徴とする顔表情変化度測定プログラム。
【請求項６】
テレビ番組を表示するモニタと、前記モニタに表示されたテレビ番組を視聴する視聴者を撮影するカメラとを備えた番組興味度測定装置であって、
前記カメラから出力されるカメラ映像を取り込む請求項２に記載の顔表情変化度測定装置と、
外部から受信する映像または内部に蓄積された映像を示す番組を前記モニタに表示させるビデオ管理手段と、
前記顔表情変化度測定装置で測定された前記視聴者の顔表情変化度の時系列データを前記テレビ番組に対する時系列の番組興味度として取得し、前記時系列の番組興味度を、番組名および番組尺中における番組開始時刻からの経過時刻情報と共に蓄積する番組興味度蓄積手段と、
前記蓄積されたテレビ番組に対する時系列の番組興味度を示す時系列グラフを生成し、前記時系列グラフを前記モニタに表示させるグラフ生成手段と、
を備えることを特徴とする番組興味度測定装置。
【請求項７】
前記グラフ生成手段は、
前記番組興味度の最大値が１．０になるよう正規化し、かつ、前記顔表情変化度測定装置にて顔領域を検出できなかったときの前記番組興味度の値が−１．０になるようにして前記時系列グラフを生成することを特徴とする請求項６に記載の番組興味度測定装置。
【請求項８】
前記グラフ生成手段は、
予め定められた時間内にそれぞれ取得した前記番組興味度の値を平均化した平均化興味度を生成し、前記平均化興味度を用いて前記時系列グラフを生成することを特徴とする請求項６または請求項７に記載の番組興味度測定装置。
【請求項９】
前記ビデオ管理手段は、
前記時系列グラフを生成するときに視聴者が視聴していたテレビ番組において当該番組尺中における時刻情報と、前記時系列グラフにおける時刻情報とを対応付け、入力装置から、前記モニタに表示された時系列グラフ上の点を指定する入力を受け付け、前記指定された時系列グラフ上の点で示される時刻情報に対応した時刻から当該番組を再生した映像を前記モニタに表示させる機能をさらに有することを特徴とする請求項６ないし請求項８のいずれか一項に記載の番組興味度測定装置。
【請求項１０】
前記ビデオ管理手段は、
前記時系列グラフにおいて、前記番組興味度が予め定められた閾値よりも大きい時間範囲を前記視聴者が興味を持ったシーンとして抽出し、前記シーンに登場する人物または物体を認識し、認識結果を視聴ログとして収集し、前記収集した視聴ログに含まれる人物名または物体名と、外部から受信する映像または内部に蓄積された映像を示す番組に予め付されたメタデータに含まれる人物名または物体名とを照合し、前記メタデータが付された番組の中から関連番組を探索して前記視聴者に推薦する機能をさらに有することを特徴とする請求項６ないし請求項９のいずれか一項に記載の番組興味度測定装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−２３７９７０（Ｐ２０１１−２３７９７０Ａ）
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願番号】特願２０１０−１０８１１２（Ｐ２０１０−１０８１１２）
【出願日】平成２２年５月１０日（２０１０．５．１０）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願日】平成２２年５月１０日（２０１０．５．１０）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]