説明

動画スコアリングシステム、サーバ装置、動画スコアリング方法、動画スコアリングプログラム

【課題】信頼性の高いスコアリング結果を取得可能な動画スコアリングシステム等を提供する。
【解決手段】動画スコアリングシステム100は、動画再生機器110と、動画再生機器110とネットワークを介して接続されるサーバ140と、を備える。動画再生機器110は、動画再生時の視聴者の生体情報を取得し、取得した生体情報を基に動画再生時の視聴者の感情状態を感情状態データとして取得する。そして、取得した感情状態データをサーバ140に送信する。また、サーバ140は、動画再生機器110から送信された感情状態データを基に、動画をスコアリングする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画スコアリングシステム、サーバ装置、動画スコアリング方法、動画スコアリングプログラムに関する。
【背景技術】
【0002】
膨大な動画コンテンツの中から所望の動画を探す技術が求められている。特許文献1には、視聴者からの評価を基に、コンテンツをスコアリングするコンテンツ評価システムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2010−152489号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
自分の感情を的確に数値化するのは困難である。そのため、視聴者は実際に感じた以上に面白いコンテンツであると評価してしまうことも少なくない。特許文献1に開示されたシステムの評価を使って動画を探した場合、面白いと評価されているが全く面白くなかったということが度々発生する。
【0005】
本発明は、このような問題に鑑みてなされたものであり、信頼性の高いスコアリング結果を取得可能な動画スコアリングシステム、サーバ装置、動画スコアリング方法、動画スコアリングプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の第1の観点に係る動画スコアリングシステムは、
動画再生機器と、該動画再生機器とネットワークを介して接続されるサーバ装置と、を備える動画スコアリングシステムであって、
前記動画再生機器は、
動画を再生する動画再生手段と、
動画再生時の視聴者の生体情報を取得する生体情報取得手段と、
前記生体情報取得手段で取得した生体情報を基に、動画再生時の視聴者の感情状態を数値化する感情状態数値化手段と、
数値化された感情状態のデータを格納した感情情報を前記サーバ装置に送信する感情情報送信手段と、を備え、
前記サーバ装置は、
前記動画再生機器から送信される前記感情情報を受信する感情情報受信手段と、
前記感情情報に格納されている感情状態のデータを基に、動画をスコアリングする動画スコアリング手段と、を備える、
ことを特徴とする。
【0007】
本発明の第2の観点に係るサーバ装置は、
動画再生時の視聴者の感情状態を数値化した感情状態のデータと再生した動画の識別情報とを関連付けた感情情報を送信する動画再生機器とネットワークを介して接続されるサーバ装置であって、
前記動画再生機器が生成した前記感情情報をネットワークを介して受信する受信手段と、
前記感情情報に格納されている感情状態のデータを基に、動画をスコアリングする動画スコアリング手段と、を備える、
ことを特徴とする。
【0008】
本発明の第3の観点に係る動画スコアリング方法は、
動画再生機器と、該動画再生機器とネットワークを介して接続されるサーバ装置と、を備える動画スコアリングシステムにおける動画スコアリング方法であって、
前記動画再生機器が、動画を再生する動画再生ステップと、
前記動画再生機器が、動画再生時の視聴者の生体情報を取得する生体情報取得ステップと、
前記動画再生機器が、前記生体情報取得ステップで取得した生体情報を基に、動画再生時の視聴者の感情状態を数値化する感情状態数値化ステップと、
前記動画再生機器が、数値化された感情状態のデータを格納した感情情報を前記サーバ装置に送信する感情情報送信ステップと、
前記サーバ装置が、前記動画再生機器から送信される前記感情情報を受信する感情情報受信ステップと、
前記サーバ装置が、前記感情情報に格納されている感情状態のデータを基に、動画をスコアリングする動画スコアリングステップと、を有する、
ことを特徴とする。
【0009】
本発明の第4の観点に係る動画スコアリングプログラムは、
動画再生時の視聴者の感情状態を数値化した感情状態のデータと再生した動画の識別情報とを関連付けた感情情報を生成する動画再生機器とネットワークを介して接続されるサーバ装置を制御するコンピュータに、
前記動画再生機器が生成した前記感情情報をネットワークを介して受信する受信ステップと、
前記感情情報に格納されている感情状態のデータを基に、動画をスコアリングする動画スコアリングステップと、を実行させる、
ことを特徴とする。
【発明の効果】
【0010】
本発明によれば、信頼性の高いスコアリング結果を取得可能な動画スコアリングシステム、サーバ装置、動画スコアリング方法、動画スコアリングプログラムを提供できる。
【図面の簡単な説明】
【0011】
【図1】本発明の実施形態に係る動画スコアリングシステムの概要を説明するための図である。
【図2】本発明の実施形態に係る動画スコアリングシステムのブロック図である。
【図3】動画再生機器が備える制御部およびサーバが備える処理部の機能を説明するための機能ブロック図である。
【図4】動画再生機器が備える制御部およびサーバが備える処理部の機能を説明するための機能ブロック図である。
【図5】サーバに複数の動画再生機器が接続された状態を示す図である。
【図6】動画再生機器の記憶部に格納された動画データの構成を説明するための図である。
【図7】本発明の実施形態に係る感情情報送受信処理を説明するためのフローチャートである。
【図8】数値化された感情状態(笑顔度)が記憶部に蓄積される様子を説明するための図である。
【図9】サーバに送信する感情情報の構成を説明するための図である。
【図10】動画再生機器から受信した感情情報が動画データベースに蓄積される様子を説明するための図である。
【図11】本発明の実施形態に係るスコアリングデータ送受信処理を説明するためのフローチャートである。
【図12】感情情報を固有情報の一致する複数のグループに分類する様子を示す図であり、(A)は、メタデータが一致する感情情報を示す図であり、(B)は、メタデータが一致する複数の感情情報を固有情報の一致する3つのグループに分類した様子を示す図である。
【図13】動画スコアリングシステムの構成の一例を示すブロック図である。
【発明を実施するための形態】
【0012】
以下、本発明を実施するための形態について図面を参照しながら説明する。
【0013】
本発明の実施形態に係る動画スコアリングシステム100は、センサー等により動画視聴時の視聴者の生体情報(例えば、脈拍数や顔画像等)を取得し、取得した生体情報から視聴者の感情状態を数値化し、数値化した感情状態(以下、「感情状態データ」という。)から動画の面白さ(例えば、動画を視聴することによって視聴者の幸福、興奮、怒り、嫌悪、恐怖、悲しみ、驚きといった感情がいかに喚起されるか)を数値化(以下、「スコアリング」という。)するためのシステムである。
【0014】
なお、以下の説明では、理解を容易にするため、上記「生体情報」は視聴者の顔画像とし、また、上記「感情状態データ」は、顔画像から算出される視聴者の笑顔の度合い(例えば、視聴者の口角の上がり度合い等。以下、「笑顔度」という。)として説明する。なお、「生体情報」や「感情状態データ」は上記の情報に限定されるものではない。
【0015】
以下、動画スコアリングシステム100の構成について説明する。
動画スコアリングシステム100は、図1に示すように、動画再生機器110と、カメラ120と、モニタ130と、サーバ140とから構成される。
【0016】
動画再生機器110は、例えば、リビング等に設置されるハードディスクレコーダである。動画再生機器110は、図2に示すように、画像記憶部111と、制御部112と、記憶部113と、操作部114と、通信インターフェース115とから構成される。
【0017】
画像記憶部111は、RAM(Random Access Memory)等のビデオメモリから構成される。画像記憶部111はカメラ120から送信された画像データを記憶する。
【0018】
制御部112は、プロセッサ等の処理装置から構成される。制御部112は不図示のROM(Read Only Memory)に格納されているプログラムに従って動作し、後述の「感情情報送受信処理」、「スコアリングデータ送受信処理」を含む種々の動作を実行する。
【0019】
制御部112は、「感情情報送受信処理」に従って動作することで、図3に示すように、動画再生部112a、生体情報取得部112b、感情状態数値化部112c、感情情報送信部112dとして機能する。また、制御部112は、「スコアリングデータ送受信処理」に従って動作することで、図4に示すように、スコアリングデータ出力部112e、スコアリングデータ受信部112fとして機能する。なお、動画再生部112a、生体情報取得部112b、感情状態数値化部112c、感情情報送信部112d、スコアリングデータ出力部112e、スコアリングデータ受信部112fの動作については、後述の「感情情報送受信処理」、「スコアリングデータ送受信処理」で述べる。
【0020】
図2に戻り、記憶部113は、RAM(Random Access Memory)やハードディスク等の記憶装置から構成される。記憶部113は動画再生機器110を一意に識別するための「固有情報」やテレビ番組等の各種「動画データ」等を記憶する。
【0021】
「固有情報」は、例えば図5に示すように、複数の動画再生機器110がネットワークを介してサーバ140に接続されたときに、サーバ140が動画再生機器110を一意に識別するための、動画再生機器110それぞれに固有の情報である。
【0022】
「動画データ」は、テレビ番組の録画データ等の各種動画データである。動画データには、例えば図6に示すように、コンテンツデータ(例えば、動画を圧縮したMPEGデータ)と、コンテンツ内容を識別するためのメタデータ(例えば、動画のタイトル情報や、コンテンツ製作者等により付された、動画を一意に識別するための識別番号等)とが含まれている。
【0023】
図2に戻り、操作部114は、動画再生機器110の前面パネルに設置された各種操作ボタンや、リモコン信号を受信するための受信装置等から構成される。操作部114は視聴者の命令(例えば、再生開始、再生停止、スキップ、各種メニュー操作)を、随時、制御部112に送信する。
【0024】
通信インターフェース115は、LAN(Local Area Network)装置等の通信インターフェースから構成される。通信インターフェース115はルータ、及びネットワークを介し、サーバ140とデータを送受信する。
【0025】
カメラ120は、CCD(Charge Coupled Device Image Sensor)カメラやCMOS(Complementary Metal Oxide Semiconductor)カメラ等の撮像装置から構成される。カメラ120は、動画視聴時の視聴者を撮像できるように、レンズを視聴者に向けた状態で設置されている(例えば、図1に示すように、モニタ130の上部に、レンズを視聴者に向けた状態で設置されている)。カメラ120は制御部112の制御に従って所定時間毎に視聴者を撮像し、撮像した画像を、逐次、画像記憶部111に格納する。
【0026】
図2に戻り、モニタ130は、LCD(Liquid Crystal Display:液晶ディスプレイ)等の表示装置から構成される。制御部112の制御に従って動画を表示する。
【0027】
サーバ140は、図5に示すように、複数の動画再生機器110がネットワークを介して接続されるサーバ装置(例えば、ホストコンピュータ)である。サーバ140は、図2に示すように、処理部141と、動画データベース142と、通信インターフェース143とから構成される。
【0028】
処理部141は、プロセッサ等の処理装置から構成される。処理部141は不図示のROM(Read Only Memory)に格納されているプログラムに従って動作し、後述の「感情情報送受信処理」、「スコアリングデータ送受信処理」を含む種々の動作を実行する。
【0029】
処理部141は、「感情情報送受信処理」に従って動作することで、図3に示すように、感情情報受信部141aとして機能する。また、処理部141は、「スコアリングデータ送受信処理」に従って動作することで、図4に示すように、動画スコアリング部141b、スコアリング結果送信部141cとして機能する。なお、感情情報受信部141a、動画スコアリング部141b、スコアリング結果送信部141cの動作については、後述の「感情情報送受信処理」、「スコアリングデータ送受信処理」で述べる。
【0030】
図2に戻り、動画データベース142は、ハードディスク等の不揮発性の記憶装置から構成される。動画データベース142は、動画再生機器110から受信した「感情情報」を記憶する。
【0031】
通信インターフェース143は、LAN(Local Area Network)装置等の通信インターフェースから構成される。通信インターフェース143はネットワークを介して動画再生機器110とデータ(例えば、動画再生機器110が生成した「感情情報」等)を送受信する。
【0032】
次に、このような構成を有する動画スコアリングシステム100の動作について説明する。
【0033】
動画スコアリングシステム100の動作は、「感情情報送受信処理」と「スコアリングデータ送受信処理」に分けられる。
「感情情報送受信処理」は、動画視聴時の視聴者の顔画像から視聴者の感情状態を数値化し、数値化した感情状態をサーバ140に送信するための処理である。
「スコアリングデータ送受信処理」は、数値化した感情状態を基に動画の面白さをスコアリングし、スコアリング結果を動画再生機器110に送信するための処理である。
最初に「感情情報送受信処理」について説明する。
【0034】
動画再生機器110は、操作部114から動画の再生開始が命令されると、図7に示す「感情情報送受信処理(動画再生機器側)」を開始する。また、サーバ140は、電源が投入されると、同じく図7に示す「感情情報送受信処理(サーバ側)」を開始する。
以下、図7のフローチャートを参照して「感情情報送受信処理」を説明する。
【0035】
動画再生部112aは、操作部114から動画開始命令(例えば、視聴者が再生開始ボタンを押下したという情報)を受信すると、記憶部113に記憶されている複数の動画データの中から、視聴者が指定する動画データを取り出し、その動画データの再生を開始する(ステップS101)。
【0036】
動画データの再生開始後、生体情報取得部112bは、カメラ120を制御して視聴者の撮像を開始する。カメラ120は所定時間毎に視聴者の顔を撮像し、撮像した画像を、逐次、画像記憶部111に格納する(ステップS102)。
【0037】
生体情報取得部112bは、画像記憶部111の中から最新の画像データ(最も遅く画像記憶部111に格納された画像データ)を取得する。感情状態数値化部112cは、生体情報取得部112bが取得した画像データの中から人の顔を検出し、検出した顔の笑顔の度合いを数値化する(以下、数値化された笑顔の度合いを「笑顔度」という)。
なお、数値化された結果には、例えば、笑顔度0.1、0.2、0.3、といった数値のみならず、例えば、笑顔度A、B、C、といった記号(すなわち、デジタル化(離散化)された評価値)も含まれる(例えば、数値化された値が1.0〜0.8までの場合を笑顔度A、0.8〜0.3までの場合を笑顔度B、0.3以下の場合を笑顔度C、等と表現してもよい)。
感情状態数値化部112cは、一例として以下のように笑顔度を取得する。
【0038】
まず、笑顔画像から特徴量を抽出した学習データを記憶部113に予め記憶しておく。そして、感情状態数値化部112cは、撮像した画像から特徴量を抽出し、学習データとのマッチングを行なう。感情状態数値化部112cは、マッチングの結果算出された「学習データ」と「撮像画像」との類似度(例えば、0〜1までの小数)を笑顔度として取得する。なお、笑顔度を取得する手法は特定の手法に限定されず、公知の技術を使用することが可能である。
【0039】
感情状態数値化部112cは、数値化した笑顔度を、図8に示すように、順次、記憶部113に蓄積する(ステップS103)。
【0040】
図7に戻り、動画再生部112aは、視聴者の操作により動画が切り替わったか(例えば、再生途中で動画の再生が停止され、他の動作の再生が開始されたか)を判別する(ステップS104)。動画が切り替わっている場合(ステップS104:Yes)、生体情報取得部112bは、これまでに蓄積された笑顔度(すなわち、再生が停止された動画に対応する笑顔度)を記憶部113からすべて消去し、ステップS103に戻って再び最初から笑顔度の蓄積を開始する。動画が切り替わっていない場合(ステップS104:No)、ステップS105に進む。
【0041】
動画再生部112aは、動画の再生が終了したか(例えば、動画が最後まで再生されたか)を判別する(ステップS105)。動画の再生が終了していない場合(ステップS105:No)、ステップS103に戻り、感情状態数値化部112cは笑顔度の蓄積を継続する。動画の再生が終了した場合(ステップS105:Yes)、ステップS106に進む。
【0042】
感情情報送信部112dは、記憶部113から再生が終了した動画のメタデータを取得する。そして、感情情報送信部112dは、記憶部113に蓄積された複数の「笑顔度」に、図9に示すように、取得した「メタデータ」と動画再生機器110の「固有情報」とを付し、そのデータを動画視聴時の視聴者の感情情報としてサーバに送信し(ステップS106)、処理を終了する。
【0043】
図7のサーバ140側の処理に移り、感情情報受信部141aは動画再生機器110から感情情報を受信したか否か判別する(ステップS107)。感情情報を受信していない場合(ステップS107:No)、感情情報を受信するまでステップS107を繰り返す。感情情報を受信した場合(ステップS107:No)、ステップS108に進む。
【0044】
感情情報受信部141aは、図10に示すように、受信した感情情報を動画データベース142に順次蓄積する(ステップS108)。動画の蓄積を完了したら、感情情報受信部141aは、ステップS107に戻り、動画再生機器110からの感情情報の受信を待機する。
【0045】
次に、「スコアリングデータ送受信処理」について説明する。
【0046】
動画再生機器110は、操作部114から動画のスコアリングデータ表示命令(例えば、視聴者がメニューボタンを押下したという情報)を受信すると、図11に示す「スコアリングデータ送受信処理(動画再生機器側)」を開始する。また、サーバ140は、電源が投入されると、同じく図11に示す「スコアリングデータ送受信処理(サーバ側)」を開始する。
以下、図11のフローチャートを参照して「スコアリングデータ送受信処理」を説明する。
【0047】
スコアリングデータ出力部112eは、視聴者からスコアリングデータの表示が命令されると、記憶部113から視聴者が指定する動画のメタデータを取り出し、サーバ140に送信する(ステップS201)。
【0048】
サーバ140側の処理に移り、動画スコアリング部141bは動画再生機器110からメタデータを受信したか否か判別する(ステップS202)。メタデータを受信していない場合(ステップS202:No)、メタデータを受信するまでステップS202を繰り返す。メタデータを受信した場合(ステップS202:No)、ステップS203に進む。
【0049】
動画スコアリング部141bは、動画再生機器110から受信した「メタデータ」と、動画データベース142に格納されている感情情報に含まれる「メタデータ」と、を照合し、動画データベース142に格納されている複数の感情情報の中から、メタデータが一致する感情情報を選択する(ステップS203)。
【0050】
動画スコアリング部141bは、選択した感情情報に格納されている笑顔度を基に、動画のスコアリングを実行する(ステップS204)。スコアリングの手法は一手法に限定されないが、一例として以下のようにスコアリングする。
【0051】
まず、動画スコアリング部141bは、特定の動画再生機器110からの情報によってスコアリング結果が偏ってしまわないように、選択した感情情報を固有情報の一致する複数のグループに分類し、グループごとに笑顔度の平均値を算出する。笑顔度が記号で表現されている場合は、記号を所定の数値に置き換えて平均値を算出する(以下、算出された平均値を「グループ内平均値」という)。さらに、動画スコアリング部141bは、グループごとに得られたグループ内平均値をさらに平均し、算出された平均値をスコアリング結果とする。
【0052】
例えば、ステップS203において図12(A)に示す6つの感情情報が選択されたのであれば、動画スコアリング部141bは、図12(B)に示すように、固有情報の一致する3つのグループ(図12(B)に示すグループA、B、C)に分類する。そして、グループごとに笑顔度の平均値を算出し、グループ内平均値とする。例えば、グループAであれば、感情情報1、2、4に格納されている笑顔度(感情情報1の笑顔度1、2、・・・・と、感情情報2の笑顔度1、2、・・・・と、感情情報4の笑顔度1、2、・・・・と)をすべて加算し、笑顔度の数で割った値をグループ内平均値とする。そして、処理部141は、グループ内平均値のさらに平均値(グループAのグループ内平均値と、グループBのグループ内平均値と、グループBのグループ内平均値とを加え3で割った値)をスコアリング結果とする。
【0053】
図11に戻り、スコアリング結果送信部141cは、動画のスコアリング結果(以下、「スコアリングデータ」という。)を動画再生機器110に送信する(ステップS205)。
【0054】
動画再生機器110側の処理に移り、スコアリングデータ受信部112fはサーバ140からスコアリングデータを受信したか否か判別する(ステップS206)。スコアリングデータを受信していない場合(ステップS206:No)、スコアリングデータを受信するまでステップS206を繰り返す。スコアリングデータを受信した場合(ステップS202:No)、ステップS207に進む。
【0055】
スコアリングデータ出力部112eは、受信したスコアリングデータをモニタ130に出力し(ステップS207)、処理を終了する。
【0056】
本実施形態によれば、笑顔度という機械的に取得された情報に基づいて動画をスコアリングしているので、人の主観に依存しない信頼性の高いスコアリング結果を得ることができる。
【0057】
また、サーバ140には複数の動画再生機器110が接続されているので、異なった視聴者による複数の感情情報を取得することができる。そのため、1視聴者の感情情報ではなく、複数の視聴者の感情情報に基づいて動画の面白さをスコアリングすることができ、その結果、より信頼性の高いスコアリング結果を得ることができる。
【0058】
また、サーバ140は、感情情報を固有情報の一致する複数のグループに分類し、グループごとに笑顔度の平均値を算出している。そして、サーバ140は算出した平均値を基に動画をスコアリングしている。そのため、例えば、所定のタイトルばかり何度も視聴する視聴者がいて、特定の動画再生機器110から所定のタイトルに関する複数の感情情報が送信された場合であっても、特定の視聴者の感情情報にスコアリング結果が偏ってしまうことがない。その結果、より信頼性の高いスコアリング結果を得ることができる。
【0059】
また、スコアリング結果を動画再生機器110の要求に応じて送信できるようになっているので、視聴者は動画の面白さを動画視聴前に知ることができ、その結果、面白くない動画を視聴する時間の無駄を少なくすることができる。
【0060】
なお、生体情報は動画視聴時の視聴者の顔画像に限られない。例えば、動画再生機器110にマイクを設置し、生体情報取得部112bがそのマイクから動画視聴中の視聴者の音声を取得する。そして、生体情報取得部112bが取得した音声情報を基に、感情状態数値化部112cが視聴者の笑い声の度合いを数値化し、その数値化した情報(以下、「笑い声度」という。)を感情状態データとしてサーバ140に送信する。サーバ140は笑い声度を基に動画の面白さをスコアリングする。この際、感情状態数値化部112cは、例えば、以下のように笑い声度を数値化してもよい。
【0061】
まず、笑い声を記録した音声データから特徴量を抽出した学習データを記憶部113に予め記憶しておく。そして、感情状態数値化部112cは、設置したマイクから取得した音声データから特徴量を抽出し、学習データとのマッチングを行なう。感情状態数値化部112cは、マッチングの結果算出された「学習データ」と「音声データ」との類似度を笑い声度として取得する。
【0062】
また、生体情報は動画視聴中の視聴者の脈拍数であってもよい。例えば、脈拍数を計測するセンサーを動画視聴中の視聴者に設置する。そして、動画再生機器110に計測した脈拍数を受信するための受信装置を設置し、生体情報取得部112bがその受信装置から視聴者の脈拍数を取得する。感情状態数値化部112cは、受信した脈拍数を基に視聴者の興奮の度合いいを数値化する。感情情報送信部112dはその数値化した情報(以下、「興奮度」という。)を感情状態データとしてサーバ140に送信する。この際、感情状態数値化部112cは、例えば、以下のように興奮度を数値化してもよい。
【0063】
まず、視聴者の平常時の脈拍数を記憶部113に予め記憶しておく。そして、感情状態数値化部112cは、センサーから取得した脈拍数Psと平常時の脈拍数Pnとの差Pdを算出し、そして、平常時の脈拍数Pnに対する差Pdの割合(Pd/Pn)を興奮度として取得する。
【0064】
また、数値化する感情状態は、幸福(例えば、笑顔、笑い声)、興奮といった感情状態に限られず、例えば、怒り、嫌悪、恐怖、悲しみ、驚きといった感情状態でもよい。この際、制御部112は、怒り、嫌悪、恐怖、悲しみ、驚きといった感情状態を、例えば、以下のように数値化してもよい。
【0065】
まず、怒り、嫌悪、恐怖、悲しみ、驚きといった感情に対応する顔画像を予め撮像しておき、その撮像した顔画像から特徴量を抽出した学習データを記憶部113に予め記憶しておく。感情状態数値化部112cは、カメラ120で撮像した画像から特徴量を抽出し、学習データとのマッチングを行なう。感情状態数値化部112cは、マッチングの結果算出された「学習データ」と「撮像画像」との類似度を、例えば、怒り度、嫌悪度、恐怖度、悲しみ度、驚き度として取得する。
【0066】
また、動画再生機器110は、1つの動画に対して複数の感情状態データ(例えば、幸福度(笑顔度、笑い声度等)、興奮度、怒り度、嫌悪度、恐怖度、悲しみ度、驚き度)を取得し、1つの感情情報としてサーバ140に送信してもよい。その際、サーバ140は感情状態別にスコアリングを行い、そのスコアリング結果を基に動画のジャンル分けを行ってもよい。
例えば、サーバ140は、「幸福」、「怒り」、「嫌悪」、「恐怖」、「悲しみ」、「驚き」の6つのジャンルを設け、幸福度、興奮度、怒り度、嫌悪度、恐怖度、悲しみ度、驚き度の6つの感情状態データそれぞれの平均値を算出し、平均値の最も高かった感情状態を判別し、判別した感情状態に対応するジャンルに動画を分類する。
そして、サーバ140は、スコアリング結果の替わりに、或いは、スコアリング結果として、動画再生機器110が指定する動画の所属するジャンルをジャンル情報として動画再生機器110に送信してもよい。動画再生機器110は受信したジャンル情報を使って、例えば、モニタ130に動画のタイトルともにジャンル情報を表示してもよい。これにより、視聴者は動画視聴前に動画の属性を知ることができる。
【0067】
また、サーバ140は、感情情報データやジャンル情報等を使って動画の検索支援を行ってもよい。例えば、動画再生機器110から、“映画 悲しみ”という検索用のテキストデータが送信されたとすれば、サーバ140は、感情情報に含まれるメタデータを基に、感情情報が“映画”のものか否かを判別する。サーバ140は、判別結果を基に、動画データベース142に格納された感情情報の中から、映画の感情情報を複数選択する。そして、サーバ140は、選択した感情情報を「悲しみ度」の高い順に並べ、並べた順にメタデータ(例えば、映画のタイトル情報)を表示したリストを生成する。サーバ140は、生成したリストを動画再生機器110に送信し、動画再生機器110は受信したリストをモニタ130に表示する。
【0068】
また、動画のスコアリングの手法は、感情状態データの平均化に限られない。例えば、サーバ140は、動画データベース142に格納されている複数の感情情報に対し、感情情報ごとに感情状態データの平均値を求める。また、サーバ140は、動画再生機器110によって指定された動画の感情状態データの平均値を求める。そして、サーバ140は、これら平均値を算出した感情情報を平均値の高い順に並べ、動画再生機器110によって指定された動画の感情情報の順位を算出し、算出した順位をスコアリング結果としてもよい。なお、スコアリング結果には、例えば、順位1、2、3、スコア4、5、6、といった数値のみならず、例えば、評価A、B、C、といった記号(すなわち、デジタル化(離散化)された評価値)も含まれる(例えば、数値化したスコアが21以上の場合を評価A、スコアが10〜20までの場合を評価B、スコア10以下の場合を評価C、等と表現してもよい)。
【0069】
また、動画再生機器110は視聴者の顔画像から視聴者の性別または年代等を判別し、判別した情報を感情状態データとともにサーバ140に感情情報として送信してもよい。サーバ140は、感情情報に含まれる性別情報や年代情報を基に、動画データベース142に格納されている複数の感情情報を、性別または年代別に分類し、グループごとにスコアリングを実行してもよい。性別、年代別のスコアリング結果を得ることができる。
【0070】
また、動画再生機器110は、タイマ等の時刻情報を取得する時刻情報取得部やGPS(Global Positioning System)受信機等の位置情報を取得する位置情報取得部を備えていてもよい。この際、動画再生機器110は、時刻情報取得部や位置情報取得部を使って動画再生時の時刻情報や位置情報を取得し、取得した情報を感情状態データとともにサーバ140に感情情報として送信してもよい。サーバ140は、感情情報に含まれる時刻情報や位置情報を基に、動画データベース142に格納されている複数の感情情報を、例えば、時間帯別、地域別に分類し、分類したグループごとにスコアリングを実行してもよい。時間帯別、地域別のスコアリング結果を得ることができる。
【0071】
また、動画再生機器110はハードディスクレコーダに限られない。例えば、動画再生機器110を、LCD(Liquid Crystal Display)等の動画表示部と、インカメラ(機器使用者を撮像するように表示部側に設置されたカメラ)等のカメラと、を備えた携帯機器(例えば、携帯電話、PDA(Personal Digital Assistant)、ノートパソコン等)として構成し、カメラ120の代わりにインカメラを使用して視聴者の顔画像を撮像してもよい。また、動画再生機器110は、その他、動画再生機能をもつ装置(例えば、パーソナルコンピュータやDVD再生機器等)であってもよい。
【0072】
また、動画再生機器110が再生する動画データは、動画再生機器110が内蔵する記憶装置(例えば、ハードディスクやSSD(Solid State Drive)等)に記録された動画データに限られず、例えば、DVDやBlu−ray Disc(登録商標)等の光ディスクに記録された動画データであってもよいし、SDカード、メモリースティック(登録商標)等の半導体メモリに記録された動画データであってもよい。また、動画データは、ネットワーク上のサーバから配信される動画データ(例えば、Web上や携帯電話網上のサーバからストリーミング配信やダウンロード配信される動画データ)であってもよい。
【0073】
なお、本実施形態の動画スコアリングシステム100の構成は、上述した構成に限られない。例えば、動画スコアリングシステム100は、図13に示すように、動画再生部116と、生体情報取得部117と、感情状態数値化部118と、感情情報送信部119と、を備える動画再生機器110と、感情情報受信部144と、動画スコアリング部145と、を備えるサーバ140と、を備える構成であってもよい。
【0074】
このとき、動画再生機器110とサーバ140の各部(動画再生部116、生体情報取得部117、感情状態数値化部118、感情情報送信部119、感情情報受信部144、動画スコアリング部145)は、以下のような構成であってもよい。
【0075】
動画再生部116は、再生開始ボタン等のユーザインターフェースと動画データを記憶するメモリと動画を表示する液晶ディスプレイ等を備え、視聴者が指定する動画データを再生する。
【0076】
生体情報取得部117は、視聴者を撮像するカメラや撮像した画像を記憶するビデオメモリ等を備え、動画再生時の視聴者の顔画像を撮像し、記憶する。
【0077】
感情状態数値化部118は、データを処理するCPU等を備え、生体情報取得部117が取得した画像データの中から人の顔を検出し、検出した顔の笑顔の度合いを数値化する。
【0078】
感情情報送信部119は、データ処理機能を備えたLAN装置等から構成され、再生した動画データのメタデータと数値化した笑顔度を関連付け、感情情報としてサーバ140に送信する。
【0079】
感情情報受信部144は、データ処理機能を備えたLAN装置等から構成され、動画再生機器110からネットワークを介して感情情報を受信する。
【0080】
動画スコアリング部145はデータを処理するCPU等を備え、感情情報受信部144が受信した感情情報を基に動画をスコアリングする。
【0081】
以上のような構成であっても、動画スコアリングシステム100は人の主観に依存しない信頼性の高いスコアリング結果を得ることができる。
【0082】
本実施形態の動画スコアリングシステム100(動画再生機器110およびサーバ140)は、専用のシステムにより実現してもよいし、通常のコンピュータシステムにより実現してもよい。例えば、上述の動作を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に格納して配布し、該プログラムをコンピュータにインストールして、上述の処理を実行することによって動画スコアリングシステム100(動画再生機器110およびサーバ140)を構成してもよい。また、インターネット等のネットワーク上のサーバ装置が備えるディスク装置に格納しておき、例えばコンピュータにダウンロード等できるようにしてもよい。また、上述の機能を、OSとアプリケーションソフトとの共同により実現してもよい。この場合には、OS以外の部分のみを媒体に格納して配布してもよく、また、コンピュータにダウンロード等してもよい。
【0083】
上記プログラムを記録する記録媒体としては、USBメモリ、フレキシブルディスク、CD、DVD、Blu−ray Disc(登録商標)、MO、SDカード、メモリースティック(登録商標)、その他、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ、磁気テープ等のコンピュータ読取可能な記録媒体を使用することができる。
【0084】
上記の実施の形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
【0085】
(付記1)
動画再生機器と、該動画再生機器とネットワークを介して接続されるサーバ装置と、を備える動画スコアリングシステムであって、
前記動画再生機器は、
動画を再生する動画再生手段と、
動画再生時の視聴者の生体情報を取得する生体情報取得手段と、
前記生体情報取得手段で取得した生体情報を基に、動画再生時の視聴者の感情状態を数値化する感情状態数値化手段と、
数値化された感情状態のデータを格納した感情情報を前記サーバ装置に送信する感情情報送信手段と、を備え、
前記サーバ装置は、
前記動画再生機器から送信される前記感情情報を受信する感情情報受信手段と、
前記感情情報に格納されている感情状態のデータを基に、動画をスコアリングする動画スコアリング手段と、を備える、
ことを特徴とする動画スコアリングシステム。
【0086】
(付記2)
前記感情情報送信手段は、前記感情状態のデータと、その感情状態のデータを取得した際に再生した動画の識別情報と、を関連付けた情報を格納した感情情報を前記サーバ装置に送信し、
前記サーバ装置は、
複数の動画再生機器とネットワークを介して接続されており、
複数の動画再生機器から受信した前記感情情報を記憶する記憶手段、を備え、
前記動画スコアリング手段は、
前記感情情報に含まれる前記識別情報を基に、前記記憶手段に記憶した感情情報の中から同一動画の感情情報を複数選択し、
選択した複数の感情情報に含まれる感情状態のデータを基に、動画をスコアリングする、
ことを特徴とする付記1に記載の動画スコアリングシステム。
【0087】
(付記3)
前記感情情報送信手段は、前記感情状態のデータと、その感情状態のデータを取得した際に再生した動画の識別情報と、複数の動画再生機器を一意に識別するための情報であって前記動画再生機器に付された固有情報と、を関連付けた情報を格納した感情情報を前記サーバ装置に送信し、
前記動画スコアリング手段は、
前記感情情報に含まれる前記識別情報を基に、前記記憶手段に記憶した感情情報の中から同一動画の感情情報を複数選択し、
前記感情情報に含まれる前記固有情報を基に、選択した複数の感情情報を同一の固有情報を持つグループに分類し、
グループ内の感情状態のデータを平均したグループ内平均値をグループごとに算出し、
算出した複数のグループ内平均値の平均値をスコアリング結果として取得する、
ことを特徴とする付記2に記載の動画スコアリングシステム。
【0088】
(付記4)
前記サーバ装置は、動画のスコアリング結果を前記動画再生機器に送信するスコアリング結果送信手段、を備え、
前記動画再生機器は、
前記サーバ装置から前記スコアリング結果を受信するスコアリング結果受信手段と、
受信したスコアリング結果を表示装置に出力するスコアリング結果出力手段と、を備える、
ことを特徴とする付記1乃至3のいずれか1つに記載の動画スコアリングシステム。
【0089】
(付記5)
前記生体情報取得手段は、動画再生中の視聴者の顔画像を取得し、
前記感情状態数値化手段は、前記生体情報取得手段で取得した視聴者の顔画像を基に視聴者の笑顔の度合いを笑顔度として数値化し、
前記感情情報送信手段は、前記笑顔度を格納した感情情報を前記サーバ装置に送信し、
前記動画スコアリング手段は、前記感情情報に格納されている笑顔度を基に、動画をスコアリングする
ことを特徴とする付記1乃至4のいずれか1つに記載の動画スコアリングシステム。
【0090】
(付記6)
前記生体情報取得手段は、動画視聴中の視聴者の音声を取得し、
前記感情状態数値化手段は、前記生体情報取得手段で取得した視聴者の笑い声を基に視聴者の笑い声の度合いを笑い声度として数値化し、
前記感情情報送信手段は、前記笑い声度を格納した感情情報を前記サーバ装置に送信し、
前記動画スコアリング手段は、前記感情情報に格納されている笑い声度を基に、動画をスコアリングする
ことを特徴とする付記1乃至5のいずれか1つに記載の動画スコアリングシステム。
【0091】
(付記7)
前記生体情報取得手段は、動画視聴中の視聴者の脈拍数を取得し、
前記感情状態数値化手段は、前記生体情報取得手段で取得した脈拍数を基に視聴者の興奮の度合いを興奮度として数値化し、
前記感情情報送信手段は、前記興奮度を格納した感情情報を前記サーバ装置に送信し、
前記動画スコアリング手段は、前記感情情報に格納されている興奮度を基に、動画をスコアリングする
ことを特徴とする付記1乃至6のいずれか1つに記載の動画スコアリングシステム。
【0092】
(付記8)
動画再生時の視聴者の感情状態を数値化した感情状態のデータと再生した動画の識別情報とを関連付けた感情情報を送信する動画再生機器とネットワークを介して接続されるサーバ装置であって、
前記動画再生機器が生成した前記感情情報をネットワークを介して受信する受信手段と、
前記感情情報に格納されている感情状態のデータを基に、動画をスコアリングする動画スコアリング手段と、を備える、
ことを特徴とするサーバ装置。
【0093】
(付記9)
動画再生機器と、該動画再生機器とネットワークを介して接続されるサーバ装置と、を備える動画スコアリングシステムにおける動画スコアリング方法であって、
前記動画再生機器が、動画を再生する動画再生ステップと、
前記動画再生機器が、動画再生時の視聴者の生体情報を取得する生体情報取得ステップと、
前記動画再生機器が、前記生体情報取得ステップで取得した生体情報を基に、動画再生時の視聴者の感情状態を数値化する感情状態数値化ステップと、
前記動画再生機器が、数値化された感情状態のデータを格納した感情情報を前記サーバ装置に送信する感情情報送信ステップと、
前記サーバ装置が、前記動画再生機器から送信される前記感情情報を受信する感情情報受信ステップと、
前記サーバ装置が、前記感情情報に格納されている感情状態のデータを基に、動画をスコアリングする動画スコアリングステップと、を有する、
ことを特徴とする動画スコアリング方法。
【0094】
(付記10)
動画再生時の視聴者の感情状態を数値化した感情状態のデータと再生した動画の識別情報とを関連付けた感情情報を生成する動画再生機器とネットワークを介して接続されるサーバ装置を制御するコンピュータに、
前記動画再生機器が生成した前記感情情報をネットワークを介して受信する受信ステップと、
前記感情情報に格納されている感情状態のデータを基に、動画をスコアリングする動画スコアリングステップと、を実行させる、
ことを特徴とする動画スコアリングプログラム。
【符号の説明】
【0095】
100 動画スコアリングシステム
110 動画再生機器
111 画像記憶部
112 制御部
112a 動画再生部
112b 生体情報取得部
112c 感情状態数値化部
112d 感情情報送信部
112e スコアリングデータ出力部
112f スコアリングデータ受信部
113 記憶部
114 操作部
115 通信インターフェース
116 動画再生部
117 生体情報取得部
118 感情状態数値化部
119 感情情報送信部
120 カメラ
130 モニタ
140 サーバ
141 処理部
141a 感情情報受信部
141b 動画スコアリング部
141c スコアリング結果送信部
142 動画データベース
143 通信インターフェース
144 感情情報受信部
145 動画スコアリング部

【特許請求の範囲】
【請求項1】
動画再生機器と、該動画再生機器とネットワークを介して接続されるサーバ装置と、を備える動画スコアリングシステムであって、
前記動画再生機器は、
動画を再生する動画再生手段と、
動画再生時の視聴者の生体情報を取得する生体情報取得手段と、
前記生体情報取得手段で取得した生体情報を基に、動画再生時の視聴者の感情状態を数値化する感情状態数値化手段と、
数値化された感情状態のデータを格納した感情情報を前記サーバ装置に送信する感情情報送信手段と、を備え、
前記サーバ装置は、
前記動画再生機器から送信される前記感情情報を受信する感情情報受信手段と、
前記感情情報に格納されている感情状態のデータを基に、動画をスコアリングする動画スコアリング手段と、を備える、
ことを特徴とする動画スコアリングシステム。
【請求項2】
前記感情情報送信手段は、前記感情状態のデータと、その感情状態のデータを取得した際に再生した動画の識別情報と、を関連付けた情報を格納した感情情報を前記サーバ装置に送信し、
前記サーバ装置は、
複数の動画再生機器とネットワークを介して接続されており、
複数の動画再生機器から受信した前記感情情報を記憶する記憶手段、を備え、
前記動画スコアリング手段は、
前記感情情報に含まれる前記識別情報を基に、前記記憶手段に記憶した感情情報の中から同一動画の感情情報を複数選択し、
選択した複数の感情情報に含まれる感情状態のデータを基に、動画をスコアリングする、
ことを特徴とする請求項1に記載の動画スコアリングシステム。
【請求項3】
前記感情情報送信手段は、前記感情状態のデータと、その感情状態のデータを取得した際に再生した動画の識別情報と、複数の動画再生機器を一意に識別するための情報であって前記動画再生機器に付された固有情報と、を関連付けた情報を格納した感情情報を前記サーバ装置に送信し、
前記動画スコアリング手段は、
前記感情情報に含まれる前記識別情報を基に、前記記憶手段に記憶した感情情報の中から同一動画の感情情報を複数選択し、
前記感情情報に含まれる前記固有情報を基に、選択した複数の感情情報を同一の固有情報を持つグループに分類し、
グループ内の感情状態のデータを平均したグループ内平均値をグループごとに算出し、
算出した複数のグループ内平均値の平均値をスコアリング結果として取得する、
ことを特徴とする請求項2に記載の動画スコアリングシステム。
【請求項4】
前記サーバ装置は、動画のスコアリング結果を前記動画再生機器に送信するスコアリング結果送信手段、を備え、
前記動画再生機器は、
前記サーバ装置から前記スコアリング結果を受信するスコアリング結果受信手段と、
受信したスコアリング結果を表示装置に出力するスコアリング結果出力手段と、を備える、
ことを特徴とする請求項1乃至3のいずれか1項に記載の動画スコアリングシステム。
【請求項5】
前記生体情報取得手段は、動画再生中の視聴者の顔画像を取得し、
前記感情状態数値化手段は、前記生体情報取得手段で取得した視聴者の顔画像を基に視聴者の笑顔の度合いを笑顔度として数値化し、
前記感情情報送信手段は、前記笑顔度を格納した感情情報を前記サーバ装置に送信し、
前記動画スコアリング手段は、前記感情情報に格納されている笑顔度を基に、動画をスコアリングする
ことを特徴とする請求項1乃至4のいずれか1項に記載の動画スコアリングシステム。
【請求項6】
前記生体情報取得手段は、動画視聴中の視聴者の音声を取得し、
前記感情状態数値化手段は、前記生体情報取得手段で取得した視聴者の笑い声を基に視聴者の笑い声の度合いを笑い声度として数値化し、
前記感情情報送信手段は、前記笑い声度を格納した感情情報を前記サーバ装置に送信し、
前記動画スコアリング手段は、前記感情情報に格納されている笑い声度を基に、動画をスコアリングする
ことを特徴とする請求項1乃至5のいずれか1項に記載の動画スコアリングシステム。
【請求項7】
前記生体情報取得手段は、動画視聴中の視聴者の脈拍数を取得し、
前記感情状態数値化手段は、前記生体情報取得手段で取得した脈拍数を基に視聴者の興奮の度合いを興奮度として数値化し、
前記感情情報送信手段は、前記興奮度を格納した感情情報を前記サーバ装置に送信し、
前記動画スコアリング手段は、前記感情情報に格納されている興奮度を基に、動画をスコアリングする
ことを特徴とする請求項1乃至6のいずれか1項に記載の動画スコアリングシステム。
【請求項8】
動画再生時の視聴者の感情状態を数値化した感情状態のデータと再生した動画の識別情報とを関連付けた感情情報を送信する動画再生機器とネットワークを介して接続されるサーバ装置であって、
前記動画再生機器が生成した前記感情情報をネットワークを介して受信する受信手段と、
前記感情情報に格納されている感情状態のデータを基に、動画をスコアリングする動画スコアリング手段と、を備える、
ことを特徴とするサーバ装置。
【請求項9】
動画再生機器と、該動画再生機器とネットワークを介して接続されるサーバ装置と、を備える動画スコアリングシステムにおける動画スコアリング方法であって、
前記動画再生機器が、動画を再生する動画再生ステップと、
前記動画再生機器が、動画再生時の視聴者の生体情報を取得する生体情報取得ステップと、
前記動画再生機器が、前記生体情報取得ステップで取得した生体情報を基に、動画再生時の視聴者の感情状態を数値化する感情状態数値化ステップと、
前記動画再生機器が、数値化された感情状態のデータを格納した感情情報を前記サーバ装置に送信する感情情報送信ステップと、
前記サーバ装置が、前記動画再生機器から送信される前記感情情報を受信する感情情報受信ステップと、
前記サーバ装置が、前記感情情報に格納されている感情状態のデータを基に、動画をスコアリングする動画スコアリングステップと、を有する、
ことを特徴とする動画スコアリング方法。
【請求項10】
動画再生時の視聴者の感情状態を数値化した感情状態のデータと再生した動画の識別情報とを関連付けた感情情報を生成する動画再生機器とネットワークを介して接続されるサーバ装置を制御するコンピュータに、
前記動画再生機器が生成した前記感情情報をネットワークを介して受信する受信ステップと、
前記感情情報に格納されている感情状態のデータを基に、動画をスコアリングする動画スコアリングステップと、を実行させる、
ことを特徴とする動画スコアリングプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate


【公開番号】特開2013−70155(P2013−70155A)
【公開日】平成25年4月18日(2013.4.18)
【国際特許分類】
【出願番号】特願2011−206002(P2011−206002)
【出願日】平成23年9月21日(2011.9.21)
【出願人】(310006855)NECカシオモバイルコミュニケーションズ株式会社 (1,081)
【Fターム(参考)】