説明

視線の軌跡情報に基づいた動画像推薦システム

【課題】
従来、動画の推薦システムにおいては、以下の課題を抱えていた。タイトルのような情報は一本の動画像全体に対して付与されるため、これらの情報を用いて動画像を推薦する場合、その動画像内のどの部分にユーザが注目していたかを考慮した推薦を行うことはできない。また、動画像を対象とした場合、どのタイミングで動画像のどの部分を見たかを考慮に入れることが必要であり、単純に継続長だけを利用することはできない。
【解決手段】
動画を視聴する視聴者に対し、ユーザの注目している部分を表す停留点の移動軌跡を視聴者毎に算出し、それをもとにユーザ間の移動軌跡データの距離について全画像に渡りその総和をとり、これをもとにユーザ間の興味傾向の近さを評価し、興味の傾向の近いユーザをグループ化する手段と推薦対象視聴者と興味の近いユーザ集合における評価をもとに、動画を推薦対象ユーザに推薦する手段からなることを特徴とするシステム。

【発明の詳細な説明】
【技術分野】
【0001】
動画像投稿サイト、映像配信サービス等では、ユーザが閲覧する動画像や映像に基づいて他の動画像・映像を推薦することが活発に行われている。本発明は動画像、映像推薦のための新しい仕組みを提供する。

【背景技術】
【0002】
動画像の推薦方法としては、ユーザからの評価に基づいて推薦するシステム、および動画に付与されたタイトル・カテゴリ等を用いて類似した動画像を推薦するシステム等(非特許文献1)が数多く検討されている。また、視線を利用した推薦として、静止画(絵画)を対象に、注視の継続長を利用した方法が検討されている。
【非特許文献1】土屋誠司他、“TV番組推薦システムの構築とその有用性の検討”、情報処理学会研究報告、ヒューマンインターフェース研究報告、VOL.2006、NO.3、PP.95−102、2006
【発明の開示】
【発明が解決しようとする課題】
【0003】
タイトル・カテゴリのような情報は一本の動画像全体に対して付与されるため、これらの情報を用いて動画像を推薦する場合、その動画像内のどの部分にユーザが注目していたかを考慮した推薦を行うことはできない。また、静止画ではなく動画像を対象とした場合、単に注視の継続長だけではなく、どのタイミングで動画像のどの部分を見たかを考慮に入れることが必要であり、単純に継続長だけを利用することはできない。

【課題を解決するための手段】
【0004】
本発明者らは、上記課題を下記のようなシステムを発明することにより解決した。
【0005】
第一の発明は、動画を視聴する視聴者に対し、その視聴者の興味に即していると判断される動画を推薦・提示するシステムにおいて、一定の時間間隔毎に各視聴者の視線の停留点を検出し、その情報を蓄積する手段と蓄積された毎時点における停留点の移動軌跡を視聴者毎に算出する手段とユーザ間の移動軌跡データの距離を算出手段とユーザ間の移動軌跡データの距離について全画像に渡りその総和をとり、これをもとにユーザ間の興味の傾向の近さを評価し、興味の傾向の近いユーザをグループ化する手段と推薦対象視聴者と興味の近いユーザ集合における評価をもとに、動画の推薦度合いを決定し、それをもとに、動画を推薦対象ユーザに推薦する手段からなるシステムである。
【0006】
第二の発明は、第一の発明におけるユーザ間の移動軌跡データの距離を算出手段が、T得点により評価することを特徴とするシステムである。
【0007】
第三の発明は、動画を視聴する視聴者に対し、その視聴者の興味に即していると判断される動画を推薦・提示する方法において、一定の時間間隔毎に各視聴者の視線の停留点を検出し、その停留点の移動軌跡を視聴者毎に算出した上で、ユーザ間の移動軌跡データの距離を算出し、ユーザ間の移動軌跡データの距離について全画像に渡りその総和をとり、これをもとにユーザ間の興味傾向の近さを評価し、興味の傾向の近いユーザをグループ化する手段と推薦対象視聴者と興味の近いユーザ集合における評価をもとに、動画の推薦度合いを決定し、それをもとに、動画を推薦対象ユーザに推薦することを特徴とする方法である。
【0008】
第四の発明は、第三の発明における、移動軌跡データの距離が、T得点により評価することを特徴とする方法である。
【発明の効果】
【0009】
視線の軌跡を用いることにより、動画像内の注目点に基づいた推薦が行えるため、タイトル・カテゴリ等を利用した方法と比較して高精度な動画像推薦が可能である。特に、軌跡の停留点から求めた注視点を利用することで、推薦の更なる高精度化が期待できる。また視線を用いるため、動画像解析等の複雑なアルゴリズムを用いる必要が無く、任意の動画像を対象とすることができる。

【発明を実施するための最良の形態】
【0010】
人間の視線データとしては、視点の停留時間、瞬きの間隔、サッケード距離・頻度、瞳孔径がある。サッケードとは視線の跳躍運動であるが、サッケードが起こって、次のサッケードが起こるまで一箇所に停留する。これを停留点という。視線の停留が起こることは、ユーザが注視していることと同じである。このため、停留点はユーザの注目点とすることができる。この停留点を、本発明では、200[ms]以上の間、視線移動が視角にして2度以下である場合と定義する。以下、図1に示す本発明のフローチャートについて順を追って説明する。
【0011】
動画視聴時の注目点は時間の経過と共に移動する。そのため、本研究ではユーザの注目点を、移動軌跡データとして表現した。具体的にはまず、停留点の定義に基づき、視線データから視線停留点を動画視聴時の注目点として抽出する。続いて、注目点間を直線近似することにより、注目点の移動軌跡データを作成する。時刻tにおける注目点の移動軌跡データλは、
【0012】
【数1】

【0013】
と与えられる。
【0014】
同じ動画に対する移動軌跡データ同士の比較を以下のように行った。時刻tにおける移動軌跡λ(t)上の点pとλ(t)´上の点p´の距離Dist(p,p´)は、
【0015】
【数2】

【0016】
となる。また、二つの注目点移動軌跡データλ、λ´間の距離Dist(λ,λ´)を
【0017】
【数3】

【0018】
と定義する。
【0019】
移動軌跡データ間距離がとる値の範囲は視聴した動画によって異なるため、次の処理を行う。まず、ある動画を推薦対象ユーザと標本ユーザが視聴した際の移動軌跡データ間距離の集合をODistとする。次に、ODistに含まれる移動軌跡データ間距離をT得点TDist(λ,λ´)に変換する。TDist(λ,λ´)は、
【0020】
【数4】

【0021】
となる。ここで、
【0022】
【数5】

【0023】
はODistに含まれる移動軌跡データ間距離の平均値、SETDIV(Dist)はODistに含まれる移動軌跡データ間距離の標準偏差である。移動軌跡データ間距離をT得点に変換することで、その値がODistの中でどのような相対位置にあるのかがわかる。
【0024】
本報告では、動画視聴時の注目点移動軌跡データをもとに、ユーザ間の興味傾向の類似性を算出し、動画を推薦する方法を検討する。
【0025】
ある動画に高い評価をしているユーザがいて、他方、このユーザが示す注目点の移動軌跡データと類似の移動軌跡データを示すユーザがいる場合、両者は注目点が類似していると考えてよいだろう。すなわち、移動軌跡データ間の距離が近いほど、視聴動画に対する興味の度合いも近いとする。
【0026】
この仮定をもとに動画推薦を行うシステムを考える。最初に、推薦対象ユーザをA、標本ユーザを{B、C、D、…}とした時、ユーザAの注目点の移動軌跡データとユーザ{B、C、D、…}の移動軌跡データの類似性を調べる。ユーザAに推薦される動画は、ユーザAが未視聴かつ標本ユーザの評価が高い動画である。以下に具体的な手順を説明する。
【0027】
まず、推薦対象ユーザUと標本ユーザU間の距離Dist(U,U)を、両ユーザが視聴した全ての動画に対する注目点移動軌跡データ間距離の総和から、次式のように定義する。
【0028】
【数6】

【0029】
ここで、videosA−BはユーザU、Uがともに視聴した動画の集合、λ(U)はユーザUが動画iを視聴した際の注目点の移動軌跡データである。Dist(U,U)は正値を取り、この値が小さいほど、動画視聴時のユーザU、U間の興味傾向が似ており、また値が大きいほど二人の動画に対する興味傾向が似ていないことを示す。
【0030】
【数7】

【0031】
動画推薦の際には、上述の手続きから得た、推薦対象ユーザUと各標本ユーザの距離を利用する。まず、標本ユーザの集合Osampleに含まれるユーザとの距離の合計を算出し、これでDist(U,U)を除することによりDistnorm(U,U)を求める。
【0032】
この正規化されたユーザ間距離とOsampleの含まれるユーザの動画iへの評価値の合計をもとに、推薦対象ユーザUに対する動画iの推薦値Score(UA,i)を以下のように定義する。
【0033】
【数8】

【0034】
ここで、nはOsampleに属するユーザ数、Rating(U,i)は標本ユーザUが動画iを視聴した際の評価値である。Distnorm(U,U)はユーザ間の距離が近いほど小さな値となるので、推薦対象ユーザと距離が近いユーザの評価値ほど推薦値に与える影響が大きくなる。
【0035】
推薦対象ユーザUには、Score(UA,i)の値が大きい動画から順番に推薦する。

【実施例】
【0036】
被験者は大学生及び大学院生20人,視聴させた動画はYouTube上の「邦楽」に関する動画15本である.この被験者を推薦対象ユーザと標本ユーザにわけ,交差確認法を用いて評価を行った.YouTube等の動画投稿サイトを利用する場合,ユーザは興味のある動画を中心に視聴することが多いと考えられる.そこで,実際の利用形態に近い状態で推薦を行うため,推薦対象ユーザが「興味あり」と評価した動画の一部を既に視聴したものと仮定して,それらの動画をもとにユーザ間距離を計算し,動画の推薦順位を決定した.評価指標としてはスピアマンの順位相関係数を用い,提案方法による推薦順位と推薦対象ユーザが実際につけた順位の相関関係を調べた.また,比較評価を行うため,標本ユーザの評価値の平均を推薦に用いた方法(方法A),方法Aにタグの類似性に基づいた重みを乗じた方法(方法B)に関しても同様の評価を行った.
【0037】
図2に使用動画を固定し,標本ユーザ数を3人,5人,10人,15人,19人と変化させた場合の推薦精度の変化を示す.標本ユーザを19人した場合において,提案方法の順位相関が0.679となり.方法Aを0.024(p<0.005),方法Bを0.035(p<0.01)上回った.方法Aは,標本ユーザ中に興味傾向が類似するユーザが多い場合には効果的であるが,興味傾向が類似するユーザが少ない場合には有効な推薦ができない.実際,方法Aで順位相関が平均を下回る0.6以下となったユーザ6人に関しては,提案手法を用いることによって順位相関が平均0.072上昇している.これは,提案手法がユーザ間距離を考慮していることの効果が出たためであると考えられ,興味傾向が似ているユーザが少ない場合に,提案手法は特に有効であるといえる.図3に標本ユーザ数を固定し,推薦時に使用した動画数を変化させた場合の推薦精度の変化を示す.提案方法では動画数の増加に伴い順位相関が向上した.これは,動画数を増やしたことで,ユーザ間の距離関係がより正確になったためであるといえる.これらの結果より,ユーザ数,視聴動画数を増やすことで更に適切な推薦が行われることが期待できる.なお,方法Bが方法Aよりも推薦精度が低下した理由は,YouTubeではタグをユーザが自由に付与できるため,付与されたタグに一貫性がなかったからである.

【産業上の利用可能性】
【0038】
動画像投稿サイトなど、インターネット上でユーザに対して動画像コンテンツを提供するサービスの他、映画などの推薦サービスとしても利用可能である。

【図面の簡単な説明】
【0039】
【図1】本発明のフローチャート
【図2】ユーザー数と推薦精度の関係
【図3】動画数と推薦精度の関係
【符号の説明】
【0040】
なし

【特許請求の範囲】
【請求項1】
動画を視聴する視聴者に対し、その視聴者の興味に即していると判断される動画を推薦・提示するシステムにおいて、一定の時間間隔毎に各視聴者の視線の停留点を検出し、その情報を蓄積する手段と蓄積された毎時点における停留点の移動軌跡を視聴者毎に算出する手段とユーザ間の移動軌跡データの距離を算出する手段とユーザ間の移動軌跡データの距離について全画像に渡りその総和をとり、これをもとにユーザ間の興味傾向の近さを評価し、興味の傾向の近いユーザをグループ化する手段と推薦対象視聴者と興味の近いユーザ集合における評価をもとに、動画の推薦度合いを決定し、それをもとに、動画を推薦対象ユーザに推薦する手段からなることを特徴とするシステム。
【請求項2】
ユーザ間の移動軌跡データの距離を算出する手段は、T得点により評価することを特徴とする請求項1に記載のシステム。
【請求項3】
動画を視聴する視聴者に対し、その視聴者の興味に即していると判断される動画を推薦・提示する方法において、一定の時間間隔毎に各視聴者の視線の停留点を検出し、その停留点の移動軌跡を視聴者毎に算出した上で、ユーザ間の移動軌跡データの距離を算出し、ユーザ間の移動軌跡データの距離について全画像に渡りその総和をとり、これをもとにユーザ間の興味傾向の近さを評価し、興味の傾向の近いユーザをグループ化する手段と推薦対象視聴者と興味の近いユーザ集合における評価をもとに、動画の推薦度合いを決定し、それをもとに、動画を推薦対象ユーザに推薦することを特徴とする方法。
【請求項4】
ユーザ間の移動軌跡データの距離は、T得点により評価することを特徴とする請求項3に記載の方法。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate


【公開番号】特開2009−187441(P2009−187441A)
【公開日】平成21年8月20日(2009.8.20)
【国際特許分類】
【出願番号】特願2008−28860(P2008−28860)
【出願日】平成20年2月8日(2008.2.8)
【出願人】(304027349)国立大学法人豊橋技術科学大学 (391)
【Fターム(参考)】