コンテンツ視聴者分析装置及びコンテンツ視聴者分析方法、並びにプログラム
【課題】コンテンツ視聴者の分析を的確に行い、コンテンツ映像の視聴効率を向上させることができるコンテンツ視聴者分析装置を提供する。
【解決手段】表示装置201の複数種類のコンテンツ映像を見ている視聴者の位置を特定する視聴者位置特定部102と、視聴者の顔を撮影する正面カメラ103と、視聴者の顔画像に基づいて、視聴者の視線方向を特定する視線角度特定部104とを備える。また、特定した相対的位置と視聴者の視線方向とに基づいて、視聴者が注視している表示装置201上の注視点Pを特定する注視点特定部105と、特定された注視点Pに基づいて、視聴者が注視している注視コンテンツを特定する注視コンテンツ特定部106と、特定された注視コンテンツを示すコンテンツ注視データを記憶する記憶部107とを備える。
【解決手段】表示装置201の複数種類のコンテンツ映像を見ている視聴者の位置を特定する視聴者位置特定部102と、視聴者の顔を撮影する正面カメラ103と、視聴者の顔画像に基づいて、視聴者の視線方向を特定する視線角度特定部104とを備える。また、特定した相対的位置と視聴者の視線方向とに基づいて、視聴者が注視している表示装置201上の注視点Pを特定する注視点特定部105と、特定された注視点Pに基づいて、視聴者が注視している注視コンテンツを特定する注視コンテンツ特定部106と、特定された注視コンテンツを示すコンテンツ注視データを記憶する記憶部107とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示装置に表示されたコンテンツを視聴している視聴者の分析を行うコンテンツ視聴者分析装置及びコンテンツ視聴者分析方法、並びにプログラムに関する。
【背景技術】
【0002】
複数種類のコンテンツ映像を同時に表示する大型の表示装置が駅、ホテル、ショッピングモール等の様々な施設に設置されている。例えば、製品やサービスを宣伝する目的でコンテンツ映像を放映する会社(業者)は、コンテンツ映像を視聴するコンテンツ視聴者の動向を分析して、より効率的なコンテンツ映像の放映を行う必要がある。
【0003】
すなわち、所定期間(時間単位、日単位、週単位等)におけるコンテンツ視聴者の数、あるいは、複数種類のコンテンツ映像のうちのいずれを視聴しているのか等を分析する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、表示面を分割して複数種類のコンテンツ映像が同時に表示されている場合、コンテンツ映像別に効果を測定するためには、どれくらいの数の視聴者がどのコンテンツをどの程度見たかを把握する必要がある。
【0005】
本発明の目的は、コンテンツ視聴者の分析を的確に行い、コンテンツ映像の視聴効率を向上させることができるコンテンツ視聴者分析装置及びコンテンツ視聴者分析方法、並びにプログラムを提供することにある。
【課題を解決するための手段】
【0006】
本発明の一つの態様に従うコンテンツ視聴者分析装置は、複数種類のコンテンツ映像を同時に表示する表示装置を見ている視聴者の前記表示装置に対する相対的位置を特定する位置特定手段と、前記表示装置に対して予め定められた位置に配置され、前記視聴者の顔を撮影する第1のカメラと、前記第1のカメラが撮影した前記視聴者の顔画像に基づいて、前記視聴者の視線方向を特定する視線特定手段と、前記位置特定手段が特定した相対的位置と前記視線特定手段が特定した前記視聴者の視線方向とに基づいて、前記視聴者が注視している前記表示装置上の注視点を特定する注視点特定手段と、前記注視点特定手段によって特定された前記表示装置上の注視点に基づいて、前記表示装置に表示されている、前記視聴者が注視している注視コンテンツを特定する注視コンテンツ特定手段と、前記注視コンテンツ特定手段によって特定された注視コンテンツを示すコンテンツ注視データを記憶する記憶手段と、を備える。
【0007】
好適な実施形態では、前記注視コンテンツ特定手段は、前記注視点特定手段によって特定された前記表示装置上の注視点に表示されているコンテンツ映像を、前記注視コンテンツとして特定しても良い。
【0008】
好適な実施形態では、前記注視コンテンツ特定手段は、前記注視点特定手段によって特定された前記表示装置上の注視点を中心とする所定の視野範囲のうち、最も広い範囲を占めている前記表示装置に表示されているコンテンツを注視コンテンツとして特定してもよい。
【0009】
好適な実施形態では、前記視聴者及び前記表示装置を上から撮影する第2のカメラをさらに備え、前記位置特定手段は、前記第2のカメラが撮影した前記視聴者及び前記表示装置を上から撮影した映像に基づいて、前記視聴者の前記表示装置に対する相対的位置を特定してもよい。
【0010】
好適な実施形態では、前記位置特定手段は、前記第1のカメラが撮影した画像中の前記視聴者の相対位置及び顔幅に基づいて、前記視聴者の前記表示装置に対する相対的位置を特定してもよい。
【0011】
好適な実施形態では、前記視線特定手段は、前記第1のカメラが撮影した画像中の前記視聴者の顔幅または両目の間の距離を算出して、前記視聴者の視線方向を特定してもよい。
【発明の効果】
【0012】
本発明のコンテンツ視聴者分析装置によれば、コンテンツ視聴者の分析を的確に行い、コンテンツ映像の視聴効率を向上させることができる。
【図面の簡単な説明】
【0013】
【図1】本発明の一実施形態に係るコンテンツ視聴者分析装置のブロック構成図である。
【図2】視聴者が表示装置のコンテンツ映像を見ている様子を示す概念図である。
【図3】天井カメラで撮影した映像を示す図である。
【図4】正面カメラで撮影した視聴者の映像を示す図である。
【図5】両目の位置と視線角度βとの関係を示す拡大図である。
【図6】天井カメラ映像と正面カメラ映像に基づいて得られた注視点、視線角度、視野角等を示す説明図である。
【図7】注視点、視野角を表示装置のコンテンツ上に重ね合わせて示す説明図である。
【図8】視野範囲の求め方を示す説明図である。
【図9】コンテンツ表示スケジュールの内容を示す図である。
【図10】コンテンツ注視データの内容を示す図である。
【図11】コンテンツ視聴者分析装置によって実行されるコンテンツ視聴者分析処理の手順を示すフローチャートである。
【発明を実施するための形態】
【0014】
以下、本発明の一実施形態について、図面に基づいて説明する。
【0015】
図1は、本発明の一実施形態に係るコンテンツ視聴者分析装置のブロック構成図である。
【0016】
本実施形態に係るコンテンツ視聴者分析装置1は、天井カメラ101及び正面カメラ103と、コンテンツ視聴者分析装置本体10とを備える。
【0017】
コンテンツ視聴者分析装置本体10は、例えば汎用的なコンピュータシステムにより構成され、以下に説明するコンテンツ視聴者分析装置本体10内の個々の構成要素または機能は、例えば、コンピュータプログラムを実行することにより実現される。このコンピュータプログラムは、コンピュータ読み取り可能な記録媒体に格納可能である。
【0018】
コンテンツ視聴者分析装置本体10は、図1に示すように、視聴者位置特定部102、視線角度特定部104、注視点特定部105、注視コンテンツ特定部106、コンテンツ注視データ記憶部107、注視量算出部108、天井カメラ映像記憶部111、正面カメラ映像記憶部112及びコンテンツ表示スケジュール記憶部113を備える。
【0019】
図2は、視聴者が表示装置のコンテンツ映像を見ているときの位置関係を示す概念図である。
【0020】
例えば、複数種類のコンテンツ映像を同時に表示する表示装置201は、設置場所の壁面に取り付けられており、その上部には、正面カメラ103が取り付けられている。また、この設置場所の上方(例えば天井)には、天井カメラ101が取り付けられている。
【0021】
図2の例では、表示装置201にコンテンツ映像が表示されていて、2人の視聴者202(202−1、202−2)が表示装置201に放映されるコンテンツ映像を視聴している場面を示す。
【0022】
このときに、天井カメラ101が撮影した天井カメラ映像が、天井カメラ映像記憶部111に格納される。天井カメラ101は、視聴者202及び表示装置201を上から撮影する第2のカメラとして機能する。
【0023】
視聴者位置特定部102は、表示装置201を見ている視聴者202の表示装置201に対する相対的位置を特定する位置特定手段として機能する。例えば、視聴者位置特定部102は、天井カメラ101が撮影した視聴者202及び表示装置201を上から撮影した映像(天井カメラ映像)に基づいて、視聴者202の表示装置201に対する相対的位置を特定する。視聴者位置特定部102の詳細な処理について、図3を参照して説明する。
【0024】
図3は、天井カメラ映像のサンプリング画像の一例を示す図である。
【0025】
視聴者位置特定部102は、所定の時間間隔で天井カメラ映像を所定のサンプリング間隔でサンプリングした画像を用いて、表示装置201に対する視聴者202の相対位置を特定する。例えば、視聴者位置特定部102は、この映像の中の所定の基準点を原点O(図3では、画像の左上隅)として、視聴者202−1、202−2の位置座標を特定する。図3の例では、視聴者202−1が(x1,y1)、視聴者202−2が(x2,y2)に存在する。
【0026】
再び図1を参照すると、正面カメラ103で撮影した正面カメラ映像が、正面カメラ映像記憶部112に格納される。正面カメラ103は、表示装置201に対して予め定められた位置に配置されていて、視聴者202の顔を撮影する第1のカメラとして機能する。
【0027】
視線角度特定部104は、正面カメラ103が撮影した視聴者202の顔画像(正面カメラ映像)に基づいて、視聴者202の視線方向(視線角度:図6で後述する)を特定する視線特定手段として機能する。例えば、視線角度特定部104は、正面カメラ103が撮影した画像(正面カメラ映像)中の視聴者の顔幅または両目の間の距離を算出して、視聴者の視線方向を特定する。視線角度特定部104の詳細な処理について、図4を参照して説明する。
【0028】
図4は、正面カメラ映像のサンプリング画像の一例を示す図である。
【0029】
視線角度特定部104は、正面カメラ映像を、天井カメラ映像と同期したサンプリング間隔でサンプリングした画像を用いて、画像処理によって、同図に示す正面カメラ映像における視聴者202の顔幅wと両目間距離eを算出する。ここで、顔幅w及び両目間距離eは、視聴者202と表示装置201との距離L1及び視聴者の顔が表示装置201に対して向いている角度により変化する。そこで、視線角度特定部104は、距離L1別に、視聴者の顔が表示装置201の正面を向いているときの標準的な顔幅wd及び両面間距離edの値を予め保持している。視線角度特定部104は、この距離L1(=y1)に対応するwd及びedと、画像処理で算出したw及びdに基づいて、視聴者202−1の視線角度β(図6参照)を算出する。例えば、図5は、両目の位置と視線角度βとの関係を示す拡大図である。同図では、実際の両目間の間隔erとカメラが捉える両目間距離eとの関係を示す。この図では、視線角度βは、β=cos−1(e/er)により求まることがわかる。従って、距離L1に応じた標準的な両面間距離edを用いたときは、視線角度βは、β=cos−1(e/ed)により求まる。同様の考え方で顔幅を利用すれば、β=cos−1(w/wd)で求まる。
【0030】
あらためて図1を参照すると、注視点特定部105は、視聴者位置特定部102が特定した相対的位置と、視線角度特定部104が特定した視聴者202の視線方向とに基づいて、視聴者202が注視している表示装置201上の注視点を特定する注視点特定手段として機能する。注視点特定部105の詳細な処理について、図6を参照して説明する。
【0031】
図6は、図3の天井カメラ映像のサンプリング画像と、図4の正面カメラ映像のサンプリング画像に基づいて得られた注視点P、視線角度β、視野角θ等を示す説明図である。同図では、視聴者202−2の表示は省略している。
【0032】
同図において、視聴者202−1は、(x1,y1)の位置にいる。従って、注視点特定部105は、視聴者202−1と表示装置201との間の距離L1を、L1=y1で算出する。また、同図において、視聴者202−1の視線方向(視線角度βの方向)と表示画面との交点である注視点Pのx座標は、(x1+L2)である。そこで、注視点特定部105は、距離L2をL2=L1tanβで算出して、注視点Pを特定する。
【0033】
さらに、同図において、視聴者202−1の一般的な視野の範囲を示す視野角をθとすると、視野範囲は視線方向を中心とした左右(θ/2)の範囲である。
【0034】
図7は、図6で示される注視点P、視野角θの範囲を表示装置201のコンテンツ上に重ね合わせて示す説明図である。
【0035】
注視コンテンツ特定部106は、注視点特定部105によって特定された表示装置201上の注視点に基づいて、表示装置201に表示されている、視聴者202が注視している注視コンテンツを特定する注視コンテンツ特定手段とて機能する。例えば、図7の例では、視聴者202−1の注視点Pは、コンテンツAの映像の上にある。そこで、注視コンテンツ特定部106は、コンテンツ表示スケジュール記憶部113を参照して、以下の2つの選択方法のいずれかにより注視コンテンツを特定する。
【0036】
第1の選択方法は、注視点特定部105によって特定された表示装置201上の注視点Pに表示されているコンテンツ映像を、注視コンテンツとして特定する。従って、第1の選択方法に従うと、図7の例は、表示装置201の向かって左側に表示されているコンテンツ(コンテンツA)が注視コンテンツとなる。ここで、注視点特定部105は、コンテンツ表示スケジュール記憶部113を参照して、現在処理している画像をサンプリングしたタイミング(日時)に表示装置201の向かって左側に表示されているコンテンツのコンテンツIDを特定する。
【0037】
ここで、図9は、コンテンツ表示スケジュール記憶部113に記憶されているコンテンツ表示スケジュール1130の一例を示す図である。同図に示すように、コンテンツ表示スケジュール1130は、例えば、放映枠1131、放映日1132、放映時間1133、表示装置上での表示位置1134及び表示させるコンテンツID1135をデータ項目に有する。
【0038】
従って、注視点特定部105は、処理中の画像のサンプリング日時の放映日1132、放映時間1133に対応する放映枠1131及びコンテンツID1135を特定する。
【0039】
第2の選択方法は、注視点特定部105によって特定された表示装置201上の注視点Pを中心とする所定の視野範囲のうち、最も広い範囲を占めている表示装置201に表示されているコンテンツを注視コンテンツとして特定する。第2の選択方法では、視野角θの範囲を最も占めているコンテンツは、表示装置201の向かって右側に表示されているコンテンツ(コンテンツB)が注視コンテンツとなる。ここで、注視点特定部105は、コンテンツ表示スケジュール記憶部113を参照して、現在処理している画像をサンプリングしたタイミング(日時)に表示装置201の向かって右側に表示されているコンテンツのコンテンツIDを特定する。
【0040】
ここで、図8は、視野範囲の求め方を示す。同図に示すように、注視点Pを中心とする左右方向の視野範囲を示すL3及びL4は、それぞれ、以下の式により求まる。
L3=L2−L1tan(β−θ/2)
L4=L1tan(β+θ/2)−L2
その結果、注視点Pとする視野範囲のx座標が求まるので、図7の例ではコンテンツAの領域とコンテンツBの領域のいずれが多く視野範囲に含まれているかを判定することができる。
【0041】
第1の選択方法の場合と同様に、注視点特定部105は、処理中の画像のサンプリング日時の放映日1132、放映時間1133に対応する放映枠1131及びコンテンツID1135を特定する。
【0042】
なお、上記の例では、表示装置201を左右に2分割しているが、3分割以上する場合でも同様である。
【0043】
コンテンツ注視データ記憶部107は、注視コンテンツ特定部106によって特定された注視コンテンツを示すコンテンツ注視データを記憶する記憶手段である。
【0044】
図10は、コンテンツ注視データ1070の内容の一例を示す図である。
【0045】
コンテンツ注視データ1070は、例えば、放映枠1071、コンテンツID1072、処理対象画像のサンプリング日1073、及び時刻1074をデータ項目として有する。
【0046】
上述した処理からわかるように、注視コンテンツ特定部106は、一組の天井カメラ映像のサンプリング画像及び正面カメラ映像のサンプリング画像から、注視コンテンツを一つ特定する。従って、注視コンテンツ特定部106は、一組の天井カメラ映像のサンプリング画像及び正面カメラ映像のサンプリング画像から、コンテンツ注視データ1070を一レコード生成する。この結果、所定時間分の天井カメラ映像及び正面カメラ映像を所定の時間間隔でサンプリングして処理することにより、コンテンツ注視データ記憶部107に、コンテンツ注視データ1070の複数のレコードが蓄積されていく。
【0047】
注視量算出部108は、コンテンツ注視データ記憶部107にコンテンツ注視データ1070が蓄積されているとき、以下の機能を発揮する。すなわち、注視量算出部108は、コンテンツ注視データ記憶部107に蓄積されているコンテンツ注視データ1070に基づいて、コンテンツ映像別に、各コンテンツ映像を注視した注視人数、及び各視聴者が注視した合計注視時間の少なくとも一方を含むコンテンツ別注視量を算出する注視量算出手段として機能する。
【0048】
例えば、注視量算出部108は、コンテンツID1072別に、コンテンツ注視データ記憶部107に蓄積されているレコード数をカウントする。これにより、コンテンツID別の注視した視聴者の延べ人数が算出される。また、カウントされたレコード数にサンプリング間隔をかけることで、合計の注視時間が算出される。
【0049】
図11は、上述した構成を備えるコンテンツ視聴者分析装置1によって実行されるコンテンツ視聴者分析処理の手順を示すフローチャートである。
【0050】
まず、コンテンツ表示スケジュール1130が決定され、コンテンツ表示スケジュール記憶部113に登録される(ステップS101)。
【0051】
次に、コンテンツ表示スケジュール1130に従って、表示装置201にコンテンツ映像が放映されているときに、天井カメラ101及び正面カメラ103が、それぞれ、視聴者202の映像を撮影して、天井カメラ映像記憶部111及び正面カメラ映像記憶部112に格納する(ステップS102)。
【0052】
その後、視聴者位置特定部102が、天井カメラ映像記憶部111に記憶されている天井カメラ映像を所定タイミングでサンプリングし、サンプリングした天井カメラ画像に基づいて視聴者位置を特定する(ステップS103)。次に、視線角度特定部104が、正面カメラ映像記憶部112に記憶されている正面カメラ映像を、ステップS103の天井カメラ画像と同じタイミングの画像をサンプリングし、サンプリングした正面カメラ画像に基づいて、視聴者別の視線角度を特定する(ステップS104)。
【0053】
次に、注視点特定部105が、ステップS103及びS104の処理結果に基づいて、視聴者の注視点Pを特定する(ステップS105)。さらに、ステップS105で特定された注視点Pに基づいて、注視コンテンツ特定部106が注視コンテンツを特定して、コンテンツ注視データ1070を生成し、コンテンツ注視データ記憶部107に格納する(ステップS106)。
【0054】
分析対象の正面カメラ映像及び天井カメラ映像に対する分析処理が終了するまで、ステップS103〜ステップS106を繰り返す(ステップS107)。そして、分析対象映像の分析が終了したら(ステップS107でYES)、注視量算出部108が、コンテンツ注視データ記憶部107を参照して、コンテンツ別の注視量を算出する(ステップS)、記憶部107に記憶する。
【0055】
上述した本発明の実施形態は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施することができる。
【0056】
例えば、上述した実施形態では、表示装置201から視聴者までの距離L1は、天井カメラ映像を用いて算出しているが、これ以外の方法で算出しても良い。例えば、表示装置201が設置されている壁面に距離センサを設けて、表示装置201から視聴者までの距離L1を計測しても良いし、正面カメラ画像を用いて算出しても良い。
【符号の説明】
【0057】
1 コンテンツ視聴者分析装置
10 コンテンツ視聴者分析装置本体
101 天井カメラ
102 視聴者位置特定部
103 正面カメラ
104 視線角度特定部
105 注視点特定部
106 注視コンテンツ特定部
107 コンテンツ注視データ記憶部
108 注視量算出部
111 天井カメラ映像記憶部
112 正面カメラ映像記憶部
113 コンテンツ表示スケジュール記憶部
【技術分野】
【0001】
本発明は、表示装置に表示されたコンテンツを視聴している視聴者の分析を行うコンテンツ視聴者分析装置及びコンテンツ視聴者分析方法、並びにプログラムに関する。
【背景技術】
【0002】
複数種類のコンテンツ映像を同時に表示する大型の表示装置が駅、ホテル、ショッピングモール等の様々な施設に設置されている。例えば、製品やサービスを宣伝する目的でコンテンツ映像を放映する会社(業者)は、コンテンツ映像を視聴するコンテンツ視聴者の動向を分析して、より効率的なコンテンツ映像の放映を行う必要がある。
【0003】
すなわち、所定期間(時間単位、日単位、週単位等)におけるコンテンツ視聴者の数、あるいは、複数種類のコンテンツ映像のうちのいずれを視聴しているのか等を分析する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、表示面を分割して複数種類のコンテンツ映像が同時に表示されている場合、コンテンツ映像別に効果を測定するためには、どれくらいの数の視聴者がどのコンテンツをどの程度見たかを把握する必要がある。
【0005】
本発明の目的は、コンテンツ視聴者の分析を的確に行い、コンテンツ映像の視聴効率を向上させることができるコンテンツ視聴者分析装置及びコンテンツ視聴者分析方法、並びにプログラムを提供することにある。
【課題を解決するための手段】
【0006】
本発明の一つの態様に従うコンテンツ視聴者分析装置は、複数種類のコンテンツ映像を同時に表示する表示装置を見ている視聴者の前記表示装置に対する相対的位置を特定する位置特定手段と、前記表示装置に対して予め定められた位置に配置され、前記視聴者の顔を撮影する第1のカメラと、前記第1のカメラが撮影した前記視聴者の顔画像に基づいて、前記視聴者の視線方向を特定する視線特定手段と、前記位置特定手段が特定した相対的位置と前記視線特定手段が特定した前記視聴者の視線方向とに基づいて、前記視聴者が注視している前記表示装置上の注視点を特定する注視点特定手段と、前記注視点特定手段によって特定された前記表示装置上の注視点に基づいて、前記表示装置に表示されている、前記視聴者が注視している注視コンテンツを特定する注視コンテンツ特定手段と、前記注視コンテンツ特定手段によって特定された注視コンテンツを示すコンテンツ注視データを記憶する記憶手段と、を備える。
【0007】
好適な実施形態では、前記注視コンテンツ特定手段は、前記注視点特定手段によって特定された前記表示装置上の注視点に表示されているコンテンツ映像を、前記注視コンテンツとして特定しても良い。
【0008】
好適な実施形態では、前記注視コンテンツ特定手段は、前記注視点特定手段によって特定された前記表示装置上の注視点を中心とする所定の視野範囲のうち、最も広い範囲を占めている前記表示装置に表示されているコンテンツを注視コンテンツとして特定してもよい。
【0009】
好適な実施形態では、前記視聴者及び前記表示装置を上から撮影する第2のカメラをさらに備え、前記位置特定手段は、前記第2のカメラが撮影した前記視聴者及び前記表示装置を上から撮影した映像に基づいて、前記視聴者の前記表示装置に対する相対的位置を特定してもよい。
【0010】
好適な実施形態では、前記位置特定手段は、前記第1のカメラが撮影した画像中の前記視聴者の相対位置及び顔幅に基づいて、前記視聴者の前記表示装置に対する相対的位置を特定してもよい。
【0011】
好適な実施形態では、前記視線特定手段は、前記第1のカメラが撮影した画像中の前記視聴者の顔幅または両目の間の距離を算出して、前記視聴者の視線方向を特定してもよい。
【発明の効果】
【0012】
本発明のコンテンツ視聴者分析装置によれば、コンテンツ視聴者の分析を的確に行い、コンテンツ映像の視聴効率を向上させることができる。
【図面の簡単な説明】
【0013】
【図1】本発明の一実施形態に係るコンテンツ視聴者分析装置のブロック構成図である。
【図2】視聴者が表示装置のコンテンツ映像を見ている様子を示す概念図である。
【図3】天井カメラで撮影した映像を示す図である。
【図4】正面カメラで撮影した視聴者の映像を示す図である。
【図5】両目の位置と視線角度βとの関係を示す拡大図である。
【図6】天井カメラ映像と正面カメラ映像に基づいて得られた注視点、視線角度、視野角等を示す説明図である。
【図7】注視点、視野角を表示装置のコンテンツ上に重ね合わせて示す説明図である。
【図8】視野範囲の求め方を示す説明図である。
【図9】コンテンツ表示スケジュールの内容を示す図である。
【図10】コンテンツ注視データの内容を示す図である。
【図11】コンテンツ視聴者分析装置によって実行されるコンテンツ視聴者分析処理の手順を示すフローチャートである。
【発明を実施するための形態】
【0014】
以下、本発明の一実施形態について、図面に基づいて説明する。
【0015】
図1は、本発明の一実施形態に係るコンテンツ視聴者分析装置のブロック構成図である。
【0016】
本実施形態に係るコンテンツ視聴者分析装置1は、天井カメラ101及び正面カメラ103と、コンテンツ視聴者分析装置本体10とを備える。
【0017】
コンテンツ視聴者分析装置本体10は、例えば汎用的なコンピュータシステムにより構成され、以下に説明するコンテンツ視聴者分析装置本体10内の個々の構成要素または機能は、例えば、コンピュータプログラムを実行することにより実現される。このコンピュータプログラムは、コンピュータ読み取り可能な記録媒体に格納可能である。
【0018】
コンテンツ視聴者分析装置本体10は、図1に示すように、視聴者位置特定部102、視線角度特定部104、注視点特定部105、注視コンテンツ特定部106、コンテンツ注視データ記憶部107、注視量算出部108、天井カメラ映像記憶部111、正面カメラ映像記憶部112及びコンテンツ表示スケジュール記憶部113を備える。
【0019】
図2は、視聴者が表示装置のコンテンツ映像を見ているときの位置関係を示す概念図である。
【0020】
例えば、複数種類のコンテンツ映像を同時に表示する表示装置201は、設置場所の壁面に取り付けられており、その上部には、正面カメラ103が取り付けられている。また、この設置場所の上方(例えば天井)には、天井カメラ101が取り付けられている。
【0021】
図2の例では、表示装置201にコンテンツ映像が表示されていて、2人の視聴者202(202−1、202−2)が表示装置201に放映されるコンテンツ映像を視聴している場面を示す。
【0022】
このときに、天井カメラ101が撮影した天井カメラ映像が、天井カメラ映像記憶部111に格納される。天井カメラ101は、視聴者202及び表示装置201を上から撮影する第2のカメラとして機能する。
【0023】
視聴者位置特定部102は、表示装置201を見ている視聴者202の表示装置201に対する相対的位置を特定する位置特定手段として機能する。例えば、視聴者位置特定部102は、天井カメラ101が撮影した視聴者202及び表示装置201を上から撮影した映像(天井カメラ映像)に基づいて、視聴者202の表示装置201に対する相対的位置を特定する。視聴者位置特定部102の詳細な処理について、図3を参照して説明する。
【0024】
図3は、天井カメラ映像のサンプリング画像の一例を示す図である。
【0025】
視聴者位置特定部102は、所定の時間間隔で天井カメラ映像を所定のサンプリング間隔でサンプリングした画像を用いて、表示装置201に対する視聴者202の相対位置を特定する。例えば、視聴者位置特定部102は、この映像の中の所定の基準点を原点O(図3では、画像の左上隅)として、視聴者202−1、202−2の位置座標を特定する。図3の例では、視聴者202−1が(x1,y1)、視聴者202−2が(x2,y2)に存在する。
【0026】
再び図1を参照すると、正面カメラ103で撮影した正面カメラ映像が、正面カメラ映像記憶部112に格納される。正面カメラ103は、表示装置201に対して予め定められた位置に配置されていて、視聴者202の顔を撮影する第1のカメラとして機能する。
【0027】
視線角度特定部104は、正面カメラ103が撮影した視聴者202の顔画像(正面カメラ映像)に基づいて、視聴者202の視線方向(視線角度:図6で後述する)を特定する視線特定手段として機能する。例えば、視線角度特定部104は、正面カメラ103が撮影した画像(正面カメラ映像)中の視聴者の顔幅または両目の間の距離を算出して、視聴者の視線方向を特定する。視線角度特定部104の詳細な処理について、図4を参照して説明する。
【0028】
図4は、正面カメラ映像のサンプリング画像の一例を示す図である。
【0029】
視線角度特定部104は、正面カメラ映像を、天井カメラ映像と同期したサンプリング間隔でサンプリングした画像を用いて、画像処理によって、同図に示す正面カメラ映像における視聴者202の顔幅wと両目間距離eを算出する。ここで、顔幅w及び両目間距離eは、視聴者202と表示装置201との距離L1及び視聴者の顔が表示装置201に対して向いている角度により変化する。そこで、視線角度特定部104は、距離L1別に、視聴者の顔が表示装置201の正面を向いているときの標準的な顔幅wd及び両面間距離edの値を予め保持している。視線角度特定部104は、この距離L1(=y1)に対応するwd及びedと、画像処理で算出したw及びdに基づいて、視聴者202−1の視線角度β(図6参照)を算出する。例えば、図5は、両目の位置と視線角度βとの関係を示す拡大図である。同図では、実際の両目間の間隔erとカメラが捉える両目間距離eとの関係を示す。この図では、視線角度βは、β=cos−1(e/er)により求まることがわかる。従って、距離L1に応じた標準的な両面間距離edを用いたときは、視線角度βは、β=cos−1(e/ed)により求まる。同様の考え方で顔幅を利用すれば、β=cos−1(w/wd)で求まる。
【0030】
あらためて図1を参照すると、注視点特定部105は、視聴者位置特定部102が特定した相対的位置と、視線角度特定部104が特定した視聴者202の視線方向とに基づいて、視聴者202が注視している表示装置201上の注視点を特定する注視点特定手段として機能する。注視点特定部105の詳細な処理について、図6を参照して説明する。
【0031】
図6は、図3の天井カメラ映像のサンプリング画像と、図4の正面カメラ映像のサンプリング画像に基づいて得られた注視点P、視線角度β、視野角θ等を示す説明図である。同図では、視聴者202−2の表示は省略している。
【0032】
同図において、視聴者202−1は、(x1,y1)の位置にいる。従って、注視点特定部105は、視聴者202−1と表示装置201との間の距離L1を、L1=y1で算出する。また、同図において、視聴者202−1の視線方向(視線角度βの方向)と表示画面との交点である注視点Pのx座標は、(x1+L2)である。そこで、注視点特定部105は、距離L2をL2=L1tanβで算出して、注視点Pを特定する。
【0033】
さらに、同図において、視聴者202−1の一般的な視野の範囲を示す視野角をθとすると、視野範囲は視線方向を中心とした左右(θ/2)の範囲である。
【0034】
図7は、図6で示される注視点P、視野角θの範囲を表示装置201のコンテンツ上に重ね合わせて示す説明図である。
【0035】
注視コンテンツ特定部106は、注視点特定部105によって特定された表示装置201上の注視点に基づいて、表示装置201に表示されている、視聴者202が注視している注視コンテンツを特定する注視コンテンツ特定手段とて機能する。例えば、図7の例では、視聴者202−1の注視点Pは、コンテンツAの映像の上にある。そこで、注視コンテンツ特定部106は、コンテンツ表示スケジュール記憶部113を参照して、以下の2つの選択方法のいずれかにより注視コンテンツを特定する。
【0036】
第1の選択方法は、注視点特定部105によって特定された表示装置201上の注視点Pに表示されているコンテンツ映像を、注視コンテンツとして特定する。従って、第1の選択方法に従うと、図7の例は、表示装置201の向かって左側に表示されているコンテンツ(コンテンツA)が注視コンテンツとなる。ここで、注視点特定部105は、コンテンツ表示スケジュール記憶部113を参照して、現在処理している画像をサンプリングしたタイミング(日時)に表示装置201の向かって左側に表示されているコンテンツのコンテンツIDを特定する。
【0037】
ここで、図9は、コンテンツ表示スケジュール記憶部113に記憶されているコンテンツ表示スケジュール1130の一例を示す図である。同図に示すように、コンテンツ表示スケジュール1130は、例えば、放映枠1131、放映日1132、放映時間1133、表示装置上での表示位置1134及び表示させるコンテンツID1135をデータ項目に有する。
【0038】
従って、注視点特定部105は、処理中の画像のサンプリング日時の放映日1132、放映時間1133に対応する放映枠1131及びコンテンツID1135を特定する。
【0039】
第2の選択方法は、注視点特定部105によって特定された表示装置201上の注視点Pを中心とする所定の視野範囲のうち、最も広い範囲を占めている表示装置201に表示されているコンテンツを注視コンテンツとして特定する。第2の選択方法では、視野角θの範囲を最も占めているコンテンツは、表示装置201の向かって右側に表示されているコンテンツ(コンテンツB)が注視コンテンツとなる。ここで、注視点特定部105は、コンテンツ表示スケジュール記憶部113を参照して、現在処理している画像をサンプリングしたタイミング(日時)に表示装置201の向かって右側に表示されているコンテンツのコンテンツIDを特定する。
【0040】
ここで、図8は、視野範囲の求め方を示す。同図に示すように、注視点Pを中心とする左右方向の視野範囲を示すL3及びL4は、それぞれ、以下の式により求まる。
L3=L2−L1tan(β−θ/2)
L4=L1tan(β+θ/2)−L2
その結果、注視点Pとする視野範囲のx座標が求まるので、図7の例ではコンテンツAの領域とコンテンツBの領域のいずれが多く視野範囲に含まれているかを判定することができる。
【0041】
第1の選択方法の場合と同様に、注視点特定部105は、処理中の画像のサンプリング日時の放映日1132、放映時間1133に対応する放映枠1131及びコンテンツID1135を特定する。
【0042】
なお、上記の例では、表示装置201を左右に2分割しているが、3分割以上する場合でも同様である。
【0043】
コンテンツ注視データ記憶部107は、注視コンテンツ特定部106によって特定された注視コンテンツを示すコンテンツ注視データを記憶する記憶手段である。
【0044】
図10は、コンテンツ注視データ1070の内容の一例を示す図である。
【0045】
コンテンツ注視データ1070は、例えば、放映枠1071、コンテンツID1072、処理対象画像のサンプリング日1073、及び時刻1074をデータ項目として有する。
【0046】
上述した処理からわかるように、注視コンテンツ特定部106は、一組の天井カメラ映像のサンプリング画像及び正面カメラ映像のサンプリング画像から、注視コンテンツを一つ特定する。従って、注視コンテンツ特定部106は、一組の天井カメラ映像のサンプリング画像及び正面カメラ映像のサンプリング画像から、コンテンツ注視データ1070を一レコード生成する。この結果、所定時間分の天井カメラ映像及び正面カメラ映像を所定の時間間隔でサンプリングして処理することにより、コンテンツ注視データ記憶部107に、コンテンツ注視データ1070の複数のレコードが蓄積されていく。
【0047】
注視量算出部108は、コンテンツ注視データ記憶部107にコンテンツ注視データ1070が蓄積されているとき、以下の機能を発揮する。すなわち、注視量算出部108は、コンテンツ注視データ記憶部107に蓄積されているコンテンツ注視データ1070に基づいて、コンテンツ映像別に、各コンテンツ映像を注視した注視人数、及び各視聴者が注視した合計注視時間の少なくとも一方を含むコンテンツ別注視量を算出する注視量算出手段として機能する。
【0048】
例えば、注視量算出部108は、コンテンツID1072別に、コンテンツ注視データ記憶部107に蓄積されているレコード数をカウントする。これにより、コンテンツID別の注視した視聴者の延べ人数が算出される。また、カウントされたレコード数にサンプリング間隔をかけることで、合計の注視時間が算出される。
【0049】
図11は、上述した構成を備えるコンテンツ視聴者分析装置1によって実行されるコンテンツ視聴者分析処理の手順を示すフローチャートである。
【0050】
まず、コンテンツ表示スケジュール1130が決定され、コンテンツ表示スケジュール記憶部113に登録される(ステップS101)。
【0051】
次に、コンテンツ表示スケジュール1130に従って、表示装置201にコンテンツ映像が放映されているときに、天井カメラ101及び正面カメラ103が、それぞれ、視聴者202の映像を撮影して、天井カメラ映像記憶部111及び正面カメラ映像記憶部112に格納する(ステップS102)。
【0052】
その後、視聴者位置特定部102が、天井カメラ映像記憶部111に記憶されている天井カメラ映像を所定タイミングでサンプリングし、サンプリングした天井カメラ画像に基づいて視聴者位置を特定する(ステップS103)。次に、視線角度特定部104が、正面カメラ映像記憶部112に記憶されている正面カメラ映像を、ステップS103の天井カメラ画像と同じタイミングの画像をサンプリングし、サンプリングした正面カメラ画像に基づいて、視聴者別の視線角度を特定する(ステップS104)。
【0053】
次に、注視点特定部105が、ステップS103及びS104の処理結果に基づいて、視聴者の注視点Pを特定する(ステップS105)。さらに、ステップS105で特定された注視点Pに基づいて、注視コンテンツ特定部106が注視コンテンツを特定して、コンテンツ注視データ1070を生成し、コンテンツ注視データ記憶部107に格納する(ステップS106)。
【0054】
分析対象の正面カメラ映像及び天井カメラ映像に対する分析処理が終了するまで、ステップS103〜ステップS106を繰り返す(ステップS107)。そして、分析対象映像の分析が終了したら(ステップS107でYES)、注視量算出部108が、コンテンツ注視データ記憶部107を参照して、コンテンツ別の注視量を算出する(ステップS)、記憶部107に記憶する。
【0055】
上述した本発明の実施形態は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施することができる。
【0056】
例えば、上述した実施形態では、表示装置201から視聴者までの距離L1は、天井カメラ映像を用いて算出しているが、これ以外の方法で算出しても良い。例えば、表示装置201が設置されている壁面に距離センサを設けて、表示装置201から視聴者までの距離L1を計測しても良いし、正面カメラ画像を用いて算出しても良い。
【符号の説明】
【0057】
1 コンテンツ視聴者分析装置
10 コンテンツ視聴者分析装置本体
101 天井カメラ
102 視聴者位置特定部
103 正面カメラ
104 視線角度特定部
105 注視点特定部
106 注視コンテンツ特定部
107 コンテンツ注視データ記憶部
108 注視量算出部
111 天井カメラ映像記憶部
112 正面カメラ映像記憶部
113 コンテンツ表示スケジュール記憶部
【特許請求の範囲】
【請求項1】
複数種類のコンテンツ映像を同時に表示する表示装置を見ている視聴者の前記表示装置に対する相対的位置を特定する位置特定手段と、
前記表示装置に対して予め定められた位置に配置され、前記視聴者の顔を撮影する第1のカメラと、
前記第1のカメラが撮影した前記視聴者の顔画像に基づいて、前記視聴者の視線方向を特定する視線特定手段と、
前記位置特定手段が特定した相対的位置と前記視線特定手段が特定した前記視聴者の視線方向とに基づいて、前記視聴者が注視している前記表示装置上の注視点を特定する注視点特定手段と、
前記注視点特定手段によって特定された前記表示装置上の注視点に基づいて、前記表示装置に表示されている、前記視聴者が注視している注視コンテンツを特定する注視コンテンツ特定手段と、
前記注視コンテンツ特定手段によって特定された注視コンテンツを示すコンテンツ注視データを記憶する記憶手段と、を備えるコンテンツ視聴者分析装置。
【請求項2】
前記注視コンテンツ特定手段は、前記注視点特定手段によって特定された前記表示装置上の注視点に表示されているコンテンツ映像を、前記注視コンテンツとして特定する、請求項1記載のコンテンツ視聴者分析装置。
【請求項3】
前記注視コンテンツ特定手段は、前記注視点特定手段によって特定された前記表示装置上の注視点を中心とする所定の視野範囲のうち、最も広い範囲を占めている前記表示装置に表示されているコンテンツを注視コンテンツとして特定する、請求項1記載のコンテンツ視聴者分析装置。
【請求項4】
前記視聴者及び前記表示装置を上から撮影する第2のカメラをさらに備え、
前記位置特定手段は、前記第2のカメラが撮影した前記視聴者及び前記表示装置を上から撮影した映像に基づいて、前記視聴者の前記表示装置に対する相対的位置を特定する、請求項1〜3のいずれかに記載のコンテンツ視聴者分析装置。
【請求項5】
前記位置特定手段は、前記第1のカメラが撮影した画像中の前記視聴者の相対位置及び顔幅に基づいて、前記視聴者の前記表示装置に対する相対的位置を特定する、請求項1〜3のいずれかに記載のコンテンツ視聴者分析装置。
【請求項6】
前記視線特定手段は、前記第1のカメラが撮影した画像中の前記視聴者の顔幅または両目の間の距離を算出して、前記視聴者の視線方向を特定する、請求項1〜5のいずれかに記載のコンテンツ視聴者分析装置。
【請求項7】
複数種類のコンテンツ映像を同時に表示する表示装置を見ている視聴者の前記表示装置に対する相対的位置を特定する位置特定ステップと、
前記表示装置に対して予め定められた位置に配置され、前記視聴者の顔を撮影する第1のカメラが撮影した前記視聴者の顔画像に基づいて、前記視聴者の視線方向を特定する視線特定ステップと、
前記位置特定ステップが特定した相対的位置と前記視線特定ステップが特定した前記視聴者の視線方向とに基づいて、前記視聴者が注視している前記表示装置上の注視点を特定する注視点特定ステップと、
前記注視点特定ステップによって特定された前記表示装置上の注視点に基づいて、前記表示装置に表示されている、前記視聴者が注視している注視コンテンツを特定する注視コンテンツ特定ステップと、
前記注視コンテンツ特定ステップによって特定された注視コンテンツを示すコンテンツ注視データを記憶する記憶ステップと、を備えるコンテンツ視聴者分析方法。
【請求項8】
複数種類のコンテンツ映像を同時に表示する表示装置を見ている視聴者の前記表示装置に対する相対的位置を特定する位置特定ステップと、
前記表示装置に対して予め定められた位置に配置され、前記視聴者の顔を撮影する第1のカメラが撮影した前記視聴者の顔画像に基づいて、前記視聴者の視線方向を特定する視線特定ステップと、
前記位置特定ステップが特定した相対的位置と前記視線特定ステップが特定した前記視聴者の視線方向とに基づいて、前記視聴者が注視している前記表示装置上の注視点を特定する注視点特定ステップと、
前記注視点特定ステップによって特定された前記表示装置上の注視点に基づいて、前記表示装置に表示されている、前記視聴者が注視している注視コンテンツを特定する注視コンテンツ特定ステップと、
前記注視コンテンツ特定ステップによって特定された注視コンテンツを示すコンテンツ注視データを記憶する記憶ステップと、を備えるコンテンツ視聴者分析方法をコンピュータに実行させるプログラム。
【請求項1】
複数種類のコンテンツ映像を同時に表示する表示装置を見ている視聴者の前記表示装置に対する相対的位置を特定する位置特定手段と、
前記表示装置に対して予め定められた位置に配置され、前記視聴者の顔を撮影する第1のカメラと、
前記第1のカメラが撮影した前記視聴者の顔画像に基づいて、前記視聴者の視線方向を特定する視線特定手段と、
前記位置特定手段が特定した相対的位置と前記視線特定手段が特定した前記視聴者の視線方向とに基づいて、前記視聴者が注視している前記表示装置上の注視点を特定する注視点特定手段と、
前記注視点特定手段によって特定された前記表示装置上の注視点に基づいて、前記表示装置に表示されている、前記視聴者が注視している注視コンテンツを特定する注視コンテンツ特定手段と、
前記注視コンテンツ特定手段によって特定された注視コンテンツを示すコンテンツ注視データを記憶する記憶手段と、を備えるコンテンツ視聴者分析装置。
【請求項2】
前記注視コンテンツ特定手段は、前記注視点特定手段によって特定された前記表示装置上の注視点に表示されているコンテンツ映像を、前記注視コンテンツとして特定する、請求項1記載のコンテンツ視聴者分析装置。
【請求項3】
前記注視コンテンツ特定手段は、前記注視点特定手段によって特定された前記表示装置上の注視点を中心とする所定の視野範囲のうち、最も広い範囲を占めている前記表示装置に表示されているコンテンツを注視コンテンツとして特定する、請求項1記載のコンテンツ視聴者分析装置。
【請求項4】
前記視聴者及び前記表示装置を上から撮影する第2のカメラをさらに備え、
前記位置特定手段は、前記第2のカメラが撮影した前記視聴者及び前記表示装置を上から撮影した映像に基づいて、前記視聴者の前記表示装置に対する相対的位置を特定する、請求項1〜3のいずれかに記載のコンテンツ視聴者分析装置。
【請求項5】
前記位置特定手段は、前記第1のカメラが撮影した画像中の前記視聴者の相対位置及び顔幅に基づいて、前記視聴者の前記表示装置に対する相対的位置を特定する、請求項1〜3のいずれかに記載のコンテンツ視聴者分析装置。
【請求項6】
前記視線特定手段は、前記第1のカメラが撮影した画像中の前記視聴者の顔幅または両目の間の距離を算出して、前記視聴者の視線方向を特定する、請求項1〜5のいずれかに記載のコンテンツ視聴者分析装置。
【請求項7】
複数種類のコンテンツ映像を同時に表示する表示装置を見ている視聴者の前記表示装置に対する相対的位置を特定する位置特定ステップと、
前記表示装置に対して予め定められた位置に配置され、前記視聴者の顔を撮影する第1のカメラが撮影した前記視聴者の顔画像に基づいて、前記視聴者の視線方向を特定する視線特定ステップと、
前記位置特定ステップが特定した相対的位置と前記視線特定ステップが特定した前記視聴者の視線方向とに基づいて、前記視聴者が注視している前記表示装置上の注視点を特定する注視点特定ステップと、
前記注視点特定ステップによって特定された前記表示装置上の注視点に基づいて、前記表示装置に表示されている、前記視聴者が注視している注視コンテンツを特定する注視コンテンツ特定ステップと、
前記注視コンテンツ特定ステップによって特定された注視コンテンツを示すコンテンツ注視データを記憶する記憶ステップと、を備えるコンテンツ視聴者分析方法。
【請求項8】
複数種類のコンテンツ映像を同時に表示する表示装置を見ている視聴者の前記表示装置に対する相対的位置を特定する位置特定ステップと、
前記表示装置に対して予め定められた位置に配置され、前記視聴者の顔を撮影する第1のカメラが撮影した前記視聴者の顔画像に基づいて、前記視聴者の視線方向を特定する視線特定ステップと、
前記位置特定ステップが特定した相対的位置と前記視線特定ステップが特定した前記視聴者の視線方向とに基づいて、前記視聴者が注視している前記表示装置上の注視点を特定する注視点特定ステップと、
前記注視点特定ステップによって特定された前記表示装置上の注視点に基づいて、前記表示装置に表示されている、前記視聴者が注視している注視コンテンツを特定する注視コンテンツ特定ステップと、
前記注視コンテンツ特定ステップによって特定された注視コンテンツを示すコンテンツ注視データを記憶する記憶ステップと、を備えるコンテンツ視聴者分析方法をコンピュータに実行させるプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2010−232772(P2010−232772A)
【公開日】平成22年10月14日(2010.10.14)
【国際特許分類】
【出願番号】特願2009−75719(P2009−75719)
【出願日】平成21年3月26日(2009.3.26)
【出願人】(000155469)株式会社野村総合研究所 (1,067)
【Fターム(参考)】
【公開日】平成22年10月14日(2010.10.14)
【国際特許分類】
【出願日】平成21年3月26日(2009.3.26)
【出願人】(000155469)株式会社野村総合研究所 (1,067)
【Fターム(参考)】
[ Back to top ]