注目度検出システム、注目度判定装置、注目度判定装置用のプログラム、及び画像配信システム
【課題】対象者が画像を見ているときに、当該対象者が画像のどの部分を意識的に見ているかを自動的に特定可能にする。
【解決手段】注目度検出システム１０は、画像を表示する表示装置１２と、表示装置１２に表示された画像を見ている対象者の眼球運動データを所定時間毎に取得する眼球運動計測装置１３と、眼球運動計測装置１３で取得した眼球運動データから、画像における対象者の注目度を判定する注目度判定装置１４とを備えている。注目度判定装置１４では、予め記憶された数式を用い、眼球運動データとして画像内の注視点の位置と瞳孔径を取得した時刻単位で、当該時刻から過去の時間における前記注視点及び前記瞳孔径に関する経時的変化に基づいて前記注目度が特定される。
【解決手段】注目度検出システム１０は、画像を表示する表示装置１２と、表示装置１２に表示された画像を見ている対象者の眼球運動データを所定時間毎に取得する眼球運動計測装置１３と、眼球運動計測装置１３で取得した眼球運動データから、画像における対象者の注目度を判定する注目度判定装置１４とを備えている。注目度判定装置１４では、予め記憶された数式を用い、眼球運動データとして画像内の注視点の位置と瞳孔径を取得した時刻単位で、当該時刻から過去の時間における前記注視点及び前記瞳孔径に関する経時的変化に基づいて前記注目度が特定される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、注目度検出システム、注目度判定装置、注目度判定装置用のプログラム、及び画像配信システムに係り、更に詳しくは、画像を見ている対象者が当該画像の所定部分を意識的に見ていたか否かについて、自動判定することのできる注目度検出システム、注目度判定装置、注目度判定装置用のプログラム、及び画像配信システムに関する。
【背景技術】
【０００２】
視聴者が表示画像のどの部分に注目しているかを特定するシステムとして、特許文献１のシステムが提案されている。このシステムは、所定の画像を表示する表示手段と、表示手段を見ている視聴者の自画像を撮影するインカメラと、インカメラで撮影された画像から、視聴者の視線の抽出を行って視聴者が表示画像のどこを見ているか検出する画像処理部とを備えている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−５０９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
現在、テレビやインターネット等によって様々な動画が配信されているが、当該動画内で視聴者の視線が注がれる部位である注視点の位置を特定する他に、当該注視点を視聴者が意識的に見ているか否かを特定することは、動画におけるコンテンツ作成効果の検証、或いは、視聴者への情報提供等に有用となる。しかしながら、前記特許文献１のシステムにあっては、表示手段で表示された画像を視聴者が見たときに、当該画像内の注視点の位置を把握できるものの、当該注視点を視聴者が意識的に見ていたのか、或いは、無意識的に漠然と見ていたのかを区別することができない。
【０００５】
本発明は、このような課題に基づいて案出されたものであり、その目的は、対象者が画像を見ているときに、当該対象者が画像のどの部分を意識的に見ているかを自動的に特定することができる注目度検出システム、注目度判定装置、注目度判定装置用のプログラム、及び画像配信システムを提供することにある。
【課題を解決するための手段】
【０００６】
前記目的を達成するため、本発明は、予め記憶された数式を用い、眼球運動データとして、対象者が見ている画像内の注視点の位置と、そのときの瞳孔径とを取得し、当該眼球運動データを取得した時刻から過去の時間における対象者の注視点及び瞳孔径に関する経時的変化に基づき、対象者が見ている画像内の注視点における注目度を特定させることが主たる特徴である。
【発明の効果】
【０００７】
本発明によれば、眼球運動データを取得した時刻から過去の時間における対象者の注視点及び瞳孔径に関する経時的変化に基づいて注目度が判定されるため、画像内の注視点の位置を特定できることはもとより、当該注視点について、対象者が凝視している状態か漠然と見ている状態かを眼球運動データを取得する度に正確に特定することができる。
【図面の簡単な説明】
【０００８】
【図１】第１実施形態に係る注目度検出システムの概略構成図。
【図２】第２実施形態に係る画像配信システムの概略構成図。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面を参照しながら説明する。
（第１実施形態）
【００１０】
図１には、第１実施形態に係る注目度検出システムの概略構成図が示されている。この図において、前記注目度検出システム１０は、画像を表示可能な表示装置１２と、表示装置１２に表示された画像を見ている対象者の眼球運動データを取得する眼球運動計測装置１３と、眼球運動計測装置１３で取得した眼球運動データから、対象者が画像のどの部分を注目して見ているか否かについて判定する注目度判定装置１４とを備えている。
【００１１】
前記表示装置１２は、テレビ電波やインターネット等によって配信された動画を表示可能な画面を備えたテレビ受信装置や端末装置、或いは、所定の記憶媒体に記録された動画を再生可能な画面を備えた再生装置等の公知の装置からなる。この表示装置１２の構成は、本発明の本質部分でないため、詳細な説明を省略する。
【００１２】
前記眼球運動計測装置１３は、眼球運動データとして、表示装置１２に表示される画像の中で対象者の視線が注がれている部位となる注視点の位置と、画像を見ている対象者の瞳孔径とを少なくとも計測可能な公知の装置からなる。この眼球運動計測装置１３では、表示装置１２で表示された動画における所定時間毎の各フレームについて、当該フレーム内の注視点の位置を表す注視点座標と瞳孔径とがそれぞれ眼球運動データとして計測される。この眼球運動データは、当該データを得たときのフレームの画像データに対応させて注目度判定装置１４に送信される。本実施形態の眼球運動計測装置１３は、対象者の左右両眼の注視点座標及び瞳孔径を取得可能となる両眼タイプのものが適用されているが、本発明はこれに限らず、左右何れか一方の眼の注視点座標及び瞳孔径を取得可能な単眼タイプのものを適用することもできる。なお、眼球運動計測装置１３の構成も、本発明の本質部分でないため、詳細な説明を省略する。
【００１３】
前記注目度判定装置１４は、ＣＰＵ等の演算処理装置、メモリ、ハードディスク等の記憶装置等からなるコンピュータを含んで構成され、当該コンピュータに以下の処理を実行させるためのプログラムがインストールされている。
【００１４】
すなわち、この注目度判定装置１４は、眼球運動計測装置１３で計測された眼球運動データ及び当該眼球運動データに対応する画像データを逐次受信して記憶するデータ記憶部１６と、予め記憶された数式を用いた演算により、データ記憶部１６からの眼球運動データに基づいて、対象者が各フレームの注視点を意識的に見ているか否かを判定する演算判定部１７とを備えている。
【００１５】
前記演算判定部１７では、次のようにして、所定時間毎の各フレームについて、そのときの眼球運動データから、対象者の注視点について、意識的に見ているか否か、すなわち、注目度が高いか否かを自動的に判定するようになっている。
【００１６】
先ず、注視点の経時的変化に着目した指標値を求める注視点演算処理が以下の手順で行われる。
【００１７】
すなわち、先ず、時刻ｔ＝ｉのフレームにおける対象者の左眼の注視点座標（ｘｉＬ，ｙｉＬ）と同右眼の注視点座標（ｘｉＲ，ｙｉＲ）とから、時刻ｔ＝ｉにおける左右両眼の注視点間距離δｉが、次式によって求められる。
【数１】
【００１８】
ここで、得られた注視点間距離δｉに対し、ノイズを除去する平滑化フィルタ処理が行われる。具体的には、サンプル数が予め設定されたＮ個となるように、現時刻ｔ＝ｉから順に過去に遡った各時刻、すなわち、時刻ｔ＝ｉ−１、時刻ｔ＝ｉ−２、時刻ｔ＝ｉ−３、・・・、時刻ｔ＝ｉ−（Ｎ−２）、時刻ｔ＝ｉ−（Ｎ−１）の各時刻における左右両眼の注視点間距離δｉの時間移動平均δｉＮが、次式で求められる。
【数２】
【００１９】
この時間移動平均δｉＮは、注視点座標の測定開始からＮ個のサンプルが得られた後、注視点座標が測定された時刻毎に求められ、データ記憶部１６に記憶される。
【００２０】
なお、本実施形態では、各時刻の注視点間距離δｉに対し、ローパスフィルタリングを行っていることになるが、注視点間距離δｉのノイズを除去可能な他のフィルタを代わりに採用することもできる。
【００２１】
次に、以上で求めた時間移動平均δｉＮについて、サンプル点が予め設定されたＭ個となるように、現時刻ｔ＝ｉから過去に順に遡った各時刻、すなわち、時刻ｔ＝ｉ−１から時刻ｔ＝ｉ−（Ｍ−１）までの各時刻における両眼の時間移動平均δｉＭ及びその標準偏差σｉδが、注視点座標が測定された時刻毎に次式によって求められ、データ記憶部１６に記憶される。
【数３】
【００２２】
また、以上の注視点演算処理に対して前後或いは同時に、瞳孔径の経時的変化に着目した指標値を求める瞳孔径演算処理が、以下の手順によって行われる。
【００２３】
時刻ｔ＝ｉのときのフレームを見ている対象者の左眼の瞳孔径ｄｉＬと同右眼の瞳孔径ｄｉＲとから、左右両眼の平均瞳孔径について、ノイズを除去する平滑化フィルタ処理が行われる。具体的には、注視点間距離δｉの時間移動平均δｉＮを求めた前述の演算と同様、サンプル数が予め設定されたＮ個となるように、現時刻ｔ＝ｉから過去の時刻ｔ＝ｉ−（Ｎ−１）までの各時刻における左右両眼の平均瞳孔径についての時間移動平均ｄｉＮが、次式で求められる。
【数４】
【００２４】
ここでの時間移動平均ｄｉＮについても、前述の注視点座標に関する演算のときと同様に、瞳孔径の測定開始からＮ個のサンプルが得られた後、瞳孔径の測定時刻毎に求められ、データ記憶部１６に記憶される。なお、前述と同様に、左右両眼の平均瞳孔径のノイズを除去可能であれば、他のフィルタを代わりに採用することもできる。
【００２５】
次に、以上で求めた時間移動平均ｄｉＮについて、サンプル点が予め設定されたＭ個となるように、現時刻ｔ＝ｉから過去の時刻ｔ＝ｉ−（Ｍ−１）までの各時刻における平均瞳孔径についての時間移動平均ｄｉＭ及びその標準偏差σｉｄが、瞳孔径の測定時刻毎に次式によって求められ、データ記憶部１６に記憶される。
【数５】
【００２６】
その後、前記注視点演算処理及び瞳孔径演算処理で求めた各指標値に基づき、眼球運動データが取得されたフレーム毎に、以下の注目度判定処理が行われる。
【００２７】
すなわち、先ず、現時刻ｔ＝ｉの平均瞳孔径ｄｉと、当該現時刻ｔ＝ｉを含めて過去に遡ったＭ個サンプルの中で最も過去の時刻ｔ＝ｉ−（Ｍ−１）の平均瞳孔径ｄｉ−Ｍ＋１との経時的変化に基づく以下の各場合分けにより、数値λｉが測定時刻毎に決定される。
先ず、現時刻において、過去に比べて対象者の瞳孔が収縮していると判断される第１の場合、つまり、ｄｉ−Ｍ＋１−ｄｉＭ＞０で、且つ、ｄｉ−ｄｉＭ＜０で、且つ、σｉｄ＞Ｔｄの場合には、λｉ＝１とされる。
ここで、Ｔｄは、実験等によって予め定められた一定の閾値であり、この閾値による判別処理（σｉｄ＞Ｔｄ）は、細かな瞳孔径の変化を除外するためのフィルタの役割を果たしている。
【００２８】
一方、現時刻において、過去に比べて対象者の瞳孔が拡大していると判断される第２の場合、つまり、ｄｉ−Ｍ＋１−ｄｉＭ＜０で、且つ、ｄｉ−ｄｉＭ＞０で、且つ、σｉｄ＞Ｔｄの場合には、λｉ＝−１とされる。
【００２９】
更に、第１及び第２の場合の何れにも該当しない場合、すなわち、前時刻より状況が変わっていないような場合、λｉの値は、前回の時刻ｔ＝ｉ−１のときの数値λｉ−１と同一とされる。
【００３０】
以上の場合分けによって、前記第１の場合が各時刻で連続すると、その時間帯は、対象者が注視点を意識的に見ていると思われる注目時間となり、第１の場合の開始時刻及び終了時刻が、前記注目時間の開始及び終了となる。
【００３１】
次いで、数値λｉ＝１となる注目時間内の時刻ｔ＝ｉのときに、先に求めた注視点間距離の時間移動平均δｉＭ及びその標準偏差σｉδが以下の条件を満たしたときに、時刻ｔ＝ｉで対象者が注視点を意識的に見ていたと判定される。
すなわち、λｉ＝１で、且つ、δｉＭ＜Ｔδで、且つ、σｉＭ＜Ｔσのときは、時刻ｔ＝ｉのときのフレーム内の注視点において、対象者の注目度が高いと判定される。ここで、Ｔδ、Ｔσは、実験等によって予め定められた一定の閾値である。すなわち、ここでは、経時的な注視点間距離とそのばらつきとが、前記閾値よりも小さいときは、注視点を凝視していると判定される。
【００３２】
眼球運動計測装置１３として単眼タイプのものが適用されたときには、前記演算判定部１７では、以下の手順により、眼球運動データが得られたフレーム毎に注視点での対象者の注目度が判定される。
【００３３】
このときの前記注視点演算処理は、以下の手順で行われる。先ず、各時刻で得られた眼の注視点座標について、ノイズを除去する平滑化フィルタ処理が行われる。具体的には、時刻ｔ＝ｉのフレームにおける対象者の眼の注視点座標を（ｘｉ，ｙｉ）としたときに、サンプル数が予め設定されたＮ個となるように、現時刻ｔ＝ｉから過去の時刻ｔ＝ｉ−（Ｎ−１）までの各時刻における注視点座標の時間移動平均座標値ｘｉＮ、ｙｉＮが、次式で求められる。
【数６】
【００３４】
この時間移動平均座標値ｘｉＮ、ｙｉＮは、注視点座標の測定開始からＮ個のサンプルが得られた後、注視点座標が測定された時刻毎に求められ、データ記憶部１６に記憶される。なお、ここでは、各時刻の注視点座標（ｘｉ，ｙｉ）に対し、ローパスフィルタリングを行っていることになるが、注視点座標（ｘｉ，ｙｉ）のノイズを除去可能となる限りにおいて、他のフィルタを代わりに採用することもできる。
【００３５】
次に、以上で求めた時間移動平均座標値ｘｉＮ、ｙｉＮについて、サンプル点が予め設定されたＭ個となるように、現時刻ｔ＝ｉから過去の時刻ｔ＝ｉ−（Ｍ−１）までの各時刻における注視点座標の時間移動平均座標値ｘｉＭ、ｙｉＭと、それらの標準偏差σｉｘ、σｉｙとが、注視点座標の測定時刻毎に次式によって求められ、データ記憶部１６に記憶される。
【数７】
【００３６】
また、眼球運動計測装置１３が単眼タイプのときの前記瞳孔径演算処理は、以下の手順で行われる。
【００３７】
時刻ｔ＝ｉのときに、フレームを見ている対象者の眼の瞳孔径をｄｉとしたときに、当該瞳孔径ｄｉについて、ノイズを除去する平滑化フィルタ処理が行われる。具体的には、前述と同様、サンプル数が予め設定されたＮ個となるように、現時刻ｔ＝ｉから過去の時刻ｔ＝ｉ−（Ｎ−１）までの各時刻における瞳孔径ｄｉについての時間移動平均ｄｉＮが、次式で求められる。
【数８】
この時間移動平均ｄｉＮについても、前述と同様に、瞳孔径の座標の測定開始からＮ個のサンプルが得られた後、測定時刻毎に求められ、データ記憶部１６に記憶される。なお、ここでも、瞳孔径をｄｉのノイズを除去可能であれば、前述と同様、他のフィルタを代わりに採用することもできる。
【００３８】
次に、以上で求めた時間移動平均ｄｉＮについて、サンプル点が予め決定されたＭ個となるように、現時刻ｔ＝ｉから過去の時刻ｔ＝ｉ−（Ｍ−１）までの各時刻における瞳孔径についての時間移動平均ｄｉＭ及びその標準偏差σｉｄが、瞳孔径の測定時刻毎に、次式によって求められ、データ記憶部１６に記憶される。
【数９】
【００３９】
次に、眼球運動計測装置１３が単眼タイプのときの前記注目度判定処理は、以上の注視点演算処理及び瞳孔径演算処理の後で、眼球運動データが取得されたフレーム毎に次のように行われる。
【００４０】
すなわち、先ず、現時刻ｔ＝ｉの瞳孔径ｄｉと、当該現時刻ｔ＝ｉを含めて過去遡ったＭ個サンプルの中で最も過去になる時刻ｔ＝ｉ−（Ｍ−１）の瞳孔径ｄｉ−Ｍ＋１との経時的変化に基づき、前述の両眼タイプの場合と同様に、数値λｉが測定時刻毎に決定される。
すなわち、前述の両眼タイプで説明した第１の場合の条件式に該当するときには、λｉ＝１とされ、同第２の場合の条件式に該当するときには、λｉ＝−１とされる。また、これら何れの場合にも該当しないときには、λｉの値が、前回の時刻ｔ＝ｉ−１のときの数値λｉ−１と同一とされる。
【００４１】
次いで、数値λｉ＝１となる注目時間内の時刻ｔ＝ｉのときに、先に求めた注視点座標の標準偏差σｉｘ、σｉｙが以下の条件を満たしたときに、対象者が、時刻ｔ＝ｉのときに注視点を意識的に見ていたと判定される。
【００４２】
すなわち、λｉ＝１で、且つ、σｉｘ＜Ｔｘで、且つ、σｉｙ＜Ｔｙのときは、時刻ｔ＝ｉのときのフレーム内の注視点において、対象者の注目度が高いと判定される。なお、Ｔｘ、Ｔｙは、実験等によって予め定められた一定の閾値である。
【００４３】
なお、前記実施形態では、各フレームの注視点において対象者の注目度が高いか否かを判定しているが、前述した各閾値を段階的に設定することで、各フレームの注視点における注目度を数値化して特定することも可能である。
【００４４】
次に、本発明の他の実施形態について説明する。なお、以下の説明において、前記第１実施形態と同一若しくは同等の構成部分については同一符号を用いるものとし、説明を省略若しくは簡略にする。
（第２実施形態）
【００４５】
本実施形態は、第１実施形態の注目度検出システム１０を含んで構成した画像配信システム５０に関する。
【００４６】
前記画像配信システム５０は、前記表示装置１２及び前記眼球運動計測装置１３を含む複数のクライアント側装置５１と、インターネット等のネットワークを介してクライアント側装置５１に接続され、クライアント側装置５１に対して各種情報の送受信を行うとともに、各種のデータ処理を行うサーバ５２とを備えている。
【００４７】
前記サーバ５２は、各クライアント側装置５１に、動画を含む各種画像及び当該画像の付随情報を配信する画像配信装置５４と、各対象者が画像を見たときに、各クライアント側装置５１の眼球運動計測装置１３から得られた各対象者の眼球運動データから、所定時間毎のフレームにおける各対象者の注視点の注目度判定を行う前記注目度判定装置１４と、各対象者の注目度の判定結果をフレーム毎に集計し、当該集計結果を動画の付随情報の一つとして画像配信装置５４に送信するデータ集計処理装置５６とを備えて構成されている。
【００４８】
前記データ集計処理装置５６では、画像配信装置５４で各クライアント側装置５１に配信された動画を見た各対象者それぞれから得られた眼球運動データに基づき、注目度判定装置１４で、前記第１実施形態で説明した手順により注目度が高いと判定された注視点につき、フレーム毎に投票され、当該フレーム毎に注目度の確率分布となる時系列の尤度分布データが作成されるようになっている。当該尤度分布データの作成に際しては、公知の統計学的手法が用いられる。また、データ集計処理装置５６では、前記尤度分布データが作成されると、当該尤度分布データの値に応じて、対応するフレームの各ピクセルに対し、色分けし、或いは、解像度を変化させること等により、前記動画を構成する原画像データに対して各ユーザの注目度に関する情報が重畳された二次画像データが作成される。当該二次画像データは、動画に付随する情報として、画像配信装置５４から各クライアント側装置５１に配信される。
【００４９】
なお、時系列で形成された前記尤度分布データを各クライアント側装置５１に配信する際に、各時刻における尤度分布データにつき、各種の近似的要素分解手法を用いてデータ圧縮処理を行い、各クライアント側装置５１への通信量の削減を行うことが好ましい。ここでの近似的要素分解手法としては、例えば、ＧＭＭ（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）を用いて所定個の正規分布に分解する手法の他、フーリエ変換等の直交変換後のフィルタリング、又は、ウエーブレット変換を用いた手法等の公知の手法が挙げられる。
【００５０】
その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。
【符号の説明】
【００５１】
１０ 注目度検出システム
１２ 表示装置
１３ 眼球運動計測装置
１４ 注目度判定装置
１６ データ記憶部
１７ 演算判定部
５０ 画像配信システム
５１ クライアント側装置
５２ サーバ
５４ 画像配信装置
５６ データ集計処理装置
【技術分野】
【０００１】
本発明は、注目度検出システム、注目度判定装置、注目度判定装置用のプログラム、及び画像配信システムに係り、更に詳しくは、画像を見ている対象者が当該画像の所定部分を意識的に見ていたか否かについて、自動判定することのできる注目度検出システム、注目度判定装置、注目度判定装置用のプログラム、及び画像配信システムに関する。
【背景技術】
【０００２】
視聴者が表示画像のどの部分に注目しているかを特定するシステムとして、特許文献１のシステムが提案されている。このシステムは、所定の画像を表示する表示手段と、表示手段を見ている視聴者の自画像を撮影するインカメラと、インカメラで撮影された画像から、視聴者の視線の抽出を行って視聴者が表示画像のどこを見ているか検出する画像処理部とを備えている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−５０９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
現在、テレビやインターネット等によって様々な動画が配信されているが、当該動画内で視聴者の視線が注がれる部位である注視点の位置を特定する他に、当該注視点を視聴者が意識的に見ているか否かを特定することは、動画におけるコンテンツ作成効果の検証、或いは、視聴者への情報提供等に有用となる。しかしながら、前記特許文献１のシステムにあっては、表示手段で表示された画像を視聴者が見たときに、当該画像内の注視点の位置を把握できるものの、当該注視点を視聴者が意識的に見ていたのか、或いは、無意識的に漠然と見ていたのかを区別することができない。
【０００５】
本発明は、このような課題に基づいて案出されたものであり、その目的は、対象者が画像を見ているときに、当該対象者が画像のどの部分を意識的に見ているかを自動的に特定することができる注目度検出システム、注目度判定装置、注目度判定装置用のプログラム、及び画像配信システムを提供することにある。
【課題を解決するための手段】
【０００６】
前記目的を達成するため、本発明は、予め記憶された数式を用い、眼球運動データとして、対象者が見ている画像内の注視点の位置と、そのときの瞳孔径とを取得し、当該眼球運動データを取得した時刻から過去の時間における対象者の注視点及び瞳孔径に関する経時的変化に基づき、対象者が見ている画像内の注視点における注目度を特定させることが主たる特徴である。
【発明の効果】
【０００７】
本発明によれば、眼球運動データを取得した時刻から過去の時間における対象者の注視点及び瞳孔径に関する経時的変化に基づいて注目度が判定されるため、画像内の注視点の位置を特定できることはもとより、当該注視点について、対象者が凝視している状態か漠然と見ている状態かを眼球運動データを取得する度に正確に特定することができる。
【図面の簡単な説明】
【０００８】
【図１】第１実施形態に係る注目度検出システムの概略構成図。
【図２】第２実施形態に係る画像配信システムの概略構成図。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面を参照しながら説明する。
（第１実施形態）
【００１０】
図１には、第１実施形態に係る注目度検出システムの概略構成図が示されている。この図において、前記注目度検出システム１０は、画像を表示可能な表示装置１２と、表示装置１２に表示された画像を見ている対象者の眼球運動データを取得する眼球運動計測装置１３と、眼球運動計測装置１３で取得した眼球運動データから、対象者が画像のどの部分を注目して見ているか否かについて判定する注目度判定装置１４とを備えている。
【００１１】
前記表示装置１２は、テレビ電波やインターネット等によって配信された動画を表示可能な画面を備えたテレビ受信装置や端末装置、或いは、所定の記憶媒体に記録された動画を再生可能な画面を備えた再生装置等の公知の装置からなる。この表示装置１２の構成は、本発明の本質部分でないため、詳細な説明を省略する。
【００１２】
前記眼球運動計測装置１３は、眼球運動データとして、表示装置１２に表示される画像の中で対象者の視線が注がれている部位となる注視点の位置と、画像を見ている対象者の瞳孔径とを少なくとも計測可能な公知の装置からなる。この眼球運動計測装置１３では、表示装置１２で表示された動画における所定時間毎の各フレームについて、当該フレーム内の注視点の位置を表す注視点座標と瞳孔径とがそれぞれ眼球運動データとして計測される。この眼球運動データは、当該データを得たときのフレームの画像データに対応させて注目度判定装置１４に送信される。本実施形態の眼球運動計測装置１３は、対象者の左右両眼の注視点座標及び瞳孔径を取得可能となる両眼タイプのものが適用されているが、本発明はこれに限らず、左右何れか一方の眼の注視点座標及び瞳孔径を取得可能な単眼タイプのものを適用することもできる。なお、眼球運動計測装置１３の構成も、本発明の本質部分でないため、詳細な説明を省略する。
【００１３】
前記注目度判定装置１４は、ＣＰＵ等の演算処理装置、メモリ、ハードディスク等の記憶装置等からなるコンピュータを含んで構成され、当該コンピュータに以下の処理を実行させるためのプログラムがインストールされている。
【００１４】
すなわち、この注目度判定装置１４は、眼球運動計測装置１３で計測された眼球運動データ及び当該眼球運動データに対応する画像データを逐次受信して記憶するデータ記憶部１６と、予め記憶された数式を用いた演算により、データ記憶部１６からの眼球運動データに基づいて、対象者が各フレームの注視点を意識的に見ているか否かを判定する演算判定部１７とを備えている。
【００１５】
前記演算判定部１７では、次のようにして、所定時間毎の各フレームについて、そのときの眼球運動データから、対象者の注視点について、意識的に見ているか否か、すなわち、注目度が高いか否かを自動的に判定するようになっている。
【００１６】
先ず、注視点の経時的変化に着目した指標値を求める注視点演算処理が以下の手順で行われる。
【００１７】
すなわち、先ず、時刻ｔ＝ｉのフレームにおける対象者の左眼の注視点座標（ｘｉＬ，ｙｉＬ）と同右眼の注視点座標（ｘｉＲ，ｙｉＲ）とから、時刻ｔ＝ｉにおける左右両眼の注視点間距離δｉが、次式によって求められる。
【数１】
【００１８】
ここで、得られた注視点間距離δｉに対し、ノイズを除去する平滑化フィルタ処理が行われる。具体的には、サンプル数が予め設定されたＮ個となるように、現時刻ｔ＝ｉから順に過去に遡った各時刻、すなわち、時刻ｔ＝ｉ−１、時刻ｔ＝ｉ−２、時刻ｔ＝ｉ−３、・・・、時刻ｔ＝ｉ−（Ｎ−２）、時刻ｔ＝ｉ−（Ｎ−１）の各時刻における左右両眼の注視点間距離δｉの時間移動平均δｉＮが、次式で求められる。
【数２】
【００１９】
この時間移動平均δｉＮは、注視点座標の測定開始からＮ個のサンプルが得られた後、注視点座標が測定された時刻毎に求められ、データ記憶部１６に記憶される。
【００２０】
なお、本実施形態では、各時刻の注視点間距離δｉに対し、ローパスフィルタリングを行っていることになるが、注視点間距離δｉのノイズを除去可能な他のフィルタを代わりに採用することもできる。
【００２１】
次に、以上で求めた時間移動平均δｉＮについて、サンプル点が予め設定されたＭ個となるように、現時刻ｔ＝ｉから過去に順に遡った各時刻、すなわち、時刻ｔ＝ｉ−１から時刻ｔ＝ｉ−（Ｍ−１）までの各時刻における両眼の時間移動平均δｉＭ及びその標準偏差σｉδが、注視点座標が測定された時刻毎に次式によって求められ、データ記憶部１６に記憶される。
【数３】
【００２２】
また、以上の注視点演算処理に対して前後或いは同時に、瞳孔径の経時的変化に着目した指標値を求める瞳孔径演算処理が、以下の手順によって行われる。
【００２３】
時刻ｔ＝ｉのときのフレームを見ている対象者の左眼の瞳孔径ｄｉＬと同右眼の瞳孔径ｄｉＲとから、左右両眼の平均瞳孔径について、ノイズを除去する平滑化フィルタ処理が行われる。具体的には、注視点間距離δｉの時間移動平均δｉＮを求めた前述の演算と同様、サンプル数が予め設定されたＮ個となるように、現時刻ｔ＝ｉから過去の時刻ｔ＝ｉ−（Ｎ−１）までの各時刻における左右両眼の平均瞳孔径についての時間移動平均ｄｉＮが、次式で求められる。
【数４】
【００２４】
ここでの時間移動平均ｄｉＮについても、前述の注視点座標に関する演算のときと同様に、瞳孔径の測定開始からＮ個のサンプルが得られた後、瞳孔径の測定時刻毎に求められ、データ記憶部１６に記憶される。なお、前述と同様に、左右両眼の平均瞳孔径のノイズを除去可能であれば、他のフィルタを代わりに採用することもできる。
【００２５】
次に、以上で求めた時間移動平均ｄｉＮについて、サンプル点が予め設定されたＭ個となるように、現時刻ｔ＝ｉから過去の時刻ｔ＝ｉ−（Ｍ−１）までの各時刻における平均瞳孔径についての時間移動平均ｄｉＭ及びその標準偏差σｉｄが、瞳孔径の測定時刻毎に次式によって求められ、データ記憶部１６に記憶される。
【数５】
【００２６】
その後、前記注視点演算処理及び瞳孔径演算処理で求めた各指標値に基づき、眼球運動データが取得されたフレーム毎に、以下の注目度判定処理が行われる。
【００２７】
すなわち、先ず、現時刻ｔ＝ｉの平均瞳孔径ｄｉと、当該現時刻ｔ＝ｉを含めて過去に遡ったＭ個サンプルの中で最も過去の時刻ｔ＝ｉ−（Ｍ−１）の平均瞳孔径ｄｉ−Ｍ＋１との経時的変化に基づく以下の各場合分けにより、数値λｉが測定時刻毎に決定される。
先ず、現時刻において、過去に比べて対象者の瞳孔が収縮していると判断される第１の場合、つまり、ｄｉ−Ｍ＋１−ｄｉＭ＞０で、且つ、ｄｉ−ｄｉＭ＜０で、且つ、σｉｄ＞Ｔｄの場合には、λｉ＝１とされる。
ここで、Ｔｄは、実験等によって予め定められた一定の閾値であり、この閾値による判別処理（σｉｄ＞Ｔｄ）は、細かな瞳孔径の変化を除外するためのフィルタの役割を果たしている。
【００２８】
一方、現時刻において、過去に比べて対象者の瞳孔が拡大していると判断される第２の場合、つまり、ｄｉ−Ｍ＋１−ｄｉＭ＜０で、且つ、ｄｉ−ｄｉＭ＞０で、且つ、σｉｄ＞Ｔｄの場合には、λｉ＝−１とされる。
【００２９】
更に、第１及び第２の場合の何れにも該当しない場合、すなわち、前時刻より状況が変わっていないような場合、λｉの値は、前回の時刻ｔ＝ｉ−１のときの数値λｉ−１と同一とされる。
【００３０】
以上の場合分けによって、前記第１の場合が各時刻で連続すると、その時間帯は、対象者が注視点を意識的に見ていると思われる注目時間となり、第１の場合の開始時刻及び終了時刻が、前記注目時間の開始及び終了となる。
【００３１】
次いで、数値λｉ＝１となる注目時間内の時刻ｔ＝ｉのときに、先に求めた注視点間距離の時間移動平均δｉＭ及びその標準偏差σｉδが以下の条件を満たしたときに、時刻ｔ＝ｉで対象者が注視点を意識的に見ていたと判定される。
すなわち、λｉ＝１で、且つ、δｉＭ＜Ｔδで、且つ、σｉＭ＜Ｔσのときは、時刻ｔ＝ｉのときのフレーム内の注視点において、対象者の注目度が高いと判定される。ここで、Ｔδ、Ｔσは、実験等によって予め定められた一定の閾値である。すなわち、ここでは、経時的な注視点間距離とそのばらつきとが、前記閾値よりも小さいときは、注視点を凝視していると判定される。
【００３２】
眼球運動計測装置１３として単眼タイプのものが適用されたときには、前記演算判定部１７では、以下の手順により、眼球運動データが得られたフレーム毎に注視点での対象者の注目度が判定される。
【００３３】
このときの前記注視点演算処理は、以下の手順で行われる。先ず、各時刻で得られた眼の注視点座標について、ノイズを除去する平滑化フィルタ処理が行われる。具体的には、時刻ｔ＝ｉのフレームにおける対象者の眼の注視点座標を（ｘｉ，ｙｉ）としたときに、サンプル数が予め設定されたＮ個となるように、現時刻ｔ＝ｉから過去の時刻ｔ＝ｉ−（Ｎ−１）までの各時刻における注視点座標の時間移動平均座標値ｘｉＮ、ｙｉＮが、次式で求められる。
【数６】
【００３４】
この時間移動平均座標値ｘｉＮ、ｙｉＮは、注視点座標の測定開始からＮ個のサンプルが得られた後、注視点座標が測定された時刻毎に求められ、データ記憶部１６に記憶される。なお、ここでは、各時刻の注視点座標（ｘｉ，ｙｉ）に対し、ローパスフィルタリングを行っていることになるが、注視点座標（ｘｉ，ｙｉ）のノイズを除去可能となる限りにおいて、他のフィルタを代わりに採用することもできる。
【００３５】
次に、以上で求めた時間移動平均座標値ｘｉＮ、ｙｉＮについて、サンプル点が予め設定されたＭ個となるように、現時刻ｔ＝ｉから過去の時刻ｔ＝ｉ−（Ｍ−１）までの各時刻における注視点座標の時間移動平均座標値ｘｉＭ、ｙｉＭと、それらの標準偏差σｉｘ、σｉｙとが、注視点座標の測定時刻毎に次式によって求められ、データ記憶部１６に記憶される。
【数７】
【００３６】
また、眼球運動計測装置１３が単眼タイプのときの前記瞳孔径演算処理は、以下の手順で行われる。
【００３７】
時刻ｔ＝ｉのときに、フレームを見ている対象者の眼の瞳孔径をｄｉとしたときに、当該瞳孔径ｄｉについて、ノイズを除去する平滑化フィルタ処理が行われる。具体的には、前述と同様、サンプル数が予め設定されたＮ個となるように、現時刻ｔ＝ｉから過去の時刻ｔ＝ｉ−（Ｎ−１）までの各時刻における瞳孔径ｄｉについての時間移動平均ｄｉＮが、次式で求められる。
【数８】
この時間移動平均ｄｉＮについても、前述と同様に、瞳孔径の座標の測定開始からＮ個のサンプルが得られた後、測定時刻毎に求められ、データ記憶部１６に記憶される。なお、ここでも、瞳孔径をｄｉのノイズを除去可能であれば、前述と同様、他のフィルタを代わりに採用することもできる。
【００３８】
次に、以上で求めた時間移動平均ｄｉＮについて、サンプル点が予め決定されたＭ個となるように、現時刻ｔ＝ｉから過去の時刻ｔ＝ｉ−（Ｍ−１）までの各時刻における瞳孔径についての時間移動平均ｄｉＭ及びその標準偏差σｉｄが、瞳孔径の測定時刻毎に、次式によって求められ、データ記憶部１６に記憶される。
【数９】
【００３９】
次に、眼球運動計測装置１３が単眼タイプのときの前記注目度判定処理は、以上の注視点演算処理及び瞳孔径演算処理の後で、眼球運動データが取得されたフレーム毎に次のように行われる。
【００４０】
すなわち、先ず、現時刻ｔ＝ｉの瞳孔径ｄｉと、当該現時刻ｔ＝ｉを含めて過去遡ったＭ個サンプルの中で最も過去になる時刻ｔ＝ｉ−（Ｍ−１）の瞳孔径ｄｉ−Ｍ＋１との経時的変化に基づき、前述の両眼タイプの場合と同様に、数値λｉが測定時刻毎に決定される。
すなわち、前述の両眼タイプで説明した第１の場合の条件式に該当するときには、λｉ＝１とされ、同第２の場合の条件式に該当するときには、λｉ＝−１とされる。また、これら何れの場合にも該当しないときには、λｉの値が、前回の時刻ｔ＝ｉ−１のときの数値λｉ−１と同一とされる。
【００４１】
次いで、数値λｉ＝１となる注目時間内の時刻ｔ＝ｉのときに、先に求めた注視点座標の標準偏差σｉｘ、σｉｙが以下の条件を満たしたときに、対象者が、時刻ｔ＝ｉのときに注視点を意識的に見ていたと判定される。
【００４２】
すなわち、λｉ＝１で、且つ、σｉｘ＜Ｔｘで、且つ、σｉｙ＜Ｔｙのときは、時刻ｔ＝ｉのときのフレーム内の注視点において、対象者の注目度が高いと判定される。なお、Ｔｘ、Ｔｙは、実験等によって予め定められた一定の閾値である。
【００４３】
なお、前記実施形態では、各フレームの注視点において対象者の注目度が高いか否かを判定しているが、前述した各閾値を段階的に設定することで、各フレームの注視点における注目度を数値化して特定することも可能である。
【００４４】
次に、本発明の他の実施形態について説明する。なお、以下の説明において、前記第１実施形態と同一若しくは同等の構成部分については同一符号を用いるものとし、説明を省略若しくは簡略にする。
（第２実施形態）
【００４５】
本実施形態は、第１実施形態の注目度検出システム１０を含んで構成した画像配信システム５０に関する。
【００４６】
前記画像配信システム５０は、前記表示装置１２及び前記眼球運動計測装置１３を含む複数のクライアント側装置５１と、インターネット等のネットワークを介してクライアント側装置５１に接続され、クライアント側装置５１に対して各種情報の送受信を行うとともに、各種のデータ処理を行うサーバ５２とを備えている。
【００４７】
前記サーバ５２は、各クライアント側装置５１に、動画を含む各種画像及び当該画像の付随情報を配信する画像配信装置５４と、各対象者が画像を見たときに、各クライアント側装置５１の眼球運動計測装置１３から得られた各対象者の眼球運動データから、所定時間毎のフレームにおける各対象者の注視点の注目度判定を行う前記注目度判定装置１４と、各対象者の注目度の判定結果をフレーム毎に集計し、当該集計結果を動画の付随情報の一つとして画像配信装置５４に送信するデータ集計処理装置５６とを備えて構成されている。
【００４８】
前記データ集計処理装置５６では、画像配信装置５４で各クライアント側装置５１に配信された動画を見た各対象者それぞれから得られた眼球運動データに基づき、注目度判定装置１４で、前記第１実施形態で説明した手順により注目度が高いと判定された注視点につき、フレーム毎に投票され、当該フレーム毎に注目度の確率分布となる時系列の尤度分布データが作成されるようになっている。当該尤度分布データの作成に際しては、公知の統計学的手法が用いられる。また、データ集計処理装置５６では、前記尤度分布データが作成されると、当該尤度分布データの値に応じて、対応するフレームの各ピクセルに対し、色分けし、或いは、解像度を変化させること等により、前記動画を構成する原画像データに対して各ユーザの注目度に関する情報が重畳された二次画像データが作成される。当該二次画像データは、動画に付随する情報として、画像配信装置５４から各クライアント側装置５１に配信される。
【００４９】
なお、時系列で形成された前記尤度分布データを各クライアント側装置５１に配信する際に、各時刻における尤度分布データにつき、各種の近似的要素分解手法を用いてデータ圧縮処理を行い、各クライアント側装置５１への通信量の削減を行うことが好ましい。ここでの近似的要素分解手法としては、例えば、ＧＭＭ（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）を用いて所定個の正規分布に分解する手法の他、フーリエ変換等の直交変換後のフィルタリング、又は、ウエーブレット変換を用いた手法等の公知の手法が挙げられる。
【００５０】
その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。
【符号の説明】
【００５１】
１０ 注目度検出システム
１２ 表示装置
１３ 眼球運動計測装置
１４ 注目度判定装置
１６ データ記憶部
１７ 演算判定部
５０ 画像配信システム
５１ クライアント側装置
５２ サーバ
５４ 画像配信装置
５６ データ集計処理装置
【特許請求の範囲】
【請求項１】
画像を表示する表示装置と、当該表示装置に表示された画像を見ている対象者の眼球運動データを所定時間毎に取得する眼球運動計測装置と、当該眼球運動計測装置で取得した眼球運動データから、前記画像における対象者の注目度を判定する注目度判定装置とを備えた注目度検出システムであって、
前記眼球運動計測装置は、前記眼球運動データとして、前記画像内の注視点の位置と瞳孔径とを少なくとも取得可能に設けられ、
前記注目度判定装置では、予め記憶された数式を用い、前記眼球運動データを取得した時刻単位で、当該時刻から過去の時間における前記注視点及び前記瞳孔径に関する経時的変化に基づいて前記注目度が特定されることを特徴とする注目度検出システム。
【請求項２】
前記注目度判定装置では、前記瞳孔径に関する経時的変化から、過去に比べて前記瞳孔が収縮しているか否かが判定されるとともに、前記注視点に関する経時的変化から、前記注視点を凝視しているか否かが判定され、過去に比べて前記瞳孔が収縮し、且つ、前記注視点を凝視していると判定されたときに、前記対象者が前記注視点を意識的に見ていたと判定されることを特徴とする請求項１記載の注目度検出システム。
【請求項３】
前記注目度判定装置では、前記瞳孔径に関する経時的変化から、前記対象者が前記注視点を意識的に見ていると思われる注目時間が特定されるとともに、予め設定された閾値に基づき、前記注視点に関して経時的変化が少ないか否かが判定され、前記注目時間の中で、前記注視点に関して経時的変化が少ないと判定されたときに、前記対象者が前記注視点を意識的に見ていたと判定されることを特徴とする請求項１記載の注目度検出システム。
【請求項４】
前記眼球運動計測装置は、前記対象者の両眼の眼球運動データを取得可能に設けられ、
前記注目度判定装置では、前記両眼の注視点間距離と前記両眼の平均瞳孔径との経時的変化に基づいて、前記対象者が前記注視点を意識的に見ていたか否かが判定されることを特徴とする請求項１、２又は３記載の注目度検出システム。
【請求項５】
前記眼球運動計測装置は、前記対象者の左右何れか一方の眼の眼球運動データを取得可能に設けられ、
前記注目度判定装置では、前記眼の注視点座標と前記眼の瞳孔径との経時的変化に基づいて、前記対象者が前記注視点を意識的に見ていたか否かが判定されることを特徴とする請求項１、２又は３記載の注目度検出システム。
【請求項６】
画像を見ている対象者の眼球運動データに基づき、前記画像における対象者の注目度を判定する注目度判定装置であって、
前記眼球運動データとして、前記画像内の注視点の位置と瞳孔径とを記憶するデータ記憶部と、
予め記憶された数式を用い、前記眼球運動データを取得した時刻単位で、当該時刻から過去の時間における前記注視点及び前記瞳孔径に関する経時的変化に基づき、前記注目度を特定する演算判定部とを備えたことを特徴とする注目度判定装置。
【請求項７】
画像を見ている対象者の所定時間毎の眼球運動データに基づき、前記画像における対象者の注目度を判定するコンピュータを含む注目度判定装置用のプログラムであって、
予め記憶された数式を用い、前記画像内の前記対象者の注視点に関する経時的変化に着目した指標値を求める注視点演算処理と、予め記憶された数式を用い、前記画像内の前記対象者の瞳孔径に関する経時的変化に着目した指標値を求める瞳孔径演算処理と、前記注視点演算処理及び瞳孔径演算処理で求めた各指標値に基づき、前記注目度を特定する注目度判定処理とを前記コンピュータに実行させることを特徴とする注目度判定装置用のプログラム。
【請求項８】
画像を表示可能な複数のクライアント側装置と、当該クライアント側装置に接続されて前記画像を含む各種情報の送受信を行うとともに、各種のデータ処理を行うサーバとを備えた画像配信システムにおいて、
前記クライアント側装置は、画像を表示する表示装置と、当該表示装置に表示された画像を見ている対象者の眼球運動データを所定時間毎に取得する眼球運動計測装置とを備え、
前記眼球運動計測装置は、前記眼球運動データとして、前記画像内の注視点と瞳孔径とを少なくとも取得可能に設けられ、
前記サーバは、前記各クライアント側装置に、前記画像及び当該画像の付随情報を配信する画像配信装置と、各対象者が前記画像を見たときに前記眼球運動計測装置から得られた前記各対象者の眼球運動データから、前記各対象者それぞれについて、前記画像における注目度を判定する注目度判定装置と、当該注目度判定装置での前記各対象者の判定結果を集計し、当該集計結果を前記付随情報の一つとして前記画像配信装置に送信するデータ集計処理装置とを備え、
前記注目度判定装置では、予め記憶された数式を用い、前記眼球運動データを取得した時刻単位で、当該時刻から過去の時間における前記注視点及び前記瞳孔径に関する経時的変化に基づいて前記注目度が特定されることを特徴とする画像配信システム。
【請求項１】
画像を表示する表示装置と、当該表示装置に表示された画像を見ている対象者の眼球運動データを所定時間毎に取得する眼球運動計測装置と、当該眼球運動計測装置で取得した眼球運動データから、前記画像における対象者の注目度を判定する注目度判定装置とを備えた注目度検出システムであって、
前記眼球運動計測装置は、前記眼球運動データとして、前記画像内の注視点の位置と瞳孔径とを少なくとも取得可能に設けられ、
前記注目度判定装置では、予め記憶された数式を用い、前記眼球運動データを取得した時刻単位で、当該時刻から過去の時間における前記注視点及び前記瞳孔径に関する経時的変化に基づいて前記注目度が特定されることを特徴とする注目度検出システム。
【請求項２】
前記注目度判定装置では、前記瞳孔径に関する経時的変化から、過去に比べて前記瞳孔が収縮しているか否かが判定されるとともに、前記注視点に関する経時的変化から、前記注視点を凝視しているか否かが判定され、過去に比べて前記瞳孔が収縮し、且つ、前記注視点を凝視していると判定されたときに、前記対象者が前記注視点を意識的に見ていたと判定されることを特徴とする請求項１記載の注目度検出システム。
【請求項３】
前記注目度判定装置では、前記瞳孔径に関する経時的変化から、前記対象者が前記注視点を意識的に見ていると思われる注目時間が特定されるとともに、予め設定された閾値に基づき、前記注視点に関して経時的変化が少ないか否かが判定され、前記注目時間の中で、前記注視点に関して経時的変化が少ないと判定されたときに、前記対象者が前記注視点を意識的に見ていたと判定されることを特徴とする請求項１記載の注目度検出システム。
【請求項４】
前記眼球運動計測装置は、前記対象者の両眼の眼球運動データを取得可能に設けられ、
前記注目度判定装置では、前記両眼の注視点間距離と前記両眼の平均瞳孔径との経時的変化に基づいて、前記対象者が前記注視点を意識的に見ていたか否かが判定されることを特徴とする請求項１、２又は３記載の注目度検出システム。
【請求項５】
前記眼球運動計測装置は、前記対象者の左右何れか一方の眼の眼球運動データを取得可能に設けられ、
前記注目度判定装置では、前記眼の注視点座標と前記眼の瞳孔径との経時的変化に基づいて、前記対象者が前記注視点を意識的に見ていたか否かが判定されることを特徴とする請求項１、２又は３記載の注目度検出システム。
【請求項６】
画像を見ている対象者の眼球運動データに基づき、前記画像における対象者の注目度を判定する注目度判定装置であって、
前記眼球運動データとして、前記画像内の注視点の位置と瞳孔径とを記憶するデータ記憶部と、
予め記憶された数式を用い、前記眼球運動データを取得した時刻単位で、当該時刻から過去の時間における前記注視点及び前記瞳孔径に関する経時的変化に基づき、前記注目度を特定する演算判定部とを備えたことを特徴とする注目度判定装置。
【請求項７】
画像を見ている対象者の所定時間毎の眼球運動データに基づき、前記画像における対象者の注目度を判定するコンピュータを含む注目度判定装置用のプログラムであって、
予め記憶された数式を用い、前記画像内の前記対象者の注視点に関する経時的変化に着目した指標値を求める注視点演算処理と、予め記憶された数式を用い、前記画像内の前記対象者の瞳孔径に関する経時的変化に着目した指標値を求める瞳孔径演算処理と、前記注視点演算処理及び瞳孔径演算処理で求めた各指標値に基づき、前記注目度を特定する注目度判定処理とを前記コンピュータに実行させることを特徴とする注目度判定装置用のプログラム。
【請求項８】
画像を表示可能な複数のクライアント側装置と、当該クライアント側装置に接続されて前記画像を含む各種情報の送受信を行うとともに、各種のデータ処理を行うサーバとを備えた画像配信システムにおいて、
前記クライアント側装置は、画像を表示する表示装置と、当該表示装置に表示された画像を見ている対象者の眼球運動データを所定時間毎に取得する眼球運動計測装置とを備え、
前記眼球運動計測装置は、前記眼球運動データとして、前記画像内の注視点と瞳孔径とを少なくとも取得可能に設けられ、
前記サーバは、前記各クライアント側装置に、前記画像及び当該画像の付随情報を配信する画像配信装置と、各対象者が前記画像を見たときに前記眼球運動計測装置から得られた前記各対象者の眼球運動データから、前記各対象者それぞれについて、前記画像における注目度を判定する注目度判定装置と、当該注目度判定装置での前記各対象者の判定結果を集計し、当該集計結果を前記付随情報の一つとして前記画像配信装置に送信するデータ集計処理装置とを備え、
前記注目度判定装置では、予め記憶された数式を用い、前記眼球運動データを取得した時刻単位で、当該時刻から過去の時間における前記注視点及び前記瞳孔径に関する経時的変化に基づいて前記注目度が特定されることを特徴とする画像配信システム。
【図１】
【図２】
【図２】
【公開番号】特開２０１２−１９６２７９（Ｐ２０１２−１９６２７９Ａ）
【公開日】平成２４年１０月１８日（２０１２．１０．１８）
【国際特許分類】
【出願番号】特願２０１１−６１５２２（Ｐ２０１１−６１５２２）
【出願日】平成２３年３月１８日（２０１１．３．１８）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２２年９月２２日〜２４日 社団法人日本ロボット学会主催の「第２８回 日本ロボット学会学術講演会」において文書をもって発表
【出願人】（８９９００００６８）学校法人早稲田大学 (602)
【Ｆターム（参考）】
【公開日】平成２４年１０月１８日（２０１２．１０．１８）
【国際特許分類】
【出願日】平成２３年３月１８日（２０１１．３．１８）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２２年９月２２日〜２４日 社団法人日本ロボット学会主催の「第２８回 日本ロボット学会学術講演会」において文書をもって発表
【出願人】（８９９００００６８）学校法人早稲田大学 (602)
【Ｆターム（参考）】
[ Back to top ]