視線分析装置、視線計測システム、方法、プログラム、記録媒体
【課題】本発明の課題は、被験者の視線を推定・追跡することで、評価対象印刷物の掲載情報または陳列棚の商品の注目度を分析評価するシステムを提供することである。
【解決手段】
メガネを通して見るシーン画像とシーン画像上の注視点座標を視線分析装置に送信する視線追跡メガネと、基準画像および基準画像の分割画像の、特徴点の座標と特徴量を記憶する手段と、視線追跡メガネからシーン画像と注視点座標を受信する手段と、シーン画像の特徴点の特徴量と分割画像の特徴点の特徴量とに基づき最も類似度評価の高い特徴点を組み合せる手段と、最も多い組合せ個数を持つ分割画像の特徴点の座標とシーン画像の特徴点の座標に基づいて座標変換行列を算出する手段と、座標変換行列とシーン画像上の注視点座標から算出した分割画像上の注視点座標を、基準画像に変換して注視点マークを合成する手段と、を備える視線分析装置と、特徴とする視線計測システムである。
【解決手段】
メガネを通して見るシーン画像とシーン画像上の注視点座標を視線分析装置に送信する視線追跡メガネと、基準画像および基準画像の分割画像の、特徴点の座標と特徴量を記憶する手段と、視線追跡メガネからシーン画像と注視点座標を受信する手段と、シーン画像の特徴点の特徴量と分割画像の特徴点の特徴量とに基づき最も類似度評価の高い特徴点を組み合せる手段と、最も多い組合せ個数を持つ分割画像の特徴点の座標とシーン画像の特徴点の座標に基づいて座標変換行列を算出する手段と、座標変換行列とシーン画像上の注視点座標から算出した分割画像上の注視点座標を、基準画像に変換して注視点マークを合成する手段と、を備える視線分析装置と、特徴とする視線計測システムである。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物の視線を推定し、視線を計測する装置、システム、方法、プログラム、記録媒体に関するものである。
本発明は特に、評価対象印刷物（たとえば、チラシ、カタログ、ポスター）による生活者の購買動向分析において、眼鏡型アイトラッキング装置（視線追跡メガネ）を用いて、被験者が評価対象印刷物を見る視線を推定・追跡することで、評価対象印刷物の掲載情報（たとえば、商品情報）に対する視線を計測する場合に有用である。
【背景技術】
【０００２】
従来、評価対象印刷物を見る人物の視線を推定・追跡して、掲載商品への視線を計測することで、注視度合いや関心度合いを解析し、生活者の購買動向を評価分析することが知られている。
生活者に適切な購買情報を提供するためには、評価対象印刷物の掲載情報を、どのように見ているかを知ることが重要となる。視線追跡方法は、生活者の関心度合いや、購買動向を把握するための有効な評価分析方法の１つである。
【０００３】
視線を推定・追跡する方法としては、視線追跡メガネを用いた方法が知られている。
たとえば、特許文献１には、視線追跡メガネを被験者の頭部に装着させて、視線追跡メガネが有する視線計測用光源の赤外光を瞳孔と角膜に照射して、その反射光を視線追跡メガネに設けられた赤外光センサーにて受光し、その受光した反射光に基づいて、瞳孔の方向を推定することで、対象物を見る視線方向を推定する技術が開示されている。このメガネを通して対象物を見る視線方向に基づいて、メガネが捉える視野の中の注視位置を算出することが可能である。
このとき、識別が可能な基準マーカーを、評価対象印刷物の所定の位置に配置することで、視線追跡メガネの基準マーカー・センサーが捉えた基準マーカーの識別情報に基づいて、視線追跡メガネの向きとメガネが捉える視野の範囲を検知することが可能となる。また、検知した視線追跡メガネの向きとメガネが捉える視野の範囲に基づいて、メガネの視野が捉える評価対象印刷物の領域を推定することが出来る。
基準マーカーには、図形マーカー（印刷物）、または、ＩＲ（infrared）マーカー（ＩＲ発信器）を用いる場合がある。
たとえば、識別可能な複数のＩＲマーカーを用いて視線を追跡する、更にＩＲセンサーを設けた視線追跡メガネ（Ｔｏｂｉｉグラスアイトラッカー、登録商標）が、非特許文献４に開示されている。非特許文献４によれば、視線追跡メガネが推定した視線方向と捉えた複数のＩＲマーカーの位置に基づいて、被験者が注視しているチラシ上の注視位置情報を算出することができる。
【０００４】
なお、本発明の視線の計測・追跡技術に関連して、画像の回転・スケール変化・照明変化等に頑健な特徴量を記述する特徴点を検出するＳｌＦＴ（Ｓｃａｌｅ‐ＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ)アルゴリズム、または、高速に画像の特徴点を抽出するＳＵＲＦ（ＳｐｅｅｄｅｄＵｐＲｏｂｕｓｔＦｅａｔｕｒｅｓ）アルゴリズムが、それぞれ、非特許文献１、２に記載されている。
なお、この２つのアルゴリズムが動作するプログラムは、ＯｐｅｎＣＶ（非特許文献５）にて利用することが可能である。
または、画像の特徴点を検出して、検出した特徴点の局所特徴量を抽出するＲａｎｄｏｍｉｚｅｄ Ｔｒｅｅアルゴリズム、もしくは、Ｆｅｒｎｓアルゴリズムが、それぞれ、非特許文献６、７に記載されている。
また、２つの平面画像間の視点変換により、一方の平面画像座標を他方の平面画像座標に変換するホモグラフィー行列を算出するアルゴリズムは、非特許文献３に記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−３１９１８７号公報（たとえば、段落「００２５」−「００２９」、図２）
【非特許文献】
【０００６】
【非特許文献１】ＤａｖｉｄＧ．Ｌｏｗｅ、“Ｄｉｓｔｉｎｃｔｉｖｅ ｉｍａｇｅ ｆｅａｔｕｒｅｓ ｆｒｏｍ ｓｃａｌｅｉｎｖａｒｉａｎｔ ｋｅｙｐｏｉｎｔｓ”、Ｉｎｔ．Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、Ｖｏｌ．６０、Ｎｏ．２、ＰＰ．９１‐１１０、２００４．
【非特許文献２】Ｈ．Ｂａｙ，Ｔ．Ｔｕｙｔｅｌａａｒｓ，ａｎｄＬ．ＶａｎＧｏｏｌ、“ＳＵＲＦ：Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ． Ｆｅａｔｕｒｅｓ”、ＩｎＥＣＣＶ、ｐｐ．４０４‐４１７、２００６．
【非特許文献３】橋本浩一、“ビジュアルサーボ−II−コンピュータビジョンの基礎”、日本バーチャルリアリティ学会論文誌、Ｖｏｌ.４、Ｎｏ．４、１９９９．
【非特許文献４】トビー・テクノロジー・ジャパン株式会社、Ｔｏｂｉｉグラスアイトラッカー、［online］［平成２３年９月８日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｔｏｂｉｉ．ｃｏｍ／ｊａ−ＪＰ／ｅｙｅ−ｔｒａｃｋｉｎｇ−ｒｅｓｅａｒｃｈ／ｊａｐａｎ／ｐｒｏｄｕｃｔｓ／ｈａｒｄｗａｒｅ/ｔｏｂｉｉ−ｇｌａｓｓｅｓ−ｅｙｅ−ｔｒａｃｋｅｒ／＞
【非特許文献５】ＯｐｅｎＣＶ、ＳＩＦＴ／ＳＵＲＦ、［online］［平成２３年９月８日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｏｐｅｎｃｖ．ｊｐ／ｏｐｅｎｃｖ−２．２／ｃｐｐ／ｆｅａｔｕｒｅｓ２ｄ＿ｆｅａｔｕｒｅ＿ｄｅｔｅｃｔｉｏｎ＿ａｎｄ＿ｄｅｓｃｒｉｐｔｉｏｎ．ｈｔｍｌ＞
【非特許文献６】Ｖ． Ｌｅｐｅｔｉｔ ａｎｄ Ｐ． Ｆｕａ, “Ｋｅｙｐｏｉｎｔ Ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ Ｒａｎｄｏｍｉｚｅｄ Ｔｒｅｅｓ”， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ．２８， Ｎｏ．９， ｐｐ。１４６５−１４７９， ２００６.
【非特許文献７】Ｍ．Ｏｚｕｙｓａｌ，Ｐ．Ｆｕａ， Ｖ．Ｌｅｐｅｔｉｔ，―Ｆａｓｔ Ｋｅｙｐｏｉｎｔ Ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ Ｔｅｎ Ｌｉｎｅｓ ｏｆ Ｃｏｄｅ．，Ｐｒｏｃ． ｏｆ Ｉｎｔ．Ｃｏｎｆ． ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（２００７）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、被験者の頭の向きと距離を知るために評価対象印刷物の表面に図形マーカーを設けることは、美観を損ね、被験者の注意力を散漫にさせて、無用な視線の動きを生じさせるので、視線の計測品質の低下を招き好ましくない。
また、ＩＲマーカーを用いる場合には、評価対象印刷物の裏面に設ければ美観を損ねることは無いが、ＩＲが印刷物（紙）を透過するときに減衰するために、受光できないことがあり、位置計測の精度が低下する。
しかも、裏面に設けたＩＲマーカーは、評価対象印刷物を裏返して閲覧する場合には、図形マーカーと同様にＩＲマーカーが目に入るので、被験者の注意力を散漫にさせて、無用な視線の動きを生じるので、視線の計測品質の低下を招き好ましくない。
【０００８】
本発明は以上のような点を解決するためになされたものであって、本発明の課題は、評価対象印刷物の掲載情報の注目度を分析評価するときに、簡単に、被験者に無用な視線の動きを生じさせずに高い精度で、被験者の視線を推定して追跡することで、評価対象印刷物に対する視線を計測することが可能な装置、システム、方法、プログラム、記録媒体を提供することである。
【課題を解決するための手段】
【０００９】
本発明は、以下の各態様に記載の手段により、前記課題を解決する。
すなわち、本願発明の第１の発明は、
基準画像と、座標情報と特徴量を含む基準特徴点データと、を記憶する記憶手段と、
視線追跡メガネからシーン画像データとシーン画像上の注視点座標情報を含む注視点データを受信する受信手段と、
シーン画像データからシーン特徴点を検出して、シーン特徴点の特徴量を抽出して、シーン特徴点データを作成する特徴点抽出手段と、
基準特徴点データの特徴量と、シーン特徴点データの特徴量を用いて、類似度を判定し、最も高い類似度の基準特徴点とシーン特徴点の組合せを求める特徴点組合せ手段と、
組み合わされた基準特徴点データの座標情報とシーン特徴点データの座標情報に基づいて、座標変換行列を算出する座標変換行列算出手段と、
算出した座標変換行列とシーン画像上の注視点座標情報に基づいて、シーン画像上の注視点を基準画像上の座標情報に変換する注視点写像手段と、
変換された基準画像上の座標情報に基づいて、注視点マークを生成して、基準画像に合成する画像合成手段と、
を備えることを特徴とする視線分析装置である。
【００１０】
このように、基準マーカーを用いる代わりに、基準特徴点データの座標情報とシーン特徴点データの座標情報にを用いることで、シーン画像上の注視点座標情報を、基準画像上の注視点座標情報に変換することが可能である。
【００１１】
本願発明の第２の発明は、
視線追跡メガネと視線分析装置とが接続可能に構成される視線計測システムであって、
前記視線追跡メガネは、
メガネを通して見るシーン画像データを生成するシーンカメラと、
赤外線光源から発した赤外光が眼球から反射した反射光を受光する赤外線センサーと、
赤外線センサーが受光した反射光情報に基づいて、シーン画像上の注視点座標情報を算出する処理手段と、
シーン画像データとシーン画像上の注視点座標情報を含む注視点データとを視線分析装置に送信する送信手段と、
を備えるメガネであって、
前記視線分析装置は、
基準画像と、座標情報と特徴量を含む基準特徴点データと、を記憶する記憶手段と、
視線追跡メガネからシーン画像データとシーン画像上の注視点座標情報を含む注視点データとを受信する受信手段と、
シーン画像データからシーン特徴点を検出して、シーン特徴点の特徴量を抽出して、シーン特徴点データを作成する特徴点抽出手段と、
基準特徴点データの特徴量と、シーン特徴点データの特徴量を用いて、類似度を判定し、最も高い類似度の基準特徴点とシーン特徴点の組合せを求める特徴点組合せ手段と、
組み合わされた基準特徴点データの座標情報とシーン特徴点データの座標情報に基づいて、座標変換行列を算出する座標変換行列算出手段と、
算出した座標変換行列とシーン画像上の注視点座標情報に基づいて、シーン画像上の注視点を基準画像上の座標情報に変換する注視点写像手段と、
変換された基準画像上の座標情報に基づいて、注視点マークを生成して、基準画像に合成する画像合成手段と、
を備える分析装置である、
ことを特徴とする視線計測システムである。
【００１２】
本願発明の第３の発明は、
基準画像と、座標情報と特徴量を含む基準特徴点データとを用いる視線計測方法であって、
視線追跡メガネが、メガネを通して見るシーン画像データを生成するシーン撮像ステップと、
視線追跡メガネが、赤外線光源から発した赤外光が眼球から反射した反射光を受光する赤外線受光ステップと、
視線追跡メガネが、赤外線センサーが受光した反射光情報に基づいて、シーン画像上の注視点座標情報を算出する算出処理ステップと、
視線分析装置が、シーン画像データからシーン特徴点を検出して、シーン特徴点の特徴量を抽出して、シーン特徴点データを作成する特徴点抽出ステップと、
視線分析装置が、基準特徴点データの特徴量と、シーン特徴点データの特徴量を用いて、類似度を判定し、最も高い類似度の基準特徴点とシーン特徴点の組合せを求める特徴点組合せステップと、
視線分析装置が、組み合わされた基準特徴点データの座標情報とシーン特徴点データの座標情報に基づいて、座標変換行列を算出する座標変換行列算出ステップと、
視線分析装置が、算出した座標変換行列とシーン画像上の注視点座標情報に基づいて、シーン画像上の注視点を基準画像上の座標情報に変換する注視点写像ステップと、
視線分析装置が、変換された基準画像上の座標情報に基づいて、注視点マークを生成して、基準画像に合成する画像合成ステップと、
を含んだ手順でなされることを特徴とする視線計測方法である。
【００１３】
本願発明の第４の発明は、さらに、
分割画像を識別する情報を含む分割画像データと、
分割画像を識別する情報と座標情報と特徴量を含む分割画像の基準特徴点データと、
を記憶する記憶手段と、
視線追跡メガネからシーン画像データとシーン画像上の注視点座標情報を含む注視点データを受信する受信手段と、
シーン画像データからシーン特徴点を検出して、シーン特徴点の特徴量を抽出して、シーン特徴点データを作成する特徴点抽出手段と、
シーン特徴点データの特徴量と分割画像の基準特徴点データの特徴量とに基づき、各シーン特徴点に対する最も高い類似度評価の高い分割画像の基準特徴点を求めて、求めた分割画像の基準特徴点とシーン特徴点の組合せと分割画像を識別する情報を含む特徴点組合せを作成する特徴点組合せ手段と、
作成した特徴点組合せに基づいて、最も多い組合せ個数を持つ組合せを決定して、決定した特徴点組合せに含まれる分割画像を識別する情報が識別する分割画像を選択する分割画像選択手段と、
検出した組合せに含まれる分割画像の基準特徴点データの座標情報とシーン特徴点データの座標情報に基づいて、座標変換行列を算出する座標変換行列算出手段と、
算出した座標変換行列とシーン画像上の注視点座標情報に基づいて、シーン画像上の注視点を分割画像上の座標情報に変換する注視点写像手段と、
変換された分割画像上の座標情報に基づいて、注視点マークを生成して、選択した基準画像に合成する画像合成手段と、
を備えることを特徴とする視線分析装置である。
【００１４】
本願発明の第４の発明の１つの態様は、
前記特徴点組合せ手段は、さらに、
シーン特徴点に対する分割画像の基準特徴点のいずれもが所定の類似度評価レベルを満たさない場合には、このシーン特徴点に対する分割画像の基準特徴点の組合せは存在しないと決定する、
ことを特徴とする視線分析装置である。
【００１５】
本願発明の第４の発明の異なる１つの態様は、
前記予め定められた評価基準は、
特徴点組合せにおけるシーン特徴点と分割画像の基準特徴点の組合せ個数である、
ことを特徴とする視線分析装置である。
【００１６】
本願発明の第４の発明の異なる１つの態様は、
前記視線分析装置において、
前記記憶手段は、さらに、
基準画像を記憶して、
前記画像合成手段は、さらに、
変換された分割画像上の座標情報に基づいて、基準画像の座標情報を算出して注視点マークを基準画像に合成する、
ことを特徴とする視線分析装置である。
【００１７】
本願発明の第５の発明は、
視線追跡メガネと視線分析装置とが接続可能に構成される視線計測システムであって、
前記視線追跡メガネは、
メガネを通して見るシーン画像データを生成するシーンカメラと、
赤外線光源から発した赤外光が眼球から反射した反射光を受光する赤外線センサーと、
赤外線センサーが受光した反射光情報に基づいて、シーン画像上の注視点座標情報を算出する処理手段と、
シーン画像データとシーン画像上の注視点座標情報を含む注視点データとを視線分析装置に送信する送信手段と、
を備えるメガネであって、
前記視線分析装置は、
分割画像を識別する情報を含む分割画像データと、
分割画像を識別する情報と座標情報と特徴量を含む分割画像の基準特徴点データと、
を記憶する記憶手段と、
視線追跡メガネからシーン画像データとシーン画像上の注視点座標情報を含む注視点データを受信する受信手段と、
シーン画像データからシーン特徴点を検出して、シーン特徴点の特徴量を抽出して、シーン特徴点データを作成する特徴点抽出手段と、
各分割画像ごとに、シーン特徴点データの特徴量と分割画像の基準特徴点データの特徴量とに基づき、各シーン特徴点に対する最も高い類似度評価の分割画像の基準特徴点を求めて、各シーン特徴点に対する分割画像の基準特徴点の組合せである特徴点組合せを決定する特徴点組合せ手段と、
作成した特徴点組合せに基づいて、予め定められた評価基準により最適な分割画像を選択する分割画像選択手段と、
選択された最適な分割画像の基準特徴点データの座標情報とシーン特徴点データの座標情報に基づいて、座標変換行列を算出する座標変換行列算出手段と、
算出した座標変換行列とシーン画像上の注視点座標情報に基づいて、シーン画像上の注視点を分割画像上の座標情報に変換する注視点写像手段と、
変換された分割画像上の座標情報に基づいて、注視点マークを生成して、選択した基準画像に合成する画像合成手段と、
を備える分析装置である、
ことを特徴とする視線計測システムである。
【００１８】
本願発明の第５の発明の１つの態様は、
前記視線分析装置において、
前記特徴点組合せ手段は、さらに、
シーン特徴点に対する分割画像の基準特徴点のいずれもが所定の類似度評価レベルを満たさない場合には、このシーン特徴点に対する分割画像の基準特徴点の組合せは存在しないと決定する、
ことを特徴とする視線計測システムである。
【００１９】
本願発明の第５の発明の異なる１つの態様は、
前記視線分析装置において、
前記予め定められた評価基準は、
特徴点組合せにおけるシーン特徴点と分割画像の基準特徴点の組合せ個数である、
ことを特徴とする視線分析装置であることを特徴とする視線計測システムである。
【００２０】
本願発明の第５の発明の異なる１つの態様は、
前記視線分析装置において、
前記記憶手段は、さらに、
基準画像を記憶して、
前記画像合成手段は、さらに、
変換された分割画像上の座標情報に基づいて、基準画像の座標情報を算出して注視点マークを基準画像に合成する、
ことを特徴とする視線計測システムである。
【００２１】
本願発明の第６の発明の態様は、
分割画像を特定する情報を含む分割画像データと、分割画像を特定する分割画像特定情報と座標情報と特徴量を含む分割画像の基準特徴点データとを用いる視線計測方法であって、
視線追跡メガネが、メガネを通して見るシーン画像データを生成するシーン撮像ステップと、
視線追跡メガネが、赤外線光源から発した赤外光が眼球から反射した反射光を受光する赤外線受光ステップと、
視線追跡メガネが、赤外線センサーが受光した反射光情報に基づいて、シーン画像上の注視点座標情報を算出する算出処理ステップと、
視線分析装置が、シーン画像データからシーン特徴点を検出して、シーン特徴点の特徴量を抽出して、シーン特徴点データを作成する特徴点抽出ステップと、
視線分析装置が、各分割画像ごとに、シーン特徴点データの特徴量と分割画像の基準特徴点データの特徴量とに基づき、各シーン特徴点に対する最も高い類似度評価の分割画像の基準特徴点を求めて、各シーン特徴点に対する分割画像の基準特徴点の組合せである特徴点組合せを決定する特徴点組合せステップと、
視線分析装置が、作成した特徴点組合せに基づいて、予め定められた評価基準により最適な分割画像を選択する分割画像選択ステップと、
視線分析装置が、選択された最適な分割画像の基準特徴点データの座標情報とシーン特徴点データの座標情報に基づいて、座標変換行列を算出する座標変換行列算出ステップと、
視線分析装置が、算出した座標変換行列とシーン画像上の注視点座標情報に基づいて、シーン画像上の注視点を分割画像上の座標情報に変換する注視点写像ステップと、
視線分析装置が、変換された分割画像上の座標情報に基づいて、注視点マークを生成して、選択した基準画像に合成する画像合成ステップと、
を含んだ手順でなされることを特徴とする視線計測方法である。
【００２２】
本願発明の第６の発明の１つの態様は、
前記特徴点組合せステップは、さらに、
シーン特徴点に対する分割画像の基準特徴点のいずれもが所定の類似度評価レベルを満たさない場合には、このシーン特徴点に対する分割画像の基準特徴点の組合せは存在しないと決定する、
手順でなされることを特徴とする視線計測方法である。
【００２３】
本願発明の第６の発明の異なる１つの態様は、
前記予め定められた評価基準は、
特徴点組合せにおけるシーン特徴点と分割画像の基準特徴点の組合せ個数である、
手順でなされることを特徴とする視線計測方法である。
【００２４】
本願発明の第６の発明の異なる１つの態様は、
さらに、基準画像を用いて、
変換された分割画像上の座標情報に基づいて、基準画像の座標情報を算出して注視点マークを基準画像に合成するステップ、
を含んだ手順でなされることを特徴とする視線計測方法である。
【００２５】
本願発明の第７の発明は、コンピュータに組込むことによって、コンピュータを第１から第４の発明までのいずれかに記載の視線分析装置として動作させるコンピュータプログラムである。
【００２６】
本願発明の第８の発明は、第７の発明に記載のコンピュータプログラムを記録したコンピュータ読取り可能な記録媒体である。
【発明の効果】
【００２７】
本願発明によれば、
（１）基準マーカーを用いる必要がないので、被験者が通常と同じ状態で評価対象印刷物を閲覧できることから、閲覧に専念でき、正確な視線の動きを計測することが可能である。
（２）評価対象印刷物の特徴点情報を用いて、視線の動きを注視点マークとして評価対象印刷物の基準画像上に再現することが可能である。
（３）評価対象印刷物の特徴点情報は印刷ページごとに異なることからページを識別することができるので、複数ページの評価対象印刷物の視線を計測する場合にも、各ページごとに視線の動きを再現することが可能である。
【図面の簡単な説明】
【００２８】
【図１】図１は、視線計測システム１の全体構成を説明する図である。（第１の実施形態）
【図２】図２は、視線計測システム１の操作と処理の大まかな手順を説明する図である。
【図３】図３は、視線追跡メガネ２００を説明する図である。
【図４】図４は、各座標系の関係を説明する図である。
【図５】図５は、シーン画像とシーン特徴点の例である。
【図６】図６は、シーン特徴点データ１９４の形式を説明する図である。
【図７】図７は、基準画像と基準特徴点の例である。
【図８】図８は、基準特徴点の組合わせを説明する図である。
【図９】図９は、組み合わせられた特徴点の例である。
【図１０】図１０は、ホモグラフィー行列の説明図である。
【図１１】図１１は、基準画像上に合成された注視点マークの例である。
【図１２】図１２は、分析装置１００の詳細な構成図である。
【図１３】図１２は、分析装置１００のフローチャートである。
【図１４】図１３は、注視点マークを合成した基準画像の例
【図１５】（第２の実施形態）図１５は、視線計測システム２の全体構成を説明する図である。
【図１６】（第２の実施形態）図１６は、商品棚の正面画像の例である。
【図１７】（第２の実施形態）図１７は、特徴点組合せ１９７を説明する図である。
【図１８】（第２の実施形態）図１８は、分割画像を用いた視線追跡の処理手順（その１）を説明する図である。
【図１９】（第２の実施形態）図１９は、分割画像を用いた視線追跡の処理手順（その２）を説明する図である。
【図２０】（第２の実施形態）図２０は、対応付けられた特徴点の例（その１）である。
【図２１】（第２の実施形態）図２１は、対応付けられた特徴点の例（その２）である。
【図２２】（第２の実施形態）図２２は、各画像の注視点の相互関係である。
【図２３】（第２の実施形態）図２３は、視線分析装置１００ｂの詳細な構成図である。
【発明を実施するための形態】
【００２９】
以下、図面等を参照しながら、本発明の実施の形態について、更に詳しく説明する。
【００３０】
（第１の実施形態）
図１は、本発明の実施の形態による視線計測システム１の概要を説明する図である。
視線計測システム１は、視線分析装置１００と、視線追跡メガネ２００とが接続可能に構成される。
【００３１】
視線分析装置１００は、既存のパーソナルコンピューターに、後述する専用プログラムを搭載したものである。
【００３２】
視線追跡メガネ２００は、評価対象印刷物６１０（以下、チラシ）を見る視線方向を推定する。
視線追跡メガネ２００は、赤外線光源と赤外線センサーとカメラとから構成される。
【００３３】
図２は、視線計測システム１の操作と処理の大まかな手順を説明する図である。
【００３４】
（１）被験者は、視線追跡メガネ２００を目に掛ける。
【００３５】
（２）被験者がチラシ６１０の閲覧を開始すると、視線追跡メガネ２００は、チラシ６１０を撮像して、シーン画像を作成する。同時に、赤外線を眼球に照射して、受光した反射光に基づいて視線方向を推定し、撮像したシーン画像上の注視点位置情報を算出する。
（３）被験者の視線計測作業が終わったら、視線計測者が、視線追跡メガネ２００を視線分析装置１００に接続すると、視線追跡メガネ２００は、シーン画像と注視点位置情報を視線分析装置１００に送信する。
【００３６】
（４）視線分析装置１００は、シーン画像と注視点位置情報を視線追跡メガネ２００から受信する。
（５）視線分析装置１００は、撮像したシーン画像から特徴点情報を抽出し、予め記憶する基準画像の特徴点情報と類似度を比較する。次に、最も類似度の高い特徴点同士を組み合わせて、この組み合わせた特徴点情報に基づいて、座標変換行列を算出する。（詳細は後述する）
【００３７】
ここで、基準画像が複数個ある場合には、まず、各基準画像ごとに、シーン画像の特徴点情報を基準画像の特徴点情報の類似度を比較して最も類似度の高い特徴点同士を組み合わせて、次に、各特徴点の同士を組み合わせの中から、最も類似度の高い組み合わせを選び、その組合せの特徴点情報に基づいて、座標変換行列を算出する。
【００３８】
（６）視線分析装置１００は、 座標変換行列を用いて、受信したシーン画像上の注視点位置座標を基準画像上の座標に変換する。次に、座標変換した注視点位置に基づいて、基準画像に注視点マークを合成して表示する。
【００３９】
なお、撮影されたシーン画像の中から撮影時間内の所望の時刻におけるシーン画像を用いることで、撮影時間内での所望の時刻における基準画像上での注視点座標が得られる。
たとえば、撮影された全てのシーン画像を用いることで、撮影中の全ての注視点の情報（視線の移動の様子など）を得ることが出来る。
【００４０】
図３は、視線追跡メガネ２００を説明する図である。
図３に例示されている視線追跡メガネ２００は、赤外線光源２０１と赤外線センサー２０２とシーンカメラ２０３と処理部２０４とを備える。
【００４１】
赤外線光源２０１は、赤外線２０７を被験者の眼球３０１（角膜（瞳孔）や強膜（白目））に照射する。
赤外線センサー２０２は、眼球３０１から反射された赤外線２０８（反射光）を受光する。
シーンカメラ２０３は、二次元撮像素子である。シーンカメラ２０３は、被験者の視野ほぼ同等の光景（注視点を中心としたチラシ画像）を撮像する。
【００４２】
処理部２０４は、演算処理回路と、記憶回路と、コネクターと、二次電池とを備える。
処理部２０４は、たとえば、眼球３０１の角膜と強膜の反射率の違いを利用した強膜反射法（リンバスト・トラッキング法。特許文献１による）に基づいて、受光した反射光２０８を用いて視線を計測して、視線の方向を推定する。また、処理部２０４は、推定した視線の方向と撮像したチラシ画像とを、通信接続した視線分析装置１００に送信する。
なお、処理部２０４は、強膜反射法の代わりに、瞳孔−角膜反射法や、角膜反射法、ダブルプリキニエ法などを用いることも可能である。
コネクターは、視線追跡メガネ２００と視線分析装置１００とに通信接続する。
二次電池は、処理部自身の各回路と、赤外線光源２０１と赤外線センサー２０２とシーンカメラ２０３とに、電力を供給する。
【００４３】
ここで、図４を用いて、視線計測システム１が扱う座標系の説明をする。
視線計測システム１が扱う座標系は、三次元空間座標系６００（Ｘm、Ｙm、Ｚm）と、視線追跡メガネ座標系７００（Ｘc、Ｙc、Ｚc）と、シーン画像平面座標系８００（Ｘp、Ｙp）と、基準画像平面座標系５００（Ｘr、Ｙr）とである。
三次元空間座標系（Ｘm、Ｙm、Ｚm）は、計測対象のチラシ６１０を原点とする三次元空間である。三次元空間座標系には、チラシ６１０（撮影対象物）と、視線追跡メガネのシーンカメラ２０３が配置されている。
【００４４】
視線追跡メガネ座標系７００（Ｘc、Ｙc、Ｚc）は、視線追跡メガネのシーンカメラ２０３を原点７０１とする三次元空間である。
ここで、シーンカメラ２０３は被験者の目に相当し、シーンカメラ２０３の原点７０１は、被験者の視点に相当する。
【００４５】
シーン画像平面座標系８００（Ｘp、Ｙp）は、シーンカメラ２０３が撮影したシーン画像８１０（二次元画像）を現わす二次元空間である。このシーンカメラ２０３が撮影した二次元画像８１０は、三次元空間座標系に配置された撮影対象物６１０を透視変換した透視画像である。
シーン画像８１０は、この場合には、チラシ６１０の一部を撮像した部分画像である。
【００４６】
視線追跡メガネ座標系７００の原点７０１が被験者の視点に相当するので、視線方向情報７０２に基づく視線７０２がシーン画像８１０と交わる点８１１が、注視点となる。
【００４７】
基準画像平面座標系５００（Ｘr、Ｙr）の基準画像とは、チラシ６１０の正面画像に相当する画像である。チラシ６１０を正面から撮像した画像であっても良いし、チラシ６１０の印刷データから生成した画像でも良い。
【００４８】
図５は、シーン画像とシーン特徴点の例である。
【００４９】
図５の（ａ）には、シーン画像８１０が例示されている。
例示されているシーン画像８１０は、シーンカメラ２０３が撮像するチラシ画像であって、被験者がメガネを通して見るチラシと同等の画像である。たとえば、被験者がチラシに近づいた場合に、メガネを通して見えるチラシの一部に相当する。
【００５０】
図５の（ｂ）には、注視点マークが合成されたシーン画像８１０が例示されている。
例示されているシーン画像８１０には、被験者が注目するチラシ上の注視点８１１の位置に相当する位置に、注視点マーク８１２が合成されている。
この注視点マークの位置は、すでに説明したように、シーンカメラ２０３の原点７０１と視線方向情報７０２に基づいて算出した交点８１１（視線７０２がシーン画像８１０と交わる点、注視点）に相当する。
【００５１】
図５の（ｃ）には、シーン画像の特徴点Ｑが例示されている。
例示されているシーン画像８１０には、検出したシーン特徴点Ｑの一例が示されている。シーン特徴点Ｑは、たとえば、非特許文献１に記載のＳｌＦＴアルゴリズムにてシーン画像から検出した特徴点である。
または、非特許文献２に記載のＳＵＲＦ（ＳｐｅｅｄｅｄＵｐＲｏｂｕｓｔＦｅａｔｕｒｅｓ）アルゴリズムにてシーン画像からシーン特徴点Ｑを検出して、局所特徴量を抽出してもよい。
または、非特許文献６に記載のＲａｎｄｏｍｉｚｅｄ Ｔｒｅｅアルゴリズムにてシーン画像からシーン特徴点Ｑを検出して、局所特徴量を抽出してもよい。
または、非特許文献７に記載のＦｅｒｎｓアルゴリズムにてシーン画像からシーン特徴点Ｑを検出して、局所特徴量を抽出してもよい。
【００５２】
図６は、シーン特徴点データ１９４を説明する図である。
シーン特徴点データ１９４は、公知のＳｌＦＴアルゴリズムにて、シーン画像データから検出したシーン特徴点ＱのＳＩＦＴ特徴量を含んで記述される点情報である。
シーン特徴点データ１９４のデータ形式は、特徴点番号１９４１と、座標値１９４２と、特徴量１９４３と、を含んで構成される。
特徴点番号１９４１は、シーン画像の特徴点に対して、検出された順に割り振られた連続番号（特定可能な数字列）を記述するデータ項目である。
座標値１９４２は、シーン画像の特徴点の座標情報（シーン画像平面座標系）を記述するデータ項目である。
特徴量１９４３は、ＳｌＦＴアルゴリズムにて、シーン画像から抽出したシーン特徴点Ｑの局所特徴量（ＳＩＦＴ特徴量）を記述するデータ項目である。
ＳＩＦＴ特徴量は、ＳｌＦＴアルゴリズムにて検出した特徴点の周辺領域を４×４の正方形グリッドに分割して、各グリッド内の８方向に対して求めた勾配ヒストグラムから構成される１２８次元の局所特徴量ｑである。
【００５３】
図７は、基準画像と基準特徴点Ｐの例である。
例示されている基準画像５１０は、チラシ６１０を正面から撮像した正面画像である。
基準画像５１０には、基準特徴点Ｐ５１２の一例が示されている。
基準特徴点Ｐ５１２は、シーン画像のシーン特徴点Ｑと同様に、非特許文献１に記載のＳｌＦＴアルゴリズムにて基準画像から検出した特徴点である。
なお、基準画像６１０は、チラシ印刷データから作成しても良い。
【００５４】
次に、基準画像の基準特徴点Ｐとシーン画像のシーン特徴点Ｑの中から、同一のものを抽出して対応付ける処理について説明する。
【００５５】
図８は、基準特徴点Ｐとシーン特徴点Ｑの類似度を算出する処理を説明する図である。ここで、基準特徴点データ１９２の形式は、シーン特徴点データ１９４の形式と同じである。ただし、座標値１９２２は、基準画像の特徴点の座標情報（基準画像平面座標系）を記述するデータ項目である。
（１）基準特徴点Ｐiの基準特徴点データ１９２ｉのＳＩＦＴ特徴量（ｐi1、・・、ｐin 、・・、ｐi128）と、シーン特徴点Ｑjのシーン特徴点データ１９４ｊのＳＩＦＴ特徴量（ｑj1 、・・ 、ｑjn 、・ ・、ｑj128）を用いて、基準特徴点Ｐiとシーン特徴点Ｑjの１２８次元ユ−クリッド空間Ｒ128の距離ｄijを全てのＰiとＱjの組合せに対して算出する。（ステップＳ１４１）
（２）すべての基準特徴点Ｐに対してそれぞれｄijが最小かつ、所定の閾値以下となるシーン特徴点Ｑを求めて、そのシーン特徴点Ｑが対する基準特徴点Ｐに最も類似度が高いと決定する。（ステップＳ１４２）
（３）基準特徴点Ｐiに対して最も高い類似度を算出したシーン特徴点Ｑjを対応づける。
【００５６】
ここで、組み合わせられた特徴点Ｐiと特徴点Ｑjの類似度が最も高いということは、基準チラシ画像上の基準特徴点Ｐiとシーン画像上のシーン特徴点Ｑjとが同一の特徴点である可能性が高いことを意味する。
【００５７】
図９は、組み合わされた基準特徴点Ｐ５１２とシーン特徴点Ｑ８１２とを図示した例である。
図示された基準チラシ画像の基準特徴点Ｐ５１２が、シーン画像のシーン特徴点Ｑ８１２と対応付けられていて、同一の特徴点であることを示している。たとえば、基準特徴点Ｐ1とシーン特徴点Ｑ20とが対応する特徴点であることを示している。
【００５８】
図１０は、ホモグラフィー行列を説明する図である。
【００５９】
図１０の（ａ）は、ホモグラフィー行列を説明する図である。
ホモグラフィー行列とは、２つの平面画像間の視点変換により、一方の平面画像座標を他方の平面画像座標に変換する関係式であることが数学的にすでに分かっている座標変換行列（二次元画像座標変換関係式）である。
ホモグラフィー行列の一般式は、未知数としての行列要素を６個（ｆx、ｆy、Ｃx、Ｃy、ｒ1、ｒ2）含む。
ここで、Ｘ、Ｙは、一方のカメラ画像の特徴点の座標値であって、x、yは、他方のカメラ画像の特徴点の座標値である。
ｆx、ｆy、Ｃx、Ｃyは、投影変換行列の要素であり、カメラの内部行列の要素に相当する。
sは、スケール係数である。
ｒ1、ｒ2、tは、回転・並行移動行列の要素である。
【００６０】
図１０の（ｂ）は、所定のホモグラフィー行列を説明する図である。
fa、fb、Ｃa、Ｃb、ｒa、ｒbは、所定のホモグラフィー行列の要素の値である。
ホモグラフィー行列の一般式に対して、６組の平面画像座標の組合せ（（Ｘ、Ｙ）と（x、y）の組合せ）を適用して、６つの式を作成して、この６式を解いて、未知数である６個の行列要素の解（fa、fb、Ｃa、Ｃb、ｒa、ｒb）を求めることで、所望の座標変換行列を算出することができる。
【００６１】
そこで、６組の対応付けられた基準特徴点６１２の座標（Ｘ、Ｙ）とシーン特徴点８１２の座標（x、y）の組合せに基づいて算出した座標変換行列（ホモグラフィー行列）を用いることにより、シーン画像上の注視点８１１の座標値を基準チラシ画像上の注視点５１３の座標値に変換することが可能となる。
【００６２】
図１１は、基準画像５１０に合成された注視点マーク５１３の例である。
例示されている基準画像５１０には、シーン画像８２０に合成されている注視点マーク８１３の位置に相当する位置に、注視点マーク５１３が合成されている。
注視点マーク５１３の位置は、６組の対応付けられた基準チラシ画像とシーン画像の特徴点の組合せに基づいて算出された座標変換行列（ホモグラフィー行列）を用いることによって、シーン画像上の注視点の座標値を、基準チラシ画像上の注視点の座標値に変換して求められたものである。
【００６３】
図１２は、視線分析装置１００の詳細な構成図である。
視線分析装置１００は、ＣＰＵ１０１と、表示部１０２と、接続部１０６と、記憶部１０９と専用プログラムなどを備える。
ＣＰＵ１０１と、表示部１０２と、接続部１０６と、記憶部１０９とは、ＢＵＳ１９９で接続される。
【００６４】
ＣＰＵ１０１は、中央演算装置である。
表示部１０２は、液晶表示装置や有機ＥＬ表示装置である。
接続部１０６は、コネクター（たとえば、ＵＳＢコネクター）である。
接続部１０６は、視線追跡メガネ２００の情報処理装置２０４と接続する。
【００６５】
記憶部１０９は、半導体メモリーや磁気メモリーである。
記憶部１０９は、基準格納領域０９１と、シーン格納領域０９２と、注視点格納領域０９３と、を備えて、オペレーティングシステム１８５と、専用プログラムとを記憶する。
基準格納領域０９１は、基準画像データ１９１と基準特徴点データ１９２の集合を格納する。
シーン格納領域０９２は、シーン画像データ２９１とシーン特徴点データ１９４を格納する。
注視点格納領域０９３は、注視点データ２９２を格納する。注視点データ２９２は、注視点座標値を含んで構成される。
オペレーティングシステム１８５は、視線分析装置１００のハードウェア（たとえば、ＣＰＵ１０１と、表示部１０２と、接続部１０６と、記憶部１０９と、ＢＵＳ１９９など）を管理・制御して、応用ソフトウエア（たとえば、専用プログラム）に対して、これらのハードウェアを利用できるようなサービスを提供する基本ソフトウエアである。
【００６６】
このほかに、受信手段１１０と、特徴点抽出手段１２０と、特徴点対応付け手段１３０と、座標変換行列算出手段１４０と、注視点マーク算出手段１５０と、画像合成手段１６０と、を備える。これらの各手段は、それぞれの専用プログラムによって実現され、専用プログラムがＣＰＵ１０１に解釈・実行されることによって機能する。
【００６７】
受信手段１１０は、視線追跡メガネ２００からシーン画像データ２９１とシーン画像の注視点位置情報を含む注視点データ２９２を受信する機能を実行するプログラムモジュールである。
【００６８】
特徴点抽出手段１２０は、シーン画像データ２９１からシーン特徴点を検出して、シーン特徴点の局所特徴量（ＳＩＦＴ特徴量）を抽出して、シーン特徴点データ１９４を作成する機能を実行するプログラムモジュールである。（詳細は、図６のシーン特徴点データを説明する項で述べた）
【００６９】
特徴点対応付け手段１３０は、基準特徴点データ１９２のＳＩＦＴ特徴量（１２８次元データ）と、シーン特徴点データ１９４のＳＩＦＴ特徴量（１２８次元データ）を用いて、１２８次元ユークリッド空間の距離（２個の１２８次元データを構成する各要素の差の二乗の総和の平方根）を算出し類似度とする機能と、
最小の距離を最も類似度が高いとして、最も高い類似度を算出したときの基準特徴点データ１９２とシーン特徴点データ１９４を組み合わせる機能と、
を実行するプログラムモジュールである。（詳細は、図８の特徴点の組合せを説明する項で述べた）
【００７０】
座標変換行列算出手段１４０は、対応付けられた基準特徴点データ１９２とシーン特徴点データ１９４の組合せの中から、任意の６組を選び出し、選び出した組の基準特徴点データ１９２の座標（Ｘ、Ｙ）とシーン特徴点データ１９４の座標（x、y）に基づいて、座標変換行列を算出する機能を実行するプログラムモジュールである。（詳細は、図１０のホモグラフィー行列を説明する項で述べた）
【００７１】
注視点マーク算出手段１５０は、算出した座標変換行列に基づいて、シーン画像上の注視点位置情報を、基準画像上の注視点の位置情報に変換する機能を実行するプログラムモジュールである。（詳細は、図１０のホモグラフィー行列を説明する項で述べた）
【００７２】
画像合成手段１６０は、変換された基準画像上の注視点の座標値に基づいて、注視点マーク８１１を生成して、基準画像に合成する機能を実行するプログラムモジュールである。
【００７３】
図１３は、視線分析装置１００が注視点マークが合成された基準画像５１０を表示するフローチャートである。
【００７４】
（１）特徴点抽出手段１２０は、ＳＩＦＴアルゴリズムを用いて、シーン画像データ２９１から検出したシーン特徴点のＳＩＦＴ特徴量を抽出して、シーン特徴点データ１９４を作成する。（ステップＳ２００）
（２）特徴点対応付け手段１３０は、記憶手段に記憶する基準特徴点データ１９２の１２８次元のＳＩＦＴ特徴量ｐijと、シーン特徴点データ１９４の１２８次元のＳＩＦＴ特徴量ｑijとを用いて、特徴点ＰiとＱjの類似度ｄijとして、１２８次元ユークリッド空間の距離（下記の数式１）を全てのＰiとＱjの組合せに対して算出して、最も類似度の値の小さいもの（距離が最小の）を類似度が高い特徴点として決定して、基準特徴点データ１９２とシーン特徴点データ１９４を組み合わせる。（ステップＳ２１０）
【数１】
ｉ，ｊ＝１，・・・，１２８
【００７５】
（３）座標変換行列算出手段１４０は、基準特徴点データ１９２とシーン特徴点データ１９４の組合せの中から、任意の６組の組合せを選択する。次に、座標変換行列算出手段１４０は、ホモグラフィー行列の一般式（下記の数式２）に６組の特徴点情報を代入して、６つの式を作成する。最後に、座標変換行列算出手段１４０は、６つの式を解いて、ｆx、ｆy、Ｃx、Ｃy、ｒ1、ｒ2、を算出して、座標変換行列（二次元画像座標変換関係式、下記の数式３）を導出する。（ステップＳ２２０）
【数２】
【数３】
ここで、ｆa、ｆb、Ｃa、Ｃb、ｒa、ｒbは、算出した二次元画像座標変換関係式の行列要素である。
【００７６】
（４）注視点マーク算出手段１５０は、算出した座標変換行列に基づいて、シーン画像上の注視点座標値を、基準画像上の注視点の座標値に変換する。（ステップＳ２３０）
（５）画像合成手段１６０は、変換された基準画像上の注視点の座標値に基づいて、注視点マーク８１１を生成して、基準画像に合成して、注視点マークが合成された基準画像６１１を表示する。（ステップＳ２４０）
【００７７】
図１４は、その他の注視点マークの例である。
【００７８】
図１４の（ａ）には、注視点の移動を表記する注視点マークが例示されている。
注視点の移動の順序を表す数字と、マーク間を結び注視点の移動方向を示す矢印を付した線分にて注視点マークを表記している。
【００７９】
図１４の（ｂ）には、累積注視時間を表記する注視点マークが例示されている。
累積注視時間を、注視点マークの大きさや色の濃淡にて注視点マークを表記している。
【００８０】
以上のように、本発明によれば、
（１）基準マーカーを用いずに、被験者が日常に目にするチラシと同じ状態のチラシを用いて閲覧できるので、視線の動きが自然であって、雑音のない、正確な視線の動きを計測することが可能である。
（２）チラシとシーン画像の特徴点情報を用いることで、視線の動きを注視点マークとしてチラシ上に再現することが可能である。
（３）評価対象印刷物が複数ページにわたる場合でも、各ページごとに視線の動きを再現することが可能である。
このように、日常と同じ状態のチラシを用いて、手間を掛けずに被験者の正確な視線追跡（視線計測）ができる。
【００８１】
（第２の実施形態）
ところで、商品陳列棚上の視線を追跡する場合には、商品陳列棚を撮影した基準画像の特徴点Ｐiと、商品陳列棚に寄ったシーン画像のシーン特徴点Ｑiとを対応付けて、シーン画像上の注視点を座標変換する必要がある。
ところが、商品陳列棚に寄ったシーン画像に相当する画像領域は、商品陳列棚を撮影した基準画像に対して小領域であるために、シーン画像に相当する画像領域に含まれる基準特徴点Ｐiの個数が少ない。従って、基準特徴点Ｐiとシーン特徴点Ｑiとの対応付けを行なう特徴点対応付処理ができず、座標変換行列を算出できないという不具合が生じることがある。
【００８２】
そこで、基準画像を幾つかに分割した分割画像Ｓmを用いることで、特徴点対応付処理を可能にして、基準画像とシーン画像のサイズの差が大きくなることが想定される被験者の視線追跡を可能にする実施形態を以下に説明する。
この実施形態（第２の実施形態）によれば、商品陳列棚上の被験者の視線を追跡するような場合でも、問題なく視線計測が可能となる。
【００８３】
図１５は、第２の実施形態による視線計測システム２の概要を説明する図である。
視線計測システム２は、第１の実施形態と同様に、視線分析装置１００ｂと、視線追跡メガネ２００とが接続可能に構成される。なお、第１の実施形態と同じ装置、構成を用いる場合には同じ符号を付して、重複する説明は省略する。
【００８４】
視線追跡メガネ２００は、商品陳列棚６２０を見る視線方向を推定する。
【００８５】
商品陳列棚６２０は、飲料容器（商品）の陳列棚で複数の棚（段）を備え、たとえば、コンビニエンスストアに設置される。
商品陳列棚６２０は、陳列された商品が配置される複数の段から構成されている。
【００８６】
図１６は、商品陳列棚の画像（基準画像と分割画像）を説明する図である。
図１６の（ａ）には、商品の陳列棚６２０を正面から撮影した正面画像としての基準画像５１０が例示されている。
例示された基準画像５１０の商品の陳列棚６２０は、たとえば、カートンが配置される複数の段から構成される陳列棚と、ＰＥＴボトルが配置される複数の段から構成される陳列棚と、を組み合わせて構成される。
【００８７】
図１６の（ｂ）には、基準画像を幾つかに分割した分割画像Ｓm５１５が例示されている。
例示された分割画像Ｓm５１５は、基準画像を６分割（縦２分割×横３分割）した例である。（ｍ＝１、２、・・、６）
なお、各分割画像Ｓm５１５からは、特徴点対応付処理に充分に必要な個数の基準特徴点Ｐiを抽出することができる。
なお、例示された分割画像Ｓmの大きさは同じであるが、異なる大きさの分割画像で構成しても良い。たとえば、商品棚の上段の分割画像は小さく、下段の分割画像は大きくしても良い。
【００８８】
図１８と図１９を用いて、第２の実施形態における基準画像の分割画像Ｓmを用いた視線追跡の処理手順を説明する図である。
【００８９】
図１８は、シーン画像に最も類似する分割画像（最適分割画像）Ｓ*を選択する手順を説明する図である。
分割画像から最適分割画像Ｓ*を選択するためには、シーン画像のシーン特徴点に最も類似度の高い分割画像の基準特徴点（最も類似度評価の高い分割画像の基準特徴点）を求める処理と、類似度の高いシーン特徴点と分割画像の基準特徴点の組合せ数に基づいて分割画像Ｓmからシーン類似画像を選択する分割画像選択処理を実行する。
【００９０】
「分割画像とシーン画像の特徴点対応付処理」
数式１を用いて、シーン画像の各シーン特徴点に対する最も類似度評価の高い基準特徴点を求める手順を既に説明したが、基準画像の代わりに分割画像を用いて同様の処理を行なう。以下にその詳細な手順を再度説明する。
（１）視線分析装置１００ｂは、シーン画像の各シーン特徴点に最も類似度の高い分割画像の基準特徴点を、以下の手順により求める。
（１−１）まず、複数の分割画像から１つの分割画像Ｓmを選ぶ。（ステップＳ３１０）
【００９１】
（１−２）次に、シーン画像の全てのシーン特徴点Ｑjに対して、各シーン特徴点Ｑjと最も高い類似度と評価される分割画像の基準特徴点Ｐiを１つ対応付けて、この分割画像Ｓmにおける特徴点組合せ１９７を作成する処理を、以下の手順により実施する。（ステップＳ３２０）
【００９２】
（１−２−１）シーン画像の１つのシーン特徴点Ｑjを選ぶ。
【００９３】
（１−２−２）このシーン特徴点Ｑjのシーン特徴点データ１９４の１２８次元のＳＩＦＴ特徴量ｑikと、選んだ分割画像Ｓmの任意の基準特徴点Ｐiの基準特徴点データ１９６の１２８次元のＳＩＦＴ特徴量ｐikと、を、既に説明した数式１に適用して、１２８次元ユークリッド空間の距離を算出して類似度ｄijを求める類似度算出処理を行なう。
（１−２−３）この類似度算出処理を、選んだ分割画像Ｓmの全ての基準特徴点Ｐiについて行なう。その結果、ｄ1j、・・・、ｄl(m)jのl（m）個の類似度の値が求められる。但し、l（m）は、分割画像Ｓmの基準特徴点Ｐの個数である。
【００９４】
（１−２−４）次に、ｄ1j、・・・、ｄl(m)jに基づいて、所定の閾値以下であって、かつ、最も値の小さい（距離が最小）類似度を与える特徴点Ｐiを１つ選択して、この基準特徴点Ｐiをシーン特徴点Ｑjに対する最も高い類似度の特徴点と評価して組（Ｑj、Ｐi）決定する。
なお、ｄ1j、・・・、ｄl(m)jが全て所定の閾値以上の場合には、この閾値で定められる類似度評価レベルを満たす特徴点Ｐiが存在しないから、組（Ｑj、Ｐi）が存在しないとする。
（１−２−５）組（Ｑj、Ｐi）のシーン特徴点Ｑjのシーン特徴点データ１９４と、基準特徴点Ｐiの基準特徴点データ１９６と、分割画像の識別情報と、を含む特徴点組合せ１９７を作成して一時記憶する。
【００９５】
（１−２−６）次のシーン特徴点Ｑj+1 に対して、（１−２−１）から（１−２−５）までを繰り返して、分割画像Ｓmにおける特徴点組合せ１９７を作成して一時記憶する。
このようにして、全てのシーン特徴点Ｑjに対する、分割画像Ｓmに関しての特徴点組合せ１９７を作成して一時記憶する。
【００９６】
（１−３）さらに、残りの分割画像から、次の分割画像Ｓm+1を選んで、（１−２）を繰り返して、分割画像Ｓm+1における特徴点組合せ１９７を作成して一時記憶する。このようにして、全ての分割画像は、分割画像ごとに特徴点組合せ１９７が作成されて一時記憶される。（ステップＳ３２５）
【００９７】
「シーン画像に対応する分割画像を決定する処理」
（２）視線分析装置１００ｂは、一時記憶された各分割画像における特徴点組合せ１９７に含まれる組合せ個数を計数する。
次に、視線分析装置１００ｂは、計数した組合せ個数を比較して、最も多い組合せ個数（評価基準）の特徴点組合せ１９７を保持し、保持した特徴点組合せ１９７に含まれる分割画像の識別情報が識別する分割画像を、シーン画像に最も合致（近似）する分割画像（最適分割画像）として決定する。（ステップＳ３３０）
【００９８】
なお、評価基準として、分割画像の特徴点組合せ１９７を構成する組（Ｑj、Ｐi）の類似度ｄijの平均値（類似度ｄijの総和を組合せ個数で除算した値）を用いても良い。この場合は、最小の上記平均値を与える分割画像が選択される。
【００９９】
ここで、図２０と図２１を用いて、高い類似度評価の特徴点ＰiとＱjを説明する。
【０１００】
図２０は、分割画像５１５の基準特徴点５１６とシーン画像８１０のシーン特徴点８１２との組合せの例である。
例示された分割画像５１５には、カートンの基準特徴点５１６として、たとえば、Ｒ1が例示されている。
シーン画像８１０には、カートンのシーン特徴点８１２として、たとえば、Ｑ210が例示されている。
基準特徴点Ｒ1と、シーン特徴点Ｑ210とは、類似度が高い特徴点として決定され組み合わされている。
【０１０１】
図１７は、特徴点組合せ１９７を説明する図である。
特徴点組合せ１９７は、分割画像識別情報１９７１と対応付けた特徴点データ部１９７２から構成される。
分割画像識別情報１９７１は、たとえば、識別可能な数字列である。
対応付けた特徴点データ部１９７２は、シーン特徴点データ１９４と分割画像の基準特徴点データ１９６との組合せである。
【０１０２】
図２１は、分割画像の基準特徴点５１６とシーン画像のシーン特徴点８１２との組合せの例（２）である。
例示された分割画像５１５には、ＰＥＴボトルの基準特徴点５１６として、たとえば、Ｒ77が例示されている。
シーン画像８１０には、ＰＥＴボトルのシーン特徴点８１２として、たとえば、Ｑ330が例示されている。
基準特徴点Ｒ77と、シーン特徴点Ｑ330とは、類似度が高い特徴点として決定され組み合わされている。
【０１０３】
視線追跡の処理手順の説明を続ける。
【０１０４】
図１９は、分割画像に注視点マークを合成する手順を説明する図である。
【０１０５】
「座標変換行列を導出する処理」
（５）視線分析装置１００ｂは、保持した特徴点組合せ１９７から、任意の６組の分割画像の基準特徴点データ１９６とシーン特徴点データ１９４の組合せを選択する。
次に、視線分析装置１００ｂは、ホモグラフィー行列の一般式（既述の数式２）に６組の特徴点情報を代入して、６つの式を作成して、この６つの式を解いて、座標変換行列（二次元画像座標変換関係式、既述の数式３）を導出することを既に説明した。（ステップＳ３４０）
【０１０６】
「分割画像に注視点マークを合成する処理」
（６）視線分析装置１００ｂは、シーン画像８１０の注視点の座標情報と、導出した座標変換行列を用いて、分割画像上の座標情報を算出する。（ステップＳ３５０）
（７）視線分析装置１００は、保持した特徴点組合せ１９７の分割画像の識別情報を手掛りにして、記憶手段０９１に記憶される分割画像データ１９５を参照して、該当する分割画像を呼び出す。（ステップＳ３６０）
（８）視線分析装置１００ｂは、算出した分割画像上の座標情報を用いて、呼び出した分割画像に注視点マークを合成する。（ステップＳ３７０）
【０１０７】
なお、算出した分割画像上の座標情報を手掛りにして、基準画像上の座標情報を算出手順を予め定めておき、その算出手順に従って基準画像に注視点マークを合成してもよい。
【０１０８】
図２２は、シーン画像８１０と分割画像５１５の注視点と基準画像の注視点の例である。
例示されたシーン画像８１０には、注視点マーク８１３が画像合成されている。
例示された分割画像５１５には、注視点マーク５１７が画像合成されている。
例示された基準画像５１０には、注視点マーク５１３が画像合成されている。
シーン画像の注視点マーク８１３と分割画像の注視点マーク５１７との位置関係（座標）は、互いに、導出された座標変換行列式（数式３）によって座標変換される関係にある。
分割画像の注視点マーク５１７と基準画像の注視点マーク５１３との位置関係（座標）は、平行移動の関係にある。たとえば、分割画像の原点を、基準画像上の分割画像の原点相当位置に平行移動する座標変換行列式を導出して用いればよい。
【０１０９】
図２３は、第２の実施形態における視線分析装置１００ｂの詳細な構成図である。
【０１１０】
実施例２における視線分析装置１００ｂは、第１の実施形態における視線分析装置１００に対して、以下の変更を行なったものである。
【０１１１】
記憶手段０９１は、さらに、
分割画像を識別する情報（分割画像識別情報）を含む分割画像データ１９５と、
分割画像を特定する分割画像識別情報と、座標情報と特徴量を含む分割画像の基準特徴点データ１９６と、
を記憶する。
【０１１２】
前記特徴点抽出手段１２０は、さらに、
分割画像データから分割画像特徴点を検出して、分割画像特徴点の座標情報と特徴量とを抽出して、分割画像特定情報と座標情報と特徴量を含む分割画像の基準特徴点データ１９６を作成する機能、
を実行するプログラムモジュールを備える。
【０１１３】
特徴点対応付け手段（特徴点対応付手段、特徴点組合せ手段）１３０は、
指定された分割画像の基準特徴点データ１９６の特徴量と、シーン特徴点データの特徴量とに基づいて、特徴点の類似度を判定し、最も高い類似度の高い分割画像の基準特徴点とシーン特徴点を対応付けて組み合わせて、この組合せと分割画像識別情報を含む特徴点組合せ１９７を作成する機能、
を実行するプログラムモジュールを備える。（詳細は、図１８のシーン特徴点と分割画像の基準特徴点との対応付けを説明する項で述べた）
【０１１４】
分割画像選択手段１７５は、
１つの分割画像を指定するたびに、特徴点対応付け手段１３０を呼び出して、各分割画像ごとの特徴点組合せ１９７を得た後に、特徴点組合せ１９７に含まれる組合せの個数（分割画像の基準特徴点データ１９６とシーン特徴点データ１９４の組合せ個数）を比較して、最も多い組合せ個数（評価基準）を持つ特徴点組合せ１９７を保持する機能と、（詳細は、図１８のシーン類似画像を選択する項で述べた）
保持する特徴点組合せ１９７に含まれる分割画像識別情報が識別する分割画像をシーン画像に最も合致（近似）する分割画像である最適分割画像を決定・選択する機能と、
を実行するプログラムモジュールである。（詳細は、図１８のシーン類似画像を選択する項で述べた）
【０１１５】
座標変換行列算出手段１４０は、
最適分割画像についての特徴点組合せ１９７（保持する特徴点組合せ）から選択した、６組の分割画像の基準特徴点とシーン特徴点の組合せに基づいて、分割画像の基準特徴点の座標情報とシーン特徴点の座標情報を用いて、シーン画像の座標情報をシーン類似画像の座標情報に変換する座標変換行列を算出する機能と、（詳細は、図１９の座標変換行列算出を説明する項で述べた）
分割画像の原点を、基準画像上の分割画像の原点相当位置に平行移動する座標変換行列式を導出して、分割画像の座標情報を基準画像の座標情報に変換する座標変換行列を算出する機能と、（詳細は、図２２の分割画像の注視点マーク座標と、基準画像の注視点マーク座標との関係を説明する項で述べた）
を実行するプログラムモジュールを備える。
【０１１６】
注視点マーク算出手段（注視点写像手段）１５０は、
算出した座標変換行列とシーン画像上の注視点座標情報に基づいて、シーン画像上の注視点を、最適分割画像上の座標情報に変換する機能、（詳細は、たとえば、図２０のシーン画像上の注視点マークと分割画像の注視点マークの座標の相互関係を説明する項で述べた）
を実行するプログラムモジュールを備える。
【０１１７】
画像合成手段１６０は、さらに、
最適分割画像の特徴点組合せ１９７を構成する分割画像特徴点データの分割画像特定情報を手掛りにして注視点マークを合成するための分割画像（最適分割画像）を取得する機能と、（詳細は、たとえば、図１９のシーン類似画像選択を説明する項で述べた）
変換された分割画像上の座標情報に基づいて、基準画像の座標情報を算出して注視点マークを基準画像に合成する機能と、（詳細は、たとえば、図２２のシーン画像上の注視点と分割画像の注視点マークと基準画像の座標情報の注視点マークの相互関係を説明する項で述べた）
を実行するプログラムモジュールを備える。
【０１１８】
（変形例）
なお、基準画像の基準特徴点Ｐiに分布の偏り（分布の疎密）が生じる場合がある。
このような場合には、視線計測者が、基準画像の特徴抽出が集中する画像領域と、特徴抽出がまばらに分布する画像領域とに分割した分割画像を作成すれば良い。
このとき、視線計測者は、基準画像上の基準特徴点の分布を調べて、その分布に応じて、分割する画像領域を決めれば良い。
【０１１９】
以上のように、第２の実施形態によれば、被験者が大きな対象物に近づいた場合でも、対象物の基準画像を分割することで、被験者の視線追跡が可能となる。
【符号の説明】
【０１２０】
１ 視線計測システム（第１の実施形態）
２ 視線計測システム（第２の実施形態）
１００ 第１の実施形態の視線分析装置
１００ｂ 第２の実施形態の視線分析装置
１１０ 受信手段
１２０ 特徴点抽出手段
１３０ 特徴点対応付け手段
１４０ 座標変換行列算出手段
１５０ 注視点マーク算出手段
１６０ 画像合成手段
１７５ 分割画像選択手段
１９１ 基準画像データ
１９２ 基準特徴点データ
１９４ シーン特徴点データ
１９５ 分割画像データ
１９６ 分割画像の基準特徴点データ
１９７ 特徴点組合せ
２００ 視線追跡メガネ
２０１ 赤外線光源
２０２ アイトラッキングセンサー
２０３ シーンカメラ
２０４ 処理部
２９１ シーン画像データ
２９２ 注視点データ
５１０ 基準画像
５１２ 基準特徴点
５１３ 基準チラシ画像に合成された注視点マーク
５１５ 分割画像
６１０ チラシ
６２０ 商品陳列棚
８１０ シーン画像
８１２ シーン画像に合成された特徴点マーク
８１３ シーン画像に合成された注視点マーク
【技術分野】
【０００１】
本発明は、人物の視線を推定し、視線を計測する装置、システム、方法、プログラム、記録媒体に関するものである。
本発明は特に、評価対象印刷物（たとえば、チラシ、カタログ、ポスター）による生活者の購買動向分析において、眼鏡型アイトラッキング装置（視線追跡メガネ）を用いて、被験者が評価対象印刷物を見る視線を推定・追跡することで、評価対象印刷物の掲載情報（たとえば、商品情報）に対する視線を計測する場合に有用である。
【背景技術】
【０００２】
従来、評価対象印刷物を見る人物の視線を推定・追跡して、掲載商品への視線を計測することで、注視度合いや関心度合いを解析し、生活者の購買動向を評価分析することが知られている。
生活者に適切な購買情報を提供するためには、評価対象印刷物の掲載情報を、どのように見ているかを知ることが重要となる。視線追跡方法は、生活者の関心度合いや、購買動向を把握するための有効な評価分析方法の１つである。
【０００３】
視線を推定・追跡する方法としては、視線追跡メガネを用いた方法が知られている。
たとえば、特許文献１には、視線追跡メガネを被験者の頭部に装着させて、視線追跡メガネが有する視線計測用光源の赤外光を瞳孔と角膜に照射して、その反射光を視線追跡メガネに設けられた赤外光センサーにて受光し、その受光した反射光に基づいて、瞳孔の方向を推定することで、対象物を見る視線方向を推定する技術が開示されている。このメガネを通して対象物を見る視線方向に基づいて、メガネが捉える視野の中の注視位置を算出することが可能である。
このとき、識別が可能な基準マーカーを、評価対象印刷物の所定の位置に配置することで、視線追跡メガネの基準マーカー・センサーが捉えた基準マーカーの識別情報に基づいて、視線追跡メガネの向きとメガネが捉える視野の範囲を検知することが可能となる。また、検知した視線追跡メガネの向きとメガネが捉える視野の範囲に基づいて、メガネの視野が捉える評価対象印刷物の領域を推定することが出来る。
基準マーカーには、図形マーカー（印刷物）、または、ＩＲ（infrared）マーカー（ＩＲ発信器）を用いる場合がある。
たとえば、識別可能な複数のＩＲマーカーを用いて視線を追跡する、更にＩＲセンサーを設けた視線追跡メガネ（Ｔｏｂｉｉグラスアイトラッカー、登録商標）が、非特許文献４に開示されている。非特許文献４によれば、視線追跡メガネが推定した視線方向と捉えた複数のＩＲマーカーの位置に基づいて、被験者が注視しているチラシ上の注視位置情報を算出することができる。
【０００４】
なお、本発明の視線の計測・追跡技術に関連して、画像の回転・スケール変化・照明変化等に頑健な特徴量を記述する特徴点を検出するＳｌＦＴ（Ｓｃａｌｅ‐ＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ)アルゴリズム、または、高速に画像の特徴点を抽出するＳＵＲＦ（ＳｐｅｅｄｅｄＵｐＲｏｂｕｓｔＦｅａｔｕｒｅｓ）アルゴリズムが、それぞれ、非特許文献１、２に記載されている。
なお、この２つのアルゴリズムが動作するプログラムは、ＯｐｅｎＣＶ（非特許文献５）にて利用することが可能である。
または、画像の特徴点を検出して、検出した特徴点の局所特徴量を抽出するＲａｎｄｏｍｉｚｅｄ Ｔｒｅｅアルゴリズム、もしくは、Ｆｅｒｎｓアルゴリズムが、それぞれ、非特許文献６、７に記載されている。
また、２つの平面画像間の視点変換により、一方の平面画像座標を他方の平面画像座標に変換するホモグラフィー行列を算出するアルゴリズムは、非特許文献３に記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−３１９１８７号公報（たとえば、段落「００２５」−「００２９」、図２）
【非特許文献】
【０００６】
【非特許文献１】ＤａｖｉｄＧ．Ｌｏｗｅ、“Ｄｉｓｔｉｎｃｔｉｖｅ ｉｍａｇｅ ｆｅａｔｕｒｅｓ ｆｒｏｍ ｓｃａｌｅｉｎｖａｒｉａｎｔ ｋｅｙｐｏｉｎｔｓ”、Ｉｎｔ．Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、Ｖｏｌ．６０、Ｎｏ．２、ＰＰ．９１‐１１０、２００４．
【非特許文献２】Ｈ．Ｂａｙ，Ｔ．Ｔｕｙｔｅｌａａｒｓ，ａｎｄＬ．ＶａｎＧｏｏｌ、“ＳＵＲＦ：Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ． Ｆｅａｔｕｒｅｓ”、ＩｎＥＣＣＶ、ｐｐ．４０４‐４１７、２００６．
【非特許文献３】橋本浩一、“ビジュアルサーボ−II−コンピュータビジョンの基礎”、日本バーチャルリアリティ学会論文誌、Ｖｏｌ.４、Ｎｏ．４、１９９９．
【非特許文献４】トビー・テクノロジー・ジャパン株式会社、Ｔｏｂｉｉグラスアイトラッカー、［online］［平成２３年９月８日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｔｏｂｉｉ．ｃｏｍ／ｊａ−ＪＰ／ｅｙｅ−ｔｒａｃｋｉｎｇ−ｒｅｓｅａｒｃｈ／ｊａｐａｎ／ｐｒｏｄｕｃｔｓ／ｈａｒｄｗａｒｅ/ｔｏｂｉｉ−ｇｌａｓｓｅｓ−ｅｙｅ−ｔｒａｃｋｅｒ／＞
【非特許文献５】ＯｐｅｎＣＶ、ＳＩＦＴ／ＳＵＲＦ、［online］［平成２３年９月８日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｏｐｅｎｃｖ．ｊｐ／ｏｐｅｎｃｖ−２．２／ｃｐｐ／ｆｅａｔｕｒｅｓ２ｄ＿ｆｅａｔｕｒｅ＿ｄｅｔｅｃｔｉｏｎ＿ａｎｄ＿ｄｅｓｃｒｉｐｔｉｏｎ．ｈｔｍｌ＞
【非特許文献６】Ｖ． Ｌｅｐｅｔｉｔ ａｎｄ Ｐ． Ｆｕａ, “Ｋｅｙｐｏｉｎｔ Ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ Ｒａｎｄｏｍｉｚｅｄ Ｔｒｅｅｓ”， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ．２８， Ｎｏ．９， ｐｐ。１４６５−１４７９， ２００６.
【非特許文献７】Ｍ．Ｏｚｕｙｓａｌ，Ｐ．Ｆｕａ， Ｖ．Ｌｅｐｅｔｉｔ，―Ｆａｓｔ Ｋｅｙｐｏｉｎｔ Ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ Ｔｅｎ Ｌｉｎｅｓ ｏｆ Ｃｏｄｅ．，Ｐｒｏｃ． ｏｆ Ｉｎｔ．Ｃｏｎｆ． ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（２００７）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、被験者の頭の向きと距離を知るために評価対象印刷物の表面に図形マーカーを設けることは、美観を損ね、被験者の注意力を散漫にさせて、無用な視線の動きを生じさせるので、視線の計測品質の低下を招き好ましくない。
また、ＩＲマーカーを用いる場合には、評価対象印刷物の裏面に設ければ美観を損ねることは無いが、ＩＲが印刷物（紙）を透過するときに減衰するために、受光できないことがあり、位置計測の精度が低下する。
しかも、裏面に設けたＩＲマーカーは、評価対象印刷物を裏返して閲覧する場合には、図形マーカーと同様にＩＲマーカーが目に入るので、被験者の注意力を散漫にさせて、無用な視線の動きを生じるので、視線の計測品質の低下を招き好ましくない。
【０００８】
本発明は以上のような点を解決するためになされたものであって、本発明の課題は、評価対象印刷物の掲載情報の注目度を分析評価するときに、簡単に、被験者に無用な視線の動きを生じさせずに高い精度で、被験者の視線を推定して追跡することで、評価対象印刷物に対する視線を計測することが可能な装置、システム、方法、プログラム、記録媒体を提供することである。
【課題を解決するための手段】
【０００９】
本発明は、以下の各態様に記載の手段により、前記課題を解決する。
すなわち、本願発明の第１の発明は、
基準画像と、座標情報と特徴量を含む基準特徴点データと、を記憶する記憶手段と、
視線追跡メガネからシーン画像データとシーン画像上の注視点座標情報を含む注視点データを受信する受信手段と、
シーン画像データからシーン特徴点を検出して、シーン特徴点の特徴量を抽出して、シーン特徴点データを作成する特徴点抽出手段と、
基準特徴点データの特徴量と、シーン特徴点データの特徴量を用いて、類似度を判定し、最も高い類似度の基準特徴点とシーン特徴点の組合せを求める特徴点組合せ手段と、
組み合わされた基準特徴点データの座標情報とシーン特徴点データの座標情報に基づいて、座標変換行列を算出する座標変換行列算出手段と、
算出した座標変換行列とシーン画像上の注視点座標情報に基づいて、シーン画像上の注視点を基準画像上の座標情報に変換する注視点写像手段と、
変換された基準画像上の座標情報に基づいて、注視点マークを生成して、基準画像に合成する画像合成手段と、
を備えることを特徴とする視線分析装置である。
【００１０】
このように、基準マーカーを用いる代わりに、基準特徴点データの座標情報とシーン特徴点データの座標情報にを用いることで、シーン画像上の注視点座標情報を、基準画像上の注視点座標情報に変換することが可能である。
【００１１】
本願発明の第２の発明は、
視線追跡メガネと視線分析装置とが接続可能に構成される視線計測システムであって、
前記視線追跡メガネは、
メガネを通して見るシーン画像データを生成するシーンカメラと、
赤外線光源から発した赤外光が眼球から反射した反射光を受光する赤外線センサーと、
赤外線センサーが受光した反射光情報に基づいて、シーン画像上の注視点座標情報を算出する処理手段と、
シーン画像データとシーン画像上の注視点座標情報を含む注視点データとを視線分析装置に送信する送信手段と、
を備えるメガネであって、
前記視線分析装置は、
基準画像と、座標情報と特徴量を含む基準特徴点データと、を記憶する記憶手段と、
視線追跡メガネからシーン画像データとシーン画像上の注視点座標情報を含む注視点データとを受信する受信手段と、
シーン画像データからシーン特徴点を検出して、シーン特徴点の特徴量を抽出して、シーン特徴点データを作成する特徴点抽出手段と、
基準特徴点データの特徴量と、シーン特徴点データの特徴量を用いて、類似度を判定し、最も高い類似度の基準特徴点とシーン特徴点の組合せを求める特徴点組合せ手段と、
組み合わされた基準特徴点データの座標情報とシーン特徴点データの座標情報に基づいて、座標変換行列を算出する座標変換行列算出手段と、
算出した座標変換行列とシーン画像上の注視点座標情報に基づいて、シーン画像上の注視点を基準画像上の座標情報に変換する注視点写像手段と、
変換された基準画像上の座標情報に基づいて、注視点マークを生成して、基準画像に合成する画像合成手段と、
を備える分析装置である、
ことを特徴とする視線計測システムである。
【００１２】
本願発明の第３の発明は、
基準画像と、座標情報と特徴量を含む基準特徴点データとを用いる視線計測方法であって、
視線追跡メガネが、メガネを通して見るシーン画像データを生成するシーン撮像ステップと、
視線追跡メガネが、赤外線光源から発した赤外光が眼球から反射した反射光を受光する赤外線受光ステップと、
視線追跡メガネが、赤外線センサーが受光した反射光情報に基づいて、シーン画像上の注視点座標情報を算出する算出処理ステップと、
視線分析装置が、シーン画像データからシーン特徴点を検出して、シーン特徴点の特徴量を抽出して、シーン特徴点データを作成する特徴点抽出ステップと、
視線分析装置が、基準特徴点データの特徴量と、シーン特徴点データの特徴量を用いて、類似度を判定し、最も高い類似度の基準特徴点とシーン特徴点の組合せを求める特徴点組合せステップと、
視線分析装置が、組み合わされた基準特徴点データの座標情報とシーン特徴点データの座標情報に基づいて、座標変換行列を算出する座標変換行列算出ステップと、
視線分析装置が、算出した座標変換行列とシーン画像上の注視点座標情報に基づいて、シーン画像上の注視点を基準画像上の座標情報に変換する注視点写像ステップと、
視線分析装置が、変換された基準画像上の座標情報に基づいて、注視点マークを生成して、基準画像に合成する画像合成ステップと、
を含んだ手順でなされることを特徴とする視線計測方法である。
【００１３】
本願発明の第４の発明は、さらに、
分割画像を識別する情報を含む分割画像データと、
分割画像を識別する情報と座標情報と特徴量を含む分割画像の基準特徴点データと、
を記憶する記憶手段と、
視線追跡メガネからシーン画像データとシーン画像上の注視点座標情報を含む注視点データを受信する受信手段と、
シーン画像データからシーン特徴点を検出して、シーン特徴点の特徴量を抽出して、シーン特徴点データを作成する特徴点抽出手段と、
シーン特徴点データの特徴量と分割画像の基準特徴点データの特徴量とに基づき、各シーン特徴点に対する最も高い類似度評価の高い分割画像の基準特徴点を求めて、求めた分割画像の基準特徴点とシーン特徴点の組合せと分割画像を識別する情報を含む特徴点組合せを作成する特徴点組合せ手段と、
作成した特徴点組合せに基づいて、最も多い組合せ個数を持つ組合せを決定して、決定した特徴点組合せに含まれる分割画像を識別する情報が識別する分割画像を選択する分割画像選択手段と、
検出した組合せに含まれる分割画像の基準特徴点データの座標情報とシーン特徴点データの座標情報に基づいて、座標変換行列を算出する座標変換行列算出手段と、
算出した座標変換行列とシーン画像上の注視点座標情報に基づいて、シーン画像上の注視点を分割画像上の座標情報に変換する注視点写像手段と、
変換された分割画像上の座標情報に基づいて、注視点マークを生成して、選択した基準画像に合成する画像合成手段と、
を備えることを特徴とする視線分析装置である。
【００１４】
本願発明の第４の発明の１つの態様は、
前記特徴点組合せ手段は、さらに、
シーン特徴点に対する分割画像の基準特徴点のいずれもが所定の類似度評価レベルを満たさない場合には、このシーン特徴点に対する分割画像の基準特徴点の組合せは存在しないと決定する、
ことを特徴とする視線分析装置である。
【００１５】
本願発明の第４の発明の異なる１つの態様は、
前記予め定められた評価基準は、
特徴点組合せにおけるシーン特徴点と分割画像の基準特徴点の組合せ個数である、
ことを特徴とする視線分析装置である。
【００１６】
本願発明の第４の発明の異なる１つの態様は、
前記視線分析装置において、
前記記憶手段は、さらに、
基準画像を記憶して、
前記画像合成手段は、さらに、
変換された分割画像上の座標情報に基づいて、基準画像の座標情報を算出して注視点マークを基準画像に合成する、
ことを特徴とする視線分析装置である。
【００１７】
本願発明の第５の発明は、
視線追跡メガネと視線分析装置とが接続可能に構成される視線計測システムであって、
前記視線追跡メガネは、
メガネを通して見るシーン画像データを生成するシーンカメラと、
赤外線光源から発した赤外光が眼球から反射した反射光を受光する赤外線センサーと、
赤外線センサーが受光した反射光情報に基づいて、シーン画像上の注視点座標情報を算出する処理手段と、
シーン画像データとシーン画像上の注視点座標情報を含む注視点データとを視線分析装置に送信する送信手段と、
を備えるメガネであって、
前記視線分析装置は、
分割画像を識別する情報を含む分割画像データと、
分割画像を識別する情報と座標情報と特徴量を含む分割画像の基準特徴点データと、
を記憶する記憶手段と、
視線追跡メガネからシーン画像データとシーン画像上の注視点座標情報を含む注視点データを受信する受信手段と、
シーン画像データからシーン特徴点を検出して、シーン特徴点の特徴量を抽出して、シーン特徴点データを作成する特徴点抽出手段と、
各分割画像ごとに、シーン特徴点データの特徴量と分割画像の基準特徴点データの特徴量とに基づき、各シーン特徴点に対する最も高い類似度評価の分割画像の基準特徴点を求めて、各シーン特徴点に対する分割画像の基準特徴点の組合せである特徴点組合せを決定する特徴点組合せ手段と、
作成した特徴点組合せに基づいて、予め定められた評価基準により最適な分割画像を選択する分割画像選択手段と、
選択された最適な分割画像の基準特徴点データの座標情報とシーン特徴点データの座標情報に基づいて、座標変換行列を算出する座標変換行列算出手段と、
算出した座標変換行列とシーン画像上の注視点座標情報に基づいて、シーン画像上の注視点を分割画像上の座標情報に変換する注視点写像手段と、
変換された分割画像上の座標情報に基づいて、注視点マークを生成して、選択した基準画像に合成する画像合成手段と、
を備える分析装置である、
ことを特徴とする視線計測システムである。
【００１８】
本願発明の第５の発明の１つの態様は、
前記視線分析装置において、
前記特徴点組合せ手段は、さらに、
シーン特徴点に対する分割画像の基準特徴点のいずれもが所定の類似度評価レベルを満たさない場合には、このシーン特徴点に対する分割画像の基準特徴点の組合せは存在しないと決定する、
ことを特徴とする視線計測システムである。
【００１９】
本願発明の第５の発明の異なる１つの態様は、
前記視線分析装置において、
前記予め定められた評価基準は、
特徴点組合せにおけるシーン特徴点と分割画像の基準特徴点の組合せ個数である、
ことを特徴とする視線分析装置であることを特徴とする視線計測システムである。
【００２０】
本願発明の第５の発明の異なる１つの態様は、
前記視線分析装置において、
前記記憶手段は、さらに、
基準画像を記憶して、
前記画像合成手段は、さらに、
変換された分割画像上の座標情報に基づいて、基準画像の座標情報を算出して注視点マークを基準画像に合成する、
ことを特徴とする視線計測システムである。
【００２１】
本願発明の第６の発明の態様は、
分割画像を特定する情報を含む分割画像データと、分割画像を特定する分割画像特定情報と座標情報と特徴量を含む分割画像の基準特徴点データとを用いる視線計測方法であって、
視線追跡メガネが、メガネを通して見るシーン画像データを生成するシーン撮像ステップと、
視線追跡メガネが、赤外線光源から発した赤外光が眼球から反射した反射光を受光する赤外線受光ステップと、
視線追跡メガネが、赤外線センサーが受光した反射光情報に基づいて、シーン画像上の注視点座標情報を算出する算出処理ステップと、
視線分析装置が、シーン画像データからシーン特徴点を検出して、シーン特徴点の特徴量を抽出して、シーン特徴点データを作成する特徴点抽出ステップと、
視線分析装置が、各分割画像ごとに、シーン特徴点データの特徴量と分割画像の基準特徴点データの特徴量とに基づき、各シーン特徴点に対する最も高い類似度評価の分割画像の基準特徴点を求めて、各シーン特徴点に対する分割画像の基準特徴点の組合せである特徴点組合せを決定する特徴点組合せステップと、
視線分析装置が、作成した特徴点組合せに基づいて、予め定められた評価基準により最適な分割画像を選択する分割画像選択ステップと、
視線分析装置が、選択された最適な分割画像の基準特徴点データの座標情報とシーン特徴点データの座標情報に基づいて、座標変換行列を算出する座標変換行列算出ステップと、
視線分析装置が、算出した座標変換行列とシーン画像上の注視点座標情報に基づいて、シーン画像上の注視点を分割画像上の座標情報に変換する注視点写像ステップと、
視線分析装置が、変換された分割画像上の座標情報に基づいて、注視点マークを生成して、選択した基準画像に合成する画像合成ステップと、
を含んだ手順でなされることを特徴とする視線計測方法である。
【００２２】
本願発明の第６の発明の１つの態様は、
前記特徴点組合せステップは、さらに、
シーン特徴点に対する分割画像の基準特徴点のいずれもが所定の類似度評価レベルを満たさない場合には、このシーン特徴点に対する分割画像の基準特徴点の組合せは存在しないと決定する、
手順でなされることを特徴とする視線計測方法である。
【００２３】
本願発明の第６の発明の異なる１つの態様は、
前記予め定められた評価基準は、
特徴点組合せにおけるシーン特徴点と分割画像の基準特徴点の組合せ個数である、
手順でなされることを特徴とする視線計測方法である。
【００２４】
本願発明の第６の発明の異なる１つの態様は、
さらに、基準画像を用いて、
変換された分割画像上の座標情報に基づいて、基準画像の座標情報を算出して注視点マークを基準画像に合成するステップ、
を含んだ手順でなされることを特徴とする視線計測方法である。
【００２５】
本願発明の第７の発明は、コンピュータに組込むことによって、コンピュータを第１から第４の発明までのいずれかに記載の視線分析装置として動作させるコンピュータプログラムである。
【００２６】
本願発明の第８の発明は、第７の発明に記載のコンピュータプログラムを記録したコンピュータ読取り可能な記録媒体である。
【発明の効果】
【００２７】
本願発明によれば、
（１）基準マーカーを用いる必要がないので、被験者が通常と同じ状態で評価対象印刷物を閲覧できることから、閲覧に専念でき、正確な視線の動きを計測することが可能である。
（２）評価対象印刷物の特徴点情報を用いて、視線の動きを注視点マークとして評価対象印刷物の基準画像上に再現することが可能である。
（３）評価対象印刷物の特徴点情報は印刷ページごとに異なることからページを識別することができるので、複数ページの評価対象印刷物の視線を計測する場合にも、各ページごとに視線の動きを再現することが可能である。
【図面の簡単な説明】
【００２８】
【図１】図１は、視線計測システム１の全体構成を説明する図である。（第１の実施形態）
【図２】図２は、視線計測システム１の操作と処理の大まかな手順を説明する図である。
【図３】図３は、視線追跡メガネ２００を説明する図である。
【図４】図４は、各座標系の関係を説明する図である。
【図５】図５は、シーン画像とシーン特徴点の例である。
【図６】図６は、シーン特徴点データ１９４の形式を説明する図である。
【図７】図７は、基準画像と基準特徴点の例である。
【図８】図８は、基準特徴点の組合わせを説明する図である。
【図９】図９は、組み合わせられた特徴点の例である。
【図１０】図１０は、ホモグラフィー行列の説明図である。
【図１１】図１１は、基準画像上に合成された注視点マークの例である。
【図１２】図１２は、分析装置１００の詳細な構成図である。
【図１３】図１２は、分析装置１００のフローチャートである。
【図１４】図１３は、注視点マークを合成した基準画像の例
【図１５】（第２の実施形態）図１５は、視線計測システム２の全体構成を説明する図である。
【図１６】（第２の実施形態）図１６は、商品棚の正面画像の例である。
【図１７】（第２の実施形態）図１７は、特徴点組合せ１９７を説明する図である。
【図１８】（第２の実施形態）図１８は、分割画像を用いた視線追跡の処理手順（その１）を説明する図である。
【図１９】（第２の実施形態）図１９は、分割画像を用いた視線追跡の処理手順（その２）を説明する図である。
【図２０】（第２の実施形態）図２０は、対応付けられた特徴点の例（その１）である。
【図２１】（第２の実施形態）図２１は、対応付けられた特徴点の例（その２）である。
【図２２】（第２の実施形態）図２２は、各画像の注視点の相互関係である。
【図２３】（第２の実施形態）図２３は、視線分析装置１００ｂの詳細な構成図である。
【発明を実施するための形態】
【００２９】
以下、図面等を参照しながら、本発明の実施の形態について、更に詳しく説明する。
【００３０】
（第１の実施形態）
図１は、本発明の実施の形態による視線計測システム１の概要を説明する図である。
視線計測システム１は、視線分析装置１００と、視線追跡メガネ２００とが接続可能に構成される。
【００３１】
視線分析装置１００は、既存のパーソナルコンピューターに、後述する専用プログラムを搭載したものである。
【００３２】
視線追跡メガネ２００は、評価対象印刷物６１０（以下、チラシ）を見る視線方向を推定する。
視線追跡メガネ２００は、赤外線光源と赤外線センサーとカメラとから構成される。
【００３３】
図２は、視線計測システム１の操作と処理の大まかな手順を説明する図である。
【００３４】
（１）被験者は、視線追跡メガネ２００を目に掛ける。
【００３５】
（２）被験者がチラシ６１０の閲覧を開始すると、視線追跡メガネ２００は、チラシ６１０を撮像して、シーン画像を作成する。同時に、赤外線を眼球に照射して、受光した反射光に基づいて視線方向を推定し、撮像したシーン画像上の注視点位置情報を算出する。
（３）被験者の視線計測作業が終わったら、視線計測者が、視線追跡メガネ２００を視線分析装置１００に接続すると、視線追跡メガネ２００は、シーン画像と注視点位置情報を視線分析装置１００に送信する。
【００３６】
（４）視線分析装置１００は、シーン画像と注視点位置情報を視線追跡メガネ２００から受信する。
（５）視線分析装置１００は、撮像したシーン画像から特徴点情報を抽出し、予め記憶する基準画像の特徴点情報と類似度を比較する。次に、最も類似度の高い特徴点同士を組み合わせて、この組み合わせた特徴点情報に基づいて、座標変換行列を算出する。（詳細は後述する）
【００３７】
ここで、基準画像が複数個ある場合には、まず、各基準画像ごとに、シーン画像の特徴点情報を基準画像の特徴点情報の類似度を比較して最も類似度の高い特徴点同士を組み合わせて、次に、各特徴点の同士を組み合わせの中から、最も類似度の高い組み合わせを選び、その組合せの特徴点情報に基づいて、座標変換行列を算出する。
【００３８】
（６）視線分析装置１００は、 座標変換行列を用いて、受信したシーン画像上の注視点位置座標を基準画像上の座標に変換する。次に、座標変換した注視点位置に基づいて、基準画像に注視点マークを合成して表示する。
【００３９】
なお、撮影されたシーン画像の中から撮影時間内の所望の時刻におけるシーン画像を用いることで、撮影時間内での所望の時刻における基準画像上での注視点座標が得られる。
たとえば、撮影された全てのシーン画像を用いることで、撮影中の全ての注視点の情報（視線の移動の様子など）を得ることが出来る。
【００４０】
図３は、視線追跡メガネ２００を説明する図である。
図３に例示されている視線追跡メガネ２００は、赤外線光源２０１と赤外線センサー２０２とシーンカメラ２０３と処理部２０４とを備える。
【００４１】
赤外線光源２０１は、赤外線２０７を被験者の眼球３０１（角膜（瞳孔）や強膜（白目））に照射する。
赤外線センサー２０２は、眼球３０１から反射された赤外線２０８（反射光）を受光する。
シーンカメラ２０３は、二次元撮像素子である。シーンカメラ２０３は、被験者の視野ほぼ同等の光景（注視点を中心としたチラシ画像）を撮像する。
【００４２】
処理部２０４は、演算処理回路と、記憶回路と、コネクターと、二次電池とを備える。
処理部２０４は、たとえば、眼球３０１の角膜と強膜の反射率の違いを利用した強膜反射法（リンバスト・トラッキング法。特許文献１による）に基づいて、受光した反射光２０８を用いて視線を計測して、視線の方向を推定する。また、処理部２０４は、推定した視線の方向と撮像したチラシ画像とを、通信接続した視線分析装置１００に送信する。
なお、処理部２０４は、強膜反射法の代わりに、瞳孔−角膜反射法や、角膜反射法、ダブルプリキニエ法などを用いることも可能である。
コネクターは、視線追跡メガネ２００と視線分析装置１００とに通信接続する。
二次電池は、処理部自身の各回路と、赤外線光源２０１と赤外線センサー２０２とシーンカメラ２０３とに、電力を供給する。
【００４３】
ここで、図４を用いて、視線計測システム１が扱う座標系の説明をする。
視線計測システム１が扱う座標系は、三次元空間座標系６００（Ｘm、Ｙm、Ｚm）と、視線追跡メガネ座標系７００（Ｘc、Ｙc、Ｚc）と、シーン画像平面座標系８００（Ｘp、Ｙp）と、基準画像平面座標系５００（Ｘr、Ｙr）とである。
三次元空間座標系（Ｘm、Ｙm、Ｚm）は、計測対象のチラシ６１０を原点とする三次元空間である。三次元空間座標系には、チラシ６１０（撮影対象物）と、視線追跡メガネのシーンカメラ２０３が配置されている。
【００４４】
視線追跡メガネ座標系７００（Ｘc、Ｙc、Ｚc）は、視線追跡メガネのシーンカメラ２０３を原点７０１とする三次元空間である。
ここで、シーンカメラ２０３は被験者の目に相当し、シーンカメラ２０３の原点７０１は、被験者の視点に相当する。
【００４５】
シーン画像平面座標系８００（Ｘp、Ｙp）は、シーンカメラ２０３が撮影したシーン画像８１０（二次元画像）を現わす二次元空間である。このシーンカメラ２０３が撮影した二次元画像８１０は、三次元空間座標系に配置された撮影対象物６１０を透視変換した透視画像である。
シーン画像８１０は、この場合には、チラシ６１０の一部を撮像した部分画像である。
【００４６】
視線追跡メガネ座標系７００の原点７０１が被験者の視点に相当するので、視線方向情報７０２に基づく視線７０２がシーン画像８１０と交わる点８１１が、注視点となる。
【００４７】
基準画像平面座標系５００（Ｘr、Ｙr）の基準画像とは、チラシ６１０の正面画像に相当する画像である。チラシ６１０を正面から撮像した画像であっても良いし、チラシ６１０の印刷データから生成した画像でも良い。
【００４８】
図５は、シーン画像とシーン特徴点の例である。
【００４９】
図５の（ａ）には、シーン画像８１０が例示されている。
例示されているシーン画像８１０は、シーンカメラ２０３が撮像するチラシ画像であって、被験者がメガネを通して見るチラシと同等の画像である。たとえば、被験者がチラシに近づいた場合に、メガネを通して見えるチラシの一部に相当する。
【００５０】
図５の（ｂ）には、注視点マークが合成されたシーン画像８１０が例示されている。
例示されているシーン画像８１０には、被験者が注目するチラシ上の注視点８１１の位置に相当する位置に、注視点マーク８１２が合成されている。
この注視点マークの位置は、すでに説明したように、シーンカメラ２０３の原点７０１と視線方向情報７０２に基づいて算出した交点８１１（視線７０２がシーン画像８１０と交わる点、注視点）に相当する。
【００５１】
図５の（ｃ）には、シーン画像の特徴点Ｑが例示されている。
例示されているシーン画像８１０には、検出したシーン特徴点Ｑの一例が示されている。シーン特徴点Ｑは、たとえば、非特許文献１に記載のＳｌＦＴアルゴリズムにてシーン画像から検出した特徴点である。
または、非特許文献２に記載のＳＵＲＦ（ＳｐｅｅｄｅｄＵｐＲｏｂｕｓｔＦｅａｔｕｒｅｓ）アルゴリズムにてシーン画像からシーン特徴点Ｑを検出して、局所特徴量を抽出してもよい。
または、非特許文献６に記載のＲａｎｄｏｍｉｚｅｄ Ｔｒｅｅアルゴリズムにてシーン画像からシーン特徴点Ｑを検出して、局所特徴量を抽出してもよい。
または、非特許文献７に記載のＦｅｒｎｓアルゴリズムにてシーン画像からシーン特徴点Ｑを検出して、局所特徴量を抽出してもよい。
【００５２】
図６は、シーン特徴点データ１９４を説明する図である。
シーン特徴点データ１９４は、公知のＳｌＦＴアルゴリズムにて、シーン画像データから検出したシーン特徴点ＱのＳＩＦＴ特徴量を含んで記述される点情報である。
シーン特徴点データ１９４のデータ形式は、特徴点番号１９４１と、座標値１９４２と、特徴量１９４３と、を含んで構成される。
特徴点番号１９４１は、シーン画像の特徴点に対して、検出された順に割り振られた連続番号（特定可能な数字列）を記述するデータ項目である。
座標値１９４２は、シーン画像の特徴点の座標情報（シーン画像平面座標系）を記述するデータ項目である。
特徴量１９４３は、ＳｌＦＴアルゴリズムにて、シーン画像から抽出したシーン特徴点Ｑの局所特徴量（ＳＩＦＴ特徴量）を記述するデータ項目である。
ＳＩＦＴ特徴量は、ＳｌＦＴアルゴリズムにて検出した特徴点の周辺領域を４×４の正方形グリッドに分割して、各グリッド内の８方向に対して求めた勾配ヒストグラムから構成される１２８次元の局所特徴量ｑである。
【００５３】
図７は、基準画像と基準特徴点Ｐの例である。
例示されている基準画像５１０は、チラシ６１０を正面から撮像した正面画像である。
基準画像５１０には、基準特徴点Ｐ５１２の一例が示されている。
基準特徴点Ｐ５１２は、シーン画像のシーン特徴点Ｑと同様に、非特許文献１に記載のＳｌＦＴアルゴリズムにて基準画像から検出した特徴点である。
なお、基準画像６１０は、チラシ印刷データから作成しても良い。
【００５４】
次に、基準画像の基準特徴点Ｐとシーン画像のシーン特徴点Ｑの中から、同一のものを抽出して対応付ける処理について説明する。
【００５５】
図８は、基準特徴点Ｐとシーン特徴点Ｑの類似度を算出する処理を説明する図である。ここで、基準特徴点データ１９２の形式は、シーン特徴点データ１９４の形式と同じである。ただし、座標値１９２２は、基準画像の特徴点の座標情報（基準画像平面座標系）を記述するデータ項目である。
（１）基準特徴点Ｐiの基準特徴点データ１９２ｉのＳＩＦＴ特徴量（ｐi1、・・、ｐin 、・・、ｐi128）と、シーン特徴点Ｑjのシーン特徴点データ１９４ｊのＳＩＦＴ特徴量（ｑj1 、・・ 、ｑjn 、・ ・、ｑj128）を用いて、基準特徴点Ｐiとシーン特徴点Ｑjの１２８次元ユ−クリッド空間Ｒ128の距離ｄijを全てのＰiとＱjの組合せに対して算出する。（ステップＳ１４１）
（２）すべての基準特徴点Ｐに対してそれぞれｄijが最小かつ、所定の閾値以下となるシーン特徴点Ｑを求めて、そのシーン特徴点Ｑが対する基準特徴点Ｐに最も類似度が高いと決定する。（ステップＳ１４２）
（３）基準特徴点Ｐiに対して最も高い類似度を算出したシーン特徴点Ｑjを対応づける。
【００５６】
ここで、組み合わせられた特徴点Ｐiと特徴点Ｑjの類似度が最も高いということは、基準チラシ画像上の基準特徴点Ｐiとシーン画像上のシーン特徴点Ｑjとが同一の特徴点である可能性が高いことを意味する。
【００５７】
図９は、組み合わされた基準特徴点Ｐ５１２とシーン特徴点Ｑ８１２とを図示した例である。
図示された基準チラシ画像の基準特徴点Ｐ５１２が、シーン画像のシーン特徴点Ｑ８１２と対応付けられていて、同一の特徴点であることを示している。たとえば、基準特徴点Ｐ1とシーン特徴点Ｑ20とが対応する特徴点であることを示している。
【００５８】
図１０は、ホモグラフィー行列を説明する図である。
【００５９】
図１０の（ａ）は、ホモグラフィー行列を説明する図である。
ホモグラフィー行列とは、２つの平面画像間の視点変換により、一方の平面画像座標を他方の平面画像座標に変換する関係式であることが数学的にすでに分かっている座標変換行列（二次元画像座標変換関係式）である。
ホモグラフィー行列の一般式は、未知数としての行列要素を６個（ｆx、ｆy、Ｃx、Ｃy、ｒ1、ｒ2）含む。
ここで、Ｘ、Ｙは、一方のカメラ画像の特徴点の座標値であって、x、yは、他方のカメラ画像の特徴点の座標値である。
ｆx、ｆy、Ｃx、Ｃyは、投影変換行列の要素であり、カメラの内部行列の要素に相当する。
sは、スケール係数である。
ｒ1、ｒ2、tは、回転・並行移動行列の要素である。
【００６０】
図１０の（ｂ）は、所定のホモグラフィー行列を説明する図である。
fa、fb、Ｃa、Ｃb、ｒa、ｒbは、所定のホモグラフィー行列の要素の値である。
ホモグラフィー行列の一般式に対して、６組の平面画像座標の組合せ（（Ｘ、Ｙ）と（x、y）の組合せ）を適用して、６つの式を作成して、この６式を解いて、未知数である６個の行列要素の解（fa、fb、Ｃa、Ｃb、ｒa、ｒb）を求めることで、所望の座標変換行列を算出することができる。
【００６１】
そこで、６組の対応付けられた基準特徴点６１２の座標（Ｘ、Ｙ）とシーン特徴点８１２の座標（x、y）の組合せに基づいて算出した座標変換行列（ホモグラフィー行列）を用いることにより、シーン画像上の注視点８１１の座標値を基準チラシ画像上の注視点５１３の座標値に変換することが可能となる。
【００６２】
図１１は、基準画像５１０に合成された注視点マーク５１３の例である。
例示されている基準画像５１０には、シーン画像８２０に合成されている注視点マーク８１３の位置に相当する位置に、注視点マーク５１３が合成されている。
注視点マーク５１３の位置は、６組の対応付けられた基準チラシ画像とシーン画像の特徴点の組合せに基づいて算出された座標変換行列（ホモグラフィー行列）を用いることによって、シーン画像上の注視点の座標値を、基準チラシ画像上の注視点の座標値に変換して求められたものである。
【００６３】
図１２は、視線分析装置１００の詳細な構成図である。
視線分析装置１００は、ＣＰＵ１０１と、表示部１０２と、接続部１０６と、記憶部１０９と専用プログラムなどを備える。
ＣＰＵ１０１と、表示部１０２と、接続部１０６と、記憶部１０９とは、ＢＵＳ１９９で接続される。
【００６４】
ＣＰＵ１０１は、中央演算装置である。
表示部１０２は、液晶表示装置や有機ＥＬ表示装置である。
接続部１０６は、コネクター（たとえば、ＵＳＢコネクター）である。
接続部１０６は、視線追跡メガネ２００の情報処理装置２０４と接続する。
【００６５】
記憶部１０９は、半導体メモリーや磁気メモリーである。
記憶部１０９は、基準格納領域０９１と、シーン格納領域０９２と、注視点格納領域０９３と、を備えて、オペレーティングシステム１８５と、専用プログラムとを記憶する。
基準格納領域０９１は、基準画像データ１９１と基準特徴点データ１９２の集合を格納する。
シーン格納領域０９２は、シーン画像データ２９１とシーン特徴点データ１９４を格納する。
注視点格納領域０９３は、注視点データ２９２を格納する。注視点データ２９２は、注視点座標値を含んで構成される。
オペレーティングシステム１８５は、視線分析装置１００のハードウェア（たとえば、ＣＰＵ１０１と、表示部１０２と、接続部１０６と、記憶部１０９と、ＢＵＳ１９９など）を管理・制御して、応用ソフトウエア（たとえば、専用プログラム）に対して、これらのハードウェアを利用できるようなサービスを提供する基本ソフトウエアである。
【００６６】
このほかに、受信手段１１０と、特徴点抽出手段１２０と、特徴点対応付け手段１３０と、座標変換行列算出手段１４０と、注視点マーク算出手段１５０と、画像合成手段１６０と、を備える。これらの各手段は、それぞれの専用プログラムによって実現され、専用プログラムがＣＰＵ１０１に解釈・実行されることによって機能する。
【００６７】
受信手段１１０は、視線追跡メガネ２００からシーン画像データ２９１とシーン画像の注視点位置情報を含む注視点データ２９２を受信する機能を実行するプログラムモジュールである。
【００６８】
特徴点抽出手段１２０は、シーン画像データ２９１からシーン特徴点を検出して、シーン特徴点の局所特徴量（ＳＩＦＴ特徴量）を抽出して、シーン特徴点データ１９４を作成する機能を実行するプログラムモジュールである。（詳細は、図６のシーン特徴点データを説明する項で述べた）
【００６９】
特徴点対応付け手段１３０は、基準特徴点データ１９２のＳＩＦＴ特徴量（１２８次元データ）と、シーン特徴点データ１９４のＳＩＦＴ特徴量（１２８次元データ）を用いて、１２８次元ユークリッド空間の距離（２個の１２８次元データを構成する各要素の差の二乗の総和の平方根）を算出し類似度とする機能と、
最小の距離を最も類似度が高いとして、最も高い類似度を算出したときの基準特徴点データ１９２とシーン特徴点データ１９４を組み合わせる機能と、
を実行するプログラムモジュールである。（詳細は、図８の特徴点の組合せを説明する項で述べた）
【００７０】
座標変換行列算出手段１４０は、対応付けられた基準特徴点データ１９２とシーン特徴点データ１９４の組合せの中から、任意の６組を選び出し、選び出した組の基準特徴点データ１９２の座標（Ｘ、Ｙ）とシーン特徴点データ１９４の座標（x、y）に基づいて、座標変換行列を算出する機能を実行するプログラムモジュールである。（詳細は、図１０のホモグラフィー行列を説明する項で述べた）
【００７１】
注視点マーク算出手段１５０は、算出した座標変換行列に基づいて、シーン画像上の注視点位置情報を、基準画像上の注視点の位置情報に変換する機能を実行するプログラムモジュールである。（詳細は、図１０のホモグラフィー行列を説明する項で述べた）
【００７２】
画像合成手段１６０は、変換された基準画像上の注視点の座標値に基づいて、注視点マーク８１１を生成して、基準画像に合成する機能を実行するプログラムモジュールである。
【００７３】
図１３は、視線分析装置１００が注視点マークが合成された基準画像５１０を表示するフローチャートである。
【００７４】
（１）特徴点抽出手段１２０は、ＳＩＦＴアルゴリズムを用いて、シーン画像データ２９１から検出したシーン特徴点のＳＩＦＴ特徴量を抽出して、シーン特徴点データ１９４を作成する。（ステップＳ２００）
（２）特徴点対応付け手段１３０は、記憶手段に記憶する基準特徴点データ１９２の１２８次元のＳＩＦＴ特徴量ｐijと、シーン特徴点データ１９４の１２８次元のＳＩＦＴ特徴量ｑijとを用いて、特徴点ＰiとＱjの類似度ｄijとして、１２８次元ユークリッド空間の距離（下記の数式１）を全てのＰiとＱjの組合せに対して算出して、最も類似度の値の小さいもの（距離が最小の）を類似度が高い特徴点として決定して、基準特徴点データ１９２とシーン特徴点データ１９４を組み合わせる。（ステップＳ２１０）
【数１】
ｉ，ｊ＝１，・・・，１２８
【００７５】
（３）座標変換行列算出手段１４０は、基準特徴点データ１９２とシーン特徴点データ１９４の組合せの中から、任意の６組の組合せを選択する。次に、座標変換行列算出手段１４０は、ホモグラフィー行列の一般式（下記の数式２）に６組の特徴点情報を代入して、６つの式を作成する。最後に、座標変換行列算出手段１４０は、６つの式を解いて、ｆx、ｆy、Ｃx、Ｃy、ｒ1、ｒ2、を算出して、座標変換行列（二次元画像座標変換関係式、下記の数式３）を導出する。（ステップＳ２２０）
【数２】
【数３】
ここで、ｆa、ｆb、Ｃa、Ｃb、ｒa、ｒbは、算出した二次元画像座標変換関係式の行列要素である。
【００７６】
（４）注視点マーク算出手段１５０は、算出した座標変換行列に基づいて、シーン画像上の注視点座標値を、基準画像上の注視点の座標値に変換する。（ステップＳ２３０）
（５）画像合成手段１６０は、変換された基準画像上の注視点の座標値に基づいて、注視点マーク８１１を生成して、基準画像に合成して、注視点マークが合成された基準画像６１１を表示する。（ステップＳ２４０）
【００７７】
図１４は、その他の注視点マークの例である。
【００７８】
図１４の（ａ）には、注視点の移動を表記する注視点マークが例示されている。
注視点の移動の順序を表す数字と、マーク間を結び注視点の移動方向を示す矢印を付した線分にて注視点マークを表記している。
【００７９】
図１４の（ｂ）には、累積注視時間を表記する注視点マークが例示されている。
累積注視時間を、注視点マークの大きさや色の濃淡にて注視点マークを表記している。
【００８０】
以上のように、本発明によれば、
（１）基準マーカーを用いずに、被験者が日常に目にするチラシと同じ状態のチラシを用いて閲覧できるので、視線の動きが自然であって、雑音のない、正確な視線の動きを計測することが可能である。
（２）チラシとシーン画像の特徴点情報を用いることで、視線の動きを注視点マークとしてチラシ上に再現することが可能である。
（３）評価対象印刷物が複数ページにわたる場合でも、各ページごとに視線の動きを再現することが可能である。
このように、日常と同じ状態のチラシを用いて、手間を掛けずに被験者の正確な視線追跡（視線計測）ができる。
【００８１】
（第２の実施形態）
ところで、商品陳列棚上の視線を追跡する場合には、商品陳列棚を撮影した基準画像の特徴点Ｐiと、商品陳列棚に寄ったシーン画像のシーン特徴点Ｑiとを対応付けて、シーン画像上の注視点を座標変換する必要がある。
ところが、商品陳列棚に寄ったシーン画像に相当する画像領域は、商品陳列棚を撮影した基準画像に対して小領域であるために、シーン画像に相当する画像領域に含まれる基準特徴点Ｐiの個数が少ない。従って、基準特徴点Ｐiとシーン特徴点Ｑiとの対応付けを行なう特徴点対応付処理ができず、座標変換行列を算出できないという不具合が生じることがある。
【００８２】
そこで、基準画像を幾つかに分割した分割画像Ｓmを用いることで、特徴点対応付処理を可能にして、基準画像とシーン画像のサイズの差が大きくなることが想定される被験者の視線追跡を可能にする実施形態を以下に説明する。
この実施形態（第２の実施形態）によれば、商品陳列棚上の被験者の視線を追跡するような場合でも、問題なく視線計測が可能となる。
【００８３】
図１５は、第２の実施形態による視線計測システム２の概要を説明する図である。
視線計測システム２は、第１の実施形態と同様に、視線分析装置１００ｂと、視線追跡メガネ２００とが接続可能に構成される。なお、第１の実施形態と同じ装置、構成を用いる場合には同じ符号を付して、重複する説明は省略する。
【００８４】
視線追跡メガネ２００は、商品陳列棚６２０を見る視線方向を推定する。
【００８５】
商品陳列棚６２０は、飲料容器（商品）の陳列棚で複数の棚（段）を備え、たとえば、コンビニエンスストアに設置される。
商品陳列棚６２０は、陳列された商品が配置される複数の段から構成されている。
【００８６】
図１６は、商品陳列棚の画像（基準画像と分割画像）を説明する図である。
図１６の（ａ）には、商品の陳列棚６２０を正面から撮影した正面画像としての基準画像５１０が例示されている。
例示された基準画像５１０の商品の陳列棚６２０は、たとえば、カートンが配置される複数の段から構成される陳列棚と、ＰＥＴボトルが配置される複数の段から構成される陳列棚と、を組み合わせて構成される。
【００８７】
図１６の（ｂ）には、基準画像を幾つかに分割した分割画像Ｓm５１５が例示されている。
例示された分割画像Ｓm５１５は、基準画像を６分割（縦２分割×横３分割）した例である。（ｍ＝１、２、・・、６）
なお、各分割画像Ｓm５１５からは、特徴点対応付処理に充分に必要な個数の基準特徴点Ｐiを抽出することができる。
なお、例示された分割画像Ｓmの大きさは同じであるが、異なる大きさの分割画像で構成しても良い。たとえば、商品棚の上段の分割画像は小さく、下段の分割画像は大きくしても良い。
【００８８】
図１８と図１９を用いて、第２の実施形態における基準画像の分割画像Ｓmを用いた視線追跡の処理手順を説明する図である。
【００８９】
図１８は、シーン画像に最も類似する分割画像（最適分割画像）Ｓ*を選択する手順を説明する図である。
分割画像から最適分割画像Ｓ*を選択するためには、シーン画像のシーン特徴点に最も類似度の高い分割画像の基準特徴点（最も類似度評価の高い分割画像の基準特徴点）を求める処理と、類似度の高いシーン特徴点と分割画像の基準特徴点の組合せ数に基づいて分割画像Ｓmからシーン類似画像を選択する分割画像選択処理を実行する。
【００９０】
「分割画像とシーン画像の特徴点対応付処理」
数式１を用いて、シーン画像の各シーン特徴点に対する最も類似度評価の高い基準特徴点を求める手順を既に説明したが、基準画像の代わりに分割画像を用いて同様の処理を行なう。以下にその詳細な手順を再度説明する。
（１）視線分析装置１００ｂは、シーン画像の各シーン特徴点に最も類似度の高い分割画像の基準特徴点を、以下の手順により求める。
（１−１）まず、複数の分割画像から１つの分割画像Ｓmを選ぶ。（ステップＳ３１０）
【００９１】
（１−２）次に、シーン画像の全てのシーン特徴点Ｑjに対して、各シーン特徴点Ｑjと最も高い類似度と評価される分割画像の基準特徴点Ｐiを１つ対応付けて、この分割画像Ｓmにおける特徴点組合せ１９７を作成する処理を、以下の手順により実施する。（ステップＳ３２０）
【００９２】
（１−２−１）シーン画像の１つのシーン特徴点Ｑjを選ぶ。
【００９３】
（１−２−２）このシーン特徴点Ｑjのシーン特徴点データ１９４の１２８次元のＳＩＦＴ特徴量ｑikと、選んだ分割画像Ｓmの任意の基準特徴点Ｐiの基準特徴点データ１９６の１２８次元のＳＩＦＴ特徴量ｐikと、を、既に説明した数式１に適用して、１２８次元ユークリッド空間の距離を算出して類似度ｄijを求める類似度算出処理を行なう。
（１−２−３）この類似度算出処理を、選んだ分割画像Ｓmの全ての基準特徴点Ｐiについて行なう。その結果、ｄ1j、・・・、ｄl(m)jのl（m）個の類似度の値が求められる。但し、l（m）は、分割画像Ｓmの基準特徴点Ｐの個数である。
【００９４】
（１−２−４）次に、ｄ1j、・・・、ｄl(m)jに基づいて、所定の閾値以下であって、かつ、最も値の小さい（距離が最小）類似度を与える特徴点Ｐiを１つ選択して、この基準特徴点Ｐiをシーン特徴点Ｑjに対する最も高い類似度の特徴点と評価して組（Ｑj、Ｐi）決定する。
なお、ｄ1j、・・・、ｄl(m)jが全て所定の閾値以上の場合には、この閾値で定められる類似度評価レベルを満たす特徴点Ｐiが存在しないから、組（Ｑj、Ｐi）が存在しないとする。
（１−２−５）組（Ｑj、Ｐi）のシーン特徴点Ｑjのシーン特徴点データ１９４と、基準特徴点Ｐiの基準特徴点データ１９６と、分割画像の識別情報と、を含む特徴点組合せ１９７を作成して一時記憶する。
【００９５】
（１−２−６）次のシーン特徴点Ｑj+1 に対して、（１−２−１）から（１−２−５）までを繰り返して、分割画像Ｓmにおける特徴点組合せ１９７を作成して一時記憶する。
このようにして、全てのシーン特徴点Ｑjに対する、分割画像Ｓmに関しての特徴点組合せ１９７を作成して一時記憶する。
【００９６】
（１−３）さらに、残りの分割画像から、次の分割画像Ｓm+1を選んで、（１−２）を繰り返して、分割画像Ｓm+1における特徴点組合せ１９７を作成して一時記憶する。このようにして、全ての分割画像は、分割画像ごとに特徴点組合せ１９７が作成されて一時記憶される。（ステップＳ３２５）
【００９７】
「シーン画像に対応する分割画像を決定する処理」
（２）視線分析装置１００ｂは、一時記憶された各分割画像における特徴点組合せ１９７に含まれる組合せ個数を計数する。
次に、視線分析装置１００ｂは、計数した組合せ個数を比較して、最も多い組合せ個数（評価基準）の特徴点組合せ１９７を保持し、保持した特徴点組合せ１９７に含まれる分割画像の識別情報が識別する分割画像を、シーン画像に最も合致（近似）する分割画像（最適分割画像）として決定する。（ステップＳ３３０）
【００９８】
なお、評価基準として、分割画像の特徴点組合せ１９７を構成する組（Ｑj、Ｐi）の類似度ｄijの平均値（類似度ｄijの総和を組合せ個数で除算した値）を用いても良い。この場合は、最小の上記平均値を与える分割画像が選択される。
【００９９】
ここで、図２０と図２１を用いて、高い類似度評価の特徴点ＰiとＱjを説明する。
【０１００】
図２０は、分割画像５１５の基準特徴点５１６とシーン画像８１０のシーン特徴点８１２との組合せの例である。
例示された分割画像５１５には、カートンの基準特徴点５１６として、たとえば、Ｒ1が例示されている。
シーン画像８１０には、カートンのシーン特徴点８１２として、たとえば、Ｑ210が例示されている。
基準特徴点Ｒ1と、シーン特徴点Ｑ210とは、類似度が高い特徴点として決定され組み合わされている。
【０１０１】
図１７は、特徴点組合せ１９７を説明する図である。
特徴点組合せ１９７は、分割画像識別情報１９７１と対応付けた特徴点データ部１９７２から構成される。
分割画像識別情報１９７１は、たとえば、識別可能な数字列である。
対応付けた特徴点データ部１９７２は、シーン特徴点データ１９４と分割画像の基準特徴点データ１９６との組合せである。
【０１０２】
図２１は、分割画像の基準特徴点５１６とシーン画像のシーン特徴点８１２との組合せの例（２）である。
例示された分割画像５１５には、ＰＥＴボトルの基準特徴点５１６として、たとえば、Ｒ77が例示されている。
シーン画像８１０には、ＰＥＴボトルのシーン特徴点８１２として、たとえば、Ｑ330が例示されている。
基準特徴点Ｒ77と、シーン特徴点Ｑ330とは、類似度が高い特徴点として決定され組み合わされている。
【０１０３】
視線追跡の処理手順の説明を続ける。
【０１０４】
図１９は、分割画像に注視点マークを合成する手順を説明する図である。
【０１０５】
「座標変換行列を導出する処理」
（５）視線分析装置１００ｂは、保持した特徴点組合せ１９７から、任意の６組の分割画像の基準特徴点データ１９６とシーン特徴点データ１９４の組合せを選択する。
次に、視線分析装置１００ｂは、ホモグラフィー行列の一般式（既述の数式２）に６組の特徴点情報を代入して、６つの式を作成して、この６つの式を解いて、座標変換行列（二次元画像座標変換関係式、既述の数式３）を導出することを既に説明した。（ステップＳ３４０）
【０１０６】
「分割画像に注視点マークを合成する処理」
（６）視線分析装置１００ｂは、シーン画像８１０の注視点の座標情報と、導出した座標変換行列を用いて、分割画像上の座標情報を算出する。（ステップＳ３５０）
（７）視線分析装置１００は、保持した特徴点組合せ１９７の分割画像の識別情報を手掛りにして、記憶手段０９１に記憶される分割画像データ１９５を参照して、該当する分割画像を呼び出す。（ステップＳ３６０）
（８）視線分析装置１００ｂは、算出した分割画像上の座標情報を用いて、呼び出した分割画像に注視点マークを合成する。（ステップＳ３７０）
【０１０７】
なお、算出した分割画像上の座標情報を手掛りにして、基準画像上の座標情報を算出手順を予め定めておき、その算出手順に従って基準画像に注視点マークを合成してもよい。
【０１０８】
図２２は、シーン画像８１０と分割画像５１５の注視点と基準画像の注視点の例である。
例示されたシーン画像８１０には、注視点マーク８１３が画像合成されている。
例示された分割画像５１５には、注視点マーク５１７が画像合成されている。
例示された基準画像５１０には、注視点マーク５１３が画像合成されている。
シーン画像の注視点マーク８１３と分割画像の注視点マーク５１７との位置関係（座標）は、互いに、導出された座標変換行列式（数式３）によって座標変換される関係にある。
分割画像の注視点マーク５１７と基準画像の注視点マーク５１３との位置関係（座標）は、平行移動の関係にある。たとえば、分割画像の原点を、基準画像上の分割画像の原点相当位置に平行移動する座標変換行列式を導出して用いればよい。
【０１０９】
図２３は、第２の実施形態における視線分析装置１００ｂの詳細な構成図である。
【０１１０】
実施例２における視線分析装置１００ｂは、第１の実施形態における視線分析装置１００に対して、以下の変更を行なったものである。
【０１１１】
記憶手段０９１は、さらに、
分割画像を識別する情報（分割画像識別情報）を含む分割画像データ１９５と、
分割画像を特定する分割画像識別情報と、座標情報と特徴量を含む分割画像の基準特徴点データ１９６と、
を記憶する。
【０１１２】
前記特徴点抽出手段１２０は、さらに、
分割画像データから分割画像特徴点を検出して、分割画像特徴点の座標情報と特徴量とを抽出して、分割画像特定情報と座標情報と特徴量を含む分割画像の基準特徴点データ１９６を作成する機能、
を実行するプログラムモジュールを備える。
【０１１３】
特徴点対応付け手段（特徴点対応付手段、特徴点組合せ手段）１３０は、
指定された分割画像の基準特徴点データ１９６の特徴量と、シーン特徴点データの特徴量とに基づいて、特徴点の類似度を判定し、最も高い類似度の高い分割画像の基準特徴点とシーン特徴点を対応付けて組み合わせて、この組合せと分割画像識別情報を含む特徴点組合せ１９７を作成する機能、
を実行するプログラムモジュールを備える。（詳細は、図１８のシーン特徴点と分割画像の基準特徴点との対応付けを説明する項で述べた）
【０１１４】
分割画像選択手段１７５は、
１つの分割画像を指定するたびに、特徴点対応付け手段１３０を呼び出して、各分割画像ごとの特徴点組合せ１９７を得た後に、特徴点組合せ１９７に含まれる組合せの個数（分割画像の基準特徴点データ１９６とシーン特徴点データ１９４の組合せ個数）を比較して、最も多い組合せ個数（評価基準）を持つ特徴点組合せ１９７を保持する機能と、（詳細は、図１８のシーン類似画像を選択する項で述べた）
保持する特徴点組合せ１９７に含まれる分割画像識別情報が識別する分割画像をシーン画像に最も合致（近似）する分割画像である最適分割画像を決定・選択する機能と、
を実行するプログラムモジュールである。（詳細は、図１８のシーン類似画像を選択する項で述べた）
【０１１５】
座標変換行列算出手段１４０は、
最適分割画像についての特徴点組合せ１９７（保持する特徴点組合せ）から選択した、６組の分割画像の基準特徴点とシーン特徴点の組合せに基づいて、分割画像の基準特徴点の座標情報とシーン特徴点の座標情報を用いて、シーン画像の座標情報をシーン類似画像の座標情報に変換する座標変換行列を算出する機能と、（詳細は、図１９の座標変換行列算出を説明する項で述べた）
分割画像の原点を、基準画像上の分割画像の原点相当位置に平行移動する座標変換行列式を導出して、分割画像の座標情報を基準画像の座標情報に変換する座標変換行列を算出する機能と、（詳細は、図２２の分割画像の注視点マーク座標と、基準画像の注視点マーク座標との関係を説明する項で述べた）
を実行するプログラムモジュールを備える。
【０１１６】
注視点マーク算出手段（注視点写像手段）１５０は、
算出した座標変換行列とシーン画像上の注視点座標情報に基づいて、シーン画像上の注視点を、最適分割画像上の座標情報に変換する機能、（詳細は、たとえば、図２０のシーン画像上の注視点マークと分割画像の注視点マークの座標の相互関係を説明する項で述べた）
を実行するプログラムモジュールを備える。
【０１１７】
画像合成手段１６０は、さらに、
最適分割画像の特徴点組合せ１９７を構成する分割画像特徴点データの分割画像特定情報を手掛りにして注視点マークを合成するための分割画像（最適分割画像）を取得する機能と、（詳細は、たとえば、図１９のシーン類似画像選択を説明する項で述べた）
変換された分割画像上の座標情報に基づいて、基準画像の座標情報を算出して注視点マークを基準画像に合成する機能と、（詳細は、たとえば、図２２のシーン画像上の注視点と分割画像の注視点マークと基準画像の座標情報の注視点マークの相互関係を説明する項で述べた）
を実行するプログラムモジュールを備える。
【０１１８】
（変形例）
なお、基準画像の基準特徴点Ｐiに分布の偏り（分布の疎密）が生じる場合がある。
このような場合には、視線計測者が、基準画像の特徴抽出が集中する画像領域と、特徴抽出がまばらに分布する画像領域とに分割した分割画像を作成すれば良い。
このとき、視線計測者は、基準画像上の基準特徴点の分布を調べて、その分布に応じて、分割する画像領域を決めれば良い。
【０１１９】
以上のように、第２の実施形態によれば、被験者が大きな対象物に近づいた場合でも、対象物の基準画像を分割することで、被験者の視線追跡が可能となる。
【符号の説明】
【０１２０】
１ 視線計測システム（第１の実施形態）
２ 視線計測システム（第２の実施形態）
１００ 第１の実施形態の視線分析装置
１００ｂ 第２の実施形態の視線分析装置
１１０ 受信手段
１２０ 特徴点抽出手段
１３０ 特徴点対応付け手段
１４０ 座標変換行列算出手段
１５０ 注視点マーク算出手段
１６０ 画像合成手段
１７５ 分割画像選択手段
１９１ 基準画像データ
１９２ 基準特徴点データ
１９４ シーン特徴点データ
１９５ 分割画像データ
１９６ 分割画像の基準特徴点データ
１９７ 特徴点組合せ
２００ 視線追跡メガネ
２０１ 赤外線光源
２０２ アイトラッキングセンサー
２０３ シーンカメラ
２０４ 処理部
２９１ シーン画像データ
２９２ 注視点データ
５１０ 基準画像
５１２ 基準特徴点
５１３ 基準チラシ画像に合成された注視点マーク
５１５ 分割画像
６１０ チラシ
６２０ 商品陳列棚
８１０ シーン画像
８１２ シーン画像に合成された特徴点マーク
８１３ シーン画像に合成された注視点マーク
【特許請求の範囲】
【請求項１】
基準画像と、座標情報と特徴量を含む基準特徴点データと、を記憶する記憶手段と、
視線追跡メガネからシーン画像データとシーン画像上の注視点座標情報を含む注視点データを受信する受信手段と、
シーン画像データからシーン特徴点を検出して、シーン特徴点の特徴量を抽出して、シーン特徴点データを作成する特徴点抽出手段と、
基準特徴点データの特徴量と、シーン特徴点データの特徴量を用いて、類似度を判定し、最も類似度の高い基準特徴点とシーン特徴点の組合せを求める特徴点組合せ手段と、
組み合わされた基準特徴点データの座標情報とシーン特徴点データの座標情報に基づいて、座標変換行列を算出する座標変換行列算出手段と、
算出した座標変換行列とシーン画像上の注視点座標情報に基づいて、シーン画像上の注視点を基準画像上の座標情報に変換する注視点写像手段と、
変換された基準画像上の座標情報に基づいて、注視点マークを生成して、基準画像に合成する画像合成手段と、
を備えることを特徴とする視線分析装置。
【請求項２】
視線追跡メガネと視線分析装置とが接続可能に構成される視線計測システムであって、
前記視線追跡メガネは、
メガネを通して見るシーン画像データを生成するシーンカメラと、
赤外線光源から発した赤外光が眼球から反射した反射光を受光する赤外線センサーと、
赤外線センサーが受光した反射光情報に基づいて、シーン画像上の注視点座標情報を算出する処理手段と、
シーン画像データとシーン画像上の注視点座標情報を含む注視点データとを視線分析装置に送信する送信手段と、
を備えるメガネであって、
前記視線分析装置は、
基準画像と、座標情報と特徴量を含む基準特徴点データと、を記憶する記憶手段と、
視線追跡メガネからシーン画像データとシーン画像上の注視点座標情報を含む注視点データとを受信する受信手段と、
シーン画像データからシーン特徴点を検出して、シーン特徴点の特徴量を抽出して、シーン特徴点データを作成する特徴点抽出手段と、
基準特徴点データの特徴量と、シーン特徴点データの特徴量を用いて、類似度を判定し、最も類似度の高い基準特徴点とシーン特徴点の組合せを求める特徴点組合せ手段と、
組み合わされた基準特徴点データの座標情報とシーン特徴点データの座標情報に基づいて、座標変換行列を算出する座標変換行列算出手段と、
算出した座標変換行列とシーン画像上の注視点座標情報に基づいて、シーン画像上の注視点を基準画像上の座標情報に変換する注視点写像手段と、
変換された基準画像上の座標情報に基づいて、注視点マークを生成して、基準画像に合成する画像合成手段と、
を備える分析装置である、
ことを特徴とする視線計測システム。
【請求項３】
基準画像と、座標情報と特徴量を含む基準特徴点データとを用いる視線計測方法であって、
視線追跡メガネが、メガネを通して見るシーン画像データを生成するシーン撮像ステップと、
視線追跡メガネが、赤外線光源から発した赤外光が眼球から反射した反射光を受光する赤外線受光ステップと、
視線追跡メガネが、赤外線センサーが受光した反射光情報に基づいて、シーン画像上の注視点座標情報を算出する算出処理ステップと、
視線分析装置が、シーン画像データからシーン特徴点を検出して、シーン特徴点の特徴量を抽出して、シーン特徴点データを作成する特徴点抽出ステップと、
視線分析装置が、基準特徴点データの特徴量と、シーン特徴点データの特徴量を用いて、類似度を判定し、最も類似度の高い基準特徴点とシーン特徴点の組合せを求める特徴点組合せステップと、
視線分析装置が、組み合わされた基準特徴点データの座標情報とシーン特徴点データの座標情報に基づいて、座標変換行列を算出する座標変換行列算出ステップと、
視線分析装置が、算出した座標変換行列とシーン画像上の注視点座標情報に基づいて、シーン画像上の注視点を基準画像上の座標情報に変換する注視点写像ステップと、
視線分析装置が、変換された基準画像上の座標情報に基づいて、注視点マークを生成して、基準画像に合成する画像合成ステップと、
を含んだ手順でなされることを特徴とする視線計測方法。
【請求項４】
分割画像を識別する情報を含む分割画像データと、
分割画像を識別する情報と座標情報と特徴量を含む分割画像の基準特徴点データと、
を記憶する記憶手段と、
視線追跡メガネからシーン画像データとシーン画像上の注視点座標情報を含む注視点データを受信する受信手段と、
シーン画像データからシーン特徴点を検出して、シーン特徴点の特徴量を抽出して、シーン特徴点データを作成する特徴点抽出手段と、
各分割画像ごとに、シーン特徴点データの特徴量と分割画像の基準特徴点データの特徴量とに基づき、各シーン特徴点に対する最も高い類似度評価の分割画像の基準特徴点を求めて、各シーン特徴点に対する分割画像の基準特徴点の組合せである特徴点組合せを決定する特徴点組合せ手段と、
作成した特徴点組合せに基づいて、予め定められた評価基準により最適な分割画像を選択する分割画像選択手段と、
選択された最適な分割画像の基準特徴点データの座標情報とシーン特徴点データの座標情報に基づいて、座標変換行列を算出する座標変換行列算出手段と、
算出した座標変換行列とシーン画像上の注視点座標情報に基づいて、シーン画像上の注視点を分割画像上の座標情報に変換する注視点写像手段と、
変換された分割画像上の座標情報に基づいて、注視点マークを生成して、選択した基準画像に合成する画像合成手段と、
を備えることを特徴とする視線分析装置。
【請求項５】
請求項４に記載の視線分析装置であって、
前記特徴点組合せ手段は、さらに、
シーン特徴点に対する分割画像の基準特徴点のいずれもが所定の類似度評価レベルを満たさない場合には、このシーン特徴点に対する分割画像の基準特徴点の組合せは存在しないと決定する、
ことを特徴とする視線分析装置。
【請求項６】
請求項５に記載の視線分析装置であって、
前記予め定められた評価基準は、
特徴点組合せにおけるシーン特徴点と分割画像の基準特徴点の組合せ個数である、
ことを特徴とする視線分析装置。
【請求項７】
請求項４に記載の視線分析装置であって、
前記記憶手段は、さらに、
基準画像を記憶して、
前記画像合成手段は、さらに、
変換された分割画像上の座標情報に基づいて、基準画像の座標情報を算出して注視点マークを基準画像に合成する、
ことを特徴とする視線分析装置。
【請求項８】
視線追跡メガネと視線分析装置とが接続可能に構成される視線計測システムであって、
前記視線追跡メガネは、
メガネを通して見るシーン画像データを生成するシーンカメラと、
赤外線光源から発した赤外光が眼球から反射した反射光を受光する赤外線センサーと、
赤外線センサーが受光した反射光情報に基づいて、シーン画像上の注視点座標情報を算出する処理手段と、
シーン画像データとシーン画像上の注視点座標情報を含む注視点データとを視線分析装置に送信する送信手段と、
を備えるメガネであって、
前記視線分析装置は、
分割画像を識別する情報を含む分割画像データと、
分割画像を識別する情報と座標情報と特徴量を含む分割画像の基準特徴点データと、
を記憶する記憶手段と、
視線追跡メガネからシーン画像データとシーン画像上の注視点座標情報を含む注視点データを受信する受信手段と、
シーン画像データからシーン特徴点を検出して、シーン特徴点の特徴量を抽出して、シーン特徴点データを作成する特徴点抽出手段と、
各分割画像ごとに、シーン特徴点データの特徴量と分割画像の基準特徴点データの特徴量とに基づき、各シーン特徴点に対する最も高い類似度評価の分割画像の基準特徴点を求めて、各シーン特徴点に対する分割画像の基準特徴点の組合せである特徴点組合せを決定する特徴点組合せ手段と、
作成した特徴点組合せに基づいて、予め定められた評価基準により最適な分割画像を選択する分割画像選択手段と、
選択された最適な分割画像の基準特徴点データの座標情報とシーン特徴点データの座標情報に基づいて、座標変換行列を算出する座標変換行列算出手段と、
算出した座標変換行列とシーン画像上の注視点座標情報に基づいて、シーン画像上の注視点を分割画像上の座標情報に変換する注視点写像手段と、
変換された分割画像上の座標情報に基づいて、注視点マークを生成して、選択した基準画像に合成する画像合成手段と、
を備える分析装置である、
ことを特徴とする視線計測システム。
【請求項９】
請求項８に記載の視線分析装置であって、
前記特徴点組合せ手段は、さらに、
シーン特徴点に対する分割画像の基準特徴点のいずれもが所定の類似度評価レベルを満たさない場合には、このシーン特徴点に対する分割画像の基準特徴点の組合せは存在しないと決定する、
ことを特徴とする視線分析装置。
【請求項１０】
請求項９に記載の視線分析装置であって、
前記予め定められた評価基準は、
特徴点組合せにおけるシーン特徴点と分割画像の基準特徴点の組合せ個数である、
ことを特徴とする視線分析装置。
【請求項１１】
請求項８に記載の視線計測システムであって、
前記視線分析装置において、
前記記憶手段は、さらに、
基準画像を記憶して、
前記画像合成手段は、さらに、
変換された分割画像上の座標情報に基づいて、基準画像の座標情報を算出して注視点マークを基準画像に合成する、
ことを特徴とする視線計測システム。
【請求項１２】
分割画像を特定する情報を含む分割画像データと、分割画像を特定する分割画像特定情報と座標情報と特徴量を含む分割画像の基準特徴点データとを用いる視線計測方法であって、
視線追跡メガネが、メガネを通して見るシーン画像データを生成するシーン撮像ステップと、
視線追跡メガネが、赤外線光源から発した赤外光が眼球から反射した反射光を受光する赤外線受光ステップと、
視線追跡メガネが、赤外線センサーが受光した反射光情報に基づいて、シーン画像上の注視点座標情報を算出する算出処理ステップと、
視線分析装置が、シーン画像データからシーン特徴点を検出して、シーン特徴点の特徴量を抽出して、シーン特徴点データを作成する特徴点抽出ステップと、
視線分析装置が、各分割画像ごとに、シーン特徴点データの特徴量と分割画像の基準特徴点データの特徴量とに基づき、各シーン特徴点に対する最も高い類似度評価の分割画像の基準特徴点を求めて、各シーン特徴点に対する分割画像の基準特徴点の組合せである特徴点組合せを決定する特徴点組合せステップと、
視線分析装置が、作成した特徴点組合せに基づいて、予め定められた評価基準により最適な分割画像を選択する分割画像選択ステップと、
視線分析装置が、選択された最適な分割画像の基準特徴点データの座標情報とシーン特徴点データの座標情報に基づいて、座標変換行列を算出する座標変換行列算出ステップと、
視線分析装置が、算出した座標変換行列とシーン画像上の注視点座標情報に基づいて、シーン画像上の注視点を分割画像上の座標情報に変換する注視点写像ステップと、
視線分析装置が、変換された分割画像上の座標情報に基づいて、注視点マークを生成して、選択した基準画像に合成する画像合成ステップと、
を含んだ手順でなされることを特徴とする視線計測方法。
【請求項１３】
請求項１２に記載の視線計測方法であって、
前記特徴点組合せステップは、さらに、
シーン特徴点に対する分割画像の基準特徴点のいずれもが所定の類似度評価レベルを満たさない場合には、このシーン特徴点に対する分割画像の基準特徴点の組合せは存在しないと決定する、
手順でなされることを特徴とする視線計測方法。
【請求項１４】
請求項１３に記載の視線計測方法であって、
前記予め定められた評価基準は、
特徴点組合せにおけるシーン特徴点と分割画像の基準特徴点の組合せ個数である、
手順でなされることを特徴とする視線計測方法。
【請求項１５】
請求項１２に記載の視線計測方法であって、
さらに、基準画像を用いて、
変換された分割画像上の座標情報に基づいて、基準画像の座標情報を算出して注視点マークを基準画像に合成するステップ、
を含んだ手順でなされることを特徴とする視線計測方法。
【請求項１６】
コンピュータに組込むことによって、コンピュータを請求項１から１２のいずれか１項に記載の視線分析装置として動作させるコンピュータプログラム。
【請求項１７】
請求項１６に記載のコンピュータプログラムを記録したコンピュータ読取り可能な記録媒体。
【請求項１】
基準画像と、座標情報と特徴量を含む基準特徴点データと、を記憶する記憶手段と、
視線追跡メガネからシーン画像データとシーン画像上の注視点座標情報を含む注視点データを受信する受信手段と、
シーン画像データからシーン特徴点を検出して、シーン特徴点の特徴量を抽出して、シーン特徴点データを作成する特徴点抽出手段と、
基準特徴点データの特徴量と、シーン特徴点データの特徴量を用いて、類似度を判定し、最も類似度の高い基準特徴点とシーン特徴点の組合せを求める特徴点組合せ手段と、
組み合わされた基準特徴点データの座標情報とシーン特徴点データの座標情報に基づいて、座標変換行列を算出する座標変換行列算出手段と、
算出した座標変換行列とシーン画像上の注視点座標情報に基づいて、シーン画像上の注視点を基準画像上の座標情報に変換する注視点写像手段と、
変換された基準画像上の座標情報に基づいて、注視点マークを生成して、基準画像に合成する画像合成手段と、
を備えることを特徴とする視線分析装置。
【請求項２】
視線追跡メガネと視線分析装置とが接続可能に構成される視線計測システムであって、
前記視線追跡メガネは、
メガネを通して見るシーン画像データを生成するシーンカメラと、
赤外線光源から発した赤外光が眼球から反射した反射光を受光する赤外線センサーと、
赤外線センサーが受光した反射光情報に基づいて、シーン画像上の注視点座標情報を算出する処理手段と、
シーン画像データとシーン画像上の注視点座標情報を含む注視点データとを視線分析装置に送信する送信手段と、
を備えるメガネであって、
前記視線分析装置は、
基準画像と、座標情報と特徴量を含む基準特徴点データと、を記憶する記憶手段と、
視線追跡メガネからシーン画像データとシーン画像上の注視点座標情報を含む注視点データとを受信する受信手段と、
シーン画像データからシーン特徴点を検出して、シーン特徴点の特徴量を抽出して、シーン特徴点データを作成する特徴点抽出手段と、
基準特徴点データの特徴量と、シーン特徴点データの特徴量を用いて、類似度を判定し、最も類似度の高い基準特徴点とシーン特徴点の組合せを求める特徴点組合せ手段と、
組み合わされた基準特徴点データの座標情報とシーン特徴点データの座標情報に基づいて、座標変換行列を算出する座標変換行列算出手段と、
算出した座標変換行列とシーン画像上の注視点座標情報に基づいて、シーン画像上の注視点を基準画像上の座標情報に変換する注視点写像手段と、
変換された基準画像上の座標情報に基づいて、注視点マークを生成して、基準画像に合成する画像合成手段と、
を備える分析装置である、
ことを特徴とする視線計測システム。
【請求項３】
基準画像と、座標情報と特徴量を含む基準特徴点データとを用いる視線計測方法であって、
視線追跡メガネが、メガネを通して見るシーン画像データを生成するシーン撮像ステップと、
視線追跡メガネが、赤外線光源から発した赤外光が眼球から反射した反射光を受光する赤外線受光ステップと、
視線追跡メガネが、赤外線センサーが受光した反射光情報に基づいて、シーン画像上の注視点座標情報を算出する算出処理ステップと、
視線分析装置が、シーン画像データからシーン特徴点を検出して、シーン特徴点の特徴量を抽出して、シーン特徴点データを作成する特徴点抽出ステップと、
視線分析装置が、基準特徴点データの特徴量と、シーン特徴点データの特徴量を用いて、類似度を判定し、最も類似度の高い基準特徴点とシーン特徴点の組合せを求める特徴点組合せステップと、
視線分析装置が、組み合わされた基準特徴点データの座標情報とシーン特徴点データの座標情報に基づいて、座標変換行列を算出する座標変換行列算出ステップと、
視線分析装置が、算出した座標変換行列とシーン画像上の注視点座標情報に基づいて、シーン画像上の注視点を基準画像上の座標情報に変換する注視点写像ステップと、
視線分析装置が、変換された基準画像上の座標情報に基づいて、注視点マークを生成して、基準画像に合成する画像合成ステップと、
を含んだ手順でなされることを特徴とする視線計測方法。
【請求項４】
分割画像を識別する情報を含む分割画像データと、
分割画像を識別する情報と座標情報と特徴量を含む分割画像の基準特徴点データと、
を記憶する記憶手段と、
視線追跡メガネからシーン画像データとシーン画像上の注視点座標情報を含む注視点データを受信する受信手段と、
シーン画像データからシーン特徴点を検出して、シーン特徴点の特徴量を抽出して、シーン特徴点データを作成する特徴点抽出手段と、
各分割画像ごとに、シーン特徴点データの特徴量と分割画像の基準特徴点データの特徴量とに基づき、各シーン特徴点に対する最も高い類似度評価の分割画像の基準特徴点を求めて、各シーン特徴点に対する分割画像の基準特徴点の組合せである特徴点組合せを決定する特徴点組合せ手段と、
作成した特徴点組合せに基づいて、予め定められた評価基準により最適な分割画像を選択する分割画像選択手段と、
選択された最適な分割画像の基準特徴点データの座標情報とシーン特徴点データの座標情報に基づいて、座標変換行列を算出する座標変換行列算出手段と、
算出した座標変換行列とシーン画像上の注視点座標情報に基づいて、シーン画像上の注視点を分割画像上の座標情報に変換する注視点写像手段と、
変換された分割画像上の座標情報に基づいて、注視点マークを生成して、選択した基準画像に合成する画像合成手段と、
を備えることを特徴とする視線分析装置。
【請求項５】
請求項４に記載の視線分析装置であって、
前記特徴点組合せ手段は、さらに、
シーン特徴点に対する分割画像の基準特徴点のいずれもが所定の類似度評価レベルを満たさない場合には、このシーン特徴点に対する分割画像の基準特徴点の組合せは存在しないと決定する、
ことを特徴とする視線分析装置。
【請求項６】
請求項５に記載の視線分析装置であって、
前記予め定められた評価基準は、
特徴点組合せにおけるシーン特徴点と分割画像の基準特徴点の組合せ個数である、
ことを特徴とする視線分析装置。
【請求項７】
請求項４に記載の視線分析装置であって、
前記記憶手段は、さらに、
基準画像を記憶して、
前記画像合成手段は、さらに、
変換された分割画像上の座標情報に基づいて、基準画像の座標情報を算出して注視点マークを基準画像に合成する、
ことを特徴とする視線分析装置。
【請求項８】
視線追跡メガネと視線分析装置とが接続可能に構成される視線計測システムであって、
前記視線追跡メガネは、
メガネを通して見るシーン画像データを生成するシーンカメラと、
赤外線光源から発した赤外光が眼球から反射した反射光を受光する赤外線センサーと、
赤外線センサーが受光した反射光情報に基づいて、シーン画像上の注視点座標情報を算出する処理手段と、
シーン画像データとシーン画像上の注視点座標情報を含む注視点データとを視線分析装置に送信する送信手段と、
を備えるメガネであって、
前記視線分析装置は、
分割画像を識別する情報を含む分割画像データと、
分割画像を識別する情報と座標情報と特徴量を含む分割画像の基準特徴点データと、
を記憶する記憶手段と、
視線追跡メガネからシーン画像データとシーン画像上の注視点座標情報を含む注視点データを受信する受信手段と、
シーン画像データからシーン特徴点を検出して、シーン特徴点の特徴量を抽出して、シーン特徴点データを作成する特徴点抽出手段と、
各分割画像ごとに、シーン特徴点データの特徴量と分割画像の基準特徴点データの特徴量とに基づき、各シーン特徴点に対する最も高い類似度評価の分割画像の基準特徴点を求めて、各シーン特徴点に対する分割画像の基準特徴点の組合せである特徴点組合せを決定する特徴点組合せ手段と、
作成した特徴点組合せに基づいて、予め定められた評価基準により最適な分割画像を選択する分割画像選択手段と、
選択された最適な分割画像の基準特徴点データの座標情報とシーン特徴点データの座標情報に基づいて、座標変換行列を算出する座標変換行列算出手段と、
算出した座標変換行列とシーン画像上の注視点座標情報に基づいて、シーン画像上の注視点を分割画像上の座標情報に変換する注視点写像手段と、
変換された分割画像上の座標情報に基づいて、注視点マークを生成して、選択した基準画像に合成する画像合成手段と、
を備える分析装置である、
ことを特徴とする視線計測システム。
【請求項９】
請求項８に記載の視線分析装置であって、
前記特徴点組合せ手段は、さらに、
シーン特徴点に対する分割画像の基準特徴点のいずれもが所定の類似度評価レベルを満たさない場合には、このシーン特徴点に対する分割画像の基準特徴点の組合せは存在しないと決定する、
ことを特徴とする視線分析装置。
【請求項１０】
請求項９に記載の視線分析装置であって、
前記予め定められた評価基準は、
特徴点組合せにおけるシーン特徴点と分割画像の基準特徴点の組合せ個数である、
ことを特徴とする視線分析装置。
【請求項１１】
請求項８に記載の視線計測システムであって、
前記視線分析装置において、
前記記憶手段は、さらに、
基準画像を記憶して、
前記画像合成手段は、さらに、
変換された分割画像上の座標情報に基づいて、基準画像の座標情報を算出して注視点マークを基準画像に合成する、
ことを特徴とする視線計測システム。
【請求項１２】
分割画像を特定する情報を含む分割画像データと、分割画像を特定する分割画像特定情報と座標情報と特徴量を含む分割画像の基準特徴点データとを用いる視線計測方法であって、
視線追跡メガネが、メガネを通して見るシーン画像データを生成するシーン撮像ステップと、
視線追跡メガネが、赤外線光源から発した赤外光が眼球から反射した反射光を受光する赤外線受光ステップと、
視線追跡メガネが、赤外線センサーが受光した反射光情報に基づいて、シーン画像上の注視点座標情報を算出する算出処理ステップと、
視線分析装置が、シーン画像データからシーン特徴点を検出して、シーン特徴点の特徴量を抽出して、シーン特徴点データを作成する特徴点抽出ステップと、
視線分析装置が、各分割画像ごとに、シーン特徴点データの特徴量と分割画像の基準特徴点データの特徴量とに基づき、各シーン特徴点に対する最も高い類似度評価の分割画像の基準特徴点を求めて、各シーン特徴点に対する分割画像の基準特徴点の組合せである特徴点組合せを決定する特徴点組合せステップと、
視線分析装置が、作成した特徴点組合せに基づいて、予め定められた評価基準により最適な分割画像を選択する分割画像選択ステップと、
視線分析装置が、選択された最適な分割画像の基準特徴点データの座標情報とシーン特徴点データの座標情報に基づいて、座標変換行列を算出する座標変換行列算出ステップと、
視線分析装置が、算出した座標変換行列とシーン画像上の注視点座標情報に基づいて、シーン画像上の注視点を分割画像上の座標情報に変換する注視点写像ステップと、
視線分析装置が、変換された分割画像上の座標情報に基づいて、注視点マークを生成して、選択した基準画像に合成する画像合成ステップと、
を含んだ手順でなされることを特徴とする視線計測方法。
【請求項１３】
請求項１２に記載の視線計測方法であって、
前記特徴点組合せステップは、さらに、
シーン特徴点に対する分割画像の基準特徴点のいずれもが所定の類似度評価レベルを満たさない場合には、このシーン特徴点に対する分割画像の基準特徴点の組合せは存在しないと決定する、
手順でなされることを特徴とする視線計測方法。
【請求項１４】
請求項１３に記載の視線計測方法であって、
前記予め定められた評価基準は、
特徴点組合せにおけるシーン特徴点と分割画像の基準特徴点の組合せ個数である、
手順でなされることを特徴とする視線計測方法。
【請求項１５】
請求項１２に記載の視線計測方法であって、
さらに、基準画像を用いて、
変換された分割画像上の座標情報に基づいて、基準画像の座標情報を算出して注視点マークを基準画像に合成するステップ、
を含んだ手順でなされることを特徴とする視線計測方法。
【請求項１６】
コンピュータに組込むことによって、コンピュータを請求項１から１２のいずれか１項に記載の視線分析装置として動作させるコンピュータプログラム。
【請求項１７】
請求項１６に記載のコンピュータプログラムを記録したコンピュータ読取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２０１３−８１７６２（Ｐ２０１３−８１７６２Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１２−２０２１０９（Ｐ２０１２−２０２１０９）
【出願日】平成２４年９月１３日（２０１２．９．１３）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２４年９月１３日（２０１２．９．１３）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
[ Back to top ]