視線測定装置および視線測定プログラム
【課題】広範囲にわたるユーザの視線を非接触で測定することができる視線測定装置および視線測定プログラムを提供する。
【解決手段】視線測定装置１は、撮影装置Ｃ１〜Ｃ４によって撮影して得た複数の眼球周辺画像ＧからユーザＵの眼球位置を検出する眼球位置検出手段１０１と、眼球位置を基準として眼球領域画像ＧＲ，ＧＬを切り出す眼球領域画像切り出し手段１０２と、眼球領域画像から基準位置を特定する基準位置特定手段１０３と、基準位置からユーザＵの視線ベクトルを算出する視線ベクトル算出手段１０４と、視線ベクトルと画面との交点の座標を注視点として算出する注視点算出手段１０６と、複数の撮影装置Ｃ１〜Ｃ４によって同時刻に撮影された複数の眼球周辺画像Ｇに対応した複数の注視点を、当該複数の注視点ごとに算出された確からしさに従って、一つに統合する注視点統合手段４０と、を備える。
【解決手段】視線測定装置１は、撮影装置Ｃ１〜Ｃ４によって撮影して得た複数の眼球周辺画像ＧからユーザＵの眼球位置を検出する眼球位置検出手段１０１と、眼球位置を基準として眼球領域画像ＧＲ，ＧＬを切り出す眼球領域画像切り出し手段１０２と、眼球領域画像から基準位置を特定する基準位置特定手段１０３と、基準位置からユーザＵの視線ベクトルを算出する視線ベクトル算出手段１０４と、視線ベクトルと画面との交点の座標を注視点として算出する注視点算出手段１０６と、複数の撮影装置Ｃ１〜Ｃ４によって同時刻に撮影された複数の眼球周辺画像Ｇに対応した複数の注視点を、当該複数の注視点ごとに算出された確からしさに従って、一つに統合する注視点統合手段４０と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの視線を測定するための視線測定装置および視線測定プログラムに関するものである。
【背景技術】
【０００２】
ユーザ（被測定者）の身体に装置を装着せず、非接触で視線方向を検出する方法としては、例えば瞳孔−角膜反射法が従来から知られている。瞳孔−角膜反射法は、ユーザの眼球に近赤外光を照射し、当該近赤外光に感度のあるカメラ（眼球カメラ）で瞳孔画像および角膜表面での照明光の反射像を捉え、両者の位置関係から眼球の回転方向を算出する方法であり、例えば非特許文献１，２に開示されている。この方式は、ユーザの眼球の光軸方向を算出していることになるため、カメラによって特徴点（瞳孔および角膜反射像）が撮影可能な範囲にユーザの眼球があれば、当該ユーザの頭部の動きに対しても頑健な特性を有している。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】大野健彦、他２名「２点補正による簡易キャリブレーションを実現した視線測定システム」、情報処理学会論文誌 Ｖｏｌ．４４ Ｎｏ．４ ｐｐ．１１３６−１１４９、Ａｐｒ．２００３
【非特許文献２】竹井機器株式会社製 ＦｒｅｅＶｉｅｗ−ＤＴＳ（型番 Ｔ．Ｋ．Ｋ．２９２０ｂ）ハードウェア取扱説明書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、カメラが眼球の特徴点を捉えられる範囲に原理的な制限があり、カメラの光軸と眼球の回転中心を結ぶ直線から概ね２０度〜３０度以内が測定範囲と言われている（非特許文献２参照）。すなわち、瞳孔−角膜反射法では、ユーザがカメラの位置から２０度〜３０度以上離れた位置を注視した場合の視線は測定できず、広範囲にわたるユーザの眼球運動を測定することができないという問題があった。
【０００５】
本発明はかかる点に鑑みてなされたものであって、広範囲にわたるユーザの視線を非接触で測定することができる視線測定装置および視線測定プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するために請求項１に係る視線測定装置は、表示装置の画面を視認するユーザの視線を測定する視線測定装置であって、眼球位置検出手段と、眼球領域画像切り出し手段と、基準位置特定手段と、視線ベクトル算出手段と、注視点算出手段と、注視点統合手段と、を備える構成とした。
【０００７】
このような構成によれば、視線測定装置は、眼球位置検出手段によって、ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影された眼球周辺画像から、ユーザの眼球位置を検出する。また、眼球領域画像切り出し手段によって、眼球位置検出手段によって検出された眼球位置を基準として、複数の撮影装置によって撮影された眼球周辺画像から、当該眼球位置を含む所定面積の眼球領域画像を切り出す。また、基準位置特定手段によって、眼球領域画像切り出し手段によって切り出された眼球領域画像から、眼球の瞳孔中心の位置および角膜反射点の位置からなる基準位置を特定する。また、視線ベクトル算出手段によって、予め取得した撮影装置の撮影位置、撮影方向および撮影範囲を含むカメラパラメータを用いることで、基準位置特定手段によって特定された基準位置から、ユーザの視線方向を示す視線ベクトルを算出する。また必要に応じて、視線ベクトル校正手段によって視線ベクトルの個人差を補正し、実際の注視方向と視線ベクトルの方向を一致させる。また、注視点算出手段によって、視線ベクトル校正手段によって補正された視線ベクトルと画面との交点の座標を、ユーザが注目する注視点として算出する。また、注視点統合手段によって、複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を、当該複数の注視点ごとに算出された確からしさに従って、一つに統合する。
【０００８】
これにより、請求項１に係る視線測定装置は、複数の撮影装置を相互に離れた位置に配置し、複数の角度から撮影された眼球周辺画像を利用することにより、いずれかの画像では視線測定に必要な特徴点を捉え、測定可能領域を相互に補完する。
【０００９】
また、請求項２に係る視線測定装置は、請求項１に係る視線測定装置において、予め複数の撮影装置によって撮影されたユーザの眼球周辺画像から注視点算出手段によって算出可能な注視点の画面上における分布を示す注視点分布を、複数の撮影装置ごとに記憶する注視点分布記憶手段を備える構成とした。
【００１０】
このような構成によれば、視線測定装置は、注視点統合手段が、注視点分布記憶手段に記憶された注視点分布から算出された注視点の確からしさを示す注視点確率に従って、複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から注視点確率の最も高いものを選択することで、複数の注視点を一つに統合する。
【００１１】
これにより、請求項２に係る視線測定装置は、各系統（複数の撮影装置とこれに対応する注視点抽出手段）ごとに、事前に注視点算出手段によって算出可能な注視点の画面上における注視点分布を用意しておき、この注視点分布によって算出された注視点確率に基づいて各系統で得られる注視点を統合する。
【００１２】
また、請求項３に係る視線測定装置は、請求項１に係る視線測定装置において、ユーザの眼球の特徴的な部位（瞳孔と角膜反射像の両方または角膜反射像）を含むテンプレート画像を記憶するテンプレート画像記憶手段を備える構成とした。
【００１３】
このような構成によれば、視線測定装置は、眼球位置検出手段が、テンプレート画像記憶手段に記憶されたテンプレート画像と、ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影して得た眼球周辺画像と、を両画像の正規化相関値を指標としてテンプレートマッチングすることで、ユーザの眼球位置を検出し、かつ、類似度を示す正規化相関値を算出する。また、注視点統合手段が、眼球位置検出手段によって算出された正規化相関値に従って、複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から正規化相関値の最も高いものを選択することで、複数の注視点を一つに統合する。
【００１４】
これにより、請求項３に係る視線測定装置は、各系統（複数の撮影装置とこれに対応する注視点抽出手段）ごとに、事前にユーザの眼球の特徴的な部位（瞳孔と角膜反射像の両方または角膜反射像）を含むテンプレート画像を用意しておき、ユーザの眼球周辺画像からテンプレートマッチングによって眼球の位置を検出するとともに、当該テンプレート画像との類似度を表す指標（例えば正規化相関値）を算出し、これらの指標に基づいて各系統で得られる注視点を統合する。
【００１５】
また、請求項４に係る視線測定装置は、請求項１に係る視線測定装置において、予め複数の撮影装置によって撮影されたユーザの眼球周辺画像から注視点算出手段によって算出可能な注視点の画面上における分布を示す注視点分布を、複数の撮影装置ごとに記憶する注視点分布記憶手段と、ユーザの眼球の特徴的な部位（瞳孔と角膜反射像の両方または角膜反射像）を含むテンプレート画像を記憶するテンプレート画像記憶手段と、を備える構成とした。
【００１６】
このような構成によれば、視線測定装置は、眼球位置検出手段が、テンプレート画像記憶手段に記憶されたテンプレート画像と、ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影して得た眼球周辺画像と、を両画像の正規化相関値を指標としてテンプレートマッチングすることで、ユーザの眼球位置を検出し、かつ、類似度を示す正規化相関値を算出する。また、注視点統合手段が、注視点分布記憶手段に記憶された注視点分布に含まれる注視点の数が予め定めた所定の閾値未満である場合、眼球位置検出手段によって算出された正規化相関値に従って、複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から正規化相関値の最も高いものを選択することで、複数の注視点を一つに統合し、注視点分布記憶手段に記憶された注視点分布に含まれる注視点の数が予め定めた所定の閾値を超える場合、当該注視点分布から算出された注視点の確からしさを示す注視点確率に従って、複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から注視点確率の最も高いものを選択することで、複数の注視点を一つに統合する。
【００１７】
これにより、請求項４に係る視線測定装置は、注視点分布記憶手段に記憶されているデータ量（注視点の数）が少ない場合は、複数の撮影装置によって撮影された眼球周辺画像とテンプレート画像との類似度を示す正規化相関値によって統合処理を行う。また、視線測定装置は、注視点分布記憶手段に記憶されているデータ量（注視点の数）が一定以上である場合は、眼球周辺画像から抽出した注視点の確からしさを示す注視点確率によって統合処理を行う。
【００１８】
また、請求項５に係る視線測定装置は、請求項２または請求項４に係る視線測定装置において、注視点統合手段が、確率取得手段と、更新手段と、を備える構成とした。
【００１９】
このような構成によれば、請求項５に係る視線測定装置は、注視点統合手段によって、注視点分布記憶手段に記憶された注視点分布から、当該注視点分布に含まれる全ての注視点の数に対する前記画面上における個々の座標ごとの注視点の数の割合を示す注視点確率分布を算出し、当該注視点確率分布から、注視点算出手段によって算出された複数の注視点の注視点確率をそれぞれ取得する。また、更新手段によって、確率取得手段によって取得された注視点確率が予め定められた所定の閾値を超える場合、当該注視点確率を有する注視点を注視点分布記憶手段に書き込むことで、注視点分布を更新する。
【００２０】
また、請求項６に係る視線測定装置は、請求項１から請求項５のいずれか一項に係る視線測定装置において、映像遅延手段と、重畳映像生成手段と、を備える構成とした。
【００２１】
このような構成によれば、視線測定装置は、映像遅延手段によって、表示装置の画面上に表示される映像と同じ映像を入力する映像入力手段からの映像を、注視点抽出手段および注視点統合手段における処理時間に応じて遅延させる。また、重畳映像生成手段によって、映像遅延手段によって遅延された映像に対して、注視点統合手段によって統合された注視点を重畳させる。
【００２２】
前記課題を解決するために請求項７に係る視線測定プログラムは、ユーザの視線を測定するために、コンピュータを、眼球位置検出手段、眼球領域画像切り出し手段、基準位置特定手段、視線ベクトル算出手段、注視点算出手段、注視点統合手段、として機能させることとした。
【００２３】
このような構成によれば、視線測定プログラムは、眼球位置検出手段によって、ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影された眼球周辺画像から、ユーザの眼球位置を検出する。また、眼球領域画像切り出し手段によって、眼球位置検出手段によって検出された眼球位置を基準として、複数の撮影装置によって撮影された眼球周辺画像から、当該眼球位置を含む所定面積の眼球領域画像を切り出す。また、基準位置特定手段によって、眼球領域画像切り出し手段によって切り出された眼球領域画像から、眼球の瞳孔中心の位置および角膜反射点の位置からなる基準位置を特定する。また、視線ベクトル算出手段によって、予め取得した撮影装置の撮影位置、撮影方向および撮影範囲を含むカメラパラメータを用いることで、基準位置特定手段によって特定された基準位置から、ユーザの視線方向を示す視線ベクトルを算出する。また必要に応じて、視線ベクトル校正手段によって視線ベクトルの個人差を補正し、実際の注視方向と視線ベクトルの方向を一致させる。また、注視点算出手段によって、視線ベクトル校正手段によって補正された視線ベクトルと画面との交点の座標を、ユーザが注目する注視点として算出する。また、注視点統合手段によって、複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を、当該複数の注視点ごとに算出された確からしさに従って、一つに統合する。
【００２４】
これにより、請求項７に係る視線測定プログラムは、複数の撮影装置を相互に離れた位置に配置し、複数の角度から撮影された眼球周辺画像を利用することにより、いずれかの画像では視線測定に必要な特徴点を捉え、測定可能領域を相互に補完する。
【００２５】
また、請求項８に係る視線測定プログラムは、請求項７に係る視線測定プログラムにおいて、注視点統合手段が、予め複数の撮影装置によって撮影されたユーザの眼球周辺画像から注視点算出手段によって算出可能な注視点の画面上における分布を示す注視点分布から算出された注視点の確からしさを示す注視点確率に従って、複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から注視点確率の最も高いものを選択することで、複数の注視点を一つに統合することとした。
【００２６】
これにより、請求項８に係る視線測定プログラムは、各系統（複数の撮影装置とこれに対応する注視点抽出手段）ごとに、事前に注視点算出手段によって算出可能な注視点の画面上における注視点分布を用意しておき、この注視点分布によって算出された注視点確率に基づいて各系統で得られる注視点を統合する。
【００２７】
また、請求項９に係る視線測定プログラムは、請求項７に係る視線測定プログラムにおいて、眼球位置検出手段が、ユーザの眼球の特徴的な部位（瞳孔と角膜反射像の両方または角膜反射像）を含むテンプレート画像と、ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影して得た眼球周辺画像と、を両画像の正規化相関値を指標としてテンプレートマッチングすることで、ユーザの眼球位置を検出し、かつ、類似度を示す正規化相関値を算出することとした。また、注視点統合手段が、眼球位置検出手段によって算出された正規化相関値に従って、複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から正規化相関値の最も高いものを選択することで、複数の注視点を一つに統合することとした。
【００２８】
これにより、請求項９に係る視線測定プログラムは、各系統（複数の撮影装置とこれに対応する注視点抽出手段）ごとに、事前にユーザの眼球の特徴的な部位（瞳孔と角膜反射像の両方または角膜反射像）含むテンプレート画像を用意しておき、ユーザの眼球周辺画像からテンプレートマッチングによって眼球の位置を検出するとともに、当該テンプレート画像との類似度を表す指標（例えば正規化相関値）を算出し、これらの指標に基づいて各系統で得られる注視点を統合する。
【００２９】
また、請求項１０に係る視線測定プログラムは、請求項７に係る視線測定プログラムにおいて、眼球位置検出手段が、ユーザの眼球の特徴的な部位（瞳孔と角膜反射像の両方または角膜反射像）を含むテンプレート画像と、ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影して得た眼球周辺画像と、を両画像の正規化相関値を指標としてテンプレートマッチングすることで、ユーザの眼球位置を検出し、かつ、類似度を示す正規化相関値を算出することとした。また、注視点統合手段が、予め複数の撮影装置によって撮影されたユーザの眼球周辺画像から注視点算出手段によって算出可能な注視点の画面上における分布を示す注視点分布に含まれる注視点の数が予め定めた所定の閾値未満である場合、眼球位置検出手段によって算出された正規化相関値に従って、複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から正規化相関値の最も高いものを選択することで、複数の注視点を一つに統合し、注視点分布に含まれる注視点の数が予め定めた所定の閾値を超える場合、当該注視点分布から算出された注視点の確からしさを示す注視点確率に従って、複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から注視点確率の最も高いものを選択することで、複数の注視点を一つに統合することとした。
【００３０】
これにより、請求項１０に係る視線測定プログラムは、外部に設けられた注視点分布記憶手段に記憶されているデータ量（注視点の数）が少ない場合は、複数の撮影装置によって撮影された眼球周辺画像とテンプレート画像との類似度を示す正規化相関値によって統合処理を行う。また、視線測定装置は、外部に設けられた注視点分布記憶手段に記憶されているデータ量（注視点の数）が一定以上である場合は、眼球周辺画像から抽出した注視点の確からしさを示す注視点確率によって統合処理を行う。
【発明の効果】
【００３１】
請求項１，７に係る発明によれば、１台の撮影装置では特徴点を捉えられなかった領域におけるユーザの眼球運動を他の撮影装置で検出して補完するため、より広範囲の視線を測定することが可能となる。
【００３２】
請求項２，８に係る発明によれば、複数台の撮影装置で特徴点を捉えることができる領域では、複数の注視点の測定結果を確率分布に基づいて統合するため、より精度が高く、頑健な測定が可能となる。
【００３３】
請求項３，９に係る発明によれば、複数台の撮影装置で特徴点を捉えることができる領域では、複数の注視点の測定結果をテンプレート画像との類似度に基づいて統合するため、より精度が高く、頑健な測定が可能となる。
【００３４】
請求項４，１０に係る発明によれば、注視点分布記憶手段に必要量のデータが蓄積された後は、テンプレートマッチングの類似度（正規化相関値）に基づいた統合から注視点分布による統合へと切り替えることができるため、精度の高い測定が可能となる。
【００３５】
請求項５に係る発明によれば、注視点確率が一定以上である注視点、すなわちユーザが注視している可能性の高い座標を示す注視点が算出された場合、当該注視点を注視点分布記憶手段に追加して注視点分布を更新するため、注視点分布記憶手段に記憶された注視点分布の精度を漸次向上させることができる。
【００３６】
請求項６に係る発明によれば、ユーザが映像のどの場面のどの座標を注視していたのかを示す注視点を映像に重畳させた重畳映像を生成するため、非接触で測定した広範囲にわたるユーザの視線を視覚的に提示することができる。
【図面の簡単な説明】
【００３７】
【図１】本発明の実施形態に係る視線測定装置を含むシステム全体の構成を示す概略図である。
【図２】撮影装置によって撮影したユーザの眼球の画像の例を示す概略図であり、（ａ）は、ユーザが表示装置の画面の中央付近を注視している場合の画像、（ｂ）は、ユーザが表示装置の画面の右端付近を注視している場合の画像、である。
【図３】本発明の第１実施形態に係る視線測定装置の内部構成を示すブロック図である。
【図４】本発明の第１実施形態に係る視線測定装置における注視点抽出手段の内部構成を示すブロック図である。
【図５】本発明の第１実施形態に係る視線測定装置における注視点抽出手段の処理の内容を示す概略図であって、（ａ）は、眼球位置検出手段による処理を示す概略図、（ｂ）は、眼球領域画像切り出し手段による処理を示す概略図、（ｃ）は、基準位置特定手段による処理を示す概略図、である。
【図６】本発明の第１実施形態に係る視線測定装置における注視点同期手段によって同期した複数の注視点の例を示す概略図であって、（ａ）は、複数の注視点を撮影装置の撮影時間によって同期した例を示す概略図、（ｂ）は、複数の注視点を映像入力手段から入力された映像のタイムコードによって同期した例を示す概略図、である。
【図７】本発明の第１実施形態に係る視線測定装置における注視点分布記憶手段に記憶されている撮影装置ごとの注視点分布の例を示す概略図であって、（ａ）は、撮影装置Ｃ１によって撮影された眼球周辺画像から算出された注視点の注視点分布、（ｂ）は、撮影装置Ｃ２によって撮影された眼球周辺画像から算出された注視点の注視点分布、（ｃ）は、撮影装置Ｃ３によって撮影された眼球周辺画像から算出された注視点の注視点分布、（ｄ）は、撮影装置Ｃ４によって撮影された眼球周辺画像から算出された注視点の注視点分布、である。
【図８】本発明の第１実施形態に係る視線測定装置における注視点統合手段の内部構成を示すブロック図である。
【図９】本発明の第１実施形態に係る視線測定装置における注視点統合手段によって取得された注視点確率分布の第１の例を示す概略図である。
【図１０】本発明の第１実施形態に係る視線測定装置における注視点統合手段によって取得された注視点確率分布の第２の例を示す概略図である。
【図１１】本発明の第１実施形態に係る視線測定装置の動作を示すフローチャートである。
【図１２】本発明の第１実施形態に係る視線測定装置の動作における注視点統合処理の詳細を示すフローチャートである。
【図１３】本発明の第２実施形態に係る視線測定装置の内部構成を示すブロック図である。
【図１４】本発明の第２実施形態に係る視線測定装置におけるテンプレート画像記憶手段に記憶されたテンプレート画像の例を示す概略図であり、（ａ）は、ユーザの眼球画像と、当該眼球画像から抽出した瞳孔を含むテンプレート画像および角膜反射像のテンプレート画像と、を示す概略図、（ｂ）は、（ａ）に示すテンプレート画像に対する２枚の眼球周辺画像の類似度を示す概略図、である。
【図１５】本発明の第２実施形態に係る視線測定装置における注視点抽出手段の内部構成を示すブロック図である。
【図１６】本発明の第２実施形態に係る視線測定装置の動作を示すフローチャートである。
【図１７】本発明の第３実施形態に係る視線測定装置の内部構成を示すブロック図である。
【図１８】本発明の第３実施形態に係る視線測定装置における注視点統合手段の内部構成を示すブロック図である。
【図１９】本発明の第３実施形態に係る視線測定装置の動作を示すフローチャートである。
【図２０】本発明の第３実施形態に係る視線測定装置の動作における注視点統合処理の詳細を示すフローチャートである。
【発明を実施するための形態】
【００３８】
本発明に係る視線測定装置について、図面を参照しながら説明する。ここでは、大きく分けて３つの実施形態について説明する。そこで、以下の説明では、それぞれの実施形態ごとに構成と動作の説明を行うこととする。なお、以下の説明では、各実施形態について、同一の構成については同一の名称及び符号を付し、詳細説明を適宜省略する。
【００３９】
＜視線測定装置＞
［第１実施形態］
以下、本発明の第１実施形態に係る視線測定装置１について、図１〜図９を参照しながら詳細に説明する。視線測定装置１は、表示装置の画面を視認するユーザが当該画面のどこ（どの座標）を見ているのかを測定するものである。視線測定装置１は、図１に示すように、表示装置Ｄ、複数の撮影装置（カメラ）Ｃ１〜Ｃ４および発光装置Ｒとともに用いられ、これらの装置と一つのシステムを構成する。以下、視線測定装置１の説明を行なう前に、システムを構成するその他の要素について簡単に説明する。
【００４０】
表示装置Ｄは、ユーザＵに対して映像を表示するものである。表示装置Ｄは、例えば液晶モニタ等で構成され、図１に示すように、画面がユーザＵと正対するように配置される。なお、表示装置ＤとユーザＵとの間隔は、撮影装置Ｃ１〜Ｃ４の設置角度、あるいは発光装置Ｒの設置場所に応じて適宜調整される。
【００４１】
撮影装置Ｃ１〜Ｃ４は、ユーザＵの眼球周辺画像を複数の位置および角度から撮影するものである。撮影装置Ｃ１〜Ｃ４は、例えば近赤外領域の感度を有する高解像度カメラ等で構成され、図１に示すように、表示装置Ｄの４隅に配置されるとともに、それぞれがユーザＵの眼球周辺に向けて所定角度で配置される。この撮影装置Ｃ１〜Ｃ４によって撮影されたユーザＵの複数（この例では４つ）の眼球周辺画像は、図１に示すように、それぞれ視線測定装置１に出力される。
【００４２】
例えば、図１の破線矢印で示すように、ユーザＵが表示装置Ｄの画面の中心付近を注視している場合、撮影装置Ｃ１〜Ｃ４によって撮影されるユーザＵの眼球の画像は、図２（ａ）に示すようなものとなる。図２（ａ）に示すように、撮影装置Ｃ１によって撮影された画像は、瞳孔と角膜反射像（プルキニエ像）が左下に位置し、撮影装置Ｃ２によって撮影された画像は、瞳孔と角膜反射像が右下に位置し、撮影装置Ｃ３によって撮影された画像は、瞳孔と角膜反射像が左上に位置し、撮影装置Ｃ４によって撮影された画像は、瞳孔と角膜反射像が右上に位置するものとなる。なお、角膜反射像（プルキニエ像）とは、図２（ａ）に示すように、眼球の角膜表面で反射した光として画像上に表れる像のことを意味している。
【００４３】
一方、例えば、図１の一点鎖線矢印で示すように、ユーザＵが表示装置Ｄの画面の右端付近を注視している場合、撮影装置Ｃ１〜Ｃ４によって撮影されるユーザＵの眼球の画像は、図２（ｂ）に示すようなものとなる。図２（ｂ）に示すように、撮影装置Ｃ１によって撮影された画像は、瞳孔が左下に位置し、撮影装置Ｃ２によって撮影された画像は、瞳孔と角膜反射像が下に位置し、撮影装置Ｃ３によって撮影された画像は、瞳孔が左上に位置し、撮影装置Ｃ４によって撮影された画像は瞳孔が上に位置するものとなる。
【００４４】
このように、ユーザＵが表示装置Ｄの画面の中心付近を注視している場合、図２（ａ）に示すように、撮影装置Ｃ１〜Ｃ４によって撮影された全ての画像に瞳孔や角膜反射像が写っているため、後記する基準位置（瞳孔中心の位置および角膜反射点の位置）の特定が容易となる。一方、ユーザＵが表示装置Ｄの画面の右端付近を注視している場合、図２（ｂ）に示すように、当該ユーザＵの視線に近い撮影装置Ｃ２，Ｃ４によって撮影された画像には瞳孔や角膜反射像がはっきりと写っているが、ユーザＵの視線から遠い撮影装置Ｃ１，Ｃ３によって撮影された画像には角膜反射像が写っておらず、かつ、瞳孔の形状も歪んで写っている。すなわち、撮影装置Ｃ１，Ｃ３によって撮影された画像のみでは、瞳孔形状の歪から瞳孔中心の測定誤差が大きくなるとともに、後記する角膜反射点の検出が困難となる。
【００４５】
発光装置Ｒは、ユーザＵに対して近赤外光を照射するものであり、撮影装置Ｃ１〜Ｃ４による撮影のための照明光源である。発光装置Ｒは、例えば、発光素子としてＬＥＤ（発光ダイオード）を用いたリング照明等で構成され、図１に示すように、ユーザＵと表示装置Ｄとの間に配置されるとともに、ユーザＵの眼球周辺を照明するように所定角度で配置される。
【００４６】
次に、本発明の第１実施形態に係る視線測定装置１の具体的構成について詳細に説明する。視線測定装置１は、図３に示すように、注視点抽出手段１０と、注視点同期手段２０と、注視点分布記憶手段３０と、注視点統合手段４０と、を主な構成として備え、これらに加えて、映像遅延手段６０と、重畳映像生成手段７０と、を付加的な構成として備えている。
【００４７】
注視点抽出手段１０は、ユーザＵの眼球周辺画像から注視点を抽出するものである。ここで、注視点とは、ユーザＵが視線を向けている表示装置Ｄの画面上における点を意味し、表示装置Ｄの画面の座標によって特定される。言い換えれば、注視点は、ユーザＵの視線（視線ベクトル）と表示装置Ｄの画面との交点の座標によって特定される。注視点抽出手段１０は、図３に示すように、撮影装置Ｃ１〜Ｃ４それぞれに対応して設けられ、対応する撮影装置Ｃ１〜Ｃ４から入力された眼球周辺画像から、注視点をそれぞれ抽出する。
【００４８】
注視点抽出手段１０は、具体的には図４に示すように、眼球位置検出手段１０１と、眼球領域画像切り出し手段１０２と、基準位置特定手段１０３と、視線ベクトル算出手段１０４と、視線ベクトル校正手段１０５と、注視点算出手段１０６と、を備えている。
【００４９】
眼球位置検出手段１０１は、ユーザＵの眼球周辺画像から、その眼球位置を検出するものである。眼球位置検出手段１０１は、具体的には図５（ａ）に示すように、対応する撮影装置Ｃ１〜Ｃ４から入力された眼球周辺画像Ｇから、ユーザＵの眼球位置を検出する。なお、眼球位置検出手段１０１は、ユーザＵの左右それぞれの眼球位置を検出することが好ましい。但し、後記するように、ユーザＵの注視点は左右いずれかの眼球位置を検出できれば算出可能であるため、眼球位置検出手段１０１は、ユーザＵの左右いずれかの眼球位置のみを検出する構成としても構わない。
【００５０】
眼球位置検出手段１０１は、より具体的には、眼球位置情報として、ユーザＵの瞳孔の位置と、ユーザＵの角膜反射像の位置と、を検出する。眼球位置検出手段１０１は、入力された眼球周辺画像Ｇに対して、例えば２値化処理および粒子解析処理を行うことにより、瞳孔に相当する粒子と、角膜反射像に相当する粒子を検出し、これらの粒子の位置情報を眼球位置情報とする。すなわち、眼球位置検出手段１０１は、外部から入力された明度の閾値に基づいて、この閾値を超える部分（明度が高い部分）を検出し、さらに、外部から入力された粒子の面積範囲指定および真円度範囲指定により指定された領域を瞳孔として、左右の眼球の少なくとも一方について検出する。また、眼球位置検出手段１０１は、外部から入力された明度の閾値に基づいて、瞳孔よりもさらに明度が高い部分を検出し、さらに、外部から入力された粒子の面積範囲指定および真円度範囲指定により指定された領域を角膜反射像として、左右の眼球の少なくとも一方について検出する。なお、前記した眼球位置情報は、具体的には、ユーザＵの瞳孔の輪郭と角膜反射像の輪郭とを、画像座標系におけるｘｙ座標で示したものである。
【００５１】
眼球位置検出手段１０１には、図３および図４に示すように、対応する撮影装置Ｃ１〜Ｃ４から、眼球周辺画像が入力される。この眼球周辺画像は、前記した発光装置Ｒによって近赤外光が照射されたユーザＵの眼球周辺の画像である。また、この眼球周辺画像には、当該眼球周辺画像を撮影した時刻を示す時刻情報が含まれている（図示省略）。そして、眼球位置検出手段１０１は、前記した手法によって、眼球周辺画像Ｇから眼球位置を検出し、図４に示すように、当該眼球位置と、これに対応する眼球周辺画像Ｇ（時刻情報を含む）と、を眼球領域画像切り出し手段１０２に出力する。なお、後記するように、視線測定装置１が映像遅延手段６０および重畳映像生成手段７０を備える場合、図４に示すように、映像入力手段５０から眼球位置検出手段１０１に対して映像のタイムコードが入力されるが、詳細な説明は後記する。
【００５２】
眼球領域画像切り出し手段１０２は、ユーザＵの眼球周辺画像Ｇから、左右の眼球を含む眼球領域画像をそれぞれ切り出すものである。眼球領域画像切り出し手段１０２は、具体的には図５（ｂ）に示すように、眼球位置検出手段１０１から入力された右の眼球位置を基準として、眼球周辺画像Ｇから、当該右の眼球位置を含む所定面積（予め定めた所定幅および所定高さの領域）の眼球領域画像ＧＲを切り出す。また、眼球領域画像切り出し手段１０２は、図５（ｂ）に示すように、眼球位置検出手段１０１から入力された左の眼球位置を基準として、眼球周辺画像Ｇから、当該左の眼球位置を含む所定面積（予め定めた所定幅および所定高さの領域）の眼球領域画像ＧＬを切り出す。なお、眼球領域画像切り出し手段１０２は、眼球位置検出手段１０１から、ユーザＵの左右いずれかの眼球位置のみが入力された場合は、左右いずれかの眼球領域画像を切り出す。
【００５３】
眼球領域画像切り出し手段１０２には、図４に示すように、眼球位置検出手段１０１から、眼球周辺画像Ｇと、当該眼球周辺画像Ｇから検出した眼球位置と、が入力される。そして、眼球領域画像切り出し手段１０２は、前記した手法によって、眼球周辺画像Ｇから眼球領域画像ＧＲ，ＧＬをそれぞれ切り出し、図４に示すように、当該眼球領域画像ＧＲ，ＧＬと、これに対応する眼球周辺画像Ｇの時刻情報（図示省略）と、を基準位置特定手段１０３に出力する。
【００５４】
基準位置特定手段１０３は、眼球領域画像から、注視点算出の基準となる基準位置を特定するものである。ここで、基準位置とは、図５（ｃ）に示すように、左右の眼球の瞳孔中心の位置および角膜反射点の位置のことを意味しており、より具体的には、左右の眼球の瞳孔中心の位置と角膜反射点の位置とを、画像座標系におけるｘｙ座標で示したものである。
【００５５】
基準位置特定手段１０３は、一般的な画像処理技術によって、眼球領域画像ＧＲ，ＧＬから画像座標系における瞳孔中心の座標と角膜反射点の座標とを特定する。基準位置特定手段１０３は、ここでは左右の眼球領域画像ＧＲ，ＧＬについて、角膜反射像を含む他の領域よりも明度の高い領域を２値化処理によって探索し、粒子解析処理によって面積範囲および真円度範囲を指定して左右の眼球それぞれの瞳孔を抽出し、その中心座標（幅、高さの中点や領域の重心座標等）を、左右の眼球それぞれの瞳孔中心とする。また、基準位置特定手段１０３は、左右の眼球領域画像ＧＲ，ＧＬについて、瞳孔の明度と角膜反射像の明度との間に閾値を設定し、閾値よりも明度の高い領域を探索し、粒子解析処理によって面積範囲および真円度範囲を指定して左右の眼球それぞれの角膜反射像を抽出し、その中心座標（幅、高さの中点や領域の重心座標等）を、左右の眼球それぞれの角膜反射点とする。なお、基準位置特定手段１０３は、眼球領域画像切り出し手段１０２から、ユーザＵの左右いずれかの眼球領域画像のみが入力された場合は、左右いずれかの基準位置を特定する。
【００５６】
基準位置特定手段１０３には、図４に示すように、眼球領域画像切り出し手段１０２から、眼球領域画像ＧＲ，ＧＬと、これに対応する眼球周辺画像Ｇの時刻情報（図示省略）と、が入力される。そして、基準位置特定手段１０３は、前記した手法によって、眼球領域画像ＧＲ，ＧＬから瞳孔中心および角膜反射点を特定し、図４に示すように、当該瞳孔中心および角膜反射点と、これに対応する眼球周辺画像Ｇの時刻情報（図示省略）と、を視線ベクトル算出手段１０４に出力する。
【００５７】
視線ベクトル算出手段１０４は、ユーザＵの眼球の基準位置から視線ベクトルを算出するものである。視線ベクトル算出手段１０４は、具体的には図４に示すように、予め取得した撮影装置Ｃ１〜Ｃ４のカメラパラメータ（例えばパン、チルト、ズーム等のカメラの撮影位置、撮影方向および撮影範囲を含む設定情報）を用いることで、眼球領域画像ＧＲ，ＧＬから視線ベクトルを算出する。以下、視線ベクトル算出処理の一例について、簡単に説明する。
【００５８】
視線ベクトル算出手段１０４は、まず、校正段階で得られた撮影装置Ｃ１〜Ｃ４の焦点距離と、撮影装置Ｃ１〜Ｃ４の撮像素子のドットピッチとを利用して、基準位置特定手段１０３によって特定された左右の眼球それぞれの画像座標系における瞳孔中心座標および角膜反射点座標を、左右の眼球それぞれのカメラ座標系における瞳孔中心座標および角膜反射点座標に変換する。次に、視線ベクトル算出手段１０４は、校正段階で得られた回転マトリクスと、並進ベクトルとを利用して、左右の眼球それぞれのカメラ座標系における瞳孔中心座標および角膜反射点座標を、左右の眼球それぞれの世界座標系における瞳孔中心座標および角膜反射点座標に変換する。
【００５９】
次に、視線ベクトル算出手段１０４は、左右の眼球それぞれの世界座標系における瞳孔中心座標および角膜反射点座標を、予め取得した角膜表面における屈折率に応じて補正し、補正後の左右の眼球それぞれの世界座標系における瞳孔中心座標および角膜反射点座標と、角膜曲率半径とを用いて、左右の眼球の角膜曲率中心座標を算出する。そして、視線ベクトル算出手段１０４は、補正後の左眼の世界座標系における瞳孔中心座標と、左眼の角膜曲率中心座標とを用いて、左眼の視線ベクトルを算出するとともに、補正後の右眼の世界座標系における瞳孔中心座標と、右眼の角膜曲率中心座標とを用いて、右眼の視線ベクトルを算出する。なお、前記したような左右の眼球の基準位置からそれぞれの視線ベクトルを算出する具体的な方法は、例えば特願２００９−１１２２９８（特開２０１０−２５９６０５号公報）に記載された方法を用いることができる。また、視線ベクトル算出手段１０４は、基準位置特定手段１０３から、ユーザＵの左右いずれかの眼球の基準位置のみが入力された場合は、入力された方の眼球の視線ベクトルを特定する。
【００６０】
視線ベクトル算出手段１０４には、図４に示すように、基準位置特定手段１０３から、眼球の基準位置（瞳孔中心および角膜反射点）と、これに対応する眼球周辺画像Ｇの時刻情報（図示省略）と、が入力される。そして、視線ベクトル算出手段１０４は、前記した手法によって、眼球の基準位置から視線ベクトルを算出し、図４に示すように、当該視線ベクトルと、これに対応する眼球周辺画像Ｇの時刻情報（図示省略）と、を視線ベクトル校正手段１０５に出力する。
【００６１】
視線ベクトル校正手段１０５は、予め取得した校正データを用いて視線ベクトルを校正するものである。視線ベクトル校正手段１０５は、具体的には図４に示すように、視線ベクトル算出手段１０４によって算出された視線ベクトルに校正データを乗算することで校正を行う。なお、視線ベクトル校正手段１０５は、視線ベクトル算出手段１０４から、ユーザＵの左右いずれかの視線ベクトルのみが入力された場合は、左右いずれかの視線ベクトルを校正する。
【００６２】
ここで、校正データとは、ユーザＵの眼球形状や眼鏡またはコンタクトレンズによる光学的な歪等の個人差から生じる誤差を補正するためのデータであり、眼球領域画像ＧＲ，ＧＬの瞳孔中心座標および角膜反射点座標から視線ベクトルを算出する際に個人差を補正するキャリブレーションデータのことを意味している。また、校正データは、より具体的には、ユーザＵが表示装置Ｄの画面上における所定の座標を注視していると仮定した場合の、視線測定装置１の視線ベクトル算出手段１０４により算出された視線ベクトルと、実際の視線ベクトル（角膜曲率中心と所定の座標を通るベクトル）と、の角度のずれを示すデータのことを意味している。なお、前記したような左右の眼球の基準位置からそれぞれの視線ベクトルを算出する具体的な方法は、例えば特願２００９−１１２２９８（特開２０１０−２５９６０５号公報）に記載された方法を用いることができる。
【００６３】
視線ベクトル校正手段１０５には、図４に示すように、視線ベクトル算出手段１０４から、視線ベクトルと、これに対応する眼球周辺画像Ｇの時刻情報（図示省略）と、が入力される。そして、視線ベクトル校正手段１０５は、前記した手法によって、視線ベクトルを校正し、図４に示すように、当該校正後の視線ベクトルと、これに対応する眼球周辺画像Ｇの時刻情報（図示省略）と、を注視点算出手段１０６に出力する。
【００６４】
注視点算出手段１０６は、ユーザＵの視線ベクトルから、表示装置Ｄの画面上における当該ユーザＵの注視点を算出するものである。注視点算出手段１０６は、具体的には、視線ベクトル校正手段１０５によって校正された視線ベクトルと表示装置Ｄの画面との交点の座標を、ユーザＵが注目する画面上の注視点として算出する。
【００６５】
注視点算出手段１０６は、視線ベクトル校正手段１０５によって校正された左眼の視線ベクトルと右眼の視線ベクトルのそれぞれと表示装置Ｄの画面との交点の平均の位置、または、いずれか一方の視線ベクトルと表示装置Ｄの画面との交点の座標を注視点として算出する。また、注視点算出手段１０６は、視線ベクトル算出手段１０４によって左右の眼球のいずれか一方の視線ベクトルを算出することができなかった場合は、算出できた方についてのみ注視点を算出する。つまり、注視点算出手段１０６は、左右の眼球の視線ベクトルの両方を用いて注視点を算出してもよいし、いずれか一方のみを用いて注視点を算出してもよい。
【００６６】
注視点算出手段１０６には、図４に示すように、視線ベクトル校正手段１０５から、校正後の視線ベクトルと、これに対応する眼球周辺画像Ｇの時刻情報（図示省略）と、が入力される。そして、注視点算出手段１０６は、前記した手法によって、視線ベクトルから注視点を算出し、図３および図４に示すように、当該注視点と、これに対応する眼球周辺画像Ｇの時刻情報（図示省略）と、を注視点同期手段２０に出力する。以下、視線測定装置１の残りの構成について説明を続ける。
【００６７】
注視点同期手段２０は、複数の注視点を時間的に同期させるものである。注視点同期手段２０は、具体的には図６（ａ）に示すように、それぞれ撮影装置Ｃ１〜Ｃ４に対応する複数の注視点抽出手段１０の注視点算出手段１０６によって算出された複数の注視点を、これらの注視点を算出する元となった眼球周辺画像Ｇが撮影装置Ｃ１〜Ｃ４によって撮影された時刻に応じてそれぞれ同期させる。
【００６８】
ここで、眼球周辺画像Ｇは、表示装置Ｄの画面に流れる映像を注視するユーザＵの眼球周辺を、複数の撮影装置Ｃ１〜Ｃ４によって時間的に連続して撮影した画像である。従って、当該眼球周辺画像Ｇから注視点抽出手段１０によって抽出され、注視点同期手段２０に入力される複数の注視点の中には、撮影装置Ｃ１〜Ｃ４による撮影時刻が同じ眼球周辺画像Ｇから抽出された注視点と、撮影装置Ｃ１〜Ｃ４による撮影時刻が異なる眼球周辺画像Ｇから抽出された注視点と、が存在する。しかし、注視点同期手段２０によって時間的な同期処理を行うことで、図６（ａ）に示すように、複数の時刻に撮影された眼球周辺画像Ｇから算出された注視点を撮影装置Ｃ１〜Ｃ４の撮影時刻ごとに分類することができる。
【００６９】
ここで、図６（ａ）における「時刻」は、撮影装置Ｃ１〜Ｃ４による撮影時刻を示しており、「注視点座標１〜４」および「ｇ１〜ｇ４」は、それぞれ撮影装置Ｃ１〜Ｃ４によって撮影された眼球周辺画像Ｇから算出した注視点の座標を示している。また、図６（ａ）における「−」は、眼球周辺画像Ｇから基準位置を検出できなかった等の理由で注視点を算出できなかったことを示している。例えば、図６（ａ）に示すように、撮影装置Ｃ１〜Ｃ４によって「７：００：００．１００」に撮影された複数の眼球周辺画像Ｇから算出された注視点の座標は、それぞれ（９２０，４８８）、（９５５，３９８）、（８８３，４５１）、（９１７，４２６）、となる。なお、後記するように、視線測定装置１が映像遅延手段６０および重畳映像生成手段７０を備える場合、図６（ｂ）に示すように、複数の注視点を映像のタイムコードで同期してもよいが、詳細な説明は後記する。
【００７０】
注視点同期手段２０には、図３および図４に示すように、注視点抽出手段１０の注視点算出手段１０６から、複数の注視点と、これに対応する複数の眼球周辺画像Ｇの時刻情報（図示省略）と、が入力される。そして、注視点同期手段２０は、前記した手法によって、複数の注視点を時間的に同期し、図３に示すように、同期後の複数の注視点を注視点統合手段４０に出力する。
【００７１】
注視点分布記憶手段３０は、ユーザＵの撮影装置Ｃ１〜Ｃ４ごとの注視点分布を記憶するものである。ここで、注視点分布とは、ユーザＵの眼球周辺画像Ｇから抽出した注視点の分布を意味している。注視点分布は、より具体的には、予め撮影装置Ｃ１〜Ｃ４によってユーザＵの複数の眼球周辺画像Ｇを撮影し、これら複数の眼球周辺画像Ｇから、前記した眼球位置検出手段１０１、眼球領域画像切り出し手段１０２、基準位置特定手段１０３、視線ベクトル算出手段１０４、視線ベクトル校正手段１０５（必要な場合のみ）、注視点算出手段１０６を経て算出された複数の注視点を、撮影装置Ｃ１〜Ｃ４ごとに分布化したものを意味している。つまり、注視点分布は、視線測定装置１の実際の使用の前に収集された、各系統（撮影装置Ｃ１〜Ｃ４およびこれらに対応する注視点抽出手段１０）ごとに抽出可能なユーザＵの注視点の分布のことを意味している。この注視点分布は、例えば図７に示すように図示することができる。
【００７２】
図７に示す４つの長方形のグラフは、それぞれが表示装置Ｄの画面に対応しており、当該グラフにプロットされた複数の点は、撮影装置Ｃ１〜Ｃ４によって撮影されたユーザＵの複数の眼球周辺画像Ｇから算出されたそれぞれの注視点を示している。すなわち、図７に示す注視点分布は、視線測定装置１によるユーザＵの注視点の算出可能領域を、４つの系統（撮影装置Ｃ１〜Ｃ４および４つの注視点抽出手段１０）ごとに表わしたものといえる。
【００７３】
例えば、図７（ａ）に示す注視点分布は、表示装置Ｄの画面上を自由に見ているユーザＵの眼球周辺を撮影装置Ｃ１によって予め撮影し、得られた複数の眼球周辺画像Ｇから算出された注視点（複数の眼球周辺画像Ｇの中で算出できた注視点）の分布を示している。この図７（ａ）を参照すると、撮影装置Ｃ１によって撮影された眼球周辺画像Ｇからは、表示装置Ｄの画面の左上領域の座標が注視点として算出できることがわかる。これは、言い換えれば、ユーザＵが表示装置Ｄの画面の左上領域を見ている時に撮影装置Ｃ１によって撮影された眼球周辺画像Ｇからは、眼球の瞳孔や角膜反射像を正確に検出できるため注視点を算出しやすく、ユーザＵが表示装置Ｄの画面の左上領域以外を見ている時に撮影装置Ｃ１によって撮影された眼球周辺画像Ｇからは、眼球の瞳孔や角膜反射像を正確に検出できないため注視点を算出しにくい、ということを示している。
【００７４】
また、図７（ｂ）に示す注視点分布は、表示装置Ｄの画面上を自由に見ているユーザＵの眼球周辺を撮影装置Ｃ２によって予め撮影し、得られた複数の眼球周辺画像Ｇから算出された注視点の分布を示している。この図７（ｂ）を参照すると、撮影装置Ｃ２によって撮影された眼球周辺画像Ｇからは、表示装置Ｄの画面の右上領域の座標が注視点として算出できることがわかる。これは、言い換えれば、ユーザＵが表示装置Ｄの画面の右上領域を見ている時に撮影装置Ｃ２によって撮影された眼球周辺画像Ｇからは、眼球の瞳孔や角膜反射像を正確に検出できるため注視点を算出しやすく、ユーザＵが表示装置Ｄの画面の右上領域以外を見ている時に撮影装置Ｃ２によって撮影された眼球周辺画像Ｇからは、眼球の瞳孔や角膜反射像を正確に検出できないため注視点を算出しにくい、ということを示している。
【００７５】
また、図７（ｃ）に示す注視点分布は、表示装置Ｄの画面上を自由に見ているユーザＵの眼球周辺を撮影装置Ｃ３によって予め撮影し、得られた複数の眼球周辺画像Ｇから算出された注視点の分布を示している。この図７（ｃ）を参照すると、撮影装置Ｃ３によって撮影された眼球周辺画像Ｇからは、表示装置Ｄの画面の左下領域の座標が注視点として算出できることがわかる。これは、言い換えれば、ユーザＵが表示装置Ｄの画面の左下領域を見ている時に撮影装置Ｃ３によって撮影された眼球周辺画像Ｇからは、眼球の瞳孔や角膜反射像を正確に検出できるため注視点を算出しやすく、ユーザＵが表示装置Ｄの画面の左下領域以外を見ている時に撮影装置Ｃ３によって撮影された眼球周辺画像Ｇからは、眼球の瞳孔や角膜反射像を正確に検出できないため注視点を算出しにくい、ということを示している。
【００７６】
また、図７（ｄ）に示す注視点分布は、表示装置Ｄの画面上を自由に見ているユーザＵの眼球周辺を撮影装置Ｃ４によって予め撮影し、得られた複数の眼球周辺画像Ｇから算出された注視点の分布を示している。この図７（ｄ）を参照すると、撮影装置Ｃ４によって撮影された眼球周辺画像Ｇからは、表示装置Ｄの画面の右下領域の座標が注視点として算出できることがわかる。これは、言い換えれば、ユーザＵが表示装置Ｄの画面の右下領域を見ている時に撮影装置Ｃ４によって撮影された眼球周辺画像Ｇからは、眼球の瞳孔や角膜反射像を正確に検出できるため注視点を算出しやすく、ユーザＵが表示装置Ｄの画面の右下領域以外を見ている時に撮影装置Ｃ４によって撮影された眼球周辺画像Ｇからは、眼球の瞳孔や角膜反射像を正確に検出できないため注視点を算出しにくい、ということを示している。
【００７７】
注視点分布記憶手段３０は、具体的には、データを記憶することができるメモリ、ハードディスク等で具現される。注視点分布記憶手段３０は、図７に示すような撮影装置Ｃ１〜Ｃ４ごとの注視点分布を予め記憶しており、図３および図８に示すように、これらをそれぞれ注視点統合手段４０の確率取得手段４０１に出力する。なお、注視点分布記憶手段３０は、図３に示すように、視線測定装置１の内部に設けられているが、視線測定装置１の外部に設けられてもよい。また、後記する注視点統合手段４０が更新手段４０２を備えている場合、注視点分布記憶手段３０には、図８に示すように、当該更新手段４０２から注視点が入力され、注視点分布記憶手段３０に記憶されている注視点分布が更新される場合があるが、詳細な説明は後記する。
【００７８】
注視点統合手段４０は、複数の注視点を一つに統合するものである。注視点統合手段４０は、具体的には図６に示すように、撮影装置Ｃ１〜Ｃ４の撮影時刻に応じて同期された同一時刻の４つの注視点を、当該複数の注視点ごとに算出された確からしさに従って、１つに統合する。注視点統合手段４０は、具体的には図８に示すように、確率取得手段４０１と、更新手段４０２と、統合手段４０３と、を備えることが好ましい。
【００７９】
確率取得手段４０１は、注視点分布記憶手段３０に記憶された注視点分布から、注視点確率を取得するものである。ここで、注視点確率とは、ユーザＵの眼球周辺画像Ｇから抽出した注視点が、本当にユーザＵが注視していた画面上の座標であるのかの確からしさを示す確率（％）を意味している。注視点確率は、より具体的には、注視点分布に含まれる全ての注視点の数に対する、画面上における個々の座標ごとの注視点の数の割合を示している。例えば、予め視線測定装置１に対して、撮影装置Ｃ１〜Ｃ４によって撮影されたユーザＵの眼球周辺画像Ｇが合計１００枚入力されたとする。そして、これらの眼球周辺画像Ｇから１００個の注視点が抽出され、かつ、表示装置Ｄの画面の座標（１，１）を示す注視点の数が１０個である場合、当該座標（１，１）の注視点確率は１０％（＝１０／１００×１００）となる。
【００８０】
確率取得手段４０１は、具体的には図８に示すように、まず注視点分布記憶手段３０から注視点分布を取得し、当該注視点分布に含まれる全ての注視点の数と、画面上における個々の座標ごとの注視点の数と、を集計することで、表示装置Ｄの画面上における個々の座標ごとの注視点確率分布を算出する。そして、この注視点確率分布に対して、注視点同期手段２０によって同期された注視点の座標を照らし合わせることで、当該注視点の注視点確率を取得する。
【００８１】
確率取得手段４０１によって算出される注視点確率分布としては、様々な形態のものが挙げられる。例えば、確率取得手段４０１は、図９に示すように、撮影装置Ｃ１〜Ｃ４ごとの注視点分布を所定のブロックごとに集計し、これらを統合することで、注視点確率分布を算出することができる。この場合、確率取得手段４０１は、図９の中央に示す撮影装置Ｃ１〜Ｃ４ごとの注視点分布の測定領域（画面の大きさ、例えば６４０ピクセル×４８０ピクセル）を、例えば８０ピクセル×８０ピクセルのブロックに分け、図９の左右に示すように、当該ブロックごとの注視点確率分布を算出する。なお、図９の左右に示す注視点確率分布は、ハッチングの密度が大きいほど確率が高いことを表わしている。また、図９の左右に示す注視点確率分布では、ブロック内に含まれる座標の注視点確率は同確率となる。そして、確率取得手段４０１は、図９の下に示すように、撮影装置Ｃ１〜Ｃ４ごとに算出された４つの注視点確率分布を一つに統合する。
【００８２】
また、確率取得手段４０１は、図１０に示すように、正規分布を用いた注視点確率分布を算出してもよい。この場合、確率取得手段４０１は、図１０の中央に示す撮影装置Ｃ１〜Ｃ４ごとの注視点分布から、平均値、標準偏差等のパラメータを算出し、図１０の左右に示すように、正規分布のモデルを当てはめる。なお、図１０の左右に示す正規分布を用いた注視点確率分布は、ハッチングの密度が大きいほど確率が高いことを表わしている。そして、確率取得手段４０１は、図１０の下に示すように、撮影装置Ｃ１〜Ｃ４ごとに算出された４つの正規分布を一つに統合した混合正規分布（４つの正規分布の重み付き線形和）を算出する。
【００８３】
ここで、図１０の左右に示す正規分布は、例えば下記式（１）によって表わすことができ、図１０の示す混合正規分布は、例えば下記式（２）によって表わすことができる。なお、下記式（１）における太字のｘは注視点座標（ｘ，ｙ）、太字のμは平均値、Σは分散共分散行列、を示している。また、下記式（２）におけるλｍは系統ｍ（撮影装置Ｃｍ）の重み、ｍは系統識別子、Ｍは系統数、Ｎは系統内の注視点の総数、を示している。下記前記式（２）では、パラメータμｍ，Σｍを測定値からＥＭアルゴリズム（期待値最大化法）等により推定する。
【００８４】
【数１】
【００８５】
【数２】
【００８６】
ここで、各系統（撮影装置Ｃ１〜Ｃ４）の注視点分布を単独の多次元（２次元）正規分布ｆ（ｘ）で当てはめると、誤差が大きくなる場合がある。この場合、確率取得手段４０１は、下記式（３）、（４）に示すように、各系統内の注視点分布を適当な数のクラスタに分けてそれぞれを正規分布に当てはめ、それを混合する混合正規分布ｇ（ｘ）で当てはめてもよい。なお、下記式（３）におけるｇｍは系統ｍ内の混合正規分布、ｉは系統内のクラスタ識別子、Ｉは系統内のクラスタ数、を示している。また、下記式（３）ではＩ＝１となる。
【００８７】
【数３】
【００８８】
【数４】
【００８９】
確率取得手段４０１には、図３および図８に示すように、注視点同期手段２０から、撮影装置Ｃ１〜Ｃ４に対応した同期後の複数の注視点（図６参照）が入力される。そして、確率取得手段４０１は、前記した手法によって当該同期後の複数の注視点の注視点確率をそれぞれ取得し、当該撮影装置Ｃ１〜Ｃ４に対応した複数の注視点確率と、これに対応する同期後の注視点と、を更新手段４０２に出力する。
【００９０】
更新手段４０２は、注視点分布記憶手段３０に記憶されている注視点分布を更新するものである。更新手段４０２は、具体的には、確率取得手段４０１によって取得された注視点確率が予め定められた所定の閾値ｔｈ１を超えるか否かを判定する。そして、更新手段４０２は、図８に示すように、注視点確率が所定の閾値ｔｈ１を超える場合、当該注視点確率を有する注視点を注視点分布記憶手段３０に書き込む（追加する）ことで、注視点分布記憶手段３０に記憶されている注視点分布を更新する。
【００９１】
これにより、視線測定装置１は、注視点確率が一定以上である注視点、すなわちユーザＵが注視している可能性の高い座標を示す注視点が算出された場合、当該注視点を注視点分布記憶手段３０に追加して注視点分布を更新するため、注視点分布記憶手段３０に記憶された注視点分布の精度を漸次向上させることができる。なお、閾値ｔｈ１は、外れ値を除外できる程度の値（例えば信頼区間の下限）であればよい。また、更新手段４０２による注視点分布の更新のタイミングは、注視点が算出される度に行ってもよく、あるいは、一定数の注視点が算出される度に行なってもよい。なお、後者の場合、更新手段４０２は、一定数の注視点を記憶する図示しない記憶手段を備えることが好ましい。
【００９２】
更新手段４０２には、図８に示すように、確率取得手段４０１から、複数の注視点確率と、これに対応する同期後の注視点と、が入力される。そして、更新手段４０２は、前記した手法によって閾値処理を行い、注視点確率が所定の閾値ｔｈ１を超える場合は、注視点分布記憶手段３０に注視点を出力するとともに、複数の注視点確率と、これに対応する同期後の注視点と、を統合手段４０３に出力する。また、更新手段４０２は、注視点確率が所定の閾値ｔｈ１未満である場合は、複数の注視点確率と、これに対応する同期後の注視点と、を統合手段４０３に出力する。
【００９３】
統合手段４０３は、撮影装置Ｃ１〜Ｃ４によって同時刻に撮影された複数の眼球周辺画像Ｇから抽出された複数の注視点を一つに統合するものである。統合手段４０３は、具体的には注視点分布記憶手段３０に記憶された注視点分布に対応した注視点確率、すなわち確率取得手段４０１によって算出された注視点確率に従って、複数の注視点を統合する。
【００９４】
統合手段４０３は、例えば、前記した注視点確率に従って、撮影装置Ｃ１〜Ｃ４によって同時刻に撮影された複数の眼球周辺画像Ｇから抽出され、注視点同期手段２０によって同期された複数の注視点を加重平均することで、複数の注視点を統合することができる。この場合、統合手段４０３は、複数の注視点の座標および各注視点に対応した注視点確率をパラメータとする、下記式（５）に示す統合用関数ｇｉｎｔを用いて複数の注視点を統合することができる。なお、下記式（５）におけるｇｍは、複数の注視点の座標、ｐｍは、複数の注視点の注視点確率、Ｍは系統数（この例の場合Ｍ＝４）を示している。
【００９５】
【数５】
【００９６】
また、統合手段４０３は、前記した手法以外にも、注視点同期手段２０によって同期された複数の注視点の中から注視点確率の最も高いものを選択することで、撮影装置Ｃ１〜Ｃ４によって同時刻に撮影された複数の眼球周辺画像Ｇから抽出された複数の注視点を統合してもよい。この場合、統合手段４０３は、下記式（６）に示す統合用関数ｇｉｎｔを用いて複数の注視点を統合する。なお、下記式（６）におけるｇｍｍａｘは、複数の注視点の座標の中で最も注視点確率の高い座標を示している。
【００９７】
【数６】
【００９８】
統合手段４０３には、図８に示すように、更新手段４０２から、複数の注視点確率と、これに対応する同期後の注視点と、が入力される。そして、統合手段４０３は、前記したいずれかの手法によって、複数の注視点を統合し、これを出力する。なお、後記するように、視線測定装置１が重畳映像生成手段７０を備える場合、図３および図８に示すように、統合手段４０３は、統合後の注視点をこれに対応する映像のタイムコードとともに、重畳映像生成手段７０に出力するが、詳細な説明は後記する。以下、視線測定装置１の残りの付加的な構成について説明を続ける。
【００９９】
映像入力手段５０は、表示装置Ｄの画面上に表示される映像と同じ映像を入力するものである。映像入力手段５０は、具体的には図３に示すように、ユーザＵが視認する表示装置Ｄの画面上に表示される映像と同じ映像を、当該ユーザＵが視聴するタイミングと同じタイミングで映像遅延手段６０に対して入力する。また、映像入力手段５０は、図３および図４に示すように、注視点抽出手段１０の眼球位置検出手段１０１に対して、入力した映像のタイムコードを入力する。
【０１００】
この場合、注視点同期手段２０は、複数の注視点を前記した図６（ａ）に示すような撮影装置Ｃ１〜Ｃ４の撮影時刻で同期するのではなく、図６（ｂ）に示すような映像のタイムコードによって同期することができる。これにより、撮影装置Ｃ１〜Ｃ４によって撮影された複数の眼球周辺画像Ｇに時刻情報が含まれていない場合であっても、複数の注視点を時間的に同期することができる。なお、この場合、映像入力手段５０から眼球位置検出手段１０１に入力された映像のタイムコードは、図４に示す眼球領域切り出し手段１０２、基準位置特定手段１０３、視線ベクトル算出手段１０４、視線ベクトル校正手段１０５および注視点算出手段１０６を介して、注視点同期手段２０に入力されることになる。
【０１０１】
映像遅延手段６０は、映像入力手段５０から入力された映像を所定時間遅延させるものである。映像遅延手段６０は、具体的には図３に示すように、映像入力手段５０から入力された映像を注視点抽出手段１０における抽出処理時間と、注視点同期手段２０における同期処理時間と、注視点統合手段４０における統合処理時間と、を合計した処理時間だけ遅延させる。映像遅延手段６０は、例えば、注視点統合手段４０によって統合された注視点のタイムコード（時刻情報）と、映像入力手段５０によって入力された映像のタイムコード（時刻情報）と、が合致するように、重畳映像生成手段７０に対する映像の出力を遅らせることで、映像を遅延させることができる。あるいは、映像遅延手段６０の内部に映像入力手段５０から入力された映像を一時的に蓄積するメモリを設け、注視点統合手段４０によって統合された注視点のタイムコードに基づいて、当該メモリから該当するフレームを抽出して重畳映像生成手段７０に出力することで、映像を遅延させることができる。これにより、後記するように、映像入力手段５０から入力された映像に対して、注視点統合手段４０によって統合された注視点を重畳させる際に、映像と注視点との時間的なタイミングを合わせることができる。すなわち、ユーザＵが映像のどの場面のどの座標を注視していたのかを正確に示す重畳映像を生成することができる。
【０１０２】
映像遅延手段６０には、図３に示すように、映像入力手段５０からユーザＵが視聴している映像が入力される。そして、映像遅延手段６０は、前記した手法によって所定時間だけ映像を遅延させ、図３に示すように、これを重畳映像生成手段７０に出力する。
【０１０３】
重畳映像生成手段７０は、映像に注視点を重畳させるものである。重畳映像生成手段７０は、図３に示すように、映像遅延手段６０によって遅延された映像に対して、注視点統合手段４０によって統合された注視点を重畳させることで、重畳映像を生成する。これにより、ユーザＵが映像のどの場面のどの座標を注視していたのかを視覚的に示す重畳映像を生成することができる。
【０１０４】
重畳映像生成手段７０には、図３に示すように、注視点統合手段４０から統合後の注視点が入力され、映像遅延手段６０から遅延後の映像が入力される。そして、重畳映像生成手段７０は、前記した手法によって映像に統合後の注視点を重畳させ、図３に示すように、これを例えば外部の表示装置等に出力する。
【０１０５】
以上のような構成を備える視線測定装置１は、複数の撮影装置Ｃ１〜Ｃ４を相互に離れた位置に配置し、複数の角度から撮影された眼球周辺画像Ｇを利用することにより、いずれかの画像では視線測定に必要な特徴点を捉え、測定可能領域を相互に補完する。すなわち、視線測定装置１を用いることにより、１台の撮影装置では特徴点を捉えられなかった領域（例えば図２（ｂ）の左上図および左下図参照）におけるユーザＵの眼球運動を他の撮影装置で検出して補完するため、より広範囲の視線を測定することが可能となる。
【０１０６】
また、視線測定装置１は、各系統（複数の撮影装置Ｃ１〜Ｃ４とこれに対応する注視点抽出手段１０）ごとに、事前に注視点算出手段によって算出可能な注視点の画面上における注視点分布を用意しておき、この注視点分布によって算出された注視点確率に基づいて各系統で得られる注視点を統合する。このように、視線測定装置１では、複数台の撮影装置Ｃ１〜Ｃ４で特徴点を捉えることができる領域では、複数の注視点の測定結果を確率分布に基づいて統合するため、より精度が高く、頑健な測定が可能となる。
【０１０７】
また、視線測定装置１が前記した映像遅延手段６０および重畳映像生成手段７０を備える場合、ユーザＵが映像のどの場面のどの座標を注視していたのかを示す注視点を映像に重畳させた重畳映像を生成するため、非接触で測定した広範囲にわたるユーザＵの視線を視覚的に提示することができる。
【０１０８】
［視線測定装置１の動作］
以下、視線測定装置１の動作について、図１１および図１２（適宜図３、図４および図８を参照）を参照しながら簡単に説明する。まず、視線測定装置１は、撮影装置Ｃ１〜Ｃ４から、表示装置Ｄの画面を視認するユーザＵの眼球周辺画像Ｇ（近赤外光が照射された眼球周辺画像Ｇ）が入力されると、眼球位置検出手段１０１によって、ユーザＵの眼球位置を検出する（ステップＳ１）。次に、視線測定装置１は、眼球領域切り出し手段１０２によって、前記した眼球位置を基準として、眼球周辺画像Ｇから眼球領域画像ＧＲ，ＧＬをそれぞれ切り出す（ステップＳ２）。次に、視線測定装置１は、基準位置特定手段１０３によって、眼球領域画像ＧＲ，ＧＬから、眼球の瞳孔中心の位置および角膜反射点の位置からなる基準位置を特定する（ステップＳ３）。
【０１０９】
次に、視線測定装置１は、視線ベクトル算出手段１０４によって、撮影装置Ｃ１〜Ｃ４のカメラパラメータを用いることで、前記した基準位置から、ユーザＵの視線方向を示す視線ベクトルを算出する（ステップＳ４）。次に、視線測定装置１は、視線ベクトル校正手段１０５によって、必要に応じて視線ベクトルを校正する（ステップＳ５）。次に、視線測定装置１は、注視点算出手段１０６によって、視線ベクトルと表示装置Ｄの画面との交点をユーザＵの注視点として算出する（ステップＳ６）。次に、視線測定装置１は、注視点同期手段２０によって、複数の注視点を撮影装置Ｃ１〜Ｃ４の撮影時刻に応じてそれぞれ同期させる（ステップＳ７）。そして、視線測定装置１は、注視点統合手段４０によって、複数の注視点を一つに統合する（ステップＳ８）。以下、ステップＳ８における注視点の統合処理の詳細について、図１２を参照しながら説明する。
【０１１０】
注視点の統合処理では、視線測定装置１は、まず、確率取得手段４０１によって、注視点分布記憶手段３０に記憶されている注視点分布に含まれる全ての注視点の数と、画面上における個々の座標ごとの注視点の数と、を集計することで、表示装置Ｄの画面上における個々の座標ごとの注視点確率分布を算出する。そして、視線測定装置１は、確率取得手段４０１によって、この注視点確率分布に対して、注視点同期手段２０によって同期された注視点の座標を照らし合わせることで、当該注視点の注視点確率を取得する（ステップＳ８１）。
【０１１１】
次に、視線測定装置１は、更新手段４０２によって、確率取得手段４０１によって取得された注視点確率が予め定められた所定の閾値ｔｈ１を超えるか否かを判定する（ステップＳ８２）。そして、視線測定装置１は、注視点確率が予め定められた所定の閾値ｔｈ１を超える場合（ステップＳ８２においてＹｅｓ）、更新手段４０２によって、当該注視点確率を有する注視点を注視点分布記憶手段３０に書き込み、注視点分布を更新する（ステップＳ８３）。一方、視線測定装置１は、注視点確率が予め定められた所定の閾値ｔｈ１未満である場合（ステップＳ８２においてＮｏ）、注視点分布を更新することなく、ステップＳ８４に進む。
【０１１２】
次に、視線測定装置１は、統合手段４０３によって、確率取得手段４０１によって取得された注視点確率に従って、注視点同期手段２０によって同期された複数の注視点を加重平均するか、あるいは、注視点同期手段２０によって同期された複数の注視点の中から注視点確率の最も高いものを選択することで、複数の注視点を一つに統合する（ステップＳ８４）。これにより、注視点の統合処理が終了する。
【０１１３】
なお、視線測定装置１が映像遅延手段６０および重畳映像生成手段７０を備える場合（図３参照）は、前記した注視点の統合処理後に以下の処理が追加される。視線測定装置１は、まず、映像遅延手段６０によって、映像入力手段５０から入力された映像を、注視点抽出手段１０における抽出処理時間と、注視点同期手段２０における同期処理時間と、注視点統合手段４０における統合処理時間と、を合計した処理時間だけ遅延させる。次に、視線測定装置１は、重畳映像生成手段７０によって、映像遅延手段６０によって遅延された映像に対して、注視点統合手段４０によって統合された注視点を重畳させることで、重畳映像を生成する。これにより、例えば図示しない表示装置等を用いて、ユーザＵが映像のどの場面のどの座標を注視していたのかを視覚的に示す重畳映像を表示することができる。
【０１１４】
［第２実施形態］
以下、第２実施形態に係る視線測定装置１Ａについて、図１３〜図１５を参照しながら詳細に説明する。視線測定装置１Ａは、図１３に示すように、注視点抽出手段１０の代わりに注視点抽出手段１０Ａを、注視点統合手段４０の代わりに注視点統合手段４０Ａを、注視点分布記憶手段３０の代わりにテンプレート画像記憶手段８０を備える以外は、第１実施形態に係る視線測定装置１と同様の構成を備えている。従って、以下の説明では、視線測定装置１との相違点を中心に説明を行い、当該視線測定装置１と重複する構成については詳細説明を省略する。
【０１１５】
テンプレート画像記憶手段８０は、ユーザＵの眼球の特徴的な部位を含むテンプレート画像を記憶するものである。ここで、テンプレート画像とは、図１４（ａ）に示すように、ユーザＵの眼球の特徴が含まれる画像であり、例えば図１４（ａ）に示すように、ユーザＵの瞳孔を含む画像や、ユーザＵの角膜反射像を含む画像のことを意味している。テンプレート画像としては、例えば、予め表示装置Ｄの画面を注視するユーザＵの眼球を撮影装置Ｃ１〜Ｃ４ごとに撮影した眼球画像から、図１４（ａ）に示すように、瞳孔を含む画像または角膜反射像を含む画像を抜き出したものを用いることができる。
【０１１６】
テンプレート画像は、後記するように、眼球位置検出手段１０１Ａにおけるテンプレートマッチングに用いられる。その際に、例えば図１４（ａ）に示す瞳孔を含む画像または角膜反射像を含む画像をテンプレート画像として用いた場合、図１４（ｂ）の左に示す眼球画像は類似度が大きいと判断され、右に示す眼球画像は類似度が小さいと判断されることになる。
【０１１７】
テンプレート画像記憶手段８０は、具体的には、データを記憶することができるメモリ、ハードディスク等で具現される。テンプレート画像記憶手段８０は、図１４（ａ）に示すようなテンプレート画像を予め記憶しており、図１３および図１５に示すように、これを注視点抽出手段１０Ａの眼球位置検出手段１０１Ａに出力する。なお、テンプレート画像記憶手段８０は、図１３に示すように、視線測定装置１Ａの内部に設けられているが、外部に設けられてもよい。
【０１１８】
注視点抽出手段１０Ａにおける眼球位置検出手段１０１Ａは、図１５に示すように、テンプレート画像記憶手段８０に記憶されたテンプレート画像と、撮影装置Ｃ１〜Ｃ４によって撮影された眼球周辺画像Ｇと、を類似度を示す正規化相関値を指標としてテンプレートマッチングすることで、ユーザＵの眼球位置を検出する。
【０１１９】
ここで、前記した正規化相関値ｒは、例えば下記式（７）によって表わすことができる。なお、下記式（７）におけるＩ（ｉ，ｊ）は、眼球周辺画像Ｇにおける位置（ｉ，ｊ）画素値、Ｔ（ｉ，ｊ）は、テンプレート画像における位置（ｉ，ｊ）の画素値、Ｉバーは、眼球周辺画像Ｇの平均画素値、Ｔバーは、テンプレート画像の平均画素値、を示している。
【０１２０】
【数７】
【０１２１】
このように算出された眼球周辺画像Ｇごとの正規化相関値は、図１３および図１５に示すように、眼球位置検出手段１０１Ａから、眼球領域画像切り出し手段１０２、基準位置特定手段１０３、視線ベクトル算出手段１０４、視線ベクトル校正手段１０５、注視点算出手段１０６および注視点同期手段２０を介して、注視点統合手段４０Ａに出力される。そして、注視点統合手段４０Ａは、それぞれ撮影装置Ｃ１〜Ｃ４に対応する複数の眼球位置検出手段１０１Ａによって算出された複数の正規化相関値に従って、注視点同期手段２０によって同期された複数の注視点を一つに統合する。
【０１２２】
注視点統合手段４０Ａは、例えば、前記した正規化相関値に従って、注視点同期手段２０によって同期された複数の注視点を加重平均することで、複数の注視点を統合することができる。この場合、注視点統合手段４０Ａは、複数の注視点の座標および正規化相関値をパラメータとする、下記式（８）に示す統合用関数ｇｉｎｔを用いて複数の注視点を統合する。なお、下記式（８）におけるｒｍは、各注視点を算出する際に行なったパターンマッチングの正規化相関値を示している。
【０１２３】
【数８】
【０１２４】
また、注視点統合手段４０Ａは、前記した手法以外にも、注視点同期手段２０によって同期された複数の注視点の中から正規化相関値の最も高いものを選択することで、複数の注視点を統合してもよい。この場合、注視点統合手段４０Ａは、下記式（９）に示す統合用関数ｇｉｎｔを用いて複数の注視点を統合する。なお、下記式（９）におけるｇｍｍａｘは、複数の注視点の座標の中で最も正規化相関値の高い座標を示している。
【０１２５】
【数９】
【０１２６】
以上のような構成を備える視線測定装置１Ａは、複数の撮影装置Ｃ１〜Ｃ４を相互に離れた位置に配置し、複数の角度から撮影された眼球周辺画像Ｇを利用することにより、いずれかの画像では視線測定に必要な特徴点を捉え、測定可能領域を相互に補完する。すなわち、視線測定装置１Ａを用いることにより、１台の撮影装置では特徴点を捉えられなかった領域（例えば図２（ｂ）の左上図および左下図参照）におけるユーザＵの眼球運動を他の撮影装置で検出して補完するため、より広範囲の視線を測定することが可能となる。
【０１２７】
また、視線測定装置１Ａは、各系統（撮影装置Ｃ１〜Ｃ４とこれに対応する注視点抽出手段１０Ａ）ごとに、事前にユーザＵの眼球の特徴的な部位を含むテンプレート画像を用意しておき、ユーザＵの眼球周辺画像Ｇからテンプレートマッチングによって眼球の位置を検出するとともに、当該テンプレート画像との類似度を表す指標（例えば正規化相関値）を算出し、これらの指標に基づいて各系統で得られる注視点を統合する。このように、視線測定装置１Ａは、複数台の撮影装置Ｃ１〜Ｃ４で特徴点を捉えることができる領域では、複数の注視点の測定結果をテンプレート画像との類似度に基づいて統合するため、より精度が高く、頑健な測定が可能となる。
【０１２８】
また、視線測定装置１Ａが前記した映像遅延手段６０および重畳映像生成手段７０を備える場合、ユーザＵが映像のどの場面のどの座標を注視していたのかを示す注視点を映像に重畳させた重畳映像を生成するため、非接触で測定した広範囲にわたるユーザＵの視線を視覚的に提示することができる。
【０１２９】
［視線測定装置１Ａの動作］
以下、視線測定装置１Ａの動作について、図１６（適宜図１３および図１５参照）を参照しながら簡単に説明する。まず、視線測定装置１Ａは、撮影装置Ｃ１〜Ｃ４から、表示装置Ｄの画面を視認するユーザＵの眼球周辺画像Ｇ（近赤外光が照射された眼球周辺画像Ｇ）が入力されると、眼球位置検出手段１０１Ａによって、テンプレート画像との正規化相関値が算出されるとともに、ユーザＵの眼球位置を検出する（ステップＳ９）。次に、視線測定装置１Ａは、眼球領域切り出し手段１０２によって、前記した眼球位置を基準として、眼球周辺画像Ｇから眼球領域画像ＧＲ，ＧＬをそれぞれ切り出す（ステップＳ１０）。次に、視線測定装置１Ａは、基準位置特定手段１０３によって、眼球領域画像ＧＲ，ＧＬから、眼球の瞳孔中心の位置および角膜反射点の位置からなる基準位置を特定する（ステップＳ１１）。
【０１３０】
次に、視線測定装置１Ａは、視線ベクトル算出手段１０４によって、撮影装置Ｃ１〜Ｃ４のカメラパラメータを用いることで、前記した基準位置から、ユーザＵの視線方向を示す視線ベクトルを算出する（ステップＳ１２）。次に、視線測定装置１Ａは、視線ベクトル校正手段１０５によって、必要に応じて視線ベクトルを校正する（ステップＳ１３）。次に、視線測定装置１Ａは、注視点算出手段１０６によって、視線ベクトルと表示装置Ｄの画面との交点をユーザＵの注視点として算出する（ステップＳ１４）。次に、視線測定装置１Ａは、注視点同期手段２０によって、複数の注視点を撮影装置Ｃ１〜Ｃ４の撮影時刻に応じてそれぞれ同期させる（ステップＳ１５）。
【０１３１】
次に、視線測定装置１Ａは、注視点統合手段４０によって、眼球位置検出手段１０１Ａによって算出された正規化相関値に従って、注視点同期手段２０によって同期された複数の注視点を加重平均するか、あるいは、注視点同期手段２０によって同期された複数の注視点の中から正規化相関値の最も高いものを選択することで、複数の注視点を一つに統合する（ステップＳ１６）。これにより、注視点の統合処理が終了する。
【０１３２】
なお、視線測定装置１Ａが映像遅延手段６０および重畳映像生成手段７０を備える場合（図１３参照）は、前記した注視点の統合処理後に以下の処理が追加される。視線測定装置１Ａは、まず、映像遅延手段６０によって、映像入力手段５０から入力された映像を注視点抽出手段１０Ａにおける抽出処理時間と、注視点同期手段２０における同期処理時間と、注視点統合手段４０における統合処理時間と、を合計した処理時間だけ遅延させる。次に、視線測定装置１Ａは、重畳映像生成手段７０によって、映像遅延手段６０によって遅延された映像に対して、注視点統合手段４０Ａによって統合された注視点を重畳させることで、重畳映像を生成する。これにより、例えば図示しない表示装置等を用いて、ユーザＵが映像のどの場面のどの座標を注視していたのかを視覚的に示す重畳映像を表示することができる。
【０１３３】
［第３実施形態］
以下、第３実施形態に係る視線測定装置１Ｂについて、図１７および図１８（適宜図１５参照）を参照しながら詳細に説明する。視線測定装置１Ｂは、図１７に示すように、第１実施形態に係る視線測定装置１と同様に、注視点分布記憶手段３０を備えるとともに、第２実施形態に係る視線測定装置１Ａと同様に、注視点抽出手段１０Ａと、テンプレート画像記憶手段８０と、を備えている。また、視線測定装置１Ｂは、図１７に示すように、視線測定装置１，２の注視点統合手段４０，４０Ａの代わりに、注視点統合手段４０Ｂを備えている。従って、以下の説明では、視線測定装置１，２との相違点を中心に説明を行い、重複する構成については詳細説明を省略する。
【０１３４】
視線測定装置１Ｂでは、第２実施形態に係る視線測定装置１Ａと同様に、テンプレート画像記憶手段８０がユーザＵの眼球の特徴的な部位（瞳孔と角膜反射像の両方または角膜反射像）を含むテンプレート画像を予め記憶しており、眼球位置検出手段１０１Ａが、当該テンプレート画像と、撮影装置Ｃ１〜Ｃ４によって撮影された眼球周辺画像Ｇと、を類似度を示す正規化相関値を指標としてテンプレートマッチングすることで、ユーザＵの眼球位置を検出する（図１５参照）。なお、この正規化相関値は、前記式（５）で表わされる。
【０１３５】
このように算出された眼球周辺画像Ｇごとの正規化相関値は、図１５、図１７および図１８に示すように、眼球位置検出手段１０１Ａから、眼球領域画像切り出し手段１０２、基準位置特定手段１０３、視線ベクトル算出手段１０４、視線ベクトル校正手段１０５、注視点算出手段１０６および注視点同期手段２０を介して、注視点統合手段４０Ｂの確率取得手段４０１Ｂに出力される。
【０１３６】
確率取得手段４０１Ｂは、図１７および図１８に示すように、注視点同期手段２０から、同期後の複数の注視点と、これに対応する正規化相関値が入力されると、注視点分布記憶手段３０から、注視点分布に含まれる注視点の数を取得する。そして、確率取得手段４０１Ｂは、当該注視点の数が予め定められた所定の閾値ｔｈ２未満であるか否かを判定する。この閾値処理は、言い換えれば、注視点分布記憶手段３０の中に一定量の注視点のデータが記憶されているかを判定することを意味している。なお、閾値ｔｈ２は、予め実験的または試験的に求めておいたものを用いる。
【０１３７】
確率取得手段４０１Ｂは、前記した注視点の数が所定の閾値ｔｈ２未満である場合、図１８に示すように、注視点分布記憶手段３０から注視点分布を取得することなく、同期後の複数の注視点と、これに対応する正規化相関値を更新手段４０２Ｂに出力する。そして、更新手段４０２Ｂは、確率取得手段４０１Ｂから入力された正規化相関値が予め定められた所定の閾値ｔｈ３を超えるか否かを判定し、正規化相関値が所定の閾値ｔｈ３を超える場合、当該正規化相関値を有する注視点を注視点分布記憶手段３０に書き込むことで、注視点分布記憶手段３０に記憶されている注視点分布を更新する。また、更新手段４０２Ｂは、図１８に示すように、同期後の複数の注視点と、これに対応する正規化相関値を統合手段４０３Ｂに出力する。そして、統合手段４０３Ｂは、前記した正規化相関値に従って、注視点同期手段２０によって同期された複数の注視点を加重平均するか、あるいは、注視点同期手段２０によって同期された複数の注視点の中から正規化相関値の最も高いものを選択することで、複数の注視点を一つに統合する。なお、この場合の統合処理は、視線測定装置１Ａと同様である。また、閾値ｔｈ３は、経験的に求めてもよいし、得られた類似度（正規化相関値）の標準偏差等の分布を示す統計量に基づいて動的に定めてもよい。
【０１３８】
一方、確率取得手段４０１Ｂは、前記した注視点の数が所定の閾値ｔｈ２を超える場合、図１８に示すように、注視点分布記憶手段３０から注視点分布を取得し、当該注視点分布から算出した注視点確率分布から同期後の複数の注視点の注視点確率をそれぞれ取得し、当該複数の注視点確率と、これに対応する同期後の注視点と、を更新手段４０２Ｂに出力する。そして、更新手段４０２Ｂは、確率取得手段４０１Ｂから入力された注視点確率が予め定められた所定の閾値ｔｈ１を超えるか否かを判定し、注視点確率が所定の閾値ｔｈ１を超える場合、当該注視点確率を有する注視点を注視点分布記憶手段３０に書き込むことで、注視点分布記憶手段３０に記憶されている注視点分布を更新する。また、更新手段４０２Ｂは、図１８に示すように、同期後の複数の注視点と、これに対応する注視点確率を統合手段４０３Ｂに出力する。そして、統合手段４０３Ｂは、前記した注視点確率に従って、注視点同期手段２０によって同期された複数の注視点を加重平均するか、あるいは、注視点同期手段２０によって同期された複数の注視点の中から注視点分布の最も高いものを選択することで、複数の注視点を一つに統合する。なお、この場合の統合処理は、視線測定装置１と同様である。
【０１３９】
以上のような構成を備える視線測定装置１Ｂは、複数の撮影装置Ｃ１〜Ｃ４を相互に離れた位置に配置し、複数の角度から撮影された眼球周辺画像Ｇを利用することにより、いずれかの画像では視線測定に必要な特徴点を捉え、測定可能領域を相互に補完する。すなわち、視線測定装置１Ｂを用いることにより、１台の撮影装置では特徴点を捉えられなかった領域（例えば図２（ｂ）の左上図および左下図参照）におけるユーザＵの眼球運動を他の撮影装置で検出して補完するため、より広範囲の視線を測定することが可能となる。
【０１４０】
また、前記した第１実施形態に係る視線測定装置１のように、注視点分布記憶手段３０に蓄積されている注視点の分布からモデル（例えば混合正規分布モデル）を当てはめて精度の高い注視点確率分布を得るには相当量の注視点のデータが必要となる。すなわち、視線測定装置１のように、注視点確率分布を用いることで、精度の高い統合が可能であるが、測定の初期状態ではデータ量が少ないため高い精度での統合が困難な場合がある。
【０１４１】
一方、視線測定装置１Ｂは、注視点分布記憶手段３０およびテンプレート画像記憶手段８０の両方を備えており、注視点分布記憶手段３０に記憶されているデータ量（注視点の数）が少ない場合は、撮影装置Ｃ１〜Ｃ４によって撮影された眼球周辺画像Ｇとテンプレート画像との類似度を示す正規化相関値によって統合処理を行うとともに、一定以上の正規化相関数を有する注視点を注視点分布記憶手段３０に書き込むことで注視点分布を更新する。また、視線測定装置１Ｂは、注視点分布記憶手段３０に記憶されているデータ量（注視点の数）が一定以上となった場合は、眼球周辺画像Ｇから抽出した注視点の確からしさを示す注視点確率によって統合処理を行う。従って、視線測定装置１Ｂは、注視点分布記憶手段３０に必要量のデータが蓄積された後は、テンプレートマッチングの類似度（正規化相関値）に基づいた統合から注視点分布による統合へと切り替えることができるため、精度の高い測定が可能となる。
【０１４２】
また、視線測定装置１Ｂが前記した映像遅延手段６０および重畳映像生成手段７０を備える場合、ユーザＵが映像のどの場面のどの座標を注視していたのかを示す注視点を映像に重畳させた重畳映像を生成するため、非接触で測定した広範囲にわたるユーザＵの視線を視覚的に提示することができる。
【０１４３】
［視線測定装置１Ｂの動作］
以下、視線測定装置１Ｂの動作について、図１９および図２０（適宜図１５、図１７および図１８参照）を参照しながら簡単に説明する。まず、視線測定装置１Ｂは、撮影装置Ｃ１〜Ｃ４から、表示装置Ｄの画面を視認するユーザＵの眼球周辺画像Ｇ（近赤外光が照射された眼球周辺画像Ｇ）が入力されると、眼球位置検出手段１０１Ａによって、眼球周辺画像Ｇのテンプレート画像との正規化相関値を算出するとともに、ユーザＵの眼球位置を検出する（ステップＳ１７）。次に、視線測定装置１Ｂは、眼球領域切り出し手段１０２によって、前記した眼球位置を基準として、眼球周辺画像Ｇから眼球領域画像ＧＲ，ＧＬを切り出す（ステップＳ１８）。次に、視線測定装置１Ｂは、基準位置特定手段１０３によって、眼球領域画像ＧＲ，ＧＬから、眼球の瞳孔中心の位置および角膜反射点の位置からなる基準位置を特定する（ステップＳ１９）。
【０１４４】
次に、視線測定装置１Ｂは、視線ベクトル算出手段１０４によって、撮影装置Ｃ１〜Ｃ４のカメラパラメータを用いることで、前記した基準位置から、ユーザＵの視線方向を示す視線ベクトルを算出する（ステップＳ２０）。次に、視線測定装置１Ｂは、視線ベクトル校正手段１０５によって、必要に応じて視線ベクトルを校正する（ステップＳ２１）。次に、視線測定装置１Ｂは、注視点算出手段１０６によって、視線ベクトルと表示装置Ｄの画面との交点を、ユーザＵの注視点として算出する（ステップＳ２２）。次に、視線測定装置１Ｂは、注視点同期手段２０によって、複数の注視点を撮影装置Ｃ１〜Ｃ４の撮影時刻に応じてそれぞれ同期させる（ステップＳ２３）。そして、視線測定装置１Ｂは、注視点統合手段４０Ｂによって、複数の注視点を一つに統合する（ステップＳ２４）。以下、ステップＳ２４における注視点の統合処理の詳細について、図２０を参照しながら説明する。
【０１４５】
注視点の統合処理では、視線測定装置１Ｂは、まず、確率取得手段４０１Ｂによって、注視点分布記憶手段３０から、注視点分布に含まれる注視点の数を取得し、当該注視点の数が予め定められた所定の閾値ｔｈ２未満であるか否かを判定する（ステップＳ２４１）。
【０１４６】
そして、視線測定装置１Ｂは、注視点の数が予め定められた所定の閾値ｔｈ２未満である場合（ステップＳ２４１においてＹｅｓ）、確率取得手段４０１Ｂによって、眼球位置検出手段１０１Ａにより算出された正規化相関値が予め定められた所定の閾値ｔｈ３を超えるか否かを判定する（ステップＳ２４２）。そして、視線測定装置１Ｂは、正規化相関値が予め定められた所定の閾値ｔｈ３を超える場合（ステップＳ２４２においてＹｅｓ）、更新手段４０２Ｂによって、当該正規化相関値を有する注視点を注視点分布記憶手段３０に書き込み、注視点分布を更新する（ステップＳ２４３）。一方、視線測定装置１Ｂは、正規化相関値が予め定められた所定の閾値ｔｈ３未満である場合（ステップＳ２４２においてＮｏ）、注視点分布を更新することなく、ステップＳ２４４に進む。
【０１４７】
次に、視線測定装置１Ｂは、統合手段４０３Ｂによって、眼球位置検出手段１０１Ａによって算出された正規化相関値に従って、注視点同期手段２０によって同期された複数の注視点を加重平均するか、あるいは、注視点同期手段２０によって同期された複数の注視点の中から正規化相関値の最も高いものを選択することで、複数の注視点を一つに統合する（ステップＳ２４４）。これにより、注視点の統合処理が終了する。
【０１４８】
一方、視線測定装置１Ｂは、注視点の数が予め定められた所定の閾値ｔｈ２を超える場合（ステップＳ２４１においてＮｏ）、確率取得手段４０１Ｂによって、注視点分布記憶手段３０に記憶されている注視点分布に含まれる全ての注視点の数と、画面上における個々の座標ごとの注視点の数と、を集計することで、表示装置Ｄの画面上における個々の座標ごとの注視点確率分布を算出する。そして、視線測定装置１Ｂは、確率取得手段４０１Ｂによって、この注視点確率分布に対して、注視点同期手段２０によって同期された注視点の座標を照らし合わせることで、当該注視点の注視点確率を取得する（ステップＳ２４５）。
【０１４９】
次に、視線測定装置１Ｂは、更新手段４０２Ｂによって、確率取得手段４０１Ｂによって取得された注視点確率が予め定められた所定の閾値ｔｈ１を超えるか否かを判定する（ステップＳ２４６）。そして、視線測定装置１Ｂは、注視点確率が予め定められた所定の閾値ｔｈ１を超える場合（ステップＳ２４６においてＹｅｓ）、更新手段４０２Ｂによって、当該注視点確率を有する注視点を注視点分布記憶手段３０に書き込み、注視点分布を更新する（ステップＳ２４７）。一方、視線測定装置１Ｂは、注視点確率が予め定められた所定の閾値ｔｈ１未満である場合（ステップＳ２４６においてＮｏ）、注視点分布を更新することなく、ステップＳ２４８に進む。
【０１５０】
次に、視線測定装置１Ｂは、統合手段４０３Ｂによって、確率取得手段４０１Ｂによって取得された注視点確率に従って、注視点同期手段２０によって同期された複数の注視点を加重平均するか、あるいは、注視点同期手段２０によって同期された複数の注視点の中から注視点確率の最も高いものを選択することで、複数の注視点を一つに統合する（ステップＳ２４８）。これにより、注視点の統合処理が終了する。
【０１５１】
なお、視線測定装置１Ｂが映像遅延手段６０および重畳映像生成手段７０を備える場合（図１７参照）は、前記した注視点の統合処理後に以下の処理が追加される。視線測定装置１Ｂは、まず、映像遅延手段６０によって、映像入力手段５０から入力された映像を注視点抽出手段１０Ａにおける抽出処理時間と、注視点同期手段２０における同期処理時間と、注視点統合手段４０Ｂにおける統合処理時間と、を合計した処理時間だけ遅延させる。次に、視線測定装置１Ｂは、重畳映像生成手段７０によって、映像遅延手段６０によって遅延された映像に対して、注視点統合手段４０Ｂによって統合された注視点を重畳させることで、重畳映像を生成する。これにより、例えば図示しない表示装置等を用いて、ユーザＵが映像のどの場面のどの座標を注視していたのかを視覚的に示す重畳映像を表示することができる。
【０１５２】
［視線測定プログラム］
ここで、前記した視線測定装置１，１Ａ，１Ｂは、一般的なコンピュータを、前記した各手段および各部として機能させるプログラムにより動作させることで実現することができる。このプログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【０１５３】
以上、本発明に係る視線測定装置および視線測定プログラムについて、発明を実施するための形態により具体的に説明したが、本発明の趣旨はこれらの記載に限定されるものではなく、特許請求の範囲の記載に基づいて広く解釈されなければならない。また、これらの記載に基づいて種々変更、改変等したものも本発明の趣旨に含まれることはいうまでもない。
【０１５４】
例えば、実施形態に係る視線測定装置１，１Ａ，１Ｂでは、図１に示すように、４台の撮影装置Ｃ１〜Ｃ４を設置する例を示したが、撮影装置の台数は、２台（複数台）以上であれば特に限定されない。また、図１の例では、撮影装置Ｃ１〜Ｃ４を表示装置Ｄの画面の４隅に配置する例を示したが、ユーザＵの眼球周辺を異なる位置および角度から撮影できるのであれば、撮影装置Ｃ１〜Ｃ４の設置位置は特に限定されない。
【０１５５】
また、実施形態に係る視線測定装置１，１Ａ，１Ｂでは、図３、図１３及び図１７に示すように、注視点抽出手段１０，１０Ａが撮影装置Ｃ１〜Ｃ４の数に対応して複数設けられ、その注視点抽出手段１０，１０Ａのそれぞれで注視点を抽出しているが、この注視点抽出手段１０，１０Ａを一つのみ設け、複数の撮影装置Ｃ１〜Ｃ４から入力された眼球周辺画像Ｇからそれぞれ注視点を抽出してもよい。
【０１５６】
また、実施形態に係る視線測定装置１，１Ａ，１Ｂでは、図４および図１５に示すように、視線ベクトル算出手段１０４によって算出された視線ベクトルを視線ベクトル校正手段１０５によって校正し、校正後の視線ベクトルを注視点算出手段１０６に出力する構成としたが、視線ベクトルの校正処理は必要に応じて行うものであるため省略してもよい。この場合、視線測定装置１，１Ａ，１Ｂは、図４および図１５に示す視線ベクトル算出手段１０４によって算出された視線ベクトルを校正することなく注視点算出手段１０６に出力する。
【０１５７】
また、実施形態に係る視線測定装置１，１Ａ，１Ｂでは、図３、図６、図１３及び図１７に示すように、注視点同期手段２０によって、撮影装置Ｃ１〜Ｃ４によって同時刻に撮影された複数の眼球周辺画像Ｇに対応する複数の注視点を時間的に同期させているが、注視点抽出手段１０，１０Ａによって抽出された注視点が既に時間的に同期している場合は、注視点同期手段２０を設けずに、注視点抽出手段１０から注視点統合手段４０に直接複数の注視点を出力してもよい。なお、注視点抽出手段１０，１０Ａによって抽出された注視点が既に時間的に同期している場合とは、具体的には、撮影装置Ｃ１〜Ｃ４に対応して設けられた複数の注視点抽出手段１０，１０Ａにおける注視点処理時間が一致する場合を意味している。
【０１５８】
また、実施形態に係る視線測定装置１，１Ｂでは、図３、図８、図１７および図１８に示すように、注視点分布記憶手段３０が注視点分布を予め記憶し、確率取得手段４０１，４０１Ｂが当該注視点分布から注視点確率分布を算出する構成としたが、注視点分布記憶手段３０が注視点分布と注視点確率分布の双方を記憶する構成としてもよい。この場合、注視点分布記憶手段３０は、注視点分布と、当該注視点分布から予め算出された注視点確率分布と、を記憶する。そして、確率取得手段４０１は、注視点分布記憶手段３０から注視点確率分布を取得し、当該注視点確率分布に対して、注視点同期手段２０によって同期された注視点を照らし合わせることで、当該注視点の注視点確率を取得する。なお、この場合の注視点確率分布は、例えば確率分布の中心の座標と広がりのパラメータによって表現することができるため、注視点分布記憶手段３０はこれらのパラメータを記憶してもよい。
【０１５９】
また、実施形態に係る視線測定装置１Ｂでは、確率取得手段４０１Ｂが、注視点分布記憶手段３０に記憶された注視点の数が所定の閾値ｔｈ２未満であるか否かを判定することで、テンプレートマッチングの類似度（正規化相関値）に基づいた統合から注視点分布による統合へと切り替えているが、この切り替えの判定は、前記した注視点の数の他に、モデルの当てはまりの良さを示す指標（例えばＡＩＣ，ＢＩＣ等の情報量基準）を用いてもよい。
【０１６０】
なお、注視点確率分布は、個人差補正のための校正作業で得られる注視点のデータに基づいて作成してもよいし、過去にユーザＵについて測定した注視点のデータに基づいて作成してもよい。また、注視点確率分布は、代表的な座標における確率を示した表形式で用意しても良いし、パラメトリックなモデルで表現してもよい。
【０１６１】
また、実施形態に係る視線測定装置１，１Ａ，１Ｂは、撮影装置Ｃ１〜Ｃ４によって撮影された眼球周辺画像Ｇ（図５参照）を一時的に蓄積するメモリ（図示せず）をさらに備えていてもよい。視線測定装置１，１Ａ，１Ｂは、視線ベクトル算出手段１０４によって算出された視線ベクトルや、注視点算出手段１０６によって算出された注視点を蓄積するメモリ（図示せず）をさらに備えていてもよい。この場合、撮影装置Ｃ１〜Ｃ４によって撮影され、図示しないメモリに記憶された眼球周辺画像Ｇは、眼球位置検出手段１０１，１０１Ａによって適宜読み出される。また、視線ベクトル算出手段１０４Ａによって算出され、図示しないメモリに記憶された視線ベクトルは、視線ベクトル校正手段１０５によって適宜読み出される。また、注視点算出手段１０６によって算出され、図示しないメモリに記憶された注視点は、注視点同期手段２０によって適宜読み出される。
【０１６２】
また、実施形態に係る視線測定装置１，１Ａ，１Ｂは、予め生成された校正データを記憶するメモリ（図示せず）を備えていてもよい。このメモリは、半導体メモリ等の一般的な記憶手段とすることができる。なお、このメモリを、例えば、ＦＩＦＯ（First In First Out）バッファとし、予め定めた回数の校正データのみを記憶することとし、予め定めた回数を超えて新しい校正データが入力された場合、最も古い校正データを削除し、新しい校正データを記憶するように構成してもよい。これにより、誤った校正データが記憶された場合であっても、再度校正をやり直すことで、正しい校正データが記憶されることとなる。このようなメモリに記憶された校正データは、視線ベクトル校正手段１０５によって逐次参照されることとなる。
【符号の説明】
【０１６３】
１，１Ａ，１Ｂ 視線測定装置
１０，１０Ａ 注視点抽出手段
２０ 注視点同期手段
３０ 注視点分布記憶手段
４０，４０Ａ，４０Ｂ 注視点統合手段
５０ 映像入力手段
６０ 映像遅延手段
７０ 重畳映像生成手段
８０ テンプレート画像記憶手段
１０１，１０１Ａ 眼球位置検出手段
１０２ 眼球領域画像切り出し手段
１０３ 基準位置特定手段
１０４ 視線ベクトル算出手段
１０５ 視線ベクトル校正手段
１０６ 注視点算出手段
４０１，４０１Ａ，４０１Ｂ 確率取得手段
４０２，４０２Ａ，４０２Ｂ 更新手段
４０３，４０３Ａ，４０３Ｂ 統合手段
Ｃ１，Ｃ２，Ｃ３，Ｃ４ 撮影装置
Ｄ 表示装置
Ｇ 眼球周辺画像
ＧＬ，ＧＲ 眼球領域画像
Ｒ 発光装置
Ｕ ユーザ
【技術分野】
【０００１】
本発明は、ユーザの視線を測定するための視線測定装置および視線測定プログラムに関するものである。
【背景技術】
【０００２】
ユーザ（被測定者）の身体に装置を装着せず、非接触で視線方向を検出する方法としては、例えば瞳孔−角膜反射法が従来から知られている。瞳孔−角膜反射法は、ユーザの眼球に近赤外光を照射し、当該近赤外光に感度のあるカメラ（眼球カメラ）で瞳孔画像および角膜表面での照明光の反射像を捉え、両者の位置関係から眼球の回転方向を算出する方法であり、例えば非特許文献１，２に開示されている。この方式は、ユーザの眼球の光軸方向を算出していることになるため、カメラによって特徴点（瞳孔および角膜反射像）が撮影可能な範囲にユーザの眼球があれば、当該ユーザの頭部の動きに対しても頑健な特性を有している。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】大野健彦、他２名「２点補正による簡易キャリブレーションを実現した視線測定システム」、情報処理学会論文誌 Ｖｏｌ．４４ Ｎｏ．４ ｐｐ．１１３６−１１４９、Ａｐｒ．２００３
【非特許文献２】竹井機器株式会社製 ＦｒｅｅＶｉｅｗ−ＤＴＳ（型番 Ｔ．Ｋ．Ｋ．２９２０ｂ）ハードウェア取扱説明書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、カメラが眼球の特徴点を捉えられる範囲に原理的な制限があり、カメラの光軸と眼球の回転中心を結ぶ直線から概ね２０度〜３０度以内が測定範囲と言われている（非特許文献２参照）。すなわち、瞳孔−角膜反射法では、ユーザがカメラの位置から２０度〜３０度以上離れた位置を注視した場合の視線は測定できず、広範囲にわたるユーザの眼球運動を測定することができないという問題があった。
【０００５】
本発明はかかる点に鑑みてなされたものであって、広範囲にわたるユーザの視線を非接触で測定することができる視線測定装置および視線測定プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するために請求項１に係る視線測定装置は、表示装置の画面を視認するユーザの視線を測定する視線測定装置であって、眼球位置検出手段と、眼球領域画像切り出し手段と、基準位置特定手段と、視線ベクトル算出手段と、注視点算出手段と、注視点統合手段と、を備える構成とした。
【０００７】
このような構成によれば、視線測定装置は、眼球位置検出手段によって、ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影された眼球周辺画像から、ユーザの眼球位置を検出する。また、眼球領域画像切り出し手段によって、眼球位置検出手段によって検出された眼球位置を基準として、複数の撮影装置によって撮影された眼球周辺画像から、当該眼球位置を含む所定面積の眼球領域画像を切り出す。また、基準位置特定手段によって、眼球領域画像切り出し手段によって切り出された眼球領域画像から、眼球の瞳孔中心の位置および角膜反射点の位置からなる基準位置を特定する。また、視線ベクトル算出手段によって、予め取得した撮影装置の撮影位置、撮影方向および撮影範囲を含むカメラパラメータを用いることで、基準位置特定手段によって特定された基準位置から、ユーザの視線方向を示す視線ベクトルを算出する。また必要に応じて、視線ベクトル校正手段によって視線ベクトルの個人差を補正し、実際の注視方向と視線ベクトルの方向を一致させる。また、注視点算出手段によって、視線ベクトル校正手段によって補正された視線ベクトルと画面との交点の座標を、ユーザが注目する注視点として算出する。また、注視点統合手段によって、複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を、当該複数の注視点ごとに算出された確からしさに従って、一つに統合する。
【０００８】
これにより、請求項１に係る視線測定装置は、複数の撮影装置を相互に離れた位置に配置し、複数の角度から撮影された眼球周辺画像を利用することにより、いずれかの画像では視線測定に必要な特徴点を捉え、測定可能領域を相互に補完する。
【０００９】
また、請求項２に係る視線測定装置は、請求項１に係る視線測定装置において、予め複数の撮影装置によって撮影されたユーザの眼球周辺画像から注視点算出手段によって算出可能な注視点の画面上における分布を示す注視点分布を、複数の撮影装置ごとに記憶する注視点分布記憶手段を備える構成とした。
【００１０】
このような構成によれば、視線測定装置は、注視点統合手段が、注視点分布記憶手段に記憶された注視点分布から算出された注視点の確からしさを示す注視点確率に従って、複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から注視点確率の最も高いものを選択することで、複数の注視点を一つに統合する。
【００１１】
これにより、請求項２に係る視線測定装置は、各系統（複数の撮影装置とこれに対応する注視点抽出手段）ごとに、事前に注視点算出手段によって算出可能な注視点の画面上における注視点分布を用意しておき、この注視点分布によって算出された注視点確率に基づいて各系統で得られる注視点を統合する。
【００１２】
また、請求項３に係る視線測定装置は、請求項１に係る視線測定装置において、ユーザの眼球の特徴的な部位（瞳孔と角膜反射像の両方または角膜反射像）を含むテンプレート画像を記憶するテンプレート画像記憶手段を備える構成とした。
【００１３】
このような構成によれば、視線測定装置は、眼球位置検出手段が、テンプレート画像記憶手段に記憶されたテンプレート画像と、ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影して得た眼球周辺画像と、を両画像の正規化相関値を指標としてテンプレートマッチングすることで、ユーザの眼球位置を検出し、かつ、類似度を示す正規化相関値を算出する。また、注視点統合手段が、眼球位置検出手段によって算出された正規化相関値に従って、複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から正規化相関値の最も高いものを選択することで、複数の注視点を一つに統合する。
【００１４】
これにより、請求項３に係る視線測定装置は、各系統（複数の撮影装置とこれに対応する注視点抽出手段）ごとに、事前にユーザの眼球の特徴的な部位（瞳孔と角膜反射像の両方または角膜反射像）を含むテンプレート画像を用意しておき、ユーザの眼球周辺画像からテンプレートマッチングによって眼球の位置を検出するとともに、当該テンプレート画像との類似度を表す指標（例えば正規化相関値）を算出し、これらの指標に基づいて各系統で得られる注視点を統合する。
【００１５】
また、請求項４に係る視線測定装置は、請求項１に係る視線測定装置において、予め複数の撮影装置によって撮影されたユーザの眼球周辺画像から注視点算出手段によって算出可能な注視点の画面上における分布を示す注視点分布を、複数の撮影装置ごとに記憶する注視点分布記憶手段と、ユーザの眼球の特徴的な部位（瞳孔と角膜反射像の両方または角膜反射像）を含むテンプレート画像を記憶するテンプレート画像記憶手段と、を備える構成とした。
【００１６】
このような構成によれば、視線測定装置は、眼球位置検出手段が、テンプレート画像記憶手段に記憶されたテンプレート画像と、ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影して得た眼球周辺画像と、を両画像の正規化相関値を指標としてテンプレートマッチングすることで、ユーザの眼球位置を検出し、かつ、類似度を示す正規化相関値を算出する。また、注視点統合手段が、注視点分布記憶手段に記憶された注視点分布に含まれる注視点の数が予め定めた所定の閾値未満である場合、眼球位置検出手段によって算出された正規化相関値に従って、複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から正規化相関値の最も高いものを選択することで、複数の注視点を一つに統合し、注視点分布記憶手段に記憶された注視点分布に含まれる注視点の数が予め定めた所定の閾値を超える場合、当該注視点分布から算出された注視点の確からしさを示す注視点確率に従って、複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から注視点確率の最も高いものを選択することで、複数の注視点を一つに統合する。
【００１７】
これにより、請求項４に係る視線測定装置は、注視点分布記憶手段に記憶されているデータ量（注視点の数）が少ない場合は、複数の撮影装置によって撮影された眼球周辺画像とテンプレート画像との類似度を示す正規化相関値によって統合処理を行う。また、視線測定装置は、注視点分布記憶手段に記憶されているデータ量（注視点の数）が一定以上である場合は、眼球周辺画像から抽出した注視点の確からしさを示す注視点確率によって統合処理を行う。
【００１８】
また、請求項５に係る視線測定装置は、請求項２または請求項４に係る視線測定装置において、注視点統合手段が、確率取得手段と、更新手段と、を備える構成とした。
【００１９】
このような構成によれば、請求項５に係る視線測定装置は、注視点統合手段によって、注視点分布記憶手段に記憶された注視点分布から、当該注視点分布に含まれる全ての注視点の数に対する前記画面上における個々の座標ごとの注視点の数の割合を示す注視点確率分布を算出し、当該注視点確率分布から、注視点算出手段によって算出された複数の注視点の注視点確率をそれぞれ取得する。また、更新手段によって、確率取得手段によって取得された注視点確率が予め定められた所定の閾値を超える場合、当該注視点確率を有する注視点を注視点分布記憶手段に書き込むことで、注視点分布を更新する。
【００２０】
また、請求項６に係る視線測定装置は、請求項１から請求項５のいずれか一項に係る視線測定装置において、映像遅延手段と、重畳映像生成手段と、を備える構成とした。
【００２１】
このような構成によれば、視線測定装置は、映像遅延手段によって、表示装置の画面上に表示される映像と同じ映像を入力する映像入力手段からの映像を、注視点抽出手段および注視点統合手段における処理時間に応じて遅延させる。また、重畳映像生成手段によって、映像遅延手段によって遅延された映像に対して、注視点統合手段によって統合された注視点を重畳させる。
【００２２】
前記課題を解決するために請求項７に係る視線測定プログラムは、ユーザの視線を測定するために、コンピュータを、眼球位置検出手段、眼球領域画像切り出し手段、基準位置特定手段、視線ベクトル算出手段、注視点算出手段、注視点統合手段、として機能させることとした。
【００２３】
このような構成によれば、視線測定プログラムは、眼球位置検出手段によって、ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影された眼球周辺画像から、ユーザの眼球位置を検出する。また、眼球領域画像切り出し手段によって、眼球位置検出手段によって検出された眼球位置を基準として、複数の撮影装置によって撮影された眼球周辺画像から、当該眼球位置を含む所定面積の眼球領域画像を切り出す。また、基準位置特定手段によって、眼球領域画像切り出し手段によって切り出された眼球領域画像から、眼球の瞳孔中心の位置および角膜反射点の位置からなる基準位置を特定する。また、視線ベクトル算出手段によって、予め取得した撮影装置の撮影位置、撮影方向および撮影範囲を含むカメラパラメータを用いることで、基準位置特定手段によって特定された基準位置から、ユーザの視線方向を示す視線ベクトルを算出する。また必要に応じて、視線ベクトル校正手段によって視線ベクトルの個人差を補正し、実際の注視方向と視線ベクトルの方向を一致させる。また、注視点算出手段によって、視線ベクトル校正手段によって補正された視線ベクトルと画面との交点の座標を、ユーザが注目する注視点として算出する。また、注視点統合手段によって、複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を、当該複数の注視点ごとに算出された確からしさに従って、一つに統合する。
【００２４】
これにより、請求項７に係る視線測定プログラムは、複数の撮影装置を相互に離れた位置に配置し、複数の角度から撮影された眼球周辺画像を利用することにより、いずれかの画像では視線測定に必要な特徴点を捉え、測定可能領域を相互に補完する。
【００２５】
また、請求項８に係る視線測定プログラムは、請求項７に係る視線測定プログラムにおいて、注視点統合手段が、予め複数の撮影装置によって撮影されたユーザの眼球周辺画像から注視点算出手段によって算出可能な注視点の画面上における分布を示す注視点分布から算出された注視点の確からしさを示す注視点確率に従って、複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から注視点確率の最も高いものを選択することで、複数の注視点を一つに統合することとした。
【００２６】
これにより、請求項８に係る視線測定プログラムは、各系統（複数の撮影装置とこれに対応する注視点抽出手段）ごとに、事前に注視点算出手段によって算出可能な注視点の画面上における注視点分布を用意しておき、この注視点分布によって算出された注視点確率に基づいて各系統で得られる注視点を統合する。
【００２７】
また、請求項９に係る視線測定プログラムは、請求項７に係る視線測定プログラムにおいて、眼球位置検出手段が、ユーザの眼球の特徴的な部位（瞳孔と角膜反射像の両方または角膜反射像）を含むテンプレート画像と、ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影して得た眼球周辺画像と、を両画像の正規化相関値を指標としてテンプレートマッチングすることで、ユーザの眼球位置を検出し、かつ、類似度を示す正規化相関値を算出することとした。また、注視点統合手段が、眼球位置検出手段によって算出された正規化相関値に従って、複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から正規化相関値の最も高いものを選択することで、複数の注視点を一つに統合することとした。
【００２８】
これにより、請求項９に係る視線測定プログラムは、各系統（複数の撮影装置とこれに対応する注視点抽出手段）ごとに、事前にユーザの眼球の特徴的な部位（瞳孔と角膜反射像の両方または角膜反射像）含むテンプレート画像を用意しておき、ユーザの眼球周辺画像からテンプレートマッチングによって眼球の位置を検出するとともに、当該テンプレート画像との類似度を表す指標（例えば正規化相関値）を算出し、これらの指標に基づいて各系統で得られる注視点を統合する。
【００２９】
また、請求項１０に係る視線測定プログラムは、請求項７に係る視線測定プログラムにおいて、眼球位置検出手段が、ユーザの眼球の特徴的な部位（瞳孔と角膜反射像の両方または角膜反射像）を含むテンプレート画像と、ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影して得た眼球周辺画像と、を両画像の正規化相関値を指標としてテンプレートマッチングすることで、ユーザの眼球位置を検出し、かつ、類似度を示す正規化相関値を算出することとした。また、注視点統合手段が、予め複数の撮影装置によって撮影されたユーザの眼球周辺画像から注視点算出手段によって算出可能な注視点の画面上における分布を示す注視点分布に含まれる注視点の数が予め定めた所定の閾値未満である場合、眼球位置検出手段によって算出された正規化相関値に従って、複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から正規化相関値の最も高いものを選択することで、複数の注視点を一つに統合し、注視点分布に含まれる注視点の数が予め定めた所定の閾値を超える場合、当該注視点分布から算出された注視点の確からしさを示す注視点確率に従って、複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から注視点確率の最も高いものを選択することで、複数の注視点を一つに統合することとした。
【００３０】
これにより、請求項１０に係る視線測定プログラムは、外部に設けられた注視点分布記憶手段に記憶されているデータ量（注視点の数）が少ない場合は、複数の撮影装置によって撮影された眼球周辺画像とテンプレート画像との類似度を示す正規化相関値によって統合処理を行う。また、視線測定装置は、外部に設けられた注視点分布記憶手段に記憶されているデータ量（注視点の数）が一定以上である場合は、眼球周辺画像から抽出した注視点の確からしさを示す注視点確率によって統合処理を行う。
【発明の効果】
【００３１】
請求項１，７に係る発明によれば、１台の撮影装置では特徴点を捉えられなかった領域におけるユーザの眼球運動を他の撮影装置で検出して補完するため、より広範囲の視線を測定することが可能となる。
【００３２】
請求項２，８に係る発明によれば、複数台の撮影装置で特徴点を捉えることができる領域では、複数の注視点の測定結果を確率分布に基づいて統合するため、より精度が高く、頑健な測定が可能となる。
【００３３】
請求項３，９に係る発明によれば、複数台の撮影装置で特徴点を捉えることができる領域では、複数の注視点の測定結果をテンプレート画像との類似度に基づいて統合するため、より精度が高く、頑健な測定が可能となる。
【００３４】
請求項４，１０に係る発明によれば、注視点分布記憶手段に必要量のデータが蓄積された後は、テンプレートマッチングの類似度（正規化相関値）に基づいた統合から注視点分布による統合へと切り替えることができるため、精度の高い測定が可能となる。
【００３５】
請求項５に係る発明によれば、注視点確率が一定以上である注視点、すなわちユーザが注視している可能性の高い座標を示す注視点が算出された場合、当該注視点を注視点分布記憶手段に追加して注視点分布を更新するため、注視点分布記憶手段に記憶された注視点分布の精度を漸次向上させることができる。
【００３６】
請求項６に係る発明によれば、ユーザが映像のどの場面のどの座標を注視していたのかを示す注視点を映像に重畳させた重畳映像を生成するため、非接触で測定した広範囲にわたるユーザの視線を視覚的に提示することができる。
【図面の簡単な説明】
【００３７】
【図１】本発明の実施形態に係る視線測定装置を含むシステム全体の構成を示す概略図である。
【図２】撮影装置によって撮影したユーザの眼球の画像の例を示す概略図であり、（ａ）は、ユーザが表示装置の画面の中央付近を注視している場合の画像、（ｂ）は、ユーザが表示装置の画面の右端付近を注視している場合の画像、である。
【図３】本発明の第１実施形態に係る視線測定装置の内部構成を示すブロック図である。
【図４】本発明の第１実施形態に係る視線測定装置における注視点抽出手段の内部構成を示すブロック図である。
【図５】本発明の第１実施形態に係る視線測定装置における注視点抽出手段の処理の内容を示す概略図であって、（ａ）は、眼球位置検出手段による処理を示す概略図、（ｂ）は、眼球領域画像切り出し手段による処理を示す概略図、（ｃ）は、基準位置特定手段による処理を示す概略図、である。
【図６】本発明の第１実施形態に係る視線測定装置における注視点同期手段によって同期した複数の注視点の例を示す概略図であって、（ａ）は、複数の注視点を撮影装置の撮影時間によって同期した例を示す概略図、（ｂ）は、複数の注視点を映像入力手段から入力された映像のタイムコードによって同期した例を示す概略図、である。
【図７】本発明の第１実施形態に係る視線測定装置における注視点分布記憶手段に記憶されている撮影装置ごとの注視点分布の例を示す概略図であって、（ａ）は、撮影装置Ｃ１によって撮影された眼球周辺画像から算出された注視点の注視点分布、（ｂ）は、撮影装置Ｃ２によって撮影された眼球周辺画像から算出された注視点の注視点分布、（ｃ）は、撮影装置Ｃ３によって撮影された眼球周辺画像から算出された注視点の注視点分布、（ｄ）は、撮影装置Ｃ４によって撮影された眼球周辺画像から算出された注視点の注視点分布、である。
【図８】本発明の第１実施形態に係る視線測定装置における注視点統合手段の内部構成を示すブロック図である。
【図９】本発明の第１実施形態に係る視線測定装置における注視点統合手段によって取得された注視点確率分布の第１の例を示す概略図である。
【図１０】本発明の第１実施形態に係る視線測定装置における注視点統合手段によって取得された注視点確率分布の第２の例を示す概略図である。
【図１１】本発明の第１実施形態に係る視線測定装置の動作を示すフローチャートである。
【図１２】本発明の第１実施形態に係る視線測定装置の動作における注視点統合処理の詳細を示すフローチャートである。
【図１３】本発明の第２実施形態に係る視線測定装置の内部構成を示すブロック図である。
【図１４】本発明の第２実施形態に係る視線測定装置におけるテンプレート画像記憶手段に記憶されたテンプレート画像の例を示す概略図であり、（ａ）は、ユーザの眼球画像と、当該眼球画像から抽出した瞳孔を含むテンプレート画像および角膜反射像のテンプレート画像と、を示す概略図、（ｂ）は、（ａ）に示すテンプレート画像に対する２枚の眼球周辺画像の類似度を示す概略図、である。
【図１５】本発明の第２実施形態に係る視線測定装置における注視点抽出手段の内部構成を示すブロック図である。
【図１６】本発明の第２実施形態に係る視線測定装置の動作を示すフローチャートである。
【図１７】本発明の第３実施形態に係る視線測定装置の内部構成を示すブロック図である。
【図１８】本発明の第３実施形態に係る視線測定装置における注視点統合手段の内部構成を示すブロック図である。
【図１９】本発明の第３実施形態に係る視線測定装置の動作を示すフローチャートである。
【図２０】本発明の第３実施形態に係る視線測定装置の動作における注視点統合処理の詳細を示すフローチャートである。
【発明を実施するための形態】
【００３８】
本発明に係る視線測定装置について、図面を参照しながら説明する。ここでは、大きく分けて３つの実施形態について説明する。そこで、以下の説明では、それぞれの実施形態ごとに構成と動作の説明を行うこととする。なお、以下の説明では、各実施形態について、同一の構成については同一の名称及び符号を付し、詳細説明を適宜省略する。
【００３９】
＜視線測定装置＞
［第１実施形態］
以下、本発明の第１実施形態に係る視線測定装置１について、図１〜図９を参照しながら詳細に説明する。視線測定装置１は、表示装置の画面を視認するユーザが当該画面のどこ（どの座標）を見ているのかを測定するものである。視線測定装置１は、図１に示すように、表示装置Ｄ、複数の撮影装置（カメラ）Ｃ１〜Ｃ４および発光装置Ｒとともに用いられ、これらの装置と一つのシステムを構成する。以下、視線測定装置１の説明を行なう前に、システムを構成するその他の要素について簡単に説明する。
【００４０】
表示装置Ｄは、ユーザＵに対して映像を表示するものである。表示装置Ｄは、例えば液晶モニタ等で構成され、図１に示すように、画面がユーザＵと正対するように配置される。なお、表示装置ＤとユーザＵとの間隔は、撮影装置Ｃ１〜Ｃ４の設置角度、あるいは発光装置Ｒの設置場所に応じて適宜調整される。
【００４１】
撮影装置Ｃ１〜Ｃ４は、ユーザＵの眼球周辺画像を複数の位置および角度から撮影するものである。撮影装置Ｃ１〜Ｃ４は、例えば近赤外領域の感度を有する高解像度カメラ等で構成され、図１に示すように、表示装置Ｄの４隅に配置されるとともに、それぞれがユーザＵの眼球周辺に向けて所定角度で配置される。この撮影装置Ｃ１〜Ｃ４によって撮影されたユーザＵの複数（この例では４つ）の眼球周辺画像は、図１に示すように、それぞれ視線測定装置１に出力される。
【００４２】
例えば、図１の破線矢印で示すように、ユーザＵが表示装置Ｄの画面の中心付近を注視している場合、撮影装置Ｃ１〜Ｃ４によって撮影されるユーザＵの眼球の画像は、図２（ａ）に示すようなものとなる。図２（ａ）に示すように、撮影装置Ｃ１によって撮影された画像は、瞳孔と角膜反射像（プルキニエ像）が左下に位置し、撮影装置Ｃ２によって撮影された画像は、瞳孔と角膜反射像が右下に位置し、撮影装置Ｃ３によって撮影された画像は、瞳孔と角膜反射像が左上に位置し、撮影装置Ｃ４によって撮影された画像は、瞳孔と角膜反射像が右上に位置するものとなる。なお、角膜反射像（プルキニエ像）とは、図２（ａ）に示すように、眼球の角膜表面で反射した光として画像上に表れる像のことを意味している。
【００４３】
一方、例えば、図１の一点鎖線矢印で示すように、ユーザＵが表示装置Ｄの画面の右端付近を注視している場合、撮影装置Ｃ１〜Ｃ４によって撮影されるユーザＵの眼球の画像は、図２（ｂ）に示すようなものとなる。図２（ｂ）に示すように、撮影装置Ｃ１によって撮影された画像は、瞳孔が左下に位置し、撮影装置Ｃ２によって撮影された画像は、瞳孔と角膜反射像が下に位置し、撮影装置Ｃ３によって撮影された画像は、瞳孔が左上に位置し、撮影装置Ｃ４によって撮影された画像は瞳孔が上に位置するものとなる。
【００４４】
このように、ユーザＵが表示装置Ｄの画面の中心付近を注視している場合、図２（ａ）に示すように、撮影装置Ｃ１〜Ｃ４によって撮影された全ての画像に瞳孔や角膜反射像が写っているため、後記する基準位置（瞳孔中心の位置および角膜反射点の位置）の特定が容易となる。一方、ユーザＵが表示装置Ｄの画面の右端付近を注視している場合、図２（ｂ）に示すように、当該ユーザＵの視線に近い撮影装置Ｃ２，Ｃ４によって撮影された画像には瞳孔や角膜反射像がはっきりと写っているが、ユーザＵの視線から遠い撮影装置Ｃ１，Ｃ３によって撮影された画像には角膜反射像が写っておらず、かつ、瞳孔の形状も歪んで写っている。すなわち、撮影装置Ｃ１，Ｃ３によって撮影された画像のみでは、瞳孔形状の歪から瞳孔中心の測定誤差が大きくなるとともに、後記する角膜反射点の検出が困難となる。
【００４５】
発光装置Ｒは、ユーザＵに対して近赤外光を照射するものであり、撮影装置Ｃ１〜Ｃ４による撮影のための照明光源である。発光装置Ｒは、例えば、発光素子としてＬＥＤ（発光ダイオード）を用いたリング照明等で構成され、図１に示すように、ユーザＵと表示装置Ｄとの間に配置されるとともに、ユーザＵの眼球周辺を照明するように所定角度で配置される。
【００４６】
次に、本発明の第１実施形態に係る視線測定装置１の具体的構成について詳細に説明する。視線測定装置１は、図３に示すように、注視点抽出手段１０と、注視点同期手段２０と、注視点分布記憶手段３０と、注視点統合手段４０と、を主な構成として備え、これらに加えて、映像遅延手段６０と、重畳映像生成手段７０と、を付加的な構成として備えている。
【００４７】
注視点抽出手段１０は、ユーザＵの眼球周辺画像から注視点を抽出するものである。ここで、注視点とは、ユーザＵが視線を向けている表示装置Ｄの画面上における点を意味し、表示装置Ｄの画面の座標によって特定される。言い換えれば、注視点は、ユーザＵの視線（視線ベクトル）と表示装置Ｄの画面との交点の座標によって特定される。注視点抽出手段１０は、図３に示すように、撮影装置Ｃ１〜Ｃ４それぞれに対応して設けられ、対応する撮影装置Ｃ１〜Ｃ４から入力された眼球周辺画像から、注視点をそれぞれ抽出する。
【００４８】
注視点抽出手段１０は、具体的には図４に示すように、眼球位置検出手段１０１と、眼球領域画像切り出し手段１０２と、基準位置特定手段１０３と、視線ベクトル算出手段１０４と、視線ベクトル校正手段１０５と、注視点算出手段１０６と、を備えている。
【００４９】
眼球位置検出手段１０１は、ユーザＵの眼球周辺画像から、その眼球位置を検出するものである。眼球位置検出手段１０１は、具体的には図５（ａ）に示すように、対応する撮影装置Ｃ１〜Ｃ４から入力された眼球周辺画像Ｇから、ユーザＵの眼球位置を検出する。なお、眼球位置検出手段１０１は、ユーザＵの左右それぞれの眼球位置を検出することが好ましい。但し、後記するように、ユーザＵの注視点は左右いずれかの眼球位置を検出できれば算出可能であるため、眼球位置検出手段１０１は、ユーザＵの左右いずれかの眼球位置のみを検出する構成としても構わない。
【００５０】
眼球位置検出手段１０１は、より具体的には、眼球位置情報として、ユーザＵの瞳孔の位置と、ユーザＵの角膜反射像の位置と、を検出する。眼球位置検出手段１０１は、入力された眼球周辺画像Ｇに対して、例えば２値化処理および粒子解析処理を行うことにより、瞳孔に相当する粒子と、角膜反射像に相当する粒子を検出し、これらの粒子の位置情報を眼球位置情報とする。すなわち、眼球位置検出手段１０１は、外部から入力された明度の閾値に基づいて、この閾値を超える部分（明度が高い部分）を検出し、さらに、外部から入力された粒子の面積範囲指定および真円度範囲指定により指定された領域を瞳孔として、左右の眼球の少なくとも一方について検出する。また、眼球位置検出手段１０１は、外部から入力された明度の閾値に基づいて、瞳孔よりもさらに明度が高い部分を検出し、さらに、外部から入力された粒子の面積範囲指定および真円度範囲指定により指定された領域を角膜反射像として、左右の眼球の少なくとも一方について検出する。なお、前記した眼球位置情報は、具体的には、ユーザＵの瞳孔の輪郭と角膜反射像の輪郭とを、画像座標系におけるｘｙ座標で示したものである。
【００５１】
眼球位置検出手段１０１には、図３および図４に示すように、対応する撮影装置Ｃ１〜Ｃ４から、眼球周辺画像が入力される。この眼球周辺画像は、前記した発光装置Ｒによって近赤外光が照射されたユーザＵの眼球周辺の画像である。また、この眼球周辺画像には、当該眼球周辺画像を撮影した時刻を示す時刻情報が含まれている（図示省略）。そして、眼球位置検出手段１０１は、前記した手法によって、眼球周辺画像Ｇから眼球位置を検出し、図４に示すように、当該眼球位置と、これに対応する眼球周辺画像Ｇ（時刻情報を含む）と、を眼球領域画像切り出し手段１０２に出力する。なお、後記するように、視線測定装置１が映像遅延手段６０および重畳映像生成手段７０を備える場合、図４に示すように、映像入力手段５０から眼球位置検出手段１０１に対して映像のタイムコードが入力されるが、詳細な説明は後記する。
【００５２】
眼球領域画像切り出し手段１０２は、ユーザＵの眼球周辺画像Ｇから、左右の眼球を含む眼球領域画像をそれぞれ切り出すものである。眼球領域画像切り出し手段１０２は、具体的には図５（ｂ）に示すように、眼球位置検出手段１０１から入力された右の眼球位置を基準として、眼球周辺画像Ｇから、当該右の眼球位置を含む所定面積（予め定めた所定幅および所定高さの領域）の眼球領域画像ＧＲを切り出す。また、眼球領域画像切り出し手段１０２は、図５（ｂ）に示すように、眼球位置検出手段１０１から入力された左の眼球位置を基準として、眼球周辺画像Ｇから、当該左の眼球位置を含む所定面積（予め定めた所定幅および所定高さの領域）の眼球領域画像ＧＬを切り出す。なお、眼球領域画像切り出し手段１０２は、眼球位置検出手段１０１から、ユーザＵの左右いずれかの眼球位置のみが入力された場合は、左右いずれかの眼球領域画像を切り出す。
【００５３】
眼球領域画像切り出し手段１０２には、図４に示すように、眼球位置検出手段１０１から、眼球周辺画像Ｇと、当該眼球周辺画像Ｇから検出した眼球位置と、が入力される。そして、眼球領域画像切り出し手段１０２は、前記した手法によって、眼球周辺画像Ｇから眼球領域画像ＧＲ，ＧＬをそれぞれ切り出し、図４に示すように、当該眼球領域画像ＧＲ，ＧＬと、これに対応する眼球周辺画像Ｇの時刻情報（図示省略）と、を基準位置特定手段１０３に出力する。
【００５４】
基準位置特定手段１０３は、眼球領域画像から、注視点算出の基準となる基準位置を特定するものである。ここで、基準位置とは、図５（ｃ）に示すように、左右の眼球の瞳孔中心の位置および角膜反射点の位置のことを意味しており、より具体的には、左右の眼球の瞳孔中心の位置と角膜反射点の位置とを、画像座標系におけるｘｙ座標で示したものである。
【００５５】
基準位置特定手段１０３は、一般的な画像処理技術によって、眼球領域画像ＧＲ，ＧＬから画像座標系における瞳孔中心の座標と角膜反射点の座標とを特定する。基準位置特定手段１０３は、ここでは左右の眼球領域画像ＧＲ，ＧＬについて、角膜反射像を含む他の領域よりも明度の高い領域を２値化処理によって探索し、粒子解析処理によって面積範囲および真円度範囲を指定して左右の眼球それぞれの瞳孔を抽出し、その中心座標（幅、高さの中点や領域の重心座標等）を、左右の眼球それぞれの瞳孔中心とする。また、基準位置特定手段１０３は、左右の眼球領域画像ＧＲ，ＧＬについて、瞳孔の明度と角膜反射像の明度との間に閾値を設定し、閾値よりも明度の高い領域を探索し、粒子解析処理によって面積範囲および真円度範囲を指定して左右の眼球それぞれの角膜反射像を抽出し、その中心座標（幅、高さの中点や領域の重心座標等）を、左右の眼球それぞれの角膜反射点とする。なお、基準位置特定手段１０３は、眼球領域画像切り出し手段１０２から、ユーザＵの左右いずれかの眼球領域画像のみが入力された場合は、左右いずれかの基準位置を特定する。
【００５６】
基準位置特定手段１０３には、図４に示すように、眼球領域画像切り出し手段１０２から、眼球領域画像ＧＲ，ＧＬと、これに対応する眼球周辺画像Ｇの時刻情報（図示省略）と、が入力される。そして、基準位置特定手段１０３は、前記した手法によって、眼球領域画像ＧＲ，ＧＬから瞳孔中心および角膜反射点を特定し、図４に示すように、当該瞳孔中心および角膜反射点と、これに対応する眼球周辺画像Ｇの時刻情報（図示省略）と、を視線ベクトル算出手段１０４に出力する。
【００５７】
視線ベクトル算出手段１０４は、ユーザＵの眼球の基準位置から視線ベクトルを算出するものである。視線ベクトル算出手段１０４は、具体的には図４に示すように、予め取得した撮影装置Ｃ１〜Ｃ４のカメラパラメータ（例えばパン、チルト、ズーム等のカメラの撮影位置、撮影方向および撮影範囲を含む設定情報）を用いることで、眼球領域画像ＧＲ，ＧＬから視線ベクトルを算出する。以下、視線ベクトル算出処理の一例について、簡単に説明する。
【００５８】
視線ベクトル算出手段１０４は、まず、校正段階で得られた撮影装置Ｃ１〜Ｃ４の焦点距離と、撮影装置Ｃ１〜Ｃ４の撮像素子のドットピッチとを利用して、基準位置特定手段１０３によって特定された左右の眼球それぞれの画像座標系における瞳孔中心座標および角膜反射点座標を、左右の眼球それぞれのカメラ座標系における瞳孔中心座標および角膜反射点座標に変換する。次に、視線ベクトル算出手段１０４は、校正段階で得られた回転マトリクスと、並進ベクトルとを利用して、左右の眼球それぞれのカメラ座標系における瞳孔中心座標および角膜反射点座標を、左右の眼球それぞれの世界座標系における瞳孔中心座標および角膜反射点座標に変換する。
【００５９】
次に、視線ベクトル算出手段１０４は、左右の眼球それぞれの世界座標系における瞳孔中心座標および角膜反射点座標を、予め取得した角膜表面における屈折率に応じて補正し、補正後の左右の眼球それぞれの世界座標系における瞳孔中心座標および角膜反射点座標と、角膜曲率半径とを用いて、左右の眼球の角膜曲率中心座標を算出する。そして、視線ベクトル算出手段１０４は、補正後の左眼の世界座標系における瞳孔中心座標と、左眼の角膜曲率中心座標とを用いて、左眼の視線ベクトルを算出するとともに、補正後の右眼の世界座標系における瞳孔中心座標と、右眼の角膜曲率中心座標とを用いて、右眼の視線ベクトルを算出する。なお、前記したような左右の眼球の基準位置からそれぞれの視線ベクトルを算出する具体的な方法は、例えば特願２００９−１１２２９８（特開２０１０−２５９６０５号公報）に記載された方法を用いることができる。また、視線ベクトル算出手段１０４は、基準位置特定手段１０３から、ユーザＵの左右いずれかの眼球の基準位置のみが入力された場合は、入力された方の眼球の視線ベクトルを特定する。
【００６０】
視線ベクトル算出手段１０４には、図４に示すように、基準位置特定手段１０３から、眼球の基準位置（瞳孔中心および角膜反射点）と、これに対応する眼球周辺画像Ｇの時刻情報（図示省略）と、が入力される。そして、視線ベクトル算出手段１０４は、前記した手法によって、眼球の基準位置から視線ベクトルを算出し、図４に示すように、当該視線ベクトルと、これに対応する眼球周辺画像Ｇの時刻情報（図示省略）と、を視線ベクトル校正手段１０５に出力する。
【００６１】
視線ベクトル校正手段１０５は、予め取得した校正データを用いて視線ベクトルを校正するものである。視線ベクトル校正手段１０５は、具体的には図４に示すように、視線ベクトル算出手段１０４によって算出された視線ベクトルに校正データを乗算することで校正を行う。なお、視線ベクトル校正手段１０５は、視線ベクトル算出手段１０４から、ユーザＵの左右いずれかの視線ベクトルのみが入力された場合は、左右いずれかの視線ベクトルを校正する。
【００６２】
ここで、校正データとは、ユーザＵの眼球形状や眼鏡またはコンタクトレンズによる光学的な歪等の個人差から生じる誤差を補正するためのデータであり、眼球領域画像ＧＲ，ＧＬの瞳孔中心座標および角膜反射点座標から視線ベクトルを算出する際に個人差を補正するキャリブレーションデータのことを意味している。また、校正データは、より具体的には、ユーザＵが表示装置Ｄの画面上における所定の座標を注視していると仮定した場合の、視線測定装置１の視線ベクトル算出手段１０４により算出された視線ベクトルと、実際の視線ベクトル（角膜曲率中心と所定の座標を通るベクトル）と、の角度のずれを示すデータのことを意味している。なお、前記したような左右の眼球の基準位置からそれぞれの視線ベクトルを算出する具体的な方法は、例えば特願２００９−１１２２９８（特開２０１０−２５９６０５号公報）に記載された方法を用いることができる。
【００６３】
視線ベクトル校正手段１０５には、図４に示すように、視線ベクトル算出手段１０４から、視線ベクトルと、これに対応する眼球周辺画像Ｇの時刻情報（図示省略）と、が入力される。そして、視線ベクトル校正手段１０５は、前記した手法によって、視線ベクトルを校正し、図４に示すように、当該校正後の視線ベクトルと、これに対応する眼球周辺画像Ｇの時刻情報（図示省略）と、を注視点算出手段１０６に出力する。
【００６４】
注視点算出手段１０６は、ユーザＵの視線ベクトルから、表示装置Ｄの画面上における当該ユーザＵの注視点を算出するものである。注視点算出手段１０６は、具体的には、視線ベクトル校正手段１０５によって校正された視線ベクトルと表示装置Ｄの画面との交点の座標を、ユーザＵが注目する画面上の注視点として算出する。
【００６５】
注視点算出手段１０６は、視線ベクトル校正手段１０５によって校正された左眼の視線ベクトルと右眼の視線ベクトルのそれぞれと表示装置Ｄの画面との交点の平均の位置、または、いずれか一方の視線ベクトルと表示装置Ｄの画面との交点の座標を注視点として算出する。また、注視点算出手段１０６は、視線ベクトル算出手段１０４によって左右の眼球のいずれか一方の視線ベクトルを算出することができなかった場合は、算出できた方についてのみ注視点を算出する。つまり、注視点算出手段１０６は、左右の眼球の視線ベクトルの両方を用いて注視点を算出してもよいし、いずれか一方のみを用いて注視点を算出してもよい。
【００６６】
注視点算出手段１０６には、図４に示すように、視線ベクトル校正手段１０５から、校正後の視線ベクトルと、これに対応する眼球周辺画像Ｇの時刻情報（図示省略）と、が入力される。そして、注視点算出手段１０６は、前記した手法によって、視線ベクトルから注視点を算出し、図３および図４に示すように、当該注視点と、これに対応する眼球周辺画像Ｇの時刻情報（図示省略）と、を注視点同期手段２０に出力する。以下、視線測定装置１の残りの構成について説明を続ける。
【００６７】
注視点同期手段２０は、複数の注視点を時間的に同期させるものである。注視点同期手段２０は、具体的には図６（ａ）に示すように、それぞれ撮影装置Ｃ１〜Ｃ４に対応する複数の注視点抽出手段１０の注視点算出手段１０６によって算出された複数の注視点を、これらの注視点を算出する元となった眼球周辺画像Ｇが撮影装置Ｃ１〜Ｃ４によって撮影された時刻に応じてそれぞれ同期させる。
【００６８】
ここで、眼球周辺画像Ｇは、表示装置Ｄの画面に流れる映像を注視するユーザＵの眼球周辺を、複数の撮影装置Ｃ１〜Ｃ４によって時間的に連続して撮影した画像である。従って、当該眼球周辺画像Ｇから注視点抽出手段１０によって抽出され、注視点同期手段２０に入力される複数の注視点の中には、撮影装置Ｃ１〜Ｃ４による撮影時刻が同じ眼球周辺画像Ｇから抽出された注視点と、撮影装置Ｃ１〜Ｃ４による撮影時刻が異なる眼球周辺画像Ｇから抽出された注視点と、が存在する。しかし、注視点同期手段２０によって時間的な同期処理を行うことで、図６（ａ）に示すように、複数の時刻に撮影された眼球周辺画像Ｇから算出された注視点を撮影装置Ｃ１〜Ｃ４の撮影時刻ごとに分類することができる。
【００６９】
ここで、図６（ａ）における「時刻」は、撮影装置Ｃ１〜Ｃ４による撮影時刻を示しており、「注視点座標１〜４」および「ｇ１〜ｇ４」は、それぞれ撮影装置Ｃ１〜Ｃ４によって撮影された眼球周辺画像Ｇから算出した注視点の座標を示している。また、図６（ａ）における「−」は、眼球周辺画像Ｇから基準位置を検出できなかった等の理由で注視点を算出できなかったことを示している。例えば、図６（ａ）に示すように、撮影装置Ｃ１〜Ｃ４によって「７：００：００．１００」に撮影された複数の眼球周辺画像Ｇから算出された注視点の座標は、それぞれ（９２０，４８８）、（９５５，３９８）、（８８３，４５１）、（９１７，４２６）、となる。なお、後記するように、視線測定装置１が映像遅延手段６０および重畳映像生成手段７０を備える場合、図６（ｂ）に示すように、複数の注視点を映像のタイムコードで同期してもよいが、詳細な説明は後記する。
【００７０】
注視点同期手段２０には、図３および図４に示すように、注視点抽出手段１０の注視点算出手段１０６から、複数の注視点と、これに対応する複数の眼球周辺画像Ｇの時刻情報（図示省略）と、が入力される。そして、注視点同期手段２０は、前記した手法によって、複数の注視点を時間的に同期し、図３に示すように、同期後の複数の注視点を注視点統合手段４０に出力する。
【００７１】
注視点分布記憶手段３０は、ユーザＵの撮影装置Ｃ１〜Ｃ４ごとの注視点分布を記憶するものである。ここで、注視点分布とは、ユーザＵの眼球周辺画像Ｇから抽出した注視点の分布を意味している。注視点分布は、より具体的には、予め撮影装置Ｃ１〜Ｃ４によってユーザＵの複数の眼球周辺画像Ｇを撮影し、これら複数の眼球周辺画像Ｇから、前記した眼球位置検出手段１０１、眼球領域画像切り出し手段１０２、基準位置特定手段１０３、視線ベクトル算出手段１０４、視線ベクトル校正手段１０５（必要な場合のみ）、注視点算出手段１０６を経て算出された複数の注視点を、撮影装置Ｃ１〜Ｃ４ごとに分布化したものを意味している。つまり、注視点分布は、視線測定装置１の実際の使用の前に収集された、各系統（撮影装置Ｃ１〜Ｃ４およびこれらに対応する注視点抽出手段１０）ごとに抽出可能なユーザＵの注視点の分布のことを意味している。この注視点分布は、例えば図７に示すように図示することができる。
【００７２】
図７に示す４つの長方形のグラフは、それぞれが表示装置Ｄの画面に対応しており、当該グラフにプロットされた複数の点は、撮影装置Ｃ１〜Ｃ４によって撮影されたユーザＵの複数の眼球周辺画像Ｇから算出されたそれぞれの注視点を示している。すなわち、図７に示す注視点分布は、視線測定装置１によるユーザＵの注視点の算出可能領域を、４つの系統（撮影装置Ｃ１〜Ｃ４および４つの注視点抽出手段１０）ごとに表わしたものといえる。
【００７３】
例えば、図７（ａ）に示す注視点分布は、表示装置Ｄの画面上を自由に見ているユーザＵの眼球周辺を撮影装置Ｃ１によって予め撮影し、得られた複数の眼球周辺画像Ｇから算出された注視点（複数の眼球周辺画像Ｇの中で算出できた注視点）の分布を示している。この図７（ａ）を参照すると、撮影装置Ｃ１によって撮影された眼球周辺画像Ｇからは、表示装置Ｄの画面の左上領域の座標が注視点として算出できることがわかる。これは、言い換えれば、ユーザＵが表示装置Ｄの画面の左上領域を見ている時に撮影装置Ｃ１によって撮影された眼球周辺画像Ｇからは、眼球の瞳孔や角膜反射像を正確に検出できるため注視点を算出しやすく、ユーザＵが表示装置Ｄの画面の左上領域以外を見ている時に撮影装置Ｃ１によって撮影された眼球周辺画像Ｇからは、眼球の瞳孔や角膜反射像を正確に検出できないため注視点を算出しにくい、ということを示している。
【００７４】
また、図７（ｂ）に示す注視点分布は、表示装置Ｄの画面上を自由に見ているユーザＵの眼球周辺を撮影装置Ｃ２によって予め撮影し、得られた複数の眼球周辺画像Ｇから算出された注視点の分布を示している。この図７（ｂ）を参照すると、撮影装置Ｃ２によって撮影された眼球周辺画像Ｇからは、表示装置Ｄの画面の右上領域の座標が注視点として算出できることがわかる。これは、言い換えれば、ユーザＵが表示装置Ｄの画面の右上領域を見ている時に撮影装置Ｃ２によって撮影された眼球周辺画像Ｇからは、眼球の瞳孔や角膜反射像を正確に検出できるため注視点を算出しやすく、ユーザＵが表示装置Ｄの画面の右上領域以外を見ている時に撮影装置Ｃ２によって撮影された眼球周辺画像Ｇからは、眼球の瞳孔や角膜反射像を正確に検出できないため注視点を算出しにくい、ということを示している。
【００７５】
また、図７（ｃ）に示す注視点分布は、表示装置Ｄの画面上を自由に見ているユーザＵの眼球周辺を撮影装置Ｃ３によって予め撮影し、得られた複数の眼球周辺画像Ｇから算出された注視点の分布を示している。この図７（ｃ）を参照すると、撮影装置Ｃ３によって撮影された眼球周辺画像Ｇからは、表示装置Ｄの画面の左下領域の座標が注視点として算出できることがわかる。これは、言い換えれば、ユーザＵが表示装置Ｄの画面の左下領域を見ている時に撮影装置Ｃ３によって撮影された眼球周辺画像Ｇからは、眼球の瞳孔や角膜反射像を正確に検出できるため注視点を算出しやすく、ユーザＵが表示装置Ｄの画面の左下領域以外を見ている時に撮影装置Ｃ３によって撮影された眼球周辺画像Ｇからは、眼球の瞳孔や角膜反射像を正確に検出できないため注視点を算出しにくい、ということを示している。
【００７６】
また、図７（ｄ）に示す注視点分布は、表示装置Ｄの画面上を自由に見ているユーザＵの眼球周辺を撮影装置Ｃ４によって予め撮影し、得られた複数の眼球周辺画像Ｇから算出された注視点の分布を示している。この図７（ｄ）を参照すると、撮影装置Ｃ４によって撮影された眼球周辺画像Ｇからは、表示装置Ｄの画面の右下領域の座標が注視点として算出できることがわかる。これは、言い換えれば、ユーザＵが表示装置Ｄの画面の右下領域を見ている時に撮影装置Ｃ４によって撮影された眼球周辺画像Ｇからは、眼球の瞳孔や角膜反射像を正確に検出できるため注視点を算出しやすく、ユーザＵが表示装置Ｄの画面の右下領域以外を見ている時に撮影装置Ｃ４によって撮影された眼球周辺画像Ｇからは、眼球の瞳孔や角膜反射像を正確に検出できないため注視点を算出しにくい、ということを示している。
【００７７】
注視点分布記憶手段３０は、具体的には、データを記憶することができるメモリ、ハードディスク等で具現される。注視点分布記憶手段３０は、図７に示すような撮影装置Ｃ１〜Ｃ４ごとの注視点分布を予め記憶しており、図３および図８に示すように、これらをそれぞれ注視点統合手段４０の確率取得手段４０１に出力する。なお、注視点分布記憶手段３０は、図３に示すように、視線測定装置１の内部に設けられているが、視線測定装置１の外部に設けられてもよい。また、後記する注視点統合手段４０が更新手段４０２を備えている場合、注視点分布記憶手段３０には、図８に示すように、当該更新手段４０２から注視点が入力され、注視点分布記憶手段３０に記憶されている注視点分布が更新される場合があるが、詳細な説明は後記する。
【００７８】
注視点統合手段４０は、複数の注視点を一つに統合するものである。注視点統合手段４０は、具体的には図６に示すように、撮影装置Ｃ１〜Ｃ４の撮影時刻に応じて同期された同一時刻の４つの注視点を、当該複数の注視点ごとに算出された確からしさに従って、１つに統合する。注視点統合手段４０は、具体的には図８に示すように、確率取得手段４０１と、更新手段４０２と、統合手段４０３と、を備えることが好ましい。
【００７９】
確率取得手段４０１は、注視点分布記憶手段３０に記憶された注視点分布から、注視点確率を取得するものである。ここで、注視点確率とは、ユーザＵの眼球周辺画像Ｇから抽出した注視点が、本当にユーザＵが注視していた画面上の座標であるのかの確からしさを示す確率（％）を意味している。注視点確率は、より具体的には、注視点分布に含まれる全ての注視点の数に対する、画面上における個々の座標ごとの注視点の数の割合を示している。例えば、予め視線測定装置１に対して、撮影装置Ｃ１〜Ｃ４によって撮影されたユーザＵの眼球周辺画像Ｇが合計１００枚入力されたとする。そして、これらの眼球周辺画像Ｇから１００個の注視点が抽出され、かつ、表示装置Ｄの画面の座標（１，１）を示す注視点の数が１０個である場合、当該座標（１，１）の注視点確率は１０％（＝１０／１００×１００）となる。
【００８０】
確率取得手段４０１は、具体的には図８に示すように、まず注視点分布記憶手段３０から注視点分布を取得し、当該注視点分布に含まれる全ての注視点の数と、画面上における個々の座標ごとの注視点の数と、を集計することで、表示装置Ｄの画面上における個々の座標ごとの注視点確率分布を算出する。そして、この注視点確率分布に対して、注視点同期手段２０によって同期された注視点の座標を照らし合わせることで、当該注視点の注視点確率を取得する。
【００８１】
確率取得手段４０１によって算出される注視点確率分布としては、様々な形態のものが挙げられる。例えば、確率取得手段４０１は、図９に示すように、撮影装置Ｃ１〜Ｃ４ごとの注視点分布を所定のブロックごとに集計し、これらを統合することで、注視点確率分布を算出することができる。この場合、確率取得手段４０１は、図９の中央に示す撮影装置Ｃ１〜Ｃ４ごとの注視点分布の測定領域（画面の大きさ、例えば６４０ピクセル×４８０ピクセル）を、例えば８０ピクセル×８０ピクセルのブロックに分け、図９の左右に示すように、当該ブロックごとの注視点確率分布を算出する。なお、図９の左右に示す注視点確率分布は、ハッチングの密度が大きいほど確率が高いことを表わしている。また、図９の左右に示す注視点確率分布では、ブロック内に含まれる座標の注視点確率は同確率となる。そして、確率取得手段４０１は、図９の下に示すように、撮影装置Ｃ１〜Ｃ４ごとに算出された４つの注視点確率分布を一つに統合する。
【００８２】
また、確率取得手段４０１は、図１０に示すように、正規分布を用いた注視点確率分布を算出してもよい。この場合、確率取得手段４０１は、図１０の中央に示す撮影装置Ｃ１〜Ｃ４ごとの注視点分布から、平均値、標準偏差等のパラメータを算出し、図１０の左右に示すように、正規分布のモデルを当てはめる。なお、図１０の左右に示す正規分布を用いた注視点確率分布は、ハッチングの密度が大きいほど確率が高いことを表わしている。そして、確率取得手段４０１は、図１０の下に示すように、撮影装置Ｃ１〜Ｃ４ごとに算出された４つの正規分布を一つに統合した混合正規分布（４つの正規分布の重み付き線形和）を算出する。
【００８３】
ここで、図１０の左右に示す正規分布は、例えば下記式（１）によって表わすことができ、図１０の示す混合正規分布は、例えば下記式（２）によって表わすことができる。なお、下記式（１）における太字のｘは注視点座標（ｘ，ｙ）、太字のμは平均値、Σは分散共分散行列、を示している。また、下記式（２）におけるλｍは系統ｍ（撮影装置Ｃｍ）の重み、ｍは系統識別子、Ｍは系統数、Ｎは系統内の注視点の総数、を示している。下記前記式（２）では、パラメータμｍ，Σｍを測定値からＥＭアルゴリズム（期待値最大化法）等により推定する。
【００８４】
【数１】
【００８５】
【数２】
【００８６】
ここで、各系統（撮影装置Ｃ１〜Ｃ４）の注視点分布を単独の多次元（２次元）正規分布ｆ（ｘ）で当てはめると、誤差が大きくなる場合がある。この場合、確率取得手段４０１は、下記式（３）、（４）に示すように、各系統内の注視点分布を適当な数のクラスタに分けてそれぞれを正規分布に当てはめ、それを混合する混合正規分布ｇ（ｘ）で当てはめてもよい。なお、下記式（３）におけるｇｍは系統ｍ内の混合正規分布、ｉは系統内のクラスタ識別子、Ｉは系統内のクラスタ数、を示している。また、下記式（３）ではＩ＝１となる。
【００８７】
【数３】
【００８８】
【数４】
【００８９】
確率取得手段４０１には、図３および図８に示すように、注視点同期手段２０から、撮影装置Ｃ１〜Ｃ４に対応した同期後の複数の注視点（図６参照）が入力される。そして、確率取得手段４０１は、前記した手法によって当該同期後の複数の注視点の注視点確率をそれぞれ取得し、当該撮影装置Ｃ１〜Ｃ４に対応した複数の注視点確率と、これに対応する同期後の注視点と、を更新手段４０２に出力する。
【００９０】
更新手段４０２は、注視点分布記憶手段３０に記憶されている注視点分布を更新するものである。更新手段４０２は、具体的には、確率取得手段４０１によって取得された注視点確率が予め定められた所定の閾値ｔｈ１を超えるか否かを判定する。そして、更新手段４０２は、図８に示すように、注視点確率が所定の閾値ｔｈ１を超える場合、当該注視点確率を有する注視点を注視点分布記憶手段３０に書き込む（追加する）ことで、注視点分布記憶手段３０に記憶されている注視点分布を更新する。
【００９１】
これにより、視線測定装置１は、注視点確率が一定以上である注視点、すなわちユーザＵが注視している可能性の高い座標を示す注視点が算出された場合、当該注視点を注視点分布記憶手段３０に追加して注視点分布を更新するため、注視点分布記憶手段３０に記憶された注視点分布の精度を漸次向上させることができる。なお、閾値ｔｈ１は、外れ値を除外できる程度の値（例えば信頼区間の下限）であればよい。また、更新手段４０２による注視点分布の更新のタイミングは、注視点が算出される度に行ってもよく、あるいは、一定数の注視点が算出される度に行なってもよい。なお、後者の場合、更新手段４０２は、一定数の注視点を記憶する図示しない記憶手段を備えることが好ましい。
【００９２】
更新手段４０２には、図８に示すように、確率取得手段４０１から、複数の注視点確率と、これに対応する同期後の注視点と、が入力される。そして、更新手段４０２は、前記した手法によって閾値処理を行い、注視点確率が所定の閾値ｔｈ１を超える場合は、注視点分布記憶手段３０に注視点を出力するとともに、複数の注視点確率と、これに対応する同期後の注視点と、を統合手段４０３に出力する。また、更新手段４０２は、注視点確率が所定の閾値ｔｈ１未満である場合は、複数の注視点確率と、これに対応する同期後の注視点と、を統合手段４０３に出力する。
【００９３】
統合手段４０３は、撮影装置Ｃ１〜Ｃ４によって同時刻に撮影された複数の眼球周辺画像Ｇから抽出された複数の注視点を一つに統合するものである。統合手段４０３は、具体的には注視点分布記憶手段３０に記憶された注視点分布に対応した注視点確率、すなわち確率取得手段４０１によって算出された注視点確率に従って、複数の注視点を統合する。
【００９４】
統合手段４０３は、例えば、前記した注視点確率に従って、撮影装置Ｃ１〜Ｃ４によって同時刻に撮影された複数の眼球周辺画像Ｇから抽出され、注視点同期手段２０によって同期された複数の注視点を加重平均することで、複数の注視点を統合することができる。この場合、統合手段４０３は、複数の注視点の座標および各注視点に対応した注視点確率をパラメータとする、下記式（５）に示す統合用関数ｇｉｎｔを用いて複数の注視点を統合することができる。なお、下記式（５）におけるｇｍは、複数の注視点の座標、ｐｍは、複数の注視点の注視点確率、Ｍは系統数（この例の場合Ｍ＝４）を示している。
【００９５】
【数５】
【００９６】
また、統合手段４０３は、前記した手法以外にも、注視点同期手段２０によって同期された複数の注視点の中から注視点確率の最も高いものを選択することで、撮影装置Ｃ１〜Ｃ４によって同時刻に撮影された複数の眼球周辺画像Ｇから抽出された複数の注視点を統合してもよい。この場合、統合手段４０３は、下記式（６）に示す統合用関数ｇｉｎｔを用いて複数の注視点を統合する。なお、下記式（６）におけるｇｍｍａｘは、複数の注視点の座標の中で最も注視点確率の高い座標を示している。
【００９７】
【数６】
【００９８】
統合手段４０３には、図８に示すように、更新手段４０２から、複数の注視点確率と、これに対応する同期後の注視点と、が入力される。そして、統合手段４０３は、前記したいずれかの手法によって、複数の注視点を統合し、これを出力する。なお、後記するように、視線測定装置１が重畳映像生成手段７０を備える場合、図３および図８に示すように、統合手段４０３は、統合後の注視点をこれに対応する映像のタイムコードとともに、重畳映像生成手段７０に出力するが、詳細な説明は後記する。以下、視線測定装置１の残りの付加的な構成について説明を続ける。
【００９９】
映像入力手段５０は、表示装置Ｄの画面上に表示される映像と同じ映像を入力するものである。映像入力手段５０は、具体的には図３に示すように、ユーザＵが視認する表示装置Ｄの画面上に表示される映像と同じ映像を、当該ユーザＵが視聴するタイミングと同じタイミングで映像遅延手段６０に対して入力する。また、映像入力手段５０は、図３および図４に示すように、注視点抽出手段１０の眼球位置検出手段１０１に対して、入力した映像のタイムコードを入力する。
【０１００】
この場合、注視点同期手段２０は、複数の注視点を前記した図６（ａ）に示すような撮影装置Ｃ１〜Ｃ４の撮影時刻で同期するのではなく、図６（ｂ）に示すような映像のタイムコードによって同期することができる。これにより、撮影装置Ｃ１〜Ｃ４によって撮影された複数の眼球周辺画像Ｇに時刻情報が含まれていない場合であっても、複数の注視点を時間的に同期することができる。なお、この場合、映像入力手段５０から眼球位置検出手段１０１に入力された映像のタイムコードは、図４に示す眼球領域切り出し手段１０２、基準位置特定手段１０３、視線ベクトル算出手段１０４、視線ベクトル校正手段１０５および注視点算出手段１０６を介して、注視点同期手段２０に入力されることになる。
【０１０１】
映像遅延手段６０は、映像入力手段５０から入力された映像を所定時間遅延させるものである。映像遅延手段６０は、具体的には図３に示すように、映像入力手段５０から入力された映像を注視点抽出手段１０における抽出処理時間と、注視点同期手段２０における同期処理時間と、注視点統合手段４０における統合処理時間と、を合計した処理時間だけ遅延させる。映像遅延手段６０は、例えば、注視点統合手段４０によって統合された注視点のタイムコード（時刻情報）と、映像入力手段５０によって入力された映像のタイムコード（時刻情報）と、が合致するように、重畳映像生成手段７０に対する映像の出力を遅らせることで、映像を遅延させることができる。あるいは、映像遅延手段６０の内部に映像入力手段５０から入力された映像を一時的に蓄積するメモリを設け、注視点統合手段４０によって統合された注視点のタイムコードに基づいて、当該メモリから該当するフレームを抽出して重畳映像生成手段７０に出力することで、映像を遅延させることができる。これにより、後記するように、映像入力手段５０から入力された映像に対して、注視点統合手段４０によって統合された注視点を重畳させる際に、映像と注視点との時間的なタイミングを合わせることができる。すなわち、ユーザＵが映像のどの場面のどの座標を注視していたのかを正確に示す重畳映像を生成することができる。
【０１０２】
映像遅延手段６０には、図３に示すように、映像入力手段５０からユーザＵが視聴している映像が入力される。そして、映像遅延手段６０は、前記した手法によって所定時間だけ映像を遅延させ、図３に示すように、これを重畳映像生成手段７０に出力する。
【０１０３】
重畳映像生成手段７０は、映像に注視点を重畳させるものである。重畳映像生成手段７０は、図３に示すように、映像遅延手段６０によって遅延された映像に対して、注視点統合手段４０によって統合された注視点を重畳させることで、重畳映像を生成する。これにより、ユーザＵが映像のどの場面のどの座標を注視していたのかを視覚的に示す重畳映像を生成することができる。
【０１０４】
重畳映像生成手段７０には、図３に示すように、注視点統合手段４０から統合後の注視点が入力され、映像遅延手段６０から遅延後の映像が入力される。そして、重畳映像生成手段７０は、前記した手法によって映像に統合後の注視点を重畳させ、図３に示すように、これを例えば外部の表示装置等に出力する。
【０１０５】
以上のような構成を備える視線測定装置１は、複数の撮影装置Ｃ１〜Ｃ４を相互に離れた位置に配置し、複数の角度から撮影された眼球周辺画像Ｇを利用することにより、いずれかの画像では視線測定に必要な特徴点を捉え、測定可能領域を相互に補完する。すなわち、視線測定装置１を用いることにより、１台の撮影装置では特徴点を捉えられなかった領域（例えば図２（ｂ）の左上図および左下図参照）におけるユーザＵの眼球運動を他の撮影装置で検出して補完するため、より広範囲の視線を測定することが可能となる。
【０１０６】
また、視線測定装置１は、各系統（複数の撮影装置Ｃ１〜Ｃ４とこれに対応する注視点抽出手段１０）ごとに、事前に注視点算出手段によって算出可能な注視点の画面上における注視点分布を用意しておき、この注視点分布によって算出された注視点確率に基づいて各系統で得られる注視点を統合する。このように、視線測定装置１では、複数台の撮影装置Ｃ１〜Ｃ４で特徴点を捉えることができる領域では、複数の注視点の測定結果を確率分布に基づいて統合するため、より精度が高く、頑健な測定が可能となる。
【０１０７】
また、視線測定装置１が前記した映像遅延手段６０および重畳映像生成手段７０を備える場合、ユーザＵが映像のどの場面のどの座標を注視していたのかを示す注視点を映像に重畳させた重畳映像を生成するため、非接触で測定した広範囲にわたるユーザＵの視線を視覚的に提示することができる。
【０１０８】
［視線測定装置１の動作］
以下、視線測定装置１の動作について、図１１および図１２（適宜図３、図４および図８を参照）を参照しながら簡単に説明する。まず、視線測定装置１は、撮影装置Ｃ１〜Ｃ４から、表示装置Ｄの画面を視認するユーザＵの眼球周辺画像Ｇ（近赤外光が照射された眼球周辺画像Ｇ）が入力されると、眼球位置検出手段１０１によって、ユーザＵの眼球位置を検出する（ステップＳ１）。次に、視線測定装置１は、眼球領域切り出し手段１０２によって、前記した眼球位置を基準として、眼球周辺画像Ｇから眼球領域画像ＧＲ，ＧＬをそれぞれ切り出す（ステップＳ２）。次に、視線測定装置１は、基準位置特定手段１０３によって、眼球領域画像ＧＲ，ＧＬから、眼球の瞳孔中心の位置および角膜反射点の位置からなる基準位置を特定する（ステップＳ３）。
【０１０９】
次に、視線測定装置１は、視線ベクトル算出手段１０４によって、撮影装置Ｃ１〜Ｃ４のカメラパラメータを用いることで、前記した基準位置から、ユーザＵの視線方向を示す視線ベクトルを算出する（ステップＳ４）。次に、視線測定装置１は、視線ベクトル校正手段１０５によって、必要に応じて視線ベクトルを校正する（ステップＳ５）。次に、視線測定装置１は、注視点算出手段１０６によって、視線ベクトルと表示装置Ｄの画面との交点をユーザＵの注視点として算出する（ステップＳ６）。次に、視線測定装置１は、注視点同期手段２０によって、複数の注視点を撮影装置Ｃ１〜Ｃ４の撮影時刻に応じてそれぞれ同期させる（ステップＳ７）。そして、視線測定装置１は、注視点統合手段４０によって、複数の注視点を一つに統合する（ステップＳ８）。以下、ステップＳ８における注視点の統合処理の詳細について、図１２を参照しながら説明する。
【０１１０】
注視点の統合処理では、視線測定装置１は、まず、確率取得手段４０１によって、注視点分布記憶手段３０に記憶されている注視点分布に含まれる全ての注視点の数と、画面上における個々の座標ごとの注視点の数と、を集計することで、表示装置Ｄの画面上における個々の座標ごとの注視点確率分布を算出する。そして、視線測定装置１は、確率取得手段４０１によって、この注視点確率分布に対して、注視点同期手段２０によって同期された注視点の座標を照らし合わせることで、当該注視点の注視点確率を取得する（ステップＳ８１）。
【０１１１】
次に、視線測定装置１は、更新手段４０２によって、確率取得手段４０１によって取得された注視点確率が予め定められた所定の閾値ｔｈ１を超えるか否かを判定する（ステップＳ８２）。そして、視線測定装置１は、注視点確率が予め定められた所定の閾値ｔｈ１を超える場合（ステップＳ８２においてＹｅｓ）、更新手段４０２によって、当該注視点確率を有する注視点を注視点分布記憶手段３０に書き込み、注視点分布を更新する（ステップＳ８３）。一方、視線測定装置１は、注視点確率が予め定められた所定の閾値ｔｈ１未満である場合（ステップＳ８２においてＮｏ）、注視点分布を更新することなく、ステップＳ８４に進む。
【０１１２】
次に、視線測定装置１は、統合手段４０３によって、確率取得手段４０１によって取得された注視点確率に従って、注視点同期手段２０によって同期された複数の注視点を加重平均するか、あるいは、注視点同期手段２０によって同期された複数の注視点の中から注視点確率の最も高いものを選択することで、複数の注視点を一つに統合する（ステップＳ８４）。これにより、注視点の統合処理が終了する。
【０１１３】
なお、視線測定装置１が映像遅延手段６０および重畳映像生成手段７０を備える場合（図３参照）は、前記した注視点の統合処理後に以下の処理が追加される。視線測定装置１は、まず、映像遅延手段６０によって、映像入力手段５０から入力された映像を、注視点抽出手段１０における抽出処理時間と、注視点同期手段２０における同期処理時間と、注視点統合手段４０における統合処理時間と、を合計した処理時間だけ遅延させる。次に、視線測定装置１は、重畳映像生成手段７０によって、映像遅延手段６０によって遅延された映像に対して、注視点統合手段４０によって統合された注視点を重畳させることで、重畳映像を生成する。これにより、例えば図示しない表示装置等を用いて、ユーザＵが映像のどの場面のどの座標を注視していたのかを視覚的に示す重畳映像を表示することができる。
【０１１４】
［第２実施形態］
以下、第２実施形態に係る視線測定装置１Ａについて、図１３〜図１５を参照しながら詳細に説明する。視線測定装置１Ａは、図１３に示すように、注視点抽出手段１０の代わりに注視点抽出手段１０Ａを、注視点統合手段４０の代わりに注視点統合手段４０Ａを、注視点分布記憶手段３０の代わりにテンプレート画像記憶手段８０を備える以外は、第１実施形態に係る視線測定装置１と同様の構成を備えている。従って、以下の説明では、視線測定装置１との相違点を中心に説明を行い、当該視線測定装置１と重複する構成については詳細説明を省略する。
【０１１５】
テンプレート画像記憶手段８０は、ユーザＵの眼球の特徴的な部位を含むテンプレート画像を記憶するものである。ここで、テンプレート画像とは、図１４（ａ）に示すように、ユーザＵの眼球の特徴が含まれる画像であり、例えば図１４（ａ）に示すように、ユーザＵの瞳孔を含む画像や、ユーザＵの角膜反射像を含む画像のことを意味している。テンプレート画像としては、例えば、予め表示装置Ｄの画面を注視するユーザＵの眼球を撮影装置Ｃ１〜Ｃ４ごとに撮影した眼球画像から、図１４（ａ）に示すように、瞳孔を含む画像または角膜反射像を含む画像を抜き出したものを用いることができる。
【０１１６】
テンプレート画像は、後記するように、眼球位置検出手段１０１Ａにおけるテンプレートマッチングに用いられる。その際に、例えば図１４（ａ）に示す瞳孔を含む画像または角膜反射像を含む画像をテンプレート画像として用いた場合、図１４（ｂ）の左に示す眼球画像は類似度が大きいと判断され、右に示す眼球画像は類似度が小さいと判断されることになる。
【０１１７】
テンプレート画像記憶手段８０は、具体的には、データを記憶することができるメモリ、ハードディスク等で具現される。テンプレート画像記憶手段８０は、図１４（ａ）に示すようなテンプレート画像を予め記憶しており、図１３および図１５に示すように、これを注視点抽出手段１０Ａの眼球位置検出手段１０１Ａに出力する。なお、テンプレート画像記憶手段８０は、図１３に示すように、視線測定装置１Ａの内部に設けられているが、外部に設けられてもよい。
【０１１８】
注視点抽出手段１０Ａにおける眼球位置検出手段１０１Ａは、図１５に示すように、テンプレート画像記憶手段８０に記憶されたテンプレート画像と、撮影装置Ｃ１〜Ｃ４によって撮影された眼球周辺画像Ｇと、を類似度を示す正規化相関値を指標としてテンプレートマッチングすることで、ユーザＵの眼球位置を検出する。
【０１１９】
ここで、前記した正規化相関値ｒは、例えば下記式（７）によって表わすことができる。なお、下記式（７）におけるＩ（ｉ，ｊ）は、眼球周辺画像Ｇにおける位置（ｉ，ｊ）画素値、Ｔ（ｉ，ｊ）は、テンプレート画像における位置（ｉ，ｊ）の画素値、Ｉバーは、眼球周辺画像Ｇの平均画素値、Ｔバーは、テンプレート画像の平均画素値、を示している。
【０１２０】
【数７】
【０１２１】
このように算出された眼球周辺画像Ｇごとの正規化相関値は、図１３および図１５に示すように、眼球位置検出手段１０１Ａから、眼球領域画像切り出し手段１０２、基準位置特定手段１０３、視線ベクトル算出手段１０４、視線ベクトル校正手段１０５、注視点算出手段１０６および注視点同期手段２０を介して、注視点統合手段４０Ａに出力される。そして、注視点統合手段４０Ａは、それぞれ撮影装置Ｃ１〜Ｃ４に対応する複数の眼球位置検出手段１０１Ａによって算出された複数の正規化相関値に従って、注視点同期手段２０によって同期された複数の注視点を一つに統合する。
【０１２２】
注視点統合手段４０Ａは、例えば、前記した正規化相関値に従って、注視点同期手段２０によって同期された複数の注視点を加重平均することで、複数の注視点を統合することができる。この場合、注視点統合手段４０Ａは、複数の注視点の座標および正規化相関値をパラメータとする、下記式（８）に示す統合用関数ｇｉｎｔを用いて複数の注視点を統合する。なお、下記式（８）におけるｒｍは、各注視点を算出する際に行なったパターンマッチングの正規化相関値を示している。
【０１２３】
【数８】
【０１２４】
また、注視点統合手段４０Ａは、前記した手法以外にも、注視点同期手段２０によって同期された複数の注視点の中から正規化相関値の最も高いものを選択することで、複数の注視点を統合してもよい。この場合、注視点統合手段４０Ａは、下記式（９）に示す統合用関数ｇｉｎｔを用いて複数の注視点を統合する。なお、下記式（９）におけるｇｍｍａｘは、複数の注視点の座標の中で最も正規化相関値の高い座標を示している。
【０１２５】
【数９】
【０１２６】
以上のような構成を備える視線測定装置１Ａは、複数の撮影装置Ｃ１〜Ｃ４を相互に離れた位置に配置し、複数の角度から撮影された眼球周辺画像Ｇを利用することにより、いずれかの画像では視線測定に必要な特徴点を捉え、測定可能領域を相互に補完する。すなわち、視線測定装置１Ａを用いることにより、１台の撮影装置では特徴点を捉えられなかった領域（例えば図２（ｂ）の左上図および左下図参照）におけるユーザＵの眼球運動を他の撮影装置で検出して補完するため、より広範囲の視線を測定することが可能となる。
【０１２７】
また、視線測定装置１Ａは、各系統（撮影装置Ｃ１〜Ｃ４とこれに対応する注視点抽出手段１０Ａ）ごとに、事前にユーザＵの眼球の特徴的な部位を含むテンプレート画像を用意しておき、ユーザＵの眼球周辺画像Ｇからテンプレートマッチングによって眼球の位置を検出するとともに、当該テンプレート画像との類似度を表す指標（例えば正規化相関値）を算出し、これらの指標に基づいて各系統で得られる注視点を統合する。このように、視線測定装置１Ａは、複数台の撮影装置Ｃ１〜Ｃ４で特徴点を捉えることができる領域では、複数の注視点の測定結果をテンプレート画像との類似度に基づいて統合するため、より精度が高く、頑健な測定が可能となる。
【０１２８】
また、視線測定装置１Ａが前記した映像遅延手段６０および重畳映像生成手段７０を備える場合、ユーザＵが映像のどの場面のどの座標を注視していたのかを示す注視点を映像に重畳させた重畳映像を生成するため、非接触で測定した広範囲にわたるユーザＵの視線を視覚的に提示することができる。
【０１２９】
［視線測定装置１Ａの動作］
以下、視線測定装置１Ａの動作について、図１６（適宜図１３および図１５参照）を参照しながら簡単に説明する。まず、視線測定装置１Ａは、撮影装置Ｃ１〜Ｃ４から、表示装置Ｄの画面を視認するユーザＵの眼球周辺画像Ｇ（近赤外光が照射された眼球周辺画像Ｇ）が入力されると、眼球位置検出手段１０１Ａによって、テンプレート画像との正規化相関値が算出されるとともに、ユーザＵの眼球位置を検出する（ステップＳ９）。次に、視線測定装置１Ａは、眼球領域切り出し手段１０２によって、前記した眼球位置を基準として、眼球周辺画像Ｇから眼球領域画像ＧＲ，ＧＬをそれぞれ切り出す（ステップＳ１０）。次に、視線測定装置１Ａは、基準位置特定手段１０３によって、眼球領域画像ＧＲ，ＧＬから、眼球の瞳孔中心の位置および角膜反射点の位置からなる基準位置を特定する（ステップＳ１１）。
【０１３０】
次に、視線測定装置１Ａは、視線ベクトル算出手段１０４によって、撮影装置Ｃ１〜Ｃ４のカメラパラメータを用いることで、前記した基準位置から、ユーザＵの視線方向を示す視線ベクトルを算出する（ステップＳ１２）。次に、視線測定装置１Ａは、視線ベクトル校正手段１０５によって、必要に応じて視線ベクトルを校正する（ステップＳ１３）。次に、視線測定装置１Ａは、注視点算出手段１０６によって、視線ベクトルと表示装置Ｄの画面との交点をユーザＵの注視点として算出する（ステップＳ１４）。次に、視線測定装置１Ａは、注視点同期手段２０によって、複数の注視点を撮影装置Ｃ１〜Ｃ４の撮影時刻に応じてそれぞれ同期させる（ステップＳ１５）。
【０１３１】
次に、視線測定装置１Ａは、注視点統合手段４０によって、眼球位置検出手段１０１Ａによって算出された正規化相関値に従って、注視点同期手段２０によって同期された複数の注視点を加重平均するか、あるいは、注視点同期手段２０によって同期された複数の注視点の中から正規化相関値の最も高いものを選択することで、複数の注視点を一つに統合する（ステップＳ１６）。これにより、注視点の統合処理が終了する。
【０１３２】
なお、視線測定装置１Ａが映像遅延手段６０および重畳映像生成手段７０を備える場合（図１３参照）は、前記した注視点の統合処理後に以下の処理が追加される。視線測定装置１Ａは、まず、映像遅延手段６０によって、映像入力手段５０から入力された映像を注視点抽出手段１０Ａにおける抽出処理時間と、注視点同期手段２０における同期処理時間と、注視点統合手段４０における統合処理時間と、を合計した処理時間だけ遅延させる。次に、視線測定装置１Ａは、重畳映像生成手段７０によって、映像遅延手段６０によって遅延された映像に対して、注視点統合手段４０Ａによって統合された注視点を重畳させることで、重畳映像を生成する。これにより、例えば図示しない表示装置等を用いて、ユーザＵが映像のどの場面のどの座標を注視していたのかを視覚的に示す重畳映像を表示することができる。
【０１３３】
［第３実施形態］
以下、第３実施形態に係る視線測定装置１Ｂについて、図１７および図１８（適宜図１５参照）を参照しながら詳細に説明する。視線測定装置１Ｂは、図１７に示すように、第１実施形態に係る視線測定装置１と同様に、注視点分布記憶手段３０を備えるとともに、第２実施形態に係る視線測定装置１Ａと同様に、注視点抽出手段１０Ａと、テンプレート画像記憶手段８０と、を備えている。また、視線測定装置１Ｂは、図１７に示すように、視線測定装置１，２の注視点統合手段４０，４０Ａの代わりに、注視点統合手段４０Ｂを備えている。従って、以下の説明では、視線測定装置１，２との相違点を中心に説明を行い、重複する構成については詳細説明を省略する。
【０１３４】
視線測定装置１Ｂでは、第２実施形態に係る視線測定装置１Ａと同様に、テンプレート画像記憶手段８０がユーザＵの眼球の特徴的な部位（瞳孔と角膜反射像の両方または角膜反射像）を含むテンプレート画像を予め記憶しており、眼球位置検出手段１０１Ａが、当該テンプレート画像と、撮影装置Ｃ１〜Ｃ４によって撮影された眼球周辺画像Ｇと、を類似度を示す正規化相関値を指標としてテンプレートマッチングすることで、ユーザＵの眼球位置を検出する（図１５参照）。なお、この正規化相関値は、前記式（５）で表わされる。
【０１３５】
このように算出された眼球周辺画像Ｇごとの正規化相関値は、図１５、図１７および図１８に示すように、眼球位置検出手段１０１Ａから、眼球領域画像切り出し手段１０２、基準位置特定手段１０３、視線ベクトル算出手段１０４、視線ベクトル校正手段１０５、注視点算出手段１０６および注視点同期手段２０を介して、注視点統合手段４０Ｂの確率取得手段４０１Ｂに出力される。
【０１３６】
確率取得手段４０１Ｂは、図１７および図１８に示すように、注視点同期手段２０から、同期後の複数の注視点と、これに対応する正規化相関値が入力されると、注視点分布記憶手段３０から、注視点分布に含まれる注視点の数を取得する。そして、確率取得手段４０１Ｂは、当該注視点の数が予め定められた所定の閾値ｔｈ２未満であるか否かを判定する。この閾値処理は、言い換えれば、注視点分布記憶手段３０の中に一定量の注視点のデータが記憶されているかを判定することを意味している。なお、閾値ｔｈ２は、予め実験的または試験的に求めておいたものを用いる。
【０１３７】
確率取得手段４０１Ｂは、前記した注視点の数が所定の閾値ｔｈ２未満である場合、図１８に示すように、注視点分布記憶手段３０から注視点分布を取得することなく、同期後の複数の注視点と、これに対応する正規化相関値を更新手段４０２Ｂに出力する。そして、更新手段４０２Ｂは、確率取得手段４０１Ｂから入力された正規化相関値が予め定められた所定の閾値ｔｈ３を超えるか否かを判定し、正規化相関値が所定の閾値ｔｈ３を超える場合、当該正規化相関値を有する注視点を注視点分布記憶手段３０に書き込むことで、注視点分布記憶手段３０に記憶されている注視点分布を更新する。また、更新手段４０２Ｂは、図１８に示すように、同期後の複数の注視点と、これに対応する正規化相関値を統合手段４０３Ｂに出力する。そして、統合手段４０３Ｂは、前記した正規化相関値に従って、注視点同期手段２０によって同期された複数の注視点を加重平均するか、あるいは、注視点同期手段２０によって同期された複数の注視点の中から正規化相関値の最も高いものを選択することで、複数の注視点を一つに統合する。なお、この場合の統合処理は、視線測定装置１Ａと同様である。また、閾値ｔｈ３は、経験的に求めてもよいし、得られた類似度（正規化相関値）の標準偏差等の分布を示す統計量に基づいて動的に定めてもよい。
【０１３８】
一方、確率取得手段４０１Ｂは、前記した注視点の数が所定の閾値ｔｈ２を超える場合、図１８に示すように、注視点分布記憶手段３０から注視点分布を取得し、当該注視点分布から算出した注視点確率分布から同期後の複数の注視点の注視点確率をそれぞれ取得し、当該複数の注視点確率と、これに対応する同期後の注視点と、を更新手段４０２Ｂに出力する。そして、更新手段４０２Ｂは、確率取得手段４０１Ｂから入力された注視点確率が予め定められた所定の閾値ｔｈ１を超えるか否かを判定し、注視点確率が所定の閾値ｔｈ１を超える場合、当該注視点確率を有する注視点を注視点分布記憶手段３０に書き込むことで、注視点分布記憶手段３０に記憶されている注視点分布を更新する。また、更新手段４０２Ｂは、図１８に示すように、同期後の複数の注視点と、これに対応する注視点確率を統合手段４０３Ｂに出力する。そして、統合手段４０３Ｂは、前記した注視点確率に従って、注視点同期手段２０によって同期された複数の注視点を加重平均するか、あるいは、注視点同期手段２０によって同期された複数の注視点の中から注視点分布の最も高いものを選択することで、複数の注視点を一つに統合する。なお、この場合の統合処理は、視線測定装置１と同様である。
【０１３９】
以上のような構成を備える視線測定装置１Ｂは、複数の撮影装置Ｃ１〜Ｃ４を相互に離れた位置に配置し、複数の角度から撮影された眼球周辺画像Ｇを利用することにより、いずれかの画像では視線測定に必要な特徴点を捉え、測定可能領域を相互に補完する。すなわち、視線測定装置１Ｂを用いることにより、１台の撮影装置では特徴点を捉えられなかった領域（例えば図２（ｂ）の左上図および左下図参照）におけるユーザＵの眼球運動を他の撮影装置で検出して補完するため、より広範囲の視線を測定することが可能となる。
【０１４０】
また、前記した第１実施形態に係る視線測定装置１のように、注視点分布記憶手段３０に蓄積されている注視点の分布からモデル（例えば混合正規分布モデル）を当てはめて精度の高い注視点確率分布を得るには相当量の注視点のデータが必要となる。すなわち、視線測定装置１のように、注視点確率分布を用いることで、精度の高い統合が可能であるが、測定の初期状態ではデータ量が少ないため高い精度での統合が困難な場合がある。
【０１４１】
一方、視線測定装置１Ｂは、注視点分布記憶手段３０およびテンプレート画像記憶手段８０の両方を備えており、注視点分布記憶手段３０に記憶されているデータ量（注視点の数）が少ない場合は、撮影装置Ｃ１〜Ｃ４によって撮影された眼球周辺画像Ｇとテンプレート画像との類似度を示す正規化相関値によって統合処理を行うとともに、一定以上の正規化相関数を有する注視点を注視点分布記憶手段３０に書き込むことで注視点分布を更新する。また、視線測定装置１Ｂは、注視点分布記憶手段３０に記憶されているデータ量（注視点の数）が一定以上となった場合は、眼球周辺画像Ｇから抽出した注視点の確からしさを示す注視点確率によって統合処理を行う。従って、視線測定装置１Ｂは、注視点分布記憶手段３０に必要量のデータが蓄積された後は、テンプレートマッチングの類似度（正規化相関値）に基づいた統合から注視点分布による統合へと切り替えることができるため、精度の高い測定が可能となる。
【０１４２】
また、視線測定装置１Ｂが前記した映像遅延手段６０および重畳映像生成手段７０を備える場合、ユーザＵが映像のどの場面のどの座標を注視していたのかを示す注視点を映像に重畳させた重畳映像を生成するため、非接触で測定した広範囲にわたるユーザＵの視線を視覚的に提示することができる。
【０１４３】
［視線測定装置１Ｂの動作］
以下、視線測定装置１Ｂの動作について、図１９および図２０（適宜図１５、図１７および図１８参照）を参照しながら簡単に説明する。まず、視線測定装置１Ｂは、撮影装置Ｃ１〜Ｃ４から、表示装置Ｄの画面を視認するユーザＵの眼球周辺画像Ｇ（近赤外光が照射された眼球周辺画像Ｇ）が入力されると、眼球位置検出手段１０１Ａによって、眼球周辺画像Ｇのテンプレート画像との正規化相関値を算出するとともに、ユーザＵの眼球位置を検出する（ステップＳ１７）。次に、視線測定装置１Ｂは、眼球領域切り出し手段１０２によって、前記した眼球位置を基準として、眼球周辺画像Ｇから眼球領域画像ＧＲ，ＧＬを切り出す（ステップＳ１８）。次に、視線測定装置１Ｂは、基準位置特定手段１０３によって、眼球領域画像ＧＲ，ＧＬから、眼球の瞳孔中心の位置および角膜反射点の位置からなる基準位置を特定する（ステップＳ１９）。
【０１４４】
次に、視線測定装置１Ｂは、視線ベクトル算出手段１０４によって、撮影装置Ｃ１〜Ｃ４のカメラパラメータを用いることで、前記した基準位置から、ユーザＵの視線方向を示す視線ベクトルを算出する（ステップＳ２０）。次に、視線測定装置１Ｂは、視線ベクトル校正手段１０５によって、必要に応じて視線ベクトルを校正する（ステップＳ２１）。次に、視線測定装置１Ｂは、注視点算出手段１０６によって、視線ベクトルと表示装置Ｄの画面との交点を、ユーザＵの注視点として算出する（ステップＳ２２）。次に、視線測定装置１Ｂは、注視点同期手段２０によって、複数の注視点を撮影装置Ｃ１〜Ｃ４の撮影時刻に応じてそれぞれ同期させる（ステップＳ２３）。そして、視線測定装置１Ｂは、注視点統合手段４０Ｂによって、複数の注視点を一つに統合する（ステップＳ２４）。以下、ステップＳ２４における注視点の統合処理の詳細について、図２０を参照しながら説明する。
【０１４５】
注視点の統合処理では、視線測定装置１Ｂは、まず、確率取得手段４０１Ｂによって、注視点分布記憶手段３０から、注視点分布に含まれる注視点の数を取得し、当該注視点の数が予め定められた所定の閾値ｔｈ２未満であるか否かを判定する（ステップＳ２４１）。
【０１４６】
そして、視線測定装置１Ｂは、注視点の数が予め定められた所定の閾値ｔｈ２未満である場合（ステップＳ２４１においてＹｅｓ）、確率取得手段４０１Ｂによって、眼球位置検出手段１０１Ａにより算出された正規化相関値が予め定められた所定の閾値ｔｈ３を超えるか否かを判定する（ステップＳ２４２）。そして、視線測定装置１Ｂは、正規化相関値が予め定められた所定の閾値ｔｈ３を超える場合（ステップＳ２４２においてＹｅｓ）、更新手段４０２Ｂによって、当該正規化相関値を有する注視点を注視点分布記憶手段３０に書き込み、注視点分布を更新する（ステップＳ２４３）。一方、視線測定装置１Ｂは、正規化相関値が予め定められた所定の閾値ｔｈ３未満である場合（ステップＳ２４２においてＮｏ）、注視点分布を更新することなく、ステップＳ２４４に進む。
【０１４７】
次に、視線測定装置１Ｂは、統合手段４０３Ｂによって、眼球位置検出手段１０１Ａによって算出された正規化相関値に従って、注視点同期手段２０によって同期された複数の注視点を加重平均するか、あるいは、注視点同期手段２０によって同期された複数の注視点の中から正規化相関値の最も高いものを選択することで、複数の注視点を一つに統合する（ステップＳ２４４）。これにより、注視点の統合処理が終了する。
【０１４８】
一方、視線測定装置１Ｂは、注視点の数が予め定められた所定の閾値ｔｈ２を超える場合（ステップＳ２４１においてＮｏ）、確率取得手段４０１Ｂによって、注視点分布記憶手段３０に記憶されている注視点分布に含まれる全ての注視点の数と、画面上における個々の座標ごとの注視点の数と、を集計することで、表示装置Ｄの画面上における個々の座標ごとの注視点確率分布を算出する。そして、視線測定装置１Ｂは、確率取得手段４０１Ｂによって、この注視点確率分布に対して、注視点同期手段２０によって同期された注視点の座標を照らし合わせることで、当該注視点の注視点確率を取得する（ステップＳ２４５）。
【０１４９】
次に、視線測定装置１Ｂは、更新手段４０２Ｂによって、確率取得手段４０１Ｂによって取得された注視点確率が予め定められた所定の閾値ｔｈ１を超えるか否かを判定する（ステップＳ２４６）。そして、視線測定装置１Ｂは、注視点確率が予め定められた所定の閾値ｔｈ１を超える場合（ステップＳ２４６においてＹｅｓ）、更新手段４０２Ｂによって、当該注視点確率を有する注視点を注視点分布記憶手段３０に書き込み、注視点分布を更新する（ステップＳ２４７）。一方、視線測定装置１Ｂは、注視点確率が予め定められた所定の閾値ｔｈ１未満である場合（ステップＳ２４６においてＮｏ）、注視点分布を更新することなく、ステップＳ２４８に進む。
【０１５０】
次に、視線測定装置１Ｂは、統合手段４０３Ｂによって、確率取得手段４０１Ｂによって取得された注視点確率に従って、注視点同期手段２０によって同期された複数の注視点を加重平均するか、あるいは、注視点同期手段２０によって同期された複数の注視点の中から注視点確率の最も高いものを選択することで、複数の注視点を一つに統合する（ステップＳ２４８）。これにより、注視点の統合処理が終了する。
【０１５１】
なお、視線測定装置１Ｂが映像遅延手段６０および重畳映像生成手段７０を備える場合（図１７参照）は、前記した注視点の統合処理後に以下の処理が追加される。視線測定装置１Ｂは、まず、映像遅延手段６０によって、映像入力手段５０から入力された映像を注視点抽出手段１０Ａにおける抽出処理時間と、注視点同期手段２０における同期処理時間と、注視点統合手段４０Ｂにおける統合処理時間と、を合計した処理時間だけ遅延させる。次に、視線測定装置１Ｂは、重畳映像生成手段７０によって、映像遅延手段６０によって遅延された映像に対して、注視点統合手段４０Ｂによって統合された注視点を重畳させることで、重畳映像を生成する。これにより、例えば図示しない表示装置等を用いて、ユーザＵが映像のどの場面のどの座標を注視していたのかを視覚的に示す重畳映像を表示することができる。
【０１５２】
［視線測定プログラム］
ここで、前記した視線測定装置１，１Ａ，１Ｂは、一般的なコンピュータを、前記した各手段および各部として機能させるプログラムにより動作させることで実現することができる。このプログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【０１５３】
以上、本発明に係る視線測定装置および視線測定プログラムについて、発明を実施するための形態により具体的に説明したが、本発明の趣旨はこれらの記載に限定されるものではなく、特許請求の範囲の記載に基づいて広く解釈されなければならない。また、これらの記載に基づいて種々変更、改変等したものも本発明の趣旨に含まれることはいうまでもない。
【０１５４】
例えば、実施形態に係る視線測定装置１，１Ａ，１Ｂでは、図１に示すように、４台の撮影装置Ｃ１〜Ｃ４を設置する例を示したが、撮影装置の台数は、２台（複数台）以上であれば特に限定されない。また、図１の例では、撮影装置Ｃ１〜Ｃ４を表示装置Ｄの画面の４隅に配置する例を示したが、ユーザＵの眼球周辺を異なる位置および角度から撮影できるのであれば、撮影装置Ｃ１〜Ｃ４の設置位置は特に限定されない。
【０１５５】
また、実施形態に係る視線測定装置１，１Ａ，１Ｂでは、図３、図１３及び図１７に示すように、注視点抽出手段１０，１０Ａが撮影装置Ｃ１〜Ｃ４の数に対応して複数設けられ、その注視点抽出手段１０，１０Ａのそれぞれで注視点を抽出しているが、この注視点抽出手段１０，１０Ａを一つのみ設け、複数の撮影装置Ｃ１〜Ｃ４から入力された眼球周辺画像Ｇからそれぞれ注視点を抽出してもよい。
【０１５６】
また、実施形態に係る視線測定装置１，１Ａ，１Ｂでは、図４および図１５に示すように、視線ベクトル算出手段１０４によって算出された視線ベクトルを視線ベクトル校正手段１０５によって校正し、校正後の視線ベクトルを注視点算出手段１０６に出力する構成としたが、視線ベクトルの校正処理は必要に応じて行うものであるため省略してもよい。この場合、視線測定装置１，１Ａ，１Ｂは、図４および図１５に示す視線ベクトル算出手段１０４によって算出された視線ベクトルを校正することなく注視点算出手段１０６に出力する。
【０１５７】
また、実施形態に係る視線測定装置１，１Ａ，１Ｂでは、図３、図６、図１３及び図１７に示すように、注視点同期手段２０によって、撮影装置Ｃ１〜Ｃ４によって同時刻に撮影された複数の眼球周辺画像Ｇに対応する複数の注視点を時間的に同期させているが、注視点抽出手段１０，１０Ａによって抽出された注視点が既に時間的に同期している場合は、注視点同期手段２０を設けずに、注視点抽出手段１０から注視点統合手段４０に直接複数の注視点を出力してもよい。なお、注視点抽出手段１０，１０Ａによって抽出された注視点が既に時間的に同期している場合とは、具体的には、撮影装置Ｃ１〜Ｃ４に対応して設けられた複数の注視点抽出手段１０，１０Ａにおける注視点処理時間が一致する場合を意味している。
【０１５８】
また、実施形態に係る視線測定装置１，１Ｂでは、図３、図８、図１７および図１８に示すように、注視点分布記憶手段３０が注視点分布を予め記憶し、確率取得手段４０１，４０１Ｂが当該注視点分布から注視点確率分布を算出する構成としたが、注視点分布記憶手段３０が注視点分布と注視点確率分布の双方を記憶する構成としてもよい。この場合、注視点分布記憶手段３０は、注視点分布と、当該注視点分布から予め算出された注視点確率分布と、を記憶する。そして、確率取得手段４０１は、注視点分布記憶手段３０から注視点確率分布を取得し、当該注視点確率分布に対して、注視点同期手段２０によって同期された注視点を照らし合わせることで、当該注視点の注視点確率を取得する。なお、この場合の注視点確率分布は、例えば確率分布の中心の座標と広がりのパラメータによって表現することができるため、注視点分布記憶手段３０はこれらのパラメータを記憶してもよい。
【０１５９】
また、実施形態に係る視線測定装置１Ｂでは、確率取得手段４０１Ｂが、注視点分布記憶手段３０に記憶された注視点の数が所定の閾値ｔｈ２未満であるか否かを判定することで、テンプレートマッチングの類似度（正規化相関値）に基づいた統合から注視点分布による統合へと切り替えているが、この切り替えの判定は、前記した注視点の数の他に、モデルの当てはまりの良さを示す指標（例えばＡＩＣ，ＢＩＣ等の情報量基準）を用いてもよい。
【０１６０】
なお、注視点確率分布は、個人差補正のための校正作業で得られる注視点のデータに基づいて作成してもよいし、過去にユーザＵについて測定した注視点のデータに基づいて作成してもよい。また、注視点確率分布は、代表的な座標における確率を示した表形式で用意しても良いし、パラメトリックなモデルで表現してもよい。
【０１６１】
また、実施形態に係る視線測定装置１，１Ａ，１Ｂは、撮影装置Ｃ１〜Ｃ４によって撮影された眼球周辺画像Ｇ（図５参照）を一時的に蓄積するメモリ（図示せず）をさらに備えていてもよい。視線測定装置１，１Ａ，１Ｂは、視線ベクトル算出手段１０４によって算出された視線ベクトルや、注視点算出手段１０６によって算出された注視点を蓄積するメモリ（図示せず）をさらに備えていてもよい。この場合、撮影装置Ｃ１〜Ｃ４によって撮影され、図示しないメモリに記憶された眼球周辺画像Ｇは、眼球位置検出手段１０１，１０１Ａによって適宜読み出される。また、視線ベクトル算出手段１０４Ａによって算出され、図示しないメモリに記憶された視線ベクトルは、視線ベクトル校正手段１０５によって適宜読み出される。また、注視点算出手段１０６によって算出され、図示しないメモリに記憶された注視点は、注視点同期手段２０によって適宜読み出される。
【０１６２】
また、実施形態に係る視線測定装置１，１Ａ，１Ｂは、予め生成された校正データを記憶するメモリ（図示せず）を備えていてもよい。このメモリは、半導体メモリ等の一般的な記憶手段とすることができる。なお、このメモリを、例えば、ＦＩＦＯ（First In First Out）バッファとし、予め定めた回数の校正データのみを記憶することとし、予め定めた回数を超えて新しい校正データが入力された場合、最も古い校正データを削除し、新しい校正データを記憶するように構成してもよい。これにより、誤った校正データが記憶された場合であっても、再度校正をやり直すことで、正しい校正データが記憶されることとなる。このようなメモリに記憶された校正データは、視線ベクトル校正手段１０５によって逐次参照されることとなる。
【符号の説明】
【０１６３】
１，１Ａ，１Ｂ 視線測定装置
１０，１０Ａ 注視点抽出手段
２０ 注視点同期手段
３０ 注視点分布記憶手段
４０，４０Ａ，４０Ｂ 注視点統合手段
５０ 映像入力手段
６０ 映像遅延手段
７０ 重畳映像生成手段
８０ テンプレート画像記憶手段
１０１，１０１Ａ 眼球位置検出手段
１０２ 眼球領域画像切り出し手段
１０３ 基準位置特定手段
１０４ 視線ベクトル算出手段
１０５ 視線ベクトル校正手段
１０６ 注視点算出手段
４０１，４０１Ａ，４０１Ｂ 確率取得手段
４０２，４０２Ａ，４０２Ｂ 更新手段
４０３，４０３Ａ，４０３Ｂ 統合手段
Ｃ１，Ｃ２，Ｃ３，Ｃ４ 撮影装置
Ｄ 表示装置
Ｇ 眼球周辺画像
ＧＬ，ＧＲ 眼球領域画像
Ｒ 発光装置
Ｕ ユーザ
【特許請求の範囲】
【請求項１】
表示装置の画面を視認するユーザの視線を測定する視線測定装置であって、
前記ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影された眼球周辺画像から、前記ユーザの眼球位置を検出する眼球位置検出手段と、
前記眼球位置検出手段によって検出された眼球位置を基準として、前記複数の撮影装置によって撮影された眼球周辺画像から、当該眼球位置を含む所定面積の眼球領域画像を切り出す眼球領域画像切り出し手段と、
前記眼球領域画像切り出し手段によって切り出された眼球領域画像から、眼球の瞳孔中心の位置および角膜反射点の位置からなる基準位置を特定する基準位置特定手段と、
予め取得した前記撮影装置の撮影方向および撮影範囲を含むカメラパラメータを用いることで、前記基準位置特定手段によって特定された基準位置から、前記ユーザの視線方向を示す視線ベクトルを算出する視線ベクトル算出手段と、
前記視線ベクトル算出手段によって算出された視線ベクトルと前記画面との交点の座標を、前記ユーザが注目する注視点として算出する注視点算出手段と、
前記複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を、当該複数の注視点ごとに算出された確からしさに従って、一つに統合する注視点統合手段と、
を備えることを特徴とする視線測定装置。
【請求項２】
予め前記複数の撮影装置によって撮影された前記ユーザの眼球周辺画像から前記注視点算出手段によって算出可能な注視点の前記画面上における分布を示す注視点分布を、前記複数の撮影装置ごとに記憶する注視点分布記憶手段を備え、
前記注視点統合手段は、前記注視点分布記憶手段に記憶された注視点分布から算出された前記注視点の確からしさを示す注視点確率に従って、前記複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から前記注視点確率の最も高いものを選択することで、前記複数の注視点を一つに統合することを特徴とする請求項１の視線測定装置。
【請求項３】
前記ユーザの眼球の特徴的な部位を含むテンプレート画像を記憶するテンプレート画像記憶手段を備え、
前記眼球位置検出手段は、前記テンプレート画像記憶手段に記憶されたテンプレート画像と、前記ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影して得た眼球周辺画像と、をテンプレートマッチングすることで、前記ユーザの眼球位置を検出し、かつ、前記テンプレート画像と前記眼球周辺画像との類似度を示す正規化相関値を算出し、
前記注視点統合手段は、前記眼球位置検出手段によって算出された正規化相関値に従って、前記複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から前記正規化相関値の最も高いものを選択することで、前記複数の注視点を一つに統合することを特徴とする請求項１に記載の視線測定装置。
【請求項４】
予め前記複数の撮影装置によって撮影された前記ユーザの眼球周辺画像から前記注視点算出手段によって算出可能な注視点の前記画面上における分布を示す注視点分布を、前記複数の撮影装置ごとに記憶する注視点分布記憶手段と、
前記ユーザの眼球の特徴的な部位を含むテンプレート画像を記憶するテンプレート画像記憶手段と、を備え、
前記眼球位置検出手段は、前記テンプレート画像記憶手段に記憶されたテンプレート画像と、前記ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影して得た眼球周辺画像と、をテンプレートマッチングすることで、前記ユーザの眼球位置を検出し、かつ、前記テンプレート画像と前記眼球周辺画像との類似度を示す正規化相関値を算出し、
前記注視点統合手段は、
前記注視点分布記憶手段に記憶された前記注視点分布に含まれる注視点の数が予め定めた所定の閾値未満である場合、前記眼球位置検出手段によって算出された正規化相関値に従って、前記複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から前記正規化相関値の最も高いものを選択することで、前記複数の注視点を一つに統合し、
前記注視点分布記憶手段に記憶された前記注視点分布に含まれる注視点の数が予め定めた所定の閾値を超える場合、当該注視点分布から算出された前記注視点の確からしさを示す注視点確率に従って、前記複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から前記注視点確率の最も高いものを選択することで、前記複数の注視点を一つに統合することを特徴とする請求項１に記載の視線測定装置。
【請求項５】
前記注視点統合手段は、
前記注視点分布記憶手段に記憶された注視点分布から、当該注視点分布に含まれる全ての注視点の数に対する前記画面上における個々の座標ごとの注視点の数の割合を示す注視点確率分布を算出し、当該注視点確率分布から、前記注視点算出手段によって算出された複数の注視点の注視点確率をそれぞれ取得する確率取得手段と、
前記確率取得手段によって取得された注視点確率が予め定められた所定の閾値を超える場合、当該注視点確率を有する注視点を前記注視点分布記憶手段に書き込むことで、前記注視点分布を更新する更新手段と、
を備えることを特徴とする請求項２または請求項４に記載の視線測定装置。
【請求項６】
前記表示装置の画面上に表示される映像と同じ映像を入力する映像入力手段からの映像を、前記注視点抽出手段および前記注視点統合手段における処理時間に応じて遅延させる映像遅延手段と、
前記映像遅延手段によって遅延された映像に対して、前記注視点統合手段によって統合された注視点を重畳させる重畳映像生成手段と、
を備えることを特徴とする請求項１から請求項５のいずれか一項に記載の視線測定装置。
【請求項７】
表示装置の画面を視認するユーザの視線を測定するために、コンピュータを、
前記ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影された眼球周辺画像から、前記ユーザの眼球位置を検出する眼球位置検出手段、
前記眼球位置検出手段によって検出された眼球位置を基準として、前記複数の撮影装置によって撮影された眼球周辺画像から、当該眼球位置を含む所定面積の眼球領域画像を切り出す眼球領域画像切り出し手段、
前記眼球領域画像切り出し手段によって切り出された眼球領域画像から、眼球の瞳孔中心の位置および角膜反射点の位置からなる基準位置を特定する基準位置特定手段、
予め取得した前記撮影装置の撮影方向および撮影範囲を含むカメラパラメータを用いることで、前記基準位置特定手段によって特定された基準位置から、前記ユーザの視線方向を示す視線ベクトルを算出する視線ベクトル算出手段、
前記視線ベクトル算出手段によって算出された視線ベクトルと前記画面との交点の座標を、前記ユーザが注目する注視点として算出する注視点算出手段、
前記複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を、当該複数の注視点ごとに算出された確からしさに従って、一つに統合する注視点統合手段、として機能させることを特徴とする視線測定装置。
【請求項８】
前記注視点統合手段は、予め前記複数の撮影装置によって撮影された前記ユーザの眼球周辺画像から前記注視点算出手段によって算出可能な注視点の前記画面上における分布を示す注視点分布から算出された前記注視点の確からしさを示す注視点確率に従って、前記複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から前記注視点確率の最も高いものを選択することを特徴とする請求項７に記載の視線測定プログラム。
【請求項９】
前記眼球位置検出手段は、前記ユーザの眼球の特徴的な部位を含むテンプレート画像と、前記ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影して得た眼球周辺画像と、をテンプレートマッチングすることで、前記ユーザの眼球位置を検出し、かつ、前記テンプレート画像と前記眼球周辺画像との類似度を示す正規化相関値を算出し、
前記注視点統合手段は、前記眼球位置検出手段によって算出された正規化相関値に従って、前記複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から前記正規化相関値の最も高いものを選択することで、前記複数の注視点を一つに統合することを特徴とする請求項７に記載の視線測定プログラム。
【請求項１０】
前記眼球位置検出手段は、前記ユーザの眼球の特徴的な部位を含むテンプレート画像と、前記ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影して得た眼球周辺画像と、をテンプレートマッチングすることで、前記ユーザの眼球位置を検出し、かつ、前記テンプレート画像と前記眼球周辺画像との類似度を示す正規化相関値を算出し、
前記注視点統合手段は、
予め前記複数の撮影装置によって撮影された前記ユーザの眼球周辺画像から前記注視点算出手段によって算出可能な注視点の前記画面上における分布を示す注視点分布に含まれる注視点の数が予め定めた所定の閾値未満である場合、前記眼球位置検出手段によって算出された正規化相関値に従って、前記複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から前記正規化相関値の最も高いものを選択することで、前記複数の注視点を一つに統合し、
前記注視点分布に含まれる注視点の数が予め定めた所定の閾値を超える場合、当該注視点分布から算出された前記注視点の確からしさを示す注視点確率に従って、前記複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から前記注視点確率の最も高いものを選択することで、前記複数の注視点を一つに統合することを特徴とする請求項７に記載の視線測定プログラム。
【請求項１】
表示装置の画面を視認するユーザの視線を測定する視線測定装置であって、
前記ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影された眼球周辺画像から、前記ユーザの眼球位置を検出する眼球位置検出手段と、
前記眼球位置検出手段によって検出された眼球位置を基準として、前記複数の撮影装置によって撮影された眼球周辺画像から、当該眼球位置を含む所定面積の眼球領域画像を切り出す眼球領域画像切り出し手段と、
前記眼球領域画像切り出し手段によって切り出された眼球領域画像から、眼球の瞳孔中心の位置および角膜反射点の位置からなる基準位置を特定する基準位置特定手段と、
予め取得した前記撮影装置の撮影方向および撮影範囲を含むカメラパラメータを用いることで、前記基準位置特定手段によって特定された基準位置から、前記ユーザの視線方向を示す視線ベクトルを算出する視線ベクトル算出手段と、
前記視線ベクトル算出手段によって算出された視線ベクトルと前記画面との交点の座標を、前記ユーザが注目する注視点として算出する注視点算出手段と、
前記複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を、当該複数の注視点ごとに算出された確からしさに従って、一つに統合する注視点統合手段と、
を備えることを特徴とする視線測定装置。
【請求項２】
予め前記複数の撮影装置によって撮影された前記ユーザの眼球周辺画像から前記注視点算出手段によって算出可能な注視点の前記画面上における分布を示す注視点分布を、前記複数の撮影装置ごとに記憶する注視点分布記憶手段を備え、
前記注視点統合手段は、前記注視点分布記憶手段に記憶された注視点分布から算出された前記注視点の確からしさを示す注視点確率に従って、前記複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から前記注視点確率の最も高いものを選択することで、前記複数の注視点を一つに統合することを特徴とする請求項１の視線測定装置。
【請求項３】
前記ユーザの眼球の特徴的な部位を含むテンプレート画像を記憶するテンプレート画像記憶手段を備え、
前記眼球位置検出手段は、前記テンプレート画像記憶手段に記憶されたテンプレート画像と、前記ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影して得た眼球周辺画像と、をテンプレートマッチングすることで、前記ユーザの眼球位置を検出し、かつ、前記テンプレート画像と前記眼球周辺画像との類似度を示す正規化相関値を算出し、
前記注視点統合手段は、前記眼球位置検出手段によって算出された正規化相関値に従って、前記複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から前記正規化相関値の最も高いものを選択することで、前記複数の注視点を一つに統合することを特徴とする請求項１に記載の視線測定装置。
【請求項４】
予め前記複数の撮影装置によって撮影された前記ユーザの眼球周辺画像から前記注視点算出手段によって算出可能な注視点の前記画面上における分布を示す注視点分布を、前記複数の撮影装置ごとに記憶する注視点分布記憶手段と、
前記ユーザの眼球の特徴的な部位を含むテンプレート画像を記憶するテンプレート画像記憶手段と、を備え、
前記眼球位置検出手段は、前記テンプレート画像記憶手段に記憶されたテンプレート画像と、前記ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影して得た眼球周辺画像と、をテンプレートマッチングすることで、前記ユーザの眼球位置を検出し、かつ、前記テンプレート画像と前記眼球周辺画像との類似度を示す正規化相関値を算出し、
前記注視点統合手段は、
前記注視点分布記憶手段に記憶された前記注視点分布に含まれる注視点の数が予め定めた所定の閾値未満である場合、前記眼球位置検出手段によって算出された正規化相関値に従って、前記複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から前記正規化相関値の最も高いものを選択することで、前記複数の注視点を一つに統合し、
前記注視点分布記憶手段に記憶された前記注視点分布に含まれる注視点の数が予め定めた所定の閾値を超える場合、当該注視点分布から算出された前記注視点の確からしさを示す注視点確率に従って、前記複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から前記注視点確率の最も高いものを選択することで、前記複数の注視点を一つに統合することを特徴とする請求項１に記載の視線測定装置。
【請求項５】
前記注視点統合手段は、
前記注視点分布記憶手段に記憶された注視点分布から、当該注視点分布に含まれる全ての注視点の数に対する前記画面上における個々の座標ごとの注視点の数の割合を示す注視点確率分布を算出し、当該注視点確率分布から、前記注視点算出手段によって算出された複数の注視点の注視点確率をそれぞれ取得する確率取得手段と、
前記確率取得手段によって取得された注視点確率が予め定められた所定の閾値を超える場合、当該注視点確率を有する注視点を前記注視点分布記憶手段に書き込むことで、前記注視点分布を更新する更新手段と、
を備えることを特徴とする請求項２または請求項４に記載の視線測定装置。
【請求項６】
前記表示装置の画面上に表示される映像と同じ映像を入力する映像入力手段からの映像を、前記注視点抽出手段および前記注視点統合手段における処理時間に応じて遅延させる映像遅延手段と、
前記映像遅延手段によって遅延された映像に対して、前記注視点統合手段によって統合された注視点を重畳させる重畳映像生成手段と、
を備えることを特徴とする請求項１から請求項５のいずれか一項に記載の視線測定装置。
【請求項７】
表示装置の画面を視認するユーザの視線を測定するために、コンピュータを、
前記ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影された眼球周辺画像から、前記ユーザの眼球位置を検出する眼球位置検出手段、
前記眼球位置検出手段によって検出された眼球位置を基準として、前記複数の撮影装置によって撮影された眼球周辺画像から、当該眼球位置を含む所定面積の眼球領域画像を切り出す眼球領域画像切り出し手段、
前記眼球領域画像切り出し手段によって切り出された眼球領域画像から、眼球の瞳孔中心の位置および角膜反射点の位置からなる基準位置を特定する基準位置特定手段、
予め取得した前記撮影装置の撮影方向および撮影範囲を含むカメラパラメータを用いることで、前記基準位置特定手段によって特定された基準位置から、前記ユーザの視線方向を示す視線ベクトルを算出する視線ベクトル算出手段、
前記視線ベクトル算出手段によって算出された視線ベクトルと前記画面との交点の座標を、前記ユーザが注目する注視点として算出する注視点算出手段、
前記複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を、当該複数の注視点ごとに算出された確からしさに従って、一つに統合する注視点統合手段、として機能させることを特徴とする視線測定装置。
【請求項８】
前記注視点統合手段は、予め前記複数の撮影装置によって撮影された前記ユーザの眼球周辺画像から前記注視点算出手段によって算出可能な注視点の前記画面上における分布を示す注視点分布から算出された前記注視点の確からしさを示す注視点確率に従って、前記複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から前記注視点確率の最も高いものを選択することを特徴とする請求項７に記載の視線測定プログラム。
【請求項９】
前記眼球位置検出手段は、前記ユーザの眼球の特徴的な部位を含むテンプレート画像と、前記ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影して得た眼球周辺画像と、をテンプレートマッチングすることで、前記ユーザの眼球位置を検出し、かつ、前記テンプレート画像と前記眼球周辺画像との類似度を示す正規化相関値を算出し、
前記注視点統合手段は、前記眼球位置検出手段によって算出された正規化相関値に従って、前記複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から前記正規化相関値の最も高いものを選択することで、前記複数の注視点を一つに統合することを特徴とする請求項７に記載の視線測定プログラム。
【請求項１０】
前記眼球位置検出手段は、前記ユーザの眼球の特徴的な部位を含むテンプレート画像と、前記ユーザの眼球周辺を異なる位置および角度に配置された複数の撮影装置によって撮影して得た眼球周辺画像と、をテンプレートマッチングすることで、前記ユーザの眼球位置を検出し、かつ、前記テンプレート画像と前記眼球周辺画像との類似度を示す正規化相関値を算出し、
前記注視点統合手段は、
予め前記複数の撮影装置によって撮影された前記ユーザの眼球周辺画像から前記注視点算出手段によって算出可能な注視点の前記画面上における分布を示す注視点分布に含まれる注視点の数が予め定めた所定の閾値未満である場合、前記眼球位置検出手段によって算出された正規化相関値に従って、前記複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から前記正規化相関値の最も高いものを選択することで、前記複数の注視点を一つに統合し、
前記注視点分布に含まれる注視点の数が予め定めた所定の閾値を超える場合、当該注視点分布から算出された前記注視点の確からしさを示す注視点確率に従って、前記複数の撮影装置によって同時刻に撮影された複数の眼球周辺画像に対応した複数の注視点を加重平均するか、あるいは、当該複数の注視点の中から前記注視点確率の最も高いものを選択することで、前記複数の注視点を一つに統合することを特徴とする請求項７に記載の視線測定プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１２−２１７５２４（Ｐ２０１２−２１７５２４Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８４００７（Ｐ２０１１−８４００７）
【出願日】平成２３年４月５日（２０１１．４．５）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月５日（２０１１．４．５）
【出願人】（０００００４３５２）日本放送協会 (2,206)
[ Back to top ]