視線追跡方法及び視線追跡システム
【課題】ユーザのスクリーンモジュール上の凝視位置の座標を正確に決定する非侵入式視線追跡システム等を提供する。
【解決手段】視線追跡方法は、ユーザがスクリーンモジュール上の凝視位置を凝視し、一組の光源がユーザの目に向かって光を発する間、画像取得モジュールによりユーザの目の画像を取得するステップと、ユーザの目の瞳孔と二つの反射光点の位置に基づいて、凝視位置に対応する角度及び面積を決定するステップと、前記角度及び前記面積に基づいて、前記凝視位置に対応する座標を決定するステップと、前記座標に関する操作を実行するステップを有する。前記視線追跡方法を実装する視線追跡システムも開示している。更に、前記視線追跡システムのための修正方法と修正モジュールも開示している。
【解決手段】視線追跡方法は、ユーザがスクリーンモジュール上の凝視位置を凝視し、一組の光源がユーザの目に向かって光を発する間、画像取得モジュールによりユーザの目の画像を取得するステップと、ユーザの目の瞳孔と二つの反射光点の位置に基づいて、凝視位置に対応する角度及び面積を決定するステップと、前記角度及び前記面積に基づいて、前記凝視位置に対応する座標を決定するステップと、前記座標に関する操作を実行するステップを有する。前記視線追跡方法を実装する視線追跡システムも開示している。更に、前記視線追跡システムのための修正方法と修正モジュールも開示している。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視線追跡方法及びシステム、特に、非侵入式視線追跡方法及びシステムに関するものである。
【背景技術】
【０００２】
一般的に、視線追跡技術はユーザとコンピュータの間においてハンズフリーでやり取りを行うために適用される。特に、視線追跡技術はユーザの目の動きを検出し、検出された目の動きに基づいてユーザの目の位置を特定し、ユーザが凝視しているスクリーンモジュール上の凝視位置に対応する凝視点を決定する。
現在の視線追跡技術は、侵入式視線追跡技術と非侵入式視線追跡技術の二つの種類に分類される。
【０００３】
従来の非侵入式視線追跡技術では、ユーザはインダクタ（ｉｎｄｕｃｔａｎｃｅ ｃｏｉｌ）が取り付けられたコンタクトレンズを装着する。しかしながら、ユーザが装着した時に、コンタクトレンズがユーザの目を刺激する。
また、他の従来の侵入式視線追跡技術では、電極をユーザの目の周囲に取り付ける。しかしながら、ユーザの目の周囲に電極を取り付けると、電極はユーザにとって不快である。
【０００４】
従来の非侵入式視線追跡技術では、ユーザはカメラと光源を頭部で支える。しかしながら、ユーザの頸部に過度な負担を与え、ひいては頸部損傷につながる可能性がある。
また、他の従来の非侵入式視線追跡技術では、カメラと光源をユーザの前のテーブルのような固定支持材上に配置する。しかしながら、この技術を用いる間、ユーザは必然的にカメラ及び光源に対して頭部を動かすため、この技術により決定される凝視点は誤りがある可能性がある。
その上、特許文献１に開示されるような他の非侵入式視線追跡システムでは、まず、ユーザの頭部の事前取得３次元画像からユーザの目及び眉を特定し、次に目及び眉は、ユーザの目の位置が特定される２次元画像に変換される。しかしながら、この技術ではソフトウエア、ハードウエア実装の費用が高くなることを招く。
【０００５】
更に、前述の従来の技術により決定される凝視点の精度は比較的低い。上記の問題を解決するため、凝視点を修正する方法が提案されている。この従来の修正方法では、ユーザがスクリーンモジュールの四隅をそれぞれ凝視している間のユーザの目の位置にそれぞれ対応する４点をまず設定し、事前設定した点から凝視点を補間する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許第７，１９７，１６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記に示す従来の方法では、凝視点の精度を向上させるが、より高い精度が凝視点に対して更に要求される。
【０００８】
本発明は、前述した問題点に鑑みてなされたもので、その目的とすることは、ユーザのスクリーンモジュール上の凝視位置の座標を正確に決定する非侵入式視線追跡方法等を提供することである。
【課題を解決するための手段】
【０００９】
前述した目的を達成するために、第１の発明は、視線追跡システムに実装される視線追跡方法であって、ユーザがスクリーンモジュール上の凝視位置を凝視し、一組の光源が前記ユーザの目に向かって光を発する間、前記視線追跡システムが、画像取得モジュールにより前記ユーザの目の瞳孔と、前記ユーザの目の上の第１及び第２の反射光点とを含む前記ユーザの目の画像を獲得するステップ（Ａ）と、前記視線追跡システムが、前記ステップ（Ａ）で獲得された前記画像内の前記瞳孔並びに前記第１及び前記第２の反射光点の位置に基づいて、前記凝視位置に対応する角度及び面積を決定するステップ（Ｂ）と、前記視線追跡システムが、前記ステップ（Ｂ）で決定された前記角度及び前記面積に基づいて、前記凝視位置に対応する前記スクリーンモジュール上の座標を決定するステップ（Ｃ）と、前記視線追跡システムが、前記ステップ（Ｃ）で決定された前記座標に関する操作を実行するステップ（Ｄ）と、を具備することを特徴とする視線追跡方法である。
【００１０】
また、第２の発明は、画像分析モジュールと、座標変換モジュールと、処理モジュールとを具備する視線追跡システムであって、前記画像分析モジュールは、ユーザがスクリーンモジュール上の凝視位置を凝視し、一組の光源が前記ユーザの目に向かって光を発する間、前記ユーザの目の瞳孔と、前記ユーザの目の上の第１及び第２の反射光点とを含む前記ユーザの目の画像を、画像取得モジュールにより獲得し、獲得した前記画像内の前記瞳孔並びに前記第１及び前記第２の反射光点の位置に基づいて、前記凝視位置に対応する角度及び面積を決定し、前記画像分析モジュールに接続される前記座標変換モジュールは、前記画像分析モジュールにより決定された前記角度及び前記面積に基づいて、前記凝視位置に対応する前記スクリーンモジュール上の座標を決定し、前記座標変換モジュールに接続される前記処理モジュールは、前記座標変換モジュールにより決定された前記座標に関する操作を実行することを特徴とする視線追跡システムである。
【００１１】
また、第３の発明は、視線追跡システムのための修正方法であって、前記視線追跡システムが、スクリーンモジュールを、対応する座標を有する既定位置に分割するステップ（Ａ）と、ユーザが前記既定位置の一つを凝視し、一組の光源が前記ユーザの目に向かって光を発する間、前記視線追跡システムが、前記ユーザの目の瞳孔と、前記ユーザの目の上の第１及び第２の反射光点とを含む前記ユーザの目の画像を、画像取得モジュールにより獲得するステップ（Ｂ）と、前記視線追跡システムが、前記ステップ（Ｂ）で獲得された前記画像中の前記瞳孔並びに前記第１及び前記第２の反射光点の位置に基づいて、前記ステップ（Ｂ）でユーザが凝視していた前記既定位置に対応する角度及び面積を決定するステップ（Ｃ）と、前記視線追跡システムが、全ての前記既定位置に対応する前記角度及び前記面積を決定するまで、前記ステップ（Ｂ）及び前記ステップ（Ｃ）を繰り返すステップ（Ｄ）と、前記視線追跡システムが、前記既定位置に対応する前記角度及び前記面積と、前記既定位置の対応する前記座標とに基づいて、係数を求めるステップ（Ｅ）と、を具備し、前記視線追跡システムは、前記ステップ（Ｅ）で求めた係数と、前記ユーザが凝視位置を凝視している間、前記画像取得モジュールにより取得された前記ユーザの目の他の画像から決定された角度及び面積に基づいて、前記ユーザが凝視する前記スクリーンモジュール上の前記凝視位置に対応する前記スクリーンモジュール上の座標を決定し、決定された前記座標に関する操作を実行することを特徴とする修正方法である。
【００１２】
また、第４の発明は、視線追跡システムのための修正モジュールであって、前記修正モジュールは、第１コントローラと、第２コントローラと、係数計算部を具備し、前記第１コントローラは、対応する座標をそれぞれ有する、スクリーンモジュール上の既定位置の一つを指し示し、前記第２コントローラは、ユーザが指し示された一つの前記既定位置を凝視し、一組の光源が前記ユーザの目に向かって光を発する間、前記ユーザの目の瞳孔と、前記ユーザの上の第１及び第２の反射光点とを含む前記ユーザの目の画像を取得するように画像取得モジュールを制御し、前記視線追跡システムは、前記画像取得モジュールにより取得された前記画像内の瞳孔並びに第１及び第２の反射光点の位置に基づいて、指し示された前記既定位置にそれぞれに対応する角度及び面積を決定し、前記係数計算部は、前記既定位置に対応する前記角度及び前記面積と、前記既定位置の対応する前記座標とに基づいて係数を求め、前記視線追跡システムは、更に、前記係数計算部により求められた前記係数と、前記ユーザが前記凝視点を凝視している間に前記画像取得モジュールにより取得された前記ユーザの目の他の画像から決定された角度及び面積に基づいて、ユーザが凝視している前記スクリーンモジュール上の凝視位置に対応する前記スクリーンモジュール上の座標を決定し、決定した前記座標に関する操作を実行することを特徴とする修正モジュールである。
【発明の効果】
【００１３】
本発明により、ユーザのスクリーンモジュール上の凝視位置の座標を正確に決定する非侵入式視線追跡方法等を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の画像取得モジュール２及びスクリーンモジュール１０に接続された視線追跡システム１の好適な実施形態の概略ブロック図。
【図２】ユーザがスクリーンモジュール１０上の凝視位置を凝視し、一組の光源３がユーザの目に向かって光を発する間、画像取得モジュール２により取得されるユーザの目の画像を、視線追跡システム１が獲得するときの状態を示す概略図。
【図３】視線追跡システム１により１８個の既定領域に分割されたスクリーンモジュール１０を示す概略図。
【図４】本発明の視線追跡システム１により獲得される画像を示す概略図。
【図５】本発明の視線追跡システム１により定義される凝視点を表すグラフ。
【図６】本発明の視線追跡システム１によりスクリーンモジュール１０上の座標に変換された凝視点を示す概略図。
【図７Ａ】図１に示す本発明に係る視線追跡システム１により実装される視線追跡方法の実施形態のフローチャート。
【図７Ｂ】図１に示す本発明に係る視線追跡システム１により実装される視線追跡方法の実施形態のフローチャート。
【発明を実施するための形態】
【００１５】
以下図面に基づいて、本発明に係る視線追跡方法の実施形態を詳細に説明する。尚、以下の説明及び図面において、略同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略することにする。
【００１６】
最初に、図１を参照しながら、本発明に係る視線追跡システム１（Ｅｙｅ−Ｔｒａｃｋｉｎｇ Ｓｙｓｔｅｍ）について説明する。図１は、本発明の画像取得モジュール２及びスクリーンモジュール１０に接続された視線追跡システム１の好適な実施形態の概略ブロック図である。
図１によると、本発明に係る視線追跡システム１の実施形態は、画像分析モジュール（ｉｍａｇｅ−ａｎａｌｙｚｉｎｇ ｍｏｄｕｌｅ）４、点定義モジュール（ｐｏｉｎｔ−ｄｅｆｉｎｉｎｇ ｍｏｄｕｌｅ）５、座標変換モジュール（ｃｏｏｒｄｉｎａｔｅ−ｃｏｎｖｅｒｔｉｎｇ ｍｏｄｕｌｅ）６、処理モジュール（ｐｒｏｃｅｓｓｉｎｇ ｍｏｄｕｌｅ）８、及び、修正モジュール（ｃｏｒｒｅｃｔｉｎｇ ｍｏｄｕｌｅ）７を有することが示されている。
【００１７】
画像分析モジュール４は、画像取得モジュール（ｉｍａｇｅ−ｃａｐｔｕｒｉｎｇ ｍｏｄｕｌｅ）２に接続され、位置特定部（ｐｏｓｉｔｉｏｎ ｉｄｅｎｔｉｆｉｅｒ）４１、面積計算部（ａｒｅａ ｃａｌｃｕｌａｔｏｒ）４２、角度計算部（ａｎｇｌｅ ｃａｌｃｕｌａｔｏｒ）４３を有し、面積計算部４２及び角度計算部４３はそれぞれ位置特定部４１に接続される。
点定義モジュール５は、画像分析モジュール４の面積計算部４２及び角度計算部４３に接続される。
座標変換モジュール６は、点定義モジュール５に接続される。
処理モジュール８は、座標変換モジュール６に接続される。
修正モジュール７は、スクリーンモジュール１０に接続される第１コントローラ７１と、第１コントローラ７１及び画像取得モジュール２に接続される第２コントローラ７２と、点定義モジュール５及び座標変換モジュール６に接続される係数計算部７３とを有する。
【００１８】
この実施の形態では、画像分析モジュール４、点定義モジュール５、座標変換モジュール６及び修正モジュール７は、それぞれソフトウエアとして実装される。
他の実施の形態では、画像分析モジュール４、点定義モジュール５、座標変換モジュール６及び修正モジュール７は、それぞれハードウエアあるいはファームウエアとして実装されてもよい。
【００１９】
次に、図２、３、４、５、６、７Ａ、７Ｂを参照しながら、本発明に係る前述の視線追跡システム１に実装される視線追跡方法の好適な実施の形態について説明する。
図２は、ユーザがスクリーンモジュール１０上の凝視位置を凝視し、一組の光源３がユーザの目に向かって光を発する間、画像取得モジュール２により取得されるユーザの目の画像を獲得するときの状態を示す概略図、図３は、視線追跡システム１により１８個の既定領域に分割されたスクリーンモジュール１０を示す概略図、図４は、本発明の視線追跡システム１により獲得される画像を示す概略図、図５は、本発明の視線追跡システム１により定義される凝視点を表すグラフ、図６は、本発明の視線追跡システム１によりスクリーンモジュール１０上の座標に変換された凝視点を示す概略図、図７Ａは、図１に示す本発明に係る視線追跡システム１により実装される視線追跡方法の実施形態のフローチャート、図７Ｂは、図１に示す本発明に係る視線追跡システム１により実装される視線追跡方法の実施形態のフローチャートである。
【００２０】
図３に示すように、修正モジュール７の第１コントローラ７１は、スクリーンモジュール１０を１８個の既定位置（ｐｒｅｄｅｆｉｎｅｄ ｌｏｃａｔｉｏｎｓ）ＰＬ１〜ＰＬ１８に分割する(ステップ８１)。それぞれの既定位置ＰＬ１〜ＰＬ１８は、対応する座標を有する。
スクリーンモジュール１０は、このステップにおいて、既定位置のうちの４個（ＰＬ１、ＰＬ６、ＰＬ１３、ＰＬ１８）は、スクリーンモジュール１０の４個の隅にそれぞれ対応し、既定位置ＰＬ１〜ＰＬ１８が３×６の配列に配置されるように分割される。
【００２１】
修正モジュール７の第１コントローラ７１は、既定位置ＰＬ１〜ＰＬ１８の一つ、例えば、既定位置ＰＬ１を指し示すようにスクリーンモジュール１０を制御する（ステップ８２）。
図２に示すように、ユーザが既定位置ＰＬ１を凝視し、一組の光源（ｌｉｇｈｔ ｓｏｕｒｃｅ）３がユーザの目９に向かって光を発している間、修正モジュール７の第２コントローラ７２は、すなわち制御信号を送信するなどして、ユーザの目９の画像を取得するように画像取得モジュール２を制御する（ステップ８３）。
図４に示すように、画像取得モジュール２により取得された画像２０は、ユーザの目９の瞳孔（ｐｕｐｉｌ）３０と、目９上の一組の反射光点（ｒｅｆｌｅｃｔｅｄ ｌｉｇｈｔ ｓｐｏｔ）３１、３２を有する。
【００２２】
画像分析モジュール４の位置等定期４１は、画像取得モジュール２により取得された画像２０を獲得する（ステップ８４）。
画像分析モジュール４の位置特定部４１は、ステップ８４で獲得した画像２０内の瞳孔３０及び反射光点３１、３２の位置を特定する（ステップ８５）。
画像分析モジュール４の角度計算部４３及び面積計算部４２は、ステップ８５で特定された瞳孔３０及び反射光点３１、３２の位置に基づいて、角度及び面積をそれぞれ決定する（ステップ８６）。このステップで決定された角度及び面積は、既定領域ＰＬ１に対応する。
点定義モジュール５は、ステップ８６で決定された角度及び面積の座標である角度面積点を定義する（ステップ８７）。このステップで定義された角度面積点は、既定位置ＰＬ１に対応する。
視線追跡システム１は、全ての既定位置ＰＬ１〜ＰＬ１８に対応する角度面積点が定義されるまで、ステップ８２からステップ８７の処理を繰り返す（ステップ８８）。
【００２３】
画像分析モジュール４の点定義モジュール５は、定義された角度面積点を修正モジュール７の係数計算部７３に送信する（ステップ８９）。
修正モジュール７の係数計算部７３は、ステップ８９で送信された角度面積点を受信する（ステップ９０）。
係数計算部７３は、ステップ９０で受信した角度面積点と、既定位置ＰＬ１〜ＰＬ１８の対応する座標に基づいて一連の係数を求める（ステップ９１）。
このステップでは、座標システムを変換するための、例えばアフィン変換式（ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｅｑｕａｔｉｏｎｓ）のような一連の方程式を用い、係数が得られる。
【００２４】
図２に示すように、ユーザがスクリーンモジュール１０の凝視位置（ｇａｚｉｎｇ ｌｏｃａｔｉｏｎ）ＧＬを凝視し、光源３がユーザの目９に向けて光を発している間、画像分析モジュール４の位置特定部４１は、画像取得モジュール２により取得されたユーザの目９の連続グレイスケール画像の一つを獲得する（ステップ９２）。
画像分析モジュール４の位置特定部４１は、ステップ９１で獲得されたグレイスケール画像を二値画像（ｂｉｎａｒｙ ｉｍａｇｅ）に変換する（ステップ９３）。
図４に示すように、二値画像２０はユーザの目９の瞳孔３０と、ユーザの目９上の一組の反射光点３１、３２を有する。
【００２５】
画像分析モジュール４の位置特定部４１は、二値画像２０内の瞳孔３０及び反射光点３１，３２の位置を特定する（ステップ９４）。
なお、ステップ９３では、しきい値化を用いてグレイスケール画像を２値画像２０に変換する。しきい値化では、グレイスケール画像内のピクセルは、ピクセルの値がしきい値を超えない場合は白に、ピクセルの値がしきい値を超える場合は黒に変更する。そのため、このステップでは瞳孔３０及び反射光点３１、３２の位置を容易にかつ高速に特定することができる。
なおまた、このステップで瞳孔３０及び反射光点３１、３２の位置を特定することを促進するため、ステップ９２で赤外線エミッタ（ｉｎｆｒａ−ｒｅｄ ｅｍｉｔｔｅｒ）を用いてユーザの目９に向かって赤外線を放射してもよい。
【００２６】
画像分析モジュール４の角度計算部４３は、ステップ９４で特定した瞳孔３０及び反射光点３１、３２の位置に基づいて角度を決定する（ステップ９５）。このステップで決定する角度は、凝視位置ＧＬに対応する。
【００２７】
図４に示すように、この実施の形態ではステップ９５は以下のサブステップを有する。
角度計算部４３は、瞳孔３０の中央３０１と反射光点３１とを通る第１の線Ｌ１と、瞳孔３０の中央３０１と反射光点３２とを通る第２の線Ｌ２と、反射光点３１、３２を通る第３の線Ｌ３とを定義する（サブステップｉ）。
サブステップｉで定義された第１の線Ｌ１と第３の線Ｌ３の間の内角θ１と、サブステップｉで定義された第２の線Ｌ２と第３の線Ｌ３の間の外角θ２とを決定する（サブステップｉｉ）。
角度θは、内角θ１及び外角θ２の平均として、すなわち式θ＝（θ１＋θ２）／２により、サブステップｉで決定される。
内角θ１は、式θ１＝ｔａｎ−１［（ｙ０−ｙ１）／（ｘ０−ｘ１）］に従って、サブステップｉｉで決定される。ここで、ｘ０、ｙ０は瞳孔３０の中央３０１の座標、ｘ１、ｙ１は、反射光点３１の座標である。
外角θ２は、式θ２＝ｔａｎ−１［（ｙ０−ｙ２）／（ｘ０−ｘ２）］に従って、サブステップｉｉで決定される。ここで、ｘ２、ｙ２は、反射光点３２の座標である。
【００２８】
画像分析モジュール４１の面積計算部４２は、ステップ９３で特定した瞳孔３０及び反射光点３１、３２の位置に基づいて、面積を決定する（ステップ９６）。このステップで決定する面積は、凝視位置ＧＬに対応する。
【００２９】
この実施の形態では、図４に示すように、ステップ９６は、面積計算部４２が瞳孔３０の中央３０１と反射光点３１、３２が頂点である三角形Ｔを定義するサブステップを有する。
ステップ９６で決定する面積Ａは、すならち式Ａ＝０．５｜ｘ０（ｙ１）+ｘ１（ｙ２）＋ｘ２（ｙ０）−ｘ１（ｙ０）＋ｘ２（ｙ１）＋ｘ０（ｙ２）｜である三角形Ｔの面積である。
【００３０】
他の実施の形態では、画像取得モジュール２に対して前後へのユーザの目９の動きを考慮し、図４に示すように、ステップ９６は、面積計算部４２が、瞳孔３０の中央３０１と、反射光点３１、３２とを頂点とする三角形Ｔを定義し、三角形Ｔの面積を決定し、例えば、反射光点３１、３２の間の距離の二乗の２分の１である、正規化因子（ｎｏｒｍａｌｉｚａｔｉｏｎ ｆａｃｔｏｒ）を決定するサブステップを有する。この場合、ステップ９６では、面積は正規化因子で割った三角形Ｔの面積として決定される。
【００３１】
図５に示すように、点定義モジュール５は、ステップ９５で決定した角度θと、ステップ９６で決定した面積Ａとを座標とする凝視点（ｘ，ｙ）を定義する（ステップ９７）。このステップで定義された凝視点（ｘ，ｙ）は、凝視位置ＧＬに対応する。
図６に示すように、座標変換モジュール６は、ステップ９７で定義した凝視点（ｘ，ｙ）と、ステップ９１で得られた係数に基づいて、スクリーンモジュール１０上の座標（ｕ，ｖ）を決定する（ステップ９８）。このステップで決定された座標（ｕ，ｖ）は、凝視位置ＧＬに対応する。
この実施の形態において、座標（ｕ，ｖ）はアフィン変換式を用いて決定される。
【００３２】
処理モジュール８は、ステップ９８で決定された座標（ｕ，ｖ）に関する操作を実行する（ステップ９９）。
このステップでは、処理モジュール８はスクリーンモジュール１０上のカーソル（図示しない）をステップ９８で決定された座標（ｕ，ｖ）に移動させる。
なお、ステップ８１からステップ９１は、視線追跡システム１の最初の使用の間、あるいは、新しい一連の係数を得ることが求められるときにのみ実行され、視線追跡システム１の実際の使用中には、ステップ９２からステップ９９が実行される。
【００３３】
実験結果によると、ステップ９７で定義された一連の凝視点（ｘ，ｙ）及び、ステップ９８で決定された一連の座標（ｕ，ｖ）がグラフ上にプロットされると、凝視点（ｘ，ｙ）は座標（ｕ，ｖ）とほぼ同一の形状、すなわち長方形を形成する。このことは、本発明の視線追跡方法によりステップ９８で決定された座標（ｕ，ｖ）は非常に正確であることを示す。
【００３４】
本発明は、最も実用的で好ましいと考えられる実施形態と関連付けられて説明されてきたが、本発明は、開示された実施形態に限定されず、全ての改良例と均等な変形例を包含するような最大の解釈の範ちゅうと精神の範囲内に含まれる様々な変更例を対象とすることを意図するものと了解される。
【符号の説明】
【００３５】
１………視線追跡システム
２………画像取得モジュール
３………光源
４………画像分析モジュール
５………点定義モジュール
６………座標変換モジュール
７………修正モジュール
８………処理モジュール
９………目
１０………スクリーンモジュール
２０………二値画像
３０………瞳孔
３１、３２………反射光点
４１………位置特定部
４２………面積計算部
４３………角度計算部
７１………第１コントローラ
７２………第２コントローラ
７３………係数計算部
３０１………瞳孔の中央
【技術分野】
【０００１】
本発明は、視線追跡方法及びシステム、特に、非侵入式視線追跡方法及びシステムに関するものである。
【背景技術】
【０００２】
一般的に、視線追跡技術はユーザとコンピュータの間においてハンズフリーでやり取りを行うために適用される。特に、視線追跡技術はユーザの目の動きを検出し、検出された目の動きに基づいてユーザの目の位置を特定し、ユーザが凝視しているスクリーンモジュール上の凝視位置に対応する凝視点を決定する。
現在の視線追跡技術は、侵入式視線追跡技術と非侵入式視線追跡技術の二つの種類に分類される。
【０００３】
従来の非侵入式視線追跡技術では、ユーザはインダクタ（ｉｎｄｕｃｔａｎｃｅ ｃｏｉｌ）が取り付けられたコンタクトレンズを装着する。しかしながら、ユーザが装着した時に、コンタクトレンズがユーザの目を刺激する。
また、他の従来の侵入式視線追跡技術では、電極をユーザの目の周囲に取り付ける。しかしながら、ユーザの目の周囲に電極を取り付けると、電極はユーザにとって不快である。
【０００４】
従来の非侵入式視線追跡技術では、ユーザはカメラと光源を頭部で支える。しかしながら、ユーザの頸部に過度な負担を与え、ひいては頸部損傷につながる可能性がある。
また、他の従来の非侵入式視線追跡技術では、カメラと光源をユーザの前のテーブルのような固定支持材上に配置する。しかしながら、この技術を用いる間、ユーザは必然的にカメラ及び光源に対して頭部を動かすため、この技術により決定される凝視点は誤りがある可能性がある。
その上、特許文献１に開示されるような他の非侵入式視線追跡システムでは、まず、ユーザの頭部の事前取得３次元画像からユーザの目及び眉を特定し、次に目及び眉は、ユーザの目の位置が特定される２次元画像に変換される。しかしながら、この技術ではソフトウエア、ハードウエア実装の費用が高くなることを招く。
【０００５】
更に、前述の従来の技術により決定される凝視点の精度は比較的低い。上記の問題を解決するため、凝視点を修正する方法が提案されている。この従来の修正方法では、ユーザがスクリーンモジュールの四隅をそれぞれ凝視している間のユーザの目の位置にそれぞれ対応する４点をまず設定し、事前設定した点から凝視点を補間する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許第７，１９７，１６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記に示す従来の方法では、凝視点の精度を向上させるが、より高い精度が凝視点に対して更に要求される。
【０００８】
本発明は、前述した問題点に鑑みてなされたもので、その目的とすることは、ユーザのスクリーンモジュール上の凝視位置の座標を正確に決定する非侵入式視線追跡方法等を提供することである。
【課題を解決するための手段】
【０００９】
前述した目的を達成するために、第１の発明は、視線追跡システムに実装される視線追跡方法であって、ユーザがスクリーンモジュール上の凝視位置を凝視し、一組の光源が前記ユーザの目に向かって光を発する間、前記視線追跡システムが、画像取得モジュールにより前記ユーザの目の瞳孔と、前記ユーザの目の上の第１及び第２の反射光点とを含む前記ユーザの目の画像を獲得するステップ（Ａ）と、前記視線追跡システムが、前記ステップ（Ａ）で獲得された前記画像内の前記瞳孔並びに前記第１及び前記第２の反射光点の位置に基づいて、前記凝視位置に対応する角度及び面積を決定するステップ（Ｂ）と、前記視線追跡システムが、前記ステップ（Ｂ）で決定された前記角度及び前記面積に基づいて、前記凝視位置に対応する前記スクリーンモジュール上の座標を決定するステップ（Ｃ）と、前記視線追跡システムが、前記ステップ（Ｃ）で決定された前記座標に関する操作を実行するステップ（Ｄ）と、を具備することを特徴とする視線追跡方法である。
【００１０】
また、第２の発明は、画像分析モジュールと、座標変換モジュールと、処理モジュールとを具備する視線追跡システムであって、前記画像分析モジュールは、ユーザがスクリーンモジュール上の凝視位置を凝視し、一組の光源が前記ユーザの目に向かって光を発する間、前記ユーザの目の瞳孔と、前記ユーザの目の上の第１及び第２の反射光点とを含む前記ユーザの目の画像を、画像取得モジュールにより獲得し、獲得した前記画像内の前記瞳孔並びに前記第１及び前記第２の反射光点の位置に基づいて、前記凝視位置に対応する角度及び面積を決定し、前記画像分析モジュールに接続される前記座標変換モジュールは、前記画像分析モジュールにより決定された前記角度及び前記面積に基づいて、前記凝視位置に対応する前記スクリーンモジュール上の座標を決定し、前記座標変換モジュールに接続される前記処理モジュールは、前記座標変換モジュールにより決定された前記座標に関する操作を実行することを特徴とする視線追跡システムである。
【００１１】
また、第３の発明は、視線追跡システムのための修正方法であって、前記視線追跡システムが、スクリーンモジュールを、対応する座標を有する既定位置に分割するステップ（Ａ）と、ユーザが前記既定位置の一つを凝視し、一組の光源が前記ユーザの目に向かって光を発する間、前記視線追跡システムが、前記ユーザの目の瞳孔と、前記ユーザの目の上の第１及び第２の反射光点とを含む前記ユーザの目の画像を、画像取得モジュールにより獲得するステップ（Ｂ）と、前記視線追跡システムが、前記ステップ（Ｂ）で獲得された前記画像中の前記瞳孔並びに前記第１及び前記第２の反射光点の位置に基づいて、前記ステップ（Ｂ）でユーザが凝視していた前記既定位置に対応する角度及び面積を決定するステップ（Ｃ）と、前記視線追跡システムが、全ての前記既定位置に対応する前記角度及び前記面積を決定するまで、前記ステップ（Ｂ）及び前記ステップ（Ｃ）を繰り返すステップ（Ｄ）と、前記視線追跡システムが、前記既定位置に対応する前記角度及び前記面積と、前記既定位置の対応する前記座標とに基づいて、係数を求めるステップ（Ｅ）と、を具備し、前記視線追跡システムは、前記ステップ（Ｅ）で求めた係数と、前記ユーザが凝視位置を凝視している間、前記画像取得モジュールにより取得された前記ユーザの目の他の画像から決定された角度及び面積に基づいて、前記ユーザが凝視する前記スクリーンモジュール上の前記凝視位置に対応する前記スクリーンモジュール上の座標を決定し、決定された前記座標に関する操作を実行することを特徴とする修正方法である。
【００１２】
また、第４の発明は、視線追跡システムのための修正モジュールであって、前記修正モジュールは、第１コントローラと、第２コントローラと、係数計算部を具備し、前記第１コントローラは、対応する座標をそれぞれ有する、スクリーンモジュール上の既定位置の一つを指し示し、前記第２コントローラは、ユーザが指し示された一つの前記既定位置を凝視し、一組の光源が前記ユーザの目に向かって光を発する間、前記ユーザの目の瞳孔と、前記ユーザの上の第１及び第２の反射光点とを含む前記ユーザの目の画像を取得するように画像取得モジュールを制御し、前記視線追跡システムは、前記画像取得モジュールにより取得された前記画像内の瞳孔並びに第１及び第２の反射光点の位置に基づいて、指し示された前記既定位置にそれぞれに対応する角度及び面積を決定し、前記係数計算部は、前記既定位置に対応する前記角度及び前記面積と、前記既定位置の対応する前記座標とに基づいて係数を求め、前記視線追跡システムは、更に、前記係数計算部により求められた前記係数と、前記ユーザが前記凝視点を凝視している間に前記画像取得モジュールにより取得された前記ユーザの目の他の画像から決定された角度及び面積に基づいて、ユーザが凝視している前記スクリーンモジュール上の凝視位置に対応する前記スクリーンモジュール上の座標を決定し、決定した前記座標に関する操作を実行することを特徴とする修正モジュールである。
【発明の効果】
【００１３】
本発明により、ユーザのスクリーンモジュール上の凝視位置の座標を正確に決定する非侵入式視線追跡方法等を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の画像取得モジュール２及びスクリーンモジュール１０に接続された視線追跡システム１の好適な実施形態の概略ブロック図。
【図２】ユーザがスクリーンモジュール１０上の凝視位置を凝視し、一組の光源３がユーザの目に向かって光を発する間、画像取得モジュール２により取得されるユーザの目の画像を、視線追跡システム１が獲得するときの状態を示す概略図。
【図３】視線追跡システム１により１８個の既定領域に分割されたスクリーンモジュール１０を示す概略図。
【図４】本発明の視線追跡システム１により獲得される画像を示す概略図。
【図５】本発明の視線追跡システム１により定義される凝視点を表すグラフ。
【図６】本発明の視線追跡システム１によりスクリーンモジュール１０上の座標に変換された凝視点を示す概略図。
【図７Ａ】図１に示す本発明に係る視線追跡システム１により実装される視線追跡方法の実施形態のフローチャート。
【図７Ｂ】図１に示す本発明に係る視線追跡システム１により実装される視線追跡方法の実施形態のフローチャート。
【発明を実施するための形態】
【００１５】
以下図面に基づいて、本発明に係る視線追跡方法の実施形態を詳細に説明する。尚、以下の説明及び図面において、略同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略することにする。
【００１６】
最初に、図１を参照しながら、本発明に係る視線追跡システム１（Ｅｙｅ−Ｔｒａｃｋｉｎｇ Ｓｙｓｔｅｍ）について説明する。図１は、本発明の画像取得モジュール２及びスクリーンモジュール１０に接続された視線追跡システム１の好適な実施形態の概略ブロック図である。
図１によると、本発明に係る視線追跡システム１の実施形態は、画像分析モジュール（ｉｍａｇｅ−ａｎａｌｙｚｉｎｇ ｍｏｄｕｌｅ）４、点定義モジュール（ｐｏｉｎｔ−ｄｅｆｉｎｉｎｇ ｍｏｄｕｌｅ）５、座標変換モジュール（ｃｏｏｒｄｉｎａｔｅ−ｃｏｎｖｅｒｔｉｎｇ ｍｏｄｕｌｅ）６、処理モジュール（ｐｒｏｃｅｓｓｉｎｇ ｍｏｄｕｌｅ）８、及び、修正モジュール（ｃｏｒｒｅｃｔｉｎｇ ｍｏｄｕｌｅ）７を有することが示されている。
【００１７】
画像分析モジュール４は、画像取得モジュール（ｉｍａｇｅ−ｃａｐｔｕｒｉｎｇ ｍｏｄｕｌｅ）２に接続され、位置特定部（ｐｏｓｉｔｉｏｎ ｉｄｅｎｔｉｆｉｅｒ）４１、面積計算部（ａｒｅａ ｃａｌｃｕｌａｔｏｒ）４２、角度計算部（ａｎｇｌｅ ｃａｌｃｕｌａｔｏｒ）４３を有し、面積計算部４２及び角度計算部４３はそれぞれ位置特定部４１に接続される。
点定義モジュール５は、画像分析モジュール４の面積計算部４２及び角度計算部４３に接続される。
座標変換モジュール６は、点定義モジュール５に接続される。
処理モジュール８は、座標変換モジュール６に接続される。
修正モジュール７は、スクリーンモジュール１０に接続される第１コントローラ７１と、第１コントローラ７１及び画像取得モジュール２に接続される第２コントローラ７２と、点定義モジュール５及び座標変換モジュール６に接続される係数計算部７３とを有する。
【００１８】
この実施の形態では、画像分析モジュール４、点定義モジュール５、座標変換モジュール６及び修正モジュール７は、それぞれソフトウエアとして実装される。
他の実施の形態では、画像分析モジュール４、点定義モジュール５、座標変換モジュール６及び修正モジュール７は、それぞれハードウエアあるいはファームウエアとして実装されてもよい。
【００１９】
次に、図２、３、４、５、６、７Ａ、７Ｂを参照しながら、本発明に係る前述の視線追跡システム１に実装される視線追跡方法の好適な実施の形態について説明する。
図２は、ユーザがスクリーンモジュール１０上の凝視位置を凝視し、一組の光源３がユーザの目に向かって光を発する間、画像取得モジュール２により取得されるユーザの目の画像を獲得するときの状態を示す概略図、図３は、視線追跡システム１により１８個の既定領域に分割されたスクリーンモジュール１０を示す概略図、図４は、本発明の視線追跡システム１により獲得される画像を示す概略図、図５は、本発明の視線追跡システム１により定義される凝視点を表すグラフ、図６は、本発明の視線追跡システム１によりスクリーンモジュール１０上の座標に変換された凝視点を示す概略図、図７Ａは、図１に示す本発明に係る視線追跡システム１により実装される視線追跡方法の実施形態のフローチャート、図７Ｂは、図１に示す本発明に係る視線追跡システム１により実装される視線追跡方法の実施形態のフローチャートである。
【００２０】
図３に示すように、修正モジュール７の第１コントローラ７１は、スクリーンモジュール１０を１８個の既定位置（ｐｒｅｄｅｆｉｎｅｄ ｌｏｃａｔｉｏｎｓ）ＰＬ１〜ＰＬ１８に分割する(ステップ８１)。それぞれの既定位置ＰＬ１〜ＰＬ１８は、対応する座標を有する。
スクリーンモジュール１０は、このステップにおいて、既定位置のうちの４個（ＰＬ１、ＰＬ６、ＰＬ１３、ＰＬ１８）は、スクリーンモジュール１０の４個の隅にそれぞれ対応し、既定位置ＰＬ１〜ＰＬ１８が３×６の配列に配置されるように分割される。
【００２１】
修正モジュール７の第１コントローラ７１は、既定位置ＰＬ１〜ＰＬ１８の一つ、例えば、既定位置ＰＬ１を指し示すようにスクリーンモジュール１０を制御する（ステップ８２）。
図２に示すように、ユーザが既定位置ＰＬ１を凝視し、一組の光源（ｌｉｇｈｔ ｓｏｕｒｃｅ）３がユーザの目９に向かって光を発している間、修正モジュール７の第２コントローラ７２は、すなわち制御信号を送信するなどして、ユーザの目９の画像を取得するように画像取得モジュール２を制御する（ステップ８３）。
図４に示すように、画像取得モジュール２により取得された画像２０は、ユーザの目９の瞳孔（ｐｕｐｉｌ）３０と、目９上の一組の反射光点（ｒｅｆｌｅｃｔｅｄ ｌｉｇｈｔ ｓｐｏｔ）３１、３２を有する。
【００２２】
画像分析モジュール４の位置等定期４１は、画像取得モジュール２により取得された画像２０を獲得する（ステップ８４）。
画像分析モジュール４の位置特定部４１は、ステップ８４で獲得した画像２０内の瞳孔３０及び反射光点３１、３２の位置を特定する（ステップ８５）。
画像分析モジュール４の角度計算部４３及び面積計算部４２は、ステップ８５で特定された瞳孔３０及び反射光点３１、３２の位置に基づいて、角度及び面積をそれぞれ決定する（ステップ８６）。このステップで決定された角度及び面積は、既定領域ＰＬ１に対応する。
点定義モジュール５は、ステップ８６で決定された角度及び面積の座標である角度面積点を定義する（ステップ８７）。このステップで定義された角度面積点は、既定位置ＰＬ１に対応する。
視線追跡システム１は、全ての既定位置ＰＬ１〜ＰＬ１８に対応する角度面積点が定義されるまで、ステップ８２からステップ８７の処理を繰り返す（ステップ８８）。
【００２３】
画像分析モジュール４の点定義モジュール５は、定義された角度面積点を修正モジュール７の係数計算部７３に送信する（ステップ８９）。
修正モジュール７の係数計算部７３は、ステップ８９で送信された角度面積点を受信する（ステップ９０）。
係数計算部７３は、ステップ９０で受信した角度面積点と、既定位置ＰＬ１〜ＰＬ１８の対応する座標に基づいて一連の係数を求める（ステップ９１）。
このステップでは、座標システムを変換するための、例えばアフィン変換式（ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｅｑｕａｔｉｏｎｓ）のような一連の方程式を用い、係数が得られる。
【００２４】
図２に示すように、ユーザがスクリーンモジュール１０の凝視位置（ｇａｚｉｎｇ ｌｏｃａｔｉｏｎ）ＧＬを凝視し、光源３がユーザの目９に向けて光を発している間、画像分析モジュール４の位置特定部４１は、画像取得モジュール２により取得されたユーザの目９の連続グレイスケール画像の一つを獲得する（ステップ９２）。
画像分析モジュール４の位置特定部４１は、ステップ９１で獲得されたグレイスケール画像を二値画像（ｂｉｎａｒｙ ｉｍａｇｅ）に変換する（ステップ９３）。
図４に示すように、二値画像２０はユーザの目９の瞳孔３０と、ユーザの目９上の一組の反射光点３１、３２を有する。
【００２５】
画像分析モジュール４の位置特定部４１は、二値画像２０内の瞳孔３０及び反射光点３１，３２の位置を特定する（ステップ９４）。
なお、ステップ９３では、しきい値化を用いてグレイスケール画像を２値画像２０に変換する。しきい値化では、グレイスケール画像内のピクセルは、ピクセルの値がしきい値を超えない場合は白に、ピクセルの値がしきい値を超える場合は黒に変更する。そのため、このステップでは瞳孔３０及び反射光点３１、３２の位置を容易にかつ高速に特定することができる。
なおまた、このステップで瞳孔３０及び反射光点３１、３２の位置を特定することを促進するため、ステップ９２で赤外線エミッタ（ｉｎｆｒａ−ｒｅｄ ｅｍｉｔｔｅｒ）を用いてユーザの目９に向かって赤外線を放射してもよい。
【００２６】
画像分析モジュール４の角度計算部４３は、ステップ９４で特定した瞳孔３０及び反射光点３１、３２の位置に基づいて角度を決定する（ステップ９５）。このステップで決定する角度は、凝視位置ＧＬに対応する。
【００２７】
図４に示すように、この実施の形態ではステップ９５は以下のサブステップを有する。
角度計算部４３は、瞳孔３０の中央３０１と反射光点３１とを通る第１の線Ｌ１と、瞳孔３０の中央３０１と反射光点３２とを通る第２の線Ｌ２と、反射光点３１、３２を通る第３の線Ｌ３とを定義する（サブステップｉ）。
サブステップｉで定義された第１の線Ｌ１と第３の線Ｌ３の間の内角θ１と、サブステップｉで定義された第２の線Ｌ２と第３の線Ｌ３の間の外角θ２とを決定する（サブステップｉｉ）。
角度θは、内角θ１及び外角θ２の平均として、すなわち式θ＝（θ１＋θ２）／２により、サブステップｉで決定される。
内角θ１は、式θ１＝ｔａｎ−１［（ｙ０−ｙ１）／（ｘ０−ｘ１）］に従って、サブステップｉｉで決定される。ここで、ｘ０、ｙ０は瞳孔３０の中央３０１の座標、ｘ１、ｙ１は、反射光点３１の座標である。
外角θ２は、式θ２＝ｔａｎ−１［（ｙ０−ｙ２）／（ｘ０−ｘ２）］に従って、サブステップｉｉで決定される。ここで、ｘ２、ｙ２は、反射光点３２の座標である。
【００２８】
画像分析モジュール４１の面積計算部４２は、ステップ９３で特定した瞳孔３０及び反射光点３１、３２の位置に基づいて、面積を決定する（ステップ９６）。このステップで決定する面積は、凝視位置ＧＬに対応する。
【００２９】
この実施の形態では、図４に示すように、ステップ９６は、面積計算部４２が瞳孔３０の中央３０１と反射光点３１、３２が頂点である三角形Ｔを定義するサブステップを有する。
ステップ９６で決定する面積Ａは、すならち式Ａ＝０．５｜ｘ０（ｙ１）+ｘ１（ｙ２）＋ｘ２（ｙ０）−ｘ１（ｙ０）＋ｘ２（ｙ１）＋ｘ０（ｙ２）｜である三角形Ｔの面積である。
【００３０】
他の実施の形態では、画像取得モジュール２に対して前後へのユーザの目９の動きを考慮し、図４に示すように、ステップ９６は、面積計算部４２が、瞳孔３０の中央３０１と、反射光点３１、３２とを頂点とする三角形Ｔを定義し、三角形Ｔの面積を決定し、例えば、反射光点３１、３２の間の距離の二乗の２分の１である、正規化因子（ｎｏｒｍａｌｉｚａｔｉｏｎ ｆａｃｔｏｒ）を決定するサブステップを有する。この場合、ステップ９６では、面積は正規化因子で割った三角形Ｔの面積として決定される。
【００３１】
図５に示すように、点定義モジュール５は、ステップ９５で決定した角度θと、ステップ９６で決定した面積Ａとを座標とする凝視点（ｘ，ｙ）を定義する（ステップ９７）。このステップで定義された凝視点（ｘ，ｙ）は、凝視位置ＧＬに対応する。
図６に示すように、座標変換モジュール６は、ステップ９７で定義した凝視点（ｘ，ｙ）と、ステップ９１で得られた係数に基づいて、スクリーンモジュール１０上の座標（ｕ，ｖ）を決定する（ステップ９８）。このステップで決定された座標（ｕ，ｖ）は、凝視位置ＧＬに対応する。
この実施の形態において、座標（ｕ，ｖ）はアフィン変換式を用いて決定される。
【００３２】
処理モジュール８は、ステップ９８で決定された座標（ｕ，ｖ）に関する操作を実行する（ステップ９９）。
このステップでは、処理モジュール８はスクリーンモジュール１０上のカーソル（図示しない）をステップ９８で決定された座標（ｕ，ｖ）に移動させる。
なお、ステップ８１からステップ９１は、視線追跡システム１の最初の使用の間、あるいは、新しい一連の係数を得ることが求められるときにのみ実行され、視線追跡システム１の実際の使用中には、ステップ９２からステップ９９が実行される。
【００３３】
実験結果によると、ステップ９７で定義された一連の凝視点（ｘ，ｙ）及び、ステップ９８で決定された一連の座標（ｕ，ｖ）がグラフ上にプロットされると、凝視点（ｘ，ｙ）は座標（ｕ，ｖ）とほぼ同一の形状、すなわち長方形を形成する。このことは、本発明の視線追跡方法によりステップ９８で決定された座標（ｕ，ｖ）は非常に正確であることを示す。
【００３４】
本発明は、最も実用的で好ましいと考えられる実施形態と関連付けられて説明されてきたが、本発明は、開示された実施形態に限定されず、全ての改良例と均等な変形例を包含するような最大の解釈の範ちゅうと精神の範囲内に含まれる様々な変更例を対象とすることを意図するものと了解される。
【符号の説明】
【００３５】
１………視線追跡システム
２………画像取得モジュール
３………光源
４………画像分析モジュール
５………点定義モジュール
６………座標変換モジュール
７………修正モジュール
８………処理モジュール
９………目
１０………スクリーンモジュール
２０………二値画像
３０………瞳孔
３１、３２………反射光点
４１………位置特定部
４２………面積計算部
４３………角度計算部
７１………第１コントローラ
７２………第２コントローラ
７３………係数計算部
３０１………瞳孔の中央
【特許請求の範囲】
【請求項１】
視線追跡システムに実装される視線追跡方法であって、
ユーザがスクリーンモジュール上の凝視位置を凝視し、一組の光源が前記ユーザの目に向かって光を発する間、前記視線追跡システムが、画像取得モジュールにより前記ユーザの目の瞳孔と、前記ユーザの目の上の第１及び第２の反射光点とを含む前記ユーザの目の画像を獲得するステップ（Ａ）と、
前記視線追跡システムが、前記ステップ（Ａ）で獲得された前記画像内の前記瞳孔並びに前記第１及び前記第２の反射光点の位置に基づいて、前記凝視位置に対応する角度及び面積を決定するステップ（Ｂ）と、
前記視線追跡システムが、前記ステップ（Ｂ）で決定された前記角度及び前記面積に基づいて、前記凝視位置に対応する前記スクリーンモジュール上の座標を決定するステップ（Ｃ）と、
前記視線追跡システムが、前記ステップ（Ｃ）で決定された前記座標に関する操作を実行するステップ（Ｄ）と、
を具備することを特徴とする視線追跡方法。
【請求項２】
前記ステップ（Ｂ）が、
前記視追跡システムが、前記瞳孔上の基準点と、前記第１及び前記第２の反射光点のうちのいずれか一方を通る第１の線と、前記瞳孔上の前記基準点と、前記第１及び前記第２の反射光点のうちのいずれか他方を通る第２の線と、前記第１及び前記第２の反射光点を通る第３の線と、を定義するサブステップ（ｂ１）と、
前記視線追跡システムが、前記サブステップ（ｂ１）で定義した前記第１及び前記第３の線の間の内角と、前記サブステップ（ｂ１）で定義した前記第２及び前記第３の線の間の外角とを決定するサブステップ（ｂ２）と、
を具備し、
前記ステップ（Ｂ）では、前記内角と前記外角の平均として前記角度が決定されることを特徴とする請求項１に記載の視線追跡方法。
【請求項３】
前記ステップ（Ｂ）は、
前記視線追跡システムが、前記瞳孔上の前記基準点と、前記第１及び前記第２の反射光点とを頂点とする三角形を定義するサブステップと、
を具備し、
前記ステップ（Ｂ）で決定される前記面積は、前記三角形の面積であることを特徴とする請求項１に記載の視線追跡方法。
【請求項４】
前記ステップ（Ｂ）は、
前記視線追跡システムが、前記瞳孔上の前記基準点と、前記第１及び前記第２の反射光点とを頂点とする三角形を定義するサブステップ（ｂ１）と、
前記視線追跡システムが、前記三角形の面積を決定するサブステップ（ｂ２）と、
前記視線追跡システムが、前記第１及び前記第２の反射光点の間の距離に基づいて、正規化因子を決定するサブステップ（ｂ３）と、
を具備し、
前記ステップ（Ｂ）では、前記サブステップ（ｂ２）で決定された前記三角形の面積を、前記サブステップ（ｂ３）で決定した前記正規化因子で割ることにより、前記面積が決定されることを特徴とする請求項１に記載の視線追跡方法。
【請求項５】
前記正規化因子は、前記第１及び前記第２の反射光点の間の距離の二乗に基づくことを特徴とする請求項４に記載の視線追跡方法。
【請求項６】
前記サブステップ（ｂ３）では、前記第１及び前記第２の反射光点の間の距離の二乗の２分の１として前記正規化因子が決定されることを特徴とする請求項５に記載の視線追跡方法。
【請求項７】
前記ステップ（Ｃ）では、前記座標は、座標システムを変換するための一連の方程式を用いて決定されることを特徴とする請求項１に記載の視線追跡方法。
【請求項８】
前記ステップ（Ｃ）で用いられる前記方程式は、アフィン変換式であることを特徴とする請求項７に記載の視線追跡方法。
【請求項９】
更に、前記視線追跡システムが、前記スクリーンモジュール上の既定位置に対応する一連の係数を求めるステップ（Ｅ）を具備し、
前記ステップ（Ｃ）では、更に、前記ステップ（Ｅ）で求められた係数に基づいて前記座標が決定されることを特徴とする請求項１に記載の視線追跡方法。
【請求項１０】
前記ステップ（Ｅ）は、
前記視線追跡システムが、前記スクリーンモジュールを、それぞれが対応する座標を有する前記既定位置に分割するサブステップ（ｅ１）と、
前記ユーザが前記既定位置の一つを凝視し、前記光源が前記ユーザの目に向かって光を発する間、前記視線追跡システムが、前記ユーザの目の前記瞳孔と、前記ユーザの目の上の一組の前記第１及び前記第２の反射光点とを含む前記ユーザの目の前記画像を、前記画像取得モジュールにより取得するサブステップ（ｅ２）と、
前記視線追跡システムが、前記サブステップ（ｅ２）で獲得された前記画像中の前記瞳孔並びに前記第１及び前記第２の反射光点の位置に基づいて、前記サブステップ（ｅ２）で前記ユーザが凝視している前記既定位置に対応する前記角度及び前記面積を決定するサブステップ（ｅ３）と、
前記視線追跡システムが、全ての前記既定位置に対応する前記角度及び前記面積を決定するまで、前記サブステップ（ｅ２）及び前記サブステップ（ｅ３）を繰り返すサブステップ（ｅ４）と、
前記視線追跡システムが、前記既定位置に対応する前記角度及び前記面積と、前記既定位置の対応する前記座標とに基づいて、前記係数を求めるサブステップ（ｅ５）と、
を具備することを特徴とする請求項９に記載の視線追跡方法。
【請求項１１】
前記サブステップ（ｅ１）では、４個の前記既定位置は、前記スクリーンモジュールの四隅にそれぞれ対応することを特徴とする請求項１０に記載の視線追跡方法。
【請求項１２】
前記サブステップ（ｅ１）では、前記既定位置が行と列の配列に配置されることを特徴とする請求項１０に記載の視線追跡方法。
【請求項１３】
前記サブステップ（ｅ５）では、座標システムを変換するための一連の方程式を用いて係数が求められることを特徴とする請求項１０に記載の視線追跡方法。
【請求項１４】
前記ステップ（Ｄ）は、
前記視線追跡システムが、前記スクリーンモジュール上のカーソルを、前記ステップ（Ｃ）で決定された前記座標に移動させるサブステップを具備することを特徴とする請求項１に記載の視線追跡方法。
【請求項１５】
画像分析モジュールと、座標変換モジュールと、処理モジュールとを具備する視線追跡システムであって、
前記画像分析モジュールは、
ユーザがスクリーンモジュール上の凝視位置を凝視し、一組の光源が前記ユーザの目に向かって光を発する間、前記ユーザの目の瞳孔と、前記ユーザの目の上の第１及び第２の反射光点とを含む前記ユーザの目の画像を、画像取得モジュールにより獲得し、
獲得した前記画像内の前記瞳孔並びに前記第１及び前記第２の反射光点の位置に基づいて、前記凝視位置に対応する角度及び面積を決定し、
前記画像分析モジュールに接続される前記座標変換モジュールは、
前記画像分析モジュールにより決定された前記角度及び前記面積に基づいて、前記凝視位置に対応する前記スクリーンモジュール上の座標を決定し、
前記座標変換モジュールに接続される前記処理モジュールは、
前記座標変換モジュールにより決定された前記座標に関する操作を実行することを特徴とする視線追跡システム。
【請求項１６】
前記画像分析モジュールは、更に、
前記瞳孔上の基準点と、前記第１及び前記第２の反射光点のうちのいずれか一方を通る第１の線と、前記瞳孔上の前記基準点と、前記第１及び前記第２の反射光点のうちのいずれか他方を通る第２の線と、前記第１及び前記第２の反射光点を通る第３の線と、を定義し、
前記第１及び前記第３の線の間の内角と、前記第２及び前記第３の線の間の外角とを決定し、
前記角度は、前記内角と前記外角の平均として前記画像分析モジュールにより決定されることを特徴とする請求項１５に記載の視線追跡システム。
【請求項１７】
前記画像分析モジュールは、更に、前記瞳孔上の前記基準点と、前記第１及び前記第２の反射光点とを頂点とする三角形を定義し、
前記画像分析モジュールが決定する前記面積は、前記三角形の面積であることを特徴とする請求項１５に記載の視線追跡システム。
【請求項１８】
前記画像分析モジュールは、更に、
前記瞳孔上の前記基準点と、前記第１及び前記第２の反射光点とを頂点とする三角形を定義し、
前記三角形の面積を決定し、
前記第１、前記第２の反射光点の間の距離に基づいて、正規化因子を決定し、
前記面積は、前記正規化因子で割られた前記三角形の面積として、前記画像分析モジュールにより決定されることを特徴とする請求項１５に記載の視線追跡システム。
【請求項１９】
前記画像分析モジュールにより決定される前記正規化因子は、前記第１及び前記第２の反射光点の間の距離の二乗に基づくことを特徴とする請求項１８に記載の視線追跡システム。
【請求項２０】
前記正規化因子は、前記第１及び前記第２の反射光点の間の距離の二乗の２分の１として、前記画像分析モジュールにより決定されることを特徴とする請求項１９に記載の視線追跡システム。
【請求項２１】
前記座標は、座標システムを変換する一連の方程式を用いて、前記座標変換モジュールにより決定されることを特徴とする請求項１５に記載の視線追跡システム。
【請求項２２】
前記座標変換モジュールにより用いられる前記方程式は、アフィン変換式であることを特徴とする請求項２１に記載の視線追跡システム。
【請求項２３】
前記視線追跡システムは、更に、前記座標変換モジュールに接続される修正モジュールを具備し、
前記修正モジュールは、前記スクリーンモジュール上の既定位置に対応する一連の係数を求め、
前記座標が、さらに前記修正モジュールで得られた係数に基づいて、前記座標変換モジュールにより決定されることを特徴とする請求項１５に記載の視線追跡システム。
【請求項２４】
前記修正モジュールは、更に、
前記スクリーンモジュールを、それぞれが対応する座標を有する前記既定位置に分割し、
前記画像分析モジュールは、更に、
前記ユーザが前記既定位置の一つを凝視し、前記光源が前記ユーザの目に向かって光を発する間、前記ユーザの目の前記瞳孔と、前記ユーザの目の上の前記第１及び前記第２の反射光点とを含む前記ユーザの目の前記画像を、前記画像取得モジュールにより取得し、
獲得された前記画像中の前記瞳孔並びに前記第１及び前記第２の反射光点の位置に基づいて、前記ユーザが凝視している前記既定位置に対応する角度及び面積を決定することで、
前記既定位置の一つに対応する前記角度及び前記面積を決定し、
前記修正モジュールは、更に、
前記既定位置に対応する前記角度及び前記面積と、前記既定位置の対応する前記座標とに基づいて前記係数を求めることを特徴とする請求項２３に記載の視線追跡システム。
【請求項２５】
前記修正モジュールは、４個の前記既定位置が前記スクリーンモジュールの四隅にそれぞれ対応するように、前記スクリーンモジュールを分割することを特徴とする請求項２４に記載の視線追跡システム。
【請求項２６】
前記修正モジュールは、前記既定位置を行と列の配列に配置するように、前記スクリーンモジュールを分割することを特徴とする請求項２４に記載の視線追跡システム。
【請求項２７】
前記修正モジュールは、座標システムを変換する一連の方程式を用いて係数を求めることを特徴とする請求項２４に記載の視線追跡システム。
【請求項２８】
前記処理モジュールにより実行される前記操作は、前記スクリーンモジュール上のカーソルを、前記座標変換モジュールが決定した座標に移動させることを特徴とする請求項１５に記載の視線追跡システム。
【請求項２９】
視線追跡システムのための修正方法であって、
前記視線追跡システムが、スクリーンモジュールを、対応する座標を有する既定位置に分割するステップ（Ａ）と、
ユーザが前記既定位置の一つを凝視し、一組の光源が前記ユーザの目に向かって光を発する間、前記視線追跡システムが、前記ユーザの目の瞳孔と、前記ユーザの目の上の第１及び第２の反射光点とを含む前記ユーザの目の画像を、画像取得モジュールにより獲得するステップ（Ｂ）と、
前記視線追跡システムが、前記ステップ（Ｂ）で獲得された前記画像中の前記瞳孔並びに前記第１及び前記第２の反射光点の位置に基づいて、前記ステップ（Ｂ）でユーザが凝視していた前記既定位置に対応する角度及び面積を決定するステップ（Ｃ）と、
前記視線追跡システムが、全ての前記既定位置に対応する前記角度及び前記面積を決定するまで、前記ステップ（Ｂ）及び前記ステップ（Ｃ）を繰り返すステップ（Ｄ）と、
前記視線追跡システムが、前記既定位置に対応する前記角度及び前記面積と、前記既定位置の対応する前記座標とに基づいて、係数を求めるステップ（Ｅ）と、
を具備し、
前記視線追跡システムは、
前記ステップ（Ｅ）で求めた係数と、前記ユーザが凝視位置を凝視している間、前記画像取得モジュールにより取得された前記ユーザの目の他の画像から決定された角度及び面積に基づいて、前記ユーザが凝視する前記スクリーンモジュール上の前記凝視位置に対応する前記スクリーンモジュール上の座標を決定し、
決定された前記座標に関する操作を実行することを特徴とする修正方法。
【請求項３０】
前記ステップ（Ａ）では、４個の前記既定位置が前記スクリーンモジュールの四隅にそれぞれ対応することを特徴とする請求項２９に記載の修正方法。
【請求項３１】
ステップ（Ｅ）では、座標システムを変換する一連の方程式を用いて前記係数が求められることを特徴とする請求項２９に記載の修正方法。
【請求項３２】
ステップ（Ａ）では、前記既定位置が行と列の配列に配置されることを特徴とする請求項２９に記載の修正方法。
【請求項３３】
前記ステップ（Ｂ）が、
視線追跡システムが、前記ユーザが前記ステップ（Ｂ）で凝視する前記既定位置である一つの前記既定位置を指し示すように、前記スクリーンモジュールを制御するサブステップを有することを特徴とする請求項２９に記載の修正方法。
【請求項３４】
視線追跡システムのための修正モジュールであって、
前記修正モジュールは、第１コントローラと、第２コントローラと、係数計算部を具備し、
前記第１コントローラは、対応する座標をそれぞれ有する、スクリーンモジュール上の既定位置の一つを指し示し、
前記第２コントローラは、ユーザが指し示された一つの前記既定位置を凝視し、一組の光源が前記ユーザの目に向かって光を発する間、前記ユーザの目の瞳孔と、前記ユーザの上の第１及び第２の反射光点とを含む前記ユーザの目の画像を取得するように画像取得モジュールを制御し、
前記視線追跡システムは、前記画像取得モジュールにより取得された前記画像内の瞳孔並びに第１及び第２の反射光点の位置に基づいて、指し示された前記既定位置にそれぞれに対応する角度及び面積を決定し、
前記係数計算部は、前記既定位置に対応する前記角度及び前記面積と、前記既定位置の対応する前記座標とに基づいて係数を求め、
前記視線追跡システムは、更に、
前記係数計算部により求められた前記係数と、前記ユーザが前記凝視点を凝視している間に前記画像取得モジュールにより取得された前記ユーザの目の他の画像から決定された角度及び面積に基づいて、ユーザが凝視している前記スクリーンモジュール上の凝視位置に対応する前記スクリーンモジュール上の座標を決定し、
決定した前記座標に関する操作を実行する
ことを特徴とする修正モジュール。
【請求項３５】
前記第１コントローラは、更に、前記スクリーンモジュールを前記既定位置に分割することを特徴とする請求項３４に記載の修正モジュール。
【請求項３６】
前記第１コントローラは、４個の前記既定位置がそれぞれ前記スクリーンモジュールの四隅に対応するように前記スクリーンモジュールを分割することを特徴とする請求項３５に記載の修正モジュール。
【請求項３７】
前記第１コントローラは、前記既定位置が行と列の配列に配置するように前記スクリーンモジュールを分割することを特徴とする請求項３５に記載の修正モジュール。
【請求項３８】
前記係数計算部は、座標システムを変換する一連の方程式を用いて係数を求めることを特徴とする請求項３４に記載の修正モジュール。
【請求項１】
視線追跡システムに実装される視線追跡方法であって、
ユーザがスクリーンモジュール上の凝視位置を凝視し、一組の光源が前記ユーザの目に向かって光を発する間、前記視線追跡システムが、画像取得モジュールにより前記ユーザの目の瞳孔と、前記ユーザの目の上の第１及び第２の反射光点とを含む前記ユーザの目の画像を獲得するステップ（Ａ）と、
前記視線追跡システムが、前記ステップ（Ａ）で獲得された前記画像内の前記瞳孔並びに前記第１及び前記第２の反射光点の位置に基づいて、前記凝視位置に対応する角度及び面積を決定するステップ（Ｂ）と、
前記視線追跡システムが、前記ステップ（Ｂ）で決定された前記角度及び前記面積に基づいて、前記凝視位置に対応する前記スクリーンモジュール上の座標を決定するステップ（Ｃ）と、
前記視線追跡システムが、前記ステップ（Ｃ）で決定された前記座標に関する操作を実行するステップ（Ｄ）と、
を具備することを特徴とする視線追跡方法。
【請求項２】
前記ステップ（Ｂ）が、
前記視追跡システムが、前記瞳孔上の基準点と、前記第１及び前記第２の反射光点のうちのいずれか一方を通る第１の線と、前記瞳孔上の前記基準点と、前記第１及び前記第２の反射光点のうちのいずれか他方を通る第２の線と、前記第１及び前記第２の反射光点を通る第３の線と、を定義するサブステップ（ｂ１）と、
前記視線追跡システムが、前記サブステップ（ｂ１）で定義した前記第１及び前記第３の線の間の内角と、前記サブステップ（ｂ１）で定義した前記第２及び前記第３の線の間の外角とを決定するサブステップ（ｂ２）と、
を具備し、
前記ステップ（Ｂ）では、前記内角と前記外角の平均として前記角度が決定されることを特徴とする請求項１に記載の視線追跡方法。
【請求項３】
前記ステップ（Ｂ）は、
前記視線追跡システムが、前記瞳孔上の前記基準点と、前記第１及び前記第２の反射光点とを頂点とする三角形を定義するサブステップと、
を具備し、
前記ステップ（Ｂ）で決定される前記面積は、前記三角形の面積であることを特徴とする請求項１に記載の視線追跡方法。
【請求項４】
前記ステップ（Ｂ）は、
前記視線追跡システムが、前記瞳孔上の前記基準点と、前記第１及び前記第２の反射光点とを頂点とする三角形を定義するサブステップ（ｂ１）と、
前記視線追跡システムが、前記三角形の面積を決定するサブステップ（ｂ２）と、
前記視線追跡システムが、前記第１及び前記第２の反射光点の間の距離に基づいて、正規化因子を決定するサブステップ（ｂ３）と、
を具備し、
前記ステップ（Ｂ）では、前記サブステップ（ｂ２）で決定された前記三角形の面積を、前記サブステップ（ｂ３）で決定した前記正規化因子で割ることにより、前記面積が決定されることを特徴とする請求項１に記載の視線追跡方法。
【請求項５】
前記正規化因子は、前記第１及び前記第２の反射光点の間の距離の二乗に基づくことを特徴とする請求項４に記載の視線追跡方法。
【請求項６】
前記サブステップ（ｂ３）では、前記第１及び前記第２の反射光点の間の距離の二乗の２分の１として前記正規化因子が決定されることを特徴とする請求項５に記載の視線追跡方法。
【請求項７】
前記ステップ（Ｃ）では、前記座標は、座標システムを変換するための一連の方程式を用いて決定されることを特徴とする請求項１に記載の視線追跡方法。
【請求項８】
前記ステップ（Ｃ）で用いられる前記方程式は、アフィン変換式であることを特徴とする請求項７に記載の視線追跡方法。
【請求項９】
更に、前記視線追跡システムが、前記スクリーンモジュール上の既定位置に対応する一連の係数を求めるステップ（Ｅ）を具備し、
前記ステップ（Ｃ）では、更に、前記ステップ（Ｅ）で求められた係数に基づいて前記座標が決定されることを特徴とする請求項１に記載の視線追跡方法。
【請求項１０】
前記ステップ（Ｅ）は、
前記視線追跡システムが、前記スクリーンモジュールを、それぞれが対応する座標を有する前記既定位置に分割するサブステップ（ｅ１）と、
前記ユーザが前記既定位置の一つを凝視し、前記光源が前記ユーザの目に向かって光を発する間、前記視線追跡システムが、前記ユーザの目の前記瞳孔と、前記ユーザの目の上の一組の前記第１及び前記第２の反射光点とを含む前記ユーザの目の前記画像を、前記画像取得モジュールにより取得するサブステップ（ｅ２）と、
前記視線追跡システムが、前記サブステップ（ｅ２）で獲得された前記画像中の前記瞳孔並びに前記第１及び前記第２の反射光点の位置に基づいて、前記サブステップ（ｅ２）で前記ユーザが凝視している前記既定位置に対応する前記角度及び前記面積を決定するサブステップ（ｅ３）と、
前記視線追跡システムが、全ての前記既定位置に対応する前記角度及び前記面積を決定するまで、前記サブステップ（ｅ２）及び前記サブステップ（ｅ３）を繰り返すサブステップ（ｅ４）と、
前記視線追跡システムが、前記既定位置に対応する前記角度及び前記面積と、前記既定位置の対応する前記座標とに基づいて、前記係数を求めるサブステップ（ｅ５）と、
を具備することを特徴とする請求項９に記載の視線追跡方法。
【請求項１１】
前記サブステップ（ｅ１）では、４個の前記既定位置は、前記スクリーンモジュールの四隅にそれぞれ対応することを特徴とする請求項１０に記載の視線追跡方法。
【請求項１２】
前記サブステップ（ｅ１）では、前記既定位置が行と列の配列に配置されることを特徴とする請求項１０に記載の視線追跡方法。
【請求項１３】
前記サブステップ（ｅ５）では、座標システムを変換するための一連の方程式を用いて係数が求められることを特徴とする請求項１０に記載の視線追跡方法。
【請求項１４】
前記ステップ（Ｄ）は、
前記視線追跡システムが、前記スクリーンモジュール上のカーソルを、前記ステップ（Ｃ）で決定された前記座標に移動させるサブステップを具備することを特徴とする請求項１に記載の視線追跡方法。
【請求項１５】
画像分析モジュールと、座標変換モジュールと、処理モジュールとを具備する視線追跡システムであって、
前記画像分析モジュールは、
ユーザがスクリーンモジュール上の凝視位置を凝視し、一組の光源が前記ユーザの目に向かって光を発する間、前記ユーザの目の瞳孔と、前記ユーザの目の上の第１及び第２の反射光点とを含む前記ユーザの目の画像を、画像取得モジュールにより獲得し、
獲得した前記画像内の前記瞳孔並びに前記第１及び前記第２の反射光点の位置に基づいて、前記凝視位置に対応する角度及び面積を決定し、
前記画像分析モジュールに接続される前記座標変換モジュールは、
前記画像分析モジュールにより決定された前記角度及び前記面積に基づいて、前記凝視位置に対応する前記スクリーンモジュール上の座標を決定し、
前記座標変換モジュールに接続される前記処理モジュールは、
前記座標変換モジュールにより決定された前記座標に関する操作を実行することを特徴とする視線追跡システム。
【請求項１６】
前記画像分析モジュールは、更に、
前記瞳孔上の基準点と、前記第１及び前記第２の反射光点のうちのいずれか一方を通る第１の線と、前記瞳孔上の前記基準点と、前記第１及び前記第２の反射光点のうちのいずれか他方を通る第２の線と、前記第１及び前記第２の反射光点を通る第３の線と、を定義し、
前記第１及び前記第３の線の間の内角と、前記第２及び前記第３の線の間の外角とを決定し、
前記角度は、前記内角と前記外角の平均として前記画像分析モジュールにより決定されることを特徴とする請求項１５に記載の視線追跡システム。
【請求項１７】
前記画像分析モジュールは、更に、前記瞳孔上の前記基準点と、前記第１及び前記第２の反射光点とを頂点とする三角形を定義し、
前記画像分析モジュールが決定する前記面積は、前記三角形の面積であることを特徴とする請求項１５に記載の視線追跡システム。
【請求項１８】
前記画像分析モジュールは、更に、
前記瞳孔上の前記基準点と、前記第１及び前記第２の反射光点とを頂点とする三角形を定義し、
前記三角形の面積を決定し、
前記第１、前記第２の反射光点の間の距離に基づいて、正規化因子を決定し、
前記面積は、前記正規化因子で割られた前記三角形の面積として、前記画像分析モジュールにより決定されることを特徴とする請求項１５に記載の視線追跡システム。
【請求項１９】
前記画像分析モジュールにより決定される前記正規化因子は、前記第１及び前記第２の反射光点の間の距離の二乗に基づくことを特徴とする請求項１８に記載の視線追跡システム。
【請求項２０】
前記正規化因子は、前記第１及び前記第２の反射光点の間の距離の二乗の２分の１として、前記画像分析モジュールにより決定されることを特徴とする請求項１９に記載の視線追跡システム。
【請求項２１】
前記座標は、座標システムを変換する一連の方程式を用いて、前記座標変換モジュールにより決定されることを特徴とする請求項１５に記載の視線追跡システム。
【請求項２２】
前記座標変換モジュールにより用いられる前記方程式は、アフィン変換式であることを特徴とする請求項２１に記載の視線追跡システム。
【請求項２３】
前記視線追跡システムは、更に、前記座標変換モジュールに接続される修正モジュールを具備し、
前記修正モジュールは、前記スクリーンモジュール上の既定位置に対応する一連の係数を求め、
前記座標が、さらに前記修正モジュールで得られた係数に基づいて、前記座標変換モジュールにより決定されることを特徴とする請求項１５に記載の視線追跡システム。
【請求項２４】
前記修正モジュールは、更に、
前記スクリーンモジュールを、それぞれが対応する座標を有する前記既定位置に分割し、
前記画像分析モジュールは、更に、
前記ユーザが前記既定位置の一つを凝視し、前記光源が前記ユーザの目に向かって光を発する間、前記ユーザの目の前記瞳孔と、前記ユーザの目の上の前記第１及び前記第２の反射光点とを含む前記ユーザの目の前記画像を、前記画像取得モジュールにより取得し、
獲得された前記画像中の前記瞳孔並びに前記第１及び前記第２の反射光点の位置に基づいて、前記ユーザが凝視している前記既定位置に対応する角度及び面積を決定することで、
前記既定位置の一つに対応する前記角度及び前記面積を決定し、
前記修正モジュールは、更に、
前記既定位置に対応する前記角度及び前記面積と、前記既定位置の対応する前記座標とに基づいて前記係数を求めることを特徴とする請求項２３に記載の視線追跡システム。
【請求項２５】
前記修正モジュールは、４個の前記既定位置が前記スクリーンモジュールの四隅にそれぞれ対応するように、前記スクリーンモジュールを分割することを特徴とする請求項２４に記載の視線追跡システム。
【請求項２６】
前記修正モジュールは、前記既定位置を行と列の配列に配置するように、前記スクリーンモジュールを分割することを特徴とする請求項２４に記載の視線追跡システム。
【請求項２７】
前記修正モジュールは、座標システムを変換する一連の方程式を用いて係数を求めることを特徴とする請求項２４に記載の視線追跡システム。
【請求項２８】
前記処理モジュールにより実行される前記操作は、前記スクリーンモジュール上のカーソルを、前記座標変換モジュールが決定した座標に移動させることを特徴とする請求項１５に記載の視線追跡システム。
【請求項２９】
視線追跡システムのための修正方法であって、
前記視線追跡システムが、スクリーンモジュールを、対応する座標を有する既定位置に分割するステップ（Ａ）と、
ユーザが前記既定位置の一つを凝視し、一組の光源が前記ユーザの目に向かって光を発する間、前記視線追跡システムが、前記ユーザの目の瞳孔と、前記ユーザの目の上の第１及び第２の反射光点とを含む前記ユーザの目の画像を、画像取得モジュールにより獲得するステップ（Ｂ）と、
前記視線追跡システムが、前記ステップ（Ｂ）で獲得された前記画像中の前記瞳孔並びに前記第１及び前記第２の反射光点の位置に基づいて、前記ステップ（Ｂ）でユーザが凝視していた前記既定位置に対応する角度及び面積を決定するステップ（Ｃ）と、
前記視線追跡システムが、全ての前記既定位置に対応する前記角度及び前記面積を決定するまで、前記ステップ（Ｂ）及び前記ステップ（Ｃ）を繰り返すステップ（Ｄ）と、
前記視線追跡システムが、前記既定位置に対応する前記角度及び前記面積と、前記既定位置の対応する前記座標とに基づいて、係数を求めるステップ（Ｅ）と、
を具備し、
前記視線追跡システムは、
前記ステップ（Ｅ）で求めた係数と、前記ユーザが凝視位置を凝視している間、前記画像取得モジュールにより取得された前記ユーザの目の他の画像から決定された角度及び面積に基づいて、前記ユーザが凝視する前記スクリーンモジュール上の前記凝視位置に対応する前記スクリーンモジュール上の座標を決定し、
決定された前記座標に関する操作を実行することを特徴とする修正方法。
【請求項３０】
前記ステップ（Ａ）では、４個の前記既定位置が前記スクリーンモジュールの四隅にそれぞれ対応することを特徴とする請求項２９に記載の修正方法。
【請求項３１】
ステップ（Ｅ）では、座標システムを変換する一連の方程式を用いて前記係数が求められることを特徴とする請求項２９に記載の修正方法。
【請求項３２】
ステップ（Ａ）では、前記既定位置が行と列の配列に配置されることを特徴とする請求項２９に記載の修正方法。
【請求項３３】
前記ステップ（Ｂ）が、
視線追跡システムが、前記ユーザが前記ステップ（Ｂ）で凝視する前記既定位置である一つの前記既定位置を指し示すように、前記スクリーンモジュールを制御するサブステップを有することを特徴とする請求項２９に記載の修正方法。
【請求項３４】
視線追跡システムのための修正モジュールであって、
前記修正モジュールは、第１コントローラと、第２コントローラと、係数計算部を具備し、
前記第１コントローラは、対応する座標をそれぞれ有する、スクリーンモジュール上の既定位置の一つを指し示し、
前記第２コントローラは、ユーザが指し示された一つの前記既定位置を凝視し、一組の光源が前記ユーザの目に向かって光を発する間、前記ユーザの目の瞳孔と、前記ユーザの上の第１及び第２の反射光点とを含む前記ユーザの目の画像を取得するように画像取得モジュールを制御し、
前記視線追跡システムは、前記画像取得モジュールにより取得された前記画像内の瞳孔並びに第１及び第２の反射光点の位置に基づいて、指し示された前記既定位置にそれぞれに対応する角度及び面積を決定し、
前記係数計算部は、前記既定位置に対応する前記角度及び前記面積と、前記既定位置の対応する前記座標とに基づいて係数を求め、
前記視線追跡システムは、更に、
前記係数計算部により求められた前記係数と、前記ユーザが前記凝視点を凝視している間に前記画像取得モジュールにより取得された前記ユーザの目の他の画像から決定された角度及び面積に基づいて、ユーザが凝視している前記スクリーンモジュール上の凝視位置に対応する前記スクリーンモジュール上の座標を決定し、
決定した前記座標に関する操作を実行する
ことを特徴とする修正モジュール。
【請求項３５】
前記第１コントローラは、更に、前記スクリーンモジュールを前記既定位置に分割することを特徴とする請求項３４に記載の修正モジュール。
【請求項３６】
前記第１コントローラは、４個の前記既定位置がそれぞれ前記スクリーンモジュールの四隅に対応するように前記スクリーンモジュールを分割することを特徴とする請求項３５に記載の修正モジュール。
【請求項３７】
前記第１コントローラは、前記既定位置が行と列の配列に配置するように前記スクリーンモジュールを分割することを特徴とする請求項３５に記載の修正モジュール。
【請求項３８】
前記係数計算部は、座標システムを変換する一連の方程式を用いて係数を求めることを特徴とする請求項３４に記載の修正モジュール。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【公開番号】特開２０１０−２３０６５１（Ｐ２０１０−２３０６５１Ａ）
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願番号】特願２００９−２６１８２７（Ｐ２００９−２６１８２７）
【出願日】平成２１年１１月１７日（２００９．１１．１７）
【出願人】（５０８２１１０９６）由田新技股▲分▼有限公司 (12)
【Ｆターム（参考）】
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願日】平成２１年１１月１７日（２００９．１１．１７）
【出願人】（５０８２１１０９６）由田新技股▲分▼有限公司 (12)
【Ｆターム（参考）】
[ Back to top ]