視線追跡方法及び視線追跡システム
【課題】ユーザのスクリーンモジュール上の凝視点を正確に判定可能な非侵入式視線追跡方法等を提供する。
【解決手段】視線追跡方法は、ユーザの目の画像４０１を取得し、取得した画像４０１から瞳孔の基準点４１と目上の反射光点４２を特定し、瞳孔の基準点４１からの反射光点４２の距離ｄと瞳孔の基準点４１を通る軸４３からの反射光点４２の角度θを決定し、距離ｄ、角度θ、事前設定データセットに基づいて凝視点を決定し、凝視点に関する処理を実行する。視線追跡システムは、前記視線追跡方法を実装する。
【解決手段】視線追跡方法は、ユーザの目の画像４０１を取得し、取得した画像４０１から瞳孔の基準点４１と目上の反射光点４２を特定し、瞳孔の基準点４１からの反射光点４２の距離ｄと瞳孔の基準点４１を通る軸４３からの反射光点４２の角度θを決定し、距離ｄ、角度θ、事前設定データセットに基づいて凝視点を決定し、凝視点に関する処理を実行する。視線追跡システムは、前記視線追跡方法を実装する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視線追跡方法、特に、非侵入式視線追跡方法に関するものである。
【背景技術】
【０００２】
従来の視線追跡技術では、ユーザはインダクタ（ｉｎｄｕｃｔａｎｃｅ ｃｏｉｌ）が取り付けられたコンタクトレンズを装着する。ユーザが目を動かすとインダクタが動き、磁束に変化が発生し、ユーザの目の方向を判定する起電力が発生する。しかしながら、ユーザが装着した時に、コンタクトレンズがユーザの目を刺激する。更に、ユーザが装着した時に、コンタクトレンズは二つの層を有するため、ユーザの視力を弱める。
【０００３】
また、他の従来の視線追跡技術では、電圧を検出する電極がユーザの目の周囲に取り付けられ、電圧を検出するという方法がある。ユーザが目を動かすと、検出した電圧内で変化が発生し、ユーザの目の方向が判定される。しかしながら、ユーザの目の周囲に電極を取り付けると、電極はユーザにとって不快である。更に、ユーザの皮膚からの分泌物が検出される電圧に影響を与えるため、この技術により判定される目の方向は正確ではない。更に、比較的小さい電圧変化をこの従来技術により検出することはできない。
【０００４】
上記の問題を解決するため、非侵入式視線追跡技術が提案されている。非侵入式視線追跡技術の一つとして特許文献１では、ユーザはカメラを取り付けた眼鏡あるいはヘルメットを装着する方法が開示されている。
また、他の非侵入式視線追跡技術の一つとして特許文献２では、二つのＣＣＤ（Ｃｈａｒｇｅｄ−ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）カメラを用いた方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許第６，３７３，９６１号公報
【特許文献２】米国特許第６，５７８，９６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に示す方法では、ユーザが目に対してカメラの位置を保持することが要求され、ユーザ側に不便をもたらす。
また、特許文献２に示す方法では、計算が複雑となり、ソフトウエア及びハードウエアを実装するための費用が高くなってしまう。
【０００７】
本発明は、前述した問題点に鑑みてなされたもので、その目的とすることは、ユーザのスクリーンモジュール上の凝視点を正確に判定可能な非侵入式視線追跡方法等を提供することである。
【課題を解決するための手段】
【０００８】
前述した目的を達成するために、第１の発明は、視線追跡システムに実装される視線追跡方法であって、ユーザがスクリーンモジュールを凝視し、光源が前記ユーザの目に向かって光を発する間、前記視線追跡システムが、画像取得モジュールにより前記ユーザの目の画像を取得するステップ（Ａ）と、前記視線追跡システムが、前記ステップ（Ａ）で取得した前記画像から、前記ユーザの目の瞳孔と、前記ユーザの目の反射光点を特定するステップ（Ｂ）と、前記視線追跡システムが、前記瞳孔上の基準点からの前記反射光点の距離と、前記瞳孔上の前記基準点を通る軸からの前記反射光点の角度を決定するステップ（Ｃ）と、前記視線追跡システムが、前記ステップ（Ｃ）で決定された前記距離と前記角度と、前記スクリーンモジュール上の既定領域に基づいて得られた事前設定データセットに基づいて、凝視点を決定するステップ（Ｄ）と、前記視線追跡システムが、前記凝視点に関する処理を実行するステップ（Ｅ）と、を具備することを特徴とする視線追跡方法である。
【０００９】
前記事前設定データセットは、複数の候補点を有し、それぞれの前記候補点はそれぞれ前記既定領域の一つに対応し、かつ座標により定義され、前記ステップ（Ｄ）が、前記視線追跡システムが、その座標が前記ステップ（Ｃ）で決定された前記距離及び前記角度である点を定義するサブステップ（ｄ１）と、前記視線追跡システムが、前記事前設定データセットの中から、前記サブステップ（ｄ１）で定義された前記点からの距離が最小となる前記候補点の一つを見つけるサブステップ（ｄ２）と、前記視線追跡システムが、前記サブステップ（ｄ２）で見つけた前記候補点を凝視点とみなすサブステップ（ｄ３）と、を具備する。
【００１０】
前記サブステップ（ｄ２）は、式ｗ１×｜ｘ１’−ｘ２’｜＋ｗ２×｜ｙ１’−ｙ２’｜で定義される最小目的関数を用いて実行される。ここで、ｘ１’及びｙ１’は前記事前設定データセット内の前記候補点のうちの一つの座標であり、ｘ２’及びｙ２’は前記サブステップ（ｄ１）で定義された前記点の座標であり、ｗ１は｜ｘ１’−ｘ２’｜に割り当てられる加重であり、ｗ２は｜ｙ１’−ｙ２’｜に割り当てられる加重である。
【００１１】
視線追跡方法は、前記ステップ（Ａ）の前に、更に、前記事前設定データセットを求めるステップ（Ｆ）を具備する。
前記ステップ（Ｆ）は、前記視線追跡システムが、前記スクリーンモジュールを前記既定領域に分割するサブステップ（ｆ１）と、前記視線追跡システムが、前記スクリーンモジュールが前記既定領域の中の一つを指し示すように制御するサブステップ（ｆ２）と、前記ユーザが前記サブステップ（ｆ２）で指し示された前記既定領域を凝視し、前記光源が前記ユーザの目に向かって光を発する間、前記視線追跡システムが、前記画像取得モジュールにより前記ユーザの目の画像を取得するサブステップ（ｆ３）と、前記視線追跡システムが、前記サブステップ（ｆ３）で取得された前記画像から瞳孔と、前記ユーザの目の反射光点を特定するサブステップ（ｆ４）と、前記視線追跡システムが、前記瞳孔上の基準点からの前記反射光点の距離と、前記瞳孔上の前記基準点を通る軸からの前記反射光点の角度を決定するサブステップ（ｆ５）と、前記視線追跡システムが、サブステップ（ｆ２）で指し示された前記既定領域と対応し、その座標がサブステップ（ｆ５）で決定された前記距離及び前記角度である候補点を求めるサブステップ（ｆ６）と、前記視線追跡システムが、全ての前記既定領域に対応する前記候補点を求めるまでこれらの処理を繰り返すサブステップ（ｆ７）を具備する。
【００１２】
視線追跡方法の前記ステップ（Ｄ）は、歪み補正技術を用いて実行される。
前記事前データセットが複数の係数（ａ０〜ａ５、ｂ０〜ｂ５）を有し、前記ステップ（Ｄ）は、前記凝視点の座標（ｕ’，ｖ’）を式ｕ’＝ａ０＋ａ１ｘ’＋ａ２ｙ’＋ａ３ｘ’２＋ａ４ｘ’ｙ’＋ａ５ｙ’２、ｖ’＝ｂ０＋ｂ１ｘ’＋ｂ２ｙ’＋ｂ３ｘ’２＋ｂ４ｘ’ｙ’＋ｂ５ｙ’２を用いて計算する歪み補正技術を用いて実行される。ここで、ａ０〜ａ５及びｂ０〜ｂ５は事前設定データセット内の係数であり、ｘ’及びｙ’は前記ステップ（Ｃ）で決定された前記距離及び前記角度である。
【００１３】
視線追跡方法は、前記ユーザの目の画像を取得するステップの前に、更に、前記事前設定データセットを求めるステップ（Ｆ）を具備する。
前記ステップ（Ｆ）は、前記視線追跡システムが、前記スクリーンモジュールを前記既定領域に分割するサブステップ（ｆ１）と、前記視線追跡システムが、前記既定領域にそれぞれ対応する座標を定義するサブステップ（ｆ２）と、前記視線追跡システムが、前記スクリーンモジュールが一つの前記既定領域を指し示すように制御するサブステップ（ｆ３）と、前記ユーザが前記サブステップ（ｆ３）で指し示された前記既定領域を凝視し、前記光源が前記ユーザの目に向かって光を発する間、前記視線追跡システムが、前記画像取得モジュールにより前記ユーザの目の画像を取得するサブステップ（ｆ４）と、前記視線追跡システムが、前記サブステップ（ｆ３）で取得された前記画像から瞳孔と、前記ユーザの目の反射光点を特定するサブステップ（ｆ５）と、前記視線追跡システムが、前記サブステップ（ｆ３）で指し示された前記既定領域と対応する、前記瞳孔上の基準点からの前記反射光点の距離と、前記瞳孔上の前記基準点を通る軸からの前記反射光点の角度を決定するサブステップ（ｆ６）と、前記視線追跡システムが、全ての前記既定領域に対応する前記距離と前記角度を決定するまでこれらの処理を繰り返すサブステップ（ｆ７）と、前記視線追跡システムが、前記既定領域に対応する座標と、前記既定領域に対応する前記角度に基づいて、係数ａ０〜ａ５及びｂ０〜ｂ５を求めるサブステップ（ｆ８）と、を具備する。
【００１４】
前記係数ａ０〜ａ５及びｂ０〜ｂ５は、式ｕ＝ａ０＋ａ１ｘ＋ａ２ｙ＋ａ３ｘ２＋ａ４ｘｙ＋ａ５ｙ２、ｖ＝ｂ０＋ｂ１ｘ＋ｂ２ｙ＋ｂ３ｘ２＋ｂ４ｘｙ＋ｂ５ｙ２により求める。ここで、ｕ及びｖは前記既定領域の座標であり、ｘ及びｙはサブステップ（ｆ６）で決定された前記距離及び前記角度である。
視線追跡処理方法の前記ステップ（Ｅ）は、前記スクリーンモジュール上のカーソルを前記凝視点に移動させるサブステップを有する。
【００１５】
第２の発明は、画像取得モジュールと、スクリーンモジュールを接続した視線追跡システムであって、演算モジュールと、前記演算モジュールに接続される処理モジュールを具備し、前記演算モジュールは、ユーザが前記スクリーンモジュールを凝視し、光源がユーザの目に向かって光を発する間、前記画像取得モジュールより前記ユーザの目の画像を取得し、前記画像取得モジュールより取得した前記画像から、前記ユーザの目の瞳孔と、前記ユーザの目の反射光点を特定し、前記瞳孔上の基準点からの前記反射光点の距離と、前記瞳孔上の前記基準点を通る軸からの前記反射光点の角度を決定し、決定された前記距離及び前記角度と、前記スクリーンモジュール上の既定領域に基づいて得られた事前設定データセットに基づいて、凝視点を決定するように動作し、前記処理モジュールは、前記凝視点に関する処理を実行するように動作することを特徴とする視線追跡システムである。
【００１６】
第３の発明は、視線追跡システムに、ユーザが前記スクリーンモジュールを凝視し、光源がユーザの目に向かって光を発する間、前記ユーザの目の画像を取得するステップ（Ａ）と、前記ステップ（Ａ）で取得した前記画像から、前記ユーザの目の瞳孔と、前記ユーザの目の反射光点を特定するステップ（Ｂ）と、前記瞳孔上の基準点からの前記反射光点の距離と、前記瞳孔上の前記基準点を通る軸からの前記反射光点の角度を決定するステップ（Ｃ）と、前記ステップ（Ｃ）で決定した前記距離及び前記角度と、前記スクリーンモジュール上の既定領域に基づいて得られた事前設定データセットに基づいて、凝視点を決定するステップ（Ｄ）と、前記凝視点に関する処理を実行するステップ（Ｅ）と、を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００１７】
本発明により、ユーザのスクリーンモジュール上の凝視点を正確に判定可能な非侵入式視線追跡方法等を提供することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の画像取得モジュール１２及びスクリーンモジュール１４に接続された視線追跡システム１の概略ブロック図。
【図２】図１に示す本発明の視線追跡システム１に実装された視線追跡方法の第１の実施の形態を示すフローチャート。
【図３】瞳孔中央４１からの反射光点４２の距離と、瞳孔中央４１を通る垂直軸４３からの反射光点４２の角度θを示す概略図。
【図４】事前設定データセット１３３における候補点を表すグラフ。
【図５】視線追跡システム１により１６個の既定領域に分割されたスクリーンモジュール１４の概略を示す図。
【図６（ａ）】順次の態様で既定領域を示すスクリーンモジュール１４を示す概略図。
【図６（ｂ）】順次の態様で既定領域を示すスクリーンモジュール１４を示す概略図。
【図６（ｃ）】順次の態様で既定領域を示すスクリーンモジュール１４を示す概略図。
【図６（ｄ）】順次の態様で既定領域を示すスクリーンモジュール１４を示す概略図。
【図７】図１に示す本発明の視線追跡システム１に実装される視線追跡方法の第２の実施の形態を示すフローチャート。
【図８】視線追跡システム１により６個の既定領域に分割されたスクリーンモジュール１４の概略を示す図。
【発明を実施するための形態】
【００１９】
以下図面に基づいて、本発明に係る視線追跡方法の実施形態を詳細に説明する。なお、以下の説明及び図面において、略同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略することにする。
【００２０】
最初に、図１を参照しながら、本発明に係る視線追跡システム１（Ｅｙｅ−Ｔｒａｃｋｉｎｇ Ｓｙｓｔｅｍ）について説明する。
視線追跡システム１は、演算モジュール１３（ｃｏｍｐｕｔｉｎｇ ｍｏｄｕｌｅ）、処理モジュール（ｐｒｏｃｅｓｓｉｎｇ ｍｏｄｕｌｅ）１５を有する。
視線追跡システム１は、画像取得モジュール（ｉｍａｇｅ−ｃａｐｔｕｒｉｎｇ ｍｏｄｕｌｅ）１２及びスクリーンモジュール（ｓｃｒｅｅｎ ｍｏｄｕｌｅ）１４に接続される。
演算モジュール１３は、視線追跡システム１の学習で使用するデータ設定ユニット（ｄａｔａ−ｅｓｔａｂｌｉｓｈｉｎｇ ｕｎｉｔ）１３１、視線追跡システム１の実際のアプリケーション中で使用する凝視点決定ユニット（ｇａｚｉｎｇ ｐｏｉｎｔ−ｄｅｔｅｒｍｉｎｉｎｇ ｕｎｉｔ）１３２を有する。
【００２１】
次に、図２、３、４、５、６（ａ）、６（ｂ）、６（ｃ）、６（ｄ）を参照しながら、本発明に係る視線追跡システム１に実装される視線追跡方法の第１の実施の形態について説明する。
図２は、本発明の視線追跡システム１に実装された視線追跡方法の第１の実施の形態を示すフローチャート、図３は、瞳孔中央４１からの反射光点４２の距離と、瞳孔中央４１を通る垂直軸（ｖｅｒｔｉｃａｌ ａｘｉｓ）４３からの反射光点４２の角度θを示す概略図、図４は、事前設定データセット１３３における点５を表すグラフ、図５は、視線追跡システム１により１６個の既定領域に分割されたスクリーンモジュール１４の概略を示す図、図６（ａ）は、順次の態様で既定領域を示すスクリーンモジュール１４を示す概略図、図６（ｂ）は、順次の態様で既定領域を示すスクリーンモジュール１４を示す概略図、図６（ｃ）は、順次の態様で既定領域を示すスクリーンモジュール１４を示す概略図、図６（ｄ）は、順次の態様で既定領域を示すスクリーンモジュール１４を示す概略図である。
【００２２】
演算モジュール１３のデータ設定ユニット１３１は、事前設定データセット（ｐｒｅ−ｅｓｔａｂｌｉｓｈｅｄ ｓｅｔ ｏｆ ｄａｔａ）１３３を得る（ステップ２１）。
本実施の形態では、ステップ２１の処理は、以下のサブステップを有する。
サブステップ（ａ）では、演算モジュール１３のデータ設定ユニット１３１は、図５で示すように、スクリーンモジュール１４を４行４列に配置される１６個の既定領域（ｐｒｅｄｅｆｉｎｅｄ ｒｅｇｉｏｎｓ）ｒ１〜ｒ１６に分割する。
サブステップ（ｂ）では、演算モジュール１３のデータ設定ユニット１３１は、既定領域ｒ１〜ｒ１６の中の一つ、例えば、既定領域ｒ１を指し示す（見せる）ようにスクリーンモジュール１４を制御する。
サブステップ（ｃ）では、サブステップ（ｂ）で指し示された既定領域ｒ１をユーザが凝視し、光源（ｌｉｇｈｔ ｓｏｕｒｃｅ）１１がユーザの目４に向かって光を発する間、演算モジュール１３のデータ設定ユニット１３１は、画像取得モジュール１２により取得されたユーザの目４の画像４０１を獲得する。
【００２３】
サブステップ（ｄ）では、演算モジュール１３のデータ設定ユニット１３１は、サブステップ（ｃ）で獲得した画像４０１から瞳孔中央（ｃｅｎｔｅｒ ｏｆ ｐｕｐｉｌ）４１と目４上の反射光点（ｒｅｆｌｅｃｔｅｄ ｌｉｇｈｔ ｓｐｏｔ）４２を特定する。
本サブステップでは、瞳孔中央４１と反射光点４２の特定では、演算モジュール１３のデータ設定ユニット１３１は、瞳孔中央４１の座標と、反射光点４２の座標を特定する。また、本サブステップでは、瞳孔中央４１は、適応しきい値（ａｄａｐｔｉｖｅ ｔｈｒｅｓｈｏｌｄ）及び形態近接演算（ｍｏｒｐｈｏｌｏｇｙ ｃｌｏｓｅ ｃａｌｃｕｒａｔｉｏｎｓ）を用いて特定する。
【００２４】
サブステップ（ｅ）では、演算モジュール１３のデータ設定ユニット１３１は、瞳孔中央４１からの反射光点４２の距離ｄと、瞳孔中央４１を通る垂直軸４３からの反射光点４２の角度θを決定する。
本サブステップでは、瞳孔中央４１からの反射光点４２の距離ｄと、瞳孔中央４１を通る垂直軸４３からの反射光点４２の角度θは、次式により求める。ｘ１及びｙ１は瞳孔中央４１の座標、ｘ２及びｙ２は反射光点４２の座標である。
なお、求められた角度θが負、例えば−６０°の場合、角度θは補角（ａｎｇｌｅ ｓｕｐｐｌｅｍｅｎｔ）、例えば１２０°に変換される。
【００２５】
【数１】
【数２】
【００２６】
サブステップ（ｆ）では、演算モジュール１３のデータ設定ユニット１３１は、サブステップ（ｅ）で決定した距離ｄと角度θの座標である候補点（ｃａｎｄｉｄａｔｅ ｐｏｉｎｔ）、例えば候補点ｃ１を求める。なお、候補点ｃ１は、サブステップ（ｂ）で指し示しされた既定領域ｒ１に対応する。
【００２７】
サブステップ（ｇ）では、演算モジュール１３のデータ設定ユニット１３１は、図４に示すように既定領域ｒ１〜ｒ１６の全てに対応する候補点ｃ１〜ｃ１６が得られるまで、サブステップ（ｂ）〜（ｆ）の処理を繰り返す。
【００２８】
なお、ステップ２１では、既定領域ｒ１〜１６が図６（ａ）〜６（ｄ）に示すように既定領域ｒ１から開始する順次の態様で指し示される場合、既定領域ｒ１、ｒ２、ｒ３、ｒ４に対応する距離ｄはわずかに変化する。なお既定領域ｒ１、ｒ２、ｒ３、ｒ４に対応する角度θは大幅に変化する。更に、既定領域ｒ１に対応する距離ｄは既定領域ｒ５に対応する距離ｄよりも長くなり、既定領域ｒ５に対応する距離ｄは既定領域ｒ９に対応する距離ｄよりも長くなり、既定領域ｒ９に対応する距離ｄは既定領域ｒ１３に対応する距離ｄよりも長くなる。また更に、既定領域ｒ１、ｒ５、ｒ９、ｒ１３に対応する角度θは少し変化する。
【００２９】
ユーザがスクリーンモジュール１４を凝視し、光源１１がユーザの目４に向かって光を発している間、演算モジュール１３の凝視点決定ユニット１３２は、画像取得モジュール１２により取得したユーザの目４の画像４０１を獲得する（ステップ２２）。
演算モジュール１３の凝視点決定ユニット１３２は、ステップ２２で獲得した画像４０１から瞳孔中央４１と目４の反射光点４２を特定する（ステップ２３）。
演算モジュール１３の凝視点決定ユニット１３２は、瞳孔中央４１からの反射光点４２の距離ｄと、瞳孔中央４１を通る垂直軸４３からの反射光点４２の角度θを決定する（ステップ２４）。
【００３０】
演算モジュール１３の凝視点決定ユニット１３２は、ステップ２４で決定した距離ｄと角度θ、事前設定データセット１３３内の候補点ｃ１〜ｃ１６に基づいて凝視点（ｇａｚｉｎｇ ｐｏｉｎｔ）を決定する（ステップ２５）。
本実施の形態では、ステップ２５は、以下のサブステップを含む。
ステップ２４の処理で決定した距離ｄ及び角度θの座標を持つ図４の点５を定義する。
事前設定データセット１３３の中で点５から最小距離を持つ候補点ｃ１〜ｃ１６の中から一つの候補点、例えばｃ６、を見つける。
上述のように見つけた候補点ｃ６を凝視点とする。
好ましくは、最小距離を持つ候補点は、次式で定義される最小目的関数（ｍｉｎｉｍｕｍ ｏｂｊｅｃｔ ｆｕｎｃｔｉｏｎ）を用いて見つける。
ｗ１×｜ｘ１’−ｘ２’｜＋ｗ２×｜ｙ１’−ｙ２’｜
ここで、ｘ１’及びｙ１’は、事前設定データセット１３３内の候補点ｃ１〜ｃ１６の中の一つの座標、ｘ２’及びｙ２’は点５の座標、である。ｗ１は｜ｘ１’−ｘ２’｜に割り当てられる加重、ｗ２は｜ｙ１’−ｙ２’｜に割り当てられる加重である。
【００３１】
処理モジュール１５は、凝視点に関する処理を実行する（ステップ２６）。
このステップでは、処理モジュール１５は、スクリーンモジュール１４上のカーソル１０１を凝視点に移動させる。
【００３２】
以上の説明から、本実施形態の視線追跡方法が凝視点を決定する正確性を、
事前設定データセット１３３内の候補点数を単に増加させることにより、向上させることが可能であることが推測することができる。
【００３３】
次に、図７を参照しながら、本発明に係る視線追跡システム１に実装される視線追跡方法の第２の実施の形態について説明する。
図７は、本発明の視線追跡システム１に実装される視線追跡方法の第２の実施の形態を示すフローチャート、図８は、視線追跡システム１により６個の既定領域に分割されたスクリーンモジュール１４の概略を示す図である。
【００３４】
演算モジュール１３のデータ設定ユニット１３１は、事前設定データセットを得る（ステップ７１）。
ステップ７１の処理は、以下のサブステップを有する。
サブステップ（ｉ）では、図８に示すように、演算モジュール１３のデータ設定ユニット１３１は、スクリーンモジュール１４を６個の既定領域ｒ１〜ｒ６に分割する。
サブステップ（ｉｉ）では、演算モジュール１３のデータ設定ユニット１３１は、各既定領域ｒ１〜ｒ６に対応する座標を定義する。
サブステップ（ｉｉｉ）では、演算モジュール１３のデータ設定ユニット１３１は、既定領域ｒ１〜ｒ６の中の一つ、例えば、既定領域ｒ１を指し示す（見せる）ようにスクリーンモジュール１４を制御する。
【００３５】
サブステップ（ｉｖ）では、サブステップ（ｉｉｉ）で指し示された既定領域ｒ１をユーザが凝視し、光源１１がユーザの目４に向かって光を発する間、演算モジュール１３のデータ設定ユニット１３１は、画像取得モジュール１２により取得したユーザの目４の画像４０１を獲得する。
【００３６】
サブステップ（ｖ）では、演算モジュール１３のデータ設定ユニット１３１は、サブステップ（ｉｖ）で獲得した画像４０１から瞳孔中央４１と目４上の反射光点４２を特定する。
【００３７】
サブステップ（ｖｉ）では、演算モジュール１３のデータ設定ユニット１３１は、瞳孔中央４１からの反射光点４２の距離ｄと、瞳孔中央４１を通る垂直軸４３からの反射光点４２の角度θを決定する。
【００３８】
サブステップ（ｖｉｉ）では、演算モジュール１３のデータ設定ユニット１３１は、既定領域ｒ１〜ｒ６の全てに対応する距離ｄと角度θを決定するまで、サブステップ（ｉｉｉ）〜（ｖｉ）の処理を繰り返す。
【００３９】
サブステップ（ｖｉｉｉ）では、サブステップ（ｉｉ）で定義した既定領域ｒ〜ｒ６に対応する座標と、既定領域ｒ１〜ｒ６に対応する距離ｄと角度θに基づいて係数を求める。本サブステップでは、係数ａ０〜ａ５、ｂ０〜ｂ５は、次式を用いて求める。
ｕ＝ａ０＋ａ１ｘ＋ａ２ｙ＋ａ３ｘ２＋ａ４ｘｙ＋ａ５ｙ２
ｖ＝ｂ０＋ｂ１ｘ＋ｂ２ｙ＋ｂ３ｘ２＋ｂ４ｘｙ＋ｂ５ｙ２
ここで、ｕ、ｖは、サブステップ（ｉｉ）で定義した既定領域ｒ１〜ｒ６の一つの座標で、ｘ、ｙはそれぞれサブステップ（ｖｉ）で決定した距離ｄ、角度θである。
【００４０】
なお、ステップ７１において、スクリーンモジュール１４は６個の既定領域ｒ１〜ｒ６に分割されているため、６個の座標（ｕ１，ｖ１），（ｕ２，ｖ２），（ｕ３，ｖ３），（ｕ４，ｖ４），（ｕ５，ｖ５），（ｕ６，ｖ６）を定義することが可能で、６個の距離（ｄ１，ｄ２，ｄ３，ｄ４，ｄ５，ｄ６）と６個の角度（θ１，θ２，θ３，θ４，θ５，θ６）を決定することが可能である。距離（ｄ１，ｄ２，ｄ３，ｄ４，ｄ５，ｄ６）の一つと、角度（θ１，θ２，θ３，θ４，θ５，θ６）の一つに対応する各座標（ｕ１，ｖ１），（ｕ２，ｖ２），（ｕ３，ｖ３），（ｕ４，ｖ４），（ｕ５，ｖ５），（ｕ６，ｖ６）を上記の式に代入すると、１２個の方程式が導き出され、例えば、特異値分解（ｓｉｎｇｕｌａｒ ｖａｌｕｅ ｄｅｃｏｍｐｏｓｉｔｉｏｎ，ＳＶＤ）計算を用いて係数ａ０〜ａ５、ｂ０〜ｂ５が得られる。
【００４１】
ユーザがスクリーンモジュール１４を凝視し、光源１１がユーザの目４に向かって光を発している間、演算モジュール１３の凝視点決定ユニット１３２は画像取得モジュール１２により取得されたユーザの目４の画像４０１を獲得する（ステップ７２）。
演算モジュール１３の凝視点決定モジュール１３２は、ステップ７２で獲得した画像４０１から瞳孔中央４１と目４の反射光点４２を特定する（ステップ７３）。
演算モジュール１３の凝視点決定モジュール１３２は、瞳孔中央４１からの反射光点４２の距離ｄと、瞳孔中央４１を通る垂直軸４３からの反射光点４２の角度θを決定する（ステップ７４）。
【００４２】
演算モジュール１３の凝視点決定ユニット１３２は、ステップ７４で決定した距離ｄと角度θと、事前設定データセット内の係数ａ０〜ａ５、ｂ０〜ｂ５に基づいて凝視点を決定する（ステップ７５）。
ステップ７５の処理では、歪み補正技術（ｕｎｗａｒｐｉｎｇ ｔｅｃｈｎｉｑｕｅ）を用いて、次式により凝視点の座標（ｕ’，ｖ’）を計算する。
ｕ’＝ａ０＋ａ１ｘ’＋ａ２ｙ’＋ａ３ｘ’２＋ａ４ｘ’ｙ’＋ａ５ｙ’２
ｖ’＝ｂ０＋ｂ１ｘ’＋ｂ２ｙ’＋ｂ３ｘ’２＋ｂ４ｘ’ｙ’＋ｂ５ｙ’２
ここで、係数ａ０〜ａ５、ｂ０〜ｂ５は、事前設定データセット内の係数であり、ｘ’及びｙ’はそれぞれステップ７４で決定した距離ｄ及び角度θである。
【００４３】
処理モジュール１５は、凝視点に関する処理を実行する（ステップ７６）。
【００４４】
なお、この実施の形態で決定される凝視点の正確さは、第１の実施形態と実質的に同等である。
以上の説明より、事前設定データセットは、スクリーンモジュール１４を単純に６個の既定領域ｒ１〜ｒ６に分割することにより得られる。そのため、第２の実施の形態の視線追跡方法の事前設定データセットは、凝視点を決定する正確さを犠牲にすることなく、第１の実施の形態と比べてより容易に、また、より高速に得られる。
【００４５】
以上、添付図面を参照しながら、本発明に係る視線追跡方法等の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００４６】
１………視線追跡システム
４………目
５………点
１１………光源
１２………画像取得モジュール
１３………演算モジュール
１４………スクリーンモジュール
１５………処理モジュール
４１………瞳孔中央
４２………反射光点
４３………垂直軸
１０１………カーソル
１３１………データ設定ユニット
１３２………凝視点決定ユニット
１３３………事前設定データセット
４０１………画像
【技術分野】
【０００１】
本発明は、視線追跡方法、特に、非侵入式視線追跡方法に関するものである。
【背景技術】
【０００２】
従来の視線追跡技術では、ユーザはインダクタ（ｉｎｄｕｃｔａｎｃｅ ｃｏｉｌ）が取り付けられたコンタクトレンズを装着する。ユーザが目を動かすとインダクタが動き、磁束に変化が発生し、ユーザの目の方向を判定する起電力が発生する。しかしながら、ユーザが装着した時に、コンタクトレンズがユーザの目を刺激する。更に、ユーザが装着した時に、コンタクトレンズは二つの層を有するため、ユーザの視力を弱める。
【０００３】
また、他の従来の視線追跡技術では、電圧を検出する電極がユーザの目の周囲に取り付けられ、電圧を検出するという方法がある。ユーザが目を動かすと、検出した電圧内で変化が発生し、ユーザの目の方向が判定される。しかしながら、ユーザの目の周囲に電極を取り付けると、電極はユーザにとって不快である。更に、ユーザの皮膚からの分泌物が検出される電圧に影響を与えるため、この技術により判定される目の方向は正確ではない。更に、比較的小さい電圧変化をこの従来技術により検出することはできない。
【０００４】
上記の問題を解決するため、非侵入式視線追跡技術が提案されている。非侵入式視線追跡技術の一つとして特許文献１では、ユーザはカメラを取り付けた眼鏡あるいはヘルメットを装着する方法が開示されている。
また、他の非侵入式視線追跡技術の一つとして特許文献２では、二つのＣＣＤ（Ｃｈａｒｇｅｄ−ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）カメラを用いた方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許第６，３７３，９６１号公報
【特許文献２】米国特許第６，５７８，９６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に示す方法では、ユーザが目に対してカメラの位置を保持することが要求され、ユーザ側に不便をもたらす。
また、特許文献２に示す方法では、計算が複雑となり、ソフトウエア及びハードウエアを実装するための費用が高くなってしまう。
【０００７】
本発明は、前述した問題点に鑑みてなされたもので、その目的とすることは、ユーザのスクリーンモジュール上の凝視点を正確に判定可能な非侵入式視線追跡方法等を提供することである。
【課題を解決するための手段】
【０００８】
前述した目的を達成するために、第１の発明は、視線追跡システムに実装される視線追跡方法であって、ユーザがスクリーンモジュールを凝視し、光源が前記ユーザの目に向かって光を発する間、前記視線追跡システムが、画像取得モジュールにより前記ユーザの目の画像を取得するステップ（Ａ）と、前記視線追跡システムが、前記ステップ（Ａ）で取得した前記画像から、前記ユーザの目の瞳孔と、前記ユーザの目の反射光点を特定するステップ（Ｂ）と、前記視線追跡システムが、前記瞳孔上の基準点からの前記反射光点の距離と、前記瞳孔上の前記基準点を通る軸からの前記反射光点の角度を決定するステップ（Ｃ）と、前記視線追跡システムが、前記ステップ（Ｃ）で決定された前記距離と前記角度と、前記スクリーンモジュール上の既定領域に基づいて得られた事前設定データセットに基づいて、凝視点を決定するステップ（Ｄ）と、前記視線追跡システムが、前記凝視点に関する処理を実行するステップ（Ｅ）と、を具備することを特徴とする視線追跡方法である。
【０００９】
前記事前設定データセットは、複数の候補点を有し、それぞれの前記候補点はそれぞれ前記既定領域の一つに対応し、かつ座標により定義され、前記ステップ（Ｄ）が、前記視線追跡システムが、その座標が前記ステップ（Ｃ）で決定された前記距離及び前記角度である点を定義するサブステップ（ｄ１）と、前記視線追跡システムが、前記事前設定データセットの中から、前記サブステップ（ｄ１）で定義された前記点からの距離が最小となる前記候補点の一つを見つけるサブステップ（ｄ２）と、前記視線追跡システムが、前記サブステップ（ｄ２）で見つけた前記候補点を凝視点とみなすサブステップ（ｄ３）と、を具備する。
【００１０】
前記サブステップ（ｄ２）は、式ｗ１×｜ｘ１’−ｘ２’｜＋ｗ２×｜ｙ１’−ｙ２’｜で定義される最小目的関数を用いて実行される。ここで、ｘ１’及びｙ１’は前記事前設定データセット内の前記候補点のうちの一つの座標であり、ｘ２’及びｙ２’は前記サブステップ（ｄ１）で定義された前記点の座標であり、ｗ１は｜ｘ１’−ｘ２’｜に割り当てられる加重であり、ｗ２は｜ｙ１’−ｙ２’｜に割り当てられる加重である。
【００１１】
視線追跡方法は、前記ステップ（Ａ）の前に、更に、前記事前設定データセットを求めるステップ（Ｆ）を具備する。
前記ステップ（Ｆ）は、前記視線追跡システムが、前記スクリーンモジュールを前記既定領域に分割するサブステップ（ｆ１）と、前記視線追跡システムが、前記スクリーンモジュールが前記既定領域の中の一つを指し示すように制御するサブステップ（ｆ２）と、前記ユーザが前記サブステップ（ｆ２）で指し示された前記既定領域を凝視し、前記光源が前記ユーザの目に向かって光を発する間、前記視線追跡システムが、前記画像取得モジュールにより前記ユーザの目の画像を取得するサブステップ（ｆ３）と、前記視線追跡システムが、前記サブステップ（ｆ３）で取得された前記画像から瞳孔と、前記ユーザの目の反射光点を特定するサブステップ（ｆ４）と、前記視線追跡システムが、前記瞳孔上の基準点からの前記反射光点の距離と、前記瞳孔上の前記基準点を通る軸からの前記反射光点の角度を決定するサブステップ（ｆ５）と、前記視線追跡システムが、サブステップ（ｆ２）で指し示された前記既定領域と対応し、その座標がサブステップ（ｆ５）で決定された前記距離及び前記角度である候補点を求めるサブステップ（ｆ６）と、前記視線追跡システムが、全ての前記既定領域に対応する前記候補点を求めるまでこれらの処理を繰り返すサブステップ（ｆ７）を具備する。
【００１２】
視線追跡方法の前記ステップ（Ｄ）は、歪み補正技術を用いて実行される。
前記事前データセットが複数の係数（ａ０〜ａ５、ｂ０〜ｂ５）を有し、前記ステップ（Ｄ）は、前記凝視点の座標（ｕ’，ｖ’）を式ｕ’＝ａ０＋ａ１ｘ’＋ａ２ｙ’＋ａ３ｘ’２＋ａ４ｘ’ｙ’＋ａ５ｙ’２、ｖ’＝ｂ０＋ｂ１ｘ’＋ｂ２ｙ’＋ｂ３ｘ’２＋ｂ４ｘ’ｙ’＋ｂ５ｙ’２を用いて計算する歪み補正技術を用いて実行される。ここで、ａ０〜ａ５及びｂ０〜ｂ５は事前設定データセット内の係数であり、ｘ’及びｙ’は前記ステップ（Ｃ）で決定された前記距離及び前記角度である。
【００１３】
視線追跡方法は、前記ユーザの目の画像を取得するステップの前に、更に、前記事前設定データセットを求めるステップ（Ｆ）を具備する。
前記ステップ（Ｆ）は、前記視線追跡システムが、前記スクリーンモジュールを前記既定領域に分割するサブステップ（ｆ１）と、前記視線追跡システムが、前記既定領域にそれぞれ対応する座標を定義するサブステップ（ｆ２）と、前記視線追跡システムが、前記スクリーンモジュールが一つの前記既定領域を指し示すように制御するサブステップ（ｆ３）と、前記ユーザが前記サブステップ（ｆ３）で指し示された前記既定領域を凝視し、前記光源が前記ユーザの目に向かって光を発する間、前記視線追跡システムが、前記画像取得モジュールにより前記ユーザの目の画像を取得するサブステップ（ｆ４）と、前記視線追跡システムが、前記サブステップ（ｆ３）で取得された前記画像から瞳孔と、前記ユーザの目の反射光点を特定するサブステップ（ｆ５）と、前記視線追跡システムが、前記サブステップ（ｆ３）で指し示された前記既定領域と対応する、前記瞳孔上の基準点からの前記反射光点の距離と、前記瞳孔上の前記基準点を通る軸からの前記反射光点の角度を決定するサブステップ（ｆ６）と、前記視線追跡システムが、全ての前記既定領域に対応する前記距離と前記角度を決定するまでこれらの処理を繰り返すサブステップ（ｆ７）と、前記視線追跡システムが、前記既定領域に対応する座標と、前記既定領域に対応する前記角度に基づいて、係数ａ０〜ａ５及びｂ０〜ｂ５を求めるサブステップ（ｆ８）と、を具備する。
【００１４】
前記係数ａ０〜ａ５及びｂ０〜ｂ５は、式ｕ＝ａ０＋ａ１ｘ＋ａ２ｙ＋ａ３ｘ２＋ａ４ｘｙ＋ａ５ｙ２、ｖ＝ｂ０＋ｂ１ｘ＋ｂ２ｙ＋ｂ３ｘ２＋ｂ４ｘｙ＋ｂ５ｙ２により求める。ここで、ｕ及びｖは前記既定領域の座標であり、ｘ及びｙはサブステップ（ｆ６）で決定された前記距離及び前記角度である。
視線追跡処理方法の前記ステップ（Ｅ）は、前記スクリーンモジュール上のカーソルを前記凝視点に移動させるサブステップを有する。
【００１５】
第２の発明は、画像取得モジュールと、スクリーンモジュールを接続した視線追跡システムであって、演算モジュールと、前記演算モジュールに接続される処理モジュールを具備し、前記演算モジュールは、ユーザが前記スクリーンモジュールを凝視し、光源がユーザの目に向かって光を発する間、前記画像取得モジュールより前記ユーザの目の画像を取得し、前記画像取得モジュールより取得した前記画像から、前記ユーザの目の瞳孔と、前記ユーザの目の反射光点を特定し、前記瞳孔上の基準点からの前記反射光点の距離と、前記瞳孔上の前記基準点を通る軸からの前記反射光点の角度を決定し、決定された前記距離及び前記角度と、前記スクリーンモジュール上の既定領域に基づいて得られた事前設定データセットに基づいて、凝視点を決定するように動作し、前記処理モジュールは、前記凝視点に関する処理を実行するように動作することを特徴とする視線追跡システムである。
【００１６】
第３の発明は、視線追跡システムに、ユーザが前記スクリーンモジュールを凝視し、光源がユーザの目に向かって光を発する間、前記ユーザの目の画像を取得するステップ（Ａ）と、前記ステップ（Ａ）で取得した前記画像から、前記ユーザの目の瞳孔と、前記ユーザの目の反射光点を特定するステップ（Ｂ）と、前記瞳孔上の基準点からの前記反射光点の距離と、前記瞳孔上の前記基準点を通る軸からの前記反射光点の角度を決定するステップ（Ｃ）と、前記ステップ（Ｃ）で決定した前記距離及び前記角度と、前記スクリーンモジュール上の既定領域に基づいて得られた事前設定データセットに基づいて、凝視点を決定するステップ（Ｄ）と、前記凝視点に関する処理を実行するステップ（Ｅ）と、を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００１７】
本発明により、ユーザのスクリーンモジュール上の凝視点を正確に判定可能な非侵入式視線追跡方法等を提供することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の画像取得モジュール１２及びスクリーンモジュール１４に接続された視線追跡システム１の概略ブロック図。
【図２】図１に示す本発明の視線追跡システム１に実装された視線追跡方法の第１の実施の形態を示すフローチャート。
【図３】瞳孔中央４１からの反射光点４２の距離と、瞳孔中央４１を通る垂直軸４３からの反射光点４２の角度θを示す概略図。
【図４】事前設定データセット１３３における候補点を表すグラフ。
【図５】視線追跡システム１により１６個の既定領域に分割されたスクリーンモジュール１４の概略を示す図。
【図６（ａ）】順次の態様で既定領域を示すスクリーンモジュール１４を示す概略図。
【図６（ｂ）】順次の態様で既定領域を示すスクリーンモジュール１４を示す概略図。
【図６（ｃ）】順次の態様で既定領域を示すスクリーンモジュール１４を示す概略図。
【図６（ｄ）】順次の態様で既定領域を示すスクリーンモジュール１４を示す概略図。
【図７】図１に示す本発明の視線追跡システム１に実装される視線追跡方法の第２の実施の形態を示すフローチャート。
【図８】視線追跡システム１により６個の既定領域に分割されたスクリーンモジュール１４の概略を示す図。
【発明を実施するための形態】
【００１９】
以下図面に基づいて、本発明に係る視線追跡方法の実施形態を詳細に説明する。なお、以下の説明及び図面において、略同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略することにする。
【００２０】
最初に、図１を参照しながら、本発明に係る視線追跡システム１（Ｅｙｅ−Ｔｒａｃｋｉｎｇ Ｓｙｓｔｅｍ）について説明する。
視線追跡システム１は、演算モジュール１３（ｃｏｍｐｕｔｉｎｇ ｍｏｄｕｌｅ）、処理モジュール（ｐｒｏｃｅｓｓｉｎｇ ｍｏｄｕｌｅ）１５を有する。
視線追跡システム１は、画像取得モジュール（ｉｍａｇｅ−ｃａｐｔｕｒｉｎｇ ｍｏｄｕｌｅ）１２及びスクリーンモジュール（ｓｃｒｅｅｎ ｍｏｄｕｌｅ）１４に接続される。
演算モジュール１３は、視線追跡システム１の学習で使用するデータ設定ユニット（ｄａｔａ−ｅｓｔａｂｌｉｓｈｉｎｇ ｕｎｉｔ）１３１、視線追跡システム１の実際のアプリケーション中で使用する凝視点決定ユニット（ｇａｚｉｎｇ ｐｏｉｎｔ−ｄｅｔｅｒｍｉｎｉｎｇ ｕｎｉｔ）１３２を有する。
【００２１】
次に、図２、３、４、５、６（ａ）、６（ｂ）、６（ｃ）、６（ｄ）を参照しながら、本発明に係る視線追跡システム１に実装される視線追跡方法の第１の実施の形態について説明する。
図２は、本発明の視線追跡システム１に実装された視線追跡方法の第１の実施の形態を示すフローチャート、図３は、瞳孔中央４１からの反射光点４２の距離と、瞳孔中央４１を通る垂直軸（ｖｅｒｔｉｃａｌ ａｘｉｓ）４３からの反射光点４２の角度θを示す概略図、図４は、事前設定データセット１３３における点５を表すグラフ、図５は、視線追跡システム１により１６個の既定領域に分割されたスクリーンモジュール１４の概略を示す図、図６（ａ）は、順次の態様で既定領域を示すスクリーンモジュール１４を示す概略図、図６（ｂ）は、順次の態様で既定領域を示すスクリーンモジュール１４を示す概略図、図６（ｃ）は、順次の態様で既定領域を示すスクリーンモジュール１４を示す概略図、図６（ｄ）は、順次の態様で既定領域を示すスクリーンモジュール１４を示す概略図である。
【００２２】
演算モジュール１３のデータ設定ユニット１３１は、事前設定データセット（ｐｒｅ−ｅｓｔａｂｌｉｓｈｅｄ ｓｅｔ ｏｆ ｄａｔａ）１３３を得る（ステップ２１）。
本実施の形態では、ステップ２１の処理は、以下のサブステップを有する。
サブステップ（ａ）では、演算モジュール１３のデータ設定ユニット１３１は、図５で示すように、スクリーンモジュール１４を４行４列に配置される１６個の既定領域（ｐｒｅｄｅｆｉｎｅｄ ｒｅｇｉｏｎｓ）ｒ１〜ｒ１６に分割する。
サブステップ（ｂ）では、演算モジュール１３のデータ設定ユニット１３１は、既定領域ｒ１〜ｒ１６の中の一つ、例えば、既定領域ｒ１を指し示す（見せる）ようにスクリーンモジュール１４を制御する。
サブステップ（ｃ）では、サブステップ（ｂ）で指し示された既定領域ｒ１をユーザが凝視し、光源（ｌｉｇｈｔ ｓｏｕｒｃｅ）１１がユーザの目４に向かって光を発する間、演算モジュール１３のデータ設定ユニット１３１は、画像取得モジュール１２により取得されたユーザの目４の画像４０１を獲得する。
【００２３】
サブステップ（ｄ）では、演算モジュール１３のデータ設定ユニット１３１は、サブステップ（ｃ）で獲得した画像４０１から瞳孔中央（ｃｅｎｔｅｒ ｏｆ ｐｕｐｉｌ）４１と目４上の反射光点（ｒｅｆｌｅｃｔｅｄ ｌｉｇｈｔ ｓｐｏｔ）４２を特定する。
本サブステップでは、瞳孔中央４１と反射光点４２の特定では、演算モジュール１３のデータ設定ユニット１３１は、瞳孔中央４１の座標と、反射光点４２の座標を特定する。また、本サブステップでは、瞳孔中央４１は、適応しきい値（ａｄａｐｔｉｖｅ ｔｈｒｅｓｈｏｌｄ）及び形態近接演算（ｍｏｒｐｈｏｌｏｇｙ ｃｌｏｓｅ ｃａｌｃｕｒａｔｉｏｎｓ）を用いて特定する。
【００２４】
サブステップ（ｅ）では、演算モジュール１３のデータ設定ユニット１３１は、瞳孔中央４１からの反射光点４２の距離ｄと、瞳孔中央４１を通る垂直軸４３からの反射光点４２の角度θを決定する。
本サブステップでは、瞳孔中央４１からの反射光点４２の距離ｄと、瞳孔中央４１を通る垂直軸４３からの反射光点４２の角度θは、次式により求める。ｘ１及びｙ１は瞳孔中央４１の座標、ｘ２及びｙ２は反射光点４２の座標である。
なお、求められた角度θが負、例えば−６０°の場合、角度θは補角（ａｎｇｌｅ ｓｕｐｐｌｅｍｅｎｔ）、例えば１２０°に変換される。
【００２５】
【数１】
【数２】
【００２６】
サブステップ（ｆ）では、演算モジュール１３のデータ設定ユニット１３１は、サブステップ（ｅ）で決定した距離ｄと角度θの座標である候補点（ｃａｎｄｉｄａｔｅ ｐｏｉｎｔ）、例えば候補点ｃ１を求める。なお、候補点ｃ１は、サブステップ（ｂ）で指し示しされた既定領域ｒ１に対応する。
【００２７】
サブステップ（ｇ）では、演算モジュール１３のデータ設定ユニット１３１は、図４に示すように既定領域ｒ１〜ｒ１６の全てに対応する候補点ｃ１〜ｃ１６が得られるまで、サブステップ（ｂ）〜（ｆ）の処理を繰り返す。
【００２８】
なお、ステップ２１では、既定領域ｒ１〜１６が図６（ａ）〜６（ｄ）に示すように既定領域ｒ１から開始する順次の態様で指し示される場合、既定領域ｒ１、ｒ２、ｒ３、ｒ４に対応する距離ｄはわずかに変化する。なお既定領域ｒ１、ｒ２、ｒ３、ｒ４に対応する角度θは大幅に変化する。更に、既定領域ｒ１に対応する距離ｄは既定領域ｒ５に対応する距離ｄよりも長くなり、既定領域ｒ５に対応する距離ｄは既定領域ｒ９に対応する距離ｄよりも長くなり、既定領域ｒ９に対応する距離ｄは既定領域ｒ１３に対応する距離ｄよりも長くなる。また更に、既定領域ｒ１、ｒ５、ｒ９、ｒ１３に対応する角度θは少し変化する。
【００２９】
ユーザがスクリーンモジュール１４を凝視し、光源１１がユーザの目４に向かって光を発している間、演算モジュール１３の凝視点決定ユニット１３２は、画像取得モジュール１２により取得したユーザの目４の画像４０１を獲得する（ステップ２２）。
演算モジュール１３の凝視点決定ユニット１３２は、ステップ２２で獲得した画像４０１から瞳孔中央４１と目４の反射光点４２を特定する（ステップ２３）。
演算モジュール１３の凝視点決定ユニット１３２は、瞳孔中央４１からの反射光点４２の距離ｄと、瞳孔中央４１を通る垂直軸４３からの反射光点４２の角度θを決定する（ステップ２４）。
【００３０】
演算モジュール１３の凝視点決定ユニット１３２は、ステップ２４で決定した距離ｄと角度θ、事前設定データセット１３３内の候補点ｃ１〜ｃ１６に基づいて凝視点（ｇａｚｉｎｇ ｐｏｉｎｔ）を決定する（ステップ２５）。
本実施の形態では、ステップ２５は、以下のサブステップを含む。
ステップ２４の処理で決定した距離ｄ及び角度θの座標を持つ図４の点５を定義する。
事前設定データセット１３３の中で点５から最小距離を持つ候補点ｃ１〜ｃ１６の中から一つの候補点、例えばｃ６、を見つける。
上述のように見つけた候補点ｃ６を凝視点とする。
好ましくは、最小距離を持つ候補点は、次式で定義される最小目的関数（ｍｉｎｉｍｕｍ ｏｂｊｅｃｔ ｆｕｎｃｔｉｏｎ）を用いて見つける。
ｗ１×｜ｘ１’−ｘ２’｜＋ｗ２×｜ｙ１’−ｙ２’｜
ここで、ｘ１’及びｙ１’は、事前設定データセット１３３内の候補点ｃ１〜ｃ１６の中の一つの座標、ｘ２’及びｙ２’は点５の座標、である。ｗ１は｜ｘ１’−ｘ２’｜に割り当てられる加重、ｗ２は｜ｙ１’−ｙ２’｜に割り当てられる加重である。
【００３１】
処理モジュール１５は、凝視点に関する処理を実行する（ステップ２６）。
このステップでは、処理モジュール１５は、スクリーンモジュール１４上のカーソル１０１を凝視点に移動させる。
【００３２】
以上の説明から、本実施形態の視線追跡方法が凝視点を決定する正確性を、
事前設定データセット１３３内の候補点数を単に増加させることにより、向上させることが可能であることが推測することができる。
【００３３】
次に、図７を参照しながら、本発明に係る視線追跡システム１に実装される視線追跡方法の第２の実施の形態について説明する。
図７は、本発明の視線追跡システム１に実装される視線追跡方法の第２の実施の形態を示すフローチャート、図８は、視線追跡システム１により６個の既定領域に分割されたスクリーンモジュール１４の概略を示す図である。
【００３４】
演算モジュール１３のデータ設定ユニット１３１は、事前設定データセットを得る（ステップ７１）。
ステップ７１の処理は、以下のサブステップを有する。
サブステップ（ｉ）では、図８に示すように、演算モジュール１３のデータ設定ユニット１３１は、スクリーンモジュール１４を６個の既定領域ｒ１〜ｒ６に分割する。
サブステップ（ｉｉ）では、演算モジュール１３のデータ設定ユニット１３１は、各既定領域ｒ１〜ｒ６に対応する座標を定義する。
サブステップ（ｉｉｉ）では、演算モジュール１３のデータ設定ユニット１３１は、既定領域ｒ１〜ｒ６の中の一つ、例えば、既定領域ｒ１を指し示す（見せる）ようにスクリーンモジュール１４を制御する。
【００３５】
サブステップ（ｉｖ）では、サブステップ（ｉｉｉ）で指し示された既定領域ｒ１をユーザが凝視し、光源１１がユーザの目４に向かって光を発する間、演算モジュール１３のデータ設定ユニット１３１は、画像取得モジュール１２により取得したユーザの目４の画像４０１を獲得する。
【００３６】
サブステップ（ｖ）では、演算モジュール１３のデータ設定ユニット１３１は、サブステップ（ｉｖ）で獲得した画像４０１から瞳孔中央４１と目４上の反射光点４２を特定する。
【００３７】
サブステップ（ｖｉ）では、演算モジュール１３のデータ設定ユニット１３１は、瞳孔中央４１からの反射光点４２の距離ｄと、瞳孔中央４１を通る垂直軸４３からの反射光点４２の角度θを決定する。
【００３８】
サブステップ（ｖｉｉ）では、演算モジュール１３のデータ設定ユニット１３１は、既定領域ｒ１〜ｒ６の全てに対応する距離ｄと角度θを決定するまで、サブステップ（ｉｉｉ）〜（ｖｉ）の処理を繰り返す。
【００３９】
サブステップ（ｖｉｉｉ）では、サブステップ（ｉｉ）で定義した既定領域ｒ〜ｒ６に対応する座標と、既定領域ｒ１〜ｒ６に対応する距離ｄと角度θに基づいて係数を求める。本サブステップでは、係数ａ０〜ａ５、ｂ０〜ｂ５は、次式を用いて求める。
ｕ＝ａ０＋ａ１ｘ＋ａ２ｙ＋ａ３ｘ２＋ａ４ｘｙ＋ａ５ｙ２
ｖ＝ｂ０＋ｂ１ｘ＋ｂ２ｙ＋ｂ３ｘ２＋ｂ４ｘｙ＋ｂ５ｙ２
ここで、ｕ、ｖは、サブステップ（ｉｉ）で定義した既定領域ｒ１〜ｒ６の一つの座標で、ｘ、ｙはそれぞれサブステップ（ｖｉ）で決定した距離ｄ、角度θである。
【００４０】
なお、ステップ７１において、スクリーンモジュール１４は６個の既定領域ｒ１〜ｒ６に分割されているため、６個の座標（ｕ１，ｖ１），（ｕ２，ｖ２），（ｕ３，ｖ３），（ｕ４，ｖ４），（ｕ５，ｖ５），（ｕ６，ｖ６）を定義することが可能で、６個の距離（ｄ１，ｄ２，ｄ３，ｄ４，ｄ５，ｄ６）と６個の角度（θ１，θ２，θ３，θ４，θ５，θ６）を決定することが可能である。距離（ｄ１，ｄ２，ｄ３，ｄ４，ｄ５，ｄ６）の一つと、角度（θ１，θ２，θ３，θ４，θ５，θ６）の一つに対応する各座標（ｕ１，ｖ１），（ｕ２，ｖ２），（ｕ３，ｖ３），（ｕ４，ｖ４），（ｕ５，ｖ５），（ｕ６，ｖ６）を上記の式に代入すると、１２個の方程式が導き出され、例えば、特異値分解（ｓｉｎｇｕｌａｒ ｖａｌｕｅ ｄｅｃｏｍｐｏｓｉｔｉｏｎ，ＳＶＤ）計算を用いて係数ａ０〜ａ５、ｂ０〜ｂ５が得られる。
【００４１】
ユーザがスクリーンモジュール１４を凝視し、光源１１がユーザの目４に向かって光を発している間、演算モジュール１３の凝視点決定ユニット１３２は画像取得モジュール１２により取得されたユーザの目４の画像４０１を獲得する（ステップ７２）。
演算モジュール１３の凝視点決定モジュール１３２は、ステップ７２で獲得した画像４０１から瞳孔中央４１と目４の反射光点４２を特定する（ステップ７３）。
演算モジュール１３の凝視点決定モジュール１３２は、瞳孔中央４１からの反射光点４２の距離ｄと、瞳孔中央４１を通る垂直軸４３からの反射光点４２の角度θを決定する（ステップ７４）。
【００４２】
演算モジュール１３の凝視点決定ユニット１３２は、ステップ７４で決定した距離ｄと角度θと、事前設定データセット内の係数ａ０〜ａ５、ｂ０〜ｂ５に基づいて凝視点を決定する（ステップ７５）。
ステップ７５の処理では、歪み補正技術（ｕｎｗａｒｐｉｎｇ ｔｅｃｈｎｉｑｕｅ）を用いて、次式により凝視点の座標（ｕ’，ｖ’）を計算する。
ｕ’＝ａ０＋ａ１ｘ’＋ａ２ｙ’＋ａ３ｘ’２＋ａ４ｘ’ｙ’＋ａ５ｙ’２
ｖ’＝ｂ０＋ｂ１ｘ’＋ｂ２ｙ’＋ｂ３ｘ’２＋ｂ４ｘ’ｙ’＋ｂ５ｙ’２
ここで、係数ａ０〜ａ５、ｂ０〜ｂ５は、事前設定データセット内の係数であり、ｘ’及びｙ’はそれぞれステップ７４で決定した距離ｄ及び角度θである。
【００４３】
処理モジュール１５は、凝視点に関する処理を実行する（ステップ７６）。
【００４４】
なお、この実施の形態で決定される凝視点の正確さは、第１の実施形態と実質的に同等である。
以上の説明より、事前設定データセットは、スクリーンモジュール１４を単純に６個の既定領域ｒ１〜ｒ６に分割することにより得られる。そのため、第２の実施の形態の視線追跡方法の事前設定データセットは、凝視点を決定する正確さを犠牲にすることなく、第１の実施の形態と比べてより容易に、また、より高速に得られる。
【００４５】
以上、添付図面を参照しながら、本発明に係る視線追跡方法等の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００４６】
１………視線追跡システム
４………目
５………点
１１………光源
１２………画像取得モジュール
１３………演算モジュール
１４………スクリーンモジュール
１５………処理モジュール
４１………瞳孔中央
４２………反射光点
４３………垂直軸
１０１………カーソル
１３１………データ設定ユニット
１３２………凝視点決定ユニット
１３３………事前設定データセット
４０１………画像
【特許請求の範囲】
【請求項１】
視線追跡システムに実装される視線追跡方法であって、
ユーザがスクリーンモジュールを凝視し、光源が前記ユーザの目に向かって光を発する間、前記視線追跡システムが、画像取得モジュールにより前記ユーザの目の画像を取得するステップ（Ａ）と、
前記視線追跡システムが、前記ステップ（Ａ）で取得した前記画像から、前記ユーザの目の瞳孔と、前記ユーザの目の反射光点を特定するステップ（Ｂ）と、
前記視線追跡システムが、前記瞳孔上の基準点からの前記反射光点の距離と、前記瞳孔上の前記基準点を通る軸からの前記反射光点の角度を決定するステップ（Ｃ）と、
前記視線追跡システムが、前記ステップ（Ｃ）で決定された前記距離と前記角度と、前記スクリーンモジュール上の既定領域に基づいて得られた事前設定データセットに基づいて、凝視点を決定するステップ（Ｄ）と、
前記視線追跡システムが、前記凝視点に関する処理を実行するステップ（Ｅ）と、
を具備することを特徴とする視線追跡方法。
【請求項２】
前記事前設定データセットは、複数の候補点を有し、
それぞれの前記候補点はそれぞれ前記既定領域の一つに対応し、かつ座標により定義され、
前記ステップ（Ｄ）が、
前記視線追跡システムが、その座標が前記ステップ（Ｃ）で決定された前記距離及び前記角度である点を定義するサブステップ（ｄ１）と、
前記視線追跡システムが、前記事前設定データセットの中から、前記サブステップ（ｄ１）で定義された前記点からの距離が最小となる前記候補点の一つを見つけるサブステップ（ｄ２）と、
前記視線追跡システムが、前記サブステップ（ｄ２）で見つけた前記候補点を凝視点とみなすサブステップ（ｄ３）と、
を具備することを特徴とする請求項１記載の視線追跡方法。
【請求項３】
前記サブステップ（ｄ２）は、次式で定義される最小目的関数を用いて実行されることを特徴とする請求項２記載の視線追跡方法。
ｗ１×｜ｘ１’−ｘ２’｜＋ｗ２×｜ｙ１’−ｙ２’｜
ここで、ｘ１’及びｙ１’は前記事前設定データセット内の前記候補点のうちの一つの座標であり、ｘ２’及びｙ２’は前記サブステップ（ｄ１）で定義された前記点の座標であり、ｗ１は｜ｘ１’−ｘ２’｜に割り当てられる加重であり、ｗ２は｜ｙ１’−ｙ２’｜に割り当てられる加重である。
【請求項４】
前記ステップ（Ａ）の前に、更に、前記事前設定データセットを求めるステップ（Ｆ）を具備することを特徴とする請求項２記載の視線追跡方法。
【請求項５】
前記ステップ（Ｆ）は、
前記視線追跡システムが、前記スクリーンモジュールを前記既定領域に分割するサブステップ（ｆ１）と、
前記視線追跡システムが、前記スクリーンモジュールが前記既定領域の中の一つを指し示すように制御するサブステップ（ｆ２）と、
前記ユーザが前記サブステップ（ｆ２）で指し示された前記既定領域を凝視し、前記光源が前記ユーザの目に向かって光を発する間、前記視線追跡システムが、前記画像取得モジュールにより前記ユーザの目の画像を取得するサブステップ（ｆ３）と、
前記視線追跡システムが、前記サブステップ（ｆ３）で取得された前記画像から瞳孔と、前記ユーザの目の反射光点を特定するサブステップ（ｆ４）と、
前記視線追跡システムが、前記瞳孔上の基準点からの前記反射光点の距離と、前記瞳孔上の前記基準点を通る軸からの前記反射光点の角度を決定するサブステップ（ｆ５）と、
前記視線追跡システムが、サブステップ（ｆ２）で指し示された前記既定領域と対応し、その座標がサブステップ（ｆ５）で決定された前記距離及び前記角度である候補点を求めるサブステップ（ｆ６）と、
前記視線追跡システムが、全ての前記既定領域に対応する前記候補点を求めるまでこれらの処理を繰り返すサブステップ（ｆ７）
を具備することを特徴とする請求項４記載の視線追跡方法。
【請求項６】
前記ステップ（Ｄ）は、歪み補正技術を用いて実行されることを特徴とする請求項１記載の視線追跡方法。
【請求項７】
前記事前データセットが複数の係数（ａ０〜ａ５、ｂ０〜ｂ５）を有し、前記ステップ（Ｄ）は、前記凝視点の座標（ｕ’，ｖ’）を次式を用いて計算する歪み補正技術を用いて実行されることを特徴とする請求項１記載の視線追跡方法。
ｕ’＝ａ０＋ａ１ｘ’＋ａ２ｙ’＋ａ３ｘ’２＋ａ４ｘ’ｙ’＋ａ５ｙ’２
ｖ’＝ｂ０＋ｂ１ｘ’＋ｂ２ｙ’＋ｂ３ｘ’２＋ｂ４ｘ’ｙ’＋ｂ５ｙ’２
ここで、ａ０〜ａ５及びｂ０〜ｂ５は事前設定データセット内の係数であり、ｘ’及びｙ’は前記ステップ（Ｃ）で決定された前記距離及び前記角度である。
【請求項８】
前記ユーザの目の画像を取得するステップの前に、更に、前記事前設定データセットを求めるステップ（Ｆ）を具備することを特徴とする請求項６記載の視線追跡方法。
【請求項９】
前記ステップ（Ｆ）は、
前記視線追跡システムが、前記スクリーンモジュールを前記既定領域に分割するサブステップ（ｆ１）と、
前記視線追跡システムが、前記既定領域にそれぞれ対応する座標を定義するサブステップ（ｆ２）と、
前記視線追跡システムが、前記スクリーンモジュールが一つの前記既定領域を指し示すように制御するサブステップ（ｆ３）と、
前記ユーザが前記サブステップ（ｆ３）で指し示された前記既定領域を凝視し、前記光源が前記ユーザの目に向かって光を発する間、前記視線追跡システムが、前記画像取得モジュールにより前記ユーザの目の画像を取得するサブステップ（ｆ４）と、
前記視線追跡システムが、前記サブステップ（ｆ３）で取得された前記画像から瞳孔と、前記ユーザの目の反射光点を特定するサブステップ（ｆ５）と、
前記視線追跡システムが、前記サブステップ（ｆ３）で指し示された前記既定領域と対応する、前記瞳孔上の基準点からの前記反射光点の距離と、前記瞳孔上の前記基準点を通る軸からの前記反射光点の角度を決定するサブステップ（ｆ６）と、
前記視線追跡システムが、全ての前記既定領域に対応する前記距離と前記角度を決定するまでこれらの処理を繰り返すサブステップ（ｆ７）と、
前記視線追跡システムが、前記既定領域に対応する座標と、前記既定領域に対応する前記角度に基づいて、係数ａ０〜ａ５及びｂ０〜ｂ５を求めるサブステップ（ｆ８）と、
を具備することを特徴とする請求項８記載の視線追跡方法。
【請求項１０】
前記係数ａ０〜ａ５及びｂ０〜ｂ５は、次式により求めることを特徴とする請求項９記載の視線追跡方法。
ｕ＝ａ０＋ａ１ｘ＋ａ２ｙ＋ａ３ｘ２＋ａ４ｘｙ＋ａ５ｙ２
ｖ＝ｂ０＋ｂ１ｘ＋ｂ２ｙ＋ｂ３ｘ２＋ｂ４ｘｙ＋ｂ５ｙ２
ここで、ｕ及びｖは前記既定領域の座標であり、ｘ及びｙはサブステップ（ｆ６）で決定された前記距離及び前記角度である。
【請求項１１】
前記ステップ（Ｅ）は、前記スクリーンモジュール上のカーソルを前記凝視点に移動させるサブステップを有することを特徴とする請求項１記載の視線追跡方法。
【請求項１２】
画像取得モジュールと、スクリーンモジュールを接続した視線追跡システムであって、
演算モジュールと、前記演算モジュールに接続される処理モジュールを具備し、
前記演算モジュールは、
ユーザが前記スクリーンモジュールを凝視し、光源がユーザの目に向かって光を発する間、前記画像取得モジュールより前記ユーザの目の画像を取得し、
前記画像取得モジュールより取得した前記画像から、前記ユーザの目の瞳孔と、前記ユーザの目の反射光点を特定し、
前記瞳孔上の基準点からの前記反射光点の距離と、前記瞳孔上の前記基準点を通る軸からの前記反射光点の角度を決定し、
決定された前記距離及び前記角度と、前記スクリーンモジュール上の既定領域に基づいて得られた事前設定データセットに基づいて、凝視点を決定するように動作し、
前記処理モジュールは、
前記凝視点に関する処理を実行するように動作する
ことを特徴とする視線追跡システム。
【請求項１３】
前記事前設定データセットは、複数の候補点を有し、
それぞれの前記候補点はそれぞれ前記既定領域の一つに対応し、かつ座標により定義され、
前記演算モジュールは、
その座標が前記決定された前記距離及び前記角度である点を定義し、
前記事前設定データセットの中から、前記定義された前記点からの距離が最小となる前記候補点の一つを見つけ、
前記候補点を前記凝視点とみなすことにより、
前記凝視点を決定することを特徴とする請求項１２記載の視線追跡システム。
【請求項１４】
前記演算モジュールは、次式で定義される最小目的関数を用いて、前記事前設定データ内の前記候補点の一つを見つけることを特徴とする請求項１３記載の視線追跡システム。
ｗ１×｜ｘ１’−ｘ２’｜＋ｗ２×｜ｙ１’−ｙ２’｜
ここで、ｘ１’及びｙ１’は前記事前設定データセット内の一つの前記候補点の座標であり、ｘ２’及びｙ２’は前記演算モジュールにより定義される前記点の座標であり、ｗ１は｜ｘ１’−ｘ２’｜に割り当てられる加重であり、ｗ２は｜ｙ１’−ｙ２’｜に割り当てられる加重である。
【請求項１５】
前記演算モジュールは、更に、前記事前設定データセットを求めるように動作することを特徴とする請求項１３記載の視線追跡システム。
【請求項１６】
前記演算モジュールは、全ての前記既定領域に対応する前記候補点を求めることにより前記事前設定データセットを求め、
前記演算モジュールは、
前記スクリーンモジュールを前記既定領域に分割し、
前記スクリーンモジュールが前記既定領域の中の一つを指し示すように制御し、
前記ユーザが前記スクリーンモジュールにより指し示された前記既定領域を凝視し、前記光源が前記ユーザの目に向かって光を発する間、前記画像取得モジュールにより前記ユーザの目の画像を取得し、
前記画像取得モジュールから取得された前記画像から前記ユーザの目の瞳孔と、前記ユーザの目の反射光点を特定し、
前記瞳孔上の基準点からの前記反射光点の距離と、前記瞳孔上の前記基準点を通る軸からの前記反射光点の角度を決定し、
前記スクリーンモジュールにより指し示される前記既定領域と対応し、その座標が決定された前記距離及び前記角度である候補点を求めることにより、
それぞれの前記候補点を求めることを特徴とする請求項１５記載の視線追跡システム。
【請求項１７】
前記演算モジュールは、歪み補正技術を用いて前記凝視点を決定することを特徴とする請求項１２記載の視線追跡システム。
【請求項１８】
前記事前データセットが複数の係数ａ０〜ａ５及びｂ０〜ｂ５を有し、前記演算モジュールは、前記凝視点の座標（ｕ’，ｖ’）を次式により計算する歪み補正技術を用いて前記凝視点を決定することを特徴とする請求項１２記載の視線追跡システム。
ｕ’＝ａ０＋ａ１ｘ’＋ａ２ｙ’＋ａ３ｘ’２＋ａ４ｘ’ｙ’＋ａ５ｙ’２
ｖ’＝ｂ０＋ｂ１ｘ’＋ｂ２ｙ’＋ｂ３ｘ’２＋ｂ４ｘ’ｙ’＋ｂ５ｙ’２
ここで、ａ０〜ａ５及びｂ０〜ｂ５は事前設定データセット内の係数であり、ｘ’及びｙ’は前記演算モジュールによりそれぞれ決定された前記距離及び前記角度である。
【請求項１９】
前記演算モジュールは、更に、前記事前設定データセットを求めるように動作することを特徴とする請求項１７記載の視線追跡システム。
【請求項２０】
前記演算モジュールは、
前記既定領域にそれぞれ対応する座標を定義し、
前記既定領域にそれぞれ対応する前記距離及び前記角度を決定し、
前記定義した座標と前記決定した前記距離、前記角度に基づいて、係数を求めることにより、前記事前設定データセットを求め、
前記演算モジュールは、
前記スクリーンモジュールを前記既定領域に分割し、
前記スクリーンモジュールが一つの前記既定領域を指し示すように制御し、
ユーザが前記スクリーンモジュールにより指し示された前記既定領域を凝視し、前記光源が前記ユーザの目に向かって光を発する間、前記画像取得モジュールにより前記ユーザの目の画像を取得し、
前記画像取得モジュールにより取得した前記画像から前記ユーザの瞳孔と、前記ユーザの目の反射光点を特定し、
前記スクリーンモジュールにより指し示された前記既定領域に対応する、前記瞳孔上の基準点からの前記反射光点の距離と、前記瞳孔上の前記基準点を通る軸からの前記反射光点の角度を決定することにより、
それぞれの前記既定領域に対応する前記距離及び前記角度を決定することを特徴とする請求項１９記載の視線追跡システム。
【請求項２１】
前記演算モジュールは、次式を用いて前記係数ａ０〜ａ５、ｂ０〜ｂ５を求めることを特徴とする請求項２０記載の視線追跡システム。
ｕ＝ａ０＋ａ１ｘ＋ａ２ｙ＋ａ３ｘ２＋ａ４ｘｙ＋ａ５ｙ２
ｖ＝ｂ０＋ｂ１ｘ＋ｂ２ｙ＋ｂ３ｘ２＋ｂ４ｘｙ＋ｂ５ｙ２
ここで、ｕ及びｖは前記演算モジュールにより定義された前記既定領域の座標であり、ｘ及びｙは前記演算モジュールによりそれぞれ決定された前記距離及び前記角度である。
【請求項２２】
前記凝視点に関する処理は、前記スクリーンモジュール上のカーソルを前記凝視点に移動することを特徴とする請求項１２記載の視線追跡システム。
【請求項２３】
視線追跡システムに、
ユーザが前記スクリーンモジュールを凝視し、光源がユーザの目に向かって光を発する間、前記ユーザの目の画像を取得するステップ（Ａ）と、
前記ステップ（Ａ）で取得した前記画像から、前記ユーザの目の瞳孔と、前記ユーザの目の反射光点を特定するステップ（Ｂ）と、
前記瞳孔上の基準点からの前記反射光点の距離と、前記瞳孔上の前記基準点を通る軸からの前記反射光点の角度を決定するステップ（Ｃ）と、
前記ステップ（Ｃ）で決定した前記距離及び前記角度と、前記スクリーンモジュール上の既定領域に基づいて得られた事前設定データセットに基づいて、凝視点を決定するステップ（Ｄ）と、
前記凝視点に関する処理を実行するステップ（Ｅ）と、
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
視線追跡システムに実装される視線追跡方法であって、
ユーザがスクリーンモジュールを凝視し、光源が前記ユーザの目に向かって光を発する間、前記視線追跡システムが、画像取得モジュールにより前記ユーザの目の画像を取得するステップ（Ａ）と、
前記視線追跡システムが、前記ステップ（Ａ）で取得した前記画像から、前記ユーザの目の瞳孔と、前記ユーザの目の反射光点を特定するステップ（Ｂ）と、
前記視線追跡システムが、前記瞳孔上の基準点からの前記反射光点の距離と、前記瞳孔上の前記基準点を通る軸からの前記反射光点の角度を決定するステップ（Ｃ）と、
前記視線追跡システムが、前記ステップ（Ｃ）で決定された前記距離と前記角度と、前記スクリーンモジュール上の既定領域に基づいて得られた事前設定データセットに基づいて、凝視点を決定するステップ（Ｄ）と、
前記視線追跡システムが、前記凝視点に関する処理を実行するステップ（Ｅ）と、
を具備することを特徴とする視線追跡方法。
【請求項２】
前記事前設定データセットは、複数の候補点を有し、
それぞれの前記候補点はそれぞれ前記既定領域の一つに対応し、かつ座標により定義され、
前記ステップ（Ｄ）が、
前記視線追跡システムが、その座標が前記ステップ（Ｃ）で決定された前記距離及び前記角度である点を定義するサブステップ（ｄ１）と、
前記視線追跡システムが、前記事前設定データセットの中から、前記サブステップ（ｄ１）で定義された前記点からの距離が最小となる前記候補点の一つを見つけるサブステップ（ｄ２）と、
前記視線追跡システムが、前記サブステップ（ｄ２）で見つけた前記候補点を凝視点とみなすサブステップ（ｄ３）と、
を具備することを特徴とする請求項１記載の視線追跡方法。
【請求項３】
前記サブステップ（ｄ２）は、次式で定義される最小目的関数を用いて実行されることを特徴とする請求項２記載の視線追跡方法。
ｗ１×｜ｘ１’−ｘ２’｜＋ｗ２×｜ｙ１’−ｙ２’｜
ここで、ｘ１’及びｙ１’は前記事前設定データセット内の前記候補点のうちの一つの座標であり、ｘ２’及びｙ２’は前記サブステップ（ｄ１）で定義された前記点の座標であり、ｗ１は｜ｘ１’−ｘ２’｜に割り当てられる加重であり、ｗ２は｜ｙ１’−ｙ２’｜に割り当てられる加重である。
【請求項４】
前記ステップ（Ａ）の前に、更に、前記事前設定データセットを求めるステップ（Ｆ）を具備することを特徴とする請求項２記載の視線追跡方法。
【請求項５】
前記ステップ（Ｆ）は、
前記視線追跡システムが、前記スクリーンモジュールを前記既定領域に分割するサブステップ（ｆ１）と、
前記視線追跡システムが、前記スクリーンモジュールが前記既定領域の中の一つを指し示すように制御するサブステップ（ｆ２）と、
前記ユーザが前記サブステップ（ｆ２）で指し示された前記既定領域を凝視し、前記光源が前記ユーザの目に向かって光を発する間、前記視線追跡システムが、前記画像取得モジュールにより前記ユーザの目の画像を取得するサブステップ（ｆ３）と、
前記視線追跡システムが、前記サブステップ（ｆ３）で取得された前記画像から瞳孔と、前記ユーザの目の反射光点を特定するサブステップ（ｆ４）と、
前記視線追跡システムが、前記瞳孔上の基準点からの前記反射光点の距離と、前記瞳孔上の前記基準点を通る軸からの前記反射光点の角度を決定するサブステップ（ｆ５）と、
前記視線追跡システムが、サブステップ（ｆ２）で指し示された前記既定領域と対応し、その座標がサブステップ（ｆ５）で決定された前記距離及び前記角度である候補点を求めるサブステップ（ｆ６）と、
前記視線追跡システムが、全ての前記既定領域に対応する前記候補点を求めるまでこれらの処理を繰り返すサブステップ（ｆ７）
を具備することを特徴とする請求項４記載の視線追跡方法。
【請求項６】
前記ステップ（Ｄ）は、歪み補正技術を用いて実行されることを特徴とする請求項１記載の視線追跡方法。
【請求項７】
前記事前データセットが複数の係数（ａ０〜ａ５、ｂ０〜ｂ５）を有し、前記ステップ（Ｄ）は、前記凝視点の座標（ｕ’，ｖ’）を次式を用いて計算する歪み補正技術を用いて実行されることを特徴とする請求項１記載の視線追跡方法。
ｕ’＝ａ０＋ａ１ｘ’＋ａ２ｙ’＋ａ３ｘ’２＋ａ４ｘ’ｙ’＋ａ５ｙ’２
ｖ’＝ｂ０＋ｂ１ｘ’＋ｂ２ｙ’＋ｂ３ｘ’２＋ｂ４ｘ’ｙ’＋ｂ５ｙ’２
ここで、ａ０〜ａ５及びｂ０〜ｂ５は事前設定データセット内の係数であり、ｘ’及びｙ’は前記ステップ（Ｃ）で決定された前記距離及び前記角度である。
【請求項８】
前記ユーザの目の画像を取得するステップの前に、更に、前記事前設定データセットを求めるステップ（Ｆ）を具備することを特徴とする請求項６記載の視線追跡方法。
【請求項９】
前記ステップ（Ｆ）は、
前記視線追跡システムが、前記スクリーンモジュールを前記既定領域に分割するサブステップ（ｆ１）と、
前記視線追跡システムが、前記既定領域にそれぞれ対応する座標を定義するサブステップ（ｆ２）と、
前記視線追跡システムが、前記スクリーンモジュールが一つの前記既定領域を指し示すように制御するサブステップ（ｆ３）と、
前記ユーザが前記サブステップ（ｆ３）で指し示された前記既定領域を凝視し、前記光源が前記ユーザの目に向かって光を発する間、前記視線追跡システムが、前記画像取得モジュールにより前記ユーザの目の画像を取得するサブステップ（ｆ４）と、
前記視線追跡システムが、前記サブステップ（ｆ３）で取得された前記画像から瞳孔と、前記ユーザの目の反射光点を特定するサブステップ（ｆ５）と、
前記視線追跡システムが、前記サブステップ（ｆ３）で指し示された前記既定領域と対応する、前記瞳孔上の基準点からの前記反射光点の距離と、前記瞳孔上の前記基準点を通る軸からの前記反射光点の角度を決定するサブステップ（ｆ６）と、
前記視線追跡システムが、全ての前記既定領域に対応する前記距離と前記角度を決定するまでこれらの処理を繰り返すサブステップ（ｆ７）と、
前記視線追跡システムが、前記既定領域に対応する座標と、前記既定領域に対応する前記角度に基づいて、係数ａ０〜ａ５及びｂ０〜ｂ５を求めるサブステップ（ｆ８）と、
を具備することを特徴とする請求項８記載の視線追跡方法。
【請求項１０】
前記係数ａ０〜ａ５及びｂ０〜ｂ５は、次式により求めることを特徴とする請求項９記載の視線追跡方法。
ｕ＝ａ０＋ａ１ｘ＋ａ２ｙ＋ａ３ｘ２＋ａ４ｘｙ＋ａ５ｙ２
ｖ＝ｂ０＋ｂ１ｘ＋ｂ２ｙ＋ｂ３ｘ２＋ｂ４ｘｙ＋ｂ５ｙ２
ここで、ｕ及びｖは前記既定領域の座標であり、ｘ及びｙはサブステップ（ｆ６）で決定された前記距離及び前記角度である。
【請求項１１】
前記ステップ（Ｅ）は、前記スクリーンモジュール上のカーソルを前記凝視点に移動させるサブステップを有することを特徴とする請求項１記載の視線追跡方法。
【請求項１２】
画像取得モジュールと、スクリーンモジュールを接続した視線追跡システムであって、
演算モジュールと、前記演算モジュールに接続される処理モジュールを具備し、
前記演算モジュールは、
ユーザが前記スクリーンモジュールを凝視し、光源がユーザの目に向かって光を発する間、前記画像取得モジュールより前記ユーザの目の画像を取得し、
前記画像取得モジュールより取得した前記画像から、前記ユーザの目の瞳孔と、前記ユーザの目の反射光点を特定し、
前記瞳孔上の基準点からの前記反射光点の距離と、前記瞳孔上の前記基準点を通る軸からの前記反射光点の角度を決定し、
決定された前記距離及び前記角度と、前記スクリーンモジュール上の既定領域に基づいて得られた事前設定データセットに基づいて、凝視点を決定するように動作し、
前記処理モジュールは、
前記凝視点に関する処理を実行するように動作する
ことを特徴とする視線追跡システム。
【請求項１３】
前記事前設定データセットは、複数の候補点を有し、
それぞれの前記候補点はそれぞれ前記既定領域の一つに対応し、かつ座標により定義され、
前記演算モジュールは、
その座標が前記決定された前記距離及び前記角度である点を定義し、
前記事前設定データセットの中から、前記定義された前記点からの距離が最小となる前記候補点の一つを見つけ、
前記候補点を前記凝視点とみなすことにより、
前記凝視点を決定することを特徴とする請求項１２記載の視線追跡システム。
【請求項１４】
前記演算モジュールは、次式で定義される最小目的関数を用いて、前記事前設定データ内の前記候補点の一つを見つけることを特徴とする請求項１３記載の視線追跡システム。
ｗ１×｜ｘ１’−ｘ２’｜＋ｗ２×｜ｙ１’−ｙ２’｜
ここで、ｘ１’及びｙ１’は前記事前設定データセット内の一つの前記候補点の座標であり、ｘ２’及びｙ２’は前記演算モジュールにより定義される前記点の座標であり、ｗ１は｜ｘ１’−ｘ２’｜に割り当てられる加重であり、ｗ２は｜ｙ１’−ｙ２’｜に割り当てられる加重である。
【請求項１５】
前記演算モジュールは、更に、前記事前設定データセットを求めるように動作することを特徴とする請求項１３記載の視線追跡システム。
【請求項１６】
前記演算モジュールは、全ての前記既定領域に対応する前記候補点を求めることにより前記事前設定データセットを求め、
前記演算モジュールは、
前記スクリーンモジュールを前記既定領域に分割し、
前記スクリーンモジュールが前記既定領域の中の一つを指し示すように制御し、
前記ユーザが前記スクリーンモジュールにより指し示された前記既定領域を凝視し、前記光源が前記ユーザの目に向かって光を発する間、前記画像取得モジュールにより前記ユーザの目の画像を取得し、
前記画像取得モジュールから取得された前記画像から前記ユーザの目の瞳孔と、前記ユーザの目の反射光点を特定し、
前記瞳孔上の基準点からの前記反射光点の距離と、前記瞳孔上の前記基準点を通る軸からの前記反射光点の角度を決定し、
前記スクリーンモジュールにより指し示される前記既定領域と対応し、その座標が決定された前記距離及び前記角度である候補点を求めることにより、
それぞれの前記候補点を求めることを特徴とする請求項１５記載の視線追跡システム。
【請求項１７】
前記演算モジュールは、歪み補正技術を用いて前記凝視点を決定することを特徴とする請求項１２記載の視線追跡システム。
【請求項１８】
前記事前データセットが複数の係数ａ０〜ａ５及びｂ０〜ｂ５を有し、前記演算モジュールは、前記凝視点の座標（ｕ’，ｖ’）を次式により計算する歪み補正技術を用いて前記凝視点を決定することを特徴とする請求項１２記載の視線追跡システム。
ｕ’＝ａ０＋ａ１ｘ’＋ａ２ｙ’＋ａ３ｘ’２＋ａ４ｘ’ｙ’＋ａ５ｙ’２
ｖ’＝ｂ０＋ｂ１ｘ’＋ｂ２ｙ’＋ｂ３ｘ’２＋ｂ４ｘ’ｙ’＋ｂ５ｙ’２
ここで、ａ０〜ａ５及びｂ０〜ｂ５は事前設定データセット内の係数であり、ｘ’及びｙ’は前記演算モジュールによりそれぞれ決定された前記距離及び前記角度である。
【請求項１９】
前記演算モジュールは、更に、前記事前設定データセットを求めるように動作することを特徴とする請求項１７記載の視線追跡システム。
【請求項２０】
前記演算モジュールは、
前記既定領域にそれぞれ対応する座標を定義し、
前記既定領域にそれぞれ対応する前記距離及び前記角度を決定し、
前記定義した座標と前記決定した前記距離、前記角度に基づいて、係数を求めることにより、前記事前設定データセットを求め、
前記演算モジュールは、
前記スクリーンモジュールを前記既定領域に分割し、
前記スクリーンモジュールが一つの前記既定領域を指し示すように制御し、
ユーザが前記スクリーンモジュールにより指し示された前記既定領域を凝視し、前記光源が前記ユーザの目に向かって光を発する間、前記画像取得モジュールにより前記ユーザの目の画像を取得し、
前記画像取得モジュールにより取得した前記画像から前記ユーザの瞳孔と、前記ユーザの目の反射光点を特定し、
前記スクリーンモジュールにより指し示された前記既定領域に対応する、前記瞳孔上の基準点からの前記反射光点の距離と、前記瞳孔上の前記基準点を通る軸からの前記反射光点の角度を決定することにより、
それぞれの前記既定領域に対応する前記距離及び前記角度を決定することを特徴とする請求項１９記載の視線追跡システム。
【請求項２１】
前記演算モジュールは、次式を用いて前記係数ａ０〜ａ５、ｂ０〜ｂ５を求めることを特徴とする請求項２０記載の視線追跡システム。
ｕ＝ａ０＋ａ１ｘ＋ａ２ｙ＋ａ３ｘ２＋ａ４ｘｙ＋ａ５ｙ２
ｖ＝ｂ０＋ｂ１ｘ＋ｂ２ｙ＋ｂ３ｘ２＋ｂ４ｘｙ＋ｂ５ｙ２
ここで、ｕ及びｖは前記演算モジュールにより定義された前記既定領域の座標であり、ｘ及びｙは前記演算モジュールによりそれぞれ決定された前記距離及び前記角度である。
【請求項２２】
前記凝視点に関する処理は、前記スクリーンモジュール上のカーソルを前記凝視点に移動することを特徴とする請求項１２記載の視線追跡システム。
【請求項２３】
視線追跡システムに、
ユーザが前記スクリーンモジュールを凝視し、光源がユーザの目に向かって光を発する間、前記ユーザの目の画像を取得するステップ（Ａ）と、
前記ステップ（Ａ）で取得した前記画像から、前記ユーザの目の瞳孔と、前記ユーザの目の反射光点を特定するステップ（Ｂ）と、
前記瞳孔上の基準点からの前記反射光点の距離と、前記瞳孔上の前記基準点を通る軸からの前記反射光点の角度を決定するステップ（Ｃ）と、
前記ステップ（Ｃ）で決定した前記距離及び前記角度と、前記スクリーンモジュール上の既定領域に基づいて得られた事前設定データセットに基づいて、凝視点を決定するステップ（Ｄ）と、
前記凝視点に関する処理を実行するステップ（Ｅ）と、
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６（ａ）】
【図６（ｂ）】
【図６（ｃ）】
【図６（ｄ）】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６（ａ）】
【図６（ｂ）】
【図６（ｃ）】
【図６（ｄ）】
【図７】
【図８】
【公開番号】特開２０１０−９９４７０（Ｐ２０１０−９９４７０Ａ）
【公開日】平成２２年５月６日（２０１０．５．６）
【国際特許分類】
【出願番号】特願２００９−２３４８５１（Ｐ２００９−２３４８５１）
【出願日】平成２１年１０月９日（２００９．１０．９）
【出願人】（５０８２１１０９６）由田新技股▲分▼有限公司 (12)
【Ｆターム（参考）】
【公開日】平成２２年５月６日（２０１０．５．６）
【国際特許分類】
【出願日】平成２１年１０月９日（２００９．１０．９）
【出願人】（５０８２１１０９６）由田新技股▲分▼有限公司 (12)
【Ｆターム（参考）】
[ Back to top ]