ＧＰＵを使用したアイトラッキング
【課題】視覚ディスプレイを見ている眼球のアイトラッキングを改善する。
【解決手段】表示信号により制御可能な視覚ディスプレイを見ている眼球の注視ポイントを決定する方法であって、視覚ディスプレイにスクリーンパターンを生成するために、グラフィックスカードを使用して表示信号を生成することと、スクリーンパターンの角膜−強膜反射を含む眼球の画像を符号化する信号を受信することと、スクリーンパターンの角膜−強膜の反射のジオメトリの一部に基づいて、眼球の注視ポイントを決定することと、を具備し、注視ポイントを決定することは、並列プロセッサとしてグラフィックスカードを利用することを含む。さらに、ビューアの注視ポイントを決定するように構成された注視トラッキングシステム及びパーソナルコンピュータシステムが提供される。
【解決手段】表示信号により制御可能な視覚ディスプレイを見ている眼球の注視ポイントを決定する方法であって、視覚ディスプレイにスクリーンパターンを生成するために、グラフィックスカードを使用して表示信号を生成することと、スクリーンパターンの角膜−強膜反射を含む眼球の画像を符号化する信号を受信することと、スクリーンパターンの角膜−強膜の反射のジオメトリの一部に基づいて、眼球の注視ポイントを決定することと、を具備し、注視ポイントを決定することは、並列プロセッサとしてグラフィックスカードを利用することを含む。さらに、ビューアの注視ポイントを決定するように構成された注視トラッキングシステム及びパーソナルコンピュータシステムが提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
ここに開示される本発明は、一般的に、コンピュータシステムを使用したアイトラッキング（注視ポイント又は注視角度の決定）に関する。特に、本発明は、ポータブル式又は固定式のパーソナルコンピュータシステムの一部を構成している視覚ディスプレイを見ている眼球の注視ポイントを決定するためのデータ入力、データ出力及びデータ処理の効率的な実行、又は携帯電話のような、イメージング及びコンピューティング能力を備えた通信デバイスに関する。
【背景技術】
【０００２】
眼球の動きをモニタリング又はトラッキングして、人間の注視ポイントを検出することは、さまざまな状況で使用されることができる。アイトラッキングデータは、人間の行動や意識を分析する際に重要な情報源になり得る。アイトラッキングデータは、人間が見ている対象物を評価するためと、それぞれの人間を評価するためとの両方のために使用されることができる。注視ポイントの検出の多様な用途は、ソフトウェア及びさまざまなタイプのインターフェースの使いやすさに関する研究、ウェブページ、宣伝及び広告の評価、シミュレータ環境でパイロットを教育するための、及びセキュリティ上重大な役割の監視人員を訓練するための手段の準備、並びに、心理学、行動科学及び人間の知覚におけるリサーチを含んでいる。近年高まっている関心を惹き付けている分野は、宣伝及び他の販売経路（マーケティングチャンネル）の評価である。
【０００３】
また、アイトラッキング技術は、相互作用のためにも使用されることができる。ユーザは、ただコンピュータを見ることによって、コンピュータを制御することができる。アイコントロールは、単独の相互作用技術として適用されるか、キーボード、マウス、物理的なボタン及び音声と組み合わせられることができる。アイコントロールは、身体障害者のための通信デバイスに、並びにさまざまな産業用及び医療用アプリケーションに使用される。
【０００４】
アイトラッキングシステムは、利用されるアプリケーションの範囲を広げているが、このようなアイトラッキングシステムは、まだ、ウェブカメラが行うような、新しいラップトップ及びデスクトップの標準装備に属するのに十分なほどの順応性がない。数百万ピクセルの解像度を有するほとんどの標準タイプのウェブカメラは、アイトラッキングの目的のために十分な光学品質を提供するであろう。もし必要であれば、可能であれば分離可能なユニットとして、表示スクリーン（本出願人の同時継続中の欧州特許出願ＥＰ０９１５７１０４及びＥＰ０９１５７１０６参照、これらの全体の内容は、参照によってここに含まれる））の周辺か後ろに、補足的な照明器を設けることは簡単である。しかし、アイトラッキングの計算上の複雑さは、パーソナルコンピュータ上でリアルタイムで実行されたとき、いくつかのアイトラッキングの実行が、中央処理装置（ＣＰＵ）の入力／出力能力、記憶資源及びデータ処理能力の大部分を占有するので、このような能力を含むことをコンピュータベンダに思いとどまらせるのに十分であり得る。このような占有は、コンピュータの他の機能にとって不利益であり、特に、このような占有は、他の処理の実行を遅くし、他の処理の待ち時間を長くする可能性がある。従って、アイトラッキングの改善されたコンピュータの実行の必要がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】欧州特許出願０９／１５７１０４
【特許文献２】欧州特許出願０９／１５７１０６
【発明の概要】
【０００６】
本発明の目的は、視覚ディスプレイを見ている眼球の注視トラッキングの、改善され、より効率的なコンピュータの実行を提供することである。本発明の他の目的は、利用可能な実行と比較して、同じコンピュータ上で実行される同時の処理をより妨げない実行を提供することである。
【０００７】
本発明のさらなる目的は、送信、記憶及び処理資源が効率的に使用される注視トラッキングシステムを提供することである。
【０００８】
また、他の目的は、コンピュータ上で実行される他のタスクを妨げることなく、パーソナルコンピュータシステム（例えば、デスクトップ又はラップトップコンピュータ、ノートブック、ネットブック、スマートフォン、携帯情報端末、モバイルカメラ、及びグラフィックスカード又は専用グラフィックスプロセッシング装備を有する他のデバイス）に一体化されることができる注視トラッキングシステムを提供することである。さらなる目的は、リアルタイム動作に適した注視トラッキングシステムを提供することである。
【０００９】
これら目的の少なくとも１つが、独立請求項に規定されるような、方法、コンピュータ読み込み可能な媒体、注視トラッキングシステム及びパーソナルコンピュータシステムによって達成される。また、従属請求項は、本発明のいくつかの実施の形態を規定している。
【００１０】
本出願の背景では、「ジオメトリ（geometry）」（例えば、角膜−強膜反射のジオメトリ）との用語は、そのサイズ、位置及び形状を参照しており、従って、スクリーンパターンが反射を受ける配置の変化の全体を参照している。ＣＰＵは、デフォルトのデータ処理資源であり、また、ユニバーサルシリアルバス（ＵＳＢ）は、イメージングデバイスのデフォルトのインターフェースである。さらに、グラフィックスカード（ビデオカード、ビデオアダプタ、ビデオボード、ビデオコントローラ、ディスプレイアダプタ及びグラフィックスアクセレータとしても知られている）は、コンピュータのディスプレイに送信されるビデオ信号を生成する集積回路である。このカードは、通常、コンピュータのマザーボードに配置されるか、分離回路基板であるが、ときどき、コンピュータのディスプレイユニットに組み込まれる。これは、デジタルアナログモジュールと、表示データを記憶するメモリチップと、を有する。グラフィックスカードは、ＦｉｒｅＧＬ（商標）、ＦｉｒｅＰｒｏ（商標）、Ｆｌｉｐｐｅｒ（商標）、ＧｅＦｏｒｃｅ（商標）、Ｈｏｌｌｙｗｏｏｄ（商標）、ＭｏｂｉｌｉｔｙＦｉｒｅＧＬ（商標）、Ｎｖｉｄｉａ（商標）、Ｑｕａｄｒｏ（商標）、Ｒａｄｅｏｎ（商標）、Ｒａｇｅ（商標）、ＲｅａｌｉｔｙＳｙｎｔｈｅｓｉｚｅｒ（商標）、Ｔｅｓｌａ（商標）、Ｘｅｎｏｓ（商標）及びＸＧＰＵ（商標）のような、さまざまな商標の下で製造され、販売されている。
【００１１】
本発明の第１の態様では、表示信号により制御可能な視覚ディスプレイを見ている眼球の注視ポイントを決定する方法であって、
前記視覚ディスプレイにスクリーンパターンを生成するために、グラフィックスカードを使用して表示信号を生成することと、
前記スクリーンパターンの角膜−強膜反射を含む眼球の画像を符号化する信号を受信することと、
前記スクリーンパターンの前記角膜−強膜反射のジオメトリに部分的に基づいて、前記眼球の注視ポイントを決定することと、を具備し、
前記注視ポイントを決定することは、並列プロセッサとして前記グラフィックスカードを利用することを含む方法を提供する。
【００１２】
上述の方法は、アイトラッキングに含まれる所定のデータ処理タスクと、入力／出力データの所定のフローと、の少なくとも一方の割り当てを含む。特に、以下で特定される処理タスクは、ＣＰＵから、グラフィックスカードに、より正確には、グラフィックスカード内のグラフィックスプロセッシングユニット（ＧＰＵ）に、再配置される。これは、ＣＰＵをオフロードし、他の処理により使用するための資源を解放する。さらに、ＧＰＵが所定の処理タスクに関してＣＰＵよりもよく機能すれば、このようなタスクの再配置は、コンピュータシステムの全体の性能を改良する。これは、一般的に、並列コンピューティング装備によって果される影響を受けやすい行列演算、画像処理、圧縮及び解凍、並びに他のアルゴリズムにあてはまる。ＧＰＵが、一般的に、卓越した演算性能及び高い記憶帯域幅によって特徴付けられることは、既知である。より正確には、これらのパイプラインのアーキテクチャは、比較的長い待ち時間を犠牲にして、高スループットを達成する。しかし、このような待ち時間は、人間視覚システムが動作し、アイトラッキングの背景中の困難を引き起こさないミリ秒の時間スケールよりも小さな大きさである。より一般的な観点から見て、ＣＰＵをオフロードするのに適したさらなるデバイス、特に、いわゆる物理モジュール又は物理カードがある。その主要な使用用途は、自然法則に従ってシステムをシミュレーションすることに関する重い計算を助けることである。従って、本発明のいくつかの実施の形態は、適切な適用の後に、グラフィックスカードと同じ役割の物理カードを含むことができる。
【００１３】
さらに、本発明によれば、トラッキングされる眼球の画像を符号化する信号が、グラフィックスカードで受信される。かくして、多くの予備処理工程が、グラフィックスカードによって果されることができるので、ＣＰＵに達するデータ量は、無関係な画像のセグメントを取り除いたり、画像データを予め処理したり、画像特徴の座標を抽出したりすることなどによって、かなり減少されることができる。さらに、画像信号が、グラフィックスカードで受信されて、このグラフィックスカードにより画像信号が処理され、入力データフローのパスを短くし、ＵＳＢインターフェース、内部バス及びグラフィックスポートによって、又は接続されたマザーボードデバイスの他のいくつかのチェーンによって、送信される。入力データフローのこのような効率的なルーティングは、本発明の他の効果を構成している。
【００１４】
本発明の第２の態様では、上述の方法を実行するためのコンピュータプログラムプロダクトが提供される。本発明の第３並びに第４の態様では、このような注視トラッキングシステムが一体化された注視トラッキングシステム及びパーソナルコンピュータシステム（この用語は、上に示されるようにして理解される）が提供される。注視トラッキングシステムは、視覚ディスプレイと、カメラと、グラフィックスカードと、注視ポイントを決定するモジュールと、を有する。ここで、システム内の資源を割り当てる権限を有するソフトウェアモジュールであることができる前記注視ポイントを決定するモジュールは、システムを上に述べられた方法に従って機能させるように動作可能である。本発明の第５の態様は、視覚ディスプレイを見ている眼球の注視トラッキングに関連する所定のタスクを実行するためのグラフィックスカードの使用に関する。
【００１５】
本発明の一実施の形態では、グラフィックスカードは、スクリーンパターンの角膜−強膜反射での少なくとも１つの画像特徴を抽出する。そして、このグラフィックスカードは、グラフィックスカード自体によって視覚ディスプレイに与えられる表示信号からスクリーンパターンの前記少なくとも１つの画像特徴の対応する位置を推定する。角膜への反射の前後の画像特徴の座標が、眼球の位置を決定するために使用される。代わりの形態として、表示信号は、始点として得られることができ、また、変形、モニタリングなどを考慮したスクリーンパターンの領域が、反射に対して検索されることができる。いくつかの実施例では、眼球の向きもまた、これらの座標から推定される。
【００１６】
他の実施の形態では、眼球は、眼球の角膜−強膜の表面での、輝いた（glint）、小さな、特徴的な光の反射を発生させるために、不可視光線を放射するように構成された少なくとも１つの基準照明器によって照射される。眼球の画像から推定される閃光（glint）の位置は、眼球の注視ポイントを決定するために使用される。赤外線（ＩＲ）及び近赤外線（ＮＩＲ）範囲中の波長は、閃光を発生させるのに適している。明るい瞳孔（bright-pupil）及び暗い瞳孔（dark-pupil）の眼球の画像をそれぞれ生成するための、同軸又は非同軸の照明器が、適切であると考えられるように適用されることができる。前記基準照明器は、視覚ディスプレイと一体的であるか、着脱可能な方式で視覚ディスプレイ上に配置されることができる。効果的には、前記基準照明器は、視覚ディスプレイにこれらを取り付けるためのフック、クリップ、吸引カップ又は同様の手段を有するフィッティングに設けられた発光ダイオード（ＬＥＤ）である。代わりの形態として、前記基準照明器は、ＥＰ０９１５７１０６に記述されるように、ディスプレイスクリーンの後ろに設けられ、中に提供される適切な部分的なアパーチャとアライメント（整列）されることができる。
【００１７】
さらなる実施の形態では、眼球の画像は、視覚ディスプレイと同期されるイメージングデバイスを使用して受信される。視覚ディスプレイが、リアルタイムで、すなわち、０、つまり時間遅れなく画像をプロットすることによって、表示信号に応答するならば、この表示信号は、イメージングデバイスへのトリガとして使用されることができる。代わりの形態として、専用のトリガ信号が、両方のデバイスに与えられることができる。同期は、エイリアシングに関連するアーティファクトが、アップロードされるのに従って同じ周波数で表示画像をサンプリングすることによって回避されることができるので、画像品質に有益である。このようなアーティファクトの中には、（平均）画像強度の時間振動及び光の安定又は変動パターン及び暗い水平ストライプがある。特に、イメージングデバイスと視覚ディスプレイとの間の同期は、特徴的な基準パターンを規則的なスクリーンパターンと組み合わせるために使用されることができる。効果的には、人間のビューアによって知覚される規則的なスクリーンパターンは、サイクルの最も大きな部分を占有し、一方、基準パターンは、人間の眼球に見えない短いタイムスロットで表示される。基準パターンは、容易に抽出されることができるか、反射によって与えられた幾何学的な変化の測定を容易にするように考えられることができる画像特徴を含むことができる。特に、基準パターンは、視覚ディスプレイによって、又は基準照明器によって放射される、ＮＩＲ光線のような不可視光線を含むことができる。
【００１８】
代わりの実施の形態では、イメージングデバイスは、代わって、少なくとも１つの基準照明器と同期される。従って、第１のオプションとして、（１つ又は複数の）基準照明器による照明は、明確なタイムスロットで与えられることができ、かくして、基準照明器のエネルギの経済的な動作を可能にする。また、第２のオプションとして、高度のコントラストは、基準照明器による照明ありで、及びなしで、それぞれの眼球の画像を減じることにより達成されることができる。
【００１９】
他の代わりの実施の形態では、イメージングデバイス、視覚ディスプレイ及び少なくとも１つの基準照明器は、全て同期される。特徴的な基準画面パターンの組合せと同様に、上述されるように、視覚ディスプレイ及び（１つ又は複数の）基準照明器は、全体のエネルギの消費を減らして、それぞれの眼球の画像、スクリーンの反射で１つ及び基準照明器の反射で１つを交互に得るようにして動作されることができる。
【００２０】
複数の実施の形態が明確に補足的でない限り、このセクションで述べられた複数の実施の形態からの特徴部分は、不自由なく組み合わせられることができる。同様に、複数の特徴部分が異なる請求項に列挙されるという事実は、これらを組み合わせることによる効果を排除するものではない。
【００２１】
本発明のいくつかの実施の形態が、添付図面を参照して以下に説明される。
【図面の簡単な説明】
【００２２】
【図１】図１は、一例として示されるコンピュータのマザーボードと、このマザーボードに接続されたグラフィックスカードとの概略図である。
【図２】図２は、ビューアの眼球の角膜に反射され、そして、イメージングデバイスによって記録される画像特徴を含むスクリーンパターンを発生させる視覚ディスプレイの概略図である。
【図３】図３は、複数のスクリーンパターン及び対応する角膜反射を示す図である。
【発明を実施するための形態】
【００２３】
代表的なパーソナルコンピュータのマザーボードの構造が、図１を参照して説明される。コンピュータのチップセット、すなわちコアロジックは、ノースブリッジ１０１、すなわち（一体化）メモリコントローラと、サウスブリッジ１０２、すなわち入力／出力コントローラハブと、により構成されている。これらノースブリッジ１０１及びサウスブリッジ１０２は、内部バス１５０によって通信可能に接続されている。サウスブリッジ１０２は、ノースブリッジ１０１よりも遅いデータ転送速度を有するデバイスのインターフェースとして、一般的に使用される。従って、この例では、サウスブリッジ１０２は、基本入力／出力システム（ＢＩＯＳ）１３０、統合駆動エレクトロニクス（ＩＤＥ）バス１３１、インダストリ標準アーキテクチャ（ＩＳＡ）バス１３２、旧製品との互換性を提供するための他のレガシーインターフェース１３３、周辺コンポーネント相互接続（ＰＣＩ）バス１３４及びＵＳＢインターフェース１３５に接続されている。一般的に高速デバイスを処理するノースブリッジ１０１は、フロントサイドバス１５２によってＣＰＵ１１０に、及びメモリバス１５３によってランダムアクセスメモリユニット１２０に接続されている。従って、例えば、ＣＰＵに対して意図され、ＵＳＢインターフェース１３５で受信されたデータストリームは、内部バス１５０及びフロントサイドバス１５２によってＣＰＵ１１０に伝送される。
【００２４】
図１には、さらに、一般的に光速グラフィックスポート（ＡＧＰ）又はＰＣＩエクスプレス（ＰＣＩｅ）バスを使用するような、グラフィックスポート１５１によってノースブリッジチップ１０１に接続されたグラフィックスカード１４０が示されている。グラフィックスカード１４０のコアコンポーネントは、ＧＰＵである。マザーボードのインターフェース１４２は、グラフィックスポート１５１に接続されている。ビデオのＢＩＯＳ１４４、ビデオのメモリ１４５、及び、アナログ視覚ディスプレイがグラフィックスカード１４０によって駆動されることになっているならば、ランダムアクセスメモリのデジタルアナログコンバータ１４６が、グラフィックスカード１４０の一部を構成している。グラフィックスカード１４０は、自然法則に従ってプロセスをシミュレーションするための物理モジュールのような、メディアプロセッサを有することができる。外部インターフェース１４３は、視覚ディスプレイ及び他の可能なデバイスがグラフィックスカード１４０に接続されることを可能にする。
【００２５】
図２は、注視トラッキング測定の光学状況を示す図である。視覚ディスプレイ２１０は、画像特徴２１２を含むスクリーンパターンを生成する。特徴２１２は、ビューアの眼球２２０の角膜２２２か強膜２２４に角膜反射２２６として画像化される。そして、好ましくはデジタルカメラかウェブカメラであるイメージングデバイス２３０が、画像点２３４に角膜反射２２６を光学的に描写する。単純化されたモデルでは、図面に示されるように、カメラ２３０による画像化は、（後方の）節点２３２及び画像面２３６によって決定される。図面を明瞭にするために、画像特徴２１２ａ、２１２ｂ及び２１２ｄからの光線のみが示されている。図面は、スケールを合わせられていない。現実的な状況では、４００ｍｍの視距離のところで、１７インチのスクリーンが、高さ約４ｍｍであるスクリーンの虚像を生じる。
【００２６】
像点２３４の位置から、眼球２２０の位置が計算されることができる。眼球２２０の画像に瞳孔の中心の位置を見つけることによって、注視方向は、瞳孔の中心の角膜反射の理論（例えば、生体医用工学のＩＥＥＥの紀要のｖｏｌ．５３、ｎｏ．６のＥ．Ｄ．ＧｕｅｓｔｒｉｎとＭ．Ｅｉｚｅｎｍａｎｎとによる論文（２００６年６月）であり、この内容は参照としてここに含まれる）を使用して決定されることができる。代わりの形態として、計算がより洗練された非球面の角膜モデル（それによると、人間の角膜は回転対称ではない）に基づく場合、対の像点２３４及び画像特徴２１２の十分な数が抽出されることができれば、注視方向を見つけることが可能である（ＥＰ０９１５７１０６参照）。この幾何学的なマッピンク方法に加えて、注視角度を見つけるための有用なアプローチは、統計モデル及び学習アルゴリズム、特に、ニューラルネットワーク、サポートベクトルマシン（ＳＶＭ）方法及びビオラジョーンズアルゴリズムを含む。
【００２７】
視覚ディスプレイの明度が、イメージングデバイス２３０が十分な画像品質を備えたスクリーンパターンの反射を記録することを可能にする限り、いかなる種類の視覚ディスプレイ２１０も使用されることができる。既に述べられたように、視覚ディスプレイ２１０には、そのスクリーン面の後ろに、又は周辺に、可能であれば、不可視波長範囲の光を放射する基準照明器（reference illuminator）が設けられることができる。
【００２８】
イメージングデバイス２３０に関して、一体化されたデバイスと分離可能なデバイスとの両方が使用されることができる。デバイスの感受波長範囲は、ディスプレイ２１０が補足的な基準照明器を装備しているかどうかに従って適用される。好ましくは、入力データフローの効率的なルーティングを達成するために、イメージングデバイス２３０は、視覚ディスプレイ２１０にも接続されるグラフィックスカード１４０の外部インターフェース１４３に直接接続される。代わって、イメージングデバイス２３０は、ＵＳＢ（バージョン２．０か３．０）ポート、ＩＥＥＥ１３９４インターフェース（ＦｉｒｅＷｉｒｅ）又はカメラリンクインターフェースによって接続される。
【００２９】
ラップトップパーソナルコンピュータに一体化されたアイトラッキングシステムの好ましい一実施の形態が説明される。既に述べられたように、アイトラッキングのアプリケーションに注意深く合わせた後、標準視覚ディスプレイ２１０及びイメージングデバイス２３０を使用することができる。好ましい実施の形態では、イメージングデバイス２３０は、コンピュータの視覚ディスプレイ上に配置されたカメラである。このカメラの感度は、ＮＩＲの範囲に広がっており、また、ＮＩＲの光源（図示されない）は、カメラと同軸に設けられており、この結果、明るい瞳孔の眼球の画像が提供されることができる。このカメラは、これら３つのデバイスにＧＰＵの（可能であれば増幅された）クロック周波数を転送することによってのように、視覚ディスプレイとＮＩＲ光源とを同期させる。視覚ディスプレイ２１０は、６０Ｈｚの再生速度で動作するが、全ての３０のサイクルが、特徴的な基準パターン（distinctive reference pattern）を表示し、カメラを使用して、眼球の画像を得るために使用される。網膜は、１／６０秒よりも長い積分時間を少なくとも有するので、少なくとも通常の屋内での照明の条件では、基準パターンは、ビューアによって知覚されない。しかし、カメラの積分時間は、１つのサイクルを超過しないことが重要である。実際には、パラメータ値のこの選択は、毎秒２つの眼球の画像のサンプリングに備える。このサンプリング速度は、可能であれば、スクリーンの画像が明滅する危険を冒すこととなるが、増加されることができる。より速いイメージングデバイス及びより高い再生速度のディスプレイは、このような問題を緩和することができる。
【００３０】
基準パターンは、容易に抽出可能な画像特徴のいかなるハイコントラストの配置であってもよい。例えば、図３を参照して、規則的なスクリーンパターン３１０から開始して、（数ミリメートルの線幅を有する）明るいフレーム３２１は、完全なスクリーンパターンの内側部分３２２を残して、スクリーン３２０の周囲で覆われることができる。瞳孔３９０及び虹彩３９１全体にわたって角膜に現われる、覆われたスクリーンパターンの反射３３０では、反射された明るいフレーム３３１は、スクリーンの反射された内側部分３３２よりも検出するのがより簡単である。代わりの形態として、垂直なグリッド３４０及び水平なラインが、特徴的な制御点を与える交差点を有し、グリッドの反射３５０で容易に検索されることができる。グリッド３４０は、画像、及び、従って、角膜−強膜の表面３９０、３９１、３９２の位置及び向きの局所的な変化に関する追加情報を与える。
【００３１】
他の形態として、標準的な薄膜トランジスタカラー液晶ディスプレイであることができる視覚ディスプレイ３６０は、複数の発光ダイオード（ＬＥＤ）３６２が配列された部分３６１によって囲まれている。好ましくは、これらＬＥＤ３６２は、ＮＩＲを放射するように構成されており、また、可視波長範囲中の光をではなく、ＮＩＲを透過させるプレートによって覆われている。従って、これらＬＥＤ３６２は、ディスプレイ３６０のビューアから隠されている。上に述べられるようなカメラで同期して動作されることができるＬＥＤ３６２は、角膜−強膜の表面３９０、３９１、３９２にそれぞれの反射３７２を生じさせる。
【００３２】
好ましい実施の形態では、カメラは、外部インターフェース１４３で画像信号を受信するグラフィックスカード１４０に直接接続される。画像信号は、ＣＰＵへ直接転送されないが、ＧＰＵ１４１によって予め処理される。
【００３３】
第１の前処理工程として、カメラコンピュータリンク中の帯域幅を節約するために圧縮されたフォーマットで与えられた画像信号は、ＧＰＵ１４１の内蔵のルーチンを使用して解凍される。
【００３４】
第２の前処理工程は、減法に関し、明るい瞳孔の画像化でのみ有効にされる。さらなる処理に使用される画像は、アクティブな同軸のＮＩＲ発光源で得られた、明るい瞳孔の眼球の画像及び光源をオフにして近くで得られた暗い瞳孔の眼球の画像から得られる。コントラストを増加させるために、暗い瞳孔画像は、ＮＩＲの寄与を、特に、瞳孔による網膜反射を導き出すように、明るい瞳孔画像から、ピクセルに関して減算される。グラフィックスカード１４０が完全な画像を記憶するのに十分なメモリを有するので、グラフィックスカード１４０で画像減法のタスクを実行することは好ましい。
【００３５】
第３の前処理工程では、角膜−強膜反射での画像特徴は、グラフィックスカード１４０によって視覚ディスプレイに与えられる表示信号に従って、抽出されて、スクリーンパターンの対応する座標と対になる。（湾曲した角膜の表面での反射は、スクリーンパターンを激しく変形し得るので、動作のこの順序は、スクリーンパターンから特徴を抽出して、反射におけるこれら特徴を検索することが好ましい。）画像特徴の抽出は、ソーベルフィルタのようなエッジ検出フィルタ及び接続コンポーネント、又はキャニーフィルタ、又は分類アルゴリズムのような統計的方法、特に、ＧＰＵ１４１によって実行されるのに十分適した、並列処理可能な特徴を有するエントロピーベースの画像区分化アルゴリズムを使用することができる。被写体認識は、Ｍ．Ｓｏｎｋａ、Ｖ．Ｈｌａｖａｃ及びＲ．Ｂｏｙｌｅによる画像処理分析及びマシンビジョンの第７章（Ｂｒｏｏｋ／Ｃｏｌｅ出版社（１９９９））の教示に従って実行されることができる。さらに、抽出は、（ソーベル）微分、適切なたたみ込み演算又は相関演算の調整ステップ、又はヒストグラムベースの明るさ補正を調整することによって実行されることができる。これらは、全て高度に並列処理可能な演算である。明るい瞳孔画像では、瞳孔の中心座標は、同様に検索される。基準照明器が設けられていれば、これらの角膜−強膜の閃光は、後のものと同様に、この工程で画像特徴と類似しているようにして、データ処理に含むことができることが注目される。
【００３６】
画像特徴のペアの座標及びそれらの反射は、注視方向、すなわち、眼球の視軸の実際位置の計算のために使用される。計算は、さらに瞳孔の中心座標を考慮に入れることができる。幾何学的なマッピング方法に関連した計算上のタスクは、ＧｕｅｓｔｒｉｎとＥｉｚｅｎｍａｎによるワークのセクションＩＩに概説され、スカラーと行列との両方に対する演算を含む。角膜位置及び角膜向きの評価は、特に、重複決定システムで、一次方程式のシステムを解くことを含む。
【００３７】
ハードウェアモジュールであることができるが、好ましくは、ＣＰＵ１１０によって実行されるソフトウェアプログラムである注視ポイント決定モジュール１１１は、アイトラッキングのデータ処理及び記憶タスクを割り当てて、入力／出力データフローを伝送するように、コンピュータのオペレーティングシステムによって権限を与えられている。概して、使用される実際のＧＰＵに適するようにされるべきであるときどきのスカラー演算は、ＣＰＵ１１０によってより効率的に処理され、また、行列計算及び他の数値線形代数演算も、ＧＰＵ１４１によって最適に実行される。これは、しばしば、反復処理を回避することができる。いくつかの利用可能なＧＰＵが、正方形か、所定の次元を有する行列に対して最適に実行されることが注目され、そして、行列が、ゼロでデータ入力を当てることによって、所望の形式を与えることができることが注目される。ＧＰＵの線形代数ルーチンの可能な実行に関して、Ｊ．クルーガー及びＲ．ウェスターマンの「数値のアルゴリズムのＧＰＵの実行のための線形代数演算」、ＡＣＭ紀要グラフ、ｖｏｌ．２２、ｎｏ．３（２００３年７月）及びＮ．Ｇａｌｏｐｐｏらの「ＬＵ−ＧＰＵ：グラフィックスハードウェア上の密な線形系を解くための効率的なアルゴリズム」ＡＣＭ／ＩＥＥＥスパーコンピュータ会議のプロシーディング、２００５年１１月が参照され、これらの両方の内容が参照としてここに含まれている。
【００３８】
代わりの形態として、角膜の位置及び向きが、ＧＰＵ１４１での内蔵の光線トレーシングルーチンを使用して見つけられる。実際には、画像特徴２１２と、角膜２２２に対する反射によって通過するイメージングデバイス２３０の画像面２３６に対応する点とを接続する光線を必要とすることによって、いったん十分な数の画像特徴２１２が知られていれば、後者の位置及び向きが十分に規定される。角膜を見つけることは、画像特徴と反射とが所望の許容範囲内で互いに一致するまで、位置及び向きのパラメータが、その中で連続的に取り出される反復処理として起こることができる。多くの利用可能なＧＰＵが、非常に速くコンピュータに組み込まれた（ハードワイヤード）、又はコンピュータに接続される（ソフトワイヤード）の光線トレーシングルーチンを与える。これは、有限回において高精度を達成することができることを示唆する。
【００３９】
注視角度を計算する他のアプローチに関して、ストリームプログラミングのような並列コンピューティングに適した形式で計算を表現することは好ましい。一例として、ビオラジョーンズアルゴリズムの並列化は、Ｏ．Ｍａｔｅｏ Ｌｏｚａｎｏ及びＫ．Ｏｔｓｕｋａの、ＧＰＵが本拠の流れ処理、音響、スピーチ及び信号処理の国際会議２００８の、ＧＰＵに基づいたストリーム処理によるビデオの多重面の同時かつ高速３Ｄトラッキングに記載されている。
【００４０】
眼球の視軸は、瞳孔の位置及び向きから推定され、可能であれば、瞳孔の中心位置によって補われる。また、注視ポイントは、視軸及び表示スクリーン面の交差点である。
【００４１】
好ましい実施の形態によるアイトラッキングシステムの定常状態の動作では、最後のいくつかのパラグラフで説明された手順が、各眼球の画像に対して繰り返されるか、ストリーミング方式でさらに実行される。アイトラッキングシステムの特徴は、ＣＰＵ１１０が比較的小さな部分の計算を実行するということであり、さらに、アイトラッキング処理のみが、ノースブリッジ１０１を経由して、グラフィックスカード１４０とＣＰＵ１１０との間のデータフローへの寄与を制限する。
【００４２】
本発明は、図面及び上述の説明に図示され及び説明されてきたが、このような図示及び説明は、図示、例示を目的とするものであり、限定的ではなく、本発明は、開示された実施の形態に限定されるものではない。例えば、本発明の実施の形態は、さらに、画像コントラストを増加させるために、又は、発光源を使用して同軸及び非同軸で同時の画像化を可能にするために、２つのイメージングデバイスを有することができる。イメージングデバイスのところに波長フィルタを設けることによって、異なる波長範囲で反射する角膜−強膜反射は、効率的に分離されることができる。同様に、注視トラッキング計算の処理タスクは、特定用途のこれらのデバイスの特性に依存してここに示されたとは異なるやり方で、ＣＰＵとグラフィックスカードとの間に振り分けられることができる。
【００４３】
開示された実施の形態への他の変形は、図面、開示及び添付の特許請求の範囲に関する検討から、ここに規定される本発明の実行において、当業者によって理解され、有効にされることができる。特許請求の範囲において、「有する（具備する、含む）」との用語は、他の要素や工程を排除するものではなく、「１つの」という不定冠詞も、複数であることを排除するものではない。シングルプロセッサ又は他のユニットは、特許請求の範囲で受けられるいくつかのアイテムの機能を果すことができる。所定の手段が相互に異なる従属請求項に列挙されるという単なる事実は、これら手段の組合せが、効果的に使用されることができないということを示すものではない。コンピュータプログラムは、他のハードウェアの一部と一緒に、又はその一部として供給された光学記憶媒体又は固体（ソリッドステイト）媒体のような適切な媒体に記憶されてもよいし配信されてもよく、また、インターネット、他の有線通信システム又は無線通信システムによってのように、他の形式で配信されることができる。また、特許請求の範囲におけるいかなる参照符号も、本発明の範囲を限定するものとして解釈されるべきでない。
【技術分野】
【０００１】
ここに開示される本発明は、一般的に、コンピュータシステムを使用したアイトラッキング（注視ポイント又は注視角度の決定）に関する。特に、本発明は、ポータブル式又は固定式のパーソナルコンピュータシステムの一部を構成している視覚ディスプレイを見ている眼球の注視ポイントを決定するためのデータ入力、データ出力及びデータ処理の効率的な実行、又は携帯電話のような、イメージング及びコンピューティング能力を備えた通信デバイスに関する。
【背景技術】
【０００２】
眼球の動きをモニタリング又はトラッキングして、人間の注視ポイントを検出することは、さまざまな状況で使用されることができる。アイトラッキングデータは、人間の行動や意識を分析する際に重要な情報源になり得る。アイトラッキングデータは、人間が見ている対象物を評価するためと、それぞれの人間を評価するためとの両方のために使用されることができる。注視ポイントの検出の多様な用途は、ソフトウェア及びさまざまなタイプのインターフェースの使いやすさに関する研究、ウェブページ、宣伝及び広告の評価、シミュレータ環境でパイロットを教育するための、及びセキュリティ上重大な役割の監視人員を訓練するための手段の準備、並びに、心理学、行動科学及び人間の知覚におけるリサーチを含んでいる。近年高まっている関心を惹き付けている分野は、宣伝及び他の販売経路（マーケティングチャンネル）の評価である。
【０００３】
また、アイトラッキング技術は、相互作用のためにも使用されることができる。ユーザは、ただコンピュータを見ることによって、コンピュータを制御することができる。アイコントロールは、単独の相互作用技術として適用されるか、キーボード、マウス、物理的なボタン及び音声と組み合わせられることができる。アイコントロールは、身体障害者のための通信デバイスに、並びにさまざまな産業用及び医療用アプリケーションに使用される。
【０００４】
アイトラッキングシステムは、利用されるアプリケーションの範囲を広げているが、このようなアイトラッキングシステムは、まだ、ウェブカメラが行うような、新しいラップトップ及びデスクトップの標準装備に属するのに十分なほどの順応性がない。数百万ピクセルの解像度を有するほとんどの標準タイプのウェブカメラは、アイトラッキングの目的のために十分な光学品質を提供するであろう。もし必要であれば、可能であれば分離可能なユニットとして、表示スクリーン（本出願人の同時継続中の欧州特許出願ＥＰ０９１５７１０４及びＥＰ０９１５７１０６参照、これらの全体の内容は、参照によってここに含まれる））の周辺か後ろに、補足的な照明器を設けることは簡単である。しかし、アイトラッキングの計算上の複雑さは、パーソナルコンピュータ上でリアルタイムで実行されたとき、いくつかのアイトラッキングの実行が、中央処理装置（ＣＰＵ）の入力／出力能力、記憶資源及びデータ処理能力の大部分を占有するので、このような能力を含むことをコンピュータベンダに思いとどまらせるのに十分であり得る。このような占有は、コンピュータの他の機能にとって不利益であり、特に、このような占有は、他の処理の実行を遅くし、他の処理の待ち時間を長くする可能性がある。従って、アイトラッキングの改善されたコンピュータの実行の必要がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】欧州特許出願０９／１５７１０４
【特許文献２】欧州特許出願０９／１５７１０６
【発明の概要】
【０００６】
本発明の目的は、視覚ディスプレイを見ている眼球の注視トラッキングの、改善され、より効率的なコンピュータの実行を提供することである。本発明の他の目的は、利用可能な実行と比較して、同じコンピュータ上で実行される同時の処理をより妨げない実行を提供することである。
【０００７】
本発明のさらなる目的は、送信、記憶及び処理資源が効率的に使用される注視トラッキングシステムを提供することである。
【０００８】
また、他の目的は、コンピュータ上で実行される他のタスクを妨げることなく、パーソナルコンピュータシステム（例えば、デスクトップ又はラップトップコンピュータ、ノートブック、ネットブック、スマートフォン、携帯情報端末、モバイルカメラ、及びグラフィックスカード又は専用グラフィックスプロセッシング装備を有する他のデバイス）に一体化されることができる注視トラッキングシステムを提供することである。さらなる目的は、リアルタイム動作に適した注視トラッキングシステムを提供することである。
【０００９】
これら目的の少なくとも１つが、独立請求項に規定されるような、方法、コンピュータ読み込み可能な媒体、注視トラッキングシステム及びパーソナルコンピュータシステムによって達成される。また、従属請求項は、本発明のいくつかの実施の形態を規定している。
【００１０】
本出願の背景では、「ジオメトリ（geometry）」（例えば、角膜−強膜反射のジオメトリ）との用語は、そのサイズ、位置及び形状を参照しており、従って、スクリーンパターンが反射を受ける配置の変化の全体を参照している。ＣＰＵは、デフォルトのデータ処理資源であり、また、ユニバーサルシリアルバス（ＵＳＢ）は、イメージングデバイスのデフォルトのインターフェースである。さらに、グラフィックスカード（ビデオカード、ビデオアダプタ、ビデオボード、ビデオコントローラ、ディスプレイアダプタ及びグラフィックスアクセレータとしても知られている）は、コンピュータのディスプレイに送信されるビデオ信号を生成する集積回路である。このカードは、通常、コンピュータのマザーボードに配置されるか、分離回路基板であるが、ときどき、コンピュータのディスプレイユニットに組み込まれる。これは、デジタルアナログモジュールと、表示データを記憶するメモリチップと、を有する。グラフィックスカードは、ＦｉｒｅＧＬ（商標）、ＦｉｒｅＰｒｏ（商標）、Ｆｌｉｐｐｅｒ（商標）、ＧｅＦｏｒｃｅ（商標）、Ｈｏｌｌｙｗｏｏｄ（商標）、ＭｏｂｉｌｉｔｙＦｉｒｅＧＬ（商標）、Ｎｖｉｄｉａ（商標）、Ｑｕａｄｒｏ（商標）、Ｒａｄｅｏｎ（商標）、Ｒａｇｅ（商標）、ＲｅａｌｉｔｙＳｙｎｔｈｅｓｉｚｅｒ（商標）、Ｔｅｓｌａ（商標）、Ｘｅｎｏｓ（商標）及びＸＧＰＵ（商標）のような、さまざまな商標の下で製造され、販売されている。
【００１１】
本発明の第１の態様では、表示信号により制御可能な視覚ディスプレイを見ている眼球の注視ポイントを決定する方法であって、
前記視覚ディスプレイにスクリーンパターンを生成するために、グラフィックスカードを使用して表示信号を生成することと、
前記スクリーンパターンの角膜−強膜反射を含む眼球の画像を符号化する信号を受信することと、
前記スクリーンパターンの前記角膜−強膜反射のジオメトリに部分的に基づいて、前記眼球の注視ポイントを決定することと、を具備し、
前記注視ポイントを決定することは、並列プロセッサとして前記グラフィックスカードを利用することを含む方法を提供する。
【００１２】
上述の方法は、アイトラッキングに含まれる所定のデータ処理タスクと、入力／出力データの所定のフローと、の少なくとも一方の割り当てを含む。特に、以下で特定される処理タスクは、ＣＰＵから、グラフィックスカードに、より正確には、グラフィックスカード内のグラフィックスプロセッシングユニット（ＧＰＵ）に、再配置される。これは、ＣＰＵをオフロードし、他の処理により使用するための資源を解放する。さらに、ＧＰＵが所定の処理タスクに関してＣＰＵよりもよく機能すれば、このようなタスクの再配置は、コンピュータシステムの全体の性能を改良する。これは、一般的に、並列コンピューティング装備によって果される影響を受けやすい行列演算、画像処理、圧縮及び解凍、並びに他のアルゴリズムにあてはまる。ＧＰＵが、一般的に、卓越した演算性能及び高い記憶帯域幅によって特徴付けられることは、既知である。より正確には、これらのパイプラインのアーキテクチャは、比較的長い待ち時間を犠牲にして、高スループットを達成する。しかし、このような待ち時間は、人間視覚システムが動作し、アイトラッキングの背景中の困難を引き起こさないミリ秒の時間スケールよりも小さな大きさである。より一般的な観点から見て、ＣＰＵをオフロードするのに適したさらなるデバイス、特に、いわゆる物理モジュール又は物理カードがある。その主要な使用用途は、自然法則に従ってシステムをシミュレーションすることに関する重い計算を助けることである。従って、本発明のいくつかの実施の形態は、適切な適用の後に、グラフィックスカードと同じ役割の物理カードを含むことができる。
【００１３】
さらに、本発明によれば、トラッキングされる眼球の画像を符号化する信号が、グラフィックスカードで受信される。かくして、多くの予備処理工程が、グラフィックスカードによって果されることができるので、ＣＰＵに達するデータ量は、無関係な画像のセグメントを取り除いたり、画像データを予め処理したり、画像特徴の座標を抽出したりすることなどによって、かなり減少されることができる。さらに、画像信号が、グラフィックスカードで受信されて、このグラフィックスカードにより画像信号が処理され、入力データフローのパスを短くし、ＵＳＢインターフェース、内部バス及びグラフィックスポートによって、又は接続されたマザーボードデバイスの他のいくつかのチェーンによって、送信される。入力データフローのこのような効率的なルーティングは、本発明の他の効果を構成している。
【００１４】
本発明の第２の態様では、上述の方法を実行するためのコンピュータプログラムプロダクトが提供される。本発明の第３並びに第４の態様では、このような注視トラッキングシステムが一体化された注視トラッキングシステム及びパーソナルコンピュータシステム（この用語は、上に示されるようにして理解される）が提供される。注視トラッキングシステムは、視覚ディスプレイと、カメラと、グラフィックスカードと、注視ポイントを決定するモジュールと、を有する。ここで、システム内の資源を割り当てる権限を有するソフトウェアモジュールであることができる前記注視ポイントを決定するモジュールは、システムを上に述べられた方法に従って機能させるように動作可能である。本発明の第５の態様は、視覚ディスプレイを見ている眼球の注視トラッキングに関連する所定のタスクを実行するためのグラフィックスカードの使用に関する。
【００１５】
本発明の一実施の形態では、グラフィックスカードは、スクリーンパターンの角膜−強膜反射での少なくとも１つの画像特徴を抽出する。そして、このグラフィックスカードは、グラフィックスカード自体によって視覚ディスプレイに与えられる表示信号からスクリーンパターンの前記少なくとも１つの画像特徴の対応する位置を推定する。角膜への反射の前後の画像特徴の座標が、眼球の位置を決定するために使用される。代わりの形態として、表示信号は、始点として得られることができ、また、変形、モニタリングなどを考慮したスクリーンパターンの領域が、反射に対して検索されることができる。いくつかの実施例では、眼球の向きもまた、これらの座標から推定される。
【００１６】
他の実施の形態では、眼球は、眼球の角膜−強膜の表面での、輝いた（glint）、小さな、特徴的な光の反射を発生させるために、不可視光線を放射するように構成された少なくとも１つの基準照明器によって照射される。眼球の画像から推定される閃光（glint）の位置は、眼球の注視ポイントを決定するために使用される。赤外線（ＩＲ）及び近赤外線（ＮＩＲ）範囲中の波長は、閃光を発生させるのに適している。明るい瞳孔（bright-pupil）及び暗い瞳孔（dark-pupil）の眼球の画像をそれぞれ生成するための、同軸又は非同軸の照明器が、適切であると考えられるように適用されることができる。前記基準照明器は、視覚ディスプレイと一体的であるか、着脱可能な方式で視覚ディスプレイ上に配置されることができる。効果的には、前記基準照明器は、視覚ディスプレイにこれらを取り付けるためのフック、クリップ、吸引カップ又は同様の手段を有するフィッティングに設けられた発光ダイオード（ＬＥＤ）である。代わりの形態として、前記基準照明器は、ＥＰ０９１５７１０６に記述されるように、ディスプレイスクリーンの後ろに設けられ、中に提供される適切な部分的なアパーチャとアライメント（整列）されることができる。
【００１７】
さらなる実施の形態では、眼球の画像は、視覚ディスプレイと同期されるイメージングデバイスを使用して受信される。視覚ディスプレイが、リアルタイムで、すなわち、０、つまり時間遅れなく画像をプロットすることによって、表示信号に応答するならば、この表示信号は、イメージングデバイスへのトリガとして使用されることができる。代わりの形態として、専用のトリガ信号が、両方のデバイスに与えられることができる。同期は、エイリアシングに関連するアーティファクトが、アップロードされるのに従って同じ周波数で表示画像をサンプリングすることによって回避されることができるので、画像品質に有益である。このようなアーティファクトの中には、（平均）画像強度の時間振動及び光の安定又は変動パターン及び暗い水平ストライプがある。特に、イメージングデバイスと視覚ディスプレイとの間の同期は、特徴的な基準パターンを規則的なスクリーンパターンと組み合わせるために使用されることができる。効果的には、人間のビューアによって知覚される規則的なスクリーンパターンは、サイクルの最も大きな部分を占有し、一方、基準パターンは、人間の眼球に見えない短いタイムスロットで表示される。基準パターンは、容易に抽出されることができるか、反射によって与えられた幾何学的な変化の測定を容易にするように考えられることができる画像特徴を含むことができる。特に、基準パターンは、視覚ディスプレイによって、又は基準照明器によって放射される、ＮＩＲ光線のような不可視光線を含むことができる。
【００１８】
代わりの実施の形態では、イメージングデバイスは、代わって、少なくとも１つの基準照明器と同期される。従って、第１のオプションとして、（１つ又は複数の）基準照明器による照明は、明確なタイムスロットで与えられることができ、かくして、基準照明器のエネルギの経済的な動作を可能にする。また、第２のオプションとして、高度のコントラストは、基準照明器による照明ありで、及びなしで、それぞれの眼球の画像を減じることにより達成されることができる。
【００１９】
他の代わりの実施の形態では、イメージングデバイス、視覚ディスプレイ及び少なくとも１つの基準照明器は、全て同期される。特徴的な基準画面パターンの組合せと同様に、上述されるように、視覚ディスプレイ及び（１つ又は複数の）基準照明器は、全体のエネルギの消費を減らして、それぞれの眼球の画像、スクリーンの反射で１つ及び基準照明器の反射で１つを交互に得るようにして動作されることができる。
【００２０】
複数の実施の形態が明確に補足的でない限り、このセクションで述べられた複数の実施の形態からの特徴部分は、不自由なく組み合わせられることができる。同様に、複数の特徴部分が異なる請求項に列挙されるという事実は、これらを組み合わせることによる効果を排除するものではない。
【００２１】
本発明のいくつかの実施の形態が、添付図面を参照して以下に説明される。
【図面の簡単な説明】
【００２２】
【図１】図１は、一例として示されるコンピュータのマザーボードと、このマザーボードに接続されたグラフィックスカードとの概略図である。
【図２】図２は、ビューアの眼球の角膜に反射され、そして、イメージングデバイスによって記録される画像特徴を含むスクリーンパターンを発生させる視覚ディスプレイの概略図である。
【図３】図３は、複数のスクリーンパターン及び対応する角膜反射を示す図である。
【発明を実施するための形態】
【００２３】
代表的なパーソナルコンピュータのマザーボードの構造が、図１を参照して説明される。コンピュータのチップセット、すなわちコアロジックは、ノースブリッジ１０１、すなわち（一体化）メモリコントローラと、サウスブリッジ１０２、すなわち入力／出力コントローラハブと、により構成されている。これらノースブリッジ１０１及びサウスブリッジ１０２は、内部バス１５０によって通信可能に接続されている。サウスブリッジ１０２は、ノースブリッジ１０１よりも遅いデータ転送速度を有するデバイスのインターフェースとして、一般的に使用される。従って、この例では、サウスブリッジ１０２は、基本入力／出力システム（ＢＩＯＳ）１３０、統合駆動エレクトロニクス（ＩＤＥ）バス１３１、インダストリ標準アーキテクチャ（ＩＳＡ）バス１３２、旧製品との互換性を提供するための他のレガシーインターフェース１３３、周辺コンポーネント相互接続（ＰＣＩ）バス１３４及びＵＳＢインターフェース１３５に接続されている。一般的に高速デバイスを処理するノースブリッジ１０１は、フロントサイドバス１５２によってＣＰＵ１１０に、及びメモリバス１５３によってランダムアクセスメモリユニット１２０に接続されている。従って、例えば、ＣＰＵに対して意図され、ＵＳＢインターフェース１３５で受信されたデータストリームは、内部バス１５０及びフロントサイドバス１５２によってＣＰＵ１１０に伝送される。
【００２４】
図１には、さらに、一般的に光速グラフィックスポート（ＡＧＰ）又はＰＣＩエクスプレス（ＰＣＩｅ）バスを使用するような、グラフィックスポート１５１によってノースブリッジチップ１０１に接続されたグラフィックスカード１４０が示されている。グラフィックスカード１４０のコアコンポーネントは、ＧＰＵである。マザーボードのインターフェース１４２は、グラフィックスポート１５１に接続されている。ビデオのＢＩＯＳ１４４、ビデオのメモリ１４５、及び、アナログ視覚ディスプレイがグラフィックスカード１４０によって駆動されることになっているならば、ランダムアクセスメモリのデジタルアナログコンバータ１４６が、グラフィックスカード１４０の一部を構成している。グラフィックスカード１４０は、自然法則に従ってプロセスをシミュレーションするための物理モジュールのような、メディアプロセッサを有することができる。外部インターフェース１４３は、視覚ディスプレイ及び他の可能なデバイスがグラフィックスカード１４０に接続されることを可能にする。
【００２５】
図２は、注視トラッキング測定の光学状況を示す図である。視覚ディスプレイ２１０は、画像特徴２１２を含むスクリーンパターンを生成する。特徴２１２は、ビューアの眼球２２０の角膜２２２か強膜２２４に角膜反射２２６として画像化される。そして、好ましくはデジタルカメラかウェブカメラであるイメージングデバイス２３０が、画像点２３４に角膜反射２２６を光学的に描写する。単純化されたモデルでは、図面に示されるように、カメラ２３０による画像化は、（後方の）節点２３２及び画像面２３６によって決定される。図面を明瞭にするために、画像特徴２１２ａ、２１２ｂ及び２１２ｄからの光線のみが示されている。図面は、スケールを合わせられていない。現実的な状況では、４００ｍｍの視距離のところで、１７インチのスクリーンが、高さ約４ｍｍであるスクリーンの虚像を生じる。
【００２６】
像点２３４の位置から、眼球２２０の位置が計算されることができる。眼球２２０の画像に瞳孔の中心の位置を見つけることによって、注視方向は、瞳孔の中心の角膜反射の理論（例えば、生体医用工学のＩＥＥＥの紀要のｖｏｌ．５３、ｎｏ．６のＥ．Ｄ．ＧｕｅｓｔｒｉｎとＭ．Ｅｉｚｅｎｍａｎｎとによる論文（２００６年６月）であり、この内容は参照としてここに含まれる）を使用して決定されることができる。代わりの形態として、計算がより洗練された非球面の角膜モデル（それによると、人間の角膜は回転対称ではない）に基づく場合、対の像点２３４及び画像特徴２１２の十分な数が抽出されることができれば、注視方向を見つけることが可能である（ＥＰ０９１５７１０６参照）。この幾何学的なマッピンク方法に加えて、注視角度を見つけるための有用なアプローチは、統計モデル及び学習アルゴリズム、特に、ニューラルネットワーク、サポートベクトルマシン（ＳＶＭ）方法及びビオラジョーンズアルゴリズムを含む。
【００２７】
視覚ディスプレイの明度が、イメージングデバイス２３０が十分な画像品質を備えたスクリーンパターンの反射を記録することを可能にする限り、いかなる種類の視覚ディスプレイ２１０も使用されることができる。既に述べられたように、視覚ディスプレイ２１０には、そのスクリーン面の後ろに、又は周辺に、可能であれば、不可視波長範囲の光を放射する基準照明器（reference illuminator）が設けられることができる。
【００２８】
イメージングデバイス２３０に関して、一体化されたデバイスと分離可能なデバイスとの両方が使用されることができる。デバイスの感受波長範囲は、ディスプレイ２１０が補足的な基準照明器を装備しているかどうかに従って適用される。好ましくは、入力データフローの効率的なルーティングを達成するために、イメージングデバイス２３０は、視覚ディスプレイ２１０にも接続されるグラフィックスカード１４０の外部インターフェース１４３に直接接続される。代わって、イメージングデバイス２３０は、ＵＳＢ（バージョン２．０か３．０）ポート、ＩＥＥＥ１３９４インターフェース（ＦｉｒｅＷｉｒｅ）又はカメラリンクインターフェースによって接続される。
【００２９】
ラップトップパーソナルコンピュータに一体化されたアイトラッキングシステムの好ましい一実施の形態が説明される。既に述べられたように、アイトラッキングのアプリケーションに注意深く合わせた後、標準視覚ディスプレイ２１０及びイメージングデバイス２３０を使用することができる。好ましい実施の形態では、イメージングデバイス２３０は、コンピュータの視覚ディスプレイ上に配置されたカメラである。このカメラの感度は、ＮＩＲの範囲に広がっており、また、ＮＩＲの光源（図示されない）は、カメラと同軸に設けられており、この結果、明るい瞳孔の眼球の画像が提供されることができる。このカメラは、これら３つのデバイスにＧＰＵの（可能であれば増幅された）クロック周波数を転送することによってのように、視覚ディスプレイとＮＩＲ光源とを同期させる。視覚ディスプレイ２１０は、６０Ｈｚの再生速度で動作するが、全ての３０のサイクルが、特徴的な基準パターン（distinctive reference pattern）を表示し、カメラを使用して、眼球の画像を得るために使用される。網膜は、１／６０秒よりも長い積分時間を少なくとも有するので、少なくとも通常の屋内での照明の条件では、基準パターンは、ビューアによって知覚されない。しかし、カメラの積分時間は、１つのサイクルを超過しないことが重要である。実際には、パラメータ値のこの選択は、毎秒２つの眼球の画像のサンプリングに備える。このサンプリング速度は、可能であれば、スクリーンの画像が明滅する危険を冒すこととなるが、増加されることができる。より速いイメージングデバイス及びより高い再生速度のディスプレイは、このような問題を緩和することができる。
【００３０】
基準パターンは、容易に抽出可能な画像特徴のいかなるハイコントラストの配置であってもよい。例えば、図３を参照して、規則的なスクリーンパターン３１０から開始して、（数ミリメートルの線幅を有する）明るいフレーム３２１は、完全なスクリーンパターンの内側部分３２２を残して、スクリーン３２０の周囲で覆われることができる。瞳孔３９０及び虹彩３９１全体にわたって角膜に現われる、覆われたスクリーンパターンの反射３３０では、反射された明るいフレーム３３１は、スクリーンの反射された内側部分３３２よりも検出するのがより簡単である。代わりの形態として、垂直なグリッド３４０及び水平なラインが、特徴的な制御点を与える交差点を有し、グリッドの反射３５０で容易に検索されることができる。グリッド３４０は、画像、及び、従って、角膜−強膜の表面３９０、３９１、３９２の位置及び向きの局所的な変化に関する追加情報を与える。
【００３１】
他の形態として、標準的な薄膜トランジスタカラー液晶ディスプレイであることができる視覚ディスプレイ３６０は、複数の発光ダイオード（ＬＥＤ）３６２が配列された部分３６１によって囲まれている。好ましくは、これらＬＥＤ３６２は、ＮＩＲを放射するように構成されており、また、可視波長範囲中の光をではなく、ＮＩＲを透過させるプレートによって覆われている。従って、これらＬＥＤ３６２は、ディスプレイ３６０のビューアから隠されている。上に述べられるようなカメラで同期して動作されることができるＬＥＤ３６２は、角膜−強膜の表面３９０、３９１、３９２にそれぞれの反射３７２を生じさせる。
【００３２】
好ましい実施の形態では、カメラは、外部インターフェース１４３で画像信号を受信するグラフィックスカード１４０に直接接続される。画像信号は、ＣＰＵへ直接転送されないが、ＧＰＵ１４１によって予め処理される。
【００３３】
第１の前処理工程として、カメラコンピュータリンク中の帯域幅を節約するために圧縮されたフォーマットで与えられた画像信号は、ＧＰＵ１４１の内蔵のルーチンを使用して解凍される。
【００３４】
第２の前処理工程は、減法に関し、明るい瞳孔の画像化でのみ有効にされる。さらなる処理に使用される画像は、アクティブな同軸のＮＩＲ発光源で得られた、明るい瞳孔の眼球の画像及び光源をオフにして近くで得られた暗い瞳孔の眼球の画像から得られる。コントラストを増加させるために、暗い瞳孔画像は、ＮＩＲの寄与を、特に、瞳孔による網膜反射を導き出すように、明るい瞳孔画像から、ピクセルに関して減算される。グラフィックスカード１４０が完全な画像を記憶するのに十分なメモリを有するので、グラフィックスカード１４０で画像減法のタスクを実行することは好ましい。
【００３５】
第３の前処理工程では、角膜−強膜反射での画像特徴は、グラフィックスカード１４０によって視覚ディスプレイに与えられる表示信号に従って、抽出されて、スクリーンパターンの対応する座標と対になる。（湾曲した角膜の表面での反射は、スクリーンパターンを激しく変形し得るので、動作のこの順序は、スクリーンパターンから特徴を抽出して、反射におけるこれら特徴を検索することが好ましい。）画像特徴の抽出は、ソーベルフィルタのようなエッジ検出フィルタ及び接続コンポーネント、又はキャニーフィルタ、又は分類アルゴリズムのような統計的方法、特に、ＧＰＵ１４１によって実行されるのに十分適した、並列処理可能な特徴を有するエントロピーベースの画像区分化アルゴリズムを使用することができる。被写体認識は、Ｍ．Ｓｏｎｋａ、Ｖ．Ｈｌａｖａｃ及びＲ．Ｂｏｙｌｅによる画像処理分析及びマシンビジョンの第７章（Ｂｒｏｏｋ／Ｃｏｌｅ出版社（１９９９））の教示に従って実行されることができる。さらに、抽出は、（ソーベル）微分、適切なたたみ込み演算又は相関演算の調整ステップ、又はヒストグラムベースの明るさ補正を調整することによって実行されることができる。これらは、全て高度に並列処理可能な演算である。明るい瞳孔画像では、瞳孔の中心座標は、同様に検索される。基準照明器が設けられていれば、これらの角膜−強膜の閃光は、後のものと同様に、この工程で画像特徴と類似しているようにして、データ処理に含むことができることが注目される。
【００３６】
画像特徴のペアの座標及びそれらの反射は、注視方向、すなわち、眼球の視軸の実際位置の計算のために使用される。計算は、さらに瞳孔の中心座標を考慮に入れることができる。幾何学的なマッピング方法に関連した計算上のタスクは、ＧｕｅｓｔｒｉｎとＥｉｚｅｎｍａｎによるワークのセクションＩＩに概説され、スカラーと行列との両方に対する演算を含む。角膜位置及び角膜向きの評価は、特に、重複決定システムで、一次方程式のシステムを解くことを含む。
【００３７】
ハードウェアモジュールであることができるが、好ましくは、ＣＰＵ１１０によって実行されるソフトウェアプログラムである注視ポイント決定モジュール１１１は、アイトラッキングのデータ処理及び記憶タスクを割り当てて、入力／出力データフローを伝送するように、コンピュータのオペレーティングシステムによって権限を与えられている。概して、使用される実際のＧＰＵに適するようにされるべきであるときどきのスカラー演算は、ＣＰＵ１１０によってより効率的に処理され、また、行列計算及び他の数値線形代数演算も、ＧＰＵ１４１によって最適に実行される。これは、しばしば、反復処理を回避することができる。いくつかの利用可能なＧＰＵが、正方形か、所定の次元を有する行列に対して最適に実行されることが注目され、そして、行列が、ゼロでデータ入力を当てることによって、所望の形式を与えることができることが注目される。ＧＰＵの線形代数ルーチンの可能な実行に関して、Ｊ．クルーガー及びＲ．ウェスターマンの「数値のアルゴリズムのＧＰＵの実行のための線形代数演算」、ＡＣＭ紀要グラフ、ｖｏｌ．２２、ｎｏ．３（２００３年７月）及びＮ．Ｇａｌｏｐｐｏらの「ＬＵ−ＧＰＵ：グラフィックスハードウェア上の密な線形系を解くための効率的なアルゴリズム」ＡＣＭ／ＩＥＥＥスパーコンピュータ会議のプロシーディング、２００５年１１月が参照され、これらの両方の内容が参照としてここに含まれている。
【００３８】
代わりの形態として、角膜の位置及び向きが、ＧＰＵ１４１での内蔵の光線トレーシングルーチンを使用して見つけられる。実際には、画像特徴２１２と、角膜２２２に対する反射によって通過するイメージングデバイス２３０の画像面２３６に対応する点とを接続する光線を必要とすることによって、いったん十分な数の画像特徴２１２が知られていれば、後者の位置及び向きが十分に規定される。角膜を見つけることは、画像特徴と反射とが所望の許容範囲内で互いに一致するまで、位置及び向きのパラメータが、その中で連続的に取り出される反復処理として起こることができる。多くの利用可能なＧＰＵが、非常に速くコンピュータに組み込まれた（ハードワイヤード）、又はコンピュータに接続される（ソフトワイヤード）の光線トレーシングルーチンを与える。これは、有限回において高精度を達成することができることを示唆する。
【００３９】
注視角度を計算する他のアプローチに関して、ストリームプログラミングのような並列コンピューティングに適した形式で計算を表現することは好ましい。一例として、ビオラジョーンズアルゴリズムの並列化は、Ｏ．Ｍａｔｅｏ Ｌｏｚａｎｏ及びＫ．Ｏｔｓｕｋａの、ＧＰＵが本拠の流れ処理、音響、スピーチ及び信号処理の国際会議２００８の、ＧＰＵに基づいたストリーム処理によるビデオの多重面の同時かつ高速３Ｄトラッキングに記載されている。
【００４０】
眼球の視軸は、瞳孔の位置及び向きから推定され、可能であれば、瞳孔の中心位置によって補われる。また、注視ポイントは、視軸及び表示スクリーン面の交差点である。
【００４１】
好ましい実施の形態によるアイトラッキングシステムの定常状態の動作では、最後のいくつかのパラグラフで説明された手順が、各眼球の画像に対して繰り返されるか、ストリーミング方式でさらに実行される。アイトラッキングシステムの特徴は、ＣＰＵ１１０が比較的小さな部分の計算を実行するということであり、さらに、アイトラッキング処理のみが、ノースブリッジ１０１を経由して、グラフィックスカード１４０とＣＰＵ１１０との間のデータフローへの寄与を制限する。
【００４２】
本発明は、図面及び上述の説明に図示され及び説明されてきたが、このような図示及び説明は、図示、例示を目的とするものであり、限定的ではなく、本発明は、開示された実施の形態に限定されるものではない。例えば、本発明の実施の形態は、さらに、画像コントラストを増加させるために、又は、発光源を使用して同軸及び非同軸で同時の画像化を可能にするために、２つのイメージングデバイスを有することができる。イメージングデバイスのところに波長フィルタを設けることによって、異なる波長範囲で反射する角膜−強膜反射は、効率的に分離されることができる。同様に、注視トラッキング計算の処理タスクは、特定用途のこれらのデバイスの特性に依存してここに示されたとは異なるやり方で、ＣＰＵとグラフィックスカードとの間に振り分けられることができる。
【００４３】
開示された実施の形態への他の変形は、図面、開示及び添付の特許請求の範囲に関する検討から、ここに規定される本発明の実行において、当業者によって理解され、有効にされることができる。特許請求の範囲において、「有する（具備する、含む）」との用語は、他の要素や工程を排除するものではなく、「１つの」という不定冠詞も、複数であることを排除するものではない。シングルプロセッサ又は他のユニットは、特許請求の範囲で受けられるいくつかのアイテムの機能を果すことができる。所定の手段が相互に異なる従属請求項に列挙されるという単なる事実は、これら手段の組合せが、効果的に使用されることができないということを示すものではない。コンピュータプログラムは、他のハードウェアの一部と一緒に、又はその一部として供給された光学記憶媒体又は固体（ソリッドステイト）媒体のような適切な媒体に記憶されてもよいし配信されてもよく、また、インターネット、他の有線通信システム又は無線通信システムによってのように、他の形式で配信されることができる。また、特許請求の範囲におけるいかなる参照符号も、本発明の範囲を限定するものとして解釈されるべきでない。
【特許請求の範囲】
【請求項１】
表示信号により制御可能な視覚ディスプレイを見ている眼球の注視ポイントを決定する方法であって、
前記視覚ディスプレイにスクリーンパターンを生成するために、グラフィックスカードを使用して表示信号を生成することと、
前記スクリーンパターンの角膜−強膜反射を含む眼球の画像を符号化する信号を受信することと、
前記スクリーンパターンの前記角膜−強膜反射のジオメトリの一部に基づいて、前記眼球の注視ポイントを決定することと、を具備し、
前記注視ポイントを決定することは、並列プロセッサとして前記グラフィックスカードを利用することを含む方法。
【請求項２】
前記グラフィックスカードは、前記スクリーンパターンの角膜−強膜反射を含む前記眼球の画像を符号化する信号を、イメージングデバイスから直接受信する請求項１の方法。
【請求項３】
前記注視ポイントを決定することは、
前記グラフィックスカードを使用して、前記スクリーンパターンの前記角膜−強膜反射の少なくとも１つのイメージ特徴を抽出することと、
前記グラフィックスカードを使用して、前記スクリーンパターン中の前記少なくとも１つの画像特徴を検索するために、前記少なくとも１つの画像特徴と、前記表示信号とを比較することと、を含む請求項１又は２の方法。
【請求項４】
少なくとも１つの基準照明器からの不可視光で前記眼球を照射することをさらに具備し、
前記眼球の画像は、さらに、前記少なくとも１つの基準照明器によって発生される閃光を有し、
前記注視ポイントを決定することは、さらに、前記閃光の位置に基づく請求項１ないし３のいずれか１の方法。
【請求項５】
前記眼球の画像は、前記視覚ディスプレイと前記基準照明器との少なくとも一方と同期されるイメージングデバイスから受信される請求項１ないし４のいずれか１の方法。
【請求項６】
前記スクリーンパターンを特徴的な基準パターンと繰り返し組み合わせることをさらに具備する請求項５の方法。
【請求項７】
前記画像を受信することは、圧縮画像フォーマットを解凍することを含む請求項１ないし６のいずれか１の方法。
【請求項８】
汎用コンピュータで実行するとき、請求項１の方法を行うコンピュータ読み込み可能な媒体。
【請求項９】
表示信号により制御可能な視覚ディスプレイ（２１０）と、
前記視覚ディスプレイのビューアの顔を画像化するように構成されたイメージングデバイス（２３０）と、
前記視覚ディスプレイにスクリーンパターン（３１０；３２０；３４０）を生成させるために、表示信号を生成するように構成されたグラフィックスカード（１４０）と、を具備する注視トラッキングシステムにおいて、
前記スクリーンパターンの角膜−強膜反射を含むビューアの眼球の画像を使用して、前記スクリーンパターンの角膜−強膜反射（３３０；３５０）のジオメトリに部分的に基づいて、前記ビューアの注視ポイントを決定するために、並列プロセッサとして前記グラフィックスカードを使用するように構成された注視ポイント決定モジュール（１１１）を具備し、
前記画像は、前記イメージングデバイスから受信される注視トラッキングシステム。
【請求項１０】
前記注視ポイント決定モジュールは、前記グラフィックスカードが、前記スクリーンパターンの前記角膜−強膜反射を含む前記ビューアの眼球の画像を、前記イメージングデバイスから直接受信するように動作される請求項９の注視トラッキングシステム。
【請求項１１】
前記グラフィックスカードは、さらに、
前記スクリーンパターンの前記角膜−強膜反射で前記画像特徴を抽出して、
前記スクリーンパターン中の前記画像特徴を検索するために、前記画像特徴を前記表示信号と比較するように構成されている請求項１０の注視トラッキングシステム。
【請求項１２】
各々が、ビューアの眼球に閃光（３７２）を生成するために、不可視光を放射するように構成された少なくとも１つの基準照明器（３６２）をさらに具備し、
前記注視トラッキングシステムは、前記閃光の位置に基づいて、前記ビューアの眼球の注視ポイントを決定するように構成されている請求項９ないし１１のいずれか１の注視トラッキングシステム。
【請求項１３】
前記少なくとも１つの基準照明器は、着脱可能である請求項１２の注視トラッキングシステム。
【請求項１４】
前記イメージングデバイスは、前記視覚ディスプレイと基準照明器との少なくとも一方と同期される請求項９ないし１３のいずれか１の注視トラッキングシステム。
【請求項１５】
前記グラフィックスカードは、特徴的な基準パターン（３４０）に従って前記スクリーンパターンを繰り返し組み合わせるように構成されている請求項１４の注視トラッキングシステム。
【請求項１６】
請求項９ないし１５のいずれか１の注視トラッキングシステムを具備するパーソナルコンピュータシステム。
【請求項１７】
コンピュータシステムにおいて、視覚ディスプレイ（２１０）を見ている眼球（２２０）の注視ポイントを決定するための、グラフィックスカード（１４０）の使用であって、少なくとも、
前記視覚ディスプレイにスクリーンパターン（３１０；３２０；３４０）を生成させるように、前記視覚ディスプレイに表示信号を与えることと、
前記スクリーンパターンの角膜−強膜反射を含む前記眼球の画像を受信することと、
前記スクリーンパターンの前記角膜−強膜反射のジオメトリに部分的に基づいて、前記眼球の注視ポイントを決定することを助けることと、のタスクを実行すること。
【請求項１】
表示信号により制御可能な視覚ディスプレイを見ている眼球の注視ポイントを決定する方法であって、
前記視覚ディスプレイにスクリーンパターンを生成するために、グラフィックスカードを使用して表示信号を生成することと、
前記スクリーンパターンの角膜−強膜反射を含む眼球の画像を符号化する信号を受信することと、
前記スクリーンパターンの前記角膜−強膜反射のジオメトリの一部に基づいて、前記眼球の注視ポイントを決定することと、を具備し、
前記注視ポイントを決定することは、並列プロセッサとして前記グラフィックスカードを利用することを含む方法。
【請求項２】
前記グラフィックスカードは、前記スクリーンパターンの角膜−強膜反射を含む前記眼球の画像を符号化する信号を、イメージングデバイスから直接受信する請求項１の方法。
【請求項３】
前記注視ポイントを決定することは、
前記グラフィックスカードを使用して、前記スクリーンパターンの前記角膜−強膜反射の少なくとも１つのイメージ特徴を抽出することと、
前記グラフィックスカードを使用して、前記スクリーンパターン中の前記少なくとも１つの画像特徴を検索するために、前記少なくとも１つの画像特徴と、前記表示信号とを比較することと、を含む請求項１又は２の方法。
【請求項４】
少なくとも１つの基準照明器からの不可視光で前記眼球を照射することをさらに具備し、
前記眼球の画像は、さらに、前記少なくとも１つの基準照明器によって発生される閃光を有し、
前記注視ポイントを決定することは、さらに、前記閃光の位置に基づく請求項１ないし３のいずれか１の方法。
【請求項５】
前記眼球の画像は、前記視覚ディスプレイと前記基準照明器との少なくとも一方と同期されるイメージングデバイスから受信される請求項１ないし４のいずれか１の方法。
【請求項６】
前記スクリーンパターンを特徴的な基準パターンと繰り返し組み合わせることをさらに具備する請求項５の方法。
【請求項７】
前記画像を受信することは、圧縮画像フォーマットを解凍することを含む請求項１ないし６のいずれか１の方法。
【請求項８】
汎用コンピュータで実行するとき、請求項１の方法を行うコンピュータ読み込み可能な媒体。
【請求項９】
表示信号により制御可能な視覚ディスプレイ（２１０）と、
前記視覚ディスプレイのビューアの顔を画像化するように構成されたイメージングデバイス（２３０）と、
前記視覚ディスプレイにスクリーンパターン（３１０；３２０；３４０）を生成させるために、表示信号を生成するように構成されたグラフィックスカード（１４０）と、を具備する注視トラッキングシステムにおいて、
前記スクリーンパターンの角膜−強膜反射を含むビューアの眼球の画像を使用して、前記スクリーンパターンの角膜−強膜反射（３３０；３５０）のジオメトリに部分的に基づいて、前記ビューアの注視ポイントを決定するために、並列プロセッサとして前記グラフィックスカードを使用するように構成された注視ポイント決定モジュール（１１１）を具備し、
前記画像は、前記イメージングデバイスから受信される注視トラッキングシステム。
【請求項１０】
前記注視ポイント決定モジュールは、前記グラフィックスカードが、前記スクリーンパターンの前記角膜−強膜反射を含む前記ビューアの眼球の画像を、前記イメージングデバイスから直接受信するように動作される請求項９の注視トラッキングシステム。
【請求項１１】
前記グラフィックスカードは、さらに、
前記スクリーンパターンの前記角膜−強膜反射で前記画像特徴を抽出して、
前記スクリーンパターン中の前記画像特徴を検索するために、前記画像特徴を前記表示信号と比較するように構成されている請求項１０の注視トラッキングシステム。
【請求項１２】
各々が、ビューアの眼球に閃光（３７２）を生成するために、不可視光を放射するように構成された少なくとも１つの基準照明器（３６２）をさらに具備し、
前記注視トラッキングシステムは、前記閃光の位置に基づいて、前記ビューアの眼球の注視ポイントを決定するように構成されている請求項９ないし１１のいずれか１の注視トラッキングシステム。
【請求項１３】
前記少なくとも１つの基準照明器は、着脱可能である請求項１２の注視トラッキングシステム。
【請求項１４】
前記イメージングデバイスは、前記視覚ディスプレイと基準照明器との少なくとも一方と同期される請求項９ないし１３のいずれか１の注視トラッキングシステム。
【請求項１５】
前記グラフィックスカードは、特徴的な基準パターン（３４０）に従って前記スクリーンパターンを繰り返し組み合わせるように構成されている請求項１４の注視トラッキングシステム。
【請求項１６】
請求項９ないし１５のいずれか１の注視トラッキングシステムを具備するパーソナルコンピュータシステム。
【請求項１７】
コンピュータシステムにおいて、視覚ディスプレイ（２１０）を見ている眼球（２２０）の注視ポイントを決定するための、グラフィックスカード（１４０）の使用であって、少なくとも、
前記視覚ディスプレイにスクリーンパターン（３１０；３２０；３４０）を生成させるように、前記視覚ディスプレイに表示信号を与えることと、
前記スクリーンパターンの角膜−強膜反射を含む前記眼球の画像を受信することと、
前記スクリーンパターンの前記角膜−強膜反射のジオメトリに部分的に基づいて、前記眼球の注視ポイントを決定することを助けることと、のタスクを実行すること。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１１−８１８０７（Ｐ２０１１−８１８０７Ａ）
【公開日】平成２３年４月２１日（２０１１．４．２１）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１０−２２８０２２（Ｐ２０１０−２２８０２２）
【出願日】平成２２年１０月８日（２０１０．１０．８）
【出願人】（５０８２２７２７１）トビー テクノロジー アーベー (2)
【Ｆターム（参考）】
【公開日】平成２３年４月２１日（２０１１．４．２１）
【国際特許分類】
【出願番号】特願２０１０−２２８０２２（Ｐ２０１０−２２８０２２）
【出願日】平成２２年１０月８日（２０１０．１０．８）
【出願人】（５０８２２７２７１）トビー テクノロジー アーベー (2)
【Ｆターム（参考）】
[ Back to top ]