眼及びその凝視方向を検知し、追跡する方法と装置
【課題】眼及び凝視角度／方向を検知し、追跡する効率的な方法と装置を提供することにある。
【解決手段】眼の位置及び凝視方向を検知する際に、ディスプレー（１）の周囲に配置されたフォトセンサ（１）及び光源（２、３）と計算及び制御ユニット（６）とが使用される。光源の１つはセンサの周囲に配置され、内側と外側の素子（３'、３”）を含んでいる。内側の素子だけが照明された場合は、取り込まれた画像に強いブライト・アイ効果が得られ、その結果、瞳孔の簡単な検知、ひいては凝視方向の安全な決定が行われる。外側の素子及び外側の光源（２）だけが照明された場合は、フォトセンサから眼までの距離の決定が行われる。画像内の瞳孔の決定が可能になった後は、取り込まれた後続の画像内で眼の像が位置する瞳孔の周囲の領域だけが評価される。どの眼が左眼及び右眼であるのかは、目の画像を追跡し、連続的に取り込まれる画像内での眼の位置を評価することによって決定可能である。
【解決手段】眼の位置及び凝視方向を検知する際に、ディスプレー（１）の周囲に配置されたフォトセンサ（１）及び光源（２、３）と計算及び制御ユニット（６）とが使用される。光源の１つはセンサの周囲に配置され、内側と外側の素子（３'、３”）を含んでいる。内側の素子だけが照明された場合は、取り込まれた画像に強いブライト・アイ効果が得られ、その結果、瞳孔の簡単な検知、ひいては凝視方向の安全な決定が行われる。外側の素子及び外側の光源（２）だけが照明された場合は、フォトセンサから眼までの距離の決定が行われる。画像内の瞳孔の決定が可能になった後は、取り込まれた後続の画像内で眼の像が位置する瞳孔の周囲の領域だけが評価される。どの眼が左眼及び右眼であるのかは、目の画像を追跡し、連続的に取り込まれる画像内での眼の位置を評価することによって決定可能である。
【発明の詳細な説明】
【関連出願】
【０００１】
（関連出願）
本出願はすべての教示内容が参照によって本明細書に組み込まれている、２００２年１１月２１日に出願されたスウェーデン特許出願第０２０３４５７−７号の優先権と利益を主張するものである。
【技術分野】
【０００２】
本発明は眼及び凝視角度／方向を検知し、かつ追跡するための方法と装置に関する。このようなシステムは例えばコンピュータのユーザが見ているモニタ又はディスプレー上の位置を確認、又は決定するために利用可能である。
【背景技術】
【０００３】
眼の動きと凝視点の監視又は追跡は異なる多くの状況で利用可能である。人が見ている位置に関する情報は、人の挙動と認識を分析するために利用可能である。これは人が見ている対象物の評価、及びそれぞれの人の評価の双方に利用できる。利用分野は多く、その中にはソフトウェアや異なる種類のインターフェースの利用可能性に関する研究；ホームページ、広告、宣伝の評価；シミュレータ環境でのパイロットを教育する手段；心理学、行動科学、人の知覚の調査；様々な種類の視覚障害や病気の診断を挙げることができる。
【０００４】
これらの用途に加えて、異なる態様で応答又は反応するために人が見ている場所に関する情報を用いる対話式の用途も存在する。例えば身体障害者は彼が見ているコンピュータのモニタ上の対象物が活動される手順によってコンピュータと対話することができる。アーケード・ゲームでは、人が見ている対象物が画像の中心に来るようにする手順、又は彼／彼女の眼を使って武器の方向を定めるようにできる手順によって、ゲームの冒険体験を極めて増強させることができる。同様に、店舗のウインドウ内のクリスマス向けの広告又はディスプレーは、人が見ていることに反応することができる。例えばコンピュータ用のインターフェースはユーザが関心を持つ対象物をより良好にディスプレーでき、またユーザの異なる行動に知的に適応できるように、ユーザが見ている位置に関する継続的な情報を利用可能であろう。ドライバーが見ている位置に関する情報を受け取る自動車は、ドライバーが疲労し、気が散り、又は酔っている場合に警報を発する。眼の動きを利用して武器を向け、又は車両を操縦するための軍事的な用途も開発されている。これらは眼と凝視角度を検知し、追跡可能である装置にとって重要な利用分野のうちの少数であるに過ぎない。
【０００５】
眼及びその凝視角度を追跡するために利用可能な多くの異なる技術が存在する。第１の技術はフォトセンサと光源を使用し、その光線が角膜及び眼のレンズから反射されることによって、異なる４つの反射を誘発するものである。最高の光強度を有する反射は第１プルキニエ反射とも呼ばれる外角膜反射又は輝きである。その後、第２、第３、第４のプルキニエ反射が続き、これらは角膜の内表面、レンズの外表面、レンズの内表面に対応するものである。第１と第４のプルキニエ反射は同じ焦点面に位置し、これらの２つの反射の位置関係は眼の回転と共に変化する。
【０００６】
眼とその凝視角度を追跡するための第２の技術は、ある種のフォトセンサを使用して眼の白膜又は強膜と虹彩との間の境界線を検知することである。第３の技術はカメラを使用して人の顔を検知し、眼が顔に対してどのように動くかを確認することによって、人が見ている方向を間接的に推測することである。第４の技術は眼の回転を測定するために、角膜と網膜が異なる電位を有することを利用することである。第５の技術はコンタクト・レンズ、ひいては眼がどのように回転するかを測定できるように、適したデバイスを取り付けたコンタクト・レンズを使用することである。第６の技術は、フォトセンサを使用して眼が回転する際の瞳孔又は虹彩の楕円率を測定することである。第７の技術は、一対の眼鏡に装着されたダイオードと２つ以上の光学トランジスタを使用することである。ダイオードからの光線が角膜から反射し、次に光学トランジスタに入射すると、トランジスタによって供給される信号がダイオードから角膜を経てトランジスタまでの光線の進行距離に応じて変化する。第８の技術はフォトセンサを使用して角膜からの光源の反射を検知し、次にその位置が瞳孔又は虹彩の中心とどのように関係しているかを確認することである。この場合、眼の網膜を照明するフォトセンサの近傍に装着された照明デバイスを使用し、それによってブライト・アイ効果を生じ、又は眼を照明して虹彩が明るくなり、一方瞳孔が暗くなるようにすることによって瞳孔をより容易に確認可能になる。
【０００７】
米国特許第５，８６１，９４０号には、眼を検知し、凝視角度を追跡するためのシステムが開示されている。このシステムは、適した光学系を備え、眼の前に焦点がある集束光ビームを発する赤外線レーザー２と、拡散光ビームを交互に発する２つの赤外線レーザー又は赤外線ダイオード９、１０とを備えた光源を含んでいる。位置感知検知器を使用して網膜からの反射を検知することによって、眼の位置に関する情報が得られる。複数の光源の角膜からの赤外線反射を検知することによって、ビデオカメラから眼までの距離が決定される。後者の２つの赤外線レーザーはコンピュータのモニタ１の底縁部に位置している。他のシステムは米国特許明細書第６，０７９，８２９号、第６，１５２，５６３号及び第６、２４６、７７９号に開示されている。
【０００８】
ビデオカメラを使用した自動システムでは、ユーザの眼からの光源の反射が位置する、取り込まれたピクチャ内の位置を決定することは困難である。これはその他の事柄と共に、ユーザが彼／彼女の頭を動かし、これを横に移動させ、又はカメラとの距離を短くしたり長くしたりすることがあるということによるものである。自動システムは眼の像が位置する領域を決定するために複雑な画像処理及び画像認識ルーチンを含む。したがって、取り込まれたピクチャ内の眼の反射及び像が位置する領域の上記のような決定を容易にするための方法が必要である。さらに、モニタのような表面上の関連点を決定する際に、ユーザの眼とモニタとの距離が常に決定されなければならず、したがってこのような決定のための効率的な方法が必要である。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明の課題は眼及び凝視角度／方向を検知し、追跡する効率的な方法と装置を提供することにある。
【課題を解決するための手段】
【００１０】
眼及び凝視角度／方向を検知する方法とデバイスには、適した光学系又はビデオカメラを備えたＣＣＤユニット又はＣＭＯＳユニット、１つ又は複数の光源、計算及び制御ユニットのようなフォトセンサが使用される。例えば人が見ているモニタ上の位置を決定するには、モニタから見た人の眼の奥行き方向と横方向の双方での人の眼の位置と眼が見ている方向が判明しなければならない。二次元での角度と位置だけしか判明していない場合は、眼が奥行き方向に動いた場合に視差ひずみが生ずる。この視差ひずみは多くの用途で許容されるものよりも大幅に大きい場合が多い。
【００１１】
眼の位置、すなわちフォトセンサ又はモニタに対する眼の位置を決定するため、互いに距離を隔てて配置された２つ以上の光源を使用して眼が照明される。そこで、人の角膜からフォトセンサへのこのような光源の反射像は、人が位置しているフォトセンサの視野内の位置によって左右される。フォトセンサ上の反射像は、フォトセンサの視野内のどこに人が位置しているかを正確に決定するために必要なすべての情報を提供する。眼の角膜が球形であると想定した場合、この関数は明確に定義され、光源の数が２個のように少ない場合でも既に反転可能であるが、より高度の想定を用いれば、複数の光源の反射から形成されるパターン全体、すなわち相互に対する、及びピクチャ全体での反射の位置を評価することによって眼が位置する場所を決定する上で優れた精度と信頼性が得られる。単純な場合には、取り込まれたピクチャ内でのパターンのサイズとその位置だけが決定される。
【００１２】
このように、この方法では現実の二次元ピクチャを作成するためにフォトセンサが用いられ、かつ一般に１つ又は複数の光源が使用される。光源（単数又は複数）は、拡散して反射する面をフォトセンサにとってより容易に確認できるように、また角膜に達する光源（単数又は複数）によって反射を生じ、これがフォトセンサによって個別の明点として体験されるように、フォトセンサの視野内にある眼を照明する。
【００１３】
フォトセンサによって作成された二次元ピクチャはそこにあるであろう眼と、光線反射が位置するピクチャ内の位置を決定するために、複雑な画像処理を利用して分析される。次にこの情報は眼がどの位置にあるか、及び／又はそれらがどの方向を見ているかを決定するために利用され、そして次にそれは例えばコンピュータのユーザが見ているモニタ上の位置を決定するために利用可能である。
【００１４】
二次元ピクチャ内で瞳孔及び／又は虹彩が探索される。瞳孔の画像は１つ又は複数の光源によってこれを照明することによってより容易に確認できる。光源（単数又は複数）は光学系からフォトセンサ上の二次元ピクチャを焦点合わせする距離を隔てて配置することができる。その結果、照明光線の少ない部分だけが眼に入り、したがって瞳孔は周囲の顔よりも暗く見える。このようにして、瞳孔と角膜との間の境界線を照明が用いられない場合よりも容易に確認できる。
【００１５】
上記の照明方法の代替方法は、光源（単数又は複数）をフォトセンサ上の二次元ピクチャの焦点を合わせる光学系上に又はその極めて近傍に配置することを含んでいる。その場合は、光源（単数又は複数）の拡散したフィールドはフォトセンサの視野及び、フォトセンサの視野内に位置する眼に対応する。光源（単数又は複数）によって照明される網膜上の点はフォトセンサ上に結像されるものと同じであるか、又は少なくとも部分的に同じ点になる。その結果、瞳孔はその周囲よりも明るく見える。この現象は写真上の眼が赤みを帯びたカラーに見えることがある現象と同一である。
【００１６】
可能な限り最強のブライト・アイ効果を達成するため、光源（単数又は複数）はセンサの視野と干渉しないようにフォトセンサの視軸のできるだけ近傍に取り付けられる。そこで、フォトセンサが見ている眼の網膜部分は光源（単数又は複数）によって照明される網膜部分と大幅に一致する。光源（単数又は複数）をフォトセンサにピクチャを焦点合わせする光学系の前に配置しなければならない場合は、フォトセンサと同じ形状の中心穴を有する光源は、センサの視野と干渉しないように光源（単数又は複数）をフォトセンサの視軸のできるだけ近傍に配置するためのよい方法である。光源が光学系からより長い距離だけ隔てて配置されるほど、フォトセンサの視野と干渉しないようにするため穴は大きくなければならない。したがって、ブライト・アイ効果をめざす場合は、光源を光学系のできるだけ近傍に配置できることが望ましい。
【００１７】
反射される複数の光源を使用して眼の位置が決定されると同時に、眼の方向を決定するためにブライト・アイ効果を利用することによって問題が生ずることがある。ブライト・アイ効果はできるだけフォトセンサの近傍に配置された照明デバイス／光源を使用して達成される。この光源から距離を隔てて配置される照明デバイスはフォトセンサの視野内に位置する眼の瞳孔に加えて全てを照明し、ひいてはフォトセンサによって取り込まれたピクチャ内の瞳孔と虹彩とのコントラストを低減してしまう。それに加えて、瞳孔と虹彩との厳密な境界線にピクチャ内のこの追加の光源の反射が位置する公算が高く、それによってこの変わり目を探索することがますます困難になる。眼の位置を決定するという逆の見地から見ると、瞳孔を際立たせ、又は強調するために使用されるブライト・アイ効果の結果、ピクチャ内の瞳孔と瞳孔の前の角膜からの反射との変わり目の領域のコントラストが、ブライト・アイ効果を利用して瞳孔が照明されない場合と比較して低下する。このように、照明された瞳孔の画像内に位置する反射を確認することが困難になるリスクがある。これらの問題点を回避するため、一方は方向を決定し、他方は位置を決定するための２つのライト設定を互いに交代して、取り込まれた各ピクチャごとに一方だけを起動させることができる。このことは、各ピクチャから方向と位置の双方を決定することはできないが、他方ではシステムの強靭さを高めることを意味している。
【００１８】
その代わりに光源（単数又は複数）をフォトセンサの光軸から距離を隔てて配置すると暗い瞳孔が得られる一方で、光源（単数又は複数）の放射が強いほど周囲の顔はより明るくなる。このライト設定は、虹彩を検出したい場合には好適であり、さらに、ブライト・アイ効果に基づくシステムの場合のように、周囲からの拡散光線によって瞳孔と虹彩とのコントラストが低下、又は劣化することがないという利点をも有している。
【００１９】
光源（単数又は複数）によって照明される人を邪魔しないように、人の眼には見えないがフォトセンサによっては検知できる波長を有する光線を発するための光源（単数又は複数）を使用することができる。例えば、ＮＩＲ範囲の光線（ＮＩＲ＝近赤外線）、すなわち人の眼で知覚できるよりもやや長い波長を有する光線を利用することができる。このような光線は可視光線を検知するように設計されたほとんどのフォトセンサによって検知可能である。
【００２０】
使用されるフォトセンサは高分解能形／高解像度形のものであることが有利である。その結果、フォトセンサ全体が露光されれば実際に大量のデータが得られる。処理に使用されるリソースを節減するため、所定の関心対象領域（ＡＯＩ）からのデータだけを選択可能である。このように、フォトセンサと計算ユニットとの間の通信リンク上の負荷を軽減するため、計算ユニットはフォトセンサに対して現在のＡＯＩから来るデータだけを供給するように選択可能である。このようにして、計算リソースと通信リソースの双方を他の目的のために開放することができる。フォトセンサを露光するために適切なＡＯＩを選択できるようにするため、有利には直前のピクチャ内で眼が位置していた位置に関する情報が利用される。
【００２１】
手順において不要なピクチャ情報のできる限り多くの部分をできるだけ早く廃棄できれば、大きな利点が得られる。フォトセンサが情報の一部だけを露光し、又はセンサの表面から評価ユニットへと送るようにされていれば、これまでは不可能であった新たな可能性が生ずる。このようにして、手順の動作を遅くすることなく極めて高い解像度を有するフォトセンサを使用することができる。フォトセンサから評価ユニットまでの充分な伝送速度を得るために、高度化され、始動に手間取り、コストが高いカメラ・インターフェースの代わりに標準型のＰＣバスを使用することができる。さらに、センサの選択された部分だけが露光されれば、多くの場合はフォトセンサ・データの露光及び読出しにはより短い期間しか必要としない。その結果、追跡される眼の凝視点を決定する際に高い速度が得られる。このことは心理学の研究のような多くの用途で有用である。
【００２２】
本発明のその他の目的と利点は以下の説明に記載され、その一部は説明から明らかであり、又は本発明の実施から学習できる。本発明の目的と利点は特に添付の特許請求の範囲に記載されている方法、ステップ、手段、及びそれらの組合せによって実現でき、獲得できる。
【００２３】
本発明の新規の特徴は特に添付の特許請求の範囲に記載されているが、構成及び内容の双方に関する本発明の、及び上記の及びその他の特徴の完璧な理解は、添付図面を参照した限定的ではない実施形態の下記の詳細な説明を検討することによってより明解に得られよう。
【図面の簡単な説明】
【００２４】
【図１】眼と凝視核とを検知及び追跡するための装置の実施形態の正面から見た概略図である。
【図２】フォトセンサによって取り込まれた二次元ピクチャ内で、フォトセンサから角膜までの距離で角膜から反射された２つの光源間の距離による依存を示す概略図である。
【図３】異なるダイオードがスイッチオン、スイッチオフされた場合にブライト・アイ効果を達成するためのフォトセンサの視野と同軸の照明デバイスの実施形態の例の正面から見た概略図である。
【図４】眼の凝視角及びフォトセンサの二次元座標系内に眼がある位置を決定できるようにするためにフォトセンサを使用して取り込まれ、照明された眼のピクチャを示す図（ａ）と、図４ａのピクチャの境界線分析を利用して得られたピクチャを示す図（ｂ）である。
【図５】図４ａと同様であるが、フォトセンサから眼までの距離の決定を可能にするために照明された眼のピクチャを示す図（ａ）と、図５ａのピクチャの境界線分析を利用して得られたピクチャを示す図（ｂ）である。
【図６】どの眼がユーザの右眼又は左眼であるかを決定するために二次元画像内で検出された眼に関する情報を処理するためのステップを示した流れ図である。
【図７】眼の凝視方向及び位置を決定するために装置内で行われる手順全体の流れ図である。
【発明を実施するための形態】
【００２５】
図１にはコンピュータのユーザが注視／凝視しているモニタ１上の点を決定する装置が示されている。決定はユーザの眼を追跡することによって、特に眼の凝視角度とモニタから眼までの距離を決定することによって行われる。装置はモニタ１、モニタ１の上縁部の直線に沿って装着された３つの同一の光源２、モニタの底縁部の中心に配置され、不要な光線をフィルタリングして除去し、かつフォトセンサの感応面上へピクチャの焦点を合わせるの双方のためにフォトセンサの前に配置されている適切な光学系（図示せず）を備えたフォトセンサ４と、フォトセンサの光軸と同軸に配置されている、すなわちフォトセンサの感応面の全ての側の周りに配置されている光源３とを含んでいる。感応面は図示のように、長方形の形状を有している。同軸の光源３は、図３ａ、３ｂを参照すると、２つの群、すなわち第１の内側の群と第２の外側の群内に配置されている複数の発光素子３'、３”を含んでいる。内側の群内では発光素子３'は感応面の縁部又は側部の近傍に配置されている。長方形の感応性領域を含む実施形態では、３つの素子が長方形のそれぞれの長辺に沿って配置され、２つの素子がその短辺に配置されている。外側の群内には、発光素子３”が感応領域の中心から見て内側の群内の素子の外側に、感応領域から大きい距離を隔てて配置されている。図示した実施形態では、外側の群内には内側の群内と同数の素子が示されており、外側の群内の各素子は長方形の感応領域の中心から見て、内側の群内の２つの素子の間に配置されている。
【００２６】
図１に示されている装置の実際の実施形態では、中央のダイオードの周囲に対称に配置された６つのダイオードを含む７つのＮＩＲダイオード、ＨＳＤＬ４２３０を各々が含む３つの同一の光源２が備えられている。図３ａ、３ｂに基づいて設計された照明ユニット３内の発光素子３'、３”と同じ種類のダイオードが使用される。
【００２７】
これらの構成要素に加えて、必要な制御やこれに関連する評価と計算を行うために、６で示されている調整用の計算及び制御ユニットだけが備えられている。計算及び制御ユニットは光源のスイッチのオン・オフを制御する。さらに、これはフォトセンサ４によって取り込まれた画像の処理、特に境界線、すなわち異なるグレー・スケール強度又はカラーを有するピクチャ内のフィールド間の線の決定を行う。眼の像内で、特に瞳孔の境界を定める境界線が決定され、そこから瞳孔の中心が得られる。これは例えば瞳孔の境界を定めるものと決定された境界線に円又は楕円を適合させることによって行うことができる。計算及び制御ユニット６は後述するように、フォトセンサ４からのデータ出力を制御する、すなわち取り込まれた画像内の、フォトセンサから計算及び制御ユニットまで情報が送られる画素を決定することもできる。
【００２８】
図３ａ、３ｂには、内側と外側の群の発光素子をスイッチオン、スイッチオフすることによって、フォトセンサ４の周囲に配置された光源３内の素子が２つの異なる方法で眼を照明することができる態様が示されている。図３に示されている、内側の群内の素子だけがスイッチオンされる１つの光線設定位置によって、フォトセンサにより検知される瞳孔の、容易に確認できるブライト・アイ効果が生じ、一方、図３ｂに示されている、外側の群内の素子だけがスイッチオンされる他の設定位置によって、容易に確認できるブライト・アイ効果を誘発することなく角膜からの反射が生ずる。
【００２９】
図１の装置が動作される際には、これは２つの光線設定位置を交代させる。設定位置（ｉ）はユーザが見ている方向を決定するために設けられている。光線設定位置（ii）では、ユーザの眼からフォトセンサまでの距離が決定される。双方の光線設定位置で、フォトセンサの二次元座標系で見てユーザの眼（単数又は複数）が位置する場所に関する情報も得られる。
【００３０】
装置が光線設定位置（ｉ）にある場合は、フォトセンサ４の視野と同軸に配置されている光源３の内側の素子３'は図３ａに示された設定位置でスイッチオンされ、フォトセンサの視野内の全ての瞳孔について強いブライト・アイ効果を与える。この光線設定位置で、モニタ１の周囲に位置する３つの光源２すべてはスイッチオフされる。すなわち内側の群内の素子だけがスイッチオンされる。次にフォトセンサ４の視野内の瞳孔の画像はブライト・アイ効果により照明される瞳孔５が図示されている図４に示されるように見え（図４ｂと比較されたい）、角膜からの光源３の反射は点形の反射３'ａのように見える。取り込まれた画像は計算ユニット６によって分析され、図４ｂに示すように境界線が決定される。ブライト・アイ効果について取り込まれたピクチャ内において瞳孔と虹彩に対応するイメージ・フィールド間には特に強いコントラストがあり（別の照明を利用して取り込まれた図５ａのピクチャと比較されたい）、したがってこれらの２つのフィールド間の境界線を優れた精度で計算することができる。この精確に決定された境界線は瞳孔の境界を定め、そこから結果的にこれも優れた精度で瞳孔の中心を決定することができる。前述のように、中心を決定する際、境界線に楕円形を適合させることを利用でき、これは瞳孔がピクチャ内で部分的にしか見えない場合に特に重要である。さらに、ピクチャ内で、反射３'ａの位置と特に反射の中心が決定される。最後に、反射３ａ’の中心からの瞳孔５の中心へのベクトルが計算される。
【００３１】
凝視方向、すなわちユーザが見ている方向を決定するため、上記の説明に基づいて決定されたベクトルが利用される。このベクトルの方向はカメラの光軸から捉えたユーザが見ている方向を示し、ベクトルの大きさはこれもカメラの光軸に対して捉えたユーザが見ている角度を示す。さらに、反射３'ａの中心は二次元で見たユーザの眼の位置に関する情報をもたらす。
【００３２】
システムが光線設定位置（ii）にある場合は、フォトセンサの視野と同軸である光源３内の外側の群内の素子３”は、明確に確認できるブライト・アイ効果を生じない、図３ｂに示されている光線設定位置にスイッチされる。同時に、モニタの上縁部に位置する３つの光源２はこの光線設定位置にスイッチオンされる。図５ａはこの設定位置で、眼の異なる位置に対応するイメージ・フィールド間のコントラストが比較的低い状態でフォトセンサ４上に眼を結像させる態様を示している。さらに図５ｂに示されているように、このピクチャが境界線を得るために分析され、眼の異なる部分に対応するフィールドの決定された境界線の精度は図４ｂに基づいて瞳孔の境界を定める境界線よりも低いことがある。しかし、図５ｂに示されたピクチャでは、異なる反射は極めて明瞭に見える。３'ｂ（図５ｂの分析されたピクチャを参照）に、図３ｂに見られる場合に基づいてスイッチオンされた光源３の角膜からの反射が示されており、２'にはモニタの上縁部に位置する光源２の角膜からの反射が示されている。異なる反射の位置とその距離はピクチャ内で決定され、その場合の決定は良好な精度で行うことができる。フォトセンサ４から眼までの距離を決定するために、４つの反射のパターン、すなわち主として異なる反射の相互の位置が評価される。特に、２'、３'ｂでの４つの反射によって形成されるパターンのサイズはフォトセンサから眼までの距離によって左右される。眼がフォトセンサから遠い距離に位置するほど、パターンの寸法は小さくなる。このように、モニタ１がユーザの眼の位置から離れている距離の尺度が得られる。この場合はさらに、３'ｂでの同軸の光源３の反射からユーザの眼が位置する二次元の場所に関する情報が得られる。
【００３３】
このように、図１のシステムは動作時に光線設定位置（ｉ）と光線設定位置（ii）の間で交代する。ユーザが見ているモニタ上の位置を示すことができるにはこれらの２つの光線設定位置からの情報が必要である。光線設定位置（ｉ）では、ユーザの凝視方向が検知され、光線設定位置（ii）では、ユーザの位置が検知される。コンピュータのユーザにとって、眼の動きは通常は頭の動きよりもずっと迅速である。このことは、ユーザが見ているコンピュータのモニタ上の点を決定する際の優れた精度を得るためには、フォトセンサ４から奥行き方向でのユーザの位置に関する情報よりも、ユーザの凝視角度に関する最新の更新情報を有することのほうが重要であることを意味している。経験によれば、光線設定位置（ｉ）で取り込まれた４つのピクチャが光線設定位置（ii）での各ピクチャに対して分析された場合に、優れた精度を有するシステムが得られることが示されている。凝視点を決定するためには、光線設定位置（ｉ）で撮られた最後のピクチャからの情報と光線設定位置（ii）で取り込まれた最後のピクチャからの情報が常に利用される。
【００３４】
図２には２つの光源の反射像間の距離が、反射面から光源及び同じ平面に位置するものと想定されている検知器までの距離に左右される態様を概略的に示している。反射面と光源を通る平面との距離は像間の距離の平方根とほぼ反比例する。このような関係、又は図２に示されているような幾分より正確な関係は装置の個々の校正で得られる絶対値と共に、例えばユーザの頭が動くときに各ユーザがモニタ上のカーソルを制御するための充分に正確な距離の決定が与えられるために利用可能である。
【００３５】
上記の装置で使用されるフォトセンサは高解像度形のものである。このようにして、ユーザは精度の劣化を招くことなく彼女／彼の頭をより大きく動かすことが許容される。計算ユニットへの負荷を軽減し、システムのサンプリング速度を高めるために、その際にフォトセンサからのデータは必要以上には使用されない。計算ユニットは、各々の新たなピクチャが撮られ、又は各々の新たなピクチャ内で使用される前に露光されるべきフォトセンサの感応面の部分を選択するために眼が以前のピクチャ内で検出した部分に関する情報を利用し、これに従ってフォトセンサを制御する。ユーザの眼が先行ピクチャで検出された場合は、フォトセンサの感応面の画素の小部分だけしか利用されない。眼が認められなかった場合に限り、フォトセンサの感応面の全ての画素からのデータが利用され、又はいずれにせよ、例えば全ピクチャ領域についてデータのダウン・サンプリングによって得られたピクチャ全体を表すデータが使用される。このようにして、眼と奥行き方向での眼の距離を検知するのは比較的遅いが、眼が検出された後は眼、及び特に凝視方向を高速度で追跡可能であるシステムが得られる。
【００３６】
眼は、眼の位置及び凝視方向と共に図４ａ又は５ａに示されているように取り込まれたピクチャが現れる態様を制御するユニークな物理特性を有している。これらのピクチャから得ることができるデータから人が見ている位置を決定できるようにするため、システムは必要ならばモニタの前に座っている人に対して個々に校正可能である。加えて、システムは眼がどの眼であるのか、すなわち図４ｂ及び５ｂに基づいて計算された境界線がユーザの左眼と右眼のどちらに関連しているかを知る必要がある。
【００３７】
フォトセンサ４にユーザの両眼が見える場合は、どれが左眼でどれが右眼であるかを示すことは容易であるが、片眼だけしか検出されない場合は、それがどちらの眼であるかを決定するためには別の方法が必要である。ここでこのような方法を説明し、その様々なステップも図６の流れ図で示す。影響を及ぼす第１の要因はユーザの眼が動く速度である。眼が動くことができる速度には上限がある。その結果、以前のピクチャの所定位置に判明している眼がある場合は、この眼は以前のピクチャが取り込まれた後、限定された距離しか動くことができない。したがって、前から判明している眼と新たに検出された眼との距離が長すぎる場合は、今検出された眼は以前に検知された眼とは異なる眼である。以前から判明している眼がその時点で判明している唯一の眼である場合でも、他の眼がそこに位置している領域があった筈である。このようにして、判明していない眼が新たな眼が検出された位置に移動し得たのか否かを決定するためにユーザの眼の間の距離を利用できる。この距離がユーザの片眼についてだけにしては充分に短い場合は、検出された眼はこの眼と同一のものである筈である。
【００３８】
前記の判断基準がどの眼が検出されたかに関する情報を与えない場合は、検討に値する別の要因が存在する。この要因は眼がフォトセンサの縁部にどの程度近接した位置にあるかということである。眼の位置が、他の眼がセンサの視野の外側に位置するほどフォトセンサの縁部に近接している場合で、この眼が検出された眼の外側にあった場合は、これがその通りであるか、又は他の眼がフォトセンサの凝視角内に位置しているか、おそらくはユーザが眼を閉じているために隠れているかのいずれかである。この場合はシステムは、検出された眼が、他の眼がフォトセンサの視野の外側にあることを示唆する眼であるものと推測することが許容される。どの眼が検出されたのかをシステムが推測した後、システムから送られるデータにより低い機密レベルが設定され、これらのデータが安全ではないことが示される。
【００３９】
図７には人の眼及び凝視方向を決定し、追跡する際に実行される様々なステップの流れ図が示されている。最初のステップ７１で、光線設定位置（ｉ）、すなわち素子３'だけがスイッチオンされている位置での照明でピクチャが取り込まれる。ピクチャ内で瞳孔、すなわちそれらの境界線と光源の反射とが決定される。次のブロック７３で、どれがどの眼であるかを決定するために図６に基づく手順が実行される。次にステップ７５で、ピクチャ内で両眼が検出されたか否かが決定される。検出された場合はブロック７７が実行され、そこで設定位置（ii）での照明で、すなわち素子３”がスイッチオンされ、ダイオード２が起動される位置でピクチャが取り込まれる。このピクチャでは、検出された眼の周囲領域に関する情報だけがユニット６に送られる。ピクチャ内の眼の反射及びひいては像が決定される。その後、ブロック７９でどれがどの眼であるかを決定するために再び図６に基づく手順が実行される。次のステップ８１で、ピクチャ内に両眼が検出されたか否かが決定される。検出された場合は、ブロック８３で眼が観察している点の計算がユニット６で行われる。次にブロック８５が実行され、そこで光線設定位置（ｉ）、すなわち素子３'だけがスイッチオンされている照明によって再びピクチャが取り込まれる。取り込まれた画像については、検出された眼の周囲領域の情報だけがユニット６に送られる。限定されたピクチャ情報から、ステップ７１と同様に瞳孔及び光源の反射が決定される。次にブロック８７で、どれがどの眼であるかを決定するために図６に基づく手順が再び実行される。次のステップ８９で、両眼がピクチャ内で検出されたか否かが決定される。検出されている場合は、ブロック９１で眼によって観察され、又は凝視された点の計算がブロック８３と同様の方法で行われる。その後ブロック９３で、取り込まれた最後の４つのピクチャが光線設定位置（ii）での照明で取り込まれたのか否かの決定が行われる。そうではない場合は、ブロック８５が再び実行され、そうである場合はブロック７７が実行される。ブロック７５、８１、及び８９のいずれかで両眼が検出されないことが決定されると、ブロック７１が再び実行される。
【００４０】
これまで本明細書に本発明の特定の実施形態を記載してきたが、当業者には多くの付加的な利点、修正、及び変更が容易に可能であることが理解されよう。したがって、本発明は広義の態様で本明細書に示し、記載してきた特定の細部、代表的なデバイス、及び例示に限定されるものではない。したがって、添付の特許請求の範囲によって定義された基本的な発明的概念、及びそれと同類の趣旨又は範囲を逸脱することなく、様々な修正を行ってもよい。したがって、添付の特許請求の範囲は本発明のこれらの真の趣旨及び範囲のこのような修正、及び変更全てを包括することを企図するものであると理解されたい。
【関連出願】
【０００１】
（関連出願）
本出願はすべての教示内容が参照によって本明細書に組み込まれている、２００２年１１月２１日に出願されたスウェーデン特許出願第０２０３４５７−７号の優先権と利益を主張するものである。
【技術分野】
【０００２】
本発明は眼及び凝視角度／方向を検知し、かつ追跡するための方法と装置に関する。このようなシステムは例えばコンピュータのユーザが見ているモニタ又はディスプレー上の位置を確認、又は決定するために利用可能である。
【背景技術】
【０００３】
眼の動きと凝視点の監視又は追跡は異なる多くの状況で利用可能である。人が見ている位置に関する情報は、人の挙動と認識を分析するために利用可能である。これは人が見ている対象物の評価、及びそれぞれの人の評価の双方に利用できる。利用分野は多く、その中にはソフトウェアや異なる種類のインターフェースの利用可能性に関する研究；ホームページ、広告、宣伝の評価；シミュレータ環境でのパイロットを教育する手段；心理学、行動科学、人の知覚の調査；様々な種類の視覚障害や病気の診断を挙げることができる。
【０００４】
これらの用途に加えて、異なる態様で応答又は反応するために人が見ている場所に関する情報を用いる対話式の用途も存在する。例えば身体障害者は彼が見ているコンピュータのモニタ上の対象物が活動される手順によってコンピュータと対話することができる。アーケード・ゲームでは、人が見ている対象物が画像の中心に来るようにする手順、又は彼／彼女の眼を使って武器の方向を定めるようにできる手順によって、ゲームの冒険体験を極めて増強させることができる。同様に、店舗のウインドウ内のクリスマス向けの広告又はディスプレーは、人が見ていることに反応することができる。例えばコンピュータ用のインターフェースはユーザが関心を持つ対象物をより良好にディスプレーでき、またユーザの異なる行動に知的に適応できるように、ユーザが見ている位置に関する継続的な情報を利用可能であろう。ドライバーが見ている位置に関する情報を受け取る自動車は、ドライバーが疲労し、気が散り、又は酔っている場合に警報を発する。眼の動きを利用して武器を向け、又は車両を操縦するための軍事的な用途も開発されている。これらは眼と凝視角度を検知し、追跡可能である装置にとって重要な利用分野のうちの少数であるに過ぎない。
【０００５】
眼及びその凝視角度を追跡するために利用可能な多くの異なる技術が存在する。第１の技術はフォトセンサと光源を使用し、その光線が角膜及び眼のレンズから反射されることによって、異なる４つの反射を誘発するものである。最高の光強度を有する反射は第１プルキニエ反射とも呼ばれる外角膜反射又は輝きである。その後、第２、第３、第４のプルキニエ反射が続き、これらは角膜の内表面、レンズの外表面、レンズの内表面に対応するものである。第１と第４のプルキニエ反射は同じ焦点面に位置し、これらの２つの反射の位置関係は眼の回転と共に変化する。
【０００６】
眼とその凝視角度を追跡するための第２の技術は、ある種のフォトセンサを使用して眼の白膜又は強膜と虹彩との間の境界線を検知することである。第３の技術はカメラを使用して人の顔を検知し、眼が顔に対してどのように動くかを確認することによって、人が見ている方向を間接的に推測することである。第４の技術は眼の回転を測定するために、角膜と網膜が異なる電位を有することを利用することである。第５の技術はコンタクト・レンズ、ひいては眼がどのように回転するかを測定できるように、適したデバイスを取り付けたコンタクト・レンズを使用することである。第６の技術は、フォトセンサを使用して眼が回転する際の瞳孔又は虹彩の楕円率を測定することである。第７の技術は、一対の眼鏡に装着されたダイオードと２つ以上の光学トランジスタを使用することである。ダイオードからの光線が角膜から反射し、次に光学トランジスタに入射すると、トランジスタによって供給される信号がダイオードから角膜を経てトランジスタまでの光線の進行距離に応じて変化する。第８の技術はフォトセンサを使用して角膜からの光源の反射を検知し、次にその位置が瞳孔又は虹彩の中心とどのように関係しているかを確認することである。この場合、眼の網膜を照明するフォトセンサの近傍に装着された照明デバイスを使用し、それによってブライト・アイ効果を生じ、又は眼を照明して虹彩が明るくなり、一方瞳孔が暗くなるようにすることによって瞳孔をより容易に確認可能になる。
【０００７】
米国特許第５，８６１，９４０号には、眼を検知し、凝視角度を追跡するためのシステムが開示されている。このシステムは、適した光学系を備え、眼の前に焦点がある集束光ビームを発する赤外線レーザー２と、拡散光ビームを交互に発する２つの赤外線レーザー又は赤外線ダイオード９、１０とを備えた光源を含んでいる。位置感知検知器を使用して網膜からの反射を検知することによって、眼の位置に関する情報が得られる。複数の光源の角膜からの赤外線反射を検知することによって、ビデオカメラから眼までの距離が決定される。後者の２つの赤外線レーザーはコンピュータのモニタ１の底縁部に位置している。他のシステムは米国特許明細書第６，０７９，８２９号、第６，１５２，５６３号及び第６、２４６、７７９号に開示されている。
【０００８】
ビデオカメラを使用した自動システムでは、ユーザの眼からの光源の反射が位置する、取り込まれたピクチャ内の位置を決定することは困難である。これはその他の事柄と共に、ユーザが彼／彼女の頭を動かし、これを横に移動させ、又はカメラとの距離を短くしたり長くしたりすることがあるということによるものである。自動システムは眼の像が位置する領域を決定するために複雑な画像処理及び画像認識ルーチンを含む。したがって、取り込まれたピクチャ内の眼の反射及び像が位置する領域の上記のような決定を容易にするための方法が必要である。さらに、モニタのような表面上の関連点を決定する際に、ユーザの眼とモニタとの距離が常に決定されなければならず、したがってこのような決定のための効率的な方法が必要である。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明の課題は眼及び凝視角度／方向を検知し、追跡する効率的な方法と装置を提供することにある。
【課題を解決するための手段】
【００１０】
眼及び凝視角度／方向を検知する方法とデバイスには、適した光学系又はビデオカメラを備えたＣＣＤユニット又はＣＭＯＳユニット、１つ又は複数の光源、計算及び制御ユニットのようなフォトセンサが使用される。例えば人が見ているモニタ上の位置を決定するには、モニタから見た人の眼の奥行き方向と横方向の双方での人の眼の位置と眼が見ている方向が判明しなければならない。二次元での角度と位置だけしか判明していない場合は、眼が奥行き方向に動いた場合に視差ひずみが生ずる。この視差ひずみは多くの用途で許容されるものよりも大幅に大きい場合が多い。
【００１１】
眼の位置、すなわちフォトセンサ又はモニタに対する眼の位置を決定するため、互いに距離を隔てて配置された２つ以上の光源を使用して眼が照明される。そこで、人の角膜からフォトセンサへのこのような光源の反射像は、人が位置しているフォトセンサの視野内の位置によって左右される。フォトセンサ上の反射像は、フォトセンサの視野内のどこに人が位置しているかを正確に決定するために必要なすべての情報を提供する。眼の角膜が球形であると想定した場合、この関数は明確に定義され、光源の数が２個のように少ない場合でも既に反転可能であるが、より高度の想定を用いれば、複数の光源の反射から形成されるパターン全体、すなわち相互に対する、及びピクチャ全体での反射の位置を評価することによって眼が位置する場所を決定する上で優れた精度と信頼性が得られる。単純な場合には、取り込まれたピクチャ内でのパターンのサイズとその位置だけが決定される。
【００１２】
このように、この方法では現実の二次元ピクチャを作成するためにフォトセンサが用いられ、かつ一般に１つ又は複数の光源が使用される。光源（単数又は複数）は、拡散して反射する面をフォトセンサにとってより容易に確認できるように、また角膜に達する光源（単数又は複数）によって反射を生じ、これがフォトセンサによって個別の明点として体験されるように、フォトセンサの視野内にある眼を照明する。
【００１３】
フォトセンサによって作成された二次元ピクチャはそこにあるであろう眼と、光線反射が位置するピクチャ内の位置を決定するために、複雑な画像処理を利用して分析される。次にこの情報は眼がどの位置にあるか、及び／又はそれらがどの方向を見ているかを決定するために利用され、そして次にそれは例えばコンピュータのユーザが見ているモニタ上の位置を決定するために利用可能である。
【００１４】
二次元ピクチャ内で瞳孔及び／又は虹彩が探索される。瞳孔の画像は１つ又は複数の光源によってこれを照明することによってより容易に確認できる。光源（単数又は複数）は光学系からフォトセンサ上の二次元ピクチャを焦点合わせする距離を隔てて配置することができる。その結果、照明光線の少ない部分だけが眼に入り、したがって瞳孔は周囲の顔よりも暗く見える。このようにして、瞳孔と角膜との間の境界線を照明が用いられない場合よりも容易に確認できる。
【００１５】
上記の照明方法の代替方法は、光源（単数又は複数）をフォトセンサ上の二次元ピクチャの焦点を合わせる光学系上に又はその極めて近傍に配置することを含んでいる。その場合は、光源（単数又は複数）の拡散したフィールドはフォトセンサの視野及び、フォトセンサの視野内に位置する眼に対応する。光源（単数又は複数）によって照明される網膜上の点はフォトセンサ上に結像されるものと同じであるか、又は少なくとも部分的に同じ点になる。その結果、瞳孔はその周囲よりも明るく見える。この現象は写真上の眼が赤みを帯びたカラーに見えることがある現象と同一である。
【００１６】
可能な限り最強のブライト・アイ効果を達成するため、光源（単数又は複数）はセンサの視野と干渉しないようにフォトセンサの視軸のできるだけ近傍に取り付けられる。そこで、フォトセンサが見ている眼の網膜部分は光源（単数又は複数）によって照明される網膜部分と大幅に一致する。光源（単数又は複数）をフォトセンサにピクチャを焦点合わせする光学系の前に配置しなければならない場合は、フォトセンサと同じ形状の中心穴を有する光源は、センサの視野と干渉しないように光源（単数又は複数）をフォトセンサの視軸のできるだけ近傍に配置するためのよい方法である。光源が光学系からより長い距離だけ隔てて配置されるほど、フォトセンサの視野と干渉しないようにするため穴は大きくなければならない。したがって、ブライト・アイ効果をめざす場合は、光源を光学系のできるだけ近傍に配置できることが望ましい。
【００１７】
反射される複数の光源を使用して眼の位置が決定されると同時に、眼の方向を決定するためにブライト・アイ効果を利用することによって問題が生ずることがある。ブライト・アイ効果はできるだけフォトセンサの近傍に配置された照明デバイス／光源を使用して達成される。この光源から距離を隔てて配置される照明デバイスはフォトセンサの視野内に位置する眼の瞳孔に加えて全てを照明し、ひいてはフォトセンサによって取り込まれたピクチャ内の瞳孔と虹彩とのコントラストを低減してしまう。それに加えて、瞳孔と虹彩との厳密な境界線にピクチャ内のこの追加の光源の反射が位置する公算が高く、それによってこの変わり目を探索することがますます困難になる。眼の位置を決定するという逆の見地から見ると、瞳孔を際立たせ、又は強調するために使用されるブライト・アイ効果の結果、ピクチャ内の瞳孔と瞳孔の前の角膜からの反射との変わり目の領域のコントラストが、ブライト・アイ効果を利用して瞳孔が照明されない場合と比較して低下する。このように、照明された瞳孔の画像内に位置する反射を確認することが困難になるリスクがある。これらの問題点を回避するため、一方は方向を決定し、他方は位置を決定するための２つのライト設定を互いに交代して、取り込まれた各ピクチャごとに一方だけを起動させることができる。このことは、各ピクチャから方向と位置の双方を決定することはできないが、他方ではシステムの強靭さを高めることを意味している。
【００１８】
その代わりに光源（単数又は複数）をフォトセンサの光軸から距離を隔てて配置すると暗い瞳孔が得られる一方で、光源（単数又は複数）の放射が強いほど周囲の顔はより明るくなる。このライト設定は、虹彩を検出したい場合には好適であり、さらに、ブライト・アイ効果に基づくシステムの場合のように、周囲からの拡散光線によって瞳孔と虹彩とのコントラストが低下、又は劣化することがないという利点をも有している。
【００１９】
光源（単数又は複数）によって照明される人を邪魔しないように、人の眼には見えないがフォトセンサによっては検知できる波長を有する光線を発するための光源（単数又は複数）を使用することができる。例えば、ＮＩＲ範囲の光線（ＮＩＲ＝近赤外線）、すなわち人の眼で知覚できるよりもやや長い波長を有する光線を利用することができる。このような光線は可視光線を検知するように設計されたほとんどのフォトセンサによって検知可能である。
【００２０】
使用されるフォトセンサは高分解能形／高解像度形のものであることが有利である。その結果、フォトセンサ全体が露光されれば実際に大量のデータが得られる。処理に使用されるリソースを節減するため、所定の関心対象領域（ＡＯＩ）からのデータだけを選択可能である。このように、フォトセンサと計算ユニットとの間の通信リンク上の負荷を軽減するため、計算ユニットはフォトセンサに対して現在のＡＯＩから来るデータだけを供給するように選択可能である。このようにして、計算リソースと通信リソースの双方を他の目的のために開放することができる。フォトセンサを露光するために適切なＡＯＩを選択できるようにするため、有利には直前のピクチャ内で眼が位置していた位置に関する情報が利用される。
【００２１】
手順において不要なピクチャ情報のできる限り多くの部分をできるだけ早く廃棄できれば、大きな利点が得られる。フォトセンサが情報の一部だけを露光し、又はセンサの表面から評価ユニットへと送るようにされていれば、これまでは不可能であった新たな可能性が生ずる。このようにして、手順の動作を遅くすることなく極めて高い解像度を有するフォトセンサを使用することができる。フォトセンサから評価ユニットまでの充分な伝送速度を得るために、高度化され、始動に手間取り、コストが高いカメラ・インターフェースの代わりに標準型のＰＣバスを使用することができる。さらに、センサの選択された部分だけが露光されれば、多くの場合はフォトセンサ・データの露光及び読出しにはより短い期間しか必要としない。その結果、追跡される眼の凝視点を決定する際に高い速度が得られる。このことは心理学の研究のような多くの用途で有用である。
【００２２】
本発明のその他の目的と利点は以下の説明に記載され、その一部は説明から明らかであり、又は本発明の実施から学習できる。本発明の目的と利点は特に添付の特許請求の範囲に記載されている方法、ステップ、手段、及びそれらの組合せによって実現でき、獲得できる。
【００２３】
本発明の新規の特徴は特に添付の特許請求の範囲に記載されているが、構成及び内容の双方に関する本発明の、及び上記の及びその他の特徴の完璧な理解は、添付図面を参照した限定的ではない実施形態の下記の詳細な説明を検討することによってより明解に得られよう。
【図面の簡単な説明】
【００２４】
【図１】眼と凝視核とを検知及び追跡するための装置の実施形態の正面から見た概略図である。
【図２】フォトセンサによって取り込まれた二次元ピクチャ内で、フォトセンサから角膜までの距離で角膜から反射された２つの光源間の距離による依存を示す概略図である。
【図３】異なるダイオードがスイッチオン、スイッチオフされた場合にブライト・アイ効果を達成するためのフォトセンサの視野と同軸の照明デバイスの実施形態の例の正面から見た概略図である。
【図４】眼の凝視角及びフォトセンサの二次元座標系内に眼がある位置を決定できるようにするためにフォトセンサを使用して取り込まれ、照明された眼のピクチャを示す図（ａ）と、図４ａのピクチャの境界線分析を利用して得られたピクチャを示す図（ｂ）である。
【図５】図４ａと同様であるが、フォトセンサから眼までの距離の決定を可能にするために照明された眼のピクチャを示す図（ａ）と、図５ａのピクチャの境界線分析を利用して得られたピクチャを示す図（ｂ）である。
【図６】どの眼がユーザの右眼又は左眼であるかを決定するために二次元画像内で検出された眼に関する情報を処理するためのステップを示した流れ図である。
【図７】眼の凝視方向及び位置を決定するために装置内で行われる手順全体の流れ図である。
【発明を実施するための形態】
【００２５】
図１にはコンピュータのユーザが注視／凝視しているモニタ１上の点を決定する装置が示されている。決定はユーザの眼を追跡することによって、特に眼の凝視角度とモニタから眼までの距離を決定することによって行われる。装置はモニタ１、モニタ１の上縁部の直線に沿って装着された３つの同一の光源２、モニタの底縁部の中心に配置され、不要な光線をフィルタリングして除去し、かつフォトセンサの感応面上へピクチャの焦点を合わせるの双方のためにフォトセンサの前に配置されている適切な光学系（図示せず）を備えたフォトセンサ４と、フォトセンサの光軸と同軸に配置されている、すなわちフォトセンサの感応面の全ての側の周りに配置されている光源３とを含んでいる。感応面は図示のように、長方形の形状を有している。同軸の光源３は、図３ａ、３ｂを参照すると、２つの群、すなわち第１の内側の群と第２の外側の群内に配置されている複数の発光素子３'、３”を含んでいる。内側の群内では発光素子３'は感応面の縁部又は側部の近傍に配置されている。長方形の感応性領域を含む実施形態では、３つの素子が長方形のそれぞれの長辺に沿って配置され、２つの素子がその短辺に配置されている。外側の群内には、発光素子３”が感応領域の中心から見て内側の群内の素子の外側に、感応領域から大きい距離を隔てて配置されている。図示した実施形態では、外側の群内には内側の群内と同数の素子が示されており、外側の群内の各素子は長方形の感応領域の中心から見て、内側の群内の２つの素子の間に配置されている。
【００２６】
図１に示されている装置の実際の実施形態では、中央のダイオードの周囲に対称に配置された６つのダイオードを含む７つのＮＩＲダイオード、ＨＳＤＬ４２３０を各々が含む３つの同一の光源２が備えられている。図３ａ、３ｂに基づいて設計された照明ユニット３内の発光素子３'、３”と同じ種類のダイオードが使用される。
【００２７】
これらの構成要素に加えて、必要な制御やこれに関連する評価と計算を行うために、６で示されている調整用の計算及び制御ユニットだけが備えられている。計算及び制御ユニットは光源のスイッチのオン・オフを制御する。さらに、これはフォトセンサ４によって取り込まれた画像の処理、特に境界線、すなわち異なるグレー・スケール強度又はカラーを有するピクチャ内のフィールド間の線の決定を行う。眼の像内で、特に瞳孔の境界を定める境界線が決定され、そこから瞳孔の中心が得られる。これは例えば瞳孔の境界を定めるものと決定された境界線に円又は楕円を適合させることによって行うことができる。計算及び制御ユニット６は後述するように、フォトセンサ４からのデータ出力を制御する、すなわち取り込まれた画像内の、フォトセンサから計算及び制御ユニットまで情報が送られる画素を決定することもできる。
【００２８】
図３ａ、３ｂには、内側と外側の群の発光素子をスイッチオン、スイッチオフすることによって、フォトセンサ４の周囲に配置された光源３内の素子が２つの異なる方法で眼を照明することができる態様が示されている。図３に示されている、内側の群内の素子だけがスイッチオンされる１つの光線設定位置によって、フォトセンサにより検知される瞳孔の、容易に確認できるブライト・アイ効果が生じ、一方、図３ｂに示されている、外側の群内の素子だけがスイッチオンされる他の設定位置によって、容易に確認できるブライト・アイ効果を誘発することなく角膜からの反射が生ずる。
【００２９】
図１の装置が動作される際には、これは２つの光線設定位置を交代させる。設定位置（ｉ）はユーザが見ている方向を決定するために設けられている。光線設定位置（ii）では、ユーザの眼からフォトセンサまでの距離が決定される。双方の光線設定位置で、フォトセンサの二次元座標系で見てユーザの眼（単数又は複数）が位置する場所に関する情報も得られる。
【００３０】
装置が光線設定位置（ｉ）にある場合は、フォトセンサ４の視野と同軸に配置されている光源３の内側の素子３'は図３ａに示された設定位置でスイッチオンされ、フォトセンサの視野内の全ての瞳孔について強いブライト・アイ効果を与える。この光線設定位置で、モニタ１の周囲に位置する３つの光源２すべてはスイッチオフされる。すなわち内側の群内の素子だけがスイッチオンされる。次にフォトセンサ４の視野内の瞳孔の画像はブライト・アイ効果により照明される瞳孔５が図示されている図４に示されるように見え（図４ｂと比較されたい）、角膜からの光源３の反射は点形の反射３'ａのように見える。取り込まれた画像は計算ユニット６によって分析され、図４ｂに示すように境界線が決定される。ブライト・アイ効果について取り込まれたピクチャ内において瞳孔と虹彩に対応するイメージ・フィールド間には特に強いコントラストがあり（別の照明を利用して取り込まれた図５ａのピクチャと比較されたい）、したがってこれらの２つのフィールド間の境界線を優れた精度で計算することができる。この精確に決定された境界線は瞳孔の境界を定め、そこから結果的にこれも優れた精度で瞳孔の中心を決定することができる。前述のように、中心を決定する際、境界線に楕円形を適合させることを利用でき、これは瞳孔がピクチャ内で部分的にしか見えない場合に特に重要である。さらに、ピクチャ内で、反射３'ａの位置と特に反射の中心が決定される。最後に、反射３ａ’の中心からの瞳孔５の中心へのベクトルが計算される。
【００３１】
凝視方向、すなわちユーザが見ている方向を決定するため、上記の説明に基づいて決定されたベクトルが利用される。このベクトルの方向はカメラの光軸から捉えたユーザが見ている方向を示し、ベクトルの大きさはこれもカメラの光軸に対して捉えたユーザが見ている角度を示す。さらに、反射３'ａの中心は二次元で見たユーザの眼の位置に関する情報をもたらす。
【００３２】
システムが光線設定位置（ii）にある場合は、フォトセンサの視野と同軸である光源３内の外側の群内の素子３”は、明確に確認できるブライト・アイ効果を生じない、図３ｂに示されている光線設定位置にスイッチされる。同時に、モニタの上縁部に位置する３つの光源２はこの光線設定位置にスイッチオンされる。図５ａはこの設定位置で、眼の異なる位置に対応するイメージ・フィールド間のコントラストが比較的低い状態でフォトセンサ４上に眼を結像させる態様を示している。さらに図５ｂに示されているように、このピクチャが境界線を得るために分析され、眼の異なる部分に対応するフィールドの決定された境界線の精度は図４ｂに基づいて瞳孔の境界を定める境界線よりも低いことがある。しかし、図５ｂに示されたピクチャでは、異なる反射は極めて明瞭に見える。３'ｂ（図５ｂの分析されたピクチャを参照）に、図３ｂに見られる場合に基づいてスイッチオンされた光源３の角膜からの反射が示されており、２'にはモニタの上縁部に位置する光源２の角膜からの反射が示されている。異なる反射の位置とその距離はピクチャ内で決定され、その場合の決定は良好な精度で行うことができる。フォトセンサ４から眼までの距離を決定するために、４つの反射のパターン、すなわち主として異なる反射の相互の位置が評価される。特に、２'、３'ｂでの４つの反射によって形成されるパターンのサイズはフォトセンサから眼までの距離によって左右される。眼がフォトセンサから遠い距離に位置するほど、パターンの寸法は小さくなる。このように、モニタ１がユーザの眼の位置から離れている距離の尺度が得られる。この場合はさらに、３'ｂでの同軸の光源３の反射からユーザの眼が位置する二次元の場所に関する情報が得られる。
【００３３】
このように、図１のシステムは動作時に光線設定位置（ｉ）と光線設定位置（ii）の間で交代する。ユーザが見ているモニタ上の位置を示すことができるにはこれらの２つの光線設定位置からの情報が必要である。光線設定位置（ｉ）では、ユーザの凝視方向が検知され、光線設定位置（ii）では、ユーザの位置が検知される。コンピュータのユーザにとって、眼の動きは通常は頭の動きよりもずっと迅速である。このことは、ユーザが見ているコンピュータのモニタ上の点を決定する際の優れた精度を得るためには、フォトセンサ４から奥行き方向でのユーザの位置に関する情報よりも、ユーザの凝視角度に関する最新の更新情報を有することのほうが重要であることを意味している。経験によれば、光線設定位置（ｉ）で取り込まれた４つのピクチャが光線設定位置（ii）での各ピクチャに対して分析された場合に、優れた精度を有するシステムが得られることが示されている。凝視点を決定するためには、光線設定位置（ｉ）で撮られた最後のピクチャからの情報と光線設定位置（ii）で取り込まれた最後のピクチャからの情報が常に利用される。
【００３４】
図２には２つの光源の反射像間の距離が、反射面から光源及び同じ平面に位置するものと想定されている検知器までの距離に左右される態様を概略的に示している。反射面と光源を通る平面との距離は像間の距離の平方根とほぼ反比例する。このような関係、又は図２に示されているような幾分より正確な関係は装置の個々の校正で得られる絶対値と共に、例えばユーザの頭が動くときに各ユーザがモニタ上のカーソルを制御するための充分に正確な距離の決定が与えられるために利用可能である。
【００３５】
上記の装置で使用されるフォトセンサは高解像度形のものである。このようにして、ユーザは精度の劣化を招くことなく彼女／彼の頭をより大きく動かすことが許容される。計算ユニットへの負荷を軽減し、システムのサンプリング速度を高めるために、その際にフォトセンサからのデータは必要以上には使用されない。計算ユニットは、各々の新たなピクチャが撮られ、又は各々の新たなピクチャ内で使用される前に露光されるべきフォトセンサの感応面の部分を選択するために眼が以前のピクチャ内で検出した部分に関する情報を利用し、これに従ってフォトセンサを制御する。ユーザの眼が先行ピクチャで検出された場合は、フォトセンサの感応面の画素の小部分だけしか利用されない。眼が認められなかった場合に限り、フォトセンサの感応面の全ての画素からのデータが利用され、又はいずれにせよ、例えば全ピクチャ領域についてデータのダウン・サンプリングによって得られたピクチャ全体を表すデータが使用される。このようにして、眼と奥行き方向での眼の距離を検知するのは比較的遅いが、眼が検出された後は眼、及び特に凝視方向を高速度で追跡可能であるシステムが得られる。
【００３６】
眼は、眼の位置及び凝視方向と共に図４ａ又は５ａに示されているように取り込まれたピクチャが現れる態様を制御するユニークな物理特性を有している。これらのピクチャから得ることができるデータから人が見ている位置を決定できるようにするため、システムは必要ならばモニタの前に座っている人に対して個々に校正可能である。加えて、システムは眼がどの眼であるのか、すなわち図４ｂ及び５ｂに基づいて計算された境界線がユーザの左眼と右眼のどちらに関連しているかを知る必要がある。
【００３７】
フォトセンサ４にユーザの両眼が見える場合は、どれが左眼でどれが右眼であるかを示すことは容易であるが、片眼だけしか検出されない場合は、それがどちらの眼であるかを決定するためには別の方法が必要である。ここでこのような方法を説明し、その様々なステップも図６の流れ図で示す。影響を及ぼす第１の要因はユーザの眼が動く速度である。眼が動くことができる速度には上限がある。その結果、以前のピクチャの所定位置に判明している眼がある場合は、この眼は以前のピクチャが取り込まれた後、限定された距離しか動くことができない。したがって、前から判明している眼と新たに検出された眼との距離が長すぎる場合は、今検出された眼は以前に検知された眼とは異なる眼である。以前から判明している眼がその時点で判明している唯一の眼である場合でも、他の眼がそこに位置している領域があった筈である。このようにして、判明していない眼が新たな眼が検出された位置に移動し得たのか否かを決定するためにユーザの眼の間の距離を利用できる。この距離がユーザの片眼についてだけにしては充分に短い場合は、検出された眼はこの眼と同一のものである筈である。
【００３８】
前記の判断基準がどの眼が検出されたかに関する情報を与えない場合は、検討に値する別の要因が存在する。この要因は眼がフォトセンサの縁部にどの程度近接した位置にあるかということである。眼の位置が、他の眼がセンサの視野の外側に位置するほどフォトセンサの縁部に近接している場合で、この眼が検出された眼の外側にあった場合は、これがその通りであるか、又は他の眼がフォトセンサの凝視角内に位置しているか、おそらくはユーザが眼を閉じているために隠れているかのいずれかである。この場合はシステムは、検出された眼が、他の眼がフォトセンサの視野の外側にあることを示唆する眼であるものと推測することが許容される。どの眼が検出されたのかをシステムが推測した後、システムから送られるデータにより低い機密レベルが設定され、これらのデータが安全ではないことが示される。
【００３９】
図７には人の眼及び凝視方向を決定し、追跡する際に実行される様々なステップの流れ図が示されている。最初のステップ７１で、光線設定位置（ｉ）、すなわち素子３'だけがスイッチオンされている位置での照明でピクチャが取り込まれる。ピクチャ内で瞳孔、すなわちそれらの境界線と光源の反射とが決定される。次のブロック７３で、どれがどの眼であるかを決定するために図６に基づく手順が実行される。次にステップ７５で、ピクチャ内で両眼が検出されたか否かが決定される。検出された場合はブロック７７が実行され、そこで設定位置（ii）での照明で、すなわち素子３”がスイッチオンされ、ダイオード２が起動される位置でピクチャが取り込まれる。このピクチャでは、検出された眼の周囲領域に関する情報だけがユニット６に送られる。ピクチャ内の眼の反射及びひいては像が決定される。その後、ブロック７９でどれがどの眼であるかを決定するために再び図６に基づく手順が実行される。次のステップ８１で、ピクチャ内に両眼が検出されたか否かが決定される。検出された場合は、ブロック８３で眼が観察している点の計算がユニット６で行われる。次にブロック８５が実行され、そこで光線設定位置（ｉ）、すなわち素子３'だけがスイッチオンされている照明によって再びピクチャが取り込まれる。取り込まれた画像については、検出された眼の周囲領域の情報だけがユニット６に送られる。限定されたピクチャ情報から、ステップ７１と同様に瞳孔及び光源の反射が決定される。次にブロック８７で、どれがどの眼であるかを決定するために図６に基づく手順が再び実行される。次のステップ８９で、両眼がピクチャ内で検出されたか否かが決定される。検出されている場合は、ブロック９１で眼によって観察され、又は凝視された点の計算がブロック８３と同様の方法で行われる。その後ブロック９３で、取り込まれた最後の４つのピクチャが光線設定位置（ii）での照明で取り込まれたのか否かの決定が行われる。そうではない場合は、ブロック８５が再び実行され、そうである場合はブロック７７が実行される。ブロック７５、８１、及び８９のいずれかで両眼が検出されないことが決定されると、ブロック７１が再び実行される。
【００４０】
これまで本明細書に本発明の特定の実施形態を記載してきたが、当業者には多くの付加的な利点、修正、及び変更が容易に可能であることが理解されよう。したがって、本発明は広義の態様で本明細書に示し、記載してきた特定の細部、代表的なデバイス、及び例示に限定されるものではない。したがって、添付の特許請求の範囲によって定義された基本的な発明的概念、及びそれと同類の趣旨又は範囲を逸脱することなく、様々な修正を行ってもよい。したがって、添付の特許請求の範囲は本発明のこれらの真の趣旨及び範囲のこのような修正、及び変更全てを包括することを企図するものであると理解されたい。
【特許請求の範囲】
【請求項１】
ユーザの頭部の方向に光線を発する１つ又は複数の光源と、
ユーザの頭部からの光線を受光し、そのピクチャを反復的に取り込む検知器と、
眼の位置及び／又は凝視方向を決定するために前記検知器に接続された評価ユニットと、を備える眼検知装置であって、
前記評価ユニットは、
前記検知器によって取り込まれたピクチャ内の、単数又は複数の目の像が位置している領域を決定し、
前記領域の決定後、前記検知器によって取り込まれた像の前記決定された領域に対応する連続的な、又は後続のピクチャに関する情報だけを前記評価ユニットに送るように前記検知器を制御し、
眼の検知を行うために前記評価ユニットに送られた情報を用いて前記検知器に対する奥行き方向と横方向における眼の位置を決定し、
前記検知器は、前記決定された領域に対応する前記検知器の表面部分からの情報だけを、ひいては次に前記評価ユニットに送られるデータを読み出すように構成されていることを特徴とする眼検知装置。
【請求項１】
ユーザの頭部の方向に光線を発する１つ又は複数の光源と、
ユーザの頭部からの光線を受光し、そのピクチャを反復的に取り込む検知器と、
眼の位置及び／又は凝視方向を決定するために前記検知器に接続された評価ユニットと、を備える眼検知装置であって、
前記評価ユニットは、
前記検知器によって取り込まれたピクチャ内の、単数又は複数の目の像が位置している領域を決定し、
前記領域の決定後、前記検知器によって取り込まれた像の前記決定された領域に対応する連続的な、又は後続のピクチャに関する情報だけを前記評価ユニットに送るように前記検知器を制御し、
眼の検知を行うために前記評価ユニットに送られた情報を用いて前記検知器に対する奥行き方向と横方向における眼の位置を決定し、
前記検知器は、前記決定された領域に対応する前記検知器の表面部分からの情報だけを、ひいては次に前記評価ユニットに送られるデータを読み出すように構成されていることを特徴とする眼検知装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−１１５６０６（Ｐ２０１１−１１５６０６Ａ）
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願番号】特願２０１１−４６０８９（Ｐ２０１１−４６０８９）
【出願日】平成２３年３月３日（２０１１．３．３）
【分割の表示】特願２００４−５５３３６１（Ｐ２００４−５５３３６１）の分割
【原出願日】平成１５年１１月２１日（２００３．１１．２１）
【出願人】（５０５１８９００６）トビイ・テクノロジー・エイビイ (2)
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願日】平成２３年３月３日（２０１１．３．３）
【分割の表示】特願２００４−５５３３６１（Ｐ２００４−５５３３６１）の分割
【原出願日】平成１５年１１月２１日（２００３．１１．２１）
【出願人】（５０５１８９００６）トビイ・テクノロジー・エイビイ (2)
[ Back to top ]