視線計測装置および方法
【課題】所定数・所定配置のカメラと光源を用いて視線計測可能範囲を拡大し、大画面などの広い領域に対応できる視線計測装置および方法を提供する。
【解決手段】眼球を中心とし、異なる位置同士の光源の位置とカメラの位置とから決定される第１視線計測可能範囲候補が少なくとも３つ重なる第１の視線計測可能領域、カメラレンズ中心と同一位置に光源が配置されるものがある場合、同一位置にあるカメラと光源から決定される第２視線計測可能範囲候補が第１視線計測可能範囲候補と重なる第２の視線計測可能領域、第２視線計測可能範囲候補同士が重なる第３の視線計測可能領域、これらの第１，第２，第３の視線計測可能領域を含む範囲内に、計測対象の大画面ディスプレイなどの計測対象領域が収まるように、個々のカメラおよび光源が配置される。
【解決手段】眼球を中心とし、異なる位置同士の光源の位置とカメラの位置とから決定される第１視線計測可能範囲候補が少なくとも３つ重なる第１の視線計測可能領域、カメラレンズ中心と同一位置に光源が配置されるものがある場合、同一位置にあるカメラと光源から決定される第２視線計測可能範囲候補が第１視線計測可能範囲候補と重なる第２の視線計測可能領域、第２視線計測可能範囲候補同士が重なる第３の視線計測可能領域、これらの第１，第２，第３の視線計測可能領域を含む範囲内に、計測対象の大画面ディスプレイなどの計測対象領域が収まるように、個々のカメラおよび光源が配置される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、平面もしくは曲面で構成される領域周辺の光源（発光ダイオード（ＬＥＤ）や自然光など）を利用して、大画面ディスプレイや大型スクリーン全体などの任意の領域全体で視線計測を実現する視線計測装置に関するものである。
【背景技術】
【０００２】
従来、コンピュータを操作するためのインタフェースの一種として非接触型の視線インタフェースがある。この視線インタフェースは、カメラと光源を用いて、利用者（ユーザ）の視線をデータとして検出し、検出された視線データを用いてコンピュータの画面上のアイコンなどを操作するものである。この視線インタフェースでは、利用者の眼球に赤外線などの所定光源からの光を照射して眼球を撮影し、撮影した画像の角膜表面における赤外線などの反射光と瞳孔との距離から算出される方向データを利用者の推定視線データとして検出する。
【０００３】
最新の研究では、視線インタフェースを実現する視線計測装置では、所定の画面を見ている被験者について所定光源からの光が反射した眼球画像をカメラで取得し、眼球画像中の所定光源からの反射光（プルキニエ像）を算出し、プルキニエ像から角膜の曲率中心位置を算出し、曲率中心位置に基づき角膜の曲率半径を算出し、眼球画像中の瞳孔の中心位置を算出し、角膜の曲率中心位置及び瞳孔の中心位置に基づき角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である光軸を算出する。
そして、事前に行うキャリブレーション操作等によって予め与えられた光軸とのずれ値に基づき視軸を求める（例えば、特許文献１を参照）。なお、キャリブレーションを不要とする場合には、直接光軸と視軸が一致するとして視軸を求めることが可能である。
【０００４】
上記のような視線インタフェースを実現する従来の視線計測装置では、コンピュータディスプレイの前に、計測される者（コンピュータのユーザ）が着座して、ディスプレイに表示される画面上のアイコンなどを見ることが前提とされており、ユーザが動ける範囲は限られていた。
そのため、従来の視線計測装置では、計測のために使用するカメラや光源の数は、多くても３〜４程度であった。
【０００５】
しかしながら、昨今、駅構内やビル壁面のディスプレイなど、情報共有化のためにディスプレイの大型化が進み、そのディスプレイに表示される映像コンテンツを見るユーザの視線の動く範囲が拡大している。すなわち、駅構内のディスプレイなどは縦横が数ｍ〜１０数ｍに及ぶものもあり、ユーザの頭の姿勢のみならず体の位置を動かして、ディスプレイに表示される映像コンテンツを見ることもある。
このような現状に鑑みて、ユーザが動ける範囲を拡げて、大型ディスプレイや大型スクリーンに表示される大画面に対応できる視線計測装置が必要とされている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２９７３２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記状況に鑑みて、本発明は、所定数・所定配置のカメラと光源を用いて視線計測可能範囲を拡大し、大画面などの広い領域に対応できる視線計測装置および方法を提供することを目的とする。
また、所定配置の複数の光源を用いることから、大画面を見ているユーザの角膜に映る光源の反射光が、どの光源のものであるかを判別できる視線計測装置および方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成すべく、本発明の視線計測装置は、平面もしくは曲面で構成される領域における観測者の視線を計測する装置であって、
１）各々異なる位置に配置されるＭ個（Ｍは２以上）のカメラ手段と、
２）各々異なる位置に配置されるＮ個（Ｎは２以上）の光源手段と、
３）何れかのカメラ手段により撮像された眼球画像上における光源手段のプルキニエ像の位置と、実際の光源手段の位置とを対応付けする光源対応付け手段と、
４）対応付けられた少なくとも２組のカメラ手段と光源手段の位置関係から眼球の光軸を算出する眼球光軸算出手段と、
５）眼球の光軸から眼球の視軸を算出する眼球視軸算出手段と、
を備え、
眼球を中心とし、異なる位置同士の光源手段の位置とカメラ手段の位置とから決定される第１視線計測可能範囲候補が少なくとも３つ重なる第１の視線計測可能領域、
カメラ手段のカメラレンズ中心と同一位置に光源手段が配置されるものがＬ組（ＬはＮ以下かつＭ以下）ある場合、同一位置にあるカメラ手段と光源手段から決定される第２視線計測可能範囲候補が、上記第１視線計測可能範囲候補と重なる第２の視線計測可能領域、
上記第２視線計測可能範囲候補同士が重なる第３の視線計測可能領域、
上記の第１の視線計測可能領域と第２の視線計測可能領域と第３の視線計測可能領域とを含む範囲内に、計測対象領域が収まるように、個々のカメラ手段および光源手段が配置される、ことを特徴とする。
【０００９】
かかる構成により、大型ディスプレイや大型スクリーンなどの大画面のサイズや形状に応じて、最適な数のカメラと光源を用いて視線計測可能な範囲を拡大し、大画面におけるユーザの視線計測を行うことができる。
本発明は、大画面のサイズや形状に応じて多数のカメラ手段および光源手段をどう配置するのかがポイントである。大画面の視線計測のために、多数のカメラ手段および光源手段の配置を下記（Ａ），（Ｂ）の２通りに分ける。
【００１０】
（Ａ）カメラ手段のカメラレンズ中心と同一位置に光源手段が配置されない場合、視線計測可能範囲の候補（これを、“第１視線計測可能範囲候補”とする。）は、眼球を頂点とし、カメラ手段、眼球、光源手段がなす角を２等分する線を中心とした円錐(gaze cone)の中全部である。
（Ｂ）カメラ手段のカメラレンズ中心と同一位置に光源手段が配置される場合、視線計測可能範囲の候補（これを、“第２視線計測可能範囲候補”とする。）は、眼球を頂点とし、眼球と光源手段（カメラレンズ中心と同一位置）を中心線とする円錐(gaze cone)の中全部である。
なお、同一位置には、カメラレンズに隣接させたり、ハーフミラーを用いることにより近似的に同一位置に光源手段が配置される場合も含まれる。
【００１１】
次に、視線を計測できる範囲について、第１〜第３の３通りの領域に分けて以下に説明する。
（１）上記（Ａ）の第１視線計測可能範囲候補が少なくとも３つ重なる領域（これを、“第１の視線計測可能領域”とする。）が視線を計測できる範囲である。
（２）上記（Ｂ）の第２視線計測可能範囲候補と、上記（Ａ）の第１視線計測可能範囲候補とが重なる領域（これを、“第２の視線計測可能領域”とする。）が視線を計測できる範囲である。
（３）上記（Ｂ）の第２視線計測可能範囲候補同士が重なる領域（これを、“第３の視線計測可能領域”とする。）が視線を計測できる範囲である。
【００１２】
そして、第１の視線計測可能領域と第２の視線計測可能領域と第３の視線計測可能領域を含む範囲内に、大画面の領域がカバーできるように、カメラ手段および光源手段の個数・配置を行う。
カメラ手段と光源手段が多数配置された場合、上記（１），（２），（３）の場合の角膜曲率中心Ａは、以下の（ｉ）〜（iii）でそれぞれ求めることができる。
【００１３】
（ｉ）第１視線計測可能範囲候補が３つ重なる領域がある場合
カメラ手段のレンズ中心と、光源手段位置と、カメラ手段のイメージセンサ上に映る光源手段によるプルキニエ像の位置の３点から求まる平面が３つ求まるので、その交点として、角膜曲率中心Ａが求まる。但し、この場合、３平面は同じであってはならない。また、少なくとも２つカメラを利用する必要がある。１つのカメラでは、３つの光源の場合に第１視線計測可能領域候補は３つあるが、３平面全てがカメラレンズ中心と角膜曲率中心を結ぶ線を含むため３平面は１点で交わらず、交わる部分が直線となるので、解が求まらないからである。
【００１４】
（ii）第１視線計測可能範囲候補と第２視線計測可能範囲候補が重なる場合
第１視線計測可能範囲候補からは、カメラ手段のレンズ中心と、光源手段位置と、カメラ手段のイメージセンサ上に映る光源手段によるプルキニエ像の位置の３点から求まる平面が求まり、第２視線計測可能範囲候補からは、カメラ手段のレンズ中心（光源手段位置と同一）とカメラ手段のイメージセンサ上に映る光源手段によるプルキニエ像の位置の２点から直線が求まり、それら平面と直線の交点として角膜曲率中心Ａが求まる。但し、この場合、直線は平面に含まれてはならない。
【００１５】
（iii）第２視線計測可能範囲候補同士が重なる領域がある場合
カメラ手段のレンズ中心（光源手段位置と同一）とカメラ手段のイメージセンサ上に映る光源手段によるプルキニエ像の位置の２点から求まる直線が２つ求まり、その交点として角膜曲率中心が求まる。但し、この場合、直線は同一であってはならない。
【００１６】
また、平面もしくは曲面で構成される領域とは、平面のディスプレイやスクリーンに加え、曲面のディスプレイやスクリーン、ドーム状の曲面スクリーンや、３６０°の周囲を取り囲むスクリーンなど形状が既知のものが含まれる。また、領域とは、画面領域のみならず、視線を向ける対象物が配置されている一定の領域を意味する。
【００１７】
また、上記１）のカメラ手段とは、ディジタルカメラやディジタルビデオカメラなど所定光源からの光が反射した眼球画像を取得できるものである。また、上記２）の光源手段とは、可視光から近赤外光や赤外光などの光を照射できるもので、ＬＥＤ（発光ダイオード）や赤外線レーザなどである。計測対象領域周辺の自然光を利用するのでもよい。
なお、カメラ手段や光源手段は必ずしも固定的に配置する必要はなく、電動雲台などでカメラを可動させて眼球を撮影するか、可動式のミラーで眼球を追跡するなどしてもよい。
【００１８】
また、上記３）の何れかのカメラ手段により撮像された眼球画像上における光源手段のプルキニエ像の位置と、実際の光源手段の位置とを対応付けする光源対応付け手段により、大画面を見ているユーザの角膜に映る光源の反射光が、どの光源手段の光であるかを判別する。
また、上記４）の対応付けられた少なくとも２組のカメラ手段と光源手段の位置関係から眼球の光軸を算出する眼球光軸算出手段とは、プルキニエ像から角膜の曲率中心位置を算出し、眼球画像から瞳孔の中心位置を算出し、角膜の曲率中心位置及び瞳孔の中心位置に基づき角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である光軸を算出するものである。
また、上記５）の眼球の光軸から眼球の視軸を算出する眼球視軸算出手段とは、事前に行うキャリブレーション操作等によって予め与えられた光軸とのずれ値に基づき視軸を求めるか、或いは、キャリブレーションを不要とする場合には、直接光軸と視軸が一致するとして視軸を求めるものである。
【００１９】
また、本発明の視線計測装置において、少なくとも１人の観測者の移動する範囲をすべて撮影するようにカメラ手段のカメラ配置が決定され、そして、カメラ配置された後に、計測対象領域について視線計測ができるように複数の光源手段が配置されるようにする。
これによれば、カメラ手段のカメラ配置を人間の動きについて決め、光源手段については視線をとる範囲と対応させて決めることができる。
【００２０】
また、上記の本発明の視線計測装置における光源対応付け手段は、各々の光源手段の照射光の形状パターン若しくは波長を異なるものとし、光源手段のプルキニエ像の位置と実際の光源手段の位置とを対応付けする。
視線を計算するためには、実空間における３次元的な光源位置と、眼球画像上での反射像であるプルキニエ像の位置を対応付ける必要がある。光源手段が多数ある時、光源手段が角膜に１つまたは複数反射しているが、カメラ手段により撮影されたプルキニエ像と実際の光源手段との対応付けを行なう必要がある。
【００２１】
ここで、各々の光源手段の照射光の形状パターンを異なるものにするとは、以下のａ）〜ｃ）により光源手段を判別するものである。
ａ）複数の光源手段からなる形状パターンを異なるものにするもの
ｂ）光源手段から照射する光の形状を星形，ハート型，文字型，ＱＲコードに代表される二次元コードなど光源毎にユニークなものとして光源手段を区別できるようにするもの
ｃ）ディスプレイやショーウィンドウなど形状が既知のものの自然光を用いるもの
また、各々の光源手段の照射光の波長を異なるものにするとは、光の色で光源手段を判別するものである。ここで、照射光の波長は、可視光波長のみならず赤外線波長も含む。
【００２２】
また、上記の本発明の視線計測装置における光源対応付け手段は、各々の光源手段を順次点灯させて、或いは、所定時間内に各々の光源手段をユニークに点滅させて、光源手段のプルキニエ像の位置と実際の光源手段の位置とを対応付けする。
ここで、各々の光源手段を順次点灯させるとは、順番に光源手段を点灯させて、眼球に映るプルキニエ像を対応させるものである。すなわち、眼球上に複数のプルキニエ像が存在する場合、順番に光源手段を点灯させて、複数の光源手段を１つずつ特定する。
また、所定時間内に各々の光源手段をユニークに点滅させるとは、光源手段の点灯・消灯を２値データとし、特定の光源手段と対応付けするものである。
【００２３】
また、上記の本発明の視線計測装置において、光源手段の照射光が赤外線であることがより好ましい態様である。
光源手段の照射光を肉眼でとらえることができない赤外線にすることにより、ディスプレイやスクリーンの枠外のみならず、枠内に光源手段を配置することができる。照射光が目に見えるものではなく、ディスプレイ等の枠内に配置されても、本来のコンテンツ画像の妨げとならない。ディスプレイやスクリーンの内外に光源手段を配置可能で、光源手段の配置制約が緩和されることにより視線計測可能範囲を拡大できる。
【００２４】
また、上記の本発明の視線計測装置において、光源手段とカメラ手段の少なくとも一方が計測対象領域よりも眼球側に近づいた位置に配置されているものでもよい。
第１〜第３の視線計測可能領域の３つの条件の１つでも成立していれば視線を計測できるので、光源手段やカメラ手段の配置の自由度を向上する。
【００２５】
次に、本発明の視線計測方法は、平面もしくは曲面で構成される領域内外に、各々異なる位置に配置されるＭ個（Ｍは２以上）のカメラ手段と、各々異なる位置に配置されるＮ個（Ｎは２以上）の光源手段とを用いて、領域における視線を計測する方法であって、下記ステップ１〜４を備えたことを特徴とする。
【００２６】
ステップ１）眼球を中心とし、異なる位置同士の光源手段の位置とカメラ手段の位置とから決定される第１視線計測可能範囲候補が少なくとも３つ重なる第１の視線計測可能領域、
カメラ手段のカメラレンズ中心と同一位置に光源手段が配置されるものがＬ組（ＬはＮ以下かつＭ以下）ある場合、同一位置にあるカメラ手段と光源手段から決定される第２視線計測可能範囲候補が、上記第１視線計測可能範囲候補と重なる第２の視線計測可能領域、
上記第２視線計測可能範囲候補同士が重なる第３の視線計測可能領域、
上記の第１の視線計測可能領域と第２の視線計測可能領域と第３の視線計測可能領域とを含む範囲内に、計測対象領域が収まるように、個々のカメラ手段および光源手段を配置するカメラ・光源配置ステップ
【００２７】
ステップ２）何れかのカメラ手段により撮像された眼球画像上における光源手段のプルキニエ像の位置と、実際の光源手段の位置とを対応付けする光源対応付けステップ
ステップ３）対応付けられた少なくとも２組のカメラ手段と光源手段の位置関係から眼球の光軸を算出する眼球光軸算出ステップ
ステップ４）眼球の光軸から眼球の視軸を算出する眼球視軸算出ステップ
【００２８】
かかる構成により、大型ディスプレイや大型スクリーンなどの大画面のサイズや形状に応じて、最適な数のカメラと光源を用いて視線計測可能な範囲を拡大し、大画面におけるユーザの視線計測を行うことができる。
【００２９】
また、本発明の視線計測方法におけるカメラ・光源配置ステップ（上記ステップ１）において、少なくとも１人の観測者の移動する範囲をすべて撮影するようにカメラ手段のカメラ配置を決定した後に、計測対象領域について視線計測ができるように光源手段を配置する。
これによれば、カメラ手段のカメラ配置を人間の動きについて決め、光源手段については視線をとる範囲と対応させて決めることができる。
【００３０】
また、上記の本発明の視線計測方法における光源対応付けステップ（上記ステップ２）は、各々の光源手段の照射光の形状パターン若しくは波長を異なるものとし、光源手段のプルキニエ像の位置と実際の光源手段の位置とを対応付けすることがより好ましい。
視線を計算するためには、実空間における３次元的な光源位置と、眼球画像上での反射像であるプルキニエ像の位置を対応付ける必要がある。光源が多数ある時、光源が角膜に複数反射しているが、このような場合は、カメラ手段により撮影されたプルキニエ像と実際の光源手段との対応付けを行なう必要がある。
ここで、各々の光源手段の照射光の形状パターンを異なるものにするとは、上述した如く、ａ）複数の光源手段からなる形状パターンを異なるものとするもの、ｂ）光源手段から照射する光の形状を星形，ハート型，文字型，ＱＲコードに代表される二次元コードなど光源毎にユニークなものとするもの、ｃ）形状が既知のものの自然光を用いるものにより光源手段を判別するものである。また、各々の光源手段の照射光の波長を異なるものにするとは、光の色（可視光波長のみならず赤外線波長も含む）で光源手段を判別するものである。
【００３１】
上記の本発明の視線計測方法における光源対応付けステップ（上記ステップ２）は、各々の光源手段を順次点灯させて、或いは、所定時間内に各々の光源手段をユニークに点滅させて、光源手段のプルキニエ像の位置と実際の光源手段の位置とを対応付けする。
ここで、各々の光源手段を順次点灯させるとは、順番に光源手段を点灯させて、眼球に映るプルキニエ像を対応させるものである。また、所定時間内に各々の光源手段をユニークに点滅させるとは、光源手段の点灯・消灯を２値データとし、特定の光源手段と対応付けするものである。
【発明の効果】
【００３２】
本発明によれば、所定数・所定配置のカメラと光源を用いて視線計測可能範囲を拡大し、大画面などの広い領域に対応できるといった効果を有する。
また、本発明によれば、大画面を見ているユーザの角膜に映る光源の反射光が、どの光源のものであるかを判別できるといった効果を有する。
【図面の簡単な説明】
【００３３】
【図１】本発明の視線計測装置の機能ブロック図
【図２】カメラ、光源、眼球を頂点とした円錐（gaze cone）の底面の関係の説明図
【図３】光源の位置を動かして視線計測可能範囲を変更できることの説明図
【図４】大型ディスプレイの周囲に光源とカメラを設置する場合における視線計測可能範囲を示す図
【図５】大型ディスプレイの枠の上部に光源を設置し、かつ、下部に光源一体型カメラを設置する場合における視線計測可能範囲を示す図
【図６】カメラと光源の位置関係を示す図（観測者が大型ディスプレイを見た際に、カメラと光源が離れて観測される場合）
【図７】光源が反射してカメラで撮影できる範囲である円錐（gaze cone）を示す図
【図８】カメラと光源の位置関係を示す図（観測者が大型ディスプレイを見た際に、カメラと光源が同一位置に観測される場合）
【図９】光源が反射してカメラで撮影できる範囲である円錐（gaze cone）を示す図
【図１０】光源の光が角膜表面で反射する様子を幾何学的に示す図（観測者が大型ディスプレイを見た際に、カメラと光源が離れて観測される場合）
【図１１】光源の光が角膜表面で反射する様子を幾何学的に示す図（観測者が大型ディスプレイを見た際に、カメラと光源が同一位置に観測される場合）
【図１２】光軸を含む面の説明図
【図１３】大型ディスプレイの画面領域の周囲に光源とカメラが配置された模式図
【図１４】図１３における第１の視線計測可能領域
【図１５】大型ディスプレイの画面領域の周囲に光源と光源一体型カメラが配置された模式図
【図１６】図１５における第１の視線計測可能領域
【図１７】図１５における第２の視線計測可能領域
【図１８】図１５における第３の視線計測可能領域
【図１９】図１５における視線計測可能領域
【図２０】カメラで撮影できる範囲（視線計測可能範囲）の説明図
【図２１】虹彩とイメージセンサの模式図
【図２２】凸面鏡に物体ＡＢが反射したときの模式図
【図２３】カメラのイメージセンサ上の画素（１０×１０ｐｘ）の模式図
【図２４】２つの光源の虚像（プルキニエ像）の間隔と光源間隔の模式図
【図２５】本発明の視線計測装置のハードウェア構成図
【図２６】角膜に投影する光源の形状パターン（２点をつないだ１つの直線と２点の組み合わせパターン）
【図２７】角膜に投影する光源の３０通りの形状パターンを示す図
【図２８】３点を組み合わせた光源の照射光の形状パターンを示す図
【図２９】形状パターンを１単位とし、４単位を縦横に並べたパターン図
【図３０】ディスプレイを囲むように光源の照射光の形状パターンを配置した図
【図３１】ディスプレイが横長の場合に、光源の照射光の形状パターンを繰り返し配置した図
【図３２】数字が角膜に反射されて観察される様子
【図３３】ディスプレイの周囲に異なる色の光源を用いるものの説明図
【図３４】順番に光源を点灯させて、眼球に映るものを２つ選択するものの説明図
【発明を実施するための最良の形態】
【００３４】
以下、本発明の実施形態について、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。
本発明の視線計測装置ならびに視線計測方法の概要について説明する。
本発明の視線計測装置ならびに視線計測方法は、従来の視線計測装置ならびに視線計測方法において、ユーザが動く範囲を撮影できるようにカメラを複数設置し、また視線計算には角膜に映った光源の反射像が必要なことから、どこにユーザがいても光源からの光が反射するように光源を複数設置し、さらに、どの反射光がどの光源から来たものかを判別するものである。
【００３５】
本発明の視線計測装置および方法の概要について、図１に示す機能ブロック図を用いて説明する。視線計測装置１００は、下記の構成要素からなる。
まず、計測対象領域の周囲もしくは領域内の異なる位置に配置された複数の光源手段１０４と、対象領域を見ている観測者について所定光源からの光が反射した眼球画像を取得するカメラ手段１０２が必要である。
次に、何れかのカメラ手段１０２により撮像された眼球画像上における光源のプルキニエ像の位置と、実際の光源の位置とを対応付けする光源対応付け手段１０６（もしくは、光源対応付けステップ）が必要である。
そして、対応付けられたカメラの３次元位置と光源の３次元位置とから、角膜の曲率中心位置を算出し、眼球画像から瞳孔の中心位置を算出し、角膜の曲率中心位置及び瞳孔の中心位置に基づき角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である光軸を算出する眼球光軸算出手段１０８（もしくは、眼球光軸算出ステップ）が必要である。
そして、事前に行うキャリブレーション操作等によって予め与えられた光軸と視軸とのずれ値を用いて、算出した光軸から中心窩と角膜の曲率中心とを結ぶ軸である視軸を算出する眼球視軸算出手段１１０（もしくは、眼球視軸算出ステップ）が必要である。或いは、キャリブレーションを不要とする場合には、直接光軸と視軸が一致するとして視軸を求める。
【００３６】
計測対象領域の周囲もしくは領域内の異なる位置に配置された複数の光源とカメラの配置について説明する。
まず、視線計測においては、角膜で反射した光源の光をカメラで撮影する必要があることから、視線計測可能範囲候補は、眼球を中心とした円錐（以下では、これを“gaze cone”と称する。）に基づいて決定されることになる。図２は、眼球を頂点とした円錐（gaze cone）の底面、カメラ、光源の関係を、眼球の位置を固定しカメラの位置と光源の位置を変化させ、４通り示したものである。カメラの位置が固定の場合、光源をカメラから遠ざけると視線計測可能範囲候補もカメラから遠ざかることがわかる。このときカメラ、眼球、光源を２等分する線を中心とした円錐(gaze cone)とディスプレイの交線は楕円となる。この際、カメラと光源を離す距離の限界は、カメラで角膜の中の瞳孔が撮影できる範囲で決まる。
【００３７】
一方、頭を動かしたときに広い範囲で計測可能とするには、光源を頭の移動方向の先の方に設置することで、同じカメラによって形成されるgaze coneを移動することができる。
図３に示すように大型ディスプレイ１の枠下にカメラが固定されてある状況を考えると、光源の位置を移動させることによって、gaze coneを動かすことができることがわかる。このことは、光源の位置を動かすだけで、gaze coneの位置を変更できることを意味する。例えば、カメラ３ａが固定されてある場合、光源２ａの位置から光源２ｂの位置に光源を移動させることによって、gaze coneの中心が移動し（６ａから６ｂへ移動）、gaze coneを動かすことができる（５ａから５ｂへ移動）。
これに基づけば、図４に示すように、ディスプレイ１の周囲に６つの光源（２ａ〜２ｆ）と３つのカメラ（３ａ〜３ｃ）を配置すれば、ディスプレイ１の領域全体において視線を計測できる。詳細は後述するが、図４に示すような場合、gaze coneが３つ重なるエリアにおいて視線の計算が可能である。Gaze coneとディスプレイとの交線の形状は、眼球の位置によって決まり楕円となるが、この図では、ディスプレイに垂直に見ていると仮定しており、計算に必要な３つのgaze coneは略正面にあり、gaze coneとディスプレイとの交線である３つの楕円は、ほぼ円形であるとして図示している。
【００３８】
図５は、大型ディスプレイ１の上部に７つの光源（２ａ〜２ｇ）を設置し、かつ、下部に光源一体型カメラ（３ａ〜３ｇ，２ｈ〜２ｎ）を設置する場合における視線計測可能範囲を示している。詳細は後述するが、光源一体型カメラを使った場合は、gaze coneは２つ重なるエリアにおいて視線が計算可能である。
【００３９】
ここでは、カメラと光源の位置関係について２通りに分けて説明する。
図４に示すように、観測者が大型ディスプレイを見た際に、カメラと光源が離れた配置の場合、カメラと光源の位置に対して、眼球の向きを計測できる範囲は、光源からの光が角膜上で反射するか否かで決定される。図６に示すように、その限界は、θｍａｘで表される。但し、角膜の球面モデルを用いていることから角膜表面が球面と近似できる範囲で視線計測が可能である。そして、眼球が回転する全ての向きを考慮すると、図７に示す円錐（gaze cone）内が、光源が角膜の球面と近似できる部分に反射してカメラで撮影できる範囲となる。
【００４０】
図５に示すように、観測者が大型ディスプレイを見た際に、カメラと光源が同一位置の配置の場合、視線計測を可能とする光源が反射する範囲は、図８で示されるように、その限界角は、同様にθｍａｘで表される。但し、角膜の球面モデルを用いていることから角膜表面が球面と近似できる範囲で視線計測が可能である。そして、眼球が回転する全ての向きを考慮すると、図９に示す円錐（gaze cone）内が、光源が角膜の球面と近似できる部分に反射してカメラで撮影できる範囲となる。
【００４１】
次に、対応付けられたカメラの３次元位置と光源の３次元位置とから、角膜曲率中心（Ａ）の算出の仕方について説明する。
図４に示すように、観測者が大型ディスプレイを見た際に、カメラと光源が離れた配置の場合、図１０に示すように光源の光が角膜表面で反射する。この場合、カメラｊ，光源i，カメラ内部のイメージセンサ上のプルキニエ像を含む平面は、下記の式１で表される。角膜表面を球面であると近似しているので、式１で表される平面は、角膜曲率中心Ａを含むことになる。なお、下記式において、Ｐ，Ｃ，Ｌ，Ｘは３次元ベクトルを表している。
【００４２】
（数１）
{(Ｐ´ｊｉ−Ｃｊ) × (Ｌｉ−Ｃｊ)}・(Ｘ−Ｃｊ)＝０ ・・・（式１）
【００４３】
一方、図５に示すように、観測者が大型ディスプレイを見た際に、カメラと光源が同一の配置の場合（光源一体型カメラを含む）、図１１の示すように、下記の式２で表される直線は角膜曲率中心Ａを通ることになる。ここで、ｔｋｋはパラメタである。
【００４４】
（数２）
Ｘ＝ Ｃｋ + ｔｋｋ(Ｃｋ −Ｐ´ｋｋ) ・・・（式２）
【００４５】
大型ディスプレイの画面領域の内外に、多数のカメラと光源が設置されるような場合では、図５に示されるように、観測者が大型ディスプレイを見た際に、カメラと光源が離れた配置のものと、カメラと光源が同一位置の配置のもの（光源一体型カメラなど）と、２種類の配置が混在することになる。
このように、２種類の配置が混在する場合、以下の（条件１）〜（条件３）の３条件の１つを満たすときに、角膜曲率中心Ａを求めることができる。
【００４６】
（条件１）観測者が大型ディスプレイを見た際に、カメラと光源が離れた配置のものが３つある場合、上記の（式１）で示される平面が３つ求まるので、その交点として、角膜曲率中心Ａが求まる。但し、交点が１点に決まる必要があり、少なくとも３平面は同じであってはならない。
（条件２）観測者が大型ディスプレイを見た際に、カメラと光源が離れた配置のものと、カメラと光源が同一位置の配置のもの（光源一体型カメラを含む）がある場合、上記の（式１）で示される平面と上記の（式２）で示される直線が求まり、その交点として角膜曲率中心が求まる。但し、この場合、直線は平面に含まれてはならない。
（条件３）観測者が大型ディスプレイを見た際に、カメラと光源が同一位置の配置のもの（光源一体型カメラを含む）が２つある場合、上記の（式２）で示される直線が２つ求まり、その交点として角膜曲率中心が求まる。但し、この場合、直線は同一であってはならない。
【００４７】
上記（条件１）の場合、３つのgaze coneの重なる部分が視線を計測できる範囲である。また、上記（条件２）と（条件３）の場合、２つのgaze coneが重なる部分が視線を計算できる範囲である。
ここで、上記（条件１）の場合、１つのカメラで２つの反射光を撮影することは必ずしも必要ではなく、カメラ３台を使って３平面を求めてもよい。精度を上げるためには、（条件１）の場合、３平面は互いに直角に近い角度で交わる方が精度向上を図れる。（条件２）の場合でも、平面と直線が直角に近い角度で交わるものを選択する方が精度向上を図れる。（条件３）の場合でも、直線が直角に近い角度で交わる方が精度向上を図れる。
また、直角に近い角度で交わるものが複数ある場合は、それらを全て使えばロバスト性が向上する。なお、角度が極端に浅いものは、計算から除外するべきである。
複数満たす条件があったときは、精度向上が図れるように、上述の如く計算に利用するカメラと光源を選択する。
【００４８】
以上のようにして、角膜曲率中心Ａを求めることができる。次に、光軸を求める。
光軸を含む面は、角膜曲率中心Ａ、瞳孔中心Ｂ、カメラ中心Ｃｊを含む面である。図１２から下記の式３を得る。瞳孔が撮影できているカメラが２つあれば、２つの平面が求まるので、光軸（Ｂ−Ａ）が求まる。
【００４９】
（数３）
{( Ｃl−Ｂ’l) × (Ａ−Ｃl)}・(Ｘ−Ｃl)＝０ ・・・（式３）
【００５０】
上述の内容を踏まえて、本発明の視線計測装置および方法における視線計測可能領域を導く手段または方法について、以下に説明する。
図１３は、大型ディスプレイ１の周囲に配置された３つのカメラ（３ａ〜３ｃ）と６つの光源（２ａ〜２ｆ）を示した模式図である。
まず、眼球を中心とし、異なる位置同士の光源手段の位置とカメラ手段の位置とから決定される第１視線計測可能範囲候補を求める。図１３の場合、大型ディスプレイ１の画面領域の周囲に合せて６個の光源（２ａ〜２ｆ）が存在する。また、大型ディスプレイ１の画面領域の下側に３台のカメラ（３ａ〜３ｃ）が存在する。これらのカメラ（３ａ〜３ｃ）と光源（２ａ〜２ｆ）は互いに異なる位置に配置されている。カメラ（３ａ〜３ｃ）を下側に配置することにより、眼球画像を下側から取得することができることから、目を少し閉じた状態や目の細い人の眼球も撮影することができる。但し、カメラの位置は、計測対象の領域の下側に限定される必要はない。
【００５１】
第１視線計測可能範囲候補は、図１４に示すように、異なる位置同士の６個の光源（２ａ〜２ｆ）の位置と３台のカメラ（３ａ〜３ｃ）の位置から決定される１８（＝６×３）通り存在する。ここで、１８通りの第１視線計測可能範囲候補が少なくとも３つ重なる、すなわち、３つ以上重なる第１の視線計測可能領域を求める。図１４において、第１の視線計測可能領域１０は太線で囲まれた領域である。
なお、光源（２ａ〜２ｆ）の位置とカメラ（３ａ〜３ｃ）の位置を結ぶ線の中点が、gaze coneの中心（６ａ〜６ｄ等）である。
【００５２】
また、図１５は、大型ディスプレイの上側に配置された７個の光源（２ａ〜２ｇ）と、大型ディスプレイの下側に配置された７台の光源一体型カメラ（４ａ〜４ｇ）を示した模式図である。
まず、先ほどと同様に、眼球を中心とし、異なる位置同士の１４個の光源の位置（２ａ〜２ｎ）とカメラ（３ａ〜３ｇ）の位置とから決定される（７＋（７−１））×７通りの第１視線計測可能範囲候補を求める。なお、（７＋（７−１））としたのは、光源一体型カメラの光源の位置も考慮して光源を１３個としたからである。第１視線計測可能範囲候補は、１３個の光源の位置と７台のカメラの位置（３ａ〜３ｇ）から決定される９１（＝１３×７）通り存在する。
この第１視線計測可能範囲候補が少なくとも３つ重なる領域が、第一の視線計測可能領域である。図１６において第１の視線計測可能領域１０は図の太線で囲まれた領域である。なお、図１６において、９１通りの全ての第１視線計測可能範囲候補を図示するのは煩雑であるため便宜上割愛しており、全ての第１視線計測可能範囲候補を示しているわけではない。
【００５３】
次に、観測者から見て光源とカメラが同じ位置にある第２視線計測可能範囲候補と第１視線計測可能範囲候補が重なる第２の視線計測可能領域を求める。図１７のように、観測者とカメラレンズの中心を結ぶ略線上に光源が配置されるものが７個ある場合、第２視線計測可能範囲候補は７つある。ここで、第２視線計測可能範囲候補と第１視線計測可能範囲候補とが重なる第２の視線計測可能領域２０は、図の太線で囲まれた領域である。
次に、第２視線計測可能範囲候補同士が重なる第３の視線計測可能領域を求める。図１８において、第３の視線計測可能領域３０は図の太線で囲まれた領域である。
【００５４】
そして、図１６に示す第１の視線計測可能領域１０と、図１７に示す第２の視線計測可能領域２０と、図１８に示す第３の視線計測可能領域３０とを含む範囲内に、計測対象領域が収まることで、目的とする領域の視線計測が可能になる（図１９を参照。）。このように、大型ディスプレイや大型スクリーンなどの大画面のサイズや形状に応じて、最適な数のカメラと光源を用いて視線計測可能な範囲を拡大し、大画面におけるユーザの視線計測を行うのである。
【００５５】
次に、使用するカメラの性能による視線計測可能範囲について説明する。
まず、最小計測可能距離は、１つの眼球を２台のカメラで撮影するという制約により決まる。一般的にカメラの画角（横）は、下記の式４で表される。ここで、ｃ（ｍｍ）はカメラのイメージセンサの幅、ｆ（ｍｍ）はカメラレンズの焦点距離である。
【００５６】
【数４】
【００５７】
図２０に示すように、２台のカメラで撮影できる範囲（視線計測可能範囲）は、図中に斜線で示す如くギザギザとなるが、図２０のように山の谷までの距離をｌ（ｍｍ）とすると、２台のカメラで捉えるためには、カメラから距離ｌｍｍ離れた位置（図中のラインＡの位置）での撮影範囲の半分に相当する間隔でカメラを並べればよいことになる。従って、カメラ間隔は下記の式５で表される。ユーザが動く範囲を決定すれば、カメラの台数も決定できる。なお、ユーザ数が限られる場合は、カメラを並べずに、電動雲台などでカメラを動かして眼球を撮影するか、可動式のミラーで眼球を追跡するなどしてもよい。
例えば、カメラレンズの焦点距離ｆを１２ｍｍ、カメラのイメージセンサの幅ｃを４．８ｍｍ、カメラからの距離ｌを２．５ｍと仮定した場合、下記の式５から、カメラの配置間隔は０．５ｍとなる。
【００５８】
【数５】
【００５９】
次に、最大計測可能距離（図中のラインＢの位置）は、２つのプルキニエ像が検出できるかで決定される。そこで、観察される瞳孔の大きさに基づく最大計測可能距離について説明する。目の部分をカメラで撮像した場合、少なくとも瞳孔は１５×１５ピクセル（ｐｘ）程度で撮影する必要がある。
例として、イメージセンサの幅ｃ（ｍｍ），ｎ（ｐｘ）のカメラ、フォーカスｆ（ｍｍ）のカメラレンズを用いて、ｌ（ｍｍ）先の直径ｅ（ｍｍ）（約４ｍｍ程度（ただし、瞳孔径は明るさにより２〜８ｍｍで変化する））の瞳孔を撮影する場合について、図２１を参照して説明する。相似関係から、下記の式６を導くことができる。
【００６０】
【数６】
【００６１】
これを展開すると、ｌ＝ｅｆｎ／１５ｃとなり、ｅ＝４ｍｍ，ｆ＝１２ｍｍ，ｃ＝４．８ｍｍ，ｎ＝１００００（ｐｘ）を代入すると、ｌ＝６．６７ｍとなる。
また、瞳孔を１５（ｐｘ）程度で撮影しても、角膜表面に反射する２つのプルキニエ像の間隔が狭いと２つを分離できず、視線を求める計算は不可能となる。角膜表面での反射では、角膜表面は凸面鏡となることから、プルキニエ像の間隔が更に縮小されることになる。ここでは、プルキニエ像の間隔がどの程度縮小されるかについて、図２２を参照して説明する。図２２は、凸面鏡に物体ＡＢが反射したときの模式図を示している。
凸面鏡に物体ＡＢが反射したときの倍率ｍは、下記の式７で表される。ここで、ａは光源と角膜との距離、Ｒは角膜曲率半径、ｆｃは角膜の凸面鏡としての焦点距離であり、角膜の曲率半径の１／２である（ｆｃ ＝Ｒ／２）。
【００６２】
【数７】
【００６３】
光源の間隔をＬとすると、凸面鏡である角膜に映った２つの光源の虚像であるプルキニエ像の間隔は、ｍ倍されることから、下記の式８で表される。
【００６４】
【数８】
【００６５】
以上のことから、光源から（ａ＋ｂ）の位置に、上記数式７の右辺の間隔で、光源のプルキニエ像が観察されることがわかる。
隣接する２つのプルキニエ像を識別できる条件として、プルキニエ像が２（ｐｘ）四方の大きさとして、２つのプルキニエ像の間に２（ｐｘ）あればよいとする。画像処理のために２つのプルキニエ像の中心が少なくとも４（ｐｘ）分だけ離れて写るようにする。カメラのイメージセンサ上の画素（１０×１０ｐｘ）の模式図を図２３に示す。また、図２４に２つの光源の間隔と２つの光源の虚像（プルキニエ像）の間隔の幾何学的関係を示す。
最も眼球がカメラから離れた時、２つの光源からできる２つのプルキニエ像が、カメラのイメージセンサ上で４（ｐｘ）離れている必要がある。図２４に示すように、この光源の虚像（プルキニエ像）の間隔が、カメラ上で４（ｐｘ）であるためには、光源の虚像（プルキニエ像）の間隔は、４ｃｌ／ｎｆである。光源の虚像（プルキニエ像）の間隔は、上記数式７で表せることから、下記の式９の関係が成り立つ。
【００６６】
【数９】
【００６７】
角膜曲率半径Ｒの平均値は約７．８ｍｍであるので、角膜の凸面鏡としての焦点距離ｆｃは約３．９ｍｍである。例えば、ｆｃ＝３．９（ｍｍ）、光源と角膜との距離ａ＝５０００（ｍｍ）、イメージセンサの幅ｃ＝４．８（ｍｍ），ｎ＝１００００（ｐｘ），フォーカスｆ＝１２（ｍｍ）のカメラレンズを用いて、ｌ＝５０００（ｍｍ）先の物体を観測する場合、光源の間隔Ｌは、上記数式８より、１０２６．４（ｍｍ）となる。
この距離より、近い幅で設置した光源によるプルキニエ像は区別できない。逆に光源の距離を離した場合は、ユーザがカメラに近づいたとき、プルキニエ像が１点しか観察されないことがある。
【００６８】
次に、本発明の視線計測装置のハードウェア構成について、図２５を参照して説明する。視線計測装置２１は、ＣＰＵ２１１、メモリ２１２、ハードディスク２１３、キーボード２１４、マウス２１５、プロジェクタ２１６、外部メモリ２１７、ＬＥＤ２１８及びカメラ２１９を備えている。
ＣＰＵ２１１は、ハードディスク２１３に記録されているオペレーティング・システム（ＯＳ）、視線計測プログラム等その他のアプリケーションに基づいた処理を行う。メモリ２１２は、ＣＰＵ２１１に対して作業領域を提供する。ハードディスク２１３は、オペレーティング・システム（ＯＳ）、視線計測プログラム等その他のアプリケーション及び視線計測の結果得られた計測データを記録する。キーボード２１４、マウス２１５は、外部からの命令を受け付ける。プロジェクタ２１６は、視線を計測する観測者が見る映像コンテンツを表示する。
ＬＥＤ２１８は、視線計測装置２１によって視線を計測する観測者に対して、光を照射する。カメラ２１９は、観測者の眼球画像を撮影する。ＬＥＤ２１８及びカメラ２１９は大型ディスプレイのサイズや形状に応じて、複数配置する。配置の仕方は上述の通りである。
【００６９】
視線を計算するためには、実空間における３次元的な光源位置と、眼球画像上での反射像であるプルキニエ像の位置を対応付ける必要がある。光源が複数存在する場合、光源が角膜に複数反射するため、或いは、反射光が１つでもどの光源のものか分からないために、カメラ手段により撮影されたプルキニエ像と実際の光源手段との対応付けを行なう必要がある。
以下の実施例では、複数存在する光源からの光のために、角膜表面に現れるプルキニエ像に関して、プルキニエ像の位置と実際の光源の位置との対応付けを説明する。
【実施例１】
【００７０】
実施例１では、各々の光源の照射光の形状パターンを異なるものにすることにより、実際の光源の位置を判別するものについて説明する。角膜表面は凸面鏡となるため、光源の形状は縮小されるため、できるだけ大きな図形でないと識別は困難である。そのため、光源手段の形状パターン自体を異なるものにする。
ここで、角膜表面には３点映ればいいとする。単純な図形とするため、単に２点をつないだ直線と点の組み合わせとする。例えば、図２６（１）のように、瞳孔７には３つの点光源（８ａ〜８ｃ）の反射光が観察される。或いは、図２６（２）や（３）のように、瞳孔７には２つの点光源（８ａ，８ｂ）と線光源９ａの反射光が観察される。線光源は赤外線ＬＥＤを並べて構築するか、あるいは赤外線プロジェクタなどでパターンを投影してもよい。ここでは線光源の両端も点として認識するものとする。
【００７１】
図２７に、このような３点の組み合わせを３０通り示す。３０通りの組み合わせを番号１〜３０で示している。例えば、番号１は３つの点光源（８ａ，８ｂ，８ｃ）で構成されるもので、上に１点、下に２点の点光源があるものである。また、番号２は２つの点光源（８ａ，８ｂ）と１つの線光源９ａから構成されるもので、上に線光源、下に２点の点光源があるものである。また、番号３０は３つの線光源（９ａ，９ｂ，９ｃ）で構成されるもので、上に２点、下に１点の線光源があるものである。
【００７２】
また、図２８にこのような３点を組み合わせた光源の照射光の形状パターンを示す。なお、図２８において点光源と線光源の配置に意味があり、円は角膜に反射した光源のうちどの３点を選択したかという意味しかない。
図２８に示す３点を組み合わせた光源の照射光の形状パターンは、５つのパターンが重なりながら横に並び、４段重なったものである。最上段は左から番号２２，１０，１６，２９，１８、中段上は左から番号１，２，９，１４，２５、中段下は左から番号４，５，１２，１７，２４、最下段は左から番号１９，７，１３，２６，１５の形状パターンで構成されている。
【００７３】
ここで、図２８の形状パターンは、縦横に繰り返して配置できるものとなっている。図２９には、図２８に示す形状パターンを１単位とし、４単位を縦横に並べたパターン図を示す。スクリーンのように、小さな穴を開ける等をしてスクリーン面に光源を配置できるような場合はこのまま配置すればよい。
また、ディスプレイ上に光源を配置できないような場合は、例えば、図３０のようにディスプレイを囲むように光源の照射光の形状パターンを配置する。
また、ディスプレイが横長の場合は、図３１のように配置すればよい。繰り返し配置することにより、３６０°の全周囲視線計測も可能である。
【００７４】
各々の光源の照射光の形状パターンを異なるものとして、光源から照射する光の形状を星形，ハート型，文字型，ＱＲコードに代表される二次元コードなど光源毎にユニークなものとして、光源を区別できるようにするものがある。
上述の如く、角膜表面は凸面鏡となることから光源の形状は縮小されるため、できるだけ大きな図形でないと識別は困難である。しかしながら、非常に高解像度の画像が取得できる場合に、光源から照射する光の形状を光源毎にユニークなものとして光源を判別できる。例えば、光源が赤外線ＬＥＤであり、ＬＥＤ毎にユニークな数字を照射できるようにする。図３２の如く、眼球に赤外線の光が照射されると、数字が角膜に反射されて観察される。観察された数字から、どの光源からの光であるかを判別できる。
その他、ディスプレイに表示されている形状が既知のものを利用して、既知の形状と反射像の位置関係から、どの位置から発せられた光であるかを判別することも可能である。
【実施例２】
【００７５】
実施例２では、各々の光源手段の照射光の波長を異なるものにすることにより、実際の光源の位置を判別するものについて説明する。各々の光源手段の照射光の波長を異なるものにし、光の色で光源を判別する。例えば、図３３に示すように、ディスプレイ１の周囲に白（２ａ）、青（２ｂ）、オレンジ（２ｃ）、赤（２ｄ）、黄（２ｅ）、緑（２ｆ）などの色のついた光源を用いることにより、角膜表面上のプルキニエ像と光源を対応付ける。
【実施例３】
【００７６】
実施例３では、所定時間内に各々の光源をユニークに点滅させて、光源手段の点灯・消灯を２値データとし、特定の光源手段と対応付けするものについて説明する。
例えば、１フレームごとのＬＥＤの点灯を０、消灯をＸとして表記する。
終端記号を連続する２つの消灯とした場合、条件としては、終端記号ＸＸとの差別化のために各信号の中に連続のＸＸが存在しないことと、終端記号ＸＸとの差別化のために最後のビットが０である（Ｘでない）ことである。これにより採用可能な記号列は、４ｂｉｔの場合、１６個中の５通り（００００、００Ｘ０、０Ｘ００、Ｘ０００、Ｘ０Ｘ０）になる。また、５ｂｉｔの場合３２個中以下の８通り（０００００、０００Ｘ０、００Ｘ００、０Ｘ０００、０Ｘ０Ｘ０、Ｘ００００、Ｘ００Ｘ０、Ｘ０Ｘ００）になる。
また、終端記号を付加せずに、1ブロックの配列として対応付ける場合、ＬＥＤとプログラムを同期させる必要があるものの、切れ目なく連続して計測が可能である。例えば、“００００
０Ｘ０Ｘ ＸＸ０Ｘ ・・・”の場合、入力を４ｂｉｔ毎に区切ることにより、全記号列を認識・判別できる。
【実施例４】
【００７７】
実施例４では、各々の光源を順次点灯させて、光源のプルキニエ像の位置と実際の光源の位置とを対応付けするものについて説明する。
ここで、各々の光源手段を順次点灯させるとは、図３４（１）〜（６）の如く、順番に光源手段を点灯させて（図中で点灯を“＊”で表記）、眼球に映るプルキニエ像を対応させるものである。眼球上にプルキニエ像が存在する場合、順番に光源手段を点灯させて、複数の光源手段を１つずつ特定する。
例えば、図３４（１）〜（６）に示すように、順番に光源を点灯させて光源を判別する場合、ある場所の光源を光らせて、カメラで撮影された眼球画像にその反射光が映るかどうかを確認し、上述の（条件１）または（条件２）または（条件３）を満たすのに必要なプルキニエ像の位置と実際の光源の位置とを対応付けが完了すれば、視線の算出が可能になる。
【産業上の利用可能性】
【００７８】
本発明は、大画面ディスプレイやスクリーン全体などの任意の画面全体、ショーウィンドウなどの所定領域全体で視線計測を実現できることから、デパートやコンビニやショーウィンドウなどのマーケティング調査装置や方法として有用である。
また、デジタルサイネージ（電子看板）、博物館や美術館などのユーザインタフェースや、観測者の行動分析装置や方法として有用である。
【符号の説明】
【００７９】
１ ディスプレイ
２，２ａ〜２ｎ 光源
３，３ａ〜３ｇ カメラ
４ａ〜４ｇ 光源一体型カメラ
５，５ａ，５ｂ gaze cone
６，６ａ〜６ｆ gaze coneの中心
７ 瞳孔
８ａ〜８ｃ 点光源
９ａ〜９ｃ 線光源
１０ 第１の視線計測可能領域
２０ 第２の視線計測可能領域
３０ 第３の視線計測可能領域
４０ 視線計測可能領域
２１，１００ 視線計測装置
【技術分野】
【０００１】
本発明は、平面もしくは曲面で構成される領域周辺の光源（発光ダイオード（ＬＥＤ）や自然光など）を利用して、大画面ディスプレイや大型スクリーン全体などの任意の領域全体で視線計測を実現する視線計測装置に関するものである。
【背景技術】
【０００２】
従来、コンピュータを操作するためのインタフェースの一種として非接触型の視線インタフェースがある。この視線インタフェースは、カメラと光源を用いて、利用者（ユーザ）の視線をデータとして検出し、検出された視線データを用いてコンピュータの画面上のアイコンなどを操作するものである。この視線インタフェースでは、利用者の眼球に赤外線などの所定光源からの光を照射して眼球を撮影し、撮影した画像の角膜表面における赤外線などの反射光と瞳孔との距離から算出される方向データを利用者の推定視線データとして検出する。
【０００３】
最新の研究では、視線インタフェースを実現する視線計測装置では、所定の画面を見ている被験者について所定光源からの光が反射した眼球画像をカメラで取得し、眼球画像中の所定光源からの反射光（プルキニエ像）を算出し、プルキニエ像から角膜の曲率中心位置を算出し、曲率中心位置に基づき角膜の曲率半径を算出し、眼球画像中の瞳孔の中心位置を算出し、角膜の曲率中心位置及び瞳孔の中心位置に基づき角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である光軸を算出する。
そして、事前に行うキャリブレーション操作等によって予め与えられた光軸とのずれ値に基づき視軸を求める（例えば、特許文献１を参照）。なお、キャリブレーションを不要とする場合には、直接光軸と視軸が一致するとして視軸を求めることが可能である。
【０００４】
上記のような視線インタフェースを実現する従来の視線計測装置では、コンピュータディスプレイの前に、計測される者（コンピュータのユーザ）が着座して、ディスプレイに表示される画面上のアイコンなどを見ることが前提とされており、ユーザが動ける範囲は限られていた。
そのため、従来の視線計測装置では、計測のために使用するカメラや光源の数は、多くても３〜４程度であった。
【０００５】
しかしながら、昨今、駅構内やビル壁面のディスプレイなど、情報共有化のためにディスプレイの大型化が進み、そのディスプレイに表示される映像コンテンツを見るユーザの視線の動く範囲が拡大している。すなわち、駅構内のディスプレイなどは縦横が数ｍ〜１０数ｍに及ぶものもあり、ユーザの頭の姿勢のみならず体の位置を動かして、ディスプレイに表示される映像コンテンツを見ることもある。
このような現状に鑑みて、ユーザが動ける範囲を拡げて、大型ディスプレイや大型スクリーンに表示される大画面に対応できる視線計測装置が必要とされている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２９７３２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記状況に鑑みて、本発明は、所定数・所定配置のカメラと光源を用いて視線計測可能範囲を拡大し、大画面などの広い領域に対応できる視線計測装置および方法を提供することを目的とする。
また、所定配置の複数の光源を用いることから、大画面を見ているユーザの角膜に映る光源の反射光が、どの光源のものであるかを判別できる視線計測装置および方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成すべく、本発明の視線計測装置は、平面もしくは曲面で構成される領域における観測者の視線を計測する装置であって、
１）各々異なる位置に配置されるＭ個（Ｍは２以上）のカメラ手段と、
２）各々異なる位置に配置されるＮ個（Ｎは２以上）の光源手段と、
３）何れかのカメラ手段により撮像された眼球画像上における光源手段のプルキニエ像の位置と、実際の光源手段の位置とを対応付けする光源対応付け手段と、
４）対応付けられた少なくとも２組のカメラ手段と光源手段の位置関係から眼球の光軸を算出する眼球光軸算出手段と、
５）眼球の光軸から眼球の視軸を算出する眼球視軸算出手段と、
を備え、
眼球を中心とし、異なる位置同士の光源手段の位置とカメラ手段の位置とから決定される第１視線計測可能範囲候補が少なくとも３つ重なる第１の視線計測可能領域、
カメラ手段のカメラレンズ中心と同一位置に光源手段が配置されるものがＬ組（ＬはＮ以下かつＭ以下）ある場合、同一位置にあるカメラ手段と光源手段から決定される第２視線計測可能範囲候補が、上記第１視線計測可能範囲候補と重なる第２の視線計測可能領域、
上記第２視線計測可能範囲候補同士が重なる第３の視線計測可能領域、
上記の第１の視線計測可能領域と第２の視線計測可能領域と第３の視線計測可能領域とを含む範囲内に、計測対象領域が収まるように、個々のカメラ手段および光源手段が配置される、ことを特徴とする。
【０００９】
かかる構成により、大型ディスプレイや大型スクリーンなどの大画面のサイズや形状に応じて、最適な数のカメラと光源を用いて視線計測可能な範囲を拡大し、大画面におけるユーザの視線計測を行うことができる。
本発明は、大画面のサイズや形状に応じて多数のカメラ手段および光源手段をどう配置するのかがポイントである。大画面の視線計測のために、多数のカメラ手段および光源手段の配置を下記（Ａ），（Ｂ）の２通りに分ける。
【００１０】
（Ａ）カメラ手段のカメラレンズ中心と同一位置に光源手段が配置されない場合、視線計測可能範囲の候補（これを、“第１視線計測可能範囲候補”とする。）は、眼球を頂点とし、カメラ手段、眼球、光源手段がなす角を２等分する線を中心とした円錐(gaze cone)の中全部である。
（Ｂ）カメラ手段のカメラレンズ中心と同一位置に光源手段が配置される場合、視線計測可能範囲の候補（これを、“第２視線計測可能範囲候補”とする。）は、眼球を頂点とし、眼球と光源手段（カメラレンズ中心と同一位置）を中心線とする円錐(gaze cone)の中全部である。
なお、同一位置には、カメラレンズに隣接させたり、ハーフミラーを用いることにより近似的に同一位置に光源手段が配置される場合も含まれる。
【００１１】
次に、視線を計測できる範囲について、第１〜第３の３通りの領域に分けて以下に説明する。
（１）上記（Ａ）の第１視線計測可能範囲候補が少なくとも３つ重なる領域（これを、“第１の視線計測可能領域”とする。）が視線を計測できる範囲である。
（２）上記（Ｂ）の第２視線計測可能範囲候補と、上記（Ａ）の第１視線計測可能範囲候補とが重なる領域（これを、“第２の視線計測可能領域”とする。）が視線を計測できる範囲である。
（３）上記（Ｂ）の第２視線計測可能範囲候補同士が重なる領域（これを、“第３の視線計測可能領域”とする。）が視線を計測できる範囲である。
【００１２】
そして、第１の視線計測可能領域と第２の視線計測可能領域と第３の視線計測可能領域を含む範囲内に、大画面の領域がカバーできるように、カメラ手段および光源手段の個数・配置を行う。
カメラ手段と光源手段が多数配置された場合、上記（１），（２），（３）の場合の角膜曲率中心Ａは、以下の（ｉ）〜（iii）でそれぞれ求めることができる。
【００１３】
（ｉ）第１視線計測可能範囲候補が３つ重なる領域がある場合
カメラ手段のレンズ中心と、光源手段位置と、カメラ手段のイメージセンサ上に映る光源手段によるプルキニエ像の位置の３点から求まる平面が３つ求まるので、その交点として、角膜曲率中心Ａが求まる。但し、この場合、３平面は同じであってはならない。また、少なくとも２つカメラを利用する必要がある。１つのカメラでは、３つの光源の場合に第１視線計測可能領域候補は３つあるが、３平面全てがカメラレンズ中心と角膜曲率中心を結ぶ線を含むため３平面は１点で交わらず、交わる部分が直線となるので、解が求まらないからである。
【００１４】
（ii）第１視線計測可能範囲候補と第２視線計測可能範囲候補が重なる場合
第１視線計測可能範囲候補からは、カメラ手段のレンズ中心と、光源手段位置と、カメラ手段のイメージセンサ上に映る光源手段によるプルキニエ像の位置の３点から求まる平面が求まり、第２視線計測可能範囲候補からは、カメラ手段のレンズ中心（光源手段位置と同一）とカメラ手段のイメージセンサ上に映る光源手段によるプルキニエ像の位置の２点から直線が求まり、それら平面と直線の交点として角膜曲率中心Ａが求まる。但し、この場合、直線は平面に含まれてはならない。
【００１５】
（iii）第２視線計測可能範囲候補同士が重なる領域がある場合
カメラ手段のレンズ中心（光源手段位置と同一）とカメラ手段のイメージセンサ上に映る光源手段によるプルキニエ像の位置の２点から求まる直線が２つ求まり、その交点として角膜曲率中心が求まる。但し、この場合、直線は同一であってはならない。
【００１６】
また、平面もしくは曲面で構成される領域とは、平面のディスプレイやスクリーンに加え、曲面のディスプレイやスクリーン、ドーム状の曲面スクリーンや、３６０°の周囲を取り囲むスクリーンなど形状が既知のものが含まれる。また、領域とは、画面領域のみならず、視線を向ける対象物が配置されている一定の領域を意味する。
【００１７】
また、上記１）のカメラ手段とは、ディジタルカメラやディジタルビデオカメラなど所定光源からの光が反射した眼球画像を取得できるものである。また、上記２）の光源手段とは、可視光から近赤外光や赤外光などの光を照射できるもので、ＬＥＤ（発光ダイオード）や赤外線レーザなどである。計測対象領域周辺の自然光を利用するのでもよい。
なお、カメラ手段や光源手段は必ずしも固定的に配置する必要はなく、電動雲台などでカメラを可動させて眼球を撮影するか、可動式のミラーで眼球を追跡するなどしてもよい。
【００１８】
また、上記３）の何れかのカメラ手段により撮像された眼球画像上における光源手段のプルキニエ像の位置と、実際の光源手段の位置とを対応付けする光源対応付け手段により、大画面を見ているユーザの角膜に映る光源の反射光が、どの光源手段の光であるかを判別する。
また、上記４）の対応付けられた少なくとも２組のカメラ手段と光源手段の位置関係から眼球の光軸を算出する眼球光軸算出手段とは、プルキニエ像から角膜の曲率中心位置を算出し、眼球画像から瞳孔の中心位置を算出し、角膜の曲率中心位置及び瞳孔の中心位置に基づき角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である光軸を算出するものである。
また、上記５）の眼球の光軸から眼球の視軸を算出する眼球視軸算出手段とは、事前に行うキャリブレーション操作等によって予め与えられた光軸とのずれ値に基づき視軸を求めるか、或いは、キャリブレーションを不要とする場合には、直接光軸と視軸が一致するとして視軸を求めるものである。
【００１９】
また、本発明の視線計測装置において、少なくとも１人の観測者の移動する範囲をすべて撮影するようにカメラ手段のカメラ配置が決定され、そして、カメラ配置された後に、計測対象領域について視線計測ができるように複数の光源手段が配置されるようにする。
これによれば、カメラ手段のカメラ配置を人間の動きについて決め、光源手段については視線をとる範囲と対応させて決めることができる。
【００２０】
また、上記の本発明の視線計測装置における光源対応付け手段は、各々の光源手段の照射光の形状パターン若しくは波長を異なるものとし、光源手段のプルキニエ像の位置と実際の光源手段の位置とを対応付けする。
視線を計算するためには、実空間における３次元的な光源位置と、眼球画像上での反射像であるプルキニエ像の位置を対応付ける必要がある。光源手段が多数ある時、光源手段が角膜に１つまたは複数反射しているが、カメラ手段により撮影されたプルキニエ像と実際の光源手段との対応付けを行なう必要がある。
【００２１】
ここで、各々の光源手段の照射光の形状パターンを異なるものにするとは、以下のａ）〜ｃ）により光源手段を判別するものである。
ａ）複数の光源手段からなる形状パターンを異なるものにするもの
ｂ）光源手段から照射する光の形状を星形，ハート型，文字型，ＱＲコードに代表される二次元コードなど光源毎にユニークなものとして光源手段を区別できるようにするもの
ｃ）ディスプレイやショーウィンドウなど形状が既知のものの自然光を用いるもの
また、各々の光源手段の照射光の波長を異なるものにするとは、光の色で光源手段を判別するものである。ここで、照射光の波長は、可視光波長のみならず赤外線波長も含む。
【００２２】
また、上記の本発明の視線計測装置における光源対応付け手段は、各々の光源手段を順次点灯させて、或いは、所定時間内に各々の光源手段をユニークに点滅させて、光源手段のプルキニエ像の位置と実際の光源手段の位置とを対応付けする。
ここで、各々の光源手段を順次点灯させるとは、順番に光源手段を点灯させて、眼球に映るプルキニエ像を対応させるものである。すなわち、眼球上に複数のプルキニエ像が存在する場合、順番に光源手段を点灯させて、複数の光源手段を１つずつ特定する。
また、所定時間内に各々の光源手段をユニークに点滅させるとは、光源手段の点灯・消灯を２値データとし、特定の光源手段と対応付けするものである。
【００２３】
また、上記の本発明の視線計測装置において、光源手段の照射光が赤外線であることがより好ましい態様である。
光源手段の照射光を肉眼でとらえることができない赤外線にすることにより、ディスプレイやスクリーンの枠外のみならず、枠内に光源手段を配置することができる。照射光が目に見えるものではなく、ディスプレイ等の枠内に配置されても、本来のコンテンツ画像の妨げとならない。ディスプレイやスクリーンの内外に光源手段を配置可能で、光源手段の配置制約が緩和されることにより視線計測可能範囲を拡大できる。
【００２４】
また、上記の本発明の視線計測装置において、光源手段とカメラ手段の少なくとも一方が計測対象領域よりも眼球側に近づいた位置に配置されているものでもよい。
第１〜第３の視線計測可能領域の３つの条件の１つでも成立していれば視線を計測できるので、光源手段やカメラ手段の配置の自由度を向上する。
【００２５】
次に、本発明の視線計測方法は、平面もしくは曲面で構成される領域内外に、各々異なる位置に配置されるＭ個（Ｍは２以上）のカメラ手段と、各々異なる位置に配置されるＮ個（Ｎは２以上）の光源手段とを用いて、領域における視線を計測する方法であって、下記ステップ１〜４を備えたことを特徴とする。
【００２６】
ステップ１）眼球を中心とし、異なる位置同士の光源手段の位置とカメラ手段の位置とから決定される第１視線計測可能範囲候補が少なくとも３つ重なる第１の視線計測可能領域、
カメラ手段のカメラレンズ中心と同一位置に光源手段が配置されるものがＬ組（ＬはＮ以下かつＭ以下）ある場合、同一位置にあるカメラ手段と光源手段から決定される第２視線計測可能範囲候補が、上記第１視線計測可能範囲候補と重なる第２の視線計測可能領域、
上記第２視線計測可能範囲候補同士が重なる第３の視線計測可能領域、
上記の第１の視線計測可能領域と第２の視線計測可能領域と第３の視線計測可能領域とを含む範囲内に、計測対象領域が収まるように、個々のカメラ手段および光源手段を配置するカメラ・光源配置ステップ
【００２７】
ステップ２）何れかのカメラ手段により撮像された眼球画像上における光源手段のプルキニエ像の位置と、実際の光源手段の位置とを対応付けする光源対応付けステップ
ステップ３）対応付けられた少なくとも２組のカメラ手段と光源手段の位置関係から眼球の光軸を算出する眼球光軸算出ステップ
ステップ４）眼球の光軸から眼球の視軸を算出する眼球視軸算出ステップ
【００２８】
かかる構成により、大型ディスプレイや大型スクリーンなどの大画面のサイズや形状に応じて、最適な数のカメラと光源を用いて視線計測可能な範囲を拡大し、大画面におけるユーザの視線計測を行うことができる。
【００２９】
また、本発明の視線計測方法におけるカメラ・光源配置ステップ（上記ステップ１）において、少なくとも１人の観測者の移動する範囲をすべて撮影するようにカメラ手段のカメラ配置を決定した後に、計測対象領域について視線計測ができるように光源手段を配置する。
これによれば、カメラ手段のカメラ配置を人間の動きについて決め、光源手段については視線をとる範囲と対応させて決めることができる。
【００３０】
また、上記の本発明の視線計測方法における光源対応付けステップ（上記ステップ２）は、各々の光源手段の照射光の形状パターン若しくは波長を異なるものとし、光源手段のプルキニエ像の位置と実際の光源手段の位置とを対応付けすることがより好ましい。
視線を計算するためには、実空間における３次元的な光源位置と、眼球画像上での反射像であるプルキニエ像の位置を対応付ける必要がある。光源が多数ある時、光源が角膜に複数反射しているが、このような場合は、カメラ手段により撮影されたプルキニエ像と実際の光源手段との対応付けを行なう必要がある。
ここで、各々の光源手段の照射光の形状パターンを異なるものにするとは、上述した如く、ａ）複数の光源手段からなる形状パターンを異なるものとするもの、ｂ）光源手段から照射する光の形状を星形，ハート型，文字型，ＱＲコードに代表される二次元コードなど光源毎にユニークなものとするもの、ｃ）形状が既知のものの自然光を用いるものにより光源手段を判別するものである。また、各々の光源手段の照射光の波長を異なるものにするとは、光の色（可視光波長のみならず赤外線波長も含む）で光源手段を判別するものである。
【００３１】
上記の本発明の視線計測方法における光源対応付けステップ（上記ステップ２）は、各々の光源手段を順次点灯させて、或いは、所定時間内に各々の光源手段をユニークに点滅させて、光源手段のプルキニエ像の位置と実際の光源手段の位置とを対応付けする。
ここで、各々の光源手段を順次点灯させるとは、順番に光源手段を点灯させて、眼球に映るプルキニエ像を対応させるものである。また、所定時間内に各々の光源手段をユニークに点滅させるとは、光源手段の点灯・消灯を２値データとし、特定の光源手段と対応付けするものである。
【発明の効果】
【００３２】
本発明によれば、所定数・所定配置のカメラと光源を用いて視線計測可能範囲を拡大し、大画面などの広い領域に対応できるといった効果を有する。
また、本発明によれば、大画面を見ているユーザの角膜に映る光源の反射光が、どの光源のものであるかを判別できるといった効果を有する。
【図面の簡単な説明】
【００３３】
【図１】本発明の視線計測装置の機能ブロック図
【図２】カメラ、光源、眼球を頂点とした円錐（gaze cone）の底面の関係の説明図
【図３】光源の位置を動かして視線計測可能範囲を変更できることの説明図
【図４】大型ディスプレイの周囲に光源とカメラを設置する場合における視線計測可能範囲を示す図
【図５】大型ディスプレイの枠の上部に光源を設置し、かつ、下部に光源一体型カメラを設置する場合における視線計測可能範囲を示す図
【図６】カメラと光源の位置関係を示す図（観測者が大型ディスプレイを見た際に、カメラと光源が離れて観測される場合）
【図７】光源が反射してカメラで撮影できる範囲である円錐（gaze cone）を示す図
【図８】カメラと光源の位置関係を示す図（観測者が大型ディスプレイを見た際に、カメラと光源が同一位置に観測される場合）
【図９】光源が反射してカメラで撮影できる範囲である円錐（gaze cone）を示す図
【図１０】光源の光が角膜表面で反射する様子を幾何学的に示す図（観測者が大型ディスプレイを見た際に、カメラと光源が離れて観測される場合）
【図１１】光源の光が角膜表面で反射する様子を幾何学的に示す図（観測者が大型ディスプレイを見た際に、カメラと光源が同一位置に観測される場合）
【図１２】光軸を含む面の説明図
【図１３】大型ディスプレイの画面領域の周囲に光源とカメラが配置された模式図
【図１４】図１３における第１の視線計測可能領域
【図１５】大型ディスプレイの画面領域の周囲に光源と光源一体型カメラが配置された模式図
【図１６】図１５における第１の視線計測可能領域
【図１７】図１５における第２の視線計測可能領域
【図１８】図１５における第３の視線計測可能領域
【図１９】図１５における視線計測可能領域
【図２０】カメラで撮影できる範囲（視線計測可能範囲）の説明図
【図２１】虹彩とイメージセンサの模式図
【図２２】凸面鏡に物体ＡＢが反射したときの模式図
【図２３】カメラのイメージセンサ上の画素（１０×１０ｐｘ）の模式図
【図２４】２つの光源の虚像（プルキニエ像）の間隔と光源間隔の模式図
【図２５】本発明の視線計測装置のハードウェア構成図
【図２６】角膜に投影する光源の形状パターン（２点をつないだ１つの直線と２点の組み合わせパターン）
【図２７】角膜に投影する光源の３０通りの形状パターンを示す図
【図２８】３点を組み合わせた光源の照射光の形状パターンを示す図
【図２９】形状パターンを１単位とし、４単位を縦横に並べたパターン図
【図３０】ディスプレイを囲むように光源の照射光の形状パターンを配置した図
【図３１】ディスプレイが横長の場合に、光源の照射光の形状パターンを繰り返し配置した図
【図３２】数字が角膜に反射されて観察される様子
【図３３】ディスプレイの周囲に異なる色の光源を用いるものの説明図
【図３４】順番に光源を点灯させて、眼球に映るものを２つ選択するものの説明図
【発明を実施するための最良の形態】
【００３４】
以下、本発明の実施形態について、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。
本発明の視線計測装置ならびに視線計測方法の概要について説明する。
本発明の視線計測装置ならびに視線計測方法は、従来の視線計測装置ならびに視線計測方法において、ユーザが動く範囲を撮影できるようにカメラを複数設置し、また視線計算には角膜に映った光源の反射像が必要なことから、どこにユーザがいても光源からの光が反射するように光源を複数設置し、さらに、どの反射光がどの光源から来たものかを判別するものである。
【００３５】
本発明の視線計測装置および方法の概要について、図１に示す機能ブロック図を用いて説明する。視線計測装置１００は、下記の構成要素からなる。
まず、計測対象領域の周囲もしくは領域内の異なる位置に配置された複数の光源手段１０４と、対象領域を見ている観測者について所定光源からの光が反射した眼球画像を取得するカメラ手段１０２が必要である。
次に、何れかのカメラ手段１０２により撮像された眼球画像上における光源のプルキニエ像の位置と、実際の光源の位置とを対応付けする光源対応付け手段１０６（もしくは、光源対応付けステップ）が必要である。
そして、対応付けられたカメラの３次元位置と光源の３次元位置とから、角膜の曲率中心位置を算出し、眼球画像から瞳孔の中心位置を算出し、角膜の曲率中心位置及び瞳孔の中心位置に基づき角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である光軸を算出する眼球光軸算出手段１０８（もしくは、眼球光軸算出ステップ）が必要である。
そして、事前に行うキャリブレーション操作等によって予め与えられた光軸と視軸とのずれ値を用いて、算出した光軸から中心窩と角膜の曲率中心とを結ぶ軸である視軸を算出する眼球視軸算出手段１１０（もしくは、眼球視軸算出ステップ）が必要である。或いは、キャリブレーションを不要とする場合には、直接光軸と視軸が一致するとして視軸を求める。
【００３６】
計測対象領域の周囲もしくは領域内の異なる位置に配置された複数の光源とカメラの配置について説明する。
まず、視線計測においては、角膜で反射した光源の光をカメラで撮影する必要があることから、視線計測可能範囲候補は、眼球を中心とした円錐（以下では、これを“gaze cone”と称する。）に基づいて決定されることになる。図２は、眼球を頂点とした円錐（gaze cone）の底面、カメラ、光源の関係を、眼球の位置を固定しカメラの位置と光源の位置を変化させ、４通り示したものである。カメラの位置が固定の場合、光源をカメラから遠ざけると視線計測可能範囲候補もカメラから遠ざかることがわかる。このときカメラ、眼球、光源を２等分する線を中心とした円錐(gaze cone)とディスプレイの交線は楕円となる。この際、カメラと光源を離す距離の限界は、カメラで角膜の中の瞳孔が撮影できる範囲で決まる。
【００３７】
一方、頭を動かしたときに広い範囲で計測可能とするには、光源を頭の移動方向の先の方に設置することで、同じカメラによって形成されるgaze coneを移動することができる。
図３に示すように大型ディスプレイ１の枠下にカメラが固定されてある状況を考えると、光源の位置を移動させることによって、gaze coneを動かすことができることがわかる。このことは、光源の位置を動かすだけで、gaze coneの位置を変更できることを意味する。例えば、カメラ３ａが固定されてある場合、光源２ａの位置から光源２ｂの位置に光源を移動させることによって、gaze coneの中心が移動し（６ａから６ｂへ移動）、gaze coneを動かすことができる（５ａから５ｂへ移動）。
これに基づけば、図４に示すように、ディスプレイ１の周囲に６つの光源（２ａ〜２ｆ）と３つのカメラ（３ａ〜３ｃ）を配置すれば、ディスプレイ１の領域全体において視線を計測できる。詳細は後述するが、図４に示すような場合、gaze coneが３つ重なるエリアにおいて視線の計算が可能である。Gaze coneとディスプレイとの交線の形状は、眼球の位置によって決まり楕円となるが、この図では、ディスプレイに垂直に見ていると仮定しており、計算に必要な３つのgaze coneは略正面にあり、gaze coneとディスプレイとの交線である３つの楕円は、ほぼ円形であるとして図示している。
【００３８】
図５は、大型ディスプレイ１の上部に７つの光源（２ａ〜２ｇ）を設置し、かつ、下部に光源一体型カメラ（３ａ〜３ｇ，２ｈ〜２ｎ）を設置する場合における視線計測可能範囲を示している。詳細は後述するが、光源一体型カメラを使った場合は、gaze coneは２つ重なるエリアにおいて視線が計算可能である。
【００３９】
ここでは、カメラと光源の位置関係について２通りに分けて説明する。
図４に示すように、観測者が大型ディスプレイを見た際に、カメラと光源が離れた配置の場合、カメラと光源の位置に対して、眼球の向きを計測できる範囲は、光源からの光が角膜上で反射するか否かで決定される。図６に示すように、その限界は、θｍａｘで表される。但し、角膜の球面モデルを用いていることから角膜表面が球面と近似できる範囲で視線計測が可能である。そして、眼球が回転する全ての向きを考慮すると、図７に示す円錐（gaze cone）内が、光源が角膜の球面と近似できる部分に反射してカメラで撮影できる範囲となる。
【００４０】
図５に示すように、観測者が大型ディスプレイを見た際に、カメラと光源が同一位置の配置の場合、視線計測を可能とする光源が反射する範囲は、図８で示されるように、その限界角は、同様にθｍａｘで表される。但し、角膜の球面モデルを用いていることから角膜表面が球面と近似できる範囲で視線計測が可能である。そして、眼球が回転する全ての向きを考慮すると、図９に示す円錐（gaze cone）内が、光源が角膜の球面と近似できる部分に反射してカメラで撮影できる範囲となる。
【００４１】
次に、対応付けられたカメラの３次元位置と光源の３次元位置とから、角膜曲率中心（Ａ）の算出の仕方について説明する。
図４に示すように、観測者が大型ディスプレイを見た際に、カメラと光源が離れた配置の場合、図１０に示すように光源の光が角膜表面で反射する。この場合、カメラｊ，光源i，カメラ内部のイメージセンサ上のプルキニエ像を含む平面は、下記の式１で表される。角膜表面を球面であると近似しているので、式１で表される平面は、角膜曲率中心Ａを含むことになる。なお、下記式において、Ｐ，Ｃ，Ｌ，Ｘは３次元ベクトルを表している。
【００４２】
（数１）
{(Ｐ´ｊｉ−Ｃｊ) × (Ｌｉ−Ｃｊ)}・(Ｘ−Ｃｊ)＝０ ・・・（式１）
【００４３】
一方、図５に示すように、観測者が大型ディスプレイを見た際に、カメラと光源が同一の配置の場合（光源一体型カメラを含む）、図１１の示すように、下記の式２で表される直線は角膜曲率中心Ａを通ることになる。ここで、ｔｋｋはパラメタである。
【００４４】
（数２）
Ｘ＝ Ｃｋ + ｔｋｋ(Ｃｋ −Ｐ´ｋｋ) ・・・（式２）
【００４５】
大型ディスプレイの画面領域の内外に、多数のカメラと光源が設置されるような場合では、図５に示されるように、観測者が大型ディスプレイを見た際に、カメラと光源が離れた配置のものと、カメラと光源が同一位置の配置のもの（光源一体型カメラなど）と、２種類の配置が混在することになる。
このように、２種類の配置が混在する場合、以下の（条件１）〜（条件３）の３条件の１つを満たすときに、角膜曲率中心Ａを求めることができる。
【００４６】
（条件１）観測者が大型ディスプレイを見た際に、カメラと光源が離れた配置のものが３つある場合、上記の（式１）で示される平面が３つ求まるので、その交点として、角膜曲率中心Ａが求まる。但し、交点が１点に決まる必要があり、少なくとも３平面は同じであってはならない。
（条件２）観測者が大型ディスプレイを見た際に、カメラと光源が離れた配置のものと、カメラと光源が同一位置の配置のもの（光源一体型カメラを含む）がある場合、上記の（式１）で示される平面と上記の（式２）で示される直線が求まり、その交点として角膜曲率中心が求まる。但し、この場合、直線は平面に含まれてはならない。
（条件３）観測者が大型ディスプレイを見た際に、カメラと光源が同一位置の配置のもの（光源一体型カメラを含む）が２つある場合、上記の（式２）で示される直線が２つ求まり、その交点として角膜曲率中心が求まる。但し、この場合、直線は同一であってはならない。
【００４７】
上記（条件１）の場合、３つのgaze coneの重なる部分が視線を計測できる範囲である。また、上記（条件２）と（条件３）の場合、２つのgaze coneが重なる部分が視線を計算できる範囲である。
ここで、上記（条件１）の場合、１つのカメラで２つの反射光を撮影することは必ずしも必要ではなく、カメラ３台を使って３平面を求めてもよい。精度を上げるためには、（条件１）の場合、３平面は互いに直角に近い角度で交わる方が精度向上を図れる。（条件２）の場合でも、平面と直線が直角に近い角度で交わるものを選択する方が精度向上を図れる。（条件３）の場合でも、直線が直角に近い角度で交わる方が精度向上を図れる。
また、直角に近い角度で交わるものが複数ある場合は、それらを全て使えばロバスト性が向上する。なお、角度が極端に浅いものは、計算から除外するべきである。
複数満たす条件があったときは、精度向上が図れるように、上述の如く計算に利用するカメラと光源を選択する。
【００４８】
以上のようにして、角膜曲率中心Ａを求めることができる。次に、光軸を求める。
光軸を含む面は、角膜曲率中心Ａ、瞳孔中心Ｂ、カメラ中心Ｃｊを含む面である。図１２から下記の式３を得る。瞳孔が撮影できているカメラが２つあれば、２つの平面が求まるので、光軸（Ｂ−Ａ）が求まる。
【００４９】
（数３）
{( Ｃl−Ｂ’l) × (Ａ−Ｃl)}・(Ｘ−Ｃl)＝０ ・・・（式３）
【００５０】
上述の内容を踏まえて、本発明の視線計測装置および方法における視線計測可能領域を導く手段または方法について、以下に説明する。
図１３は、大型ディスプレイ１の周囲に配置された３つのカメラ（３ａ〜３ｃ）と６つの光源（２ａ〜２ｆ）を示した模式図である。
まず、眼球を中心とし、異なる位置同士の光源手段の位置とカメラ手段の位置とから決定される第１視線計測可能範囲候補を求める。図１３の場合、大型ディスプレイ１の画面領域の周囲に合せて６個の光源（２ａ〜２ｆ）が存在する。また、大型ディスプレイ１の画面領域の下側に３台のカメラ（３ａ〜３ｃ）が存在する。これらのカメラ（３ａ〜３ｃ）と光源（２ａ〜２ｆ）は互いに異なる位置に配置されている。カメラ（３ａ〜３ｃ）を下側に配置することにより、眼球画像を下側から取得することができることから、目を少し閉じた状態や目の細い人の眼球も撮影することができる。但し、カメラの位置は、計測対象の領域の下側に限定される必要はない。
【００５１】
第１視線計測可能範囲候補は、図１４に示すように、異なる位置同士の６個の光源（２ａ〜２ｆ）の位置と３台のカメラ（３ａ〜３ｃ）の位置から決定される１８（＝６×３）通り存在する。ここで、１８通りの第１視線計測可能範囲候補が少なくとも３つ重なる、すなわち、３つ以上重なる第１の視線計測可能領域を求める。図１４において、第１の視線計測可能領域１０は太線で囲まれた領域である。
なお、光源（２ａ〜２ｆ）の位置とカメラ（３ａ〜３ｃ）の位置を結ぶ線の中点が、gaze coneの中心（６ａ〜６ｄ等）である。
【００５２】
また、図１５は、大型ディスプレイの上側に配置された７個の光源（２ａ〜２ｇ）と、大型ディスプレイの下側に配置された７台の光源一体型カメラ（４ａ〜４ｇ）を示した模式図である。
まず、先ほどと同様に、眼球を中心とし、異なる位置同士の１４個の光源の位置（２ａ〜２ｎ）とカメラ（３ａ〜３ｇ）の位置とから決定される（７＋（７−１））×７通りの第１視線計測可能範囲候補を求める。なお、（７＋（７−１））としたのは、光源一体型カメラの光源の位置も考慮して光源を１３個としたからである。第１視線計測可能範囲候補は、１３個の光源の位置と７台のカメラの位置（３ａ〜３ｇ）から決定される９１（＝１３×７）通り存在する。
この第１視線計測可能範囲候補が少なくとも３つ重なる領域が、第一の視線計測可能領域である。図１６において第１の視線計測可能領域１０は図の太線で囲まれた領域である。なお、図１６において、９１通りの全ての第１視線計測可能範囲候補を図示するのは煩雑であるため便宜上割愛しており、全ての第１視線計測可能範囲候補を示しているわけではない。
【００５３】
次に、観測者から見て光源とカメラが同じ位置にある第２視線計測可能範囲候補と第１視線計測可能範囲候補が重なる第２の視線計測可能領域を求める。図１７のように、観測者とカメラレンズの中心を結ぶ略線上に光源が配置されるものが７個ある場合、第２視線計測可能範囲候補は７つある。ここで、第２視線計測可能範囲候補と第１視線計測可能範囲候補とが重なる第２の視線計測可能領域２０は、図の太線で囲まれた領域である。
次に、第２視線計測可能範囲候補同士が重なる第３の視線計測可能領域を求める。図１８において、第３の視線計測可能領域３０は図の太線で囲まれた領域である。
【００５４】
そして、図１６に示す第１の視線計測可能領域１０と、図１７に示す第２の視線計測可能領域２０と、図１８に示す第３の視線計測可能領域３０とを含む範囲内に、計測対象領域が収まることで、目的とする領域の視線計測が可能になる（図１９を参照。）。このように、大型ディスプレイや大型スクリーンなどの大画面のサイズや形状に応じて、最適な数のカメラと光源を用いて視線計測可能な範囲を拡大し、大画面におけるユーザの視線計測を行うのである。
【００５５】
次に、使用するカメラの性能による視線計測可能範囲について説明する。
まず、最小計測可能距離は、１つの眼球を２台のカメラで撮影するという制約により決まる。一般的にカメラの画角（横）は、下記の式４で表される。ここで、ｃ（ｍｍ）はカメラのイメージセンサの幅、ｆ（ｍｍ）はカメラレンズの焦点距離である。
【００５６】
【数４】
【００５７】
図２０に示すように、２台のカメラで撮影できる範囲（視線計測可能範囲）は、図中に斜線で示す如くギザギザとなるが、図２０のように山の谷までの距離をｌ（ｍｍ）とすると、２台のカメラで捉えるためには、カメラから距離ｌｍｍ離れた位置（図中のラインＡの位置）での撮影範囲の半分に相当する間隔でカメラを並べればよいことになる。従って、カメラ間隔は下記の式５で表される。ユーザが動く範囲を決定すれば、カメラの台数も決定できる。なお、ユーザ数が限られる場合は、カメラを並べずに、電動雲台などでカメラを動かして眼球を撮影するか、可動式のミラーで眼球を追跡するなどしてもよい。
例えば、カメラレンズの焦点距離ｆを１２ｍｍ、カメラのイメージセンサの幅ｃを４．８ｍｍ、カメラからの距離ｌを２．５ｍと仮定した場合、下記の式５から、カメラの配置間隔は０．５ｍとなる。
【００５８】
【数５】
【００５９】
次に、最大計測可能距離（図中のラインＢの位置）は、２つのプルキニエ像が検出できるかで決定される。そこで、観察される瞳孔の大きさに基づく最大計測可能距離について説明する。目の部分をカメラで撮像した場合、少なくとも瞳孔は１５×１５ピクセル（ｐｘ）程度で撮影する必要がある。
例として、イメージセンサの幅ｃ（ｍｍ），ｎ（ｐｘ）のカメラ、フォーカスｆ（ｍｍ）のカメラレンズを用いて、ｌ（ｍｍ）先の直径ｅ（ｍｍ）（約４ｍｍ程度（ただし、瞳孔径は明るさにより２〜８ｍｍで変化する））の瞳孔を撮影する場合について、図２１を参照して説明する。相似関係から、下記の式６を導くことができる。
【００６０】
【数６】
【００６１】
これを展開すると、ｌ＝ｅｆｎ／１５ｃとなり、ｅ＝４ｍｍ，ｆ＝１２ｍｍ，ｃ＝４．８ｍｍ，ｎ＝１００００（ｐｘ）を代入すると、ｌ＝６．６７ｍとなる。
また、瞳孔を１５（ｐｘ）程度で撮影しても、角膜表面に反射する２つのプルキニエ像の間隔が狭いと２つを分離できず、視線を求める計算は不可能となる。角膜表面での反射では、角膜表面は凸面鏡となることから、プルキニエ像の間隔が更に縮小されることになる。ここでは、プルキニエ像の間隔がどの程度縮小されるかについて、図２２を参照して説明する。図２２は、凸面鏡に物体ＡＢが反射したときの模式図を示している。
凸面鏡に物体ＡＢが反射したときの倍率ｍは、下記の式７で表される。ここで、ａは光源と角膜との距離、Ｒは角膜曲率半径、ｆｃは角膜の凸面鏡としての焦点距離であり、角膜の曲率半径の１／２である（ｆｃ ＝Ｒ／２）。
【００６２】
【数７】
【００６３】
光源の間隔をＬとすると、凸面鏡である角膜に映った２つの光源の虚像であるプルキニエ像の間隔は、ｍ倍されることから、下記の式８で表される。
【００６４】
【数８】
【００６５】
以上のことから、光源から（ａ＋ｂ）の位置に、上記数式７の右辺の間隔で、光源のプルキニエ像が観察されることがわかる。
隣接する２つのプルキニエ像を識別できる条件として、プルキニエ像が２（ｐｘ）四方の大きさとして、２つのプルキニエ像の間に２（ｐｘ）あればよいとする。画像処理のために２つのプルキニエ像の中心が少なくとも４（ｐｘ）分だけ離れて写るようにする。カメラのイメージセンサ上の画素（１０×１０ｐｘ）の模式図を図２３に示す。また、図２４に２つの光源の間隔と２つの光源の虚像（プルキニエ像）の間隔の幾何学的関係を示す。
最も眼球がカメラから離れた時、２つの光源からできる２つのプルキニエ像が、カメラのイメージセンサ上で４（ｐｘ）離れている必要がある。図２４に示すように、この光源の虚像（プルキニエ像）の間隔が、カメラ上で４（ｐｘ）であるためには、光源の虚像（プルキニエ像）の間隔は、４ｃｌ／ｎｆである。光源の虚像（プルキニエ像）の間隔は、上記数式７で表せることから、下記の式９の関係が成り立つ。
【００６６】
【数９】
【００６７】
角膜曲率半径Ｒの平均値は約７．８ｍｍであるので、角膜の凸面鏡としての焦点距離ｆｃは約３．９ｍｍである。例えば、ｆｃ＝３．９（ｍｍ）、光源と角膜との距離ａ＝５０００（ｍｍ）、イメージセンサの幅ｃ＝４．８（ｍｍ），ｎ＝１００００（ｐｘ），フォーカスｆ＝１２（ｍｍ）のカメラレンズを用いて、ｌ＝５０００（ｍｍ）先の物体を観測する場合、光源の間隔Ｌは、上記数式８より、１０２６．４（ｍｍ）となる。
この距離より、近い幅で設置した光源によるプルキニエ像は区別できない。逆に光源の距離を離した場合は、ユーザがカメラに近づいたとき、プルキニエ像が１点しか観察されないことがある。
【００６８】
次に、本発明の視線計測装置のハードウェア構成について、図２５を参照して説明する。視線計測装置２１は、ＣＰＵ２１１、メモリ２１２、ハードディスク２１３、キーボード２１４、マウス２１５、プロジェクタ２１６、外部メモリ２１７、ＬＥＤ２１８及びカメラ２１９を備えている。
ＣＰＵ２１１は、ハードディスク２１３に記録されているオペレーティング・システム（ＯＳ）、視線計測プログラム等その他のアプリケーションに基づいた処理を行う。メモリ２１２は、ＣＰＵ２１１に対して作業領域を提供する。ハードディスク２１３は、オペレーティング・システム（ＯＳ）、視線計測プログラム等その他のアプリケーション及び視線計測の結果得られた計測データを記録する。キーボード２１４、マウス２１５は、外部からの命令を受け付ける。プロジェクタ２１６は、視線を計測する観測者が見る映像コンテンツを表示する。
ＬＥＤ２１８は、視線計測装置２１によって視線を計測する観測者に対して、光を照射する。カメラ２１９は、観測者の眼球画像を撮影する。ＬＥＤ２１８及びカメラ２１９は大型ディスプレイのサイズや形状に応じて、複数配置する。配置の仕方は上述の通りである。
【００６９】
視線を計算するためには、実空間における３次元的な光源位置と、眼球画像上での反射像であるプルキニエ像の位置を対応付ける必要がある。光源が複数存在する場合、光源が角膜に複数反射するため、或いは、反射光が１つでもどの光源のものか分からないために、カメラ手段により撮影されたプルキニエ像と実際の光源手段との対応付けを行なう必要がある。
以下の実施例では、複数存在する光源からの光のために、角膜表面に現れるプルキニエ像に関して、プルキニエ像の位置と実際の光源の位置との対応付けを説明する。
【実施例１】
【００７０】
実施例１では、各々の光源の照射光の形状パターンを異なるものにすることにより、実際の光源の位置を判別するものについて説明する。角膜表面は凸面鏡となるため、光源の形状は縮小されるため、できるだけ大きな図形でないと識別は困難である。そのため、光源手段の形状パターン自体を異なるものにする。
ここで、角膜表面には３点映ればいいとする。単純な図形とするため、単に２点をつないだ直線と点の組み合わせとする。例えば、図２６（１）のように、瞳孔７には３つの点光源（８ａ〜８ｃ）の反射光が観察される。或いは、図２６（２）や（３）のように、瞳孔７には２つの点光源（８ａ，８ｂ）と線光源９ａの反射光が観察される。線光源は赤外線ＬＥＤを並べて構築するか、あるいは赤外線プロジェクタなどでパターンを投影してもよい。ここでは線光源の両端も点として認識するものとする。
【００７１】
図２７に、このような３点の組み合わせを３０通り示す。３０通りの組み合わせを番号１〜３０で示している。例えば、番号１は３つの点光源（８ａ，８ｂ，８ｃ）で構成されるもので、上に１点、下に２点の点光源があるものである。また、番号２は２つの点光源（８ａ，８ｂ）と１つの線光源９ａから構成されるもので、上に線光源、下に２点の点光源があるものである。また、番号３０は３つの線光源（９ａ，９ｂ，９ｃ）で構成されるもので、上に２点、下に１点の線光源があるものである。
【００７２】
また、図２８にこのような３点を組み合わせた光源の照射光の形状パターンを示す。なお、図２８において点光源と線光源の配置に意味があり、円は角膜に反射した光源のうちどの３点を選択したかという意味しかない。
図２８に示す３点を組み合わせた光源の照射光の形状パターンは、５つのパターンが重なりながら横に並び、４段重なったものである。最上段は左から番号２２，１０，１６，２９，１８、中段上は左から番号１，２，９，１４，２５、中段下は左から番号４，５，１２，１７，２４、最下段は左から番号１９，７，１３，２６，１５の形状パターンで構成されている。
【００７３】
ここで、図２８の形状パターンは、縦横に繰り返して配置できるものとなっている。図２９には、図２８に示す形状パターンを１単位とし、４単位を縦横に並べたパターン図を示す。スクリーンのように、小さな穴を開ける等をしてスクリーン面に光源を配置できるような場合はこのまま配置すればよい。
また、ディスプレイ上に光源を配置できないような場合は、例えば、図３０のようにディスプレイを囲むように光源の照射光の形状パターンを配置する。
また、ディスプレイが横長の場合は、図３１のように配置すればよい。繰り返し配置することにより、３６０°の全周囲視線計測も可能である。
【００７４】
各々の光源の照射光の形状パターンを異なるものとして、光源から照射する光の形状を星形，ハート型，文字型，ＱＲコードに代表される二次元コードなど光源毎にユニークなものとして、光源を区別できるようにするものがある。
上述の如く、角膜表面は凸面鏡となることから光源の形状は縮小されるため、できるだけ大きな図形でないと識別は困難である。しかしながら、非常に高解像度の画像が取得できる場合に、光源から照射する光の形状を光源毎にユニークなものとして光源を判別できる。例えば、光源が赤外線ＬＥＤであり、ＬＥＤ毎にユニークな数字を照射できるようにする。図３２の如く、眼球に赤外線の光が照射されると、数字が角膜に反射されて観察される。観察された数字から、どの光源からの光であるかを判別できる。
その他、ディスプレイに表示されている形状が既知のものを利用して、既知の形状と反射像の位置関係から、どの位置から発せられた光であるかを判別することも可能である。
【実施例２】
【００７５】
実施例２では、各々の光源手段の照射光の波長を異なるものにすることにより、実際の光源の位置を判別するものについて説明する。各々の光源手段の照射光の波長を異なるものにし、光の色で光源を判別する。例えば、図３３に示すように、ディスプレイ１の周囲に白（２ａ）、青（２ｂ）、オレンジ（２ｃ）、赤（２ｄ）、黄（２ｅ）、緑（２ｆ）などの色のついた光源を用いることにより、角膜表面上のプルキニエ像と光源を対応付ける。
【実施例３】
【００７６】
実施例３では、所定時間内に各々の光源をユニークに点滅させて、光源手段の点灯・消灯を２値データとし、特定の光源手段と対応付けするものについて説明する。
例えば、１フレームごとのＬＥＤの点灯を０、消灯をＸとして表記する。
終端記号を連続する２つの消灯とした場合、条件としては、終端記号ＸＸとの差別化のために各信号の中に連続のＸＸが存在しないことと、終端記号ＸＸとの差別化のために最後のビットが０である（Ｘでない）ことである。これにより採用可能な記号列は、４ｂｉｔの場合、１６個中の５通り（００００、００Ｘ０、０Ｘ００、Ｘ０００、Ｘ０Ｘ０）になる。また、５ｂｉｔの場合３２個中以下の８通り（０００００、０００Ｘ０、００Ｘ００、０Ｘ０００、０Ｘ０Ｘ０、Ｘ００００、Ｘ００Ｘ０、Ｘ０Ｘ００）になる。
また、終端記号を付加せずに、1ブロックの配列として対応付ける場合、ＬＥＤとプログラムを同期させる必要があるものの、切れ目なく連続して計測が可能である。例えば、“００００
０Ｘ０Ｘ ＸＸ０Ｘ ・・・”の場合、入力を４ｂｉｔ毎に区切ることにより、全記号列を認識・判別できる。
【実施例４】
【００７７】
実施例４では、各々の光源を順次点灯させて、光源のプルキニエ像の位置と実際の光源の位置とを対応付けするものについて説明する。
ここで、各々の光源手段を順次点灯させるとは、図３４（１）〜（６）の如く、順番に光源手段を点灯させて（図中で点灯を“＊”で表記）、眼球に映るプルキニエ像を対応させるものである。眼球上にプルキニエ像が存在する場合、順番に光源手段を点灯させて、複数の光源手段を１つずつ特定する。
例えば、図３４（１）〜（６）に示すように、順番に光源を点灯させて光源を判別する場合、ある場所の光源を光らせて、カメラで撮影された眼球画像にその反射光が映るかどうかを確認し、上述の（条件１）または（条件２）または（条件３）を満たすのに必要なプルキニエ像の位置と実際の光源の位置とを対応付けが完了すれば、視線の算出が可能になる。
【産業上の利用可能性】
【００７８】
本発明は、大画面ディスプレイやスクリーン全体などの任意の画面全体、ショーウィンドウなどの所定領域全体で視線計測を実現できることから、デパートやコンビニやショーウィンドウなどのマーケティング調査装置や方法として有用である。
また、デジタルサイネージ（電子看板）、博物館や美術館などのユーザインタフェースや、観測者の行動分析装置や方法として有用である。
【符号の説明】
【００７９】
１ ディスプレイ
２，２ａ〜２ｎ 光源
３，３ａ〜３ｇ カメラ
４ａ〜４ｇ 光源一体型カメラ
５，５ａ，５ｂ gaze cone
６，６ａ〜６ｆ gaze coneの中心
７ 瞳孔
８ａ〜８ｃ 点光源
９ａ〜９ｃ 線光源
１０ 第１の視線計測可能領域
２０ 第２の視線計測可能領域
３０ 第３の視線計測可能領域
４０ 視線計測可能領域
２１，１００ 視線計測装置
【特許請求の範囲】
【請求項１】
平面もしくは曲面で構成される領域における観測者の視線を計測する装置であって、
各々異なる位置に配置されるＭ個（Ｍは２以上）のカメラ手段と、
各々異なる位置に配置されるＮ個（Ｎは２以上）の光源手段と、
何れかのカメラ手段により撮像された眼球画像上における光源手段のプルキニエ像の位置と、実際の光源手段の位置とを対応付けする光源対応付け手段と、
対応付けられた少なくとも２組のカメラ手段と光源手段の位置関係から眼球の光軸を算出する眼球光軸算出手段と、
眼球の光軸から眼球の視軸を算出する眼球視軸算出手段と、
を備え、
眼球を中心とし、異なる位置同士の光源手段の位置とカメラ手段の位置とから決定される第１視線計測可能範囲候補が少なくとも３つ重なる第１の視線計測可能領域、
カメラ手段のカメラレンズ中心と同一位置に光源手段が配置されるものがＬ組（ＬはＮ以下かつＭ以下）ある場合、同一位置にあるカメラ手段と光源手段から決定される第２視線計測可能範囲候補が、上記第１視線計測可能範囲候補と重なる第２の視線計測可能領域、
上記第２視線計測可能範囲候補同士が重なる第３の視線計測可能領域、
上記第１の視線計測可能領域と上記第２の視線計測可能領域と上記第３の視線計測可能領域とを含む範囲内に、計測対象領域が収まるように、個々のカメラ手段および光源手段が配置される、ことを特徴とする視線計測装置。
【請求項２】
少なくとも１人の観測者の移動する範囲をすべて撮影するようにカメラ配置が決定された複数の前記カメラ手段と、カメラ配置された後に、計測対象領域について視線計測ができるように配置された複数の前記光源手段と、を備えることを特徴とする請求項１に記載の視線計測装置。
【請求項３】
前記光源対応付け手段は、各々の光源手段の照射光の形状パターン若しくは波長を異なるものとし、光源手段のプルキニエ像の位置と実際の光源手段の位置とを対応付けすることを特徴とする請求項１に記載の視線計測装置。
【請求項４】
前記光源対応付け手段は、各々の光源手段を順次点灯させて、或いは、所定時間内に各々の光源手段をユニークに点滅させて、光源手段のプルキニエ像の位置と実際の光源手段の位置とを対応付けすることを特徴とする請求項１に記載の視線計測装置。
【請求項５】
前記光源手段の照射光が赤外線であることを特徴とする請求項１〜４のいずれかに記載の視線計測装置。
【請求項６】
前記光源手段と前記カメラ手段の少なくとも一方が計測対象領域よりも眼球側に近づいた位置に配置されていることを特徴とする請求項１〜４のいずれかに記載の視線計測装置。
【請求項７】
平面もしくは曲面で構成される領域内外に、
各々異なる位置に配置されるＭ個（Ｍは２以上）のカメラ手段と、
各々異なる位置に配置されるＮ個（Ｎは２以上）の光源手段と、
を用いて、領域における視線を計測する方法であって、
眼球を中心とし、異なる位置同士の光源手段の位置とカメラ手段の位置とから決定される第１視線計測可能範囲候補が少なくとも３つ重なる第１の視線計測可能領域、
カメラ手段のカメラレンズ中心と同一位置に光源手段が配置されるものがＬ組（ＬはＮ以下かつＭ以下）ある場合、同一位置にあるカメラ手段と光源手段から決定される第２視線計測可能範囲候補が、上記第１視線計測可能範囲候補と重なる第２の視線計測可能領域、
上記第２視線計測可能範囲候補同士が重なる第３の視線計測可能領域、
上記第１の視線計測可能領域と上記第２の視線計測可能領域と上記第３の視線計測可能領域とを含む範囲内に、計測対象領域が収まるように、個々のカメラ手段および光源手段を配置するカメラ・光源配置ステップと、
何れかのカメラ手段により撮像された眼球画像上における光源手段のプルキニエ像の位置と、実際の光源手段の位置とを対応付けする光源対応付けステップと、
対応付けられた少なくとも２組のカメラ手段と光源手段の位置関係から眼球の光軸を算出する眼球光軸算出ステップと、
眼球の光軸から眼球の視軸を算出する眼球視軸算出ステップと、
を備えたことを特徴とする視線計測方法。
【請求項８】
カメラ・光源配置ステップにおいて、少なくとも１人の観測者の移動する範囲をすべて撮影するように前記カメラ手段のカメラ配置を決定した後に、計測対象領域について視線計測ができるように前記光源手段を配置することを特徴とする請求項７に記載の視線計測方法。
【請求項９】
前記光源対応付けステップは、各々の光源手段の照射光の形状パターン若しくは波長を異なるものとし、光源手段のプルキニエ像の位置と実際の光源手段の位置とを対応付けすることを特徴とする請求項７に記載の視線計測方法。
【請求項１０】
前記光源対応付けステップは、各々の光源手段を順次点灯させて、或いは、所定時間内に各々の光源手段をユニークに点滅させて、光源手段のプルキニエ像の位置と実際の光源手段の位置とを対応付けすることを特徴とする請求項７に記載の視線計測方法。
【請求項１】
平面もしくは曲面で構成される領域における観測者の視線を計測する装置であって、
各々異なる位置に配置されるＭ個（Ｍは２以上）のカメラ手段と、
各々異なる位置に配置されるＮ個（Ｎは２以上）の光源手段と、
何れかのカメラ手段により撮像された眼球画像上における光源手段のプルキニエ像の位置と、実際の光源手段の位置とを対応付けする光源対応付け手段と、
対応付けられた少なくとも２組のカメラ手段と光源手段の位置関係から眼球の光軸を算出する眼球光軸算出手段と、
眼球の光軸から眼球の視軸を算出する眼球視軸算出手段と、
を備え、
眼球を中心とし、異なる位置同士の光源手段の位置とカメラ手段の位置とから決定される第１視線計測可能範囲候補が少なくとも３つ重なる第１の視線計測可能領域、
カメラ手段のカメラレンズ中心と同一位置に光源手段が配置されるものがＬ組（ＬはＮ以下かつＭ以下）ある場合、同一位置にあるカメラ手段と光源手段から決定される第２視線計測可能範囲候補が、上記第１視線計測可能範囲候補と重なる第２の視線計測可能領域、
上記第２視線計測可能範囲候補同士が重なる第３の視線計測可能領域、
上記第１の視線計測可能領域と上記第２の視線計測可能領域と上記第３の視線計測可能領域とを含む範囲内に、計測対象領域が収まるように、個々のカメラ手段および光源手段が配置される、ことを特徴とする視線計測装置。
【請求項２】
少なくとも１人の観測者の移動する範囲をすべて撮影するようにカメラ配置が決定された複数の前記カメラ手段と、カメラ配置された後に、計測対象領域について視線計測ができるように配置された複数の前記光源手段と、を備えることを特徴とする請求項１に記載の視線計測装置。
【請求項３】
前記光源対応付け手段は、各々の光源手段の照射光の形状パターン若しくは波長を異なるものとし、光源手段のプルキニエ像の位置と実際の光源手段の位置とを対応付けすることを特徴とする請求項１に記載の視線計測装置。
【請求項４】
前記光源対応付け手段は、各々の光源手段を順次点灯させて、或いは、所定時間内に各々の光源手段をユニークに点滅させて、光源手段のプルキニエ像の位置と実際の光源手段の位置とを対応付けすることを特徴とする請求項１に記載の視線計測装置。
【請求項５】
前記光源手段の照射光が赤外線であることを特徴とする請求項１〜４のいずれかに記載の視線計測装置。
【請求項６】
前記光源手段と前記カメラ手段の少なくとも一方が計測対象領域よりも眼球側に近づいた位置に配置されていることを特徴とする請求項１〜４のいずれかに記載の視線計測装置。
【請求項７】
平面もしくは曲面で構成される領域内外に、
各々異なる位置に配置されるＭ個（Ｍは２以上）のカメラ手段と、
各々異なる位置に配置されるＮ個（Ｎは２以上）の光源手段と、
を用いて、領域における視線を計測する方法であって、
眼球を中心とし、異なる位置同士の光源手段の位置とカメラ手段の位置とから決定される第１視線計測可能範囲候補が少なくとも３つ重なる第１の視線計測可能領域、
カメラ手段のカメラレンズ中心と同一位置に光源手段が配置されるものがＬ組（ＬはＮ以下かつＭ以下）ある場合、同一位置にあるカメラ手段と光源手段から決定される第２視線計測可能範囲候補が、上記第１視線計測可能範囲候補と重なる第２の視線計測可能領域、
上記第２視線計測可能範囲候補同士が重なる第３の視線計測可能領域、
上記第１の視線計測可能領域と上記第２の視線計測可能領域と上記第３の視線計測可能領域とを含む範囲内に、計測対象領域が収まるように、個々のカメラ手段および光源手段を配置するカメラ・光源配置ステップと、
何れかのカメラ手段により撮像された眼球画像上における光源手段のプルキニエ像の位置と、実際の光源手段の位置とを対応付けする光源対応付けステップと、
対応付けられた少なくとも２組のカメラ手段と光源手段の位置関係から眼球の光軸を算出する眼球光軸算出ステップと、
眼球の光軸から眼球の視軸を算出する眼球視軸算出ステップと、
を備えたことを特徴とする視線計測方法。
【請求項８】
カメラ・光源配置ステップにおいて、少なくとも１人の観測者の移動する範囲をすべて撮影するように前記カメラ手段のカメラ配置を決定した後に、計測対象領域について視線計測ができるように前記光源手段を配置することを特徴とする請求項７に記載の視線計測方法。
【請求項９】
前記光源対応付けステップは、各々の光源手段の照射光の形状パターン若しくは波長を異なるものとし、光源手段のプルキニエ像の位置と実際の光源手段の位置とを対応付けすることを特徴とする請求項７に記載の視線計測方法。
【請求項１０】
前記光源対応付けステップは、各々の光源手段を順次点灯させて、或いは、所定時間内に各々の光源手段をユニークに点滅させて、光源手段のプルキニエ像の位置と実際の光源手段の位置とを対応付けすることを特徴とする請求項７に記載の視線計測方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【公開番号】特開２０１２−２３９８４９（Ｐ２０１２−２３９８４９Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１６３７２（Ｐ２０１１−１１６３７２）
【出願日】平成２３年５月２４日（２０１１．５．２４）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（５０４１５０４５０）国立大学法人神戸大学 (421)
【出願人】（５０３０９２１８０）学校法人関西学院 (71)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月２４日（２０１１．５．２４）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（５０４１５０４５０）国立大学法人神戸大学 (421)
【出願人】（５０３０９２１８０）学校法人関西学院 (71)
【Ｆターム（参考）】
[ Back to top ]