視線測定装置および視線測定プログラム
【課題】利用者の頭部動作に対する頑健性を向上させ、かつ、撮影画像フレーム内で、実際に利用者が注視する画面上の位置と、測定により得た画面上の位置との誤差を補正することが可能な視線測定装置および視線測定プログラムを提供する。
【解決手段】視線測定装置１は、眼球周辺画像から左右眼の眼球位置を検出する眼球位置検出手段１１と、眼球周辺画像から左右眼の眼球領域画像を切り出す眼球領域画像切り出し手段１２と、左右眼の眼球領域画像から左右眼の瞳孔中心の位置および角膜反射点の位置を特定する基準位置特定手段１３と、左右眼の瞳孔中心の位置および角膜反射点の位置に基づいて左右眼の視線ベクトルを算出する視線ベクトル算出手段１４と、予め取得した校正データに基づいて左右眼の視線ベクトルを校正する視線ベクトル校正手段１５と、校正された視線ベクトルから注視点を算出する注視点算出手段１６とを備える。
【解決手段】視線測定装置１は、眼球周辺画像から左右眼の眼球位置を検出する眼球位置検出手段１１と、眼球周辺画像から左右眼の眼球領域画像を切り出す眼球領域画像切り出し手段１２と、左右眼の眼球領域画像から左右眼の瞳孔中心の位置および角膜反射点の位置を特定する基準位置特定手段１３と、左右眼の瞳孔中心の位置および角膜反射点の位置に基づいて左右眼の視線ベクトルを算出する視線ベクトル算出手段１４と、予め取得した校正データに基づいて左右眼の視線ベクトルを校正する視線ベクトル校正手段１５と、校正された視線ベクトルから注視点を算出する注視点算出手段１６とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置に表示される映像を視認する利用者の視線を測定するための視線測定装置および視線測定プログラムに関する。
【背景技術】
【０００２】
現在、人の視線を測定して、コンピュータの表示装置に表示されるメニュー、アイコン等を、その視線によって選択、操作するインタフェース（視線インタフェース）に関する技術が種々提案されている。このようなインタフェース技術の前提として、視線を測定するための視線測定装置が必要となる。
この視線測定装置としては、人（利用者）の左右眼のうちいずれか一方の眼球をカメラで拡大撮影して、眼球画像の特徴点（瞳孔の中心点、あるいは、瞳孔の中心点と角膜反射点）の位置から、視線方向を示す視線ベクトルを算出するものがある。
【０００３】
ここで、利用者が表示装置の画面上を注視した位置と、視線測定装置が眼球等の動きにより測定した画面上の位置との間には、眼球形状の個人差等に起因する誤差が存在している。そこで、視線測定装置では、その誤差を補正するため、キャリブレーション（校正）処理を行っている。
このキャリブレーション処理は、利用者が予め複数のマーカを順次注視し、利用者が注視した位置と、視線測定装置が眼球等の動きにより測定した位置との位置関係からキャリブレーションデータ（校正データ）を生成しておき、そのキャリブレーションデータによって、利用者の視線を補正する処理である。
【０００４】
このキャリブレーション処理を用いた視線測定装置としては、例えば非特許文献１、２に記載のものが該当する。
非特許文献１に記載の視線測定装置は、眼球の拡大画像から画像処理により、眼球画像の特徴点である瞳孔の中心点と角膜反射点の画像中の座標を検出し、この検出データに、予め行ったキャリブレーション処理によって得た校正データを適用し、校正された眼球画像の２つの特徴点（瞳孔の中心点と角膜反射点）の位置関係から注視点の位置を算出するものである。
【０００５】
非特許文献２に記載の視線測定装置は、カメラの外部パラメータ（三次元位置）、内部パラメータ（焦点距離等）、フォーカスによって算出したカメラ−眼球間の距離を利用して、眼球画像から眼球の三次元位置を検出し、この検出データに、予め行ったキャリブレーション処理によって得た校正データを適用し、校正された眼球の三次元位置から注視点の位置を算出するものである。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】竹井機器株式会社製 ＦｒｅｅＶｉｅｗ−ＤＴＳ（型番 Ｔ．Ｋ．Ｋ．２９２０ｂ）ハードウェア取扱説明書
【非特許文献２】大野健彦、他２名「２点補正による簡易キャリブレーションを実現した視線測定システム」、情報処理学会論文誌 Ｖｏｌ．４４ Ｎｏ．４ ｐｐ．１１３６−１１４９、Ａｐｒ．２００３
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ここで、視線測定装置では、利用者の頭部動作により眼球が撮影範囲外に移動してしまうと、視線測定が行えなくなってしまう。このため、利用者の頭部動作に対して頑健性の高い測定手法の確立が望まれていた。
【０００８】
しかし、非特許文献１、２に記載の手法では、片眼のみを拡大撮影しているために、利用者の頭部動作により眼球が撮影範囲外に移動してしまう確率が高く、利用者の頭部動作に対する頑健性が低かった。
この対策として、例えば、撮影画角を広げて眼球周辺のより広い範囲を撮影したり、カメラの雲台を回転（パン、チルト）させる等して眼球を動的に追跡したりすることが考えられる。
【０００９】
しかしながら、前者の手法では、撮影画像のうちの眼球領域の面積（画素数）が小さくなるため、その分精度が低下してしまう。また、後者の手法では、眼球領域の面積は変わらないが、眼球位置が撮影範囲を超えて変化し、この変化に対応させるためにカメラを支持する雲台を回転（パン、チルト）させた場合には、カメラの三次元位置が変化したこととなるため、カメラの外部パラメータのキャリブレーション処理およびマーカによるキャリブレーション処理をやり直す必要があり、手数がかかってしまう。
【００１０】
また、視線測定装置では、視線測定の精度を向上させるために、撮影画像フレーム内で、利用者が表示装置の画面上を注視した位置と、視線測定装置が眼球等の動きにより測定した画面上の位置との誤差を校正したり、校正時に得られた校正用パラメータを用いて注視点を算出したりする際に、カメラ−眼球間の距離が必要となる。ここで、非特許文献２では、フォーカスにより求めたカメラ−眼球間の距離を用いている。しかしながら、この手法によると、合焦までに時間を要してしまうため、入力された撮影画像に対するカメラ−眼球間の距離の入力に遅れ時間が生じてしまい、校正時や測定時に撮像画像フレーム内での誤差の補正が困難であった。
【００１１】
本発明は、以上のような問題点に鑑みてなされたものであり、簡易な構成で利用者の頭部動作に対する頑健性を向上させ、かつ、撮影画像フレーム内で、実際に利用者が注視する画面上の位置と、測定により得た画面上の位置との誤差を補正することが可能な視線測定装置および視線測定プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の視線測定装置は、表示装置の画面を視認する利用者の視線を測定する視線測定装置において、眼球位置検出手段と、眼球領域画像切り出し手段と、基準位置特定手段と、カメラ座標系変換手段と、世界座標系変換手段と、角膜曲率中心座標算出手段と、ベクトル算出手段と、視線ベクトル校正手段と、注視点算出手段と、を備える構成とした。
【００１３】
かかる構成において、視線測定装置は、眼球位置検出手段によって、撮影手段により撮影された、光を照射された前記利用者の左右の眼球を含んだ眼球周辺画像から、左右眼の眼球位置をそれぞれ検出する。これによって、左右の眼球を含んだ眼球周辺画像から、左眼と右眼の眼球位置をそれぞれ検出することができ、左右の眼球領域画像の切り出しに利用することができる。
【００１４】
また、視線測定装置は、眼球領域画像切り出し手段によって、前記眼球位置検出手段により検出された前記左右眼の前記眼球位置に基づいて、前記左右眼それぞれの眼球領域画像を切り出す。これによって、左右眼のそれぞれについて眼球領域画像を取得することができるので、この眼球領域画像を用いて、左右眼のそれぞれについて個別に視線測定処理を行うことが可能となる。
さらに、視線測定装置は、基準位置特定手段によって、前記眼球領域画像切り出し手段により切り出された前記左右眼それぞれの前記眼球領域画像から、前記左右眼それぞれの瞳孔中心の位置および角膜反射点の位置を特定する。
【００１５】
また、視線測定装置は、カメラ座標系変換手段によって、予め測定した左右の眼球間の距離と、予め取得したカメラパラメータとに基づいて、前記基準位置特定手段により特定された前記左右眼それぞれの瞳孔中心の位置および角膜反射点を、前記左右眼それぞれのカメラ座標系における瞳孔中心座標および角膜反射点座標に変換する。
また、視線測定装置は、世界座標系変換手段によって、前記カメラ座標系変換手段により変換された前記左右眼それぞれのカメラ座標系における瞳孔中心座標と、前記左右眼それぞれのカメラ座標系における角膜反射点座標とを、前記左右眼のそれぞれの世界座標系における角膜反射点座標と、前記左右眼それぞれの世界座標系における瞳孔中心座標とに変換する。
また、視線測定装置は、角膜曲率中心座標算出手段によって、前記世界座標系変換手段により変換された前記世界座標系における角膜反射点座標と、角膜曲率半径とに基づいて角膜曲率中心座標を算出する。
そして、視線測定装置は、ベクトル算出手段によって、前記世界座標系変換手段により変換された前記世界座標系における瞳孔中心座標と、前記角膜曲率中心座標算出手段により前記角膜曲率中心座標算出手段により算出された前記角膜曲率中心座標とを通る直線を、視線方向を示す視線ベクトルとして、前記左右眼のそれぞれについて算出する。
【００１６】
これによって、左右眼のそれぞれについて視線ベクトルを算出することができる。またこのとき、左右眼からカメラまでのそれぞれの距離を、予め測定した左右の眼球間の距離と、予め取得したカメラパラメータ（眼球周辺画像における中心点座標）とに基づいて算出することができる。つまり、撮影画像フレーム内でカメラ−眼球間の距離を算出することができるので、フォーカスにより算出する場合のように、撮影画像の入力に対して遅れが生じるのを防止することができる。なお、左右の眼球間の距離は、瞳孔間距離計などによって測定することができる。
【００１７】
またさらに、視線測定装置は、視線ベクトル校正手段によって、予め定めた視線ベクトルを校正する校正データに基づいて、前記ベクトル算出手段により算出された前記左右眼それぞれの前記視線ベクトルを校正する。ここで、校正データとは、視線ベクトルと利用者が注視している画面上の位置とがどれだけずれているのかを示す指標である。すなわち、視線測定装置は、視線ベクトル校正手段によって、校正データで表されるずれ量分の補正を行うことで、実際に利用者が画面を注視する視線ベクトルを取得することができる。
【００１８】
そして、視線測定装置は、注視点算出手段によって、前記視線ベクトル校正手段により校正された前記左眼の視線ベクトルと前記右眼の視線ベクトルのそれぞれの前記表示装置の画面との交点の平均の位置または前記左眼の視線ベクトルと前記右眼の視線ベクトルのいずれか一方の前記表示装置の画面との交点を注視点として算出する。これによって、実際に利用者が注視する画面上の位置（＝注視点）を算出することが可能となる。
またこのとき、視線測定装置は、注視点算出手段によって、前記視線ベクトル算出手段により左右眼のいずれか一方の前記視線ベクトルが算出できなかった場合、算出できた方の視線ベクトルで前記注視点を算出する。
このように、利用者の左右眼それぞれの視線ベクトルを算出できた場合には、左右眼のそれぞれの視線ベクトルを用いて注視点を算出することができる。また、測定時の利用者の頭部動作等により、利用者の左右眼のいずれか一方の視線ベクトルを算出できなかった場合も、もう一方の視線ベクトルを用いて注視点を算出することができるので、利用者の頭部動作に対する頑健性を向上させることができる。
【００１９】
また、請求項２に記載の視線測定プログラムは、表示装置の画面を視認する利用者の視線を測定するために、コンピュータを、眼球位置検出手段、眼球領域画像切り出し手段、基準位置特定手段、視線ベクトル算出手段、視線ベクトル校正手段、注視点算出手段として機能させるための視線測定プログラムである。
【００２０】
かかる構成において、視線測定プログラムは、眼球位置検出手段によって、撮影手段により撮影された、光を照射された前記利用者の左右の眼球を含んだ眼球周辺画像から、左右眼の眼球位置をそれぞれ検出する。
また、視線測定プログラムは、眼球領域画像切り出し手段によって、前記眼球位置検出手段により検出された前記左右眼の前記眼球位置に基づいて、前記左右眼それぞれの眼球領域画像を切り出す。
また、視線測定プログラムは、基準位置特定手段によって、眼球領域画像切り出し手段により切り出された前記左右眼それぞれの前記眼球領域画像から、前記左右眼それぞれの瞳孔中心の位置および角膜反射点の位置を特定する。
【００２１】
さらに、視線測定プログラムは、カメラ座標系変換手段によって、予め測定した左右の眼球間の距離と、予め取得したカメラパラメータとに基づいて、前記基準位置特定手段により特定された前記左右眼それぞれの瞳孔中心の位置および角膜反射点を、前記左右眼それぞれのカメラ座標系における瞳孔中心座標および角膜反射点座標に変換する。
またさらに、視線測定プログラムは、世界座標系変換手段によって、前記カメラ座標系変換手段により変換された前記左右眼それぞれのカメラ座標系における瞳孔中心座標と、前記左右眼それぞれのカメラ座標系における角膜反射点座標とを、前記左右眼のそれぞれの世界座標系における角膜反射点座標と、前記左右眼それぞれの世界座標系における瞳孔中心座標とに変換する。
また、視線測定プログラムは、角膜曲率中心座標算出手段によって、前記世界座標系変換手段により変換された前記世界座標系における角膜反射点座標と、角膜曲率半径とに基づいて角膜曲率中心座標を算出する。
そして、視線測定プログラムは、ベクトル算出手段によって、前記世界座標系変換手段により変換された前記世界座標系における瞳孔中心座標と、前記角膜曲率中心座標算出手段により算出された前記角膜曲率中心座標とを通る直線を、視線方向を示す視線ベクトルとして、前記左右眼のそれぞれについて算出する。
【００２２】
そして、視線測定プログラムは、視線ベクトル校正手段によって、予め定めた視線ベクトルを校正する校正データに基づいて、前記ベクトル算出手段により算出された前記左右眼それぞれの前記視線ベクトルを校正する。
そして、視線測定プログラムは、注視点算出手段によって、前記視線ベクトル校正手段により校正された前記左眼の視線ベクトルと前記右眼の視線ベクトルの平均値と、前記表示装置の画面との交点を注視点として算出する。これによって、実際に利用者が注視する画面上の位置を測定することが可能となる。
【発明の効果】
【００２３】
本発明は、以下に示す優れた効果を奏するものである。
請求項１、２に記載の発明によれば、利用者の左右眼それぞれの視線ベクトルが算出された場合には、左右眼のそれぞれの視線ベクトルを用いて注視点を算出することができる。また、測定時の利用者の頭部動作等により、利用者の左右眼のいずれか一方の視線ベクトルが算出できなかった場合も、算出できた方の視線ベクトルを用いて注視点を算出することができる。このように、測定時に利用者の頭部動作等があった場合にも、キャリブレーション処理をやり直すことなく利用者の視線を確実に測定することが可能となるので、簡易な構成で利用者の頭部動作に対する頑健性を向上させることができる。
また、予め測定した左右の眼球間の距離に基づいて、撮影画像フレーム内でカメラ−眼球間の距離を算出することができるので、撮影画像に対する左右の眼球間の距離の入力の遅れが生じるのを防止することができる。このため、撮影画像フレーム内で、実際に利用者が注視する画面上の位置と、測定により得た画面上の位置との誤差を補正した正確な注視点を算出することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明に係る視線測定装置の概要を説明するための説明図である。
【図２】本発明に係る視線測定装置の構成を示すブロック構成図である。
【図３】本発明に係る視線測定装置の視線ベクトル算出手段の構成を示すブロック構成図である。
【図４】本発明に係る視線測定装置の眼球領域画像切り出し手段で切り出した眼球領域画像と、この眼球領域画像に対応する眼球モデルを示す概念図である。
【図５】本発明に係る視線測定装置における視線データを校正（補正）して注視点を算出する動作を示すフローチャートである。
【発明を実施するための形態】
【００２５】
［視線測定装置の概要］
最初に、図１を参照して、本発明に係る視線測定装置の概要について説明する。図１に示すように、視線測定装置１は、表示装置Ｄの画面を利用者Ｈが注視したときの利用者Ｈの視線を測定するものである。なお、視線測定装置１は、利用者Ｈの左右両眼を含んだ眼球周辺画像Ｇを取得し、これを左右の眼球領域画像ＧＲ，ＧＬに切り分けて、個別に視線測定を行うことを特徴とする。
【００２６】
表示装置Ｄの画面上には、図示しない映像信号出力装置から出力された注視の対象となるマーカＭ（注視対象物）を含んだ映像（コンテンツ）が表示されており、視線測定装置１には、図示しない映像信号出力装置から、表示装置Ｄの画面上に表示しているフレーム画像に関する情報（例えば、タイムコード）が入力されている。そして、視線測定装置１では、眼球周辺画像Ｇをキャプチャした時点での図示しない映像信号出力装置から入力されたフレーム画像情報を、利用者Ｈが注視している画像と対応付けている。
また、視線測定装置１は、眼球撮影用のカメラＣにより撮影された、表示装置Ｄの画面上のマーカＭを注視する利用者Ｈの左右両眼の眼球周辺を含む眼球周辺画像Ｇを取得し、この眼球周辺画像Ｇから左眼と右眼のそれぞれについて個別に眼球領域画像ＧＲ，ＧＬを切り出し、左眼と右眼のそれぞれについて個別に視線ベクトルを算出し、算出した左眼と右眼それぞれの視線ベクトルを、予め取得した校正データによりそれぞれ校正（補正）して、校正後の視線ベクトルから、左眼と右眼のそれぞれについて注視点を算出する。なお、視線測定装置１には、フレーム画像情報と、表示装置Ｄの画面上に表示されているマーカＭの空間座標（世界座標系）との対応を示す設定ファイルが予め与えられており、校正時には、この設定ファイルを用いて校正を行う。
ここで、注視点とは、視線ベクトルと表示装置Ｄの画面との交点をいうものである。なお、ここでは、マーカＭを格子状に９つ配置したが、これに限られるものではない。
【００２７】
なお、利用者Ｈの視線は、例えば、強膜反射法、角膜反射法、瞳孔−角膜反射法等の一般的な技術により求めることができ、ここでは、視線測定装置１は、瞳孔−角膜反射法によって、発光手段（リング照明）Ｒから発光する赤外線が、利用者Ｈの視線で反射した状態をカメラＣで撮影した画像（眼球領域画像ＧＲ，ＧＬ）から求めることとする。なお、視線は、画面上の注視点、あるいは、利用者Ｈの眼球の瞳孔から画面上の注視点へのベクトル（視線ベクトル）であっても良いが、ここでは、注視点を示すこととする。
以下、視線測定装置１の具体的な構成および動作について説明を行う。
【００２８】
［視線測定装置の構成］
まず、図２を参照（適宜図１参照）して、視線測定装置の具体的な構成について説明する。
図２に示すように、視線測定装置１は、眼球位置検出手段１１と、眼球領域画像切り出し手段１２と、基準位置特定手段１３と、視線ベクトル算出手段１４と、視線ベクトル校正手段１５と、注視点算出手段１６と、を備えている。また、視線測定装置１には、利用者の左右の眼球領域画像を撮影する撮影手段としての発光手段ＲとカメラＣとが接続されている。
【００２９】
眼球位置検出手段１１は、カメラＣで撮影された左右眼を含んだ眼球周辺画像を取得し、この眼球周辺画像Ｇ（図１参照）から、左眼と右眼の眼球位置をそれぞれ検出するものである。なお、眼球周辺画像Ｇは、赤外線光を照射する発光手段（リング照明）Ｒによって赤外線光が照射された利用者の眼球を撮影した画像である。
【００３０】
眼球位置検出手段１１は、取得した眼球周辺画像Ｇから、左右眼のそれぞれについて瞳孔および眼球の角膜表面で反射した光として眼球画像上に表れる角膜反射像（プルキニエ像）を眼球位置情報として検出するものである。眼球位置検出手段１１は、例えば２値化処理および粒子解析処理を行うことにより、左右眼それぞれの瞳孔に相当する粒子または左右眼それぞれの角膜反射像に相当する粒子を検出し、眼球位置情報とする。すなわち、眼球位置検出手段１１は、外部から入力された明度の閾値に基づいて、この閾値を超える部分（明度が高い部分）を検出し、さらに、外部から入力された粒子の面積範囲指定および真円度範囲指定により指定された領域を瞳孔として左右眼のそれぞれについて検出する。または、眼球位置検出手段１１は、外部から入力された明度の閾値に基づいて、瞳孔よりもさらに明度が高い部分を検出し、さらに、外部から入力された粒子の面積範囲指定および真円度範囲指定により指定された領域を角膜反射像として左右眼のそれぞれについて検出する。なお、粒子解析処理に代えて、正規化相関を用いたパターン認識など、その他の瞳孔および角膜反射像を検出可能な方法を用いても良い。
【００３１】
眼球位置検出手段１１は、カメラＣから取得した眼球周辺画像および前記したいずれかの方法で検出した左右眼それぞれの眼球位置情報を、眼球領域画像切り出し手段１２に出力する。なお、視線位置検出手段１１は、検出した眼球位置情報を左右眼のそれぞれについて記憶するメモリ（図示せず）を備えており、このメモリ（図示せず）は、新しい眼球位置情報が入力された場合、随時更新して記憶するようになっている。ただし、眼球位置情報を検出できなかった場合、更新を行わないこととする。
眼球位置検出手段１１は、左右眼のいずれか一方の眼球位置情報が検出できなかった場合、検出できた眼球については、その眼球位置情報を出力し、検出できなかった眼球については、図示しないメモリに記憶されている眼球位置情報を、その眼球の眼球位置情報として出力する。
【００３２】
眼球領域画像切り出し手段１２は、眼球位置検出手段１１により検出された左右眼それぞれの眼球位置情報に基づき、眼球周辺画像Ｇから、この左右眼それぞれの眼球位置情報を含んだ予め定めた幅および高さの領域を、右眼・左眼の眼球領域画像ＧＲ，ＧＬ（図１参照）としてそれぞれ切り出すものである。切り出された右眼・左眼の眼球領域画像ＧＲ，ＧＬは、基準位置特定手段１３に出力される。
【００３３】
基準位置特定手段１３は、眼球領域画像切り出し手段１２により切り出された右眼・左眼の眼球領域画像ＧＲ，ＧＬから、瞳孔中心の位置および角膜反射点をそれぞれ特定するものである。
【００３４】
この基準位置特定手段１３は、一般的な画像処理技術により、右眼・左眼の眼球領域画像ＧＲ，ＧＬから画像座標系における瞳孔中心と角膜反射点とを特定する。基準位置特定手段１３は、ここでは、右眼・左眼の眼球領域画像ＧＲ，ＧＬについて、角膜反射点を含む他の領域よりも明度の高い領域を２値化処理によって探索し、粒子解析処理によって面積範囲および真円度範囲を指定して左右眼それぞれの瞳孔を抽出する。
また基準位置特定手段１３は、右眼・左眼の眼球領域画像ＧＲ，ＧＬについて、瞳孔の明度と角膜反射点の明度の間に閾値を設定し、閾値よりも明度の高い領域を探索し、粒子解析処理によって面積範囲および真円度範囲を指定して左右眼それぞれの角膜反射点を抽出し、その中心座標（幅、高さの中点や領域の重心座標等）を、左右眼それぞれの角膜反射点の中心とする。特定された左右眼それぞれの画像座標系における瞳孔中心および角膜反射点は、視線ベクトル算出手段１４に出力される。なお、基準位置特定手段１３によって、左右眼のいずれか一方について画像座標系における瞳孔中心および角膜反射点が特定できなかった場合、以降の視線ベクトル算出手段１４と視線ベクトル校正手段１５と注視点算出手段１６においては、左右眼のうち特定できた眼球についてのみ処理を行うものとする。
【００３５】
視線ベクトル算出手段１４は、左右眼それぞれの視線方向を示す視線ベクトルを算出するものである。ここで、図３を参照して視線ベクトル算出手段１４の構成を説明する。視線ベクトル算出手段１４は、ここでは、カメラ座標系変換手段１４ａと、世界座標系変換手段１４ｂと、瞳孔中心座標補正手段１４ｃと、角膜曲率中心座標算出手段１４ｄと、ベクトル算出手段１４ｅとを備える構成とした。
【００３６】
カメラ座標系変換手段１４ａは、基準位置特定手段１３により特定された左右眼それぞれの画像座標系における瞳孔中心および角膜反射点を、カメラ座標系における瞳孔中心座標および角膜反射点座標にそれぞれ変換するものである。変換された左右眼それぞれのカメラ座標系における瞳孔中心座標および角膜反射点座標は、世界座標系変換手段１４ｂにそれぞれ出力される。
【００３７】
世界座標系変換手段１４ｂは、予め測定した左右の眼球間の距離と、予め取得したカメラパラメータとに基づいて、カメラ座標系変換手段１４ａにより変換された左右眼それぞれのカメラ座標系における瞳孔中心座標および角膜反射点座標を、世界座標系における瞳孔中心座標および角膜反射点座標にそれぞれ変換するものである。変換された左右眼それぞれの世界座標系における瞳孔中心座標は、瞳孔中心座標補正手段１４ｃに出力され、角膜反射点座標は、角膜曲率中心座標算出手段１４ｄに出力される。なお、左右の眼球間の距離は、瞳孔間距離計などによって予め測定され、世界座標系変換手段１４ｂに入力されているものとする。
【００３８】
瞳孔中心座標補正手段１４ｃは、世界座標系変換手段１４ｂにより変換された世界座標系における瞳孔中心座標を実際の瞳孔中心座標に補正するものである。瞳孔中心座標補正手段１４ｃは、角膜表面における屈折率に応じて世界座標系における瞳孔中心座標を補正する。なお、カメラＣから世界座標系における右眼・左眼の瞳孔中心座標へ向かう光の屈折方向を算出し、その屈折方向上に位置し、かつ角膜曲率中心座標算出手段１４ｄで算出される角膜曲率中心から規定の距離のところに位置する輪郭座標を求めることで補正後の右眼・左眼の瞳孔中心座標（＝ＰｗＲ，ＰｗＬ）を得る。
補正後の瞳孔中心座標は、ベクトル算出手段１４ｅに出力される。なお、瞳孔中心座標補正手段１４ｃを省略しても良いが、瞳孔中心座標補正手段１４ｃを設けることで、世界座標系における瞳孔中心座標を実際の瞳孔中心座標に補正することができるので、より正確な視線ベクトルを算出することが可能となる。瞳孔中心座標補正手段１４ｃを設けない場合には、世界座標系変換手段１４ｂからベクトル算出手段１４ｅに、世界座標系における瞳孔中心座標がそのまま出力される。
【００３９】
角膜曲率中心座標算出手段１４ｄは、世界座標系変換手段１４ｂにより変換された世界座標系における角膜反射点座標と、角膜曲率半径とに基づいて角膜曲率中心座標を算出するものである。算出された角膜曲率中心座標は、ベクトル算出手段１４ｅに出力される。
【００４０】
ベクトル算出手段１４ｅは、瞳孔中心座標と、角膜曲率中心座標算出手段１４ｄにより算出された角膜曲率中心座標とを通る直線を、視線方向を示す視線ベクトルとして算出するものである。算出された視線ベクトルは、視線ベクトル校正手段１５に出力される。
ここでの瞳孔中心座標とは、世界座標系における瞳孔中心座標を瞳孔中心座標補正手段１４ｃにより補正した補正後の瞳孔中心座標である。ただし、瞳孔中心座標補正手段１４ｃを設けない場合は、世界座標系変換手段１４ｂにより変換された世界座標系における瞳孔中心座標となる。
【００４１】
以下、視線ベクトル算出手段１４による視線ベクトルの算出方法について、図１から図３に加えて適宜図４を参照しながら詳細に説明する。視線ベクトル算出手段１４は、基準位置特定手段１３によって特定された左右眼それぞれの瞳孔中心および角膜反射点の位置に基づいて、眼球モデル（図４参照）を用いて視線ベクトルの算出を行う。なお、本実施形態では、発光手段Ｒとしてリング照明を用いているため、カメラＣと発光手段Ｒの光軸が略同軸となっており、瞳孔画像が周囲の虹彩に比べて明るくなる明瞳孔となっている。
【００４２】
視線ベクトル算出手段１４は、カメラ座標系変換手段１４ａによって、基準位置特定手段１３から左右眼それぞれの画像座標系における瞳孔中心および角膜反射点の入力を受け付けると、まず、カメラキャリブレーションによって得られるレンズの焦点距離および撮像素子（センサ）のドットピッチを利用して、左右眼それぞれのカメラ座標系（図１参照）における角膜反射点座標およびカメラ座標系における右眼・左眼の瞳孔中心座標（＝ＰｃＲ，ＰｃＬ）をそれぞれ求める。これは、一般的な方法により求めることができるが、例えば、非特許文献２の方法を用いることができる。
以下、左右眼それぞれのカメラ座標系における角膜反射点座標を求める方法について説明する。
【００４３】
ここで、基準位置特定手段１３により特定された右眼の角膜反射点の座標をＣｉＲ（ＣｉＲｘ，ＣｉＲｙ）とおき、左眼の角膜反射点の座標をＣｉＬ（ＣｉＬｘ，ＣｉＬｙ）とおき、カメラＣで撮影された眼球周辺画像Ｇにおける中心点座標（カメラの光軸とセンサの交点に対する画像上の座標）をＳｉＣ（ＳｉＣｘ，ＳｉＣｙ）とおき、ドットピッチをｄpitchとおき、レンズの焦点距離をｆとおき、カメラ座標系（図１参照）原点から左眼あるいは右眼の角膜反射点までの距離をＺとおくと、カメラ座標系における右眼の角膜反射点座標ＣｃＲ（ＣｃＲｘ，ＣｃＲｙ，ＣｃＲｚ）は、次に示す式（１）によって求めることができる。
【００４４】
【数１】
【００４５】
同様に、カメラ座標系における左眼の角膜反射点座標ＣｃＬ（ＣｃＬｘ，ＣｃＬｙ，ＣｃＬｚ）は、次に示す式（２）によって求めることができる。
【００４６】
【数２】
【００４７】
このとき、カメラ座標系原点から左眼あるいは右眼の角膜反射点までの距離Ｚは、一般的なＤＦＦ（Depth From Focus）法により、カメラＣのフォーカス値から求めることもできるが、ここでは、両眼間の距離Ｄｅｙｅｓを定数とし、この両眼間の距離Ｄｅｙｅｓを用いて求めることとする。
まず、角膜曲率中心（図４参照）のカメラ座標系における位置をｅとし、角膜曲率半径をＲとすると、右眼の角膜曲率中心の位置ベクトルｅＲは、次に示す式（３）によって求めることができる。
【００４８】
【数３】
【００４９】
同様に、左眼の角膜曲率中心の位置ベクトルｅＬは、次に示す式（４）によって求めることができる。
【００５０】
【数４】
【００５１】
そして、両眼間の距離Ｄｅｙｅｓ（定数）と、右眼の角膜曲率中心の位置ベクトルｅＲと、左眼の角膜曲率中心の位置ベクトルｅＬとの間には、次に示す式（５）の関係が成立する。
【００５２】
【数５】
【００５３】
この非線形方程式を、例えばニュートン法によって解くことでＺの最適値ｚを求める。そして、この最適値ｚを、前記した式（１）、式（２）にそれぞれ代入することによって、カメラ座標系における右眼・左眼の角膜反射点座標（＝ＣｃＲ，ＣｃＬ）をそれぞれ算出することができる。
【００５４】
次に、視線ベクトル算出手段１４は、世界座標系変換手段１４ｂによって、カメラ座標系変換手段１４ａにより変換されたカメラ座標系における右眼・左眼の角膜反射点座標（＝ＣｃＲ，ＣｃＬ）を、世界座標系における右眼・左眼の角膜反射点座標（＝ＣｗＲ，ＣｗＬ）にそれぞれ変換する。また、視線ベクトル算出手段１４は、世界座標系変換手段１４ｂによって、カメラ座標系変換手段１４ａにより変換されたカメラ座標系における右眼・左眼の瞳孔中心座標（＝ＰｃＲ，ＰｃＬ）を、世界座標系における右眼・左眼の瞳孔中心座標（＝ＰｗＲ，ＰｗＬ）にそれぞれ変換する。これは、一般的な方法により求めることができるが、例えば、非特許文献２の方法を用いることができる。
【００５５】
以下、左右眼それぞれのカメラ座標系における角膜反射点座標を求める方法について説明する。
カメラ座標系における右眼・左眼の角膜反射点座標（＝ＣｃＲ，ＣｃＬ）と、世界座標系における右眼・左眼の角膜反射点座標（＝ＣｗＲ，ＣｗＬ）と、予め行ったカメラキャリブレーションにより取得した回転マトリクス（＝Ｒｗｃ）とおき、並進ベクトル（＝Ｔｗｃ）との間には、次に示す式（６）の関係が成立する。
【００５６】
【数６】
【００５７】
そして、式（６）から導かれる式（７）により、世界座標系における右眼の角膜反射点座標ＣｗＲと、左眼の角膜反射点座標ＣｗＬをそれぞれ求めることができる。
【００５８】
【数７】
【００５９】
以上により、世界座標系における右眼・左眼の角膜反射点座標（＝ＣｗＲ，ＣｗＬ）と、世界座標系における右眼・左眼の瞳孔中心座標（＝ＰｗＲ，ＰｗＬ）とを得ることができる。
次に、視線ベクトル算出手段１４は、瞳孔中心座標補正手段１４ｃによって、世界座標系における右眼・左眼の瞳孔中心座標（＝ＰｗＲ，ＰｗＬ）を、角膜表面における屈折率に応じて補正し、補正後の右眼・左眼の瞳孔中心座標（＝ｐｗＲ，ｐｗＬ）を得る。
また、視線ベクトル算出手段１４は、角膜曲率中心座標算出手段１４ｄによって、世界座標系における右眼・左眼の角膜反射点座標（＝ＣｗＲ，ＣｗＬ）と、角膜曲率半径とに基づいて、角膜曲率中心座標（＝ｃｗＲ，ｃｗＬ）を算出する。
そして、視線ベクトル算出手段１４は、ベクトル算出手段１４ｅによって、まず、補正後の右眼の瞳孔中心座標（＝ｐｗＲ）と、右眼の角膜曲率中心座標（＝ｃｗＲ）とを用いて、次に示す式（８）により、右眼の視線ベクトルｖｗＲを求める。
【００６０】
【数８】
【００６１】
同様に、視線ベクトル算出手段１４は、ベクトル算出手段１４ｅによって、補正後の左眼の瞳孔中心座標（＝ｐｗＬ）と、左眼の角膜曲率中心座標（＝ｃｗＬ）とを用いて、次に示す式（９）により、左眼の視線ベクトルｖｗＲを求める。
【００６２】
【数９】
【００６３】
このようにして、視線ベクトル算出手段１４は、ベクトル算出手段１４ｅによって、右眼・左眼の視線ベクトル（＝ｖｗＲ，ｖｗＬ）をそれぞれ算出することができる。算出された右眼・左眼の視線ベクトルデータは、視線ベクトル校正手段１５に出力される。
【００６４】
なおここでは、予め実施したカメラキャリブレーションによって、カメラＣの光学系の内部パラメータ（例えば、焦点距離、光学歪、光軸座標等）やカメラの空間的位置の外部パラメータ（例えば、カメラ座標系原点の位置、回転角度等）のデータ（キャリブレーションデータ）が求められ、カメラＣから、視線ベクトル算出手段１４のカメラ座標系変換手段１４ａに入力されているものとする。
カメラキャリブレーションの方法は、種々提案されているが、例えば、非特許文献３(R.Y．Tsai：“A Versatile camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses”IEEE J.RA-3,4,pp.323-344(1987))に示すＴｓａｉのカメラキャリブレーションの方法を用いることができる。ただし、カメラの内部パラメータおよび外部パラメータが一意に決定される方法であれば、その他の方法を用いても良いことはもちろんである。
【００６５】
視線ベクトル校正手段１５は、予め取得した視線ベクトルを校正する校正データに基づいて、視線ベクトル算出手段１４によって算出された左右眼の視線ベクトルをそれぞれ校正するものである。
ここで、校正データとは、利用者の眼球形状や眼鏡・コンタクトレンズによる光学的な歪等の個人差から生じる誤差を補正して、眼球領域画像の瞳孔中心座標および角膜反射点座標から視線ベクトルを算出するために行う個人キャリブレーションによって得られたキャリブレーションデータである。具体的には、校正データは、利用者が表示装置Ｄの画面上のマーカの位置を注視していると仮定したときの、本実施形態に係る視線測定装置１の視線ベクトル算出手段１４により算出された視線ベクトルと、実際の視線ベクトル（角膜曲率中心とマーカを通るベクトル）との角度のずれを示すデータである。
マーカは、空間的な座標が既知であれば良く、例えば、等間隔に配置されたＬＥＤ、あるいは、利用者に表示する映像中の特定の座標の点などを利用することができる。
【００６６】
図２に戻って、視線ベクトル校正手段１５は、視線ベクトル算出手段１４のベクトル算出手段１４ｅから視線ベクトルデータを、予め取得した校正データにより校正するものである。
視線ベクトル校正手段１５は、視線ベクトル算出手段１４のベクトル算出手段１４ｅから視線ベクトルデータの入力を受け付けると、予め取得した校正データを参照し、この視線ベクトルデータに校正データを乗算することにより、視線ベクトルデータを校正する。視線ベクトルデータの校正には、例えば、非特許文献２の方法を用いることができる。以下に説明する。
【００６７】
まず、視線ベクトル校正手段１５によって、視線ベクトル算出手段１４により算出された視線ベクトルを、式（１０）に示す極座標系における斉次ベクトルに変換する。なお、以下では、左右眼の視線ベクトルを区別せずに表記する。
【００６８】
【数１０】
【００６９】
次に、キャリブレーション行列を式（１１）に示す４×４の斉次行列Ｗで表す。
【００７０】
【数１１】
【００７１】
ここで、未知数は、ｗ1,・・・，ｗ４の４個であり、角膜曲率中心からマーカへのベクトルｖＭを極座標系に変換したものをｖＭθとすると、ｖＭθ＝ＷｖＭθの関係が成立するため、校正時にマーカとして表示装置Ｄの画面上の最低２点の座標を与えることによりｗ1,・・・，ｗ４を決定することができる。これによって、視線ベクトル算出手段１４により算出された視線ベクトルと、実際の視線ベクトル（角膜曲率中心とマーカを通るベクトル）との角度のずれを示すデータを得ることができる。また、３点以上マーカを用いる場合には、誤差二乗和が最小となるＷを求めればよい。この場合、利用者がマーカを注視したときに発生する誤差を軽減することができる。このようにして、斉次行列Ｗを算出することで、式（１２）に示すように、極座標系における校正後の視線ベクトルｖＷ´θが得られる。
【００７２】
【数１２】
【００７３】
そして、校正後の視線ベクトルｖＷ´θを、直交座標系の視線ベクトルｖＷ´に変換する。
視線ベクトル校正手段１５は、左右眼の視線ベクトル（＝ｖｗＲ,ｖｗＬ）のそれぞれについて前記したような処理を行う。このようにして校正された視線ベクトルは、注視点算出手段１６に出力される。
【００７４】
注視点算出手段１６は、視線ベクトル校正手段１５により校正された視線ベクトルと、表示装置の画面との交点である注視点を算出するものである。注視点算出手段１６は、視線ベクトル校正手段１５によって校正された左眼の視線ベクトルと右眼の視線ベクトルのそれぞれの表示装置Ｄの画面との交点の平均の位置またはいずれか一方の表示装置Ｄの画面との交点を注視点として算出する。また、注視点算出手段１６は、視線ベクトル算出手段１４により、左右眼のいずれか一方の視線ベクトルを算出できなかった場合、左右眼のうち算出できた方についてのみ、注視点を算出する。
つまり、注視点算出手段１６は、視線ベクトル校正手段１５から左右眼のそれぞれの校正後の視線ベクトルが入力された場合、その双方を用いて注視点を算出しても良いし、いずれか一方のみを用いて注視点を算出しても良い。また、注視点算出手段１６は、視線ベクトル校正手段１５から左右眼のいずれか一方のみの校正後の視線ベクトルが入力された場合は、この校正後の視線ベクトルを用いて注視点を算出する。このようにして算出された注視点は、外部に出力される。
【００７５】
以上、視線測定装置１の構成について説明したが、本発明はこの構成に限定されるものではない。
例えば、視線測定装置１は、カメラＣによって撮影された眼球周辺画像Ｇ（図１参照）を一時的に蓄積するメモリ（図示せず）をさらに備えていても良い。また、視線測定装置１は、視線ベクトル算出手段１４によって算出した左右眼の視線ベクトルや、注視点算出手段１６によって算出した左右眼の注視点の位置（空間的な座標や表示装置に表示された映像の画素位置等）を蓄積するメモリ（図示せず）をさらに備えていても良い。この場合、カメラＣによって撮影され、図示しないメモリに記憶された眼球周辺画像は、眼球位置検出手段１１によって適宜読み出される。また、視線ベクトル算出手段１４によって算出され、図示しないメモリに記憶された左右眼の視線ベクトルは、視線ベクトル校正手段１５によって適宜読み出される。また、注視点算出手段１６によって算出され、図示しないメモリに記憶された左右眼の注視点は、外部から適宜読み出される。
【００７６】
また例えば、視線測定装置１は、予め生成された校正データを記憶するメモリ（図示せず）を備えていても良い。このメモリは、半導体メモリ等の一般的な記憶手段とすることができる。なお、このメモリを、例えば、ＦＩＦＯ（First In First Out）バッファとし、予め定めた回数の校正データのみを記憶することとし、予め定めた回数を超えて新しい校正データが入力された場合、最も古い校正データを削除し、新しい校正データを記憶するように構成しても良い。これにより、誤った校正データが記憶された場合であっても、再度校正をやり直すことで、正しい校正データが記憶されることとなる。このようなメモリに記憶された校正データは、視線ベクトル校正手段１５によって逐次参照されることとなる。
【００７７】
また、視線測定装置１は、一般的なコンピュータを、前記した各手段として機能させるためのプログラム（視線測定プログラム）で実現することができる。このプログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【００７８】
［視線測定装置の動作］
次に、図５を参照して、視線測定装置１の動作について説明する。
まず、視線測定装置１は、眼球位置検出手段１１によって、カメラＣで撮影された両眼を含んだ眼球周辺画像Ｇ（図１参照）を入力し（ステップＳ１）、その眼球周辺画像Ｇから、左眼と右眼の眼球位置をそれぞれ検出する（ステップＳ２）。このとき、眼球位置検出手段１１は、左右眼のいずれか一方の眼球位置情報が検出できなかった場合には、検出できた方については、その眼球位置情報を出力し、検出できなかった方については、図示しないメモリに１フレーム前の状態として記憶されている眼球位置情報を取得して出力する。
【００７９】
次に、視線測定装置１は、眼球領域画像切り出し手段１２によって、カメラＣで撮影された両眼を含んだ眼球周辺画像Ｇを入力し、ステップＳ２で検出された左右眼の眼球位置に基づいて、右眼・左眼の眼球領域画像ＧＲ，ＧＬ（図１参照）をそれぞれ切り出す（ステップＳ３）。
また、視線測定装置１は、基準位置特定手段１３によって、ステップＳ３で切り出された右眼・左眼の眼球領域画像ＧＲ，ＧＬから、左右眼それぞれの画像座標系における瞳孔中心および角膜反射点（図４参照）をそれぞれ特定する（ステップＳ４）。なお、基準位置特定手段１３によって、左右眼のいずれか一方について画像座標系における瞳孔中心および角膜反射点が特定できなかった場合、以降の視線ベクトル算出手段１４と視線ベクトル校正手段１５と注視点算出手段１６においては、左右眼のうち特定できた眼球についてのみ処理を行う。
【００８０】
さらに、視線測定装置１は、視線ベクトル算出手段１４によって、ステップＳ４で特定された画像座標系における瞳孔中心および角膜反射点に基づいて、利用者の視線ベクトルを算出する（ステップＳ５）。
【００８１】
すなわち、視線測定装置１は、視線ベクトル算出手段１４のカメラ座標系変換手段１４ａによって、予め測定した左右の眼球間の距離と、予め取得したカメラパラメータとに基づいて、ステップＳ４で特定された左右眼それぞれの画像座標系における瞳孔中心および角膜反射点を、カメラ座標系における瞳孔中心座標（＝ＰｃＲ，ＰｃＬ）および角膜反射点座標（＝ＣｃＲ，ＣｃＬ）にそれぞれ変換する。また、視線測定装置１は、視線ベクトル算出手段１４の世界座標系変換手段１４ｂによって、カメラ座標系変換手段１４ａによって変換されたカメラ座標系における瞳孔中心座標および角膜反射点座標を、世界座標系における瞳孔中心座標（＝ＰｗＲ，ＰｗＬ）および角膜反射点座標（＝ＣｗＲ，ＣｗＬ）にそれぞれ変換する。
【００８２】
そして、視線測定装置１は、視線ベクトル算出手段１４の瞳孔中心座標補正手段１４ｃによって、世界座標系における右眼・左眼の瞳孔中心座標（＝ＰｗＲ，ＰｗＬ）を、角膜表面における屈折率に応じて補正し、補正後の右眼・左眼の瞳孔中心座標（＝ｐｗＲ，ｐｗＬ）を得る。
【００８３】
また、視線ベクトル算出手段１４は、角膜曲率中心座標算出手段１４ｄによって、世界座標系における右眼・左眼の角膜反射点座標（＝ＣｗＲ，ＣｗＬ）と、角膜曲率半径とに基づいて、角膜曲率中心座標（＝ｃｗＲ，ｃｗＬ）を算出する。
【００８４】
そして、視線ベクトル算出手段１４は、ベクトル算出手段１４ｅによって、まず、補正後の左右眼の瞳孔中心座標（＝ｐｗＲ,ｐｗＬ）と、左右眼の角膜曲率中心座標（＝ｃｗＲ,ｃｗＬ）とを用いて、左右眼の右眼の視線ベクトル（＝ｖｗＲ,ｖｗＬ）を求める（ステップＳ５）。
そして、視線測定装置１は、視線ベクトル校正手段１５によって、ステップＳ５で算出された視線ベクトルを、予め取得した校正データに基づいて校正する（ステップＳ６）。
【００８５】
そして、視線測定装置１は、注視点算出手段１６によって、ステップＳ６で校正された左眼の視線ベクトルと右眼の視線ベクトルのそれぞれの表示装置Ｄの画面との交点の平均の位置またはいずれか一方の表示装置Ｄの画面との交点を注視点として算出する（ステップＳ７）。
すなわち、注視点算出手段１６は、視線ベクトル校正手段１５から左右眼のそれぞれの校正後の視線ベクトルが入力された場合、左眼の視線ベクトルと右眼の視線ベクトルのそれぞれの表示装置Ｄの画面との交点の平均の位置、もしくは、左眼の視線ベクトルと右眼の視線ベクトルのいずれか一方の表示装置Ｄの画面との交点を注視点として算出し、一方、視線ベクトル校正手段１５から左右眼のいずれか一方のみの校正後の視線ベクトルが入力された場合は、この校正後の視線ベクトルと表示装置Ｄの画面との交点を注視点として算出する。
このように、視線測定装置１は、逐次、利用者の注視点を算出し、出力する（ステップＳ８）。
【００８６】
以上説明した動作によって、利用者の左右眼それぞれの視線ベクトルが算出された場合には、左右眼のそれぞれの視線ベクトルを用いて注視点を算出することができる。また、測定時の利用者の頭部動作等により、利用者の左右眼のいずれか一方の視線ベクトルが算出できなかった場合も、算出できた方の視線ベクトルを用いて注視点を算出することができる。このように、測定時に利用者の頭部動作等があった場合にも、キャリブレーション処理をやり直すことなく利用者の視線を確実に測定することが可能となるので、簡易な構成で利用者の頭部動作に対する頑健性を向上させることができる。
また、予め測定した左右の眼球間の距離から、撮影画像フレーム内でカメラ−眼球間の距離を求めることができるので、撮影画像に対する左右の眼球間の距離の入力の遅れが生じることがない。このため、撮影画像フレーム内で、実際に利用者が注視する位置との誤差を補正した正確な注視点を算出することができる。
【符号の説明】
【００８７】
１ 視線測定装置
１１ 眼球位置検出手段
１２ 眼球領域画像切り出し手段
１３ 基準位置特定手段
１４ 視線ベクトル算出手段
１４ａ カメラ座標系変換手段
１４ｂ 世界座標系変換手段
１４ｃ 瞳孔中心座標補正手段
１４ｄ 角膜曲率中心座標算出手段
１４ｅ ベクトル算出手段
１５ 視線ベクトル校正手段
１６ 注視点算出手段
【技術分野】
【０００１】
本発明は、表示装置に表示される映像を視認する利用者の視線を測定するための視線測定装置および視線測定プログラムに関する。
【背景技術】
【０００２】
現在、人の視線を測定して、コンピュータの表示装置に表示されるメニュー、アイコン等を、その視線によって選択、操作するインタフェース（視線インタフェース）に関する技術が種々提案されている。このようなインタフェース技術の前提として、視線を測定するための視線測定装置が必要となる。
この視線測定装置としては、人（利用者）の左右眼のうちいずれか一方の眼球をカメラで拡大撮影して、眼球画像の特徴点（瞳孔の中心点、あるいは、瞳孔の中心点と角膜反射点）の位置から、視線方向を示す視線ベクトルを算出するものがある。
【０００３】
ここで、利用者が表示装置の画面上を注視した位置と、視線測定装置が眼球等の動きにより測定した画面上の位置との間には、眼球形状の個人差等に起因する誤差が存在している。そこで、視線測定装置では、その誤差を補正するため、キャリブレーション（校正）処理を行っている。
このキャリブレーション処理は、利用者が予め複数のマーカを順次注視し、利用者が注視した位置と、視線測定装置が眼球等の動きにより測定した位置との位置関係からキャリブレーションデータ（校正データ）を生成しておき、そのキャリブレーションデータによって、利用者の視線を補正する処理である。
【０００４】
このキャリブレーション処理を用いた視線測定装置としては、例えば非特許文献１、２に記載のものが該当する。
非特許文献１に記載の視線測定装置は、眼球の拡大画像から画像処理により、眼球画像の特徴点である瞳孔の中心点と角膜反射点の画像中の座標を検出し、この検出データに、予め行ったキャリブレーション処理によって得た校正データを適用し、校正された眼球画像の２つの特徴点（瞳孔の中心点と角膜反射点）の位置関係から注視点の位置を算出するものである。
【０００５】
非特許文献２に記載の視線測定装置は、カメラの外部パラメータ（三次元位置）、内部パラメータ（焦点距離等）、フォーカスによって算出したカメラ−眼球間の距離を利用して、眼球画像から眼球の三次元位置を検出し、この検出データに、予め行ったキャリブレーション処理によって得た校正データを適用し、校正された眼球の三次元位置から注視点の位置を算出するものである。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】竹井機器株式会社製 ＦｒｅｅＶｉｅｗ−ＤＴＳ（型番 Ｔ．Ｋ．Ｋ．２９２０ｂ）ハードウェア取扱説明書
【非特許文献２】大野健彦、他２名「２点補正による簡易キャリブレーションを実現した視線測定システム」、情報処理学会論文誌 Ｖｏｌ．４４ Ｎｏ．４ ｐｐ．１１３６−１１４９、Ａｐｒ．２００３
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ここで、視線測定装置では、利用者の頭部動作により眼球が撮影範囲外に移動してしまうと、視線測定が行えなくなってしまう。このため、利用者の頭部動作に対して頑健性の高い測定手法の確立が望まれていた。
【０００８】
しかし、非特許文献１、２に記載の手法では、片眼のみを拡大撮影しているために、利用者の頭部動作により眼球が撮影範囲外に移動してしまう確率が高く、利用者の頭部動作に対する頑健性が低かった。
この対策として、例えば、撮影画角を広げて眼球周辺のより広い範囲を撮影したり、カメラの雲台を回転（パン、チルト）させる等して眼球を動的に追跡したりすることが考えられる。
【０００９】
しかしながら、前者の手法では、撮影画像のうちの眼球領域の面積（画素数）が小さくなるため、その分精度が低下してしまう。また、後者の手法では、眼球領域の面積は変わらないが、眼球位置が撮影範囲を超えて変化し、この変化に対応させるためにカメラを支持する雲台を回転（パン、チルト）させた場合には、カメラの三次元位置が変化したこととなるため、カメラの外部パラメータのキャリブレーション処理およびマーカによるキャリブレーション処理をやり直す必要があり、手数がかかってしまう。
【００１０】
また、視線測定装置では、視線測定の精度を向上させるために、撮影画像フレーム内で、利用者が表示装置の画面上を注視した位置と、視線測定装置が眼球等の動きにより測定した画面上の位置との誤差を校正したり、校正時に得られた校正用パラメータを用いて注視点を算出したりする際に、カメラ−眼球間の距離が必要となる。ここで、非特許文献２では、フォーカスにより求めたカメラ−眼球間の距離を用いている。しかしながら、この手法によると、合焦までに時間を要してしまうため、入力された撮影画像に対するカメラ−眼球間の距離の入力に遅れ時間が生じてしまい、校正時や測定時に撮像画像フレーム内での誤差の補正が困難であった。
【００１１】
本発明は、以上のような問題点に鑑みてなされたものであり、簡易な構成で利用者の頭部動作に対する頑健性を向上させ、かつ、撮影画像フレーム内で、実際に利用者が注視する画面上の位置と、測定により得た画面上の位置との誤差を補正することが可能な視線測定装置および視線測定プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の視線測定装置は、表示装置の画面を視認する利用者の視線を測定する視線測定装置において、眼球位置検出手段と、眼球領域画像切り出し手段と、基準位置特定手段と、カメラ座標系変換手段と、世界座標系変換手段と、角膜曲率中心座標算出手段と、ベクトル算出手段と、視線ベクトル校正手段と、注視点算出手段と、を備える構成とした。
【００１３】
かかる構成において、視線測定装置は、眼球位置検出手段によって、撮影手段により撮影された、光を照射された前記利用者の左右の眼球を含んだ眼球周辺画像から、左右眼の眼球位置をそれぞれ検出する。これによって、左右の眼球を含んだ眼球周辺画像から、左眼と右眼の眼球位置をそれぞれ検出することができ、左右の眼球領域画像の切り出しに利用することができる。
【００１４】
また、視線測定装置は、眼球領域画像切り出し手段によって、前記眼球位置検出手段により検出された前記左右眼の前記眼球位置に基づいて、前記左右眼それぞれの眼球領域画像を切り出す。これによって、左右眼のそれぞれについて眼球領域画像を取得することができるので、この眼球領域画像を用いて、左右眼のそれぞれについて個別に視線測定処理を行うことが可能となる。
さらに、視線測定装置は、基準位置特定手段によって、前記眼球領域画像切り出し手段により切り出された前記左右眼それぞれの前記眼球領域画像から、前記左右眼それぞれの瞳孔中心の位置および角膜反射点の位置を特定する。
【００１５】
また、視線測定装置は、カメラ座標系変換手段によって、予め測定した左右の眼球間の距離と、予め取得したカメラパラメータとに基づいて、前記基準位置特定手段により特定された前記左右眼それぞれの瞳孔中心の位置および角膜反射点を、前記左右眼それぞれのカメラ座標系における瞳孔中心座標および角膜反射点座標に変換する。
また、視線測定装置は、世界座標系変換手段によって、前記カメラ座標系変換手段により変換された前記左右眼それぞれのカメラ座標系における瞳孔中心座標と、前記左右眼それぞれのカメラ座標系における角膜反射点座標とを、前記左右眼のそれぞれの世界座標系における角膜反射点座標と、前記左右眼それぞれの世界座標系における瞳孔中心座標とに変換する。
また、視線測定装置は、角膜曲率中心座標算出手段によって、前記世界座標系変換手段により変換された前記世界座標系における角膜反射点座標と、角膜曲率半径とに基づいて角膜曲率中心座標を算出する。
そして、視線測定装置は、ベクトル算出手段によって、前記世界座標系変換手段により変換された前記世界座標系における瞳孔中心座標と、前記角膜曲率中心座標算出手段により前記角膜曲率中心座標算出手段により算出された前記角膜曲率中心座標とを通る直線を、視線方向を示す視線ベクトルとして、前記左右眼のそれぞれについて算出する。
【００１６】
これによって、左右眼のそれぞれについて視線ベクトルを算出することができる。またこのとき、左右眼からカメラまでのそれぞれの距離を、予め測定した左右の眼球間の距離と、予め取得したカメラパラメータ（眼球周辺画像における中心点座標）とに基づいて算出することができる。つまり、撮影画像フレーム内でカメラ−眼球間の距離を算出することができるので、フォーカスにより算出する場合のように、撮影画像の入力に対して遅れが生じるのを防止することができる。なお、左右の眼球間の距離は、瞳孔間距離計などによって測定することができる。
【００１７】
またさらに、視線測定装置は、視線ベクトル校正手段によって、予め定めた視線ベクトルを校正する校正データに基づいて、前記ベクトル算出手段により算出された前記左右眼それぞれの前記視線ベクトルを校正する。ここで、校正データとは、視線ベクトルと利用者が注視している画面上の位置とがどれだけずれているのかを示す指標である。すなわち、視線測定装置は、視線ベクトル校正手段によって、校正データで表されるずれ量分の補正を行うことで、実際に利用者が画面を注視する視線ベクトルを取得することができる。
【００１８】
そして、視線測定装置は、注視点算出手段によって、前記視線ベクトル校正手段により校正された前記左眼の視線ベクトルと前記右眼の視線ベクトルのそれぞれの前記表示装置の画面との交点の平均の位置または前記左眼の視線ベクトルと前記右眼の視線ベクトルのいずれか一方の前記表示装置の画面との交点を注視点として算出する。これによって、実際に利用者が注視する画面上の位置（＝注視点）を算出することが可能となる。
またこのとき、視線測定装置は、注視点算出手段によって、前記視線ベクトル算出手段により左右眼のいずれか一方の前記視線ベクトルが算出できなかった場合、算出できた方の視線ベクトルで前記注視点を算出する。
このように、利用者の左右眼それぞれの視線ベクトルを算出できた場合には、左右眼のそれぞれの視線ベクトルを用いて注視点を算出することができる。また、測定時の利用者の頭部動作等により、利用者の左右眼のいずれか一方の視線ベクトルを算出できなかった場合も、もう一方の視線ベクトルを用いて注視点を算出することができるので、利用者の頭部動作に対する頑健性を向上させることができる。
【００１９】
また、請求項２に記載の視線測定プログラムは、表示装置の画面を視認する利用者の視線を測定するために、コンピュータを、眼球位置検出手段、眼球領域画像切り出し手段、基準位置特定手段、視線ベクトル算出手段、視線ベクトル校正手段、注視点算出手段として機能させるための視線測定プログラムである。
【００２０】
かかる構成において、視線測定プログラムは、眼球位置検出手段によって、撮影手段により撮影された、光を照射された前記利用者の左右の眼球を含んだ眼球周辺画像から、左右眼の眼球位置をそれぞれ検出する。
また、視線測定プログラムは、眼球領域画像切り出し手段によって、前記眼球位置検出手段により検出された前記左右眼の前記眼球位置に基づいて、前記左右眼それぞれの眼球領域画像を切り出す。
また、視線測定プログラムは、基準位置特定手段によって、眼球領域画像切り出し手段により切り出された前記左右眼それぞれの前記眼球領域画像から、前記左右眼それぞれの瞳孔中心の位置および角膜反射点の位置を特定する。
【００２１】
さらに、視線測定プログラムは、カメラ座標系変換手段によって、予め測定した左右の眼球間の距離と、予め取得したカメラパラメータとに基づいて、前記基準位置特定手段により特定された前記左右眼それぞれの瞳孔中心の位置および角膜反射点を、前記左右眼それぞれのカメラ座標系における瞳孔中心座標および角膜反射点座標に変換する。
またさらに、視線測定プログラムは、世界座標系変換手段によって、前記カメラ座標系変換手段により変換された前記左右眼それぞれのカメラ座標系における瞳孔中心座標と、前記左右眼それぞれのカメラ座標系における角膜反射点座標とを、前記左右眼のそれぞれの世界座標系における角膜反射点座標と、前記左右眼それぞれの世界座標系における瞳孔中心座標とに変換する。
また、視線測定プログラムは、角膜曲率中心座標算出手段によって、前記世界座標系変換手段により変換された前記世界座標系における角膜反射点座標と、角膜曲率半径とに基づいて角膜曲率中心座標を算出する。
そして、視線測定プログラムは、ベクトル算出手段によって、前記世界座標系変換手段により変換された前記世界座標系における瞳孔中心座標と、前記角膜曲率中心座標算出手段により算出された前記角膜曲率中心座標とを通る直線を、視線方向を示す視線ベクトルとして、前記左右眼のそれぞれについて算出する。
【００２２】
そして、視線測定プログラムは、視線ベクトル校正手段によって、予め定めた視線ベクトルを校正する校正データに基づいて、前記ベクトル算出手段により算出された前記左右眼それぞれの前記視線ベクトルを校正する。
そして、視線測定プログラムは、注視点算出手段によって、前記視線ベクトル校正手段により校正された前記左眼の視線ベクトルと前記右眼の視線ベクトルの平均値と、前記表示装置の画面との交点を注視点として算出する。これによって、実際に利用者が注視する画面上の位置を測定することが可能となる。
【発明の効果】
【００２３】
本発明は、以下に示す優れた効果を奏するものである。
請求項１、２に記載の発明によれば、利用者の左右眼それぞれの視線ベクトルが算出された場合には、左右眼のそれぞれの視線ベクトルを用いて注視点を算出することができる。また、測定時の利用者の頭部動作等により、利用者の左右眼のいずれか一方の視線ベクトルが算出できなかった場合も、算出できた方の視線ベクトルを用いて注視点を算出することができる。このように、測定時に利用者の頭部動作等があった場合にも、キャリブレーション処理をやり直すことなく利用者の視線を確実に測定することが可能となるので、簡易な構成で利用者の頭部動作に対する頑健性を向上させることができる。
また、予め測定した左右の眼球間の距離に基づいて、撮影画像フレーム内でカメラ−眼球間の距離を算出することができるので、撮影画像に対する左右の眼球間の距離の入力の遅れが生じるのを防止することができる。このため、撮影画像フレーム内で、実際に利用者が注視する画面上の位置と、測定により得た画面上の位置との誤差を補正した正確な注視点を算出することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明に係る視線測定装置の概要を説明するための説明図である。
【図２】本発明に係る視線測定装置の構成を示すブロック構成図である。
【図３】本発明に係る視線測定装置の視線ベクトル算出手段の構成を示すブロック構成図である。
【図４】本発明に係る視線測定装置の眼球領域画像切り出し手段で切り出した眼球領域画像と、この眼球領域画像に対応する眼球モデルを示す概念図である。
【図５】本発明に係る視線測定装置における視線データを校正（補正）して注視点を算出する動作を示すフローチャートである。
【発明を実施するための形態】
【００２５】
［視線測定装置の概要］
最初に、図１を参照して、本発明に係る視線測定装置の概要について説明する。図１に示すように、視線測定装置１は、表示装置Ｄの画面を利用者Ｈが注視したときの利用者Ｈの視線を測定するものである。なお、視線測定装置１は、利用者Ｈの左右両眼を含んだ眼球周辺画像Ｇを取得し、これを左右の眼球領域画像ＧＲ，ＧＬに切り分けて、個別に視線測定を行うことを特徴とする。
【００２６】
表示装置Ｄの画面上には、図示しない映像信号出力装置から出力された注視の対象となるマーカＭ（注視対象物）を含んだ映像（コンテンツ）が表示されており、視線測定装置１には、図示しない映像信号出力装置から、表示装置Ｄの画面上に表示しているフレーム画像に関する情報（例えば、タイムコード）が入力されている。そして、視線測定装置１では、眼球周辺画像Ｇをキャプチャした時点での図示しない映像信号出力装置から入力されたフレーム画像情報を、利用者Ｈが注視している画像と対応付けている。
また、視線測定装置１は、眼球撮影用のカメラＣにより撮影された、表示装置Ｄの画面上のマーカＭを注視する利用者Ｈの左右両眼の眼球周辺を含む眼球周辺画像Ｇを取得し、この眼球周辺画像Ｇから左眼と右眼のそれぞれについて個別に眼球領域画像ＧＲ，ＧＬを切り出し、左眼と右眼のそれぞれについて個別に視線ベクトルを算出し、算出した左眼と右眼それぞれの視線ベクトルを、予め取得した校正データによりそれぞれ校正（補正）して、校正後の視線ベクトルから、左眼と右眼のそれぞれについて注視点を算出する。なお、視線測定装置１には、フレーム画像情報と、表示装置Ｄの画面上に表示されているマーカＭの空間座標（世界座標系）との対応を示す設定ファイルが予め与えられており、校正時には、この設定ファイルを用いて校正を行う。
ここで、注視点とは、視線ベクトルと表示装置Ｄの画面との交点をいうものである。なお、ここでは、マーカＭを格子状に９つ配置したが、これに限られるものではない。
【００２７】
なお、利用者Ｈの視線は、例えば、強膜反射法、角膜反射法、瞳孔−角膜反射法等の一般的な技術により求めることができ、ここでは、視線測定装置１は、瞳孔−角膜反射法によって、発光手段（リング照明）Ｒから発光する赤外線が、利用者Ｈの視線で反射した状態をカメラＣで撮影した画像（眼球領域画像ＧＲ，ＧＬ）から求めることとする。なお、視線は、画面上の注視点、あるいは、利用者Ｈの眼球の瞳孔から画面上の注視点へのベクトル（視線ベクトル）であっても良いが、ここでは、注視点を示すこととする。
以下、視線測定装置１の具体的な構成および動作について説明を行う。
【００２８】
［視線測定装置の構成］
まず、図２を参照（適宜図１参照）して、視線測定装置の具体的な構成について説明する。
図２に示すように、視線測定装置１は、眼球位置検出手段１１と、眼球領域画像切り出し手段１２と、基準位置特定手段１３と、視線ベクトル算出手段１４と、視線ベクトル校正手段１５と、注視点算出手段１６と、を備えている。また、視線測定装置１には、利用者の左右の眼球領域画像を撮影する撮影手段としての発光手段ＲとカメラＣとが接続されている。
【００２９】
眼球位置検出手段１１は、カメラＣで撮影された左右眼を含んだ眼球周辺画像を取得し、この眼球周辺画像Ｇ（図１参照）から、左眼と右眼の眼球位置をそれぞれ検出するものである。なお、眼球周辺画像Ｇは、赤外線光を照射する発光手段（リング照明）Ｒによって赤外線光が照射された利用者の眼球を撮影した画像である。
【００３０】
眼球位置検出手段１１は、取得した眼球周辺画像Ｇから、左右眼のそれぞれについて瞳孔および眼球の角膜表面で反射した光として眼球画像上に表れる角膜反射像（プルキニエ像）を眼球位置情報として検出するものである。眼球位置検出手段１１は、例えば２値化処理および粒子解析処理を行うことにより、左右眼それぞれの瞳孔に相当する粒子または左右眼それぞれの角膜反射像に相当する粒子を検出し、眼球位置情報とする。すなわち、眼球位置検出手段１１は、外部から入力された明度の閾値に基づいて、この閾値を超える部分（明度が高い部分）を検出し、さらに、外部から入力された粒子の面積範囲指定および真円度範囲指定により指定された領域を瞳孔として左右眼のそれぞれについて検出する。または、眼球位置検出手段１１は、外部から入力された明度の閾値に基づいて、瞳孔よりもさらに明度が高い部分を検出し、さらに、外部から入力された粒子の面積範囲指定および真円度範囲指定により指定された領域を角膜反射像として左右眼のそれぞれについて検出する。なお、粒子解析処理に代えて、正規化相関を用いたパターン認識など、その他の瞳孔および角膜反射像を検出可能な方法を用いても良い。
【００３１】
眼球位置検出手段１１は、カメラＣから取得した眼球周辺画像および前記したいずれかの方法で検出した左右眼それぞれの眼球位置情報を、眼球領域画像切り出し手段１２に出力する。なお、視線位置検出手段１１は、検出した眼球位置情報を左右眼のそれぞれについて記憶するメモリ（図示せず）を備えており、このメモリ（図示せず）は、新しい眼球位置情報が入力された場合、随時更新して記憶するようになっている。ただし、眼球位置情報を検出できなかった場合、更新を行わないこととする。
眼球位置検出手段１１は、左右眼のいずれか一方の眼球位置情報が検出できなかった場合、検出できた眼球については、その眼球位置情報を出力し、検出できなかった眼球については、図示しないメモリに記憶されている眼球位置情報を、その眼球の眼球位置情報として出力する。
【００３２】
眼球領域画像切り出し手段１２は、眼球位置検出手段１１により検出された左右眼それぞれの眼球位置情報に基づき、眼球周辺画像Ｇから、この左右眼それぞれの眼球位置情報を含んだ予め定めた幅および高さの領域を、右眼・左眼の眼球領域画像ＧＲ，ＧＬ（図１参照）としてそれぞれ切り出すものである。切り出された右眼・左眼の眼球領域画像ＧＲ，ＧＬは、基準位置特定手段１３に出力される。
【００３３】
基準位置特定手段１３は、眼球領域画像切り出し手段１２により切り出された右眼・左眼の眼球領域画像ＧＲ，ＧＬから、瞳孔中心の位置および角膜反射点をそれぞれ特定するものである。
【００３４】
この基準位置特定手段１３は、一般的な画像処理技術により、右眼・左眼の眼球領域画像ＧＲ，ＧＬから画像座標系における瞳孔中心と角膜反射点とを特定する。基準位置特定手段１３は、ここでは、右眼・左眼の眼球領域画像ＧＲ，ＧＬについて、角膜反射点を含む他の領域よりも明度の高い領域を２値化処理によって探索し、粒子解析処理によって面積範囲および真円度範囲を指定して左右眼それぞれの瞳孔を抽出する。
また基準位置特定手段１３は、右眼・左眼の眼球領域画像ＧＲ，ＧＬについて、瞳孔の明度と角膜反射点の明度の間に閾値を設定し、閾値よりも明度の高い領域を探索し、粒子解析処理によって面積範囲および真円度範囲を指定して左右眼それぞれの角膜反射点を抽出し、その中心座標（幅、高さの中点や領域の重心座標等）を、左右眼それぞれの角膜反射点の中心とする。特定された左右眼それぞれの画像座標系における瞳孔中心および角膜反射点は、視線ベクトル算出手段１４に出力される。なお、基準位置特定手段１３によって、左右眼のいずれか一方について画像座標系における瞳孔中心および角膜反射点が特定できなかった場合、以降の視線ベクトル算出手段１４と視線ベクトル校正手段１５と注視点算出手段１６においては、左右眼のうち特定できた眼球についてのみ処理を行うものとする。
【００３５】
視線ベクトル算出手段１４は、左右眼それぞれの視線方向を示す視線ベクトルを算出するものである。ここで、図３を参照して視線ベクトル算出手段１４の構成を説明する。視線ベクトル算出手段１４は、ここでは、カメラ座標系変換手段１４ａと、世界座標系変換手段１４ｂと、瞳孔中心座標補正手段１４ｃと、角膜曲率中心座標算出手段１４ｄと、ベクトル算出手段１４ｅとを備える構成とした。
【００３６】
カメラ座標系変換手段１４ａは、基準位置特定手段１３により特定された左右眼それぞれの画像座標系における瞳孔中心および角膜反射点を、カメラ座標系における瞳孔中心座標および角膜反射点座標にそれぞれ変換するものである。変換された左右眼それぞれのカメラ座標系における瞳孔中心座標および角膜反射点座標は、世界座標系変換手段１４ｂにそれぞれ出力される。
【００３７】
世界座標系変換手段１４ｂは、予め測定した左右の眼球間の距離と、予め取得したカメラパラメータとに基づいて、カメラ座標系変換手段１４ａにより変換された左右眼それぞれのカメラ座標系における瞳孔中心座標および角膜反射点座標を、世界座標系における瞳孔中心座標および角膜反射点座標にそれぞれ変換するものである。変換された左右眼それぞれの世界座標系における瞳孔中心座標は、瞳孔中心座標補正手段１４ｃに出力され、角膜反射点座標は、角膜曲率中心座標算出手段１４ｄに出力される。なお、左右の眼球間の距離は、瞳孔間距離計などによって予め測定され、世界座標系変換手段１４ｂに入力されているものとする。
【００３８】
瞳孔中心座標補正手段１４ｃは、世界座標系変換手段１４ｂにより変換された世界座標系における瞳孔中心座標を実際の瞳孔中心座標に補正するものである。瞳孔中心座標補正手段１４ｃは、角膜表面における屈折率に応じて世界座標系における瞳孔中心座標を補正する。なお、カメラＣから世界座標系における右眼・左眼の瞳孔中心座標へ向かう光の屈折方向を算出し、その屈折方向上に位置し、かつ角膜曲率中心座標算出手段１４ｄで算出される角膜曲率中心から規定の距離のところに位置する輪郭座標を求めることで補正後の右眼・左眼の瞳孔中心座標（＝ＰｗＲ，ＰｗＬ）を得る。
補正後の瞳孔中心座標は、ベクトル算出手段１４ｅに出力される。なお、瞳孔中心座標補正手段１４ｃを省略しても良いが、瞳孔中心座標補正手段１４ｃを設けることで、世界座標系における瞳孔中心座標を実際の瞳孔中心座標に補正することができるので、より正確な視線ベクトルを算出することが可能となる。瞳孔中心座標補正手段１４ｃを設けない場合には、世界座標系変換手段１４ｂからベクトル算出手段１４ｅに、世界座標系における瞳孔中心座標がそのまま出力される。
【００３９】
角膜曲率中心座標算出手段１４ｄは、世界座標系変換手段１４ｂにより変換された世界座標系における角膜反射点座標と、角膜曲率半径とに基づいて角膜曲率中心座標を算出するものである。算出された角膜曲率中心座標は、ベクトル算出手段１４ｅに出力される。
【００４０】
ベクトル算出手段１４ｅは、瞳孔中心座標と、角膜曲率中心座標算出手段１４ｄにより算出された角膜曲率中心座標とを通る直線を、視線方向を示す視線ベクトルとして算出するものである。算出された視線ベクトルは、視線ベクトル校正手段１５に出力される。
ここでの瞳孔中心座標とは、世界座標系における瞳孔中心座標を瞳孔中心座標補正手段１４ｃにより補正した補正後の瞳孔中心座標である。ただし、瞳孔中心座標補正手段１４ｃを設けない場合は、世界座標系変換手段１４ｂにより変換された世界座標系における瞳孔中心座標となる。
【００４１】
以下、視線ベクトル算出手段１４による視線ベクトルの算出方法について、図１から図３に加えて適宜図４を参照しながら詳細に説明する。視線ベクトル算出手段１４は、基準位置特定手段１３によって特定された左右眼それぞれの瞳孔中心および角膜反射点の位置に基づいて、眼球モデル（図４参照）を用いて視線ベクトルの算出を行う。なお、本実施形態では、発光手段Ｒとしてリング照明を用いているため、カメラＣと発光手段Ｒの光軸が略同軸となっており、瞳孔画像が周囲の虹彩に比べて明るくなる明瞳孔となっている。
【００４２】
視線ベクトル算出手段１４は、カメラ座標系変換手段１４ａによって、基準位置特定手段１３から左右眼それぞれの画像座標系における瞳孔中心および角膜反射点の入力を受け付けると、まず、カメラキャリブレーションによって得られるレンズの焦点距離および撮像素子（センサ）のドットピッチを利用して、左右眼それぞれのカメラ座標系（図１参照）における角膜反射点座標およびカメラ座標系における右眼・左眼の瞳孔中心座標（＝ＰｃＲ，ＰｃＬ）をそれぞれ求める。これは、一般的な方法により求めることができるが、例えば、非特許文献２の方法を用いることができる。
以下、左右眼それぞれのカメラ座標系における角膜反射点座標を求める方法について説明する。
【００４３】
ここで、基準位置特定手段１３により特定された右眼の角膜反射点の座標をＣｉＲ（ＣｉＲｘ，ＣｉＲｙ）とおき、左眼の角膜反射点の座標をＣｉＬ（ＣｉＬｘ，ＣｉＬｙ）とおき、カメラＣで撮影された眼球周辺画像Ｇにおける中心点座標（カメラの光軸とセンサの交点に対する画像上の座標）をＳｉＣ（ＳｉＣｘ，ＳｉＣｙ）とおき、ドットピッチをｄpitchとおき、レンズの焦点距離をｆとおき、カメラ座標系（図１参照）原点から左眼あるいは右眼の角膜反射点までの距離をＺとおくと、カメラ座標系における右眼の角膜反射点座標ＣｃＲ（ＣｃＲｘ，ＣｃＲｙ，ＣｃＲｚ）は、次に示す式（１）によって求めることができる。
【００４４】
【数１】
【００４５】
同様に、カメラ座標系における左眼の角膜反射点座標ＣｃＬ（ＣｃＬｘ，ＣｃＬｙ，ＣｃＬｚ）は、次に示す式（２）によって求めることができる。
【００４６】
【数２】
【００４７】
このとき、カメラ座標系原点から左眼あるいは右眼の角膜反射点までの距離Ｚは、一般的なＤＦＦ（Depth From Focus）法により、カメラＣのフォーカス値から求めることもできるが、ここでは、両眼間の距離Ｄｅｙｅｓを定数とし、この両眼間の距離Ｄｅｙｅｓを用いて求めることとする。
まず、角膜曲率中心（図４参照）のカメラ座標系における位置をｅとし、角膜曲率半径をＲとすると、右眼の角膜曲率中心の位置ベクトルｅＲは、次に示す式（３）によって求めることができる。
【００４８】
【数３】
【００４９】
同様に、左眼の角膜曲率中心の位置ベクトルｅＬは、次に示す式（４）によって求めることができる。
【００５０】
【数４】
【００５１】
そして、両眼間の距離Ｄｅｙｅｓ（定数）と、右眼の角膜曲率中心の位置ベクトルｅＲと、左眼の角膜曲率中心の位置ベクトルｅＬとの間には、次に示す式（５）の関係が成立する。
【００５２】
【数５】
【００５３】
この非線形方程式を、例えばニュートン法によって解くことでＺの最適値ｚを求める。そして、この最適値ｚを、前記した式（１）、式（２）にそれぞれ代入することによって、カメラ座標系における右眼・左眼の角膜反射点座標（＝ＣｃＲ，ＣｃＬ）をそれぞれ算出することができる。
【００５４】
次に、視線ベクトル算出手段１４は、世界座標系変換手段１４ｂによって、カメラ座標系変換手段１４ａにより変換されたカメラ座標系における右眼・左眼の角膜反射点座標（＝ＣｃＲ，ＣｃＬ）を、世界座標系における右眼・左眼の角膜反射点座標（＝ＣｗＲ，ＣｗＬ）にそれぞれ変換する。また、視線ベクトル算出手段１４は、世界座標系変換手段１４ｂによって、カメラ座標系変換手段１４ａにより変換されたカメラ座標系における右眼・左眼の瞳孔中心座標（＝ＰｃＲ，ＰｃＬ）を、世界座標系における右眼・左眼の瞳孔中心座標（＝ＰｗＲ，ＰｗＬ）にそれぞれ変換する。これは、一般的な方法により求めることができるが、例えば、非特許文献２の方法を用いることができる。
【００５５】
以下、左右眼それぞれのカメラ座標系における角膜反射点座標を求める方法について説明する。
カメラ座標系における右眼・左眼の角膜反射点座標（＝ＣｃＲ，ＣｃＬ）と、世界座標系における右眼・左眼の角膜反射点座標（＝ＣｗＲ，ＣｗＬ）と、予め行ったカメラキャリブレーションにより取得した回転マトリクス（＝Ｒｗｃ）とおき、並進ベクトル（＝Ｔｗｃ）との間には、次に示す式（６）の関係が成立する。
【００５６】
【数６】
【００５７】
そして、式（６）から導かれる式（７）により、世界座標系における右眼の角膜反射点座標ＣｗＲと、左眼の角膜反射点座標ＣｗＬをそれぞれ求めることができる。
【００５８】
【数７】
【００５９】
以上により、世界座標系における右眼・左眼の角膜反射点座標（＝ＣｗＲ，ＣｗＬ）と、世界座標系における右眼・左眼の瞳孔中心座標（＝ＰｗＲ，ＰｗＬ）とを得ることができる。
次に、視線ベクトル算出手段１４は、瞳孔中心座標補正手段１４ｃによって、世界座標系における右眼・左眼の瞳孔中心座標（＝ＰｗＲ，ＰｗＬ）を、角膜表面における屈折率に応じて補正し、補正後の右眼・左眼の瞳孔中心座標（＝ｐｗＲ，ｐｗＬ）を得る。
また、視線ベクトル算出手段１４は、角膜曲率中心座標算出手段１４ｄによって、世界座標系における右眼・左眼の角膜反射点座標（＝ＣｗＲ，ＣｗＬ）と、角膜曲率半径とに基づいて、角膜曲率中心座標（＝ｃｗＲ，ｃｗＬ）を算出する。
そして、視線ベクトル算出手段１４は、ベクトル算出手段１４ｅによって、まず、補正後の右眼の瞳孔中心座標（＝ｐｗＲ）と、右眼の角膜曲率中心座標（＝ｃｗＲ）とを用いて、次に示す式（８）により、右眼の視線ベクトルｖｗＲを求める。
【００６０】
【数８】
【００６１】
同様に、視線ベクトル算出手段１４は、ベクトル算出手段１４ｅによって、補正後の左眼の瞳孔中心座標（＝ｐｗＬ）と、左眼の角膜曲率中心座標（＝ｃｗＬ）とを用いて、次に示す式（９）により、左眼の視線ベクトルｖｗＲを求める。
【００６２】
【数９】
【００６３】
このようにして、視線ベクトル算出手段１４は、ベクトル算出手段１４ｅによって、右眼・左眼の視線ベクトル（＝ｖｗＲ，ｖｗＬ）をそれぞれ算出することができる。算出された右眼・左眼の視線ベクトルデータは、視線ベクトル校正手段１５に出力される。
【００６４】
なおここでは、予め実施したカメラキャリブレーションによって、カメラＣの光学系の内部パラメータ（例えば、焦点距離、光学歪、光軸座標等）やカメラの空間的位置の外部パラメータ（例えば、カメラ座標系原点の位置、回転角度等）のデータ（キャリブレーションデータ）が求められ、カメラＣから、視線ベクトル算出手段１４のカメラ座標系変換手段１４ａに入力されているものとする。
カメラキャリブレーションの方法は、種々提案されているが、例えば、非特許文献３(R.Y．Tsai：“A Versatile camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses”IEEE J.RA-3,4,pp.323-344(1987))に示すＴｓａｉのカメラキャリブレーションの方法を用いることができる。ただし、カメラの内部パラメータおよび外部パラメータが一意に決定される方法であれば、その他の方法を用いても良いことはもちろんである。
【００６５】
視線ベクトル校正手段１５は、予め取得した視線ベクトルを校正する校正データに基づいて、視線ベクトル算出手段１４によって算出された左右眼の視線ベクトルをそれぞれ校正するものである。
ここで、校正データとは、利用者の眼球形状や眼鏡・コンタクトレンズによる光学的な歪等の個人差から生じる誤差を補正して、眼球領域画像の瞳孔中心座標および角膜反射点座標から視線ベクトルを算出するために行う個人キャリブレーションによって得られたキャリブレーションデータである。具体的には、校正データは、利用者が表示装置Ｄの画面上のマーカの位置を注視していると仮定したときの、本実施形態に係る視線測定装置１の視線ベクトル算出手段１４により算出された視線ベクトルと、実際の視線ベクトル（角膜曲率中心とマーカを通るベクトル）との角度のずれを示すデータである。
マーカは、空間的な座標が既知であれば良く、例えば、等間隔に配置されたＬＥＤ、あるいは、利用者に表示する映像中の特定の座標の点などを利用することができる。
【００６６】
図２に戻って、視線ベクトル校正手段１５は、視線ベクトル算出手段１４のベクトル算出手段１４ｅから視線ベクトルデータを、予め取得した校正データにより校正するものである。
視線ベクトル校正手段１５は、視線ベクトル算出手段１４のベクトル算出手段１４ｅから視線ベクトルデータの入力を受け付けると、予め取得した校正データを参照し、この視線ベクトルデータに校正データを乗算することにより、視線ベクトルデータを校正する。視線ベクトルデータの校正には、例えば、非特許文献２の方法を用いることができる。以下に説明する。
【００６７】
まず、視線ベクトル校正手段１５によって、視線ベクトル算出手段１４により算出された視線ベクトルを、式（１０）に示す極座標系における斉次ベクトルに変換する。なお、以下では、左右眼の視線ベクトルを区別せずに表記する。
【００６８】
【数１０】
【００６９】
次に、キャリブレーション行列を式（１１）に示す４×４の斉次行列Ｗで表す。
【００７０】
【数１１】
【００７１】
ここで、未知数は、ｗ1,・・・，ｗ４の４個であり、角膜曲率中心からマーカへのベクトルｖＭを極座標系に変換したものをｖＭθとすると、ｖＭθ＝ＷｖＭθの関係が成立するため、校正時にマーカとして表示装置Ｄの画面上の最低２点の座標を与えることによりｗ1,・・・，ｗ４を決定することができる。これによって、視線ベクトル算出手段１４により算出された視線ベクトルと、実際の視線ベクトル（角膜曲率中心とマーカを通るベクトル）との角度のずれを示すデータを得ることができる。また、３点以上マーカを用いる場合には、誤差二乗和が最小となるＷを求めればよい。この場合、利用者がマーカを注視したときに発生する誤差を軽減することができる。このようにして、斉次行列Ｗを算出することで、式（１２）に示すように、極座標系における校正後の視線ベクトルｖＷ´θが得られる。
【００７２】
【数１２】
【００７３】
そして、校正後の視線ベクトルｖＷ´θを、直交座標系の視線ベクトルｖＷ´に変換する。
視線ベクトル校正手段１５は、左右眼の視線ベクトル（＝ｖｗＲ,ｖｗＬ）のそれぞれについて前記したような処理を行う。このようにして校正された視線ベクトルは、注視点算出手段１６に出力される。
【００７４】
注視点算出手段１６は、視線ベクトル校正手段１５により校正された視線ベクトルと、表示装置の画面との交点である注視点を算出するものである。注視点算出手段１６は、視線ベクトル校正手段１５によって校正された左眼の視線ベクトルと右眼の視線ベクトルのそれぞれの表示装置Ｄの画面との交点の平均の位置またはいずれか一方の表示装置Ｄの画面との交点を注視点として算出する。また、注視点算出手段１６は、視線ベクトル算出手段１４により、左右眼のいずれか一方の視線ベクトルを算出できなかった場合、左右眼のうち算出できた方についてのみ、注視点を算出する。
つまり、注視点算出手段１６は、視線ベクトル校正手段１５から左右眼のそれぞれの校正後の視線ベクトルが入力された場合、その双方を用いて注視点を算出しても良いし、いずれか一方のみを用いて注視点を算出しても良い。また、注視点算出手段１６は、視線ベクトル校正手段１５から左右眼のいずれか一方のみの校正後の視線ベクトルが入力された場合は、この校正後の視線ベクトルを用いて注視点を算出する。このようにして算出された注視点は、外部に出力される。
【００７５】
以上、視線測定装置１の構成について説明したが、本発明はこの構成に限定されるものではない。
例えば、視線測定装置１は、カメラＣによって撮影された眼球周辺画像Ｇ（図１参照）を一時的に蓄積するメモリ（図示せず）をさらに備えていても良い。また、視線測定装置１は、視線ベクトル算出手段１４によって算出した左右眼の視線ベクトルや、注視点算出手段１６によって算出した左右眼の注視点の位置（空間的な座標や表示装置に表示された映像の画素位置等）を蓄積するメモリ（図示せず）をさらに備えていても良い。この場合、カメラＣによって撮影され、図示しないメモリに記憶された眼球周辺画像は、眼球位置検出手段１１によって適宜読み出される。また、視線ベクトル算出手段１４によって算出され、図示しないメモリに記憶された左右眼の視線ベクトルは、視線ベクトル校正手段１５によって適宜読み出される。また、注視点算出手段１６によって算出され、図示しないメモリに記憶された左右眼の注視点は、外部から適宜読み出される。
【００７６】
また例えば、視線測定装置１は、予め生成された校正データを記憶するメモリ（図示せず）を備えていても良い。このメモリは、半導体メモリ等の一般的な記憶手段とすることができる。なお、このメモリを、例えば、ＦＩＦＯ（First In First Out）バッファとし、予め定めた回数の校正データのみを記憶することとし、予め定めた回数を超えて新しい校正データが入力された場合、最も古い校正データを削除し、新しい校正データを記憶するように構成しても良い。これにより、誤った校正データが記憶された場合であっても、再度校正をやり直すことで、正しい校正データが記憶されることとなる。このようなメモリに記憶された校正データは、視線ベクトル校正手段１５によって逐次参照されることとなる。
【００７７】
また、視線測定装置１は、一般的なコンピュータを、前記した各手段として機能させるためのプログラム（視線測定プログラム）で実現することができる。このプログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【００７８】
［視線測定装置の動作］
次に、図５を参照して、視線測定装置１の動作について説明する。
まず、視線測定装置１は、眼球位置検出手段１１によって、カメラＣで撮影された両眼を含んだ眼球周辺画像Ｇ（図１参照）を入力し（ステップＳ１）、その眼球周辺画像Ｇから、左眼と右眼の眼球位置をそれぞれ検出する（ステップＳ２）。このとき、眼球位置検出手段１１は、左右眼のいずれか一方の眼球位置情報が検出できなかった場合には、検出できた方については、その眼球位置情報を出力し、検出できなかった方については、図示しないメモリに１フレーム前の状態として記憶されている眼球位置情報を取得して出力する。
【００７９】
次に、視線測定装置１は、眼球領域画像切り出し手段１２によって、カメラＣで撮影された両眼を含んだ眼球周辺画像Ｇを入力し、ステップＳ２で検出された左右眼の眼球位置に基づいて、右眼・左眼の眼球領域画像ＧＲ，ＧＬ（図１参照）をそれぞれ切り出す（ステップＳ３）。
また、視線測定装置１は、基準位置特定手段１３によって、ステップＳ３で切り出された右眼・左眼の眼球領域画像ＧＲ，ＧＬから、左右眼それぞれの画像座標系における瞳孔中心および角膜反射点（図４参照）をそれぞれ特定する（ステップＳ４）。なお、基準位置特定手段１３によって、左右眼のいずれか一方について画像座標系における瞳孔中心および角膜反射点が特定できなかった場合、以降の視線ベクトル算出手段１４と視線ベクトル校正手段１５と注視点算出手段１６においては、左右眼のうち特定できた眼球についてのみ処理を行う。
【００８０】
さらに、視線測定装置１は、視線ベクトル算出手段１４によって、ステップＳ４で特定された画像座標系における瞳孔中心および角膜反射点に基づいて、利用者の視線ベクトルを算出する（ステップＳ５）。
【００８１】
すなわち、視線測定装置１は、視線ベクトル算出手段１４のカメラ座標系変換手段１４ａによって、予め測定した左右の眼球間の距離と、予め取得したカメラパラメータとに基づいて、ステップＳ４で特定された左右眼それぞれの画像座標系における瞳孔中心および角膜反射点を、カメラ座標系における瞳孔中心座標（＝ＰｃＲ，ＰｃＬ）および角膜反射点座標（＝ＣｃＲ，ＣｃＬ）にそれぞれ変換する。また、視線測定装置１は、視線ベクトル算出手段１４の世界座標系変換手段１４ｂによって、カメラ座標系変換手段１４ａによって変換されたカメラ座標系における瞳孔中心座標および角膜反射点座標を、世界座標系における瞳孔中心座標（＝ＰｗＲ，ＰｗＬ）および角膜反射点座標（＝ＣｗＲ，ＣｗＬ）にそれぞれ変換する。
【００８２】
そして、視線測定装置１は、視線ベクトル算出手段１４の瞳孔中心座標補正手段１４ｃによって、世界座標系における右眼・左眼の瞳孔中心座標（＝ＰｗＲ，ＰｗＬ）を、角膜表面における屈折率に応じて補正し、補正後の右眼・左眼の瞳孔中心座標（＝ｐｗＲ，ｐｗＬ）を得る。
【００８３】
また、視線ベクトル算出手段１４は、角膜曲率中心座標算出手段１４ｄによって、世界座標系における右眼・左眼の角膜反射点座標（＝ＣｗＲ，ＣｗＬ）と、角膜曲率半径とに基づいて、角膜曲率中心座標（＝ｃｗＲ，ｃｗＬ）を算出する。
【００８４】
そして、視線ベクトル算出手段１４は、ベクトル算出手段１４ｅによって、まず、補正後の左右眼の瞳孔中心座標（＝ｐｗＲ,ｐｗＬ）と、左右眼の角膜曲率中心座標（＝ｃｗＲ,ｃｗＬ）とを用いて、左右眼の右眼の視線ベクトル（＝ｖｗＲ,ｖｗＬ）を求める（ステップＳ５）。
そして、視線測定装置１は、視線ベクトル校正手段１５によって、ステップＳ５で算出された視線ベクトルを、予め取得した校正データに基づいて校正する（ステップＳ６）。
【００８５】
そして、視線測定装置１は、注視点算出手段１６によって、ステップＳ６で校正された左眼の視線ベクトルと右眼の視線ベクトルのそれぞれの表示装置Ｄの画面との交点の平均の位置またはいずれか一方の表示装置Ｄの画面との交点を注視点として算出する（ステップＳ７）。
すなわち、注視点算出手段１６は、視線ベクトル校正手段１５から左右眼のそれぞれの校正後の視線ベクトルが入力された場合、左眼の視線ベクトルと右眼の視線ベクトルのそれぞれの表示装置Ｄの画面との交点の平均の位置、もしくは、左眼の視線ベクトルと右眼の視線ベクトルのいずれか一方の表示装置Ｄの画面との交点を注視点として算出し、一方、視線ベクトル校正手段１５から左右眼のいずれか一方のみの校正後の視線ベクトルが入力された場合は、この校正後の視線ベクトルと表示装置Ｄの画面との交点を注視点として算出する。
このように、視線測定装置１は、逐次、利用者の注視点を算出し、出力する（ステップＳ８）。
【００８６】
以上説明した動作によって、利用者の左右眼それぞれの視線ベクトルが算出された場合には、左右眼のそれぞれの視線ベクトルを用いて注視点を算出することができる。また、測定時の利用者の頭部動作等により、利用者の左右眼のいずれか一方の視線ベクトルが算出できなかった場合も、算出できた方の視線ベクトルを用いて注視点を算出することができる。このように、測定時に利用者の頭部動作等があった場合にも、キャリブレーション処理をやり直すことなく利用者の視線を確実に測定することが可能となるので、簡易な構成で利用者の頭部動作に対する頑健性を向上させることができる。
また、予め測定した左右の眼球間の距離から、撮影画像フレーム内でカメラ−眼球間の距離を求めることができるので、撮影画像に対する左右の眼球間の距離の入力の遅れが生じることがない。このため、撮影画像フレーム内で、実際に利用者が注視する位置との誤差を補正した正確な注視点を算出することができる。
【符号の説明】
【００８７】
１ 視線測定装置
１１ 眼球位置検出手段
１２ 眼球領域画像切り出し手段
１３ 基準位置特定手段
１４ 視線ベクトル算出手段
１４ａ カメラ座標系変換手段
１４ｂ 世界座標系変換手段
１４ｃ 瞳孔中心座標補正手段
１４ｄ 角膜曲率中心座標算出手段
１４ｅ ベクトル算出手段
１５ 視線ベクトル校正手段
１６ 注視点算出手段
【特許請求の範囲】
【請求項１】
表示装置の画面を視認する利用者の視線を測定する視線測定装置において、
撮影手段により撮影された、光を照射された前記利用者の左右の眼球を含んだ眼球周辺画像から、左右眼の眼球位置をそれぞれ検出する眼球位置検出手段と、
前記眼球位置検出手段により検出された前記左右眼の前記眼球位置に基づいて、前記左右眼それぞれの眼球領域画像を切り出す眼球領域画像切り出し手段と、
前記眼球領域画像切り出し手段により切り出された前記左右眼それぞれの前記眼球領域画像から、前記左右眼それぞれの画像座標系における瞳孔中心の位置および角膜反射点の位置を特定する基準位置特定手段と、
予め測定した左右の眼球間の距離と、予め取得したカメラパラメータとに基づいて、前記基準位置特定手段により特定された前記左右眼それぞれの瞳孔中心の位置および角膜反射点を、前記左右眼それぞれのカメラ座標系における瞳孔中心座標および角膜反射点座標に変換するカメラ座標系変換手段と、
前記カメラ座標系変換手段により変換された前記左右眼それぞれのカメラ座標系における瞳孔中心座標と、前記左右眼それぞれのカメラ座標系における角膜反射点座標とを、前記左右眼のそれぞれの世界座標系における角膜反射点座標と、前記左右眼それぞれの世界座標系における瞳孔中心座標とに変換する世界座標系変換手段と、
前記世界座標系変換手段により変換された前記世界座標系における角膜反射点座標と、角膜曲率半径とに基づいて角膜曲率中心座標を算出する角膜曲率中心座標算出手段と、
前記世界座標系変換手段により変換された前記世界座標系における瞳孔中心座標と、前記角膜曲率中心座標算出手段により算出された前記角膜曲率中心座標とを通る直線を、視線方向を示す視線ベクトルとして、前記左右眼のそれぞれについて算出するベクトル算出手段と、
予め定めた視線ベクトルを校正する校正データに基づいて、前記ベクトル算出手段により算出された前記左右眼それぞれの前記視線ベクトルを校正する視線ベクトル校正手段と、
前記視線ベクトル校正手段により校正された前記左眼の視線ベクトルと前記右眼の視線ベクトルのそれぞれの前記表示装置の画面との交点の平均の位置または前記左眼の視線ベクトルと前記右眼の視線ベクトルのいずれか一方の前記表示装置の画面との交点を注視点として算出する注視点算出手段と、を備え、前記注視点算出手段が、前記視線ベクトル算出手段により左右眼のいずれか一方の前記視線ベクトルが算出できなかった場合、算出できた方の視線ベクトルで前記注視点を算出することを特徴とする視線測定装置。
【請求項２】
表示装置の画面を視認する利用者の視線を測定するために、コンピュータを、
撮影手段により撮影された、光を照射された前記利用者の左右の眼球を含んだ眼球周辺画像から、左右眼の眼球位置をそれぞれ検出する眼球位置検出手段、
前記眼球位置検出手段により検出された前記左右眼の前記眼球位置に基づいて、前記左右眼それぞれの眼球領域画像を切り出す眼球領域画像切り出し手段、
前記眼球領域画像切り出し手段により切り出された前記左右眼それぞれの前記眼球領域画像から、前記左右眼それぞれの瞳孔中心の位置および角膜反射点の位置を特定する基準位置特定手段、
予め測定した左右の眼球間の距離と、予め取得したカメラパラメータとに基づいて、前記基準位置特定手段により特定された前記左右眼それぞれの瞳孔中心の位置および角膜反射点を、前記左右眼それぞれのカメラ座標系における瞳孔中心座標および角膜反射点座標に変換するカメラ座標系変換手段、
前記カメラ座標系変換手段により変換された前記左右眼それぞれのカメラ座標系における瞳孔中心座標と、前記左右眼それぞれのカメラ座標系における角膜反射点座標とを、前記左右眼のそれぞれの世界座標系における角膜反射点座標と、前記左右眼それぞれの世界座標系における瞳孔中心座標とに変換する世界座標系変換手段、
前記世界座標系変換手段により変換された前記世界座標系における角膜反射点座標と、角膜曲率半径とに基づいて角膜曲率中心座標を算出する角膜曲率中心座標算出手段と、
前記世界座標系変換手段により変換された前記世界座標系における瞳孔中心座標と、前記角膜曲率中心座標算出手段によって算出された前記角膜曲率中心座標とを通る直線を、視線方向を示す視線ベクトルとして、前記左右眼のそれぞれについて算出するベクトル算出手段と、
予め定めた視線ベクトルを校正する校正データに基づいて、前記ベクトル算出手段により算出された前記左右眼それぞれの前記視線ベクトルを校正する視線ベクトル校正手段と、
前記視線ベクトル校正手段により校正された前記左眼の視線ベクトルと前記右眼の視線ベクトルのそれぞれの前記表示装置の画面との交点の平均の位置またはいずれか一方の前記表示装置の画面との交点を注視点として算出する注視点算出手段として機能させるための視線測定プログラム。
【請求項１】
表示装置の画面を視認する利用者の視線を測定する視線測定装置において、
撮影手段により撮影された、光を照射された前記利用者の左右の眼球を含んだ眼球周辺画像から、左右眼の眼球位置をそれぞれ検出する眼球位置検出手段と、
前記眼球位置検出手段により検出された前記左右眼の前記眼球位置に基づいて、前記左右眼それぞれの眼球領域画像を切り出す眼球領域画像切り出し手段と、
前記眼球領域画像切り出し手段により切り出された前記左右眼それぞれの前記眼球領域画像から、前記左右眼それぞれの画像座標系における瞳孔中心の位置および角膜反射点の位置を特定する基準位置特定手段と、
予め測定した左右の眼球間の距離と、予め取得したカメラパラメータとに基づいて、前記基準位置特定手段により特定された前記左右眼それぞれの瞳孔中心の位置および角膜反射点を、前記左右眼それぞれのカメラ座標系における瞳孔中心座標および角膜反射点座標に変換するカメラ座標系変換手段と、
前記カメラ座標系変換手段により変換された前記左右眼それぞれのカメラ座標系における瞳孔中心座標と、前記左右眼それぞれのカメラ座標系における角膜反射点座標とを、前記左右眼のそれぞれの世界座標系における角膜反射点座標と、前記左右眼それぞれの世界座標系における瞳孔中心座標とに変換する世界座標系変換手段と、
前記世界座標系変換手段により変換された前記世界座標系における角膜反射点座標と、角膜曲率半径とに基づいて角膜曲率中心座標を算出する角膜曲率中心座標算出手段と、
前記世界座標系変換手段により変換された前記世界座標系における瞳孔中心座標と、前記角膜曲率中心座標算出手段により算出された前記角膜曲率中心座標とを通る直線を、視線方向を示す視線ベクトルとして、前記左右眼のそれぞれについて算出するベクトル算出手段と、
予め定めた視線ベクトルを校正する校正データに基づいて、前記ベクトル算出手段により算出された前記左右眼それぞれの前記視線ベクトルを校正する視線ベクトル校正手段と、
前記視線ベクトル校正手段により校正された前記左眼の視線ベクトルと前記右眼の視線ベクトルのそれぞれの前記表示装置の画面との交点の平均の位置または前記左眼の視線ベクトルと前記右眼の視線ベクトルのいずれか一方の前記表示装置の画面との交点を注視点として算出する注視点算出手段と、を備え、前記注視点算出手段が、前記視線ベクトル算出手段により左右眼のいずれか一方の前記視線ベクトルが算出できなかった場合、算出できた方の視線ベクトルで前記注視点を算出することを特徴とする視線測定装置。
【請求項２】
表示装置の画面を視認する利用者の視線を測定するために、コンピュータを、
撮影手段により撮影された、光を照射された前記利用者の左右の眼球を含んだ眼球周辺画像から、左右眼の眼球位置をそれぞれ検出する眼球位置検出手段、
前記眼球位置検出手段により検出された前記左右眼の前記眼球位置に基づいて、前記左右眼それぞれの眼球領域画像を切り出す眼球領域画像切り出し手段、
前記眼球領域画像切り出し手段により切り出された前記左右眼それぞれの前記眼球領域画像から、前記左右眼それぞれの瞳孔中心の位置および角膜反射点の位置を特定する基準位置特定手段、
予め測定した左右の眼球間の距離と、予め取得したカメラパラメータとに基づいて、前記基準位置特定手段により特定された前記左右眼それぞれの瞳孔中心の位置および角膜反射点を、前記左右眼それぞれのカメラ座標系における瞳孔中心座標および角膜反射点座標に変換するカメラ座標系変換手段、
前記カメラ座標系変換手段により変換された前記左右眼それぞれのカメラ座標系における瞳孔中心座標と、前記左右眼それぞれのカメラ座標系における角膜反射点座標とを、前記左右眼のそれぞれの世界座標系における角膜反射点座標と、前記左右眼それぞれの世界座標系における瞳孔中心座標とに変換する世界座標系変換手段、
前記世界座標系変換手段により変換された前記世界座標系における角膜反射点座標と、角膜曲率半径とに基づいて角膜曲率中心座標を算出する角膜曲率中心座標算出手段と、
前記世界座標系変換手段により変換された前記世界座標系における瞳孔中心座標と、前記角膜曲率中心座標算出手段によって算出された前記角膜曲率中心座標とを通る直線を、視線方向を示す視線ベクトルとして、前記左右眼のそれぞれについて算出するベクトル算出手段と、
予め定めた視線ベクトルを校正する校正データに基づいて、前記ベクトル算出手段により算出された前記左右眼それぞれの前記視線ベクトルを校正する視線ベクトル校正手段と、
前記視線ベクトル校正手段により校正された前記左眼の視線ベクトルと前記右眼の視線ベクトルのそれぞれの前記表示装置の画面との交点の平均の位置またはいずれか一方の前記表示装置の画面との交点を注視点として算出する注視点算出手段として機能させるための視線測定プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１０−２５９６０５（Ｐ２０１０−２５９６０５Ａ）
【公開日】平成２２年１１月１８日（２０１０．１１．１８）
【国際特許分類】
【出願番号】特願２００９−１１２２９８（Ｐ２００９−１１２２９８）
【出願日】平成２１年５月１日（２００９．５．１）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【公開日】平成２２年１１月１８日（２０１０．１１．１８）
【国際特許分類】
【出願日】平成２１年５月１日（２００９．５．１）
【出願人】（０００００４３５２）日本放送協会 (2,206)
[ Back to top ]