視線検出装置、視線検出方法、眼電位計測装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがねおよび眼科診断装置
【課題】高精度にドリフトを推定することで、ユーザの視線方向を高精度に推定する。
【解決手段】複数の電極により観測される生体に発生する眼電位である複数の観測電圧のそれぞれのうち、複数の電極において理論上観測される眼電位の組の集合である眼電位部分空間外の成分に基づいて、観測電圧の組に含まれるドリフトノイズを推定するドリフト推定部２０と、複数の観測電圧からドリフト推定部２０が推定したドリフトノイズを除去した信号に基づいて、ユーザの視線方向を検出する視線検出部１０とを備える。
【解決手段】複数の電極により観測される生体に発生する眼電位である複数の観測電圧のそれぞれのうち、複数の電極において理論上観測される眼電位の組の集合である眼電位部分空間外の成分に基づいて、観測電圧の組に含まれるドリフトノイズを推定するドリフト推定部２０と、複数の観測電圧からドリフト推定部２０が推定したドリフトノイズを除去した信号に基づいて、ユーザの視線方向を検出する視線検出部１０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視線検出装置、視線検出方法、眼電位計測装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがねおよび眼科診断装置に関する。
【背景技術】
【０００２】
従来、眼電位（ＥＯＧ、ＥｌｅｃｔｒｏＯｃｕｌｏＧｒａｐｈｙ）を用いた視線検出技術がよく知られている。これは、角膜の正電荷、網膜の負電荷により発生した電位（眼電位）を、目の周辺に貼り付けた複数の電極により測定することで、視線を検出する技術である。この技術は、カメラを用いて眼球を撮影する視線検出方式とは異なり、視野を妨げず、外光の影響も受けず、目の形状および開眼状態によらず、低消費電力であるなどの利点を有し、様々な機器への応用が期待される。
【０００３】
しかしながら、観測電圧には、図１に示す波形例（電極３つの例）のように眼電位（数１００ｕＶ，図１拡大部）に対して１００倍以上の低周波ノイズ（数１０ｍＶ）が混入し、眼電位の基線（ＤＣ）が変動（ドリフト）するため、ほぼ１分以内に眼電位レンジを超え視線検出不能となる。また、周波数帯域も眼電位と重複し周波数分離できない。
【０００４】
ドリフトを補正する従来方式として、主に以下の２つがある。
【０００５】
＜従来方式（１）：眼球の電池モデルを用いた視線推定＞
まず、眼球を電池とみなしたモデル（非特許文献１）を用いた視線検出方法（特許文献１、非特許文献２）がある。従来、視線とＥＯＧの関係が線形近似されていたが、視線角が大きいほど非線形になるため、視線検出精度が低かった。そこで、非特許文献１では、ＥＯＧの非線形モデルとして、眼球を角膜がプラス、網膜がマイナスを成す電池とみなし、眼球運動を、電池が回転するものとみなすモデル（電池モデル）を提案している。電極から、角膜中心点、網膜中心点までの距離をそれぞれｒ、ｒ’とし、眼球内部で網膜から角膜に向かって流れる電流をＩ、眼球周辺の導電率をσとするとき、電極に発生する電位ｖは、以下の（式１）により計算される。
【０００６】
【数１】
【０００７】
特許文献１および非特許文献２では、ドリフト原因を電流Ｉの時間変動であるとみなし、ＥＭアルゴリズムにより、観測電圧と、電池モデルにより求めた理論電圧との２乗誤差が最小となる電流Ｉおよび視線位置の同時推定を行う。
【０００８】
＜従来方式（２）：カルマンフィルタを用いた視線推定＞
その他の従来方式として、カルマンフィルタを用いた方式がある（非特許文献３および４）。１対の電極から計測されるＥＯＧ（ｔ）を、視線方向を表す２次元ベクトルｘ（ｔ）、視線方向からＥＯＧへの変換行列Ｚ、ＤＣオフセットとドリフトを含めたノイズ成分ｅ（ｔ）を用いて、以下の（式２Ａ）および（式２Ｂ）の通りモデル化する。
【０００９】
【数２】
【００１０】
また、視線の動きを、状態遷移行列Ｆ（ｔ）、状態推定誤差ｗ（ｔ）を用いて、以下の（式３）の通りモデル化し、予測する。
【００１１】
【数３】
【００１２】
これらの観測方程式および状態方程式を、カルマンフィルタにより解くことで、視線方向ｘ（ｔ）を推定する。
【００１３】
また、ドリフト量が電極毎に異なる問題、特定の電極で信号異常（電極はがれ、接触状態変化など）が発生する問題は、共にΔｅ（ｔ）の共分散行列を適切に与えれば対応可能であり、観測値から眼球運動に伴うＥＯＧ成分を差し引いた信号を雑音とみなし、これを用いてΔｅ（ｔ）の共分散行列を更新することで、頑健な視線推定を行う。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２００７−２５２８７９号公報
【非特許文献】
【００１５】
【非特許文献１】伊月、「眼球常存電位解析のための眼球の電池モデル」、日眼会誌９９巻９号ｐｐ．１０１２−１０１６、平成７年９月１０日
【非特許文献２】溝尾、指導教官：阪口、「多点眼電位に基づく眼球位置計測システム」、電気通信大学修士論文
【非特許文献３】真鍋、福本、「ヘッドフォンを用いた常時装用視線インタフェース」情報処理学会シンポジウム論文集、２００６年０３０２、巻：２００６ 号：４ 頁：２３−２４
【非特許文献４】Ｈ．Ｍａｎａｂｅ，Ｍ．Ｆｕｋｕｍｏｔｏ， “Ｆｕｌｌ−ｔｉｍｅ Ｗｅａｒａｂｌｅ Ｈｅａｄｐｈｏｎｅ−Ｔｙｐｅ Ｇａｚｅ Ｄｅｔｅｃｔｏｒ”， ＣＨＩ２００６， Ｗｏｒｋ−ｉｎ−Ｐｒｏｇｒｅｓｓ， ｐｐ．１０７３−１０７８．
【発明の概要】
【発明が解決しようとする課題】
【００１６】
しかしながら、前記従来方式（１）（電池モデル方式）では、ドリフトの原因を、（式１）における電流Ｉの変化によるＥＯＧの振幅変動とみなしていた。確かにＥＯＧには、目に入射する光量変化により、振幅が変動するという特性があるが（眼科では、ａｒｄｅｎ比（明環境・暗環境でのＥＯＧ振幅比）を検査項目の１つとしている）、ドリフト原因のうち支配的なものは、明暗変動がない環境でも生じる、生体変動、体動、電極接触安定性または電極における分極などによるＥＯＧの基線変動（ＤＣ変動）であり、前記従来方式（２）の（式２）におけるオフセット項ｅ（ｔ）の変動に相当する。つまり、前記従来方式（１）は、ＥＯＧの基線ｅ（ｔ）のドリフトは補正していない。
【００１７】
また、前記従来方式（２）（カルマンフィルタ方式）には詳細が記述されていないが、通常、カルマンフィルタは、ノイズにガウス性（正規分布）を仮定したものであり、特にノイズ分布の平均が変動しないことを前提としている。しかし、ドリフトは、（式３）のように微分したとしても、平均値が激しく変動するノイズであるため、これにより視線方向推定精度が大きく劣化する。つまり、視線の動きの予測のみでは不十分であり、ドリフト（特に平均値）の推定を行わなければ視線精度が大きく劣化する。また、視線と眼電位の関係を変換行列Ｚにより線形近似しているが、電極位置が眼球に近いほど非線形性が強くなるため、誤差が生じ精度低下する課題もある。
【００１８】
以上、前記従来の構成では、ドリフト補正精度が低いため、視線検出精度が低いという課題を有していた。本発明は、このような課題を解決するものであり、高精度にドリフトを推定することで、ユーザの視線方向を高精度に推定することができる視線検出装置を提供することを目的とする。
【課題を解決するための手段】
【００１９】
本発明のある局面に係る視線検出装置は、眼電位からユーザの視線方向を検出する視線検出装置であって、複数の電極により観測される生体に発生する眼電位である複数の観測電圧のそれぞれのうち、前記複数の電極において理論上観測される眼電位の組の集合である眼電位部分空間外の成分に基づいて、前記観測電圧の組に含まれるドリフトノイズを推定するドリフト推定部と、前記複数の観測電圧から前記ドリフト推定部が推定した前記ドリフトノイズを除去した信号に基づいて、前記ユーザの視線方向を検出する視線検出部とを備える。
【００２０】
ここで、「眼電位部分空間」は、事前にキャリブレーションしてもよいし、動的に推定してもよい。
【００２１】
この視線検出装置では、観測電圧のうち、ドリフト量であると確定できる眼電位部分空間外の成分を用いて、ドリフトを推定することで、高精度に眼電位を計測することができる。
【００２２】
好ましくは、前記眼電位部分空間は、所定の範囲内における前記ユーザの視線方向を示す視線ベクトル空間内の点を、所定の眼電位変換関数により写像することにより得られる。
【００２３】
ここで、「所定の範囲」とは、視線がとり得る値の範囲であり、例えば、水平視線角は±５０°以内、垂直視線角は−５０°以上３０°以下、輻輳角は２０°以下、などとすればよい。
【００２４】
また、「所定の眼電位変換関数」とは、視線方向（視線方向を示す視線ベクトル空間内の点）を眼電位に変換する関数であり、視線方向はキャリブレーションにより求めても良いし、動的に推定しても良い。なお、眼電位変換関数は、線形、非線形どちらでもよい。線形であれば行列表現することができる。
【００２５】
通常、眼電位は数１００ｕＶ程度であるが、ドリフトはその１００倍以上の、数１０ｍＶオーダーの振幅を持つ。眼球の稼動範囲（所定の範囲）を設定することで、ドリフトを１／１００以下（眼電位レンジ以下）に大幅に低減できる。
【００２６】
また、前記所定の範囲の境界線は、曲線であってもよい。
【００２７】
ここで、「曲線」とは、例えば楕円である。眼球の稼動範囲を曲線にすることで、ドリフトと眼電位の分離精度をより向上させることができる。
【００２８】
また、前記所定の範囲の境界線は、前記ユーザの水平視線方向に対して上下非対称な曲線であってもよい。
【００２９】
通常、人間の眼球は、下方に比べて上方の稼動範囲が狭い。このため、上方の範囲を制限することで、ドリフトと眼電位の分離精度をより向上させることができる。
【００３０】
また、前記所定の範囲は、前記ユーザが眼球を円周状に回転運動させた場合の前記ユーザの視線方向の範囲であってもよい。
【００３１】
例えば、眼球を円周状に、限界まで大きく一回転させる。これにより、簡易に、眼球稼動限界（ユーザの視線方向の範囲）を測定することができる。なお、「円周状」は、厳密な円である必要はなく、ユーザにより異なる曲線である。
【００３２】
また、上述の視線検出装置は、さらに、視線方向ごとに前記複数の電極の各々により観測される観測電圧から前記眼電位変換関数を算出する関数算出部を備え、前記関数算出部は、前記回転運動を２回行ったときの同一箇所における２回の観測電圧の差に基づいてドリフトノイズを推定し、前記２回の観測電圧のうち少なくともいずれか一方の観測電圧から推定した前記ドリフトノイズを除去した電圧から前記眼電位変換関数を算出してもよい。
【００３３】
例えば、眼球を円周状に一回転させる場合、始点の電圧と、終点の電圧を記録し、これらを補間することで、較正中のドリフトノイズを推定し、観測電圧から除去することで、ドリフトノイズの影響を受けずに、高精度に眼電位変換関数を算出することができる。
【００３４】
なお、完全に「同一箇所」である必要はなく、多少異なっていても良い。
【００３５】
また、前記眼電位変換関数は、非線形関数であってもよい。
【００３６】
電極貼り付け位置によるが、線形モデルでは、視線角が大きいほど、眼電位変換関数の誤差が大きくなるため（５〜１０°程度）、これによりドリフト推定精度（ドリフトノイズ推定精度）および視線方向推定精度が劣化する。特に、後述するフィードバック構成では、線形近似誤差がドリフト推定誤差として蓄積される。この構成では、眼電位の非線形性を考慮した高精度な眼電位変換関数により、高精度な眼電位計測および視線検出が可能となる。
【００３７】
また、前記非線形関数は、右眼角膜および右眼網膜のそれぞれから任意の３次元空間位置までの距離である右眼角膜距離および右眼網膜距離と、左眼角膜および左眼網膜のそれぞれから前記任意の３次元空間位置までの距離である左眼角膜距離および左眼網膜距離とから、前記任意の３次元空間位置に発生する眼電位理論値を算出するための関数であってもよい。
【００３８】
ここで、「任意の３次元空間位置」とは、生体表面または内部などである。この構成では、主に生体皮膚に貼り付けた電極に発生する眼電位の理論値を求めることが目的であるが、これに限らない。
【００３９】
この視線検出装置では、「他眼が及ぼすクロストークの影響」の具体的なモデルとして、任意の３次元空間位置に発生する眼電位の理論値を、両眼の角膜または網膜からの距離に応じた関数により、高精度を計算するモデルである。また、クロストーク量が多い領域（両眼の中心付近など）であっても高精度に眼電位を計算できるので、めがねの鼻パッド部を電極にしてもよく、電極貼付位置の自由度を高くすることができる。また、この構成によると、注視点の３次元座標を検出することができ、測距も可能となり、様々な応用が期待される。
【００４０】
また、前眼非線形関数は、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離のそれぞれに対して個別に設定可能である所定係数を含んでも良い。
【００４１】
この視線検出装置では、「眼球周辺組織等の影響の考慮」の具体的なモデルとして、骨、筋肉、細胞などの素子の影響を、頭部内を不均一な誘電率空間とみなし、右眼角膜距離、右眼網膜距離、左眼角膜距離、左眼網膜距離に対する各所定係数を個別に設定可能とすることでモデル化する。これにより、高精度に眼電位を算出することができる。
【００４２】
ここで「所定係数」とは、電荷量、誘電率、電流密度、導電率などに相当する値である。
【００４３】
なお、誘電率空間の３次元分布は、頭部内モデルを小領域に分割し、３次元ルックアップテーブルで保持するなどしてもよい。
【００４４】
また、前記関数算出部は、視線方向ごとに前記複数の電極により観測される前記複数の観測電圧の各々を用いて、観測電圧が観測されていない視線方向の眼電位を補間することにより、前記非線形関数を算出してもよい。
【００４５】
これにより、眼電位変換関数を作成するための回路の回路規模または計算量を削減することができる。
【００４６】
また、前記視線検出部は、時刻ｔにおいて、Ｎ個の観測電圧をｖi（ｔ）（ｉ＝１，…，Ｎ）、各前記観測電圧に含まれるドリフトノイズの推定値であるドリフト推定値を
【数４】
、各前記観測電圧に対応する前記眼電位変換関数をｅｏｇi（）、前記ユーザの視線位置をθ（ｔ）とするとき、
【数５】
が最小となる前記ユーザの視線位置θ（ｔ）の推定値である視線推定値
【数６】
を推定し、前記ドリフト推定部は、前記視線検出部による前記視線推定値の推定時の残差を
【数７】
とするとき、前記ドリフト推定値を、
【数８】
により推定してもよい。
【００４７】
この構成によると、ドリフト推定値をフィードバック制御により除去し続けることにより、観測電圧を眼電位部分空間内に抑制する。これにより、ドリフトを除去することができる。
【００４８】
また、前記ドリフト推定部は、さらに、前記残差にローパスフィルタ処理を施し、前記ローパスフィルタ処理を施した後の残差から前記ドリフト推定値を推定してもよい。
【００４９】
残差には高周波ノイズが含まれる場合があり、これを観測電圧へフィードバックすると精度劣化する。このため、ローパスフィルタにより、残差から高周波ノイズを除去することで、さらに高精度にドリフトノイズを除去することができる。
【００５０】
また、前記ドリフト推定部は、前記視線推定値が前記所定の範囲の境界を超えた場合には、前記ローパスフィルタ処理のカットオフ周波数を上げてもよい。
【００５１】
すなわち、観測電圧が眼電位レンジ未満の場合（視線推定値が所定の範囲内の場合）は、眼電図自体のキャリブレーション誤差を考慮し、補正速度を弱めるため、例えば、カットオフ周波数ｆｃをｆｃ＝１Ｈｚとし、眼電位レンジ以上の場合（視線推定値が所定の範囲の境界を超えた場合）は、ｆｃ＝５Ｈｚなどとすることで、補正応答性を高めることができる。
【００５２】
また、上述の視線検出装置は、さらに、前記観測電圧から、眼球の急速な運動であるサッケード運動の発生を検出するサッケード検出部を備え、前記ドリフト推定部は、前記サッケード検出部によりサッケード運動の発生が検出された場合に、前記ローパスフィルタ処理のカットオフ周波数を下げてもよい。
【００５３】
単なるローパスフィルタでは、高周波ノイズのみでなく、高周波眼球運動（サッケード運動＝跳躍眼球運動）が生じた場合でもローパスフィルタがかかり、ドリフト補正応答性が損なわれる。そこで、サッケード運動時はカットオフ周波数を下げることによりローパスフィルタを適応的に弱めるとよい。
【００５４】
また、前記サッケード検出部は、前記各観測電圧を所定の時間遅延させて遅延信号を出力する遅延信号生成部と、前記各観測電圧から前記遅延信号を減算して得られる出力信号を生成する減算部とを有し、前記出力信号のうちの予め定めた閾値を上回る信号をサッケード運動を示すサッケード信号と判定し、前記所定の遅延時間は、ユーザの１回の固視時間より短くても良い。
【００５５】
本発明の他の局面に係る視線検出方法は、眼電位からユーザの視線方向を検出する視線検出方法であって、複数の電極により観測される生体に発生する眼電位である複数の観測電圧のそれぞれのうち、前記複数の電極において理論上観測される眼電位の組の集合である眼電位部分空間外の成分に基づいて、前記観測電圧の組に含まれるドリフトノイズを推定するドリフト推定ステップと、前記観測電圧から前記ドリフト推定ステップにおいて推定された前記ドリフトノイズを除去した信号に基づいて、前記ユーザの視線方向を検出する視線検出ステップとを含む。
【００５６】
本発明のさらに他の局面に係る眼電位計測装置は、ユーザの眼電位を計測する眼電位計測装置であって、複数の電極により観測される生体に発生する眼電位である複数の観測電圧のそれぞれのうち、前記複数の電極において理論上観測される眼電位の組の集合である眼電位部分空間外の成分に基づいて、前記観測電圧の組に含まれるドリフトノイズを推定するドリフト推定部と、前記観測電圧から前記ドリフト推定部が推定した前記ドリフトノイズを減算する減算器とを備える。
【００５７】
本発明のさらに他の局面に係るウェアラブルカメラは、ユーザの視線方向の映像を撮像するウェアラブルカメラであって、撮像部と、上述の視線検出装置と、前記視線検出装置によって検出された視線方向を前記撮像部に撮像させる撮像制御部とを備える。
【００５８】
本発明のさらに他の局面に係るヘッドマウントディスプレイは、ユーザの視線方向にマウスを移動させるヘッドマウントディスプレイであって、画像およびマウスを表示する表示部と、上述の視線検出装置と、前記視線検出装置によって検出された視線方向に表示部に表示されているマウスを移動させる表示制御部とを備える。
【００５９】
本発明のさらに他の局面に係る電子めがねは、ユーザの視線位置に合わせてレンズの焦点を変化させる電子めがねであって、焦点を変化させることができるレンズと、上述の視線検出装置と、前記視線検出装置によって検出された視線位置に合わせて前記レンズの焦点を変化させる焦点制御部とを備える。
【００６０】
本発明のさらに他の局面に係る眼科診断装置は、ユーザの網膜状態を診断する眼科診断装置であって、上述の視線検出装置と、観測電圧からドリフト推定部が推定したドリフトノイズを除去した信号に基づいて、ユーザの網膜異常を検出する診断部とを備える。
【００６１】
本発明のさらに他の局面に係るプログラムは、眼電位からユーザの視線方向を検出するプログラムであって、複数の電極により観測される生体に発生する眼電位である複数の観測電圧のそれぞれのうち、前記複数の電極において理論上観測される眼電位の組の集合である眼電位部分空間外の成分に基づいて、前記観測電圧の組に含まれるドリフトノイズを推定するドリフト推定ステップと、前記観測電圧から前記ドリフト推定ステップにおいて推定された前記ドリフトノイズを除去した信号に基づいて、前記ユーザの視線方向を検出する視線検出ステップとをコンピュータに実行させる。
【発明の効果】
【００６２】
本発明の視線検出装置によれば、高精度にドリフトを推定することで、ユーザの視線方向を高精度に推定することができる。
【図面の簡単な説明】
【００６３】
【図１】図１は、観測電圧波形例のグラフである。
【図２】図２は、本発明の実施の形態１における眼電位モデルの模式図である。
【図３】図３は、本発明の実施の形態１における各パラメータの説明図である。
【図４】図４は、本発明の実施の形態１におけるキャリブレーション方法の説明図である。
【図５】図５は、本発明の実施の形態１のメガネ型構成における電極配置例の模式図である。
【図６】図６は、本発明の実施の形態１の耳かけ型構成における電極配置例の模式図である。
【図７】図７は、本発明の実施の形態１におけるドリフト補正方法の概念図である。
【図８】図８は、本発明の実施の形態１における視線検出装置１のブロック図である。
【図９】図９は、本発明の実施の形態１における眼球稼動域の１例を示す図である。
【図１０】図１０は、本発明の実施の形態１におけるドリフト補正後の波形例のグラフである。
【図１１】図１１は、本発明の実施の形態１に係るサッケード検出部のブロック図である。
【図１２】図１２は、サッケード信号を含む眼電位信号の一例を示す図である。
【図１３】図１３は、遅延信号生成部の遅延時間を０．２５秒としたときのサッケード検出信号を示す図である。
【図１４】図１４は、遅延信号生成部の遅延時間を１．１秒としたときのサッケード検出信号を示す図である。
【図１５】図１５は、まばたき信号を含む眼電位信号の一例を示す図である。
【図１６】図１６は、図１５の眼電位信号に最小値フィルタ処理を適用して得られた眼電位信号を示す図である。
【図１７】図１７は、図１５の眼電位信号に最大値フィルタ処理を適用して得られた眼電位信号を示す図である。
【図１８】図１８は、本発明の実施の形態２に係るサッケード検出部のブロック図である。
【図１９】図１９は、本発明の実施の形態２に係る合成信号生成部の動作を示すフローチャートである。
【図２０】図２０は、本発明の実施の形態３に係るウェアラブルカメラのブロック図である。
【図２１】図２１は、本発明の実施の形態３に係るウェアラブルカメラをユーザが装着した状態を示す図である。
【図２２】図２２は、本発明の実施の形態４に係るヘッドマウントディスプレイのブロック図である。
【図２３】図２３は、本発明の実施の形態４に係るヘッドマウントディスプレイをユーザが装着した状態を示す図である。
【図２４】図２４は、本発明の実施の形態４に係るヘッドマウントディスプレイの表示部に表示される画像の一例を示す図である。
【図２５】図２５は、本発明の実施の形態５に係る電子めがねのブロック図である。
【図２６】図２６は、本発明の実施の形態５に係る電子めがねをユーザが装着した状態を示す図である。
【図２７】図２７は、本発明の実施の形態６に係る眼科診断装置のブロック図である。
【図２８】図２８は、本発明に係る視線検出装置の必須の構成要素を示す図である。
【発明を実施するための形態】
【００６４】
以下、本発明の実施の形態における視線検出装置について、図面を参照しながら説明する。
【００６５】
（実施の形態１）
本発明の実施の形態１に係る視線検出装置について、図２〜図１７を用いて説明する。
【００６６】
＜モデル＞
時刻ｔにおける観測電圧ｖ（ｔ）を、視線位置θ（ｔ）、視線を眼電位に変換する眼電位変換関数ｅｏｇ（）、ノイズｅ（ｔ）（＝ドリフトβ（ｔ）＋正規分布ノイズｎ（ｔ））を用いて、以下の（式４）ようにモデル化する。ここで、正規分布ノイズｎ（ｔ）は、高周波ノイズ、視線推定誤差、ドリフト推定誤差などを含む。
【００６７】
【数９】
【００６８】
このうち、眼電位変換関数ｅｏｇ（）はキャリブレーションを行い、ドリフトβ（ｔ）として後述する推定方法により推定したドリフト推定値
【数１０】
を用い、正規分布ノイズｎ（ｔ）は正規分布における対数尤度関数である２乗誤差総和関数（電圧数Ｎ）を用いてモデル化する。すなわち、以下の（式５）により視線位置の推定値である視線推定値
【数１１】
を推定する。
【００６９】
【数１２】
【００７０】
ここで、時刻ｔにおけるＮ個の観測電圧をｖi（ｔ）（ｉ＝１，…，Ｎ）、各観測電圧に含まれるドリフトノイズの推定値であるドリフト推定値を
【数１３】
、各観測電圧に対応する眼電位変換関数をｅｏｇi（）とする。
【００７１】
なお、本実施の形態では、簡単のため、網膜への入射光量によるＥＯＧ振幅の時間変化がないと仮定し、眼電位変換関数ｅｏｇ（）はキャリブレーションを行うが、光量変動を考慮し、信号（観測電位の分散変動など）から推定、または、明るさセンサ（カメラ等）を別途設けるなどしてもよい。
【００７２】
また、最小２乗解を探索する方法は、非線形最適化手法（最急降下法、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法など）、全探索（θの探索範囲Θを設定し、所定の粒度で全探索）、非線形カルマンフィルタ、モンテカルロフィルタなど、何でもよい。また、厳密に「最小」でなくてもよく、近傍の値でもよい。
【００７３】
以下、眼電位変換関数ｅｏｇ（）のキャリブレーション方法、ドリフト推定方法、および、視線検出方法について説明する。
【００７４】
＜眼電位変換関数キャリブレーション＞
まず、眼電位変換関数ｅｏｇ（）のキャリブレーション方法について、図２〜図７を用いて説明する。本発明における電気生理学に基づいた眼電位モデルについて説明し、そのモデルパラメータの推定法を示し、キャリブレーションされた眼電位変換関数を示す。
【００７５】
なお、以下に示す眼電位変換関数のキャリブレーション方法は一例であり、この他、眼電位を線形近似する方法、非線形関数（２次以上の多項式関数など）を用いる方法、ニューラルネットにより眼電位と視線との関係を学習する方法、また、単に、キャリブレーションデータを補間または外挿する方法（線形補間、ニアレストネイバー法）など、さまざまな方法が考えられる。
【００７６】
＜１ 眼電位モデル＞
図２は、本発明の実施の形態１における眼電位モデルの模式図（目の位置での頭部断面図）である。眼電位モデルは、頭部内の骨、筋肉および細胞などの素子の影響を、不均一な誘電率空間１００５により表し、右眼角膜電荷１００１、右眼網膜電荷１００２、左眼角膜電荷１００３および左眼網膜電荷１００４により、電極１０００に生じる観測電位の理論値（眼電位理論値）を算出するモデルである。
【００７７】
この眼電位モデルによると、片眼のみでなく他眼からのクロストーク電位を含めて眼電位理論値を計算することができるので、高精度に眼電位理論値を算出することができる。また、クロストーク量が多く発生する電極位置（両眼中心付近）でも、高精度に発生電位を計算できるため、電極貼り付け位置が自由となり、用途に適した位置に電極を装着させることができる。さらに、頭部内の骨、筋肉および細胞などによる不均一な誘電率（または導電率）空間の影響を考慮しているため、より高精度に眼電位理論値を算出することができる。
【００７８】
以下、３次元視線位置θに対する、観測電位理論値ｖを求める処理を詳細に説明する。
【００７９】
図３に示すように、左眼および右眼のそれぞれの回転中心の中点（両眼中心点）を原点、ユーザに対して右方をｘ軸、上方をｙ軸、前方をｚ軸とする。さらに、両眼間隔をｂ、３次元視線位置（注視点）をθ＝（ｘ、ｙ、ｚ）、両眼の平行運動成分を（θx、θy）、両眼の輻輳運動成分をμ、右眼の水平・垂直視線角を（θrx、θry）、左眼の水平・垂直視線角を（θlx、θly）、注視点距離をＬとする。また、眼球の半径をａ、電極座標を（ｘe、ｙe、ｚe）とする。
【００８０】
ここで、両眼の平行運動成分（θx、θy）のθxは、正面を見ている状態から両眼がｘ軸方向にどれだけの角度動いたかを示し、θyは、正面を見ている状態から両眼がｙ軸方向にどれだけの角度動いたかを示す。つまり、図３に示すように、θxは、両眼中心点と注視点とを結ぶ直線をｘｙ平面（ｘ軸とｙ軸とがなす平面）に投影した投影線とｚ軸とがなす角度を示す。また、θyは、上記投影線と、両眼中心点と注視点とを結ぶ直線とがなす角度を示す。
【００８１】
両眼の輻輳運動成分μは、両眼が同時に内側を向いているときの両眼の視線がなす角度を規定する成分である。つまり、μは、図３に示すように、左眼回転中心点と注視点とを結ぶ直線と、右眼回転中心点と注視点とを結ぶ直線とがなす角度を示す。
【００８２】
右眼の水平・垂直視線角を（θrx、θry）の水平視線角θrxは、正面を見ている状態から右眼がｘ軸方向にどれだけの角度動いたかを示し、垂直視線角θryは、正面を見ている状態から右眼がｙ軸方向にどれだけの角度動いたかを示す。つまり、図３に示すように、水平視線角θrxは、右眼回転中心点と注視点とを結ぶ直線をｘｙ平面に投影した投影線とｚ軸とがなす角度を示す。また、θryは、上記投影線と、右眼回転中心点と注視点とを結ぶ直線とがなす角度を示す。
【００８３】
左眼の水平・垂直視線角を（θlx、θly）の水平視線角θlxは、正面を見ている状態から左眼がｘ軸方向にどれだけの角度動いたかを示し、垂直視線角θlyは、正面を見ている状態から左眼がｙ軸方向にどれだけの角度動いたかを示す。つまり、図３に示すように、水平視線角θlxは、左眼回転中心点と注視点とを結ぶ直線をｘｙ平面に投影した投影線とｚ軸とがなす角度を示す。また、θlyは、上記投影線と、左眼回転中心点と注視点とを結ぶ直線とがなす角度を示す。
【００８４】
３次元視線位置θ＝（ｘ、ｙ、ｚ）の表現方法には様々な方法が存在するが、以下では、両眼の平行運動成分と３次元視線位置（注視点）のｚ座標を用いて、３次元視線位置をθ＝（θx、θy、ｚ）と表す。なお、この他、両眼の輻輳運動成分μを用いて、３次元視線位置をθ＝（θx、θy、μ）と表してもよい。なお、本実施の形態では両眼が同一の注視点を注視しているものとする。
【００８５】
まず、視線検出装置のモデル推定部（図示せず）は、両眼の水平・垂直視線角（θrx、θry、θlx、θly）を、以下の（式６）に従い算出する。
【００８６】
【数１４】
【００８７】
次に、モデル推定部は、電極から右眼角膜、右眼網膜、左眼角膜、左眼網膜までのそれぞれの距離である右眼角膜距離ｒ1、右眼網膜距離ｒ2、左眼角膜距離ｒ3、左眼網膜距離ｒ4を、以下の（式７）に従い算出する。
【００８８】
【数１５】
【００８９】
また、電極から、右眼角膜、右眼網膜、左眼角膜、左眼網膜までの誘電率をそれぞれε1、ε2、ε3、ε4とし、右眼角膜、右眼網膜、左眼角膜、左眼網膜の電荷量をそれぞれｑ1、ｑ2、ｑ3、ｑ4と定義する。このとき、モデル推定部は、その電極に生じる眼電位理論値
【数１６】
を、以下の（式８）に従い算出する。
【００９０】
【数１７】
【００９１】
なお、ここでは、無限遠を基準電位として眼電位理論値を計算したが、視線が図４に示す基準指標（θx＝θy＝０、ｚ＝所定値）を見ているときの電位を基準電位とする方が扱いやすいため、このときの眼電位をオフセット電位として減じるのが好ましい。ただし、以下では説明を簡単にするためオフセット電位の記述は省略する。
【００９２】
ここで、さらに、電荷量および誘電率は、眼球運動によっては変化しない値であると仮定し、所定係数α1、α2、α3、α4を用いて、（式８）を（式９）のように簡略化する。
【００９３】
【数１８】
【００９４】
なお、ここでは説明の簡単のため、無限遠を基準電位（０Ｖ）としたが、視線が正面視（θx＝θy＝０）のときの眼電位を基準電位とするために、モデル推定部は、正面視のときのオフセット電位を計算し減じるとよい。
【００９５】
（式８）または（式９）は、右眼角膜距離および右眼網膜距離と、左眼角膜距離および左眼網膜距離とから、任意の３次元空間位置に発生する眼電位理論値を算出するための関数である。この「任意の３次元空間位置」とは、生体表面または内部などである。
【００９６】
＜２ モデルパラメータ推定＞
次に、前記眼電位モデルの未知パラメータ（モデルパラメータ）である、眼球半径ａ、両眼間隔ｂ、電極座標（ｘe、ｙe、ｚe）、所定係数α1、α2、α3、α4のキャリブレーションについて説明する。なお、以下では、眼球半径ａおよび両眼間隔ｂは、人間の平均値であるａ＝１２ｍｍおよびｂ＝６５ｍｍとし、モデル推定部は、電極座標（ｘe、ｙe、ｚe）、所定係数α1、α2、α3、α4のみを推定する。
【００９７】
＜２−１ キャリブレーションデータ取得＞
まず、モデル推定部は、キャリブレーション用データ（学習データ）を取得する。図４を用いて、キャリブレーションデータ取得方法について説明する。
【００９８】
（事前準備）
ユーザは、両眼の中心３００１を、モニタ３０００の中心位置３００２に合わせ着席し、モニタ３０００との間に設置した基準指標３００３（ｚ軸上）を注視する。基準指標３００３は、ユーザの親指を目の前に立てて代用するなど、なんでもよいが、動かないものが好ましい。
【００９９】
（データ取得）
（１） モニタ３０００上に較正指標３００４（視線位置θ）が提示されたら、ユーザは較正指標３００４をサッケード運動（跳躍眼球運動）により注視する。このとき、モデル推定部は、サッケード運動による観測電圧変化量Δｖ（ユーザが基準指標３００３を注視している時と較正指標３００４を注視している時の電極における観測電圧の変化量）を検出し、キャリブレーションデータペア（θ、Δｖ）を記録する。サッケード運動による観測電圧変化量Δｖについては後述する。
【０１００】
（２） 較正指標３００４が消えたら、ユーザは、基準指標３００３を再度注視する。
【０１０１】
（３） （１）（２）を較正指標３００４の１〜１５番（３行５列、水平２５°間隔、垂直１５°間隔で配置）まで繰り返す。
【０１０２】
（４） さらに、モニタ３０００の位置を移動、またはユーザ３００５の位置を移動させるなどして、モデル推定部は、複数のｚ位置（例えば、ｚ＝２０ｃｍ、５０ｃｍ、ｚ＝１００ｃｍ、…）においてキャリブレーションデータを取得する。
【０１０３】
これにより、ｚ方向（奥行き方向）を含めた、複数の（θ、Δｖ）のデータペア（学習データ、キャリブレーションデータ）が得られる。また、サッケード運動（高速）を用いてキャリブレーションデータを取得するので、キャリブレーションデータにドリフトノイズ（低周波ノイズ）が混入するのを防ぐことができ、高精度なキャリブレーションが可能となる。
【０１０４】
＜２−２ モデルパラメータ推定＞
次に、モデル推定部は、取得したキャリブレーションデータに基づいて、モデルパラメータ推定を行う。つまり、モデル推定部は、各電極ｉ（ｉ＝１，…，Ｎ）に対するＭ個のキャリブレーションデータ（θj，Δｖi,j）（ｊ＝１，…，Ｍ）に対応する眼電位理論値
【数１９】
を、眼電位モデル（式９）に従って算出する。モデル推定部は、以下の（式１０）に示される、算出した眼電位理論値
【数２０】
と実測された眼電位Δｖi,jとの２乗誤差総和（コスト関数Ｊ）が最小となるモデルパラメータを算出する。
【０１０５】
【数２１】
【０１０６】
この時、モデル推定部は、眼電位モデル（式９）のうち、（１）非線形項（距離ｒ1、ｒ2、ｒ3、ｒ4の各逆数項）のパラメータである電極座標（ｘe，ｙe，ｚe）は探索により最適化し、（２）線形パラメータ（所定係数）α1、α2、α3、α4は最小２乗法を用いて数式により最適値を算出する。以下、これを詳細に説明する。
【０１０７】
（１）まず、モデル推定部は、電極座標（ｘe，ｙe，ｚe）の初期値を設定する。電極座標を探索しない場合は、事前に電極座標を厳密に計測しておく必要があるが、探索する場合は、目視でおおよその座標を初期値として与えておく。
【０１０８】
（２）次に、モデル推定部は、設定された電極座標における、所定係数α1、α2、α3、α4の最小２乗解を導出する。
【０１０９】
まず、Ｍ個のキャリブレーションデータに対応する眼電位の理論値
【数２２】
を、以下の（式１１）で行列表現する。
【０１１０】
【数２３】
【０１１１】
ここでｒj,1、ｒj,2、ｒj,3およびｒj,4は、それぞれ、ｊ番目のキャリブレーションデータ測定時の右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離である。電極座標、およびその他行列Ａに関する全パラメータが設定されているため、行列Ａは定数行列となる。
【０１１２】
これを、各電極ｉ（ｉ＝１，…，Ｎ）に対して用意する。すなわち、すべての眼電位理論値を以下の（式１２）で表すものとする。
【０１１３】
【数２４】
【０１１４】
ここで、各電極の電位は、基準電極（リファレンス電極またはグラウンド電極）に対する電位である。このため、モデル推定部は、以下の（式１３）で示される、基準電極Ｒの眼電位理論値も同様に算出する。
【０１１５】
【数２５】
【０１１６】
これにより、モデル推定部は、各電極に生じる、基準電極に対する電位
【数２６】
を、以下の（式１４）に従い算出し、以下の（式１５）で示すコスト関数Ｊが最小になるαi（ｉ＝１，…，Ｎ），αRを求める。
【０１１７】
【数２７】
【０１１８】
【数２８】
【０１１９】
つまり、以下の（式１６）を解いて、解を行列表現すると、以下の（式１７）に示される正規方程式が得られる。
【０１２０】
【数２９】
【０１２１】
【数３０】
【０１２２】
この正規方程式を解くと、以下の（式１８）が得られる。
【０１２３】
【数３１】
【０１２４】
つまり、モデル推定部は、（式１８）に従って所定係数αRおよびαiを計算することにより、コスト関数Ｊ（式１５）の最小２乗解を得ることができる。なお、正規方程式を直接解く方法以外にも、ハウスホルダーＱＲ分解法などを用いて、コスト関数Ｊ（式１１）の最小２乗解を計算してもよい。
【０１２５】
モデル推定部は、以上説明した（１）および（２）の処理を、コスト関数Ｊ（式１１）が所定の誤差範囲内に収まるまで繰り返すことにより、電極座標（ｘe，ｙe，ｚe）を非線形最適化手法（最急降下法、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法など）により探索する。また、モデル推定部は、電極探索範囲を設定し、所定の粒度で電極座標を全検索してもよい。例えば、電極がずれる範囲は最大でも５ｃｍ以下であることが多いため、初期値（電極目測位置）に対して、ｘ、ｙ、ｚ方向にそれぞれ±５ｃｍを探索範囲とし、５ｍｍ間隔で電極座標を探索すればよい。
【０１２６】
以上、本モデルパラメータ推定法では、非線形項パラメータ（電極座標）は探索により最適化し、線形パラメータ（所定係数）は数式により最適値を算出する。このため、高精度かつ高速に最適なモデルパラメータを推定することができる。また、通常、眼電位は、耳の前、耳の裏、耳の穴の中まで発生するが、本方式では、基準電極（リファレンス電極またはグラウンド電極）へ生じる眼電位も考慮することで、高精度な推定が可能であり、また、基準電極の貼付位置も自由となる利点を有している。
【０１２７】
なお、基準電極を、眼電位が発生しない位置（耳たぶ等）に装着させれば、上述の最小２乗解の計算式はより単純になり、計算量・回路規模を削減することができる。また、所定係数α1、α2、α3、α4を、全て同一の値とみなせば、モデル精度は低下するが、より簡単な計算で高速に最適値を求められる。
【０１２８】
なお、複数の電極を貼り付る場合、ｚ方向に離して貼り付けるとよい。これにより、輻輳運動に対する振幅を大きくすることができ、ｚ方向の認識精度が向上する。図５に示すように、めがね４００１に電極４００２を組み込む場合は、鼻パッドの位置４００３、および、フレームが耳に接触する位置４００４に電極を内蔵させるのが好ましい。また、図６に示すように、耳かけ部材に電極を組み込む場合は、耳の前方部および耳後方部に電極４００５および４００６を配置すると良い。
【０１２９】
＜３ 眼電位変換関数生成＞
モデル推定部は、以上により推定されたモデルパラメータ（電極座標および所定係数）を用いて、３次元視線位置θに対する眼電位変換関数を次式により求める。
【０１３０】
【数３２】
【０１３１】
なお、上記眼電位変換関数は非線形関数であるので、ルックアップテーブル（ＬＵＴ）により保持してもよく、計算量または回路規模を削減できる。
【０１３２】
以上、本発明の実施の形態１における視線検出装置１では、両眼のクロストーク量、眼球周辺組織等の影響を計算に入れた眼電位モデルにより、眼電位変換関数を高精度にキャリブレーションすることができる。
【０１３３】
＜ドリフト推定方法および視線推定方法＞
次に、本実施の形態におけるドリフト推定方法および視線検出方法を、図７〜図１０を用いて説明する。
【０１３４】
本実施の形態では、眼電位の空間分布特性とドリフトの空間分布特性の違い、および、眼電位の振幅制約条件を利用してドリフトを推定する。具体的には、複数の電極により観測される多次元電圧空間において、視線位置θの存在空間Θ（例えば、−５０°≦θx≦５０°、−５０°≦θy≦３０°、ｚ≧１０ｃｍ）に対する眼電位変換関数により写像された眼電位部分空間（以下、「眼電図」ともいう。）以外の成分は全てドリフトであると確定できる。つまり、視線位置θの存在空間Θ内に視線位置θが存在する場合の眼電位を越える部分の眼電位成分についてはドリフト成分と判断することができる。ここで、「眼電位部分空間」は、事前にキャリブレーションしてもよいし、動的に推定してもよい。
【０１３５】
図７に、電極を３つ（基準電極除く）とし、視線は水平および垂直のみの２次元であると仮定した場合のドリフト補正方法の概念図を示す。３次元電圧空間において、眼電位の存在空間である眼電図外の成分として、（１）眼電位レンジ（数１００ｕＶ）を越える成分７０１、（２）眼電図に直交する成分７０２（眼電図の各点に対して法線方向の成分）をドリフト成分とし、これを観測電圧から除去する。一言で言えば、観測電圧から、眼電図との残差を、除去しつづけることでドリフトを除去する。
【０１３６】
図７は、眼電位空間を示しており、電極の個数がｎの場合、眼電位空間はｎ次元空間となる。眼電位空間の各軸は各電極がとり得る電圧値に対応し、視線位置θの存在空間Θ内のすべての視線位置θについて、とり得る眼電位をプロットすることにより眼電位部分空間が得られる。つまり、眼電位部分空間は眼電位または眼電位ベクトル（原点から眼電位までのベクトル）の存在空間である。
【０１３７】
以下、図８および図９を用いて、これを詳細に説明する。
【０１３８】
図８は、本発明の実施の形態１における視線検出装置１のブロック図である。
【０１３９】
視線検出装置１は、視線検出部１０と、ドリフト推定部２０と、関数算出部２３と、サッケード検出部２４とを含む。
【０１４０】
ドリフト推定部２０は、複数の電極により観測される生体に発生する眼電位である複数の観測電圧のそれぞれのうち、前記複数の電極において理論上観測される眼電位の組の集合である眼電位部分空間外の成分に基づいて、前記観測電圧の組に含まれるドリフトノイズを推定する。
【０１４１】
前記眼電位部分空間は、所定の範囲内における前記ユーザの視線方向（視線位置）を示す視線ベクトル空間内の点を、所定の眼電位変換関数により写像することにより得られる。
【０１４２】
視線検出部１０は、前記複数の観測電圧からドリフト推定部２０が推定した前記ドリフトノイズを除去した信号に基づいて、前記ユーザの視線方向（視線位置）を検出する。
【０１４３】
関数算出部２３は、視線方向ごとに前記複数の電極の各々により観測される観測電圧から前記眼電位変換関数を算出する。
【０１４４】
サッケード検出部２４は、眼球の急速な運動であるサッケード運動の発生を検出する。
【０１４５】
視線検出部１０は、減算器１１と、θ探索部１２とを含む。
【０１４６】
減算器１１は、前記観測電圧からドリフト推定部２０が推定した前記ドリフトノイズを減じることによりドリフトノイズを除去する。
【０１４７】
θ探索部１２は、観測電圧からドリフトノイズを除去した信号に基づいて、ユーザの視線方向を検出する。
【０１４８】
ドリフト推定部２０は、積分器２１と、ローパスフィルタ（ＬＰＦ）２２とを含む。
【０１４９】
ローパスフィルタ２２は、θ探索部１２による視線方向の検出時に発生する残差に対してローパスフィルタ処理を行なう。
【０１５０】
積分器２１は、ローパスフィルタ２１通過後の残差を積分する。
【０１５１】
生体から複数の電極により観測された観測電圧ｖが視線検出装置１へ入力される。減算器１１は、観測電圧ｖからドリフト推定部２０から出力されたドリフト推定値
【数３３】
を減じる。θ探索部１２は、関数算出部２３が算出した眼電位変換関数または眼電位変換関数に基づき作成されたルックアップテーブルに基づいて、（式５）を満たす視線推定値
【数３４】
を推定する。この際、θ探索部１２は、観測電圧と視線推定値における理論電圧との残差
【数３５】
を出力する。ローパスフィルタ２２は、残差に対してローパスフィルタ処理を施す。積分器２１は、ローパスフィルタ２２を通過した値を積分する。視線検出部１０は、ローパスフィルタ２２を通過した値をドリフト推定値として視線検出部１０に出力する。視線検出部１０の減算器１１は、観測電圧ｖからドリフト推定値を減算する。ローパスフィルタ処理を施すのは、残差に含まれるドリフトノイズ以外の高周波ノイズを除去し、さらに高精度にドリフトノイズを推定するためである。つまり、（式４）における正規分布ノイズｎ（ｔ）を除去し、ドリフトβ（ｔ）のみを残すことができる。
【０１５２】
次に、この動作を示す。
【０１５３】
＜基本動作＞
モデルパラメータ推定部１２は、時刻ｔ＝０で、入力された観測電圧ｖi（０）と、眼電位変換関数により算出した理論電圧ｅｏｇ（θ（０））との２乗誤差総和が最小となる視線位置
【数３６】
を探索する。
【０１５４】
【数３７】
【０１５５】
ここで、視線
【数３８】
を探索する際、視線位置θの存在空間Θを、例えば、−５０°≦θx≦５０°、−５０°≦θy≦３０°、ｚ≧１０ｃｍなどと定義する。また、図９に示すように、視線存在空間（眼球可動限界）８１を、上下に非対称な楕円に制限する。これは、人間の目は上方には下方に比べて大きく動かせないことに基づいている。具体的には、θy≧０の領域では、長軸θx＝５０°、短軸θy＝３５°程度にする。また、θy＜０の領域では、半径５０°の円とする。このように、上方の範囲を制限することで、ドリフトノイズと眼電位との分離精度をより向上させることができる。
【０１５６】
また、このとき、各視線位置θ＝（θx、θy、ｚ）における理論電圧ｅｏｇ（θ（ｔ））は、予め、３次元ルックアップテーブルで保持しておくと回路規模削減または計算量削減できるので好ましい。なお、両眼の視線が１点で交わらない場合などを考慮し、視線位置を４次元（θrx、θry、θlx、θly）とし、４次元ルックアップテーブルを保持するようにしてもよい。
【０１５７】
なお、視線位置の検出方法は、２乗誤差を最小にする方法に限られるものではなく、その他の評価関数（高次統計量、エントロピーなど）を用いたもの、カルマンフィルタ・モンテカルロフィルタなど手法など、観測値と理論値の誤差を最小化するような方式であれば何でもよい。
【０１５８】
この際、ドリフト推定部２０は、残差
【数３９】
を記録しておく。なお、視線位置θの探索範囲Θが制限されているため、残差ベクトル
【数４０】
には、眼電図に対して直交する成分のみでなく、眼電位レンジ外の成分も含まれる。つまり、図７に示した（２）眼電図に直交する成分のみならず、（１）眼電位レンジ（数１００ｕＶ）を越える成分も含まれる。
【０１５９】
以降、ドリフト推定部２０は、時刻ｔにおいて、まず、ドリフト予測値
【数４１】
を、
【数４２】
により算出する。ここで、
【数４３】
とする。また、Δｔは、Ａ／Ｄのサンプリング時間、または、ダウンサンプルされたサンプリング時間を示す。
【０１６０】
次に、θ探索部１２は、観測電圧ｖi（ｔ）と、眼電位変換関数およびドリフト予測値により算出した理論電圧
【数４４】
との２乗誤差総和が最小となる視線
【数４５】
を探索する（探索範囲Θ）。
【０１６１】
【数４６】
【０１６２】
この際、ドリフト推定部２０は、残差
【数４７】
を記録しておく。
【０１６３】
以上により、眼電図外の電圧成分をフィードバックにより除去し続け、観測電圧を眼電図内に抑制することで、ドリフトを除去する。
【０１６４】
＜改良＞
上記基本構成において、残差には高周波ノイズが含まれる場合があり、これを観測電圧へフィードバックすると補正エラーが起こる場合がある。そのため、ローパスフィルタにより、残差から高周波ノイズを除去するのが好ましい。この処理は、ローパスフィルタ２２により行われる。
【０１６５】
【数４８】
【０１６６】
ここで、ＬＰＦ（）は、ローパスフィルタを示す。
【０１６７】
このとき、ドリフト成分の補正応答が早い方が好ましいため、フィルタ長が短いフィルタが好ましい。例えば、以下のような２タップＩＩＲ（Infinite Impulse Response：無限インパルス応答）フィルタを用いるとよい。なお、ｆｃはカットオフ周波数である。
【０１６８】
【数４９】
【０１６９】
ただし、単なるローパスフィルタでは、高周波ノイズのみでなく、高周波眼球運動（サッケード運動、跳躍眼球運動）が生じた場合でもローパスフィルタがかかり、ドリフト補正応答性が損なわれる。そこで、サッケード検出部２４がサッケード運動を検出した際には、ローパスフィルタ２２を適応的に弱めるとよい。つまり、ローパスフィルタ２２のカットオフ周波数を下げるとよい。なお、サッケード運動検出方法については、後述する。
【０１７０】
また、θ探索部１２による視線推定値が視線存在空間８１の境界を超えた場合（視線推定値が視線存在空間８１の外側にある場合）には、ローパスフィルタ２２のカットオフ周波数を上げてもよい。つまり、眼電位レンジを越えた場合とそうでない場合で、カットオフ周波数を変えてもよい。例えば、観測電圧が眼電位レンジ未満の場合は、眼電図自体のキャリブレーション誤差を考慮し、補正速度を弱めるため、ｆｃ＝１Ｈｚとし、眼電位レンジ以上の場合は、補正速度を強めるため、ｆｃ＝５Ｈｚなどとしてもよい。
【０１７１】
また、ローパスフィルタ処理前に、眼電図のキャリブレーション誤差を考慮し、振幅の小さい残差は無視するようにしてもよい（いわゆるコアリング処理）。
【０１７２】
以上、本発明の実施の形態１における視線検出装置１では、各電極位置での観測電圧から、眼電図外の電圧成分（ドリフト成分）を除去することで、図１０に示す補正後の観測電圧の波形例（電極３つの場合の例）のように、高振幅なドリフトノイズを大幅に抑制（１／１００以下）することができる。このため、視線検出装置１は、高精度に視線を検出することができる。
【０１７３】
なお、３次元視線ベクトルθ＝（θx、θy、ｚ）から、図３に示した各パラメータを次式により計算できる。
【０１７４】
【数５０】
【０１７５】
この関係を用いて、たとえば、注視点距離Ｌを検出することにより、視線検出方法を、距離に応じた処理を実行するアプリケーションに適用することができる。
【０１７６】
なお、モデルパラメータ推定のための眼電位測定時には、眼球を円周状に回転運動させることを２回行うようにしても良い。つまり、眼電位部分空間の境界における電位は、視線存在空間の境界における電位に相当する。このため、ユーザが眼球を円周状に、限界まで大きく一回転させたときの眼電位から眼電位部分空間を作成することができる。また、同一の点における１回目の測定電圧と２回目の測定電圧とを記録し、これらの間の電圧を補間することで、２回の測定の間に発生するドリフトを推定し、いずれかの観測電圧からドリフトを除去することにより、ドリフトの影響を受けることなく、高精度に眼電位の測定を行うことができる。なお、「円周状」は、厳密な円である必要はなく、ユーザにより異なる曲線である。また、完全に「同一の点」である必要はなく、多少異なっていても良い。
【０１７７】
また、非線形の眼電位変換関数は、眼電位モデルによらずに作成するようにしてもよい。つまり、測定したキャリブレーション用データの視線位置および観測電圧を用いて、観測されていない視線位置における観測電圧を補間により求めるようにしてもよい。これにより、眼電位変換関数を作成するための回路の回路規模または計算量を削減することができる。
【０１７８】
なお、電極貼り付け位置によるが、線形モデルでは、視線角が大きいほど、眼電位変換関数の誤差が大きくなるため（５〜１０°程度）、これによりドリフト推定精度（ドリフトノイズ推定精度）および視線方向推定精度が劣化する。特に、図８に示したようなフィードバック構成では、線形近似誤差がドリフト推定誤差として蓄積される。しかし、非線形モデルを用いることにより、眼電位の非線形性を考慮した高精度な眼電位変換関数により、高精度な眼電位計測および視線検出が可能となる。
【０１７９】
前述した、サッケード信号検出方法について説明する。なお、以下では、観測電圧を、眼電位原信号と呼ぶ場合がある。
【０１８０】
サッケード検出部２４のブロック図を図１１に示す。
【０１８１】
サッケード検出部２４は、遅延信号生成部５０１と、減算部２０３とで構成される。遅延信号生成部５０１は、眼電位原信号を所定の時間遅延させて遅延信号を出力する。また、サッケード検出部２４に入力する眼電位原信号は、２つに分岐する。そして、一方は遅延信号生成部５０１を通過して遅延信号として減算部２０３に入力し、他方は減算部２０３に直接入力する。そして、減算部２０３は、眼電位原信号から遅延信号を減算してサッケード信号を出力する。この遅延信号生成部５０１を備えることによって、正負の符号付のサッケード信号を簡易に取得できる。
【０１８２】
図１１に示される遅延信号生成部５０１の処理について説明する。遅延信号生成部５０１は、眼電位原信号ｆ（ｘ）に対し、以下の処理を適用する。
【０１８３】
ｆｄｅｌａｙ（ｘ）＝ｆ（ｘ−ｔ）
【０１８４】
ここで、ｆｄｅｌａｙ（ｘ）は遅延処理後の眼電位原信号（遅延信号）、ｔは遅延時間である。上記遅延処理を、図１２に示される眼電位原信号に適用することによって遅延信号が得られる。そして、減算部２０３によって、眼電位原信号から遅延信号を減算した例を図１３に示す。なお、眼電位原信号から符号付のサッケード成分を検出するために、遅延時間ｔ＝０．２５秒としている。図１３を参照すれば、サッケードの発生した時間帯を含む符号付のサッケード信号が得られていることがわかる。
【０１８５】
このサッケード検出部２４は、図１３に示されるような減算部２０３からの出力信号に基づいてサッケード検出信号及び眼電位変化量を生成し、ローパスフィルタ２２に出力する。例えば、サッケード運動に要する時間に相当する時間内においてサンプル値の変化量が予め定めた閾値を上回った場合にサッケード運動が発生したと判定し、サッケード検出信号を出力する。また、このときのサンプル値の変化量を眼電位変化量として出力する。
【０１８６】
ここで、遅延時間ｔを一般的な１回の固視時間（０．３秒から０．４秒程度）より大きくすると、図１４に示されるように、サッケード信号が破綻する。図１４は、遅延時間ｔとして１．１秒を用いた例である。図１４のようにサッケード信号が破綻すると、サッケード信号を抽出できなくなるため、遅延信号生成部５０１の遅延時間ｔは、一般的な１回の固視時間より短くする必要がある。なお、実施の形態２では、０．２５秒の遅延時間を適用する例を示したが、一般的な１回の固視時間より短い遅延時間であれば、どのような値でも構わない。
【０１８７】
以上に示した構成によれば、眼電位原信号から遅延信号を生成し、眼電位原信号から遅延信号を減算して符号付のサッケード信号を検出するため、正負のサッケード信号を区別できる点において有効である。
【０１８８】
＜まばたき信号除去方法＞
次に、まばたきの影響を考慮したサッケード検出方法を説明する。
【０１８９】
ユーザがまばたきを行うと、図１５中の領域（ａ）に示すように、正の方向に急峻な電位（これが「まばたき信号」である）が発生する場合がある。このため、上記方法のみでは、サッケード信号のみを抽出できず、較正精度が劣化する場合がある。
【０１９０】
そこで、まず、最小値フィルタを適用することで、図１６に示すように、まばたき信号が除去される。しかしながら、これだけでは、サッケード運動による電圧変化（サッケード成分）部が変形してしまう。そこで、さらに最大値フィルタを適用することで、図１７に示すようにサッケード成分を復元する。
【０１９１】
なお、電極貼り付け位置によっては、まばたき信号の符号が負になる場合がある。負の場合には、最大値フィルタおよび最小値フィルタの適用順序を逆にすればよい。
【０１９２】
また、最小値フィルタおよび最大値フィルタのフィルタ長を、一般的な１回のまばたきの時間（０．１５秒から０．２秒程度）より長く、かつ、１回の固視時間（０．３秒から０．４秒程度）より短い値とするとよい。
【０１９３】
また、まばたき信号の除去だけを目的とする場合には、最小値フィルタおよび最大値フィルタのどちらか一方のみを適用してもよい。
【０１９４】
以上により、まばたき信号を除去した信号を、眼電位原信号として、図１１に示されるサッケード検出部２４に入力する。これにより、まばたきの影響を受けずに、高精度にサッケード信号を検出することができる。このまばたき信号の除去は、視線検出装置１の外部に設けられた図示しないまばたき信号除去部により実行される。
【０１９５】
（実施の形態２）
次に、実施の形態２に係る視線検出装置について説明する。
【０１９６】
実施の形態２に係る視線検出装置は、図８に示した実施の形態１に係る視線検出装置１の構成と同様である。ただし、サッケード検出部の構成が異なる。以下、実施の形態２に係るサッケード検出部について説明する。
【０１９７】
実施の形態２に係るサッケード検出装置のブロック図を図１８に示す。このサッケード検出装置は、眼電位原信号を多チャンネルで計測する際のサッケード検出処理を行なう。このサッケード検出装置は、図８に示した実施の形態１に係る視線検出装置１のサッケード検出部２４の代わりに用いられる。
【０１９８】
実施の形態２に係るサッケード検出装置は、多チャンネルの眼電位原信号から合成信号を生成する合成信号生成部２００１と、サッケード検出部２０００とで構成される。
【０１９９】
合成信号生成部２００１は、例えば、入力された眼電位原信号ＥＯＧ０ｃｈ〜ＥＯＧＮｃｈのうち、眼球運動に対して眼電位が同位相で計測される計測チャンネルを用いて加算平均をとり、加算平均をした同位相同士を減算して差動増幅することで合成信号を生成することが考えられる。具体的な処理手順を図１９に示す。
【０２００】
まず、眼電位が同位相となる計測チャンネルのグルーピングを行う（Ｓ１０００１）。ここで、眼電位が同位相であるかどうかは、例えば、顔の右側、左側等の計測位置によって判断することができる。なお、計測位置だけではなく、計測された眼電位信号の特徴から動的に判別しても構わない。次に、グルーピングされた各グループの加算平均をそれぞれ計算する（Ｓ１０００２）。そして、加算平均した各グループの同位相信号をグループ間で減算することで差動増幅を行い（Ｓ１０００３）、合成信号として出力する（Ｓ１０００４）。
【０２０１】
サッケード検出部２０００は合成信号生成部２００１が生成した合成信号を用いてサッケード検出信号を生成する。サッケード検出信号の生成の仕方は実施の形態１のサッケード検出部２４と同様である。
【０２０２】
このサッケード検出部２０００は、サッケード検出信号および振幅情報を生成し、図８に示すローパスフィルタ２２に出力する。例えば、サッケード運動に要する時間に相当する時間内におけるサンプル値の変化量が予め定めた閾値を上回った場合にサッケード運動が発生したと判定し、サッケード検出信号を出力する。また、このときのサンプル値の変化量を振幅情報（眼電位変化量）として出力する。
【０２０３】
以上に示した実施の形態２の構成によれば、多チャンネルの眼電位原信号から、Ｓ／Ｎ比の高い合成信号を生成し、その合成信号を用いてサッケード信号を検出するため、サッケード検出の精度を向上できる点において有効である。
【０２０４】
（実施の形態３）
次に、図２０及び図２１を参照して、本発明の実施の形態３に係るウェアラブルカメラ１６００を説明する。このウェアラブルカメラ１６００は、例えば、ユーザの側頭部に装着され、ユーザの視線方向の映像を撮像する装置である。具体的には、ウェアラブルカメラ１６００は、撮像部１６０１と、撮像制御部１６０２と、視線検出装置１６０３とを備える。
【０２０５】
ウェアラブルカメラ１６００は、例えば、静止画を撮影するカメラであってもよいし、動画を撮影するビデオカメラであってもよい。視線検出装置１６０３には、例えば、実施の形態１または２に係る視線検出装置１を適用することができる。また、実施の形態３における眼電位計測部としての電極は、図２１に示されるように、ユーザの左眼のこめかみの上下に添付されている。
【０２０６】
そして、撮像制御部１６０２は、視線検出装置１６０３からの出力信号を監視し、ユーザの視線の移動に追従して撮像部１６０１の向きを変えさせる。これにより、撮像部１６０１にユーザの視線方向を撮像させることができる。
【０２０７】
ただし、実施の形態３に係るウェアラブルカメラ１６００は、上記の用途に限定されない。他の用途としては、撮像部１６０１で撮像された映像上に、視線検出装置１６０３で検出されたユーザの視線位置をプロットするような装置や、運転中のドライバーの視線を検出して危険喚起を行う等の装置に適用することもできる。
【０２０８】
（実施の形態４）
次に、図２２および図２３を参照して、本発明の実施の形態４に係るヘッドマウントディスプレイ１７００を説明する。このヘッドマウントディスプレイ１７００は、例えば、めがね形状を有しており、ユーザの眼前に画像を表示し、表示された画像上に示されているマウスをユーザの視線方向に移動させる装置である。具体的には、ヘッドマウントディスプレイ１７００は、表示部１７０１と、表示制御部１７０２と、視線検出装置１７０３とを備える。
【０２０９】
図２４に示すように、表示部１７０１には、各種画像が表示されており、その画像上にマウス１７０４が表示されているものとする。視線検出装置１７０３には、例えば、実施の形態１または２に係る視線検出装置１を適用することができる。
【０２１０】
そして、表示制御部１７０２は、視線検出装置１７０３からの出力信号を監視し、ユーザの視線の移動に追従して表示部１７０１に表示されているマウス１７０４を移動させる。これにより、例えば、処理実行部（図示せず）は、マウス１７０４が指し示すアイコン１７０５に対応付けられた処理（図２４の例では、映像再生処理）を実行することができる。
【０２１１】
（実施の形態５）
次に、図２５および図２６を参照して、本発明の実施の形態５に係る電子めがね１８００を説明する。この電子めがね１８００は、ユーザの視線位置に合わせてレンズの焦点を変化させることができるめがねである。具体的には、電子めがね１８００は、レンズ１８０１と、焦点制御部１８０２と、視線検出装置１８０３とを備える。
【０２１２】
レンズ１８０１は、ユーザの眼前に位置し、電子的に焦点を変化させることができるレンズである。
【０２１３】
視線検出装置１８０３には、例えば、実施の形態１または２に係る視線検出装置１を適用することができる。
【０２１４】
そして、焦点制御部１８０２は、視線検出装置１８０３からの出力信号を監視し、ユーザの視線の移動に追従してレンズ１８０１の焦点を変化させる。例えば、ユーザが書籍を読むなどのために近くを見ている場合には、焦点制御部１８０２は、近くに焦点が合うようにレンズ１８０１の焦点を制御する。また、ユーザが遠くの風景を見ている場合には、焦点制御部１８０２は、遠くに焦点が合うようにレンズ１８０１の焦点を制御する。
【０２１５】
なお、本実施の形態においては、ユーザの左眼および右眼は同一点を注視しているものとする。このため、視線検出装置１８０３は、眼電位から視線位置を検出することができる。
【０２１６】
（実施の形態６）
次に、図２７を参照して、本発明の実施の形態６に係る眼科診断装置１５００を説明する。この眼科診断装置１５００は、例えば、ユーザの眼の周辺に電極を貼付し、眼電位を計測することによって網膜常存電位の異常を診断する装置である。具体的には、眼科診断装置１５００は、眼電位計測装置１５１０と、診断部１５２０とを備える。眼電位計測装置１５１０は、ユーザの眼の周囲に貼付されて眼電位を測定し、眼電位原信号を出力する眼電位測定部１５１１と、眼電位原信号にノイズ低減処理を施すノイズ低減部１５１２とを備える。
【０２１７】
診断部１５２０は、例えば、明順応時の眼電位信号と暗順応時の眼電位信号との比であるＡｒｄｅｎ比を計算し、Ａｒｄｅｎ比の異常から網膜状態を診断することが考えられる。眼電位計測装置１５１０におけるノイズ低減部１５１２には、例えば、実施の形態１に係る視線検出装置１を適用することができる。つまり、減算器１１において観測電圧ｖからドリフト推定値
【数５１】
を減じた値を診断部１５２０に入力するようにしてもよい。
【０２１８】
ただし、実施の形態６に係る眼電位計測装置１５１０は、上記の用途に限定されない。他の用途としては、眼電位の変化量に応じてスイッチ切替を行う装置や、携帯電話、音楽プレーヤー等のモバイル端末のリモコン操作等にも適用することができる。
【０２１９】
なお、本実施の形態では、ユーザの眼の周辺に電極を貼付するとしたが、電極を耳周辺に貼付する方法や、皮膚に電極を接触する方法等でも構わない。
【０２２０】
（他の実施の形態）
上記実施の形態において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されてもよいし、一部または全部を含むように１チップ化されてもよい。なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０２２１】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
【０２２２】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
【０２２３】
また、上記実施の形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現してもよい。なお、上記実施の形態に係るウェアラブルカメラをハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施の形態においては、説明便宜のために、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
【０２２４】
上記実施の形態の各処理をソフトウェアにより実現する場合には、ＣＰＵ、ＲＡＭ等の一般的な構成を有するコンピュータ上でプログラムを実行することにより、各処理が実現される。このようなプログラムは、コンピュータ読み取り可能な非一時的な記録媒体に記録されていてもよい。
【０２２５】
図２８は、本発明に係る視線検出装置の必須の構成要素を示す図であり、本発明を視線検出装置として実現した場合には、視線検出装置は、視線検出部１０と、ドリフト推定部２０とを備える。
【０２２６】
なお、本発明を眼電位計測装置として構成することも可能であり、その場合には、眼電位計測装置は、少なくとも、ドリフト推定部２０と、減算器１１とを備えている。
【０２２７】
なお、上記実施の形態の各処理を含む視線検出方法として本発明を実現することもできる。この方法は、典型的には、コンピュータまたは各処理がハードウェアかされた集積回路により実行される。
【０２２８】
なお、本発明の具体的な構成は、前述の実施の形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【産業上の利用可能性】
【０２２９】
また、本発明の視線検出装置によれば、高精度に視線を検出することができるので、ウェアラブル機器（ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがね焦点制御）のインタフェースなど、様々な機器への応用が期待される。また、本発明の眼電位計測装置によれば、高精度に眼電位を測定することができるので、電気生理学分野における眼電位の解析などに応用できる。
【符号の説明】
【０２３０】
１ 視線検出装置
１０ 視線検出部
１１ 減算器
１２ θ探索部
２０ ドリフト推定部
２１ 積分器
８１ 視線存在空間
２０３ 減算部
５００ サッケード検出部
５０１ 遅延信号生成部
７０１ 眼電位レンジを越える成分
７０２ 眼電図に直交する成分
１００１ 右眼角膜電荷
１００２ 右眼網膜電荷
１００３ 左眼角膜電荷
１００４ 左眼網膜電荷
１００５ 不均一誘電率空間
３０００ モニタ
３００１ 両眼中心位置
３００２ モニタ中心位置
３００３ 基準指標
３００４ 較正指標
３００５ ユーザ
４００１ めがね
４００２、４００５、４００６ 電極
４００３ 鼻パッド位置
４００４ めがねフレーム・耳接触位置
【技術分野】
【０００１】
本発明は、視線検出装置、視線検出方法、眼電位計測装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがねおよび眼科診断装置に関する。
【背景技術】
【０００２】
従来、眼電位（ＥＯＧ、ＥｌｅｃｔｒｏＯｃｕｌｏＧｒａｐｈｙ）を用いた視線検出技術がよく知られている。これは、角膜の正電荷、網膜の負電荷により発生した電位（眼電位）を、目の周辺に貼り付けた複数の電極により測定することで、視線を検出する技術である。この技術は、カメラを用いて眼球を撮影する視線検出方式とは異なり、視野を妨げず、外光の影響も受けず、目の形状および開眼状態によらず、低消費電力であるなどの利点を有し、様々な機器への応用が期待される。
【０００３】
しかしながら、観測電圧には、図１に示す波形例（電極３つの例）のように眼電位（数１００ｕＶ，図１拡大部）に対して１００倍以上の低周波ノイズ（数１０ｍＶ）が混入し、眼電位の基線（ＤＣ）が変動（ドリフト）するため、ほぼ１分以内に眼電位レンジを超え視線検出不能となる。また、周波数帯域も眼電位と重複し周波数分離できない。
【０００４】
ドリフトを補正する従来方式として、主に以下の２つがある。
【０００５】
＜従来方式（１）：眼球の電池モデルを用いた視線推定＞
まず、眼球を電池とみなしたモデル（非特許文献１）を用いた視線検出方法（特許文献１、非特許文献２）がある。従来、視線とＥＯＧの関係が線形近似されていたが、視線角が大きいほど非線形になるため、視線検出精度が低かった。そこで、非特許文献１では、ＥＯＧの非線形モデルとして、眼球を角膜がプラス、網膜がマイナスを成す電池とみなし、眼球運動を、電池が回転するものとみなすモデル（電池モデル）を提案している。電極から、角膜中心点、網膜中心点までの距離をそれぞれｒ、ｒ’とし、眼球内部で網膜から角膜に向かって流れる電流をＩ、眼球周辺の導電率をσとするとき、電極に発生する電位ｖは、以下の（式１）により計算される。
【０００６】
【数１】
【０００７】
特許文献１および非特許文献２では、ドリフト原因を電流Ｉの時間変動であるとみなし、ＥＭアルゴリズムにより、観測電圧と、電池モデルにより求めた理論電圧との２乗誤差が最小となる電流Ｉおよび視線位置の同時推定を行う。
【０００８】
＜従来方式（２）：カルマンフィルタを用いた視線推定＞
その他の従来方式として、カルマンフィルタを用いた方式がある（非特許文献３および４）。１対の電極から計測されるＥＯＧ（ｔ）を、視線方向を表す２次元ベクトルｘ（ｔ）、視線方向からＥＯＧへの変換行列Ｚ、ＤＣオフセットとドリフトを含めたノイズ成分ｅ（ｔ）を用いて、以下の（式２Ａ）および（式２Ｂ）の通りモデル化する。
【０００９】
【数２】
【００１０】
また、視線の動きを、状態遷移行列Ｆ（ｔ）、状態推定誤差ｗ（ｔ）を用いて、以下の（式３）の通りモデル化し、予測する。
【００１１】
【数３】
【００１２】
これらの観測方程式および状態方程式を、カルマンフィルタにより解くことで、視線方向ｘ（ｔ）を推定する。
【００１３】
また、ドリフト量が電極毎に異なる問題、特定の電極で信号異常（電極はがれ、接触状態変化など）が発生する問題は、共にΔｅ（ｔ）の共分散行列を適切に与えれば対応可能であり、観測値から眼球運動に伴うＥＯＧ成分を差し引いた信号を雑音とみなし、これを用いてΔｅ（ｔ）の共分散行列を更新することで、頑健な視線推定を行う。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２００７−２５２８７９号公報
【非特許文献】
【００１５】
【非特許文献１】伊月、「眼球常存電位解析のための眼球の電池モデル」、日眼会誌９９巻９号ｐｐ．１０１２−１０１６、平成７年９月１０日
【非特許文献２】溝尾、指導教官：阪口、「多点眼電位に基づく眼球位置計測システム」、電気通信大学修士論文
【非特許文献３】真鍋、福本、「ヘッドフォンを用いた常時装用視線インタフェース」情報処理学会シンポジウム論文集、２００６年０３０２、巻：２００６ 号：４ 頁：２３−２４
【非特許文献４】Ｈ．Ｍａｎａｂｅ，Ｍ．Ｆｕｋｕｍｏｔｏ， “Ｆｕｌｌ−ｔｉｍｅ Ｗｅａｒａｂｌｅ Ｈｅａｄｐｈｏｎｅ−Ｔｙｐｅ Ｇａｚｅ Ｄｅｔｅｃｔｏｒ”， ＣＨＩ２００６， Ｗｏｒｋ−ｉｎ−Ｐｒｏｇｒｅｓｓ， ｐｐ．１０７３−１０７８．
【発明の概要】
【発明が解決しようとする課題】
【００１６】
しかしながら、前記従来方式（１）（電池モデル方式）では、ドリフトの原因を、（式１）における電流Ｉの変化によるＥＯＧの振幅変動とみなしていた。確かにＥＯＧには、目に入射する光量変化により、振幅が変動するという特性があるが（眼科では、ａｒｄｅｎ比（明環境・暗環境でのＥＯＧ振幅比）を検査項目の１つとしている）、ドリフト原因のうち支配的なものは、明暗変動がない環境でも生じる、生体変動、体動、電極接触安定性または電極における分極などによるＥＯＧの基線変動（ＤＣ変動）であり、前記従来方式（２）の（式２）におけるオフセット項ｅ（ｔ）の変動に相当する。つまり、前記従来方式（１）は、ＥＯＧの基線ｅ（ｔ）のドリフトは補正していない。
【００１７】
また、前記従来方式（２）（カルマンフィルタ方式）には詳細が記述されていないが、通常、カルマンフィルタは、ノイズにガウス性（正規分布）を仮定したものであり、特にノイズ分布の平均が変動しないことを前提としている。しかし、ドリフトは、（式３）のように微分したとしても、平均値が激しく変動するノイズであるため、これにより視線方向推定精度が大きく劣化する。つまり、視線の動きの予測のみでは不十分であり、ドリフト（特に平均値）の推定を行わなければ視線精度が大きく劣化する。また、視線と眼電位の関係を変換行列Ｚにより線形近似しているが、電極位置が眼球に近いほど非線形性が強くなるため、誤差が生じ精度低下する課題もある。
【００１８】
以上、前記従来の構成では、ドリフト補正精度が低いため、視線検出精度が低いという課題を有していた。本発明は、このような課題を解決するものであり、高精度にドリフトを推定することで、ユーザの視線方向を高精度に推定することができる視線検出装置を提供することを目的とする。
【課題を解決するための手段】
【００１９】
本発明のある局面に係る視線検出装置は、眼電位からユーザの視線方向を検出する視線検出装置であって、複数の電極により観測される生体に発生する眼電位である複数の観測電圧のそれぞれのうち、前記複数の電極において理論上観測される眼電位の組の集合である眼電位部分空間外の成分に基づいて、前記観測電圧の組に含まれるドリフトノイズを推定するドリフト推定部と、前記複数の観測電圧から前記ドリフト推定部が推定した前記ドリフトノイズを除去した信号に基づいて、前記ユーザの視線方向を検出する視線検出部とを備える。
【００２０】
ここで、「眼電位部分空間」は、事前にキャリブレーションしてもよいし、動的に推定してもよい。
【００２１】
この視線検出装置では、観測電圧のうち、ドリフト量であると確定できる眼電位部分空間外の成分を用いて、ドリフトを推定することで、高精度に眼電位を計測することができる。
【００２２】
好ましくは、前記眼電位部分空間は、所定の範囲内における前記ユーザの視線方向を示す視線ベクトル空間内の点を、所定の眼電位変換関数により写像することにより得られる。
【００２３】
ここで、「所定の範囲」とは、視線がとり得る値の範囲であり、例えば、水平視線角は±５０°以内、垂直視線角は−５０°以上３０°以下、輻輳角は２０°以下、などとすればよい。
【００２４】
また、「所定の眼電位変換関数」とは、視線方向（視線方向を示す視線ベクトル空間内の点）を眼電位に変換する関数であり、視線方向はキャリブレーションにより求めても良いし、動的に推定しても良い。なお、眼電位変換関数は、線形、非線形どちらでもよい。線形であれば行列表現することができる。
【００２５】
通常、眼電位は数１００ｕＶ程度であるが、ドリフトはその１００倍以上の、数１０ｍＶオーダーの振幅を持つ。眼球の稼動範囲（所定の範囲）を設定することで、ドリフトを１／１００以下（眼電位レンジ以下）に大幅に低減できる。
【００２６】
また、前記所定の範囲の境界線は、曲線であってもよい。
【００２７】
ここで、「曲線」とは、例えば楕円である。眼球の稼動範囲を曲線にすることで、ドリフトと眼電位の分離精度をより向上させることができる。
【００２８】
また、前記所定の範囲の境界線は、前記ユーザの水平視線方向に対して上下非対称な曲線であってもよい。
【００２９】
通常、人間の眼球は、下方に比べて上方の稼動範囲が狭い。このため、上方の範囲を制限することで、ドリフトと眼電位の分離精度をより向上させることができる。
【００３０】
また、前記所定の範囲は、前記ユーザが眼球を円周状に回転運動させた場合の前記ユーザの視線方向の範囲であってもよい。
【００３１】
例えば、眼球を円周状に、限界まで大きく一回転させる。これにより、簡易に、眼球稼動限界（ユーザの視線方向の範囲）を測定することができる。なお、「円周状」は、厳密な円である必要はなく、ユーザにより異なる曲線である。
【００３２】
また、上述の視線検出装置は、さらに、視線方向ごとに前記複数の電極の各々により観測される観測電圧から前記眼電位変換関数を算出する関数算出部を備え、前記関数算出部は、前記回転運動を２回行ったときの同一箇所における２回の観測電圧の差に基づいてドリフトノイズを推定し、前記２回の観測電圧のうち少なくともいずれか一方の観測電圧から推定した前記ドリフトノイズを除去した電圧から前記眼電位変換関数を算出してもよい。
【００３３】
例えば、眼球を円周状に一回転させる場合、始点の電圧と、終点の電圧を記録し、これらを補間することで、較正中のドリフトノイズを推定し、観測電圧から除去することで、ドリフトノイズの影響を受けずに、高精度に眼電位変換関数を算出することができる。
【００３４】
なお、完全に「同一箇所」である必要はなく、多少異なっていても良い。
【００３５】
また、前記眼電位変換関数は、非線形関数であってもよい。
【００３６】
電極貼り付け位置によるが、線形モデルでは、視線角が大きいほど、眼電位変換関数の誤差が大きくなるため（５〜１０°程度）、これによりドリフト推定精度（ドリフトノイズ推定精度）および視線方向推定精度が劣化する。特に、後述するフィードバック構成では、線形近似誤差がドリフト推定誤差として蓄積される。この構成では、眼電位の非線形性を考慮した高精度な眼電位変換関数により、高精度な眼電位計測および視線検出が可能となる。
【００３７】
また、前記非線形関数は、右眼角膜および右眼網膜のそれぞれから任意の３次元空間位置までの距離である右眼角膜距離および右眼網膜距離と、左眼角膜および左眼網膜のそれぞれから前記任意の３次元空間位置までの距離である左眼角膜距離および左眼網膜距離とから、前記任意の３次元空間位置に発生する眼電位理論値を算出するための関数であってもよい。
【００３８】
ここで、「任意の３次元空間位置」とは、生体表面または内部などである。この構成では、主に生体皮膚に貼り付けた電極に発生する眼電位の理論値を求めることが目的であるが、これに限らない。
【００３９】
この視線検出装置では、「他眼が及ぼすクロストークの影響」の具体的なモデルとして、任意の３次元空間位置に発生する眼電位の理論値を、両眼の角膜または網膜からの距離に応じた関数により、高精度を計算するモデルである。また、クロストーク量が多い領域（両眼の中心付近など）であっても高精度に眼電位を計算できるので、めがねの鼻パッド部を電極にしてもよく、電極貼付位置の自由度を高くすることができる。また、この構成によると、注視点の３次元座標を検出することができ、測距も可能となり、様々な応用が期待される。
【００４０】
また、前眼非線形関数は、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離のそれぞれに対して個別に設定可能である所定係数を含んでも良い。
【００４１】
この視線検出装置では、「眼球周辺組織等の影響の考慮」の具体的なモデルとして、骨、筋肉、細胞などの素子の影響を、頭部内を不均一な誘電率空間とみなし、右眼角膜距離、右眼網膜距離、左眼角膜距離、左眼網膜距離に対する各所定係数を個別に設定可能とすることでモデル化する。これにより、高精度に眼電位を算出することができる。
【００４２】
ここで「所定係数」とは、電荷量、誘電率、電流密度、導電率などに相当する値である。
【００４３】
なお、誘電率空間の３次元分布は、頭部内モデルを小領域に分割し、３次元ルックアップテーブルで保持するなどしてもよい。
【００４４】
また、前記関数算出部は、視線方向ごとに前記複数の電極により観測される前記複数の観測電圧の各々を用いて、観測電圧が観測されていない視線方向の眼電位を補間することにより、前記非線形関数を算出してもよい。
【００４５】
これにより、眼電位変換関数を作成するための回路の回路規模または計算量を削減することができる。
【００４６】
また、前記視線検出部は、時刻ｔにおいて、Ｎ個の観測電圧をｖi（ｔ）（ｉ＝１，…，Ｎ）、各前記観測電圧に含まれるドリフトノイズの推定値であるドリフト推定値を
【数４】
、各前記観測電圧に対応する前記眼電位変換関数をｅｏｇi（）、前記ユーザの視線位置をθ（ｔ）とするとき、
【数５】
が最小となる前記ユーザの視線位置θ（ｔ）の推定値である視線推定値
【数６】
を推定し、前記ドリフト推定部は、前記視線検出部による前記視線推定値の推定時の残差を
【数７】
とするとき、前記ドリフト推定値を、
【数８】
により推定してもよい。
【００４７】
この構成によると、ドリフト推定値をフィードバック制御により除去し続けることにより、観測電圧を眼電位部分空間内に抑制する。これにより、ドリフトを除去することができる。
【００４８】
また、前記ドリフト推定部は、さらに、前記残差にローパスフィルタ処理を施し、前記ローパスフィルタ処理を施した後の残差から前記ドリフト推定値を推定してもよい。
【００４９】
残差には高周波ノイズが含まれる場合があり、これを観測電圧へフィードバックすると精度劣化する。このため、ローパスフィルタにより、残差から高周波ノイズを除去することで、さらに高精度にドリフトノイズを除去することができる。
【００５０】
また、前記ドリフト推定部は、前記視線推定値が前記所定の範囲の境界を超えた場合には、前記ローパスフィルタ処理のカットオフ周波数を上げてもよい。
【００５１】
すなわち、観測電圧が眼電位レンジ未満の場合（視線推定値が所定の範囲内の場合）は、眼電図自体のキャリブレーション誤差を考慮し、補正速度を弱めるため、例えば、カットオフ周波数ｆｃをｆｃ＝１Ｈｚとし、眼電位レンジ以上の場合（視線推定値が所定の範囲の境界を超えた場合）は、ｆｃ＝５Ｈｚなどとすることで、補正応答性を高めることができる。
【００５２】
また、上述の視線検出装置は、さらに、前記観測電圧から、眼球の急速な運動であるサッケード運動の発生を検出するサッケード検出部を備え、前記ドリフト推定部は、前記サッケード検出部によりサッケード運動の発生が検出された場合に、前記ローパスフィルタ処理のカットオフ周波数を下げてもよい。
【００５３】
単なるローパスフィルタでは、高周波ノイズのみでなく、高周波眼球運動（サッケード運動＝跳躍眼球運動）が生じた場合でもローパスフィルタがかかり、ドリフト補正応答性が損なわれる。そこで、サッケード運動時はカットオフ周波数を下げることによりローパスフィルタを適応的に弱めるとよい。
【００５４】
また、前記サッケード検出部は、前記各観測電圧を所定の時間遅延させて遅延信号を出力する遅延信号生成部と、前記各観測電圧から前記遅延信号を減算して得られる出力信号を生成する減算部とを有し、前記出力信号のうちの予め定めた閾値を上回る信号をサッケード運動を示すサッケード信号と判定し、前記所定の遅延時間は、ユーザの１回の固視時間より短くても良い。
【００５５】
本発明の他の局面に係る視線検出方法は、眼電位からユーザの視線方向を検出する視線検出方法であって、複数の電極により観測される生体に発生する眼電位である複数の観測電圧のそれぞれのうち、前記複数の電極において理論上観測される眼電位の組の集合である眼電位部分空間外の成分に基づいて、前記観測電圧の組に含まれるドリフトノイズを推定するドリフト推定ステップと、前記観測電圧から前記ドリフト推定ステップにおいて推定された前記ドリフトノイズを除去した信号に基づいて、前記ユーザの視線方向を検出する視線検出ステップとを含む。
【００５６】
本発明のさらに他の局面に係る眼電位計測装置は、ユーザの眼電位を計測する眼電位計測装置であって、複数の電極により観測される生体に発生する眼電位である複数の観測電圧のそれぞれのうち、前記複数の電極において理論上観測される眼電位の組の集合である眼電位部分空間外の成分に基づいて、前記観測電圧の組に含まれるドリフトノイズを推定するドリフト推定部と、前記観測電圧から前記ドリフト推定部が推定した前記ドリフトノイズを減算する減算器とを備える。
【００５７】
本発明のさらに他の局面に係るウェアラブルカメラは、ユーザの視線方向の映像を撮像するウェアラブルカメラであって、撮像部と、上述の視線検出装置と、前記視線検出装置によって検出された視線方向を前記撮像部に撮像させる撮像制御部とを備える。
【００５８】
本発明のさらに他の局面に係るヘッドマウントディスプレイは、ユーザの視線方向にマウスを移動させるヘッドマウントディスプレイであって、画像およびマウスを表示する表示部と、上述の視線検出装置と、前記視線検出装置によって検出された視線方向に表示部に表示されているマウスを移動させる表示制御部とを備える。
【００５９】
本発明のさらに他の局面に係る電子めがねは、ユーザの視線位置に合わせてレンズの焦点を変化させる電子めがねであって、焦点を変化させることができるレンズと、上述の視線検出装置と、前記視線検出装置によって検出された視線位置に合わせて前記レンズの焦点を変化させる焦点制御部とを備える。
【００６０】
本発明のさらに他の局面に係る眼科診断装置は、ユーザの網膜状態を診断する眼科診断装置であって、上述の視線検出装置と、観測電圧からドリフト推定部が推定したドリフトノイズを除去した信号に基づいて、ユーザの網膜異常を検出する診断部とを備える。
【００６１】
本発明のさらに他の局面に係るプログラムは、眼電位からユーザの視線方向を検出するプログラムであって、複数の電極により観測される生体に発生する眼電位である複数の観測電圧のそれぞれのうち、前記複数の電極において理論上観測される眼電位の組の集合である眼電位部分空間外の成分に基づいて、前記観測電圧の組に含まれるドリフトノイズを推定するドリフト推定ステップと、前記観測電圧から前記ドリフト推定ステップにおいて推定された前記ドリフトノイズを除去した信号に基づいて、前記ユーザの視線方向を検出する視線検出ステップとをコンピュータに実行させる。
【発明の効果】
【００６２】
本発明の視線検出装置によれば、高精度にドリフトを推定することで、ユーザの視線方向を高精度に推定することができる。
【図面の簡単な説明】
【００６３】
【図１】図１は、観測電圧波形例のグラフである。
【図２】図２は、本発明の実施の形態１における眼電位モデルの模式図である。
【図３】図３は、本発明の実施の形態１における各パラメータの説明図である。
【図４】図４は、本発明の実施の形態１におけるキャリブレーション方法の説明図である。
【図５】図５は、本発明の実施の形態１のメガネ型構成における電極配置例の模式図である。
【図６】図６は、本発明の実施の形態１の耳かけ型構成における電極配置例の模式図である。
【図７】図７は、本発明の実施の形態１におけるドリフト補正方法の概念図である。
【図８】図８は、本発明の実施の形態１における視線検出装置１のブロック図である。
【図９】図９は、本発明の実施の形態１における眼球稼動域の１例を示す図である。
【図１０】図１０は、本発明の実施の形態１におけるドリフト補正後の波形例のグラフである。
【図１１】図１１は、本発明の実施の形態１に係るサッケード検出部のブロック図である。
【図１２】図１２は、サッケード信号を含む眼電位信号の一例を示す図である。
【図１３】図１３は、遅延信号生成部の遅延時間を０．２５秒としたときのサッケード検出信号を示す図である。
【図１４】図１４は、遅延信号生成部の遅延時間を１．１秒としたときのサッケード検出信号を示す図である。
【図１５】図１５は、まばたき信号を含む眼電位信号の一例を示す図である。
【図１６】図１６は、図１５の眼電位信号に最小値フィルタ処理を適用して得られた眼電位信号を示す図である。
【図１７】図１７は、図１５の眼電位信号に最大値フィルタ処理を適用して得られた眼電位信号を示す図である。
【図１８】図１８は、本発明の実施の形態２に係るサッケード検出部のブロック図である。
【図１９】図１９は、本発明の実施の形態２に係る合成信号生成部の動作を示すフローチャートである。
【図２０】図２０は、本発明の実施の形態３に係るウェアラブルカメラのブロック図である。
【図２１】図２１は、本発明の実施の形態３に係るウェアラブルカメラをユーザが装着した状態を示す図である。
【図２２】図２２は、本発明の実施の形態４に係るヘッドマウントディスプレイのブロック図である。
【図２３】図２３は、本発明の実施の形態４に係るヘッドマウントディスプレイをユーザが装着した状態を示す図である。
【図２４】図２４は、本発明の実施の形態４に係るヘッドマウントディスプレイの表示部に表示される画像の一例を示す図である。
【図２５】図２５は、本発明の実施の形態５に係る電子めがねのブロック図である。
【図２６】図２６は、本発明の実施の形態５に係る電子めがねをユーザが装着した状態を示す図である。
【図２７】図２７は、本発明の実施の形態６に係る眼科診断装置のブロック図である。
【図２８】図２８は、本発明に係る視線検出装置の必須の構成要素を示す図である。
【発明を実施するための形態】
【００６４】
以下、本発明の実施の形態における視線検出装置について、図面を参照しながら説明する。
【００６５】
（実施の形態１）
本発明の実施の形態１に係る視線検出装置について、図２〜図１７を用いて説明する。
【００６６】
＜モデル＞
時刻ｔにおける観測電圧ｖ（ｔ）を、視線位置θ（ｔ）、視線を眼電位に変換する眼電位変換関数ｅｏｇ（）、ノイズｅ（ｔ）（＝ドリフトβ（ｔ）＋正規分布ノイズｎ（ｔ））を用いて、以下の（式４）ようにモデル化する。ここで、正規分布ノイズｎ（ｔ）は、高周波ノイズ、視線推定誤差、ドリフト推定誤差などを含む。
【００６７】
【数９】
【００６８】
このうち、眼電位変換関数ｅｏｇ（）はキャリブレーションを行い、ドリフトβ（ｔ）として後述する推定方法により推定したドリフト推定値
【数１０】
を用い、正規分布ノイズｎ（ｔ）は正規分布における対数尤度関数である２乗誤差総和関数（電圧数Ｎ）を用いてモデル化する。すなわち、以下の（式５）により視線位置の推定値である視線推定値
【数１１】
を推定する。
【００６９】
【数１２】
【００７０】
ここで、時刻ｔにおけるＮ個の観測電圧をｖi（ｔ）（ｉ＝１，…，Ｎ）、各観測電圧に含まれるドリフトノイズの推定値であるドリフト推定値を
【数１３】
、各観測電圧に対応する眼電位変換関数をｅｏｇi（）とする。
【００７１】
なお、本実施の形態では、簡単のため、網膜への入射光量によるＥＯＧ振幅の時間変化がないと仮定し、眼電位変換関数ｅｏｇ（）はキャリブレーションを行うが、光量変動を考慮し、信号（観測電位の分散変動など）から推定、または、明るさセンサ（カメラ等）を別途設けるなどしてもよい。
【００７２】
また、最小２乗解を探索する方法は、非線形最適化手法（最急降下法、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法など）、全探索（θの探索範囲Θを設定し、所定の粒度で全探索）、非線形カルマンフィルタ、モンテカルロフィルタなど、何でもよい。また、厳密に「最小」でなくてもよく、近傍の値でもよい。
【００７３】
以下、眼電位変換関数ｅｏｇ（）のキャリブレーション方法、ドリフト推定方法、および、視線検出方法について説明する。
【００７４】
＜眼電位変換関数キャリブレーション＞
まず、眼電位変換関数ｅｏｇ（）のキャリブレーション方法について、図２〜図７を用いて説明する。本発明における電気生理学に基づいた眼電位モデルについて説明し、そのモデルパラメータの推定法を示し、キャリブレーションされた眼電位変換関数を示す。
【００７５】
なお、以下に示す眼電位変換関数のキャリブレーション方法は一例であり、この他、眼電位を線形近似する方法、非線形関数（２次以上の多項式関数など）を用いる方法、ニューラルネットにより眼電位と視線との関係を学習する方法、また、単に、キャリブレーションデータを補間または外挿する方法（線形補間、ニアレストネイバー法）など、さまざまな方法が考えられる。
【００７６】
＜１ 眼電位モデル＞
図２は、本発明の実施の形態１における眼電位モデルの模式図（目の位置での頭部断面図）である。眼電位モデルは、頭部内の骨、筋肉および細胞などの素子の影響を、不均一な誘電率空間１００５により表し、右眼角膜電荷１００１、右眼網膜電荷１００２、左眼角膜電荷１００３および左眼網膜電荷１００４により、電極１０００に生じる観測電位の理論値（眼電位理論値）を算出するモデルである。
【００７７】
この眼電位モデルによると、片眼のみでなく他眼からのクロストーク電位を含めて眼電位理論値を計算することができるので、高精度に眼電位理論値を算出することができる。また、クロストーク量が多く発生する電極位置（両眼中心付近）でも、高精度に発生電位を計算できるため、電極貼り付け位置が自由となり、用途に適した位置に電極を装着させることができる。さらに、頭部内の骨、筋肉および細胞などによる不均一な誘電率（または導電率）空間の影響を考慮しているため、より高精度に眼電位理論値を算出することができる。
【００７８】
以下、３次元視線位置θに対する、観測電位理論値ｖを求める処理を詳細に説明する。
【００７９】
図３に示すように、左眼および右眼のそれぞれの回転中心の中点（両眼中心点）を原点、ユーザに対して右方をｘ軸、上方をｙ軸、前方をｚ軸とする。さらに、両眼間隔をｂ、３次元視線位置（注視点）をθ＝（ｘ、ｙ、ｚ）、両眼の平行運動成分を（θx、θy）、両眼の輻輳運動成分をμ、右眼の水平・垂直視線角を（θrx、θry）、左眼の水平・垂直視線角を（θlx、θly）、注視点距離をＬとする。また、眼球の半径をａ、電極座標を（ｘe、ｙe、ｚe）とする。
【００８０】
ここで、両眼の平行運動成分（θx、θy）のθxは、正面を見ている状態から両眼がｘ軸方向にどれだけの角度動いたかを示し、θyは、正面を見ている状態から両眼がｙ軸方向にどれだけの角度動いたかを示す。つまり、図３に示すように、θxは、両眼中心点と注視点とを結ぶ直線をｘｙ平面（ｘ軸とｙ軸とがなす平面）に投影した投影線とｚ軸とがなす角度を示す。また、θyは、上記投影線と、両眼中心点と注視点とを結ぶ直線とがなす角度を示す。
【００８１】
両眼の輻輳運動成分μは、両眼が同時に内側を向いているときの両眼の視線がなす角度を規定する成分である。つまり、μは、図３に示すように、左眼回転中心点と注視点とを結ぶ直線と、右眼回転中心点と注視点とを結ぶ直線とがなす角度を示す。
【００８２】
右眼の水平・垂直視線角を（θrx、θry）の水平視線角θrxは、正面を見ている状態から右眼がｘ軸方向にどれだけの角度動いたかを示し、垂直視線角θryは、正面を見ている状態から右眼がｙ軸方向にどれだけの角度動いたかを示す。つまり、図３に示すように、水平視線角θrxは、右眼回転中心点と注視点とを結ぶ直線をｘｙ平面に投影した投影線とｚ軸とがなす角度を示す。また、θryは、上記投影線と、右眼回転中心点と注視点とを結ぶ直線とがなす角度を示す。
【００８３】
左眼の水平・垂直視線角を（θlx、θly）の水平視線角θlxは、正面を見ている状態から左眼がｘ軸方向にどれだけの角度動いたかを示し、垂直視線角θlyは、正面を見ている状態から左眼がｙ軸方向にどれだけの角度動いたかを示す。つまり、図３に示すように、水平視線角θlxは、左眼回転中心点と注視点とを結ぶ直線をｘｙ平面に投影した投影線とｚ軸とがなす角度を示す。また、θlyは、上記投影線と、左眼回転中心点と注視点とを結ぶ直線とがなす角度を示す。
【００８４】
３次元視線位置θ＝（ｘ、ｙ、ｚ）の表現方法には様々な方法が存在するが、以下では、両眼の平行運動成分と３次元視線位置（注視点）のｚ座標を用いて、３次元視線位置をθ＝（θx、θy、ｚ）と表す。なお、この他、両眼の輻輳運動成分μを用いて、３次元視線位置をθ＝（θx、θy、μ）と表してもよい。なお、本実施の形態では両眼が同一の注視点を注視しているものとする。
【００８５】
まず、視線検出装置のモデル推定部（図示せず）は、両眼の水平・垂直視線角（θrx、θry、θlx、θly）を、以下の（式６）に従い算出する。
【００８６】
【数１４】
【００８７】
次に、モデル推定部は、電極から右眼角膜、右眼網膜、左眼角膜、左眼網膜までのそれぞれの距離である右眼角膜距離ｒ1、右眼網膜距離ｒ2、左眼角膜距離ｒ3、左眼網膜距離ｒ4を、以下の（式７）に従い算出する。
【００８８】
【数１５】
【００８９】
また、電極から、右眼角膜、右眼網膜、左眼角膜、左眼網膜までの誘電率をそれぞれε1、ε2、ε3、ε4とし、右眼角膜、右眼網膜、左眼角膜、左眼網膜の電荷量をそれぞれｑ1、ｑ2、ｑ3、ｑ4と定義する。このとき、モデル推定部は、その電極に生じる眼電位理論値
【数１６】
を、以下の（式８）に従い算出する。
【００９０】
【数１７】
【００９１】
なお、ここでは、無限遠を基準電位として眼電位理論値を計算したが、視線が図４に示す基準指標（θx＝θy＝０、ｚ＝所定値）を見ているときの電位を基準電位とする方が扱いやすいため、このときの眼電位をオフセット電位として減じるのが好ましい。ただし、以下では説明を簡単にするためオフセット電位の記述は省略する。
【００９２】
ここで、さらに、電荷量および誘電率は、眼球運動によっては変化しない値であると仮定し、所定係数α1、α2、α3、α4を用いて、（式８）を（式９）のように簡略化する。
【００９３】
【数１８】
【００９４】
なお、ここでは説明の簡単のため、無限遠を基準電位（０Ｖ）としたが、視線が正面視（θx＝θy＝０）のときの眼電位を基準電位とするために、モデル推定部は、正面視のときのオフセット電位を計算し減じるとよい。
【００９５】
（式８）または（式９）は、右眼角膜距離および右眼網膜距離と、左眼角膜距離および左眼網膜距離とから、任意の３次元空間位置に発生する眼電位理論値を算出するための関数である。この「任意の３次元空間位置」とは、生体表面または内部などである。
【００９６】
＜２ モデルパラメータ推定＞
次に、前記眼電位モデルの未知パラメータ（モデルパラメータ）である、眼球半径ａ、両眼間隔ｂ、電極座標（ｘe、ｙe、ｚe）、所定係数α1、α2、α3、α4のキャリブレーションについて説明する。なお、以下では、眼球半径ａおよび両眼間隔ｂは、人間の平均値であるａ＝１２ｍｍおよびｂ＝６５ｍｍとし、モデル推定部は、電極座標（ｘe、ｙe、ｚe）、所定係数α1、α2、α3、α4のみを推定する。
【００９７】
＜２−１ キャリブレーションデータ取得＞
まず、モデル推定部は、キャリブレーション用データ（学習データ）を取得する。図４を用いて、キャリブレーションデータ取得方法について説明する。
【００９８】
（事前準備）
ユーザは、両眼の中心３００１を、モニタ３０００の中心位置３００２に合わせ着席し、モニタ３０００との間に設置した基準指標３００３（ｚ軸上）を注視する。基準指標３００３は、ユーザの親指を目の前に立てて代用するなど、なんでもよいが、動かないものが好ましい。
【００９９】
（データ取得）
（１） モニタ３０００上に較正指標３００４（視線位置θ）が提示されたら、ユーザは較正指標３００４をサッケード運動（跳躍眼球運動）により注視する。このとき、モデル推定部は、サッケード運動による観測電圧変化量Δｖ（ユーザが基準指標３００３を注視している時と較正指標３００４を注視している時の電極における観測電圧の変化量）を検出し、キャリブレーションデータペア（θ、Δｖ）を記録する。サッケード運動による観測電圧変化量Δｖについては後述する。
【０１００】
（２） 較正指標３００４が消えたら、ユーザは、基準指標３００３を再度注視する。
【０１０１】
（３） （１）（２）を較正指標３００４の１〜１５番（３行５列、水平２５°間隔、垂直１５°間隔で配置）まで繰り返す。
【０１０２】
（４） さらに、モニタ３０００の位置を移動、またはユーザ３００５の位置を移動させるなどして、モデル推定部は、複数のｚ位置（例えば、ｚ＝２０ｃｍ、５０ｃｍ、ｚ＝１００ｃｍ、…）においてキャリブレーションデータを取得する。
【０１０３】
これにより、ｚ方向（奥行き方向）を含めた、複数の（θ、Δｖ）のデータペア（学習データ、キャリブレーションデータ）が得られる。また、サッケード運動（高速）を用いてキャリブレーションデータを取得するので、キャリブレーションデータにドリフトノイズ（低周波ノイズ）が混入するのを防ぐことができ、高精度なキャリブレーションが可能となる。
【０１０４】
＜２−２ モデルパラメータ推定＞
次に、モデル推定部は、取得したキャリブレーションデータに基づいて、モデルパラメータ推定を行う。つまり、モデル推定部は、各電極ｉ（ｉ＝１，…，Ｎ）に対するＭ個のキャリブレーションデータ（θj，Δｖi,j）（ｊ＝１，…，Ｍ）に対応する眼電位理論値
【数１９】
を、眼電位モデル（式９）に従って算出する。モデル推定部は、以下の（式１０）に示される、算出した眼電位理論値
【数２０】
と実測された眼電位Δｖi,jとの２乗誤差総和（コスト関数Ｊ）が最小となるモデルパラメータを算出する。
【０１０５】
【数２１】
【０１０６】
この時、モデル推定部は、眼電位モデル（式９）のうち、（１）非線形項（距離ｒ1、ｒ2、ｒ3、ｒ4の各逆数項）のパラメータである電極座標（ｘe，ｙe，ｚe）は探索により最適化し、（２）線形パラメータ（所定係数）α1、α2、α3、α4は最小２乗法を用いて数式により最適値を算出する。以下、これを詳細に説明する。
【０１０７】
（１）まず、モデル推定部は、電極座標（ｘe，ｙe，ｚe）の初期値を設定する。電極座標を探索しない場合は、事前に電極座標を厳密に計測しておく必要があるが、探索する場合は、目視でおおよその座標を初期値として与えておく。
【０１０８】
（２）次に、モデル推定部は、設定された電極座標における、所定係数α1、α2、α3、α4の最小２乗解を導出する。
【０１０９】
まず、Ｍ個のキャリブレーションデータに対応する眼電位の理論値
【数２２】
を、以下の（式１１）で行列表現する。
【０１１０】
【数２３】
【０１１１】
ここでｒj,1、ｒj,2、ｒj,3およびｒj,4は、それぞれ、ｊ番目のキャリブレーションデータ測定時の右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離である。電極座標、およびその他行列Ａに関する全パラメータが設定されているため、行列Ａは定数行列となる。
【０１１２】
これを、各電極ｉ（ｉ＝１，…，Ｎ）に対して用意する。すなわち、すべての眼電位理論値を以下の（式１２）で表すものとする。
【０１１３】
【数２４】
【０１１４】
ここで、各電極の電位は、基準電極（リファレンス電極またはグラウンド電極）に対する電位である。このため、モデル推定部は、以下の（式１３）で示される、基準電極Ｒの眼電位理論値も同様に算出する。
【０１１５】
【数２５】
【０１１６】
これにより、モデル推定部は、各電極に生じる、基準電極に対する電位
【数２６】
を、以下の（式１４）に従い算出し、以下の（式１５）で示すコスト関数Ｊが最小になるαi（ｉ＝１，…，Ｎ），αRを求める。
【０１１７】
【数２７】
【０１１８】
【数２８】
【０１１９】
つまり、以下の（式１６）を解いて、解を行列表現すると、以下の（式１７）に示される正規方程式が得られる。
【０１２０】
【数２９】
【０１２１】
【数３０】
【０１２２】
この正規方程式を解くと、以下の（式１８）が得られる。
【０１２３】
【数３１】
【０１２４】
つまり、モデル推定部は、（式１８）に従って所定係数αRおよびαiを計算することにより、コスト関数Ｊ（式１５）の最小２乗解を得ることができる。なお、正規方程式を直接解く方法以外にも、ハウスホルダーＱＲ分解法などを用いて、コスト関数Ｊ（式１１）の最小２乗解を計算してもよい。
【０１２５】
モデル推定部は、以上説明した（１）および（２）の処理を、コスト関数Ｊ（式１１）が所定の誤差範囲内に収まるまで繰り返すことにより、電極座標（ｘe，ｙe，ｚe）を非線形最適化手法（最急降下法、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法など）により探索する。また、モデル推定部は、電極探索範囲を設定し、所定の粒度で電極座標を全検索してもよい。例えば、電極がずれる範囲は最大でも５ｃｍ以下であることが多いため、初期値（電極目測位置）に対して、ｘ、ｙ、ｚ方向にそれぞれ±５ｃｍを探索範囲とし、５ｍｍ間隔で電極座標を探索すればよい。
【０１２６】
以上、本モデルパラメータ推定法では、非線形項パラメータ（電極座標）は探索により最適化し、線形パラメータ（所定係数）は数式により最適値を算出する。このため、高精度かつ高速に最適なモデルパラメータを推定することができる。また、通常、眼電位は、耳の前、耳の裏、耳の穴の中まで発生するが、本方式では、基準電極（リファレンス電極またはグラウンド電極）へ生じる眼電位も考慮することで、高精度な推定が可能であり、また、基準電極の貼付位置も自由となる利点を有している。
【０１２７】
なお、基準電極を、眼電位が発生しない位置（耳たぶ等）に装着させれば、上述の最小２乗解の計算式はより単純になり、計算量・回路規模を削減することができる。また、所定係数α1、α2、α3、α4を、全て同一の値とみなせば、モデル精度は低下するが、より簡単な計算で高速に最適値を求められる。
【０１２８】
なお、複数の電極を貼り付る場合、ｚ方向に離して貼り付けるとよい。これにより、輻輳運動に対する振幅を大きくすることができ、ｚ方向の認識精度が向上する。図５に示すように、めがね４００１に電極４００２を組み込む場合は、鼻パッドの位置４００３、および、フレームが耳に接触する位置４００４に電極を内蔵させるのが好ましい。また、図６に示すように、耳かけ部材に電極を組み込む場合は、耳の前方部および耳後方部に電極４００５および４００６を配置すると良い。
【０１２９】
＜３ 眼電位変換関数生成＞
モデル推定部は、以上により推定されたモデルパラメータ（電極座標および所定係数）を用いて、３次元視線位置θに対する眼電位変換関数を次式により求める。
【０１３０】
【数３２】
【０１３１】
なお、上記眼電位変換関数は非線形関数であるので、ルックアップテーブル（ＬＵＴ）により保持してもよく、計算量または回路規模を削減できる。
【０１３２】
以上、本発明の実施の形態１における視線検出装置１では、両眼のクロストーク量、眼球周辺組織等の影響を計算に入れた眼電位モデルにより、眼電位変換関数を高精度にキャリブレーションすることができる。
【０１３３】
＜ドリフト推定方法および視線推定方法＞
次に、本実施の形態におけるドリフト推定方法および視線検出方法を、図７〜図１０を用いて説明する。
【０１３４】
本実施の形態では、眼電位の空間分布特性とドリフトの空間分布特性の違い、および、眼電位の振幅制約条件を利用してドリフトを推定する。具体的には、複数の電極により観測される多次元電圧空間において、視線位置θの存在空間Θ（例えば、−５０°≦θx≦５０°、−５０°≦θy≦３０°、ｚ≧１０ｃｍ）に対する眼電位変換関数により写像された眼電位部分空間（以下、「眼電図」ともいう。）以外の成分は全てドリフトであると確定できる。つまり、視線位置θの存在空間Θ内に視線位置θが存在する場合の眼電位を越える部分の眼電位成分についてはドリフト成分と判断することができる。ここで、「眼電位部分空間」は、事前にキャリブレーションしてもよいし、動的に推定してもよい。
【０１３５】
図７に、電極を３つ（基準電極除く）とし、視線は水平および垂直のみの２次元であると仮定した場合のドリフト補正方法の概念図を示す。３次元電圧空間において、眼電位の存在空間である眼電図外の成分として、（１）眼電位レンジ（数１００ｕＶ）を越える成分７０１、（２）眼電図に直交する成分７０２（眼電図の各点に対して法線方向の成分）をドリフト成分とし、これを観測電圧から除去する。一言で言えば、観測電圧から、眼電図との残差を、除去しつづけることでドリフトを除去する。
【０１３６】
図７は、眼電位空間を示しており、電極の個数がｎの場合、眼電位空間はｎ次元空間となる。眼電位空間の各軸は各電極がとり得る電圧値に対応し、視線位置θの存在空間Θ内のすべての視線位置θについて、とり得る眼電位をプロットすることにより眼電位部分空間が得られる。つまり、眼電位部分空間は眼電位または眼電位ベクトル（原点から眼電位までのベクトル）の存在空間である。
【０１３７】
以下、図８および図９を用いて、これを詳細に説明する。
【０１３８】
図８は、本発明の実施の形態１における視線検出装置１のブロック図である。
【０１３９】
視線検出装置１は、視線検出部１０と、ドリフト推定部２０と、関数算出部２３と、サッケード検出部２４とを含む。
【０１４０】
ドリフト推定部２０は、複数の電極により観測される生体に発生する眼電位である複数の観測電圧のそれぞれのうち、前記複数の電極において理論上観測される眼電位の組の集合である眼電位部分空間外の成分に基づいて、前記観測電圧の組に含まれるドリフトノイズを推定する。
【０１４１】
前記眼電位部分空間は、所定の範囲内における前記ユーザの視線方向（視線位置）を示す視線ベクトル空間内の点を、所定の眼電位変換関数により写像することにより得られる。
【０１４２】
視線検出部１０は、前記複数の観測電圧からドリフト推定部２０が推定した前記ドリフトノイズを除去した信号に基づいて、前記ユーザの視線方向（視線位置）を検出する。
【０１４３】
関数算出部２３は、視線方向ごとに前記複数の電極の各々により観測される観測電圧から前記眼電位変換関数を算出する。
【０１４４】
サッケード検出部２４は、眼球の急速な運動であるサッケード運動の発生を検出する。
【０１４５】
視線検出部１０は、減算器１１と、θ探索部１２とを含む。
【０１４６】
減算器１１は、前記観測電圧からドリフト推定部２０が推定した前記ドリフトノイズを減じることによりドリフトノイズを除去する。
【０１４７】
θ探索部１２は、観測電圧からドリフトノイズを除去した信号に基づいて、ユーザの視線方向を検出する。
【０１４８】
ドリフト推定部２０は、積分器２１と、ローパスフィルタ（ＬＰＦ）２２とを含む。
【０１４９】
ローパスフィルタ２２は、θ探索部１２による視線方向の検出時に発生する残差に対してローパスフィルタ処理を行なう。
【０１５０】
積分器２１は、ローパスフィルタ２１通過後の残差を積分する。
【０１５１】
生体から複数の電極により観測された観測電圧ｖが視線検出装置１へ入力される。減算器１１は、観測電圧ｖからドリフト推定部２０から出力されたドリフト推定値
【数３３】
を減じる。θ探索部１２は、関数算出部２３が算出した眼電位変換関数または眼電位変換関数に基づき作成されたルックアップテーブルに基づいて、（式５）を満たす視線推定値
【数３４】
を推定する。この際、θ探索部１２は、観測電圧と視線推定値における理論電圧との残差
【数３５】
を出力する。ローパスフィルタ２２は、残差に対してローパスフィルタ処理を施す。積分器２１は、ローパスフィルタ２２を通過した値を積分する。視線検出部１０は、ローパスフィルタ２２を通過した値をドリフト推定値として視線検出部１０に出力する。視線検出部１０の減算器１１は、観測電圧ｖからドリフト推定値を減算する。ローパスフィルタ処理を施すのは、残差に含まれるドリフトノイズ以外の高周波ノイズを除去し、さらに高精度にドリフトノイズを推定するためである。つまり、（式４）における正規分布ノイズｎ（ｔ）を除去し、ドリフトβ（ｔ）のみを残すことができる。
【０１５２】
次に、この動作を示す。
【０１５３】
＜基本動作＞
モデルパラメータ推定部１２は、時刻ｔ＝０で、入力された観測電圧ｖi（０）と、眼電位変換関数により算出した理論電圧ｅｏｇ（θ（０））との２乗誤差総和が最小となる視線位置
【数３６】
を探索する。
【０１５４】
【数３７】
【０１５５】
ここで、視線
【数３８】
を探索する際、視線位置θの存在空間Θを、例えば、−５０°≦θx≦５０°、−５０°≦θy≦３０°、ｚ≧１０ｃｍなどと定義する。また、図９に示すように、視線存在空間（眼球可動限界）８１を、上下に非対称な楕円に制限する。これは、人間の目は上方には下方に比べて大きく動かせないことに基づいている。具体的には、θy≧０の領域では、長軸θx＝５０°、短軸θy＝３５°程度にする。また、θy＜０の領域では、半径５０°の円とする。このように、上方の範囲を制限することで、ドリフトノイズと眼電位との分離精度をより向上させることができる。
【０１５６】
また、このとき、各視線位置θ＝（θx、θy、ｚ）における理論電圧ｅｏｇ（θ（ｔ））は、予め、３次元ルックアップテーブルで保持しておくと回路規模削減または計算量削減できるので好ましい。なお、両眼の視線が１点で交わらない場合などを考慮し、視線位置を４次元（θrx、θry、θlx、θly）とし、４次元ルックアップテーブルを保持するようにしてもよい。
【０１５７】
なお、視線位置の検出方法は、２乗誤差を最小にする方法に限られるものではなく、その他の評価関数（高次統計量、エントロピーなど）を用いたもの、カルマンフィルタ・モンテカルロフィルタなど手法など、観測値と理論値の誤差を最小化するような方式であれば何でもよい。
【０１５８】
この際、ドリフト推定部２０は、残差
【数３９】
を記録しておく。なお、視線位置θの探索範囲Θが制限されているため、残差ベクトル
【数４０】
には、眼電図に対して直交する成分のみでなく、眼電位レンジ外の成分も含まれる。つまり、図７に示した（２）眼電図に直交する成分のみならず、（１）眼電位レンジ（数１００ｕＶ）を越える成分も含まれる。
【０１５９】
以降、ドリフト推定部２０は、時刻ｔにおいて、まず、ドリフト予測値
【数４１】
を、
【数４２】
により算出する。ここで、
【数４３】
とする。また、Δｔは、Ａ／Ｄのサンプリング時間、または、ダウンサンプルされたサンプリング時間を示す。
【０１６０】
次に、θ探索部１２は、観測電圧ｖi（ｔ）と、眼電位変換関数およびドリフト予測値により算出した理論電圧
【数４４】
との２乗誤差総和が最小となる視線
【数４５】
を探索する（探索範囲Θ）。
【０１６１】
【数４６】
【０１６２】
この際、ドリフト推定部２０は、残差
【数４７】
を記録しておく。
【０１６３】
以上により、眼電図外の電圧成分をフィードバックにより除去し続け、観測電圧を眼電図内に抑制することで、ドリフトを除去する。
【０１６４】
＜改良＞
上記基本構成において、残差には高周波ノイズが含まれる場合があり、これを観測電圧へフィードバックすると補正エラーが起こる場合がある。そのため、ローパスフィルタにより、残差から高周波ノイズを除去するのが好ましい。この処理は、ローパスフィルタ２２により行われる。
【０１６５】
【数４８】
【０１６６】
ここで、ＬＰＦ（）は、ローパスフィルタを示す。
【０１６７】
このとき、ドリフト成分の補正応答が早い方が好ましいため、フィルタ長が短いフィルタが好ましい。例えば、以下のような２タップＩＩＲ（Infinite Impulse Response：無限インパルス応答）フィルタを用いるとよい。なお、ｆｃはカットオフ周波数である。
【０１６８】
【数４９】
【０１６９】
ただし、単なるローパスフィルタでは、高周波ノイズのみでなく、高周波眼球運動（サッケード運動、跳躍眼球運動）が生じた場合でもローパスフィルタがかかり、ドリフト補正応答性が損なわれる。そこで、サッケード検出部２４がサッケード運動を検出した際には、ローパスフィルタ２２を適応的に弱めるとよい。つまり、ローパスフィルタ２２のカットオフ周波数を下げるとよい。なお、サッケード運動検出方法については、後述する。
【０１７０】
また、θ探索部１２による視線推定値が視線存在空間８１の境界を超えた場合（視線推定値が視線存在空間８１の外側にある場合）には、ローパスフィルタ２２のカットオフ周波数を上げてもよい。つまり、眼電位レンジを越えた場合とそうでない場合で、カットオフ周波数を変えてもよい。例えば、観測電圧が眼電位レンジ未満の場合は、眼電図自体のキャリブレーション誤差を考慮し、補正速度を弱めるため、ｆｃ＝１Ｈｚとし、眼電位レンジ以上の場合は、補正速度を強めるため、ｆｃ＝５Ｈｚなどとしてもよい。
【０１７１】
また、ローパスフィルタ処理前に、眼電図のキャリブレーション誤差を考慮し、振幅の小さい残差は無視するようにしてもよい（いわゆるコアリング処理）。
【０１７２】
以上、本発明の実施の形態１における視線検出装置１では、各電極位置での観測電圧から、眼電図外の電圧成分（ドリフト成分）を除去することで、図１０に示す補正後の観測電圧の波形例（電極３つの場合の例）のように、高振幅なドリフトノイズを大幅に抑制（１／１００以下）することができる。このため、視線検出装置１は、高精度に視線を検出することができる。
【０１７３】
なお、３次元視線ベクトルθ＝（θx、θy、ｚ）から、図３に示した各パラメータを次式により計算できる。
【０１７４】
【数５０】
【０１７５】
この関係を用いて、たとえば、注視点距離Ｌを検出することにより、視線検出方法を、距離に応じた処理を実行するアプリケーションに適用することができる。
【０１７６】
なお、モデルパラメータ推定のための眼電位測定時には、眼球を円周状に回転運動させることを２回行うようにしても良い。つまり、眼電位部分空間の境界における電位は、視線存在空間の境界における電位に相当する。このため、ユーザが眼球を円周状に、限界まで大きく一回転させたときの眼電位から眼電位部分空間を作成することができる。また、同一の点における１回目の測定電圧と２回目の測定電圧とを記録し、これらの間の電圧を補間することで、２回の測定の間に発生するドリフトを推定し、いずれかの観測電圧からドリフトを除去することにより、ドリフトの影響を受けることなく、高精度に眼電位の測定を行うことができる。なお、「円周状」は、厳密な円である必要はなく、ユーザにより異なる曲線である。また、完全に「同一の点」である必要はなく、多少異なっていても良い。
【０１７７】
また、非線形の眼電位変換関数は、眼電位モデルによらずに作成するようにしてもよい。つまり、測定したキャリブレーション用データの視線位置および観測電圧を用いて、観測されていない視線位置における観測電圧を補間により求めるようにしてもよい。これにより、眼電位変換関数を作成するための回路の回路規模または計算量を削減することができる。
【０１７８】
なお、電極貼り付け位置によるが、線形モデルでは、視線角が大きいほど、眼電位変換関数の誤差が大きくなるため（５〜１０°程度）、これによりドリフト推定精度（ドリフトノイズ推定精度）および視線方向推定精度が劣化する。特に、図８に示したようなフィードバック構成では、線形近似誤差がドリフト推定誤差として蓄積される。しかし、非線形モデルを用いることにより、眼電位の非線形性を考慮した高精度な眼電位変換関数により、高精度な眼電位計測および視線検出が可能となる。
【０１７９】
前述した、サッケード信号検出方法について説明する。なお、以下では、観測電圧を、眼電位原信号と呼ぶ場合がある。
【０１８０】
サッケード検出部２４のブロック図を図１１に示す。
【０１８１】
サッケード検出部２４は、遅延信号生成部５０１と、減算部２０３とで構成される。遅延信号生成部５０１は、眼電位原信号を所定の時間遅延させて遅延信号を出力する。また、サッケード検出部２４に入力する眼電位原信号は、２つに分岐する。そして、一方は遅延信号生成部５０１を通過して遅延信号として減算部２０３に入力し、他方は減算部２０３に直接入力する。そして、減算部２０３は、眼電位原信号から遅延信号を減算してサッケード信号を出力する。この遅延信号生成部５０１を備えることによって、正負の符号付のサッケード信号を簡易に取得できる。
【０１８２】
図１１に示される遅延信号生成部５０１の処理について説明する。遅延信号生成部５０１は、眼電位原信号ｆ（ｘ）に対し、以下の処理を適用する。
【０１８３】
ｆｄｅｌａｙ（ｘ）＝ｆ（ｘ−ｔ）
【０１８４】
ここで、ｆｄｅｌａｙ（ｘ）は遅延処理後の眼電位原信号（遅延信号）、ｔは遅延時間である。上記遅延処理を、図１２に示される眼電位原信号に適用することによって遅延信号が得られる。そして、減算部２０３によって、眼電位原信号から遅延信号を減算した例を図１３に示す。なお、眼電位原信号から符号付のサッケード成分を検出するために、遅延時間ｔ＝０．２５秒としている。図１３を参照すれば、サッケードの発生した時間帯を含む符号付のサッケード信号が得られていることがわかる。
【０１８５】
このサッケード検出部２４は、図１３に示されるような減算部２０３からの出力信号に基づいてサッケード検出信号及び眼電位変化量を生成し、ローパスフィルタ２２に出力する。例えば、サッケード運動に要する時間に相当する時間内においてサンプル値の変化量が予め定めた閾値を上回った場合にサッケード運動が発生したと判定し、サッケード検出信号を出力する。また、このときのサンプル値の変化量を眼電位変化量として出力する。
【０１８６】
ここで、遅延時間ｔを一般的な１回の固視時間（０．３秒から０．４秒程度）より大きくすると、図１４に示されるように、サッケード信号が破綻する。図１４は、遅延時間ｔとして１．１秒を用いた例である。図１４のようにサッケード信号が破綻すると、サッケード信号を抽出できなくなるため、遅延信号生成部５０１の遅延時間ｔは、一般的な１回の固視時間より短くする必要がある。なお、実施の形態２では、０．２５秒の遅延時間を適用する例を示したが、一般的な１回の固視時間より短い遅延時間であれば、どのような値でも構わない。
【０１８７】
以上に示した構成によれば、眼電位原信号から遅延信号を生成し、眼電位原信号から遅延信号を減算して符号付のサッケード信号を検出するため、正負のサッケード信号を区別できる点において有効である。
【０１８８】
＜まばたき信号除去方法＞
次に、まばたきの影響を考慮したサッケード検出方法を説明する。
【０１８９】
ユーザがまばたきを行うと、図１５中の領域（ａ）に示すように、正の方向に急峻な電位（これが「まばたき信号」である）が発生する場合がある。このため、上記方法のみでは、サッケード信号のみを抽出できず、較正精度が劣化する場合がある。
【０１９０】
そこで、まず、最小値フィルタを適用することで、図１６に示すように、まばたき信号が除去される。しかしながら、これだけでは、サッケード運動による電圧変化（サッケード成分）部が変形してしまう。そこで、さらに最大値フィルタを適用することで、図１７に示すようにサッケード成分を復元する。
【０１９１】
なお、電極貼り付け位置によっては、まばたき信号の符号が負になる場合がある。負の場合には、最大値フィルタおよび最小値フィルタの適用順序を逆にすればよい。
【０１９２】
また、最小値フィルタおよび最大値フィルタのフィルタ長を、一般的な１回のまばたきの時間（０．１５秒から０．２秒程度）より長く、かつ、１回の固視時間（０．３秒から０．４秒程度）より短い値とするとよい。
【０１９３】
また、まばたき信号の除去だけを目的とする場合には、最小値フィルタおよび最大値フィルタのどちらか一方のみを適用してもよい。
【０１９４】
以上により、まばたき信号を除去した信号を、眼電位原信号として、図１１に示されるサッケード検出部２４に入力する。これにより、まばたきの影響を受けずに、高精度にサッケード信号を検出することができる。このまばたき信号の除去は、視線検出装置１の外部に設けられた図示しないまばたき信号除去部により実行される。
【０１９５】
（実施の形態２）
次に、実施の形態２に係る視線検出装置について説明する。
【０１９６】
実施の形態２に係る視線検出装置は、図８に示した実施の形態１に係る視線検出装置１の構成と同様である。ただし、サッケード検出部の構成が異なる。以下、実施の形態２に係るサッケード検出部について説明する。
【０１９７】
実施の形態２に係るサッケード検出装置のブロック図を図１８に示す。このサッケード検出装置は、眼電位原信号を多チャンネルで計測する際のサッケード検出処理を行なう。このサッケード検出装置は、図８に示した実施の形態１に係る視線検出装置１のサッケード検出部２４の代わりに用いられる。
【０１９８】
実施の形態２に係るサッケード検出装置は、多チャンネルの眼電位原信号から合成信号を生成する合成信号生成部２００１と、サッケード検出部２０００とで構成される。
【０１９９】
合成信号生成部２００１は、例えば、入力された眼電位原信号ＥＯＧ０ｃｈ〜ＥＯＧＮｃｈのうち、眼球運動に対して眼電位が同位相で計測される計測チャンネルを用いて加算平均をとり、加算平均をした同位相同士を減算して差動増幅することで合成信号を生成することが考えられる。具体的な処理手順を図１９に示す。
【０２００】
まず、眼電位が同位相となる計測チャンネルのグルーピングを行う（Ｓ１０００１）。ここで、眼電位が同位相であるかどうかは、例えば、顔の右側、左側等の計測位置によって判断することができる。なお、計測位置だけではなく、計測された眼電位信号の特徴から動的に判別しても構わない。次に、グルーピングされた各グループの加算平均をそれぞれ計算する（Ｓ１０００２）。そして、加算平均した各グループの同位相信号をグループ間で減算することで差動増幅を行い（Ｓ１０００３）、合成信号として出力する（Ｓ１０００４）。
【０２０１】
サッケード検出部２０００は合成信号生成部２００１が生成した合成信号を用いてサッケード検出信号を生成する。サッケード検出信号の生成の仕方は実施の形態１のサッケード検出部２４と同様である。
【０２０２】
このサッケード検出部２０００は、サッケード検出信号および振幅情報を生成し、図８に示すローパスフィルタ２２に出力する。例えば、サッケード運動に要する時間に相当する時間内におけるサンプル値の変化量が予め定めた閾値を上回った場合にサッケード運動が発生したと判定し、サッケード検出信号を出力する。また、このときのサンプル値の変化量を振幅情報（眼電位変化量）として出力する。
【０２０３】
以上に示した実施の形態２の構成によれば、多チャンネルの眼電位原信号から、Ｓ／Ｎ比の高い合成信号を生成し、その合成信号を用いてサッケード信号を検出するため、サッケード検出の精度を向上できる点において有効である。
【０２０４】
（実施の形態３）
次に、図２０及び図２１を参照して、本発明の実施の形態３に係るウェアラブルカメラ１６００を説明する。このウェアラブルカメラ１６００は、例えば、ユーザの側頭部に装着され、ユーザの視線方向の映像を撮像する装置である。具体的には、ウェアラブルカメラ１６００は、撮像部１６０１と、撮像制御部１６０２と、視線検出装置１６０３とを備える。
【０２０５】
ウェアラブルカメラ１６００は、例えば、静止画を撮影するカメラであってもよいし、動画を撮影するビデオカメラであってもよい。視線検出装置１６０３には、例えば、実施の形態１または２に係る視線検出装置１を適用することができる。また、実施の形態３における眼電位計測部としての電極は、図２１に示されるように、ユーザの左眼のこめかみの上下に添付されている。
【０２０６】
そして、撮像制御部１６０２は、視線検出装置１６０３からの出力信号を監視し、ユーザの視線の移動に追従して撮像部１６０１の向きを変えさせる。これにより、撮像部１６０１にユーザの視線方向を撮像させることができる。
【０２０７】
ただし、実施の形態３に係るウェアラブルカメラ１６００は、上記の用途に限定されない。他の用途としては、撮像部１６０１で撮像された映像上に、視線検出装置１６０３で検出されたユーザの視線位置をプロットするような装置や、運転中のドライバーの視線を検出して危険喚起を行う等の装置に適用することもできる。
【０２０８】
（実施の形態４）
次に、図２２および図２３を参照して、本発明の実施の形態４に係るヘッドマウントディスプレイ１７００を説明する。このヘッドマウントディスプレイ１７００は、例えば、めがね形状を有しており、ユーザの眼前に画像を表示し、表示された画像上に示されているマウスをユーザの視線方向に移動させる装置である。具体的には、ヘッドマウントディスプレイ１７００は、表示部１７０１と、表示制御部１７０２と、視線検出装置１７０３とを備える。
【０２０９】
図２４に示すように、表示部１７０１には、各種画像が表示されており、その画像上にマウス１７０４が表示されているものとする。視線検出装置１７０３には、例えば、実施の形態１または２に係る視線検出装置１を適用することができる。
【０２１０】
そして、表示制御部１７０２は、視線検出装置１７０３からの出力信号を監視し、ユーザの視線の移動に追従して表示部１７０１に表示されているマウス１７０４を移動させる。これにより、例えば、処理実行部（図示せず）は、マウス１７０４が指し示すアイコン１７０５に対応付けられた処理（図２４の例では、映像再生処理）を実行することができる。
【０２１１】
（実施の形態５）
次に、図２５および図２６を参照して、本発明の実施の形態５に係る電子めがね１８００を説明する。この電子めがね１８００は、ユーザの視線位置に合わせてレンズの焦点を変化させることができるめがねである。具体的には、電子めがね１８００は、レンズ１８０１と、焦点制御部１８０２と、視線検出装置１８０３とを備える。
【０２１２】
レンズ１８０１は、ユーザの眼前に位置し、電子的に焦点を変化させることができるレンズである。
【０２１３】
視線検出装置１８０３には、例えば、実施の形態１または２に係る視線検出装置１を適用することができる。
【０２１４】
そして、焦点制御部１８０２は、視線検出装置１８０３からの出力信号を監視し、ユーザの視線の移動に追従してレンズ１８０１の焦点を変化させる。例えば、ユーザが書籍を読むなどのために近くを見ている場合には、焦点制御部１８０２は、近くに焦点が合うようにレンズ１８０１の焦点を制御する。また、ユーザが遠くの風景を見ている場合には、焦点制御部１８０２は、遠くに焦点が合うようにレンズ１８０１の焦点を制御する。
【０２１５】
なお、本実施の形態においては、ユーザの左眼および右眼は同一点を注視しているものとする。このため、視線検出装置１８０３は、眼電位から視線位置を検出することができる。
【０２１６】
（実施の形態６）
次に、図２７を参照して、本発明の実施の形態６に係る眼科診断装置１５００を説明する。この眼科診断装置１５００は、例えば、ユーザの眼の周辺に電極を貼付し、眼電位を計測することによって網膜常存電位の異常を診断する装置である。具体的には、眼科診断装置１５００は、眼電位計測装置１５１０と、診断部１５２０とを備える。眼電位計測装置１５１０は、ユーザの眼の周囲に貼付されて眼電位を測定し、眼電位原信号を出力する眼電位測定部１５１１と、眼電位原信号にノイズ低減処理を施すノイズ低減部１５１２とを備える。
【０２１７】
診断部１５２０は、例えば、明順応時の眼電位信号と暗順応時の眼電位信号との比であるＡｒｄｅｎ比を計算し、Ａｒｄｅｎ比の異常から網膜状態を診断することが考えられる。眼電位計測装置１５１０におけるノイズ低減部１５１２には、例えば、実施の形態１に係る視線検出装置１を適用することができる。つまり、減算器１１において観測電圧ｖからドリフト推定値
【数５１】
を減じた値を診断部１５２０に入力するようにしてもよい。
【０２１８】
ただし、実施の形態６に係る眼電位計測装置１５１０は、上記の用途に限定されない。他の用途としては、眼電位の変化量に応じてスイッチ切替を行う装置や、携帯電話、音楽プレーヤー等のモバイル端末のリモコン操作等にも適用することができる。
【０２１９】
なお、本実施の形態では、ユーザの眼の周辺に電極を貼付するとしたが、電極を耳周辺に貼付する方法や、皮膚に電極を接触する方法等でも構わない。
【０２２０】
（他の実施の形態）
上記実施の形態において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されてもよいし、一部または全部を含むように１チップ化されてもよい。なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０２２１】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
【０２２２】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
【０２２３】
また、上記実施の形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現してもよい。なお、上記実施の形態に係るウェアラブルカメラをハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施の形態においては、説明便宜のために、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
【０２２４】
上記実施の形態の各処理をソフトウェアにより実現する場合には、ＣＰＵ、ＲＡＭ等の一般的な構成を有するコンピュータ上でプログラムを実行することにより、各処理が実現される。このようなプログラムは、コンピュータ読み取り可能な非一時的な記録媒体に記録されていてもよい。
【０２２５】
図２８は、本発明に係る視線検出装置の必須の構成要素を示す図であり、本発明を視線検出装置として実現した場合には、視線検出装置は、視線検出部１０と、ドリフト推定部２０とを備える。
【０２２６】
なお、本発明を眼電位計測装置として構成することも可能であり、その場合には、眼電位計測装置は、少なくとも、ドリフト推定部２０と、減算器１１とを備えている。
【０２２７】
なお、上記実施の形態の各処理を含む視線検出方法として本発明を実現することもできる。この方法は、典型的には、コンピュータまたは各処理がハードウェアかされた集積回路により実行される。
【０２２８】
なお、本発明の具体的な構成は、前述の実施の形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【産業上の利用可能性】
【０２２９】
また、本発明の視線検出装置によれば、高精度に視線を検出することができるので、ウェアラブル機器（ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがね焦点制御）のインタフェースなど、様々な機器への応用が期待される。また、本発明の眼電位計測装置によれば、高精度に眼電位を測定することができるので、電気生理学分野における眼電位の解析などに応用できる。
【符号の説明】
【０２３０】
１ 視線検出装置
１０ 視線検出部
１１ 減算器
１２ θ探索部
２０ ドリフト推定部
２１ 積分器
８１ 視線存在空間
２０３ 減算部
５００ サッケード検出部
５０１ 遅延信号生成部
７０１ 眼電位レンジを越える成分
７０２ 眼電図に直交する成分
１００１ 右眼角膜電荷
１００２ 右眼網膜電荷
１００３ 左眼角膜電荷
１００４ 左眼網膜電荷
１００５ 不均一誘電率空間
３０００ モニタ
３００１ 両眼中心位置
３００２ モニタ中心位置
３００３ 基準指標
３００４ 較正指標
３００５ ユーザ
４００１ めがね
４００２、４００５、４００６ 電極
４００３ 鼻パッド位置
４００４ めがねフレーム・耳接触位置
【特許請求の範囲】
【請求項１】
眼電位からユーザの視線方向を検出する視線検出装置であって、
複数の電極により観測される生体に発生する眼電位である複数の観測電圧のそれぞれのうち、前記複数の電極において理論上観測される眼電位の組の集合である眼電位部分空間外の成分に基づいて、前記観測電圧の組に含まれるドリフトノイズを推定するドリフト推定部と、
前記複数の観測電圧から前記ドリフト推定部が推定した前記ドリフトノイズを除去した信号に基づいて、前記ユーザの視線方向を検出する視線検出部と
を備える視線検出装置。
【請求項２】
前記眼電位部分空間は、所定の範囲内における前記ユーザの視線方向を示す視線ベクトル空間内の点を、所定の眼電位変換関数により写像することにより得られる
請求項１記載の視線検出装置。
【請求項３】
前記所定の範囲の境界線は、曲線である
請求項２記載の視線検出装置。
【請求項４】
前記所定の範囲の境界線は、前記ユーザの水平視線方向に対して上下非対称な曲線である
請求項３記載の視線検出装置。
【請求項５】
前記所定の範囲は、前記ユーザが眼球を円周状に回転運動させた場合の前記ユーザの視線方向の範囲である
請求項２〜４のいずれか１項記載の視線検出装置。
【請求項６】
さらに、視線方向ごとに前記複数の電極の各々により観測される観測電圧から前記眼電位変換関数を算出する関数算出部を備え、
前記関数算出部は、前記回転運動を２回行ったときの同一箇所における２回の観測電圧の差に基づいてドリフトノイズを推定し、前記２回の観測電圧のうち少なくともいずれか一方の観測電圧から推定した前記ドリフトノイズを除去した電圧から前記眼電位変換関数を算出する
請求項５記載の視線検出装置。
【請求項７】
前記眼電位変換関数は、非線形関数である
請求項２〜６のいずれか１項記載の視線検出装置。
【請求項８】
前記非線形関数は、右眼角膜および右眼網膜のそれぞれから任意の３次元空間位置までの距離である右眼角膜距離および右眼網膜距離と、左眼角膜および左眼網膜のそれぞれから前記任意の３次元空間位置までの距離である左眼角膜距離および左眼網膜距離とから、前記任意の３次元空間位置に発生する眼電位理論値を算出するための関数である
請求項７記載の視線検出装置。
【請求項９】
前眼非線形関数は、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離のそれぞれに対して個別に設定可能である所定係数を含む
請求項８記載の視線検出装置。
【請求項１０】
前記関数算出部は、視線方向ごとに前記複数の電極により観測される前記複数の観測電圧の各々を用いて、観測電圧が観測されていない視線方向の眼電位を補間することにより、前記非線形関数を算出する
請求項７記載の視線検出装置。
【請求項１１】
前記視線検出部は、時刻ｔにおいて、Ｎ個の観測電圧をｖi（ｔ）（ｉ＝１，…，Ｎ）、各前記観測電圧に含まれるドリフトノイズの推定値であるドリフト推定値を
【数１】
、各前記観測電圧に対応する前記眼電位変換関数をｅｏｇi（）、前記ユーザの視線位置をθ（ｔ）とするとき、
【数２】
が最小となる前記ユーザの視線位置θ（ｔ）の推定値である視線推定値
【数３】
を推定し、
前記ドリフト推定部は、前記視線検出部による前記視線推定値の推定時の残差を
【数４】
とするとき、前記ドリフト推定値を、
【数５】
により推定する
請求項２〜１０のいずれか１項記載の視線検出装置。
【請求項１２】
前記ドリフト推定部は、
さらに、前記残差にローパスフィルタ処理を施し、
前記ローパスフィルタ処理を施した後の残差から前記ドリフト推定値を推定する
請求項１１記載の視線検出装置。
【請求項１３】
前記ドリフト推定部は、前記視線推定値が前記所定の範囲の境界を超えた場合には、前記ローパスフィルタ処理のカットオフ周波数を上げる
請求項１２記載の視線検出装置。
【請求項１４】
さらに、前記観測電圧から、眼球の急速な運動であるサッケード運動の発生を検出するサッケード検出部を備え、
前記ドリフト推定部は、前記サッケード検出部によりサッケード運動の発生が検出された場合に、前記ローパスフィルタ処理のカットオフ周波数を下げる
請求項１２または１３記載の視線検出装置。
【請求項１５】
前記サッケード検出部は、
前記各観測電圧を所定の時間遅延させて遅延信号を出力する遅延信号生成部と、
前記各観測電圧から前記遅延信号を減算して得られる出力信号を生成する減算部とを有し、
前記出力信号のうちの予め定めた閾値を上回る信号をサッケード運動を示すサッケード信号と判定し、
前記所定の遅延時間は、ユーザの１回の固視時間より短い
請求項１４記載の視線検出装置。
【請求項１６】
眼電位からユーザの視線方向を検出する視線検出方法であって、
複数の電極により観測される生体に発生する眼電位である複数の観測電圧のそれぞれのうち、前記複数の電極において理論上観測される眼電位の組の集合である眼電位部分空間外の成分に基づいて、前記観測電圧の組に含まれるドリフトノイズを推定するドリフト推定ステップと、
前記観測電圧から前記ドリフト推定ステップにおいて推定された前記ドリフトノイズを除去した信号に基づいて、前記ユーザの視線方向を検出する視線検出ステップと
を含む視線検出方法。
【請求項１７】
ユーザの眼電位を計測する眼電位計測装置であって、
複数の電極により観測される生体に発生する眼電位である複数の観測電圧のそれぞれのうち、前記複数の電極において理論上観測される眼電位の組の集合である眼電位部分空間外の成分に基づいて、前記観測電圧の組に含まれるドリフトノイズを推定するドリフト推定部と、
前記観測電圧から前記ドリフト推定部が推定した前記ドリフトノイズを減算する減算器と
を備える眼電位計測装置。
【請求項１８】
ユーザの視線方向の映像を撮像するウェアラブルカメラであって、
撮像部と、
請求項１〜１５のいずれか１項に記載の視線検出装置と、
前記視線検出装置によって検出された視線方向を前記撮像部に撮像させる撮像制御部と
を備えるウェアラブルカメラ。
【請求項１９】
ユーザの視線方向にマウスを移動させるヘッドマウントディスプレイであって、
画像およびマウスを表示する表示部と、
請求項１〜１５のいずれか１項に記載の視線検出装置と、
前記視線検出装置によって検出された視線方向に表示部に表示されているマウスを移動させる表示制御部と
を備えるヘッドマウントディスプレイ。
【請求項２０】
ユーザの視線位置に合わせてレンズの焦点を変化させる電子めがねであって、
焦点を変化させることができるレンズと、
請求項１〜１５のいずれか１項に記載の視線検出装置と、
前記視線検出装置によって検出された視線位置に合わせて前記レンズの焦点を変化させる焦点制御部と
を備える電子めがね。
【請求項２１】
ユーザの網膜状態を診断する眼科診断装置であって、
請求項１〜１５のいずれか１項に記載の視線検出装置と、
観測電圧からドリフト推定部が推定したドリフトノイズを除去した信号に基づいて、ユーザの網膜異常を検出する診断部とを備える
眼科診断装置。
【請求項２２】
眼電位からユーザの視線方向を検出するプログラムであって、
複数の電極により観測される生体に発生する眼電位である複数の観測電圧のそれぞれのうち、前記複数の電極において理論上観測される眼電位の組の集合である眼電位部分空間外の成分に基づいて、前記観測電圧の組に含まれるドリフトノイズを推定するドリフト推定ステップと、
前記観測電圧から前記ドリフト推定ステップにおいて推定された前記ドリフトノイズを除去した信号に基づいて、前記ユーザの視線方向を検出する視線検出ステップと
をコンピュータに実行させるためのプログラム。
【請求項１】
眼電位からユーザの視線方向を検出する視線検出装置であって、
複数の電極により観測される生体に発生する眼電位である複数の観測電圧のそれぞれのうち、前記複数の電極において理論上観測される眼電位の組の集合である眼電位部分空間外の成分に基づいて、前記観測電圧の組に含まれるドリフトノイズを推定するドリフト推定部と、
前記複数の観測電圧から前記ドリフト推定部が推定した前記ドリフトノイズを除去した信号に基づいて、前記ユーザの視線方向を検出する視線検出部と
を備える視線検出装置。
【請求項２】
前記眼電位部分空間は、所定の範囲内における前記ユーザの視線方向を示す視線ベクトル空間内の点を、所定の眼電位変換関数により写像することにより得られる
請求項１記載の視線検出装置。
【請求項３】
前記所定の範囲の境界線は、曲線である
請求項２記載の視線検出装置。
【請求項４】
前記所定の範囲の境界線は、前記ユーザの水平視線方向に対して上下非対称な曲線である
請求項３記載の視線検出装置。
【請求項５】
前記所定の範囲は、前記ユーザが眼球を円周状に回転運動させた場合の前記ユーザの視線方向の範囲である
請求項２〜４のいずれか１項記載の視線検出装置。
【請求項６】
さらに、視線方向ごとに前記複数の電極の各々により観測される観測電圧から前記眼電位変換関数を算出する関数算出部を備え、
前記関数算出部は、前記回転運動を２回行ったときの同一箇所における２回の観測電圧の差に基づいてドリフトノイズを推定し、前記２回の観測電圧のうち少なくともいずれか一方の観測電圧から推定した前記ドリフトノイズを除去した電圧から前記眼電位変換関数を算出する
請求項５記載の視線検出装置。
【請求項７】
前記眼電位変換関数は、非線形関数である
請求項２〜６のいずれか１項記載の視線検出装置。
【請求項８】
前記非線形関数は、右眼角膜および右眼網膜のそれぞれから任意の３次元空間位置までの距離である右眼角膜距離および右眼網膜距離と、左眼角膜および左眼網膜のそれぞれから前記任意の３次元空間位置までの距離である左眼角膜距離および左眼網膜距離とから、前記任意の３次元空間位置に発生する眼電位理論値を算出するための関数である
請求項７記載の視線検出装置。
【請求項９】
前眼非線形関数は、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離のそれぞれに対して個別に設定可能である所定係数を含む
請求項８記載の視線検出装置。
【請求項１０】
前記関数算出部は、視線方向ごとに前記複数の電極により観測される前記複数の観測電圧の各々を用いて、観測電圧が観測されていない視線方向の眼電位を補間することにより、前記非線形関数を算出する
請求項７記載の視線検出装置。
【請求項１１】
前記視線検出部は、時刻ｔにおいて、Ｎ個の観測電圧をｖi（ｔ）（ｉ＝１，…，Ｎ）、各前記観測電圧に含まれるドリフトノイズの推定値であるドリフト推定値を
【数１】
、各前記観測電圧に対応する前記眼電位変換関数をｅｏｇi（）、前記ユーザの視線位置をθ（ｔ）とするとき、
【数２】
が最小となる前記ユーザの視線位置θ（ｔ）の推定値である視線推定値
【数３】
を推定し、
前記ドリフト推定部は、前記視線検出部による前記視線推定値の推定時の残差を
【数４】
とするとき、前記ドリフト推定値を、
【数５】
により推定する
請求項２〜１０のいずれか１項記載の視線検出装置。
【請求項１２】
前記ドリフト推定部は、
さらに、前記残差にローパスフィルタ処理を施し、
前記ローパスフィルタ処理を施した後の残差から前記ドリフト推定値を推定する
請求項１１記載の視線検出装置。
【請求項１３】
前記ドリフト推定部は、前記視線推定値が前記所定の範囲の境界を超えた場合には、前記ローパスフィルタ処理のカットオフ周波数を上げる
請求項１２記載の視線検出装置。
【請求項１４】
さらに、前記観測電圧から、眼球の急速な運動であるサッケード運動の発生を検出するサッケード検出部を備え、
前記ドリフト推定部は、前記サッケード検出部によりサッケード運動の発生が検出された場合に、前記ローパスフィルタ処理のカットオフ周波数を下げる
請求項１２または１３記載の視線検出装置。
【請求項１５】
前記サッケード検出部は、
前記各観測電圧を所定の時間遅延させて遅延信号を出力する遅延信号生成部と、
前記各観測電圧から前記遅延信号を減算して得られる出力信号を生成する減算部とを有し、
前記出力信号のうちの予め定めた閾値を上回る信号をサッケード運動を示すサッケード信号と判定し、
前記所定の遅延時間は、ユーザの１回の固視時間より短い
請求項１４記載の視線検出装置。
【請求項１６】
眼電位からユーザの視線方向を検出する視線検出方法であって、
複数の電極により観測される生体に発生する眼電位である複数の観測電圧のそれぞれのうち、前記複数の電極において理論上観測される眼電位の組の集合である眼電位部分空間外の成分に基づいて、前記観測電圧の組に含まれるドリフトノイズを推定するドリフト推定ステップと、
前記観測電圧から前記ドリフト推定ステップにおいて推定された前記ドリフトノイズを除去した信号に基づいて、前記ユーザの視線方向を検出する視線検出ステップと
を含む視線検出方法。
【請求項１７】
ユーザの眼電位を計測する眼電位計測装置であって、
複数の電極により観測される生体に発生する眼電位である複数の観測電圧のそれぞれのうち、前記複数の電極において理論上観測される眼電位の組の集合である眼電位部分空間外の成分に基づいて、前記観測電圧の組に含まれるドリフトノイズを推定するドリフト推定部と、
前記観測電圧から前記ドリフト推定部が推定した前記ドリフトノイズを減算する減算器と
を備える眼電位計測装置。
【請求項１８】
ユーザの視線方向の映像を撮像するウェアラブルカメラであって、
撮像部と、
請求項１〜１５のいずれか１項に記載の視線検出装置と、
前記視線検出装置によって検出された視線方向を前記撮像部に撮像させる撮像制御部と
を備えるウェアラブルカメラ。
【請求項１９】
ユーザの視線方向にマウスを移動させるヘッドマウントディスプレイであって、
画像およびマウスを表示する表示部と、
請求項１〜１５のいずれか１項に記載の視線検出装置と、
前記視線検出装置によって検出された視線方向に表示部に表示されているマウスを移動させる表示制御部と
を備えるヘッドマウントディスプレイ。
【請求項２０】
ユーザの視線位置に合わせてレンズの焦点を変化させる電子めがねであって、
焦点を変化させることができるレンズと、
請求項１〜１５のいずれか１項に記載の視線検出装置と、
前記視線検出装置によって検出された視線位置に合わせて前記レンズの焦点を変化させる焦点制御部と
を備える電子めがね。
【請求項２１】
ユーザの網膜状態を診断する眼科診断装置であって、
請求項１〜１５のいずれか１項に記載の視線検出装置と、
観測電圧からドリフト推定部が推定したドリフトノイズを除去した信号に基づいて、ユーザの網膜異常を検出する診断部とを備える
眼科診断装置。
【請求項２２】
眼電位からユーザの視線方向を検出するプログラムであって、
複数の電極により観測される生体に発生する眼電位である複数の観測電圧のそれぞれのうち、前記複数の電極において理論上観測される眼電位の組の集合である眼電位部分空間外の成分に基づいて、前記観測電圧の組に含まれるドリフトノイズを推定するドリフト推定ステップと、
前記観測電圧から前記ドリフト推定ステップにおいて推定された前記ドリフトノイズを除去した信号に基づいて、前記ユーザの視線方向を検出する視線検出ステップと
をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【公開番号】特開２０１１−１２５６９２（Ｐ２０１１−１２５６９２Ａ）
【公開日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願番号】特願２０１０−２５５２６９（Ｐ２０１０−２５５２６９）
【出願日】平成２２年１１月１５日（２０１０．１１．１５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願日】平成２２年１１月１５日（２０１０．１１．１５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]