眼電位推定装置、眼電位算出方法、視線検出装置、ウェアラブルカメラ、ヘッドマウントディスプレイおよび電子めがね
【課題】高精度に眼電位を算出する。
【解決手段】右眼角膜および右眼網膜のそれぞれから任意の３次元空間位置までの距離である右眼角膜距離および右眼網膜距離と、左眼角膜および左眼網膜のそれぞれから任意の３次元空間位置までの距離である左眼角膜距離および左眼網膜距離とを取得する距離取得部１１と、距離取得部１１が取得した右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離を、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離から任意の３次元空間位置に発生する眼電位理論値を算出するための関数である眼電位モデルの入力とすることにより、任意の３次元空間位置に発生する眼電位理論値を算出する眼電位理論値算出部１３とを備える。
【解決手段】右眼角膜および右眼網膜のそれぞれから任意の３次元空間位置までの距離である右眼角膜距離および右眼網膜距離と、左眼角膜および左眼網膜のそれぞれから任意の３次元空間位置までの距離である左眼角膜距離および左眼網膜距離とを取得する距離取得部１１と、距離取得部１１が取得した右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離を、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離から任意の３次元空間位置に発生する眼電位理論値を算出するための関数である眼電位モデルの入力とすることにより、任意の３次元空間位置に発生する眼電位理論値を算出する眼電位理論値算出部１３とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、眼電位推定装置、眼電位算出方法、視線検出装置、ウェアラブルカメラ、ヘッドマウントディスプレイおよび電子めがねに関する。
【背景技術】
【０００２】
従来、眼電位（ＥＯＧ、ＥｌｅｃｔｒｏＯｃｕｌｏＧｒａｐｈｙ）を用いた視線検出技術がよく知られている。これは、角膜の正電荷、網膜の負電荷により発生した電位（眼電位）を、目の周辺に貼り付けた複数の電極により測定することで、視線を検出する技術である。この技術は、カメラを用いて眼球を撮影する視線検出方式とは異なり、視野を妨げず、外光の影響も受けず、目の形状および開眼状態によらず、低消費電力であるなどの利点を有し、様々な機器への応用が期待される。
【０００３】
しかしながら、従来のＥＯＧを用いた視線検出技術では、視線とＥＯＧの関係が線形近似されているのに対し、実際に測定されるＥＯＧは視線角が大きいほど非線形になる。このため、従来のＥＯＧを用いた視線検出技術は、視線検出精度が低かった（視線誤差５〜１０°）。
【０００４】
＜眼球の電池モデル＞
そこで、ＥＯＧの非線形モデルが非特許文献１に開示されている。非特許文献１では、眼球を角膜がプラス、網膜がマイナスを成す電池とみなし、眼球運動を、電池が回転するものとみなすモデル（電池モデル）を提案している。電極から、角膜中心点、網膜中心点までの距離をそれぞれｒ、ｒ’とし、眼球内部で網膜から角膜に向かって流れる電流をＩ、眼球周辺の導電率をσとするとき、電極に発生する電位ｖは、以下の（式１）により計算される。
【０００５】
【数１】
【０００６】
これにより、ＥＯＧを数式で評価できる可能性を示し、今後の臨床応用（電気生理学的な手法として、目視では得られない眼底からの情報または視路疾患の推定等）に有効な手段であると述べられている。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】伊月他、「眼球常存電位解析のための眼球の電池モデル」、日眼会誌９９巻９号ｐｐ．１０１２−１０１６、１９９５年９月１０日
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、非特許文献１には、「他眼が及ぼすクロストークの影響を組み込んだモデル」、「眼球周辺組織等の影響の考慮」などとの記載はあったが、これらを実現する具体的な方法および式は示されておらず、取り組みも行われていなかった。すなわち、非特許文献１に示される構成では、眼電位モデルによる眼電位の推定精度が低く、このため、視線検出精度が低いという課題を有している。
【０００９】
本発明は、このような課題を解決するものであり、両眼のクロストーク量、頭部内の組織の影響を定式化し、モデルに組み込むことで、高精度に眼電位を算出することができる眼電位推定装置を提供することを目的とする。
【００１０】
また、奥行き方向も含めた３次元視線位置（注視点）の高精度な検出が可能である視線検出装置を提供することも目的とする。
【課題を解決するための手段】
【００１１】
本発明のある局面に係る眼電位推定装置は、生体に発生する眼電位の理論値を推定する眼電位推定装置であって、右眼角膜および右眼網膜のそれぞれから任意の３次元空間位置までの距離である右眼角膜距離および右眼網膜距離と、左眼角膜および左眼網膜のそれぞれから前記任意の３次元空間位置までの距離である左眼角膜距離および左眼網膜距離とを取得する距離取得部と、前記距離取得部が取得した前記右眼角膜距離、前記右眼網膜距離、前記左眼角膜距離および前記左眼網膜距離を、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離から前記任意の３次元空間位置に発生する眼電位理論値を算出するための関数である眼電位モデルの入力とすることにより、前記任意の３次元空間位置に発生する眼電位理論値を算出する眼電位理論値算出部とを備える。
【００１２】
ここで、「任意の３次元空間位置」とは、生体表面または内部などである。本発明は、主に生体皮膚に貼り付けた電極に発生する眼電位の理論値を求めることが目的であるが、これに限らない。
【００１３】
この眼電位推定装置では、「他眼が及ぼすクロストークの影響」の具体的なモデルとして、任意の３次元空間位置に発生する眼電位の理論値を、両眼の角膜および網膜からの距離に応じた関数により、高精度を計算するモデルである。また、クロストーク量が多い領域（両眼の中心付近など）であっても高精度に眼電位を計算できるので、めがねの鼻パッド部を電極にしてもよく、電極貼付位置の自由度を高くすることができる。また、注視点の３次元座標を検出することができ、測距も可能となり、様々な応用が期待される。
【００１４】
好ましくは、前記距離取得部は、左眼の注視点および右眼の注視点が同一点であると仮定することにより、両眼の平行運動成分と、両眼から注視点までの奥行き距離または両眼の輻輳運動成分とから、前記右眼角膜距離、前記右眼網膜距離、前記左眼角膜距離および前記左眼網膜距離を算出する。
【００１５】
通常、両眼の水平・垂直視線角を同定するには、基準電極（グラウンド電極またはリファレンス電極（例えば、耳の横などに設けられる電極））を除くと、４つの電極が必要となるが、この眼電位推定装置では、両眼の視線が３次元空間内の１点で交わる条件を用いるので、電極数が３つで済む（基準電極除く）。また、回路規模削減、計算量削減および高速化の利点もある。なお、「１点で交わる」とは、厳密に１点で交わる必要はなく、多少の誤差を含む概念である。
【００１６】
さらに好ましくは、前記眼電位モデルは、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離のそれぞれに対して個別に設定可能である所定係数を含む。
【００１７】
ここで「所定係数」とは、電荷量、誘電率、電流密度、導電率などに相当する値である。
【００１８】
この眼電位推定装置では、「眼球周辺組織等の影響の考慮」の具体的なモデルとして、骨、筋肉、細胞などの素子の影響を、頭部内を不均一な誘電率空間とみなし、右眼角膜距離、右眼網膜距離、左眼角膜距離、左眼網膜距離に対する各所定係数を個別に設定可能とすることでモデル化する。これにより、高精度に眼電位を算出することができる。
【００１９】
なお、誘電率空間の３次元分布は、頭部内モデルを小領域に分割し、３次元ルックアップテーブルで保持するなどしてもよい。
【００２０】
さらに好ましくは、前記眼電位モデルは、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離をそれぞれｒ1、ｒ2、ｒ3およびｒ4とし、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離を眼電位に変換するための関数をそれぞれｆ1、ｆ2、ｆ3およびｆ4とし、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離のそれぞれに設定可能な所定係数をα1、α2、α3およびα4とし、眼電位理論値を
【数２】
とするとき、
【数３】
であり、α1およびα2は同時に０とはならず、α3およびα4は同時に０とはならない。
【００２１】
さらに好ましくは、 前記眼電位モデルは、
【数４】
である。
【００２２】
また、上述の眼電位推定装置は、さらに、複数の視線位置のそれぞれにおいて、互いに異なる位置に配置された複数の電極のそれぞれにおいて発生する前記眼電位モデルを用いて算出される理論電圧と、前記複数の電極における観測電圧との差が最小になるような前記所定係数α1、α2、α3およびα4を推定するモデルパラメータ推定部を備えてもよい。
【００２３】
好ましくは、前記モデルパラメータ推定部は、複数の電極ｉ（ｉ＝１，…，Ｎ）のそれぞれに対し、Ｍ個の異なる視線位置θj（ｊ＝１，…，Ｍ）における観測電圧をΔｖi＝（Δｖi,1，…，Δｖi,M）t、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離のそれぞれに設定可能な前記所定係数をαi＝（αi,1，αi,2，αi,3，αi,4）t、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離をそれぞれｒi,j,1，ｒi,j,2，ｒi,j,3，ｒi,j,4、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離を変換するための関数をｆi,1，ｆi,2，ｆi,3，ｆi,4とするとき、行列Ａiを、
【数５】
とし、基準電極Ｒに対し、前記Ｍ個の異なる視線位置θj（ｊ＝１，…，Ｍ）における右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離のそれぞれに設定可能な前記所定係数をαR＝（αR,1，αR,2，αR,3，αR,4）t、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離をそれぞれｒR,j,1，ｒR,j,2，ｒR,j,3，ｒR,j,4、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離を変換するための関数をｆR,1，ｆR,2，ｆR,3，ｆR,4とするとき、行列ＡRを
【数６】
とするとき、
【数７】
により前記複数の電極および前記基準電極に対する前記所定係数αiおよびαRをそれぞれ求める。
【００２４】
ここで、「基準電極」とは、リファレンス電極またはグラウンド電極などのことを指す。
【００２５】
また、前記モデルパラメータ推定部は、眼電位の計測対象である生体に対して前後方向の眼球運動における、前記複数の電極における観測電圧を用いて、前記所定係数α1、α2、α3およびα4を推定してもよい。
【００２６】
また、前記モデルパラメータ推定部は、サッケード運動を行うことにより取得される前記複数の電極における観測電圧を用いて、前記所定係数α1、α2、α3およびα4を推定してもよい。
【００２７】
また、前記眼電位モデルは、眼電位理論値とユーザの視線方向との対応関係を示したルックアップテーブルを用いて構成されてもよい。
【００２８】
これにより、非線形な変換処理を、ハードウェアで構成する場合は少ない回路規模で実現でき、ソフトウェアで構成する場合は計算量を削減でき、また、高速処理が可能となる。
【００２９】
また、上述の眼電位推定装置は、さらに、ユーザの両眼の間に配置され、眼電位を測定し、眼電位原信号を出力する少なくとも１つの電極を備えてもよい。
【００３０】
例えば、顔の左側面および右側面に電極を配置した場合、輻輳運動により、左眼角膜が左側面の電極から離れる距離と、右眼角膜が右側面の電極から離れる距離は（ほぼ）同一であり、同様に、左眼網膜が左側面の電極に近づく距離と、右眼網膜が右側面の電極に近づく距離は（ほぼ）同一であるため、これらの電極の差動電圧には、輻輳運動による眼電位は発生しない。
【００３１】
また、例えば、顔の左側面のみ（または右側面のみ）に２つの電極を配置した場合であっても、その間隔が近ければ、各電極から、角膜が離れる距離はほぼ同一であり、網膜が近づく距離もほぼ同一であるため、この場合も、差動電圧には輻輳運動による眼電位は発生しない。
【００３２】
このため、輻輳運動を検出するためには、少なくとも１つの電極を、両眼の間に配置する必要がある。
【００３３】
好ましくは、前記少なくとも１つの電極は、めがねのフレームに内蔵され、めがねが皮膚と接触する位置に配置されている複数の電極を含んでもよい。
【００３４】
めがねの鼻パッドなどを電極にすることなどにより、両眼の間に少なくとも１つの電極を、デザイン性を妨げずに配置することができる。
【００３５】
また、上述の眼電位推定装置は、さらに、耳の前後に配置され、眼電位を測定し、眼電位原信号を出力する複数の電極を備えてもよい。
【００３６】
本発明の他の局面に係る眼電位算出方法は、眼電位算出装置により、生体に発生する眼電位の理論値を算出する眼電位算出方法であって、右眼角膜および右眼網膜のそれぞれから任意の３次元空間位置までの距離である右眼角膜距離および右眼網膜距離と、左眼角膜および左眼網膜のそれぞれから前記任意の３次元空間位置までの距離である左眼角膜距離および左眼網膜距離とを取得する取得ステップと、前記取得ステップにおいて取得された前記右眼角膜距離、前記右眼網膜距離、前記左眼角膜距離および前記左眼網膜距離を、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離から前記任意の３次元空間位置に発生する眼電位理論値を算出するための関数である眼電位モデルの入力とすることにより、前記任意の３次元空間位置に発生する眼電位理論値を算出する算出ステップとを含む。
【００３７】
本発明のさらに他の局面に係る視線検出装置は、眼電位からユーザの視線方向を検出する視線検出装置であって、眼球運動によって生じる眼電位を測定し、眼電位原信号を出力する眼電位測定部と、ユーザに対して較正指標を提示する較正指標提示部と、前記較正指標提示部によって提示された前記較正指標にユーザの視線位置が移動する際の眼球の急速な運動であるサッケード運動を前記眼電位原信号から検出し、前記サッケード運動の前後における眼電位の変化量である眼電位変化量を出力するサッケード検出部と、前記較正指標提示部によって提示された前記較正指標の位置、及び前記サッケード検出部から出力された前記眼電位変化量に基づいて、右眼角膜および右眼網膜のそれぞれから任意の３次元空間位置までの距離である右眼角膜距離および右眼網膜距離と、左眼角膜および左眼網膜のそれぞれから前記任意の３次元空間位置までの距離である左眼角膜距離および左眼網膜距離と、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離のそれぞれに対して個別に設定可能である所定係数とから前記任意の３次元空間位置に発生する眼電位理論値を算出するための関数である眼電位モデルの前記所定係数を計算する較正パラメータ計算部と、前記眼電位モデルに基づいて、前記眼電位原信号からユーザの視線方向を検出する較正部とを備える。
【００３８】
この視線検出装置では、両眼のクロストーク電位が発生する場合であっても、左眼、右眼の視線角を個別に、また、高精度に検出することができる。また、注視点の３次元座標を検出することができ、測距も可能となる。
【００３９】
好ましくは、前記サッケード検出部は、前記眼電位原信号を所定の時間遅延させて遅延信号を出力する遅延信号生成部と、前記眼電位原信号から前記遅延信号を減算して得られる出力信号を生成する減算部と、前記出力信号のうちの予め定めた閾値を上回る信号をサッケード運動を示すサッケード信号と判定するサッケード判定部とを有し、前記所定の遅延時間は、ユーザが前記較正指標を固視している時間より短い。
【００４０】
本発明のさらに他の局面に係るウェアラブルカメラは、ユーザの視線方向の映像を撮像するウェアラブルカメラであって、撮像部と、上述の視線検出装置と、前記視線検出装置によって検出された視線方向を前記撮像部に撮像させる撮像制御部とを備える。
【００４１】
本発明のさらに他の局面に係るヘッドマウントディスプレイは、ユーザの視線方向にマウスを移動させるヘッドマウントディスプレイであって、画像およびマウスを表示する表示部と、上述の視線検出装置と、前記視線検出装置によって検出された視線方向に表示部に表示されているマウスを移動させる表示制御部とを備える。
【００４２】
本発明のさらに他の局面に係る電子めがねは、ユーザの視線位置に合わせてレンズの焦点を変化させる電子めがねであって、焦点を変化させることができるレンズと、上述の視線検出装置と、前記視線検出装置によって検出された視線位置に合わせて前記レンズの焦点を変化させる焦点制御部とを備える。
【００４３】
本発明のさらに他の局面に係るプログラムは、生体に発生する眼電位の理論値を算出するプログラムであって、右眼角膜および右眼網膜のそれぞれから任意の３次元空間位置までの距離である右眼角膜距離および右眼網膜距離と、左眼角膜および左眼網膜のそれぞれから前記任意の３次元空間位置までの距離である左眼角膜距離および左眼網膜距離とを取得する取得ステップと、前記取得ステップにおいて取得された前記右眼角膜距離、前記右眼網膜距離、前記左眼角膜距離および前記左眼網膜距離を、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離から前記任意の３次元空間位置に発生する眼電位理論値を算出するための関数である眼電位モデルの入力とすることにより、前記任意の３次元空間位置に発生する眼電位理論値を算出する算出ステップとをコンピュータに実行させる。
【発明の効果】
【００４４】
本発明の眼電位推定装置によれば、高精度に眼電位を算出することができる。また、本発明の視線検出装置によれば、奥行き方向も含めた３次元視線位置（注視点）を高精度に検出することができる。
【図面の簡単な説明】
【００４５】
【図１】図１は、本発明の実施の形態１に係る視線検出装置の構成を示すブロック図である。
【図２】図２は、実施の形態１に係る視線検出装置が眼電位モデルのモデルパラメータ（所定係数）を推定する手順を示すフローチャートである。
【図３】図３は、実施の形態１に係る視線検出装置が視線を検出する手順を示すフローチャートである。
【図４】図４は、本発明の実施の形態１における眼電位モデルの模式図である。
【図５】図５は、本発明の実施の形態１における各パラメータの説明図である。
【図６】図６は、本発明の実施の形態１におけるキャリブレーション方法の説明図である。
【図７】図７は、本発明の実施の形態１のメガネ型構成における電極配置例の模式図である。
【図８】図８は、本発明の実施の形態１の耳かけ型構成における電極配置例の模式図である。
【図９】図９は、本発明の実施の形態２に係る視線検出装置のブロック図である。
【図１０】図１０は、較正パラメータの一例であって、対応する眼電位変化量と眼球移動角との組み合わせを複数保持するテーブルを示す図である。
【図１１】図１１は、較正パラメータの他の例であって、対応する眼電位変化量と視線位置との組み合わせを複数保持するテーブルを示す図である。
【図１２】図１２は、サッケード信号を含む眼電位信号の一例を示す図である。
【図１３】図１３は、図１２の眼電位信号から抽出されたサッケード検出信号を説明するための図である。
【図１４】図１４は、ディスプレイに較正指標が表示されている状態を示す図である。
【図１５】図１５は、本発明の実施の形態２に係る視線検出装置の動作を示すフローチャートである。
【図１６】図１６は、本発明の実施の形態２に係るサッケード検出部の例１のブロック図である。
【図１７】図１７は、図１２の眼電位信号に最大値フィルタ処理（単位処理間隔＝０．２５秒）を適用して得られた眼電位信号を示す図である。
【図１８】図１８は、図１２の眼電位信号に最大値フィルタ処理（単位処理間隔＝１．０秒）を適用して得られた眼電位信号を示す図である。
【図１９】図１９は、図１２の眼電位信号に最小値フィルタ処理（単位処理間隔＝０．２５秒）を適用して得られた眼電位信号を示す図である。
【図２０】図２０は、図１２の眼電位信号に最小値フィルタ処理（単位処理間隔＝１．０秒）を適用して得られた眼電位信号を示す図である。
【図２１】図２１は、本発明の実施の形態２に係るサッケード検出部の例２のブロック図である。
【図２２】図２２は、遅延信号生成部の遅延時間を０．２５秒としたときのサッケード検出信号を示す図である。
【図２３】図２３は、遅延信号生成部の遅延時間を１．１秒としたときのサッケード検出信号を示す図である。
【図２４】図２４は、まばたき信号を含む眼電位信号の一例を示す図である。
【図２５】図２５は、図２４の眼電位信号に最小値フィルタ処理を適用して得られた眼電位信号を示す図である。
【図２６】図２６は、図２４の眼電位信号に最大値フィルタ処理を適用して得られた眼電位信号を示す図である。
【図２７】図２７は、本発明の実施の形態３に係るサッケード検出部のブロック図である。
【図２８】図２８は、本発明の実施の形態３に係る合成信号生成部の動作を示すフローチャートである。
【図２９】図２９は、本発明の実施の形態４に係るウェアラブルカメラのブロック図である。
【図３０】図３０は、本発明の実施の形態４に係るウェアラブルカメラをユーザが装着した状態を示す図である。
【図３１】図３１は、本発明の実施の形態５に係るヘッドマウントディスプレイのブロック図である。
【図３２】図３２は、本発明の実施の形態５に係るヘッドマウントディスプレイをユーザが装着した状態を示す図である。
【図３３】図３３は、本発明の実施の形態５に係るヘッドマウントディスプレイの表示部に表示される画像の一例を示す図である。
【図３４】図３４は、本発明の実施の形態６に係る電子めがねのブロック図である。
【図３５】図３５は、本発明の実施の形態６に係る電子めがねをユーザが装着した状態を示す図である。
【図３６】図３６は、本発明の必須の構成要素を示すブロック図である。
【発明を実施するための形態】
【００４６】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００４７】
（実施の形態１）
本発明の第１の実施形態である視線検出装置について説明する。まず、本実施の形態に係る視線検出装置の構成について説明した後、本発明における眼電位モデルについて説明し、次に、そのモデルパラメータの推定法について説明する。最後に、眼電位モデルを用いた視線検出法を説明する。なお、眼電位モデルおよび推定したモデルパラメータを用いれば、頭部の任意の３次元空間位置に発生する眼電位理論値を算出する眼電位推定装置となり、また、視線検出時の眼電位理論値を用いれば、観測電圧から眼電位を分離する眼電位計測装置となるが、以下では、観測電圧からユーザの視線角度を検出する視線検出装置について説明する。
【００４８】
＜１．１ 視線検出装置＞
図１は、本発明の実施の形態１に係る視線検出装置の構成を示すブロック図である。
【００４９】
視線検出装置１は、距離取得部１１と、眼電位理論値算出部１３と、モデルパラメータ推定部１２と、眼電位取得部１４と、視線検出部１５とを含む。
【００５０】
距離取得部１１は、右眼角膜および右眼網膜のそれぞれから任意の３次元空間位置までの距離である右眼角膜距離および右眼網膜距離と、左眼角膜および左眼網膜のそれぞれから任意の３次元空間位置までの距離である左眼角膜距離および左眼網膜距離とを取得する。好ましくは、距離取得部１１は、左眼の注視点および右眼の注視点が同一点であると仮定することにより、両眼の平行運動成分と、両眼から注視点までの奥行き距離または両眼の輻輳運動成分とから、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離を算出する。
【００５１】
眼電位理論値算出部１３は、距離取得部１１が取得した右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離を、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離から任意の３次元空間位置に発生する眼電位理論値を算出するための関数である眼電位モデルの入力とすることにより、任意の３次元空間位置に発生する眼電位理論値を算出する。
【００５２】
ここで、「任意の３次元空間位置」とは、生体表面または内部などである。本実施の形態は、主に生体皮膚に貼り付けた電極に発生する眼電位の理論値を求めることが目的であるが、これに限らない。
【００５３】
眼電位モデルは、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離のそれぞれに対して個別に設定可能である所定係数を含む。
【００５４】
眼電位モデルは、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離をそれぞれｒ1、ｒ2、ｒ3およびｒ4とし、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離を眼電位に変換するための関数をｆ1、ｆ2、ｆ3およびｆ4とし、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離のそれぞれに設定可能な所定係数をα1、α2、α3およびα4とし、眼電位理論値を
【数８】
とするとき、
【数９】
である。
【００５５】
なお、α1およびα2が同時に０になることはないものとする。また、α3およびα4が同時に０になることはないものとする。
【００５６】
また、眼電位モデルは、
【数１０】
と表すこともできる。
【００５７】
モデルパラメータ推定部１２は、複数の視線位置のそれぞれにおいて、互いに異なる位置に配置された複数の電極のそれぞれにおいて発生する眼電位モデルを用いて算出される理論電圧と、複数の電極における観測電圧との差が最小になるように、眼電位モデルに含まれる、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離のそれぞれに対して個別に設定可能である所定係数α1、α2、α3およびα4を推定する。所定係数については後述する。
【００５８】
つまり、モデルパラメータ推定部１２は、複数の電極ｉ（ｉ＝１，…，Ｎ）のそれぞれに対し、Ｍ個の異なる視線位置θj（ｊ＝１，…，Ｍ）における観測電圧をΔｖi＝（Δｖi,1，…，Δｖi,M）t、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離のそれぞれに設定可能な所定係数をαi＝（αi,1，αi,2，αi,3，αi,4）t、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離をそれぞれｒi,j,1，ｒi,j,2，ｒi,j,3，ｒi,j,4、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離を変換するための関数をｆi,1，ｆi,2，ｆi,3，ｆi,4とするとき、行列Ａiを、
【数１１】
とし、基準電極Ｒに対し、Ｍ個の異なる視線位置θj（ｊ＝１，…，Ｍ）における右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離のそれぞれに設定可能な所定係数をαR＝（αR,1，αR,2，αR,3，αR,4）t、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離をそれぞれｒR,j,1，ｒR,j,2，ｒR,j,3，ｒR,j,4、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離を変換するための関数をｆR,1，ｆR,2，ｆR,3，ｆR,4とするとき、行列ＡRを
【数１２】
とするとき、
【数１３】
により複数の電極および基準電極に対する所定係数αiおよびαRをそれぞれ求める。
【００５９】
モデルパラメータ推定部１２は、眼電位の計測対象である生体に対して前後方向の眼球運動における、複数の電極における観測電圧を用いて、所定係数α1、α2、α3およびα4を推定してもよい。
【００６０】
また、モデルパラメータ推定部１２は、サッケード運動を行うことにより取得される複数の電極における観測電圧を用いて、所定係数α1、α2、α3およびα4を推定してもよい。
【００６１】
眼電位取得部１４は、眼球運動によって生じる眼電位を測定し、眼電位原信号を出力する。眼電位取得部１４は、特許請求の範囲の眼電位測定部に相当する。
【００６２】
視線検出部１５は、眼電位モデルに基づいて、眼電位原信号からユーザの視線方向を検出する。視線検出部１５は、特許請求の範囲の較正部に相当する。
【００６３】
図２は、実施の形態１に係る視線検出装置１が眼電位モデルのモデルパラメータ（所定係数）を推定する手順を示すフローチャートである。ここでは、手順のみを説明し、各ステップの詳細については後述する。
【００６４】
まず、距離取得部１１は、３次元視線位置から、後述する右眼角膜距離ｒ1、右眼網膜距離ｒ2、左眼角膜距離ｒ3、左眼網膜距離ｒ4を算出する（Ｓ１）。
【００６５】
眼電位理論値算出部１３は、このとき、電極に生じる眼電位理論値
【数１４】
を算出する（Ｓ２）。
【００６６】
モデルパラメータ推定部１２は、眼電位理論値算出部１３が算出した眼電位理論値に基づいて、モデルパラメータを算出する（Ｓ３）。
【００６７】
図３は、実施の形態１に係る視線検出装置１が視線を検出する手順を示すフローチャートである。ここでは、手順のみを説明し、各ステップの詳細については後述する。
【００６８】
眼電位取得部１４は、眼球運動によって生じる眼電位を測定し、取得する（Ｓ４）。
【００６９】
視線検出部１５は、眼電位取得部１４が取得した眼電位に基づいてユーザの視線を検出する（Ｓ５）。
【００７０】
＜１．２ 眼電位モデル＞
図４は、本発明の実施の形態１における眼電位モデルの模式図（目の位置での頭部断面図）である。この眼電位モデルは、視線検出装置１の眼電位理論値算出部１３において、眼電位理論値を算出する際に用いられる。
【００７１】
眼電位モデルは、頭部内の骨、筋肉および細胞などの素子の影響を、不均一な誘電率空間１００５により表し、右眼角膜電荷１００１、右眼網膜電荷１００２、左眼角膜電荷１００３および左眼網膜電荷１００４により、電極１０００に生じる観測電位の理論値（眼電位理論値）を算出するモデルである。
【００７２】
この眼電位モデルによると、片眼のみでなく他眼からのクロストーク電位を含めて眼電位理論値を計算することができるので、高精度に眼電位理論値を算出することができる。また、クロストーク量が多く発生する電極位置（両眼中心付近）でも、高精度に発生電位を計算できるため、電極貼り付け位置が自由となり、用途に適した位置に電極を装着させることができる。さらに、頭部内の骨、筋肉および細胞などによる不均一な誘電率（または導電率）空間の影響を考慮しているため、より高精度に眼電位理論値を算出することができる。
【００７３】
以下、３次元視線位置θに対する、観測電位理論値ｖを求める処理を詳細に説明する（図２のＳ１、Ｓ２）。
【００７４】
図５に示すように、左眼および右眼のそれぞれの回転中心の中点（両眼中心点）を原点、ユーザに対して右方をｘ軸、上方をｙ軸、前方をｚ軸とする。さらに、両眼間隔をｂ、３次元視線位置（注視点）をθ＝（ｘ、ｙ、ｚ）、両眼の平行運動成分を（θx、θy）、両眼の輻輳運動成分をμ、右眼の水平・垂直視線角を（θrx、θry）、左眼の水平・垂直視線角を（θlx、θly）、注視点距離をＬとする。また、眼球の半径をａ、電極座標を（ｘe，ｙe，ｚe）とする。
【００７５】
ここで、両眼の平行運動成分（θx、θy）のθxは、正面を見ている状態から両眼がｘ軸方向にどれだけの角度動いたかを示し、θyは、正面を見ている状態から両眼がｙ軸方向にどれだけの角度動いたかを示す。つまり、図５に示すように、θxは、両眼中心点と注視点とを結ぶ直線をｘｙ平面（ｘ軸とｙ軸とがなす平面）に投影した投影線とｚ軸とがなす角度を示す。また、θyは、上記投影線と、両眼中心点と注視点とを結ぶ直線とがなす角度を示す。
【００７６】
両眼の輻輳運動成分μは、両眼が同時に内側を向いているときの両眼の視線がなす角度を規定する成分である。つまり、μは、図５に示すように、左眼回転中心点と注視点とを結ぶ直線と、右眼回転中心点と注視点とを結ぶ直線とがなす角度を示す。
【００７７】
右眼の水平・垂直視線角を（θrx、θry）の水平視線角θrxは、正面を見ている状態から右眼がｘ軸方向にどれだけの角度動いたかを示し、垂直視線角θryは、正面を見ている状態から右眼がｙ軸方向にどれだけの角度動いたかを示す。つまり、図５に示すように、水平視線角θrxは、右眼回転中心点と注視点とを結ぶ直線をｘｙ平面に投影した投影線とｚ軸とがなす角度を示す。また、θryは、上記投影線と、右眼回転中心点と注視点とを結ぶ直線とがなす角度を示す。
【００７８】
左眼の水平・垂直視線角を（θlx、θly）の水平視線角θlxは、正面を見ている状態から左眼がｘ軸方向にどれだけの角度動いたかを示し、垂直視線角θlyは、正面を見ている状態から左眼がｙ軸方向にどれだけの角度動いたかを示す。つまり、図５に示すように、水平視線角θlxは、左眼回転中心点と注視点とを結ぶ直線をｘｙ平面に投影した投影線とｚ軸とがなす角度を示す。また、θlyは、上記投影線と、左眼回転中心点と注視点とを結ぶ直線とがなす角度を示す。
【００７９】
３次元視線位置θ＝（ｘ、ｙ、ｚ）の表現方法には様々な方法が存在するが、以下では、両眼の平行運動成分と３次元視線位置（注視点）のｚ座標を用いて、３次元視線位置をθ＝（θx、θy、ｚ）と表す。なお、この他、両眼の輻輳運動成分μを用いて、３次元視線位置をθ＝（θx、θy、μ）と表してもよい。なお、本実施の形態では両眼が同一の注視点を注視しているものとする。
【００８０】
まず、距離取得部１１は、両眼の水平・垂直視線角（θrx、θry、θlx、θly）を、以下の（式２）に従い算出する（図２のＳ１）。
【００８１】
【数１５】
【００８２】
次に、距離取得部１１は、電極から右眼角膜、右眼網膜、左眼角膜、左眼網膜までのそれぞれの距離である右眼角膜距離ｒ1、右眼網膜距離ｒ2、左眼角膜距離ｒ3、左眼網膜距離ｒ4を、以下の（式３）に従い算出する（図２のＳ１）。
【００８３】
【数１６】
【００８４】
また、電極から、右眼角膜、右眼網膜、左眼角膜、左眼網膜までの誘電率をそれぞれε1、ε2、ε3、ε4とし、右眼角膜、右眼網膜、左眼角膜、左眼網膜の電荷量をそれぞれｑ1、ｑ2、ｑ3、ｑ4と定義する。このとき、眼電位理論値算出部１３は、その電極に生じる眼電位理論値
【数１７】
を、以下の（式４）に従い算出する（図２のＳ２）。
【００８５】
【数１８】
【００８６】
なお、ここでは、無限遠を基準電位として眼電位理論値を計算したが、視線が図６に示す基準指標（θx＝θy＝０、ｚ＝所定値）を見ているときの電位を基準電位とする方が扱いやすいため、このときの眼電位をオフセット電位として減じるのが好ましい。ただし、以下では説明を簡単にするためオフセット電位の記述は省略する。
【００８７】
ここで、さらに、電荷量および誘電率は、眼球運動によっては変化しない値であると仮定し、所定係数α1、α2、α3、α4を用いて、（式４）を（式５）のように簡略化する。
【００８８】
【数１９】
【００８９】
なお、ここでは説明の簡単のため、無限遠を基準電位（０Ｖ）としたが、視線が正面視（θx＝θy＝０）のときの眼電位を基準電位とするために、眼電位理論値算出部１３は、正面視のときのオフセット電位を計算し減じるとよい。
【００９０】
＜１．３ モデルパラメータ推定（キャリブレーション）＞
次に、眼電位モデルの未知パラメータ（モデルパラメータ）である、眼球半径ａ、両眼間隔ｂ、電極座標（ｘe，ｙe，ｚe）、所定係数α1、α2、α3、α4のキャリブレーションについて説明する。このキャリブレーション処理はモデルパラメータ推定部１２により実行される（図２のＳ３）。なお、以下では、眼球半径ａおよび両眼間隔ｂは、人間の平均値であるａ＝１２ｍｍおよびｂ＝６５ｍｍとし、モデルパラメータ推定部１２は、電極座標（ｘe，ｙe，ｚe）および所定係数α1、α2、α3、α4のみを推定する。
【００９１】
＜１．３．１ キャリブレーションデータ取得＞
まず、眼電位取得部１４は、キャリブレーション用データ（学習データ）を取得する。図６を用いて、キャリブレーションデータ取得方法について説明する。なお、以下ではサッケード運動（跳躍眼球運動）を用いてキャリブレーションを行うことで、キャリブレーション時のドリフトノイズ（低周波ノイズ）混入を低減させ高精度なキャリブレーションを行う。ただし、ここでは概要のみの説明とし、キャリブレーションのための較正指標の提示方法およびサッケード運動の検出方法などの詳細は実施の形態２において説明する。
【００９２】
（事前準備）
ユーザは、両眼の中心３００１を、モニタ３０００の中心位置３００２に合わせ着席し、モニタ３０００との間に設置した基準指標３００３（ｚ軸上）を注視する。基準指標３００３は、ユーザの親指を目の前に立てて代用するなど、なんでもよいが、動かないものが好ましい。
【００９３】
（データ取得）
（１） モニタ３０００上に較正指標３００４（視線位置θ）が提示されたら、ユーザは較正指標３００４をサッケード運動（跳躍眼球運動）により注視する。このとき、眼電位取得部１４は、サッケード運動による観測電圧変化量Δｖ（ユーザが基準指標３００３を注視している時と較正指標３００４を注視している時の電極における観測電圧の変化量）を検出し、キャリブレーションデータ（θ、Δｖ）を記録する。
【００９４】
（２） 較正指標３００４が消えたら、ユーザは、基準指標３００３を再度注視する。
【００９５】
（３） （１）、（２）を較正指標３００４の１〜１５番（３行５列、水平２５°間隔、垂直１５°間隔で配置）まで繰り返す。
【００９６】
（４） さらに、モニタ３０００の位置を移動、またはユーザ３００５の位置を移動させるなどして、眼電位取得部１４は、複数のｚ位置（例えば、ｚ＝２０ｃｍ、５０ｃｍ、ｚ＝１００ｃｍ、…）においてキャリブレーションデータを取得する。
【００９７】
これにより、ｚ方向（奥行き方向）を含めた、複数の（θ、Δｖ）のデータペア（学習データ、キャリブレーションデータ）が得られる。また、サッケード運動（高速）を用いてキャリブレーションデータを取得するので、キャリブレーションデータにドリフトノイズ（低周波ノイズ）が混入するのを防ぐことができ、高精度なキャリブレーションが可能となる。
【００９８】
＜１．３．２ モデルパラメータ推定＞
次に、モデルパラメータ推定部１２は、眼電位取得部１４が取得したキャリブレーションデータに基づいて、モデルパラメータの推定を行う。つまり、モデルパラメータ推定部１２は、各電極ｉ（ｉ＝１，…，Ｎ）に対するＭ個のキャリブレーションデータ（θj，Δｖi,j）（ｊ＝１，…，Ｍ）に対応する眼電位理論値
【数２０】
を、眼電位モデル（式５）に従って算出する。モデルパラメータ推定部１２は、以下の（式６）に示される、算出した眼電位理論値
【数２１】
と実測された眼電位Δｖi,jとの２乗誤差総和（コスト関数Ｊ）が最小となるモデルパラメータを算出する。
【００９９】
【数２２】
【０１００】
この時、モデルパラメータ推定部１２は、眼電位モデル（式５）のうち、（１）非線形項（距離ｒ1、ｒ2、ｒ3、ｒ4の各逆数項）のパラメータである電極座標（ｘe，ｙe，ｚe）は探索により最適化し、（２）線形パラメータ（所定係数）α1、α2、α3、α4は最小２乗法を用いて数式により最適値を算出する。以下、これを詳細に説明する。
【０１０１】
（１）まず、モデルパラメータ推定部１２は、電極座標（ｘe，ｙe，ｚe）の初期値を設定する。電極座標を探索しない場合は、事前に電極座標を厳密に計測しておく必要があるが、探索する場合は、目視でおおよその座標を初期値として与えておく。
【０１０２】
（２）次に、モデルパラメータ推定部１２は、設定された電極座標における、所定係数α1、α2、α3、α4の最小２乗解を導出する。
【０１０３】
まず、Ｍ個のキャリブレーションデータに対応する眼電位の理論値
【数２３】
を、以下の（式７）で行列表現する。
【０１０４】
【数２４】
【０１０５】
ここでｒj,1、ｒj,2、ｒj,3およびｒj,4は、それぞれ、ｊ番目のキャリブレーションデータ測定時の右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離である。電極座標、およびその他行列Ａに関する全パラメータが設定されているため、行列Ａは定数行列となる。
【０１０６】
これを、各電極ｉ（ｉ＝１，…，Ｎ）に対して用意する。すなわち、すべての眼電位理論値を以下の（式８）で表すものとする。
【０１０７】
【数２５】
【０１０８】
ここで、各電極の電位は、基準電極（リファレンス電極またはグラウンド電極）に対する電位である。このため、距離取得部１１および眼電位理論値算出部１３は、以下の（式９）で示される基準電極Ｒの眼電位理論値も同様に算出する。
【０１０９】
【数２６】
【０１１０】
これにより、モデルパラメータ推定部１２は、各電極に生じる、基準電極に対する電位
【数２７】
を、以下の（式１０）に従い算出し、以下の（式１１）で示すコスト関数Ｊが最小になるαi（ｉ＝１，…，Ｎ），αRを求める。
【０１１１】
【数２８】
【数２９】
【０１１２】
つまり、以下の（式１２）を解いて、解を行列表現すると、以下の（式１３）に示される正規方程式が得られる。
【０１１３】
【数３０】
【数３１】
【０１１４】
この正規方程式を解くと、以下の（式１４）が得られる。
【０１１５】
【数３２】
【０１１６】
つまり、モデルパラメータ推定部１２は、（式１４）に従って所定係数αRおよびαiを計算することにより、コスト関数Ｊ（式１１）の最小２乗解を得ることができる。なお、正規方程式を直接解く方法以外にも、ハウスホルダーＱＲ分解法などを用いて、コスト関数Ｊ（式１１）の最小２乗解を計算してもよい。
【０１１７】
モデルパラメータ推定部１２は、以上説明した（１）および（２）の処理を、コスト関数Ｊ（式１１）が所定の誤差範囲内に収まるまで繰り返すことにより、電極座標（ｘe，ｙe，ｚe）を非線形最適化手法（最急降下法、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法など）により探索する。また、モデルパラメータ推定部１２は、電極探索範囲を設定し、所定の粒度で電極座標を全探索してもよい。例えば、電極がずれる範囲は最大でも５ｃｍ以下であることが多いため、初期値（電極目測位置）に対して、ｘ、ｙ、ｚ方向にそれぞれ±５ｃｍを探索範囲とし、５ｍｍ間隔で電極座標を探索すればよい。
【０１１８】
以上、本モデルパラメータ推定法では、非線形項パラメータ（電極座標）は探索により最適化し、線形パラメータ（所定係数）は数式により最適値を算出する。このため、高精度かつ高速に最適なモデルパラメータを推定することができる。また、通常、眼電位は、耳の前、耳の裏、耳の穴の中まで発生するが、本方式では、基準電極（リファレンス電極またはグラウンド電極）へ生じる眼電位も考慮することで、高精度な推定が可能であり、また、基準電極の貼付位置も自由となる利点を有している。
【０１１９】
なお、基準電極を、眼電位が発生しない位置（耳たぶ等）に装着させれば、上述の最小２乗解の計算式はより単純になり、計算量・回路規模を削減することができる。また、所定係数α1、α2、α3、α4を、全て同一の値とみなせば、モデル精度は低下するが、より簡単な計算で高速に最適値を求められる。
【０１２０】
＜１．４ 視線検出＞
最後に、視線検出方法を説明する。この方法に基づく視線検出処理は、眼電位取得部１４および視線検出部１５により実行される。
【０１２１】
眼電位取得部１４は、ユーザの眼電位（観測電圧）を取得する（図３のＳ４）。
【０１２２】
視線検出部１５は、観測電圧と、眼電位モデルによる理論電圧の２乗誤差が最小となる視線ベクトルθを探索する。すなわち、視線検出部１５は、以下の（式１５）に従い、シグマの項が最小となる視線ベクトルθを算出する（図３のＳ５）。
【０１２３】
【数３３】
【０１２４】
このとき、各３次元視線位置（θ＝（θx、θy、ｚ））における理論電圧
【数３４】
を、予め、３次元ルックアップテーブルで保持しておくと回路規模削減または計算量削減できるので好ましい。つまり、３次元ルックアップテーブルを参照することにより、観測された電圧から、その電圧に対応する３次元視線位置を一意に導き出すことができる。なお、両眼の視線が１点で交わらない場合などを考慮し、視線位置を４次元（θrx、θry、θlx、θly）で表現し、４次元ルックアップテーブルを保持するようにしてもよい。
【０１２５】
なお、視線ベクトルθを算出する方法は、最小２乗法（式１５）に限られるものではなく、その他の評価関数（高次統計量、エントロピーなど）を用いたもの、カルマンフィルタまたはモンテカルロフィルタなどの手法など、観測値と理論値の誤差を最小化するような方式であれば何でもよい。
【０１２６】
なお、図５に示した各パラメータ間の関係は次のようになる。
【０１２７】
【数３５】
【０１２８】
この関係を用いて、たとえば、注視点距離Ｌを検出することにより、視線検出方法を、距離に応じた処理を実行するアプリケーションに適用することができる。
【０１２９】
なお、複数の電極を貼り付る場合、ｚ方向に離して貼り付けるとよい。これにより、輻輳運動に対する振幅を大きくすることができ、ｚ方向の認識精度が向上する。図７に示すように、めがね４００１に電極４００２を組み込む場合は、鼻パッドの位置４００３、および、フレームが耳に接触する位置４００４に電極を内蔵させるのが好ましい。また、図８に示すように、耳かけ部材に電極４００２を組み込む場合は、耳の前方部および耳後方部に電極４００５および４００６を配置すると良い。
【０１３０】
以上、本発明の実施の形態１における視線検出装置１では、両眼のクロストーク量、眼球周辺組織等の影響を計算に入れた眼電位モデルにより、高精度な３次元視線位置を、少ない電極数（最低３つ）で、自由な電極貼付位置で検出することができる。
【０１３１】
（実施の形態２）
次に、前述したサッケード運動を用いたキャリブレーション方法（以下、較正方法と記載することもある）について詳細に説明する。まず、全体構成を説明し、次に、サッケード検出方法を２通り説明する。また、まばたきによる較正精度劣化に対する対策方法も説明する。なお、下記の各構成は、本発明の効果を減殺しない限り、任意の組み合わせで組み合わせることが出来るものとする。
【０１３２】
また、以下では、眼電位モデルではなく、（式１６）に示す線形モデルおよび線形パラメータαを用いて較正方法を説明するが、眼電位モデルにおいても同様に適用できる。
【０１３３】
＜２．１ 全体構成＞
図９は、本発明の実施の形態２に係る視線検出装置１００の構成を表すブロック図である。図９に示される視線検出装置１００は、較正部１０１と、較正パラメータ更新指示部１０２と、較正指標提示部１０３と、サッケード検出部１０４と、較正パラメータ計算部１０５と、スイッチ１０６とを備える。
【０１３４】
較正部１０１は、ユーザの眼の周囲に貼付されて眼電位を測定し、眼電位原信号を出力する眼電位測定部（図示省略）と、眼電位原信号を視線位置（「視線方向」と読み替えることができる。以下同じ）に変換する。
【０１３５】
較正パラメータ更新指示部１０２は、較正パラメータの更新を指示する。
【０１３６】
較正指標提示部１０３は、較正パラメータ更新指示を受けて較正指標を提示する。
【０１３７】
サッケード検出部１０４は、眼電位原信号からサッケード信号を検出し、検出したサッケード運動の前後における眼電位の変化量である眼電位変化量を出力する。
【０１３８】
較正パラメータ計算部１０５は、サッケード検出部１０４から出力された眼電位変化量および較正指標提示部１０３によって出力された較正指標の位置に基づいて較正パラメータを算出する。
【０１３９】
スイッチ１０６は、眼電位原信号の出力先を較正部１０１及びサッケード検出部１０４のいずれかに切り替える。
【０１４０】
眼電位測定部は、典型的には、ユーザの眼の周辺に貼付される電極である。具体的な貼付方法は特に限定されないが、例えば、目尻および目頭に貼付される電極を組み合わせて使用してもよい。または、電極を眼の上下の一方又は両方に貼付してもよい。さらには、電極をこめかみの上下に貼付してもよい。
【０１４１】
較正部１０１は、予め保持している較正パラメータを用いて、眼電位原信号からユーザの視線位置を算出する。ここで、較正パラメータとは、眼電位原信号を眼球移動角に変換するためのパラメータであり、そのうちの一つとして、以下の（式１６）で用いられる較正係数αが挙げられる。
【０１４２】
一般的に計測眼電位Ｖa-bは、眼球移動角θが一定の範囲内であれば線形に変化することが知られている。つまり、計測眼電位Ｖa-bは較正係数αと眼球移動角θとを用いて以下の（式１６）で近似することができる。
【０１４３】
【数３６】
【０１４４】
ＥＯＧ法を用いた較正時の動作例を説明する。眼電位原信号として眼電位Ｖｅが較正部１０１に入力された場合、較正部１０１は、（式１６）を用いて眼球移動角θを求める。そして、較正部１０１は、移動角θからユーザと注視物体との距離等の情報を用いて視線位置を求める。以上の手順により、較正部１０１は、眼電位から視線位置を求めることができる。なお、ユーザと注視物体との距離を測定する方法は特に限定されないが、例えば、測距センサ等を用いることができる。
【０１４５】
なお、本実施の形態は（式１６）を用いた較正方法に限定されず、図１０に示すような対応する眼電位変化量と眼球移動角との組み合わせを複数保持するテーブルを、較正パラメータとして用いても構わない。さらに、図１１に示すような対応する眼電位とディスプレイ座標やカメラ座標等の視線位置との組み合わせを複数保持するテーブルを、較正パラメータとして用いても構わない。
【０１４６】
較正パラメータ更新指示部１０２は、視線検出開始時等のイベントが発生した場合に、較正指標提示部１０３とスイッチ１０６とに較正パラメータ更新指示信号を出力する。そして、較正パラメータ更新指示部１０２は、較正パラメータの更新を終了する際には、較正パラメータ更新指示信号の出力を停止する。
【０１４７】
スイッチ１０６は、較正パラメータ更新指示に従って、眼電位原信号を較正部１０１及びサッケード検出部１０４のどちらに送信するかを切り替える。
【０１４８】
サッケード検出部１０４は、眼電位原信号からサッケード信号を検出し、それを用いてサッケード発生時の眼電位の変化量を算出する。サッケード（衝動性眼球運動）とは、解像度の低い周辺網膜に映った対象を、解像度の高い網膜中心窩で捉えるために発生する眼球運動であり、その速度は１００〜５００（°／ｓｅｃ）と非常に大きいことが知られている。
【０１４９】
図１２にサッケード信号を含んだ眼電位信号の波形の例を示す。図１２において、点線で囲った部分がサッケードを示す箇所である。サッケードが発生すると、急峻に電位変化が起こった後、一定時間停留（固視）し、再び元の電位まで戻っている。これは、ある指標Ａからある指標Ｂまで眼球をサッケードによって動かし、再び指標Ｂから指標Ａまで眼球をサッケードによって動かした場合の一例である。一般に人間は０．３秒程度の固視と数十ミリ秒のサッケードを繰り返すことによって、周囲の情報を取得している。
【０１５０】
図１２のような眼電位原信号からサッケード信号を検出する方法の一つとして、眼電位原信号に最大値フィルタ処理と最小値フィルタ処理とをそれぞれ適用し、その差分を求める方法がある。この処理の詳細は、後述する。
【０１５１】
図１２に示される眼電位原信号に最大値フィルタ処理及び最小値フィルタ処理を適用することによって得られる出力信号を図１３に示す。図１３に示されるように、サッケードが発生したときのみ、出力信号にピークが現れる。
【０１５２】
サッケード検出部１０４は、上記出力信号のうちの予め定めた閾値を上回る信号をサッケード運動を示すサッケード信号と判定するサッケード判定部（図示省略）をさらに備える。そして、サッケード検出部１０４は、サッケード信号の変化量（すなわち、サッケード運動の前後における眼電位の変化量）を求め、較正パラメータ計算部１０５に出力する。そして、サッケード信号を検出したことを示すサッケード検出信号を較正指標提示部１０３と較正パラメータ計算部１０５とに出力する。
【０１５３】
なお、実施の形態２ではサッケード信号の検出方法として、最小値フィルタと最大値フィルタとを使用したが、高域通過フィルタ等のサッケードを検出するものであればどのような手法でも構わない。また、実施の形態２ではサッケード中に変化した眼電位の変化量を求めたが、サッケード検出信号の振幅そのものを眼電位の変化量として用いても構わない。
【０１５４】
較正指標提示部１０３は、較正パラメータ更新指示を受けると、較正指標をユーザに提示する。そして、サッケード検出部１０４からのサッケード検出信号に従って、較正指標の提示位置を変化させる。
【０１５５】
一例として、図１４のようなディスプレイ１０を用いて較正を行う場合、較正指標提示部１０３は、較正パラメータ更新指示を受け付けたことに応じてディスプレイ１０の中心に第１の較正指標２０を表示させる。その後、較正指標提示部１０３は、サッケード検出信号を受け付けると、第２の較正指標３０を左上に表示させる。そして、較正指標提示部１０３は、再びサッケード検出信号を受けると、次の較正指標を右上等に表示させる。このように、較正指標提示部１０３は、ユーザのサッケードに応じて較正指標の位置を変化させることにより、ユーザにサッケードを誘発することができる。このようにしてユーザのサッケードに応じて変化させた較正指標の位置は、較正パラメータ計算部１０５に出力される。
【０１５６】
なお、実施の形態２では、第１及び第２の較正指標２０、３０をディスプレイ１０に表示したが、較正指標を提示する方法はこれに限定されない。例えば、実空間上にレーザポイント等で較正指標を表示させてもよい。さらには、カメラ等を用いて周辺に存在する物体（例えば、人の顔等）から較正指標を選択し、当該較正指標をユーザに認識させるための音声情報を出力するようにしてもよい。つまり、較正指標提示部１０３は、ユーザが較正指標を特定するための情報を出力するものであればどのようなものであってもよい。
【０１５７】
較正パラメータ計算部１０５は、サッケード検出部１０４からのサッケード検出信号を受けると、眼電位変化量と較正指標位置とを用いて較正パラメータの更新を行う。較正パラメータの一つである較正係数αの計算例を示す。まず、較正パラメータ計算部１０５は、較正指標位置情報と、ユーザと較正指標が表示された物体（典型的には、ディスプレイ）との距離情報等とを用いて、較正指標を見た場合のユーザの眼球移動角θを求める。そして、入力された眼電位変化量Ｖｃおよび眼球移動角θを（式１６）に代入することにより、較正係数αを求めることができる。なお、ユーザとディスプレイとの距離情報の取得方法は特に限定されないが、例えば、測距センサ等を用いてもよいし、ディスプレイから予め定められた距離だけ離れた位置にユーザを立たせてから較正パラメータ更新指示を出力するようにしてもよい。
【０１５８】
次に、図１５を参照して、実施の形態２に係る視線検出装置１００が較正パラメータを更新する手順を説明する。この視線検出装置１００は、外部から較正パラメータ更新指示が入力されたことを契機として、新たな較正パラメータを計算する。
【０１５９】
まず、視線検出装置１００は、較正パラメータ更新指示の入力を監視する（Ｓ１００１）。この較正パラメータ更新指示は、較正パラメータ更新指示部１０２から較正指標提示部１０３及びスイッチ１０６に送信される。較正パラメータ更新指示の入力方法は特に限定されないが、例えば、較正パラメータ更新指示部１０２がユーザからの指示を受け付けてもよいし、視線検出装置１００の電源投入時等の所定のタイミングで自動的に当該指示を発行してもよい。
【０１６０】
次に、較正パラメータ更新指示を受け付けた較正指標提示部１０３（Ｓ１００１でＹｅｓ）は、ユーザに対して第１の較正指標２０を提示する（Ｓ１００２）。また、較正指標提示部１０３は、第１の較正指標２０の位置情報を較正パラメータ計算部１０５に通知する。同様に、較正パラメータ更新指示を受け付けたスイッチ１０６は、眼電位原信号の出力先を較正部１０１からサッケード検出部１０４に切り替える。
【０１６１】
次に、サッケード検出部１０４は、スイッチ１０６を経由して入力される眼電位原信号中にサッケード信号が含まれているか否かを監視する（Ｓ１００３）。ディスプレイ１０上に第１の較正指標２０が表示されると、ユーザの視線が任意の位置から第１の較正指標２０に移動する。このときにサッケード信号が現れる。
【０１６２】
なお、サッケード信号の検出方法は特に限定されないが、例えば、最大値フィルタ、最小値フィルタ、遅延器等を利用して検出する方法がある。詳細は後述する。サッケード信号が検出されると（Ｓ１００３でＹｅｓ）、サッケード検出部１０４は、較正指標提示部１０３にサッケード検出信号を出力する。同様に、較正パラメータ計算部１０５にサッケード検出信号及び眼電位変化量Ｖa-bを出力する。
【０１６３】
次に、サッケード検出信号を受け付けた較正指標提示部１０３は、ユーザに対して全ての較正指標を提示したか否かを判断する（Ｓ１００４）。提示すべき較正指標の数は予め定められていてもよいし、ユーザに対して較正指標の提示を継続するか否かを問い合わせるようにしてもよい。なお、実施の形態２においては、提示すべき較正指標が２個であるとして説明する。
【０１６４】
現時点では第１の較正指標２０しか提示していないので（Ｓ１００４でＮｏ）、較正指標提示部１０３は、次の較正指標を提示する（Ｓ１００２）。具体的には、第１の較正指標２０をディスプレイ１０上から削除すると共に、第２の較正指標３０をディスプレイ１０上に表示させる。また、第２の較正指標３０の位置情報を較正パラメータ計算部１０５に通知する。
【０１６５】
次に、サッケード検出部１０４は、眼電位原信号中にサッケード信号が含まれているか否かを監視する（Ｓ１００３）。第２の較正指標３０がディスプレイ１０上に表示されると、ユーザの視線が第１の較正指標２０から第２の較正指標３０に移動する。このときにサッケード信号が現れる。
【０１６６】
サッケード信号を検出したサッケード検出部１０４は、前回と同様に、サッケード検出信号及び眼電位変化量Ｖa-bを出力する。また、第２の較正指標３０を提示した後のＳ１００４において、較正指標提示部１０３は、全ての較正指標を提示したと判断する（Ｓ１００４でＹｅｓ）。
【０１６７】
次に、較正パラメータ計算部１０５は、較正指標提示部１０３から受信した第１及び第２の較正指標２０、３０の位置情報と、サッケード検出部１０４から受信した第２の較正指標３０を出力した後の眼電位変化量Ｖa-bとに基づいて、新たな較正パラメータを計算する（Ｓ１００５）。具体的には、較正パラメータ計算部１０５は、第１及び第２の較正指標２０、３０の位置情報から眼球移動角θを算出する。そして、較正パラメータ計算部１０５は、眼電位変化量Ｖa-bと眼球移動角θとを（式１６）に代入して、較正係数αを得る。
【０１６８】
なお、実施の形態２では較正パラメータの更新例として較正係数αの計算方法について説明したが、較正パラメータの更新方法はこれに限定されない。例えば、較正パラメータ計算部１０５に入力された眼電位変化量と、眼球移動角や較正指標位置とを用いて、図１０及び図１１に示すような対応する眼電位変化量と眼球移動角や視線位置との組み合わせを複数保持するテーブルを更新しても構わない。この場合、提示すべき較正指標の総数を増やすことにより、図１０及び図１１のテーブルのレコード数が増加するので、より信頼性の高い較正パラメータを得ることができる。
【０１６９】
以上に示した実施の形態２の構成によれば、眼電位原信号からサッケード信号を検出し、サッケード運動中に発生した眼電位の変化量を用いて較正パラメータの更新を行う。その結果、従来方式の課題であったドリフトの影響を受けずに正しく較正パラメータを求めることができる。
【０１７０】
また、ユーザのサッケードを誘発しながら較正パラメータを更新することができる。その結果、ユーザは較正指標を眼で追うだけでよく、較正時のユーザの負担を軽減することができる。
【０１７１】
また、較正パラメータを、図１０及び図１１に示されるようなテーブルとして保持することにより、較正時間を短縮することができる。
【０１７２】
また、較正パラメータを眼電位変化量Ｖa-bと眼球移動角θとの関数の傾き（較正係数α）として保持することにより、メモリを削減できる。
【０１７３】
なお、サッケード検出部１０４において、高域通過フィルタによってサッケード信号を検出してもよい。なお、サッケード信号は、上記の視線検出装置１００に限らず、医療機器、運転支援機器、およびユーザインタフェース等の分野において、ユーザの眼球運動や状態を検出する上で広く利用されている。そのため、高精度かつ簡易にサッケード信号を検出することは非常に有効である。
【０１７４】
また、（式１６）の代わりに、（式５）に示した眼電位モデルを用いることも可能である。この場合には、較正パラメータ計算部１０５は、実施の形態１に示したモデルパラメータ推定方法に従い、所定係数α1、α2、α3、α4を算出する。
【０１７５】
＜２．２．１ サッケード検出方法その１（ＭＩＮ／ＭＡＸフィルタ）＞
図１６は、本発明の実施の形態２に係るサッケード検出部２００の構成を表すブロック図である。図１６に示されるサッケード検出部２００は、眼電位原信号に最大値フィルタ処理を適用する最大値フィルタ部（第１のフィルタ処理部）２０１と、眼電位原信号に最小値フィルタ処理を適用する最小値フィルタ部（第２のフィルタ処理部）２０２と、減算部２０３とを備える。
【０１７６】
より具体的には、最大値フィルタ部２０１と最小値フィルタ部２０２とが並列に接続されている。最大値フィルタ部２０１は、眼電位原信号に最大値フィルタ処理を施して第１の眼電位信号を出力する。最小値フィルタ部２０２は、眼電位原信号に最小値フィルタ処理を施して第２の眼電位信号を出力する。そして、減算部２０３は、第１の眼電位信号から第２の眼電位信号を減算して出力信号を生成する。
【０１７７】
なお、本発明は、眼球の左右に電極を貼付する場合や、眼から離れた位置に電極を貼付する計測方法のように、ユーザのまばたき成分が眼電位原信号に混入されない場合を対象としており、そのような計測方法時のサッケード信号の検出に関して説明する。
【０１７８】
次に、図１６の最大値フィルタ部２０１の処理について説明する。最大値フィルタ部２０１は、眼電位原信号ｆ（ｘ）に対し、以下のフィルタ処理を適用する。
【０１７９】
ｆｍａｘ（ｘ）＝ｍａｘ（ｆｍａｘ（ｘ），ｆ（ｘ＋ｉ））
ｎが奇数の場合（−ｎ／２＜ｉ＜ｎ／２）
ｎが偶数の場合（−ｎ／２≦ｉ＜ｎ／２）または（−ｎ／２＜ｉ≦ｎ／２）
【０１８０】
ここで、ｆｍａｘ（ｘ）は最大値フィルタ処理適用後の眼電位信号、ｎはフィルタタップ数、ｉは整数である。また、ｍａｘ（ａ，ｂ）はａ及びｂのうち大きい方の値を返す関数である。つまり、最大値フィルタ処理は、眼電位原信号中の任意のサンプルｆ（ｘ）を中心とするｎサンプルのうちの最も振幅の大きいサンプル値を出力する。この処理を眼電位原信号の全てのサンプルについて実行することにより、第１の眼電位信号を得ることができる。
【０１８１】
上記フィルタ処理を、図１２の眼電位原信号に適用した例を図１７に示す。なお、眼電位原信号からサッケード信号を検出するために、最大値フィルタ処理の単位処理間隔を０．２５秒としている。単位処理間隔は、１回の最大値フィルタ処理の対象となるサンプルが含まれる時間間隔を示す。また、最大値フィルタ部２０１のフィルタタップ数ｎは、単位処理間隔（０．２５秒）に含まれるサンプル数である。すなわち、フィルタタップ数ｎは、単位処理間隔と、眼電位原信号をＡ／Ｄ変換する際のサンプリング周波数とに基づいて算出することができる。
【０１８２】
図１７に示すように、眼電位原信号に最大値フィルタ処理を適用すると、正の信号は時間方向に広がり、負の信号は時間方向に狭くなる。ただし、最大値フィルタ部２０１の単位処理間隔を一般的な１回の固視時間（０．３秒から０．４秒程度）より大きくすると、図１８に示されるように、負の方向のサッケード波形が破綻する。図１８は、単位処理間隔を１．０秒として最大値フィルタ処理を実行した例である。図１８のようにサッケード波形が破綻すると、サッケード信号を検出できなくなるため、最大値フィルタ部２０１の単位処理間隔は、一般的な１回の固視時間より短くする必要がある。
【０１８３】
なお、実施の形態２では、最大値フィルタ処理の単位処理間隔を０．２５秒とした例を示したが、一般的な１回の固視時間より短ければどのような値であってもよい。
【０１８４】
次に最小値フィルタ部２０２の処理について説明する。最小値フィルタ部２０２は、眼電位原信号ｆ（ｘ）に対して、以下のフィルタ処理を適用する。
【０１８５】
ｆｍｉｎ（ｘ）＝ｍｉｎ（ｆｍｉｎ（ｘ），ｆ（ｘ＋ｉ））
ｎが奇数の場合（−ｎ／２＜ｉ＜ｎ／２）
ｎが偶数の場合（−ｎ／２≦ｉ＜ｎ／２）または（−ｎ／２＜ｉ≦ｎ／２）
【０１８６】
ここで、ｆｍｉｎ（ｘ）は最小値フィルタ処理適用後の眼電位信号、ｎはフィルタタップ数、ｉは整数である。また、ｍｉｎ（ａ，ｂ）はａ及びｂのうち小さい方の値を返す関数である。つまり、最小値フィルタ処理は、眼電位原信号中の任意のサンプルｆ（ｘ）を中心とするｎサンプルのうちの最も振幅の小さいサンプル値を出力する。この処理を眼電位原信号の全てのサンプルについて実行することにより、第２の眼電位信号を得ることができる。
【０１８７】
上記フィルタ処理を、図１２の眼電位原信号に適用した例を図１９に示す。
【０１８８】
図１９では、眼電位原信号からサッケード信号を検出するために、最小値フィルタ処理の単位処理間隔を０．２５秒としている。
【０１８９】
図１９に示すように、眼電位原信号に最小値フィルタ処理を適用すると、正の信号は時間方向に狭くなり、負の信号は時間方向に広がる。ここで、最小値フィルタ部２０２の単位処理間隔を一般的な１回の固視時間より大きくすると、図２０に示されるように、正の方向のサッケード波形が破綻する。図２０は、単位処理間隔を１．０秒として最小値フィルタ処理を実行した例である。図２０のようにサッケード波形が破綻すると、サッケード成分を検出できなくなるため、最小値フィルタ部２０２の単位処理間隔は、一般的な１回の固視時間より短くする必要がある。
【０１９０】
なお、実施の形態２では、最小値フィルタ部の単位処理間隔を０．２５秒とした例を示したが、一般的な１回の固視時間より短ければ、どのような値であってもよい。
【０１９１】
次に、減算部２０３の処理について説明する。減算部２０３は、最大値フィルタ部２０１から出力される第１の眼電位信号ｆｍａｘ（ｘ）から、最小値フィルタ部２０２から出力される第２の眼電位信号ｆｍｉｎ（ｘ）を減算することにより、サッケード信号の抽出を行う。
【０１９２】
図１７に示される第１の眼電位信号と、図１９に示される第２の眼電位信号との差分をとった信号を図１３に示す。図１３を参照すれば、サッケードの発生した時間帯を含む検出信号が得られていることがわかる。
【０１９３】
サッケード検出部２００は、図１３に示されるような出力信号に基づいてサッケード検出信号及び眼電位変化量を生成し、較正指標提示部１０３及び較正パラメータ計算部１０５に出力する。例えば、サッケード運動に要する時間に相当する時間内におけるサンプル値の変化量が予め定めた閾値を上回った場合にサッケード運動が発生したと判定し、サッケード検出信号を出力する。また、このときのサンプル値の変化量を眼電位変化量として出力する。
【０１９４】
なお、実施の形態２では、最大値フィルタ部２０１及び最小値フィルタ部２０２を用いたが、最大値や最小値に近い値を選択するフィルタを使用しても構わない。その場合、最大値・最小値に対して、９０％程度の値を選択するものであることが望ましい。
【０１９５】
また、実施の形態２では、最大値フィルタ部２０１及び最小値フィルタ部２０２の単位処理間隔（フィルタタップ数）を同じ値に設定した例を示したが、異なる値を設定してもよい。
【０１９６】
以上に示した実施の形態２の構成によれば、眼電位原信号に最大値フィルタ処理と最小値フィルタ処理とをそれぞれ適用し、最大値フィルタ処理適用後の第１の眼電位信号から最小値フィルタ処理適用後の第２の眼電位信号を減算してサッケード信号を検出する。
【０１９７】
なお、この他、最大値フィルタ処理適用後の信号から眼電位原信号を減算する方法、眼電位原信号から最小値フィルタ処理適用後の信号を減算する方法がある。これらの場合、検出されるサッケード信号の時刻が本来の時刻と多少前後する場合があるが、キャリブレーションが目的であれば、それほど問題にならない。
【０１９８】
以上により、サッケードの発生時刻を含んだサッケード信号を簡易に取得できる。
【０１９９】
＜２．２．２ サッケード検出方法その２（遅延器）＞
次に、実施の形態２に係るサッケード検出部の他の例として、サッケード検出部５００のブロック図を図２１に示す。
【０２００】
実施の形態２に係るサッケード検出部５００は、遅延信号生成部５０１と、減算部２０３とで構成される。遅延信号生成部５０１は、眼電位原信号を所定の時間遅延させて遅延信号を出力する。また、サッケード検出部５００に入力する眼電位原信号は、２つに分岐する。そして、一方は遅延信号生成部５０１を通過して遅延信号として減算部２０３に入力し、他方は減算部２０３に直接入力する。そして、減算部２０３は、眼電位原信号から遅延信号を減算してサッケード信号を出力する。この遅延信号生成部５０１を備えることによって、正負の符号付のサッケード信号を簡易に取得できる。
【０２０１】
図２１に示される遅延信号生成部５０１の処理について説明する。遅延信号生成部５０１は、眼電位原信号ｆ（ｘ）に対し、以下の処理を適用する。
【０２０２】
ｆｄｅｌａｙ（ｘ）＝ｆ（ｘ−ｔ）
ここで、ｆｄｅｌａｙ（ｘ）は遅延処理後の眼電位原信号（遅延信号）、ｔは遅延時間である。上記遅延処理を、図１２に示される眼電位原信号に適用することによって遅延信号が得られる。そして、減算部２０３によって、眼電位原信号から遅延信号を減算した例を図２２に示す。なお、眼電位原信号から符号付のサッケード成分を検出するために、遅延時間ｔ＝０．２５秒としている。図２２を参照すれば、サッケードの発生した時間帯を含む符号付のサッケード信号が得られていることがわかる。
【０２０３】
このサッケード検出部５００は、図２２に示されるような減算部２０３からの出力信号に基づいてサッケード検出信号及び眼電位変化量を生成し、較正指標提示部１０３及び較正パラメータ計算部１０５に出力する。例えば、サッケード運動に要する時間に相当する時間内においてサンプル値の変化量が予め定めた閾値を上回った場合にサッケード運動が発生したと判定し、サッケード検出信号を出力する。また、このときのサンプル値の変化量を眼電位変化量として出力する。
【０２０４】
ここで、遅延時間ｔを一般的な１回の固視時間（０．３秒から０．４秒程度）より大きくすると、図２３に示されるように、サッケード信号が破綻する。図２３は、遅延時間ｔとして１．１秒を用いた例である。図２３のようにサッケード信号が破綻すると、サッケード信号を抽出できなくなるため、遅延信号生成部５０１の遅延時間ｔは、一般的な１回の固視時間より短くする必要がある。なお、実施の形態２では、０．２５秒の遅延時間を適用する例を示したが、一般的な１回の固視時間より短い遅延時間であれば、どのような値でも構わない。
【０２０５】
以上に示した実施の形態２の構成によれば、眼電位原信号から遅延信号を生成し、眼電位原信号から遅延信号を減算して符号付のサッケード信号を検出するため、正負のサッケード信号を区別できる点において有効である。
【０２０６】
＜２．３ まばたき信号除去方法＞
次に、まばたきの影響を考慮した較正方法を説明する。
【０２０７】
ユーザがまばたきを行うと、図２４中の領域（ａ）に示すように、正の方向に急峻な電位（これが「まばたき信号」である）が発生する場合がある。このため、上記方法のみでは、サッケード信号のみを抽出できず、較正精度が劣化する場合がある。
【０２０８】
そこで、まず、最小値フィルタを適用することで、図２５に示すように、まばたき信号が除去される。しかしながら、これだけでは、サッケード運動による電圧変化（サッケード成分）部が変形してしまう。そこで、さらに最大値フィルタを適用することで、図２６に示すようにサッケード成分を復元する。
【０２０９】
なお、電極貼り付け位置によっては、まばたき信号の符号が負になる場合がある。負の場合には、最大値フィルタおよび最小値フィルタの適用順序を逆にすればよい。
【０２１０】
また、最小値フィルタおよび最大値フィルタのフィルタ長を、一般的な１回のまばたきの時間（０．１５秒から０．２秒程度）より長く、かつ、１回の固視時間（０．３秒から０．４秒程度）より短い値とするとよい。
【０２１１】
また、まばたき信号の除去だけを目的とする場合には、最小値フィルタおよび最大値フィルタのどちらか一方のみを適用してもよい。
【０２１２】
以上により、まばたき信号を除去した信号を、眼電位原信号として、図４に示されるスイッチ１０６に入力する。これにより、まばたきの影響を受けずに、高精度に較正を行うことができる。このまばたき信号の除去は、視線検出装置１００の外部に設けられた図示しないまばたき信号除去部により実行される。
【０２１３】
（実施の形態３）
次に、実施の形態３に係るサッケード検出装置のブロック図を図２７に示す。実施の形態３は、眼電位原信号を多チャンネルで計測する際のサッケード検出装置に関するものである。このサッケード検出装置は、図９に示した実施の形態２に係る視線検出装置１００のサッケード検出部１０４の代わりに用いられる。
【０２１４】
実施の形態３に係るサッケード検出装置は、多チャンネルの眼電位原信号から合成信号を生成する合成信号生成部２００１と、サッケード検出部２０００とで構成される。
【０２１５】
合成信号生成部２００１は、例えば、入力された眼電位原信号ＥＯＧ０ｃｈ〜ＥＯＧＮｃｈのうち、眼球運動に対して眼電位が同位相で計測される計測チャンネルを用いて加算平均をとり、加算平均をした同位相同士を減算して差動増幅することで合成信号を生成することが考えられる。具体的な処理手順を図２８に示す。
【０２１６】
まず、眼電位が同位相となる計測チャンネルのグルーピングを行う（Ｓ１０００１）。ここで、眼電位が同位相であるかどうかは、例えば、顔の右側、左側等の計測位置によって判断することができる。なお、計測位置だけではなく、計測された眼電位信号の特徴から動的に判別しても構わない。次に、グルーピングされた各グループの加算平均をそれぞれ計算する（Ｓ１０００２）。そして、加算平均した各グループの同位相信号をグループ間で減算することで差動増幅を行い（Ｓ１０００３）、合成信号として出力する（Ｓ１０００４）。
【０２１７】
サッケード検出部２０００は合成信号生成部２００１が生成した合成信号を用いてサッケード検出信号を生成する。サッケード検出信号の生成の仕方は実施の形態２のサッケード検出部１０４と同様である。
【０２１８】
このサッケード検出部２０００は、サッケード検出信号および振幅情報を生成し、図９に示す較正指標提示部１０３、較正パラメータ計算部１０５に出力する。例えば、サッケード運動に要する時間に相当する時間内におけるサンプル値の変化量が予め定めた閾値を上回った場合にサッケード運動が発生したと判定し、サッケード検出信号を出力する。また、このときのサンプル値の変化量を振幅情報（眼電位変化量）として出力する。
【０２１９】
以上に示した実施の形態３の構成によれば、多チャンネルの眼電位原信号から、Ｓ／Ｎ比の高い合成信号を生成し、その合成信号を用いてサッケード信号を検出するため、サッケード検出の精度を向上できる点において有効である。
【０２２０】
（実施の形態４）
次に、図２９及び図３０を参照して、本発明の実施の形態４に係るウェアラブルカメラ１６００を説明する。このウェアラブルカメラ１６００は、例えば、ユーザの側頭部に装着され、ユーザの視線方向の映像を撮像する装置である。具体的には、ウェアラブルカメラ１６００は、撮像部１６０１と、撮像制御部１６０２と、視線検出装置１６０３とを備える。
【０２２１】
ウェアラブルカメラ１６００は、例えば、静止画を撮影するカメラであってもよいし、動画を撮影するビデオカメラであってもよい。視線検出装置１６０３には、例えば、実施の形態１に係る視線検出装置１または実施の形態２に係る視線検出装置１００を適用することができる。また、実施の形態４における眼電位計測部としての電極は、図３０に示されるように、ユーザの左眼のこめかみの上下に添付されている。
【０２２２】
そして、撮像制御部１６０２は、視線検出装置１６０３からの出力信号を監視し、ユーザの視線の移動に追従して撮像部１６０１の向きを変えさせる。これにより、撮像部１６０１にユーザの視線方向を撮像させることができる。
【０２２３】
ただし、実施の形態４に係るウェアラブルカメラ１６００は、上記の用途に限定されない。他の用途としては、撮像部１６０１で撮像された映像上に、視線検出装置１６０３で検出されたユーザの視線位置をプロットするような装置や、運転中のドライバーの視線を検出して危険喚起を行う等の装置に適用することもできる。
【０２２４】
（実施の形態５）
次に、図３１および図３２を参照して、本発明の実施の形態５に係るヘッドマウントディスプレイ１７００を説明する。このヘッドマウントディスプレイ１７００は、例えば、めがね形状を有しており、ユーザの眼前に画像を表示し、表示された画像上に示されているマウスをユーザの視線方向に移動させる装置である。具体的には、ヘッドマウントディスプレイ１７００は、表示部１７０１と、表示制御部１７０２と、視線検出装置１７０３とを備える。
【０２２５】
図３３に示すように、表示部１７０１には、各種画像が表示されており、その画像上にマウス１７０４が表示されているものとする。視線検出装置１７０３には、例えば、実施の形態１に係る視線検出装置１または実施の形態２に係る視線検出装置１００を適用することができる。
【０２２６】
そして、表示制御部１７０２は、視線検出装置１７０３からの出力信号を監視し、ユーザの視線の移動に追従して表示部１７０１に表示されているマウス１７０４を移動させる。これにより、例えば、処理実行部（図示せず）は、マウス１７０４が指し示すアイコン１７０５に対応付けられた処理（図３３の例では、映像再生処理）を実行することができる。
【０２２７】
（実施の形態６）
次に、図３４および図３５を参照して、本発明の実施の形態６に係る電子めがね１８００を説明する。この電子めがね１８００は、ユーザの視線位置に合わせてレンズの焦点を変化させることができるめがねである。具体的には、電子めがね１８００は、レンズ１８０１と、焦点制御部１８０２と、視線検出装置１８０３とを備える。
【０２２８】
レンズ１８０１は、ユーザの眼前に位置し、電子的に焦点を変化させることができるレンズである。
【０２２９】
視線検出装置１８０３には、例えば、実施の形態１に係る視線検出装置１または実施の形態２に係る視線検出装置１００を適用することができる。
【０２３０】
そして、焦点制御部１８０２は、視線検出装置１８０３からの出力信号を監視し、ユーザの視線の移動に追従してレンズ１８０１の焦点を変化させる。例えば、ユーザが書籍を読むなどのために近くを見ている場合には、焦点制御部１８０２は、近くに焦点が合うようにレンズ１８０１の焦点を制御する。また、ユーザが遠くの風景を見ている場合には、焦点制御部１８０２は、遠くに焦点が合うようにレンズ１８０１の焦点を制御する。
【０２３１】
なお、本実施の形態においては、ユーザの左眼および右眼は同一点を注視しているものとする。このため、視線検出装置１８０３は、眼電位から視線位置を検出することができる。
【０２３２】
（他の実施の形態）
上記実施の形態において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されてもよいし、一部または全部を含むように１チップ化されてもよい。なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０２３３】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
【０２３４】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
【０２３５】
また、上記実施の形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現してもよい。なお、上記実施の形態に係るウェアラブルカメラをハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施の形態においては、説明便宜のために、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
【０２３６】
上記実施の形態の各処理をソフトウェアにより実現する場合には、ＣＰＵ、ＲＡＭ等の一般的な構成を有するコンピュータ上でプログラムを実行することにより、各処理が実現される。このようなプログラムは、コンピュータ読み取り可能な非一時的な記録媒体に記録されていてもよい。
【０２３７】
図３６は、本発明の必須の構成要素を示す図であり、本発明を眼電位推定装置として実現した場合には、眼電位推定装置は、距離取得部１１と、眼電位理論値算出部１３とを備える。距離取得部１１および眼電位理論値算出部１３は、図１の距離取得部１１および眼電位理論値算出部１３とそれぞれ同様の構成を有する。
【０２３８】
なお、本発明の具体的な構成は、前述の実施の形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【産業上の利用可能性】
【０２３９】
本発明の眼電位推定装置によれば、高精度に眼電位を算出することができるので、電気生理学分野における眼電位の解析などに応用できる。また、本発明の視線検出装置によれば、奥行き方向も含めた３次元視線位置（注視点）を高精度に検出することができるので、ウェアラブル機器（ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがね焦点制御）のインタフェースなど、様々な機器への応用が期待される。
【符号の説明】
【０２４０】
１、１００、１６０３、１７０３、１８０３ 視線検出装置
１０ ディスプレイ
１１ 距離取得部
１２ モデルパラメータ推定部
１３ 眼電位理論値算出部
１４ 眼電位取得部
１５ 視線検出部
２０ 第１の較正指標
３０ 第２の較正指標
１０１ 較正部
１０２ 較正パラメータ指示部
１０３ 較正指標提示部
１０４、２００、５００、２０００ サッケード検出部
１０５ 較正パラメータ計算部
１０６ スイッチ
２０１ 最大値フィルタ部
２０２ 最小値フィルタ部
２０３ 減算部
５０１ 遅延信号生成部
１０００、４００２、４００５、４００６ 電極
１００１ 右眼角膜電荷
１００２ 右眼網膜電荷
１００３ 左眼角膜電荷
１００４ 左眼網膜電荷
１００５ 不均一な誘電率空間
１６００ ウェアラブルカメラ
１６０１ 撮像部
１６０２ 撮像制御部
１７００ ヘッドマウントディスプレイ
１７０１ 表示部
１７０２ 表示制御部
１７０４ マウス
１７０５ アイコン
１８０１ レンズ
１８０２ 焦点制御部
２００１ 合成信号生成部
３０００ モニタ
３００１ 両眼の中心
３００２ 中心位置
３００３ 基準指標
３００４ 較正指標
３００５ ユーザ
４００１ めがね
４００３ 鼻パッドの位置
４００４ フレームが耳に接触する位置
【技術分野】
【０００１】
本発明は、眼電位推定装置、眼電位算出方法、視線検出装置、ウェアラブルカメラ、ヘッドマウントディスプレイおよび電子めがねに関する。
【背景技術】
【０００２】
従来、眼電位（ＥＯＧ、ＥｌｅｃｔｒｏＯｃｕｌｏＧｒａｐｈｙ）を用いた視線検出技術がよく知られている。これは、角膜の正電荷、網膜の負電荷により発生した電位（眼電位）を、目の周辺に貼り付けた複数の電極により測定することで、視線を検出する技術である。この技術は、カメラを用いて眼球を撮影する視線検出方式とは異なり、視野を妨げず、外光の影響も受けず、目の形状および開眼状態によらず、低消費電力であるなどの利点を有し、様々な機器への応用が期待される。
【０００３】
しかしながら、従来のＥＯＧを用いた視線検出技術では、視線とＥＯＧの関係が線形近似されているのに対し、実際に測定されるＥＯＧは視線角が大きいほど非線形になる。このため、従来のＥＯＧを用いた視線検出技術は、視線検出精度が低かった（視線誤差５〜１０°）。
【０００４】
＜眼球の電池モデル＞
そこで、ＥＯＧの非線形モデルが非特許文献１に開示されている。非特許文献１では、眼球を角膜がプラス、網膜がマイナスを成す電池とみなし、眼球運動を、電池が回転するものとみなすモデル（電池モデル）を提案している。電極から、角膜中心点、網膜中心点までの距離をそれぞれｒ、ｒ’とし、眼球内部で網膜から角膜に向かって流れる電流をＩ、眼球周辺の導電率をσとするとき、電極に発生する電位ｖは、以下の（式１）により計算される。
【０００５】
【数１】
【０００６】
これにより、ＥＯＧを数式で評価できる可能性を示し、今後の臨床応用（電気生理学的な手法として、目視では得られない眼底からの情報または視路疾患の推定等）に有効な手段であると述べられている。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】伊月他、「眼球常存電位解析のための眼球の電池モデル」、日眼会誌９９巻９号ｐｐ．１０１２−１０１６、１９９５年９月１０日
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、非特許文献１には、「他眼が及ぼすクロストークの影響を組み込んだモデル」、「眼球周辺組織等の影響の考慮」などとの記載はあったが、これらを実現する具体的な方法および式は示されておらず、取り組みも行われていなかった。すなわち、非特許文献１に示される構成では、眼電位モデルによる眼電位の推定精度が低く、このため、視線検出精度が低いという課題を有している。
【０００９】
本発明は、このような課題を解決するものであり、両眼のクロストーク量、頭部内の組織の影響を定式化し、モデルに組み込むことで、高精度に眼電位を算出することができる眼電位推定装置を提供することを目的とする。
【００１０】
また、奥行き方向も含めた３次元視線位置（注視点）の高精度な検出が可能である視線検出装置を提供することも目的とする。
【課題を解決するための手段】
【００１１】
本発明のある局面に係る眼電位推定装置は、生体に発生する眼電位の理論値を推定する眼電位推定装置であって、右眼角膜および右眼網膜のそれぞれから任意の３次元空間位置までの距離である右眼角膜距離および右眼網膜距離と、左眼角膜および左眼網膜のそれぞれから前記任意の３次元空間位置までの距離である左眼角膜距離および左眼網膜距離とを取得する距離取得部と、前記距離取得部が取得した前記右眼角膜距離、前記右眼網膜距離、前記左眼角膜距離および前記左眼網膜距離を、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離から前記任意の３次元空間位置に発生する眼電位理論値を算出するための関数である眼電位モデルの入力とすることにより、前記任意の３次元空間位置に発生する眼電位理論値を算出する眼電位理論値算出部とを備える。
【００１２】
ここで、「任意の３次元空間位置」とは、生体表面または内部などである。本発明は、主に生体皮膚に貼り付けた電極に発生する眼電位の理論値を求めることが目的であるが、これに限らない。
【００１３】
この眼電位推定装置では、「他眼が及ぼすクロストークの影響」の具体的なモデルとして、任意の３次元空間位置に発生する眼電位の理論値を、両眼の角膜および網膜からの距離に応じた関数により、高精度を計算するモデルである。また、クロストーク量が多い領域（両眼の中心付近など）であっても高精度に眼電位を計算できるので、めがねの鼻パッド部を電極にしてもよく、電極貼付位置の自由度を高くすることができる。また、注視点の３次元座標を検出することができ、測距も可能となり、様々な応用が期待される。
【００１４】
好ましくは、前記距離取得部は、左眼の注視点および右眼の注視点が同一点であると仮定することにより、両眼の平行運動成分と、両眼から注視点までの奥行き距離または両眼の輻輳運動成分とから、前記右眼角膜距離、前記右眼網膜距離、前記左眼角膜距離および前記左眼網膜距離を算出する。
【００１５】
通常、両眼の水平・垂直視線角を同定するには、基準電極（グラウンド電極またはリファレンス電極（例えば、耳の横などに設けられる電極））を除くと、４つの電極が必要となるが、この眼電位推定装置では、両眼の視線が３次元空間内の１点で交わる条件を用いるので、電極数が３つで済む（基準電極除く）。また、回路規模削減、計算量削減および高速化の利点もある。なお、「１点で交わる」とは、厳密に１点で交わる必要はなく、多少の誤差を含む概念である。
【００１６】
さらに好ましくは、前記眼電位モデルは、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離のそれぞれに対して個別に設定可能である所定係数を含む。
【００１７】
ここで「所定係数」とは、電荷量、誘電率、電流密度、導電率などに相当する値である。
【００１８】
この眼電位推定装置では、「眼球周辺組織等の影響の考慮」の具体的なモデルとして、骨、筋肉、細胞などの素子の影響を、頭部内を不均一な誘電率空間とみなし、右眼角膜距離、右眼網膜距離、左眼角膜距離、左眼網膜距離に対する各所定係数を個別に設定可能とすることでモデル化する。これにより、高精度に眼電位を算出することができる。
【００１９】
なお、誘電率空間の３次元分布は、頭部内モデルを小領域に分割し、３次元ルックアップテーブルで保持するなどしてもよい。
【００２０】
さらに好ましくは、前記眼電位モデルは、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離をそれぞれｒ1、ｒ2、ｒ3およびｒ4とし、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離を眼電位に変換するための関数をそれぞれｆ1、ｆ2、ｆ3およびｆ4とし、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離のそれぞれに設定可能な所定係数をα1、α2、α3およびα4とし、眼電位理論値を
【数２】
とするとき、
【数３】
であり、α1およびα2は同時に０とはならず、α3およびα4は同時に０とはならない。
【００２１】
さらに好ましくは、 前記眼電位モデルは、
【数４】
である。
【００２２】
また、上述の眼電位推定装置は、さらに、複数の視線位置のそれぞれにおいて、互いに異なる位置に配置された複数の電極のそれぞれにおいて発生する前記眼電位モデルを用いて算出される理論電圧と、前記複数の電極における観測電圧との差が最小になるような前記所定係数α1、α2、α3およびα4を推定するモデルパラメータ推定部を備えてもよい。
【００２３】
好ましくは、前記モデルパラメータ推定部は、複数の電極ｉ（ｉ＝１，…，Ｎ）のそれぞれに対し、Ｍ個の異なる視線位置θj（ｊ＝１，…，Ｍ）における観測電圧をΔｖi＝（Δｖi,1，…，Δｖi,M）t、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離のそれぞれに設定可能な前記所定係数をαi＝（αi,1，αi,2，αi,3，αi,4）t、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離をそれぞれｒi,j,1，ｒi,j,2，ｒi,j,3，ｒi,j,4、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離を変換するための関数をｆi,1，ｆi,2，ｆi,3，ｆi,4とするとき、行列Ａiを、
【数５】
とし、基準電極Ｒに対し、前記Ｍ個の異なる視線位置θj（ｊ＝１，…，Ｍ）における右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離のそれぞれに設定可能な前記所定係数をαR＝（αR,1，αR,2，αR,3，αR,4）t、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離をそれぞれｒR,j,1，ｒR,j,2，ｒR,j,3，ｒR,j,4、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離を変換するための関数をｆR,1，ｆR,2，ｆR,3，ｆR,4とするとき、行列ＡRを
【数６】
とするとき、
【数７】
により前記複数の電極および前記基準電極に対する前記所定係数αiおよびαRをそれぞれ求める。
【００２４】
ここで、「基準電極」とは、リファレンス電極またはグラウンド電極などのことを指す。
【００２５】
また、前記モデルパラメータ推定部は、眼電位の計測対象である生体に対して前後方向の眼球運動における、前記複数の電極における観測電圧を用いて、前記所定係数α1、α2、α3およびα4を推定してもよい。
【００２６】
また、前記モデルパラメータ推定部は、サッケード運動を行うことにより取得される前記複数の電極における観測電圧を用いて、前記所定係数α1、α2、α3およびα4を推定してもよい。
【００２７】
また、前記眼電位モデルは、眼電位理論値とユーザの視線方向との対応関係を示したルックアップテーブルを用いて構成されてもよい。
【００２８】
これにより、非線形な変換処理を、ハードウェアで構成する場合は少ない回路規模で実現でき、ソフトウェアで構成する場合は計算量を削減でき、また、高速処理が可能となる。
【００２９】
また、上述の眼電位推定装置は、さらに、ユーザの両眼の間に配置され、眼電位を測定し、眼電位原信号を出力する少なくとも１つの電極を備えてもよい。
【００３０】
例えば、顔の左側面および右側面に電極を配置した場合、輻輳運動により、左眼角膜が左側面の電極から離れる距離と、右眼角膜が右側面の電極から離れる距離は（ほぼ）同一であり、同様に、左眼網膜が左側面の電極に近づく距離と、右眼網膜が右側面の電極に近づく距離は（ほぼ）同一であるため、これらの電極の差動電圧には、輻輳運動による眼電位は発生しない。
【００３１】
また、例えば、顔の左側面のみ（または右側面のみ）に２つの電極を配置した場合であっても、その間隔が近ければ、各電極から、角膜が離れる距離はほぼ同一であり、網膜が近づく距離もほぼ同一であるため、この場合も、差動電圧には輻輳運動による眼電位は発生しない。
【００３２】
このため、輻輳運動を検出するためには、少なくとも１つの電極を、両眼の間に配置する必要がある。
【００３３】
好ましくは、前記少なくとも１つの電極は、めがねのフレームに内蔵され、めがねが皮膚と接触する位置に配置されている複数の電極を含んでもよい。
【００３４】
めがねの鼻パッドなどを電極にすることなどにより、両眼の間に少なくとも１つの電極を、デザイン性を妨げずに配置することができる。
【００３５】
また、上述の眼電位推定装置は、さらに、耳の前後に配置され、眼電位を測定し、眼電位原信号を出力する複数の電極を備えてもよい。
【００３６】
本発明の他の局面に係る眼電位算出方法は、眼電位算出装置により、生体に発生する眼電位の理論値を算出する眼電位算出方法であって、右眼角膜および右眼網膜のそれぞれから任意の３次元空間位置までの距離である右眼角膜距離および右眼網膜距離と、左眼角膜および左眼網膜のそれぞれから前記任意の３次元空間位置までの距離である左眼角膜距離および左眼網膜距離とを取得する取得ステップと、前記取得ステップにおいて取得された前記右眼角膜距離、前記右眼網膜距離、前記左眼角膜距離および前記左眼網膜距離を、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離から前記任意の３次元空間位置に発生する眼電位理論値を算出するための関数である眼電位モデルの入力とすることにより、前記任意の３次元空間位置に発生する眼電位理論値を算出する算出ステップとを含む。
【００３７】
本発明のさらに他の局面に係る視線検出装置は、眼電位からユーザの視線方向を検出する視線検出装置であって、眼球運動によって生じる眼電位を測定し、眼電位原信号を出力する眼電位測定部と、ユーザに対して較正指標を提示する較正指標提示部と、前記較正指標提示部によって提示された前記較正指標にユーザの視線位置が移動する際の眼球の急速な運動であるサッケード運動を前記眼電位原信号から検出し、前記サッケード運動の前後における眼電位の変化量である眼電位変化量を出力するサッケード検出部と、前記較正指標提示部によって提示された前記較正指標の位置、及び前記サッケード検出部から出力された前記眼電位変化量に基づいて、右眼角膜および右眼網膜のそれぞれから任意の３次元空間位置までの距離である右眼角膜距離および右眼網膜距離と、左眼角膜および左眼網膜のそれぞれから前記任意の３次元空間位置までの距離である左眼角膜距離および左眼網膜距離と、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離のそれぞれに対して個別に設定可能である所定係数とから前記任意の３次元空間位置に発生する眼電位理論値を算出するための関数である眼電位モデルの前記所定係数を計算する較正パラメータ計算部と、前記眼電位モデルに基づいて、前記眼電位原信号からユーザの視線方向を検出する較正部とを備える。
【００３８】
この視線検出装置では、両眼のクロストーク電位が発生する場合であっても、左眼、右眼の視線角を個別に、また、高精度に検出することができる。また、注視点の３次元座標を検出することができ、測距も可能となる。
【００３９】
好ましくは、前記サッケード検出部は、前記眼電位原信号を所定の時間遅延させて遅延信号を出力する遅延信号生成部と、前記眼電位原信号から前記遅延信号を減算して得られる出力信号を生成する減算部と、前記出力信号のうちの予め定めた閾値を上回る信号をサッケード運動を示すサッケード信号と判定するサッケード判定部とを有し、前記所定の遅延時間は、ユーザが前記較正指標を固視している時間より短い。
【００４０】
本発明のさらに他の局面に係るウェアラブルカメラは、ユーザの視線方向の映像を撮像するウェアラブルカメラであって、撮像部と、上述の視線検出装置と、前記視線検出装置によって検出された視線方向を前記撮像部に撮像させる撮像制御部とを備える。
【００４１】
本発明のさらに他の局面に係るヘッドマウントディスプレイは、ユーザの視線方向にマウスを移動させるヘッドマウントディスプレイであって、画像およびマウスを表示する表示部と、上述の視線検出装置と、前記視線検出装置によって検出された視線方向に表示部に表示されているマウスを移動させる表示制御部とを備える。
【００４２】
本発明のさらに他の局面に係る電子めがねは、ユーザの視線位置に合わせてレンズの焦点を変化させる電子めがねであって、焦点を変化させることができるレンズと、上述の視線検出装置と、前記視線検出装置によって検出された視線位置に合わせて前記レンズの焦点を変化させる焦点制御部とを備える。
【００４３】
本発明のさらに他の局面に係るプログラムは、生体に発生する眼電位の理論値を算出するプログラムであって、右眼角膜および右眼網膜のそれぞれから任意の３次元空間位置までの距離である右眼角膜距離および右眼網膜距離と、左眼角膜および左眼網膜のそれぞれから前記任意の３次元空間位置までの距離である左眼角膜距離および左眼網膜距離とを取得する取得ステップと、前記取得ステップにおいて取得された前記右眼角膜距離、前記右眼網膜距離、前記左眼角膜距離および前記左眼網膜距離を、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離から前記任意の３次元空間位置に発生する眼電位理論値を算出するための関数である眼電位モデルの入力とすることにより、前記任意の３次元空間位置に発生する眼電位理論値を算出する算出ステップとをコンピュータに実行させる。
【発明の効果】
【００４４】
本発明の眼電位推定装置によれば、高精度に眼電位を算出することができる。また、本発明の視線検出装置によれば、奥行き方向も含めた３次元視線位置（注視点）を高精度に検出することができる。
【図面の簡単な説明】
【００４５】
【図１】図１は、本発明の実施の形態１に係る視線検出装置の構成を示すブロック図である。
【図２】図２は、実施の形態１に係る視線検出装置が眼電位モデルのモデルパラメータ（所定係数）を推定する手順を示すフローチャートである。
【図３】図３は、実施の形態１に係る視線検出装置が視線を検出する手順を示すフローチャートである。
【図４】図４は、本発明の実施の形態１における眼電位モデルの模式図である。
【図５】図５は、本発明の実施の形態１における各パラメータの説明図である。
【図６】図６は、本発明の実施の形態１におけるキャリブレーション方法の説明図である。
【図７】図７は、本発明の実施の形態１のメガネ型構成における電極配置例の模式図である。
【図８】図８は、本発明の実施の形態１の耳かけ型構成における電極配置例の模式図である。
【図９】図９は、本発明の実施の形態２に係る視線検出装置のブロック図である。
【図１０】図１０は、較正パラメータの一例であって、対応する眼電位変化量と眼球移動角との組み合わせを複数保持するテーブルを示す図である。
【図１１】図１１は、較正パラメータの他の例であって、対応する眼電位変化量と視線位置との組み合わせを複数保持するテーブルを示す図である。
【図１２】図１２は、サッケード信号を含む眼電位信号の一例を示す図である。
【図１３】図１３は、図１２の眼電位信号から抽出されたサッケード検出信号を説明するための図である。
【図１４】図１４は、ディスプレイに較正指標が表示されている状態を示す図である。
【図１５】図１５は、本発明の実施の形態２に係る視線検出装置の動作を示すフローチャートである。
【図１６】図１６は、本発明の実施の形態２に係るサッケード検出部の例１のブロック図である。
【図１７】図１７は、図１２の眼電位信号に最大値フィルタ処理（単位処理間隔＝０．２５秒）を適用して得られた眼電位信号を示す図である。
【図１８】図１８は、図１２の眼電位信号に最大値フィルタ処理（単位処理間隔＝１．０秒）を適用して得られた眼電位信号を示す図である。
【図１９】図１９は、図１２の眼電位信号に最小値フィルタ処理（単位処理間隔＝０．２５秒）を適用して得られた眼電位信号を示す図である。
【図２０】図２０は、図１２の眼電位信号に最小値フィルタ処理（単位処理間隔＝１．０秒）を適用して得られた眼電位信号を示す図である。
【図２１】図２１は、本発明の実施の形態２に係るサッケード検出部の例２のブロック図である。
【図２２】図２２は、遅延信号生成部の遅延時間を０．２５秒としたときのサッケード検出信号を示す図である。
【図２３】図２３は、遅延信号生成部の遅延時間を１．１秒としたときのサッケード検出信号を示す図である。
【図２４】図２４は、まばたき信号を含む眼電位信号の一例を示す図である。
【図２５】図２５は、図２４の眼電位信号に最小値フィルタ処理を適用して得られた眼電位信号を示す図である。
【図２６】図２６は、図２４の眼電位信号に最大値フィルタ処理を適用して得られた眼電位信号を示す図である。
【図２７】図２７は、本発明の実施の形態３に係るサッケード検出部のブロック図である。
【図２８】図２８は、本発明の実施の形態３に係る合成信号生成部の動作を示すフローチャートである。
【図２９】図２９は、本発明の実施の形態４に係るウェアラブルカメラのブロック図である。
【図３０】図３０は、本発明の実施の形態４に係るウェアラブルカメラをユーザが装着した状態を示す図である。
【図３１】図３１は、本発明の実施の形態５に係るヘッドマウントディスプレイのブロック図である。
【図３２】図３２は、本発明の実施の形態５に係るヘッドマウントディスプレイをユーザが装着した状態を示す図である。
【図３３】図３３は、本発明の実施の形態５に係るヘッドマウントディスプレイの表示部に表示される画像の一例を示す図である。
【図３４】図３４は、本発明の実施の形態６に係る電子めがねのブロック図である。
【図３５】図３５は、本発明の実施の形態６に係る電子めがねをユーザが装着した状態を示す図である。
【図３６】図３６は、本発明の必須の構成要素を示すブロック図である。
【発明を実施するための形態】
【００４６】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００４７】
（実施の形態１）
本発明の第１の実施形態である視線検出装置について説明する。まず、本実施の形態に係る視線検出装置の構成について説明した後、本発明における眼電位モデルについて説明し、次に、そのモデルパラメータの推定法について説明する。最後に、眼電位モデルを用いた視線検出法を説明する。なお、眼電位モデルおよび推定したモデルパラメータを用いれば、頭部の任意の３次元空間位置に発生する眼電位理論値を算出する眼電位推定装置となり、また、視線検出時の眼電位理論値を用いれば、観測電圧から眼電位を分離する眼電位計測装置となるが、以下では、観測電圧からユーザの視線角度を検出する視線検出装置について説明する。
【００４８】
＜１．１ 視線検出装置＞
図１は、本発明の実施の形態１に係る視線検出装置の構成を示すブロック図である。
【００４９】
視線検出装置１は、距離取得部１１と、眼電位理論値算出部１３と、モデルパラメータ推定部１２と、眼電位取得部１４と、視線検出部１５とを含む。
【００５０】
距離取得部１１は、右眼角膜および右眼網膜のそれぞれから任意の３次元空間位置までの距離である右眼角膜距離および右眼網膜距離と、左眼角膜および左眼網膜のそれぞれから任意の３次元空間位置までの距離である左眼角膜距離および左眼網膜距離とを取得する。好ましくは、距離取得部１１は、左眼の注視点および右眼の注視点が同一点であると仮定することにより、両眼の平行運動成分と、両眼から注視点までの奥行き距離または両眼の輻輳運動成分とから、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離を算出する。
【００５１】
眼電位理論値算出部１３は、距離取得部１１が取得した右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離を、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離から任意の３次元空間位置に発生する眼電位理論値を算出するための関数である眼電位モデルの入力とすることにより、任意の３次元空間位置に発生する眼電位理論値を算出する。
【００５２】
ここで、「任意の３次元空間位置」とは、生体表面または内部などである。本実施の形態は、主に生体皮膚に貼り付けた電極に発生する眼電位の理論値を求めることが目的であるが、これに限らない。
【００５３】
眼電位モデルは、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離のそれぞれに対して個別に設定可能である所定係数を含む。
【００５４】
眼電位モデルは、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離をそれぞれｒ1、ｒ2、ｒ3およびｒ4とし、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離を眼電位に変換するための関数をｆ1、ｆ2、ｆ3およびｆ4とし、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離のそれぞれに設定可能な所定係数をα1、α2、α3およびα4とし、眼電位理論値を
【数８】
とするとき、
【数９】
である。
【００５５】
なお、α1およびα2が同時に０になることはないものとする。また、α3およびα4が同時に０になることはないものとする。
【００５６】
また、眼電位モデルは、
【数１０】
と表すこともできる。
【００５７】
モデルパラメータ推定部１２は、複数の視線位置のそれぞれにおいて、互いに異なる位置に配置された複数の電極のそれぞれにおいて発生する眼電位モデルを用いて算出される理論電圧と、複数の電極における観測電圧との差が最小になるように、眼電位モデルに含まれる、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離のそれぞれに対して個別に設定可能である所定係数α1、α2、α3およびα4を推定する。所定係数については後述する。
【００５８】
つまり、モデルパラメータ推定部１２は、複数の電極ｉ（ｉ＝１，…，Ｎ）のそれぞれに対し、Ｍ個の異なる視線位置θj（ｊ＝１，…，Ｍ）における観測電圧をΔｖi＝（Δｖi,1，…，Δｖi,M）t、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離のそれぞれに設定可能な所定係数をαi＝（αi,1，αi,2，αi,3，αi,4）t、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離をそれぞれｒi,j,1，ｒi,j,2，ｒi,j,3，ｒi,j,4、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離を変換するための関数をｆi,1，ｆi,2，ｆi,3，ｆi,4とするとき、行列Ａiを、
【数１１】
とし、基準電極Ｒに対し、Ｍ個の異なる視線位置θj（ｊ＝１，…，Ｍ）における右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離のそれぞれに設定可能な所定係数をαR＝（αR,1，αR,2，αR,3，αR,4）t、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離をそれぞれｒR,j,1，ｒR,j,2，ｒR,j,3，ｒR,j,4、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離を変換するための関数をｆR,1，ｆR,2，ｆR,3，ｆR,4とするとき、行列ＡRを
【数１２】
とするとき、
【数１３】
により複数の電極および基準電極に対する所定係数αiおよびαRをそれぞれ求める。
【００５９】
モデルパラメータ推定部１２は、眼電位の計測対象である生体に対して前後方向の眼球運動における、複数の電極における観測電圧を用いて、所定係数α1、α2、α3およびα4を推定してもよい。
【００６０】
また、モデルパラメータ推定部１２は、サッケード運動を行うことにより取得される複数の電極における観測電圧を用いて、所定係数α1、α2、α3およびα4を推定してもよい。
【００６１】
眼電位取得部１４は、眼球運動によって生じる眼電位を測定し、眼電位原信号を出力する。眼電位取得部１４は、特許請求の範囲の眼電位測定部に相当する。
【００６２】
視線検出部１５は、眼電位モデルに基づいて、眼電位原信号からユーザの視線方向を検出する。視線検出部１５は、特許請求の範囲の較正部に相当する。
【００６３】
図２は、実施の形態１に係る視線検出装置１が眼電位モデルのモデルパラメータ（所定係数）を推定する手順を示すフローチャートである。ここでは、手順のみを説明し、各ステップの詳細については後述する。
【００６４】
まず、距離取得部１１は、３次元視線位置から、後述する右眼角膜距離ｒ1、右眼網膜距離ｒ2、左眼角膜距離ｒ3、左眼網膜距離ｒ4を算出する（Ｓ１）。
【００６５】
眼電位理論値算出部１３は、このとき、電極に生じる眼電位理論値
【数１４】
を算出する（Ｓ２）。
【００６６】
モデルパラメータ推定部１２は、眼電位理論値算出部１３が算出した眼電位理論値に基づいて、モデルパラメータを算出する（Ｓ３）。
【００６７】
図３は、実施の形態１に係る視線検出装置１が視線を検出する手順を示すフローチャートである。ここでは、手順のみを説明し、各ステップの詳細については後述する。
【００６８】
眼電位取得部１４は、眼球運動によって生じる眼電位を測定し、取得する（Ｓ４）。
【００６９】
視線検出部１５は、眼電位取得部１４が取得した眼電位に基づいてユーザの視線を検出する（Ｓ５）。
【００７０】
＜１．２ 眼電位モデル＞
図４は、本発明の実施の形態１における眼電位モデルの模式図（目の位置での頭部断面図）である。この眼電位モデルは、視線検出装置１の眼電位理論値算出部１３において、眼電位理論値を算出する際に用いられる。
【００７１】
眼電位モデルは、頭部内の骨、筋肉および細胞などの素子の影響を、不均一な誘電率空間１００５により表し、右眼角膜電荷１００１、右眼網膜電荷１００２、左眼角膜電荷１００３および左眼網膜電荷１００４により、電極１０００に生じる観測電位の理論値（眼電位理論値）を算出するモデルである。
【００７２】
この眼電位モデルによると、片眼のみでなく他眼からのクロストーク電位を含めて眼電位理論値を計算することができるので、高精度に眼電位理論値を算出することができる。また、クロストーク量が多く発生する電極位置（両眼中心付近）でも、高精度に発生電位を計算できるため、電極貼り付け位置が自由となり、用途に適した位置に電極を装着させることができる。さらに、頭部内の骨、筋肉および細胞などによる不均一な誘電率（または導電率）空間の影響を考慮しているため、より高精度に眼電位理論値を算出することができる。
【００７３】
以下、３次元視線位置θに対する、観測電位理論値ｖを求める処理を詳細に説明する（図２のＳ１、Ｓ２）。
【００７４】
図５に示すように、左眼および右眼のそれぞれの回転中心の中点（両眼中心点）を原点、ユーザに対して右方をｘ軸、上方をｙ軸、前方をｚ軸とする。さらに、両眼間隔をｂ、３次元視線位置（注視点）をθ＝（ｘ、ｙ、ｚ）、両眼の平行運動成分を（θx、θy）、両眼の輻輳運動成分をμ、右眼の水平・垂直視線角を（θrx、θry）、左眼の水平・垂直視線角を（θlx、θly）、注視点距離をＬとする。また、眼球の半径をａ、電極座標を（ｘe，ｙe，ｚe）とする。
【００７５】
ここで、両眼の平行運動成分（θx、θy）のθxは、正面を見ている状態から両眼がｘ軸方向にどれだけの角度動いたかを示し、θyは、正面を見ている状態から両眼がｙ軸方向にどれだけの角度動いたかを示す。つまり、図５に示すように、θxは、両眼中心点と注視点とを結ぶ直線をｘｙ平面（ｘ軸とｙ軸とがなす平面）に投影した投影線とｚ軸とがなす角度を示す。また、θyは、上記投影線と、両眼中心点と注視点とを結ぶ直線とがなす角度を示す。
【００７６】
両眼の輻輳運動成分μは、両眼が同時に内側を向いているときの両眼の視線がなす角度を規定する成分である。つまり、μは、図５に示すように、左眼回転中心点と注視点とを結ぶ直線と、右眼回転中心点と注視点とを結ぶ直線とがなす角度を示す。
【００７７】
右眼の水平・垂直視線角を（θrx、θry）の水平視線角θrxは、正面を見ている状態から右眼がｘ軸方向にどれだけの角度動いたかを示し、垂直視線角θryは、正面を見ている状態から右眼がｙ軸方向にどれだけの角度動いたかを示す。つまり、図５に示すように、水平視線角θrxは、右眼回転中心点と注視点とを結ぶ直線をｘｙ平面に投影した投影線とｚ軸とがなす角度を示す。また、θryは、上記投影線と、右眼回転中心点と注視点とを結ぶ直線とがなす角度を示す。
【００７８】
左眼の水平・垂直視線角を（θlx、θly）の水平視線角θlxは、正面を見ている状態から左眼がｘ軸方向にどれだけの角度動いたかを示し、垂直視線角θlyは、正面を見ている状態から左眼がｙ軸方向にどれだけの角度動いたかを示す。つまり、図５に示すように、水平視線角θlxは、左眼回転中心点と注視点とを結ぶ直線をｘｙ平面に投影した投影線とｚ軸とがなす角度を示す。また、θlyは、上記投影線と、左眼回転中心点と注視点とを結ぶ直線とがなす角度を示す。
【００７９】
３次元視線位置θ＝（ｘ、ｙ、ｚ）の表現方法には様々な方法が存在するが、以下では、両眼の平行運動成分と３次元視線位置（注視点）のｚ座標を用いて、３次元視線位置をθ＝（θx、θy、ｚ）と表す。なお、この他、両眼の輻輳運動成分μを用いて、３次元視線位置をθ＝（θx、θy、μ）と表してもよい。なお、本実施の形態では両眼が同一の注視点を注視しているものとする。
【００８０】
まず、距離取得部１１は、両眼の水平・垂直視線角（θrx、θry、θlx、θly）を、以下の（式２）に従い算出する（図２のＳ１）。
【００８１】
【数１５】
【００８２】
次に、距離取得部１１は、電極から右眼角膜、右眼網膜、左眼角膜、左眼網膜までのそれぞれの距離である右眼角膜距離ｒ1、右眼網膜距離ｒ2、左眼角膜距離ｒ3、左眼網膜距離ｒ4を、以下の（式３）に従い算出する（図２のＳ１）。
【００８３】
【数１６】
【００８４】
また、電極から、右眼角膜、右眼網膜、左眼角膜、左眼網膜までの誘電率をそれぞれε1、ε2、ε3、ε4とし、右眼角膜、右眼網膜、左眼角膜、左眼網膜の電荷量をそれぞれｑ1、ｑ2、ｑ3、ｑ4と定義する。このとき、眼電位理論値算出部１３は、その電極に生じる眼電位理論値
【数１７】
を、以下の（式４）に従い算出する（図２のＳ２）。
【００８５】
【数１８】
【００８６】
なお、ここでは、無限遠を基準電位として眼電位理論値を計算したが、視線が図６に示す基準指標（θx＝θy＝０、ｚ＝所定値）を見ているときの電位を基準電位とする方が扱いやすいため、このときの眼電位をオフセット電位として減じるのが好ましい。ただし、以下では説明を簡単にするためオフセット電位の記述は省略する。
【００８７】
ここで、さらに、電荷量および誘電率は、眼球運動によっては変化しない値であると仮定し、所定係数α1、α2、α3、α4を用いて、（式４）を（式５）のように簡略化する。
【００８８】
【数１９】
【００８９】
なお、ここでは説明の簡単のため、無限遠を基準電位（０Ｖ）としたが、視線が正面視（θx＝θy＝０）のときの眼電位を基準電位とするために、眼電位理論値算出部１３は、正面視のときのオフセット電位を計算し減じるとよい。
【００９０】
＜１．３ モデルパラメータ推定（キャリブレーション）＞
次に、眼電位モデルの未知パラメータ（モデルパラメータ）である、眼球半径ａ、両眼間隔ｂ、電極座標（ｘe，ｙe，ｚe）、所定係数α1、α2、α3、α4のキャリブレーションについて説明する。このキャリブレーション処理はモデルパラメータ推定部１２により実行される（図２のＳ３）。なお、以下では、眼球半径ａおよび両眼間隔ｂは、人間の平均値であるａ＝１２ｍｍおよびｂ＝６５ｍｍとし、モデルパラメータ推定部１２は、電極座標（ｘe，ｙe，ｚe）および所定係数α1、α2、α3、α4のみを推定する。
【００９１】
＜１．３．１ キャリブレーションデータ取得＞
まず、眼電位取得部１４は、キャリブレーション用データ（学習データ）を取得する。図６を用いて、キャリブレーションデータ取得方法について説明する。なお、以下ではサッケード運動（跳躍眼球運動）を用いてキャリブレーションを行うことで、キャリブレーション時のドリフトノイズ（低周波ノイズ）混入を低減させ高精度なキャリブレーションを行う。ただし、ここでは概要のみの説明とし、キャリブレーションのための較正指標の提示方法およびサッケード運動の検出方法などの詳細は実施の形態２において説明する。
【００９２】
（事前準備）
ユーザは、両眼の中心３００１を、モニタ３０００の中心位置３００２に合わせ着席し、モニタ３０００との間に設置した基準指標３００３（ｚ軸上）を注視する。基準指標３００３は、ユーザの親指を目の前に立てて代用するなど、なんでもよいが、動かないものが好ましい。
【００９３】
（データ取得）
（１） モニタ３０００上に較正指標３００４（視線位置θ）が提示されたら、ユーザは較正指標３００４をサッケード運動（跳躍眼球運動）により注視する。このとき、眼電位取得部１４は、サッケード運動による観測電圧変化量Δｖ（ユーザが基準指標３００３を注視している時と較正指標３００４を注視している時の電極における観測電圧の変化量）を検出し、キャリブレーションデータ（θ、Δｖ）を記録する。
【００９４】
（２） 較正指標３００４が消えたら、ユーザは、基準指標３００３を再度注視する。
【００９５】
（３） （１）、（２）を較正指標３００４の１〜１５番（３行５列、水平２５°間隔、垂直１５°間隔で配置）まで繰り返す。
【００９６】
（４） さらに、モニタ３０００の位置を移動、またはユーザ３００５の位置を移動させるなどして、眼電位取得部１４は、複数のｚ位置（例えば、ｚ＝２０ｃｍ、５０ｃｍ、ｚ＝１００ｃｍ、…）においてキャリブレーションデータを取得する。
【００９７】
これにより、ｚ方向（奥行き方向）を含めた、複数の（θ、Δｖ）のデータペア（学習データ、キャリブレーションデータ）が得られる。また、サッケード運動（高速）を用いてキャリブレーションデータを取得するので、キャリブレーションデータにドリフトノイズ（低周波ノイズ）が混入するのを防ぐことができ、高精度なキャリブレーションが可能となる。
【００９８】
＜１．３．２ モデルパラメータ推定＞
次に、モデルパラメータ推定部１２は、眼電位取得部１４が取得したキャリブレーションデータに基づいて、モデルパラメータの推定を行う。つまり、モデルパラメータ推定部１２は、各電極ｉ（ｉ＝１，…，Ｎ）に対するＭ個のキャリブレーションデータ（θj，Δｖi,j）（ｊ＝１，…，Ｍ）に対応する眼電位理論値
【数２０】
を、眼電位モデル（式５）に従って算出する。モデルパラメータ推定部１２は、以下の（式６）に示される、算出した眼電位理論値
【数２１】
と実測された眼電位Δｖi,jとの２乗誤差総和（コスト関数Ｊ）が最小となるモデルパラメータを算出する。
【００９９】
【数２２】
【０１００】
この時、モデルパラメータ推定部１２は、眼電位モデル（式５）のうち、（１）非線形項（距離ｒ1、ｒ2、ｒ3、ｒ4の各逆数項）のパラメータである電極座標（ｘe，ｙe，ｚe）は探索により最適化し、（２）線形パラメータ（所定係数）α1、α2、α3、α4は最小２乗法を用いて数式により最適値を算出する。以下、これを詳細に説明する。
【０１０１】
（１）まず、モデルパラメータ推定部１２は、電極座標（ｘe，ｙe，ｚe）の初期値を設定する。電極座標を探索しない場合は、事前に電極座標を厳密に計測しておく必要があるが、探索する場合は、目視でおおよその座標を初期値として与えておく。
【０１０２】
（２）次に、モデルパラメータ推定部１２は、設定された電極座標における、所定係数α1、α2、α3、α4の最小２乗解を導出する。
【０１０３】
まず、Ｍ個のキャリブレーションデータに対応する眼電位の理論値
【数２３】
を、以下の（式７）で行列表現する。
【０１０４】
【数２４】
【０１０５】
ここでｒj,1、ｒj,2、ｒj,3およびｒj,4は、それぞれ、ｊ番目のキャリブレーションデータ測定時の右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離である。電極座標、およびその他行列Ａに関する全パラメータが設定されているため、行列Ａは定数行列となる。
【０１０６】
これを、各電極ｉ（ｉ＝１，…，Ｎ）に対して用意する。すなわち、すべての眼電位理論値を以下の（式８）で表すものとする。
【０１０７】
【数２５】
【０１０８】
ここで、各電極の電位は、基準電極（リファレンス電極またはグラウンド電極）に対する電位である。このため、距離取得部１１および眼電位理論値算出部１３は、以下の（式９）で示される基準電極Ｒの眼電位理論値も同様に算出する。
【０１０９】
【数２６】
【０１１０】
これにより、モデルパラメータ推定部１２は、各電極に生じる、基準電極に対する電位
【数２７】
を、以下の（式１０）に従い算出し、以下の（式１１）で示すコスト関数Ｊが最小になるαi（ｉ＝１，…，Ｎ），αRを求める。
【０１１１】
【数２８】
【数２９】
【０１１２】
つまり、以下の（式１２）を解いて、解を行列表現すると、以下の（式１３）に示される正規方程式が得られる。
【０１１３】
【数３０】
【数３１】
【０１１４】
この正規方程式を解くと、以下の（式１４）が得られる。
【０１１５】
【数３２】
【０１１６】
つまり、モデルパラメータ推定部１２は、（式１４）に従って所定係数αRおよびαiを計算することにより、コスト関数Ｊ（式１１）の最小２乗解を得ることができる。なお、正規方程式を直接解く方法以外にも、ハウスホルダーＱＲ分解法などを用いて、コスト関数Ｊ（式１１）の最小２乗解を計算してもよい。
【０１１７】
モデルパラメータ推定部１２は、以上説明した（１）および（２）の処理を、コスト関数Ｊ（式１１）が所定の誤差範囲内に収まるまで繰り返すことにより、電極座標（ｘe，ｙe，ｚe）を非線形最適化手法（最急降下法、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法など）により探索する。また、モデルパラメータ推定部１２は、電極探索範囲を設定し、所定の粒度で電極座標を全探索してもよい。例えば、電極がずれる範囲は最大でも５ｃｍ以下であることが多いため、初期値（電極目測位置）に対して、ｘ、ｙ、ｚ方向にそれぞれ±５ｃｍを探索範囲とし、５ｍｍ間隔で電極座標を探索すればよい。
【０１１８】
以上、本モデルパラメータ推定法では、非線形項パラメータ（電極座標）は探索により最適化し、線形パラメータ（所定係数）は数式により最適値を算出する。このため、高精度かつ高速に最適なモデルパラメータを推定することができる。また、通常、眼電位は、耳の前、耳の裏、耳の穴の中まで発生するが、本方式では、基準電極（リファレンス電極またはグラウンド電極）へ生じる眼電位も考慮することで、高精度な推定が可能であり、また、基準電極の貼付位置も自由となる利点を有している。
【０１１９】
なお、基準電極を、眼電位が発生しない位置（耳たぶ等）に装着させれば、上述の最小２乗解の計算式はより単純になり、計算量・回路規模を削減することができる。また、所定係数α1、α2、α3、α4を、全て同一の値とみなせば、モデル精度は低下するが、より簡単な計算で高速に最適値を求められる。
【０１２０】
＜１．４ 視線検出＞
最後に、視線検出方法を説明する。この方法に基づく視線検出処理は、眼電位取得部１４および視線検出部１５により実行される。
【０１２１】
眼電位取得部１４は、ユーザの眼電位（観測電圧）を取得する（図３のＳ４）。
【０１２２】
視線検出部１５は、観測電圧と、眼電位モデルによる理論電圧の２乗誤差が最小となる視線ベクトルθを探索する。すなわち、視線検出部１５は、以下の（式１５）に従い、シグマの項が最小となる視線ベクトルθを算出する（図３のＳ５）。
【０１２３】
【数３３】
【０１２４】
このとき、各３次元視線位置（θ＝（θx、θy、ｚ））における理論電圧
【数３４】
を、予め、３次元ルックアップテーブルで保持しておくと回路規模削減または計算量削減できるので好ましい。つまり、３次元ルックアップテーブルを参照することにより、観測された電圧から、その電圧に対応する３次元視線位置を一意に導き出すことができる。なお、両眼の視線が１点で交わらない場合などを考慮し、視線位置を４次元（θrx、θry、θlx、θly）で表現し、４次元ルックアップテーブルを保持するようにしてもよい。
【０１２５】
なお、視線ベクトルθを算出する方法は、最小２乗法（式１５）に限られるものではなく、その他の評価関数（高次統計量、エントロピーなど）を用いたもの、カルマンフィルタまたはモンテカルロフィルタなどの手法など、観測値と理論値の誤差を最小化するような方式であれば何でもよい。
【０１２６】
なお、図５に示した各パラメータ間の関係は次のようになる。
【０１２７】
【数３５】
【０１２８】
この関係を用いて、たとえば、注視点距離Ｌを検出することにより、視線検出方法を、距離に応じた処理を実行するアプリケーションに適用することができる。
【０１２９】
なお、複数の電極を貼り付る場合、ｚ方向に離して貼り付けるとよい。これにより、輻輳運動に対する振幅を大きくすることができ、ｚ方向の認識精度が向上する。図７に示すように、めがね４００１に電極４００２を組み込む場合は、鼻パッドの位置４００３、および、フレームが耳に接触する位置４００４に電極を内蔵させるのが好ましい。また、図８に示すように、耳かけ部材に電極４００２を組み込む場合は、耳の前方部および耳後方部に電極４００５および４００６を配置すると良い。
【０１３０】
以上、本発明の実施の形態１における視線検出装置１では、両眼のクロストーク量、眼球周辺組織等の影響を計算に入れた眼電位モデルにより、高精度な３次元視線位置を、少ない電極数（最低３つ）で、自由な電極貼付位置で検出することができる。
【０１３１】
（実施の形態２）
次に、前述したサッケード運動を用いたキャリブレーション方法（以下、較正方法と記載することもある）について詳細に説明する。まず、全体構成を説明し、次に、サッケード検出方法を２通り説明する。また、まばたきによる較正精度劣化に対する対策方法も説明する。なお、下記の各構成は、本発明の効果を減殺しない限り、任意の組み合わせで組み合わせることが出来るものとする。
【０１３２】
また、以下では、眼電位モデルではなく、（式１６）に示す線形モデルおよび線形パラメータαを用いて較正方法を説明するが、眼電位モデルにおいても同様に適用できる。
【０１３３】
＜２．１ 全体構成＞
図９は、本発明の実施の形態２に係る視線検出装置１００の構成を表すブロック図である。図９に示される視線検出装置１００は、較正部１０１と、較正パラメータ更新指示部１０２と、較正指標提示部１０３と、サッケード検出部１０４と、較正パラメータ計算部１０５と、スイッチ１０６とを備える。
【０１３４】
較正部１０１は、ユーザの眼の周囲に貼付されて眼電位を測定し、眼電位原信号を出力する眼電位測定部（図示省略）と、眼電位原信号を視線位置（「視線方向」と読み替えることができる。以下同じ）に変換する。
【０１３５】
較正パラメータ更新指示部１０２は、較正パラメータの更新を指示する。
【０１３６】
較正指標提示部１０３は、較正パラメータ更新指示を受けて較正指標を提示する。
【０１３７】
サッケード検出部１０４は、眼電位原信号からサッケード信号を検出し、検出したサッケード運動の前後における眼電位の変化量である眼電位変化量を出力する。
【０１３８】
較正パラメータ計算部１０５は、サッケード検出部１０４から出力された眼電位変化量および較正指標提示部１０３によって出力された較正指標の位置に基づいて較正パラメータを算出する。
【０１３９】
スイッチ１０６は、眼電位原信号の出力先を較正部１０１及びサッケード検出部１０４のいずれかに切り替える。
【０１４０】
眼電位測定部は、典型的には、ユーザの眼の周辺に貼付される電極である。具体的な貼付方法は特に限定されないが、例えば、目尻および目頭に貼付される電極を組み合わせて使用してもよい。または、電極を眼の上下の一方又は両方に貼付してもよい。さらには、電極をこめかみの上下に貼付してもよい。
【０１４１】
較正部１０１は、予め保持している較正パラメータを用いて、眼電位原信号からユーザの視線位置を算出する。ここで、較正パラメータとは、眼電位原信号を眼球移動角に変換するためのパラメータであり、そのうちの一つとして、以下の（式１６）で用いられる較正係数αが挙げられる。
【０１４２】
一般的に計測眼電位Ｖa-bは、眼球移動角θが一定の範囲内であれば線形に変化することが知られている。つまり、計測眼電位Ｖa-bは較正係数αと眼球移動角θとを用いて以下の（式１６）で近似することができる。
【０１４３】
【数３６】
【０１４４】
ＥＯＧ法を用いた較正時の動作例を説明する。眼電位原信号として眼電位Ｖｅが較正部１０１に入力された場合、較正部１０１は、（式１６）を用いて眼球移動角θを求める。そして、較正部１０１は、移動角θからユーザと注視物体との距離等の情報を用いて視線位置を求める。以上の手順により、較正部１０１は、眼電位から視線位置を求めることができる。なお、ユーザと注視物体との距離を測定する方法は特に限定されないが、例えば、測距センサ等を用いることができる。
【０１４５】
なお、本実施の形態は（式１６）を用いた較正方法に限定されず、図１０に示すような対応する眼電位変化量と眼球移動角との組み合わせを複数保持するテーブルを、較正パラメータとして用いても構わない。さらに、図１１に示すような対応する眼電位とディスプレイ座標やカメラ座標等の視線位置との組み合わせを複数保持するテーブルを、較正パラメータとして用いても構わない。
【０１４６】
較正パラメータ更新指示部１０２は、視線検出開始時等のイベントが発生した場合に、較正指標提示部１０３とスイッチ１０６とに較正パラメータ更新指示信号を出力する。そして、較正パラメータ更新指示部１０２は、較正パラメータの更新を終了する際には、較正パラメータ更新指示信号の出力を停止する。
【０１４７】
スイッチ１０６は、較正パラメータ更新指示に従って、眼電位原信号を較正部１０１及びサッケード検出部１０４のどちらに送信するかを切り替える。
【０１４８】
サッケード検出部１０４は、眼電位原信号からサッケード信号を検出し、それを用いてサッケード発生時の眼電位の変化量を算出する。サッケード（衝動性眼球運動）とは、解像度の低い周辺網膜に映った対象を、解像度の高い網膜中心窩で捉えるために発生する眼球運動であり、その速度は１００〜５００（°／ｓｅｃ）と非常に大きいことが知られている。
【０１４９】
図１２にサッケード信号を含んだ眼電位信号の波形の例を示す。図１２において、点線で囲った部分がサッケードを示す箇所である。サッケードが発生すると、急峻に電位変化が起こった後、一定時間停留（固視）し、再び元の電位まで戻っている。これは、ある指標Ａからある指標Ｂまで眼球をサッケードによって動かし、再び指標Ｂから指標Ａまで眼球をサッケードによって動かした場合の一例である。一般に人間は０．３秒程度の固視と数十ミリ秒のサッケードを繰り返すことによって、周囲の情報を取得している。
【０１５０】
図１２のような眼電位原信号からサッケード信号を検出する方法の一つとして、眼電位原信号に最大値フィルタ処理と最小値フィルタ処理とをそれぞれ適用し、その差分を求める方法がある。この処理の詳細は、後述する。
【０１５１】
図１２に示される眼電位原信号に最大値フィルタ処理及び最小値フィルタ処理を適用することによって得られる出力信号を図１３に示す。図１３に示されるように、サッケードが発生したときのみ、出力信号にピークが現れる。
【０１５２】
サッケード検出部１０４は、上記出力信号のうちの予め定めた閾値を上回る信号をサッケード運動を示すサッケード信号と判定するサッケード判定部（図示省略）をさらに備える。そして、サッケード検出部１０４は、サッケード信号の変化量（すなわち、サッケード運動の前後における眼電位の変化量）を求め、較正パラメータ計算部１０５に出力する。そして、サッケード信号を検出したことを示すサッケード検出信号を較正指標提示部１０３と較正パラメータ計算部１０５とに出力する。
【０１５３】
なお、実施の形態２ではサッケード信号の検出方法として、最小値フィルタと最大値フィルタとを使用したが、高域通過フィルタ等のサッケードを検出するものであればどのような手法でも構わない。また、実施の形態２ではサッケード中に変化した眼電位の変化量を求めたが、サッケード検出信号の振幅そのものを眼電位の変化量として用いても構わない。
【０１５４】
較正指標提示部１０３は、較正パラメータ更新指示を受けると、較正指標をユーザに提示する。そして、サッケード検出部１０４からのサッケード検出信号に従って、較正指標の提示位置を変化させる。
【０１５５】
一例として、図１４のようなディスプレイ１０を用いて較正を行う場合、較正指標提示部１０３は、較正パラメータ更新指示を受け付けたことに応じてディスプレイ１０の中心に第１の較正指標２０を表示させる。その後、較正指標提示部１０３は、サッケード検出信号を受け付けると、第２の較正指標３０を左上に表示させる。そして、較正指標提示部１０３は、再びサッケード検出信号を受けると、次の較正指標を右上等に表示させる。このように、較正指標提示部１０３は、ユーザのサッケードに応じて較正指標の位置を変化させることにより、ユーザにサッケードを誘発することができる。このようにしてユーザのサッケードに応じて変化させた較正指標の位置は、較正パラメータ計算部１０５に出力される。
【０１５６】
なお、実施の形態２では、第１及び第２の較正指標２０、３０をディスプレイ１０に表示したが、較正指標を提示する方法はこれに限定されない。例えば、実空間上にレーザポイント等で較正指標を表示させてもよい。さらには、カメラ等を用いて周辺に存在する物体（例えば、人の顔等）から較正指標を選択し、当該較正指標をユーザに認識させるための音声情報を出力するようにしてもよい。つまり、較正指標提示部１０３は、ユーザが較正指標を特定するための情報を出力するものであればどのようなものであってもよい。
【０１５７】
較正パラメータ計算部１０５は、サッケード検出部１０４からのサッケード検出信号を受けると、眼電位変化量と較正指標位置とを用いて較正パラメータの更新を行う。較正パラメータの一つである較正係数αの計算例を示す。まず、較正パラメータ計算部１０５は、較正指標位置情報と、ユーザと較正指標が表示された物体（典型的には、ディスプレイ）との距離情報等とを用いて、較正指標を見た場合のユーザの眼球移動角θを求める。そして、入力された眼電位変化量Ｖｃおよび眼球移動角θを（式１６）に代入することにより、較正係数αを求めることができる。なお、ユーザとディスプレイとの距離情報の取得方法は特に限定されないが、例えば、測距センサ等を用いてもよいし、ディスプレイから予め定められた距離だけ離れた位置にユーザを立たせてから較正パラメータ更新指示を出力するようにしてもよい。
【０１５８】
次に、図１５を参照して、実施の形態２に係る視線検出装置１００が較正パラメータを更新する手順を説明する。この視線検出装置１００は、外部から較正パラメータ更新指示が入力されたことを契機として、新たな較正パラメータを計算する。
【０１５９】
まず、視線検出装置１００は、較正パラメータ更新指示の入力を監視する（Ｓ１００１）。この較正パラメータ更新指示は、較正パラメータ更新指示部１０２から較正指標提示部１０３及びスイッチ１０６に送信される。較正パラメータ更新指示の入力方法は特に限定されないが、例えば、較正パラメータ更新指示部１０２がユーザからの指示を受け付けてもよいし、視線検出装置１００の電源投入時等の所定のタイミングで自動的に当該指示を発行してもよい。
【０１６０】
次に、較正パラメータ更新指示を受け付けた較正指標提示部１０３（Ｓ１００１でＹｅｓ）は、ユーザに対して第１の較正指標２０を提示する（Ｓ１００２）。また、較正指標提示部１０３は、第１の較正指標２０の位置情報を較正パラメータ計算部１０５に通知する。同様に、較正パラメータ更新指示を受け付けたスイッチ１０６は、眼電位原信号の出力先を較正部１０１からサッケード検出部１０４に切り替える。
【０１６１】
次に、サッケード検出部１０４は、スイッチ１０６を経由して入力される眼電位原信号中にサッケード信号が含まれているか否かを監視する（Ｓ１００３）。ディスプレイ１０上に第１の較正指標２０が表示されると、ユーザの視線が任意の位置から第１の較正指標２０に移動する。このときにサッケード信号が現れる。
【０１６２】
なお、サッケード信号の検出方法は特に限定されないが、例えば、最大値フィルタ、最小値フィルタ、遅延器等を利用して検出する方法がある。詳細は後述する。サッケード信号が検出されると（Ｓ１００３でＹｅｓ）、サッケード検出部１０４は、較正指標提示部１０３にサッケード検出信号を出力する。同様に、較正パラメータ計算部１０５にサッケード検出信号及び眼電位変化量Ｖa-bを出力する。
【０１６３】
次に、サッケード検出信号を受け付けた較正指標提示部１０３は、ユーザに対して全ての較正指標を提示したか否かを判断する（Ｓ１００４）。提示すべき較正指標の数は予め定められていてもよいし、ユーザに対して較正指標の提示を継続するか否かを問い合わせるようにしてもよい。なお、実施の形態２においては、提示すべき較正指標が２個であるとして説明する。
【０１６４】
現時点では第１の較正指標２０しか提示していないので（Ｓ１００４でＮｏ）、較正指標提示部１０３は、次の較正指標を提示する（Ｓ１００２）。具体的には、第１の較正指標２０をディスプレイ１０上から削除すると共に、第２の較正指標３０をディスプレイ１０上に表示させる。また、第２の較正指標３０の位置情報を較正パラメータ計算部１０５に通知する。
【０１６５】
次に、サッケード検出部１０４は、眼電位原信号中にサッケード信号が含まれているか否かを監視する（Ｓ１００３）。第２の較正指標３０がディスプレイ１０上に表示されると、ユーザの視線が第１の較正指標２０から第２の較正指標３０に移動する。このときにサッケード信号が現れる。
【０１６６】
サッケード信号を検出したサッケード検出部１０４は、前回と同様に、サッケード検出信号及び眼電位変化量Ｖa-bを出力する。また、第２の較正指標３０を提示した後のＳ１００４において、較正指標提示部１０３は、全ての較正指標を提示したと判断する（Ｓ１００４でＹｅｓ）。
【０１６７】
次に、較正パラメータ計算部１０５は、較正指標提示部１０３から受信した第１及び第２の較正指標２０、３０の位置情報と、サッケード検出部１０４から受信した第２の較正指標３０を出力した後の眼電位変化量Ｖa-bとに基づいて、新たな較正パラメータを計算する（Ｓ１００５）。具体的には、較正パラメータ計算部１０５は、第１及び第２の較正指標２０、３０の位置情報から眼球移動角θを算出する。そして、較正パラメータ計算部１０５は、眼電位変化量Ｖa-bと眼球移動角θとを（式１６）に代入して、較正係数αを得る。
【０１６８】
なお、実施の形態２では較正パラメータの更新例として較正係数αの計算方法について説明したが、較正パラメータの更新方法はこれに限定されない。例えば、較正パラメータ計算部１０５に入力された眼電位変化量と、眼球移動角や較正指標位置とを用いて、図１０及び図１１に示すような対応する眼電位変化量と眼球移動角や視線位置との組み合わせを複数保持するテーブルを更新しても構わない。この場合、提示すべき較正指標の総数を増やすことにより、図１０及び図１１のテーブルのレコード数が増加するので、より信頼性の高い較正パラメータを得ることができる。
【０１６９】
以上に示した実施の形態２の構成によれば、眼電位原信号からサッケード信号を検出し、サッケード運動中に発生した眼電位の変化量を用いて較正パラメータの更新を行う。その結果、従来方式の課題であったドリフトの影響を受けずに正しく較正パラメータを求めることができる。
【０１７０】
また、ユーザのサッケードを誘発しながら較正パラメータを更新することができる。その結果、ユーザは較正指標を眼で追うだけでよく、較正時のユーザの負担を軽減することができる。
【０１７１】
また、較正パラメータを、図１０及び図１１に示されるようなテーブルとして保持することにより、較正時間を短縮することができる。
【０１７２】
また、較正パラメータを眼電位変化量Ｖa-bと眼球移動角θとの関数の傾き（較正係数α）として保持することにより、メモリを削減できる。
【０１７３】
なお、サッケード検出部１０４において、高域通過フィルタによってサッケード信号を検出してもよい。なお、サッケード信号は、上記の視線検出装置１００に限らず、医療機器、運転支援機器、およびユーザインタフェース等の分野において、ユーザの眼球運動や状態を検出する上で広く利用されている。そのため、高精度かつ簡易にサッケード信号を検出することは非常に有効である。
【０１７４】
また、（式１６）の代わりに、（式５）に示した眼電位モデルを用いることも可能である。この場合には、較正パラメータ計算部１０５は、実施の形態１に示したモデルパラメータ推定方法に従い、所定係数α1、α2、α3、α4を算出する。
【０１７５】
＜２．２．１ サッケード検出方法その１（ＭＩＮ／ＭＡＸフィルタ）＞
図１６は、本発明の実施の形態２に係るサッケード検出部２００の構成を表すブロック図である。図１６に示されるサッケード検出部２００は、眼電位原信号に最大値フィルタ処理を適用する最大値フィルタ部（第１のフィルタ処理部）２０１と、眼電位原信号に最小値フィルタ処理を適用する最小値フィルタ部（第２のフィルタ処理部）２０２と、減算部２０３とを備える。
【０１７６】
より具体的には、最大値フィルタ部２０１と最小値フィルタ部２０２とが並列に接続されている。最大値フィルタ部２０１は、眼電位原信号に最大値フィルタ処理を施して第１の眼電位信号を出力する。最小値フィルタ部２０２は、眼電位原信号に最小値フィルタ処理を施して第２の眼電位信号を出力する。そして、減算部２０３は、第１の眼電位信号から第２の眼電位信号を減算して出力信号を生成する。
【０１７７】
なお、本発明は、眼球の左右に電極を貼付する場合や、眼から離れた位置に電極を貼付する計測方法のように、ユーザのまばたき成分が眼電位原信号に混入されない場合を対象としており、そのような計測方法時のサッケード信号の検出に関して説明する。
【０１７８】
次に、図１６の最大値フィルタ部２０１の処理について説明する。最大値フィルタ部２０１は、眼電位原信号ｆ（ｘ）に対し、以下のフィルタ処理を適用する。
【０１７９】
ｆｍａｘ（ｘ）＝ｍａｘ（ｆｍａｘ（ｘ），ｆ（ｘ＋ｉ））
ｎが奇数の場合（−ｎ／２＜ｉ＜ｎ／２）
ｎが偶数の場合（−ｎ／２≦ｉ＜ｎ／２）または（−ｎ／２＜ｉ≦ｎ／２）
【０１８０】
ここで、ｆｍａｘ（ｘ）は最大値フィルタ処理適用後の眼電位信号、ｎはフィルタタップ数、ｉは整数である。また、ｍａｘ（ａ，ｂ）はａ及びｂのうち大きい方の値を返す関数である。つまり、最大値フィルタ処理は、眼電位原信号中の任意のサンプルｆ（ｘ）を中心とするｎサンプルのうちの最も振幅の大きいサンプル値を出力する。この処理を眼電位原信号の全てのサンプルについて実行することにより、第１の眼電位信号を得ることができる。
【０１８１】
上記フィルタ処理を、図１２の眼電位原信号に適用した例を図１７に示す。なお、眼電位原信号からサッケード信号を検出するために、最大値フィルタ処理の単位処理間隔を０．２５秒としている。単位処理間隔は、１回の最大値フィルタ処理の対象となるサンプルが含まれる時間間隔を示す。また、最大値フィルタ部２０１のフィルタタップ数ｎは、単位処理間隔（０．２５秒）に含まれるサンプル数である。すなわち、フィルタタップ数ｎは、単位処理間隔と、眼電位原信号をＡ／Ｄ変換する際のサンプリング周波数とに基づいて算出することができる。
【０１８２】
図１７に示すように、眼電位原信号に最大値フィルタ処理を適用すると、正の信号は時間方向に広がり、負の信号は時間方向に狭くなる。ただし、最大値フィルタ部２０１の単位処理間隔を一般的な１回の固視時間（０．３秒から０．４秒程度）より大きくすると、図１８に示されるように、負の方向のサッケード波形が破綻する。図１８は、単位処理間隔を１．０秒として最大値フィルタ処理を実行した例である。図１８のようにサッケード波形が破綻すると、サッケード信号を検出できなくなるため、最大値フィルタ部２０１の単位処理間隔は、一般的な１回の固視時間より短くする必要がある。
【０１８３】
なお、実施の形態２では、最大値フィルタ処理の単位処理間隔を０．２５秒とした例を示したが、一般的な１回の固視時間より短ければどのような値であってもよい。
【０１８４】
次に最小値フィルタ部２０２の処理について説明する。最小値フィルタ部２０２は、眼電位原信号ｆ（ｘ）に対して、以下のフィルタ処理を適用する。
【０１８５】
ｆｍｉｎ（ｘ）＝ｍｉｎ（ｆｍｉｎ（ｘ），ｆ（ｘ＋ｉ））
ｎが奇数の場合（−ｎ／２＜ｉ＜ｎ／２）
ｎが偶数の場合（−ｎ／２≦ｉ＜ｎ／２）または（−ｎ／２＜ｉ≦ｎ／２）
【０１８６】
ここで、ｆｍｉｎ（ｘ）は最小値フィルタ処理適用後の眼電位信号、ｎはフィルタタップ数、ｉは整数である。また、ｍｉｎ（ａ，ｂ）はａ及びｂのうち小さい方の値を返す関数である。つまり、最小値フィルタ処理は、眼電位原信号中の任意のサンプルｆ（ｘ）を中心とするｎサンプルのうちの最も振幅の小さいサンプル値を出力する。この処理を眼電位原信号の全てのサンプルについて実行することにより、第２の眼電位信号を得ることができる。
【０１８７】
上記フィルタ処理を、図１２の眼電位原信号に適用した例を図１９に示す。
【０１８８】
図１９では、眼電位原信号からサッケード信号を検出するために、最小値フィルタ処理の単位処理間隔を０．２５秒としている。
【０１８９】
図１９に示すように、眼電位原信号に最小値フィルタ処理を適用すると、正の信号は時間方向に狭くなり、負の信号は時間方向に広がる。ここで、最小値フィルタ部２０２の単位処理間隔を一般的な１回の固視時間より大きくすると、図２０に示されるように、正の方向のサッケード波形が破綻する。図２０は、単位処理間隔を１．０秒として最小値フィルタ処理を実行した例である。図２０のようにサッケード波形が破綻すると、サッケード成分を検出できなくなるため、最小値フィルタ部２０２の単位処理間隔は、一般的な１回の固視時間より短くする必要がある。
【０１９０】
なお、実施の形態２では、最小値フィルタ部の単位処理間隔を０．２５秒とした例を示したが、一般的な１回の固視時間より短ければ、どのような値であってもよい。
【０１９１】
次に、減算部２０３の処理について説明する。減算部２０３は、最大値フィルタ部２０１から出力される第１の眼電位信号ｆｍａｘ（ｘ）から、最小値フィルタ部２０２から出力される第２の眼電位信号ｆｍｉｎ（ｘ）を減算することにより、サッケード信号の抽出を行う。
【０１９２】
図１７に示される第１の眼電位信号と、図１９に示される第２の眼電位信号との差分をとった信号を図１３に示す。図１３を参照すれば、サッケードの発生した時間帯を含む検出信号が得られていることがわかる。
【０１９３】
サッケード検出部２００は、図１３に示されるような出力信号に基づいてサッケード検出信号及び眼電位変化量を生成し、較正指標提示部１０３及び較正パラメータ計算部１０５に出力する。例えば、サッケード運動に要する時間に相当する時間内におけるサンプル値の変化量が予め定めた閾値を上回った場合にサッケード運動が発生したと判定し、サッケード検出信号を出力する。また、このときのサンプル値の変化量を眼電位変化量として出力する。
【０１９４】
なお、実施の形態２では、最大値フィルタ部２０１及び最小値フィルタ部２０２を用いたが、最大値や最小値に近い値を選択するフィルタを使用しても構わない。その場合、最大値・最小値に対して、９０％程度の値を選択するものであることが望ましい。
【０１９５】
また、実施の形態２では、最大値フィルタ部２０１及び最小値フィルタ部２０２の単位処理間隔（フィルタタップ数）を同じ値に設定した例を示したが、異なる値を設定してもよい。
【０１９６】
以上に示した実施の形態２の構成によれば、眼電位原信号に最大値フィルタ処理と最小値フィルタ処理とをそれぞれ適用し、最大値フィルタ処理適用後の第１の眼電位信号から最小値フィルタ処理適用後の第２の眼電位信号を減算してサッケード信号を検出する。
【０１９７】
なお、この他、最大値フィルタ処理適用後の信号から眼電位原信号を減算する方法、眼電位原信号から最小値フィルタ処理適用後の信号を減算する方法がある。これらの場合、検出されるサッケード信号の時刻が本来の時刻と多少前後する場合があるが、キャリブレーションが目的であれば、それほど問題にならない。
【０１９８】
以上により、サッケードの発生時刻を含んだサッケード信号を簡易に取得できる。
【０１９９】
＜２．２．２ サッケード検出方法その２（遅延器）＞
次に、実施の形態２に係るサッケード検出部の他の例として、サッケード検出部５００のブロック図を図２１に示す。
【０２００】
実施の形態２に係るサッケード検出部５００は、遅延信号生成部５０１と、減算部２０３とで構成される。遅延信号生成部５０１は、眼電位原信号を所定の時間遅延させて遅延信号を出力する。また、サッケード検出部５００に入力する眼電位原信号は、２つに分岐する。そして、一方は遅延信号生成部５０１を通過して遅延信号として減算部２０３に入力し、他方は減算部２０３に直接入力する。そして、減算部２０３は、眼電位原信号から遅延信号を減算してサッケード信号を出力する。この遅延信号生成部５０１を備えることによって、正負の符号付のサッケード信号を簡易に取得できる。
【０２０１】
図２１に示される遅延信号生成部５０１の処理について説明する。遅延信号生成部５０１は、眼電位原信号ｆ（ｘ）に対し、以下の処理を適用する。
【０２０２】
ｆｄｅｌａｙ（ｘ）＝ｆ（ｘ−ｔ）
ここで、ｆｄｅｌａｙ（ｘ）は遅延処理後の眼電位原信号（遅延信号）、ｔは遅延時間である。上記遅延処理を、図１２に示される眼電位原信号に適用することによって遅延信号が得られる。そして、減算部２０３によって、眼電位原信号から遅延信号を減算した例を図２２に示す。なお、眼電位原信号から符号付のサッケード成分を検出するために、遅延時間ｔ＝０．２５秒としている。図２２を参照すれば、サッケードの発生した時間帯を含む符号付のサッケード信号が得られていることがわかる。
【０２０３】
このサッケード検出部５００は、図２２に示されるような減算部２０３からの出力信号に基づいてサッケード検出信号及び眼電位変化量を生成し、較正指標提示部１０３及び較正パラメータ計算部１０５に出力する。例えば、サッケード運動に要する時間に相当する時間内においてサンプル値の変化量が予め定めた閾値を上回った場合にサッケード運動が発生したと判定し、サッケード検出信号を出力する。また、このときのサンプル値の変化量を眼電位変化量として出力する。
【０２０４】
ここで、遅延時間ｔを一般的な１回の固視時間（０．３秒から０．４秒程度）より大きくすると、図２３に示されるように、サッケード信号が破綻する。図２３は、遅延時間ｔとして１．１秒を用いた例である。図２３のようにサッケード信号が破綻すると、サッケード信号を抽出できなくなるため、遅延信号生成部５０１の遅延時間ｔは、一般的な１回の固視時間より短くする必要がある。なお、実施の形態２では、０．２５秒の遅延時間を適用する例を示したが、一般的な１回の固視時間より短い遅延時間であれば、どのような値でも構わない。
【０２０５】
以上に示した実施の形態２の構成によれば、眼電位原信号から遅延信号を生成し、眼電位原信号から遅延信号を減算して符号付のサッケード信号を検出するため、正負のサッケード信号を区別できる点において有効である。
【０２０６】
＜２．３ まばたき信号除去方法＞
次に、まばたきの影響を考慮した較正方法を説明する。
【０２０７】
ユーザがまばたきを行うと、図２４中の領域（ａ）に示すように、正の方向に急峻な電位（これが「まばたき信号」である）が発生する場合がある。このため、上記方法のみでは、サッケード信号のみを抽出できず、較正精度が劣化する場合がある。
【０２０８】
そこで、まず、最小値フィルタを適用することで、図２５に示すように、まばたき信号が除去される。しかしながら、これだけでは、サッケード運動による電圧変化（サッケード成分）部が変形してしまう。そこで、さらに最大値フィルタを適用することで、図２６に示すようにサッケード成分を復元する。
【０２０９】
なお、電極貼り付け位置によっては、まばたき信号の符号が負になる場合がある。負の場合には、最大値フィルタおよび最小値フィルタの適用順序を逆にすればよい。
【０２１０】
また、最小値フィルタおよび最大値フィルタのフィルタ長を、一般的な１回のまばたきの時間（０．１５秒から０．２秒程度）より長く、かつ、１回の固視時間（０．３秒から０．４秒程度）より短い値とするとよい。
【０２１１】
また、まばたき信号の除去だけを目的とする場合には、最小値フィルタおよび最大値フィルタのどちらか一方のみを適用してもよい。
【０２１２】
以上により、まばたき信号を除去した信号を、眼電位原信号として、図４に示されるスイッチ１０６に入力する。これにより、まばたきの影響を受けずに、高精度に較正を行うことができる。このまばたき信号の除去は、視線検出装置１００の外部に設けられた図示しないまばたき信号除去部により実行される。
【０２１３】
（実施の形態３）
次に、実施の形態３に係るサッケード検出装置のブロック図を図２７に示す。実施の形態３は、眼電位原信号を多チャンネルで計測する際のサッケード検出装置に関するものである。このサッケード検出装置は、図９に示した実施の形態２に係る視線検出装置１００のサッケード検出部１０４の代わりに用いられる。
【０２１４】
実施の形態３に係るサッケード検出装置は、多チャンネルの眼電位原信号から合成信号を生成する合成信号生成部２００１と、サッケード検出部２０００とで構成される。
【０２１５】
合成信号生成部２００１は、例えば、入力された眼電位原信号ＥＯＧ０ｃｈ〜ＥＯＧＮｃｈのうち、眼球運動に対して眼電位が同位相で計測される計測チャンネルを用いて加算平均をとり、加算平均をした同位相同士を減算して差動増幅することで合成信号を生成することが考えられる。具体的な処理手順を図２８に示す。
【０２１６】
まず、眼電位が同位相となる計測チャンネルのグルーピングを行う（Ｓ１０００１）。ここで、眼電位が同位相であるかどうかは、例えば、顔の右側、左側等の計測位置によって判断することができる。なお、計測位置だけではなく、計測された眼電位信号の特徴から動的に判別しても構わない。次に、グルーピングされた各グループの加算平均をそれぞれ計算する（Ｓ１０００２）。そして、加算平均した各グループの同位相信号をグループ間で減算することで差動増幅を行い（Ｓ１０００３）、合成信号として出力する（Ｓ１０００４）。
【０２１７】
サッケード検出部２０００は合成信号生成部２００１が生成した合成信号を用いてサッケード検出信号を生成する。サッケード検出信号の生成の仕方は実施の形態２のサッケード検出部１０４と同様である。
【０２１８】
このサッケード検出部２０００は、サッケード検出信号および振幅情報を生成し、図９に示す較正指標提示部１０３、較正パラメータ計算部１０５に出力する。例えば、サッケード運動に要する時間に相当する時間内におけるサンプル値の変化量が予め定めた閾値を上回った場合にサッケード運動が発生したと判定し、サッケード検出信号を出力する。また、このときのサンプル値の変化量を振幅情報（眼電位変化量）として出力する。
【０２１９】
以上に示した実施の形態３の構成によれば、多チャンネルの眼電位原信号から、Ｓ／Ｎ比の高い合成信号を生成し、その合成信号を用いてサッケード信号を検出するため、サッケード検出の精度を向上できる点において有効である。
【０２２０】
（実施の形態４）
次に、図２９及び図３０を参照して、本発明の実施の形態４に係るウェアラブルカメラ１６００を説明する。このウェアラブルカメラ１６００は、例えば、ユーザの側頭部に装着され、ユーザの視線方向の映像を撮像する装置である。具体的には、ウェアラブルカメラ１６００は、撮像部１６０１と、撮像制御部１６０２と、視線検出装置１６０３とを備える。
【０２２１】
ウェアラブルカメラ１６００は、例えば、静止画を撮影するカメラであってもよいし、動画を撮影するビデオカメラであってもよい。視線検出装置１６０３には、例えば、実施の形態１に係る視線検出装置１または実施の形態２に係る視線検出装置１００を適用することができる。また、実施の形態４における眼電位計測部としての電極は、図３０に示されるように、ユーザの左眼のこめかみの上下に添付されている。
【０２２２】
そして、撮像制御部１６０２は、視線検出装置１６０３からの出力信号を監視し、ユーザの視線の移動に追従して撮像部１６０１の向きを変えさせる。これにより、撮像部１６０１にユーザの視線方向を撮像させることができる。
【０２２３】
ただし、実施の形態４に係るウェアラブルカメラ１６００は、上記の用途に限定されない。他の用途としては、撮像部１６０１で撮像された映像上に、視線検出装置１６０３で検出されたユーザの視線位置をプロットするような装置や、運転中のドライバーの視線を検出して危険喚起を行う等の装置に適用することもできる。
【０２２４】
（実施の形態５）
次に、図３１および図３２を参照して、本発明の実施の形態５に係るヘッドマウントディスプレイ１７００を説明する。このヘッドマウントディスプレイ１７００は、例えば、めがね形状を有しており、ユーザの眼前に画像を表示し、表示された画像上に示されているマウスをユーザの視線方向に移動させる装置である。具体的には、ヘッドマウントディスプレイ１７００は、表示部１７０１と、表示制御部１７０２と、視線検出装置１７０３とを備える。
【０２２５】
図３３に示すように、表示部１７０１には、各種画像が表示されており、その画像上にマウス１７０４が表示されているものとする。視線検出装置１７０３には、例えば、実施の形態１に係る視線検出装置１または実施の形態２に係る視線検出装置１００を適用することができる。
【０２２６】
そして、表示制御部１７０２は、視線検出装置１７０３からの出力信号を監視し、ユーザの視線の移動に追従して表示部１７０１に表示されているマウス１７０４を移動させる。これにより、例えば、処理実行部（図示せず）は、マウス１７０４が指し示すアイコン１７０５に対応付けられた処理（図３３の例では、映像再生処理）を実行することができる。
【０２２７】
（実施の形態６）
次に、図３４および図３５を参照して、本発明の実施の形態６に係る電子めがね１８００を説明する。この電子めがね１８００は、ユーザの視線位置に合わせてレンズの焦点を変化させることができるめがねである。具体的には、電子めがね１８００は、レンズ１８０１と、焦点制御部１８０２と、視線検出装置１８０３とを備える。
【０２２８】
レンズ１８０１は、ユーザの眼前に位置し、電子的に焦点を変化させることができるレンズである。
【０２２９】
視線検出装置１８０３には、例えば、実施の形態１に係る視線検出装置１または実施の形態２に係る視線検出装置１００を適用することができる。
【０２３０】
そして、焦点制御部１８０２は、視線検出装置１８０３からの出力信号を監視し、ユーザの視線の移動に追従してレンズ１８０１の焦点を変化させる。例えば、ユーザが書籍を読むなどのために近くを見ている場合には、焦点制御部１８０２は、近くに焦点が合うようにレンズ１８０１の焦点を制御する。また、ユーザが遠くの風景を見ている場合には、焦点制御部１８０２は、遠くに焦点が合うようにレンズ１８０１の焦点を制御する。
【０２３１】
なお、本実施の形態においては、ユーザの左眼および右眼は同一点を注視しているものとする。このため、視線検出装置１８０３は、眼電位から視線位置を検出することができる。
【０２３２】
（他の実施の形態）
上記実施の形態において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されてもよいし、一部または全部を含むように１チップ化されてもよい。なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０２３３】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
【０２３４】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
【０２３５】
また、上記実施の形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現してもよい。なお、上記実施の形態に係るウェアラブルカメラをハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施の形態においては、説明便宜のために、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
【０２３６】
上記実施の形態の各処理をソフトウェアにより実現する場合には、ＣＰＵ、ＲＡＭ等の一般的な構成を有するコンピュータ上でプログラムを実行することにより、各処理が実現される。このようなプログラムは、コンピュータ読み取り可能な非一時的な記録媒体に記録されていてもよい。
【０２３７】
図３６は、本発明の必須の構成要素を示す図であり、本発明を眼電位推定装置として実現した場合には、眼電位推定装置は、距離取得部１１と、眼電位理論値算出部１３とを備える。距離取得部１１および眼電位理論値算出部１３は、図１の距離取得部１１および眼電位理論値算出部１３とそれぞれ同様の構成を有する。
【０２３８】
なお、本発明の具体的な構成は、前述の実施の形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【産業上の利用可能性】
【０２３９】
本発明の眼電位推定装置によれば、高精度に眼電位を算出することができるので、電気生理学分野における眼電位の解析などに応用できる。また、本発明の視線検出装置によれば、奥行き方向も含めた３次元視線位置（注視点）を高精度に検出することができるので、ウェアラブル機器（ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがね焦点制御）のインタフェースなど、様々な機器への応用が期待される。
【符号の説明】
【０２４０】
１、１００、１６０３、１７０３、１８０３ 視線検出装置
１０ ディスプレイ
１１ 距離取得部
１２ モデルパラメータ推定部
１３ 眼電位理論値算出部
１４ 眼電位取得部
１５ 視線検出部
２０ 第１の較正指標
３０ 第２の較正指標
１０１ 較正部
１０２ 較正パラメータ指示部
１０３ 較正指標提示部
１０４、２００、５００、２０００ サッケード検出部
１０５ 較正パラメータ計算部
１０６ スイッチ
２０１ 最大値フィルタ部
２０２ 最小値フィルタ部
２０３ 減算部
５０１ 遅延信号生成部
１０００、４００２、４００５、４００６ 電極
１００１ 右眼角膜電荷
１００２ 右眼網膜電荷
１００３ 左眼角膜電荷
１００４ 左眼網膜電荷
１００５ 不均一な誘電率空間
１６００ ウェアラブルカメラ
１６０１ 撮像部
１６０２ 撮像制御部
１７００ ヘッドマウントディスプレイ
１７０１ 表示部
１７０２ 表示制御部
１７０４ マウス
１７０５ アイコン
１８０１ レンズ
１８０２ 焦点制御部
２００１ 合成信号生成部
３０００ モニタ
３００１ 両眼の中心
３００２ 中心位置
３００３ 基準指標
３００４ 較正指標
３００５ ユーザ
４００１ めがね
４００３ 鼻パッドの位置
４００４ フレームが耳に接触する位置
【特許請求の範囲】
【請求項１】
生体に発生する眼電位の理論値を推定する眼電位推定装置であって、
右眼角膜および右眼網膜のそれぞれから任意の３次元空間位置までの距離である右眼角膜距離および右眼網膜距離と、左眼角膜および左眼網膜のそれぞれから前記任意の３次元空間位置までの距離である左眼角膜距離および左眼網膜距離とを取得する距離取得部と、
前記距離取得部が取得した前記右眼角膜距離、前記右眼網膜距離、前記左眼角膜距離および前記左眼網膜距離を、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離から前記任意の３次元空間位置に発生する眼電位理論値を算出するための関数である眼電位モデルの入力とすることにより、前記任意の３次元空間位置に発生する眼電位理論値を算出する眼電位理論値算出部と
を備える眼電位推定装置。
【請求項２】
前記距離取得部は、左眼の注視点および右眼の注視点が同一点であると仮定することにより、両眼の平行運動成分と、両眼から注視点までの奥行き距離または両眼の輻輳運動成分とから、前記右眼角膜距離、前記右眼網膜距離、前記左眼角膜距離および前記左眼網膜距離を算出する
請求項１記載の眼電位推定装置。
【請求項３】
前記眼電位モデルは、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離のそれぞれに対して個別に設定可能である所定係数を含む
請求項１または２記載の眼電位推定装置。
【請求項４】
前記眼電位モデルは、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離をそれぞれｒ1、ｒ2、ｒ3およびｒ4とし、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離を眼電位に変換するための関数をそれぞれｆ1、ｆ2、ｆ3およびｆ4とし、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離のそれぞれに設定可能な所定係数をα1、α2、α3およびα4とし、眼電位理論値を
【数１】
とするとき、
【数２】
であり、
α1およびα2は同時に０とはならず、α3およびα4は同時に０とはならない
請求項３記載の眼電位推定装置。
【請求項５】
前記眼電位モデルは、
【数３】
である
請求項４記載の眼電位推定装置。
【請求項６】
さらに、
複数の視線位置のそれぞれにおいて、互いに異なる位置に配置された複数の電極のそれぞれにおいて発生する前記眼電位モデルを用いて算出される理論電圧と、前記複数の電極における観測電圧との差が最小になるような前記所定係数α1、α2、α3およびα4を推定するモデルパラメータ推定部を備える
請求項４記載の眼電位推定装置。
【請求項７】
前記モデルパラメータ推定部は、
複数の電極ｉ（ｉ＝１，…，Ｎ）のそれぞれに対し、Ｍ個の異なる視線位置θj（ｊ＝１，…，Ｍ）における観測電圧をΔｖi＝（Δｖi,1，…，Δｖi,M）t、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離のそれぞれに設定可能な前記所定係数をαi＝（αi,1，αi,2，αi,3，αi,4）t、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離をそれぞれｒi,j,1，ｒi,j,2，ｒi,j,3，ｒi,j,4、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離を変換するための関数をｆi,1，ｆi,2，ｆi,3，ｆi,4とするとき、行列Ａiを、
【数４】
とし、
基準電極Ｒに対し、前記Ｍ個の異なる視線位置θj（ｊ＝１，…，Ｍ）における右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離のそれぞれに設定可能な前記所定係数をαR＝（αR,1，αR,2，αR,3，αR,4）t、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離をそれぞれｒR,j,1，ｒR,j,2，ｒR,j,3，ｒR,j,4、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離を変換するための関数をｆR,1，ｆR,2，ｆR,3，ｆR,4とするとき、行列ＡRを
【数５】
とするとき、
【数６】
により前記複数の電極および前記基準電極に対する前記所定係数αiおよびαRをそれぞれ求める
請求項６記載の眼電位推定装置。
【請求項８】
前記モデルパラメータ推定部は、眼電位の計測対象である生体に対して前後方向の眼球運動における、前記複数の電極における観測電圧を用いて、前記所定係数α1、α2、α3およびα4を推定する
請求項６または７記載の眼電位推定装置。
【請求項９】
前記モデルパラメータ推定部は、サッケード運動を行うことにより取得される前記複数の電極における観測電圧を用いて、前記所定係数α1、α2、α3およびα4を推定する
請求項６〜８のいずれか１項記載の眼電位推定装置。
【請求項１０】
前記眼電位モデルは、眼電位理論値とユーザの視線方向との対応関係を示したルックアップテーブルを用いて構成される
請求項１〜９のいずれか１項記載の眼電位推定装置。
【請求項１１】
さらに、
ユーザの両眼の間に配置され、眼電位を測定し、眼電位原信号を出力する少なくとも１つの電極を備える
請求項１〜１０のいずれか１項記載の眼電位推定装置。
【請求項１２】
前記少なくとも１つの電極は、めがねのフレームに内蔵され、めがねが皮膚と接触する位置に配置されている複数の電極を含む
請求項１１記載の眼電位推定装置。
【請求項１３】
さらに、
耳の前後に配置され、眼電位を測定し、眼電位原信号を出力する複数の電極を備える
請求項１〜１０のいずれか１項記載の眼電位推定装置。
【請求項１４】
眼電位算出装置により、生体に発生する眼電位の理論値を算出する眼電位算出方法であって、
右眼角膜および右眼網膜のそれぞれから任意の３次元空間位置までの距離である右眼角膜距離および右眼網膜距離と、左眼角膜および左眼網膜のそれぞれから前記任意の３次元空間位置までの距離である左眼角膜距離および左眼網膜距離とを取得する取得ステップと、
前記取得ステップにおいて取得された前記右眼角膜距離、前記右眼網膜距離、前記左眼角膜距離および前記左眼網膜距離を、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離から前記任意の３次元空間位置に発生する眼電位理論値を算出するための関数である眼電位モデルの入力とすることにより、前記任意の３次元空間位置に発生する眼電位理論値を算出する算出ステップと
を含む眼電位算出方法。
【請求項１５】
眼電位からユーザの視線方向を検出する視線検出装置であって、
眼球運動によって生じる眼電位を測定し、眼電位原信号を出力する眼電位測定部と、
ユーザに対して較正指標を提示する較正指標提示部と、
前記較正指標提示部によって提示された前記較正指標にユーザの視線位置が移動する際の眼球の急速な運動であるサッケード運動を前記眼電位原信号から検出し、前記サッケード運動の前後における眼電位の変化量である眼電位変化量を出力するサッケード検出部と、
前記較正指標提示部によって提示された前記較正指標の位置、及び前記サッケード検出部から出力された前記眼電位変化量に基づいて、右眼角膜および右眼網膜のそれぞれから任意の３次元空間位置までの距離である右眼角膜距離および右眼網膜距離と、左眼角膜および左眼網膜のそれぞれから前記任意の３次元空間位置までの距離である左眼角膜距離および左眼網膜距離と、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離のそれぞれに対して個別に設定可能である所定係数とから前記任意の３次元空間位置に発生する眼電位理論値を算出するための関数である眼電位モデルの前記所定係数を計算する較正パラメータ計算部と、
前記眼電位モデルに基づいて、前記眼電位原信号からユーザの視線方向を検出する較正部と
を備える視線検出装置。
【請求項１６】
前記サッケード検出部は、
前記眼電位原信号を所定の時間遅延させて遅延信号を出力する遅延信号生成部と、
前記眼電位原信号から前記遅延信号を減算して得られる出力信号を生成する減算部と、
前記出力信号のうちの予め定めた閾値を上回る信号をサッケード運動を示すサッケード信号と判定するサッケード判定部とを有し、
前記所定の遅延時間は、ユーザが前記較正指標を固視している時間より短い
請求項１５記載の視線検出装置。
【請求項１７】
ユーザの視線方向の映像を撮像するウェアラブルカメラであって、
撮像部と、
請求項１５または１６に記載の視線検出装置と、
前記視線検出装置によって検出された視線方向を前記撮像部に撮像させる撮像制御部と
を備えるウェアラブルカメラ。
【請求項１８】
ユーザの視線方向にマウスを移動させるヘッドマウントディスプレイであって、
画像およびマウスを表示する表示部と、
請求項１５または１６に記載の視線検出装置と、
前記視線検出装置によって検出された視線方向に表示部に表示されているマウスを移動させる表示制御部と
を備えるヘッドマウントディスプレイ。
【請求項１９】
ユーザの視線位置に合わせてレンズの焦点を変化させる電子めがねであって、
焦点を変化させることができるレンズと、
請求項１５または１６に記載の視線検出装置と、
前記視線検出装置によって検出された視線位置に合わせて前記レンズの焦点を変化させる焦点制御部と
を備える電子めがね。
【請求項２０】
生体に発生する眼電位の理論値を算出するプログラムであって、
右眼角膜および右眼網膜のそれぞれから任意の３次元空間位置までの距離である右眼角膜距離および右眼網膜距離と、左眼角膜および左眼網膜のそれぞれから前記任意の３次元空間位置までの距離である左眼角膜距離および左眼網膜距離とを取得する取得ステップと、
前記取得ステップにおいて取得された前記右眼角膜距離、前記右眼網膜距離、前記左眼角膜距離および前記左眼網膜距離を、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離から前記任意の３次元空間位置に発生する眼電位理論値を算出するための関数である眼電位モデルの入力とすることにより、前記任意の３次元空間位置に発生する眼電位理論値を算出する算出ステップと
をコンピュータに実行させるためのプログラム。
【請求項１】
生体に発生する眼電位の理論値を推定する眼電位推定装置であって、
右眼角膜および右眼網膜のそれぞれから任意の３次元空間位置までの距離である右眼角膜距離および右眼網膜距離と、左眼角膜および左眼網膜のそれぞれから前記任意の３次元空間位置までの距離である左眼角膜距離および左眼網膜距離とを取得する距離取得部と、
前記距離取得部が取得した前記右眼角膜距離、前記右眼網膜距離、前記左眼角膜距離および前記左眼網膜距離を、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離から前記任意の３次元空間位置に発生する眼電位理論値を算出するための関数である眼電位モデルの入力とすることにより、前記任意の３次元空間位置に発生する眼電位理論値を算出する眼電位理論値算出部と
を備える眼電位推定装置。
【請求項２】
前記距離取得部は、左眼の注視点および右眼の注視点が同一点であると仮定することにより、両眼の平行運動成分と、両眼から注視点までの奥行き距離または両眼の輻輳運動成分とから、前記右眼角膜距離、前記右眼網膜距離、前記左眼角膜距離および前記左眼網膜距離を算出する
請求項１記載の眼電位推定装置。
【請求項３】
前記眼電位モデルは、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離のそれぞれに対して個別に設定可能である所定係数を含む
請求項１または２記載の眼電位推定装置。
【請求項４】
前記眼電位モデルは、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離をそれぞれｒ1、ｒ2、ｒ3およびｒ4とし、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離を眼電位に変換するための関数をそれぞれｆ1、ｆ2、ｆ3およびｆ4とし、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離のそれぞれに設定可能な所定係数をα1、α2、α3およびα4とし、眼電位理論値を
【数１】
とするとき、
【数２】
であり、
α1およびα2は同時に０とはならず、α3およびα4は同時に０とはならない
請求項３記載の眼電位推定装置。
【請求項５】
前記眼電位モデルは、
【数３】
である
請求項４記載の眼電位推定装置。
【請求項６】
さらに、
複数の視線位置のそれぞれにおいて、互いに異なる位置に配置された複数の電極のそれぞれにおいて発生する前記眼電位モデルを用いて算出される理論電圧と、前記複数の電極における観測電圧との差が最小になるような前記所定係数α1、α2、α3およびα4を推定するモデルパラメータ推定部を備える
請求項４記載の眼電位推定装置。
【請求項７】
前記モデルパラメータ推定部は、
複数の電極ｉ（ｉ＝１，…，Ｎ）のそれぞれに対し、Ｍ個の異なる視線位置θj（ｊ＝１，…，Ｍ）における観測電圧をΔｖi＝（Δｖi,1，…，Δｖi,M）t、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離のそれぞれに設定可能な前記所定係数をαi＝（αi,1，αi,2，αi,3，αi,4）t、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離をそれぞれｒi,j,1，ｒi,j,2，ｒi,j,3，ｒi,j,4、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離を変換するための関数をｆi,1，ｆi,2，ｆi,3，ｆi,4とするとき、行列Ａiを、
【数４】
とし、
基準電極Ｒに対し、前記Ｍ個の異なる視線位置θj（ｊ＝１，…，Ｍ）における右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離のそれぞれに設定可能な前記所定係数をαR＝（αR,1，αR,2，αR,3，αR,4）t、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離をそれぞれｒR,j,1，ｒR,j,2，ｒR,j,3，ｒR,j,4、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離を変換するための関数をｆR,1，ｆR,2，ｆR,3，ｆR,4とするとき、行列ＡRを
【数５】
とするとき、
【数６】
により前記複数の電極および前記基準電極に対する前記所定係数αiおよびαRをそれぞれ求める
請求項６記載の眼電位推定装置。
【請求項８】
前記モデルパラメータ推定部は、眼電位の計測対象である生体に対して前後方向の眼球運動における、前記複数の電極における観測電圧を用いて、前記所定係数α1、α2、α3およびα4を推定する
請求項６または７記載の眼電位推定装置。
【請求項９】
前記モデルパラメータ推定部は、サッケード運動を行うことにより取得される前記複数の電極における観測電圧を用いて、前記所定係数α1、α2、α3およびα4を推定する
請求項６〜８のいずれか１項記載の眼電位推定装置。
【請求項１０】
前記眼電位モデルは、眼電位理論値とユーザの視線方向との対応関係を示したルックアップテーブルを用いて構成される
請求項１〜９のいずれか１項記載の眼電位推定装置。
【請求項１１】
さらに、
ユーザの両眼の間に配置され、眼電位を測定し、眼電位原信号を出力する少なくとも１つの電極を備える
請求項１〜１０のいずれか１項記載の眼電位推定装置。
【請求項１２】
前記少なくとも１つの電極は、めがねのフレームに内蔵され、めがねが皮膚と接触する位置に配置されている複数の電極を含む
請求項１１記載の眼電位推定装置。
【請求項１３】
さらに、
耳の前後に配置され、眼電位を測定し、眼電位原信号を出力する複数の電極を備える
請求項１〜１０のいずれか１項記載の眼電位推定装置。
【請求項１４】
眼電位算出装置により、生体に発生する眼電位の理論値を算出する眼電位算出方法であって、
右眼角膜および右眼網膜のそれぞれから任意の３次元空間位置までの距離である右眼角膜距離および右眼網膜距離と、左眼角膜および左眼網膜のそれぞれから前記任意の３次元空間位置までの距離である左眼角膜距離および左眼網膜距離とを取得する取得ステップと、
前記取得ステップにおいて取得された前記右眼角膜距離、前記右眼網膜距離、前記左眼角膜距離および前記左眼網膜距離を、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離から前記任意の３次元空間位置に発生する眼電位理論値を算出するための関数である眼電位モデルの入力とすることにより、前記任意の３次元空間位置に発生する眼電位理論値を算出する算出ステップと
を含む眼電位算出方法。
【請求項１５】
眼電位からユーザの視線方向を検出する視線検出装置であって、
眼球運動によって生じる眼電位を測定し、眼電位原信号を出力する眼電位測定部と、
ユーザに対して較正指標を提示する較正指標提示部と、
前記較正指標提示部によって提示された前記較正指標にユーザの視線位置が移動する際の眼球の急速な運動であるサッケード運動を前記眼電位原信号から検出し、前記サッケード運動の前後における眼電位の変化量である眼電位変化量を出力するサッケード検出部と、
前記較正指標提示部によって提示された前記較正指標の位置、及び前記サッケード検出部から出力された前記眼電位変化量に基づいて、右眼角膜および右眼網膜のそれぞれから任意の３次元空間位置までの距離である右眼角膜距離および右眼網膜距離と、左眼角膜および左眼網膜のそれぞれから前記任意の３次元空間位置までの距離である左眼角膜距離および左眼網膜距離と、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離のそれぞれに対して個別に設定可能である所定係数とから前記任意の３次元空間位置に発生する眼電位理論値を算出するための関数である眼電位モデルの前記所定係数を計算する較正パラメータ計算部と、
前記眼電位モデルに基づいて、前記眼電位原信号からユーザの視線方向を検出する較正部と
を備える視線検出装置。
【請求項１６】
前記サッケード検出部は、
前記眼電位原信号を所定の時間遅延させて遅延信号を出力する遅延信号生成部と、
前記眼電位原信号から前記遅延信号を減算して得られる出力信号を生成する減算部と、
前記出力信号のうちの予め定めた閾値を上回る信号をサッケード運動を示すサッケード信号と判定するサッケード判定部とを有し、
前記所定の遅延時間は、ユーザが前記較正指標を固視している時間より短い
請求項１５記載の視線検出装置。
【請求項１７】
ユーザの視線方向の映像を撮像するウェアラブルカメラであって、
撮像部と、
請求項１５または１６に記載の視線検出装置と、
前記視線検出装置によって検出された視線方向を前記撮像部に撮像させる撮像制御部と
を備えるウェアラブルカメラ。
【請求項１８】
ユーザの視線方向にマウスを移動させるヘッドマウントディスプレイであって、
画像およびマウスを表示する表示部と、
請求項１５または１６に記載の視線検出装置と、
前記視線検出装置によって検出された視線方向に表示部に表示されているマウスを移動させる表示制御部と
を備えるヘッドマウントディスプレイ。
【請求項１９】
ユーザの視線位置に合わせてレンズの焦点を変化させる電子めがねであって、
焦点を変化させることができるレンズと、
請求項１５または１６に記載の視線検出装置と、
前記視線検出装置によって検出された視線位置に合わせて前記レンズの焦点を変化させる焦点制御部と
を備える電子めがね。
【請求項２０】
生体に発生する眼電位の理論値を算出するプログラムであって、
右眼角膜および右眼網膜のそれぞれから任意の３次元空間位置までの距離である右眼角膜距離および右眼網膜距離と、左眼角膜および左眼網膜のそれぞれから前記任意の３次元空間位置までの距離である左眼角膜距離および左眼網膜距離とを取得する取得ステップと、
前記取得ステップにおいて取得された前記右眼角膜距離、前記右眼網膜距離、前記左眼角膜距離および前記左眼網膜距離を、右眼角膜距離、右眼網膜距離、左眼角膜距離および左眼網膜距離から前記任意の３次元空間位置に発生する眼電位理論値を算出するための関数である眼電位モデルの入力とすることにより、前記任意の３次元空間位置に発生する眼電位理論値を算出する算出ステップと
をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【公開番号】特開２０１１−１２５６９３（Ｐ２０１１−１２５６９３Ａ）
【公開日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願番号】特願２０１０−２５５３８９（Ｐ２０１０−２５５３８９）
【出願日】平成２２年１１月１５日（２０１０．１１．１５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【公開日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願日】平成２２年１１月１５日（２０１０．１１．１５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
[ Back to top ]