説明

ノイズ低減装置、眼電位計測装置、眼科診断装置、視線検出装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがね、ノイズ低減方法及びプログラム

【課題】眼電位の計測において、より簡便な方法で、眼電位原信号に対するノイズ成分の低減することにより、S/N比を向上させる。
【解決手段】ノイズ低減装置100は、ユーザの眼球運動によって生じる眼電位を示す眼電位原信号から、眼球の急速な運動であるサッケード運動に関する情報であるサッケード情報を取得するサッケード情報取得部110と、サッケード情報取得部110で取得されたサッケード情報に基づいて、眼電位原信号に含まれるノイズを低減するためのフィルタ特性を決定する制御部120と、制御部129で決定されたフィルタ特性を用いて眼電原位信号に含まれるノイズを低減し、眼電位信号を出力するフィルタ部130とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電位眼原信号からノイズを除去して眼電位信号を出力可能とする眼電位計測装置に関するものである。
【背景技術】
【0002】
本発明は、人の眼電位を計測する際に生じるノイズを低減するノイズ低減装置及び方法に関するものである。
【0003】
近年、人の眼球運動検出方法として、角膜と網膜との間の発生電位を利用するEOG法が提案されている。
【0004】
ここで、EOG法とは、人間の角膜が網膜に対して正に帯電していることを利用した眼球運動検出方法である。具体的には、人間の眼球付近に電極を貼付し、その電極から計測される電位の変化から眼球運動を検出する。図63A及び図63BにEOG法を用いた眼球運動検出方法の例を示す。図63A及び図63Bは、ユーザの右眼の外側と内側との2箇所に、眼球の中心から等距離離して電極を貼付した場合の例である。
【0005】
外側の電極Aに発生する眼電位をVa、内側の電極Bに発生する眼電位をVbとすると、図63Aのように、ユーザの眼球が真中位置にある場合は、VaとVbが等しくなる。その結果、計測される眼電位Va−bは0Vとなる。一方、図63Bのように、ユーザが右を見た場合は、電極Aの方が右眼の角膜に近くなるため、Va>Vbとなり、計測眼電位Va−bは正の値を示す。逆に、ユーザが左を見た場合は、Va<Vbとなり、計測眼電位Va−bは負の値を示す。つまり、計測眼電位Va−bが正の値を示すならばユーザは右に眼を動かしたことがわかり、負の値を示すならば左に眼を動かしたことがわかる。EOG法では、このような計測眼電位Va−bの変化を利用することにより、ユーザの眼球運動を検出する。
【0006】
このようなEOG法を用いて眼球運動を検出する際に、検出精度を上げるためには、発生した眼電位信号に含まれるノイズを低減する必要があるが、ノイズ低減方法の例として、以下の特許文献1に記載の技術がある。
【0007】
特許文献1に開示されているノイズ低減方法では、まず、ユーザに指定位置を注視するように指示を出し、その際の眼電位信号を計測する。眼球運動を意図的に少なくした状態の眼電位信号をドリフトノイズとして扱う。そして、計測の際に、眼電位信号からドリフトノイズとした信号分を減算する構成となっている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開平11−85384号公報
【特許文献2】特開平11−276461号公報
【特許文献3】特開平9−034631号公報
【特許文献4】特開2002−272693号公報
【非特許文献】
【0009】
【非特許文献1】真鍋宏幸,福本雅朗,“ヘッドフォンを用いた常時装用視線インタフェース”,インタラクション2006,pp.23−24,2006
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかしながら、ドリフトノイズは、時間経過による変化が大きいため、ドリフトノイズ低減の精度を上げようとすると、頻繁に補正が必要となる。すなわち上記指定位置を注視した状態で眼電位信号を計測するという行為が頻繁に必要になってしまい、実用的でないという問題がある。
【0011】
また、上記特許文献1においては、ドリフトノイズという低周波ノイズの低減に関するものであるが、高周波ノイズについては、特に考慮されていない。
【0012】
そこで、本発明は、眼電位計測において、より簡便な方法で、眼電位原信号に対するノイズ成分の低減、すなわちS/N比を向上させることを目的とする。
【課題を解決するための手段】
【0013】
本発明の一形態に係るノイズ低減装置は、ユーザの眼球運動によって生じる眼電位を示す眼電位原信号から、眼球の急速な運動であるサッケード運動に関する情報であるサッケード情報を取得するサッケード情報取得部と、前記サッケード情報取得部で取得された前記サッケード情報に基づいて、前記眼電位原信号に含まれるノイズを低減するためのフィルタ特性を決定する制御部と、前記制御部で決定された前記フィルタ特性を用いて前記眼電原位信号に含まれるノイズを低減し、眼電位信号を出力するフィルタ部とを備える。
【0014】
上記構成によれば、眼電位原信号に含まれるノイズを簡単に低減することができるので、S/N比が向上する。
【0015】
一例として、前記フィルタ部は、ハイパスフィルタであってもよい。前記サッケード情報取得部は、前記眼電原位信号にサッケード運動を示すサッケード信号が含まれている場合に、サッケード検出信号を出力するサッケード検出部と、前記サッケード検出部から出力される時間的に隣接する前記サッケード検出信号の時間間隔を、前記サッケード情報として算出する時間間隔算出部とを備えてもよい。そして、前記制御部は、前記時間間隔が第1の値以下の場合に、カットオフ周波数を増加させ、前記時間間隔が第1の値よりも大きい場合に、カットオフ周波数を減少させてもよい。
【0016】
他の例として、前記フィルタ部は、ハイパスフィルタであってもよい。前記サッケード情報取得部は、前記眼電原位信号にサッケード運動を示すサッケード信号が含まれている場合に、サッケード検出信号を出力するサッケード検出部と、前記サッケード検出部から出力される前記サッケード検出信号の発生頻度を、前記サッケード情報として算出する発生頻度算出部とを備えてもよい。そして、前記制御部は、前記発生頻度が第2の値よりも大きい場合に、カットオフ周波数を増加させ、前記発生頻度が第2の値以下の場合に、カットオフ周波数を減少させてもよい。
【0017】
また、前記ノイズが、前記眼電位原信号の時間的な基線変動であるドリフトノイズである場合には、前記制御部は、0以上、且つ前記ドリフトノイズの最大周波数以下の範囲内で前記カットオフ周波数を変更するのが望ましい。
【0018】
他の例として、前記フィルタ部は、ローパスフィルタであってもよい。前記サッケード情報取得部は、前記眼電位原信号にサッケード運動を示すサッケード信号が含まれている場合に、サッケード検出信号を出力するサッケード検出部と、前記サッケード検出部から出力された前記サッケード検出信号に基づいて、前記フィルタ部でのフィルタ対象のサンプルを含み、且つサッケード運動の発生していない時間的に連続した領域である無発生領域を特定する無発生領域特定部とを備えてもよい。そして、前記制御部は、前記無発生領域に含まれないサンプルのフィルタ係数を0にしてもよい。
【0019】
他の例として、前記フィルタ部は、ローパスフィルタであってもよい。前記サッケード情報取得部は、前記眼電位原信号にサッケード運動を示すサッケード信号が含まれている場合に、当該サッケード信号の振幅を出力するサッケード検出部と、前記フィルタ部に入力される各サンプルに対して、前記サッケード検出部から検出された振幅に応じて、当該サンプル位置でサッケードが発生していない確率である無発生確率を算出する無発生確率算出部とを備えてもよい。そして、前記制御部は、前記無発生確率が高いサンプルほどフィルタ係数を大きくしてもよい。
【0020】
また、前記サッケード検出部は、前記眼電位原信号を所定の時間遅延させて遅延信号を出力する遅延信号生成部と、前記眼電位原信号から前記遅延信号を減算して得られる出力信号を生成する減算部と、前記出力信号のうちの予め定めた閾値を上回る信号をサッケード運動を示すサッケード信号と判定するサッケード判定部とを備えてもよい。
【0021】
さらに、前記所定の遅延時間は、ユーザが前記較正指標を固視している時間より短くしてもよい。
【0022】
また、前記サッケード検出部は、前記眼電位原信号に最大値フィルタ処理及び最小値フィルタ処理のいずれか一方を施して第1の眼電位信号を出力する第1のフィルタ処理部と、前記第1の眼電位信号、及び前記眼電位原信号から得られる第2の眼電位信号の一方から他方を減算し、出力信号を生成する減算部と、前記出力信号のうちの予め定めた閾値を上回る信号をサッケード運動を示すサッケード信号と判定するサッケード判定部とを備えてもよい。
【0023】
さらに、前記サッケード検出部は、前記眼電位原信号に最大値フィルタ処理及び最小値フィルタ処理のいずれか他方を施して前記第2の眼電位信号を出力する第2のフィルタ処理部を備えてもよい。
【0024】
さらに、前記サッケード検出部は、前記第1の眼電位信号に最大値フィルタ処理及び最小値フィルタ処理のいずれか他方を施して前記第2の眼電位信号を出力する第2のフィルタ処理部を備えてもよい。
【0025】
さらに、該ノイズ低減装置は、複数のチャネルそれぞれを通して測定された前記眼電位原信号を前記複数のチャネルが属するグループ毎に平均し、グループ毎の平均値を作動増幅して合成信号を生成する合成信号生成部を備えてもよい。そして、前記サッケード検出部は、前記合成信号に含まれるサッケードを検出してもよい。
【0026】
本発明の一形態に係る眼電位計測装置は、眼球運動によって生じる眼電位を示す眼電位原信号を出力する眼電位測定部と、前記眼電位原信号に含まれるノイズを低減する上記記載のノイズ低減装置とを備える。
【0027】
本発明の一形態に係る眼科診断装置は、ユーザの網膜状態を診断する。具体的には、上記記載の眼電位計測装置と、前記眼電位計測装置から出力される前記眼電位信号から前記ユーザの網膜異常を検出する診断部とを備える。
【0028】
本発明の一形態に係る視線検出装置は、眼電位信号からユーザの視線方向を検出する。具体的には、上記記載の眼電位計測装置と、ユーザに対して較正指標を提示する較正指標提示部と、前記較正指標提示部によって提示された前記較正指標にユーザの視線位置が移動する際の眼球の急速な運動であるサッケード運動を前記眼電位信号から検出し、前記サッケード運動の前後における眼電位の変化量である眼電位変化量を出力するサッケード検出部と、前記較正指標提示部によって提示された前記較正指標の位置、及び前記サッケード検出部から出力された前記眼電位変化量に基づいて較正パラメータを計算する較正パラメータ計算部と、前記較正パラメータに基づいて、前記眼電位信号からユーザの視線方向を検出する較正部とを備える。
【0029】
本発明の一形態に係るウェアラブルカメラは、ユーザの視線方向の映像を撮像する。具体的には、撮像部と、上記記載の視線検出装置と、前記視線検出装置によって検出された視線方向を前記撮像部に撮像させる撮像制御部とを備える。
【0030】
本発明の一形態に係るヘッドマウントディスプレイは、ユーザの視線方向にマウスを移動させる。具体的には、画像およびマウスを表示する表示部と、上記記載の視線検出装置と、前記視線検出装置によって検出された視線方向に表示部に表示されているマウスを移動させる表示制御部とを備える。
【0031】
本発明の一形態に係る電子めがねは、ユーザの視線位置に合わせてレンズの焦点を変化させる。具体的には、焦点を変化させることができるレンズと、上記記載の視線検出装置と、前記視線検出装置によって検出された視線位置に合わせて前記レンズの焦点を変化させる焦点制御部とを備える。
【0032】
本発明の一形態に係るノイズ低減方法は、ユーザの眼球運動によって生じる眼電位を示す眼電位原信号から、眼球の急速な運動であるサッケード運動に関する情報であるサッケード情報を取得するサッケード情報取得ステップと、前記サッケード情報取得ステップで取得された前記サッケード情報に基づいて、前記眼電位原信号に含まれるノイズを低減するためのフィルタ特性を決定する制御ステップと、前記制御ステップで決定された前記フィルタ特性を用いて前記眼電原位信号に含まれるノイズを低減し、眼電位信号を出力するフィルタステップとを含む。
【0033】
本発明の一形態に係るプログラムは、ユーザの眼球運動によって生じる眼電位を示す眼電位原信号から、眼球の急速な運動であるサッケード運動に関する情報であるサッケード情報を取得するサッケード情報取得ステップと、前記サッケード情報取得ステップで取得された前記サッケード情報に基づいて、前記眼電位原信号に含まれるノイズを低減するフィルタ特性を決定するための制御ステップと、前記制御ステップで決定された前記フィルタ特性を用いて前記眼電原位信号に含まれるノイズを低減し、眼電位信号を出力するフィルタステップとを、コンピュータに実行させる。
【発明の効果】
【0034】
本発明によれば、眼電位計測において、より簡便な方法で眼電位信号のS/N比を向上することができる。
【図面の簡単な説明】
【0035】
【図1】実施の形態1に係るノイズ低減装置のブロック図である。
【図2】実施の形態1に係るノイズ低減装置の動作を示すフローチャートである。
【図3】実施の形態2に係るノイズ低減装置のブロック図である。
【図4】実施の形態2に係る時間間隔算出部の動作を示すフローチャートである。
【図5】実施の形態2に係る制御部の動作を示すフローチャートである。
【図6】実施の形態2に係るノイズ低減装置の動作を示すフローチャートである。
【図7】実施の形態3に係るノイズ低減装置のブロック図である。
【図8】実施の形態3に係る発生頻度算出部の動作を示すフローチャートである。
【図9】実施の形態3に係る制御部の動作を示すフローチャートである。
【図10】実施の形態3に係るノイズ低減装置の動作を示すフローチャートである。
【図11】実施の形態4に係るノイズ低減装置のブロック図である。
【図12】実施の形態4に係る無発生領域特定部の動作を示すフローチャートである。
【図13A】実施の形態4に係る制御部のフィルタ係数決定の例を示す図である。
【図13B】実施の形態4に係る制御部のフィルタ係数決定の例を示す図である。
【図14】実施の形態4に係るノイズ低減装置の動作を示すフローチャートである。
【図15】実施の形態5に係るノイズ低減装置のブロック図である。
【図16】実施の形態5に係る無発生確率算出部の動作を示すフローチャートである。
【図17A】実施の形態5に係る制御部のフィルタ係数決定の例を示す図である。
【図17B】実施の形態5に係る制御部のフィルタ係数決定の例を示す図である。
【図18】実施の形態5に係るノイズ低減装置の動作を示すフローチャートである。
【図19】サッケード信号を含む眼電位信号の一例を示す図である。
【図20】図19の眼電位信号に高域通過フィルタ処理を適用して得られた眼電位信号を示す図である。
【図21】実施の形態6に係るサッケード検出部のブロック図である。
【図22】図19の眼電位信号に最大値フィルタ処理(単位処理間隔=0.25秒)を適用して得られた眼電位信号を示す図である。
【図23】図19の眼電位信号に最大値フィルタ処理(単位処理間隔=1.0秒)を適用して得られた眼電位信号を示す図である。
【図24】図19の眼電位信号に最小値フィルタ処理(単位処理間隔=0.25秒)を適用して得られた眼電位信号を示す図である。
【図25】図19の眼電位信号に最小値フィルタ処理(単位処理間隔=1.0秒)を適用して得られた眼電位信号を示す図である。
【図26】図19の眼電位信号から抽出されたサッケード検出信号を説明するための図である。
【図27】実施の形態7に係るサッケード検出部のブロック図である。
【図28】図22の眼電位信号から図19の眼電位信号を減算して得られたサッケード検出信号を示す図である。
【図29】実施の形態8に係るサッケード検出部のブロック図である。
【図30】図19の眼電位信号から図24の眼電位信号を減算して得られたサッケード検出信号を示す図である。
【図31】実施の形態9に係るサッケード検出部のブロック図である。
【図32】遅延信号生成部の遅延時間を0.25秒としたときのサッケード検出信号を示す図である。
【図33】遅延信号生成部の遅延時間を1.1秒としたときのサッケード検出信号を示す図である。
【図34】実施の形態10に係るサッケード検出部のブロック図である。
【図35】実施の形態10に係る合成信号生成部の動作を示すフローチャートである。
【図36A】電極の添付パターンの一例を示す図である。
【図36B】電極の添付パターンの他の例を示す図である。
【図36C】電極の添付パターンの他の例を示す図である。
【図36D】電極の添付パターンの他の例を示す図である。
【図37】まばたき信号を含む眼電位信号の一例を示す図である。
【図38】図37の眼電位信号にメディアンフィルタ処理を適用して得られた眼電位信号を示す図である。
【図39】実施の形態11に係る眼電位計測装置のブロック図である。
【図40】実施の形態11に係るフィルタ処理内容決定部の動作を示すフローチャートである。
【図41】図39のフィルタ処理部のブロック図である。
【図42】図37の眼電位信号に最小値フィルタ処理を適用して得られた眼電位信号を示す図である。
【図43】図42の眼電位信号に最大値フィルタ処理を適用して得られた眼電位信号を示す図である。
【図44】実施の形態12に係る眼電位計測装置のブロック図である。
【図45】図44のフィルタ処理部のブロック図である。
【図46】図37の眼電位信号を図45のフィルタ処理部に入力して得られたまばたき信号を示す図である。
【図47】実施の形態13に係る眼電位計測装置のブロック図である。
【図48】図47のフィルタ処理部のブロック図である。
【図49】図37の眼電位信号を図48のフィルタ処理部に入力して得られたサッケード信号を示す図である。
【図50】実施の形態14に係る視線検出装置のブロック図である。
【図51A】対応する眼電位変化量と眼球移動角との組み合わせを複数保持するテーブルを示す図である。
【図51B】対応する眼電位変化量と視線位置との組み合わせを複数保持するテーブルを示す図である。
【図52】ディスプレイに較正指標が表示されている状態を示す図である。
【図53】実施の形態14に係る視線検出装置の動作を示すフローチャートである。
【図54】実施の形態14に係る視線検出装置の別構成を示す図である。
【図55】実施の形態15に係る眼科診断装置のブロック図である。
【図56】実施の形態16に係る撮像装置のブロック図である。
【図57】実施の形態16に係る撮像装置をユーザが装着した状態を示す図である。
【図58】実施の形態17に係るヘッドマウントディスプレイのブロック図である。
【図59】実施の形態17に係るヘッドマウントディスプレイをユーザが装着した状態を示す図である。
【図60】実施の形態17に係るヘッドマウントディスプレイの表示部に表示される画像の一例を示す図である。
【図61】実施の形態18に係る電子めがねのブロック図である。
【図62】実施の形態18に係る電子めがねをユーザが装着した状態を示す図である。
【図63A】ユーザの眼球が正面を向いている状態を示す図である。
【図63B】ユーザの眼球が右側を向いている状態を示す図である。
【図64】眼電位計測におけるドリフトの例を示す図である。
【図65】眼電位計測におけるドリフトを説明するための図である。
【発明を実施するための形態】
【0036】
以下、図面を参照しながら、本発明の実施の形態について説明する。
【0037】
(実施の形態1)
図1は、本発明の実施の形態1に係るノイズ低減装置100の構成を表すブロック図である。図1に示されるノイズ低減装置100は、サッケード情報取得部110と、制御部120と、フィルタ部130とを備える。
【0038】
サッケード情報取得部110は、眼電位原信号からサッケード信号を検出し、サッケード情報を出力する。サッケード情報には、例えば、サッケード信号の有無、サッケード信号の振幅、隣接するサッケード信号の時間間隔、所定時間内に発生するサッケード信号の発生頻度などが含まれる。
【0039】
制御部120は、サッケード情報取得部110から出力されるサッケード情報に基づいて、ノイズ低減の際に使用するフィルタ部130のフィルタ特性を決定する。制御部120によって制御されるフィルタ特性には、例えば、カットオフ特性、又はフィルタ係数等がある。
【0040】
フィルタ部130は、制御部120によって適応的に制御されたフィルタ特性を用いて、眼電位原信号に含まれるノイズを低減する。フィルタ部130は、例えば、ローパスフィルタ又はハイパスフィルタである。
【0041】
制御部120は、例えば、サッケード情報のうち、隣接するサッケード信号の時間間隔に応じて、フィルタ部130のカットオフ周波数を変更する構成が考えられる。例えば、フィルタ部130にローパスフィルタを用いる場合において、サッケード信号の時間間隔が短いほど、カットオフ周波数を増大させる。サッケード信号の時間間隔が短い場合とは、眼球運動が活発であり、眼球運動の周波数が大きい場合である。すなわち、カットオフ周波数を大きくして、低周波数帯域のより広い範囲のノイズを低減したとしても、眼球運動の周波数特性への影響は少ない。
【0042】
このように時間間隔に応じて、フィルタ部130のカットオフ周波数を変更することにより、眼球運動の周波数特性への影響を抑えながら、低周波ノイズの一例であるドリフトノイズを低減することができる。即ち、より簡便な方法で、眼電位原信号に対するノイズ成分の低減を図ることが可能になる。制御部120における、より詳細な処理の内容については後述する。
【0043】
次に、図2を参照して、実施の形態1に係るノイズ低減装置100が眼電位信号を計測する手順を説明する。まず、サッケード情報取得部110は、眼電位原信号から、サッケード信号の有無、サッケード信号の振幅、隣接するサッケード信号の時間間隔、所定時間内に発生するサッケード信号の発生頻度などのサッケード情報を取得する(S1001)。次に、制御部120は、サッケード情報取得部110で取得されたサッケード情報に基づいて、フィルタ部130のフィルタ特性を適応的に制御する(S1002)。最後に、フィルタ部130は、適応的に制御されたフィルタ特性を用いて、眼電位原信号に含まれるノイズの低減を行う(S1003)。
【0044】
以上に示した実施の形態1によれば、眼電位原信号からサッケード情報を取得し、サッケード情報に基づいて、フィルタ特性を適応的に制御している。その結果、より簡便な方法で、眼電位原信号に対するノイズ成分の低減を図ることが可能になる。
【0045】
(実施の形態2)
本発明の実施の形態2は、眼電位計測におけるS/N比向上に向けて、特にドリフトノイズを低減する装置及び方法に関わるものである。ドリフトノイズとは、時間的に眼電位原信号の基線が変化する現象である。ドリフトノイズの発生原因としては、例えば、眼電位の計測に用いる電極の材料や、皮膚と電極との接触状況の変化等の要因が挙げられる。ドリフトノイズは低周波ノイズであり、眼球運動と周波数特性が重なる部分があるため、眼電位計測のS/N比低下の大きな要因である。
【0046】
図64に実際にユーザに電極を貼付して眼電位を計測した結果を示す。図64は、複数の指標を図65に示される順序で1秒毎に表示させたときの眼電位の測定結果である。図64を参照すれば、時間経過と共に眼電位の基線が変化していることがわかる。そこで、本実施の形態2では、サッケード検出信号の時間間隔を用いて、眼電位原信号からドリフトノイズを分離する装置及び方法について説明する。
【0047】
図3は、本発明の実施の形態2に係るノイズ低減装置200の構成を表すブロック図である。図3に示されるノイズ低減装置200は、サッケード情報取得部210と、制御部220と、フィルタ部230とを備える。また、サッケード情報取得部210は、サッケード検出部211と、時間間隔算出部212とを備える。このノイズ低減装置200は、眼電位原信号に含まれるドリフトノイズ等の低周波ノイズを低減する装置であって、フィルタ部230にはハイパスフィルタが用いられる。
【0048】
サッケード検出部211は、眼電位原信号にサッケード運動を示すサッケード信号が含まれていた場合に、サッケード検出信号を出力する。サッケード(衝動性眼球運動)とは、解像度の低い周辺網膜に映った対象を、解像度の高い網膜中心窩で捉えるために発生する眼球運動であり、その速度は100〜500(°/sec)と非常に大きいことが知られている。
【0049】
図19にサッケード信号を含んだ眼電位原信号の波形の例を示す。図19において、点線で囲った部分がサッケードを示す箇所である。サッケードが発生すると、急峻に電位変化が起こった後、一定時間停留(固視)し、再び元の電位まで戻っている。これは、ある指標Aからある指標Bまで眼球をサッケードによって動かし、再び指標Bから指標Aまで眼球をサッケードによって動かした場合の一例である。一般に人間は0.3秒程度の固視と数十ミリ秒のサッケードを繰り返すことによって、周囲の情報を取得している。
【0050】
図19の様な眼電位原信号からサッケード信号を検出する方法の一つとして、眼電位原信号に最大値フィルタ処理と最小値フィルタ処理とをそれぞれ適用し、その差分を求める方法がある。この処理の詳細は、後述する。
【0051】
図19に示される眼電位原信号に最大値フィルタ処理及び最小値フィルタ処理を適用することによって得られる出力信号を図26に示す。図26に示されるように、サッケードが発生したときのみ、出力信号にピークが現れる。
【0052】
サッケード検出部211は、出力信号のうちの予め定めた閾値を上回る信号を、サッケード運動を示すサッケード信号と判定するサッケード判定部(図示省略)をさらに備える。そして、サッケード信号を検出したことを示すサッケード検出信号を時間間隔算出部212に出力する。
【0053】
なお、実施の形態2ではサッケード信号の検出方法として、最小値フィルタと最大値フィルタとを使用したが、高域通過フィルタ等のサッケードを検出するものであればどのような手法でも構わない。
【0054】
時間間隔算出部212は、サッケード検出部211から出力されたサッケード検出信号を用いて、サッケードの時間間隔を算出する。例えば、内部にサンプリング周波数に応じたタイマーを保持し、サッケード検出信号に応じてタイマーをリセットする構成が考えられる。具体的な処理手順を図4に示す。
【0055】
まず、サッケード検出信号がHigh、つまり、サッケードが検出されたかどうかを判定する(S2001)。真であれば、サッケード検出信号の時間間隔Δtをリセットする(S2002)。一方、偽であれば、時間間隔Δtに、ノイズ低減装置200のサンプリング周波数fに応じた時間1/fを加算して、時間間隔Δtを更新する(S2003)。そして、リセットまたは更新した時間間隔Δtを出力する(S2004)。
【0056】
制御部220は、時間間隔算出部212から出力された時間間隔Δtを用いて、ハイパスフィルタであるフィルタ部230で眼電位原信号に適用するカットオフ周波数を決定する。例えば、サッケード検出信号の時間間隔Δtが短い場合、眼球運動は高周波な信号となって眼電位現信号に現れるため、そのタイミングでカットオフ周波数を大きくすることにより、低周波なドリフトノイズを低減することが考えられる。逆に時間間隔が長い場合は、眼球運動は注視、追従運動等の低周波な運動を行っていると考えられるため、カットオフ周波数を小さくすることにより、眼電位原信号を保護することが考えられる。
【0057】
具体的な処理手順を図5を用いて説明する。なお、図5の処理は、例えば、図4の処理においてサッケードが検出されたタイミングで、リセット前の時間間隔Δtを用いて実行される。
【0058】
まず、時間間隔Δtが所定値TH1よりも大きいかどうかを判定する(S2101)。真であればカットオフ周波数fcから所定値Δfcを減算して、カットオフ周波数を小さくする(S2102)。一方、偽であれば、カットオフ周波数fcに所定値Δfcを加算して、カットオフ周波数を大きくする(S2103)。すなわち、制御部220は、時間間隔Δtが所定値TH1以下の場合にカットオフ周波数fcを増加させ、時間間隔Δtが所定値TH1よりも大きい場合にカットオフ周波数fcを減少させることになる。
【0059】
そして、更新されたカットオフ周波数fcを所定の範囲(0以上、Maxfc以下)にクリップして、その値を出力する(S2104)。ここでMaxfcは、ドリフトノイズとして想定される最大周波数である。すなわち、制御部220は、0以上、且つドリフトノイズの最大周波数以下の範囲内でカットオフ周波数を変更することになる。
【0060】
フィルタ部230は、制御部220から出力されたカットオフ周波数fcを用いて眼電位原信号にハイパスフィルタを適用し、ドリフトノイズ低減後の信号である眼電位信号を出力する。
【0061】
以上のような実施の形態2に係るノイズ低減装置200が、眼電位信号を出力する全体の手順を図6を用いて説明する。
【0062】
まず、眼電位原信号からサッケード信号を取得する(S2201)。次に、サッケード検出信号から時間間隔Δtを取得する(S2202)。次に、得られた時間間隔Δtからハイパスフィルタのカットオフ周波数fcを求める(S2203)。そして、新たなカットオフ周波数fcを用いてフィルタ処理を行うことにより、ドリフトノイズを低減する(S2204)。
【0063】
以上に示した実施の形態2によれば、眼電位原信号からサッケード検出信号の時間間隔Δtを取得し、時間間隔Δtに基づいて、ハイパスフィルタのカットオフ周波数fcを適応的に制御している。その結果、より簡便な方法で、眼電位原信号に対するドリフトノイズを低減することが可能になる。
【0064】
なお、本実施の形態2では、時間間隔Δtが所定値TH1より大きいかどうかでカットオフ周波数fcの増減を決定したが、時間間隔Δtから直接カットオフ周波数fcを算出しても構わない。または、あらかじめ、時間間隔Δtとカットオフ周波数fcとの対応関係を示すテーブルを作成しておき、時間間隔算出部212で算出された時間間隔Δtに対応するカットオフ周波数fcをテーブルから抽出して、フィルタ部230に通知してもよい。
【0065】
(実施の形態3)
本発明の実施の形態3は、眼電位計測におけるS/N比向上に向けて、特にドリフトノイズを低減する装置及び方法に関わるものである。本実施の形態3は、サッケード検出信号の時間間隔ではなく、サッケード検出信号の頻度情報を用いて、眼電位原信号からドリフトノイズを分離する点で実施の形態2と異なる。
【0066】
図7は、本発明の実施の形態3に係るノイズ低減装置300の構成を表すブロック図である。実施の形態3に係るノイズ低減装置300は、サッケード情報取得部310と、制御部320と、フィルタ部230とを備える。また、サッケード情報取得部310は、サッケード検出部211と、発生頻度算出部312とを備える。このノイズ低減装置300は、眼電位原信号に含まれるドリフトノイズ等の低周波ノイズを低減する装置であって、フィルタ部230にはハイパスフィルタが用いられる。
【0067】
図7において、上記の実施の形態と同様の構成についてはすでに説明しているので、同一の参照符号を付し、説明を省略する。
【0068】
発生頻度算出部312は、所定時間のサッケード検出信号を記憶しておく内部メモリを備え(図示省略)、内部メモリに記憶されている所定時間のサッケード検出信号を用いて、サッケードの発生頻度を求める。例えば、所定時間内のサッケード検出信号をカウントし、その合計値をサッケードの発生頻度とすることが考えられる。
【0069】
具体的な処理手順を図8を用いて説明する。まず、サッケードの発生頻度Sacを0にリセットする(S3001)。次に、内部メモリ内の時刻tにおけるサッケード検出信号がHighかどうかを判定する(S3002)。真であれば、発生頻度Sacに1を加算し(S3003)、偽であれば加算しない。そして、時刻を時刻tから1サンプル前の時刻(t−1)に更新し(S3004)、更新結果が内部メモリに記憶している所定時間内かどうか、すなわちt<Th2であるかを判定する(S3005)。所定時間内であれば、更新された時刻tのサッケード検出信号がHighかどうかを判定するステップS3002に戻り、所定時間外であれば、求めた発生頻度Sacを出力する(S3006)。
【0070】
制御部320は、発生頻度算出部312から出力た発生頻度Sacを用いて、ハイパスフィルタであるフィルタ部230で眼電位原信号に適用するカットオフ周波数fcを決定する。例えば、サッケードの発生頻度が大きい場合、眼球運動は高周波な信号となって眼電位原信号に現れるため、カットオフ周波数fcを大きくすることにより、低周波なドリフトノイズを低減することが考えられる。逆にサッケードの発生頻度が小さい場合は、眼球運動は注視、追従運動等の低周波な運動を行っていると考えられるため、カットオフ周波数を小さくすることにより、眼電位原信号を保護することが考えられる。
【0071】
具体的な処理手順を図9を用いて説明する。まず、発生頻度Sacが所定値TH3よりも大きいかどうかを判定する(S3101)。真であればカットオフ周波数fcに所定値Δfcを加算して、カットオフ周波数を大きくする(S3102)。一方、偽であれば、カットオフ周波数fcから所定値Δfcを減算して、カットオフ周波数を小さくする(S3103)。すなわち、制御部320は、発生頻度Sacが所定値TH3よりも大きい場合にカットオフ周波数fcを増加させ、発生頻度Sacが所定値TH3以下の場合にカットオフ周波数fcを減少させることになる。
【0072】
そして、更新されたカットオフ周波数fcを所定の範囲(0以上、Maxfc以下)にクリップして、その値を出力する(S3104)。ここでMaxfcは、ドリフトノイズとして想定される最大周波数である。すなわち、制御部320は、0以上、且つドリフトノイズの最大周波数以下の範囲内でカットオフ周波数を変更することになる。
【0073】
以上のような実施の形態3に係るノイズ低減装置300が、眼電位信号を出力する全体の手順を図10を用いて説明する。
【0074】
まず、眼電位原信号からサッケード信号を取得する(S3201)。次に、サッケード検出信号から発生頻度Sacを取得する(S3202)。そして、得られた発生頻度Sacからハイパスフィルタのカットオフ周波数fcを求める(S3203)。そして、新たなカットオフ周波数fcを用いてフィルタ処理を行うことにより、ドリフトノイズを低減する(S3204)。
【0075】
以上に示した実施の形態3によれば、眼電位原信号からサッケードの発生頻度Sacを取得し、発生頻度Sacに基づいて、ハイパスフィルタのカットオフ周波数fcを適応的に制御している。その結果、より簡便な方法で、眼電位原信号に対するドリフトノイズを低減することが可能になる。
【0076】
なお、本実施の形態3では、発生頻度Sacが所定値TH3より大きいかどうかでカットオフ周波数fcの増減を決定したが、発生頻度Sacから直接カットオフ周波数fcを算出しても構わない。または、あらかじめ、発生頻度Sacとカットオフ周波数fcとの対応関係を示すテーブルを作成しておき、発生頻度算出部312で算出された発生頻度Sacに対応するカットオフ周波数fcをテーブルから抽出して、フィルタ部230に通知してもよい。
【0077】
(実施の形態4)
本発明の実施の形態4は、眼電位計測におけるS/N比向上に向けて、特に高周波ノイズを低減する装置及び方法に関わるものである。高周波ノイズは、例えば、生体の筋電位や脳波、および、外界の電源ノイズ等が挙げられ、眼電位計測のS/N比低下の一つの要因である。そこで、本実施の形態4では、サッケード検出信号を用いて、眼電位原信号から高周波ノイズを分離する装置及び方法について説明する。
【0078】
図11は、本発明の実施の形態4に係るノイズ低減装置400の構成を表すブロック図である。実施の形態4に係るノイズ低減装置400は、サッケード情報取得部410と、制御部420と、フィルタ部430とを備える。また、サッケード情報取得部410は、サッケード検出部211と、無発生領域特定部412とを備える。このノイズ低減装置400は、眼電位原信号に含まれる高周波ノイズを低減する装置であって、フィルタ部430にはローパスフィルタが用いられる。
【0079】
図11において、上記の実施の形態と同様の構成についてはすでに説明しているので、同一の参照符号を付し、説明を省略する。
【0080】
無発生領域特定部412は、所定時間のサッケード検出信号を記憶しておく内部メモリ部を備え(図示省略)、内部メモリに記憶されている所定時間のサッケード検出信号を用いて、サッケードの無発生領域情報(すなわち、無発生領域を特定するための情報)を求める。例えば、フィルタ部430でのフィルタ対象のサンプルを含み、且つサッケード運動の発生していない時間的に連続した領域をサッケードの無発生領域とすることが考えられる。
【0081】
具体的な処理手順を図12を用いて説明する。まず、サッケードの無発生領域を時刻LtからRtと示し、LtとRtを現在のサンプリング時刻t(フィルタ対象となるサンプルの時刻)にセットする(S4001)。そして、時刻t−iのサッケード検出信号がLowかどうかを判定する(S4002)。真であれば、Ltを時刻t−iに更新し(S4003)、iに1を加算して(S4004)次の時刻t−iのサッケード検出信号を調べる(S4005)。一方、時刻t−iが所定時間外、もしくは、時刻t−iのサッケード検出信号がHighであれば、ステップS4006に移り、Rtの更新を行う。
【0082】
まず、iを1にリセットし(S4006)、時刻t+iのサッケード検出信号がLowかどうかを調べる(S4007)。サッケード検出信号がLowであれば、Rtを時刻t+iに更新し(S4008)、iに1を加算して(S4009)、次の時刻t+iのサッケード検出信号を調べる(S4010)。一方、時刻t+iが所定時間外、もしくは、時刻t+iのサッケード検出信号がHighであれば、サッケードの無発生領域情報を時刻Ltから時刻Rtとして出力する(S4011)。
【0083】
制御部420は、無発生領域特定部412から出力されたサッケードの無発生領域情報を用いて、ローパスフィルタであるフィルタ部430で眼電位原信号に適用するフィルタ係数を決定する。例えば、フィルタ長5の平滑化フィルタを適用する際に、あるサンプリング時刻tにおけるサッケードの無発生領域が時刻t−2から時刻t+2の場合は、図13Aに示されるように、フィルタ係数として(1/5、1/5、1/5、1/5、1/5)を出力する。一方、サッケードの無発生領域が時刻t−1から時刻t+2の場合は、図13Bに示されるように、フィルタ係数として(0、1/4、1/4、1/4、1/4)を出力する。このように、サッケードの無発生領域情報に基づいて、フィルタ係数を適用的に制御する。
【0084】
すなわち、制御部420は、無発生領域に含まれないサンプル(図13Bの例では、時刻t−2のサンプル)のフィルタ係数を0にする。これにより、ローパスフィルタを適用して時刻tのサンプルの高周波ノイズを低減しようとする場合において、信号レベルが極めて大きい時刻t−2のサンプルの影響を排除することができる。
【0085】
フィルタ部430は、制御部420から出力されたフィルタ係数を用いて、眼電位原信号にローパスフィルタを適用し、高周波ノイズを低減した眼電位信号を出力する。
【0086】
以上のような実施の形態4に係るノイズ低減装置400が、眼電位信号を出力する全体の手順を図14を用いて説明する。
【0087】
まず、眼電位原信号からサッケード信号を取得する(S4101)。次に、サッケード検出信号からサッケードの無発生領域情報を取得する(S4102)。次に、得られた無発生領域情報からローパスフィルタのフィルタ係数を求める(S4103)。そして、得られたフィルタ係数を用いてフィルタ処理を行うことにより、高周波ノイズを低減する(S4104)。
【0088】
以上に示した実施の形態4によれば、眼電位原信号からサッケードの無発生領域情報を取得し、無発生領域情報に基づいて、ローパスフィルタのフィルタ係数を適応的に制御している。その結果、より簡便な方法で、眼電位原信号に対する高周波ノイズを低減することが可能になる。
【0089】
また、サッケードの無発生領域のサンプルのみを用いてローパスフィルタを適用するため、サッケード信号を保護しながら高周波ノイズを低減することができる。
【0090】
(実施の形態5)
本発明の実施の形態5は、眼電位計測におけるS/N比向上に向けて、特に高周波ノイズを低減する装置及び方法に関わるものである。本実施の形態4では、サッケード検出信号とサッケード信号の振幅とを用いて、眼電位原信号から高周波ノイズを分離する装置及び方法について説明する。
【0091】
図15は、本発明の実施の形態5に係るノイズ低減装置500の構成を表すブロック図である。実施の形態5に係るノイズ低減装置500は、サッケード情報取得部510と、制御部520と、フィルタ部430とを備える。また、サッケード情報取得部510は、サッケード検出部211と、無発生確率算出部512とを備える。このノイズ低減装置500は、眼電位原信号に含まれる高周波ノイズを低減する装置であって、フィルタ部430にはローパスフィルタが用いられる。
【0092】
図15において、上記の実施の形態と同様の構成についてはすでに説明しているので、同一の参照符号を付し、説明を省略する。
【0093】
サッケード検出部511は、サッケードの有無を示すサッケード検出信号と、サッケード信号の振幅とを出力する。眼電位原信号からサッケード信号の振幅を検出する方法の一つとして、眼電位原信号に最大値フィルタ処理と最小値フィルタ処理とをそれぞれ適用し、その差分を求める方法がある。この処理の詳細は、後述する。
【0094】
無発生確率算出部512は、所定時間のサッケード検出信号とサッケード信号の振幅とを記憶しておく内部メモリを備え(図示省略)、内部メモリに記憶されている所定時間のサッケード検出信号とサッケード信号の振幅とを用いて、サッケードの無発生確率を求める。例えば、所定時間内のサッケード検出信号に囲まれた領域をサッケードの無発生確率1とし、サッケード検出信号がHighとなる度に、サッケード信号の振幅に応じて無発生確率を下げることが考えられる。
【0095】
ここで、無発生確率とは、サッケード検出信号で示されるサンプル位置において、実際にはサッケードが発生していない確率を示す。すなわち、対応するサッケード信号の振幅が小さい程、無発生確率は高くなる。一方、対応するサッケード信号の振幅が大きい程、無発生確率は低くなる。
【0096】
具体的な処理手順を図16を用いて説明する。まず、時刻tのサッケード無発生確率P(t)を1とする(S5001)。次に、時刻t−iのサッケード無発生確率P(t−i)に、時刻t−i+1のサッケード無発生確率P(t−i+1)からAS(t−i)/MaxASを減ずることで無発生確率を下げる(S5002)。ここでAS(t−i)は、時刻t−iにおけるサッケード信号の振幅値、MaxASは、眼電位計測時にあらかじめ求めておいたサッケード信号の振幅の最大値である。
【0097】
サッケード信号の振幅値AS(t−i)が0、つまり、サッケードが発生していない場合は、P(t−i+1)がP(t−i)にコピーされる。そしてP(t−i)が0より小さくなれば、0にクリップし(S5003)、iに1を加算することで(S5004)次の時刻t−iのサッケード無発生確率を求める。
【0098】
そして、時刻t−iが所定時間外になれば(S5005)、同様の手順で時刻t+iのサッケード確率無発生P(t+i)を順に求め(S5006〜S5009)、時刻t+iが所定時間外になれば(S5010)、求めた無発生確率を出力する(S5011)。
【0099】
なお、本実施の形態では、MaxASは眼電位計測時にあらかじめ求めておいたサッケード信号の振幅の最大値としたが、計測中にこの値を超えるサッケード信号の振幅値が計測されれば、更新するようにしても構わない。
【0100】
制御部520は、無発生確率算出部512から出力されたサッケードの無発生確率を用いて、ローパスフィルタであるフィルタ部430で眼電位原信号に適用するフィルタ係数を決定する。例えば、ローパスフィルタとしてフィルタ長nの平滑化フィルタを適用する際には、時刻t+iフィルタ係数を、以下の式1で算出する。
【0101】
【数1】

【0102】
フィルタ長5の平滑化フィルタの場合、サンプリング時刻tにおけるサッケードの無発生確率が(1、1、1、1、1)の際は、図17Aに示されるように、フィルタ係数が(1/5、1/5、1/5、1/5、1/5)と算出される。一方、サッケードの無発生確率が(0.5、1、1、1、1)の場合は、図17Bに示されるように、(1/9、2/9、2/9、2/9、2/9)と算出される。すなわち、制御部520は、無発生確率が高いサンプルに対応するフィルタ係数を相対的に大きくし、無発生確率が低いサンプルの対応するフィルタ係数を相対的に小さくする。
【0103】
以上のような実施の形態5に係るノイズ低減装置500が、眼電位原信号を出力する全体の手順を図18を用いて説明する。
【0104】
まず、眼電位原信号からサッケード信号を取得する(S5101)。次に、得られたサッケード信号の振幅からサッケードの無発生確率を取得する(S5102)。次に、得られた無発生確率からローパスフィルタのフィルタ係数を求める(S5103)。そして、得られたフィルタ係数を用いてフィルタ処理を行うことにより、高周波ノイズを低減する(S5104)。
【0105】
以上に示した実施の形態5によれば、眼電位原信号からサッケードの無発生確率を取得し、無発生確率に基づいて、ローパスフィルタのフィルタ係数を適応的に制御している。その結果、より簡便な方法で、眼電位原信号に対する高周波ノイズを低減することが可能になる。
【0106】
また、サッケード信号の振幅値に応じた無発生確率に基づいて、ローパスフィルタのフィルタ係数を決定するため、サッケードの誤検出時にも、高周波ノイズの低減を図ることができる。
【0107】
なお、実施の形態5ではサッケード信号の振幅の検出方法として、最小値フィルタと最大値フィルタとを使用したが、高域通過フィルタ等のサッケードを検出するものであればどのような手法でも構わない。
【0108】
次に、サッケード検出部211において、眼電位原信号中のサッケード信号の検出方法を詳しく説明する。なお、サッケード信号は、上記のノイズ低減装置100に限らず、医療機器、運転支援機器、およびユーザインタフェース等の分野において、ユーザの眼球運動や状態を検出する上で広く利用されている。そのため、高精度かつ簡易にサッケード信号を検出することは非常に有効である。
【0109】
例えば、眼電位原信号からサッケード信号を検出する方法として、以下の特許文献2〜4に記載の技術がある。
【0110】
特開平11−276461号公報(特許文献2)には、操作者のサッケード信号を検出し、その発生頻度に基づいて操作者の注意力を判定する技術が開示されている。なお、サッケード信号の検出には、遮断周波数が0.05〜0.1Hz程度の高域通過フィルタを用いる。
【0111】
特開平9−034631号公報(特許文献3)には、ディスプレイ画面上のポインタと操作者の注視点との手動による位置あわせ作業を不要にするための技術が開示されている。具体的には、ディスプレイ画面上に較正用シンボルを発生させた後の所定時間内にサッケード信号が検出されると、較正用シンボルと操作者の注視点とが一致したと判断してポインタ位置を較正する。なお、サッケード信号の検出には、遮断周波数が0.05〜0.1Hz程度の高域通過フィルタを用いる。
【0112】
特開2002−272693号公報(特許文献4)には、眼球運動信号に基づいてサッケード運動の終了時点を検出する。そして、サッケード運動が終了するごとに、その時点から一定期間内の脳波を単位脳波として脳の複数の部位ごとに順次記憶することにより、眼球停留関連電位を取得する技術が開示されている。なお、サッケード信号の検出には、眼球運動方向が所定時間範囲内で連続して同じであった後に変化したかどうかを判定することにより検出する。
【0113】
図3に示されるサッケード検出部211に、特許文献2〜4に開示されるようなサッケード検出方法を採用してもよい。しかしながら、特許文献2、3に示す方法では、高域通過フィルタによってサッケード信号を検出している。図19に示した眼電位原信号が広域通過フィルタを通過すると、図20に示すように、サッケード信号の振幅が小さくなる場合がある。特に、振幅の小さいサッケード信号は、ノイズ成分と区別がつかなくなる場合がある。
【0114】
また、特許文献4に示す方法では、眼球運動方向を検出する際にノイズ成分等の影響により、サッケード運動中であっても眼球運動方向が連続して同じだと判定されない等、誤検出のおそれがある。
【0115】
そこで、本発明の実施の形態6〜9では、ユーザの眼電位原信号から高精度かつ簡易に、サッケード信号を検出する方法を説明する。なお、以下の説明では、ユーザに貼付された電極から取得したドリフト信号を含む眼電位原信号からサッケード信号を検出する例を説明するが、実施の形態14に示されるように、ノイズが除去された眼電位信号からサッケード信号を検出する場合も同様である。
【0116】
(実施の形態6)
図21は、本発明の実施の形態6に係るサッケード検出部600の構成を表すブロック図である。図21に示されるサッケード検出部600は、眼電位原信号に最大値フィルタ処理を適用する最大値フィルタ部(第1のフィルタ処理部)601と、眼電位原信号に最小値フィルタ処理を適用する最小値フィルタ部(第2のフィルタ処理部)602と、減算部603とから成る。
【0117】
より具体的には、最大値フィルタ部601と最小値フィルタ部602とが並列に接続されている。最大値フィルタ部601は、眼電位原信号に最大値フィルタ処理を施して第1の眼電位信号を出力する。最小値フィルタ部602は、眼電位原信号に最小値フィルタ処理を施して第2の眼電位信号を出力する。そして、減算部603は、第1の眼電位信号から第2の眼電位信号を減算して出力信号を生成する。
【0118】
なお、本発明は、図63A及び図63Bに示されるように、眼球の左右に電極を貼付する場合や、眼から離れた位置に電極を貼付する計測方法のように、ユーザのまばたき成分が眼電位原信号に混入されない場合を対象としており、そのような計測方法時のサッケード信号の検出に関して説明する。
【0119】
次に、図21の最大値フィルタ部601の処理について説明する。最大値フィルタ部601は、眼電位原信号f(x)に対し、以下のフィルタ処理を適用する。
【0120】
fmax(x)=max(fmax(x),f(x+i))
nが奇数の場合(−n/2<i<n/2)
nが偶数の場合(−n/2≦i<n/2)または(−n/2<i≦n/2)
【0121】
ここで、fmax(x)は最大値フィルタ処理適用後の眼電位信号、nはフィルタタップ数、iは整数である。また、max(a,b)はa及びbのうち大きい方の値を返す関数である。つまり、最大値フィルタ処理は、眼電位原信号中の任意のサンプルf(x)を中心とするnサンプルのうちの最も振幅の大きいサンプル値を出力する。この処理を眼電位原信号の全てのサンプルについて実行することにより、第1の眼電位信号を得ることができる。
【0122】
上記フィルタ処理を、図19の眼電位原信号に適用した例を図22に示す。なお、眼電位原信号からサッケード信号を検出するために、最大値フィルタ処理の単位処理間隔を0.25秒としている。単位処理間隔は、1回の最大値フィルタ処理の対象となるサンプルが含まれる時間間隔を示す。また、最大値フィルタ部601のフィルタタップ数nは、単位処理間隔(0.25秒)に含まれるサンプル数である。すなわち、フィルタタップ数nは、単位処理間隔と、眼電位原信号をA/D変換する際のサンプリング周波数とに基づいて算出することができる。
【0123】
図22に示すように、眼電位原信号に最大値フィルタ処理を適用すると、正の信号は時間方向に広がり、負の信号は時間方向に狭くなる。ただし、最大値フィルタ部601の単位処理間隔を一般的な1回の固視時間(0.3秒から0.4秒程度)より大きくすると、図23に示されるように、負の方向のサッケード波形が破綻する。図23は、単位処理間隔を1.0秒として最大値フィルタ処理を実行した例である。図23のようにサッケード波形が破綻すると、サッケード信号を検出できなくなるため、最大値フィルタ部601の単位処理間隔は、一般的な1回の固視時間より短くする必要がある。
【0124】
なお、実施の形態6では、最大値フィルタ処理の単位処理間隔を0.25秒とした例を示したが、一般的な1回の固視時間より短ければどのような値であってもよい。
【0125】
次に最小値フィルタ部602の処理について説明する。最小値フィルタ部602は、眼電位原信号f(x)に対して、以下のフィルタ処理を適用する。
【0126】
fmin(x)=min(fmin(x),f(x+i))
nが奇数の場合(−n/2<i<n/2)
nが偶数の場合(−n/2≦i<n/2)または(−n/2<i≦n/2)
【0127】
ここで、fmin(x)は最小値フィルタ処理適用後の眼電位信号、nはフィルタタップ数、iは整数である。また、min(a,b)はa及びbのうち小さい方の値を返す関数である。つまり、最小値フィルタ処理は、眼電位原信号中の任意のサンプルf(x)を中心とするnサンプルのうちの最も振幅の小さいサンプル値を出力する。この処理を眼電位原信号の全てのサンプルについて実行することにより、第2の眼電位信号を得ることができる。
【0128】
上記フィルタ処理を、図19の眼電位原信号に適用した例を図24に示す。
【0129】
図24では、眼電位原信号からサッケード信号を検出するために、最小値フィルタ処理の単位処理間隔を0.25秒としている。
【0130】
図24に示すように、眼電位原信号に最小値フィルタ処理を適用すると、正の信号は時間方向に狭くなり、負の信号は時間方向に広がる。ここで、最小値フィルタ部202の単位処理間隔を一般的な1回の固視時間より大きくすると、図25に示されるように、正の方向のサッケード波形が破綻する。図25は、単位処理間隔を1.0秒として最小値フィルタ処理を実行した例である。図25のようにサッケード波形が破綻すると、サッケード成分を検出できなくなるため、最小値フィルタ部602の単位処理間隔は、一般的な1回の固視時間より短くする必要がある。
【0131】
なお、実施の形態6では、最小値フィルタ部の単位処理間隔を0.25秒とした例を示したが、一般的な1回の固視時間より短ければ、どのような値であってもよい。
【0132】
次に、減算部603の処理について説明する。減算部603は、最大値フィルタ部601から出力される第1の眼電位信号fmax(x)から、最小値フィルタ部602から出力される第2の眼電位信号fmin(x)を減算することにより、サッケード信号の抽出を行う。
【0133】
図22に示される第1の眼電位信号と、図24に示される第2の眼電位信号との差分をとった信号を図26に示す。図26を参照すれば、サッケードの発生した時間帯を含む検出信号が得られていることがわかる。
【0134】
サッケード検出部600は、図26に示されるような出力信号に基づいてサッケード検出信号および振幅情報を生成し、時間間隔算出部212、発生頻度算出部312、無発生領域特定部412、無発生確率算出部512に出力する。例えば、サッケード運動に要する時間に相当する時間内におけるサンプル値の変化量が予め定めた閾値を上回った場合にサッケード運動が発生したと判定し、サッケード検出信号を出力する。また、このときのサンプル値の変化量を振幅情報として出力する。
【0135】
なお、実施の形態6では、最大値フィルタ部601及び最小値フィルタ部602を用いたが、最大値や最小値に近い値を選択するフィルタを使用しても構わない。その場合、最大値・最小値に対して、90%程度の値を選択するものであることが望ましい。
【0136】
また、実施の形態6では、最大値フィルタ部601及び最小値フィルタ部601の単位処理間隔(フィルタタップ数)を同じ値に設定した例を示したが、異なる値を設定してもよい。
【0137】
以上に示した実施の形態6の構成によれば、眼電位原信号に最大値フィルタ処理と最小値フィルタ処理とをそれぞれ適用し、最大値フィルタ処理適用後の第1の眼電位信号から最小値フィルタ処理適用後の第2の眼電位信号を減算してサッケード信号を検出する。その結果、サッケードの発生時刻を含んだサッケード信号を簡易に取得できる。
【0138】
(実施の形態7)
図27は、本発明の実施の形態7に係るサッケード検出部700の構成を表すブロック図である。
【0139】
実施の形態7に係るサッケード検出部700は、最大値フィルタ処理部(第1のフィルタ処理部)601と、減算器603とを備える。すなわち、最小値フィルタ部602が省略されている点が実施の形態6と異なる。最小値フィルタ部602を省略することによって、処理量を抑えつつ、サッケード信号を簡易に取得できる。
【0140】
図27において、図21と同様の構成についてはすでに説明しているので、同一の参照符号を付し、説明を省略する。実施の形態7に係るサッケード検出部700において、眼電位原信号は2つに分岐する。そして、一方は最大値フィルタ部601を通過して第1の眼電位信号として減算部603に入力し、他方は第2の眼電位信号として減算部603に直接入力する。そして、減算部603が最大値フィルタ処理適用後の第1の眼電位信号fmax(x)から眼電位原信号f(x)(「第2の眼電位信号」に相当)を減算してサッケード信号を出力する点が実施の形態6と異なる。
【0141】
図22に示される最大値フィルタ処理適用後の第1の眼電位信号と、図19に示される眼電位原信号との差分をとった信号を図28に示す。図28を参照すれば、サッケードの発生時に検出信号が得られていることがわかる。
【0142】
このサッケード検出部700は、図28に示されるような出力信号に基づいてサッケード検出信号および振幅情報を生成し、時間間隔算出部212、発生頻度算出部312、無発生領域特定部412、無発生確率算出部512に出力する。例えば、サッケード運動に要する時間に相当する時間内におけるサンプル値の変化量が予め定めた閾値を上回った場合にサッケード運動が発生したと判定し、サッケード検出信号を出力する。また、このときのサンプル値の変化量を振幅情報として出力する。
【0143】
ただし、負の方向のサッケード成分の検出信号は、サッケード発生時の前後に現れる。そのため、時間的な情報を必要としないサッケードの発生頻度等を求める際には、本実施の形態7は処理量において有効である。
【0144】
なお、実施の形態7では、最大値フィルタ部601を用いたが、最大値に近い値を選択するフィルタを使用しても構わない。その場合、最大値に対して90%程度の値を選択するものであることが望ましい。
【0145】
以上に示した実施の形態7の構成によれば、眼電位原信号に最大値フィルタ処理を適用した第1の眼電位信号から眼電位原信号を減算してサッケード信号を検出するため、サッケード信号を簡易に取得できる。
【0146】
(実施の形態8)
図29は、本発明の実施の形態8に係るサッケード検出部800の構成を表すブロック図である。
【0147】
実施の形態8に係るサッケード検出部800は、最小値フィルタ部(第1のフィルタ処理部)602と、減算部603とを備える。すなわち、最大値フィルタ部601が省略されている点が実施の形態6と異なる。最大値フィルタ部601を省略することによって、処理量を抑えつつ、サッケード信号を簡易に取得できる。
【0148】
図29において、図21と同様の構成についてはすでに説明しているので、同一の参照符号を付し、説明を省略する。実施の形態8に係るサッケード検出部800において、眼電位原信号は2つに分岐する。そして、一方は最小値フィルタ部602を通過して第1の眼電位信号として減算部603に入力し、他方は第2の眼電位信号として減算部603に直接入力する。そして、減算部603が眼電位原信号f(x)(「第2の眼電位信号」に相当)から最小値フィルタ処理適用後の第1の眼電位信号fmin(x)を減算してサッケード信号を出力する点が実施の形態6と異なる。
【0149】
図19に示される眼電位原信号と図24に示される最小値フィルタ処理適用後の第2の眼電位信号との差分をとった信号を図30に示す。図30を参照すれば、サッケードの発生時に検出信号が得られていることがわかる。
【0150】
このサッケード検出部800は、図30に示されるような出力信号に基づいてサッケード検出信号および振幅情報を生成し、時間間隔算出部212、発生頻度算出部312、無発生領域特定部412、無発生確率算出部512に出力する。例えば、サッケード運動に要する時間に相当する時間内におけるサンプル値の変化量が予め定めた閾値を上回った場合にサッケード運動が発生したと判定し、サッケード検出信号を出力する。また、このときのサンプル値の変化量を振幅情報として出力する。
【0151】
ただし、正の方向のサッケード信号は、サッケード発生時の前後に現れる。そのため、時間的な情報を必要としないサッケードの発生頻度等を求める際には、実施の形態8は処理量において有効である。
【0152】
なお、実施の形態8では、最小値フィルタ部602を用いたが、最小値に近い値を選択するフィルタを使用しても構わない。その場合、最小値に対して90%程度の値を選択するものであることが望ましい。
【0153】
以上に示した実施の形態8の構成によれば、眼電位原信号(第2の眼電位信号)から、眼電位原信号に最小値フィルタ処理を適用した第1の眼電位信号を減算してサッケード信号を検出するため、サッケード信号を簡易に取得できる。
【0154】
(実施の形態9)
次に、実施の形態9に係るサッケード検出部900のブロック図を図31に示す。
【0155】
実施の形態9に係るサッケード検出部900は、遅延信号生成部901と、減算部603とで構成される。遅延信号生成部901は、眼電位原信号を所定の時間遅延させて遅延信号を出力する。また、サッケード検出部900に入力する眼電位原信号は、2つに分岐する。そして、一方は遅延信号生成部901を通過して遅延信号として減算部603に入力し、他方は減算部603に直接入力する。そして、減算部603は、眼電位原信号から遅延信号を減算してサッケード信号を出力する。この遅延信号生成部901を備えることによって、正負の符号付のサッケード信号を簡易に取得できる。
【0156】
図31に示される遅延信号生成部901の処理について説明する。遅延信号生成部901は、眼電位原信号f(x)に対し、以下の処理を適用する。
【0157】
fdelay(x)=f(x−t)
【0158】
ここで、fdelay(x)は遅延処理後の眼電位信号(遅延信号)、tは遅延時間である。上記遅延処理を、図19に示される眼電位原信号に適用することによって遅延信号が得られる。そして、減算部603によって、眼電位原信号から遅延信号を減算した例を図32に示す。なお、眼電位原信号から符号付のサッケード成分を検出するために、遅延時間t=0.25秒としている。図32を参照すれば、サッケードの発生した時間帯を含む符号付のサッケード信号が得られていることがわかる。
【0159】
このサッケード検出部900は、図32に示されるような出力信号に基づいてサッケード検出信号および振幅情報を生成し、時間間隔算出部212、発生頻度算出部312、無発生領域特定部412、無発生確率算出部512に出力する。例えば、サッケード運動に要する時間に相当する時間内におけるサンプル値の変化量が予め定めた閾値を上回った場合にサッケード運動が発生したと判定し、サッケード検出信号を出力する。また、このときのサンプル値の変化量を振幅情報として出力する。
【0160】
ここで、遅延時間tを一般的な1回の固視時間=(0.3秒から0.4秒程度)より大きくすると、図33に示されるように、サッケード信号が破綻する。図33は、遅延時間tとして1.1秒を用いた例である。図33のようにサッケード信号が破綻すると、サッケード信号を抽出できなくなるため、遅延信号生成部901の遅延時間tは、一般的な1回の固視時間より短くする必要がある。なお、実施の形態9では、0.25秒の遅延時間を適用する例を示したが、一般的な1回の固視時間より短い遅延時間であれば、どのような値でも構わない。
【0161】
以上に示した実施の形態9の構成によれば、眼電位原信号から遅延信号を生成し、眼電位原信号から遅延信号を減算して符号付のサッケード信号を検出するため、正負のサッケード信号を区別できる点において有効である。
【0162】
(実施の形態10)
次に、実施の形態10に係るサッケード検出装置のブロック図を図34に示す。実施の形態10は、眼電位原信号を多チャンネルで計測する際のサッケード検出装置に関するものである。
【0163】
実施の形態10に係るサッケード検出装置は、多チャンネルの眼電位原信号から合成信号を生成する合成信号生成部1001と、サッケード検出部1000とで構成される。
【0164】
合成信号生成部1001は、例えば、N個のチャネル0ch〜Nchを通して測定された眼電位原信号EOG0ch〜EOGNchを、チャネル0ch〜Nchが属するグループ毎に加算平均する。そしてグループ毎の平均値を減算して差動増幅することで、合成信号を生成することが考えられる。具体的な処理手順を図35に示す。
【0165】
まず、眼電位が同位相となる計測チャンネルのグルーピングを行う(S10001)。ここで、眼電位が同位相であるかどうかは、例えば、顔の右側、左側等の計測位置によって判断することができる。なお、計測位置だけではなく、計測された眼電位原信号の特徴から動的に判別しても構わない。次に、グルーピングされた各グループの加算平均をそれぞれ計算する(S10002)。そして、各グループの加算平均値をグループ間で減算することで差動増幅を行い(S10003)、合成信号として出力する(S10004)。
【0166】
サッケード検出部1000は、合成信号生成部1001が生成した合成信号を用いてサッケード検出信号を生成する。サッケード検出部1000には、例えば、実施の形態6〜9に係るサッケード検出装置を適用することができる。
【0167】
このサッケード検出部1000は、サッケード検出信号および振幅情報を生成し、時間間隔算出部212、発生頻度算出部312、無発生領域特定部412、無発生確率算出部512に出力する。例えば、サッケード運動に要する時間に相当する時間内におけるサンプル値の変化量が予め定めた閾値を上回った場合にサッケード運動が発生したと判定し、サッケード検出信号を出力する。また、このときのサンプル値の変化量を振幅情報として出力する。
【0168】
以上に示した実施の形態10の構成によれば、多チャンネルの眼電位原信号から、S/N比の高い合成信号を生成し、その合成信号を用いてサッケード信号を検出するため、サッケード検出の精度を向上できる点において有効である。
【0169】
次に、まばたきの影響を考慮した眼電位の計測方法を説明する。EOG法等、眼電位の変化を用いて眼球運動を検出する場合、ユーザのまばたきによる信号(以下、「まばたき信号」と呼ぶ)の影響が課題となる。
【0170】
まばたき信号は、眼電位の計測方法によって、常に正の方向に発生する場合や、常に負の方向に発生する場合がある。図36A〜図36Dに、眼電位測定部の貼付パターンと、眼電位原信号の計測方法の例を示す。
【0171】
図36Aに示される貼付パターンでは、眼の上下に電極を貼付し、眼の上側の電極Aで計測した眼電位Vaと、眼の下側の電極Bで計測した眼電位Vbとの差分電位Va−Vbを計測する。この場合、まばたき信号は常に正の方向に発生する。人のまばたきは、眼球が毎回上方向に移動するからである。
【0172】
図36Bに示される貼付パターンでは、眼の上側に電極Aを貼付し、もう一方はアースや眼電位の影響を受けにくい箇所に電極を貼付することで、電極Aの眼電位Vaを計測する。この場合も、まばたき信号は常に正の方向(基準値よりも大きい値で)に発生する。
【0173】
同様に、図36Cに示される貼付パターンでは、眼の上下に電極A、Bを貼付し、眼の下側の電極Bで計測した眼電位Vbと、眼の上側の電極Aで計測した眼電位Vaとの差分電位Vb−Vaを計測する。この場合は、まばたき信号は常に負の方向に発生する。図36Dに示される貼付パターンでは、眼の下側に電極Bを貼付し、もう一方はアースや眼電位の影響を受けにくい箇所に電極を貼付することで、電極Bの眼電位Vbを計測する。この場合も、まばたき信号は常に負の方向に発生する。
【0174】
図36A及び図36Bに示される貼付パターンで計測する場合、ユーザがまばたきを行うと、図37中の領域(a)に示すように、正の方向に急峻な電位(これが「まばたき信号」である)が発生する。このまばたき信号を直接、視線位置の検出に利用すると、視線位置が急激に変化し、正しく視線の追跡が行えない。
【0175】
そこで、眼電位原信号からまばたき信号(まばたきによる信号の成分)等の影響を低減する方法として、特開平11−85384号公報(特許文献1)に記載の技術がある。
【0176】
特許文献1に記載の技術では、ユーザの眼電位を検出し、注視位置(カーソル)をリアルタイムに入力できるようにすることを目的とする。その際に、眼電位の変動波形に遅れ要素を導入することによって注視位置(カーソル)の時間的変化を平滑化し、まばたきによる注視位置の急変を低減する。
【0177】
また、まばたき信号の影響を提供する技術として、真鍋宏幸,福本雅朗,“ヘッドフォンを用いた常時装用視線インタフェース”,インタラクション2006,pp.23−24,2006(非特許文献1)に記載の技術がある。
【0178】
非特許文献1に記載の技術では、左右合計8個の電極をヘッドフォンに貼付する。8個の電極から得られる眼電位の変化について、時間的に0.4秒のメディアンフィルタを適用することにより、該時間より短いまばたき信号の変化を除去する。
【0179】
しかしながら、特許文献6に示す方法のように、眼電位原信号を単に時間的に平滑化するだけでは、視線の追跡を行う上で重要となるサッケード(人間の眼が1つの注視点から次の注視点に素早く移動する運動(飛越運動))の成分変化を示すサッケード波形まで平滑化してしまうという副作用が発生する。
【0180】
また、非特許文献1に示すように、眼電位原信号にメディアンフィルタを適用すれば、図38に示すように、単発で発生したまばたき信号は除去できるが、所定時間以上、連続的に発生したまばたき信号の影響は完全に除去しきれない。また、サッケード波形が一部破綻するという副作用が発生する。
【0181】
即ち、まばたき信号の除去とサッケード信号の保存とを考慮した上で、どのような平滑化フィルタをどの時間分どの順で適用するのが最適かは、上述文献では明らかにされていない。
【0182】
そこで、実施の形態11〜13において、ユーザの眼電位信号から、高精度かつ簡易に、まばたき信号を除去もしくは検出し、さらに、サッケードの信号を検出する方法を説明する。なお、以下の説明では、ユーザに貼付された電極から取得したドリフト信号を含む眼電位原信号からまばたき信号を除去もしくは検出する例を説明するが、ノイズが除去された眼電位信号からまばたき信号を除去もしくは検出する場合も同様である。
【0183】
(実施の形態11)
図39は、本発明の実施の形態11に係る眼電位計測装置1100の構成を表すブロック図である。
【0184】
眼電位計測装置1100は、ユーザの眼の周囲に貼付されて眼電位を測定し、眼電位原信号を出力する眼電位測定部(図示省略)と、眼電位の測定方法を示す信号(図中:眼電位計測方法)によってフィルタ処理内容を決定するフィルタ処理内容決定部1110と、フィルタ処理内容決定部1110から出力されるフィルタ処理内容信号に従って、眼電位原信号にフィルタ処理を適用するフィルタ処理部1120とから成る。
【0185】
まず、眼電位の測定方法は、あらかじめ実験者やユーザが指定してもよいし、眼電位原信号の変化の傾向から推定されたものであってもよい。
【0186】
具体的には、図63A及び図63Bに示したように、眼球の左右に電極A、Bを貼付する計測方法であることをユーザが指定したり、ユーザがまばたきを行った際に、眼電位原信号に常に上方向の信号が発生する場合は、図36A及び図36Bに示したような貼付パターンによる計測方法であると推定したりすればよい。
【0187】
図40は、フィルタ処理内容決定部1110のフィルタ処理内容決定動作を示すフローチャートである。フィルタ処理内容決定部1110は、最初にまばたきの影響を除去するためにフィルタ処理部1120でのフィルタの適用順序(後述)を決定する。また、図示しないが、眼電位計測方法の違いに応じて、必要なタップ数(時間)を決定する。また、予め貼付けられた電極が水平方向か垂直方向に貼り付けられているかに応じて、フィルタの適用の有無を変更する。
【0188】
具体的には、図36A及び図36Bの貼付パターンのように、まばたき信号が常に正の方向に発生する計測方法かどうかを判定する(ステップS11001)。まばたき信号が常に正の電位を示す場合(ステップS11001でYes)、フィルタ処理内容として、最小値フィルタ処理、最大値フィルタ処理の順に適用するように決定する(ステップS11002)。
【0189】
まばたき信号が正の電位を示さない場合(ステップS11001でNo)、図20C及び図20Dの貼付パターンのように、まばたき信号が常に負の方向に発生する計測方法かどうかを判定する(ステップS11003)。まばたき信号が常に負の電位を示す場合(ステップS11003でYes)、フィルタ処理内容として、最大値フィルタ処理、最小値フィルタ処理の順に適用するように決定する(ステップS11004)。
【0190】
まばたき信号が負の電位を示さない場合(ステップS11003でNo)、計測方法がまばたきの影響を受けない場合だと判定し、まばたき信号除去のためのフィルタ処理を行わないことを決定する(ステップS11005)。なお、計測方法がまばたきの影響を受けない場合の例としては、図63A及び図63Bのように眼の左右に電極A、Bを貼付してその差分を計測する場合や、眼から離れた位置に電極A、Bを貼付する場合などが考えられる。
【0191】
フィルタ処理内容決定部1110は、上記の処理で決定されたフィルタの適用順序、及びフィルタのタップ数nや単位処理間隔等の情報を含めて、フィルタ処理内容信号(向き、タップ数n、有無(n=0として出力しても良い))を出力する。尚、上述フローチャートの判定順は一例であり、その判定順は問わない。
【0192】
図41は、フィルタ処理部1120の構成について示す図である。フィルタ処理部1120は、フィルタ処理内容決定部1110からのフィルタ処理内容信号に応じて、眼電位原信号にフィルタ処理を適用する。
【0193】
フィルタ処理部1120は、2つの最小値フィルタ部1121、1124と、2つの最大値フィルタ部1122、1123と、入力端子から出力端子に至る第1〜第3の経路のうちのいずれに眼電位原信号を出力するかを切り替えるスイッチ1125とで構成されている。
【0194】
第1の経路は、眼電位原信号に最小値フィルタ処理を適用して第1の眼電位信号を出力する最小値フィルタ部(第1のフィルタ処理部)1121と、第1の眼電位信号に最大値フィルタ処理を適用して第2の眼電位信号(フィルタ処理後信号)を出力する最大値フィルタ部(第2のフィルタ処理部)1122とが直列に接続されている。第2の経路は、眼電位原信号に最大値フィルタ処理を適用して第1の眼電位信号を出力する最大値フィルタ部(第1のフィルタ処理部)1123と、第1の眼電位信号に最小値フィルタ処理を適用して第2の眼電位信号(フィルタ処理後信号)を出力する最小値フィルタ部(第2のフィルタ処理部)1124とが直列に接続されている。第3の経路は、眼電位原信号にフィルタ処理を適用せずに出力する経路である。そして、スイッチ1125は、フィルタ処理内容決定部1110で決定したフィルタ処理内容に従って眼電位原信号の出力先を切り替える。
【0195】
スイッチ1125は、図40のステップS11002で生成されたフィルタ処理内容信号を受け付けた場合、眼電位原信号を第1の経路に出力するように、接続先を図41の上段に切り替える。また、図40のステップS11004で生成されたフィルタ処理内容信号を受け付けた場合、眼電位原信号を第2の経路に出力するように、接続先を図41の中段に切り替える。さらに、図40のステップS11005で生成されたフィルタ処理内容信号を受け付けた場合、眼電位原信号を第3の経路に出力するように、接続先を図41の下段に切り替える。
【0196】
なお、最小値フィルタ部1121、1124及び最大値フィルタ部1122、1123の処理内容は実施の形態6の説明と同一であるので、省略する。また、実施の形態11では、最小値フィルタ部1121、1124と最大値フィルタ部1122、1123とをそれぞれ2組用意したが、それぞれを1組ずつにして、フィルタ処理内容信号に基づいて接続順序を切り替える等によって実現しても構わない。
【0197】
次に、眼電位原信号が第1の経路に入力した場合の処理を説明する。まず、図42は、図37に示される眼電位原信号に最小値フィルタ部1121で最小値フィルタ処理を適用することによって得られる第1の眼電位信号を示す図である。
【0198】
なお、眼電位原信号からまばたき信号を除去するために、フィルタ処理内容信号で定められた値に従って最小値フィルタ部1121の単位処理間隔を0.25秒としている。
【0199】
図42中の領域(a)を参照すれば、眼電位原信号に最小値フィルタ処理を適用することによって、連続的なまばたき信号、および単発のまばたき信号を除去できていることがわかる。但し、図42に示される第1の眼電位信号には、最小値フィルタ処理を適用した副作用として、サッケード波形に変形(時間幅の増加)が生じる。
【0200】
なお、実施の形態11では、最小値フィルタ部1121の単位処理間隔を0.25秒として最小値フィルタ処理を実行した例を示したが、一般的な1回のまばたきの時間=(0.15秒から0.2秒程度)より長く、かつ、1回の固視時間=(0.3秒から0.4秒程度)より短ければどのような値であってもよい。
【0201】
次に、図43は、図42に示される第1の眼電位信号に最大値フィルタ部1122で最大値フィルタ処理を適用することによって得られる第2の眼電位信号(フィルタ処理後信号)を示す図である。なお、最小値フィルタ部1121と同様に、単位処理間隔を0.25秒としている。
【0202】
図43に示されるように、第1の眼電位信号に最大値フィルタ処理を適用することによって、図42のようなサッケード波形の変形を、元の信号波形の幅に復元することができる。
【0203】
最大値フィルタ部1123、および最小値フィルタ部1124の基本的な処理は、それぞれ最大値フィルタ部1122と、最小値フィルタ部1121と同じであり、最大値フィルタ処理、最小値フィルタ処理の順にフィルタ処理を行うことによって、サッケード波形に影響を与えずに、負の方向のまばたき信号を除去することができる。
【0204】
なお、実施の形態11では、最小値フィルタ部1121、1124、及び最大値フィルタ部1122、1123を用いた例を示したが、最小値や最大値に近い値を選択するフィルタを使用しても構わない。その場合、最大値・最小値に対して、90%程度の値を選択するものであることが望ましい。
【0205】
また、実施の形態11では、最小値フィルタ処理及び最大値フィルタ処理のフィルタタップ数は同じ値を用いたが、近い値を用いても構わない。つまり、必ずしも厳密に一致していることまでは必要ない。
【0206】
複数のフィルタ処理を連続して適用する場合は、まばたき信号の影響を除去するためのフィルタ処理が先に適用され、その後、サッケードの時間波形を復元するためのフィルタ処理が適用されるようにすればよい。
【0207】
また、実施の形態11では、最小値フィルタ処理と最大値フィルタ処理とを連続して適用することによって、まばたき信号を除去すると共にサッケード波形を復元したが、まばたき信号の除去だけを目的とする場合には、どちらか一方のみを適用しても、本発明の範囲を逸脱しない。
【0208】
以上に示した実施の形態11の構成によれば、眼電位原信号の計測方法に応じて眼電位原信号に対するフィルタ処理内容を決定し、その内容に従ってフィルタ処理する。その結果、例えば、電極の貼付け向きが逆になったとしても、まばたき信号を適切に除去できる。
【0209】
また、眼電位原信号の正の方向にまばたき信号が発生するような計測方法の場合に、最小値フィルタ処理、最大値フィルタ処理の順に連続して適用するようにフィルタ処理内容を決定する。その結果、正の方向のまばたき信号を簡易に除去しつつ、更に、サッケード波形を復元できる。
【0210】
また、眼電位原信号の負の方向にまばたき信号が発生するような計測方法の場合は、最大値フィルタ処理、最小値フィルタ処理の順に連続して適用するようにフィルタ処理内容を決定する。その結果、負の方向のまばたき信号を簡易に除去しつつ、更に、サッケード波形を復元できる。
【0211】
上記構成の眼電位計測装置1100は、図1に示されるノイズ低減装置100に適用することができる。例えば、眼電位計測装置1100から出力されるフィルタ処理信号を眼電位原信号として、図1に示されるサッケード情報取得部110およびフィルタ部130に入力する。これにより、眼電位計測部でまばたき信号を含む眼電位信号を計測したとしても、サッケード情報取得部110およびフィルタ部130では、まばたき信号を考慮する必要がなくなる。
【0212】
(実施の形態12)
図44及び図45は、本発明の実施の形態12に係る眼電位計測装置1200の構成を表すブロック図である。
【0213】
実施の形態12では、眼電位原信号からフィルタ処理後の眼電位信号を減算する減算部1226をフィルタ処理部1220に備える点が実施の形態11と異なる。この減算部1226を備えることによって、フィルタ処理後信号に加えてまばたき信号を出力することができるようになる。
【0214】
図45は、実施の形態12の眼電位計測装置1200におけるフィルタ処理部1220の一例を示すブロック図である。なお、図41と同様の構成についてはすでに説明しているので、同一の参照符号を付し、説明を省略する。
【0215】
減算部1226は、眼電位原信号と、フィルタ処理後信号との差分を出力する。これがまばたき信号となる。
【0216】
図37の眼電位原信号から図43の第2の眼電位信号を減算することによって得られるまばたき信号を図46に示す。図46を参照すれば、眼電位原信号からまばたき信号のみを検出できていることがわかる。
【0217】
以上に示した実施の形態12の構成によれば、眼電位原信号の計測方法に応じて眼電位原信号に対するフィルタ処理内容を決定し、その内容に従って適切なフィルタ処理を適用する。その結果、どのような計測方法であっても、まばたき信号を検出できる。
【0218】
また、眼電位原信号の正の方向にまばたき信号が発生するような計測方法の場合は、最小値フィルタ処理、最大値フィルタ処理の順に連続して適用するようにフィルタ処理内容を決定する。その結果、正の方向のまばたき信号を簡易に検出しつつ、サッケード成分を復元できる。
【0219】
また、眼電位原信号の負の方向にまばたき信号が発生するような計測方法の場合は、最大値フィルタ処理、最小値フィルタ処理の順に連続して適用するようにフィルタ処理内容を決定する。その結果、負の方向のまばたき信号を簡易に検出しつつ、サッケード成分を復元できる。
【0220】
(実施の形態13)
図47及び図48は、本発明の実施の形態13に係る眼電位計測装置1300の構成を表すブロック図である。
【0221】
実施の形態13では、最大値フィルタ処理及び最小値フィルタ処理の両方を適用した信号(第2の眼電位信号)から、最大値フィルタ処理及び最小値フィルタ処理の一方を適用した信号(第1の眼電位信号)を減算する減算部1324、1326をフィルタ処理部1320に備える点が実施の形態11と異なる。この減算部1326、1327を備えることによって、フィルタ処理後信号に加えてサッケード信号を出力することができるようになる。
【0222】
図48は、実施の形態13に係る眼電位計測装置1300におけるフィルタ処理部1320の一例を示すブロック図である。なお、図41と同様の構成についてはすでに説明しているので、同一の参照符号を付し、説明を省略する。
【0223】
減算部1326は、最大値フィルタ部1122の出力信号から最小値フィルタ1121の出力信号を減算することにより、サッケード信号を出力する。同様に、減算部1327は、最小値フィルタ部1124の出力信号から最大値フィルタ部1123の出力信号を減算することにより、サッケード信号を出力する。
【0224】
図43の最大値フィルタ処理適用後の第2の眼電位信号から図42の最小値フィルタ処理適用後の第1の眼電位信号を減算して得られるサッケード信号を図49に示す。図49を参照すれば、眼電位原信号から、サッケード信号のみを検出できていることがわかる。
【0225】
以上に示した実施の形態13の構成によれば、眼電位原信号の計測方法に応じて眼電位原信号に対するフィルタ処理内容を決定し、その内容に従ってフィルタ処理する。その結果、どのような計測方法であっても、サッケード信号を検出できる。つまり、当該フィルタ処理部1320を図3に示されるサッケード検出部211に適用すれば、まばたき信号の影響を受けずに適切なサッケード検出が可能となる。
【0226】
また、眼電位原信号の正の方向にまばたき信号が発生するような計測方法の場合は、最小値フィルタ処理、最大値フィルタ処理の順に連続して適用し、さらに、最大値フィルタ処理後の第2の眼電位信号から最小値フィルタ処理後の第1の眼電位信号を減算するようにフィルタ処理内容を決定する。その結果、正の方向のまばたき信号を除去しつつ、サッケード信号を検出できるという効果を有する。
【0227】
また、実施の形態13において、最大値フィルタ処理のフィルタタップ数を最小値フィルタ処理のフィルタタップ数より大きくすることで、サッケード信号の発生時刻を含んだサッケード信号を検出できるという効果を有する。
【0228】
一方、眼電位原信号の負の方向にまばたき信号が発生するような計測方法の場合は、最大値フィルタ処理、最小値フィルタ処理の順に連続して適用し、さらに、最小値フィルタ処理後の第2の眼電位信号から最大値フィルタ処理後の第1の眼電位信号を減算するようにフィルタ処理内容を決定する。その結果、負の方向のまばたき信号を除去しつつ、サッケード信号を検出できるという効果を有する。
【0229】
また、実施の形態13において、最小値フィルタ処理のフィルタタップ数を最大値フィルタ処理のフィルタタップ数より大きくすることで、サッケード信号の発生時刻を含んだサッケード信号を検出できるという効果を有する。
【0230】
なお、上述各実施の形態11〜13では、まばたき信号の除去、まばたき信号の検出、あるいはサッケード信号の検出を主眼とし、先に適用される最小値フィルタ処理および最大値フィルタ処理のフィルタタップ数を説明した。これらは、筋電位やノイズ等の時間幅に合わせることにより、それらを除去する目的で使用することも可能である。
【0231】
(実施の形態14)
図50は、本発明の実施の形態14に係る視線検出装置1410の構成を表すブロック図である。図50に示される視線検出装置1410は、ユーザの眼の周囲に貼付されて眼電位を測定し、眼電位原信号を出力する眼電位測定部1401と、眼電位原信号にノイズ低減処理を施すノイズ低減部1402を備えた眼電位計測装置1400と、眼電位原信号を視線位置(「視線方向」と読み替えることができる。以下同じ)に変換する較正部1411と、較正パラメータの更新を指示する較正パラメータ更新指示部1412と、較正パラメータ更新指示を受けて較正指標を提示する較正指標提示部1413と、眼電位原信号からサッケード信号を検出するサッケード検出部1414と、サッケード検出部1414から出力された眼電位変化量および較正指標提示部1413によって出力された較正指標の位置に基づいて較正パラメータを算出する較正パラメータ計算部1415と、眼電位原信号の出力先を較正部1411及びサッケード検出部1414のいずれかに切り替えるスイッチ1416とから成る。
【0232】
眼電位計測装置1400におけるノイズ低減部1402には、例えば、実施の形態1〜5に係るノイズ低減装置を適用することができる。また、サッケード検出部1414には、例えば、実施の形態6〜10、13を適用することができる。
【0233】
眼電位測定部は、典型的には、ユーザの眼の周辺に貼付される電極である。具体的な貼付方法は特に限定されないが、例えば、図63A及び図63Bに示されるように、目尻側貼付される電極Aと、目頭側に貼付される電極Bとを組み合わせて使用してもよい。または、図36A〜図36Dに示されるように、電極を眼の上下の一方又は両方に貼付してもよい。さらには、電極をこめかみの上下に貼付してもよい。なお、本実施例では、ユーザの眼の周辺に電極を貼付するとしたが、電極を耳周辺に貼付する方法や、皮膚に電極を接触する方法等でも構わない。
【0234】
較正部1411は、予め保持している較正パラメータを用いて、眼電位原信号からユーザの視線位置を算出する。ここで、較正パラメータとは、眼電位原信号を眼球移動角に変換するためのパラメータであり、そのうちの一つとして、以下の式2で用いられる較正係数αが挙げられる。
【0235】
一般的に計測眼電位Va−bは、眼球移動角θが一定の範囲内であれば線形に変化することが知られている。つまり、計測眼電位Va−bは較正係数αと眼球移動角θとを用いて次式2で近似することができる。
【0236】
【数2】

【0237】
EOG法を用いた較正時の動作例を説明する。眼電位原信号として眼電位Veが較正部101に入力された場合、(式2)を用いて眼球移動角θを求める。そして、移動角θからユーザと注視物体との距離等の情報を用いて視線位置を求める。以上の手順により、眼電位から視線位置を求めることができる。なお、ユーザと注視物体との距離を測定する方法は特に限定されないが、例えば、測距センサ等を用いることができる。
【0238】
なお、本発明は式2を用いた較正方法に限定されず、図51Aに示すような対応する眼電位変化量と眼球移動角との組み合わせを複数保持するテーブルを、較正パラメータとして用いて構わない。さらに、図51Bに示すような対応する眼電位とディスプレイ座標やカメラ座標等の視線位置との組み合わせを複数保持するテーブルを、較正パラメータとして用いて構わない。
【0239】
較正パラメータ更新指示部1412は、視線検出開始時等のイベントが発生した場合に、較正指標提示部1413とスイッチ1416とに較正パラメータ更新指示信号を出力する。そして、較正パラメータの更新を終了する際には、較正パラメータ更新指示信号の出力を停止する。
【0240】
スイッチ1416は、較正パラメータ更新指示に従って、眼電位原信号を較正部1411及びサッケード検出部1414のどちらに送信するかを切り替える。
【0241】
較正指標提示部1413は、較正パラメータ更新指示を受けると、較正指標をユーザに提示する。そして、サッケード検出部1414からのサッケード検出信号に従って、較正指標の提示位置を変化させる。
【0242】
一例として、図52のようなディスプレイ10を用いて較正を行う場合、較正パラメータ更新指示を受け付けたことに応じてディスプレイ10の中心に第1の較正指標20を表示させる。その後、サッケード検出信号を受け付けると、第2の較正指標30を左上に表示させる。そして、再びサッケード検出信号を受けると、次の較正指標を右上等に表示させる。このように、ユーザのサッケードに応じて較正指標の位置を変化させることにより、ユーザにサッケードを誘発することができる。このようにしてユーザのサッケードに応じて変化させた較正指標の位置は、較正パラメータ計算部105に出力される。
【0243】
なお、実施の形態1では、第1及び第2の較正指標20、30をディスプレイ10に表示したが、較正指標を提示する方法はこれに限定されない。例えば、実空間上にレーザポイント等で較正指標を表示させてもよい。さらには、カメラ等を用いて周辺に存在する物体(例えば、人の顔等)から較正指標を選択し、当該較正指標をユーザに認識させるための音声情報を出力するようにしてもよい。つまり、較正指標提示部1413は、ユーザが較正指標を特定するための情報を出力するものであればどのようなものであってもよい。
【0244】
較正パラメータ計算部1415は、サッケード検出部1414からのサッケード検出信号を受けると、眼電位変化量と較正指標位置とを用いて較正パラメータの更新を行う。較正パラメータの一つである較正係数αの計算例を示す。まず、較正指標位置と、ユーザと較正指標が表示された物体(典型的には、ディスプレイ)との距離情報等とを用いて、較正指標を見た場合のユーザの眼球移動角θを求める。そして、入力された眼電位変化量Vcおよび眼球移動角θを式2に代入することにより、較正係数αを求めることができる。なお、ユーザとディスプレイとの距離情報の取得方法は特に限定されないが、例えば、測距センサ等を用いてもよいし、ディスプレイから予め定められた距離だけ離れた位置にユーザを立たせてから較正パラメータ更新指示を出力するようにしてもよい。
【0245】
次に、図53を参照して、実施の形態14に係る視線検出装置1401が較正パラメータを更新する手順を説明する。この視線検出装置1401は、外部から較正パラメータ更新指示が入力されたことを契機として、新たな較正パラメータを計算する。
【0246】
まず、視線検出装置1401は、較正パラメータ更新指示の入力を監視する(S14001)。この較正パラメータ更新指示は、較正パラメータ更新指示部1412から較正指標提示部1413及びスイッチ1416に送信される。較正パラメータ更新指示の入力方法は特に限定されないが、例えば、較正パラメータ更新指示部1412がユーザからの指示を受け付けてもよいし、視線検出装置1401の電源投入時等の所定のタイミングで自動的に当該指示を発行してもよい。
【0247】
次に、較正パラメータ更新指示を受け付けた較正指標提示部1413(S14001でYes)は、ユーザに対して第1の較正指標20を提示する(S14002)。また、較正指標提示部1413は、第1の較正指標20の位置情報を較正パラメータ計算部1415に通知する。同様に、較正パラメータ更新指示を受け付けたスイッチ1416は、眼電位原信号の出力先を較正部1411からサッケード検出部1414に切り替える。
【0248】
次に、サッケード検出部1414は、スイッチ1416を経由して入力される眼電位原信号中にサッケード信号が含まれているか否かを監視する(S14003)。ディスプレイ10上に第1の較正指標20が表示されると、ユーザの視線が任意の位置から第1の較正指標20に移動する。このときにサッケード信号が現れる。
【0249】
なお、サッケード信号の検出方法は特に限定されないが、例えば、最大値フィルタ、最小値フィルタ、遅延器等を利用して検出する方法がある。詳細は後述する。サッケード信号が検出されると(S14003でYes)、サッケード検出部1414は、較正指標提示部1413にサッケード検出信号を出力する。同様に、較正パラメータ計算部1415にサッケード検出信号及び眼電位変化量Va−bを出力する。
【0250】
次に、サッケード検出信号を受け付けた較正指標提示部1413は、ユーザに対して全ての較正指標を提示したか否かを判断する(S14004)。提示すべき較正指標の数は予め定められていてもよいし、ユーザに対して較正指標の提示を継続するか否かを問い合わせるようにしてもよい。なお、実施の形態1においては、提示すべき較正指標が2個であるとして説明する。
【0251】
現時点では第1の較正指標20しか提示していないので(S14004でNo)、較正指標提示部1413は、次の較正指標を提示する(S14002)。具体的には、第1の較正指標20をディスプレイ10上から削除すると共に、第2の較正指標30をディスプレイ10上に表示させる。また、第2の較正指標30の位置情報を較正パラメータ計算部1415に通知する。
【0252】
次に、サッケード検出部1414は、眼電位原信号中にサッケード信号が含まれているか否かを監視する(S14003)。第2の較正指標30がディスプレイ10上に表示されると、ユーザの視線が第1の較正指標20から第2の較正指標30に移動する。このときにサッケード信号が現れる。
【0253】
サッケード信号を検出したサッケード検出部1414は、前回と同様に、サッケード検出信号及び眼電位変化量Va−bを出力する。また、第2の較正指標30を提示した後のステップS14004において、較正指標提示部1413は、全ての較正指標を提示したと判断する(S14004でYes)。
【0254】
次に、較正パラメータ計算部1415は、較正指標提示部1413から受信した第1及び第2の較正指標20、30の位置情報と、サッケード検出部1414から受信した第2の較正指標30を出力した後の眼電位変化量Va−bとに基づいて、新たな較正パラメータを計算する。具体的には、第1及び第2の較正指標20、30の位置情報から眼球移動角θを算出する。そして、眼電位変化量Va−bと眼球移動角θとを式2に代入して、較正係数αを得る。
【0255】
なお、実施の形態14では較正パラメータの更新例として較正係数αの計算方法について説明したが、較正パラメータの更新方法はこれに限定されない。例えば、較正パラメータ計算部1415に入力された眼電位変化量と、眼球移動角や較正指標位置とを用いて、図51A及び図51Bに示すような対応する眼電位変化量と眼球移動角や視線位置との組み合わせを複数保持するテーブルを更新しても構わない。この場合、提示すべき較正指標の総数を増やすことにより、図51A及び図51Bのテーブルのレコード数が増加するので、より信頼性の高い較正パラメータを得ることができる。
【0256】
以上に示した実施の形態14の構成によれば、眼電位原信号からノイズを低減し、S/N比向上後の眼電位原信号からサッケード信号を検出し、サッケード運動中に発生した眼電位の変化量を用いて較正パラメータの更新を行う。その結果、従来方式の課題であったドリフトの影響を受けずに正しく較正パラメータを求めることができる。
【0257】
また、眼電位計測装置におけるノイズ低減によって、眼電位原信号のS/N比が向上するため、視線検出の精度を向上することができる。
【0258】
また、ユーザのサッケードを誘発しながら較正パラメータを更新することができる。その結果、ユーザは較正指標を眼で追うだけでよく、較正時のユーザの負担を軽減することができる。
【0259】
また、較正パラメータを、図51A及び図51Bに示されるようなテーブルとして保持することにより、較正時間を短縮することができる。
【0260】
また、較正パラメータを眼電位変化量Va−bと眼球移動角θとの関数の傾き(較正係数α)として保持することにより、メモリを削減できる。
【0261】
なお、視線検出装置1410は、図54に示すように、視線検出装置1410の内部に眼電位計測装置1400のノイズ低減部1401を備える構成であっても構わない。内部にノイズ低減部1401を備えることにより、ノイズ低減部1401で利用するサッケード情報を、サッケード検出部1414から取得することができ、処理量および回路規模を削減できる。
【0262】
(実施の形態15)
次に、図55を参照して、本発明の実施の形態15に係る眼科診断装置1500を説明する。この眼科診断装置1500は、例えば、ユーザの眼の周辺に電極を貼付し、眼電位を計測することによって網膜常存電位の異常を診断する装置である。具体的には、眼科診断装置1500は、ユーザの眼の周囲に貼付されて眼電位を測定し、眼電位原信号を出力する眼電位測定部1511と、眼電位原信号にノイズ低減処理を施すノイズ低減部1512を備えた眼電位計測装置1510と、診断部1520を備える。
【0263】
診断部1520は、例えば、明順応時の眼電位信号と暗順応時の眼電位信号との比であるArden比を計算し、Arden比の異常から網膜状態を診断することが考えられる。眼電位計測装置1510におけるノイズ低減部1511には、例えば、実施の形態1〜5に係るノイズ低減装置を適用することができる。
【0264】
ただし、実施の形態15に係る眼電位計測装置1510は、上記の用途に限定されない。他の用途としては、眼電位の変化量に応じてスイッチ切替を行う装置や、携帯電話、音楽プレーヤー等のモバイル端末のリモコン操作等にも適用することができる。
【0265】
なお、本実施例では、ユーザの眼の周辺に電極を貼付するとしたが、電極を耳周辺に貼付する方法や、皮膚に電極を接触する方法等でも構わない。
【0266】
(実施の形態16)
次に、図56及び図57を参照して、本発明の実施の形態16に係る撮像装置1600を説明する。この撮像装置1600は、例えば、ユーザの側頭部に装着され、ユーザの視線方向を撮像する装置である。具体的には、撮像装置1600は、撮像部1601と、視線検出装置1602と、撮像制御部1603とを備える。
【0267】
撮像装置1600は、例えば、静止画を撮影するカメラであってもよいし、動画を撮影するビデオカメラであってもよい。視線検出装置1600には、例えば、実施の形態14に係る視線検出装置1401を適用することができる。また、実施の形態16における眼電位計測部としての電極は、図57に示されるように、ユーザの左眼のこめかみの上下に添付されている。
【0268】
そして、撮像制御部1603は、視線検出装置1602からの出力信号を監視し、ユーザの視線の移動に追従して撮像部1601の向きを変えさせる。これにより、撮像部1601にユーザの視線方向を撮像させることができる。
【0269】
(実施の形態17)
次に、図58および図59を参照して、本発明の実施の形態17に係るヘッドマウントディスプレイ1700を説明する。このヘッドマウントディスプレイ1700は、例えば、めがね形状を有しており、ユーザの眼前に画像を表示し、表示された画像上に示されているマウスをユーザの視線方向に移動させる装置である。具体的には、ヘッドマウントディスプレイ1700は、表示部1701と、表示制御部1702と、視線検出装置1703とを備える。
【0270】
図60に示すように、表示部1701には、各種画像が表示されており、その画像上にマウス1704が表示されているものとする。視線検出装置1703には、例えば、実施の形態14に係る視線検出装置1410を適用することができる。
【0271】
そして、表示制御部1702は、視線検出装置1703からの出力信号を監視し、ユーザの視線の移動に追従して表示部1701に表示されているマウス1704を移動させる。これにより、例えば、処理実行部(図示せず)は、マウス1704が指し示すアイコン1705に対応付けられた処理(図60の例では、映像再生処理)を実行することができる。
【0272】
(実施の形態18)
次に、図61および図62を参照して、本発明の実施の形態18に係る電子めがね1800を説明する。この電子めがね1800は、ユーザの視線位置に合わせてレンズの焦点を変化させることができるめがねである。具体的には、電子めがね1800は、レンズ1801と、焦点制御部1802と、視線検出装置1803とを備える。
【0273】
レンズ1801は、ユーザの眼前に位置し、電子的に焦点を変化させることができるレンズである。
【0274】
視線検出装置1803には、例えば、実施の形態14に係る視線検出装置1410を適用することができる。
【0275】
そして、焦点制御部1802は、視線検出装置1803からの出力信号を監視し、ユーザの視線の移動に追従してレンズ1801の焦点を変化させる。例えば、ユーザが書籍を読むなどのために近くを見ている場合には、焦点制御部1802は、近くに焦点が合うようにレンズ1801の焦点を制御する。また、ユーザが遠くの風景を見ている場合には、焦点制御部1802は、遠くに焦点が合うようにレンズ1801の焦点を制御する。
【0276】
なお、本実施の形態においては、ユーザの左眼および右眼は同一点を注視しているものとする。このため、視線検出装置1803は、眼電位から視線位置を検出することができる。
【0277】
ただし、実施の形態14に係る視線検出装置1410は、上記の用途に限定されない。他の用途としては、撮像装置で撮像された映像上に、視線検出装置1401で検出されたユーザの視線位置をプロットするような装置や、運転中のドライバーの視線を検出して危険喚起を行う等の装置に適用することもできる。
【0278】
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
【0279】
上記の各装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。RAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【0280】
上記の各装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成要素を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。RAMには、コンピュータプログラムが記憶さている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。
【0281】
上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。ICカードまたはモジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。ICカードまたはモジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ICカードまたはモジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【0282】
本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、コンピュータプログラムからなるデジタル信号であるとしてもよい。
【0283】
また、本発明は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されているデジタル信号であるとしてもよい。
【0284】
また、本発明は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【0285】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、メモリは、上記コンピュータプログラムを記憶しており、マイクロプロセッサは、コンピュータプログラムにしたがって動作するとしてもよい。
【0286】
また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【0287】
上記実施の形態及び上記変形例をそれぞれ組み合わせてもよい。
【0288】
以上、図面を参照してこの発明の実施形態を説明したが、この発明は、図示した実施形態のものに限定されない。図示した実施形態に対して、この発明と同一の範囲内において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。
【産業上の利用可能性】
【0289】
本発明は放送や通信および蓄積の分野において、映像や音声を記録再生する機器等として有用である。また、静止画像記録再生機器等としても適用が可能である。さらに、健康医療機器としても適用が可能である。
【符号の説明】
【0290】
100,200,300,400,500 ノイズ低減装置
110,210,310,410,510 サッケード情報取得部
120,220,320,420,520 制御部
130,230,430 フィルタ部
211,511 サッケード検出部
212 時間間隔算出部
312 発生頻度算出部
412 無発生領域特定部
512 無発生確率算出部
600,700,800,900,1000 サッケード検出部
601,1122,1123 最大値フィルタ部
602,1121,1124 最小値フィルタ部
603,1126,1326,1327 減算部
901 遅延信号生成部
1001 合成信号生成部
1100,1200,1300,1400,1510 眼電位計測装置
1110 フィルタ処理内容決定部
1120,1220,1320 フィルタ処理部
1125,1416 スイッチ
1401 眼電位測定部
1402,1512 ノイズ低減部
1410,1603,1703,1803 視線検出装置
1411 較正部
1412 較正パラメータ更新指示部
1413 較正指標提示部
1414 サッケード検出部
1415 較正パラメータ計算部
1500 眼科診断装置
1520 診断部 1600 撮像装置
1601 撮像部
1602 撮像制御部
1700 ヘッドマウントディスプレイ
1701 表示部
1702 表示制御部
1704 マウス
1705 アイコン
1800 電子めがね
1801 レンズ
1802 焦点制御部

【特許請求の範囲】
【請求項1】
ユーザの眼球運動によって生じる眼電位を示す眼電位原信号から、眼球の急速な運動であるサッケード運動に関する情報であるサッケード情報を取得するサッケード情報取得部と、
前記サッケード情報取得部で取得された前記サッケード情報に基づいて、前記眼電位原信号に含まれるノイズを低減するためのフィルタ特性を決定する制御部と、
前記制御部で決定された前記フィルタ特性を用いて前記眼電原位信号に含まれるノイズを低減し、眼電位信号を出力するフィルタ部とを備える
ノイズ低減装置。
【請求項2】
前記フィルタ部は、ハイパスフィルタであり、
前記サッケード情報取得部は、
前記眼電原位信号にサッケード運動を示すサッケード信号が含まれている場合に、サッケード検出信号を出力するサッケード検出部と、
前記サッケード検出部から出力される時間的に隣接する前記サッケード検出信号の時間間隔を、前記サッケード情報として算出する時間間隔算出部とを備え、
前記制御部は、
前記時間間隔が第1の値以下の場合に、カットオフ周波数を増加させ、
前記時間間隔が第1の値よりも大きい場合に、カットオフ周波数を減少させる
請求項1に記載のノイズ低減装置。
【請求項3】
前記フィルタ部は、ハイパスフィルタであり、
前記サッケード情報取得部は、
前記眼電原位信号にサッケード運動を示すサッケード信号が含まれている場合に、サッケード検出信号を出力するサッケード検出部と、
前記サッケード検出部から出力される前記サッケード検出信号の発生頻度を、前記サッケード情報として算出する発生頻度算出部とを備え、
前記制御部は、
前記発生頻度が第2の値よりも大きい場合に、カットオフ周波数を増加させ、
前記発生頻度が第2の値以下の場合に、カットオフ周波数を減少させる
請求項1に記載のノイズ低減装置。
【請求項4】
前記ノイズは、前記眼電位原信号の時間的な基線変動であるドリフトノイズであり、
前記制御部は、0以上、且つ前記ドリフトノイズの最大周波数以下の範囲内で前記カットオフ周波数を変更する
請求項2又は3に記載のノイズ低減装置。
【請求項5】
前記フィルタ部は、ローパスフィルタであり、
前記サッケード情報取得部は、
前記眼電位原信号にサッケード運動を示すサッケード信号が含まれている場合に、サッケード検出信号を出力するサッケード検出部と、
前記サッケード検出部から出力された前記サッケード検出信号に基づいて、前記フィルタ部でのフィルタ対象のサンプルを含み、且つサッケード運動の発生していない時間的に連続した領域である無発生領域を特定する無発生領域特定部とを備え、
前記制御部は、前記無発生領域に含まれないサンプルのフィルタ係数を0にする
請求項1に記載のノイズ低減装置。
【請求項6】
前記フィルタ部は、ローパスフィルタであり、
前記サッケード情報取得部は、
前記眼電位原信号にサッケード運動を示すサッケード信号が含まれている場合に、当該サッケード信号の振幅を出力するサッケード検出部と、
前記フィルタ部に入力される各サンプルに対して、前記サッケード検出部から検出された振幅に応じて、当該サンプル位置でサッケードが発生していない確率である無発生確率を算出する無発生確率算出部とを備え、
前記制御部は、前記無発生確率が高いサンプルほどフィルタ係数を大きくする
請求項1に記載のノイズ低減装置。
【請求項7】
前記サッケード検出部は、
前記眼電位原信号を所定の時間遅延させて遅延信号を出力する遅延信号生成部と、
前記眼電位原信号から前記遅延信号を減算して得られる出力信号を生成する減算部と、
前記出力信号のうちの予め定めた閾値を上回る信号をサッケード運動を示すサッケード信号と判定するサッケード判定部とを備える
請求項1〜6のいずれか1項に記載のノイズ低減装置。
【請求項8】
前記所定の遅延時間は、ユーザが前記較正指標を固視している時間より短い
請求項7に記載のノイズ低減装置。
【請求項9】
前記サッケード検出部は、
前記眼電位原信号に最大値フィルタ処理及び最小値フィルタ処理のいずれか一方を施して第1の眼電位信号を出力する第1のフィルタ処理部と、
前記第1の眼電位信号、及び前記眼電位原信号から得られる第2の眼電位信号の一方から他方を減算し、出力信号を生成する減算部と、
前記出力信号のうちの予め定めた閾値を上回る信号をサッケード運動を示すサッケード信号と判定するサッケード判定部とを備える
請求項1〜6のいずれか1項に記載のノイズ低減装置。
【請求項10】
前記サッケード検出部は、さらに、前記眼電位原信号に最大値フィルタ処理及び最小値フィルタ処理のいずれか他方を施して前記第2の眼電位信号を出力する第2のフィルタ処理部を備える
請求項9に記載のノイズ低減装置。
【請求項11】
前記サッケード検出部は、さらに、前記第1の眼電位信号に最大値フィルタ処理及び最小値フィルタ処理のいずれか他方を施して前記第2の眼電位信号を出力する第2のフィルタ処理部を備える
請求項9に記載のノイズ低減装置。
【請求項12】
該ノイズ低減装置は、さらに、複数のチャネルそれぞれを通して測定された前記眼電位原信号を前記複数のチャネルが属するグループ毎に平均し、グループ毎の平均値を作動増幅して合成信号を生成する合成信号生成部を備え、
前記サッケード検出部は、前記合成信号に含まれるサッケードを検出する
請求項7〜11のいずれか1項に記載のノイズ低減装置。
【請求項13】
眼球運動によって生じる眼電位を示す眼電位原信号を出力する眼電位測定部と、
前記眼電位原信号に含まれるノイズを低減する請求項1〜12のいずれか1項に記載のノイズ低減装置とを備える
眼電位計測装置。
【請求項14】
ユーザの網膜状態を診断する眼科診断装置であって、
請求項13に記載の眼電位計測装置と、
前記眼電位計測装置から出力される前記眼電位信号から前記ユーザの網膜異常を検出する診断部とを備える
眼科診断装置。
【請求項15】
眼電位信号からユーザの視線方向を検出する視線検出装置であって、
請求項13に記載の眼電位計測装置と、
ユーザに対して較正指標を提示する較正指標提示部と、
前記較正指標提示部によって提示された前記較正指標にユーザの視線位置が移動する際の眼球の急速な運動であるサッケード運動を前記眼電位信号から検出し、前記サッケード運動の前後における眼電位の変化量である眼電位変化量を出力するサッケード検出部と、
前記較正指標提示部によって提示された前記較正指標の位置、及び前記サッケード検出部から出力された前記眼電位変化量に基づいて較正パラメータを計算する較正パラメータ計算部と、
前記較正パラメータに基づいて、前記眼電位信号からユーザの視線方向を検出する較正部とを備える
視線検出装置。
【請求項16】
ユーザの視線方向の映像を撮像するウェアラブルカメラであって、
撮像部と、
請求項15に記載の視線検出装置と、
前記視線検出装置によって検出された視線方向を前記撮像部に撮像させる撮像制御部とを備える
ウェアラブルカメラ。
【請求項17】
ユーザの視線方向にマウスを移動させるヘッドマウントディスプレイであって、
画像およびマウスを表示する表示部と、
請求項15に記載の視線検出装置と、
前記視線検出装置によって検出された視線方向に表示部に表示されているマウスを移動させる表示制御部とを備える
ヘッドマウントディスプレイ。
【請求項18】
ユーザの視線位置に合わせてレンズの焦点を変化させる電子めがねであって、
焦点を変化させることができるレンズと、
請求項15に記載の視線検出装置と、
前記視線検出装置によって検出された視線位置に合わせて前記レンズの焦点を変化させる焦点制御部とを備える
電子めがね。
【請求項19】
ユーザの眼球運動によって生じる眼電位を示す眼電位原信号から、眼球の急速な運動であるサッケード運動に関する情報であるサッケード情報を取得するサッケード情報取得ステップと、
前記サッケード情報取得ステップで取得された前記サッケード情報に基づいて、前記眼電位原信号に含まれるノイズを低減するためのフィルタ特性を決定する制御ステップと、
前記制御ステップで決定された前記フィルタ特性を用いて前記眼電原位信号に含まれるノイズを低減し、眼電位信号を出力するフィルタステップとを含む
ノイズ低減方法。
【請求項20】
ユーザの眼球運動によって生じる眼電位を示す眼電位原信号から、眼球の急速な運動であるサッケード運動に関する情報であるサッケード情報を取得するサッケード情報取得ステップと、
前記サッケード情報取得ステップで取得された前記サッケード情報に基づいて、前記眼電位原信号に含まれるノイズを低減するためのフィルタ特性を決定する制御ステップと、
前記制御ステップで決定された前記フィルタ特性を用いて前記眼電原位信号に含まれるノイズを低減し、眼電位信号を出力するフィルタステップとを、コンピュータに実行させる
プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13A】
image rotate

【図13B】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17A】
image rotate

【図17B】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate

【図32】
image rotate

【図33】
image rotate

【図34】
image rotate

【図35】
image rotate

【図36A】
image rotate

【図36B】
image rotate

【図36C】
image rotate

【図36D】
image rotate

【図37】
image rotate

【図38】
image rotate

【図39】
image rotate

【図40】
image rotate

【図41】
image rotate

【図42】
image rotate

【図43】
image rotate

【図44】
image rotate

【図45】
image rotate

【図46】
image rotate

【図47】
image rotate

【図48】
image rotate

【図49】
image rotate

【図50】
image rotate

【図51A】
image rotate

【図51B】
image rotate

【図52】
image rotate

【図53】
image rotate

【図54】
image rotate

【図55】
image rotate

【図56】
image rotate

【図57】
image rotate

【図58】
image rotate

【図59】
image rotate

【図60】
image rotate

【図61】
image rotate

【図62】
image rotate

【図63A】
image rotate

【図63B】
image rotate

【図64】
image rotate

【図65】
image rotate