眼球停留関連電位解析装置及び解析方法
【課題】種々の状態別にサッケードを分類して眼球停留関連電位を算出することにより、精度良く注意集中度を評価することができる眼球停留関連電位解析装置を提供する。
【解決手段】眼球運動及び脳波信号を計測し、計測された眼球運動に基づいてサッケードの発生を判断し、サッケードサイズ及びサッケード終了時点を検出し、サッケード終了時点をトリガとした脳波信号を抽出する。サッケードサイズをサッケードサイズの大きさに応じた状態に分類し、分類された状態の各々に対応する抽出された脳波信号の相加平均を算出することにより分類された状態毎の眼球停留関連電位を算出すると共に、分類された状態の各々に対応するサッケードサイズに基づいて状態毎の平均サッケードサイズを算出する。
【解決手段】眼球運動及び脳波信号を計測し、計測された眼球運動に基づいてサッケードの発生を判断し、サッケードサイズ及びサッケード終了時点を検出し、サッケード終了時点をトリガとした脳波信号を抽出する。サッケードサイズをサッケードサイズの大きさに応じた状態に分類し、分類された状態の各々に対応する抽出された脳波信号の相加平均を算出することにより分類された状態毎の眼球停留関連電位を算出すると共に、分類された状態の各々に対応するサッケードサイズに基づいて状態毎の平均サッケードサイズを算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、眼球停留関連電位解析装置及び解析方法にかかり、特に、種々の状態別に眼球停留関連電位を算出し、種々の状態別に精度良く注意集中度を評価することができるようにした眼球停留関連電位解析装置及び解析方法に関する。
【背景技術】
【０００２】
眼球停留関連電位（ＥＦＲＰ（ｅｙｅ ｆｉｘａｔｉｏｎ ｒｅｌａｔｅｄ ｐｏｔｅｎｔｉａｌ））は、サッケード（ｓａｃｃａｄｅ ）眼球運動（視線移動時の速い眼の動き）の終了時点に同期した所定時間内の脳波信号を加算処理することにより算出される誘発脳波であり、この眼球停留関連電位の特定成分（例えば、ラムダ反応成分）の振幅値は、眼を向けた対象（視対象）への注意集中度が高いと大きくなることが知られていることから、視対象への注意集中度の評価指標として用いられている。
【０００３】
また、眼球停留関連電位の特定成分の振幅値は、視対象への注意集中度の度合いによって大きさが変化する他、算出時に用いたサッケード眼球運動の大きさ（平均サッケードサイズ）によっても変化することが知られており、平均サッケードサイズが大きくなるに従って眼球停留関連電位の特定成分の振幅値が大きくなることが報告されている（非特許文献１）。
【０００４】
眼球停留関連電位の解析技術に関する従来技術としては、サッケード眼球運動を抽出し、眼球停留関連電位の更新サイクルを短くする技術が知られている（特許文献１）。また、解析技術とは別に、眼球停留関連電位を応用した技術としては、眼球停留関連電位を注意集中度の評価指標に用いて作業者の集中度を高くした照明方法が知られている（特許文献２、特許文献３）。
【非特許文献１】Ｙａｇｉ，Ａ．１９７９，Ｓａｃｃａｄｅ ｓｉｚｅ ａｎｄ ｌａｍｂｄａ ｃｏｍｐｌｅｘ ｉｎ ｍａｎ， Ｐｈｙｓｉｏｌｏｇｉｃａｌ Ｐｓｙｃｈｏｌｏｇｙ，７，３７０−３７６）
【特許文献１】特開２００２−２７２６９３号公報
【特許文献２】特開平８−１９０８０４号公報
【特許文献３】特開平９−１２９０１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記非特許文献１に示されているように、眼球停留関連電位の特定成分の振幅値が平均サッケードサイズによっても変化することから、従来技術において高い精度で注意集中度評価を実現できるのは、視対象が１つで、かつ発生するサッケードの大きさ（サッケードサイズ）が比較的均一になる限られた環境下等に限られる。すなわち、上記特許文献２及び特許文献３の技術は、机上作業時の注意集中度評価に眼球停留関連電位を用いた例であるが、この場合において、異なる照明条件間で算出した眼球停留関連電位の特定成分の振幅値の大小により、精度良く注意集中度を評価できる理由は、視対象が机上の作業課題１つで、かつ比較的サッケードサイズが均一になる環境下であるからである。
【０００６】
また、自動車運転中のドライバのように、視対象が複数存在し、かつ大小様々なサッケードが発生する環境下で従来技術の眼球停留関連電位解析装置及び／または解析方法を使用する場合、比較したい条件間で平均サッケードサイズを略等しい値にすることは事実上不可能であることから、ドライバ等の注意集中度を高い精度で評価するのは困難である。
【０００７】
すなわち、上記従来技術では、視対象が複数存在すれば、視対象毎に注意集中度が異なり、また同一の視対象でも視対象周辺の状態が変化すれば、状態の変化に対する注意集中度が異なるにも拘わらず、種々の状態別にサッケードを分類して眼球停留関連電位を算出していないため、算出された眼球停留関連電位の特定成分の振幅値の変化に、注意集中度の変化以外の要因による変化も多く含まれた結果となり、このため注意集中度の評価精度が悪化する、という問題があった。
【０００８】
本発明は、上記問題を解決すべく成されたもので、種々の状態別にサッケードを分類して眼球停留関連電位を算出することにより、視対象が複数存在し、かつ大小様々なサッケードが発生する環境下においても精度良く注意集中度を評価することができる眼球停留関連電位解析装置及び解析方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために本発明の眼球停留関連電位解析装置は、眼球運動を計測する眼球運動計測手段と、脳波信号を計測する脳波信号計測手段と、前記眼球運動計測手段で計測された眼球運動に基づいてサッケードの発生を判断し、サッケードサイズを含むサッケード情報及びサッケード終了時点を検出すると共に、サッケード終了時点をトリガとした脳波信号を抽出する信号抽出手段と、前記サッケード情報及び外部の環境情報の少なくとも一方の情報を該少なくとも一方の情報に応じた状態に分類する状態分類手段と、前記分類された状態の各々に対応する抽出された脳波信号に基づいて、該分類された状態毎の眼球停留関連電位を算出すると共に、前記分類された状態の各々に対応するサッケードサイズに基づいて該分類された状態毎の平均サッケードサイズを算出する算出手段と、を含んで構成したものである。
【００１０】
本発明によれば、眼球運動計測手段で計測された眼球運動に基づいてサッケードの発生が判断され、サッケードサイズを含むサッケード情報及びサッケード終了時点が検出され、サッケード終了時点をトリガとした脳波信号が抽出される。そして、サッケード情報及び外部の環境情報の少なくとも一方の情報が、この少なくとも一方の情報に応じた状態に分類され、分類された状態の各々に対応する抽出された脳波信号に基づいて、分類された状態毎の眼球停留関連電位が算出されると共に、分類された状態の各々に対応するサッケードサイズに基づいて、分類された状態毎の平均サッケードサイズが算出される。
【００１１】
本発明では、分類された状態毎に眼球停留関連電位及び平均サッケードサイズが算出されることから、各状態においてサッケードサイズが各状態に応じた範囲内の大きさになり、サッケードサイズが均一化されるので、状態毎の注意集中度を精度良く評価することができる。
【００１２】
注意集中度は、算出された眼球停留関連電位の特定成分（例えば、ラムダ成分）の振幅値と、算出された平均サッケードサイズに応じた閾値とを比較することで評価することができ、眼球停留関連電位の特定成分の振幅値が閾値以下になったときに被験者の注意集中度が低下したと評価することができる。
【００１３】
サッケード情報としては、サッケードサイズ、サッケードサイズ及び視対象の位置を示す情報、またはサッケードサイズ及び視線移動のパターンを示す視線移動パターン情報を用いることができる。
【００１４】
サッケード情報としてサッケードサイズを用いた場合には、サッケードサイズを表す情報は、サッケードサイズの大きさに応じた複数の状態、例えば、サッケードサイズが小の状態、サッケードサイズが中の状態、及びサッケードサイズが大の状態というように、複数の状態に分類することができる。
【００１５】
サッケード情報としてサッケードサイズ及び視対象の位置を示す情報を用いた場合には、視対象の位置を示す情報が、視対象の位置を示す情報に応じた複数の状態、例えば、視対象が運転中のドライバの前景、ルームミラー、及びスピードメータ等に分類することができる。
【００１６】
サッケード情報としてサッケードサイズ及び視線移動のパターンを示す視線移動パターン情報を用いた場合には、視線移動パターン情報を線移動パターン情報に応じた複数の状態に分類することができる。
【００１７】
また、サッケード情報以外の外部の環境情報を用いて複数の状態に分類する場合には、外部の環境情報として自車両の走行状態を示す情報及び自車両の周辺環境状態を示す情報の少なくとも一方を用い、自車両の走行状態を示す情報及び周辺環境状態を示す情報の少なくとも一方を、自車両の走行状態を示す情報及び該周辺環境状態を示す情報の少なくとも一方に応じた複数の状態に分類することができる。自車両の走行状態としては、自車両が走行している走行路の種類（例えば、一般道路と高速道路）を用いることができ、自車両が走行している走行路の種類に応じて走行状態を分類することができる。また、自車両の走行状態として自車両の車速を用い、走行中と停止中とに走行状態を分類することができ、さらに運転支援システム等の車両搭載機器が作動中か非作動中かに状態を分類するようにしてもよい。自車両の周辺環境状態として自車両と前車との車間距離を検出し、車間距離を、例えば、近距離、中距離、及び遠距離等の複数の距離範囲を表す状態毎に分類するようにしてもよい。
【００１８】
また、サッケード情報及び外部の環境情報の両方を用い、複数に分類された外部の環境情報の各々について、サッケード情報を複数の状態に分類し、サッケード情報及び外部の環境情報の両方に応じて分類された状態毎に、眼球停留関連電位及び平均サッケードサイズを算出するようにしてもよい。
【００１９】
抽出された脳波データ中にα波が優位に現れると、事象関連電位（ＥＲＰ：ｅｖｅｎｔ−ｒｅｌａｔｅｄ ｐｏｔｅｎｔｉａｌ）や眼球停留関連電位が正しく算出されないことがあるので、脳波信号計測手段で計測された脳波信号に基づいて脳波信号に含まれるα波の量を演算し、α波の量が所定値以上の脳波信号が眼球停留関連電位の算出に用いられないように制限する制限手段を設けるのが好ましい。α波の量が所定値以上の脳波信号が前記眼球停留関連電位の算出に用いられないように制限するには、信号抽出手段による脳波信号の抽出を中止することにより達成することができる。
【００２０】
また、本発明の眼球停留関連電位解析方法は、眼球運動及び脳波信号を計測する計測工程と、前記計工程で計測された眼球運動に基づいてサッケードの発生を判断し、サッケードサイズを含むサッケード情報及びサッケード終了時点を検出すると共に、サッケード終了時点をトリガとした脳波信号を抽出する信号抽出工程と、前記サッケード情報及び外部の環境情報の少なくとも一方の情報を該少なくとも一方の情報に応じた状態に分類する状態分類工程と、前記分類された状態の各々に対応する抽出された脳波信号に基づいて、該分類された状態毎の眼球停留関連電位を算出すると共に、前記分類された状態の各々に対応するサッケードサイズに基づいて該分類された状態毎の平均サッケードサイズを算出する算出工程と、を含んで構成したものである。
【発明の効果】
【００２１】
以上説明したように本発明によれば、分類された状態毎に眼球停留関連電位及び平均サッケードサイズが算出されることから、各状態においてサッケードサイズが各状態に応じた範囲内の大きさになり、サッケードサイズが均一化されるので、状態毎の注意集中度を精度良く評価することができる、という効果が得られる。
【発明を実施するための最良の形態】
【００２２】
以下、図面を参照して本発明の第１の実施の形態を詳細に説明する。図１に示すように、本実施の形態には、水平方向及び垂直方向の眼球運動を検出して眼球運動信号を出力する眼球運動計測装置１０、及び脳波信号を計測する脳波計測装置１２が設けられている。
【００２３】
眼球運動計測装置１０、及び脳波計測装置１２は、汎用のパーソナルコンピュータ２０に接続されている。パーソナルコンピュータ２０は、ＣＰＵ、以下の処理ルーチンを記憶したＲＯＭ、データを一時的に記憶するＲＡＭ、及び脳波信号を記憶するＨＤＤ等の記憶装置で構成されている。
【００２４】
パーソナルコンピュータ２０を以下で説明する処理ルーチンに従って機能ブロックで表すと、眼球運動計測装置１２で計測された眼球運動に基づいてサッケードの発生を判断し、サッケード終了時点及びサッケード情報としてのサッケードサイズを検出すると共に、サッケード終了時点の各々をトリガとして所定時間Ｔ内（例えば、少なくとも１つのサッケードが含まれる時間）の脳波信号を脳波データとして抽出する信号抽出部１４、検出されたサッケードサイズをサッケードサイズの大きさに応じた複数の状態（本実施の形態では、サッケードサイズ大、中、小の３つの状態）に分類することにより、サッケードサイズの大きさに応じた複数の状態を検出する状態検出部１６、及び状態毎にサッケードサイズ及び抽出された脳波データを分類し、分類されたサッケードサイズ及び脳波データに基づいて、眼球停留関連電位及び平均サッケードサイズを算出する算出部１８で表すことができる。
【００２５】
パーソナルコンピュータ２０には、算出部１８で算出された眼球停留関連電位及び平均サッケードサイズの値を出力するＬＣＤ等の表示装置で構成された出力装置２２が接続されている。
【００２６】
なお、サッケード終了時点をトリガとして抽出する脳波信号は、サッケード終了時点をトリガとして前後所定時間内の脳波信号を抽出するようにしてもよい。
【００２７】
眼球運動計測装置１０は、ＥＯＧ（ｅｌｅｃｔｒｏ−ｏｃｕｌｏｇｒａｐｈ）法に基づいて眼球運動を計測する装置が用いられており、図２に示すように、この眼球運動計測装置には、人間の左右のこめかみに各々貼付される＋電極及び−電極からなる２つの左右電極１０Ｈ、及び眼球の上下に各々貼付される＋電極及び−電極からなる２つの上下電極１０Ｖが設けられている。
【００２８】
左右電極からは、眼球の水平方向の動きを表す水平眼球運動信号が電圧で計測され、上下電極からは、眼球の垂直方向の動きを表す垂直眼球運動信号が電圧で計測される。水平眼球運動信号及び垂直眼球運動信号は、各々アンプ（図示せず）を介してパーソナルコンピュータの信号抽出部１４の脳波抽出部１４Ａに供給される。
【００２９】
ＥＯＧ法に基づく水平眼球運動信号及び垂直眼球運動信号の振幅値の増大は、眼球の角膜部が＋電極に近づく方向に運動したことを示し、振幅値の減少は、眼球の角膜部が−電極に近づく方向に運動したことを示している。この特性から、所定サンプリング毎に水平眼球運動信号及び垂直眼球運動信号の振幅値をデジタル信号に変換して取り込み、振幅値が増大しているか、振幅値が減少しているかを脳波抽出部１４Ａにおいて判断することにより、眼球が＋電極方向に水平運動または上下運動しているのか、−電極方向に水平運動または上下運動しているのかを検出することができる。これによって、サッケードサイズ及びサッケードの終了時点を検出することができる。
【００３０】
なお、眼球運動方向を示す信号は、水平眼球運動信号及び垂直眼球運動信号を合成して得られたベクトル信号を用いてもよい。また、ＥＯＧ法に代えて角膜反射法等の他の方法を用いて眼球運動を検出し、眼球の運動方向を検出してもよい。カメラとオプトエレクトロニクスによる視線計測装置からなる眼球運動計測装置を用いて眼球の運動方向を検出してもよい。
【００３１】
脳波計測装置１２は、頭皮に貼付される複数の電極１２Ａを備えた市販の脳波計等を用いることができ、複数部位の脳波をアナログ信号で検出する。この脳波計測装置１２は、信号抽出部１４の脳波記憶部１４Ｂに接続されており、検出された脳波信号がデジタル信号に変換されて頭部の複数部位毎に時系列の脳波信号としてＨＤＤ等で構成された脳波記憶部１４Ｂに記憶される。
【００３２】
次に、サッケードサイズをサッケードサイズの大きさに応じた複数の状態に分類し、分類した状態毎に眼球停留関連電位及び平均サッケードサイズを算出する第１の実施の形態のパーソナルコンピュータで実行される算出ルーチンについて図３を参照して説明する。
【００３３】
眼球運動計測装置１０で計測された水平眼球運動信号及び垂直眼球運動信号の各振幅値は、デジタル信号に変換されて脳波抽出部１４Ａに入力され、脳波計測装置１２で計測された脳波信号もデジタル信号に変換されて脳波記憶部１４Ｂに頭部の１つまた複数の部位毎に時系列で記憶される。
【００３４】
本実施の形態では、サッケードサイズを検出するために、水平眼球運動信号及び垂直眼球運動信号の各振幅値（電圧値）と、眼球の角度とを予め測定し、電圧値を眼球角度に換算するための電圧値と眼球角度との関係を示す電圧値−眼球角度校正データを、眼球停留関連電位算出前に予め測定し、パーソナルコンピュータ２０のＲＡＭ等に記憶しておく。
【００３５】
ステップ１００では、眼球運動計測装置１０で計測された水平眼球運動信号及び垂直眼球運動信号からなる眼球運動信号を予め定められたサンプリング周期でデジタル信号に変換して取り込み、ステップ１０２においてサッケードが発生したか否かを判断する。
【００３６】
サッケード発生中以外、すなわち眼球停留時には、眼球運動方向は短いサイクルで微小変化しており、またサッケードは所定時間を超えて長時間継続しないことが知られている。したがって、サッケードが発生したか否かは、眼球が移動しているか（水平移動及び上下移動しているか）を判断し、この判断結果に基づいて眼球の運動方向が所定時間（例えば、３０ｍｓｅｃ〜７０ｍｓｅｃ）連続して同じか否かを判断することにより、判断することができる。そして、眼球の運動方向が所定時間連続して同じ方向の場合に、サッケードが発生したと判断する。
【００３７】
サッケードが発生したと判断されたときは、ステップ１０４において、サッケードが発生した後、眼球の運動方向が変化したか否かを判断することによりサッケードが終了したか否かを判断する。眼球の運動方向が変化した場合には、サッケードが終了したと判断し、この時点をサッケードが終了した時点として検出する。また、ステップ１０４において、水平眼球運動信号及び垂直眼球運動信号の各振幅値を電圧値−眼球角度校正データを用いて眼球角度に換算した後、その両者を合成したベクトルを求めることにより、サッケード発生からサッケード終了までの眼球運動量を眼球角度で表したサッケードサイズを算出する。
【００３８】
図４に、サッケード発生時刻ｔｓ１、ｔｓ２、ｔｓ３、・・・、サッケード終了時刻ｔｅ１、ｔｅ２、ｔｅ３、・・・を示す。図４の眼球運動を表す波形のサッケード発生時刻とサッケード終了時刻との間の部分がサッケード発生中を示し、眼球運動を表す波形の水平部分は眼球停留状態を示している。
【００３９】
次のステップ１０６では、脳波記憶部１４Ｂに記憶されている脳波信号から、サッケード終了時点をトリガとした所定時間Ｔ内の脳波信号を脳波データとして頭部の複数部位毎に抽出し、ステップ１０８においてステップ１０４で算出したサッケード終了直前のサッケードサイズの大きさ毎に分類してサッケードサイズと共に、頭部の複数部位毎の脳波データを含む１組の脳波データを脳波抽出部１４Ａに一旦記憶する。
【００４０】
サッケードサイズは、複数の状態、例えば、５度未満、５度以上１０度未満、１０度以上１５度未満、１５度以上の４つの状態に分類されており、ステップ１０４で算出したサッケードサイズがどの範囲に属するかを判断し、対応する大きさの状態に分けて、抽出した頭部の複数部位毎の脳波データからなる１組の脳波データを、算出されたサッケードサイズと共に記憶する。
【００４１】
なお、サッケードサイズは、サッケード発生からサッケード終了時点までの水平眼球運動信号の振幅値の差、及び垂直眼球運動信号の振幅値の差から得られる眼球運動距離を用いてもよい。この場合は、サッケードサイズは、例えば、ｂ１未満、ｂ１以上ｂ２未満、ｂ２以上の３つの状態に分類することができる。
【００４２】
また、上記ではサッケードサイズを３つの状態に分類する例について説明したが、２つの状態、または４つ以上の状態に分類してもよい。
【００４３】
次のステップ１１０では、各状態毎に１組の脳波データの個数がｎ個（ｎ組）以上記憶されたか否かを判断し、脳波データの組数がｎ個以上の状態が存在しない場合はステップ１００に戻って上記の処理を繰り返し、脳波データの組数がｎ個以上の状態が存在する場合には、ステップ１１２において状態に対して記憶されているｎ個以上の脳波データの相加平均を頭部の各部位毎に算出することにより、この状態に対する頭部の各部位毎の眼球停留関連電位からなる１組の眼球停留関連電位を算出する。
【００４４】
また、ステップ１１２では状態に対して記憶されているｎ個以上のサッケードサイズの相加平均を算出することによりこの状態に対する平均サッケードサイズを算出する。
【００４５】
そして、次のステップ１１４において出力装置に算出した眼球停留関連電位及び平均サッケードサイズを出力し、次のステップで処理の終了か否かを判断し、終了でない場合は、上記の処理を繰り返す。
【００４６】
なお、上記では、サッケードサイズを大きさに応じた複数の状態に分類する例について説明したが、最大サッケードサイズを求め、最大サッケードサイズに対する割合によってサッケードサイズを割合に応じた複数の状態に分類してもよい。この場合には、予め、被験者に左右及び上下方向にできるだけ大きいサッケード眼球運動を起させ、そのときの最大サッケード振幅値（電圧値）を計測し、左右及び上下方向の最大サッケード振幅値のベクトル値を求め、このベクトル値に基づいて、例えば、ベクトル値のｃ１％未満、ｃ１％以上ｃ２％未満、ｃ２％以上の３つの状態に分類することができる。
【００４７】
本実施の形態によれば、サッケードサイズの大きさに応じて定めた状態毎に眼球停留関連電位を算出しているので、サッケードサイズの大きさ毎に注意集中度評価を行うことができる。また、各状態には各状態に応じた所定範囲内の大きさのサッケードサイズが含まれることになる。これにより、各状態において平均サッケードサイズの均一化が図られることになり、サッケードサイズの変化による眼球停留関連電位の変化を回避することができ、結果として、精度の高い注意集中度評価を行うことができる。
【００４８】
次に、第２の実施の形態について説明する。本実施の形態は、ドライバが眼を向けている対象（視対象）を状態とし状態別に分類し、視対象別に眼球停留関連電位及び平均サッケードサイズを算出するようにしたものである。
【００４９】
本実施の形態では、予め複数の視対象に視線を向けて、ドライバの眼の位置に対する水平方向の眼球角度及び垂直方向の眼球角度を範囲を持たせて計測し、視対象毎に水平方向の眼球角度及び垂直方向の眼球角度範囲を予めパーソナルコンピュータのメモリに記憶しておく。水平方向の眼球角度及び垂直方向の眼球角度は、上述したように、電圧値−眼球角度校正データを用いて水平眼球運動信号及び垂直眼球運動信号の各振幅値から換算することができる。
【００５０】
自動車を運転している場面を想定すると、眼球角度範囲を予めメモリに記憶しておくことができる視対象としては、前景、左右サイドミラー、ルームミラー、スピードメータ、及びナビゲーションシステムの表示画面等を用いることができる。そして、これらの全ての視対象または予め定めた特定の視対象毎に、水平方向の眼球角度範囲及び垂直方向の眼球角度範囲の各眼球角度範囲を求め、複数の視対象と各視対象に対応する各眼球角度範囲の関係を定めた視対象テーブルを予め記憶しておく。
【００５１】
自動車運転場面における視線移動パターンは、前景から前景以外の他の視対象へ移動するパターンが主であり、前景以外の他の視対象は自動車に関連する各部位であることから特定し易いので、予め上記の視対象テーブルを作成して記憶することは容易である。
【００５２】
次に、本実施の形態の眼球停留関連電位及び平均サッケードサイズの算出ルーチンを図５を参照して説明する。なお、図５において図３と対応する部分には同一符号を付して説明を省略する。
【００５３】
サッケード終了時点をトリガとして所定時間範囲内の脳波信号を脳波データとして抽出した後、ステップ１２０において、サッケード終了時点の水平眼球運動信号及び垂直眼球運動信号の各振幅値及び電圧値−眼球角度校正データを用いて、水平方向の眼球角度及び垂直方向の眼球角度を求め、求めた眼球角度の各々が視対象テーブルのどの眼球角度範囲に属するかを判断することにより、視対象を同定する。
【００５４】
次のステップ１２２では、ステップ１０８と同様に、同定した視対象毎に分類して、抽出した頭部の各部位毎の脳波データからなる１組の脳波データを算出されたサッケードサイズと共に記憶する。
【００５５】
そして、ステップ１１０〜１１４では、上記と同様にして眼球停留関連電位及び平均サッケードサイズを状態毎に算出し、出力装置に出力する。
【００５６】
本実施の形態は、自動車運転場面のように、視対象が限定でき、かつ視線移動パターンが単純な場合に適用すると効果的である。
【００５７】
上記では、ＥＯＧ法によって検出された眼球運動信号から視対象を同定する例について説明したが、カメラとオプトエレクトロニクスによる視線計測装置からなる眼球運動計測装置を用い、検出されたドライバの視線位置とカメラで撮影された視野画像に重ね合わせた画像を処理することによって、視対象を同定すると共にサッケードサイズを計測し、視対象毎に眼球停留関連電位及び平均サッケードサイズを算出するようにしてもよい。
【００５８】
本実施の形態によれば、視対象毎に眼球停留関連電位及び平均サッケードサイズが算出されるため、視対象毎に注意集中度評価を行うことができ、１つの視対象に対する注意集中度を高い精度で評価することができる。
【００５９】
本実施の形態では、運転中の前方への注意集中度を評価しようとする場合に必要な前景のみを視対象とした眼球停留関連電位を算出することができるので、運転中の前方への注意集中度を高い精度で評価することができる。
【００６０】
次に、第３の実施の形態について説明する。本実施の形態は、眼球運動信号に基づいて眼の向け方（視線移動パターン）を状態とし、視線移動パターン毎に状態を分類して、分類した状態毎に眼球停留関連電位及び平均サッケードサイズを算出するようにしたものである。
【００６１】
本実施の形態では、図５のルーチンで視対象が同定される毎に視対象を記憶し、同定された複数（例えば、２つ）の視対象を時間の経過に応じて組み合わせて視線移動パターンを同定し、視線移動パターン毎に眼球停留関連電位及び平均サッケードサイズを算出する。なお、視対象は、上述したように視線計測装置とカメラとを用いて同定してもよい。
【００６２】
視線移動パターンは、予め視対象となり得る前景の位置座標及び自動車の各部位の位置座標を予め記憶しておき、サッケードが発生した直後にドライバが視線を向けた視対象の位置座標を始点として記憶すると共に、次のサッケードが発生した直後にドライバが視線を向けた視対象の位置座標を終点として記憶し、始点から終点までの距離と始点から終点までのサッケード方向とを組み合わせて視線移動パターンを同定してもよい。
【００６３】
本実施の形態によれば、任意の視対象と次の視対象とを組み合わせた視線パターン毎に眼球停留関連電位及び平均サッケードサイズが算出されることから、各視線パターンにおいてサッケードサイズの均一化を図ることができるので、より精度の高い注意集中度評価を行うことができる。
【００６４】
次に、眼球運動信号から得られるサッケード情報を用いて分類することなく、外部の環境情報を検出し外部の環境情報に応じた状態に分類し、分類された状態毎に眼球停留関連電位及び平均サッケードサイズを算出する第４の実施の形態について説明する。なお、平均サッケードサイズの算出には、サッケード情報に含まれるサッケードサイズが用いられる。
【００６５】
サッケード情報を用いることなく状態を分類する場合としては、自車両の走行状態を検出する場合と周辺環境状態を検出する場合とが存在するが、第４の実施の形態では自車両の走行状態を検出する場合について説明する。
【００６６】
図６に示すように、本実施の形態は、図１に示す眼球運動信号に基づいて状態を検出する状態検出部１６に代えて、自車両の速度やＧＰＳ位置情報等を用いて自車両が一般道路を走行中か高速道路を走行中かを判断することにより自車両の走行状態を判断する走行状態判断装置２４が設けられている。
【００６７】
本実施の形態の眼球停留関連電位等の算出ルーチンを図７を参照して説明する。なお、図７において図３と対応する部分には同一符号を付して説明を省略する。
【００６８】
サッケード終了時点をトリガとして所定時間範囲内の脳波信号を脳波データとして抽出した後、ステップ１２４において、走行状態検出装置２４からの信号に基づいて、自車両が一般道路を走行中（状態Ａ）か高速道路を走行中（状態Ｂ）かを判断する。状態Ａと判断された場合は、ステップ１２６において頭部の各部位毎の脳波データを１組の脳波データとして記憶すると共に、この１組の脳波データに対応させてサッケードサイズを記憶する。
【００６９】
次のステップ１２８では、１組の脳波データがｎ個（ｎ組）以上になったか否かを判断し、ｎ個未満の場合はステップ１００に戻って上記のようにサッケードサイズの算出及び脳波データの抽出等の処理を繰り返し、１組の脳波データがｎ個以上になった場合は、ステップ１３０において頭部の各部位毎に脳波データの相加平均を算出することにより頭部の各部位毎に、状態Ａにおける１組の眼球停留関連電位を算出すると共に、この１組の眼球停留関連電位に対応する平均サッケードサイズを算出する。
【００７０】
一方、ステップ１２４において状態Ｂと判断されたときは、ステップ１３２〜ステップ１３６において、ステップ１２６〜ステップ１３０と同様に頭部の各部位毎の脳波データからなる１組の脳波データとサッケードサイズとを記憶し、データ数がｎ個以上となったときに、頭部の各部位毎に脳波データの相加平均を算出することにより頭部の各部位毎に、状態Ｂにおける１組の眼球停留関連電位を算出すると共に、この１組の眼球停留関連電位に対応する平均サッケードサイズを算出する。
【００７１】
そして、状態Ａ及び状態Ｂの１組の眼球停留関連電位及びこの１組の眼球停留関連電位に対応する平均サッケードサイズが出力装置に出力される。図８に、サッケード終了時点をトリガとして前後所定時間の脳波信号を抽出して眼球停留関連電位を算出した場合の出力装置に出力された状態Ａ及び状態Ｂの眼球停留関連電位の１つを示す。
【００７２】
第４の実施の形態では、走行状態を判断し、走行状態毎に眼球停留関連電位及び平均サッケードサイズを算出する例について説明したが、自車両の車速を検出し、停車中か走行中かに状態を分類し、分類した状態毎に１組の眼球停留関連電位及び１組の眼球停留関連電位に対応する平均サッケードサイズを算出するようにしてもよい。第４の実施形態では走行状態を２つに分類したが、速度その他の情報により走行状態を３つ以上に分類しても良い。
【００７３】
第５の実施の形態は、車両搭載機器が作動中か非作動中かに状態を分類し、分類した状態毎に１組の眼球停留関連電位及び１組の眼球停留関連電位に対応する平均サッケードサイズを算出するようにしたものである。
【００７４】
車両搭載機器としては、自車両周辺の状況（例えば、周辺車両、道路の白線、及び歩行者等）を、レーザセンサ、ミリ波レーダセンサ、及び画像センサ等の少なくとも１つのセンサで検出し、プリクラッシュセーフティ、レーンキーピングアシスト、及びクルーズコントロール等の少なくとも１つの運転支援を行う運転支援システムを使用することができる。この場合には、運転支援システムが搭載されている車両を運転するドライバの注意集中度を評価することができる。
【００７５】
本実施の形態では、運転支援システムが搭載されている車両について、運転支援システムが作動中か否かを検出して運転支援システムが作動中か非作動中かに状態を分類し、分類した状態毎に１組の眼球停留関連電位及び１組の眼球停留関連電位に対応する平均サッケードサイズを算出する。
【００７６】
本実施の形態によれば、運転支援システムが作動中の眼球停留関連電位を算出することができるので、運転支援システム作動中でのドライバの注意集中度を評価することができ、これによって運転支援システムの評価を行うことができる。
【００７７】
さらに、上記では、車両搭載機器として運転支援システムを搭載した車両について説明したが、前照灯を点灯して走行している場合において、ロービームで走行しているかハイビームで走行しているかを検出し、ロービーム走行かハイビーム走行かに状態を分類し、分類した状態毎に１組の眼球停留関連電位及び１組の眼球停留関連電位に対応する平均サッケードサイズを算出するようにしてもよい。
【００７８】
次に、周辺環境状態を検出し、検出した状態毎に眼球停留関連電位等を算出する第６の実施の形態について説明する。本実施の形態では、自車両と前車との車間距離を検出し、車間距離を近距離、中距離、及び遠距離等の複数の距離範囲を表す状態毎に分類し、分類した距離範囲毎に１組の眼球停留関連電位及び１組の眼球停留関連電位に対応する平均サッケードサイズを算出する。
【００７９】
以上説明したように、サッケード情報を用いないで状態を分類する実施の形態によれば、状態毎に注意集中度評価が可能になると共に、１つの状態内で精度の高い注意集中度の評価を行うことができる。また、複数の状態毎に眼球停留関連電位等を算出しているので、状態間の注意集中度評価結果等の比較をリアルタイムで行うことができる。
【００８０】
さらに、通常は時間経過によって被験者の内的状態が変化するが、上記の各実施の形態では、状態毎に眼球停留関連電位等を算出しているので、各状態における注意集中度を評価することができ、これによって時間経過による注意集中度の評価精度の低下を回避することができる。
【００８１】
サッケード情報を用いないで状態を分類する第４及び第５の実施の形態では、第１〜第３の実施の形態と組み合わせてサッケード情報を分類に用いるようにし、走行状態毎に状態を分離すると共に、各走行状態において更にサッケード情報基づいて、サッケードサイズ毎、視対象毎、または視線パターン毎に上記で説明したように状態を分離して、各走行状態においてサッケード情報に応じて分類された状態毎に１組の眼球停留関連電位及び平均サッケードサイズを算出するようにしてもよい。
【００８２】
次に本発明の第７の実施の形態について説明する。本実施の形態は、α波が他の波と比較して振幅が大きいことからサッケード終了時点にα波が出現すると事象関連電位または眼球停留関連電位が正しく算出さず、眼球停留関連電位が精度良く算出されないことを解消するために、α波出現時の脳波データを眼球停留関連電位の算出に用いないようし、β波優位の状態で脳波データの相加平均を演算するようにしてα波の影響が生じないようにしたものである。
【００８３】
本実施の形態は、上記各実施の形態に適用することができるが、第１の実施の形態に適用した場合について説明すると、図９に示すように、図１の眼球停留関連電位解析装置に、α波判定装置２６が追加されている。α波判定装置２６には、図１０に示すように、脳波計測装置１２に接続された例えば１〜３０Ｈｚ程度の周波数の脳波信号を増幅する脳波アンプ２６Ａが設けられている。脳波アンプは、脳波の中からα波帯域（８〜１３Ｈｚ）の成分を通過させるバンドパスフィルタで構成されたα波フィルター２６Ｂ、及び脳波アンプで増幅された脳波データの振幅を平均化した値を出力する振幅平均化回路２６Ｄに接続されている。
【００８４】
振幅平均化回路２６Ｄは、直接演算回路２６Ｅに接続され、フィルター２６Ｂは、α波の振幅を平均化した値を出力する振幅平均化回路２６Ｃを介して演算回路２６Ｅに接続されている。振幅平均化回路２６Ｄ、２６Ｃは、各帯域成分の波を全波整流して移動平均を求める回路を用いてもよいし、各帯域成分の波を二乗し、二乗平均平方根（ＲＭＳ）を演算する演算回路を用いるようにしてもよい。
【００８５】
演算回路２６Ｅは、振幅平均化回路２６Ｃから入力されたα波帯域成分の振幅平均値を、振幅平均化回路２６Ｄから入力された全脳波帯域成分の振幅平均値で除算することによりα波率αＲを演算する。そして、α波率αＲと予め定めた閾値とを比較し、α波率αＲが閾値を越えた場合、すなわちα波の量が所定値を越える場合には、ステップ１０６の脳波データ抽出処理を中止する。これにより、α波の量が所定値以上の脳波信号が眼球停留関連電位の算出に用いられないように制限することができる。
【００８６】
なお、α波率αＲが閾値を越えた場合にサッケード終了時点の検出を停止したり、脳波データが信号抽出部に入力しないようにすることでも脳波データ抽出処理を中止し、α波の量が所定値以上の脳波信号が眼球停留関連電位の算出に用いられないように制限することができる。
【００８７】
また、α波率αＲが閾値を越えた場合においても一旦脳波データを抽出すると共に、抽出した脳波データにα波率αＲが閾値を越えたことを示す情報を付加しておいて、眼球停留関連電位を算出する際にα波率αＲが閾値を越えたことを示す情報が付加された脳波データを除外して眼球停留関連電位を算出するようにしてもよい。
【００８８】
本実施の形態によれば、α波の量が所定値以上の脳波信号が眼球停留関連電位の算出に用いられないように制限するようにしたので、β波優位の状態で脳波データの相加平均を演算するようにしてα波の影響が生じないようにすることができ、これによって眼球停留関連電位を精度良く算出することができる。
【００８９】
上記各実施の形態では、眼球停留関連電位及び平均サッケードサイズをそのまま出力する場合について説明したが、平均サッケードサイズに応じて大きくなるように定められた閾値と眼球停留関連電位の特定成分の振幅値の各々とを頭部の各部位毎、または頭部の特定部位に関して比較して、注意集中度を判定し、出力装置に出力したり、眼球停留関連電位の特定成分の振幅値が閾値を越えて注意集中度が低下した場合には、出力装置への出力と共に警報を発するようにしてもよい。
【００９０】
上記各実施の形態で得られた眼球停留関連電位及び平均サッケードサイズは、自動車運転時の安全対策、デザインの評価、及び照明の評価等の分野で人間の注意集中度を評価するために有効である。
【図面の簡単な説明】
【００９１】
【図１】本発明の実施の形態の眼球停留関連電位解析装置のブロック図である。
【図２】図１の信号抽出部の詳細を示すブロック図である。
【図３】第１の実施の形態の眼球停留関連電位等の算出ルーチンを示す流れ図である。
【図４】眼球運動信号の変化と脳波信号を示す線図である。
【図５】第２の実施の形態の眼球停留関連電位等の算出ルーチンを示す流れ図である。
【図６】第４の実施の形態の眼球停留関連電位解析装置のブロック図である。
【図７】第４の実施の形態の眼球停留関連電位等の算出ルーチンを示す流れ図である。
【図８】一般道路及び高速走路を走行中の抽出された脳波データより算出された眼球停留関連電位の例を示す線図である。
【図９】第７の実施の形態の眼球停留関連電位解析装置のブロック図である。
【図１０】図９のα波判定装置の詳細を示すブロック図である。
【符号の説明】
【００９２】
１０ 眼球運動計測装置
１０Ｈ 左右電極
１０Ｖ 上下電極
１２ 眼球運動計測装置
１２ 脳波計測装置
１４ パーソナルコンピュータ
１４ 信号抽出部
１４Ｂ 脳波記憶部
１４Ａ 脳波抽出部
１６ 状態検出部
１８ 算出部
２０ パーソナルコンピュータ
２２ 出力装置
２４ 走行状態検出装置
２６Ｃ 振幅平均化回路
２６Ｂ フィルター
２６Ｄ 振幅平均化回路
２６Ｅ 演算回路
【技術分野】
【０００１】
本発明は、眼球停留関連電位解析装置及び解析方法にかかり、特に、種々の状態別に眼球停留関連電位を算出し、種々の状態別に精度良く注意集中度を評価することができるようにした眼球停留関連電位解析装置及び解析方法に関する。
【背景技術】
【０００２】
眼球停留関連電位（ＥＦＲＰ（ｅｙｅ ｆｉｘａｔｉｏｎ ｒｅｌａｔｅｄ ｐｏｔｅｎｔｉａｌ））は、サッケード（ｓａｃｃａｄｅ ）眼球運動（視線移動時の速い眼の動き）の終了時点に同期した所定時間内の脳波信号を加算処理することにより算出される誘発脳波であり、この眼球停留関連電位の特定成分（例えば、ラムダ反応成分）の振幅値は、眼を向けた対象（視対象）への注意集中度が高いと大きくなることが知られていることから、視対象への注意集中度の評価指標として用いられている。
【０００３】
また、眼球停留関連電位の特定成分の振幅値は、視対象への注意集中度の度合いによって大きさが変化する他、算出時に用いたサッケード眼球運動の大きさ（平均サッケードサイズ）によっても変化することが知られており、平均サッケードサイズが大きくなるに従って眼球停留関連電位の特定成分の振幅値が大きくなることが報告されている（非特許文献１）。
【０００４】
眼球停留関連電位の解析技術に関する従来技術としては、サッケード眼球運動を抽出し、眼球停留関連電位の更新サイクルを短くする技術が知られている（特許文献１）。また、解析技術とは別に、眼球停留関連電位を応用した技術としては、眼球停留関連電位を注意集中度の評価指標に用いて作業者の集中度を高くした照明方法が知られている（特許文献２、特許文献３）。
【非特許文献１】Ｙａｇｉ，Ａ．１９７９，Ｓａｃｃａｄｅ ｓｉｚｅ ａｎｄ ｌａｍｂｄａ ｃｏｍｐｌｅｘ ｉｎ ｍａｎ， Ｐｈｙｓｉｏｌｏｇｉｃａｌ Ｐｓｙｃｈｏｌｏｇｙ，７，３７０−３７６）
【特許文献１】特開２００２−２７２６９３号公報
【特許文献２】特開平８−１９０８０４号公報
【特許文献３】特開平９−１２９０１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記非特許文献１に示されているように、眼球停留関連電位の特定成分の振幅値が平均サッケードサイズによっても変化することから、従来技術において高い精度で注意集中度評価を実現できるのは、視対象が１つで、かつ発生するサッケードの大きさ（サッケードサイズ）が比較的均一になる限られた環境下等に限られる。すなわち、上記特許文献２及び特許文献３の技術は、机上作業時の注意集中度評価に眼球停留関連電位を用いた例であるが、この場合において、異なる照明条件間で算出した眼球停留関連電位の特定成分の振幅値の大小により、精度良く注意集中度を評価できる理由は、視対象が机上の作業課題１つで、かつ比較的サッケードサイズが均一になる環境下であるからである。
【０００６】
また、自動車運転中のドライバのように、視対象が複数存在し、かつ大小様々なサッケードが発生する環境下で従来技術の眼球停留関連電位解析装置及び／または解析方法を使用する場合、比較したい条件間で平均サッケードサイズを略等しい値にすることは事実上不可能であることから、ドライバ等の注意集中度を高い精度で評価するのは困難である。
【０００７】
すなわち、上記従来技術では、視対象が複数存在すれば、視対象毎に注意集中度が異なり、また同一の視対象でも視対象周辺の状態が変化すれば、状態の変化に対する注意集中度が異なるにも拘わらず、種々の状態別にサッケードを分類して眼球停留関連電位を算出していないため、算出された眼球停留関連電位の特定成分の振幅値の変化に、注意集中度の変化以外の要因による変化も多く含まれた結果となり、このため注意集中度の評価精度が悪化する、という問題があった。
【０００８】
本発明は、上記問題を解決すべく成されたもので、種々の状態別にサッケードを分類して眼球停留関連電位を算出することにより、視対象が複数存在し、かつ大小様々なサッケードが発生する環境下においても精度良く注意集中度を評価することができる眼球停留関連電位解析装置及び解析方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために本発明の眼球停留関連電位解析装置は、眼球運動を計測する眼球運動計測手段と、脳波信号を計測する脳波信号計測手段と、前記眼球運動計測手段で計測された眼球運動に基づいてサッケードの発生を判断し、サッケードサイズを含むサッケード情報及びサッケード終了時点を検出すると共に、サッケード終了時点をトリガとした脳波信号を抽出する信号抽出手段と、前記サッケード情報及び外部の環境情報の少なくとも一方の情報を該少なくとも一方の情報に応じた状態に分類する状態分類手段と、前記分類された状態の各々に対応する抽出された脳波信号に基づいて、該分類された状態毎の眼球停留関連電位を算出すると共に、前記分類された状態の各々に対応するサッケードサイズに基づいて該分類された状態毎の平均サッケードサイズを算出する算出手段と、を含んで構成したものである。
【００１０】
本発明によれば、眼球運動計測手段で計測された眼球運動に基づいてサッケードの発生が判断され、サッケードサイズを含むサッケード情報及びサッケード終了時点が検出され、サッケード終了時点をトリガとした脳波信号が抽出される。そして、サッケード情報及び外部の環境情報の少なくとも一方の情報が、この少なくとも一方の情報に応じた状態に分類され、分類された状態の各々に対応する抽出された脳波信号に基づいて、分類された状態毎の眼球停留関連電位が算出されると共に、分類された状態の各々に対応するサッケードサイズに基づいて、分類された状態毎の平均サッケードサイズが算出される。
【００１１】
本発明では、分類された状態毎に眼球停留関連電位及び平均サッケードサイズが算出されることから、各状態においてサッケードサイズが各状態に応じた範囲内の大きさになり、サッケードサイズが均一化されるので、状態毎の注意集中度を精度良く評価することができる。
【００１２】
注意集中度は、算出された眼球停留関連電位の特定成分（例えば、ラムダ成分）の振幅値と、算出された平均サッケードサイズに応じた閾値とを比較することで評価することができ、眼球停留関連電位の特定成分の振幅値が閾値以下になったときに被験者の注意集中度が低下したと評価することができる。
【００１３】
サッケード情報としては、サッケードサイズ、サッケードサイズ及び視対象の位置を示す情報、またはサッケードサイズ及び視線移動のパターンを示す視線移動パターン情報を用いることができる。
【００１４】
サッケード情報としてサッケードサイズを用いた場合には、サッケードサイズを表す情報は、サッケードサイズの大きさに応じた複数の状態、例えば、サッケードサイズが小の状態、サッケードサイズが中の状態、及びサッケードサイズが大の状態というように、複数の状態に分類することができる。
【００１５】
サッケード情報としてサッケードサイズ及び視対象の位置を示す情報を用いた場合には、視対象の位置を示す情報が、視対象の位置を示す情報に応じた複数の状態、例えば、視対象が運転中のドライバの前景、ルームミラー、及びスピードメータ等に分類することができる。
【００１６】
サッケード情報としてサッケードサイズ及び視線移動のパターンを示す視線移動パターン情報を用いた場合には、視線移動パターン情報を線移動パターン情報に応じた複数の状態に分類することができる。
【００１７】
また、サッケード情報以外の外部の環境情報を用いて複数の状態に分類する場合には、外部の環境情報として自車両の走行状態を示す情報及び自車両の周辺環境状態を示す情報の少なくとも一方を用い、自車両の走行状態を示す情報及び周辺環境状態を示す情報の少なくとも一方を、自車両の走行状態を示す情報及び該周辺環境状態を示す情報の少なくとも一方に応じた複数の状態に分類することができる。自車両の走行状態としては、自車両が走行している走行路の種類（例えば、一般道路と高速道路）を用いることができ、自車両が走行している走行路の種類に応じて走行状態を分類することができる。また、自車両の走行状態として自車両の車速を用い、走行中と停止中とに走行状態を分類することができ、さらに運転支援システム等の車両搭載機器が作動中か非作動中かに状態を分類するようにしてもよい。自車両の周辺環境状態として自車両と前車との車間距離を検出し、車間距離を、例えば、近距離、中距離、及び遠距離等の複数の距離範囲を表す状態毎に分類するようにしてもよい。
【００１８】
また、サッケード情報及び外部の環境情報の両方を用い、複数に分類された外部の環境情報の各々について、サッケード情報を複数の状態に分類し、サッケード情報及び外部の環境情報の両方に応じて分類された状態毎に、眼球停留関連電位及び平均サッケードサイズを算出するようにしてもよい。
【００１９】
抽出された脳波データ中にα波が優位に現れると、事象関連電位（ＥＲＰ：ｅｖｅｎｔ−ｒｅｌａｔｅｄ ｐｏｔｅｎｔｉａｌ）や眼球停留関連電位が正しく算出されないことがあるので、脳波信号計測手段で計測された脳波信号に基づいて脳波信号に含まれるα波の量を演算し、α波の量が所定値以上の脳波信号が眼球停留関連電位の算出に用いられないように制限する制限手段を設けるのが好ましい。α波の量が所定値以上の脳波信号が前記眼球停留関連電位の算出に用いられないように制限するには、信号抽出手段による脳波信号の抽出を中止することにより達成することができる。
【００２０】
また、本発明の眼球停留関連電位解析方法は、眼球運動及び脳波信号を計測する計測工程と、前記計工程で計測された眼球運動に基づいてサッケードの発生を判断し、サッケードサイズを含むサッケード情報及びサッケード終了時点を検出すると共に、サッケード終了時点をトリガとした脳波信号を抽出する信号抽出工程と、前記サッケード情報及び外部の環境情報の少なくとも一方の情報を該少なくとも一方の情報に応じた状態に分類する状態分類工程と、前記分類された状態の各々に対応する抽出された脳波信号に基づいて、該分類された状態毎の眼球停留関連電位を算出すると共に、前記分類された状態の各々に対応するサッケードサイズに基づいて該分類された状態毎の平均サッケードサイズを算出する算出工程と、を含んで構成したものである。
【発明の効果】
【００２１】
以上説明したように本発明によれば、分類された状態毎に眼球停留関連電位及び平均サッケードサイズが算出されることから、各状態においてサッケードサイズが各状態に応じた範囲内の大きさになり、サッケードサイズが均一化されるので、状態毎の注意集中度を精度良く評価することができる、という効果が得られる。
【発明を実施するための最良の形態】
【００２２】
以下、図面を参照して本発明の第１の実施の形態を詳細に説明する。図１に示すように、本実施の形態には、水平方向及び垂直方向の眼球運動を検出して眼球運動信号を出力する眼球運動計測装置１０、及び脳波信号を計測する脳波計測装置１２が設けられている。
【００２３】
眼球運動計測装置１０、及び脳波計測装置１２は、汎用のパーソナルコンピュータ２０に接続されている。パーソナルコンピュータ２０は、ＣＰＵ、以下の処理ルーチンを記憶したＲＯＭ、データを一時的に記憶するＲＡＭ、及び脳波信号を記憶するＨＤＤ等の記憶装置で構成されている。
【００２４】
パーソナルコンピュータ２０を以下で説明する処理ルーチンに従って機能ブロックで表すと、眼球運動計測装置１２で計測された眼球運動に基づいてサッケードの発生を判断し、サッケード終了時点及びサッケード情報としてのサッケードサイズを検出すると共に、サッケード終了時点の各々をトリガとして所定時間Ｔ内（例えば、少なくとも１つのサッケードが含まれる時間）の脳波信号を脳波データとして抽出する信号抽出部１４、検出されたサッケードサイズをサッケードサイズの大きさに応じた複数の状態（本実施の形態では、サッケードサイズ大、中、小の３つの状態）に分類することにより、サッケードサイズの大きさに応じた複数の状態を検出する状態検出部１６、及び状態毎にサッケードサイズ及び抽出された脳波データを分類し、分類されたサッケードサイズ及び脳波データに基づいて、眼球停留関連電位及び平均サッケードサイズを算出する算出部１８で表すことができる。
【００２５】
パーソナルコンピュータ２０には、算出部１８で算出された眼球停留関連電位及び平均サッケードサイズの値を出力するＬＣＤ等の表示装置で構成された出力装置２２が接続されている。
【００２６】
なお、サッケード終了時点をトリガとして抽出する脳波信号は、サッケード終了時点をトリガとして前後所定時間内の脳波信号を抽出するようにしてもよい。
【００２７】
眼球運動計測装置１０は、ＥＯＧ（ｅｌｅｃｔｒｏ−ｏｃｕｌｏｇｒａｐｈ）法に基づいて眼球運動を計測する装置が用いられており、図２に示すように、この眼球運動計測装置には、人間の左右のこめかみに各々貼付される＋電極及び−電極からなる２つの左右電極１０Ｈ、及び眼球の上下に各々貼付される＋電極及び−電極からなる２つの上下電極１０Ｖが設けられている。
【００２８】
左右電極からは、眼球の水平方向の動きを表す水平眼球運動信号が電圧で計測され、上下電極からは、眼球の垂直方向の動きを表す垂直眼球運動信号が電圧で計測される。水平眼球運動信号及び垂直眼球運動信号は、各々アンプ（図示せず）を介してパーソナルコンピュータの信号抽出部１４の脳波抽出部１４Ａに供給される。
【００２９】
ＥＯＧ法に基づく水平眼球運動信号及び垂直眼球運動信号の振幅値の増大は、眼球の角膜部が＋電極に近づく方向に運動したことを示し、振幅値の減少は、眼球の角膜部が−電極に近づく方向に運動したことを示している。この特性から、所定サンプリング毎に水平眼球運動信号及び垂直眼球運動信号の振幅値をデジタル信号に変換して取り込み、振幅値が増大しているか、振幅値が減少しているかを脳波抽出部１４Ａにおいて判断することにより、眼球が＋電極方向に水平運動または上下運動しているのか、−電極方向に水平運動または上下運動しているのかを検出することができる。これによって、サッケードサイズ及びサッケードの終了時点を検出することができる。
【００３０】
なお、眼球運動方向を示す信号は、水平眼球運動信号及び垂直眼球運動信号を合成して得られたベクトル信号を用いてもよい。また、ＥＯＧ法に代えて角膜反射法等の他の方法を用いて眼球運動を検出し、眼球の運動方向を検出してもよい。カメラとオプトエレクトロニクスによる視線計測装置からなる眼球運動計測装置を用いて眼球の運動方向を検出してもよい。
【００３１】
脳波計測装置１２は、頭皮に貼付される複数の電極１２Ａを備えた市販の脳波計等を用いることができ、複数部位の脳波をアナログ信号で検出する。この脳波計測装置１２は、信号抽出部１４の脳波記憶部１４Ｂに接続されており、検出された脳波信号がデジタル信号に変換されて頭部の複数部位毎に時系列の脳波信号としてＨＤＤ等で構成された脳波記憶部１４Ｂに記憶される。
【００３２】
次に、サッケードサイズをサッケードサイズの大きさに応じた複数の状態に分類し、分類した状態毎に眼球停留関連電位及び平均サッケードサイズを算出する第１の実施の形態のパーソナルコンピュータで実行される算出ルーチンについて図３を参照して説明する。
【００３３】
眼球運動計測装置１０で計測された水平眼球運動信号及び垂直眼球運動信号の各振幅値は、デジタル信号に変換されて脳波抽出部１４Ａに入力され、脳波計測装置１２で計測された脳波信号もデジタル信号に変換されて脳波記憶部１４Ｂに頭部の１つまた複数の部位毎に時系列で記憶される。
【００３４】
本実施の形態では、サッケードサイズを検出するために、水平眼球運動信号及び垂直眼球運動信号の各振幅値（電圧値）と、眼球の角度とを予め測定し、電圧値を眼球角度に換算するための電圧値と眼球角度との関係を示す電圧値−眼球角度校正データを、眼球停留関連電位算出前に予め測定し、パーソナルコンピュータ２０のＲＡＭ等に記憶しておく。
【００３５】
ステップ１００では、眼球運動計測装置１０で計測された水平眼球運動信号及び垂直眼球運動信号からなる眼球運動信号を予め定められたサンプリング周期でデジタル信号に変換して取り込み、ステップ１０２においてサッケードが発生したか否かを判断する。
【００３６】
サッケード発生中以外、すなわち眼球停留時には、眼球運動方向は短いサイクルで微小変化しており、またサッケードは所定時間を超えて長時間継続しないことが知られている。したがって、サッケードが発生したか否かは、眼球が移動しているか（水平移動及び上下移動しているか）を判断し、この判断結果に基づいて眼球の運動方向が所定時間（例えば、３０ｍｓｅｃ〜７０ｍｓｅｃ）連続して同じか否かを判断することにより、判断することができる。そして、眼球の運動方向が所定時間連続して同じ方向の場合に、サッケードが発生したと判断する。
【００３７】
サッケードが発生したと判断されたときは、ステップ１０４において、サッケードが発生した後、眼球の運動方向が変化したか否かを判断することによりサッケードが終了したか否かを判断する。眼球の運動方向が変化した場合には、サッケードが終了したと判断し、この時点をサッケードが終了した時点として検出する。また、ステップ１０４において、水平眼球運動信号及び垂直眼球運動信号の各振幅値を電圧値−眼球角度校正データを用いて眼球角度に換算した後、その両者を合成したベクトルを求めることにより、サッケード発生からサッケード終了までの眼球運動量を眼球角度で表したサッケードサイズを算出する。
【００３８】
図４に、サッケード発生時刻ｔｓ１、ｔｓ２、ｔｓ３、・・・、サッケード終了時刻ｔｅ１、ｔｅ２、ｔｅ３、・・・を示す。図４の眼球運動を表す波形のサッケード発生時刻とサッケード終了時刻との間の部分がサッケード発生中を示し、眼球運動を表す波形の水平部分は眼球停留状態を示している。
【００３９】
次のステップ１０６では、脳波記憶部１４Ｂに記憶されている脳波信号から、サッケード終了時点をトリガとした所定時間Ｔ内の脳波信号を脳波データとして頭部の複数部位毎に抽出し、ステップ１０８においてステップ１０４で算出したサッケード終了直前のサッケードサイズの大きさ毎に分類してサッケードサイズと共に、頭部の複数部位毎の脳波データを含む１組の脳波データを脳波抽出部１４Ａに一旦記憶する。
【００４０】
サッケードサイズは、複数の状態、例えば、５度未満、５度以上１０度未満、１０度以上１５度未満、１５度以上の４つの状態に分類されており、ステップ１０４で算出したサッケードサイズがどの範囲に属するかを判断し、対応する大きさの状態に分けて、抽出した頭部の複数部位毎の脳波データからなる１組の脳波データを、算出されたサッケードサイズと共に記憶する。
【００４１】
なお、サッケードサイズは、サッケード発生からサッケード終了時点までの水平眼球運動信号の振幅値の差、及び垂直眼球運動信号の振幅値の差から得られる眼球運動距離を用いてもよい。この場合は、サッケードサイズは、例えば、ｂ１未満、ｂ１以上ｂ２未満、ｂ２以上の３つの状態に分類することができる。
【００４２】
また、上記ではサッケードサイズを３つの状態に分類する例について説明したが、２つの状態、または４つ以上の状態に分類してもよい。
【００４３】
次のステップ１１０では、各状態毎に１組の脳波データの個数がｎ個（ｎ組）以上記憶されたか否かを判断し、脳波データの組数がｎ個以上の状態が存在しない場合はステップ１００に戻って上記の処理を繰り返し、脳波データの組数がｎ個以上の状態が存在する場合には、ステップ１１２において状態に対して記憶されているｎ個以上の脳波データの相加平均を頭部の各部位毎に算出することにより、この状態に対する頭部の各部位毎の眼球停留関連電位からなる１組の眼球停留関連電位を算出する。
【００４４】
また、ステップ１１２では状態に対して記憶されているｎ個以上のサッケードサイズの相加平均を算出することによりこの状態に対する平均サッケードサイズを算出する。
【００４５】
そして、次のステップ１１４において出力装置に算出した眼球停留関連電位及び平均サッケードサイズを出力し、次のステップで処理の終了か否かを判断し、終了でない場合は、上記の処理を繰り返す。
【００４６】
なお、上記では、サッケードサイズを大きさに応じた複数の状態に分類する例について説明したが、最大サッケードサイズを求め、最大サッケードサイズに対する割合によってサッケードサイズを割合に応じた複数の状態に分類してもよい。この場合には、予め、被験者に左右及び上下方向にできるだけ大きいサッケード眼球運動を起させ、そのときの最大サッケード振幅値（電圧値）を計測し、左右及び上下方向の最大サッケード振幅値のベクトル値を求め、このベクトル値に基づいて、例えば、ベクトル値のｃ１％未満、ｃ１％以上ｃ２％未満、ｃ２％以上の３つの状態に分類することができる。
【００４７】
本実施の形態によれば、サッケードサイズの大きさに応じて定めた状態毎に眼球停留関連電位を算出しているので、サッケードサイズの大きさ毎に注意集中度評価を行うことができる。また、各状態には各状態に応じた所定範囲内の大きさのサッケードサイズが含まれることになる。これにより、各状態において平均サッケードサイズの均一化が図られることになり、サッケードサイズの変化による眼球停留関連電位の変化を回避することができ、結果として、精度の高い注意集中度評価を行うことができる。
【００４８】
次に、第２の実施の形態について説明する。本実施の形態は、ドライバが眼を向けている対象（視対象）を状態とし状態別に分類し、視対象別に眼球停留関連電位及び平均サッケードサイズを算出するようにしたものである。
【００４９】
本実施の形態では、予め複数の視対象に視線を向けて、ドライバの眼の位置に対する水平方向の眼球角度及び垂直方向の眼球角度を範囲を持たせて計測し、視対象毎に水平方向の眼球角度及び垂直方向の眼球角度範囲を予めパーソナルコンピュータのメモリに記憶しておく。水平方向の眼球角度及び垂直方向の眼球角度は、上述したように、電圧値−眼球角度校正データを用いて水平眼球運動信号及び垂直眼球運動信号の各振幅値から換算することができる。
【００５０】
自動車を運転している場面を想定すると、眼球角度範囲を予めメモリに記憶しておくことができる視対象としては、前景、左右サイドミラー、ルームミラー、スピードメータ、及びナビゲーションシステムの表示画面等を用いることができる。そして、これらの全ての視対象または予め定めた特定の視対象毎に、水平方向の眼球角度範囲及び垂直方向の眼球角度範囲の各眼球角度範囲を求め、複数の視対象と各視対象に対応する各眼球角度範囲の関係を定めた視対象テーブルを予め記憶しておく。
【００５１】
自動車運転場面における視線移動パターンは、前景から前景以外の他の視対象へ移動するパターンが主であり、前景以外の他の視対象は自動車に関連する各部位であることから特定し易いので、予め上記の視対象テーブルを作成して記憶することは容易である。
【００５２】
次に、本実施の形態の眼球停留関連電位及び平均サッケードサイズの算出ルーチンを図５を参照して説明する。なお、図５において図３と対応する部分には同一符号を付して説明を省略する。
【００５３】
サッケード終了時点をトリガとして所定時間範囲内の脳波信号を脳波データとして抽出した後、ステップ１２０において、サッケード終了時点の水平眼球運動信号及び垂直眼球運動信号の各振幅値及び電圧値−眼球角度校正データを用いて、水平方向の眼球角度及び垂直方向の眼球角度を求め、求めた眼球角度の各々が視対象テーブルのどの眼球角度範囲に属するかを判断することにより、視対象を同定する。
【００５４】
次のステップ１２２では、ステップ１０８と同様に、同定した視対象毎に分類して、抽出した頭部の各部位毎の脳波データからなる１組の脳波データを算出されたサッケードサイズと共に記憶する。
【００５５】
そして、ステップ１１０〜１１４では、上記と同様にして眼球停留関連電位及び平均サッケードサイズを状態毎に算出し、出力装置に出力する。
【００５６】
本実施の形態は、自動車運転場面のように、視対象が限定でき、かつ視線移動パターンが単純な場合に適用すると効果的である。
【００５７】
上記では、ＥＯＧ法によって検出された眼球運動信号から視対象を同定する例について説明したが、カメラとオプトエレクトロニクスによる視線計測装置からなる眼球運動計測装置を用い、検出されたドライバの視線位置とカメラで撮影された視野画像に重ね合わせた画像を処理することによって、視対象を同定すると共にサッケードサイズを計測し、視対象毎に眼球停留関連電位及び平均サッケードサイズを算出するようにしてもよい。
【００５８】
本実施の形態によれば、視対象毎に眼球停留関連電位及び平均サッケードサイズが算出されるため、視対象毎に注意集中度評価を行うことができ、１つの視対象に対する注意集中度を高い精度で評価することができる。
【００５９】
本実施の形態では、運転中の前方への注意集中度を評価しようとする場合に必要な前景のみを視対象とした眼球停留関連電位を算出することができるので、運転中の前方への注意集中度を高い精度で評価することができる。
【００６０】
次に、第３の実施の形態について説明する。本実施の形態は、眼球運動信号に基づいて眼の向け方（視線移動パターン）を状態とし、視線移動パターン毎に状態を分類して、分類した状態毎に眼球停留関連電位及び平均サッケードサイズを算出するようにしたものである。
【００６１】
本実施の形態では、図５のルーチンで視対象が同定される毎に視対象を記憶し、同定された複数（例えば、２つ）の視対象を時間の経過に応じて組み合わせて視線移動パターンを同定し、視線移動パターン毎に眼球停留関連電位及び平均サッケードサイズを算出する。なお、視対象は、上述したように視線計測装置とカメラとを用いて同定してもよい。
【００６２】
視線移動パターンは、予め視対象となり得る前景の位置座標及び自動車の各部位の位置座標を予め記憶しておき、サッケードが発生した直後にドライバが視線を向けた視対象の位置座標を始点として記憶すると共に、次のサッケードが発生した直後にドライバが視線を向けた視対象の位置座標を終点として記憶し、始点から終点までの距離と始点から終点までのサッケード方向とを組み合わせて視線移動パターンを同定してもよい。
【００６３】
本実施の形態によれば、任意の視対象と次の視対象とを組み合わせた視線パターン毎に眼球停留関連電位及び平均サッケードサイズが算出されることから、各視線パターンにおいてサッケードサイズの均一化を図ることができるので、より精度の高い注意集中度評価を行うことができる。
【００６４】
次に、眼球運動信号から得られるサッケード情報を用いて分類することなく、外部の環境情報を検出し外部の環境情報に応じた状態に分類し、分類された状態毎に眼球停留関連電位及び平均サッケードサイズを算出する第４の実施の形態について説明する。なお、平均サッケードサイズの算出には、サッケード情報に含まれるサッケードサイズが用いられる。
【００６５】
サッケード情報を用いることなく状態を分類する場合としては、自車両の走行状態を検出する場合と周辺環境状態を検出する場合とが存在するが、第４の実施の形態では自車両の走行状態を検出する場合について説明する。
【００６６】
図６に示すように、本実施の形態は、図１に示す眼球運動信号に基づいて状態を検出する状態検出部１６に代えて、自車両の速度やＧＰＳ位置情報等を用いて自車両が一般道路を走行中か高速道路を走行中かを判断することにより自車両の走行状態を判断する走行状態判断装置２４が設けられている。
【００６７】
本実施の形態の眼球停留関連電位等の算出ルーチンを図７を参照して説明する。なお、図７において図３と対応する部分には同一符号を付して説明を省略する。
【００６８】
サッケード終了時点をトリガとして所定時間範囲内の脳波信号を脳波データとして抽出した後、ステップ１２４において、走行状態検出装置２４からの信号に基づいて、自車両が一般道路を走行中（状態Ａ）か高速道路を走行中（状態Ｂ）かを判断する。状態Ａと判断された場合は、ステップ１２６において頭部の各部位毎の脳波データを１組の脳波データとして記憶すると共に、この１組の脳波データに対応させてサッケードサイズを記憶する。
【００６９】
次のステップ１２８では、１組の脳波データがｎ個（ｎ組）以上になったか否かを判断し、ｎ個未満の場合はステップ１００に戻って上記のようにサッケードサイズの算出及び脳波データの抽出等の処理を繰り返し、１組の脳波データがｎ個以上になった場合は、ステップ１３０において頭部の各部位毎に脳波データの相加平均を算出することにより頭部の各部位毎に、状態Ａにおける１組の眼球停留関連電位を算出すると共に、この１組の眼球停留関連電位に対応する平均サッケードサイズを算出する。
【００７０】
一方、ステップ１２４において状態Ｂと判断されたときは、ステップ１３２〜ステップ１３６において、ステップ１２６〜ステップ１３０と同様に頭部の各部位毎の脳波データからなる１組の脳波データとサッケードサイズとを記憶し、データ数がｎ個以上となったときに、頭部の各部位毎に脳波データの相加平均を算出することにより頭部の各部位毎に、状態Ｂにおける１組の眼球停留関連電位を算出すると共に、この１組の眼球停留関連電位に対応する平均サッケードサイズを算出する。
【００７１】
そして、状態Ａ及び状態Ｂの１組の眼球停留関連電位及びこの１組の眼球停留関連電位に対応する平均サッケードサイズが出力装置に出力される。図８に、サッケード終了時点をトリガとして前後所定時間の脳波信号を抽出して眼球停留関連電位を算出した場合の出力装置に出力された状態Ａ及び状態Ｂの眼球停留関連電位の１つを示す。
【００７２】
第４の実施の形態では、走行状態を判断し、走行状態毎に眼球停留関連電位及び平均サッケードサイズを算出する例について説明したが、自車両の車速を検出し、停車中か走行中かに状態を分類し、分類した状態毎に１組の眼球停留関連電位及び１組の眼球停留関連電位に対応する平均サッケードサイズを算出するようにしてもよい。第４の実施形態では走行状態を２つに分類したが、速度その他の情報により走行状態を３つ以上に分類しても良い。
【００７３】
第５の実施の形態は、車両搭載機器が作動中か非作動中かに状態を分類し、分類した状態毎に１組の眼球停留関連電位及び１組の眼球停留関連電位に対応する平均サッケードサイズを算出するようにしたものである。
【００７４】
車両搭載機器としては、自車両周辺の状況（例えば、周辺車両、道路の白線、及び歩行者等）を、レーザセンサ、ミリ波レーダセンサ、及び画像センサ等の少なくとも１つのセンサで検出し、プリクラッシュセーフティ、レーンキーピングアシスト、及びクルーズコントロール等の少なくとも１つの運転支援を行う運転支援システムを使用することができる。この場合には、運転支援システムが搭載されている車両を運転するドライバの注意集中度を評価することができる。
【００７５】
本実施の形態では、運転支援システムが搭載されている車両について、運転支援システムが作動中か否かを検出して運転支援システムが作動中か非作動中かに状態を分類し、分類した状態毎に１組の眼球停留関連電位及び１組の眼球停留関連電位に対応する平均サッケードサイズを算出する。
【００７６】
本実施の形態によれば、運転支援システムが作動中の眼球停留関連電位を算出することができるので、運転支援システム作動中でのドライバの注意集中度を評価することができ、これによって運転支援システムの評価を行うことができる。
【００７７】
さらに、上記では、車両搭載機器として運転支援システムを搭載した車両について説明したが、前照灯を点灯して走行している場合において、ロービームで走行しているかハイビームで走行しているかを検出し、ロービーム走行かハイビーム走行かに状態を分類し、分類した状態毎に１組の眼球停留関連電位及び１組の眼球停留関連電位に対応する平均サッケードサイズを算出するようにしてもよい。
【００７８】
次に、周辺環境状態を検出し、検出した状態毎に眼球停留関連電位等を算出する第６の実施の形態について説明する。本実施の形態では、自車両と前車との車間距離を検出し、車間距離を近距離、中距離、及び遠距離等の複数の距離範囲を表す状態毎に分類し、分類した距離範囲毎に１組の眼球停留関連電位及び１組の眼球停留関連電位に対応する平均サッケードサイズを算出する。
【００７９】
以上説明したように、サッケード情報を用いないで状態を分類する実施の形態によれば、状態毎に注意集中度評価が可能になると共に、１つの状態内で精度の高い注意集中度の評価を行うことができる。また、複数の状態毎に眼球停留関連電位等を算出しているので、状態間の注意集中度評価結果等の比較をリアルタイムで行うことができる。
【００８０】
さらに、通常は時間経過によって被験者の内的状態が変化するが、上記の各実施の形態では、状態毎に眼球停留関連電位等を算出しているので、各状態における注意集中度を評価することができ、これによって時間経過による注意集中度の評価精度の低下を回避することができる。
【００８１】
サッケード情報を用いないで状態を分類する第４及び第５の実施の形態では、第１〜第３の実施の形態と組み合わせてサッケード情報を分類に用いるようにし、走行状態毎に状態を分離すると共に、各走行状態において更にサッケード情報基づいて、サッケードサイズ毎、視対象毎、または視線パターン毎に上記で説明したように状態を分離して、各走行状態においてサッケード情報に応じて分類された状態毎に１組の眼球停留関連電位及び平均サッケードサイズを算出するようにしてもよい。
【００８２】
次に本発明の第７の実施の形態について説明する。本実施の形態は、α波が他の波と比較して振幅が大きいことからサッケード終了時点にα波が出現すると事象関連電位または眼球停留関連電位が正しく算出さず、眼球停留関連電位が精度良く算出されないことを解消するために、α波出現時の脳波データを眼球停留関連電位の算出に用いないようし、β波優位の状態で脳波データの相加平均を演算するようにしてα波の影響が生じないようにしたものである。
【００８３】
本実施の形態は、上記各実施の形態に適用することができるが、第１の実施の形態に適用した場合について説明すると、図９に示すように、図１の眼球停留関連電位解析装置に、α波判定装置２６が追加されている。α波判定装置２６には、図１０に示すように、脳波計測装置１２に接続された例えば１〜３０Ｈｚ程度の周波数の脳波信号を増幅する脳波アンプ２６Ａが設けられている。脳波アンプは、脳波の中からα波帯域（８〜１３Ｈｚ）の成分を通過させるバンドパスフィルタで構成されたα波フィルター２６Ｂ、及び脳波アンプで増幅された脳波データの振幅を平均化した値を出力する振幅平均化回路２６Ｄに接続されている。
【００８４】
振幅平均化回路２６Ｄは、直接演算回路２６Ｅに接続され、フィルター２６Ｂは、α波の振幅を平均化した値を出力する振幅平均化回路２６Ｃを介して演算回路２６Ｅに接続されている。振幅平均化回路２６Ｄ、２６Ｃは、各帯域成分の波を全波整流して移動平均を求める回路を用いてもよいし、各帯域成分の波を二乗し、二乗平均平方根（ＲＭＳ）を演算する演算回路を用いるようにしてもよい。
【００８５】
演算回路２６Ｅは、振幅平均化回路２６Ｃから入力されたα波帯域成分の振幅平均値を、振幅平均化回路２６Ｄから入力された全脳波帯域成分の振幅平均値で除算することによりα波率αＲを演算する。そして、α波率αＲと予め定めた閾値とを比較し、α波率αＲが閾値を越えた場合、すなわちα波の量が所定値を越える場合には、ステップ１０６の脳波データ抽出処理を中止する。これにより、α波の量が所定値以上の脳波信号が眼球停留関連電位の算出に用いられないように制限することができる。
【００８６】
なお、α波率αＲが閾値を越えた場合にサッケード終了時点の検出を停止したり、脳波データが信号抽出部に入力しないようにすることでも脳波データ抽出処理を中止し、α波の量が所定値以上の脳波信号が眼球停留関連電位の算出に用いられないように制限することができる。
【００８７】
また、α波率αＲが閾値を越えた場合においても一旦脳波データを抽出すると共に、抽出した脳波データにα波率αＲが閾値を越えたことを示す情報を付加しておいて、眼球停留関連電位を算出する際にα波率αＲが閾値を越えたことを示す情報が付加された脳波データを除外して眼球停留関連電位を算出するようにしてもよい。
【００８８】
本実施の形態によれば、α波の量が所定値以上の脳波信号が眼球停留関連電位の算出に用いられないように制限するようにしたので、β波優位の状態で脳波データの相加平均を演算するようにしてα波の影響が生じないようにすることができ、これによって眼球停留関連電位を精度良く算出することができる。
【００８９】
上記各実施の形態では、眼球停留関連電位及び平均サッケードサイズをそのまま出力する場合について説明したが、平均サッケードサイズに応じて大きくなるように定められた閾値と眼球停留関連電位の特定成分の振幅値の各々とを頭部の各部位毎、または頭部の特定部位に関して比較して、注意集中度を判定し、出力装置に出力したり、眼球停留関連電位の特定成分の振幅値が閾値を越えて注意集中度が低下した場合には、出力装置への出力と共に警報を発するようにしてもよい。
【００９０】
上記各実施の形態で得られた眼球停留関連電位及び平均サッケードサイズは、自動車運転時の安全対策、デザインの評価、及び照明の評価等の分野で人間の注意集中度を評価するために有効である。
【図面の簡単な説明】
【００９１】
【図１】本発明の実施の形態の眼球停留関連電位解析装置のブロック図である。
【図２】図１の信号抽出部の詳細を示すブロック図である。
【図３】第１の実施の形態の眼球停留関連電位等の算出ルーチンを示す流れ図である。
【図４】眼球運動信号の変化と脳波信号を示す線図である。
【図５】第２の実施の形態の眼球停留関連電位等の算出ルーチンを示す流れ図である。
【図６】第４の実施の形態の眼球停留関連電位解析装置のブロック図である。
【図７】第４の実施の形態の眼球停留関連電位等の算出ルーチンを示す流れ図である。
【図８】一般道路及び高速走路を走行中の抽出された脳波データより算出された眼球停留関連電位の例を示す線図である。
【図９】第７の実施の形態の眼球停留関連電位解析装置のブロック図である。
【図１０】図９のα波判定装置の詳細を示すブロック図である。
【符号の説明】
【００９２】
１０ 眼球運動計測装置
１０Ｈ 左右電極
１０Ｖ 上下電極
１２ 眼球運動計測装置
１２ 脳波計測装置
１４ パーソナルコンピュータ
１４ 信号抽出部
１４Ｂ 脳波記憶部
１４Ａ 脳波抽出部
１６ 状態検出部
１８ 算出部
２０ パーソナルコンピュータ
２２ 出力装置
２４ 走行状態検出装置
２６Ｃ 振幅平均化回路
２６Ｂ フィルター
２６Ｄ 振幅平均化回路
２６Ｅ 演算回路
【特許請求の範囲】
【請求項１】
眼球運動を計測する眼球運動計測手段と、
脳波信号を計測する脳波信号計測手段と、
前記眼球運動計測手段で計測された眼球運動に基づいてサッケードの発生を判断し、サッケードサイズを含むサッケード情報及びサッケード終了時点を検出すると共に、サッケード終了時点をトリガとした脳波信号を抽出する信号抽出手段と、
前記サッケード情報及び外部の環境情報の少なくとも一方の情報を該少なくとも一方の情報に応じた状態に分類する状態分類手段と、
前記分類された状態の各々に対応する抽出された脳波信号に基づいて、該分類された状態毎の眼球停留関連電位を算出すると共に、前記分類された状態の各々に対応するサッケードサイズに基づいて該分類された状態毎の平均サッケードサイズを算出する算出手段と、
を含む眼球停留関連電位解析装置。
【請求項２】
前記状態分類手段は、前記サッケードサイズを表す情報を該サッケードサイズの大きさに応じた複数の状態に分類する請求項１記載の眼球停留関連電位解析装置。
【請求項３】
前記サッケード情報は、前記サッケードサイズ及び視対象の位置を示す情報を含み、前記状態分類手段は、前記視対象の位置を示す情報を該視対象の位置を示す情報に応じた複数の状態に分類する請求項１記載の眼球停留関連電位解析装置。
【請求項４】
前記サッケード情報は、前記サッケードサイズ及び視線移動のパターンを示す視線移動パターン情報を含み、前記状態分類手段は、前記視線移動パターン情報を該視線移動パターン情報に応じた複数の状態に分類する請求項１記載の眼球停留関連電位解析装置。
【請求項５】
前記外部の環境情報は、自車両の走行状態を示す情報及び自車両の周辺環境状態を示す情報の少なくとも一方を含み、前記状態分類手段は、前記自車両の走行状態を示す情報及び前記周辺環境状態を示す情報の少なくとも一方を該自車両の走行状態を示す情報及び該周辺環境状態を示す情報の少なくとも一方に応じた複数の状態に分類する請求項１〜請求項４のいずれか１項記載の眼球停留関連電位解析装置。
【請求項６】
前記脳波信号計測手段で計測された脳波信号に基づいて前記脳波信号に含まれるα波の量を演算し、α波の量が所定値以上の脳波信号が前記眼球停留関連電位の算出に用いられないように制限する制限手段を更に含む請求項１〜請求項５のいずれか１項記載の眼球停留関連電位解析装置。
【請求項７】
前記制限手段は、前記信号抽出手段による脳波信号の抽出を中止することにより、α波の量が所定値以上の脳波信号が前記眼球停留関連電位の算出に用いられないように制限する請求項６項記載の眼球停留関連電位解析装置。
【請求項８】
前記算出手段で算出された眼球停留関連電位の特定成分の振幅値と、前記算出手段で算出された平均サッケードサイズに応じた閾値とを比較して、被験者の注意集中度を評価する評価手段を更に含む請求項１〜請求項７のいずれか１項記載の眼球停留関連電位解析装置。
【請求項９】
眼球運動及び脳波信号を計測する計測工程と、
前記計測工程で計測された眼球運動に基づいてサッケードの発生を判断し、サッケードサイズを含むサッケード情報及びサッケード終了時点を検出すると共に、サッケード終了時点をトリガとした脳波信号を抽出する信号抽出工程と、
前記サッケード情報及び外部の環境情報の少なくとも一方の情報を該少なくとも一方の情報に応じた状態に分類する状態分類工程と、
前記分類された状態の各々に対応する抽出された脳波信号に基づいて、該分類された状態毎の眼球停留関連電位を算出すると共に、前記分類された状態の各々に対応するサッケードサイズに基づいて該分類された状態毎の平均サッケードサイズを算出する算出工程と、
を含む眼球停留関連電位解析方法。
【請求項１】
眼球運動を計測する眼球運動計測手段と、
脳波信号を計測する脳波信号計測手段と、
前記眼球運動計測手段で計測された眼球運動に基づいてサッケードの発生を判断し、サッケードサイズを含むサッケード情報及びサッケード終了時点を検出すると共に、サッケード終了時点をトリガとした脳波信号を抽出する信号抽出手段と、
前記サッケード情報及び外部の環境情報の少なくとも一方の情報を該少なくとも一方の情報に応じた状態に分類する状態分類手段と、
前記分類された状態の各々に対応する抽出された脳波信号に基づいて、該分類された状態毎の眼球停留関連電位を算出すると共に、前記分類された状態の各々に対応するサッケードサイズに基づいて該分類された状態毎の平均サッケードサイズを算出する算出手段と、
を含む眼球停留関連電位解析装置。
【請求項２】
前記状態分類手段は、前記サッケードサイズを表す情報を該サッケードサイズの大きさに応じた複数の状態に分類する請求項１記載の眼球停留関連電位解析装置。
【請求項３】
前記サッケード情報は、前記サッケードサイズ及び視対象の位置を示す情報を含み、前記状態分類手段は、前記視対象の位置を示す情報を該視対象の位置を示す情報に応じた複数の状態に分類する請求項１記載の眼球停留関連電位解析装置。
【請求項４】
前記サッケード情報は、前記サッケードサイズ及び視線移動のパターンを示す視線移動パターン情報を含み、前記状態分類手段は、前記視線移動パターン情報を該視線移動パターン情報に応じた複数の状態に分類する請求項１記載の眼球停留関連電位解析装置。
【請求項５】
前記外部の環境情報は、自車両の走行状態を示す情報及び自車両の周辺環境状態を示す情報の少なくとも一方を含み、前記状態分類手段は、前記自車両の走行状態を示す情報及び前記周辺環境状態を示す情報の少なくとも一方を該自車両の走行状態を示す情報及び該周辺環境状態を示す情報の少なくとも一方に応じた複数の状態に分類する請求項１〜請求項４のいずれか１項記載の眼球停留関連電位解析装置。
【請求項６】
前記脳波信号計測手段で計測された脳波信号に基づいて前記脳波信号に含まれるα波の量を演算し、α波の量が所定値以上の脳波信号が前記眼球停留関連電位の算出に用いられないように制限する制限手段を更に含む請求項１〜請求項５のいずれか１項記載の眼球停留関連電位解析装置。
【請求項７】
前記制限手段は、前記信号抽出手段による脳波信号の抽出を中止することにより、α波の量が所定値以上の脳波信号が前記眼球停留関連電位の算出に用いられないように制限する請求項６項記載の眼球停留関連電位解析装置。
【請求項８】
前記算出手段で算出された眼球停留関連電位の特定成分の振幅値と、前記算出手段で算出された平均サッケードサイズに応じた閾値とを比較して、被験者の注意集中度を評価する評価手段を更に含む請求項１〜請求項７のいずれか１項記載の眼球停留関連電位解析装置。
【請求項９】
眼球運動及び脳波信号を計測する計測工程と、
前記計測工程で計測された眼球運動に基づいてサッケードの発生を判断し、サッケードサイズを含むサッケード情報及びサッケード終了時点を検出すると共に、サッケード終了時点をトリガとした脳波信号を抽出する信号抽出工程と、
前記サッケード情報及び外部の環境情報の少なくとも一方の情報を該少なくとも一方の情報に応じた状態に分類する状態分類工程と、
前記分類された状態の各々に対応する抽出された脳波信号に基づいて、該分類された状態毎の眼球停留関連電位を算出すると共に、前記分類された状態の各々に対応するサッケードサイズに基づいて該分類された状態毎の平均サッケードサイズを算出する算出工程と、
を含む眼球停留関連電位解析方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００７−１２５１８４（Ｐ２００７−１２５１８４Ａ）
【公開日】平成１９年５月２４日（２００７．５．２４）
【国際特許分類】
【出願番号】特願２００５−３２０１３０（Ｐ２００５−３２０１３０）
【出願日】平成１７年１１月２日（２００５．１１．２）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【出願人】（５０３０９２１８０）学校法人関西学院 (71)
【Ｆターム（参考）】
【公開日】平成１９年５月２４日（２００７．５．２４）
【国際特許分類】
【出願日】平成１７年１１月２日（２００５．１１．２）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【出願人】（５０３０９２１８０）学校法人関西学院 (71)
【Ｆターム（参考）】
[ Back to top ]