注意状態判別システム、方法、コンピュータプログラムおよび注意状態判別装置
【課題】眼球停留関連電位（ＥＦＲＰ）の解析区間を短縮し、状況変化が多い場合でも十分な精度でユーザの注意状態を判別する。
【解決手段】解析区間ごとにユーザの注意状態を判定する注意状態判別システムが提供される。解析区間は複数の部分区間から構成されている。注意状態判別システムは、ユーザの脳波信号を計測する脳波計測部と、ユーザの眼球運動を計測する眼球運動計測部と、計測された眼球運動から眼球停留の開始時刻を検出するサッケード検出部と、各部分区間を代表する眼球停留関連電位を取得する電位取得部であって、各眼球停留関連電位は、各部分区間内で検出された眼球停留の各開始時刻を起点として特定される脳波信号の電位である、電位取得部と、各部分区間を代表する眼球停留関連電位を利用して、部分区間毎のユーザの注意状態を判別する注意量判別部と、部分区間毎の注意状態の判別結果を利用して、解析区間におけるユーザの注意状態を判別する統合判別部とを備えている。
【解決手段】解析区間ごとにユーザの注意状態を判定する注意状態判別システムが提供される。解析区間は複数の部分区間から構成されている。注意状態判別システムは、ユーザの脳波信号を計測する脳波計測部と、ユーザの眼球運動を計測する眼球運動計測部と、計測された眼球運動から眼球停留の開始時刻を検出するサッケード検出部と、各部分区間を代表する眼球停留関連電位を取得する電位取得部であって、各眼球停留関連電位は、各部分区間内で検出された眼球停留の各開始時刻を起点として特定される脳波信号の電位である、電位取得部と、各部分区間を代表する眼球停留関連電位を利用して、部分区間毎のユーザの注意状態を判別する注意量判別部と、部分区間毎の注意状態の判別結果を利用して、解析区間におけるユーザの注意状態を判別する統合判別部とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車の運転などの操作を行う操作者の注意状態を、脳波に基づいて判定する装置に関する。具体的には、本発明は、時々刻々環境が変化する自動車の運転操作において、状況ごとに注意状態の判別を行う装置、方法およびそのような装置において実行されるコンピュータプログラムに関する。
【背景技術】
【０００２】
近年、運転者の身体状態や心理状態をリアルタイムに把握した上で、運転者の状態に即した支援が行える安全運転を支援する技術の必要性が高まっている。運転者の状態を客観的かつ定量的に評価する手法として、脳波や瞬目などの生理指標を用いた覚醒度の定量化が試みられている。
【０００３】
例えば、特許文献１では、脳波の入眠波形パターンやα波成分から覚醒度を推定する技術が開示されている。また特許文献２では、運転者の顔を撮像し、得られた画像から瞬きを検出し、瞬きの閉眼時間から覚醒度低下を推定する技術が開示されている。
【０００４】
これらに対して本願発明者らは、運転中の運転者の状態を単に覚醒度として捉えるのではなく、覚醒しているにも関わらず運転に対して注意が向いていない、いわゆる注意散漫状態をも含めた運転注意状態として扱う必要があると考えている。そのためには、従来の覚醒度による居眠り検出ではなく、運転に対する注意状態そのものを計測・評価する手法が必要である。
【０００５】
また、運転者に向けられたカメラによって、運転者の視線や顔の動きを検出し、運転者の注意状態を判定する方法がある。例えば、特許文献３では、運転者の乗車している自車両の周辺状況から運転者が注意すべき最適な注視位置を判定し、運転者の視線や顔の動きから検出した注視点と判定した注意すべき最適な注視位置とを比較することにより、運転に対する注意配分状態を判定する技術が開示されている。
【０００６】
このような、運転者の注視位置等に着目した指標を利用すれば、運転者が注意すべき位置を見ていないことによる注意散漫の評価は可能である。しかしながら、視線のみでは、運転者が前方に視線を向けているにも関わらず、注意が運転に向いていない、いわゆる意識の脇見状態を捉えることができない。ここで、意識の脇見状態とは、例えば他の事を考えていて、あるいは音楽や会話に気をとられていて意識が運転に集中していない状態などを示す。
【０００７】
一方、意識の脇見状態を含めた運転に対する注意状態として、人が見ている対象にどのくらい注意を向けているかを調べる研究が行われている。具体的には、脳波の眼球停留関連電位（Ｅｙｅ Ｆｉｘａｔｉｏｎ Ｒｅｌａｔｅｄ Ｐｏｔｅｎｔｉａｌ：ＥＦＲＰ）を用いた研究が行われている。「眼球停留関連電位」とは、人が作業しているときや自由にものを見ているときにおける、急速眼球運動（サッケード）の終了時刻、すなわち眼球停留の開始時刻に関連して生じる脳の一過性の電位変動をいう。眼球停留関連電位のうち、眼球の停留時刻より約１００ミリ秒付近に後頭部で優位に出現する正の電位成分を「ラムダ反応」といい、人が見ている対象に対する注意集中度によって変動することが知られている。
【０００８】
例えば、特許文献４には、眼球運動信号に基づいてサッケードの終了時刻を検出し、サッケードが終了するごとに、その時刻から一定期間内の脳波を加算平均してＥＦＲＰを算出し、注意量を判別する技術が開示されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平７−１０８８４８公報
【特許文献２】特許第３１２７７６０号明細書
【特許文献３】特開２００４−１７８３６７公報
【特許文献４】特開２００２−２７２６９３公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献４に記載の従来技術では、ノイズを除去するために、十分な数の眼球停留関連電位（ＥＦＲＰ）波形を加算する必要がある。そのためには、ＥＦＲＰを長時間にわたって計測し、多くのＥＦＲＰ波形を取得する必要がある。これでは、時々刻々環境が変化する市街地などでは、状況に合わせた注意量判別が行えない。以下に、上述の課題を詳細に説明する。
【００１１】
本願発明者らは、ＥＦＲＰのラムダ反応を利用した従来の手法において必要な解析区間の長さを評価するために、学生実験参加者１７名を対象にした注意量判別実験を実施した（実験の詳細や判別率の算出方法の説明は後述する）。注意状態の判別は、ＥＦＲＰの特徴量であるラムダ反応（５０〜１５０ミリ秒に含まれる極大値）の振幅と閾値との比較により、「集中状態」と「散漫状態」のいずれの状態であるかを判別することによって行った。
【００１２】
判別のためのＥＦＲＰは、特許文献４で利用されている手法により算出した。具体的には、一定期間内（解析区間）に含まれるＥＦＲＰを抽出し、それらの波形を加算平均して１つのＥＦＲＰ波形を算出した。
【００１３】
上記判別手法を用いて判別率を算出した結果、解析区間を６０秒とした場合は、判別率は７２．３％で、解析区間を１２０秒とした場合には、判別率は７９．６％であった。
【００１４】
このように解析区間を長くすれば、判別精度が向上させられる。これは解析区間を長くすると、解析区間に含まれるＥＦＲＰの個数が増え、加算回数が増えるためである。加算回数が増えると、背景脳波やランダムなノイズ成分が相殺され、ＥＦＲＰのラムダ反応のみが際立って抽出され、判別精度が向上する。
【００１５】
よって、従来の手法において、注意状態判別の精度を８０％以上とするためには、ＥＦＲＰを加算平均する個数をさらに増やすために、解析区間を１２０秒間以上とする必要があった。
【００１６】
市街地を車で１２０秒間走行すると、複数の交差点を経由することが多いと考えられる。交差点では右左折、停止などの行為が行われ、運転者の前方風景も交差点ごとに大きく変化する。それら状況に応じて、運転者の注意状態も時々刻々変化すると考えられる。１２０秒ごとの解析区間では、複数の交差点間における注意状態をひとまとめにして判別が行われてしまうため、状況に合わせた注意状態が判別できない。
【００１７】
本発明は上記課題に鑑みてなされたものであり、その目的は、分単位の時間が必要な眼球停留関連電位（ＥＦＲＰ）の解析区間を短縮し、市街地等の状況変化が多い場合でも十分な精度で運転注意状態を判別することにある。
【課題を解決するための手段】
【００１８】
本発明によるシステムは、解析区間ごとにユーザの注意状態を判定する注意状態判別システムであって、前記解析区間は複数の部分区間から構成されており、前記注意状態判別システムは、ユーザの脳波信号を計測する脳波計測部と、前記ユーザの眼球運動を計測する眼球運動計測部と、計測された眼球運動から眼球停留の開始時刻を検出するサッケード検出部と、各部分区間を代表する眼球停留関連電位を取得する電位取得部であって、各眼球停留関連電位は、前記各部分区間内で検出された眼球停留の各開始時刻を起点として特定される前記脳波信号の電位である、電位取得部と、前記各部分区間を代表する眼球停留関連電位を利用して、前記部分区間毎の前記ユーザの注意状態を判別する注意量判別部と、前記部分区間毎の注意状態の判別結果を利用して、前記解析区間における前記ユーザの注意状態を判別する統合判別部とを備えている。
【００１９】
前記統合判別部は、一定時間が経過するたびに新たな解析区間における前記ユーザの注意状態を判別してもよい。
【００２０】
前記各部分区間内で複数の眼球停留が発生するときにおいて、前記サッケード検出部は、前記各部分区間内において前記複数の眼球停留の各々の開始時刻を検出し、前記電位取得部は、前記各部分区間内で検出された前記複数の眼球停留の各々の開始時刻を起点として、前記脳波信号の複数の電位を取得し、前記複数の電位に基づいて前記各部分区間を代表する眼球停留関連電位を取得してもよい。
【００２１】
前記電位取得部は、前記解析区間よりも短い、予め定められた複数の期間を前記複数の部分区間として、部分区間ごとに前記複数の電位を取得して加算平均してもよい。
【００２２】
前記電位取得部は、前記眼球停留関連電位を予め定められた数以上検出したときに、前記部分区間を確定させてもよい。
【００２３】
前記統合判別部は、前記部分区間毎の注意状態の判別結果に最も多く含まれる判別結果を、前記解析区間における前記ユーザの注意状態として採用してもよい。
【００２４】
前記注意量判別部の判別結果に、異なる判別結果が同数含まれていた場合には、前記統合判別部は、最後に判別された部分区間の注意状態の判別結果を、前記解析区間における前記ユーザの注意状態として採用してもよい。
【００２５】
前記注意量判別部は、前記各部分区間において加算平均した眼球停留関連電位の大きさが所定の閾値以上の場合は、前記ユーザは集中していると判別し、前記各部分区間において加算平均した眼球停留関連電位の大きさが所定の閾値より小さい場合、前記ユーザの注意が散漫であると判別してもよい。
【００２６】
本発明による装置は、解析区間ごとにユーザの注意状態を判定する注意状態判別装置であって、前記解析区間は複数の部分区間から構成されており、前記注意状態判別装置は、ユーザの眼球運動を計測する眼球運動計測部によって計測された眼球運動から眼球停留の開始時刻を検出するサッケード検出部と、各部分区間を代表する眼球停留関連電位を取得する電位取得部であって、各眼球停留関連電位は、前記各部分区間内で検出された眼球停留の各開始時刻を起点として特定される、ユーザの脳波信号を計測する脳波計測部によって計測された脳波信号の電位である、電位取得部と、前記各部分区間を代表する眼球停留関連電位を利用して、前記部分区間毎の前記ユーザの注意状態を判別する注意量判別部と、前記部分区間毎の注意状態の判別結果を利用して、前記解析区間における前記ユーザの注意状態を判別する統合判別部とを備えている。
【００２７】
本発明による方法は、解析区間ごとにユーザの注意状態を判定するための注意状態判別方法であって、前記解析区間は複数の部分区間から構成されており、前記注意状態判別方法は、ユーザの脳波信号を計測するステップと、前記ユーザの眼球運動を計測するステップと、計測された眼球運動から眼球停留の開始時刻を検出するステップと、各部分区間を代表する眼球停留関連電位を取得するステップであって、各眼球停留関連電位は、前記各部分区間内で検出された眼球停留の各開始時刻を起点として特定される前記脳波信号の電位である、ステップと、前記各部分区間を代表する眼球停留関連電位を利用して、前記部分区間毎の前記ユーザの注意状態を判別するステップと、前記部分区間毎の注意状態の判別結果を利用して、前記解析区間における前記ユーザの注意状態を判別するステップとを包含する。
【００２８】
本発明によるコンピュータプログラムは、解析区間ごとにユーザの注意状態を判定する注意状態判別装置に実装されたコンピュータによって実行されるコンピュータプログラムであって、前記解析区間は複数の部分区間から構成されており、前記コンピュータプログラムは、前記コンピュータに対し、計測されたユーザの脳波信号のデータを受け取るステップと、計測された前記ユーザの眼球運動のデータを受け取るステップと、計測された眼球運動から眼球停留の開始時刻を検出するステップと、各部分区間を代表する眼球停留関連電位を取得するステップであって、各眼球停留関連電位は、前記各部分区間内で検出された眼球停留の各開始時刻を起点として特定される前記脳波信号の電位である、ステップと、前記各部分区間を代表する眼球停留関連電位を利用して、前記部分区間毎の前記ユーザの注意状態を判別するステップと、前記部分区間毎の注意状態の判別結果を利用して、前記解析区間における前記ユーザの注意状態を判別するステップとを実行させる。
【発明の効果】
【００２９】
本発明によれば、解析区間を複数の部分区間に分割し、各部分区間を代表する眼球停留関連電位（たとえば部分区間ごとに加算平均した眼球停留関連電位）を、それぞれ注意状態を判別する。そして、部分区間ごとの注意量判別結果を用いて最終的な解析区間全体の注意状態を判別する。その結果、短い解析区間でもより正確に注意状態を判別できる。解析区間が短くなることにより、時々刻々環境が変化する市街地などでも、より詳細な注意状態判別が可能になる。
【図面の簡単な説明】
【００３０】
【図１】実験条件と課題の内容を示す図である。
【図２】国際１０−２０法の電極位置を示す図である。
【図３】（ａ）〜（ｃ）は、従来の注意状態の判別手順の流れ図であり、（ｄ）は判別結果を示す判別率である。
【図４】（ａ）は、解析区間１２０秒に含まれる全ての眼球停留開始時刻を検出し、各眼球停留開始時刻を起点にしたＥＦＲＰ波形を加算平均した波形を示す図であり、（ｂ）は同じ解析区間を１０秒ごとに分割して、それぞれＥＦＲＰ加算平均波形を算出し、それぞれ閾値との比較による注意散漫判別を行った例を示す図である。
【図５】実験参加者ＡおよびＢに関して部分区間（１０秒）ごとの判別を行った結果の一部を示す図である。
【図６】実施形態１による注意状態判別システム１のブロック構成図を示す。
【図７】ＥＯＧ法によって眼球運動を計測するための電極位置の例を示す図である。
【図８】ヘッドマウントディスプレイ上に注意状態判別システム１装置を構成した例を示す図である。
【図９】注意状態判別システム１の処理全体のフローチャートである。
【図１０】眼球運動データ、脳波データおよび判別タイミングの関係の一例を示す図である。
【図１１】ＥＯＧの電位と眼球の移動角度の対応関係の例を示す図である。
【図１２】（ａ）は計測された眼球運動データ、脳波データ、眼球停留開始時刻の例を示す図であり、（ｂ）は切り出されたＥＦＲＰの例を示す図である。
【図１３】（ａ）〜（ｅ）は、蓄積されたＥＦＲＰから部分区間ごとに注意量を判定し、解析区間全体の注意量を判定する一例を示す図である。
【図１４】ＥＦＲＰ分類部６０の処理の詳細な手順を示すフローチャートである。
【図１５】統合判別部８０の処理の詳細な手順を示すフローチャートである。
【図１６】解析区間を１２０秒および６０秒とした場合の、本発明と従来手法との平均判別率を示す図である。
【図１７】一定の判別精度を維持したまま、どこまで解析区間が短くできるかを評価した結果を示す。
【図１８】（ａ）は上下左右に電極を設置した場合の、従来手法と本発明の平均判別率を示す図であり、（ｂ）は左右のみに電極を設置した場合の分析結果を示す図である。
【図１９】左右のサッケードを検出するよう眼球運動計測部３０の電極群を配置したＨＭＤ型の注意状態判別システム１ａを示す図である。
【図２０】実施形態２による注意状態判別システム３のブロック構成図である。
【図２１】（ａ）は比較的多くの脳波信号を用いて加算平均を行って得られた信号の例を示し、（ｂ）は（ａ）よりも少ない数の脳波信号を用いて加算平均を行って得られた信号の模式図を示す。
【図２２】外部環境取得部９０を注意状態判別装置６の外部に設けた注意状態判別システム５のブロック構成図である。
【発明を実施するための形態】
【００３１】
以下、添付の図面を参照しながら、本発明の実施形態を説明する。
【００３２】
本願発明者らは、従来手法の注意状態判別手法における解析区間（６０秒や１２０秒）と比較して、より短時間（１０秒）の解析区間におけるＥＦＲＰの注意状態判別精度の傾向を分析した。その結果、従来の解析区間より短い解析区間でもある程度の注意状態判別精度が保たれること、たまに混入する大きなノイズが従来の解析区間全体の判別精度を悪化させることがある、という特性を見出した。
【００３３】
まず、この分析のために本願発明者らが実施したＥＦＲＰ計測実験内容及び実験結果から得られた知見について説明する。
【００３４】
実験参加者は男性１７名で平均年齢は２２．１±１．８歳である。本願発明者らは、実験参加者に２つの課題を並行して実施してもらう二重課題法による実験を行った。
【００３５】
第１の課題は、運転課題である。ドライビングシミュレータ（三菱プレシジョン製。以降「ＤＳ」と省略する。）で約４分間の市街地コースを運転する課題を行った。市街地コースの道路状況は、制限速度内で自由に走行できる程度の混雑状況に設定した。コースには同じレーンの自車の前方および後方にそれぞれ車両を配置するとともに、対向車線にも車両を配置し、さらに歩行者を配置した。実験参加者はカーナビゲーションシステム画面に表示される指示に従い、所定の道順を走行した。但し、道順の確認は実験参加者自身による画面の目視のみで行い、音声案内は行わなかった。
【００３６】
第２の課題は、認知負荷課題である。実験参加者の注意資源を実験的に運転から逸らすことを目的に、音声質問に対して口答で回答する課題を行った。軽度な認知負荷条件（簡単質問負荷）では、考えずに回答可能な、実験参加者個人のプロフィールに関する質問を行った（例えば、「名前は？」、「年齢は？」など）。重度な認知負荷条件（困難質問負荷）では、運転への注意を阻害し、地図を思い浮かべる等、視覚的な思考を要求する質問を行った（例えば、「地中海に面している国をお答えください」、など）。この認知負荷は、運転中の考え事や思い出に関連する会話などを実験的に模擬している。
【００３７】
続いて実験条件について説明する。本実験では図１に示す２つの条件で運転中の脳波を計測した。第１の条件は運転集中条件である。運転集中条件では、実験参加者はＤＳ操作（運転負荷）と簡単質問負荷とを並行して実施する。簡単質問負荷はそれほど認知負荷が大きくないため実験参加者は運転に集中できる状態と考えられる。第２の条件は注意散漫条件である。注意散漫条件では、実験参加者は、ＤＳ操作（運転負荷）と困難質問負荷を並行して実施する。困難質問負荷は認知負荷が大きいため、実験参加者は多くの注意資源をこの課題の遂行に割かなければならなくなり、その結果運転に対して注意散漫な状態になると考えられる。なお、第１の課題のＤＳ操作のための運転負荷は、運転集中条件と注意散漫条件で同じに設定されている。
【００３８】
実験参加者は脳波計（ティアック製、ポリメイトＡＰ−１１２４）を装着し、電極は国際１０−２０電極法に従って配置した。図２は、国際１０−２０法の電極位置を示す。図２に示す記号を用いて説明する。導出電極は後頭部Ｏｚ（Ｏ１とＯ２の中間）に配置され、基準電極は左右の耳付近の各マストイドＡ１およびＡ２に配置され、接地電極は前額部に配置されるとした。脳波の計測は、左右の各マストイドＡ１およびＡ２の電位の平均を基準として後頭部Ｏｚの電位を計測した。本願発明者らは、サンプリング周波数５００Ｈｚ、時定数３秒で計測した脳波データに対して１〜１５Ｈｚのバンドパスフィルタ処理をかけた。そして、サッケード終了時刻すなわち眼球停留開始時刻を起点に−３００ミリ秒から６００ミリ秒の脳波データを切り出し、０ミリ秒の電位値でベースライン補正を行った。
【００３９】
判別率は前記の実験におけるＥＦＲＰを分析して試算した。ここで判別率とは運転集中状態か注意散漫状態かの２状態の判別がどれぐらいの割合で正しくできたかを示す指標である。解析区間の時間幅ＴＷ＝１２０秒、次の解析区間の時間シフト量ＴＳ＝１０秒とした場合に、運転集中条件（運転＋簡単質問負荷時）のラムダ反応振幅値から正しく運転集中と判別できた割合、および注意散漫条件（運転＋困難質問負荷時）のラムダ反応振幅値から正しく注意散漫と判別できた割合の平均値を上記判別率としている。
【００４０】
上記判別率算出方法に基づき、従来の１２０秒の解析区間を対象にした場合の判別率と、その解析区間を時間に基づき複数の部分区間に分割した場合の判別率とをそれぞれ算出した。
【００４１】
以下、従来手法を用いた判別処理を、図３を用いて説明する。
【００４２】
図３（ａ）〜（ｃ）は、従来の注意状態の判別手順の流れ図である。まず解析区間１２０秒に含まれる全ての眼球停留開始時刻を検出し、各眼球停留開始時刻を起点にした脳波（ＥＦＲＰ：眼球停留関連電位）波形を抽出する（図３（ａ））。１２０秒に含まれる全てのＥＦＲＰ波形を加算平均して、ＥＦＲＰ加算平均波形を算出する（図３（ｂ））。そしてＥＦＲＰ加算平均波形のラムダ反応（０〜２００ミリ秒に含まれる極大値）と閾値との比較により、特徴量が閾値以上の場合を集中状態と判別し、閾値以下の場合を散漫状態と判別する。一般に、ＥＦＲＰ波形のグラフの縦軸は、下向きが正、上向きが負として記述される。図３（ｂ）の波形例では、ＥＦＲＰ加算平均波形の極大値は閾値よりも大きいので、判別結果は「集中」と判別される（図３（ｃ））。上記判別方法を時間シフト量（１０秒）ずつずらしながら繰り返し判定を行うと、その判別率は７９．６％であった。また、図３（ｄ）に示すように解析区間を６０秒に短縮した場合には、７２．３％となった。
【００４３】
図３（ｄ）によれば、従来の方法で８０％程度の精度を得るためには、加算回数を十分に確保するために解析区間を１２０秒とする必要があることがわかる。
【００４４】
次に、本願発明者らは解析区間全体を複数の部分区間に分け、部分区間毎に分析を行った。部分区間として１０秒として、１２０秒間の解析区間を１２に分割し、１０秒ごとに図３に示すような手順の「散漫」と「集中」の判別を行った。
【００４５】
図４の１２０秒間の解析区間では、注意状態の識別を間違えた時の分析事例が示されている。図４（ａ）は、解析区間１２０秒に含まれる全ての眼球停留開始時刻を検出し、各眼球停留開始時刻を起点にしたＥＦＲＰ波形を加算平均した波形を示す。図４（ａ）および（ｂ）の横軸は、眼球停留開始時刻からの時間（ｍｓ）を示し、縦軸はＥＦＲＰの電位（μＶ）を示す。実験参加者は集中している状況で分析を行った。ところが、加算平均波形のラムダ反応の振幅値（５０〜１５０ミリ秒に含まれる極大値）は閾値よりも小さいために、従来の方法であれば、「散漫」と判別されている。
【００４６】
一方、図４（ｂ）は図４(a)と同じ解析区間を１０秒ごとに分割して、それぞれＥＦＲＰ加算平均波形を算出し、それぞれ閾値との比較による注意散漫判別を行った波形を示す。図４（ｂ）には１２本の線が描かれている。破線はそれぞれ正しく「集中」と判別された例を示し、実線は「散漫」と誤判別された例を示している。
【００４７】
図４（ａ）の解析結果と比較すると、解析区間１０秒の波形は加算回数が少ないため、ＥＦＲＰ平均波形の形状変化が大きく、ばらついていることがわかる。しかし、正しく判別された場合は７回、誤判別の場合は５回あることも読み取れる。この結果は、１０秒ごとの部分区間ごとの判別であれば、正しく判別される部分区間の方が多いことを示す。図４（ａ）のような、ＥＦＲＰ波形の加算平均波形を用いた場合には誤判別されることと比較すると、明確な差が存在する。つまり、図４（ａ）の事例においては、誤判別時のＥＦＲＰ平均振幅が大きく、全体の加算平均時に大きな影響を与え、その結果として全体の加算平均による判別を間違えたと解釈できる。
【００４８】
さらに図５は、各人に関して部分区間（１０秒）ごとの判別を行った結果の一部を示す。計測期間全体が１０秒の幅に分割されて各部分区間ごとに判別結果が得られている。
図５の縦方向には、実験参加者、および、実験参加者がその実験時間中に継続して集中状態であったか散漫状態であったかが示されている。図５の横方向には、１０秒ごとの判別結果を示す。図５中の数字は、１が集中と判別された場合、２が散漫と判別された場合を示す。なお、判別結果の個数が異なるのは、同じコースを通過する時間が人や条件によって異なるためである。
【００４９】
図５からわかるように、多くの場合では、集中状態であれば１の数字が多く、散漫状態であれば２の数字が多く見られることがわかる。しかし、誤判別事例も散発的に見られる。たとえば、図５で丸く囲った各判別結果欄５１では、誤判別が突発的に発生していることがわかる。
【００５０】
これらの実験結果から、本願発明者らは、従来の解析区間（１２０秒）と比較すると、複数の部分区間（１０秒）に分けて判別した場合にはひとつひとつの加算波形のばらつきは大きいが、全体としては正しく判別される部分区間の方が多いこと、および、たまに混入するノイズが従来の解析区間全体の判別精度を悪化させる可能性がある、という特性を見出した。
【００５１】
この特性が見られる理由として、次のようなことが考えられる。従来の脳波実験では、ノイズ混入をなるべく避けるために、実験参加者は安静状態を維持するように求められる。例えば体動はしないこと、頭部を動かさないこと、瞬きもなるべく控えることなどが求められる。一方、自動車の運転時には、操作に伴ってハンドルを回す操作や、アクセルやブレーキの操作が必要であり、体動の発生は避けられない。
【００５２】
また、安全確認のために頭部を左右に向ける動作も発生し、突発的に大きな筋電等が発生することが想定される。また、この状況はドライビングシミュレータを用いた本実験でも同様であったと考えてよい。これらに鑑みれば、運転時の注意散漫を精度良く判別するには、突発的に発生する大きなノイズへの対応が必須となる。
【００５３】
ここまでに記載した実験結果、および、実験結果から得られた特性に鑑みて、本願発明者らは以下の着想を得た。すなわち、解析区間を部分区間に分割し、各部分区間ごとに少なくとも１つのＥＦＲＰを利用して注意状態を判定し、その結果を統合して最終的な判別結果とする。これにより、同じ解析区間であれば判別精度が向上し、同じ判別精度を維持するなら解析区間の短縮を図ることが可能となる。
【００５４】
以下、この着想に基づき構成した本発明の実施形態の詳細と、本発明の実施形態に基づき上記データを分析した場合の効果を、自動車の運転時における注意状態判別を例にとり、図面を参照しながら説明する。また、運転時の例に伴い、以下では注意状態判別装置のユーザを運転者と表現して説明する。
【００５５】
（実施形態１）
図６は、本実施形態による注意状態判別システム１のブロック構成図を示す。
【００５６】
注意状態判別システム１は、運転者１０の脳波信号を利用して運転に対する注意状態を判別するための装置である。注意状態判別システム１は、脳波計測部２０と、眼球運動計測部３０と、サッケード検出部４０と、ＥＦＲＰ取得部４５と、注意量判別部７０と、統合判別部８０とを備えている。
【００５７】
以下、各構成要素を説明し、その後各々を詳細に説明する。
【００５８】
脳波計測部２０は、運転者１０の脳波を計測する。
【００５９】
眼球運動計測部３０は、運転者１０の眼球の動きを計測する。
【００６０】
サッケード検出部４０は、眼球運動計測部３０による眼球の動きから跳躍性眼球運動（サッケード）の終了時刻を検出する。
【００６１】
ＥＦＲＰ取得部４５は、各部分区間を代表する眼球停留関連電位を取得する。各眼球停留関連電位は、各部分区間内で検出された眼球停留の各開始時刻を起点として特定される前記脳波信号の電位である。なお、本明細書においては「ＥＦＲＰ取得部」を「電位取得部」と言及することもある。
【００６２】
電位取得部４５は、ＥＦＲＰ切出部５０とＥＦＲＰ分類部６０とを備えている。ＥＦＲＰ切出部５０は、サッケードの終了時刻（眼球停留開始時刻）を起点に計測した脳波信号から脳波信号を切り出す。ＥＦＲＰ分類部６０は、所定の解析区間を部分区間に分割したときの各区部分区間において、少なくとも１つ（多くの場合は複数）のＥＦＲＰを抽出し、それらを加算平均する。
【００６３】
注意量判別部７０は、抽出された部分区間ごとの注意状態を判別する。
【００６４】
統合判定部８０は、前記部分区間ごとの判別処理結果を用いて注意状態を判別する。統合判定部８０は、判別結果を運転者１０に出力する。統合判定部８０は、判別結果を記憶装置（図示せず）にしてもよい。
【００６５】
なお、運転者１０のブロックは説明の便宜のために示されている。また、注意状態判別システム１から脳波計測部１および眼球運動計測部３０を除いた構成を注意状態判別装置２とする。
【００６６】
以下、各構成要素を詳しく説明する。
【００６７】
脳波計測部２０は、運転者１０の頭部に装着された電極における電位変化である脳波信号を計測する脳波計である。本願発明者らは、将来的には装着型の脳波計を想定している。そのため、脳波計はヘッドマウント式脳波計であってもよい。運転者１０は予め脳波計を装着しているものとする。
【００６８】
運転者１０の頭部に装着されたとき、その頭部の所定の位置に接触するよう、脳波計測部２０には電極が配置されている。例えば、図２に示す国際１０−２０法の電極位置において、後頭部（Ｏ１またはＯ２またはその中間のＯｚ）、左耳朶（Ａ１）、右耳朶（Ａ２）および前額部に電極を配置する。
【００６９】
従来文献（宮田洋ら、新生理心理学１、１９９８、ｐ２６２、北大路書房）によれば、認知や注意を反映し、眼球停留開始時刻を起点として約１００ミリ秒付近に現れるラムダ成分は、後頭部で優位に出現するとされている。但し、後頭部周辺のＰｚ（頭頂中央）でも計測は可能であり、当該位置に電極を配置しても良い。この電極位置は、信号計測の信頼性および装着の容易さ等から決定される。また、電極の個数を減らことも可能である。例えば電極数を、電極ＯｚとＡ１と接地電極の３個にした場合でも脳波を計測することは可能である。電極が少なくとも３箇所に配置できれば、脳波信号を計測可能である。
【００７０】
この結果、脳波計測部２０は運転者１０の脳波を計測することができる。計測された脳波信号は、コンピュータで処理できるようにサンプリングされ、予め決められた一定時間分のデータは一次的に記憶され、かつ随時更新される。なお、脳波計測部２０において計測される脳波信号は、を予め例えば３０Ｈｚのローパスフィルタ処理することにより、脳波信号に混入するノイズの影響を低減することができる。
【００７１】
眼球運動計測部３０は、眼球運動の動きを計測する。眼球運動の計測は、例えばＥＯＧ（ｅｌｅｃｔｒｏ−ｏｃｕｌｏｇｒａｐｈｙ）法に基づいて行われる。ＥＯＧ法とは、眼球の角膜が網膜に対して正に帯電する性質を利用し、眼球の左右および上下に配置した電極の電位変化から眼球運動を計測する方法である。図７はＥＯＧ法によって眼球運動を計測するための電極位置の例を示す。眼球運動計測部３０が眼球運動を計測するために、図７に示すように運転者１０の顔面部に４つの電極（Ｈ１、Ｈ２およびＶ１、Ｖ２）が配置される。電極Ｈ１およびＨ２は左右こめかみの位置に装着される。電極Ｈ１およびＨ２の電位差から水平方向電位が計測される。また、電極Ｖ１およびＶ２は左または右の眼球の上下位置に装着される。電極Ｖ１およびＶ２の電位差から垂直方向電位が計測される。
【００７２】
サッケード検出部４０は、サッケードが終了したタイミング（眼球停留開始時刻）を検出する。眼球運動計測部３０が、ＥＯＧ法で計測している場合は、水平方向および垂直方向の電位変化量により、眼球停留開始タイミングを推測する。
【００７３】
従来文献（宮田洋ら、新生理心理学１、１９９８、ｐ２５６、北大路書房）によれば、サッケードに要する時間は通常２０〜７０ミリ秒で、サッケードの速度は視角で表すと３００〜５００度／秒であるとされている。したがって、眼球の運動方向が所定時間（例えば、２０〜７０ミリ秒）連続して同じであり、かつ当該所定時間の平均角速度が３００度／秒以上である眼球運動をサッケードとし、その終了時刻時点を検出すれば、眼球停留開始時刻を検出できる。
【００７４】
ＥＦＲＰ切出部５０は、サッケード検出部４０が検出した眼球停留開始時刻を起点に脳波を切り出し、ＥＦＲＰ波形を抽出する。
【００７５】
ＥＦＲＰ分類部６０は、所定の解析区間を部分区間に分割し、ＥＦＲＰ切出部５０によって抽出されたＥＦＲＰ波形が、どの各部分区間に含まれるかを特定する。言い換えるとＥＦＲＰ分類部６０は、ＥＦＲＰ切出部５０によって抽出されたＥＦＲＰ波形を、各部分区間に対応付けて分類する。本実施形態では、各部分区間には少なくとも１つのＥＦＲＰが分類されるとする。ある部分区間に分類されたＥＦＲＰが複数の場合には、ＥＦＲＰ分類部６０は、部分区間ごとに特定されたＥＦＲＰを加算平均する処理を行う。ある部分区間に分類されたＥＦＲＰが１つの場合には、ＥＦＲＰ分類部６０は、そのＥＦＲＰをそのまま採用する。加算平均によって得られた前者のＥＦＲＰ、および、そのまま採用された後者のＥＦＲＰは、いずれもその部分区間を代表するＥＰＲＰとなる。
【００７６】
注意量判別部７０は、ＥＦＲＰ分類部６０が加算平均した部分区間ごとのＥＦＲＰに基づき、部分区間ごとに運転者１０の注意状態を判別する。本実施形態では、注意状態判別とは、ＥＦＲＰのラムダ反応の振幅値と閾値との比較により、ユーザが集中していることを表す「集中」、または、ユーザが集中していないことを表す「散漫」という、２つの注意状態のいずれに該当するかの判別である。
【００７７】
統合判別部８０は、注意量判別部７０での部分区間ごとの判別結果に基づいて、解析区間全体に関する運転者１０の注意状態を判別する。本実施形態では、統合判別部８０においても「集中」または「散漫」の２状態の判別を行う。注意状態の判別結果は、統合判別部８０が保持する出力装置を利用して、運転者１０にフィードバックされる。また、統合判別部８０が記録装置（ＨＤＤ等）を保持し、判別結果の記録、蓄積を行ってもよい。
【００７８】
次に、注意状態判別システム１の具体的な構成を説明する。
【００７９】
以下では、注意状態判別システム１をヘッドマウントディスプレイ（Head Mounted Display：以下「ＨＭＤ」とも記述する。）に組み込んだ例を説明する。
【００８０】
図８は、ヘッドマウントディスプレイ上に注意状態判別システム１装置を構成した例を示す。図８では、図６に示す各構成要素に付された参照符号と同じ機能を有する構成要素には、同じ参照符号が付されている。
【００８１】
ＨＭＤは眼鏡型であり、ＨＭＤを運転者１０の頭部に固定するために、後頭部側にバンドを有している。後頭部側のバンドには、脳波計測部２０の一部の電極が設けられている。
【００８２】
両側の先セル部１０１と、後頭部側のバンド１０４の中央に、脳波計測部２０の、脳波を計測するために利用される電極群が配置されている。また、コメカミの近くのテンプル部１０３、および、レンズの枠であるリム部１０２の上下の位置に、眼球運動計測部３０が眼球運動を計測するために利用する電極群が配置されている。なお、脳波計測部２０及び眼球運動計測部３０の本体は、それぞれある１つの電極と一体的に構成されていてもよいし、リム部１０２の位置などに独立した回路として設けられていてもよい。
【００８３】
運転者１０がＨＭＤを装着すると、脳波計測部２０の電極は両耳耳朶（マストイド）の位置と後頭部に自然に接するように配置されている。また、眼球運動計測部３０は、運転者１０のコメカミと左目上下の位置に電極が自然に接するように配置されている。
【００８４】
なお、脳波計測部２０及び眼球運動計測部３０の本体は、それぞれある１つの電極と一体的に構成されていてもよいし、リム部１０２の位置などに独立した回路として設けられていてもよい。
【００８５】
脳波計測部２０および眼球運動計測部３０の電極は、それぞれ銀塩化銀電極により接触抵抗が抑えられている。後頭部に接する電極については、電極表面に突起を設けて髪の毛をよけて直接電極が頭皮に接する機構を設けてもよく、必ずしも電極にペーストをつけておく必要は無い。
【００８６】
なお、眼球運動計測部３０は、上記の例では、左目の上下左右に装着されるようになっているが、ＥＯＧ計測の為の電極位置は、これに限定されてない。例えば、左右いずれかのテンプル部１０３の電極をノーズパッド部に配置して、水平方向のＥＯＧを計測してもよい。また、リム部１０２の電極を、テンプル部に垂直方向に配置して垂直方向のＥＯＧを計測してもよい。
【００８７】
サッケード検出部４０、ＥＦＲＰ切出部５０、ＥＦＲＰ分類部６０、注意量判別部７０、統合判別部８０は、左右のテンプル部に配置され、図６に示される接続関係を有するよう、それぞれが内部配線（ケーブル）で接続される。
【００８８】
なお、上記構成では、ＨＭＤ上に注意状態判別システム１の全ての構成を独立の部品として配置する例を説明したが、構成はこの限りではない。たとえば、ＨＭＤ上には脳波計測部２０、眼球運動計測部３０のみを配置し、サッケード検出部４０、ＥＦＲＰ切出部５０、ＥＦＲＰ分類部６０、注意量判別部７０、統合判別部８０を別端末に構成し、ＨＭＤと別端末間をケーブルや無線で通信することにより、注意状態判別システム１を構成してもよい。また、サッケード検出部４０、ＥＦＲＰ切出部５０、ＥＦＲＰ分類部６０、注意量判別部７０、統合判別部８０は、同一のＣＰＵやＤＳＰ内部で処理されてもよい。
【００８９】
また、眼球運動計測部３０がＥＯＧ法ではなく、カメラ等を用いて眼球運動を計測する場合には、眼球または近赤外線照射による角膜反射像を撮影するためのカメラを、ＨＭＤリム部やテンプル部、または車内で運転者の眼球が撮影可能な位置に配置する。
【００９０】
次に、注意状態判別システム１の処理を説明する。
【００９１】
図９は、注意状態判別システム１の処理全体のフローチャートを示す。以下、図９のフローチャートに沿って、注意状態判別システム１の動作を説明する。
【００９２】
ステップＳ１０において、計測が開始される。運転者１０が運転を開始すると、運転注意状態判別システム１による脳波計測や眼球運動計測が開始される。運転の開始時刻は、例えば、エンジンスタート、サイドブレーキの解除、アクセルの踏み込みによって特定される。
【００９３】
ステップＳ２０において、脳波計測部２０は、運転者１０の脳波を計測する。計測された脳波は、コンピュータで処理できるようにサンプリングされ、ＥＦＲＰ切出部５０に送られる。なお、脳波に混入するノイズの影響を低減するため、本実施形態においては、脳波計測部２０は、計測された脳波に、例えば１〜１５Ｈｚのバンドパスフィルタ処理を行う。
【００９４】
ステップＳ３０において、眼球運動計測部２０は、運転者１０の眼球運動を計測する。眼球運動計測部３０は、図７に示すように運転者１０の顔面部に装着された４つの電極のうち、電極Ｈ１および電極Ｈ２の電位差から水平方向電位を計測し、電極Ｖ１および電極Ｖ２の電位差から垂直方向電位を計測する。これらの電位の大きさから、水平方向および垂直方向への眼球の動きを計測する。計測された眼電位は、コンピュータで処理できるようにサンプリングされ、サッケード検出部４０に送られる。なおステップＳ２０およびＳ３０は並行して行われ得る。
【００９５】
なお、上記の例では、ＥＯＧ法を用いて眼球の動きを計測したが、眼球運動の計測方法はこれに限定されるものではない。例えば、近赤外線を眼球に照射し、その反射像（角膜反射像）を利用して眼球の動きを計測してもよい（角膜反射法）。この場合は、反射像の動きから計測された水平方向および垂直方向の眼球移動量によって視線移動量を算出し、閾値との比較を行う。または、眼球を撮影するカメラを車内に設置し、画像処理により角膜の位置を検出し、眼球の移動を計測してもよい。また、画像処理を利用する場合は、撮影された画像中の角膜の位置（たとえば画像中のピクセル座標）を検出し、角膜座標の移動量と眼球の移動角度の対応表を利用することにより、水平方向および垂直方向の眼球の移動量を計測すればよい。
【００９６】
ステップＳ８１において、統合判別部８０は、注意状態判別を行うタイミングかどうかを判断する。本実施形態では、次の解析区間の時間シフト量（ＴＳ）を１０秒としている。統合判別部８０は、１０秒ごとに注意状態判別が行われるように、判別のタイミングを制御する。判別タイミングではない場合は、ステップＳ２０の脳波計測、および、ステップＳ３０の眼球運動計測が継続される。統合判別部８０によって判別タイミングであると判断されると、ステップＳ４０以降の注意状態を判別する処理が開始される。
【００９７】
図１０は、眼球運動データ、脳波データおよび判別タイミングの関係の一例を示す。図１０の横軸は時間で、判別タイミングは白矢印で示されている。本実施形態で、判別タイミングは、脳波データや眼球運動データとは関係なく、１０秒ごとの時間シフト量で実行される。
【００９８】
再び図９を参照する。ステップＳ４０において、サッケード検出部４０は、解析対象となる時区間（解析区間と呼ぶ）の眼球運動データを解析し、解析区間に含まれるサッケード終了タイミング（すなわち、眼球停留開始時刻）を検出する。本実施形態では、解析区間は６０秒間とする。図１０には解析区間の例も示されている。判別タイミング（ａ）のときの解析区間は、判別タイミング（ａ）の直前６０秒間となり、解析区間（ａ）の矢印の示す範囲となる。
【００９９】
サッケード検出部４０は、上記の方法に基づき眼球停留開始時刻を検出し、そのタイミングを蓄積する。眼球運動がＥＯＧ法で計測されていた場合、眼球の速度は、電位の変化量で計測することができる。図１１は、ＥＯＧの電位と眼球の移動角度の対応関係の例を示す。図１１の対応関係から、眼球電位の振幅値と眼球の移動量との対応付けが可能になる。これらの関係から、眼球運動の電位量から上記のサッケードの発生条件を満たすか否かを判定し、眼球停留開始時刻を検出する。
【０１００】
また、サッケードは斜め方向に発生することも考えられる。斜め方向のサッケードの検出では、水平方向の移動量と垂直方向の移動量を利用する。斜め方向の眼球運動の移動量は、（（水平方向の移動量）2＋（垂直方向の移動量）2）1/2で算出できる。サッケード検出は、斜め方向の眼球運動の移動量とサッケード検出条件（平均角速度が３００度／秒以上）を比較により行う。検出されたサッケードの終了時刻により、眼球停留開始時刻を検出する。
【０１０１】
図１２（ａ）は、サッケード検出部４０が眼球停留開始時刻を検出する処理を模式的に示す。図１２（ａ）は、計測された眼球運動データ、脳波データ、眼球停留開始時刻の一例を示す。なお、サッケード検出部４０の処理には脳波データは必要とされないが、参考のために示している。
【０１０２】
サッケード検出部４０は、眼球運動データにおける急峻な変化、すなわちサッケードが終了した時刻（時刻ｔ１、ｔ２、・・・、ｔ８）を、眼球停留開始時刻として検出する。
【０１０３】
図１２（ａ）は、１つの解析区間として捉えてもよいし、１つの解析区間を構成する部分区間の一つと捉えてもよい。図面上の開始時刻から終了時刻までの時間は、前者の場合には６０秒間となり、後者の場合には１０秒間となる。図示されるように、眼球停留開始時刻は、解析区間または部分区間の中に複数含まれることがある。サッケード検出部４０は、これら全ての眼球停留開始時刻を検出する。
【０１０４】
なお、サッケードの検出として、最初に水平および垂直方向のそれぞれのサッケードを独立して検出し、その後、時区間が重複している水平および垂直方向のサッケードの組を１つに統合してもよい。または、まず水平眼球運動データおよび垂直眼球運動データを合成してベクトルデータを得て、その後、当該ベクトルデータの向きおよび大きさのデータに基づいてサッケードの検出を行う方法を用いても良い。
【０１０５】
上述の眼球停留開始時刻を示す情報はＥＦＲＰ切出部５０に送信される。
【０１０６】
図９のステップＳ５０において、ＥＦＲＰ切出部５０は、解析区間に含まれる眼球停留関連電位（ＥＦＲＰ）の切出しを行う。具体的には、ステップＳ４０で抽出した各眼球停留開始時刻を起点として、例えば−３００ミリ秒から６００ミリ秒までの脳波データをＥＦＲＰとして切り出す。
【０１０７】
なお上述の「切り出し」とは、脳波データと眼球停留開始時刻のデータとを対応付けるという意味を持つ。よって、処理のために解析区間の脳波データを取り出してメモリの別領域等にコピーする、という意味の切り出しに限定されない。たとえば、記録された脳波データのうち、所定区間の脳波データ自体をそのまま抽出して直接処理することも包含する。
【０１０８】
図１２（ｂ）は、ＥＦＲＰ切出部５０によって切り出されたＥＦＲＰの例を示す。ＥＦＲＰ切出部５０は、切り出したＥＦＲＰの眼球停留開始時刻（０ミリ秒）の電位が０μＶになるようにベースライン補正を行う。この結果、６０秒間の解析区間に発生したすべての眼球停留に関連したＥＦＲＰが蓄積される。図１３（ａ）は蓄積されたＥＦＲＰの例を示す。 図９のステップＳ６０において、ＥＦＲＰ分類部６０は、切出されたＥＦＲＰをその眼球停留開始時刻のデータを利用して部分区間ごとに分類する。例えば部分区間としては１０秒が設定され、今回の解析区間全体が６０秒であれば、図１３（ｂ）のように部分区間は６個設定される。６０秒間の解析区間に発生したすべてのＥＦＲＰが、６つの部分区間のいずれかに分類される。そしてＥＦＲＰ分類部６０は、それぞれの部分区間のＥＦＲＰを加算平均する。加算平均の結果が、その部分区間を代表するＥＦＲＰとなる。なお、本実施形態においては、部分区間には少なくとも１つのＥＦＲＰが分類されるとしている。ある部分区間においてＥＦＲＰが１つの場合には、ＥＦＲＰ分類部６０は加算平均処理を行わず、そのＥＦＲＰを、部分区間を代表するＥＦＲＰとして採用する。
【０１０９】
図９のステップＳ７０において、注意量判別部７０は、ステップＳ６０で部分区間ごとに加算平均されたＥＦＲＰ波形のそれぞれに基づいて、運転者１０の注意状態を判別する。注意量判別部７０は、各部分区間のＥＦＲＰ加算平均波形において、約１００ミリ秒付近の陽性の成分であるラムダ反応の振幅値を計測し、その振幅値の大きさによって「散漫」か「集中」を判定する。
【０１１０】
図１３（ｃ）は、右方向のサッケードの終了時刻を起点にしたＥＦＲＰが加算平均された波形を示す。グラフの横軸は時間で単位はミリ秒、縦軸は電位で単位はμＶで下向きが正の値となっている。ラムダ反応の振幅は、例えば５０〜１５０ミリ秒における極大値の振幅（図１３（ｃ）の点Ｍの電位）により算出する。
【０１１１】
なお、ラムダ反応の振幅の抽出方法としては、波形のドリフトやノイズ混入の影響も考慮して、５０〜１５０ミリ秒の極大値の代わりに区間平均値として算出してもよい。
【０１１２】
注意量判別部７０は、計測されたラムダ反応振幅の値と予め設定した閾値とを比較することにより、注意状態を判別する（図１３（ｄ））。本実施形態では、注意量判別部７０は、「集中」または「散漫」の２つの状態のいずれに該当するかを判別する。ラムダ反応振幅の傾向として、集中時にはその振幅が大きくなることが知られている（八木「眼球停留関連電位の産業場面への応用」心理学評論，ｖｏｌ．４５（１）、１０３−１１７。２−２章）。この特徴を利用すると、注意量判別部７０に閾値を設定し、当該閾値とラムダ反応振幅とを比較することにより、注意状態を判別することができる。
【０１１３】
注意量判別部７０は、ラムダ反応振幅が閾値を超える場合は「集中」、閾値を下回る場合は「散漫」と判別する。
【０１１４】
いま、閾値が２．５μＶと設定されていた場合を例に、図１３（ｃ）のＥＦＲＰ加算平均波形の注意状態判別処理を説明する。ＥＦＲＰ加算平均波形のラムダ反応振幅は５０〜１５０ミリ秒に含まれる極大値として、６０ミリ秒付近の点Ｍの振幅値が抽出される。この極大値の振幅値３．３μＶがラムダ反応振幅となる。ラムダ反応振幅値３．３μＶは閾値を超えているため、図１０（ｃ）のＥＦＲＰ加算平均波形は「集中」と判別される。
【０１１５】
注意量判別部７０は、分類された全ての部分区間ごとに注意状態を判別し、判別結果は統合判別部８０へと出力される。本実施形態では、６区間に分類しているため、６個の注意状態判別結果が出力される。
【０１１６】
図９のステップＳ８０において、統合判別部８０は、ステップＳ７０で判別された部分区間ごとの判別結果を統合し、運転者１０の注意状態を判別する。統合判別部８０の詳細な処理は後述する。
【０１１７】
次に、図１４を参照しながら、図９のステップＳ６０で行われるＥＦＲＰ分類部６０の処理の詳細について説明を行う。図１４は、ＥＦＲＰ分類部６０の処理の詳細な手順を示すフローチャートである。
【０１１８】
ステップＳ６０１において、ＥＦＲＰ分類部６０は、ステップＳ４０で計測された眼球停留発生時刻データと、ステップＳ５０で切出されたＥＦＲＰ波形データとを受信する。
【０１１９】
ステップＳ６０２において、ＥＦＲＰ分類部６０は、受信したＥＦＲＰ波形のうち、処理していないＥＦＲＰ波形を１つ選択する。ここでいう「処理」とは、ＥＦＲＰを部分区間ごとに分類する処理を意味している。
【０１２０】
ステップＳ６０３において、ＥＦＲＰ分類部６０は、選択されたＥＦＲＰの起点となった眼球停留開始時刻のデータから、各ＥＦＲＰを部分区間に分類する。全体の６０秒の解析区間を６つの部分区間に分類し、今回のＥＦＲＰがどの部分区間に属するかを判定する。ここで、ＥＦＲＰ分類部６０は、部分区間の時間範囲を、予め定めた時間（例えば、１０秒）とすることができる。
【０１２１】
ステップＳ６０４において、ＥＦＲＰ分類部６０は、ステップＳ６０３において分類された部分区間ごとに、その部分区間内に属するＥＦＲＰ波形を蓄積する。６個に分類した場合は、ＥＦＲＰは６つの部分区間ごとに蓄積される。
【０１２２】
ステップＳ６０５において、ＥＦＲＰ分類部６０は、ステップＳ６０１で受信した全てのＥＦＲＰが分類されたかをチェックする。全てのＥＦＲＰが分類された場合は、ステップＳ６０６の処理に遷移する。未処理のＥＦＲＰが残っている場合は、ステップＳ６０２に戻り、全てのＥＦＲＰが分類されるまで繰り返される。
【０１２３】
ステップＳ６０６において、ＥＦＲＰ分類部６０は、方向ごとに分類されて蓄積されているＥＦＲＰ波形の平均を算出する。本実施形態では、６個に分類されている為、各部分区間のＥＦＲＰ加算平均波形、合計６個のＥＦＲＰ加算平均波形が算出される。
【０１２４】
ステップＳ６０７において、ＥＦＲＰ分類部６０は、算出されたＥＦＲＰ加算平均波形の情報を注意量判別部７０に送信する。
【０１２５】
次に、ステップＳ８０で行われる統合判別部８０の処理の詳細を説明する。図１５は、統合判別部８０の処理の詳細な手順を示すフローチャートである。
【０１２６】
ステップＳ８０１において、統合判別部８０は、注意量判別部７０により判別された、部分区間ごとの注意状態判別結果を取得する。取得するデータの例は図１３（ｄ）に示されている。６つの部分区間ごとにそれぞれ「集中」または「散漫」の判別結果が保持されている。
【０１２７】
ステップＳ８０２において、統合判別部８０は、判定結果の個数を算出する。図１３（ｄ）の例では、「集中」という判定結果は２個、「散漫」という判定結果は４個である。
【０１２８】
ステップＳ８０３において、統合判別部８０は、判定結果が「集中」となった数と「散漫」となった数を比較する。「集中」の個数の方が多い場合には、ステップＳ８０５に遷移し、そうでない場合には、ステップＳ８０４に遷移する。図１３（ｄ）のデータでは、「散漫」の方が多く、この条件は成立しないので、ステップＳ８０４に遷移する。
【０１２９】
ステップＳ８０４において、統合判別部８０は、「散漫」の個数の方が多いかを判定する。「散漫」の個数の方が多い場合には、ステップＳ８０６に遷移し、そうでない場合にはステップＳ８０７に遷移する。図１３（ｄ）のデータでは、「散漫」の方が多く、この条件は成立するので、ステップＳ８０６に遷移する。
【０１３０】
ステップＳ８０５において、統合判別部８０は、運転者１０の注意状態を最終的に「集中」と判断する。
【０１３１】
ステップＳ８０６において、統合判別部８０は、運転者１０の注意状態を最終的に「散漫」と判断する。
【０１３２】
ステップＳ８０７において、統合判別部８０は、「集中」と「散漫」の各個数が同じ場合の処理であり、所定の結果を判定結果とする。ここで「所定の結果」とは、本発明の注意状態判別システム１の使われ方や、注意の特性などによって、決定される。例えば、注意状態判別システム１が、注意散漫状態をもらさず検出したい場合には、所定の結果として「散漫」を割り当て、疑わしい場合には「散漫」が出力されるようにすれば良い。また、「注意状態は変化しない」という注意状態の状態遷移の特性を前提とすれば、統合判別部８０は、所定の結果を、前回の判定結果と同じにすることも可能である。これにより、「散漫」と「集中」の中間状態においても安定した結果が出力できる。また、同数の場合は、「集中」でも「散漫」でもない状態として「どちらでもない」という結果を出力してもよい。
【０１３３】
ステップＳ８０８において、統合判別部８０は、注意状態判別結果に基づいて、運転者１０へのフィードバックを行う。統合判別部８０がディスプレイ等の映像出力装置を保持している場合、「集中」か「散漫」の判別結果をディスプレイ上に表示すればよい。また、統合判別部８０に接続されたスピーカー等の音声出力装置を利用して、注意量が低下し注意散漫状態と判別された場合には、警告音を出力し、運転者および同乗者に注意散漫な状態を通知してもよい。さらに、統合判別部８０が通信手段を保持している場合には、結果を注意状態判別装置の外部に送信し、例えば注意散漫と判別された場合には、自動車の制御部に結果を出力し、自動的にブレーキをかける等の機器の制御を行ってもよい。また、散漫状態時には、運転者１０に呈示する情報（エンジン回転数やカーナビゲーションシステムの情報など）をフィルタリングして絞込み運転者に見せないようにすることで、より運転に集中できる環境を作り出すようにしてもよい。
【０１３４】
次に、本実施形態の手法で、注意状態の判別を行った場合の効果を、分析結果を用いて説明する。この分析結果は、本実施形態の冒頭で説明した実験データ（実験参加者１７名分）と同じデータを用いて、これまでの方法で分析した場合と、本発明の方法で分析した場合とを比較した結果である。最初に、従来の方法（解析区間１２０秒）と解析時間を揃えて解析を行った場合の性能比較を行い、次に、一定の判別精度（８０％程度）を維持したままどこまで解析区間が短くできるかを検討した。
【０１３５】
まず、図１６に示す「平均判別率（１２０秒）」の行は、解析区間を従来と同様に１２０秒に揃えた場合の比較結果を示す。従来手法による判別率が、７９．６％であるのに対し、本発明の手法では９０．２％と高い判別率が得られ、１０％以上の精度向上が得られた。また、図１６の「平均判別率（６０秒）」の行に示されるように、解析区間を６０秒にした場合でも、従来の方法では７２．３％、本手法では８５．７％とこちらも１０％以上の精度向上が得られている。
【０１３６】
次に、図１７は、同様の実験のデータを用いて、一定の判別精度を維持したまま、どこまで解析区間が短くできるかを評価した結果を示す。実験においては、部分区間の時間は１０秒で固定したまま、どこまで全体の解析区間を短くできるかについて評価を行った。従って、全体の解析区間の中でいくつの部分区間が含まれるかについては、それぞれ異なっている。
【０１３７】
図１７の表から、解析区間が１２０秒の場合には９０．２％の高い判別率が得られ、以下、９０秒で９１．７％、６０秒で８５．７％、５０秒で８４．６％、４０秒で８３．２％、３０秒で７７．９％と、順次、解析区間を短くするのに従って、識別精度は徐々に低下することが読み取れる。ここで、従来手法で識別精度の目安としていた８０％を超えているのは解析区間が４０秒、およびそれ以上の場合となる。この結果から、８０％以上の判別率を維持したまま、本発明では解析区間を短縮できることがわかる。
【０１３８】
以上の結果から、本実施形態の手法によれば、解析区間４０秒でも、従来手法と同等の判別率（８０％程度）を維持できることがわかった。
【０１３９】
この４０秒の解析区間を、自動車を運転しているときの時間に換算する。時速４０ｋｍ／時なら４０秒間に走行する距離は約４４０ｍであり、約４４０ｍの区間を走行中の注意状態が判別できることになる。従来の１２０秒であれば、１．３ｋｍ以上の距離を走っていることと比較して考えると、注意状態の判別の詳細度が向上できると言える。例えば、市街地においても４０秒ごとの計測であれば、交差点ごとに注意状態が判定できると考えられる。
【０１４０】
本発明によれば、解析区間を複数の部分区間に分割し、部分区間ごとに加算平均したＥＦＲＰを利用して、それぞれの部分区間における注意状態を判別する。そして部分区間ごとの注意量判別結果を用いて最終的な前記解析区間の注意状態判別を行う。これにより、短い解析区間でも注意状態を判別できる。解析区間が短くなることにより、時々刻々環境が変化する市街地などでも、より詳細に注意状態を判別することが可能になる。
【０１４１】
なお、本実施形態では、統合判別部８０による注意状態判別結果を運転者１０にフィードバックする例を用いて説明を行ったが、統合判別部８０がＨＤＤ等の記憶装置を有している場合には、判別結果をその記憶装置に蓄積してもよい。判別結果を蓄積した場合は、運転終了後に運転者１０に対する安全運転指導の基礎データとして利用できる。例えば、運転中に散漫と判別された時間と運転時間との比を取り、運転終了後に運転者１０に運転中の注意散漫状態の頻度を示すことにより、次回運転時の注意喚起ができる。
【０１４２】
なお、本実施形態による注意状態判別装置は自動車運転中の注意状態判定に限らず、視線方向に対する集中が求められる工場作業や監視作業における注意状態判別にも適用可能である。例えば工場作業においては、脳波計測のために安静のままで居られないために、突発的にノイズが混入することが想定され、部分区間では大きなノイズとなることが想定される。この場合、運転時と同様、部分区間の注意判定結果を多数決等で統合することで、従来必要とされていたよりも解析区間が短縮できると考えられ、より詳細な注意状態判別が可能になる。
【０１４３】
本実施形態では、部分区間を一定（本実施形態では１０秒）の長さとしていたが、部分区間長は固定でなくても良い。例えば、サッケード運動は、常に同じ頻度で発生するわけではなく、道路状況等によって頻度が変化するので、サッケードの個数を揃えて部分区間を設定しても良い。本願発明者らのサッケード検出基準においては、おおよそ１分間に６０回程度の眼球停留が検出されていたので、例えばＥＦＲＰが１０個発生するまでを部分区間として設定してもよい。または、道路状況に応じて地理的に部分区間を設定しても良い。道路状況は、カーナビのＧＰＳ情報と地図情報から取得できる。この部分区間の調整方法については、実施形態２においても説明する。
【０１４４】
本実施形態では、解析区間を６０秒、部分区間を１０秒と設定して説明したが、この値は他の値も取り得る。最適な解析区間や部分区間は、運転者や道路状況によって変化する可能性があり、それらは事前に実施状況におけるデータを分析することで、設計的に設定可能である。
【０１４５】
たとえば、解析区間に含まれる部分区間の個数を調整することも可能である。この場合、部分区間の時間は長くなったり短くなったりする。例えば、部分区間の個数を増やすと、一つの部分区間は短くなるが、突発的に混入するノイズの低減に効果があり、部分区間の個数を減らすとひとつの部分区間におけるＥＦＲＰの加算回数が増えるので、定常的なノイズの低減に効果がある。これらは、道路状況やタスクによって調整可能である。
【０１４６】
なお、部分区間を一定の時間ではなく、一定の個数で定義することも可能である。例えば部分区間は10個のサッケードを含み、４つの部分区間により定義されるとすると、常に同じ数のサッケードに対して判定が可能になる。この方法を取ると、道路状況やタスクによって異なることが想定されるサッケード頻度に柔軟に対応できる。例えば、交差点や混雑した道路等のサッケード頻度が高い場所では、一定の個数により短時間で到達するために、解析データの収集に要する時間は全体として短くなり、より細かい解析区間に対する注意状態推定が行える。逆にサッケード頻度が低い区間では、解析区間は長めになるものの、必要な加算回数が得られているため、安定した精度が期待できる。
【０１４７】
なお、本実施形態においては、サッケード運動は、上下左右のすべての方向を含めたサッケード運動を検出して、そのサッケード終了時刻から眼球停留時間を抽出する方法を用いていた。そのため、ＥＯＧ法等によりサッケード運動を検出するには、図７に示したように左右方向の眼球運動を検出するための電極と、上下方向の眼球運動を検出するための電極の両方が必要になっていた。
【０１４８】
しかしながら注意状態判別装置を簡易に装着できるようにするためには生体信号計測用の電極の個数はなるべく少ない方が望ましい。この観点から、次のような変形例を採用することも可能になる。
【０１４９】
図１８（ａ）は上下左右に電極を設置した場合の、従来手法と本発明の平均判別率を示す。解析区間を１２０秒とした場合に、従来手法では解析区間を１２０秒としたときの平均判別率は図１６でも示したように７９．６％であり、部分区間を１０秒とした場合の本発明は９０．２％の判別率であった。
【０１５０】
これに対して、図１８（ｂ）は、左右のみに電極を設置した場合の分析結果を示す。左右のみに電極を設置すると、上下方向の眼球移動は計測ができなくなり、また右上や左下等の斜め方向の眼球移動も左右方向の情報のみしか取得できずに、正確なサッケード検出ができない。この状況においては、従来手法であれば、６７．０％と実用上の目安と考えていた８０％に到達しないが、本発明によれば、部分区間を１０秒とした場合に、８７．７％の判別率が実現できた。図１９は、左右のサッケードを検出するよう眼球運動計測部３０の電極群を配置したＨＭＤ型の注意状態判別システム１ａを示す。
【０１５１】
このように、左右の眼球移動の情報のみを用いても、本実施形態にかかる注意状態判別システムによれば、従来の解析区間長を維持したまま十分な性能が得られる。このため、図８に示したＨＭＤ型の脳波計測デバイスを利用する場合においても、メガネのレンズ周辺のリム部のＥＯＧ計測用の電極の設置が不要になり、簡易な着脱ができる注意状態判別システムを提供できる。
【０１５２】
（実施形態２）
本実施形態の注意状態判別システム３及び注意状態判別装置４を説明する。
【０１５３】
実施形態１においては、部分区間の時間長は予め定められているとした。実施形態２の注意状態判別システム３においては、部分区間の時間長は、運転者１０が運転する自車両の外部環境によって変更される。
【０１５４】
そのような構成を採用する理由は、運転者１０の状況に応じたＥＦＲＰを観測する際、可能な限りノイズの混入を抑えるためである。本願発明者らは、ノイズは、筋電の影響を大きく受けることに着目した。そこで、周囲の状況を確認するために、運転者１００が首等を動かすことで筋電が発生しやすい外部環境であるか否かに応じて部分区間の時間長を変更することで、ＥＦＲＰの観測にノイズになる要因である筋電の影響を低減することとした。
【０１５５】
図２０は、本実施形態による注意状態判別システム３のブロック構成図を示す。
【０１５６】
注意状態判別システム３は、脳波計測部２０と、眼球運動計測部３０と、サッケード検出部４０と、ＥＦＲＰ取得部４６と、注意量判別部７０と、統合判定部８０とを備えている。ＥＦＲＰ取得部４６は、ＥＦＲＰ切出部５０と、ＥＦＲＰ分類部６１とを有している。
【０１５７】
図２０では、実施形態１の注意状態判別システム１と同じ機能を有する構成要素には同じ参照符号を付し、その説明を省略する。
【０１５８】
注意状態判別システム３は、注意状態判別システム１に、注意状態判別システム２００の外部環境を取得する外部環境取得部９０が加えられて構成されている。ＥＦＲＰ分類部６１は、実施形態１にかかるＥＦＲＰ分類部６０の機能に、外部環境取得部９０からの情報を受け取って処理する機能を有している。具体的には、ＥＦＲＰ分類部６１は、外部環境取得部９０が取得した外部環境を用いて、所定の解析区間を部分区間に分割し、部分区間ごとに抽出されたＥＦＲＰを加算平均する。
【０１５９】
運転者１０のブロックは説明の便宜のために示されている。また、注意状態判別システム１００から脳波計測部２０および眼球運動計測部３０を除いた構成を注意状態判別装置４とする。
【０１６０】
外部環境取得部９０は、運転者１０が運転する自車両が存在する外部環境を取得する。そして、外部環境取得部９０は、取得した外部環境情報が運転者１０の筋電が発生しやすい外部環境か否かを判断し、その判断した結果の情報をＥＦＲＰ分類部６１に送信する。「筋電が発生しやすい外部環境」は外部環境取得部９０内部記憶装置（図示せず）に予め保持されている。外部環境取得部９０は、取得した外部環境が予め保持する情報に該当するか否かによって、運転者１０の筋電が発生しやすい外部環境か否かを判断する。
【０１６１】
運転者１０が首等を動かすことで筋電が発生しやすい外部環境として、例えば、交差点等がある。また、運転者１０が首等を動かすことが少なく、筋電が発生しにくい外部環境として、例えば、高速道路または交通量が少ない早朝の道路などが考えられる。後者は、運転者が前方の車両だけを注意すればよいため、筋電が発生しにくいといえる状況である。
【０１６２】
以下、外部環境取得部９０の具体的な構成例を説明する。
【０１６３】
外部環境取得部９０は、外部環境の地図情報を有し、かつ、自車両の位置の情報を取得する機能を有している。たとえば、外部環境取得部９０は、外部環境の地図情報を車載のカーナビゲーションシステム等と接続されることによって取得してもよい。また、外部環境取得部９０は、自車両の位置の情報を、車載のＧＰＳ（Global Positioning System）デバイスと接続されることによって取得してもよい。
【０１６４】
外部環境取得部９０は、地図情報および自車両の位置の情報を用いて、自車両の位置が交差点に近い場合（例えば、自車両と交差点との距離が３０ｍ以内の場合）には、運転者９０の筋電が発生しやすい外部環境であると判断する。一方、自車両の位置が交差点から遠い場合には、外部環境取得部９０は運転者１０の筋電が発生しにくい外部環境であると判断する。
【０１６５】
たとえば、外部環境取得部９０が自車両の速度を取得する機能を有しているとする。自車両の速度は、自車両の車速パルスを利用して取得することもできるし、または、車載コンピュータが計算した結果として得ることもできる。または、自車位置の変化量（地図上の距離）、地図の縮尺、および、移動時間に基づいて特定することもできる。外部環境取得部９０は、自車両の速度が一定値以上（８０ｋｍ／ｓ以上）の場合には、高速道路を走行中であると推定し、運転者１０の筋電が発生しにくい外部環境であると判断する。また、自車両の速度が一定値より小さい（８０ｋｍ／ｓより遅い）場合には、運転者１０の筋電が発生しやすい外部環境であると判断する。
【０１６６】
外部環境取得部９０は、運転者１０の筋電が発生しやすい外部環境であるか否かの情報をＥＦＲＰ分類部６１に出力する。
【０１６７】
以下、運転者１０の筋電が発生しやすい外部環境か否かの情報を取得した後のＥＦＲＰ分類部６１の処理を説明する。
【０１６８】
ＥＦＲＰ分類部６１が、運転者１０の筋電が発生しやすい外部環境の情報を受け付けた場合、部分区間の時間範囲を予め定めた時間範囲よりも短くする。また、運転者１０の筋電が発生しにくい外部環境の情報を受け付けた場合、部分区間の時間範囲を予め定めた時間範囲よりも長くする。
【０１６９】
このとき、解析区間全体の時間長が一定であるという条件が設けられるとすると、部分区間の時間長を短くするときには、部分区間の個数を増やし、部分区間の時間長を長くするときは、部分区間の個数を減らす（ただし２個以上）。
【０１７０】
ＥＦＲＰ分類部６１の具体的な処理は、実施形態１の図１４のフローチャートと同じである。ただし、部分区間に分類するステップＳ６０３において、ＥＦＲＰ分類部６１は、外部環境の情報に基づいて部分区間の分類を行う。
【０１７１】
ＥＦＲＰ分類部６１が外部環境の情報に基づく部分区間の分類を行うことによって、筋電の影響を低減し、注意状態を判別することが可能になる。ここで、部分区間の時間範囲を変更することによる効果を詳細に説明する。
【０１７２】
部分区間の時間範囲を短くすることと長くすることには、それぞれ長所と短所がある。
【０１７３】
上述したように、筋電等によりＥＦＲＰの平均振幅が大きく計測される場合、解析区間の全体で加算平均すると、全体の加算平均した情報に筋電等の影響が大きく反映され、注意量の判別を誤る可能性がある。そこで、全体の解析区間をより多くの部分区間に分割し、当該部分区間の時間範囲を短くしてそれぞれの部分区間で注意量を判別することで、筋電の影響を低減し、より正確な注意状態を判別することが可能になる。
【０１７４】
一方、部分区間を短くした場合には、加算平均するＥＦＲＰ信号が少なくなるため、その部分区間を代表する、加算平均処理後のＥＦＲＰに含まれる不要なノイズ等の信号を除去できず、注意判別量の判別精度が低下する。例えば、図２１（ａ）は比較的多くの脳波信号を用いて加算平均を行って得られた信号の例を示し、図２１（ｂ）は図２１（ａ）よりも少ない数の脳波信号を用いて加算平均を行って得られた信号の模式図を示す。図２１（ｂ）では、（ａ）の脳波信号と比較して高周波のノイズ成分が除去されておらず、この場合ＥＦＲＰによる注意量判別の精度が低下する可能性がある。
【０１７５】
そこで、筋電の影響を受けやすい外部環境の場合は、筋電の影響を除去することを重視して部分区間を設定する。一方、筋電の影響を受けにくい外部環境の場合には、ＥＦＲＰにおける高周波のノイズを除去することを重視して部分区間を設定する。この結果、時々刻々環境が変化する市街地などでも、外部環境から想定されるノイズ混入の様態に対応した、より詳細な注意状態判別が可能になる。
【０１７６】
なお、部分区間の時間範囲を短くするだけの変更でも、筋電等の突発的なノイズの影響を除去できるため有効である。また、部分区間の時間範囲を長くするだけの変更でも、高周波のノイズを除去できるため有効である。
【０１７７】
なお、図２０においては、外部環境取得部９０は注意状態判別装置４の一部であるとして説明した。しかしながら、外部環境取得部９０は、注意状態判別装置の外部に設けてもよい。たとえば図２２は、外部環境取得部９０を注意状態判別装置６の外部に設けた注意状態判別システム５のブロック構成を示す。たとえばＧＰＳデバイスおよび車速パルスを取得するカーナビゲーションシステムは、外部環境取得部９０として機能し得る。
【０１７８】
外部環境取得部９０を設けた位置以外の構成および機能は、図２０に示す例を注意状態判別システム３と同じであるため、説明は省略する。
【０１７９】
上述の各実施形態に関する注意状態判別装置の処理は、コンピュータに実行されるプログラムによって実現され得る。たとえば、コンピュータプログラムは、フローチャートを用いて説明した処理の手順を規定した命令群として実現され得る。そのようなコンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。
【０１８０】
上述の注意状態判別装置を構成する全部または一部の構成要素は、コンピュータプログラムを実行する汎用のプロセッサ（半導体回路）として実現される。または、そのようなコンピュータプログラムとプロセッサとが一体化された専用プロセッサとして実現される。たとえば実施形態１の注意状態判別装置には汎用のプロセッサが設けられており、そのプロセッサがコンピュータプログラムを実行することにより、サッケード検出部４０、ＥＦＲＰ取得部（電位取得部）４５、注意量判別部７０および統合判別部８０の一部または全てとして機能する。
【産業上の利用可能性】
【０１８１】
本発明にかかる注意状態判別システムは、状況が頻繁に変化する運転操作における注意状態判別に有用である。また、作業への集中が求められる工場での作業などへの注意状態判別にも有効である。また、注意状態判別装置がヘッドマウントディスプレイ型の装置として構成される場合は、自転車運転中や歩行中の安全支援装置として有効である。さらに、ＴＶ視聴の注意状態をテレビ番組への興味と対応づけることにより、番組興味度計測などのマーケティング用途への応用も可能である。
【符号の説明】
【０１８２】
１ 注意状態判別システム
２ 注意状態判別装置
１０ ユーザ
２０ 脳波計測部
３０ 眼球運動計測部
４０ サッケード検出部
４５ ＥＦＲＰ取得部（電位取得部）
５０ ＥＦＲＰ切出部
６０ ＥＦＲＰ分類部
７０ 注意量判別部
８０ 統合判別部
【技術分野】
【０００１】
本発明は、自動車の運転などの操作を行う操作者の注意状態を、脳波に基づいて判定する装置に関する。具体的には、本発明は、時々刻々環境が変化する自動車の運転操作において、状況ごとに注意状態の判別を行う装置、方法およびそのような装置において実行されるコンピュータプログラムに関する。
【背景技術】
【０００２】
近年、運転者の身体状態や心理状態をリアルタイムに把握した上で、運転者の状態に即した支援が行える安全運転を支援する技術の必要性が高まっている。運転者の状態を客観的かつ定量的に評価する手法として、脳波や瞬目などの生理指標を用いた覚醒度の定量化が試みられている。
【０００３】
例えば、特許文献１では、脳波の入眠波形パターンやα波成分から覚醒度を推定する技術が開示されている。また特許文献２では、運転者の顔を撮像し、得られた画像から瞬きを検出し、瞬きの閉眼時間から覚醒度低下を推定する技術が開示されている。
【０００４】
これらに対して本願発明者らは、運転中の運転者の状態を単に覚醒度として捉えるのではなく、覚醒しているにも関わらず運転に対して注意が向いていない、いわゆる注意散漫状態をも含めた運転注意状態として扱う必要があると考えている。そのためには、従来の覚醒度による居眠り検出ではなく、運転に対する注意状態そのものを計測・評価する手法が必要である。
【０００５】
また、運転者に向けられたカメラによって、運転者の視線や顔の動きを検出し、運転者の注意状態を判定する方法がある。例えば、特許文献３では、運転者の乗車している自車両の周辺状況から運転者が注意すべき最適な注視位置を判定し、運転者の視線や顔の動きから検出した注視点と判定した注意すべき最適な注視位置とを比較することにより、運転に対する注意配分状態を判定する技術が開示されている。
【０００６】
このような、運転者の注視位置等に着目した指標を利用すれば、運転者が注意すべき位置を見ていないことによる注意散漫の評価は可能である。しかしながら、視線のみでは、運転者が前方に視線を向けているにも関わらず、注意が運転に向いていない、いわゆる意識の脇見状態を捉えることができない。ここで、意識の脇見状態とは、例えば他の事を考えていて、あるいは音楽や会話に気をとられていて意識が運転に集中していない状態などを示す。
【０００７】
一方、意識の脇見状態を含めた運転に対する注意状態として、人が見ている対象にどのくらい注意を向けているかを調べる研究が行われている。具体的には、脳波の眼球停留関連電位（Ｅｙｅ Ｆｉｘａｔｉｏｎ Ｒｅｌａｔｅｄ Ｐｏｔｅｎｔｉａｌ：ＥＦＲＰ）を用いた研究が行われている。「眼球停留関連電位」とは、人が作業しているときや自由にものを見ているときにおける、急速眼球運動（サッケード）の終了時刻、すなわち眼球停留の開始時刻に関連して生じる脳の一過性の電位変動をいう。眼球停留関連電位のうち、眼球の停留時刻より約１００ミリ秒付近に後頭部で優位に出現する正の電位成分を「ラムダ反応」といい、人が見ている対象に対する注意集中度によって変動することが知られている。
【０００８】
例えば、特許文献４には、眼球運動信号に基づいてサッケードの終了時刻を検出し、サッケードが終了するごとに、その時刻から一定期間内の脳波を加算平均してＥＦＲＰを算出し、注意量を判別する技術が開示されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平７−１０８８４８公報
【特許文献２】特許第３１２７７６０号明細書
【特許文献３】特開２００４−１７８３６７公報
【特許文献４】特開２００２−２７２６９３公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献４に記載の従来技術では、ノイズを除去するために、十分な数の眼球停留関連電位（ＥＦＲＰ）波形を加算する必要がある。そのためには、ＥＦＲＰを長時間にわたって計測し、多くのＥＦＲＰ波形を取得する必要がある。これでは、時々刻々環境が変化する市街地などでは、状況に合わせた注意量判別が行えない。以下に、上述の課題を詳細に説明する。
【００１１】
本願発明者らは、ＥＦＲＰのラムダ反応を利用した従来の手法において必要な解析区間の長さを評価するために、学生実験参加者１７名を対象にした注意量判別実験を実施した（実験の詳細や判別率の算出方法の説明は後述する）。注意状態の判別は、ＥＦＲＰの特徴量であるラムダ反応（５０〜１５０ミリ秒に含まれる極大値）の振幅と閾値との比較により、「集中状態」と「散漫状態」のいずれの状態であるかを判別することによって行った。
【００１２】
判別のためのＥＦＲＰは、特許文献４で利用されている手法により算出した。具体的には、一定期間内（解析区間）に含まれるＥＦＲＰを抽出し、それらの波形を加算平均して１つのＥＦＲＰ波形を算出した。
【００１３】
上記判別手法を用いて判別率を算出した結果、解析区間を６０秒とした場合は、判別率は７２．３％で、解析区間を１２０秒とした場合には、判別率は７９．６％であった。
【００１４】
このように解析区間を長くすれば、判別精度が向上させられる。これは解析区間を長くすると、解析区間に含まれるＥＦＲＰの個数が増え、加算回数が増えるためである。加算回数が増えると、背景脳波やランダムなノイズ成分が相殺され、ＥＦＲＰのラムダ反応のみが際立って抽出され、判別精度が向上する。
【００１５】
よって、従来の手法において、注意状態判別の精度を８０％以上とするためには、ＥＦＲＰを加算平均する個数をさらに増やすために、解析区間を１２０秒間以上とする必要があった。
【００１６】
市街地を車で１２０秒間走行すると、複数の交差点を経由することが多いと考えられる。交差点では右左折、停止などの行為が行われ、運転者の前方風景も交差点ごとに大きく変化する。それら状況に応じて、運転者の注意状態も時々刻々変化すると考えられる。１２０秒ごとの解析区間では、複数の交差点間における注意状態をひとまとめにして判別が行われてしまうため、状況に合わせた注意状態が判別できない。
【００１７】
本発明は上記課題に鑑みてなされたものであり、その目的は、分単位の時間が必要な眼球停留関連電位（ＥＦＲＰ）の解析区間を短縮し、市街地等の状況変化が多い場合でも十分な精度で運転注意状態を判別することにある。
【課題を解決するための手段】
【００１８】
本発明によるシステムは、解析区間ごとにユーザの注意状態を判定する注意状態判別システムであって、前記解析区間は複数の部分区間から構成されており、前記注意状態判別システムは、ユーザの脳波信号を計測する脳波計測部と、前記ユーザの眼球運動を計測する眼球運動計測部と、計測された眼球運動から眼球停留の開始時刻を検出するサッケード検出部と、各部分区間を代表する眼球停留関連電位を取得する電位取得部であって、各眼球停留関連電位は、前記各部分区間内で検出された眼球停留の各開始時刻を起点として特定される前記脳波信号の電位である、電位取得部と、前記各部分区間を代表する眼球停留関連電位を利用して、前記部分区間毎の前記ユーザの注意状態を判別する注意量判別部と、前記部分区間毎の注意状態の判別結果を利用して、前記解析区間における前記ユーザの注意状態を判別する統合判別部とを備えている。
【００１９】
前記統合判別部は、一定時間が経過するたびに新たな解析区間における前記ユーザの注意状態を判別してもよい。
【００２０】
前記各部分区間内で複数の眼球停留が発生するときにおいて、前記サッケード検出部は、前記各部分区間内において前記複数の眼球停留の各々の開始時刻を検出し、前記電位取得部は、前記各部分区間内で検出された前記複数の眼球停留の各々の開始時刻を起点として、前記脳波信号の複数の電位を取得し、前記複数の電位に基づいて前記各部分区間を代表する眼球停留関連電位を取得してもよい。
【００２１】
前記電位取得部は、前記解析区間よりも短い、予め定められた複数の期間を前記複数の部分区間として、部分区間ごとに前記複数の電位を取得して加算平均してもよい。
【００２２】
前記電位取得部は、前記眼球停留関連電位を予め定められた数以上検出したときに、前記部分区間を確定させてもよい。
【００２３】
前記統合判別部は、前記部分区間毎の注意状態の判別結果に最も多く含まれる判別結果を、前記解析区間における前記ユーザの注意状態として採用してもよい。
【００２４】
前記注意量判別部の判別結果に、異なる判別結果が同数含まれていた場合には、前記統合判別部は、最後に判別された部分区間の注意状態の判別結果を、前記解析区間における前記ユーザの注意状態として採用してもよい。
【００２５】
前記注意量判別部は、前記各部分区間において加算平均した眼球停留関連電位の大きさが所定の閾値以上の場合は、前記ユーザは集中していると判別し、前記各部分区間において加算平均した眼球停留関連電位の大きさが所定の閾値より小さい場合、前記ユーザの注意が散漫であると判別してもよい。
【００２６】
本発明による装置は、解析区間ごとにユーザの注意状態を判定する注意状態判別装置であって、前記解析区間は複数の部分区間から構成されており、前記注意状態判別装置は、ユーザの眼球運動を計測する眼球運動計測部によって計測された眼球運動から眼球停留の開始時刻を検出するサッケード検出部と、各部分区間を代表する眼球停留関連電位を取得する電位取得部であって、各眼球停留関連電位は、前記各部分区間内で検出された眼球停留の各開始時刻を起点として特定される、ユーザの脳波信号を計測する脳波計測部によって計測された脳波信号の電位である、電位取得部と、前記各部分区間を代表する眼球停留関連電位を利用して、前記部分区間毎の前記ユーザの注意状態を判別する注意量判別部と、前記部分区間毎の注意状態の判別結果を利用して、前記解析区間における前記ユーザの注意状態を判別する統合判別部とを備えている。
【００２７】
本発明による方法は、解析区間ごとにユーザの注意状態を判定するための注意状態判別方法であって、前記解析区間は複数の部分区間から構成されており、前記注意状態判別方法は、ユーザの脳波信号を計測するステップと、前記ユーザの眼球運動を計測するステップと、計測された眼球運動から眼球停留の開始時刻を検出するステップと、各部分区間を代表する眼球停留関連電位を取得するステップであって、各眼球停留関連電位は、前記各部分区間内で検出された眼球停留の各開始時刻を起点として特定される前記脳波信号の電位である、ステップと、前記各部分区間を代表する眼球停留関連電位を利用して、前記部分区間毎の前記ユーザの注意状態を判別するステップと、前記部分区間毎の注意状態の判別結果を利用して、前記解析区間における前記ユーザの注意状態を判別するステップとを包含する。
【００２８】
本発明によるコンピュータプログラムは、解析区間ごとにユーザの注意状態を判定する注意状態判別装置に実装されたコンピュータによって実行されるコンピュータプログラムであって、前記解析区間は複数の部分区間から構成されており、前記コンピュータプログラムは、前記コンピュータに対し、計測されたユーザの脳波信号のデータを受け取るステップと、計測された前記ユーザの眼球運動のデータを受け取るステップと、計測された眼球運動から眼球停留の開始時刻を検出するステップと、各部分区間を代表する眼球停留関連電位を取得するステップであって、各眼球停留関連電位は、前記各部分区間内で検出された眼球停留の各開始時刻を起点として特定される前記脳波信号の電位である、ステップと、前記各部分区間を代表する眼球停留関連電位を利用して、前記部分区間毎の前記ユーザの注意状態を判別するステップと、前記部分区間毎の注意状態の判別結果を利用して、前記解析区間における前記ユーザの注意状態を判別するステップとを実行させる。
【発明の効果】
【００２９】
本発明によれば、解析区間を複数の部分区間に分割し、各部分区間を代表する眼球停留関連電位（たとえば部分区間ごとに加算平均した眼球停留関連電位）を、それぞれ注意状態を判別する。そして、部分区間ごとの注意量判別結果を用いて最終的な解析区間全体の注意状態を判別する。その結果、短い解析区間でもより正確に注意状態を判別できる。解析区間が短くなることにより、時々刻々環境が変化する市街地などでも、より詳細な注意状態判別が可能になる。
【図面の簡単な説明】
【００３０】
【図１】実験条件と課題の内容を示す図である。
【図２】国際１０−２０法の電極位置を示す図である。
【図３】（ａ）〜（ｃ）は、従来の注意状態の判別手順の流れ図であり、（ｄ）は判別結果を示す判別率である。
【図４】（ａ）は、解析区間１２０秒に含まれる全ての眼球停留開始時刻を検出し、各眼球停留開始時刻を起点にしたＥＦＲＰ波形を加算平均した波形を示す図であり、（ｂ）は同じ解析区間を１０秒ごとに分割して、それぞれＥＦＲＰ加算平均波形を算出し、それぞれ閾値との比較による注意散漫判別を行った例を示す図である。
【図５】実験参加者ＡおよびＢに関して部分区間（１０秒）ごとの判別を行った結果の一部を示す図である。
【図６】実施形態１による注意状態判別システム１のブロック構成図を示す。
【図７】ＥＯＧ法によって眼球運動を計測するための電極位置の例を示す図である。
【図８】ヘッドマウントディスプレイ上に注意状態判別システム１装置を構成した例を示す図である。
【図９】注意状態判別システム１の処理全体のフローチャートである。
【図１０】眼球運動データ、脳波データおよび判別タイミングの関係の一例を示す図である。
【図１１】ＥＯＧの電位と眼球の移動角度の対応関係の例を示す図である。
【図１２】（ａ）は計測された眼球運動データ、脳波データ、眼球停留開始時刻の例を示す図であり、（ｂ）は切り出されたＥＦＲＰの例を示す図である。
【図１３】（ａ）〜（ｅ）は、蓄積されたＥＦＲＰから部分区間ごとに注意量を判定し、解析区間全体の注意量を判定する一例を示す図である。
【図１４】ＥＦＲＰ分類部６０の処理の詳細な手順を示すフローチャートである。
【図１５】統合判別部８０の処理の詳細な手順を示すフローチャートである。
【図１６】解析区間を１２０秒および６０秒とした場合の、本発明と従来手法との平均判別率を示す図である。
【図１７】一定の判別精度を維持したまま、どこまで解析区間が短くできるかを評価した結果を示す。
【図１８】（ａ）は上下左右に電極を設置した場合の、従来手法と本発明の平均判別率を示す図であり、（ｂ）は左右のみに電極を設置した場合の分析結果を示す図である。
【図１９】左右のサッケードを検出するよう眼球運動計測部３０の電極群を配置したＨＭＤ型の注意状態判別システム１ａを示す図である。
【図２０】実施形態２による注意状態判別システム３のブロック構成図である。
【図２１】（ａ）は比較的多くの脳波信号を用いて加算平均を行って得られた信号の例を示し、（ｂ）は（ａ）よりも少ない数の脳波信号を用いて加算平均を行って得られた信号の模式図を示す。
【図２２】外部環境取得部９０を注意状態判別装置６の外部に設けた注意状態判別システム５のブロック構成図である。
【発明を実施するための形態】
【００３１】
以下、添付の図面を参照しながら、本発明の実施形態を説明する。
【００３２】
本願発明者らは、従来手法の注意状態判別手法における解析区間（６０秒や１２０秒）と比較して、より短時間（１０秒）の解析区間におけるＥＦＲＰの注意状態判別精度の傾向を分析した。その結果、従来の解析区間より短い解析区間でもある程度の注意状態判別精度が保たれること、たまに混入する大きなノイズが従来の解析区間全体の判別精度を悪化させることがある、という特性を見出した。
【００３３】
まず、この分析のために本願発明者らが実施したＥＦＲＰ計測実験内容及び実験結果から得られた知見について説明する。
【００３４】
実験参加者は男性１７名で平均年齢は２２．１±１．８歳である。本願発明者らは、実験参加者に２つの課題を並行して実施してもらう二重課題法による実験を行った。
【００３５】
第１の課題は、運転課題である。ドライビングシミュレータ（三菱プレシジョン製。以降「ＤＳ」と省略する。）で約４分間の市街地コースを運転する課題を行った。市街地コースの道路状況は、制限速度内で自由に走行できる程度の混雑状況に設定した。コースには同じレーンの自車の前方および後方にそれぞれ車両を配置するとともに、対向車線にも車両を配置し、さらに歩行者を配置した。実験参加者はカーナビゲーションシステム画面に表示される指示に従い、所定の道順を走行した。但し、道順の確認は実験参加者自身による画面の目視のみで行い、音声案内は行わなかった。
【００３６】
第２の課題は、認知負荷課題である。実験参加者の注意資源を実験的に運転から逸らすことを目的に、音声質問に対して口答で回答する課題を行った。軽度な認知負荷条件（簡単質問負荷）では、考えずに回答可能な、実験参加者個人のプロフィールに関する質問を行った（例えば、「名前は？」、「年齢は？」など）。重度な認知負荷条件（困難質問負荷）では、運転への注意を阻害し、地図を思い浮かべる等、視覚的な思考を要求する質問を行った（例えば、「地中海に面している国をお答えください」、など）。この認知負荷は、運転中の考え事や思い出に関連する会話などを実験的に模擬している。
【００３７】
続いて実験条件について説明する。本実験では図１に示す２つの条件で運転中の脳波を計測した。第１の条件は運転集中条件である。運転集中条件では、実験参加者はＤＳ操作（運転負荷）と簡単質問負荷とを並行して実施する。簡単質問負荷はそれほど認知負荷が大きくないため実験参加者は運転に集中できる状態と考えられる。第２の条件は注意散漫条件である。注意散漫条件では、実験参加者は、ＤＳ操作（運転負荷）と困難質問負荷を並行して実施する。困難質問負荷は認知負荷が大きいため、実験参加者は多くの注意資源をこの課題の遂行に割かなければならなくなり、その結果運転に対して注意散漫な状態になると考えられる。なお、第１の課題のＤＳ操作のための運転負荷は、運転集中条件と注意散漫条件で同じに設定されている。
【００３８】
実験参加者は脳波計（ティアック製、ポリメイトＡＰ−１１２４）を装着し、電極は国際１０−２０電極法に従って配置した。図２は、国際１０−２０法の電極位置を示す。図２に示す記号を用いて説明する。導出電極は後頭部Ｏｚ（Ｏ１とＯ２の中間）に配置され、基準電極は左右の耳付近の各マストイドＡ１およびＡ２に配置され、接地電極は前額部に配置されるとした。脳波の計測は、左右の各マストイドＡ１およびＡ２の電位の平均を基準として後頭部Ｏｚの電位を計測した。本願発明者らは、サンプリング周波数５００Ｈｚ、時定数３秒で計測した脳波データに対して１〜１５Ｈｚのバンドパスフィルタ処理をかけた。そして、サッケード終了時刻すなわち眼球停留開始時刻を起点に−３００ミリ秒から６００ミリ秒の脳波データを切り出し、０ミリ秒の電位値でベースライン補正を行った。
【００３９】
判別率は前記の実験におけるＥＦＲＰを分析して試算した。ここで判別率とは運転集中状態か注意散漫状態かの２状態の判別がどれぐらいの割合で正しくできたかを示す指標である。解析区間の時間幅ＴＷ＝１２０秒、次の解析区間の時間シフト量ＴＳ＝１０秒とした場合に、運転集中条件（運転＋簡単質問負荷時）のラムダ反応振幅値から正しく運転集中と判別できた割合、および注意散漫条件（運転＋困難質問負荷時）のラムダ反応振幅値から正しく注意散漫と判別できた割合の平均値を上記判別率としている。
【００４０】
上記判別率算出方法に基づき、従来の１２０秒の解析区間を対象にした場合の判別率と、その解析区間を時間に基づき複数の部分区間に分割した場合の判別率とをそれぞれ算出した。
【００４１】
以下、従来手法を用いた判別処理を、図３を用いて説明する。
【００４２】
図３（ａ）〜（ｃ）は、従来の注意状態の判別手順の流れ図である。まず解析区間１２０秒に含まれる全ての眼球停留開始時刻を検出し、各眼球停留開始時刻を起点にした脳波（ＥＦＲＰ：眼球停留関連電位）波形を抽出する（図３（ａ））。１２０秒に含まれる全てのＥＦＲＰ波形を加算平均して、ＥＦＲＰ加算平均波形を算出する（図３（ｂ））。そしてＥＦＲＰ加算平均波形のラムダ反応（０〜２００ミリ秒に含まれる極大値）と閾値との比較により、特徴量が閾値以上の場合を集中状態と判別し、閾値以下の場合を散漫状態と判別する。一般に、ＥＦＲＰ波形のグラフの縦軸は、下向きが正、上向きが負として記述される。図３（ｂ）の波形例では、ＥＦＲＰ加算平均波形の極大値は閾値よりも大きいので、判別結果は「集中」と判別される（図３（ｃ））。上記判別方法を時間シフト量（１０秒）ずつずらしながら繰り返し判定を行うと、その判別率は７９．６％であった。また、図３（ｄ）に示すように解析区間を６０秒に短縮した場合には、７２．３％となった。
【００４３】
図３（ｄ）によれば、従来の方法で８０％程度の精度を得るためには、加算回数を十分に確保するために解析区間を１２０秒とする必要があることがわかる。
【００４４】
次に、本願発明者らは解析区間全体を複数の部分区間に分け、部分区間毎に分析を行った。部分区間として１０秒として、１２０秒間の解析区間を１２に分割し、１０秒ごとに図３に示すような手順の「散漫」と「集中」の判別を行った。
【００４５】
図４の１２０秒間の解析区間では、注意状態の識別を間違えた時の分析事例が示されている。図４（ａ）は、解析区間１２０秒に含まれる全ての眼球停留開始時刻を検出し、各眼球停留開始時刻を起点にしたＥＦＲＰ波形を加算平均した波形を示す。図４（ａ）および（ｂ）の横軸は、眼球停留開始時刻からの時間（ｍｓ）を示し、縦軸はＥＦＲＰの電位（μＶ）を示す。実験参加者は集中している状況で分析を行った。ところが、加算平均波形のラムダ反応の振幅値（５０〜１５０ミリ秒に含まれる極大値）は閾値よりも小さいために、従来の方法であれば、「散漫」と判別されている。
【００４６】
一方、図４（ｂ）は図４(a)と同じ解析区間を１０秒ごとに分割して、それぞれＥＦＲＰ加算平均波形を算出し、それぞれ閾値との比較による注意散漫判別を行った波形を示す。図４（ｂ）には１２本の線が描かれている。破線はそれぞれ正しく「集中」と判別された例を示し、実線は「散漫」と誤判別された例を示している。
【００４７】
図４（ａ）の解析結果と比較すると、解析区間１０秒の波形は加算回数が少ないため、ＥＦＲＰ平均波形の形状変化が大きく、ばらついていることがわかる。しかし、正しく判別された場合は７回、誤判別の場合は５回あることも読み取れる。この結果は、１０秒ごとの部分区間ごとの判別であれば、正しく判別される部分区間の方が多いことを示す。図４（ａ）のような、ＥＦＲＰ波形の加算平均波形を用いた場合には誤判別されることと比較すると、明確な差が存在する。つまり、図４（ａ）の事例においては、誤判別時のＥＦＲＰ平均振幅が大きく、全体の加算平均時に大きな影響を与え、その結果として全体の加算平均による判別を間違えたと解釈できる。
【００４８】
さらに図５は、各人に関して部分区間（１０秒）ごとの判別を行った結果の一部を示す。計測期間全体が１０秒の幅に分割されて各部分区間ごとに判別結果が得られている。
図５の縦方向には、実験参加者、および、実験参加者がその実験時間中に継続して集中状態であったか散漫状態であったかが示されている。図５の横方向には、１０秒ごとの判別結果を示す。図５中の数字は、１が集中と判別された場合、２が散漫と判別された場合を示す。なお、判別結果の個数が異なるのは、同じコースを通過する時間が人や条件によって異なるためである。
【００４９】
図５からわかるように、多くの場合では、集中状態であれば１の数字が多く、散漫状態であれば２の数字が多く見られることがわかる。しかし、誤判別事例も散発的に見られる。たとえば、図５で丸く囲った各判別結果欄５１では、誤判別が突発的に発生していることがわかる。
【００５０】
これらの実験結果から、本願発明者らは、従来の解析区間（１２０秒）と比較すると、複数の部分区間（１０秒）に分けて判別した場合にはひとつひとつの加算波形のばらつきは大きいが、全体としては正しく判別される部分区間の方が多いこと、および、たまに混入するノイズが従来の解析区間全体の判別精度を悪化させる可能性がある、という特性を見出した。
【００５１】
この特性が見られる理由として、次のようなことが考えられる。従来の脳波実験では、ノイズ混入をなるべく避けるために、実験参加者は安静状態を維持するように求められる。例えば体動はしないこと、頭部を動かさないこと、瞬きもなるべく控えることなどが求められる。一方、自動車の運転時には、操作に伴ってハンドルを回す操作や、アクセルやブレーキの操作が必要であり、体動の発生は避けられない。
【００５２】
また、安全確認のために頭部を左右に向ける動作も発生し、突発的に大きな筋電等が発生することが想定される。また、この状況はドライビングシミュレータを用いた本実験でも同様であったと考えてよい。これらに鑑みれば、運転時の注意散漫を精度良く判別するには、突発的に発生する大きなノイズへの対応が必須となる。
【００５３】
ここまでに記載した実験結果、および、実験結果から得られた特性に鑑みて、本願発明者らは以下の着想を得た。すなわち、解析区間を部分区間に分割し、各部分区間ごとに少なくとも１つのＥＦＲＰを利用して注意状態を判定し、その結果を統合して最終的な判別結果とする。これにより、同じ解析区間であれば判別精度が向上し、同じ判別精度を維持するなら解析区間の短縮を図ることが可能となる。
【００５４】
以下、この着想に基づき構成した本発明の実施形態の詳細と、本発明の実施形態に基づき上記データを分析した場合の効果を、自動車の運転時における注意状態判別を例にとり、図面を参照しながら説明する。また、運転時の例に伴い、以下では注意状態判別装置のユーザを運転者と表現して説明する。
【００５５】
（実施形態１）
図６は、本実施形態による注意状態判別システム１のブロック構成図を示す。
【００５６】
注意状態判別システム１は、運転者１０の脳波信号を利用して運転に対する注意状態を判別するための装置である。注意状態判別システム１は、脳波計測部２０と、眼球運動計測部３０と、サッケード検出部４０と、ＥＦＲＰ取得部４５と、注意量判別部７０と、統合判別部８０とを備えている。
【００５７】
以下、各構成要素を説明し、その後各々を詳細に説明する。
【００５８】
脳波計測部２０は、運転者１０の脳波を計測する。
【００５９】
眼球運動計測部３０は、運転者１０の眼球の動きを計測する。
【００６０】
サッケード検出部４０は、眼球運動計測部３０による眼球の動きから跳躍性眼球運動（サッケード）の終了時刻を検出する。
【００６１】
ＥＦＲＰ取得部４５は、各部分区間を代表する眼球停留関連電位を取得する。各眼球停留関連電位は、各部分区間内で検出された眼球停留の各開始時刻を起点として特定される前記脳波信号の電位である。なお、本明細書においては「ＥＦＲＰ取得部」を「電位取得部」と言及することもある。
【００６２】
電位取得部４５は、ＥＦＲＰ切出部５０とＥＦＲＰ分類部６０とを備えている。ＥＦＲＰ切出部５０は、サッケードの終了時刻（眼球停留開始時刻）を起点に計測した脳波信号から脳波信号を切り出す。ＥＦＲＰ分類部６０は、所定の解析区間を部分区間に分割したときの各区部分区間において、少なくとも１つ（多くの場合は複数）のＥＦＲＰを抽出し、それらを加算平均する。
【００６３】
注意量判別部７０は、抽出された部分区間ごとの注意状態を判別する。
【００６４】
統合判定部８０は、前記部分区間ごとの判別処理結果を用いて注意状態を判別する。統合判定部８０は、判別結果を運転者１０に出力する。統合判定部８０は、判別結果を記憶装置（図示せず）にしてもよい。
【００６５】
なお、運転者１０のブロックは説明の便宜のために示されている。また、注意状態判別システム１から脳波計測部１および眼球運動計測部３０を除いた構成を注意状態判別装置２とする。
【００６６】
以下、各構成要素を詳しく説明する。
【００６７】
脳波計測部２０は、運転者１０の頭部に装着された電極における電位変化である脳波信号を計測する脳波計である。本願発明者らは、将来的には装着型の脳波計を想定している。そのため、脳波計はヘッドマウント式脳波計であってもよい。運転者１０は予め脳波計を装着しているものとする。
【００６８】
運転者１０の頭部に装着されたとき、その頭部の所定の位置に接触するよう、脳波計測部２０には電極が配置されている。例えば、図２に示す国際１０−２０法の電極位置において、後頭部（Ｏ１またはＯ２またはその中間のＯｚ）、左耳朶（Ａ１）、右耳朶（Ａ２）および前額部に電極を配置する。
【００６９】
従来文献（宮田洋ら、新生理心理学１、１９９８、ｐ２６２、北大路書房）によれば、認知や注意を反映し、眼球停留開始時刻を起点として約１００ミリ秒付近に現れるラムダ成分は、後頭部で優位に出現するとされている。但し、後頭部周辺のＰｚ（頭頂中央）でも計測は可能であり、当該位置に電極を配置しても良い。この電極位置は、信号計測の信頼性および装着の容易さ等から決定される。また、電極の個数を減らことも可能である。例えば電極数を、電極ＯｚとＡ１と接地電極の３個にした場合でも脳波を計測することは可能である。電極が少なくとも３箇所に配置できれば、脳波信号を計測可能である。
【００７０】
この結果、脳波計測部２０は運転者１０の脳波を計測することができる。計測された脳波信号は、コンピュータで処理できるようにサンプリングされ、予め決められた一定時間分のデータは一次的に記憶され、かつ随時更新される。なお、脳波計測部２０において計測される脳波信号は、を予め例えば３０Ｈｚのローパスフィルタ処理することにより、脳波信号に混入するノイズの影響を低減することができる。
【００７１】
眼球運動計測部３０は、眼球運動の動きを計測する。眼球運動の計測は、例えばＥＯＧ（ｅｌｅｃｔｒｏ−ｏｃｕｌｏｇｒａｐｈｙ）法に基づいて行われる。ＥＯＧ法とは、眼球の角膜が網膜に対して正に帯電する性質を利用し、眼球の左右および上下に配置した電極の電位変化から眼球運動を計測する方法である。図７はＥＯＧ法によって眼球運動を計測するための電極位置の例を示す。眼球運動計測部３０が眼球運動を計測するために、図７に示すように運転者１０の顔面部に４つの電極（Ｈ１、Ｈ２およびＶ１、Ｖ２）が配置される。電極Ｈ１およびＨ２は左右こめかみの位置に装着される。電極Ｈ１およびＨ２の電位差から水平方向電位が計測される。また、電極Ｖ１およびＶ２は左または右の眼球の上下位置に装着される。電極Ｖ１およびＶ２の電位差から垂直方向電位が計測される。
【００７２】
サッケード検出部４０は、サッケードが終了したタイミング（眼球停留開始時刻）を検出する。眼球運動計測部３０が、ＥＯＧ法で計測している場合は、水平方向および垂直方向の電位変化量により、眼球停留開始タイミングを推測する。
【００７３】
従来文献（宮田洋ら、新生理心理学１、１９９８、ｐ２５６、北大路書房）によれば、サッケードに要する時間は通常２０〜７０ミリ秒で、サッケードの速度は視角で表すと３００〜５００度／秒であるとされている。したがって、眼球の運動方向が所定時間（例えば、２０〜７０ミリ秒）連続して同じであり、かつ当該所定時間の平均角速度が３００度／秒以上である眼球運動をサッケードとし、その終了時刻時点を検出すれば、眼球停留開始時刻を検出できる。
【００７４】
ＥＦＲＰ切出部５０は、サッケード検出部４０が検出した眼球停留開始時刻を起点に脳波を切り出し、ＥＦＲＰ波形を抽出する。
【００７５】
ＥＦＲＰ分類部６０は、所定の解析区間を部分区間に分割し、ＥＦＲＰ切出部５０によって抽出されたＥＦＲＰ波形が、どの各部分区間に含まれるかを特定する。言い換えるとＥＦＲＰ分類部６０は、ＥＦＲＰ切出部５０によって抽出されたＥＦＲＰ波形を、各部分区間に対応付けて分類する。本実施形態では、各部分区間には少なくとも１つのＥＦＲＰが分類されるとする。ある部分区間に分類されたＥＦＲＰが複数の場合には、ＥＦＲＰ分類部６０は、部分区間ごとに特定されたＥＦＲＰを加算平均する処理を行う。ある部分区間に分類されたＥＦＲＰが１つの場合には、ＥＦＲＰ分類部６０は、そのＥＦＲＰをそのまま採用する。加算平均によって得られた前者のＥＦＲＰ、および、そのまま採用された後者のＥＦＲＰは、いずれもその部分区間を代表するＥＰＲＰとなる。
【００７６】
注意量判別部７０は、ＥＦＲＰ分類部６０が加算平均した部分区間ごとのＥＦＲＰに基づき、部分区間ごとに運転者１０の注意状態を判別する。本実施形態では、注意状態判別とは、ＥＦＲＰのラムダ反応の振幅値と閾値との比較により、ユーザが集中していることを表す「集中」、または、ユーザが集中していないことを表す「散漫」という、２つの注意状態のいずれに該当するかの判別である。
【００７７】
統合判別部８０は、注意量判別部７０での部分区間ごとの判別結果に基づいて、解析区間全体に関する運転者１０の注意状態を判別する。本実施形態では、統合判別部８０においても「集中」または「散漫」の２状態の判別を行う。注意状態の判別結果は、統合判別部８０が保持する出力装置を利用して、運転者１０にフィードバックされる。また、統合判別部８０が記録装置（ＨＤＤ等）を保持し、判別結果の記録、蓄積を行ってもよい。
【００７８】
次に、注意状態判別システム１の具体的な構成を説明する。
【００７９】
以下では、注意状態判別システム１をヘッドマウントディスプレイ（Head Mounted Display：以下「ＨＭＤ」とも記述する。）に組み込んだ例を説明する。
【００８０】
図８は、ヘッドマウントディスプレイ上に注意状態判別システム１装置を構成した例を示す。図８では、図６に示す各構成要素に付された参照符号と同じ機能を有する構成要素には、同じ参照符号が付されている。
【００８１】
ＨＭＤは眼鏡型であり、ＨＭＤを運転者１０の頭部に固定するために、後頭部側にバンドを有している。後頭部側のバンドには、脳波計測部２０の一部の電極が設けられている。
【００８２】
両側の先セル部１０１と、後頭部側のバンド１０４の中央に、脳波計測部２０の、脳波を計測するために利用される電極群が配置されている。また、コメカミの近くのテンプル部１０３、および、レンズの枠であるリム部１０２の上下の位置に、眼球運動計測部３０が眼球運動を計測するために利用する電極群が配置されている。なお、脳波計測部２０及び眼球運動計測部３０の本体は、それぞれある１つの電極と一体的に構成されていてもよいし、リム部１０２の位置などに独立した回路として設けられていてもよい。
【００８３】
運転者１０がＨＭＤを装着すると、脳波計測部２０の電極は両耳耳朶（マストイド）の位置と後頭部に自然に接するように配置されている。また、眼球運動計測部３０は、運転者１０のコメカミと左目上下の位置に電極が自然に接するように配置されている。
【００８４】
なお、脳波計測部２０及び眼球運動計測部３０の本体は、それぞれある１つの電極と一体的に構成されていてもよいし、リム部１０２の位置などに独立した回路として設けられていてもよい。
【００８５】
脳波計測部２０および眼球運動計測部３０の電極は、それぞれ銀塩化銀電極により接触抵抗が抑えられている。後頭部に接する電極については、電極表面に突起を設けて髪の毛をよけて直接電極が頭皮に接する機構を設けてもよく、必ずしも電極にペーストをつけておく必要は無い。
【００８６】
なお、眼球運動計測部３０は、上記の例では、左目の上下左右に装着されるようになっているが、ＥＯＧ計測の為の電極位置は、これに限定されてない。例えば、左右いずれかのテンプル部１０３の電極をノーズパッド部に配置して、水平方向のＥＯＧを計測してもよい。また、リム部１０２の電極を、テンプル部に垂直方向に配置して垂直方向のＥＯＧを計測してもよい。
【００８７】
サッケード検出部４０、ＥＦＲＰ切出部５０、ＥＦＲＰ分類部６０、注意量判別部７０、統合判別部８０は、左右のテンプル部に配置され、図６に示される接続関係を有するよう、それぞれが内部配線（ケーブル）で接続される。
【００８８】
なお、上記構成では、ＨＭＤ上に注意状態判別システム１の全ての構成を独立の部品として配置する例を説明したが、構成はこの限りではない。たとえば、ＨＭＤ上には脳波計測部２０、眼球運動計測部３０のみを配置し、サッケード検出部４０、ＥＦＲＰ切出部５０、ＥＦＲＰ分類部６０、注意量判別部７０、統合判別部８０を別端末に構成し、ＨＭＤと別端末間をケーブルや無線で通信することにより、注意状態判別システム１を構成してもよい。また、サッケード検出部４０、ＥＦＲＰ切出部５０、ＥＦＲＰ分類部６０、注意量判別部７０、統合判別部８０は、同一のＣＰＵやＤＳＰ内部で処理されてもよい。
【００８９】
また、眼球運動計測部３０がＥＯＧ法ではなく、カメラ等を用いて眼球運動を計測する場合には、眼球または近赤外線照射による角膜反射像を撮影するためのカメラを、ＨＭＤリム部やテンプル部、または車内で運転者の眼球が撮影可能な位置に配置する。
【００９０】
次に、注意状態判別システム１の処理を説明する。
【００９１】
図９は、注意状態判別システム１の処理全体のフローチャートを示す。以下、図９のフローチャートに沿って、注意状態判別システム１の動作を説明する。
【００９２】
ステップＳ１０において、計測が開始される。運転者１０が運転を開始すると、運転注意状態判別システム１による脳波計測や眼球運動計測が開始される。運転の開始時刻は、例えば、エンジンスタート、サイドブレーキの解除、アクセルの踏み込みによって特定される。
【００９３】
ステップＳ２０において、脳波計測部２０は、運転者１０の脳波を計測する。計測された脳波は、コンピュータで処理できるようにサンプリングされ、ＥＦＲＰ切出部５０に送られる。なお、脳波に混入するノイズの影響を低減するため、本実施形態においては、脳波計測部２０は、計測された脳波に、例えば１〜１５Ｈｚのバンドパスフィルタ処理を行う。
【００９４】
ステップＳ３０において、眼球運動計測部２０は、運転者１０の眼球運動を計測する。眼球運動計測部３０は、図７に示すように運転者１０の顔面部に装着された４つの電極のうち、電極Ｈ１および電極Ｈ２の電位差から水平方向電位を計測し、電極Ｖ１および電極Ｖ２の電位差から垂直方向電位を計測する。これらの電位の大きさから、水平方向および垂直方向への眼球の動きを計測する。計測された眼電位は、コンピュータで処理できるようにサンプリングされ、サッケード検出部４０に送られる。なおステップＳ２０およびＳ３０は並行して行われ得る。
【００９５】
なお、上記の例では、ＥＯＧ法を用いて眼球の動きを計測したが、眼球運動の計測方法はこれに限定されるものではない。例えば、近赤外線を眼球に照射し、その反射像（角膜反射像）を利用して眼球の動きを計測してもよい（角膜反射法）。この場合は、反射像の動きから計測された水平方向および垂直方向の眼球移動量によって視線移動量を算出し、閾値との比較を行う。または、眼球を撮影するカメラを車内に設置し、画像処理により角膜の位置を検出し、眼球の移動を計測してもよい。また、画像処理を利用する場合は、撮影された画像中の角膜の位置（たとえば画像中のピクセル座標）を検出し、角膜座標の移動量と眼球の移動角度の対応表を利用することにより、水平方向および垂直方向の眼球の移動量を計測すればよい。
【００９６】
ステップＳ８１において、統合判別部８０は、注意状態判別を行うタイミングかどうかを判断する。本実施形態では、次の解析区間の時間シフト量（ＴＳ）を１０秒としている。統合判別部８０は、１０秒ごとに注意状態判別が行われるように、判別のタイミングを制御する。判別タイミングではない場合は、ステップＳ２０の脳波計測、および、ステップＳ３０の眼球運動計測が継続される。統合判別部８０によって判別タイミングであると判断されると、ステップＳ４０以降の注意状態を判別する処理が開始される。
【００９７】
図１０は、眼球運動データ、脳波データおよび判別タイミングの関係の一例を示す。図１０の横軸は時間で、判別タイミングは白矢印で示されている。本実施形態で、判別タイミングは、脳波データや眼球運動データとは関係なく、１０秒ごとの時間シフト量で実行される。
【００９８】
再び図９を参照する。ステップＳ４０において、サッケード検出部４０は、解析対象となる時区間（解析区間と呼ぶ）の眼球運動データを解析し、解析区間に含まれるサッケード終了タイミング（すなわち、眼球停留開始時刻）を検出する。本実施形態では、解析区間は６０秒間とする。図１０には解析区間の例も示されている。判別タイミング（ａ）のときの解析区間は、判別タイミング（ａ）の直前６０秒間となり、解析区間（ａ）の矢印の示す範囲となる。
【００９９】
サッケード検出部４０は、上記の方法に基づき眼球停留開始時刻を検出し、そのタイミングを蓄積する。眼球運動がＥＯＧ法で計測されていた場合、眼球の速度は、電位の変化量で計測することができる。図１１は、ＥＯＧの電位と眼球の移動角度の対応関係の例を示す。図１１の対応関係から、眼球電位の振幅値と眼球の移動量との対応付けが可能になる。これらの関係から、眼球運動の電位量から上記のサッケードの発生条件を満たすか否かを判定し、眼球停留開始時刻を検出する。
【０１００】
また、サッケードは斜め方向に発生することも考えられる。斜め方向のサッケードの検出では、水平方向の移動量と垂直方向の移動量を利用する。斜め方向の眼球運動の移動量は、（（水平方向の移動量）2＋（垂直方向の移動量）2）1/2で算出できる。サッケード検出は、斜め方向の眼球運動の移動量とサッケード検出条件（平均角速度が３００度／秒以上）を比較により行う。検出されたサッケードの終了時刻により、眼球停留開始時刻を検出する。
【０１０１】
図１２（ａ）は、サッケード検出部４０が眼球停留開始時刻を検出する処理を模式的に示す。図１２（ａ）は、計測された眼球運動データ、脳波データ、眼球停留開始時刻の一例を示す。なお、サッケード検出部４０の処理には脳波データは必要とされないが、参考のために示している。
【０１０２】
サッケード検出部４０は、眼球運動データにおける急峻な変化、すなわちサッケードが終了した時刻（時刻ｔ１、ｔ２、・・・、ｔ８）を、眼球停留開始時刻として検出する。
【０１０３】
図１２（ａ）は、１つの解析区間として捉えてもよいし、１つの解析区間を構成する部分区間の一つと捉えてもよい。図面上の開始時刻から終了時刻までの時間は、前者の場合には６０秒間となり、後者の場合には１０秒間となる。図示されるように、眼球停留開始時刻は、解析区間または部分区間の中に複数含まれることがある。サッケード検出部４０は、これら全ての眼球停留開始時刻を検出する。
【０１０４】
なお、サッケードの検出として、最初に水平および垂直方向のそれぞれのサッケードを独立して検出し、その後、時区間が重複している水平および垂直方向のサッケードの組を１つに統合してもよい。または、まず水平眼球運動データおよび垂直眼球運動データを合成してベクトルデータを得て、その後、当該ベクトルデータの向きおよび大きさのデータに基づいてサッケードの検出を行う方法を用いても良い。
【０１０５】
上述の眼球停留開始時刻を示す情報はＥＦＲＰ切出部５０に送信される。
【０１０６】
図９のステップＳ５０において、ＥＦＲＰ切出部５０は、解析区間に含まれる眼球停留関連電位（ＥＦＲＰ）の切出しを行う。具体的には、ステップＳ４０で抽出した各眼球停留開始時刻を起点として、例えば−３００ミリ秒から６００ミリ秒までの脳波データをＥＦＲＰとして切り出す。
【０１０７】
なお上述の「切り出し」とは、脳波データと眼球停留開始時刻のデータとを対応付けるという意味を持つ。よって、処理のために解析区間の脳波データを取り出してメモリの別領域等にコピーする、という意味の切り出しに限定されない。たとえば、記録された脳波データのうち、所定区間の脳波データ自体をそのまま抽出して直接処理することも包含する。
【０１０８】
図１２（ｂ）は、ＥＦＲＰ切出部５０によって切り出されたＥＦＲＰの例を示す。ＥＦＲＰ切出部５０は、切り出したＥＦＲＰの眼球停留開始時刻（０ミリ秒）の電位が０μＶになるようにベースライン補正を行う。この結果、６０秒間の解析区間に発生したすべての眼球停留に関連したＥＦＲＰが蓄積される。図１３（ａ）は蓄積されたＥＦＲＰの例を示す。 図９のステップＳ６０において、ＥＦＲＰ分類部６０は、切出されたＥＦＲＰをその眼球停留開始時刻のデータを利用して部分区間ごとに分類する。例えば部分区間としては１０秒が設定され、今回の解析区間全体が６０秒であれば、図１３（ｂ）のように部分区間は６個設定される。６０秒間の解析区間に発生したすべてのＥＦＲＰが、６つの部分区間のいずれかに分類される。そしてＥＦＲＰ分類部６０は、それぞれの部分区間のＥＦＲＰを加算平均する。加算平均の結果が、その部分区間を代表するＥＦＲＰとなる。なお、本実施形態においては、部分区間には少なくとも１つのＥＦＲＰが分類されるとしている。ある部分区間においてＥＦＲＰが１つの場合には、ＥＦＲＰ分類部６０は加算平均処理を行わず、そのＥＦＲＰを、部分区間を代表するＥＦＲＰとして採用する。
【０１０９】
図９のステップＳ７０において、注意量判別部７０は、ステップＳ６０で部分区間ごとに加算平均されたＥＦＲＰ波形のそれぞれに基づいて、運転者１０の注意状態を判別する。注意量判別部７０は、各部分区間のＥＦＲＰ加算平均波形において、約１００ミリ秒付近の陽性の成分であるラムダ反応の振幅値を計測し、その振幅値の大きさによって「散漫」か「集中」を判定する。
【０１１０】
図１３（ｃ）は、右方向のサッケードの終了時刻を起点にしたＥＦＲＰが加算平均された波形を示す。グラフの横軸は時間で単位はミリ秒、縦軸は電位で単位はμＶで下向きが正の値となっている。ラムダ反応の振幅は、例えば５０〜１５０ミリ秒における極大値の振幅（図１３（ｃ）の点Ｍの電位）により算出する。
【０１１１】
なお、ラムダ反応の振幅の抽出方法としては、波形のドリフトやノイズ混入の影響も考慮して、５０〜１５０ミリ秒の極大値の代わりに区間平均値として算出してもよい。
【０１１２】
注意量判別部７０は、計測されたラムダ反応振幅の値と予め設定した閾値とを比較することにより、注意状態を判別する（図１３（ｄ））。本実施形態では、注意量判別部７０は、「集中」または「散漫」の２つの状態のいずれに該当するかを判別する。ラムダ反応振幅の傾向として、集中時にはその振幅が大きくなることが知られている（八木「眼球停留関連電位の産業場面への応用」心理学評論，ｖｏｌ．４５（１）、１０３−１１７。２−２章）。この特徴を利用すると、注意量判別部７０に閾値を設定し、当該閾値とラムダ反応振幅とを比較することにより、注意状態を判別することができる。
【０１１３】
注意量判別部７０は、ラムダ反応振幅が閾値を超える場合は「集中」、閾値を下回る場合は「散漫」と判別する。
【０１１４】
いま、閾値が２．５μＶと設定されていた場合を例に、図１３（ｃ）のＥＦＲＰ加算平均波形の注意状態判別処理を説明する。ＥＦＲＰ加算平均波形のラムダ反応振幅は５０〜１５０ミリ秒に含まれる極大値として、６０ミリ秒付近の点Ｍの振幅値が抽出される。この極大値の振幅値３．３μＶがラムダ反応振幅となる。ラムダ反応振幅値３．３μＶは閾値を超えているため、図１０（ｃ）のＥＦＲＰ加算平均波形は「集中」と判別される。
【０１１５】
注意量判別部７０は、分類された全ての部分区間ごとに注意状態を判別し、判別結果は統合判別部８０へと出力される。本実施形態では、６区間に分類しているため、６個の注意状態判別結果が出力される。
【０１１６】
図９のステップＳ８０において、統合判別部８０は、ステップＳ７０で判別された部分区間ごとの判別結果を統合し、運転者１０の注意状態を判別する。統合判別部８０の詳細な処理は後述する。
【０１１７】
次に、図１４を参照しながら、図９のステップＳ６０で行われるＥＦＲＰ分類部６０の処理の詳細について説明を行う。図１４は、ＥＦＲＰ分類部６０の処理の詳細な手順を示すフローチャートである。
【０１１８】
ステップＳ６０１において、ＥＦＲＰ分類部６０は、ステップＳ４０で計測された眼球停留発生時刻データと、ステップＳ５０で切出されたＥＦＲＰ波形データとを受信する。
【０１１９】
ステップＳ６０２において、ＥＦＲＰ分類部６０は、受信したＥＦＲＰ波形のうち、処理していないＥＦＲＰ波形を１つ選択する。ここでいう「処理」とは、ＥＦＲＰを部分区間ごとに分類する処理を意味している。
【０１２０】
ステップＳ６０３において、ＥＦＲＰ分類部６０は、選択されたＥＦＲＰの起点となった眼球停留開始時刻のデータから、各ＥＦＲＰを部分区間に分類する。全体の６０秒の解析区間を６つの部分区間に分類し、今回のＥＦＲＰがどの部分区間に属するかを判定する。ここで、ＥＦＲＰ分類部６０は、部分区間の時間範囲を、予め定めた時間（例えば、１０秒）とすることができる。
【０１２１】
ステップＳ６０４において、ＥＦＲＰ分類部６０は、ステップＳ６０３において分類された部分区間ごとに、その部分区間内に属するＥＦＲＰ波形を蓄積する。６個に分類した場合は、ＥＦＲＰは６つの部分区間ごとに蓄積される。
【０１２２】
ステップＳ６０５において、ＥＦＲＰ分類部６０は、ステップＳ６０１で受信した全てのＥＦＲＰが分類されたかをチェックする。全てのＥＦＲＰが分類された場合は、ステップＳ６０６の処理に遷移する。未処理のＥＦＲＰが残っている場合は、ステップＳ６０２に戻り、全てのＥＦＲＰが分類されるまで繰り返される。
【０１２３】
ステップＳ６０６において、ＥＦＲＰ分類部６０は、方向ごとに分類されて蓄積されているＥＦＲＰ波形の平均を算出する。本実施形態では、６個に分類されている為、各部分区間のＥＦＲＰ加算平均波形、合計６個のＥＦＲＰ加算平均波形が算出される。
【０１２４】
ステップＳ６０７において、ＥＦＲＰ分類部６０は、算出されたＥＦＲＰ加算平均波形の情報を注意量判別部７０に送信する。
【０１２５】
次に、ステップＳ８０で行われる統合判別部８０の処理の詳細を説明する。図１５は、統合判別部８０の処理の詳細な手順を示すフローチャートである。
【０１２６】
ステップＳ８０１において、統合判別部８０は、注意量判別部７０により判別された、部分区間ごとの注意状態判別結果を取得する。取得するデータの例は図１３（ｄ）に示されている。６つの部分区間ごとにそれぞれ「集中」または「散漫」の判別結果が保持されている。
【０１２７】
ステップＳ８０２において、統合判別部８０は、判定結果の個数を算出する。図１３（ｄ）の例では、「集中」という判定結果は２個、「散漫」という判定結果は４個である。
【０１２８】
ステップＳ８０３において、統合判別部８０は、判定結果が「集中」となった数と「散漫」となった数を比較する。「集中」の個数の方が多い場合には、ステップＳ８０５に遷移し、そうでない場合には、ステップＳ８０４に遷移する。図１３（ｄ）のデータでは、「散漫」の方が多く、この条件は成立しないので、ステップＳ８０４に遷移する。
【０１２９】
ステップＳ８０４において、統合判別部８０は、「散漫」の個数の方が多いかを判定する。「散漫」の個数の方が多い場合には、ステップＳ８０６に遷移し、そうでない場合にはステップＳ８０７に遷移する。図１３（ｄ）のデータでは、「散漫」の方が多く、この条件は成立するので、ステップＳ８０６に遷移する。
【０１３０】
ステップＳ８０５において、統合判別部８０は、運転者１０の注意状態を最終的に「集中」と判断する。
【０１３１】
ステップＳ８０６において、統合判別部８０は、運転者１０の注意状態を最終的に「散漫」と判断する。
【０１３２】
ステップＳ８０７において、統合判別部８０は、「集中」と「散漫」の各個数が同じ場合の処理であり、所定の結果を判定結果とする。ここで「所定の結果」とは、本発明の注意状態判別システム１の使われ方や、注意の特性などによって、決定される。例えば、注意状態判別システム１が、注意散漫状態をもらさず検出したい場合には、所定の結果として「散漫」を割り当て、疑わしい場合には「散漫」が出力されるようにすれば良い。また、「注意状態は変化しない」という注意状態の状態遷移の特性を前提とすれば、統合判別部８０は、所定の結果を、前回の判定結果と同じにすることも可能である。これにより、「散漫」と「集中」の中間状態においても安定した結果が出力できる。また、同数の場合は、「集中」でも「散漫」でもない状態として「どちらでもない」という結果を出力してもよい。
【０１３３】
ステップＳ８０８において、統合判別部８０は、注意状態判別結果に基づいて、運転者１０へのフィードバックを行う。統合判別部８０がディスプレイ等の映像出力装置を保持している場合、「集中」か「散漫」の判別結果をディスプレイ上に表示すればよい。また、統合判別部８０に接続されたスピーカー等の音声出力装置を利用して、注意量が低下し注意散漫状態と判別された場合には、警告音を出力し、運転者および同乗者に注意散漫な状態を通知してもよい。さらに、統合判別部８０が通信手段を保持している場合には、結果を注意状態判別装置の外部に送信し、例えば注意散漫と判別された場合には、自動車の制御部に結果を出力し、自動的にブレーキをかける等の機器の制御を行ってもよい。また、散漫状態時には、運転者１０に呈示する情報（エンジン回転数やカーナビゲーションシステムの情報など）をフィルタリングして絞込み運転者に見せないようにすることで、より運転に集中できる環境を作り出すようにしてもよい。
【０１３４】
次に、本実施形態の手法で、注意状態の判別を行った場合の効果を、分析結果を用いて説明する。この分析結果は、本実施形態の冒頭で説明した実験データ（実験参加者１７名分）と同じデータを用いて、これまでの方法で分析した場合と、本発明の方法で分析した場合とを比較した結果である。最初に、従来の方法（解析区間１２０秒）と解析時間を揃えて解析を行った場合の性能比較を行い、次に、一定の判別精度（８０％程度）を維持したままどこまで解析区間が短くできるかを検討した。
【０１３５】
まず、図１６に示す「平均判別率（１２０秒）」の行は、解析区間を従来と同様に１２０秒に揃えた場合の比較結果を示す。従来手法による判別率が、７９．６％であるのに対し、本発明の手法では９０．２％と高い判別率が得られ、１０％以上の精度向上が得られた。また、図１６の「平均判別率（６０秒）」の行に示されるように、解析区間を６０秒にした場合でも、従来の方法では７２．３％、本手法では８５．７％とこちらも１０％以上の精度向上が得られている。
【０１３６】
次に、図１７は、同様の実験のデータを用いて、一定の判別精度を維持したまま、どこまで解析区間が短くできるかを評価した結果を示す。実験においては、部分区間の時間は１０秒で固定したまま、どこまで全体の解析区間を短くできるかについて評価を行った。従って、全体の解析区間の中でいくつの部分区間が含まれるかについては、それぞれ異なっている。
【０１３７】
図１７の表から、解析区間が１２０秒の場合には９０．２％の高い判別率が得られ、以下、９０秒で９１．７％、６０秒で８５．７％、５０秒で８４．６％、４０秒で８３．２％、３０秒で７７．９％と、順次、解析区間を短くするのに従って、識別精度は徐々に低下することが読み取れる。ここで、従来手法で識別精度の目安としていた８０％を超えているのは解析区間が４０秒、およびそれ以上の場合となる。この結果から、８０％以上の判別率を維持したまま、本発明では解析区間を短縮できることがわかる。
【０１３８】
以上の結果から、本実施形態の手法によれば、解析区間４０秒でも、従来手法と同等の判別率（８０％程度）を維持できることがわかった。
【０１３９】
この４０秒の解析区間を、自動車を運転しているときの時間に換算する。時速４０ｋｍ／時なら４０秒間に走行する距離は約４４０ｍであり、約４４０ｍの区間を走行中の注意状態が判別できることになる。従来の１２０秒であれば、１．３ｋｍ以上の距離を走っていることと比較して考えると、注意状態の判別の詳細度が向上できると言える。例えば、市街地においても４０秒ごとの計測であれば、交差点ごとに注意状態が判定できると考えられる。
【０１４０】
本発明によれば、解析区間を複数の部分区間に分割し、部分区間ごとに加算平均したＥＦＲＰを利用して、それぞれの部分区間における注意状態を判別する。そして部分区間ごとの注意量判別結果を用いて最終的な前記解析区間の注意状態判別を行う。これにより、短い解析区間でも注意状態を判別できる。解析区間が短くなることにより、時々刻々環境が変化する市街地などでも、より詳細に注意状態を判別することが可能になる。
【０１４１】
なお、本実施形態では、統合判別部８０による注意状態判別結果を運転者１０にフィードバックする例を用いて説明を行ったが、統合判別部８０がＨＤＤ等の記憶装置を有している場合には、判別結果をその記憶装置に蓄積してもよい。判別結果を蓄積した場合は、運転終了後に運転者１０に対する安全運転指導の基礎データとして利用できる。例えば、運転中に散漫と判別された時間と運転時間との比を取り、運転終了後に運転者１０に運転中の注意散漫状態の頻度を示すことにより、次回運転時の注意喚起ができる。
【０１４２】
なお、本実施形態による注意状態判別装置は自動車運転中の注意状態判定に限らず、視線方向に対する集中が求められる工場作業や監視作業における注意状態判別にも適用可能である。例えば工場作業においては、脳波計測のために安静のままで居られないために、突発的にノイズが混入することが想定され、部分区間では大きなノイズとなることが想定される。この場合、運転時と同様、部分区間の注意判定結果を多数決等で統合することで、従来必要とされていたよりも解析区間が短縮できると考えられ、より詳細な注意状態判別が可能になる。
【０１４３】
本実施形態では、部分区間を一定（本実施形態では１０秒）の長さとしていたが、部分区間長は固定でなくても良い。例えば、サッケード運動は、常に同じ頻度で発生するわけではなく、道路状況等によって頻度が変化するので、サッケードの個数を揃えて部分区間を設定しても良い。本願発明者らのサッケード検出基準においては、おおよそ１分間に６０回程度の眼球停留が検出されていたので、例えばＥＦＲＰが１０個発生するまでを部分区間として設定してもよい。または、道路状況に応じて地理的に部分区間を設定しても良い。道路状況は、カーナビのＧＰＳ情報と地図情報から取得できる。この部分区間の調整方法については、実施形態２においても説明する。
【０１４４】
本実施形態では、解析区間を６０秒、部分区間を１０秒と設定して説明したが、この値は他の値も取り得る。最適な解析区間や部分区間は、運転者や道路状況によって変化する可能性があり、それらは事前に実施状況におけるデータを分析することで、設計的に設定可能である。
【０１４５】
たとえば、解析区間に含まれる部分区間の個数を調整することも可能である。この場合、部分区間の時間は長くなったり短くなったりする。例えば、部分区間の個数を増やすと、一つの部分区間は短くなるが、突発的に混入するノイズの低減に効果があり、部分区間の個数を減らすとひとつの部分区間におけるＥＦＲＰの加算回数が増えるので、定常的なノイズの低減に効果がある。これらは、道路状況やタスクによって調整可能である。
【０１４６】
なお、部分区間を一定の時間ではなく、一定の個数で定義することも可能である。例えば部分区間は10個のサッケードを含み、４つの部分区間により定義されるとすると、常に同じ数のサッケードに対して判定が可能になる。この方法を取ると、道路状況やタスクによって異なることが想定されるサッケード頻度に柔軟に対応できる。例えば、交差点や混雑した道路等のサッケード頻度が高い場所では、一定の個数により短時間で到達するために、解析データの収集に要する時間は全体として短くなり、より細かい解析区間に対する注意状態推定が行える。逆にサッケード頻度が低い区間では、解析区間は長めになるものの、必要な加算回数が得られているため、安定した精度が期待できる。
【０１４７】
なお、本実施形態においては、サッケード運動は、上下左右のすべての方向を含めたサッケード運動を検出して、そのサッケード終了時刻から眼球停留時間を抽出する方法を用いていた。そのため、ＥＯＧ法等によりサッケード運動を検出するには、図７に示したように左右方向の眼球運動を検出するための電極と、上下方向の眼球運動を検出するための電極の両方が必要になっていた。
【０１４８】
しかしながら注意状態判別装置を簡易に装着できるようにするためには生体信号計測用の電極の個数はなるべく少ない方が望ましい。この観点から、次のような変形例を採用することも可能になる。
【０１４９】
図１８（ａ）は上下左右に電極を設置した場合の、従来手法と本発明の平均判別率を示す。解析区間を１２０秒とした場合に、従来手法では解析区間を１２０秒としたときの平均判別率は図１６でも示したように７９．６％であり、部分区間を１０秒とした場合の本発明は９０．２％の判別率であった。
【０１５０】
これに対して、図１８（ｂ）は、左右のみに電極を設置した場合の分析結果を示す。左右のみに電極を設置すると、上下方向の眼球移動は計測ができなくなり、また右上や左下等の斜め方向の眼球移動も左右方向の情報のみしか取得できずに、正確なサッケード検出ができない。この状況においては、従来手法であれば、６７．０％と実用上の目安と考えていた８０％に到達しないが、本発明によれば、部分区間を１０秒とした場合に、８７．７％の判別率が実現できた。図１９は、左右のサッケードを検出するよう眼球運動計測部３０の電極群を配置したＨＭＤ型の注意状態判別システム１ａを示す。
【０１５１】
このように、左右の眼球移動の情報のみを用いても、本実施形態にかかる注意状態判別システムによれば、従来の解析区間長を維持したまま十分な性能が得られる。このため、図８に示したＨＭＤ型の脳波計測デバイスを利用する場合においても、メガネのレンズ周辺のリム部のＥＯＧ計測用の電極の設置が不要になり、簡易な着脱ができる注意状態判別システムを提供できる。
【０１５２】
（実施形態２）
本実施形態の注意状態判別システム３及び注意状態判別装置４を説明する。
【０１５３】
実施形態１においては、部分区間の時間長は予め定められているとした。実施形態２の注意状態判別システム３においては、部分区間の時間長は、運転者１０が運転する自車両の外部環境によって変更される。
【０１５４】
そのような構成を採用する理由は、運転者１０の状況に応じたＥＦＲＰを観測する際、可能な限りノイズの混入を抑えるためである。本願発明者らは、ノイズは、筋電の影響を大きく受けることに着目した。そこで、周囲の状況を確認するために、運転者１００が首等を動かすことで筋電が発生しやすい外部環境であるか否かに応じて部分区間の時間長を変更することで、ＥＦＲＰの観測にノイズになる要因である筋電の影響を低減することとした。
【０１５５】
図２０は、本実施形態による注意状態判別システム３のブロック構成図を示す。
【０１５６】
注意状態判別システム３は、脳波計測部２０と、眼球運動計測部３０と、サッケード検出部４０と、ＥＦＲＰ取得部４６と、注意量判別部７０と、統合判定部８０とを備えている。ＥＦＲＰ取得部４６は、ＥＦＲＰ切出部５０と、ＥＦＲＰ分類部６１とを有している。
【０１５７】
図２０では、実施形態１の注意状態判別システム１と同じ機能を有する構成要素には同じ参照符号を付し、その説明を省略する。
【０１５８】
注意状態判別システム３は、注意状態判別システム１に、注意状態判別システム２００の外部環境を取得する外部環境取得部９０が加えられて構成されている。ＥＦＲＰ分類部６１は、実施形態１にかかるＥＦＲＰ分類部６０の機能に、外部環境取得部９０からの情報を受け取って処理する機能を有している。具体的には、ＥＦＲＰ分類部６１は、外部環境取得部９０が取得した外部環境を用いて、所定の解析区間を部分区間に分割し、部分区間ごとに抽出されたＥＦＲＰを加算平均する。
【０１５９】
運転者１０のブロックは説明の便宜のために示されている。また、注意状態判別システム１００から脳波計測部２０および眼球運動計測部３０を除いた構成を注意状態判別装置４とする。
【０１６０】
外部環境取得部９０は、運転者１０が運転する自車両が存在する外部環境を取得する。そして、外部環境取得部９０は、取得した外部環境情報が運転者１０の筋電が発生しやすい外部環境か否かを判断し、その判断した結果の情報をＥＦＲＰ分類部６１に送信する。「筋電が発生しやすい外部環境」は外部環境取得部９０内部記憶装置（図示せず）に予め保持されている。外部環境取得部９０は、取得した外部環境が予め保持する情報に該当するか否かによって、運転者１０の筋電が発生しやすい外部環境か否かを判断する。
【０１６１】
運転者１０が首等を動かすことで筋電が発生しやすい外部環境として、例えば、交差点等がある。また、運転者１０が首等を動かすことが少なく、筋電が発生しにくい外部環境として、例えば、高速道路または交通量が少ない早朝の道路などが考えられる。後者は、運転者が前方の車両だけを注意すればよいため、筋電が発生しにくいといえる状況である。
【０１６２】
以下、外部環境取得部９０の具体的な構成例を説明する。
【０１６３】
外部環境取得部９０は、外部環境の地図情報を有し、かつ、自車両の位置の情報を取得する機能を有している。たとえば、外部環境取得部９０は、外部環境の地図情報を車載のカーナビゲーションシステム等と接続されることによって取得してもよい。また、外部環境取得部９０は、自車両の位置の情報を、車載のＧＰＳ（Global Positioning System）デバイスと接続されることによって取得してもよい。
【０１６４】
外部環境取得部９０は、地図情報および自車両の位置の情報を用いて、自車両の位置が交差点に近い場合（例えば、自車両と交差点との距離が３０ｍ以内の場合）には、運転者９０の筋電が発生しやすい外部環境であると判断する。一方、自車両の位置が交差点から遠い場合には、外部環境取得部９０は運転者１０の筋電が発生しにくい外部環境であると判断する。
【０１６５】
たとえば、外部環境取得部９０が自車両の速度を取得する機能を有しているとする。自車両の速度は、自車両の車速パルスを利用して取得することもできるし、または、車載コンピュータが計算した結果として得ることもできる。または、自車位置の変化量（地図上の距離）、地図の縮尺、および、移動時間に基づいて特定することもできる。外部環境取得部９０は、自車両の速度が一定値以上（８０ｋｍ／ｓ以上）の場合には、高速道路を走行中であると推定し、運転者１０の筋電が発生しにくい外部環境であると判断する。また、自車両の速度が一定値より小さい（８０ｋｍ／ｓより遅い）場合には、運転者１０の筋電が発生しやすい外部環境であると判断する。
【０１６６】
外部環境取得部９０は、運転者１０の筋電が発生しやすい外部環境であるか否かの情報をＥＦＲＰ分類部６１に出力する。
【０１６７】
以下、運転者１０の筋電が発生しやすい外部環境か否かの情報を取得した後のＥＦＲＰ分類部６１の処理を説明する。
【０１６８】
ＥＦＲＰ分類部６１が、運転者１０の筋電が発生しやすい外部環境の情報を受け付けた場合、部分区間の時間範囲を予め定めた時間範囲よりも短くする。また、運転者１０の筋電が発生しにくい外部環境の情報を受け付けた場合、部分区間の時間範囲を予め定めた時間範囲よりも長くする。
【０１６９】
このとき、解析区間全体の時間長が一定であるという条件が設けられるとすると、部分区間の時間長を短くするときには、部分区間の個数を増やし、部分区間の時間長を長くするときは、部分区間の個数を減らす（ただし２個以上）。
【０１７０】
ＥＦＲＰ分類部６１の具体的な処理は、実施形態１の図１４のフローチャートと同じである。ただし、部分区間に分類するステップＳ６０３において、ＥＦＲＰ分類部６１は、外部環境の情報に基づいて部分区間の分類を行う。
【０１７１】
ＥＦＲＰ分類部６１が外部環境の情報に基づく部分区間の分類を行うことによって、筋電の影響を低減し、注意状態を判別することが可能になる。ここで、部分区間の時間範囲を変更することによる効果を詳細に説明する。
【０１７２】
部分区間の時間範囲を短くすることと長くすることには、それぞれ長所と短所がある。
【０１７３】
上述したように、筋電等によりＥＦＲＰの平均振幅が大きく計測される場合、解析区間の全体で加算平均すると、全体の加算平均した情報に筋電等の影響が大きく反映され、注意量の判別を誤る可能性がある。そこで、全体の解析区間をより多くの部分区間に分割し、当該部分区間の時間範囲を短くしてそれぞれの部分区間で注意量を判別することで、筋電の影響を低減し、より正確な注意状態を判別することが可能になる。
【０１７４】
一方、部分区間を短くした場合には、加算平均するＥＦＲＰ信号が少なくなるため、その部分区間を代表する、加算平均処理後のＥＦＲＰに含まれる不要なノイズ等の信号を除去できず、注意判別量の判別精度が低下する。例えば、図２１（ａ）は比較的多くの脳波信号を用いて加算平均を行って得られた信号の例を示し、図２１（ｂ）は図２１（ａ）よりも少ない数の脳波信号を用いて加算平均を行って得られた信号の模式図を示す。図２１（ｂ）では、（ａ）の脳波信号と比較して高周波のノイズ成分が除去されておらず、この場合ＥＦＲＰによる注意量判別の精度が低下する可能性がある。
【０１７５】
そこで、筋電の影響を受けやすい外部環境の場合は、筋電の影響を除去することを重視して部分区間を設定する。一方、筋電の影響を受けにくい外部環境の場合には、ＥＦＲＰにおける高周波のノイズを除去することを重視して部分区間を設定する。この結果、時々刻々環境が変化する市街地などでも、外部環境から想定されるノイズ混入の様態に対応した、より詳細な注意状態判別が可能になる。
【０１７６】
なお、部分区間の時間範囲を短くするだけの変更でも、筋電等の突発的なノイズの影響を除去できるため有効である。また、部分区間の時間範囲を長くするだけの変更でも、高周波のノイズを除去できるため有効である。
【０１７７】
なお、図２０においては、外部環境取得部９０は注意状態判別装置４の一部であるとして説明した。しかしながら、外部環境取得部９０は、注意状態判別装置の外部に設けてもよい。たとえば図２２は、外部環境取得部９０を注意状態判別装置６の外部に設けた注意状態判別システム５のブロック構成を示す。たとえばＧＰＳデバイスおよび車速パルスを取得するカーナビゲーションシステムは、外部環境取得部９０として機能し得る。
【０１７８】
外部環境取得部９０を設けた位置以外の構成および機能は、図２０に示す例を注意状態判別システム３と同じであるため、説明は省略する。
【０１７９】
上述の各実施形態に関する注意状態判別装置の処理は、コンピュータに実行されるプログラムによって実現され得る。たとえば、コンピュータプログラムは、フローチャートを用いて説明した処理の手順を規定した命令群として実現され得る。そのようなコンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。
【０１８０】
上述の注意状態判別装置を構成する全部または一部の構成要素は、コンピュータプログラムを実行する汎用のプロセッサ（半導体回路）として実現される。または、そのようなコンピュータプログラムとプロセッサとが一体化された専用プロセッサとして実現される。たとえば実施形態１の注意状態判別装置には汎用のプロセッサが設けられており、そのプロセッサがコンピュータプログラムを実行することにより、サッケード検出部４０、ＥＦＲＰ取得部（電位取得部）４５、注意量判別部７０および統合判別部８０の一部または全てとして機能する。
【産業上の利用可能性】
【０１８１】
本発明にかかる注意状態判別システムは、状況が頻繁に変化する運転操作における注意状態判別に有用である。また、作業への集中が求められる工場での作業などへの注意状態判別にも有効である。また、注意状態判別装置がヘッドマウントディスプレイ型の装置として構成される場合は、自転車運転中や歩行中の安全支援装置として有効である。さらに、ＴＶ視聴の注意状態をテレビ番組への興味と対応づけることにより、番組興味度計測などのマーケティング用途への応用も可能である。
【符号の説明】
【０１８２】
１ 注意状態判別システム
２ 注意状態判別装置
１０ ユーザ
２０ 脳波計測部
３０ 眼球運動計測部
４０ サッケード検出部
４５ ＥＦＲＰ取得部（電位取得部）
５０ ＥＦＲＰ切出部
６０ ＥＦＲＰ分類部
７０ 注意量判別部
８０ 統合判別部
【特許請求の範囲】
【請求項１】
解析区間ごとにユーザの注意状態を判定する注意状態判別システムであって、
前記解析区間は複数の部分区間から構成されており、
ユーザの脳波信号を計測する脳波計測部と、
前記ユーザの眼球運動を計測する眼球運動計測部と、
計測された眼球運動から眼球停留の開始時刻を検出するサッケード検出部と、
各部分区間を代表する眼球停留関連電位を取得する電位取得部であって、各眼球停留関連電位は、前記各部分区間内で検出された眼球停留の各開始時刻を起点として特定される前記脳波信号の電位である、電位取得部と、
前記各部分区間を代表する眼球停留関連電位を利用して、前記部分区間毎の前記ユーザの注意状態を判別する注意量判別部と、
前記部分区間毎の注意状態の判別結果を利用して、前記解析区間における前記ユーザの注意状態を判別する統合判別部と
を備えた、注意状態判別システム。
【請求項２】
前記統合判別部は、一定時間が経過するたびに新たな解析区間における前記ユーザの注意状態を判別する、請求項１に記載の注意状態判別システム。
【請求項３】
前記各部分区間内で複数の眼球停留が発生するときにおいて、
前記サッケード検出部は、前記各部分区間内において前記複数の眼球停留の各々の開始時刻を検出し、
前記電位取得部は、前記各部分区間内で検出された前記複数の眼球停留の各々の開始時刻を起点として、前記脳波信号の複数の電位を取得し、前記複数の電位に基づいて前記各部分区間を代表する眼球停留関連電位を取得する、請求項１に記載の注意状態判別システム。
【請求項４】
前記電位取得部は、前記解析区間よりも短い、予め定められた複数の期間を前記複数の部分区間として、部分区間ごとに前記複数の電位を取得して加算平均する、請求項１に記載の注意状態判別システム。
【請求項５】
前記電位取得部は、前記眼球停留関連電位を予め定められた数以上検出したときに、前記部分区間を確定させる、請求項１に記載の注意状態判別システム。
【請求項６】
前記統合判別部は、前記部分区間毎の注意状態の判別結果に最も多く含まれる判別結果を、前記解析区間における前記ユーザの注意状態として採用する、請求項１に記載の注意状態判別システム。
【請求項７】
前記注意量判別部の判別結果に、異なる判別結果が同数含まれていた場合には、前記統合判別部は、最後に判別された部分区間の注意状態の判別結果を、前記解析区間における前記ユーザの注意状態として採用する、請求項１に記載の注意状態判別システム。
【請求項８】
前記注意量判別部は、前記各部分区間において加算平均した眼球停留関連電位の大きさが所定の閾値以上の場合は、前記ユーザは集中していると判別し、前記各部分区間において加算平均した眼球停留関連電位の大きさが所定の閾値より小さい場合、前記ユーザの注意が散漫であると判別する、請求項１に記載の注意量判別システム。
【請求項９】
解析区間ごとにユーザの注意状態を判定する注意状態判別装置であって、
前記解析区間は複数の部分区間から構成されており、
ユーザの眼球運動を計測する眼球運動計測部によって計測された眼球運動から眼球停留の開始時刻を検出するサッケード検出部と、
各部分区間を代表する眼球停留関連電位を取得する電位取得部であって、各眼球停留関連電位は、前記各部分区間内で検出された眼球停留の各開始時刻を起点として特定される、ユーザの脳波信号を計測する脳波計測部によって計測された脳波信号の電位である、電位取得部と、
前記各部分区間を代表する眼球停留関連電位を利用して、前記部分区間毎の前記ユーザの注意状態を判別する注意量判別部と、
前記部分区間毎の注意状態の判別結果を利用して、前記解析区間における前記ユーザの注意状態を判別する統合判別部と
を備えた、注意状態判別装置。
【請求項１０】
解析区間ごとにユーザの注意状態を判定するための注意状態判別方法であって、
前記解析区間は複数の部分区間から構成されており、
ユーザの脳波信号を計測するステップと、
前記ユーザの眼球運動を計測するステップと、
計測された眼球運動から眼球停留の開始時刻を検出するステップと、
各部分区間を代表する眼球停留関連電位を取得するステップであって、各眼球停留関連電位は、前記各部分区間内で検出された眼球停留の各開始時刻を起点として特定される前記脳波信号の電位である、ステップと、
前記各部分区間を代表する眼球停留関連電位を利用して、前記部分区間毎の前記ユーザの注意状態を判別するステップと、
前記部分区間毎の注意状態の判別結果を利用して、前記解析区間における前記ユーザの注意状態を判別するステップと
を包含する、注意状態判別方法。
【請求項１１】
解析区間ごとにユーザの注意状態を判定する注意状態判別装置に実装されたコンピュータによって実行されるコンピュータプログラムであって、
前記解析区間は複数の部分区間から構成されており、
前記コンピュータプログラムは、前記コンピュータに対し、
計測されたユーザの脳波信号のデータを受け取るステップと、
計測された前記ユーザの眼球運動のデータを受け取るステップと、
計測された眼球運動から眼球停留の開始時刻を検出するステップと、
各部分区間を代表する眼球停留関連電位を取得するステップであって、各眼球停留関連電位は、前記各部分区間内で検出された眼球停留の各開始時刻を起点として特定される前記脳波信号の電位である、ステップと、
前記各部分区間を代表する眼球停留関連電位を利用して、前記部分区間毎の前記ユーザの注意状態を判別するステップと、
前記部分区間毎の注意状態の判別結果を利用して、前記解析区間における前記ユーザの注意状態を判別するステップと
を実行させる、コンピュータプログラム。
【請求項１】
解析区間ごとにユーザの注意状態を判定する注意状態判別システムであって、
前記解析区間は複数の部分区間から構成されており、
ユーザの脳波信号を計測する脳波計測部と、
前記ユーザの眼球運動を計測する眼球運動計測部と、
計測された眼球運動から眼球停留の開始時刻を検出するサッケード検出部と、
各部分区間を代表する眼球停留関連電位を取得する電位取得部であって、各眼球停留関連電位は、前記各部分区間内で検出された眼球停留の各開始時刻を起点として特定される前記脳波信号の電位である、電位取得部と、
前記各部分区間を代表する眼球停留関連電位を利用して、前記部分区間毎の前記ユーザの注意状態を判別する注意量判別部と、
前記部分区間毎の注意状態の判別結果を利用して、前記解析区間における前記ユーザの注意状態を判別する統合判別部と
を備えた、注意状態判別システム。
【請求項２】
前記統合判別部は、一定時間が経過するたびに新たな解析区間における前記ユーザの注意状態を判別する、請求項１に記載の注意状態判別システム。
【請求項３】
前記各部分区間内で複数の眼球停留が発生するときにおいて、
前記サッケード検出部は、前記各部分区間内において前記複数の眼球停留の各々の開始時刻を検出し、
前記電位取得部は、前記各部分区間内で検出された前記複数の眼球停留の各々の開始時刻を起点として、前記脳波信号の複数の電位を取得し、前記複数の電位に基づいて前記各部分区間を代表する眼球停留関連電位を取得する、請求項１に記載の注意状態判別システム。
【請求項４】
前記電位取得部は、前記解析区間よりも短い、予め定められた複数の期間を前記複数の部分区間として、部分区間ごとに前記複数の電位を取得して加算平均する、請求項１に記載の注意状態判別システム。
【請求項５】
前記電位取得部は、前記眼球停留関連電位を予め定められた数以上検出したときに、前記部分区間を確定させる、請求項１に記載の注意状態判別システム。
【請求項６】
前記統合判別部は、前記部分区間毎の注意状態の判別結果に最も多く含まれる判別結果を、前記解析区間における前記ユーザの注意状態として採用する、請求項１に記載の注意状態判別システム。
【請求項７】
前記注意量判別部の判別結果に、異なる判別結果が同数含まれていた場合には、前記統合判別部は、最後に判別された部分区間の注意状態の判別結果を、前記解析区間における前記ユーザの注意状態として採用する、請求項１に記載の注意状態判別システム。
【請求項８】
前記注意量判別部は、前記各部分区間において加算平均した眼球停留関連電位の大きさが所定の閾値以上の場合は、前記ユーザは集中していると判別し、前記各部分区間において加算平均した眼球停留関連電位の大きさが所定の閾値より小さい場合、前記ユーザの注意が散漫であると判別する、請求項１に記載の注意量判別システム。
【請求項９】
解析区間ごとにユーザの注意状態を判定する注意状態判別装置であって、
前記解析区間は複数の部分区間から構成されており、
ユーザの眼球運動を計測する眼球運動計測部によって計測された眼球運動から眼球停留の開始時刻を検出するサッケード検出部と、
各部分区間を代表する眼球停留関連電位を取得する電位取得部であって、各眼球停留関連電位は、前記各部分区間内で検出された眼球停留の各開始時刻を起点として特定される、ユーザの脳波信号を計測する脳波計測部によって計測された脳波信号の電位である、電位取得部と、
前記各部分区間を代表する眼球停留関連電位を利用して、前記部分区間毎の前記ユーザの注意状態を判別する注意量判別部と、
前記部分区間毎の注意状態の判別結果を利用して、前記解析区間における前記ユーザの注意状態を判別する統合判別部と
を備えた、注意状態判別装置。
【請求項１０】
解析区間ごとにユーザの注意状態を判定するための注意状態判別方法であって、
前記解析区間は複数の部分区間から構成されており、
ユーザの脳波信号を計測するステップと、
前記ユーザの眼球運動を計測するステップと、
計測された眼球運動から眼球停留の開始時刻を検出するステップと、
各部分区間を代表する眼球停留関連電位を取得するステップであって、各眼球停留関連電位は、前記各部分区間内で検出された眼球停留の各開始時刻を起点として特定される前記脳波信号の電位である、ステップと、
前記各部分区間を代表する眼球停留関連電位を利用して、前記部分区間毎の前記ユーザの注意状態を判別するステップと、
前記部分区間毎の注意状態の判別結果を利用して、前記解析区間における前記ユーザの注意状態を判別するステップと
を包含する、注意状態判別方法。
【請求項１１】
解析区間ごとにユーザの注意状態を判定する注意状態判別装置に実装されたコンピュータによって実行されるコンピュータプログラムであって、
前記解析区間は複数の部分区間から構成されており、
前記コンピュータプログラムは、前記コンピュータに対し、
計測されたユーザの脳波信号のデータを受け取るステップと、
計測された前記ユーザの眼球運動のデータを受け取るステップと、
計測された眼球運動から眼球停留の開始時刻を検出するステップと、
各部分区間を代表する眼球停留関連電位を取得するステップであって、各眼球停留関連電位は、前記各部分区間内で検出された眼球停留の各開始時刻を起点として特定される前記脳波信号の電位である、ステップと、
前記各部分区間を代表する眼球停留関連電位を利用して、前記部分区間毎の前記ユーザの注意状態を判別するステップと、
前記部分区間毎の注意状態の判別結果を利用して、前記解析区間における前記ユーザの注意状態を判別するステップと
を実行させる、コンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１２−８５７４７（Ｐ２０１２−８５７４７Ａ）
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願番号】特願２０１０−２３３８６８（Ｐ２０１０−２３３８６８）
【出願日】平成２２年１０月１８日（２０１０．１０．１８）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願日】平成２２年１０月１８日（２０１０．１０．１８）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]