注意状態判別システム、方法、コンピュータプログラムおよび注意状態判別装置
【課題】眼球停留関連電位（ＥＦＲＰ）の解析区間を短縮し、状況変化が多い場合でも十分な精度でユーザの注意状態を判別する。
【解決手段】注意状態判別システム１は、脳波信号を計測する脳波計測部２０と、眼球の運動を計測する眼球運動計測部３０と、眼球の運動を用いて、眼球のサッケードが終了した時刻である眼球停留開始時刻およびサッケードの移動量を複数検出するサッケード検出部４０と、各サッケードの移動量に基づいて各サッケードの方向を特定し、特定された各サッケードの方向を分類する分類部であって、分類された方向ごとに、各サッケードに対応する眼球停留開始時刻を起点として脳波信号から切り出した眼球停留電位を加算平均する分類部６０と、加算平均された眼球停留関連電位に基づいて、分類された方向ごとの注意状態を判別する注意量判別部７０と、方向ごとの注意状態の判別結果を用いて、注意状態を判別する統合判定部８０とを備えている。
【解決手段】注意状態判別システム１は、脳波信号を計測する脳波計測部２０と、眼球の運動を計測する眼球運動計測部３０と、眼球の運動を用いて、眼球のサッケードが終了した時刻である眼球停留開始時刻およびサッケードの移動量を複数検出するサッケード検出部４０と、各サッケードの移動量に基づいて各サッケードの方向を特定し、特定された各サッケードの方向を分類する分類部であって、分類された方向ごとに、各サッケードに対応する眼球停留開始時刻を起点として脳波信号から切り出した眼球停留電位を加算平均する分類部６０と、加算平均された眼球停留関連電位に基づいて、分類された方向ごとの注意状態を判別する注意量判別部７０と、方向ごとの注意状態の判別結果を用いて、注意状態を判別する統合判定部８０とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車の運転などの操作を行う操作者の注意状態を、脳波に基づいて判定する装置に関する。具体的には、本発明は、時々刻々環境が変化する自動車の運転操作において、状況ごとに注意状態を判別する装置、方法およびそのような装置において実行されるコンピュータプログラムに関する。
【背景技術】
【０００２】
近年、運転者の身体状態や心理状態をリアルタイムに把握した上で、運転者の状態に即した支援が行える安全運転を支援する技術の必要性が高まっている。運転者の状態を客観的かつ定量的に評価する手法として、脳波や瞬目などの生理指標を用いた覚醒度の定量化が試みられている。
【０００３】
例えば、特許文献１では、脳波の入眠波形パターンやα波成分から覚醒度を推定する技術が開示されている。また特許文献２では、運転者の顔を撮像し、得られた画像から瞬きを検出し、瞬きの閉眼時間から覚醒度低下を推定する技術が開示されている。
【０００４】
これらに対して本願発明者らは、運転中の運転者の状態を単に覚醒度として捉えるのではなく、覚醒しているにも関わらず運転に対して注意が向いていない、いわゆる注意散漫状態をも含めた運転注意状態として扱う必要があると考えている。そのためには、従来の覚醒度による居眠り検出ではなく、運転に対する注意状態そのものを計測・評価する手法が必要である。
【０００５】
また、運転者に向けられたカメラによって、運転者の視線や顔の動きを検出し、運転者の注意状態を判定する方法がある。例えば、特許文献３では、運転者の乗車している自車両の周辺状況から運転者が注意すべき最適な注視位置を判定し、運転者の視線や顔の動きから検出した注視点と判定した注意すべき最適な注視位置とを比較することにより、運転に対する注意配分状態を判定する技術が開示されている。
【０００６】
このような、運転者の注視位置等に着目した指標を利用すれば、運転者が注意すべき位置を見ていないことによる注意散漫の評価は可能である。しかしながら、視線のみでは、運転者が前方に視線を向けているにも関わらず、注意が運転に向いていない、いわゆる意識の脇見状態を捉えることができない。ここで、意識の脇見状態とは、例えば他の事を考えていて、あるいは音楽や会話に気をとられていて意識が運転に集中していない状態などを示す。
【０００７】
一方、意識の脇見状態を含めた運転に対する注意状態として、人が見ている対象にどのくらい注意を向けているかを調べる研究が行われている。具体的には、脳波の眼球停留関連電位（Ｅｙｅ Ｆｉｘａｔｉｏｎ Ｒｅｌａｔｅｄ Ｐｏｔｅｎｔｉａｌ：ＥＦＲＰ）を用いた研究が行われている。「眼球停留関連電位」とは、人が作業しているときや自由にものを見ているときにおける、急速眼球運動（サッケード）の終了時刻、すなわち眼球停留の開始時刻に関連して生じる脳の一過性の電位変動をいう。眼球停留関連電位のうち、眼球の停留時刻より約１００ミリ秒付近に後頭部で優位に出現する正の電位成分を「ラムダ反応」といい、人が見ている対象に対する注意集中度によって変動することが知られている。
【０００８】
例えば、特許文献４には、眼球運動信号に基づいてサッケードの終了時刻を検出し、サッケードが終了するごとに、その時刻から一定期間内の脳波を加算平均してＥＦＲＰを算出し、注意量を判別する技術が開示されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平７−１０８８４８公報
【特許文献２】特許第３１２７７６０号明細書
【特許文献３】特開２００４−１７８３６７公報
【特許文献４】特開２００２−２７２６９３公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献４に記載の従来技術では、ノイズを除去するために、十分な数の眼球停留関連電位（ＥＦＲＰ）波形を加算する必要がある。長時間にわたる脳波データから、多くのＥＦＲＰ波形を取得する必要がある。これでは、時々刻々環境が変化する市街地などでは、状況に合わせた注意量判別が行えない。以下に、上述の課題を詳細に説明する。
【００１１】
本願発明者らは、ＥＦＲＰのラムダ反応を利用した従来の手法において必要な解析区間の長さを評価するために、学生実験参加者１７名を対象にした注意量判別実験を実施した（実験の詳細や判別率の算出方法の説明は後述する）。注意状態の判別は、ＥＦＲＰの特徴量であるラムダ反応（５０ミリ秒以上１５０ミリ秒以下に含まれる極大値）の振幅と閾値との比較により、「集中状態」と「散漫状態」のいずれの状態であるかを判別することによって行った。
【００１２】
判別のためのＥＦＲＰは、特許文献４で利用されている手法により算出した。具体的には、一定期間内（解析区間）に含まれるＥＦＲＰを抽出し、それらの波形を加算平均して１つのＥＦＲＰ波形を算出した。
【００１３】
上記判別手法を用いて判別率を算出した結果、解析区間を６０秒とした場合は、判別率は７２．３％で、解析区間を１２０秒とした場合には、判別率は７９．６％であった。
【００１４】
このように解析区間を長くすれば、判別精度が向上させられる。これは解析区間を長くすると、解析区間に含まれるＥＦＲＰの個数が増え、加算回数が増えるためである。加算回数が増えると、背景脳波やランダムなノイズ成分が相殺され、ＥＦＲＰのラムダ反応のみが際立って抽出され、判別精度が向上する。
【００１５】
よって、従来の手法において、注意状態判別の精度を８０％以上とするためには、ＥＦＲＰを加算平均する個数をさらに増やすために、解析区間を１２０秒間以上とする必要があった。
【００１６】
市街地を車で１２０秒間走行すると、複数の交差点を経由することが多いと考えられる。交差点では右左折、停止などの行為が行われ、運転者の前方風景も交差点ごとに大きく変化する。それら状況に応じて、運転者の注意状態も時々刻々変化すると考えられる。１２０秒ごとの解析区間では、複数の交差点間における注意状態をひとまとめにして判別が行われてしまうため、状況に合わせた注意状態が判別できない。
【００１７】
本発明は上記課題に鑑みてなされたものであり、その目的は、分単位の時間が必要な眼球停留関連電位（ＥＦＲＰ）の解析区間を短縮し、市街地等の状況変化が多い場合でも十分な精度で運転注意状態を判別することにある。
【課題を解決するための手段】
【００１８】
本発明による注意状態判別システムは、ユーザの脳波信号を計測する脳波計測部と、前記ユーザの眼球の運動を計測する眼球運動計測部と、前記ユーザの眼球の運動を用いて、前記眼球のサッケードが終了した時刻である眼球停留開始時刻および前記サッケードの移動量を複数検出するサッケード検出部と、各サッケードの移動量に基づいて各サッケードの方向を特定し、特定された各サッケードの方向を分類する分類部であって、分類された方向ごとに、各サッケードに対応する前記眼球停留開始時刻を起点として前記ユーザの脳波信号から切り出した眼球停留電位を加算平均する分類部と、加算平均された前記眼球停留関連電位に基づいて、分類された方向ごとの注意状態を判別する注意量判別部と、前記方向ごとの注意状態の判別結果を用いて、前記ユーザの注意状態を判別する統合判定部とを備えている。
【００１９】
前記注意量判別部は、前記方向ごとに、集中状態または注意散漫状態のいずれに該当するかを判別し、前記統合判定部は、前記注意量判別部によって判別された集中状態および注意散漫状態のうちいずれか多く判別された状態を前記ユーザの注意状態と判別してもよい。
【００２０】
前記統合判別部は、前記注意量判別部による方向ごとの判別結果を多数決することにより、前記ユーザの注意状態を判別してもよい。
【００２１】
前記サッケード検出部は、前記ユーザの眼球の運動量が予め定めた閾値よりも小さくなった時点を、前記眼球停留開始時刻として検出してもよい。
【００２２】
前記注意量判別部は、前記方向ごとに、加算平均された前記眼球停留関連電位のラムダ反応の振幅値と、予め定められた閾値とを比較することにより、分類された方向ごとの注意状態を判別してもよい。
【００２３】
前記注意量判別部は、前記眼球停留開始時刻を起点として、加算平均された前記眼球停留関連電位の１００±１００ミリ秒に含まれる極大値を、ラムダ反応の振幅値として利用してもよい。
【００２４】
前記統合判定部は、一定時間ごとに前記ユーザの注意状態を判別してもよい。
【００２５】
前記注意状態判別システムは、外部環境が変化したタイミングを検出する状況検出部をさらに備え、前記統合判定部は、前記状況検出部によって検出された前記外部環境が変化したタイミングにおいて、前記ユーザの注意状態を判別してもよい。
【００２６】
前記状況検出部は、現在地の情報および地図情報を取得し、前記現在地の情報と地図上の交差点の位置情報とを比較することにより、交差点に差し掛かるタイミングを検出してもよい。
【００２７】
前記統合判別部は、方向ごとの判別結果を多数決することで前記ユーザの注意状態を判別してもよい。
【００２８】
本発明による注意状態判別装置は、眼球の運動を計測する眼球運動計測部によって計測された、ユーザの眼球の運動を用いて、前記眼球のサッケードが終了した時刻である眼球停留開始時刻および前記サッケードの移動量を複数検出するサッケード検出部と、各サッケードの移動量に基づいて各サッケードの方向を特定し、特定された各サッケードの方向を分類する分類部であって、分類された方向ごとに、各サッケードに対応する前記眼球停留開始時刻を起点として、脳波信号を計測する脳波計測部を用いて計測された前記ユーザの脳波信号から切り出した眼球停留電位を加算平均する分類部と、加算平均された前記眼球停留関連電位に基づいて、分類された方向ごとの注意状態を判別する注意量判別部と、前記方向ごとの注意状態の判別結果を用いて、前記ユーザの注意状態を判別する統合判定部とを備えている。
【００２９】
本発明による注意状態判別方法は、ユーザの脳波信号を計測するステップと、前記ユーザの眼球の運動を計測するステップと、前記ユーザの眼球の運動を用いて、前記眼球のサッケードが終了した時刻である眼球停留開始時刻および前記サッケードの移動量を複数検出するステップと、各サッケードの移動量に基づいて各サッケードの方向を特定し、特定された各サッケードの方向を分類するステップであって、分類された方向ごとに、各サッケードに対応する前記眼球停留開始時刻を起点として前記ユーザの脳波信号から切り出した眼球停留電位を加算平均するステップと、加算平均された前記眼球停留関連電位に基づいて、分類された方向ごとの注意状態を判別するステップと、前記方向ごとの注意状態の判別結果を用いて、前記ユーザの注意状態を判別するステップとを包含する。
【００３０】
本発明によるコンピュータプログラムは、注意状態判別装置に実装されたコンピュータによって実行されるコンピュータプログラムであって、前記コンピュータプログラムは、前記コンピュータに対し、ユーザの脳波信号を受け取るステップと、前記ユーザの眼球の運動を受け取るステップと、前記ユーザの眼球の運動を用いて、前記眼球のサッケードが終了した時刻である眼球停留開始時刻および前記サッケードの移動量を複数検出するステップと、各サッケードの移動量に基づいて各サッケードの方向を特定し、特定された各サッケードの方向を分類するステップであって、分類された方向ごとに、各サッケードに対応する前記眼球停留開始時刻を起点として前記ユーザの脳波信号から切り出した眼球停留電位を加算平均するステップと、加算平均された前記眼球停留関連電位に基づいて、分類された方向ごとの注意状態を判別するステップと、前記方向ごとの注意状態の判別結果を用いて、前記ユーザの注意状態を判別するステップとを実行させる。
【発明の効果】
【００３１】
本発明によれば、サッケードの方向ごとに加算平均した眼球停留電位（ＥＦＲＰ）を、それぞれ注意状態判別し、方向ごとの注意量判別結果を用いて最終的な注意状態を判別する。これにより、短い解析区間で注意状態を判別できる。解析区間が短くなることにより、時々刻々環境が変化する市街地でも、交差点間の注意状態などでも、より詳細な注意状態判別が可能になる。
【図面の簡単な説明】
【００３２】
【図１】実験条件と課題の内容を示す図である。
【図２】国際１０−２０法の電極位置を示す図である。
【図３】（ａ）〜（ｃ）は、従来の注意状態の判別手順の流れ図であり、（ｄ）は判別結果を示す判別率である。
【図４】眼電計測のための電極位置を示す図である。
【図５】サッケード方向判定の例を示す図である。
【図６】（ａ）および（ｂ）はサッケード方向別の判別率の分布を示す図である。
【図７】本発明の実施形態による注意状態判別システム１の構成を示す図である。
【図８】注意状態判別装置の具体的構成の一例を示す図
【図９】ヘッドマウントディスプレイ（ＨＭＤ）を示す図である。
【図１０】注意状態判別システム１の処理の手順を示すフローチャートである。
【図１１】眼球運動データ、脳波データおよび判別タイミングの関係の一例を示す図である。
【図１２】ＥＯＧの電位と眼球の移動角度の対応関係の例を示す図である。
【図１３】（ａ）は計測された眼球運動データ、脳波データ、眼球停留開始時刻の例を示す図であり、（ｂ）は切り出されたＥＦＲＰの例を示す図であり、（ｃ）は方向ごとに加算されたＥＦＲＰの例を示す図であり、（ｄ）は、右方向のサッケードの終了時刻を起点にしたＥＦＲＰが加算平均された波形を示す図である。
【図１４】ＥＦＲＰ分類部６０の処理の詳細な手順を示すフローチャートである。
【図１５】処理中のＥＦＲＰおよびそのサッケード情報の例を示す図である。
【図１６】非均等な角度の方向分類の一例を示す図である。
【図１７】注意量判別部７０から出力された注意状態判別結果の一例を示す図である。
【図１８】統合判別部８０の処理の詳細な手順を示すフローチャートである。
【図１９】（ａ）は、車にカーナビゲーションシステムが設置されているときの重み付けの例を示す図であり、（ｂ）は注意量判別部７０により判別された方向ごとの注意状態判別結果の一例を示す図である。
【図２０】（ａ）は、解析区間を従来と同様に１２０秒に揃えた場合の比較結果を示す図であり、（ｂ）は、同様の実験のデータを用いて、一定の判別精度を維持したまま、どこまで解析区間が短くできるかを評価した結果を示す図である。
【図２１】本実施形態の変形例にかかる注意状態判別システム２のブロック構成を示す図である。
【図２２】本発明の実施形態の変形例に係る注意状態判別システム２の全体処理のフローチャートである。
【発明を実施するための形態】
【００３３】
以下、添付の図面を参照しながら、本発明の実施形態を説明する。
【００３４】
本願発明者らは、従来手法の注意状態判別手法と比較して、サッケード方向ごとにＥＦＲＰを分類して加算平均したときに、各方向の注意状態判別精度がどのような傾向を示すのかを分析した。その結果、本願発明者らは、サッケード方向ごとに注意状態判別の精度に偏りが存在し、判別精度の低い方向は人や状況ごとに異なること、および、その方向を事前に予測することは不可能である、という特性を見出した。
【００３５】
まず、この分析のために本願発明者らが実施したＥＦＲＰ計測実験内容及び実験結果から得られた知見について説明する。
【００３６】
実験参加者は男性１７名で平均年齢は２２．１±１．８歳である。本願発明者らは、実験参加者に２つの課題を並行して実施してもらう二重課題法による実験を行った。
【００３７】
第１の課題は、運転課題である。ドライビングシミュレータ（三菱プレシジョン製。以降「ＤＳ」と省略する。）で約４分の市街地コースを運転する課題を行った。市街地コースの道路状況は、制限速度内で自由に走行できる程度の混雑状況に設定した。コースには同じレーンの自車の前方および後方にそれぞれ車両を配置するとともに、対向車線にも車両を配置し、さらに歩行者を配置した。実験参加者はカーナビゲーションシステム画面に表示される指示に従い、所定の道順を走行した。但し、道順の確認は実験参加者自身による画面の目視のみで行い、音声案内は行わなかった。
【００３８】
第２の課題は、認知負荷課題である。実験参加者の注意資源を実験的に運転から逸らすことを目的に、音声質問に対して口答で回答する課題を行った。軽度な認知負荷条件（簡単質問負荷）では、考えずに回答可能な、実験参加者個人のプロフィールに関する質問を行った（例えば、「名前は？」、「年齢は？」など）。重度な認知負荷条件（困難質問負荷）では、運転への注意を阻害し、地図を思い浮かべる等、視覚的な思考を要求する質問を行った（例えば、「地中海に面している国をお答えください」、など）。この認知負荷は、運転中の考え事や思い出に関連する会話などを実験的に模擬している。
【００３９】
続いて実験条件について説明する。本実験では図１に示す２つの条件で運転中の脳波を計測した。第１の条件は運転集中条件である。運転集中条件では、実験参加者はＤＳ操作（運転負荷）と簡単質問負荷とを並行して実施する。簡単質問負荷はそれほど認知負荷が大きくないため実験参加者は運転に集中できる状態と考えられる。第２の条件は注意散漫条件である。注意散漫条件では、実験参加者は、ＤＳ操作（運転負荷）と困難質問負荷を並行して実施する。困難質問負荷は認知負荷が大きいため、実験参加者は多くの注意資源をこの課題の遂行に割かなければならなくなり、その結果運転に対して注意散漫な状態になると考えられる。
【００４０】
実験参加者は脳波計（ティアック製、ポリメイトＡＰ−１１２４）を装着し、電極は国際１０−２０電極法に従って配置した。図２は、国際１０−２０法の電極位置を示す。図２に示す記号を用いて説明する。導出電極は後頭部Ｏｚ（Ｏ１とＯ２の中間）に配置され、基準電極は左右の耳付近の各マストイドＡ１およびＡ２に配置され、接地電極は前額部に配置されるとした。脳波の計測は、左右の各マストイドＡ１およびＡ２の電位の平均を基準として後頭部Ｏｚの電位を計測した。本願発明者らは、サンプリング周波数５００Ｈｚ、時定数３秒で計測した脳波データに対して１Ｈｚ以上１５Ｈｚ以下のバンドパスフィルタ処理をかけた。そして、サッケード終了時刻すなわち眼球停留開始時刻を起点に−３００ミリ秒から６００ミリ秒の脳波データを切り出し、０ミリ秒の電位値でベースライン補正を行った。
【００４１】
判別率は前記の実験におけるＥＦＲＰを分析して試算した。ここで判別率とは運転集中状態か注意散漫状態かの２状態の判別がどれぐらいの割合でできたかを示す指標である。解析区間の時間幅ＴＷ＝１２０秒、次の解析区間の時間シフト量ＴＳ＝１０秒とした場合に、運転集中条件（運転＋簡単質問負荷時）のラムダ反応振幅値から正しく運転集中と判別できた割合、および注意散漫条件（運転＋困難質問負荷時）のラムダ反応振幅値から正しく注意散漫と判別できた割合の平均値を上記判別率としている。
【００４２】
上記の判別率算出方法に基づき、従来手法を利用した場合の判別率と、サッケードの方向ごとにＥＦＲＰを分類した場合の判別率とをそれぞれ算出した。
【００４３】
以下、従来手法を用いた判別について図３を用いて説明する。
【００４４】
図３（ａ）〜（ｃ）は、従来の注意状態の判別手順の流れ図である。まず解析区間１２０秒に含まれる全ての眼球停留開始時刻を検出し、各眼球停留開始時刻を起点にした脳波（ＥＦＲＰ：眼球停留関連電位）波形を抽出する（図３（ａ））。１２０秒に含まれる全てのＥＦＲＰ波形を加算平均して、ＥＦＲＰ加算平均波形を算出する（図３（ｂ））。そしてＥＦＲＰ加算平均波形のラムダ反応（０より大きく２００ミリ秒以下に含まれる極大値）と閾値との比較により、特徴量が閾値以上の場合を集中状態と判別し、閾値以下の場合を散漫状態と判別する。一般に、ＥＦＲＰ波形のグラフの縦軸は、下向きが正、上向きが負として記述される。図３（ｂ）の波形例では、ＥＦＲＰ加算平均波形の極大値は閾値よりも大きいので、判別結果は「集中」と判別される（図３（ｃ））。上記判別方法を時間シフト量（１０秒）ずつずらしながら繰り返し判定を行うと、その判別率は７９．６％であった。また、図３（ｄ）に示すように解析区間を６０秒に短縮した場合には、７２．３％となった。
【００４５】
図３（ｄ）によれば、従来の方法で８０％程度の精度を得るためには、加算回数を十分に確保するために解析区間を１２０秒とする必要があることがわかる。
【００４６】
次に、サッケードの方向ごとのＥＦＲＰの分類を説明する。サッケードの方向ごとにＥＦＲＰを分類した判別では、解析区間１２０秒に含まれる眼球停留開始時刻を検出し、サッケードの方向ごとにＥＦＲＰを抽出した。
【００４７】
ここで、サッケードの検出とサッケード方向の分類方法を説明する。サッケードの検出は、ＥＯＧ（Ｅｌｅｃｔｒｏ-ｏｃｕｌｏｇｒａｍ）法を利用して、水平方向の眼球移動量、垂直方向の眼球移動量を計測して行った。「ＥＯＧ法」とは、眼球の角膜が網膜に対して正に帯電する性質を利用し、眼球の左右および上下に配置した電極の電位変化から眼球運動を計測する方法である。図４は、ＥＯＧ法によって眼球運動を計測するための電極位置の例を示す。図４に示すように、実験参加者の目の上下（Ｖ１、Ｖ２）、左右（Ｈ１、Ｈ２）の位置に電極を配置した。Ｈ１とＨ２、Ｖ１とＶ２の電位差をそれぞれ計測し、電位の大きさに基づいて、水平方向、及び、垂直方向の移動量を計測した。
【００４８】
次にサッケード検出方法を説明する。従来文献（宮田洋ら、新生理心理学１、１９９８、ｐ２５６、北大路書房）によれば、サッケードに要する時間は通常２０ミリ秒以上７０ミリ秒以下で、サッケードの速度は視角で表すと３００度／秒以上５００度／秒以下であるとされている。したがって、眼球の運動方向が所定時間（例えば、２０ミリ秒以上７０ミリ秒以下）連続して同じであり、かつ当該所定時間の平均角速度が３００度／秒以上である眼球運動をサッケードとし、その終了時刻を検出することにより、眼球停留開始時刻を検出できる。
【００４９】
次に、サッケード方向の分類方法を説明する。サッケード方向は、サッケード検出の閾値（３００度／秒）、水平方向の移動量および垂直方向の移動量を利用して８方向に分類される。図５は、方向分類のパターンを示す。図５の「○」は移動量が閾値を越えたことを示し、「×」は移動量が閾値以下であることの移動量の場合を示す。水平方向（例えば右方向）のみが閾値を超えている場合は、方向は「右」と分類され、垂直方向（例えば上方向）のみが閾値を超えている場合は、方向は「上」と分類される。水平方向（例えば右方向）と垂直方向（例えば上方向）の両方が閾値を超えている場合は、方向は「右上」と分類される。この判定を上下左右４つの組み合わせにおいて行い、方向を分類する。
【００５０】
例えば、水平方向の眼球移動量が右方向４００度／秒、垂直方向の眼球移動量が上方向５０度／秒のサッケードを考える。このサッケードは、右方向の眼球移動量のみが閾値を越えている。よって、方向は「右」と判定される。
【００５１】
サッケード方向ごとにＥＦＲＰ加算平均波形を算出し、ラムダ反応と閾値とを比較することにより、方向ごとの判別率が算出される。例えば、右方向の判別率を求める場合には、解析区間１２０秒に含まれる右向きにサッケードした際の眼球停留開始時刻を検出し、ＥＦＲＰ波形を抽出する。抽出したＥＦＲＰ波形を加算平均して、右方向のＥＦＲＰ加算平均波形を算出し、ラムダ反応の抽出を行う。そして右方向ＥＦＲＰ加算平均波形のラムダ反応と閾値とを比較することにより、右方向の判別率が算出される。
【００５２】
図６は、本願発明者らが行った方法により、方向ごとに算出した判別率の結果を示す。図６（ａ）は、１７名中の２人の実験参加者（実験参加者Ａ、実験参加者Ｂ）の方向別の判別率を示している。図のレーダーチャートは、８方向の判別率を示す。チャートの半径が判別率を示しており、中心が０％で、外側が１００％で、２０％刻みで点線が記されている。
【００５３】
方向を区別しない従来手法での実験参加者Ａの判別率は５７．４％であった。実験参加者Ａの方向別の判別率を見ると、右上、上、左、右下方向の判別率が８０％を上回っている。一方、右、左上、左下方向の判別率は約５０％と低いことがわかる。同様に、実験参加者Ｂは、従来手法の判別率は５０．０％であるのに対し、上、左下方向の判別率は高く、下、右下方向の判別率は低いことがわかる。
【００５４】
よって、従来手法では判別精度は低いものの、サッケード方向ごとに精度を見ると判別精度の分布にバラツキがあること、および、判別精度の低い方向は、人ごとに異なっていることがわかる。
【００５５】
また、同一の実験参加者Ａについて、第１の課題であるＤＳ運転課題の道路状況を変化させた条件で、判別率を算出した。各道路状況では、例えば、走行コースや自車の周辺にいる車の位置、台数等が異なっている。図６（ｂ）は、３つの異なる道路状況下で得られた、実験参加者Ａの判別結果を示す。図のレーダーチャートは、図６（ａ）の書式と同様である。図６（ｂ）によれば、判別率は、同一の実験参加者においても異なることが理解される。すなわち、道路状況１では、右、左上、左下方向が低く、道路状況２では、上、左下方向が低く、道路状況３では、右、左下、右下方向が低い。
【００５６】
図６（ｂ）に示されるとおり、判別率が低い方向は、同一の人でも状況に応じて異なっていることがわかる。また、事前に判別率が低い方向を予測することが難しいこともわかる。
【００５７】
上記の結果より、サッケード方向ごと精度を見ると、判別精度の低い方向が存在し、その方向は人や状況ごとに異なり、事前に予測不可能であるという知見が得られた。
【００５８】
上記知見の理由を考察すると、運転中は個人や状況によって、他車や歩行者など運転者の注意をはらう部分に偏りができ、特定の方向に注意が偏ったり、特定の方向を見たときのノイズ混入率が高まるといえる。それにより、サッケードの方向ごとに精度のばらつきが出ていると考えられる。
【００５９】
ここまでに記載した実験結果、および実験結果より得られた知見に鑑みると、サッケードの方向別にＥＦＲＰを分類し、方向ごとに判定した結果を統合して最終的な判別結果を導出することで、同じ解析区間であれば判別精度が向上し、同じ判別精度を維持するなら解析区間の短縮を図ることができるとの着想に至った。
【００６０】
以下、この着想に基づき構成した本発明の実施形態の詳細と、本発明の実施形態に基づき上記データを分析した場合の効果について、自動車の運転時における注意状態判別を例にとり、図面を参照しながら説明する。また、運転時の例に伴い、以下では注意状態判別装置およびシステムのユーザを運転者と表現して説明する。
【００６１】
（実施形態１）
図７は、本実施形態による注意状態判別システム１の構成を示す。
【００６２】
注意状態判別システム１は、運転者１０の脳波信号、より具体的には脳波信号の一成分である眼球停留関連電位を利用して、サッケードが生じた方向ごとに注意量を判別する。そしてそれらの結果を総合して、最終的に運転者１０の運転に対する注意状態を判別する。本実施形態における「運転に対する注意状態」とは、運転に対して注意を集中していたか、または、注意が散漫であったかのいずれかの状態を意味する。注意状態判別システム１は、運転者１０の運転に対する注意状態に応じて、注意喚起を促すよう表示画面（図示せず）に警告等を表示し、または注意状態の判別結果を記憶装置に蓄積する。
【００６３】
注意状態判別システム１は、運転者１０の脳波を計測する脳波計測部２０と、運転者１０の眼球の動きを計測する眼球運動計測部３０と、注意状態判別装置１００とを含んでいる。なお、運転者１０のブロックは説明の便宜のために示されている。
【００６４】
注意状態判別装置１００は、サッケード検出部４０と、分類部４５と、注意量判別部７０と、統合判定部８０とを含んでいる。
【００６５】
以下、各構成要素を概略的に説明し、その後各々を詳細に説明する。
【００６６】
サッケード検出部４０は、眼球運動計測部３０による眼球の動き（眼球運動）からサッケードの終了時刻（眼球停留開始時刻）およびサッケード移動量等のサッケード情報を検出する。なお、後述のように、サッケード移動量に基づけばサッケード方向を特定することは可能である。よって、サッケード検出部４０がサッケード方向を求め、サッケード情報に含めて出力してもよい。
【００６７】
分類部４５は、脳波計測部２０が計測したユーザ１０の脳波信号を取得し、また、サッケード検出部４０からサッケード情報を取得する。分類部４５は、ユーザ１０の脳波信号およびサッケード情報から、眼球停留開始時刻を起点とした眼球停留関連電位を切り出す。続いて分類部４５は、サッケード情報を利用して切り出した眼球停留関連電位ＥＦＲＰに対応するサッケード方向を求めて分類し、分類された方向ごとに眼球停留関連電位ＥＦＲＰを加算平均して出力する。
【００６８】
注意量判別部７０は、方向ごとのＥＦＲＰをそれぞれ注意状態判別し、方向ごとの注意状態を判別する。
【００６９】
統合判定部８０は、方向ごとの判別処理結果を用いて注意状態を判別し、結果を蓄積し、または、出力する。
【００７０】
以下、各構成要素を詳細に説明する。
【００７１】
脳波計測部２０は、運転者１０の頭部に装着された電極における電位変化である脳波信号を計測する脳波計である。本願発明者らは、将来的には装着型の脳波計を想定している。そのため、脳波計はヘッドマウント式脳波計であってもよい。運転状態判別システム１の使用時において、運転者１０は予め脳波計を装着しているものとする。
【００７２】
運転者１０の頭部に装着されたとき、その頭部の所定の位置に接触するよう、脳波計測部２０には電極が配置されている。例えば図２に示す国際１０−２０法の電極位置において、後頭部（Ｏ１またはＯ２またはその中間のＯｚ）、左耳朶（Ａ１）、右耳朶（Ａ２）および前額部に電極を配置する。
【００７３】
従来文献（宮田洋ら、新生理心理学１、１９９８、ｐ２６２、北大路書房）によれば、認知や注意を反映し、眼球停留開始時刻を起点として約１００ミリ秒付近に現れるラムダ成分は、後頭部で優位に出現するとされている。但し、後頭部周辺のＰｚ（頭頂中央）でも計測は可能であり、当該位置に電極を配置しても良い。この電極位置は、信号計測の信頼性および装着の容易さ等から決定される。また、電極の個数を減らすことも可能である。例えば電極数を、電極Ｏｚ、Ａ１および接地電極の３個にした場合でもでも脳波を計測することは可能である。
【００７４】
この結果、脳波計測部２０は運転者１０の脳波を計測できる。計測された脳波信号は、コンピュータで処理できるようにサンプリングされ、予め決められた一定時間分のデータは脳波計測部２０の記憶部に一次的に記憶され、かつ随時更新することができる。なお、脳波計測部２０において計測される脳波信号を予め例えば３０Ｈｚのローパスフィルタ処理することにより、脳波信号に混入するノイズの影響を低減することができる。
【００７５】
眼球運動計測部３０は、眼球運動の動きを計測する。眼球運動の計測は、例えばＥＯＧ（ｅｌｅｃｔｒｏ−ｏｃｕｌｏｇｒａｍ）法に基づいて計測する。
【００７６】
上述の通り、図４は、ＥＯＧ法によって眼球運動を計測する眼球運動計測部３０の電極位置の例を示している。電極Ｈ１およびＨ２は左右こめかみの位置に装着され、２つの電極の電位差から水平方向の電位が計測される。また、電極Ｖ１およびＶ２は左または右の眼球の上下位置に装着され、２つの電極の電位差から垂直方向の電位が計測される。
【００７７】
ＥＯＧ法で計測する場合は、眼球運動計測部３０は、後述の図１２に示す電位変化量と眼球の移動角度の対応表より、水平方向および垂直方向の電位変化量から眼球の水平方向、垂直方向の移動量を推測する。水平方向の電位変化量及び垂直方向の電位変化量により、視線の移動量を推測できる。後述のサッケード検出部４０は、視線の移動量と閾値とを比較し、閾値を超えた視線移動を検出した場合には、当該視線移動をサッケードとして検出し、視線移動の終了時刻を眼球停留開始時刻と判定する。
【００７８】
なお、上記の例では、ＥＯＧ法を用いて眼球の動きを計測したが、眼球運動の計測方法はこれに限定されるものではない。例えば、近赤外線を眼球に照射し、その反射像（角膜反射像）を利用して眼球の動きを計測してもよい（角膜反射法）。この場合は、反射像の動きから計測された水平方向および垂直方向の眼球移動量によって視線移動量を算出し、閾値との比較を行う。または、眼球を撮影するカメラを車内に設置し、画像処理により角膜の位置を検出し、水平方向および垂直方向の眼球の移動量を計測してもよい。また、画像処理を利用する場合は、撮影された画像中の角膜の位置（たとえば画像中のピクセル座標）を検出し、角膜座標の移動量と眼球の移動角度の対応表を利用することにより、水平方向および垂直方向の眼球の移動量を計測する。
【００７９】
再び図７を参照する。
【００８０】
分類部４５は、ＥＦＲＰ切出部５０およびＥＦＲＰ分類部６０を有している。
【００８１】
ＥＦＲＰ切出部５０は、サッケード検出部４０からサッケード情報を受け取り、サッケード情報に基づいて眼球停留開始時刻を特定する。そしてＥＦＲＰ切出部５０は、サッケードの終了時刻を起点に脳波信号を切り出し、眼球停留電位の波形（ＥＦＲＰ波形）を抽出する。
【００８２】
ＥＦＲＰ分類部６０は、サッケード検出部４０からサッケード情報を受け取り、そのサッケード情報から各サッケードの方向（サッケード方向）を分類する。そしてＥＦＲＰ分類部６０は、切り出したＥＦＲＰ波形を、分類したサッケード方向ごとに加算平均する。
【００８３】
注意量判別部７０は、ＥＦＲＰ分類部６０が加算平均したサッケード方向ごとのＥＦＲＰに基づき、その方向ごとに注意状態を判別する。本実施形態による注意量判別部７０は、ＥＦＲＰのラムダ反応の振幅値と予め保持する閾値とを比較することにより、集中または散漫の２つの注意状態のいずれに該当するかを判別する。
【００８４】
統合判別部８０は、注意量判別部７０でのサッケード方向ごとの判別結果に基づいて、運転者１０の注意状態を判別する。本実施形態による統合判別部８０についても、最終的には集中または散漫の２つの注意状態のいずれに該当するかを判別する。注意状態の判別結果は、統合判別部８０が保持する出力装置（図示せず）を利用して、運転者１０にフィードバックされる。出力装置の一例は、音声、動作音または警告音等によって運転者への呼びかけるためのスピーカである。出力装置の他の例は、テキストや画像を提示できるカーナビゲーションシステムのモニタ、ヘッドマウントディスプレイ、または、ヘッドアップディスプレイ（ＨＵＤ）である。また、統合判別部８０は記録装置（ＨＤＤ等）を保持していてもよく、判別結果の記録、蓄積を記録装置に行ってもよい。
【００８５】
次に、注意状態判別システム１の具体的な構成を説明する。
【００８６】
以下では、注意状態判別システム１をヘッドマウントディスプレイ（Head Mounted Display：以下「ＨＭＤ」とも記述する。）に組み込んだ例を説明する。
【００８７】
図８は、ヘッドマウントディスプレイ上に注意状態判別システム１を構成した例を示す。図８では、図７に示す各構成要素に付された参照符号と同じ機能を有する構成要素には、同じ参照符号が付されている。
【００８８】
ＨＭＤは眼鏡型であり、ＨＭＤを運転者１０の頭部に固定するために、後頭部側にバンドを有している。後頭部側にバンドには、脳波計測部２０の一部の電極が設けられている。
【００８９】
図９は、ＨＭＤの各部位の名称を示す。図９の例では、各部位の名称は眼鏡における各部位の一般的な名称と同一とする。以下、眼鏡の主な部位の名称を説明する。
ユーザ１０の耳に引っ掛かりＨＭＤ本体を固定する部分を「先セル部１０１」と呼ぶ。ユーザ１０の鼻根に接する部分を「ノーズパッド部１０４」と呼ぶ。眼鏡のレンズの枠の部分を「リム部１０２」と呼ぶ。また、先セル部１０１とリム部１０２とをつなぎ支える部分を「テンプル部１０３」と呼ぶ。先セル部１０１、リム部１０２、テンプル部１０３、ノーズパッド部１０４は、ＨＭＤの左右にそれぞれ対称的に設けられる。
【００９０】
図８および図９から理解されるように、対となる２つの先セル部１０１と、後頭部側のバンドの中央に、脳波計測部２０が脳波を計測するために利用する電極群が配置されている。また、テンプル部１０３、リム部１０２の上下の位置には眼球運動計測部３０が眼球運動を計測するために利用する電極群が配置されている。
【００９１】
運転者１０がＨＭＤを装着した時において、脳波計測部２０の電極は両耳耳朶（マストイド）の位置と後頭部に自然に接するように配置されている。また、眼球運動計測部３０の電極は、運転者１０のコメカミと左目上下の位置に電極が自然に接するように配置されている。なお、脳波計測部２０及び眼球運動計測部３０の本体は、それぞれある１つの電極と一体的に構成されていてもよいし、リム部１０２の位置などに独立した回路として設けられていてもよい。
【００９２】
なお、脳波計測部２０、眼球運動計測部３０の電極は、それぞれ銀塩化銀電極により接触抵抗が抑えられている。後頭部に接する電極については、電極表面に突起を設けて髪の毛をよけて直接電極が頭皮に接する機構を設けてもよく、必ずしも電極にペーストをつけておく必要は無い。
【００９３】
なお、眼球運動計測部３０は、図４の例では、左目の上下左右に装着されるようになっているが、ＥＯＧ計測のための電極位置は、これに限定されない。例えば、左右いずれかのテンプル部１０３の電極をノーズパッド部１０４に配置して、水平方向のＥＯＧを計測してもよい。また、リム部１０２の電極を、テンプル部１０３に垂直方向に配置して垂直方向のＥＯＧを計測してもよい。
【００９４】
サッケード検出部４０、ＥＦＲＰ切出部５０、ＥＦＲＰ分類部６０、注意量判別部７０、統合判別部８０は、左右のテンプル部１０３に配置され、図７に示される接続関係を有するよう、それぞれが内部配線（ケーブル）で接続される。
【００９５】
なお、上記構成では、ＨＭＤ上に注意状態判別システム１の全ての構成を独立の部品として配置する例を説明したが、構成はこの限りではない。たとえば、ＨＭＤ上には脳波計測部２０、眼球運動計測部３０のみを配置し、サッケード検出部４０、ＥＦＲＰ切出部５０、ＥＦＲＰ分類部６０、注意量判別部７０、統合判別部８０を別端末に構成し、ＨＭＤと別端末間をケーブルや無線で通信することにより、注意状態判別システム１を構成してもよい。また、サッケード検出部４０、ＥＦＲＰ切出部５０、ＥＦＲＰ分類部６０、注意量判別部７０、統合判別部８０は、同一のＣＰＵやＤＳＰ内部で処理されてもよい。
【００９６】
また、眼球運動計測部３０がＥＯＧ法ではなく、カメラ等を用いて眼球運動を計測する場合には、眼球または近赤外線照射による角膜反射像を撮影するためのカメラを、ＨＭＤリム部１０２やテンプル部１０３、または車内に配置すればよい。
【００９７】
次に、注意状態判別システム１の動作を説明する。
【００９８】
図１０は注意状態判別システム１の処理の手順を示すフローチャートである。以下、図１０のフローチャートに沿って、注意状態判別システム１の動作を説明する。
【００９９】
ステップＳ１０において、運転が運転者１０により開始される。運転が開始されると、運転注意状態判別システム１による注意状態判別の処理も開始される。運転の開始は、例えば、エンジンスタート、サイドブレーキの解除、アクセルの踏み込みによって特定される。
【０１００】
ステップＳ２０において、脳波計測部２０は、運転者１０の脳波を計測する。計測された脳波は、コンピュータで処理できるようにサンプリングされ、ＥＦＲＰ切出部５０に送られる。なお、脳波に混入するノイズの影響を低減するため、本実施形態においては、脳波計測部２０は、計測された脳波に例えば１Ｈｚ以上１５以下Ｈｚのバンドパスフィルタ処理を行う。
【０１０１】
ステップＳ３０において、眼球運動計測部２０は、運転者１０の眼球運動を計測する。眼球運動計測部３０は、図４に示すように運転者１０の顔面部に４つの電極を装着し、ＥＯＧ法により、水平方向、垂直方向の眼電位の大きさを計測する。計測の方法は上述の実験の方法と同一である。計測された眼電位は、コンピュータで処理できるようにサンプリングされ、サッケード検出部４０に送られる。なおステップＳ２０およびＳ３０は並行して行われ得る。
【０１０２】
ステップＳ８１において、統合判別部８０は、注意状態を判別するタイミングかどうかを判断する。本実施形態では、注意状態判別のタイミングは１０秒間隔とする。統合判別部８０は、１０秒ごとに注意状態判別が行われるよう、判別のタイミングを制御する。判別タイミングではない場合は、ステップＳ２０の脳波計測、および、ステップＳ３０の眼球運動計測が継続される。統合判別部８０によって判別タイミングであると判断されると、ステップＳ４０以降の注意状態を判別する処理が開始される。
【０１０３】
図１１は、眼球運動データ、脳波データおよび判別タイミングの関係の一例を示す。図の横軸は時間で、判別タイミングは白矢印で示されている。本実施形態では、判別タイミングは、脳波データや眼球運動データとは関係なく、１０秒ごとの時間シフト量で実行される。
【０１０４】
再び図１０を参照する。ステップＳ４０において、サッケード検出部４０は、解析対象となる時区間（以後、「解析区間」と呼ぶ）の眼球運動データを解析し、解析区間に含まれるサッケード終了タイミング（すなわち、眼球停留開始時刻）を検出する。本実施形態では、解析区間は４０秒間とする。図１１は、解析区間の例を示す。判別タイミング（ａ）のときの解析区間は、判別タイミング（ａ）の直前４０秒間となり、解析区間（ａ）の矢印の示す範囲となる。なお、解析区間の長さを４０秒間とした理由は、本願発明者らは平均的な交差点間隔を４０秒と考えたためである。自動車が市街地を時速４０ｋｍ／時で移動している場合には４０秒間に走行する距離は約４４０ｍであり、交差点または信号機間の間隔よりも短いと考えられる。
【０１０５】
サッケード検出部４０は、例えば、上記実験のサッケード検出条件（移動時間２０ミリ秒以上７０ミリ秒以下で、平均角速度が３００度／秒以上の眼球運動）に基づきサッケードを検出する。サッケード終了時刻を眼球停留開始時刻として検出し、眼球停留開始時刻ごとに、水平方向の移動量、垂直方向の移動量をサッケード情報として蓄積する。眼球運動計測部３０がＥＯＧ法で計測されていた場合、眼球の速度は、電位の変化量で計測することができる。図１２は、ＥＯＧの電位と眼球の移動角度の対応関係の例を示す。図１２の対応関係から、眼球電位の振幅値と眼球の移動量との対応付けが可能になる。これらの関係から、眼球運動の電位量から上記のサッケードの発生条件を満たすか否かを判定し、眼球停留開始時刻を検出する。
【０１０６】
また、サッケードは斜め方向に発生することも考えられる。斜め方向のサッケードの検出では、水平方向の移動量と垂直方向の移動量を利用する。斜め方向の眼球運動の移動量は、（（水平方向の移動量）2＋（垂直方向の移動量）2）1/2で算出できる。サッケード検出は、斜め方向の眼球運動の移動量とサッケード検出条件（平均角速度が３００度／秒以上）を比較により行う。検出されたサッケードの終了時刻により、眼球停留開始時刻を検出する。
【０１０７】
図１３（ａ）は計測された眼球運動データ、脳波データ、眼球停留開始時刻の例を示す。図１３（ａ）に示すように、眼球停留開始時刻は１解析区間の中に複数含まれることがある。サッケード検出部４０は、これら全ての眼球停留開始時刻ｔ１、ｔ２、・・・、ｔ８を検出する。
【０１０８】
なお、サッケードの検出方法として、最初に水平および垂直方向のそれぞれのサッケードを独立して検出し、その後、時区間が重複している水平および垂直方向のサッケードの組を１つに統合してもよい。または、まず水平眼球運動データおよび垂直眼球運動データを合成してベクトルデータを得て、その後、当該ベクトルデータの向きおよび大きさのデータに基づいてサッケードの検出を行う方法を用いても良い。
【０１０９】
また、眼球停留開始時刻の検出と同時に、サッケード移動方向や、必要に応じてサッケード移動量も抽出される。サッケード移動方向は、上述のベクトルデータを利用すれば、そのベクトルの向き（角度）として得ることができる。一方サッケードの移動量は、サッケード開始からサッケード終了までの移動量（ＥＯＧ法では電位(μＶ)や、角膜反射法では角度（度））の情報で、検出された全ての眼球停留開始時刻に対応して抽出される。
【０１１０】
なお、「サッケードの移動量」とは、方向を判別するための、水平方向に移動した量および垂直方向に移動した量を包含する概念であり、サッケード開始時の位置と、サッケード終了時の位置との間の単なる距離ではないことに留意されたい。
【０１１１】
上述の眼球停留開始時刻、サッケード移動方向およびサッケードの移動量は、サッケード情報としてＥＦＲＰ分類部６０に送信される。
【０１１２】
図１０のステップＳ５０において、ＥＦＲＰ切出部５０は、解析区間に含まれる眼球停留関連電位（ＥＦＲＰ）を切り出す。具体的には、ステップＳ４０で抽出した各眼球停留開始時刻を起点として、−３００ミリ秒から６００ミリ秒までの脳波データをＥＦＲＰとして切り出す。
【０１１３】
図１３（ｂ）は切り出されたＥＦＲＰの例を示す。切り出されたＥＦＲＰは、眼球停留開始時刻（０ミリ秒）の電位が０μＶになるようにベースライン補正が行われる。
【０１１４】
なお上述の「切り出し」とは、脳波データと眼球停留開始時刻の情報とを対応付けるという意味を持つ。よって、処理のために解析区間の脳波データを取り出してメモリの別領域等にコピーする、という意味の切り出しに限定されない。たとえば、記録された脳波データのうち、所定区間の脳波データ自体をそのまま用いることも包含する。
【０１１５】
図１０のステップＳ６０において、ＥＦＲＰ分類部６０は、切出されたＥＦＲＰをサッケードの方向ごとに分類し、それぞれの方向のＥＦＲＰを加算平均する。図１３（ｃ）は、方向ごとに加算されたＥＦＲＰの例を示す。サッケード方向分類や加算平均などのＥＦＲＰ分類部６０の処理の詳細については後述する。本実施形態では、一例としてサッケード方向を８方向に分類する。
【０１１６】
図１０のステップＳ７０において、注意量判別部７０は、ステップＳ６０において方向ごとに加算平均されたＥＦＲＰ波形のそれぞれについて、注意状態を判別する。
【０１１７】
まず、注意量判別部７０は、各方向のＥＦＲＰ加算平均波形において、約１００ミリ秒付近の陽性の成分であるラムダ反応の振幅値を計測する。ここで図１３（ｄ）を参照しながら、具体的に説明する。 図１３（ｄ）は、右方向のサッケードの終了時刻を起点にしたＥＦＲＰが加算平均された波形を示している。グラフの横軸は時間で単位はミリ秒、縦軸は電位で単位はμＶで下向きが正の値となっている。併せて図１３（ｄ）は、ラムダ反応振幅の例も示している。本実施形態では、ラムダ反応の振幅は、例えば５０ミリ秒以上１５０ミリ秒以下における極大値の振幅により算出している。なお、波形には波形のドリフトやノイズ混入の影響が反映されている場合がある。そこで、ラムダ反応の振幅を、上述の５０ミリ秒以上１５０ミリ秒以下の極大値に代えて区間平均値を算出することによって抽出してもよい。
【０１１８】
計測されたラムダ反応振幅の値と予め設定した閾値とを比較することにより、注意量判別部７０は、注意状態を判別する。本実施形態では、集中および散漫の２つの注意状態を判別する。ラムダ反応振幅の傾向として、集中時にはその振幅が大きくなることが知られている（八木「眼球停留関連電位の産業場面への応用」心理学評論，ｖｏｌ．４５（１）、１０３−１１７。２−２章）。この特徴を利用して、注意量判別部７０に設定されている閾値により、注意状態を判別する。判別では、ラムダ反応振幅が閾値を超える場合は「集中」、閾値を下回る場合は「散漫」と判断する。
【０１１９】
いま、閾値が２．５μＶと設定されていた場合を例に挙げて、図１３（ｄ）のＥＦＲＰ加算平均波形の注意状態判別を説明する。ＥＦＲＰ加算平均波形のラムダ反応振幅は５０ミリ秒以上１５０ミリ秒以下に含まれる極大値として、６０ミリ秒付近の極大値が抽出される。この極大値の振幅値３．３μＶがラムダ反応振幅となる。ラムダ反応振幅値３．３μＶは、閾値である２．５μＶを超えているため、注意量判別部７０は、図１３（ｄ）のＥＦＲＰ加算平均波形は「集中」を意味していると判別する。
【０１２０】
注意量判別部７０は、分類された全てのサッケード方向ごとに注意量を判別し、判別結果を統合判別部８０に出力する。本実施形態では、８方向に分類しているため、８個の注意状態判別結果が注意量判別部７０から出力される。
【０１２１】
図１０のステップＳ８０において、統合判別部８０は、ステップＳ７０において判別されたサッケード方向ごとの判別結果を統合し、運転者１０の注意状態を判別する。統合判別部８０の詳細な処理については後述する。
【０１２２】
次に、図１４を参照しながら、図１０のステップＳ６０で行われるＥＦＲＰ分類部６０の処理の詳細を説明する。
【０１２３】
図１４は、ＥＦＲＰ分類部６０の処理の詳細な手順を示すフローチャートである。
【０１２４】
ステップＳ６０１において、ＥＦＲＰ分類部６０は、ステップＳ４０において計測されたサッケード情報と、ステップＳ５０において切出されたＥＦＲＰ波形のデータとを受信する。
【０１２５】
ステップＳ６０２において、ＥＦＲＰ分類部６０は、受信したＥＦＲＰ波形のうち、処理していないＥＦＲＰ波形を１つ選択する。ここでいう「処理」とは、サッケード方向に応じてＥＦＲＰを分類する処理を意味している。
【０１２６】
ステップＳ６０３において、ＥＦＲＰ分類部６０は、選択されたＥＦＲＰの起点となった眼球停留開始時刻のサッケード情報から、サッケードの方向を特定する。ＥＦＲＰおよびサッケード情報は、眼球停留開始時刻の時刻情報で対応付けられており、サッケード情報には、水平方向の移動量、垂直方向の移動量が保持されている。ＥＦＲＰ分類部６０は、水平方向の移動量、垂直方向の移動量を利用して、上述の実験における方法でサッケード方向を特定する。すなわち、図５の例で示したように、水平方向、垂直方向で、サッケード移動量と閾値（３００度／秒）とを比較し、組み合わせにより、方向を決定する。
【０１２７】
図１５は、処理中のＥＦＲＰおよびそのサッケード情報の例を示す。また図１５は、これまで処理されたＥＦＲＰが、サッケード方向に応じて記憶装置上で分類されている状態も示している。最上部に記載された処理中のＥＦＲＰは、サッケードの移動量から、右方向と判定される。
【０１２８】
なお、上述のサッケード方向の分類方法は一例である。分類方法は上記に限定されるものではない。たとえば、ＥＦＲＰ分類部６０は、水平方向の移動量、垂直方向の移動量から、サッケード方向ベクトルを求め、ベクトルの角度により分類を行ってもよい。サッケード方向ベクトルの角度の算出方法は、例えば、ベクトル角度（ラジアン）＝ａｒｃｔａｎ（垂直方向移動量／水平方向移動量）で算出できる。ベクトルの角度を利用して８方向に分類する場合は、例えば右方向を０度とし、半時計方向周りの角度を正とするとき、−２２．５〜２２．５度を「右」、２２．５〜６７．５度を「右上」、６７．５〜１１２．５度を「上」というように、４５度に区切った領域を方向と対応付ければよい。「左上」、「左」、「左下」についても同様である。ベクトルの角度の値によって、いずれの領域に分けられるかが決定される。
【０１２９】
ステップＳ６０４において、ＥＦＲＰ分類部６０は、ステップＳ６０３において分類された方向に従って、対応する分類ごとにＥＦＲＰ波形を蓄積する。８方向に分類した場合は、ＥＦＲＰは８つの方向ごとに蓄積される。図１５の例では、処理中のＥＦＲＰは、方向は「右」と分類されているため、８つに分類のうち「右」のグループにＥＦＲＰの波形が蓄積される。
【０１３０】
ステップＳ６０５において、ＥＦＲＰ分類部６０は、ステップＳ６０１で受信した全てのＥＦＲＰが分類されたか否かをチェックする。全てのＥＦＲＰが分類された場合は、ステップＳ６０６の処理に遷移する。未処理のＥＦＲＰが残っている場合は、ステップＳ６０２に戻り、全てのＥＦＲＰが分類されるまで繰り返される。
【０１３１】
上述の説明では、方向の分類数は８方向であるとしたが、これは一例である。これに限定されるものではない。例えば、ＥＦＲＰを、より細かく１６方向に分類してもよい。１６方向の場合は、上記と同様に、３６０度を１６分割（各方向２２．５度）し、−１１．２５〜１１．２５度を「右」のように領域を決めておく。垂直方向移動量と水平方向移動量から決定されるサッケード方向ベクトルの向き（角度）が１６領域のうちのどの領域に含まれるかでサッケードの方向を決定することができる。
【０１３２】
また、電極個数の制約等で垂直方向の移動量が計測できない場合は、水平方向のみの２方向でサッケード方向を分類してもよい。この場合は、水平方向移動量の正負で、「右」「左」のサッケード方向を分類する。
【０１３３】
また、サッケード方向の分類は、上述のように均等に分割しなくてもよい。図１６は、非均等な角度の方向分類の一例を示す。運転時は、速度計やカーナビの機器類は視野の下側に存在するため、機器類を見るときに下方向のサッケードが発生すると考えられる。そこで、車両前方に対する視線の動きと運転機器に対する視線の動きを区別するように分割してもよい。図１６の例では、０°から１８０°の領域を４分割（方向分類１〜４）で車両前方への視線の動きを分類し、１８０°から３６０°で運転機器に対する視線の動きとして分類している。サッケード方向の分類方法は上記と同様で、垂直方向移動量と水平方向移動量から決定されるサッケード方向ベクトルの向き（角度）がどの方向分類に属するかで決定される。
【０１３４】
ステップＳ６０６において、ＥＦＲＰ分類部６０は、方向ごとに分類されて蓄積されているＥＦＲＰ波形の平均を算出する。本実施形態では、８方向に分類されているため、１方向１つのＥＦＲＰ加算平均波形、合計８つのＥＦＲＰ加算平均波形が算出される。
【０１３５】
ステップＳ６０７において、ＥＦＲＰ分類部６０は、算出されたＥＦＲＰ加算平均波形を注意量判別部７０に送信する。
【０１３６】
注意量判別部７０は、分類された全てのサッケード方向ごとのＥＦＲＰ加算平均波形におけるラムダ反応振幅と閾値とを比較して、ラムダ反応振幅が閾値を超える場合は「集中」、閾値を下回る場合は「散漫」と判断する。図１７は、注意量判別部７０から出力された注意状態判別結果の一例を示す。図示されるように、８つの方向ごとにそれぞれ「集中」または「散漫」の判別結果が保持されている。
【０１３７】
次に、ステップＳ８０で行われる統合判別部８０の処理の詳細を説明する。図１８は、統合判別部８０の処理の詳細な手順を示すフローチャートである。
【０１３８】
ステップＳ８０１において、統合判別部８０は、注意量判別部７０により判別された、方向ごとの注意状態判別結果を取得する。
【０１３９】
ステップＳ８０２において、統合判別部８０は、判定結果の比を算出する。図１７の例では、「集中」という判別結果は３個に対し「散漫」という判別結果は５個である。よって、集中：散漫＝３：５となる。
【０１４０】
ステップＳ８０３において、統合判別部８０は、「集中」の比率の大きさを判定する。「集中」の比率が「散漫」より高い場合には、ステップＳ８０５に遷移する。図１７のデータでは、「集中」の比率が「散漫」より低いため、ステップＳ８０４に遷移する。
【０１４１】
ステップＳ８０４において、統合判別部８０は、散漫の比率の大きさを判定する。「集中」の比率が「散漫」の比率よりも低い場合には、ステップＳ８０６に遷移する。「集中」の比率が散漫の比率よりも低くない場合には、「集中」＝「散漫」の関係になっている状態と判定し、ステップＳ８０７に遷移する。
【０１４２】
ステップＳ８０５において、統合判別部８０は、運転者１０の注意状態を「集中」と判断する。
【０１４３】
ステップＳ８０６において、統合判別部８０は、運転者１０の注意状態を「散漫」と判断する。
【０１４４】
ステップＳ８０７において、統合判別部８０は、特定方向の判別結果を利用して、運転者１０の注意状態を判別する。本願発明者らの上記実験によると、実験参加者１７名の方向別の判別率を調査した結果、右下方向の精度が高くなる傾向にあった。本実施形態では、左記の結果を反映し、右下方向の判別結果の重み付けを高くし、方向ごとの注意状態判別結果の「集中」と「散漫」の比が同数の場合は、右下方向の判別結果を採用するとした。
【０１４５】
なお、方向別注意状態判別結果の「集中」と「散漫」の比が同数の場合の処理は上記に限定されず、本実施形態の注意状態判別装置の使われ方や、注意の特性などによって決定される。例えば、注意状態判別装置が、注意散漫状態をもらさず検出したい場合、「集中」と「散漫」の比率が同数の場合には、散漫が出力されるようにすれば良い。また、注意状態の状態遷移の特性として、注意状態は変化しないということを前提とするならば、所定の注意状態を、前回の判定結果と同様、とすることも可能である。これにより、「散漫」と「集中」の中間状態においても安定した結果が出力できる。また、同数の場合は、「集中」でも「散漫」でもない状態として「どちらでもない」という注意状態として出力してもよい。
【０１４６】
なお、上述の統合判別部８０の処理では、「集中」と「散漫」の比率により運転者１０の注意状態を判別すると記述したが、必ずしもこの判別方法に限定されない。例えば、比率ではなく、「集中」と判定された数と、「散漫」と判定された数とを直接比較して最終的な注意状態を判別してもよい。その場合には、分類された方向ごとの判別結果を多数決することにより、最終的な注意状態を判別すればよい。
【０１４７】
または、状況に合わせてあらかじめ方向ごとに重み付けを設定しておき、その重み付けに基づいて判別してもよい。図１９（ａ）は、車にカーナビゲーションシステムが設置されているときの重み付けの例を示す。各方向の値は、その方向の重みの大きさを示す。左下の重みが０．５で、それ以外の方向の重みは１である。カーナビゲーションシステムが装着されている車では、視線を左下に動かした場合、カーナビを見る視線動作を多く含むと考えられる。運転に対する注意量を判別する場合には、カーナビを見たときの注意量はあまり大きく反映されないように、左下の重み付けが小さく設定されている。
【０１４８】
以下に、重み付けを利用した判別の方法について説明する。注意量判別部７０により判別された方向ごとの注意状態判別結果の一例を図１９（ｂ）に示す。注意状態判別結果は、上下左右方向が散漫と判別され、その他の４方向が集中と判断されている。方向ごとに集中、散漫に分けて重み付けを加算し、集中、散漫のどちらの重みの和が大きいかを判定する。図１９の例では、集中（１＋１＋０．５＋１）＝３．５、散漫（１＋１＋１＋１）＝４で、散漫と判断される。
【０１４９】
また、重み付けは上記のように、車内環境や個人に応じて定常的に設定されてもよいし、道路環境や運転操作に応じて動的に変化してもよい。例えば、道路環境に応じた重み付けの例として、高速道路が考えられる。高速道路では、左右からの飛び出しというケースが少ないため、左右方向への注意量が小さいことが多いと考えられる。そこで、左右方向の重みを小さく設定することにより、左右方向の注意量の低下の影響を運転注意量判別に反映されづらくすることができる。また、運転操作に応じた重み付けの例として、ハンドル操作時が考えられる。例えばハンドルを右に切っているときには、車は右方向に進行するため、右側に対して多くの注意が払われるべきである。逆に、左側については、右側に多くの注意のリソースが割かれる分、注意量が低下する。そこで、右折時には、サッケード右方向の重み付けを大きくまたはサッケード左方向の重みを小さくすることで、注意の偏りの影響を緩和することができると考えられる。
【０１５０】
なお、上述の重み付けを用いる方法は、「集中」と判定された数と、「散漫」と判定された数とを直接比較して最終的な注意状態を判別する場合にも応用することができる。すなわち、「集中」や「散漫」と判定された方向によっては、１より大きい数字を割り当ててもよいし、１より小さい数字を割り当ててもよい。その数字自体が重みに相当する。
【０１５１】
ステップＳ８０８において、統合判別部８０は、注意状態判別結果に基づいて、運転者１０へのフィードバックを行う。統合判別部８０がディスプレイ等の映像出力装置を保持している場合、「集中」または「散漫」の判別結果をディスプレイ上に表示すればよい。また、統合判別部８０に接続されたスピーカー等の音声出力装置を利用して、注意量が低下し注意散漫状態と判別された場合には、警告音を出力し、運転者および同乗者に注意散漫な状態を通知してもよい。さらに、統合判別部８０が通信手段を保持している場合には、結果を注意状態判別装置の外部に送信し、例えば注意散漫と判別された場合には、自動車の制御部に結果を出力し、自動的にブレーキをかける等の機器の制御を行ってもよい。また、散漫状態時には、運転者１０に呈示する情報（エンジン回転数やカーナビゲーションシステムの情報など）をフィルタリングして絞込み運転者に見せないようにすることで、より運転に集中できる環境を作り出すように作用してもよい。
【０１５２】
次に、本実施形態手法で注意状態の判別を行った場合の効果を、分析結果を用いて説明する。この分析結果は、本実施形態の冒頭で説明した実験データ（実験参加者１７名分）と同じデータを用いて、これまでの方法で分析した場合と、本実施形態の方法で分析した場合とを比較した結果である。
【０１５３】
まず図２０（ａ）は、解析区間を従来と同様に１２０秒に揃えた場合の比較結果を示す。従来手法による判別率が７９．６％であるのに対し、本実施形態の手法による判別率は９０．２％となっており、非常によい結果が得られた。この結果によれば、８０％以上の判別率を維持したまま、本実施形態では解析区間を短縮できることがわかる。
【０１５４】
次に図２０（ｂ）は、同様の実験のデータを用いて、一定の判別精度を維持したまま、どこまで解析区間が短くできるかを評価した結果を示す。本願発明者らの実験においては、サッケード方向８方向に分類して判別する本実施形態の手法を利用した場合、どこまで全体の解析区間を短くできるかについて評価を行った。
【０１５５】
図２０（ｂ）の表から、解析区間が１２０秒の場合には９０．２％の高い判別率が得られ、以下、６０秒で８３．１％、４０秒で８１．５％、３０秒で７６．８％と、順次、解析区間を短くするのに従って、識別精度は徐々に低下することが読み取れる。ここで、従来手法で識別精度の目安としていた８０％を超えているのは解析区間が４０秒、およびそれ以上の場合となる。
【０１５６】
以上の結果から、本実施形態の手法によれば、解析区間４０秒でも、従来手法と同等の判別率（８０％程度）を維持できることがわかった。
【０１５７】
この４０秒の解析区間を、自動車を運転しているときの時間に換算すると、時速４０ｋｍ／時なら４０秒間に走行する距離は約４４０ｍであり、約４４０ｍの区間を走行中の注意状態が判別できることになる。従来の１２０秒であれば、１．３ｋｍ以上の距離を走っていることと比較して考えると、注意状態の判別の詳細度が向上できると言える。例えば、市街地においても４０秒ごとの計測であれば、交差点ごとに注意状態が判定できると考えられる。
【０１５８】
このように本実施形態にかかる構成および処理の手順により、運転者の状態を判別し安全運転支援を行う装置においてサッケードの方向に基づきＥＦＲＰを分類して加算し、各分類されたＥＦＲＰにより判別された結果に基づいて、最終的な注意状態を判別することで、注意状態判別に必要な時間を短縮でき、市街地など状況が頻繁に変わる環境でも、より詳細な注意状態判別が可能になる。
【０１５９】
なお、本実施形態では、統合判別部８０による注意状態判別結果を運転者１０にフィードバックする例を用いて説明を行ったが、統合判別部８０がＨＤＤ等の記憶装置を有している場合には、判別結果をその記憶装置に蓄積してもよい。判別結果を蓄積した場合は、運転終了後に運転者１０に対する安全運転指導の基礎データとして解析や利用がされることが考えられる。例えば、運転中に散漫と判別された時間と運転時間との比を取り、運転終了後に運転者１０に運転中の注意散漫状態の頻度を示すことにより、次回運転時の注意喚起ができる。
【０１６０】
なお、本実施形態による注意状態判別装置は自動車運転中の注意状態判定に限らず、視線方向に対する集中が求められる工場作業や監視作業における注意状態判別にも適用可能である。例えば工場作業においては、視線の動き方や視界に入っているオブジェクトへの注意の払い方などが個人や作業工程などによって異なり、運転時と同様、特定の方向に注意が偏りや、特定の方向を見たときのノイズ混入率が高まることが考えられる。よって、上記のような場合も、サッケード方向ごとにＥＦＲＰを分類して注意状態を判別することにより、解析区間が短縮できると考えられる。
【０１６１】
本実施形態では、運転者１０の注意状態の判別として、集中状態と散漫状態の２状態を判別する例で説明を行った。運転者１０が散漫状態になる前に警告を行う場合など、集中と散漫の間の状態を判別する必要がある適用例も考えられる。左記のように集中と散漫の間を多段階に状態判別する場合も、本発明の範疇である。多段階に状態を判別する場合、注意量判別部７０は、ラムダ反応の振幅の大きさに基づいて注意状態を判別する。
【０１６２】
本実施形態では、解析区間を一定の長さとし、統合判別部８０は一定の判別タイミングで注意状態を判別するという例を説明した。交差点から交差点までの間はあまり外部環境が変化しないことを考慮すると、交差点から交差点の間では、同一の注意状態であると考えることもできる。また、交差点における事故発生率は非常に高く、交差点での的確な注意状態に応じた安全運転支援が、事故防止の効果が高いと考えられる。
【０１６３】
そこで、交差点で効果的に安全運転支援するための注意状態判別システムの例を説明する。以下、上述の解析区間を交差点間をとした場合における、実施形態の変形例を説明する。
【０１６４】
図２１は、本実施形態の変形例にかかる注意状態判別システム２の構成を示す。図２１では、図７と同じ構成要素については同じ符号を付し、その説明を省略する。図２１において、注意状態判別システム２は、外部環境が切り替わったタイミング、言い換えると、外部環境が変化したタイミングを検出する状況検出部９０を有している。
【０１６５】
状況検出部９０は、車載のＧＰＳやカーナビゲーションシステム等と接続され、現在地の情報と地図情報とを取得する。状況検出部９０は現在地と地図情報の比較により、自車が交差点に差し掛かるタイミングを検出する。検出結果は、注意状態判別装置１１０の統合判別部８１に送信される。統合判別部８１は、状況検出部９０からの検出結果を受け取り、後述するように、検出結果に応じた処理を行う。検出結果に応じた処理を行うことを除き、統合判別部８１の動作は、先の実施形態の統合判別部８０の動作と同じである。なお、注意状態判別装置１１０と注意状態判別装置１００（図７）とは、統合判別部８１を有しているか、統合判別部８０を有しているかという点において相違している。
【０１６６】
図２２は、上記実施形態の変形例に係る注意状態判別システム２の全体処理のフローチャートである。図１０の処理と同一の処理には同じステップ番号を付し、その説明を省略する。
【０１６７】
ステップＳ９０において、状況検出部９０は、自車が交差点に差し掛かかる手前かどうかを判定する。例えば、状況検出部９０は、カーナビゲーションシステムから現在地の情報と地図情報とを取得し、現在地の座標と、進行方向に存在する、道が交差している地点の座標との距離を比較して、その距離が一定値以内（例えば５０ｍ手前）かどうかを判定する。自車が交差点に差し掛かかる手前と判定された場合、状況検出部９０は、統合判定部８０に判定タイミングの指示を送信する。
【０１６８】
ステップＳ８２において、統合判定部８０は、判別タイミングの指示が状況検出部９０より送信されてきたかを確認する。送信されていなかった場合は、再びステップＳ２０に戻り、脳波計測を継続する。判定タイミングの指示があった場合は、前回判別タイミングの指示があった時刻から今回判別タイミングの指示があった時刻までを解析区間として、ステップＳ４０以降の処理を実行する。
【０１６９】
上述の変形例の構成および処理の手順により、交差点手前での注意状態を判別することで、交差点において注意状態に応じた安全運転支援が可能になる。例えば、交差点に入る直前に注意散漫と判別されると、その時点で、または、交差点に入った際に、統合判別部８０が自動車に制御信号を送り、車を大きく減速させる等の支援が考えられる。他にも、カーナビゲーションシステムを制御し、右左折のタイミングを指示する音声案内を頻繁に行って注意を喚起してもよい。または、カーナビゲーションシステムの画面に表示される交差点での右左折に関係ない情報を減らして、より表示情報に集中できるようしたりする等の安全運転支援が考えられる。
【０１７０】
このように、上記注意状態判別装置変形例の構成および処理の手順により、交差点のような事故多発エリアにおいて、注意状態に応じた安全運転支援が可能になる。上述の構成によれば、交差点走行における安全性が向上する。
【０１７１】
なお、上記の例では、状況検出部９０はカーナビと連動し、地図情報から交差点の位置を検出していたが、これに限定されるものではない。例えば、ハンドルと接続され、ハンドルを切る角度により右左折動作を検知し、右左折動作を開始した地点を交差点にさしかかったタイミングとして検出してもよい。
【０１７２】
また、運転時ではなく、工場作業に適用した場合は、作業工程等の情報を工場内の機器から取得し、工程切り替わりタイミングを検出してもよい。
【０１７３】
本発明は、コンピュータプログラムとしても実施され得る。そのようなコンピュータプログラムは、たとえば図１０、１４、１８および２２のフローチャートによって示される手順を実行するための命令を含む。コンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。なお、上述の実施形態および変形例にかかる注意状態判別装置は、半導体回路にコンピュータプログラムを組み込んだＤＳＰ等のハードウェアとして実現することも可能である。
【産業上の利用可能性】
【０１７４】
本発明にかかる注意状態判別システムは、状況が頻繁に変化する運転操作における注意状態判別に有用である。また、作業への集中が求められる工場での作業などへの注意状態判別にも有効である。また、たとえば、注意状態判別システムがヘッドマウントディスプレイ型の装置として構成される場合は、自転車運転中や歩行中の安全支援装置として有効である。さらに、ＴＶ視聴の注意状態をテレビ番組への興味と対応づけることにより、番組興味度計測などのマーケティング用途への応用も可能である。
【符号の説明】
【０１７５】
１０ ユーザ
２０ 脳波計測部
３０ 眼球運動計測部
４０ サッケード検出部
５０ ＥＦＲＰ切出部
６０ ＥＦＲＰ分類部
７０ 注意量判別部
８０ 統合判別部
９０ 状況検出部
【技術分野】
【０００１】
本発明は、自動車の運転などの操作を行う操作者の注意状態を、脳波に基づいて判定する装置に関する。具体的には、本発明は、時々刻々環境が変化する自動車の運転操作において、状況ごとに注意状態を判別する装置、方法およびそのような装置において実行されるコンピュータプログラムに関する。
【背景技術】
【０００２】
近年、運転者の身体状態や心理状態をリアルタイムに把握した上で、運転者の状態に即した支援が行える安全運転を支援する技術の必要性が高まっている。運転者の状態を客観的かつ定量的に評価する手法として、脳波や瞬目などの生理指標を用いた覚醒度の定量化が試みられている。
【０００３】
例えば、特許文献１では、脳波の入眠波形パターンやα波成分から覚醒度を推定する技術が開示されている。また特許文献２では、運転者の顔を撮像し、得られた画像から瞬きを検出し、瞬きの閉眼時間から覚醒度低下を推定する技術が開示されている。
【０００４】
これらに対して本願発明者らは、運転中の運転者の状態を単に覚醒度として捉えるのではなく、覚醒しているにも関わらず運転に対して注意が向いていない、いわゆる注意散漫状態をも含めた運転注意状態として扱う必要があると考えている。そのためには、従来の覚醒度による居眠り検出ではなく、運転に対する注意状態そのものを計測・評価する手法が必要である。
【０００５】
また、運転者に向けられたカメラによって、運転者の視線や顔の動きを検出し、運転者の注意状態を判定する方法がある。例えば、特許文献３では、運転者の乗車している自車両の周辺状況から運転者が注意すべき最適な注視位置を判定し、運転者の視線や顔の動きから検出した注視点と判定した注意すべき最適な注視位置とを比較することにより、運転に対する注意配分状態を判定する技術が開示されている。
【０００６】
このような、運転者の注視位置等に着目した指標を利用すれば、運転者が注意すべき位置を見ていないことによる注意散漫の評価は可能である。しかしながら、視線のみでは、運転者が前方に視線を向けているにも関わらず、注意が運転に向いていない、いわゆる意識の脇見状態を捉えることができない。ここで、意識の脇見状態とは、例えば他の事を考えていて、あるいは音楽や会話に気をとられていて意識が運転に集中していない状態などを示す。
【０００７】
一方、意識の脇見状態を含めた運転に対する注意状態として、人が見ている対象にどのくらい注意を向けているかを調べる研究が行われている。具体的には、脳波の眼球停留関連電位（Ｅｙｅ Ｆｉｘａｔｉｏｎ Ｒｅｌａｔｅｄ Ｐｏｔｅｎｔｉａｌ：ＥＦＲＰ）を用いた研究が行われている。「眼球停留関連電位」とは、人が作業しているときや自由にものを見ているときにおける、急速眼球運動（サッケード）の終了時刻、すなわち眼球停留の開始時刻に関連して生じる脳の一過性の電位変動をいう。眼球停留関連電位のうち、眼球の停留時刻より約１００ミリ秒付近に後頭部で優位に出現する正の電位成分を「ラムダ反応」といい、人が見ている対象に対する注意集中度によって変動することが知られている。
【０００８】
例えば、特許文献４には、眼球運動信号に基づいてサッケードの終了時刻を検出し、サッケードが終了するごとに、その時刻から一定期間内の脳波を加算平均してＥＦＲＰを算出し、注意量を判別する技術が開示されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平７−１０８８４８公報
【特許文献２】特許第３１２７７６０号明細書
【特許文献３】特開２００４−１７８３６７公報
【特許文献４】特開２００２−２７２６９３公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献４に記載の従来技術では、ノイズを除去するために、十分な数の眼球停留関連電位（ＥＦＲＰ）波形を加算する必要がある。長時間にわたる脳波データから、多くのＥＦＲＰ波形を取得する必要がある。これでは、時々刻々環境が変化する市街地などでは、状況に合わせた注意量判別が行えない。以下に、上述の課題を詳細に説明する。
【００１１】
本願発明者らは、ＥＦＲＰのラムダ反応を利用した従来の手法において必要な解析区間の長さを評価するために、学生実験参加者１７名を対象にした注意量判別実験を実施した（実験の詳細や判別率の算出方法の説明は後述する）。注意状態の判別は、ＥＦＲＰの特徴量であるラムダ反応（５０ミリ秒以上１５０ミリ秒以下に含まれる極大値）の振幅と閾値との比較により、「集中状態」と「散漫状態」のいずれの状態であるかを判別することによって行った。
【００１２】
判別のためのＥＦＲＰは、特許文献４で利用されている手法により算出した。具体的には、一定期間内（解析区間）に含まれるＥＦＲＰを抽出し、それらの波形を加算平均して１つのＥＦＲＰ波形を算出した。
【００１３】
上記判別手法を用いて判別率を算出した結果、解析区間を６０秒とした場合は、判別率は７２．３％で、解析区間を１２０秒とした場合には、判別率は７９．６％であった。
【００１４】
このように解析区間を長くすれば、判別精度が向上させられる。これは解析区間を長くすると、解析区間に含まれるＥＦＲＰの個数が増え、加算回数が増えるためである。加算回数が増えると、背景脳波やランダムなノイズ成分が相殺され、ＥＦＲＰのラムダ反応のみが際立って抽出され、判別精度が向上する。
【００１５】
よって、従来の手法において、注意状態判別の精度を８０％以上とするためには、ＥＦＲＰを加算平均する個数をさらに増やすために、解析区間を１２０秒間以上とする必要があった。
【００１６】
市街地を車で１２０秒間走行すると、複数の交差点を経由することが多いと考えられる。交差点では右左折、停止などの行為が行われ、運転者の前方風景も交差点ごとに大きく変化する。それら状況に応じて、運転者の注意状態も時々刻々変化すると考えられる。１２０秒ごとの解析区間では、複数の交差点間における注意状態をひとまとめにして判別が行われてしまうため、状況に合わせた注意状態が判別できない。
【００１７】
本発明は上記課題に鑑みてなされたものであり、その目的は、分単位の時間が必要な眼球停留関連電位（ＥＦＲＰ）の解析区間を短縮し、市街地等の状況変化が多い場合でも十分な精度で運転注意状態を判別することにある。
【課題を解決するための手段】
【００１８】
本発明による注意状態判別システムは、ユーザの脳波信号を計測する脳波計測部と、前記ユーザの眼球の運動を計測する眼球運動計測部と、前記ユーザの眼球の運動を用いて、前記眼球のサッケードが終了した時刻である眼球停留開始時刻および前記サッケードの移動量を複数検出するサッケード検出部と、各サッケードの移動量に基づいて各サッケードの方向を特定し、特定された各サッケードの方向を分類する分類部であって、分類された方向ごとに、各サッケードに対応する前記眼球停留開始時刻を起点として前記ユーザの脳波信号から切り出した眼球停留電位を加算平均する分類部と、加算平均された前記眼球停留関連電位に基づいて、分類された方向ごとの注意状態を判別する注意量判別部と、前記方向ごとの注意状態の判別結果を用いて、前記ユーザの注意状態を判別する統合判定部とを備えている。
【００１９】
前記注意量判別部は、前記方向ごとに、集中状態または注意散漫状態のいずれに該当するかを判別し、前記統合判定部は、前記注意量判別部によって判別された集中状態および注意散漫状態のうちいずれか多く判別された状態を前記ユーザの注意状態と判別してもよい。
【００２０】
前記統合判別部は、前記注意量判別部による方向ごとの判別結果を多数決することにより、前記ユーザの注意状態を判別してもよい。
【００２１】
前記サッケード検出部は、前記ユーザの眼球の運動量が予め定めた閾値よりも小さくなった時点を、前記眼球停留開始時刻として検出してもよい。
【００２２】
前記注意量判別部は、前記方向ごとに、加算平均された前記眼球停留関連電位のラムダ反応の振幅値と、予め定められた閾値とを比較することにより、分類された方向ごとの注意状態を判別してもよい。
【００２３】
前記注意量判別部は、前記眼球停留開始時刻を起点として、加算平均された前記眼球停留関連電位の１００±１００ミリ秒に含まれる極大値を、ラムダ反応の振幅値として利用してもよい。
【００２４】
前記統合判定部は、一定時間ごとに前記ユーザの注意状態を判別してもよい。
【００２５】
前記注意状態判別システムは、外部環境が変化したタイミングを検出する状況検出部をさらに備え、前記統合判定部は、前記状況検出部によって検出された前記外部環境が変化したタイミングにおいて、前記ユーザの注意状態を判別してもよい。
【００２６】
前記状況検出部は、現在地の情報および地図情報を取得し、前記現在地の情報と地図上の交差点の位置情報とを比較することにより、交差点に差し掛かるタイミングを検出してもよい。
【００２７】
前記統合判別部は、方向ごとの判別結果を多数決することで前記ユーザの注意状態を判別してもよい。
【００２８】
本発明による注意状態判別装置は、眼球の運動を計測する眼球運動計測部によって計測された、ユーザの眼球の運動を用いて、前記眼球のサッケードが終了した時刻である眼球停留開始時刻および前記サッケードの移動量を複数検出するサッケード検出部と、各サッケードの移動量に基づいて各サッケードの方向を特定し、特定された各サッケードの方向を分類する分類部であって、分類された方向ごとに、各サッケードに対応する前記眼球停留開始時刻を起点として、脳波信号を計測する脳波計測部を用いて計測された前記ユーザの脳波信号から切り出した眼球停留電位を加算平均する分類部と、加算平均された前記眼球停留関連電位に基づいて、分類された方向ごとの注意状態を判別する注意量判別部と、前記方向ごとの注意状態の判別結果を用いて、前記ユーザの注意状態を判別する統合判定部とを備えている。
【００２９】
本発明による注意状態判別方法は、ユーザの脳波信号を計測するステップと、前記ユーザの眼球の運動を計測するステップと、前記ユーザの眼球の運動を用いて、前記眼球のサッケードが終了した時刻である眼球停留開始時刻および前記サッケードの移動量を複数検出するステップと、各サッケードの移動量に基づいて各サッケードの方向を特定し、特定された各サッケードの方向を分類するステップであって、分類された方向ごとに、各サッケードに対応する前記眼球停留開始時刻を起点として前記ユーザの脳波信号から切り出した眼球停留電位を加算平均するステップと、加算平均された前記眼球停留関連電位に基づいて、分類された方向ごとの注意状態を判別するステップと、前記方向ごとの注意状態の判別結果を用いて、前記ユーザの注意状態を判別するステップとを包含する。
【００３０】
本発明によるコンピュータプログラムは、注意状態判別装置に実装されたコンピュータによって実行されるコンピュータプログラムであって、前記コンピュータプログラムは、前記コンピュータに対し、ユーザの脳波信号を受け取るステップと、前記ユーザの眼球の運動を受け取るステップと、前記ユーザの眼球の運動を用いて、前記眼球のサッケードが終了した時刻である眼球停留開始時刻および前記サッケードの移動量を複数検出するステップと、各サッケードの移動量に基づいて各サッケードの方向を特定し、特定された各サッケードの方向を分類するステップであって、分類された方向ごとに、各サッケードに対応する前記眼球停留開始時刻を起点として前記ユーザの脳波信号から切り出した眼球停留電位を加算平均するステップと、加算平均された前記眼球停留関連電位に基づいて、分類された方向ごとの注意状態を判別するステップと、前記方向ごとの注意状態の判別結果を用いて、前記ユーザの注意状態を判別するステップとを実行させる。
【発明の効果】
【００３１】
本発明によれば、サッケードの方向ごとに加算平均した眼球停留電位（ＥＦＲＰ）を、それぞれ注意状態判別し、方向ごとの注意量判別結果を用いて最終的な注意状態を判別する。これにより、短い解析区間で注意状態を判別できる。解析区間が短くなることにより、時々刻々環境が変化する市街地でも、交差点間の注意状態などでも、より詳細な注意状態判別が可能になる。
【図面の簡単な説明】
【００３２】
【図１】実験条件と課題の内容を示す図である。
【図２】国際１０−２０法の電極位置を示す図である。
【図３】（ａ）〜（ｃ）は、従来の注意状態の判別手順の流れ図であり、（ｄ）は判別結果を示す判別率である。
【図４】眼電計測のための電極位置を示す図である。
【図５】サッケード方向判定の例を示す図である。
【図６】（ａ）および（ｂ）はサッケード方向別の判別率の分布を示す図である。
【図７】本発明の実施形態による注意状態判別システム１の構成を示す図である。
【図８】注意状態判別装置の具体的構成の一例を示す図
【図９】ヘッドマウントディスプレイ（ＨＭＤ）を示す図である。
【図１０】注意状態判別システム１の処理の手順を示すフローチャートである。
【図１１】眼球運動データ、脳波データおよび判別タイミングの関係の一例を示す図である。
【図１２】ＥＯＧの電位と眼球の移動角度の対応関係の例を示す図である。
【図１３】（ａ）は計測された眼球運動データ、脳波データ、眼球停留開始時刻の例を示す図であり、（ｂ）は切り出されたＥＦＲＰの例を示す図であり、（ｃ）は方向ごとに加算されたＥＦＲＰの例を示す図であり、（ｄ）は、右方向のサッケードの終了時刻を起点にしたＥＦＲＰが加算平均された波形を示す図である。
【図１４】ＥＦＲＰ分類部６０の処理の詳細な手順を示すフローチャートである。
【図１５】処理中のＥＦＲＰおよびそのサッケード情報の例を示す図である。
【図１６】非均等な角度の方向分類の一例を示す図である。
【図１７】注意量判別部７０から出力された注意状態判別結果の一例を示す図である。
【図１８】統合判別部８０の処理の詳細な手順を示すフローチャートである。
【図１９】（ａ）は、車にカーナビゲーションシステムが設置されているときの重み付けの例を示す図であり、（ｂ）は注意量判別部７０により判別された方向ごとの注意状態判別結果の一例を示す図である。
【図２０】（ａ）は、解析区間を従来と同様に１２０秒に揃えた場合の比較結果を示す図であり、（ｂ）は、同様の実験のデータを用いて、一定の判別精度を維持したまま、どこまで解析区間が短くできるかを評価した結果を示す図である。
【図２１】本実施形態の変形例にかかる注意状態判別システム２のブロック構成を示す図である。
【図２２】本発明の実施形態の変形例に係る注意状態判別システム２の全体処理のフローチャートである。
【発明を実施するための形態】
【００３３】
以下、添付の図面を参照しながら、本発明の実施形態を説明する。
【００３４】
本願発明者らは、従来手法の注意状態判別手法と比較して、サッケード方向ごとにＥＦＲＰを分類して加算平均したときに、各方向の注意状態判別精度がどのような傾向を示すのかを分析した。その結果、本願発明者らは、サッケード方向ごとに注意状態判別の精度に偏りが存在し、判別精度の低い方向は人や状況ごとに異なること、および、その方向を事前に予測することは不可能である、という特性を見出した。
【００３５】
まず、この分析のために本願発明者らが実施したＥＦＲＰ計測実験内容及び実験結果から得られた知見について説明する。
【００３６】
実験参加者は男性１７名で平均年齢は２２．１±１．８歳である。本願発明者らは、実験参加者に２つの課題を並行して実施してもらう二重課題法による実験を行った。
【００３７】
第１の課題は、運転課題である。ドライビングシミュレータ（三菱プレシジョン製。以降「ＤＳ」と省略する。）で約４分の市街地コースを運転する課題を行った。市街地コースの道路状況は、制限速度内で自由に走行できる程度の混雑状況に設定した。コースには同じレーンの自車の前方および後方にそれぞれ車両を配置するとともに、対向車線にも車両を配置し、さらに歩行者を配置した。実験参加者はカーナビゲーションシステム画面に表示される指示に従い、所定の道順を走行した。但し、道順の確認は実験参加者自身による画面の目視のみで行い、音声案内は行わなかった。
【００３８】
第２の課題は、認知負荷課題である。実験参加者の注意資源を実験的に運転から逸らすことを目的に、音声質問に対して口答で回答する課題を行った。軽度な認知負荷条件（簡単質問負荷）では、考えずに回答可能な、実験参加者個人のプロフィールに関する質問を行った（例えば、「名前は？」、「年齢は？」など）。重度な認知負荷条件（困難質問負荷）では、運転への注意を阻害し、地図を思い浮かべる等、視覚的な思考を要求する質問を行った（例えば、「地中海に面している国をお答えください」、など）。この認知負荷は、運転中の考え事や思い出に関連する会話などを実験的に模擬している。
【００３９】
続いて実験条件について説明する。本実験では図１に示す２つの条件で運転中の脳波を計測した。第１の条件は運転集中条件である。運転集中条件では、実験参加者はＤＳ操作（運転負荷）と簡単質問負荷とを並行して実施する。簡単質問負荷はそれほど認知負荷が大きくないため実験参加者は運転に集中できる状態と考えられる。第２の条件は注意散漫条件である。注意散漫条件では、実験参加者は、ＤＳ操作（運転負荷）と困難質問負荷を並行して実施する。困難質問負荷は認知負荷が大きいため、実験参加者は多くの注意資源をこの課題の遂行に割かなければならなくなり、その結果運転に対して注意散漫な状態になると考えられる。
【００４０】
実験参加者は脳波計（ティアック製、ポリメイトＡＰ−１１２４）を装着し、電極は国際１０−２０電極法に従って配置した。図２は、国際１０−２０法の電極位置を示す。図２に示す記号を用いて説明する。導出電極は後頭部Ｏｚ（Ｏ１とＯ２の中間）に配置され、基準電極は左右の耳付近の各マストイドＡ１およびＡ２に配置され、接地電極は前額部に配置されるとした。脳波の計測は、左右の各マストイドＡ１およびＡ２の電位の平均を基準として後頭部Ｏｚの電位を計測した。本願発明者らは、サンプリング周波数５００Ｈｚ、時定数３秒で計測した脳波データに対して１Ｈｚ以上１５Ｈｚ以下のバンドパスフィルタ処理をかけた。そして、サッケード終了時刻すなわち眼球停留開始時刻を起点に−３００ミリ秒から６００ミリ秒の脳波データを切り出し、０ミリ秒の電位値でベースライン補正を行った。
【００４１】
判別率は前記の実験におけるＥＦＲＰを分析して試算した。ここで判別率とは運転集中状態か注意散漫状態かの２状態の判別がどれぐらいの割合でできたかを示す指標である。解析区間の時間幅ＴＷ＝１２０秒、次の解析区間の時間シフト量ＴＳ＝１０秒とした場合に、運転集中条件（運転＋簡単質問負荷時）のラムダ反応振幅値から正しく運転集中と判別できた割合、および注意散漫条件（運転＋困難質問負荷時）のラムダ反応振幅値から正しく注意散漫と判別できた割合の平均値を上記判別率としている。
【００４２】
上記の判別率算出方法に基づき、従来手法を利用した場合の判別率と、サッケードの方向ごとにＥＦＲＰを分類した場合の判別率とをそれぞれ算出した。
【００４３】
以下、従来手法を用いた判別について図３を用いて説明する。
【００４４】
図３（ａ）〜（ｃ）は、従来の注意状態の判別手順の流れ図である。まず解析区間１２０秒に含まれる全ての眼球停留開始時刻を検出し、各眼球停留開始時刻を起点にした脳波（ＥＦＲＰ：眼球停留関連電位）波形を抽出する（図３（ａ））。１２０秒に含まれる全てのＥＦＲＰ波形を加算平均して、ＥＦＲＰ加算平均波形を算出する（図３（ｂ））。そしてＥＦＲＰ加算平均波形のラムダ反応（０より大きく２００ミリ秒以下に含まれる極大値）と閾値との比較により、特徴量が閾値以上の場合を集中状態と判別し、閾値以下の場合を散漫状態と判別する。一般に、ＥＦＲＰ波形のグラフの縦軸は、下向きが正、上向きが負として記述される。図３（ｂ）の波形例では、ＥＦＲＰ加算平均波形の極大値は閾値よりも大きいので、判別結果は「集中」と判別される（図３（ｃ））。上記判別方法を時間シフト量（１０秒）ずつずらしながら繰り返し判定を行うと、その判別率は７９．６％であった。また、図３（ｄ）に示すように解析区間を６０秒に短縮した場合には、７２．３％となった。
【００４５】
図３（ｄ）によれば、従来の方法で８０％程度の精度を得るためには、加算回数を十分に確保するために解析区間を１２０秒とする必要があることがわかる。
【００４６】
次に、サッケードの方向ごとのＥＦＲＰの分類を説明する。サッケードの方向ごとにＥＦＲＰを分類した判別では、解析区間１２０秒に含まれる眼球停留開始時刻を検出し、サッケードの方向ごとにＥＦＲＰを抽出した。
【００４７】
ここで、サッケードの検出とサッケード方向の分類方法を説明する。サッケードの検出は、ＥＯＧ（Ｅｌｅｃｔｒｏ-ｏｃｕｌｏｇｒａｍ）法を利用して、水平方向の眼球移動量、垂直方向の眼球移動量を計測して行った。「ＥＯＧ法」とは、眼球の角膜が網膜に対して正に帯電する性質を利用し、眼球の左右および上下に配置した電極の電位変化から眼球運動を計測する方法である。図４は、ＥＯＧ法によって眼球運動を計測するための電極位置の例を示す。図４に示すように、実験参加者の目の上下（Ｖ１、Ｖ２）、左右（Ｈ１、Ｈ２）の位置に電極を配置した。Ｈ１とＨ２、Ｖ１とＶ２の電位差をそれぞれ計測し、電位の大きさに基づいて、水平方向、及び、垂直方向の移動量を計測した。
【００４８】
次にサッケード検出方法を説明する。従来文献（宮田洋ら、新生理心理学１、１９９８、ｐ２５６、北大路書房）によれば、サッケードに要する時間は通常２０ミリ秒以上７０ミリ秒以下で、サッケードの速度は視角で表すと３００度／秒以上５００度／秒以下であるとされている。したがって、眼球の運動方向が所定時間（例えば、２０ミリ秒以上７０ミリ秒以下）連続して同じであり、かつ当該所定時間の平均角速度が３００度／秒以上である眼球運動をサッケードとし、その終了時刻を検出することにより、眼球停留開始時刻を検出できる。
【００４９】
次に、サッケード方向の分類方法を説明する。サッケード方向は、サッケード検出の閾値（３００度／秒）、水平方向の移動量および垂直方向の移動量を利用して８方向に分類される。図５は、方向分類のパターンを示す。図５の「○」は移動量が閾値を越えたことを示し、「×」は移動量が閾値以下であることの移動量の場合を示す。水平方向（例えば右方向）のみが閾値を超えている場合は、方向は「右」と分類され、垂直方向（例えば上方向）のみが閾値を超えている場合は、方向は「上」と分類される。水平方向（例えば右方向）と垂直方向（例えば上方向）の両方が閾値を超えている場合は、方向は「右上」と分類される。この判定を上下左右４つの組み合わせにおいて行い、方向を分類する。
【００５０】
例えば、水平方向の眼球移動量が右方向４００度／秒、垂直方向の眼球移動量が上方向５０度／秒のサッケードを考える。このサッケードは、右方向の眼球移動量のみが閾値を越えている。よって、方向は「右」と判定される。
【００５１】
サッケード方向ごとにＥＦＲＰ加算平均波形を算出し、ラムダ反応と閾値とを比較することにより、方向ごとの判別率が算出される。例えば、右方向の判別率を求める場合には、解析区間１２０秒に含まれる右向きにサッケードした際の眼球停留開始時刻を検出し、ＥＦＲＰ波形を抽出する。抽出したＥＦＲＰ波形を加算平均して、右方向のＥＦＲＰ加算平均波形を算出し、ラムダ反応の抽出を行う。そして右方向ＥＦＲＰ加算平均波形のラムダ反応と閾値とを比較することにより、右方向の判別率が算出される。
【００５２】
図６は、本願発明者らが行った方法により、方向ごとに算出した判別率の結果を示す。図６（ａ）は、１７名中の２人の実験参加者（実験参加者Ａ、実験参加者Ｂ）の方向別の判別率を示している。図のレーダーチャートは、８方向の判別率を示す。チャートの半径が判別率を示しており、中心が０％で、外側が１００％で、２０％刻みで点線が記されている。
【００５３】
方向を区別しない従来手法での実験参加者Ａの判別率は５７．４％であった。実験参加者Ａの方向別の判別率を見ると、右上、上、左、右下方向の判別率が８０％を上回っている。一方、右、左上、左下方向の判別率は約５０％と低いことがわかる。同様に、実験参加者Ｂは、従来手法の判別率は５０．０％であるのに対し、上、左下方向の判別率は高く、下、右下方向の判別率は低いことがわかる。
【００５４】
よって、従来手法では判別精度は低いものの、サッケード方向ごとに精度を見ると判別精度の分布にバラツキがあること、および、判別精度の低い方向は、人ごとに異なっていることがわかる。
【００５５】
また、同一の実験参加者Ａについて、第１の課題であるＤＳ運転課題の道路状況を変化させた条件で、判別率を算出した。各道路状況では、例えば、走行コースや自車の周辺にいる車の位置、台数等が異なっている。図６（ｂ）は、３つの異なる道路状況下で得られた、実験参加者Ａの判別結果を示す。図のレーダーチャートは、図６（ａ）の書式と同様である。図６（ｂ）によれば、判別率は、同一の実験参加者においても異なることが理解される。すなわち、道路状況１では、右、左上、左下方向が低く、道路状況２では、上、左下方向が低く、道路状況３では、右、左下、右下方向が低い。
【００５６】
図６（ｂ）に示されるとおり、判別率が低い方向は、同一の人でも状況に応じて異なっていることがわかる。また、事前に判別率が低い方向を予測することが難しいこともわかる。
【００５７】
上記の結果より、サッケード方向ごと精度を見ると、判別精度の低い方向が存在し、その方向は人や状況ごとに異なり、事前に予測不可能であるという知見が得られた。
【００５８】
上記知見の理由を考察すると、運転中は個人や状況によって、他車や歩行者など運転者の注意をはらう部分に偏りができ、特定の方向に注意が偏ったり、特定の方向を見たときのノイズ混入率が高まるといえる。それにより、サッケードの方向ごとに精度のばらつきが出ていると考えられる。
【００５９】
ここまでに記載した実験結果、および実験結果より得られた知見に鑑みると、サッケードの方向別にＥＦＲＰを分類し、方向ごとに判定した結果を統合して最終的な判別結果を導出することで、同じ解析区間であれば判別精度が向上し、同じ判別精度を維持するなら解析区間の短縮を図ることができるとの着想に至った。
【００６０】
以下、この着想に基づき構成した本発明の実施形態の詳細と、本発明の実施形態に基づき上記データを分析した場合の効果について、自動車の運転時における注意状態判別を例にとり、図面を参照しながら説明する。また、運転時の例に伴い、以下では注意状態判別装置およびシステムのユーザを運転者と表現して説明する。
【００６１】
（実施形態１）
図７は、本実施形態による注意状態判別システム１の構成を示す。
【００６２】
注意状態判別システム１は、運転者１０の脳波信号、より具体的には脳波信号の一成分である眼球停留関連電位を利用して、サッケードが生じた方向ごとに注意量を判別する。そしてそれらの結果を総合して、最終的に運転者１０の運転に対する注意状態を判別する。本実施形態における「運転に対する注意状態」とは、運転に対して注意を集中していたか、または、注意が散漫であったかのいずれかの状態を意味する。注意状態判別システム１は、運転者１０の運転に対する注意状態に応じて、注意喚起を促すよう表示画面（図示せず）に警告等を表示し、または注意状態の判別結果を記憶装置に蓄積する。
【００６３】
注意状態判別システム１は、運転者１０の脳波を計測する脳波計測部２０と、運転者１０の眼球の動きを計測する眼球運動計測部３０と、注意状態判別装置１００とを含んでいる。なお、運転者１０のブロックは説明の便宜のために示されている。
【００６４】
注意状態判別装置１００は、サッケード検出部４０と、分類部４５と、注意量判別部７０と、統合判定部８０とを含んでいる。
【００６５】
以下、各構成要素を概略的に説明し、その後各々を詳細に説明する。
【００６６】
サッケード検出部４０は、眼球運動計測部３０による眼球の動き（眼球運動）からサッケードの終了時刻（眼球停留開始時刻）およびサッケード移動量等のサッケード情報を検出する。なお、後述のように、サッケード移動量に基づけばサッケード方向を特定することは可能である。よって、サッケード検出部４０がサッケード方向を求め、サッケード情報に含めて出力してもよい。
【００６７】
分類部４５は、脳波計測部２０が計測したユーザ１０の脳波信号を取得し、また、サッケード検出部４０からサッケード情報を取得する。分類部４５は、ユーザ１０の脳波信号およびサッケード情報から、眼球停留開始時刻を起点とした眼球停留関連電位を切り出す。続いて分類部４５は、サッケード情報を利用して切り出した眼球停留関連電位ＥＦＲＰに対応するサッケード方向を求めて分類し、分類された方向ごとに眼球停留関連電位ＥＦＲＰを加算平均して出力する。
【００６８】
注意量判別部７０は、方向ごとのＥＦＲＰをそれぞれ注意状態判別し、方向ごとの注意状態を判別する。
【００６９】
統合判定部８０は、方向ごとの判別処理結果を用いて注意状態を判別し、結果を蓄積し、または、出力する。
【００７０】
以下、各構成要素を詳細に説明する。
【００７１】
脳波計測部２０は、運転者１０の頭部に装着された電極における電位変化である脳波信号を計測する脳波計である。本願発明者らは、将来的には装着型の脳波計を想定している。そのため、脳波計はヘッドマウント式脳波計であってもよい。運転状態判別システム１の使用時において、運転者１０は予め脳波計を装着しているものとする。
【００７２】
運転者１０の頭部に装着されたとき、その頭部の所定の位置に接触するよう、脳波計測部２０には電極が配置されている。例えば図２に示す国際１０−２０法の電極位置において、後頭部（Ｏ１またはＯ２またはその中間のＯｚ）、左耳朶（Ａ１）、右耳朶（Ａ２）および前額部に電極を配置する。
【００７３】
従来文献（宮田洋ら、新生理心理学１、１９９８、ｐ２６２、北大路書房）によれば、認知や注意を反映し、眼球停留開始時刻を起点として約１００ミリ秒付近に現れるラムダ成分は、後頭部で優位に出現するとされている。但し、後頭部周辺のＰｚ（頭頂中央）でも計測は可能であり、当該位置に電極を配置しても良い。この電極位置は、信号計測の信頼性および装着の容易さ等から決定される。また、電極の個数を減らすことも可能である。例えば電極数を、電極Ｏｚ、Ａ１および接地電極の３個にした場合でもでも脳波を計測することは可能である。
【００７４】
この結果、脳波計測部２０は運転者１０の脳波を計測できる。計測された脳波信号は、コンピュータで処理できるようにサンプリングされ、予め決められた一定時間分のデータは脳波計測部２０の記憶部に一次的に記憶され、かつ随時更新することができる。なお、脳波計測部２０において計測される脳波信号を予め例えば３０Ｈｚのローパスフィルタ処理することにより、脳波信号に混入するノイズの影響を低減することができる。
【００７５】
眼球運動計測部３０は、眼球運動の動きを計測する。眼球運動の計測は、例えばＥＯＧ（ｅｌｅｃｔｒｏ−ｏｃｕｌｏｇｒａｍ）法に基づいて計測する。
【００７６】
上述の通り、図４は、ＥＯＧ法によって眼球運動を計測する眼球運動計測部３０の電極位置の例を示している。電極Ｈ１およびＨ２は左右こめかみの位置に装着され、２つの電極の電位差から水平方向の電位が計測される。また、電極Ｖ１およびＶ２は左または右の眼球の上下位置に装着され、２つの電極の電位差から垂直方向の電位が計測される。
【００７７】
ＥＯＧ法で計測する場合は、眼球運動計測部３０は、後述の図１２に示す電位変化量と眼球の移動角度の対応表より、水平方向および垂直方向の電位変化量から眼球の水平方向、垂直方向の移動量を推測する。水平方向の電位変化量及び垂直方向の電位変化量により、視線の移動量を推測できる。後述のサッケード検出部４０は、視線の移動量と閾値とを比較し、閾値を超えた視線移動を検出した場合には、当該視線移動をサッケードとして検出し、視線移動の終了時刻を眼球停留開始時刻と判定する。
【００７８】
なお、上記の例では、ＥＯＧ法を用いて眼球の動きを計測したが、眼球運動の計測方法はこれに限定されるものではない。例えば、近赤外線を眼球に照射し、その反射像（角膜反射像）を利用して眼球の動きを計測してもよい（角膜反射法）。この場合は、反射像の動きから計測された水平方向および垂直方向の眼球移動量によって視線移動量を算出し、閾値との比較を行う。または、眼球を撮影するカメラを車内に設置し、画像処理により角膜の位置を検出し、水平方向および垂直方向の眼球の移動量を計測してもよい。また、画像処理を利用する場合は、撮影された画像中の角膜の位置（たとえば画像中のピクセル座標）を検出し、角膜座標の移動量と眼球の移動角度の対応表を利用することにより、水平方向および垂直方向の眼球の移動量を計測する。
【００７９】
再び図７を参照する。
【００８０】
分類部４５は、ＥＦＲＰ切出部５０およびＥＦＲＰ分類部６０を有している。
【００８１】
ＥＦＲＰ切出部５０は、サッケード検出部４０からサッケード情報を受け取り、サッケード情報に基づいて眼球停留開始時刻を特定する。そしてＥＦＲＰ切出部５０は、サッケードの終了時刻を起点に脳波信号を切り出し、眼球停留電位の波形（ＥＦＲＰ波形）を抽出する。
【００８２】
ＥＦＲＰ分類部６０は、サッケード検出部４０からサッケード情報を受け取り、そのサッケード情報から各サッケードの方向（サッケード方向）を分類する。そしてＥＦＲＰ分類部６０は、切り出したＥＦＲＰ波形を、分類したサッケード方向ごとに加算平均する。
【００８３】
注意量判別部７０は、ＥＦＲＰ分類部６０が加算平均したサッケード方向ごとのＥＦＲＰに基づき、その方向ごとに注意状態を判別する。本実施形態による注意量判別部７０は、ＥＦＲＰのラムダ反応の振幅値と予め保持する閾値とを比較することにより、集中または散漫の２つの注意状態のいずれに該当するかを判別する。
【００８４】
統合判別部８０は、注意量判別部７０でのサッケード方向ごとの判別結果に基づいて、運転者１０の注意状態を判別する。本実施形態による統合判別部８０についても、最終的には集中または散漫の２つの注意状態のいずれに該当するかを判別する。注意状態の判別結果は、統合判別部８０が保持する出力装置（図示せず）を利用して、運転者１０にフィードバックされる。出力装置の一例は、音声、動作音または警告音等によって運転者への呼びかけるためのスピーカである。出力装置の他の例は、テキストや画像を提示できるカーナビゲーションシステムのモニタ、ヘッドマウントディスプレイ、または、ヘッドアップディスプレイ（ＨＵＤ）である。また、統合判別部８０は記録装置（ＨＤＤ等）を保持していてもよく、判別結果の記録、蓄積を記録装置に行ってもよい。
【００８５】
次に、注意状態判別システム１の具体的な構成を説明する。
【００８６】
以下では、注意状態判別システム１をヘッドマウントディスプレイ（Head Mounted Display：以下「ＨＭＤ」とも記述する。）に組み込んだ例を説明する。
【００８７】
図８は、ヘッドマウントディスプレイ上に注意状態判別システム１を構成した例を示す。図８では、図７に示す各構成要素に付された参照符号と同じ機能を有する構成要素には、同じ参照符号が付されている。
【００８８】
ＨＭＤは眼鏡型であり、ＨＭＤを運転者１０の頭部に固定するために、後頭部側にバンドを有している。後頭部側にバンドには、脳波計測部２０の一部の電極が設けられている。
【００８９】
図９は、ＨＭＤの各部位の名称を示す。図９の例では、各部位の名称は眼鏡における各部位の一般的な名称と同一とする。以下、眼鏡の主な部位の名称を説明する。
ユーザ１０の耳に引っ掛かりＨＭＤ本体を固定する部分を「先セル部１０１」と呼ぶ。ユーザ１０の鼻根に接する部分を「ノーズパッド部１０４」と呼ぶ。眼鏡のレンズの枠の部分を「リム部１０２」と呼ぶ。また、先セル部１０１とリム部１０２とをつなぎ支える部分を「テンプル部１０３」と呼ぶ。先セル部１０１、リム部１０２、テンプル部１０３、ノーズパッド部１０４は、ＨＭＤの左右にそれぞれ対称的に設けられる。
【００９０】
図８および図９から理解されるように、対となる２つの先セル部１０１と、後頭部側のバンドの中央に、脳波計測部２０が脳波を計測するために利用する電極群が配置されている。また、テンプル部１０３、リム部１０２の上下の位置には眼球運動計測部３０が眼球運動を計測するために利用する電極群が配置されている。
【００９１】
運転者１０がＨＭＤを装着した時において、脳波計測部２０の電極は両耳耳朶（マストイド）の位置と後頭部に自然に接するように配置されている。また、眼球運動計測部３０の電極は、運転者１０のコメカミと左目上下の位置に電極が自然に接するように配置されている。なお、脳波計測部２０及び眼球運動計測部３０の本体は、それぞれある１つの電極と一体的に構成されていてもよいし、リム部１０２の位置などに独立した回路として設けられていてもよい。
【００９２】
なお、脳波計測部２０、眼球運動計測部３０の電極は、それぞれ銀塩化銀電極により接触抵抗が抑えられている。後頭部に接する電極については、電極表面に突起を設けて髪の毛をよけて直接電極が頭皮に接する機構を設けてもよく、必ずしも電極にペーストをつけておく必要は無い。
【００９３】
なお、眼球運動計測部３０は、図４の例では、左目の上下左右に装着されるようになっているが、ＥＯＧ計測のための電極位置は、これに限定されない。例えば、左右いずれかのテンプル部１０３の電極をノーズパッド部１０４に配置して、水平方向のＥＯＧを計測してもよい。また、リム部１０２の電極を、テンプル部１０３に垂直方向に配置して垂直方向のＥＯＧを計測してもよい。
【００９４】
サッケード検出部４０、ＥＦＲＰ切出部５０、ＥＦＲＰ分類部６０、注意量判別部７０、統合判別部８０は、左右のテンプル部１０３に配置され、図７に示される接続関係を有するよう、それぞれが内部配線（ケーブル）で接続される。
【００９５】
なお、上記構成では、ＨＭＤ上に注意状態判別システム１の全ての構成を独立の部品として配置する例を説明したが、構成はこの限りではない。たとえば、ＨＭＤ上には脳波計測部２０、眼球運動計測部３０のみを配置し、サッケード検出部４０、ＥＦＲＰ切出部５０、ＥＦＲＰ分類部６０、注意量判別部７０、統合判別部８０を別端末に構成し、ＨＭＤと別端末間をケーブルや無線で通信することにより、注意状態判別システム１を構成してもよい。また、サッケード検出部４０、ＥＦＲＰ切出部５０、ＥＦＲＰ分類部６０、注意量判別部７０、統合判別部８０は、同一のＣＰＵやＤＳＰ内部で処理されてもよい。
【００９６】
また、眼球運動計測部３０がＥＯＧ法ではなく、カメラ等を用いて眼球運動を計測する場合には、眼球または近赤外線照射による角膜反射像を撮影するためのカメラを、ＨＭＤリム部１０２やテンプル部１０３、または車内に配置すればよい。
【００９７】
次に、注意状態判別システム１の動作を説明する。
【００９８】
図１０は注意状態判別システム１の処理の手順を示すフローチャートである。以下、図１０のフローチャートに沿って、注意状態判別システム１の動作を説明する。
【００９９】
ステップＳ１０において、運転が運転者１０により開始される。運転が開始されると、運転注意状態判別システム１による注意状態判別の処理も開始される。運転の開始は、例えば、エンジンスタート、サイドブレーキの解除、アクセルの踏み込みによって特定される。
【０１００】
ステップＳ２０において、脳波計測部２０は、運転者１０の脳波を計測する。計測された脳波は、コンピュータで処理できるようにサンプリングされ、ＥＦＲＰ切出部５０に送られる。なお、脳波に混入するノイズの影響を低減するため、本実施形態においては、脳波計測部２０は、計測された脳波に例えば１Ｈｚ以上１５以下Ｈｚのバンドパスフィルタ処理を行う。
【０１０１】
ステップＳ３０において、眼球運動計測部２０は、運転者１０の眼球運動を計測する。眼球運動計測部３０は、図４に示すように運転者１０の顔面部に４つの電極を装着し、ＥＯＧ法により、水平方向、垂直方向の眼電位の大きさを計測する。計測の方法は上述の実験の方法と同一である。計測された眼電位は、コンピュータで処理できるようにサンプリングされ、サッケード検出部４０に送られる。なおステップＳ２０およびＳ３０は並行して行われ得る。
【０１０２】
ステップＳ８１において、統合判別部８０は、注意状態を判別するタイミングかどうかを判断する。本実施形態では、注意状態判別のタイミングは１０秒間隔とする。統合判別部８０は、１０秒ごとに注意状態判別が行われるよう、判別のタイミングを制御する。判別タイミングではない場合は、ステップＳ２０の脳波計測、および、ステップＳ３０の眼球運動計測が継続される。統合判別部８０によって判別タイミングであると判断されると、ステップＳ４０以降の注意状態を判別する処理が開始される。
【０１０３】
図１１は、眼球運動データ、脳波データおよび判別タイミングの関係の一例を示す。図の横軸は時間で、判別タイミングは白矢印で示されている。本実施形態では、判別タイミングは、脳波データや眼球運動データとは関係なく、１０秒ごとの時間シフト量で実行される。
【０１０４】
再び図１０を参照する。ステップＳ４０において、サッケード検出部４０は、解析対象となる時区間（以後、「解析区間」と呼ぶ）の眼球運動データを解析し、解析区間に含まれるサッケード終了タイミング（すなわち、眼球停留開始時刻）を検出する。本実施形態では、解析区間は４０秒間とする。図１１は、解析区間の例を示す。判別タイミング（ａ）のときの解析区間は、判別タイミング（ａ）の直前４０秒間となり、解析区間（ａ）の矢印の示す範囲となる。なお、解析区間の長さを４０秒間とした理由は、本願発明者らは平均的な交差点間隔を４０秒と考えたためである。自動車が市街地を時速４０ｋｍ／時で移動している場合には４０秒間に走行する距離は約４４０ｍであり、交差点または信号機間の間隔よりも短いと考えられる。
【０１０５】
サッケード検出部４０は、例えば、上記実験のサッケード検出条件（移動時間２０ミリ秒以上７０ミリ秒以下で、平均角速度が３００度／秒以上の眼球運動）に基づきサッケードを検出する。サッケード終了時刻を眼球停留開始時刻として検出し、眼球停留開始時刻ごとに、水平方向の移動量、垂直方向の移動量をサッケード情報として蓄積する。眼球運動計測部３０がＥＯＧ法で計測されていた場合、眼球の速度は、電位の変化量で計測することができる。図１２は、ＥＯＧの電位と眼球の移動角度の対応関係の例を示す。図１２の対応関係から、眼球電位の振幅値と眼球の移動量との対応付けが可能になる。これらの関係から、眼球運動の電位量から上記のサッケードの発生条件を満たすか否かを判定し、眼球停留開始時刻を検出する。
【０１０６】
また、サッケードは斜め方向に発生することも考えられる。斜め方向のサッケードの検出では、水平方向の移動量と垂直方向の移動量を利用する。斜め方向の眼球運動の移動量は、（（水平方向の移動量）2＋（垂直方向の移動量）2）1/2で算出できる。サッケード検出は、斜め方向の眼球運動の移動量とサッケード検出条件（平均角速度が３００度／秒以上）を比較により行う。検出されたサッケードの終了時刻により、眼球停留開始時刻を検出する。
【０１０７】
図１３（ａ）は計測された眼球運動データ、脳波データ、眼球停留開始時刻の例を示す。図１３（ａ）に示すように、眼球停留開始時刻は１解析区間の中に複数含まれることがある。サッケード検出部４０は、これら全ての眼球停留開始時刻ｔ１、ｔ２、・・・、ｔ８を検出する。
【０１０８】
なお、サッケードの検出方法として、最初に水平および垂直方向のそれぞれのサッケードを独立して検出し、その後、時区間が重複している水平および垂直方向のサッケードの組を１つに統合してもよい。または、まず水平眼球運動データおよび垂直眼球運動データを合成してベクトルデータを得て、その後、当該ベクトルデータの向きおよび大きさのデータに基づいてサッケードの検出を行う方法を用いても良い。
【０１０９】
また、眼球停留開始時刻の検出と同時に、サッケード移動方向や、必要に応じてサッケード移動量も抽出される。サッケード移動方向は、上述のベクトルデータを利用すれば、そのベクトルの向き（角度）として得ることができる。一方サッケードの移動量は、サッケード開始からサッケード終了までの移動量（ＥＯＧ法では電位(μＶ)や、角膜反射法では角度（度））の情報で、検出された全ての眼球停留開始時刻に対応して抽出される。
【０１１０】
なお、「サッケードの移動量」とは、方向を判別するための、水平方向に移動した量および垂直方向に移動した量を包含する概念であり、サッケード開始時の位置と、サッケード終了時の位置との間の単なる距離ではないことに留意されたい。
【０１１１】
上述の眼球停留開始時刻、サッケード移動方向およびサッケードの移動量は、サッケード情報としてＥＦＲＰ分類部６０に送信される。
【０１１２】
図１０のステップＳ５０において、ＥＦＲＰ切出部５０は、解析区間に含まれる眼球停留関連電位（ＥＦＲＰ）を切り出す。具体的には、ステップＳ４０で抽出した各眼球停留開始時刻を起点として、−３００ミリ秒から６００ミリ秒までの脳波データをＥＦＲＰとして切り出す。
【０１１３】
図１３（ｂ）は切り出されたＥＦＲＰの例を示す。切り出されたＥＦＲＰは、眼球停留開始時刻（０ミリ秒）の電位が０μＶになるようにベースライン補正が行われる。
【０１１４】
なお上述の「切り出し」とは、脳波データと眼球停留開始時刻の情報とを対応付けるという意味を持つ。よって、処理のために解析区間の脳波データを取り出してメモリの別領域等にコピーする、という意味の切り出しに限定されない。たとえば、記録された脳波データのうち、所定区間の脳波データ自体をそのまま用いることも包含する。
【０１１５】
図１０のステップＳ６０において、ＥＦＲＰ分類部６０は、切出されたＥＦＲＰをサッケードの方向ごとに分類し、それぞれの方向のＥＦＲＰを加算平均する。図１３（ｃ）は、方向ごとに加算されたＥＦＲＰの例を示す。サッケード方向分類や加算平均などのＥＦＲＰ分類部６０の処理の詳細については後述する。本実施形態では、一例としてサッケード方向を８方向に分類する。
【０１１６】
図１０のステップＳ７０において、注意量判別部７０は、ステップＳ６０において方向ごとに加算平均されたＥＦＲＰ波形のそれぞれについて、注意状態を判別する。
【０１１７】
まず、注意量判別部７０は、各方向のＥＦＲＰ加算平均波形において、約１００ミリ秒付近の陽性の成分であるラムダ反応の振幅値を計測する。ここで図１３（ｄ）を参照しながら、具体的に説明する。 図１３（ｄ）は、右方向のサッケードの終了時刻を起点にしたＥＦＲＰが加算平均された波形を示している。グラフの横軸は時間で単位はミリ秒、縦軸は電位で単位はμＶで下向きが正の値となっている。併せて図１３（ｄ）は、ラムダ反応振幅の例も示している。本実施形態では、ラムダ反応の振幅は、例えば５０ミリ秒以上１５０ミリ秒以下における極大値の振幅により算出している。なお、波形には波形のドリフトやノイズ混入の影響が反映されている場合がある。そこで、ラムダ反応の振幅を、上述の５０ミリ秒以上１５０ミリ秒以下の極大値に代えて区間平均値を算出することによって抽出してもよい。
【０１１８】
計測されたラムダ反応振幅の値と予め設定した閾値とを比較することにより、注意量判別部７０は、注意状態を判別する。本実施形態では、集中および散漫の２つの注意状態を判別する。ラムダ反応振幅の傾向として、集中時にはその振幅が大きくなることが知られている（八木「眼球停留関連電位の産業場面への応用」心理学評論，ｖｏｌ．４５（１）、１０３−１１７。２−２章）。この特徴を利用して、注意量判別部７０に設定されている閾値により、注意状態を判別する。判別では、ラムダ反応振幅が閾値を超える場合は「集中」、閾値を下回る場合は「散漫」と判断する。
【０１１９】
いま、閾値が２．５μＶと設定されていた場合を例に挙げて、図１３（ｄ）のＥＦＲＰ加算平均波形の注意状態判別を説明する。ＥＦＲＰ加算平均波形のラムダ反応振幅は５０ミリ秒以上１５０ミリ秒以下に含まれる極大値として、６０ミリ秒付近の極大値が抽出される。この極大値の振幅値３．３μＶがラムダ反応振幅となる。ラムダ反応振幅値３．３μＶは、閾値である２．５μＶを超えているため、注意量判別部７０は、図１３（ｄ）のＥＦＲＰ加算平均波形は「集中」を意味していると判別する。
【０１２０】
注意量判別部７０は、分類された全てのサッケード方向ごとに注意量を判別し、判別結果を統合判別部８０に出力する。本実施形態では、８方向に分類しているため、８個の注意状態判別結果が注意量判別部７０から出力される。
【０１２１】
図１０のステップＳ８０において、統合判別部８０は、ステップＳ７０において判別されたサッケード方向ごとの判別結果を統合し、運転者１０の注意状態を判別する。統合判別部８０の詳細な処理については後述する。
【０１２２】
次に、図１４を参照しながら、図１０のステップＳ６０で行われるＥＦＲＰ分類部６０の処理の詳細を説明する。
【０１２３】
図１４は、ＥＦＲＰ分類部６０の処理の詳細な手順を示すフローチャートである。
【０１２４】
ステップＳ６０１において、ＥＦＲＰ分類部６０は、ステップＳ４０において計測されたサッケード情報と、ステップＳ５０において切出されたＥＦＲＰ波形のデータとを受信する。
【０１２５】
ステップＳ６０２において、ＥＦＲＰ分類部６０は、受信したＥＦＲＰ波形のうち、処理していないＥＦＲＰ波形を１つ選択する。ここでいう「処理」とは、サッケード方向に応じてＥＦＲＰを分類する処理を意味している。
【０１２６】
ステップＳ６０３において、ＥＦＲＰ分類部６０は、選択されたＥＦＲＰの起点となった眼球停留開始時刻のサッケード情報から、サッケードの方向を特定する。ＥＦＲＰおよびサッケード情報は、眼球停留開始時刻の時刻情報で対応付けられており、サッケード情報には、水平方向の移動量、垂直方向の移動量が保持されている。ＥＦＲＰ分類部６０は、水平方向の移動量、垂直方向の移動量を利用して、上述の実験における方法でサッケード方向を特定する。すなわち、図５の例で示したように、水平方向、垂直方向で、サッケード移動量と閾値（３００度／秒）とを比較し、組み合わせにより、方向を決定する。
【０１２７】
図１５は、処理中のＥＦＲＰおよびそのサッケード情報の例を示す。また図１５は、これまで処理されたＥＦＲＰが、サッケード方向に応じて記憶装置上で分類されている状態も示している。最上部に記載された処理中のＥＦＲＰは、サッケードの移動量から、右方向と判定される。
【０１２８】
なお、上述のサッケード方向の分類方法は一例である。分類方法は上記に限定されるものではない。たとえば、ＥＦＲＰ分類部６０は、水平方向の移動量、垂直方向の移動量から、サッケード方向ベクトルを求め、ベクトルの角度により分類を行ってもよい。サッケード方向ベクトルの角度の算出方法は、例えば、ベクトル角度（ラジアン）＝ａｒｃｔａｎ（垂直方向移動量／水平方向移動量）で算出できる。ベクトルの角度を利用して８方向に分類する場合は、例えば右方向を０度とし、半時計方向周りの角度を正とするとき、−２２．５〜２２．５度を「右」、２２．５〜６７．５度を「右上」、６７．５〜１１２．５度を「上」というように、４５度に区切った領域を方向と対応付ければよい。「左上」、「左」、「左下」についても同様である。ベクトルの角度の値によって、いずれの領域に分けられるかが決定される。
【０１２９】
ステップＳ６０４において、ＥＦＲＰ分類部６０は、ステップＳ６０３において分類された方向に従って、対応する分類ごとにＥＦＲＰ波形を蓄積する。８方向に分類した場合は、ＥＦＲＰは８つの方向ごとに蓄積される。図１５の例では、処理中のＥＦＲＰは、方向は「右」と分類されているため、８つに分類のうち「右」のグループにＥＦＲＰの波形が蓄積される。
【０１３０】
ステップＳ６０５において、ＥＦＲＰ分類部６０は、ステップＳ６０１で受信した全てのＥＦＲＰが分類されたか否かをチェックする。全てのＥＦＲＰが分類された場合は、ステップＳ６０６の処理に遷移する。未処理のＥＦＲＰが残っている場合は、ステップＳ６０２に戻り、全てのＥＦＲＰが分類されるまで繰り返される。
【０１３１】
上述の説明では、方向の分類数は８方向であるとしたが、これは一例である。これに限定されるものではない。例えば、ＥＦＲＰを、より細かく１６方向に分類してもよい。１６方向の場合は、上記と同様に、３６０度を１６分割（各方向２２．５度）し、−１１．２５〜１１．２５度を「右」のように領域を決めておく。垂直方向移動量と水平方向移動量から決定されるサッケード方向ベクトルの向き（角度）が１６領域のうちのどの領域に含まれるかでサッケードの方向を決定することができる。
【０１３２】
また、電極個数の制約等で垂直方向の移動量が計測できない場合は、水平方向のみの２方向でサッケード方向を分類してもよい。この場合は、水平方向移動量の正負で、「右」「左」のサッケード方向を分類する。
【０１３３】
また、サッケード方向の分類は、上述のように均等に分割しなくてもよい。図１６は、非均等な角度の方向分類の一例を示す。運転時は、速度計やカーナビの機器類は視野の下側に存在するため、機器類を見るときに下方向のサッケードが発生すると考えられる。そこで、車両前方に対する視線の動きと運転機器に対する視線の動きを区別するように分割してもよい。図１６の例では、０°から１８０°の領域を４分割（方向分類１〜４）で車両前方への視線の動きを分類し、１８０°から３６０°で運転機器に対する視線の動きとして分類している。サッケード方向の分類方法は上記と同様で、垂直方向移動量と水平方向移動量から決定されるサッケード方向ベクトルの向き（角度）がどの方向分類に属するかで決定される。
【０１３４】
ステップＳ６０６において、ＥＦＲＰ分類部６０は、方向ごとに分類されて蓄積されているＥＦＲＰ波形の平均を算出する。本実施形態では、８方向に分類されているため、１方向１つのＥＦＲＰ加算平均波形、合計８つのＥＦＲＰ加算平均波形が算出される。
【０１３５】
ステップＳ６０７において、ＥＦＲＰ分類部６０は、算出されたＥＦＲＰ加算平均波形を注意量判別部７０に送信する。
【０１３６】
注意量判別部７０は、分類された全てのサッケード方向ごとのＥＦＲＰ加算平均波形におけるラムダ反応振幅と閾値とを比較して、ラムダ反応振幅が閾値を超える場合は「集中」、閾値を下回る場合は「散漫」と判断する。図１７は、注意量判別部７０から出力された注意状態判別結果の一例を示す。図示されるように、８つの方向ごとにそれぞれ「集中」または「散漫」の判別結果が保持されている。
【０１３７】
次に、ステップＳ８０で行われる統合判別部８０の処理の詳細を説明する。図１８は、統合判別部８０の処理の詳細な手順を示すフローチャートである。
【０１３８】
ステップＳ８０１において、統合判別部８０は、注意量判別部７０により判別された、方向ごとの注意状態判別結果を取得する。
【０１３９】
ステップＳ８０２において、統合判別部８０は、判定結果の比を算出する。図１７の例では、「集中」という判別結果は３個に対し「散漫」という判別結果は５個である。よって、集中：散漫＝３：５となる。
【０１４０】
ステップＳ８０３において、統合判別部８０は、「集中」の比率の大きさを判定する。「集中」の比率が「散漫」より高い場合には、ステップＳ８０５に遷移する。図１７のデータでは、「集中」の比率が「散漫」より低いため、ステップＳ８０４に遷移する。
【０１４１】
ステップＳ８０４において、統合判別部８０は、散漫の比率の大きさを判定する。「集中」の比率が「散漫」の比率よりも低い場合には、ステップＳ８０６に遷移する。「集中」の比率が散漫の比率よりも低くない場合には、「集中」＝「散漫」の関係になっている状態と判定し、ステップＳ８０７に遷移する。
【０１４２】
ステップＳ８０５において、統合判別部８０は、運転者１０の注意状態を「集中」と判断する。
【０１４３】
ステップＳ８０６において、統合判別部８０は、運転者１０の注意状態を「散漫」と判断する。
【０１４４】
ステップＳ８０７において、統合判別部８０は、特定方向の判別結果を利用して、運転者１０の注意状態を判別する。本願発明者らの上記実験によると、実験参加者１７名の方向別の判別率を調査した結果、右下方向の精度が高くなる傾向にあった。本実施形態では、左記の結果を反映し、右下方向の判別結果の重み付けを高くし、方向ごとの注意状態判別結果の「集中」と「散漫」の比が同数の場合は、右下方向の判別結果を採用するとした。
【０１４５】
なお、方向別注意状態判別結果の「集中」と「散漫」の比が同数の場合の処理は上記に限定されず、本実施形態の注意状態判別装置の使われ方や、注意の特性などによって決定される。例えば、注意状態判別装置が、注意散漫状態をもらさず検出したい場合、「集中」と「散漫」の比率が同数の場合には、散漫が出力されるようにすれば良い。また、注意状態の状態遷移の特性として、注意状態は変化しないということを前提とするならば、所定の注意状態を、前回の判定結果と同様、とすることも可能である。これにより、「散漫」と「集中」の中間状態においても安定した結果が出力できる。また、同数の場合は、「集中」でも「散漫」でもない状態として「どちらでもない」という注意状態として出力してもよい。
【０１４６】
なお、上述の統合判別部８０の処理では、「集中」と「散漫」の比率により運転者１０の注意状態を判別すると記述したが、必ずしもこの判別方法に限定されない。例えば、比率ではなく、「集中」と判定された数と、「散漫」と判定された数とを直接比較して最終的な注意状態を判別してもよい。その場合には、分類された方向ごとの判別結果を多数決することにより、最終的な注意状態を判別すればよい。
【０１４７】
または、状況に合わせてあらかじめ方向ごとに重み付けを設定しておき、その重み付けに基づいて判別してもよい。図１９（ａ）は、車にカーナビゲーションシステムが設置されているときの重み付けの例を示す。各方向の値は、その方向の重みの大きさを示す。左下の重みが０．５で、それ以外の方向の重みは１である。カーナビゲーションシステムが装着されている車では、視線を左下に動かした場合、カーナビを見る視線動作を多く含むと考えられる。運転に対する注意量を判別する場合には、カーナビを見たときの注意量はあまり大きく反映されないように、左下の重み付けが小さく設定されている。
【０１４８】
以下に、重み付けを利用した判別の方法について説明する。注意量判別部７０により判別された方向ごとの注意状態判別結果の一例を図１９（ｂ）に示す。注意状態判別結果は、上下左右方向が散漫と判別され、その他の４方向が集中と判断されている。方向ごとに集中、散漫に分けて重み付けを加算し、集中、散漫のどちらの重みの和が大きいかを判定する。図１９の例では、集中（１＋１＋０．５＋１）＝３．５、散漫（１＋１＋１＋１）＝４で、散漫と判断される。
【０１４９】
また、重み付けは上記のように、車内環境や個人に応じて定常的に設定されてもよいし、道路環境や運転操作に応じて動的に変化してもよい。例えば、道路環境に応じた重み付けの例として、高速道路が考えられる。高速道路では、左右からの飛び出しというケースが少ないため、左右方向への注意量が小さいことが多いと考えられる。そこで、左右方向の重みを小さく設定することにより、左右方向の注意量の低下の影響を運転注意量判別に反映されづらくすることができる。また、運転操作に応じた重み付けの例として、ハンドル操作時が考えられる。例えばハンドルを右に切っているときには、車は右方向に進行するため、右側に対して多くの注意が払われるべきである。逆に、左側については、右側に多くの注意のリソースが割かれる分、注意量が低下する。そこで、右折時には、サッケード右方向の重み付けを大きくまたはサッケード左方向の重みを小さくすることで、注意の偏りの影響を緩和することができると考えられる。
【０１５０】
なお、上述の重み付けを用いる方法は、「集中」と判定された数と、「散漫」と判定された数とを直接比較して最終的な注意状態を判別する場合にも応用することができる。すなわち、「集中」や「散漫」と判定された方向によっては、１より大きい数字を割り当ててもよいし、１より小さい数字を割り当ててもよい。その数字自体が重みに相当する。
【０１５１】
ステップＳ８０８において、統合判別部８０は、注意状態判別結果に基づいて、運転者１０へのフィードバックを行う。統合判別部８０がディスプレイ等の映像出力装置を保持している場合、「集中」または「散漫」の判別結果をディスプレイ上に表示すればよい。また、統合判別部８０に接続されたスピーカー等の音声出力装置を利用して、注意量が低下し注意散漫状態と判別された場合には、警告音を出力し、運転者および同乗者に注意散漫な状態を通知してもよい。さらに、統合判別部８０が通信手段を保持している場合には、結果を注意状態判別装置の外部に送信し、例えば注意散漫と判別された場合には、自動車の制御部に結果を出力し、自動的にブレーキをかける等の機器の制御を行ってもよい。また、散漫状態時には、運転者１０に呈示する情報（エンジン回転数やカーナビゲーションシステムの情報など）をフィルタリングして絞込み運転者に見せないようにすることで、より運転に集中できる環境を作り出すように作用してもよい。
【０１５２】
次に、本実施形態手法で注意状態の判別を行った場合の効果を、分析結果を用いて説明する。この分析結果は、本実施形態の冒頭で説明した実験データ（実験参加者１７名分）と同じデータを用いて、これまでの方法で分析した場合と、本実施形態の方法で分析した場合とを比較した結果である。
【０１５３】
まず図２０（ａ）は、解析区間を従来と同様に１２０秒に揃えた場合の比較結果を示す。従来手法による判別率が７９．６％であるのに対し、本実施形態の手法による判別率は９０．２％となっており、非常によい結果が得られた。この結果によれば、８０％以上の判別率を維持したまま、本実施形態では解析区間を短縮できることがわかる。
【０１５４】
次に図２０（ｂ）は、同様の実験のデータを用いて、一定の判別精度を維持したまま、どこまで解析区間が短くできるかを評価した結果を示す。本願発明者らの実験においては、サッケード方向８方向に分類して判別する本実施形態の手法を利用した場合、どこまで全体の解析区間を短くできるかについて評価を行った。
【０１５５】
図２０（ｂ）の表から、解析区間が１２０秒の場合には９０．２％の高い判別率が得られ、以下、６０秒で８３．１％、４０秒で８１．５％、３０秒で７６．８％と、順次、解析区間を短くするのに従って、識別精度は徐々に低下することが読み取れる。ここで、従来手法で識別精度の目安としていた８０％を超えているのは解析区間が４０秒、およびそれ以上の場合となる。
【０１５６】
以上の結果から、本実施形態の手法によれば、解析区間４０秒でも、従来手法と同等の判別率（８０％程度）を維持できることがわかった。
【０１５７】
この４０秒の解析区間を、自動車を運転しているときの時間に換算すると、時速４０ｋｍ／時なら４０秒間に走行する距離は約４４０ｍであり、約４４０ｍの区間を走行中の注意状態が判別できることになる。従来の１２０秒であれば、１．３ｋｍ以上の距離を走っていることと比較して考えると、注意状態の判別の詳細度が向上できると言える。例えば、市街地においても４０秒ごとの計測であれば、交差点ごとに注意状態が判定できると考えられる。
【０１５８】
このように本実施形態にかかる構成および処理の手順により、運転者の状態を判別し安全運転支援を行う装置においてサッケードの方向に基づきＥＦＲＰを分類して加算し、各分類されたＥＦＲＰにより判別された結果に基づいて、最終的な注意状態を判別することで、注意状態判別に必要な時間を短縮でき、市街地など状況が頻繁に変わる環境でも、より詳細な注意状態判別が可能になる。
【０１５９】
なお、本実施形態では、統合判別部８０による注意状態判別結果を運転者１０にフィードバックする例を用いて説明を行ったが、統合判別部８０がＨＤＤ等の記憶装置を有している場合には、判別結果をその記憶装置に蓄積してもよい。判別結果を蓄積した場合は、運転終了後に運転者１０に対する安全運転指導の基礎データとして解析や利用がされることが考えられる。例えば、運転中に散漫と判別された時間と運転時間との比を取り、運転終了後に運転者１０に運転中の注意散漫状態の頻度を示すことにより、次回運転時の注意喚起ができる。
【０１６０】
なお、本実施形態による注意状態判別装置は自動車運転中の注意状態判定に限らず、視線方向に対する集中が求められる工場作業や監視作業における注意状態判別にも適用可能である。例えば工場作業においては、視線の動き方や視界に入っているオブジェクトへの注意の払い方などが個人や作業工程などによって異なり、運転時と同様、特定の方向に注意が偏りや、特定の方向を見たときのノイズ混入率が高まることが考えられる。よって、上記のような場合も、サッケード方向ごとにＥＦＲＰを分類して注意状態を判別することにより、解析区間が短縮できると考えられる。
【０１６１】
本実施形態では、運転者１０の注意状態の判別として、集中状態と散漫状態の２状態を判別する例で説明を行った。運転者１０が散漫状態になる前に警告を行う場合など、集中と散漫の間の状態を判別する必要がある適用例も考えられる。左記のように集中と散漫の間を多段階に状態判別する場合も、本発明の範疇である。多段階に状態を判別する場合、注意量判別部７０は、ラムダ反応の振幅の大きさに基づいて注意状態を判別する。
【０１６２】
本実施形態では、解析区間を一定の長さとし、統合判別部８０は一定の判別タイミングで注意状態を判別するという例を説明した。交差点から交差点までの間はあまり外部環境が変化しないことを考慮すると、交差点から交差点の間では、同一の注意状態であると考えることもできる。また、交差点における事故発生率は非常に高く、交差点での的確な注意状態に応じた安全運転支援が、事故防止の効果が高いと考えられる。
【０１６３】
そこで、交差点で効果的に安全運転支援するための注意状態判別システムの例を説明する。以下、上述の解析区間を交差点間をとした場合における、実施形態の変形例を説明する。
【０１６４】
図２１は、本実施形態の変形例にかかる注意状態判別システム２の構成を示す。図２１では、図７と同じ構成要素については同じ符号を付し、その説明を省略する。図２１において、注意状態判別システム２は、外部環境が切り替わったタイミング、言い換えると、外部環境が変化したタイミングを検出する状況検出部９０を有している。
【０１６５】
状況検出部９０は、車載のＧＰＳやカーナビゲーションシステム等と接続され、現在地の情報と地図情報とを取得する。状況検出部９０は現在地と地図情報の比較により、自車が交差点に差し掛かるタイミングを検出する。検出結果は、注意状態判別装置１１０の統合判別部８１に送信される。統合判別部８１は、状況検出部９０からの検出結果を受け取り、後述するように、検出結果に応じた処理を行う。検出結果に応じた処理を行うことを除き、統合判別部８１の動作は、先の実施形態の統合判別部８０の動作と同じである。なお、注意状態判別装置１１０と注意状態判別装置１００（図７）とは、統合判別部８１を有しているか、統合判別部８０を有しているかという点において相違している。
【０１６６】
図２２は、上記実施形態の変形例に係る注意状態判別システム２の全体処理のフローチャートである。図１０の処理と同一の処理には同じステップ番号を付し、その説明を省略する。
【０１６７】
ステップＳ９０において、状況検出部９０は、自車が交差点に差し掛かかる手前かどうかを判定する。例えば、状況検出部９０は、カーナビゲーションシステムから現在地の情報と地図情報とを取得し、現在地の座標と、進行方向に存在する、道が交差している地点の座標との距離を比較して、その距離が一定値以内（例えば５０ｍ手前）かどうかを判定する。自車が交差点に差し掛かかる手前と判定された場合、状況検出部９０は、統合判定部８０に判定タイミングの指示を送信する。
【０１６８】
ステップＳ８２において、統合判定部８０は、判別タイミングの指示が状況検出部９０より送信されてきたかを確認する。送信されていなかった場合は、再びステップＳ２０に戻り、脳波計測を継続する。判定タイミングの指示があった場合は、前回判別タイミングの指示があった時刻から今回判別タイミングの指示があった時刻までを解析区間として、ステップＳ４０以降の処理を実行する。
【０１６９】
上述の変形例の構成および処理の手順により、交差点手前での注意状態を判別することで、交差点において注意状態に応じた安全運転支援が可能になる。例えば、交差点に入る直前に注意散漫と判別されると、その時点で、または、交差点に入った際に、統合判別部８０が自動車に制御信号を送り、車を大きく減速させる等の支援が考えられる。他にも、カーナビゲーションシステムを制御し、右左折のタイミングを指示する音声案内を頻繁に行って注意を喚起してもよい。または、カーナビゲーションシステムの画面に表示される交差点での右左折に関係ない情報を減らして、より表示情報に集中できるようしたりする等の安全運転支援が考えられる。
【０１７０】
このように、上記注意状態判別装置変形例の構成および処理の手順により、交差点のような事故多発エリアにおいて、注意状態に応じた安全運転支援が可能になる。上述の構成によれば、交差点走行における安全性が向上する。
【０１７１】
なお、上記の例では、状況検出部９０はカーナビと連動し、地図情報から交差点の位置を検出していたが、これに限定されるものではない。例えば、ハンドルと接続され、ハンドルを切る角度により右左折動作を検知し、右左折動作を開始した地点を交差点にさしかかったタイミングとして検出してもよい。
【０１７２】
また、運転時ではなく、工場作業に適用した場合は、作業工程等の情報を工場内の機器から取得し、工程切り替わりタイミングを検出してもよい。
【０１７３】
本発明は、コンピュータプログラムとしても実施され得る。そのようなコンピュータプログラムは、たとえば図１０、１４、１８および２２のフローチャートによって示される手順を実行するための命令を含む。コンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。なお、上述の実施形態および変形例にかかる注意状態判別装置は、半導体回路にコンピュータプログラムを組み込んだＤＳＰ等のハードウェアとして実現することも可能である。
【産業上の利用可能性】
【０１７４】
本発明にかかる注意状態判別システムは、状況が頻繁に変化する運転操作における注意状態判別に有用である。また、作業への集中が求められる工場での作業などへの注意状態判別にも有効である。また、たとえば、注意状態判別システムがヘッドマウントディスプレイ型の装置として構成される場合は、自転車運転中や歩行中の安全支援装置として有効である。さらに、ＴＶ視聴の注意状態をテレビ番組への興味と対応づけることにより、番組興味度計測などのマーケティング用途への応用も可能である。
【符号の説明】
【０１７５】
１０ ユーザ
２０ 脳波計測部
３０ 眼球運動計測部
４０ サッケード検出部
５０ ＥＦＲＰ切出部
６０ ＥＦＲＰ分類部
７０ 注意量判別部
８０ 統合判別部
９０ 状況検出部
【特許請求の範囲】
【請求項１】
ユーザの脳波信号を計測する脳波計測部と、
前記ユーザの眼球の運動を計測する眼球運動計測部と、
前記ユーザの眼球の運動を用いて、前記眼球のサッケードが終了した時刻である眼球停留開始時刻および前記サッケードの移動量を複数検出するサッケード検出部と、
各サッケードの移動量に基づいて各サッケードの方向を特定し、特定された各サッケードの方向を分類する分類部であって、分類された方向ごとに、各サッケードに対応する前記眼球停留開始時刻を起点として前記ユーザの脳波信号から切り出した眼球停留電位を加算平均する分類部と、
加算平均された前記眼球停留関連電位に基づいて、分類された方向ごとの注意状態を判別する注意量判別部と、
前記方向ごとの注意状態の判別結果を用いて、前記ユーザの注意状態を判別する統合判定部と
を備えた注意状態判別システム。
【請求項２】
前記注意量判別部は、前記方向ごとに、集中状態または注意散漫状態のいずれに該当するかを判別し、
前記統合判定部は、前記注意量判別部によって判別された集中状態および注意散漫状態のうちいずれか多く判別された状態を前記ユーザの注意状態と判別する、請求項１に記載の注意状態判別システム。
【請求項３】
前記統合判別部は、前記注意量判別部による方向ごとの判別結果を多数決することにより、前記ユーザの注意状態を判別する、請求項２に記載の注意状態判別装置。
【請求項４】
前記サッケード検出部は、前記ユーザの眼球の運動量が予め定めた閾値よりも小さくなった時点を、前記眼球停留開始時刻として検出する、請求項１に記載の注意状態判別システム。
【請求項５】
前記注意量判別部は、前記方向ごとに、加算平均された前記眼球停留関連電位のラムダ反応の振幅値と、予め定められた閾値とを比較することにより、分類された方向ごとの注意状態を判別する、請求項２に記載の注意状態判別システム。
【請求項６】
前記注意量判別部は、前記眼球停留開始時刻を起点として、加算平均された前記眼球停留関連電位の１００±１００ミリ秒に含まれる極大値を、ラムダ反応の振幅値として利用する、請求項５に記載の注意状態判別システム。
【請求項７】
前記統合判定部は、一定時間ごとに前記ユーザの注意状態を判別する、請求項１に記載の注意状態判別システム。
【請求項８】
外部環境が変化したタイミングを検出する状況検出部をさらに備え、
前記統合判定部は、前記状況検出部によって検出された前記外部環境が変化したタイミングにおいて、前記ユーザの注意状態を判別する、請求項１に記載の注意状態判別システム。
【請求項９】
前記状況検出部は、現在地の情報および地図情報を取得し、前記現在地の情報と地図上の交差点の位置情報とを比較することにより、交差点に差し掛かるタイミングを検出する、請求項８に記載の注意状態判別システム。
【請求項１０】
前記統合判別部は、方向ごとの判別結果を多数決することで前記ユーザの注意状態を判別する、請求項１に記載の注意状態判別システム。
【請求項１１】
眼球の運動を計測する眼球運動計測部によって計測された、ユーザの眼球の運動を用いて、前記眼球のサッケードが終了した時刻である眼球停留開始時刻および前記サッケードの移動量を複数検出するサッケード検出部と、
各サッケードの移動量に基づいて各サッケードの方向を特定し、特定された各サッケードの方向を分類する分類部であって、分類された方向ごとに、各サッケードに対応する前記眼球停留開始時刻を起点として、脳波信号を計測する脳波計測部を用いて計測された前記ユーザの脳波信号から切り出した眼球停留電位を加算平均する分類部と、
加算平均された前記眼球停留関連電位に基づいて、分類された方向ごとの注意状態を判別する注意量判別部と、
前記方向ごとの注意状態の判別結果を用いて、前記ユーザの注意状態を判別する統合判定部と
を備えた注意状態判別装置。
【請求項１２】
ユーザの脳波信号を計測するステップと、
前記ユーザの眼球の運動を計測するステップと、
前記ユーザの眼球の運動を用いて、前記眼球のサッケードが終了した時刻である眼球停留開始時刻および前記サッケードの移動量を複数検出するステップと、
各サッケードの移動量に基づいて各サッケードの方向を特定し、特定された各サッケードの方向を分類するステップであって、分類された方向ごとに、各サッケードに対応する前記眼球停留開始時刻を起点として前記ユーザの脳波信号から切り出した眼球停留電位を加算平均するステップと、
加算平均された前記眼球停留関連電位に基づいて、分類された方向ごとの注意状態を判別するステップと、
前記方向ごとの注意状態の判別結果を用いて、前記ユーザの注意状態を判別するステップと
を包含する、注意状態判別方法。
【請求項１３】
注意状態判別装置に実装されたコンピュータによって実行されるコンピュータプログラムであって、
前記コンピュータプログラムは、前記コンピュータに対し、
ユーザの脳波信号を受け取るステップと、
前記ユーザの眼球の運動を受け取るステップと、
前記ユーザの眼球の運動を用いて、前記眼球のサッケードが終了した時刻である眼球停留開始時刻および前記サッケードの移動量を複数検出するステップと、
各サッケードの移動量に基づいて各サッケードの方向を特定し、特定された各サッケードの方向を分類するステップであって、分類された方向ごとに、各サッケードに対応する前記眼球停留開始時刻を起点として前記ユーザの脳波信号から切り出した眼球停留電位を加算平均するステップと、
加算平均された前記眼球停留関連電位に基づいて、分類された方向ごとの注意状態を判別するステップと、
前記方向ごとの注意状態の判別結果を用いて、前記ユーザの注意状態を判別するステップと
を実行させる、コンピュータプログラム。
【請求項１】
ユーザの脳波信号を計測する脳波計測部と、
前記ユーザの眼球の運動を計測する眼球運動計測部と、
前記ユーザの眼球の運動を用いて、前記眼球のサッケードが終了した時刻である眼球停留開始時刻および前記サッケードの移動量を複数検出するサッケード検出部と、
各サッケードの移動量に基づいて各サッケードの方向を特定し、特定された各サッケードの方向を分類する分類部であって、分類された方向ごとに、各サッケードに対応する前記眼球停留開始時刻を起点として前記ユーザの脳波信号から切り出した眼球停留電位を加算平均する分類部と、
加算平均された前記眼球停留関連電位に基づいて、分類された方向ごとの注意状態を判別する注意量判別部と、
前記方向ごとの注意状態の判別結果を用いて、前記ユーザの注意状態を判別する統合判定部と
を備えた注意状態判別システム。
【請求項２】
前記注意量判別部は、前記方向ごとに、集中状態または注意散漫状態のいずれに該当するかを判別し、
前記統合判定部は、前記注意量判別部によって判別された集中状態および注意散漫状態のうちいずれか多く判別された状態を前記ユーザの注意状態と判別する、請求項１に記載の注意状態判別システム。
【請求項３】
前記統合判別部は、前記注意量判別部による方向ごとの判別結果を多数決することにより、前記ユーザの注意状態を判別する、請求項２に記載の注意状態判別装置。
【請求項４】
前記サッケード検出部は、前記ユーザの眼球の運動量が予め定めた閾値よりも小さくなった時点を、前記眼球停留開始時刻として検出する、請求項１に記載の注意状態判別システム。
【請求項５】
前記注意量判別部は、前記方向ごとに、加算平均された前記眼球停留関連電位のラムダ反応の振幅値と、予め定められた閾値とを比較することにより、分類された方向ごとの注意状態を判別する、請求項２に記載の注意状態判別システム。
【請求項６】
前記注意量判別部は、前記眼球停留開始時刻を起点として、加算平均された前記眼球停留関連電位の１００±１００ミリ秒に含まれる極大値を、ラムダ反応の振幅値として利用する、請求項５に記載の注意状態判別システム。
【請求項７】
前記統合判定部は、一定時間ごとに前記ユーザの注意状態を判別する、請求項１に記載の注意状態判別システム。
【請求項８】
外部環境が変化したタイミングを検出する状況検出部をさらに備え、
前記統合判定部は、前記状況検出部によって検出された前記外部環境が変化したタイミングにおいて、前記ユーザの注意状態を判別する、請求項１に記載の注意状態判別システム。
【請求項９】
前記状況検出部は、現在地の情報および地図情報を取得し、前記現在地の情報と地図上の交差点の位置情報とを比較することにより、交差点に差し掛かるタイミングを検出する、請求項８に記載の注意状態判別システム。
【請求項１０】
前記統合判別部は、方向ごとの判別結果を多数決することで前記ユーザの注意状態を判別する、請求項１に記載の注意状態判別システム。
【請求項１１】
眼球の運動を計測する眼球運動計測部によって計測された、ユーザの眼球の運動を用いて、前記眼球のサッケードが終了した時刻である眼球停留開始時刻および前記サッケードの移動量を複数検出するサッケード検出部と、
各サッケードの移動量に基づいて各サッケードの方向を特定し、特定された各サッケードの方向を分類する分類部であって、分類された方向ごとに、各サッケードに対応する前記眼球停留開始時刻を起点として、脳波信号を計測する脳波計測部を用いて計測された前記ユーザの脳波信号から切り出した眼球停留電位を加算平均する分類部と、
加算平均された前記眼球停留関連電位に基づいて、分類された方向ごとの注意状態を判別する注意量判別部と、
前記方向ごとの注意状態の判別結果を用いて、前記ユーザの注意状態を判別する統合判定部と
を備えた注意状態判別装置。
【請求項１２】
ユーザの脳波信号を計測するステップと、
前記ユーザの眼球の運動を計測するステップと、
前記ユーザの眼球の運動を用いて、前記眼球のサッケードが終了した時刻である眼球停留開始時刻および前記サッケードの移動量を複数検出するステップと、
各サッケードの移動量に基づいて各サッケードの方向を特定し、特定された各サッケードの方向を分類するステップであって、分類された方向ごとに、各サッケードに対応する前記眼球停留開始時刻を起点として前記ユーザの脳波信号から切り出した眼球停留電位を加算平均するステップと、
加算平均された前記眼球停留関連電位に基づいて、分類された方向ごとの注意状態を判別するステップと、
前記方向ごとの注意状態の判別結果を用いて、前記ユーザの注意状態を判別するステップと
を包含する、注意状態判別方法。
【請求項１３】
注意状態判別装置に実装されたコンピュータによって実行されるコンピュータプログラムであって、
前記コンピュータプログラムは、前記コンピュータに対し、
ユーザの脳波信号を受け取るステップと、
前記ユーザの眼球の運動を受け取るステップと、
前記ユーザの眼球の運動を用いて、前記眼球のサッケードが終了した時刻である眼球停留開始時刻および前記サッケードの移動量を複数検出するステップと、
各サッケードの移動量に基づいて各サッケードの方向を特定し、特定された各サッケードの方向を分類するステップであって、分類された方向ごとに、各サッケードに対応する前記眼球停留開始時刻を起点として前記ユーザの脳波信号から切り出した眼球停留電位を加算平均するステップと、
加算平均された前記眼球停留関連電位に基づいて、分類された方向ごとの注意状態を判別するステップと、
前記方向ごとの注意状態の判別結果を用いて、前記ユーザの注意状態を判別するステップと
を実行させる、コンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１２−８５７４６（Ｐ２０１２−８５７４６Ａ）
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願番号】特願２０１０−２３３８５１（Ｐ２０１０−２３３８５１）
【出願日】平成２２年１０月１８日（２０１０．１０．１８）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願日】平成２２年１０月１８日（２０１０．１０．１８）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]