脳波インターフェースシステム
【課題】使用者の身体的負荷が小さく、高速に動作する脳波インターフェースシステムを提供する。
【解決手段】使用者が注視するディスプレイ１２には、少なくとも、４０Ｈｚから１００Ｈｚの間のいずれかの周波数で視覚パターンが切り換わるフリッカ刺激が表示される。使用者の頭部には電極Ｅが装着され、脳波信号検出部２１は電極Ｅからの信号に基づいて、定常性視覚誘発電位信号を含む脳波信号を求める。周波数特徴解析部３１は、脳波信号の周波数特徴を解析し、視覚刺激判別部３２はその周波数特徴に基づいて使用者が注視している視覚刺激の種類を判別する。
【解決手段】使用者が注視するディスプレイ１２には、少なくとも、４０Ｈｚから１００Ｈｚの間のいずれかの周波数で視覚パターンが切り換わるフリッカ刺激が表示される。使用者の頭部には電極Ｅが装着され、脳波信号検出部２１は電極Ｅからの信号に基づいて、定常性視覚誘発電位信号を含む脳波信号を求める。周波数特徴解析部３１は、脳波信号の周波数特徴を解析し、視覚刺激判別部３２はその周波数特徴に基づいて使用者が注視している視覚刺激の種類を判別する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、使用者の脳波を入力として用いる脳波インターフェースシステムに関する。
【背景技術】
【０００２】
従来、様々な環境において機器等を操作するために、機器操作の入力として脳波を用いる技術（ＢＣＩ（Brain Computer Interface））が提案されている。例えば、特許文献１，２の技術では、番組選択用アイコンの表示の切り換えタイミングと脳波信号に含まれるＰ３信号とに基づいて、使用者が希望する番組を推定している。また、特許文献１の技術では、起動用アイコンを所定周波数（例えば、１０Ｈｚ）で点滅表示させ、そのときの脳波信号の所定周波数付近の周波数パワーと閾値とを比較することにより、使用者が起動用アイコンを見ているか否かを判定している。
【０００３】
また、特許文献３の技術では、使用者に異なる周波数で点滅する光を呈示し、その使用者の定常性視覚誘発電位（以下、ＳＳＶＥＰ（Steady-State Visual Evoked Potential）と称する）に基づいて、使用者がどの周波数の光を注視していたかを判定している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第ＷＯ２００８／１５２７９９号
【特許文献２】特開２００９−２６８８２６号公報
【特許文献３】特開２０１１−０１５７８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
Ｐ３信号は、視覚刺激の呈示から約３００ｍｓｅｃ後に出現する陽性のピークである。このＰ３信号は非常に微弱であるため、検出された信号からノイズを除去し、有効なＰ３信号のみを抽出するためには、時間がかかる。例えば、複数回の試行から得られた信号を平均する等の処理が必要となる。そのため、Ｐ３信号を用いて使用者の意図等を推定するためには数秒の時間が必要となる。これは、Ｐ３信号はリアルタイム性の高い処理には向かないことを示している。
【０００６】
また、特許文献１の技術では、装置の起動にＳＳＶＥＰに基づいて使用者が１０Ｈｚで明滅する起動用アイコンを見ているか否かを判定している。しかしながら、低周波の明滅刺激は、使用者の光過敏性発作を誘発する可能性があり、使用者の健康上の観点から好ましくない。これに対して、特許文献３の技術では、旧来のＳＳＶＥＰを用いたＢＣＩ等で使用されていた点滅周波数よりも高い臨界融合周波数（３２．４Ｈｚ〜３６．２Ｈｚ）の光源を用いている。しかしながら、この臨界融合周波数の点滅光源を用いても使用者の光過敏性発作を誘発する可能性がある。
【０００７】
本発明は上記課題に鑑みてなされたものであり、その目的は、使用者の身体的負荷が小さく、高速に動作する脳波インターフェースシステムを提供することである。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明の脳波インターフェースシステムは、少なくとも、４０Ｈｚから１００Ｈｚの間のいずれかの周波数で視覚パターンが切り換わるフリッカ刺激を使用者に対して視覚刺激として呈示する視覚刺激呈示部と、前記使用者の頭部に装着される電極からの信号に基づいて、定常性視覚誘発電位信号を含む脳波信号を求める脳波信号検出部と、前記脳波信号の周波数特徴を解析する周波数特徴解析部と、前記周波数特徴に基づいて、前記使用者が注視している前記視覚刺激の種類を判別する視覚刺激判別部と、を備えている。
【０００９】
この構成では、使用者に呈示されるフリッカ刺激は４０Ｈｚから１００Ｈｚであるため、使用者の光過敏性発作を誘発する可能性が低く、使用者の身体的負荷が小さくなっている。また、視覚刺激の呈示から約３００ｍｓｅｃで検出可能なＳＳＶＥＰに基づいて使用者が注視している視覚刺激の種類を判別しているため、高速に視覚刺激の種類を判別することができる。
【００１０】
一般的に、視覚刺激であるフリッカ刺激の周波数が高くなるにつれてＳＳＶＥＰの振幅（強度）が小さくなることが知られている。本発明では、ＳＳＶＥＰを用いた従来の技術に比べて高い周波数のフリッカ刺激を用いている。そのため、低周波数のフリッカ刺激を用いる場合に比べて、視覚刺激の種類の判別が困難になっている。そのため、本発明の脳波インターフェースの好適な実施形態の一つでは、前記視覚刺激判別部は、教師信号に基づく統計的学習により構築された統計的学習モデルに基づく判別を行う。
【００１１】
この構成では、統計的学習モデルに基づいて使用者が注視している視覚刺激の種類を判別しているため、従来の閾値に基づく判別に比べて、高精度で安定した判別が可能となっている。
【００１２】
本発明の脳波インターフェースの好適な実施形態の一つでは、前記視覚刺激判別部により判別された前記視覚刺激の種類と、前記使用者が注視した前記視覚刺激の種類とが一致するか否かを判定する正否判別部と、前記周波数特徴と前記正否判別部の判定結果とに基づいて前記統計的学習モデルを再構築する学習部と、を備えている。
【００１３】
この構成では、使用者が実際に脳波インターフェースシステムを利用している最中にも統計的学習モデルの再構築、すなわち、再学習が可能となっている。このため、疲れや集中力の低下等に起因してＳＳＶＥＰの波形が変化した場合でも、そのときどきのＳＳＶＥＰに基づいて統計的学習モデルが再構築されるため、そのときどきに適した統計的学習モデルを得ることができる。換言すると、ＳＳＶＥＰの経時変化を吸収することができる。
【００１４】
上述したように、ＳＳＶＥＰの波形は疲れや集中力の低下等に起因して変化するものであり、ＳＳＶＥＰの特徴量のピーク値が小さくなると誤判別の原因となる。そのため、ＳＳＶＥＰの特徴量のピーク値は大きいことが望ましい。そのため、本発明の脳波インターフェースの好適な実施形態の一つでは、前記視覚刺激判別部における判別基準と前記周波数特徴との差異が所定閾値以上となった場合に、前記視覚刺激呈示部は前記視覚刺激の呈示態様を変更する。
【００１５】
この構成では、視覚刺激判別部における判別基準と周波数特徴との差異が所定閾値以上となった場合に、視覚刺激呈示部は視覚刺激の呈示態様を変更している。なお、視覚刺激の呈示態様は、ＳＳＶＥＰの特徴量のピーク値が大きくなるように変更することが望ましい。
【図面の簡単な説明】
【００１６】
【図１】脳波インターフェースシステムの構成図である。
【図２】実施例１における脳波インターフェースシステムの機能ブロック図である。
【図３】使用者に呈示する視覚パターンの例である。
【図４】統計的学習モデルの構築時の処理の流れを表すフローチャートである。
【図５】統計的学習モデルを用いた視覚刺激の種類の判別処理の流れを表すフローチャートである。
【図６】固視期間に呈示する画像の例である。
【図７】フリッカ刺激を呈示した際の使用者の脳波の周波数特徴を表すグラフである。
【図８】学習試行回数と視覚刺激の種類の判別精度との関係を表すグラフである。
【図９】実施例２における脳波インターフェースシステムの機能ブロック図である。
【図１０】実施例２における統計的学習モデルの再構築の処理の流れを表すフローチャートである。
【図１１】実施例３における脳波インターフェースシステムの機能ブロック図である。
【発明を実施するための形態】
【実施例１】
【００１７】
以下に、図面を用いて本発明の脳波インターフェースシステムの実施形態を説明する。図１は、本実施形態における脳波インターフェースシステムの構成図である。また、図２は本実施形態における脳波インターフェースシステムの機能ブロック図である。
【００１８】
図１に示すように、脳波インターフェースシステムは、使用者に対して視覚刺激を呈示する視覚刺激呈示装置１、使用者の脳波信号を取得する脳波信号取得装置２、脳波信号取得装置２により取得された脳波信号を処理し、使用者が注視している視覚刺激の種類を判別する脳波信号処理装置３から構成されている。
【００１９】
〔視覚刺激呈示装置〕
視覚刺激呈示装置１は、使用者に対して視覚刺激を呈示するものであり、図１に示すように、本実施形態では汎用コンピュータ１１とディスプレイ１２とから構成されている。図２に示すように、汎用コンピュータ１１の内部には、ソフトウェアにより視覚刺激制御部１１ａが構成されている。視覚刺激制御部１１ａは、定常的な視覚パターン、すなわち、フリッカのない視覚刺激（以下、非フリッカ刺激と称する）と、所定の周波数で視覚パターンが切換る視覚刺激（以下、フリッカ刺激と称する）と、の少なくとも一方を生成し、ディスプレイに対して表示させる。本発明ではフリッカ刺激の周波数（以下、フリッカ周波数と称する）は４０Ｈｚから１００Ｈｚに設定している。そのため、このフリッカ刺激が使用者に光過敏性発作を誘発する可能性が大きく低減されている。
【００２０】
フリッカ刺激や非フリッカ刺激としては様々な視覚パターンを用いることができるが、本実施形態では、図３に示す図形を用いている。図３（ａ）は非フリッカ刺激として用いる画像であり、青（図中では黒）の背景の中央に緑（図中ではグレー）の１０ｃｍ角の矩形が描かれている。一方、フリッカ刺激は、図３（ａ）の画像と図３（ｂ）に示す青（図中では黒）単色の画像とが所定の周波数で切り替え表示される。本実施形態では、図３（ａ）および図３（ｂ）の画像を予め作成し、視覚刺激呈示装置１のメモリに格納しておき、視覚刺激制御部１１ａはディスプレイ１２に表示されるこれらの画像の表示タイミングを制御している。フリッカ刺激は上述のように静止画を切り換え表示するものに限定されるものではなく、動画であっても構わない。
【００２１】
上述したように、本実施形態では視覚刺激はディスプレイ１２に表示されるため、ディスプレイ１２としてはフリッカ周波数の２倍以上のリフレッシュレートを持つものを用いる必要がある。
【００２２】
この視覚刺激制御部１１ａおよびディスプレイ１２により本発明の視覚刺激呈示部が構成されている。
【００２３】
〔脳波信号取得装置〕
脳波信号取得装置２は、視覚刺激を受けた使用者の脳波を取得するものである。図２に示すように、脳波信号取得装置２には使用者に装着された電極Ｅからの信号が入力されている。電極Ｅの数は適宜変更可能であるが、効率的な脳波信号の取得には８個程度が望ましいが、本実施形態では１４個とした。これらの電極Ｅは使用者の後頭部付近に取り付けられる。また、これらの電極Ｅとは別に、基準電極を使用者の少なくとも一方の耳朶に取り付ける。本実施形態では、使用者の右耳朶に基準電極を取り付けている。したがって、脳波信号取得装置２には１４チャネルの信号が入力されている。
【００２４】
また、図２に示すように、脳波信号取得装置２の内部には脳波信号検出部２１、脳波信号増幅部２２、ノイズ除去部２３が構成されている。なお、上述したように、本実施形態では脳波信号取得装置２には１４チャネルの信号が入力されているが、脳波信号取得装置２の各機能部では各チャネルの信号は個別に処理されている。
【００２５】
脳波信号検出部２１には電極Ｅからの信号が入力されており、その信号からＳＳＶＥＰを含む脳波信号を公知の方法により検出する。検出された脳波信号は脳波信号増幅部２２に送られる。
【００２６】
脳波信号増幅部２２は、脳波信号検出部２１により検出された脳波信号を増幅する。一般的に、脳波信号検出部２１により検出される脳波信号は、その振幅が数μＶの微弱信号である。そのため、脳波信号増幅部２２により脳波信号が増幅される。本実施形態では、脳波信号増幅部２２での増幅率は１０6程度に設定している。増幅された脳波信号はノイズ除去部２３に送られる。
【００２７】
ノイズ除去部２３は、脳波信号増幅部２２により増幅された脳波信号からノイズを除去する。混入するノイズとしては、筋電信号やハムノイズが考えられる。筋電信号は比較的周波数が高いため、１００Ｈｚ以上をカットするフィルタを用いることにより筋電信号を除去することができる。また、ハムノイズは電源周波数に起因するため、電源周波数付近をカットするフィルタを用いることにより、ハムノイズをカットすることができる。そのため、フリッカ周波数は電源周波数と異ならせることが望ましい。ノイズ除去部２３によりノイズが除去された脳波信号は脳波信号処理装置３に送られる。
【００２８】
〔脳波信号処理装置〕
脳波信号処理装置３は、脳波信号取得装置２により取得されたＳＳＶＥＰを含む脳波信号を解析し、使用者が注視している視覚刺激の種類を判別するものであり、本実施形態では汎用コンピュータにより構成されている。また、図２に示すように、脳波信号処理装置３の内部には、脳波信号の周波数特徴を解析する周波数特徴解析部３１、周波数特徴解析部３１により解析された周波数特徴に基づいて、使用者が注視している視覚刺激の種類を判別する視覚刺激判別部３２、視覚刺激判別部３２による判別結果を出力する出力部３３がソフトウェアにより構成されている。
【００２９】
周波数特徴解析部３１は、ＳＳＶＥＰが含まれた脳波信号の周波数特徴をチャネル毎に解析する。これは、使用者に所定周波数で点滅する視覚刺激を与えると、その点滅周波数と略同周波数のＳＳＶＥＰが検出されるという知見に基づくものである。本実施形態では、周波数特徴としてパワースペクトル密度を用いている。具体的には、脳波信号をｆ（ｔ）とするとそのフーリエ変換Ｆ（ω）は
【数１】
となり、
そのパワースペクトル密度Ｐ（ω）は
【数２】
となる。なお、ωnはナイキスト周波数、ωは周波数であり０からナイキスト周波数ωnまでの値をとる。
【００３０】
なお、上述の説明では脳波信号ｆ（ｔ）およびパワースペクトル密度Ｐ（ω）を連続関数として説明したが、脳波信号処理装置３で用いられる周波数特徴は離散関数（ベクトル）である。そのため、脳波信号をサンプリングしてデジタル化した後に周波数特徴を求めるか、連続関数としての周波数特徴をサンプリングしてデジタル化する必要がある。なお、本実施形態では６００Ｈｚのサンプリング周波数で脳波信号をサンプリングした後に、離散フーリエ変換およびパワースペクトル密度の算出を行っている。
【００３１】
また、上述の処理により得られたパワースペクトル密度を周波数特徴として出力しても構わないが、周波数特徴の次元を低下させても構わない。例えば、パワースペクトル密度をダウンサンプリングしたり、フリッカ刺激の周波数付近のパワースペクトルのみを用いたりすることができる。また、この両方を組み合わせても構わない。
【００３２】
なお、周波数特徴として脳波信号のフーリエスペクトルを用いても構わないが、この場合には時間区間の切り出しに起因する位相差の影響を受けるという問題がある。
【００３３】
周波数特徴解析部３１により求められた周波数特徴は視覚刺激判別部３２に送られる。
【００３４】
視覚刺激判別部３２は、取得した脳波信号の周波数特徴に基づいて、使用者が注視している視覚刺激の種類を判別する。なお、視覚刺激の種類とは、フリッカ刺激、非フリッカ刺激の別、および、フリッカ周波数である。
【００３５】
上述したように、所定の点滅周波数で点滅する視覚刺激を受けた使用者の脳波には、その点滅周波数付近にピークを持つＳＳＶＥＰが含まれることが知られている。したがって、簡単にはフリッカ周波数付近のパワースペクトル密度の大きさを所定閾値と比較すれば視覚刺激の種類を判別することができる。
【００３６】
しかしながら、本発明で用いているフリッカ周波数は４０Ｈｚ〜１００Ｈｚという従来の技術で用いられていた周波数よりも高いものである。このフリッカ周波数は、フリッカ周波数が高くなるとＳＳＶＥＰのＳ／Ｎ比が低下するという理由で使用されなかった周波数帯である。本実施形態では、ＳＳＶＥＰのＳ／Ｎ比の低さに起因する判別精度の低下を抑制するために、単なる閾値処理ではなく、統計的学習モデルによる判別を行っている。そのため、視覚刺激判別部３２は各視覚刺激の種類に応じた統計的学習モデルＭを保持しており、また、統計的学習モデルＭを構築（学習）する学習部３２ａ、統計的学習モデルＭに基づいて視覚刺激の種類の判別を行う判別部３２ｂを備えている。
【００３７】
統計的学習モデルとしては公知の種々の手法を用いることができる。例えば、サポートベクターマシン（ＳＶＭ）、線形判別分析法（ＬＤＡ）、ニューラルネットワーク（ＮＮ）、ｋ近傍法（ｋ−ＮＮ）、部分空間法等を用いることができる。本実施形態では、ＳＶＭを用いている。
【００３８】
また、上述したように、脳波信号処理装置３には１４チャネルの脳波信号が入力されているが、各チャネルの脳波信号の周波数特徴をリニアに並べたものが視覚刺激判別部３２における特徴ベクトルとして用いられる。すなわち、各チャネルの周波数特徴の次元をＮとすると、視覚刺激判別部３２における特徴ベクトルの次元は１４Ｎとなる。
【００３９】
〔統計的学習モデルの構築〕
統計的学習モデルＭの構築時の処理の流れを図４のフローチャートを用いて説明する。まず、視覚刺激呈示装置１が、使用者に対して非フリッカ刺激、または、特定周波数のフリッカ刺激を与える（＃０１）。このとき、視覚刺激呈示装置１は、使用者に対して与えた視覚刺激の種類を脳波信号処理装置３に通知しておく。
【００４０】
一方、脳波信号取得装置２は、視覚刺激が与えられた使用者の脳波を取得し（＃０２）、脳波信号処理装置３に送る。視覚刺激の種類および脳波信号を取得した脳波信号処理装置３では、周波数特徴量解析部３１により脳波信号の周波数特徴が解析され、特徴ベクトルが生成される（＃０３）。生成された特徴ベクトルと視覚刺激とを関連付けて教師信号として一時的に記憶しておく（＃０４）。
【００４１】
各視覚刺激の種類に対する教師信号が所定数に達するまで上記処理が繰り返される（＃０５）。なお、所定数を１としても統計的学習モデルを構築することはできるが、判別精度を向上させるためには各視覚刺激の種類に対して５以上の教師信号を取得することが望ましい。
【００４２】
教師信号が所定数に達すると（＃０５のＹｅｓ分岐）、学習部３２ａは一次記憶した教師信号に基づいて統計的学習モデルＭを構築する（＃０６）。なお、統計的学習モデルの構築方法は公知であるため、説明は省略する。
【００４３】
〔視覚刺激の種類の判別〕
図５は、統計的学習モデルＭを用いた視覚刺激の種類の判別処理の流れを表すフローチャートである。ここでは、視覚刺激呈示装置１が非フリッカ刺激とフリッカ周波数が６０Ｈｚのフリッカ刺激との２種類の視覚刺激を同時にディスプレイ１２に表示し、使用者がいずれの視覚刺激を注視しているかを判別する場合について説明する。
【００４４】
先ず、視覚刺激呈示装置１は、上述のように、非フリッカ刺激とフリッカ周波数が６０Ｈｚのフリッカ刺激とをディスプレイ１２に表示する（＃１１）。このとき、使用者はいずれかの視覚刺激を注視する。
【００４５】
一方、脳波信号取得装置２は、所定の時間間隔で所定時間分の脳波信号を取得し、脳波信号処理装置３に送る（＃１２）。脳波信号を受け取った脳波信号処理装置３では、周波数特徴解析部３１により脳波信号の周波数特徴が解析され、特徴ベクトルが生成される（＃１３）。生成された特徴ベクトルは判別部３２ｂに送られ、判別部３２ｂは統計的学習モデルＭに基づいて、特徴ベクトルがいずれのクラスタに属するか、すなわち、使用者がいずれの視覚刺激を注視しているかを判別する（＃１４）。なお、統計的学習モデルＭに基づく判別方法は公知であるため、詳細な説明は省略する。
【００４６】
判別結果を脳波信号処理装置３から図示しない機器やコンピュータに入力することにより、本発明の脳波インターフェースシステムを用いたＢＣＩを構築することができる。
【００４７】
なお、上述の説明では使用者に呈示する視覚刺激は非フリッカ刺激とフリッカ周波数が６０Ｈｚのフリッカ刺激の２種類としたが、複数のフリッカ周波数のフリッカ刺激を用いても構わない。この場合には、特徴ベクトル空間におけるクラスタが３以上となり、ＳＶＭによる統計的学習モデルはあまり適さないので、ｋ−ＮＮ等の多クラスタに適した統計的学習モデルを用いるとよい。
【００４８】
〔判別実験〕
以下に、本発明の脳波インターフェースシステムの判別実験について説明する。この実験では、上述の判別処理と同様に、使用者に対して非フリッカ刺激とフリッカ周波数が６０Ｈｚのフリッカ刺激との一方を呈示し、呈示した視覚刺激の種類と脳波信号処理装置３による判別結果との一致率（判別率）を検証した。
【００４９】
使用者はディスプレイ１２の前に設置された椅子に座り、使用者の視野中心とディスプレイ１２の画面中心とが一致するようにこれらの位置関係を調整した。
【００５０】
使用者に対して視覚刺激を与える前には、準備期間としてディスプレイ１２に図３（ｂ）の画像を表示し、その後、固視期間として図６の画像を表示する。なお、固視期間に表示する図６の十文字は縦横１０ｃｍとした。
【００５１】
また、判別精度の刺激期間（フリッカ刺激または非フリッカ刺激を注視する時間）に対する依存性を調査するために、刺激期間（注視時間）を０．５秒，１秒，３秒，７秒として実験を行った。
【００５２】
図７は、使用者にフリッカ刺激を呈示した際の使用者の脳波の周波数特徴を表すグラフである。図７（ａ）から図７（ｄ）はそれぞれ刺激期間を０．５秒，１秒，３秒，７秒とした際の脳波の周波数特徴である。横軸は周波数、縦軸はパワースペクトル密度である。図から明らかなように、いずれのグラフも、呈示したフリッカ刺激のフリッカ周波数と略同じ６０Ｈｚでピークを有している。また、刺激期間が長いほどピーク値が大きくなっている。このピークがＳＳＶＥＰである。
【００５３】
図８は、学習試行回数（教師信号の数）と視覚刺激の種類の判別率との関係を表すグラフである。図から明らかなように、全体的に学習試行回数が増加するほど判別精度も向上している。ただし、刺激期間を７秒とした場合には、学習試行回数と判別精度との相関性は低く、少ない学習試行回数であっても高い判別精度を有している。また、同図からは刺激期間が長いほど判別精度が高いことも分かる。なお、刺激期間を０．５秒，１秒，３秒，７秒とした場合の最高判別率はそれぞれ７３％，８０％，９１％，９８％であった。
【００５４】
このように、本発明の脳波インターフェースシステムでは、従来はＳＳＶＥＰのＳ／Ｎ比が低いという理由から用いられなかった４０Ｈｚから１００Ｈｚの周波数帯のフリッカ周波数を持つフリッカ刺激を用いることにより、使用者の負担を低減している。また、ＳＳＶＥＰを用いて視覚刺激の種類を判別しているため、０．５秒程度で判別が可能となっている。
【実施例２】
【００５５】
上述したように、本発明の脳波インターフェースシステムはＳＳＶＥＰに基づいて使用者が注視している視覚刺激の種類を特定するものである。また、本発明の脳波インターフェースシステムは視覚刺激の種類の判別に統計的学習モデルを用いることにより、ＳＳＶＥＰのＳ／Ｎ比の低さによる識別精度の低下を抑制している。
【００５６】
しかし、ＳＳＶＥＰの振幅の大きさは使用者の状態によっても変化することが知られており、上述の構成だけではこの変化に十分対応することができないおそれがある。そのため、本実施例の脳波インターフェースシステムはリアルタイム学習が可能なように構成されている。ここで、リアルタイム学習とは、実際の使用と平行して統計的学習モデルＭの再構築（再学習）を行うことをいう。
【００５７】
そのため、図９に示すように、本実施例の脳波信号処理装置３は実施例１の機能部に加え、正否判別部３４を備えている。正否判別部３４は判別部３２ｂによって判別された視覚刺激の種類と実際に使用者が注視していた視覚刺激の種類が一致するか否かを判別する。学習部３２ａは正否判別部３４の判別結果と、判別部３２ｂが判別した際に用いた特徴ベクトルとに基づいて統計的学習モデルＭの再構築を行う。
【００５８】
図１０は本実施例における統計的学習モデルＭの再構築処理の流れを表すフローチャートである。なお、本実施例では視覚刺激呈示装置１はディスプレイ１２に非フリッカ刺激とフリッカ周波数が６０Ｈｚのフリッカ刺激とを同時に表示し、使用者はいずれかの視覚刺激を注視するものとする。このように複数の種類の視覚刺激を同時に呈示すれば、例えば、フリッカ刺激には電灯の点灯、非フリッカ刺激には電灯の消灯を割り当て、脳波インターフェースシステムを用いたＢＣＩを構築することができる。
【００５９】
まず、上述したように、視覚刺激呈示装置１はディスプレイ１２に非フリッカ刺激と６０Ｈｚのフリッカ刺激とを同時に表示する（＃２１）。脳波信号取得装置２は、実施例１と同様に使用者の所定の時間間隔で所定時間分の脳波信号を取得する（＃２２）。取得された脳波信号は脳波信号取得装置２から脳波信号処理装置３に送られる。
【００６０】
脳波信号を受け取った脳波信号処理装置３では、実施例１と同様に周波数特徴解析部３１により特徴ベクトルが生成され（＃２３）、判別部３２ｂがその特徴ベクトルと統計的学習モデルＭとにより使用者が注視している視覚刺激の種類を判別する（＃２４）。
【００６１】
実際の使用時にはこの＃２２から＃２４の処理が繰り返されることになるが、２回目以降の判別時に正否判別部３４が直前または現在の判別結果が正しいか否かを判別する（＃２５）。正否判別部３４による判別方法としては、例えば、所定時間内に連続して同じ視覚刺激を注視したと判別された場合に、直前または現在の判別結果が間違っていると判別する。これは、本実施例のように、各視覚刺激に対して一つの操作を割り当てた場合に、同一の視覚刺激を連続して注視する可能性は低いと考えられることに基づいている。直前または現在の判別結果のいずれが間違っているかは、例えば、次のようにして決定することができる。判別部３２ｂから特徴ベクトルと統計的学習モデルＭとの距離を正否判別部３４に出力するように構成し、正否判別部３４は、直前の判別の際の特徴ベクトルと統計的学習モデルＭとの距離と、現在の判別の際の特徴ベクトルと統計的学習モデルＭとの距離と、の大きい方の判別結果が間違っていると判別する。正否判別部３４の判定結果は学習部３２ａに送られる。
【００６２】
正否判別部３４からの判別結果を取得した学習部３２ａは、必要に応じて統計的学習モデルＭの再構築を行う（＃３６）。例えば、直前の判別結果が正しいと判別された場合に、現在の統計的学習モデルＭを構築した際の特徴ベクトルと、直前の判別を行った際の特徴ベクトルと、を用いて統計的学習モデルＭを再構築する。
【００６３】
具体的には、現在の統計的学習モデルＭを構築した際のフリッカ刺激に対する特徴ベクトルをｘi、非フリッカ刺激に対する特徴ベクトルをｙjとし、直前の判別の際の特徴ベクトルをｚとする。ここで、ｉ，ｊは教師信号数である。ここで、判別部３２ｂが特徴ベクトルと統計的学習モデルとに基づいて、使用者がフリッカ刺激を注視したと判別したとする。このとき、学習部３２ａは、フリッカ刺激に対する特徴ベクトル｛ｘi，ｚ｝および非フリッカ刺激に対する特徴ベクトル｛ｙi｝を用いて統計的学習モデルＭを再構築する。
【００６４】
なお、本実施例のように視覚刺激の種類が２つの場合には、判別結果が間違っていると判定された場合でも統計的学習モデルを再構築しても構わない。例えば、上記の例において、使用者が非フリッカ刺激を注視していたにも関わらず、判別部３２ｂは使用者がフリッカ刺激を注視したと判別したとする。このとき、学習部３２ａは、フリッカ刺激に対する特徴ベクトル｛ｘi｝および非フリッカ刺激に対する特徴ベクトル｛ｙi，ｚ｝を用いて統計的学習モデルＭを再構築する。
【００６５】
このように、実際の使用をしながら統計的学習モデルＭを再構築することにより、ＳＳＶＥＰの経時変化に対して統計的学習モデルを適合させることができ、判別精度が低下することを抑制することができる。
【００６６】
なお、本実施例では２回目以降の判別の際に正否判別部３４により直前の判別結果が正しいか否かを判定したが、正否判別部３４を設ける代わりに、判別部３２ｂによる判別結果が正しいか否かを使用者に入力してもらい、その入力を正否判別部３４の判定結果の変わりに利用しても構わない。
【実施例３】
【００６７】
本実施例の構成は、図１１に示すように、脳波信号処理装置３の出力が視覚刺激呈示装置１にフィードバックされている点において上述の実施例と異なっている。なお、本実施例は実施例１の構成に上記構成を追加しているが、実施例２の構成に上記構成を追加しても構わない。
【００６８】
脳波信号処理装置３からは、判別部３２ｂにおいて視覚刺激の種類を判別する際に算出した統計的学習モデルＭと特徴ベクトルとの距離（本発明における判別基準と周波数特徴との差異の例であり、以下、モデル−特徴量距離と称する）が視覚刺激呈示装置１に送られる。例えば、統計的学習モデルＭとしてＳＶＭを用いた場合にはＳＶＭの識別境界と特徴ベクトルの距離がモデル−特徴量距離となる。また、判別部３２ｂが統計的学習モデルＭを用いずに、ＳＳＶＥＰの振幅と閾値とを比較する場合には、振幅と閾値との差がモデル−特徴量距離となる。
【００６９】
一方、脳波信号処理装置３からモデル−特徴量距離を取得した視覚刺激呈示装置１では、視覚刺激制御部１１ａがその距離に応じて視覚刺激の呈示態様を変更する。統計的学習モデルＭと特徴ベクトルとの距離は様々な要因で変化するものであるが、使用者の疲れや集中力の低下等によりＳＳＶＥＰの振幅が小さくなることも要因の一つである。そのため、本実施例の視覚刺激制御部１１ａは、モデル−特徴量距離が所定の閾値よりも大きければ、ＳＳＶＥＰの振幅が大きくなるように視覚刺激の呈示態様を変更する。例えば、図３（ａ）のグレー矩形の大きさを大きくする、グレーの矩形の輝度を高める、使用者に視覚刺激を注視する時間を長くするようなメッセージを表示する等である。
【００７０】
また、上述したように、フリッカ刺激のフリッカ周波数が小さいほどＳＳＶＥＰの振幅が大きくなるため、フリッカ刺激のフリッカ周波数を低くするよう呈示態様を変更しても構わない。なお、統計的学習モデルＭは元のフリッカ周波数のフリッカ刺激による教師信号に基づいて作成されているため、特徴ベクトルの生成方法を変更する必要がある。例えば、フリッカ周波数が６０Ｈｚのフリッカ刺激を用いて統計的学習モデルＭが作成されており、フリッカ刺激のフリッカ周波数を６０Ｈｚから５５Ｈｚに変更する場合を考える。この場合には、統計的学習モデルＭは６０Ｈｚ付近にピークを有するＳＳＶＥＰの特徴が反映されており、判別に用いる特徴ベクトルは５５Ｈｚ付近にピークを有するＳＳＶＥＰの特徴が反映されているため、判別精度が低下するおそれがある。そのため、特徴ベクトルのＳＳＶＥＰのピーク周波数がずれるように特徴ベクトルを作成する必要がある。例えば、周波数特徴解析部３１が式（２）で得られたパワースペクトル密度の特定区間を切り出して周波数特徴としている場合には、切り出し区間をずらせばよい。もともとの切り出し区間が［５５−６５］Ｈｚの場合には、［５０−６０］Ｈｚに変更することで、フリッカ周波数の変更に対応することができる。また、周波数特徴解析部３１が式（２）で得られたパワースペクトル密度をダウンサンプリングして周波数特徴を生成している場合には、上記の例では低周波側の５Ｈｚ分のデータを削除し、周波数特徴を５Ｈｚ低周波側にシフトさせる。このとき、高周波側の５Ｈｚ分のデータは０とする。当然ながら、これらの方法は一例であり、他の方法によってフリッカ周波数の変更に対応しても構わない。
【００７１】
〔別実施形態〕
（１）上述の実施形態では、視覚刺激呈示装置１、脳波信号取得装置２、脳波信号処理装置３により脳波インターフェースシステムを構成したが、システム構成はこれに限定されるものではなく、各機能部の配置は適宜変更可能である。例えば、全ての機能部を１つの装置に組み込んでも構わないし、４つ以上の装置に分散配置しても構わない。
【００７２】
（２）上述の実施形態では、統計的学習モデルに基づいて使用者が注視している視覚刺激の種類を判別したが、視覚刺激の判別方法はこれに限定されるものではない。例えば、視覚刺激のフリッカ周波数に対応するＳＳＶＥＰの周波数特徴量と所定の閾値とを比較することにより、使用者がフリッカ刺激を見ているのか非フリッカ刺激を見ているのかを判別しても構わない。
【００７３】
（３）上述の実施形態では、視覚刺激呈示ユニットを視覚刺激制御部１１ａとディスプレイ１２とにより構成したが、ディスプレイ１２に代えて電球やＬＥＤ等の光源により構成しても構わない。この場合には、視覚刺激制御部１１は光源の点滅を制御すればよい。
【産業上の利用可能性】
【００７４】
本発明は、使用者の脳波に基づいて使用者が注視している視覚刺激の種類を判別する脳波インターフェースシステムに適用することができる。
【符号の説明】
【００７５】
Ｅ：電極
Ｍ：統計的学習モデル
１：視覚刺激呈示装置
１１：汎用コンピュータ
１１：視覚刺激呈示部
１１ａ：視覚刺激制御部
１２：ディスプレイ
１２：視覚刺激呈示部
２：脳波信号取得装置
２１：脳波信号検出部
２２：脳波信号増幅部
２３：ノイズ除去部
３：脳波信号処理装置
３１：周波数特徴解析部
３２：視覚刺激判別部
３２ａ：学習部
３２ｂ：判別部
３３：出力部
３４：正否判別部
【技術分野】
【０００１】
本発明は、使用者の脳波を入力として用いる脳波インターフェースシステムに関する。
【背景技術】
【０００２】
従来、様々な環境において機器等を操作するために、機器操作の入力として脳波を用いる技術（ＢＣＩ（Brain Computer Interface））が提案されている。例えば、特許文献１，２の技術では、番組選択用アイコンの表示の切り換えタイミングと脳波信号に含まれるＰ３信号とに基づいて、使用者が希望する番組を推定している。また、特許文献１の技術では、起動用アイコンを所定周波数（例えば、１０Ｈｚ）で点滅表示させ、そのときの脳波信号の所定周波数付近の周波数パワーと閾値とを比較することにより、使用者が起動用アイコンを見ているか否かを判定している。
【０００３】
また、特許文献３の技術では、使用者に異なる周波数で点滅する光を呈示し、その使用者の定常性視覚誘発電位（以下、ＳＳＶＥＰ（Steady-State Visual Evoked Potential）と称する）に基づいて、使用者がどの周波数の光を注視していたかを判定している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第ＷＯ２００８／１５２７９９号
【特許文献２】特開２００９−２６８８２６号公報
【特許文献３】特開２０１１−０１５７８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
Ｐ３信号は、視覚刺激の呈示から約３００ｍｓｅｃ後に出現する陽性のピークである。このＰ３信号は非常に微弱であるため、検出された信号からノイズを除去し、有効なＰ３信号のみを抽出するためには、時間がかかる。例えば、複数回の試行から得られた信号を平均する等の処理が必要となる。そのため、Ｐ３信号を用いて使用者の意図等を推定するためには数秒の時間が必要となる。これは、Ｐ３信号はリアルタイム性の高い処理には向かないことを示している。
【０００６】
また、特許文献１の技術では、装置の起動にＳＳＶＥＰに基づいて使用者が１０Ｈｚで明滅する起動用アイコンを見ているか否かを判定している。しかしながら、低周波の明滅刺激は、使用者の光過敏性発作を誘発する可能性があり、使用者の健康上の観点から好ましくない。これに対して、特許文献３の技術では、旧来のＳＳＶＥＰを用いたＢＣＩ等で使用されていた点滅周波数よりも高い臨界融合周波数（３２．４Ｈｚ〜３６．２Ｈｚ）の光源を用いている。しかしながら、この臨界融合周波数の点滅光源を用いても使用者の光過敏性発作を誘発する可能性がある。
【０００７】
本発明は上記課題に鑑みてなされたものであり、その目的は、使用者の身体的負荷が小さく、高速に動作する脳波インターフェースシステムを提供することである。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明の脳波インターフェースシステムは、少なくとも、４０Ｈｚから１００Ｈｚの間のいずれかの周波数で視覚パターンが切り換わるフリッカ刺激を使用者に対して視覚刺激として呈示する視覚刺激呈示部と、前記使用者の頭部に装着される電極からの信号に基づいて、定常性視覚誘発電位信号を含む脳波信号を求める脳波信号検出部と、前記脳波信号の周波数特徴を解析する周波数特徴解析部と、前記周波数特徴に基づいて、前記使用者が注視している前記視覚刺激の種類を判別する視覚刺激判別部と、を備えている。
【０００９】
この構成では、使用者に呈示されるフリッカ刺激は４０Ｈｚから１００Ｈｚであるため、使用者の光過敏性発作を誘発する可能性が低く、使用者の身体的負荷が小さくなっている。また、視覚刺激の呈示から約３００ｍｓｅｃで検出可能なＳＳＶＥＰに基づいて使用者が注視している視覚刺激の種類を判別しているため、高速に視覚刺激の種類を判別することができる。
【００１０】
一般的に、視覚刺激であるフリッカ刺激の周波数が高くなるにつれてＳＳＶＥＰの振幅（強度）が小さくなることが知られている。本発明では、ＳＳＶＥＰを用いた従来の技術に比べて高い周波数のフリッカ刺激を用いている。そのため、低周波数のフリッカ刺激を用いる場合に比べて、視覚刺激の種類の判別が困難になっている。そのため、本発明の脳波インターフェースの好適な実施形態の一つでは、前記視覚刺激判別部は、教師信号に基づく統計的学習により構築された統計的学習モデルに基づく判別を行う。
【００１１】
この構成では、統計的学習モデルに基づいて使用者が注視している視覚刺激の種類を判別しているため、従来の閾値に基づく判別に比べて、高精度で安定した判別が可能となっている。
【００１２】
本発明の脳波インターフェースの好適な実施形態の一つでは、前記視覚刺激判別部により判別された前記視覚刺激の種類と、前記使用者が注視した前記視覚刺激の種類とが一致するか否かを判定する正否判別部と、前記周波数特徴と前記正否判別部の判定結果とに基づいて前記統計的学習モデルを再構築する学習部と、を備えている。
【００１３】
この構成では、使用者が実際に脳波インターフェースシステムを利用している最中にも統計的学習モデルの再構築、すなわち、再学習が可能となっている。このため、疲れや集中力の低下等に起因してＳＳＶＥＰの波形が変化した場合でも、そのときどきのＳＳＶＥＰに基づいて統計的学習モデルが再構築されるため、そのときどきに適した統計的学習モデルを得ることができる。換言すると、ＳＳＶＥＰの経時変化を吸収することができる。
【００１４】
上述したように、ＳＳＶＥＰの波形は疲れや集中力の低下等に起因して変化するものであり、ＳＳＶＥＰの特徴量のピーク値が小さくなると誤判別の原因となる。そのため、ＳＳＶＥＰの特徴量のピーク値は大きいことが望ましい。そのため、本発明の脳波インターフェースの好適な実施形態の一つでは、前記視覚刺激判別部における判別基準と前記周波数特徴との差異が所定閾値以上となった場合に、前記視覚刺激呈示部は前記視覚刺激の呈示態様を変更する。
【００１５】
この構成では、視覚刺激判別部における判別基準と周波数特徴との差異が所定閾値以上となった場合に、視覚刺激呈示部は視覚刺激の呈示態様を変更している。なお、視覚刺激の呈示態様は、ＳＳＶＥＰの特徴量のピーク値が大きくなるように変更することが望ましい。
【図面の簡単な説明】
【００１６】
【図１】脳波インターフェースシステムの構成図である。
【図２】実施例１における脳波インターフェースシステムの機能ブロック図である。
【図３】使用者に呈示する視覚パターンの例である。
【図４】統計的学習モデルの構築時の処理の流れを表すフローチャートである。
【図５】統計的学習モデルを用いた視覚刺激の種類の判別処理の流れを表すフローチャートである。
【図６】固視期間に呈示する画像の例である。
【図７】フリッカ刺激を呈示した際の使用者の脳波の周波数特徴を表すグラフである。
【図８】学習試行回数と視覚刺激の種類の判別精度との関係を表すグラフである。
【図９】実施例２における脳波インターフェースシステムの機能ブロック図である。
【図１０】実施例２における統計的学習モデルの再構築の処理の流れを表すフローチャートである。
【図１１】実施例３における脳波インターフェースシステムの機能ブロック図である。
【発明を実施するための形態】
【実施例１】
【００１７】
以下に、図面を用いて本発明の脳波インターフェースシステムの実施形態を説明する。図１は、本実施形態における脳波インターフェースシステムの構成図である。また、図２は本実施形態における脳波インターフェースシステムの機能ブロック図である。
【００１８】
図１に示すように、脳波インターフェースシステムは、使用者に対して視覚刺激を呈示する視覚刺激呈示装置１、使用者の脳波信号を取得する脳波信号取得装置２、脳波信号取得装置２により取得された脳波信号を処理し、使用者が注視している視覚刺激の種類を判別する脳波信号処理装置３から構成されている。
【００１９】
〔視覚刺激呈示装置〕
視覚刺激呈示装置１は、使用者に対して視覚刺激を呈示するものであり、図１に示すように、本実施形態では汎用コンピュータ１１とディスプレイ１２とから構成されている。図２に示すように、汎用コンピュータ１１の内部には、ソフトウェアにより視覚刺激制御部１１ａが構成されている。視覚刺激制御部１１ａは、定常的な視覚パターン、すなわち、フリッカのない視覚刺激（以下、非フリッカ刺激と称する）と、所定の周波数で視覚パターンが切換る視覚刺激（以下、フリッカ刺激と称する）と、の少なくとも一方を生成し、ディスプレイに対して表示させる。本発明ではフリッカ刺激の周波数（以下、フリッカ周波数と称する）は４０Ｈｚから１００Ｈｚに設定している。そのため、このフリッカ刺激が使用者に光過敏性発作を誘発する可能性が大きく低減されている。
【００２０】
フリッカ刺激や非フリッカ刺激としては様々な視覚パターンを用いることができるが、本実施形態では、図３に示す図形を用いている。図３（ａ）は非フリッカ刺激として用いる画像であり、青（図中では黒）の背景の中央に緑（図中ではグレー）の１０ｃｍ角の矩形が描かれている。一方、フリッカ刺激は、図３（ａ）の画像と図３（ｂ）に示す青（図中では黒）単色の画像とが所定の周波数で切り替え表示される。本実施形態では、図３（ａ）および図３（ｂ）の画像を予め作成し、視覚刺激呈示装置１のメモリに格納しておき、視覚刺激制御部１１ａはディスプレイ１２に表示されるこれらの画像の表示タイミングを制御している。フリッカ刺激は上述のように静止画を切り換え表示するものに限定されるものではなく、動画であっても構わない。
【００２１】
上述したように、本実施形態では視覚刺激はディスプレイ１２に表示されるため、ディスプレイ１２としてはフリッカ周波数の２倍以上のリフレッシュレートを持つものを用いる必要がある。
【００２２】
この視覚刺激制御部１１ａおよびディスプレイ１２により本発明の視覚刺激呈示部が構成されている。
【００２３】
〔脳波信号取得装置〕
脳波信号取得装置２は、視覚刺激を受けた使用者の脳波を取得するものである。図２に示すように、脳波信号取得装置２には使用者に装着された電極Ｅからの信号が入力されている。電極Ｅの数は適宜変更可能であるが、効率的な脳波信号の取得には８個程度が望ましいが、本実施形態では１４個とした。これらの電極Ｅは使用者の後頭部付近に取り付けられる。また、これらの電極Ｅとは別に、基準電極を使用者の少なくとも一方の耳朶に取り付ける。本実施形態では、使用者の右耳朶に基準電極を取り付けている。したがって、脳波信号取得装置２には１４チャネルの信号が入力されている。
【００２４】
また、図２に示すように、脳波信号取得装置２の内部には脳波信号検出部２１、脳波信号増幅部２２、ノイズ除去部２３が構成されている。なお、上述したように、本実施形態では脳波信号取得装置２には１４チャネルの信号が入力されているが、脳波信号取得装置２の各機能部では各チャネルの信号は個別に処理されている。
【００２５】
脳波信号検出部２１には電極Ｅからの信号が入力されており、その信号からＳＳＶＥＰを含む脳波信号を公知の方法により検出する。検出された脳波信号は脳波信号増幅部２２に送られる。
【００２６】
脳波信号増幅部２２は、脳波信号検出部２１により検出された脳波信号を増幅する。一般的に、脳波信号検出部２１により検出される脳波信号は、その振幅が数μＶの微弱信号である。そのため、脳波信号増幅部２２により脳波信号が増幅される。本実施形態では、脳波信号増幅部２２での増幅率は１０6程度に設定している。増幅された脳波信号はノイズ除去部２３に送られる。
【００２７】
ノイズ除去部２３は、脳波信号増幅部２２により増幅された脳波信号からノイズを除去する。混入するノイズとしては、筋電信号やハムノイズが考えられる。筋電信号は比較的周波数が高いため、１００Ｈｚ以上をカットするフィルタを用いることにより筋電信号を除去することができる。また、ハムノイズは電源周波数に起因するため、電源周波数付近をカットするフィルタを用いることにより、ハムノイズをカットすることができる。そのため、フリッカ周波数は電源周波数と異ならせることが望ましい。ノイズ除去部２３によりノイズが除去された脳波信号は脳波信号処理装置３に送られる。
【００２８】
〔脳波信号処理装置〕
脳波信号処理装置３は、脳波信号取得装置２により取得されたＳＳＶＥＰを含む脳波信号を解析し、使用者が注視している視覚刺激の種類を判別するものであり、本実施形態では汎用コンピュータにより構成されている。また、図２に示すように、脳波信号処理装置３の内部には、脳波信号の周波数特徴を解析する周波数特徴解析部３１、周波数特徴解析部３１により解析された周波数特徴に基づいて、使用者が注視している視覚刺激の種類を判別する視覚刺激判別部３２、視覚刺激判別部３２による判別結果を出力する出力部３３がソフトウェアにより構成されている。
【００２９】
周波数特徴解析部３１は、ＳＳＶＥＰが含まれた脳波信号の周波数特徴をチャネル毎に解析する。これは、使用者に所定周波数で点滅する視覚刺激を与えると、その点滅周波数と略同周波数のＳＳＶＥＰが検出されるという知見に基づくものである。本実施形態では、周波数特徴としてパワースペクトル密度を用いている。具体的には、脳波信号をｆ（ｔ）とするとそのフーリエ変換Ｆ（ω）は
【数１】
となり、
そのパワースペクトル密度Ｐ（ω）は
【数２】
となる。なお、ωnはナイキスト周波数、ωは周波数であり０からナイキスト周波数ωnまでの値をとる。
【００３０】
なお、上述の説明では脳波信号ｆ（ｔ）およびパワースペクトル密度Ｐ（ω）を連続関数として説明したが、脳波信号処理装置３で用いられる周波数特徴は離散関数（ベクトル）である。そのため、脳波信号をサンプリングしてデジタル化した後に周波数特徴を求めるか、連続関数としての周波数特徴をサンプリングしてデジタル化する必要がある。なお、本実施形態では６００Ｈｚのサンプリング周波数で脳波信号をサンプリングした後に、離散フーリエ変換およびパワースペクトル密度の算出を行っている。
【００３１】
また、上述の処理により得られたパワースペクトル密度を周波数特徴として出力しても構わないが、周波数特徴の次元を低下させても構わない。例えば、パワースペクトル密度をダウンサンプリングしたり、フリッカ刺激の周波数付近のパワースペクトルのみを用いたりすることができる。また、この両方を組み合わせても構わない。
【００３２】
なお、周波数特徴として脳波信号のフーリエスペクトルを用いても構わないが、この場合には時間区間の切り出しに起因する位相差の影響を受けるという問題がある。
【００３３】
周波数特徴解析部３１により求められた周波数特徴は視覚刺激判別部３２に送られる。
【００３４】
視覚刺激判別部３２は、取得した脳波信号の周波数特徴に基づいて、使用者が注視している視覚刺激の種類を判別する。なお、視覚刺激の種類とは、フリッカ刺激、非フリッカ刺激の別、および、フリッカ周波数である。
【００３５】
上述したように、所定の点滅周波数で点滅する視覚刺激を受けた使用者の脳波には、その点滅周波数付近にピークを持つＳＳＶＥＰが含まれることが知られている。したがって、簡単にはフリッカ周波数付近のパワースペクトル密度の大きさを所定閾値と比較すれば視覚刺激の種類を判別することができる。
【００３６】
しかしながら、本発明で用いているフリッカ周波数は４０Ｈｚ〜１００Ｈｚという従来の技術で用いられていた周波数よりも高いものである。このフリッカ周波数は、フリッカ周波数が高くなるとＳＳＶＥＰのＳ／Ｎ比が低下するという理由で使用されなかった周波数帯である。本実施形態では、ＳＳＶＥＰのＳ／Ｎ比の低さに起因する判別精度の低下を抑制するために、単なる閾値処理ではなく、統計的学習モデルによる判別を行っている。そのため、視覚刺激判別部３２は各視覚刺激の種類に応じた統計的学習モデルＭを保持しており、また、統計的学習モデルＭを構築（学習）する学習部３２ａ、統計的学習モデルＭに基づいて視覚刺激の種類の判別を行う判別部３２ｂを備えている。
【００３７】
統計的学習モデルとしては公知の種々の手法を用いることができる。例えば、サポートベクターマシン（ＳＶＭ）、線形判別分析法（ＬＤＡ）、ニューラルネットワーク（ＮＮ）、ｋ近傍法（ｋ−ＮＮ）、部分空間法等を用いることができる。本実施形態では、ＳＶＭを用いている。
【００３８】
また、上述したように、脳波信号処理装置３には１４チャネルの脳波信号が入力されているが、各チャネルの脳波信号の周波数特徴をリニアに並べたものが視覚刺激判別部３２における特徴ベクトルとして用いられる。すなわち、各チャネルの周波数特徴の次元をＮとすると、視覚刺激判別部３２における特徴ベクトルの次元は１４Ｎとなる。
【００３９】
〔統計的学習モデルの構築〕
統計的学習モデルＭの構築時の処理の流れを図４のフローチャートを用いて説明する。まず、視覚刺激呈示装置１が、使用者に対して非フリッカ刺激、または、特定周波数のフリッカ刺激を与える（＃０１）。このとき、視覚刺激呈示装置１は、使用者に対して与えた視覚刺激の種類を脳波信号処理装置３に通知しておく。
【００４０】
一方、脳波信号取得装置２は、視覚刺激が与えられた使用者の脳波を取得し（＃０２）、脳波信号処理装置３に送る。視覚刺激の種類および脳波信号を取得した脳波信号処理装置３では、周波数特徴量解析部３１により脳波信号の周波数特徴が解析され、特徴ベクトルが生成される（＃０３）。生成された特徴ベクトルと視覚刺激とを関連付けて教師信号として一時的に記憶しておく（＃０４）。
【００４１】
各視覚刺激の種類に対する教師信号が所定数に達するまで上記処理が繰り返される（＃０５）。なお、所定数を１としても統計的学習モデルを構築することはできるが、判別精度を向上させるためには各視覚刺激の種類に対して５以上の教師信号を取得することが望ましい。
【００４２】
教師信号が所定数に達すると（＃０５のＹｅｓ分岐）、学習部３２ａは一次記憶した教師信号に基づいて統計的学習モデルＭを構築する（＃０６）。なお、統計的学習モデルの構築方法は公知であるため、説明は省略する。
【００４３】
〔視覚刺激の種類の判別〕
図５は、統計的学習モデルＭを用いた視覚刺激の種類の判別処理の流れを表すフローチャートである。ここでは、視覚刺激呈示装置１が非フリッカ刺激とフリッカ周波数が６０Ｈｚのフリッカ刺激との２種類の視覚刺激を同時にディスプレイ１２に表示し、使用者がいずれの視覚刺激を注視しているかを判別する場合について説明する。
【００４４】
先ず、視覚刺激呈示装置１は、上述のように、非フリッカ刺激とフリッカ周波数が６０Ｈｚのフリッカ刺激とをディスプレイ１２に表示する（＃１１）。このとき、使用者はいずれかの視覚刺激を注視する。
【００４５】
一方、脳波信号取得装置２は、所定の時間間隔で所定時間分の脳波信号を取得し、脳波信号処理装置３に送る（＃１２）。脳波信号を受け取った脳波信号処理装置３では、周波数特徴解析部３１により脳波信号の周波数特徴が解析され、特徴ベクトルが生成される（＃１３）。生成された特徴ベクトルは判別部３２ｂに送られ、判別部３２ｂは統計的学習モデルＭに基づいて、特徴ベクトルがいずれのクラスタに属するか、すなわち、使用者がいずれの視覚刺激を注視しているかを判別する（＃１４）。なお、統計的学習モデルＭに基づく判別方法は公知であるため、詳細な説明は省略する。
【００４６】
判別結果を脳波信号処理装置３から図示しない機器やコンピュータに入力することにより、本発明の脳波インターフェースシステムを用いたＢＣＩを構築することができる。
【００４７】
なお、上述の説明では使用者に呈示する視覚刺激は非フリッカ刺激とフリッカ周波数が６０Ｈｚのフリッカ刺激の２種類としたが、複数のフリッカ周波数のフリッカ刺激を用いても構わない。この場合には、特徴ベクトル空間におけるクラスタが３以上となり、ＳＶＭによる統計的学習モデルはあまり適さないので、ｋ−ＮＮ等の多クラスタに適した統計的学習モデルを用いるとよい。
【００４８】
〔判別実験〕
以下に、本発明の脳波インターフェースシステムの判別実験について説明する。この実験では、上述の判別処理と同様に、使用者に対して非フリッカ刺激とフリッカ周波数が６０Ｈｚのフリッカ刺激との一方を呈示し、呈示した視覚刺激の種類と脳波信号処理装置３による判別結果との一致率（判別率）を検証した。
【００４９】
使用者はディスプレイ１２の前に設置された椅子に座り、使用者の視野中心とディスプレイ１２の画面中心とが一致するようにこれらの位置関係を調整した。
【００５０】
使用者に対して視覚刺激を与える前には、準備期間としてディスプレイ１２に図３（ｂ）の画像を表示し、その後、固視期間として図６の画像を表示する。なお、固視期間に表示する図６の十文字は縦横１０ｃｍとした。
【００５１】
また、判別精度の刺激期間（フリッカ刺激または非フリッカ刺激を注視する時間）に対する依存性を調査するために、刺激期間（注視時間）を０．５秒，１秒，３秒，７秒として実験を行った。
【００５２】
図７は、使用者にフリッカ刺激を呈示した際の使用者の脳波の周波数特徴を表すグラフである。図７（ａ）から図７（ｄ）はそれぞれ刺激期間を０．５秒，１秒，３秒，７秒とした際の脳波の周波数特徴である。横軸は周波数、縦軸はパワースペクトル密度である。図から明らかなように、いずれのグラフも、呈示したフリッカ刺激のフリッカ周波数と略同じ６０Ｈｚでピークを有している。また、刺激期間が長いほどピーク値が大きくなっている。このピークがＳＳＶＥＰである。
【００５３】
図８は、学習試行回数（教師信号の数）と視覚刺激の種類の判別率との関係を表すグラフである。図から明らかなように、全体的に学習試行回数が増加するほど判別精度も向上している。ただし、刺激期間を７秒とした場合には、学習試行回数と判別精度との相関性は低く、少ない学習試行回数であっても高い判別精度を有している。また、同図からは刺激期間が長いほど判別精度が高いことも分かる。なお、刺激期間を０．５秒，１秒，３秒，７秒とした場合の最高判別率はそれぞれ７３％，８０％，９１％，９８％であった。
【００５４】
このように、本発明の脳波インターフェースシステムでは、従来はＳＳＶＥＰのＳ／Ｎ比が低いという理由から用いられなかった４０Ｈｚから１００Ｈｚの周波数帯のフリッカ周波数を持つフリッカ刺激を用いることにより、使用者の負担を低減している。また、ＳＳＶＥＰを用いて視覚刺激の種類を判別しているため、０．５秒程度で判別が可能となっている。
【実施例２】
【００５５】
上述したように、本発明の脳波インターフェースシステムはＳＳＶＥＰに基づいて使用者が注視している視覚刺激の種類を特定するものである。また、本発明の脳波インターフェースシステムは視覚刺激の種類の判別に統計的学習モデルを用いることにより、ＳＳＶＥＰのＳ／Ｎ比の低さによる識別精度の低下を抑制している。
【００５６】
しかし、ＳＳＶＥＰの振幅の大きさは使用者の状態によっても変化することが知られており、上述の構成だけではこの変化に十分対応することができないおそれがある。そのため、本実施例の脳波インターフェースシステムはリアルタイム学習が可能なように構成されている。ここで、リアルタイム学習とは、実際の使用と平行して統計的学習モデルＭの再構築（再学習）を行うことをいう。
【００５７】
そのため、図９に示すように、本実施例の脳波信号処理装置３は実施例１の機能部に加え、正否判別部３４を備えている。正否判別部３４は判別部３２ｂによって判別された視覚刺激の種類と実際に使用者が注視していた視覚刺激の種類が一致するか否かを判別する。学習部３２ａは正否判別部３４の判別結果と、判別部３２ｂが判別した際に用いた特徴ベクトルとに基づいて統計的学習モデルＭの再構築を行う。
【００５８】
図１０は本実施例における統計的学習モデルＭの再構築処理の流れを表すフローチャートである。なお、本実施例では視覚刺激呈示装置１はディスプレイ１２に非フリッカ刺激とフリッカ周波数が６０Ｈｚのフリッカ刺激とを同時に表示し、使用者はいずれかの視覚刺激を注視するものとする。このように複数の種類の視覚刺激を同時に呈示すれば、例えば、フリッカ刺激には電灯の点灯、非フリッカ刺激には電灯の消灯を割り当て、脳波インターフェースシステムを用いたＢＣＩを構築することができる。
【００５９】
まず、上述したように、視覚刺激呈示装置１はディスプレイ１２に非フリッカ刺激と６０Ｈｚのフリッカ刺激とを同時に表示する（＃２１）。脳波信号取得装置２は、実施例１と同様に使用者の所定の時間間隔で所定時間分の脳波信号を取得する（＃２２）。取得された脳波信号は脳波信号取得装置２から脳波信号処理装置３に送られる。
【００６０】
脳波信号を受け取った脳波信号処理装置３では、実施例１と同様に周波数特徴解析部３１により特徴ベクトルが生成され（＃２３）、判別部３２ｂがその特徴ベクトルと統計的学習モデルＭとにより使用者が注視している視覚刺激の種類を判別する（＃２４）。
【００６１】
実際の使用時にはこの＃２２から＃２４の処理が繰り返されることになるが、２回目以降の判別時に正否判別部３４が直前または現在の判別結果が正しいか否かを判別する（＃２５）。正否判別部３４による判別方法としては、例えば、所定時間内に連続して同じ視覚刺激を注視したと判別された場合に、直前または現在の判別結果が間違っていると判別する。これは、本実施例のように、各視覚刺激に対して一つの操作を割り当てた場合に、同一の視覚刺激を連続して注視する可能性は低いと考えられることに基づいている。直前または現在の判別結果のいずれが間違っているかは、例えば、次のようにして決定することができる。判別部３２ｂから特徴ベクトルと統計的学習モデルＭとの距離を正否判別部３４に出力するように構成し、正否判別部３４は、直前の判別の際の特徴ベクトルと統計的学習モデルＭとの距離と、現在の判別の際の特徴ベクトルと統計的学習モデルＭとの距離と、の大きい方の判別結果が間違っていると判別する。正否判別部３４の判定結果は学習部３２ａに送られる。
【００６２】
正否判別部３４からの判別結果を取得した学習部３２ａは、必要に応じて統計的学習モデルＭの再構築を行う（＃３６）。例えば、直前の判別結果が正しいと判別された場合に、現在の統計的学習モデルＭを構築した際の特徴ベクトルと、直前の判別を行った際の特徴ベクトルと、を用いて統計的学習モデルＭを再構築する。
【００６３】
具体的には、現在の統計的学習モデルＭを構築した際のフリッカ刺激に対する特徴ベクトルをｘi、非フリッカ刺激に対する特徴ベクトルをｙjとし、直前の判別の際の特徴ベクトルをｚとする。ここで、ｉ，ｊは教師信号数である。ここで、判別部３２ｂが特徴ベクトルと統計的学習モデルとに基づいて、使用者がフリッカ刺激を注視したと判別したとする。このとき、学習部３２ａは、フリッカ刺激に対する特徴ベクトル｛ｘi，ｚ｝および非フリッカ刺激に対する特徴ベクトル｛ｙi｝を用いて統計的学習モデルＭを再構築する。
【００６４】
なお、本実施例のように視覚刺激の種類が２つの場合には、判別結果が間違っていると判定された場合でも統計的学習モデルを再構築しても構わない。例えば、上記の例において、使用者が非フリッカ刺激を注視していたにも関わらず、判別部３２ｂは使用者がフリッカ刺激を注視したと判別したとする。このとき、学習部３２ａは、フリッカ刺激に対する特徴ベクトル｛ｘi｝および非フリッカ刺激に対する特徴ベクトル｛ｙi，ｚ｝を用いて統計的学習モデルＭを再構築する。
【００６５】
このように、実際の使用をしながら統計的学習モデルＭを再構築することにより、ＳＳＶＥＰの経時変化に対して統計的学習モデルを適合させることができ、判別精度が低下することを抑制することができる。
【００６６】
なお、本実施例では２回目以降の判別の際に正否判別部３４により直前の判別結果が正しいか否かを判定したが、正否判別部３４を設ける代わりに、判別部３２ｂによる判別結果が正しいか否かを使用者に入力してもらい、その入力を正否判別部３４の判定結果の変わりに利用しても構わない。
【実施例３】
【００６７】
本実施例の構成は、図１１に示すように、脳波信号処理装置３の出力が視覚刺激呈示装置１にフィードバックされている点において上述の実施例と異なっている。なお、本実施例は実施例１の構成に上記構成を追加しているが、実施例２の構成に上記構成を追加しても構わない。
【００６８】
脳波信号処理装置３からは、判別部３２ｂにおいて視覚刺激の種類を判別する際に算出した統計的学習モデルＭと特徴ベクトルとの距離（本発明における判別基準と周波数特徴との差異の例であり、以下、モデル−特徴量距離と称する）が視覚刺激呈示装置１に送られる。例えば、統計的学習モデルＭとしてＳＶＭを用いた場合にはＳＶＭの識別境界と特徴ベクトルの距離がモデル−特徴量距離となる。また、判別部３２ｂが統計的学習モデルＭを用いずに、ＳＳＶＥＰの振幅と閾値とを比較する場合には、振幅と閾値との差がモデル−特徴量距離となる。
【００６９】
一方、脳波信号処理装置３からモデル−特徴量距離を取得した視覚刺激呈示装置１では、視覚刺激制御部１１ａがその距離に応じて視覚刺激の呈示態様を変更する。統計的学習モデルＭと特徴ベクトルとの距離は様々な要因で変化するものであるが、使用者の疲れや集中力の低下等によりＳＳＶＥＰの振幅が小さくなることも要因の一つである。そのため、本実施例の視覚刺激制御部１１ａは、モデル−特徴量距離が所定の閾値よりも大きければ、ＳＳＶＥＰの振幅が大きくなるように視覚刺激の呈示態様を変更する。例えば、図３（ａ）のグレー矩形の大きさを大きくする、グレーの矩形の輝度を高める、使用者に視覚刺激を注視する時間を長くするようなメッセージを表示する等である。
【００７０】
また、上述したように、フリッカ刺激のフリッカ周波数が小さいほどＳＳＶＥＰの振幅が大きくなるため、フリッカ刺激のフリッカ周波数を低くするよう呈示態様を変更しても構わない。なお、統計的学習モデルＭは元のフリッカ周波数のフリッカ刺激による教師信号に基づいて作成されているため、特徴ベクトルの生成方法を変更する必要がある。例えば、フリッカ周波数が６０Ｈｚのフリッカ刺激を用いて統計的学習モデルＭが作成されており、フリッカ刺激のフリッカ周波数を６０Ｈｚから５５Ｈｚに変更する場合を考える。この場合には、統計的学習モデルＭは６０Ｈｚ付近にピークを有するＳＳＶＥＰの特徴が反映されており、判別に用いる特徴ベクトルは５５Ｈｚ付近にピークを有するＳＳＶＥＰの特徴が反映されているため、判別精度が低下するおそれがある。そのため、特徴ベクトルのＳＳＶＥＰのピーク周波数がずれるように特徴ベクトルを作成する必要がある。例えば、周波数特徴解析部３１が式（２）で得られたパワースペクトル密度の特定区間を切り出して周波数特徴としている場合には、切り出し区間をずらせばよい。もともとの切り出し区間が［５５−６５］Ｈｚの場合には、［５０−６０］Ｈｚに変更することで、フリッカ周波数の変更に対応することができる。また、周波数特徴解析部３１が式（２）で得られたパワースペクトル密度をダウンサンプリングして周波数特徴を生成している場合には、上記の例では低周波側の５Ｈｚ分のデータを削除し、周波数特徴を５Ｈｚ低周波側にシフトさせる。このとき、高周波側の５Ｈｚ分のデータは０とする。当然ながら、これらの方法は一例であり、他の方法によってフリッカ周波数の変更に対応しても構わない。
【００７１】
〔別実施形態〕
（１）上述の実施形態では、視覚刺激呈示装置１、脳波信号取得装置２、脳波信号処理装置３により脳波インターフェースシステムを構成したが、システム構成はこれに限定されるものではなく、各機能部の配置は適宜変更可能である。例えば、全ての機能部を１つの装置に組み込んでも構わないし、４つ以上の装置に分散配置しても構わない。
【００７２】
（２）上述の実施形態では、統計的学習モデルに基づいて使用者が注視している視覚刺激の種類を判別したが、視覚刺激の判別方法はこれに限定されるものではない。例えば、視覚刺激のフリッカ周波数に対応するＳＳＶＥＰの周波数特徴量と所定の閾値とを比較することにより、使用者がフリッカ刺激を見ているのか非フリッカ刺激を見ているのかを判別しても構わない。
【００７３】
（３）上述の実施形態では、視覚刺激呈示ユニットを視覚刺激制御部１１ａとディスプレイ１２とにより構成したが、ディスプレイ１２に代えて電球やＬＥＤ等の光源により構成しても構わない。この場合には、視覚刺激制御部１１は光源の点滅を制御すればよい。
【産業上の利用可能性】
【００７４】
本発明は、使用者の脳波に基づいて使用者が注視している視覚刺激の種類を判別する脳波インターフェースシステムに適用することができる。
【符号の説明】
【００７５】
Ｅ：電極
Ｍ：統計的学習モデル
１：視覚刺激呈示装置
１１：汎用コンピュータ
１１：視覚刺激呈示部
１１ａ：視覚刺激制御部
１２：ディスプレイ
１２：視覚刺激呈示部
２：脳波信号取得装置
２１：脳波信号検出部
２２：脳波信号増幅部
２３：ノイズ除去部
３：脳波信号処理装置
３１：周波数特徴解析部
３２：視覚刺激判別部
３２ａ：学習部
３２ｂ：判別部
３３：出力部
３４：正否判別部
【特許請求の範囲】
【請求項１】
少なくとも、４０Ｈｚから１００Ｈｚの間のいずれかの周波数で視覚パターンが切り換わるフリッカ刺激を使用者に対して視覚刺激として呈示する視覚刺激呈示部と、
前記使用者の頭部に装着される電極からの信号に基づいて、定常性視覚誘発電位信号を含む脳波信号を求める脳波信号検出部と、
前記脳波信号の周波数特徴を解析する周波数特徴解析部と、
前記周波数特徴に基づいて、前記使用者が注視している前記視覚刺激の種類を判別する視覚刺激判別部と、を備えた脳波インターフェースシステム。
【請求項２】
前記視覚刺激判別部は、教師信号に基づく統計的学習により構築された統計的学習モデルに基づく判別を行う請求項１記載の脳波インターフェースシステム。
【請求項３】
前記視覚刺激判別部により判別された前記視覚刺激の種類と、前記使用者が注視した前記視覚刺激の種類とが一致するか否かを判定する正否判別部と、
前記周波数特徴と前記正否判別部の判定結果とに基づいて前記統計的学習モデルを再構築する学習部と、を備えた請求項２記載の脳波インターフェースシステム。
【請求項４】
前記視覚刺激判別部における判別基準と前記周波数特徴との差異が所定閾値以上となった場合に、前記視覚刺激呈示部は前記視覚刺激の呈示態様を変更する請求項１から３のいずれか一項に記載の脳波インターフェースシステム。
【請求項１】
少なくとも、４０Ｈｚから１００Ｈｚの間のいずれかの周波数で視覚パターンが切り換わるフリッカ刺激を使用者に対して視覚刺激として呈示する視覚刺激呈示部と、
前記使用者の頭部に装着される電極からの信号に基づいて、定常性視覚誘発電位信号を含む脳波信号を求める脳波信号検出部と、
前記脳波信号の周波数特徴を解析する周波数特徴解析部と、
前記周波数特徴に基づいて、前記使用者が注視している前記視覚刺激の種類を判別する視覚刺激判別部と、を備えた脳波インターフェースシステム。
【請求項２】
前記視覚刺激判別部は、教師信号に基づく統計的学習により構築された統計的学習モデルに基づく判別を行う請求項１記載の脳波インターフェースシステム。
【請求項３】
前記視覚刺激判別部により判別された前記視覚刺激の種類と、前記使用者が注視した前記視覚刺激の種類とが一致するか否かを判定する正否判別部と、
前記周波数特徴と前記正否判別部の判定結果とに基づいて前記統計的学習モデルを再構築する学習部と、を備えた請求項２記載の脳波インターフェースシステム。
【請求項４】
前記視覚刺激判別部における判別基準と前記周波数特徴との差異が所定閾値以上となった場合に、前記視覚刺激呈示部は前記視覚刺激の呈示態様を変更する請求項１から３のいずれか一項に記載の脳波インターフェースシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−４００６（Ｐ２０１３−４００６Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３７２４９（Ｐ２０１１−１３７２４９）
【出願日】平成２３年６月２１日（２０１１．６．２１）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月２１日（２０１１．６．２１）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
【Ｆターム（参考）】
[ Back to top ]