時間領域における感覚誘発電位(SEP)の分類/検出
【解決手段】時間領域においてEEGを感覚刺激の繰り返し提示に同期させることによる感覚誘発電位(例えば、視覚誘発電位などのSEP)信号の検出/分類のための技術が開示される。一部の実施形態では、システムは、複数のEEG信号サンプルを受信し、刺激同期EEGを生成し、上記複数のEEG信号サンプルが刺激のパターンに応答して誘発されているかどうかを決定する。一部の実施形態では、刺激の更新パターン(視覚刺激の閃光周波数など)に関する予備知識も、個々のユーザのEEGパターンに関する予備知識も必要でない。
【発明の詳細な説明】
【背景技術】
【0001】
[その他の出願への相互参照]
本出願は、2009年3月16日に出願され「EEG CONTROL OF DEVICES USING SENSORY EVOKED POTENTIALS(感覚誘発電位を使用したデバイスのEEG制御)」と題されあらゆる目的のために参照によって本明細書に組み込まれた同時係属米国特許出願第12/381,887号(代理人整理番号No. NEURP011)の一部継続出願であり、2009年10月9日に出願され「SENSORY-EVOKED POTENTIAL (SEP) CLASSIFICATION/ DETECTION IN THE TIME DOMAIN(時間領域における感覚誘発電位(SEP)の分類/検出)」と題されあらゆる目的のために参照によって本明細書に組み込まれた米国仮特許出願第61/250,263号(代理人整理番号No. NEURP012+)の優先権を主張する。
【0002】
ユーザの脳波の測定を可能にする生体信号センサ(例えば脳波検査(EEG)センサ)を含むEEG検出システムが存在する。感覚誘発電位(SEP)は、人が刺激に反応するときに生成される一般に不随意のEEG信号(例えば、視覚誘発電位、又はその他の感覚を通じて誘発される触覚誘発電位若しくは聴覚誘発電位などのEEG電位)である。したがって、SEPアプリケーションに及び/又は視覚誘発電位などのSEPを使用するデバイスのEEG制御に使用することができるEEG検出システムを提供することが望まれている。
【図面の簡単な説明】
【0003】
本発明の各種の実施形態が、以下の詳細な説明及び添付の図面で開示される。
【0004】
【図1】一部の実施形態にしたがった、SEP用のEEGシステムを示したブロック図である。
【0005】
【図2】一部の実施形態にしたがった、EEG制御システムを示した機能図である。
【0006】
【図3】一部の実施形態にしたがった、EEG検出システムを示した機能図である。
【0007】
【図4】一部の実施形態にしたがった、帽子の内側に搭載されたEEGセンサと基準EEGセンサとを含むEEG検出システムを示した図である。
【0008】
【図5A】一部の実施形態にしたがった、EEGセンサを示した図である。
【図5B】一部の実施形態にしたがった、EEGセンサを示した図である。
【0009】
【図6】一部の実施形態にしたがった、SEP用のEEGシステムを示した別のブロック図である。
【0010】
【図7】一部の実施形態にしたがった、非接触型EEGセンサを伴うEEG検出システムを示した図である。
【0011】
【図8A】一部の実施形態にしたがった、SEP用のEEGシステムのためのLED光を示した図である。
【図8B】一部の実施形態にしたがった、SEP用のEEGシステムのためのLED光を示した図である。
【0012】
【図9A】一部の実施形態にしたがった、SEP用のEEGシステムにおけるEEGデータと光制御信号データとを示したチャートである。
【図9B】一部の実施形態にしたがった、SEP用のEEGシステムにおけるEEGデータと光制御信号データとを示したチャートである。
【0013】
【図10】サンプルEEGデータについてのパワースペクトルチャートである。
【0014】
【図11】一部の実施形態にしたがった、SEP用のEEGシステムにおける光点灯後のEEG断片と平均化EEGとを示したチャートである。
【0015】
【図12】一部の実施形態にしたがった、SEP用のEEGシステムにおける閃光と未加工EEGデータとの相関を示したチャートである。
【0016】
【図13】一部の実施形態にしたがった、SEP信号の検出又は分類のための技術のフローチャートである。
【0017】
【図14】一部の実施形態にしたがった、SEP用のアルゴリズムの一例を示したフローチャートである。
【0018】
【図15】一部の実施形態にしたがった、異なる刺激タイプを示した図である。
【0019】
【図16】一部の実施形態にしたがった、時間領域アルゴリズムを示した図である。
【0020】
【図17】一部の実施形態にしたがった、4つの刺激同期平均の一例を示したチャートである。
【0021】
【図18】一部の実施形態にしたがった、刺激同期信号を生成するための一例を示したチャートである。
【発明を実施するための形態】
【0022】
本発明は、プロセス、装置、システム、合成物、コンピュータ可読ストレージメディアに実装されたコンピュータプログラム製品、並びに/又は結合先のメモリに格納された命令及び/若しくは結合先のメモリによって提供される命令を実行するように構成されたプロセッサなどのプロセッサを含む、数々の形態で実装することができる。本明細書では、これらの実装形態、又は本発明がとりえるその他のあらゆる形態を、技術と称することができる。総じて、開示されたプロセスのステップの順序は、本発明の範囲内で可変である。別途明記されない限り、タスクを実施するように構成されているとして説明されるプロセッサ又はメモリなどのコンポーネントは、所定時にタスクを実施するように一時的に構成された汎用コンポーネントとして、又はタスクを実施するように製造された特殊コンポーネントとして実装することができる。本明細書で使用される「プロセッサ」という用語は、コンピュータプログラム命令などのデータを処理するように構成された1つ又は2つ以上のデバイス、回路(例えばPCB、ASIC、及び/若しくはFPGA)、並びに/又は処理コアを言う。
【0023】
本発明の原理を示した添付の図面とともに、以下で、本発明の1つ又は2つ以上の実施形態の詳細な説明が提供される。本発明は、このような実施形態との関連のもとで説明されるが、いかなる実施形態にも限定されない。本発明の範囲は、特許請求の範囲によってのみ限定され、本発明は、数々の代替形態、変更形態、及び均等物を内包している。以下の説明では、本発明の完全な理解を可能にするために、数々の詳細が明記されている。これらの詳細は、例示を目的として提供されており、本発明は、これらの詳細の一部又は全部を伴わずとも特許請求の範囲にしたがって実施することができる。明瞭さを期するために、本発明に関係した技術分野で知られる技工物は、本発明が不必要に不明瞭にされないように詳細な説明を省略されている。
【0024】
ユーザが閃光を見るなどの刺激事象をもとにして生成される代表的な脳波検査(EEG)信号は、比較的弱い信号である。したがって、検出された信号のなかに典型的な量の(例えば回路、外部源、及び/又は非関連EEG源からの)ノイズがある場合は、このような信号を(例えばドライ接触型センサ、ウェット接触型センサ、又は非接触型EEGセンサを使用して)検出することは容易でない。また、徴候EEG信号を(例えば2〜3秒以内のように)適時に検出することも容易でない。例えば、固定周波数で閃く光を使用するシステムは、それらの光周波数におけるパワー増加についてEEG信号を監視することに依存する。これらのシステム及び方法は、一般に、定常状態視覚誘発電位(SSVEP)と呼ばれる。しかしながら、非接触型EEGの場合に特によくあるように、EEG信号のなかのノイズレベルが推定対象信号と同程度であるときは、パワー推定技術(例えばFFT技術)の信頼性は高くない。
【0025】
思考又は高度な知覚によって生成されるEEG電位に依存する技術は、低速である。例えば、P300事象関係電位(ERP)の場合は、ユーザは、事象が時間的に比較的遠く隔てられている(例えば1分間に10個の事象が間隔てられている)必要がある比較的稀な事象を認識しなければならず、これは、EEGをベースにした制御によって決定/行為を実施することが可能な速度を制限する。
【0026】
これまで、SEP分類アルゴリズムの大半は、周波数領域において開発されてきた。例えば、その多くは、分類用の特徴を抽出するために、離散フーリエ変換(DFT)を使用してきた。しかしながら、周波数領域をベースにしたアルゴリズムには、制限がある。例えば、刺激の更新周波数が厳密な既定値であることができない又はデバイスごとに異なるときは、刺激の更新周波数に関する予備知識に依存しない、より柔軟な方法が必要である。また、不規則なパターンを伴う刺激によってVEPが引き起こされるときに、周波数領域をベースにした方法は失敗しやすいということも、注目されるべきである。
【0027】
したがって、EEG信号に基づいて刺激誘発事象(例えば、視覚誘発電位などのSEP)を効率的に且つ効果的に決定することができるシステム及び方法が必要である。更に、刺激の更新パターンに関する予備知識又はSEPに応答するEEGに関する予備知識を必要としない技術(例えば、刺激が変化するとき又は異なるユーザがそれを使用しているときでも機能する技術)を開発することが望まれている。
【0028】
一部の実施形態では、SEPに関連付けられたEEG信号を効率的に且つ効果的に特定してデバイスを制御するシステムが提供される。一部の実施形態では、ユーザへの及び/又はユーザからのコマンドに対応する(例えば1つ若しくは2つ以上の発光ダイオード(LED)からの及び/又はコンピュータ画面若しくはテレビ(TV)画面からの)閃光を使用するシステムが提供される。一部の実施形態では、システムにおける閃光は、はっきり区別できる固定周波数で閃く。一部の実施形態では、システムにおける閃光は、固定パターンの可変周波数で又は非周期的な周波数で閃く。システムは、ユーザについて検出されたEEG信号を記録し、ユーザが閃光の1つを見ているかどうか/いつ見ているかを決定する。本明細書で使用されるSEPは、一般に、(例えば高速で)繰り返す感覚刺激にユーザが曝されているときに生成される不随意なEEG信号(例えば、閃光に対する視覚応答、又は視覚、聴覚、触覚、若しくはその他の刺激事象に対する別の不随意応答)を言う。本明細書で使用されるSEPは、総じて長い時間オフセット後に生じる(尚且つ識別目的のために小さいEEG信号サンプルの追加及び平均化が可能であるようにこのような事象の比較的低速な繰り返しを一般に必要とする)ユーザの思考及びより高度な感覚(例えば、P300などの比較的稀な事象の認識又は文法の誤りの認識)に基づく事象を含んでおらず、一般に、事象関係電位(ERP)と呼ばれる。
【0029】
一部の実施形態では、EEG断片は、ある時点からそれよりも後の別の時点にかけて記録された1つ又は複数のEEGサンプルを言う。一部の実施形態では、EEG断片は、可変長を有することができ、連続する2つのEEG断片は、互いに重複していても又は重複していなくてもよい。
【0030】
一部の実施形態では、高速で繰り返す刺激に応答して生成されるSEP信号に対して各種の信号解析技術を使用するシステムが提供される。図18に示されるような一部の実施形態では、ユーザが閃光を見るなどの高速で繰り返される刺激事象にユーザが反応することによるEEG信号1801、及び刺激を制御するために使用される信号1802の両方が測定される。例えば、先ず、光の点灯に続く固定長の(例えば500ミリ秒(ms)の)EEG信号の断片が記録される。記録されたデータは、次いで、刺激の開始に続く第1のEEGデータ点の平均がとられ、次いで、刺激の開始に続く全ての第2のEEGデータ点の平均がとられ、次いで、刺激の開始に続く第3のEEGデータ点の平均がとられ、以下同様であるように、平均をとられる。結果は、刺激に同期された平均信号(又はこの例では閃光に同期された平均信号)を提供する。一部の実施形態では、この平均信号は、2つの光点灯間の時間間隔と同じ長さを有することが可能である、又はこの間隔よりも長い若しくは短い。信号は、記録された断片にわたって平均をとられ、したがって、平均信号は、記録された断片と同じ長さを有するだろう。例えば、もしユーザが光を見た場合は、平均化された波形は、特徴的形状(例えば、光点灯時間後約30msにおけるEEG電圧の陽性波)を含むであろう。平均化された波形のこの特徴的形状は、本明細書で更に説明されるように、様々なやり方で検出することができる。もしユーザが光を見なかった場合は、平均化された波形は、主に平坦だろう。
【0031】
一部の実施形態では、同様のやり方で、刺激に同期された和、分散、若しくは中央値信号、又は刺激に同期されたEEG信号の何らかの統計的側面を表す任意の計算結果を得ることができる。この信号は、2つの刺激開始間の時間間隔と同じ長さを有してよい、又はこの間隔よりも長い若しくは短い。もしユーザが刺激に注意を向けている場合は、この信号は、様々なやり方で検出することができる特徴的形状を含むだろう。
【0032】
一部の実施形態では、システムは、2つ以上の刺激を含む。例えば、図17は、4つの刺激同期平均の一例を示したチャートである。平均の1つが特徴的形状を展開しているのに対し、その他の平均は比較的平坦である。
【0033】
上述の刺激同期信号の特徴的形状は、開始から幾らかの遅延で閾値と比較すること、刺激同期平均(又は和、中央値、分散など)信号を幾らかの期間にわたって積分すること、及びその結果を閾値と比較すること又は光に注意が向けられているかどうかを判別する分類子を作成することを含む、様々な技術を使用して検出することができる。別の例として、(例えば光に注意が向けられているときの)理想信号の原型を構築し、実際の信号で乗じることができる。高い値の結果は、光に注意が向けられていることを示すだろう。原型は、ユーザが光を見ていると知られるときのEEG平均(若しくは和、中央値、分散など)を計算すること、又はユーザが光を見ていると知られるときにEEGデータの自己回帰モデルを構築し、その自己回帰モデルの係数を原型のデータ要素として使用することを含む、様々なやり方で構築することができる。
【0034】
一部の実施形態では、高速で繰り返される刺激事象にユーザが反応することによるEEG信号、及び刺激を制御するために使用される信号の両方が記録される。一部の実施形態では、図18に記載されるように、EEGデータは、先ず、各刺激の繰り返し事象/状態に同期され、幾らかの期間にわたって複数の断片が取得される。断片は、連続する2つの刺激事象間の時間間隔と同じ又はその間隔よりも短い/長いことが可能である。
【0035】
一部の実施形態では、これらの断片(又はこれらの断片の部分集合、又は断片の後半半分などの断片の一部、又はその両方)の全てのペア間において、相関係数、相互情報、共分散、又は相互関係を測る任意の計算値が計算される。次に、各刺激について、平均/中央値、及び/又は上記の相互関係の統計に関係した任意の尺度を算出することができる。これらの値は、EEG断片が各刺激に同期されているときに互いにどのように関係しているかの尺度を提供する。もしユーザが1つの刺激に注意を向けている場合は、(平均相関係数などの)対応する値は、その他の刺激に対応する値よりも高い。
【0036】
一部の実施形態では、個々の各断片間における相関係数、相互情報、共分散、又はその他の相互関係などの相互関係と、EEG断片の平均/中央値/和とを計算することができる。次に、各刺激について、上記相互関係の統計に関係した平均、中央値、又は任意の計算値を算出することができる。もしユーザがある刺激に注意を向けている場合は、対応する計算値は、その他の刺激に対応する値よりも高いだろう。
【0037】
一部の実施形態では、時間領域におけるSEP分類/検出は、複数の脳波検査信号サンプルを受信することと、刺激同期脳波検査信号サンプルを生成することと、複数の脳波検査信号サンプルが刺激のパターンに応答して誘発されているかどうかを決定することとを含む。一部の実施形態では、時間領域におけるSEP分類/検出は、更に、刺激同期脳波検査信号サンプルについて断片ペア間における相互関係を算出することと、各刺激について相互関係の統計的尺度を決定することと、分類子を使用し、各刺激についての相互関係の統計的尺度にしたがって、刺激がユーザによって注意を向けられているかどうかを決定することとを含む。一部の実施形態では、相互関係は、相関、相互情報、又は共分散を含む。一部の実施形態では、統計的尺度は、平均、中央値、又は和を含む。一部の実施形態では、分類子は、線形判別解析(LDA)、神経回路網、又はサポートベクトルマシン(SVM)として実装される。一部の実施形態では、最大相互関係値が閾値と比較され、もしそれが閾値を上回る場合は、対応する刺激は、注意を向けられている可能性が高い。
【0038】
一部の実施形態では、先ず、EEGデータが各刺激の繰り返し事象/状態に同期され、EEGと刺激との間における相関係数、相互情報、共分散、又はその他の相互関係などの相互関係を計算することができる。もしユーザがある刺激に注意を向けている場合は、対応する相互関係は、その他の刺激に対応する相互関係よりも高いだろう。
【0039】
前述の相互関係尺度を見ることによって、ユーザが刺激に注意を向けているかどうか及び/又はユーザがどの刺激に注意を向けているかを判断するために、更に、様々な方法を適用することができる。例えば、刺激が注意を向けられているかどうかを判断するために、一部のサンプルデータの訓練を通じて取得される線形判別解析(LDA)などの分類子を構築することができる。或いは、最大相互関係値を閾値と比較することも可能であり、もしそれが閾値を上回る場合は、対応する刺激は、注意を向けられている可能性が高い。
【0040】
一部の実施形態では、システムは、ユーザが閃光を見ることによって誘発される特定のEEG信号を使用してデバイスを制御するために使用される。例えば、制御信号は、検出されたSEPに基づいて、別のデバイス(例えば、エンターテイメントシステム、教育システム、医療システム、自動車用のアプリケーション、及びアプリケーションを実行するコンピュータ)に提供することも可能である。例えば、システムは、デバイスを制御するために使用されるコマンドをそれぞれ表す幾つかの閃光を含むことができる。ユーザが閃光の1つを見ているときは、刺激同期平均技術を使用し、記録されたユーザのEEG信号パターンのなかで、EEG信号における固有な徴候が存在することを決定することができる。例えば、計算デバイス(例えば、プログラムされたコンピュータ/ラップトップ/ネットブック/ポータブル計算デバイス、マイクロコントローラ、ASIC、及び/又はFPGA)は、各閃光に対応する固有なEEG信号徴候を継続的にチェックする効率的で且つ効果的なアルゴリズム(例えば分類子)を実施することができる。一部の実施形態では、アルゴリズムは、このような決定をリアルタイムで実施する(例えば、このような決定をこの場合は(1つ又は2つ以上の)閃光事象である事象の約3秒以内に計算する)。一部の実施形態では、このような決定は、オフラインで(例えば、全てのデータが収集された後に)実施される。一部の実施形態では、EEG信号を最大にして、光の明るさ、色、間隔、周波数、デューティサイクル、及び光によって使用される視野の量などの視覚誘発電位検出率を増加させるために、各種のパラメータが調整される。視覚誘発電位が検出されるときは、対応するコマンドが被制御デバイスに送信される。
【0041】
例えば、制御されるデバイスは、玩具であってよく、閃光の1つがユーザによって注意を向けられていることをシステムが認識するときに、(例えば、SEPを検出するためのシステムからのコマンドに基づいて)その玩具に何か面白いことが起きる。別の例として、ビデオゲームにおいて物体が閃いてよく、ゲームは、ユーザが何を(例えば、どの閃光物体を)見ているかを認識し、それをゲームプレーに組み入れることができる。別の例では、飛行シミュレータ又は軍事的な若しくはその他のアプリケーションにおいて物体が閃いてよく、ゲームは、ユーザが何を(例えば、どの閃光物体を)見ているかを認識し、それをアプリケーションに組み入れることができる。別の例として、制御されるデバイスは、プログラムされたコンピュータ、又は自分の手を使うことはできないがそれを必要とするユーザがシステム選択を行うことを可能にする任意のデバイスであってよい。別の例として、制御されるデバイスは、運転手及び/又は乗客のための自動車インターフェースについての選択又は設定が行われる自動車アプリケーションであってよい。例えば、EEG検出システムは、ユーザによって着用されるキャップの形をとってよく尚且つ/又は自動車の座席のヘッドレストに組み込まれてよく、点滅光/閃光は、ラジオ、温度、又はその他の制御/設定を制御するために自動車のコンソール/ダッシュボードに組み込まれてよい、又は自動車用のその他の各種のEEGアプリケーション若しくは(例えば、自動車、飛行機、若しくはその他のデバイスの運転手の注意力、不安、驚き、及び/若しくは傾眠状態を決定するための)精神状態モニタなどのその他のデバイスと組み合わされてよい。
【0042】
図1は、一部の実施形態にしたがった、SEP用のEEGシステムを示したブロック図である。図に示されるように、SEP用のEEGシステム100は、EEG制御システム110と、EEG検出システム130と、デバイス150とを含む。一部の実施形態では、デバイス150は、EEG制御システム110によって制御される。一部の実施形態では、デバイス150は、図に示されるように、SEP用のEEGシステムに含まれ又はSEP用のEEGシステムと統合され、シリアル通信路又はその他の通信路を使用してデバイス150と通信する。一部の実施形態では、デバイス150は、SEP用のEEGシステム100から切り離されており、有線通信又は無線通信を使用してEEG制御システム110と通信関係にある。一部の実施形態では、EEG制御システム110は、シリアル通信路又はその他の通信路(例えば有線又は無線)を使用してEEG検出システム130と通信する。
【0043】
一部の実施形態では、EEG検出システム130は、ユーザのEEG信号を検出し、EEG制御システム110は、EEG検出システム130によって検出されたEEG信号に対してSEP決定アルゴリズム(例えば、リアルタイム分類アルゴリズム/分類子)を実施するように構成されたプロセッサを含む。一部の実施形態では、本明細書で開示されるように、各種のSEP決定技術(例えば、時間領域SEP決定アルゴリズム/分類子)が使用される。
【0044】
一部の実施形態では、SEP決定に基づいて、EEG制御システム110は、(関連のSEPに基づいて)対応する制御信号をデバイス150に送信する。EEG検出システム130は、EEG制御システム110に、一部の実施形態では未加工のEEG信号データを、又は一部の実施形態では(例えばノイズをフィルタリング除去するために)処理されたEEG信号データを送信する。
【0045】
図2は、一部の実施形態にしたがった、EEG制御システムを示した機能図である。図に示されるように、EEG制御システム130は、EEG検出システム130と通信するためのEEG検出通信コンポーネント112と、EEG検出システム130によって検出されたEEG信号に対してSEP決定アルゴリズムを実施するためのプロセッサ114と、デバイス150と通信するための出力制御118と、1つ又は2つ以上のLED(例えば、閃光LED光システム)と通信するためのLED通信122と、(例えば、閃光LED光などについて、受信されたEEG信号サンプルと関連のタイミングデータとを保存するための)データストレージ124と、通信リンク120とを含む。
【0046】
一部の実施形態では、プログラムされたコンピュータが、EEG制御システム110と通信関係にあり、EEG制御システム110は、また、検出されたEEG信号サンプルをコンピュータに送信するために、コンピュータコンポーネントへのEEGデータを含んでいる。この例では、コンピュータは、EEG検出システム130によって検出されたEEG信号に対してSEP決定アルゴリズムを実施するように構成されたプロセッサを含み、コンピュータは、(例えば関連のSEPに基づいて)デバイスを制御するために、解析の結果をEEG制御システムに提供することができる。一部の実施形態では、コンピュータは、EEG検出システム130によって検出されたEEG信号に対してSEP決定アルゴリズムを実施するように構成されたプロセッサを含み、コンピュータは、EEG信号サンプルの解析の結果に基づいて、対応する制御信号をデバイスに送信する。一部の実施形態では、プログラムされたコンピュータによって、EEG信号サンプルの解析の全部が又は一部分のみが実施される。一部の実施形態では、EEG検出システム(例えば、EEGセンサに統合された又はEEGセンサと通信関係にあるASIC)において、EEG信号サンプルの解析の全部が又は一部分のみが実施される。
【0047】
図3は、一部の実施形態にしたがった、EEG検出システムを示した機能図である。図に示されるように、EEG検出システム130は、プロセッサ132(例えば、FPGA又はASIC)と、能動的EEGセンサ136と、基準EEGセンサ138と、通信リンク134とを含む。測定されたEEG信号は、EEG制御システム110に提供される。一部の実施形態では、EEG信号サンプルの連続的測定が検出され、EEG制御システム110に提供される。
【0048】
図4は、一部の実施形態にしたがった、帽子の内側に搭載されたEEGセンサと基準EEGセンサとを含むEEG検出システムを示している。図に示されるように、EEG検出システム130は、内側にEEGセンサ136及び基準EEGセンサ138を含む、ユーザによって着用される帽子である。EEGセンサ136及び基準EEGセンサ138は、有線通信(例えば、シリアル通信リンク)を通じてEEG制御システム110に接続される。一部の実施形態では、EEGセンサ136は、帽子がユーザによって着用されたときに、(例えば、視覚事象に関係したEEG信号の検出のために)ユーザの頭の後頭部にくるように、帽子の内側に位置決めされ、基準EEGセンサ138は、ユーザの頭の別の場所(例えば、おでこ、ユーザの頭の側部の耳の上、又はユーザの頭の後ろ側で尚且つ能動的EEGセンサの場所とは異なる場所)に位置決めされる。一部の実施形態では、EEGセンサは、当業者にならばわかるように、検出される刺激事象のタイプに基づいて異なる場所に位置決めされる。一部の実施形態では、EEGセンサ136及び基準EEGセンサ138は、非接触型EEGセンサである。一部の実施形態では、EEG検出システムは、2つ以上のEEGセンサ136を含む。一部の実施形態では、EEG検出システム130は、ヘッドフォン、オーディオヘッドフォン、自動車の座席のヘッドレストの形態をとっている、又はEEG信号検出のためにユーザの頭の適切な場所にEEGセンサ136及び基準EEGセンサ138をしっかり位置決めするためにユーザによって使用されることが可能なその他の形態の装置若しくはモジュールの形をとっている。一部の実施形態では、EEG検出システム130(例えば、図に示されるような帽子/キャップ)は、ノイズの量を減らすために、接地されたイヤクリップを含んでいる。
【0049】
図5A〜5Bは、一部の実施形態にしたがった、EEGセンサを示している。図5Aに示されるように、EEGセンサ136は、EEG信号検出帽子の内側に搭載される。図5Bに示されるように、EEGセンサ136の上側が図示されており、ここで、図示されたEEGセンサ136は、ほぼ米国の25セント硬貨の大きさの非接触型電極である。EEGセンサ136は、EEG信号を増幅させる及びノイズをフィルタリング除去するアナログフロントエンド回路構成を伴って、プリント回路基板(PCB)に組み込まれる。EEGセンサ136は、例えば感知可能な信号を外部ノイズから保護する金属シールドを含む。一部の実施形態では、EEGセンサ136のための回路構成は、ASICに組み込まれる。
【0050】
図6は、一部の実施形態にしたがった、SEP用のEEGシステムを示した別のブロック図である。図に示されるように、SEP用のEEGシステム100は、検出されたEEG信号に対してSEP決定アルゴリズムを実施するように構成された(例えば、プログラムされた)コンピュータ610と、LED(閃)光システム650を制御する(例えば、閃光の点灯及び消灯のタイミング、並びにどの光がどのパターンで閃くかを制御する)ためのコントローラ620と、検出されたEEG信号をEEGセンサ136及び基準EEGセンサからの受信するための(及び一部の実施形態では処理するための)EEG回路構成630とを含む。図に示されるように、LED光システム650には、4つのLED光が提供される。一部の実施形態では、1つ又は2つ以上のLED光が提供される。
【0051】
コントローラ620は、FPGA622(或いは一部の実施形態では、ASIC又はプログラムされたプロセッサなどの、その他の任意の形態のプロセッサ又はプロセッサ上で実行されるソフトウェア)も含んでいる。一部の実施形態では、コントローラ620は、LED光650を制御し、また、コンピュータ610及びEEG回路構成630と通信する。一部の実施形態では、コントローラ620は、閃光を制御し、EEG回路構成630からEEG信号(サンプル)データを受信する。一部の実施形態では、コントローラは、また、受信されたEEG信号データと、(例えば、LED光システム650の閃光の点灯/消灯のための)光タイミングデータとを組み合わせ、(例えば、リアルタイムSEP決定アルゴリズムを使用した)更なる解析及び処理のためにコンピュータ610に送信されるシリアルストリームにする。一部の実施形態では、コントローラ620は、また、被制御デバイス(例えば、デバイス150)に制御信号を送信する。
【0052】
EEG回路構成630は、ファームウェア632(或いは一部の実施形態では、ASIC又はFPGA又はプログラムされたプロセッサなどの、その他の任意の形態のプロセッサ又はプロセッサ上で実行されるソフトウェア)を含んでいる。コントローラは、図に示されるように、コンピュータ610及びEEG回路構成630とシリアル通信関係にある。一部の実施形態では、EEG回路構成630は、図に示されるように、コンピュータ610に対しても、直接的なシリアル接続を通じて直接的に接続されている(又は一部の実施形態では、有線若しくは無線による直接的な通信関係にある)。一部の実施形態では、これらの接続のうちの1つ又は2つ以上が無線である。
【0053】
図7は、一部の実施形態にしたがった、非接触型EEGセンサを伴うEEG検出システムを示している。図に示されるように、EEG検出システム130は、ユーザによって着用される帽子又はキャップの形態をとっており、バッテリ710(例えば、充電式リチウムイオンバッテリ)と、EEG回路構成720と、EEGセンサ730への配線とを含む(非接触型EEGセンサは、帽子の内側に搭載されており、ゆえに、ユーザによって着用されている帽子を描いたこの図では見えていない)。一部の実施形態では、EEG検出システム130は、EEG制御システム110などのその他の装置/デバイスと無線関係(例えば、Bluetooth(登録商標)又は別の無線プロトコル)にある。一部の実施形態では、バッテリ710、EEG回路構成720、及びEEGセンサ730への配線は、帽子/キャップ及び/又はその他の頭部装着装置に(上述されたのと同様に)よりきつく組み込まれ、一部の実施形態では、ユーザによって着用されたときに見えていないのが一般的である。本明細書で開示されたEEG検出システム130は、その他の各種の設計及び頭部装着装置を使用して提供可能であることがわかる。
【0054】
図8A〜8Bは、一部の実施形態にしたがった、SEP用のEEGシステムのためのLED光を示している。図に示されるように、図8Aは、4つのLED光を全てオフにされた(例えば、閃光していない)LED光650を示している。図に示されるように、図8Bは、4つのLED光を全てオンにされた(例えば、閃光している)LED光650を示している。図に示されるように、LED光650は、箱型の装置に搭載され、例えば、ユーザへのコマンドを表すパターンで閃くことができる。一部の実施形態では、LED光システム650の4つの個々の各LED光は、独立してオン/オフに閃くことができる。一部の実施形態では、LED光システム650のLED光は、はっきり区別できる固定の周波数で閃く。一部の実施形態では、LED光システム650のLED光は、固定パターンの可変周波数で閃く。一部の実施形態では、4つの各LED光は、それぞれ異なる周波数で閃く。一部の実施形態では、各LED光の周波数は、1Hz又は2Hz隔てられる(例えば、4つのLED光は、9Hz、10Hz、11Hz、及び12Hzの周波数に設定することができる、又は8Hz〜20Hzの範囲若しくはSEPを効果的に検出可能なその他の何らかの周波数範囲に設定することができる)。一部の実施形態では、4つよりも少ない又は多いLED光がLED光システム650に含まれる。一部の実施形態では、閃光パターンは、コントローラ620によって制御される(例えば、Verilogコードを実行するXilinx FPGAチップのようなFPGAコントローラを使用して閃光の周波数を制御する)。
【0055】
図9A〜9Bは、一部の実施形態にしたがった、SEP用のEEGシステムにおけるEEGデータと光制御信号データとを示したチャートである。図9Aは、(ボルト(V)で表される)測定されたEEG信号を(秒で表される)時間に対して示している。図9Bは、(ヘルツ(Hz)で表される)光入力信号(例えば、閃光事象)を(秒で表される)時間に対して示している。図に示されるように、光入力信号は、固定周波数の方形波である。
【0056】
図10は、サンプルEEGデータについてのパワースペクトルチャートである。より具体的には、図10は、(Vで表される)測定されたEEG信号を(Hzで表される)周波数に対して示しており、図には、2つの測定値、すなわち、光事象が存在していないときの第1の測定されたEEG信号と、12Hzの光事象が発生し、12Hzの固定周波数でオン及びオフに閃く光をユーザが見ていたときの第2の測定された信号とが描かれている。図10に示されたこの例で説明されるように及び上述されたように、12Hzにおけるパワー増加が12Hzの光を見たことに起因するのか又は無関係のノイズであるのかを決定することは困難である。
【0057】
図11は、一部の実施形態にしたがった、SEP用のEEGシステムにおける光点灯後のEEG断片と平均化EEGとを示したチャートである。ユーザは、10Hzで閃く光に注意を向けていた。そして、4つの各パネルは、(それぞれ9Hz、10Hz、11Hz、及び12Hzで閃く)4つの光の1つの点灯に同期されたときのEEG断片を示している。黒い曲線は、EEG断片の平均を示している。注意を向けられている刺激の繰り返し開始にEEG断片が同期されているときは、遥かに高い断片間相関が存在する。全てのEEG断片ペア間における相関係数の平均は、この相関作用を測る1つのやり方であってよい。やはり示されるように、閃光同期平均信号は、(例えば、本明細書で論じられるように、閾値の比較及び/又は徴候信号の比較を使用して)SEPが効果的に検出されるように、光が注意を向けられている(例えばユーザによって観察されている)ことを検出するために認識可能な信号形状を提供する。
【0058】
図12は、一部の実施形態にしたがった、SEP用のEEGシステムにおける閃光と未加工EEGデータとの相関を示したチャートである。具体的には、図12は、平均化されたEEG信号(例えば閃光同期平均信号)と閃光事象(例えば光の閃き)との間における相関解析を示している。各離散時点において、測定されたEEG信号及び測定された光信号は、互いに乗じられる。これらの結果は、全て、相関数を形成するために集められて平均化される。一部の実施形態では、解析は、EEGデータを光信号データとの間の時間オフセット(例えば30ms)を使用して繰り返される。SEPが効果的に検出されるように、結果は、光が注意を向けられている(例えばユーザによって観察されている)ことを決定するために使用可能な特徴的形状である。
【0059】
図13は、一部の実施形態にしたがった、SEP信号の検出又は分類のための技術のフローチャートである。一部の実施形態では、アルゴリズムは、リアルタイムで反復的に且つ連続的に動いている。一部の実施形態では、アルゴリズムは、データをオフラインで(例えば、全てのデータが収集された後に)解析する。1301において、複数のEEG信号サンプルが検出及び記録される。1302において、一部の実施形態では、更なるデータ解析に備えてEEGの準備をするために、(DCドリフト及び/若しくは高周波ノイズを除去するための)フィルタリング、(未加工EEEGデータのサンプリング周波数を変更するための、ダウンサンプリング、アップサンプリング、補間などの)再サンプリング、並びに/又は(目の瞬き、筋音、運動、EKGなどによって引き起こされるアーチファクトを除去するための)アーチファクト/運動除去などの、1つ又は2つ以上の前処理技術を適用することができる。1303において、EEG信号は、刺激事象/状態に同期される。1304において、EEG信号サンプルが刺激事象のパターンに応答して誘発されているかどうか(例えば、視覚事象に応答するなどのSEP決定)が、刺激同期平均方法又は断片間相関方法などの様々なやり方で決定される。断片間相関方法の詳細な説明が、図14に示されている。1305では、SEP決定に基づいて、制御信号が提供される。
【0060】
図14は、一部の実施形態にしたがった、ユーザが刺激に注意を向けているかどうか又はどの刺激にユーザが注意を向けているかを決定するための一技術を示したフローチャートである。1401において、EEG信号は、刺激の繰り返し開始に同期される。1402では、その刺激について、刺激同期EEG断片が生成される。一部の実施形態では、断片の長さは、2つの刺激開始間の時間間隔よりも短い/長い。1403では、全ての断片ペア間において相関係数が計算される。一部の実施形態では、相関係数は、一部の断片ペア間のみにおいて計算することができる。一部の実施形態では、これらの断片間における相互関係を測る相互情報などのその他の値が計算される。1404では、相関係数の平均が計算される。一部の実施形態では、平均の代わりに、相関係数の中央値を計算することができる。1406では、各刺激について、ステップ1401〜1404が繰り返される。1405において、もし全ての平均のなかで最大の値(各刺激について1つずつ)が閾値を上回る場合は、対応する刺激が記憶される。一部の実施形態では、システムは、特定のユーザに対するテストに基づいて訓練され、この訓練に基づいて、閾値(又は一部の実施形態では信号徴候)が生成される。1407では、ステップ1401〜1405が数回にわたって繰り返される。1408において、もしこれまでの結果が同じ刺激について一致を見る場合は、1409において、対応する刺激は、ユーザによって注意を向けられていると決定され、そうでない場合は、1410において、注意を向けられている刺激はないと決定される。
【0061】
図15は、一部の実施形態にしたがった、異なる刺激周波数タイプを示した図である。図に示されるように、光入力信号についての刺激周波数は、方形波、正弦波若しくは三角波、又は変調を伴う搬送波などの、単一固定周波数であってよい。一部の実施形態では、混合周波数刺激が使用され、ここで、混合周波数刺激は、例えば、2つ又は3つ以上の固定周波数が足し合わされた組み合わせである。一部の実施形態では、その他の各種のタイプの非周期的信号が使用され、時間領域解析と調和される。例えば、変調を伴う搬送波は、固定周波数における大きな正弦波成分をより小さい異なる信号と組み合わされたFMラジオ信号と同様であると考えられる。別の例としては、幾らかのばらつきを周波数に加えることによって単一周波数刺激を調整することが可能である。また、携帯電話ネットワークで使用されるCDMAコードなどの擬似ランダムコードを構築するためのやり方が多くあることがわかる。
【0062】
図16は、一部の実施形態にしたがった、時間領域アルゴリズムを示した図である。一部の実施形態では、時間領域分類子技術は、周波数領域への変換を伴わずにEEG信号を使用する。例えば、1601において、EEGは、刺激事象/状態に同期される。1602において、使用することが可能な1つのアプローチは、EEGと刺激との間における相関又は相互情報などの相互関係を計算することである。もしユーザがその刺激に注意を向けている場合は、出力は、その他の刺激と比べて比較的大きな振幅を有するだろう。また、相互関係は、刺激と、(例えば30ms〜50msの適切なオフセットを使用した)遅延後のEEGとの間において計算することもできる。幾らかの遅延において、相互関係は、注意を向けられている刺激に対して強いのが通常である。1603では、時間領域アルゴリズムの一部の実施形態が、刺激同期EEG断片を生成する。1604において、一部の実施形態では、これらの断片間における相互関係が計算される。1605において、一部の実施形態では、各刺激について刺激同期平均が計算される。一部の実施形態では、各刺激について刺激同期中央値/和又はばらつきなどのその他の刺激同期信号が計算されてよい。1606では、ユーザが刺激を見ていると知られるときにEEGの自己回帰モデルを構築することができ、その自己回帰モデルの係数を更なる分類のためのデータ要素として使用することができる。1607では、(例えば光が注意を向けられているときの)理想平均の原型を構築し、実際の平均で乗じることができる。高い値の結果は、光が注意を向けられていることを示す。原型は、ユーザが光を見ていると知られているときのEEG平均を計算することを含む、様々なやり方で構築することができる。1608では、平均化EEGの絶対値が幾らかの期間にわたって積分される。1609では、平均化EEGの頂点間の差が計算される。1610では、ユーザが特定の刺激に注意を向けているかどうかを更に判断するために、閾値化、線形判別解析(LDA)、K最近傍(KNN)、サポートベクトルマシン(SVM)、人工神経回路網(ANN)、隠れマルコフモデル(HMM)などの分類方法を使用することができる。
【0063】
図17は、一部の実施形態にしたがった、4つの刺激同期平均の一例を示したチャートである。平均の1つが特徴的形状を展開しているのに対し、その他の平均は比較的平坦である。
【0064】
図18は、一部の実施形態にしたがった、刺激同期信号を生成するための一例を示したチャートである。図18に示されるように、ユーザが刺激に注意を向けていることによるEEG信号1801、及び刺激を制御するために使用される信号1802の両方が測定される。先ず、刺激の開始に続く固定長(例えば500ms)のEEG信号の断片が記録される。一部の実施形態では、EEGと刺激との間における相関1803が計算され、更なる分類のために使用される。一部の実施形態では、EEG断片は、各断片における第1のデータ点が、刺激開始後に記録される第1のEEGサンプルであり、各断片における第2のデータ点が、刺激開始後に記録される第2のEEGサンプルであり、以下同様であるように、抽出される。これらの断片は、2つの刺激開始間の時間間隔と同じ長さを有することができる、又はそれよりも長い若しくは短いことが可能である。1804では、断片は、光の点灯に続く第1のEEGデータ点の平均がとられ、次いで、光の点灯に続く全ての第2のEEGデータ点の平均がとられ、次いで、光の点灯に続く第3のEEGデータ点の平均がとられ、以下同様であるように、平均をとられる。結果は、平均波形を提供する。一部の実施形態では、測定されたEEG信号は、不随意のEEG信号応答を含む。一部の実施形態では、測定されたEEG信号は、強度又はフォーカスに関係したEEG信号応答などの、不随意のEEG信号応答も含む(例えば、EEG信号の強さは、ユーザが閃光を見るときの(周辺フォーカス対直接フォーカスなどの)見方又は強度によって変わることができる)。1805では、これら全ての断片ペア間における相関が計算される。一部の実施形態では、これらの断片の(第2、第4、第6の断片などの)部分集合のみが使用される。一部の実施形態では、これらの断片の(刺激の開始後100ms以降などの)一部のみが使用される。
【0065】
以上の実施形態は、理解を明瞭にする目的で幾らか詳細に説明されてきたが、本発明は、提供された詳細に限定されない。本発明の実現には、多くの代替的手法がある。開示された実施形態は、例示的であって、限定的ではない。
【背景技術】
【0001】
[その他の出願への相互参照]
本出願は、2009年3月16日に出願され「EEG CONTROL OF DEVICES USING SENSORY EVOKED POTENTIALS(感覚誘発電位を使用したデバイスのEEG制御)」と題されあらゆる目的のために参照によって本明細書に組み込まれた同時係属米国特許出願第12/381,887号(代理人整理番号No. NEURP011)の一部継続出願であり、2009年10月9日に出願され「SENSORY-EVOKED POTENTIAL (SEP) CLASSIFICATION/ DETECTION IN THE TIME DOMAIN(時間領域における感覚誘発電位(SEP)の分類/検出)」と題されあらゆる目的のために参照によって本明細書に組み込まれた米国仮特許出願第61/250,263号(代理人整理番号No. NEURP012+)の優先権を主張する。
【0002】
ユーザの脳波の測定を可能にする生体信号センサ(例えば脳波検査(EEG)センサ)を含むEEG検出システムが存在する。感覚誘発電位(SEP)は、人が刺激に反応するときに生成される一般に不随意のEEG信号(例えば、視覚誘発電位、又はその他の感覚を通じて誘発される触覚誘発電位若しくは聴覚誘発電位などのEEG電位)である。したがって、SEPアプリケーションに及び/又は視覚誘発電位などのSEPを使用するデバイスのEEG制御に使用することができるEEG検出システムを提供することが望まれている。
【図面の簡単な説明】
【0003】
本発明の各種の実施形態が、以下の詳細な説明及び添付の図面で開示される。
【0004】
【図1】一部の実施形態にしたがった、SEP用のEEGシステムを示したブロック図である。
【0005】
【図2】一部の実施形態にしたがった、EEG制御システムを示した機能図である。
【0006】
【図3】一部の実施形態にしたがった、EEG検出システムを示した機能図である。
【0007】
【図4】一部の実施形態にしたがった、帽子の内側に搭載されたEEGセンサと基準EEGセンサとを含むEEG検出システムを示した図である。
【0008】
【図5A】一部の実施形態にしたがった、EEGセンサを示した図である。
【図5B】一部の実施形態にしたがった、EEGセンサを示した図である。
【0009】
【図6】一部の実施形態にしたがった、SEP用のEEGシステムを示した別のブロック図である。
【0010】
【図7】一部の実施形態にしたがった、非接触型EEGセンサを伴うEEG検出システムを示した図である。
【0011】
【図8A】一部の実施形態にしたがった、SEP用のEEGシステムのためのLED光を示した図である。
【図8B】一部の実施形態にしたがった、SEP用のEEGシステムのためのLED光を示した図である。
【0012】
【図9A】一部の実施形態にしたがった、SEP用のEEGシステムにおけるEEGデータと光制御信号データとを示したチャートである。
【図9B】一部の実施形態にしたがった、SEP用のEEGシステムにおけるEEGデータと光制御信号データとを示したチャートである。
【0013】
【図10】サンプルEEGデータについてのパワースペクトルチャートである。
【0014】
【図11】一部の実施形態にしたがった、SEP用のEEGシステムにおける光点灯後のEEG断片と平均化EEGとを示したチャートである。
【0015】
【図12】一部の実施形態にしたがった、SEP用のEEGシステムにおける閃光と未加工EEGデータとの相関を示したチャートである。
【0016】
【図13】一部の実施形態にしたがった、SEP信号の検出又は分類のための技術のフローチャートである。
【0017】
【図14】一部の実施形態にしたがった、SEP用のアルゴリズムの一例を示したフローチャートである。
【0018】
【図15】一部の実施形態にしたがった、異なる刺激タイプを示した図である。
【0019】
【図16】一部の実施形態にしたがった、時間領域アルゴリズムを示した図である。
【0020】
【図17】一部の実施形態にしたがった、4つの刺激同期平均の一例を示したチャートである。
【0021】
【図18】一部の実施形態にしたがった、刺激同期信号を生成するための一例を示したチャートである。
【発明を実施するための形態】
【0022】
本発明は、プロセス、装置、システム、合成物、コンピュータ可読ストレージメディアに実装されたコンピュータプログラム製品、並びに/又は結合先のメモリに格納された命令及び/若しくは結合先のメモリによって提供される命令を実行するように構成されたプロセッサなどのプロセッサを含む、数々の形態で実装することができる。本明細書では、これらの実装形態、又は本発明がとりえるその他のあらゆる形態を、技術と称することができる。総じて、開示されたプロセスのステップの順序は、本発明の範囲内で可変である。別途明記されない限り、タスクを実施するように構成されているとして説明されるプロセッサ又はメモリなどのコンポーネントは、所定時にタスクを実施するように一時的に構成された汎用コンポーネントとして、又はタスクを実施するように製造された特殊コンポーネントとして実装することができる。本明細書で使用される「プロセッサ」という用語は、コンピュータプログラム命令などのデータを処理するように構成された1つ又は2つ以上のデバイス、回路(例えばPCB、ASIC、及び/若しくはFPGA)、並びに/又は処理コアを言う。
【0023】
本発明の原理を示した添付の図面とともに、以下で、本発明の1つ又は2つ以上の実施形態の詳細な説明が提供される。本発明は、このような実施形態との関連のもとで説明されるが、いかなる実施形態にも限定されない。本発明の範囲は、特許請求の範囲によってのみ限定され、本発明は、数々の代替形態、変更形態、及び均等物を内包している。以下の説明では、本発明の完全な理解を可能にするために、数々の詳細が明記されている。これらの詳細は、例示を目的として提供されており、本発明は、これらの詳細の一部又は全部を伴わずとも特許請求の範囲にしたがって実施することができる。明瞭さを期するために、本発明に関係した技術分野で知られる技工物は、本発明が不必要に不明瞭にされないように詳細な説明を省略されている。
【0024】
ユーザが閃光を見るなどの刺激事象をもとにして生成される代表的な脳波検査(EEG)信号は、比較的弱い信号である。したがって、検出された信号のなかに典型的な量の(例えば回路、外部源、及び/又は非関連EEG源からの)ノイズがある場合は、このような信号を(例えばドライ接触型センサ、ウェット接触型センサ、又は非接触型EEGセンサを使用して)検出することは容易でない。また、徴候EEG信号を(例えば2〜3秒以内のように)適時に検出することも容易でない。例えば、固定周波数で閃く光を使用するシステムは、それらの光周波数におけるパワー増加についてEEG信号を監視することに依存する。これらのシステム及び方法は、一般に、定常状態視覚誘発電位(SSVEP)と呼ばれる。しかしながら、非接触型EEGの場合に特によくあるように、EEG信号のなかのノイズレベルが推定対象信号と同程度であるときは、パワー推定技術(例えばFFT技術)の信頼性は高くない。
【0025】
思考又は高度な知覚によって生成されるEEG電位に依存する技術は、低速である。例えば、P300事象関係電位(ERP)の場合は、ユーザは、事象が時間的に比較的遠く隔てられている(例えば1分間に10個の事象が間隔てられている)必要がある比較的稀な事象を認識しなければならず、これは、EEGをベースにした制御によって決定/行為を実施することが可能な速度を制限する。
【0026】
これまで、SEP分類アルゴリズムの大半は、周波数領域において開発されてきた。例えば、その多くは、分類用の特徴を抽出するために、離散フーリエ変換(DFT)を使用してきた。しかしながら、周波数領域をベースにしたアルゴリズムには、制限がある。例えば、刺激の更新周波数が厳密な既定値であることができない又はデバイスごとに異なるときは、刺激の更新周波数に関する予備知識に依存しない、より柔軟な方法が必要である。また、不規則なパターンを伴う刺激によってVEPが引き起こされるときに、周波数領域をベースにした方法は失敗しやすいということも、注目されるべきである。
【0027】
したがって、EEG信号に基づいて刺激誘発事象(例えば、視覚誘発電位などのSEP)を効率的に且つ効果的に決定することができるシステム及び方法が必要である。更に、刺激の更新パターンに関する予備知識又はSEPに応答するEEGに関する予備知識を必要としない技術(例えば、刺激が変化するとき又は異なるユーザがそれを使用しているときでも機能する技術)を開発することが望まれている。
【0028】
一部の実施形態では、SEPに関連付けられたEEG信号を効率的に且つ効果的に特定してデバイスを制御するシステムが提供される。一部の実施形態では、ユーザへの及び/又はユーザからのコマンドに対応する(例えば1つ若しくは2つ以上の発光ダイオード(LED)からの及び/又はコンピュータ画面若しくはテレビ(TV)画面からの)閃光を使用するシステムが提供される。一部の実施形態では、システムにおける閃光は、はっきり区別できる固定周波数で閃く。一部の実施形態では、システムにおける閃光は、固定パターンの可変周波数で又は非周期的な周波数で閃く。システムは、ユーザについて検出されたEEG信号を記録し、ユーザが閃光の1つを見ているかどうか/いつ見ているかを決定する。本明細書で使用されるSEPは、一般に、(例えば高速で)繰り返す感覚刺激にユーザが曝されているときに生成される不随意なEEG信号(例えば、閃光に対する視覚応答、又は視覚、聴覚、触覚、若しくはその他の刺激事象に対する別の不随意応答)を言う。本明細書で使用されるSEPは、総じて長い時間オフセット後に生じる(尚且つ識別目的のために小さいEEG信号サンプルの追加及び平均化が可能であるようにこのような事象の比較的低速な繰り返しを一般に必要とする)ユーザの思考及びより高度な感覚(例えば、P300などの比較的稀な事象の認識又は文法の誤りの認識)に基づく事象を含んでおらず、一般に、事象関係電位(ERP)と呼ばれる。
【0029】
一部の実施形態では、EEG断片は、ある時点からそれよりも後の別の時点にかけて記録された1つ又は複数のEEGサンプルを言う。一部の実施形態では、EEG断片は、可変長を有することができ、連続する2つのEEG断片は、互いに重複していても又は重複していなくてもよい。
【0030】
一部の実施形態では、高速で繰り返す刺激に応答して生成されるSEP信号に対して各種の信号解析技術を使用するシステムが提供される。図18に示されるような一部の実施形態では、ユーザが閃光を見るなどの高速で繰り返される刺激事象にユーザが反応することによるEEG信号1801、及び刺激を制御するために使用される信号1802の両方が測定される。例えば、先ず、光の点灯に続く固定長の(例えば500ミリ秒(ms)の)EEG信号の断片が記録される。記録されたデータは、次いで、刺激の開始に続く第1のEEGデータ点の平均がとられ、次いで、刺激の開始に続く全ての第2のEEGデータ点の平均がとられ、次いで、刺激の開始に続く第3のEEGデータ点の平均がとられ、以下同様であるように、平均をとられる。結果は、刺激に同期された平均信号(又はこの例では閃光に同期された平均信号)を提供する。一部の実施形態では、この平均信号は、2つの光点灯間の時間間隔と同じ長さを有することが可能である、又はこの間隔よりも長い若しくは短い。信号は、記録された断片にわたって平均をとられ、したがって、平均信号は、記録された断片と同じ長さを有するだろう。例えば、もしユーザが光を見た場合は、平均化された波形は、特徴的形状(例えば、光点灯時間後約30msにおけるEEG電圧の陽性波)を含むであろう。平均化された波形のこの特徴的形状は、本明細書で更に説明されるように、様々なやり方で検出することができる。もしユーザが光を見なかった場合は、平均化された波形は、主に平坦だろう。
【0031】
一部の実施形態では、同様のやり方で、刺激に同期された和、分散、若しくは中央値信号、又は刺激に同期されたEEG信号の何らかの統計的側面を表す任意の計算結果を得ることができる。この信号は、2つの刺激開始間の時間間隔と同じ長さを有してよい、又はこの間隔よりも長い若しくは短い。もしユーザが刺激に注意を向けている場合は、この信号は、様々なやり方で検出することができる特徴的形状を含むだろう。
【0032】
一部の実施形態では、システムは、2つ以上の刺激を含む。例えば、図17は、4つの刺激同期平均の一例を示したチャートである。平均の1つが特徴的形状を展開しているのに対し、その他の平均は比較的平坦である。
【0033】
上述の刺激同期信号の特徴的形状は、開始から幾らかの遅延で閾値と比較すること、刺激同期平均(又は和、中央値、分散など)信号を幾らかの期間にわたって積分すること、及びその結果を閾値と比較すること又は光に注意が向けられているかどうかを判別する分類子を作成することを含む、様々な技術を使用して検出することができる。別の例として、(例えば光に注意が向けられているときの)理想信号の原型を構築し、実際の信号で乗じることができる。高い値の結果は、光に注意が向けられていることを示すだろう。原型は、ユーザが光を見ていると知られるときのEEG平均(若しくは和、中央値、分散など)を計算すること、又はユーザが光を見ていると知られるときにEEGデータの自己回帰モデルを構築し、その自己回帰モデルの係数を原型のデータ要素として使用することを含む、様々なやり方で構築することができる。
【0034】
一部の実施形態では、高速で繰り返される刺激事象にユーザが反応することによるEEG信号、及び刺激を制御するために使用される信号の両方が記録される。一部の実施形態では、図18に記載されるように、EEGデータは、先ず、各刺激の繰り返し事象/状態に同期され、幾らかの期間にわたって複数の断片が取得される。断片は、連続する2つの刺激事象間の時間間隔と同じ又はその間隔よりも短い/長いことが可能である。
【0035】
一部の実施形態では、これらの断片(又はこれらの断片の部分集合、又は断片の後半半分などの断片の一部、又はその両方)の全てのペア間において、相関係数、相互情報、共分散、又は相互関係を測る任意の計算値が計算される。次に、各刺激について、平均/中央値、及び/又は上記の相互関係の統計に関係した任意の尺度を算出することができる。これらの値は、EEG断片が各刺激に同期されているときに互いにどのように関係しているかの尺度を提供する。もしユーザが1つの刺激に注意を向けている場合は、(平均相関係数などの)対応する値は、その他の刺激に対応する値よりも高い。
【0036】
一部の実施形態では、個々の各断片間における相関係数、相互情報、共分散、又はその他の相互関係などの相互関係と、EEG断片の平均/中央値/和とを計算することができる。次に、各刺激について、上記相互関係の統計に関係した平均、中央値、又は任意の計算値を算出することができる。もしユーザがある刺激に注意を向けている場合は、対応する計算値は、その他の刺激に対応する値よりも高いだろう。
【0037】
一部の実施形態では、時間領域におけるSEP分類/検出は、複数の脳波検査信号サンプルを受信することと、刺激同期脳波検査信号サンプルを生成することと、複数の脳波検査信号サンプルが刺激のパターンに応答して誘発されているかどうかを決定することとを含む。一部の実施形態では、時間領域におけるSEP分類/検出は、更に、刺激同期脳波検査信号サンプルについて断片ペア間における相互関係を算出することと、各刺激について相互関係の統計的尺度を決定することと、分類子を使用し、各刺激についての相互関係の統計的尺度にしたがって、刺激がユーザによって注意を向けられているかどうかを決定することとを含む。一部の実施形態では、相互関係は、相関、相互情報、又は共分散を含む。一部の実施形態では、統計的尺度は、平均、中央値、又は和を含む。一部の実施形態では、分類子は、線形判別解析(LDA)、神経回路網、又はサポートベクトルマシン(SVM)として実装される。一部の実施形態では、最大相互関係値が閾値と比較され、もしそれが閾値を上回る場合は、対応する刺激は、注意を向けられている可能性が高い。
【0038】
一部の実施形態では、先ず、EEGデータが各刺激の繰り返し事象/状態に同期され、EEGと刺激との間における相関係数、相互情報、共分散、又はその他の相互関係などの相互関係を計算することができる。もしユーザがある刺激に注意を向けている場合は、対応する相互関係は、その他の刺激に対応する相互関係よりも高いだろう。
【0039】
前述の相互関係尺度を見ることによって、ユーザが刺激に注意を向けているかどうか及び/又はユーザがどの刺激に注意を向けているかを判断するために、更に、様々な方法を適用することができる。例えば、刺激が注意を向けられているかどうかを判断するために、一部のサンプルデータの訓練を通じて取得される線形判別解析(LDA)などの分類子を構築することができる。或いは、最大相互関係値を閾値と比較することも可能であり、もしそれが閾値を上回る場合は、対応する刺激は、注意を向けられている可能性が高い。
【0040】
一部の実施形態では、システムは、ユーザが閃光を見ることによって誘発される特定のEEG信号を使用してデバイスを制御するために使用される。例えば、制御信号は、検出されたSEPに基づいて、別のデバイス(例えば、エンターテイメントシステム、教育システム、医療システム、自動車用のアプリケーション、及びアプリケーションを実行するコンピュータ)に提供することも可能である。例えば、システムは、デバイスを制御するために使用されるコマンドをそれぞれ表す幾つかの閃光を含むことができる。ユーザが閃光の1つを見ているときは、刺激同期平均技術を使用し、記録されたユーザのEEG信号パターンのなかで、EEG信号における固有な徴候が存在することを決定することができる。例えば、計算デバイス(例えば、プログラムされたコンピュータ/ラップトップ/ネットブック/ポータブル計算デバイス、マイクロコントローラ、ASIC、及び/又はFPGA)は、各閃光に対応する固有なEEG信号徴候を継続的にチェックする効率的で且つ効果的なアルゴリズム(例えば分類子)を実施することができる。一部の実施形態では、アルゴリズムは、このような決定をリアルタイムで実施する(例えば、このような決定をこの場合は(1つ又は2つ以上の)閃光事象である事象の約3秒以内に計算する)。一部の実施形態では、このような決定は、オフラインで(例えば、全てのデータが収集された後に)実施される。一部の実施形態では、EEG信号を最大にして、光の明るさ、色、間隔、周波数、デューティサイクル、及び光によって使用される視野の量などの視覚誘発電位検出率を増加させるために、各種のパラメータが調整される。視覚誘発電位が検出されるときは、対応するコマンドが被制御デバイスに送信される。
【0041】
例えば、制御されるデバイスは、玩具であってよく、閃光の1つがユーザによって注意を向けられていることをシステムが認識するときに、(例えば、SEPを検出するためのシステムからのコマンドに基づいて)その玩具に何か面白いことが起きる。別の例として、ビデオゲームにおいて物体が閃いてよく、ゲームは、ユーザが何を(例えば、どの閃光物体を)見ているかを認識し、それをゲームプレーに組み入れることができる。別の例では、飛行シミュレータ又は軍事的な若しくはその他のアプリケーションにおいて物体が閃いてよく、ゲームは、ユーザが何を(例えば、どの閃光物体を)見ているかを認識し、それをアプリケーションに組み入れることができる。別の例として、制御されるデバイスは、プログラムされたコンピュータ、又は自分の手を使うことはできないがそれを必要とするユーザがシステム選択を行うことを可能にする任意のデバイスであってよい。別の例として、制御されるデバイスは、運転手及び/又は乗客のための自動車インターフェースについての選択又は設定が行われる自動車アプリケーションであってよい。例えば、EEG検出システムは、ユーザによって着用されるキャップの形をとってよく尚且つ/又は自動車の座席のヘッドレストに組み込まれてよく、点滅光/閃光は、ラジオ、温度、又はその他の制御/設定を制御するために自動車のコンソール/ダッシュボードに組み込まれてよい、又は自動車用のその他の各種のEEGアプリケーション若しくは(例えば、自動車、飛行機、若しくはその他のデバイスの運転手の注意力、不安、驚き、及び/若しくは傾眠状態を決定するための)精神状態モニタなどのその他のデバイスと組み合わされてよい。
【0042】
図1は、一部の実施形態にしたがった、SEP用のEEGシステムを示したブロック図である。図に示されるように、SEP用のEEGシステム100は、EEG制御システム110と、EEG検出システム130と、デバイス150とを含む。一部の実施形態では、デバイス150は、EEG制御システム110によって制御される。一部の実施形態では、デバイス150は、図に示されるように、SEP用のEEGシステムに含まれ又はSEP用のEEGシステムと統合され、シリアル通信路又はその他の通信路を使用してデバイス150と通信する。一部の実施形態では、デバイス150は、SEP用のEEGシステム100から切り離されており、有線通信又は無線通信を使用してEEG制御システム110と通信関係にある。一部の実施形態では、EEG制御システム110は、シリアル通信路又はその他の通信路(例えば有線又は無線)を使用してEEG検出システム130と通信する。
【0043】
一部の実施形態では、EEG検出システム130は、ユーザのEEG信号を検出し、EEG制御システム110は、EEG検出システム130によって検出されたEEG信号に対してSEP決定アルゴリズム(例えば、リアルタイム分類アルゴリズム/分類子)を実施するように構成されたプロセッサを含む。一部の実施形態では、本明細書で開示されるように、各種のSEP決定技術(例えば、時間領域SEP決定アルゴリズム/分類子)が使用される。
【0044】
一部の実施形態では、SEP決定に基づいて、EEG制御システム110は、(関連のSEPに基づいて)対応する制御信号をデバイス150に送信する。EEG検出システム130は、EEG制御システム110に、一部の実施形態では未加工のEEG信号データを、又は一部の実施形態では(例えばノイズをフィルタリング除去するために)処理されたEEG信号データを送信する。
【0045】
図2は、一部の実施形態にしたがった、EEG制御システムを示した機能図である。図に示されるように、EEG制御システム130は、EEG検出システム130と通信するためのEEG検出通信コンポーネント112と、EEG検出システム130によって検出されたEEG信号に対してSEP決定アルゴリズムを実施するためのプロセッサ114と、デバイス150と通信するための出力制御118と、1つ又は2つ以上のLED(例えば、閃光LED光システム)と通信するためのLED通信122と、(例えば、閃光LED光などについて、受信されたEEG信号サンプルと関連のタイミングデータとを保存するための)データストレージ124と、通信リンク120とを含む。
【0046】
一部の実施形態では、プログラムされたコンピュータが、EEG制御システム110と通信関係にあり、EEG制御システム110は、また、検出されたEEG信号サンプルをコンピュータに送信するために、コンピュータコンポーネントへのEEGデータを含んでいる。この例では、コンピュータは、EEG検出システム130によって検出されたEEG信号に対してSEP決定アルゴリズムを実施するように構成されたプロセッサを含み、コンピュータは、(例えば関連のSEPに基づいて)デバイスを制御するために、解析の結果をEEG制御システムに提供することができる。一部の実施形態では、コンピュータは、EEG検出システム130によって検出されたEEG信号に対してSEP決定アルゴリズムを実施するように構成されたプロセッサを含み、コンピュータは、EEG信号サンプルの解析の結果に基づいて、対応する制御信号をデバイスに送信する。一部の実施形態では、プログラムされたコンピュータによって、EEG信号サンプルの解析の全部が又は一部分のみが実施される。一部の実施形態では、EEG検出システム(例えば、EEGセンサに統合された又はEEGセンサと通信関係にあるASIC)において、EEG信号サンプルの解析の全部が又は一部分のみが実施される。
【0047】
図3は、一部の実施形態にしたがった、EEG検出システムを示した機能図である。図に示されるように、EEG検出システム130は、プロセッサ132(例えば、FPGA又はASIC)と、能動的EEGセンサ136と、基準EEGセンサ138と、通信リンク134とを含む。測定されたEEG信号は、EEG制御システム110に提供される。一部の実施形態では、EEG信号サンプルの連続的測定が検出され、EEG制御システム110に提供される。
【0048】
図4は、一部の実施形態にしたがった、帽子の内側に搭載されたEEGセンサと基準EEGセンサとを含むEEG検出システムを示している。図に示されるように、EEG検出システム130は、内側にEEGセンサ136及び基準EEGセンサ138を含む、ユーザによって着用される帽子である。EEGセンサ136及び基準EEGセンサ138は、有線通信(例えば、シリアル通信リンク)を通じてEEG制御システム110に接続される。一部の実施形態では、EEGセンサ136は、帽子がユーザによって着用されたときに、(例えば、視覚事象に関係したEEG信号の検出のために)ユーザの頭の後頭部にくるように、帽子の内側に位置決めされ、基準EEGセンサ138は、ユーザの頭の別の場所(例えば、おでこ、ユーザの頭の側部の耳の上、又はユーザの頭の後ろ側で尚且つ能動的EEGセンサの場所とは異なる場所)に位置決めされる。一部の実施形態では、EEGセンサは、当業者にならばわかるように、検出される刺激事象のタイプに基づいて異なる場所に位置決めされる。一部の実施形態では、EEGセンサ136及び基準EEGセンサ138は、非接触型EEGセンサである。一部の実施形態では、EEG検出システムは、2つ以上のEEGセンサ136を含む。一部の実施形態では、EEG検出システム130は、ヘッドフォン、オーディオヘッドフォン、自動車の座席のヘッドレストの形態をとっている、又はEEG信号検出のためにユーザの頭の適切な場所にEEGセンサ136及び基準EEGセンサ138をしっかり位置決めするためにユーザによって使用されることが可能なその他の形態の装置若しくはモジュールの形をとっている。一部の実施形態では、EEG検出システム130(例えば、図に示されるような帽子/キャップ)は、ノイズの量を減らすために、接地されたイヤクリップを含んでいる。
【0049】
図5A〜5Bは、一部の実施形態にしたがった、EEGセンサを示している。図5Aに示されるように、EEGセンサ136は、EEG信号検出帽子の内側に搭載される。図5Bに示されるように、EEGセンサ136の上側が図示されており、ここで、図示されたEEGセンサ136は、ほぼ米国の25セント硬貨の大きさの非接触型電極である。EEGセンサ136は、EEG信号を増幅させる及びノイズをフィルタリング除去するアナログフロントエンド回路構成を伴って、プリント回路基板(PCB)に組み込まれる。EEGセンサ136は、例えば感知可能な信号を外部ノイズから保護する金属シールドを含む。一部の実施形態では、EEGセンサ136のための回路構成は、ASICに組み込まれる。
【0050】
図6は、一部の実施形態にしたがった、SEP用のEEGシステムを示した別のブロック図である。図に示されるように、SEP用のEEGシステム100は、検出されたEEG信号に対してSEP決定アルゴリズムを実施するように構成された(例えば、プログラムされた)コンピュータ610と、LED(閃)光システム650を制御する(例えば、閃光の点灯及び消灯のタイミング、並びにどの光がどのパターンで閃くかを制御する)ためのコントローラ620と、検出されたEEG信号をEEGセンサ136及び基準EEGセンサからの受信するための(及び一部の実施形態では処理するための)EEG回路構成630とを含む。図に示されるように、LED光システム650には、4つのLED光が提供される。一部の実施形態では、1つ又は2つ以上のLED光が提供される。
【0051】
コントローラ620は、FPGA622(或いは一部の実施形態では、ASIC又はプログラムされたプロセッサなどの、その他の任意の形態のプロセッサ又はプロセッサ上で実行されるソフトウェア)も含んでいる。一部の実施形態では、コントローラ620は、LED光650を制御し、また、コンピュータ610及びEEG回路構成630と通信する。一部の実施形態では、コントローラ620は、閃光を制御し、EEG回路構成630からEEG信号(サンプル)データを受信する。一部の実施形態では、コントローラは、また、受信されたEEG信号データと、(例えば、LED光システム650の閃光の点灯/消灯のための)光タイミングデータとを組み合わせ、(例えば、リアルタイムSEP決定アルゴリズムを使用した)更なる解析及び処理のためにコンピュータ610に送信されるシリアルストリームにする。一部の実施形態では、コントローラ620は、また、被制御デバイス(例えば、デバイス150)に制御信号を送信する。
【0052】
EEG回路構成630は、ファームウェア632(或いは一部の実施形態では、ASIC又はFPGA又はプログラムされたプロセッサなどの、その他の任意の形態のプロセッサ又はプロセッサ上で実行されるソフトウェア)を含んでいる。コントローラは、図に示されるように、コンピュータ610及びEEG回路構成630とシリアル通信関係にある。一部の実施形態では、EEG回路構成630は、図に示されるように、コンピュータ610に対しても、直接的なシリアル接続を通じて直接的に接続されている(又は一部の実施形態では、有線若しくは無線による直接的な通信関係にある)。一部の実施形態では、これらの接続のうちの1つ又は2つ以上が無線である。
【0053】
図7は、一部の実施形態にしたがった、非接触型EEGセンサを伴うEEG検出システムを示している。図に示されるように、EEG検出システム130は、ユーザによって着用される帽子又はキャップの形態をとっており、バッテリ710(例えば、充電式リチウムイオンバッテリ)と、EEG回路構成720と、EEGセンサ730への配線とを含む(非接触型EEGセンサは、帽子の内側に搭載されており、ゆえに、ユーザによって着用されている帽子を描いたこの図では見えていない)。一部の実施形態では、EEG検出システム130は、EEG制御システム110などのその他の装置/デバイスと無線関係(例えば、Bluetooth(登録商標)又は別の無線プロトコル)にある。一部の実施形態では、バッテリ710、EEG回路構成720、及びEEGセンサ730への配線は、帽子/キャップ及び/又はその他の頭部装着装置に(上述されたのと同様に)よりきつく組み込まれ、一部の実施形態では、ユーザによって着用されたときに見えていないのが一般的である。本明細書で開示されたEEG検出システム130は、その他の各種の設計及び頭部装着装置を使用して提供可能であることがわかる。
【0054】
図8A〜8Bは、一部の実施形態にしたがった、SEP用のEEGシステムのためのLED光を示している。図に示されるように、図8Aは、4つのLED光を全てオフにされた(例えば、閃光していない)LED光650を示している。図に示されるように、図8Bは、4つのLED光を全てオンにされた(例えば、閃光している)LED光650を示している。図に示されるように、LED光650は、箱型の装置に搭載され、例えば、ユーザへのコマンドを表すパターンで閃くことができる。一部の実施形態では、LED光システム650の4つの個々の各LED光は、独立してオン/オフに閃くことができる。一部の実施形態では、LED光システム650のLED光は、はっきり区別できる固定の周波数で閃く。一部の実施形態では、LED光システム650のLED光は、固定パターンの可変周波数で閃く。一部の実施形態では、4つの各LED光は、それぞれ異なる周波数で閃く。一部の実施形態では、各LED光の周波数は、1Hz又は2Hz隔てられる(例えば、4つのLED光は、9Hz、10Hz、11Hz、及び12Hzの周波数に設定することができる、又は8Hz〜20Hzの範囲若しくはSEPを効果的に検出可能なその他の何らかの周波数範囲に設定することができる)。一部の実施形態では、4つよりも少ない又は多いLED光がLED光システム650に含まれる。一部の実施形態では、閃光パターンは、コントローラ620によって制御される(例えば、Verilogコードを実行するXilinx FPGAチップのようなFPGAコントローラを使用して閃光の周波数を制御する)。
【0055】
図9A〜9Bは、一部の実施形態にしたがった、SEP用のEEGシステムにおけるEEGデータと光制御信号データとを示したチャートである。図9Aは、(ボルト(V)で表される)測定されたEEG信号を(秒で表される)時間に対して示している。図9Bは、(ヘルツ(Hz)で表される)光入力信号(例えば、閃光事象)を(秒で表される)時間に対して示している。図に示されるように、光入力信号は、固定周波数の方形波である。
【0056】
図10は、サンプルEEGデータについてのパワースペクトルチャートである。より具体的には、図10は、(Vで表される)測定されたEEG信号を(Hzで表される)周波数に対して示しており、図には、2つの測定値、すなわち、光事象が存在していないときの第1の測定されたEEG信号と、12Hzの光事象が発生し、12Hzの固定周波数でオン及びオフに閃く光をユーザが見ていたときの第2の測定された信号とが描かれている。図10に示されたこの例で説明されるように及び上述されたように、12Hzにおけるパワー増加が12Hzの光を見たことに起因するのか又は無関係のノイズであるのかを決定することは困難である。
【0057】
図11は、一部の実施形態にしたがった、SEP用のEEGシステムにおける光点灯後のEEG断片と平均化EEGとを示したチャートである。ユーザは、10Hzで閃く光に注意を向けていた。そして、4つの各パネルは、(それぞれ9Hz、10Hz、11Hz、及び12Hzで閃く)4つの光の1つの点灯に同期されたときのEEG断片を示している。黒い曲線は、EEG断片の平均を示している。注意を向けられている刺激の繰り返し開始にEEG断片が同期されているときは、遥かに高い断片間相関が存在する。全てのEEG断片ペア間における相関係数の平均は、この相関作用を測る1つのやり方であってよい。やはり示されるように、閃光同期平均信号は、(例えば、本明細書で論じられるように、閾値の比較及び/又は徴候信号の比較を使用して)SEPが効果的に検出されるように、光が注意を向けられている(例えばユーザによって観察されている)ことを検出するために認識可能な信号形状を提供する。
【0058】
図12は、一部の実施形態にしたがった、SEP用のEEGシステムにおける閃光と未加工EEGデータとの相関を示したチャートである。具体的には、図12は、平均化されたEEG信号(例えば閃光同期平均信号)と閃光事象(例えば光の閃き)との間における相関解析を示している。各離散時点において、測定されたEEG信号及び測定された光信号は、互いに乗じられる。これらの結果は、全て、相関数を形成するために集められて平均化される。一部の実施形態では、解析は、EEGデータを光信号データとの間の時間オフセット(例えば30ms)を使用して繰り返される。SEPが効果的に検出されるように、結果は、光が注意を向けられている(例えばユーザによって観察されている)ことを決定するために使用可能な特徴的形状である。
【0059】
図13は、一部の実施形態にしたがった、SEP信号の検出又は分類のための技術のフローチャートである。一部の実施形態では、アルゴリズムは、リアルタイムで反復的に且つ連続的に動いている。一部の実施形態では、アルゴリズムは、データをオフラインで(例えば、全てのデータが収集された後に)解析する。1301において、複数のEEG信号サンプルが検出及び記録される。1302において、一部の実施形態では、更なるデータ解析に備えてEEGの準備をするために、(DCドリフト及び/若しくは高周波ノイズを除去するための)フィルタリング、(未加工EEEGデータのサンプリング周波数を変更するための、ダウンサンプリング、アップサンプリング、補間などの)再サンプリング、並びに/又は(目の瞬き、筋音、運動、EKGなどによって引き起こされるアーチファクトを除去するための)アーチファクト/運動除去などの、1つ又は2つ以上の前処理技術を適用することができる。1303において、EEG信号は、刺激事象/状態に同期される。1304において、EEG信号サンプルが刺激事象のパターンに応答して誘発されているかどうか(例えば、視覚事象に応答するなどのSEP決定)が、刺激同期平均方法又は断片間相関方法などの様々なやり方で決定される。断片間相関方法の詳細な説明が、図14に示されている。1305では、SEP決定に基づいて、制御信号が提供される。
【0060】
図14は、一部の実施形態にしたがった、ユーザが刺激に注意を向けているかどうか又はどの刺激にユーザが注意を向けているかを決定するための一技術を示したフローチャートである。1401において、EEG信号は、刺激の繰り返し開始に同期される。1402では、その刺激について、刺激同期EEG断片が生成される。一部の実施形態では、断片の長さは、2つの刺激開始間の時間間隔よりも短い/長い。1403では、全ての断片ペア間において相関係数が計算される。一部の実施形態では、相関係数は、一部の断片ペア間のみにおいて計算することができる。一部の実施形態では、これらの断片間における相互関係を測る相互情報などのその他の値が計算される。1404では、相関係数の平均が計算される。一部の実施形態では、平均の代わりに、相関係数の中央値を計算することができる。1406では、各刺激について、ステップ1401〜1404が繰り返される。1405において、もし全ての平均のなかで最大の値(各刺激について1つずつ)が閾値を上回る場合は、対応する刺激が記憶される。一部の実施形態では、システムは、特定のユーザに対するテストに基づいて訓練され、この訓練に基づいて、閾値(又は一部の実施形態では信号徴候)が生成される。1407では、ステップ1401〜1405が数回にわたって繰り返される。1408において、もしこれまでの結果が同じ刺激について一致を見る場合は、1409において、対応する刺激は、ユーザによって注意を向けられていると決定され、そうでない場合は、1410において、注意を向けられている刺激はないと決定される。
【0061】
図15は、一部の実施形態にしたがった、異なる刺激周波数タイプを示した図である。図に示されるように、光入力信号についての刺激周波数は、方形波、正弦波若しくは三角波、又は変調を伴う搬送波などの、単一固定周波数であってよい。一部の実施形態では、混合周波数刺激が使用され、ここで、混合周波数刺激は、例えば、2つ又は3つ以上の固定周波数が足し合わされた組み合わせである。一部の実施形態では、その他の各種のタイプの非周期的信号が使用され、時間領域解析と調和される。例えば、変調を伴う搬送波は、固定周波数における大きな正弦波成分をより小さい異なる信号と組み合わされたFMラジオ信号と同様であると考えられる。別の例としては、幾らかのばらつきを周波数に加えることによって単一周波数刺激を調整することが可能である。また、携帯電話ネットワークで使用されるCDMAコードなどの擬似ランダムコードを構築するためのやり方が多くあることがわかる。
【0062】
図16は、一部の実施形態にしたがった、時間領域アルゴリズムを示した図である。一部の実施形態では、時間領域分類子技術は、周波数領域への変換を伴わずにEEG信号を使用する。例えば、1601において、EEGは、刺激事象/状態に同期される。1602において、使用することが可能な1つのアプローチは、EEGと刺激との間における相関又は相互情報などの相互関係を計算することである。もしユーザがその刺激に注意を向けている場合は、出力は、その他の刺激と比べて比較的大きな振幅を有するだろう。また、相互関係は、刺激と、(例えば30ms〜50msの適切なオフセットを使用した)遅延後のEEGとの間において計算することもできる。幾らかの遅延において、相互関係は、注意を向けられている刺激に対して強いのが通常である。1603では、時間領域アルゴリズムの一部の実施形態が、刺激同期EEG断片を生成する。1604において、一部の実施形態では、これらの断片間における相互関係が計算される。1605において、一部の実施形態では、各刺激について刺激同期平均が計算される。一部の実施形態では、各刺激について刺激同期中央値/和又はばらつきなどのその他の刺激同期信号が計算されてよい。1606では、ユーザが刺激を見ていると知られるときにEEGの自己回帰モデルを構築することができ、その自己回帰モデルの係数を更なる分類のためのデータ要素として使用することができる。1607では、(例えば光が注意を向けられているときの)理想平均の原型を構築し、実際の平均で乗じることができる。高い値の結果は、光が注意を向けられていることを示す。原型は、ユーザが光を見ていると知られているときのEEG平均を計算することを含む、様々なやり方で構築することができる。1608では、平均化EEGの絶対値が幾らかの期間にわたって積分される。1609では、平均化EEGの頂点間の差が計算される。1610では、ユーザが特定の刺激に注意を向けているかどうかを更に判断するために、閾値化、線形判別解析(LDA)、K最近傍(KNN)、サポートベクトルマシン(SVM)、人工神経回路網(ANN)、隠れマルコフモデル(HMM)などの分類方法を使用することができる。
【0063】
図17は、一部の実施形態にしたがった、4つの刺激同期平均の一例を示したチャートである。平均の1つが特徴的形状を展開しているのに対し、その他の平均は比較的平坦である。
【0064】
図18は、一部の実施形態にしたがった、刺激同期信号を生成するための一例を示したチャートである。図18に示されるように、ユーザが刺激に注意を向けていることによるEEG信号1801、及び刺激を制御するために使用される信号1802の両方が測定される。先ず、刺激の開始に続く固定長(例えば500ms)のEEG信号の断片が記録される。一部の実施形態では、EEGと刺激との間における相関1803が計算され、更なる分類のために使用される。一部の実施形態では、EEG断片は、各断片における第1のデータ点が、刺激開始後に記録される第1のEEGサンプルであり、各断片における第2のデータ点が、刺激開始後に記録される第2のEEGサンプルであり、以下同様であるように、抽出される。これらの断片は、2つの刺激開始間の時間間隔と同じ長さを有することができる、又はそれよりも長い若しくは短いことが可能である。1804では、断片は、光の点灯に続く第1のEEGデータ点の平均がとられ、次いで、光の点灯に続く全ての第2のEEGデータ点の平均がとられ、次いで、光の点灯に続く第3のEEGデータ点の平均がとられ、以下同様であるように、平均をとられる。結果は、平均波形を提供する。一部の実施形態では、測定されたEEG信号は、不随意のEEG信号応答を含む。一部の実施形態では、測定されたEEG信号は、強度又はフォーカスに関係したEEG信号応答などの、不随意のEEG信号応答も含む(例えば、EEG信号の強さは、ユーザが閃光を見るときの(周辺フォーカス対直接フォーカスなどの)見方又は強度によって変わることができる)。1805では、これら全ての断片ペア間における相関が計算される。一部の実施形態では、これらの断片の(第2、第4、第6の断片などの)部分集合のみが使用される。一部の実施形態では、これらの断片の(刺激の開始後100ms以降などの)一部のみが使用される。
【0065】
以上の実施形態は、理解を明瞭にする目的で幾らか詳細に説明されてきたが、本発明は、提供された詳細に限定されない。本発明の実現には、多くの代替的手法がある。開示された実施形態は、例示的であって、限定的ではない。
【特許請求の範囲】
【請求項1】
感覚誘発電位信号分類のための方法であって、
複数の脳波検査信号サンプルを受信することと、
刺激同期脳波検査信号サンプルを生成することと、
前記複数の脳波検査信号サンプルが刺激のパターンに応答して誘発されているかどうかを決定することと、
を備える、方法。
【請求項2】
請求項1に記載の方法であって、
ユーザの脳波検査パターンの高度な訓練は必要でない、方法。
【請求項3】
請求項1に記載の方法であって、
前記刺激パターンの高度な知識は必要でない、方法。
【請求項4】
請求項1に記載の方法であって、
感覚誘発電位信号分類は、時間領域において脳波検査信号サンプルを感覚刺激の繰り返し提示に同期させることによって実施される、方法。
【請求項5】
請求項1に記載の方法であって、
感覚誘発電位信号分類は、時間領域において脳波検査信号サンプルを感覚刺激の繰り返し提示に同期させることによって実施され、前記感覚誘発電位信号分類は、視覚誘発電位を含む、方法。
【請求項6】
請求項1に記載の方法であって、更に、
複数の脳波検査信号を検出することを備える、方法。
【請求項7】
請求項1に記載の方法であって、更に、
前記複数の脳波検査信号サンプルを記録することを備える、方法。
【請求項8】
請求項1に記載の方法であって、更に、
前記複数の脳波検査信号サンプルを前記刺激のパターンに同期させることを備える、方法。
【請求項9】
請求項1に記載の方法であって、更に、
各脳波検査信号サンプルを前記刺激のパターンの開始に同期させることを備える、方法。
【請求項10】
請求項1に記載の方法であって、更に、
どの刺激がユーザによって注意を向けているかを決定することを備える、方法。
【請求項11】
請求項1に記載の方法であって、更に、
前記感覚誘発電位信号分類に基づいて制御信号を生成することを備える、方法。
【請求項12】
請求項1に記載の方法であって、更に、
前記刺激同期脳波検査信号サンプルについて断片ペア間における相互関係を算出することと、
各刺激について前記相互関係の統計的尺度を決定することと、
分類子を使用し、各刺激についての前記相互関係の前記統計的尺度にしたがって、刺激がユーザによって注意を向けられているかどうかを決定することと、
を備える、方法。
【請求項13】
請求項1に記載の方法であって、更に、
前記刺激同期脳波検査信号サンプルについて断片ペア間における相互関係を算出することと、
各刺激について前記相互関係の統計的尺度を決定することと、
分類子を使用し、各刺激についての前記相互関係の前記統計的尺度にしたがって、刺激がユーザによって注意を向けられているかどうかを決定することと、
を備え、
前記相互関係は、相関、相互情報、又は共分散を含む、方法。
【請求項14】
請求項1に記載の方法であって、更に、
前記刺激同期脳波検査信号サンプルについて断片ペア間における相互関係を算出することと、
各刺激について前記相互関係の統計的尺度を決定することと、
分類子を使用し、各刺激についての前記相互関係の前記統計的尺度にしたがって、刺激がユーザによって注意を向けられているかどうかを決定することと、
を備え、
前記統計的尺度は、平均、中央値、又は和を含む、方法。
【請求項15】
感覚誘発電位信号分類のためのシステムであって、
プロセッサと、
前記プロセッサに結合され、前記プロセッサに命令を提供するように構成されたメモリと、
を備え、
前記プロセッサは、
複数の脳波検査信号サンプルを受信し、
刺激同期脳波検査信号サンプルを生成し、
前記複数の脳波検査信号サンプルが刺激のパターンに応答して誘発されているかどうかを決定するように構成される、システム。
【請求項16】
請求項15に記載のシステムであって、
ユーザの脳波検査パターンの高度な訓練は必要でない、システム。
【請求項17】
請求項15に記載のシステムであって、
前記刺激パターンの高度な知識は必要でない、システム。
【請求項18】
請求項15に記載のシステムであって、
感覚誘発電位信号分類は、時間領域において脳波検査信号サンプルを感覚刺激の繰り返し提示に同期させることによって実施され、前記感覚誘発電位信号分類は、視覚誘発電位を含む、システム。
【請求項19】
感覚誘発電位信号分類のためのコンピュータプログラム製品であって、コンピュータ可読ストレージメディアに実装され、
複数の脳波検査信号サンプルを受信するための命令と、
刺激同期脳波検査信号サンプルを生成するための命令と、
前記複数の脳波検査信号サンプルが刺激のパターンに応答して誘発されているかどうかを決定するための命令と、
を備える、コンピュータプログラム製品。
【請求項20】
請求項19に記載のコンピュータプログラム製品であって、
ユーザの脳波検査パターンの高度な訓練は必要でない、コンピュータプログラム製品。
【請求項21】
請求項19に記載のコンピュータプログラム製品であって、
前記刺激パターンの高度な知識は必要でない、コンピュータプログラム製品。
【請求項22】
請求項19に記載のコンピュータプログラム製品であって、
感覚誘発電位信号分類は、時間領域において脳波検査信号サンプルを感覚刺激の繰り返し提示に同期させることによって実施され、前記感覚誘発電位信号分類は、視覚誘発電位を含む、コンピュータプログラム製品。
【請求項1】
感覚誘発電位信号分類のための方法であって、
複数の脳波検査信号サンプルを受信することと、
刺激同期脳波検査信号サンプルを生成することと、
前記複数の脳波検査信号サンプルが刺激のパターンに応答して誘発されているかどうかを決定することと、
を備える、方法。
【請求項2】
請求項1に記載の方法であって、
ユーザの脳波検査パターンの高度な訓練は必要でない、方法。
【請求項3】
請求項1に記載の方法であって、
前記刺激パターンの高度な知識は必要でない、方法。
【請求項4】
請求項1に記載の方法であって、
感覚誘発電位信号分類は、時間領域において脳波検査信号サンプルを感覚刺激の繰り返し提示に同期させることによって実施される、方法。
【請求項5】
請求項1に記載の方法であって、
感覚誘発電位信号分類は、時間領域において脳波検査信号サンプルを感覚刺激の繰り返し提示に同期させることによって実施され、前記感覚誘発電位信号分類は、視覚誘発電位を含む、方法。
【請求項6】
請求項1に記載の方法であって、更に、
複数の脳波検査信号を検出することを備える、方法。
【請求項7】
請求項1に記載の方法であって、更に、
前記複数の脳波検査信号サンプルを記録することを備える、方法。
【請求項8】
請求項1に記載の方法であって、更に、
前記複数の脳波検査信号サンプルを前記刺激のパターンに同期させることを備える、方法。
【請求項9】
請求項1に記載の方法であって、更に、
各脳波検査信号サンプルを前記刺激のパターンの開始に同期させることを備える、方法。
【請求項10】
請求項1に記載の方法であって、更に、
どの刺激がユーザによって注意を向けているかを決定することを備える、方法。
【請求項11】
請求項1に記載の方法であって、更に、
前記感覚誘発電位信号分類に基づいて制御信号を生成することを備える、方法。
【請求項12】
請求項1に記載の方法であって、更に、
前記刺激同期脳波検査信号サンプルについて断片ペア間における相互関係を算出することと、
各刺激について前記相互関係の統計的尺度を決定することと、
分類子を使用し、各刺激についての前記相互関係の前記統計的尺度にしたがって、刺激がユーザによって注意を向けられているかどうかを決定することと、
を備える、方法。
【請求項13】
請求項1に記載の方法であって、更に、
前記刺激同期脳波検査信号サンプルについて断片ペア間における相互関係を算出することと、
各刺激について前記相互関係の統計的尺度を決定することと、
分類子を使用し、各刺激についての前記相互関係の前記統計的尺度にしたがって、刺激がユーザによって注意を向けられているかどうかを決定することと、
を備え、
前記相互関係は、相関、相互情報、又は共分散を含む、方法。
【請求項14】
請求項1に記載の方法であって、更に、
前記刺激同期脳波検査信号サンプルについて断片ペア間における相互関係を算出することと、
各刺激について前記相互関係の統計的尺度を決定することと、
分類子を使用し、各刺激についての前記相互関係の前記統計的尺度にしたがって、刺激がユーザによって注意を向けられているかどうかを決定することと、
を備え、
前記統計的尺度は、平均、中央値、又は和を含む、方法。
【請求項15】
感覚誘発電位信号分類のためのシステムであって、
プロセッサと、
前記プロセッサに結合され、前記プロセッサに命令を提供するように構成されたメモリと、
を備え、
前記プロセッサは、
複数の脳波検査信号サンプルを受信し、
刺激同期脳波検査信号サンプルを生成し、
前記複数の脳波検査信号サンプルが刺激のパターンに応答して誘発されているかどうかを決定するように構成される、システム。
【請求項16】
請求項15に記載のシステムであって、
ユーザの脳波検査パターンの高度な訓練は必要でない、システム。
【請求項17】
請求項15に記載のシステムであって、
前記刺激パターンの高度な知識は必要でない、システム。
【請求項18】
請求項15に記載のシステムであって、
感覚誘発電位信号分類は、時間領域において脳波検査信号サンプルを感覚刺激の繰り返し提示に同期させることによって実施され、前記感覚誘発電位信号分類は、視覚誘発電位を含む、システム。
【請求項19】
感覚誘発電位信号分類のためのコンピュータプログラム製品であって、コンピュータ可読ストレージメディアに実装され、
複数の脳波検査信号サンプルを受信するための命令と、
刺激同期脳波検査信号サンプルを生成するための命令と、
前記複数の脳波検査信号サンプルが刺激のパターンに応答して誘発されているかどうかを決定するための命令と、
を備える、コンピュータプログラム製品。
【請求項20】
請求項19に記載のコンピュータプログラム製品であって、
ユーザの脳波検査パターンの高度な訓練は必要でない、コンピュータプログラム製品。
【請求項21】
請求項19に記載のコンピュータプログラム製品であって、
前記刺激パターンの高度な知識は必要でない、コンピュータプログラム製品。
【請求項22】
請求項19に記載のコンピュータプログラム製品であって、
感覚誘発電位信号分類は、時間領域において脳波検査信号サンプルを感覚刺激の繰り返し提示に同期させることによって実施され、前記感覚誘発電位信号分類は、視覚誘発電位を含む、コンピュータプログラム製品。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6】
【図7】
【図8A】
【図8B】
【図9A】
【図9B】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6】
【図7】
【図8A】
【図8B】
【図9A】
【図9B】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【公表番号】特表2013−507174(P2013−507174A)
【公表日】平成25年3月4日(2013.3.4)
【国際特許分類】
【出願番号】特願2012−533129(P2012−533129)
【出願日】平成22年9月21日(2010.9.21)
【国際出願番号】PCT/US2010/002592
【国際公開番号】WO2011/043792
【国際公開日】平成23年4月14日(2011.4.14)
【出願人】(511064915)ニューロスキー・インコーポレーテッド (3)
【氏名又は名称原語表記】NEUROSKY INCORPORATED
【Fターム(参考)】
【公表日】平成25年3月4日(2013.3.4)
【国際特許分類】
【出願日】平成22年9月21日(2010.9.21)
【国際出願番号】PCT/US2010/002592
【国際公開番号】WO2011/043792
【国際公開日】平成23年4月14日(2011.4.14)
【出願人】(511064915)ニューロスキー・インコーポレーテッド (3)
【氏名又は名称原語表記】NEUROSKY INCORPORATED
【Fターム(参考)】
[ Back to top ]