意思伝達支援装置及び方法
【課題】脳活動などの生体信号に着目して外部機器を制御したり、他者に意思を伝達したりする従来のＢＭＩ技術においては、大型の装置を必要としたり、利用者にとり操作方法が複雑でノイズが大であるという問題があった。本発明では、脳内の意思を高精度および高速度で解析し、かつリアルタイムで意思伝達できる装置及び方法を実現する。
【解決手段】表示画面などに視覚刺激を提示する装置と、該装置による刺激提示後の脳波を計測する脳波計からの脳波データを処理する処理装置とからなり、該処理装置は、脳波データを解析して得た判別分析関数による累積判別得点と成功率との積に基づいて、該積が閾値を超えた時に、特定の意思決定が脳内でなされたと判断して、判断結果を機器に出力する。
【解決手段】表示画面などに視覚刺激を提示する装置と、該装置による刺激提示後の脳波を計測する脳波計からの脳波データを処理する処理装置とからなり、該処理装置は、脳波データを解析して得た判別分析関数による累積判別得点と成功率との積に基づいて、該積が閾値を超えた時に、特定の意思決定が脳内でなされたと判断して、判断結果を機器に出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作者が手や足を使うことなく、操作者の意思によって直接機器を操作することを可能とするために、脳活動を検出して、操作者の意思を分析して伝達する意思伝達装置及び方法に関する。
【背景技術】
【０００２】
現在、情報科学分野、医工学応用分野、脳活動による福祉機器制御の分野において、機器の操作は、各種スイッチ、ジョイスティックやマウス等の手による入力操作が主である。一方、介護福祉機器等の開発分野では、手足が不自由な操作者のために身体の他の部分で操作できる機器が望まれている。
【０００３】
従来から、文字盤あるいは絵カードなどの発話を補助するものがある。また、言語機能や聴覚に障害を持つ利用者の会話を補助する機器に関する技術は、例えば特許文献１および２に示されている。特許文献１には、五十音の文字盤の文字をブロックごとに順次点灯して選択させる技術や身体ケアのリクエストを選ぶメッセージボードを用いる技術が示されている。特許文献２には、携帯情報端末を用いるシンボル表示を選択するコミュニケーション支援システムが示されている。しかしながら、介護福祉機器の開発分野では、老人や病人などの複雑な入力操作が不可能な操作者のために、従来の操作を必要としないで直接的に意思を伝えることができる機器が望まれている。また、発話障害のある患者や老人にとって、基本的な身の回りの介護や気持ち等の意思を、より簡単に介助者に伝えることのできる機器が望まれている。
【０００４】
近年、脳科学の進歩により、人の思考や行動と脳活動との関係性について様々な研究がなされている。脳活動などの生体信号に着目して外部機器を制御したり、他者に意思を伝達したりするＢｒａｉｎ−Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ（ＢＭＩ）技術が注目されている。
【０００５】
例えば、消費者行動と関係した脳活動を機能的ＭＲＩ（ｆＭＲＩ）等の装置を使って調べるニューロマーケティングという研究がある。ｆＭＲＩの装置を用いた脳活動計測実験によって、コカコーラとペプシコーラに対する嗜好性やブランド意識に関する脳部位を同定し、また脳活動の差を調べた研究が知られている（非特許文献１）。
【０００６】
本発明者達は、動物の脳内に設置した電極による単一ニューロンの活動電位の細胞外記録という計測手法とニューロン集団活動のシミュレーションによって、複数の外部刺激（実験条件）が脳内でどのような関係性があると表現されているかを低次元の空間情報として推定できることを示した（非特許文献２参照）。しかしながら、脳活動についてはまだまだ未知な部分が多く、またその計測方法には制約がある。
【０００７】
また、本発明者達は、仮想意思決定関数を提案し、その計算方法を示した（非特許文献３参照）。非特許文献３には、単一ニューロン活動を例にとって神経活動から二者択一の行動予測方法を示している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００４−２８６７６８号公報
【特許文献２】特開２００３−２５５８２５号公報
【非特許文献】
【０００９】
【非特許文献１】ＭｃＣｌｕｒｅ ＳＭ他，“Ｎｅｕｒａｌ Ｃｏｒｒｅｌａｔｅｓ ｏｆ Ｂｅｈａｖｉｏｒａｌ Ｐｒｅｆｅｒｅｎｃｅ ｆｏｒ Ｃｕｌｔｕｒａｌｌｙ Ｆａｍｉｌｉａｒ Ｄｒｉｎｋｓ” Ｎｅｕｒｏｎ ４４，ｐ３７９−３８７，２００４
【非特許文献２】松本有央、長谷川良平「前頭連合野ニューロン集団の単一試行活動に基づく多次元意志決定の予測」Ｎｅｕｒｏｓｃｉｅｎｃｅ Ｒｅｓｅａｒｃｈ，ｖｏｌ．５８，Ｓｕｐｐｌｅｍｅｎｔ １，ｐａｇｅＳ１６１（Ｐ２−ｆ３４），２００７
【非特許文献３】長谷川良平他「Ｓｉｎｇｌｅ ｔｒｉａｌ−ｂａｓｅｄ ｐｒｅｄｉｃｔｉｏｎ ｏｆ ａ ｇｏ／ｎｏ−ｇｏ ｄｅｃｉｓｉｏｎ ｉｎ ｍｏｎｋｅｙ ｓｕｐｅｒｉｏｒ ｃｏｌｌｉｃｕｌｕｓ」 Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ １９（２００６）１２２３−１２３２
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ロボットや無線操縦機器などの産業・娯楽機器や、電動車椅子や電子文字盤などの福祉機器を、手足等を使うことなく、できるだけ簡単な操作で意思を伝えることができる機器が望まれている。しかしながら、これらの目的で研究開発された新たな各種入力装置はそれぞれ独自の入力方式や入力装置が必要であり、各種入力装置をそれぞれ購入しなければならず、またそれぞれの操作を習得するのに時間がかかるという問題がある。
【００１１】
脳活動を機能的ＭＲＩ（ｆＭＲＩ）等の装置を使って調べる技術では、ＭＲＩ装置の中で測定する必要があるので、入力操作をリアルタイムで行うことが不可能であり、大型の装置を必要とする問題がある。
【００１２】
従来の意思伝達に関する研究で提案されている装置では、脳波等の生体情報を測定するには、ノイズが大きく、正解の確率が低く、判定まで時間がかかるという問題があった。
【００１３】
特に、従来の上記ＢＭＩ技術のコアとなるのが、脳内意思決定をリアルタイムで解読する技術である。しかし、Ｓ／Ｎ比の悪い頭皮上脳波記録、あるいは同時記録できる数の少ないニューロン活動記録条件下では、正確かつ迅速に脳内意思決定を解読するのは極めて困難である。例えば、パソコン画面上に選択肢となる視覚刺激を複数個提示し、それらを疑似ランダムにフラッシュ（点灯）することによって得られる誘発脳波（刺激提示後３００ミリ秒後の陽性の電位変化等のＰ３００と呼ばれる事象関連脳波）の反応の強さによって、操作者が選択した選択肢を予測又は推測する手法が用いられている。その際、提示回数を増やすと予測精度が高くなる一方、時間がかかり、逆に提示回数を少なくすると予測に要する時間が短くなるものの精度が悪くなるという問題があった。
【００１４】
本発明は、これらの問題を解決しようとするものであり、脳内意思を誤判定なく短時間で判別することを目的とする。また、本発明は、操作者が脳で考えることでリアルタイムに機器を直接操作することを目的とする。また、発話障害のある患者や老人が、基本的な身の回りの介護や気持ち等の意思を、より簡単に直接的に介助者に伝えることのできる装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明は、前記目的を達成するために、本発明者が開発した「仮想意思決定関数」という、意思決定の脳内過程を定量化する手法により実現するものである。仮想意思決定関数は、元来、脳内の意思決定機構を調べるために考案された基礎的研究のための解析手法であり、脳内設置電極によって記録されたニューロン活動（特に活動電位の発火頻度）のミリ秒単位の時間経過から、後に観察される二者択一的意思決定の形成過程の推定に役立つものであった（非特許文献３参照）。本発明では、この仮想意思決定関数の概念を大幅に拡張し、脳波計測による意思伝達装置のための脳内意思解読手法として活用したものである。また、予測確率が十分高まればフラッシュを打ち切って答えを出すという変動的にフラッシュを制御する手法を用いるものである。
【００１６】
本発明は、前記目的を達成するために、以下の特徴を有するものである。
【００１７】
本発明の装置は、意思伝達支援装置であって、刺激を提示する装置と、該装置による刺激提示後の脳波を計測する脳波計からの脳波データを処理する処理装置とからなり、該処理装置は、該脳波データを解析して得た判別関数と成功率とに基づいて、特定の意思決定が脳内でなされたと判断することを特徴とする。また、上記脳波データを解析して得た判別関数による累積判別得点と成功率との積に基づいて、該積が閾値を超えた時に、特定の意思決定が脳内でなされたと判断して、判断結果を機器に出力する。
【００１８】
本発明の、該脳波データを解析して得た関数と成功率とに基づく関数は、意思決定の脳内過程（時間的経過）を推定する関数であることから、仮想意思決定関数（Ｖｉｒｔｕａｌ Ｄｅｃｉｓｉｏｎ Ｆｕｎｃｔｉｏｎ：ＶＤＦ）と呼ぶことができる。また、脳波計によって測定したデータを解析して得た関数は、多変量解析の関数であり、ロジスティック関数や線形判別分析関数等である。変数の重み付けは、脳波のチャンネルと刺激提示後の経過時間毎に設定する。
【００１９】
本発明では、意思決定として、二者択一の意思決定を利用することが好ましい。また、意思伝達装置による意思伝達の方法の実施に当たっては、教師信号により学習モデルを生成することが好ましい。また、事前のシミュレーションによって閾値を適度に調節することにより、予測精度と予測速度に関して、いずれを優先にするかの設定や、双方バランスがとれた設定を選択することができる。
【００２０】
本発明の刺激を提示する装置は、表示画面が代表例であり、コンピューターの表示手段等を用いる。本発明の装置は、福祉機器に適用することができる。
【００２１】
本発明の方法は、意思伝達支援方法であって、脳波計によって測定したデータを解析して得た判別関数と、成功率とに基づいて、特定の意思決定が脳内でなされたと判断することを特徴とする。また、脳波計によって測定したデータを解析して得た判別関数による累積判別得点と、成功率との積に基づいて、該積が閾値を超えた時に、特定の意思決定が脳内でなされたと判断して、判断結果を機器に出力する。本発明の方法によれば、リアルタイムで意思伝達が実行できる。
【発明の効果】
【００２２】
本発明によれば、ロボットや無線操縦機器などの産業・娯楽機器や、電動車椅子や電子文字盤などの福祉機器を、脳内活動で直接操作することができる。本発明は、二者択一の選択を操作者にさせてこれに対する脳波等の生体情報を、関数として取り出し、高い精度で短時間に、かつリアルタイムで、操作入力情報とすることができる。
【００２３】
また、本発明によれば、操作者に脳波測定のための電極を固着するだけであり、例えば電極を備えるネットや帽子を装着する感覚であり、該電極と入力装置とは無線で接続することをすれば、操作者の位置の自由度が高く小型化できる。本発明は、意思伝達のための特殊な入力操作の習得を必要とすることがないから、発話障害のある患者や老人が、基本的な身の回りの介護や気持ち等の意思を、より簡単に直接的に介助者に伝えることができる。
【００２４】
ＮＩＲＳによる血流量変化に着目した従来的な手法では、一般に脳内意思決定の解読には数十秒の時間がかかることが報告されているが、本発明では、１回の選択に２〜３秒という早さで９割以上の予測精度があることを確認した。本発明では、従来のようにあらかじめ設定されたブロック数が終了するのを待つことなく、信頼度の高い推測が可能な段階でデータ取得を打ち切って正解を導くことができるので、高速でかつ効率良い判別が可能となる。また、脳波データを解析して得た判別関数による判別得点をさらに累積した累積判別得点を用いることにより、ブロック数が増えるに従い判別得点が累積されることになるので、特定の選択肢が他の選択肢に比べて高い累積判別得点を獲得することになり、より高精度及び高速度の推測ができ、リアルタイムで意志伝達できる。
【００２５】
二者択一の選択の組み合わせで、複数から１つを選択させることもでき、階層的にメッセージを表示し、これらの多様なメッセージをたった数回の選択動作によって、意思伝達を実行できる。このように、本発明は、入力操作が簡単でかつ早くメッセージを伝えることができる。
【図面の簡単な説明】
【００２６】
【図１】第１の実施の形態による入力装置及び方法を模式的に示す図
【図２】第１の実施の形態の仮想意思決定関数による脳内意思識別を説明する図
【図３】第２の実施の形態で用いる表示画面を示す図
【図４】第２の実施の形態における判別分析過程を説明する図
【図５】第２の実施の形態における被験者の頭部における脳波の電極の配置を模式的に表す図
【図６】第２の実施の形態における全試行の脳波生成波形を示す図
【図７】第２の実施の形態における成功率、判別得点、ＶＤＦを示す図
【図８】第２の実施の形態におけるデータの構造を説明する図
【図９】第２の実施の形態におけるデータを説明する図
【発明を実施するための形態】
【００２７】
本発明の装置及び方法について、実施の形態により以下説明する。
【００２８】
本発明の実施の形態における構成は、主に次の要素からなる。
（１）脳内意思決定を解読する状況として、視覚的に提示される複数の選択肢（例えば視覚刺激）の中から一つを選択する行動課題を設定する。
（２）課題各試行において視覚刺激提示直後に誘発される意思決定に関与する脳活動（例えば視覚誘発Ｐ３００脳波）などのイベントにタイムロックした生体信号に着目する。
（３）モデル学習用データ取得セッション（トレーニングセッションともいう。）において、刺激提示前後および刺激の種類の違い（例えば選択肢の違い）によって視覚誘発脳波のパターンを比較し、刺激提示の経過時間ごとに、識別モデルのパラメータを設定する。
（４）行動予測セッション（テストセッションともいう）において、決定されたパラメータを用いて得られる判別分析関数の値と決定係数（確からしさを表す係数、例えば成功率）を、ミリ秒単位の時間ごとに、かけ合わせることで、どのような意思決定をどの程度確からしく脳内で表現しているかを連続的な値の変化として推定できる。このような意思決定の脳内過程（時間的経過）を推定する関数を仮想意思決定関数（ＶＤＦ）と呼ぶ。
（５）仮想意思決定関数がある閾値を超えた時に「特定の意思決定が脳内でなされた」と判断し、判断結果を外部プロセスに伝達する。
【００２９】
本発明では、二者択一の意思決定を行わせている。二者択一の場合、０を中心としてＶＤＦの高い値を一方の選択肢、低い値をもう一方の選択肢に割り振ることで、排他的な意思決定の推定が可能である。複数のＶＤＦ（複数の二者択一）を組み合わせることで２のべき乗の多次元意思決定を想定することも可能である。また、各選択肢を選ぶかどうかをそれぞれ二者択一的に評価し、最も早く閾値を超えた選択肢を採択することも可能である。
【００３０】
上記閾値については、事前のシミュレーションによって閾値を適度に調節することにより、予測精度と予測速度に関して、どちらかを優先する設定や、双方バランスがとれた設定を選ぶことができる。
【００３１】
本発明では、「特定の意思決定が脳内でなされた」と判断し、判断結果を外部機器に伝達することで、福祉機器の制御や他者への意思伝達をリアルタイムで行うシステムを構築できる。
【００３２】
（第１の実施の形態）
本実施の形態について、図１を参照して以下説明する。図１は、本実施の形態による意思伝達支援装置及び方法を模式的に示す図である。図２は、図１の仮想意思決定関数による脳内意思識別７を説明する図である。
【００３３】
刺激提示用の表示画面２を被験者に見せて、被験者の頭皮上脳波を記録する（図１の被験者への刺激提示１参照）。被験者は、実施に当たっては、一般の機器ユーザー、健常者、介護を必要とする障害者や老人等である。被験者は、脳波を測定するための脳波計電極３を頭に装着している。例えば、脳波計電極を固定したヘッドキャップを用いる。表示画面（モニター）に様々な視覚刺激を提示する。被験者に、視覚刺激を提示して、それが「はい」か「いいえ」かの判断させる課題を行わせる。例えば、「はい」と「いいえ」を交互にフラッシュしている画面を見させ、その際、脳波計（図中脳波アンプ４）によって脳活動を計測する。例えば、脳波生成波形５として図示したデータ（横軸は刺激からの経過時間、縦軸は電圧変化を示す）を得る。脳波生成波形のデータをコンピューター６で解析し、仮想意思決定関数を計算し、被験者の意思決定を予測する（図１の仮想意思決定関数による脳内意思識別７参照）。仮想意思決定関数による脳内意思識別７の処理において、「はい」をフラッシュした直後の仮想意思決定関数が、意思決定推定値の領域「はい」内にあれば（８）、脳内の意思決定は「はい」であると推測する（１０）。一方、「いいえ」をフラッシュした直後の仮想意思決定関数が、意思決定推定値の領域「いいえ」内にあれば（９）、脳内の意思決定は「いいえ」であると推測する。図１の仮想意思決定関数による脳内意思識別７のグラフにおいて、横軸は、「はい」と「いいえ」を交互にフラッシュするフラッシュ回数であり、縦軸は、仮想意思決定関数の値であり、意思決定推定値とも呼べるものである。意思決定推定値の領域「はい」は、仮想意思決定関数が所定の閾値以上の領域である。また、意思決定推定値の領域「いいえ」は、仮想意思決定関数が所定の閾値以下の領域である。また、横軸はフラッシュ回数が２回以上の適切な回数以上を、意思決定推定の領域「はい」「いいえ」とするとよい。また、図１の仮想意思決定関数による脳内意思識別のグラフでは、全フラッシュ回数を行った線が図示されているが、これは模式的な線であり、所定の閾値を超えた時に「特定の意思決定が脳内でなされた」と判断し、フラッシュを中断することが望ましい。図２も、図１の仮想意思決定関数による脳内意思識別７と同様であり、横軸は、「はい」と「いいえ」を交互にフラッシュするフラッシュ回数であり、縦軸は、仮想意思決定関数の値であり、意思決定推定値である。図２では、刺激経過時間Ｐで、仮想意思決定関数が「はい」の閾値を超えたことが示されている。
【００３４】
また、上記判断の予測の結果が正しかったかどうかは、口頭やボタンなどによる意思決定内容の表出と照らし合わせて評価することが可能である。事前のシミュレーションによって、閾値を調節することができるので、予測精度と予測速度の必要性に応じて閾値を設定することができる。
【００３５】
意思決定の推定値の出力信号は、コンピューターの入力信号として伝達され、表示画面に表示させたり、機器を操作制御させたりすることができる。このように、本発明の装置は、脳波による生体信号に基づき、操作者の意思決定を判別すると、その結果を画面に表示したり、実機の操作を実行したりする。操作者にとって、直観的なインターフェースで機器を操作したり、意思を伝達することができる。
【００３６】
（第２の実施の形態）
第１の実施の形態では、基本的な例を説明したが、操作対象の機器として、電子メッセージボードを用いて行うことができる。電子メッセージボードは重度の運動機能や発話機能に重度の障害を持つ人々のための意思伝達支援ツールである。簡単なものでは「はい」か「いいえ」の選択を、複雑なものであれば喜怒哀楽の感情種や具体的なトイレや体のケアなど具体的なメッセージ内容を、従来キーボードやタッチパネル等で選択することによって他者とのコミュニケーションを行うものである。
【００３７】
第２の実施の形態では、表示画面に多数の選択肢を表示して、多数から１つを選択させる例を図３〜９を参照しながら説明する。図３に、本実施の形態で用いる表示画面の例を示す。表示画面上に、絵や文字のシンボル表示を多数個表示し、順にまたはランダムに光らせて光る箇所を変更しながら、利用者の脳波、特にＰ３００と呼ばれる事象関連脳波（刺激提示後３００ミリ秒後の陽性の電位変化）を計測する。仮想意思決定関数を求め、予測確率が十分高まったところでフラッシュを打ち切って、利用者の伝えたいシンボル表示（選びたい選択肢、目標）を検出してこれを入力とする。これは、着目しているシンボル表示が光った瞬間に脳波が増強される現象があることを利用するものである。本実施の形態では、ＬＤＡ法（線形判別分析法）を利用する。
【００３８】
本実施の形態における判別分析の過程を図４を参照しながら説明する。実施にあたり、利用者の意思伝達の解読の精度を上げるために、実際の利用の前に、トレーニングセッションとパラメータ決定とを行い、その後、テストセッション（実行）を行うことが望ましい。
【００３９】
（ａ）トレーニングセッション
トレーニングセッション（ａ）では、教師信号とともにＥＥＧ（Electroencephalogram、頭皮上の電位変化を計測する脳波計）計測２１を行い、学習モデルの生成２２を行う。図１の表示画面のように、シンボル表示（絵文字、ピクトとも呼ぶ）を８個表示し、ランダムにフラッシュさせる（光らせる）箇所を一巡させ、これを１ブロック目とする。同様にして１から１５ブロック目までを続けてフラッシュさせて被験者の脳波（電極の位置に対応してチャンネル１・・・チャンネル８）を測定する。図５に、被験者の頭部における脳波の電極の配置を模式的に表示する。被験者は、伝えたい特定の１つのシンボル表示（目標）を意識しているようにする。同様に１から１５ブロック目までの測定を続けて行う。このようにして、８つのシンボル表示について、即ち全シンボル表示について同様に１から１５ブロック目までの測定を行う。
【００４０】
図６に、全試行の脳波生成波形の平均値の条件別比較を示す。図６は、ｃｈ１からｃｈ８の、目的刺激が提示された時のＰ３００誘発脳波である。ｃｈ１からｃｈ８の全てのチャンネルで記録する。太線は、着目している絵カード（選びたい選択肢、目標）であったとき（答え「はい」）の誘発脳波であり、細線は着目している絵カード以外（非目標）のとき（答え「いいえ」）の誘発脳波であり、その違いが、チャンネルと経過時間（ｍｓ）によって異なっていることがわかる。
【００４１】
（ｂ）パラメータ決定
学習モデルの生成後、判別得点（ＬＤＡ Ｓｃｏｒｅ）の計算２３を行う。脳波計による脳波電位は、目標のシンボル表示であるとき（答え「はい」）の脳波と、非目標のシンボル表示であるとき（答え「いいえ」）の脳波とで、各チャンネルと刺激後の経過時間によって、異なっているので、各チャンネルと刺激後の経過時間に応じて、判別分析の重み付け係数を求め設定する。重み付け係数を用いて判別得点の計算をすることができる。
【００４２】
該判別得点の計算２３の結果と、成功率の計算２４の結果とから、仮想的に意思を決定することが可能である関数（本発明では仮想意思決定関数ＶＤＦと呼ぶ）の計算２５を実行する。次に該仮想意思決定関数ＶＤＦのしきい値の計算２６を行い、しきい値を設定する。
【００４３】
（ｃ）テストセッション（実行）
実際の意思伝達判別をリアルタイムで行うセッションである。教師信号なしでＥＥＧ計測２７を行い、仮想意思決定関数がしきい値以上に達したら、ＥＥＧ計測を打ち切り（ＶＤＦ打ち切り予測法による画像選択２８）、意思が決定したと判断して、上記ピクトの選択を、機器に伝達する。あるいは、複数のシンボル表示の内で最もＶＤＦの値が高いもの、または最初に所定の値に達するものを、または他のシンボル表示と比較してＶＤＦ値が高いものを、選択されたと判断して、機器に伝達するようにしてもよい。
【００４４】
例えば、図１の表示画面のように、シンボル表示を８個表示し、ランダムにフラッシュさせる（光らせる）箇所を１巡させ、これを１ブロック目とする。同様にして２ブロック目、３ブロック目と続けてフラッシュさせて脳波（電極の位置に対応してチャンネル１・・・チャンネル８）を測定する。このとき、仮想意思決定関数が閾値以上に達したら、予測確率が十分高まったとして、フラッシュを打ち切って、利用者の伝えたいシンボル表示を検出してこれを入力とする。
【００４５】
図７に、リアルタイムで、ＶＤＦを計算して、途中で答えを出す例を示す。図７上段、中段、下段は、それぞれ成功率（Success Rate）、判別得点（LDA score）、ＶＤＦを示す図である。図７の各折れ線は各シンボル表示をフラッシュさせたときの値を示し、横軸はブロック回数を示す。図７下段に、ブロック回数５で太線がしきい値（太い横線。なお、しきい値の設定の仕方は後述する。）を超える様子が示されている。この例では、ブロック回数５でフラッシュを打ち切り、しきい値に達したシンボル表示を答えとして、意思伝達する。即ち所定の機器の入力操作信号とする。なお、図７の例では本実施例の時間的優位性を比較するために実際には７ブロックまでフラッシュを行っている。
【００４６】
本実施の形態によれば、固定回数のフラッシュ刺激に対するデータを用いて最後に１回の識別を行う方法に比べて、しきい値に達した時に打ち切るために高速で答えを出すことができた。ただし、もし判別得点に着目して同じしきい値に達した候補を選ぼうとすると、２ブロック目でしきい値を超え、かつ最大の判別得点を示した候補が目標とする候補とは異なる候補であったため、正しい判断ができないことがこの図からわかる。つまり、これらのことからＶＤＦに着目した打ち切り法は、高精度を維持したまま高速で予測をすることを可能にすることが示された。
【００４７】
本実施の形態を図と数式を参照して以下に説明する。
【００４８】
（Ａ）データの構造と判別関数による分類
８個の各選択肢に対応する刺激（並べられた８個の選択肢のひとつをフラッシュさせるか、８個のうちひとつを画面に提示する）が疑似ランダムな順序で１度ずつあたえられる（これをブロックとする）。１ブロックは、刺激が選択肢を一巡する単位である。１度の選択肢決定（１ゲーム）につき、事前に設定されたブロック数（Ｂｎ）刺激が繰り返される（図８参照）。このとき、各刺激に対する説明変数（特徴量）ｘｉは、各チャンネルにおいて記録された、刺激後の各時間窓における脳波の電圧値（振幅値）を組み合わせたものである（図９参照）。ここで時間窓は、刺激の生起タイミングを１番目としたとき１からｔｎ番目までのサンプリング区間である。該サンプリング区間は、図６の脳波生成波形の横軸の経過時間に対応している。たとえばここでｎは１５とした。したがって、ｘｉの数は、Ｎ＝ｔｎ＊Ｃｈｎとなる。
【００４９】
（Ａ−１） 選択肢の中から選びたいもの１つを決定するために、選択肢の１つを第一群（目標）、その他を第二群（非目標）とした２群にわける判別関数（モデルとよぶ）を準備する。
【００５０】
【数１】
【００５１】
判別関数である判別得点（ｙの値）が正のとき第一群、負のとき第二群と判別される。ここに、変数ｘが標準化されていれば、係数ａの大きさは、そのままその変数が判別に与える影響の大きさである。
【００５２】
（Ａ−２） 各選択肢に対して判別得点（ｙの値）を算出し、比較して最も高い判別得点を示した選択肢を「選びたい選択肢」と推定する。
【００５３】
まずこのモデルを作成する段階として、予めどの選択肢が目標かを決めたうえでの計測を複数ゲーム行う（例えば、表１で１ゲーム目はＡが目標、２ゲーム目はＢが目標）。
【００５４】
（Ｂ）線形判別関数ｙの求め方
判別関数には様々なタイプがあるが、ここでは線形判別関数を用いて説明する。この判別式は２群から最も遠い位置に引かれることにより、２群を区分けする最も良い基準線となる。このとき、係数ａは、全変動（２群全体のばらつき）に占める級間変動（群間のばらつき）の割合を最大化することにより決定され、これには以下のように分散・共分散を利用して求める方法がある。
【００５５】
（Ｂ−１） 第一群、第二群について、それぞれ各変数における標本ｋの間の分散（平方和）Ｓｉｉおよび各変数間における標本間の共分散（積和）Ｓｉｊを求める。
【００５６】
【数２】
【００５７】
（Ｂ−２） 第一群と第二群の平方和・積和をプールする。同じ２変数について足し、自由度Ｎ１＋Ｎ２−２で除す。
Ｓｉｊ＝（Ｓｉｊ（第一群）＋Ｓｉｊ（第二群））／（Ｎ１＋Ｎ２−２）
ここで、Ｎ１、Ｎ２は、それぞれ第一群、第二群の標本数を表し、例えば図８の場合、ゲーム数＊ブロック数＊目標選択肢数、ゲーム数＊ブロック数＊非目標選択肢数となる。
【００５８】
（Ｂ−３） Ｓｉｊを、そのｉ行ｊ列に対応させて分散共分散行列Ｓとし、各変数にかかる係数ａをｎ行１列に並べた行列をＡ、第一群の各変数の平均値から第二群の各変数の平均値を引いた数ｘｉ（第一群）−ｘｉ（第二群）をｎ行１列に並べた行列をＸとすると以下の式が成り立つ。
ＳＡ＝Ｘ ゆえに Ａ＝Ｓ−１Ｘ
【００５９】
（Ｂ−４） これにより各変数にかかる係数ａを求めることができる。
なお、定数項は、ａ０＝−１／２［ａ１｛ｘ１（第一群平均値）＋ｘ１（第二群平均値）｝＋・・・＋ａｎ｛ｘｎ（第一群平均値）＋ｘｎ（第二群平均値）｝］である。
【００６０】
（Ｃ）判別得点による成功率の求め方
判別分析を用いる従来の脳波識別方法では、固定のブロック数分データを取得後、１回きりの判別分析を行い、もっとも判別得点の高い値を示す選択肢を「正解」として推定する。しかし、この固定回数法では、ブロック数が少なすぎるとデータ取得時間が短くても正答率（成功率ともいう）が低くなり、逆にブロック数が多すぎると正答率が高くてもデータ取得時間が無駄に長くなりすぎることになる。そこで、どの程度のブロック数を参照すればどの程度正確な判別分析を行うことが可能かを調べるために、刺激提示の回数（ブロック数）と判別分析による成功率との関係を求める。具体的な手順を以下に述べる。
【００６１】
（Ｃ−１） 各ゲームについて、ブロックの経過ごとに（Ａ−１）の式にてブロックｂにおける各選択肢の判別得点ｙ（ｂ）を求め、それまでの累積である累積判別得点Ｙ（ｂ）を計算する。
【００６２】
【数３】
【００６３】
【数４】
【００６４】
元のデータから該ゲームのデータを外して判別式を得、外したゲームのデータを新たなデータとして適用した際に妥当な結果が得られるかを全てのゲームについて繰り返し検証する、交差検証法を用いてデータの判別得点を得る。
【００６５】
（Ｃ−２） 各ブロックにおいて、選択肢の中で最も累積判別得点Ｙの高いものを（今利用者が選びたいという意思のある選択肢として）出力に決定する。
（Ｃ−３） これを全ゲームについて行い、予め決めておいた目標と一致したかを調べることにより、各ブロックにおける成功率ＳＲ（目標と出力が一致したゲーム数の割合）を得る。
【００６６】
（Ｄ）判別得点と成功率を用いた仮想意思決定関数（ＶＤＦ）の求め方
通常、ブロック数が増え、判別得点が累積されることによって、特定の選択肢が他の選択肢に比べて高い累積判別得点を獲得することになる。この際、従来的なあらかじめ設定されたブロック数が終了するのを待つことなく、信頼度の高い推測が可能な段階でデータ取得を打ち切って正解を導くことができれば、効率良い判別が可能となる。この「打ち切り法」によって、高速・高精度で脳内の判断を推定するために、本発明では後述する「しきい値」に最も早く達した候補を、「選びたい候補」と推定する。ただし、しきい値の設定に際して、比較的信頼度の低いブロック回数のデータに基づく判別得点のばらつき（偶然によってしきい値に達する可能性）を考慮しなければならない。本発明では、非特許文献３の仮想意思決定関数の概念を大幅に拡張し、以下のような手順で、脳波計測による意思伝達装置のための脳内意思解読手法として活用するものである。
【００６７】
（Ｄ−１） （Ｃ−１）で得られた累積判別得点Ｙに、（Ｃ−３）で得られた該ブロックにおける成功率を乗じることにより、仮想意思決定関数ＶＤＦを得る。
【００６８】
【数５】
【００６９】
（Ｅ）しきい値の求め方
（Ｅ−１） 各ゲームについていずれかの候補のＶＤＦが任意の値（しきい値候補）をはじめて超えたときのブロック数とそのときの出力を得、各しきい値候補における成功率と平均ブロック数を求める。
（Ｅ−２） 各しきい値候補における成功率が最も高いもののうち、平均ブロック数が最も少ないものをしきい値θに決定する。
【００７０】
（Ｆ）ＶＤＦとしきい値による打ち切り手法
（Ａ）〜（Ｅ）までの手法で得られたａ、ＳＲ、θの値を用い、新たなゲームを行う。ただし、ａはモデル作成用に計測した際の全てのゲームのデータにより得る。
（Ｆ−１） ブロックの経過ごとに各選択肢のＶＤＦを求める。
（Ｆ−２） ある選択肢についてＶＤＦの値がしきい値θを超えた場合、該ブロック時点で出力を決定して該ゲームの処理を終了し、以降のブロックを行わない。
【００７１】
以上（Ａ）〜（Ｆ）に従って、脳内の意思をリアルタイムで解読し、意思伝達を支援することができる。数式を用いた説明では、累積判別得点を用いて説明したが、累積しない判別得点でも同様に行うことができる。
【００７２】
なお、しきい値の設定については、しきい値と成功率との関係は、しきい値を高くすると成功率が高まるが、逆にしきい値を下げると成功率が減少する。しきい値の設定値を低くすると到達ブロック回数が減少するものの、ノイズが多くなり判別の精度が低下する。しきい値は、要求される意思伝達の精度と速度に応じて適宜選定することができる。
【００７３】
上記実施の形態に示したような提示するシンボル表示を、例えば会話の構成要素を階層的に表示する内容にすると、各階層の選択画面で複数表示して、各階層で選択された構成要素を組み合わせることにより、複雑な意思伝達に用いることができる。多様なメッセージをたった数回の選択動作によって生成することができる。具体的には、本発明によれば、例えば８種類の選択肢から一つを選ぶ動作を３回行う簡単な入力操作で、５１２種のメッセージから１つを選ぶことができる。発話が不十分でかつ細かな手の動作などの機能が不十分なユーザーでも利用することができる。
【００７４】
実施の形態では、視覚刺激について説明したが、視覚刺激に換え聴覚刺激等を与えて対応する脳波を計測して解析するようにしてもよい。
【００７５】
なお、上記実施の形態等で示した例は、発明を理解しやすくするために記載したものであり、この形態に限定されるものではない。
【産業上の利用可能性】
【００７６】
本発明によれば、手足等を用いることなく、脳内の意思をリアルタイムで解読することができるので、意思伝達支援装置あるいは一般ユーザー入力装置への支援入力手段として利用可能である。
【符号の説明】
【００７７】
１ 被験者への刺激提示
２ 表示画面
３ 被験者の脳波計電極
４ 脳波アンプ
５ 脳波生成波形
６ コンピューター
７ 脳内意思識別
８ 脳内意思決定「はい」
９ 脳内意思決定「いいえ」
１０ 脳内意思決定判断結果
【技術分野】
【０００１】
本発明は、操作者が手や足を使うことなく、操作者の意思によって直接機器を操作することを可能とするために、脳活動を検出して、操作者の意思を分析して伝達する意思伝達装置及び方法に関する。
【背景技術】
【０００２】
現在、情報科学分野、医工学応用分野、脳活動による福祉機器制御の分野において、機器の操作は、各種スイッチ、ジョイスティックやマウス等の手による入力操作が主である。一方、介護福祉機器等の開発分野では、手足が不自由な操作者のために身体の他の部分で操作できる機器が望まれている。
【０００３】
従来から、文字盤あるいは絵カードなどの発話を補助するものがある。また、言語機能や聴覚に障害を持つ利用者の会話を補助する機器に関する技術は、例えば特許文献１および２に示されている。特許文献１には、五十音の文字盤の文字をブロックごとに順次点灯して選択させる技術や身体ケアのリクエストを選ぶメッセージボードを用いる技術が示されている。特許文献２には、携帯情報端末を用いるシンボル表示を選択するコミュニケーション支援システムが示されている。しかしながら、介護福祉機器の開発分野では、老人や病人などの複雑な入力操作が不可能な操作者のために、従来の操作を必要としないで直接的に意思を伝えることができる機器が望まれている。また、発話障害のある患者や老人にとって、基本的な身の回りの介護や気持ち等の意思を、より簡単に介助者に伝えることのできる機器が望まれている。
【０００４】
近年、脳科学の進歩により、人の思考や行動と脳活動との関係性について様々な研究がなされている。脳活動などの生体信号に着目して外部機器を制御したり、他者に意思を伝達したりするＢｒａｉｎ−Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ（ＢＭＩ）技術が注目されている。
【０００５】
例えば、消費者行動と関係した脳活動を機能的ＭＲＩ（ｆＭＲＩ）等の装置を使って調べるニューロマーケティングという研究がある。ｆＭＲＩの装置を用いた脳活動計測実験によって、コカコーラとペプシコーラに対する嗜好性やブランド意識に関する脳部位を同定し、また脳活動の差を調べた研究が知られている（非特許文献１）。
【０００６】
本発明者達は、動物の脳内に設置した電極による単一ニューロンの活動電位の細胞外記録という計測手法とニューロン集団活動のシミュレーションによって、複数の外部刺激（実験条件）が脳内でどのような関係性があると表現されているかを低次元の空間情報として推定できることを示した（非特許文献２参照）。しかしながら、脳活動についてはまだまだ未知な部分が多く、またその計測方法には制約がある。
【０００７】
また、本発明者達は、仮想意思決定関数を提案し、その計算方法を示した（非特許文献３参照）。非特許文献３には、単一ニューロン活動を例にとって神経活動から二者択一の行動予測方法を示している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００４−２８６７６８号公報
【特許文献２】特開２００３−２５５８２５号公報
【非特許文献】
【０００９】
【非特許文献１】ＭｃＣｌｕｒｅ ＳＭ他，“Ｎｅｕｒａｌ Ｃｏｒｒｅｌａｔｅｓ ｏｆ Ｂｅｈａｖｉｏｒａｌ Ｐｒｅｆｅｒｅｎｃｅ ｆｏｒ Ｃｕｌｔｕｒａｌｌｙ Ｆａｍｉｌｉａｒ Ｄｒｉｎｋｓ” Ｎｅｕｒｏｎ ４４，ｐ３７９−３８７，２００４
【非特許文献２】松本有央、長谷川良平「前頭連合野ニューロン集団の単一試行活動に基づく多次元意志決定の予測」Ｎｅｕｒｏｓｃｉｅｎｃｅ Ｒｅｓｅａｒｃｈ，ｖｏｌ．５８，Ｓｕｐｐｌｅｍｅｎｔ １，ｐａｇｅＳ１６１（Ｐ２−ｆ３４），２００７
【非特許文献３】長谷川良平他「Ｓｉｎｇｌｅ ｔｒｉａｌ−ｂａｓｅｄ ｐｒｅｄｉｃｔｉｏｎ ｏｆ ａ ｇｏ／ｎｏ−ｇｏ ｄｅｃｉｓｉｏｎ ｉｎ ｍｏｎｋｅｙ ｓｕｐｅｒｉｏｒ ｃｏｌｌｉｃｕｌｕｓ」 Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ １９（２００６）１２２３−１２３２
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ロボットや無線操縦機器などの産業・娯楽機器や、電動車椅子や電子文字盤などの福祉機器を、手足等を使うことなく、できるだけ簡単な操作で意思を伝えることができる機器が望まれている。しかしながら、これらの目的で研究開発された新たな各種入力装置はそれぞれ独自の入力方式や入力装置が必要であり、各種入力装置をそれぞれ購入しなければならず、またそれぞれの操作を習得するのに時間がかかるという問題がある。
【００１１】
脳活動を機能的ＭＲＩ（ｆＭＲＩ）等の装置を使って調べる技術では、ＭＲＩ装置の中で測定する必要があるので、入力操作をリアルタイムで行うことが不可能であり、大型の装置を必要とする問題がある。
【００１２】
従来の意思伝達に関する研究で提案されている装置では、脳波等の生体情報を測定するには、ノイズが大きく、正解の確率が低く、判定まで時間がかかるという問題があった。
【００１３】
特に、従来の上記ＢＭＩ技術のコアとなるのが、脳内意思決定をリアルタイムで解読する技術である。しかし、Ｓ／Ｎ比の悪い頭皮上脳波記録、あるいは同時記録できる数の少ないニューロン活動記録条件下では、正確かつ迅速に脳内意思決定を解読するのは極めて困難である。例えば、パソコン画面上に選択肢となる視覚刺激を複数個提示し、それらを疑似ランダムにフラッシュ（点灯）することによって得られる誘発脳波（刺激提示後３００ミリ秒後の陽性の電位変化等のＰ３００と呼ばれる事象関連脳波）の反応の強さによって、操作者が選択した選択肢を予測又は推測する手法が用いられている。その際、提示回数を増やすと予測精度が高くなる一方、時間がかかり、逆に提示回数を少なくすると予測に要する時間が短くなるものの精度が悪くなるという問題があった。
【００１４】
本発明は、これらの問題を解決しようとするものであり、脳内意思を誤判定なく短時間で判別することを目的とする。また、本発明は、操作者が脳で考えることでリアルタイムに機器を直接操作することを目的とする。また、発話障害のある患者や老人が、基本的な身の回りの介護や気持ち等の意思を、より簡単に直接的に介助者に伝えることのできる装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明は、前記目的を達成するために、本発明者が開発した「仮想意思決定関数」という、意思決定の脳内過程を定量化する手法により実現するものである。仮想意思決定関数は、元来、脳内の意思決定機構を調べるために考案された基礎的研究のための解析手法であり、脳内設置電極によって記録されたニューロン活動（特に活動電位の発火頻度）のミリ秒単位の時間経過から、後に観察される二者択一的意思決定の形成過程の推定に役立つものであった（非特許文献３参照）。本発明では、この仮想意思決定関数の概念を大幅に拡張し、脳波計測による意思伝達装置のための脳内意思解読手法として活用したものである。また、予測確率が十分高まればフラッシュを打ち切って答えを出すという変動的にフラッシュを制御する手法を用いるものである。
【００１６】
本発明は、前記目的を達成するために、以下の特徴を有するものである。
【００１７】
本発明の装置は、意思伝達支援装置であって、刺激を提示する装置と、該装置による刺激提示後の脳波を計測する脳波計からの脳波データを処理する処理装置とからなり、該処理装置は、該脳波データを解析して得た判別関数と成功率とに基づいて、特定の意思決定が脳内でなされたと判断することを特徴とする。また、上記脳波データを解析して得た判別関数による累積判別得点と成功率との積に基づいて、該積が閾値を超えた時に、特定の意思決定が脳内でなされたと判断して、判断結果を機器に出力する。
【００１８】
本発明の、該脳波データを解析して得た関数と成功率とに基づく関数は、意思決定の脳内過程（時間的経過）を推定する関数であることから、仮想意思決定関数（Ｖｉｒｔｕａｌ Ｄｅｃｉｓｉｏｎ Ｆｕｎｃｔｉｏｎ：ＶＤＦ）と呼ぶことができる。また、脳波計によって測定したデータを解析して得た関数は、多変量解析の関数であり、ロジスティック関数や線形判別分析関数等である。変数の重み付けは、脳波のチャンネルと刺激提示後の経過時間毎に設定する。
【００１９】
本発明では、意思決定として、二者択一の意思決定を利用することが好ましい。また、意思伝達装置による意思伝達の方法の実施に当たっては、教師信号により学習モデルを生成することが好ましい。また、事前のシミュレーションによって閾値を適度に調節することにより、予測精度と予測速度に関して、いずれを優先にするかの設定や、双方バランスがとれた設定を選択することができる。
【００２０】
本発明の刺激を提示する装置は、表示画面が代表例であり、コンピューターの表示手段等を用いる。本発明の装置は、福祉機器に適用することができる。
【００２１】
本発明の方法は、意思伝達支援方法であって、脳波計によって測定したデータを解析して得た判別関数と、成功率とに基づいて、特定の意思決定が脳内でなされたと判断することを特徴とする。また、脳波計によって測定したデータを解析して得た判別関数による累積判別得点と、成功率との積に基づいて、該積が閾値を超えた時に、特定の意思決定が脳内でなされたと判断して、判断結果を機器に出力する。本発明の方法によれば、リアルタイムで意思伝達が実行できる。
【発明の効果】
【００２２】
本発明によれば、ロボットや無線操縦機器などの産業・娯楽機器や、電動車椅子や電子文字盤などの福祉機器を、脳内活動で直接操作することができる。本発明は、二者択一の選択を操作者にさせてこれに対する脳波等の生体情報を、関数として取り出し、高い精度で短時間に、かつリアルタイムで、操作入力情報とすることができる。
【００２３】
また、本発明によれば、操作者に脳波測定のための電極を固着するだけであり、例えば電極を備えるネットや帽子を装着する感覚であり、該電極と入力装置とは無線で接続することをすれば、操作者の位置の自由度が高く小型化できる。本発明は、意思伝達のための特殊な入力操作の習得を必要とすることがないから、発話障害のある患者や老人が、基本的な身の回りの介護や気持ち等の意思を、より簡単に直接的に介助者に伝えることができる。
【００２４】
ＮＩＲＳによる血流量変化に着目した従来的な手法では、一般に脳内意思決定の解読には数十秒の時間がかかることが報告されているが、本発明では、１回の選択に２〜３秒という早さで９割以上の予測精度があることを確認した。本発明では、従来のようにあらかじめ設定されたブロック数が終了するのを待つことなく、信頼度の高い推測が可能な段階でデータ取得を打ち切って正解を導くことができるので、高速でかつ効率良い判別が可能となる。また、脳波データを解析して得た判別関数による判別得点をさらに累積した累積判別得点を用いることにより、ブロック数が増えるに従い判別得点が累積されることになるので、特定の選択肢が他の選択肢に比べて高い累積判別得点を獲得することになり、より高精度及び高速度の推測ができ、リアルタイムで意志伝達できる。
【００２５】
二者択一の選択の組み合わせで、複数から１つを選択させることもでき、階層的にメッセージを表示し、これらの多様なメッセージをたった数回の選択動作によって、意思伝達を実行できる。このように、本発明は、入力操作が簡単でかつ早くメッセージを伝えることができる。
【図面の簡単な説明】
【００２６】
【図１】第１の実施の形態による入力装置及び方法を模式的に示す図
【図２】第１の実施の形態の仮想意思決定関数による脳内意思識別を説明する図
【図３】第２の実施の形態で用いる表示画面を示す図
【図４】第２の実施の形態における判別分析過程を説明する図
【図５】第２の実施の形態における被験者の頭部における脳波の電極の配置を模式的に表す図
【図６】第２の実施の形態における全試行の脳波生成波形を示す図
【図７】第２の実施の形態における成功率、判別得点、ＶＤＦを示す図
【図８】第２の実施の形態におけるデータの構造を説明する図
【図９】第２の実施の形態におけるデータを説明する図
【発明を実施するための形態】
【００２７】
本発明の装置及び方法について、実施の形態により以下説明する。
【００２８】
本発明の実施の形態における構成は、主に次の要素からなる。
（１）脳内意思決定を解読する状況として、視覚的に提示される複数の選択肢（例えば視覚刺激）の中から一つを選択する行動課題を設定する。
（２）課題各試行において視覚刺激提示直後に誘発される意思決定に関与する脳活動（例えば視覚誘発Ｐ３００脳波）などのイベントにタイムロックした生体信号に着目する。
（３）モデル学習用データ取得セッション（トレーニングセッションともいう。）において、刺激提示前後および刺激の種類の違い（例えば選択肢の違い）によって視覚誘発脳波のパターンを比較し、刺激提示の経過時間ごとに、識別モデルのパラメータを設定する。
（４）行動予測セッション（テストセッションともいう）において、決定されたパラメータを用いて得られる判別分析関数の値と決定係数（確からしさを表す係数、例えば成功率）を、ミリ秒単位の時間ごとに、かけ合わせることで、どのような意思決定をどの程度確からしく脳内で表現しているかを連続的な値の変化として推定できる。このような意思決定の脳内過程（時間的経過）を推定する関数を仮想意思決定関数（ＶＤＦ）と呼ぶ。
（５）仮想意思決定関数がある閾値を超えた時に「特定の意思決定が脳内でなされた」と判断し、判断結果を外部プロセスに伝達する。
【００２９】
本発明では、二者択一の意思決定を行わせている。二者択一の場合、０を中心としてＶＤＦの高い値を一方の選択肢、低い値をもう一方の選択肢に割り振ることで、排他的な意思決定の推定が可能である。複数のＶＤＦ（複数の二者択一）を組み合わせることで２のべき乗の多次元意思決定を想定することも可能である。また、各選択肢を選ぶかどうかをそれぞれ二者択一的に評価し、最も早く閾値を超えた選択肢を採択することも可能である。
【００３０】
上記閾値については、事前のシミュレーションによって閾値を適度に調節することにより、予測精度と予測速度に関して、どちらかを優先する設定や、双方バランスがとれた設定を選ぶことができる。
【００３１】
本発明では、「特定の意思決定が脳内でなされた」と判断し、判断結果を外部機器に伝達することで、福祉機器の制御や他者への意思伝達をリアルタイムで行うシステムを構築できる。
【００３２】
（第１の実施の形態）
本実施の形態について、図１を参照して以下説明する。図１は、本実施の形態による意思伝達支援装置及び方法を模式的に示す図である。図２は、図１の仮想意思決定関数による脳内意思識別７を説明する図である。
【００３３】
刺激提示用の表示画面２を被験者に見せて、被験者の頭皮上脳波を記録する（図１の被験者への刺激提示１参照）。被験者は、実施に当たっては、一般の機器ユーザー、健常者、介護を必要とする障害者や老人等である。被験者は、脳波を測定するための脳波計電極３を頭に装着している。例えば、脳波計電極を固定したヘッドキャップを用いる。表示画面（モニター）に様々な視覚刺激を提示する。被験者に、視覚刺激を提示して、それが「はい」か「いいえ」かの判断させる課題を行わせる。例えば、「はい」と「いいえ」を交互にフラッシュしている画面を見させ、その際、脳波計（図中脳波アンプ４）によって脳活動を計測する。例えば、脳波生成波形５として図示したデータ（横軸は刺激からの経過時間、縦軸は電圧変化を示す）を得る。脳波生成波形のデータをコンピューター６で解析し、仮想意思決定関数を計算し、被験者の意思決定を予測する（図１の仮想意思決定関数による脳内意思識別７参照）。仮想意思決定関数による脳内意思識別７の処理において、「はい」をフラッシュした直後の仮想意思決定関数が、意思決定推定値の領域「はい」内にあれば（８）、脳内の意思決定は「はい」であると推測する（１０）。一方、「いいえ」をフラッシュした直後の仮想意思決定関数が、意思決定推定値の領域「いいえ」内にあれば（９）、脳内の意思決定は「いいえ」であると推測する。図１の仮想意思決定関数による脳内意思識別７のグラフにおいて、横軸は、「はい」と「いいえ」を交互にフラッシュするフラッシュ回数であり、縦軸は、仮想意思決定関数の値であり、意思決定推定値とも呼べるものである。意思決定推定値の領域「はい」は、仮想意思決定関数が所定の閾値以上の領域である。また、意思決定推定値の領域「いいえ」は、仮想意思決定関数が所定の閾値以下の領域である。また、横軸はフラッシュ回数が２回以上の適切な回数以上を、意思決定推定の領域「はい」「いいえ」とするとよい。また、図１の仮想意思決定関数による脳内意思識別のグラフでは、全フラッシュ回数を行った線が図示されているが、これは模式的な線であり、所定の閾値を超えた時に「特定の意思決定が脳内でなされた」と判断し、フラッシュを中断することが望ましい。図２も、図１の仮想意思決定関数による脳内意思識別７と同様であり、横軸は、「はい」と「いいえ」を交互にフラッシュするフラッシュ回数であり、縦軸は、仮想意思決定関数の値であり、意思決定推定値である。図２では、刺激経過時間Ｐで、仮想意思決定関数が「はい」の閾値を超えたことが示されている。
【００３４】
また、上記判断の予測の結果が正しかったかどうかは、口頭やボタンなどによる意思決定内容の表出と照らし合わせて評価することが可能である。事前のシミュレーションによって、閾値を調節することができるので、予測精度と予測速度の必要性に応じて閾値を設定することができる。
【００３５】
意思決定の推定値の出力信号は、コンピューターの入力信号として伝達され、表示画面に表示させたり、機器を操作制御させたりすることができる。このように、本発明の装置は、脳波による生体信号に基づき、操作者の意思決定を判別すると、その結果を画面に表示したり、実機の操作を実行したりする。操作者にとって、直観的なインターフェースで機器を操作したり、意思を伝達することができる。
【００３６】
（第２の実施の形態）
第１の実施の形態では、基本的な例を説明したが、操作対象の機器として、電子メッセージボードを用いて行うことができる。電子メッセージボードは重度の運動機能や発話機能に重度の障害を持つ人々のための意思伝達支援ツールである。簡単なものでは「はい」か「いいえ」の選択を、複雑なものであれば喜怒哀楽の感情種や具体的なトイレや体のケアなど具体的なメッセージ内容を、従来キーボードやタッチパネル等で選択することによって他者とのコミュニケーションを行うものである。
【００３７】
第２の実施の形態では、表示画面に多数の選択肢を表示して、多数から１つを選択させる例を図３〜９を参照しながら説明する。図３に、本実施の形態で用いる表示画面の例を示す。表示画面上に、絵や文字のシンボル表示を多数個表示し、順にまたはランダムに光らせて光る箇所を変更しながら、利用者の脳波、特にＰ３００と呼ばれる事象関連脳波（刺激提示後３００ミリ秒後の陽性の電位変化）を計測する。仮想意思決定関数を求め、予測確率が十分高まったところでフラッシュを打ち切って、利用者の伝えたいシンボル表示（選びたい選択肢、目標）を検出してこれを入力とする。これは、着目しているシンボル表示が光った瞬間に脳波が増強される現象があることを利用するものである。本実施の形態では、ＬＤＡ法（線形判別分析法）を利用する。
【００３８】
本実施の形態における判別分析の過程を図４を参照しながら説明する。実施にあたり、利用者の意思伝達の解読の精度を上げるために、実際の利用の前に、トレーニングセッションとパラメータ決定とを行い、その後、テストセッション（実行）を行うことが望ましい。
【００３９】
（ａ）トレーニングセッション
トレーニングセッション（ａ）では、教師信号とともにＥＥＧ（Electroencephalogram、頭皮上の電位変化を計測する脳波計）計測２１を行い、学習モデルの生成２２を行う。図１の表示画面のように、シンボル表示（絵文字、ピクトとも呼ぶ）を８個表示し、ランダムにフラッシュさせる（光らせる）箇所を一巡させ、これを１ブロック目とする。同様にして１から１５ブロック目までを続けてフラッシュさせて被験者の脳波（電極の位置に対応してチャンネル１・・・チャンネル８）を測定する。図５に、被験者の頭部における脳波の電極の配置を模式的に表示する。被験者は、伝えたい特定の１つのシンボル表示（目標）を意識しているようにする。同様に１から１５ブロック目までの測定を続けて行う。このようにして、８つのシンボル表示について、即ち全シンボル表示について同様に１から１５ブロック目までの測定を行う。
【００４０】
図６に、全試行の脳波生成波形の平均値の条件別比較を示す。図６は、ｃｈ１からｃｈ８の、目的刺激が提示された時のＰ３００誘発脳波である。ｃｈ１からｃｈ８の全てのチャンネルで記録する。太線は、着目している絵カード（選びたい選択肢、目標）であったとき（答え「はい」）の誘発脳波であり、細線は着目している絵カード以外（非目標）のとき（答え「いいえ」）の誘発脳波であり、その違いが、チャンネルと経過時間（ｍｓ）によって異なっていることがわかる。
【００４１】
（ｂ）パラメータ決定
学習モデルの生成後、判別得点（ＬＤＡ Ｓｃｏｒｅ）の計算２３を行う。脳波計による脳波電位は、目標のシンボル表示であるとき（答え「はい」）の脳波と、非目標のシンボル表示であるとき（答え「いいえ」）の脳波とで、各チャンネルと刺激後の経過時間によって、異なっているので、各チャンネルと刺激後の経過時間に応じて、判別分析の重み付け係数を求め設定する。重み付け係数を用いて判別得点の計算をすることができる。
【００４２】
該判別得点の計算２３の結果と、成功率の計算２４の結果とから、仮想的に意思を決定することが可能である関数（本発明では仮想意思決定関数ＶＤＦと呼ぶ）の計算２５を実行する。次に該仮想意思決定関数ＶＤＦのしきい値の計算２６を行い、しきい値を設定する。
【００４３】
（ｃ）テストセッション（実行）
実際の意思伝達判別をリアルタイムで行うセッションである。教師信号なしでＥＥＧ計測２７を行い、仮想意思決定関数がしきい値以上に達したら、ＥＥＧ計測を打ち切り（ＶＤＦ打ち切り予測法による画像選択２８）、意思が決定したと判断して、上記ピクトの選択を、機器に伝達する。あるいは、複数のシンボル表示の内で最もＶＤＦの値が高いもの、または最初に所定の値に達するものを、または他のシンボル表示と比較してＶＤＦ値が高いものを、選択されたと判断して、機器に伝達するようにしてもよい。
【００４４】
例えば、図１の表示画面のように、シンボル表示を８個表示し、ランダムにフラッシュさせる（光らせる）箇所を１巡させ、これを１ブロック目とする。同様にして２ブロック目、３ブロック目と続けてフラッシュさせて脳波（電極の位置に対応してチャンネル１・・・チャンネル８）を測定する。このとき、仮想意思決定関数が閾値以上に達したら、予測確率が十分高まったとして、フラッシュを打ち切って、利用者の伝えたいシンボル表示を検出してこれを入力とする。
【００４５】
図７に、リアルタイムで、ＶＤＦを計算して、途中で答えを出す例を示す。図７上段、中段、下段は、それぞれ成功率（Success Rate）、判別得点（LDA score）、ＶＤＦを示す図である。図７の各折れ線は各シンボル表示をフラッシュさせたときの値を示し、横軸はブロック回数を示す。図７下段に、ブロック回数５で太線がしきい値（太い横線。なお、しきい値の設定の仕方は後述する。）を超える様子が示されている。この例では、ブロック回数５でフラッシュを打ち切り、しきい値に達したシンボル表示を答えとして、意思伝達する。即ち所定の機器の入力操作信号とする。なお、図７の例では本実施例の時間的優位性を比較するために実際には７ブロックまでフラッシュを行っている。
【００４６】
本実施の形態によれば、固定回数のフラッシュ刺激に対するデータを用いて最後に１回の識別を行う方法に比べて、しきい値に達した時に打ち切るために高速で答えを出すことができた。ただし、もし判別得点に着目して同じしきい値に達した候補を選ぼうとすると、２ブロック目でしきい値を超え、かつ最大の判別得点を示した候補が目標とする候補とは異なる候補であったため、正しい判断ができないことがこの図からわかる。つまり、これらのことからＶＤＦに着目した打ち切り法は、高精度を維持したまま高速で予測をすることを可能にすることが示された。
【００４７】
本実施の形態を図と数式を参照して以下に説明する。
【００４８】
（Ａ）データの構造と判別関数による分類
８個の各選択肢に対応する刺激（並べられた８個の選択肢のひとつをフラッシュさせるか、８個のうちひとつを画面に提示する）が疑似ランダムな順序で１度ずつあたえられる（これをブロックとする）。１ブロックは、刺激が選択肢を一巡する単位である。１度の選択肢決定（１ゲーム）につき、事前に設定されたブロック数（Ｂｎ）刺激が繰り返される（図８参照）。このとき、各刺激に対する説明変数（特徴量）ｘｉは、各チャンネルにおいて記録された、刺激後の各時間窓における脳波の電圧値（振幅値）を組み合わせたものである（図９参照）。ここで時間窓は、刺激の生起タイミングを１番目としたとき１からｔｎ番目までのサンプリング区間である。該サンプリング区間は、図６の脳波生成波形の横軸の経過時間に対応している。たとえばここでｎは１５とした。したがって、ｘｉの数は、Ｎ＝ｔｎ＊Ｃｈｎとなる。
【００４９】
（Ａ−１） 選択肢の中から選びたいもの１つを決定するために、選択肢の１つを第一群（目標）、その他を第二群（非目標）とした２群にわける判別関数（モデルとよぶ）を準備する。
【００５０】
【数１】
【００５１】
判別関数である判別得点（ｙの値）が正のとき第一群、負のとき第二群と判別される。ここに、変数ｘが標準化されていれば、係数ａの大きさは、そのままその変数が判別に与える影響の大きさである。
【００５２】
（Ａ−２） 各選択肢に対して判別得点（ｙの値）を算出し、比較して最も高い判別得点を示した選択肢を「選びたい選択肢」と推定する。
【００５３】
まずこのモデルを作成する段階として、予めどの選択肢が目標かを決めたうえでの計測を複数ゲーム行う（例えば、表１で１ゲーム目はＡが目標、２ゲーム目はＢが目標）。
【００５４】
（Ｂ）線形判別関数ｙの求め方
判別関数には様々なタイプがあるが、ここでは線形判別関数を用いて説明する。この判別式は２群から最も遠い位置に引かれることにより、２群を区分けする最も良い基準線となる。このとき、係数ａは、全変動（２群全体のばらつき）に占める級間変動（群間のばらつき）の割合を最大化することにより決定され、これには以下のように分散・共分散を利用して求める方法がある。
【００５５】
（Ｂ−１） 第一群、第二群について、それぞれ各変数における標本ｋの間の分散（平方和）Ｓｉｉおよび各変数間における標本間の共分散（積和）Ｓｉｊを求める。
【００５６】
【数２】
【００５７】
（Ｂ−２） 第一群と第二群の平方和・積和をプールする。同じ２変数について足し、自由度Ｎ１＋Ｎ２−２で除す。
Ｓｉｊ＝（Ｓｉｊ（第一群）＋Ｓｉｊ（第二群））／（Ｎ１＋Ｎ２−２）
ここで、Ｎ１、Ｎ２は、それぞれ第一群、第二群の標本数を表し、例えば図８の場合、ゲーム数＊ブロック数＊目標選択肢数、ゲーム数＊ブロック数＊非目標選択肢数となる。
【００５８】
（Ｂ−３） Ｓｉｊを、そのｉ行ｊ列に対応させて分散共分散行列Ｓとし、各変数にかかる係数ａをｎ行１列に並べた行列をＡ、第一群の各変数の平均値から第二群の各変数の平均値を引いた数ｘｉ（第一群）−ｘｉ（第二群）をｎ行１列に並べた行列をＸとすると以下の式が成り立つ。
ＳＡ＝Ｘ ゆえに Ａ＝Ｓ−１Ｘ
【００５９】
（Ｂ−４） これにより各変数にかかる係数ａを求めることができる。
なお、定数項は、ａ０＝−１／２［ａ１｛ｘ１（第一群平均値）＋ｘ１（第二群平均値）｝＋・・・＋ａｎ｛ｘｎ（第一群平均値）＋ｘｎ（第二群平均値）｝］である。
【００６０】
（Ｃ）判別得点による成功率の求め方
判別分析を用いる従来の脳波識別方法では、固定のブロック数分データを取得後、１回きりの判別分析を行い、もっとも判別得点の高い値を示す選択肢を「正解」として推定する。しかし、この固定回数法では、ブロック数が少なすぎるとデータ取得時間が短くても正答率（成功率ともいう）が低くなり、逆にブロック数が多すぎると正答率が高くてもデータ取得時間が無駄に長くなりすぎることになる。そこで、どの程度のブロック数を参照すればどの程度正確な判別分析を行うことが可能かを調べるために、刺激提示の回数（ブロック数）と判別分析による成功率との関係を求める。具体的な手順を以下に述べる。
【００６１】
（Ｃ−１） 各ゲームについて、ブロックの経過ごとに（Ａ−１）の式にてブロックｂにおける各選択肢の判別得点ｙ（ｂ）を求め、それまでの累積である累積判別得点Ｙ（ｂ）を計算する。
【００６２】
【数３】
【００６３】
【数４】
【００６４】
元のデータから該ゲームのデータを外して判別式を得、外したゲームのデータを新たなデータとして適用した際に妥当な結果が得られるかを全てのゲームについて繰り返し検証する、交差検証法を用いてデータの判別得点を得る。
【００６５】
（Ｃ−２） 各ブロックにおいて、選択肢の中で最も累積判別得点Ｙの高いものを（今利用者が選びたいという意思のある選択肢として）出力に決定する。
（Ｃ−３） これを全ゲームについて行い、予め決めておいた目標と一致したかを調べることにより、各ブロックにおける成功率ＳＲ（目標と出力が一致したゲーム数の割合）を得る。
【００６６】
（Ｄ）判別得点と成功率を用いた仮想意思決定関数（ＶＤＦ）の求め方
通常、ブロック数が増え、判別得点が累積されることによって、特定の選択肢が他の選択肢に比べて高い累積判別得点を獲得することになる。この際、従来的なあらかじめ設定されたブロック数が終了するのを待つことなく、信頼度の高い推測が可能な段階でデータ取得を打ち切って正解を導くことができれば、効率良い判別が可能となる。この「打ち切り法」によって、高速・高精度で脳内の判断を推定するために、本発明では後述する「しきい値」に最も早く達した候補を、「選びたい候補」と推定する。ただし、しきい値の設定に際して、比較的信頼度の低いブロック回数のデータに基づく判別得点のばらつき（偶然によってしきい値に達する可能性）を考慮しなければならない。本発明では、非特許文献３の仮想意思決定関数の概念を大幅に拡張し、以下のような手順で、脳波計測による意思伝達装置のための脳内意思解読手法として活用するものである。
【００６７】
（Ｄ−１） （Ｃ−１）で得られた累積判別得点Ｙに、（Ｃ−３）で得られた該ブロックにおける成功率を乗じることにより、仮想意思決定関数ＶＤＦを得る。
【００６８】
【数５】
【００６９】
（Ｅ）しきい値の求め方
（Ｅ−１） 各ゲームについていずれかの候補のＶＤＦが任意の値（しきい値候補）をはじめて超えたときのブロック数とそのときの出力を得、各しきい値候補における成功率と平均ブロック数を求める。
（Ｅ−２） 各しきい値候補における成功率が最も高いもののうち、平均ブロック数が最も少ないものをしきい値θに決定する。
【００７０】
（Ｆ）ＶＤＦとしきい値による打ち切り手法
（Ａ）〜（Ｅ）までの手法で得られたａ、ＳＲ、θの値を用い、新たなゲームを行う。ただし、ａはモデル作成用に計測した際の全てのゲームのデータにより得る。
（Ｆ−１） ブロックの経過ごとに各選択肢のＶＤＦを求める。
（Ｆ−２） ある選択肢についてＶＤＦの値がしきい値θを超えた場合、該ブロック時点で出力を決定して該ゲームの処理を終了し、以降のブロックを行わない。
【００７１】
以上（Ａ）〜（Ｆ）に従って、脳内の意思をリアルタイムで解読し、意思伝達を支援することができる。数式を用いた説明では、累積判別得点を用いて説明したが、累積しない判別得点でも同様に行うことができる。
【００７２】
なお、しきい値の設定については、しきい値と成功率との関係は、しきい値を高くすると成功率が高まるが、逆にしきい値を下げると成功率が減少する。しきい値の設定値を低くすると到達ブロック回数が減少するものの、ノイズが多くなり判別の精度が低下する。しきい値は、要求される意思伝達の精度と速度に応じて適宜選定することができる。
【００７３】
上記実施の形態に示したような提示するシンボル表示を、例えば会話の構成要素を階層的に表示する内容にすると、各階層の選択画面で複数表示して、各階層で選択された構成要素を組み合わせることにより、複雑な意思伝達に用いることができる。多様なメッセージをたった数回の選択動作によって生成することができる。具体的には、本発明によれば、例えば８種類の選択肢から一つを選ぶ動作を３回行う簡単な入力操作で、５１２種のメッセージから１つを選ぶことができる。発話が不十分でかつ細かな手の動作などの機能が不十分なユーザーでも利用することができる。
【００７４】
実施の形態では、視覚刺激について説明したが、視覚刺激に換え聴覚刺激等を与えて対応する脳波を計測して解析するようにしてもよい。
【００７５】
なお、上記実施の形態等で示した例は、発明を理解しやすくするために記載したものであり、この形態に限定されるものではない。
【産業上の利用可能性】
【００７６】
本発明によれば、手足等を用いることなく、脳内の意思をリアルタイムで解読することができるので、意思伝達支援装置あるいは一般ユーザー入力装置への支援入力手段として利用可能である。
【符号の説明】
【００７７】
１ 被験者への刺激提示
２ 表示画面
３ 被験者の脳波計電極
４ 脳波アンプ
５ 脳波生成波形
６ コンピューター
７ 脳内意思識別
８ 脳内意思決定「はい」
９ 脳内意思決定「いいえ」
１０ 脳内意思決定判断結果
【特許請求の範囲】
【請求項１】
刺激を提示する装置と、該装置による刺激提示後の脳波を計測する脳波計からの脳波データを処理する処理装置とからなり、
該処理装置は、該脳波データを解析して得た判別関数と成功率とに基づいて、特定の意思決定が脳内でなされたと判断することを特徴とする意思伝達支援装置。
【請求項２】
上記処理装置は、上記脳波データを解析して得た判別関数による累積判別得点と成功率との積に基づいて、該積が閾値を超えた時に、特定の意思決定が脳内でなされたと判断して、判断結果を機器に出力することを特徴とする請求項１記載の意思伝達支援装置。
【請求項３】
脳波計によって測定したデータを解析して得た判別関数と、成功率とに基づいて、特定の意思決定が脳内でなされたと判断することを特徴とする意思伝達支援方法。
【請求項４】
脳波計によって測定したデータを解析して得た判別関数による累積判別得点と、成功率との積に基づいて、該積が閾値を超えた時に、特定の意思決定が脳内でなされたと判断して、判断結果を機器に出力することを特徴とする請求項３記載の意思伝達支援方法。
【請求項１】
刺激を提示する装置と、該装置による刺激提示後の脳波を計測する脳波計からの脳波データを処理する処理装置とからなり、
該処理装置は、該脳波データを解析して得た判別関数と成功率とに基づいて、特定の意思決定が脳内でなされたと判断することを特徴とする意思伝達支援装置。
【請求項２】
上記処理装置は、上記脳波データを解析して得た判別関数による累積判別得点と成功率との積に基づいて、該積が閾値を超えた時に、特定の意思決定が脳内でなされたと判断して、判断結果を機器に出力することを特徴とする請求項１記載の意思伝達支援装置。
【請求項３】
脳波計によって測定したデータを解析して得た判別関数と、成功率とに基づいて、特定の意思決定が脳内でなされたと判断することを特徴とする意思伝達支援方法。
【請求項４】
脳波計によって測定したデータを解析して得た判別関数による累積判別得点と、成功率との積に基づいて、該積が閾値を超えた時に、特定の意思決定が脳内でなされたと判断して、判断結果を機器に出力することを特徴とする請求項３記載の意思伝達支援方法。
【図６】
【図７】
【図８】
【図９】
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−５３６５６（Ｐ２０１２−５３６５６Ａ）
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願番号】特願２０１０−１９５４６３（Ｐ２０１０−１９５４６３）
【出願日】平成２２年９月１日（２０１０．９．１）
【出願人】（３０１０２１５３３）独立行政法人産業技術総合研究所 (6,529)
【Ｆターム（参考）】
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願日】平成２２年９月１日（２０１０．９．１）
【出願人】（３０１０２１５３３）独立行政法人産業技術総合研究所 (6,529)
【Ｆターム（参考）】
[ Back to top ]