説明

脳情報出力装置、ロボット、および脳情報出力方法

【課題】精度の高い意図検出ができなかった。
【解決手段】意図識別子と、一の意図の元にユーザがトライアルを行った際に当該ユーザの頭蓋外部から取得された第一学習データを、脳内の脳活動データに変換された第二学習データから、抽出された1以上の特徴量である学習特徴量群とを対に有する意図判別情報を、2以上格納し得る意図判別情報格納部と、ユーザの頭蓋外部から第一脳活動データを取得する第一脳活動データ取得部と、第一脳活動データを脳内の脳活動データに変換し、第二脳活動データを取得する第二脳活動データ取得部と、第二脳活動データから、1以上の特徴量である入力特徴量群を取得する特徴量群取得部と、入力特徴量群に対応する意図識別子を2以上の意図判別情報から取得する意図識別子取得部と、意図識別子を出力する意図識別子出力部とを具備する脳情報出力装置により、精度の高い意図検出ができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、脳の情報を出力する脳情報出力装置等に関するものである。
【背景技術】
【0002】
近年、脳に対する生理学的な知見の充実、脳計測機器の発展、高性能なコンピュータのコストダウン、および機械学習の分野の進歩等に伴い、脳・機械インタフェース(Brain Machine Interface:BMI)に関する研究が注目を浴びてきている(非特許文献1)。BMIは、脳と機械をつなぐインタフェースである。BMIは、人が考えた時や、何らかの行動した際に生ずる脳活動の信号を計測し、その計測データに信号処理技術を施すことにより、ユーザの意図を汲み出すものである。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Toward Brain-Computer Interfacing (Neural Information Processing)、 MIT Press、 ISBN 978-0262042444
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来のBMIにおいて、頭蓋外部から取得された脳活動データをそのまま用いて、意図判別を行っていたので、精度の高い意図判別が困難であった。
【0005】
つまり、頭皮で計測された脳波は脳電位が短絡・減衰して伝わってきたものであるため、信号の発信源や、その発信源においてどのような脳活動が行われているのかをセンサ位置の情報だけでみることは難しい。したがって、頭皮で計測された脳波をそのまま用いた場合、精度の高い意図判別を行うことは容易ではなかった。
【課題を解決するための手段】
【0006】
本第一の発明の脳情報出力装置は、ユーザの意図を識別する情報である意図識別子と、当該意図識別子で識別される意図の元にユーザが一連の行為であるトライアルを行った際に当該ユーザの頭蓋外部から取得された脳活動のデータである第一学習データを、脳内の脳活動データに変換された第二学習データから、抽出された1以上の特徴量である学習特徴量群とを対に有する意図判別情報を、2以上格納し得る意図判別情報格納部と、ユーザの頭蓋外部から、脳活動のデータである第一脳活動データを取得する第一脳活動データ取得部と、前記ユーザの頭蓋外部から取得された第一脳活動データを、脳内の脳活動データに変換し、第二脳活動データを取得する第二脳活動データ取得部と、前記第二脳活動データから、1以上の特徴量である入力特徴量群を取得する特徴量群取得部と、前記入力特徴量群に対応する意図識別子を、前記意図判別情報格納部に格納されている2以上の意図判別情報から取得する意図識別子取得部と、前記意図識別子取得部が取得した意図識別子を出力する意図識別子出力部とを具備する脳情報出力装置である。
【0007】
かかる構成により、頭蓋外部から取得された脳活動データを、脳内の脳活動データに変換し、利用することにより、精度の高い意図判別ができる。
【0008】
また、本第二の発明の脳情報出力装置は、一の意図の元にユーザが一連の行為であるトライアルを行った際に、1以上のセンサを用いて、当該センサごとに、前記ユーザの脳から脳活動を示す時系列データである第一学習データを取得する第一学習データ取得部と、前記ユーザの頭蓋外部から取得された第一学習データを、脳内の脳活動のデータに変換し、第二学習データを取得する第二学習データ取得部と、前記第二学習データから、1以上の特徴量である学習特徴量群を取得する学習特徴量群取得部と、前記第二学習特徴量群と、前記一の意図を識別する意図識別子とを有する意図判別情報を、前記意図判別情報格納部に蓄積する意図判別情報蓄積部とをさらに具備する脳情報出力装置である。
【0009】
かかる構成により、頭蓋外部から取得された脳活動データを、脳内の脳活動データに変換し、利用することにより、精度の高い意図判別ができる。また、学習データを自動的に取得できる。
【0010】
また、本第三の発明の脳情報出力装置は、第一の発明に対して、前記第二脳活動データ取得部は、前記第一脳活動データに対して、階層変分ベイズ法を用いて第二脳活動データを取得する脳情報出力装置である。
【0011】
かかる構成により、頭蓋外部から取得された脳活動データを、脳内の脳活動データに変換し、利用することにより、精度の高い意図判別ができる。
【0012】
また、本第四の発明の脳情報出力装置は、第一、第二いずれかの発明に対して、前記意図識別子取得部は、前記意図判別情報格納部の2以上の意図判別情報を用いて、前記特徴量群取得部が取得した入力特徴量群が、前記2以上の意図判別情報に含まれる2以上の意図識別子の各々に対応する確率を、前記2以上の意図識別子ごとに算出する確率算出手段と、前記確率算出手段が算出した意図識別子ごとの確率から、最も大きい確率に対応する意図識別子を取得する意図識別子取得手段とを具備する脳情報出力装置である。
【0013】
かかる構成により、頭蓋外部から取得された脳活動データを、脳内の脳活動データに変換し、利用することにより、精度の高い意図判別ができる。
【発明の効果】
【0014】
本発明による脳情報出力装置によれば、精度の高い意図判別ができる。
【図面の簡単な説明】
【0015】
【図1】本実施の形態1におけるロボットシステム1の概念図
【図2】同ロボットシステム1のブロック図
【図3】同確率算出アルゴリズムを説明するための図
【図4】同確率算出アルゴリズムを説明するための図
【図5】同脳情報出力装置11の動作について説明するフローチャート
【図6】同脳情報出力装置11の変換処理について説明するフローチャート
【図7】同脳情報出力装置11の意図識別子出力処理について説明するフローチャート
【図8】同脳情報出力装置11の意図識別子取得処理について説明するフローチャート
【図9】同ロボット12の動作について説明するフローチャート
【図10】本実施の形態2におけるロボットシステム2のブロック図
【図11】同脳情報出力装置21の動作について説明するフローチャート
【図12】同脳情報出力装置21の異常データ除去処理を説明するフローチャート
【図13】同脳情報出力装置21の意図識別子出力処理を説明するフローチャート
【図14】同被験者が行うタスクを説明する図
【図15】同実験の流れを説明する図
【図16】同異常データ除去処理の概念を説明する図
【図17】同脳波データの例を示す図
【図18】同異常データ除去処理の概念図
【図19】同電流源での電流推定の手順の概略図
【図20】同電流源での電流推定の手順の概略図
【図21】同Subject1に対する実験結果を示す図
【図22】同Subject1に対する実験結果を示す図
【図23】同Subject2に対する実験結果を示す図
【図24】同Subject2に対する実験結果を示す図
【図25】同最終的に残った電流源を示す図
【図26】同判定に寄与した特徴量の電流源を示す図
【図27】同判別結果を示す図
【図28】同判別結果を示す図
【図29】同コンピュータシステムの概観図
【図30】同コンピュータシステムのブロック図
【発明を実施するための形態】
【0016】
以下、脳情報出力装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【0017】
(実施の形態1)
【0018】
本実施の形態において、頭蓋外部から取得した第一脳活動データを脳内上の第二脳活動データに変換し、当該第二脳活動データを用いて、意図検出を行う脳情報出力装置ついて説明する。
【0019】
さらに、本実施の形態において、脳情報出力装置の出力を受けて動作するロボットを含むロボットシステムについても説明する。
【0020】
図1は、本実施の形態におけるロボットシステム1の概念図である。ロボットシステム1は、脳情報出力装置11、ロボット12を具備する。脳情報出力装置11は、ユーザからの脳情報を取得し、ユーザの意図を検出し、当該意図を示す意図識別子をロボット12に出力する装置である。また、ロボット12は、脳情報出力装置11から意図識別子を受け取り、当該意図識別子に対応する動作を行う電子機器である。ロボット12は、いわゆる人型の形状を有する電子機器でも良いが、他の形状を有する電子機器でも良い。ロボット12は、例えば、四輪車、二輪車、航空機、電車などの移動体でも良い。
【0021】
図2は、本実施の形態におけるロボットシステム1のブロック図である。ロボットシステム1を構成する脳情報出力装置11は、意図判別情報格納部111、第一学習データ取得部112、第二学習データ取得部113、学習特徴量群取得部114、意図判別情報蓄積部115、第一脳活動データ取得部116、第二脳活動データ取得部117、特徴量群取得部118、意図識別子取得部119、意図識別子出力部120を具備する。
【0022】
意図識別子取得部119は、確率算出手段1191、意図識別子取得手段1192を具備する。
【0023】
ロボット12は、動作情報格納部121、意図識別子受付部122、実行部123を具備する。
【0024】
意図判別情報格納部111は、2以上の意図判別情報を格納し得る。意図判別情報は、意図識別子と学習特徴量群を有する。意図識別子は、ユーザの意図を識別する情報である。学習特徴量群は、第二学習データから、抽出された1以上の特徴量である。第二学習データは、意図識別子で識別される意図の元にユーザが一連の行為であるトライアルを行った際に、当該ユーザの頭蓋外部から取得された脳活動のデータである第一学習データを、脳内の脳活動データに変換されたデータである。ここで、意図とは、体の一部(例えば、右手、左手、舌、足など)を動かす行為や、特定のこと(例えば、右手を動かしていること、舌を出したこと、走っていることなど)を想像することなど、ユーザの脳の活動に反映されることである。また、意図識別子は、例えば、ユーザが動かす体の部分であり、例えば、「右手」「左手」「舌」「足」の4つである。また、意図識別子は、例えば、「右手」「左手」の2つであっても良い。意図識別子の数は問わないが、意図識別子の数は少ない方が、通常、脳情報出力装置11が出力する意図識別子がユーザの意図と合致している可能性は高い、と考えられる。学習特徴量群とは、学習データから抽出された1以上の特徴量の情報である。学習データとは、意図識別子で識別される意図の元にユーザが一連の行為を行った際に当該ユーザの脳から取得されたデータである。学習データは、NIRS(近赤外分光分析)、fMRI(機能的MRI)、MEG(脳磁計)、EEG(脳波計)により取得されるデータなど、脳から取得される脳活動を示すデータであれば何でもよい。また、ここで、脳内とは、脳表面も含む意味である。
【0025】
意図判別情報格納部111は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【0026】
意図判別情報格納部111に意図判別情報が記憶される過程は問わない。例えば、記録媒体を介して意図判別情報が意図判別情報格納部111で記憶されるようになってもよく、通信回線等を介して送信された意図判別情報が意図判別情報格納部111で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された意図判別情報が意図判別情報格納部111で記憶されるようになってもよい。
【0027】
第一学習データ取得部112は、ユーザの頭蓋外部から第一学習データを取得する。第一学習データは、一の意図の元にユーザが一連の行為であるトライアルを行った際に、1以上のセンサを用いて、当該センサごとに、ユーザの頭蓋外部から取得された、脳活動を示す時系列データである。第一学習データ取得部112は、通常、脳波計測装置である。つまり、第一学習データは、脳波データである。
【0028】
第二学習データ取得部113は、ユーザの頭蓋外部から取得された第一学習データを、脳内の脳活動のデータに変換し、第二学習データを取得する。第二学習データ取得部113は、第一学習データに対して、階層変分ベイズ法を用いて第二学習データを取得する。具体的には、第二学習データ取得部113は、脳内に存する電流源の時空間分布を第1の分解能で推定する第1領域と第1の分解能より低い第2の分解能で推定する第2領域とを設定し、設定した第1及び第2領域での電流源の時空間分布を、ユーザの頭蓋外部にて観測した電気現象に基づいて推定するようにしており、高精度に推定したい領域に重点的にパラメータを分配することによってパラメータの増大に伴う推定精度の劣化を防止することができる。
【0029】
さらに具体的には、例えば、第二学習データ取得部113は、以下の数式1から数式9
の手順を経て、第一学習データを変換し、第二学習データを得る。
【数1】

【0030】
ここで、Gはリードフィールド行列、Jは脳内の電流分布、ξはノイズである。Eは頭皮上のセンサで計測される電場である。リードフィールド行列Gは、後述の電磁場解析技術で計算され、G・Jは脳内の電流分布Jが頭皮上のセンサ位置で作る電場をあらわす。数式1は、原因の脳内電流分布Jから結果の電場Eを計算している式であり、順問題と呼ばれる。しかし、計測されるのは電場Eであり、計算で推定しなければならないのが脳内電流分布Jであるため、結果から原因を追究しなければならないので、一般的に逆問題と呼ばれる。第二学習データ取得部113は、第一学習データ(すなわちE)から第二学習データ(すなわちJ)の逆問題を解く処理を行う。
【0031】
以下、第二学習データ取得部113の具体的な計算フローについて説明する。
【0032】
電流分布Jが与えられたときに観測される電場がEである確率(モデル確率)を数式2により設定する。
【数2】

【0033】
ここで、σは各センサで計測されるノイズをガウスノイズとした際の標準偏差である。すなわち、数式2は電流分布Jとノイズの標準偏差σが与えられたときの電場Eの確率を示すことになる。また、NDは正規分布を示しており、任意のパラメータXとそのパラメータに対する期待値をXバー、今日分散行列をΣ−1とした場合、数式3により表すことができる。
【数3】

【0034】
このような準備の下、電場Eを観測する前の電流分布Jに関して、数式4で表される階層事前分布を設定する。ここで、αJは電流分布Jの分散を表すパラメータであり、αZは活動電流Zの分散を表すパラメータである。また、Γはガンマ分布、γJは電流分布Jに関するガンマ分布の自由度、γZは活動電流Zに関するガンマ分布の自由度を表す。
【数4】

【0035】
前述の確率モデル(数式2)と階層事前分布(数式4)が与えられた場合、モデルの周辺尤度を解析的に求めることは一般的に出来ないので、モデル周辺尤度を、階層変分ベイズ法を用いて近似的に計算を行う。そして、電流分布とその分散の各々について試験事後分布を導入する。なお、第二学習データ取得部113は、電流分布の推定と電流分散の推定を交互に繰り返し、後述の自由エネルギーFが収束するまでそれを行う。ここで、収束とは自由エネルギーFの変化が予め与えられた値よりも小さくなった場合に収束したとする。
【0036】
電流分布についての試験事後分布Q(J,Z)は、数式5のようにして算出することが可能であり、数式5中の各パラメータは数式6のようにして更新を行う。
【数5】

【数6】

【0037】
電流分布の分散に対する試験事後分布Q(αJ,αZ,σ)は、数式7のようにして算出が可能である。また、数式7中の各パラメータは数式8のようにして更新を行う。
【数7】

【数8】

【0038】
前述の自由エネルギーFは数式9のように計算を行う。
【数9】

【0039】
前述のように、第二学習データ取得部113は、上記の数式5で示す電流分布の推定と、上記の数式7で示す電流分散の推定を、数式9に記載の自由エネルギーが収束するまで繰り返すことで、第二学習データを取得する。
【0040】
また、第二学習データ取得部113は、電磁場解析技術と数式1から数式9を用いて計算される逆問題解法技術を用いて、第一学習データから第二学習データを取得する。なお、電磁場解析とは、マクスウェルの方程式を解くことにより、対象物と電磁場の相互作用を解析することである。また、電磁場解析には、静的解析、準静的解析、動的解析なども含まれる。
【0041】
第二学習データ取得部113は、通常、MPUやメモリ等から実現され得る。第二学習データ取得部113の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0042】
学習特徴量群取得部114は、第二学習データから、1以上の特徴量である学習特徴量群を取得する。学習特徴量群取得部114は、第二学習データに対して信号処理し、1以上の特徴量である学習特徴量群を取得する。ここで、信号処理は、例えば、バイアス補正、ベースライン補正、トレンド除去、平均値計算、ハイパスフィルターによる処理、ローパスフィルターによる処理、FFTによる処理、PCAによる処理、ICAによる処理、Phase Locking 値の算出、移動平均の算出、センサ選択、時間選択、リファレンス補正、ダウンサンプリング、アップサンプリング、パワー計算、包絡線計算(ヒルベルト変換)、空間フィルターによる処理、逆問題フィルターによる処理、などである。そして、特徴量とは、例えば、上記の信号処理により、算出されるデータであり、例えば、平均値、分散、Phase Locking 値などである。なお、学習特徴量群を構成する特徴量は、学習データの特性を示すデータであれば、何でも良い。また、学習特徴量群取得部114が行う信号処理の数は、複数でも良い。また、上記の各種の信号処理の例は、公知技術であるので詳細な説明を省略する。
【0043】
学習特徴量群取得部114は、通常、MPUやメモリ等から実現され得る。学習特徴量群取得部114の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0044】
意図判別情報蓄積部115は、学習特徴量群取得部114が取得した第二学習特徴量群と、一の意図を識別する意図識別子とを有する意図判別情報を、意図判別情報格納部111に蓄積する。
【0045】
意図判別情報蓄積部115は、通常、MPUやメモリ等から実現され得る。意図判別情報蓄積部115の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0046】
第一脳活動データ取得部116は、ユーザの頭蓋外部から、脳活動のデータである第一脳活動データを取得する。第一脳活動データ取得部116は、通常、第一学習データ取得部112と同じ構成である。第一脳活動データ取得部116は、通常、脳波計測装置である。
【0047】
第二脳活動データ取得部117は、ユーザの頭蓋外部から取得された第一脳活動データを、脳内の脳活動データに変換し、第二脳活動データを取得する。第二脳活動データ取得部117は、第一脳活動データに対して、階層変分ベイズ法を用いて第二脳活動データを取得する。
【0048】
さらに具体的には、例えば、第二脳活動データ取得部117は、上記の数式1、数式2を用いて、第一脳活動データを変換し、第二脳活動データを得る。第二脳活動データ取得部117は、通常、第二学習データ取得部113と同じ構成である。
【0049】
第二脳活動データ取得部117は、通常、MPUやメモリ等から実現され得る。第二脳活動データ取得部117の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0050】
特徴量群取得部118は、第二脳活動データに対して信号処理し、1以上の特徴量である入力特徴量群を取得する。ここで、信号処理は、例えば、バイアス補正、ベースライン補正、トレンド除去、平均値計算、ハイパスフィルターによる処理、ローパスフィルターによる処理、FFTによる処理、PCAによる処理、ICAによる処理、Phase Locking 値の算出、移動平均の算出、センサ選択、時間選択、リファレンス補正、ダウンサンプリング、アップサンプリング、パワー計算、包絡線計算(ヒルベルト変換)、空間フィルターによる処理、逆問題フィルターによる処理、などである。そして、特徴量とは、例えば、上記の信号処理により、算出されるデータであり、例えば、平均値、分散、Phase Locking 値などである。なお、入力特徴量群を構成する特徴量は、脳活動データの特性を示すデータであれば、何でも良い。また、特徴量群取得部118が行う信号処理の数は、複数でも良い。また、上記の各種の信号処理の例は、公知技術であるので詳細な説明を省略する。特徴量群取得部118は、通常、学習特徴量群取得部114と同じ構成である。
【0051】
特徴量群取得部118は、通常、MPUやメモリ等から実現され得る。特徴量群取得部118の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0052】
意図識別子取得部119は、入力特徴量群に対応する意図識別子を、意図判別情報格納部111に格納されている2以上の意図判別情報から取得する。意図識別子取得部119が意図識別子を取得するアルゴリズムは問わない。意図識別子取得部119は、例えば、入力特徴量群と、意図判別情報が有する学習特徴量群との距離を、意図識別子ごとに算出する。そして、意図識別子取得部119は、距離が最も小さい学習特徴量群に対応する意図識別子を取得しても良い。意図識別子取得部119は、通常、MPUやメモリ等から実現され得る。意図識別子取得部119の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0053】
確率算出手段1191は、意図判別情報格納部111の2以上の意図判別情報を用いて、特徴量群取得部118が取得した入力特徴量群が、2以上の意図判別情報に含まれる2以上の意図識別子の各々に対応する確率を、2以上の意図識別子ごとに算出する。
【0054】
意図識別子が2つ(2種類)の場合、例えば、確率算出手段1191は、以下のように意図識別子ごとの確率を算出する。つまり、確率算出手段1191は、第二学習特徴量群(ベクトル)から、2つのクラス(クラス1[第一の意図識別子]、またはクラス2[第二の意図識別子])に分けるための境界面の情報を得る。かかる概念を図3に示す。
【0055】
次に、確率算出手段1191は、境界面からの入力特徴量群の距離を算出する(図4参照)。そして、確率算出手段1191は、当該距離をロジスティック関数(シグモイド関数)に入力し、0〜1の値(0以上1以下の値)に変換する。そして、確率算出手段1191は、当該変換した値(0〜1)を、第一の意図識別子の確率とする。そして、確率算出手段1191は、第二の意図識別子の確率を、「1−第一の意図識別子の確率」により算出する。
【0056】
また、意図識別子が4つ(4種類)の場合、例えば、確率算出手段1191は、以下のように意図識別子ごとの確率を算出する。つまり、上記2つの意図識別子の場合の処理を拡張する。まず、第一の意図識別子と他の意図識別子との2つのクラスが存在すると考え、確率算出手段1191は、第二学習特徴量群(ベクトル)から、2つのクラス(クラス1[第一の意図識別子]、またはクラス2[第二の意図識別子または第三の意図識別子または第四の意図識別子)に分けるための境界面の情報を得る。次に、確率算出手段1191は、境界面からの入力特徴量群の距離を算出する。そして、確率算出手段1191は、当該距離をロジスティック関数(シグモイド関数)に入力し、0〜1の値(0以上1以下の値)に変換する。そして、確率算出手段1191は、当該変換した値(0〜1)を、第一の意図識別子の確率とする。次に、確率算出手段1191は、第二の意図識別子または第三の意図識別子または第四の意図識別子に対応する第二学習特徴量群(ベクトル)との距離を、「1−第一の意図識別子の確率」により算出する。
【0057】
そして、次に、第二の意図識別子と他の意図識別子との2つのクラスが存在すると考え、確率算出手段1191は、第二学習特徴量群(ベクトル)から、2つのクラス(クラス1[第二の意図識別子]、またはクラス2[第一の意図識別子または第三の意図識別子または第四の意図識別子)に分けるための境界面の情報を得る。次に、確率算出手段1191は、境界面からの入力特徴量群の距離を算出する。そして、確率算出手段1191は、当該距離をロジスティック関数(シグモイド関数)に入力し、0〜1の値(0以上1以下の値)に変換する。そして、確率算出手段1191は、当該変換した値(0〜1)を、第二の意図識別子の確率とする。次に、確率算出手段1191は、第一の意図識別子または第三の意図識別子または第四の意図識別子に対応する第二学習特徴量群(ベクトル)との距離を、「1−第二の意図識別子の確率」により算出する。
【0058】
そして、次に、第三の意図識別子と他の意図識別子との2つのクラスが存在すると考え、確率算出手段1191は、第二学習特徴量群(ベクトル)から、2つのクラス(クラス1[第三の意図識別子]、またはクラス2[第一の意図識別子または第二の意図識別子または第四の意図識別子)に分けるための境界面の情報を得る。次に、確率算出手段1191は、境界面からの入力特徴量群の距離を算出する。そして、確率算出手段1191は、当該距離をロジスティック関数(シグモイド関数)に入力し、0〜1の値(0以上1以下の値)に変換する。そして、確率算出手段1191は、当該変換した値(0〜1)を、第三の意図識別子の確率とする。次に、確率算出手段1191は、第一の意図識別子または第二の意図識別子または第四の意図識別子に対応する第二学習特徴量群(ベクトル)との距離を、「1−第三の意図識別子の確率」により算出する。
【0059】
そして、次に、第四の意図識別子と他の意図識別子との2つのクラスが存在すると考え、確率算出手段1191は、第二学習特徴量群(ベクトル)から、2つのクラス(クラス1[第四の意図識別子]、またはクラス2[第一の意図識別子または第二の意図識別子または第三の意図識別子)に分けるための境界面の情報を得る。次に、確率算出手段1191は、境界面からの入力特徴量群の距離を算出する。そして、確率算出手段1191は、当該距離をロジスティック関数(シグモイド関数)に入力し、0〜1の値(0以上1以下の値)に変換する。そして、確率算出手段1191は、当該変換した値(0〜1)を、第四の意図識別子の確率とする。次に、確率算出手段1191は、第一の意図識別子または第二の意図識別子または第三の意図識別子に対応する第二学習特徴量群(ベクトル)との距離を、「1−第四の意図識別子の確率」により算出する。
【0060】
そして、確率算出手段1191は、上記で取得した確率をマージすることにより、第一の意図識別子から第四の意図識別子の確率を取得する。ここで、マージとは、前記の第一の意図識別子の確率(P1)、前記の第一以外の意図識別子の確率(P234)、前記の第二の意図識別子の確率(P2)、前記の第二以外の意図識別子の確率(P134)、前記の第三の意図識別子の確率(P3)、前記の第三以外の意図識別子の確率(P124)、前記の第四の意図識別子の確率(P4)、前記の第四以外の意図識別子の確率(P123)の8つの確率から求める操作のことを言う。マージした第一の意図識別子の確率はP1×P134×P124×P123、マージした第二の意図識別子の確率はP234×P2×P124×P123、マージした第三の意図識別子の確率はP234×P134×P3×P123、マージした第四の意図識別子はP234×P134×P124×P4のように求めることが好適である。なお、確率を正規化する操作を加えても良い。ここで、正規化とは、マージした第一の意図識別子の確率から第四の意図識別子の確率までを足した値でそれぞれの確率を割ることで、全てを足した確率が1になるようにする操作である。
【0061】
確率算出手段1191は、通常、MPUやメモリ等から実現され得る。確率算出手段1191の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0062】
意図識別子取得手段1192は、確率算出手段1191が算出した意図識別子ごとの確率から、最も大きい確率に対応する意図識別子を取得する。
【0063】
意図識別子取得手段1192は、通常、MPUやメモリ等から実現され得る。意図識別子取得手段1192の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0064】
意図識別子出力部120は、意図識別子取得部119が取得した意図識別子を出力する。ここで、出力とは、ロボット12への出力が好適であるが、ディスプレイへの表示や、音声出力などでも良い。である。意図識別子出力部120は、例えば、ロボット12へ意図識別子を送付する通信手段で実現され得る。
【0065】
動作情報格納部121は、2以上の動作情報を格納し得る。動作情報とは、意図識別子と当該意図識別子に対応する動作を行わせる動作モジュールとの組である。動作モジュールとは、ハードウェアで実現されていても良いし、ソフトウェアで実現されていても良いし、ハードウェアとソフトウェアで実現されていても良い。動作情報格納部121は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。動作情報格納部121に動作情報が記憶される過程は問わない。例えば、記録媒体を介して動作情報が動作情報格納部121で記憶されるようになってもよく、通信回線等を介して送信された動作情報が動作情報格納部121で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された動作情報が動作情報格納部121で記憶されるようになってもよい。
【0066】
意図識別子受付部122は、脳情報出力装置11から出力された意図識別子を受け付ける。受け付けとは、通信手段を用いた受信や、ソフトウェアによる情報(意図識別子)の引き渡し等である。
【0067】
実行部123は、意図識別子受付部122が受け付けた意図識別子に対応する動作モジュールを実行する。動作モジュールが実現する動作内容は何でも良い。実行部123は、通常、MPUやメモリ等から実現され得る。実行部123の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0068】
次に、ロボットシステム1の動作について説明する。まず、脳情報出力装置11の動作について説明する。図5は、脳情報出力装置11が学習データを取得する動作を説明するフローチャートである。学習データとは、ここでは、意図判別情報である。
【0069】
(ステップS501)第一学習データ取得部112は、第一学習データを取得するか否かを判断する。第一学習データを取得するのであればステップS502に行き、第一学習データを取得しないのであればステップS504に行く。なお、例えば、第一学習データを取得するために、図示しない出力手段が、ユーザに対して、意図に対応する動作(思考、想像なども含む)を行うことを示す指示を出力する。そして、かかる指示が出力された後、所定期間(例えば、10秒など)、第一学習データ取得部112は、第一学習データを取得する、と判断する。また、意図に対応する動作を行うことを示す指示とは、「右手を10秒間、振ってください。」「15秒間、足をばたつかせてください。」などの情報である。
【0070】
(ステップS502)第一学習データ取得部112は、ユーザの頭蓋外部から第一学習データを取得する。
【0071】
(ステップS503)第一学習データ取得部112は、ステップS502で取得した第一学習データを、記録媒体に、少なくとも一時的に蓄積する。なお、第一学習データ取得部112は、通常、意図を識別する意図識別子と対にして、第一学習データを蓄積する。ステップS501に戻る。
【0072】
(ステップS504)第一学習データ取得部112は、第一学習データを取得する処理を終了するか否かを判断する。終了する場合はステップS505に行き、終了しない場合はステップS501に戻る。なお、第一学習データ取得部112は、例えば、すべての意図識別子に対応する第一学習データを取得した場合、第一学習データの取得処理を終了すると判断する。
【0073】
(ステップS505)第二学習データ取得部113は、取得されたすべての第一学習データに対して、変換処理を行い、第二学習データを取得する。変換処理とは、ユーザの頭蓋外部から取得された第一学習データを、脳内の脳活動のデータである第二学習データに変換する処理である。変換処理の例について、図6のフローチャートを用いて説明する。なお、第二学習データ取得部113は、通常、一つの第一学習データ(一つのトライアルにより、取得された時系列的なデータである第一学習データ)ごとに第二学習データに変換する。
【0074】
(ステップS506)第二学習データ取得部113は、ステップS505で取得した第二学習データを、記録媒体に、少なくとも一時蓄積する。第二学習データ取得部113は、通常、一つの第二学習データごとに、第二学習データと意図識別子とを対応付けて、蓄積する。
【0075】
(ステップS507)学習特徴量群取得部114は、ステップS506で蓄積された第二学習データから、1以上の特徴量である学習特徴量群を取得する。ここで、学習特徴量群取得部114は、通常、複数の学習特徴量群を取得する。
【0076】
(ステップS508)意図判別情報蓄積部115は、学習特徴量群取得部114が取得した学習特徴量群と、一の意図を識別する意図識別子とを有する意図判別情報とから、意図判別情報を構成する。なお、通常、意図識別子は、第一学習データまたは第二学習データと対応付けて管理されている。また、意図判別情報蓄積部115は、通常、複数の意図判別情報を構成する。
【0077】
(ステップS509)意図判別情報蓄積部115は、ステップS508で構成した1以上の意図判別情報を、意図判別情報格納部111に蓄積する。処理を終了する。
【0078】
次に、ステップS505の変換処理について、図6のフローチャートを用いて説明する。 (ステップS601)第二学習データ取得部113は、電磁場解析技術を用いた順問題解析を行い、数式1に示すリードフィールド行列Gを計算する。
【0079】
(ステップS602)第二学習データ取得部113は、数式4に示すように、電場Eを観測する前の電流分布Jの階層事前分布を計算する。
【0080】
(ステップS603)第二学習データ取得部113は、数式5に示すように、電流分布を推定する。
【0081】
(ステップS604)第二学習データ取得部113は、数式6に示すように、パラメータを更新する。
【0082】
(ステップS605)第二学習データ取得部113は、数式7に示すように電流分散を推定する。
【0083】
(ステップS606)第二学習データ取得部113は、数式8に示すように、パラメータを更新する。
【0084】
(ステップS607)第二学習データ取得部113は、数式9に示すように、自由エネルギーFを計算する。
【0085】
(ステップS608)第二学習データ取得部113は、計算した自由エネルギーの変化が、事前に与えた閾値よりも小さいかどうかを判定する。もし、小さい場合はS609に進み、大きい場合はS603に戻る。
【0086】
(ステップS609)第二学習データ取得部113は、現在のJを第二学習データとして出力して、終了する。
【0087】
次に、脳情報出力装置11が、意図識別子を出力する動作について図7のフローチャートを用いて説明する。
【0088】
(ステップS701)第一脳活動データ取得部116は、第一脳活動データを取得したか否かを判断する。第一脳活動データを取得すればステップS702に行き、第一脳活動データを取得しなければステップS701に戻る。
【0089】
(ステップS702)第二脳活動データ取得部117は、ステップS701で取得された第一脳活動データに対して変換処理を行い、第二脳活動データを取得する。なお、変換処理について、図6のフローチャートを用いて説明した。
【0090】
(ステップS703)特徴量群取得部118は、ステップS702で取得された第二脳活動データから、入力特徴量群を取得する。
【0091】
(ステップS704)意図識別子取得部119は、ステップS703で取得された入力特徴量群を入力として、当該入力特徴量群に対応する意図識別子を取得する。かかる意図識別子取得処理について、図8のフローチャートを用いて説明する。
【0092】
(ステップS705)意図識別子出力部120は、ステップS704で取得された意図識別子を、ロボット12に出力する。ステップS701に戻る。
【0093】
なお、図7のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【0094】
次に、ステップS704の意図識別子取得処理の例について図8のフローチャートを用いて説明する。
【0095】
(ステップS801)意図識別子取得部119は、カウンタiを1に設定する。
【0096】
(ステップS802)意図識別子取得部119は、i番目の意図識別子が存在するか否かを判断する。i番目の意図識別子が存在すればステップS803に行き、i番目の意図識別子が存在しなければステップS808に行く。
【0097】
(ステップS803)意図識別子取得部119は、i番目の意図識別子に対応する学習特徴量群(ベクトル)を取得する。
【0098】
(ステップS804)意図識別子取得部119は、入力された特徴量群(ベクトル)を取得する。
【0099】
(ステップS805)意図識別子取得部119は、ステップS803で取得された学習特徴量群(ベクトル)と、ステップS804で取得された特徴量群(ベクトル)の距離を算出する。
【0100】
(ステップS806)意図識別子取得部119は、ステップS805で取得した距離と、i番目の意図識別子とを対応付けて、少なくとも一時的に記録媒体に蓄積する。
【0101】
(ステップS807)意図識別子取得部119は、カウンタiを1、インクリメントする。ステップS802に戻る。
【0102】
(ステップS808)意図識別子取得部119は、ステップS806で蓄積された距離を用いて、意図識別子を取得する。例えば、意図識別子取得部119は、最も小さい距離と対になる意図識別子を取得する。また、上述したように、意図識別子取得部119は、意図識別子ごとの確率を算出し、確率が最も大きい意図識別子を取得しても良い。上位処理にリターンする。
【0103】
なお、図8のフローチャートにおいて、ステップS804の動作は、ループ外に配置し、一度のみ行っても良い。
【0104】
次に、ロボット12の動作について、図9のフローチャートを用いて説明する。
【0105】
(ステップS901)意図識別子受付部122は、脳情報出力装置11から出力された意図識別子を受け付けたか否かを判断する。意図識別子を受け付ければステップS902に行き、意図識別子を受け付けなければステップS901に戻る。
【0106】
(ステップS902)実行部123は、ステップS901で受け付けられた意図識別子に対応する動作モジュールを、動作情報格納部121から読み出す。
【0107】
(ステップS903)実行部123は、ステップS902で読み出した動作モジュールを実行する。ステップS901に戻る。
【0108】
以上の処理により、ユーザが意図した行為(思考を含む)に対応する動作が、ロボット12により行われる。
【0109】
なお、図9のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【0110】
以上、本実施の形態によれば、頭蓋外部から取得された脳活動データを、脳内の脳活動データに変換し、利用することにより、精度の高い意図判別ができる。
【0111】
なお、本実施の形態において、具体的な実験例などは説明しなかった。かかる具体例について、実施の形態2で説明する。
【0112】
さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをCD−ROMなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に、ユーザの意図を識別する情報である意図識別子と、当該意図識別子で識別される意図の元にユーザが一連の行為であるトライアルを行った際に当該ユーザの頭蓋外部から取得された脳活動のデータである第一学習データを、脳内の脳活動データに変換された第二学習データから、抽出された1以上の特徴量である学習特徴量群とを対に有する意図判別情報を、2以上格納しており、コンピュータを、ユーザの頭蓋外部から、脳活動のデータである第一脳活動データを取得する第一脳活動データ取得部と、前記ユーザの頭蓋外部から取得された第一脳活動データを、脳内の脳活動データに変換し、第二脳活動データを取得する第二脳活動データ取得部と、前記第二脳活動データから、1以上の特徴量である入力特徴量群を取得する特徴量群取得部と、前記入力特徴量群に対応する意図識別子を、前記記憶媒体に格納されている2以上の意図判別情報から取得する意図識別子取得部と、前記意図識別子取得部が取得した意図識別子を出力する意図識別子出力部として機能させるためのプログラム、である。
【0113】
また、上記プログラムにおいて、コンピュータを、一の意図の元にユーザが一連の行為であるトライアルを行った際に、1以上のセンサを用いて、当該センサごとに、前ユーザの頭蓋外部から脳活動を示す時系列データである第一学習データを取得する第一学習データ取得部と、前記ユーザの頭蓋外部から取得された第一学習データを、脳内の脳活動のデータに変換し、第二学習データを取得する第二学習データ取得部と、前記第二学習データから、1以上の特徴量である学習特徴量群を取得する学習特徴量群取得部と、前記第二学習特徴量群と、前記一の意図を識別する意図識別子とを有する意図判別情報を、前記記憶媒体に蓄積する意図判別情報蓄積部として、さらに機能させることは好適である。
【0114】
また、上記プログラムにおいて、前記第二脳活動データ取得部は、前記第一脳活動データに対して、階層変分ベイズ法を用いて第二脳活動データを取得するものとして、コンピュータを機能させることは好適である。
【0115】
また、上記プログラムにおいて、前記意図識別子取得部は、前記意図判別情報格納部の2以上の意図判別情報を用いて、前記特徴量群取得部が取得した入力特徴量群が、前記2以上の意図判別情報に含まれる2以上の意図識別子の各々に対応する確率を、前記2以上の意図識別子ごとに算出する確率算出手段と、前記確率算出手段が算出した意図識別子ごとの確率から、最も大きい確率に対応する意図識別子を取得する意図識別子取得手段とを具備するものとして、コンピュータを機能させることは好適である。
【0116】
(実施の形態2)
【0117】
本実施の形態において、頭蓋外部から取得した第一脳活動データを脳内上の第二脳活動データに変換し、当該第二脳活動データを用いて、意図検出を行う脳情報出力装置ついて説明する。
【0118】
そして、特に、本実施の形態において、複数の脳活動計測装置によって得られた複数の脳活動データから、ユーザの意図を決定する脳情報出力装置について説明する。
【0119】
また、本実施の形態において、1以上のセンサを有し、複数のトライアルにより複数の学習データを取得した場合、不適切な学習データを除去し、適切な学習データのみで、意図検出を行う脳情報出力装置について説明する。
【0120】
本実施の形態におけるロボットシステム2の概念図は、図1と同様である。ロボットシステム2は、脳情報出力装置21、ロボット12を具備する。図10は、本実施の形態におけるロボットシステム2のブロック図である。ロボットシステム2を構成する脳情報出力装置21は、意図判別情報格納部1011、第一学習データ取得部1012、異常データ除去部1011、第二学習データ取得部1013、学習特徴量群取得部1014、意図判別情報蓄積部1015、第一脳活動データ取得部1016、第二脳活動データ取得部1017、特徴量群取得部1018、意図識別子取得部1019、意図識別子出力部120を具備する。
【0121】
異常データ除去部1011は、異常トライアル除去手段10111、異常センサ除去手段10112を具備する。
【0122】
意図識別子取得部1019は、確率算出手段10191、意図識別子取得手段10192を具備する。
【0123】
意図判別情報格納部1011は、2種類以上の意図判別情報を格納し得る。2種類以上の意図判別情報とは、2種類以上の第一学習データから取得された2種類以上の学習特徴量群(後述する正常学習特徴量群)を含む。意図判別情報は、意図識別子と学習特徴量群とを対に有する情報である。意図判別情報格納部1011は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。なお、2種類以上の学習データとは、例えば、NIRSデータと脳波データである。
【0124】
第一学習データ取得部1012は、ユーザの頭蓋外部から、少なくとも2種類の第一学習データを取得する。2種類とは、例えば、2種類の異なる脳活動データであり、例えば、NIRSデータと脳波データである。また、第一学習データ取得部1012は、3種類以上の脳活動データを取得しても良い。第一学習データ取得部1012は、例えば、近赤外線光計測装置と脳波計測装置である。近赤外線光計測装置とは、近赤外光を用いて頭皮上から非侵襲的に脳機能マッピングする、「光機能画像法」の原理を応用した装置である。また、脳波計測装置は、脳波を計測する装置である。脳波を計測する機能を有する装置として、例えば、BioSemi社の装置(ActiveTwoシステム)等が存在する。また、第一学習データ取得部1012は、例えば、機能的MRI(fMRI: functional Magnetic Resonance Imaging)や、PET(Positron Emission Tomography)などでも良い。
【0125】
異常データ除去部1011は、第一学習データから1以上の各部分学習データを取得し、当該各部分学習データの特性値を取得し、当該特性値を用いて、各部分学習データが正常であるか異常であるかを判断し、異常であると判断した部分学習データを、学習データから除き、正常学習データを取得する。特性値とは、部分学習データの値そのものでも良いし、平均値や標準偏差などでも良い。なお、正常学習データは、ユーザの頭蓋外部から取得されたデータそのままである。異常データ除去部1011は、2種類以上の第一学習データのそれぞれから、正常学習データを取得する。つまり、異常データ除去部1011は、2種類以上の正常学習データを取得する。
【0126】
また、特性値とは、例えば、学習データを構成する全データの平均値と標準偏差、または学習データを構成する全データの微分値の平均値と標準偏差のいずれか、または両方を用いて、一定以上のずれを有すると判断したセンサのデータの数である。
【0127】
また、特性値とは、例えば、学習データを構成する全データの平均値と標準偏差、または前記学習データを構成する全データの微分値の平均値と標準偏差のいずれか、または両方を用いて、一定以上のずれを有すると判断したトライアルの数である。
【0128】
また、異常データ除去部1011は、後述する異常トライアル除去手段10111、異常センサ除去手段10112の両方を有することが好適であるが、その一方を有しても良い。また、異常データ除去部1011は、異常トライアル除去手段10111、異常センサ除去手段10112の両方を有さず、学習データを構成する各データを検査し、例えば、学習データを構成する全データの平均値と標準偏差、または学習データを構成する全データの微分値の平均値と標準偏差のいずれか、または両方を用いて、一定以上のずれを有すると判断したデータを個別に除去しても良い。
【0129】
異常データ除去部1011は、通常、MPUやメモリ等から実現され得る。異常データ除去部1011の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0130】
異常トライアル除去手段10111は、トライアルごとの部分学習データの特性値を取得し、当該特性値を用いて、部分学習データが正常であるか異常であるかを判断し、異常であると判断した部分学習データ(トライアルを構成するデータ全部)を、学習データから除き、正常学習データを取得する。なお、ここで取得された正常学習データから、さらに不適切なデータを除き、最終的な正常学習データが取得される場合もあり得る。
【0131】
異常トライアル除去手段10111は、トライアルごとの部分学習データの特性値から、部分学習データが、他のデータと比較して、一定以上のずれを有すると判断した場合、当該部分学習データを、学習データから除き、正常学習データを取得することは好適である。
【0132】
さらに具体的には、異常トライアル除去手段10111は、部分学習データを構成する各センサのデータのうち、予め決められた以上の数のセンサのデータが、一定以上のずれを有すると判断した場合に、当該部分学習データを、学習データから除き、正常学習データを取得することは好適である。部分学習データを構成する各センサのデータが一定以上のずれを有するか否かは、学習データを構成する全データの平均値と標準偏差、または学習データを構成する全データの微分値の平均値と標準偏差のいずれか、または両方を用いて判断される。また、上記で除去される部分学習データは、異常であると判断されたトライアルの全データである。
【0133】
異常トライアル除去手段10111は、通常、MPUやメモリ等から実現され得る。異常トライアル除去手段10111の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0134】
異常センサ除去手段10112は、センサごとの部分学習データの特性値を取得し、当該特性値を用いて、部分学習データが正常であるか異常であるかを判断し、異常であると判断した部分学習データを、学習データから除き、正常学習データを取得する。
【0135】
異常センサ除去手段10112は、センサごとの部分学習データの特性値から、部分学習データが、他のデータと比較して、一定以上のずれを有すると判断した場合、当該部分学習データを、学習データから除き、正常学習データを取得する。
【0136】
さらに具体的には、異常センサ除去手段10112は、部分学習データを構成する各トライアルのデータのうち、予め決められた以上の数のトライアルのデータが、一定以上のずれを有すると判断した場合に、当該部分学習データを、学習データから除き、正常学習データを取得する。部分学習データを構成する各トライアルのデータが一定以上のずれを有するか否かは、学習データを構成する全データの平均値と標準偏差、または学習データを構成する全データの微分値の平均値と標準偏差のいずれか、または両方を用いて判断される。また、上記で除去される部分学習データは、異常であると判断されたセンサの全データを除去である。
【0137】
異常センサ除去手段10112は、通常、MPUやメモリ等から実現され得る。異常センサ除去手段10112の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0138】
第二学習データ取得部1013は、ユーザの頭蓋外部から取得され、異常データ除去部1011がデータを除いて残ったデータである正常学習データを、脳内の脳活動のデータに変換し、第二学習データを取得する。第二学習データ取得部1013は、2種類以上の正常学習データを、それぞれ2種類の第二学習データに変換しても良い。第二学習データ取得部1013は、2種類以上の各正常学習データに対して、階層変分ベイズ法を用いて2種類以上の第二学習データを取得する。第二学習データ取得部1013が、一つの正常学習データに対して、第二学習データを取得する処理は、第二学習データ取得部113と同じである。
【0139】
第二学習データ取得部1013は、通常、MPUやメモリ等から実現され得る。第二学習データ取得部1013の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0140】
学習特徴量群取得部1014は、第二学習データ取得部1013が取得した2種類以上の第二学習データのぞれぞれから、1以上の特徴量である2種類以上の学習特徴量群を取得する。学習特徴量群取得部1014は、第二学習データに対して信号処理し、1以上の特徴量である学習特徴量群を取得する。ここで、信号処理は、例えば、バイアス補正、ベースライン補正、トレンド除去、平均値計算、ハイパスフィルターによる処理、ローパスフィルターによる処理、FFTによる処理、PCAによる処理、ICAによる処理、Phase Locking 値の算出、移動平均の算出、センサ選択、時間選択、リファレンス補正、ダウンサンプリング、アップサンプリング、パワー計算、包絡線計算(ヒルベルト変換)、空間フィルターによる処理、逆問題フィルターによる処理、などである。そして、特徴量とは、例えば、上記の信号処理により、算出されるデータであり、例えば、平均値、分散、Phase Locking 値などである。なお、学習特徴量群を構成する特徴量は、第二学習データの特性を示すデータであれば、何でも良い。また、学習特徴量群取得部1014が行う信号処理の数は、複数でも良い。また、上記の各種の信号処理の例は、公知技術であるので詳細な説明を省略する。
【0141】
学習特徴量群取得部1014は、通常、MPUやメモリ等から実現され得る。学習特徴量群取得部1014の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0142】
意図判別情報蓄積部1015は、正常学習特徴量群と、一の意図を識別する意図識別子とを有する意図判別情報を、意図判別情報格納部1011に蓄積する。意図判別情報蓄積部1015は、通常、少なくとも、すべての意図識別子に対応する意図判別情報を意図判別情報格納部1011に蓄積する。意図判別情報蓄積部1015は、2種類以上の意図判別情報を、意図判別情報格納部1011に蓄積する。
【0143】
意図判別情報蓄積部1015は、通常、MPUやメモリ等から実現され得る。意図判別情報蓄積部1015の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0144】
第一脳活動データ取得部1016は、ユーザの頭蓋外部から、2種類以上の第一脳活動データを取得する。第一脳活動データは、例えば、NIRS(近赤外分光分析)、fMRI(機能的MRI)、MEG(脳磁計)、EEG(脳波計)により取得されるデータのうちの2種類以上のデータである。第一脳活動データは正常学習データと同じ種類のデータである。
【0145】
第一脳活動データ取得部1016は、例えば、近赤外線光計測装置、および脳波計測装置である。また、第一脳活動データ取得部1016は、機能的MRI(fMRI: functional Magnetic Resonance Imaging)、またはPET(Positron Emission Tomography)なども有しても良い。第一脳活動データ取得部1016は、通常、第一学習データ取得部1012と同じである。
【0146】
第二脳活動データ取得部1017は、ユーザの頭蓋外部から取得された、2種類以上の第一脳活動データを、それぞれ、脳内の脳活動データに変換し、2種類以上の第二脳活動データを取得する。
【0147】
さらに具体的には、例えば、第二脳活動データ取得部117は、上記の数式1、数式2を用いて、2種類以上の第一脳活動データを、それぞれ変換し、2種類以上の第二脳活動データを得る。
【0148】
第二脳活動データ取得部1017は、通常、MPUやメモリ等から実現され得る。第二脳活動データ取得部1017の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0149】
特徴量群取得部1018は、2種類以上の第二脳活動データ、ぞれぞれに対して信号処理し、1以上の特徴量である入力特徴量群を取得する。ここで、取得される入力特徴量群も2種類以上である。信号処理の方法は、上述した通りである。
【0150】
特徴量群取得部1018は、通常、MPUやメモリ等から実現され得る。特徴量群取得部1018の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0151】
意図識別子取得部1019は、入力特徴量群に対応する意図識別子を、意図判別情報格納部1011に格納されている2以上の意図判別情報から取得する。意図識別子取得部1019が意図識別子を取得するアルゴリズムは問わない。意図識別子取得部1019は、例えば、入力特徴量群と、意図判別情報が有する学習特徴量群との距離を、意図識別子ごとに算出する。そして、意図識別子取得部1019は、距離が最も小さい学習特徴量群に対応する意図識別子を取得しても良い。また、意図識別子取得部1019は、2以上の意図判別情報を学習データとして、入力特徴量群を入力データとして、機械学習のアルゴリズムにより、意図識別子を取得することは好適である。意図識別子取得部1019は、例えば、Sparse Logistic Regressionと呼ばれる弁別器である。Sparse Logistic Regressionは、URL「https://www.autonlab.org/autonweb/10400.html」に記載されている公知の技術である。また、機械学習のアルゴリズムは問わない。意図識別子取得部1019は、例えば、SVM(2つの分別の場合)、SVR、決定木などの機械学習器などでも良い。意図識別子取得部1019における意図識別子の取得アルゴリズムは問わない。
【0152】
意図識別子取得部1019は、2種類以上の第二脳活動データのそれぞれを用いて、意図識別子を取得することは好適である。意図識別子取得部1019は、確率算出手段10191、および意図識別子取得手段10192により、意図識別子を取得することは好適である。
【0153】
意図識別子取得部1019は、通常、MPUやメモリ等から実現され得る。意図識別子取得部1019の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0154】
確率算出手段10191は、意図判別情報が有する学習特徴量群の種類ごとに、および意図識別子ごとに、対応する入力特徴量群の確率を算出する。例えば、第一脳活動データ取得部1016が近赤外線光計測装置および脳波計測装置である場合を考える。また、意図識別子は、左手「Left」、右手「Right」、舌「Tongue」、足「Foot」の4種類である、とする。
【0155】
かかる場合、確率算出手段10191は、NIRSデータから取得された確率であり、意図識別子「Left」である確率(PNIRSLeft)、NIRSデータから取得された確率であり、意図識別子「Right」である確率(PNIRSRight)、NIRSデータから取得された確率であり、意図識別子「Tongue」である確率(PNIRSTongue)、NIRSデータから取得された確率であり、意図識別子「Foot」である確率(PNIRSFoot)、脳波データから取得された確率であり、意図識別子「Left」である確率(PEEGLeft)、脳波データから取得された確率であり、意図識別子「Right」である確率(PEEGRight)、脳波データから取得された確率であり、意図識別子「Tongue」である確率(PEEGTongue)、脳波データから取得された確率であり、意図識別子「Foot」である確率(PEEGFoot)の8つの確率を取得する。確率算出手段10191の確率算出方法は、例えば、確率算出手段1191と同じである。
【0156】
そして、次に、確率算出手段10191は、数式10を用いて、上記の8つの確率(2種類のデータから取得された意図識別子ごとの確率)を統合して、意図識別子ごとの最終的な確率を算出する。Ptotaltextが最終的な確率である。Ptotaltextは、意図識別子TEXT(Left、Right、Tongue、またはFoot)の最終的な確率である。なお、確率算出手段10191は、数式10の情報を予め保持している。
【数10】

【0157】
なお、数式10において、wは重みを示す重みパラメータである。「w=1」の場合、第一確率(脳波データから取得された確率)も第二確率(NIRSデータから取得された確率)も同じ重みで扱うことを示す。「w=2」の場合、第一確率より第二確率の方に重きを置いて扱うことを示す。
【0158】
また、数式10において、iは、意図識別子「Left、Right、Tongue、Foot」のいずれかである。さらに、PNIRSは近赤外線光計測装置(NIRSデータ)から得られる確率、PEEGは、脳波計測装置(脳波データ)から得られる確率である。
【0159】
また、確率算出手段10191は、脳活動データの種類ごと(例えば、NIRSデータや脳波データなどごと)に、それぞれ得意とする意図(例えば、NIRSデータが左手「Left」、右手「Right」、脳波データが左手「Tongue」、右手「Foot」)のみを使って、意図識別子ごとの最終的な確率を取得しても良い。かかる場合、確率算出手段10191は、脳活動データの種類を識別する情報と、得意とする意図を識別する意図識別子を対応付けて保持している。
【0160】
確率算出手段10191は、通常、MPUやメモリ等から実現され得る。確率算出手段10191の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0161】
意図識別子取得手段10192は、意図識別子ごとの最終的な確率から、最も大きい確率に対応する意図識別子を取得する。意図識別子取得手段10192は、通常、一の意図識別子のみを取得する。意図識別子取得手段10192は、通常、MPUやメモリ等から実現され得る。意図識別子取得手段10192の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0162】
次に、ロボットシステム2の動作について説明する。まず、脳情報出力装置21の動作について説明する。図11は、脳情報出力装置21が学習データを取得する動作を説明するフローチャートである。学習データとは、ここでは、意図判別情報である。なお、図11のフローチャートにおいて、学習データの種類は、3以上でも対応可能なフローを示している。
【0163】
(ステップS1101)第一学習データ取得部1012は、第一学習データを取得するか否かを判断する。第一学習データを取得するのであればステップS1102に行き、第一学習データを取得しないのであればステップS1104に行く。なお、例えば、第一学習データを取得するために、図示しない出力手段が、ユーザに対して、意図に対応する動作(思考、想像なども含む)を行うことを示す指示を出力する。そして、かかる指示が出力された後、所定期間(例えば、10秒など)、第一学習データ取得部112は、第一学習データを取得する、と判断する。また、意図に対応する動作を行うことを示す指示とは、「右手を10秒間、振ってください。」「15秒間、足をばたつかせてください。」などの情報である。
【0164】
(ステップS1102)第一学習データ取得部1012は、ユーザの頭蓋外部から、すべての種類の第一学習データを取得する。
【0165】
(ステップS1103)第一学習データ取得部1012は、ステップS1102で取得したすべての種類の第一学習データを、記録媒体に、少なくとも一時的に蓄積する。なお、第一学習データ取得部1012は、通常、意図を識別する意図識別子と対にして、各種類の第一学習データを蓄積する。ステップS1101に戻る。
【0166】
(ステップS1104)第一学習データ取得部112は、第一学習データを取得する処理を終了するか否かを判断する。終了する場合はステップS1105に行き、終了しない場合はステップS1101に戻る。なお、第一学習データ取得部112は、例えば、すべての意図識別子に対応する第一学習データを取得した場合、第一学習データの取得処理を終了すると判断する。
【0167】
(ステップS1105)異常データ除去部1011は、カウンタiに1を代入する。
【0168】
(ステップS1106)異常データ除去部1011は、i番目の種類の第一学習データが存在するか否かを判断する。i番目の種類の第一学習データが存在すればステップS1107に行き、i番目の種類の第一学習データが存在しなければ上位処理にリターンする。
【0169】
(ステップS1107)異常データ除去部1011は、i番目の種類の第一学習データに対して、異常データ除去処理を行う。そして、異常データ除去部1011は、i番目の種類の正常学習データを取得する。異常データ除去処理について、図12のフローチャートを用いて説明する。
【0170】
(ステップS1108)第二学習データ取得部1013は、i番目の種類の正常学習データに対して、変換処理を行い、第二学習データを取得する。変換処理とは、ユーザの頭蓋外部から取得された正常学習データを、脳内の脳活動のデータである第二学習データに変換する処理である。変換処理の例について、図6のフローチャートを用いて説明した。
【0171】
(ステップS1109)第二学習データ取得部1013は、ステップS1108で取得した第二学習データを、記録媒体に、少なくとも一時蓄積する。
【0172】
(ステップS1110)学習特徴量群取得部1014は、ステップS1109で蓄積された第二学習データから、1以上の特徴量である学習特徴量群を取得する。
【0173】
(ステップS1111)意図判別情報蓄積部1015は、学習特徴量群取得部1014が取得した学習特徴量群と、一の意図を識別する意図識別子とを有する意図判別情報とから、意図判別情報を構成する。なお、通常、意図識別子は、第一学習データまたは正常学習データまたは第二学習データと対応付けて管理されている。
【0174】
(ステップS1112)意図判別情報蓄積部1015は、ステップS1108で構成した意図判別情報を、意図判別情報格納部1011に蓄積する。処理を終了する。
【0175】
(ステップS1113)異常データ除去部1011は、カウンタiを1、インクリメントする。ステップS1106に戻る。
【0176】
次に、ステップS1107の異常データ除去処理について、図12のフローチャートを用いて説明する。
【0177】
(ステップS1201)異常データ除去部1011は、カウンタiに1を代入する。
【0178】
(ステップS1202)異常データ除去部1011は、i番目のセンサが存在するか否かを判断する。i番目のセンサが存在すればステップS1203に行き、i番目のセンサが存在しなければステップS1210に行く。
【0179】
(ステップS1203)異常データ除去部1011は、i番目のセンサが取得した全トライアルの全データの平均値、および標準偏差を取得する。なお、かかる場合、異常データ除去部1011は、i番目のセンサについての、全時系列データでの平均値を基準点として定め、基準補正を行なうことは好適である。また、補正後波形から1サンプルごとに振幅の絶対値を取り、値の大きいものからx%(例えば、「x=5」)のサンプルは信頼区間から外れて発生したものと仮定して破棄することは好適である。
【0180】
(ステップS1204)異常データ除去部1011は、カウンタjに1を代入する。
【0181】
(ステップS1205)異常データ除去部1011は、j番目のトライアルが存在するか否かを判断する。j番目のトライアルが存在すればステップS1206に行き、j番目のトライアルが存在しなければステップS1209に行く。
【0182】
(ステップS1206)異常データ除去部1011は、i番目のセンサのj番目のトライアルの全サンプル(全データ)を取得する。
【0183】
(ステップS1207)異常データ除去部1011は、ステップS1206で取得された各サンプル(データ)に対して、一定以上のずれが存在するか否かを判断する。そして、異常データ除去部1011は、一定以上のずれが存在するサンプルに対しては、不適切データとして登録する。なお、異常データ除去部1011は、例えば、1サンプルごとに、絶対値が標準偏差の何倍であるかを調べる。そして、異常データ除去部1011は、例えば、絶対値が標準偏差の9倍以上のサンプルを不適切データと判断する。
【0184】
(ステップS1208)異常データ除去部1011は、カウンタjを1、インクリメントする。ステップS1205に戻る。
【0185】
(ステップS1209)異常データ除去部1011は、カウンタiを1、インクリメントする。ステップS1202に戻る。
【0186】
(ステップS1210)異常センサ除去手段10112は、カウンタiに1を代入する。
【0187】
(ステップS1211)異常センサ除去手段10112は、i番目のセンサが存在するか否かを判断する。i番目のセンサが存在すればステップS1211に行き、i番目のセンサが存在しなければステップS1216に行く。
【0188】
(ステップS1212)異常センサ除去手段10112は、i番目のセンサが取得したデータの中で、不適切なデータの数を取得する。
【0189】
(ステップS1213)異常センサ除去手段10112は、ステップS1212で算出した不適切なデータの数が、予め決められた数(割合でも良い)以上であるか否かを判断する。予め決められた数以上であればステップS1214に行き、予め決められた数以上でなければステップS1216に行く。
【0190】
(ステップS1214)異常センサ除去手段10112は、i番目のセンサはBad Sensorであるとし、i番目のセンサが取得したデータを消去する。
【0191】
(ステップS1215)異常センサ除去手段10112は、カウンタiを1、インクリメントする。ステップS1211に戻る。
【0192】
(ステップS1216)異常トライアル除去手段10111は、カウンタjに1を代入する。
【0193】
(ステップS1217)異常トライアル除去手段10111は、j番目のトライアルが存在するか否かを判断する。j番目のトライアルが存在すればステップS1218に行き、j番目のトライアルが存在しなければ上位処理にリターンする。
【0194】
(ステップS1218)異常トライアル除去手段10111は、j番目のトライアルに含まれるデータの中で、不適切なデータの数を取得する。
【0195】
(ステップS1219)異常トライアル除去手段10111は、ステップS1218で算出した不適切なデータの数が、予め決められた数(割合でも良い)以上であるか否かを判断する。予め決められた数以上であればステップS1220に行き、予め決められた数以上でなければステップS1221に行く
【0196】
(ステップS1220)異常トライアル除去手段10111は、j番目のトライアルはBad Trialであるとし、j番目のトライアルの際に取得されたデータを消去する。
【0197】
(ステップS1221)異常トライアル除去手段10111は、カウンタjを1、インクリメントする。ステップS1217に戻る。
【0198】
なお、図12のフローチャートにおいて、異常トライアル、および異常センサのデータを除去するアルゴリズムは、上記に限られない。
【0199】
また、図12のフローチャートにおいて、異常トライアルの除去のみ、異常センサの除去のみでも良い。
【0200】
さらに、図12のフローチャートにおいて、異常トライアルの除去と異常センサの除去の順序は問わない。
【0201】
次に、脳情報出力装置21が、2以上の意図判別情報を用いて、意図識別子を取得する動作を、図13のフローチャートを用いて説明する。
【0202】
(ステップS1301)第一脳活動データ取得部1016は、第一脳活動データを取得したか否かを判断する。脳活動データを取得すればステップS1302に行き、脳活動データを取得しなければステップS1301に戻る。
【0203】
(ステップS1302)第一脳活動データ取得部1016は、ステップS1301で取得した第一脳活動データを、少なくとも一時、記録媒体に蓄積する。
【0204】
(ステップS1303)第一脳活動データ取得部1016は、すべての種類の脳活動データを取得できたか否かを判断する。すべての種類の脳活動データを取得できていればステップS1304に行き、取得できていなければステップS1301に戻る。なお、第一脳活動データ取得部1016は、取得するべき、すべての種類の脳活動データを識別する情報(例えば、「NIRS」「EEG」など)を保持している。
【0205】
(ステップS1304)第二脳活動データ取得部1017は、カウンタiに1を代入する。
【0206】
(ステップS1305)第二脳活動データ取得部1017は、ステップS1302で蓄積された第一脳活動データのうち、i番目の種類の第一脳活動データが存在するか否かを判断する。i番目の種類の第一脳活動データが存在すればステップS1306に行き、i番目の種類の第一脳活動データが存在しなければステップS1310に行く。
【0207】
(ステップS1306)第二脳活動データ取得部1017は、i番目の種類の第一脳活動データを変換し、i番目の種類の第二脳活動データを得る。かかる変換処理については、図6のフローチャートを用いて説明した。なお、ここで変換処理を行う対象の第一脳活動データは、すべての種類の第一脳活動データでなく、例えば、一つの種類の第一脳活動データ(例えば、脳波データ)だけでも良い。
【0208】
(ステップS1307)特徴量群取得部1018は、i番目の種類の第二脳活動データから、i番目の特徴量群を取得する。
【0209】
(ステップS1308)確率算出手段10191は、i番目の意図判別情報(対応する意図判別情報格納部に存在する)を用いて、意図識別子ごとのi番目の確率を算出する。
【0210】
(ステップS1309)第二脳活動データ取得部1017は、カウンタiを1、インクリメントする。ステップS1305に戻る。
【0211】
(ステップS1310)確率算出手段10191は、意図識別子ごとに、1番目の確率(第一確率とも言う)から(i−1)番目の確率(第(i−1)確率とも言う)を用いて、最終的な確率を算出する。かかる算出式は、例えば、数式10である。
【0212】
(ステップS1311)意図識別子取得手段10192は、ステップS1310で算出した意図識別子ごとの最終的な確率から、最も大きい確率に対応する意図識別子を取得する。
【0213】
(ステップS1312)意図識別子出力部120は、ステップS1311で取得された意図識別子を出力する。処理を終了する。
【0214】
以下、本実施の形態におけるロボットシステム2の具体的な動作について説明する。ロボットシステム2の概念図は図1である。この具体的な動作は、一の実験に基づいている。また、ロボットシステム1の動作は、ロボットシステム2の動作に含まれる。
【0215】
今、脳情報出力装置11は、いわゆる脳・機械インタフェース(左手・右手の実運動)として機能する電子機器である。そして、脳情報出力装置11から出力される意図識別子は、ロボット12に送付され、ロボット12は意図識別子に対応した動作を行う、とする。
【0216】
そして、この実験には成人男性2名(Subject1、およびSubject2)が参加した。Subject1はBMIの慣れている被験者である。また、もう一人のSubject2は、今までに本格的なBMI実験は体験したことのない被験者である。それぞれの被験者には左手(LEFT HAND)・右手(RIGHT HAND)・舌(TONGUE)・足(FOOT)の4つにそれぞれ関連する運動イメージをしてもらい、その際の脳波と脳血流量変化を脳波計・NIRS計測装置の同時計測によって計測を行う、とする。本実験ではEEGからの電流源の推定に焦点を当て、NIRSに対する解析は行わない、とする。つまり、NIRSデータに対して、第二学習データ取得部1013、および第二脳活動データ取得部1017の変換処理は行わない。また、第一学習データ取得部1012、および第一脳活動データ取得部1016は、脳波計、およびNIRS計測装置である。さらに、意図識別子は、右手・左手・舌・足の4つである。
【0217】
ここで、それぞれの被験者が行うタスクを、図14に示す。
【0218】
脳波計はBiosemi社の高性能デジタルEEG、ActiveTwoシステムを使用し、64チャンネルで256Hzのサンプリングで計測する。ただし、電流源推定にはEEGの正確な計測位置が必要となるため、実験日ごとにPOLHEMUS社製のFastSCANとMRIによる構造画像を合わせることで、センサと大脳皮質との位置関係の情報を得られるようにした。
【0219】
脳血流量変化の計測には、島津製作所製のNIRS計測装置、研究用光脳機能イメージング装置FOIRE−3000を使用し、頭頂を中心に48チャンネルセンサを用いて7.7HzのサンプリングレートでOxy−Hb(酸素化ヘモグロビン)の変化量を記録した。
【0220】
また、脳波と脳血流量変化の同時計測を行うために島津製作所製の同時計測キャップを用いた。
【0221】
そして、被験者はスクリーンに向かって座り、リラックスした状態で実験は行う。指示はスクリーンとスピーカから与えられ、10秒間のレストの後、ビープ音と同時にタスクの指示を行い、その2秒後にイメージを開始してもらい、イメージは10秒間、一定のリズムで継続して行なってもらう。この指示の際には、レスト時はスクリーンには格子点を、タスク指示には上下左右方向の矢印を、タスク時には注視点をそれぞれ提示した。このレスト、指示、タスクの流れを各タスク7回ずつの合計28回で1runとし、1Session=5runとしてSessionごとに30分ほどの休憩を挟んだ。ただし、計測準備等の理由から1runごとにも実質1分ほどの休憩を挟んでいる。1日で合計3Session、各タスク105回ずつ、合計420回分のトライアルデータを計測した。ここまでの実験の流れは、図15に示すとおりである。
【0222】
脳の機能局在論を考慮すると、活動領域を含めた情報が脳活動の弁別性能の向上に繋がることが期待される。そこで、頭皮上で計測される情報から脳表上(脳内)での活動を推定するために、前述の階層変分ベイズ法を適用し、脳活動の弁別性能向上につなげることとした。階層変分ベイズ法に関しては、前述の数式1から数式9の通りである。
【0223】
前述の数式1において、脳波(EEG)のセンサは64からせいぜい128程度である。すなわち、数式1において観測される電場Eは(64×1)から(128×1)程度のベクトルとなる。しかし、脳内電流分布の点数は数万点を想定しており、すなわち、数式1において脳内電流Jは(数万×1)程度のベクトルとなり、解析的に数式1を解くことは一般的に不可能であり、不良設定問題と呼ばれる。それに対して、階層変分ベイズ法をつかって、電流分布Jの推定の後、電流分散αの推定を行い、求まった電流分散αから再び電流分布Jを推定するように、電流分布と電流分散の推定を交互におこなうことで、適切なJとαを求める。
【0224】
また、電流分散の推定の際は、「fMRIによる活動情報」「脳が局所的に活動しがちな点から、物理的に近い双極子間での電流強度の相関が大きい」「脳の裏側への推定は行なわない」といった情報をα−1に対する事前確率として与えることで、これらの双極子での電流強度を0にする確率を高めておき、α−1の値が大きくなった電流源に対しては、適宜スパース化を行っている。本実験では、その結果、数万点の電流源から2233点にまでスパース化した電流源に対して推定電流を求めている。なお、事前確率にfMRIの活動情報が含まれているが、仮に誤ったfMRIの情報を含んでいても観測データによって適切な電流源の推定ができる。
【0225】
被験者のうち1名(以降、Subject1)は10月から12月にかけて9実験日分、もう一人(以降、Subject2)に関しては12月以降の4実験日分を解析に用いた。Subject1の解析には11月までに行なわれた実験日のデータから特徴量の選択のための解析パラメータを決定し、Subject2に関しては、傾向からパラメータの選択をするだけのデータ数がないために、異常データ除去部1011が行う異常データ除去処理以外は、Subject1のパラメータを適用させることにした。
【0226】
また、電流源推定のための空間フィルターは実験日の1〜10run分を用いて計算し、11〜15runのテストに用いるデータも、1〜10runのデータを基に作られた空間フィルターを用いて、脳表上の推定電流を計算した上で、学習と弁別を行った。ただし、電流源の推定の際は先述のとおり空間フィルターを求める際に脳波以外の信号が多く含まれると推定に悪影響を及ぼすことが考えられるため、ノイズやアーティファクトが含まれていると考えられるデータは予め破棄している。このデータを破棄する異常データ除去は、異常データ除去部1011は行う。
【0227】
ここで、異常データ除去部1011が行う、異常データ除去処理の概念を説明する(図16)。まず、脳情報出力装置21において、ユーザ(S11)の脳活動データを、複数のセンサ(S12)を具備した脳活動計測装置(S13)で計測し、生の脳活動データ1(計測データ1)を得る。ここで、脳活動計測装置(S13)は、第一学習データ取得部1012である。なお、計測データ1は、ある動作(例えば、体を動かしたり、想像したりなど)を一度行った際の一連のトライアルデータの複数から構成される。また、脳活動データ1(計測データ1)は、例えば、脳波データである。また、トライアルデータは、脳活動計測装置S13に具備された複数センサ(S12)からの時系列データで構成される。その脳活動データ1のうち、外部ノイズや異常なノイズが入っているセンサを異常センサ除去装置(S14)で除去する。ここで、異常センサ除去装置(S14)は、異常センサ除去手段10112である。
【0228】
また、異常なノイズが複数入っているトライアルデータに関しては、異常トライアル除去装置(S15)で除去する。ここで、異常トライアル除去装置(S15)は、異常トライアル除去手段10111である。
【0229】
異常センサ除去装置(S14)と異常トライアル除去装置(S15)によって、異常なデータが除去され、正常な脳活動データ(正常データ3)を得る。正常データ3とは、正常学習データである。
【0230】
脳情報出力装置21において、正常データ3を意図検出用アルゴリズム(S16)に入れることで、意図検出アルゴリズム内の各種パラメータ(S17)を調整する。脳情報出力装置21では、調整したパラメータ(S17)と意図検出アルゴリズムS16により非常に性能の高い脳・機械インタフェースを提供する。なお、意図検出アルゴリズムとは、意図識別子取得部1019に該当する。また、パラメータ(S17)は、学習特徴量群に該当する。
【0231】
今、第一学習データ取得部1012は、複数のセンサを具備し、脳波データおよびNIRSデータを、ユーザの脳から取得する、とする。つまり、第一学習データ取得部1012は、脳波計測装置およびNIRS計測装置である。ただし、ここでは、脳波データから、異常データを除去する処理について説明する。
【0232】
そして、第一学習データ取得部1012は、図17に示す脳波データを取得した、とする。この脳波データは、6つのセンサから取得された脳波の時系列データである。そして、第一学習データ取得部1012は、取得した学習データ(図17)を、記録媒体に一時的に蓄積する。
【0233】
次に、脳情報出力装置21は、図17の第一学習データから、異常データの除去処理を行う。つまり、異常データ除去部1011は、例えば、以下のステップ((1)から(8))で、異常データの除去処理を行う。ここで、異常データ除去処理について、図18の概念図を用いて説明する。
(1)異常データ除去部1011は、センサごとに、全時系列データを取得する。そして、異常データ除去部1011は、センサごとに、全時系列データの平均値と標準偏差σを算出する。ここで、全時系列データとは、全てのトライアルにまたがるデータのことを言う。
(2)異常データ除去部1011は、各センサと各トライアルデータ(図18(a))に関して、その平均値を基準点として定め、脳波の時系列データに対して、基準補正を行い、全時系列データを2乗することで信号のパワーを計算する(図18(b))。取得されるデータは、(複数センサ×時系列×複数トライアル)の3次元データである。
(3)異常データ除去部1011は、前記の信号のパワーに対して分布を計算する。なお、この分布は一般的にはχ二乗分布に従う。そして、値の大きいものから5%のサンプルを破棄する(図18(c))。値の大きい5%のサンプルは、通常の状態でも起こりえるノイズと仮定して破棄したものである。
(4)異常データ除去部1011は、5%のサンプルを破棄し、残された各データの絶対値を用いて、最大のパワーP95を求める。
(5)異常データ除去部1011は、各センサの各トライアルごとに、前記のP95を前記の標準偏差σで割ったmampを計算し、図18(d)のマトリクスを求める。
(6)異常データ除去部1011は、事前に与えられた異常データ除去用の定数aと前記のマトリクスを比較し、aよりも大きいmampをチェックする。定数aとしては、「9」が好適である。また、図18(d)において、マトリクス上に斜めの線が入ったデータが、不適切なデータとして除かれたサンプルである。
(7)異常データ除去部1011は、各センサに対してトライアル方向に対して不適切データがいくつあるかを数える。この数をbsensorとする。ここで、各センサに対してトライアル方向に対して数えるとは、図18(d)において、横方向に斜めの線が入っている不適切データがいくつあるかを各センサごとに数えることである。また、異常データ除去部1011は、各トライアルに対してセンサ方向に対して不適切データがいくつあるかを数えるbtrialとする。ここで、各トライアルに対してセンサ方向に対して数えるとは、図18(d)において、縦方向に斜めの線が入っている不適切データがいくつあるかを各トライアルごとに数えることである。
(8)異常データ除去部1011は、事前に与えられた異常データ除去用の定数csensorと前記のbsensorを比較し、bsensorがcsensorよりも大きい場合、そのセンサは異常があると判断し、異常センサとして、当該センサが取得したデータを除去する(「異常センサ除去」という)。ここで、事前に与える定数csensorは、全トライアル数の5%程度が好適である。また、異常データ除去部114は、事前に与えられた異常データ除去用の定数ctrialと前記のbtrialを比較し、btrialが ctrialよりも大きい場合、そのトライアルは異常があると判断し、異常トライアルとして、当該トライアルの際に取得されたデータを除去する(「異常トライアル除去」という)。ここで、事前に与える定数ctrialは、全センサ数の5%程度が好適である。
【0234】
なお、異常データ除去部1011は、異常センサ除去後にbtrialを数えなおしたり、異常トライアル除去後にbsensorを数えなおしたりしても良い。その際、異常センサ除去と異常トライアル除去のどちらを先に行っても良いし、異常センサ除去と異常トライアル除去を複数回繰り返しても良い。
【0235】
以上の処理により、異常データ除去部1011は、学習データから異常なデータを除き、正常学習データを取得することができる。つまり、異常データ除去部1011は、1以上の各部分学習データ(一センサのサンプルの集合や、一トライアルのサンプルの集合)の特性値(標準偏差のmamp倍を越えたサンプルの個数や、標準偏差のmdiff倍(境界値)を越えたサンプルの個数など)を取得し、当該特性値を用いて、各部分学習データが正常であるか異常であるかを判断し、異常であると判断した部分学習データを、学習データから除き、正常学習データを取得できた。次に、異常データ除去部1011は、異常データ除去処理を行った結果である、正常学習データを一時蓄積する。
【0236】
また、本実験において、以下のように特徴量を決定した。つまり、本実験では64chのEEGから2233点の電流源での活動を推定した。また、弁別に用いる特徴量には、推定電流における周波数帯のパワーから学習・判別を行うことにした。しかし、仮に推定された電流源2233点と複数の周波数帯との組み合わせとなると、特徴量の数は膨大なものとなる。これだけの特徴量を全て用いて学習を行なってしまうと、弁別器にも依存するが、過学習による汎化性能の低下が起こる可能性があり、計算コストの観点からも実用は難しい。
【0237】
従って、これらの問題を防ぐためにも予め有効な特徴量だけを抽出する必要がある。本実験では、その特徴量の抽出方法として、まず多重検定を行い、タスク間で差の大きい電流源と周波数帯域を選んだ後、学習器には、上述した異常データ除去部1011(Sparse Logistic Regression)を用いて、さらなる特徴量の絞込みを行なっている。
【0238】
特徴量は周波数成分のパワーを用いることにした。ただし、今回の実験デザインではイメージに対して明確なオンセット位置がわかないため、タスク中の全区間でのパワーの平均を用いた。
【0239】
次に多重検定の手順について述べる。多重検定を行うために、次の変数を定義した。
n :電流源の番号
N :電流源の総数
l :タスクラベル番号
L :タスクラベルの種類
f :周波数帯域[Hz]
:タスクラベルlの付けられたトライアル番号
:タスクラベルlの付けられたトライアルの総数
【0240】
これらの変数から、P(f,n,l,m)を定義する。P(f,n,l,m)は、次の手順で求められる(図19参照)。
(1)n番目の電流源での推定電流に対して、タスクラベルl:l∈{1,2,3,4}が付けられたm番目のタスク区間の信号を抽出する。
(2)抽出した信号に対して周波数変換を行い、パワーを計算する。
(3)その中のf[Hz]帯域のパワーをP(f,n,l,m)と定義する。
【0241】
こうして求まったP(f,n,l,m)に対して、次の手順で多重検定を行う。なお、この手順の概略図は図20に示す。
(4)P(f,n,l,m)に対して、全トライアルの平均値Pバー(f,n,l)を求める。なお、Pバーとは、Pの上部に「−」が存在する記号である。
(5)それぞれのタスクl,lの組み合わせ(総数=6通り)に対してそれぞれの分散を考慮したt検定を行う(数式11参照)。
【数11】

【0242】
ここで、Vは誤差分散であり、P(f,n,l,m)の同タスク内の分散σ(P(f,n,l,m))を用いて数式12のように表される。
【数12】

(6)次に、同じ組み合わせで求まった統計量tlilj同士の全ての周波数帯での和t'liljを求める(数式13参照)。
【数13】

(7)全ての電流源において、t'liljを求め、i,jの組み合わせごとに値が大きいものからnselect個ずつを特徴量として選び出す。
【0243】
この多重検定からの電流源選択によって、特定のタスク同士の組み合わせに対して、全周波数帯で平均して差が出やすい電流源が選ばれたことになる。ここまでの一連の流れの概略を図20に示す。
【0244】
さらに、先ほどは全周波数帯域の和から求めたt'n(lilj)に対して、今度は同様に全電流源に対する和を取ったt'f(lilj)を求める。t'f(lilj)は、同じ電流源からの推定電流でもタスクごとに違いの出やすい周波数帯域ほど大きな値している。こちらからも同様に値の大きなものからnselect点を、違いの出やすい周波数帯域として選び出す。
多重検定による選定に必要なパラメータnselectについては、今回、テストにも学習にも使用しないSubject1の9月に計測した8日分のデータを用いて検証を行い、nselect=20とし、さらにそれを全休左右半球ごとに選択することにした。
【0245】
こうして定めた電流源と周波数帯域の組み合わせを特徴量として、Sparse Logistic Regressionを用いて学習と弁別を行なった。
(実験結果)
【0246】
実験日ごとに脳表上にマッピングした上で弁別を行なった結果と、比較のため、頭皮で計測された脳波に対して推定電流と同様の方法で多重検定を行って、有効と思われるセンサと周波数帯域を特徴量として選出し、センサレベルで弁別を行った結果を示す。
(1)Subject1
【0247】
Subject1に対して9日間での弁別の結果を図21、図22に示す。この実験結果から帰無仮説として両者に正答率の差がないとしたときのt検定を行った結果、この帰無仮説は有意水準5%では破棄され、一般的には、電流源の推定を行なうことは、弁別において効果があり、弁別性能が向上したとすることができる。また、正解率に関しても、Kappa統計量では0.5〜0.8で、これも、一般的に高い一致率であるということができる。
(2)Subject2
【0248】
Subject2に対して、同様のパラメータでの解析を行ったところ、そのほとんどがノイズやアーティファクトを含む、Bad Sensorとして破棄されてしまった。これは、比較的安定して実験を行えるSubject1の基準が、まだほとんど被験者の経験のないSubject2に対しては厳しすぎた可能性が考えられる。
【0249】
そこで、大きな体の揺れからくるアーティファクトを取り除くため、1Hzのハイパスフィルタを適用し、除去なしでもある程度の推定結果が得られていたことから、センサ・トライアル、共に除去なしでの推定と学習を行った。
【0250】
Subject1と同様にEEGのセンサレベルでのデータに対しても多重比較を行った結果と併せて、図23、図24に示す。
【0251】
同様にt検定を行った結果、有意水準5%で、差があることは証明できた。BMIの被験者として経験の浅いSubject2の方がSubject1に比べてEEGとの差が大きいことがわかった。
【0252】
以上、本実施の形態によれば、階層ベイズにより電流源推定を行なった結果、運動イメージ判別の性能が上がることを示せた。また、考察として、判別に寄与した電流源の分布と、学習数の増減による、性能の比較を行った。なお、以降の考察においては、データ数の関係からSubject1について考察を行う。
(判定に寄与した電流源の分布)
【0253】
本実験では、特徴量は先に述べたとおり、ある電流源での推定電流の特定周波数帯のパワーを用いており、多重解析やスパース化の結果、最終的に重みとして残る電流源は、1日あたり60個前後にまで絞り込まれる。
【0254】
今回の解析の結果、重みとして最終的に残った電流源を示したのが、図25である。Sparse Logistic Regressionでは、1つのタスク対他のタスクでの2値判別を4つのタスクに対してそれぞれ行い、その過程で判別にあまり寄与しないものをスパース化している。つまり、図25によってブロードマンの地図のどの領域がタスクによって異なる傾向があったかを見ることができる。図25によると、3野、5野、7野の領域にある電流源が判別に寄与していることが伺える。ここで3野、5野、7野がどのような機能を持つのかについて言及しておく。1〜3野は一次体性感覚野に分類され、機能としては、皮膚や関節からの情報を受容すると言われている。また、1〜3野は運動野と同様にホムンクルスモデルが成立しているため、活動の位置情報によってその分類が可能になることは十分に考えられる。5野・7野は共に頭頂連合野で、特に7野は視覚と関連して空間認識を行う領域とされている。こういった感覚による情報を受容する感覚野やその受容した情報をほかの機能を持つ領域と遣り取りする際に機能する頭頂連合野は運動には必要不可欠なものであり、サルを用いた実験からも、これらの領域と、運動学習との関連性は指摘されている。
【0255】
今回の実験では、タスクと関連の高そうな領域に推定された信号が判別に強く寄与し、比較的、関連のなさそうな領域での推定電流が判別には関わってこないとしてスパース化されている、ことが分かる。
【0256】
また、さらに厳密に、電流源1つ1つに対して9実験日で選ばれる頻度について調べた。図26は9実験日で判定に寄与した特徴量の電流源、全296点のうち、複数の実験日に渡って選ばれた電流源を、ヒストグラム形式で表したものである。2233点の電流源のうち、半分を超える実験日で選ばれたのは1箇所の電流源だけで、70%以上の電流源が9実験日のうちに1度しか残されていない。ここから、今回の推定の結果、領域という比較的大きい分類からは複数実験日でも共通の傾向が見られるものの、細かな、1点1点の推定された電流源のレベルでは傾向が見られないことがわかった。
(学習数と弁別性能の関係)
【0257】
学習数と弁別性能の関係は、一般的にはある程度の学習数が揃ってからは学習数に増えるに従って弁別性能は向上し、逆に今度はある程度まで弁別性能が上がってくるとデータ数に対する成績向上の割合は徐々にゼロに近づいていく。本実験ではここまで学習数が、本実験内での実験パラダイム10runにあたる、各タスク70トライアル、合計280トライアルでの議論を行ってきたが、学習数を変えることで弁別の成績がどう推移するかを調べた。
【0258】
先に示した、10run分の280トライアルのデータでの学習に対して、実験日に計測した順に1〜5runの合計140トライアル、1〜8runの合計224トライアルでそれぞれ学習し、いずれのパターンも11〜15runでテストを行った。なお、ここでの学習とは電流源推定のための変換行列を計算する際の学習データも兼ねているため、例えば学習データ140トライアルの条件では、電流源推定も140トライアルのデータから行なっている。また、Bad Sensorの閾値は学習データに比例した値をそれぞれで定めた。
【0259】
それぞれの学習データ数での判別結果を図27、図28に示す。学習数を増やすに伴って、弁別の正解率、標準偏差ともに向上が見られた。今回、検証を行った、最も少ない学習数である5run、140トライアル(各タスク35トライアル)でのテスト結果でも66%以上の成績を示すことができた。
(結論)
【0260】
2名の被験者に対して、右手・左手・舌・足の運動イメージ実験を行い、そのときに計測された脳波と脳波から推定された電流とを、同じ手法で弁別を行なった結果、両被験者で有意に弁別性能の向上がみられた。また、その弁別率も被験者平均で72.85%、68.44%、Kappa統計量も一般的に見て0.63、0.58で統計量Subject1に関しては十分に一致する、Subject2に関しては十分とは言えないが、高い水準での一致が見られた。また、この弁別成績は、現在のBMIにおいては、世界的に見ても最高水準の正解率といえる。
【0261】
また、図29は、本明細書で述べたプログラムを実行して、上述した実施の形態の脳情報出力装置等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図29は、このコンピュータシステム340の概観図であり、図30は、コンピュータシステム340のブロック図である。
【0262】
図29において、コンピュータシステム340は、FDドライブ、CD−ROMドライブを含むコンピュータ341と、キーボード342と、マウス343と、モニタ344とを含む。
【0263】
図30において、コンピュータ341は、FDドライブ3411、CD−ROMドライブ3412に加えて、MPU3413と、CD−ROMドライブ3412及びFDドライブ3411に接続されたバス3414と、ブートアッププログラム等のプログラムを記憶するためのROM3415とに接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのRAM3416と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク3417とを含む。ここでは、図示しないが、コンピュータ341は、さらに、LANへの接続を提供するネットワークカードを含んでも良い。
【0264】
コンピュータシステム340に、上述した実施の形態の脳情報出力装置等の機能を実行させるプログラムは、CD−ROM3501、またはFD3502に記憶されて、CD−ROMドライブ3412またはFDドライブ3411に挿入され、さらにハードディスク3417に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ341に送信され、ハードディスク3417に記憶されても良い。プログラムは実行の際にRAM3416にロードされる。プログラムは、CD−ROM3501、FD3502またはネットワークから直接、ロードされても良い。
【0265】
プログラムは、コンピュータ341に、上述した実施の形態の脳情報出力装置等の機能を実行させるオペレーティングシステム(OS)、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム340がどのように動作するかは周知であり、詳細な説明は省略する。
【0266】
なお、上記プログラムにおいて、ハードウェアによって行われる処理、例えば、モデムやインターフェースカードなどで行われる処理(ハードウェアでしか行われない処理)は含まれない。
【0267】
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【0268】
また、上記各実施の形態において、各処理(各機能)は、単一の装置(システム)によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【0269】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【0270】
以上のように、本発明にかかる脳情報出力装置は、精度の高い意図検出ができ、BMI等として有用である。
【符号の説明】
【0271】
1、2 ロボットシステム
11、21 脳情報出力装置
12 ロボット
111、1011 意図判別情報格納部
112、1012 第一学習データ取得部
113、1013 第二学習データ取得部
114、1014 学習特徴量群取得部
115、1015 意図判別情報蓄積部
116、1016 第一脳活動データ取得部
117、1017 第二脳活動データ取得部
118、1018 特徴量群取得部
119、1019 意図識別子取得部
120 意図識別子出力部
121 動作情報格納部
122 意図識別子受付部
123 実行部
1011 異常データ除去部
10111 異常トライアル除去手段
10112 異常センサ除去手段
1191、10191 確率算出手段
1192、10192 意図識別子取得手段

【特許請求の範囲】
【請求項1】
ユーザの意図を識別する情報である意図識別子と、当該意図識別子で識別される意図の元にユーザが一連の行為であるトライアルを行った際に当該ユーザの頭蓋外部から取得された脳活動のデータである第一学習データを、脳内の脳活動データに変換された第二学習データから、抽出された1以上の特徴量である学習特徴量群とを対に有する意図判別情報を、2以上格納し得る意図判別情報格納部と、
ユーザの頭蓋外部から、脳活動のデータである第一脳活動データを取得する第一脳活動データ取得部と、
前記ユーザの頭蓋外部から取得された第一脳活動データを、脳内の脳活動データに変換し、第二脳活動データを取得する第二脳活動データ取得部と、
前記第二脳活動データから、1以上の特徴量である入力特徴量群を取得する特徴量群取得部と、
前記入力特徴量群に対応する意図識別子を、前記意図判別情報格納部に格納されている2以上の意図判別情報から取得する意図識別子取得部と、
前記意図識別子取得部が取得した意図識別子を出力する意図識別子出力部とを具備する脳情報出力装置。
【請求項2】
一の意図の元にユーザが一連の行為であるトライアルを行った際に、1以上のセンサを用いて、当該センサごとに、前ユーザの頭蓋外部から脳活動を示す時系列データである第一学習データを取得する第一学習データ取得部と、
前記ユーザの頭蓋外部から取得された第一学習データを、脳内の脳活動のデータに変換し、第二学習データを取得する第二学習データ取得部と、
前記第二学習データから、1以上の特徴量である学習特徴量群を取得する学習特徴量群取得部と、
前記第二学習特徴量群と、前記一の意図を識別する意図識別子とを有する意図判別情報を、前記意図判別情報格納部に蓄積する意図判別情報蓄積部とをさらに具備する脳情報出力装置。
【請求項3】
前記第二脳活動データ取得部は、
前記第一脳活動データに対して、階層変分ベイズ法を用いて第二脳活動データを取得する請求項1または請求項2記載の脳情報出力装置。
【請求項4】
前記意図識別子取得部は、
前記意図判別情報格納部の2以上の意図判別情報を用いて、前記特徴量群取得部が取得した入力特徴量群が、前記2以上の意図判別情報に含まれる2以上の意図識別子の各々に対応する確率を、前記2以上の意図識別子ごとに算出する確率算出手段と、
前記確率算出手段が算出した意図識別子ごとの確率から、最も大きい確率に対応する意図識別子を取得する意図識別子取得手段とを具備する請求項1から請求項3いずれか記載の脳情報出力装置。
【請求項5】
前記第一学習データおよび前記第一脳活動データは、脳波データである請求項1から請求項4いずれか記載の脳情報出力装置。
【請求項6】
意図識別子と当該意図識別子に対応する動作を行わせる動作モジュールとの組である動作情報を2以上格納し得る動作情報格納部と、
請求項1から請求項5いずれか記載の脳情報出力装置から出力された意図識別子を受け付ける意図識別子受付部と、
前記意図識別子受付部が受け付けた意図識別子に対応する動作モジュールを実行する実行部とを具備するロボット。
【請求項7】
記憶媒体に、ユーザの意図を識別する情報である意図識別子と、当該意図識別子で識別される意図の元にユーザが一連の行為であるトライアルを行った際に当該ユーザの頭蓋外部から取得された脳活動のデータである第一学習データを、脳内の脳活動データに変換された第二学習データから、抽出された1以上の特徴量である学習特徴量群とを対に有する意図判別情報を、2以上格納しており、
ユーザの頭蓋外部から、脳活動のデータである第一脳活動データを取得する第一脳活動データ取得ステップと、
前記ユーザの頭蓋外部から取得された第一脳活動データを、脳内の脳活動データに変換し、第二脳活動データを取得する第二脳活動データ取得ステップと、
前記第二脳活動データから、1以上の特徴量である入力特徴量群を取得する特徴量群取得ステップと、
前記入力特徴量群に対応する意図識別子を、前記記憶媒体に格納されている2以上の意図判別情報から取得する意図識別子取得ステップと、
前記意図識別子取得ステップで取得された意図識別子を出力する意図識別子出力ステップとを具備する脳情報出力方法。

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図29】
image rotate

【図30】
image rotate

【図1】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate


【公開番号】特開2010−198234(P2010−198234A)
【公開日】平成22年9月9日(2010.9.9)
【国際特許分類】
【出願番号】特願2009−41338(P2009−41338)
【出願日】平成21年2月24日(2009.2.24)
【出願人】(000005326)本田技研工業株式会社 (23,863)
【出願人】(393031586)株式会社国際電気通信基礎技術研究所 (905)
【Fターム(参考)】