脳活動計測装置、脳活動計測方法、脳活動推定装置、及び脳活動推定方法
【課題】原利用者の脳活動信号を推定することができる脳活動推定装置、脳活動推定方法、脳活動計測装置及び脳活動計測方法を提供する
【解決手段】情報提示部は第1の利用者に知覚可能な情報を提示し、脳活動計測部は前記第1の利用者の脳活動を表す脳活動信号を取得し、個別変換部は前記第1の利用者の脳活動信号と第2の利用者の脳活動信号との相関関係を示す個別変換情報に基づいて前記取得した脳活動信号から前記第2の利用者の脳活動信号を推定する。
【解決手段】情報提示部は第1の利用者に知覚可能な情報を提示し、脳活動計測部は前記第1の利用者の脳活動を表す脳活動信号を取得し、個別変換部は前記第1の利用者の脳活動信号と第2の利用者の脳活動信号との相関関係を示す個別変換情報に基づいて前記取得した脳活動信号から前記第2の利用者の脳活動信号を推定する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、脳活動計測装置、脳活動計測方法、脳活動推定装置、及び脳活動推定方法に関する。
【背景技術】
【0002】
人間の行動を司る脳が処理している情報を推定するために脳の活動とその活動によって生じた信号との関連性をモデル化することが試みられている。例えば、人間の脳活動によって生じた信号を計測し、計測した信号に基づき脳の活動を検証する技術が提案されている。
例えば、特許文献1に記載の発明では、頭部周囲に生じる信号強度分布の時系列を計測し、計測された時系列データに基づき、脳神経モデルにおける各電流要素の大きさの分布を再構成し、各電流要素の時系列データに基づき脳活動モデルを設定し、電流要素の時系列データに基づき脳活動モデルの因果関係を推定することにより、脳活動モデルを検証する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2008−229238号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載の従来技術では、脳活動モデルを設定するために、膨大な時系列データを取得する必要がある。取得すべきデータは、例えば、MRI(Magnetic Resonance Imaging;核磁器共鳴画像法)で取得した画像情報や脳波(Electroencephalogram;EEG)信号である。脳活動モデルを構築するためには、大規模な計測装置を用いて利用者(被計測者)を長時間拘束しなければならない。加えて、利用者に共通の情報が提示されても計測された脳活動信号は利用者個々に異なり、その都度計測を要するという問題があった。
【0005】
本発明は上記の点に鑑みてなされたものであり、目標利用者の脳活動信号を推定することを可能にする脳活動計測装置、脳活動計測方法、脳活動推定装置、及び脳活動推定方法を提供する。
【課題を解決するための手段】
【0006】
(1)本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、利用者に知覚可能な情報を提示する情報提示部と、前記利用者の脳活動を表す脳活動信号を取得する脳活動計測部と、第1の利用者の脳活動信号から第2の利用者の脳活動信号への変換行列を示す個別変換情報を算出する個別変換情報算出部と、を備えることを特徴とする脳活動計測装置である。
【0007】
(2)本発明のその他の態様は、脳活動推定装置における方法において、前記脳活動推定装置が、利用者に知覚可能な情報を提示する第1の過程と、前記脳活動推定装置が、前記利用者の脳活動を表す脳活動信号を取得する第2の過程と、前記脳活動推定装置が、第1の利用者の脳活動信号と第2の利用者の脳活動信号との相関関係を示す個別変換情報を算出する過程と、を有することを特徴とする脳活動計測方法である。
【0008】
(3)本発明のその他の態様は、第1の利用者に知覚可能な情報を提示する情報提示部と、前記第1の利用者の脳活動を表す脳活動信号を取得する脳活動計測部と、前記第1の利用者の脳活動信号と第2の利用者の脳活動信号との相関関係を示す個別変換情報に基づいて前記取得した脳活動信号から前記第2の利用者の脳活動信号を推定する個別変換部と、を備えることを特徴とする脳活動推定装置である。
【0009】
(4)本発明のその他の態様は、第1の利用者の脳活動信号と第2の利用者の脳活動信号との相関関係を示す個別変換情報を記憶する個別変換情報記憶部を備える脳活動推定装置における方法において、前記脳活動推定装置が、前記第1の利用者に知覚可能な情報を提示する過程と、前記脳活動推定装置が、前記第1の利用者の脳活動を表す脳活動信号を取得する過程と、前記脳活動推定装置が、前記個別変換情報に基づいて前記取得した脳活動信号から前記第2の利用者の脳活動信号を推定する過程と、を有することを特徴とする脳活動推定方法である。
【発明の効果】
【0010】
また、本発明の一態様(1)によれば、目標利用者の脳活動信号を推定するための個別変換情報を取得することができる脳活動計測装置を提供する。
また、本発明のその他の態様(2)によれば、目標利用者の脳活動信号を推定するための個別変換情報を取得することができる脳活動計測方法を提供する。
また、本発明のその他の態様(3)によれば、目標利用者の脳活動信号を推定することができる脳活動推定装置を提供する。
また、本発明のその他の態様(4)によれば、目標利用者の脳活動信号を推定することができる脳活動推定方法を提供する。
【図面の簡単な説明】
【0011】
【図1】本発明の一態様に係る脳活動計測処理の概要を示す概念図である。
【図2】本発明の一態様に係る脳活動推定処理の概要を示す概念図である。
【図3】本発明の一実施形態に係る脳活動推定装置の構成を示す概略図である。
【図4】本実施形態に係る脳活動信号の一例を示す図である。
【図5】本実施形態に係る計測用電極を設置する位置の一例を示す概念図である。
【図6】本実施形態に係る提示情報の一例を示す図である。
【図7】本実施形態に係る提示情報のその他の例を示す図である。
【図8】本実施形態に係る脳活動信号のその他の例を示す図である。
【図9】本実施形態に係る提示情報再現部が再構成した提示情報の一例を示す図である。
【図10】本実施形態に係る脳活動推定装置が行う脳活動計測処理の一例を示すフローチャートである。
【図11】本実施形態に係る脳活動推定装置が行う脳活動推定処理の一例を示すフローチャートである。
【図12】本実施形態に係るスパース回帰処理を示すフローチャートである。
【図13】本実施形態に係る脳活動信号間における相関の一例を示す表である。
【図14】本実施形態に係る提示情報の正答率の一例を示す表である。
【図15】本実施形態に係る提示情報間における相関の一例を示す表である。
【発明を実施するための形態】
【0012】
まず、図面を参照しながら本発明の概要について説明する。
図1は、本発明の一態様に係る脳活動計測処理の概要を示す概念図である。
図1は、2名の利用者各々について脳活動信号を計測し、計測した脳活動信号に基づいて一方の利用者の脳活動信号と他方の利用者の脳活動信号との相関関係を示す個別変換情報を算出する状況を示す。この個別変換情報は、一方の利用者の脳活動信号に基づいて他方の利用者の脳活動信号を生成するために用いる情報である。変換の基礎となる(変換元)脳活動信号を計測した一方の利用者(被計測者)を原利用者(Source Subject)と呼び、変換する目標(変換先)となる脳活動信号を計測した被計測者又は脳活動信号を算出しようとする利用者を目標利用者(Target Subject)と呼ぶ。
【0013】
図1は、原利用者及び目標利用者に共通の画像を提示し、各利用者について計測した脳活動信号を計測する。このとき各利用者の脳は、目視した画像に関する情報を処理し、その活動を示す脳活動信号を発生する。脳活動信号は、通例、複数の要素の信号値を要素信号として含むベクトルで表される。図1では、各要素信号の信号値の強度を濃淡で示す。これにより、図1は、共通の画像を目視する被計測者間において計測された脳活動信号が異なることを示す。また、原利用者の脳活動信号の各要素信号から目標利用者の一つの要素信号に向かう矢印は、目標利用者の一つの要素信号を原利用者の脳活動信号の各要素信号に基づいて個別変換情報を算出することを示す。
【0014】
図2は、本発明の一態様に係る脳活動推定処理の概要を示す概念図である。
図2は、原利用者にのみ画像を提示して原利用者の脳活動信号を計測し、計測した脳活動信号に基づいて目標利用者の脳活動信号を推定する状況を示す。
図2では、原利用者について測定した脳活動信号と目標利用者について推定した脳活動信号を示す。原利用者の脳活動信号の各要素信号から目標利用者の一つの要素信号に向かう矢印は、目標利用者の一つの要素信号を原利用者の脳活動信号の各要素信号に基づいて推定することを示す。
【0015】
次に、本発明の実施形態について説明する。
図3は、本実施形態に係る脳活動推定装置1の構成を示す概略図である。
脳活動推定装置1は、脳活動計測部101、提示情報記憶部102、情報提示部103、脳活動信号記憶部104、個別変換変数算出部105、個別変換変数記憶部106、個別変換部107、提示情報分類モデル生成部108、提示情報分類モデル記憶部109、提示情報再現モデル生成部110、提示情報再現モデル記憶部111、変換情報処理部112及びノイズ除去部114を含んで構成される。
【0016】
脳活動計測部101は、被計測者(利用者)の脳が活動するときに発生する脳活動信号を計測し、計測した信号を脳活動信号記憶部104に記憶する。
脳活動計測部101が計測する脳活動信号は、例えば、MRI(Magnetic Resonance Imaging;磁気共鳴画像法)の一種であるEPI(Echo Planar Imaging;エコープラナー法)信号である。EPI信号に含まれる要素信号は、3次元の被測定空間を構成する空間の単位であるボクセル(voxel)毎に定められている。1回の測定で得られる、脳活動信号は、例えば、水平方向64ボクセル×垂直方向64ボクセル×上下方向64ボクセルであり、ボクセル間隔は水平方向、垂直方向、上下方向、各3mmである。
【0017】
脳活動計測部101は、EPI信号を取得するには、例えば、計測信号生成部1011、計測信号送信部1012、及び脳活動信号受信部1013を含んで構成される。
【0018】
計測信号生成部1011は、脳活動信号を計測するためにの磁場の信号を表す計測信号を生成し、生成した計測信号を計測信号送信部1012に出力する。計測信号生成部1011は、例えば、信号の継続時間が極めて短い(例えば、2ms)パルス波を計測信号として生成する。
計測信号送信部1012は、計測信号生成部1011から入力された計測信号に基づいて磁場を生成し、生成した磁場を被計測者の頭部に送信する。入力された計測信号がパルス波である場合、計測信号送信部1012はパルス磁場を生成し、生成したパルス磁場を被計測者に送信する。計測信号送信部1012は、同時に被計測位置によって強度が異なる勾配磁場を被計測者の頭部に送信する。
【0019】
脳活動信号受信部1013は、被計測者の頭部における部位毎の活動を示す脳活動信号を受信する。脳活動信号受信部1013は、脳活動信号として、例えば緩和現象によって生じた信号を検出する。緩和現象とは、磁場の送信を停止した後に被計測者の体内の分子の磁化が定常状態に戻る現象である。脳活動信号受信部1013は、検出した信号を、勾配磁場の強度に基づいて被計測空間の位置(ボクセル)毎の要素信号に分解し、脳活動信号(例えば、EPI信号)を生成する。脳活動信号受信部1013は、検出した信号を要素信号に分解するために、例えばフーリエ変換(Fourier Transform)を行う。要素信号の強度は、被計測空間内の分子として血液中のヘモグロビンの量に比例するため、対応する部位(ボクセル)における脳活動の度合いを示す。
脳活動信号受信部1013は、生成した脳活動信号を脳活動信号記憶部104に出力する。
【0020】
ここで、脳活動信号受信部1013が取得した脳活動信号の一例を示す。
図4は、本実施形態に係る脳活動信号の一例を示す図である。
図4において画像mi1は、ある被計測者の頭部の断面上の脳活動を示す要素信号を画素値として示す画像である。画像mi1の濃淡は、要素信号の信号値を示し、明るい部分ほど信号値が大きい。画像mi1において、上側が前頭葉付近を示す。
【0021】
図3に戻り、脳活動計測部101は、上述のEPI信号に限らず、脳波を脳活動信号として取得してもよい。脳活動計測部101は、脳波を構成する要素信号として電位を取得するために、被計測者の頭部に設置する計測用電極を複数個(例えば18個)備える。
計測用電極を設置する位置の一例について説明する。
図5は、本実施形態に係る計測用電極を設置する位置の一例を示す概念図である。
図5の上側は、被計測者の前方を示す。計測用電極を設置する位置は、頭部平面ep1において、左前頭極部Fp1、左前頭部F3、左中心部C3、左頭頂部P3、左後頭部O1、左側頭中部T3、左側頭後部T5、正中前頭部Fz、正中中心部Cz、正中頭頂部Pz、右前頭極部Fp2、右前頭部F4、右中心部C4、右頭頂部P4、右後頭部O2、右側頭中部T4、右側頭後部T6、及び左耳介部A1もしくは右耳介部A2の何れか一方である。そのうち、脳活動計測部101は、左耳介部A1もしくは右耳介部A2の何れか一方に設置した電極で取得された電位を基準電位とし、その他の電極で取得した電位との電位差を各々脳活動信号の要素信号として取得する。
【0022】
図3に戻り、提示情報記憶部102は、被計測者に提示する提示情報を示す提示情報信号と提示情報識別情報とを対応付けて記憶する。提示情報信号は、例えば、画像信号である。提示情報識別情報は、提示情報信号の個々を識別する信号である。
図6は、本実施形態に係る提示情報の一例を示す図である。
図6(a)−(d)は、提示情報の一例として画像it1−it4を各々示す。画像it1−it4は、各々水平方向及び垂直方向について複数の領域で区分され、各領域が黒色又は白色で示されるランダムドットパターンである。ランダムドットパターンの使い分けは、被測定者の視野に対応した活動野全般にわたる脳活動状況を明確に区別するために好都合である。そのため、ランダムドットパターンは、例えば後述する個別変換情報の算出や、提示情報再現モデルの生成の際に用いられる。
【0023】
図7は、本実施形態に係る提示情報のその他の例を示す図である。
図7は、提示情報として画像ip1(図7(a))、画像ip2(図7(b))、画像ip3(図7(c))、画像ip4(図7(d))及び画像ip5(図7(e))を示す。画像ip1は、正方形の塗りつぶし部分の中心部に、正方形の白抜き部分を有する画像である。画像ip2は、正方形の塗りつぶし部分の内部に、正方形の白抜き部分を有し、その白抜き部分の内部に正方形の塗りつぶし部分を有する画像である。画像ip3は、正方形の塗りつぶし部分の中心部に、白抜きの十字を有する画像である。画像ip4は、正方形の塗りつぶし部分の中心部に、白抜きの×印を有する画像である。画像ip5は、正方形の塗りつぶし部分の内部に、正方形の白抜き部分を有し、その白抜き部分の内部に、正方形の塗りつぶし部分を有する画像である。
ここで、画像ip2の正方形の白抜き部分の一辺の長さは、画像ip5の正方形の白抜き部分の一辺の長さよりも小さい。画像ip2の正方形の白抜き部分の幅は、画像ip5の正方形の白抜き部分の幅よりも小さい。画像ip2の正方形の塗りつぶし部分の一辺の長さは、画像ip5の正方形の塗りつぶし部分の一辺の長さよりも小さい。
画像ip1−ip5は、例えば後述する提示情報分類モデルの算出や、目標利用者の脳活動信号を推定するために用いる原利用者の脳活動信号を計測する際に用いられる。
なお、提示情報記憶部102が記憶する提示情報信号は、静止画を示す画像信号に限らず、本実施形態では動画を示す画像信号や音声信号であってもよい。
【0024】
図3に戻り、情報提示部103は、提示情報記憶部102から提示情報信号と提示情報識別符号を読み出し、脳活動計測部101が脳活動信号を取得するとき、読み出した提示情報信号に基づく提示情報を被計測者に提示する。情報提示部103は、提示した提示情報に対応する提示情報識別符号を脳活動信号記憶部104に記憶する。
脳活動信号記憶部104は、情報提示部103が提示する提示情報に対応する提示情報識別符号と、脳活動計測部101から入力された脳活動信号を対応付けて、被計測者及び時刻毎に記憶する。
【0025】
ノイズ除去部114は、脳活動信号記憶部104から読み出された脳活動信号からノイズ成分を除去し、ノイズ成分が除去された脳活動信号を個別変換変数算出部105、個別変換部107、提示情報分類モデル生成部108及び提示情報再現モデル生成部110に出力する。ノイズ除去部114は、例えば、カットオフ周波数が1/128Hzの高域通過フィルタ(High Pass Filter, HPF;ハイパスフィルタ)を備える。これにより、ノイズ除去部114は、カットオフ周波数よりも低い周波数のノイズ成分を除去する。
なお、ノイズ除去部114は、脳活動信号受信部1013から入力された脳活動信号からノイズ成分を除去し、ノイズ成分が除去された脳活動信号を脳活動信号記憶部104に記憶するようにしてもよい。その場合、個別変換変数算出部105、個別変換部107、提示情報分類モデル生成部108、及び提示情報分類モデル生成部110は、脳活動信号を脳活動信号記憶部104から直接読み出す。
【0026】
個別変換変数算出部105は、脳活動信号記憶部104から2名の被計測者から各々取得した提示情報識別符号毎の脳活動信号をノイズ除去部114を介して読み出す。個別変換変数算出部105は、脳活動信号を読み出す前に、同一の提示情報識別符号に対応する脳活動信号を脳活動信号記憶部104が少なくとも被計測者2名分記憶しているか否かを判断する。個別変換変数算出部105は、利用者による操作に伴って操作入力信号を入力され、入力された操作入力信号に対応する被計測者又は提示情報識別符号の脳活動信号を脳活動信号記憶部104から読み出してもよい。
【0027】
ここで、個別変換変数算出部105が読み出された脳活動信号の一例を示す。
図8は、本実施形態に係る脳活動信号のその他の例を示す図である。
図8(a)は、情報提示部103が被計測者2名に各々提示した画像ip1を示す。図8(b)は、一方の被計測者から取得した脳活動信号を示す画像mi1と画像mpi1を示す。画像mi1の中央よりも下に破線で示されている矩形の部分と、その部分から画像mpi1の左上端及び右上端に向かう破線は、画像mpi1が画像mi1の矩形の部分を拡大表示していることを示す。
【0028】
図8(c)は、他方の被計測者から取得した脳活動信号を示す画像mi2と画像mpi2を示す。画像mi2の中央よりも下に破線で示されている矩形の部分と、その部分から画像mpi2の左上端及び右上端に向かう破線は、画像mpi2が画像mi2の矩形の部分を拡大表示していることを示す。また、画像mi2に示される矩形の部分は、画像mi1に示される矩形の部分と同一の部位である。
なお、画像mpi1と画像mpi2の濃淡の分布が異なる。このことから、図8は、共通の提示情報が提示されていても、計測された脳活動信号が被測定者により異なることを示している。
【0029】
個別変換変数算出部105は、共通の提示情報について一方の被計測者の脳活動信号と他方の被測定者の脳活動信号に基づいて、一方の被計測者の脳活動信号から他方の被測定者の脳活動信号に変換するための個別変換変数(個別変換情報)を算出する。
目標利用者の脳活動信号yは、式(1)に示すように、例えば計測された原利用者の脳活動信号x_msrdを個別変換行列Wに基づき線形結合(linear combination,weighting;重み付け)して推定することができる。但し、推定した目標利用者の脳活動信号をyestmを用いて表す。以降、変数名の末尾に_msrdを付して計測値であること、_estmを付して推定値であること、_targ_を付して目標値であることを区別する。但し、これらの種別を区別する必要がない場合や、何れの種別も該当する場合には、特にこのような接尾辞を付さない。
【0030】
【数1】
【0031】
式(1)において、脳活動信号y_estmは、推定されたボクセルiの要素信号値yi’_estmを含むDy次元(Dyは2又は2よりも大きい自然数、例えば1000)のベクトルである。原利用者の脳活動信号x_msrdは、ボクセルjの要素信号値xjを含むDx次元(Dxは2又は2よりも大きい自然数、例えば1000)のベクトルである。個別変換行列Wは、要素信号値yi’を求めるために、ボクセルjの要素信号値xjに乗じる重み係数wijを含むDy行Dx列の行列である。即ち、個別変換行列Wは、目標利用者の脳活動信号y_msrdと原利用者の脳活動信号x_msrdの相関関係を示す。個別変換変数算出部105は、推定した脳活動信号y_estmと脳活動信号y_msrdが最も近似(尤度が最大)するように個別変換行列Wを算出する。
【0032】
個別変換変数算出部105は、個別変換行列Wを算出するために、例えばスパース回帰(sparse regression)を行う。スパース回帰では、原利用者の脳活動信号xに基づく特徴量(feature)のうち目標利用者の脳活動信号yに寄与しない特徴量を削除することで、過学習(overfitting、過剰適合)を避けることができる。過学習とは、学習対象となる変数(この例では、個別変換行列W)が学習に用いた訓練データ(この例では、脳活動信号y)に対して適合しているが、未知のデータに対して適合していないことを指す。過学習を避けることで、脳活動信号x又は脳活動信号yに含まれるノイズ成分の影響や、個別変換行列Wの次元を低減するとともに予測精度の低下を回避することができる。なお、スパース回帰処理については後述する。
個別変換変数記憶部106は、原利用者と目標利用者の組毎に個別変換行列W(個別変換情報)を記憶する。
【0033】
個別変換部107は、脳活動信号記憶部104からノイズ除去部114を介して、提示情報識別符号及び原利用者に対応する脳活動信号x_msrdを読み出し、個別変換変数記憶部106から原利用者と目標利用者の組に対応する個別変換行列Wを読み出す。
個別変換部107は、利用者による操作に伴って操作入力信号が入力され、入力された操作入力信号に対応する提示情報識別符号及び目標利用者に対応する脳活動信号y_msrdをノイズ除去部114を介して脳活動信号記憶部104から読み出してもよい。また、個別変換部107は、その操作入力信号に対応する原利用者及び目標利用者の組に対応する個別変換行列Wを個別変換変数記憶部106から読み出してもよい。
【0034】
個別変換部107は、読み出した脳活動信号x_msrdを読み出した個別変換行列Wに基づいて目標利用者の脳活動信号y_estmを推定する。ここで、個別変換部107は、式(1)を用いて目標利用者の脳活動信号y_estmを推定する。
個別変換部107は、推定した脳活動信号y_estmを変換情報処理部112に出力する。
【0035】
提示情報分類モデル生成部108は、脳活動信号記憶部104からノイズ除去部114を介して被計測者(例えば目標利用者)の脳活動信号y_msrdと、脳活動信号記憶部104から直接、提示情報識別符号を読み出す。提示情報分類モデル生成部108は、読み出した脳活動信号y_msrdと提示情報識別情報との関連を示す提示情報分類モデルを生成する。
目標利用者の脳活動信号yが与えられているとき、提示情報ipが目標利用者に提示されている確率pip_estmは、例えば、式(2)に示すように、脳活動信号yの提示情報分類行列Vに基づく線形結合の正規化指数関数(normalized exponential function,softmax function;ソフトマックス関数)を用いて表すことができると仮定する。正規化指数関数は、変数が正の無限大に近づくほど最大値1に漸近し、変数が負の無限大に近づくほど最小値0に漸近する関数である。
【0036】
【数2】
【0037】
式(2)において、vip,iは、提示情報ipに対してボクセルiの要素信号値yiに乗ずる分類重み係数である。vip,0は、提示情報ipについて脳活動信号yでは説明できない偏り値(bias、バイアス値)である。Dip(2又は2よりも大きい自然数)は提示情報の種類の総数である。vip,iを要素として含む行列を、提示情報分類行列Vと呼ぶ。
【0038】
そこで、提示情報分類モデル生成部108は、確率pip_estmを要素として含む要素数Dip個の確率ベクトルp_estmを生成する。
提示情報分類モデル生成部108は、読み出した提示情報識別符号(即ち、符号ip)に基づき提示情報ipを示す目標確率ベクトルp_targを生成する。
目標確率ベクトルp_targは、Dip個の要素値pipを含むベクトルである。ここで、提示情報分類モデル生成部108は、提示情報ip’が提示されたとき、ip’番目の要素値pip_targを1と定め、他の要素値(ip≠ip’)を0と定める。即ち、提示情報分類行列Vは、目標利用者の脳活動信号y_msrdと対応する提示情報を示す目標確率ベクトルp_targの相関関係を示すDip行Dy+1列の行列である。列の数は、提示情報毎の偏り値vip,0を含む。
提示情報分類モデル生成部108は、推定した確率ベクトルp_estmが目標確率ベクトルp_targを最も近似(例えば、尤度[likelihood]が最大)するように提示情報分類行列Vを算出する。
【0039】
提示情報分類モデル生成部108は、脳活動信号y、目標確率ベクトルp_targ、推定した確率ベクトルp_estmに基づいて、例えば、後述するスパース推定を行って提示情報分類行列Vを算出する。スパース推定により、提示情報分類行列Vの次元を低減するとともに予測精度の低下を回避することができる。提示情報分類モデル生成部108は、スパース推定において、脳活動信号x_msrd、脳活動信号y_msrd、式(1)を用いて推定した脳活動信号y_estm及び個別変換行列Wの代わりに、脳活動信号y_msrd、目標確率ベクトルp_targ、式(2)を用いて算出した確率ベクトルp_estm及び提示情報分類行列Vを各々当てはめて実行する。
提示情報分類モデル生成部108は、後述するスパース推定において分類重み係数の平均値<vip, i>を要素毎に算出する。提示情報分類モデル生成部108は、算出した分類重み係数の平均値<vip, i>を要素値(分類重み係数vip, i)として含む提示情報分類行列Vを提示情報分類モデル記憶部109に記憶する
【0040】
提示情報分類モデル記憶部109は、提示情報毎に提示情報分類行列Vを提示情報分類モデルとして記憶する。
【0041】
提示情報再現モデル生成部110は、脳活動信号記憶部104からノイズ除去部114を介して被計測者(例えば目標利用者)の脳活動信号y_msrdと提示情報識別符号を読み出し、読み出した提示情報識別符号に対応する提示情報ipを提示情報記憶部102から読み出す。
提示情報再現モデル生成部110は、提示情報再現モデル記憶部111から提示特徴量情報を読み出す。この提示特徴量情報は、例えば局所基底画像(local image basis;ローカル画像基底)φmである。mは、個々の局所基底画像を識別するための局所基底画像識別符号である。
【0042】
局所基底画像とは、1枚(frame,フレーム)の画像(全体画像)における一部の領域を表す画像信号である。局所基底画像は、1個以上の画素を含み、例えば、水平方向1画素×垂直方向1画素、水平方向1画素×垂直方向2画素、水平方向2画素×垂直方向1画素、水平方向2画素×垂直方向2画素の何れでもよい。画素毎の信号値は、局所基底画像の領域に含まれる画素であることを示す値(例えば1)又は、その領域に含まれる画素でないことを示す値(例えば0)を示す。
【0043】
提示情報再現モデル生成部110は、読み出した脳活動信号y_msrd及び提示特徴量情報として局所基底画像に基づき、提示情報として画像信号を再現するための提示情報再現モデルを生成する。
例えば、目標利用者の脳活動信号yが与えられているとき、提示情報ipである1枚の画像を表す画像信号F_estm(r|y)は、例えば、式(3)に示すように局所基底画像φm(r)と推定したコントラスト値(contrast)Cm_estm(y)の積の線形結合で表すことができる。
【0044】
【数3】
【0045】
式(3)において、rは、画像信号に含まれる画素の位置を示す。mは、個々の局所基底画像を識別する識別符号である。Mは、局所基底画像の個数である。λmは、コントラスト値Cm_estm(y)に乗ずる結合係数(combination coefficient)である。コントラスト値Cm_estm(y)は、局所基底画像m毎の濃淡を示す値である。局所基底画像φm(r)は、位置rがその局所基底画像の領域に含まれるとき信号値1をとり、位置rがその領域に含まれないとき信号値0をとることを示す。
【0046】
ここで、コントラスト値Cm_estm(y)は、例えば式(4)に示すように、目標利用者の脳活動信号yの線形結合で表されると仮定する。
【0047】
【数4】
【0048】
式(4)において、umiはボクセルiの要素信号値yiに乗じるコントラスト重み係数である。ここで、コントラスト値Cm_estm(y)を要素として含むベクトルをコントラストベクトルVC_estmと呼ぶ。コントラストベクトルVC_estmは、Dy+1列のベクトルである。コントラスト重み係数umiを要素として含む行列をコントラスト行列Uと呼ぶ。コントラスト行列Uは、M行Dy+1列の行列である。列の数には、局所基底画像φm毎の偏り値um0を含む。即ち、コントラスト行列Uは、目標利用者の脳活動信号yと局所基底画像m毎のコントラスト値Cm_estm(y)の相関関係を示す。
【0049】
そこで、提示情報再現モデル生成部110は、コントラスト値Cm_estm(y_msrd)を要素として含む要素数M個のコントラストベクトルVC_estmを推定する。
提示情報再現モデル生成部110は、目標利用者に提示した提示情報ipから局所基底画像φmが占める領域rにおける画像信号F_targ(r)を、局所基底画像m毎の目標とするコントラスト値Cm_targとして抽出する。提示情報再現モデル生成部110は、抽出したコントラスト値Cm_targを含む目標コントラストベクトルVC_targを生成する。
提示情報再現モデル生成部110は、推定したコントラストベクトルVC_estmが目標コントラストベクトルVC_targを最も近似(例えば、尤度が最大)するようにコントラスト行列Uを算出する。
【0050】
提示情報再現モデル生成部110は、脳活動信号y、目標コントラストベクトルVC_targ、推定したコントラストベクトルVC_estmに基づいて、例えば、後述するスパース推定を行ってコントラスト行列Uを算出する。スパース推定により、コントラスト行列Uの次元を低減するとともに予測精度の低下を回避することができる。提示情報再現モデル生成部110は、スパース推定において、脳活動信号x_msrd、脳活動信号y_msrd、式(1)を用いて推定した脳活動信号y_estm及び個別変換変数Wの代わりに、脳活動信号y、目標コントラスト信号VC_targ、式(4)を用いて算出したコントラストベクトルVC_estm及びコントラスト行列Uを各々当てはめて実行する。
提示情報再現モデル生成部110は、後述するスパース推定においてコントラスト重み係数の平均値<umi>を要素毎に算出する。提示情報再現モデル生成部110は、算出したコントラスト重み係数の平均値<umi>を要素値umiとして含むコントラスト行列Uを提示情報再現モデル記憶部111に記憶する。
【0051】
提示情報再現モデル生成部110は、コントラスト行列Uと目標利用者の脳活動信号yに基づき式(4)を用いてコントラストベクトルVC_estmを提示情報ip毎に生成する。
提示情報再現モデル生成部110は、提示情報ip毎に生成したコントラストベクトルVC_estm、結合係数λm、及び局所基底画像φm(r)に基づき式(3)を用いて提示情報ipの画像信号F_estm(r|y)を推定する。
ここで、提示情報再現モデル生成部110は、推定した画像信号F_estm(r|y)と元の画像信号F_targ(r|y)との誤差が最小となるように、例えば最小二乗法(mean square method)を用いて結合係数λmを算出する。
提示情報再現モデル生成部110は、算出した結合係数λmを提示情報再現モデル記憶部111に記憶する。
【0052】
提示情報再現モデル記憶部111は、局所基底画像φm(r)、結合係数λm及びコントラスト行列Uを提示情報再現モデルとして記憶する。
【0053】
変換情報処理部112は、個別変換部107から入力された目標利用者の脳活動信号y_estmを処理して、目標利用者に対して提示された提示情報であって、目標利用者の脳内で処理した情報を推定する。変換情報処理部112が推定する情報は、例えば提示情報の種別や提示情報自体である。
変換情報処理部112は、例えば提示情報分類部1121及び提示情報再現部1122を含んで構成される。
【0054】
提示情報分類部1121は、個別変換部107から目標利用者の脳活動信号y_estmを入力され、提示情報分類モデル記憶部109から提示情報毎に提示情報分類行列Vを読み出す。
提示情報分類部1121は、脳活動信号y_estmと提示情報分類行列Vに基づき、例えば式(2)を用いて提示情報毎に確率p_estmipを算出する。提示情報分類部1121は、算出した確率p_estmipが最大となる提示情報ipを決定する。
このようにして、提示情報分類部1121は、目標利用者から脳活動信号y_estmが取得されている間に提示された提示情報を、決定した提示情報ipと推定(弁別、classification)する。
【0055】
提示情報再現部1122は、個別変換部107から目標利用者の脳活動信号y_estmが入力され、提示情報再現モデル記憶部111から局所基底画像φm(r)と、提示情報毎の結合係数λm,ipならびにコントラスト行列Uを読み出す。
提示情報再現部1122は、脳活動信号y_estmと読み出したコントラスト行列Uに基づき、例えば式(2)を用いてコントラストベクトルVC_estmを算出する。
提示情報再現部1122は、算出したコントラストベクトルVC_estmと読み出した局所基底画像φm(r)及び提示情報毎の結合係数λm,ipに基づき、例えば式(3)を用いて画像信号F_estm(r|y_estm)を算出することによって再構成(reconstruction)する。
このようにして、変換情報処理部112は、目標利用者から脳活動信号y_estmが取得されている間に提示された提示情報を、再構成した画像信号F_estm(r|y_estm)が表す画像と推定する。
【0056】
次に、本実施形態に係る提示情報再現部1122が再構成した提示情報について説明する。
図9は、本実施形態に係る提示情報再現部1122が再構成した提示情報の一例を示す図である。
図9は、左列に提示情報として上から下に順に画像ip1−ip5を示し、中央列に画像ip1−ip5が各々提示されたときに目標利用者から測定した脳活動信号に基づいて再構成した画像ip1’−ip5’を示す。即ち、画像ip1’−ip5’は、目標利用者から取得した脳活動信号と目標利用者自身の提示情報再現モデルに基づいて提示情報再現部1122が再構成した画像(目標利用者再構成画像)である。図9は、右列に、画像ip1−ip5が各々提示されたときに原利用者から測定した脳活動信号に基づいて推定した画像ip1’’−ip5’’を示す。即ち、画像ip1’’−ip5’’は、目標利用者とは異なる原利用者から取得した脳活動信号と目標利用者自身の提示情報再現モデルに基づいて提示情報再現部1122が推定した画像(原利用者推定画像)である。
【0057】
図9は、目標利用者推定画像及び原利用者推定画像はともに、提示情報の特徴を維持することを示す。例えば、画像ip1’及び画像ip1’’の中心部が白地であり、周辺部が濃い塗りつぶしという点で画像ip1と共通する。画像ip2’及び画像ip2’’の中心部が白い矩形であり、周辺部が濃い塗りつぶしという点で画像ip2と共通する。画像ip3’及び画像ip3’’が中心部を通る水平方向と垂直方向に延びる白地を有するという点で画像ip3と共通する。画像ip4’及び画像ip4’’が対角に延びる白地を有する点で画像ip4と共通する。画像ip5’及び画像ip5’’が中心部に濃い塗りつぶしを有し、その周辺を白地が取り囲む点で画像ip5と共通する。
【0058】
次に、本実施形態に係る脳活動推定装置1が行う脳活動計測処理の一例について説明する。
図10は、本実施形態に係る脳活動推定装置1が行う脳活動計測処理の一例を示すフローチャートである。
(ステップS101)計測信号生成部1011は、送信する磁場の信号を表す計測信号を生成し、計測信号送信部1012に出力する。その後、ステップS101に進む。
【0059】
(ステップS102)計測信号送信部1012は、計測信号生成部1011から入力された計測信号に基づいて磁場を生成し、生成した磁場を被計測者の頭部に提示する。その後、ステップS103に進む。
(ステップS103)情報提示部103は、提示情報記憶部102から読み出した提示情報信号に基づく提示情報を被計測者に提示する。提示情報は、例えば図6に示す画像it1−it4又はこれに類するランダムドットパターンである。情報提示部103は、提示した提示情報に対応する提示情報識別符号を脳活動信号記憶部104に記憶する。その後、ステップS104に進む。
【0060】
(ステップS104)脳活動信号受信部1013は、被計測者の頭部における部位(ボクセル)毎の活動を示す脳活動信号を取得する。脳活動信号受信部1013は、取得した脳活動信号をノイズ除去部1014に出力する。その後、ステップS105に進む。
(ステップS105)ノイズ除去部1014は、脳活動信号受信部1013から入力された脳活動信号からノイズ成分を除去して、ノイズ成分が除去された脳活動信号を脳活動信号記憶部104に記憶する。その後、ステップS106に進む。
(ステップS106)個別変換変数算出部105は、共通の提示情報に対応する脳活動信号を脳活動信号記憶部104が少なくとも被計測者2名分記憶しているか否かを判断する。
個別変換変数算出部105は、脳活動信号記憶部104が被計測者2名又は2名分よりも多く記憶していないと判断したとき(ステップS106 N)、ステップS101に進む。個別変換変数算出部105は、脳活動信号記憶部104が被計測者2名又は2名分よりも多く記憶していると判断したとき(ステップS106 Y)、ステップS107に進む。
【0061】
(ステップS107)個別変換変数算出部105は、脳活動信号記憶部104から2名の被計測者から各々取得された脳活動信号を読み出す。2名の被計測者のうち、一方が原利用者であり、他方が目標利用者である。個別変換変数算出部105は、原利用者の脳活動信号に基づき推定した目標利用者の脳活動信号が、計測した目標利用者の脳活動信号を最も近似(尤度を最大)するように個別変換変数(重み係数)を要素として含む個別変換行列Wを算出する。個別変換変数算出部105は、個別変換行列Wを算出するために、例えば後述するスパース回帰処理を行う。その後、ステップS108に進む。
【0062】
(ステップS108)個別変換変数算出部105は、算出した重み係数の平均値<wij>を要素(重み係数wij)として含む個別変換行列Wを個別変換変数記憶部106に記憶して処理を終了する。
【0063】
次に、本実施形態に係る脳活動推定装置1が行う脳活動推定処理の一例について説明する。
図11は、本実施形態に係る脳活動推定装置1が行う脳活動推定処理の一例を示すフローチャートである。
この例は、脳活動信号を取得するためのステップであるステップS101−S105を開始直後に実行する点で図10に示す脳活動推定処理と共通する。他方、この例は、脳活動推定装置1は、ステップS101−S105を原利用者に対して実行して原利用者の脳活動信号を計測し、ステップS105の後でステップS206に進む点が異なる。また、この例ではステップS103において、情報提示部103は図7に示す画像ip1−ip5又はこれに類する画像を提示情報として提示する。
【0064】
以下、ステップS206以降のステップについて説明する。
(ステップS206)個別変換部107は、脳活動信号記憶部104から提示情報識別符号及び原利用者の脳活動信号x_msrdを読み出し、個別変換変数記憶部106から原利用者と目標利用者の組に対応する個別変換行列Wを読み出す。
個別変換部107は、脳活動信号x_msrdを個別変換行列Wに基づいて、例えば式(1)を用いて目標利用者の脳活動信号y_estmを推定する。
個別変換部107は、推定した脳活動信号y_estmを変換情報処理部112が備える提示情報分類部1121及び提示情報再現部1122に出力する。その後、ステップS207に進む。
【0065】
(ステップS207)提示情報分類部1121は、個別変換部107から目標利用者の脳活動信号y_estmが入力され、提示情報分類モデル記憶部109から提示情報毎に提示情報分類行列Vを読み出す。
提示情報分類部1121は、脳活動信号y_estmと提示情報分類行列Vに基づき、例えば式(2)を用いて提示情報毎に確率pip_estmを算出する。提示情報分類部1121は、算出した確率pip_estmが最大となる提示情報ipを推定(弁別)する。その後、ステップS208に進む。
【0066】
(ステップS208)提示情報再現部1122は、個別変換部107から目標利用者の脳活動信号y_estmを入力され、提示情報再現モデル記憶部111から局所基底画像φm(r)と、提示情報毎の結合係数λm,ipならびにコントラスト行列Uを読み出す。
提示情報再現部1122は、脳活動信号y_estmとコントラスト行列Uに基づき、例えば式(4)を用いてコントラスト値Cm _estmを算出し、算出したコントラスト値Cm _estmを要素として含むコントラストベクトルVC_estmを生成する。提示情報分類部1121は、算出したコントラストベクトルVC_estmと読み出した局所基底画像φm(r)及び提示情報毎の結合係数λm,ipに基づき、例えば式(3)を用いて画像信号F_estm(r|y_estm)を再構成する。その後、処理を終了する。
【0067】
なお、図11に示す脳活動推定処理において、ステップS208を実行する時期はステップS207を実行する時期よりも先でもよいし、ステップS207とステップS208を実行する時期が同時でもよい。
また、この処理において、ステップS207とステップS208のうち、いずれか一方を実行してもよい。
【0068】
次に、本実施形態に係るスパース回帰処理について説明する。以下の説明では、個別変換変数算出部105が、脳活動信号x_msrd、脳活動信号y_msrd、推定した脳活動信号y_estm及び個別変換行列Wに基づいて、重み係数の平均値<wij>を算出することを前提とする。
また、提示情報分類モデル生成部108では、脳活動信号x_msrd、脳活動信号y_msrd、推定した脳活動信号y_estm及び個別変換行列Wの代わりに、各々脳活動信号y_msrd、目標確率ベクトルp_targ、確率ベクトルp_estmに基づいて分類重み係数の平均値<vip, i>を算出する。
また、提示情報再現モデル生成部110では、脳活動信号x_msrd、脳活動信号y_msrd、推定した脳活動信号y_estm及び個別変換行列Wの代わりに、脳活動信号y_msrd、目標コントラスト信号VC_targ、推定したコントラストベクトルVC_estmに基づいて、コントラスト重み係数の平均値<umi>を算出する。
【0069】
図12は、本実施形態に係るスパース回帰処理を示すフローチャートである。
(ステップS301)個別変換変数算出部105は、処理に必要な変数として脳活動信号xの次元Dx、脳活動信号yの次元Dy、及び関連性係数(relevance parameter)αijの期待値<αij>の初期値を設定する。関連性係数αijは、脳活動信号xに含まれるボクセルjの要素信号が脳活動信号yに含まれるボクセルiの要素信号に対する関連性の度合いを示す0より大きい実数である。関連性係数αijは、スパース推定においてARD事前分布(ARD prior;Automatic Relevance Determination prior;自動関連性決定事前分布)を仮定するために用いる係数である。
【0070】
ARD事前分布では、関連性係数αijに対する重み係数wijの条件付確率P(wij|αij)を、平均値(mean)を0、分散(variance)をαij−1とする正規分布(normal distribution;Gaussian distribution)N(0,αij−1)に従って分布すると仮定する。即ち、関連性係数αijが大きいほど、脳活動信号xに含まれるボクセルjの要素信号が脳活動信号yに含まれるボクセルiの要素信号に対する関連性が低いことを示す。
ARD事前分布では、関連性係数αijをとる確率P0(αij)をαij−1と仮定する。
その後、ステップS302に進む。
【0071】
(ステップS302)個別変換変数算出部105は、与えられた脳活動信号x_msrd、脳活動信号y_msrd及び関連性係数αijの事後分布(posterior distribution)Q(A)のもとで、階層ベイズ推定(hierarchical Baysian estimation)を行い重み係数wijの事後分布Q(W)を更新する。階層ベイズ推定(hierarchical Baysian estimation)では、個別変換変数算出部105は、変分自由エネルギー(variational free energy)が最大になるようにして事後分布Q(W)を定める重み係数wijの平均値<wij>と共分散Sijを算出する。
【0072】
ここで、個別変換変数算出部105は、重み係数wijが多次元正規分布に従って分布しているとの仮定に基づき、式(5)で示される自由エネルギーE(W)を最大化するように重み係数wijの平均値<wij>を算出する。
【0073】
【数5】
【0074】
式(5)において、nは、原利用者及び目標利用者に共通の情報を提示して取得した脳活動信号xと脳活動信号yの組を識別する番号である。Nは、その脳活動信号xと脳活動信号yの組の個数である。<αjj>は、関連性係数αijがガンマ分布(Gamma distribution)に従って分布していると仮定した場合の期待値の対角要素である。
ここで、式(5)の第1項は、計測された脳活動信号y_msrdと推定された脳活動信号y_estmの相関による寄与を示し、第2項は、推定された脳活動信号y_estmの分布によるエントロピーによる寄与を示し、第3項は、関連性係数αijの分布によるエントロピーによる寄与を示す。
変換変数算出部105は、自由エネルギーE(W)を最大化するために、例えば、式(6)に示される勾配ベクトル(gradient vector)E’と式(7)に示されるヘシアン(Hessian Matrix;ヘッセ行列)E’’に基づき、ニュートン法(Newton method)を用いる。
【0075】
【数6】
【0076】
式(6)において、e’iは、勾配ベクトルE’=[e’1,...,e’Dy]の要素である。
【0077】
【数7】
【0078】
式(7)において、e’’ij,は、ヘシアンE’’=[e’’11,...,e’’DyDy]の要素である。Tはベクトル又は行列の転置を示す。○の内部に×を含む記号は、クロネッカー積(Kronecker product)を示す。
【0079】
個別変換変数算出部105は、算出した平均値<wij>が収束するまで、上述の関数E(W)を最大化する処理を繰り返す。個別変換変数算出部105は、例えば、前回算出した平均値<wij>との差分値の絶対値が予め設定した値よりも小さくなったときに平均値<wij>が収束し、関数E(W)が最大化したと判断する。
次に、個別変換変数算出部105は、重み係数wijは最大化した関数E(W)のヘシアンE’’の逆行列E’’−1を共分散行列Sとして算出する。この共分散行列Sは、行列要素として共分散Siijjを含む行列である。その後、ステップS303に進む。
【0080】
(ステップS303)個別変換変数算出部105は、与えられた脳活動信号x_msrd、脳活動信号y_msrd及び重み係数wijの事後分布Q(W)のもとで、関連性係数αijの事後分布Q(A)を更新する。個別変換変数算出部105は、関連性係数αijが自由度(degree of freedom)1/2のガンマ分布Γ(1/2,<αij>)に従って分布していると仮定し、事後分布Q(A)を定める関連性係数αijの平均値<αij>を更新する。
個別変換変数算出部105は、式(8)を用いて平均値<αij>を更新する。
【0081】
【数8】
【0082】
個別変換変数算出部105は、解を早く収束させるために式(8)の代わりに式(9)を用いて平均値<αij>を更新してもよい。
【0083】
【数9】
【0084】
その後、ステップS304に進む。
【0085】
(ステップS304)個別変換変数算出部105は、関連性係数の平均値<αij>が各々予め設定した閾値を超えるか否か判断し、そのような関連性係数の平均値<αij>の有無を判断する。個別変換変数算出部105は、予め設定した閾値(例えば、108)を超える関連性係数の平均値<αij>があると判断したとき(ステップS304 Y)、ステップS305に進む。個別変換変数算出部105は、予め設定した閾値を超える関連性係数の平均値<αij>がないと判断したとき(ステップS304 N)、ステップS306に進む。
【0086】
(ステップS305)個別変換変数算出部105は、予め設定した閾値(を超える関連性係数の平均値<αij>に対応する次元の重み係数wijを以降の処理において除外する。具体的には、個別変換変数算出部105は、その次元の重み係数wij及びその平均値<wij>を常に0とする。これにより、脳活動信号x_msrdに含まれるボクセルjの要素信号が脳活動信号y_msrdに含まれるボクセルiの要素信号に対する関連性の度合いが低い重み係数wijが除外される。その後、ステップS306に進む。
【0087】
(ステップS306)個別変換変数算出部105は、関連性係数の平均値<αij>、重み係数の平均値<wij>、又は共分散Sijが収束したか否か判断する。個別変換変数算出部105は、収束したか否か判断するために、これらの係数の全て又は一部について、前回の値との差分の絶対値が予め設定した閾値よりも小さいか否かをもって判断する。
個別変換変数算出部105は、関連性係数の平均値<αij>、重み係数の平均値<wij>、又は共分散Sijが収束したと判断した場合(ステップS306 Y)、算出した重み係数の平均値<wij>を原利用者と目標利用者との個別変換行列Wとして個別変換変数記憶部106に記憶し、処理を終了する。即ち、記憶された個別変換行列Wは算出した重み係数の平均値<wij>を要素(重み係数wij)として含む。
個別変換変数算出部105は、関連性係数の平均値<αij>、重み係数の平均値<wij>、又は共分散Sijが収束していないと判断した場合(ステップ306 N)、ステップS302へ進む。
【0088】
なお、個別変換変数算出部105は、ステップS306において関連性係数の平均値<αij>、重み係数の平均値<wij>、又は共分散Sijが収束したか否か判断する代わりに、予め設定した繰り返し回数に達したか否か判断してもよい。この場合、個別変換変数算出部105は、その回数に達したと判断したとき処理を終了し、その回数に達していない判断したときステップS302へ進む。
【0089】
なお、個別変換変数算出部105及び個別変換部107が、重み係数の偏り値wi0を考慮して、脳活動信号の要素信号値yi_estmを、式(10)のように算出する場合には、上述のスパース推定処理において、その偏り値wi0に対応する関連性係数αi0、それらの平均値<wi0>及び<αi0>、を設定及び算出する。
【0090】
【数10】
【0091】
その場合、式(5)、(6)及び(7)における偏り値wij及び関連性係数αijのインデックスjは、最小値は1ではなく0である。
【0092】
なお、上述の説明では、線形のスパース回帰を用いて個別変換変数を算出し、算出した個別変換変数を用いて脳活動信号を線形変換する例について説明したが、本実施形態では、線形変換の代わりに非線形変換を行ってもよい。本実施形態では、非線形変換を行う際に、例えばカーネル法を用いることができる。
また、従来、原利用者に共通のモデルを用いて脳活動信号を変換する試みがなされていたが、本実施形態では原利用者によって異なる個別変換変数をモデルとして用いる。そのため、本実施形態では原利用者によって非線形変換を行うか、線形変換を行うか、変換方式を使い分けることもできる。
【0093】
なお、上述の説明では、提示情報分類モデル生成部108は、目標利用者の脳活動信号y_msrd(計測値)と提示情報識別符号に基づいて提示情報分類モデルを生成し、提示情報分類部1121は、脳活動信号y_estm(推定値)と生成された提示情報分類モデルに基づき算出した提示情報毎の確率を用いて提示情報を弁別する例を挙げた。
本実施形態では、これには限られず、提示情報分類モデル生成部108は、目標利用者のy_msrd(計測値)の代わりに、このy_msrd(計測値)に基づき個別変換部107が生成した脳活動信号y_estm(推定値)と提示情報識別符号に基づいて提示情報分類モデルを生成してもよい。この場合において、提示情報分類部1121は、脳活動信号y_estm(推定値)と生成された提示情報分類モデルに基づき算出した提示情報毎の確率を用いて提示情報を弁別してもよい。
【0094】
また、上述の説明では、提示情報再現モデル生成部110は、目標利用者の脳活動信号y_msrd(計測値)、提示情報識別符号及び局所基底画像に基づいて提示情報再現モデルを生成し、提示情報再現部1122は、脳活動信号y_estm(推定値)と生成された提示情報再現モデルに基づき提示情報を再構成する例を挙げた。
本実施形態では、これには限られず、提示情報再現モデル生成部110は、目標利用者のy_msrd(計測値)の代わりに、このy_msrd(計測値)に基づき個別変換部107が生成した脳活動信号y_estm(推定値)と提示情報識別符号及び局所規定画像に基づいて提示情報再現モデルを生成してもよい。この場合において、提示情報再現部1122は、脳活動信号y_estm(推定値)と生成された提示情報再現モデルに基づき提示情報を再構成してもよい。
【0095】
次に、本実施形態に係る脳活動推定装置1において上述の処理を行って検証した結果について説明する。検証では、利用者は3名であり、いずれも被計測者3名としてインフォームド・コンセントを得て脳計測信号を取得した。個別変換情報及び提示情報再現モデルを生成する際には、情報提示部103は、提示情報として、図6の画像it1−it4又はこれに類するランダムドットパターンをランダムな順序で提示した。これは、脳全体の活動を活性化させ、活動が特定の部位にのみに偏ることを避けるためである。例えば、右側にのみ表示された画像を提示した場合に、左側に表示された画像に対する脳活動信号が計測又は推定できなくなることを避けるためである。
また、提示情報分類モデルの生成及び原利用者の脳活動信号を計測する際には、情報提示部103は、図7の画像ip1−ip5の5種類の静止画のうち、いずれか1種類を提示情報としてランダムな順序で提示した。提示したランダムドットパターン及び画像ip1−ip5画素数は、各々水平方向10画素×垂直方向10画素である。
【0096】
1回あたりの提示情報の提示時間は12秒である。提示情報を提示した後に、12秒の休憩時間を挿入した。12秒の各提示時間の間に、脳活動計測部101脳活動信号をその都度取得する。取得した脳活動信号に含まれるボクセル数は1000である。
検証においては、各被計測者について脳活動推定装置1を動作して図10に示す脳活動計測処理及び図11に示す脳活動推定処理を行った。
【0097】
図13は、本実施形態に係る脳活動信号間における相関の一例を示す表である。
図13の最上行は、原利用者として第2列から第4列へ順に被計測者1−3を示す。図13の最左列は、目標利用者として第2行から第4行へ順に被計測者1−3を示す。図13の最上行から2行目以降の各行及び最左列から2列目以降の各欄は、ボクセル間の相関係数(voxel−wise correlation)の平均値と括弧内に標準偏差(standard deviation)を示す。この相関係数は、個別変換部107が原利用者の脳活動信号に基づき推定した目標利用者の脳活動信号のボクセル毎の要素信号値と、脳活動計測部101が取得した目標利用者の脳活動信号のボクセル毎の要素信号値に基づいて算出した相関係数である。
【0098】
図13に示すように、原利用者が被計測者1、目標利用者が被計測者2の場合には、ボクセル間の相関関数の平均値は0.42、標準偏差は0.15である。原利用者が被計測者1、目標利用者が被計測者3の場合には、ボクセル間の相関関数の平均値は0.19、標準偏差は0.23である。原利用者が被計測者2、目標利用者が被計測者1の場合には、ボクセル間の相関関数の平均値は0.54、標準偏差は0.12である。原利用者が被計測者2、目標利用者が被計測者3の場合には、ボクセル間の相関関数の平均値は0.15、標準偏差は0.21である。原利用者が被計測者3、目標利用者が被計測者1の場合には、ボクセル間の相関関数の平均値は0.49、標準偏差は0.14である。原利用者が被計測者3、目標利用者が被計測者2の場合には、ボクセル間の相関関数の平均値は0.31、標準偏差は0.18である。
【0099】
この結果に対して、統計学的仮説検定方法(statistical hypothesis testing)の1つであるウィルコクソンの符号順位検定(Wilcoxson signed−rank test)を行うと検定指標のp値は0.01未満となる。従って、図13に示す結果は、推定した脳活動信号と計測した脳活動信号は有意に相関性を有することを示す。
【0100】
図14は、本実施形態に係る提示情報の正答率(accuracy of classification)の一例を示す表である。
図14の最上行は、原利用者として第2列から第4列へ順に被計測者1−3を示す。図14の最左列は、目標利用者として第2行から第4行へ順に被計測者1−3を示す。図14の最上行から2行目以降の各行及び最左列から2列目以降の各欄は、提示情報の正答率のパーセント値を示す。本検証において正答率は、原利用者の脳活動信号に基づき推定した目標利用者の脳活動信号を用いて提示情報分類部1121が弁別した提示情報の種類を正しく弁別した回数の全提示回数に対する割合である。
【0101】
図14によれば、原利用者が被計測者1、目標利用者が被計測者2の場合には、正答率は84%である。原利用者が被計測者1、目標利用者が被計測者3の場合には、正答率は49%である。原利用者が被計測者2、目標利用者が被計測者1の場合には、正答率は87%である。原利用者が被計測者2、目標利用者が被計測者3の場合には、正答率は62%である。原利用者が被計測者3、目標利用者が被計測者1の場合には、正答率は86%である。原利用者が被計測者3、目標利用者が被計測者2の場合には、正答率は82%である。
図14に示すように、目標利用者が被計測者1及び被計測者2の場合には、正答率はいずれも80%以上と高い正答率を示す。目標利用者が被計測者3の場合には、正答率が49%又は62%と比較的低い。しかし、その場合における正答率でも、偶然による正答率(chance level)である20%よりも格段に高い。
【0102】
図15は、本実施形態に係る提示情報間における相関の一例を示す表である。
図15の最上行は、原利用者として第2列から第4列へ順に被計測者1−3を示す。図12の最左列は、目標利用者として第2行から第4行へ順に被計測者1−3を示す。図12の最上行から2行目以降の各行及び最左列から2列目以降の各欄は、ピクセル間の相関係数(pixel−wise correlation)の平均値と括弧内に標準偏差を示す。この相関係数は、提示情報再現部1122が推定した目標利用者の脳活動信号に基づき再構成した画像信号のピクセル毎の信号値と、情報提示部103が提示した提示情報のピクセル毎の信号値に基づいて算出した相関係数である。
【0103】
図15によれば、原利用者が被計測者1、目標利用者が被計測者2の場合には、ピクセル間の相関係数の平均値は0.72、標準偏差は0.08である。原利用者が被計測者1、目標利用者が被計測者3の場合には、ピクセル間の相関係数の平均値は0.67、標準偏差は0.13である。原利用者が被計測者2、目標利用者が被計測者1の場合には、ピクセル間の相関係数の平均値は0.72、標準偏差は0.12である。原利用者が被計測者2、目標利用者が被計測者3の場合には、ピクセル間の相関係数の平均値は0.61、標準偏差は0.15である。原利用者が被計測者3、目標利用者が被計測者1の場合には、ピクセル間の相関係数の平均値は0.60、標準偏差は0.14である。原利用者が被計測者3、目標利用者が被計測者2の場合には、ピクセル間の相関係数の平均値は0.57、標準偏差は0.13である。
【0104】
この結果に対して、ウィルコクソンの符号順位検定を行うと評価指標のp値は0.01未満となる。従って、図15に示す結果は、推定した脳活動信号と計測した脳活動信号は有意に相関性を有することを示す。
なお、図15に示す相関係数は、図13に示す相関係数よりも総じて高い。これは、提示情報再現モデル110及び提示情報再現部1122が、式(8)を用いてコントラスト値を推定する際に偏り値を導入し、スパース推定において提示情報に対して関連性が低い脳活動信号の要素信号を除外するからである。
【0105】
このように、本実施形態によれば、利用者に知覚可能な情報を提示し、前記利用者の脳活動を表す脳活動信号を取得し、第1の利用者の脳活動信号と第2の利用者の脳活動信号との相関関係を示す個別変換情報を算出する。これにより、第2の利用者である目標利用者の脳活動信号をじかに測定することなく推定するための個別変換情報を取得することができる。その結果、本実施形態によれば、従来は目標利用者に限られていた脳活動信号を利用した情報処理の適用範囲が拡大する。
【0106】
また、本実施形態によれば、第1の利用者に知覚可能な情報を提示し、前記第1の利用者の脳活動を表す脳活動信号を取得し、前記第1の利用者の脳活動信号と第2の利用者の脳活動信号との相関関係を示す個別変換情報に基づいて前記取得した脳活動信号から前記第2の利用者の脳活動信号を推定する。これにより、第2の利用者である目標利用者の脳活動信号をじかに測定することなく推定することができる。その結果、本実施形態によれば目標利用者に限られていた脳活動信号を利用した情報処理の適用範囲が拡大する。
【0107】
なお、脳活動信号を測定するためには多くのコスト及び時間を費やすが、本実施形態によれば、原利用者の脳活動信号に基づき目標利用者の脳活動信号を推定できるため、従来は、その都度測定していたコスト及び時間を大幅に削減できる。また、測定のために被測定者に対して、多くの拘束時間(例えば、数時間)、精神的、肉体的負担を強いていたが、本実施形態によれば、これらの負担を軽減することができる。
【0108】
なお、上述した実施形態における脳活動推定装置1は、脳活動計測部101を2個以上備え、同時に2名以上の利用者から脳活動信号を取得できるようにしてもよい。
【0109】
なお、上述した実施形態における脳活動推定装置1の一部、例えば、個別変換変数算出部105、個別変換部107、提示情報分類モデル生成部108、提示情報再現モデル生成部110、ノイズ除去部114、提示情報分類部1121及び提示情報再現部1122をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、脳活動推定装置1に内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における脳活動推定装置1の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現しても良い。脳活動推定装置1の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【0110】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【0111】
1…脳活動推定装置、
101…脳活動計測部、
1011…計測信号生成部、1012…計測信号送信部、1013…脳活動信号受信部、
102…提示情報記憶部、103…情報提示部、104…脳活動信号記憶部、
105…個別変換変数算出部、106…個別変換変数記憶部、107…個別変換部、
108…提示情報分類モデル生成部、109…提示情報分類モデル記憶部109、
110…提示情報再現モデル生成部、111…提示情報再現モデル記憶部、
112…変換情報処理部、1121…提示情報分類部、1122…提示情報再現部、
114…ノイズ除去部
【技術分野】
【0001】
本発明は、脳活動計測装置、脳活動計測方法、脳活動推定装置、及び脳活動推定方法に関する。
【背景技術】
【0002】
人間の行動を司る脳が処理している情報を推定するために脳の活動とその活動によって生じた信号との関連性をモデル化することが試みられている。例えば、人間の脳活動によって生じた信号を計測し、計測した信号に基づき脳の活動を検証する技術が提案されている。
例えば、特許文献1に記載の発明では、頭部周囲に生じる信号強度分布の時系列を計測し、計測された時系列データに基づき、脳神経モデルにおける各電流要素の大きさの分布を再構成し、各電流要素の時系列データに基づき脳活動モデルを設定し、電流要素の時系列データに基づき脳活動モデルの因果関係を推定することにより、脳活動モデルを検証する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2008−229238号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載の従来技術では、脳活動モデルを設定するために、膨大な時系列データを取得する必要がある。取得すべきデータは、例えば、MRI(Magnetic Resonance Imaging;核磁器共鳴画像法)で取得した画像情報や脳波(Electroencephalogram;EEG)信号である。脳活動モデルを構築するためには、大規模な計測装置を用いて利用者(被計測者)を長時間拘束しなければならない。加えて、利用者に共通の情報が提示されても計測された脳活動信号は利用者個々に異なり、その都度計測を要するという問題があった。
【0005】
本発明は上記の点に鑑みてなされたものであり、目標利用者の脳活動信号を推定することを可能にする脳活動計測装置、脳活動計測方法、脳活動推定装置、及び脳活動推定方法を提供する。
【課題を解決するための手段】
【0006】
(1)本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、利用者に知覚可能な情報を提示する情報提示部と、前記利用者の脳活動を表す脳活動信号を取得する脳活動計測部と、第1の利用者の脳活動信号から第2の利用者の脳活動信号への変換行列を示す個別変換情報を算出する個別変換情報算出部と、を備えることを特徴とする脳活動計測装置である。
【0007】
(2)本発明のその他の態様は、脳活動推定装置における方法において、前記脳活動推定装置が、利用者に知覚可能な情報を提示する第1の過程と、前記脳活動推定装置が、前記利用者の脳活動を表す脳活動信号を取得する第2の過程と、前記脳活動推定装置が、第1の利用者の脳活動信号と第2の利用者の脳活動信号との相関関係を示す個別変換情報を算出する過程と、を有することを特徴とする脳活動計測方法である。
【0008】
(3)本発明のその他の態様は、第1の利用者に知覚可能な情報を提示する情報提示部と、前記第1の利用者の脳活動を表す脳活動信号を取得する脳活動計測部と、前記第1の利用者の脳活動信号と第2の利用者の脳活動信号との相関関係を示す個別変換情報に基づいて前記取得した脳活動信号から前記第2の利用者の脳活動信号を推定する個別変換部と、を備えることを特徴とする脳活動推定装置である。
【0009】
(4)本発明のその他の態様は、第1の利用者の脳活動信号と第2の利用者の脳活動信号との相関関係を示す個別変換情報を記憶する個別変換情報記憶部を備える脳活動推定装置における方法において、前記脳活動推定装置が、前記第1の利用者に知覚可能な情報を提示する過程と、前記脳活動推定装置が、前記第1の利用者の脳活動を表す脳活動信号を取得する過程と、前記脳活動推定装置が、前記個別変換情報に基づいて前記取得した脳活動信号から前記第2の利用者の脳活動信号を推定する過程と、を有することを特徴とする脳活動推定方法である。
【発明の効果】
【0010】
また、本発明の一態様(1)によれば、目標利用者の脳活動信号を推定するための個別変換情報を取得することができる脳活動計測装置を提供する。
また、本発明のその他の態様(2)によれば、目標利用者の脳活動信号を推定するための個別変換情報を取得することができる脳活動計測方法を提供する。
また、本発明のその他の態様(3)によれば、目標利用者の脳活動信号を推定することができる脳活動推定装置を提供する。
また、本発明のその他の態様(4)によれば、目標利用者の脳活動信号を推定することができる脳活動推定方法を提供する。
【図面の簡単な説明】
【0011】
【図1】本発明の一態様に係る脳活動計測処理の概要を示す概念図である。
【図2】本発明の一態様に係る脳活動推定処理の概要を示す概念図である。
【図3】本発明の一実施形態に係る脳活動推定装置の構成を示す概略図である。
【図4】本実施形態に係る脳活動信号の一例を示す図である。
【図5】本実施形態に係る計測用電極を設置する位置の一例を示す概念図である。
【図6】本実施形態に係る提示情報の一例を示す図である。
【図7】本実施形態に係る提示情報のその他の例を示す図である。
【図8】本実施形態に係る脳活動信号のその他の例を示す図である。
【図9】本実施形態に係る提示情報再現部が再構成した提示情報の一例を示す図である。
【図10】本実施形態に係る脳活動推定装置が行う脳活動計測処理の一例を示すフローチャートである。
【図11】本実施形態に係る脳活動推定装置が行う脳活動推定処理の一例を示すフローチャートである。
【図12】本実施形態に係るスパース回帰処理を示すフローチャートである。
【図13】本実施形態に係る脳活動信号間における相関の一例を示す表である。
【図14】本実施形態に係る提示情報の正答率の一例を示す表である。
【図15】本実施形態に係る提示情報間における相関の一例を示す表である。
【発明を実施するための形態】
【0012】
まず、図面を参照しながら本発明の概要について説明する。
図1は、本発明の一態様に係る脳活動計測処理の概要を示す概念図である。
図1は、2名の利用者各々について脳活動信号を計測し、計測した脳活動信号に基づいて一方の利用者の脳活動信号と他方の利用者の脳活動信号との相関関係を示す個別変換情報を算出する状況を示す。この個別変換情報は、一方の利用者の脳活動信号に基づいて他方の利用者の脳活動信号を生成するために用いる情報である。変換の基礎となる(変換元)脳活動信号を計測した一方の利用者(被計測者)を原利用者(Source Subject)と呼び、変換する目標(変換先)となる脳活動信号を計測した被計測者又は脳活動信号を算出しようとする利用者を目標利用者(Target Subject)と呼ぶ。
【0013】
図1は、原利用者及び目標利用者に共通の画像を提示し、各利用者について計測した脳活動信号を計測する。このとき各利用者の脳は、目視した画像に関する情報を処理し、その活動を示す脳活動信号を発生する。脳活動信号は、通例、複数の要素の信号値を要素信号として含むベクトルで表される。図1では、各要素信号の信号値の強度を濃淡で示す。これにより、図1は、共通の画像を目視する被計測者間において計測された脳活動信号が異なることを示す。また、原利用者の脳活動信号の各要素信号から目標利用者の一つの要素信号に向かう矢印は、目標利用者の一つの要素信号を原利用者の脳活動信号の各要素信号に基づいて個別変換情報を算出することを示す。
【0014】
図2は、本発明の一態様に係る脳活動推定処理の概要を示す概念図である。
図2は、原利用者にのみ画像を提示して原利用者の脳活動信号を計測し、計測した脳活動信号に基づいて目標利用者の脳活動信号を推定する状況を示す。
図2では、原利用者について測定した脳活動信号と目標利用者について推定した脳活動信号を示す。原利用者の脳活動信号の各要素信号から目標利用者の一つの要素信号に向かう矢印は、目標利用者の一つの要素信号を原利用者の脳活動信号の各要素信号に基づいて推定することを示す。
【0015】
次に、本発明の実施形態について説明する。
図3は、本実施形態に係る脳活動推定装置1の構成を示す概略図である。
脳活動推定装置1は、脳活動計測部101、提示情報記憶部102、情報提示部103、脳活動信号記憶部104、個別変換変数算出部105、個別変換変数記憶部106、個別変換部107、提示情報分類モデル生成部108、提示情報分類モデル記憶部109、提示情報再現モデル生成部110、提示情報再現モデル記憶部111、変換情報処理部112及びノイズ除去部114を含んで構成される。
【0016】
脳活動計測部101は、被計測者(利用者)の脳が活動するときに発生する脳活動信号を計測し、計測した信号を脳活動信号記憶部104に記憶する。
脳活動計測部101が計測する脳活動信号は、例えば、MRI(Magnetic Resonance Imaging;磁気共鳴画像法)の一種であるEPI(Echo Planar Imaging;エコープラナー法)信号である。EPI信号に含まれる要素信号は、3次元の被測定空間を構成する空間の単位であるボクセル(voxel)毎に定められている。1回の測定で得られる、脳活動信号は、例えば、水平方向64ボクセル×垂直方向64ボクセル×上下方向64ボクセルであり、ボクセル間隔は水平方向、垂直方向、上下方向、各3mmである。
【0017】
脳活動計測部101は、EPI信号を取得するには、例えば、計測信号生成部1011、計測信号送信部1012、及び脳活動信号受信部1013を含んで構成される。
【0018】
計測信号生成部1011は、脳活動信号を計測するためにの磁場の信号を表す計測信号を生成し、生成した計測信号を計測信号送信部1012に出力する。計測信号生成部1011は、例えば、信号の継続時間が極めて短い(例えば、2ms)パルス波を計測信号として生成する。
計測信号送信部1012は、計測信号生成部1011から入力された計測信号に基づいて磁場を生成し、生成した磁場を被計測者の頭部に送信する。入力された計測信号がパルス波である場合、計測信号送信部1012はパルス磁場を生成し、生成したパルス磁場を被計測者に送信する。計測信号送信部1012は、同時に被計測位置によって強度が異なる勾配磁場を被計測者の頭部に送信する。
【0019】
脳活動信号受信部1013は、被計測者の頭部における部位毎の活動を示す脳活動信号を受信する。脳活動信号受信部1013は、脳活動信号として、例えば緩和現象によって生じた信号を検出する。緩和現象とは、磁場の送信を停止した後に被計測者の体内の分子の磁化が定常状態に戻る現象である。脳活動信号受信部1013は、検出した信号を、勾配磁場の強度に基づいて被計測空間の位置(ボクセル)毎の要素信号に分解し、脳活動信号(例えば、EPI信号)を生成する。脳活動信号受信部1013は、検出した信号を要素信号に分解するために、例えばフーリエ変換(Fourier Transform)を行う。要素信号の強度は、被計測空間内の分子として血液中のヘモグロビンの量に比例するため、対応する部位(ボクセル)における脳活動の度合いを示す。
脳活動信号受信部1013は、生成した脳活動信号を脳活動信号記憶部104に出力する。
【0020】
ここで、脳活動信号受信部1013が取得した脳活動信号の一例を示す。
図4は、本実施形態に係る脳活動信号の一例を示す図である。
図4において画像mi1は、ある被計測者の頭部の断面上の脳活動を示す要素信号を画素値として示す画像である。画像mi1の濃淡は、要素信号の信号値を示し、明るい部分ほど信号値が大きい。画像mi1において、上側が前頭葉付近を示す。
【0021】
図3に戻り、脳活動計測部101は、上述のEPI信号に限らず、脳波を脳活動信号として取得してもよい。脳活動計測部101は、脳波を構成する要素信号として電位を取得するために、被計測者の頭部に設置する計測用電極を複数個(例えば18個)備える。
計測用電極を設置する位置の一例について説明する。
図5は、本実施形態に係る計測用電極を設置する位置の一例を示す概念図である。
図5の上側は、被計測者の前方を示す。計測用電極を設置する位置は、頭部平面ep1において、左前頭極部Fp1、左前頭部F3、左中心部C3、左頭頂部P3、左後頭部O1、左側頭中部T3、左側頭後部T5、正中前頭部Fz、正中中心部Cz、正中頭頂部Pz、右前頭極部Fp2、右前頭部F4、右中心部C4、右頭頂部P4、右後頭部O2、右側頭中部T4、右側頭後部T6、及び左耳介部A1もしくは右耳介部A2の何れか一方である。そのうち、脳活動計測部101は、左耳介部A1もしくは右耳介部A2の何れか一方に設置した電極で取得された電位を基準電位とし、その他の電極で取得した電位との電位差を各々脳活動信号の要素信号として取得する。
【0022】
図3に戻り、提示情報記憶部102は、被計測者に提示する提示情報を示す提示情報信号と提示情報識別情報とを対応付けて記憶する。提示情報信号は、例えば、画像信号である。提示情報識別情報は、提示情報信号の個々を識別する信号である。
図6は、本実施形態に係る提示情報の一例を示す図である。
図6(a)−(d)は、提示情報の一例として画像it1−it4を各々示す。画像it1−it4は、各々水平方向及び垂直方向について複数の領域で区分され、各領域が黒色又は白色で示されるランダムドットパターンである。ランダムドットパターンの使い分けは、被測定者の視野に対応した活動野全般にわたる脳活動状況を明確に区別するために好都合である。そのため、ランダムドットパターンは、例えば後述する個別変換情報の算出や、提示情報再現モデルの生成の際に用いられる。
【0023】
図7は、本実施形態に係る提示情報のその他の例を示す図である。
図7は、提示情報として画像ip1(図7(a))、画像ip2(図7(b))、画像ip3(図7(c))、画像ip4(図7(d))及び画像ip5(図7(e))を示す。画像ip1は、正方形の塗りつぶし部分の中心部に、正方形の白抜き部分を有する画像である。画像ip2は、正方形の塗りつぶし部分の内部に、正方形の白抜き部分を有し、その白抜き部分の内部に正方形の塗りつぶし部分を有する画像である。画像ip3は、正方形の塗りつぶし部分の中心部に、白抜きの十字を有する画像である。画像ip4は、正方形の塗りつぶし部分の中心部に、白抜きの×印を有する画像である。画像ip5は、正方形の塗りつぶし部分の内部に、正方形の白抜き部分を有し、その白抜き部分の内部に、正方形の塗りつぶし部分を有する画像である。
ここで、画像ip2の正方形の白抜き部分の一辺の長さは、画像ip5の正方形の白抜き部分の一辺の長さよりも小さい。画像ip2の正方形の白抜き部分の幅は、画像ip5の正方形の白抜き部分の幅よりも小さい。画像ip2の正方形の塗りつぶし部分の一辺の長さは、画像ip5の正方形の塗りつぶし部分の一辺の長さよりも小さい。
画像ip1−ip5は、例えば後述する提示情報分類モデルの算出や、目標利用者の脳活動信号を推定するために用いる原利用者の脳活動信号を計測する際に用いられる。
なお、提示情報記憶部102が記憶する提示情報信号は、静止画を示す画像信号に限らず、本実施形態では動画を示す画像信号や音声信号であってもよい。
【0024】
図3に戻り、情報提示部103は、提示情報記憶部102から提示情報信号と提示情報識別符号を読み出し、脳活動計測部101が脳活動信号を取得するとき、読み出した提示情報信号に基づく提示情報を被計測者に提示する。情報提示部103は、提示した提示情報に対応する提示情報識別符号を脳活動信号記憶部104に記憶する。
脳活動信号記憶部104は、情報提示部103が提示する提示情報に対応する提示情報識別符号と、脳活動計測部101から入力された脳活動信号を対応付けて、被計測者及び時刻毎に記憶する。
【0025】
ノイズ除去部114は、脳活動信号記憶部104から読み出された脳活動信号からノイズ成分を除去し、ノイズ成分が除去された脳活動信号を個別変換変数算出部105、個別変換部107、提示情報分類モデル生成部108及び提示情報再現モデル生成部110に出力する。ノイズ除去部114は、例えば、カットオフ周波数が1/128Hzの高域通過フィルタ(High Pass Filter, HPF;ハイパスフィルタ)を備える。これにより、ノイズ除去部114は、カットオフ周波数よりも低い周波数のノイズ成分を除去する。
なお、ノイズ除去部114は、脳活動信号受信部1013から入力された脳活動信号からノイズ成分を除去し、ノイズ成分が除去された脳活動信号を脳活動信号記憶部104に記憶するようにしてもよい。その場合、個別変換変数算出部105、個別変換部107、提示情報分類モデル生成部108、及び提示情報分類モデル生成部110は、脳活動信号を脳活動信号記憶部104から直接読み出す。
【0026】
個別変換変数算出部105は、脳活動信号記憶部104から2名の被計測者から各々取得した提示情報識別符号毎の脳活動信号をノイズ除去部114を介して読み出す。個別変換変数算出部105は、脳活動信号を読み出す前に、同一の提示情報識別符号に対応する脳活動信号を脳活動信号記憶部104が少なくとも被計測者2名分記憶しているか否かを判断する。個別変換変数算出部105は、利用者による操作に伴って操作入力信号を入力され、入力された操作入力信号に対応する被計測者又は提示情報識別符号の脳活動信号を脳活動信号記憶部104から読み出してもよい。
【0027】
ここで、個別変換変数算出部105が読み出された脳活動信号の一例を示す。
図8は、本実施形態に係る脳活動信号のその他の例を示す図である。
図8(a)は、情報提示部103が被計測者2名に各々提示した画像ip1を示す。図8(b)は、一方の被計測者から取得した脳活動信号を示す画像mi1と画像mpi1を示す。画像mi1の中央よりも下に破線で示されている矩形の部分と、その部分から画像mpi1の左上端及び右上端に向かう破線は、画像mpi1が画像mi1の矩形の部分を拡大表示していることを示す。
【0028】
図8(c)は、他方の被計測者から取得した脳活動信号を示す画像mi2と画像mpi2を示す。画像mi2の中央よりも下に破線で示されている矩形の部分と、その部分から画像mpi2の左上端及び右上端に向かう破線は、画像mpi2が画像mi2の矩形の部分を拡大表示していることを示す。また、画像mi2に示される矩形の部分は、画像mi1に示される矩形の部分と同一の部位である。
なお、画像mpi1と画像mpi2の濃淡の分布が異なる。このことから、図8は、共通の提示情報が提示されていても、計測された脳活動信号が被測定者により異なることを示している。
【0029】
個別変換変数算出部105は、共通の提示情報について一方の被計測者の脳活動信号と他方の被測定者の脳活動信号に基づいて、一方の被計測者の脳活動信号から他方の被測定者の脳活動信号に変換するための個別変換変数(個別変換情報)を算出する。
目標利用者の脳活動信号yは、式(1)に示すように、例えば計測された原利用者の脳活動信号x_msrdを個別変換行列Wに基づき線形結合(linear combination,weighting;重み付け)して推定することができる。但し、推定した目標利用者の脳活動信号をyestmを用いて表す。以降、変数名の末尾に_msrdを付して計測値であること、_estmを付して推定値であること、_targ_を付して目標値であることを区別する。但し、これらの種別を区別する必要がない場合や、何れの種別も該当する場合には、特にこのような接尾辞を付さない。
【0030】
【数1】
【0031】
式(1)において、脳活動信号y_estmは、推定されたボクセルiの要素信号値yi’_estmを含むDy次元(Dyは2又は2よりも大きい自然数、例えば1000)のベクトルである。原利用者の脳活動信号x_msrdは、ボクセルjの要素信号値xjを含むDx次元(Dxは2又は2よりも大きい自然数、例えば1000)のベクトルである。個別変換行列Wは、要素信号値yi’を求めるために、ボクセルjの要素信号値xjに乗じる重み係数wijを含むDy行Dx列の行列である。即ち、個別変換行列Wは、目標利用者の脳活動信号y_msrdと原利用者の脳活動信号x_msrdの相関関係を示す。個別変換変数算出部105は、推定した脳活動信号y_estmと脳活動信号y_msrdが最も近似(尤度が最大)するように個別変換行列Wを算出する。
【0032】
個別変換変数算出部105は、個別変換行列Wを算出するために、例えばスパース回帰(sparse regression)を行う。スパース回帰では、原利用者の脳活動信号xに基づく特徴量(feature)のうち目標利用者の脳活動信号yに寄与しない特徴量を削除することで、過学習(overfitting、過剰適合)を避けることができる。過学習とは、学習対象となる変数(この例では、個別変換行列W)が学習に用いた訓練データ(この例では、脳活動信号y)に対して適合しているが、未知のデータに対して適合していないことを指す。過学習を避けることで、脳活動信号x又は脳活動信号yに含まれるノイズ成分の影響や、個別変換行列Wの次元を低減するとともに予測精度の低下を回避することができる。なお、スパース回帰処理については後述する。
個別変換変数記憶部106は、原利用者と目標利用者の組毎に個別変換行列W(個別変換情報)を記憶する。
【0033】
個別変換部107は、脳活動信号記憶部104からノイズ除去部114を介して、提示情報識別符号及び原利用者に対応する脳活動信号x_msrdを読み出し、個別変換変数記憶部106から原利用者と目標利用者の組に対応する個別変換行列Wを読み出す。
個別変換部107は、利用者による操作に伴って操作入力信号が入力され、入力された操作入力信号に対応する提示情報識別符号及び目標利用者に対応する脳活動信号y_msrdをノイズ除去部114を介して脳活動信号記憶部104から読み出してもよい。また、個別変換部107は、その操作入力信号に対応する原利用者及び目標利用者の組に対応する個別変換行列Wを個別変換変数記憶部106から読み出してもよい。
【0034】
個別変換部107は、読み出した脳活動信号x_msrdを読み出した個別変換行列Wに基づいて目標利用者の脳活動信号y_estmを推定する。ここで、個別変換部107は、式(1)を用いて目標利用者の脳活動信号y_estmを推定する。
個別変換部107は、推定した脳活動信号y_estmを変換情報処理部112に出力する。
【0035】
提示情報分類モデル生成部108は、脳活動信号記憶部104からノイズ除去部114を介して被計測者(例えば目標利用者)の脳活動信号y_msrdと、脳活動信号記憶部104から直接、提示情報識別符号を読み出す。提示情報分類モデル生成部108は、読み出した脳活動信号y_msrdと提示情報識別情報との関連を示す提示情報分類モデルを生成する。
目標利用者の脳活動信号yが与えられているとき、提示情報ipが目標利用者に提示されている確率pip_estmは、例えば、式(2)に示すように、脳活動信号yの提示情報分類行列Vに基づく線形結合の正規化指数関数(normalized exponential function,softmax function;ソフトマックス関数)を用いて表すことができると仮定する。正規化指数関数は、変数が正の無限大に近づくほど最大値1に漸近し、変数が負の無限大に近づくほど最小値0に漸近する関数である。
【0036】
【数2】
【0037】
式(2)において、vip,iは、提示情報ipに対してボクセルiの要素信号値yiに乗ずる分類重み係数である。vip,0は、提示情報ipについて脳活動信号yでは説明できない偏り値(bias、バイアス値)である。Dip(2又は2よりも大きい自然数)は提示情報の種類の総数である。vip,iを要素として含む行列を、提示情報分類行列Vと呼ぶ。
【0038】
そこで、提示情報分類モデル生成部108は、確率pip_estmを要素として含む要素数Dip個の確率ベクトルp_estmを生成する。
提示情報分類モデル生成部108は、読み出した提示情報識別符号(即ち、符号ip)に基づき提示情報ipを示す目標確率ベクトルp_targを生成する。
目標確率ベクトルp_targは、Dip個の要素値pipを含むベクトルである。ここで、提示情報分類モデル生成部108は、提示情報ip’が提示されたとき、ip’番目の要素値pip_targを1と定め、他の要素値(ip≠ip’)を0と定める。即ち、提示情報分類行列Vは、目標利用者の脳活動信号y_msrdと対応する提示情報を示す目標確率ベクトルp_targの相関関係を示すDip行Dy+1列の行列である。列の数は、提示情報毎の偏り値vip,0を含む。
提示情報分類モデル生成部108は、推定した確率ベクトルp_estmが目標確率ベクトルp_targを最も近似(例えば、尤度[likelihood]が最大)するように提示情報分類行列Vを算出する。
【0039】
提示情報分類モデル生成部108は、脳活動信号y、目標確率ベクトルp_targ、推定した確率ベクトルp_estmに基づいて、例えば、後述するスパース推定を行って提示情報分類行列Vを算出する。スパース推定により、提示情報分類行列Vの次元を低減するとともに予測精度の低下を回避することができる。提示情報分類モデル生成部108は、スパース推定において、脳活動信号x_msrd、脳活動信号y_msrd、式(1)を用いて推定した脳活動信号y_estm及び個別変換行列Wの代わりに、脳活動信号y_msrd、目標確率ベクトルp_targ、式(2)を用いて算出した確率ベクトルp_estm及び提示情報分類行列Vを各々当てはめて実行する。
提示情報分類モデル生成部108は、後述するスパース推定において分類重み係数の平均値<vip, i>を要素毎に算出する。提示情報分類モデル生成部108は、算出した分類重み係数の平均値<vip, i>を要素値(分類重み係数vip, i)として含む提示情報分類行列Vを提示情報分類モデル記憶部109に記憶する
【0040】
提示情報分類モデル記憶部109は、提示情報毎に提示情報分類行列Vを提示情報分類モデルとして記憶する。
【0041】
提示情報再現モデル生成部110は、脳活動信号記憶部104からノイズ除去部114を介して被計測者(例えば目標利用者)の脳活動信号y_msrdと提示情報識別符号を読み出し、読み出した提示情報識別符号に対応する提示情報ipを提示情報記憶部102から読み出す。
提示情報再現モデル生成部110は、提示情報再現モデル記憶部111から提示特徴量情報を読み出す。この提示特徴量情報は、例えば局所基底画像(local image basis;ローカル画像基底)φmである。mは、個々の局所基底画像を識別するための局所基底画像識別符号である。
【0042】
局所基底画像とは、1枚(frame,フレーム)の画像(全体画像)における一部の領域を表す画像信号である。局所基底画像は、1個以上の画素を含み、例えば、水平方向1画素×垂直方向1画素、水平方向1画素×垂直方向2画素、水平方向2画素×垂直方向1画素、水平方向2画素×垂直方向2画素の何れでもよい。画素毎の信号値は、局所基底画像の領域に含まれる画素であることを示す値(例えば1)又は、その領域に含まれる画素でないことを示す値(例えば0)を示す。
【0043】
提示情報再現モデル生成部110は、読み出した脳活動信号y_msrd及び提示特徴量情報として局所基底画像に基づき、提示情報として画像信号を再現するための提示情報再現モデルを生成する。
例えば、目標利用者の脳活動信号yが与えられているとき、提示情報ipである1枚の画像を表す画像信号F_estm(r|y)は、例えば、式(3)に示すように局所基底画像φm(r)と推定したコントラスト値(contrast)Cm_estm(y)の積の線形結合で表すことができる。
【0044】
【数3】
【0045】
式(3)において、rは、画像信号に含まれる画素の位置を示す。mは、個々の局所基底画像を識別する識別符号である。Mは、局所基底画像の個数である。λmは、コントラスト値Cm_estm(y)に乗ずる結合係数(combination coefficient)である。コントラスト値Cm_estm(y)は、局所基底画像m毎の濃淡を示す値である。局所基底画像φm(r)は、位置rがその局所基底画像の領域に含まれるとき信号値1をとり、位置rがその領域に含まれないとき信号値0をとることを示す。
【0046】
ここで、コントラスト値Cm_estm(y)は、例えば式(4)に示すように、目標利用者の脳活動信号yの線形結合で表されると仮定する。
【0047】
【数4】
【0048】
式(4)において、umiはボクセルiの要素信号値yiに乗じるコントラスト重み係数である。ここで、コントラスト値Cm_estm(y)を要素として含むベクトルをコントラストベクトルVC_estmと呼ぶ。コントラストベクトルVC_estmは、Dy+1列のベクトルである。コントラスト重み係数umiを要素として含む行列をコントラスト行列Uと呼ぶ。コントラスト行列Uは、M行Dy+1列の行列である。列の数には、局所基底画像φm毎の偏り値um0を含む。即ち、コントラスト行列Uは、目標利用者の脳活動信号yと局所基底画像m毎のコントラスト値Cm_estm(y)の相関関係を示す。
【0049】
そこで、提示情報再現モデル生成部110は、コントラスト値Cm_estm(y_msrd)を要素として含む要素数M個のコントラストベクトルVC_estmを推定する。
提示情報再現モデル生成部110は、目標利用者に提示した提示情報ipから局所基底画像φmが占める領域rにおける画像信号F_targ(r)を、局所基底画像m毎の目標とするコントラスト値Cm_targとして抽出する。提示情報再現モデル生成部110は、抽出したコントラスト値Cm_targを含む目標コントラストベクトルVC_targを生成する。
提示情報再現モデル生成部110は、推定したコントラストベクトルVC_estmが目標コントラストベクトルVC_targを最も近似(例えば、尤度が最大)するようにコントラスト行列Uを算出する。
【0050】
提示情報再現モデル生成部110は、脳活動信号y、目標コントラストベクトルVC_targ、推定したコントラストベクトルVC_estmに基づいて、例えば、後述するスパース推定を行ってコントラスト行列Uを算出する。スパース推定により、コントラスト行列Uの次元を低減するとともに予測精度の低下を回避することができる。提示情報再現モデル生成部110は、スパース推定において、脳活動信号x_msrd、脳活動信号y_msrd、式(1)を用いて推定した脳活動信号y_estm及び個別変換変数Wの代わりに、脳活動信号y、目標コントラスト信号VC_targ、式(4)を用いて算出したコントラストベクトルVC_estm及びコントラスト行列Uを各々当てはめて実行する。
提示情報再現モデル生成部110は、後述するスパース推定においてコントラスト重み係数の平均値<umi>を要素毎に算出する。提示情報再現モデル生成部110は、算出したコントラスト重み係数の平均値<umi>を要素値umiとして含むコントラスト行列Uを提示情報再現モデル記憶部111に記憶する。
【0051】
提示情報再現モデル生成部110は、コントラスト行列Uと目標利用者の脳活動信号yに基づき式(4)を用いてコントラストベクトルVC_estmを提示情報ip毎に生成する。
提示情報再現モデル生成部110は、提示情報ip毎に生成したコントラストベクトルVC_estm、結合係数λm、及び局所基底画像φm(r)に基づき式(3)を用いて提示情報ipの画像信号F_estm(r|y)を推定する。
ここで、提示情報再現モデル生成部110は、推定した画像信号F_estm(r|y)と元の画像信号F_targ(r|y)との誤差が最小となるように、例えば最小二乗法(mean square method)を用いて結合係数λmを算出する。
提示情報再現モデル生成部110は、算出した結合係数λmを提示情報再現モデル記憶部111に記憶する。
【0052】
提示情報再現モデル記憶部111は、局所基底画像φm(r)、結合係数λm及びコントラスト行列Uを提示情報再現モデルとして記憶する。
【0053】
変換情報処理部112は、個別変換部107から入力された目標利用者の脳活動信号y_estmを処理して、目標利用者に対して提示された提示情報であって、目標利用者の脳内で処理した情報を推定する。変換情報処理部112が推定する情報は、例えば提示情報の種別や提示情報自体である。
変換情報処理部112は、例えば提示情報分類部1121及び提示情報再現部1122を含んで構成される。
【0054】
提示情報分類部1121は、個別変換部107から目標利用者の脳活動信号y_estmを入力され、提示情報分類モデル記憶部109から提示情報毎に提示情報分類行列Vを読み出す。
提示情報分類部1121は、脳活動信号y_estmと提示情報分類行列Vに基づき、例えば式(2)を用いて提示情報毎に確率p_estmipを算出する。提示情報分類部1121は、算出した確率p_estmipが最大となる提示情報ipを決定する。
このようにして、提示情報分類部1121は、目標利用者から脳活動信号y_estmが取得されている間に提示された提示情報を、決定した提示情報ipと推定(弁別、classification)する。
【0055】
提示情報再現部1122は、個別変換部107から目標利用者の脳活動信号y_estmが入力され、提示情報再現モデル記憶部111から局所基底画像φm(r)と、提示情報毎の結合係数λm,ipならびにコントラスト行列Uを読み出す。
提示情報再現部1122は、脳活動信号y_estmと読み出したコントラスト行列Uに基づき、例えば式(2)を用いてコントラストベクトルVC_estmを算出する。
提示情報再現部1122は、算出したコントラストベクトルVC_estmと読み出した局所基底画像φm(r)及び提示情報毎の結合係数λm,ipに基づき、例えば式(3)を用いて画像信号F_estm(r|y_estm)を算出することによって再構成(reconstruction)する。
このようにして、変換情報処理部112は、目標利用者から脳活動信号y_estmが取得されている間に提示された提示情報を、再構成した画像信号F_estm(r|y_estm)が表す画像と推定する。
【0056】
次に、本実施形態に係る提示情報再現部1122が再構成した提示情報について説明する。
図9は、本実施形態に係る提示情報再現部1122が再構成した提示情報の一例を示す図である。
図9は、左列に提示情報として上から下に順に画像ip1−ip5を示し、中央列に画像ip1−ip5が各々提示されたときに目標利用者から測定した脳活動信号に基づいて再構成した画像ip1’−ip5’を示す。即ち、画像ip1’−ip5’は、目標利用者から取得した脳活動信号と目標利用者自身の提示情報再現モデルに基づいて提示情報再現部1122が再構成した画像(目標利用者再構成画像)である。図9は、右列に、画像ip1−ip5が各々提示されたときに原利用者から測定した脳活動信号に基づいて推定した画像ip1’’−ip5’’を示す。即ち、画像ip1’’−ip5’’は、目標利用者とは異なる原利用者から取得した脳活動信号と目標利用者自身の提示情報再現モデルに基づいて提示情報再現部1122が推定した画像(原利用者推定画像)である。
【0057】
図9は、目標利用者推定画像及び原利用者推定画像はともに、提示情報の特徴を維持することを示す。例えば、画像ip1’及び画像ip1’’の中心部が白地であり、周辺部が濃い塗りつぶしという点で画像ip1と共通する。画像ip2’及び画像ip2’’の中心部が白い矩形であり、周辺部が濃い塗りつぶしという点で画像ip2と共通する。画像ip3’及び画像ip3’’が中心部を通る水平方向と垂直方向に延びる白地を有するという点で画像ip3と共通する。画像ip4’及び画像ip4’’が対角に延びる白地を有する点で画像ip4と共通する。画像ip5’及び画像ip5’’が中心部に濃い塗りつぶしを有し、その周辺を白地が取り囲む点で画像ip5と共通する。
【0058】
次に、本実施形態に係る脳活動推定装置1が行う脳活動計測処理の一例について説明する。
図10は、本実施形態に係る脳活動推定装置1が行う脳活動計測処理の一例を示すフローチャートである。
(ステップS101)計測信号生成部1011は、送信する磁場の信号を表す計測信号を生成し、計測信号送信部1012に出力する。その後、ステップS101に進む。
【0059】
(ステップS102)計測信号送信部1012は、計測信号生成部1011から入力された計測信号に基づいて磁場を生成し、生成した磁場を被計測者の頭部に提示する。その後、ステップS103に進む。
(ステップS103)情報提示部103は、提示情報記憶部102から読み出した提示情報信号に基づく提示情報を被計測者に提示する。提示情報は、例えば図6に示す画像it1−it4又はこれに類するランダムドットパターンである。情報提示部103は、提示した提示情報に対応する提示情報識別符号を脳活動信号記憶部104に記憶する。その後、ステップS104に進む。
【0060】
(ステップS104)脳活動信号受信部1013は、被計測者の頭部における部位(ボクセル)毎の活動を示す脳活動信号を取得する。脳活動信号受信部1013は、取得した脳活動信号をノイズ除去部1014に出力する。その後、ステップS105に進む。
(ステップS105)ノイズ除去部1014は、脳活動信号受信部1013から入力された脳活動信号からノイズ成分を除去して、ノイズ成分が除去された脳活動信号を脳活動信号記憶部104に記憶する。その後、ステップS106に進む。
(ステップS106)個別変換変数算出部105は、共通の提示情報に対応する脳活動信号を脳活動信号記憶部104が少なくとも被計測者2名分記憶しているか否かを判断する。
個別変換変数算出部105は、脳活動信号記憶部104が被計測者2名又は2名分よりも多く記憶していないと判断したとき(ステップS106 N)、ステップS101に進む。個別変換変数算出部105は、脳活動信号記憶部104が被計測者2名又は2名分よりも多く記憶していると判断したとき(ステップS106 Y)、ステップS107に進む。
【0061】
(ステップS107)個別変換変数算出部105は、脳活動信号記憶部104から2名の被計測者から各々取得された脳活動信号を読み出す。2名の被計測者のうち、一方が原利用者であり、他方が目標利用者である。個別変換変数算出部105は、原利用者の脳活動信号に基づき推定した目標利用者の脳活動信号が、計測した目標利用者の脳活動信号を最も近似(尤度を最大)するように個別変換変数(重み係数)を要素として含む個別変換行列Wを算出する。個別変換変数算出部105は、個別変換行列Wを算出するために、例えば後述するスパース回帰処理を行う。その後、ステップS108に進む。
【0062】
(ステップS108)個別変換変数算出部105は、算出した重み係数の平均値<wij>を要素(重み係数wij)として含む個別変換行列Wを個別変換変数記憶部106に記憶して処理を終了する。
【0063】
次に、本実施形態に係る脳活動推定装置1が行う脳活動推定処理の一例について説明する。
図11は、本実施形態に係る脳活動推定装置1が行う脳活動推定処理の一例を示すフローチャートである。
この例は、脳活動信号を取得するためのステップであるステップS101−S105を開始直後に実行する点で図10に示す脳活動推定処理と共通する。他方、この例は、脳活動推定装置1は、ステップS101−S105を原利用者に対して実行して原利用者の脳活動信号を計測し、ステップS105の後でステップS206に進む点が異なる。また、この例ではステップS103において、情報提示部103は図7に示す画像ip1−ip5又はこれに類する画像を提示情報として提示する。
【0064】
以下、ステップS206以降のステップについて説明する。
(ステップS206)個別変換部107は、脳活動信号記憶部104から提示情報識別符号及び原利用者の脳活動信号x_msrdを読み出し、個別変換変数記憶部106から原利用者と目標利用者の組に対応する個別変換行列Wを読み出す。
個別変換部107は、脳活動信号x_msrdを個別変換行列Wに基づいて、例えば式(1)を用いて目標利用者の脳活動信号y_estmを推定する。
個別変換部107は、推定した脳活動信号y_estmを変換情報処理部112が備える提示情報分類部1121及び提示情報再現部1122に出力する。その後、ステップS207に進む。
【0065】
(ステップS207)提示情報分類部1121は、個別変換部107から目標利用者の脳活動信号y_estmが入力され、提示情報分類モデル記憶部109から提示情報毎に提示情報分類行列Vを読み出す。
提示情報分類部1121は、脳活動信号y_estmと提示情報分類行列Vに基づき、例えば式(2)を用いて提示情報毎に確率pip_estmを算出する。提示情報分類部1121は、算出した確率pip_estmが最大となる提示情報ipを推定(弁別)する。その後、ステップS208に進む。
【0066】
(ステップS208)提示情報再現部1122は、個別変換部107から目標利用者の脳活動信号y_estmを入力され、提示情報再現モデル記憶部111から局所基底画像φm(r)と、提示情報毎の結合係数λm,ipならびにコントラスト行列Uを読み出す。
提示情報再現部1122は、脳活動信号y_estmとコントラスト行列Uに基づき、例えば式(4)を用いてコントラスト値Cm _estmを算出し、算出したコントラスト値Cm _estmを要素として含むコントラストベクトルVC_estmを生成する。提示情報分類部1121は、算出したコントラストベクトルVC_estmと読み出した局所基底画像φm(r)及び提示情報毎の結合係数λm,ipに基づき、例えば式(3)を用いて画像信号F_estm(r|y_estm)を再構成する。その後、処理を終了する。
【0067】
なお、図11に示す脳活動推定処理において、ステップS208を実行する時期はステップS207を実行する時期よりも先でもよいし、ステップS207とステップS208を実行する時期が同時でもよい。
また、この処理において、ステップS207とステップS208のうち、いずれか一方を実行してもよい。
【0068】
次に、本実施形態に係るスパース回帰処理について説明する。以下の説明では、個別変換変数算出部105が、脳活動信号x_msrd、脳活動信号y_msrd、推定した脳活動信号y_estm及び個別変換行列Wに基づいて、重み係数の平均値<wij>を算出することを前提とする。
また、提示情報分類モデル生成部108では、脳活動信号x_msrd、脳活動信号y_msrd、推定した脳活動信号y_estm及び個別変換行列Wの代わりに、各々脳活動信号y_msrd、目標確率ベクトルp_targ、確率ベクトルp_estmに基づいて分類重み係数の平均値<vip, i>を算出する。
また、提示情報再現モデル生成部110では、脳活動信号x_msrd、脳活動信号y_msrd、推定した脳活動信号y_estm及び個別変換行列Wの代わりに、脳活動信号y_msrd、目標コントラスト信号VC_targ、推定したコントラストベクトルVC_estmに基づいて、コントラスト重み係数の平均値<umi>を算出する。
【0069】
図12は、本実施形態に係るスパース回帰処理を示すフローチャートである。
(ステップS301)個別変換変数算出部105は、処理に必要な変数として脳活動信号xの次元Dx、脳活動信号yの次元Dy、及び関連性係数(relevance parameter)αijの期待値<αij>の初期値を設定する。関連性係数αijは、脳活動信号xに含まれるボクセルjの要素信号が脳活動信号yに含まれるボクセルiの要素信号に対する関連性の度合いを示す0より大きい実数である。関連性係数αijは、スパース推定においてARD事前分布(ARD prior;Automatic Relevance Determination prior;自動関連性決定事前分布)を仮定するために用いる係数である。
【0070】
ARD事前分布では、関連性係数αijに対する重み係数wijの条件付確率P(wij|αij)を、平均値(mean)を0、分散(variance)をαij−1とする正規分布(normal distribution;Gaussian distribution)N(0,αij−1)に従って分布すると仮定する。即ち、関連性係数αijが大きいほど、脳活動信号xに含まれるボクセルjの要素信号が脳活動信号yに含まれるボクセルiの要素信号に対する関連性が低いことを示す。
ARD事前分布では、関連性係数αijをとる確率P0(αij)をαij−1と仮定する。
その後、ステップS302に進む。
【0071】
(ステップS302)個別変換変数算出部105は、与えられた脳活動信号x_msrd、脳活動信号y_msrd及び関連性係数αijの事後分布(posterior distribution)Q(A)のもとで、階層ベイズ推定(hierarchical Baysian estimation)を行い重み係数wijの事後分布Q(W)を更新する。階層ベイズ推定(hierarchical Baysian estimation)では、個別変換変数算出部105は、変分自由エネルギー(variational free energy)が最大になるようにして事後分布Q(W)を定める重み係数wijの平均値<wij>と共分散Sijを算出する。
【0072】
ここで、個別変換変数算出部105は、重み係数wijが多次元正規分布に従って分布しているとの仮定に基づき、式(5)で示される自由エネルギーE(W)を最大化するように重み係数wijの平均値<wij>を算出する。
【0073】
【数5】
【0074】
式(5)において、nは、原利用者及び目標利用者に共通の情報を提示して取得した脳活動信号xと脳活動信号yの組を識別する番号である。Nは、その脳活動信号xと脳活動信号yの組の個数である。<αjj>は、関連性係数αijがガンマ分布(Gamma distribution)に従って分布していると仮定した場合の期待値の対角要素である。
ここで、式(5)の第1項は、計測された脳活動信号y_msrdと推定された脳活動信号y_estmの相関による寄与を示し、第2項は、推定された脳活動信号y_estmの分布によるエントロピーによる寄与を示し、第3項は、関連性係数αijの分布によるエントロピーによる寄与を示す。
変換変数算出部105は、自由エネルギーE(W)を最大化するために、例えば、式(6)に示される勾配ベクトル(gradient vector)E’と式(7)に示されるヘシアン(Hessian Matrix;ヘッセ行列)E’’に基づき、ニュートン法(Newton method)を用いる。
【0075】
【数6】
【0076】
式(6)において、e’iは、勾配ベクトルE’=[e’1,...,e’Dy]の要素である。
【0077】
【数7】
【0078】
式(7)において、e’’ij,は、ヘシアンE’’=[e’’11,...,e’’DyDy]の要素である。Tはベクトル又は行列の転置を示す。○の内部に×を含む記号は、クロネッカー積(Kronecker product)を示す。
【0079】
個別変換変数算出部105は、算出した平均値<wij>が収束するまで、上述の関数E(W)を最大化する処理を繰り返す。個別変換変数算出部105は、例えば、前回算出した平均値<wij>との差分値の絶対値が予め設定した値よりも小さくなったときに平均値<wij>が収束し、関数E(W)が最大化したと判断する。
次に、個別変換変数算出部105は、重み係数wijは最大化した関数E(W)のヘシアンE’’の逆行列E’’−1を共分散行列Sとして算出する。この共分散行列Sは、行列要素として共分散Siijjを含む行列である。その後、ステップS303に進む。
【0080】
(ステップS303)個別変換変数算出部105は、与えられた脳活動信号x_msrd、脳活動信号y_msrd及び重み係数wijの事後分布Q(W)のもとで、関連性係数αijの事後分布Q(A)を更新する。個別変換変数算出部105は、関連性係数αijが自由度(degree of freedom)1/2のガンマ分布Γ(1/2,<αij>)に従って分布していると仮定し、事後分布Q(A)を定める関連性係数αijの平均値<αij>を更新する。
個別変換変数算出部105は、式(8)を用いて平均値<αij>を更新する。
【0081】
【数8】
【0082】
個別変換変数算出部105は、解を早く収束させるために式(8)の代わりに式(9)を用いて平均値<αij>を更新してもよい。
【0083】
【数9】
【0084】
その後、ステップS304に進む。
【0085】
(ステップS304)個別変換変数算出部105は、関連性係数の平均値<αij>が各々予め設定した閾値を超えるか否か判断し、そのような関連性係数の平均値<αij>の有無を判断する。個別変換変数算出部105は、予め設定した閾値(例えば、108)を超える関連性係数の平均値<αij>があると判断したとき(ステップS304 Y)、ステップS305に進む。個別変換変数算出部105は、予め設定した閾値を超える関連性係数の平均値<αij>がないと判断したとき(ステップS304 N)、ステップS306に進む。
【0086】
(ステップS305)個別変換変数算出部105は、予め設定した閾値(を超える関連性係数の平均値<αij>に対応する次元の重み係数wijを以降の処理において除外する。具体的には、個別変換変数算出部105は、その次元の重み係数wij及びその平均値<wij>を常に0とする。これにより、脳活動信号x_msrdに含まれるボクセルjの要素信号が脳活動信号y_msrdに含まれるボクセルiの要素信号に対する関連性の度合いが低い重み係数wijが除外される。その後、ステップS306に進む。
【0087】
(ステップS306)個別変換変数算出部105は、関連性係数の平均値<αij>、重み係数の平均値<wij>、又は共分散Sijが収束したか否か判断する。個別変換変数算出部105は、収束したか否か判断するために、これらの係数の全て又は一部について、前回の値との差分の絶対値が予め設定した閾値よりも小さいか否かをもって判断する。
個別変換変数算出部105は、関連性係数の平均値<αij>、重み係数の平均値<wij>、又は共分散Sijが収束したと判断した場合(ステップS306 Y)、算出した重み係数の平均値<wij>を原利用者と目標利用者との個別変換行列Wとして個別変換変数記憶部106に記憶し、処理を終了する。即ち、記憶された個別変換行列Wは算出した重み係数の平均値<wij>を要素(重み係数wij)として含む。
個別変換変数算出部105は、関連性係数の平均値<αij>、重み係数の平均値<wij>、又は共分散Sijが収束していないと判断した場合(ステップ306 N)、ステップS302へ進む。
【0088】
なお、個別変換変数算出部105は、ステップS306において関連性係数の平均値<αij>、重み係数の平均値<wij>、又は共分散Sijが収束したか否か判断する代わりに、予め設定した繰り返し回数に達したか否か判断してもよい。この場合、個別変換変数算出部105は、その回数に達したと判断したとき処理を終了し、その回数に達していない判断したときステップS302へ進む。
【0089】
なお、個別変換変数算出部105及び個別変換部107が、重み係数の偏り値wi0を考慮して、脳活動信号の要素信号値yi_estmを、式(10)のように算出する場合には、上述のスパース推定処理において、その偏り値wi0に対応する関連性係数αi0、それらの平均値<wi0>及び<αi0>、を設定及び算出する。
【0090】
【数10】
【0091】
その場合、式(5)、(6)及び(7)における偏り値wij及び関連性係数αijのインデックスjは、最小値は1ではなく0である。
【0092】
なお、上述の説明では、線形のスパース回帰を用いて個別変換変数を算出し、算出した個別変換変数を用いて脳活動信号を線形変換する例について説明したが、本実施形態では、線形変換の代わりに非線形変換を行ってもよい。本実施形態では、非線形変換を行う際に、例えばカーネル法を用いることができる。
また、従来、原利用者に共通のモデルを用いて脳活動信号を変換する試みがなされていたが、本実施形態では原利用者によって異なる個別変換変数をモデルとして用いる。そのため、本実施形態では原利用者によって非線形変換を行うか、線形変換を行うか、変換方式を使い分けることもできる。
【0093】
なお、上述の説明では、提示情報分類モデル生成部108は、目標利用者の脳活動信号y_msrd(計測値)と提示情報識別符号に基づいて提示情報分類モデルを生成し、提示情報分類部1121は、脳活動信号y_estm(推定値)と生成された提示情報分類モデルに基づき算出した提示情報毎の確率を用いて提示情報を弁別する例を挙げた。
本実施形態では、これには限られず、提示情報分類モデル生成部108は、目標利用者のy_msrd(計測値)の代わりに、このy_msrd(計測値)に基づき個別変換部107が生成した脳活動信号y_estm(推定値)と提示情報識別符号に基づいて提示情報分類モデルを生成してもよい。この場合において、提示情報分類部1121は、脳活動信号y_estm(推定値)と生成された提示情報分類モデルに基づき算出した提示情報毎の確率を用いて提示情報を弁別してもよい。
【0094】
また、上述の説明では、提示情報再現モデル生成部110は、目標利用者の脳活動信号y_msrd(計測値)、提示情報識別符号及び局所基底画像に基づいて提示情報再現モデルを生成し、提示情報再現部1122は、脳活動信号y_estm(推定値)と生成された提示情報再現モデルに基づき提示情報を再構成する例を挙げた。
本実施形態では、これには限られず、提示情報再現モデル生成部110は、目標利用者のy_msrd(計測値)の代わりに、このy_msrd(計測値)に基づき個別変換部107が生成した脳活動信号y_estm(推定値)と提示情報識別符号及び局所規定画像に基づいて提示情報再現モデルを生成してもよい。この場合において、提示情報再現部1122は、脳活動信号y_estm(推定値)と生成された提示情報再現モデルに基づき提示情報を再構成してもよい。
【0095】
次に、本実施形態に係る脳活動推定装置1において上述の処理を行って検証した結果について説明する。検証では、利用者は3名であり、いずれも被計測者3名としてインフォームド・コンセントを得て脳計測信号を取得した。個別変換情報及び提示情報再現モデルを生成する際には、情報提示部103は、提示情報として、図6の画像it1−it4又はこれに類するランダムドットパターンをランダムな順序で提示した。これは、脳全体の活動を活性化させ、活動が特定の部位にのみに偏ることを避けるためである。例えば、右側にのみ表示された画像を提示した場合に、左側に表示された画像に対する脳活動信号が計測又は推定できなくなることを避けるためである。
また、提示情報分類モデルの生成及び原利用者の脳活動信号を計測する際には、情報提示部103は、図7の画像ip1−ip5の5種類の静止画のうち、いずれか1種類を提示情報としてランダムな順序で提示した。提示したランダムドットパターン及び画像ip1−ip5画素数は、各々水平方向10画素×垂直方向10画素である。
【0096】
1回あたりの提示情報の提示時間は12秒である。提示情報を提示した後に、12秒の休憩時間を挿入した。12秒の各提示時間の間に、脳活動計測部101脳活動信号をその都度取得する。取得した脳活動信号に含まれるボクセル数は1000である。
検証においては、各被計測者について脳活動推定装置1を動作して図10に示す脳活動計測処理及び図11に示す脳活動推定処理を行った。
【0097】
図13は、本実施形態に係る脳活動信号間における相関の一例を示す表である。
図13の最上行は、原利用者として第2列から第4列へ順に被計測者1−3を示す。図13の最左列は、目標利用者として第2行から第4行へ順に被計測者1−3を示す。図13の最上行から2行目以降の各行及び最左列から2列目以降の各欄は、ボクセル間の相関係数(voxel−wise correlation)の平均値と括弧内に標準偏差(standard deviation)を示す。この相関係数は、個別変換部107が原利用者の脳活動信号に基づき推定した目標利用者の脳活動信号のボクセル毎の要素信号値と、脳活動計測部101が取得した目標利用者の脳活動信号のボクセル毎の要素信号値に基づいて算出した相関係数である。
【0098】
図13に示すように、原利用者が被計測者1、目標利用者が被計測者2の場合には、ボクセル間の相関関数の平均値は0.42、標準偏差は0.15である。原利用者が被計測者1、目標利用者が被計測者3の場合には、ボクセル間の相関関数の平均値は0.19、標準偏差は0.23である。原利用者が被計測者2、目標利用者が被計測者1の場合には、ボクセル間の相関関数の平均値は0.54、標準偏差は0.12である。原利用者が被計測者2、目標利用者が被計測者3の場合には、ボクセル間の相関関数の平均値は0.15、標準偏差は0.21である。原利用者が被計測者3、目標利用者が被計測者1の場合には、ボクセル間の相関関数の平均値は0.49、標準偏差は0.14である。原利用者が被計測者3、目標利用者が被計測者2の場合には、ボクセル間の相関関数の平均値は0.31、標準偏差は0.18である。
【0099】
この結果に対して、統計学的仮説検定方法(statistical hypothesis testing)の1つであるウィルコクソンの符号順位検定(Wilcoxson signed−rank test)を行うと検定指標のp値は0.01未満となる。従って、図13に示す結果は、推定した脳活動信号と計測した脳活動信号は有意に相関性を有することを示す。
【0100】
図14は、本実施形態に係る提示情報の正答率(accuracy of classification)の一例を示す表である。
図14の最上行は、原利用者として第2列から第4列へ順に被計測者1−3を示す。図14の最左列は、目標利用者として第2行から第4行へ順に被計測者1−3を示す。図14の最上行から2行目以降の各行及び最左列から2列目以降の各欄は、提示情報の正答率のパーセント値を示す。本検証において正答率は、原利用者の脳活動信号に基づき推定した目標利用者の脳活動信号を用いて提示情報分類部1121が弁別した提示情報の種類を正しく弁別した回数の全提示回数に対する割合である。
【0101】
図14によれば、原利用者が被計測者1、目標利用者が被計測者2の場合には、正答率は84%である。原利用者が被計測者1、目標利用者が被計測者3の場合には、正答率は49%である。原利用者が被計測者2、目標利用者が被計測者1の場合には、正答率は87%である。原利用者が被計測者2、目標利用者が被計測者3の場合には、正答率は62%である。原利用者が被計測者3、目標利用者が被計測者1の場合には、正答率は86%である。原利用者が被計測者3、目標利用者が被計測者2の場合には、正答率は82%である。
図14に示すように、目標利用者が被計測者1及び被計測者2の場合には、正答率はいずれも80%以上と高い正答率を示す。目標利用者が被計測者3の場合には、正答率が49%又は62%と比較的低い。しかし、その場合における正答率でも、偶然による正答率(chance level)である20%よりも格段に高い。
【0102】
図15は、本実施形態に係る提示情報間における相関の一例を示す表である。
図15の最上行は、原利用者として第2列から第4列へ順に被計測者1−3を示す。図12の最左列は、目標利用者として第2行から第4行へ順に被計測者1−3を示す。図12の最上行から2行目以降の各行及び最左列から2列目以降の各欄は、ピクセル間の相関係数(pixel−wise correlation)の平均値と括弧内に標準偏差を示す。この相関係数は、提示情報再現部1122が推定した目標利用者の脳活動信号に基づき再構成した画像信号のピクセル毎の信号値と、情報提示部103が提示した提示情報のピクセル毎の信号値に基づいて算出した相関係数である。
【0103】
図15によれば、原利用者が被計測者1、目標利用者が被計測者2の場合には、ピクセル間の相関係数の平均値は0.72、標準偏差は0.08である。原利用者が被計測者1、目標利用者が被計測者3の場合には、ピクセル間の相関係数の平均値は0.67、標準偏差は0.13である。原利用者が被計測者2、目標利用者が被計測者1の場合には、ピクセル間の相関係数の平均値は0.72、標準偏差は0.12である。原利用者が被計測者2、目標利用者が被計測者3の場合には、ピクセル間の相関係数の平均値は0.61、標準偏差は0.15である。原利用者が被計測者3、目標利用者が被計測者1の場合には、ピクセル間の相関係数の平均値は0.60、標準偏差は0.14である。原利用者が被計測者3、目標利用者が被計測者2の場合には、ピクセル間の相関係数の平均値は0.57、標準偏差は0.13である。
【0104】
この結果に対して、ウィルコクソンの符号順位検定を行うと評価指標のp値は0.01未満となる。従って、図15に示す結果は、推定した脳活動信号と計測した脳活動信号は有意に相関性を有することを示す。
なお、図15に示す相関係数は、図13に示す相関係数よりも総じて高い。これは、提示情報再現モデル110及び提示情報再現部1122が、式(8)を用いてコントラスト値を推定する際に偏り値を導入し、スパース推定において提示情報に対して関連性が低い脳活動信号の要素信号を除外するからである。
【0105】
このように、本実施形態によれば、利用者に知覚可能な情報を提示し、前記利用者の脳活動を表す脳活動信号を取得し、第1の利用者の脳活動信号と第2の利用者の脳活動信号との相関関係を示す個別変換情報を算出する。これにより、第2の利用者である目標利用者の脳活動信号をじかに測定することなく推定するための個別変換情報を取得することができる。その結果、本実施形態によれば、従来は目標利用者に限られていた脳活動信号を利用した情報処理の適用範囲が拡大する。
【0106】
また、本実施形態によれば、第1の利用者に知覚可能な情報を提示し、前記第1の利用者の脳活動を表す脳活動信号を取得し、前記第1の利用者の脳活動信号と第2の利用者の脳活動信号との相関関係を示す個別変換情報に基づいて前記取得した脳活動信号から前記第2の利用者の脳活動信号を推定する。これにより、第2の利用者である目標利用者の脳活動信号をじかに測定することなく推定することができる。その結果、本実施形態によれば目標利用者に限られていた脳活動信号を利用した情報処理の適用範囲が拡大する。
【0107】
なお、脳活動信号を測定するためには多くのコスト及び時間を費やすが、本実施形態によれば、原利用者の脳活動信号に基づき目標利用者の脳活動信号を推定できるため、従来は、その都度測定していたコスト及び時間を大幅に削減できる。また、測定のために被測定者に対して、多くの拘束時間(例えば、数時間)、精神的、肉体的負担を強いていたが、本実施形態によれば、これらの負担を軽減することができる。
【0108】
なお、上述した実施形態における脳活動推定装置1は、脳活動計測部101を2個以上備え、同時に2名以上の利用者から脳活動信号を取得できるようにしてもよい。
【0109】
なお、上述した実施形態における脳活動推定装置1の一部、例えば、個別変換変数算出部105、個別変換部107、提示情報分類モデル生成部108、提示情報再現モデル生成部110、ノイズ除去部114、提示情報分類部1121及び提示情報再現部1122をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、脳活動推定装置1に内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における脳活動推定装置1の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現しても良い。脳活動推定装置1の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【0110】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【0111】
1…脳活動推定装置、
101…脳活動計測部、
1011…計測信号生成部、1012…計測信号送信部、1013…脳活動信号受信部、
102…提示情報記憶部、103…情報提示部、104…脳活動信号記憶部、
105…個別変換変数算出部、106…個別変換変数記憶部、107…個別変換部、
108…提示情報分類モデル生成部、109…提示情報分類モデル記憶部109、
110…提示情報再現モデル生成部、111…提示情報再現モデル記憶部、
112…変換情報処理部、1121…提示情報分類部、1122…提示情報再現部、
114…ノイズ除去部
【特許請求の範囲】
【請求項1】
利用者に知覚可能な情報を提示する情報提示部と、
前記利用者の脳活動を表す脳活動信号を取得する脳活動計測部と、
第1の利用者の脳活動信号と第2の利用者の脳活動信号との相関関係を示す個別変換情報を算出する個別変換情報算出部と、
を備えることを特徴とする脳活動計測装置。
【請求項2】
脳活動推定装置における方法において、
前記脳活動推定装置が、利用者に知覚可能な情報を提示する第1の過程と、
前記脳活動推定装置が、前記利用者の脳活動を表す脳活動信号を取得する第2の過程と、
前記脳活動推定装置が、第1の利用者の脳活動信号と第2の利用者の脳活動信号との相関関係を示す個別変換情報を算出する過程と、
を有することを特徴とする脳活動計測方法。
【請求項3】
第1の利用者に知覚可能な情報を提示する情報提示部と、
前記第1の利用者の脳活動を表す脳活動信号を取得する脳活動計測部と、
前記第1の利用者の脳活動信号と第2の利用者の脳活動信号との相関関係を示す個別変換情報に基づいて前記取得した脳活動信号から前記第2の利用者の脳活動信号を推定する 個別変換部と、
を備えることを特徴とする脳活動推定装置。
【請求項4】
第1の利用者の脳活動信号と第2の利用者の脳活動信号との相関関係を示す個別変換情報を記憶する個別変換情報記憶部を備える脳活動推定装置における方法において、
前記脳活動推定装置が、前記第1の利用者に知覚可能な情報を提示する過程と、
前記脳活動推定装置が、前記第1の利用者の脳活動を表す脳活動信号を取得する過程と、
前記脳活動推定装置が、前記個別変換情報に基づいて前記取得した脳活動信号から前記第2の利用者の脳活動信号を推定する過程と、
を有することを特徴とする脳活動推定方法。
【請求項1】
利用者に知覚可能な情報を提示する情報提示部と、
前記利用者の脳活動を表す脳活動信号を取得する脳活動計測部と、
第1の利用者の脳活動信号と第2の利用者の脳活動信号との相関関係を示す個別変換情報を算出する個別変換情報算出部と、
を備えることを特徴とする脳活動計測装置。
【請求項2】
脳活動推定装置における方法において、
前記脳活動推定装置が、利用者に知覚可能な情報を提示する第1の過程と、
前記脳活動推定装置が、前記利用者の脳活動を表す脳活動信号を取得する第2の過程と、
前記脳活動推定装置が、第1の利用者の脳活動信号と第2の利用者の脳活動信号との相関関係を示す個別変換情報を算出する過程と、
を有することを特徴とする脳活動計測方法。
【請求項3】
第1の利用者に知覚可能な情報を提示する情報提示部と、
前記第1の利用者の脳活動を表す脳活動信号を取得する脳活動計測部と、
前記第1の利用者の脳活動信号と第2の利用者の脳活動信号との相関関係を示す個別変換情報に基づいて前記取得した脳活動信号から前記第2の利用者の脳活動信号を推定する 個別変換部と、
を備えることを特徴とする脳活動推定装置。
【請求項4】
第1の利用者の脳活動信号と第2の利用者の脳活動信号との相関関係を示す個別変換情報を記憶する個別変換情報記憶部を備える脳活動推定装置における方法において、
前記脳活動推定装置が、前記第1の利用者に知覚可能な情報を提示する過程と、
前記脳活動推定装置が、前記第1の利用者の脳活動を表す脳活動信号を取得する過程と、
前記脳活動推定装置が、前記個別変換情報に基づいて前記取得した脳活動信号から前記第2の利用者の脳活動信号を推定する過程と、
を有することを特徴とする脳活動推定方法。
【図1】
【図2】
【図3】
【図5】
【図6】
【図7】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図4】
【図8】
【図9】
【図2】
【図3】
【図5】
【図6】
【図7】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図4】
【図8】
【図9】
【公開番号】特開2012−239475(P2012−239475A)
【公開日】平成24年12月10日(2012.12.10)
【国際特許分類】
【出願番号】特願2011−108749(P2011−108749)
【出願日】平成23年5月13日(2011.5.13)
【出願人】(000005326)本田技研工業株式会社 (23,863)
【出願人】(393031586)株式会社国際電気通信基礎技術研究所 (905)
【Fターム(参考)】
【公開日】平成24年12月10日(2012.12.10)
【国際特許分類】
【出願日】平成23年5月13日(2011.5.13)
【出願人】(000005326)本田技研工業株式会社 (23,863)
【出願人】(393031586)株式会社国際電気通信基礎技術研究所 (905)
【Fターム(参考)】
[ Back to top ]