情報処理装置および方法、プログラム、並びに記録媒体
【課題】ノイズ成分を除去することにより、精度高く脳の活性化状態を測定することができるようにする。
【解決手段】サンプル取得部２０１は、発光部から近赤外光を出射させるとともに、信号処理部を制御して各計測チャネルの信号を取得し、取得された参照信号と脳内信号との組合せをそれぞれサンプルとして記憶する。係数特定部２０２は、取得されたサンプルに基づいて、例えば、参照信号値から脳内信号値を求める一次方程式を生成して、その一次方程式の係数を、最小自乗法などを用いて特定する。ノイズ除去信号抽出部２０４は、信号取得部２０３により取得された参照信号と、係数特定部２０２により特定された係数に基づいて、信号取得部２０３が取得した脳内信号から、ノイズ成分を除去する演算を行う。そして、ノイズ成分が除去された脳内信号が、被験者の感情などを推定するための信号として出力される。
【解決手段】サンプル取得部２０１は、発光部から近赤外光を出射させるとともに、信号処理部を制御して各計測チャネルの信号を取得し、取得された参照信号と脳内信号との組合せをそれぞれサンプルとして記憶する。係数特定部２０２は、取得されたサンプルに基づいて、例えば、参照信号値から脳内信号値を求める一次方程式を生成して、その一次方程式の係数を、最小自乗法などを用いて特定する。ノイズ除去信号抽出部２０４は、信号取得部２０３により取得された参照信号と、係数特定部２０２により特定された係数に基づいて、信号取得部２０３が取得した脳内信号から、ノイズ成分を除去する演算を行う。そして、ノイズ成分が除去された脳内信号が、被験者の感情などを推定するための信号として出力される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および方法、プログラム、並びに記録媒体に関し、特に、ノイズ成分を除去することにより、精度高く脳の活性化状態を測定することができるようにする情報処理装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
近年、近赤外光を利用して脳血流の代謝を計測するシステムであるfNIRS（ｆｕｎｃｔｉｏｎａｌ ｎｅａｒ ｉｎｆｒａｒｅｄ ｓｐｅｃｔｒｏｓ ｃｏｐｙ）が活用されている。
【０００３】
例えば、fNIRSを用いて脳賦活信号の計測が脳表面の任意対象部位に対して可能となっており、計測結果からの各種感情推定や脳機能計測といった評価技術、運動推定を用いてのブレインコンピュータインタフェース（以下BCI）など多様な分野への応用が研究されている。
【０００４】
fNIRSでは、例えば、被験者の頭部に送光用プローブと受光用プローブを装着し、送光用プローブから近赤外光を照射して被験者の脳内で反射させ反射光の一部を受光用プローブで受光するようになされている。そして受光した光の強度などを信号として解析し、脳内の血流の変化などを測定できるようになされている。fNIRSでは、このような送光用プローブと受光用プローブによる測定が、被験者の頭部の各所において行われる。また、このような送光用プローブと受光用プローブによる測定が、近赤外光の波長を変えて行われる。
【０００５】
fNIRSを用いて上述した測定を行うことにより、例えば、脳内の局所部において血中のヘモグロビンの量の変化などが計測され、その計測結果に基づいて当該局所部の賦活状態が推定されるようにすることが可能である。
【０００６】
しかし、測定された脳内のヘモグロビンの量の変化などを表す信号には、脳内部からの信号に加えて、さまざまな外界からのノイズ、例えば、装置ノイズや体動信号などが重畳されてしまうことがある。
【０００７】
そこで、脳内の血液量の変化を表す信号に、主成分分析や独立成分分析を行い、統計的に無相関な信号または確率密度的に独立な信号を抽出し、その抽出結果を表示することも提案されている。
【０００８】
【特許文献１】特開２００５−１４３６０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、fNIRS測定された脳内のヘモグロビンの量の変化などを表す信号には、脳の毛細血管内の酸素代謝による影響だけでなく、頭皮血管中の血流量変化の影響が混在していると考えられる。すなわち、外界からのノイズを除去したとしても、被験者の体内の状況に応じて生じるノイズが、fNIRSの測定結果に重畳されていることがこれまでの計測実験から明らかになっている。
【００１０】
このため、fNIRSを用いて、より精度の高い計測を行うためには、計測された信号から頭皮の血流の影響などによるノイズ成分を除去する必要がある。
【００１１】
本発明はこのような状況に鑑みてなされたものであり、ノイズ成分を除去することにより、精度高く脳の活性化状態を測定することができるようにするものである。
【課題を解決するための手段】
【００１２】
本発明の一側面は、被験者の頭部に装着された計測具により取得される情報であって、前記被験者の頭の内部の各計測部位の血液成分の変化を表す情報を取得する内部情報取得手段と、前記取得された各計測部位の血液成分の変化を表す情報のうち、予め設定された計測部位の血液成分の変化を表す情報に基づいて生成される参照信号に基づいて、他の計測部位の血液成分の変化を表す情報に基づいて生成される脳内信号のノイズ成分を除去するノイズ除去信号抽出手段と、前記ノイズ成分が除去された脳内信号を、前記被験者の脳表層の各計測部位の活性化状態を表す信号として出力する出力手段とを備える情報処理装置である。
【００１３】
前記被験者に特別な刺激を与えない状態で取得された前記参照信号と前記脳内信号に基づいて、前記各計測部位のそれぞれの脳内信号の出力値を、前記参照信号の出力値に基づいて求める関係式の係数を特定する係数特定手段をさらに備え、前記ノイズ除去信号抽出手段は、前記生成された参照信号および前記特定された係数に基づいて前記脳内信号に含まれるノイズ成分を求めて、そのノイズ成分を除去するようにすることができる。
【００１４】
前記計測具は、前記被験者の頭部の前記各計測部位に対応する位置に取り付けられる、近赤外光を発光する発光プローブおよび前記発光プローブから発光された近赤外光を受光する受光プローブにより構成され、前記参照信号の生成に用いられる前記発光プローブと前記受光プローブとの間の距離が、前記脳内信号の生成に用いられる情報を取得するための前記発光プローブと前記受光プローブとの間の距離より小さく設定されているようにすることができる。
【００１５】
前記脳内信号の各計測部位に対応する、複数の前記参照信号に対応する計測部位が設定されるようにすることができる。
【００１６】
前記脳内信号の各計測部位のうち、所定の計測部位の前記発光プローブと前記受光プローブとの間の距離を小さく設定することにより、その所定の計測部位が前記参照信号の計測部位とされるようにすることができる。
【００１７】
前記参照信号に対応する計測部位が予め設定された位置に１つ設定されるようにすることができる。
【００１８】
前記参照信号の計測部位は、前記被検者の頭部において脳の大脳縦列に対応する位置に設定されるようにすることができる。
【００１９】
前記参照信号の計測部位は、前記被験者の眉間の上方、２０mm乃至３０mmの位置であって、被験者の毛髪がない額の部分に設定されるようにすることができる。
【００２０】
本発明の一側面は、被験者の頭部に装着された計測具により取得される情報であって、前記被験者の頭の内部の各計測部位の血液成分の変化を表す情報を取得し、前記取得された各計測部位の血液成分の変化を表す情報のうち、予め設定された計測部位の血液成分の変化を表す情報に基づいて生成される参照信号に基づいて、他の計測部位の血液成分の変化を表す情報に基づいて生成される脳内信号のノイズ成分を除去し、前記ノイズ成分が除去された脳内信号を、前記被験者の脳表層の各計測部位の活性化状態を表す信号として出力するステップを含む情報処理方法である。
【００２１】
本発明の一側面は、コンピュータを、被験者の頭部に装着された計測具により取得される情報であって、前記被験者の頭の内部の各計測部位の血液成分の変化を表す情報を取得する内部情報取得手段と、前記取得された各計測部位の血液成分の変化を表す情報のうち、予め設定された計測部位の血液成分の変化を表す情報に基づいて生成される参照信号に基づいて、他の計測部位の血液成分の変化を表す情報に基づいて生成される脳内信号のノイズ成分を除去するノイズ除去信号抽出手段と、前記ノイズ成分が除去された脳内信号を、前記被験者の脳表層の各計測部位の活性化状態を表す信号として出力する出力手段とを備える情報処理装置として機能させるプログラムである。
【００２２】
本発明の一側面においては、被験者の頭部に装着された計測具により取得される情報であって、前記被験者の頭の内部の各計測部位の血液成分の変化を表す情報が取得され、前記取得された各計測部位の血液成分の変化を表す情報のうち、予め設定された計測部位の血液成分の変化を表す情報に基づいて生成される参照信号に基づいて、他の計測部位の血液成分の変化を表す情報に基づいて生成される脳内信号のノイズ成分が除去され、前記ノイズ成分が除去された脳内信号を、前記被験者の脳表層の各計測部位の活性化状態を表す信号として出力される。
【発明の効果】
【００２３】
本発明によれば、ノイズ成分を除去することにより、精度高く脳の活性化状態を測定することができる。
【発明を実施するための最良の形態】
【００２４】
以下、図面を参照して、本発明の実施の形態について説明する。
【００２５】
図１は、本発明の一実施の形態に係る情報処理システムの構成例を示すブロック図である。
【００２６】
この例では、情報処理システム１が、計測装置１０、情報処理端末２０、およびディスプレイ４１により構成されている。
【００２７】
計測装置１０は、機能的近赤外分光法によって、被験者３１の脳表層における血流中のヘモグロビン濃度又はヘモグロビン濃度変化を計測するものであり、例えば、fNIRS（ｆｕｎｃｔｉｏｎａｌ ｎｅａｒ ｉｎｆｒａｒｅｄ ｓｐｅｃｔｒｏｓ ｃｏｐｙ）として構成される。詳細は後述するが、計測装置１０は、計測装置本体部１１、被験者３１の頭部に装着される計測具１２、および計測装置本体部１１と計測具１２とを接続するケーブル１３によって構成される。
【００２８】
情報処理端末２０は、パーソナルコンピュータやモバイルコンピュータなどとして構成される。
【００２９】
情報処理端末２０は、ＣＰＵ２１を備え、そのバス２２には、プログラムやデータが展開されるメインメモリ２３、ハードディスクなどの不揮発性記憶媒体からなる記憶装置部２４、および操作入力部２５が接続される。
【００３０】
記憶装置部２４には、この発明の脳賦活状態の推定処理などを実行するためのプログラム、および必要な固定データなどが記録される。
【００３１】
また、バス２２には、入出力インタフェース２６、画像処理出力部２７が接続され、計測装置本体部１１が入出力インタフェース２６に接続されて、画像処理出力部２７にディスプレイ４１が接続されている。
【００３２】
図２は、図１の計測装置１０の構成例を示すブロック図である。
【００３３】
計測装置１０においては、被験者３１の脳表層２の複数の部位が、それぞれ計測部位２ａとされる。計測装置１０は、被験者３１の脳表層２のうちのどの部分（計測部位）がどの程度活性化しているかを表す情報を、情報処理システム１のユーザに提示するために、被験者３１の脳表層２の各計測部位の血管内を流れる血液のヘモグロビンの濃度などを計測する装置である。
【００３４】
計測装置１０においては、駆動回路１４によって駆動された発光部１５から出射した近赤外光が、発光プローブを構成する光ファイバ１６ａを通じて、それぞれの計測部位２ａに照射されるようになされている。なお、発光プローブのそれぞれは、実際には、被験者３１の頭部（頭皮）に密着するように取り付けられる。
【００３５】
それぞれの計測部位２ａに照射された近赤外光は、それぞれの計測部位２ａにおける血流中のヘモグロビン濃度、又はヘモグロビン濃度変化に応じて、それぞれの計測部位２ａを透過し、被験者３１の頭外に出射する。
【００３６】
被験者３１の頭外に出射した、それぞれの出射光は、受光プローブを構成する光ファイバ１６ｂを通じて、受光部１７で受光され、電気信号の受光信号に変換される。従って、受光プローブは、計測部位２ａにおける血流中のヘモグロビン濃度に対応する強度の光を受光し、受光した光の強度に対応する電気信号が生成されることになる。
【００３７】
それぞれの受光信号は、信号処理部１８で、デジタルデータの計測値に変換され、さらに装置ノイズや体動など、被験者３１の脳の外部からのノイズ成分を除去するためのフィルタリング処理などが施されて、制御部１９を通じて情報処理端末２０に送出される。
【００３８】
制御部１９は、計測装置１０により実行される各種の処理を制御するようになされている。
【００３９】
計測部位２ａは、計測装置１０により計測される信号の計測チャネルに対応して設定される。例えば、第１の計測部位２ａにおいて計測された受光信号が、第１の計測チャネルの信号とされ、第２の計測部位２ａにおいて計測された受光信号が、第２の計測チャネルの信号とされ、・・・のように、被験者の脳表層２において計測すべき局所（各計測部位）のそれぞれが各計測チャネルの信号とされる。
【００４０】
受光部１７の受光信号を解析することにより、計測部位２ａのそれぞれにおける、酸素化ヘモグロビン濃度関連値の変化、脱酸素化ヘモグロビン濃度関連値の変化などが計測されることになる。あるいはまた、受光部１７の受光信号を解析することにより、計測部位２ａのそれぞれにおける血流（血液量の変化）などを計測することも可能である。
【００４１】
このように各計測チャネルの信号を取得して解析することにより、被験者の感情などを推定することが可能となる。
【００４２】
しかしながら、fNIRSを用いて計測された脳内のヘモグロビンの量の変化などを表す信号には、脳の毛細血管内の酸素代謝による影響だけでなく、頭皮血管中の血流の変化の影響が混在していると考えられる。すなわち、被験者の体内の状況に応じて生じるノイズが、fNIRSの測定結果に重畳されていることが、これまでの計測実験などにより明らかになっている。
【００４３】
図３は、fNIRSを用いて計測された脳内のヘモグロビンの量の変化などを表す信号には、頭皮血管中の血流量変化の影響が混在していることを説明するための図である。同図においては、複数のグラフが示されている。同図の左下のグラフ１０１は、レーザドップラー血流計により計測された被験者の頭皮の血流の変化が示されている。図３のグラフ１０１以外のグラフは、それぞれの計測チャネルの信号であって、各計測チャネルに対応する計測部位における酸素化ヘモグロビンの量の変化、脱酸素化ヘモグロビンの量の変化、およびトータルヘモグロビンの量の変化を表すグラフとされる。それぞれの計測チャネルの信号のグラフに付された番号が、その計測チャネルの番号を表しており、この例では、第１乃至第４２の計測チャネルのグラフが示されている。
【００４４】
なお、図３のグラフは、全て横軸が時間、縦軸が量の増減値とされ、グラフ１０１の計測の時間と同一の時間において各計測チャネルの信号が計測されたものとする。
【００４５】
例えば、被験者の頭皮の血流の変化を表すグラフ１０１と、第１計測チャネルのグラフ１１１とを比較すると波形が似通っていることが分かる。すなわち、グラフ１０１とグラフ１１１は、高い相関性を有していることになる。
【００４６】
なお、図３においては、グラフ１０１がレーザドップラー血流計により計測された被験者の頭皮の血流の変化を表すと説明したが、例えば、各計測チャネルの信号と同様にヘモグロビンの量の変化が計測されるようにしてもよい。要は、被験者の脳表皮に達しない頭皮部分の血管内の血液成分の変化が、被験者の脳表皮または脳内の血管内の血液成分の変化に多大な影響を及ぼすことを説明しているのである。
【００４７】
また、グラフ１１１と同様に、他のグラフの波形もグラフ１０１の波形と似ているものが多い。このことから、頭皮の血流の変化と、酸素化ヘモグロビンの量の変化、脱酸素化ヘモグロビンの量の変化、およびトータルヘモグロビンの量の変化との間には、高い相関性があるものと考えられるのである。
【００４８】
従って、例えば、所定のチャネルのヘモグロビンの量の変化を表す波形が急峻な上下動を示している場合であっても、同じタイミングで頭皮の血流が大きく変化しているときは、その所定のチャネルのヘモグロビンの計測結果に基づいて被験者の感情などを推定すると、誤った結果が得られる可能性が高いのである。
【００４９】
そこで本発明においては、頭皮の血管など、脳の外側の血管を流れる血液の量の変化をノイズとして認識し、そのノイズ成分を除去することにより、精度の高い計測結果が得られるようにする。
【００５０】
図４は、図２の制御部１９の機能的構成例を示すブロック図である。同図におけるサンプル取得部２０１および係数特定部２０２は、例えば、被験者の感情などを推定するための信号を実際に計測するのに先立って行われる事前処理を行う機能ブロックである。
【００５１】
サンプル取得部２０１は、例えば、ユーザにより指令されたタイミングで、駆動回路１４を制御し、発光部１５から近赤外光を出射させるとともに、信号処理部１８を制御して各計測チャネルの信号を取得するようになされている。
【００５２】
このとき、計測チャネルのうちの少なくとも１つが、被験者の脳表皮に達しない頭皮の血管内のヘモグロビンの量の変化を計測するように、発光プローブと受光プローブが取り付けられる。このように、被験者の脳表皮に達しない頭皮の血管内のヘモグロビンの量の変化を表すものとして取得された信号を参照信号と称することにする。一方、その他の計測チャネルの信号であって、被験者の脳表皮または脳内の血管内のヘモグロビンの量の変化を表すものとして取得された信号は、脳内信号と称することにする。詳細は後述するが、参照信号の値は、被験者の脳表層の各計測部位の活性化状態を直接測定するものではなく、脳表層の各計測部位の脳内信号のノイズ成分を求めるために参照される値とされる。
【００５３】
サンプル取得部２０１は、そのようにして取得された、参照信号と脳内信号とを記憶するようになされている。サンプル取得部２０１は、例えば、異なるタイミングでそれぞれ取得された参照信号と脳内信号との組合せをそれぞれサンプルとして、複数のサンプルを記憶するようになされている。
【００５４】
係数特定部２０２は、サンプル取得部２０１により取得されたサンプルに基づいて、例えば、参照信号値から脳内信号値を求める一次方程式を生成して、その一次方程式の係数を、最小自乗法などを用いて特定する。なお、係数特定部２０２の処理の詳細については、後述する。
【００５５】
図４における信号取得部２０３およびノイズ除去信号抽出部２０４は、例えば、被験者の感情などを推定するための信号を実際に計測する処理を行う機能ブロックである。
【００５６】
信号取得部２０３は、サンプル取得部２０１と同様に、例えば、ユーザにより指令されたタイミングで、駆動回路１４を制御し、発光部１５から近赤外光を出射させるとともに、信号処理部１８を制御して各計測チャネルの信号を取得するようになされている。そして、信号取得部２０３は、参照信号と脳内信号を同時に取得する。
【００５７】
なお、信号取得部２０３は、サンプル取得部２０１と同一のものとして構成されるようにしても構わない。
【００５８】
ノイズ除去信号抽出部２０４は、信号取得部２０３により取得された参照信号と、係数特定部２０２により特定された係数に基づいて、信号取得部２０３が取得した脳内信号から、ノイズ成分を除去する演算を行う。そして、ノイズ除去信号抽出部２０４は、ノイズ成分が除去された脳内信号を、例えば、被験者の感情などを推定するための信号として出力するようになされている。
【００５９】
図５は、計測装置１０において脳内信号を測定する場合の、発光プローブと受光プローブの取り付け位置を説明する図である。同図においては、被験者の頭部２７０を上から見た断面図が示されている。
【００６０】
同図に示される黒い長方形が発光プローブを表しており、白い長方形が受光プローブを表している。なお、図２を参照して上述したように、実際には、発光プローブおよび受光プローブのそれぞれは、光ファイバにより計測装置本体部１１に接続されるが、図５においては省略されている。
【００６１】
発光プローブ２５１−１と受光プローブ２５２−１は、ペアとして、被験者の頭皮２７１に取り付けられる。発光プローブ２５１−１から発光された近赤外が頭皮２７１、頭蓋骨などを通過して被験者の脳２７２に至り、脳２７２に達した近赤外光の一部は、図中のハッチングで示される光路を通って受光プローブ２５２−１により受光されることになる。そして、受光プローブ２５２−１により受光された光が、上述したように、光ファイバ１６ｂを通じて、受光部１７で受光され、電気信号の受光信号に変換され、その受光信号に基づいて脳内信号が生成されることになる。例えば、発光プローブ２５１−１と受光プローブ２５１−２のペアにより第１計測チャネルの脳内信号が計測される。
【００６２】
同様に、発光プローブ２５１−２乃至発光プローブ２５１−４と受光プローブ２５２−２乃至受光プローブ２５２−４は、それぞれペアとして、被験者の頭皮２７１に取り付けられる。そして、上述の場合と同様に受光信号に基づいて脳内信号が生成され、例えば、発光プローブ２５１−２乃至発光プローブ２５１−４と受光プローブ２５２−２乃至受光プローブ２５２−４のペアにより第２計測チャネル乃至第４計測チャネルの脳内信号が計測される。
【００６３】
図５において、発光プローブ２５１−２乃至発光プローブ２５１−４と受光プローブ２５２−２乃至受光プローブ２５２−４のペアのそれぞれの光路は、脳２７２に達しているが、発光プローブと受光プローブとの間の距離により、光路の位置が異なる。具体的には、発光プローブと受光プローブとの間の距離により、光路が被験者の頭部２７０の中心に向かって奥深くまで達するようになったり、頭部２７０の表面に近い位置までしか達しないようになる。
【００６４】
例えば、発光プローブと受光プローブとの間の距離を大きくすると、光路は、脳２７２の内部深くまで達するようになる。一方、発光プローブと受光プローブとの間の距離を小さくすると、光路は、脳２７２の表層まで達しないようになる。すなわち、発光プローブと受光プローブとの間の距離を調節することにより、例えば、計測部位を脳２７２の表層に位置させるようにしたり、計測部位を頭皮２７１の内側であって脳２７２の表層に達しない部分に位置させるようにすることが可能である。
【００６５】
本発明では、上述した参照信号を取得するために、発光プローブ２５１−５と受光プローブ２５２−５を被験者の頭皮２７１に取り付ける。発光プローブ２５１−５と受光プローブ２５２−５との間の距離は、発光プローブ２５１−１乃至発光プローブ２５１−４と受光プローブ２５２−１乃至受光プローブ２５２−４との間の距離と比較して小さくなっている。
【００６６】
発光プローブ２５１−５から発光された近赤外は、頭皮２７１の内部に至り、近赤外光の一部が、図中のハッチングで示される光路を通って受光プローブ２５２−５により受光されることになる。すなわち、発光プローブ２５１−５と受光プローブ２５２−５のペアの光路は、脳２７２の表皮に達していない。従って、受光プローブ２５２−５により受光された光の受光信号に基づいて、上述した参照信号を生成することができる。
【００６７】
発光プローブ２５１−１乃至発光プローブ２５１−４と受光プローブ２５２−１乃至受光プローブ２５２−４との間の距離は、例えば、２５mm乃至３０mmとされることが望ましい。また、発光プローブ２５１−５と受光プローブ２５２−５との間の距離は、例えば、約１０mmとされることが望ましい。
【００６８】
図６は、従来の脳内信号を計測する場合の発光プローブと受光プローブの取り付け位置の例を示す図である。図中の黒い円が発光プローブの取り付け位置を表しており、図中の白い円が受光プローブの取り付け位置を表しており、ハッチングされた円が光路を表している。図６の例では、被験者の頭皮における図中縦方向に７０mm、横方向に２００mmの領域に、発光プローブが９個取り付けられており、受光プローブが１０個取り付けられており、合計２８箇所の計測部位が設定されることになる。従って、１つの発光プローブにより発光された近赤外光が２つの受光プローブにより受光されることがあるが、脳内信号が生成される方式は、図５を参照して上述したものと変わらない。
【００６９】
この例では、発光プローブと受光プローブとの間の距離は、それぞれ２６mmに設定されている。
【００７０】
図７は、本発明において脳内信号と参照信号を計測する場合の発光プローブと受光プローブの取り付け位置の例を示す図である。図中の黒い円が発光プローブの取り付け位置を表しており、図中の白い円が受光プローブの取り付け位置を表しており、ハッチングされた円が光路を表している。なお、光路の位置は、被験者の脳表層における計測部位に対応する位置となる。同図の例では、図６の場合と同様に、被験者の頭皮における図中縦方向に７０mm、横方向に２００mmの領域３０１に、発光プローブが９個取り付けられており、受光プローブが１０個取り付けられており、合計２８箇所の計測部位が設定されることになる。
【００７１】
なお、同図の領域３０１のサイズは例であり、計測部位の数などに応じて図中縦方向の長さ、横方向の長さが変化するものとする。
【００７２】
また、図７の例では、領域３０１の図中上側の領域３０２に、発光プローブと受光プローブが、それぞれ１個取り付けられており、この発光プローブと受光プローブのペアが参照信号の生成に用いられることになる。なお、同図には図示されていないが、参照信号生成用の発光プローブと受光プローブとの間にも当然光路が存在する。
【００７３】
この例では、領域３０１の内部に取り付けられている発光プローブと受光プローブとの間の距離は、それぞれ２６mmに設定されている。すなわち、脳内信号の生成に用いられる発光プローブと受光プローブとの間の距離は、それぞれ２６mmに設定されている。一方、参照信号生成用の発光プローブと受光プローブとの間の距離は、１０mmに設定されている。
【００７４】
図８は、被験者の前頭葉の脳内信号と参照信号を計測する場合の、発光プローブと受光プローブの取り付け位置を説明する図である。同図は、被験者の頭部３２０を前方向（顔）から見た図であり、被験者の前頭葉に対応する位置であって、額部分に領域３０１が設定されている。領域３０１に取り付けられる発光プローブと受光プローブは、図７を参照して上述した場合と同様である。また、領域３０１の上側に領域３０２が設定されており、発光プローブと受光プローブが領域３０２内に図中縦方向に並べられて取り付けられている。
【００７５】
領域３０２は、被験者の脳の大脳縦列の部分に設定されることが望ましい。図８の図中左上側の図は領域３０２の位置を説明するための図である。被験者の脳３２２には、被験者の両目を結ぶ線を水平とした場合、垂直方向の溝が形成されており、この溝が大脳縦列と称される。大脳縦列は溝であるため、大脳縦列の部分においては、脳３２２の表皮が被験者の頭部３２０の中心方向に窪んでいることになる。従って、大脳縦列の部分においては、被験者の頭皮から脳３２２の表皮までの距離が大きくなるので、参照信号を取得し易くなるのである。
【００７６】
さらに、領域３０２は、被験者３１の眉間の上方、２０mm乃至３０mmの位置であって、被験者の毛髪がない額の部分に設定されることがのぞましい。領域３０２をそのような位置に設定するのは、被験者３１の眉間の上方、２０mm乃至３０mmの位置は、被験者３１の表情の変化などにより額部分の頭皮が大きく動く可能性が小さいので、より正確に参照信号を取得できるからである。また、被験者３１の毛髪が発光プローブ、受光プローブに接触すると参照信号の出力値を正確に計測できなくなる可能性が高いからである。
【００７７】
次に、係数特定部２０２の処理の詳細について説明する。上述したように、係数特定部２０２は、サンプル取得部２０１により取得されたサンプルに基づいて、例えば、参照信号値から脳内信号値を求める一次方程式を生成して、その一次方程式の係数を、最小自乗法などを用いて特定する。
【００７８】
図９は、ある計測チャネルのサンプルの参照信号の出力値と脳内信号の出力値との関係を表すグラフである。同図の横軸は、参照信号の出力値とされ、縦軸は、脳内信号の出力値とされる。そして、その計測チャネルのサンプルとして取得された参照信号の出力値に対応する脳内信号の出力値が図中の円によりプロットされている。
【００７９】
係数特定部２０２は、図９に示されるプロット点に基づいて、近似直線３６１を生成するのである。より、具体的には、参照信号とn番目の計測チャネルの脳内信号の関係を満たす一次式の係数を求めるのである。
【００８０】
いま、参照信号を時刻tの関数Ref(t)で表すこととし、脳内信号を時刻ｔの関数Nn(t)で表すこととする。係数特定部２０２は、次式に各時刻での参照信号の出力値と脳内信号の出力値を代入する。
【００８１】
Nn(t) = An・Ref(t) + Bn
【００８２】
そして、係数特定部２０２は、例えば、最小自乗法を用いてAn及びBnを求める。これにより、ｎ番目の計測チャネルの係数An及びBnが特定されることになる。
【００８３】
係数特定部２０２は、同様に、ｎ番目の計測チャネル以外の各計測チャネルのサンプルのそれぞれを用いて上述した処理を行い、各計測チャネルの係数を特定するのである。例えば、第１番目乃至第２８番目の計測チャネルが存在する場合、A1乃至A28およびB1乃至B28が特定されることになる。
【００８４】
なお、この例では、図９に示されるように、近似直線３６１を生成することが可能なので、１次式による関係式を求めたが、脳内信号の出力値と参照信号の出力値の分布の状態によっては多項式による関係式を用いてもよい。例えば、計測チャネルのサンプルとして取得された参照信号の出力値に対応する脳内信号の出力値をプロットした場合、それらのプロット点が直線状に形成されていない場合などは、適当な多項式による関係式を用いてもよい。
【００８５】
このようにして特定された各計測チャネルの係数に基づいて、ノイズ除去信号抽出部２０４が、信号取得部２０３が取得した脳内信号から、ノイズ成分を除去する演算を行う。
【００８６】
例えば、信号取得部２０３が取得したｎ番目の計測チャネルの脳内信号を、時刻ｔの関数Mn(t)とすると、ノイズ除去信号抽出部２０４は、ノイズが除去されたｎ番目の計測チャネルの脳内信号Ｓn(t)を次式により求める。
【００８７】
Sn(t) = Mn(t) − An・Ref(t) − Bn
【００８８】
図１０は、例えば、被験者に特別な刺激を与えない状態で取得された各計測チャネルの脳内信号と参照信号の例を示す図である。同図においては、２９のグラフが表示されており、それぞれ横軸が時間、縦軸が信号の出力値とされる。「CH1」乃至「CH28」と記されているグラフは、第１計測チャネル乃至第２８計測チャネルの脳内信号のグラフであり、図中最も上側に表示されるグラフが参照信号のグラフとされる。
【００８９】
図１１は、図１０に示される第１計測チャネル乃至第２８計測チャネルの脳内信号のノイズが除去された場合の例を示す図である。図１１の第１計測チャネル乃至第２８計測チャネルの脳内信号のグラフは、図１０の第１計測チャネル乃至第２８計測チャネルの脳内信号のグラフと比較して、それぞれ波形が平坦になっている。
【００９０】
図１０に示されるグラフは、被験者に特別な刺激を与えない状態で取得された各計測チャネルの脳内信号の波形なので、本来、脳内の血管内のヘモグロビンの量には大きな変化が見られないはずである。すなわち、図１０の第１計測チャネル乃至第２８計測チャネルの脳内信号のグラフの波形は、参照信号の影響により、参照信号のグラフの波形と似通った形状となっていたのである。
【００９１】
例えば、従来のfNIRSを用いて計測された脳内のヘモグロビンの量の変化などを表す信号には、頭皮血管中の血流量変化の影響が混在しているので、被験者に特別な刺激を与えない状態で取得された脳内信号であるにも係らず、グラフの波形に上下動が生じることがある。例えば、図１０の第１計測チャネル乃至第２８計測チャネルの脳内信号のグラフでは、それぞれ、ほぼ同様に、図中右から左へ下がっていく波形が示されている。このような、波形に基づいて、例えば、被験者の感情を正確に推測することは困難である。
【００９２】
図１２は、例えば、被験者に特別な刺激を与えた状態で取得された各計測チャネルの脳内信号と参照信号の例を示す図である。同図においては、２９のグラフが表示されており、それぞれ横軸が時間、縦軸が信号の出力値とされる。「CH1」乃至「CH28」と記されているグラフは、第１計測チャネル乃至第２８計測チャネルの脳内信号のグラフであり、図中最も上側に表示されるグラフが参照信号のグラフとされる。
【００９３】
図１３は、図１２に示される第１計測チャネル乃至第２８計測チャネルの脳内信号のノイズが除去された場合の例を示す図である。同図においては、２９のグラフが表示されており、それぞれ横軸が時間、縦軸が信号の出力値とされる。「CH1」乃至「CH28」と記されているグラフは、第１計測チャネル乃至第２８計測チャネルの脳内信号のグラフであり、図中最も上側に表示されるグラフが参照信号のグラフとされる。
【００９４】
図１２の第１計測チャネル乃至第２８計測チャネルの脳内信号のグラフの波形は、それぞれが、ほぼ同様に、図中左から右に上がってその後さらに下がる形状を有している。一方、図１３の第１計測チャネル乃至第２８計測チャネルの脳内信号のグラフの波形は、それぞれが異なる形状を有している。
【００９５】
すなわち、図１２の第１計測チャネル乃至第２８計測チャネルの脳内信号のグラフの波形は、参照信号の影響により、参照信号のグラフの波形と似通った形状となっていたのである。そして、参照信号の影響をノイズとして認識し、そのノイズを除去することにより、図１３に示されるように、被験者に与えた刺激に対応する脳内の血管内のヘモグロビンの量の変化を、各計測部位に対応する各計測チャネルの脳内信号として観察することが可能になるのである。
【００９６】
このように、被験者に特別な刺激を与えない状態における参照信号の出力値と脳内信号の出力値の関係を表す関係式（係数を含む）を予め求めておき、その関係式により得られる値をノイズ成分として、計測された脳内信号からノイズを除去するのである。このように、ノイズが除去された波形に基づいて、被験者の感情を推測するようにすれば、より正確に被験者の感情を推測することができる。
【００９７】
次に、図１４のフローチャートを参照して、本発明の情報処理システム１による計測事前処理について説明する。この処理は、例えば、被験者の感情などを推定するための信号を実際に計測するのに先立って行われる。
【００９８】
ステップＳ１０１において、サンプル取得部２０１は、図１５を参照して後述するサンプル取得処理を実行する。
【００９９】
ここで、図１５のフローチャートを参照して、図１４のステップＳ１０１のサンプル取得処理の詳細について説明する。
【０１００】
ステップＳ１２１において、情報処理システム１のユーザは、被験者を、特別な刺激を与えない無刺激状態にする。そして、ユーザは、計測装置１０にサンプルの取得を指令する。
【０１０１】
ステップＳ１２２において、サンプル取得部２０１は、脳内信号と参照信号を同時に取得する。このとき、例えば、参照信号とともに、各計測部位に対応する各計測チャネルの脳内信号がそれぞれ取得される。
【０１０２】
ステップＳ１２３において、サンプル取得部２０１は、ステップＳ１２２の処理で取得された各計測チャネルの脳内信号を参照信号に対応付けてサンプルとして記憶する。
【０１０３】
なお、サンプル数は、１に限られるものではなく、複数取得されるようにしてもよい。すなわち、ステップＳ１２１乃至Ｓ１２３の処理が、例えば、繰り返し実行されて複数のサンプルが取得されるようにしてもよい。
【０１０４】
このようにしてサンプルが取得される。
【０１０５】
図１４に戻って、ステップＳ１０１の処理の後、処理は、ステップＳ１０２に進む。
【０１０６】
ステップＳ１０２において、図１６を参照して後述する係数特定処理を実行する。ここで、図１６のフローチャートを参照して、図１４のステップＳ１０２の係数特定処理の詳細について説明する。
【０１０７】
ステップＳ１４１において、係数特定部２０２は、ステップＳ１０１の処理により取得されたサンプルを用いて一次式を生成する。このとき、例えば、図９を参照して上述したように、具体的には、参照信号とn番目の計測チャネルの脳内信号の関係を表す関数を生成する。
【０１０８】
上述したように、参照信号を時刻tの関数Ref(t)で表すこととし、脳内信号を時刻ｔの関数Nn(t)で表すこととすると、係数特定部２０２は、次式に各時刻での参照信号の出力値と脳内信号の出力値を代入することで一次式を生成する。
【０１０９】
Nn(t) = An・Ref(t) + Bn
【０１１０】
ステップＳ１４２において、係数特定部２０２は、例えば、最小自乗法を用いてステップＳ１４１で生成した一次式を解いて、係数An及び係数Bnを求める。これにより、ｎ番目の計測チャネルの係数An及び係数Bnが特定されることになる。同様に、係数特定部２０２は、ｎ番目の計測チャネル以外の各計測チャネルのサンプルのそれぞれを用いて上述した処理を行い、各計測チャネルの係数を特定する。
【０１１１】
ステップＳ１４３において、係数特定部２０２は、ステップＳ１４２において特定した各計測チャネルの係数を記憶する。
【０１１２】
このようにして係数特定処理が行われる。
【０１１３】
このように、予め取得されたサンプルに基づいて脳内信号の関係を表す関数が生成されて、その関数の係数が特定されるようにしたので、後に測定される脳内信号から参照信号の成分を除去する演算を行うことが可能となる。
【０１１４】
次に、図１７のフローチャートを参照して、本発明の情報処理システム１による脳内信号抽出処理について説明する。この処理は、例えば、図１４を参照して上述した計測事前処理が実行された後、被験者の感情などを推定するための信号を実際に計測するために行われる。
【０１１５】
ステップＳ１６１において、情報処理システム１のユーザは、被験者に所定の刺激を与える。このとき、例えば、被験者に「喜び」、「悲しみ」などの情動を想起させるための刺激が与えられる。そして、ユーザは、計測装置１０に脳内信号の抽出を指令する。
【０１１６】
ステップＳ１６２において、信号取得部２０３は、脳内信号と参照信号を同時に取得する。このとき、例えば、参照信号とともに、各計測部位に対応する各計測チャネルの脳内信号がそれぞれ取得される。
【０１１７】
ステップＳ１６３において、ノイズ除去信号抽出部２０４は、脳内信号から参照信号成分（すなわち、ノイズ成分）を除去する。このとき、ノイズ除去信号抽出部２０４は、例えば、図１６のステップＳ１４３の処理により記憶されている、各計測チャネルの係数を読み出して、ステップＳ１６２の処理で取得した脳内信号から、ノイズ成分を除去する演算を行う。
【０１１８】
例えば、ステップＳ１６２の処理で信号取得部２０３が取得したｎ番目の計測チャネルの脳内信号を、時刻ｔの関数Mn(t)とすると、ノイズ除去信号抽出部２０４は、ノイズが除去されたｎ番目の計測チャネルの脳内信号Ｓn(t)を次式により求める。
【０１１９】
Sn(t) = Mn(t) − An・Ref(t) − Bn
【０１２０】
このようにして全ての計測チャネルの脳内信号のノイズが除去されていく。
【０１２１】
ステップＳ１６４において、ノイズ除去信号抽出部２０４は、ステップＳ１６３の処理でノイズを除去した各計測チャネルの脳内信号を、最終的な脳内信号として出力する。ここで、出力される信号が、被験者の脳表層の各計測部位の活性化状態を表す信号として用いられることになる。
【０１２２】
このようにして、ノイズが除去された脳内信号が抽出される。
【０１２３】
このように、本発明においては、頭皮の血管など、脳の外側の血管を流れる血液の量の変化を参照信号として取得し、その参照信号をノイズ成分として脳内信号から除去するようになされている。従って、例えば、頭皮の血管など、脳の外側の血管を流れる血液の量の変化などに影響されることなく、被験者の脳表層のどの部分がどの程度活性化しているのかを、より正確に計測することが可能となる。その結果、頭皮の血流などが大きく変化しているときであっても、被験者の感情などが誤って推定されてしまう可能性は小さくなる。
【０１２４】
以上においては、図８に示されるように、１組（ペア）の発光プローブと受光プローブにより参照信号を取得する例について説明した。すなわち、図８の例では、参照信号の計測部位は１箇所とされている。
【０１２５】
しかしながら、多くの計測部位において、参照信号を計測すれば、より正確にノイズ成分を除去することが可能となる。
【０１２６】
図１８は、複数の計測部位において参照信号を取得する場合の発光プローブと受光プローブの取り付け位置の例を示す図である。同図において、図７と同様に、図中の黒い円が発光プローブの取り付け位置を表しており、図中の白い円が受光プローブの取り付け位置を表しており、ハッチングされた円が光路（計測部位に対応する）を表している。同図の例では、被験者の頭皮における図中縦方向に７０mm、横方向に２００mmの領域４０１に、発光プローブが１１個取り付けられており、受光プローブが１２個取り付けられており、合計２８箇所の計測部位が設定されることになる。
【０１２７】
なお、同図の領域４０１のサイズは例であり、計測部位の数などに応じて図中縦方向の長さ、横方向の長さが変化するものとする。
【０１２８】
図１８の例では、図７の場合と異なり、参照信号を取得する発光プローブと受光プローブを取り付けるための領域３０２に対応する領域が設けられていない。
【０１２９】
また、図１８の例では、図７の場合と異なり、ほぼ矩形である領域４０１の四隅に取り付けられた発光プローブと受光プローブとの間の距離が、他の発光プローブと受光プローブとの間の距離より短く設定されている。例えば、発光プローブ４２１−１と受光プローブ４２２−２との間の距離は、２６mmに設定されているのに対して、発光プローブ４２１−１と受光プローブ４２２−１との間の距離は、１０mmに設定されている。同様に、発光プローブ４２１−３乃至４２１−５と受光プローブ４２２−３乃至４２２−５との間の距離も、それぞれ１０mmに設定されている。
【０１３０】
すなわち、図１８の例においては、発光プローブ４２１−１と受光プローブ４２２−１とのペア、および発光プローブ４２１−３乃至４２１−５と受光プローブ４２２−３乃至４２２−５とのペアにより、４つの参照信号が取得されるのである。この例では、４つの参照信号が取得されると説明したが、このように、脳内信号の取得のための領域４０１に取り付けら得た発光プローブと受光プローブにおいて、所定の発光プローブと受光プローブとの間の距離を短くするだけで、所望の数の参照信号を取得することができる。
【０１３１】
図１８に示されるように、発光プローブと受光プローブを取り付けた場合、４つの参照信号を取得することができるので、例えば、取得された４つの参照信号の出力値の平均値を図９における参照信号の出力値として用いることもできる。このようにすることで、例えば、被験者３１の頭皮の血流の局所的な変化などが参照信号の出力値に影響することを抑止することが可能となり、より正確にノイズ成分を除去することが可能となる。
【０１３２】
また、図１８に示されるように、発光プローブと受光プローブを取り付けた場合、例えば、各計測チャネルに対応する計測部位に最も最も近い位置で計測された参照信号の出力値を図９における参照信号の出力値として用いることもできる。このようにすることで、例えば、被験者３１の頭皮の血流の局所的な変化など生じた場合であっても、適応的にそれぞれの計測チャネルの脳内信号のノイズ成分を除去することが可能となる。
【０１３３】
あるいはまた、図１８に示されるように、発光プローブと受光プローブを取り付けた場合、４つの参照信号の中から、ノイズ成分を除去する所定の計測チャネルの脳内信号と最も線形性の強い参照信号を選択して用いることもできる。このようにすることで、例えば、係数特定部２０２により特定される係数の値の信頼性をより高めることが可能となる。
【０１３４】
また、図１８に示されるように、４つの参照信号を取得する場合、図９を参照して上述したようにプロット点に基づいて、４つの近似直線を得ることが可能となる。例えば、ノイズ成分を除去する所定の計測チャネルの脳内信号の出力値を、これら４つの近似直線と同一のグラフ（図９のグラフ）上にプロットした場合、そのプロットされた点が４つの近似直線のうちの、第２番目の近似直線と第３番目の近似直線との間に位置していたとする。このような場合、例えば、第２番目の近似直線と第３番目の近似直線の平均値として得られる値を、ノイズ成分として除去するようにしてもよい。
【０１３５】
つまり、４つの参照信号に対応して、傾きがほぼ同じであって、４つの異なる近似直線が得られた場合、所定の計測チャネルの脳内信号の出力値をプロットした位置に対応する仮想的な近似直線を生成し、その仮想的な近似直線によりノイズ成分を特定するようにしてもよい。
【０１３６】
すなわち、図１８に示されるように、発光プローブと受光プローブを取り付けた場合、４つの参照信号のそれぞれに対応する近似直線を得て、ノイズ成分を除去する所定の計測チャネルの脳内信号の出力値と、それらの近似直線との距離に基づいて、ノイズ成分を演算するようにすることも可能である。
【０１３７】
なお、例えば、４つの近似直線の傾きが全く異なっていた場合、４つの近似直線がほぼ同一であった場合などは、上述した仮想的な近似直線を生成してノイズ成分を特定する方式は、用いないこととする。
【０１３８】
図１９は、複数の計測部位において参照信号を取得する場合の発光プローブと受光プローブの取り付け位置の別の例を示す図である。同図において、図７と同様に、図中の黒い円が発光プローブの取り付け位置を表しており、図中の白い円が受光プローブの取り付け位置を表しており、ハッチングされた円が光路（計測部位に対応する）を表している。同図の例では、被験者の頭皮における図中縦方向に７０mm、横方向に２００mmの領域４５１に、発光プローブが３７個取り付けられており、受光プローブが３８個取り付けられており、合計２８箇所の計測部位が設定されることになる。
【０１３９】
なお、同図の領域４５１のサイズは例であり、計測部位の数などに応じて図中縦方向の長さ、横方向の長さが変化するものとする。
【０１４０】
図１９の例では、図７の場合と異なり、参照信号を取得する発光プローブと受光プローブを取り付けるための領域３０２に対応する領域が設けられていない。
【０１４１】
図１９の例では、脳内信号の計測部位に対応する位置に、参照信号の計測部位が設定されており、２８箇所の計測部位において参照信号が取得されるようになされている。すなわち、図１９の例では、脳表層の血管内のヘモグロビンの濃度を計測するとともに、脳表層の血管の外側（脳表層の真上）の頭皮の血管の血流も計測されるようになされているのである。すなわち、図１９の場合、各計測チャネルの脳内信号のノイズ成分を除去するために、最も適切な位置において計測チャネル数分の参照信号がそれぞれ取得されるのである。
【０１４２】
このようにすることで、より適切にノイズ成分を除去することが可能となる。
【０１４３】
ただし、図１９のように、発光プローブと受光プローブの取り付ける場合、プローブの数が多いため、取り付け位置の設定、取り付け作業などが煩雑になるので、理想的な測定結果を得るためには、時間とコストを要する可能性が高い。
【０１４４】
図２０と図２１は、本発明の効果を説明する図である。
【０１４５】
図２０は、従来のfNIRSを用いて計測された脳内信号に基づいて、被験者の感情を推定した場合の正解率と、本発明の情報処理システム１を用いて計測された脳内信号に基づいて、被験者の感情を推定した場合の正解率とを比較する表である。この表は、被験者に「喜び」、「悲しみ」、または「怒り」の情動を想起する所定の刺激を与え、また、被験者に特別な刺激を与えず「無情動」となるようにして、被験者の脳内信号を計測し、その計測結果に基づいて被験者の情動（または感情）を推定した結果を表している。被験者の脳内信号の計測結果に基づいて推定された情動が、実際に被験者が感じた情動と一致する場合、正解となる。
【０１４６】
すなわち、図２０は、被験者に与えた刺激の内容を知ることなく、従来のfNIRSまたは本発明の情報処理システム１を用いて、被験者の情動をどれだけ正しく推定できたかを表すものである。
【０１４７】
図２０に示されるように、「喜び」、「悲しみ」、「怒り」、または「無情動」のいずれの情動に対しても、本発明の情報処理システム１を用いて計測された脳内信号に基づいて、被験者の感情を推定した方が、従来と比較して、正解率が高くなっている。また、本発明の方が、当然、各情動の平均正解率も高くなっている。
【０１４８】
図２１は、図２０における各推定結果の内訳を表すグラフである。同図においては、「喜び」、「悲しみ」、「怒り」、および「無情動」の各情動が、それぞれ「喜」、「悲」、「怒」、および「無」として表されている。
【０１４９】
図２１の図中左側のグラフは、従来のfNIRSを用いて計測された脳内信号に基づいて、被験者の感情を推定した場合の推定結果の内訳を表しており、図中右側のグラフは、本発明の情報処理システム１を用いて計測された脳内信号に基づいて、被験者の感情を推定した場合の推定結果の内訳を表している。
【０１５０】
例えば、図中左側のグラフの「喜」に対応する棒グラフは、被験者が感じた情動が「喜び」であった場合、fNIRSの推定結果が、「喜び」、「悲しみ」、「怒り」、または「無情動」のいずれであったかを表している。この例では、被験者が感じた情動が「喜び」であった場合、fNIRSの推定結果が「喜び」となったのは（すなわち正解率は）、６２.３％であり、fNIRSの推定結果が誤って「怒り」となったものが多かったことが分かる。
【０１５１】
同様に、図中右側のグラフの「喜」に対応する棒グラフも、被験者が感じた情動が「喜び」であった場合、fNIRSの推定結果が、「喜び」、「悲しみ」、「怒り」、または「無情動」のいずれであったかを表している。これにより、被験者が感じた情動が「喜び」であった場合、fNIRS（いまの場合、本発明の情報処理システム１）の推定結果が「喜び」となったのは（すなわち正解率は）、７３.１％であり、fNIRSの推定結果が誤って「怒り」となったものなどは、少なかったことが分かる。
【０１５２】
なお、図２０と図２１に示される本発明の情報処理システム１を用いて計測された脳内信号に基づく被験者の感情の推定結果は、図７に示されるように、１つの参照信号が得られるように発光プローブと受光プローブを取り付けて計測された脳内信号に基づく被験者の感情の推定結果とされる。
【０１５３】
このように、本発明によれば、より正確に被験者の情動を推定することが可能となる。
【０１５４】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図２２に示されるような汎用のコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０１５５】
図２２において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１５６】
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０１５７】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、CRT(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１５８】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０１５９】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０１６０】
なお、この記録媒体は、図２２に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０１６１】
なお、本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０１６２】
【図１】本発明の一実施の形態に係る情報処理システムの構成例を示すブロック図である。
【図２】図１の計測装置の構成例を示すブロック図である。
【図３】fNIRSを用いて計測された脳内のヘモグロビンの量の変化などを表す信号に、頭皮血管中の血流量変化の影響が混在していることを説明するための図である。
【図４】図２の制御部の機能的構成例を示すブロック図である。
【図５】計測装置において脳内信号を測定する場合の、発光プローブと受光プローブの取り付け位置を説明する図である。
【図６】従来の脳内信号を計測する場合の発光プローブと受光プローブの取り付け位置の例を示す図である。
【図７】本発明において脳内信号と参照信号を計測する場合の発光プローブと受光プローブの取り付け位置の例を示す図である。
【図８】被験者の前頭葉の脳内信号と参照信号を計測する場合の、発光プローブと受光プローブの取り付け位置を説明する図である。
【図９】ある計測チャネルのサンプルの参照信号の出力値と脳内信号の出力値との関係を表すグラフである。
【図１０】被験者に特別な刺激を与えない状態で取得された各計測チャネルの脳内信号と参照信号の例を示す図である。
【図１１】図１０に示される計測チャネルの脳内信号のノイズが除去された場合の例を示す図である。
【図１２】被験者に特別な刺激を与えた状態で取得された各計測チャネルの脳内信号と参照信号の例を示す図である。
【図１３】図１２に示される計測チャネルの脳内信号のノイズが除去された場合の例を示す図である。
【図１４】計測事前処理の例を説明するフローチャートである。
【図１５】サンプル取得処理の例を説明するフローチャートである。
【図１６】係数特定処理を説明するフローチャートである。
【図１７】脳内信号抽出処理を説明するフローチャートである。
【図１８】本発明において脳内信号と参照信号を計測する場合の発光プローブと受光プローブの取り付け位置の別の例を示す図である。
【図１９】本発明において脳内信号と参照信号を計測する場合の発光プローブと受光プローブの取り付け位置のさらに別の例を示す図である。
【図２０】本発明による効果を説明する表である。
【図２１】図２０の表に対応するグラフである。
【図２２】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１６３】
１ 情報処理システム， ２ 脳表層， ２ａ 計測部位， １０ 計測装置， １１ 計測装置本体部， １２ 計測具， １３ ケーブル， １４ 駆動回路， １５ 発光部， １６ａ，１６ｂ 光ファイバ， １７ 受光部， １８ 信号処理部， １９ 制御部 ２０ 情報処理端末， ２１ ＣＰＵ， ２２ バス， ２３ メインメモリ， ２４ 記憶装置， ２５ 操作入力部， ２６ 入出力インタフェース， ２７ 画像処理出力部， ３１ 被験者， ４１ ディスプレイ， ２０１ サンプル取得部， ２０２ 係数特定部， ２０３ 信号取得部， ２０４ ノイズ除去部
【技術分野】
【０００１】
本発明は、情報処理装置および方法、プログラム、並びに記録媒体に関し、特に、ノイズ成分を除去することにより、精度高く脳の活性化状態を測定することができるようにする情報処理装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
近年、近赤外光を利用して脳血流の代謝を計測するシステムであるfNIRS（ｆｕｎｃｔｉｏｎａｌ ｎｅａｒ ｉｎｆｒａｒｅｄ ｓｐｅｃｔｒｏｓ ｃｏｐｙ）が活用されている。
【０００３】
例えば、fNIRSを用いて脳賦活信号の計測が脳表面の任意対象部位に対して可能となっており、計測結果からの各種感情推定や脳機能計測といった評価技術、運動推定を用いてのブレインコンピュータインタフェース（以下BCI）など多様な分野への応用が研究されている。
【０００４】
fNIRSでは、例えば、被験者の頭部に送光用プローブと受光用プローブを装着し、送光用プローブから近赤外光を照射して被験者の脳内で反射させ反射光の一部を受光用プローブで受光するようになされている。そして受光した光の強度などを信号として解析し、脳内の血流の変化などを測定できるようになされている。fNIRSでは、このような送光用プローブと受光用プローブによる測定が、被験者の頭部の各所において行われる。また、このような送光用プローブと受光用プローブによる測定が、近赤外光の波長を変えて行われる。
【０００５】
fNIRSを用いて上述した測定を行うことにより、例えば、脳内の局所部において血中のヘモグロビンの量の変化などが計測され、その計測結果に基づいて当該局所部の賦活状態が推定されるようにすることが可能である。
【０００６】
しかし、測定された脳内のヘモグロビンの量の変化などを表す信号には、脳内部からの信号に加えて、さまざまな外界からのノイズ、例えば、装置ノイズや体動信号などが重畳されてしまうことがある。
【０００７】
そこで、脳内の血液量の変化を表す信号に、主成分分析や独立成分分析を行い、統計的に無相関な信号または確率密度的に独立な信号を抽出し、その抽出結果を表示することも提案されている。
【０００８】
【特許文献１】特開２００５−１４３６０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、fNIRS測定された脳内のヘモグロビンの量の変化などを表す信号には、脳の毛細血管内の酸素代謝による影響だけでなく、頭皮血管中の血流量変化の影響が混在していると考えられる。すなわち、外界からのノイズを除去したとしても、被験者の体内の状況に応じて生じるノイズが、fNIRSの測定結果に重畳されていることがこれまでの計測実験から明らかになっている。
【００１０】
このため、fNIRSを用いて、より精度の高い計測を行うためには、計測された信号から頭皮の血流の影響などによるノイズ成分を除去する必要がある。
【００１１】
本発明はこのような状況に鑑みてなされたものであり、ノイズ成分を除去することにより、精度高く脳の活性化状態を測定することができるようにするものである。
【課題を解決するための手段】
【００１２】
本発明の一側面は、被験者の頭部に装着された計測具により取得される情報であって、前記被験者の頭の内部の各計測部位の血液成分の変化を表す情報を取得する内部情報取得手段と、前記取得された各計測部位の血液成分の変化を表す情報のうち、予め設定された計測部位の血液成分の変化を表す情報に基づいて生成される参照信号に基づいて、他の計測部位の血液成分の変化を表す情報に基づいて生成される脳内信号のノイズ成分を除去するノイズ除去信号抽出手段と、前記ノイズ成分が除去された脳内信号を、前記被験者の脳表層の各計測部位の活性化状態を表す信号として出力する出力手段とを備える情報処理装置である。
【００１３】
前記被験者に特別な刺激を与えない状態で取得された前記参照信号と前記脳内信号に基づいて、前記各計測部位のそれぞれの脳内信号の出力値を、前記参照信号の出力値に基づいて求める関係式の係数を特定する係数特定手段をさらに備え、前記ノイズ除去信号抽出手段は、前記生成された参照信号および前記特定された係数に基づいて前記脳内信号に含まれるノイズ成分を求めて、そのノイズ成分を除去するようにすることができる。
【００１４】
前記計測具は、前記被験者の頭部の前記各計測部位に対応する位置に取り付けられる、近赤外光を発光する発光プローブおよび前記発光プローブから発光された近赤外光を受光する受光プローブにより構成され、前記参照信号の生成に用いられる前記発光プローブと前記受光プローブとの間の距離が、前記脳内信号の生成に用いられる情報を取得するための前記発光プローブと前記受光プローブとの間の距離より小さく設定されているようにすることができる。
【００１５】
前記脳内信号の各計測部位に対応する、複数の前記参照信号に対応する計測部位が設定されるようにすることができる。
【００１６】
前記脳内信号の各計測部位のうち、所定の計測部位の前記発光プローブと前記受光プローブとの間の距離を小さく設定することにより、その所定の計測部位が前記参照信号の計測部位とされるようにすることができる。
【００１７】
前記参照信号に対応する計測部位が予め設定された位置に１つ設定されるようにすることができる。
【００１８】
前記参照信号の計測部位は、前記被検者の頭部において脳の大脳縦列に対応する位置に設定されるようにすることができる。
【００１９】
前記参照信号の計測部位は、前記被験者の眉間の上方、２０mm乃至３０mmの位置であって、被験者の毛髪がない額の部分に設定されるようにすることができる。
【００２０】
本発明の一側面は、被験者の頭部に装着された計測具により取得される情報であって、前記被験者の頭の内部の各計測部位の血液成分の変化を表す情報を取得し、前記取得された各計測部位の血液成分の変化を表す情報のうち、予め設定された計測部位の血液成分の変化を表す情報に基づいて生成される参照信号に基づいて、他の計測部位の血液成分の変化を表す情報に基づいて生成される脳内信号のノイズ成分を除去し、前記ノイズ成分が除去された脳内信号を、前記被験者の脳表層の各計測部位の活性化状態を表す信号として出力するステップを含む情報処理方法である。
【００２１】
本発明の一側面は、コンピュータを、被験者の頭部に装着された計測具により取得される情報であって、前記被験者の頭の内部の各計測部位の血液成分の変化を表す情報を取得する内部情報取得手段と、前記取得された各計測部位の血液成分の変化を表す情報のうち、予め設定された計測部位の血液成分の変化を表す情報に基づいて生成される参照信号に基づいて、他の計測部位の血液成分の変化を表す情報に基づいて生成される脳内信号のノイズ成分を除去するノイズ除去信号抽出手段と、前記ノイズ成分が除去された脳内信号を、前記被験者の脳表層の各計測部位の活性化状態を表す信号として出力する出力手段とを備える情報処理装置として機能させるプログラムである。
【００２２】
本発明の一側面においては、被験者の頭部に装着された計測具により取得される情報であって、前記被験者の頭の内部の各計測部位の血液成分の変化を表す情報が取得され、前記取得された各計測部位の血液成分の変化を表す情報のうち、予め設定された計測部位の血液成分の変化を表す情報に基づいて生成される参照信号に基づいて、他の計測部位の血液成分の変化を表す情報に基づいて生成される脳内信号のノイズ成分が除去され、前記ノイズ成分が除去された脳内信号を、前記被験者の脳表層の各計測部位の活性化状態を表す信号として出力される。
【発明の効果】
【００２３】
本発明によれば、ノイズ成分を除去することにより、精度高く脳の活性化状態を測定することができる。
【発明を実施するための最良の形態】
【００２４】
以下、図面を参照して、本発明の実施の形態について説明する。
【００２５】
図１は、本発明の一実施の形態に係る情報処理システムの構成例を示すブロック図である。
【００２６】
この例では、情報処理システム１が、計測装置１０、情報処理端末２０、およびディスプレイ４１により構成されている。
【００２７】
計測装置１０は、機能的近赤外分光法によって、被験者３１の脳表層における血流中のヘモグロビン濃度又はヘモグロビン濃度変化を計測するものであり、例えば、fNIRS（ｆｕｎｃｔｉｏｎａｌ ｎｅａｒ ｉｎｆｒａｒｅｄ ｓｐｅｃｔｒｏｓ ｃｏｐｙ）として構成される。詳細は後述するが、計測装置１０は、計測装置本体部１１、被験者３１の頭部に装着される計測具１２、および計測装置本体部１１と計測具１２とを接続するケーブル１３によって構成される。
【００２８】
情報処理端末２０は、パーソナルコンピュータやモバイルコンピュータなどとして構成される。
【００２９】
情報処理端末２０は、ＣＰＵ２１を備え、そのバス２２には、プログラムやデータが展開されるメインメモリ２３、ハードディスクなどの不揮発性記憶媒体からなる記憶装置部２４、および操作入力部２５が接続される。
【００３０】
記憶装置部２４には、この発明の脳賦活状態の推定処理などを実行するためのプログラム、および必要な固定データなどが記録される。
【００３１】
また、バス２２には、入出力インタフェース２６、画像処理出力部２７が接続され、計測装置本体部１１が入出力インタフェース２６に接続されて、画像処理出力部２７にディスプレイ４１が接続されている。
【００３２】
図２は、図１の計測装置１０の構成例を示すブロック図である。
【００３３】
計測装置１０においては、被験者３１の脳表層２の複数の部位が、それぞれ計測部位２ａとされる。計測装置１０は、被験者３１の脳表層２のうちのどの部分（計測部位）がどの程度活性化しているかを表す情報を、情報処理システム１のユーザに提示するために、被験者３１の脳表層２の各計測部位の血管内を流れる血液のヘモグロビンの濃度などを計測する装置である。
【００３４】
計測装置１０においては、駆動回路１４によって駆動された発光部１５から出射した近赤外光が、発光プローブを構成する光ファイバ１６ａを通じて、それぞれの計測部位２ａに照射されるようになされている。なお、発光プローブのそれぞれは、実際には、被験者３１の頭部（頭皮）に密着するように取り付けられる。
【００３５】
それぞれの計測部位２ａに照射された近赤外光は、それぞれの計測部位２ａにおける血流中のヘモグロビン濃度、又はヘモグロビン濃度変化に応じて、それぞれの計測部位２ａを透過し、被験者３１の頭外に出射する。
【００３６】
被験者３１の頭外に出射した、それぞれの出射光は、受光プローブを構成する光ファイバ１６ｂを通じて、受光部１７で受光され、電気信号の受光信号に変換される。従って、受光プローブは、計測部位２ａにおける血流中のヘモグロビン濃度に対応する強度の光を受光し、受光した光の強度に対応する電気信号が生成されることになる。
【００３７】
それぞれの受光信号は、信号処理部１８で、デジタルデータの計測値に変換され、さらに装置ノイズや体動など、被験者３１の脳の外部からのノイズ成分を除去するためのフィルタリング処理などが施されて、制御部１９を通じて情報処理端末２０に送出される。
【００３８】
制御部１９は、計測装置１０により実行される各種の処理を制御するようになされている。
【００３９】
計測部位２ａは、計測装置１０により計測される信号の計測チャネルに対応して設定される。例えば、第１の計測部位２ａにおいて計測された受光信号が、第１の計測チャネルの信号とされ、第２の計測部位２ａにおいて計測された受光信号が、第２の計測チャネルの信号とされ、・・・のように、被験者の脳表層２において計測すべき局所（各計測部位）のそれぞれが各計測チャネルの信号とされる。
【００４０】
受光部１７の受光信号を解析することにより、計測部位２ａのそれぞれにおける、酸素化ヘモグロビン濃度関連値の変化、脱酸素化ヘモグロビン濃度関連値の変化などが計測されることになる。あるいはまた、受光部１７の受光信号を解析することにより、計測部位２ａのそれぞれにおける血流（血液量の変化）などを計測することも可能である。
【００４１】
このように各計測チャネルの信号を取得して解析することにより、被験者の感情などを推定することが可能となる。
【００４２】
しかしながら、fNIRSを用いて計測された脳内のヘモグロビンの量の変化などを表す信号には、脳の毛細血管内の酸素代謝による影響だけでなく、頭皮血管中の血流の変化の影響が混在していると考えられる。すなわち、被験者の体内の状況に応じて生じるノイズが、fNIRSの測定結果に重畳されていることが、これまでの計測実験などにより明らかになっている。
【００４３】
図３は、fNIRSを用いて計測された脳内のヘモグロビンの量の変化などを表す信号には、頭皮血管中の血流量変化の影響が混在していることを説明するための図である。同図においては、複数のグラフが示されている。同図の左下のグラフ１０１は、レーザドップラー血流計により計測された被験者の頭皮の血流の変化が示されている。図３のグラフ１０１以外のグラフは、それぞれの計測チャネルの信号であって、各計測チャネルに対応する計測部位における酸素化ヘモグロビンの量の変化、脱酸素化ヘモグロビンの量の変化、およびトータルヘモグロビンの量の変化を表すグラフとされる。それぞれの計測チャネルの信号のグラフに付された番号が、その計測チャネルの番号を表しており、この例では、第１乃至第４２の計測チャネルのグラフが示されている。
【００４４】
なお、図３のグラフは、全て横軸が時間、縦軸が量の増減値とされ、グラフ１０１の計測の時間と同一の時間において各計測チャネルの信号が計測されたものとする。
【００４５】
例えば、被験者の頭皮の血流の変化を表すグラフ１０１と、第１計測チャネルのグラフ１１１とを比較すると波形が似通っていることが分かる。すなわち、グラフ１０１とグラフ１１１は、高い相関性を有していることになる。
【００４６】
なお、図３においては、グラフ１０１がレーザドップラー血流計により計測された被験者の頭皮の血流の変化を表すと説明したが、例えば、各計測チャネルの信号と同様にヘモグロビンの量の変化が計測されるようにしてもよい。要は、被験者の脳表皮に達しない頭皮部分の血管内の血液成分の変化が、被験者の脳表皮または脳内の血管内の血液成分の変化に多大な影響を及ぼすことを説明しているのである。
【００４７】
また、グラフ１１１と同様に、他のグラフの波形もグラフ１０１の波形と似ているものが多い。このことから、頭皮の血流の変化と、酸素化ヘモグロビンの量の変化、脱酸素化ヘモグロビンの量の変化、およびトータルヘモグロビンの量の変化との間には、高い相関性があるものと考えられるのである。
【００４８】
従って、例えば、所定のチャネルのヘモグロビンの量の変化を表す波形が急峻な上下動を示している場合であっても、同じタイミングで頭皮の血流が大きく変化しているときは、その所定のチャネルのヘモグロビンの計測結果に基づいて被験者の感情などを推定すると、誤った結果が得られる可能性が高いのである。
【００４９】
そこで本発明においては、頭皮の血管など、脳の外側の血管を流れる血液の量の変化をノイズとして認識し、そのノイズ成分を除去することにより、精度の高い計測結果が得られるようにする。
【００５０】
図４は、図２の制御部１９の機能的構成例を示すブロック図である。同図におけるサンプル取得部２０１および係数特定部２０２は、例えば、被験者の感情などを推定するための信号を実際に計測するのに先立って行われる事前処理を行う機能ブロックである。
【００５１】
サンプル取得部２０１は、例えば、ユーザにより指令されたタイミングで、駆動回路１４を制御し、発光部１５から近赤外光を出射させるとともに、信号処理部１８を制御して各計測チャネルの信号を取得するようになされている。
【００５２】
このとき、計測チャネルのうちの少なくとも１つが、被験者の脳表皮に達しない頭皮の血管内のヘモグロビンの量の変化を計測するように、発光プローブと受光プローブが取り付けられる。このように、被験者の脳表皮に達しない頭皮の血管内のヘモグロビンの量の変化を表すものとして取得された信号を参照信号と称することにする。一方、その他の計測チャネルの信号であって、被験者の脳表皮または脳内の血管内のヘモグロビンの量の変化を表すものとして取得された信号は、脳内信号と称することにする。詳細は後述するが、参照信号の値は、被験者の脳表層の各計測部位の活性化状態を直接測定するものではなく、脳表層の各計測部位の脳内信号のノイズ成分を求めるために参照される値とされる。
【００５３】
サンプル取得部２０１は、そのようにして取得された、参照信号と脳内信号とを記憶するようになされている。サンプル取得部２０１は、例えば、異なるタイミングでそれぞれ取得された参照信号と脳内信号との組合せをそれぞれサンプルとして、複数のサンプルを記憶するようになされている。
【００５４】
係数特定部２０２は、サンプル取得部２０１により取得されたサンプルに基づいて、例えば、参照信号値から脳内信号値を求める一次方程式を生成して、その一次方程式の係数を、最小自乗法などを用いて特定する。なお、係数特定部２０２の処理の詳細については、後述する。
【００５５】
図４における信号取得部２０３およびノイズ除去信号抽出部２０４は、例えば、被験者の感情などを推定するための信号を実際に計測する処理を行う機能ブロックである。
【００５６】
信号取得部２０３は、サンプル取得部２０１と同様に、例えば、ユーザにより指令されたタイミングで、駆動回路１４を制御し、発光部１５から近赤外光を出射させるとともに、信号処理部１８を制御して各計測チャネルの信号を取得するようになされている。そして、信号取得部２０３は、参照信号と脳内信号を同時に取得する。
【００５７】
なお、信号取得部２０３は、サンプル取得部２０１と同一のものとして構成されるようにしても構わない。
【００５８】
ノイズ除去信号抽出部２０４は、信号取得部２０３により取得された参照信号と、係数特定部２０２により特定された係数に基づいて、信号取得部２０３が取得した脳内信号から、ノイズ成分を除去する演算を行う。そして、ノイズ除去信号抽出部２０４は、ノイズ成分が除去された脳内信号を、例えば、被験者の感情などを推定するための信号として出力するようになされている。
【００５９】
図５は、計測装置１０において脳内信号を測定する場合の、発光プローブと受光プローブの取り付け位置を説明する図である。同図においては、被験者の頭部２７０を上から見た断面図が示されている。
【００６０】
同図に示される黒い長方形が発光プローブを表しており、白い長方形が受光プローブを表している。なお、図２を参照して上述したように、実際には、発光プローブおよび受光プローブのそれぞれは、光ファイバにより計測装置本体部１１に接続されるが、図５においては省略されている。
【００６１】
発光プローブ２５１−１と受光プローブ２５２−１は、ペアとして、被験者の頭皮２７１に取り付けられる。発光プローブ２５１−１から発光された近赤外が頭皮２７１、頭蓋骨などを通過して被験者の脳２７２に至り、脳２７２に達した近赤外光の一部は、図中のハッチングで示される光路を通って受光プローブ２５２−１により受光されることになる。そして、受光プローブ２５２−１により受光された光が、上述したように、光ファイバ１６ｂを通じて、受光部１７で受光され、電気信号の受光信号に変換され、その受光信号に基づいて脳内信号が生成されることになる。例えば、発光プローブ２５１−１と受光プローブ２５１−２のペアにより第１計測チャネルの脳内信号が計測される。
【００６２】
同様に、発光プローブ２５１−２乃至発光プローブ２５１−４と受光プローブ２５２−２乃至受光プローブ２５２−４は、それぞれペアとして、被験者の頭皮２７１に取り付けられる。そして、上述の場合と同様に受光信号に基づいて脳内信号が生成され、例えば、発光プローブ２５１−２乃至発光プローブ２５１−４と受光プローブ２５２−２乃至受光プローブ２５２−４のペアにより第２計測チャネル乃至第４計測チャネルの脳内信号が計測される。
【００６３】
図５において、発光プローブ２５１−２乃至発光プローブ２５１−４と受光プローブ２５２−２乃至受光プローブ２５２−４のペアのそれぞれの光路は、脳２７２に達しているが、発光プローブと受光プローブとの間の距離により、光路の位置が異なる。具体的には、発光プローブと受光プローブとの間の距離により、光路が被験者の頭部２７０の中心に向かって奥深くまで達するようになったり、頭部２７０の表面に近い位置までしか達しないようになる。
【００６４】
例えば、発光プローブと受光プローブとの間の距離を大きくすると、光路は、脳２７２の内部深くまで達するようになる。一方、発光プローブと受光プローブとの間の距離を小さくすると、光路は、脳２７２の表層まで達しないようになる。すなわち、発光プローブと受光プローブとの間の距離を調節することにより、例えば、計測部位を脳２７２の表層に位置させるようにしたり、計測部位を頭皮２７１の内側であって脳２７２の表層に達しない部分に位置させるようにすることが可能である。
【００６５】
本発明では、上述した参照信号を取得するために、発光プローブ２５１−５と受光プローブ２５２−５を被験者の頭皮２７１に取り付ける。発光プローブ２５１−５と受光プローブ２５２−５との間の距離は、発光プローブ２５１−１乃至発光プローブ２５１−４と受光プローブ２５２−１乃至受光プローブ２５２−４との間の距離と比較して小さくなっている。
【００６６】
発光プローブ２５１−５から発光された近赤外は、頭皮２７１の内部に至り、近赤外光の一部が、図中のハッチングで示される光路を通って受光プローブ２５２−５により受光されることになる。すなわち、発光プローブ２５１−５と受光プローブ２５２−５のペアの光路は、脳２７２の表皮に達していない。従って、受光プローブ２５２−５により受光された光の受光信号に基づいて、上述した参照信号を生成することができる。
【００６７】
発光プローブ２５１−１乃至発光プローブ２５１−４と受光プローブ２５２−１乃至受光プローブ２５２−４との間の距離は、例えば、２５mm乃至３０mmとされることが望ましい。また、発光プローブ２５１−５と受光プローブ２５２−５との間の距離は、例えば、約１０mmとされることが望ましい。
【００６８】
図６は、従来の脳内信号を計測する場合の発光プローブと受光プローブの取り付け位置の例を示す図である。図中の黒い円が発光プローブの取り付け位置を表しており、図中の白い円が受光プローブの取り付け位置を表しており、ハッチングされた円が光路を表している。図６の例では、被験者の頭皮における図中縦方向に７０mm、横方向に２００mmの領域に、発光プローブが９個取り付けられており、受光プローブが１０個取り付けられており、合計２８箇所の計測部位が設定されることになる。従って、１つの発光プローブにより発光された近赤外光が２つの受光プローブにより受光されることがあるが、脳内信号が生成される方式は、図５を参照して上述したものと変わらない。
【００６９】
この例では、発光プローブと受光プローブとの間の距離は、それぞれ２６mmに設定されている。
【００７０】
図７は、本発明において脳内信号と参照信号を計測する場合の発光プローブと受光プローブの取り付け位置の例を示す図である。図中の黒い円が発光プローブの取り付け位置を表しており、図中の白い円が受光プローブの取り付け位置を表しており、ハッチングされた円が光路を表している。なお、光路の位置は、被験者の脳表層における計測部位に対応する位置となる。同図の例では、図６の場合と同様に、被験者の頭皮における図中縦方向に７０mm、横方向に２００mmの領域３０１に、発光プローブが９個取り付けられており、受光プローブが１０個取り付けられており、合計２８箇所の計測部位が設定されることになる。
【００７１】
なお、同図の領域３０１のサイズは例であり、計測部位の数などに応じて図中縦方向の長さ、横方向の長さが変化するものとする。
【００７２】
また、図７の例では、領域３０１の図中上側の領域３０２に、発光プローブと受光プローブが、それぞれ１個取り付けられており、この発光プローブと受光プローブのペアが参照信号の生成に用いられることになる。なお、同図には図示されていないが、参照信号生成用の発光プローブと受光プローブとの間にも当然光路が存在する。
【００７３】
この例では、領域３０１の内部に取り付けられている発光プローブと受光プローブとの間の距離は、それぞれ２６mmに設定されている。すなわち、脳内信号の生成に用いられる発光プローブと受光プローブとの間の距離は、それぞれ２６mmに設定されている。一方、参照信号生成用の発光プローブと受光プローブとの間の距離は、１０mmに設定されている。
【００７４】
図８は、被験者の前頭葉の脳内信号と参照信号を計測する場合の、発光プローブと受光プローブの取り付け位置を説明する図である。同図は、被験者の頭部３２０を前方向（顔）から見た図であり、被験者の前頭葉に対応する位置であって、額部分に領域３０１が設定されている。領域３０１に取り付けられる発光プローブと受光プローブは、図７を参照して上述した場合と同様である。また、領域３０１の上側に領域３０２が設定されており、発光プローブと受光プローブが領域３０２内に図中縦方向に並べられて取り付けられている。
【００７５】
領域３０２は、被験者の脳の大脳縦列の部分に設定されることが望ましい。図８の図中左上側の図は領域３０２の位置を説明するための図である。被験者の脳３２２には、被験者の両目を結ぶ線を水平とした場合、垂直方向の溝が形成されており、この溝が大脳縦列と称される。大脳縦列は溝であるため、大脳縦列の部分においては、脳３２２の表皮が被験者の頭部３２０の中心方向に窪んでいることになる。従って、大脳縦列の部分においては、被験者の頭皮から脳３２２の表皮までの距離が大きくなるので、参照信号を取得し易くなるのである。
【００７６】
さらに、領域３０２は、被験者３１の眉間の上方、２０mm乃至３０mmの位置であって、被験者の毛髪がない額の部分に設定されることがのぞましい。領域３０２をそのような位置に設定するのは、被験者３１の眉間の上方、２０mm乃至３０mmの位置は、被験者３１の表情の変化などにより額部分の頭皮が大きく動く可能性が小さいので、より正確に参照信号を取得できるからである。また、被験者３１の毛髪が発光プローブ、受光プローブに接触すると参照信号の出力値を正確に計測できなくなる可能性が高いからである。
【００７７】
次に、係数特定部２０２の処理の詳細について説明する。上述したように、係数特定部２０２は、サンプル取得部２０１により取得されたサンプルに基づいて、例えば、参照信号値から脳内信号値を求める一次方程式を生成して、その一次方程式の係数を、最小自乗法などを用いて特定する。
【００７８】
図９は、ある計測チャネルのサンプルの参照信号の出力値と脳内信号の出力値との関係を表すグラフである。同図の横軸は、参照信号の出力値とされ、縦軸は、脳内信号の出力値とされる。そして、その計測チャネルのサンプルとして取得された参照信号の出力値に対応する脳内信号の出力値が図中の円によりプロットされている。
【００７９】
係数特定部２０２は、図９に示されるプロット点に基づいて、近似直線３６１を生成するのである。より、具体的には、参照信号とn番目の計測チャネルの脳内信号の関係を満たす一次式の係数を求めるのである。
【００８０】
いま、参照信号を時刻tの関数Ref(t)で表すこととし、脳内信号を時刻ｔの関数Nn(t)で表すこととする。係数特定部２０２は、次式に各時刻での参照信号の出力値と脳内信号の出力値を代入する。
【００８１】
Nn(t) = An・Ref(t) + Bn
【００８２】
そして、係数特定部２０２は、例えば、最小自乗法を用いてAn及びBnを求める。これにより、ｎ番目の計測チャネルの係数An及びBnが特定されることになる。
【００８３】
係数特定部２０２は、同様に、ｎ番目の計測チャネル以外の各計測チャネルのサンプルのそれぞれを用いて上述した処理を行い、各計測チャネルの係数を特定するのである。例えば、第１番目乃至第２８番目の計測チャネルが存在する場合、A1乃至A28およびB1乃至B28が特定されることになる。
【００８４】
なお、この例では、図９に示されるように、近似直線３６１を生成することが可能なので、１次式による関係式を求めたが、脳内信号の出力値と参照信号の出力値の分布の状態によっては多項式による関係式を用いてもよい。例えば、計測チャネルのサンプルとして取得された参照信号の出力値に対応する脳内信号の出力値をプロットした場合、それらのプロット点が直線状に形成されていない場合などは、適当な多項式による関係式を用いてもよい。
【００８５】
このようにして特定された各計測チャネルの係数に基づいて、ノイズ除去信号抽出部２０４が、信号取得部２０３が取得した脳内信号から、ノイズ成分を除去する演算を行う。
【００８６】
例えば、信号取得部２０３が取得したｎ番目の計測チャネルの脳内信号を、時刻ｔの関数Mn(t)とすると、ノイズ除去信号抽出部２０４は、ノイズが除去されたｎ番目の計測チャネルの脳内信号Ｓn(t)を次式により求める。
【００８７】
Sn(t) = Mn(t) − An・Ref(t) − Bn
【００８８】
図１０は、例えば、被験者に特別な刺激を与えない状態で取得された各計測チャネルの脳内信号と参照信号の例を示す図である。同図においては、２９のグラフが表示されており、それぞれ横軸が時間、縦軸が信号の出力値とされる。「CH1」乃至「CH28」と記されているグラフは、第１計測チャネル乃至第２８計測チャネルの脳内信号のグラフであり、図中最も上側に表示されるグラフが参照信号のグラフとされる。
【００８９】
図１１は、図１０に示される第１計測チャネル乃至第２８計測チャネルの脳内信号のノイズが除去された場合の例を示す図である。図１１の第１計測チャネル乃至第２８計測チャネルの脳内信号のグラフは、図１０の第１計測チャネル乃至第２８計測チャネルの脳内信号のグラフと比較して、それぞれ波形が平坦になっている。
【００９０】
図１０に示されるグラフは、被験者に特別な刺激を与えない状態で取得された各計測チャネルの脳内信号の波形なので、本来、脳内の血管内のヘモグロビンの量には大きな変化が見られないはずである。すなわち、図１０の第１計測チャネル乃至第２８計測チャネルの脳内信号のグラフの波形は、参照信号の影響により、参照信号のグラフの波形と似通った形状となっていたのである。
【００９１】
例えば、従来のfNIRSを用いて計測された脳内のヘモグロビンの量の変化などを表す信号には、頭皮血管中の血流量変化の影響が混在しているので、被験者に特別な刺激を与えない状態で取得された脳内信号であるにも係らず、グラフの波形に上下動が生じることがある。例えば、図１０の第１計測チャネル乃至第２８計測チャネルの脳内信号のグラフでは、それぞれ、ほぼ同様に、図中右から左へ下がっていく波形が示されている。このような、波形に基づいて、例えば、被験者の感情を正確に推測することは困難である。
【００９２】
図１２は、例えば、被験者に特別な刺激を与えた状態で取得された各計測チャネルの脳内信号と参照信号の例を示す図である。同図においては、２９のグラフが表示されており、それぞれ横軸が時間、縦軸が信号の出力値とされる。「CH1」乃至「CH28」と記されているグラフは、第１計測チャネル乃至第２８計測チャネルの脳内信号のグラフであり、図中最も上側に表示されるグラフが参照信号のグラフとされる。
【００９３】
図１３は、図１２に示される第１計測チャネル乃至第２８計測チャネルの脳内信号のノイズが除去された場合の例を示す図である。同図においては、２９のグラフが表示されており、それぞれ横軸が時間、縦軸が信号の出力値とされる。「CH1」乃至「CH28」と記されているグラフは、第１計測チャネル乃至第２８計測チャネルの脳内信号のグラフであり、図中最も上側に表示されるグラフが参照信号のグラフとされる。
【００９４】
図１２の第１計測チャネル乃至第２８計測チャネルの脳内信号のグラフの波形は、それぞれが、ほぼ同様に、図中左から右に上がってその後さらに下がる形状を有している。一方、図１３の第１計測チャネル乃至第２８計測チャネルの脳内信号のグラフの波形は、それぞれが異なる形状を有している。
【００９５】
すなわち、図１２の第１計測チャネル乃至第２８計測チャネルの脳内信号のグラフの波形は、参照信号の影響により、参照信号のグラフの波形と似通った形状となっていたのである。そして、参照信号の影響をノイズとして認識し、そのノイズを除去することにより、図１３に示されるように、被験者に与えた刺激に対応する脳内の血管内のヘモグロビンの量の変化を、各計測部位に対応する各計測チャネルの脳内信号として観察することが可能になるのである。
【００９６】
このように、被験者に特別な刺激を与えない状態における参照信号の出力値と脳内信号の出力値の関係を表す関係式（係数を含む）を予め求めておき、その関係式により得られる値をノイズ成分として、計測された脳内信号からノイズを除去するのである。このように、ノイズが除去された波形に基づいて、被験者の感情を推測するようにすれば、より正確に被験者の感情を推測することができる。
【００９７】
次に、図１４のフローチャートを参照して、本発明の情報処理システム１による計測事前処理について説明する。この処理は、例えば、被験者の感情などを推定するための信号を実際に計測するのに先立って行われる。
【００９８】
ステップＳ１０１において、サンプル取得部２０１は、図１５を参照して後述するサンプル取得処理を実行する。
【００９９】
ここで、図１５のフローチャートを参照して、図１４のステップＳ１０１のサンプル取得処理の詳細について説明する。
【０１００】
ステップＳ１２１において、情報処理システム１のユーザは、被験者を、特別な刺激を与えない無刺激状態にする。そして、ユーザは、計測装置１０にサンプルの取得を指令する。
【０１０１】
ステップＳ１２２において、サンプル取得部２０１は、脳内信号と参照信号を同時に取得する。このとき、例えば、参照信号とともに、各計測部位に対応する各計測チャネルの脳内信号がそれぞれ取得される。
【０１０２】
ステップＳ１２３において、サンプル取得部２０１は、ステップＳ１２２の処理で取得された各計測チャネルの脳内信号を参照信号に対応付けてサンプルとして記憶する。
【０１０３】
なお、サンプル数は、１に限られるものではなく、複数取得されるようにしてもよい。すなわち、ステップＳ１２１乃至Ｓ１２３の処理が、例えば、繰り返し実行されて複数のサンプルが取得されるようにしてもよい。
【０１０４】
このようにしてサンプルが取得される。
【０１０５】
図１４に戻って、ステップＳ１０１の処理の後、処理は、ステップＳ１０２に進む。
【０１０６】
ステップＳ１０２において、図１６を参照して後述する係数特定処理を実行する。ここで、図１６のフローチャートを参照して、図１４のステップＳ１０２の係数特定処理の詳細について説明する。
【０１０７】
ステップＳ１４１において、係数特定部２０２は、ステップＳ１０１の処理により取得されたサンプルを用いて一次式を生成する。このとき、例えば、図９を参照して上述したように、具体的には、参照信号とn番目の計測チャネルの脳内信号の関係を表す関数を生成する。
【０１０８】
上述したように、参照信号を時刻tの関数Ref(t)で表すこととし、脳内信号を時刻ｔの関数Nn(t)で表すこととすると、係数特定部２０２は、次式に各時刻での参照信号の出力値と脳内信号の出力値を代入することで一次式を生成する。
【０１０９】
Nn(t) = An・Ref(t) + Bn
【０１１０】
ステップＳ１４２において、係数特定部２０２は、例えば、最小自乗法を用いてステップＳ１４１で生成した一次式を解いて、係数An及び係数Bnを求める。これにより、ｎ番目の計測チャネルの係数An及び係数Bnが特定されることになる。同様に、係数特定部２０２は、ｎ番目の計測チャネル以外の各計測チャネルのサンプルのそれぞれを用いて上述した処理を行い、各計測チャネルの係数を特定する。
【０１１１】
ステップＳ１４３において、係数特定部２０２は、ステップＳ１４２において特定した各計測チャネルの係数を記憶する。
【０１１２】
このようにして係数特定処理が行われる。
【０１１３】
このように、予め取得されたサンプルに基づいて脳内信号の関係を表す関数が生成されて、その関数の係数が特定されるようにしたので、後に測定される脳内信号から参照信号の成分を除去する演算を行うことが可能となる。
【０１１４】
次に、図１７のフローチャートを参照して、本発明の情報処理システム１による脳内信号抽出処理について説明する。この処理は、例えば、図１４を参照して上述した計測事前処理が実行された後、被験者の感情などを推定するための信号を実際に計測するために行われる。
【０１１５】
ステップＳ１６１において、情報処理システム１のユーザは、被験者に所定の刺激を与える。このとき、例えば、被験者に「喜び」、「悲しみ」などの情動を想起させるための刺激が与えられる。そして、ユーザは、計測装置１０に脳内信号の抽出を指令する。
【０１１６】
ステップＳ１６２において、信号取得部２０３は、脳内信号と参照信号を同時に取得する。このとき、例えば、参照信号とともに、各計測部位に対応する各計測チャネルの脳内信号がそれぞれ取得される。
【０１１７】
ステップＳ１６３において、ノイズ除去信号抽出部２０４は、脳内信号から参照信号成分（すなわち、ノイズ成分）を除去する。このとき、ノイズ除去信号抽出部２０４は、例えば、図１６のステップＳ１４３の処理により記憶されている、各計測チャネルの係数を読み出して、ステップＳ１６２の処理で取得した脳内信号から、ノイズ成分を除去する演算を行う。
【０１１８】
例えば、ステップＳ１６２の処理で信号取得部２０３が取得したｎ番目の計測チャネルの脳内信号を、時刻ｔの関数Mn(t)とすると、ノイズ除去信号抽出部２０４は、ノイズが除去されたｎ番目の計測チャネルの脳内信号Ｓn(t)を次式により求める。
【０１１９】
Sn(t) = Mn(t) − An・Ref(t) − Bn
【０１２０】
このようにして全ての計測チャネルの脳内信号のノイズが除去されていく。
【０１２１】
ステップＳ１６４において、ノイズ除去信号抽出部２０４は、ステップＳ１６３の処理でノイズを除去した各計測チャネルの脳内信号を、最終的な脳内信号として出力する。ここで、出力される信号が、被験者の脳表層の各計測部位の活性化状態を表す信号として用いられることになる。
【０１２２】
このようにして、ノイズが除去された脳内信号が抽出される。
【０１２３】
このように、本発明においては、頭皮の血管など、脳の外側の血管を流れる血液の量の変化を参照信号として取得し、その参照信号をノイズ成分として脳内信号から除去するようになされている。従って、例えば、頭皮の血管など、脳の外側の血管を流れる血液の量の変化などに影響されることなく、被験者の脳表層のどの部分がどの程度活性化しているのかを、より正確に計測することが可能となる。その結果、頭皮の血流などが大きく変化しているときであっても、被験者の感情などが誤って推定されてしまう可能性は小さくなる。
【０１２４】
以上においては、図８に示されるように、１組（ペア）の発光プローブと受光プローブにより参照信号を取得する例について説明した。すなわち、図８の例では、参照信号の計測部位は１箇所とされている。
【０１２５】
しかしながら、多くの計測部位において、参照信号を計測すれば、より正確にノイズ成分を除去することが可能となる。
【０１２６】
図１８は、複数の計測部位において参照信号を取得する場合の発光プローブと受光プローブの取り付け位置の例を示す図である。同図において、図７と同様に、図中の黒い円が発光プローブの取り付け位置を表しており、図中の白い円が受光プローブの取り付け位置を表しており、ハッチングされた円が光路（計測部位に対応する）を表している。同図の例では、被験者の頭皮における図中縦方向に７０mm、横方向に２００mmの領域４０１に、発光プローブが１１個取り付けられており、受光プローブが１２個取り付けられており、合計２８箇所の計測部位が設定されることになる。
【０１２７】
なお、同図の領域４０１のサイズは例であり、計測部位の数などに応じて図中縦方向の長さ、横方向の長さが変化するものとする。
【０１２８】
図１８の例では、図７の場合と異なり、参照信号を取得する発光プローブと受光プローブを取り付けるための領域３０２に対応する領域が設けられていない。
【０１２９】
また、図１８の例では、図７の場合と異なり、ほぼ矩形である領域４０１の四隅に取り付けられた発光プローブと受光プローブとの間の距離が、他の発光プローブと受光プローブとの間の距離より短く設定されている。例えば、発光プローブ４２１−１と受光プローブ４２２−２との間の距離は、２６mmに設定されているのに対して、発光プローブ４２１−１と受光プローブ４２２−１との間の距離は、１０mmに設定されている。同様に、発光プローブ４２１−３乃至４２１−５と受光プローブ４２２−３乃至４２２−５との間の距離も、それぞれ１０mmに設定されている。
【０１３０】
すなわち、図１８の例においては、発光プローブ４２１−１と受光プローブ４２２−１とのペア、および発光プローブ４２１−３乃至４２１−５と受光プローブ４２２−３乃至４２２−５とのペアにより、４つの参照信号が取得されるのである。この例では、４つの参照信号が取得されると説明したが、このように、脳内信号の取得のための領域４０１に取り付けら得た発光プローブと受光プローブにおいて、所定の発光プローブと受光プローブとの間の距離を短くするだけで、所望の数の参照信号を取得することができる。
【０１３１】
図１８に示されるように、発光プローブと受光プローブを取り付けた場合、４つの参照信号を取得することができるので、例えば、取得された４つの参照信号の出力値の平均値を図９における参照信号の出力値として用いることもできる。このようにすることで、例えば、被験者３１の頭皮の血流の局所的な変化などが参照信号の出力値に影響することを抑止することが可能となり、より正確にノイズ成分を除去することが可能となる。
【０１３２】
また、図１８に示されるように、発光プローブと受光プローブを取り付けた場合、例えば、各計測チャネルに対応する計測部位に最も最も近い位置で計測された参照信号の出力値を図９における参照信号の出力値として用いることもできる。このようにすることで、例えば、被験者３１の頭皮の血流の局所的な変化など生じた場合であっても、適応的にそれぞれの計測チャネルの脳内信号のノイズ成分を除去することが可能となる。
【０１３３】
あるいはまた、図１８に示されるように、発光プローブと受光プローブを取り付けた場合、４つの参照信号の中から、ノイズ成分を除去する所定の計測チャネルの脳内信号と最も線形性の強い参照信号を選択して用いることもできる。このようにすることで、例えば、係数特定部２０２により特定される係数の値の信頼性をより高めることが可能となる。
【０１３４】
また、図１８に示されるように、４つの参照信号を取得する場合、図９を参照して上述したようにプロット点に基づいて、４つの近似直線を得ることが可能となる。例えば、ノイズ成分を除去する所定の計測チャネルの脳内信号の出力値を、これら４つの近似直線と同一のグラフ（図９のグラフ）上にプロットした場合、そのプロットされた点が４つの近似直線のうちの、第２番目の近似直線と第３番目の近似直線との間に位置していたとする。このような場合、例えば、第２番目の近似直線と第３番目の近似直線の平均値として得られる値を、ノイズ成分として除去するようにしてもよい。
【０１３５】
つまり、４つの参照信号に対応して、傾きがほぼ同じであって、４つの異なる近似直線が得られた場合、所定の計測チャネルの脳内信号の出力値をプロットした位置に対応する仮想的な近似直線を生成し、その仮想的な近似直線によりノイズ成分を特定するようにしてもよい。
【０１３６】
すなわち、図１８に示されるように、発光プローブと受光プローブを取り付けた場合、４つの参照信号のそれぞれに対応する近似直線を得て、ノイズ成分を除去する所定の計測チャネルの脳内信号の出力値と、それらの近似直線との距離に基づいて、ノイズ成分を演算するようにすることも可能である。
【０１３７】
なお、例えば、４つの近似直線の傾きが全く異なっていた場合、４つの近似直線がほぼ同一であった場合などは、上述した仮想的な近似直線を生成してノイズ成分を特定する方式は、用いないこととする。
【０１３８】
図１９は、複数の計測部位において参照信号を取得する場合の発光プローブと受光プローブの取り付け位置の別の例を示す図である。同図において、図７と同様に、図中の黒い円が発光プローブの取り付け位置を表しており、図中の白い円が受光プローブの取り付け位置を表しており、ハッチングされた円が光路（計測部位に対応する）を表している。同図の例では、被験者の頭皮における図中縦方向に７０mm、横方向に２００mmの領域４５１に、発光プローブが３７個取り付けられており、受光プローブが３８個取り付けられており、合計２８箇所の計測部位が設定されることになる。
【０１３９】
なお、同図の領域４５１のサイズは例であり、計測部位の数などに応じて図中縦方向の長さ、横方向の長さが変化するものとする。
【０１４０】
図１９の例では、図７の場合と異なり、参照信号を取得する発光プローブと受光プローブを取り付けるための領域３０２に対応する領域が設けられていない。
【０１４１】
図１９の例では、脳内信号の計測部位に対応する位置に、参照信号の計測部位が設定されており、２８箇所の計測部位において参照信号が取得されるようになされている。すなわち、図１９の例では、脳表層の血管内のヘモグロビンの濃度を計測するとともに、脳表層の血管の外側（脳表層の真上）の頭皮の血管の血流も計測されるようになされているのである。すなわち、図１９の場合、各計測チャネルの脳内信号のノイズ成分を除去するために、最も適切な位置において計測チャネル数分の参照信号がそれぞれ取得されるのである。
【０１４２】
このようにすることで、より適切にノイズ成分を除去することが可能となる。
【０１４３】
ただし、図１９のように、発光プローブと受光プローブの取り付ける場合、プローブの数が多いため、取り付け位置の設定、取り付け作業などが煩雑になるので、理想的な測定結果を得るためには、時間とコストを要する可能性が高い。
【０１４４】
図２０と図２１は、本発明の効果を説明する図である。
【０１４５】
図２０は、従来のfNIRSを用いて計測された脳内信号に基づいて、被験者の感情を推定した場合の正解率と、本発明の情報処理システム１を用いて計測された脳内信号に基づいて、被験者の感情を推定した場合の正解率とを比較する表である。この表は、被験者に「喜び」、「悲しみ」、または「怒り」の情動を想起する所定の刺激を与え、また、被験者に特別な刺激を与えず「無情動」となるようにして、被験者の脳内信号を計測し、その計測結果に基づいて被験者の情動（または感情）を推定した結果を表している。被験者の脳内信号の計測結果に基づいて推定された情動が、実際に被験者が感じた情動と一致する場合、正解となる。
【０１４６】
すなわち、図２０は、被験者に与えた刺激の内容を知ることなく、従来のfNIRSまたは本発明の情報処理システム１を用いて、被験者の情動をどれだけ正しく推定できたかを表すものである。
【０１４７】
図２０に示されるように、「喜び」、「悲しみ」、「怒り」、または「無情動」のいずれの情動に対しても、本発明の情報処理システム１を用いて計測された脳内信号に基づいて、被験者の感情を推定した方が、従来と比較して、正解率が高くなっている。また、本発明の方が、当然、各情動の平均正解率も高くなっている。
【０１４８】
図２１は、図２０における各推定結果の内訳を表すグラフである。同図においては、「喜び」、「悲しみ」、「怒り」、および「無情動」の各情動が、それぞれ「喜」、「悲」、「怒」、および「無」として表されている。
【０１４９】
図２１の図中左側のグラフは、従来のfNIRSを用いて計測された脳内信号に基づいて、被験者の感情を推定した場合の推定結果の内訳を表しており、図中右側のグラフは、本発明の情報処理システム１を用いて計測された脳内信号に基づいて、被験者の感情を推定した場合の推定結果の内訳を表している。
【０１５０】
例えば、図中左側のグラフの「喜」に対応する棒グラフは、被験者が感じた情動が「喜び」であった場合、fNIRSの推定結果が、「喜び」、「悲しみ」、「怒り」、または「無情動」のいずれであったかを表している。この例では、被験者が感じた情動が「喜び」であった場合、fNIRSの推定結果が「喜び」となったのは（すなわち正解率は）、６２.３％であり、fNIRSの推定結果が誤って「怒り」となったものが多かったことが分かる。
【０１５１】
同様に、図中右側のグラフの「喜」に対応する棒グラフも、被験者が感じた情動が「喜び」であった場合、fNIRSの推定結果が、「喜び」、「悲しみ」、「怒り」、または「無情動」のいずれであったかを表している。これにより、被験者が感じた情動が「喜び」であった場合、fNIRS（いまの場合、本発明の情報処理システム１）の推定結果が「喜び」となったのは（すなわち正解率は）、７３.１％であり、fNIRSの推定結果が誤って「怒り」となったものなどは、少なかったことが分かる。
【０１５２】
なお、図２０と図２１に示される本発明の情報処理システム１を用いて計測された脳内信号に基づく被験者の感情の推定結果は、図７に示されるように、１つの参照信号が得られるように発光プローブと受光プローブを取り付けて計測された脳内信号に基づく被験者の感情の推定結果とされる。
【０１５３】
このように、本発明によれば、より正確に被験者の情動を推定することが可能となる。
【０１５４】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図２２に示されるような汎用のコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０１５５】
図２２において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１５６】
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０１５７】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、CRT(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１５８】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０１５９】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０１６０】
なお、この記録媒体は、図２２に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０１６１】
なお、本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０１６２】
【図１】本発明の一実施の形態に係る情報処理システムの構成例を示すブロック図である。
【図２】図１の計測装置の構成例を示すブロック図である。
【図３】fNIRSを用いて計測された脳内のヘモグロビンの量の変化などを表す信号に、頭皮血管中の血流量変化の影響が混在していることを説明するための図である。
【図４】図２の制御部の機能的構成例を示すブロック図である。
【図５】計測装置において脳内信号を測定する場合の、発光プローブと受光プローブの取り付け位置を説明する図である。
【図６】従来の脳内信号を計測する場合の発光プローブと受光プローブの取り付け位置の例を示す図である。
【図７】本発明において脳内信号と参照信号を計測する場合の発光プローブと受光プローブの取り付け位置の例を示す図である。
【図８】被験者の前頭葉の脳内信号と参照信号を計測する場合の、発光プローブと受光プローブの取り付け位置を説明する図である。
【図９】ある計測チャネルのサンプルの参照信号の出力値と脳内信号の出力値との関係を表すグラフである。
【図１０】被験者に特別な刺激を与えない状態で取得された各計測チャネルの脳内信号と参照信号の例を示す図である。
【図１１】図１０に示される計測チャネルの脳内信号のノイズが除去された場合の例を示す図である。
【図１２】被験者に特別な刺激を与えた状態で取得された各計測チャネルの脳内信号と参照信号の例を示す図である。
【図１３】図１２に示される計測チャネルの脳内信号のノイズが除去された場合の例を示す図である。
【図１４】計測事前処理の例を説明するフローチャートである。
【図１５】サンプル取得処理の例を説明するフローチャートである。
【図１６】係数特定処理を説明するフローチャートである。
【図１７】脳内信号抽出処理を説明するフローチャートである。
【図１８】本発明において脳内信号と参照信号を計測する場合の発光プローブと受光プローブの取り付け位置の別の例を示す図である。
【図１９】本発明において脳内信号と参照信号を計測する場合の発光プローブと受光プローブの取り付け位置のさらに別の例を示す図である。
【図２０】本発明による効果を説明する表である。
【図２１】図２０の表に対応するグラフである。
【図２２】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１６３】
１ 情報処理システム， ２ 脳表層， ２ａ 計測部位， １０ 計測装置， １１ 計測装置本体部， １２ 計測具， １３ ケーブル， １４ 駆動回路， １５ 発光部， １６ａ，１６ｂ 光ファイバ， １７ 受光部， １８ 信号処理部， １９ 制御部 ２０ 情報処理端末， ２１ ＣＰＵ， ２２ バス， ２３ メインメモリ， ２４ 記憶装置， ２５ 操作入力部， ２６ 入出力インタフェース， ２７ 画像処理出力部， ３１ 被験者， ４１ ディスプレイ， ２０１ サンプル取得部， ２０２ 係数特定部， ２０３ 信号取得部， ２０４ ノイズ除去部
【特許請求の範囲】
【請求項１】
被験者の頭部に装着された計測具により取得される情報であって、前記被験者の頭の内部の各計測部位の血液成分の変化を表す情報を取得する内部情報取得手段と、
前記取得された各計測部位の血液成分の変化を表す情報のうち、予め設定された計測部位の血液成分の変化を表す情報に基づいて生成される参照信号に基づいて、他の計測部位の血液成分の変化を表す情報に基づいて生成される脳内信号のノイズ成分を除去するノイズ除去信号抽出手段と、
前記ノイズ成分が除去された脳内信号を、前記被験者の脳表層の各計測部位の活性化状態を表す信号として出力する出力手段と
を備える情報処理装置。
【請求項２】
前記被験者に特別な刺激を与えない状態で取得された前記参照信号と前記脳内信号に基づいて、前記各計測部位のそれぞれの脳内信号の出力値を、前記参照信号の出力値に基づいて求める関係式の係数を特定する係数特定手段をさらに備え、
前記ノイズ除去信号抽出手段は、前記生成された参照信号および前記特定された係数に基づいて前記脳内信号に含まれるノイズ成分を求めて、そのノイズ成分を除去する
請求項１に記載の情報処理装置。
【請求項３】
前記計測具は、前記被験者の頭部の前記各計測部位に対応する位置に取り付けられる、近赤外光を発光する発光プローブおよび前記発光プローブから発光された近赤外光を受光する受光プローブにより構成され、
前記参照信号の生成に用いられる前記発光プローブと前記受光プローブとの間の距離が、前記脳内信号の生成に用いられる情報を取得するための前記発光プローブと前記受光プローブとの間の距離より小さく設定されている
請求項１に記載の情報処理装置。
【請求項４】
前記脳内信号の各計測部位に対応する、複数の前記参照信号に対応する計測部位が設定される
請求項３に記載の情報処理装置。
【請求項５】
前記脳内信号の各計測部位のうち、所定の計測部位の前記発光プローブと前記受光プローブとの間の距離を小さく設定することにより、その所定の計測部位が前記参照信号の計測部位とされる
請求項４に記載の情報処理装置。
【請求項６】
前記参照信号に対応する計測部位が予め設定された位置に１つ設定される
請求項３に記載の情報処理装置。
【請求項７】
前記参照信号の計測部位は、前記被検者の頭部において脳の大脳縦列に対応する位置に設定される
請求項６に記載の情報処理装置。
【請求項８】
前記参照信号の計測部位は、前記被験者の眉間の上方、２０mm乃至３０mmの位置であって、被験者の毛髪がない額の部分に設定される
請求項７に記載の情報処理装置。
【請求項９】
被験者の頭部に装着された計測具により取得される情報であって、前記被験者の頭の内部の各計測部位の血液成分の変化を表す情報を取得し、
前記取得された各計測部位の血液成分の変化を表す情報のうち、予め設定された計測部位の血液成分の変化を表す情報に基づいて生成される参照信号に基づいて、他の計測部位の血液成分の変化を表す情報に基づいて生成される脳内信号のノイズ成分を除去し、
前記ノイズ成分が除去された脳内信号を、前記被験者の脳表層の各計測部位の活性化状態を表す信号として出力するステップ
を含む情報処理方法。
【請求項１０】
コンピュータを、
被験者の頭部に装着された計測具により取得される情報であって、前記被験者の頭の内部の各計測部位の血液成分の変化を表す情報を取得する内部情報取得手段と、
前記取得された各計測部位の血液成分の変化を表す情報のうち、予め設定された計測部位の血液成分の変化を表す情報に基づいて生成される参照信号に基づいて、他の計測部位の血液成分の変化を表す情報に基づいて生成される脳内信号のノイズ成分を除去するノイズ除去信号抽出手段と、
前記ノイズ成分が除去された脳内信号を、前記被験者の脳表層の各計測部位の活性化状態を表す信号として出力する出力手段とを備える情報処理装置として機能させる
プログラム。
【請求項１１】
請求項１０に記載のプログラムが記録されている記録媒体。
【請求項１】
被験者の頭部に装着された計測具により取得される情報であって、前記被験者の頭の内部の各計測部位の血液成分の変化を表す情報を取得する内部情報取得手段と、
前記取得された各計測部位の血液成分の変化を表す情報のうち、予め設定された計測部位の血液成分の変化を表す情報に基づいて生成される参照信号に基づいて、他の計測部位の血液成分の変化を表す情報に基づいて生成される脳内信号のノイズ成分を除去するノイズ除去信号抽出手段と、
前記ノイズ成分が除去された脳内信号を、前記被験者の脳表層の各計測部位の活性化状態を表す信号として出力する出力手段と
を備える情報処理装置。
【請求項２】
前記被験者に特別な刺激を与えない状態で取得された前記参照信号と前記脳内信号に基づいて、前記各計測部位のそれぞれの脳内信号の出力値を、前記参照信号の出力値に基づいて求める関係式の係数を特定する係数特定手段をさらに備え、
前記ノイズ除去信号抽出手段は、前記生成された参照信号および前記特定された係数に基づいて前記脳内信号に含まれるノイズ成分を求めて、そのノイズ成分を除去する
請求項１に記載の情報処理装置。
【請求項３】
前記計測具は、前記被験者の頭部の前記各計測部位に対応する位置に取り付けられる、近赤外光を発光する発光プローブおよび前記発光プローブから発光された近赤外光を受光する受光プローブにより構成され、
前記参照信号の生成に用いられる前記発光プローブと前記受光プローブとの間の距離が、前記脳内信号の生成に用いられる情報を取得するための前記発光プローブと前記受光プローブとの間の距離より小さく設定されている
請求項１に記載の情報処理装置。
【請求項４】
前記脳内信号の各計測部位に対応する、複数の前記参照信号に対応する計測部位が設定される
請求項３に記載の情報処理装置。
【請求項５】
前記脳内信号の各計測部位のうち、所定の計測部位の前記発光プローブと前記受光プローブとの間の距離を小さく設定することにより、その所定の計測部位が前記参照信号の計測部位とされる
請求項４に記載の情報処理装置。
【請求項６】
前記参照信号に対応する計測部位が予め設定された位置に１つ設定される
請求項３に記載の情報処理装置。
【請求項７】
前記参照信号の計測部位は、前記被検者の頭部において脳の大脳縦列に対応する位置に設定される
請求項６に記載の情報処理装置。
【請求項８】
前記参照信号の計測部位は、前記被験者の眉間の上方、２０mm乃至３０mmの位置であって、被験者の毛髪がない額の部分に設定される
請求項７に記載の情報処理装置。
【請求項９】
被験者の頭部に装着された計測具により取得される情報であって、前記被験者の頭の内部の各計測部位の血液成分の変化を表す情報を取得し、
前記取得された各計測部位の血液成分の変化を表す情報のうち、予め設定された計測部位の血液成分の変化を表す情報に基づいて生成される参照信号に基づいて、他の計測部位の血液成分の変化を表す情報に基づいて生成される脳内信号のノイズ成分を除去し、
前記ノイズ成分が除去された脳内信号を、前記被験者の脳表層の各計測部位の活性化状態を表す信号として出力するステップ
を含む情報処理方法。
【請求項１０】
コンピュータを、
被験者の頭部に装着された計測具により取得される情報であって、前記被験者の頭の内部の各計測部位の血液成分の変化を表す情報を取得する内部情報取得手段と、
前記取得された各計測部位の血液成分の変化を表す情報のうち、予め設定された計測部位の血液成分の変化を表す情報に基づいて生成される参照信号に基づいて、他の計測部位の血液成分の変化を表す情報に基づいて生成される脳内信号のノイズ成分を除去するノイズ除去信号抽出手段と、
前記ノイズ成分が除去された脳内信号を、前記被験者の脳表層の各計測部位の活性化状態を表す信号として出力する出力手段とを備える情報処理装置として機能させる
プログラム。
【請求項１１】
請求項１０に記載のプログラムが記録されている記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２００９−２８５００８（Ｐ２００９−２８５００８Ａ）
【公開日】平成２１年１２月１０日（２００９．１２．１０）
【国際特許分類】
【出願番号】特願２００８−１３８９９６（Ｐ２００８−１３８９９６）
【出願日】平成２０年５月２８日（２００８．５．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年１２月１０日（２００９．１２．１０）
【国際特許分類】
【出願日】平成２０年５月２８日（２００８．５．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]