脳情報出力装置、ロボット、および脳情報出力方法
【課題】従来、精度高く意図を検出できなかった。
【解決手段】ユーザが一の意図を示した際の当該ユーザの第一脳活動データを取得する第一脳活動データ取得部と、前記ユーザが前記一の意図を示した際の当該ユーザの第二脳活動データを取得する第二脳活動データ取得部と、第一脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第一確率を意図識別子ごとに算出する第一確率算出部と、第二脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第二確率を意図識別子ごとに算出する第二確率算出部と、前記第一確率、および前記第二確率とを用いて意図識別子を取得する意図決定部と、前記意図識別子を出力する出力部とを具備する脳情報出力装置により、精度高く意図を検出できる。
【解決手段】ユーザが一の意図を示した際の当該ユーザの第一脳活動データを取得する第一脳活動データ取得部と、前記ユーザが前記一の意図を示した際の当該ユーザの第二脳活動データを取得する第二脳活動データ取得部と、第一脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第一確率を意図識別子ごとに算出する第一確率算出部と、第二脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第二確率を意図識別子ごとに算出する第二確率算出部と、前記第一確率、および前記第二確率とを用いて意図識別子を取得する意図決定部と、前記意図識別子を出力する出力部とを具備する脳情報出力装置により、精度高く意図を検出できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、脳の情報を出力する脳情報出力装置等に関するものである。
【背景技術】
【０００２】
近年、脳に対する生理学的な知見の充実、脳計測機器の発展、高性能なコンピュータのコストダウン、および機械学習の分野の進歩等に伴い、脳・機械インタフェース（Brain Machine Interface:ＢＭＩ）に関する研究が注目を浴びてきている（非特許文献１）。ＢＭＩは、脳と機械をつなぐインタフェースである。ＢＭＩは、人が考えた時や、何らかの行動した際に生ずる脳活動の信号を計測し、その計測データに信号処理技術を施すことにより、ユーザの意図を汲み出すものである。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Toward Brain-Computer Interfacing (Neural Information Processing)、 MIT Press、 ISBN 978-0262042444
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のＢＭＩにおいて、脳活動データは１つの脳活動計測装置から取得されたデータであることが多い。従来のＢＭＩにおいて、１種類の脳活動データのみを利用した場合、意図の検出精度が高くない場合がある、という課題があった。
【０００５】
また、脳活動計測装置によって、ユーザの意図によって、その意図の検出が得意である意図、不得意である意図がある。
【課題を解決するための手段】
【０００６】
本第一の発明の脳情報出力装置は、ユーザが一の意図を示した際の当該ユーザの脳活動の第一のデータである第一脳活動データを、前記ユーザから取得する第一脳活動データ取得部と、前記ユーザが前記一の意図を示した際の当該ユーザの脳活動の第二のデータであり、前記第一脳活動データとは異なる種類のデータである第二脳活動データを、前記ユーザから取得する第二脳活動データ取得部と、前記第一脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第一確率を、意図識別子ごとに算出する第一確率算出部と、前記第二脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第二確率を、意図識別子ごとに算出する第二確率算出部と、前記第一確率算出部が算出した意図識別子ごとの第一確率、および前記第二確率算出部が算出した意図識別子ごとの第二確率とを用いて、意図識別子を取得する意図決定部と、前記意図決定部が取得した意図識別子を出力する出力部とを具備する脳情報出力装置である。
【０００７】
かかる構成により、複数の脳活動データを利用して、ユーザの意図を決定するため、精度高く、意図を検出できる。
【０００８】
また、本第二の発明の脳情報出力装置は、第一の発明に対して、ユーザの意図を識別する情報である意図識別子と、当該意図識別子で識別される意図の元にユーザが一連の行為を行った際に当該ユーザの脳から取得されたデータであり、前記第一脳活動データと同一種類のデータである第一学習データから抽出された１以上の特徴量である第一学習特徴量群とを対に有する第一意図判別情報を、２以上格納し得る第一意図判別情報格納部と、ユーザの意図を識別する情報である意図識別子と、当該意図識別子で識別される意図の元にユーザが一連の行為を行った際に当該ユーザの脳から取得されたデータであり、前記第二脳活動データと同一種類のデータである第二学習データから抽出された１以上の特徴量である第二学習特徴量群とを対に有する第二意図判別情報を、２以上格納し得る第二意図判別情報格納部とをさらに具備し、前記第一確率算出部は、前記第一脳活動データから、１以上の特徴量である第一入力特徴量群を取得する第一特徴量群取得手段と、前記第一意図判別情報格納部の２以上の第一意図判別情報を用いて、前記第一特徴量群取得手段が取得した第一入力特徴量群が、前記２以上の第一意図判別情報に含まれる複数の意図識別子のうちの一の意図識別子に対応する第一確率を、前記２以上の意図識別子ごとに算出する第一確率算出手段とを具備し、前記第二確率算出部は、前記第二脳活動データから、１以上の特徴量である第二入力特徴量群を取得する第二特徴量群取得手段と、前記第二意図判別情報格納部の２以上の第二意図判別情報を用いて、前記第二特徴量群取得手段が取得した第二入力特徴量群が、前記２以上の意図判別情報に含まれる複数の意図識別子のうちの一の意図識別子に対応する第二確率を、前記２以上の意図識別子ごとに算出する第二確率算出手段とを具備する脳情報出力装置である。
【０００９】
かかる構成により、複数の脳活動データを利用して、ユーザの意図を決定するため、精度高く、意図を検出できる。
【００１０】
また、本第三の発明の脳情報出力装置は、第一、第二いずれかの発明に対して、前記意図決定部は、前記意図識別子ごとに、対応する第一確率、または対応する第二確率、または対応する第一確率と第二確率とを用いて、前記意図識別子ごとの最終的な確率を算出する第三確率算出手段と、前記意図識別子ごとの最終的な確率から、最も大きい確率に対応する意図識別子を取得する意図識別子取得手段とを具備する脳情報出力装置である。
【００１１】
かかる構成により、複数の脳活動データから得られる各確率を統合して、意図ごとに確率を算出するため、精度高く、意図を検出できる。
【００１２】
また、本第四の発明の脳情報出力装置は、第三の発明に対して、前記第三確率算出手段は、前記第一確率と前記第二確率とで、異なる重みを用いて、前記意図識別子ごとの最終的な確率を算出する脳情報出力装置である。
【００１３】
かかる構成により、脳活動計測装置の特性を考慮して、意図を検出するので、さらに精度高く、意図を検出できる。
【００１４】
また、本第五の発明の脳情報出力装置は、第一の発明に対して、前記第一確率算出部は、前記第一確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出し、前記第二確率算出部は、前記第二確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出する脳情報出力装置である。
【００１５】
かかる構成により、それぞれの脳活動計測装置の得意とする意図のみを使って、意図を検出するので、さらに精度高く、意図を検出できる。
【００１６】
また、本第六の発明の脳情報出力装置は、第一から第五いずれかの発明に対して、前記第一脳活動データ取得部は、近赤外線光計測装置であり、前記第二脳活動データ取得部は、脳波計測装置である脳情報出力装置である。
【００１７】
かかる構成により、精度高く、意図を検出できる。
【発明の効果】
【００１８】
本発明による脳情報出力装置によれば、精度高く、意図を検出できる。
【図面の簡単な説明】
【００１９】
【図１】本実施の形態１におけるロボットシステム１の概念図
【図２】同ロボットシステム１のブロック図
【図３】同脳情報出力装置１１の動作について説明するフローチャート
【図４】同脳情報出力装置１１の動作について説明するフローチャート
【図５】同ロボット１２の動作について説明するフローチャート
【図６】同脳情報出力装置１１の概念図
【図７】同ユーザが頭部にかぶる測定器具を示す図
【図８】同第一意図判別情報の例を示す図
【図９】同第二意図判別情報の例を示す図
【図１０】同第一脳活動データの例を示す図
【図１１】同第二脳活動データの例を示す図
【図１２】同第一脳活動データ、第二脳活動データのグラフ
【図１３】同第一特徴量群の例を示す図
【図１４】同かかる第一確率の例を示す図
【図１５】同第二特徴量群の例を示す図
【図１６】同第二確率の例を示す図
【図１７】同コンピュータシステムの概観図
【図１８】同コンピュータシステムのブロック図
【図１９】同確率算出アルゴリズムを説明するための図
【図２０】同確率算出アルゴリズムを説明するための図
【発明を実施するための形態】
【００２０】
以下、脳情報出力装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【００２１】
（実施の形態１）
本実施の形態において、複数の脳活動計測装置によって得られた複数の脳活動データから、ユーザの意図を決定する脳情報出力装置について説明する。なお、本実施の形態において、主として、２つの脳活動計測装置によって得られた２つの脳活動データから、ユーザの意図を決定する脳情報出力装置について説明するが、３つ以上の脳活動計測装置によって得られた３つ以上の脳活動データから、ユーザの意図を決定する脳情報出力装置であっても良い。脳活動データが２つの場合も、３つ以上の場合も、ユーザの意図を決定する方法は同様である。
【００２２】
また、本実施の形態において、複数の脳活動計測装置から得られる複数の脳活動データのそれぞれに対して、重み付けして、ユーザの意図を決定する脳情報出力装置についても説明する。なお、脳活動データに対する重み付けは、脳活動データから得られた確率に対する重み付けと同意義である。
【００２３】
また、本実施の形態において、各脳活動計測装置が、得意とする意図のみを使って、最終的な意図を決定する脳情報出力装置についても説明する。
【００２４】
さらに、本実施の形態において、脳情報出力装置の出力を受けて動作するロボットを含むロボットシステムについても説明する。
【００２５】
図１は、本実施の形態におけるロボットシステム１の概念図である。ロボットシステム１は、脳情報出力装置１１、ロボット１２を具備する。脳情報出力装置１１は、ユーザからの脳情報を取得し、ユーザの意図を検出し、当該意図を示す意図識別子をロボット１２に出力する装置である。また、ロボット１２は、脳情報出力装置１１から意図識別子を受け取り、当該意図識別子に対応する動作を行う電子機器である。ロボット１２は、いわゆる人型の形状を有する電子機器でも良いが、他の形状を有する電子機器でも良い。ロボット１２は、例えば、四輪車、二輪車、航空機、電車などの移動体でも良い。
【００２６】
図２は、本実施の形態におけるロボットシステム１のブロック図である。脳情報出力装置１１は、第一学習データ取得部１０１、第一学習特徴量群取得部１０２、第一意図判別情報蓄積部１０３、第二学習データ取得部１０４、第二学習特徴量群取得部１０５、第二意図判別情報蓄積部１０６、第一意図判別情報格納部１１１、第二意図判別情報格納部１１２、第一脳活動データ取得部１１３、第二脳活動データ取得部１１４、第一確率算出部１１５、第二確率算出部１１６、意図決定部１１７、出力部１１８を具備する。
【００２７】
第一確率算出部１１５は、第一特徴量群取得手段１１５１、第一確率算出手段１１５２を具備する。
【００２８】
第二確率算出部１１６は、第二特徴量群取得手段１１６１、第二確率算出手段１１６２を具備する。
【００２９】
意図決定部１１７は、第三確率算出手段１１７１、意図識別子取得手段１１７２を具備する。
【００３０】
ロボット１２は、動作情報格納部１２１、意図識別子受付部１２２、実行部１２３を具備する。
【００３１】
第一学習データ取得部１０１は、一の意図の元にユーザが一連の行為を行った際に、当該ユーザの脳から一の学習データ（第一学習データ）を取得する。第一学習データ取得部１０１は、例えば、近赤外線光計測装置である。近赤外線光計測装置とは、近赤外光を用いて頭皮上から非侵襲的に脳機能マッピングする、「光機能画像法」の原理を応用した装置である。また、第一学習データ取得部１０１は、例えば、脳波計測装置である。脳波計測装置は、脳波を計測する装置である。脳波を計測する機能を有する装置として、例えば、ＢｉｏＳｅｍｉ社の装置（ＡｃｔｉｖｅＴｗｏシステム）等が存在する。また、第一学習データ取得部１０１は、例えば、機能的ＭＲＩ（fMRI: functional Magnetic Resonance Imaging）や、ＰＥＴ(Positron Emission Tomography)なども良い。
【００３２】
また、一の学習データとは、一連の行為を行った際に、観測される一連のデータである。一の学習データは、通常、時系列的なデータである。一の学習データは、例えば、１０秒間の、脳の複数地点の血流量を示す情報である。
【００３３】
第一学習特徴量群取得部１０２は、第一学習データから第一学習特徴量群を取得する。第一学習特徴量群は、１以上の特徴量の集合である。第一学習特徴量群取得部１０２は、例えば、第一学習データに対して信号処理し、特徴量を取得する。ここで、信号処理は、例えば、バイアス補正、ベースライン補正、トレンド除去、平均値計算、ハイパスフィルターによる処理、ローパスフィルターによる処理、FFTによる処理、PCAによる処理、ICAによる処理、Phase Locking 値の算出、移動平均の算出、センサー選択、時間選択、リファレンス補正、ダウンサンプリング、アップサンプリング、パワー計算、包絡線計算（ヒルベルト変換）、空間フィルターによる処理、逆問題フィルターによる処理、などである。そして、特徴量とは、例えば、上記の信号処理により、算出されるデータであり、例えば、平均値、分散、Phase Locking 値などである。なお、第一学習特徴量群を構成する特徴量は、第一学習データの特性を示すデータであれば、何でも良い。また、第一学習特徴量群取得部１０２が行う信号処理の数は、複数でも良い。また、上記の各種の信号処理の例は、公知技術であるので詳細な説明を省略する。第一学習特徴量群取得部１０２は、通常、ＭＰＵやメモリ等から実現され得る。第一学習特徴量群取得部１０２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００３４】
第一意図判別情報蓄積部１０３は、第一学習特徴量群取得部１０２が取得した第一学習特徴量群と、一の意図を識別する意図識別子とを対応付けて、第一意図判別情報格納部１１１に蓄積する。この意図識別子と第一学習特徴量群が意図判別情報である。意図識別子は、ユーザが入力しても良いし、第三者が入力しても良いし、脳情報出力装置１１が予め保持していても良い。意図識別子の入力方法は問わない。第一意図判別情報蓄積部１０３は、通常、ＭＰＵやメモリ等から実現され得る。第一意図判別情報蓄積部１０３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００３５】
第二学習データ取得部１０４は、一の意図の元にユーザが一連の行為を行った際に、当該ユーザの脳から一の学習データ（第二学習データ）を取得する。第二学習データ取得部１０４は、例えば、脳波計測装置である。また、第二学習データ取得部１０４は、例えば、近赤外線光計測装置である。また、第二学習データ取得部１０４は、例えば、機能的ＭＲＩ（fMRI: functional Magnetic Resonance Imaging）や、ＰＥＴ(Positron Emission Tomography)なども良い。
【００３６】
第二学習特徴量群取得部１０５は、第二学習データから第二学習特徴量群を取得する。第二学習特徴量群は、１以上の特徴量の集合である。第二学習特徴量群取得部１０５は、例えば、第二学習データに対して信号処理し、特徴量を取得する。ここで、信号処理は、例えば、バイアス補正、ベースライン補正、トレンド除去、平均値計算、ハイパスフィルターによる処理、ローパスフィルターによる処理、FFTによる処理、PCAによる処理、ICAによる処理、Phase Locking 値の算出、移動平均の算出、センサー選択、時間選択、リファレンス補正、ダウンサンプリング、アップサンプリング、パワー計算、包絡線計算（ヒルベルト変換）、空間フィルターによる処理、逆問題フィルターによる処理、などである。第二学習特徴量群取得部１０５は、通常、ＭＰＵやメモリ等から実現され得る。第二学習特徴量群取得部１０５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００３７】
第二意図判別情報蓄積部１０６は、第二学習特徴量群取得部１０５が取得した第二学習特徴量群と、一の意図を識別する意図識別子とを対応付けて、第二意図判別情報格納部１１２に蓄積する。この意図識別子と第二学習特徴量群が意図判別情報である。意図識別子は、ユーザが入力しても良いし、第三者が入力しても良いし、脳情報出力装置１１が予め保持していても良い。意図識別子の入力方法は問わない。第二意図判別情報蓄積部１０６は、通常、ＭＰＵやメモリ等から実現され得る。第二意図判別情報蓄積部１０６の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００３８】
第一意図判別情報格納部１１１は、２以上の第一意図判別情報を格納し得る。第一意図判別情報は、意図識別子と第一学習特徴量群とを対に有する情報である。意図識別子は、ユーザの意図を識別する情報である。意図とは、体の一部（例えば、右手、左手、舌、足など）を動かす行為や、特定のこと（例えば、右手を動かしていること、舌を出したこと、走っていることなど）を想像することなど、ユーザが考えて脳の活動に反映されることである。また、意図識別子は、例えば、ユーザが動かす体の部分であり、例えば、「右手」「左手」「舌」「足」の４つである。また、意図識別子は、例えば、「右手」「左手」の２つであっても良い。意図識別子の数は問わないが、意図識別子の数は少ない方が、通常、脳情報出力装置１１が出力する意図識別子がユーザの意図と合致している可能性は高い、と考えられる。第一学習特徴量群は、第一学習データから抽出された１以上の特徴量の情報である。第一学習データとは、意図識別子で識別される意図の元にユーザが一連の行為を行った際に、当該ユーザの脳から取得されたデータであり、第一脳活動データと同一種類のデータである。
【００３９】
第一意図判別情報格納部１１１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【００４０】
第一意図判別情報格納部１１１に第一意図判別情報が記憶される過程は問わない。例えば、記録媒体を介して第一意図判別情報が第一意図判別情報格納部１１１で記憶されるようになってもよく、通信回線等を介して送信された第一意図判別情報が第一意図判別情報格納部１１１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された第一意図判別情報が第一意図判別情報格納部１１１で記憶されるようになってもよい。
【００４１】
第二意図判別情報格納部１１２は、２以上の第二意図判別情報を格納し得る。第二意図判別情報は、意図識別子と第二学習特徴量群とを対に有する情報である。第二学習特徴量群は、第二学習データから抽出された１以上の特徴量の情報である。第二学習データとは、意図識別子で識別される意図の元にユーザが一連の行為を行った際に、当該ユーザの脳から取得されたデータであり、第二脳活動データと同一種類のデータである。また、第二学習データは、第一学習データとは異なる種類のデータである。
【００４２】
第二意図判別情報格納部１１２は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【００４３】
第二意図判別情報格納部１１２に第二意図判別情報が記憶される過程は問わない。例えば、記録媒体を介して第二意図判別情報が第二意図判別情報格納部１１２で記憶されるようになってもよく、通信回線等を介して送信された第二意図判別情報が第二意図判別情報格納部１１２で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された第二意図判別情報が第二意図判別情報格納部１１２で記憶されるようになってもよい。
【００４４】
第一脳活動データ取得部１１３は、第一脳活動データを、ユーザから取得する。第一脳活動データは、ユーザが一の意図を示した際に、当該ユーザから取得された脳活動の第一のデータである。第一脳活動データは、ＮＩＲＳ（近赤外分光分析）、ｆＭＲＩ（機能的ＭＲＩ）、ＭＥＧ（脳磁計）、ＥＥＧ（脳波計）により取得されるデータなどである。第一脳活動データは、脳活動を示すデータであれば何でもよい。なお、第一脳活動データは第一学習データと同じ種類のデータである。第一脳活動データ取得部１１３は、例えば、近赤外線光計測装置である。また、第一脳活動データ取得部１１３は、例えば、脳波計測装置である。また、第一脳活動データ取得部１１３は、例えば、機能的ＭＲＩ（fMRI: functional Magnetic Resonance Imaging）や、ＰＥＴ(Positron Emission Tomography)などでも良い。ただし、第一脳活動データと第二脳活動データは、異なる種類のデータである。
【００４５】
第二脳活動データ取得部１１４は、第二脳活動データを、ユーザから取得する。第二脳活動データは、ユーザが一の意図を示した際に、当該ユーザから取得された脳活動の第二のデータであり、第一脳活動データとは異なる種類のデータである。第二脳活動データは、第一脳活動データと同様、ＮＩＲＳ（近赤外分光分析）、ｆＭＲＩ（機能的ＭＲＩ）、ＭＥＧ（脳磁計）、ＥＥＧ（脳波計）により取得されるデータなどである。第二脳活動データは、脳活動を示すデータであれば何でもよい。なお、第二脳活動データは第二学習データと同じ種類のデータである。第二脳活動データ取得部１１４は、例えば、脳波計測装置である。第二脳活動データ取得部１１４は、脳波計測装置、機能的ＭＲＩ（fMRI: functional Magnetic Resonance Imaging）や、ＰＥＴ(Positron Emission Tomography)などでも良い。
【００４６】
第一確率算出部１１５は、第一脳活動データから、ユーザにより示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第一確率を、意図識別子ごとに算出する。第一確率算出部１１５は、第一確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出しても良い。意図識別子ごととは、通常、すべての意図識別子の確率を算出するが、すべての意図識別子の確率を算出しない場合もあり得る。第一確率算出部１１５は、第一脳活動データが得意とする意図に対応する意図識別子の確率のみを算出しても良い。つまり、第一確率算出部１１５は、例えば、第一脳活動データが得意とする意図識別子「右手」および「左手」のみの第一確率を算出しても良い。第一確率算出部１１５は、好ましくは、後述する第一特徴量群取得手段１１５１、第一確率算出手段１１５２により、第一確率を算出する。ただし、第一確率算出部１１５は、第一特徴量群取得手段１１５１、第一確率算出手段１１５２以外の手段により、第一確率を算出しても良い。第一確率算出部１１５は、通常、ＭＰＵやメモリ等から実現され得る。第一確率算出部１１５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００４７】
第一特徴量群取得手段１１５１は、第一脳活動データから、１以上の特徴量である第一入力特徴量群を取得する。第一特徴量群取得手段１１５１は、第一脳活動データを信号処理することにより、１以上の特徴量を取得する。第一特徴量群取得手段１１５１の処理は、例えば、バイアス補正、ベースライン補正、トレンド除去、平均値計算、ハイパスフィルターによる処理、ローパスフィルターによる処理、FFTによる処理、PCAによる処理、ICAによる処理、Phase Locking 値、移動平均の算出、センサー選択、時間選択、リファレンス補正、ダウンサンプリング、アップサンプリング、パワー計算、包絡線計算（ヒルベルト変換）、空間フィルターによる処理、逆問題フィルターによる処理などの信号処理である。また、特徴量とは、平均値、分散など、何でも良い。第一特徴量群取得手段１１５１は、通常、ＭＰＵやメモリ等から実現され得る。第一特徴量群取得手段１１５１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００４８】
第一確率算出手段１１５２は、第一意図判別情報格納部１１１の２以上の第一意図判別情報を用いて、第一特徴量群取得手段１１５１が取得した第一入力特徴量群が、２以上の第一意図判別情報に含まれる複数の意図識別子のうちの一の意図識別子に対応する第一確率を、２以上の意図識別子ごとに算出する。
【００４９】
意図識別子が２つ（２種類）の場合、例えば、第一確率算出手段１１５２は、以下のように意図識別子ごとの確率を算出する。つまり、第一確率算出手段１１５２は、第一学習特徴量群から、２つのクラス（クラス１［第一の意図識別子］、またはクラス２［第二の意図識別子］）に分けるための境界面の情報を得る。かかる概念を図１９に示す。
次に、第一確率算出手段１１５２は、境界面からの入力特徴量群の距離を算出する（図２０参照）。そして、第一確率算出手段１１５２は、当該距離をロジスティック関数（シグモイド関数）に入力し、０〜１の値（０以上１以下の値）に変換する。そして、第一確率算出手段１１５２は、当該変換した値（０〜１）を、第一の意図識別子の確率とする。そして、第一確率算出手段１１５２は、第二の意図識別子の確率を、「１−第一の意図識別子の確率」により算出する。
【００５０】
また、意図識別子が４つ（４種類）の場合、例えば、第一確率算出手段１１５２は、以下のように意図識別子ごとの確率を算出する。つまり、上記２つの意図識別子の場合の処理を拡張する。まず、第一の意図識別子と他の意図識別子との２つのクラスが存在すると考え、第一確率算出手段１１５２は、第一学習特徴量群から、２つのクラス（クラス１［第一の意図識別子］、またはクラス２［第二の意図識別子または第三の意図識別子または第四の意図識別子）に分けるための境界面の情報を得る。次に、第一確率算出手段１１５２は、境界面からの入力特徴量群の距離を算出する。そして、第一確率算出手段１１５２は、当該距離をロジスティック関数（シグモイド関数）に入力し、０〜１の値（０以上１以下の値）に変換する。そして、第一確率算出手段１１５２は、当該変換した値（０〜１）を、第一の意図識別子の確率とする。次に、確率算出手段１１８１は、第二の意図識別子または第三の意図識別子または第四の意図識別子に対応する第一学習特徴量群（ベクトル）との距離を、「１−第一の意図識別子の確率」により算出する。
【００５１】
そして、次に、第二の意図識別子と他の意図識別子との２つのクラスが存在すると考え、第一確率算出手段１１５２は、第一学習特徴量群から、２つのクラス（クラス１［第二の意図識別子］、またはクラス２［第一の意図識別子または第三の意図識別子または第四の意図識別子）に分けるための境界面の情報を得る。次に、第一確率算出手段１１５２は、境界面からの入力特徴量群の距離を算出する。そして、第一確率算出手段１１５２は、当該距離をロジスティック関数（シグモイド関数）に入力し、０〜１の値（０以上１以下の値）に変換する。そして、第一確率算出手段１１５２は、当該変換した値（０〜１）を、第二の意図識別子の確率とする。次に、第一確率算出手段１１５２は、第一の意図識別子または第三の意図識別子または第四の意図識別子に対応する第一学習特徴量群（ベクトル）との距離を、「１−第二の意図識別子の確率」により算出する。
【００５２】
そして、次に、第三の意図識別子と他の意図識別子との２つのクラスが存在すると考え、第一確率算出手段１１５２は、第一学習特徴量群から、２つのクラス（クラス１［第三の意図識別子］、またはクラス２［第一の意図識別子または第二の意図識別子または第四の意図識別子）に分けるための境界面の情報を得る。次に、第一確率算出手段１１５２は、境界面からの入力特徴量群の距離を算出する。そして、第一確率算出手段１１５２は、当該距離をロジスティック関数（シグモイド関数）に入力し、０〜１の値（０以上１以下の値）に変換する。そして、第一確率算出手段１１５２は、当該変換した値（０〜１）を、第三の意図識別子の確率とする。次に、第一確率算出手段１１５２は、第一の意図識別子または第二の意図識別子または第四の意図識別子に対応する第一学習特徴量群（ベクトル）との距離を、「１−第三の意図識別子の確率」により算出する。
【００５３】
そして、次に、第四の意図識別子と他の意図識別子との２つのクラスが存在すると考え、第一確率算出手段１１５２は、第一学習特徴量群から、２つのクラス（クラス１［第四の意図識別子］、またはクラス２［第一の意図識別子または第二の意図識別子または第三の意図識別子）に分けるための境界面の情報を得る。次に、第一確率算出手段１１５２は、境界面からの入力特徴量群の距離を算出する。そして、第一確率算出手段１１５２は、当該距離をロジスティック関数（シグモイド関数）に入力し、０〜１の値（０以上１以下の値）に変換する。そして、第一確率算出手段１１５２は、当該変換した値（０〜１）を、第四の意図識別子の確率とする。次に、第一確率算出手段１１５２は、第一の意図識別子または第二の意図識別子または第三の意図識別子に対応する第一学習特徴量群（ベクトル）との距離を、「１−第四の意図識別子の確率」により算出する。
【００５４】
そして、第一確率算出手段１１５２は、上記で取得した確率をマージすることにより、第一の意図識別子から第四の意図識別子の確率を取得する。ここで、マージとは、前記の第一の意図識別子の確率（Ｐ１）、前記の第一以外の意図識別子の確率（Ｐ２３４）、前記の第二の意図識別子の確率（Ｐ２）、前記の第二以外の意図識別子の確率（Ｐ１３４）、前記の第三の意図識別子の確率（Ｐ３）、前記の第三以外の意図識別子の確率（Ｐ１２４）、前記の第四の意図識別子の確率（Ｐ４）、前記の第四以外の意図識別子の確率（Ｐ１２３）の８つの確率から求める操作のことを言う。マージした第一の意図識別子の確率はＰ１×Ｐ１３４×Ｐ１２４×Ｐ１２３、マージした第二の意図識別子の確率はＰ２３４×Ｐ２×Ｐ１２４×Ｐ１２３、マージした第三の意図識別子の確率はＰ２３４×Ｐ１３４×Ｐ３×Ｐ１２３、マージした第四の意図識別子はＰ２３４×Ｐ１３４×Ｐ１２４×Ｐ４のように求めることが好適である。なお、確率を正規化する操作を加えても良い。また、ここで、正規化とは、マージした第一の意図識別子の確率から第四の意図識別子の確率までを足した値でそれぞれの確率を割ることで、全てを足した確率が１になるようにする操作である。
【００５５】
第一確率算出手段１１５２は、通常、ＭＰＵやメモリ等から実現され得る。第一確率算出手段１１５２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００５６】
第二確率算出部１１６は、第二脳活動データから、ユーザにより示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第二確率を、意図識別子ごとに算出する。
【００５７】
第二確率算出部１１６は、第二確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出する。第二確率算出部１１６は、第二確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出しても良い。意図識別子ごととは、通常、すべての意図識別子の確率を算出するが、すべての意図識別子の確率を算出しない場合もあり得る。第二確率算出部１１６は、第二脳活動データが得意とする意図に対応する意図識別子の確率のみを算出しても良い。つまり、第二確率算出部１１６は、例えば、第二脳活動データが得意とする意図識別子「舌」および「足」のみの第二確率を算出しても良い。第二確率算出部１１６の第二確率の算出方法は、第一確率算出部１１５の第一確率の算出方法と同様で良い。
【００５８】
第二確率算出部１１６は、通常、ＭＰＵやメモリ等から実現され得る。第二確率算出部１１６の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００５９】
第二特徴量群取得手段１１６１は、第二脳活動データから、１以上の特徴量である第二入力特徴量群を取得する。第二特徴量群取得手段１１６１は、第二脳活動データを信号処理することにより、１以上の特徴量を取得する。第二特徴量群取得手段１１６１が行う信号処理は、通常、第一特徴量群取得手段１１５１が行う信号処理と同様である。第二特徴量群取得手段１１６１は、通常、ＭＰＵやメモリ等から実現され得る。第二特徴量群取得手段１１６１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００６０】
第二確率算出手段１１６２は、第二意図判別情報格納部１１２の２以上の第二意図判別情報を用いて、第二特徴量群取得手段１１６１が取得した第二入力特徴量群が、２以上の意図判別情報に含まれる複数の意図識別子のうちの一の意図識別子に対応する第二確率を、２以上の意図識別子ごとに算出する。第二確率算出手段１１６２の第二確率の算出処理方法は、通常、第一確率算出手段１１５２の第一確率の算出処理方法と同様である。第二確率算出手段１１６２は、通常、ＭＰＵやメモリ等から実現され得る。第二確率算出手段１１６２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００６１】
意図決定部１１７は、第一確率算出部１１５が算出した意図識別子ごとの第一確率、および第二確率算出部１１６が算出した意図識別子ごとの第二確率とを用いて、意図識別子を取得する。意図決定部１１７は、第一確率および第二確率をどのように用いて、意図識別子を取得するかは問わない。意図決定部１１７は、第一確率がよい高い意図識別子、第二確率がよい高い意図識別子を取得する方向に判断することは言うまでもない。意図決定部１１７は、通常、ＭＰＵやメモリ等から実現され得る。意図決定部１１７の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００６２】
第三確率算出手段１１７１は、意図識別子ごとに、対応する第一確率、または対応する第二確率、または対応する第一確率と第二確率とを用いて、意図識別子ごとの最終的な確率を算出する。第三確率算出手段１１７１は、第一確率と第二確率とで、異なる重みを用いて、意図識別子ごとの最終的な確率を算出することは好適である。
【００６３】
第三確率算出手段１１７１は、例えば、以下の数式１に基づいて、意図識別子ごとの最終的な確率を算出する。つまり、第三確率算出手段１１７１は、第一確率算出手段１１５２が算出した意図識別子ごとの第一確率と、第二確率算出手段１１６２が算出した意図識別子ごとの第二確率とを、数式１に代入し、意図識別子ごとの最終的な確率を算出する。なお、第三確率算出手段１１７１は、数式１の情報を予め保持している。また、数式１は、第一確率と第二確率とを統合して、意図識別子ごとの最終的な確率を算出する数式である。
【数１】
【００６４】
数式１において、第一脳活動データは、近赤外線光計測装置により取得されたヘモグロビン量の時系列のデータである。また、第二脳活動データは、脳波計測装置により取得された脳波の時系列のデータである。
【００６５】
また、数式１において、意図識別子は、左手「Ｌｅｆｔ」、右手「Ｒｉｇｈｔ」、舌「Ｔｏｎｇｕｅ」、足「Ｆｏｏｔ」の4種類である。
【００６６】
また、数式１において、ＰＮＩＲＳＬｅｆｔ（数式１において上付きの文字列と下付きの文字列は上限に並んでいるが、上付きの文字列と下付きの文字が上下に整列しているものと、ずれているものとは同一のものである。）は、第一確率算出部１１５が算出した、意図識別子「Ｌｅｆｔ」である第一確率、ＰＮＩＲＳＲｉｇｈｔは第一確率算出部１１５が算出した意図識別子「Ｒｉｇｈｔ」である第一確率、ＰＮＩＲＳＴｏｎｇｕｅは第一確率算出部１１５が算出した意図識別子「Ｔｏｎｇｕｅ」である第一確率、ＰＮＩＲＳＦｏｏｔは第一確率算出部１１５が算出した意図識別子「Ｆｏｏｔ」である第一確率である。また、ＰＥＥＧＬｅｆｔは第二確率算出部１１６が算出した意図識別子「Ｌｅｆｔ」である第二確率、ＰＥＥＧＲｉｇｈｔは第二確率算出部１１６が算出した意図識別子「Ｒｉｇｈｔ」である第二確率、ＰＥＥＧＴｏｎｇｕｅは第二確率算出部１１６が算出した意図識別子「Ｔｏｎｇｕｅ」である第二確率、ＰＥＥＧＦｏｏｔは第二確率算出部１１６が算出した意図識別子「Ｆｏｏｔ」である第二確率である。また、Ｐｔｏｔａｌｔｅｘｔは最終的な確率である。Ｐｔｏｔａｌｔｅｘｔは、意図識別子ＴＥＸＴ（Ｌｅｆｔ、Ｒｉｇｈｔ、Ｔｏｎｇｕｅ、またはＦｏｏｔ）の最終的な確率である。
【００６７】
また、数式１において、ｗは重みを示す重みパラメータである。「ｗ＝１」の場合、第一確率も第二確率も同じ重みで扱うことを示す。「ｗ＝２」の場合、第一確率より第二確率の方に重きを置いて扱うことを示す。
【００６８】
また、数式１において、ｉは、「Ｌｅｆｔ、Ｒｉｇｈｔ、Ｔｏｎｇｕｅ、Ｆｏｏｔ」のいずれかをとり得る。さらに、ＰＮＩＲＳｉは、近赤外線光計測装置から得られる確率、ＰＥＥＧｉは、脳波から得られる確率である。
【００６９】
また、第三確率算出手段１１７１は、第一脳活動データ取得部１１３（第一脳活動データと言っても良い）が得意とする意図（例えば、左手「Ｌｅｆｔ」、右手「Ｒｉｇｈｔ」）のみを使い、かつ第二脳活動データ取得部１１４（第二脳活動データと言っても良い）が得意とする意図（例えば、左手「Ｔｏｎｇｕｅ」、右手「Ｆｏｏｔ」）のみを使って、意図識別子ごとの最終的な確率を取得しても良い。かかる場合、第三確率算出手段１１７１は、第一脳活動データ取得部１１３を識別する情報や第二脳活動データ取得部１１４を識別する情報と、得意とする意図を識別する意図識別子を対応付けて保持している。
【００７０】
第三確率算出手段１１７１は、通常、ＭＰＵやメモリ等から実現され得る。第三確率算出手段１１７１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００７１】
意図識別子取得手段１１７２は、意図識別子ごとの最終的な確率から、最も大きい確率に対応する意図識別子を取得する。意図識別子取得手段１１７２は、通常、一の意図識別子のみを取得する。意図識別子取得手段１１７２は、通常、ＭＰＵやメモリ等から実現され得る。意図識別子取得手段１１７２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００７２】
出力部１１８は、意図決定部１１７が取得した意図識別子を出力する。ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタへの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラム等への処理結果の引渡し等を含む概念である。なお、出力とは、ロボット１２への意図識別子の送付が好適である。出力部１１８は、例えば、ロボット１２へ意図識別子を送付する通信手段で実現され得る。
【００７３】
動作情報格納部１２１は、２以上の動作情報を格納し得る。動作情報とは、意図識別子と当該意図識別子に対応する動作を行わせる動作モジュールとの組である。動作モジュールとは、ハードウェアで実現されていても良いし、ソフトウェアで実現されていても良いし、ハードウェアとソフトウェアで実現されていても良い。動作情報格納部１２１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。動作情報格納部１２１に動作情報が記憶される過程は問わない。例えば、記録媒体を介して動作情報が動作情報格納部１２１で記憶されるようになってもよく、通信回線等を介して送信された動作情報が動作情報格納部１２１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された動作情報が動作情報格納部１２１で記憶されるようになってもよい。
【００７４】
意図識別子受付部１２２は、脳情報出力装置１１から出力された意図識別子を受け付ける。受け付けとは、通信手段を用いた受信や、ソフトウェアによる情報（意図識別子）の引き渡し等である。
【００７５】
実行部１２３は、意図識別子受付部１２２が受け付けた意図識別子に対応する動作モジュールを実行する。動作モジュールが実現する動作内容は何でも良い。実行部１２３は、通常、ＭＰＵやメモリ等から実現され得る。実行部１２３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００７６】
次に、ロボットシステム１の動作について説明する。まず、脳情報出力装置１１の動作について説明する。図３は、脳情報出力装置１１が学習データを取得する動作を説明するフローチャートである。学習データとは、ここでは、第一意図判別情報または第二意図判別情報である。なお、図３のフローチャートにおいて、学習データの種類は、３以上でも対応可能なフローを示している。
【００７７】
（ステップＳ３０１）脳情報出力装置１１の図示しない出力手段は、ユーザに対して、一の意図に対応する行為を行うように指示を出力する。出力手段が出力する指示の情報は、出力手段が予め保持している、とする。指示の情報とは、例えば、「右手を１０秒間、１０Ｈｚで、握ったり、開いたりしてください。」「１０秒間、舌を出し入れしてください。」「右手を握ったり、開いたりしていることを想像してください。」など、ユーザの脳活動に影響を与える動作をユーザにおこさせるための指示の情報である。
【００７８】
（ステップＳ３０２）例えば、第一意図判別情報蓄積部１０３等の意図判別情報蓄積部は、ステップＳ３０１で出力された指示に対応する意図識別子を取得する。意図判別情報蓄積部は、ステップＳ３０１で出力された指示に対応する意図識別子を、予め保持している、とする。
【００７９】
（ステップＳ３０３）第一学習データ取得部１０１、第二学習データ取得部１０４等の学習データ取得部は、それぞれに対応する学習データを取得する。ここで、２以上のすべての学習データが取得される。
【００８０】
（ステップＳ３０４）脳情報出力装置１１は、カウンタｉに１を設定する。
【００８１】
（ステップＳ３０５）脳情報出力装置１１は、ステップＳ３０３で取得された学習データのうち、ｉ番目の学習データが存在するか否かを判断する。ｉ番目の学習データが存在すればステップＳ３０６に行き、ｉ番目の学習データが存在しなければ処理を終了する。
【００８２】
（ステップＳ３０６）ｉ番目の学習データに対応する学習特徴量群取得部（例えば、第一学習特徴量群取得部１０２や、第二学習特徴量群取得部１０５など）は、ｉ番目の学習データから、ｉ番目の学習特徴量群を取得する。
【００８３】
（ステップＳ３０７）ｉ番目の学習データに対応する意図判別情報蓄積部（例えば、第一意図判別情報蓄積部１０３や、第二意図判別情報蓄積部１０６など）は、ｉ番目の学習特徴量群と、ステップＳ３０２で取得した意図識別子とを対応付けて、ｉ番目の意図判別情報を構成する。
【００８４】
（ステップＳ３０８）ｉ番目の学習データに対応する意図判別情報蓄積部は、ステップＳ３０７で構成されたｉ番目の意図判別情報を、対応する意図判別情報格納部（例えば、第一意図判別情報格納部１１１、第二意図判別情報格納部１１２など）に蓄積する。
【００８５】
（ステップＳ３０９）脳情報出力装置１１は、カウンタｉを１、インクリメントする。ステップＳ３０５に戻る。
【００８６】
次に、脳情報出力装置１１が、２以上の意図判別情報を用いて、意図識別子を取得する動作を、図４のフローチャートを用いて説明する。
【００８７】
（ステップＳ４０１）第一脳活動データ取得部１１３、または第二脳活動データ取得部１１４などの脳活動データ取得部は、脳活動データを取得したか否かを判断する。脳活動データを取得すればステップＳ４０２に行き、脳活動データを取得しなければステップＳ４０１に戻る。
【００８８】
（ステップＳ４０２）脳活動データ取得部は、ステップＳ４０１で取得した脳活動データを、少なくとも一時、記録媒体に蓄積する。
【００８９】
（ステップＳ４０３）脳情報出力装置１１は、すべての種類の脳活動データを取得できたか否かを判断する。すべての種類の脳活動データを取得できていればステップＳ４０４に行き、取得できていなければステップＳ４０１に戻る。なお、脳情報出力装置１１は、取得するべき、すべての種類の脳活動データを識別する情報（例えば、「ＮＩＲＳ」「ＥＥＧ」など）を保持している。
【００９０】
（ステップＳ４０４）脳情報出力装置１１は、カウンタｉに１を代入する。
【００９１】
（ステップＳ４０５）第一確率算出部１１５、第二確率算出部１１６などの確率算出部は、ステップＳ４０２で蓄積された脳活動データのうち、ｉ番目の種類の脳活動データが存在するか否かを判断する。ｉ番目の種類の脳活動データが存在すればステップＳ４０６に行き、ｉ番目の種類の脳活動データが存在しなければステップＳ４０９に行く。
【００９２】
（ステップＳ４０６）第一特徴量群取得手段１１５１、または第二特徴量群取得手段１１６１などの特徴量群取得手段は、ｉ番目の種類の脳活動データから、ｉ番目の特徴量群を取得する。
【００９３】
（ステップＳ４０７）第一確率算出手段１１５２、第二確率算出手段１１６２などの確率算出手段は、ｉ番目の意図判別情報（対応する意図判別情報格納部に存在する）を用いて、意図識別子ごとのｉ番目の確率を算出する。
【００９４】
（ステップＳ４０８）脳情報出力装置１１は、カウンタｉを１、インクリメントする。ステップＳ４０５に戻る。
【００９５】
（ステップＳ４０９）第三確率算出手段１１７１は、意図識別子ごとに、第一確率から第（ｉ−１）確率を用いて、最終的な確率を算出する。かかる算出式は、例えば、数式１である。
【００９６】
（ステップＳ４１０）意図識別子取得手段１１７２は、ステップＳ４０９で算出した意図識別子ごとの最終的な確率から、最も大きい確率に対応する意図識別子を取得する。
【００９７】
（ステップＳ４１１）出力部１１８は、ステップＳ４１０で取得された意図識別子を出力する。処理を終了する。
【００９８】
次に、ロボット１２の動作について、図５のフローチャートを用いて説明する。
【００９９】
（ステップＳ５０１）意図識別子受付部１２２は、脳情報出力装置１１から出力された意図識別子を受け付けたか否かを判断する。意図識別子を受け付ければステップＳ５０２に行き、意図識別子を受け付けなければステップＳ５０１に戻る。
【０１００】
（ステップＳ５０２）実行部１２３は、ステップＳ５０１で受け付けられた意図識別子に対応する動作モジュールを、動作情報格納部１２１から読み出す。
【０１０１】
（ステップＳ５０３）実行部１２３は、ステップＳ５０２で読み出した動作モジュールを実行する。ステップＳ５０１に戻る。
【０１０２】
以上の処理により、ユーザが意図した行為（思考を含む）に対応する動作が、ロボット１２により行われる。
【０１０３】
なお、図５のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【０１０４】
以下、本実施の形態における脳情報出力装置１１の概念を説明する。脳情報出力装置１１の概念図は図６である。
【０１０５】
脳情報出力装置１１において、複数の脳活動計測装置（Ｓ１１−１、Ｓ１１−２）を使って、ユーザ（Ｓ１２）の脳活動をリアルタイムに測定し、脳活動データ（Ｓ１３−１、Ｓ１３−２）を得る。そして、脳情報出力装置１１において、かかる脳活動データ（Ｓ１３−１、Ｓ１３−２）を意図判別アルゴリズム（Ｓ１４−１、Ｓ１４−２）に入れて、脳活動計測装置Ｓ１１−１、Ｓ１１−２から推定されるユーザの意図（Ｓ１５−１、Ｓ１５−２）とそれぞれの確信度合を示す確率（Ｓ１６−１、Ｓ１６−２）を計算する。その確率Ｓ１６−１とＳ１６−２を統計学で言うベイズの定理に基づいて、意図統合装置（Ｓ１７）により結合し、ユーザの統合意図（Ｓ１８）とその確率（Ｓ１９）を得ることで、複数の脳活動計測装置を使った脳・機械インタフェースの判別性能向上が図られる。
【０１０６】
なお、図６において、脳活動計測装置（Ｓ１１−１、Ｓ１１−２）は、例えば、第一脳活動データ取得部１１３、第二脳活動データ取得部１１４に該当する。そして、脳活動データ（Ｓ１３−１、Ｓ１３−２）は、例えば、第一脳活動データ、第二脳活動データに該当する。また、意図判別アルゴリズム（Ｓ１４−１、Ｓ１４−２）は、例えば、第一確率算出部１１５、第二確率算出部１１６に該当する。また、意図（Ｓ１５−１、Ｓ１５−２）は、意図識別子に該当する。また、確率Ｓ１６−１とＳ１６−２は、第一確率、第二確率に該当する。また、意図統合装置（Ｓ１７）は、意図決定部１１７に該当する。さらに、統合意図（Ｓ１８）は、意図決定部１１７が取得した意図識別子、その確率（Ｓ１９）は、最終的な確率に該当する。
【０１０７】
以下、本実施の形態におけるロボットシステム１の具体的な動作について説明する。ロボットシステム１の概念図は図１である。この具体的な動作は、一の実験に基づいている。
【０１０８】
今、脳情報出力装置１１は、いわゆる脳・機械インタフェース（左手・右手の実運動）として機能する電子機器である。そして、脳情報出力装置１１から出力される意図識別子は、ロボット１２に送付され、ロボット１２は意図識別子に対応した動作を行う、とする。
【０１０９】
また、第一学習データ取得部１０１、および第一脳活動データ取得部１１３は、近赤外線光計測装置である。そして、第一学習データおよび第一脳活動データは、ＮＩＲＳデータである。ＮＩＲＳデータとは、頭部のヘモグロビン量を示すヘモグロビン情報の集合である。
【０１１０】
また、第二学習データ取得部１０４、および第二脳活動データ取得部１１４は、脳波計測装置である。
【０１１１】
そして、図７は、ユーザが頭部にかぶる測定器具である。図７において、第一脳活動データ取得部１１３と、第二脳活動データ取得部１１４のハードウェア構成が示されている。また、第一学習データ取得部１０１、および第二学習データ取得部１０４のハードウェア構も、図７の測定器具である。なお、第一脳活動データ取得部１１３は、例えば、７８０ｎｍ、８０５ｎｍ、８３０ｎｍの近赤外光を発光させて頭部に当てた場合の電圧と、発光しない場合の電圧を取得し、当該取得した電圧を、予め決められた式（ヘモグロビン量を算出する式）に代入し、ヘモグロビン量であるヘモグロビン情報を取得する。また、第一脳活動データ取得部１１３は、例えば、４８チャネル（図７において、４８の測定点が存在する）から、ヘモグロビン情報を取得する。なお、第一脳活動データ取得部１１３は、予め決められた式の情報を保持している。そして、例えば、図７に示す測定器具により、２種類の異なる脳活動データが取得される。
【０１１２】
今、第一意図判別情報格納部１１１に、図８に示す第一意図判別情報が格納されている。この第一意図判別情報は、近赤外線光計測装置である第一学習データ取得部１０１により取得された第一学習データから、第一学習特徴量群取得部１０２が第一学習特徴量群を取得し、当該第一学習特徴量群と意図識別子を有する第一意図判別情報を、第一意図判別情報蓄積部１０３が蓄積したデータである。図８において、意図識別子ごとに、２つの特徴量（第一特徴量、第二特徴量）が格納されている。なお、図８では、第一学習特徴量群を構成する特徴量は２つであったが、３以上であったも良いことは言うまでもない。また、第一特徴量、および第二特徴量は、具体的には、例えば、上述した平均値、分散、Phase Locking 値などである。
【０１１３】
また、第二意図判別情報格納部１１２に、図９に示す第二意図判別情報が格納されている。この第二意図判別情報は、脳波計測装置である第二学習データ取得部１０４により取得された第二学習データから、第二学習特徴量群取得部１０５が第二学習特徴量群を取得し、当該第二学習特徴量群と意図識別子を有する第二意図判別情報を、第二意図判別情報蓄積部１０６が蓄積したデータである。図９において、意図識別子ごとに、２つの特徴量（第一特徴量、第二特徴量）が格納されている。なお、図９では、第二学習特徴量群を構成する特徴量は２つであったが、３以上であったも良いことは言うまでもない。また、第一特徴量、および第二特徴量は、具体的には、例えば、上述した平均値、分散、Phase Locking 値などである。
【０１１４】
かかる状況において、ユーザは、例えば、「右手」を動かしている動作を想像する、とする。かかる場合、意図は「右手を動かすように想像すること」であり、意図識別子は「右手」である。
【０１１５】
そして、第一脳活動データ取得部１１３は、図１０に示す第一脳活動データ（ＮＩＲＳデータ）を取得した、とする。図１０は、時間（ｔ）の経過ごとの、取得されたヘモグロビン量を示す。ヘモグロビン情報は、ここでは、例えば、８ｍｓｅｃごとに取得される、とする。
【０１１６】
また、第二脳活動データ取得部１１４は、図１１に示す第二脳活動データ（脳波データ）を取得した、とする。図１１は、時間（ｔ）の経過ごとの、取得された脳波情報を示す。図１１において、脳波情報は２ｍｓｅｃごとに取得される、とする。なお、図１０、図１１の情報を、グラフにした図が図１２である。
【０１１７】
次に、第一特徴量群取得手段１１５１は、図１０に示す第一脳活動データから、図１３に示す第一特徴量群を取得する。
【０１１８】
そして、次に、第一確率算出手段１１５２は、図８の意図判別情報を用いて、意図識別子ごとの第一確率を算出する。かかる第一確率の例を図１４に示す。
【０１１９】
次に、第二特徴量群取得手段１１６１は、図１１に示す第二脳活動データから、図１５に示す第二特徴量群を取得する。
【０１２０】
そして、次に、第二確率算出手段１１６２は、図９の意図判別情報を用いて、意図識別子ごとの第二確率を算出する。かかる第二確率の例を図１６に示す。
【０１２１】
次に、第三確率算出手段１１７１は、図１４の第一確率、図１６の第二確率、および「ｗ＝１」を、数式１に代入し、意図識別子ごとに、最終的な確率（例えば、ＰｔｏｔａｌＲｉｇｈｔ＝０．８１、ＰｔｏｔａｌＬｅｆｔ＝０．０５、ＰｔｏｔａｌＴｏｎｇｕｅ＝０．１１、ＰｔｏｔａｌＦｏｏｔ＝０．０３）を算出する。
【０１２２】
次に、意図識別子取得手段１１７２は、算出した意図識別子ごとの最終的な確率から、最も大きい確率（例えば、ＰｔｏｔａｌＲｉｇｈｔ「「０．８１」）に対応する意図識別子「右手」を取得する。
【０１２３】
そして、出力部１１８は、取得された意図識別子「右手」を、ロボット１２に送付する。
【０１２４】
次に、ロボット１２の意図識別子受付部１２２は、脳情報出力装置１１から出力された意図識別子「右手」を受け付ける。
【０１２５】
そして、実行部１２３は、受け付けられた意図識別子「右手」に対応する動作モジュール（例えば、ロボット１２の右手を動かすモジュール）を、動作情報格納部１２１から読み出す。
【０１２６】
次に、実行部１２３は、読み出した動作モジュールを実行する。そして、ユーザが想像したように、ロボット１２の右手が動くこととなる。
【０１２７】
なお、上記に実験により測定された、脳情報出力装置１１の効果について説明する。上述したように、ユーザは、左手・右手・舌・足のうちの一つを任意にイメージし、脳情報出力装置１１は、その脳活動からユーザが何をイメージしたかを、意図判別アルゴリズムを用いて推定する。
【０１２８】
脳波計測装置だけを使った場合の判別率は６３．１±５．４％（判別できた割合が６３．１％、標準偏差が５．４％）、近赤外線光計測装置だけを使った場合の判別率は４７．６±７．０％であった。一方、脳情報出力装置１１により、脳波計測装置と近赤外線光計測装置の両方を用いて、脳波とＮＩＲＳデータを統合した場合の判別率（ｗ＝１とした）は６８．１±３．７％となり、性能の向上と、その性能のばらつきである標準偏差の低下が観察された。そして、脳情報出力装置１１は、より安定した脳・機械インタフェースであることが証明された。
【０１２９】
以上、本実施の形態によれば、２以上の種類の脳活動データを用いて、精度高く、意図を検出できる。
【０１３０】
なお、本実施の形態によれば、主として、２つの脳活動データを用いて、意図を検出する方法について説明した。しかし、３以上の脳活動データを用いて、意図を検出しても良い。３以上の脳活動データとは、ＮＩＲＳ（近赤外分光分析）、ｆＭＲＩ（機能的ＭＲＩ）、ＭＥＧ（脳磁計）、ＥＥＧ（脳波計）、ＰＥＴにより取得されるデータのうちの３以上の種類のデータである。
【０１３１】
また、本実施の形態において、脳情報出力装置１１は、第一学習データ取得部１０１、第一学習特徴量群取得部１０２、第一意図判別情報蓄積部１０３、第二学習データ取得部１０４、第二学習特徴量群取得部１０５、第二意図判別情報蓄積部１０６を有しなくても良い。かかる場合、脳情報出力装置１１は、第一意図判別情報格納部１１１、第二意図判別情報格納部１１２、第一脳活動データ取得部１１３、第二脳活動データ取得部１１４、第一確率算出部１１５、第二確率算出部１１６、意図決定部１１７、出力部１１８を具備する。そして、第一意図判別情報および第二意図判別情報を取得する処理は、他の装置（例えば、学習装置という。）によりなされる。学習装置は、第一学習データ取得部１０１、第一学習特徴量群取得部１０２、第一意図判別情報蓄積部１０３、第二学習データ取得部１０４、第二学習特徴量群取得部１０５、第二意図判別情報蓄積部１０６を具備する。
【０１３２】
さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、ユーザが一の意図を示した際の当該ユーザの脳活動の第一のデータである第一脳活動データを、前記ユーザから取得する第一脳活動データ取得部と、前記ユーザが前記一の意図を示した際の当該ユーザの脳活動の第二のデータであり、前記第一脳活動データとは異なる種類のデータである第二脳活動データを、前記ユーザから取得する第二脳活動データ取得部と、前記第一脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第一確率を、意図識別子ごとに算出する第一確率算出部と、前記第二脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第二確率を、意図識別子ごとに算出する第二確率算出部と、前記第一確率算出部が算出した意図識別子ごとの第一確率、および前記第二確率算出部が算出した意図識別子ごとの第二確率とを用いて、意図識別子を取得する意図決定部と、前記意図決定部が取得した意図識別子を出力する出力部として機能させるためのプログラム、である。
【０１３３】
また、記憶媒体に、ユーザの意図を識別する情報である意図識別子と、当該意図識別子で識別される意図の元にユーザが一連の行為を行った際に当該ユーザの脳から取得されたデータであり、前記第一脳活動データと同一種類のデータである第一学習データから抽出された１以上の特徴量である第一学習特徴量群とを対に有する第一意図判別情報を、２以上格納しており、記憶媒体に、ユーザの意図を識別する情報である意図識別子と、当該意図識別子で識別される意図の元にユーザが一連の行為を行った際に当該ユーザの脳から取得されたデータであり、前記第二脳活動データと同一種類のデータである第二学習データから抽出された１以上の特徴量である第二学習特徴量群とを対に有する第二意図判別情報を、２以上格納しており、上記プログラムにおいて、前記第一確率算出部は、前記第一脳活動データから、１以上の特徴量である第一入力特徴量群を取得する第一特徴量群取得手段と、前記第一意図判別情報格納部の２以上の第一意図判別情報を用いて、前記第一特徴量群取得手段が取得した第一入力特徴量群が、前記２以上の第一意図判別情報に含まれる複数の意図識別子のうちの一の意図識別子に対応する第一確率を、前記２以上の意図識別子ごとに算出する第一確率算出手段とを具備し、前記第二確率算出部は、前記第二脳活動データから、１以上の特徴量である第二入力特徴量群を取得する第二特徴量群取得手段と、前記第二意図判別情報格納部の２以上の第二意図判別情報を用いて、前記第二特徴量群取得手段が取得した第二入力特徴量群が、前記２以上の意図判別情報に含まれる複数の意図識別子のうちの一の意図識別子に対応する第二確率を、前記２以上の意図識別子ごとに算出する第二確率算出手段とを具備するものとして、コンピュータを機能させるためのプログラムであることは好適である。
【０１３４】
また、上記プログラムにおいて、前記意図決定部は、前記意図識別子ごとに、対応する第一確率、または対応する第二確率、または対応する第一確率と第二確率とを用いて、前記意図識別子ごとの最終的な確率を算出する第三確率算出手段と、前記意図識別子ごとの最終的な確率から、最も大きい確率に対応する意図識別子を取得する意図識別子取得手段とを具備するものとして、コンピュータを機能させるためのプログラムであることは好適である。
【０１３５】
また、上記プログラムにおいて、前記第三確率算出手段は、前記第一確率と前記第二確率とで、異なる重み（例えば、上述した数式１のｗ）を用いて、前記意図識別子ごとの最終的な確率を算出することは好適である。
【０１３６】
また、上記プログラムにおいて、前記第一確率算出部は、前記第一確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出し、前記第二確率算出部は、前記第二確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出することは好適である。かかることにより、各計測装置が得意とする意図のみを使うことになり、意図の出力の精度が高まる。
【０１３７】
また、図１７は、本明細書で述べたプログラムを実行して、上述した実施の形態の脳情報出力装置等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図１７は、このコンピュータシステム３４０の概観図であり、図１８は、コンピュータシステム３４０のブロック図である。
【０１３８】
図１７において、コンピュータシステム３４０は、ＦＤドライブ、ＣＤ−ＲＯＭドライブを含むコンピュータ３４１と、キーボード３４２と、マウス３４３と、モニタ３４４とを含む。
【０１３９】
図１８において、コンピュータ３４１は、ＦＤドライブ３４１１、ＣＤ−ＲＯＭドライブ３４１２に加えて、ＭＰＵ３４１３と、ＣＤ−ＲＯＭドライブ３４１２及びＦＤドライブ３４１１に接続されたバス３４１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ３４１５とに接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ３４１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３４１７とを含む。ここでは、図示しないが、コンピュータ３４１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。
【０１４０】
コンピュータシステム３４０に、上述した実施の形態の脳情報出力装置等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３５０１、またはＦＤ３５０２に記憶されて、ＣＤ−ＲＯＭドライブ３４１２またはＦＤドライブ３４１１に挿入され、さらにハードディスク３４１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３４１に送信され、ハードディスク３４１７に記憶されても良い。プログラムは実行の際にＲＡＭ３４１６にロードされる。プログラムは、ＣＤ−ＲＯＭ３５０１、ＦＤ３５０２またはネットワークから直接、ロードされても良い。
【０１４１】
プログラムは、コンピュータ３４１に、上述した実施の形態の脳情報出力装置等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３４０がどのように動作するかは周知であり、詳細な説明は省略する。
【０１４２】
なお、上記プログラムにおいて、ハードウェアによって行われる処理は含まれない。
【０１４３】
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【０１４４】
また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【０１４５】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【０１４６】
以上のように、本発明にかかる脳情報出力装置は、ユーザの意図を精度高く取得できる、という効果を有し、脳・機械インタフェース等として有用である。
【符号の説明】
【０１４７】
１ ロボットシステム
１１ 脳情報出力装置
１２ ロボット
１０１ 第一学習データ取得部
１０２ 第一学習特徴量群取得部
１０３ 第一意図判別情報蓄積部
１０４ 第二学習データ取得部
１０５ 第二学習特徴量群取得部
１０６ 第二意図判別情報蓄積部
１１１ 第一意図判別情報格納部
１１２ 第二意図判別情報格納部
１１３ 第一脳活動データ取得部
１１４ 第二脳活動データ取得部
１１５ 第一確率算出部
１１６ 第二確率算出部
１１７ 意図決定部
１１８ 出力部
１２１ 動作情報格納部
１２２ 意図識別子受付部
１２３ 実行部
１１５１ 第一特徴量群取得手段
１１５２ 第一確率算出手段
１１６１ 第二特徴量群取得手段
１１６２ 第二確率算出手段
１１７１ 第三確率算出手段
１１７２ 意図識別子取得手段
１１８１ 確率算出手段
【技術分野】
【０００１】
本発明は、脳の情報を出力する脳情報出力装置等に関するものである。
【背景技術】
【０００２】
近年、脳に対する生理学的な知見の充実、脳計測機器の発展、高性能なコンピュータのコストダウン、および機械学習の分野の進歩等に伴い、脳・機械インタフェース（Brain Machine Interface:ＢＭＩ）に関する研究が注目を浴びてきている（非特許文献１）。ＢＭＩは、脳と機械をつなぐインタフェースである。ＢＭＩは、人が考えた時や、何らかの行動した際に生ずる脳活動の信号を計測し、その計測データに信号処理技術を施すことにより、ユーザの意図を汲み出すものである。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Toward Brain-Computer Interfacing (Neural Information Processing)、 MIT Press、 ISBN 978-0262042444
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のＢＭＩにおいて、脳活動データは１つの脳活動計測装置から取得されたデータであることが多い。従来のＢＭＩにおいて、１種類の脳活動データのみを利用した場合、意図の検出精度が高くない場合がある、という課題があった。
【０００５】
また、脳活動計測装置によって、ユーザの意図によって、その意図の検出が得意である意図、不得意である意図がある。
【課題を解決するための手段】
【０００６】
本第一の発明の脳情報出力装置は、ユーザが一の意図を示した際の当該ユーザの脳活動の第一のデータである第一脳活動データを、前記ユーザから取得する第一脳活動データ取得部と、前記ユーザが前記一の意図を示した際の当該ユーザの脳活動の第二のデータであり、前記第一脳活動データとは異なる種類のデータである第二脳活動データを、前記ユーザから取得する第二脳活動データ取得部と、前記第一脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第一確率を、意図識別子ごとに算出する第一確率算出部と、前記第二脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第二確率を、意図識別子ごとに算出する第二確率算出部と、前記第一確率算出部が算出した意図識別子ごとの第一確率、および前記第二確率算出部が算出した意図識別子ごとの第二確率とを用いて、意図識別子を取得する意図決定部と、前記意図決定部が取得した意図識別子を出力する出力部とを具備する脳情報出力装置である。
【０００７】
かかる構成により、複数の脳活動データを利用して、ユーザの意図を決定するため、精度高く、意図を検出できる。
【０００８】
また、本第二の発明の脳情報出力装置は、第一の発明に対して、ユーザの意図を識別する情報である意図識別子と、当該意図識別子で識別される意図の元にユーザが一連の行為を行った際に当該ユーザの脳から取得されたデータであり、前記第一脳活動データと同一種類のデータである第一学習データから抽出された１以上の特徴量である第一学習特徴量群とを対に有する第一意図判別情報を、２以上格納し得る第一意図判別情報格納部と、ユーザの意図を識別する情報である意図識別子と、当該意図識別子で識別される意図の元にユーザが一連の行為を行った際に当該ユーザの脳から取得されたデータであり、前記第二脳活動データと同一種類のデータである第二学習データから抽出された１以上の特徴量である第二学習特徴量群とを対に有する第二意図判別情報を、２以上格納し得る第二意図判別情報格納部とをさらに具備し、前記第一確率算出部は、前記第一脳活動データから、１以上の特徴量である第一入力特徴量群を取得する第一特徴量群取得手段と、前記第一意図判別情報格納部の２以上の第一意図判別情報を用いて、前記第一特徴量群取得手段が取得した第一入力特徴量群が、前記２以上の第一意図判別情報に含まれる複数の意図識別子のうちの一の意図識別子に対応する第一確率を、前記２以上の意図識別子ごとに算出する第一確率算出手段とを具備し、前記第二確率算出部は、前記第二脳活動データから、１以上の特徴量である第二入力特徴量群を取得する第二特徴量群取得手段と、前記第二意図判別情報格納部の２以上の第二意図判別情報を用いて、前記第二特徴量群取得手段が取得した第二入力特徴量群が、前記２以上の意図判別情報に含まれる複数の意図識別子のうちの一の意図識別子に対応する第二確率を、前記２以上の意図識別子ごとに算出する第二確率算出手段とを具備する脳情報出力装置である。
【０００９】
かかる構成により、複数の脳活動データを利用して、ユーザの意図を決定するため、精度高く、意図を検出できる。
【００１０】
また、本第三の発明の脳情報出力装置は、第一、第二いずれかの発明に対して、前記意図決定部は、前記意図識別子ごとに、対応する第一確率、または対応する第二確率、または対応する第一確率と第二確率とを用いて、前記意図識別子ごとの最終的な確率を算出する第三確率算出手段と、前記意図識別子ごとの最終的な確率から、最も大きい確率に対応する意図識別子を取得する意図識別子取得手段とを具備する脳情報出力装置である。
【００１１】
かかる構成により、複数の脳活動データから得られる各確率を統合して、意図ごとに確率を算出するため、精度高く、意図を検出できる。
【００１２】
また、本第四の発明の脳情報出力装置は、第三の発明に対して、前記第三確率算出手段は、前記第一確率と前記第二確率とで、異なる重みを用いて、前記意図識別子ごとの最終的な確率を算出する脳情報出力装置である。
【００１３】
かかる構成により、脳活動計測装置の特性を考慮して、意図を検出するので、さらに精度高く、意図を検出できる。
【００１４】
また、本第五の発明の脳情報出力装置は、第一の発明に対して、前記第一確率算出部は、前記第一確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出し、前記第二確率算出部は、前記第二確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出する脳情報出力装置である。
【００１５】
かかる構成により、それぞれの脳活動計測装置の得意とする意図のみを使って、意図を検出するので、さらに精度高く、意図を検出できる。
【００１６】
また、本第六の発明の脳情報出力装置は、第一から第五いずれかの発明に対して、前記第一脳活動データ取得部は、近赤外線光計測装置であり、前記第二脳活動データ取得部は、脳波計測装置である脳情報出力装置である。
【００１７】
かかる構成により、精度高く、意図を検出できる。
【発明の効果】
【００１８】
本発明による脳情報出力装置によれば、精度高く、意図を検出できる。
【図面の簡単な説明】
【００１９】
【図１】本実施の形態１におけるロボットシステム１の概念図
【図２】同ロボットシステム１のブロック図
【図３】同脳情報出力装置１１の動作について説明するフローチャート
【図４】同脳情報出力装置１１の動作について説明するフローチャート
【図５】同ロボット１２の動作について説明するフローチャート
【図６】同脳情報出力装置１１の概念図
【図７】同ユーザが頭部にかぶる測定器具を示す図
【図８】同第一意図判別情報の例を示す図
【図９】同第二意図判別情報の例を示す図
【図１０】同第一脳活動データの例を示す図
【図１１】同第二脳活動データの例を示す図
【図１２】同第一脳活動データ、第二脳活動データのグラフ
【図１３】同第一特徴量群の例を示す図
【図１４】同かかる第一確率の例を示す図
【図１５】同第二特徴量群の例を示す図
【図１６】同第二確率の例を示す図
【図１７】同コンピュータシステムの概観図
【図１８】同コンピュータシステムのブロック図
【図１９】同確率算出アルゴリズムを説明するための図
【図２０】同確率算出アルゴリズムを説明するための図
【発明を実施するための形態】
【００２０】
以下、脳情報出力装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【００２１】
（実施の形態１）
本実施の形態において、複数の脳活動計測装置によって得られた複数の脳活動データから、ユーザの意図を決定する脳情報出力装置について説明する。なお、本実施の形態において、主として、２つの脳活動計測装置によって得られた２つの脳活動データから、ユーザの意図を決定する脳情報出力装置について説明するが、３つ以上の脳活動計測装置によって得られた３つ以上の脳活動データから、ユーザの意図を決定する脳情報出力装置であっても良い。脳活動データが２つの場合も、３つ以上の場合も、ユーザの意図を決定する方法は同様である。
【００２２】
また、本実施の形態において、複数の脳活動計測装置から得られる複数の脳活動データのそれぞれに対して、重み付けして、ユーザの意図を決定する脳情報出力装置についても説明する。なお、脳活動データに対する重み付けは、脳活動データから得られた確率に対する重み付けと同意義である。
【００２３】
また、本実施の形態において、各脳活動計測装置が、得意とする意図のみを使って、最終的な意図を決定する脳情報出力装置についても説明する。
【００２４】
さらに、本実施の形態において、脳情報出力装置の出力を受けて動作するロボットを含むロボットシステムについても説明する。
【００２５】
図１は、本実施の形態におけるロボットシステム１の概念図である。ロボットシステム１は、脳情報出力装置１１、ロボット１２を具備する。脳情報出力装置１１は、ユーザからの脳情報を取得し、ユーザの意図を検出し、当該意図を示す意図識別子をロボット１２に出力する装置である。また、ロボット１２は、脳情報出力装置１１から意図識別子を受け取り、当該意図識別子に対応する動作を行う電子機器である。ロボット１２は、いわゆる人型の形状を有する電子機器でも良いが、他の形状を有する電子機器でも良い。ロボット１２は、例えば、四輪車、二輪車、航空機、電車などの移動体でも良い。
【００２６】
図２は、本実施の形態におけるロボットシステム１のブロック図である。脳情報出力装置１１は、第一学習データ取得部１０１、第一学習特徴量群取得部１０２、第一意図判別情報蓄積部１０３、第二学習データ取得部１０４、第二学習特徴量群取得部１０５、第二意図判別情報蓄積部１０６、第一意図判別情報格納部１１１、第二意図判別情報格納部１１２、第一脳活動データ取得部１１３、第二脳活動データ取得部１１４、第一確率算出部１１５、第二確率算出部１１６、意図決定部１１７、出力部１１８を具備する。
【００２７】
第一確率算出部１１５は、第一特徴量群取得手段１１５１、第一確率算出手段１１５２を具備する。
【００２８】
第二確率算出部１１６は、第二特徴量群取得手段１１６１、第二確率算出手段１１６２を具備する。
【００２９】
意図決定部１１７は、第三確率算出手段１１７１、意図識別子取得手段１１７２を具備する。
【００３０】
ロボット１２は、動作情報格納部１２１、意図識別子受付部１２２、実行部１２３を具備する。
【００３１】
第一学習データ取得部１０１は、一の意図の元にユーザが一連の行為を行った際に、当該ユーザの脳から一の学習データ（第一学習データ）を取得する。第一学習データ取得部１０１は、例えば、近赤外線光計測装置である。近赤外線光計測装置とは、近赤外光を用いて頭皮上から非侵襲的に脳機能マッピングする、「光機能画像法」の原理を応用した装置である。また、第一学習データ取得部１０１は、例えば、脳波計測装置である。脳波計測装置は、脳波を計測する装置である。脳波を計測する機能を有する装置として、例えば、ＢｉｏＳｅｍｉ社の装置（ＡｃｔｉｖｅＴｗｏシステム）等が存在する。また、第一学習データ取得部１０１は、例えば、機能的ＭＲＩ（fMRI: functional Magnetic Resonance Imaging）や、ＰＥＴ(Positron Emission Tomography)なども良い。
【００３２】
また、一の学習データとは、一連の行為を行った際に、観測される一連のデータである。一の学習データは、通常、時系列的なデータである。一の学習データは、例えば、１０秒間の、脳の複数地点の血流量を示す情報である。
【００３３】
第一学習特徴量群取得部１０２は、第一学習データから第一学習特徴量群を取得する。第一学習特徴量群は、１以上の特徴量の集合である。第一学習特徴量群取得部１０２は、例えば、第一学習データに対して信号処理し、特徴量を取得する。ここで、信号処理は、例えば、バイアス補正、ベースライン補正、トレンド除去、平均値計算、ハイパスフィルターによる処理、ローパスフィルターによる処理、FFTによる処理、PCAによる処理、ICAによる処理、Phase Locking 値の算出、移動平均の算出、センサー選択、時間選択、リファレンス補正、ダウンサンプリング、アップサンプリング、パワー計算、包絡線計算（ヒルベルト変換）、空間フィルターによる処理、逆問題フィルターによる処理、などである。そして、特徴量とは、例えば、上記の信号処理により、算出されるデータであり、例えば、平均値、分散、Phase Locking 値などである。なお、第一学習特徴量群を構成する特徴量は、第一学習データの特性を示すデータであれば、何でも良い。また、第一学習特徴量群取得部１０２が行う信号処理の数は、複数でも良い。また、上記の各種の信号処理の例は、公知技術であるので詳細な説明を省略する。第一学習特徴量群取得部１０２は、通常、ＭＰＵやメモリ等から実現され得る。第一学習特徴量群取得部１０２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００３４】
第一意図判別情報蓄積部１０３は、第一学習特徴量群取得部１０２が取得した第一学習特徴量群と、一の意図を識別する意図識別子とを対応付けて、第一意図判別情報格納部１１１に蓄積する。この意図識別子と第一学習特徴量群が意図判別情報である。意図識別子は、ユーザが入力しても良いし、第三者が入力しても良いし、脳情報出力装置１１が予め保持していても良い。意図識別子の入力方法は問わない。第一意図判別情報蓄積部１０３は、通常、ＭＰＵやメモリ等から実現され得る。第一意図判別情報蓄積部１０３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００３５】
第二学習データ取得部１０４は、一の意図の元にユーザが一連の行為を行った際に、当該ユーザの脳から一の学習データ（第二学習データ）を取得する。第二学習データ取得部１０４は、例えば、脳波計測装置である。また、第二学習データ取得部１０４は、例えば、近赤外線光計測装置である。また、第二学習データ取得部１０４は、例えば、機能的ＭＲＩ（fMRI: functional Magnetic Resonance Imaging）や、ＰＥＴ(Positron Emission Tomography)なども良い。
【００３６】
第二学習特徴量群取得部１０５は、第二学習データから第二学習特徴量群を取得する。第二学習特徴量群は、１以上の特徴量の集合である。第二学習特徴量群取得部１０５は、例えば、第二学習データに対して信号処理し、特徴量を取得する。ここで、信号処理は、例えば、バイアス補正、ベースライン補正、トレンド除去、平均値計算、ハイパスフィルターによる処理、ローパスフィルターによる処理、FFTによる処理、PCAによる処理、ICAによる処理、Phase Locking 値の算出、移動平均の算出、センサー選択、時間選択、リファレンス補正、ダウンサンプリング、アップサンプリング、パワー計算、包絡線計算（ヒルベルト変換）、空間フィルターによる処理、逆問題フィルターによる処理、などである。第二学習特徴量群取得部１０５は、通常、ＭＰＵやメモリ等から実現され得る。第二学習特徴量群取得部１０５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００３７】
第二意図判別情報蓄積部１０６は、第二学習特徴量群取得部１０５が取得した第二学習特徴量群と、一の意図を識別する意図識別子とを対応付けて、第二意図判別情報格納部１１２に蓄積する。この意図識別子と第二学習特徴量群が意図判別情報である。意図識別子は、ユーザが入力しても良いし、第三者が入力しても良いし、脳情報出力装置１１が予め保持していても良い。意図識別子の入力方法は問わない。第二意図判別情報蓄積部１０６は、通常、ＭＰＵやメモリ等から実現され得る。第二意図判別情報蓄積部１０６の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００３８】
第一意図判別情報格納部１１１は、２以上の第一意図判別情報を格納し得る。第一意図判別情報は、意図識別子と第一学習特徴量群とを対に有する情報である。意図識別子は、ユーザの意図を識別する情報である。意図とは、体の一部（例えば、右手、左手、舌、足など）を動かす行為や、特定のこと（例えば、右手を動かしていること、舌を出したこと、走っていることなど）を想像することなど、ユーザが考えて脳の活動に反映されることである。また、意図識別子は、例えば、ユーザが動かす体の部分であり、例えば、「右手」「左手」「舌」「足」の４つである。また、意図識別子は、例えば、「右手」「左手」の２つであっても良い。意図識別子の数は問わないが、意図識別子の数は少ない方が、通常、脳情報出力装置１１が出力する意図識別子がユーザの意図と合致している可能性は高い、と考えられる。第一学習特徴量群は、第一学習データから抽出された１以上の特徴量の情報である。第一学習データとは、意図識別子で識別される意図の元にユーザが一連の行為を行った際に、当該ユーザの脳から取得されたデータであり、第一脳活動データと同一種類のデータである。
【００３９】
第一意図判別情報格納部１１１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【００４０】
第一意図判別情報格納部１１１に第一意図判別情報が記憶される過程は問わない。例えば、記録媒体を介して第一意図判別情報が第一意図判別情報格納部１１１で記憶されるようになってもよく、通信回線等を介して送信された第一意図判別情報が第一意図判別情報格納部１１１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された第一意図判別情報が第一意図判別情報格納部１１１で記憶されるようになってもよい。
【００４１】
第二意図判別情報格納部１１２は、２以上の第二意図判別情報を格納し得る。第二意図判別情報は、意図識別子と第二学習特徴量群とを対に有する情報である。第二学習特徴量群は、第二学習データから抽出された１以上の特徴量の情報である。第二学習データとは、意図識別子で識別される意図の元にユーザが一連の行為を行った際に、当該ユーザの脳から取得されたデータであり、第二脳活動データと同一種類のデータである。また、第二学習データは、第一学習データとは異なる種類のデータである。
【００４２】
第二意図判別情報格納部１１２は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【００４３】
第二意図判別情報格納部１１２に第二意図判別情報が記憶される過程は問わない。例えば、記録媒体を介して第二意図判別情報が第二意図判別情報格納部１１２で記憶されるようになってもよく、通信回線等を介して送信された第二意図判別情報が第二意図判別情報格納部１１２で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された第二意図判別情報が第二意図判別情報格納部１１２で記憶されるようになってもよい。
【００４４】
第一脳活動データ取得部１１３は、第一脳活動データを、ユーザから取得する。第一脳活動データは、ユーザが一の意図を示した際に、当該ユーザから取得された脳活動の第一のデータである。第一脳活動データは、ＮＩＲＳ（近赤外分光分析）、ｆＭＲＩ（機能的ＭＲＩ）、ＭＥＧ（脳磁計）、ＥＥＧ（脳波計）により取得されるデータなどである。第一脳活動データは、脳活動を示すデータであれば何でもよい。なお、第一脳活動データは第一学習データと同じ種類のデータである。第一脳活動データ取得部１１３は、例えば、近赤外線光計測装置である。また、第一脳活動データ取得部１１３は、例えば、脳波計測装置である。また、第一脳活動データ取得部１１３は、例えば、機能的ＭＲＩ（fMRI: functional Magnetic Resonance Imaging）や、ＰＥＴ(Positron Emission Tomography)などでも良い。ただし、第一脳活動データと第二脳活動データは、異なる種類のデータである。
【００４５】
第二脳活動データ取得部１１４は、第二脳活動データを、ユーザから取得する。第二脳活動データは、ユーザが一の意図を示した際に、当該ユーザから取得された脳活動の第二のデータであり、第一脳活動データとは異なる種類のデータである。第二脳活動データは、第一脳活動データと同様、ＮＩＲＳ（近赤外分光分析）、ｆＭＲＩ（機能的ＭＲＩ）、ＭＥＧ（脳磁計）、ＥＥＧ（脳波計）により取得されるデータなどである。第二脳活動データは、脳活動を示すデータであれば何でもよい。なお、第二脳活動データは第二学習データと同じ種類のデータである。第二脳活動データ取得部１１４は、例えば、脳波計測装置である。第二脳活動データ取得部１１４は、脳波計測装置、機能的ＭＲＩ（fMRI: functional Magnetic Resonance Imaging）や、ＰＥＴ(Positron Emission Tomography)などでも良い。
【００４６】
第一確率算出部１１５は、第一脳活動データから、ユーザにより示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第一確率を、意図識別子ごとに算出する。第一確率算出部１１５は、第一確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出しても良い。意図識別子ごととは、通常、すべての意図識別子の確率を算出するが、すべての意図識別子の確率を算出しない場合もあり得る。第一確率算出部１１５は、第一脳活動データが得意とする意図に対応する意図識別子の確率のみを算出しても良い。つまり、第一確率算出部１１５は、例えば、第一脳活動データが得意とする意図識別子「右手」および「左手」のみの第一確率を算出しても良い。第一確率算出部１１５は、好ましくは、後述する第一特徴量群取得手段１１５１、第一確率算出手段１１５２により、第一確率を算出する。ただし、第一確率算出部１１５は、第一特徴量群取得手段１１５１、第一確率算出手段１１５２以外の手段により、第一確率を算出しても良い。第一確率算出部１１５は、通常、ＭＰＵやメモリ等から実現され得る。第一確率算出部１１５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００４７】
第一特徴量群取得手段１１５１は、第一脳活動データから、１以上の特徴量である第一入力特徴量群を取得する。第一特徴量群取得手段１１５１は、第一脳活動データを信号処理することにより、１以上の特徴量を取得する。第一特徴量群取得手段１１５１の処理は、例えば、バイアス補正、ベースライン補正、トレンド除去、平均値計算、ハイパスフィルターによる処理、ローパスフィルターによる処理、FFTによる処理、PCAによる処理、ICAによる処理、Phase Locking 値、移動平均の算出、センサー選択、時間選択、リファレンス補正、ダウンサンプリング、アップサンプリング、パワー計算、包絡線計算（ヒルベルト変換）、空間フィルターによる処理、逆問題フィルターによる処理などの信号処理である。また、特徴量とは、平均値、分散など、何でも良い。第一特徴量群取得手段１１５１は、通常、ＭＰＵやメモリ等から実現され得る。第一特徴量群取得手段１１５１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００４８】
第一確率算出手段１１５２は、第一意図判別情報格納部１１１の２以上の第一意図判別情報を用いて、第一特徴量群取得手段１１５１が取得した第一入力特徴量群が、２以上の第一意図判別情報に含まれる複数の意図識別子のうちの一の意図識別子に対応する第一確率を、２以上の意図識別子ごとに算出する。
【００４９】
意図識別子が２つ（２種類）の場合、例えば、第一確率算出手段１１５２は、以下のように意図識別子ごとの確率を算出する。つまり、第一確率算出手段１１５２は、第一学習特徴量群から、２つのクラス（クラス１［第一の意図識別子］、またはクラス２［第二の意図識別子］）に分けるための境界面の情報を得る。かかる概念を図１９に示す。
次に、第一確率算出手段１１５２は、境界面からの入力特徴量群の距離を算出する（図２０参照）。そして、第一確率算出手段１１５２は、当該距離をロジスティック関数（シグモイド関数）に入力し、０〜１の値（０以上１以下の値）に変換する。そして、第一確率算出手段１１５２は、当該変換した値（０〜１）を、第一の意図識別子の確率とする。そして、第一確率算出手段１１５２は、第二の意図識別子の確率を、「１−第一の意図識別子の確率」により算出する。
【００５０】
また、意図識別子が４つ（４種類）の場合、例えば、第一確率算出手段１１５２は、以下のように意図識別子ごとの確率を算出する。つまり、上記２つの意図識別子の場合の処理を拡張する。まず、第一の意図識別子と他の意図識別子との２つのクラスが存在すると考え、第一確率算出手段１１５２は、第一学習特徴量群から、２つのクラス（クラス１［第一の意図識別子］、またはクラス２［第二の意図識別子または第三の意図識別子または第四の意図識別子）に分けるための境界面の情報を得る。次に、第一確率算出手段１１５２は、境界面からの入力特徴量群の距離を算出する。そして、第一確率算出手段１１５２は、当該距離をロジスティック関数（シグモイド関数）に入力し、０〜１の値（０以上１以下の値）に変換する。そして、第一確率算出手段１１５２は、当該変換した値（０〜１）を、第一の意図識別子の確率とする。次に、確率算出手段１１８１は、第二の意図識別子または第三の意図識別子または第四の意図識別子に対応する第一学習特徴量群（ベクトル）との距離を、「１−第一の意図識別子の確率」により算出する。
【００５１】
そして、次に、第二の意図識別子と他の意図識別子との２つのクラスが存在すると考え、第一確率算出手段１１５２は、第一学習特徴量群から、２つのクラス（クラス１［第二の意図識別子］、またはクラス２［第一の意図識別子または第三の意図識別子または第四の意図識別子）に分けるための境界面の情報を得る。次に、第一確率算出手段１１５２は、境界面からの入力特徴量群の距離を算出する。そして、第一確率算出手段１１５２は、当該距離をロジスティック関数（シグモイド関数）に入力し、０〜１の値（０以上１以下の値）に変換する。そして、第一確率算出手段１１５２は、当該変換した値（０〜１）を、第二の意図識別子の確率とする。次に、第一確率算出手段１１５２は、第一の意図識別子または第三の意図識別子または第四の意図識別子に対応する第一学習特徴量群（ベクトル）との距離を、「１−第二の意図識別子の確率」により算出する。
【００５２】
そして、次に、第三の意図識別子と他の意図識別子との２つのクラスが存在すると考え、第一確率算出手段１１５２は、第一学習特徴量群から、２つのクラス（クラス１［第三の意図識別子］、またはクラス２［第一の意図識別子または第二の意図識別子または第四の意図識別子）に分けるための境界面の情報を得る。次に、第一確率算出手段１１５２は、境界面からの入力特徴量群の距離を算出する。そして、第一確率算出手段１１５２は、当該距離をロジスティック関数（シグモイド関数）に入力し、０〜１の値（０以上１以下の値）に変換する。そして、第一確率算出手段１１５２は、当該変換した値（０〜１）を、第三の意図識別子の確率とする。次に、第一確率算出手段１１５２は、第一の意図識別子または第二の意図識別子または第四の意図識別子に対応する第一学習特徴量群（ベクトル）との距離を、「１−第三の意図識別子の確率」により算出する。
【００５３】
そして、次に、第四の意図識別子と他の意図識別子との２つのクラスが存在すると考え、第一確率算出手段１１５２は、第一学習特徴量群から、２つのクラス（クラス１［第四の意図識別子］、またはクラス２［第一の意図識別子または第二の意図識別子または第三の意図識別子）に分けるための境界面の情報を得る。次に、第一確率算出手段１１５２は、境界面からの入力特徴量群の距離を算出する。そして、第一確率算出手段１１５２は、当該距離をロジスティック関数（シグモイド関数）に入力し、０〜１の値（０以上１以下の値）に変換する。そして、第一確率算出手段１１５２は、当該変換した値（０〜１）を、第四の意図識別子の確率とする。次に、第一確率算出手段１１５２は、第一の意図識別子または第二の意図識別子または第三の意図識別子に対応する第一学習特徴量群（ベクトル）との距離を、「１−第四の意図識別子の確率」により算出する。
【００５４】
そして、第一確率算出手段１１５２は、上記で取得した確率をマージすることにより、第一の意図識別子から第四の意図識別子の確率を取得する。ここで、マージとは、前記の第一の意図識別子の確率（Ｐ１）、前記の第一以外の意図識別子の確率（Ｐ２３４）、前記の第二の意図識別子の確率（Ｐ２）、前記の第二以外の意図識別子の確率（Ｐ１３４）、前記の第三の意図識別子の確率（Ｐ３）、前記の第三以外の意図識別子の確率（Ｐ１２４）、前記の第四の意図識別子の確率（Ｐ４）、前記の第四以外の意図識別子の確率（Ｐ１２３）の８つの確率から求める操作のことを言う。マージした第一の意図識別子の確率はＰ１×Ｐ１３４×Ｐ１２４×Ｐ１２３、マージした第二の意図識別子の確率はＰ２３４×Ｐ２×Ｐ１２４×Ｐ１２３、マージした第三の意図識別子の確率はＰ２３４×Ｐ１３４×Ｐ３×Ｐ１２３、マージした第四の意図識別子はＰ２３４×Ｐ１３４×Ｐ１２４×Ｐ４のように求めることが好適である。なお、確率を正規化する操作を加えても良い。また、ここで、正規化とは、マージした第一の意図識別子の確率から第四の意図識別子の確率までを足した値でそれぞれの確率を割ることで、全てを足した確率が１になるようにする操作である。
【００５５】
第一確率算出手段１１５２は、通常、ＭＰＵやメモリ等から実現され得る。第一確率算出手段１１５２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００５６】
第二確率算出部１１６は、第二脳活動データから、ユーザにより示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第二確率を、意図識別子ごとに算出する。
【００５７】
第二確率算出部１１６は、第二確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出する。第二確率算出部１１６は、第二確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出しても良い。意図識別子ごととは、通常、すべての意図識別子の確率を算出するが、すべての意図識別子の確率を算出しない場合もあり得る。第二確率算出部１１６は、第二脳活動データが得意とする意図に対応する意図識別子の確率のみを算出しても良い。つまり、第二確率算出部１１６は、例えば、第二脳活動データが得意とする意図識別子「舌」および「足」のみの第二確率を算出しても良い。第二確率算出部１１６の第二確率の算出方法は、第一確率算出部１１５の第一確率の算出方法と同様で良い。
【００５８】
第二確率算出部１１６は、通常、ＭＰＵやメモリ等から実現され得る。第二確率算出部１１６の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００５９】
第二特徴量群取得手段１１６１は、第二脳活動データから、１以上の特徴量である第二入力特徴量群を取得する。第二特徴量群取得手段１１６１は、第二脳活動データを信号処理することにより、１以上の特徴量を取得する。第二特徴量群取得手段１１６１が行う信号処理は、通常、第一特徴量群取得手段１１５１が行う信号処理と同様である。第二特徴量群取得手段１１６１は、通常、ＭＰＵやメモリ等から実現され得る。第二特徴量群取得手段１１６１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００６０】
第二確率算出手段１１６２は、第二意図判別情報格納部１１２の２以上の第二意図判別情報を用いて、第二特徴量群取得手段１１６１が取得した第二入力特徴量群が、２以上の意図判別情報に含まれる複数の意図識別子のうちの一の意図識別子に対応する第二確率を、２以上の意図識別子ごとに算出する。第二確率算出手段１１６２の第二確率の算出処理方法は、通常、第一確率算出手段１１５２の第一確率の算出処理方法と同様である。第二確率算出手段１１６２は、通常、ＭＰＵやメモリ等から実現され得る。第二確率算出手段１１６２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００６１】
意図決定部１１７は、第一確率算出部１１５が算出した意図識別子ごとの第一確率、および第二確率算出部１１６が算出した意図識別子ごとの第二確率とを用いて、意図識別子を取得する。意図決定部１１７は、第一確率および第二確率をどのように用いて、意図識別子を取得するかは問わない。意図決定部１１７は、第一確率がよい高い意図識別子、第二確率がよい高い意図識別子を取得する方向に判断することは言うまでもない。意図決定部１１７は、通常、ＭＰＵやメモリ等から実現され得る。意図決定部１１７の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００６２】
第三確率算出手段１１７１は、意図識別子ごとに、対応する第一確率、または対応する第二確率、または対応する第一確率と第二確率とを用いて、意図識別子ごとの最終的な確率を算出する。第三確率算出手段１１７１は、第一確率と第二確率とで、異なる重みを用いて、意図識別子ごとの最終的な確率を算出することは好適である。
【００６３】
第三確率算出手段１１７１は、例えば、以下の数式１に基づいて、意図識別子ごとの最終的な確率を算出する。つまり、第三確率算出手段１１７１は、第一確率算出手段１１５２が算出した意図識別子ごとの第一確率と、第二確率算出手段１１６２が算出した意図識別子ごとの第二確率とを、数式１に代入し、意図識別子ごとの最終的な確率を算出する。なお、第三確率算出手段１１７１は、数式１の情報を予め保持している。また、数式１は、第一確率と第二確率とを統合して、意図識別子ごとの最終的な確率を算出する数式である。
【数１】
【００６４】
数式１において、第一脳活動データは、近赤外線光計測装置により取得されたヘモグロビン量の時系列のデータである。また、第二脳活動データは、脳波計測装置により取得された脳波の時系列のデータである。
【００６５】
また、数式１において、意図識別子は、左手「Ｌｅｆｔ」、右手「Ｒｉｇｈｔ」、舌「Ｔｏｎｇｕｅ」、足「Ｆｏｏｔ」の4種類である。
【００６６】
また、数式１において、ＰＮＩＲＳＬｅｆｔ（数式１において上付きの文字列と下付きの文字列は上限に並んでいるが、上付きの文字列と下付きの文字が上下に整列しているものと、ずれているものとは同一のものである。）は、第一確率算出部１１５が算出した、意図識別子「Ｌｅｆｔ」である第一確率、ＰＮＩＲＳＲｉｇｈｔは第一確率算出部１１５が算出した意図識別子「Ｒｉｇｈｔ」である第一確率、ＰＮＩＲＳＴｏｎｇｕｅは第一確率算出部１１５が算出した意図識別子「Ｔｏｎｇｕｅ」である第一確率、ＰＮＩＲＳＦｏｏｔは第一確率算出部１１５が算出した意図識別子「Ｆｏｏｔ」である第一確率である。また、ＰＥＥＧＬｅｆｔは第二確率算出部１１６が算出した意図識別子「Ｌｅｆｔ」である第二確率、ＰＥＥＧＲｉｇｈｔは第二確率算出部１１６が算出した意図識別子「Ｒｉｇｈｔ」である第二確率、ＰＥＥＧＴｏｎｇｕｅは第二確率算出部１１６が算出した意図識別子「Ｔｏｎｇｕｅ」である第二確率、ＰＥＥＧＦｏｏｔは第二確率算出部１１６が算出した意図識別子「Ｆｏｏｔ」である第二確率である。また、Ｐｔｏｔａｌｔｅｘｔは最終的な確率である。Ｐｔｏｔａｌｔｅｘｔは、意図識別子ＴＥＸＴ（Ｌｅｆｔ、Ｒｉｇｈｔ、Ｔｏｎｇｕｅ、またはＦｏｏｔ）の最終的な確率である。
【００６７】
また、数式１において、ｗは重みを示す重みパラメータである。「ｗ＝１」の場合、第一確率も第二確率も同じ重みで扱うことを示す。「ｗ＝２」の場合、第一確率より第二確率の方に重きを置いて扱うことを示す。
【００６８】
また、数式１において、ｉは、「Ｌｅｆｔ、Ｒｉｇｈｔ、Ｔｏｎｇｕｅ、Ｆｏｏｔ」のいずれかをとり得る。さらに、ＰＮＩＲＳｉは、近赤外線光計測装置から得られる確率、ＰＥＥＧｉは、脳波から得られる確率である。
【００６９】
また、第三確率算出手段１１７１は、第一脳活動データ取得部１１３（第一脳活動データと言っても良い）が得意とする意図（例えば、左手「Ｌｅｆｔ」、右手「Ｒｉｇｈｔ」）のみを使い、かつ第二脳活動データ取得部１１４（第二脳活動データと言っても良い）が得意とする意図（例えば、左手「Ｔｏｎｇｕｅ」、右手「Ｆｏｏｔ」）のみを使って、意図識別子ごとの最終的な確率を取得しても良い。かかる場合、第三確率算出手段１１７１は、第一脳活動データ取得部１１３を識別する情報や第二脳活動データ取得部１１４を識別する情報と、得意とする意図を識別する意図識別子を対応付けて保持している。
【００７０】
第三確率算出手段１１７１は、通常、ＭＰＵやメモリ等から実現され得る。第三確率算出手段１１７１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００７１】
意図識別子取得手段１１７２は、意図識別子ごとの最終的な確率から、最も大きい確率に対応する意図識別子を取得する。意図識別子取得手段１１７２は、通常、一の意図識別子のみを取得する。意図識別子取得手段１１７２は、通常、ＭＰＵやメモリ等から実現され得る。意図識別子取得手段１１７２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００７２】
出力部１１８は、意図決定部１１７が取得した意図識別子を出力する。ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタへの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラム等への処理結果の引渡し等を含む概念である。なお、出力とは、ロボット１２への意図識別子の送付が好適である。出力部１１８は、例えば、ロボット１２へ意図識別子を送付する通信手段で実現され得る。
【００７３】
動作情報格納部１２１は、２以上の動作情報を格納し得る。動作情報とは、意図識別子と当該意図識別子に対応する動作を行わせる動作モジュールとの組である。動作モジュールとは、ハードウェアで実現されていても良いし、ソフトウェアで実現されていても良いし、ハードウェアとソフトウェアで実現されていても良い。動作情報格納部１２１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。動作情報格納部１２１に動作情報が記憶される過程は問わない。例えば、記録媒体を介して動作情報が動作情報格納部１２１で記憶されるようになってもよく、通信回線等を介して送信された動作情報が動作情報格納部１２１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された動作情報が動作情報格納部１２１で記憶されるようになってもよい。
【００７４】
意図識別子受付部１２２は、脳情報出力装置１１から出力された意図識別子を受け付ける。受け付けとは、通信手段を用いた受信や、ソフトウェアによる情報（意図識別子）の引き渡し等である。
【００７５】
実行部１２３は、意図識別子受付部１２２が受け付けた意図識別子に対応する動作モジュールを実行する。動作モジュールが実現する動作内容は何でも良い。実行部１２３は、通常、ＭＰＵやメモリ等から実現され得る。実行部１２３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００７６】
次に、ロボットシステム１の動作について説明する。まず、脳情報出力装置１１の動作について説明する。図３は、脳情報出力装置１１が学習データを取得する動作を説明するフローチャートである。学習データとは、ここでは、第一意図判別情報または第二意図判別情報である。なお、図３のフローチャートにおいて、学習データの種類は、３以上でも対応可能なフローを示している。
【００７７】
（ステップＳ３０１）脳情報出力装置１１の図示しない出力手段は、ユーザに対して、一の意図に対応する行為を行うように指示を出力する。出力手段が出力する指示の情報は、出力手段が予め保持している、とする。指示の情報とは、例えば、「右手を１０秒間、１０Ｈｚで、握ったり、開いたりしてください。」「１０秒間、舌を出し入れしてください。」「右手を握ったり、開いたりしていることを想像してください。」など、ユーザの脳活動に影響を与える動作をユーザにおこさせるための指示の情報である。
【００７８】
（ステップＳ３０２）例えば、第一意図判別情報蓄積部１０３等の意図判別情報蓄積部は、ステップＳ３０１で出力された指示に対応する意図識別子を取得する。意図判別情報蓄積部は、ステップＳ３０１で出力された指示に対応する意図識別子を、予め保持している、とする。
【００７９】
（ステップＳ３０３）第一学習データ取得部１０１、第二学習データ取得部１０４等の学習データ取得部は、それぞれに対応する学習データを取得する。ここで、２以上のすべての学習データが取得される。
【００８０】
（ステップＳ３０４）脳情報出力装置１１は、カウンタｉに１を設定する。
【００８１】
（ステップＳ３０５）脳情報出力装置１１は、ステップＳ３０３で取得された学習データのうち、ｉ番目の学習データが存在するか否かを判断する。ｉ番目の学習データが存在すればステップＳ３０６に行き、ｉ番目の学習データが存在しなければ処理を終了する。
【００８２】
（ステップＳ３０６）ｉ番目の学習データに対応する学習特徴量群取得部（例えば、第一学習特徴量群取得部１０２や、第二学習特徴量群取得部１０５など）は、ｉ番目の学習データから、ｉ番目の学習特徴量群を取得する。
【００８３】
（ステップＳ３０７）ｉ番目の学習データに対応する意図判別情報蓄積部（例えば、第一意図判別情報蓄積部１０３や、第二意図判別情報蓄積部１０６など）は、ｉ番目の学習特徴量群と、ステップＳ３０２で取得した意図識別子とを対応付けて、ｉ番目の意図判別情報を構成する。
【００８４】
（ステップＳ３０８）ｉ番目の学習データに対応する意図判別情報蓄積部は、ステップＳ３０７で構成されたｉ番目の意図判別情報を、対応する意図判別情報格納部（例えば、第一意図判別情報格納部１１１、第二意図判別情報格納部１１２など）に蓄積する。
【００８５】
（ステップＳ３０９）脳情報出力装置１１は、カウンタｉを１、インクリメントする。ステップＳ３０５に戻る。
【００８６】
次に、脳情報出力装置１１が、２以上の意図判別情報を用いて、意図識別子を取得する動作を、図４のフローチャートを用いて説明する。
【００８７】
（ステップＳ４０１）第一脳活動データ取得部１１３、または第二脳活動データ取得部１１４などの脳活動データ取得部は、脳活動データを取得したか否かを判断する。脳活動データを取得すればステップＳ４０２に行き、脳活動データを取得しなければステップＳ４０１に戻る。
【００８８】
（ステップＳ４０２）脳活動データ取得部は、ステップＳ４０１で取得した脳活動データを、少なくとも一時、記録媒体に蓄積する。
【００８９】
（ステップＳ４０３）脳情報出力装置１１は、すべての種類の脳活動データを取得できたか否かを判断する。すべての種類の脳活動データを取得できていればステップＳ４０４に行き、取得できていなければステップＳ４０１に戻る。なお、脳情報出力装置１１は、取得するべき、すべての種類の脳活動データを識別する情報（例えば、「ＮＩＲＳ」「ＥＥＧ」など）を保持している。
【００９０】
（ステップＳ４０４）脳情報出力装置１１は、カウンタｉに１を代入する。
【００９１】
（ステップＳ４０５）第一確率算出部１１５、第二確率算出部１１６などの確率算出部は、ステップＳ４０２で蓄積された脳活動データのうち、ｉ番目の種類の脳活動データが存在するか否かを判断する。ｉ番目の種類の脳活動データが存在すればステップＳ４０６に行き、ｉ番目の種類の脳活動データが存在しなければステップＳ４０９に行く。
【００９２】
（ステップＳ４０６）第一特徴量群取得手段１１５１、または第二特徴量群取得手段１１６１などの特徴量群取得手段は、ｉ番目の種類の脳活動データから、ｉ番目の特徴量群を取得する。
【００９３】
（ステップＳ４０７）第一確率算出手段１１５２、第二確率算出手段１１６２などの確率算出手段は、ｉ番目の意図判別情報（対応する意図判別情報格納部に存在する）を用いて、意図識別子ごとのｉ番目の確率を算出する。
【００９４】
（ステップＳ４０８）脳情報出力装置１１は、カウンタｉを１、インクリメントする。ステップＳ４０５に戻る。
【００９５】
（ステップＳ４０９）第三確率算出手段１１７１は、意図識別子ごとに、第一確率から第（ｉ−１）確率を用いて、最終的な確率を算出する。かかる算出式は、例えば、数式１である。
【００９６】
（ステップＳ４１０）意図識別子取得手段１１７２は、ステップＳ４０９で算出した意図識別子ごとの最終的な確率から、最も大きい確率に対応する意図識別子を取得する。
【００９７】
（ステップＳ４１１）出力部１１８は、ステップＳ４１０で取得された意図識別子を出力する。処理を終了する。
【００９８】
次に、ロボット１２の動作について、図５のフローチャートを用いて説明する。
【００９９】
（ステップＳ５０１）意図識別子受付部１２２は、脳情報出力装置１１から出力された意図識別子を受け付けたか否かを判断する。意図識別子を受け付ければステップＳ５０２に行き、意図識別子を受け付けなければステップＳ５０１に戻る。
【０１００】
（ステップＳ５０２）実行部１２３は、ステップＳ５０１で受け付けられた意図識別子に対応する動作モジュールを、動作情報格納部１２１から読み出す。
【０１０１】
（ステップＳ５０３）実行部１２３は、ステップＳ５０２で読み出した動作モジュールを実行する。ステップＳ５０１に戻る。
【０１０２】
以上の処理により、ユーザが意図した行為（思考を含む）に対応する動作が、ロボット１２により行われる。
【０１０３】
なお、図５のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【０１０４】
以下、本実施の形態における脳情報出力装置１１の概念を説明する。脳情報出力装置１１の概念図は図６である。
【０１０５】
脳情報出力装置１１において、複数の脳活動計測装置（Ｓ１１−１、Ｓ１１−２）を使って、ユーザ（Ｓ１２）の脳活動をリアルタイムに測定し、脳活動データ（Ｓ１３−１、Ｓ１３−２）を得る。そして、脳情報出力装置１１において、かかる脳活動データ（Ｓ１３−１、Ｓ１３−２）を意図判別アルゴリズム（Ｓ１４−１、Ｓ１４−２）に入れて、脳活動計測装置Ｓ１１−１、Ｓ１１−２から推定されるユーザの意図（Ｓ１５−１、Ｓ１５−２）とそれぞれの確信度合を示す確率（Ｓ１６−１、Ｓ１６−２）を計算する。その確率Ｓ１６−１とＳ１６−２を統計学で言うベイズの定理に基づいて、意図統合装置（Ｓ１７）により結合し、ユーザの統合意図（Ｓ１８）とその確率（Ｓ１９）を得ることで、複数の脳活動計測装置を使った脳・機械インタフェースの判別性能向上が図られる。
【０１０６】
なお、図６において、脳活動計測装置（Ｓ１１−１、Ｓ１１−２）は、例えば、第一脳活動データ取得部１１３、第二脳活動データ取得部１１４に該当する。そして、脳活動データ（Ｓ１３−１、Ｓ１３−２）は、例えば、第一脳活動データ、第二脳活動データに該当する。また、意図判別アルゴリズム（Ｓ１４−１、Ｓ１４−２）は、例えば、第一確率算出部１１５、第二確率算出部１１６に該当する。また、意図（Ｓ１５−１、Ｓ１５−２）は、意図識別子に該当する。また、確率Ｓ１６−１とＳ１６−２は、第一確率、第二確率に該当する。また、意図統合装置（Ｓ１７）は、意図決定部１１７に該当する。さらに、統合意図（Ｓ１８）は、意図決定部１１７が取得した意図識別子、その確率（Ｓ１９）は、最終的な確率に該当する。
【０１０７】
以下、本実施の形態におけるロボットシステム１の具体的な動作について説明する。ロボットシステム１の概念図は図１である。この具体的な動作は、一の実験に基づいている。
【０１０８】
今、脳情報出力装置１１は、いわゆる脳・機械インタフェース（左手・右手の実運動）として機能する電子機器である。そして、脳情報出力装置１１から出力される意図識別子は、ロボット１２に送付され、ロボット１２は意図識別子に対応した動作を行う、とする。
【０１０９】
また、第一学習データ取得部１０１、および第一脳活動データ取得部１１３は、近赤外線光計測装置である。そして、第一学習データおよび第一脳活動データは、ＮＩＲＳデータである。ＮＩＲＳデータとは、頭部のヘモグロビン量を示すヘモグロビン情報の集合である。
【０１１０】
また、第二学習データ取得部１０４、および第二脳活動データ取得部１１４は、脳波計測装置である。
【０１１１】
そして、図７は、ユーザが頭部にかぶる測定器具である。図７において、第一脳活動データ取得部１１３と、第二脳活動データ取得部１１４のハードウェア構成が示されている。また、第一学習データ取得部１０１、および第二学習データ取得部１０４のハードウェア構も、図７の測定器具である。なお、第一脳活動データ取得部１１３は、例えば、７８０ｎｍ、８０５ｎｍ、８３０ｎｍの近赤外光を発光させて頭部に当てた場合の電圧と、発光しない場合の電圧を取得し、当該取得した電圧を、予め決められた式（ヘモグロビン量を算出する式）に代入し、ヘモグロビン量であるヘモグロビン情報を取得する。また、第一脳活動データ取得部１１３は、例えば、４８チャネル（図７において、４８の測定点が存在する）から、ヘモグロビン情報を取得する。なお、第一脳活動データ取得部１１３は、予め決められた式の情報を保持している。そして、例えば、図７に示す測定器具により、２種類の異なる脳活動データが取得される。
【０１１２】
今、第一意図判別情報格納部１１１に、図８に示す第一意図判別情報が格納されている。この第一意図判別情報は、近赤外線光計測装置である第一学習データ取得部１０１により取得された第一学習データから、第一学習特徴量群取得部１０２が第一学習特徴量群を取得し、当該第一学習特徴量群と意図識別子を有する第一意図判別情報を、第一意図判別情報蓄積部１０３が蓄積したデータである。図８において、意図識別子ごとに、２つの特徴量（第一特徴量、第二特徴量）が格納されている。なお、図８では、第一学習特徴量群を構成する特徴量は２つであったが、３以上であったも良いことは言うまでもない。また、第一特徴量、および第二特徴量は、具体的には、例えば、上述した平均値、分散、Phase Locking 値などである。
【０１１３】
また、第二意図判別情報格納部１１２に、図９に示す第二意図判別情報が格納されている。この第二意図判別情報は、脳波計測装置である第二学習データ取得部１０４により取得された第二学習データから、第二学習特徴量群取得部１０５が第二学習特徴量群を取得し、当該第二学習特徴量群と意図識別子を有する第二意図判別情報を、第二意図判別情報蓄積部１０６が蓄積したデータである。図９において、意図識別子ごとに、２つの特徴量（第一特徴量、第二特徴量）が格納されている。なお、図９では、第二学習特徴量群を構成する特徴量は２つであったが、３以上であったも良いことは言うまでもない。また、第一特徴量、および第二特徴量は、具体的には、例えば、上述した平均値、分散、Phase Locking 値などである。
【０１１４】
かかる状況において、ユーザは、例えば、「右手」を動かしている動作を想像する、とする。かかる場合、意図は「右手を動かすように想像すること」であり、意図識別子は「右手」である。
【０１１５】
そして、第一脳活動データ取得部１１３は、図１０に示す第一脳活動データ（ＮＩＲＳデータ）を取得した、とする。図１０は、時間（ｔ）の経過ごとの、取得されたヘモグロビン量を示す。ヘモグロビン情報は、ここでは、例えば、８ｍｓｅｃごとに取得される、とする。
【０１１６】
また、第二脳活動データ取得部１１４は、図１１に示す第二脳活動データ（脳波データ）を取得した、とする。図１１は、時間（ｔ）の経過ごとの、取得された脳波情報を示す。図１１において、脳波情報は２ｍｓｅｃごとに取得される、とする。なお、図１０、図１１の情報を、グラフにした図が図１２である。
【０１１７】
次に、第一特徴量群取得手段１１５１は、図１０に示す第一脳活動データから、図１３に示す第一特徴量群を取得する。
【０１１８】
そして、次に、第一確率算出手段１１５２は、図８の意図判別情報を用いて、意図識別子ごとの第一確率を算出する。かかる第一確率の例を図１４に示す。
【０１１９】
次に、第二特徴量群取得手段１１６１は、図１１に示す第二脳活動データから、図１５に示す第二特徴量群を取得する。
【０１２０】
そして、次に、第二確率算出手段１１６２は、図９の意図判別情報を用いて、意図識別子ごとの第二確率を算出する。かかる第二確率の例を図１６に示す。
【０１２１】
次に、第三確率算出手段１１７１は、図１４の第一確率、図１６の第二確率、および「ｗ＝１」を、数式１に代入し、意図識別子ごとに、最終的な確率（例えば、ＰｔｏｔａｌＲｉｇｈｔ＝０．８１、ＰｔｏｔａｌＬｅｆｔ＝０．０５、ＰｔｏｔａｌＴｏｎｇｕｅ＝０．１１、ＰｔｏｔａｌＦｏｏｔ＝０．０３）を算出する。
【０１２２】
次に、意図識別子取得手段１１７２は、算出した意図識別子ごとの最終的な確率から、最も大きい確率（例えば、ＰｔｏｔａｌＲｉｇｈｔ「「０．８１」）に対応する意図識別子「右手」を取得する。
【０１２３】
そして、出力部１１８は、取得された意図識別子「右手」を、ロボット１２に送付する。
【０１２４】
次に、ロボット１２の意図識別子受付部１２２は、脳情報出力装置１１から出力された意図識別子「右手」を受け付ける。
【０１２５】
そして、実行部１２３は、受け付けられた意図識別子「右手」に対応する動作モジュール（例えば、ロボット１２の右手を動かすモジュール）を、動作情報格納部１２１から読み出す。
【０１２６】
次に、実行部１２３は、読み出した動作モジュールを実行する。そして、ユーザが想像したように、ロボット１２の右手が動くこととなる。
【０１２７】
なお、上記に実験により測定された、脳情報出力装置１１の効果について説明する。上述したように、ユーザは、左手・右手・舌・足のうちの一つを任意にイメージし、脳情報出力装置１１は、その脳活動からユーザが何をイメージしたかを、意図判別アルゴリズムを用いて推定する。
【０１２８】
脳波計測装置だけを使った場合の判別率は６３．１±５．４％（判別できた割合が６３．１％、標準偏差が５．４％）、近赤外線光計測装置だけを使った場合の判別率は４７．６±７．０％であった。一方、脳情報出力装置１１により、脳波計測装置と近赤外線光計測装置の両方を用いて、脳波とＮＩＲＳデータを統合した場合の判別率（ｗ＝１とした）は６８．１±３．７％となり、性能の向上と、その性能のばらつきである標準偏差の低下が観察された。そして、脳情報出力装置１１は、より安定した脳・機械インタフェースであることが証明された。
【０１２９】
以上、本実施の形態によれば、２以上の種類の脳活動データを用いて、精度高く、意図を検出できる。
【０１３０】
なお、本実施の形態によれば、主として、２つの脳活動データを用いて、意図を検出する方法について説明した。しかし、３以上の脳活動データを用いて、意図を検出しても良い。３以上の脳活動データとは、ＮＩＲＳ（近赤外分光分析）、ｆＭＲＩ（機能的ＭＲＩ）、ＭＥＧ（脳磁計）、ＥＥＧ（脳波計）、ＰＥＴにより取得されるデータのうちの３以上の種類のデータである。
【０１３１】
また、本実施の形態において、脳情報出力装置１１は、第一学習データ取得部１０１、第一学習特徴量群取得部１０２、第一意図判別情報蓄積部１０３、第二学習データ取得部１０４、第二学習特徴量群取得部１０５、第二意図判別情報蓄積部１０６を有しなくても良い。かかる場合、脳情報出力装置１１は、第一意図判別情報格納部１１１、第二意図判別情報格納部１１２、第一脳活動データ取得部１１３、第二脳活動データ取得部１１４、第一確率算出部１１５、第二確率算出部１１６、意図決定部１１７、出力部１１８を具備する。そして、第一意図判別情報および第二意図判別情報を取得する処理は、他の装置（例えば、学習装置という。）によりなされる。学習装置は、第一学習データ取得部１０１、第一学習特徴量群取得部１０２、第一意図判別情報蓄積部１０３、第二学習データ取得部１０４、第二学習特徴量群取得部１０５、第二意図判別情報蓄積部１０６を具備する。
【０１３２】
さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、ユーザが一の意図を示した際の当該ユーザの脳活動の第一のデータである第一脳活動データを、前記ユーザから取得する第一脳活動データ取得部と、前記ユーザが前記一の意図を示した際の当該ユーザの脳活動の第二のデータであり、前記第一脳活動データとは異なる種類のデータである第二脳活動データを、前記ユーザから取得する第二脳活動データ取得部と、前記第一脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第一確率を、意図識別子ごとに算出する第一確率算出部と、前記第二脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第二確率を、意図識別子ごとに算出する第二確率算出部と、前記第一確率算出部が算出した意図識別子ごとの第一確率、および前記第二確率算出部が算出した意図識別子ごとの第二確率とを用いて、意図識別子を取得する意図決定部と、前記意図決定部が取得した意図識別子を出力する出力部として機能させるためのプログラム、である。
【０１３３】
また、記憶媒体に、ユーザの意図を識別する情報である意図識別子と、当該意図識別子で識別される意図の元にユーザが一連の行為を行った際に当該ユーザの脳から取得されたデータであり、前記第一脳活動データと同一種類のデータである第一学習データから抽出された１以上の特徴量である第一学習特徴量群とを対に有する第一意図判別情報を、２以上格納しており、記憶媒体に、ユーザの意図を識別する情報である意図識別子と、当該意図識別子で識別される意図の元にユーザが一連の行為を行った際に当該ユーザの脳から取得されたデータであり、前記第二脳活動データと同一種類のデータである第二学習データから抽出された１以上の特徴量である第二学習特徴量群とを対に有する第二意図判別情報を、２以上格納しており、上記プログラムにおいて、前記第一確率算出部は、前記第一脳活動データから、１以上の特徴量である第一入力特徴量群を取得する第一特徴量群取得手段と、前記第一意図判別情報格納部の２以上の第一意図判別情報を用いて、前記第一特徴量群取得手段が取得した第一入力特徴量群が、前記２以上の第一意図判別情報に含まれる複数の意図識別子のうちの一の意図識別子に対応する第一確率を、前記２以上の意図識別子ごとに算出する第一確率算出手段とを具備し、前記第二確率算出部は、前記第二脳活動データから、１以上の特徴量である第二入力特徴量群を取得する第二特徴量群取得手段と、前記第二意図判別情報格納部の２以上の第二意図判別情報を用いて、前記第二特徴量群取得手段が取得した第二入力特徴量群が、前記２以上の意図判別情報に含まれる複数の意図識別子のうちの一の意図識別子に対応する第二確率を、前記２以上の意図識別子ごとに算出する第二確率算出手段とを具備するものとして、コンピュータを機能させるためのプログラムであることは好適である。
【０１３４】
また、上記プログラムにおいて、前記意図決定部は、前記意図識別子ごとに、対応する第一確率、または対応する第二確率、または対応する第一確率と第二確率とを用いて、前記意図識別子ごとの最終的な確率を算出する第三確率算出手段と、前記意図識別子ごとの最終的な確率から、最も大きい確率に対応する意図識別子を取得する意図識別子取得手段とを具備するものとして、コンピュータを機能させるためのプログラムであることは好適である。
【０１３５】
また、上記プログラムにおいて、前記第三確率算出手段は、前記第一確率と前記第二確率とで、異なる重み（例えば、上述した数式１のｗ）を用いて、前記意図識別子ごとの最終的な確率を算出することは好適である。
【０１３６】
また、上記プログラムにおいて、前記第一確率算出部は、前記第一確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出し、前記第二確率算出部は、前記第二確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出することは好適である。かかることにより、各計測装置が得意とする意図のみを使うことになり、意図の出力の精度が高まる。
【０１３７】
また、図１７は、本明細書で述べたプログラムを実行して、上述した実施の形態の脳情報出力装置等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図１７は、このコンピュータシステム３４０の概観図であり、図１８は、コンピュータシステム３４０のブロック図である。
【０１３８】
図１７において、コンピュータシステム３４０は、ＦＤドライブ、ＣＤ−ＲＯＭドライブを含むコンピュータ３４１と、キーボード３４２と、マウス３４３と、モニタ３４４とを含む。
【０１３９】
図１８において、コンピュータ３４１は、ＦＤドライブ３４１１、ＣＤ−ＲＯＭドライブ３４１２に加えて、ＭＰＵ３４１３と、ＣＤ−ＲＯＭドライブ３４１２及びＦＤドライブ３４１１に接続されたバス３４１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ３４１５とに接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ３４１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３４１７とを含む。ここでは、図示しないが、コンピュータ３４１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。
【０１４０】
コンピュータシステム３４０に、上述した実施の形態の脳情報出力装置等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３５０１、またはＦＤ３５０２に記憶されて、ＣＤ−ＲＯＭドライブ３４１２またはＦＤドライブ３４１１に挿入され、さらにハードディスク３４１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３４１に送信され、ハードディスク３４１７に記憶されても良い。プログラムは実行の際にＲＡＭ３４１６にロードされる。プログラムは、ＣＤ−ＲＯＭ３５０１、ＦＤ３５０２またはネットワークから直接、ロードされても良い。
【０１４１】
プログラムは、コンピュータ３４１に、上述した実施の形態の脳情報出力装置等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３４０がどのように動作するかは周知であり、詳細な説明は省略する。
【０１４２】
なお、上記プログラムにおいて、ハードウェアによって行われる処理は含まれない。
【０１４３】
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【０１４４】
また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【０１４５】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【０１４６】
以上のように、本発明にかかる脳情報出力装置は、ユーザの意図を精度高く取得できる、という効果を有し、脳・機械インタフェース等として有用である。
【符号の説明】
【０１４７】
１ ロボットシステム
１１ 脳情報出力装置
１２ ロボット
１０１ 第一学習データ取得部
１０２ 第一学習特徴量群取得部
１０３ 第一意図判別情報蓄積部
１０４ 第二学習データ取得部
１０５ 第二学習特徴量群取得部
１０６ 第二意図判別情報蓄積部
１１１ 第一意図判別情報格納部
１１２ 第二意図判別情報格納部
１１３ 第一脳活動データ取得部
１１４ 第二脳活動データ取得部
１１５ 第一確率算出部
１１６ 第二確率算出部
１１７ 意図決定部
１１８ 出力部
１２１ 動作情報格納部
１２２ 意図識別子受付部
１２３ 実行部
１１５１ 第一特徴量群取得手段
１１５２ 第一確率算出手段
１１６１ 第二特徴量群取得手段
１１６２ 第二確率算出手段
１１７１ 第三確率算出手段
１１７２ 意図識別子取得手段
１１８１ 確率算出手段
【特許請求の範囲】
【請求項１】
ユーザが一の意図を示した際の当該ユーザの脳活動の第一のデータである第一脳活動データを、前記ユーザから取得する第一脳活動データ取得部と、
前記ユーザが前記一の意図を示した際の当該ユーザの脳活動の第二のデータであり、前記第一脳活動データとは異なる種類のデータである第二脳活動データを、前記ユーザから取得する第二脳活動データ取得部と、
前記第一脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第一確率を、意図識別子ごとに算出する第一確率算出部と、
前記第二脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第二確率を、意図識別子ごとに算出する第二確率算出部と、
前記第一確率算出部が算出した意図識別子ごとの第一確率、および前記第二確率算出部が算出した意図識別子ごとの第二確率とを用いて、意図識別子を取得する意図決定部と、
前記意図決定部が取得した意図識別子を出力する出力部とを具備する脳情報出力装置。
【請求項２】
ユーザの意図を識別する情報である意図識別子と、当該意図識別子で識別される意図の元にユーザが一連の行為を行った際に当該ユーザの脳から取得されたデータであり、前記第一脳活動データと同一種類のデータである第一学習データから抽出された１以上の特徴量である第一学習特徴量群とを対に有する第一意図判別情報を、２以上格納し得る第一意図判別情報格納部と、
ユーザの意図を識別する情報である意図識別子と、当該意図識別子で識別される意図の元にユーザが一連の行為を行った際に当該ユーザの脳から取得されたデータであり、前記第二脳活動データと同一種類のデータである第二学習データから抽出された１以上の特徴量である第二学習特徴量群とを対に有する第二意図判別情報を、２以上格納し得る第二意図判別情報格納部とをさらに具備し、
前記第一確率算出部は、
前記第一脳活動データから、１以上の特徴量である第一入力特徴量群を取得する第一特徴量群取得手段と、
前記第一意図判別情報格納部の２以上の第一意図判別情報を用いて、前記第一特徴量群取得手段が取得した第一入力特徴量群が、前記２以上の第一意図判別情報に含まれる複数の意図識別子のうちの一の意図識別子に対応する第一確率を、前記２以上の意図識別子ごとに算出する第一確率算出手段とを具備し、
前記第二確率算出部は、
前記第二脳活動データから、１以上の特徴量である第二入力特徴量群を取得する第二特徴量群取得手段と、
前記第二意図判別情報格納部の２以上の第二意図判別情報を用いて、前記第二特徴量群取得手段が取得した第二入力特徴量群が、前記２以上の意図判別情報に含まれる複数の意図識別子のうちの一の意図識別子に対応する第二確率を、前記２以上の意図識別子ごとに算出する第二確率算出手段とを具備する請求項１記載の脳情報出力装置。
【請求項３】
前記意図決定部は、
前記意図識別子ごとに、対応する第一確率、または対応する第二確率、または対応する第一確率と第二確率とを用いて、前記意図識別子ごとの最終的な確率を算出する第三確率算出手段と、
前記意図識別子ごとの最終的な確率から、最も大きい確率に対応する意図識別子を取得する意図識別子取得手段とを具備する請求項１または請求項２記載の脳情報出力装置。
【請求項４】
前記第三確率算出手段は、
前記第一確率と前記第二確率とで、異なる重みを用いて、前記意図識別子ごとの最終的な確率を算出する請求項３記載の脳情報出力装置。
【請求項５】
前記第一確率算出部は、
前記第一確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出し、
前記第二確率算出部は、
前記第二確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出する請求項１記載の脳情報出力装置。
【請求項６】
前記第一脳活動データ取得部は、近赤外線光計測装置であり、
前記第二脳活動データ取得部は、脳波計測装置である請求項１から請求項５いずれか記載の脳情報出力装置。
【請求項７】
意図識別子と当該意図識別子に対応する動作を行わせる動作モジュールとの組である動作情報を２以上格納し得る動作情報格納部と、
請求項１から請求項６いずれか記載の脳情報出力装置から出力された意図識別子を受け付ける意図識別子受付部と、
前記意図識別子受付部が受け付けた意図識別子に対応する動作モジュールを実行する実行部とを具備するロボット。
【請求項８】
ユーザが一の意図を示した際の当該ユーザの脳活動の第一のデータである第一脳活動データを、前記ユーザから取得する第一脳活動データ取得ステップと、
前記ユーザが前記一の意図を示した際の当該ユーザの脳活動の第二のデータであり、前記第一脳活動データとは異なる種類のデータである第二脳活動データを、前記ユーザから取得する第二脳活動データ取得ステップと、
前記第一脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第一確率を、意図識別子ごとに算出する第一確率算出ステップと、
前記第二脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第二確率を、意図識別子ごとに算出する第二確率算出ステップと、
前記第一確率算出ステップで算出された意図識別子ごとの第一確率、および前記第二確率算出ステップで算出された意図識別子ごとの第二確率とを用いて、意図識別子を取得する意図決定ステップと、
前記意図決定ステップで取得された意図識別子を出力する出力ステップとを具備する脳情報出力方法。
【請求項１】
ユーザが一の意図を示した際の当該ユーザの脳活動の第一のデータである第一脳活動データを、前記ユーザから取得する第一脳活動データ取得部と、
前記ユーザが前記一の意図を示した際の当該ユーザの脳活動の第二のデータであり、前記第一脳活動データとは異なる種類のデータである第二脳活動データを、前記ユーザから取得する第二脳活動データ取得部と、
前記第一脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第一確率を、意図識別子ごとに算出する第一確率算出部と、
前記第二脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第二確率を、意図識別子ごとに算出する第二確率算出部と、
前記第一確率算出部が算出した意図識別子ごとの第一確率、および前記第二確率算出部が算出した意図識別子ごとの第二確率とを用いて、意図識別子を取得する意図決定部と、
前記意図決定部が取得した意図識別子を出力する出力部とを具備する脳情報出力装置。
【請求項２】
ユーザの意図を識別する情報である意図識別子と、当該意図識別子で識別される意図の元にユーザが一連の行為を行った際に当該ユーザの脳から取得されたデータであり、前記第一脳活動データと同一種類のデータである第一学習データから抽出された１以上の特徴量である第一学習特徴量群とを対に有する第一意図判別情報を、２以上格納し得る第一意図判別情報格納部と、
ユーザの意図を識別する情報である意図識別子と、当該意図識別子で識別される意図の元にユーザが一連の行為を行った際に当該ユーザの脳から取得されたデータであり、前記第二脳活動データと同一種類のデータである第二学習データから抽出された１以上の特徴量である第二学習特徴量群とを対に有する第二意図判別情報を、２以上格納し得る第二意図判別情報格納部とをさらに具備し、
前記第一確率算出部は、
前記第一脳活動データから、１以上の特徴量である第一入力特徴量群を取得する第一特徴量群取得手段と、
前記第一意図判別情報格納部の２以上の第一意図判別情報を用いて、前記第一特徴量群取得手段が取得した第一入力特徴量群が、前記２以上の第一意図判別情報に含まれる複数の意図識別子のうちの一の意図識別子に対応する第一確率を、前記２以上の意図識別子ごとに算出する第一確率算出手段とを具備し、
前記第二確率算出部は、
前記第二脳活動データから、１以上の特徴量である第二入力特徴量群を取得する第二特徴量群取得手段と、
前記第二意図判別情報格納部の２以上の第二意図判別情報を用いて、前記第二特徴量群取得手段が取得した第二入力特徴量群が、前記２以上の意図判別情報に含まれる複数の意図識別子のうちの一の意図識別子に対応する第二確率を、前記２以上の意図識別子ごとに算出する第二確率算出手段とを具備する請求項１記載の脳情報出力装置。
【請求項３】
前記意図決定部は、
前記意図識別子ごとに、対応する第一確率、または対応する第二確率、または対応する第一確率と第二確率とを用いて、前記意図識別子ごとの最終的な確率を算出する第三確率算出手段と、
前記意図識別子ごとの最終的な確率から、最も大きい確率に対応する意図識別子を取得する意図識別子取得手段とを具備する請求項１または請求項２記載の脳情報出力装置。
【請求項４】
前記第三確率算出手段は、
前記第一確率と前記第二確率とで、異なる重みを用いて、前記意図識別子ごとの最終的な確率を算出する請求項３記載の脳情報出力装置。
【請求項５】
前記第一確率算出部は、
前記第一確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出し、
前記第二確率算出部は、
前記第二確率を、予め決められた一部の意図識別子のみに対して、意図識別子ごとに算出する請求項１記載の脳情報出力装置。
【請求項６】
前記第一脳活動データ取得部は、近赤外線光計測装置であり、
前記第二脳活動データ取得部は、脳波計測装置である請求項１から請求項５いずれか記載の脳情報出力装置。
【請求項７】
意図識別子と当該意図識別子に対応する動作を行わせる動作モジュールとの組である動作情報を２以上格納し得る動作情報格納部と、
請求項１から請求項６いずれか記載の脳情報出力装置から出力された意図識別子を受け付ける意図識別子受付部と、
前記意図識別子受付部が受け付けた意図識別子に対応する動作モジュールを実行する実行部とを具備するロボット。
【請求項８】
ユーザが一の意図を示した際の当該ユーザの脳活動の第一のデータである第一脳活動データを、前記ユーザから取得する第一脳活動データ取得ステップと、
前記ユーザが前記一の意図を示した際の当該ユーザの脳活動の第二のデータであり、前記第一脳活動データとは異なる種類のデータである第二脳活動データを、前記ユーザから取得する第二脳活動データ取得ステップと、
前記第一脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第一確率を、意図識別子ごとに算出する第一確率算出ステップと、
前記第二脳活動データから、前記示された一の意図が、複数の意図識別子のうちの一の意図識別子に対応する意図である第二確率を、意図識別子ごとに算出する第二確率算出ステップと、
前記第一確率算出ステップで算出された意図識別子ごとの第一確率、および前記第二確率算出ステップで算出された意図識別子ごとの第二確率とを用いて、意図識別子を取得する意図決定ステップと、
前記意図決定ステップで取得された意図識別子を出力する出力ステップとを具備する脳情報出力方法。
【図２】
【図３】
【図４】
【図５】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図１】
【図６】
【図７】
【図３】
【図４】
【図５】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図１】
【図６】
【図７】
【公開番号】特開２０１０−１９８２３２（Ｐ２０１０−１９８２３２Ａ）
【公開日】平成２２年９月９日（２０１０．９．９）
【国際特許分類】
【出願番号】特願２００９−４１３３６（Ｐ２００９−４１３３６）
【出願日】平成２１年２月２４日（２００９．２．２４）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【公開日】平成２２年９月９日（２０１０．９．９）
【国際特許分類】
【出願日】平成２１年２月２４日（２００９．２．２４）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
[ Back to top ]