機器制御装置、機器システム、機器制御方法、機器制御プログラム、および記録媒体
【課題】脳信号による機器制御において、長時間の訓練を不要とし、脳情報量が限られていても機器の自然な動きを実現する。
【解決手段】機器制御装置（２０）は、使用者が施行した運動と脳信号の情報との対を用いた学習に基づき、使用者が第１〜第ｎの身体状態を目標とする運動の何れを施行または想起しているかを脳信号の情報から推定する第一デコーダ５と、脳信号の情報と運動推定の正解率との対を用いた学習に基づき、運動推定の正解率を脳信号の情報から推定する第二デコーダ６と、電動義手６０の状態を第１〜第ｎの身体状態に対応する第１〜第ｎの身体状態の間で中間状態を経て変化するよう多段階制御する電動義手制御部８とを備え、第一デコーダ５、推定正解率が閾値を超えている時のみ推定を行い、電動義手制御部８は、現在と別の状態に対応する身体状態への運動が第一デコーダ５で推定されたときに、電動義手６０の状態を上記別の状態へ１段階近づける。
【解決手段】機器制御装置（２０）は、使用者が施行した運動と脳信号の情報との対を用いた学習に基づき、使用者が第１〜第ｎの身体状態を目標とする運動の何れを施行または想起しているかを脳信号の情報から推定する第一デコーダ５と、脳信号の情報と運動推定の正解率との対を用いた学習に基づき、運動推定の正解率を脳信号の情報から推定する第二デコーダ６と、電動義手６０の状態を第１〜第ｎの身体状態に対応する第１〜第ｎの身体状態の間で中間状態を経て変化するよう多段階制御する電動義手制御部８とを備え、第一デコーダ５、推定正解率が閾値を超えている時のみ推定を行い、電動義手制御部８は、現在と別の状態に対応する身体状態への運動が第一デコーダ５で推定されたときに、電動義手６０の状態を上記別の状態へ１段階近づける。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、使用者が体の動きを施行または想起した時の使用者の脳信号に基づいてロボット等の機器を制御する機器制御装置、機器制御方法、および機器制御プログラム、並びに、上記機器制御装置を用いた機器システム、および上記機器制御プログラムを記録したコンピュータ読み取り可能な記録媒体に関するものである。
【背景技術】
【０００２】
近年、脊髄損傷や筋萎縮性側索硬化症などによる重度閉じ込め症候群患者の運動機能再建やコミニケーションツールとして、ブレイン・マシン・インタフェース（Brain machine interface；以下「ＢＭＩ」と略記する）技術が開発されている。ＢＭＩは、人間の脳信号だけからその人間が施行または想起した動きを推定（復号化（decoding））し、推定された動きに基づいてコンピュータやロボットなどの外部機器を制御する技術である。この技術により、体を全く動かせない患者でも、体の動きを脳で想起（イメージ；意図））することで、コンピュータやロボットなどの外部機器を制御することが可能となる。この技術は、主に、（１）脳信号計測、（２）脳情報抽出、（３）抽出された脳情報を用いた外部機器制御、という３つの要素技術が連らなることで実現される。近年、（１）脳信号計測および（２）脳情報抽出について多くの研究がなされ、ＢＭＩは、飛躍的に進歩を遂げた。下記に、各要素技術の現状を概観する。
【０００３】
（現状の脳信号計測）
脳信号計測方法には、非侵襲的計測方法と侵襲的計測方法とがある。非侵襲的計測方法は、開頭手術などの侵襲的処置を必要としない方法であり、頭皮に電極を貼付して頭皮脳波（Electroencepharogram；ＥＥＧ）を計測する方法、脳磁図（Magnetoencephalogram；ＭＥＧ）を計測する方法、近赤外線分光法（Near-Infrared Spectroscopy；ＮＩＲＳ）、機能的核磁気共鳴画像法（functional magnetic resonance imaging；ｆＭＲＩ）などがある（非特許文献１参照）。
【０００４】
一方、侵襲的計測方法には、外科的に頭蓋内の脳表面に電極を貼付して皮質脳波（Electrocorticogram；ＥＣｏＧ）を計測する方法（非特許文献２参照）や、大脳皮質に剣山状の微小電極を刺入して個々の神経細胞活動を記録するマルチユニット（multi-unit）法（非特許文献３参照）などがある。
【０００５】
これらの中で、脳信号の変化にリアルタイムに反応して外部機器を制御する場合には、脳信号計測方法として、頭皮脳波を計測する方法、脳磁図を計測する方法、皮質脳波を計測する方法、マルチユニット法などが適している。
【０００６】
頭皮脳波を計測する方法や脳磁図を計測する方法などのような非侵襲的方法は、簡便であり、使用者の負担も少ないが、得られる情報量は最も少なく、機器の複雑な運動、特にロボットの運動のような複雑な運動を制御することは難しい。
【０００７】
一方、マルチユニット法は、得られる脳情報量が最も多いが、得られる脳信号が、日々の神経細胞の変化に影響を受けるため、不安定であり、毎日、脳信号の復号化を調整する必要がある。また、マルチユニット法は、長期になると、計測率が低下し、使用できなくなる。
【０００８】
皮質脳波を計測する方法は、得られる脳情報量は非侵襲的方法とマルチユニット法との中間であり、得られる脳信号の安定性にも優れている。そのため、皮質脳波を計測する方法は、臨床応用可能なＢＭＩに用いる脳信号計測法として期待されている。ただし、皮質脳波を計測する方法は、マルチユニット法と比べると、得られる情報量は少ない。
【０００９】
（現状の脳情報抽出・外部機器制御）
脳信号から情報を抽出するには主に２つの方法がある。（ａ）患者が施行または想起する運動や言語などを脳信号から読み取る方法、（ｂ）患者が随意的に制御しやすい脳信号をスイッチのように用いて患者の意図を機器に伝達する方法。（ａ）の方法は、多くの脳情報を精度よく得る必要があるため、マルチユニット法などで特に発達している。一方、（ｂ）の方法は、頭皮脳波や脳磁図を用いる場合などのような、得られる脳情報量が少ない場合でも、使用方法を工夫することで有効なコミュニケーションツールとすることができる。
【００１０】
（ａ）の方法は被験者の意図を直接的に外部機器制御へ反映させるため、ロボットハンドの制御など高度な制御がリアルタイムで可能になる。例えば、非特許文献４には、サルの方向選択性神経細胞の平均発火率から運動情報を抽出し、運動情報に従ってロボットアームを動かす方法が記載されている。この方法では、マルチユニット法でサルの脳の一次運動野から方向選択性神経細胞（特定の運動方向および速度において選択的に発火頻度を上昇させる神経細胞）の平均発火率を計測し、その発火パターンからサルの上肢の運動方向および速度を時々刻々で推定する。そして、その推定結果を連続的につなげることでサルの一連の運動を推定する。非特許文献４では、この方法によりサルの脳から運動情報を抽出し、サルがロボットアームを３次元空間内で自由に動かせるようになったと報告されている。
【００１１】
また、皮質脳波を用いて２次元上の機器制御を行う方法（非特許文献５参照）や、皮質脳波を用いたＢＭＩ技術（特許文献１参照）が提案されている。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】米国特許第７，１２０，４８６号（２００６年１０月１０日公開）
【非特許文献】
【００１３】
【非特許文献１】F. Nijboer, et al., 2008, "A P300-based brain-computer interface for people with amyotrophic lateral sclerosis", Clin Neurophysiol, 119, p.1909-1916
【非特許文献２】E.C. Leuthardt, et al., 2006. "The emerging world of motor neuroprosthetics: a neurosurgical perspective", Neurosurgery, 59, p.1-14 （p.11-14に記載）
【非特許文献３】L.R. Hochberg, et al., 2006. "Neuronal ensemble control of prosthetic devices by a human with tetraplegia", Nature, 442, p.164-171.
【非特許文献４】M. Velliste, et al., 2008. "Cortical control of a prosthetic arm for self-feeding", Nature, 453, p.1098-1101.
【非特許文献５】G. Schalk et al., 2008, "Two-dimensional movement control using electrocorticographic signals in humans", J Neural Eng, 5, p.75-84
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、上述のような従来の脳情報抽出・外部機器制御の技術は、問題点を有している。
【００１５】
まず、非特許文献４のように方向選択性神経細胞の発火パターンから上肢の運動方向および速度を推定する方法は、任意の上肢運動を脳信号から推定することが可能である。しかしながら、上記方法は、３次元上で正確に上肢運動の軌跡を再現するためには、高精度で安定した脳信号計測と長期間のサルの訓練とが必要となる。マルチユニット法では、高精度で安定した脳信号計測は不可能である。また、上記方法は、脳信号として頭皮脳波や脳磁図を用いる場合には、十分な情報量が得られないため、適応できない。
【００１６】
非特許文献５は２次元のカーソル制御に関するものであり、非特許文献１は、頭皮脳波の事象関連電位Ｐ３００を用いた文字入力について想定されたものであるので、これらの技術は、機器の自然な動き、特にロボットアームの自然な３次元の動きを実現することができない。
【００１７】
また、２）患者が随意的に制御しやすい脳信号をスイッチのように用いて患者の意図を機器に伝達する方法は、脳活動をスイッチとして用いるものであるため、機器の操作が複雑なものであると、使いこなすために長時間の訓練を要する。また、使いこなせた場合でも、ロボット操作などのような複雑な機器操作を行う場合、機器の操作に長時間を要する。
【００１８】
従来の技術では、外部機器をどれだけ複雑に制御できるかは、脳信号から得られる情報量に依存していたといえる。また、従来、外部機器制御方法については十分な検討がなされず、脳信号の計測方法および、脳信号から連続的に情報を抽出する方法に研究の重点が置かれてきた。
【００１９】
本発明は、上記従来の課題に鑑みなされたものであり、その目的は、皮質脳波を脳信号として用いる場合などのような、得られる脳情報量が限られている場合でも、機器を自然な動きで制御することができ、また、長時間の訓練を必要としない機器制御装置、およびそれを用いた機器システム、並びに、機器制御プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【００２０】
そこで、本願発明者等は、脳情報抽出方法および外部機器制御方法を総合的に検討した結果、ＢＭＩに新たな発展をもたらす発明を見いだした。
【００２１】
本発明の機器制御装置は、上記の課題を解決するために、使用者の脳信号に基づいて機器を制御する機器制御装置であって、上記使用者が第１〜第ｎ（ｎは２以上の整数）の身体状態を目標とする複数の運動の何れを施行または想起しているかを第１の推定モデルを用いて上記脳信号の情報から推定する推定手段であって、上記第１の推定モデルが、使用者が施行または想起した運動と上記脳信号の情報との対からなる第１の訓練セットを複数用いた教師付き学習によって予め作成されたものである推定手段と、上記推定手段による上記脳信号の情報からの推定結果が正解である確率を示す正解率を第２の推定モデルを用いて上記脳信号の情報から推定する正解率推定手段であって、上記第２の推定モデルが、上記脳信号の情報と上記正解率との対からなる第２の訓練セットを複数用いた教師付き学習によって予め作成されたものである正解率推定手段と、上記正解率推定手段によって推定された正解率が閾値を超えているかを判定する判定手段と、上記推定手段による推定結果に応じて、上記機器の状態を、上記第１〜第ｎの身体状態にそれぞれ関連付けられた第１〜第ｎの状態の間で第１〜第ｎの状態の中間状態を経て変化するように、多段階に制御する機器制御手段とを備え、上記推定手段は、上記判定手段によって上記正解率が閾値を超えていると判定されたときのみ、推定を行うものであり、上記機器制御手段は、上記推定手段が推定を行ったときであって、かつ、上記推定手段によって推定された運動が目標とする身体状態に関連付けられた上記機器の状態が上記機器の現在の状態と異なるときには、上記機器の状態を、上記推定手段によって推定された運動が目標とする身体状態に関連付けられた上記機器の状態に近づくように、上記多段階の一部の段階だけ変化させることを特徴としている。本発明の機器システムは、本発明の機器制御装置と、上記機器制御装置によって制御される機器とを備えることを特徴としている。
【００２２】
本発明の機器制御方法は、上記の課題を解決するために、使用者の脳信号に基づいて機器を制御する機器制御方法であって、使用者が施行または想起した運動と上記脳信号の情報との対からなる第１の訓練セットを用いて教師付き学習を行うことによって、上記使用者が第１〜第ｎ（ｎは２以上の整数）の身体状態を目標とする複数の運動の何れを施行または想起しているかを上記脳信号の情報から推定するための第１の推定モデルを作成する第１の学習ステップと、上記使用者の複数の脳信号の情報からそれぞれ上記第１の推定モデルによる推定を行い、得られた推定結果が正解である確率を示す正解率を算出する正解率算出ステップと、上記脳信号の情報と上記正解率算出ステップで算出された正解率との対からなる第２の訓練セットを複数用いて教師付き学習を行うことによって、正解率を推定するための第２の推定モデルを作成する第２の学習ステップと、上記第２の推定モデルを用いて、上記脳信号の情報から正解率を推定する正解率推定ステップと、上記正解率推定ステップで推定された正解率が閾値を超えているかを判定する判定ステップと、上記判定手段によって上記正解率が閾値を超えていると判定されたときのみ、上記使用者が上記複数の運動の何れを施行または想起しているかを上記第１の推定モデルを用いて上記脳信号の情報から推定する推定ステップと、上記推定ステップによる推定結果に応じて、上記機器の状態を、上記第１〜第ｎの身体状態にそれぞれ関連付けられた第１〜第ｎの状態の間で第１〜第ｎの状態の中間状態を経て変化するように、多段階に制御する機器制御ステップとを含み、上記機器制御ステップでは、上記推定ステップで推定が行われたときであって、かつ、上記推定ステップで推定された運動が目標とする身体状態に関連付けられた上記機器の状態が上記機器の現在の状態と異なるときには、上記機器の状態を、上記推定ステップで推定された運動が目標とする身体状態に関連付けられた上記機器の状態に近づくように、上記多段階の一部の段階だけ変化させることを特徴としている。
【００２３】
上記構成または上記方法によれば、使用者が施行または想起している運動の目標座標、目標関節角度、方向、速度などのような詳細な情報を推定するのではなく、使用者が施行または想起している運動が、限られた数の運動（第１〜第ｎの身体状態を目標とする運動）の何れであるかを推定するものであるので、脳情報量が比較的少ない脳信号、例えば皮質脳波、頭皮脳波、脳磁図などを用いる場合であっても、機器の制御が可能となる。
【００２４】
また、上記構成または上記方法によれば、機器が第１〜第ｎの状態の間で第１〜第ｎの状態の中間状態を経て変化するように多段階に制御されるので、運動推定の誤りは、第１〜第ｎの状態間での往復運動のような不自然な動きではなく、機器の状態が第１〜第ｎの状態間で遷移する途中の「ブレ」として自然な動きで現れる。よって、機器の自然な動作を実現できる。
【００２５】
また、上記構成または上記方法によれば、脳信号の情報と第１の推定モデルによる運動推定の正解率との対を用いた学習に基づいて、脳信号の情報から運動推定の正解率を推定する第２の推定モデルを作成し、第２の推定モデルを用いて脳信号の情報から運動推定の正解率を推定し、推定された正確率が閾値を超えた時のみ、第１の推定モデルによる運動推定を行い、推定結果に従って機器を制御する。これにより、使用者が運動を施行または想起していないにもかかわらず機器の状態を変化させてしまう誤動作を回避できる。また、機器の制御を行わない時には運動推定を行わないので、余分な運動推定を行うこともない。
【００２６】
本発明の機器制御装置は、上記脳信号として皮質脳波を測定する脳信号測定器をさらに備えることが好ましい。これにより、脳信号の情報を安定して得ることができるため、安定した機器制御が可能となる。
【００２７】
本発明の機器制御装置は、上記脳信号から、上記脳信号における複数の周波数帯域毎のパワーを上記脳信号の情報として抽出する脳情報抽出手段をさらに備えることが好ましい。これにより、より多くの脳情報を得ることができるため、より精度の高い運動推定および機器制御が可能となる。
【００２８】
本発明の機器制御装置は、上記機器が、人間の身体の少なくとも一部を模擬するロボットであり、上記第１〜第ｎの状態は、上記第１〜第ｎの身体状態に対応するロボットの身体状態である場合に特に有効である。この場合、本発明の機器制御装置は、ロボットに、人間らしい自然な動作を行わせることができる。
【００２９】
上記推定手段は、上記第１の推定モデルとしてサポートベクターマシン、ニューラルネットワーク、弁別用に変更したガウス過程回帰（gaussian process regression for classification）、弁別用に変更したスパース・ロジスティック回帰（sparse logistic regression for classification；ＳＬＲ for classification）などの弁別器（分類器(classifier)）を用いるものであることが好ましい。これにより、より精度の高い運動推定および機器制御を短い計算時間で行うことが可能となる。
【００３０】
上記正解率推定手段は、上記第２の推定モデルとしてガウス過程回帰（Gaussian process regression）、線形判別分析（linear discriminant analysis；ＬＤＡ）、スパース・ロジスティック回帰（sparse logistic regression;ＳＬＲ）などのような回帰モデルを用いるものであることが好ましい。これにより、少ない訓練データ（トレーニングデータ）でも高精度の推定を行うことができる。
【００３１】
上記正解率は、分割交差検定によって求められた、使用者の脳信号の情報と、第１の推定モデルによるこの情報からの推定結果との間の相互情報量であることが好ましい。これにより、使用者が運動を施行または想起していないにもかかわらず機器の状態を変化させてしまう誤動作を回避できる。
【００３２】
上記正解率推定手段が、上記第２の推定モデルとしてガウス過程回帰を用いるものである場合、上記正解率は、分割交差検定によって求められた、使用者の脳信号の情報と、第１の推定モデルによるこの情報からの推定結果との間の相互情報量を、複数回の検定によって得られた相互情報量の平均がゼロとなるように規格化した量であることが好ましい。これにより、上記正解率をより正確に推定することが可能となる。
【００３３】
なお、上記機器制御装置における各手段を、機器制御プログラムによりコンピュータ上で実行させることができる。さらに、上記機器制御プログラムをコンピュータ読み取り可能な記録媒体に記憶させることにより、任意のコンピュータ上で上記機器制御プログラムを実行させることができる。
【発明の効果】
【００３４】
本発明は、以上のように、皮質脳波を脳信号として用いる場合などのような、得られる脳情報量が限られている場合でも、機器を自然な動きで制御することができ、また、長時間の訓練を必要としない機器制御装置、およびそれを用いた機器システム、並びに、機器制御プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体を提供できる、という効果を奏する。
【図面の簡単な説明】
【００３５】
【図１】本発明の実施の一形態に係る機器システムの構成を示すブロック図である。
【図２】本発明の実施の一形態に係る機器制御方法の流れを示すフローチャートである。
【図３】本発明の実施の一形態に係る機器システムの、機械学習期における動作を模式的に示す模式図である。
【図４】本発明の実施の一形態に係る機器システムの、自由運動時における動作を模式的に示す模式図である。
【図５】本発明の実施の一形態に係る機器制御方法における、電動義手の制御方法を模式的に示す模式図である。
【図６】（ａ）および（ｂ）は、比較例の推定方法による運動タイミングの推定結果を示すグラフである。
【図７】比較例に係る運動タイミング推定方法の推定誤差を示すグラフである。
【図８】本発明の実施例および参考例における、算出された相互情報量と、推定された相互情報量とを示すグラフである。
【図９】本発明の実施例において推定された相互情報量と、実際の運動タイミングとの関係を示すグラフである。
【図１０】本発明の実施例に係る推定方法による運動タイミングの推定結果を示すグラフである。
【図１１】本発明の実施例に係る運動タイミング推定方法の推定誤差を示すグラフである。
【図１２】本発明の実施の一形態に係る機器システムのデコーダ作成部の詳細を示す図である。
【発明を実施するための形態】
【００３６】
まず、本発明の実施の一形態の概要について説明する。
【００３７】
本発明の実施の一形態は、使用者の脳信号より、第１〜第ｎ（ｎは２以上の整数）の身体状態間の運動である数種類の運動パターンに対応する脳情報を抽出し、各運動パターンを段階的につなぎ合わせ電動義手（ロボットアーム）に実行させることで、連続的な運動を電動義手に行わせるものである（図１参照）。
【００３８】
すなわち、本発明の実施の一形態では、まず、使用者が外部トリガーに合わせて数種類の運動パターンを施行または想起している際の脳信号を計測し（機械学習期）、得られた脳信号から特徴量を抽出し、特徴量と運動パターンとの対応関係に基づいて、特徴量から運動パターンを推定するデコーダを作成する。デコーダとは、脳信号だけから運動の種類や運動開始のタイミングなどを推定するための計算を行うプログラムあるいは演算器である。デコーダの作成は、パターン認識プログラムなどで用いられる、サポートベクターマシン（ＳＶＭ）やスパース・ロジスティック回帰などの機械学習法を用いて行うことができる。ここでは、２種類のデコーダを作成する。第一のデコーダは、外部トリガー直後の１秒間の脳信号を用いて、脳信号と施行または想起された運動パターンとの関係を学習し、新たに施行または想起された運動パターンを脳信号だけから推定するデコーダである。第二のデコーダは、外部トリガー直前の１秒間、直後の１秒間、その後の１秒間（外部トリガーから１〜２秒後）の三つの期間の脳信号を用いて運動パターンの推定を行った場合に得られる運動パターン推定の相互情報量を三つの期間の平均が０となるように規格化した値を用いて、脳信号と得られる相互情報量との関係を学習し、新たな脳信号が与えられたときに、そこから得られる相互情報量を推定するデコーダである。第二のデコーダにより推定された相互情報量が閾値を超えたかによって運動タイミングを推定する。
【００３９】
次に、使用者が自由なタイミングと長さとで学習された運動パターンを施行し、上記推定モデル（第二のデコーダ）によって推定された相互情報量が閾値を超えた時（運動タイミング）に、第一のデコーダが、脳信号だけから、使用者が施行または想起している運動パターンを弁別する。例えば、使用者が手を握る動作を施行または想起したときに、第二のデコーダは、脳信号から、使用者が何らかの運動を施行または想起していることを推定し、第一のデコーダが、使用者が手を握ることを施行または想起していることを推定する。この推定を一定の時間幅で行い、その推定結果に基づき電動義手の動きを制御する。このとき、電動義手を、少しずつ動かす、例えば手を少しずつ握らせることで、電動義手の動きをより自然な動きにする。
【００４０】
脳信号が複数の身体状態への運動の何れを意図しているものかをデコーダ(decoder)で推定し、その推定結果に基づいて機器を制御する方法としては、脳信号が第１の身体状態への運動を意図するものとデコーダで推定された場合に、機器を、第１の身体状態に対応する第１の状態とし、脳信号が第２の身体状態への運動を意図するものとデコーダで推定された場合に、機器を、第２の身体状態に対応する第２の状態とする方法が考えられる。しかしながら、この機器制御方法では、デコーダの運動推定が間違ったときには、機器の動きに大きな誤りが生じ、機器の動きが不自然となってしまう。この機器制御方法としては、例えば、脳信号が（手を開いた状態（第１の身体状態）への運動を意図するものと推定された場合に、ロボットアームを、手を開いた状態（第１の身体状態に対応する第１の状態）とし、脳信号が手を握った状態（第２の身体状態）への運動を意図するものと推定された場合に、ロボットアームを、手を握った状態（第２の身体状態に対応する第２の状態）とする方法が考えられる。この方法では、例えば、使用者が手を握った状態への運動を脳で想起し続けている間に１時間幅だけデコーダの運動推定が間違ったとすれば、ロボットハンドの動きは、手を開いた状態から一瞬だけ手を握った状態となり、その後すぐ手を開いた状態に戻る、という不自然な動きとなる。
【００４１】
これに対し、本発明の機器制御装置では、機器が第１〜第ｎの状態の間で第１〜第ｎの状態の中間状態を経て変化するように、多段階に制御されるので、運動推定の誤りは、機器が第１〜第ｎの状態間で動作する途中の、例えば機器としてのロボットアーム（電動義手）が手を開いた状態（第１の状態）から手を握った状態（第２の状態）へ運動する途中の、１段階分の「ブレ」として現れる。よって、本発明の機器制御装置では、大部分の運動推定結果が正しければ、機器は、ブレながらも最終的には第１〜第ｎの状態の１つへと移行することになる。例えば、大部分の運動推定結果が「手を握った状態」への運動であれば、機器としてのロボットアームは、ブレながらも最終的には「手を握った状態」に移行することになる。つまり、本発明の機器制御装置では、脳信号からの運動推定の誤りが、機器の動作の「ブレ」となり、運動推定が１００％でなくても、目的とする動作を比較的自然に機器に行わせることができる。このようにして、本発明では、脳情報からの推定誤差を機器の動作の「ブレ」として機器側で吸収することができる。この点が、これまでのＢＭＩになかった画期的な点である。
【００４２】
人間の手の運動などのような、身体の運動は、いくつかの基本的な動作の組み合わせであらわされるといわれている。特に、日常的な身体動作は、数種類の決まったパターンで構成される。そのため、本発明の機器制御装置において、機器としてロボットアームなどのロボットを用いて、日常的な身体動作をロボットに行わせる場合にも、これらの基本的な身体動作を自然で確実に行えることが重要である。本実施形態は、人間の手の運動などのような、身体の運動の基本パターンである、限られた数の身体状態間の運動に注目し、それらを組み合わせることで、ロボットを思ったとおりに動かすものである。したがって、本実施形態は、これまでのＢＭＩと異なり、数種類以上の運動パターンを推定するだけの脳情報量が得られれば、ロボットの制御を実現できる。したがって、これまでロボットの制御に用いることが困難と考えられてきた、脳情報量が比較的少ない脳信号、例えば皮質脳波、頭皮脳波、脳磁図などを用いる場合であっても、実用的なロボットの制御が可能となる。
【００４３】
本発明の機器制御は、使用者が施行または想起した運動を脳信号から推定するものであるため、使用者は、機器を制御するために、機器に行わせたい動作を自分で施行または想起するだけでよいため、使用者が機器を操作するために必要な訓練は最小限となる。実際に、殆ど訓練されていない被験者が、本発明を用いて３次元空間で自由にロボットアームを制御することができることが確認されている。また、使用者側の訓練を最小限にすることで、高齢者など学習が困難な患者にも適応可能となる。これまでのＢＭＩ技術と比べ、必要な学習量などの点において、より臨床的に実現可能なＢＭＩ技術と考えられる。
【００４４】
本発明の実施の一形態に係る機器制御装置およびそれを備えた機器システムについて、図１および図１２に基づいて以下に説明する。
【００４５】
本実施形態に係る機器システムは、図１に示すように、電動義手制御装置（機器制御装置の主要部）２０と、使用者の皮質脳波（脳信号）を測定するための硬膜下電極（機器制御装置の一部、脳信号測定器）３０および脳波計４０と、刺激提示装置５０と、電動義手制御装置２０によって制御される電動義手（機器）６０とを備えている。
【００４６】
硬膜下電極３０は、使用者の脳における一次運動野を含む皮質脳波を測定し、皮質脳波のアナログ信号（脳信号）を出力するものであり、複数個の電極で構成されている。硬膜下電極３０は、高密度でかつ、一次運動野を広範囲にカバーすることが望ましい。硬膜下電極３０は、脳波計４０に接続されており、脳波計４０には硬膜下電極３０から皮質脳波のアナログ信号が入力される。脳波計４０は、電動義手制御装置２０へリアルタイムに皮質脳波のアナログ信号を送信する。刺激提示装置５０は、刺激を提示すると同時に、トリガーを脳波計４０を介して電動義手制御装置２０に送る。
【００４７】
電動義手６０は、人間の手を模擬するロボットであり、人間の手がとりうる複数の状態（第１〜第ｎの身体状態）に対応する複数の状態（第１〜第ｎの身体状態）をとりうるようになっている。
【００４８】
電動義手制御装置２０は、使用者の脳信号に基づいて電動義手６０を制御するものであり、Ａ／Ｄ（アナログ−デジタル）変換器１と、データ切り出し部２と、特徴量抽出部（脳情報抽出手段）３と、デコーダ作成部４と、第一デコーダ（推定手段）５と、第二デコーダ（正解率推定手段）６と、判定部７と、電動義手制御部（機器制御手段）８とを備えている。
【００４９】
Ａ／Ｄ変換器１は、脳波計４０から送信された皮質脳波のアナログ信号を皮質脳波のデジタル信号（皮質脳波データ）に変換するものである。
【００５０】
データ切り出し部２は、Ａ／Ｄ変換器１から出力される皮質脳波データから所定期間の皮質脳波データを切り出すものである。特徴量抽出部３は、データ切り出し部２で切り出された所定期間の皮質脳波データから、硬膜下電極３０の各電極の皮質脳波における複数の周波数帯域毎のパワーなどを特徴量（脳信号の情報）として抽出するものである。
【００５１】
第二デコーダ６は、脳信号から特徴量抽出部３によって抽出された特徴量を用いて運動推定を行った場合の推定精度（規格化された相互情報量）を予測する。判定部７は、第二デコーダ６の出力（予測された規格化相互情報量）が閾値を超えているかどうかを判定し、超えている場合（ＹＥＳ）、特徴量抽出部３で抽出された特徴量を第一デコーダ５に入力する。また、判定部７は、超えていない場合（ＮＯ）、超えていないことを示す信号（ＮＯの信号）を電動義手制御部８へ伝える。上記第２の推定モデルは、デコーダ作成部４によって予め作成されたものである。
【００５２】
第一デコーダ５は、上記使用者が第１〜第ｎ（ｎは２以上の整数）の身体状態を目標とする複数の運動の何れを施行または想起しているかを第１の推定モデルを用いて上記脳信号の情報から推定する。上記第１の推定モデルは、デコーダ作成部４によって予め作成されたものである。
【００５３】
デコーダ作成部４は、トリガーと、使用者によって施行または想起された運動のラベルがついた脳信号との両方が特徴量抽出部３に入力された場合に起動する。トリガーが電動義手制御装置２０に入力されたことは、特徴量抽出部３からデコーダ作成部４に通知される。デコーダ作成部４は、図１２に示すように、デコーダ訓練セット作成部１１と、第一デコーダ作成部１２と、正解率推定部１３と、規格化相互情報量作成部１４と、第二デコーダ作成部１５とを備えている。
【００５４】
デコーダ訓練セット作成部１１は、データ切り出し部２で切り出した皮質脳波データをトリガーとの相対的な時間関係に基づき、３つの１秒間の時間区間（期間；図面中では「区間」と略記する）に分割し、各時間区間における特徴量を抽出し、上記各時間区間ごとに、使用者が施行または想起した運動と上記特徴量（脳信号の情報）との対の複数個からなる訓練セット（第１の訓練セット；図１２では、各時間区間の訓練セットを「区間１」「区間２」「区間３」と表記している）を作成する。
【００５５】
第一デコーダ作成部１２は、上記各期間ごとに、使用者が施行または想起した運動と上記特徴量（脳信号の情報）との対の複数個からなる訓練セットを複数用いた教師付き学習によって上記第１の推定モデルとして、１番目の時間区間のためのデコーダ０−１、２番目の時間区間のためのデコーダ０−２、および３番目の時間区間のためのデコーダ０−３、を作成する。
【００５６】
正解率推定部１３は、第一デコーダ５による上記特徴量（脳信号の情報）からの推定結果の正解率を分割交差検定により推定するために、正解（使用者が実際に施行または想起した運動の種類）と推定値（第一デコーダ５によって推定された運動の種類を表す値）との対を作る。
【００５７】
規格化相互情報量作成部１４は、正解率推定部１３において作られた正解と推定値との対から各時間区間における相互情報量を求め、これらが平均してゼロとなるように規格化する。
【００５８】
第二デコーダ作成部は、各時間区間における特徴量と規格化相互情報量との対からなる訓練セット（第２の訓練セット）を複数用いた教師付き学習によって第二デコーダ６を作成するものである。
【００５９】
電動義手制御部８は、第一デコーダ５による推定結果に応じて、電動義手６０の状態を、上記第１〜第ｎの身体状態にそれぞれ対応する第１〜第ｎの身体状態の間で第１〜第ｎの身体状態の中間状態を経て変化するように、多段階に制御するものである。電動義手制御部８は、第一デコーダ５が推定を行ったときであって、かつ、第一デコーダ５によって推定された運動が目標とする身体状態に対応する電動義手６０の身体状態が電動義手６０の現在の身体状態と異なるときには、電動義手６０の状態を、第一デコーダ５によって推定された運動が目標とする身体状態に対応する電動義手６０の身体状態に近づくように、１段階だけ変化させる。また、判定部７がＮＯの信号を電動義手制御部８へ送った場合、電動義手制御部８は、電動義手６０の状態を現状で維持させ、現状維持が一定時間続いていた場合には、電動義手６０をニュートラルポジション（手を弛緩させたニュートラルな状態に対応する）へ戻す制御を行う。
【００６０】
次に、本発明の実施の一形態に係る機器制御方法について、図２に基づいて以下に説明する。
【００６１】
まず、本実施形態に係る機器制御方法では、まず、Ｓ１〜Ｓ５にて機械学習を行う。
【００６２】
機械学習に際しては、刺激提示装置５０が、刺激を提示すると同時に、刺激提示タイミングを示すパルス信号を脳波計４０およびＡ／Ｄ変換器１を介してデータ切り出し部１１へ送る。使用者が、刺激提示装置５０によって提示された刺激に合わせて、第１〜第ｎの身体状態を目標とする複数種類の運動の各々を運動課題として複数回ずつ施行または想起する。また、運動課題時に、観察者が、使用者が施行または想起した運動の種類を入力部１０から電動義手制御装置２０本体へ入力する。この際、データ切り出し部２は、使用者によって施行または想起された運動のラベルを皮質脳波データに付ける。
【００６３】
上記刺激としては、音刺激や光刺激などを用いることができるが、音刺激が好適である。施行する運動の種類の数は、特に限定されるものではないが、例えば２〜５種類とすることができる。また、上記複数種類の運動は、例えば、手を弛緩させたニュートラルな状態から手を握った状態への運動である「手を握る」運動、ニュートラル状態から手を開いた状態への運動である「手を開く」運動、ニュートラル状態から２つの指で物をつまんでいる状態への運動である「指で物をつまむ」運動、ニュートラル状態から肘を曲げた状態への運動である「肘を曲げる」運動、ニュートラル状態から肘を伸ばした状態への運動である「肘を伸ばす」運動などである。上記複数の運動は、任意に選択することができるが、最終的に電動義手６０の運動要素となるので、電動義手６０にどのような運動をさせることを所望するかに応じて選択すればよい。本実施形態では、上記複数種類の運動を、上記５種類の運動とした。
【００６４】
運動課題が施行または想起され、トリガーと、使用者によって施行または想起された運動のラベルがついた脳信号との両方が特徴量抽出部３に入力されると、デコーダ作成部４が起動し、デコーダ訓練セット作成部１１が、３つの時間区間について特徴量抽出部３で得られた各電極毎および各周波数帯域毎の特徴量と、その切り出し時にオペレータによって入力された運動の種類とに基づき、使用者が施行または想起した運動（予め定められた複数の身体状態のうちで、使用者が施行または想起した運動）の種類を表すデータと、その運動を使用者が施行または想起した時の特徴量を表すデータ（脳信号の情報）との対を第一デコーダ作成部１２で用いる訓練セットデータとして作成する（Ｓ１）。
【００６５】
次に、第一デコーダ作成部１２が、全ての訓練セットデータを用いた教師付き学習によって、使用者が施行または想起している運動が複数の身体状態を目標とする運動の何れであるかを皮質脳波データの特徴量（脳信号の情報）から推定する第１の推定モデルを用いたデコーダ０−１〜０−３を各時間区間について作成する（Ｓ２）。特に２番目の時間区間（区間２）について作成されたデコーダ（デコーダ０−２）を第一デコーダ５とする。第１の推定モデルとしては、特に限定されるものではなく、サポートベクターマシン、ニューラルネットワーク、弁別用に変更したガウス過程回帰、弁別用に変更したスパース・ロジスティック回帰などの弁別器を用いることができる。第１の推定モデルとして弁別器を用いることが、弁別の精度を向上できるため、好ましい。
【００６６】
次に、前述したのと同様の運動課題を使用者が施行した時に得られた使用者の皮質脳波データの特徴量と、該特徴量から第一デコーダ５によって推定される運動とに基づいて、正解率推定部１３が、第一デコーダ５による推定結果の正解率（汎化能）を各時間区間について推定する（Ｓ３）。正解率を求める方法は、特に限定されるものではないが、分割交差検定を用いると簡便である。
【００６７】
規格化相互情報量作成部１４において、使用者の脳信号から抽出した特徴量により第一デコーダ５によって推定した運動と実際に使用者によって施行または想起された運動との間の相互情報量を各時間区間について求め、この相互情報量を全時間区間での平均がゼロとなるように規格化したものを規格化相互情報量とする。
【００６８】
各時間区間における規格化相互情報量と得られた特徴量とから第２の訓練セットを作成し（Ｓ５）、この第２の訓練セットにより第二デコーダ作成部１５が第二デコーダ６を作成する（Ｓ６）。第二デコーダ６により、使用者が運動を施行または想起していないにもかかわらず電動義手６０の状態を変化させてしまう誤動作を回避できる。
【００６９】
第二デコーダ６として用いる推定モデルは、特に限定されるものではなく、ガウス過程回帰、線形判別分析、スパース・ロジスティック回帰などが挙げられる。少ない回数の訓練データ（トレーニングデータ）でも高精度の推定を行うことができることから、ここでは、規格化相互情報量の推定手法としてガウス過程回帰を用いたが、これに限定するものではない。
【００７０】
次に、使用者が自由に運動を行い、データ切り出し部２が、所定時間の周期が終わる毎に１秒間の皮質脳波データを切り出し、特徴量抽出部３が、上記１秒間の皮質脳波データから、周波数帯域毎および電極毎のパワー等を特徴量として抽出する。上記所定時間は、特に限定されるものではないが、本実施形態では、２００ミリ秒とした。
【００７１】
そして、２００ミリ秒（所定時間）が経過する毎に、Ｓ８〜Ｓ１１の推定・制御をリアルタイムに行う。すなわち、本実施形態では、経過時間が２００ミリ秒に達しているかを判定し（Ｓ７）、経過時間が２００ミリ秒に達していなければ判定を繰り返し、経過時間が２００ミリ秒に達すると、Ｓ８に進む。
【００７２】
次に、Ｓ８およびＳ９にて第二デコーダ６および判定部７がガウス過程回帰を用いて運動のタイミングであるかを推定し、運動のタイミングとして、高い正解率を与える期間を探す。すなわち、まず、第二デコーダ６が、Ｓ６で作成された推定モデルによって、上記周期の皮質脳波データの特徴量から正解率（規格化された相互情報量）を推定する（Ｓ７）。
【００７３】
そして、判定部７が、推定された正解率が一定の閾値を超えたかを判定する（Ｓ９）。推定された正解率が一定の閾値を超えていれば、現時点の１秒前から現時点までの期間が、運動種類の推定に適した期間（使用者が運動を施行または想起している期間に相当する）であるものと推定し、Ｓ１０に進んで第一デコーダ５による推定を行う。一方、推定された正解率が一定の閾値を超えていなければ、現時点の１秒前から現時点までの期間が、運動種類の推定に適していない期間（使用者が運動を施行または想起していない期間に相当する）であるものと推定し、第一デコーダ５による推定を行わず、電動義手制御部８へは運動状態でないことを示す信号を送り、Ｓ７に戻り、次の周期の処理に移る。したがって、運動内容の推定に適した期間と推定された期間でのみ（推定された正解率（規格化相互情報量）が一定の閾値を超えた期間でのみ）、その期間の皮質脳波データに第一デコーダ５を適用して、運動種類の推定を行うことになる。上記閾値は、電動義手６０のリアルタイム制御中に適宜調節することができる。上記閾値を調節することで、運動タイミングの検出の感度・特異度を調節することができる。上記閾値は、例えば、おおむね０付近の値とすることができる。
【００７４】
次に、Ｓ２で作成した第一デコーダ５によって、皮質脳波データの特徴量から、使用者が施行または想起した運動の種類を推定する（Ｓ１０）。
【００７５】
次に、電動義手制御部８が、Ｓ１０にて第一デコーダ５で推定された、使用者が施行または想起した運動の目標身体状態に基づいて、電動義手６０をリアルタイムで制御する（Ｓ１１〜Ｓ１２）。
【００７６】
この制御の際、電動義手制御部８は、電動義手６０の状態を、使用者の第１〜第ｎの身体状態に対応する第１〜第ｎの身体状態の間で第１〜第ｎの身体状態の中間状態を経て変化するように、多段階に制御する。本実施形態では、電動義手制御部８は、電動義手６０の状態を、使用者の第１および第２の身体状態に対応する第１および第２の身体状態の間で第１および第２の身体状態の中間状態を経て変化するように、ｐ段階（ｐは２以上の整数）に多段階制御し、電動義手６０の状態を変化させる際には、電動義手６０の状態を表す制御パラメータを、現在の値から、推定された運動の目標身体状態（例えば、推定された運動が手を握る運動であれば、手を握った状態）に対応する値に近づくように、１段階に対応する一定値（第１の身体状態に対応する制御パラメータの値と第２の身体状態に対応する制御パラメータの値との差の１／ｐ）だけ変化させる。
【００７７】
上記段階数ｐは、特に限定されるものではないが、３〜５の範囲内とすることが好ましい。例えば、第１の身体状態に対応する制御パラメータの値を１とし、第２の身体状態に対応する制御パラメータの値を２とし、ｐを５とした場合、電動義手制御部８が、電動義手６０の状態を変化させる際には、電動義手６０の制御パラメータを、現在の値から、推定された運動の目標身体状態に対応する値に近づくように、１段階に対応する一定値０．２だけ変化させることになる。
【００７８】
より詳細には、本実施形態では、電動義手制御部８が、推定された運動の目標身体状態に対応する電動義手６０の身体状態と電動義手６０の現在の身体状態との差を判定し（Ｓ１０）、この差を１段階に対応する一定値分だけゼロに近づけるように電動義手６０の身体状態を変化させ（Ｓ１１）、その後、経過時間を０にリセットして、Ｓ６に戻る。これらの処理により、電動義手６０の運動、すなわち電動義手６０の身体状態の変化（制御パラメータの変化）は、例えば、図５に示すような運動パターンとなる。なお、Ｓ１１にて、上記の差がゼロである場合には、電動義手制御部８は、電動義手６０の状態を現状で維持させる。
【００７９】
このように、電動義手６０を多段階制御することで、第１の身体状態から第２の身体状態への、あるいはその逆の完全な推移が開始してから完了するまでに必要とするステップ数は多くなることになるが、第一デコーダ５による運動種類の推定に誤りがあっても、偶然以上の確率で運動が推定されれば、電動義手６０は、ステップ数を重ねるうちに目的とする身体状態へ近づく。
【００８０】
なお、本実施形態では、各段階に対応する制御パラメータ変化が一定となるようにしたが、各段階に対応する制御パラメータ変化を異ならせてもよい。また、特別な場合（例えば推定された運動の目標身体状態が第１の身体状態である場合）に、制御パラメータ変化を、１段階に対応する値ではなく、ｐ段階より小さい複数の段階に対応する値とし、他の場合には、制御パラメータ変化を、１段階に対応する値としてもよい。
【００８１】
〔変形例〕
なお、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【００８２】
例えば、前記実施形態の機器制御方法において、脳信号からの推定結果に従った電動義手６０の動きに対して、電動義手６０の動きの履歴（過去の運動）に基づき、急激な運動推定結果の変化に対してはｐを大きくし電動義手状態の変化幅を小さくするように、電動義手６０を制御してもよい。通常、ヒトは、「手を握る」運動と「手を開く」運動とを２００ｍｓの短い周期で急激に交互に繰り返すようなことをしない。第一デコーダ５の推定結果が、電動義手６０の動きの履歴から見て不自然な場合には、これの影響を小さくすることで、前述した電動義手６０の「ブレ」がさらに減少し、電動義手６０の動きをさらに自然なものとすることができる。
【００８３】
また、前記実施形態のシステムでは脳信号として皮質脳波を用いていたが、本発明は広範囲の脳信号に適応できるものであり、脳信号として皮質脳波以外の脳信号、例えば頭皮脳波（ＥＥＧ）、脳磁図（ＭＥＧ）、マルチユニット法により得られる脳信号などを用いてもよい。ただし、脳信号として皮質脳波を用いることが、脳信号の安定性に優れており、安定した機器制御が可能となる点で、好ましい。本発明は、特徴量に関しても広範囲の特徴量に適応可能であり、実施例で挙げた特徴量（各電極毎および各周波数帯域毎のパワー）以外の種々の特徴量に適応可能である。ただし、脳信号における複数の周波数帯域毎のパワーを特徴量として抽出することが、より多くの脳情報を得ることができ、より精度の高い運動推定および機器制御が可能となるため、好ましい。
【００８４】
また、上記実施形態の電動義手制御装置２０の各部や各処理ステップは、ＣＰＵなどの演算手段が、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶手段に記憶されたプログラムを実行し、キーボードなどの入力手段、ディスプレイなどの出力手段、あるいは、インターフェース回路などの通信手段を制御することにより実現することができる。したがって、これらの手段を有するコンピュータが、上記プログラムを記録した記録媒体を読み取り、当該プログラムを実行するだけで、本実施形態の電動義手制御装置２０の各種機能および各種処理を実現することができる。また、上記プログラムをリムーバブルな記録媒体に記録することにより、任意のコンピュータ上で上記の各種機能および各種処理を実現することができる。
【００８５】
この記録媒体としては、マイクロコンピュータで処理を行うために図示しないメモリ、例えばＲＯＭのようなものがプログラムメディアであっても良いし、また、図示していないが外部記憶装置としてプログラム読取り装置が設けられ、そこに記録媒体を挿入することにより読み取り可能なプログラムメディアであっても良い。
【００８６】
また、何れの場合でも、格納されているプログラムは、マイクロプロセッサがアクセスして実行される構成であることが好ましい。さらに、プログラムを読み出し、読み出されたプログラムは、マイクロコンピュータのプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であることが好ましい。なお、このダウンロード用のプログラムは予め本体装置に格納されているものとする。
【００８７】
また、上記プログラムメディアとしては、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやＣＤ／ＭＯ／ＭＤ／ＤＶＤ等のディスクのディスク系、ＩＣカード（メモリカードを含む）等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する記録媒体等がある。
【００８８】
また、インターネットを含む通信ネットワークを接続可能なシステム構成であれば、通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持する記録媒体であることが好ましい。
【００８９】
さらに、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであることが好ましい。
【００９０】
次に、本実施形態の具体的な実施例を以下に説明する。以下に示す方法および構成は、一つの例に過ぎず、本発明は、下記実施例に記載の方法および構成に限定されるものではない。
【実施例１】
【００９１】
本実施例では、右視床出血後の難治性疼痛を患っている患者を使用者とし、上記患者に対し、運動野刺激療法のために患者の脳の右感覚運動野に６０極の硬膜下電極３０を留置し、患者のインフォームドコンセントを得た上で、機械学習および自由運動の課題を施行した。
【００９２】
〔１．皮質脳波計測方法〕
本実施例では、患者の開頭手術の後、格子状に配置された６０個の電極（６０極）からなる日本国・株式会社ユニ−クメディカル（Unique Medical. Co., Tokyo, Japan）製の硬膜下電極３０を患者の脳表面に留置した。硬膜下電極３０は、体性感覚誘発電位（somatosensory evoked potential（ＳＥＰ））および解剖学的位置関係に基づき、患者の脳の一次運動野を中心に配置した。本実施例で用いた硬膜下電極３０では、各電極は直径３ｍｍの円形であり、電極中心間の距離は７ｍｍである。
【００９３】
本実施例では、電動義手制御装置２０として、ハードディスク（コンピュータ読み取り可能な記録媒体）を備える市販のコンピュータシステム（米国・ナショナルインスツルメンツ社(National Instruments, Texas, USA)製の「ＮＩ ＰＸＩ−６２２５」）に対し、電動義手制御プログラムを上記ハードディスクに記録させたものを用いた。
【００９４】
本実施例では、脳波計４０として、臨床用のデジタル脳波計（日本国・日本光電工業株式会社(Nihon Koden Co., Tokyo, Japan)製の「ＥＥＧ２０００」）を用いた。上記デジタル脳波計は、入力された皮質脳波のアナログ信号からローパスフィルタによって特定の周波数成分を抽出し、抽出された特定の周波数成分をＡ／Ｄ変換器によってＡ／Ｄ変換（アナログ−デジタル変換）して皮質脳波のデジタル信号を生成し、臨床用データとして記憶装置に保存する機能を備えている。さらに、本実施例では、上記Ａ／Ｄ変換のサンプリングレートを１ｋＨｚとし、上記Ａ／Ｄ変換の時定数(Time constant)を２．０秒とし、上記ローパスフィルタのカットオフ周波数を３００Ｈｚとした。電動義手制御装置２０への信号送信時には、脳波計４０上で皮質脳波のデジタル信号がＤ／Ａ変換によりアナログ信号に戻され、アナログ信号として、電動義手制御装置２０のＡ／Ｄ変換器１へ送られ、Ａ／Ｄ変換器１によって皮質脳波のデジタル信号に変換されるようにした。
【００９５】
本実施例では、Ａ／Ｄ変換器１として、サンプリングレートが１ｋＨｚであり、時定数が２．０秒であるものを用いた。また、本実施例では、Ａ／Ｄ変換器１として、アナログ信号における低周波成分以外の成分をＡ／Ｄ変換前に除去するためのローパスフィルタを備えるＡ／Ｄ変換器を用いた。また、本実施例では、上記ローパスフィルタのカットオフ周波数を３００Ｈｚとした。
【００９６】
〔２．特徴量抽出およびデコーダ作成方法〕
電動義手制御装置２０は、数値解析プログラム「ＭＡＴＬＡＢ（登録商標）」(米国・マスワークス社（The MathWorks, Inc.; Natick, MA)製）を用いた電動義手制御プログラムによってリアルタイムに皮質脳波のデジタル信号（皮質脳波データ）を信号処理し、皮質脳波データの切り出し、特徴量の抽出、デコーダ作成、新規な（皮質脳波による）運動推定、新規な義手制御などを行った。
【００９７】
〔２．１．第１の機械学習期〕
〔２．１．１．安静状態の皮質脳波データの取得〕
まず、電動義手制御装置２０のオペレータが、硬膜下電極３０を脳表面に留置された患者に対して、安静状態を５０秒間持続するよう指示した。上記指示に従って患者が安静状態を持続している間に、データ切り出し部２が、Ａ／Ｄ変換器１から出力される安静状態の皮質脳波データを１秒間ずつ切り出してデータ切り出し部２内の記録部（図示しない）に記録した。これにより、データ切り出し部２内の記録部には、１秒間の安静状態の皮質脳波データが５０回記録された。
【００９８】
次いで、特徴量抽出部３が、記録された各１秒間の安静状態の皮質脳波データに対し、複数の周波数帯域毎に、かつ電極毎に、高速フーリエ変換（fast fourier transformation；ＦＦＴ）を行い、各電極毎に複数の周波数帯域における皮質脳波のパワー（振幅の２乗）を導出した。周波数帯域の数および各周波数帯域の周波数範囲の選択は、特に限定されるものではないが、本実施例では、上記複数の周波数帯域を、１〜８Ｈｚの周波数帯域、８〜２５Ｈｚの周波数帯域、８０〜１５０Ｈｚの周波数帯域の３つとした。選択する周波数帯域の数や範囲（帯域）は任意であり、例えば、上記複数の周波数帯域を、１〜８Ｈｚの周波数帯域、２５〜４０Ｈｚの周波数帯域、８０〜１５０Ｈｚの周波数帯域の３つに変更してもよい。
【００９９】
特徴量抽出部３は、各電極毎に、得られた３つの周波数帯域における皮質脳波のパワーをそれぞれ５０回分で平均することによって、６０個の電極と３個の周波数帯域との組み合わせのそれぞれについての皮質脳波の平均パワーを示すデータを生成し、これを安静状態の皮質脳波データとして特徴量抽出部３内の記録部（図示しない）に記録した。
【０１００】
〔２．１．２．第１の訓練データの作成〕
次に、上記患者が、刺激提示装置５０によって提示された刺激に合わせて、脳における硬膜下電極３０が留置された側と対となる側の上肢で運動課題を行った。本実施例では、刺激提示装置５０として、「ピ(Pi)」「ピ」「ポ(Po)」という１秒おきの３音を３秒毎に音刺激として提示する音刺激提示装置（英国・ケンブリッジリサーチシステム社（Cambridge Research Systems Ltd., Rochester, UK）製の「ＶｉＳａＧｅ」）を用いた。すなわち、本実施例における刺激提示装置５０は、１周期が３秒間である周期的な刺激提示動作を行い、各周期の最初に「ピ」という音を提示し、各周期の最初から１秒後に「ピ」という音を提示し、各周期の最初から２秒後に「ポ」という音を提示するものである。患者は、最後の「ポ」の音に合わせて、異なる身体状態への運動（異なる身体状態を目標とする運動）である複数種類の運動の中から患者自身が選択した１種類の運動を施行した。本実施例では、複数種類の運動を、ニュートラル状態から手を握った状態への運動である「手を握る」運動、およびニュートラル状態から手を開いた状態への運動である「手を開く」運動、ニュートラル状態から拇指と第１，２指を対立させてつまむ運動である「指でつまむ」の３種類とした。
【０１０１】
刺激提示装置５０は、「ポ」という音を発すると同時に、刺激提示タイミングを示すパルス信号をトリガーとして脳波計４０に出力するようにした。上記パルス信号は、「ポ」という音を発した時の皮質脳波の信号と同期して、脳波計４０およびＡ／Ｄ変換器１を介してデータ切り出し部２へ送られ、データ切り出し部２で処理された。本実施例では、上記パルス信号として５ＶのＴＴＬ(Transistor-Transistor-Logic)信号を用いた。本実施例の電動義手制御装置２０では、データ切り出し部２が、１００ｍｓ毎にＡ／Ｄ変換器１から皮質脳波データの取り込みを行い、「ポ」に相当するＴＴＬ信号を検知した時点からの経過時間が−１秒〜２秒である期間（以下、単に「−１秒〜２秒の期間」と称する）の皮質脳波データを切り出した。次いで、特徴量抽出部３が、切り出した−１秒〜２秒の期間を「−１秒〜０秒の期間」、「０秒〜１秒の期間」、「１秒〜２秒の期間」の３期間に分け、各期間の皮質脳波データについて、安静時と同じ３つの周波数帯域（１〜８Ｈｚの周波数帯域、８〜２５Ｈｚの周波数帯域、８０〜１５０Ｈｚの周波数帯域）におけるパワーを電極毎に導出した。さらに、特徴量抽出部３は、各期間の皮質脳波データについて周波数帯域毎および電極毎に導出されたパワーを、特徴量抽出部３内の記録部に記録された安静状態のパワーで規格化（正規化）して（すなわち安静状態のパワーを基準とした相対値として）、特徴量とした。よって、得られる特徴量の数は、各期間について電極数×周波数帯域の数だけあることになる。本実施例では、電極数が６０極、周波数帯域の数が３つであるので、６０×３個（１８０個）の特徴量（皮質脳波の規格化パワー）が各期間について得られた。
【０１０２】
また、データ切り出しが行われた時に、患者が施行した運動の種類を観察者が入力部１０から電動義手制御装置２０本体へ入力した。
【０１０３】
１回の運動課題が施行されると、デコーダ訓練セット作成部１１によって、患者が施行した運動の種類を表すデータと、その運動を患者が施行した時（０秒〜１秒の期間）のｍ個の特徴量を表すデータとの対が訓練セットデータとして作成され、デコーダ訓練セット作成部１１内の記録部（図示しない）に保存された。同様にして、上記運動課題を、全種類の運動についてそれぞれ複数回施行されるまで患者が行い、デコーダ訓練セット作成部１１によって、全種類の運動についてそれぞれ複数個の訓練セットデータが作成され、デコーダ訓練セット作成部１１内の記録部（図示しない）に保存された。
【０１０４】
〔２．１．３．デコーダの作成〕
全種類の運動についてそれぞれ複数個の訓練セットデータがデコーダ訓練セット作成部１１内の記録部に保存されると、第一デコーダ作成部１２が、その時点までにデコーダ訓練セット作成部１１内の記録部に保存されている全ての訓練セットデータを用いた教師付き学習によって、弁別器からなる第一デコーダ５を作成した。本実施例では、上記弁別器（第１の推定モデル）として、サポートベクターマシンを用いた。すなわち、本実施例では、第一デコーダ作成部１２が、上記全ての訓練セットデータの各々について、皮質脳波データのｍ個の特徴量を入力とし、患者が施行した運動の種類を出力として、線形サポートベクターマシン（linear support vector machine；ＳＶＭ）による弁別を行うデコーダを作成した。線形サポートベクターマシンは、第１の訓練セットデータの各々を皮質脳波データのｍ個の特徴量を座標とするｎ次元空間にデータ点としてプロットし、データ点全体を複数の異なる出力（患者が施行した運動の種類）を有するデータ点群（クラス）に分離でき、かつ最も近いデータ点との距離が最大となる分離平面（超平面）を求め、弁別対象の脳情報データ（ｍ個の特徴量）に対応するデータ点がこの分離平面のどちら側にあるかによって弁別を行うものである。
【０１０５】
サポートベクターマシンを用いた多クラス分類(multi-class classification)には、株式会社国際電気通信基礎技術研究所（ＡＴＲ）脳情報研究所神経情報学研究室の開発したプログラム"brain decoder toolbox"を使用した（現在公開準備中）。同じプログラムを使用した文献として、Kamitani, Y. and F. Tong, Decoding the visual and subjective contents of the human brain. Nat Neurosci. 8(5): 679-85, 2005がある。
【０１０６】
〔２．１．４．汎化能の測定〕
前述したのと同様にして、上記患者が、刺激提示装置５０によって提示された音刺激に合わせて運動課題を行い、データ切り出し部２が、音刺激時から０秒後〜１秒後の期間における皮質脳波データを切り出し、特徴量抽出部３が、上記期間の皮質脳波データから、周波数帯域毎および電極毎のパワーを特徴量として抽出する。次に、Ｓ２で作成した第一デコーダ５によって、皮質脳波データの特徴量から、患者が施行した運動の種類を推定した。
【０１０７】
以上のステップを全種類の運動についてそれぞれ複数回繰り返し、上記患者が音刺激に合わせて運動課題を施行するたびに、第一デコーダ５が、皮質脳波データの特徴量から、患者が施行した運動の種類を推定した。本実施例では、上記患者が運動課題を施行する回数は、全種類の運動についてそれぞれ２０〜４０回程度となるようにした。
【０１０８】
そして、得られたデータに基づいて、正解率推定部１３および規格化相互情報量作成部１４にて、分割交差検定を用いて第一デコーダ５による推定結果の正解率（汎化能）を算出した。本実施例では、正解率推定部１３および規格化相互情報量作成部１４は、患者の運動課題の施行時に得られた全てのデータについて５分割交差検定（5-fold cross validation）を行うことによって、第一デコーダ５の汎化能を算出した。
【０１０９】
つまり、本実施例では、デコーダ訓練セット作成部１１が、デコーダ作成時に、患者が施行した運動の種類を表すデータと、その運動を患者が施行した時（０秒〜１秒の期間）の皮質脳波データのｍ個の特徴量を表すデータとの対を作成し、全種類の運動についてそれぞれ２０〜４０個程度のデータ対を得た。そして、デコーダ訓練セット作成部１１が、得られた全てのデータ対を１回シャッフルし、全データ対の最初の４／５を訓練データとして第一デコーダ作成部１２へ送り、第一デコーダ作成部１２が、全データ対の最初の４／５を訓練データとして用いた学習（サポートベクターマシンによる学習）によって第一デコーダ５を作成した。また、デコーダ訓練セット作成部１１が、全データ対の残りの１／５のデータ対をテストデータとして正解率推定部１３および規格化相互情報量作成部１４へ送り、テストを行う。すなわち、正解率推定部１３および規格化相互情報量作成部１４が、テストデータのｍ個の特徴量を第一デコーダ５へ送って、第一デコーダ５が、テストデータのｍ個の特徴量から、患者が施行した運動の種類を推定し、推定結果を正解率推定部１３および規格化相互情報量作成部１４へ返す。そして、正解率推定部１３および規格化相互情報量作成部１４が、推定された種類が実際の種類（テストデータにおける患者が施行した運動の種類）に一致する事象が起こる確率を示す正解率を導出した。本実施例では、正解率推定部１３および規格化相互情報量作成部１４は、上記正解率として、皮質脳波データのｍ個の特徴量とこれら特徴量から第一デコーダ５によって推定された結果（運動の種類）との間の相互情報量を３つの期間の平均がゼロとなるように規格化したものを、上記正解率として算出した。上記の学習およびテストを、テストが重ならないように他の４／５および１／５のデータ対についても行い、全部で５回の学習およびテストを行い、正解率を５回算出した。そして、これら５回の平均の正解率を第一デコーダ５の汎化能とした。
【０１１０】
なお、相互情報量とは、２つの確率変数の相互依存の尺度を表す量である。最も典型的な相互情報量の物理単位はビットである。２つの離散確率変数ＸとＹとの相互情報量は、以下の数式で定義される。
【０１１１】
【数１】
【０１１２】
ここで、ｐ（ｘ，ｙ）はＸとＹとの同時分布関数、ｐ（ｘ）およびｐ（ｙ）はそれぞれＸとＹの周辺確率分布関数である。相互情報量は、ＸとＹとが共有する情報量の尺度である。一方の変数を知ることでもう一方をどれだけ推測できるようになるかを示す。例えば、ＸとＹとが独立であれば、Ｘをいくら知ってもＹに関する情報は得られないし、逆も同様である。従って、相互情報量はゼロである。逆に、ＸとＹとが同じであれば、ＸとＹとは全情報を共有していると言う事ができ、Ｘを知ればＹも知ることになり、逆も同様である。
【０１１３】
以上のように、第１の機械学習期においては、図３に示すように、患者が音刺激に合わせて特定の種類の運動を施行し、その際の患者の脳信号（皮質脳波）を測定し、脳信号（皮質脳波）のデータと施行された運動との組み合わせ（第１の訓練データ）から線形サポートベクターマシンのアルゴリズムを用いて弁別を行い、第一デコーダ５を作成した。そして、新たに得られた皮質脳波のデータについて患者が施行した運動の種類を第一デコーダ５により推定し、第一デコーダ５の汎化能（相互情報量）を算出した。算出された相互情報量の一例を、図８（ａ）の中央のカラム（０〜１秒）に示す。
【０１１４】
〔２．２．第２の機械学習期〕
第二デコーダ作成部１５にて、５分割交差検定に用いた５種類のテストデータにおけるｍ個の特徴量を表すデータと、それらｍ個の特徴量を表すデータからそれぞれ正解率推定部１３および規格化相互情報量作成部１４によって算出された規格化相互情報量を表すデータとの対を第２の訓練セットデータとして作成した。そして、第二デコーダ作成部１５にて、全ての対の第２の訓練セットデータを用いた教師付き学習により、皮質脳波データの特徴量から相互情報量（正解率）を推定する正解率推定モデル（第２の推定モデル）を作成し第二デコーダ６とした。本実施例では、上記正解率推定モデルは、線形共分散関数（linear covariance functions）を用いたガウス過程回帰（Gaussian process regression；ＧＰＲ）によって推定を行うものとした。
【０１１５】
ガウス過程回帰では、推定に用いる測定値（特徴量）をＸ、推定対象の出力値（規格化相互情報量）をＹ＊としたとき、線形回帰モデルＹ＝ｆ（Ｘ），ｆ（Ｘ）＝ＸＴＷにより出力値を予測する。このとき、ｗおよびＹ＊をガウス過程と仮定すると、線形回帰モデルの予測分布ｐ（ｆ＊）は、その関数値二つの積の期待値Ｅ［ｆ（Ｘ）ｆ（Ｘ’）］が任意の入力ベクトルの対Ｘ，Ｘ’について計算することで求められる。
【０１１６】
ガウス過程回帰については、例えば、参考文献C.E. Rasmussen and C.K.I. Williams, "Gaussian Processes for Machine Learning", The MIT Press, 2006、および参考文献C.M. Bishop, "Pattern Recognition and Machine Learning", Springer, 2006にて詳細に説明されている。
【０１１７】
ガウス過程回帰は、ベイジアンアプローチの一種であり、モデルの事前確率とトレーニングデータとが与えられたときに、モデルによる推定を、モデルのパラメータの事後確率の重み積分によって行う。これにより、訓練データ（トレーニングデータ）が少ない場合でもオーバーフィッティングやアンダーフィッティングの問題が少ないとされている。
【０１１８】
ガウス過程回帰は、例えば、インターネット上のホームページ（ＵＲＬ：http://www.gaussianprocess.org/gpml/code/gpml-matlab.zip）で公開されているガウス過程回帰のツールボックスを用いて行うことができる。
【０１１９】
なお、正解率推定部１３および規格化相互情報量作成部１４は、１秒前〜０秒の期間、０秒〜１秒後の期間、および１秒後〜２秒後の期間、の３つの期間の皮質脳波データについてそれぞれ相互情報量を算出し（後述の参考例参照）、これらの平均の相互情報量で相互情報量を規格化し、ガウス過程回帰の入力（第二デコーダ作成部１５の入力）とした。
【０１２０】
〔２．３．自由運動〕
〔２．３．１．運動タイミングの推定〕
前述したのと同様にして、上記患者が自由に運動を行い、周波数帯域毎および電極毎のパワーをｍ個の特徴量として抽出した。次に、２００ミリ秒（所定時間）が経過する毎に、規格化相互情報量（正解率）を第二デコーダ６で推定した。本実施例では、第二デコーダ６が、ガウス過程回帰による推定モデルによって、現時点の１秒前から現時点までの１秒間（５周期分）の皮質脳波データのｍ個の特徴量から、１秒間の相互情報量を推定する。トレーニングデータについて推定された相互情報量の一例を、図８（ｂ）の中央のカラム（０〜１秒）に示す。
【０１２１】
そして、推定された規格化相互情報量（正解率）が一定の閾値を超えたかを判定部７で判定し、推定された規格化相互情報量（正解率）が一定の閾値を超えているときのみ、運動種類の推定に適した期間（患者が運動を施行している期間に相当する）であるものと推定して、皮質脳波データのｍ個の特徴量から、使用者が施行した運動の種類を第一デコーダ５によって推定した。
【０１２２】
〔２．３．２．ロボット制御方法〕
次に、前述した図２のＳ１０〜Ｓ１３により、電動義手制御部８が、Ｓ１０にて第一デコーダ５で推定された、患者が施行した運動の種類に基づいて、電動義手６０をリアルタイムで制御する。
【０１２３】
本実施例では、電動義手６０として、本願発明者の一人である電気通信大学の横井浩史教授が開発した電動義手を用いた。この電動義手は、サーボモータで駆動されるものであり、上記サーボモータはマイクロコンピュータで制御される。この電動義手は、現在のところ、指と肘とが駆動される仕様となっているが、今後は、肩も駆動される仕様に変更される予定である。本実施例では、電動義手制御部８は、１３個の制御パラメータの値を含む制御コマンド（制御信号）を電動義手制御装置２０のシリアルポート（図示しない）を介して電動義手６０のマイクロコンピュータへ送信することによって、上記の弁別により推定された上肢運動を実現するように電動義手６０を制御した。
【０１２４】
以上のようにして、音刺激がなく、患者が自由なタイミングで複数の運動の何れかを施行する際の運動（自由運動）においては、図４に示すように、患者の皮質脳波（脳信号）が測定され、機械学習期で記録した皮質脳波の特徴量と運動との対応関係を用いて学習した第一デコーダ５によって、皮質脳波（脳信号）のデータから運動タイミングおよび運動種類を推定し、推定結果に従って電動義手６０（ロボット）を駆動した。
【０１２５】
その結果、本実施例の機器システムによれば、実際に、殆ど訓練されていない被験者が、３次元空間で自由に電動義手６０を制御することができた。したがって、本実施例の機器システムは、推定された運動と同様の運動を電動義手６０にリアルタイムで行わせることができることが分かった。
【０１２６】
〔運動タイミング推定精度の評価〕
次に、本実施例の方法における運動タイミング推定精度を評価した。
【０１２７】
まず、評価のための比較例として、患者が自由運動を行った時の皮質脳波データの特徴量からサポートベクターマシンによって運動タイミングを推定する方法を実施した。
【０１２８】
その推定結果を図６（ａ）および図６（ｂ）に示す。図６（ａ）と図６（ｂ）とでは、設定された推定感度が異なっている。図６（ａ）および図６（ｂ）において、ＥＭＧ＿Ｏｎｓｅｔは、同時計測した筋電図により決定した運動開始時刻と、その時刻に施行された運動種類とを、縦軸の高さで表わしている。ＳＶＭ＿Ｏｎｓｅｔは、この比較例の方法による運動タイミングの推定結果を示す信号（運動タイミングではパワーが１となり、それ以外のタイミングではパワーが０となる信号）である。また、図６（ａ）および図６（ｂ）における、推定された運動開始時点（ＳＶＭ＿Ｏｎｓｅｔの極大点）に最も近い運動開始時点（筋電図の極大点）から、推定された運動開始時点（ＳＶＭ＿Ｏｎｓｅｔの極大点）までの経過時間（推定誤差に相当する）の分布を図７に示す。
【０１２９】
図６および図７の結果から、比較例の方法では、実際には運動を行っていないが、運動タイミングであると判定される場合が多く、運動タイミングの推定誤差が大きいことが分かる。
【０１３０】
次に、患者が自由運動を行った時の皮質脳波データの特徴量から上記実施例の方法（皮質脳波データの特徴量からガウス過程回帰によって推定された正解率が閾値を超えている期間を運動タイミングと推定する方法）によって運動タイミングを推定する方法を実施した。
【０１３１】
その推定結果を図１０に示す。また、上記実施例の方法によって推定される正解率（運動推定精度）を図９に示す。図９および図１０において、ＥＭＧ＿Ｏｎｓｅｔは、筋電図により同定した運動開始時刻とその時刻に施行された運動種類を縦軸の高さで表わしたものである。図１０において、ＧＰＲｏｎｓｅｔ＋ＳＶＭは、実施例の方法による推定された運動のタイミングと、その時刻で第一デコーダにより推定された運動種類とを、１〜３の値で示したものである（運動タイミングでは推定された運動種類により１〜３となり、それ以外のタイミングでは０となる信号）。また、図１０における、推定された運動開始時点（ＧＰＲｏｎｓｅｔ＋ＳＶＭの極大点）に最も近い運動開始時点（筋電図の極大点）から、推定された運動開始時点（ＧＰＲｏｎｓｅｔ＋ＳＶＭの極大点）までの経過時間（推定誤差に相当する）の分布を図１１に示す。
【０１３２】
図９から、推定された正解率がピークを取る位置は、運動開始時点とほぼ一致していることが分かる。また、図６と図１０との比較、および図７と図１１との比較から、実施例の方法では、実際には運動を行っていないが、運動タイミングであると判定される場合が少なく、運動タイミングの推定誤差が小さいことが分かる。したがって、上記実施例の方法によれば、精度良く運動タイミングの判定を行うことができることが分かる。
【０１３３】
〔参考例；データ切り出し期間の検討〕
なお、本実施例では、患者が運動を施行した時の皮質脳波データから、「ポ」に相当するＴＴＬ信号を検知した時点から０秒〜１秒後の期間の皮質脳波データを切り出したが、これは、以下の実験結果に基づいて決定したものである。
【０１３４】
すなわち、まず、「２．１．２．第１の訓練データの収集」で説明したのと同様にして、患者が運動を施行した時の皮質脳波データをデータ切り出し部１１に取り込んだ。次いで、「ポ」に相当するＴＴＬ信号を検知した時点を基準（０秒）として、１秒前（−１秒）〜２秒後の期間の皮質脳波データを、患者が運動を施行した時の皮質脳波データからデータ切り出し部１１にて切り出した。そして、切り出された皮質脳波データを、１秒前〜０秒の期間、０秒〜１秒後の期間、および１秒後〜２秒後の期間、の３つの期間の皮質脳波データに分けた。次いで、特徴量抽出部３により、切り出したそれぞれの期間の皮質脳波データについて、安静時と同じ３つの周波数帯域におけるパワーを電極毎に導出した。さらに、特徴量抽出部１２により、各期間の皮質脳波データについて周波数帯域毎および電極毎に導出されたパワーを安静時のパワーで規格化して、各期間について６０×３個の特徴量（規格化されたパワー）を得た。
【０１３５】
そして、前述の実施例と同様にして、デコーダ訓練セット作成部２にて、３つの期間と複数の運動との組み合わせの全てについてそれぞれ２０〜４０個程度の訓練セットデータを作成し、デコーダ訓練セット作成部１１内の記録部に保存した。そして、前述の実施例と同様にして、デコーダ作成部４により、上記訓練セットデータを用いて、３つの区間それぞれについて、施行した運動の種類を推定する３種類のデコーダ０−１〜０−３を作成した。
【０１３６】
そして、患者が運動を施行した時の１秒前〜０秒の期間、０秒〜１秒後の期間、および１秒後〜２秒後の期間、の３つの期間の皮質脳波データから、これら３種類のデコーダ０−１〜０−３をそれぞれ用いて、患者が施行した運動の種類を推定し、皮質脳波データと該皮質脳波データからデコーダ０−１〜０−３によって推定された結果（運動の種類）との間の相互情報量（運動推定精度；正解率）を上記各期間毎に算出した。その結果を図８（ａ）に示す。この結果から、各期間同士で運動を推定するために得られる皮質脳波の情報量が異なり、０秒〜１秒後の期間の皮質脳波データに基づいて作成されたデコーダの運動推定精度（相互情報量）が最も高いことが分かる。
【０１３７】
また、前述の実施例と同様にして、患者が運動を施行した時の１秒前〜０秒の期間、０秒〜１秒後の期間、および１秒後〜２秒後の期間、の３つの期間の皮質脳波データと、それら皮質脳波データと該皮質脳波データからデコーダ０−１〜０−３によって推定された結果（運動の種類）との間の相互情報量（運動推定精度；正解率）との対からなる第２の訓練データに基づいて、各期間の皮質脳波データから各期間の相互情報量を推定する１つの相互情報量推定モデル（正解率推定モデル）を作成した。上記相互情報量推定モデルとしては、前述の実施例と同様、ガウス過程回帰を用いた。そして、その相互情報量推定モデルによって、各期間の皮質脳波データから各期間の相互情報量を推定した。その結果を図８（ｂ）に示す。この結果からガウス過程回帰を用いた相互情報量推定モデルが推定する相互情報量は、学習に用いた相互情報量の推移と定性的に一致していることが分かる。つまり、このモデルにより、皮質脳波データだけから、その皮質脳波データを用いて運動推定を行った場合に得られると期待される相互情報量の推移を定性的に推定できることが示された。
【０１３８】
以上の結果に基づき、前述の実施例では、汎化能が最も高かった、０秒〜１秒後の期間の全データを使って学習したデコーダ０−２を第一デコーダ５として用いた。また、相互情報量推定モデル（第二デコーダ）として、上記の３期間の皮質脳波データを用いて作成したモデルを用いた。
【産業上の利用可能性】
【０１３９】
本発明は、種々のＢＭＩ技術に利用できる。ＢＭＩ技術の対象は、当面、重症身体障害者が中心となる。筋萎縮性側索硬化症（ＡＬＳ）（年間患者数約７００人、有病者７０００人）、切断肢（年間患者数５０００人、有病者１４．７万人）、脊髄損傷による麻痺（年間患者数５０００人、有病者１０万人）、脳卒中による閉じ込め症候群患者などが対象となる。これらの患者が自分の意思で自由にロボットアームや他の機器を制御することで、患者の生活の質が向上するだけでなく、これらの患者にかかる介護・看護の負担が軽減し、自ら生産的活動を行うことで損失利益を取り戻すことが期待される。また、ＢＭＩ技術は、将来的に、健常人にも適応される可能性があり、本発明は、ＢＭＩの重要な基盤技術といえる。
【０１４０】
また、本発明の機器制御装置を、皮質脳波を計測し脳信号を無線で送信する体内埋め込み型皮質脳波計測機と組み合わせれば、筋萎縮性側索硬化症や脊髄損傷による完全閉じ込め症候群患者が、日常的に、思ったとおりに機器を制御することも可能となると考えられる。
【０１４１】
また、本発明の機器制御装置は、制御信号をコンピュータに送って、コンピュータのカーソル（ポインタ）の位置を脳信号で制御するものとすることもできる。その場合、例えば、使用者が右手を握った状態（右肘を伸ばした状態）への運動を想起すればコンピュータのカーソルが右へ移動し、使用者が右手を開いた状態（右肘を曲げた状態）への運動を想起すればコンピュータのカーソルが左へ移動し、使用者が左手を握った状態（左肘を伸ばした状態）への運動を想起すればコンピュータのカーソルが下へ移動し、使用者が左手を開いた状態（左肘を曲げた状態）への運動を想起すればコンピュータのカーソルが上へ移動するようにすることができる。同様の方法で、他のあらゆる機器の制御、例えば、種々の電気製品（テレビ、照明、エアコン）のリモートコントローラ制御や、電動車椅子の制御、電動ベッドの制御などを、重度運動機能障害者が脳信号を介して思ったとおりに行うことができるようになる。
【符号の説明】
【０１４２】
３ 特徴量抽出部（脳情報抽出手段）
５ 第一デコーダ（推定手段）と、
６ 第二デコーダ（正解率推定手段）
７ 判定部（判定手段）
８ 電動義手制御部（機器制御手段）
２０ 電動義手制御装置（機器制御装置の主要部）
３０ 硬膜下電極（機器制御装置の一部、脳信号測定器）
６０ 電動義手（機器）
【技術分野】
【０００１】
本発明は、使用者が体の動きを施行または想起した時の使用者の脳信号に基づいてロボット等の機器を制御する機器制御装置、機器制御方法、および機器制御プログラム、並びに、上記機器制御装置を用いた機器システム、および上記機器制御プログラムを記録したコンピュータ読み取り可能な記録媒体に関するものである。
【背景技術】
【０００２】
近年、脊髄損傷や筋萎縮性側索硬化症などによる重度閉じ込め症候群患者の運動機能再建やコミニケーションツールとして、ブレイン・マシン・インタフェース（Brain machine interface；以下「ＢＭＩ」と略記する）技術が開発されている。ＢＭＩは、人間の脳信号だけからその人間が施行または想起した動きを推定（復号化（decoding））し、推定された動きに基づいてコンピュータやロボットなどの外部機器を制御する技術である。この技術により、体を全く動かせない患者でも、体の動きを脳で想起（イメージ；意図））することで、コンピュータやロボットなどの外部機器を制御することが可能となる。この技術は、主に、（１）脳信号計測、（２）脳情報抽出、（３）抽出された脳情報を用いた外部機器制御、という３つの要素技術が連らなることで実現される。近年、（１）脳信号計測および（２）脳情報抽出について多くの研究がなされ、ＢＭＩは、飛躍的に進歩を遂げた。下記に、各要素技術の現状を概観する。
【０００３】
（現状の脳信号計測）
脳信号計測方法には、非侵襲的計測方法と侵襲的計測方法とがある。非侵襲的計測方法は、開頭手術などの侵襲的処置を必要としない方法であり、頭皮に電極を貼付して頭皮脳波（Electroencepharogram；ＥＥＧ）を計測する方法、脳磁図（Magnetoencephalogram；ＭＥＧ）を計測する方法、近赤外線分光法（Near-Infrared Spectroscopy；ＮＩＲＳ）、機能的核磁気共鳴画像法（functional magnetic resonance imaging；ｆＭＲＩ）などがある（非特許文献１参照）。
【０００４】
一方、侵襲的計測方法には、外科的に頭蓋内の脳表面に電極を貼付して皮質脳波（Electrocorticogram；ＥＣｏＧ）を計測する方法（非特許文献２参照）や、大脳皮質に剣山状の微小電極を刺入して個々の神経細胞活動を記録するマルチユニット（multi-unit）法（非特許文献３参照）などがある。
【０００５】
これらの中で、脳信号の変化にリアルタイムに反応して外部機器を制御する場合には、脳信号計測方法として、頭皮脳波を計測する方法、脳磁図を計測する方法、皮質脳波を計測する方法、マルチユニット法などが適している。
【０００６】
頭皮脳波を計測する方法や脳磁図を計測する方法などのような非侵襲的方法は、簡便であり、使用者の負担も少ないが、得られる情報量は最も少なく、機器の複雑な運動、特にロボットの運動のような複雑な運動を制御することは難しい。
【０００７】
一方、マルチユニット法は、得られる脳情報量が最も多いが、得られる脳信号が、日々の神経細胞の変化に影響を受けるため、不安定であり、毎日、脳信号の復号化を調整する必要がある。また、マルチユニット法は、長期になると、計測率が低下し、使用できなくなる。
【０００８】
皮質脳波を計測する方法は、得られる脳情報量は非侵襲的方法とマルチユニット法との中間であり、得られる脳信号の安定性にも優れている。そのため、皮質脳波を計測する方法は、臨床応用可能なＢＭＩに用いる脳信号計測法として期待されている。ただし、皮質脳波を計測する方法は、マルチユニット法と比べると、得られる情報量は少ない。
【０００９】
（現状の脳情報抽出・外部機器制御）
脳信号から情報を抽出するには主に２つの方法がある。（ａ）患者が施行または想起する運動や言語などを脳信号から読み取る方法、（ｂ）患者が随意的に制御しやすい脳信号をスイッチのように用いて患者の意図を機器に伝達する方法。（ａ）の方法は、多くの脳情報を精度よく得る必要があるため、マルチユニット法などで特に発達している。一方、（ｂ）の方法は、頭皮脳波や脳磁図を用いる場合などのような、得られる脳情報量が少ない場合でも、使用方法を工夫することで有効なコミュニケーションツールとすることができる。
【００１０】
（ａ）の方法は被験者の意図を直接的に外部機器制御へ反映させるため、ロボットハンドの制御など高度な制御がリアルタイムで可能になる。例えば、非特許文献４には、サルの方向選択性神経細胞の平均発火率から運動情報を抽出し、運動情報に従ってロボットアームを動かす方法が記載されている。この方法では、マルチユニット法でサルの脳の一次運動野から方向選択性神経細胞（特定の運動方向および速度において選択的に発火頻度を上昇させる神経細胞）の平均発火率を計測し、その発火パターンからサルの上肢の運動方向および速度を時々刻々で推定する。そして、その推定結果を連続的につなげることでサルの一連の運動を推定する。非特許文献４では、この方法によりサルの脳から運動情報を抽出し、サルがロボットアームを３次元空間内で自由に動かせるようになったと報告されている。
【００１１】
また、皮質脳波を用いて２次元上の機器制御を行う方法（非特許文献５参照）や、皮質脳波を用いたＢＭＩ技術（特許文献１参照）が提案されている。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】米国特許第７，１２０，４８６号（２００６年１０月１０日公開）
【非特許文献】
【００１３】
【非特許文献１】F. Nijboer, et al., 2008, "A P300-based brain-computer interface for people with amyotrophic lateral sclerosis", Clin Neurophysiol, 119, p.1909-1916
【非特許文献２】E.C. Leuthardt, et al., 2006. "The emerging world of motor neuroprosthetics: a neurosurgical perspective", Neurosurgery, 59, p.1-14 （p.11-14に記載）
【非特許文献３】L.R. Hochberg, et al., 2006. "Neuronal ensemble control of prosthetic devices by a human with tetraplegia", Nature, 442, p.164-171.
【非特許文献４】M. Velliste, et al., 2008. "Cortical control of a prosthetic arm for self-feeding", Nature, 453, p.1098-1101.
【非特許文献５】G. Schalk et al., 2008, "Two-dimensional movement control using electrocorticographic signals in humans", J Neural Eng, 5, p.75-84
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、上述のような従来の脳情報抽出・外部機器制御の技術は、問題点を有している。
【００１５】
まず、非特許文献４のように方向選択性神経細胞の発火パターンから上肢の運動方向および速度を推定する方法は、任意の上肢運動を脳信号から推定することが可能である。しかしながら、上記方法は、３次元上で正確に上肢運動の軌跡を再現するためには、高精度で安定した脳信号計測と長期間のサルの訓練とが必要となる。マルチユニット法では、高精度で安定した脳信号計測は不可能である。また、上記方法は、脳信号として頭皮脳波や脳磁図を用いる場合には、十分な情報量が得られないため、適応できない。
【００１６】
非特許文献５は２次元のカーソル制御に関するものであり、非特許文献１は、頭皮脳波の事象関連電位Ｐ３００を用いた文字入力について想定されたものであるので、これらの技術は、機器の自然な動き、特にロボットアームの自然な３次元の動きを実現することができない。
【００１７】
また、２）患者が随意的に制御しやすい脳信号をスイッチのように用いて患者の意図を機器に伝達する方法は、脳活動をスイッチとして用いるものであるため、機器の操作が複雑なものであると、使いこなすために長時間の訓練を要する。また、使いこなせた場合でも、ロボット操作などのような複雑な機器操作を行う場合、機器の操作に長時間を要する。
【００１８】
従来の技術では、外部機器をどれだけ複雑に制御できるかは、脳信号から得られる情報量に依存していたといえる。また、従来、外部機器制御方法については十分な検討がなされず、脳信号の計測方法および、脳信号から連続的に情報を抽出する方法に研究の重点が置かれてきた。
【００１９】
本発明は、上記従来の課題に鑑みなされたものであり、その目的は、皮質脳波を脳信号として用いる場合などのような、得られる脳情報量が限られている場合でも、機器を自然な動きで制御することができ、また、長時間の訓練を必要としない機器制御装置、およびそれを用いた機器システム、並びに、機器制御プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【００２０】
そこで、本願発明者等は、脳情報抽出方法および外部機器制御方法を総合的に検討した結果、ＢＭＩに新たな発展をもたらす発明を見いだした。
【００２１】
本発明の機器制御装置は、上記の課題を解決するために、使用者の脳信号に基づいて機器を制御する機器制御装置であって、上記使用者が第１〜第ｎ（ｎは２以上の整数）の身体状態を目標とする複数の運動の何れを施行または想起しているかを第１の推定モデルを用いて上記脳信号の情報から推定する推定手段であって、上記第１の推定モデルが、使用者が施行または想起した運動と上記脳信号の情報との対からなる第１の訓練セットを複数用いた教師付き学習によって予め作成されたものである推定手段と、上記推定手段による上記脳信号の情報からの推定結果が正解である確率を示す正解率を第２の推定モデルを用いて上記脳信号の情報から推定する正解率推定手段であって、上記第２の推定モデルが、上記脳信号の情報と上記正解率との対からなる第２の訓練セットを複数用いた教師付き学習によって予め作成されたものである正解率推定手段と、上記正解率推定手段によって推定された正解率が閾値を超えているかを判定する判定手段と、上記推定手段による推定結果に応じて、上記機器の状態を、上記第１〜第ｎの身体状態にそれぞれ関連付けられた第１〜第ｎの状態の間で第１〜第ｎの状態の中間状態を経て変化するように、多段階に制御する機器制御手段とを備え、上記推定手段は、上記判定手段によって上記正解率が閾値を超えていると判定されたときのみ、推定を行うものであり、上記機器制御手段は、上記推定手段が推定を行ったときであって、かつ、上記推定手段によって推定された運動が目標とする身体状態に関連付けられた上記機器の状態が上記機器の現在の状態と異なるときには、上記機器の状態を、上記推定手段によって推定された運動が目標とする身体状態に関連付けられた上記機器の状態に近づくように、上記多段階の一部の段階だけ変化させることを特徴としている。本発明の機器システムは、本発明の機器制御装置と、上記機器制御装置によって制御される機器とを備えることを特徴としている。
【００２２】
本発明の機器制御方法は、上記の課題を解決するために、使用者の脳信号に基づいて機器を制御する機器制御方法であって、使用者が施行または想起した運動と上記脳信号の情報との対からなる第１の訓練セットを用いて教師付き学習を行うことによって、上記使用者が第１〜第ｎ（ｎは２以上の整数）の身体状態を目標とする複数の運動の何れを施行または想起しているかを上記脳信号の情報から推定するための第１の推定モデルを作成する第１の学習ステップと、上記使用者の複数の脳信号の情報からそれぞれ上記第１の推定モデルによる推定を行い、得られた推定結果が正解である確率を示す正解率を算出する正解率算出ステップと、上記脳信号の情報と上記正解率算出ステップで算出された正解率との対からなる第２の訓練セットを複数用いて教師付き学習を行うことによって、正解率を推定するための第２の推定モデルを作成する第２の学習ステップと、上記第２の推定モデルを用いて、上記脳信号の情報から正解率を推定する正解率推定ステップと、上記正解率推定ステップで推定された正解率が閾値を超えているかを判定する判定ステップと、上記判定手段によって上記正解率が閾値を超えていると判定されたときのみ、上記使用者が上記複数の運動の何れを施行または想起しているかを上記第１の推定モデルを用いて上記脳信号の情報から推定する推定ステップと、上記推定ステップによる推定結果に応じて、上記機器の状態を、上記第１〜第ｎの身体状態にそれぞれ関連付けられた第１〜第ｎの状態の間で第１〜第ｎの状態の中間状態を経て変化するように、多段階に制御する機器制御ステップとを含み、上記機器制御ステップでは、上記推定ステップで推定が行われたときであって、かつ、上記推定ステップで推定された運動が目標とする身体状態に関連付けられた上記機器の状態が上記機器の現在の状態と異なるときには、上記機器の状態を、上記推定ステップで推定された運動が目標とする身体状態に関連付けられた上記機器の状態に近づくように、上記多段階の一部の段階だけ変化させることを特徴としている。
【００２３】
上記構成または上記方法によれば、使用者が施行または想起している運動の目標座標、目標関節角度、方向、速度などのような詳細な情報を推定するのではなく、使用者が施行または想起している運動が、限られた数の運動（第１〜第ｎの身体状態を目標とする運動）の何れであるかを推定するものであるので、脳情報量が比較的少ない脳信号、例えば皮質脳波、頭皮脳波、脳磁図などを用いる場合であっても、機器の制御が可能となる。
【００２４】
また、上記構成または上記方法によれば、機器が第１〜第ｎの状態の間で第１〜第ｎの状態の中間状態を経て変化するように多段階に制御されるので、運動推定の誤りは、第１〜第ｎの状態間での往復運動のような不自然な動きではなく、機器の状態が第１〜第ｎの状態間で遷移する途中の「ブレ」として自然な動きで現れる。よって、機器の自然な動作を実現できる。
【００２５】
また、上記構成または上記方法によれば、脳信号の情報と第１の推定モデルによる運動推定の正解率との対を用いた学習に基づいて、脳信号の情報から運動推定の正解率を推定する第２の推定モデルを作成し、第２の推定モデルを用いて脳信号の情報から運動推定の正解率を推定し、推定された正確率が閾値を超えた時のみ、第１の推定モデルによる運動推定を行い、推定結果に従って機器を制御する。これにより、使用者が運動を施行または想起していないにもかかわらず機器の状態を変化させてしまう誤動作を回避できる。また、機器の制御を行わない時には運動推定を行わないので、余分な運動推定を行うこともない。
【００２６】
本発明の機器制御装置は、上記脳信号として皮質脳波を測定する脳信号測定器をさらに備えることが好ましい。これにより、脳信号の情報を安定して得ることができるため、安定した機器制御が可能となる。
【００２７】
本発明の機器制御装置は、上記脳信号から、上記脳信号における複数の周波数帯域毎のパワーを上記脳信号の情報として抽出する脳情報抽出手段をさらに備えることが好ましい。これにより、より多くの脳情報を得ることができるため、より精度の高い運動推定および機器制御が可能となる。
【００２８】
本発明の機器制御装置は、上記機器が、人間の身体の少なくとも一部を模擬するロボットであり、上記第１〜第ｎの状態は、上記第１〜第ｎの身体状態に対応するロボットの身体状態である場合に特に有効である。この場合、本発明の機器制御装置は、ロボットに、人間らしい自然な動作を行わせることができる。
【００２９】
上記推定手段は、上記第１の推定モデルとしてサポートベクターマシン、ニューラルネットワーク、弁別用に変更したガウス過程回帰（gaussian process regression for classification）、弁別用に変更したスパース・ロジスティック回帰（sparse logistic regression for classification；ＳＬＲ for classification）などの弁別器（分類器(classifier)）を用いるものであることが好ましい。これにより、より精度の高い運動推定および機器制御を短い計算時間で行うことが可能となる。
【００３０】
上記正解率推定手段は、上記第２の推定モデルとしてガウス過程回帰（Gaussian process regression）、線形判別分析（linear discriminant analysis；ＬＤＡ）、スパース・ロジスティック回帰（sparse logistic regression;ＳＬＲ）などのような回帰モデルを用いるものであることが好ましい。これにより、少ない訓練データ（トレーニングデータ）でも高精度の推定を行うことができる。
【００３１】
上記正解率は、分割交差検定によって求められた、使用者の脳信号の情報と、第１の推定モデルによるこの情報からの推定結果との間の相互情報量であることが好ましい。これにより、使用者が運動を施行または想起していないにもかかわらず機器の状態を変化させてしまう誤動作を回避できる。
【００３２】
上記正解率推定手段が、上記第２の推定モデルとしてガウス過程回帰を用いるものである場合、上記正解率は、分割交差検定によって求められた、使用者の脳信号の情報と、第１の推定モデルによるこの情報からの推定結果との間の相互情報量を、複数回の検定によって得られた相互情報量の平均がゼロとなるように規格化した量であることが好ましい。これにより、上記正解率をより正確に推定することが可能となる。
【００３３】
なお、上記機器制御装置における各手段を、機器制御プログラムによりコンピュータ上で実行させることができる。さらに、上記機器制御プログラムをコンピュータ読み取り可能な記録媒体に記憶させることにより、任意のコンピュータ上で上記機器制御プログラムを実行させることができる。
【発明の効果】
【００３４】
本発明は、以上のように、皮質脳波を脳信号として用いる場合などのような、得られる脳情報量が限られている場合でも、機器を自然な動きで制御することができ、また、長時間の訓練を必要としない機器制御装置、およびそれを用いた機器システム、並びに、機器制御プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体を提供できる、という効果を奏する。
【図面の簡単な説明】
【００３５】
【図１】本発明の実施の一形態に係る機器システムの構成を示すブロック図である。
【図２】本発明の実施の一形態に係る機器制御方法の流れを示すフローチャートである。
【図３】本発明の実施の一形態に係る機器システムの、機械学習期における動作を模式的に示す模式図である。
【図４】本発明の実施の一形態に係る機器システムの、自由運動時における動作を模式的に示す模式図である。
【図５】本発明の実施の一形態に係る機器制御方法における、電動義手の制御方法を模式的に示す模式図である。
【図６】（ａ）および（ｂ）は、比較例の推定方法による運動タイミングの推定結果を示すグラフである。
【図７】比較例に係る運動タイミング推定方法の推定誤差を示すグラフである。
【図８】本発明の実施例および参考例における、算出された相互情報量と、推定された相互情報量とを示すグラフである。
【図９】本発明の実施例において推定された相互情報量と、実際の運動タイミングとの関係を示すグラフである。
【図１０】本発明の実施例に係る推定方法による運動タイミングの推定結果を示すグラフである。
【図１１】本発明の実施例に係る運動タイミング推定方法の推定誤差を示すグラフである。
【図１２】本発明の実施の一形態に係る機器システムのデコーダ作成部の詳細を示す図である。
【発明を実施するための形態】
【００３６】
まず、本発明の実施の一形態の概要について説明する。
【００３７】
本発明の実施の一形態は、使用者の脳信号より、第１〜第ｎ（ｎは２以上の整数）の身体状態間の運動である数種類の運動パターンに対応する脳情報を抽出し、各運動パターンを段階的につなぎ合わせ電動義手（ロボットアーム）に実行させることで、連続的な運動を電動義手に行わせるものである（図１参照）。
【００３８】
すなわち、本発明の実施の一形態では、まず、使用者が外部トリガーに合わせて数種類の運動パターンを施行または想起している際の脳信号を計測し（機械学習期）、得られた脳信号から特徴量を抽出し、特徴量と運動パターンとの対応関係に基づいて、特徴量から運動パターンを推定するデコーダを作成する。デコーダとは、脳信号だけから運動の種類や運動開始のタイミングなどを推定するための計算を行うプログラムあるいは演算器である。デコーダの作成は、パターン認識プログラムなどで用いられる、サポートベクターマシン（ＳＶＭ）やスパース・ロジスティック回帰などの機械学習法を用いて行うことができる。ここでは、２種類のデコーダを作成する。第一のデコーダは、外部トリガー直後の１秒間の脳信号を用いて、脳信号と施行または想起された運動パターンとの関係を学習し、新たに施行または想起された運動パターンを脳信号だけから推定するデコーダである。第二のデコーダは、外部トリガー直前の１秒間、直後の１秒間、その後の１秒間（外部トリガーから１〜２秒後）の三つの期間の脳信号を用いて運動パターンの推定を行った場合に得られる運動パターン推定の相互情報量を三つの期間の平均が０となるように規格化した値を用いて、脳信号と得られる相互情報量との関係を学習し、新たな脳信号が与えられたときに、そこから得られる相互情報量を推定するデコーダである。第二のデコーダにより推定された相互情報量が閾値を超えたかによって運動タイミングを推定する。
【００３９】
次に、使用者が自由なタイミングと長さとで学習された運動パターンを施行し、上記推定モデル（第二のデコーダ）によって推定された相互情報量が閾値を超えた時（運動タイミング）に、第一のデコーダが、脳信号だけから、使用者が施行または想起している運動パターンを弁別する。例えば、使用者が手を握る動作を施行または想起したときに、第二のデコーダは、脳信号から、使用者が何らかの運動を施行または想起していることを推定し、第一のデコーダが、使用者が手を握ることを施行または想起していることを推定する。この推定を一定の時間幅で行い、その推定結果に基づき電動義手の動きを制御する。このとき、電動義手を、少しずつ動かす、例えば手を少しずつ握らせることで、電動義手の動きをより自然な動きにする。
【００４０】
脳信号が複数の身体状態への運動の何れを意図しているものかをデコーダ(decoder)で推定し、その推定結果に基づいて機器を制御する方法としては、脳信号が第１の身体状態への運動を意図するものとデコーダで推定された場合に、機器を、第１の身体状態に対応する第１の状態とし、脳信号が第２の身体状態への運動を意図するものとデコーダで推定された場合に、機器を、第２の身体状態に対応する第２の状態とする方法が考えられる。しかしながら、この機器制御方法では、デコーダの運動推定が間違ったときには、機器の動きに大きな誤りが生じ、機器の動きが不自然となってしまう。この機器制御方法としては、例えば、脳信号が（手を開いた状態（第１の身体状態）への運動を意図するものと推定された場合に、ロボットアームを、手を開いた状態（第１の身体状態に対応する第１の状態）とし、脳信号が手を握った状態（第２の身体状態）への運動を意図するものと推定された場合に、ロボットアームを、手を握った状態（第２の身体状態に対応する第２の状態）とする方法が考えられる。この方法では、例えば、使用者が手を握った状態への運動を脳で想起し続けている間に１時間幅だけデコーダの運動推定が間違ったとすれば、ロボットハンドの動きは、手を開いた状態から一瞬だけ手を握った状態となり、その後すぐ手を開いた状態に戻る、という不自然な動きとなる。
【００４１】
これに対し、本発明の機器制御装置では、機器が第１〜第ｎの状態の間で第１〜第ｎの状態の中間状態を経て変化するように、多段階に制御されるので、運動推定の誤りは、機器が第１〜第ｎの状態間で動作する途中の、例えば機器としてのロボットアーム（電動義手）が手を開いた状態（第１の状態）から手を握った状態（第２の状態）へ運動する途中の、１段階分の「ブレ」として現れる。よって、本発明の機器制御装置では、大部分の運動推定結果が正しければ、機器は、ブレながらも最終的には第１〜第ｎの状態の１つへと移行することになる。例えば、大部分の運動推定結果が「手を握った状態」への運動であれば、機器としてのロボットアームは、ブレながらも最終的には「手を握った状態」に移行することになる。つまり、本発明の機器制御装置では、脳信号からの運動推定の誤りが、機器の動作の「ブレ」となり、運動推定が１００％でなくても、目的とする動作を比較的自然に機器に行わせることができる。このようにして、本発明では、脳情報からの推定誤差を機器の動作の「ブレ」として機器側で吸収することができる。この点が、これまでのＢＭＩになかった画期的な点である。
【００４２】
人間の手の運動などのような、身体の運動は、いくつかの基本的な動作の組み合わせであらわされるといわれている。特に、日常的な身体動作は、数種類の決まったパターンで構成される。そのため、本発明の機器制御装置において、機器としてロボットアームなどのロボットを用いて、日常的な身体動作をロボットに行わせる場合にも、これらの基本的な身体動作を自然で確実に行えることが重要である。本実施形態は、人間の手の運動などのような、身体の運動の基本パターンである、限られた数の身体状態間の運動に注目し、それらを組み合わせることで、ロボットを思ったとおりに動かすものである。したがって、本実施形態は、これまでのＢＭＩと異なり、数種類以上の運動パターンを推定するだけの脳情報量が得られれば、ロボットの制御を実現できる。したがって、これまでロボットの制御に用いることが困難と考えられてきた、脳情報量が比較的少ない脳信号、例えば皮質脳波、頭皮脳波、脳磁図などを用いる場合であっても、実用的なロボットの制御が可能となる。
【００４３】
本発明の機器制御は、使用者が施行または想起した運動を脳信号から推定するものであるため、使用者は、機器を制御するために、機器に行わせたい動作を自分で施行または想起するだけでよいため、使用者が機器を操作するために必要な訓練は最小限となる。実際に、殆ど訓練されていない被験者が、本発明を用いて３次元空間で自由にロボットアームを制御することができることが確認されている。また、使用者側の訓練を最小限にすることで、高齢者など学習が困難な患者にも適応可能となる。これまでのＢＭＩ技術と比べ、必要な学習量などの点において、より臨床的に実現可能なＢＭＩ技術と考えられる。
【００４４】
本発明の実施の一形態に係る機器制御装置およびそれを備えた機器システムについて、図１および図１２に基づいて以下に説明する。
【００４５】
本実施形態に係る機器システムは、図１に示すように、電動義手制御装置（機器制御装置の主要部）２０と、使用者の皮質脳波（脳信号）を測定するための硬膜下電極（機器制御装置の一部、脳信号測定器）３０および脳波計４０と、刺激提示装置５０と、電動義手制御装置２０によって制御される電動義手（機器）６０とを備えている。
【００４６】
硬膜下電極３０は、使用者の脳における一次運動野を含む皮質脳波を測定し、皮質脳波のアナログ信号（脳信号）を出力するものであり、複数個の電極で構成されている。硬膜下電極３０は、高密度でかつ、一次運動野を広範囲にカバーすることが望ましい。硬膜下電極３０は、脳波計４０に接続されており、脳波計４０には硬膜下電極３０から皮質脳波のアナログ信号が入力される。脳波計４０は、電動義手制御装置２０へリアルタイムに皮質脳波のアナログ信号を送信する。刺激提示装置５０は、刺激を提示すると同時に、トリガーを脳波計４０を介して電動義手制御装置２０に送る。
【００４７】
電動義手６０は、人間の手を模擬するロボットであり、人間の手がとりうる複数の状態（第１〜第ｎの身体状態）に対応する複数の状態（第１〜第ｎの身体状態）をとりうるようになっている。
【００４８】
電動義手制御装置２０は、使用者の脳信号に基づいて電動義手６０を制御するものであり、Ａ／Ｄ（アナログ−デジタル）変換器１と、データ切り出し部２と、特徴量抽出部（脳情報抽出手段）３と、デコーダ作成部４と、第一デコーダ（推定手段）５と、第二デコーダ（正解率推定手段）６と、判定部７と、電動義手制御部（機器制御手段）８とを備えている。
【００４９】
Ａ／Ｄ変換器１は、脳波計４０から送信された皮質脳波のアナログ信号を皮質脳波のデジタル信号（皮質脳波データ）に変換するものである。
【００５０】
データ切り出し部２は、Ａ／Ｄ変換器１から出力される皮質脳波データから所定期間の皮質脳波データを切り出すものである。特徴量抽出部３は、データ切り出し部２で切り出された所定期間の皮質脳波データから、硬膜下電極３０の各電極の皮質脳波における複数の周波数帯域毎のパワーなどを特徴量（脳信号の情報）として抽出するものである。
【００５１】
第二デコーダ６は、脳信号から特徴量抽出部３によって抽出された特徴量を用いて運動推定を行った場合の推定精度（規格化された相互情報量）を予測する。判定部７は、第二デコーダ６の出力（予測された規格化相互情報量）が閾値を超えているかどうかを判定し、超えている場合（ＹＥＳ）、特徴量抽出部３で抽出された特徴量を第一デコーダ５に入力する。また、判定部７は、超えていない場合（ＮＯ）、超えていないことを示す信号（ＮＯの信号）を電動義手制御部８へ伝える。上記第２の推定モデルは、デコーダ作成部４によって予め作成されたものである。
【００５２】
第一デコーダ５は、上記使用者が第１〜第ｎ（ｎは２以上の整数）の身体状態を目標とする複数の運動の何れを施行または想起しているかを第１の推定モデルを用いて上記脳信号の情報から推定する。上記第１の推定モデルは、デコーダ作成部４によって予め作成されたものである。
【００５３】
デコーダ作成部４は、トリガーと、使用者によって施行または想起された運動のラベルがついた脳信号との両方が特徴量抽出部３に入力された場合に起動する。トリガーが電動義手制御装置２０に入力されたことは、特徴量抽出部３からデコーダ作成部４に通知される。デコーダ作成部４は、図１２に示すように、デコーダ訓練セット作成部１１と、第一デコーダ作成部１２と、正解率推定部１３と、規格化相互情報量作成部１４と、第二デコーダ作成部１５とを備えている。
【００５４】
デコーダ訓練セット作成部１１は、データ切り出し部２で切り出した皮質脳波データをトリガーとの相対的な時間関係に基づき、３つの１秒間の時間区間（期間；図面中では「区間」と略記する）に分割し、各時間区間における特徴量を抽出し、上記各時間区間ごとに、使用者が施行または想起した運動と上記特徴量（脳信号の情報）との対の複数個からなる訓練セット（第１の訓練セット；図１２では、各時間区間の訓練セットを「区間１」「区間２」「区間３」と表記している）を作成する。
【００５５】
第一デコーダ作成部１２は、上記各期間ごとに、使用者が施行または想起した運動と上記特徴量（脳信号の情報）との対の複数個からなる訓練セットを複数用いた教師付き学習によって上記第１の推定モデルとして、１番目の時間区間のためのデコーダ０−１、２番目の時間区間のためのデコーダ０−２、および３番目の時間区間のためのデコーダ０−３、を作成する。
【００５６】
正解率推定部１３は、第一デコーダ５による上記特徴量（脳信号の情報）からの推定結果の正解率を分割交差検定により推定するために、正解（使用者が実際に施行または想起した運動の種類）と推定値（第一デコーダ５によって推定された運動の種類を表す値）との対を作る。
【００５７】
規格化相互情報量作成部１４は、正解率推定部１３において作られた正解と推定値との対から各時間区間における相互情報量を求め、これらが平均してゼロとなるように規格化する。
【００５８】
第二デコーダ作成部は、各時間区間における特徴量と規格化相互情報量との対からなる訓練セット（第２の訓練セット）を複数用いた教師付き学習によって第二デコーダ６を作成するものである。
【００５９】
電動義手制御部８は、第一デコーダ５による推定結果に応じて、電動義手６０の状態を、上記第１〜第ｎの身体状態にそれぞれ対応する第１〜第ｎの身体状態の間で第１〜第ｎの身体状態の中間状態を経て変化するように、多段階に制御するものである。電動義手制御部８は、第一デコーダ５が推定を行ったときであって、かつ、第一デコーダ５によって推定された運動が目標とする身体状態に対応する電動義手６０の身体状態が電動義手６０の現在の身体状態と異なるときには、電動義手６０の状態を、第一デコーダ５によって推定された運動が目標とする身体状態に対応する電動義手６０の身体状態に近づくように、１段階だけ変化させる。また、判定部７がＮＯの信号を電動義手制御部８へ送った場合、電動義手制御部８は、電動義手６０の状態を現状で維持させ、現状維持が一定時間続いていた場合には、電動義手６０をニュートラルポジション（手を弛緩させたニュートラルな状態に対応する）へ戻す制御を行う。
【００６０】
次に、本発明の実施の一形態に係る機器制御方法について、図２に基づいて以下に説明する。
【００６１】
まず、本実施形態に係る機器制御方法では、まず、Ｓ１〜Ｓ５にて機械学習を行う。
【００６２】
機械学習に際しては、刺激提示装置５０が、刺激を提示すると同時に、刺激提示タイミングを示すパルス信号を脳波計４０およびＡ／Ｄ変換器１を介してデータ切り出し部１１へ送る。使用者が、刺激提示装置５０によって提示された刺激に合わせて、第１〜第ｎの身体状態を目標とする複数種類の運動の各々を運動課題として複数回ずつ施行または想起する。また、運動課題時に、観察者が、使用者が施行または想起した運動の種類を入力部１０から電動義手制御装置２０本体へ入力する。この際、データ切り出し部２は、使用者によって施行または想起された運動のラベルを皮質脳波データに付ける。
【００６３】
上記刺激としては、音刺激や光刺激などを用いることができるが、音刺激が好適である。施行する運動の種類の数は、特に限定されるものではないが、例えば２〜５種類とすることができる。また、上記複数種類の運動は、例えば、手を弛緩させたニュートラルな状態から手を握った状態への運動である「手を握る」運動、ニュートラル状態から手を開いた状態への運動である「手を開く」運動、ニュートラル状態から２つの指で物をつまんでいる状態への運動である「指で物をつまむ」運動、ニュートラル状態から肘を曲げた状態への運動である「肘を曲げる」運動、ニュートラル状態から肘を伸ばした状態への運動である「肘を伸ばす」運動などである。上記複数の運動は、任意に選択することができるが、最終的に電動義手６０の運動要素となるので、電動義手６０にどのような運動をさせることを所望するかに応じて選択すればよい。本実施形態では、上記複数種類の運動を、上記５種類の運動とした。
【００６４】
運動課題が施行または想起され、トリガーと、使用者によって施行または想起された運動のラベルがついた脳信号との両方が特徴量抽出部３に入力されると、デコーダ作成部４が起動し、デコーダ訓練セット作成部１１が、３つの時間区間について特徴量抽出部３で得られた各電極毎および各周波数帯域毎の特徴量と、その切り出し時にオペレータによって入力された運動の種類とに基づき、使用者が施行または想起した運動（予め定められた複数の身体状態のうちで、使用者が施行または想起した運動）の種類を表すデータと、その運動を使用者が施行または想起した時の特徴量を表すデータ（脳信号の情報）との対を第一デコーダ作成部１２で用いる訓練セットデータとして作成する（Ｓ１）。
【００６５】
次に、第一デコーダ作成部１２が、全ての訓練セットデータを用いた教師付き学習によって、使用者が施行または想起している運動が複数の身体状態を目標とする運動の何れであるかを皮質脳波データの特徴量（脳信号の情報）から推定する第１の推定モデルを用いたデコーダ０−１〜０−３を各時間区間について作成する（Ｓ２）。特に２番目の時間区間（区間２）について作成されたデコーダ（デコーダ０−２）を第一デコーダ５とする。第１の推定モデルとしては、特に限定されるものではなく、サポートベクターマシン、ニューラルネットワーク、弁別用に変更したガウス過程回帰、弁別用に変更したスパース・ロジスティック回帰などの弁別器を用いることができる。第１の推定モデルとして弁別器を用いることが、弁別の精度を向上できるため、好ましい。
【００６６】
次に、前述したのと同様の運動課題を使用者が施行した時に得られた使用者の皮質脳波データの特徴量と、該特徴量から第一デコーダ５によって推定される運動とに基づいて、正解率推定部１３が、第一デコーダ５による推定結果の正解率（汎化能）を各時間区間について推定する（Ｓ３）。正解率を求める方法は、特に限定されるものではないが、分割交差検定を用いると簡便である。
【００６７】
規格化相互情報量作成部１４において、使用者の脳信号から抽出した特徴量により第一デコーダ５によって推定した運動と実際に使用者によって施行または想起された運動との間の相互情報量を各時間区間について求め、この相互情報量を全時間区間での平均がゼロとなるように規格化したものを規格化相互情報量とする。
【００６８】
各時間区間における規格化相互情報量と得られた特徴量とから第２の訓練セットを作成し（Ｓ５）、この第２の訓練セットにより第二デコーダ作成部１５が第二デコーダ６を作成する（Ｓ６）。第二デコーダ６により、使用者が運動を施行または想起していないにもかかわらず電動義手６０の状態を変化させてしまう誤動作を回避できる。
【００６９】
第二デコーダ６として用いる推定モデルは、特に限定されるものではなく、ガウス過程回帰、線形判別分析、スパース・ロジスティック回帰などが挙げられる。少ない回数の訓練データ（トレーニングデータ）でも高精度の推定を行うことができることから、ここでは、規格化相互情報量の推定手法としてガウス過程回帰を用いたが、これに限定するものではない。
【００７０】
次に、使用者が自由に運動を行い、データ切り出し部２が、所定時間の周期が終わる毎に１秒間の皮質脳波データを切り出し、特徴量抽出部３が、上記１秒間の皮質脳波データから、周波数帯域毎および電極毎のパワー等を特徴量として抽出する。上記所定時間は、特に限定されるものではないが、本実施形態では、２００ミリ秒とした。
【００７１】
そして、２００ミリ秒（所定時間）が経過する毎に、Ｓ８〜Ｓ１１の推定・制御をリアルタイムに行う。すなわち、本実施形態では、経過時間が２００ミリ秒に達しているかを判定し（Ｓ７）、経過時間が２００ミリ秒に達していなければ判定を繰り返し、経過時間が２００ミリ秒に達すると、Ｓ８に進む。
【００７２】
次に、Ｓ８およびＳ９にて第二デコーダ６および判定部７がガウス過程回帰を用いて運動のタイミングであるかを推定し、運動のタイミングとして、高い正解率を与える期間を探す。すなわち、まず、第二デコーダ６が、Ｓ６で作成された推定モデルによって、上記周期の皮質脳波データの特徴量から正解率（規格化された相互情報量）を推定する（Ｓ７）。
【００７３】
そして、判定部７が、推定された正解率が一定の閾値を超えたかを判定する（Ｓ９）。推定された正解率が一定の閾値を超えていれば、現時点の１秒前から現時点までの期間が、運動種類の推定に適した期間（使用者が運動を施行または想起している期間に相当する）であるものと推定し、Ｓ１０に進んで第一デコーダ５による推定を行う。一方、推定された正解率が一定の閾値を超えていなければ、現時点の１秒前から現時点までの期間が、運動種類の推定に適していない期間（使用者が運動を施行または想起していない期間に相当する）であるものと推定し、第一デコーダ５による推定を行わず、電動義手制御部８へは運動状態でないことを示す信号を送り、Ｓ７に戻り、次の周期の処理に移る。したがって、運動内容の推定に適した期間と推定された期間でのみ（推定された正解率（規格化相互情報量）が一定の閾値を超えた期間でのみ）、その期間の皮質脳波データに第一デコーダ５を適用して、運動種類の推定を行うことになる。上記閾値は、電動義手６０のリアルタイム制御中に適宜調節することができる。上記閾値を調節することで、運動タイミングの検出の感度・特異度を調節することができる。上記閾値は、例えば、おおむね０付近の値とすることができる。
【００７４】
次に、Ｓ２で作成した第一デコーダ５によって、皮質脳波データの特徴量から、使用者が施行または想起した運動の種類を推定する（Ｓ１０）。
【００７５】
次に、電動義手制御部８が、Ｓ１０にて第一デコーダ５で推定された、使用者が施行または想起した運動の目標身体状態に基づいて、電動義手６０をリアルタイムで制御する（Ｓ１１〜Ｓ１２）。
【００７６】
この制御の際、電動義手制御部８は、電動義手６０の状態を、使用者の第１〜第ｎの身体状態に対応する第１〜第ｎの身体状態の間で第１〜第ｎの身体状態の中間状態を経て変化するように、多段階に制御する。本実施形態では、電動義手制御部８は、電動義手６０の状態を、使用者の第１および第２の身体状態に対応する第１および第２の身体状態の間で第１および第２の身体状態の中間状態を経て変化するように、ｐ段階（ｐは２以上の整数）に多段階制御し、電動義手６０の状態を変化させる際には、電動義手６０の状態を表す制御パラメータを、現在の値から、推定された運動の目標身体状態（例えば、推定された運動が手を握る運動であれば、手を握った状態）に対応する値に近づくように、１段階に対応する一定値（第１の身体状態に対応する制御パラメータの値と第２の身体状態に対応する制御パラメータの値との差の１／ｐ）だけ変化させる。
【００７７】
上記段階数ｐは、特に限定されるものではないが、３〜５の範囲内とすることが好ましい。例えば、第１の身体状態に対応する制御パラメータの値を１とし、第２の身体状態に対応する制御パラメータの値を２とし、ｐを５とした場合、電動義手制御部８が、電動義手６０の状態を変化させる際には、電動義手６０の制御パラメータを、現在の値から、推定された運動の目標身体状態に対応する値に近づくように、１段階に対応する一定値０．２だけ変化させることになる。
【００７８】
より詳細には、本実施形態では、電動義手制御部８が、推定された運動の目標身体状態に対応する電動義手６０の身体状態と電動義手６０の現在の身体状態との差を判定し（Ｓ１０）、この差を１段階に対応する一定値分だけゼロに近づけるように電動義手６０の身体状態を変化させ（Ｓ１１）、その後、経過時間を０にリセットして、Ｓ６に戻る。これらの処理により、電動義手６０の運動、すなわち電動義手６０の身体状態の変化（制御パラメータの変化）は、例えば、図５に示すような運動パターンとなる。なお、Ｓ１１にて、上記の差がゼロである場合には、電動義手制御部８は、電動義手６０の状態を現状で維持させる。
【００７９】
このように、電動義手６０を多段階制御することで、第１の身体状態から第２の身体状態への、あるいはその逆の完全な推移が開始してから完了するまでに必要とするステップ数は多くなることになるが、第一デコーダ５による運動種類の推定に誤りがあっても、偶然以上の確率で運動が推定されれば、電動義手６０は、ステップ数を重ねるうちに目的とする身体状態へ近づく。
【００８０】
なお、本実施形態では、各段階に対応する制御パラメータ変化が一定となるようにしたが、各段階に対応する制御パラメータ変化を異ならせてもよい。また、特別な場合（例えば推定された運動の目標身体状態が第１の身体状態である場合）に、制御パラメータ変化を、１段階に対応する値ではなく、ｐ段階より小さい複数の段階に対応する値とし、他の場合には、制御パラメータ変化を、１段階に対応する値としてもよい。
【００８１】
〔変形例〕
なお、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【００８２】
例えば、前記実施形態の機器制御方法において、脳信号からの推定結果に従った電動義手６０の動きに対して、電動義手６０の動きの履歴（過去の運動）に基づき、急激な運動推定結果の変化に対してはｐを大きくし電動義手状態の変化幅を小さくするように、電動義手６０を制御してもよい。通常、ヒトは、「手を握る」運動と「手を開く」運動とを２００ｍｓの短い周期で急激に交互に繰り返すようなことをしない。第一デコーダ５の推定結果が、電動義手６０の動きの履歴から見て不自然な場合には、これの影響を小さくすることで、前述した電動義手６０の「ブレ」がさらに減少し、電動義手６０の動きをさらに自然なものとすることができる。
【００８３】
また、前記実施形態のシステムでは脳信号として皮質脳波を用いていたが、本発明は広範囲の脳信号に適応できるものであり、脳信号として皮質脳波以外の脳信号、例えば頭皮脳波（ＥＥＧ）、脳磁図（ＭＥＧ）、マルチユニット法により得られる脳信号などを用いてもよい。ただし、脳信号として皮質脳波を用いることが、脳信号の安定性に優れており、安定した機器制御が可能となる点で、好ましい。本発明は、特徴量に関しても広範囲の特徴量に適応可能であり、実施例で挙げた特徴量（各電極毎および各周波数帯域毎のパワー）以外の種々の特徴量に適応可能である。ただし、脳信号における複数の周波数帯域毎のパワーを特徴量として抽出することが、より多くの脳情報を得ることができ、より精度の高い運動推定および機器制御が可能となるため、好ましい。
【００８４】
また、上記実施形態の電動義手制御装置２０の各部や各処理ステップは、ＣＰＵなどの演算手段が、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶手段に記憶されたプログラムを実行し、キーボードなどの入力手段、ディスプレイなどの出力手段、あるいは、インターフェース回路などの通信手段を制御することにより実現することができる。したがって、これらの手段を有するコンピュータが、上記プログラムを記録した記録媒体を読み取り、当該プログラムを実行するだけで、本実施形態の電動義手制御装置２０の各種機能および各種処理を実現することができる。また、上記プログラムをリムーバブルな記録媒体に記録することにより、任意のコンピュータ上で上記の各種機能および各種処理を実現することができる。
【００８５】
この記録媒体としては、マイクロコンピュータで処理を行うために図示しないメモリ、例えばＲＯＭのようなものがプログラムメディアであっても良いし、また、図示していないが外部記憶装置としてプログラム読取り装置が設けられ、そこに記録媒体を挿入することにより読み取り可能なプログラムメディアであっても良い。
【００８６】
また、何れの場合でも、格納されているプログラムは、マイクロプロセッサがアクセスして実行される構成であることが好ましい。さらに、プログラムを読み出し、読み出されたプログラムは、マイクロコンピュータのプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であることが好ましい。なお、このダウンロード用のプログラムは予め本体装置に格納されているものとする。
【００８７】
また、上記プログラムメディアとしては、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやＣＤ／ＭＯ／ＭＤ／ＤＶＤ等のディスクのディスク系、ＩＣカード（メモリカードを含む）等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する記録媒体等がある。
【００８８】
また、インターネットを含む通信ネットワークを接続可能なシステム構成であれば、通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持する記録媒体であることが好ましい。
【００８９】
さらに、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであることが好ましい。
【００９０】
次に、本実施形態の具体的な実施例を以下に説明する。以下に示す方法および構成は、一つの例に過ぎず、本発明は、下記実施例に記載の方法および構成に限定されるものではない。
【実施例１】
【００９１】
本実施例では、右視床出血後の難治性疼痛を患っている患者を使用者とし、上記患者に対し、運動野刺激療法のために患者の脳の右感覚運動野に６０極の硬膜下電極３０を留置し、患者のインフォームドコンセントを得た上で、機械学習および自由運動の課題を施行した。
【００９２】
〔１．皮質脳波計測方法〕
本実施例では、患者の開頭手術の後、格子状に配置された６０個の電極（６０極）からなる日本国・株式会社ユニ−クメディカル（Unique Medical. Co., Tokyo, Japan）製の硬膜下電極３０を患者の脳表面に留置した。硬膜下電極３０は、体性感覚誘発電位（somatosensory evoked potential（ＳＥＰ））および解剖学的位置関係に基づき、患者の脳の一次運動野を中心に配置した。本実施例で用いた硬膜下電極３０では、各電極は直径３ｍｍの円形であり、電極中心間の距離は７ｍｍである。
【００９３】
本実施例では、電動義手制御装置２０として、ハードディスク（コンピュータ読み取り可能な記録媒体）を備える市販のコンピュータシステム（米国・ナショナルインスツルメンツ社(National Instruments, Texas, USA)製の「ＮＩ ＰＸＩ−６２２５」）に対し、電動義手制御プログラムを上記ハードディスクに記録させたものを用いた。
【００９４】
本実施例では、脳波計４０として、臨床用のデジタル脳波計（日本国・日本光電工業株式会社(Nihon Koden Co., Tokyo, Japan)製の「ＥＥＧ２０００」）を用いた。上記デジタル脳波計は、入力された皮質脳波のアナログ信号からローパスフィルタによって特定の周波数成分を抽出し、抽出された特定の周波数成分をＡ／Ｄ変換器によってＡ／Ｄ変換（アナログ−デジタル変換）して皮質脳波のデジタル信号を生成し、臨床用データとして記憶装置に保存する機能を備えている。さらに、本実施例では、上記Ａ／Ｄ変換のサンプリングレートを１ｋＨｚとし、上記Ａ／Ｄ変換の時定数(Time constant)を２．０秒とし、上記ローパスフィルタのカットオフ周波数を３００Ｈｚとした。電動義手制御装置２０への信号送信時には、脳波計４０上で皮質脳波のデジタル信号がＤ／Ａ変換によりアナログ信号に戻され、アナログ信号として、電動義手制御装置２０のＡ／Ｄ変換器１へ送られ、Ａ／Ｄ変換器１によって皮質脳波のデジタル信号に変換されるようにした。
【００９５】
本実施例では、Ａ／Ｄ変換器１として、サンプリングレートが１ｋＨｚであり、時定数が２．０秒であるものを用いた。また、本実施例では、Ａ／Ｄ変換器１として、アナログ信号における低周波成分以外の成分をＡ／Ｄ変換前に除去するためのローパスフィルタを備えるＡ／Ｄ変換器を用いた。また、本実施例では、上記ローパスフィルタのカットオフ周波数を３００Ｈｚとした。
【００９６】
〔２．特徴量抽出およびデコーダ作成方法〕
電動義手制御装置２０は、数値解析プログラム「ＭＡＴＬＡＢ（登録商標）」(米国・マスワークス社（The MathWorks, Inc.; Natick, MA)製）を用いた電動義手制御プログラムによってリアルタイムに皮質脳波のデジタル信号（皮質脳波データ）を信号処理し、皮質脳波データの切り出し、特徴量の抽出、デコーダ作成、新規な（皮質脳波による）運動推定、新規な義手制御などを行った。
【００９７】
〔２．１．第１の機械学習期〕
〔２．１．１．安静状態の皮質脳波データの取得〕
まず、電動義手制御装置２０のオペレータが、硬膜下電極３０を脳表面に留置された患者に対して、安静状態を５０秒間持続するよう指示した。上記指示に従って患者が安静状態を持続している間に、データ切り出し部２が、Ａ／Ｄ変換器１から出力される安静状態の皮質脳波データを１秒間ずつ切り出してデータ切り出し部２内の記録部（図示しない）に記録した。これにより、データ切り出し部２内の記録部には、１秒間の安静状態の皮質脳波データが５０回記録された。
【００９８】
次いで、特徴量抽出部３が、記録された各１秒間の安静状態の皮質脳波データに対し、複数の周波数帯域毎に、かつ電極毎に、高速フーリエ変換（fast fourier transformation；ＦＦＴ）を行い、各電極毎に複数の周波数帯域における皮質脳波のパワー（振幅の２乗）を導出した。周波数帯域の数および各周波数帯域の周波数範囲の選択は、特に限定されるものではないが、本実施例では、上記複数の周波数帯域を、１〜８Ｈｚの周波数帯域、８〜２５Ｈｚの周波数帯域、８０〜１５０Ｈｚの周波数帯域の３つとした。選択する周波数帯域の数や範囲（帯域）は任意であり、例えば、上記複数の周波数帯域を、１〜８Ｈｚの周波数帯域、２５〜４０Ｈｚの周波数帯域、８０〜１５０Ｈｚの周波数帯域の３つに変更してもよい。
【００９９】
特徴量抽出部３は、各電極毎に、得られた３つの周波数帯域における皮質脳波のパワーをそれぞれ５０回分で平均することによって、６０個の電極と３個の周波数帯域との組み合わせのそれぞれについての皮質脳波の平均パワーを示すデータを生成し、これを安静状態の皮質脳波データとして特徴量抽出部３内の記録部（図示しない）に記録した。
【０１００】
〔２．１．２．第１の訓練データの作成〕
次に、上記患者が、刺激提示装置５０によって提示された刺激に合わせて、脳における硬膜下電極３０が留置された側と対となる側の上肢で運動課題を行った。本実施例では、刺激提示装置５０として、「ピ(Pi)」「ピ」「ポ(Po)」という１秒おきの３音を３秒毎に音刺激として提示する音刺激提示装置（英国・ケンブリッジリサーチシステム社（Cambridge Research Systems Ltd., Rochester, UK）製の「ＶｉＳａＧｅ」）を用いた。すなわち、本実施例における刺激提示装置５０は、１周期が３秒間である周期的な刺激提示動作を行い、各周期の最初に「ピ」という音を提示し、各周期の最初から１秒後に「ピ」という音を提示し、各周期の最初から２秒後に「ポ」という音を提示するものである。患者は、最後の「ポ」の音に合わせて、異なる身体状態への運動（異なる身体状態を目標とする運動）である複数種類の運動の中から患者自身が選択した１種類の運動を施行した。本実施例では、複数種類の運動を、ニュートラル状態から手を握った状態への運動である「手を握る」運動、およびニュートラル状態から手を開いた状態への運動である「手を開く」運動、ニュートラル状態から拇指と第１，２指を対立させてつまむ運動である「指でつまむ」の３種類とした。
【０１０１】
刺激提示装置５０は、「ポ」という音を発すると同時に、刺激提示タイミングを示すパルス信号をトリガーとして脳波計４０に出力するようにした。上記パルス信号は、「ポ」という音を発した時の皮質脳波の信号と同期して、脳波計４０およびＡ／Ｄ変換器１を介してデータ切り出し部２へ送られ、データ切り出し部２で処理された。本実施例では、上記パルス信号として５ＶのＴＴＬ(Transistor-Transistor-Logic)信号を用いた。本実施例の電動義手制御装置２０では、データ切り出し部２が、１００ｍｓ毎にＡ／Ｄ変換器１から皮質脳波データの取り込みを行い、「ポ」に相当するＴＴＬ信号を検知した時点からの経過時間が−１秒〜２秒である期間（以下、単に「−１秒〜２秒の期間」と称する）の皮質脳波データを切り出した。次いで、特徴量抽出部３が、切り出した−１秒〜２秒の期間を「−１秒〜０秒の期間」、「０秒〜１秒の期間」、「１秒〜２秒の期間」の３期間に分け、各期間の皮質脳波データについて、安静時と同じ３つの周波数帯域（１〜８Ｈｚの周波数帯域、８〜２５Ｈｚの周波数帯域、８０〜１５０Ｈｚの周波数帯域）におけるパワーを電極毎に導出した。さらに、特徴量抽出部３は、各期間の皮質脳波データについて周波数帯域毎および電極毎に導出されたパワーを、特徴量抽出部３内の記録部に記録された安静状態のパワーで規格化（正規化）して（すなわち安静状態のパワーを基準とした相対値として）、特徴量とした。よって、得られる特徴量の数は、各期間について電極数×周波数帯域の数だけあることになる。本実施例では、電極数が６０極、周波数帯域の数が３つであるので、６０×３個（１８０個）の特徴量（皮質脳波の規格化パワー）が各期間について得られた。
【０１０２】
また、データ切り出しが行われた時に、患者が施行した運動の種類を観察者が入力部１０から電動義手制御装置２０本体へ入力した。
【０１０３】
１回の運動課題が施行されると、デコーダ訓練セット作成部１１によって、患者が施行した運動の種類を表すデータと、その運動を患者が施行した時（０秒〜１秒の期間）のｍ個の特徴量を表すデータとの対が訓練セットデータとして作成され、デコーダ訓練セット作成部１１内の記録部（図示しない）に保存された。同様にして、上記運動課題を、全種類の運動についてそれぞれ複数回施行されるまで患者が行い、デコーダ訓練セット作成部１１によって、全種類の運動についてそれぞれ複数個の訓練セットデータが作成され、デコーダ訓練セット作成部１１内の記録部（図示しない）に保存された。
【０１０４】
〔２．１．３．デコーダの作成〕
全種類の運動についてそれぞれ複数個の訓練セットデータがデコーダ訓練セット作成部１１内の記録部に保存されると、第一デコーダ作成部１２が、その時点までにデコーダ訓練セット作成部１１内の記録部に保存されている全ての訓練セットデータを用いた教師付き学習によって、弁別器からなる第一デコーダ５を作成した。本実施例では、上記弁別器（第１の推定モデル）として、サポートベクターマシンを用いた。すなわち、本実施例では、第一デコーダ作成部１２が、上記全ての訓練セットデータの各々について、皮質脳波データのｍ個の特徴量を入力とし、患者が施行した運動の種類を出力として、線形サポートベクターマシン（linear support vector machine；ＳＶＭ）による弁別を行うデコーダを作成した。線形サポートベクターマシンは、第１の訓練セットデータの各々を皮質脳波データのｍ個の特徴量を座標とするｎ次元空間にデータ点としてプロットし、データ点全体を複数の異なる出力（患者が施行した運動の種類）を有するデータ点群（クラス）に分離でき、かつ最も近いデータ点との距離が最大となる分離平面（超平面）を求め、弁別対象の脳情報データ（ｍ個の特徴量）に対応するデータ点がこの分離平面のどちら側にあるかによって弁別を行うものである。
【０１０５】
サポートベクターマシンを用いた多クラス分類(multi-class classification)には、株式会社国際電気通信基礎技術研究所（ＡＴＲ）脳情報研究所神経情報学研究室の開発したプログラム"brain decoder toolbox"を使用した（現在公開準備中）。同じプログラムを使用した文献として、Kamitani, Y. and F. Tong, Decoding the visual and subjective contents of the human brain. Nat Neurosci. 8(5): 679-85, 2005がある。
【０１０６】
〔２．１．４．汎化能の測定〕
前述したのと同様にして、上記患者が、刺激提示装置５０によって提示された音刺激に合わせて運動課題を行い、データ切り出し部２が、音刺激時から０秒後〜１秒後の期間における皮質脳波データを切り出し、特徴量抽出部３が、上記期間の皮質脳波データから、周波数帯域毎および電極毎のパワーを特徴量として抽出する。次に、Ｓ２で作成した第一デコーダ５によって、皮質脳波データの特徴量から、患者が施行した運動の種類を推定した。
【０１０７】
以上のステップを全種類の運動についてそれぞれ複数回繰り返し、上記患者が音刺激に合わせて運動課題を施行するたびに、第一デコーダ５が、皮質脳波データの特徴量から、患者が施行した運動の種類を推定した。本実施例では、上記患者が運動課題を施行する回数は、全種類の運動についてそれぞれ２０〜４０回程度となるようにした。
【０１０８】
そして、得られたデータに基づいて、正解率推定部１３および規格化相互情報量作成部１４にて、分割交差検定を用いて第一デコーダ５による推定結果の正解率（汎化能）を算出した。本実施例では、正解率推定部１３および規格化相互情報量作成部１４は、患者の運動課題の施行時に得られた全てのデータについて５分割交差検定（5-fold cross validation）を行うことによって、第一デコーダ５の汎化能を算出した。
【０１０９】
つまり、本実施例では、デコーダ訓練セット作成部１１が、デコーダ作成時に、患者が施行した運動の種類を表すデータと、その運動を患者が施行した時（０秒〜１秒の期間）の皮質脳波データのｍ個の特徴量を表すデータとの対を作成し、全種類の運動についてそれぞれ２０〜４０個程度のデータ対を得た。そして、デコーダ訓練セット作成部１１が、得られた全てのデータ対を１回シャッフルし、全データ対の最初の４／５を訓練データとして第一デコーダ作成部１２へ送り、第一デコーダ作成部１２が、全データ対の最初の４／５を訓練データとして用いた学習（サポートベクターマシンによる学習）によって第一デコーダ５を作成した。また、デコーダ訓練セット作成部１１が、全データ対の残りの１／５のデータ対をテストデータとして正解率推定部１３および規格化相互情報量作成部１４へ送り、テストを行う。すなわち、正解率推定部１３および規格化相互情報量作成部１４が、テストデータのｍ個の特徴量を第一デコーダ５へ送って、第一デコーダ５が、テストデータのｍ個の特徴量から、患者が施行した運動の種類を推定し、推定結果を正解率推定部１３および規格化相互情報量作成部１４へ返す。そして、正解率推定部１３および規格化相互情報量作成部１４が、推定された種類が実際の種類（テストデータにおける患者が施行した運動の種類）に一致する事象が起こる確率を示す正解率を導出した。本実施例では、正解率推定部１３および規格化相互情報量作成部１４は、上記正解率として、皮質脳波データのｍ個の特徴量とこれら特徴量から第一デコーダ５によって推定された結果（運動の種類）との間の相互情報量を３つの期間の平均がゼロとなるように規格化したものを、上記正解率として算出した。上記の学習およびテストを、テストが重ならないように他の４／５および１／５のデータ対についても行い、全部で５回の学習およびテストを行い、正解率を５回算出した。そして、これら５回の平均の正解率を第一デコーダ５の汎化能とした。
【０１１０】
なお、相互情報量とは、２つの確率変数の相互依存の尺度を表す量である。最も典型的な相互情報量の物理単位はビットである。２つの離散確率変数ＸとＹとの相互情報量は、以下の数式で定義される。
【０１１１】
【数１】
【０１１２】
ここで、ｐ（ｘ，ｙ）はＸとＹとの同時分布関数、ｐ（ｘ）およびｐ（ｙ）はそれぞれＸとＹの周辺確率分布関数である。相互情報量は、ＸとＹとが共有する情報量の尺度である。一方の変数を知ることでもう一方をどれだけ推測できるようになるかを示す。例えば、ＸとＹとが独立であれば、Ｘをいくら知ってもＹに関する情報は得られないし、逆も同様である。従って、相互情報量はゼロである。逆に、ＸとＹとが同じであれば、ＸとＹとは全情報を共有していると言う事ができ、Ｘを知ればＹも知ることになり、逆も同様である。
【０１１３】
以上のように、第１の機械学習期においては、図３に示すように、患者が音刺激に合わせて特定の種類の運動を施行し、その際の患者の脳信号（皮質脳波）を測定し、脳信号（皮質脳波）のデータと施行された運動との組み合わせ（第１の訓練データ）から線形サポートベクターマシンのアルゴリズムを用いて弁別を行い、第一デコーダ５を作成した。そして、新たに得られた皮質脳波のデータについて患者が施行した運動の種類を第一デコーダ５により推定し、第一デコーダ５の汎化能（相互情報量）を算出した。算出された相互情報量の一例を、図８（ａ）の中央のカラム（０〜１秒）に示す。
【０１１４】
〔２．２．第２の機械学習期〕
第二デコーダ作成部１５にて、５分割交差検定に用いた５種類のテストデータにおけるｍ個の特徴量を表すデータと、それらｍ個の特徴量を表すデータからそれぞれ正解率推定部１３および規格化相互情報量作成部１４によって算出された規格化相互情報量を表すデータとの対を第２の訓練セットデータとして作成した。そして、第二デコーダ作成部１５にて、全ての対の第２の訓練セットデータを用いた教師付き学習により、皮質脳波データの特徴量から相互情報量（正解率）を推定する正解率推定モデル（第２の推定モデル）を作成し第二デコーダ６とした。本実施例では、上記正解率推定モデルは、線形共分散関数（linear covariance functions）を用いたガウス過程回帰（Gaussian process regression；ＧＰＲ）によって推定を行うものとした。
【０１１５】
ガウス過程回帰では、推定に用いる測定値（特徴量）をＸ、推定対象の出力値（規格化相互情報量）をＹ＊としたとき、線形回帰モデルＹ＝ｆ（Ｘ），ｆ（Ｘ）＝ＸＴＷにより出力値を予測する。このとき、ｗおよびＹ＊をガウス過程と仮定すると、線形回帰モデルの予測分布ｐ（ｆ＊）は、その関数値二つの積の期待値Ｅ［ｆ（Ｘ）ｆ（Ｘ’）］が任意の入力ベクトルの対Ｘ，Ｘ’について計算することで求められる。
【０１１６】
ガウス過程回帰については、例えば、参考文献C.E. Rasmussen and C.K.I. Williams, "Gaussian Processes for Machine Learning", The MIT Press, 2006、および参考文献C.M. Bishop, "Pattern Recognition and Machine Learning", Springer, 2006にて詳細に説明されている。
【０１１７】
ガウス過程回帰は、ベイジアンアプローチの一種であり、モデルの事前確率とトレーニングデータとが与えられたときに、モデルによる推定を、モデルのパラメータの事後確率の重み積分によって行う。これにより、訓練データ（トレーニングデータ）が少ない場合でもオーバーフィッティングやアンダーフィッティングの問題が少ないとされている。
【０１１８】
ガウス過程回帰は、例えば、インターネット上のホームページ（ＵＲＬ：http://www.gaussianprocess.org/gpml/code/gpml-matlab.zip）で公開されているガウス過程回帰のツールボックスを用いて行うことができる。
【０１１９】
なお、正解率推定部１３および規格化相互情報量作成部１４は、１秒前〜０秒の期間、０秒〜１秒後の期間、および１秒後〜２秒後の期間、の３つの期間の皮質脳波データについてそれぞれ相互情報量を算出し（後述の参考例参照）、これらの平均の相互情報量で相互情報量を規格化し、ガウス過程回帰の入力（第二デコーダ作成部１５の入力）とした。
【０１２０】
〔２．３．自由運動〕
〔２．３．１．運動タイミングの推定〕
前述したのと同様にして、上記患者が自由に運動を行い、周波数帯域毎および電極毎のパワーをｍ個の特徴量として抽出した。次に、２００ミリ秒（所定時間）が経過する毎に、規格化相互情報量（正解率）を第二デコーダ６で推定した。本実施例では、第二デコーダ６が、ガウス過程回帰による推定モデルによって、現時点の１秒前から現時点までの１秒間（５周期分）の皮質脳波データのｍ個の特徴量から、１秒間の相互情報量を推定する。トレーニングデータについて推定された相互情報量の一例を、図８（ｂ）の中央のカラム（０〜１秒）に示す。
【０１２１】
そして、推定された規格化相互情報量（正解率）が一定の閾値を超えたかを判定部７で判定し、推定された規格化相互情報量（正解率）が一定の閾値を超えているときのみ、運動種類の推定に適した期間（患者が運動を施行している期間に相当する）であるものと推定して、皮質脳波データのｍ個の特徴量から、使用者が施行した運動の種類を第一デコーダ５によって推定した。
【０１２２】
〔２．３．２．ロボット制御方法〕
次に、前述した図２のＳ１０〜Ｓ１３により、電動義手制御部８が、Ｓ１０にて第一デコーダ５で推定された、患者が施行した運動の種類に基づいて、電動義手６０をリアルタイムで制御する。
【０１２３】
本実施例では、電動義手６０として、本願発明者の一人である電気通信大学の横井浩史教授が開発した電動義手を用いた。この電動義手は、サーボモータで駆動されるものであり、上記サーボモータはマイクロコンピュータで制御される。この電動義手は、現在のところ、指と肘とが駆動される仕様となっているが、今後は、肩も駆動される仕様に変更される予定である。本実施例では、電動義手制御部８は、１３個の制御パラメータの値を含む制御コマンド（制御信号）を電動義手制御装置２０のシリアルポート（図示しない）を介して電動義手６０のマイクロコンピュータへ送信することによって、上記の弁別により推定された上肢運動を実現するように電動義手６０を制御した。
【０１２４】
以上のようにして、音刺激がなく、患者が自由なタイミングで複数の運動の何れかを施行する際の運動（自由運動）においては、図４に示すように、患者の皮質脳波（脳信号）が測定され、機械学習期で記録した皮質脳波の特徴量と運動との対応関係を用いて学習した第一デコーダ５によって、皮質脳波（脳信号）のデータから運動タイミングおよび運動種類を推定し、推定結果に従って電動義手６０（ロボット）を駆動した。
【０１２５】
その結果、本実施例の機器システムによれば、実際に、殆ど訓練されていない被験者が、３次元空間で自由に電動義手６０を制御することができた。したがって、本実施例の機器システムは、推定された運動と同様の運動を電動義手６０にリアルタイムで行わせることができることが分かった。
【０１２６】
〔運動タイミング推定精度の評価〕
次に、本実施例の方法における運動タイミング推定精度を評価した。
【０１２７】
まず、評価のための比較例として、患者が自由運動を行った時の皮質脳波データの特徴量からサポートベクターマシンによって運動タイミングを推定する方法を実施した。
【０１２８】
その推定結果を図６（ａ）および図６（ｂ）に示す。図６（ａ）と図６（ｂ）とでは、設定された推定感度が異なっている。図６（ａ）および図６（ｂ）において、ＥＭＧ＿Ｏｎｓｅｔは、同時計測した筋電図により決定した運動開始時刻と、その時刻に施行された運動種類とを、縦軸の高さで表わしている。ＳＶＭ＿Ｏｎｓｅｔは、この比較例の方法による運動タイミングの推定結果を示す信号（運動タイミングではパワーが１となり、それ以外のタイミングではパワーが０となる信号）である。また、図６（ａ）および図６（ｂ）における、推定された運動開始時点（ＳＶＭ＿Ｏｎｓｅｔの極大点）に最も近い運動開始時点（筋電図の極大点）から、推定された運動開始時点（ＳＶＭ＿Ｏｎｓｅｔの極大点）までの経過時間（推定誤差に相当する）の分布を図７に示す。
【０１２９】
図６および図７の結果から、比較例の方法では、実際には運動を行っていないが、運動タイミングであると判定される場合が多く、運動タイミングの推定誤差が大きいことが分かる。
【０１３０】
次に、患者が自由運動を行った時の皮質脳波データの特徴量から上記実施例の方法（皮質脳波データの特徴量からガウス過程回帰によって推定された正解率が閾値を超えている期間を運動タイミングと推定する方法）によって運動タイミングを推定する方法を実施した。
【０１３１】
その推定結果を図１０に示す。また、上記実施例の方法によって推定される正解率（運動推定精度）を図９に示す。図９および図１０において、ＥＭＧ＿Ｏｎｓｅｔは、筋電図により同定した運動開始時刻とその時刻に施行された運動種類を縦軸の高さで表わしたものである。図１０において、ＧＰＲｏｎｓｅｔ＋ＳＶＭは、実施例の方法による推定された運動のタイミングと、その時刻で第一デコーダにより推定された運動種類とを、１〜３の値で示したものである（運動タイミングでは推定された運動種類により１〜３となり、それ以外のタイミングでは０となる信号）。また、図１０における、推定された運動開始時点（ＧＰＲｏｎｓｅｔ＋ＳＶＭの極大点）に最も近い運動開始時点（筋電図の極大点）から、推定された運動開始時点（ＧＰＲｏｎｓｅｔ＋ＳＶＭの極大点）までの経過時間（推定誤差に相当する）の分布を図１１に示す。
【０１３２】
図９から、推定された正解率がピークを取る位置は、運動開始時点とほぼ一致していることが分かる。また、図６と図１０との比較、および図７と図１１との比較から、実施例の方法では、実際には運動を行っていないが、運動タイミングであると判定される場合が少なく、運動タイミングの推定誤差が小さいことが分かる。したがって、上記実施例の方法によれば、精度良く運動タイミングの判定を行うことができることが分かる。
【０１３３】
〔参考例；データ切り出し期間の検討〕
なお、本実施例では、患者が運動を施行した時の皮質脳波データから、「ポ」に相当するＴＴＬ信号を検知した時点から０秒〜１秒後の期間の皮質脳波データを切り出したが、これは、以下の実験結果に基づいて決定したものである。
【０１３４】
すなわち、まず、「２．１．２．第１の訓練データの収集」で説明したのと同様にして、患者が運動を施行した時の皮質脳波データをデータ切り出し部１１に取り込んだ。次いで、「ポ」に相当するＴＴＬ信号を検知した時点を基準（０秒）として、１秒前（−１秒）〜２秒後の期間の皮質脳波データを、患者が運動を施行した時の皮質脳波データからデータ切り出し部１１にて切り出した。そして、切り出された皮質脳波データを、１秒前〜０秒の期間、０秒〜１秒後の期間、および１秒後〜２秒後の期間、の３つの期間の皮質脳波データに分けた。次いで、特徴量抽出部３により、切り出したそれぞれの期間の皮質脳波データについて、安静時と同じ３つの周波数帯域におけるパワーを電極毎に導出した。さらに、特徴量抽出部１２により、各期間の皮質脳波データについて周波数帯域毎および電極毎に導出されたパワーを安静時のパワーで規格化して、各期間について６０×３個の特徴量（規格化されたパワー）を得た。
【０１３５】
そして、前述の実施例と同様にして、デコーダ訓練セット作成部２にて、３つの期間と複数の運動との組み合わせの全てについてそれぞれ２０〜４０個程度の訓練セットデータを作成し、デコーダ訓練セット作成部１１内の記録部に保存した。そして、前述の実施例と同様にして、デコーダ作成部４により、上記訓練セットデータを用いて、３つの区間それぞれについて、施行した運動の種類を推定する３種類のデコーダ０−１〜０−３を作成した。
【０１３６】
そして、患者が運動を施行した時の１秒前〜０秒の期間、０秒〜１秒後の期間、および１秒後〜２秒後の期間、の３つの期間の皮質脳波データから、これら３種類のデコーダ０−１〜０−３をそれぞれ用いて、患者が施行した運動の種類を推定し、皮質脳波データと該皮質脳波データからデコーダ０−１〜０−３によって推定された結果（運動の種類）との間の相互情報量（運動推定精度；正解率）を上記各期間毎に算出した。その結果を図８（ａ）に示す。この結果から、各期間同士で運動を推定するために得られる皮質脳波の情報量が異なり、０秒〜１秒後の期間の皮質脳波データに基づいて作成されたデコーダの運動推定精度（相互情報量）が最も高いことが分かる。
【０１３７】
また、前述の実施例と同様にして、患者が運動を施行した時の１秒前〜０秒の期間、０秒〜１秒後の期間、および１秒後〜２秒後の期間、の３つの期間の皮質脳波データと、それら皮質脳波データと該皮質脳波データからデコーダ０−１〜０−３によって推定された結果（運動の種類）との間の相互情報量（運動推定精度；正解率）との対からなる第２の訓練データに基づいて、各期間の皮質脳波データから各期間の相互情報量を推定する１つの相互情報量推定モデル（正解率推定モデル）を作成した。上記相互情報量推定モデルとしては、前述の実施例と同様、ガウス過程回帰を用いた。そして、その相互情報量推定モデルによって、各期間の皮質脳波データから各期間の相互情報量を推定した。その結果を図８（ｂ）に示す。この結果からガウス過程回帰を用いた相互情報量推定モデルが推定する相互情報量は、学習に用いた相互情報量の推移と定性的に一致していることが分かる。つまり、このモデルにより、皮質脳波データだけから、その皮質脳波データを用いて運動推定を行った場合に得られると期待される相互情報量の推移を定性的に推定できることが示された。
【０１３８】
以上の結果に基づき、前述の実施例では、汎化能が最も高かった、０秒〜１秒後の期間の全データを使って学習したデコーダ０−２を第一デコーダ５として用いた。また、相互情報量推定モデル（第二デコーダ）として、上記の３期間の皮質脳波データを用いて作成したモデルを用いた。
【産業上の利用可能性】
【０１３９】
本発明は、種々のＢＭＩ技術に利用できる。ＢＭＩ技術の対象は、当面、重症身体障害者が中心となる。筋萎縮性側索硬化症（ＡＬＳ）（年間患者数約７００人、有病者７０００人）、切断肢（年間患者数５０００人、有病者１４．７万人）、脊髄損傷による麻痺（年間患者数５０００人、有病者１０万人）、脳卒中による閉じ込め症候群患者などが対象となる。これらの患者が自分の意思で自由にロボットアームや他の機器を制御することで、患者の生活の質が向上するだけでなく、これらの患者にかかる介護・看護の負担が軽減し、自ら生産的活動を行うことで損失利益を取り戻すことが期待される。また、ＢＭＩ技術は、将来的に、健常人にも適応される可能性があり、本発明は、ＢＭＩの重要な基盤技術といえる。
【０１４０】
また、本発明の機器制御装置を、皮質脳波を計測し脳信号を無線で送信する体内埋め込み型皮質脳波計測機と組み合わせれば、筋萎縮性側索硬化症や脊髄損傷による完全閉じ込め症候群患者が、日常的に、思ったとおりに機器を制御することも可能となると考えられる。
【０１４１】
また、本発明の機器制御装置は、制御信号をコンピュータに送って、コンピュータのカーソル（ポインタ）の位置を脳信号で制御するものとすることもできる。その場合、例えば、使用者が右手を握った状態（右肘を伸ばした状態）への運動を想起すればコンピュータのカーソルが右へ移動し、使用者が右手を開いた状態（右肘を曲げた状態）への運動を想起すればコンピュータのカーソルが左へ移動し、使用者が左手を握った状態（左肘を伸ばした状態）への運動を想起すればコンピュータのカーソルが下へ移動し、使用者が左手を開いた状態（左肘を曲げた状態）への運動を想起すればコンピュータのカーソルが上へ移動するようにすることができる。同様の方法で、他のあらゆる機器の制御、例えば、種々の電気製品（テレビ、照明、エアコン）のリモートコントローラ制御や、電動車椅子の制御、電動ベッドの制御などを、重度運動機能障害者が脳信号を介して思ったとおりに行うことができるようになる。
【符号の説明】
【０１４２】
３ 特徴量抽出部（脳情報抽出手段）
５ 第一デコーダ（推定手段）と、
６ 第二デコーダ（正解率推定手段）
７ 判定部（判定手段）
８ 電動義手制御部（機器制御手段）
２０ 電動義手制御装置（機器制御装置の主要部）
３０ 硬膜下電極（機器制御装置の一部、脳信号測定器）
６０ 電動義手（機器）
【特許請求の範囲】
【請求項１】
使用者の脳信号に基づいて機器を制御する機器制御装置であって、
上記使用者が第１〜第ｎ（ｎは２以上の整数）の身体状態を目標とする複数の運動の何れを施行または想起しているかを第１の推定モデルを用いて上記脳信号の情報から推定する推定手段であって、上記第１の推定モデルが、使用者が施行または想起した運動と上記脳信号の情報との対からなる第１の訓練セットを複数用いた教師付き学習によって予め作成されたものである推定手段と、
上記推定手段による上記脳信号の情報からの推定結果が正解である確率を示す正解率を第２の推定モデルを用いて上記脳信号の情報から推定する正解率推定手段であって、上記第２の推定モデルが、上記脳信号の情報と上記正解率との対からなる第２の訓練セットを複数用いた教師付き学習によって予め作成されたものである正解率推定手段と、
上記正解率推定手段によって推定された正解率が閾値を超えているかを判定する判定手段と、
上記推定手段による推定結果に応じて、上記機器の状態を、上記第１〜第ｎの身体状態にそれぞれ関連付けられた第１〜第ｎの状態の間で第１〜第ｎの状態の中間状態を経て変化するように、多段階に制御する機器制御手段とを備え、
上記推定手段は、上記判定手段によって上記正解率が閾値を超えていると判定されたときのみ、推定を行うものであり、
上記機器制御手段は、
上記推定手段が推定を行ったときであって、かつ、上記推定手段によって推定された運動が目標とする身体状態に関連付けられた上記機器の状態が上記機器の現在の状態と異なるときには、上記機器の状態を、上記推定手段によって推定された運動が目標とする身体状態に関連付けられた上記機器の状態に近づくように、上記多段階の一部の段階だけ変化させることを特徴とする機器制御装置。
【請求項２】
上記脳信号として皮質脳波を測定する脳信号測定器をさらに備えることを特徴とする請求項１に記載の機器制御装置。
【請求項３】
上記脳信号から、上記脳信号における複数の周波数帯域毎のパワーを上記脳信号の情報として抽出する脳情報抽出手段をさらに備えることを特徴とする請求項２に記載の機器制御装置。
【請求項４】
上記機器は、人間の身体の少なくとも一部を模擬するロボットであり、
上記第１〜第ｎの状態は、上記第１〜第ｎの身体状態に対応するロボットの身体状態であることを特徴とする請求項１ないし３の何れか１項に記載の機器制御装置。
【請求項５】
上記推定手段は、上記第１の推定モデルとして弁別器を用いるものであることを特徴とする請求項１ないし４の何れか１項に記載の機器制御装置。
【請求項６】
上記正解率推定手段は、上記第２の推定モデルとして回帰モデルを用いるものであることを特徴とする請求項１ないし５の何れか１項に記載の機器制御装置。
【請求項７】
上記正解率は、分割交差検定によって求められた、使用者の脳信号の情報と、第１の推定モデルによるこの情報からの推定結果との間の相互情報量であることを特徴とする請求項１ないし６の何れか１項に記載の機器制御装置。
【請求項８】
請求項１ないし７の何れか１項に記載の機器制御装置と、
上記機器制御装置によって制御される機器とを備えることを特徴とする機器システム。
【請求項９】
請求項１ないし８の何れか１項に記載の機器制御装置の各手段としてコンピュータを機能させるための機器制御プログラム。
【請求項１０】
請求項９に記載の機器制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１１】
使用者の脳信号に基づいて機器を制御する機器制御方法であって、
使用者が施行または想起した運動と上記脳信号の情報との対からなる第１の訓練セットを用いて教師付き学習を行うことによって、上記使用者が第１〜第ｎ（ｎは２以上の整数）の身体状態を目標とする複数の運動の何れを施行または想起しているかを上記脳信号の情報から推定するための第１の推定モデルを作成する第１の学習ステップと、
上記使用者の複数の脳信号の情報からそれぞれ上記第１の推定モデルによる推定を行い、得られた推定結果が正解である確率を示す正解率を算出する正解率算出ステップと、
上記脳信号の情報と上記正解率算出ステップで算出された正解率との対からなる第２の訓練セットを複数用いて教師付き学習を行うことによって、正解率を推定するための第２の推定モデルを作成する第２の学習ステップと、
上記第２の推定モデルを用いて、上記脳信号の情報から正解率を推定する正解率推定ステップと、
上記正解率推定ステップで推定された正解率が閾値を超えているかを判定する判定ステップと、
上記判定手段によって上記正解率が閾値を超えていると判定されたときのみ、上記使用者が上記複数の運動の何れを施行または想起しているかを上記第１の推定モデルを用いて上記脳信号の情報から推定する推定ステップと、
上記推定ステップによる推定結果に応じて、上記機器の状態を、上記第１〜第ｎの身体状態にそれぞれ関連付けられた第１〜第ｎの状態の間で第１〜第ｎの状態の中間状態を経て変化するように、多段階に制御する機器制御ステップとを含み、
上記機器制御ステップでは、
上記推定ステップで推定が行われたときであって、かつ、上記推定ステップで推定された運動が目標とする身体状態に関連付けられた上記機器の状態が上記機器の現在の状態と異なるときには、上記機器の状態を、上記推定ステップで推定された運動が目標とする身体状態に関連付けられた上記機器の状態に近づくように、上記多段階の一部の段階だけ変化させることを特徴とする機器制御方法。
【請求項１】
使用者の脳信号に基づいて機器を制御する機器制御装置であって、
上記使用者が第１〜第ｎ（ｎは２以上の整数）の身体状態を目標とする複数の運動の何れを施行または想起しているかを第１の推定モデルを用いて上記脳信号の情報から推定する推定手段であって、上記第１の推定モデルが、使用者が施行または想起した運動と上記脳信号の情報との対からなる第１の訓練セットを複数用いた教師付き学習によって予め作成されたものである推定手段と、
上記推定手段による上記脳信号の情報からの推定結果が正解である確率を示す正解率を第２の推定モデルを用いて上記脳信号の情報から推定する正解率推定手段であって、上記第２の推定モデルが、上記脳信号の情報と上記正解率との対からなる第２の訓練セットを複数用いた教師付き学習によって予め作成されたものである正解率推定手段と、
上記正解率推定手段によって推定された正解率が閾値を超えているかを判定する判定手段と、
上記推定手段による推定結果に応じて、上記機器の状態を、上記第１〜第ｎの身体状態にそれぞれ関連付けられた第１〜第ｎの状態の間で第１〜第ｎの状態の中間状態を経て変化するように、多段階に制御する機器制御手段とを備え、
上記推定手段は、上記判定手段によって上記正解率が閾値を超えていると判定されたときのみ、推定を行うものであり、
上記機器制御手段は、
上記推定手段が推定を行ったときであって、かつ、上記推定手段によって推定された運動が目標とする身体状態に関連付けられた上記機器の状態が上記機器の現在の状態と異なるときには、上記機器の状態を、上記推定手段によって推定された運動が目標とする身体状態に関連付けられた上記機器の状態に近づくように、上記多段階の一部の段階だけ変化させることを特徴とする機器制御装置。
【請求項２】
上記脳信号として皮質脳波を測定する脳信号測定器をさらに備えることを特徴とする請求項１に記載の機器制御装置。
【請求項３】
上記脳信号から、上記脳信号における複数の周波数帯域毎のパワーを上記脳信号の情報として抽出する脳情報抽出手段をさらに備えることを特徴とする請求項２に記載の機器制御装置。
【請求項４】
上記機器は、人間の身体の少なくとも一部を模擬するロボットであり、
上記第１〜第ｎの状態は、上記第１〜第ｎの身体状態に対応するロボットの身体状態であることを特徴とする請求項１ないし３の何れか１項に記載の機器制御装置。
【請求項５】
上記推定手段は、上記第１の推定モデルとして弁別器を用いるものであることを特徴とする請求項１ないし４の何れか１項に記載の機器制御装置。
【請求項６】
上記正解率推定手段は、上記第２の推定モデルとして回帰モデルを用いるものであることを特徴とする請求項１ないし５の何れか１項に記載の機器制御装置。
【請求項７】
上記正解率は、分割交差検定によって求められた、使用者の脳信号の情報と、第１の推定モデルによるこの情報からの推定結果との間の相互情報量であることを特徴とする請求項１ないし６の何れか１項に記載の機器制御装置。
【請求項８】
請求項１ないし７の何れか１項に記載の機器制御装置と、
上記機器制御装置によって制御される機器とを備えることを特徴とする機器システム。
【請求項９】
請求項１ないし８の何れか１項に記載の機器制御装置の各手段としてコンピュータを機能させるための機器制御プログラム。
【請求項１０】
請求項９に記載の機器制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１１】
使用者の脳信号に基づいて機器を制御する機器制御方法であって、
使用者が施行または想起した運動と上記脳信号の情報との対からなる第１の訓練セットを用いて教師付き学習を行うことによって、上記使用者が第１〜第ｎ（ｎは２以上の整数）の身体状態を目標とする複数の運動の何れを施行または想起しているかを上記脳信号の情報から推定するための第１の推定モデルを作成する第１の学習ステップと、
上記使用者の複数の脳信号の情報からそれぞれ上記第１の推定モデルによる推定を行い、得られた推定結果が正解である確率を示す正解率を算出する正解率算出ステップと、
上記脳信号の情報と上記正解率算出ステップで算出された正解率との対からなる第２の訓練セットを複数用いて教師付き学習を行うことによって、正解率を推定するための第２の推定モデルを作成する第２の学習ステップと、
上記第２の推定モデルを用いて、上記脳信号の情報から正解率を推定する正解率推定ステップと、
上記正解率推定ステップで推定された正解率が閾値を超えているかを判定する判定ステップと、
上記判定手段によって上記正解率が閾値を超えていると判定されたときのみ、上記使用者が上記複数の運動の何れを施行または想起しているかを上記第１の推定モデルを用いて上記脳信号の情報から推定する推定ステップと、
上記推定ステップによる推定結果に応じて、上記機器の状態を、上記第１〜第ｎの身体状態にそれぞれ関連付けられた第１〜第ｎの状態の間で第１〜第ｎの状態の中間状態を経て変化するように、多段階に制御する機器制御ステップとを含み、
上記機器制御ステップでは、
上記推定ステップで推定が行われたときであって、かつ、上記推定ステップで推定された運動が目標とする身体状態に関連付けられた上記機器の状態が上記機器の現在の状態と異なるときには、上記機器の状態を、上記推定ステップで推定された運動が目標とする身体状態に関連付けられた上記機器の状態に近づくように、上記多段階の一部の段階だけ変化させることを特徴とする機器制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−１８６６６７（Ｐ２０１１−１８６６６７Ａ）
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願番号】特願２０１０−４９８１４（Ｐ２０１０−４９８１４）
【出願日】平成２２年３月５日（２０１０．３．５）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２１年度、文部科学省、平成２１年度科学技術試験研究委託事業「日本の特長を活かしたＢＭＩの統合的研究開発」（皮質脳波を用いたブレインマシンインターフェースによる脳機能再建）に係る委託研究、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（５０４１７６９１１）国立大学法人大阪大学 (1,536)
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【出願人】（５０４１３７９１２）国立大学法人 東京大学 (1,942)
【Ｆターム（参考）】
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願日】平成２２年３月５日（２０１０．３．５）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２１年度、文部科学省、平成２１年度科学技術試験研究委託事業「日本の特長を活かしたＢＭＩの統合的研究開発」（皮質脳波を用いたブレインマシンインターフェースによる脳機能再建）に係る委託研究、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（５０４１７６９１１）国立大学法人大阪大学 (1,536)
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【出願人】（５０４１３７９１２）国立大学法人 東京大学 (1,942)
【Ｆターム（参考）】
[ Back to top ]