意思伝達支援装置
【課題】適用対象が広く、侵襲性・安全性・持続性などに優れた、文字や図形の形態情報を直接伝えることのできる意思伝達支援装置を提供する。
【解決手段】脳の視覚連合野を含む領域の複数の計測点における脳の電気的特性を求める多点計測部と、呈示された画像と、該画像を呈示した際における多点計測した脳の前記電気的特性と、を相互に対応付ける変換処理部とを備えることにより、対象物、例えばイメージしている文字、を特定する。
【解決手段】脳の視覚連合野を含む領域の複数の計測点における脳の電気的特性を求める多点計測部と、呈示された画像と、該画像を呈示した際における多点計測した脳の前記電気的特性と、を相互に対応付ける変換処理部とを備えることにより、対象物、例えばイメージしている文字、を特定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、意思伝達支援技術に関し、特に、脳の運動野に損傷が及ぶ患者に対しても有用な、視覚的イメージによる意思伝達支援装置に関する。
【背景技術】
【０００２】
重症の脳卒中など脳の傷病が原因で寝たきりになった患者の中には、絵や文字を見て理解はできるが、自由に手足を動かすことも言葉を発することもできないため自らの意思をうまく伝えることが困難な場合が多い。
【０００３】
従来から、意思伝達能力が低下した患者に適用できるいくつかの意思伝達技術が提案されている。たとえば、下記特許文献１には、筋萎縮性側索硬化症（amyotrophic lateral sclerosis: ALS）などの患者の運動支援と意思伝達支援を脳波を利用した技術により支援する装置が開示されている。特許文献１では、筋肉や末梢神経の障害による重度の運動障害者が、脳機能は正常で視聴覚機能は残存している状態でも会話や筋力による意思伝達の情報発信手段を失ったときに、脳波信号を利用した「脳波スイッチ」で意思伝達を代替する技術に関して開示されている。
【０００４】
図９は、特許文献１に記載の技術例のような従来の運動出力型意思伝達支援方法の概略を示すブロック図である。視覚情報Ｓ１は、視覚受容器１０５を介して、脳内に取り入れられ、視覚連合野のネットワーク１０６における情報処理により、形態に対する脳の応答である形態信号に変換される。さらに、視覚連合野１０６から運動野１０７にかけての情報処理でこの形態信号はどのような運動を行うかという運動プラン、すなわち上下左右などの移動方向への運動の意図、に変換される。この運動プランに関する信号を、脳又は頭部に取り付けられた計測部１１１により計測し、変換処理部１０１により解読する。変換処理部１０１における運動プランの解読結果に基づいて、義手やカーソル等１１５の動きの方向を指示する指示情報を生成し、複数配置されている文字、図形などの指示対象のうちから、所望の図形・文字の位置、ひいては図形・文字の種類を指定することで、意思伝達を支援することができる（１１７）。尚、変換処理部１０１は一般的なＰＣにより構成することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特願平５−１６０８８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１に記載の技術には、以下に述べるような問題点がある。
第一に、運動出力型意思伝達支援技術は、大脳運動野の局所の神経活動から運動プランを特定しているため、対象がALSや閉じ込め症候群などの稀な疾患に限られ、運動野自体に損傷が及ぶ患者には適用できなかった。例えば脳卒中（脳血管障害）は介護を必要とする国内最多の原因であるが、上記の方法では運動野に障害が及ぶ脳卒中患者への支援はできない、という原理的問題があった。
【０００７】
第二に、脳波、筋電図、眼球運動、近赤外光等の非侵襲的な計測手段を用いる既存の意思伝達支援装置は、前記運動プランに基づくカーソル等の動きで対象の配置から間接的に指示する方法、ないし一度に１ビットずつYES/NOで下す判断を伝えるという方法、を積み重ねながら意思を表示しなければならなかった。このため、例えばたった一つの文字を選ぶだけでも、多くの候補の中から絞り込む複数のプロセスを経るため、指示までに膨大な時間を要するという問題があった。また、上記のような非侵襲的な意思伝達方法は、使用者である患者にとって負担の大きい訓練が必要になるという問題があった。しかも訓練が大変な割には意思伝達の効率が速度も確度も低かった。
【０００８】
このように既存の意思伝達方法は、使用できる患者が限られていたり、使用のためには訓練の負担が大きかったり、効率が低い、という問題があった。
本発明は、適用対象が広く、効率の優れた意思伝達支援装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、重度の言語/コミュニケーション能力の障害を持つ脳損傷患者を対象に、頭に思い浮かべた物が何であるかを的確に読み取って、その視覚的イメージを伝える支援のために開発したものである。
【００１０】
本発明者らは、上記の問題を解決するため、多点微小電極法、もしくは、微小電極法より低い侵襲で、脳波より格段に高い信号感度が得られる、皮質脳波（Electrocorticogram: ECoG）多点計測法を用いた（この、ECoG多点計測法に関しては、特開２００５−１３１３１１号公報参照）。
【００１１】
図９に示す従来の方法のように大脳運動野で生成された運動情報を利用しカーソル１１５等の位置を指定する媒体を介して意思伝達を支援するのではなく、本発明者らは物の形態の認識に関係する大脳の高次視覚連合野を含んだ広範囲から多点計測して得た脳の電気的特性を線形変換等の関数を用いて変換することにより、どの物体（あるいは文字）を選びたいかを直接出力することにより、運動野に損傷が及ぶ患者にも適用でき、リアルタイムで視覚イメージを選ぶ意思を伝えることが可能な、意思伝達方法および視覚的イメージによる意思伝達装置を発明したものである。
【００１２】
すなわち、従来は、運動野からの信号に基づいて、動きの方向を指示したり、一度に１ビットずつYES/NOで下す判断を伝えるという方法を積み重ねたりすることにより対象を指示していたのに対して、本発明では、高次の視覚野からの形態に関する視覚情報に基づいて対象を特定するため、入力部などによる方向指示過程が不要であり、対象物を視覚イメージにより直接選ぶことができる点で大きく異なる。
【００１３】
本発明の一観点によれば、脳の視覚連合野を含む領域の複数の計測点における脳の電気的特性を求める多点計測部と、呈示された画像と該画像を呈示した際における多点計測した脳の前記電気的特性とを相互に対応付ける変換処理部と、を有することを特徴とする意思伝達支援装置が提供される。この装置を用いれば、画像選択肢を呈示しながらそのうちの一つを択一形式で選ばせる方法、又は、画像の視覚的イメージを想起させる方法により、前記多点計測部で計測した脳の電気的特性の集合に対して前記変換処理部における対応付けに基づいて伝えたい画像又は視覚イメージを特定して実時間で意思伝達を支援することができる。
【００１４】
また、画像を画素ごとの色情報から構成される地図(ビットマップ)として特定する方法では、画像の大きさ・位置・明るさ・色などの物理的特性が変われば視覚対象を同じ「物」として同定することが難しいが、本発明の方法では画像のイメージを（例えばアルファベット26文字の１つ、のように）有限個の物体の集合のうちの一つとして直接特定するため、物理的特性に依存しない同じ「物」として同定することが可能となる。
【００１５】
また、本発明は、脳の視覚連合野を含む領域の複数の計測点における電位計測値に基づき脳の電気的特性を求める多点計測部と、画像を呈示する画像呈示部と、画像と多点計測した脳の前記電気的特性とを相互に対応付ける変換処理部と、を有し、前記画像呈示部が画像選択肢を呈示しながらそのうちの一つを択一形式で選ばせる方法、又は、画像の視覚的イメージを想起させる方法により、前記多点計測部で計測した脳の電気的特性に対して、前記変換処理部における対応付けに基づいて、伝えたい画像又は視覚イメージを特定して、実時間で意思伝達を支援する意思伝達支援装置である。
【００１６】
前記視覚連合野を含む領域が、高次視覚連合野を中心とした領域であり、少なくとも側頭葉ないし後頭葉の腹側部、または前頭葉の視覚関連領域のいずれかを含むことが好ましい。このようにすれば、物体視ないし形態視に特化した脳の領域からの信号を扱うことができる。
【００１７】
前記画像呈示部が呈示した画像と、前記多点計測部が多点計測した脳の電気的特性と、を対応付ける変換関数を前記変換処理部が最適化するように計算することが好ましい。前記多点計測部の計測手段として、前記ECoG法を利用すると良い。これにより、微小電極法に比べ低侵襲的に、脳波に比べ高い信号雑音比かつ高時間分解能で、脳の広範囲を網羅した安定記録が可能となる。また、脳の外表面に加えて、脳溝の内部にも前記ECoG電極を配置するようにしても良い。大脳皮質の半分（ないし半分以上）を占める脳溝の信号を取り込むことで、動作の効率が格段に改善することができる。
【００１８】
前記電気的特性として、各計測点における視覚刺激に同期した電位の変位（視覚誘発電位)又は視覚刺激に同期した電位の特定の周波数帯域成分（例としてγ周波数帯域成分）の変化、又は視覚刺激に同期したスパイク（活動電位）発生頻度の変化を用いることが好ましい。
【００１９】
前記対応付けのための変換関数として、Ｖ=ｆ（Ｒ）で表される関数を用い、ｆのパラメータをデータから最適化する演算を行うことが可能である。ｆとしては、線形判別、線形回帰、ニューラルネットワーク、カーネル法、など様々なモデルを使うこことができる。
【００２０】
さらに、前記対応付けのための変換関数として、線形変換を用い、入力ベクトル（呈示している視覚刺激の種類（ｖ））から出力ベクトル（視覚事象関連誘発電位のピーク値（R））に線形変換する行列の係数を最適化する、「多点神経活動⇔物体視覚イメージ」対応学習相を経て、学習後、多点計測により得られる多点脳活動計測データ（R）を入力ベクトルとし、前記「多点神経活動⇔物体視覚イメージ」対応学習相で最適化した行列の逆行列を入力ベクトルに乗じて出力を求めることにより、それに対応する適切な対象物を推定する、という方法もある。さらにまた、直接vをRの関数として直接推定するモデルを立てて、パラメータを最適化する、という方法もある。
【００２１】
本発明の他の観点によれば、脳の視覚連合野を含む領域の複数の計測点における電位計測値に基づいて脳の電気的特性を計算する多点計測ステップと、画像を呈示する画像呈示ステップと、画像と多点計測した脳の電気的特性とを相互に対応付ける変換処理ステップと、を有し、予め、前記画像呈示ステップで呈示した画像と前記多点計測ステップで多点計測した脳の電気的特性とを学習アルゴリズムによって対応づけるステップと、前記画像呈示ステップが画像選択肢を呈示しながらそのうちの一つを択一形式で選ばせるステップ、又は、目の前にない画像の視覚的イメージを想起させながら、前記多点計測ステップで計測した脳の電気的特性の集合に対して前記変換処理ステップにおいて前記対応付けにより、伝えたい画像または視覚イメージを特定して実時間で意思伝達を支援するステップと、を有する意思伝達支援方法が提供される。
本発明は、コンピュータに、上記に記載の意思伝達支援方法を実行させるためのプログラムであっても良く、該プログラムを記録する記録媒体であっても良い。
【発明の効果】
【００２２】
本発明の意思伝達支援装置は、既存の意思伝達支援装置の適応対象であったALSや閉じ込め症候群、脊髄損傷などの稀な傷病のみならず、従来は意思表示支援技術の恩恵に預かれなかった、脳卒中などの傷病のため感覚・理解は保たれているが運動・言語表出能力が著しく低下している、桁違いに多数の重症患者の母集団に対して適応でき、これらの患者に視覚イメージにより意思表示を支援する新しい手段を提供することが可能である。
なお、多点ECoG電極を用いると、多点微小電極を用いた方法に比べて低侵襲的な意思伝達方法であるため、安全面で優れている。
【００２３】
本発明の意思伝達支援装置は、従来よりも格段に広い適応対象の患者に対して高速かつ精確に視覚イメージによる意思表示を支援することが可能な医療機器として、医療、福祉、教育を始め多様な産業分野への応用が可能である。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施形態による視覚的イメージによる意思伝達支援装置の概略を示す機能ブロック図である。
【図２】ＥＣｏＧ多点電極の配置位置の一例を示す頭部の断面図である。
【図３】実際のＥＣｏＧ多点電極の配置位置の一例を示す脳の側面図である。
【図４Ａ】視覚連合野に配した一本の微小電極により、７０通りの異なる画像（Ｋ０００からＫ０６９まで）呈示に同期して得られる活動電位発火頻度の変化を示すヒストグラム（右下）と、特定の画像（K０４８）呈示に伴う電位の経時変化を示す（左上）図である。
【図４Ｂ】円内に示される、視覚連合野に配した多点ECoG電極のそれぞれの計測点における視覚刺激呈示に伴うECoG波形の時間変化（視覚誘発電位）を示す図（空間的な分布図）である。
【図４Ｃ】図４Ｂに対応する図であり、それぞれの電極位置においてECoG視覚誘発電位を高速フーリエ変換により周波数解析した結果を示す２次元分布図である。
【図５】本実施形態による意思伝達技術の動作方式を、概略的に示す図である。
【図６】本実施形態による意思伝達装置の一構成例を示す機能ブロック図であり、図５における記録システム及びBMIに相当する図である。
【図７】本実施形態による学習課程（対応学習相）の処理の流れを示すフローチャート図である。
【図８】本実施形態による意思伝達相の処理の流れを示すフローチャート図である。
【図９】特許文献１に記載の技術のような従来の運動出力型意思伝達支援方法の概略例を示すブロック図である。
【発明を実施するための形態】
【００２５】
以下に、本発明の一実施形態による意思伝達支援装置について図面を参照しながら説明を行う。
図１は、本実施の形態による視覚的イメージによる意思伝達支援装置の概略的なイメージを示す機能ブロック図である。本実施の形態による意思伝達支援装置、すなわちＢｒａｉｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ（ＢＭＩ）Ａにおいて、人間がある対象、例えば文字“Ｘ”を見た時の画像刺激（ｖ）に基づく視覚情報Ｓ１は、視覚受容器５（網膜）から視覚神経系を介して脳に到達し、脳内の、一次視覚野を経て視覚連合野６により形態に特異的な応答信号Ｓ２に変換される。文字“X”とは異なる文字“Ｙ”を見た時には、異なる形態応答信号が得られる。この画像刺激（ｖ）による脳の形態信号Ｓ２そのものを微小電極法またはECoG法により多点電位測定部１０により計測する。多点電位測定部１０から同時計測して得られた電位計測値から、画像刺激（ｖ）に同期した脳の電気的特性を抽出することができる。ここで、電気的特性とは１．画像刺激（ｖ）に同期してみられる電位のベースラインからピークまでの変化（すなわち視覚誘発電位）、２．画像刺激（ｖ）に同期してみられる電位の特定の周波数帯域成分（例として30-100Hzのγ周波数帯域）の構成の変化、３．画像刺激（ｖ）に同期してみられる神経の活動電位（スパイク）発生頻度、のいずれかを指す。
【００２６】
画像刺激（ｖ）に同期して各計測点で観測される電気的特性の集合を神経活動（ｒ）として、画像（ｖ）の情報と共にＢＭＩＡの変換処理部１に入力する。そして、呈示している、あるいはイメージしている画像（ｖ）から神経活動（ｒ）を導く変換関数を、変換処理部１において求め、その結果を変換関数、例えば計測点数×画像数の線形行列、としてメモリ３に記憶しておく。メモリ３に記憶された変換関数の逆関数、例えば上記線形行列の逆行列、を用いて、対象物（文字等）を画像イメージとして特定すべき場合に脳で観測される神経活動（ｒ）から、変換処理部１において逆変換して対応する画像（ｖ）を求めることにより、イメージしている対象物、例えば文字を特定することができる。このように、逆変換をするという方法もあるし、vをRの関数として直接推定するモデルを立てて、パラメータを最適化する、という方法もある。この関数としては、線形判別、線形回帰、ニューラルネットワーク、カーネル法、などさまざまなモデルが可能である。図１に示す方法によれば、図形・文字等を直接的に指示することができる（８）。
【００２７】
図２は、頭部ＢにおけるＥＣｏＧ電極の配置位置の一例を詳細に示す図であり、頭部Ｂの一部分の断面構造を示す図である。頭部Ｂは、外側表面の皮膚から内部に向けて、頭蓋骨、硬膜、脳Ｃという順番で配置している。ＥＣｏＧ電極は、脳Ｃの最表面の大脳皮質の表面及び／又は脳溝の表面に、多数、散点状に配置されている。ＥＣｏＧ電極は頭部に留置することになるが、大脳皮質の表面に配置するだけでも良いため（数を限定するものでない）、脳Cに刺入する剣山型の多点微小電極を用いる方法に比べて、より低侵襲型の電極配置方法ということができる。
【００２８】
尚、剣山型多点微小電極による運動出力型BMIの先行技術は以下のものが挙げられる。
文献：Hochberg LR et al Nature 442, 164-71, 2006、Neuronal ensemble control of prosthetic devices by a human with tetraplegia.
【００２９】
図３は、実際の多点電極の配置例を示す脳の側面図である。図３に示すように、ＥＣｏＧ電極は、視覚に関連する上側頭溝より腹側の物体視に関連した下側頭葉から後頭葉腹側部にかけての視覚連合野の領域に配置されている（範囲１：ＴＥ野、ＴＥＯ野、Ｖ４野を含む）。また、ＥＣｏＧ電極は、物体視に関連した前頭葉の領域（範囲２）に配置されても良い。ＥＣｏＧ電極を範囲１のみに配置しても良いし、範囲２のみに配置しても、同時に配置しても良い。
【００３０】
次の文献１に記載されている通り、前頭葉ではより大まかな物のカテゴリーに関する情報が、側頭葉から後頭葉腹側面にかけての物体視の中枢では、（同一カテゴリー内の）物のより精緻な識別に関する情報が処理されるため、本発明の実施にはこのいずれか、特に後者に電極を配することが、重要である。
文献１：Hasegawa I, Miyashita Y. Nat Neurosci 5, 90-91, 2002 Categorizing the world: expert neurons look into key features.
尚、ＴＥ野、ＴＥＯ野、Ｖ４野が定義されている文献の例として、以下の文献２がある。
文献２：http://web.sc.itc.keio.ac.jp/anatomy/kokikawa/visual_auditory/visual_auditory.html
【００３１】
次に、電極を実際の脳に図２のように配置した場合に得られる、電気的特性の一例について説明する。図４Ａは、多点電極ではなく１点電極であるが、Ｋ０００からＫ０６９までの７０通りの異なる画像（視覚イメージ）の呈示に対応して側頭葉の視覚連合野で、微小電極法で得られる神経活動電位（スパイク）の発生頻度の変化を示すヒストグラム（右下）と、特に画像K０４８呈示に伴う電位の経時変化（紫色の線）を示す波形例（左上）である。左上の波形で、活動電位は、ところどころに高い電位の棘として見られる。矢頭で示した横方向に延びる電位一定の直線は、閾値（しきい値）を示し、電位の棘がこの閾値を超えたときにスパイクとして頻度を数えるための基準である。この閾値以下の信号はノイズレベルとみなせる。すなわち、閾値以上の電位が得られるとこれを一回のスパイクの発生としてカウントする。左上から右下に通る矢印の先端の図は、画像番号０４８を呈示した際のスパイク発生度数の時間変化を示すヒストグラム図であり、この度数が多いほど、視覚刺激に対する脳の神経応答が大きいとみなすことができる。これらの度数分布は、呈示された画像に固有のいわゆる指紋のような脳のプロファイルであり、画像と脳からの信号との対応付けに供する電気的特性のひとつである。つまり、異なる画像を呈示すると、異なるヒストグラムが得られるため、画像とヒストグラムの対応を保存しておけば、これにより逆にヒストグラムから画像を特定することも可能となる。
【００３２】
図４Ｂは、円内に示される視覚連合野に配した多点ECoG電極（計測点番号はその下に示されている。）のそれぞれの計測点における視覚刺激呈示に同期したECoG波形の時間変化、すなわち視覚誘発電位（Visually evoked potential）を示す図（空間的な分布図）である。各計測点における視覚刺激呈示の開始時刻を黒い縦線で、電位波形を赤色の線で、示す。電極の配置位置によって、同じ画像を見せた場合でも、脳からの電位の波形は異なることがわかる。このように、ECoG波形の視覚誘発電位の多点計測部位にわたる空間分布もまた、画像に固有のいわゆる指紋のようなプロファイルとして対応づけられる脳の電気的特性のひとつに相当するものである。
【００３３】
図４Ｃは図４Ｂに対応する図であり、それぞれの計測点における視覚刺激呈示に同期したECoG（視覚誘発電位）を高速フーリエ変換（fast fourier transformation: ＦＦＴ）により周波数解析した結果を示す２次元分布図である。計測点ごとに示すグラフでは、横軸は時間、縦軸は周波数を示し、添付したカラー図面において明らかなように、視覚刺激呈示後特定の時刻におけるECoGの特定の周波数成分の大きさ（パワー）を色により表示している。ここで、特定の時刻における低周波から高周波まで全域にわたる成分の連続体（縦軸に平行な帯状の部分）を周波数スペクトラムと呼ぶ。縦軸に図４Ｃから明らかなように、各時刻の周波数スペクトラムでは、一般に低周波数成分ほどパワーが強い傾向になっているが、電極の配置される位置によっては、視覚刺激呈示後約ニ百ミリ秒で、スペクトラム内でパワーの強弱の分布が一過性に変化する現象が認められる（特に右上方を中心とした配置領域において）。このように、ECoGの周波数成分の応答の空間分布という、図４Ｂとは異なる電気的特性も、画像に固有の指紋のような脳のプロファイルであり、画像と対応付けられるものである。
【００３４】
図５は、本実施形態による意思伝達技術の動作方式を、概略的に示す図である。図５に示すように、本実施形態による意思伝達技術は、(1)「多点神経活動（ｒ）⇔視覚イメージ（ｖ）」対応学習相と、(2)リアルタイム意思伝達相と、の２段階からなっている。
【００３５】
(1)太線の矢印で示すように、「多点神経活動（ｒ）⇔物体視覚イメージ（ｖ）」対応学習相では、
まず、有限個の文字または図形（アイコンなど）のセット（「Ａ、Ｂ、Ｃ、…など」）のうちから個々の文字又は図形１つずつを無作為に選んで順次呈示し（視覚刺激（ｖ）の呈示）、上述のように、被験者の大脳の高次視覚連合野である後頭葉から側頭葉において数十から数百の記録電極、例として多点ECoG記録電極、をおき、例えば視覚誘発電位等の電気的特性を測定する。電気的特性を定量化するには、例として個々の画像呈示に対する視覚誘発電位のベースラインからピ−ク値までの高さ（電位差）に着目する。
多点計測データ（ｒ）は、後述するように、高入力インピーダンスの増幅器で増幅した後、AD変換ボードにおいてデジタル化し記録する。
【００３６】
このようにして得られた多点計測データのうち、大脳の高次視覚連合野である後頭葉から側頭葉の多数（数十から数百）の記録チャネル由来のデータ（例として視覚事象関連誘発電位のピーク値（ｒ））の集合をベクトルＲとし、呈示している視覚刺激の種類をベクトルVとし、ベクトルVとベクトルＲとの対応付けを決める関数（例として線形変換する行列の係数）をＰＣの演算部により最適化するよう、刺激を繰り返し呈示してデータを収集する。一例として、ベクトルVを入力、ベクトルRを出力とする線形変換の行列は以下のようになる。
【００３７】
【数１】
【００３８】
(2)意思伝達相では、このようにして最適化された変換関数ないし逆関数（例として線形変換行列の逆行列）を利用する。すなわち、先ほどの例では、今度は試行ごとに得られる多点脳活動計測データ（R）を入力ベクトルとし、(1)で最適化した行列の逆行列Ｘ−１を入力ベクトル（Ｒ）に乗じて出力ベクトル（V）を求めることにより、被験者が呈示されている物体画像刺激のうちどれを選びたいのか、あるいは被験者が目の前にないどの物体を選ぼうと思い描いているかを、推定することができる。これにより、「選びたい物体画像の視覚的イメージ」を数十個の刺激セットの中から脳活動（R）に基づきリアルタイムに視覚イメージｖとして特定することができる。
【００３９】
【数２】
【００４０】
学習手順に関する詳細については、後述する。次に、本発明の意思伝達装置の具体的な構成について説明する。
図６は本実施の形態による意思伝達支援装置の信号処理部分の一構成例を示す機能ブロック図であり、図５における記録システム及び変換処理部に相当する。
【００４１】
本発明の意思伝達装置Ｄは、多点ＥＣｏＧ電極２１と、多点ＥＣｏＧ電極２１側から順番に、初段前置増幅器（ヘッドアンプ）２３と、前置増幅器本体（プリアンプ）２５と、周波数帯域フィルタ（ワイドバンド）２７と、ＡＤ変換器３１と、ＰＣ（情報処理部）１と、を有して構成されている。ＰＣ１（図１の変換処理部に相当する）には、ＣＰＵ１ａとメモリ３とが設けられており、一般的な情報処理（統計処理など）を行うことができる。
【００４２】
図６において、多点ＥＣｏＧ電極２１は、視覚刺激ｖを呈示した際に生じた脳内の電位を検出するために脳の表面に留置する多点電極であり、広範囲の大脳分散ネットワークからサンプリングバイアスなく多数の神経細胞の集合活動としての局所フィールド電位（local field potential: LFP）を捉えるためには、ＥｃｏＧ多点電極法を用いるのが好ましい。初段前置増幅器（ヘッドアンプ）２３は、多点ＥＣｏＧ電極２１とはコネクタで一対一に接続されており、多点ＥＣｏＧ電極２１で捉えた例えば数μＶ程度の微弱な電位を高インピーダンスで受け、増幅し、低インピーダンスで出力するための初段の前置増幅器（ヘッドアンプ）である。前置増幅器本体（プリアンプ）２５は、初段前置増幅器（ヘッドアンプ）２３の信号をさらに安定した信号に高倍率に増幅する機能を有する。
【００４３】
周波数帯域フィルタ２７は、使用する周波数成分帯域、主として（ａ）視覚事象関連誘発電位としての０（直流成分）〜２９Ｈｚの信号成分や（ｂ）γ帯域の信号３０〜１００Ｈｚの周波数帯域成分を抽出して、使用しない周波数帯域、例えば数百Ｈｚ以上の高周波成分のノイズ、を遮断するためのフィルタである。３０Hｚ未満の低周波成分を選択透過させるローパスフィルターと、３０〜１００Hｚの成分を選択透過させるバンドパスフィルターを並列につないでも直列につないでもよいし、また一台のフィルターで両者の機能を有する物を用いても良い。さらに、ローパスフィルターの代わりに、０．３Hｚ以上３０Hｚ未満、とか１Hｚ以上３０Hｚ未満、のように直流成分を遮断するバンドパスフィルターを用いても良い。この周波数帯域フィルタ２７を通過させることにより、多点ECoG電極２１により測定された皮質脳波から、（ａ）視覚事象関連誘発電位と、（ｂ）γ帯域の信号として用いるために必要な周波数帯域のデータを抽出することもできるし、フィルタでは、（ａ）（ｂ）を一塊として通し、のちに情報処理部（コンピュータ）で両者を分離する、という方法も可能である。ＡＤ変換器３１は、（ａ）視覚事象関連誘発電位と（ｂ）γ帯域の信号を別々に、或いは一塊としてコンピュータに入力するため、アナログ信号をデジタル信号に変換するAD変換器である。このＡＤ変換器を通してコンピュータに記録された波形の一例が図４Ａ、図４Ｂに例示された信号であり、横軸が時間、高さが電位を示している。尚、コンピュータには、各種演算を行うＣＰＵ（制御部）、記憶領域であるメモリ（プログラムも記録する）などが設けられている。
【００４４】
得られた電位をウィンドウディスクリミネータにより二値化することにより、活動電位（スパイク）としてカウントでき、その発生頻度が数えられるようになる。ウィンドウディスクリミネータ機能を図６に付加するためには二つの方法がある。第一に、ウィンドウディスクリミネータはハードウエアとしてフィルタ２７とＡＤ変換器３１の間に接続してもよい。この場合、スパイクの発生時刻の列を電位の波形とは別にコンピュータに入力し記録する。第二に、ウィンドウディスクリミネータは、コンピュータのプログラムとしてソフト的に付加することもできる。この場合、計測時にオンラインでスパイク発生を検出することもできるし、計測後にオフライン的に検出することもできる。このようにして検出したスパイクの発生頻度は、脳の電気的特性のひとつとして画像との対応付けに利用することが可能となる。
【００４５】
本実施形態においては、被験者が想起した画像または文字等を判別するために、ニューラル・ネットの技術を使用することができる。図７は、本実施形態による学習課程（対応学習相）の処理の流れを示すフローチャート図である。処理が開始されると（ＳＴＡＲＴ）、ステップＳ１において、図形又は文字セット等の対象から、無作為に1つを選択して被験者に呈示すると同時に、視覚刺激ｖの種類と呈示時刻を変換処理部に入力する。
【００４６】
ステップＳ２において、視覚刺激ｖ呈示に同期した脳の電気的特性の一例として、皮質脳波を多点ECoG電極により多点記録する。ステップＳ３では、多点記録により得られた電位を増幅処理する。ステップＳ４において、増幅した値をＡ／Ｄ変換し、神経活動R（視覚事象関連該当電位のピーク値）の集合を変換処理部に入力する。この際、ステップＳ１で呈示した視覚刺激ｖと神経活動Rと係数ａとを対応させるために、行列の係数（ａ、ｂ）（後述する）を最適化しメモリに記憶させる。ステップＳ６で学習を終了させるか否かを判断し、ＹＥＳの場合には処理を終了し、ＮＯの場合には、ステップＳ１に戻り、学習を繰り返す。
【００４７】
図８は、本実施形態による意思伝達相の処理の流れを示すフローチャート図である。処理が開始されると（ＳＴＡＲＴ）、ステップＳ１１において、被験者の神経活動データRを計測して、脳の電気的特性として変換処理部に入力する。ステップＳ１２において、メモリに記憶された係数ａ、ｂとRより、被験者の選びたい視覚イメージｖを求めることができる。ステップＳ１３において、ｖと、メモリに記憶されているｍ個の既知画像（V１〜Vm）までの距離を求め比較する。これにより最も短い距離に対応するVｋを求め、ステップＳ１５において、Vｋを、被験者の選びたい視覚イメージに最も近い物体画像選択肢として特定する（文字又は記号などを特定する）。
【００４８】
このように、ニューラル・ネットによって被験者がみている物体画像刺激のうちどれを選びたいのか、あるいは被験者が目の前にないどの物体を選ぼうと思い描いているか、を推定するためには、まず事前に(1) 「多点神経活動⇔物体視覚イメージ」対応学習相において、入力ベクトル（呈示している視覚刺激の種類（ｖ））から出力ベクトル（視覚事象関連誘発電位のピーク値（R））に線形変換する行列の係数を最適化するように、ニューラル・ネットを学習させることが必要となる。
【００４９】
そして学習後、試行ごとに得られる多点脳活動計測データ（R）を入力ベクトルとし、(1)で最適化した行列の逆行列を入力ベクトルに乗じて出力を求めることにより、それに対応する適切な画像または文字の推定が可能となる。
【００５０】
なお、上記のニューラル・ネットの学習過程は、一般的な手法を用いることができる。
一般的には、Ｖ=ｆ（Ｒ）というような関数により直接デコードのモデルを立てて、ｆのパラメータをデータから最適化する方法を用いることができる。ｆとしては、線形判別、線形回帰、ニューラルネットワーク、カーネル法、など様々なモデルを使うこことができる。
【００５１】
その一例にとして、ＶからＲへの変換パラメータを最適化してその逆行列を求めるという方法について以下において説明する。
神経活動ベクトルＲは、以下の式で表される。ここで、ｎは、計測点数である。例えば、多点電極数が３０であれば、ｎ＝３０となる。ｒｎは、各電極における電圧のピーク値に対応する。
【００５２】
【数３】
【００５３】
まず、視覚刺激ベクトルＶ（文字又は記号など）と神経活動ベクトルＲとの関係は以下のように表される。ここで、ｎは、視覚刺激（例えば文字や図形）の数であり、アルファベットであれば２６となる。
【００５４】
【数４】
【００５５】
【数５】
【００５６】
ここで、ある視覚刺激ｒｉは、以下の式で表される。
【数６】
【００５７】
このようにして、多くの視覚刺激ｖを与えて得られた神経活動ｒを求めていくことで、上記の式の係数ａを最適に求めることができる。
【００５８】
このようにして学習することで得られた係数ａに基づいて、以下の式により、神経活動に基づくピーク電圧値から、視覚刺激、すなわち視覚的なイメージを得ることが出来る。
【００５９】
【数７】
【００６０】
各視覚刺激は以下の式で得られる。
【数８】
【００６１】
任意の神経活動ｒに対して、Ｘ−１を乗じて視覚刺激ｖを求めることができる。ここで、ｖを大きさ（長さ）１の単位ベクトルにした後に、以下の式によりｖ間の距離を求める。
【００６２】
【数９】
【００６３】
この計算により、最も距離の小さい刺激をVｋとすれば、ｋに対応する対象（例えば図形）Ｋが、ｍ個の刺激セットの中では脳がイメージしている図形に最も近い図形である、と特定することができる。
【００６４】
本実施形態による意思伝達支援装置による支援方法は、脳卒中などの傷病が原因で脳の運動野に損傷が及ぶ患者にも適用できる。また、リアルタイムに意思伝達をすることが可能である。さらに、ECoG多点電極は脳に刺入する微小電極に比べると低侵襲的な意思伝達方法であるため、安全面で優れている。また、ALSなどの稀な傷病のみならず罹患率の高い脳卒中などの傷病が原因で、感覚・理解は保たれているが運動・言語表出能力が低下している多数の重症患者に対しても、視覚イメージによる意思表示を支援する医療機器として、医療、福祉、教育を始め多様な産業分野への応用が可能であるという利点がある。
【産業上の利用可能性】
【００６５】
本発明は、意思伝達支援装置として利用可能である。
【符号の説明】
【００６６】
Ａ…意思伝達支援装置、Ｓ１…視覚情報、５…インターフェイス、６…視覚連合野のネットワーク、Ｓ２…形態情報、１０…多点電位測定部。
【技術分野】
【０００１】
本発明は、意思伝達支援技術に関し、特に、脳の運動野に損傷が及ぶ患者に対しても有用な、視覚的イメージによる意思伝達支援装置に関する。
【背景技術】
【０００２】
重症の脳卒中など脳の傷病が原因で寝たきりになった患者の中には、絵や文字を見て理解はできるが、自由に手足を動かすことも言葉を発することもできないため自らの意思をうまく伝えることが困難な場合が多い。
【０００３】
従来から、意思伝達能力が低下した患者に適用できるいくつかの意思伝達技術が提案されている。たとえば、下記特許文献１には、筋萎縮性側索硬化症（amyotrophic lateral sclerosis: ALS）などの患者の運動支援と意思伝達支援を脳波を利用した技術により支援する装置が開示されている。特許文献１では、筋肉や末梢神経の障害による重度の運動障害者が、脳機能は正常で視聴覚機能は残存している状態でも会話や筋力による意思伝達の情報発信手段を失ったときに、脳波信号を利用した「脳波スイッチ」で意思伝達を代替する技術に関して開示されている。
【０００４】
図９は、特許文献１に記載の技術例のような従来の運動出力型意思伝達支援方法の概略を示すブロック図である。視覚情報Ｓ１は、視覚受容器１０５を介して、脳内に取り入れられ、視覚連合野のネットワーク１０６における情報処理により、形態に対する脳の応答である形態信号に変換される。さらに、視覚連合野１０６から運動野１０７にかけての情報処理でこの形態信号はどのような運動を行うかという運動プラン、すなわち上下左右などの移動方向への運動の意図、に変換される。この運動プランに関する信号を、脳又は頭部に取り付けられた計測部１１１により計測し、変換処理部１０１により解読する。変換処理部１０１における運動プランの解読結果に基づいて、義手やカーソル等１１５の動きの方向を指示する指示情報を生成し、複数配置されている文字、図形などの指示対象のうちから、所望の図形・文字の位置、ひいては図形・文字の種類を指定することで、意思伝達を支援することができる（１１７）。尚、変換処理部１０１は一般的なＰＣにより構成することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特願平５−１６０８８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１に記載の技術には、以下に述べるような問題点がある。
第一に、運動出力型意思伝達支援技術は、大脳運動野の局所の神経活動から運動プランを特定しているため、対象がALSや閉じ込め症候群などの稀な疾患に限られ、運動野自体に損傷が及ぶ患者には適用できなかった。例えば脳卒中（脳血管障害）は介護を必要とする国内最多の原因であるが、上記の方法では運動野に障害が及ぶ脳卒中患者への支援はできない、という原理的問題があった。
【０００７】
第二に、脳波、筋電図、眼球運動、近赤外光等の非侵襲的な計測手段を用いる既存の意思伝達支援装置は、前記運動プランに基づくカーソル等の動きで対象の配置から間接的に指示する方法、ないし一度に１ビットずつYES/NOで下す判断を伝えるという方法、を積み重ねながら意思を表示しなければならなかった。このため、例えばたった一つの文字を選ぶだけでも、多くの候補の中から絞り込む複数のプロセスを経るため、指示までに膨大な時間を要するという問題があった。また、上記のような非侵襲的な意思伝達方法は、使用者である患者にとって負担の大きい訓練が必要になるという問題があった。しかも訓練が大変な割には意思伝達の効率が速度も確度も低かった。
【０００８】
このように既存の意思伝達方法は、使用できる患者が限られていたり、使用のためには訓練の負担が大きかったり、効率が低い、という問題があった。
本発明は、適用対象が広く、効率の優れた意思伝達支援装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、重度の言語/コミュニケーション能力の障害を持つ脳損傷患者を対象に、頭に思い浮かべた物が何であるかを的確に読み取って、その視覚的イメージを伝える支援のために開発したものである。
【００１０】
本発明者らは、上記の問題を解決するため、多点微小電極法、もしくは、微小電極法より低い侵襲で、脳波より格段に高い信号感度が得られる、皮質脳波（Electrocorticogram: ECoG）多点計測法を用いた（この、ECoG多点計測法に関しては、特開２００５−１３１３１１号公報参照）。
【００１１】
図９に示す従来の方法のように大脳運動野で生成された運動情報を利用しカーソル１１５等の位置を指定する媒体を介して意思伝達を支援するのではなく、本発明者らは物の形態の認識に関係する大脳の高次視覚連合野を含んだ広範囲から多点計測して得た脳の電気的特性を線形変換等の関数を用いて変換することにより、どの物体（あるいは文字）を選びたいかを直接出力することにより、運動野に損傷が及ぶ患者にも適用でき、リアルタイムで視覚イメージを選ぶ意思を伝えることが可能な、意思伝達方法および視覚的イメージによる意思伝達装置を発明したものである。
【００１２】
すなわち、従来は、運動野からの信号に基づいて、動きの方向を指示したり、一度に１ビットずつYES/NOで下す判断を伝えるという方法を積み重ねたりすることにより対象を指示していたのに対して、本発明では、高次の視覚野からの形態に関する視覚情報に基づいて対象を特定するため、入力部などによる方向指示過程が不要であり、対象物を視覚イメージにより直接選ぶことができる点で大きく異なる。
【００１３】
本発明の一観点によれば、脳の視覚連合野を含む領域の複数の計測点における脳の電気的特性を求める多点計測部と、呈示された画像と該画像を呈示した際における多点計測した脳の前記電気的特性とを相互に対応付ける変換処理部と、を有することを特徴とする意思伝達支援装置が提供される。この装置を用いれば、画像選択肢を呈示しながらそのうちの一つを択一形式で選ばせる方法、又は、画像の視覚的イメージを想起させる方法により、前記多点計測部で計測した脳の電気的特性の集合に対して前記変換処理部における対応付けに基づいて伝えたい画像又は視覚イメージを特定して実時間で意思伝達を支援することができる。
【００１４】
また、画像を画素ごとの色情報から構成される地図(ビットマップ)として特定する方法では、画像の大きさ・位置・明るさ・色などの物理的特性が変われば視覚対象を同じ「物」として同定することが難しいが、本発明の方法では画像のイメージを（例えばアルファベット26文字の１つ、のように）有限個の物体の集合のうちの一つとして直接特定するため、物理的特性に依存しない同じ「物」として同定することが可能となる。
【００１５】
また、本発明は、脳の視覚連合野を含む領域の複数の計測点における電位計測値に基づき脳の電気的特性を求める多点計測部と、画像を呈示する画像呈示部と、画像と多点計測した脳の前記電気的特性とを相互に対応付ける変換処理部と、を有し、前記画像呈示部が画像選択肢を呈示しながらそのうちの一つを択一形式で選ばせる方法、又は、画像の視覚的イメージを想起させる方法により、前記多点計測部で計測した脳の電気的特性に対して、前記変換処理部における対応付けに基づいて、伝えたい画像又は視覚イメージを特定して、実時間で意思伝達を支援する意思伝達支援装置である。
【００１６】
前記視覚連合野を含む領域が、高次視覚連合野を中心とした領域であり、少なくとも側頭葉ないし後頭葉の腹側部、または前頭葉の視覚関連領域のいずれかを含むことが好ましい。このようにすれば、物体視ないし形態視に特化した脳の領域からの信号を扱うことができる。
【００１７】
前記画像呈示部が呈示した画像と、前記多点計測部が多点計測した脳の電気的特性と、を対応付ける変換関数を前記変換処理部が最適化するように計算することが好ましい。前記多点計測部の計測手段として、前記ECoG法を利用すると良い。これにより、微小電極法に比べ低侵襲的に、脳波に比べ高い信号雑音比かつ高時間分解能で、脳の広範囲を網羅した安定記録が可能となる。また、脳の外表面に加えて、脳溝の内部にも前記ECoG電極を配置するようにしても良い。大脳皮質の半分（ないし半分以上）を占める脳溝の信号を取り込むことで、動作の効率が格段に改善することができる。
【００１８】
前記電気的特性として、各計測点における視覚刺激に同期した電位の変位（視覚誘発電位)又は視覚刺激に同期した電位の特定の周波数帯域成分（例としてγ周波数帯域成分）の変化、又は視覚刺激に同期したスパイク（活動電位）発生頻度の変化を用いることが好ましい。
【００１９】
前記対応付けのための変換関数として、Ｖ=ｆ（Ｒ）で表される関数を用い、ｆのパラメータをデータから最適化する演算を行うことが可能である。ｆとしては、線形判別、線形回帰、ニューラルネットワーク、カーネル法、など様々なモデルを使うこことができる。
【００２０】
さらに、前記対応付けのための変換関数として、線形変換を用い、入力ベクトル（呈示している視覚刺激の種類（ｖ））から出力ベクトル（視覚事象関連誘発電位のピーク値（R））に線形変換する行列の係数を最適化する、「多点神経活動⇔物体視覚イメージ」対応学習相を経て、学習後、多点計測により得られる多点脳活動計測データ（R）を入力ベクトルとし、前記「多点神経活動⇔物体視覚イメージ」対応学習相で最適化した行列の逆行列を入力ベクトルに乗じて出力を求めることにより、それに対応する適切な対象物を推定する、という方法もある。さらにまた、直接vをRの関数として直接推定するモデルを立てて、パラメータを最適化する、という方法もある。
【００２１】
本発明の他の観点によれば、脳の視覚連合野を含む領域の複数の計測点における電位計測値に基づいて脳の電気的特性を計算する多点計測ステップと、画像を呈示する画像呈示ステップと、画像と多点計測した脳の電気的特性とを相互に対応付ける変換処理ステップと、を有し、予め、前記画像呈示ステップで呈示した画像と前記多点計測ステップで多点計測した脳の電気的特性とを学習アルゴリズムによって対応づけるステップと、前記画像呈示ステップが画像選択肢を呈示しながらそのうちの一つを択一形式で選ばせるステップ、又は、目の前にない画像の視覚的イメージを想起させながら、前記多点計測ステップで計測した脳の電気的特性の集合に対して前記変換処理ステップにおいて前記対応付けにより、伝えたい画像または視覚イメージを特定して実時間で意思伝達を支援するステップと、を有する意思伝達支援方法が提供される。
本発明は、コンピュータに、上記に記載の意思伝達支援方法を実行させるためのプログラムであっても良く、該プログラムを記録する記録媒体であっても良い。
【発明の効果】
【００２２】
本発明の意思伝達支援装置は、既存の意思伝達支援装置の適応対象であったALSや閉じ込め症候群、脊髄損傷などの稀な傷病のみならず、従来は意思表示支援技術の恩恵に預かれなかった、脳卒中などの傷病のため感覚・理解は保たれているが運動・言語表出能力が著しく低下している、桁違いに多数の重症患者の母集団に対して適応でき、これらの患者に視覚イメージにより意思表示を支援する新しい手段を提供することが可能である。
なお、多点ECoG電極を用いると、多点微小電極を用いた方法に比べて低侵襲的な意思伝達方法であるため、安全面で優れている。
【００２３】
本発明の意思伝達支援装置は、従来よりも格段に広い適応対象の患者に対して高速かつ精確に視覚イメージによる意思表示を支援することが可能な医療機器として、医療、福祉、教育を始め多様な産業分野への応用が可能である。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施形態による視覚的イメージによる意思伝達支援装置の概略を示す機能ブロック図である。
【図２】ＥＣｏＧ多点電極の配置位置の一例を示す頭部の断面図である。
【図３】実際のＥＣｏＧ多点電極の配置位置の一例を示す脳の側面図である。
【図４Ａ】視覚連合野に配した一本の微小電極により、７０通りの異なる画像（Ｋ０００からＫ０６９まで）呈示に同期して得られる活動電位発火頻度の変化を示すヒストグラム（右下）と、特定の画像（K０４８）呈示に伴う電位の経時変化を示す（左上）図である。
【図４Ｂ】円内に示される、視覚連合野に配した多点ECoG電極のそれぞれの計測点における視覚刺激呈示に伴うECoG波形の時間変化（視覚誘発電位）を示す図（空間的な分布図）である。
【図４Ｃ】図４Ｂに対応する図であり、それぞれの電極位置においてECoG視覚誘発電位を高速フーリエ変換により周波数解析した結果を示す２次元分布図である。
【図５】本実施形態による意思伝達技術の動作方式を、概略的に示す図である。
【図６】本実施形態による意思伝達装置の一構成例を示す機能ブロック図であり、図５における記録システム及びBMIに相当する図である。
【図７】本実施形態による学習課程（対応学習相）の処理の流れを示すフローチャート図である。
【図８】本実施形態による意思伝達相の処理の流れを示すフローチャート図である。
【図９】特許文献１に記載の技術のような従来の運動出力型意思伝達支援方法の概略例を示すブロック図である。
【発明を実施するための形態】
【００２５】
以下に、本発明の一実施形態による意思伝達支援装置について図面を参照しながら説明を行う。
図１は、本実施の形態による視覚的イメージによる意思伝達支援装置の概略的なイメージを示す機能ブロック図である。本実施の形態による意思伝達支援装置、すなわちＢｒａｉｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ（ＢＭＩ）Ａにおいて、人間がある対象、例えば文字“Ｘ”を見た時の画像刺激（ｖ）に基づく視覚情報Ｓ１は、視覚受容器５（網膜）から視覚神経系を介して脳に到達し、脳内の、一次視覚野を経て視覚連合野６により形態に特異的な応答信号Ｓ２に変換される。文字“X”とは異なる文字“Ｙ”を見た時には、異なる形態応答信号が得られる。この画像刺激（ｖ）による脳の形態信号Ｓ２そのものを微小電極法またはECoG法により多点電位測定部１０により計測する。多点電位測定部１０から同時計測して得られた電位計測値から、画像刺激（ｖ）に同期した脳の電気的特性を抽出することができる。ここで、電気的特性とは１．画像刺激（ｖ）に同期してみられる電位のベースラインからピークまでの変化（すなわち視覚誘発電位）、２．画像刺激（ｖ）に同期してみられる電位の特定の周波数帯域成分（例として30-100Hzのγ周波数帯域）の構成の変化、３．画像刺激（ｖ）に同期してみられる神経の活動電位（スパイク）発生頻度、のいずれかを指す。
【００２６】
画像刺激（ｖ）に同期して各計測点で観測される電気的特性の集合を神経活動（ｒ）として、画像（ｖ）の情報と共にＢＭＩＡの変換処理部１に入力する。そして、呈示している、あるいはイメージしている画像（ｖ）から神経活動（ｒ）を導く変換関数を、変換処理部１において求め、その結果を変換関数、例えば計測点数×画像数の線形行列、としてメモリ３に記憶しておく。メモリ３に記憶された変換関数の逆関数、例えば上記線形行列の逆行列、を用いて、対象物（文字等）を画像イメージとして特定すべき場合に脳で観測される神経活動（ｒ）から、変換処理部１において逆変換して対応する画像（ｖ）を求めることにより、イメージしている対象物、例えば文字を特定することができる。このように、逆変換をするという方法もあるし、vをRの関数として直接推定するモデルを立てて、パラメータを最適化する、という方法もある。この関数としては、線形判別、線形回帰、ニューラルネットワーク、カーネル法、などさまざまなモデルが可能である。図１に示す方法によれば、図形・文字等を直接的に指示することができる（８）。
【００２７】
図２は、頭部ＢにおけるＥＣｏＧ電極の配置位置の一例を詳細に示す図であり、頭部Ｂの一部分の断面構造を示す図である。頭部Ｂは、外側表面の皮膚から内部に向けて、頭蓋骨、硬膜、脳Ｃという順番で配置している。ＥＣｏＧ電極は、脳Ｃの最表面の大脳皮質の表面及び／又は脳溝の表面に、多数、散点状に配置されている。ＥＣｏＧ電極は頭部に留置することになるが、大脳皮質の表面に配置するだけでも良いため（数を限定するものでない）、脳Cに刺入する剣山型の多点微小電極を用いる方法に比べて、より低侵襲型の電極配置方法ということができる。
【００２８】
尚、剣山型多点微小電極による運動出力型BMIの先行技術は以下のものが挙げられる。
文献：Hochberg LR et al Nature 442, 164-71, 2006、Neuronal ensemble control of prosthetic devices by a human with tetraplegia.
【００２９】
図３は、実際の多点電極の配置例を示す脳の側面図である。図３に示すように、ＥＣｏＧ電極は、視覚に関連する上側頭溝より腹側の物体視に関連した下側頭葉から後頭葉腹側部にかけての視覚連合野の領域に配置されている（範囲１：ＴＥ野、ＴＥＯ野、Ｖ４野を含む）。また、ＥＣｏＧ電極は、物体視に関連した前頭葉の領域（範囲２）に配置されても良い。ＥＣｏＧ電極を範囲１のみに配置しても良いし、範囲２のみに配置しても、同時に配置しても良い。
【００３０】
次の文献１に記載されている通り、前頭葉ではより大まかな物のカテゴリーに関する情報が、側頭葉から後頭葉腹側面にかけての物体視の中枢では、（同一カテゴリー内の）物のより精緻な識別に関する情報が処理されるため、本発明の実施にはこのいずれか、特に後者に電極を配することが、重要である。
文献１：Hasegawa I, Miyashita Y. Nat Neurosci 5, 90-91, 2002 Categorizing the world: expert neurons look into key features.
尚、ＴＥ野、ＴＥＯ野、Ｖ４野が定義されている文献の例として、以下の文献２がある。
文献２：http://web.sc.itc.keio.ac.jp/anatomy/kokikawa/visual_auditory/visual_auditory.html
【００３１】
次に、電極を実際の脳に図２のように配置した場合に得られる、電気的特性の一例について説明する。図４Ａは、多点電極ではなく１点電極であるが、Ｋ０００からＫ０６９までの７０通りの異なる画像（視覚イメージ）の呈示に対応して側頭葉の視覚連合野で、微小電極法で得られる神経活動電位（スパイク）の発生頻度の変化を示すヒストグラム（右下）と、特に画像K０４８呈示に伴う電位の経時変化（紫色の線）を示す波形例（左上）である。左上の波形で、活動電位は、ところどころに高い電位の棘として見られる。矢頭で示した横方向に延びる電位一定の直線は、閾値（しきい値）を示し、電位の棘がこの閾値を超えたときにスパイクとして頻度を数えるための基準である。この閾値以下の信号はノイズレベルとみなせる。すなわち、閾値以上の電位が得られるとこれを一回のスパイクの発生としてカウントする。左上から右下に通る矢印の先端の図は、画像番号０４８を呈示した際のスパイク発生度数の時間変化を示すヒストグラム図であり、この度数が多いほど、視覚刺激に対する脳の神経応答が大きいとみなすことができる。これらの度数分布は、呈示された画像に固有のいわゆる指紋のような脳のプロファイルであり、画像と脳からの信号との対応付けに供する電気的特性のひとつである。つまり、異なる画像を呈示すると、異なるヒストグラムが得られるため、画像とヒストグラムの対応を保存しておけば、これにより逆にヒストグラムから画像を特定することも可能となる。
【００３２】
図４Ｂは、円内に示される視覚連合野に配した多点ECoG電極（計測点番号はその下に示されている。）のそれぞれの計測点における視覚刺激呈示に同期したECoG波形の時間変化、すなわち視覚誘発電位（Visually evoked potential）を示す図（空間的な分布図）である。各計測点における視覚刺激呈示の開始時刻を黒い縦線で、電位波形を赤色の線で、示す。電極の配置位置によって、同じ画像を見せた場合でも、脳からの電位の波形は異なることがわかる。このように、ECoG波形の視覚誘発電位の多点計測部位にわたる空間分布もまた、画像に固有のいわゆる指紋のようなプロファイルとして対応づけられる脳の電気的特性のひとつに相当するものである。
【００３３】
図４Ｃは図４Ｂに対応する図であり、それぞれの計測点における視覚刺激呈示に同期したECoG（視覚誘発電位）を高速フーリエ変換（fast fourier transformation: ＦＦＴ）により周波数解析した結果を示す２次元分布図である。計測点ごとに示すグラフでは、横軸は時間、縦軸は周波数を示し、添付したカラー図面において明らかなように、視覚刺激呈示後特定の時刻におけるECoGの特定の周波数成分の大きさ（パワー）を色により表示している。ここで、特定の時刻における低周波から高周波まで全域にわたる成分の連続体（縦軸に平行な帯状の部分）を周波数スペクトラムと呼ぶ。縦軸に図４Ｃから明らかなように、各時刻の周波数スペクトラムでは、一般に低周波数成分ほどパワーが強い傾向になっているが、電極の配置される位置によっては、視覚刺激呈示後約ニ百ミリ秒で、スペクトラム内でパワーの強弱の分布が一過性に変化する現象が認められる（特に右上方を中心とした配置領域において）。このように、ECoGの周波数成分の応答の空間分布という、図４Ｂとは異なる電気的特性も、画像に固有の指紋のような脳のプロファイルであり、画像と対応付けられるものである。
【００３４】
図５は、本実施形態による意思伝達技術の動作方式を、概略的に示す図である。図５に示すように、本実施形態による意思伝達技術は、(1)「多点神経活動（ｒ）⇔視覚イメージ（ｖ）」対応学習相と、(2)リアルタイム意思伝達相と、の２段階からなっている。
【００３５】
(1)太線の矢印で示すように、「多点神経活動（ｒ）⇔物体視覚イメージ（ｖ）」対応学習相では、
まず、有限個の文字または図形（アイコンなど）のセット（「Ａ、Ｂ、Ｃ、…など」）のうちから個々の文字又は図形１つずつを無作為に選んで順次呈示し（視覚刺激（ｖ）の呈示）、上述のように、被験者の大脳の高次視覚連合野である後頭葉から側頭葉において数十から数百の記録電極、例として多点ECoG記録電極、をおき、例えば視覚誘発電位等の電気的特性を測定する。電気的特性を定量化するには、例として個々の画像呈示に対する視覚誘発電位のベースラインからピ−ク値までの高さ（電位差）に着目する。
多点計測データ（ｒ）は、後述するように、高入力インピーダンスの増幅器で増幅した後、AD変換ボードにおいてデジタル化し記録する。
【００３６】
このようにして得られた多点計測データのうち、大脳の高次視覚連合野である後頭葉から側頭葉の多数（数十から数百）の記録チャネル由来のデータ（例として視覚事象関連誘発電位のピーク値（ｒ））の集合をベクトルＲとし、呈示している視覚刺激の種類をベクトルVとし、ベクトルVとベクトルＲとの対応付けを決める関数（例として線形変換する行列の係数）をＰＣの演算部により最適化するよう、刺激を繰り返し呈示してデータを収集する。一例として、ベクトルVを入力、ベクトルRを出力とする線形変換の行列は以下のようになる。
【００３７】
【数１】
【００３８】
(2)意思伝達相では、このようにして最適化された変換関数ないし逆関数（例として線形変換行列の逆行列）を利用する。すなわち、先ほどの例では、今度は試行ごとに得られる多点脳活動計測データ（R）を入力ベクトルとし、(1)で最適化した行列の逆行列Ｘ−１を入力ベクトル（Ｒ）に乗じて出力ベクトル（V）を求めることにより、被験者が呈示されている物体画像刺激のうちどれを選びたいのか、あるいは被験者が目の前にないどの物体を選ぼうと思い描いているかを、推定することができる。これにより、「選びたい物体画像の視覚的イメージ」を数十個の刺激セットの中から脳活動（R）に基づきリアルタイムに視覚イメージｖとして特定することができる。
【００３９】
【数２】
【００４０】
学習手順に関する詳細については、後述する。次に、本発明の意思伝達装置の具体的な構成について説明する。
図６は本実施の形態による意思伝達支援装置の信号処理部分の一構成例を示す機能ブロック図であり、図５における記録システム及び変換処理部に相当する。
【００４１】
本発明の意思伝達装置Ｄは、多点ＥＣｏＧ電極２１と、多点ＥＣｏＧ電極２１側から順番に、初段前置増幅器（ヘッドアンプ）２３と、前置増幅器本体（プリアンプ）２５と、周波数帯域フィルタ（ワイドバンド）２７と、ＡＤ変換器３１と、ＰＣ（情報処理部）１と、を有して構成されている。ＰＣ１（図１の変換処理部に相当する）には、ＣＰＵ１ａとメモリ３とが設けられており、一般的な情報処理（統計処理など）を行うことができる。
【００４２】
図６において、多点ＥＣｏＧ電極２１は、視覚刺激ｖを呈示した際に生じた脳内の電位を検出するために脳の表面に留置する多点電極であり、広範囲の大脳分散ネットワークからサンプリングバイアスなく多数の神経細胞の集合活動としての局所フィールド電位（local field potential: LFP）を捉えるためには、ＥｃｏＧ多点電極法を用いるのが好ましい。初段前置増幅器（ヘッドアンプ）２３は、多点ＥＣｏＧ電極２１とはコネクタで一対一に接続されており、多点ＥＣｏＧ電極２１で捉えた例えば数μＶ程度の微弱な電位を高インピーダンスで受け、増幅し、低インピーダンスで出力するための初段の前置増幅器（ヘッドアンプ）である。前置増幅器本体（プリアンプ）２５は、初段前置増幅器（ヘッドアンプ）２３の信号をさらに安定した信号に高倍率に増幅する機能を有する。
【００４３】
周波数帯域フィルタ２７は、使用する周波数成分帯域、主として（ａ）視覚事象関連誘発電位としての０（直流成分）〜２９Ｈｚの信号成分や（ｂ）γ帯域の信号３０〜１００Ｈｚの周波数帯域成分を抽出して、使用しない周波数帯域、例えば数百Ｈｚ以上の高周波成分のノイズ、を遮断するためのフィルタである。３０Hｚ未満の低周波成分を選択透過させるローパスフィルターと、３０〜１００Hｚの成分を選択透過させるバンドパスフィルターを並列につないでも直列につないでもよいし、また一台のフィルターで両者の機能を有する物を用いても良い。さらに、ローパスフィルターの代わりに、０．３Hｚ以上３０Hｚ未満、とか１Hｚ以上３０Hｚ未満、のように直流成分を遮断するバンドパスフィルターを用いても良い。この周波数帯域フィルタ２７を通過させることにより、多点ECoG電極２１により測定された皮質脳波から、（ａ）視覚事象関連誘発電位と、（ｂ）γ帯域の信号として用いるために必要な周波数帯域のデータを抽出することもできるし、フィルタでは、（ａ）（ｂ）を一塊として通し、のちに情報処理部（コンピュータ）で両者を分離する、という方法も可能である。ＡＤ変換器３１は、（ａ）視覚事象関連誘発電位と（ｂ）γ帯域の信号を別々に、或いは一塊としてコンピュータに入力するため、アナログ信号をデジタル信号に変換するAD変換器である。このＡＤ変換器を通してコンピュータに記録された波形の一例が図４Ａ、図４Ｂに例示された信号であり、横軸が時間、高さが電位を示している。尚、コンピュータには、各種演算を行うＣＰＵ（制御部）、記憶領域であるメモリ（プログラムも記録する）などが設けられている。
【００４４】
得られた電位をウィンドウディスクリミネータにより二値化することにより、活動電位（スパイク）としてカウントでき、その発生頻度が数えられるようになる。ウィンドウディスクリミネータ機能を図６に付加するためには二つの方法がある。第一に、ウィンドウディスクリミネータはハードウエアとしてフィルタ２７とＡＤ変換器３１の間に接続してもよい。この場合、スパイクの発生時刻の列を電位の波形とは別にコンピュータに入力し記録する。第二に、ウィンドウディスクリミネータは、コンピュータのプログラムとしてソフト的に付加することもできる。この場合、計測時にオンラインでスパイク発生を検出することもできるし、計測後にオフライン的に検出することもできる。このようにして検出したスパイクの発生頻度は、脳の電気的特性のひとつとして画像との対応付けに利用することが可能となる。
【００４５】
本実施形態においては、被験者が想起した画像または文字等を判別するために、ニューラル・ネットの技術を使用することができる。図７は、本実施形態による学習課程（対応学習相）の処理の流れを示すフローチャート図である。処理が開始されると（ＳＴＡＲＴ）、ステップＳ１において、図形又は文字セット等の対象から、無作為に1つを選択して被験者に呈示すると同時に、視覚刺激ｖの種類と呈示時刻を変換処理部に入力する。
【００４６】
ステップＳ２において、視覚刺激ｖ呈示に同期した脳の電気的特性の一例として、皮質脳波を多点ECoG電極により多点記録する。ステップＳ３では、多点記録により得られた電位を増幅処理する。ステップＳ４において、増幅した値をＡ／Ｄ変換し、神経活動R（視覚事象関連該当電位のピーク値）の集合を変換処理部に入力する。この際、ステップＳ１で呈示した視覚刺激ｖと神経活動Rと係数ａとを対応させるために、行列の係数（ａ、ｂ）（後述する）を最適化しメモリに記憶させる。ステップＳ６で学習を終了させるか否かを判断し、ＹＥＳの場合には処理を終了し、ＮＯの場合には、ステップＳ１に戻り、学習を繰り返す。
【００４７】
図８は、本実施形態による意思伝達相の処理の流れを示すフローチャート図である。処理が開始されると（ＳＴＡＲＴ）、ステップＳ１１において、被験者の神経活動データRを計測して、脳の電気的特性として変換処理部に入力する。ステップＳ１２において、メモリに記憶された係数ａ、ｂとRより、被験者の選びたい視覚イメージｖを求めることができる。ステップＳ１３において、ｖと、メモリに記憶されているｍ個の既知画像（V１〜Vm）までの距離を求め比較する。これにより最も短い距離に対応するVｋを求め、ステップＳ１５において、Vｋを、被験者の選びたい視覚イメージに最も近い物体画像選択肢として特定する（文字又は記号などを特定する）。
【００４８】
このように、ニューラル・ネットによって被験者がみている物体画像刺激のうちどれを選びたいのか、あるいは被験者が目の前にないどの物体を選ぼうと思い描いているか、を推定するためには、まず事前に(1) 「多点神経活動⇔物体視覚イメージ」対応学習相において、入力ベクトル（呈示している視覚刺激の種類（ｖ））から出力ベクトル（視覚事象関連誘発電位のピーク値（R））に線形変換する行列の係数を最適化するように、ニューラル・ネットを学習させることが必要となる。
【００４９】
そして学習後、試行ごとに得られる多点脳活動計測データ（R）を入力ベクトルとし、(1)で最適化した行列の逆行列を入力ベクトルに乗じて出力を求めることにより、それに対応する適切な画像または文字の推定が可能となる。
【００５０】
なお、上記のニューラル・ネットの学習過程は、一般的な手法を用いることができる。
一般的には、Ｖ=ｆ（Ｒ）というような関数により直接デコードのモデルを立てて、ｆのパラメータをデータから最適化する方法を用いることができる。ｆとしては、線形判別、線形回帰、ニューラルネットワーク、カーネル法、など様々なモデルを使うこことができる。
【００５１】
その一例にとして、ＶからＲへの変換パラメータを最適化してその逆行列を求めるという方法について以下において説明する。
神経活動ベクトルＲは、以下の式で表される。ここで、ｎは、計測点数である。例えば、多点電極数が３０であれば、ｎ＝３０となる。ｒｎは、各電極における電圧のピーク値に対応する。
【００５２】
【数３】
【００５３】
まず、視覚刺激ベクトルＶ（文字又は記号など）と神経活動ベクトルＲとの関係は以下のように表される。ここで、ｎは、視覚刺激（例えば文字や図形）の数であり、アルファベットであれば２６となる。
【００５４】
【数４】
【００５５】
【数５】
【００５６】
ここで、ある視覚刺激ｒｉは、以下の式で表される。
【数６】
【００５７】
このようにして、多くの視覚刺激ｖを与えて得られた神経活動ｒを求めていくことで、上記の式の係数ａを最適に求めることができる。
【００５８】
このようにして学習することで得られた係数ａに基づいて、以下の式により、神経活動に基づくピーク電圧値から、視覚刺激、すなわち視覚的なイメージを得ることが出来る。
【００５９】
【数７】
【００６０】
各視覚刺激は以下の式で得られる。
【数８】
【００６１】
任意の神経活動ｒに対して、Ｘ−１を乗じて視覚刺激ｖを求めることができる。ここで、ｖを大きさ（長さ）１の単位ベクトルにした後に、以下の式によりｖ間の距離を求める。
【００６２】
【数９】
【００６３】
この計算により、最も距離の小さい刺激をVｋとすれば、ｋに対応する対象（例えば図形）Ｋが、ｍ個の刺激セットの中では脳がイメージしている図形に最も近い図形である、と特定することができる。
【００６４】
本実施形態による意思伝達支援装置による支援方法は、脳卒中などの傷病が原因で脳の運動野に損傷が及ぶ患者にも適用できる。また、リアルタイムに意思伝達をすることが可能である。さらに、ECoG多点電極は脳に刺入する微小電極に比べると低侵襲的な意思伝達方法であるため、安全面で優れている。また、ALSなどの稀な傷病のみならず罹患率の高い脳卒中などの傷病が原因で、感覚・理解は保たれているが運動・言語表出能力が低下している多数の重症患者に対しても、視覚イメージによる意思表示を支援する医療機器として、医療、福祉、教育を始め多様な産業分野への応用が可能であるという利点がある。
【産業上の利用可能性】
【００６５】
本発明は、意思伝達支援装置として利用可能である。
【符号の説明】
【００６６】
Ａ…意思伝達支援装置、Ｓ１…視覚情報、５…インターフェイス、６…視覚連合野のネットワーク、Ｓ２…形態情報、１０…多点電位測定部。
【特許請求の範囲】
【請求項１】
脳の視覚連合野を含む領域の複数の計測点における脳の電気的特性を求める多点計測部と、
呈示された画像と、該画像を呈示した際における多点計測した脳の前記電気的特性と、を相互に対応付ける変換処理部と、を有することを特徴とする意思伝達支援装置。
【請求項２】
脳の視覚連合野を含む領域の複数の計測点における電位計測値に基づき脳の電気的特性を求める多点計測部と、
画像を呈示する画像呈示部と、
画像と、多点計測した脳の前記電気的特性と、を相互に対応付ける変換処理部と、
を有し、
前記画像呈示部が画像選択肢を呈示しながらそのうちの一つを択一形式で選ばせる処理、又は、画像の視覚的イメージを想起させながら、前記多点計測部で計測した脳の電気的特性に対して、前記変換処理部における対応付けに基づいて、伝えたい画像又は視覚イメージを特定して、実時間で意思伝達を支援する意思伝達支援装置。
【請求項３】
前記視覚連合野を含む領域が、高次視覚連合野を中心とした領域であり、少なくとも側頭葉ないし後頭葉の腹側部、または前頭葉の視覚関連領域のいずれかを含むことを特徴とする請求項１又は２に記載の意思伝達支援装置。
【請求項４】
前記画像呈示部が呈示した画像と、前記多点計測部が多点計測した脳の電気的特性と、を対応付ける変換関数を前記変換処理部が最適化するように計算することを特徴とする請求項１から３までのいずれか１項に記載の意思伝達支援装置。
【請求項５】
前記多点計測部の計測手段として、皮質脳波(ECoG)法を利用することを特徴とする請求項１から４までのいずれか１項に記載の意思伝達支援装置。
【請求項６】
脳の外表面に加えて、脳溝の内部にも前記ECoGの電極を配置することを特徴とする請求項５に記載の意思伝達支援装置。
【請求項７】
前記電気的特性として、各計測点における視覚刺激に同期した電位の変位（視覚誘発電位)又は視覚刺激に同期した電位の特定の周波数帯域成分の変化、又は視覚刺激に同期したスパイク（活動電位）発生頻度の変化を用いることを特徴とする請求項１から６までのいずれか１項に記載の意思伝達装置。
【請求項８】
前記対応付けのための変換関数として、Ｖ=ｆ（Ｒ）で表される関数を用い、ｆのパラメータをデータから最適化する演算を行うことを特徴とする請求項１から７までのいずれか１項に記載の意思伝達支援装置。
【請求項９】
前記対応付けのための変換関数として、線形変換を用い、
入力ベクトル（呈示している視覚刺激の種類（ｖ））から出力ベクトル（視覚事象関連誘発電位のピーク値（R））に線形変換する行列の係数を最適化する、「多点神経活動−物体視覚イメージ」対応学習相と、
学習後、多点計測により得られる多点脳活動計測データ（R）を入力ベクトルとし、前記「多点神経活動−物体視覚イメージ」対応学習相で最適化した行列の逆行列を入力ベクトルに乗じて出力を求めることにより、それに対応する適切な対象物を推定することを特徴とする請求項１から７までのいずれか１項に記載の意思伝達支援装置。
【請求項１０】
脳の視覚連合野を含む領域の複数の計測点から電位を同時計測し、各計測点における電位計測値に基づいて脳の電気的特性を計算する多点計測ステップと、
画像を呈示する画像呈示ステップと、
画像と、多点計測した脳の電気的特性とを相互に対応付ける変換処理ステップと、を有し、
予め、前記画像呈示ステップで呈示した画像と前記多点計測ステップで多点計測した脳の電気的特性とを学習アルゴリズムによって対応づけるステップと、
前記画像呈示ステップが画像選択肢を呈示しながらそのうちの一つを択一形式で選ばせるステップ、又は、目の前にない画像の視覚的イメージを想起させながら、前記多点計測ステップで計測した脳の電気的特性の集合に対して前記変換処理ステップにおいて前記対応付けにより、伝えたい画像または視覚イメージを特定して実時間で意思伝達を支援するステップと、
を有することを特徴とする意思伝達支援方法。
【請求項１１】
コンピュータに請求項１０に記載の意思伝達支援方法を実行させるためのプログラム。
【請求項１】
脳の視覚連合野を含む領域の複数の計測点における脳の電気的特性を求める多点計測部と、
呈示された画像と、該画像を呈示した際における多点計測した脳の前記電気的特性と、を相互に対応付ける変換処理部と、を有することを特徴とする意思伝達支援装置。
【請求項２】
脳の視覚連合野を含む領域の複数の計測点における電位計測値に基づき脳の電気的特性を求める多点計測部と、
画像を呈示する画像呈示部と、
画像と、多点計測した脳の前記電気的特性と、を相互に対応付ける変換処理部と、
を有し、
前記画像呈示部が画像選択肢を呈示しながらそのうちの一つを択一形式で選ばせる処理、又は、画像の視覚的イメージを想起させながら、前記多点計測部で計測した脳の電気的特性に対して、前記変換処理部における対応付けに基づいて、伝えたい画像又は視覚イメージを特定して、実時間で意思伝達を支援する意思伝達支援装置。
【請求項３】
前記視覚連合野を含む領域が、高次視覚連合野を中心とした領域であり、少なくとも側頭葉ないし後頭葉の腹側部、または前頭葉の視覚関連領域のいずれかを含むことを特徴とする請求項１又は２に記載の意思伝達支援装置。
【請求項４】
前記画像呈示部が呈示した画像と、前記多点計測部が多点計測した脳の電気的特性と、を対応付ける変換関数を前記変換処理部が最適化するように計算することを特徴とする請求項１から３までのいずれか１項に記載の意思伝達支援装置。
【請求項５】
前記多点計測部の計測手段として、皮質脳波(ECoG)法を利用することを特徴とする請求項１から４までのいずれか１項に記載の意思伝達支援装置。
【請求項６】
脳の外表面に加えて、脳溝の内部にも前記ECoGの電極を配置することを特徴とする請求項５に記載の意思伝達支援装置。
【請求項７】
前記電気的特性として、各計測点における視覚刺激に同期した電位の変位（視覚誘発電位)又は視覚刺激に同期した電位の特定の周波数帯域成分の変化、又は視覚刺激に同期したスパイク（活動電位）発生頻度の変化を用いることを特徴とする請求項１から６までのいずれか１項に記載の意思伝達装置。
【請求項８】
前記対応付けのための変換関数として、Ｖ=ｆ（Ｒ）で表される関数を用い、ｆのパラメータをデータから最適化する演算を行うことを特徴とする請求項１から７までのいずれか１項に記載の意思伝達支援装置。
【請求項９】
前記対応付けのための変換関数として、線形変換を用い、
入力ベクトル（呈示している視覚刺激の種類（ｖ））から出力ベクトル（視覚事象関連誘発電位のピーク値（R））に線形変換する行列の係数を最適化する、「多点神経活動−物体視覚イメージ」対応学習相と、
学習後、多点計測により得られる多点脳活動計測データ（R）を入力ベクトルとし、前記「多点神経活動−物体視覚イメージ」対応学習相で最適化した行列の逆行列を入力ベクトルに乗じて出力を求めることにより、それに対応する適切な対象物を推定することを特徴とする請求項１から７までのいずれか１項に記載の意思伝達支援装置。
【請求項１０】
脳の視覚連合野を含む領域の複数の計測点から電位を同時計測し、各計測点における電位計測値に基づいて脳の電気的特性を計算する多点計測ステップと、
画像を呈示する画像呈示ステップと、
画像と、多点計測した脳の電気的特性とを相互に対応付ける変換処理ステップと、を有し、
予め、前記画像呈示ステップで呈示した画像と前記多点計測ステップで多点計測した脳の電気的特性とを学習アルゴリズムによって対応づけるステップと、
前記画像呈示ステップが画像選択肢を呈示しながらそのうちの一つを択一形式で選ばせるステップ、又は、目の前にない画像の視覚的イメージを想起させながら、前記多点計測ステップで計測した脳の電気的特性の集合に対して前記変換処理ステップにおいて前記対応付けにより、伝えたい画像または視覚イメージを特定して実時間で意思伝達を支援するステップと、
を有することを特徴とする意思伝達支援方法。
【請求項１１】
コンピュータに請求項１０に記載の意思伝達支援方法を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−２５７３４３（Ｐ２０１０−２５７３４３Ａ）
【公開日】平成２２年１１月１１日（２０１０．１１．１１）
【国際特許分類】
【出願番号】特願２００９−１０８４６７（Ｐ２００９−１０８４６７）
【出願日】平成２１年４月２７日（２００９．４．２７）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２０年度、文部科学省、科学技術試験研究委託事業「脳科学研究戦略推進プログラム」、及び平成２０年度、独立行政法人新エネルギー・産業技術総合開発機構、イノベーション推進事業（エコイノベーション推進事業）に関する委託研究、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（３０４０２７２７９）国立大学法人 新潟大学 (310)
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
【公開日】平成２２年１１月１１日（２０１０．１１．１１）
【国際特許分類】
【出願日】平成２１年４月２７日（２００９．４．２７）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２０年度、文部科学省、科学技術試験研究委託事業「脳科学研究戦略推進プログラム」、及び平成２０年度、独立行政法人新エネルギー・産業技術総合開発機構、イノベーション推進事業（エコイノベーション推進事業）に関する委託研究、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（３０４０２７２７９）国立大学法人 新潟大学 (310)
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
[ Back to top ]