指関節角度推定装置
【課題】生体信号と指関節角度の関係の時間変化に対応可能であって、複数の指関節角度を連続的にリアルタイムに推定することができる指関節角度推定装置を提供する。
【解決手段】
手指関節角度推定装置10は、各指関節が動いているときの複数の表面筋電信号を入力して、積分処理部14により各表面筋電信号の特徴量を抽出し、正規化処理部15により正規化した該特徴量を一次元に並べて特徴量ベクトルとする。ニューラルネットワーク16は、過去から現在までの時系列の特徴量ベクトルを一次元に並べたフィードフォワード成分と、演算周期毎に現在まで推定していた時系列の出力ベクトルからなるフィードバック成分からなる入力ベクトルを入力して、指関節角度を推定する。
【解決手段】
手指関節角度推定装置10は、各指関節が動いているときの複数の表面筋電信号を入力して、積分処理部14により各表面筋電信号の特徴量を抽出し、正規化処理部15により正規化した該特徴量を一次元に並べて特徴量ベクトルとする。ニューラルネットワーク16は、過去から現在までの時系列の特徴量ベクトルを一次元に並べたフィードフォワード成分と、演算周期毎に現在まで推定していた時系列の出力ベクトルからなるフィードバック成分からなる入力ベクトルを入力して、指関節角度を推定する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、指関節角度推定装置に関する。
【背景技術】
【0002】
従来、ヒューマン・ロボットシステムにおいて、表面筋電信号を利用した手指形状を識別する方法が提案されている(非特許文献1)。又、非特許文献2では、表面筋電信号−手指関節角度の関係を、モデル式によりモデル化して、関数近似を行い、学習データから最小二乗法によりパラメータ推定を行う方法が提案されている。又、特許文献1では、表面筋電信号と指関節角度を一対一の対応付けで、複数の指の角度推定を行う方法が提案されている。
【特許文献1】特開平5−111881号公報
【非特許文献1】福田 修, 卜 楠, 辻 敏夫,「生EMG信号による電動義手の制御」,計測自動制御学会論文集, Vol.40, No.11, pp. 1124-1131, 2004.
【非特許文献2】北村 徹, 辻内 伸好, 小泉 孝之, 「筋電信号による動作推定に基づくロボットハンドのマニピュレーション」, 日本機械学会論文集(C編), 73巻735号, pp.152-158, 2007
【発明の開示】
【発明が解決しようとする課題】
【0003】
前記非特許文献1では、関節角度について、離散的なパターン識別を行うものであり、手指関節角度の推定を行うものではない。非特許文献2では、特定の指関節において単一の角度推定を行うものであり、多数の指関節への応用の可能性については具体的に提案されていない。特許文献1では、表面筋電信号と指関節角度の一対一の対応付けのみが行われており、表面筋電信号と手指関節角度の関係において、時間変換への対応の可能性については具体的に提案されていない。
【0004】
従来は、表面筋電信号等の生体信号と、手指関節角度の関係の時間変化に対応可能であって、手指関節角度の推定を、複数の指関節、例えば5指関節について行われた指関節角度推定装置について提案されているものがない。
【0005】
本発明の目的は、生体信号と指関節角度の関係の時間変化に対応可能であって、複数の指関節角度を連続的にリアルタイムに推定することができる指関節角度推定装置を提供することにある。
【課題を解決するための手段】
【0006】
上記問題点を解決するために請求項1の発明は、各指関節が動いているときの単数又は複数種類の生体信号を入力して、各生体信号の特徴量を抽出し、抽出した該特徴量を一次元に並べて特徴量ベクトルとする特徴量抽出手段と、演算周期毎に入力ベクトルに基づいて、各指関節の角度(以下、指関節角度という)の推定を行い、推定した前記各指関節角度を出力ベクトルとして出力するニューラルネットワーク手段とを含み、前記入力ベクトルは、前記特徴量抽出手段が抽出した過去から現在までの時系列の特徴量ベクトルを一次元に並べたフィードフォワード成分と、出力のフィードバックとが一次元に並べられて構成され、前記フィードバック成分は、前記ニューラルネットワーク手段が、前記演算周期毎に現在まで推定していた時系列の前記出力ベクトルで構成されていることを特徴とする指関節角度推定装置を要旨とするものである。
【0007】
なお、本明細書で生体信号とは、身体活動する際に起こる生理的な情報の信号であり、センサなどの検出手段により感知できる信号のことをいう。
請求項2の発明は、請求項1において、前記生体信号は、表面筋電信号であることを特徴とする。
【0008】
請求項3の発明は、請求項2において、前記特徴量抽出手段は、前記表面筋電信号に対して積分区間を演算周期毎にずらして積分し、積分して得られた積分値を特徴量として抽出するものである。
【0009】
請求項4の発明は、請求項2において、前記特徴量抽出手段は、前記表面筋電信号のパワースペクトルの所定のバンド幅毎の区間和を特徴量として抽出するものである。
請求項5の発明は、請求項2において、前記特徴量抽出手段は、前記表面筋電信号のパワースペクトルの平均周波数又は中央周波数を特徴量として抽出するものである。
【0010】
請求項6の発明は、請求項1において、前記生体信号は、脳波であり、前記特徴量抽出手段は、前記脳波のα波及びβ波の少なくともいずれか1つの波の増減変化による事象関連同期化、及び事象関連脱同期化を特徴量として抽出するものである。
【0011】
請求項7の発明は、請求項1において、前記生体信号は、脳部位のMRI信号であり、前記特徴量抽出手段は、運動を司る部位における血流中の還元ヘモグロビンの変化から活性化している場所を特徴量として抽出するものである。
【0012】
請求項8の発明は、請求項11において、前記生体信号は、頭部又は指関節に関係する筋肉を透過させた近赤外光を検出した信号であり、前記特徴量抽出手段は、頭部又は指関節に関係する筋肉組織を流れている血液中のヘモグロビン酸素化状態の変化を特徴量として抽出するものである。
【0013】
請求項9の発明は、請求項1において、前記生体信号は、脳磁図であり、前記特徴量抽出手段は、前記脳磁図の磁場の変化を特徴量として抽出するものである。
請求項10の発明は、請求項1において、前記生体信号は、指関節の動きによって腱が移動するのを捉えた信号であり、前記特徴量抽出手段は、前記腱の移動の変化を特徴量として抽出するものである。
【0014】
請求項11の発明は、請求項1において、前記生体信号は、指関節の動きによって筋肉の膨らみが変化するのを捉えた信号であり、前記特徴量抽出手段は、前記筋肉の膨らみの変化を特徴量として抽出するものである。
【0015】
請求項12の発明は、請求項1において、前記生体信号は、指関節の動きによって脳から、当該指の筋肉細胞までに伝わる神経信号を検出する信号であり、前記特徴量抽出手段は、前記指関節の動きに応じて変化する神経信号の変化を特徴量として抽出するものである。
【発明の効果】
【0016】
請求項1乃至請求項12の発明によれば、生体信号と指関節角度の関係の時間変化に対応可能であって、複数の指関節角度を連続的にリアルタイムに推定することができる指関節角度推定装置を提供することができる。
【発明を実施するための最良の形態】
【0017】
以下、本発明の指関節角度推定装置を手指関節角度推定装置に具体化した一実施形態を図1〜図11を参照して説明する。図1は手指関節角度推定装置の概略ブロック図である。
【0018】
手指関節角度推定装置10は、コンピュータからなり、A/D11、整流処理部12、平滑処理部13、積分処理部14、正規化処理部15、ニューラルネットワーク16、及び変換処理部19を備える。図1中、前記整流処理部12、平滑処理部13、積分処理部14、正規化処理部15、ニューラルネットワーク16、及び変換処理部17は、コンピュータが備える中央処理装置の機能ブロックを示しており、ハード構成を示すものではない。
【0019】
手指関節角度推定装置10は、人の前腕部Zに取り付けされた複数の電極20及びA/D11を介して表面筋電信号を入力する。なお、各電極20から入力した信号をチャンネル信号という。A/D11は、各チャンネル毎に、共通のサンプリング周波数で取得した前記表面筋電信号(アナログ信号)をデジタル信号に変換する。
【0020】
整流処理部12は、A/D11からのデジタル信号を各チャンネル毎に全波整流する。平滑処理部13はローパスフィルタからなり、整流処理部12が全波整流した信号を、各チャンネル毎に所定周波数(例えば、50[Hz])以上をカットオフして平滑する。
【0021】
積分処理部14は、平滑処理部13から入力した各チャンネル信号に対して、積分区間を演算周期毎にずらしながら、該積分区間の振幅を積分して積分値を取得する(図9(b)参照)。この積分値が特徴量に相当する。
【0022】
正規化処理部15は、積分処理部14により積分処理された各チャンネル信号に対して、正規化を行う。本実施形態では、正規化処理は、各チャンネル信号の振幅を0〜1の範囲にするものであるが、この範囲に限定されるものではない。ここで、整流処理部12、平滑処理部13、積分処理部14、及び正規化処理部15は、特徴量抽出手段に相当する。
【0023】
ニューラルネットワーク16は、素子伝達関数としてシグモイド関数を用いた3層パーセプトロンニューラルネットワークから構成されている。3層パーセプトロンニューラルネットワークは図2に示すように入力層16a、中間層16b、出力層16cを備えている。ニューラルネットワーク16におけるネットワークの学習は、5本指の各指関節角度が推定可能に一般的なバックプロパゲーション法により行われている。後述するフィードバック成分Bは、前記学習時には、過去の教師信号が用いられ、リアルタイムの手指関節角度の推定時には、過去にネットワークが実際に出力した値が用いられる。
【0024】
ニューラルネットワーク16の入力層16aを構成するユニットは、フィードフォワード成分Aと、フィードバック成分Bからなる入力ベクトルIk(図5参照)を入力するための個数分用意されている。又、出力層16cを構成するユニットは、推定された5本指の各指の各指関節角度を1次元に並べた出力ベクトルOkとして出力する。なお、出力ベクトルOkに含まれる、各指の各指関節角度は範囲(0,1)に正規化されている。出力層16cのユニットは、5本指の場合、本実施形態では、例えば、1本の指が3つの関節を有しているため、この3つの関節の屈曲角度(指関節角度)と、内外転の関節角度(指関節角度)を検出するため、各指毎の各関節角度の推定値が得られるように20個分用意されているが、この数値に限定されるものではない。
【0025】
図2、図3に示すように、フィードフォワード成分Aは、A0,……,Anからなる。A0は正規化処理部15から入力された、現在(すなわち、最新)の各チャンネル信号が正規化された積分値(特徴量)Fkを1次元に並べた特徴量ベクトルからなる。
【0026】
Anのnは、現在からn(なお、nは正の整数)ステップ前の演算周期を意味する。従って、Anは、nステップ前に正規化処理部15から入力され、各チャンネル信号が正規化された積分値(特徴量)を1次元に並べた特徴量ベクトルである。具体的に説明すると、図3(a)に示すように、現在時刻tのフィードフォワード成分Aは、次の演算周期の時刻t+1(図3(b)参照)では、正規化処理部15から特徴量ベクトルが入力されて、A0が更新されるとともに、現在時刻t時のA0の内容は、A1の内容として更新される。
【0027】
以下、同様にして、A2〜Anが更新される。なお、演算周期の時刻tのAnの内容は、演算周期の時刻t+1時では、破棄される。以下、図3(c)に示すように、次の時刻t+2以降においても、同様に、A0〜Anの内容は更新される。上記のようにして、フィードフォワード成分Aは、正規化された過去から現在までの時系列の特徴量ベクトルを一次元に並べたものとなる。
【0028】
図2、図4に示すように、フィードバック成分Bは、B1,……,Bhからなる。B1は出力層16cからフィードバック入力された、現在の演算周期の1ステップ前の、各指の各関節角度を1次元に並べた出力ベクトルOkからなる。Bhのhは、現在からh(なお、hは正の整数)ステップ前の演算周期を意味する。従って、Bhは、出力層16cからフィードバックされた、現在の演算周期のhステップ前の、各指の各関節角度を1次元に並べた出力ベクトルOkからなる。
【0029】
具体的に説明すると、図4(a)に示すように、現在時刻tのフィードバック成分Bは、次の演算周期の時刻t+1(図4(b)参照)では、出力層16cから出力ベクトルOkがフィードバックされて、B1が更新されるとともに、現在時刻t時のB1の内容は、B2の内容として更新される。以下、同様にして、B3〜Bhが更新される。なお、演算周期の時刻tのBhの内容は、演算周期の時刻t+1時では、破棄される。以下、図4(c)に示すように、次の時刻t+2以降においても、同様に、B1〜Bhの内容は更新される。上記のようにして、フィードバック成分Bは、現在までに推定された時系列の出力ベクトルとなる。
【0030】
変換処理部17は、ニューラルネットワーク16が推定した出力ベクトルOkを入力し、逆正規化処理して、各指の各指関節角度Nに変換する。式(1)は、逆正規化処理する場合の式である。
【0031】
【数1】
【0032】
ここで、MINは指関節角度の最小値であり、MAXは指関節角度の最大値である。
式(1)により、逆正規化処理して角度に変換した後、手指関節角度推定装置10は、出力装置30に出力する。出力装置30は、例えば、表示ディプレイ、或いはプリンタ等にて構成されている。
【0033】
(実施形態の作用)
さて、上記のように構成された手指関節角度推定装置10の作用を図6〜図11を参照して説明する。
【0034】
手指関節角度推定装置10に、電極20を介して生体信号として入力された表面筋電信号は、所定のサンプリング周波数で取得される。このサンプリング周波数は、例えば1[kHz]であるが、この数値に限定されるものではない。図6は、A/D変換されたチャンネル信号のチャートの例である。なお、図6の例では、サンプリング周波数は1[kHz]である。この信号は、脱力状態から握り、そのまま数秒経過した後にまた脱力状態に戻した時の、拇指屈曲に関与する筋肉の付近で計測した信号である。
【0035】
次に、整流処理部12において、入力された各チャンネル信号を全波整流化する。図7は、図6のチャンネル信号が全波整流処理されたチャートの例である。次に、平滑処理部13において、各チャンネル信号を平滑処理する。図8は、図7のチャンネル信号が平滑処理されたチャートの例である。
【0036】
次に、積分処理部14において、平滑処理部13から入力した各チャンネル信号に対して、積分区間を演算周期毎にずらしながら、該積分区間の振幅を積分して積分値を取得する。図9(a)は、図8の平滑処理されたチャンネル信号と同じであり、図9(b)は、積分処理されたチャンネル信号の例のチャートである。正規化処理部15は、積分処理部14から出力された各チャンネル信号を0〜1の範囲となるように正規化する。図10は、図9に示す信号が正規化処理されたチャンネル信号のチャートである。
【0037】
なお、図6〜図9において、縦軸は、振幅、横軸は時間軸である。図10において、縦軸は、正規化時の振幅、横軸は時間軸である。
ニューラルネットワーク16は、フィードフォワード成分A、フィードバック成分Bにて構成される入力ベクトルIkを演算周期毎に入力層16aに入力することにより、正規化されている5本指の各指関節角度を推定し、出力層16cから前記出力ベクトルOkを出力する。この出力ベクトルOkを、変換処理部17にて逆正規化して角度変換し、出力装置30に出力する。
【0038】
以下には、手に、指関節角度を計測するデータグローブ(図示しない)を取着して、5本の指の各指関節の角度を個々に検出可能とした状態で、かつ、前腕部Zに8個の電極20を付けて、表面筋電信号を手指関節角度推定装置10に入力して、指関節角度を推定した結果を図11(a)〜(d)に示す。
【0039】
各図において、縦軸は角度、横軸は時間[ms]であり、点線は前記データグローブにより検出測定した実測値のチャートであり、実線は手指関節角度推定装置10により推定した推定値のチャートである。
【0040】
図11(a)は、人指し指の内外転の角度のチャート、図11(b)は、人指し指の第1関節の屈曲角度のチャート、図11(c)は、人指し指の第2関節の屈曲角度のチャート、図11(d)は、人指し指の第3関節の屈曲角度のチャートを表わしている。各図に示すように、いずれも、手指関節角度推定装置10にて推定した指関節角度は、実測値とほぼ一致し、又、リアルタイムに各関節角度がほぼ正確に得られていることが分かる。なお、図示はしないが、人指し指以外の他の指の各指関節角度も同様にほぼ正確に得られた。
【0041】
比較例のために、ニューラルネットワーク16の出力をフィードバック成分とせず、さらに現時刻前の生体信号を用いない場合の従来のニューラルネットワークの概念図を図13に示す。
【0042】
この比較例の場合、手にデータグローブ(図示しない)を取着して、5本の指の各指関節の角度を個々に検出可能とした状態で、かつ、前腕部Zに8個の電極20を付けて、表面筋電信号を手指関節角度推定装置10に入力して、指関節角度を推定した結果を図14(a),(b)に示す。図14(a)、(b)において、縦軸は角度、横軸は時間[ms]であり、点線は前記データグローブにより検出測定した実測値のチャートであり、実線は手指関節角度推定装置10により推定した推定値のチャートである。
【0043】
図14(a)は、人指し指の内外転の角度のチャート、図14(b)は、人指し指の第1関節の屈曲角度のチャートである。同図に示すように推定した指関節角度は、実測値とは大きくかけ離れた値となっている。
【0044】
以上詳述した本実施形態によれば、以下に記載する各効果を得ることができる。
(1) 本実施形態の手指関節角度推定装置10は、各指関節が動いているときの複数の表面筋電信号(生体信号)を入力して、各表面筋電信号の特徴量を抽出し、抽出した該特徴量を一次元に並べて特徴量ベクトルとする整流処理部12、平滑処理部13、積分処理部14、及び正規化処理部15(特徴量抽出手段)を備える。又、手指関節角度推定装置10は、演算周期毎に入力ベクトルIkに基づいて、各指関節角度の推定を行い、推定した各指関節角度を出力ベクトルとして出力するニューラルネットワーク16(ニューラルネットワーク手段)とを備える。そして、入力ベクトルIkは、整流処理部12、平滑処理部13、積分処理部14、及び正規化処理部15が抽出した過去から現在までの時系列の特徴量ベクトルを一次元に並べたフィードフォワード成分Aと、フィードバック成分Bとが一次元に並べられて構成され、フィードバック成分Bは、ニューラルネットワーク16が、演算周期毎に現在まで推定していた時系列の出力ベクトルOkで構成されている。この結果、本実施形態の手指関節角度推定装置10によれば、表面筋電信号と指関節角度の関係の時間変化に対応可能であって、5本の指の各指関節角度を連続的にリアルタイムに正確に推定することができる。
【0045】
(2) 本実施形態の手指関節角度推定装置10において、整流処理部12、平滑処理部13、積分処理部14、及び正規化処理部では、表面筋電信号に対して積分区間を演算周期毎にずらし積分し、積分して得られた積分値を特徴量として抽出するようにした。この結果、演算周期毎に表面筋電信号の特徴量である積分値を取得することができる。
【0046】
なお、本発明の実施形態は以下のように変更してもよい。
○ 前記実施形態では、手指関節角度を推定する際に、生体信号として、前腕部において計測した表面筋電信号(sEMG)から得られる積分値を特徴量として用いたが、表面筋電信号の特徴量は、積分値に限定されるものではない。
【0047】
例えば、表面筋電信号のパワースペクトルを使用してもよい。
この場合、前腕部において測定部位が複数ある場合、測定部位のチャンネル番号をdとする。そして、各チャンネル毎に、かつサンプリング周期毎に得られたパワースペクトルを所定のバンド幅毎の区間和を求めて、ベクトル化すると、ある時に、あるチャンネルでサンプリングされたパワースペクトル(ベクトル)は式(2)のベクトルFkdで表わすことができる。なお、所定のバンド幅は、限定されるものではなく、適宜に決定すればよい。前記パワースペクトルの区間和が特徴量となる。
【0048】
【数2】
【0049】
式(2)中、Tは転置行列、kは時系列における順位、dはチャンネル番号、pは周波数の所定のバンド幅で区間分けした区分数である。
なお、パワースペクトルは、全波整流された表面筋電信号をフーリエ変換することにより求めることができる。なお、パワースペクトルの算出方法は、限定されるものではないが、フーリエ変換による算出法が一般的である。
【0050】
図12は、表面筋電信号をフーリエ変換した後のパワースペクトルを表わし、横軸が周波数、縦軸がパワースペクトルの強度である。パワースペクトルには、例えば、筋疲労の影響を反映しうる等、前記積分値を特徴量とする場合よりも得られ難い情報を含んでいる。
【0051】
○ パワースペクトルは、波形であるため、定量的な評価が難しい場合がある。この場合、表面筋電信号の特徴量として、平均周波数(Mean power frequency:以下、MNFという)、或いは中央周波数(Median power frequency:以下、MDFという)を使用してもよい。
【0052】
MNFの方が数学的に素直な量であるが、MDFには高周波成分に含まれるノイズの影響を受けにくい利点がある。
MNF及びMDFの定義式を次式(3)、式(4)で示す。
【0053】
【数3】
【0054】
【数4】
【0055】
ここで、P(x)はパワースペクトルである。fは周波数である。
○ 又、生体信号は、表面筋電信号に限定されるものではない。表面筋電信号(sEMG)は、脳から発せられる神経信号に基づいて発生しているため、その基となる脳情報も,手指関節角度の推定に有用に使用することが可能である。なお、表面筋電信号(sEMG)は、筋繊維の活動電位の総和であり信号の振幅に大きな意味合いがあるが、脳情報に関しては各信号によって推奨されるべき信号処理法が異なる.
以下、脳情報を含むものとして、脳波(EEG)、機能的磁気共鳴画像を形成するためのMRI信号、近赤外分光法(NIRS)、脳磁図(Magneto-Encephalo-Graphy :MEG)を挙げることができる。
【0056】
(1)脳波(Electroencephalogram:EEG)
EEGは、古くからある非侵襲な計測手法で計測できる信号である。脳内の神経細胞の活動電位を、頭皮表面で計測した信号である。ここではα波及びβ波の少なくともいずれか1つの波の増減変化による事象関連同期化、及び事象関連脱同期化を特徴量として使用することができる。例えば、運動野が活動するとα波が弱まる事象関連脱同期化という現象があり、これは実際に運動をせず、想像する際にも生じる。又、α波が大きくなった時の事象関連同期化がある。又、EEGは後述するfMRIよりも時間分解能が高い利点がある。EEGで重要であるのが、前記事象関連脱同期化という現象である。この現象は特定の部位の脳波の、特定の周波数成分を変化させる。そのため、脳波から運動に関する要素を抽出するためには、高速フーリエ変換(FFT)やウェーブレット変換などの周波数解析手法によってパワースペクトルや周波数成分の分布を得られるような信号処理を施す。そして、本実施形態では、これらの信号処理をコンピュータにて行わせ、その信号処理結果をフィードフォワード成分とする。そして、前記実施形態のニューラルネットワーク16に該フィードフォワード成分と、フィードバック成分を入力ベクトルとして入力するようにする。
【0057】
(2)機能的磁気共鳴画像(fMRI)
神経活動がより大きく生じている脳部位を、血流中の還元ヘモグロビンの変化から推定する方法であり、MRIで測定し、脳部位から得られたMRI信号を生体信号として使用する。ここでは、脳部位において、運動を司る部位における前記血流中の還元ヘモグロビンの変化から活性化している場所を特徴量とするものである。
【0058】
時間分解能は前述したEEGに劣るが、空間分解能が格段に高い利点がある。計測機器は大がかりであり高価であるが、神経情報を詳細に読み取り機械制御信号に変換する方法として、非侵襲式の中では最も高性能である。
【0059】
そして、本実施形態では、前記特徴量を有するMRI信号をフィードフォワード成分とする。そして、前記実施形態のニューラルネットワーク16に該フィードフォワード成分と、フィードバック成分を入力ベクトルとして入力するようにする。
【0060】
(3)近赤外分光法(NIRS)
近赤外分光法(NIRS)では、頭部や筋肉などの生体組織に対して透過性が高い近赤外光 (波長700nm〜1000nm) を外部から照射し、組織を透過してきた光を分析することにより、組織を流れている血液中のヘモグロビン酸素化状態を外部から調べる装置を使用する。生体信号は、該装置が検出した信号となる。又、前記組織を流れている血液中のヘモグロビン酸素化状態の変化を特徴量とする。
【0061】
本変形例では、この脳が活動したときに一過性に生じる局所的な血流量の変化を光センサで検出するものである。EEGとfMRIの中間程度の特性を持つ。計測システムはEEGと同等の規模であるが、非接触であるため、EEGと異なり、生体信号を身体に取付けする端子が必要でなく、該端子の取り付けの煩わしさがない利点がある。そして、本実施形態では、前記装置が検出した特徴量を有する信号をフィードフォワード成分とする。そして、前記実施形態のニューラルネットワーク16に該フィードフォワード成分と、フィードバック成分を入力ベクトルとして入力するようにする。
【0062】
(4)脳磁図(Magnetoencephalography:MEG)
脳磁図(MEG)は、前記EEGと似ているが、脳内の活動部位によって生じる磁場の変化を特徴量として検出するものである。電気信号はノイズが乗りやすいが、それに対して磁場は乗りにくい利点がある。
【0063】
そして、本実施形態では、被検体頭部の周りに該磁場を検出するセンサ(すなわち、ピックアップコイル)を配置して、該磁場の変化を特徴量を有する信号を生成して、該信号に含まれる磁場の変化をフィードフォワード成分とする。そして、前記実施形態のニューラルネットワーク16に該フィードフォワード成分と、フィードバック成分を入力ベクトルとして入力するようにする。
【0064】
前記(2)〜(4)での検出は、基本的には脳内の活動部位の分布を検出するものである。fMRIやNIRSは脳内の血流量の変化を、MEGは脳内磁場の分布を見ることができ、どの部位の神経細胞が活性化しているかを見ることができる。そのため、医学的な知見やあらかじめの計測において、手指の運動と、その際の脳内の活動部位との対応付けを行っておくものとする。
【0065】
○ 他の変形例として、下記のようにしてもよい。
関節は、筋肉の収縮により腱が移動し張力が発生することで駆動する。そのため、筋肉の収縮に伴う力こぶ等も、手指関節角度の推定に有効に利用できる。
【0066】
(1) 腱の移動
手首の内側を見ながら指を動かすと、動かす関節によって異なる腱が移動している様子が伺える。腱の移動と関節の屈曲は直接的な関係があるため、腱の移動量から関節の回転角度を推定することが可能である。
【0067】
このように、腱の移動を検出するために、すなわち、生体信号を得るために、2次元平面の圧力分布を検出するセンサ、例えば、分布型圧力センサを用いることができる。或いは、ビデオカメラを用いて、腱の移動を撮像し、該腱の移動に伴う影などの変化情報を含む画像信号を生体信号として取得する。
【0068】
ここで、前記分布型圧力センサの検出信号により腱の移動の変化を特徴量としてもよい。この場合、前記特徴量を有する検出信号をフィードフォワード成分とする。そして、前記実施形態のニューラルネットワーク16に該フィードフォワード成分と、フィードバック成分を入力ベクトルとして入力するようにする。
【0069】
或いはビデオカメラが撮像した画像信号において、腱が移動したことを腱の移動を撮像した画像フレームの差分をとることにより、その変化を特徴量として得るようにしてもよい。この場合、前記変化がある部分を特徴量を有した画像信号が生体信号となる。そして、同様に、この場合、前記特徴量を有する生体信号をフィードフォワード成分とする。そして、前記実施形態のニューラルネットワーク16に該フィードフォワード成分と、フィードバック成分を入力ベクトルとして入力するようにする。
【0070】
(2)筋肉のふくらみ
腱の移動と筋肉の膨らみも密接な関係があるため、筋肉の膨らみもビデオカメラを使用して、手指関節の変化に応じた膨らみの変化を含む画像信号を生体信号として取得し、手指関節角度の推定に使用する。この場合、ビデオカメラが撮像した画像信号において、筋肉の膨らみの変化を撮像した画像フレームの差分をとることにより、その変化を特徴量として得るようにしてもよい。この場合、前記変化がある部分を特徴量を有した画像信号が生体信号となる。そして、同様に、この場合、前記特徴量を有する生体信号をフィードフォワード成分とする。そして、前記実施形態のニューラルネットワーク16に該フィードフォワード成分と、フィードバック成分を入力ベクトルとして入力するようにする。
【0071】
(3)神経信号
神経は微弱な電気信号を伝える。sEMGを発生させる信号も電気信号であるため、指関節を変化させたときの脳から筋肉細胞まで伝わる信号を検出すれば、生体信号として有用な信号となる。具体的には、運動神経に端子を装着することにより、神経信号を検出することができる。神経を伝わる信号は、連続的なアナログ信号よりは、離散的なデジタル信号に近い。前腕部の筋群を支配する複数の神経を伝わる信号を計測し、どこの神経が、どれだけの時間信号を伝えたかを計測することにより、運動を反映しうる生体信号になる。そして、指関節の動きによって脳から、当該指の筋肉細胞までに伝わる神経信号を検出した信号において、その神経信号の変化が特徴量となる。
【0072】
この場合、前記特徴量を有する生体信号をフィードフォワード成分とする。そして、前記実施形態のニューラルネットワーク16に該フィードフォワード成分と、フィードバック成分を入力ベクトルとして入力するようにする。
【0073】
○ 前記実施形態では、手指関節角度を推定するようにしたが、手指関節角度に限定されるものではなく、足指関節角度を推定することも勿論可能である。
○ 前記実施形態では、ニューラルネットワーク16として、3層パーセプトロンニューラルネットワークにより構成したが、3層以上のパーセプトロンニューラルネットワークにより構成してもよい。又、ニューラルネットワーク16はパーセプトロンに限定されるものではなく、他のニューラルネットワークにより構成してもよい。
【0074】
○ 前記実施形態では、1本の指が3つの関節を有しているため、これらの関節の屈曲角度(指関節角度)と、さらに、内外転の角度(指関節角度)を検出するために、すなわち、各関節角度を推定するためにニューラルネットワーク16の出力層16cのユニットを20個としたが、推定に必要な関節角度に応じて、出力層16cのユニットの数を減らしてもよい。
【0075】
又、5本指の各関節角度の他に、手首関節等の他の関節角度を推定するために、逆に出力層16cのユニットの数を増加させてもよい。
○ 前記実施形態では、複数の生体信号(表面筋電信号)を取得するようにしたが、単数の表面筋電信号としてもよい。
【0076】
○ 前記実施形態では、単数種類の生体信号、すなわち、表面筋電信号を使用するようにしたが、上記各種の生体信号を複数種類組み合わせて使用することも可能である。
【図面の簡単な説明】
【0077】
【図1】本発明を具体化した一実施形態の手指関節角度推定装置の概略ブロック図。
【図2】推定部のニューラルネットワークの構造の説明図。
【図3】(a)〜(c)は、フィードフォワード成分Aの説明図。
【図4】(a)〜(c)は、フィードバック成分Bの説明図。
【図5】入力ベクトルの説明図。
【図6】A/D変換されたチャンネル信号のチャート。
【図7】全波整流処理されたチャンネル信号のチャート。
【図8】平滑処理されたチャンネル信号のチャート。
【図9】(a)は図8と同じチャンネル信号のチャート、(b)は積分処理されたチャンネル信号のチャート。
【図10】正規化処理されたチャンネル信号のチャート。
【図11】(a)は人指し指の内外転をデータグローブで検出測定した指関節角度のチャートと手指関節角度推定装置により推定した指関節角度のチャート、(b)は人指し指の第1関節の角度をデータグローブで検出測定した指関節角度のチャートと手指関節角度推定装置により推定した指関節角度のチャート、(c)は人指し指の第2関節の角度をデータグローブで検出測定した指関節角度のチャートと手指関節角度推定装置により推定した指関節角度のチャート、(d)は人指し指の第3関節の角度をデータグローブで検出測定した指関節角度のチャートと手指関節角度推定装置により推定した指関節角度のチャート。
【図12】表面筋電信号をフーリエ変換した後のパワースペクトルのチャート。
【図13】比較例のニューラルネットワーク16の出力をフィードバック成分としない場合の概念図。
【図14】(a)は比較例における人指し指の内外転をデータグローブで検出測定した指関節角度のチャートと手指関節角度推定装置により推定した指関節角度のチャート、(b)は比較例における人指し指の第1関節の角度をデータグローブで検出測定した指関節角度のチャートと手指関節角度推定装置により推定した指関節角度のチャート。
【符号の説明】
【0078】
10…手指関節角度推定装置(指関節角度推定装置)、
12…整流処理部、13…平滑処理部、14…積分処理部、
15…正規化処理部(平滑処理部13、積分処理部14とともに特徴量抽出手段を構成する)、
16…ニューラルネットワーク(ニューラルネットワーク手段)、
17…変換処理部、20…電極、30…出力装置。
【技術分野】
【0001】
本発明は、指関節角度推定装置に関する。
【背景技術】
【0002】
従来、ヒューマン・ロボットシステムにおいて、表面筋電信号を利用した手指形状を識別する方法が提案されている(非特許文献1)。又、非特許文献2では、表面筋電信号−手指関節角度の関係を、モデル式によりモデル化して、関数近似を行い、学習データから最小二乗法によりパラメータ推定を行う方法が提案されている。又、特許文献1では、表面筋電信号と指関節角度を一対一の対応付けで、複数の指の角度推定を行う方法が提案されている。
【特許文献1】特開平5−111881号公報
【非特許文献1】福田 修, 卜 楠, 辻 敏夫,「生EMG信号による電動義手の制御」,計測自動制御学会論文集, Vol.40, No.11, pp. 1124-1131, 2004.
【非特許文献2】北村 徹, 辻内 伸好, 小泉 孝之, 「筋電信号による動作推定に基づくロボットハンドのマニピュレーション」, 日本機械学会論文集(C編), 73巻735号, pp.152-158, 2007
【発明の開示】
【発明が解決しようとする課題】
【0003】
前記非特許文献1では、関節角度について、離散的なパターン識別を行うものであり、手指関節角度の推定を行うものではない。非特許文献2では、特定の指関節において単一の角度推定を行うものであり、多数の指関節への応用の可能性については具体的に提案されていない。特許文献1では、表面筋電信号と指関節角度の一対一の対応付けのみが行われており、表面筋電信号と手指関節角度の関係において、時間変換への対応の可能性については具体的に提案されていない。
【0004】
従来は、表面筋電信号等の生体信号と、手指関節角度の関係の時間変化に対応可能であって、手指関節角度の推定を、複数の指関節、例えば5指関節について行われた指関節角度推定装置について提案されているものがない。
【0005】
本発明の目的は、生体信号と指関節角度の関係の時間変化に対応可能であって、複数の指関節角度を連続的にリアルタイムに推定することができる指関節角度推定装置を提供することにある。
【課題を解決するための手段】
【0006】
上記問題点を解決するために請求項1の発明は、各指関節が動いているときの単数又は複数種類の生体信号を入力して、各生体信号の特徴量を抽出し、抽出した該特徴量を一次元に並べて特徴量ベクトルとする特徴量抽出手段と、演算周期毎に入力ベクトルに基づいて、各指関節の角度(以下、指関節角度という)の推定を行い、推定した前記各指関節角度を出力ベクトルとして出力するニューラルネットワーク手段とを含み、前記入力ベクトルは、前記特徴量抽出手段が抽出した過去から現在までの時系列の特徴量ベクトルを一次元に並べたフィードフォワード成分と、出力のフィードバックとが一次元に並べられて構成され、前記フィードバック成分は、前記ニューラルネットワーク手段が、前記演算周期毎に現在まで推定していた時系列の前記出力ベクトルで構成されていることを特徴とする指関節角度推定装置を要旨とするものである。
【0007】
なお、本明細書で生体信号とは、身体活動する際に起こる生理的な情報の信号であり、センサなどの検出手段により感知できる信号のことをいう。
請求項2の発明は、請求項1において、前記生体信号は、表面筋電信号であることを特徴とする。
【0008】
請求項3の発明は、請求項2において、前記特徴量抽出手段は、前記表面筋電信号に対して積分区間を演算周期毎にずらして積分し、積分して得られた積分値を特徴量として抽出するものである。
【0009】
請求項4の発明は、請求項2において、前記特徴量抽出手段は、前記表面筋電信号のパワースペクトルの所定のバンド幅毎の区間和を特徴量として抽出するものである。
請求項5の発明は、請求項2において、前記特徴量抽出手段は、前記表面筋電信号のパワースペクトルの平均周波数又は中央周波数を特徴量として抽出するものである。
【0010】
請求項6の発明は、請求項1において、前記生体信号は、脳波であり、前記特徴量抽出手段は、前記脳波のα波及びβ波の少なくともいずれか1つの波の増減変化による事象関連同期化、及び事象関連脱同期化を特徴量として抽出するものである。
【0011】
請求項7の発明は、請求項1において、前記生体信号は、脳部位のMRI信号であり、前記特徴量抽出手段は、運動を司る部位における血流中の還元ヘモグロビンの変化から活性化している場所を特徴量として抽出するものである。
【0012】
請求項8の発明は、請求項11において、前記生体信号は、頭部又は指関節に関係する筋肉を透過させた近赤外光を検出した信号であり、前記特徴量抽出手段は、頭部又は指関節に関係する筋肉組織を流れている血液中のヘモグロビン酸素化状態の変化を特徴量として抽出するものである。
【0013】
請求項9の発明は、請求項1において、前記生体信号は、脳磁図であり、前記特徴量抽出手段は、前記脳磁図の磁場の変化を特徴量として抽出するものである。
請求項10の発明は、請求項1において、前記生体信号は、指関節の動きによって腱が移動するのを捉えた信号であり、前記特徴量抽出手段は、前記腱の移動の変化を特徴量として抽出するものである。
【0014】
請求項11の発明は、請求項1において、前記生体信号は、指関節の動きによって筋肉の膨らみが変化するのを捉えた信号であり、前記特徴量抽出手段は、前記筋肉の膨らみの変化を特徴量として抽出するものである。
【0015】
請求項12の発明は、請求項1において、前記生体信号は、指関節の動きによって脳から、当該指の筋肉細胞までに伝わる神経信号を検出する信号であり、前記特徴量抽出手段は、前記指関節の動きに応じて変化する神経信号の変化を特徴量として抽出するものである。
【発明の効果】
【0016】
請求項1乃至請求項12の発明によれば、生体信号と指関節角度の関係の時間変化に対応可能であって、複数の指関節角度を連続的にリアルタイムに推定することができる指関節角度推定装置を提供することができる。
【発明を実施するための最良の形態】
【0017】
以下、本発明の指関節角度推定装置を手指関節角度推定装置に具体化した一実施形態を図1〜図11を参照して説明する。図1は手指関節角度推定装置の概略ブロック図である。
【0018】
手指関節角度推定装置10は、コンピュータからなり、A/D11、整流処理部12、平滑処理部13、積分処理部14、正規化処理部15、ニューラルネットワーク16、及び変換処理部19を備える。図1中、前記整流処理部12、平滑処理部13、積分処理部14、正規化処理部15、ニューラルネットワーク16、及び変換処理部17は、コンピュータが備える中央処理装置の機能ブロックを示しており、ハード構成を示すものではない。
【0019】
手指関節角度推定装置10は、人の前腕部Zに取り付けされた複数の電極20及びA/D11を介して表面筋電信号を入力する。なお、各電極20から入力した信号をチャンネル信号という。A/D11は、各チャンネル毎に、共通のサンプリング周波数で取得した前記表面筋電信号(アナログ信号)をデジタル信号に変換する。
【0020】
整流処理部12は、A/D11からのデジタル信号を各チャンネル毎に全波整流する。平滑処理部13はローパスフィルタからなり、整流処理部12が全波整流した信号を、各チャンネル毎に所定周波数(例えば、50[Hz])以上をカットオフして平滑する。
【0021】
積分処理部14は、平滑処理部13から入力した各チャンネル信号に対して、積分区間を演算周期毎にずらしながら、該積分区間の振幅を積分して積分値を取得する(図9(b)参照)。この積分値が特徴量に相当する。
【0022】
正規化処理部15は、積分処理部14により積分処理された各チャンネル信号に対して、正規化を行う。本実施形態では、正規化処理は、各チャンネル信号の振幅を0〜1の範囲にするものであるが、この範囲に限定されるものではない。ここで、整流処理部12、平滑処理部13、積分処理部14、及び正規化処理部15は、特徴量抽出手段に相当する。
【0023】
ニューラルネットワーク16は、素子伝達関数としてシグモイド関数を用いた3層パーセプトロンニューラルネットワークから構成されている。3層パーセプトロンニューラルネットワークは図2に示すように入力層16a、中間層16b、出力層16cを備えている。ニューラルネットワーク16におけるネットワークの学習は、5本指の各指関節角度が推定可能に一般的なバックプロパゲーション法により行われている。後述するフィードバック成分Bは、前記学習時には、過去の教師信号が用いられ、リアルタイムの手指関節角度の推定時には、過去にネットワークが実際に出力した値が用いられる。
【0024】
ニューラルネットワーク16の入力層16aを構成するユニットは、フィードフォワード成分Aと、フィードバック成分Bからなる入力ベクトルIk(図5参照)を入力するための個数分用意されている。又、出力層16cを構成するユニットは、推定された5本指の各指の各指関節角度を1次元に並べた出力ベクトルOkとして出力する。なお、出力ベクトルOkに含まれる、各指の各指関節角度は範囲(0,1)に正規化されている。出力層16cのユニットは、5本指の場合、本実施形態では、例えば、1本の指が3つの関節を有しているため、この3つの関節の屈曲角度(指関節角度)と、内外転の関節角度(指関節角度)を検出するため、各指毎の各関節角度の推定値が得られるように20個分用意されているが、この数値に限定されるものではない。
【0025】
図2、図3に示すように、フィードフォワード成分Aは、A0,……,Anからなる。A0は正規化処理部15から入力された、現在(すなわち、最新)の各チャンネル信号が正規化された積分値(特徴量)Fkを1次元に並べた特徴量ベクトルからなる。
【0026】
Anのnは、現在からn(なお、nは正の整数)ステップ前の演算周期を意味する。従って、Anは、nステップ前に正規化処理部15から入力され、各チャンネル信号が正規化された積分値(特徴量)を1次元に並べた特徴量ベクトルである。具体的に説明すると、図3(a)に示すように、現在時刻tのフィードフォワード成分Aは、次の演算周期の時刻t+1(図3(b)参照)では、正規化処理部15から特徴量ベクトルが入力されて、A0が更新されるとともに、現在時刻t時のA0の内容は、A1の内容として更新される。
【0027】
以下、同様にして、A2〜Anが更新される。なお、演算周期の時刻tのAnの内容は、演算周期の時刻t+1時では、破棄される。以下、図3(c)に示すように、次の時刻t+2以降においても、同様に、A0〜Anの内容は更新される。上記のようにして、フィードフォワード成分Aは、正規化された過去から現在までの時系列の特徴量ベクトルを一次元に並べたものとなる。
【0028】
図2、図4に示すように、フィードバック成分Bは、B1,……,Bhからなる。B1は出力層16cからフィードバック入力された、現在の演算周期の1ステップ前の、各指の各関節角度を1次元に並べた出力ベクトルOkからなる。Bhのhは、現在からh(なお、hは正の整数)ステップ前の演算周期を意味する。従って、Bhは、出力層16cからフィードバックされた、現在の演算周期のhステップ前の、各指の各関節角度を1次元に並べた出力ベクトルOkからなる。
【0029】
具体的に説明すると、図4(a)に示すように、現在時刻tのフィードバック成分Bは、次の演算周期の時刻t+1(図4(b)参照)では、出力層16cから出力ベクトルOkがフィードバックされて、B1が更新されるとともに、現在時刻t時のB1の内容は、B2の内容として更新される。以下、同様にして、B3〜Bhが更新される。なお、演算周期の時刻tのBhの内容は、演算周期の時刻t+1時では、破棄される。以下、図4(c)に示すように、次の時刻t+2以降においても、同様に、B1〜Bhの内容は更新される。上記のようにして、フィードバック成分Bは、現在までに推定された時系列の出力ベクトルとなる。
【0030】
変換処理部17は、ニューラルネットワーク16が推定した出力ベクトルOkを入力し、逆正規化処理して、各指の各指関節角度Nに変換する。式(1)は、逆正規化処理する場合の式である。
【0031】
【数1】
【0032】
ここで、MINは指関節角度の最小値であり、MAXは指関節角度の最大値である。
式(1)により、逆正規化処理して角度に変換した後、手指関節角度推定装置10は、出力装置30に出力する。出力装置30は、例えば、表示ディプレイ、或いはプリンタ等にて構成されている。
【0033】
(実施形態の作用)
さて、上記のように構成された手指関節角度推定装置10の作用を図6〜図11を参照して説明する。
【0034】
手指関節角度推定装置10に、電極20を介して生体信号として入力された表面筋電信号は、所定のサンプリング周波数で取得される。このサンプリング周波数は、例えば1[kHz]であるが、この数値に限定されるものではない。図6は、A/D変換されたチャンネル信号のチャートの例である。なお、図6の例では、サンプリング周波数は1[kHz]である。この信号は、脱力状態から握り、そのまま数秒経過した後にまた脱力状態に戻した時の、拇指屈曲に関与する筋肉の付近で計測した信号である。
【0035】
次に、整流処理部12において、入力された各チャンネル信号を全波整流化する。図7は、図6のチャンネル信号が全波整流処理されたチャートの例である。次に、平滑処理部13において、各チャンネル信号を平滑処理する。図8は、図7のチャンネル信号が平滑処理されたチャートの例である。
【0036】
次に、積分処理部14において、平滑処理部13から入力した各チャンネル信号に対して、積分区間を演算周期毎にずらしながら、該積分区間の振幅を積分して積分値を取得する。図9(a)は、図8の平滑処理されたチャンネル信号と同じであり、図9(b)は、積分処理されたチャンネル信号の例のチャートである。正規化処理部15は、積分処理部14から出力された各チャンネル信号を0〜1の範囲となるように正規化する。図10は、図9に示す信号が正規化処理されたチャンネル信号のチャートである。
【0037】
なお、図6〜図9において、縦軸は、振幅、横軸は時間軸である。図10において、縦軸は、正規化時の振幅、横軸は時間軸である。
ニューラルネットワーク16は、フィードフォワード成分A、フィードバック成分Bにて構成される入力ベクトルIkを演算周期毎に入力層16aに入力することにより、正規化されている5本指の各指関節角度を推定し、出力層16cから前記出力ベクトルOkを出力する。この出力ベクトルOkを、変換処理部17にて逆正規化して角度変換し、出力装置30に出力する。
【0038】
以下には、手に、指関節角度を計測するデータグローブ(図示しない)を取着して、5本の指の各指関節の角度を個々に検出可能とした状態で、かつ、前腕部Zに8個の電極20を付けて、表面筋電信号を手指関節角度推定装置10に入力して、指関節角度を推定した結果を図11(a)〜(d)に示す。
【0039】
各図において、縦軸は角度、横軸は時間[ms]であり、点線は前記データグローブにより検出測定した実測値のチャートであり、実線は手指関節角度推定装置10により推定した推定値のチャートである。
【0040】
図11(a)は、人指し指の内外転の角度のチャート、図11(b)は、人指し指の第1関節の屈曲角度のチャート、図11(c)は、人指し指の第2関節の屈曲角度のチャート、図11(d)は、人指し指の第3関節の屈曲角度のチャートを表わしている。各図に示すように、いずれも、手指関節角度推定装置10にて推定した指関節角度は、実測値とほぼ一致し、又、リアルタイムに各関節角度がほぼ正確に得られていることが分かる。なお、図示はしないが、人指し指以外の他の指の各指関節角度も同様にほぼ正確に得られた。
【0041】
比較例のために、ニューラルネットワーク16の出力をフィードバック成分とせず、さらに現時刻前の生体信号を用いない場合の従来のニューラルネットワークの概念図を図13に示す。
【0042】
この比較例の場合、手にデータグローブ(図示しない)を取着して、5本の指の各指関節の角度を個々に検出可能とした状態で、かつ、前腕部Zに8個の電極20を付けて、表面筋電信号を手指関節角度推定装置10に入力して、指関節角度を推定した結果を図14(a),(b)に示す。図14(a)、(b)において、縦軸は角度、横軸は時間[ms]であり、点線は前記データグローブにより検出測定した実測値のチャートであり、実線は手指関節角度推定装置10により推定した推定値のチャートである。
【0043】
図14(a)は、人指し指の内外転の角度のチャート、図14(b)は、人指し指の第1関節の屈曲角度のチャートである。同図に示すように推定した指関節角度は、実測値とは大きくかけ離れた値となっている。
【0044】
以上詳述した本実施形態によれば、以下に記載する各効果を得ることができる。
(1) 本実施形態の手指関節角度推定装置10は、各指関節が動いているときの複数の表面筋電信号(生体信号)を入力して、各表面筋電信号の特徴量を抽出し、抽出した該特徴量を一次元に並べて特徴量ベクトルとする整流処理部12、平滑処理部13、積分処理部14、及び正規化処理部15(特徴量抽出手段)を備える。又、手指関節角度推定装置10は、演算周期毎に入力ベクトルIkに基づいて、各指関節角度の推定を行い、推定した各指関節角度を出力ベクトルとして出力するニューラルネットワーク16(ニューラルネットワーク手段)とを備える。そして、入力ベクトルIkは、整流処理部12、平滑処理部13、積分処理部14、及び正規化処理部15が抽出した過去から現在までの時系列の特徴量ベクトルを一次元に並べたフィードフォワード成分Aと、フィードバック成分Bとが一次元に並べられて構成され、フィードバック成分Bは、ニューラルネットワーク16が、演算周期毎に現在まで推定していた時系列の出力ベクトルOkで構成されている。この結果、本実施形態の手指関節角度推定装置10によれば、表面筋電信号と指関節角度の関係の時間変化に対応可能であって、5本の指の各指関節角度を連続的にリアルタイムに正確に推定することができる。
【0045】
(2) 本実施形態の手指関節角度推定装置10において、整流処理部12、平滑処理部13、積分処理部14、及び正規化処理部では、表面筋電信号に対して積分区間を演算周期毎にずらし積分し、積分して得られた積分値を特徴量として抽出するようにした。この結果、演算周期毎に表面筋電信号の特徴量である積分値を取得することができる。
【0046】
なお、本発明の実施形態は以下のように変更してもよい。
○ 前記実施形態では、手指関節角度を推定する際に、生体信号として、前腕部において計測した表面筋電信号(sEMG)から得られる積分値を特徴量として用いたが、表面筋電信号の特徴量は、積分値に限定されるものではない。
【0047】
例えば、表面筋電信号のパワースペクトルを使用してもよい。
この場合、前腕部において測定部位が複数ある場合、測定部位のチャンネル番号をdとする。そして、各チャンネル毎に、かつサンプリング周期毎に得られたパワースペクトルを所定のバンド幅毎の区間和を求めて、ベクトル化すると、ある時に、あるチャンネルでサンプリングされたパワースペクトル(ベクトル)は式(2)のベクトルFkdで表わすことができる。なお、所定のバンド幅は、限定されるものではなく、適宜に決定すればよい。前記パワースペクトルの区間和が特徴量となる。
【0048】
【数2】
【0049】
式(2)中、Tは転置行列、kは時系列における順位、dはチャンネル番号、pは周波数の所定のバンド幅で区間分けした区分数である。
なお、パワースペクトルは、全波整流された表面筋電信号をフーリエ変換することにより求めることができる。なお、パワースペクトルの算出方法は、限定されるものではないが、フーリエ変換による算出法が一般的である。
【0050】
図12は、表面筋電信号をフーリエ変換した後のパワースペクトルを表わし、横軸が周波数、縦軸がパワースペクトルの強度である。パワースペクトルには、例えば、筋疲労の影響を反映しうる等、前記積分値を特徴量とする場合よりも得られ難い情報を含んでいる。
【0051】
○ パワースペクトルは、波形であるため、定量的な評価が難しい場合がある。この場合、表面筋電信号の特徴量として、平均周波数(Mean power frequency:以下、MNFという)、或いは中央周波数(Median power frequency:以下、MDFという)を使用してもよい。
【0052】
MNFの方が数学的に素直な量であるが、MDFには高周波成分に含まれるノイズの影響を受けにくい利点がある。
MNF及びMDFの定義式を次式(3)、式(4)で示す。
【0053】
【数3】
【0054】
【数4】
【0055】
ここで、P(x)はパワースペクトルである。fは周波数である。
○ 又、生体信号は、表面筋電信号に限定されるものではない。表面筋電信号(sEMG)は、脳から発せられる神経信号に基づいて発生しているため、その基となる脳情報も,手指関節角度の推定に有用に使用することが可能である。なお、表面筋電信号(sEMG)は、筋繊維の活動電位の総和であり信号の振幅に大きな意味合いがあるが、脳情報に関しては各信号によって推奨されるべき信号処理法が異なる.
以下、脳情報を含むものとして、脳波(EEG)、機能的磁気共鳴画像を形成するためのMRI信号、近赤外分光法(NIRS)、脳磁図(Magneto-Encephalo-Graphy :MEG)を挙げることができる。
【0056】
(1)脳波(Electroencephalogram:EEG)
EEGは、古くからある非侵襲な計測手法で計測できる信号である。脳内の神経細胞の活動電位を、頭皮表面で計測した信号である。ここではα波及びβ波の少なくともいずれか1つの波の増減変化による事象関連同期化、及び事象関連脱同期化を特徴量として使用することができる。例えば、運動野が活動するとα波が弱まる事象関連脱同期化という現象があり、これは実際に運動をせず、想像する際にも生じる。又、α波が大きくなった時の事象関連同期化がある。又、EEGは後述するfMRIよりも時間分解能が高い利点がある。EEGで重要であるのが、前記事象関連脱同期化という現象である。この現象は特定の部位の脳波の、特定の周波数成分を変化させる。そのため、脳波から運動に関する要素を抽出するためには、高速フーリエ変換(FFT)やウェーブレット変換などの周波数解析手法によってパワースペクトルや周波数成分の分布を得られるような信号処理を施す。そして、本実施形態では、これらの信号処理をコンピュータにて行わせ、その信号処理結果をフィードフォワード成分とする。そして、前記実施形態のニューラルネットワーク16に該フィードフォワード成分と、フィードバック成分を入力ベクトルとして入力するようにする。
【0057】
(2)機能的磁気共鳴画像(fMRI)
神経活動がより大きく生じている脳部位を、血流中の還元ヘモグロビンの変化から推定する方法であり、MRIで測定し、脳部位から得られたMRI信号を生体信号として使用する。ここでは、脳部位において、運動を司る部位における前記血流中の還元ヘモグロビンの変化から活性化している場所を特徴量とするものである。
【0058】
時間分解能は前述したEEGに劣るが、空間分解能が格段に高い利点がある。計測機器は大がかりであり高価であるが、神経情報を詳細に読み取り機械制御信号に変換する方法として、非侵襲式の中では最も高性能である。
【0059】
そして、本実施形態では、前記特徴量を有するMRI信号をフィードフォワード成分とする。そして、前記実施形態のニューラルネットワーク16に該フィードフォワード成分と、フィードバック成分を入力ベクトルとして入力するようにする。
【0060】
(3)近赤外分光法(NIRS)
近赤外分光法(NIRS)では、頭部や筋肉などの生体組織に対して透過性が高い近赤外光 (波長700nm〜1000nm) を外部から照射し、組織を透過してきた光を分析することにより、組織を流れている血液中のヘモグロビン酸素化状態を外部から調べる装置を使用する。生体信号は、該装置が検出した信号となる。又、前記組織を流れている血液中のヘモグロビン酸素化状態の変化を特徴量とする。
【0061】
本変形例では、この脳が活動したときに一過性に生じる局所的な血流量の変化を光センサで検出するものである。EEGとfMRIの中間程度の特性を持つ。計測システムはEEGと同等の規模であるが、非接触であるため、EEGと異なり、生体信号を身体に取付けする端子が必要でなく、該端子の取り付けの煩わしさがない利点がある。そして、本実施形態では、前記装置が検出した特徴量を有する信号をフィードフォワード成分とする。そして、前記実施形態のニューラルネットワーク16に該フィードフォワード成分と、フィードバック成分を入力ベクトルとして入力するようにする。
【0062】
(4)脳磁図(Magnetoencephalography:MEG)
脳磁図(MEG)は、前記EEGと似ているが、脳内の活動部位によって生じる磁場の変化を特徴量として検出するものである。電気信号はノイズが乗りやすいが、それに対して磁場は乗りにくい利点がある。
【0063】
そして、本実施形態では、被検体頭部の周りに該磁場を検出するセンサ(すなわち、ピックアップコイル)を配置して、該磁場の変化を特徴量を有する信号を生成して、該信号に含まれる磁場の変化をフィードフォワード成分とする。そして、前記実施形態のニューラルネットワーク16に該フィードフォワード成分と、フィードバック成分を入力ベクトルとして入力するようにする。
【0064】
前記(2)〜(4)での検出は、基本的には脳内の活動部位の分布を検出するものである。fMRIやNIRSは脳内の血流量の変化を、MEGは脳内磁場の分布を見ることができ、どの部位の神経細胞が活性化しているかを見ることができる。そのため、医学的な知見やあらかじめの計測において、手指の運動と、その際の脳内の活動部位との対応付けを行っておくものとする。
【0065】
○ 他の変形例として、下記のようにしてもよい。
関節は、筋肉の収縮により腱が移動し張力が発生することで駆動する。そのため、筋肉の収縮に伴う力こぶ等も、手指関節角度の推定に有効に利用できる。
【0066】
(1) 腱の移動
手首の内側を見ながら指を動かすと、動かす関節によって異なる腱が移動している様子が伺える。腱の移動と関節の屈曲は直接的な関係があるため、腱の移動量から関節の回転角度を推定することが可能である。
【0067】
このように、腱の移動を検出するために、すなわち、生体信号を得るために、2次元平面の圧力分布を検出するセンサ、例えば、分布型圧力センサを用いることができる。或いは、ビデオカメラを用いて、腱の移動を撮像し、該腱の移動に伴う影などの変化情報を含む画像信号を生体信号として取得する。
【0068】
ここで、前記分布型圧力センサの検出信号により腱の移動の変化を特徴量としてもよい。この場合、前記特徴量を有する検出信号をフィードフォワード成分とする。そして、前記実施形態のニューラルネットワーク16に該フィードフォワード成分と、フィードバック成分を入力ベクトルとして入力するようにする。
【0069】
或いはビデオカメラが撮像した画像信号において、腱が移動したことを腱の移動を撮像した画像フレームの差分をとることにより、その変化を特徴量として得るようにしてもよい。この場合、前記変化がある部分を特徴量を有した画像信号が生体信号となる。そして、同様に、この場合、前記特徴量を有する生体信号をフィードフォワード成分とする。そして、前記実施形態のニューラルネットワーク16に該フィードフォワード成分と、フィードバック成分を入力ベクトルとして入力するようにする。
【0070】
(2)筋肉のふくらみ
腱の移動と筋肉の膨らみも密接な関係があるため、筋肉の膨らみもビデオカメラを使用して、手指関節の変化に応じた膨らみの変化を含む画像信号を生体信号として取得し、手指関節角度の推定に使用する。この場合、ビデオカメラが撮像した画像信号において、筋肉の膨らみの変化を撮像した画像フレームの差分をとることにより、その変化を特徴量として得るようにしてもよい。この場合、前記変化がある部分を特徴量を有した画像信号が生体信号となる。そして、同様に、この場合、前記特徴量を有する生体信号をフィードフォワード成分とする。そして、前記実施形態のニューラルネットワーク16に該フィードフォワード成分と、フィードバック成分を入力ベクトルとして入力するようにする。
【0071】
(3)神経信号
神経は微弱な電気信号を伝える。sEMGを発生させる信号も電気信号であるため、指関節を変化させたときの脳から筋肉細胞まで伝わる信号を検出すれば、生体信号として有用な信号となる。具体的には、運動神経に端子を装着することにより、神経信号を検出することができる。神経を伝わる信号は、連続的なアナログ信号よりは、離散的なデジタル信号に近い。前腕部の筋群を支配する複数の神経を伝わる信号を計測し、どこの神経が、どれだけの時間信号を伝えたかを計測することにより、運動を反映しうる生体信号になる。そして、指関節の動きによって脳から、当該指の筋肉細胞までに伝わる神経信号を検出した信号において、その神経信号の変化が特徴量となる。
【0072】
この場合、前記特徴量を有する生体信号をフィードフォワード成分とする。そして、前記実施形態のニューラルネットワーク16に該フィードフォワード成分と、フィードバック成分を入力ベクトルとして入力するようにする。
【0073】
○ 前記実施形態では、手指関節角度を推定するようにしたが、手指関節角度に限定されるものではなく、足指関節角度を推定することも勿論可能である。
○ 前記実施形態では、ニューラルネットワーク16として、3層パーセプトロンニューラルネットワークにより構成したが、3層以上のパーセプトロンニューラルネットワークにより構成してもよい。又、ニューラルネットワーク16はパーセプトロンに限定されるものではなく、他のニューラルネットワークにより構成してもよい。
【0074】
○ 前記実施形態では、1本の指が3つの関節を有しているため、これらの関節の屈曲角度(指関節角度)と、さらに、内外転の角度(指関節角度)を検出するために、すなわち、各関節角度を推定するためにニューラルネットワーク16の出力層16cのユニットを20個としたが、推定に必要な関節角度に応じて、出力層16cのユニットの数を減らしてもよい。
【0075】
又、5本指の各関節角度の他に、手首関節等の他の関節角度を推定するために、逆に出力層16cのユニットの数を増加させてもよい。
○ 前記実施形態では、複数の生体信号(表面筋電信号)を取得するようにしたが、単数の表面筋電信号としてもよい。
【0076】
○ 前記実施形態では、単数種類の生体信号、すなわち、表面筋電信号を使用するようにしたが、上記各種の生体信号を複数種類組み合わせて使用することも可能である。
【図面の簡単な説明】
【0077】
【図1】本発明を具体化した一実施形態の手指関節角度推定装置の概略ブロック図。
【図2】推定部のニューラルネットワークの構造の説明図。
【図3】(a)〜(c)は、フィードフォワード成分Aの説明図。
【図4】(a)〜(c)は、フィードバック成分Bの説明図。
【図5】入力ベクトルの説明図。
【図6】A/D変換されたチャンネル信号のチャート。
【図7】全波整流処理されたチャンネル信号のチャート。
【図8】平滑処理されたチャンネル信号のチャート。
【図9】(a)は図8と同じチャンネル信号のチャート、(b)は積分処理されたチャンネル信号のチャート。
【図10】正規化処理されたチャンネル信号のチャート。
【図11】(a)は人指し指の内外転をデータグローブで検出測定した指関節角度のチャートと手指関節角度推定装置により推定した指関節角度のチャート、(b)は人指し指の第1関節の角度をデータグローブで検出測定した指関節角度のチャートと手指関節角度推定装置により推定した指関節角度のチャート、(c)は人指し指の第2関節の角度をデータグローブで検出測定した指関節角度のチャートと手指関節角度推定装置により推定した指関節角度のチャート、(d)は人指し指の第3関節の角度をデータグローブで検出測定した指関節角度のチャートと手指関節角度推定装置により推定した指関節角度のチャート。
【図12】表面筋電信号をフーリエ変換した後のパワースペクトルのチャート。
【図13】比較例のニューラルネットワーク16の出力をフィードバック成分としない場合の概念図。
【図14】(a)は比較例における人指し指の内外転をデータグローブで検出測定した指関節角度のチャートと手指関節角度推定装置により推定した指関節角度のチャート、(b)は比較例における人指し指の第1関節の角度をデータグローブで検出測定した指関節角度のチャートと手指関節角度推定装置により推定した指関節角度のチャート。
【符号の説明】
【0078】
10…手指関節角度推定装置(指関節角度推定装置)、
12…整流処理部、13…平滑処理部、14…積分処理部、
15…正規化処理部(平滑処理部13、積分処理部14とともに特徴量抽出手段を構成する)、
16…ニューラルネットワーク(ニューラルネットワーク手段)、
17…変換処理部、20…電極、30…出力装置。
【特許請求の範囲】
【請求項1】
各指関節が動いているときの単数又は複数種類の生体信号を入力して、各生体信号の特徴量を抽出し、抽出した該特徴量を一次元に並べて特徴量ベクトルとする特徴量抽出手段と、
演算周期毎に入力ベクトルに基づいて、各指関節の角度(以下、指関節角度という)の推定を行い、推定した前記各指関節角度を出力ベクトルとして出力するニューラルネットワーク手段とを含み、
前記入力ベクトルは、前記特徴量抽出手段が抽出した過去から現在までの時系列の特徴量ベクトルを一次元に並べたフィードフォワード成分と、出力のフィードバック成分で構成され、
前記フィードバック成分は、前記ニューラルネットワーク手段が、前記演算周期毎に現在まで推定していた時系列の前記出力ベクトルで構成されていることを特徴とする指関節角度推定装置。
【請求項2】
前記生体信号は、表面筋電信号であることを特徴とする請求項1に記載の指関節角度推定装置。
【請求項3】
前記特徴量抽出手段は、前記表面筋電信号に対して積分区間を演算周期毎にずらして積分し、積分して得られた積分値を特徴量として抽出するものである請求項2に記載の指関節角度推定装置。
【請求項4】
前記特徴量抽出手段は、前記表面筋電信号のパワースペクトルの所定のバンド幅毎の区間和を特徴量として抽出するものである請求項2に記載の指関節角度推定装置。
【請求項5】
前記特徴量抽出手段は、前記表面筋電信号のパワースペクトルの平均周波数又は中央周波数を特徴量として抽出するものである請求項2に記載の指関節角度推定装置。
【請求項6】
前記生体信号は、脳波であり、
前記特徴量抽出手段は、前記脳波のα波及びβ波の少なくともいずれか1つの波の増減変化による事象関連同期化、及び事象関連脱同期化を特徴量として抽出するものである請求項1に記載の指関節角度推定装置。
【請求項7】
前記生体信号は、脳部位のMRI信号であり、
前記特徴量抽出手段は、運動を司る部位における血流中の還元ヘモグロビンの変化から活性化している場所を特徴量として抽出するものである請求項1に記載の指関節角度推定装置。
【請求項8】
前記生体信号は、頭部又は指関節に関係する筋肉を透過させた近赤外光を検出した信号であり、
前記特徴量抽出手段は、頭部又は指関節に関係する筋肉組織を流れている血液中のヘモグロビン酸素化状態の変化を特徴量として抽出するものである請求項1に記載の指関節角度推定装置。
【請求項9】
前記生体信号は、脳磁図であり、
前記特徴量抽出手段は、前記脳磁図の磁場の変化を特徴量として抽出するものである請求項1に記載の指関節角度推定装置。
【請求項10】
前記生体信号は、指関節の動きによって腱が移動するのを捉えた信号であり、
前記特徴量抽出手段は、前記腱の移動の変化を特徴量として抽出するものである請求項1に記載の指関節角度推定装置。
【請求項11】
前記生体信号は、指関節の動きによって筋肉の膨らみが変化するのを捉えた信号であり、
前記特徴量抽出手段は、前記筋肉の膨らみの変化を特徴量として抽出するものである請求項1に記載の指関節角度推定装置。
【請求項12】
前記生体信号は、指関節の動きによって脳から、当該指の筋肉細胞までに伝わる神経信号を検出する信号であり、
前記特徴量抽出手段は、前記指関節の動きに応じて変化する神経信号の変化を特徴量として抽出するものである請求項1に記載の指関節角度推定装置。
【請求項1】
各指関節が動いているときの単数又は複数種類の生体信号を入力して、各生体信号の特徴量を抽出し、抽出した該特徴量を一次元に並べて特徴量ベクトルとする特徴量抽出手段と、
演算周期毎に入力ベクトルに基づいて、各指関節の角度(以下、指関節角度という)の推定を行い、推定した前記各指関節角度を出力ベクトルとして出力するニューラルネットワーク手段とを含み、
前記入力ベクトルは、前記特徴量抽出手段が抽出した過去から現在までの時系列の特徴量ベクトルを一次元に並べたフィードフォワード成分と、出力のフィードバック成分で構成され、
前記フィードバック成分は、前記ニューラルネットワーク手段が、前記演算周期毎に現在まで推定していた時系列の前記出力ベクトルで構成されていることを特徴とする指関節角度推定装置。
【請求項2】
前記生体信号は、表面筋電信号であることを特徴とする請求項1に記載の指関節角度推定装置。
【請求項3】
前記特徴量抽出手段は、前記表面筋電信号に対して積分区間を演算周期毎にずらして積分し、積分して得られた積分値を特徴量として抽出するものである請求項2に記載の指関節角度推定装置。
【請求項4】
前記特徴量抽出手段は、前記表面筋電信号のパワースペクトルの所定のバンド幅毎の区間和を特徴量として抽出するものである請求項2に記載の指関節角度推定装置。
【請求項5】
前記特徴量抽出手段は、前記表面筋電信号のパワースペクトルの平均周波数又は中央周波数を特徴量として抽出するものである請求項2に記載の指関節角度推定装置。
【請求項6】
前記生体信号は、脳波であり、
前記特徴量抽出手段は、前記脳波のα波及びβ波の少なくともいずれか1つの波の増減変化による事象関連同期化、及び事象関連脱同期化を特徴量として抽出するものである請求項1に記載の指関節角度推定装置。
【請求項7】
前記生体信号は、脳部位のMRI信号であり、
前記特徴量抽出手段は、運動を司る部位における血流中の還元ヘモグロビンの変化から活性化している場所を特徴量として抽出するものである請求項1に記載の指関節角度推定装置。
【請求項8】
前記生体信号は、頭部又は指関節に関係する筋肉を透過させた近赤外光を検出した信号であり、
前記特徴量抽出手段は、頭部又は指関節に関係する筋肉組織を流れている血液中のヘモグロビン酸素化状態の変化を特徴量として抽出するものである請求項1に記載の指関節角度推定装置。
【請求項9】
前記生体信号は、脳磁図であり、
前記特徴量抽出手段は、前記脳磁図の磁場の変化を特徴量として抽出するものである請求項1に記載の指関節角度推定装置。
【請求項10】
前記生体信号は、指関節の動きによって腱が移動するのを捉えた信号であり、
前記特徴量抽出手段は、前記腱の移動の変化を特徴量として抽出するものである請求項1に記載の指関節角度推定装置。
【請求項11】
前記生体信号は、指関節の動きによって筋肉の膨らみが変化するのを捉えた信号であり、
前記特徴量抽出手段は、前記筋肉の膨らみの変化を特徴量として抽出するものである請求項1に記載の指関節角度推定装置。
【請求項12】
前記生体信号は、指関節の動きによって脳から、当該指の筋肉細胞までに伝わる神経信号を検出する信号であり、
前記特徴量抽出手段は、前記指関節の動きに応じて変化する神経信号の変化を特徴量として抽出するものである請求項1に記載の指関節角度推定装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2010−125287(P2010−125287A)
【公開日】平成22年6月10日(2010.6.10)
【国際特許分類】
【出願番号】特願2008−306782(P2008−306782)
【出願日】平成20年12月1日(2008.12.1)
【出願人】(304019399)国立大学法人岐阜大学 (289)
【Fターム(参考)】
【公開日】平成22年6月10日(2010.6.10)
【国際特許分類】
【出願日】平成20年12月1日(2008.12.1)
【出願人】(304019399)国立大学法人岐阜大学 (289)
【Fターム(参考)】
[ Back to top ]