運動学習支援装置および方法
【課題】より正確なタイミングで運動を学習できるようにする。
【解決手段】信号処理部１０で、指導者５１の動作に関する動作画像３２Ｖとフィードバック信号２２Ｓとを並行して出力する際、当該動作に関する動作画像３２Ｖが出力されるタイミングより調整時間だけ早めまたは遅めに当該動作に関するフィードバック信号２２Ｓを出力する。
【解決手段】信号処理部１０で、指導者５１の動作に関する動作画像３２Ｖとフィードバック信号２２Ｓとを並行して出力する際、当該動作に関する動作画像３２Ｖが出力されるタイミングより調整時間だけ早めまたは遅めに当該動作に関するフィードバック信号２２Ｓを出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生体インターフェース技術に関し、特に表面筋電信号により運動の学習を支援する運動学習支援技術に関する。
【背景技術】
【０００２】
筋肉（骨格筋）の力の入れ具合、いわゆる筋張力は、神経パルスにより刺激された筋細胞膜が興奮して筋肉が収縮しようとすることで起こる。この興奮を皮膚上に貼着した電極により電気的に計測したものが表面筋電信号である。なお、以下では特に断りのない限り、表面筋電信号のことを筋電信号という。
【０００３】
筋電信号を運動学習に用いる技術は、例えば、特許文献１に示されているように、筋電信号から動作部分のインピーダンスを計算し、この計算結果を表示することで筋肉の使い方を定量的に利用者に示すものである。すなわち、表示装置が、運動学習目標値と今の動作における動作部分のインピーダンスの程度を表示するので、両者の差が視覚化される。このため、学習者は、この差を認識することで基準動作と現動作との相違の原因を知ることができ、動作部分が運動学習目標値に達するようにそのインピーダンスを調整することができるというものである。
【０００４】
また、電気刺激によりフィードバックを行う例として、非特許文献１に示された事例がある。これは、書道の熟練者の筋電信号をもとに電気刺激の信号を生成し、生成した電気刺激を初心者に与えることで、筆遣いの習得を感覚的に行うことを目的とした研究である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４００５８６４号公報
【非特許文献】
【０００６】
【非特許文献１】内藤裕ほか、「感覚情報を用いた書道における教示効果」、電気情報通信学会、信学技報、Vol.103, No.734, pp.139-144, 2004
【発明の概要】
【発明が解決しようとする課題】
【０００７】
筋電信号を運動学習に用いる場合、電気刺激の波形は、例えば特許文献１による演算によって求められた筋の活性レベルに合わせて作成される。波形自体は筋張力を実時間で再現し、その波形が被指導者に電気刺激として他動的に与えられるため、同じ運動を誘導することができる。
しかしながら、被指導者（学習者）が自分勝手に動く場合と異なり、外部からのトリガーとタイミングを合わせて運動する場合には、与える刺激の伝達と運動が発現するまでの時間差が問題となる。特に、画像の動作を目視によって真似て運動する場合には、画像信号と電気刺激信号にはある程度の時間差を考慮することが必要となる。また、被指導者によっては、指導者より早めに動作を行ってしまうケースも考えられ、このような場合にも画像信号と電気刺激信号との出力タイミングを調整する必要がある。
【０００８】
本発明はこのような課題を解決するためのものであり、より正確なタイミングで運動を学習できる運動学習支援技術を提供することを目的としている。
【課題を解決するための手段】
【０００９】
このような目的を達成するために、本発明にかかる運動学習支援装置は、指導者の動作を示す動作画像を撮影する画像入力部と、指導者の所定部位に貼着されて、当該指導者の動作により当該部位で発生する筋電信号を検出する検出電極と、指導者の動作を示す動作画像を画面表示する画面表示部と、被指導者の部位に貼着されて、当該被指導者の当該部位に対して指導者の動作を示す電気刺激からなるフィードバック信号を出力する出力電極と、画像入力部で得られた動作画像を画面表示部へ出力するとともに、検出電極で検出された筋電信号に応じたフィードバック信号を生成して出力電極へ出力する信号処理部とを備え、信号処理部で、動作画像とフィードバック信号とを並行して出力する際、動作に関する当該動作画像を出力するタイミングより調整時間だけ早めまたは遅めに当該動作に関するフィードバック信号を出力する。
【００１０】
この際、信号処理部に、検出電極からの筋電信号をデジタル信号へ変換する筋電位測定部と、筋電位測定部で得られたデジタル信号を全波整流した後に平均化処理することにより加工信号を生成する信号加工部と、加工信号と画像入力部で得られた動作画像とを時系列で順に記憶する記憶部と、記憶部から動作画像を読み出して画面表示部へ出力するのと並行して、記憶部のうち当該動作画像の読み出し時間位置より調整時間だけシフトした早いまたは遅い時間位置から加工信号を読み出して、当該加工信号から生成したフィードバック信号を出力電極へ出力するフィードバック信号生成部とを設けてもよい。
【００１１】
また、本発明にかかる運動学習支援方法は、指導者の動作を示す動作画像を撮影するステップと、指導者の動作により所定の部位で発生する筋電信号を検出するステップと、指導者の動作を示す動作画像を画面表示するステップと、被指導者の部位に対して指導者の動作を示す電気刺激からなるフィードバック信号を出力するステップと、画像入力部で得られた動作画像を出力するとともに、検出された筋電信号に応じたフィードバック信号を生成して出力する信号処理ステップとを備え、信号処理ステップで、動作画像とフィードバック信号とを並行して出力する際、動作に関する当該動作画像を出力するタイミングより調整時間だけ早めまたは遅めに当該動作に関するフィードバック信号を出力する。
【００１２】
この際、信号処理ステップに、検出電極からの筋電信号をデジタル信号へ変換するステップと、デジタル信号を全波整流した後に平均化処理することにより加工信号を生成するステップと、加工信号と動作画像とを時系列で順に記憶部で記憶するステップと、記憶部から動作画像を読み出して画面表示するのと並行して、記憶部のうち当該動作画像の読み出し時間位置より調整時間だけシフトした早いまたは遅い時間位置から加工信号を読み出して、当該加工信号から生成したフィードバック信号を被指導者の部位に対して出力するステップとを設けてもよい。
【発明の効果】
【００１３】
本発明によれば、教示動作を模倣する際に、指導者の動作に関する動作画像が出力されるタイミングより調整時間だけ早めまたは遅めに当該動作に関するフィードバック信号を被指導者に与えることができる。したがって、動作画像において指導者が運動を始めるタイミングより、フィードバック信号を早めに与えた場合、例えば、電気刺激を与えてから筋収縮を起こして運動が発現するまでの遅れ時間を補償することができ、より正確なタイミングで運動を学習することが可能となる。また、動作画像において指導者が運動を始めるタイミングより、フィードバック信号を遅めに与えた場合、例えば、指導者より早めに動作を行ってしまう傾向にある被指導者に対して、その動作を指導者に合わせるよう誘導することができ、結果として、より正確なタイミングで運動を学習することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本実施の形態にかかる運動学習支援装置の構成を示すブロック図である。
【図２】本実施の形態にかかる運動学習支援装置の動作を示す説明図である。
【発明を実施するための形態】
【００１５】
次に、本発明の一実施の形態について図面を参照して説明する。
［運動学習支援装置］
まず、図１を参照して、本実施の形態にかかる運動学習支援装置について説明する。図１は、本実施の形態にかかる運動学習支援装置の構成を示すブロック図である。
【００１６】
この運動学習支援装置１は、指導者５１から検出した筋電信号をもとにしてフィードバック信号を生成し、このフィードバック信号を被指導者５２へ電気刺激として初心者に与えることで、指導者５１の運動を学習する被指導者５２の支援を行う装置である。
運動学習支援装置１には、主な構成として、画像入力部３１、検出電極２１、画面表示部３２、出力電極２２、および信号処理部１０が設けられている。
【００１７】
画像入力部３１は、一般的なビデオカメラからなり、指導者５１の動作を示す動作画像３１Ｖを撮影する機能を有している。
検出電極２１は、複数の生体電極からなり、指導者５１の所定部位に貼着されて、指導者５１の動作により当該部位で発生する筋電信号２１Ｓを検出する機能を有している。
画面表示部３２は、一般的な画面モニタ装置からなり、指導者５１の動作を示す動作画像３２Ｖを画面表示する機能を有している。
【００１８】
出力電極２２は、複数の生体電極からなり、被指導者５２のうち検出電極２１が貼着されている部位に貼着されて、被指導者５２の当該部位に対して指導者５１の動作を示す電気刺激からなるフィードバック信号２２Ｓを出力する機能を有している。
信号処理部１０は、全体としてコンピュータなどの情報処理装置、あるいは入力信号を処理して出力する信号処理装置からなり、画像入力部３１で得られた動作画像３１Ｖからなる動作画像３２Ｖを画面表示部３２へ出力する機能と、検出電極２１で検出された筋電信号２１Ｓに応じたフィードバック信号２２Ｓを生成して出力電極２２へ出力する機能とを有している。
【００１９】
本実施の形態は、信号処理部１０で、指導者５１の動作に関する動作画像３２Ｖとフィードバック信号２２Ｓとを並行して出力する際、当該動作に関する動作画像３２Ｖが出力されるタイミングより調整時間だけ早めまたは遅めに当該動作に関するフィードバック信号２２Ｓを出力するようにしたものである。
【００２０】
次に、図１を参照して、本実施の形態にかかる信号処理部１０の構成について詳細に説明する。
信号処理部１０には、主な機能部として、筋電位測定部１１、信号加工部１２、記憶部１３、およびフィードバック信号生成部１４が設けられている。
【００２１】
筋電位測定部１１は、専用の信号処理回路からなり、検出電極２１で検出された微弱な皮膚表面の電位を示すアナログ電位からなる筋電信号２１Ｓを差動増幅し、これを１ｋＨｚ〜２ｋＨｚ程度のサンプリング周波数でＡ／Ｄ変換処理することにより、デジタルデータ列からなるデジタル信号１１Ｓを変換する機能を有している。
【００２２】
信号加工部１２は、筋電位測定部１１より出力されるデジタル信号１１Ｓを、全波整流してから適宜に係数を設定したデジタルフィルタにより平均化処理して加工信号１２Ｓを生成する機能を有している。
【００２３】
記憶部１３は、画像入力部３１で得られた動作画像３１Ｖと信号加工部１２で生成された加工信号１２Ｓとを時系列で順に記憶する機能を有している。これにより、記憶部１３には、指導者５１の動作に関する動作画像３１Ｖと、この動作に関する指導者５１の筋肉の動きに応じて皮膚の表面に発生した筋電信号２１Ｓの変化に対応した加工信号１２Ｓが、時系列で順に記憶される。
【００２４】
フィードバック信号生成部１４は、動作画像３１Ｖからなる動作画像１３Ｖを記憶部１３から読み出して画面表示部３２へ出力する機能と、加工信号１２Ｓからなる加工信号１３Ｓを、記憶部１３のうち動作画像１３Ｖの読み出し時間位置より調整時間だけシフトした早いまたは遅い時間位置から読み出す機能と、読み出した加工信号１３Ｓからフィードバック信号２２Ｓを生成して出力電極２２へ出力する機能とを有している。これにより、指導者５１の動作に関する動作画像１３Ｖが出力されるタイミングより調整時間だけ早めまたは遅めに当該動作に関するフィードバック信号２２Ｓが出力される。
【００２５】
［本実施の形態の動作］
次に、図２を参照して、本実施の形態にかかる運動学習支援装置の動作について説明する。図２は、本実施の形態にかかる運動学習支援装置の動作を示す説明図である。ここでは、電気刺激を与えてから筋収縮を起こして運動が発現するまでの時間遅れを解消するため、画像表示部３２に表示再生される指導者５１の動作より、調整時間だけ早いタイミングで、フィードバック信号２２Ｓを出力する場合を例として説明する。
【００２６】
筋電位測定部１１は、検出電極２１で検出された指導者５１の動作を示す筋電信号２１Ｓを取得し、デジタル信号１１Ｓへ変換する。信号加工部１２は、筋電位測定部１１からのデジタル信号１１Ｓを加工して加工信号１２Ｓを生成する。
【００２７】
記憶部１３は、画像入力部３１で得られた指導者５１の動作に関する動作画像３１Ｖを時系列で順に、記憶区領域へ書き込むとともに、これと並行して、デジタル信号１１Ｓからの加工信号１２Ｓを時系列で順に、記憶領域へ書き込む。
図２の例では、時刻Ｔ０に得られた指導者５１の動作Ｘに関する動作画像３１Ｖが、アドレスＡ１から順に書き込まれ、時刻Ｔ０に得られた指導者５１の動作Ｘに関する加工信号１２Ｓが、アドレスＡ２から順に書き込まれている。
【００２８】
フィードバック信号生成部１４は、動作画像３２Ｖとフィードバック信号２２Ｓとを並行して出力する際、記憶部１３から動作画像１３Ｖと加工信号１３Ｓとを並行して読み出す。このとき、フィードバック信号生成部１４は、記憶部１３に記憶されている加工信号１３Ｓのデータ列を、調整時間だけ早い時間位置から読み出して、５０Ｈｚ以下の周波数でサンプリングして、このサンプリング点に刺激用のパルス信号を当てはめたフィードバック信号２２Ｓを生成する。
【００２９】
図２の例では、時刻Ｔ１において、指導者５１の動作Ｘに関する動作画像１３Ｖが記憶部１３のアドレスＡ１から順に読み出されている。この際、動作Ｘに関する加工信号１３Ｓは、時刻Ｔ１より調整時間Δｔだけ早い時刻Ｔ１−Δｔに、アドレスＡ２から順に読み出される。実際には、動作画像１３Ｖと加工信号１３Ｓとは、時間的に連続するデータ列であるため、常時、動作画像１３Ｖの読み出し時間位置より調整時間Δｔだけシフトした早い時間位置から加工信号１３Ｓを読み出すことになる。
【００３０】
このことは、換言すれば、指導者５１の動作Ｘに関する動作画像１３Ｖは、動作Ｘに関する加工信号１３Ｓより、調整時間Δｔだけ遅れて記憶部１３から順に読み出されることになる。したがって、動作画像１３Ｖと加工信号１３Ｓとは、時間的に連続するデータ列であるため、常時、加工信号１３Ｓの読み出し時間位置より調整時間Δｔだけシフトした遅い時間位置から動作画像１３Ｖを読み出すことになる。
【００３１】
フィードバック信号生成部１４において、加工信号１３Ｓからフィードバック信号２２Ｓを生成する際の処理時間は、ほとんど無視できる程度である。これにより、図２に示すように、指導者５１の動作Ｘに関する動作画像３２Ｖが出力されるタイミングより調整時間Δｔだけ早めに当該動作Ｘに関するフィードバック信号２２Ｓが出力される。
【００３２】
なお、フィードバック信号生成部１４が生成するフィードバック信号２２Ｓは、例えば、医療用として用いられている低周波治療器と同等のパルス信号を用いればよい。また、生成するフィードバック信号２２Ｓにおけるパルス幅、パルス高、および繰り返し周波数については、被指導者５２が受ける刺激に応じて事前に調整しておけばよい。
【００３３】
このようにして設定したパルス幅、パルス高、および繰り返し周波数に応じて生成されたフィードバック信号２２Ｓによる電気刺激は、画像表示部３２に表示再生される指導者５１の動作より、調整時間だけ早いタイミングで、出力電極２２により、被指導者５２の対応する筋肉に与えて筋収縮を起こすことになる。これにより、電気刺激を与えてから筋収縮を起こして運動が発現するまでの時間遅れが解消されるため、表示再生される指導者５１の動作を模倣する運動を、正確なタイミングで学習することができる。
【００３４】
調整時間を決めるために、簡単なタスクを模倣する実験を行って効果的な時間シフト量を調べた。タスクは、１０秒間に単関節の屈伸を模倣するもので、画像とともに電気刺激を与えて運動を学習させた後、運動の再現性を調べることで行った。シフト量は０．１秒から０．３秒の範囲内で良好な結果が得られた。特に、画像と電気刺激のシフト量を−０．２、０、＋０．２、＋０．４（秒）早めた場合の再現性を調べてみると、この中で＋０．２秒の場合がもっとも再現性がよく、それより早くても遅くても結果は＋０．２秒の場合よりも良くなかった。したがって、＋０．２秒付近が最適なシフト量であることが分かった。
【００３５】
［本実施の形態の効果］
このように、本実施の形態は、信号処理部１０で、指導者５１の動作に関する動作画像３２Ｖとフィードバック信号２２Ｓとを並行して出力する際、当該動作に関する動作画像３２Ｖが出力されるタイミングより調整時間だけ早めまたは遅めに当該動作に関するフィードバック信号２２Ｓを出力している。
したがって、動作画像において指導者が運動を始めるタイミングより、フィードバック信号を早めに与えることにより、例えば、電気刺激を与えてから筋収縮を起こして運動が発現するまでの遅れ時間を補償することができ、より正確なタイミングで運動を学習することが可能となる。また、動作画像において指導者が運動を始めるタイミングより、フィードバック信号を遅めに与えることにより、例えば、指導者より早めに動作を行ってしまう傾向にある被指導者に対して、その動作を指導者に合わせるよう誘導することができ、結果として、より正確なタイミングで運動を学習することが可能となる。
【００３６】
また、本実施の形態では、信号処理部１０において、筋電位測定部１１により、検出電極２１からの筋電信号２１Ｓをデジタル信号１１Ｓへ変換し、信号加工部１２により、筋電位測定部２１Ｓで得られたデジタル信号１１Ｓを全波整流した後に平均化処理することにより加工信号１２Ｓを生成し、記憶部１３で、加工信号１２Ｓと画像入力部３１で得られた動作画像３１Ｖとを時系列で順に記憶し、フィードバック信号生成部１４により、記憶部１３から動作画像１３Ｖを読み出して画面表示部３２で動作画像３２Ｖを画面表示するのと並行して、記憶部１３のうち当該動作画像１３Ｖの読み出し時間位置より調整時間だけシフトした早いあるいは遅い時間位置から加工信号１３Ｓを読み出して、当該加工信号１３Ｓから生成したフィードバック信号２２Ｓを出力電極２２により被指導者５２の部位に対して出力するようにしたので、簡素な構成で動作画像３２Ｖの画面表示とフィードバック信号２２Ｓの出力とを調整時間だけずらすことができる。
【００３７】
また、本実施の形態では、検出電極２１および出力電極２２として複数の電極を用い、検出電極２１の各電極で得られた各筋電信号について、これら筋電信号から生成したフィードバック信号２２Ｓをそれぞれ早めまたは遅めに出力するようにしたので、各部位の連動のタイミングや力の強弱を、被指導者５２に体感させることが可能となる。
【００３８】
［実施の形態の拡張］
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をすることができる。
【符号の説明】
【００３９】
１…運動学習支援装置、１０…信号処理部、１１…筋電位測定部、１１Ｓ…デジタル信号、１２…信号加工部、１２Ｓ…加工信号、１３…記憶部、１３Ｓ…加工信号、１３Ｖ…動作画像、１４…フィードバック信号生成部、２１…検出電極、２１Ｓ…筋電信号、２２…出力電極、２２Ｓ…フィードバック信号、３１…画像入力部、３１Ｖ…動作画像、３２…画面表示部、３２Ｖ…動作画像、５１…指導者、５２…被指導者。
【技術分野】
【０００１】
本発明は、生体インターフェース技術に関し、特に表面筋電信号により運動の学習を支援する運動学習支援技術に関する。
【背景技術】
【０００２】
筋肉（骨格筋）の力の入れ具合、いわゆる筋張力は、神経パルスにより刺激された筋細胞膜が興奮して筋肉が収縮しようとすることで起こる。この興奮を皮膚上に貼着した電極により電気的に計測したものが表面筋電信号である。なお、以下では特に断りのない限り、表面筋電信号のことを筋電信号という。
【０００３】
筋電信号を運動学習に用いる技術は、例えば、特許文献１に示されているように、筋電信号から動作部分のインピーダンスを計算し、この計算結果を表示することで筋肉の使い方を定量的に利用者に示すものである。すなわち、表示装置が、運動学習目標値と今の動作における動作部分のインピーダンスの程度を表示するので、両者の差が視覚化される。このため、学習者は、この差を認識することで基準動作と現動作との相違の原因を知ることができ、動作部分が運動学習目標値に達するようにそのインピーダンスを調整することができるというものである。
【０００４】
また、電気刺激によりフィードバックを行う例として、非特許文献１に示された事例がある。これは、書道の熟練者の筋電信号をもとに電気刺激の信号を生成し、生成した電気刺激を初心者に与えることで、筆遣いの習得を感覚的に行うことを目的とした研究である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４００５８６４号公報
【非特許文献】
【０００６】
【非特許文献１】内藤裕ほか、「感覚情報を用いた書道における教示効果」、電気情報通信学会、信学技報、Vol.103, No.734, pp.139-144, 2004
【発明の概要】
【発明が解決しようとする課題】
【０００７】
筋電信号を運動学習に用いる場合、電気刺激の波形は、例えば特許文献１による演算によって求められた筋の活性レベルに合わせて作成される。波形自体は筋張力を実時間で再現し、その波形が被指導者に電気刺激として他動的に与えられるため、同じ運動を誘導することができる。
しかしながら、被指導者（学習者）が自分勝手に動く場合と異なり、外部からのトリガーとタイミングを合わせて運動する場合には、与える刺激の伝達と運動が発現するまでの時間差が問題となる。特に、画像の動作を目視によって真似て運動する場合には、画像信号と電気刺激信号にはある程度の時間差を考慮することが必要となる。また、被指導者によっては、指導者より早めに動作を行ってしまうケースも考えられ、このような場合にも画像信号と電気刺激信号との出力タイミングを調整する必要がある。
【０００８】
本発明はこのような課題を解決するためのものであり、より正確なタイミングで運動を学習できる運動学習支援技術を提供することを目的としている。
【課題を解決するための手段】
【０００９】
このような目的を達成するために、本発明にかかる運動学習支援装置は、指導者の動作を示す動作画像を撮影する画像入力部と、指導者の所定部位に貼着されて、当該指導者の動作により当該部位で発生する筋電信号を検出する検出電極と、指導者の動作を示す動作画像を画面表示する画面表示部と、被指導者の部位に貼着されて、当該被指導者の当該部位に対して指導者の動作を示す電気刺激からなるフィードバック信号を出力する出力電極と、画像入力部で得られた動作画像を画面表示部へ出力するとともに、検出電極で検出された筋電信号に応じたフィードバック信号を生成して出力電極へ出力する信号処理部とを備え、信号処理部で、動作画像とフィードバック信号とを並行して出力する際、動作に関する当該動作画像を出力するタイミングより調整時間だけ早めまたは遅めに当該動作に関するフィードバック信号を出力する。
【００１０】
この際、信号処理部に、検出電極からの筋電信号をデジタル信号へ変換する筋電位測定部と、筋電位測定部で得られたデジタル信号を全波整流した後に平均化処理することにより加工信号を生成する信号加工部と、加工信号と画像入力部で得られた動作画像とを時系列で順に記憶する記憶部と、記憶部から動作画像を読み出して画面表示部へ出力するのと並行して、記憶部のうち当該動作画像の読み出し時間位置より調整時間だけシフトした早いまたは遅い時間位置から加工信号を読み出して、当該加工信号から生成したフィードバック信号を出力電極へ出力するフィードバック信号生成部とを設けてもよい。
【００１１】
また、本発明にかかる運動学習支援方法は、指導者の動作を示す動作画像を撮影するステップと、指導者の動作により所定の部位で発生する筋電信号を検出するステップと、指導者の動作を示す動作画像を画面表示するステップと、被指導者の部位に対して指導者の動作を示す電気刺激からなるフィードバック信号を出力するステップと、画像入力部で得られた動作画像を出力するとともに、検出された筋電信号に応じたフィードバック信号を生成して出力する信号処理ステップとを備え、信号処理ステップで、動作画像とフィードバック信号とを並行して出力する際、動作に関する当該動作画像を出力するタイミングより調整時間だけ早めまたは遅めに当該動作に関するフィードバック信号を出力する。
【００１２】
この際、信号処理ステップに、検出電極からの筋電信号をデジタル信号へ変換するステップと、デジタル信号を全波整流した後に平均化処理することにより加工信号を生成するステップと、加工信号と動作画像とを時系列で順に記憶部で記憶するステップと、記憶部から動作画像を読み出して画面表示するのと並行して、記憶部のうち当該動作画像の読み出し時間位置より調整時間だけシフトした早いまたは遅い時間位置から加工信号を読み出して、当該加工信号から生成したフィードバック信号を被指導者の部位に対して出力するステップとを設けてもよい。
【発明の効果】
【００１３】
本発明によれば、教示動作を模倣する際に、指導者の動作に関する動作画像が出力されるタイミングより調整時間だけ早めまたは遅めに当該動作に関するフィードバック信号を被指導者に与えることができる。したがって、動作画像において指導者が運動を始めるタイミングより、フィードバック信号を早めに与えた場合、例えば、電気刺激を与えてから筋収縮を起こして運動が発現するまでの遅れ時間を補償することができ、より正確なタイミングで運動を学習することが可能となる。また、動作画像において指導者が運動を始めるタイミングより、フィードバック信号を遅めに与えた場合、例えば、指導者より早めに動作を行ってしまう傾向にある被指導者に対して、その動作を指導者に合わせるよう誘導することができ、結果として、より正確なタイミングで運動を学習することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本実施の形態にかかる運動学習支援装置の構成を示すブロック図である。
【図２】本実施の形態にかかる運動学習支援装置の動作を示す説明図である。
【発明を実施するための形態】
【００１５】
次に、本発明の一実施の形態について図面を参照して説明する。
［運動学習支援装置］
まず、図１を参照して、本実施の形態にかかる運動学習支援装置について説明する。図１は、本実施の形態にかかる運動学習支援装置の構成を示すブロック図である。
【００１６】
この運動学習支援装置１は、指導者５１から検出した筋電信号をもとにしてフィードバック信号を生成し、このフィードバック信号を被指導者５２へ電気刺激として初心者に与えることで、指導者５１の運動を学習する被指導者５２の支援を行う装置である。
運動学習支援装置１には、主な構成として、画像入力部３１、検出電極２１、画面表示部３２、出力電極２２、および信号処理部１０が設けられている。
【００１７】
画像入力部３１は、一般的なビデオカメラからなり、指導者５１の動作を示す動作画像３１Ｖを撮影する機能を有している。
検出電極２１は、複数の生体電極からなり、指導者５１の所定部位に貼着されて、指導者５１の動作により当該部位で発生する筋電信号２１Ｓを検出する機能を有している。
画面表示部３２は、一般的な画面モニタ装置からなり、指導者５１の動作を示す動作画像３２Ｖを画面表示する機能を有している。
【００１８】
出力電極２２は、複数の生体電極からなり、被指導者５２のうち検出電極２１が貼着されている部位に貼着されて、被指導者５２の当該部位に対して指導者５１の動作を示す電気刺激からなるフィードバック信号２２Ｓを出力する機能を有している。
信号処理部１０は、全体としてコンピュータなどの情報処理装置、あるいは入力信号を処理して出力する信号処理装置からなり、画像入力部３１で得られた動作画像３１Ｖからなる動作画像３２Ｖを画面表示部３２へ出力する機能と、検出電極２１で検出された筋電信号２１Ｓに応じたフィードバック信号２２Ｓを生成して出力電極２２へ出力する機能とを有している。
【００１９】
本実施の形態は、信号処理部１０で、指導者５１の動作に関する動作画像３２Ｖとフィードバック信号２２Ｓとを並行して出力する際、当該動作に関する動作画像３２Ｖが出力されるタイミングより調整時間だけ早めまたは遅めに当該動作に関するフィードバック信号２２Ｓを出力するようにしたものである。
【００２０】
次に、図１を参照して、本実施の形態にかかる信号処理部１０の構成について詳細に説明する。
信号処理部１０には、主な機能部として、筋電位測定部１１、信号加工部１２、記憶部１３、およびフィードバック信号生成部１４が設けられている。
【００２１】
筋電位測定部１１は、専用の信号処理回路からなり、検出電極２１で検出された微弱な皮膚表面の電位を示すアナログ電位からなる筋電信号２１Ｓを差動増幅し、これを１ｋＨｚ〜２ｋＨｚ程度のサンプリング周波数でＡ／Ｄ変換処理することにより、デジタルデータ列からなるデジタル信号１１Ｓを変換する機能を有している。
【００２２】
信号加工部１２は、筋電位測定部１１より出力されるデジタル信号１１Ｓを、全波整流してから適宜に係数を設定したデジタルフィルタにより平均化処理して加工信号１２Ｓを生成する機能を有している。
【００２３】
記憶部１３は、画像入力部３１で得られた動作画像３１Ｖと信号加工部１２で生成された加工信号１２Ｓとを時系列で順に記憶する機能を有している。これにより、記憶部１３には、指導者５１の動作に関する動作画像３１Ｖと、この動作に関する指導者５１の筋肉の動きに応じて皮膚の表面に発生した筋電信号２１Ｓの変化に対応した加工信号１２Ｓが、時系列で順に記憶される。
【００２４】
フィードバック信号生成部１４は、動作画像３１Ｖからなる動作画像１３Ｖを記憶部１３から読み出して画面表示部３２へ出力する機能と、加工信号１２Ｓからなる加工信号１３Ｓを、記憶部１３のうち動作画像１３Ｖの読み出し時間位置より調整時間だけシフトした早いまたは遅い時間位置から読み出す機能と、読み出した加工信号１３Ｓからフィードバック信号２２Ｓを生成して出力電極２２へ出力する機能とを有している。これにより、指導者５１の動作に関する動作画像１３Ｖが出力されるタイミングより調整時間だけ早めまたは遅めに当該動作に関するフィードバック信号２２Ｓが出力される。
【００２５】
［本実施の形態の動作］
次に、図２を参照して、本実施の形態にかかる運動学習支援装置の動作について説明する。図２は、本実施の形態にかかる運動学習支援装置の動作を示す説明図である。ここでは、電気刺激を与えてから筋収縮を起こして運動が発現するまでの時間遅れを解消するため、画像表示部３２に表示再生される指導者５１の動作より、調整時間だけ早いタイミングで、フィードバック信号２２Ｓを出力する場合を例として説明する。
【００２６】
筋電位測定部１１は、検出電極２１で検出された指導者５１の動作を示す筋電信号２１Ｓを取得し、デジタル信号１１Ｓへ変換する。信号加工部１２は、筋電位測定部１１からのデジタル信号１１Ｓを加工して加工信号１２Ｓを生成する。
【００２７】
記憶部１３は、画像入力部３１で得られた指導者５１の動作に関する動作画像３１Ｖを時系列で順に、記憶区領域へ書き込むとともに、これと並行して、デジタル信号１１Ｓからの加工信号１２Ｓを時系列で順に、記憶領域へ書き込む。
図２の例では、時刻Ｔ０に得られた指導者５１の動作Ｘに関する動作画像３１Ｖが、アドレスＡ１から順に書き込まれ、時刻Ｔ０に得られた指導者５１の動作Ｘに関する加工信号１２Ｓが、アドレスＡ２から順に書き込まれている。
【００２８】
フィードバック信号生成部１４は、動作画像３２Ｖとフィードバック信号２２Ｓとを並行して出力する際、記憶部１３から動作画像１３Ｖと加工信号１３Ｓとを並行して読み出す。このとき、フィードバック信号生成部１４は、記憶部１３に記憶されている加工信号１３Ｓのデータ列を、調整時間だけ早い時間位置から読み出して、５０Ｈｚ以下の周波数でサンプリングして、このサンプリング点に刺激用のパルス信号を当てはめたフィードバック信号２２Ｓを生成する。
【００２９】
図２の例では、時刻Ｔ１において、指導者５１の動作Ｘに関する動作画像１３Ｖが記憶部１３のアドレスＡ１から順に読み出されている。この際、動作Ｘに関する加工信号１３Ｓは、時刻Ｔ１より調整時間Δｔだけ早い時刻Ｔ１−Δｔに、アドレスＡ２から順に読み出される。実際には、動作画像１３Ｖと加工信号１３Ｓとは、時間的に連続するデータ列であるため、常時、動作画像１３Ｖの読み出し時間位置より調整時間Δｔだけシフトした早い時間位置から加工信号１３Ｓを読み出すことになる。
【００３０】
このことは、換言すれば、指導者５１の動作Ｘに関する動作画像１３Ｖは、動作Ｘに関する加工信号１３Ｓより、調整時間Δｔだけ遅れて記憶部１３から順に読み出されることになる。したがって、動作画像１３Ｖと加工信号１３Ｓとは、時間的に連続するデータ列であるため、常時、加工信号１３Ｓの読み出し時間位置より調整時間Δｔだけシフトした遅い時間位置から動作画像１３Ｖを読み出すことになる。
【００３１】
フィードバック信号生成部１４において、加工信号１３Ｓからフィードバック信号２２Ｓを生成する際の処理時間は、ほとんど無視できる程度である。これにより、図２に示すように、指導者５１の動作Ｘに関する動作画像３２Ｖが出力されるタイミングより調整時間Δｔだけ早めに当該動作Ｘに関するフィードバック信号２２Ｓが出力される。
【００３２】
なお、フィードバック信号生成部１４が生成するフィードバック信号２２Ｓは、例えば、医療用として用いられている低周波治療器と同等のパルス信号を用いればよい。また、生成するフィードバック信号２２Ｓにおけるパルス幅、パルス高、および繰り返し周波数については、被指導者５２が受ける刺激に応じて事前に調整しておけばよい。
【００３３】
このようにして設定したパルス幅、パルス高、および繰り返し周波数に応じて生成されたフィードバック信号２２Ｓによる電気刺激は、画像表示部３２に表示再生される指導者５１の動作より、調整時間だけ早いタイミングで、出力電極２２により、被指導者５２の対応する筋肉に与えて筋収縮を起こすことになる。これにより、電気刺激を与えてから筋収縮を起こして運動が発現するまでの時間遅れが解消されるため、表示再生される指導者５１の動作を模倣する運動を、正確なタイミングで学習することができる。
【００３４】
調整時間を決めるために、簡単なタスクを模倣する実験を行って効果的な時間シフト量を調べた。タスクは、１０秒間に単関節の屈伸を模倣するもので、画像とともに電気刺激を与えて運動を学習させた後、運動の再現性を調べることで行った。シフト量は０．１秒から０．３秒の範囲内で良好な結果が得られた。特に、画像と電気刺激のシフト量を−０．２、０、＋０．２、＋０．４（秒）早めた場合の再現性を調べてみると、この中で＋０．２秒の場合がもっとも再現性がよく、それより早くても遅くても結果は＋０．２秒の場合よりも良くなかった。したがって、＋０．２秒付近が最適なシフト量であることが分かった。
【００３５】
［本実施の形態の効果］
このように、本実施の形態は、信号処理部１０で、指導者５１の動作に関する動作画像３２Ｖとフィードバック信号２２Ｓとを並行して出力する際、当該動作に関する動作画像３２Ｖが出力されるタイミングより調整時間だけ早めまたは遅めに当該動作に関するフィードバック信号２２Ｓを出力している。
したがって、動作画像において指導者が運動を始めるタイミングより、フィードバック信号を早めに与えることにより、例えば、電気刺激を与えてから筋収縮を起こして運動が発現するまでの遅れ時間を補償することができ、より正確なタイミングで運動を学習することが可能となる。また、動作画像において指導者が運動を始めるタイミングより、フィードバック信号を遅めに与えることにより、例えば、指導者より早めに動作を行ってしまう傾向にある被指導者に対して、その動作を指導者に合わせるよう誘導することができ、結果として、より正確なタイミングで運動を学習することが可能となる。
【００３６】
また、本実施の形態では、信号処理部１０において、筋電位測定部１１により、検出電極２１からの筋電信号２１Ｓをデジタル信号１１Ｓへ変換し、信号加工部１２により、筋電位測定部２１Ｓで得られたデジタル信号１１Ｓを全波整流した後に平均化処理することにより加工信号１２Ｓを生成し、記憶部１３で、加工信号１２Ｓと画像入力部３１で得られた動作画像３１Ｖとを時系列で順に記憶し、フィードバック信号生成部１４により、記憶部１３から動作画像１３Ｖを読み出して画面表示部３２で動作画像３２Ｖを画面表示するのと並行して、記憶部１３のうち当該動作画像１３Ｖの読み出し時間位置より調整時間だけシフトした早いあるいは遅い時間位置から加工信号１３Ｓを読み出して、当該加工信号１３Ｓから生成したフィードバック信号２２Ｓを出力電極２２により被指導者５２の部位に対して出力するようにしたので、簡素な構成で動作画像３２Ｖの画面表示とフィードバック信号２２Ｓの出力とを調整時間だけずらすことができる。
【００３７】
また、本実施の形態では、検出電極２１および出力電極２２として複数の電極を用い、検出電極２１の各電極で得られた各筋電信号について、これら筋電信号から生成したフィードバック信号２２Ｓをそれぞれ早めまたは遅めに出力するようにしたので、各部位の連動のタイミングや力の強弱を、被指導者５２に体感させることが可能となる。
【００３８】
［実施の形態の拡張］
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をすることができる。
【符号の説明】
【００３９】
１…運動学習支援装置、１０…信号処理部、１１…筋電位測定部、１１Ｓ…デジタル信号、１２…信号加工部、１２Ｓ…加工信号、１３…記憶部、１３Ｓ…加工信号、１３Ｖ…動作画像、１４…フィードバック信号生成部、２１…検出電極、２１Ｓ…筋電信号、２２…出力電極、２２Ｓ…フィードバック信号、３１…画像入力部、３１Ｖ…動作画像、３２…画面表示部、３２Ｖ…動作画像、５１…指導者、５２…被指導者。
【特許請求の範囲】
【請求項１】
指導者の動作を示す動作画像を撮影する画像入力部と、
前記指導者の所定部位に貼着されて、当該指導者の前記動作により当該部位で発生する筋電信号を検出する検出電極と、
前記指導者の動作を示す動作画像を画面表示する画面表示部と、
被指導者の前記部位に貼着されて、当該被指導者の当該部位に対して前記指導者の動作を示す電気刺激からなるフィードバック信号を出力する出力電極と、
前記画像入力部で得られた前記動作画像を前記画面表示部へ出力するとともに、前記検出電極で検出された前記筋電信号に応じた前記フィードバック信号を生成して前記出力電極へ出力する信号処理部と
を備え、
前記信号処理部は、前記動作画像と前記フィードバック信号とを並行して出力する際、前記動作に関する当該動作画像を出力するタイミングより調整時間だけ早めまたは遅めに当該動作に関する前記フィードバック信号を出力する
ことを特徴とする運動学習支援装置。
【請求項２】
請求項１に記載の運動学習支援装置において、
前記信号処理部は、
前記検出電極からの筋電信号をデジタル信号へ変換する筋電位測定部と、
前記筋電位測定部で得られたデジタル信号を全波整流した後に平均化処理することにより加工信号を生成する信号加工部と、
前記加工信号と前記画像入力部で得られた前記動作画像とを時系列で順に記憶する記憶部と、
前記記憶部から前記動作画像を読み出して前記画面表示部へ出力するのと並行して、前記記憶部のうち当該動作画像の読み出し時間位置より調整時間だけシフトした早いまたは遅い時間位置から前記加工信号を読み出して、当該加工信号から生成した前記フィードバック信号を前記出力電極へ出力するフィードバック信号生成部と
を含むことを特徴とする運動学習支援装置。
【請求項３】
指導者の動作を示す動作画像を撮影するステップと、
指導者の前記動作により所定の部位で発生する筋電信号を検出するステップと、
前記指導者の動作を示す動作画像を画面表示するステップと、
被指導者の前記部位に対して前記指導者の動作を示す電気刺激からなるフィードバック信号を出力するステップと、
前記画像入力部で得られた前記動作画像を出力するとともに、検出された前記筋電信号に応じた前記フィードバック信号を生成して出力する信号処理ステップと
を備え、
前記信号処理ステップは、前記動作画像と前記フィードバック信号とを並行して出力する際、前記動作に関する当該動作画像を出力するタイミングより調整時間だけ早めまたは遅めに当該動作に関する前記フィードバック信号を出力する
ことを特徴とする運動学習支援方法。
【請求項４】
請求項３に記載の運動学習支援方法において、
前記信号処理ステップは、
前記検出電極からの筋電信号をデジタル信号へ変換するステップと、
前記デジタル信号を全波整流した後に平均化処理することにより加工信号を生成するステップと、
前記加工信号と前記動作画像とを時系列で順に記憶部で記憶するステップと、
前記記憶部から前記動作画像を読み出して画面表示するのと並行して、前記記憶部のうち当該動作画像の読み出し時間位置より調整時間だけシフトした早いまたは遅い時間位置から前記加工信号を読み出して、当該加工信号から生成した前記フィードバック信号を前記被指導者の前記部位に対して出力するステップと
を含むことを特徴とする運動学習支援方法。
【請求項１】
指導者の動作を示す動作画像を撮影する画像入力部と、
前記指導者の所定部位に貼着されて、当該指導者の前記動作により当該部位で発生する筋電信号を検出する検出電極と、
前記指導者の動作を示す動作画像を画面表示する画面表示部と、
被指導者の前記部位に貼着されて、当該被指導者の当該部位に対して前記指導者の動作を示す電気刺激からなるフィードバック信号を出力する出力電極と、
前記画像入力部で得られた前記動作画像を前記画面表示部へ出力するとともに、前記検出電極で検出された前記筋電信号に応じた前記フィードバック信号を生成して前記出力電極へ出力する信号処理部と
を備え、
前記信号処理部は、前記動作画像と前記フィードバック信号とを並行して出力する際、前記動作に関する当該動作画像を出力するタイミングより調整時間だけ早めまたは遅めに当該動作に関する前記フィードバック信号を出力する
ことを特徴とする運動学習支援装置。
【請求項２】
請求項１に記載の運動学習支援装置において、
前記信号処理部は、
前記検出電極からの筋電信号をデジタル信号へ変換する筋電位測定部と、
前記筋電位測定部で得られたデジタル信号を全波整流した後に平均化処理することにより加工信号を生成する信号加工部と、
前記加工信号と前記画像入力部で得られた前記動作画像とを時系列で順に記憶する記憶部と、
前記記憶部から前記動作画像を読み出して前記画面表示部へ出力するのと並行して、前記記憶部のうち当該動作画像の読み出し時間位置より調整時間だけシフトした早いまたは遅い時間位置から前記加工信号を読み出して、当該加工信号から生成した前記フィードバック信号を前記出力電極へ出力するフィードバック信号生成部と
を含むことを特徴とする運動学習支援装置。
【請求項３】
指導者の動作を示す動作画像を撮影するステップと、
指導者の前記動作により所定の部位で発生する筋電信号を検出するステップと、
前記指導者の動作を示す動作画像を画面表示するステップと、
被指導者の前記部位に対して前記指導者の動作を示す電気刺激からなるフィードバック信号を出力するステップと、
前記画像入力部で得られた前記動作画像を出力するとともに、検出された前記筋電信号に応じた前記フィードバック信号を生成して出力する信号処理ステップと
を備え、
前記信号処理ステップは、前記動作画像と前記フィードバック信号とを並行して出力する際、前記動作に関する当該動作画像を出力するタイミングより調整時間だけ早めまたは遅めに当該動作に関する前記フィードバック信号を出力する
ことを特徴とする運動学習支援方法。
【請求項４】
請求項３に記載の運動学習支援方法において、
前記信号処理ステップは、
前記検出電極からの筋電信号をデジタル信号へ変換するステップと、
前記デジタル信号を全波整流した後に平均化処理することにより加工信号を生成するステップと、
前記加工信号と前記動作画像とを時系列で順に記憶部で記憶するステップと、
前記記憶部から前記動作画像を読み出して画面表示するのと並行して、前記記憶部のうち当該動作画像の読み出し時間位置より調整時間だけシフトした早いまたは遅い時間位置から前記加工信号を読み出して、当該加工信号から生成した前記フィードバック信号を前記被指導者の前記部位に対して出力するステップと
を含むことを特徴とする運動学習支援方法。
【図１】
【図２】
【図２】
【公開番号】特開２０１１−１３９７２８（Ｐ２０１１−１３９７２８Ａ）
【公開日】平成２３年７月２１日（２０１１．７．２１）
【国際特許分類】
【出願番号】特願２０１０−５１０（Ｐ２０１０−５１０）
【出願日】平成２２年１月５日（２０１０．１．５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
【Ｆターム（参考）】
【公開日】平成２３年７月２１日（２０１１．７．２１）
【国際特許分類】
【出願日】平成２２年１月５日（２０１０．１．５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
【Ｆターム（参考）】
[ Back to top ]