顎口腔運動状態の推定方法及び顎口腔運動状態の推定装置
【課題】 総合的な筋電位の検出であっても、これと顎口腔運動の状態とを一対一で関連付けることができるようにし、非侵襲的で簡便にしかも高精度で顎口腔運動の状態を推定することができるようにする。
【解決手段】 特定の運動部位としての舌Tの顎口腔運動に関連する筋肉の動きが反映する顎裏エリアHから筋電位信号を検出する生体信号検出手段1と、生体信号検出手段1が検出した筋電位信号に基づいて舌先Taの上顎内面Jに対する接触位置及び/または接触力を推定して出力するニューラルネットワーク10とを備え、ニューラルネットワーク10は、推定に係る状態の誤差が所定範囲内になるまで、予め、顎口腔運動に係る教師信号に基づいて学習する学習プロセスと、学習プロセス終了後に新たに検出された筋電位信号について推定した状態を実行推定状態として出力する実行推定プロセスとを行う機能を備えた。
【解決手段】 特定の運動部位としての舌Tの顎口腔運動に関連する筋肉の動きが反映する顎裏エリアHから筋電位信号を検出する生体信号検出手段1と、生体信号検出手段1が検出した筋電位信号に基づいて舌先Taの上顎内面Jに対する接触位置及び/または接触力を推定して出力するニューラルネットワーク10とを備え、ニューラルネットワーク10は、推定に係る状態の誤差が所定範囲内になるまで、予め、顎口腔運動に係る教師信号に基づいて学習する学習プロセスと、学習プロセス終了後に新たに検出された筋電位信号について推定した状態を実行推定状態として出力する実行推定プロセスとを行う機能を備えた。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、舌の運動,嚥下運動,咀嚼運動等の顎口腔運動の状態を推定する顎口腔運動状態の推定方法及び顎口腔運動状態の推定装置に関する。
【背景技術】
【0002】
一般に、脊髄損傷,脳卒中,脳性麻痺,筋ジストロフィー等による重度の障害者においては、四肢運動機能に障害を持つことが多いことから、意思伝達が難しく、そのため、近年では,脳波,視点,呼気,顎の運動,舌の運動等のわずかに残存した機能を利用して、障害者の意思を抽出するインタフェースの研究が盛んに行われている。その中でも、舌の運動等の顎口腔運動は、頸椎損傷などでも比較的機能が残存しやすくその利用が考えられる。とりわけ、舌の運動は舌下神経に支配されており、口の中の手といわれるほど様々な動作が可能であり、舌先の位置を測定して、その利用に供することが考えられる。
【0003】
従来、舌先の位置を測定する技術として、口内に圧力センサや永久磁石を設置するものが開発されている。例えば、口内に圧力センサを設ける技術としては、嚥下障害,咀嚼障害や発音障害等についての解析用のものであるが、特許文献1(特開2006−234号公報)に掲載されたものが知られている。これは、被験者の口蓋形状に合わせて形成され複数の感圧センサを有する可撓性の舌圧センサシートである。この舌圧センサシートを用いるときは、これを被験者の上顎内面に装着し、各感圧センサにより舌圧を検知し、配線を通して検知信号を送信して、分析の用に供する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−234号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、上記舌圧センサシートにあっては、口内に装着しなければならないので、衛生面の問題が生じる上、発話や飲食の妨げになり、装着時間が長くなると、障害者への心理的ストレスを生じさせたり、誤飲,感電,窒息等の医療事故の原因になりやすいという問題があった。
そのため、口内にセンサを設置することなく、非侵襲的で簡便に随意的な動作を推定できればよいことから、例えば、舌の運動を支配する舌筋の筋活動を筋電位計測で測定することが考えられる。しかしながら、舌の運動は、茎突舌筋,舌骨舌筋,オトガイ舌筋,上縦舌筋,下縦舌筋,横舌筋,垂直舌筋からなる舌筋と、顎二腹筋,茎突舌骨筋,顎舌骨筋,オトガイ舌骨筋,舌骨下筋,胸骨舌骨筋,胸骨甲状筋,甲状舌骨筋からなる舌骨筋とで発現されるばかりか、これらの複数の筋が重なり合っているため、特定の筋の筋活動を正確に測定することは困難になっている。また、正確に計測できたとしても、上・下肢を駆動する骨格筋とは異なり、筋電位と運動を一対一で関連付けることが難しい。更に、特定の筋の筋電位計測には、(1)最適な電極位置の探索に時間がかかる、(2)浅部,深部,近部,遠部の筋活動を正確に分離できない等の解決すべき課題が多い。
【0006】
本発明は上記の点に鑑みて為されたもので、総合的な筋肉の生体信号の検出であっても、これと顎口腔運動の状態とを一対一で関連付けることができるようにし、非侵襲的で簡便にしかも高精度で顎口腔運動の状態を推定することができるようにした顎口腔運動状態の推定方法及び顎口腔運動状態の推定装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
このような目的を達成するための本発明の顎口腔運動状態の推定方法は、顎口腔運動の状態を推定する顎口腔運動状態の推定方法において、上記顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面から生体信号を検出し、ニューラルネットワークにより上記検出した生体信号に基づいて上記顎口腔運動の状態を推定する顎口腔運動の状態を推定する構成としている。
【0008】
ここで、顎口腔運動とは、特定の運動部位の動きあるいは顎口腔全体の複合的な動き、また、これらの動的あるいは静的な動き等、あらゆる運動を言う。例えば、舌の運動,顎の運動,顎の運動を伴う歯のかみ合わせの運動,咬合運動,咀嚼運動,嚥下運動,あくび運動,開口運動,閉口運動,口唇の開閉運動,発声運動,喉頭隆起(喉仏)の運動等、種々の運動が挙げられる。
また、ここで、生体信号とは、筋電位信号,筋音信号,筋硬信号等を言う。
【0009】
これにより、例えば、生体信号が筋電位信号である場合、顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面から筋電位信号を検出するので、顎口腔運動に直接寄与する特定の筋肉からではなく総合的な筋電位の検出になることから、筋骨格系の解剖学的知識がなくても、検出が極めて簡易になる。そのため、少ない電極数(アンプ数)で、浅部,深部,近部,遠部の顎口腔運動に関与する筋活動をすべて含んだ生体信号を計測できる。
また、このような筋電位信号を用いても、ニューラルネットワークにより顎口腔運動の状態を推定するので、総合的な筋電位の検出であっても、これと顎口腔運動の状態とを一対一で関連付けることができるようになり、そのため、非侵襲的で簡便にしかも高精度で顎口腔運動の状態を推定することができるようになる。
他の生体信号においても同様である。
【0010】
そして、必要に応じ、上記ニューラルネットワークは、上記推定に係る状態の誤差が所定範囲内になるまで、予め、上記顎口腔運動に係る教師信号に基づいて学習する学習プロセスと、該学習プロセス終了後に新たに検出された筋電位信号について推定した状態を実行推定状態として出力する実行推定プロセスとを行う機能を備えて構成される。
これにより、学習プロセスにおいて、推定に係る状態の誤差が所定範囲内になるまで学習させるので、少ない学習回数でも、高い推定精度で、顎口腔運動の状態を推定できるようになる。その結果、実行推定プロセスにおいて、被験者からの新たに検出された筋電位信号について推定した実行推定状態の推定精度を向上させることができる。
【0011】
そして、必要に応じ、上記顎口腔運動は、特定の運動部位の運動を含み、該特定の運動部位の推定に係る顎口腔運動の状態は、該特定の運動部位の位置及び/または力で規定される構成としている。
特定の運動部位としては、特に随意的に動かすことができる部位、例えば、舌,口唇,顎等が挙げられる。
これにより、顎口腔運動の状態を、特定の運動部位の位置及び/または力で規定したので、出力する情報量を多くすることができ、意思伝達機能を向上させることができる。そのため、例えば、パソコン入力や、各種機械操作などのインタフェースとして、汎用性を増すことができる。特に、位置と力を同時に推定すれば、同時に、2つの事項の意思伝達が可能になり、例えば、電動車いすの進みたい方向とスピードを同時に制御することや、携帯電話のタッチ操作などもでき汎用性を増すことができる。
【0012】
この場合、上記特定の運動部位における顎口腔運動の状態は、他の部位との接触の状態であり、該他の部位との接触位置及び/または接触力で規定されることが有効である。
この接触の状態の組合せ例としては、例えば、特定の運動部位が舌の場合、他の部位が上顎または下顎の内面,歯茎,口蓋や歯等が選択され、特定の運動部位が顎の場合、例えば、下顎の歯と上顎の歯との接触状態が選択される等である。
これにより、顎口腔運動の状態を、特定の運動部位と他の部位との接触位置及び/または接触力で規定したので、位置の特定や、力の特定が基準を設けて設定し易くなり、それだけ、インタフェースとして利用可能なコマンド数やその推定精度を向上させることができるようになる。
【0013】
また、必要に応じ、上記特定の運動部位に係る教師信号は、当該運動部位の位置及び/または力の実測値に基づいて出力される構成としている。実測値に対応させて学習させるので、学習をさせ易くすることができ、また、推定精度を向上させることができる。
【0014】
更に、必要に応じ、上記ニューラルネットワークは、上記特定の運動部位の位置及び/または力での規定による推定の際、該特定の運動部位の推定すべき顎口腔運動以外に生じる他の顎口腔運動の状態の全部若しくは一部についても同時に推定する構成としている。
特定の運動部位の推定すべき顎口腔運動以外に生じる他の顎口腔運動があったとき、特定の運動部位の所定の運動ではないことが分かるので、誤推定を防止することができる。例えば、特定の運動部位が舌の場合、舌の位置及び力に係る生体信号を検出しているときに、唾を飲み込むような嚥下運動,開口運動,閉口運動,あくび運動,咬合運動等が生じた場合、例えば、嚥下運動であれば、この嚥下運動に係る生体信号に基づいて嚥下運動状態として推定できるようにしておけば、舌の位置及び力の生体信号の検出において、検出する生体信号の分離ができ、誤検出を防止して確実な推定を行うことができるようになる。
【0015】
更にまた、必要に応じ、上記他の顎口腔運動に係る教師信号は、上記特定の運動部位の位置及び/または力、あるいはそれらの複合的な運動に対応するように一義的に定めた加工信号である構成としている。より一層、誤検出を防止して確実な指定を行うことができるようになる。
【0016】
また、必要に応じ、上記生体信号は、皮膚に付設される生体信号検出素子を複数配置した多点素子群により出力され、上記ニューラルネットワークは、該多点素子群の各生体信号検出素子間における生体信号の差分の全て若しくは一部の組み合わせに基づいて処理を行う構成としている。生体信号の差分の全て若しくは一部の組み合わせは、ニューラルネットワーク外で行っても良く、また、ニューラルネットワークの中で行うようにしても良い。生体信号検出素子は3以上配置することが望ましい。
例えば、生体信号として筋電位信号を検出する場合、生体信号検出素子として、表面電極を用い、多点素子群をアレイ電極で構成する。これにより、アレイ電極は、n個の表面電極を用いて構成され、各電極位置における筋電位を単極誘導する。その後、n個から2つの信号を選択し、その差を計算することでnC2=m通りの筋電位信号が得られる。更に、そのm個の信号から2つの信号を選択し、その差を計算することも可能である。本手法ではn個の電極とnCHのアンプがあれば対応でき、機器の簡略化を図ることができる。更にまた、筋群全体を覆うように電極を配置し、異なる電極間距離で筋電位を測定することで、浅部,深部,近部,遠部の顎口腔運動に関与する筋活動をすべて入手することができるようになり、検出精度を向上させることができる。
【0017】
そして、必要に応じ、上記顎口腔運動を行う特定の運動部位が舌であり、上記推定に係る顎口腔運動の状態は、上記舌の舌先の上顎内面に対する接触位置及び/または接触力で規定され、
上記顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面を、下顎の先端と喉頭隆起(喉仏)との間の顎裏エリアに設定し、該顎裏エリアに複数の生体信号検出素子を付設して該生体信号検出素子により生体信号を検出するようにし、
上記学習プロセスにおいて、
上記舌に対峙する上顎内面の所定位置に複数の圧力センサを配置し、
上記ニューラルネットワークは、上記各圧力センサに対して舌先を接触させた際、該各圧力センサによる検知信号を教師信号とし、
上記各圧力センサに舌先を位置させて上記生体信号検出素子で検出した生体信号に基づいて上記舌先の上顎内面に対する接触位置及び/または接触力を推定し、且つ、該推定に係る接触位置及び/または接触力の誤差が所定範囲内になるまで、該当する圧力センサからの教師信号に基づいて学習し、
上記実行推定プロセスにおいて、
上記ニューラルネットワークは、上記上顎内面に対して舌先を接触させた際、該舌先の接触位置及び/または接触力を実行推定状態として出力する構成としている。
【0018】
この場合、上記ニューラルネットワークは、上記舌先の接触位置及び/または接触力での特定による推定の際、該舌の推定すべき顎口腔運動以外に生じる嚥下運動,開口運動,閉口運動,あくび運動,咬合運動のすくなくとも何れか1つの状態を同時に推定することが有効である。例えば、唾を飲み込むような嚥下運動の場合、「嚥下運動」として認識でき、随意運動との信号分離ができる。
【0019】
そしてまた、上記目的を達成するための本発明の顎口腔運動状態の推定装置は、顎口腔運動の状態を推定する顎口腔運動状態の推定装置において、上記顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面から生体信号を検出する生体信号検出手段と、該生体信号検出手段が検出した生体信号に基づいて上記顎口腔運動の状態を推定して出力するニューラルネットワークとを備え、
該ニューラルネットワークは、上記推定に係る状態の誤差が所定範囲内になるまで、予め、上記顎口腔運動に係る教師信号に基づいて学習する学習プロセスと、該学習プロセス終了後に新たに検出された生体信号について推定した状態を実行推定状態として出力する実行推定プロセスとを行う機能を備えて構成される。
【0020】
これにより、例えば、生体信号が筋電位信号である場合、生体信号検出手段が、顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面から筋電位信号を検出するので、顎口腔運動に直接寄与する特定の筋肉からではなく総合的な筋電位の検出になることから、筋骨格系の解剖学的知識がなくても、検出が極めて簡易になる。そのため、少ない電極数(アンプ数)で、浅部,深部,近部,遠部の顎口腔運動に関与する筋活動をすべて含んだ生体信号を計測できる。
また、このような筋電位信号を用いても、ニューラルネットワークにより、顎口腔運動の状態を推定するので、総合的な筋電位の検出であっても、これと顎口腔運動の状態とを一対一で関連付けることができるようになり、そのため、非侵襲的で簡便にしかも高精度で顎口腔運動の状態を推定することができるようになる。
また、学習プロセスにおいて、推定に係る状態の誤差が所定範囲内になるまで学習させるので、少ない学習回数でも、高い推定精度で、顎口腔運動の状態を推定できるようになる。その結果、実行推定プロセスにおいて、被験者からの新たに検出された筋電位信号について推定した実行推定状態の推定精度を向上させることができる。
他の生体信号においても同様である。
【0021】
また、必要に応じ、上記顎口腔運動は、特定の運動部位の運動を含み、該特定の運動部位の推定に係る顎口腔運動の状態は、該特定の運動部位の位置及び/または力で規定される構成としている。
これにより、顎口腔運動の状態を、特定の運動部位の位置及び/または力で規定したので、出力する情報量を多くすることができ、意思伝達機能を向上させることができる。そのため、例えば、パソコン入力や、各種機械操作などのインタフェースとして、汎用性を増すことができる。特に、位置と力を同時に推定すれば、同時に、2つの事項の意思伝達が可能になり、例えば、電動車いすの進みたい方向とスピードを同時に制御することや、携帯電話のタッチ操作などもでき汎用性を増すことができる。
【0022】
この場合、上記特定の運動部位における顎口腔運動の状態は、他の部位との接触の状態であり、該他の部位との接触位置及び/または接触力で規定されることが有効である。
これにより、顎口腔運動の状態を、特定の運動部位と他の部位との接触位置及び/または接触力で規定したので、位置の特定や、力の特定が基準を設けて設定し易くなり、それだけ、インタフェースとして利用可能なコマンド数やその推定精度を向上させることができるようになる。
【0023】
更に、必要に応じ、上記ニューラルネットワークは、上記特定の運動部位の位置及び/または力での規定による推定の際、該特定の運動部位の推定すべき顎口腔運動以外に生じる他の顎口腔運動の状態の全部若しくは一部についても同時に推定する構成としている。
特定の運動部位の推定すべき顎口腔運動以外に生じる他の顎口腔運動があったとき、特定の運動部位の所定の運動ではないことが分かるので、誤推定を防止することができる。例えば、特定の運動部位が舌の場合、舌の位置及び力に係る生体信号を検出しているときに、唾を飲み込むような嚥下運動,開口運動,閉口運動,あくび運動,咬合運動が生じた場合、例えば、嚥下運動であれば、この嚥下運動に係る生体信号に基づいて嚥下運動状態として推定できるようにしておけば、舌の位置及び力の生体信号の検出において、検出する生体信号の分離ができ、誤検出を防止して確実な推定を行うことができるようになる。
【0024】
更にまた、必要に応じ、生体信号検出手段は、皮膚に付設される生体信号検出素子を複数配置した多点素子群を備え、上記ニューラルネットワークは、該多点素子群の各生体信号検出素子間における生体信号の差分の全て若しくは一部の組み合わせに基づいて処理を行う構成としている。生体信号の差分の全て若しくは一部の組み合わせは、ニューラルネットワーク外で行っても良く、また、ニューラルネットワークの中で行うようにしても良い。
例えば、生体信号として筋電位信号を検出する場合、生体信号検出素子として、表面電極を用い、多点素子群をアレイ電極で構成する。これにより、アレイ電極は、n個の表面電極を用いて構成され、各電極位置における筋電位を単極誘導する。その後、n個から2つの信号を選択し、その差を計算することでnC2=m通りの筋電位信号が得られる。更に、そのm個の信号から2つの信号を選択し、その差を計算することも可能である。本手法ではn個の電極とnCHのアンプがあれば対応でき、機器の簡略化を図ることができる。更にまた、筋群全体を覆うように電極を配置し、異なる電極間距離で筋電位を測定することで、浅部,深部,近部,遠部の顎口腔運動に関与する筋活動をすべて入手することができるようになり、検出精度を向上させることができる。
【0025】
また、必要に応じ、上記ニューラルネットワークの実行推定プロセス機能により出力された実行推定状態から対応する顎口腔運動の状態を識別する運動状態識別手段を備えた構成としている。運動状態識別手段により、実行推定状態から対応する顎口腔運動の状態を識別するので、例えば、外部機器に、顎口腔運動の状態に対応して予め定めた指令を、自動的に行うことができ、各種制御に即座に対応できるようになる。
【発明の効果】
【0026】
本発明によれば、顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面から生体信号を検出するので、顎口腔運動に直接寄与する特定の筋肉からではなく総合的な筋肉の生体信号の検出になることから、筋骨格系の解剖学的知識がなくても、検出が極めて簡易になる。そのため、簡易な装置で、浅部,深部,近部,遠部の顎口腔運動に関与する筋活動をすべて含んだ生体信号を計測できる。
また、ニューラルネットワークにより顎口腔運動の状態を推定するので、総合的な筋肉の生体信号の検出であっても、これと顎口腔運動の状態とを一対一で関連付けることができるようになり、そのため、非侵襲的で簡便にしかも高精度で顎口腔運動の状態を推定することができるようになる。
【図面の簡単な説明】
【0027】
【図1】本発明の実施の形態に係る顎口腔運動状態の推定装置を示す図である。
【図2】本発明の実施の形態に係るニューラルネットワークの機能を示し、(a)は学習プロセス、(b)は実行推定プロセスを示す図である。
【図3】本発明の実施の形態に係る顎口腔運動状態の推定装置において、生体信号検出手段のアレイ電極の構成を示す図である。
【図4】本発明の実施の形態に係る顎口腔運動状態の推定装置において、生体信号検出手段の筋電位信号の出力形態を模式的に示す図である。
【図5】本発明の実施の形態に係る顎口腔運動状態の推定装置において、生体信号検出手段のアレイ電極を人体の皮膚表面に装着した状態を示す図である。
【図6】本発明の実施の形態に係る顎口腔運動状態の推定装置において、教師信号を得るマウスピースの構成を示す図である。
【図7】本発明の実施の形態に係る顎口腔運動状態の推定装置において、ニューラルネットワークの構成を示す図である。
【図8】本発明の実施の形態に係る顎口腔運動状態の推定装置により顎口腔運動状態の推定を行う際のフローチャートである。
【図9】本発明の実施例1に係り、舌先の接触位置と接触力の推定結果を示すグラフ図である。
【図10】本発明の実施例2に係り、舌先の連続運動に関しての推定結果を示すグラフ図である。
【図11】本発明の実施例3に係り、教師信号を得るマウスピースの構成を示す図である。
【図12】本発明の実施例3に係り、舌先の接触位置と接触力の推定結果を示すグラフ図である。
【発明を実施するための形態】
【0028】
以下、添付図面に基づいて、本発明の実施の形態に係る顎口腔運動状態の推定方法及び顎口腔運動状態の推定装置について詳細に説明する。本発明の実施の形態に係る顎口腔運動状態の推定方法は、本発明の実施の形態に係る顎口腔運動状態の推定装置によって実現されるので、この推定装置の説明において説明する。
【0029】
図1乃至図5には、実施の形態に係る顎口腔運動状態の推定装置Sを示している。この推定装置Sは、顎口腔運動の状態を推定する。顎口腔運動としては、特定の運動部位の運動を含み、実施の形態では、顎口腔運動を行う特定の運動部位が舌Tであり、推定に係る顎口腔運動の状態は、舌先Taの上顎内面Jに対する接触位置及び接触力で規定される。また、実施の形態では、舌先Taの接触位置及び接触力での特定による推定の際、舌Tの推定すべき顎口腔運動以外に生じる嚥下運動,開口運動及びあくび運動の状態を同時に推定する。
【0030】
詳しくは、実施の形態に係る推定装置Sは、顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面から生体信号としての筋電位信号(EMG)を検出する生体信号検出手段1と、この生体信号検出手段1が検出した筋電位信号に基づいて顎口腔運動の状態を推定して出力するニューラルネットワーク10とを備えている。
【0031】
生体信号検出手段1が筋電位信号を検出する皮膚表面は、図1及び図5に示すように、下顎の先端Haと喉頭隆起(喉仏)Hbとの間の顎裏エリアHに設定されている。そして、生体信号検出手段1は、図3乃至図5に示すように、この顎裏エリアHに付設される生体信号検出素子としての表面電極Eを複数配置した多点素子群としてのアレイ電極2を備え、図1に示すように、このアレイ電極2からの筋電位信号を前処理部3を介してニューラルネットワーク10に出力する。前処理部3は、図示外の増幅用アンプ,整流器、A/D変換器および生体信号の特徴抽出器を有して構成されている。また。ニューラルネットワーク10では、アレイ電極2の各表面電極E間における節電位信号Eの差分の全ての組み合わせに基づいて処理を行う。
【0032】
アレイ電極2は、n個の表面電極E(E1〜En)を用いて構成され、各電極位置における筋電位を単極誘導する。その後、図4に示すように、n個から2つの信号を選択し、その差を計測することでnC2=m通りの筋電位信号が得られる。更に、そのm個の信号から2つの信号を選択し、その差を計算することも可能である。実施の形態では、表面電極Eは9個(E1〜E9)用意され、図3に示すように、フィルムシート4の一側面に20mm間隔で行列状且つピラミッド状に付設され、フィルムシート4の他側面に設けた9個のリード電極5に夫々接続されている。そして、図5に示すように、このフィルムシート4を顎裏エリアHに付設することにより、表面電極Eは筋群全体を覆うように配置される。この場合、9C2=36通りの筋電位信号が得られ、一般的な双極誘導では72個の電極と36CHのアンプが必要となるが、本実施例では、9個の電極と9CHのアンプがあれば十分である。
【0033】
ニューラルネットワーク10は、図2に示すように、推定に係る状態の誤差が所定範囲内になるまで、予め、顎口腔運動に係る教師信号に基づいて学習する学習プロセス(図2(a))と、学習プロセス終了後に新たに検出された筋電位信号について推定した状態を実行推定状態として出力する実行推定プロセス(図2(b))とを行う機能を備えて構成される。
学習プロセスにおいて、教師信号は、図1及び図6に示すように、舌Tに対峙する上顎内面Jの所定位置に配置した複数の圧力センサ20(Ch1〜Chn)からの検知信号としている。図6に示すように、実施の形態では、圧力センサ20は7個(Ch1〜Ch7)用意され、上顎内に装着される可撓樹脂製のマウスピース21に設けられており、マウスピース21の装着状態では、上顎内面Jの中心線線上の前,中,後、中心線を境にして左右対称の側方前後に夫々2か所ずつ配置される。圧力センサ20は、舌先Taの接触位置と接触力(押圧力)の大きさを検知し、検知信号をニューラルネットワーク10に送出する。この場合、教師信号は、舌先Taの接触位置及び接触力の実測値に基づいて出力され、ニューラルネットワーク10においてこの実測値に対応させて学習させるので、学習をさせ易くすることができ、また、推定精度を向上させることができる。
【0034】
ニューラルネットワーク10は、各圧力センサ20に舌先Taを位置させて表面電極Eで検出した筋電位信号に基づいて、舌先Taの上顎内面Jに対する接触位置及び接触力を推定し、且つ、例えば、推定に係る接触位置及び接触力の平均2乗誤差が0.0001以下になるか、学習の繰り返し数が1000回に到達するまで、該当する圧力センサ20からの教師信号に基づいて学習する。
【0035】
実施の形態に係るニューラルネットワーク10は、図7に示すように、入力層11、中間層12、出力層13からなる3階層型ニューラルネットワークであり、筋電位信号の測定値を入力信号、圧力センサ20の出力値を教師信号とし、入力層11と中間層12、中間層12と出力層13の間の層間結合の重み付けを更新しながら学習し、即ち、各ニューロンの重みをバックプロパゲーション法で学習することで,上顎内面Jで計測した筋電位信号からの口腔内における舌先Taの接触位置と接触力の同時推定を行う。
【0036】
また、ニューラルネットワーク10は、舌先Taの接触位置及び接触力での特定による推定の際、舌Tの推定すべき顎口腔運動以外に生じる嚥下運動,開口運動及びあくび運動の状態を同時に推定する。ニューラルネットワーク10は、学習プロセスにおいて、上記と同様に嚥下運動,開口運動及びあくび運動の状態の推定に係る学習を行うが、この際の教師信号は、一義的に定めた加工信号にしている。例えば、加工信号として、嚥下運動,開口運動及びあくび運動に夫々対応した押釦ボタンにおいて、被験者の押釦によりDC5Vの電圧を付与する。
【0037】
また、実施の形態に係る推定装置Sは、図1に示すように、ニューラルネットワーク10の実行推定プロセス機能により出力された実行推定状態から対応する顎口腔運動の状態を識別する運動状態識別手段30を備えている。実施の形態では、ニューラルネットワーク10からの推定値(実行推定状態)から、舌先Taの接触位置及び接触力を識別し、あるいは嚥下運動,開口運動,あくび運動として識別し、例えば、嚥下運動,開口運動あるいはあくび運動の場合は、出力を留保し、舌先Taの接触位置及び接触力の推定結果のみを外部機器31にインターフェース32を介して送出するなどする。外部機器31としては、表示装置やプリンタ、あるいは、パソコンやその他種々の制御装置等どのようなものでも良い。尚、嚥下運動,開口運動及びあくび運動の場合も、外部機器31にインターフェース32を介して送出して、表示装置やプリンタに出力したり、あるいは、制御装置の方で利用または非利用にする等適宜に用いて良い。
【0038】
従って、実施の形態に係る顎口腔運動状態の推定装置Sによって、舌先Taの接触位置及び接触力の推定を行うときは、上記のように、予め、ニューラルネットワーク10の学習プロセス機能により、推定に係る状態の誤差が所定範囲内になるまで、顎口腔運動に係る教師信号に基づいて学習をすませておく。そして、図5に示すように、被験者に、表面電極Eが付設されたフィルムシートを顎裏エリアHに付設し、舌Tの運動をさせて、舌先Taの接触位置及び接触力の推定を行う。
図8に示すフローチャートを参照し、先ず、アレイ電極2の表面電極Eが顎裏エリアHから筋電位信号を検出し(S1)、ニューラルネットワーク10に送出する(S2)。
【0039】
この場合、アレイ電極2は、n個の表面電極Eを用いて構成され、各電極位置における筋電位を単極誘導し、その後、n個から2つの信号を選択し、その差を計測することでnC2=m通りの筋電位信号を得るので、n個の電極とnCHのアンプがあれば対応でき、機器の簡略化を図ることができる。また、筋群全体を覆うように電極を配置し、異なる電極間距離で筋電位を測定することで、浅部,深部,近部,遠部の顎口腔運動に関与する筋活動をすべて入手することができるようになり、検出精度を向上させることができる。
また、顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面(顎裏エリアH)から筋電位信号を検出するので、顎口腔運動に直接寄与する特定の筋肉からではなく総合的な筋電位の検出になることから、筋骨格系の解剖学的知識がなくても、検出が極めて簡易になる。
【0040】
そして、ニューラルネットワーク10において推定が行われる。この場合、上記のように顎裏エリアHからの筋電位信号を用いても、ニューラルネットワーク10により顎口腔運動の状態を推定するので、総合的な筋電位の検出であっても、これと顎口腔運動の状態とを一対一で関連付けることができるようになり、そのため、非侵襲的で簡便にしかも高精度で顎口腔運動の状態を推定することができるようになる。
即ち、ニューラルネットワーク10の学習プロセスにおいて、推定に係る状態の誤差が所定範囲内になるまで学習させるので、少ない学習回数でも、高い推定精度で、顎口腔運動の状態を推定できるようになる。その結果、実行推定プロセスにおいて、被験者からの新たに検出された筋電位信号について推定した実行推定状態の推定精度を向上させることができる。
【0041】
ニューラルネットワーク10からの推定結果が出力されると、運動状態識別手段30により、舌先Taの接触位置及び接触力を識別し、あるいは嚥下運動,開口運動,あくび運動の何れかとして識別する(S3)。舌先Taの接触位置及び接触力と識別したときは(S3Y)、インターフェース32を介して外部機器31に出力する(S4)。一方、嚥下運動,開口運動あるいはあくび運動を識別した場合には(S3N)、例えば、留保し、あるいは、インターフェース32を介して、嚥下運動,開口運動あるいはあくび運動であることを出力して処理する(S5)。この場合、本来必要な舌先Taの位置及び力に係る筋電位信号を検出しているときに、例えば、唾を飲み込むような嚥下運動が生じた場合、この嚥下運動に係る筋電位信号に基づいて嚥下運動状態として推定できるので、舌先Taの位置及び力の筋電位信号の検出において、検出する筋電位信号の分離ができ、誤検出を防止して確実な推定を行うことができるようになる。
【0042】
また、顎口腔運動の状態を、舌先Taの接触位置及び接触力で規定したので、出力する情報量を多くすることができ、意思伝達機能を向上させることができる。そのため、例えば、パソコン入力や、各種機械操作などのインタフェースとして、汎用性を増すことができる。特に、位置と力を同時に推定すれば、同時に、2つの事項の意思伝達が可能になり、例えば、電動車いすの進みたい方向とスピードを同時に制御することや、携帯電話のディスプレイパネルのタッチ操作などもでき汎用性を増すことができる。更に、顎口腔運動の状態を、舌先Taの上顎内面Jに対する接触位置及び接触力で規定したので、位置の特定や、力の特定が基準を設けて設定し易くなり、それだけ、推定精度を向上させることができるようになる。
【実施例】
【0043】
以下、本発明の実施例について示す。
<実施例1>
アレイ電極2は、上記と同様に(図3乃至図5)、9つの表面電極Eを20mm間隔でピラミッド状に配置して作成した。各電極位置における筋電位信号(EMG信号)は、下顎角を基準電位とした単極誘導により導出した。筋電位計測には、電極リード線,プリアンプ回路,筋電アンプIC(NB6101HS,ナブテスコ株式会社)で構成される筋電位計(図1の前処理部3に相当する)を用いた。筋電位計の増幅率は1,950倍、低域遮断周波数は2.3Hz、高域遮断周波数は320Hzである。
【0044】
マウスピース21においては、図6に示すように、舌先Taを押し付ける力とそのときの舌先Taの位置を同時に計測するために、圧力センサ20として、厚さ約0.2mmのシート型力センサ(FlexiForce,ニッタ株式会社)を7枚貼り付けた。各位置におけるセンシングエリアは9.5mm、最大計測荷重は110Nである。
【0045】
舌先Taの位置と力の推定には、上記と同様に(図7)、入力層,中間層,出力層からなる階層型NNを用いた。EMG信号を入力層(ニューロン数9個)、圧力センサ20の計測値と嚥下運動識別信号,開口運動識別信号,あくび運動識別信号を出力層(ニューロン数9個)に加え、各ニューロンの重みを誤差逆伝搬法で学習することで、顎裏で計測したEMG信号からの舌先Taの位置と力の同時推定を行った。嚥下運動,開口運動あるいはあくび運動の際は、識別信号として、嚥下運動,開口運動及びあくび運動に夫々対応した押しボタンスイッチによりDC5Vを入力した。嚥下運動,開口運動及びあくび運動を同時に学習することで随意運動との分離を図った。また、中間層のニューロン数は、EMG信号のクロストークを積極的に利用しながら、舌筋と舌骨筋の筋活動を同時に考慮できるようアレイ電極2を構成する2電極間の組み合わせ数(9C2=36)と一致させた。
【0046】
被験者は、健常成人男性1名(22歳)である。実験は,アレイ電極2とマウスピース21を装着した状態で行い、Ch1からCh7まで圧力センサ20に舌先Taを押しつけた後、最大努力でもう一度、各センサに舌先Taを押しつけ、最後に押しボタンスイッチを指で操作しながら嚥下運動,開口運動及びあくび運動を行った。これらの動作時間は1秒間とし、各動作の間に2秒間の脱力時間を設定した。以上の実験手順で、合計3セットの計測実験を行った。
【0047】
1セット目の実験データを用いて、ネットワークを学習した後、未学習である2セット目および3セット目の実験動作に対して舌先Taの位置と力の推定を行った。図9には、1セット目の実験データに対する推定結果を示した。その結果、各センサに押しつけた力の推定値が実測値(真値)とほぼ一致するとともに、誤認識することなく嚥下運動,開口運動及びあくび運動を正確に判別できることが確認された。
【0048】
<実施例2>
アレイ電極2の付設条件及び圧力センサ20の付設条件を上記の実施例1と同じにして、舌先Taの上下フリック運動,左右フリック運動及び円運動の3つの運動状態を推定した。ここで、舌先Taの上下フリック運動とは、舌先Taを口蓋に接触させ、上または下になぞる動作である。舌先Taの左右フリック運動とは、舌先Taを口蓋に接触させ、左または右になぞる動作である。舌先Taの円運動とは、舌先Taを口蓋に接触させ、右まわりまたは左まわりに円を描く動作である。これら3つの動作は、携帯電話のディスプレイパネルのタッチ操作を模擬したものである。
【0049】
上記と同様に(図7)、入力層,中間層,出力層からなる階層型NNを用いた。EMG信号を入力層(ニューロン数9個)、舌先Taの上下フリック運動,左右フリック運動及び円運動にそれぞれ対応した識別信号を出力層(ニューロン数9個)に加え、各ニューロンの重みを誤差逆伝搬法で学習することで、顎裏で計測したEMG信号からの舌先Taの上記運動の推定を行った。
舌先Taの上下フリック運動,左右フリック運動及び円運動の際は、これらの運動に夫々対応した押しボタンスイッチによりDC5V若しくはDC2.5Vの識別信号を入力した。詳しくは、舌先Taの上下フリック運動において、上フリックはDC5V、下フリックはDC2.5Vを入力した。舌先Taの左右フリック運動において、左フリックはDC5V、右フリックはDC2.5Vを入力した。舌先Taの円運動において、右回りはDC5V、左回りはDC2.5Vを入力した。
【0050】
上記と同様に、被験者は、健常成人男性1名(22歳)である。実験は,アレイ電極2とマウスピース21を装着した状態で行い、各運動に対応した押しボタンスイッチを指で操作しながら、上フリック運動、下フリック運動、左フリック運動、右フリック運動、右まわりの円運動、左まわりの円運動を行った。以上の実験手順で、合計3セットの計測実験を行った。
【0051】
1セット目の実験データを用いて、ネットワークを学習した後、未学習である2セット目および3セット目の実験動作に対して舌先Taの運動を推定した。図10には、1セット目の実験データに対する推定結果を示した。その結果、推定した運動識別信号が、教示信号である識別信号とほぼ一致するとともに、誤認識することなく舌先Taの上下フリック運動,左右フリック運動及び円運動を正確に判別できることが確認された。
【0052】
<実施例3>
図11に示すように、マウスピース21において、圧力センサ20として、厚さ約0.2mmのシート型力センサ(FlexiForce,ニッタ株式会社)を3枚貼り付けた。他は、実施例1と同様にし、Ch1からCh3まで圧力センサ20に舌先Taを押しつけた後、最後に押しボタンスイッチを指で操作しながら嚥下運動ならびにあくび運動を行った。他は実施例1と同様の実験手順で計測実験を行った。結果を図12に示す。
【0053】
この結果から、推定したい舌先Taの位置やその組み合わせを自由に選択しても、各センサに押しつけた力の推定値が実測値(真値)とほぼ一致するとともに、誤認識することなく嚥下運動、及びあくび運動を正確に判別できることが確認された。
【0054】
尚、上記実施の形態では、特定の運動部位としての舌Tの顎口腔運動の状態を、舌先Taの上顎内面Jに対する接触位置及び接触力で規定したが、必ずしもこれに限定されるものではなく、接触位置のみ、あるいは、接触力のみでも良く、適宜変更して差し支えない。また、舌先Taの接触位置及び/または接触力は上顎内面Jに対するものに限定されるものではなく、例えば、頬肉,歯,口唇の内側あるいは外側等、舌先Taが接触する部位であればどの部位を選択しても良く、適宜変更して差し支えない。更に、アレイ電極2の表面電極Eの数や、マウスピース21の圧力センサ20の数も上記に限定されるものではなく、適宜変更して差し支えない。
【0055】
また、上記実施の形態では、ニューラルネットワーク10は、入力層11、中間層12、出力層13からなる3階層型ニューラルネットワーク10を用いたが、必ずしもこれに限定されるものではなく、4階層以上のもの、あるいは、他の形式のニューラルネットワークにより構成しても良く、適宜変更して差し支えない。
【0056】
尚また、上記実施の形態では、顎口腔運動として、舌Tの運動と嚥下運動,開口運動,あくび運動についての状態を推定する場合について説明したが、必ずしもこれに限定されるものではなく、例えば、顎の運動,顎の運動を伴う歯のかみ合わせの運動,咬合運動,咀嚼運動,あくび運動,顎や口唇の開閉運動,発声運動,喉頭隆起(喉仏)の運動等、どのような運動についての状態の推定であっても本発明を適用でき、適宜変更して差し支えない。
【0057】
この場合、上記実施の形態においては、顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面を、顎裏エリアHに設定したが、必ずしもこれに限定されるものではなく、上記の顎口腔運動を行う筋肉との関係で、どのような個所あるいはエリアに設定しても良く、適宜変更して差し支えない。また、筋電位信号を検出する電極の種類や数や大きさなども上記に限定されるものではなく、適宜変更して差し支えない。
【産業上の利用可能性】
【0058】
本発明によれば、重度四肢麻痺者等の重度障害者の生活支援において僅かな残存機能から本人の動作意志を抽出する技術に適用でき、生活支援機器、リハビリテーションへの応用が期待できる。例えば、「あいうえお・・・」などの文字を舌先で描くことにより、パソコンに直接文字を入力することや、人工喉を利用して発話することも可能になる。また、電動車いすの運転制御,テレビゲーム用の舌コントローラ、携帯電話のディスプレイパネルのタッチ操作等、各種機械操作等のインタフェースとして利用できる。また、重度障害者だけでなく、健常者にも有用な技術として提供できることは勿論である。
【符号の説明】
【0059】
S 顎口腔運動状態の推定装置
T 舌
Ta 舌先
J 上顎内面
H 顎裏エリア
1 生体信号検出手段
2 アレイ電極(多点素子群)
E(E1〜En) 表面電極(生体信号検出素子)
3 前処理部
4 フィルムシート
5 リード電極
10 ニューラルネットワーク
11 入力層
12 中間層
13 出力層
20(Ch1〜Chn) 圧力センサ
21 マウスピース
30 運動状態識別手段
31 外部機器
32 インターフェース
【技術分野】
【0001】
本発明は、舌の運動,嚥下運動,咀嚼運動等の顎口腔運動の状態を推定する顎口腔運動状態の推定方法及び顎口腔運動状態の推定装置に関する。
【背景技術】
【0002】
一般に、脊髄損傷,脳卒中,脳性麻痺,筋ジストロフィー等による重度の障害者においては、四肢運動機能に障害を持つことが多いことから、意思伝達が難しく、そのため、近年では,脳波,視点,呼気,顎の運動,舌の運動等のわずかに残存した機能を利用して、障害者の意思を抽出するインタフェースの研究が盛んに行われている。その中でも、舌の運動等の顎口腔運動は、頸椎損傷などでも比較的機能が残存しやすくその利用が考えられる。とりわけ、舌の運動は舌下神経に支配されており、口の中の手といわれるほど様々な動作が可能であり、舌先の位置を測定して、その利用に供することが考えられる。
【0003】
従来、舌先の位置を測定する技術として、口内に圧力センサや永久磁石を設置するものが開発されている。例えば、口内に圧力センサを設ける技術としては、嚥下障害,咀嚼障害や発音障害等についての解析用のものであるが、特許文献1(特開2006−234号公報)に掲載されたものが知られている。これは、被験者の口蓋形状に合わせて形成され複数の感圧センサを有する可撓性の舌圧センサシートである。この舌圧センサシートを用いるときは、これを被験者の上顎内面に装着し、各感圧センサにより舌圧を検知し、配線を通して検知信号を送信して、分析の用に供する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−234号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、上記舌圧センサシートにあっては、口内に装着しなければならないので、衛生面の問題が生じる上、発話や飲食の妨げになり、装着時間が長くなると、障害者への心理的ストレスを生じさせたり、誤飲,感電,窒息等の医療事故の原因になりやすいという問題があった。
そのため、口内にセンサを設置することなく、非侵襲的で簡便に随意的な動作を推定できればよいことから、例えば、舌の運動を支配する舌筋の筋活動を筋電位計測で測定することが考えられる。しかしながら、舌の運動は、茎突舌筋,舌骨舌筋,オトガイ舌筋,上縦舌筋,下縦舌筋,横舌筋,垂直舌筋からなる舌筋と、顎二腹筋,茎突舌骨筋,顎舌骨筋,オトガイ舌骨筋,舌骨下筋,胸骨舌骨筋,胸骨甲状筋,甲状舌骨筋からなる舌骨筋とで発現されるばかりか、これらの複数の筋が重なり合っているため、特定の筋の筋活動を正確に測定することは困難になっている。また、正確に計測できたとしても、上・下肢を駆動する骨格筋とは異なり、筋電位と運動を一対一で関連付けることが難しい。更に、特定の筋の筋電位計測には、(1)最適な電極位置の探索に時間がかかる、(2)浅部,深部,近部,遠部の筋活動を正確に分離できない等の解決すべき課題が多い。
【0006】
本発明は上記の点に鑑みて為されたもので、総合的な筋肉の生体信号の検出であっても、これと顎口腔運動の状態とを一対一で関連付けることができるようにし、非侵襲的で簡便にしかも高精度で顎口腔運動の状態を推定することができるようにした顎口腔運動状態の推定方法及び顎口腔運動状態の推定装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
このような目的を達成するための本発明の顎口腔運動状態の推定方法は、顎口腔運動の状態を推定する顎口腔運動状態の推定方法において、上記顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面から生体信号を検出し、ニューラルネットワークにより上記検出した生体信号に基づいて上記顎口腔運動の状態を推定する顎口腔運動の状態を推定する構成としている。
【0008】
ここで、顎口腔運動とは、特定の運動部位の動きあるいは顎口腔全体の複合的な動き、また、これらの動的あるいは静的な動き等、あらゆる運動を言う。例えば、舌の運動,顎の運動,顎の運動を伴う歯のかみ合わせの運動,咬合運動,咀嚼運動,嚥下運動,あくび運動,開口運動,閉口運動,口唇の開閉運動,発声運動,喉頭隆起(喉仏)の運動等、種々の運動が挙げられる。
また、ここで、生体信号とは、筋電位信号,筋音信号,筋硬信号等を言う。
【0009】
これにより、例えば、生体信号が筋電位信号である場合、顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面から筋電位信号を検出するので、顎口腔運動に直接寄与する特定の筋肉からではなく総合的な筋電位の検出になることから、筋骨格系の解剖学的知識がなくても、検出が極めて簡易になる。そのため、少ない電極数(アンプ数)で、浅部,深部,近部,遠部の顎口腔運動に関与する筋活動をすべて含んだ生体信号を計測できる。
また、このような筋電位信号を用いても、ニューラルネットワークにより顎口腔運動の状態を推定するので、総合的な筋電位の検出であっても、これと顎口腔運動の状態とを一対一で関連付けることができるようになり、そのため、非侵襲的で簡便にしかも高精度で顎口腔運動の状態を推定することができるようになる。
他の生体信号においても同様である。
【0010】
そして、必要に応じ、上記ニューラルネットワークは、上記推定に係る状態の誤差が所定範囲内になるまで、予め、上記顎口腔運動に係る教師信号に基づいて学習する学習プロセスと、該学習プロセス終了後に新たに検出された筋電位信号について推定した状態を実行推定状態として出力する実行推定プロセスとを行う機能を備えて構成される。
これにより、学習プロセスにおいて、推定に係る状態の誤差が所定範囲内になるまで学習させるので、少ない学習回数でも、高い推定精度で、顎口腔運動の状態を推定できるようになる。その結果、実行推定プロセスにおいて、被験者からの新たに検出された筋電位信号について推定した実行推定状態の推定精度を向上させることができる。
【0011】
そして、必要に応じ、上記顎口腔運動は、特定の運動部位の運動を含み、該特定の運動部位の推定に係る顎口腔運動の状態は、該特定の運動部位の位置及び/または力で規定される構成としている。
特定の運動部位としては、特に随意的に動かすことができる部位、例えば、舌,口唇,顎等が挙げられる。
これにより、顎口腔運動の状態を、特定の運動部位の位置及び/または力で規定したので、出力する情報量を多くすることができ、意思伝達機能を向上させることができる。そのため、例えば、パソコン入力や、各種機械操作などのインタフェースとして、汎用性を増すことができる。特に、位置と力を同時に推定すれば、同時に、2つの事項の意思伝達が可能になり、例えば、電動車いすの進みたい方向とスピードを同時に制御することや、携帯電話のタッチ操作などもでき汎用性を増すことができる。
【0012】
この場合、上記特定の運動部位における顎口腔運動の状態は、他の部位との接触の状態であり、該他の部位との接触位置及び/または接触力で規定されることが有効である。
この接触の状態の組合せ例としては、例えば、特定の運動部位が舌の場合、他の部位が上顎または下顎の内面,歯茎,口蓋や歯等が選択され、特定の運動部位が顎の場合、例えば、下顎の歯と上顎の歯との接触状態が選択される等である。
これにより、顎口腔運動の状態を、特定の運動部位と他の部位との接触位置及び/または接触力で規定したので、位置の特定や、力の特定が基準を設けて設定し易くなり、それだけ、インタフェースとして利用可能なコマンド数やその推定精度を向上させることができるようになる。
【0013】
また、必要に応じ、上記特定の運動部位に係る教師信号は、当該運動部位の位置及び/または力の実測値に基づいて出力される構成としている。実測値に対応させて学習させるので、学習をさせ易くすることができ、また、推定精度を向上させることができる。
【0014】
更に、必要に応じ、上記ニューラルネットワークは、上記特定の運動部位の位置及び/または力での規定による推定の際、該特定の運動部位の推定すべき顎口腔運動以外に生じる他の顎口腔運動の状態の全部若しくは一部についても同時に推定する構成としている。
特定の運動部位の推定すべき顎口腔運動以外に生じる他の顎口腔運動があったとき、特定の運動部位の所定の運動ではないことが分かるので、誤推定を防止することができる。例えば、特定の運動部位が舌の場合、舌の位置及び力に係る生体信号を検出しているときに、唾を飲み込むような嚥下運動,開口運動,閉口運動,あくび運動,咬合運動等が生じた場合、例えば、嚥下運動であれば、この嚥下運動に係る生体信号に基づいて嚥下運動状態として推定できるようにしておけば、舌の位置及び力の生体信号の検出において、検出する生体信号の分離ができ、誤検出を防止して確実な推定を行うことができるようになる。
【0015】
更にまた、必要に応じ、上記他の顎口腔運動に係る教師信号は、上記特定の運動部位の位置及び/または力、あるいはそれらの複合的な運動に対応するように一義的に定めた加工信号である構成としている。より一層、誤検出を防止して確実な指定を行うことができるようになる。
【0016】
また、必要に応じ、上記生体信号は、皮膚に付設される生体信号検出素子を複数配置した多点素子群により出力され、上記ニューラルネットワークは、該多点素子群の各生体信号検出素子間における生体信号の差分の全て若しくは一部の組み合わせに基づいて処理を行う構成としている。生体信号の差分の全て若しくは一部の組み合わせは、ニューラルネットワーク外で行っても良く、また、ニューラルネットワークの中で行うようにしても良い。生体信号検出素子は3以上配置することが望ましい。
例えば、生体信号として筋電位信号を検出する場合、生体信号検出素子として、表面電極を用い、多点素子群をアレイ電極で構成する。これにより、アレイ電極は、n個の表面電極を用いて構成され、各電極位置における筋電位を単極誘導する。その後、n個から2つの信号を選択し、その差を計算することでnC2=m通りの筋電位信号が得られる。更に、そのm個の信号から2つの信号を選択し、その差を計算することも可能である。本手法ではn個の電極とnCHのアンプがあれば対応でき、機器の簡略化を図ることができる。更にまた、筋群全体を覆うように電極を配置し、異なる電極間距離で筋電位を測定することで、浅部,深部,近部,遠部の顎口腔運動に関与する筋活動をすべて入手することができるようになり、検出精度を向上させることができる。
【0017】
そして、必要に応じ、上記顎口腔運動を行う特定の運動部位が舌であり、上記推定に係る顎口腔運動の状態は、上記舌の舌先の上顎内面に対する接触位置及び/または接触力で規定され、
上記顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面を、下顎の先端と喉頭隆起(喉仏)との間の顎裏エリアに設定し、該顎裏エリアに複数の生体信号検出素子を付設して該生体信号検出素子により生体信号を検出するようにし、
上記学習プロセスにおいて、
上記舌に対峙する上顎内面の所定位置に複数の圧力センサを配置し、
上記ニューラルネットワークは、上記各圧力センサに対して舌先を接触させた際、該各圧力センサによる検知信号を教師信号とし、
上記各圧力センサに舌先を位置させて上記生体信号検出素子で検出した生体信号に基づいて上記舌先の上顎内面に対する接触位置及び/または接触力を推定し、且つ、該推定に係る接触位置及び/または接触力の誤差が所定範囲内になるまで、該当する圧力センサからの教師信号に基づいて学習し、
上記実行推定プロセスにおいて、
上記ニューラルネットワークは、上記上顎内面に対して舌先を接触させた際、該舌先の接触位置及び/または接触力を実行推定状態として出力する構成としている。
【0018】
この場合、上記ニューラルネットワークは、上記舌先の接触位置及び/または接触力での特定による推定の際、該舌の推定すべき顎口腔運動以外に生じる嚥下運動,開口運動,閉口運動,あくび運動,咬合運動のすくなくとも何れか1つの状態を同時に推定することが有効である。例えば、唾を飲み込むような嚥下運動の場合、「嚥下運動」として認識でき、随意運動との信号分離ができる。
【0019】
そしてまた、上記目的を達成するための本発明の顎口腔運動状態の推定装置は、顎口腔運動の状態を推定する顎口腔運動状態の推定装置において、上記顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面から生体信号を検出する生体信号検出手段と、該生体信号検出手段が検出した生体信号に基づいて上記顎口腔運動の状態を推定して出力するニューラルネットワークとを備え、
該ニューラルネットワークは、上記推定に係る状態の誤差が所定範囲内になるまで、予め、上記顎口腔運動に係る教師信号に基づいて学習する学習プロセスと、該学習プロセス終了後に新たに検出された生体信号について推定した状態を実行推定状態として出力する実行推定プロセスとを行う機能を備えて構成される。
【0020】
これにより、例えば、生体信号が筋電位信号である場合、生体信号検出手段が、顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面から筋電位信号を検出するので、顎口腔運動に直接寄与する特定の筋肉からではなく総合的な筋電位の検出になることから、筋骨格系の解剖学的知識がなくても、検出が極めて簡易になる。そのため、少ない電極数(アンプ数)で、浅部,深部,近部,遠部の顎口腔運動に関与する筋活動をすべて含んだ生体信号を計測できる。
また、このような筋電位信号を用いても、ニューラルネットワークにより、顎口腔運動の状態を推定するので、総合的な筋電位の検出であっても、これと顎口腔運動の状態とを一対一で関連付けることができるようになり、そのため、非侵襲的で簡便にしかも高精度で顎口腔運動の状態を推定することができるようになる。
また、学習プロセスにおいて、推定に係る状態の誤差が所定範囲内になるまで学習させるので、少ない学習回数でも、高い推定精度で、顎口腔運動の状態を推定できるようになる。その結果、実行推定プロセスにおいて、被験者からの新たに検出された筋電位信号について推定した実行推定状態の推定精度を向上させることができる。
他の生体信号においても同様である。
【0021】
また、必要に応じ、上記顎口腔運動は、特定の運動部位の運動を含み、該特定の運動部位の推定に係る顎口腔運動の状態は、該特定の運動部位の位置及び/または力で規定される構成としている。
これにより、顎口腔運動の状態を、特定の運動部位の位置及び/または力で規定したので、出力する情報量を多くすることができ、意思伝達機能を向上させることができる。そのため、例えば、パソコン入力や、各種機械操作などのインタフェースとして、汎用性を増すことができる。特に、位置と力を同時に推定すれば、同時に、2つの事項の意思伝達が可能になり、例えば、電動車いすの進みたい方向とスピードを同時に制御することや、携帯電話のタッチ操作などもでき汎用性を増すことができる。
【0022】
この場合、上記特定の運動部位における顎口腔運動の状態は、他の部位との接触の状態であり、該他の部位との接触位置及び/または接触力で規定されることが有効である。
これにより、顎口腔運動の状態を、特定の運動部位と他の部位との接触位置及び/または接触力で規定したので、位置の特定や、力の特定が基準を設けて設定し易くなり、それだけ、インタフェースとして利用可能なコマンド数やその推定精度を向上させることができるようになる。
【0023】
更に、必要に応じ、上記ニューラルネットワークは、上記特定の運動部位の位置及び/または力での規定による推定の際、該特定の運動部位の推定すべき顎口腔運動以外に生じる他の顎口腔運動の状態の全部若しくは一部についても同時に推定する構成としている。
特定の運動部位の推定すべき顎口腔運動以外に生じる他の顎口腔運動があったとき、特定の運動部位の所定の運動ではないことが分かるので、誤推定を防止することができる。例えば、特定の運動部位が舌の場合、舌の位置及び力に係る生体信号を検出しているときに、唾を飲み込むような嚥下運動,開口運動,閉口運動,あくび運動,咬合運動が生じた場合、例えば、嚥下運動であれば、この嚥下運動に係る生体信号に基づいて嚥下運動状態として推定できるようにしておけば、舌の位置及び力の生体信号の検出において、検出する生体信号の分離ができ、誤検出を防止して確実な推定を行うことができるようになる。
【0024】
更にまた、必要に応じ、生体信号検出手段は、皮膚に付設される生体信号検出素子を複数配置した多点素子群を備え、上記ニューラルネットワークは、該多点素子群の各生体信号検出素子間における生体信号の差分の全て若しくは一部の組み合わせに基づいて処理を行う構成としている。生体信号の差分の全て若しくは一部の組み合わせは、ニューラルネットワーク外で行っても良く、また、ニューラルネットワークの中で行うようにしても良い。
例えば、生体信号として筋電位信号を検出する場合、生体信号検出素子として、表面電極を用い、多点素子群をアレイ電極で構成する。これにより、アレイ電極は、n個の表面電極を用いて構成され、各電極位置における筋電位を単極誘導する。その後、n個から2つの信号を選択し、その差を計算することでnC2=m通りの筋電位信号が得られる。更に、そのm個の信号から2つの信号を選択し、その差を計算することも可能である。本手法ではn個の電極とnCHのアンプがあれば対応でき、機器の簡略化を図ることができる。更にまた、筋群全体を覆うように電極を配置し、異なる電極間距離で筋電位を測定することで、浅部,深部,近部,遠部の顎口腔運動に関与する筋活動をすべて入手することができるようになり、検出精度を向上させることができる。
【0025】
また、必要に応じ、上記ニューラルネットワークの実行推定プロセス機能により出力された実行推定状態から対応する顎口腔運動の状態を識別する運動状態識別手段を備えた構成としている。運動状態識別手段により、実行推定状態から対応する顎口腔運動の状態を識別するので、例えば、外部機器に、顎口腔運動の状態に対応して予め定めた指令を、自動的に行うことができ、各種制御に即座に対応できるようになる。
【発明の効果】
【0026】
本発明によれば、顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面から生体信号を検出するので、顎口腔運動に直接寄与する特定の筋肉からではなく総合的な筋肉の生体信号の検出になることから、筋骨格系の解剖学的知識がなくても、検出が極めて簡易になる。そのため、簡易な装置で、浅部,深部,近部,遠部の顎口腔運動に関与する筋活動をすべて含んだ生体信号を計測できる。
また、ニューラルネットワークにより顎口腔運動の状態を推定するので、総合的な筋肉の生体信号の検出であっても、これと顎口腔運動の状態とを一対一で関連付けることができるようになり、そのため、非侵襲的で簡便にしかも高精度で顎口腔運動の状態を推定することができるようになる。
【図面の簡単な説明】
【0027】
【図1】本発明の実施の形態に係る顎口腔運動状態の推定装置を示す図である。
【図2】本発明の実施の形態に係るニューラルネットワークの機能を示し、(a)は学習プロセス、(b)は実行推定プロセスを示す図である。
【図3】本発明の実施の形態に係る顎口腔運動状態の推定装置において、生体信号検出手段のアレイ電極の構成を示す図である。
【図4】本発明の実施の形態に係る顎口腔運動状態の推定装置において、生体信号検出手段の筋電位信号の出力形態を模式的に示す図である。
【図5】本発明の実施の形態に係る顎口腔運動状態の推定装置において、生体信号検出手段のアレイ電極を人体の皮膚表面に装着した状態を示す図である。
【図6】本発明の実施の形態に係る顎口腔運動状態の推定装置において、教師信号を得るマウスピースの構成を示す図である。
【図7】本発明の実施の形態に係る顎口腔運動状態の推定装置において、ニューラルネットワークの構成を示す図である。
【図8】本発明の実施の形態に係る顎口腔運動状態の推定装置により顎口腔運動状態の推定を行う際のフローチャートである。
【図9】本発明の実施例1に係り、舌先の接触位置と接触力の推定結果を示すグラフ図である。
【図10】本発明の実施例2に係り、舌先の連続運動に関しての推定結果を示すグラフ図である。
【図11】本発明の実施例3に係り、教師信号を得るマウスピースの構成を示す図である。
【図12】本発明の実施例3に係り、舌先の接触位置と接触力の推定結果を示すグラフ図である。
【発明を実施するための形態】
【0028】
以下、添付図面に基づいて、本発明の実施の形態に係る顎口腔運動状態の推定方法及び顎口腔運動状態の推定装置について詳細に説明する。本発明の実施の形態に係る顎口腔運動状態の推定方法は、本発明の実施の形態に係る顎口腔運動状態の推定装置によって実現されるので、この推定装置の説明において説明する。
【0029】
図1乃至図5には、実施の形態に係る顎口腔運動状態の推定装置Sを示している。この推定装置Sは、顎口腔運動の状態を推定する。顎口腔運動としては、特定の運動部位の運動を含み、実施の形態では、顎口腔運動を行う特定の運動部位が舌Tであり、推定に係る顎口腔運動の状態は、舌先Taの上顎内面Jに対する接触位置及び接触力で規定される。また、実施の形態では、舌先Taの接触位置及び接触力での特定による推定の際、舌Tの推定すべき顎口腔運動以外に生じる嚥下運動,開口運動及びあくび運動の状態を同時に推定する。
【0030】
詳しくは、実施の形態に係る推定装置Sは、顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面から生体信号としての筋電位信号(EMG)を検出する生体信号検出手段1と、この生体信号検出手段1が検出した筋電位信号に基づいて顎口腔運動の状態を推定して出力するニューラルネットワーク10とを備えている。
【0031】
生体信号検出手段1が筋電位信号を検出する皮膚表面は、図1及び図5に示すように、下顎の先端Haと喉頭隆起(喉仏)Hbとの間の顎裏エリアHに設定されている。そして、生体信号検出手段1は、図3乃至図5に示すように、この顎裏エリアHに付設される生体信号検出素子としての表面電極Eを複数配置した多点素子群としてのアレイ電極2を備え、図1に示すように、このアレイ電極2からの筋電位信号を前処理部3を介してニューラルネットワーク10に出力する。前処理部3は、図示外の増幅用アンプ,整流器、A/D変換器および生体信号の特徴抽出器を有して構成されている。また。ニューラルネットワーク10では、アレイ電極2の各表面電極E間における節電位信号Eの差分の全ての組み合わせに基づいて処理を行う。
【0032】
アレイ電極2は、n個の表面電極E(E1〜En)を用いて構成され、各電極位置における筋電位を単極誘導する。その後、図4に示すように、n個から2つの信号を選択し、その差を計測することでnC2=m通りの筋電位信号が得られる。更に、そのm個の信号から2つの信号を選択し、その差を計算することも可能である。実施の形態では、表面電極Eは9個(E1〜E9)用意され、図3に示すように、フィルムシート4の一側面に20mm間隔で行列状且つピラミッド状に付設され、フィルムシート4の他側面に設けた9個のリード電極5に夫々接続されている。そして、図5に示すように、このフィルムシート4を顎裏エリアHに付設することにより、表面電極Eは筋群全体を覆うように配置される。この場合、9C2=36通りの筋電位信号が得られ、一般的な双極誘導では72個の電極と36CHのアンプが必要となるが、本実施例では、9個の電極と9CHのアンプがあれば十分である。
【0033】
ニューラルネットワーク10は、図2に示すように、推定に係る状態の誤差が所定範囲内になるまで、予め、顎口腔運動に係る教師信号に基づいて学習する学習プロセス(図2(a))と、学習プロセス終了後に新たに検出された筋電位信号について推定した状態を実行推定状態として出力する実行推定プロセス(図2(b))とを行う機能を備えて構成される。
学習プロセスにおいて、教師信号は、図1及び図6に示すように、舌Tに対峙する上顎内面Jの所定位置に配置した複数の圧力センサ20(Ch1〜Chn)からの検知信号としている。図6に示すように、実施の形態では、圧力センサ20は7個(Ch1〜Ch7)用意され、上顎内に装着される可撓樹脂製のマウスピース21に設けられており、マウスピース21の装着状態では、上顎内面Jの中心線線上の前,中,後、中心線を境にして左右対称の側方前後に夫々2か所ずつ配置される。圧力センサ20は、舌先Taの接触位置と接触力(押圧力)の大きさを検知し、検知信号をニューラルネットワーク10に送出する。この場合、教師信号は、舌先Taの接触位置及び接触力の実測値に基づいて出力され、ニューラルネットワーク10においてこの実測値に対応させて学習させるので、学習をさせ易くすることができ、また、推定精度を向上させることができる。
【0034】
ニューラルネットワーク10は、各圧力センサ20に舌先Taを位置させて表面電極Eで検出した筋電位信号に基づいて、舌先Taの上顎内面Jに対する接触位置及び接触力を推定し、且つ、例えば、推定に係る接触位置及び接触力の平均2乗誤差が0.0001以下になるか、学習の繰り返し数が1000回に到達するまで、該当する圧力センサ20からの教師信号に基づいて学習する。
【0035】
実施の形態に係るニューラルネットワーク10は、図7に示すように、入力層11、中間層12、出力層13からなる3階層型ニューラルネットワークであり、筋電位信号の測定値を入力信号、圧力センサ20の出力値を教師信号とし、入力層11と中間層12、中間層12と出力層13の間の層間結合の重み付けを更新しながら学習し、即ち、各ニューロンの重みをバックプロパゲーション法で学習することで,上顎内面Jで計測した筋電位信号からの口腔内における舌先Taの接触位置と接触力の同時推定を行う。
【0036】
また、ニューラルネットワーク10は、舌先Taの接触位置及び接触力での特定による推定の際、舌Tの推定すべき顎口腔運動以外に生じる嚥下運動,開口運動及びあくび運動の状態を同時に推定する。ニューラルネットワーク10は、学習プロセスにおいて、上記と同様に嚥下運動,開口運動及びあくび運動の状態の推定に係る学習を行うが、この際の教師信号は、一義的に定めた加工信号にしている。例えば、加工信号として、嚥下運動,開口運動及びあくび運動に夫々対応した押釦ボタンにおいて、被験者の押釦によりDC5Vの電圧を付与する。
【0037】
また、実施の形態に係る推定装置Sは、図1に示すように、ニューラルネットワーク10の実行推定プロセス機能により出力された実行推定状態から対応する顎口腔運動の状態を識別する運動状態識別手段30を備えている。実施の形態では、ニューラルネットワーク10からの推定値(実行推定状態)から、舌先Taの接触位置及び接触力を識別し、あるいは嚥下運動,開口運動,あくび運動として識別し、例えば、嚥下運動,開口運動あるいはあくび運動の場合は、出力を留保し、舌先Taの接触位置及び接触力の推定結果のみを外部機器31にインターフェース32を介して送出するなどする。外部機器31としては、表示装置やプリンタ、あるいは、パソコンやその他種々の制御装置等どのようなものでも良い。尚、嚥下運動,開口運動及びあくび運動の場合も、外部機器31にインターフェース32を介して送出して、表示装置やプリンタに出力したり、あるいは、制御装置の方で利用または非利用にする等適宜に用いて良い。
【0038】
従って、実施の形態に係る顎口腔運動状態の推定装置Sによって、舌先Taの接触位置及び接触力の推定を行うときは、上記のように、予め、ニューラルネットワーク10の学習プロセス機能により、推定に係る状態の誤差が所定範囲内になるまで、顎口腔運動に係る教師信号に基づいて学習をすませておく。そして、図5に示すように、被験者に、表面電極Eが付設されたフィルムシートを顎裏エリアHに付設し、舌Tの運動をさせて、舌先Taの接触位置及び接触力の推定を行う。
図8に示すフローチャートを参照し、先ず、アレイ電極2の表面電極Eが顎裏エリアHから筋電位信号を検出し(S1)、ニューラルネットワーク10に送出する(S2)。
【0039】
この場合、アレイ電極2は、n個の表面電極Eを用いて構成され、各電極位置における筋電位を単極誘導し、その後、n個から2つの信号を選択し、その差を計測することでnC2=m通りの筋電位信号を得るので、n個の電極とnCHのアンプがあれば対応でき、機器の簡略化を図ることができる。また、筋群全体を覆うように電極を配置し、異なる電極間距離で筋電位を測定することで、浅部,深部,近部,遠部の顎口腔運動に関与する筋活動をすべて入手することができるようになり、検出精度を向上させることができる。
また、顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面(顎裏エリアH)から筋電位信号を検出するので、顎口腔運動に直接寄与する特定の筋肉からではなく総合的な筋電位の検出になることから、筋骨格系の解剖学的知識がなくても、検出が極めて簡易になる。
【0040】
そして、ニューラルネットワーク10において推定が行われる。この場合、上記のように顎裏エリアHからの筋電位信号を用いても、ニューラルネットワーク10により顎口腔運動の状態を推定するので、総合的な筋電位の検出であっても、これと顎口腔運動の状態とを一対一で関連付けることができるようになり、そのため、非侵襲的で簡便にしかも高精度で顎口腔運動の状態を推定することができるようになる。
即ち、ニューラルネットワーク10の学習プロセスにおいて、推定に係る状態の誤差が所定範囲内になるまで学習させるので、少ない学習回数でも、高い推定精度で、顎口腔運動の状態を推定できるようになる。その結果、実行推定プロセスにおいて、被験者からの新たに検出された筋電位信号について推定した実行推定状態の推定精度を向上させることができる。
【0041】
ニューラルネットワーク10からの推定結果が出力されると、運動状態識別手段30により、舌先Taの接触位置及び接触力を識別し、あるいは嚥下運動,開口運動,あくび運動の何れかとして識別する(S3)。舌先Taの接触位置及び接触力と識別したときは(S3Y)、インターフェース32を介して外部機器31に出力する(S4)。一方、嚥下運動,開口運動あるいはあくび運動を識別した場合には(S3N)、例えば、留保し、あるいは、インターフェース32を介して、嚥下運動,開口運動あるいはあくび運動であることを出力して処理する(S5)。この場合、本来必要な舌先Taの位置及び力に係る筋電位信号を検出しているときに、例えば、唾を飲み込むような嚥下運動が生じた場合、この嚥下運動に係る筋電位信号に基づいて嚥下運動状態として推定できるので、舌先Taの位置及び力の筋電位信号の検出において、検出する筋電位信号の分離ができ、誤検出を防止して確実な推定を行うことができるようになる。
【0042】
また、顎口腔運動の状態を、舌先Taの接触位置及び接触力で規定したので、出力する情報量を多くすることができ、意思伝達機能を向上させることができる。そのため、例えば、パソコン入力や、各種機械操作などのインタフェースとして、汎用性を増すことができる。特に、位置と力を同時に推定すれば、同時に、2つの事項の意思伝達が可能になり、例えば、電動車いすの進みたい方向とスピードを同時に制御することや、携帯電話のディスプレイパネルのタッチ操作などもでき汎用性を増すことができる。更に、顎口腔運動の状態を、舌先Taの上顎内面Jに対する接触位置及び接触力で規定したので、位置の特定や、力の特定が基準を設けて設定し易くなり、それだけ、推定精度を向上させることができるようになる。
【実施例】
【0043】
以下、本発明の実施例について示す。
<実施例1>
アレイ電極2は、上記と同様に(図3乃至図5)、9つの表面電極Eを20mm間隔でピラミッド状に配置して作成した。各電極位置における筋電位信号(EMG信号)は、下顎角を基準電位とした単極誘導により導出した。筋電位計測には、電極リード線,プリアンプ回路,筋電アンプIC(NB6101HS,ナブテスコ株式会社)で構成される筋電位計(図1の前処理部3に相当する)を用いた。筋電位計の増幅率は1,950倍、低域遮断周波数は2.3Hz、高域遮断周波数は320Hzである。
【0044】
マウスピース21においては、図6に示すように、舌先Taを押し付ける力とそのときの舌先Taの位置を同時に計測するために、圧力センサ20として、厚さ約0.2mmのシート型力センサ(FlexiForce,ニッタ株式会社)を7枚貼り付けた。各位置におけるセンシングエリアは9.5mm、最大計測荷重は110Nである。
【0045】
舌先Taの位置と力の推定には、上記と同様に(図7)、入力層,中間層,出力層からなる階層型NNを用いた。EMG信号を入力層(ニューロン数9個)、圧力センサ20の計測値と嚥下運動識別信号,開口運動識別信号,あくび運動識別信号を出力層(ニューロン数9個)に加え、各ニューロンの重みを誤差逆伝搬法で学習することで、顎裏で計測したEMG信号からの舌先Taの位置と力の同時推定を行った。嚥下運動,開口運動あるいはあくび運動の際は、識別信号として、嚥下運動,開口運動及びあくび運動に夫々対応した押しボタンスイッチによりDC5Vを入力した。嚥下運動,開口運動及びあくび運動を同時に学習することで随意運動との分離を図った。また、中間層のニューロン数は、EMG信号のクロストークを積極的に利用しながら、舌筋と舌骨筋の筋活動を同時に考慮できるようアレイ電極2を構成する2電極間の組み合わせ数(9C2=36)と一致させた。
【0046】
被験者は、健常成人男性1名(22歳)である。実験は,アレイ電極2とマウスピース21を装着した状態で行い、Ch1からCh7まで圧力センサ20に舌先Taを押しつけた後、最大努力でもう一度、各センサに舌先Taを押しつけ、最後に押しボタンスイッチを指で操作しながら嚥下運動,開口運動及びあくび運動を行った。これらの動作時間は1秒間とし、各動作の間に2秒間の脱力時間を設定した。以上の実験手順で、合計3セットの計測実験を行った。
【0047】
1セット目の実験データを用いて、ネットワークを学習した後、未学習である2セット目および3セット目の実験動作に対して舌先Taの位置と力の推定を行った。図9には、1セット目の実験データに対する推定結果を示した。その結果、各センサに押しつけた力の推定値が実測値(真値)とほぼ一致するとともに、誤認識することなく嚥下運動,開口運動及びあくび運動を正確に判別できることが確認された。
【0048】
<実施例2>
アレイ電極2の付設条件及び圧力センサ20の付設条件を上記の実施例1と同じにして、舌先Taの上下フリック運動,左右フリック運動及び円運動の3つの運動状態を推定した。ここで、舌先Taの上下フリック運動とは、舌先Taを口蓋に接触させ、上または下になぞる動作である。舌先Taの左右フリック運動とは、舌先Taを口蓋に接触させ、左または右になぞる動作である。舌先Taの円運動とは、舌先Taを口蓋に接触させ、右まわりまたは左まわりに円を描く動作である。これら3つの動作は、携帯電話のディスプレイパネルのタッチ操作を模擬したものである。
【0049】
上記と同様に(図7)、入力層,中間層,出力層からなる階層型NNを用いた。EMG信号を入力層(ニューロン数9個)、舌先Taの上下フリック運動,左右フリック運動及び円運動にそれぞれ対応した識別信号を出力層(ニューロン数9個)に加え、各ニューロンの重みを誤差逆伝搬法で学習することで、顎裏で計測したEMG信号からの舌先Taの上記運動の推定を行った。
舌先Taの上下フリック運動,左右フリック運動及び円運動の際は、これらの運動に夫々対応した押しボタンスイッチによりDC5V若しくはDC2.5Vの識別信号を入力した。詳しくは、舌先Taの上下フリック運動において、上フリックはDC5V、下フリックはDC2.5Vを入力した。舌先Taの左右フリック運動において、左フリックはDC5V、右フリックはDC2.5Vを入力した。舌先Taの円運動において、右回りはDC5V、左回りはDC2.5Vを入力した。
【0050】
上記と同様に、被験者は、健常成人男性1名(22歳)である。実験は,アレイ電極2とマウスピース21を装着した状態で行い、各運動に対応した押しボタンスイッチを指で操作しながら、上フリック運動、下フリック運動、左フリック運動、右フリック運動、右まわりの円運動、左まわりの円運動を行った。以上の実験手順で、合計3セットの計測実験を行った。
【0051】
1セット目の実験データを用いて、ネットワークを学習した後、未学習である2セット目および3セット目の実験動作に対して舌先Taの運動を推定した。図10には、1セット目の実験データに対する推定結果を示した。その結果、推定した運動識別信号が、教示信号である識別信号とほぼ一致するとともに、誤認識することなく舌先Taの上下フリック運動,左右フリック運動及び円運動を正確に判別できることが確認された。
【0052】
<実施例3>
図11に示すように、マウスピース21において、圧力センサ20として、厚さ約0.2mmのシート型力センサ(FlexiForce,ニッタ株式会社)を3枚貼り付けた。他は、実施例1と同様にし、Ch1からCh3まで圧力センサ20に舌先Taを押しつけた後、最後に押しボタンスイッチを指で操作しながら嚥下運動ならびにあくび運動を行った。他は実施例1と同様の実験手順で計測実験を行った。結果を図12に示す。
【0053】
この結果から、推定したい舌先Taの位置やその組み合わせを自由に選択しても、各センサに押しつけた力の推定値が実測値(真値)とほぼ一致するとともに、誤認識することなく嚥下運動、及びあくび運動を正確に判別できることが確認された。
【0054】
尚、上記実施の形態では、特定の運動部位としての舌Tの顎口腔運動の状態を、舌先Taの上顎内面Jに対する接触位置及び接触力で規定したが、必ずしもこれに限定されるものではなく、接触位置のみ、あるいは、接触力のみでも良く、適宜変更して差し支えない。また、舌先Taの接触位置及び/または接触力は上顎内面Jに対するものに限定されるものではなく、例えば、頬肉,歯,口唇の内側あるいは外側等、舌先Taが接触する部位であればどの部位を選択しても良く、適宜変更して差し支えない。更に、アレイ電極2の表面電極Eの数や、マウスピース21の圧力センサ20の数も上記に限定されるものではなく、適宜変更して差し支えない。
【0055】
また、上記実施の形態では、ニューラルネットワーク10は、入力層11、中間層12、出力層13からなる3階層型ニューラルネットワーク10を用いたが、必ずしもこれに限定されるものではなく、4階層以上のもの、あるいは、他の形式のニューラルネットワークにより構成しても良く、適宜変更して差し支えない。
【0056】
尚また、上記実施の形態では、顎口腔運動として、舌Tの運動と嚥下運動,開口運動,あくび運動についての状態を推定する場合について説明したが、必ずしもこれに限定されるものではなく、例えば、顎の運動,顎の運動を伴う歯のかみ合わせの運動,咬合運動,咀嚼運動,あくび運動,顎や口唇の開閉運動,発声運動,喉頭隆起(喉仏)の運動等、どのような運動についての状態の推定であっても本発明を適用でき、適宜変更して差し支えない。
【0057】
この場合、上記実施の形態においては、顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面を、顎裏エリアHに設定したが、必ずしもこれに限定されるものではなく、上記の顎口腔運動を行う筋肉との関係で、どのような個所あるいはエリアに設定しても良く、適宜変更して差し支えない。また、筋電位信号を検出する電極の種類や数や大きさなども上記に限定されるものではなく、適宜変更して差し支えない。
【産業上の利用可能性】
【0058】
本発明によれば、重度四肢麻痺者等の重度障害者の生活支援において僅かな残存機能から本人の動作意志を抽出する技術に適用でき、生活支援機器、リハビリテーションへの応用が期待できる。例えば、「あいうえお・・・」などの文字を舌先で描くことにより、パソコンに直接文字を入力することや、人工喉を利用して発話することも可能になる。また、電動車いすの運転制御,テレビゲーム用の舌コントローラ、携帯電話のディスプレイパネルのタッチ操作等、各種機械操作等のインタフェースとして利用できる。また、重度障害者だけでなく、健常者にも有用な技術として提供できることは勿論である。
【符号の説明】
【0059】
S 顎口腔運動状態の推定装置
T 舌
Ta 舌先
J 上顎内面
H 顎裏エリア
1 生体信号検出手段
2 アレイ電極(多点素子群)
E(E1〜En) 表面電極(生体信号検出素子)
3 前処理部
4 フィルムシート
5 リード電極
10 ニューラルネットワーク
11 入力層
12 中間層
13 出力層
20(Ch1〜Chn) 圧力センサ
21 マウスピース
30 運動状態識別手段
31 外部機器
32 インターフェース
【特許請求の範囲】
【請求項1】
顎口腔運動の状態を推定する顎口腔運動状態の推定方法において、
上記顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面から生体信号を検出し、ニューラルネットワークにより上記検出した生体信号に基づいて上記顎口腔運動の状態を推定することを特徴とする顎口腔運動状態の推定方法。
【請求項2】
上記ニューラルネットワークは、上記推定に係る状態の誤差が所定範囲内になるまで、予め、上記顎口腔運動に係る教師信号に基づいて学習する学習プロセスと、該学習プロセス終了後に新たに検出された生体信号について推定した状態を実行推定状態として出力する実行推定プロセスとを行う機能を備えて構成されることを特徴とする請求項1記載の顎口腔運動状態の推定方法。
【請求項3】
上記顎口腔運動は、特定の運動部位の運動を含み、該特定の運動部位の推定に係る顎口腔運動の状態は、該特定の運動部位の位置及び/または力で規定されることを特徴とする請求項2記載の顎口腔運動状態の推定方法。
【請求項4】
上記特定の運動部位における顎口腔運動の状態は、他の部位との接触の状態であり、該他の部位との接触位置及び/または接触力で規定されることを特徴とする請求項3記載の顎口腔運動状態の推定方法。
【請求項5】
上記特定の運動部位に係る教師信号は、当該運動部位の位置及び/または力の実測値に基づいて出力されることを特徴とする請求項3または4記載の顎口腔運動状態の推定方法。
【請求項6】
上記ニューラルネットワークは、上記特定の運動部位の位置及び/または力での規定による推定の際、該特定の運動部位の推定すべき顎口腔運動以外に生じる他の顎口腔運動の状態の全部若しくは一部についても同時に推定することを特徴とする請求項5記載の顎口腔運動状態の推定方法。
【請求項7】
上記他の顎口腔運動に係る教師信号は、上記特定の運動部位の位置及び/または力、あるいはそれらの複合的な運動に対応するように一義的に定めた加工信号であることを特徴とする請求項6記載の顎口腔運動状態の推定方法。
【請求項8】
上記生体信号は、皮膚に付設される生体信号検出素子を複数配置した多点素子群により出力され、上記ニューラルネットワークは、該多点素子群の各生体信号検出素子間における生体信号の差分の全て若しくは一部の組み合わせに基づいて処理を行うことを特徴とする請求項2乃至7何れかに記載の顎口腔運動状態の推定方法。
【請求項9】
上記顎口腔運動を行う特定の運動部位が舌であり、上記推定に係る顎口腔運動の状態は、上記舌の舌先の上顎内面に対する接触位置及び/または接触力で規定され、
上記顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面を、下顎の先端と喉頭隆起(喉仏)との間の顎裏エリアに設定し、該顎裏エリアに複数の生体信号検出素子を付設して該生体信号検出素子により生体信号を検出するようにし、
上記学習プロセスにおいて、
上記舌に対峙する上顎内面の所定位置に複数の圧力センサを配置し、
上記ニューラルネットワークは、上記各圧力センサに対して舌先を接触させた際、該各圧力センサによる検知信号を教師信号とし、
上記各圧力センサに舌先を位置させて上記生体信号検出素子で検出した生体信号に基づいて上記舌先の上顎内面に対する接触位置及び/または接触力を推定し、且つ、該推定に係る接触位置及び/または接触力の誤差が所定範囲内になるまで、該当する圧力センサからの教師信号に基づいて学習し、
上記実行推定プロセスにおいて、
上記ニューラルネットワークは、上記上顎内面に対して舌先を接触させた際、該舌先の接触位置及び/または接触力を実行推定状態として出力することを特徴とする請求項5乃至8何れかに記載の顎口腔運動状態の推定方法。
【請求項10】
上記ニューラルネットワークは、上記舌先の接触位置及び/または接触力での特定による推定の際、該舌の推定すべき顎口腔運動以外に生じる嚥下運動,開口運動,閉口運動,あくび運動,咬合運動のすくなくとも何れか1つの状態を同時に推定することを特徴とする請求項9記載の顎口腔運動状態の推定方法。
【請求項11】
顎口腔運動の状態を推定する顎口腔運動状態の推定装置において、
上記顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面から生体信号を検出する生体信号検出手段と、該生体信号検出手段が検出した生体信号に基づいて上記顎口腔運動の状態を推定して出力するニューラルネットワークとを備え、
該ニューラルネットワークは、上記推定に係る状態の誤差が所定範囲内になるまで、予め、上記顎口腔運動に係る教師信号に基づいて学習する学習プロセスと、該学習プロセス終了後に新たに検出された生体信号について推定した状態を実行推定状態として出力する実行推定プロセスとを行う機能を備えて構成されることを特徴とする顎口腔運動状態の推定装置。
【請求項12】
上記顎口腔運動は、特定の運動部位の運動を含み、該特定の運動部位の推定に係る顎口腔運動の状態は、該特定の運動部位の位置及び/または力で規定されることを特徴とする請求項11記載の顎口腔運動状態の推定装置。
【請求項13】
上記特定の運動部位における顎口腔運動の状態は、他の部位との接触の状態であり、該他の部位との接触位置及び/または接触力で規定されることを特徴とする請求項12記載の顎口腔運動状態の推定装置。
【請求項14】
上記ニューラルネットワークは、上記特定の運動部位の位置及び/または力での規定による推定の際、該特定の運動部位の推定すべき顎口腔運動以外に生じる他の顎口腔運動の状態の全部若しくは一部についても同時に推定することを特徴とする請求項12または13記載の顎口腔運動状態の推定装置。
【請求項15】
上記生体信号検出手段は、皮膚に付設される生体信号検出素子を複数配置した多点素子群を備え、上記ニューラルネットワークは、該多点素子群の各生体信号検出素子間における生体信号の差分の全て若しくは一部の組み合わせに基づいて処理を行うことを特徴とする請求項11乃至14何れかに記載の顎口腔運動状態の推定装置。
【請求項16】
上記ニューラルネットワークの実行推定プロセス機能により出力された実行推定状態から対応する顎口腔運動の状態を識別する運動状態識別手段を備えたことを特徴とする請求項11乃至15何れかに記載の顎口腔運動状態の推定装置。
【請求項1】
顎口腔運動の状態を推定する顎口腔運動状態の推定方法において、
上記顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面から生体信号を検出し、ニューラルネットワークにより上記検出した生体信号に基づいて上記顎口腔運動の状態を推定することを特徴とする顎口腔運動状態の推定方法。
【請求項2】
上記ニューラルネットワークは、上記推定に係る状態の誤差が所定範囲内になるまで、予め、上記顎口腔運動に係る教師信号に基づいて学習する学習プロセスと、該学習プロセス終了後に新たに検出された生体信号について推定した状態を実行推定状態として出力する実行推定プロセスとを行う機能を備えて構成されることを特徴とする請求項1記載の顎口腔運動状態の推定方法。
【請求項3】
上記顎口腔運動は、特定の運動部位の運動を含み、該特定の運動部位の推定に係る顎口腔運動の状態は、該特定の運動部位の位置及び/または力で規定されることを特徴とする請求項2記載の顎口腔運動状態の推定方法。
【請求項4】
上記特定の運動部位における顎口腔運動の状態は、他の部位との接触の状態であり、該他の部位との接触位置及び/または接触力で規定されることを特徴とする請求項3記載の顎口腔運動状態の推定方法。
【請求項5】
上記特定の運動部位に係る教師信号は、当該運動部位の位置及び/または力の実測値に基づいて出力されることを特徴とする請求項3または4記載の顎口腔運動状態の推定方法。
【請求項6】
上記ニューラルネットワークは、上記特定の運動部位の位置及び/または力での規定による推定の際、該特定の運動部位の推定すべき顎口腔運動以外に生じる他の顎口腔運動の状態の全部若しくは一部についても同時に推定することを特徴とする請求項5記載の顎口腔運動状態の推定方法。
【請求項7】
上記他の顎口腔運動に係る教師信号は、上記特定の運動部位の位置及び/または力、あるいはそれらの複合的な運動に対応するように一義的に定めた加工信号であることを特徴とする請求項6記載の顎口腔運動状態の推定方法。
【請求項8】
上記生体信号は、皮膚に付設される生体信号検出素子を複数配置した多点素子群により出力され、上記ニューラルネットワークは、該多点素子群の各生体信号検出素子間における生体信号の差分の全て若しくは一部の組み合わせに基づいて処理を行うことを特徴とする請求項2乃至7何れかに記載の顎口腔運動状態の推定方法。
【請求項9】
上記顎口腔運動を行う特定の運動部位が舌であり、上記推定に係る顎口腔運動の状態は、上記舌の舌先の上顎内面に対する接触位置及び/または接触力で規定され、
上記顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面を、下顎の先端と喉頭隆起(喉仏)との間の顎裏エリアに設定し、該顎裏エリアに複数の生体信号検出素子を付設して該生体信号検出素子により生体信号を検出するようにし、
上記学習プロセスにおいて、
上記舌に対峙する上顎内面の所定位置に複数の圧力センサを配置し、
上記ニューラルネットワークは、上記各圧力センサに対して舌先を接触させた際、該各圧力センサによる検知信号を教師信号とし、
上記各圧力センサに舌先を位置させて上記生体信号検出素子で検出した生体信号に基づいて上記舌先の上顎内面に対する接触位置及び/または接触力を推定し、且つ、該推定に係る接触位置及び/または接触力の誤差が所定範囲内になるまで、該当する圧力センサからの教師信号に基づいて学習し、
上記実行推定プロセスにおいて、
上記ニューラルネットワークは、上記上顎内面に対して舌先を接触させた際、該舌先の接触位置及び/または接触力を実行推定状態として出力することを特徴とする請求項5乃至8何れかに記載の顎口腔運動状態の推定方法。
【請求項10】
上記ニューラルネットワークは、上記舌先の接触位置及び/または接触力での特定による推定の際、該舌の推定すべき顎口腔運動以外に生じる嚥下運動,開口運動,閉口運動,あくび運動,咬合運動のすくなくとも何れか1つの状態を同時に推定することを特徴とする請求項9記載の顎口腔運動状態の推定方法。
【請求項11】
顎口腔運動の状態を推定する顎口腔運動状態の推定装置において、
上記顎口腔運動に関連する筋肉の動きが反映する人体の所定の皮膚表面から生体信号を検出する生体信号検出手段と、該生体信号検出手段が検出した生体信号に基づいて上記顎口腔運動の状態を推定して出力するニューラルネットワークとを備え、
該ニューラルネットワークは、上記推定に係る状態の誤差が所定範囲内になるまで、予め、上記顎口腔運動に係る教師信号に基づいて学習する学習プロセスと、該学習プロセス終了後に新たに検出された生体信号について推定した状態を実行推定状態として出力する実行推定プロセスとを行う機能を備えて構成されることを特徴とする顎口腔運動状態の推定装置。
【請求項12】
上記顎口腔運動は、特定の運動部位の運動を含み、該特定の運動部位の推定に係る顎口腔運動の状態は、該特定の運動部位の位置及び/または力で規定されることを特徴とする請求項11記載の顎口腔運動状態の推定装置。
【請求項13】
上記特定の運動部位における顎口腔運動の状態は、他の部位との接触の状態であり、該他の部位との接触位置及び/または接触力で規定されることを特徴とする請求項12記載の顎口腔運動状態の推定装置。
【請求項14】
上記ニューラルネットワークは、上記特定の運動部位の位置及び/または力での規定による推定の際、該特定の運動部位の推定すべき顎口腔運動以外に生じる他の顎口腔運動の状態の全部若しくは一部についても同時に推定することを特徴とする請求項12または13記載の顎口腔運動状態の推定装置。
【請求項15】
上記生体信号検出手段は、皮膚に付設される生体信号検出素子を複数配置した多点素子群を備え、上記ニューラルネットワークは、該多点素子群の各生体信号検出素子間における生体信号の差分の全て若しくは一部の組み合わせに基づいて処理を行うことを特徴とする請求項11乃至14何れかに記載の顎口腔運動状態の推定装置。
【請求項16】
上記ニューラルネットワークの実行推定プロセス機能により出力された実行推定状態から対応する顎口腔運動の状態を識別する運動状態識別手段を備えたことを特徴とする請求項11乃至15何れかに記載の顎口腔運動状態の推定装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2012−232065(P2012−232065A)
【公開日】平成24年11月29日(2012.11.29)
【国際特許分類】
【出願番号】特願2011−104448(P2011−104448)
【出願日】平成23年5月9日(2011.5.9)
【新規性喪失の例外の表示】特許法第30条第1項適用申請有り 社団法人日本生体医工学会東北支部が平成22年11月20日に発行した、第44回日本生体医工学会東北支部大会講演論文集にて発表 〔刊行物等〕 ライフサポート学会が2011年(平成23年)3月5日に発行した、第20回ライフサポート学会フロンティア講演会 論文集にて発表 〔刊行物等〕 ライフサポート学会が、2011年(平成23年)3月30日に発行した、ライフサポート Vol.23 No.1(2011)にて発表
【出願人】(504165591)国立大学法人岩手大学 (222)
【公開日】平成24年11月29日(2012.11.29)
【国際特許分類】
【出願日】平成23年5月9日(2011.5.9)
【新規性喪失の例外の表示】特許法第30条第1項適用申請有り 社団法人日本生体医工学会東北支部が平成22年11月20日に発行した、第44回日本生体医工学会東北支部大会講演論文集にて発表 〔刊行物等〕 ライフサポート学会が2011年(平成23年)3月5日に発行した、第20回ライフサポート学会フロンティア講演会 論文集にて発表 〔刊行物等〕 ライフサポート学会が、2011年(平成23年)3月30日に発行した、ライフサポート Vol.23 No.1(2011)にて発表
【出願人】(504165591)国立大学法人岩手大学 (222)
[ Back to top ]