顔面動作推定装置及び顔面動作推定方法
【課題】顔面の動作を容易に知覚できるようにする。
【解決手段】顔の所定領域から得られる生体電位信号に基づいて顔の動作を推定する顔面動作推定装置において、前記顔の所定領域に対する前記生体電位信号を取得するための複数の電極と、前記複数の電極から得られるそれぞれの信号を所定の帯域でフィルタリングするフィルタ手段と、前記フィルタ手段により得られる信号に対して予め設定される信号の独立性を仮定することにより分別する信号処理手段と、前記信号処理手段により得られる信号に対して機械学習により信号解析を行う機械学習解析手段と、前記機械学習解析手段により得られる解析結果から、顔の表情及び度合いを推定する表情推定手段と、前記顔の表情及び度合いに対応させて予め設定された提示を行う提示手段とを有することにより上記課題を解決する。
【解決手段】顔の所定領域から得られる生体電位信号に基づいて顔の動作を推定する顔面動作推定装置において、前記顔の所定領域に対する前記生体電位信号を取得するための複数の電極と、前記複数の電極から得られるそれぞれの信号を所定の帯域でフィルタリングするフィルタ手段と、前記フィルタ手段により得られる信号に対して予め設定される信号の独立性を仮定することにより分別する信号処理手段と、前記信号処理手段により得られる信号に対して機械学習により信号解析を行う機械学習解析手段と、前記機械学習解析手段により得られる解析結果から、顔の表情及び度合いを推定する表情推定手段と、前記顔の表情及び度合いに対応させて予め設定された提示を行う提示手段とを有することにより上記課題を解決する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔面動作推定装置及び顔面動作推定方法に係り、特に顔面の動作を容易に知覚できるようにするための顔面動作推定装置及び顔面動作推定方法に関する。
【背景技術】
【０００２】
従来、対話等における顔の表情は、対人に付加的情報を与えており、その人の感情を取得する１つの目安として人間関係において重要な役割を果たしている。
【０００３】
そこで、例えば、カメラ等により撮影された人物の表情認識に関する技術が存在しており、顔の所定部位に設置された電極等から得られる生体電位信号（筋電）に基づいて表情を認識する技術についても開示されている（例えば、特許文献１、２等。）。
【０００４】
例えば、特許文献１では、ユーザの生体情報や運動情報を検出し、検出した生体情報及び運動情報に基づいてユーザ状況を判定して、それに応じた表示キャラクタの表情又は動作を決定する技術について示されている。
【０００５】
また、特許文献２では、笑筋及び頬骨筋の何れかの端部に電極を配置し、これにより検出された笑筋及び頬骨筋の２０〜１００Ｈｚの周波数分布の筋電に基づいて、その人物が笑っているか否かの笑いの有無を検出する技術について示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−３９１５７号公報
【特許文献２】特開２００６−３４０９８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、カメラ等で撮影された画像から人物の表情を推定する場合には、少なくとも画面上に正面顔が映し出されていなければならず、例えば顔が俯いた場合やカメラに対して後を向いた場合には、その表情や動作を測定することができない。
【０００８】
また、例えば、笑った顔の表情を検知するために電極を用いて生体電位信号を測定する際、従来では、顔面内部にある笑筋の上に電極を配置して笑筋の動きにより生じる生体電位信号を取得しているが、このような配置を行うと顔の前面に配置することになるため、外見上に大きな違和感があり、また表情そのものを阻害してしまうため、好ましいものとはいえない。
【０００９】
また、例えば、特許文献２に示すようにヘッドホン等を用いて耳介部からの生体電位信号を取得する場合には、筋肉部からの距離があるため、ノイズ等や皮膚を伝搬する際の減衰等があるため、笑顔の度合い等を正確に推測することができない。
【００１０】
更に、従来では、例えば顔面麻痺等により表情がうまく作れない人物等に対して、生体電位信号により得られる顔面内部の信号を、筋肉の動きではなく、光や音により対人等に明確に提示させることで他人が容易に視認することができる装着型の装置については存在していなかった。
【００１１】
本発明は、上述した課題に鑑みてなされたものであって、顔面の動作を容易に知覚できるようにするための顔面動作推定装置及び顔面動作推定方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１３】
請求項１に記載された発明は、顔の所定領域から得られる生体電位信号に基づいて顔の動作を推定する顔面動作推定装置において、前記顔の所定領域に対する前記生体電位信号を取得するための複数の電極と、前記複数の電極から得られるそれぞれの信号を所定の帯域でフィルタリングするフィルタ手段と、前記フィルタ手段により得られる信号に対して予め設定される信号の独立性を仮定することにより分別する信号処理手段と、前記信号処理手段により得られる信号に対して機械学習により信号解析を行う機械学習解析手段と、前記機械学習解析手段により得られる解析結果から、顔の表情及び度合いを推定する表情推定手段と、前記顔の表情及び度合いに対応させて予め設定された提示を行う提示手段とを有することを特徴とする。
【００１４】
請求項１記載の発明によれば、顔面の動作を容易に定量化できると共に知覚できるようにすることができる。
【００１５】
請求項２に記載された発明は、前記顔の所定領域は、前記装着者の顔輪筋、小頬骨筋、大頬骨筋、笑筋のうち、少なくとも２つの筋肉に対する生体電位信号が取得できる領域であることを特徴とする。
【００１６】
請求項２記載の発明によれば、１つの筋肉の動きに依存しすぎずに、表情を形成するために必要な複数の筋肉への信号を効率的且つ高い時間精度で取得することができる。
【００１７】
請求項３に記載された発明は、前記信号処理手段は、前記複数の電極から得られる複数の生体電位信号の組み合わせから独立成分を抽出することを特徴とする。
【００１８】
請求項３記載の発明によれば、どの部位から取得した生体電位信号であるか否かの判断を必要とせず、複数の電極から取得した複数の生体電位信号のみに着目して独立成分を抽出することができる。
【００１９】
請求項４に記載された発明は、前記機械学習解析手段は、前記複数の電極から得られる少なくとも２つの信号からなる混合信号の入力に対す顔の表情の種類及び度合いを出力とする予め設定されたニューロンネットワークを用いて解析を行うことを特徴とする。
【００２０】
請求項４記載の発明によれば、機械学習としてニューラルネットワークを用いることで、顔の表情が異なるどのユーザに対しても制限なく顔面動作推定装置を利用することができる。
【００２１】
請求項５に記載された発明は、前記提示手段は、複数の光又は音により提示を行い、前記顔の表情及び度合いに応じて前記複数の光又は音を変更して提示することを特徴とする。
【００２２】
請求項５記載の発明によれば、光又は音により装着者又は対面者及び周囲の者等は、容易に表情を把握することができる。これにより、無意識のうちに行われる表情の変化を正確に把握することができる。更に、表情の種類及び度合いに応じて光や音を変更するため、詳細な表情の変化を高精度に確認することができる。
【００２３】
請求項６に記載された発明は、顔の所定領域から得られる生体電位信号に基づいて顔の動作を推定する顔面動作推定方法において、複数の電極を用いて前記顔の所定領域に対する前記生体電位信号を取得するための信号取得段階と、前記信号取得段階により得られる前記複数の電極からのそれぞれの信号を所定の帯域でフィルタリングするフィルタ段階と、前記フィルタ段階により得られる信号に対して予め設定される信号の独立性を仮定することにより分別する信号処理段階と、前記信号処理段階により得られる信号に対して機械学習により信号解析を行う機械学習解析段階と、前記機械学習解析段階により得られる解析結果から、顔の表情及び度合いを推定する表情推定段階と、前記顔の表情及び度合いに対応させて予め設定された提示手段により提示させる提示段階とを有することを特徴とする。
【００２４】
請求項６記載の発明によれば、顔面の動作を容易に定量化できると共に知覚できるようにすることができる。
【００２５】
請求項７に記載された発明は、前記顔の所定領域は、前記装着者の顔輪筋、小頬骨筋、大頬骨筋、笑筋のうち、少なくとも２つの筋肉に対する生体電位信号が取得できる領域であることを特徴とする。
【００２６】
請求項７記載の発明によれば、１つの筋肉の動きに依存しすぎずに、表情を形成するために必要な複数の筋肉への信号を効率的且つ高い時間精度で取得することができる。
【００２７】
請求項８に記載された発明は、前記信号処理段階は、前記複数の電極から得られる複数の生体電位信号の組み合わせから独立成分を抽出することを特徴とする。
【００２８】
請求項８記載の発明によれば、どの部位から取得した生体電位信号であるか否かの判断を必要とせず、複数の電極から取得した複数の生体電位信号のみに着目して独立成分を抽出することができる。
【００２９】
請求項９に記載された発明は、前記機械学習解析段階は、前記複数の電極から得られる少なくとも２つの信号からなる混合信号の入力に対す顔の表情の種類及び度合いを出力とする予め設定されたニューロンネットワークを用いて解析を行うことを特徴とする。
【００３０】
請求項９記載の発明によれば、機械学習としてニューラルネットワークを用いることで、顔の表情が異なるどのユーザに対しても制限なく利用することができる。
【００３１】
請求項１０に記載された発明は、前記提示段階は、前記提示手段を用いて複数の光又は音により提示を行い、前記顔の表情及び度合いに応じて前記複数の光又は音を変更して提示することを特徴とする。
【００３２】
請求項１０記載の発明によれば、光又は音により装着者又は対面者及び周囲の者等は、容易に表情を把握することができる。これにより、無意識のうちに行われる表情の変化を正確に把握することができる。更に、表情の種類及び度合いに応じて光や音を変更するため、詳細な表情の変化を高精度に確認することができる。
【発明の効果】
【００３３】
本発明によれば、顔面の動作を容易に知覚できるようにすることができる。
【図面の簡単な説明】
【００３４】
【図１】電極の配置位置を説明するための図である。
【図２】本実施形態における顔面動作推定装置の外部形態の一例を示す図である。
【図３】顔面動作推定装置の変形例を説明するための図である。
【図４】本実施形態における顔面動作推定装置の機能構成の一例を示す図である。
【図５】顔面動作推定装置における信号処理の概要を説明するための図である。
【図６】信号処理モジュールの一例を示す図である。
【図７】ＩＣＡのブロックダイアグラムの一例を示す図である。
【図８】本実施形態における表情推定における基本データの生成例を示す図である。
【図９】本実施形態を適用した実験結果の一例を示す図（その１）である。
【図１０】本実施形態を適用した実験結果の一例を示す図（その２）である。
【図１１】本実施形態を適用した実験結果の一例を示す図（その３）である。
【発明を実施するための形態】
【００３５】
＜本発明について＞
本発明は、表情筋の運動に関わる生体電位信号（Ｂｉｏ Ｅｌｅｃｔｒｉｃａｌ Ｓｉｇｎａｌｓ；ＢＥＳ）に基づき、表情や動作の内容やその度合いを識別する。具体的には、従来のように顔の前面に電極を配置することは表情及び顔の印象を阻害してしまうため、本発明では、顔の側面にある顔面神経頬筋枝上の生体電位信号を取得することで、表情や動作の内容やその度合いを識別する。
【００３６】
なお、このような顔の側方での生体電位信号の計測では、首の動作や咬筋の影響を取り除かなければならないが、本発明では、複数の電極を用いて得られた２チャンネル以上の信号を用いて独立成分分析やニューラルネットワーク等を用いることで、顔の表情や動作（例えば、笑い、恐れ、中立（真顔）、怒り、泣き、あくび等）や、その表情や動作の度合い（例えば、どの程度笑っているか、あくびの口の大きさ等）を判断して提示手段により提示することができる。
【００３７】
また、本発明は、上述した顔の表情や動作を所定期間蓄積しておき、その蓄積データを統計的に利用することにより、例えば本装置の装着者毎に、一日や一週間、一ヶ月等の所定期間内にどの程度笑っているか等、その装着者も意識していない表情の変化を容易且つ正確に取得することができる。
【００３８】
また、本発明では、顔面内部の信号を光や音により対人等に明確に提示させるために、例えば発光素子等による光表示機能やスピーカ等による音出力機能を有することにより、生体電位信号から取得される情報から判断される顔の表情や動作の種類によって、光表示や音出力を行うことで、外見上、顔の表情に変化が見られないような被験者であっても、その表情の内容を明確に把握することができる。
【００３９】
更に、本発明は、例えば本発明を装着型装置として提供することで、装着者及び周囲の人間への即時且つ確実な視覚的・音響的フィードバックが可能となるため、安価な構成でユーザの利便性を向上させた顔面動作推定装置を提供することができる。
【００４０】
以下に、本発明における顔面動作推定装置及び顔面動作推定方法を好適に実施した形態について、図面を用いて説明する。
【００４１】
＜本発明の動作手法＞
まず、本発明における動作手法について説明する。本発明は、複数の電極から得られる生体電位信号からリアルタイムの感情的な表情又は動作を識別して、連続的にその内容を提示するように構成された装着型装置を用いた顔面動作推定手法である。
【００４２】
そのため、本発明では、生体電位信号を取得する電極を、顔面神経頬筋枝上であるこめかみ付近の所定の位置に配置する。なお、電極は、少なくとも左右合計で２チャンネル（１チャンネルは電極２個）以上が取得できるように複数の電極を用いる。なお、取得する信号は、左右２チャンネルで合計４チャンネルが好ましい。これにより、笑いの有無のみならず、笑顔の度合い、怒り顔等の他の表情やあくび等の動作の認識も可能となる。
【００４３】
図１は、電極の配置位置を説明するための図である。図１（ａ）に示すように、装着者１０の顔面内部は、複数の筋肉により表情が形成されており、その中でも特に人間の表情に寄与しているとされる顔輪筋１１、小頬骨筋１２、大頬骨筋１３、及び笑筋１４のうち、１つ以上の筋肉の動きから生じる生体電位信号を取得する。なお、取得される生体電位信号は、２つ以上が好ましい。これにより、１つの筋肉の動きに依存しすぎずに、表情を形成するために必要な複数の筋肉への信号を効率的且つ高い時間精度で取得することができる。
【００４４】
また、本実施形態では、複数の電極の設置する位置は、装着者１０の顔面において、表情生成が可能な限り変位が少ない場所として選定し、且つ表情推定が可能な生体電位信号を取得できる部位として選定する。つまり、本実施形態では、図１（ｂ）に示すように、こめかみ付近の所定領域１５に複数の電極１６を配置する。
【００４５】
生体電位信号は、１対の電極間、すなわち２つの電極で取得した信号間の電位差により取得される。したがって、図１（ｂ）に示ように電極１６−１と１６−２とで１つの生体電位信号取得部（１チャンネル）を構成し、電極１６−３と１６−４とで１つの生体電位信号取得部（１チャンネル）を構成する。なお、本実施形態では、生体電位信号取得部は、左右それぞれに２つずつ、左右両側で合計４チャンネルの生体電位信号を取得する。なお、本発明における電極の設置個数については、これに限定されるわけではない。
【００４６】
上述した図１（ｂ）に示すように、電極１６の位置は、こめかみ付近に設定されることにより、対面している人には、違和感を与えず、電極により装着者１０の表情を阻害することなく、顔輪筋１１、小頬骨筋１２、大頬骨筋１３、及び笑筋１４から皮膚等を通して伝わる波紋状の電極信号の混合信号を取得することができる。
【００４７】
また、本実施形態では、配置した複数の電極から得られる電極の位置と信号の位相差等により、取得した信号が何処の筋肉の信号であるかを特定することができ、直接的にノイズ等の影響を受けずに顔輪筋１１、小頬骨筋１２、大頬骨筋１３、及び笑筋１４による表情を効果的に推定するための混合信号を取得することができる。
【００４８】
なお、本実施形態における生体電位信号のチャンネル取得数は複数であればよく、本発明においては特に制限されるものではないが、多すぎると装着時に顔面に邪魔になるため、２〜８チャンネル程度でよく、特に４チャンネルが好ましい。
【００４９】
また、上述の顔面に邪魔にならない配置を実現するという観点から、１つの電極は、例えば直径が約２〜１０ｍｍ程度が好ましく、対を形成する電極間の距離は、例えば約２０ｍｍ程度が好ましい。また、各電極１６−１〜１６−４は、顔面に対して縦に略直線的に配置されることが好ましいが、本発明においては特に制限されるものではない。
【００５０】
＜顔面動作推定装置の外部形態＞
次に、本実施形態における顔面動作推定装置の外部形態（インターフェース）の例について説明する。図２は、本実施形態における顔面動作推定装置の外部形態の一例を示す図である。ここで、図２（Ａ）は、装着型の顔面動作推定装置２０及び装着者１０による装着の様子を説明するための図であり、図２（Ｂ）は、顔面動作推定装置２０の端部の形成の様子を示す図である。
【００５１】
図２に示す顔面動作推定装置２０は、図２（Ａ）−（ａ）〜（ｃ）に示すように、後頭部側が円弧形状になっており、左右の端部が左右のこめかみ付近に対して上述した電極１６の位置に設置されるように、顔面動作推定装置２０の端部が縦長に形成され、そこに複数の電極１６が対となって設けられている。
【００５２】
つまり、図２（Ａ）−（ａ）、図２（Ｂ）−（ａ）に示すように、こめかみ付近に装着される顔面動作推定装置２０の端部の内側には、上述した電極１６が設けられている。なお、これらの電極は、左右の一方だけでもよく、両方でもよい。左右一方の場合には、例えば、左右のどちらかが麻痺している患者等に対してリハビリを行う場合等にその麻痺している側だけに電極を設置して、片側の信号を受信するような場合に用いることができる。
【００５３】
また、図２（Ａ）−（ａ）、図２（Ｂ）−（ｂ）に示すように、顔面動作推定装置２０の端部の外側には、ＬＥＤ等の複数の発光素子等からなる光提示手段２１と、音声出力機能であるスピーカ等の音提示手段２２とが構成されている。
【００５４】
なお、光提示手段２１は、複数の異なる色或いは同一の色、又はこれらの組合せからなる、ＬＥＤ（図２（Ｂ）−（ｂ）では、ＬＥＤ２１−１，２１−２）を設けることで、例えば、電極１６からの生体電位信号により解析した表情や動作の内容やその度合いに応じて、予め設定された条件に基づいて、点灯させる光の数や位置を変えたり、点滅させたり、点滅される間隔を変えて提示することができる。また、音提示手段２２も同様に、解析した表情や動作の内容やその度合いに応じて音の大きさや音の種類、音声等を変えて出力することができる。
【００５５】
これにより、例えば、顔面機能が低下又は停止した患者や老人等に対して顔面動作推定装置２０を装着することで、電極１６からの生体電位信号を解析して得られた表情や動作の内容やその度合いを光や音に応じて、他の人に容易に伝えることができる。
【００５６】
上述したように、本実施形態における顔面動作推定装置２０は、電極１６の位置を配慮し、更に可能な限り表情を阻害しない形式で装着型を可能とした。
【００５７】
なお、顔面動作推定装置２０を装着する際には、顔の側面との接触面にジェル状の粘着剤等を用いて所定位置に固定されることが好ましい。また、顔面動作推定装置２０は、装着者１０毎の頭部の形が異なるため、可撓性のある材質からなり、例えば樹脂等の材質からなる。また、本実施形態では、頭部の大きさに合わせて円弧部分の長さが調整できるような、一般的な調整機構を設けていてもよい。
【００５８】
＜変形例＞
ここで、図３は、顔面動作推定装置の変形例を説明するための図である。変形例としては、例えば、図３（Ａ）に示すように、顔面動作推定装置３０−１が装着者の耳全体を覆うように耳の凹凸の形状に係合させたり、耳の付け根にフックさせて係止部をフックさせることで固定して装着する。また、顔面動作推定装置３０−１は、固定された状態でこめかみ付近に設置される電極を複数設けており、更にＬＥＤ等の複数の発光素子からなる光提示手段３１−１や、スピーカ等の音提示手段３２−１が顔の正面側（対面者に見えるような位置）に配置される。これにより、対面者や鏡等から提示されている内容を容易に把握することができる。
【００５９】
また、図３（Ｂ）の顔面動作推定装置３０−２も上述した顔面動作推定装置３０−１と同様に耳に係止されており、上述した複数の発光素子からなる光提示手段３１−１や、スピーカ等の音提示手段３２−１が側面に配置されている。また、顔面動作推定装置３０−２は、こめかみ付近に複数の電極１６が設けられ、本実施形態における処理が行われる。これにより、対面していない第三者からも提示された表情の内容を確認することができる。
【００６０】
なお、図３（Ａ），（Ｂ）に示された顔面動作推定装置３０−１，３０−２は、それぞれ組み合わせて光提示手段３１又は音提示手段３２の何れか又は両方を１又は複数個所に設置することができる。また、
また、本実施形態における顔面動作推定装置は、例えば内部に太陽電池や充電型のリチウム電池等が内蔵されており、そこから供給される電力に基づいて各処理が実行される。
【００６１】
＜顔面動作推定装置：機能構成例＞
次に、本実施形態における顔面動作推定装置の機能構成例について図を用いて説明する。図４は、本実施形態における顔面動作推定装置の機能構成の一例を示す図である。なお、以下の説明では、顔面動作推定装置の一例として、図２に示す顔面動作推定装置２０を用いる。
【００６２】
図４に示す顔面動作推定装置２０は、電極信号入力手段４１と、蓄積手段４２と、フィルタ手段４３と、信号処理手段４４と、機械学習解析手段４５と、表情推定手段４６と、提示手段４７と、送受信手段４８と、制御手段４９とを有するよう構成されている。なお、提示手段４７は、具体的には光提示手段４７−１と音提示手段４７−２とを含んでいる。
【００６３】
電極信号入力手段４１は、顔の左右又は一方の側面にある複数の電極から、各電極の信号を受信する。なお、電極とは、例えば電位差検出電極等を示し、上述したようにそれぞれ一対の電極によって構成される。なお、本実施形態における一対の電極のそれぞれには、単数の電極又は複数の電極の両者が含まれる。すなわち、別個独立して設けられた電極であっても電気的に等価に扱うことにより、一対の電極のそれぞれを構成する場合も含まれる。
【００６４】
蓄積手段４２は、電極信号入力手段４１により得られる電極からの信号（生体電位信号）を時間情報と共に蓄積しておき、機械学習解析手段４５等を用いて経時的又は統計的な解析を行うことにより表情や動作のパターンや度合い等を推測して提示する。
【００６５】
なお、蓄積手段４２は、フィルタ手段４３により処理された結果や、信号処理手段３３により信号処理された結果、機械学習解析手段４５により解析された結果、光提示手段４６により提示されている内容、送受信手段４７により通信ネットワークを介して取得される他の外部装置から、本実施形態における実施において必要な各種情報等の蓄積を行う。また、蓄積手段４２は、送受信手段４７により取得される上述した各種情報等も蓄積する。更に、蓄積手段４２は、必要に応じて蓄積されている各種データを読み出すことができる。
【００６６】
フィルタ手段４３は、電極信号入力手段４１や蓄積手段４２から得られる生体電位信号に含まれるノイズ等を除去するため平滑化処理を行う。具体的には、フィルタ手段４３は、取得した生体電位信号を用いてバンドパスフィルタ（ＢＰＦ）や、ノッチフィルタ（ＢＥＦ）等を行い、所定の帯域で信号のフィルタリングを行う。なお、上述した所定の帯域としては、例えば約５〜４００Ｈｚ程度の帯域を利用する。
【００６７】
信号処理手段４４は、フィルタ手段４３から得られる信号に対して独立成分分析（Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｙｓ；ＩＣＡ）を用いて、有意信号を抽出する。つまり、信号処理手段４４は、フィルタ手段４３により得られる信号に対して、予め設定される信号の独立性を仮定することにより分別する。なお、信号処理手段４４における独立成分分析の詳細については後述する。
【００６８】
機械学習解析手段４５は、前記信号処理手段４４により得られる有意信号に基づいて、機械学習を行う。具体的には、機械学習解析手段４５は、機械学習を用いて上述した有意信号を弁別し、目的とする表情推定が可能な信号に変換する。なお、機械学習解析手段４５は、上述した解析を蓄積手段４２により時間情報と共に蓄積される生体電位信号に基づいて統計的に解析を行うことができる。
【００６９】
ここで、機械学習解析手段４５における機械学習の例としては、例えば、ニューロンネットワーク（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＡＮＮ）を用いることができる。なお、本実施形態では、上述したＡＮＮ以外であっても、例えば重回帰分析やサポートベクターマシン等の手法により機械学習を行うことができる。なお、機械学習解析手段４５における詳細な説明は後述する。
【００７０】
表情推定手段４６は、機械学習解析手段４５により得られる表情推定が可能な信号に基づいて装着者１０の表情や動作の推定を行う。
【００７１】
具体的には、表情推定手段４６は、予め設定された信号の振幅や周波数、波形のパターン等に応じて、予め設定された複数の表情や動作、及びそれらの度合いに関する情報のうち、どれに該当するかを選択して推定を行う。なお、本実施形態では、信号の振幅や周波数、波形のパターンと複数の表情や動作、度合いをそれぞれ対応テーブルとして生成して蓄積手段４２等に蓄積しておき、表情推定手段４６がその対応テーブルを用いて対応するデータの内容を容易に推定することができる。
【００７２】
これにより、表情推定手段４６は、例えば、「笑い顔」等、１つの表情に対しても、その度合いを推定することができ、詳細な表情認識を実現することができる。
【００７３】
更に、表情推定手段４６は、装着者毎に最初に顔面動作推定装置２０を装着してもらった後に、所定時間（例えば、２〜４秒程度）で笑顔や怒っている顔等の各種表情やあくび等の動作を意図的に行ってもらい、そのときに得られる各電極１６からの生体電位信号を用いて上述のテーブル（基本データ）を更新することもできる。これにより、装着者毎に笑い方が異なる場合でも高精度に表情認識を行うことができる。なお、本実施形態においては、上述した内容の他に、例えば口腔内の咀嚼運動の認識等についても、上述した手法と同様な手法を用いて認識処理を行うことができる。
【００７４】
提示手段４７は、表情推定手段４６により得られる表情推定結果に基づいて、所定の提示を行う。具体的には、提示手段４７は、表情推定結果に基づいて光提示手段４７−１により、光により外部に提示を行う。なお、光提示手段４７−１としては、例えば、同色又は異色の複数のＬＥＤのうち、表情推定手段４６により推定された表情に対応する色、又は、複数のＬＥＤのうち、１又は複数のＬＥＤを表示させたり、所定時間間隔で点滅させる等といった処理を行う。また、光提示手段４７−１は、表情や動作、及びその度合いに応じて点滅間隔を早くしたり、遅くしたりすることもできる。
【００７５】
これにより、例えば、大声で大きく口を上げて笑っている場合には、早く点滅させ、微笑む程度であれば、点灯させる等といった提示も行うことができる。
【００７６】
更に、提示手段４７は、表情推定結果に基づいて、音提示手段４７−１により推定された表情に対応する音を提示することができる。なお、この音は、人の声でもよい。つまり、笑っている場合には、笑い声が音声出力されたりすることもでき、また度合いに応じて笑い声の大きさも変更することができ、音の種類も予め設定された音声データにより「うふふ・・・」や「アハハ・・・」等を度合いに対応させて出力することができる。また、提示手段４７は、光と音声の両方を組み合わせて同時に提示されることもできる。
【００７７】
送受信手段４８は、有線又は無線を用いて蓄積手段４２により蓄積されたデータを通信ネットワーク等により接続された外部装置等に送信したり、本実施形態における必要な各種データを入力したり、各種実行結果を外部装置に出力することができる。
【００７８】
制御手段４９は、顔面動作推定装置２０の各構成部全体の制御を行う。具体的には、制御手段４９は、例えば本実施形態における顔面動作提示を実現するために、電極信号入力処理や、フィルタ処理、信号処理、機械学習解析処理、表情推定処理、提示処理、送受信処理等の各制御を行う。
【００７９】
＜信号処理手段４４における処理内容＞
次に、上述した信号処理手段４４における具体的な処理内容について説明する。図５は、顔面動作推定装置における信号処理の概要を説明するための図である。図５に示すように、顔面動作推定装置２０は、装着者１０の顔の側面に設置された電極１６から生体電位信号（ＢＥＳ）を取得し、取得した信号に対してフィルタ手段４３による信号の平滑化処理（フィルタリング）を行い、信号処理手段４４によって処理を行い、その内容を提示手段４７で予め設定された手法に基づいて光信号や音信号により提示することになる。
【００８０】
図６は、信号処理モジュールの一例を示す図である。図６では、顔の表情を分類するために、顔の側面に設置された複数の電極から生体電位信号（ＢＥＳ）を取得する。その複数の電極から取得される複数の信号（Ｍｉｘｅｄ Ｓｉｇｎａｌ）から信号処理手段４４としての独立成分分析（ＩＣＡ）を使用して独立成分の分析を行う。
【００８１】
なお、独立成分分析を行った後、例えば、図６に示すようにフィルタ手段４３を用いてニューロンネットワーク（ＡＮＮ）における処理が高精度に行われるように入力信号に対して平滑化処理（フィルタリング）を行う。つまり、フィルタ手段４３は、独立成分（ＩＣ）を分離するために使用される。
【００８２】
また、独立成分分析された結果は、適切な時間窓（例えば、約５０〜２００ｍｓ程度）を経て図６に示すように機械学習解析手段４５であるＡＮＮによって学習され、更に表情や動作の内容（Ｐａｔｔｅｒｎ）や度合いに分類されて出力される。
【００８３】
つまり、本実施形態においては、生体電位信号（ＢＥＳ）は、ろ過された顔の側面に複数の電極を使用して得られ、上述した信号処理モジュールによって表情推定が実行される。
【００８４】
＜独立成分分析の内容について＞
次に、上述した独立成分分析（ＩＣＡ）の内容について説明する。図７は、ＩＣＡのブロックダイアグラムの一例を示す図である。図７に示すように、例えば、未知の環境（Ｕｎｋｎｏｗｎ ｅｎｖｉｒｏｎｍｅｎｔ）で得られる値ｓ１（ｔ），ｓ２（ｔ），・・・，ｓｍ（ｔ）については、線形混合変換手段（Ｌｉｎｅａｒ ｍｉｘｅｒ）Ａにより、サンプルデータｘ１（ｔ），ｘ２（ｔ），・・・，ｘｍ（ｔ）が生成され、更に、生成されたサンプルデータＸに対応する線形混合逆変換手段（Ｌｉｎｅａｒ ｄｅｍｉｘｅｒ）Ｗが生成されて独立成分（ＩＣ）であるｙ１（ｔ）， ｙ２（ｔ），・・・， ｙｍ（ｔ）が生成される。
【００８５】
＜表情推定における基本データ生成例＞
ここで、本実施形態では、上述したように装着者毎に最初に顔面動作推定装置２０を装着してもらった後に、所定時間（例えば、２〜４秒程度）で笑顔や怒っている顔等の各種表情やあくび等の動作を意図的に行ってもらい、そのときに得られる各電極１６からの生体電位信号を用いて基本データを生成することもできる。
【００８６】
図８は、本実施形態における表情推定における基本データの生成例を示す図である。なお、図８では、表情推定の一例として、本実施形態におけるリアルタイムに微笑みを検知する手法について説明する。
【００８７】
リアルタイムな微笑み検知は、ＩＣＡ及び学習されたＡＮＮを使用し、且つ、顔面動作推定装置２０に表示される機能が実装されている。
【００８８】
なお、顔面動作推定装置２０は、予め設定された顔の側面の所定領域から生体電位信号として例えば筋電位信号（ＥＭＧ）をサンプリングし、それらを所定のブロックとして分析する。なお、サンプリングは、例えば、０．５秒毎等に行うのが適切であるが、本発明においては、これに限定されるものではない。
【００８９】
また、本実施形態における即時性（リアルタイム）の認識については、それが最初にＩＣＡマトリックスの生成及びＡＮＮの学習をしておくことで、顔面動作推定装置における推定を装着者毎の表情や動作の違いに関係なく行うことができる。
【００９０】
ここで、顔面動作推定装置２０に入力されるトレーニング信号は、例えば、所定の表現「中立（ニュートラル）」、「噛む」、「噛んで微笑む」、「微笑む」等を行うことができる。
【００９１】
本実施形態では、これらのデータを生成しておくことで、リアルタイムで正確な感情ディスプレイ装置としての顔面動作推定装置２０を提供することができる。なお、顔の表現や動作は、上述に限定されるものではなく、例えば「眉をひそめる」や「眉をしかめる」、「怒る」、「あくび」、更に「口腔内の咀嚼運動の認識」等も含めることができ、例えばトレーニングセットの一部を利用することもできる。
【００９２】
＜実験結果について＞
次に、本実施形態を適用した実験結果について説明する。図９〜図１１は、本実施形態を適用した実験結果の一例を示す図（その１）〜（その３）である。
【００９３】
本実験では、２つの主題上の顔の側面から電極を用いて生体電位信号を取得する。ここで、実験の中で使用される信号のサンプリング周波数は、約１０２４Ｈｚであるが、本実施形態では約８００〜１２００Ｈｚであればよい。また、本実験では、合計１６秒（４種類の表情があるとして各表情が約４秒）がトレーニング及びＡＮＮの両方をテストするために使用される。また、表情推定のためにトレーニングされる表情は、例えば、「中立（ナチュラル）」、「噛む」、「噛み微笑む」、又は「微笑む」とした。
【００９４】
まず、図９では、「笑い」表情に対する実験結果を示している。自身のトレーニングデータセット（Ｔｒａｉｎｉｎｇ ｓｅｔ）、テストデータセット（Ｔｅｓｔ ｓｅｔ）（トレーニング時に利用したデータを除いたデータ）を利用した場合の認識率を、例えば被験者１（Ｓｕｂｊｅｃｔ１）、被験者２（Ｓｕｂｊｅｃｔ２）のそれぞれに示したものである。本実施形態を提供すれば、表情の認識率を高い水準で取得することができることがわかる。
【００９５】
また、図１０は、「笑い」「怒り」「中立」の３表情について、上述した図９と同様にトレーニングデータセット、テストデータセットに対する認識結果の合計を示している。これらの３表情についても図９と略同様の結果が得られた。
【００９６】
なお、被験者１で学習したデータを被験者２に適用した場合、またその逆の認識率が図９の右側に示した２つのグラフ（Ｓ．１ Ｔｒａｉｎｅｄ ＡＮＮ ＆ Ｓ．２ Ｔｅｓｔ ｓｅｔ、Ｓ．２ Ｔｒａｉｎｅｄ ＡＮＮ ＆ Ｓ．１ Ｔｅｓｔ ｓｅｔ）であり、何れも低い認識率になることを示している。つまり、図９に示すように、表情の認識において、事前に必要な機械学習は、上述した本人が実際に使用する装着型の顔面動作推定装置を用いてキャリブレーションを行うことが必要であり、本実施形態における顔面動作推定装置は、機械学習の容易に行うことができるため利便性もよく、顔の表情認識等には最適なデバイスであるということができる。
【００９７】
ここで、本実施形態では、ニューロンネットワーク（ＡＮＮ）のトレーニング後の推定精度を改善させるため、顔の生体電位信号に対する独立成分分析（ＩＣＡ）が実装される。
【００９８】
まず、ニューロンネットワーク（ＡＮＮ）に対し、テストデータセットとして４つの生体電位信号を直接与えて、表情を推定すると、正解率はわずか７６．５２％であった。そこで、本実施形態における成分分析（ＩＣ）を用いて表情推定を行った結果、テストセット中のニューロンネットワーク（ＡＮＮ）によって平均の中で９６．９５％の高精度な分類結果を得ることができた。
【００９９】
更に、生体電位信号である筋電位信号（ＥＭＧ）の個人毎の性質及び独立成分分析（ＩＣＡ）を調査するために、別のデータで訓練されたニューロンネットワーク（ＡＮＮ）に対して上述した実験を行ったが、生体電位信号を分類することはできたが、別のデータにおける表情の分類は非常によくなかった。
【０１００】
更に、例えば、「眉をしかめる（Ｆｒｏｗｎ）」と「微笑む（Ｓｍｉｌｅ）」、及び「そのどちらでもない（Ｎｅｉｔｈｅｒ）」の間で表情推定する場合にも図１０に示すような結果が得られた。
また、本実施形態では、表情の分類のために分離することができた独立成分（独立したコンポーネント）の異なる数に関して、１つのサブジェクトに対して正確な分類の平均比率（％）を取得することができる。
【０１０１】
ここで、図１１に示すように、実験結果によれば、使用される独立成分（ＩＣ）の数が増える程、正確なデータが取得できる確率を増加させることができる。つまり、本実施形態によれば、ＩＣの数を増加させることによって、分類の正確さを増加させることができる。なお、図１１によれば、１つの場合はＩＣの精度が低く、４つの場合は非常に正確な分類が得られた。したがって、本実施形態では、装着者の顔の側面に快適に付けることができる４つの電極ペアを使用して、高精度に表情推定を行うことができる。
【０１０２】
また、本実施形態によれば、噛むことにより生じる顎の筋肉によって作成されたノイズ等もあるが、その中で顔の生体信号を、ＡＮＮによい入力ベクトルを供給することで、上述したＩＣＡ手法により正確は結果を得ることができる。
【０１０３】
また、本実施形態では、筋肉に属する信号を識別する代わりに顔の表情のパターンに基づいた識別のためのＡＮＮを使用することで顔の表現分析への新しいアプローチ手法を提供する。
【０１０４】
更に、表情を推定するために用いられるＡＮＮは、入力されるチャンネルの順番やそれらの振幅に関係なく、不確実性に関する独立成分分析（ＩＣＡ）における弱さを克服することができる。
【０１０５】
上述したように本発明によれば、顔面の動作を容易に知覚できるようにすることができる。具体的には、本発明は、生体電位信号を使用して、顔の表情や動作、及びその度合いについて独立成分分析やニューラルネットワーク（ＡＮＮ）を用いて分析することが可能であることが示された。
【０１０６】
また、微笑み等の表情を形成する筋肉の上に直接電極を配置するのではなく、顔面神経頬筋枝上に配置し、そこから得られる信号からの微笑み等の表情を検知することが可能であることはさらに示された。また、電極は、顔の側面に置かれた少数の電極により達成することができる。
【０１０７】
また、本発明によれば、顔の表情のパターンに基づいた識別が可能となり、ニューラルネットワークのような適応性のあるメカニズムを用いて表情の推定が高精度に行うことができる。
【０１０８】
更に、本発明を適用することで、例えば、装着型の笑顔測定器による長時間測定を実現することができ、また、笑顔のトレーニング等、バイオフィードバックへの応用や、笑顔での実演が必要な舞踊等の身体を用いて表現する芸術において、その身体活動をリアルタイムにフィードバック制御を行う技術を提供することができ、スポーツ科学やエクササイズ等、身体運動計測に係る光提示、エンタテイメント等の人支援技術に適用するこができる。
【０１０９】
更に、表情認識が困難な人への代替提示手段の実現、及び、ダンス・バレエ等身体動作の訓練機器、及びエクササイズ、運動支援への応用、小型且つ形態可能な新しい装着型表情推定装置への応用、筋活動の提示等による福祉機器やリハビリテーション機器としても利用することができる。
【０１１０】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【０１１１】
１０ 装着者
１１ 顔輪筋
１２ 小頬骨筋
１３ 大頬骨筋
１４ 笑筋
１５ 所定領域
１６ 電極
２０，３０ 顔面動作推定装置
２１，３１ 光提示手段
２２，３２ 音提示手段
４１ 電極信号入力手段
４２ 蓄積手段
４３ フィルタ手段
４４ 信号処理手段
４５ 機械学習解析手段
４６ 表情推定手段
４７ 提示手段
４８ 送受信手段
４９ 制御手段
【技術分野】
【０００１】
本発明は、顔面動作推定装置及び顔面動作推定方法に係り、特に顔面の動作を容易に知覚できるようにするための顔面動作推定装置及び顔面動作推定方法に関する。
【背景技術】
【０００２】
従来、対話等における顔の表情は、対人に付加的情報を与えており、その人の感情を取得する１つの目安として人間関係において重要な役割を果たしている。
【０００３】
そこで、例えば、カメラ等により撮影された人物の表情認識に関する技術が存在しており、顔の所定部位に設置された電極等から得られる生体電位信号（筋電）に基づいて表情を認識する技術についても開示されている（例えば、特許文献１、２等。）。
【０００４】
例えば、特許文献１では、ユーザの生体情報や運動情報を検出し、検出した生体情報及び運動情報に基づいてユーザ状況を判定して、それに応じた表示キャラクタの表情又は動作を決定する技術について示されている。
【０００５】
また、特許文献２では、笑筋及び頬骨筋の何れかの端部に電極を配置し、これにより検出された笑筋及び頬骨筋の２０〜１００Ｈｚの周波数分布の筋電に基づいて、その人物が笑っているか否かの笑いの有無を検出する技術について示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−３９１５７号公報
【特許文献２】特開２００６−３４０９８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、カメラ等で撮影された画像から人物の表情を推定する場合には、少なくとも画面上に正面顔が映し出されていなければならず、例えば顔が俯いた場合やカメラに対して後を向いた場合には、その表情や動作を測定することができない。
【０００８】
また、例えば、笑った顔の表情を検知するために電極を用いて生体電位信号を測定する際、従来では、顔面内部にある笑筋の上に電極を配置して笑筋の動きにより生じる生体電位信号を取得しているが、このような配置を行うと顔の前面に配置することになるため、外見上に大きな違和感があり、また表情そのものを阻害してしまうため、好ましいものとはいえない。
【０００９】
また、例えば、特許文献２に示すようにヘッドホン等を用いて耳介部からの生体電位信号を取得する場合には、筋肉部からの距離があるため、ノイズ等や皮膚を伝搬する際の減衰等があるため、笑顔の度合い等を正確に推測することができない。
【００１０】
更に、従来では、例えば顔面麻痺等により表情がうまく作れない人物等に対して、生体電位信号により得られる顔面内部の信号を、筋肉の動きではなく、光や音により対人等に明確に提示させることで他人が容易に視認することができる装着型の装置については存在していなかった。
【００１１】
本発明は、上述した課題に鑑みてなされたものであって、顔面の動作を容易に知覚できるようにするための顔面動作推定装置及び顔面動作推定方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１３】
請求項１に記載された発明は、顔の所定領域から得られる生体電位信号に基づいて顔の動作を推定する顔面動作推定装置において、前記顔の所定領域に対する前記生体電位信号を取得するための複数の電極と、前記複数の電極から得られるそれぞれの信号を所定の帯域でフィルタリングするフィルタ手段と、前記フィルタ手段により得られる信号に対して予め設定される信号の独立性を仮定することにより分別する信号処理手段と、前記信号処理手段により得られる信号に対して機械学習により信号解析を行う機械学習解析手段と、前記機械学習解析手段により得られる解析結果から、顔の表情及び度合いを推定する表情推定手段と、前記顔の表情及び度合いに対応させて予め設定された提示を行う提示手段とを有することを特徴とする。
【００１４】
請求項１記載の発明によれば、顔面の動作を容易に定量化できると共に知覚できるようにすることができる。
【００１５】
請求項２に記載された発明は、前記顔の所定領域は、前記装着者の顔輪筋、小頬骨筋、大頬骨筋、笑筋のうち、少なくとも２つの筋肉に対する生体電位信号が取得できる領域であることを特徴とする。
【００１６】
請求項２記載の発明によれば、１つの筋肉の動きに依存しすぎずに、表情を形成するために必要な複数の筋肉への信号を効率的且つ高い時間精度で取得することができる。
【００１７】
請求項３に記載された発明は、前記信号処理手段は、前記複数の電極から得られる複数の生体電位信号の組み合わせから独立成分を抽出することを特徴とする。
【００１８】
請求項３記載の発明によれば、どの部位から取得した生体電位信号であるか否かの判断を必要とせず、複数の電極から取得した複数の生体電位信号のみに着目して独立成分を抽出することができる。
【００１９】
請求項４に記載された発明は、前記機械学習解析手段は、前記複数の電極から得られる少なくとも２つの信号からなる混合信号の入力に対す顔の表情の種類及び度合いを出力とする予め設定されたニューロンネットワークを用いて解析を行うことを特徴とする。
【００２０】
請求項４記載の発明によれば、機械学習としてニューラルネットワークを用いることで、顔の表情が異なるどのユーザに対しても制限なく顔面動作推定装置を利用することができる。
【００２１】
請求項５に記載された発明は、前記提示手段は、複数の光又は音により提示を行い、前記顔の表情及び度合いに応じて前記複数の光又は音を変更して提示することを特徴とする。
【００２２】
請求項５記載の発明によれば、光又は音により装着者又は対面者及び周囲の者等は、容易に表情を把握することができる。これにより、無意識のうちに行われる表情の変化を正確に把握することができる。更に、表情の種類及び度合いに応じて光や音を変更するため、詳細な表情の変化を高精度に確認することができる。
【００２３】
請求項６に記載された発明は、顔の所定領域から得られる生体電位信号に基づいて顔の動作を推定する顔面動作推定方法において、複数の電極を用いて前記顔の所定領域に対する前記生体電位信号を取得するための信号取得段階と、前記信号取得段階により得られる前記複数の電極からのそれぞれの信号を所定の帯域でフィルタリングするフィルタ段階と、前記フィルタ段階により得られる信号に対して予め設定される信号の独立性を仮定することにより分別する信号処理段階と、前記信号処理段階により得られる信号に対して機械学習により信号解析を行う機械学習解析段階と、前記機械学習解析段階により得られる解析結果から、顔の表情及び度合いを推定する表情推定段階と、前記顔の表情及び度合いに対応させて予め設定された提示手段により提示させる提示段階とを有することを特徴とする。
【００２４】
請求項６記載の発明によれば、顔面の動作を容易に定量化できると共に知覚できるようにすることができる。
【００２５】
請求項７に記載された発明は、前記顔の所定領域は、前記装着者の顔輪筋、小頬骨筋、大頬骨筋、笑筋のうち、少なくとも２つの筋肉に対する生体電位信号が取得できる領域であることを特徴とする。
【００２６】
請求項７記載の発明によれば、１つの筋肉の動きに依存しすぎずに、表情を形成するために必要な複数の筋肉への信号を効率的且つ高い時間精度で取得することができる。
【００２７】
請求項８に記載された発明は、前記信号処理段階は、前記複数の電極から得られる複数の生体電位信号の組み合わせから独立成分を抽出することを特徴とする。
【００２８】
請求項８記載の発明によれば、どの部位から取得した生体電位信号であるか否かの判断を必要とせず、複数の電極から取得した複数の生体電位信号のみに着目して独立成分を抽出することができる。
【００２９】
請求項９に記載された発明は、前記機械学習解析段階は、前記複数の電極から得られる少なくとも２つの信号からなる混合信号の入力に対す顔の表情の種類及び度合いを出力とする予め設定されたニューロンネットワークを用いて解析を行うことを特徴とする。
【００３０】
請求項９記載の発明によれば、機械学習としてニューラルネットワークを用いることで、顔の表情が異なるどのユーザに対しても制限なく利用することができる。
【００３１】
請求項１０に記載された発明は、前記提示段階は、前記提示手段を用いて複数の光又は音により提示を行い、前記顔の表情及び度合いに応じて前記複数の光又は音を変更して提示することを特徴とする。
【００３２】
請求項１０記載の発明によれば、光又は音により装着者又は対面者及び周囲の者等は、容易に表情を把握することができる。これにより、無意識のうちに行われる表情の変化を正確に把握することができる。更に、表情の種類及び度合いに応じて光や音を変更するため、詳細な表情の変化を高精度に確認することができる。
【発明の効果】
【００３３】
本発明によれば、顔面の動作を容易に知覚できるようにすることができる。
【図面の簡単な説明】
【００３４】
【図１】電極の配置位置を説明するための図である。
【図２】本実施形態における顔面動作推定装置の外部形態の一例を示す図である。
【図３】顔面動作推定装置の変形例を説明するための図である。
【図４】本実施形態における顔面動作推定装置の機能構成の一例を示す図である。
【図５】顔面動作推定装置における信号処理の概要を説明するための図である。
【図６】信号処理モジュールの一例を示す図である。
【図７】ＩＣＡのブロックダイアグラムの一例を示す図である。
【図８】本実施形態における表情推定における基本データの生成例を示す図である。
【図９】本実施形態を適用した実験結果の一例を示す図（その１）である。
【図１０】本実施形態を適用した実験結果の一例を示す図（その２）である。
【図１１】本実施形態を適用した実験結果の一例を示す図（その３）である。
【発明を実施するための形態】
【００３５】
＜本発明について＞
本発明は、表情筋の運動に関わる生体電位信号（Ｂｉｏ Ｅｌｅｃｔｒｉｃａｌ Ｓｉｇｎａｌｓ；ＢＥＳ）に基づき、表情や動作の内容やその度合いを識別する。具体的には、従来のように顔の前面に電極を配置することは表情及び顔の印象を阻害してしまうため、本発明では、顔の側面にある顔面神経頬筋枝上の生体電位信号を取得することで、表情や動作の内容やその度合いを識別する。
【００３６】
なお、このような顔の側方での生体電位信号の計測では、首の動作や咬筋の影響を取り除かなければならないが、本発明では、複数の電極を用いて得られた２チャンネル以上の信号を用いて独立成分分析やニューラルネットワーク等を用いることで、顔の表情や動作（例えば、笑い、恐れ、中立（真顔）、怒り、泣き、あくび等）や、その表情や動作の度合い（例えば、どの程度笑っているか、あくびの口の大きさ等）を判断して提示手段により提示することができる。
【００３７】
また、本発明は、上述した顔の表情や動作を所定期間蓄積しておき、その蓄積データを統計的に利用することにより、例えば本装置の装着者毎に、一日や一週間、一ヶ月等の所定期間内にどの程度笑っているか等、その装着者も意識していない表情の変化を容易且つ正確に取得することができる。
【００３８】
また、本発明では、顔面内部の信号を光や音により対人等に明確に提示させるために、例えば発光素子等による光表示機能やスピーカ等による音出力機能を有することにより、生体電位信号から取得される情報から判断される顔の表情や動作の種類によって、光表示や音出力を行うことで、外見上、顔の表情に変化が見られないような被験者であっても、その表情の内容を明確に把握することができる。
【００３９】
更に、本発明は、例えば本発明を装着型装置として提供することで、装着者及び周囲の人間への即時且つ確実な視覚的・音響的フィードバックが可能となるため、安価な構成でユーザの利便性を向上させた顔面動作推定装置を提供することができる。
【００４０】
以下に、本発明における顔面動作推定装置及び顔面動作推定方法を好適に実施した形態について、図面を用いて説明する。
【００４１】
＜本発明の動作手法＞
まず、本発明における動作手法について説明する。本発明は、複数の電極から得られる生体電位信号からリアルタイムの感情的な表情又は動作を識別して、連続的にその内容を提示するように構成された装着型装置を用いた顔面動作推定手法である。
【００４２】
そのため、本発明では、生体電位信号を取得する電極を、顔面神経頬筋枝上であるこめかみ付近の所定の位置に配置する。なお、電極は、少なくとも左右合計で２チャンネル（１チャンネルは電極２個）以上が取得できるように複数の電極を用いる。なお、取得する信号は、左右２チャンネルで合計４チャンネルが好ましい。これにより、笑いの有無のみならず、笑顔の度合い、怒り顔等の他の表情やあくび等の動作の認識も可能となる。
【００４３】
図１は、電極の配置位置を説明するための図である。図１（ａ）に示すように、装着者１０の顔面内部は、複数の筋肉により表情が形成されており、その中でも特に人間の表情に寄与しているとされる顔輪筋１１、小頬骨筋１２、大頬骨筋１３、及び笑筋１４のうち、１つ以上の筋肉の動きから生じる生体電位信号を取得する。なお、取得される生体電位信号は、２つ以上が好ましい。これにより、１つの筋肉の動きに依存しすぎずに、表情を形成するために必要な複数の筋肉への信号を効率的且つ高い時間精度で取得することができる。
【００４４】
また、本実施形態では、複数の電極の設置する位置は、装着者１０の顔面において、表情生成が可能な限り変位が少ない場所として選定し、且つ表情推定が可能な生体電位信号を取得できる部位として選定する。つまり、本実施形態では、図１（ｂ）に示すように、こめかみ付近の所定領域１５に複数の電極１６を配置する。
【００４５】
生体電位信号は、１対の電極間、すなわち２つの電極で取得した信号間の電位差により取得される。したがって、図１（ｂ）に示ように電極１６−１と１６−２とで１つの生体電位信号取得部（１チャンネル）を構成し、電極１６−３と１６−４とで１つの生体電位信号取得部（１チャンネル）を構成する。なお、本実施形態では、生体電位信号取得部は、左右それぞれに２つずつ、左右両側で合計４チャンネルの生体電位信号を取得する。なお、本発明における電極の設置個数については、これに限定されるわけではない。
【００４６】
上述した図１（ｂ）に示すように、電極１６の位置は、こめかみ付近に設定されることにより、対面している人には、違和感を与えず、電極により装着者１０の表情を阻害することなく、顔輪筋１１、小頬骨筋１２、大頬骨筋１３、及び笑筋１４から皮膚等を通して伝わる波紋状の電極信号の混合信号を取得することができる。
【００４７】
また、本実施形態では、配置した複数の電極から得られる電極の位置と信号の位相差等により、取得した信号が何処の筋肉の信号であるかを特定することができ、直接的にノイズ等の影響を受けずに顔輪筋１１、小頬骨筋１２、大頬骨筋１３、及び笑筋１４による表情を効果的に推定するための混合信号を取得することができる。
【００４８】
なお、本実施形態における生体電位信号のチャンネル取得数は複数であればよく、本発明においては特に制限されるものではないが、多すぎると装着時に顔面に邪魔になるため、２〜８チャンネル程度でよく、特に４チャンネルが好ましい。
【００４９】
また、上述の顔面に邪魔にならない配置を実現するという観点から、１つの電極は、例えば直径が約２〜１０ｍｍ程度が好ましく、対を形成する電極間の距離は、例えば約２０ｍｍ程度が好ましい。また、各電極１６−１〜１６−４は、顔面に対して縦に略直線的に配置されることが好ましいが、本発明においては特に制限されるものではない。
【００５０】
＜顔面動作推定装置の外部形態＞
次に、本実施形態における顔面動作推定装置の外部形態（インターフェース）の例について説明する。図２は、本実施形態における顔面動作推定装置の外部形態の一例を示す図である。ここで、図２（Ａ）は、装着型の顔面動作推定装置２０及び装着者１０による装着の様子を説明するための図であり、図２（Ｂ）は、顔面動作推定装置２０の端部の形成の様子を示す図である。
【００５１】
図２に示す顔面動作推定装置２０は、図２（Ａ）−（ａ）〜（ｃ）に示すように、後頭部側が円弧形状になっており、左右の端部が左右のこめかみ付近に対して上述した電極１６の位置に設置されるように、顔面動作推定装置２０の端部が縦長に形成され、そこに複数の電極１６が対となって設けられている。
【００５２】
つまり、図２（Ａ）−（ａ）、図２（Ｂ）−（ａ）に示すように、こめかみ付近に装着される顔面動作推定装置２０の端部の内側には、上述した電極１６が設けられている。なお、これらの電極は、左右の一方だけでもよく、両方でもよい。左右一方の場合には、例えば、左右のどちらかが麻痺している患者等に対してリハビリを行う場合等にその麻痺している側だけに電極を設置して、片側の信号を受信するような場合に用いることができる。
【００５３】
また、図２（Ａ）−（ａ）、図２（Ｂ）−（ｂ）に示すように、顔面動作推定装置２０の端部の外側には、ＬＥＤ等の複数の発光素子等からなる光提示手段２１と、音声出力機能であるスピーカ等の音提示手段２２とが構成されている。
【００５４】
なお、光提示手段２１は、複数の異なる色或いは同一の色、又はこれらの組合せからなる、ＬＥＤ（図２（Ｂ）−（ｂ）では、ＬＥＤ２１−１，２１−２）を設けることで、例えば、電極１６からの生体電位信号により解析した表情や動作の内容やその度合いに応じて、予め設定された条件に基づいて、点灯させる光の数や位置を変えたり、点滅させたり、点滅される間隔を変えて提示することができる。また、音提示手段２２も同様に、解析した表情や動作の内容やその度合いに応じて音の大きさや音の種類、音声等を変えて出力することができる。
【００５５】
これにより、例えば、顔面機能が低下又は停止した患者や老人等に対して顔面動作推定装置２０を装着することで、電極１６からの生体電位信号を解析して得られた表情や動作の内容やその度合いを光や音に応じて、他の人に容易に伝えることができる。
【００５６】
上述したように、本実施形態における顔面動作推定装置２０は、電極１６の位置を配慮し、更に可能な限り表情を阻害しない形式で装着型を可能とした。
【００５７】
なお、顔面動作推定装置２０を装着する際には、顔の側面との接触面にジェル状の粘着剤等を用いて所定位置に固定されることが好ましい。また、顔面動作推定装置２０は、装着者１０毎の頭部の形が異なるため、可撓性のある材質からなり、例えば樹脂等の材質からなる。また、本実施形態では、頭部の大きさに合わせて円弧部分の長さが調整できるような、一般的な調整機構を設けていてもよい。
【００５８】
＜変形例＞
ここで、図３は、顔面動作推定装置の変形例を説明するための図である。変形例としては、例えば、図３（Ａ）に示すように、顔面動作推定装置３０−１が装着者の耳全体を覆うように耳の凹凸の形状に係合させたり、耳の付け根にフックさせて係止部をフックさせることで固定して装着する。また、顔面動作推定装置３０−１は、固定された状態でこめかみ付近に設置される電極を複数設けており、更にＬＥＤ等の複数の発光素子からなる光提示手段３１−１や、スピーカ等の音提示手段３２−１が顔の正面側（対面者に見えるような位置）に配置される。これにより、対面者や鏡等から提示されている内容を容易に把握することができる。
【００５９】
また、図３（Ｂ）の顔面動作推定装置３０−２も上述した顔面動作推定装置３０−１と同様に耳に係止されており、上述した複数の発光素子からなる光提示手段３１−１や、スピーカ等の音提示手段３２−１が側面に配置されている。また、顔面動作推定装置３０−２は、こめかみ付近に複数の電極１６が設けられ、本実施形態における処理が行われる。これにより、対面していない第三者からも提示された表情の内容を確認することができる。
【００６０】
なお、図３（Ａ），（Ｂ）に示された顔面動作推定装置３０−１，３０−２は、それぞれ組み合わせて光提示手段３１又は音提示手段３２の何れか又は両方を１又は複数個所に設置することができる。また、
また、本実施形態における顔面動作推定装置は、例えば内部に太陽電池や充電型のリチウム電池等が内蔵されており、そこから供給される電力に基づいて各処理が実行される。
【００６１】
＜顔面動作推定装置：機能構成例＞
次に、本実施形態における顔面動作推定装置の機能構成例について図を用いて説明する。図４は、本実施形態における顔面動作推定装置の機能構成の一例を示す図である。なお、以下の説明では、顔面動作推定装置の一例として、図２に示す顔面動作推定装置２０を用いる。
【００６２】
図４に示す顔面動作推定装置２０は、電極信号入力手段４１と、蓄積手段４２と、フィルタ手段４３と、信号処理手段４４と、機械学習解析手段４５と、表情推定手段４６と、提示手段４７と、送受信手段４８と、制御手段４９とを有するよう構成されている。なお、提示手段４７は、具体的には光提示手段４７−１と音提示手段４７−２とを含んでいる。
【００６３】
電極信号入力手段４１は、顔の左右又は一方の側面にある複数の電極から、各電極の信号を受信する。なお、電極とは、例えば電位差検出電極等を示し、上述したようにそれぞれ一対の電極によって構成される。なお、本実施形態における一対の電極のそれぞれには、単数の電極又は複数の電極の両者が含まれる。すなわち、別個独立して設けられた電極であっても電気的に等価に扱うことにより、一対の電極のそれぞれを構成する場合も含まれる。
【００６４】
蓄積手段４２は、電極信号入力手段４１により得られる電極からの信号（生体電位信号）を時間情報と共に蓄積しておき、機械学習解析手段４５等を用いて経時的又は統計的な解析を行うことにより表情や動作のパターンや度合い等を推測して提示する。
【００６５】
なお、蓄積手段４２は、フィルタ手段４３により処理された結果や、信号処理手段３３により信号処理された結果、機械学習解析手段４５により解析された結果、光提示手段４６により提示されている内容、送受信手段４７により通信ネットワークを介して取得される他の外部装置から、本実施形態における実施において必要な各種情報等の蓄積を行う。また、蓄積手段４２は、送受信手段４７により取得される上述した各種情報等も蓄積する。更に、蓄積手段４２は、必要に応じて蓄積されている各種データを読み出すことができる。
【００６６】
フィルタ手段４３は、電極信号入力手段４１や蓄積手段４２から得られる生体電位信号に含まれるノイズ等を除去するため平滑化処理を行う。具体的には、フィルタ手段４３は、取得した生体電位信号を用いてバンドパスフィルタ（ＢＰＦ）や、ノッチフィルタ（ＢＥＦ）等を行い、所定の帯域で信号のフィルタリングを行う。なお、上述した所定の帯域としては、例えば約５〜４００Ｈｚ程度の帯域を利用する。
【００６７】
信号処理手段４４は、フィルタ手段４３から得られる信号に対して独立成分分析（Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｙｓ；ＩＣＡ）を用いて、有意信号を抽出する。つまり、信号処理手段４４は、フィルタ手段４３により得られる信号に対して、予め設定される信号の独立性を仮定することにより分別する。なお、信号処理手段４４における独立成分分析の詳細については後述する。
【００６８】
機械学習解析手段４５は、前記信号処理手段４４により得られる有意信号に基づいて、機械学習を行う。具体的には、機械学習解析手段４５は、機械学習を用いて上述した有意信号を弁別し、目的とする表情推定が可能な信号に変換する。なお、機械学習解析手段４５は、上述した解析を蓄積手段４２により時間情報と共に蓄積される生体電位信号に基づいて統計的に解析を行うことができる。
【００６９】
ここで、機械学習解析手段４５における機械学習の例としては、例えば、ニューロンネットワーク（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＡＮＮ）を用いることができる。なお、本実施形態では、上述したＡＮＮ以外であっても、例えば重回帰分析やサポートベクターマシン等の手法により機械学習を行うことができる。なお、機械学習解析手段４５における詳細な説明は後述する。
【００７０】
表情推定手段４６は、機械学習解析手段４５により得られる表情推定が可能な信号に基づいて装着者１０の表情や動作の推定を行う。
【００７１】
具体的には、表情推定手段４６は、予め設定された信号の振幅や周波数、波形のパターン等に応じて、予め設定された複数の表情や動作、及びそれらの度合いに関する情報のうち、どれに該当するかを選択して推定を行う。なお、本実施形態では、信号の振幅や周波数、波形のパターンと複数の表情や動作、度合いをそれぞれ対応テーブルとして生成して蓄積手段４２等に蓄積しておき、表情推定手段４６がその対応テーブルを用いて対応するデータの内容を容易に推定することができる。
【００７２】
これにより、表情推定手段４６は、例えば、「笑い顔」等、１つの表情に対しても、その度合いを推定することができ、詳細な表情認識を実現することができる。
【００７３】
更に、表情推定手段４６は、装着者毎に最初に顔面動作推定装置２０を装着してもらった後に、所定時間（例えば、２〜４秒程度）で笑顔や怒っている顔等の各種表情やあくび等の動作を意図的に行ってもらい、そのときに得られる各電極１６からの生体電位信号を用いて上述のテーブル（基本データ）を更新することもできる。これにより、装着者毎に笑い方が異なる場合でも高精度に表情認識を行うことができる。なお、本実施形態においては、上述した内容の他に、例えば口腔内の咀嚼運動の認識等についても、上述した手法と同様な手法を用いて認識処理を行うことができる。
【００７４】
提示手段４７は、表情推定手段４６により得られる表情推定結果に基づいて、所定の提示を行う。具体的には、提示手段４７は、表情推定結果に基づいて光提示手段４７−１により、光により外部に提示を行う。なお、光提示手段４７−１としては、例えば、同色又は異色の複数のＬＥＤのうち、表情推定手段４６により推定された表情に対応する色、又は、複数のＬＥＤのうち、１又は複数のＬＥＤを表示させたり、所定時間間隔で点滅させる等といった処理を行う。また、光提示手段４７−１は、表情や動作、及びその度合いに応じて点滅間隔を早くしたり、遅くしたりすることもできる。
【００７５】
これにより、例えば、大声で大きく口を上げて笑っている場合には、早く点滅させ、微笑む程度であれば、点灯させる等といった提示も行うことができる。
【００７６】
更に、提示手段４７は、表情推定結果に基づいて、音提示手段４７−１により推定された表情に対応する音を提示することができる。なお、この音は、人の声でもよい。つまり、笑っている場合には、笑い声が音声出力されたりすることもでき、また度合いに応じて笑い声の大きさも変更することができ、音の種類も予め設定された音声データにより「うふふ・・・」や「アハハ・・・」等を度合いに対応させて出力することができる。また、提示手段４７は、光と音声の両方を組み合わせて同時に提示されることもできる。
【００７７】
送受信手段４８は、有線又は無線を用いて蓄積手段４２により蓄積されたデータを通信ネットワーク等により接続された外部装置等に送信したり、本実施形態における必要な各種データを入力したり、各種実行結果を外部装置に出力することができる。
【００７８】
制御手段４９は、顔面動作推定装置２０の各構成部全体の制御を行う。具体的には、制御手段４９は、例えば本実施形態における顔面動作提示を実現するために、電極信号入力処理や、フィルタ処理、信号処理、機械学習解析処理、表情推定処理、提示処理、送受信処理等の各制御を行う。
【００７９】
＜信号処理手段４４における処理内容＞
次に、上述した信号処理手段４４における具体的な処理内容について説明する。図５は、顔面動作推定装置における信号処理の概要を説明するための図である。図５に示すように、顔面動作推定装置２０は、装着者１０の顔の側面に設置された電極１６から生体電位信号（ＢＥＳ）を取得し、取得した信号に対してフィルタ手段４３による信号の平滑化処理（フィルタリング）を行い、信号処理手段４４によって処理を行い、その内容を提示手段４７で予め設定された手法に基づいて光信号や音信号により提示することになる。
【００８０】
図６は、信号処理モジュールの一例を示す図である。図６では、顔の表情を分類するために、顔の側面に設置された複数の電極から生体電位信号（ＢＥＳ）を取得する。その複数の電極から取得される複数の信号（Ｍｉｘｅｄ Ｓｉｇｎａｌ）から信号処理手段４４としての独立成分分析（ＩＣＡ）を使用して独立成分の分析を行う。
【００８１】
なお、独立成分分析を行った後、例えば、図６に示すようにフィルタ手段４３を用いてニューロンネットワーク（ＡＮＮ）における処理が高精度に行われるように入力信号に対して平滑化処理（フィルタリング）を行う。つまり、フィルタ手段４３は、独立成分（ＩＣ）を分離するために使用される。
【００８２】
また、独立成分分析された結果は、適切な時間窓（例えば、約５０〜２００ｍｓ程度）を経て図６に示すように機械学習解析手段４５であるＡＮＮによって学習され、更に表情や動作の内容（Ｐａｔｔｅｒｎ）や度合いに分類されて出力される。
【００８３】
つまり、本実施形態においては、生体電位信号（ＢＥＳ）は、ろ過された顔の側面に複数の電極を使用して得られ、上述した信号処理モジュールによって表情推定が実行される。
【００８４】
＜独立成分分析の内容について＞
次に、上述した独立成分分析（ＩＣＡ）の内容について説明する。図７は、ＩＣＡのブロックダイアグラムの一例を示す図である。図７に示すように、例えば、未知の環境（Ｕｎｋｎｏｗｎ ｅｎｖｉｒｏｎｍｅｎｔ）で得られる値ｓ１（ｔ），ｓ２（ｔ），・・・，ｓｍ（ｔ）については、線形混合変換手段（Ｌｉｎｅａｒ ｍｉｘｅｒ）Ａにより、サンプルデータｘ１（ｔ），ｘ２（ｔ），・・・，ｘｍ（ｔ）が生成され、更に、生成されたサンプルデータＸに対応する線形混合逆変換手段（Ｌｉｎｅａｒ ｄｅｍｉｘｅｒ）Ｗが生成されて独立成分（ＩＣ）であるｙ１（ｔ）， ｙ２（ｔ），・・・， ｙｍ（ｔ）が生成される。
【００８５】
＜表情推定における基本データ生成例＞
ここで、本実施形態では、上述したように装着者毎に最初に顔面動作推定装置２０を装着してもらった後に、所定時間（例えば、２〜４秒程度）で笑顔や怒っている顔等の各種表情やあくび等の動作を意図的に行ってもらい、そのときに得られる各電極１６からの生体電位信号を用いて基本データを生成することもできる。
【００８６】
図８は、本実施形態における表情推定における基本データの生成例を示す図である。なお、図８では、表情推定の一例として、本実施形態におけるリアルタイムに微笑みを検知する手法について説明する。
【００８７】
リアルタイムな微笑み検知は、ＩＣＡ及び学習されたＡＮＮを使用し、且つ、顔面動作推定装置２０に表示される機能が実装されている。
【００８８】
なお、顔面動作推定装置２０は、予め設定された顔の側面の所定領域から生体電位信号として例えば筋電位信号（ＥＭＧ）をサンプリングし、それらを所定のブロックとして分析する。なお、サンプリングは、例えば、０．５秒毎等に行うのが適切であるが、本発明においては、これに限定されるものではない。
【００８９】
また、本実施形態における即時性（リアルタイム）の認識については、それが最初にＩＣＡマトリックスの生成及びＡＮＮの学習をしておくことで、顔面動作推定装置における推定を装着者毎の表情や動作の違いに関係なく行うことができる。
【００９０】
ここで、顔面動作推定装置２０に入力されるトレーニング信号は、例えば、所定の表現「中立（ニュートラル）」、「噛む」、「噛んで微笑む」、「微笑む」等を行うことができる。
【００９１】
本実施形態では、これらのデータを生成しておくことで、リアルタイムで正確な感情ディスプレイ装置としての顔面動作推定装置２０を提供することができる。なお、顔の表現や動作は、上述に限定されるものではなく、例えば「眉をひそめる」や「眉をしかめる」、「怒る」、「あくび」、更に「口腔内の咀嚼運動の認識」等も含めることができ、例えばトレーニングセットの一部を利用することもできる。
【００９２】
＜実験結果について＞
次に、本実施形態を適用した実験結果について説明する。図９〜図１１は、本実施形態を適用した実験結果の一例を示す図（その１）〜（その３）である。
【００９３】
本実験では、２つの主題上の顔の側面から電極を用いて生体電位信号を取得する。ここで、実験の中で使用される信号のサンプリング周波数は、約１０２４Ｈｚであるが、本実施形態では約８００〜１２００Ｈｚであればよい。また、本実験では、合計１６秒（４種類の表情があるとして各表情が約４秒）がトレーニング及びＡＮＮの両方をテストするために使用される。また、表情推定のためにトレーニングされる表情は、例えば、「中立（ナチュラル）」、「噛む」、「噛み微笑む」、又は「微笑む」とした。
【００９４】
まず、図９では、「笑い」表情に対する実験結果を示している。自身のトレーニングデータセット（Ｔｒａｉｎｉｎｇ ｓｅｔ）、テストデータセット（Ｔｅｓｔ ｓｅｔ）（トレーニング時に利用したデータを除いたデータ）を利用した場合の認識率を、例えば被験者１（Ｓｕｂｊｅｃｔ１）、被験者２（Ｓｕｂｊｅｃｔ２）のそれぞれに示したものである。本実施形態を提供すれば、表情の認識率を高い水準で取得することができることがわかる。
【００９５】
また、図１０は、「笑い」「怒り」「中立」の３表情について、上述した図９と同様にトレーニングデータセット、テストデータセットに対する認識結果の合計を示している。これらの３表情についても図９と略同様の結果が得られた。
【００９６】
なお、被験者１で学習したデータを被験者２に適用した場合、またその逆の認識率が図９の右側に示した２つのグラフ（Ｓ．１ Ｔｒａｉｎｅｄ ＡＮＮ ＆ Ｓ．２ Ｔｅｓｔ ｓｅｔ、Ｓ．２ Ｔｒａｉｎｅｄ ＡＮＮ ＆ Ｓ．１ Ｔｅｓｔ ｓｅｔ）であり、何れも低い認識率になることを示している。つまり、図９に示すように、表情の認識において、事前に必要な機械学習は、上述した本人が実際に使用する装着型の顔面動作推定装置を用いてキャリブレーションを行うことが必要であり、本実施形態における顔面動作推定装置は、機械学習の容易に行うことができるため利便性もよく、顔の表情認識等には最適なデバイスであるということができる。
【００９７】
ここで、本実施形態では、ニューロンネットワーク（ＡＮＮ）のトレーニング後の推定精度を改善させるため、顔の生体電位信号に対する独立成分分析（ＩＣＡ）が実装される。
【００９８】
まず、ニューロンネットワーク（ＡＮＮ）に対し、テストデータセットとして４つの生体電位信号を直接与えて、表情を推定すると、正解率はわずか７６．５２％であった。そこで、本実施形態における成分分析（ＩＣ）を用いて表情推定を行った結果、テストセット中のニューロンネットワーク（ＡＮＮ）によって平均の中で９６．９５％の高精度な分類結果を得ることができた。
【００９９】
更に、生体電位信号である筋電位信号（ＥＭＧ）の個人毎の性質及び独立成分分析（ＩＣＡ）を調査するために、別のデータで訓練されたニューロンネットワーク（ＡＮＮ）に対して上述した実験を行ったが、生体電位信号を分類することはできたが、別のデータにおける表情の分類は非常によくなかった。
【０１００】
更に、例えば、「眉をしかめる（Ｆｒｏｗｎ）」と「微笑む（Ｓｍｉｌｅ）」、及び「そのどちらでもない（Ｎｅｉｔｈｅｒ）」の間で表情推定する場合にも図１０に示すような結果が得られた。
また、本実施形態では、表情の分類のために分離することができた独立成分（独立したコンポーネント）の異なる数に関して、１つのサブジェクトに対して正確な分類の平均比率（％）を取得することができる。
【０１０１】
ここで、図１１に示すように、実験結果によれば、使用される独立成分（ＩＣ）の数が増える程、正確なデータが取得できる確率を増加させることができる。つまり、本実施形態によれば、ＩＣの数を増加させることによって、分類の正確さを増加させることができる。なお、図１１によれば、１つの場合はＩＣの精度が低く、４つの場合は非常に正確な分類が得られた。したがって、本実施形態では、装着者の顔の側面に快適に付けることができる４つの電極ペアを使用して、高精度に表情推定を行うことができる。
【０１０２】
また、本実施形態によれば、噛むことにより生じる顎の筋肉によって作成されたノイズ等もあるが、その中で顔の生体信号を、ＡＮＮによい入力ベクトルを供給することで、上述したＩＣＡ手法により正確は結果を得ることができる。
【０１０３】
また、本実施形態では、筋肉に属する信号を識別する代わりに顔の表情のパターンに基づいた識別のためのＡＮＮを使用することで顔の表現分析への新しいアプローチ手法を提供する。
【０１０４】
更に、表情を推定するために用いられるＡＮＮは、入力されるチャンネルの順番やそれらの振幅に関係なく、不確実性に関する独立成分分析（ＩＣＡ）における弱さを克服することができる。
【０１０５】
上述したように本発明によれば、顔面の動作を容易に知覚できるようにすることができる。具体的には、本発明は、生体電位信号を使用して、顔の表情や動作、及びその度合いについて独立成分分析やニューラルネットワーク（ＡＮＮ）を用いて分析することが可能であることが示された。
【０１０６】
また、微笑み等の表情を形成する筋肉の上に直接電極を配置するのではなく、顔面神経頬筋枝上に配置し、そこから得られる信号からの微笑み等の表情を検知することが可能であることはさらに示された。また、電極は、顔の側面に置かれた少数の電極により達成することができる。
【０１０７】
また、本発明によれば、顔の表情のパターンに基づいた識別が可能となり、ニューラルネットワークのような適応性のあるメカニズムを用いて表情の推定が高精度に行うことができる。
【０１０８】
更に、本発明を適用することで、例えば、装着型の笑顔測定器による長時間測定を実現することができ、また、笑顔のトレーニング等、バイオフィードバックへの応用や、笑顔での実演が必要な舞踊等の身体を用いて表現する芸術において、その身体活動をリアルタイムにフィードバック制御を行う技術を提供することができ、スポーツ科学やエクササイズ等、身体運動計測に係る光提示、エンタテイメント等の人支援技術に適用するこができる。
【０１０９】
更に、表情認識が困難な人への代替提示手段の実現、及び、ダンス・バレエ等身体動作の訓練機器、及びエクササイズ、運動支援への応用、小型且つ形態可能な新しい装着型表情推定装置への応用、筋活動の提示等による福祉機器やリハビリテーション機器としても利用することができる。
【０１１０】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【０１１１】
１０ 装着者
１１ 顔輪筋
１２ 小頬骨筋
１３ 大頬骨筋
１４ 笑筋
１５ 所定領域
１６ 電極
２０，３０ 顔面動作推定装置
２１，３１ 光提示手段
２２，３２ 音提示手段
４１ 電極信号入力手段
４２ 蓄積手段
４３ フィルタ手段
４４ 信号処理手段
４５ 機械学習解析手段
４６ 表情推定手段
４７ 提示手段
４８ 送受信手段
４９ 制御手段
【特許請求の範囲】
【請求項１】
顔の所定領域から得られる生体電位信号に基づいて顔の動作を推定する顔面動作推定装置において、
前記顔の所定領域に対する前記生体電位信号を取得するための複数の電極と、
前記複数の電極から得られるそれぞれの信号を所定の帯域でフィルタリングするフィルタ手段と、
前記フィルタ手段により得られる信号に対して予め設定される信号の独立性を仮定することにより分別する信号処理手段と、
前記信号処理手段により得られる信号に対して機械学習により信号解析を行う機械学習解析手段と、
前記機械学習解析手段により得られる解析結果から、顔の表情及び度合いを推定する表情推定手段と、
前記顔の表情及び度合いに対応させて予め設定された提示を行う提示手段とを有することを特徴とする顔面動作推定装置。
【請求項２】
前記顔の所定領域は、
前記装着者の顔輪筋、小頬骨筋、大頬骨筋、笑筋のうち、少なくとも２つの筋肉に対する生体電位信号が取得できる領域であることを特徴とする請求項１に記載の顔面動作推定装置。
【請求項３】
前記信号処理手段は、
前記複数の電極から得られる複数の生体電位信号の組み合わせから独立成分を抽出することを特徴とする請求項１又は２に記載の顔面動作推定装置。
【請求項４】
前記機械学習解析手段は、
前記複数の電極から得られる少なくとも２つの信号からなる混合信号の入力に対す顔の表情の種類及び度合いを出力とする予め設定されたニューラルネットワークを用いて解析を行うことを特徴とする請求項１乃至３の何れか１項に記載の顔面動作推定装置。
【請求項５】
前記提示手段は、複数の光又は音により提示を行い、
前記顔の表情及び度合いに応じて前記複数の光又は音を変更して提示することを特徴とする請求項１乃至４の何れか１項に記載の顔面動作推定装置。
【請求項６】
顔の所定領域から得られる生体電位信号に基づいて顔の動作を推定する顔面動作推定方法において、
複数の電極を用いて前記顔の所定領域に対する前記生体電位信号を取得するための信号取得段階と、
前記信号取得段階により得られる前記複数の電極からのそれぞれの信号を所定の帯域でフィルタリングするフィルタ段階と、
前記フィルタ段階により得られる信号に対して予め設定される信号の独立性を仮定することにより分別する信号処理段階と、
前記信号処理段階により得られる信号に対して機械学習により信号解析を行う機械学習解析段階と、
前記機械学習解析段階により得られる解析結果から、顔の表情及び度合いを推定する表情推定段階と、
前記顔の表情及び度合いに対応させて予め設定された提示手段により提示させる提示段階とを有することを特徴とする顔面動作推定方法。
【請求項７】
前記顔の所定領域は、
前記装着者の顔輪筋、小頬骨筋、大頬骨筋、笑筋のうち、少なくとも２つの筋肉に対する生体電位信号が取得できる領域であることを特徴とする請求項６に記載の顔面動作推定方法。
【請求項８】
前記信号処理段階は、
前記複数の電極から得られる複数の生体電位信号の組み合わせから独立成分を抽出することを特徴とする請求項６又は７に記載の顔面動作推定方法。
【請求項９】
前記機械学習解析段階は、
前記複数の電極から得られる少なくとも２つの信号からなる混合信号の入力に対す顔の表情の種類及び度合いを出力とする予め設定されたニューラルネットワークを用いて解析を行うことを特徴とする請求項６乃至８の何れか１項に記載の顔面動作推定方法。
【請求項１０】
前記提示段階は、前記提示手段を用いて複数の光又は音により提示を行い、
前記顔の表情及び度合いに応じて前記複数の光又は音を変更して提示することを特徴とする請求項６乃至９の何れか１項に記載の顔面動作推定方法。
【請求項１】
顔の所定領域から得られる生体電位信号に基づいて顔の動作を推定する顔面動作推定装置において、
前記顔の所定領域に対する前記生体電位信号を取得するための複数の電極と、
前記複数の電極から得られるそれぞれの信号を所定の帯域でフィルタリングするフィルタ手段と、
前記フィルタ手段により得られる信号に対して予め設定される信号の独立性を仮定することにより分別する信号処理手段と、
前記信号処理手段により得られる信号に対して機械学習により信号解析を行う機械学習解析手段と、
前記機械学習解析手段により得られる解析結果から、顔の表情及び度合いを推定する表情推定手段と、
前記顔の表情及び度合いに対応させて予め設定された提示を行う提示手段とを有することを特徴とする顔面動作推定装置。
【請求項２】
前記顔の所定領域は、
前記装着者の顔輪筋、小頬骨筋、大頬骨筋、笑筋のうち、少なくとも２つの筋肉に対する生体電位信号が取得できる領域であることを特徴とする請求項１に記載の顔面動作推定装置。
【請求項３】
前記信号処理手段は、
前記複数の電極から得られる複数の生体電位信号の組み合わせから独立成分を抽出することを特徴とする請求項１又は２に記載の顔面動作推定装置。
【請求項４】
前記機械学習解析手段は、
前記複数の電極から得られる少なくとも２つの信号からなる混合信号の入力に対す顔の表情の種類及び度合いを出力とする予め設定されたニューラルネットワークを用いて解析を行うことを特徴とする請求項１乃至３の何れか１項に記載の顔面動作推定装置。
【請求項５】
前記提示手段は、複数の光又は音により提示を行い、
前記顔の表情及び度合いに応じて前記複数の光又は音を変更して提示することを特徴とする請求項１乃至４の何れか１項に記載の顔面動作推定装置。
【請求項６】
顔の所定領域から得られる生体電位信号に基づいて顔の動作を推定する顔面動作推定方法において、
複数の電極を用いて前記顔の所定領域に対する前記生体電位信号を取得するための信号取得段階と、
前記信号取得段階により得られる前記複数の電極からのそれぞれの信号を所定の帯域でフィルタリングするフィルタ段階と、
前記フィルタ段階により得られる信号に対して予め設定される信号の独立性を仮定することにより分別する信号処理段階と、
前記信号処理段階により得られる信号に対して機械学習により信号解析を行う機械学習解析段階と、
前記機械学習解析段階により得られる解析結果から、顔の表情及び度合いを推定する表情推定段階と、
前記顔の表情及び度合いに対応させて予め設定された提示手段により提示させる提示段階とを有することを特徴とする顔面動作推定方法。
【請求項７】
前記顔の所定領域は、
前記装着者の顔輪筋、小頬骨筋、大頬骨筋、笑筋のうち、少なくとも２つの筋肉に対する生体電位信号が取得できる領域であることを特徴とする請求項６に記載の顔面動作推定方法。
【請求項８】
前記信号処理段階は、
前記複数の電極から得られる複数の生体電位信号の組み合わせから独立成分を抽出することを特徴とする請求項６又は７に記載の顔面動作推定方法。
【請求項９】
前記機械学習解析段階は、
前記複数の電極から得られる少なくとも２つの信号からなる混合信号の入力に対す顔の表情の種類及び度合いを出力とする予め設定されたニューラルネットワークを用いて解析を行うことを特徴とする請求項６乃至８の何れか１項に記載の顔面動作推定方法。
【請求項１０】
前記提示段階は、前記提示手段を用いて複数の光又は音により提示を行い、
前記顔の表情及び度合いに応じて前記複数の光又は音を変更して提示することを特徴とする請求項６乃至９の何れか１項に記載の顔面動作推定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−１４３０５９（Ｐ２０１１−１４３０５９Ａ）
【公開日】平成２３年７月２８日（２０１１．７．２８）
【国際特許分類】
【出願番号】特願２０１０−６０９４（Ｐ２０１０−６０９４）
【出願日】平成２２年１月１４日（２０１０．１．１４）
【出願人】（５０４１７１１３４）国立大学法人 筑波大学 (510)
【Ｆターム（参考）】
【公開日】平成２３年７月２８日（２０１１．７．２８）
【国際特許分類】
【出願日】平成２２年１月１４日（２０１０．１．１４）
【出願人】（５０４１７１１３４）国立大学法人 筑波大学 (510)
【Ｆターム（参考）】
[ Back to top ]