行動評価装置
【課題】被験体に対する検出手段として加速度センサのみを含む簡単かつ安価な構成で、被験体がした動作又は行動についての評価の精度を高めることができる行動評価装置を提供すること。
【解決手段】加速度センサと、加速度センサの出力を記憶するメモリを備える。第１のニューラルネットワークは、予め、被験体がした動作又は行動を認識する学習を済ませ、その学習後は、加速度センサの出力に基づいて、リアルタイムで被験体がした動作又は行動を認識する。第２のニューラルネットワークは、指示に基づいて、第１のニューラルネットワークを通して認識された動作又は行動に対応する加速度センサの出力を、メモリから読み出して手本として学習し、その学習後は、第１のニューラルネットワークを通して認識された動作又は行動が手本に近い程度を表す近似度を出力する。
【解決手段】加速度センサと、加速度センサの出力を記憶するメモリを備える。第１のニューラルネットワークは、予め、被験体がした動作又は行動を認識する学習を済ませ、その学習後は、加速度センサの出力に基づいて、リアルタイムで被験体がした動作又は行動を認識する。第２のニューラルネットワークは、指示に基づいて、第１のニューラルネットワークを通して認識された動作又は行動に対応する加速度センサの出力を、メモリから読み出して手本として学習し、その学習後は、第１のニューラルネットワークを通して認識された動作又は行動が手本に近い程度を表す近似度を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は行動評価装置に関し、より詳しくは、加速度センサを用いて、被験体の動作又は行動を認識して評価する行動評価装置に関する。
【０００２】
ここで、「被験体」とは、代表的には人間を指すが、動物であっても良い。
【０００３】
また、「動作」とは、被験体の動きを指す。「行動」とは、意識的なものも含まれる動きや行いを指す。本明細書では、簡単のため、動作と行動とを併せて、適宜「動作」と呼ぶ。
【０００４】
この発明の行動評価装置は、典型的には、歩数計・活動量計、携帯電話、モバイルコンピュータなどに組み込んで用いられ得る。
【背景技術】
【０００５】
従来、例えば特許文献１（特開平１０−１１３３４３号公報）には、被験体の動作又は行動に伴う状態変化を観測する計測手段と、前記観測結果における特徴量を抽出する特徴量抽出手段と、当該認識装置により認識すべき動作又は行動についての特徴量を記憶する記憶手段と、前記観測結果から抽出した特徴量と記憶してある特徴量とから、前記被験体の動作又は行動を認識する認識手段とを備えたシステムが開示されている。さらに、同文献には、事故などにより足などに障害を受けた場合のリハビリテーションに利用するために、標準的な動作（障害を受ける前の歩行動作等）と計測動作（障害を受けている現在の被験者の歩行動作等）の違いを、観測波形の周波数スペクトルの差分として視覚的に示すことが記載されている。また、標準動作特徴量データベースには、被験者の事故前の標準動作の特徴量を抽出して登録しておくのが最適であるが、それがない場合には、多数の被験者の平均的な動作から求めた特徴量を標準動作として用いてもよい旨が述べられている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−１１３３４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、事故に遭うことを前提として、被験者が標準動作特徴量データベースに標準的な動作を登録しておくようなことは、通常は有り得ない。また、多数の被験者の平均的な動作から求めた特徴量を標準動作として用いる場合、評価の精度が落ちるという問題がある。
【０００８】
そこで、この発明の課題は、被験体に対する検出手段として加速度センサのみを含む簡単かつ安価な構成で、被験体がした動作又は行動についての評価の精度を高めることができる行動評価装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、この発明の行動評価装置は、
被験体に取り付けられるべき加速度センサと、
上記加速度センサの出力を記憶するメモリと、
上記加速度センサの出力から、手本となる動作又は行動を認識する学習を済ませたニューラルネットワークとを備えて、
上記被験体に取り付けられた上記加速度センサの出力から、上記ニューラルネットワークを通して上記被験体がした動作又は行動を認識するとともに、認識された動作又は行動が上記手本に近い程度を評価する行動評価装置において、
上記ニューラルネットワークは、
予め、上記被験体がした複数種類の動作又は行動と上記被験体に取り付けられた上記加速度センサの出力との間のそれぞれの対応関係に基づいて、上記被験体がした動作又は行動を認識する学習を済ませ、その学習後は、上記加速度センサの出力に基づいて、リアルタイムで上記被験体がした動作又は行動を認識する第１のニューラルネットワークと、
指示に基づいて、上記第１のニューラルネットワークを通して認識された動作又は行動に対応する上記加速度センサの出力を、上記メモリから読み出して手本として学習し、その学習後は、上記第１のニューラルネットワークを通して認識された動作又は行動が上記手本に近い程度を表す近似度を出力する第２のニューラルネットワークとを
含むことを特徴とする。
【００１０】
この発明の行動評価装置では、第１のニューラルネットワークは、予め、上記被験体がした複数種類の動作又は行動と上記被験体に取り付けられた上記加速度センサの出力との間のそれぞれの対応関係に基づいて、上記被験体がした動作又は行動を認識する学習を済ませ、その学習後は、上記加速度センサの出力に基づいて、リアルタイムで上記被験体がした動作又は行動を認識する。第２のニューラルネットワークは、指示に基づいて、上記第１のニューラルネットワークを通して認識された動作又は行動に対応する上記加速度センサの出力を、上記メモリから読み出して手本として学習する。したがって、使用者（この行動評価装置を操作する者を指す。典型的には被験体であるが、別の者であっても良い。以下同様。）は、上記指示を入力することによって、上記第２のニューラルネットワークに、例えばスポーツやダンスなどにおいて被験体の調子が良かったときの動きを、上記手本として学習させることができる。上記第２のニューラルネットワークは、その学習後は、上記第１のニューラルネットワークを通して認識された動作又は行動が上記手本に近い程度を表す近似度を出力する。この近似度に基づいて、使用者は、上記被験体がした動作又は行動が上記手本に近い程度を知ることができる。
【００１１】
この行動評価装置では、使用者が上記指示を入力することによって、第２のニューラルネットワークに所望のタイミングで適切な手本を学習させることができる。したがって、この行動評価装置によれば、従来に比して、被験体がした動作又は行動についての評価の精度を高めることができる。また、上記行動評価装置は、被験体に対する検出手段として加速度センサのみを備えているので、簡単かつ安価に構成され得る。
【００１２】
一実施形態の行動評価装置では、
上記指示を入力するための指示スイッチと、
上記指示スイッチによって上記指示が入力された時、上記メモリ内で、現時点から遡った直近の、上記第１のニューラルネットワークを通して認識された動作又は行動に対応する上記加速度センサの出力を探索し、探索した上記加速度センサの出力を上記メモリから読み出して、学習のために上記第２のニューラルネットワークに入力する制御を行う制御部とを備えたことを特徴とする。
【００１３】
この一実施形態の行動評価装置では、使用者が上記指示スイッチによって上記指示を入力する。上記指示スイッチによって上記指示が入力された時、制御部は、上記メモリ内で、現時点から遡った直近の、上記第１のニューラルネットワークを通して認識された動作又は行動に対応する上記加速度センサの出力を探索し、探索した上記加速度センサの出力を上記メモリから読み出して、学習のために上記第２のニューラルネットワークに入力する制御を行う。したがって、使用者は、上記第２のニューラルネットワークに所望のタイミングで適切な手本を学習させることができる。
【００１４】
一実施形態の行動評価装置では、上記第２のニューラルネットワークの出力層は単一の素子のみを含むことを特徴とする。
【００１５】
この一実施形態の行動評価装置では、上記第２のニューラルネットワークの出力層は単一の素子のみを含むから、その単一の素子の出力から得られた近似度は、被験体がした或る動作又は行動が上記手本に近い程度を１つの数値で明確に表すことができる。
【００１６】
一実施形態の行動評価装置では、上記近似度は数値であることを特徴とする。
【００１７】
この一実施形態の行動評価装置では、上記近似度は数値であるから、使用者は、被験体がした或る動作又は行動が上記手本に近い程度を明確に知ることができる。
【００１８】
一実施形態の行動評価装置では、上記動作又は行動はゴルフスイングを含むことを特徴とする。
【００１９】
この一実施形態の行動評価装置では、上記動作又は行動はゴルフスイングを含む。したがって、使用者は、上記指示を入力することによって、上記第２のニューラルネットワークに、例えば被験体がナイスショットをしたときのスイングやゴルフコーチがお手本ショットをしたときのスイングを、上記手本として学習させることができる。この結果、行動の評価段階で、使用者は、被験体がしたスイングが、被験体自身が調子の良いとき（ナイスショットをしたとき）のスイングにどれだけ近いか、またはゴルフコーチがお手本ショットをしたときのスイングにどれだけ近いか、を知ることができる。
【発明の効果】
【００２０】
以上より明らかなように、この発明の行動評価装置によれば、被験体に対する検出手段として加速度センサのみを含む簡単かつ安価な構成で、被験体がした動作又は行動についての評価の精度を高めることができる。
【図面の簡単な説明】
【００２１】
【図１】図１（Ａ）は、この発明の一実施形態の行動評価装置の外観を正面から見たところを示す図である。図１（Ｂ）は、上記行動評価装置を右側方から見たところを示す図である。図１（Ｃ）は、上記行動評価装置を分解状態で右側方から見たところを示す図である。図１（Ｄ）は、上記行動評価装置に含まれた部品を示す図である。図１（Ｅ）は、被験体としての人が上記行動評価装置を装着した態様を示す図である。
【図２】上記行動評価装置に含まれた演算装置のブロック構成を示す図である。
【図３】上記演算装置に含まれた第１のニューラルネットワークの構成を例示する図である。
【図４】上記演算装置に含まれた第２のニューラルネットワークの構成を例示する図である。
【図５】被験体としての人が「スイングＡ」を行っている様子を示す図である。
【図６】被験体が図５の運動を行っている時の、上記行動評価装置に含まれた加速度センサの出力を示す図である。
【図７】上記第１のニューラルネットワークの出力層の各ニューロンと、上記被験体としての人の動作状態との間の対応を例示する図である。
【図８】図８（Ａ）は、上記第２のニューラルネットワークの出力層が単一の素子からなる場合のニューロンの出力を例示する図である。図８（Ｂ）は、上記第２のニューラルネットワークの出力層が２つの出力素子からなる場合の各ニューロンの出力を例示する図である。
【図９】図９（Ａ）は、上記行動評価装置における概略的な処理フローを示す図である。図９（Ｂ）は、上記行動評価装置における「お手本の収録」段階の処理フローを示す図である。
【図１０】図１０（Ａ）は、上記第１のニューラルネットワークの学習段階の処理フローを示す図である。図１０（Ｂ）は、上記第１のニューラルネットワークの認識段階の処理フローを示す図である。
【図１１】図１１（Ａ）は、上記第１のニューラルネットワークの認識動作を模式的に説明する図である。図１１（Ｂ）は、上記第２のニューラルネットワークの評価動作を模式的に説明する図である。
【図１２】図１２（Ａ）は、上記第２のニューラルネットワークの学習段階の処理フローを示す図である。図１２（Ｂ）は、上記第２のニューラルネットワークの評価段階の処理フローを示す図である。
【発明を実施するための形態】
【００２２】
以下、この発明の一実施形態の行動評価装置について、図面を参照しながら詳細に説明する。
【００２３】
図１（Ａ）に示すように、この発明の一実施形態の行動評価装置１は、本体ケーシング７と、この本体ケーシング７の前面部７Ａに設けられたＬＣＤ（液晶表示素子）からなるディスプレイ部３と、指示スイッチとして働くノーマリオープン型のボタンスイッチ１１と、スライド式の電源スイッチ４２とを備えている。
【００２４】
図１（Ｂ）（行動評価装置１を右側方から見たところに相当する）に示すように、本体ケーシング７の後面部７Ｂには、この行動評価装置１を被験体（この例では人）９０に装着するためのクリップ８が設けられている。具体的には、クリップ８は、蝶番９を介して後面部７Ｂに取り付けられており、クリップ８の先端８ａが後面部７Ｂに近づくように、図示しないばねによって付勢されている。これにより、図１（Ｅ）に示すように、行動評価装置１は、被験体９０の腰の横に容易に装着され得る（例えば、被験体９０が着けている図示しないベルトにクリップ８を引っ掛ければ良い。）。
【００２５】
図１（Ｃ）および図１（Ｄ）によって分かるように、ケーシング７の内部には、電子回路基板１０と、この電子回路基板１０へ電力を供給するための充電可能な電池６とが収容されている。電源スイッチ４２のオン（ＯＮ）、オフ（ＯＦＦ）に応じて、電池６から電子回路基板１０へ電力が供給され、または非供給になる。
【００２６】
電子回路基板１０には、無線通信装置４と、加速度センサ２と、演算装置５とが搭載されている。
【００２７】
無線通信装置４は、この行動評価装置１の近傍に存在する携帯電話やパーソナルコンピュータ等との間で、Ｂｌｕｅｔｏｏｔｈ（ブルートゥース）規格によって無線通信を行う公知の装置である。この無線通信装置４により、この行動評価装置１による評価結果（後述）を上記携帯電話やパーソナルコンピュータ等へ送信することが可能となる。
【００２８】
加速度センサ２は、Ｘ軸・Ｙ軸・Ｚ軸の３軸方向の加速度を、この例では±２Ｇの範囲で検知可能な半導体式の公知のものである。この加速度センサ２は、１０ミリ秒周期でＸ，Ｙ，Ｚ方向の加速度をそれぞれ計測して出力する。加速度センサ２が出力した値は、次に述べる制御部５０に内蔵されたメモリ５４（図２参照）に順次格納され、少なくとも５秒間保持される。
【００２９】
演算装置５は、図２に示すように、この演算装置５全体の動作を制御するＣＰＵ（中央演算処理装置）からなる制御部５０と、加速度センサ２の出力を受けて処理する入力処理部５１と、第１のニューラルネットワーク５２と、第２のニューラルネットワーク５５と、第１のニューラルネットワーク５２および第２のニューラルネットワーク５５の出力を受けて処理する出力処理部５３と、データを一時的に格納し得るメモリ５４とを備えている。
【００３０】
入力処理部５１は、制御部５０による制御下で、加速度センサ２の出力に対して信号処理を施して、人９０の動きを表す特徴データとして複数種類の統計データを生成する。具体的には、入力処理部５１は、次のような統計データを生成する。
【００３１】
まず、現在の時刻（人９０の動作状態の認識を行う時刻に相当）をｔ１とし、そこから５秒前の時刻をｔ０とする。入力処理部５１は、時刻ｔ０からｔ１までの５秒間にメモリ５４に格納された加速度センサ２のＸ，Ｙ，Ｚ方向の出力（１０ミリ秒周期の値）の平均値をそれぞれ統計データとして算出する。算出された平均値を、それぞれ特徴データＸ１，Ｙ１，Ｚ１とする。
【００３２】
また、入力処理部５１は、時刻ｔ０からｔ１までの５秒間における加速度センサ２のＸ，Ｙ，Ｚ方向の出力の標準偏差を統計データとして算出する。算出された標準偏差を、それぞれ特徴データＸ２，Ｙ２，Ｚ２とする。
【００３３】
また、入力処理部５１は、時刻ｔ０からｔ１までの５秒間における加速度センサ２のＸ，Ｙ，Ｚ方向それぞれの出力の最大値と最小値とを探索して、上記最大値と最小値との間の差をそれぞれ統計データとして算出する。算出された上記最大値と最小値との間の差を、それぞれ特徴データＸ３，Ｙ３，Ｚ３とする。
【００３４】
また、入力処理部５１は、時刻ｔ０からｔ１までの５秒間において加速度センサ２のＸ，Ｙ，Ｚ方向の出力が０になった回数（以下「ゼロクロス回数」という。）をそれぞれカウントして統計データとして求める。求められたゼロクロス回数を、それぞれＸ４，Ｙ４，Ｚ４とする。
【００３５】
このように、入力処理部５１は、１２種類の統計データである特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４を生成する。入力処理部５１による特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４の生成は、１００ミリ秒周期で行われる。１つの軸方向、例えばＸ軸方向に関して言えば、メモリ５４に格納された５００個の１種類のデータ（５秒間にわたる加速度センサ２の出力値）から、入力処理部５１によって４種類の特徴データＸ１〜Ｘ４が１００ミリ秒毎に生成される、ということになる。
【００３６】
第１のニューラルネットワーク５２は、この例では図３に示すように、１２個の入力素子ｉ１，ｉ２，…，ｉ１２を含む入力層５２ｉと、７個の素子ｍ１，ｍ２，…，ｍ７を含む中間層５２ｍと、７個の出力素子ｎ１，ｎ２，…，ｎ７を含む出力層５２ｎとの３層から構成されている。この第１のニューラルネットワーク５２は、この例では逆誤差伝搬法（Back Propagation algorithm）と呼ばれる学習法によって、入力層５２ｉの入力素子ｉ１，ｉ２，…，ｉ１２に入力された入力から、出力層５２ｎの出力素子ｎ１，ｎ２，…，ｎ７に正しい出力が得られるような学習を行えるように構成されている。
【００３７】
具体的には、まず、入力素子ｉ１，ｉ２，…，ｉ１２に対する入力にそれぞれ重み係数ｗｊ１，ｗｊ２，…，ｗｊ１２（ｊ＝１，２，…，７とする。）を乗算し、次のようにそれらの入力と重み係数との積の線形和ｕjを求める。
【００３８】
出力素子ｎ１，ｎ２，…，ｎ７の出力を、次のようにその線形和ｕjのシグモイド関数ｆ（ｕｊ）であるものとする。
ｆ（ｕｊ）＝１／（１＋ｅｘｐ（−ｕｊ））
【００３９】
次に、入力素子ｉ１，ｉ２，…，ｉ１２に或る入力データセットが入力されたときの出力素子ｎ１，ｎ２，…，ｎ７の出力と、正しい解答を表す教師データとの間の誤差を求める。
【００４０】
出力素子ｎ１，ｎ２，…，ｎ７の出力とその教師データとの間の誤差が解消するように、上記重み係数ｗｊ１，ｗｊ２，…，ｗｊ１２を変更してゆく。誤差の元となった中間層の出力も順次調整してゆく。
【００４１】
このようにして学習を行ってゆくと、或る入力データセットに対して出力層５２ｎの出力素子ｎ１，ｎ２，…，ｎ７のうち、１つの出力素子のみが反応し（値が１になり）、残りの出力素子の値は略０になるようになる。第１のニューラルネットワーク５２は、このような逆誤差伝搬法による学習を行えるように構成されている。
【００４２】
第２のニューラルネットワーク５５は、この例では図４に示すように、１２個の入力素子ｉ１，ｉ２，…，ｉ１２を含む入力層５５ｉと、７個の素子ｍ１，ｍ２，…，ｍ７を含む中間層５５ｍと、１個の出力素子ｎ１を含む出力層５５ｎとの３層から構成されている。この第２のニューラルネットワーク５２は、第１のニューラルネットワーク５２と同様に、この例では逆誤差伝搬法によって、入力層５５ｉの入力素子ｉ１，ｉ２，…，ｉ１２に入力された入力から、出力層５５ｎの出力素子ｎ１に正しい出力が得られるような学習を行えるように構成されている。
【００４３】
図２中の出力処理部５３は、制御部５０による制御下で、第１のニューラルネットワーク５２の出力層５２ｎおよび第２のニューラルネットワーク５５の出力層５５ｎの出力を受けて、それに応じた認識・評価結果を画像として出力する処理を行う。この認識・評価結果は、行動評価装置１のディスプレイ部３に表示される。
【００４４】
上述の入力処理部５１、第１のニューラルネットワーク５２、第２のニューラルネットワーク５５、出力処理部５３は、ソフトウェアによって構成されている。この行動評価装置１は、被験体９０に対する検出手段として加速度センサ２のみを備えているので、簡単かつ安価に構成され得る。
【００４５】
図９（Ａ）に示すように、この行動評価装置１は、制御部５０による制御によって、大別して、ステップＳ１０１に示す「お手本の収録」段階の処理と、ステップＳ１０２に示す「行動の評価」段階の処理とを実行する。
【００４６】
図９（Ｂ）は、上記「お手本の収録」段階の処理（ステップＳ１０１）を、より具体的に示している。この例では、電源スイッチ４２がオンされている動作期間中に、使用者がボタンスイッチ１１を３秒間以上押し続けたとき、この「お手本の収録」段階の処理を開始するものとする。
【００４７】
制御部５０は、まずステップＳ２０１で、例えばディスプレイ部３に「認識の学習をしますか？」と表示して、第１のニューラルネットワーク５２に対する学習指示（これを「第１の学習指示」と呼ぶ。）があるか無いかを判断する。第１の学習指示は、この例では使用者がボタンスイッチ１１を１回（３秒間未満）押すことにより入力されるものとする。所定期間（例えば５秒間）内に第１の学習指示があれば（ステップＳ２０１でＹＥＳ）、ステップＳ２０２に進んで第１のニューラルネットワーク５２の学習の処理を行う。予め第１のニューラルネットワーク５２の学習が完了していてステップＳ２０１では第１の学習指示が無かったとき（ステップＳ２０１でＮＯ）、またはステップＳ２０２の学習後に、ステップＳ２０３へ進む。ステップＳ２０３では、第１のニューラルネットワーク５２による認識の処理を開始する。
【００４８】
この第１のニューラルネットワーク５２による認識をリアルタイムで行っている期間中に、制御部５０は、ステップＳ２０４で、例えばディスプレイ部３に「評価の学習をしますか？」と表示して、第２のニューラルネットワーク５５に対する学習指示（これを「第２の学習指示」と呼ぶ。）があるか無いかを判断する。第２の学習指示は、この例では第１の学習指示と同様に、使用者がボタンスイッチ１１を１回（３秒間未満）押すことにより入力されるものとする。所定期間（例えば５秒間）内に第２の学習指示があれば（ステップＳ２０４でＹＥＳ）、ステップＳ２０５に進んで第２のニューラルネットワーク５５の学習の処理を行う。予め第２のニューラルネットワーク５５の学習が完了していてステップＳ２０５では第２の学習指示が無かったとき（ステップＳ２０４でＮＯ）、またはステップＳ２０５の学習後に、この「お手本の収録」の処理を終了する。
【００４９】
次に、被験体９０が複数種類の動作を行う場合を想定して、行動評価装置１における第１のニューラルネットワーク５２の学習段階の処理（図９（Ｂ）中のステップＳ２０２）について、図１０（Ａ）を参照しながら具体的に説明する。この例では、複数種類の動作とは、図７中の「動作状態」欄に示すように、「休止」、「歩行Ａ」、「歩行Ｂ」、「走行Ａ」、「走行Ｂ」、「スイングＡ」、「スイングＢ」という７種類の動作を指すものとする（動作の種類数は、第１のニューラルネットワーク５２の出力素子ｎ１，ｎ２，…，ｎ７の個数に対応している。）。ここで、「休止」は被験体９０が静止している状態を指す。「歩行Ａ」は被験体９０がゆっくり歩いている状態を指し、「歩行Ｂ」は被験体９０が速く歩いている状態を指す。「走行Ａ」は被験体９０がゆっくり走っている状態を指し、「走行Ｂ」は被験体９０が速く走っている状態を指す。「スイングＡ」は被験体９０が長いシャフトのゴルフクラブ（例えば１番ウッド）をフラットにスイングしている状態（水平面に対するスイングプレーンの傾斜角が小）を指し、「スイングＢ」は被験体９０が短いシャフトのゴルフクラブ（例えば９番アイアン）をアップライトにスイングしている状態（水平面に対するスイングプレーンの傾斜角が大）を指す。なお、スイングの範疇には、「スイングＡ」、「スイングＢ」に加えて、さらに別のタイプの「スイングＣ」、「スイングＤ」、…を含んでいても良い。
【００５０】
図１０（Ａ）中のステップＳ１に示すように、まず、被験体９０が行動評価装置１を装着し、行動評価装置１（の第１のニューラルネットワーク５２）に学習させたい７種類の動作を順次行う。これにより、行動評価装置１の加速度センサ２は、上記７種類の動作に対応する加速度データをそれぞれ実測して取得する。既述のように、加速度センサ２のＸ，Ｙ，Ｚ方向の出力（１０ミリ秒周期の値）が、メモリ５４に格納される。これとともに、入力処理部５１は、既述の１２種類の特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４を生成する。例えば、被験体９０が図５中の矢印９１で示すように「スイングＡ」をしている時、Ｘ，Ｙ，Ｚ方向の出力の平均値Ｘ１，Ｙ１，Ｚ１は、図６中のデータ１２，１３，１４のように得られる。
【００５１】
次に、図１０（Ａ）中のステップＳ２に示すように、上記７種類の動作の各々において特徴的な部分を抽出する。図６の例では、被験体９０が「スイングＡ」をしている時に特徴的なデータを表す期間１５のデータを抽出する。このようにした場合、学習の精度を高めることができ、結果として誤認識の防止につながり、有意義である。なお、図６の例では、平均値Ｘ１，Ｙ１，Ｚ１のみを示しているが、標準偏差Ｘ２，Ｙ２，Ｚ２、最大値と最小値との間の差Ｘ３，Ｙ３，Ｚ３、またはゼロクロス回数Ｘ４，Ｙ４，Ｚ４について、それぞれ特徴的なデータを表す期間があれば、その期間のデータを抽出するのが望ましい。
【００５２】
次に、図１０（Ａ）中のステップＳ３に示すように、正しい解答（動作）を表す教師データを作成する。この教師データは、被験体９０が或る動作をした時に、入力処理部５１によって生成された１２種類の特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４が第１のニューラルネットワーク５２に入力された場合に相当するものとする。被験体９０が「スイングＡ」をした例では、出力素子ｎ１，ｎ２，ｎ３，ｎ４，ｎ５，ｎ６，ｎ７の出力に対して、教師データは０，０，０，０，０，１，０となる。
【００５３】
次に、図１０（Ａ）中のステップＳ４に示すように、上記教師データを用いて、第１のニューラルネットワーク５２に、逆誤差伝搬法によって学習を行わせる。すなわち、図３に示した第１のニューラルネットワーク５２の入力素子ｉ１，ｉ２，…，ｉ１２に或る入力データセットとして特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４が入力されたときの出力素子ｎ１，ｎ２，…，ｎ７の出力と、正しい解答を表す教師データとの間の誤差を求める。そして、出力素子ｎ１，ｎ２，…，ｎ７の出力とその教師データとの間の誤差が解消するように、フィードバックを行って、上記重み係数ｗｊ１，ｗｊ２，…，ｗｊ１２を変更して調整してゆく。誤差の元となった中間層の出力も順次調整してゆく。これにより、図１０（Ａ）中のステップＳ５，Ｓ６に示すように、被験体９０の動作状態判別のための重み係数ｗｊ１，ｗｊ２，…，ｗｊ１２を得て、第１のニューラルネットワーク５２にそれらの重み係数を組み込む。このことは、第１のニューラルネットワーク５２を構成するソフトウェア上では、入力データセットから出力データセットを得るための計算式（アルゴリズム）を確立することと等価である。
【００５４】
このようにして学習を行ってゆくと、或る運動を表す入力データセットに対して、出力層５２ｎの出力素子ｎ１，ｎ２，…，ｎ７のうち、１つの出力素子のみが反応し（値が１になり）、残りの出力素子は反応しない（値が略０になる）ようになる。この例では、図７に示すように、ｎ１が反応したときは「休止」、ｎ２が反応したときは「歩行Ａ」、ｎ３が反応したときは「歩行Ｂ」、ｎ４が反応したときは「走行Ａ」、ｎ５が反応したときは「走行Ｂ」、ｎ６が反応したときは「スイングＡ」、ｎ７が反応したときは「スイングＢ」という動作状態を表すようになる。
【００５５】
このようにして、第１のニューラルネットワーク５２の学習段階では、被験体９０がした複数種類（この例では７種類）の動作又は行動と被験体９０に取り付けられた加速度センサ２の出力との間のそれぞれの対応関係に基づいて、加速度センサ２の出力から被験体９０がした動作又は行動を認識する学習を済ませる。
【００５６】
次に、行動評価装置１における第１のニューラルネットワーク５２の認識段階の処理（図９（Ｂ）中のステップＳ２０３）について、図１０（Ｂ）を参照しながら具体的に説明する。被験体９０は、行動評価装置１を装着して、図７中の７種類の動作の中の或る動作を行うものとする。
【００５７】
図１０（Ｂ）中のステップＳ１１に示すように、まず、行動評価装置１の加速度センサ２は、上記７種類の動作に対応する加速度データをそれぞれ実測して取得する。既述のように、加速度センサ２のＸ，Ｙ，Ｚ方向の出力（１０ミリ秒周期の値）が、メモリ５４に格納される。これとともに、ステップＳ１２に示すように、入力処理部５１は、既述の１２種類の統計データである特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４を生成する。
【００５８】
次に、ステップＳ１３に示すように、第１のニューラルネットワーク５２の入力素子ｉ１，ｉ２，…，ｉ１２に、上記１２種類の特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４を含む入力データセットが入力される。すると、ステップＳ１４に示すように、第１のニューラルネットワーク５２の出力層５２ｎ（出力素子ｎ１，ｎ２，…，ｎ７）に、結果を表すデータが出力される。ステップＳ１５に示すように、その結果から、出力処理部５３は、被験体９０が現在行っている動作が何であるかを認識する。
【００５９】
そして、ステップＳ１６に示すように、出力処理部５３による認識結果がディスプレイ部３に表示される。
【００６０】
この行動評価装置１は、電源スイッチ４２がオンされている動作期間内で、第１のニューラルネットワーク５２の学習段階の処理（図９（Ｂ）中のステップＳ２０２）や第２のニューラルネットワーク５５の学習段階の処理（図９（Ｂ）中のステップＳ２０５）を行っている期間以外は、ステップＳ１１〜Ｓ１６の処理を１００ｍｓ周期で繰り返す。これにより、被験体９０の動作状態の認識を実質的にリアルタイムで常時行う。
【００６１】
例えば図１１（Ａ）に模式的に示すように、時間ｔが経過するにつれて、メモリ５４に格納された加速度センサ２の測定データ２１から、その時々の被験体９０の動作状態がリアルタイムで順次認識される（認識結果を符号２２で示す。）。この例では、「休止」、「休止」、「歩行Ａ」、「休止」、「スイングＡ」、「歩行Ａ」、「歩行Ａ」、「休止」がこの順に認識されている。メモリ５４には、加速度センサ２の出力に対応づけて、この動作状態の認識結果２２が順次格納される。
【００６２】
なお、第１のニューラルネットワーク５２の学習段階の処理（図９（Ｂ）中のステップＳ２０２）や第２のニューラルネットワーク５５の学習段階の処理（図９（Ｂ）中のステップＳ２０５）を行っている期間は、例えばディスプレイ部３に「学習中」と表示して、被験体９０の動作状態の認識や行動の評価を行っていないことを明示する。
【００６３】
次に、行動評価装置１における第２のニューラルネットワーク５５の学習段階の処理（図９（Ｂ）中のステップＳ２０５）について、具体的に説明する。
【００６４】
まず、被験体９０が行動評価装置１を装着し、行動評価装置１（の第２のニューラルネットワーク５５）に評価させたい動作を行う。この例では、使用者としての被験体９０が、「スイングＡ」をする、すなわちゴルフクラブとして１番ウッドをスイングしてゴルフボールを打つものとする。
【００６５】
被験体９０にとって満足のいくナイスショットが打てたら、被験体９０は、この例では使用者として、そのスイング後３０秒以内にボタンスイッチ１１を１回（３間秒未満）押す。すなわち、既述の第２の学習指示を入力する（図９（Ｂ）中のステップＳ２０４）。これにより、図１２（Ａ）に示す第２のニューラルネットワーク５５の学習段階の処理に入る。
【００６６】
ボタンスイッチ１１が押された時、図１２（Ａ）中のステップＳ２１に示すように、制御部５０は、メモリ５４内で、現時点ｔ１から遡った直近の、第１のニューラルネットワーク５２を通して認識された動作又は行動を探索する。この例では、制御部５０は、第１のニューラルネットワーク５２が学習を済ませた複数種類の動作又は行動のうちスイングを探索するように設定されている。探索対象の期間の長さは、現時点ｔ１から遡った直近の１分間として設定されている。
【００６７】
制御部５０は、メモリ５４内を探索して、動作状態の認識結果２２の中に或るスイングを発見できたら（ステップＳ２２でＹＥＳ）、それを被験体９０がナイスショットをしたときのスイングであると判断して、ステップＳ２３に示すように、それに対応する加速度センサ２の出力（測定データ）をメモリ５４から読み出す。図１１（Ａ）の例では、「スイングＡ」に対応する加速度センサ２の出力２１Ｆを読み出す。
【００６８】
次に、制御部５０は、図１２（Ａ）中のステップＳ２４に示すように、読み出した加速度センサ２の出力２１Ｆを、学習のために第２のニューラルネットワーク５５の入力層５５ｉに入力する。具体的には、測定データ２１Ｆとしての、入力処理部５１によって生成された１２種類の特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４を、第２のニューラルネットワーク５５の入力素子ｉ１，ｉ２，…，ｉ１２に入力データセットとして入力する。これとともに、制御部５０は、第２のニューラルネットワーク５５の出力層５５ｎ（出力素子ｎ１）に、教師データとして数値「１」を与える。
【００６９】
これにより、第２のニューラルネットワーク５５に、第１のニューラルネットワーク５２におけるのと同様に、逆誤差伝搬法によって学習を行わせる。すなわち、図４に示した第２のニューラルネットワーク５５の入力素子ｉ１，ｉ２，…，ｉ１２に或る入力データセットとして特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４が入力されたときの出力素子ｎ１の出力と、正しい解答を表す教師データとの間の誤差を求める。そして、出力素子ｎ１の出力とその教師データとの間の誤差が解消するように、フィードバックを行って、上記重み係数ｗｊ１，ｗｊ２，…，ｗｊ１２を変更して調整してゆく。誤差の元となった中間層の出力も順次調整してゆく。これにより、図１２（Ａ）中のステップＳ２５，Ｓ２６に示すように、被験体９０の「スイングＡ」を評価するための重み係数ｗｊ１，ｗｊ２，…，ｗｊ１２を得て、第２のニューラルネットワーク５５にそれらの重み係数を組み込む。
【００７０】
このようにして学習を行ってゆくと、被験体９０がナイスショットをしたときの「スイングＡ」を表す入力データセットに対して、出力層５５ｎの出力素子ｎ１の値が１になり、ミスショットをしたときのスイングや別の「スイングＢ」、「スイングＣ」、…を表す入力データセットに対して出力素子ｎ１の値が小さくなる（０に近くなる）ようになる。
【００７１】
このようにして、第２のニューラルネットワーク５５の学習段階では、被験体９０がナイスショットをしたときの「スイングＡ」と被験体９０に取り付けられた加速度センサ２の出力との間の対応関係に基づいて、加速度センサ２の出力から被験体９０がしたスイングを評価するための学習を済ませる。
【００７２】
上の例では、被験体９０がナイスショットをしたときのスイングに対応する加速度センサ２の出力を、第２のニューラルネットワーク５５の学習のための入力データセットとした。当然ながら、これに限られるものではなく、例えばゴルフコーチがお手本ショットをしたときのスイングに対応する加速度センサ２の出力を、第２のニューラルネットワーク５５の学習のための入力データセットとしても良い。
【００７３】
いずれにしても、この行動評価装置１では、使用者がボタンスイッチ１１を押すことによって、第２のニューラルネットワーク５５に所望のタイミングで適切な手本を学習させることができる。
【００７４】
次に、行動評価装置１における「行動の評価」段階の処理（図９（Ａ）中のステップＳ１０２）について、具体的に説明する。
【００７５】
この「行動の評価」段階では、第１のニューラルネットワーク５２は、被験体９０の動作状態の認識をリアルタイムで常時行っている。例えば図１１（Ｂ）に模式的に示すように、時間ｔが経過するにつれて、メモリ５４に格納された加速度センサ２の測定データ２３から、その時々の被験体９０の動作状態がリアルタイムで順次認識される（認識結果を符号２４で示す。）。この例では、「休止」、「休止」、「歩行Ａ」、「休止」、「スイングＡ」、「歩行Ａ」、「歩行Ａ」、「休止」がこの順に認識されている。メモリ５４には、加速度センサ２の出力に対応づけて、この動作状態の認識結果２４が順次格納されている。
【００７６】
図１２（Ｂ）中のステップＳ３１に示すように、制御部５０は、メモリ５４内における動作状態の認識結果２４に或るスイングが含まれているか否かをリアルタイムで常時探索する。動作状態の認識結果２４にスイングが含まれていれば（ステップＳ３２でＹＥＳ）、制御部５０は、ステップＳ３３に示すように、そのスイングに対応する加速度センサ２の出力をメモリ５４から読み出す。図１１（Ａ）の例では、「スイングＡ」に対応する加速度センサ２の出力（測定データ）２３Ｆを読み出す。
【００７７】
次に、制御部５０は、図１２（Ｂ）中のステップＳ３４に示すように、読み出した加速度センサ２の出力（測定データ）２３Ｆを、行動の評価のために第２のニューラルネットワーク５５の入力層５５ｉに入力する。具体的には、測定データ２３Ｆとしての入力処理部５１によって生成された１２種類の特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４を、第２のニューラルネットワーク５５の入力素子ｉ１，ｉ２，…，ｉ１２に入力データセットとして入力する。すると、ステップＳ３５に示すように、第２のニューラルネットワーク５５の出力層５５ｎ（出力素子ｎ１）に、結果を表すデータが出力される。すなわち、お手本（図９（Ｂ）中のステップＳ２０５で学習したもの）に近い程度を表す近似度（０から１までの数値）が出力される。例えば図８（Ａ）に例示するように、近似度として出力素子ｎ１に０．８０という数値が出力される。この例では、第２のニューラルネットワーク５５の出力層５５ｎが単一の出力素子ｎ１のみを含むので、被験体９０がした或るスイングが手本に近い程度を１つの数値で明確に表すことができる。
【００７８】
そして、図１２（Ｂ）中のステップＳ３６に示すように、出力処理部５３によってスイングの評価結果がディスプレイ部３に表示される。この例では、出力処理部５３は、近似度の数値を１００倍して、１００点満点の点数Ｐを算出する。Ｐ＝８０の場合は「さっきのスイングは８０点」というように表示を行う。
【００７９】
このように、この行動評価装置１によれば、近似度に基づく点数表示によって、使用者は、被験体９０がしたスイングが手本に近い程度、すなわち、被験体９０自身が調子の良いとき（ナイスショットをしたとき）のスイングにどれだけ近いか、またはゴルフコーチがお手本ショットをしたときのスイングにどれだけ近いか、を明確に知ることができる。
【００８０】
この行動評価装置１は、「行動の評価」段階の処理を行っている期間は、ステップＳ３１〜Ｓ３６の処理を１００ｍｓ周期で繰り返す。これにより、被験体９０がしたスイングの評価を実質的にリアルタイムで常時行うことができる。
【００８１】
この例では、電源スイッチ４２がオフされたとき、または、電源スイッチ４２がオンされている動作期間中に、使用者がボタンスイッチ１１を３秒間以上押し続けたとき、この「行動の評価」段階の処理を終了するものとする。
【００８２】
以上より明らかなように、この実施形態の行動評価装置１では、使用者がボタンスイッチ１１を押して第２の学習指示を入力することによって、第２のニューラルネットワーク５５に所望のタイミングで適切な手本を学習させることができる。したがって、この行動評価装置１によれば、「行動の評価」段階で、従来に比して、被験体９０がした動作又は行動についての評価の精度を高めることができる。
【００８３】
なお、この実施形態では、使用者がボタンスイッチ１１を押して第１、第２の学習指示を入力するものとしたが、これに限られるものではない。無線通信装置４は、この行動評価装置１の近傍に存在する携帯電話やパーソナルコンピュータから無線通信装置４を介して、第１、第２の学習指示を入力するようにしても良い。
【００８４】
また、この実施形態では、第１のニューラルネットワーク５２の学習段階（図９（Ｂ）中のステップＳ２０２）で、被験体９０が行動評価装置１を装着し、加速度データを実測して、第１のニューラルネットワーク５２に学習させるべき入力データを得た。しかしながら、第１のニューラルネットワーク５２は、大まかな動作状態の認識を行うだけであるから、必ずしも被験体９０からの実測データを入力データとする必要はない。第１のニューラルネットワーク５２の学習は、この行動評価装置１の近傍に存在するパーソナルコンピュータ等から無線通信装置４を介して、予め学習用に用意された入力データを入力し、学習アルゴリズムを実行することによって行っても良い。
【００８５】
また、上述の実施形態では、第１のニューラルネットワーク５２は、３層からなり、１２個の入力素子、７個の出力素子を備えたものとした。また、第２のニューラルネットワーク５５は、３層からなり、１２個の入力素子、１個の出力素子を備えたものとした。しかしながら、これに限られるものではなく、第１のニューラルネットワーク５２、第２のニューラルネットワーク５５は、さらに多層で、多くの入力素子、出力素子を備えても良い。
【００８６】
特に、第２のニューラルネットワーク５５の出力層５５ｎの出力素子は、お手本の数だけあっても良い。例えば「スイングＡ」についてのお手本データと、「スイングＢ」についてのお手本データとがある場合、図８（Ｂ）中に例示するように、第２のニューラルネットワーク５５の出力層５５ｎを２つの出力素子ｎ１，ｎ２を含むものとする。この場合、第２のニューラルネットワーク５５の学習段階で、「スイングＡ」に応じたお手本の入力データセットを入力したときは、教師データとしてｎ１に数値「１」を与え、ｎ２に数値「０」を与える。一方、「スイングＢ」に応じたお手本の入力データセットを入力したときは、教師データとしてｎ１に数値「０」を与え、ｎ２に数値「１」を与える。このようにして、学習を済ませる。すると、「行動の評価」段階では、例えば被験体９０がお手本に近い「スイングＡ」をしたとき、図８（Ｂ）中に例示するように、例えば出力素子ｎ１に数値「０．９０」が出力され、出力素子ｎ２に数値「０．１０」が出力される。この出力結果は、ｎ１，ｎ２の中でｎ１の値が最も大きいことから、被験体９０がしたスイングは「スイングＡ」であることを示している。また、被験体９０がした「スイングＡ」のお手本の「スイングＡ」に対する近似度が、０．９０（１００点満点で９０点）であることを示している。
【００８７】
このように、第２のニューラルネットワーク５５の出力層５５ｎが複数の出力素子を含む場合、複数のタイプのスイングを評価することができる。
【００８８】
また、上述の実施形態では、加速度センサ２のＸ，Ｙ，Ｚ方向の出力（１０ミリ秒周期の値）から、入力処理部５１によって、既述の１２種類の統計データである特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４を生成した。しかしながら、これに限られるものではない。例えば標準偏差Ｘ２，Ｙ２，Ｚ２に代えて、またはそれに加えて、時刻ｔ０からｔ１までの５秒間における加速度センサ２のＸ，Ｙ，Ｚ方向の出力の「分散」を、特徴データとして生成して用いても良い。または、最大値と最小値との間の差Ｘ３，Ｙ３，Ｚ３に代えて、またはそれに加えて、時刻ｔ０からｔ１までの５秒間における加速度センサ２のＸ，Ｙ，Ｚ方向の出力の「最大値」および「最小値」を、特徴データとして抽出して用いても良い。要するに、この実施形態で挙げた特徴データのうち、少なくとも２種類の特徴データを用いれば、本発明を実施することができる。当然ながら、この実施形態で挙げた特徴データの全部を用いても良い。
【００８９】
また、この実施形態では、行動評価装置１は、携帯電話１０１や、歩数計・活動量計、モバイルコンピュータなどの電子機器に、一体に組み込んで構成され得る。これにより、ユーザの利便性を高めることができる。
【００９０】
一方、加速度センサ２を本体ケーシング７とは別体に構成して、加速度センサ２（およびそれに付随した無線通信装置）のみが被験体９０に装着されるようにしても良い。この場合、加速度センサ２と本体とは無線通信装置を介して通信する。
【００９１】
また、この実施形態では、行動評価装置１は、ゴルフのスイングを評価する例について述べたが、当然ながら、これに限られるものではない。例えばダンスなどにおいては、指導者の動きをお手本として行動評価装置１にデータ入力してもらうことにより、被験体９０の動きがお手本にどれだけ近づいているか、ということを評価できる。
【００９２】
なお、上記行動評価装置１が対象とする被験体９０は、冒頭に述べたように、代表的には人間を指すが、動物も含む。この行動評価装置１は、使用者が被験体９０としての動物に芸を仕込む場合にも、好ましく適用できる。
【符号の説明】
【００９３】
１ 行動評価装置
２ 加速度センサ
３ ディスプレイ部
４ 無線通信装置
５ 演算装置
６ 電池
７ 本体ケーシング
４１ 指示スイッチ
５０ 制御部
５１ 入力処理部
５２ 第１のニューラルネットワーク
５３ 出力処理部
５４ メモリ
５５ 第２のニューラルネットワーク
【技術分野】
【０００１】
この発明は行動評価装置に関し、より詳しくは、加速度センサを用いて、被験体の動作又は行動を認識して評価する行動評価装置に関する。
【０００２】
ここで、「被験体」とは、代表的には人間を指すが、動物であっても良い。
【０００３】
また、「動作」とは、被験体の動きを指す。「行動」とは、意識的なものも含まれる動きや行いを指す。本明細書では、簡単のため、動作と行動とを併せて、適宜「動作」と呼ぶ。
【０００４】
この発明の行動評価装置は、典型的には、歩数計・活動量計、携帯電話、モバイルコンピュータなどに組み込んで用いられ得る。
【背景技術】
【０００５】
従来、例えば特許文献１（特開平１０−１１３３４３号公報）には、被験体の動作又は行動に伴う状態変化を観測する計測手段と、前記観測結果における特徴量を抽出する特徴量抽出手段と、当該認識装置により認識すべき動作又は行動についての特徴量を記憶する記憶手段と、前記観測結果から抽出した特徴量と記憶してある特徴量とから、前記被験体の動作又は行動を認識する認識手段とを備えたシステムが開示されている。さらに、同文献には、事故などにより足などに障害を受けた場合のリハビリテーションに利用するために、標準的な動作（障害を受ける前の歩行動作等）と計測動作（障害を受けている現在の被験者の歩行動作等）の違いを、観測波形の周波数スペクトルの差分として視覚的に示すことが記載されている。また、標準動作特徴量データベースには、被験者の事故前の標準動作の特徴量を抽出して登録しておくのが最適であるが、それがない場合には、多数の被験者の平均的な動作から求めた特徴量を標準動作として用いてもよい旨が述べられている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−１１３３４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、事故に遭うことを前提として、被験者が標準動作特徴量データベースに標準的な動作を登録しておくようなことは、通常は有り得ない。また、多数の被験者の平均的な動作から求めた特徴量を標準動作として用いる場合、評価の精度が落ちるという問題がある。
【０００８】
そこで、この発明の課題は、被験体に対する検出手段として加速度センサのみを含む簡単かつ安価な構成で、被験体がした動作又は行動についての評価の精度を高めることができる行動評価装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、この発明の行動評価装置は、
被験体に取り付けられるべき加速度センサと、
上記加速度センサの出力を記憶するメモリと、
上記加速度センサの出力から、手本となる動作又は行動を認識する学習を済ませたニューラルネットワークとを備えて、
上記被験体に取り付けられた上記加速度センサの出力から、上記ニューラルネットワークを通して上記被験体がした動作又は行動を認識するとともに、認識された動作又は行動が上記手本に近い程度を評価する行動評価装置において、
上記ニューラルネットワークは、
予め、上記被験体がした複数種類の動作又は行動と上記被験体に取り付けられた上記加速度センサの出力との間のそれぞれの対応関係に基づいて、上記被験体がした動作又は行動を認識する学習を済ませ、その学習後は、上記加速度センサの出力に基づいて、リアルタイムで上記被験体がした動作又は行動を認識する第１のニューラルネットワークと、
指示に基づいて、上記第１のニューラルネットワークを通して認識された動作又は行動に対応する上記加速度センサの出力を、上記メモリから読み出して手本として学習し、その学習後は、上記第１のニューラルネットワークを通して認識された動作又は行動が上記手本に近い程度を表す近似度を出力する第２のニューラルネットワークとを
含むことを特徴とする。
【００１０】
この発明の行動評価装置では、第１のニューラルネットワークは、予め、上記被験体がした複数種類の動作又は行動と上記被験体に取り付けられた上記加速度センサの出力との間のそれぞれの対応関係に基づいて、上記被験体がした動作又は行動を認識する学習を済ませ、その学習後は、上記加速度センサの出力に基づいて、リアルタイムで上記被験体がした動作又は行動を認識する。第２のニューラルネットワークは、指示に基づいて、上記第１のニューラルネットワークを通して認識された動作又は行動に対応する上記加速度センサの出力を、上記メモリから読み出して手本として学習する。したがって、使用者（この行動評価装置を操作する者を指す。典型的には被験体であるが、別の者であっても良い。以下同様。）は、上記指示を入力することによって、上記第２のニューラルネットワークに、例えばスポーツやダンスなどにおいて被験体の調子が良かったときの動きを、上記手本として学習させることができる。上記第２のニューラルネットワークは、その学習後は、上記第１のニューラルネットワークを通して認識された動作又は行動が上記手本に近い程度を表す近似度を出力する。この近似度に基づいて、使用者は、上記被験体がした動作又は行動が上記手本に近い程度を知ることができる。
【００１１】
この行動評価装置では、使用者が上記指示を入力することによって、第２のニューラルネットワークに所望のタイミングで適切な手本を学習させることができる。したがって、この行動評価装置によれば、従来に比して、被験体がした動作又は行動についての評価の精度を高めることができる。また、上記行動評価装置は、被験体に対する検出手段として加速度センサのみを備えているので、簡単かつ安価に構成され得る。
【００１２】
一実施形態の行動評価装置では、
上記指示を入力するための指示スイッチと、
上記指示スイッチによって上記指示が入力された時、上記メモリ内で、現時点から遡った直近の、上記第１のニューラルネットワークを通して認識された動作又は行動に対応する上記加速度センサの出力を探索し、探索した上記加速度センサの出力を上記メモリから読み出して、学習のために上記第２のニューラルネットワークに入力する制御を行う制御部とを備えたことを特徴とする。
【００１３】
この一実施形態の行動評価装置では、使用者が上記指示スイッチによって上記指示を入力する。上記指示スイッチによって上記指示が入力された時、制御部は、上記メモリ内で、現時点から遡った直近の、上記第１のニューラルネットワークを通して認識された動作又は行動に対応する上記加速度センサの出力を探索し、探索した上記加速度センサの出力を上記メモリから読み出して、学習のために上記第２のニューラルネットワークに入力する制御を行う。したがって、使用者は、上記第２のニューラルネットワークに所望のタイミングで適切な手本を学習させることができる。
【００１４】
一実施形態の行動評価装置では、上記第２のニューラルネットワークの出力層は単一の素子のみを含むことを特徴とする。
【００１５】
この一実施形態の行動評価装置では、上記第２のニューラルネットワークの出力層は単一の素子のみを含むから、その単一の素子の出力から得られた近似度は、被験体がした或る動作又は行動が上記手本に近い程度を１つの数値で明確に表すことができる。
【００１６】
一実施形態の行動評価装置では、上記近似度は数値であることを特徴とする。
【００１７】
この一実施形態の行動評価装置では、上記近似度は数値であるから、使用者は、被験体がした或る動作又は行動が上記手本に近い程度を明確に知ることができる。
【００１８】
一実施形態の行動評価装置では、上記動作又は行動はゴルフスイングを含むことを特徴とする。
【００１９】
この一実施形態の行動評価装置では、上記動作又は行動はゴルフスイングを含む。したがって、使用者は、上記指示を入力することによって、上記第２のニューラルネットワークに、例えば被験体がナイスショットをしたときのスイングやゴルフコーチがお手本ショットをしたときのスイングを、上記手本として学習させることができる。この結果、行動の評価段階で、使用者は、被験体がしたスイングが、被験体自身が調子の良いとき（ナイスショットをしたとき）のスイングにどれだけ近いか、またはゴルフコーチがお手本ショットをしたときのスイングにどれだけ近いか、を知ることができる。
【発明の効果】
【００２０】
以上より明らかなように、この発明の行動評価装置によれば、被験体に対する検出手段として加速度センサのみを含む簡単かつ安価な構成で、被験体がした動作又は行動についての評価の精度を高めることができる。
【図面の簡単な説明】
【００２１】
【図１】図１（Ａ）は、この発明の一実施形態の行動評価装置の外観を正面から見たところを示す図である。図１（Ｂ）は、上記行動評価装置を右側方から見たところを示す図である。図１（Ｃ）は、上記行動評価装置を分解状態で右側方から見たところを示す図である。図１（Ｄ）は、上記行動評価装置に含まれた部品を示す図である。図１（Ｅ）は、被験体としての人が上記行動評価装置を装着した態様を示す図である。
【図２】上記行動評価装置に含まれた演算装置のブロック構成を示す図である。
【図３】上記演算装置に含まれた第１のニューラルネットワークの構成を例示する図である。
【図４】上記演算装置に含まれた第２のニューラルネットワークの構成を例示する図である。
【図５】被験体としての人が「スイングＡ」を行っている様子を示す図である。
【図６】被験体が図５の運動を行っている時の、上記行動評価装置に含まれた加速度センサの出力を示す図である。
【図７】上記第１のニューラルネットワークの出力層の各ニューロンと、上記被験体としての人の動作状態との間の対応を例示する図である。
【図８】図８（Ａ）は、上記第２のニューラルネットワークの出力層が単一の素子からなる場合のニューロンの出力を例示する図である。図８（Ｂ）は、上記第２のニューラルネットワークの出力層が２つの出力素子からなる場合の各ニューロンの出力を例示する図である。
【図９】図９（Ａ）は、上記行動評価装置における概略的な処理フローを示す図である。図９（Ｂ）は、上記行動評価装置における「お手本の収録」段階の処理フローを示す図である。
【図１０】図１０（Ａ）は、上記第１のニューラルネットワークの学習段階の処理フローを示す図である。図１０（Ｂ）は、上記第１のニューラルネットワークの認識段階の処理フローを示す図である。
【図１１】図１１（Ａ）は、上記第１のニューラルネットワークの認識動作を模式的に説明する図である。図１１（Ｂ）は、上記第２のニューラルネットワークの評価動作を模式的に説明する図である。
【図１２】図１２（Ａ）は、上記第２のニューラルネットワークの学習段階の処理フローを示す図である。図１２（Ｂ）は、上記第２のニューラルネットワークの評価段階の処理フローを示す図である。
【発明を実施するための形態】
【００２２】
以下、この発明の一実施形態の行動評価装置について、図面を参照しながら詳細に説明する。
【００２３】
図１（Ａ）に示すように、この発明の一実施形態の行動評価装置１は、本体ケーシング７と、この本体ケーシング７の前面部７Ａに設けられたＬＣＤ（液晶表示素子）からなるディスプレイ部３と、指示スイッチとして働くノーマリオープン型のボタンスイッチ１１と、スライド式の電源スイッチ４２とを備えている。
【００２４】
図１（Ｂ）（行動評価装置１を右側方から見たところに相当する）に示すように、本体ケーシング７の後面部７Ｂには、この行動評価装置１を被験体（この例では人）９０に装着するためのクリップ８が設けられている。具体的には、クリップ８は、蝶番９を介して後面部７Ｂに取り付けられており、クリップ８の先端８ａが後面部７Ｂに近づくように、図示しないばねによって付勢されている。これにより、図１（Ｅ）に示すように、行動評価装置１は、被験体９０の腰の横に容易に装着され得る（例えば、被験体９０が着けている図示しないベルトにクリップ８を引っ掛ければ良い。）。
【００２５】
図１（Ｃ）および図１（Ｄ）によって分かるように、ケーシング７の内部には、電子回路基板１０と、この電子回路基板１０へ電力を供給するための充電可能な電池６とが収容されている。電源スイッチ４２のオン（ＯＮ）、オフ（ＯＦＦ）に応じて、電池６から電子回路基板１０へ電力が供給され、または非供給になる。
【００２６】
電子回路基板１０には、無線通信装置４と、加速度センサ２と、演算装置５とが搭載されている。
【００２７】
無線通信装置４は、この行動評価装置１の近傍に存在する携帯電話やパーソナルコンピュータ等との間で、Ｂｌｕｅｔｏｏｔｈ（ブルートゥース）規格によって無線通信を行う公知の装置である。この無線通信装置４により、この行動評価装置１による評価結果（後述）を上記携帯電話やパーソナルコンピュータ等へ送信することが可能となる。
【００２８】
加速度センサ２は、Ｘ軸・Ｙ軸・Ｚ軸の３軸方向の加速度を、この例では±２Ｇの範囲で検知可能な半導体式の公知のものである。この加速度センサ２は、１０ミリ秒周期でＸ，Ｙ，Ｚ方向の加速度をそれぞれ計測して出力する。加速度センサ２が出力した値は、次に述べる制御部５０に内蔵されたメモリ５４（図２参照）に順次格納され、少なくとも５秒間保持される。
【００２９】
演算装置５は、図２に示すように、この演算装置５全体の動作を制御するＣＰＵ（中央演算処理装置）からなる制御部５０と、加速度センサ２の出力を受けて処理する入力処理部５１と、第１のニューラルネットワーク５２と、第２のニューラルネットワーク５５と、第１のニューラルネットワーク５２および第２のニューラルネットワーク５５の出力を受けて処理する出力処理部５３と、データを一時的に格納し得るメモリ５４とを備えている。
【００３０】
入力処理部５１は、制御部５０による制御下で、加速度センサ２の出力に対して信号処理を施して、人９０の動きを表す特徴データとして複数種類の統計データを生成する。具体的には、入力処理部５１は、次のような統計データを生成する。
【００３１】
まず、現在の時刻（人９０の動作状態の認識を行う時刻に相当）をｔ１とし、そこから５秒前の時刻をｔ０とする。入力処理部５１は、時刻ｔ０からｔ１までの５秒間にメモリ５４に格納された加速度センサ２のＸ，Ｙ，Ｚ方向の出力（１０ミリ秒周期の値）の平均値をそれぞれ統計データとして算出する。算出された平均値を、それぞれ特徴データＸ１，Ｙ１，Ｚ１とする。
【００３２】
また、入力処理部５１は、時刻ｔ０からｔ１までの５秒間における加速度センサ２のＸ，Ｙ，Ｚ方向の出力の標準偏差を統計データとして算出する。算出された標準偏差を、それぞれ特徴データＸ２，Ｙ２，Ｚ２とする。
【００３３】
また、入力処理部５１は、時刻ｔ０からｔ１までの５秒間における加速度センサ２のＸ，Ｙ，Ｚ方向それぞれの出力の最大値と最小値とを探索して、上記最大値と最小値との間の差をそれぞれ統計データとして算出する。算出された上記最大値と最小値との間の差を、それぞれ特徴データＸ３，Ｙ３，Ｚ３とする。
【００３４】
また、入力処理部５１は、時刻ｔ０からｔ１までの５秒間において加速度センサ２のＸ，Ｙ，Ｚ方向の出力が０になった回数（以下「ゼロクロス回数」という。）をそれぞれカウントして統計データとして求める。求められたゼロクロス回数を、それぞれＸ４，Ｙ４，Ｚ４とする。
【００３５】
このように、入力処理部５１は、１２種類の統計データである特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４を生成する。入力処理部５１による特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４の生成は、１００ミリ秒周期で行われる。１つの軸方向、例えばＸ軸方向に関して言えば、メモリ５４に格納された５００個の１種類のデータ（５秒間にわたる加速度センサ２の出力値）から、入力処理部５１によって４種類の特徴データＸ１〜Ｘ４が１００ミリ秒毎に生成される、ということになる。
【００３６】
第１のニューラルネットワーク５２は、この例では図３に示すように、１２個の入力素子ｉ１，ｉ２，…，ｉ１２を含む入力層５２ｉと、７個の素子ｍ１，ｍ２，…，ｍ７を含む中間層５２ｍと、７個の出力素子ｎ１，ｎ２，…，ｎ７を含む出力層５２ｎとの３層から構成されている。この第１のニューラルネットワーク５２は、この例では逆誤差伝搬法（Back Propagation algorithm）と呼ばれる学習法によって、入力層５２ｉの入力素子ｉ１，ｉ２，…，ｉ１２に入力された入力から、出力層５２ｎの出力素子ｎ１，ｎ２，…，ｎ７に正しい出力が得られるような学習を行えるように構成されている。
【００３７】
具体的には、まず、入力素子ｉ１，ｉ２，…，ｉ１２に対する入力にそれぞれ重み係数ｗｊ１，ｗｊ２，…，ｗｊ１２（ｊ＝１，２，…，７とする。）を乗算し、次のようにそれらの入力と重み係数との積の線形和ｕjを求める。
【００３８】
出力素子ｎ１，ｎ２，…，ｎ７の出力を、次のようにその線形和ｕjのシグモイド関数ｆ（ｕｊ）であるものとする。
ｆ（ｕｊ）＝１／（１＋ｅｘｐ（−ｕｊ））
【００３９】
次に、入力素子ｉ１，ｉ２，…，ｉ１２に或る入力データセットが入力されたときの出力素子ｎ１，ｎ２，…，ｎ７の出力と、正しい解答を表す教師データとの間の誤差を求める。
【００４０】
出力素子ｎ１，ｎ２，…，ｎ７の出力とその教師データとの間の誤差が解消するように、上記重み係数ｗｊ１，ｗｊ２，…，ｗｊ１２を変更してゆく。誤差の元となった中間層の出力も順次調整してゆく。
【００４１】
このようにして学習を行ってゆくと、或る入力データセットに対して出力層５２ｎの出力素子ｎ１，ｎ２，…，ｎ７のうち、１つの出力素子のみが反応し（値が１になり）、残りの出力素子の値は略０になるようになる。第１のニューラルネットワーク５２は、このような逆誤差伝搬法による学習を行えるように構成されている。
【００４２】
第２のニューラルネットワーク５５は、この例では図４に示すように、１２個の入力素子ｉ１，ｉ２，…，ｉ１２を含む入力層５５ｉと、７個の素子ｍ１，ｍ２，…，ｍ７を含む中間層５５ｍと、１個の出力素子ｎ１を含む出力層５５ｎとの３層から構成されている。この第２のニューラルネットワーク５２は、第１のニューラルネットワーク５２と同様に、この例では逆誤差伝搬法によって、入力層５５ｉの入力素子ｉ１，ｉ２，…，ｉ１２に入力された入力から、出力層５５ｎの出力素子ｎ１に正しい出力が得られるような学習を行えるように構成されている。
【００４３】
図２中の出力処理部５３は、制御部５０による制御下で、第１のニューラルネットワーク５２の出力層５２ｎおよび第２のニューラルネットワーク５５の出力層５５ｎの出力を受けて、それに応じた認識・評価結果を画像として出力する処理を行う。この認識・評価結果は、行動評価装置１のディスプレイ部３に表示される。
【００４４】
上述の入力処理部５１、第１のニューラルネットワーク５２、第２のニューラルネットワーク５５、出力処理部５３は、ソフトウェアによって構成されている。この行動評価装置１は、被験体９０に対する検出手段として加速度センサ２のみを備えているので、簡単かつ安価に構成され得る。
【００４５】
図９（Ａ）に示すように、この行動評価装置１は、制御部５０による制御によって、大別して、ステップＳ１０１に示す「お手本の収録」段階の処理と、ステップＳ１０２に示す「行動の評価」段階の処理とを実行する。
【００４６】
図９（Ｂ）は、上記「お手本の収録」段階の処理（ステップＳ１０１）を、より具体的に示している。この例では、電源スイッチ４２がオンされている動作期間中に、使用者がボタンスイッチ１１を３秒間以上押し続けたとき、この「お手本の収録」段階の処理を開始するものとする。
【００４７】
制御部５０は、まずステップＳ２０１で、例えばディスプレイ部３に「認識の学習をしますか？」と表示して、第１のニューラルネットワーク５２に対する学習指示（これを「第１の学習指示」と呼ぶ。）があるか無いかを判断する。第１の学習指示は、この例では使用者がボタンスイッチ１１を１回（３秒間未満）押すことにより入力されるものとする。所定期間（例えば５秒間）内に第１の学習指示があれば（ステップＳ２０１でＹＥＳ）、ステップＳ２０２に進んで第１のニューラルネットワーク５２の学習の処理を行う。予め第１のニューラルネットワーク５２の学習が完了していてステップＳ２０１では第１の学習指示が無かったとき（ステップＳ２０１でＮＯ）、またはステップＳ２０２の学習後に、ステップＳ２０３へ進む。ステップＳ２０３では、第１のニューラルネットワーク５２による認識の処理を開始する。
【００４８】
この第１のニューラルネットワーク５２による認識をリアルタイムで行っている期間中に、制御部５０は、ステップＳ２０４で、例えばディスプレイ部３に「評価の学習をしますか？」と表示して、第２のニューラルネットワーク５５に対する学習指示（これを「第２の学習指示」と呼ぶ。）があるか無いかを判断する。第２の学習指示は、この例では第１の学習指示と同様に、使用者がボタンスイッチ１１を１回（３秒間未満）押すことにより入力されるものとする。所定期間（例えば５秒間）内に第２の学習指示があれば（ステップＳ２０４でＹＥＳ）、ステップＳ２０５に進んで第２のニューラルネットワーク５５の学習の処理を行う。予め第２のニューラルネットワーク５５の学習が完了していてステップＳ２０５では第２の学習指示が無かったとき（ステップＳ２０４でＮＯ）、またはステップＳ２０５の学習後に、この「お手本の収録」の処理を終了する。
【００４９】
次に、被験体９０が複数種類の動作を行う場合を想定して、行動評価装置１における第１のニューラルネットワーク５２の学習段階の処理（図９（Ｂ）中のステップＳ２０２）について、図１０（Ａ）を参照しながら具体的に説明する。この例では、複数種類の動作とは、図７中の「動作状態」欄に示すように、「休止」、「歩行Ａ」、「歩行Ｂ」、「走行Ａ」、「走行Ｂ」、「スイングＡ」、「スイングＢ」という７種類の動作を指すものとする（動作の種類数は、第１のニューラルネットワーク５２の出力素子ｎ１，ｎ２，…，ｎ７の個数に対応している。）。ここで、「休止」は被験体９０が静止している状態を指す。「歩行Ａ」は被験体９０がゆっくり歩いている状態を指し、「歩行Ｂ」は被験体９０が速く歩いている状態を指す。「走行Ａ」は被験体９０がゆっくり走っている状態を指し、「走行Ｂ」は被験体９０が速く走っている状態を指す。「スイングＡ」は被験体９０が長いシャフトのゴルフクラブ（例えば１番ウッド）をフラットにスイングしている状態（水平面に対するスイングプレーンの傾斜角が小）を指し、「スイングＢ」は被験体９０が短いシャフトのゴルフクラブ（例えば９番アイアン）をアップライトにスイングしている状態（水平面に対するスイングプレーンの傾斜角が大）を指す。なお、スイングの範疇には、「スイングＡ」、「スイングＢ」に加えて、さらに別のタイプの「スイングＣ」、「スイングＤ」、…を含んでいても良い。
【００５０】
図１０（Ａ）中のステップＳ１に示すように、まず、被験体９０が行動評価装置１を装着し、行動評価装置１（の第１のニューラルネットワーク５２）に学習させたい７種類の動作を順次行う。これにより、行動評価装置１の加速度センサ２は、上記７種類の動作に対応する加速度データをそれぞれ実測して取得する。既述のように、加速度センサ２のＸ，Ｙ，Ｚ方向の出力（１０ミリ秒周期の値）が、メモリ５４に格納される。これとともに、入力処理部５１は、既述の１２種類の特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４を生成する。例えば、被験体９０が図５中の矢印９１で示すように「スイングＡ」をしている時、Ｘ，Ｙ，Ｚ方向の出力の平均値Ｘ１，Ｙ１，Ｚ１は、図６中のデータ１２，１３，１４のように得られる。
【００５１】
次に、図１０（Ａ）中のステップＳ２に示すように、上記７種類の動作の各々において特徴的な部分を抽出する。図６の例では、被験体９０が「スイングＡ」をしている時に特徴的なデータを表す期間１５のデータを抽出する。このようにした場合、学習の精度を高めることができ、結果として誤認識の防止につながり、有意義である。なお、図６の例では、平均値Ｘ１，Ｙ１，Ｚ１のみを示しているが、標準偏差Ｘ２，Ｙ２，Ｚ２、最大値と最小値との間の差Ｘ３，Ｙ３，Ｚ３、またはゼロクロス回数Ｘ４，Ｙ４，Ｚ４について、それぞれ特徴的なデータを表す期間があれば、その期間のデータを抽出するのが望ましい。
【００５２】
次に、図１０（Ａ）中のステップＳ３に示すように、正しい解答（動作）を表す教師データを作成する。この教師データは、被験体９０が或る動作をした時に、入力処理部５１によって生成された１２種類の特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４が第１のニューラルネットワーク５２に入力された場合に相当するものとする。被験体９０が「スイングＡ」をした例では、出力素子ｎ１，ｎ２，ｎ３，ｎ４，ｎ５，ｎ６，ｎ７の出力に対して、教師データは０，０，０，０，０，１，０となる。
【００５３】
次に、図１０（Ａ）中のステップＳ４に示すように、上記教師データを用いて、第１のニューラルネットワーク５２に、逆誤差伝搬法によって学習を行わせる。すなわち、図３に示した第１のニューラルネットワーク５２の入力素子ｉ１，ｉ２，…，ｉ１２に或る入力データセットとして特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４が入力されたときの出力素子ｎ１，ｎ２，…，ｎ７の出力と、正しい解答を表す教師データとの間の誤差を求める。そして、出力素子ｎ１，ｎ２，…，ｎ７の出力とその教師データとの間の誤差が解消するように、フィードバックを行って、上記重み係数ｗｊ１，ｗｊ２，…，ｗｊ１２を変更して調整してゆく。誤差の元となった中間層の出力も順次調整してゆく。これにより、図１０（Ａ）中のステップＳ５，Ｓ６に示すように、被験体９０の動作状態判別のための重み係数ｗｊ１，ｗｊ２，…，ｗｊ１２を得て、第１のニューラルネットワーク５２にそれらの重み係数を組み込む。このことは、第１のニューラルネットワーク５２を構成するソフトウェア上では、入力データセットから出力データセットを得るための計算式（アルゴリズム）を確立することと等価である。
【００５４】
このようにして学習を行ってゆくと、或る運動を表す入力データセットに対して、出力層５２ｎの出力素子ｎ１，ｎ２，…，ｎ７のうち、１つの出力素子のみが反応し（値が１になり）、残りの出力素子は反応しない（値が略０になる）ようになる。この例では、図７に示すように、ｎ１が反応したときは「休止」、ｎ２が反応したときは「歩行Ａ」、ｎ３が反応したときは「歩行Ｂ」、ｎ４が反応したときは「走行Ａ」、ｎ５が反応したときは「走行Ｂ」、ｎ６が反応したときは「スイングＡ」、ｎ７が反応したときは「スイングＢ」という動作状態を表すようになる。
【００５５】
このようにして、第１のニューラルネットワーク５２の学習段階では、被験体９０がした複数種類（この例では７種類）の動作又は行動と被験体９０に取り付けられた加速度センサ２の出力との間のそれぞれの対応関係に基づいて、加速度センサ２の出力から被験体９０がした動作又は行動を認識する学習を済ませる。
【００５６】
次に、行動評価装置１における第１のニューラルネットワーク５２の認識段階の処理（図９（Ｂ）中のステップＳ２０３）について、図１０（Ｂ）を参照しながら具体的に説明する。被験体９０は、行動評価装置１を装着して、図７中の７種類の動作の中の或る動作を行うものとする。
【００５７】
図１０（Ｂ）中のステップＳ１１に示すように、まず、行動評価装置１の加速度センサ２は、上記７種類の動作に対応する加速度データをそれぞれ実測して取得する。既述のように、加速度センサ２のＸ，Ｙ，Ｚ方向の出力（１０ミリ秒周期の値）が、メモリ５４に格納される。これとともに、ステップＳ１２に示すように、入力処理部５１は、既述の１２種類の統計データである特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４を生成する。
【００５８】
次に、ステップＳ１３に示すように、第１のニューラルネットワーク５２の入力素子ｉ１，ｉ２，…，ｉ１２に、上記１２種類の特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４を含む入力データセットが入力される。すると、ステップＳ１４に示すように、第１のニューラルネットワーク５２の出力層５２ｎ（出力素子ｎ１，ｎ２，…，ｎ７）に、結果を表すデータが出力される。ステップＳ１５に示すように、その結果から、出力処理部５３は、被験体９０が現在行っている動作が何であるかを認識する。
【００５９】
そして、ステップＳ１６に示すように、出力処理部５３による認識結果がディスプレイ部３に表示される。
【００６０】
この行動評価装置１は、電源スイッチ４２がオンされている動作期間内で、第１のニューラルネットワーク５２の学習段階の処理（図９（Ｂ）中のステップＳ２０２）や第２のニューラルネットワーク５５の学習段階の処理（図９（Ｂ）中のステップＳ２０５）を行っている期間以外は、ステップＳ１１〜Ｓ１６の処理を１００ｍｓ周期で繰り返す。これにより、被験体９０の動作状態の認識を実質的にリアルタイムで常時行う。
【００６１】
例えば図１１（Ａ）に模式的に示すように、時間ｔが経過するにつれて、メモリ５４に格納された加速度センサ２の測定データ２１から、その時々の被験体９０の動作状態がリアルタイムで順次認識される（認識結果を符号２２で示す。）。この例では、「休止」、「休止」、「歩行Ａ」、「休止」、「スイングＡ」、「歩行Ａ」、「歩行Ａ」、「休止」がこの順に認識されている。メモリ５４には、加速度センサ２の出力に対応づけて、この動作状態の認識結果２２が順次格納される。
【００６２】
なお、第１のニューラルネットワーク５２の学習段階の処理（図９（Ｂ）中のステップＳ２０２）や第２のニューラルネットワーク５５の学習段階の処理（図９（Ｂ）中のステップＳ２０５）を行っている期間は、例えばディスプレイ部３に「学習中」と表示して、被験体９０の動作状態の認識や行動の評価を行っていないことを明示する。
【００６３】
次に、行動評価装置１における第２のニューラルネットワーク５５の学習段階の処理（図９（Ｂ）中のステップＳ２０５）について、具体的に説明する。
【００６４】
まず、被験体９０が行動評価装置１を装着し、行動評価装置１（の第２のニューラルネットワーク５５）に評価させたい動作を行う。この例では、使用者としての被験体９０が、「スイングＡ」をする、すなわちゴルフクラブとして１番ウッドをスイングしてゴルフボールを打つものとする。
【００６５】
被験体９０にとって満足のいくナイスショットが打てたら、被験体９０は、この例では使用者として、そのスイング後３０秒以内にボタンスイッチ１１を１回（３間秒未満）押す。すなわち、既述の第２の学習指示を入力する（図９（Ｂ）中のステップＳ２０４）。これにより、図１２（Ａ）に示す第２のニューラルネットワーク５５の学習段階の処理に入る。
【００６６】
ボタンスイッチ１１が押された時、図１２（Ａ）中のステップＳ２１に示すように、制御部５０は、メモリ５４内で、現時点ｔ１から遡った直近の、第１のニューラルネットワーク５２を通して認識された動作又は行動を探索する。この例では、制御部５０は、第１のニューラルネットワーク５２が学習を済ませた複数種類の動作又は行動のうちスイングを探索するように設定されている。探索対象の期間の長さは、現時点ｔ１から遡った直近の１分間として設定されている。
【００６７】
制御部５０は、メモリ５４内を探索して、動作状態の認識結果２２の中に或るスイングを発見できたら（ステップＳ２２でＹＥＳ）、それを被験体９０がナイスショットをしたときのスイングであると判断して、ステップＳ２３に示すように、それに対応する加速度センサ２の出力（測定データ）をメモリ５４から読み出す。図１１（Ａ）の例では、「スイングＡ」に対応する加速度センサ２の出力２１Ｆを読み出す。
【００６８】
次に、制御部５０は、図１２（Ａ）中のステップＳ２４に示すように、読み出した加速度センサ２の出力２１Ｆを、学習のために第２のニューラルネットワーク５５の入力層５５ｉに入力する。具体的には、測定データ２１Ｆとしての、入力処理部５１によって生成された１２種類の特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４を、第２のニューラルネットワーク５５の入力素子ｉ１，ｉ２，…，ｉ１２に入力データセットとして入力する。これとともに、制御部５０は、第２のニューラルネットワーク５５の出力層５５ｎ（出力素子ｎ１）に、教師データとして数値「１」を与える。
【００６９】
これにより、第２のニューラルネットワーク５５に、第１のニューラルネットワーク５２におけるのと同様に、逆誤差伝搬法によって学習を行わせる。すなわち、図４に示した第２のニューラルネットワーク５５の入力素子ｉ１，ｉ２，…，ｉ１２に或る入力データセットとして特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４が入力されたときの出力素子ｎ１の出力と、正しい解答を表す教師データとの間の誤差を求める。そして、出力素子ｎ１の出力とその教師データとの間の誤差が解消するように、フィードバックを行って、上記重み係数ｗｊ１，ｗｊ２，…，ｗｊ１２を変更して調整してゆく。誤差の元となった中間層の出力も順次調整してゆく。これにより、図１２（Ａ）中のステップＳ２５，Ｓ２６に示すように、被験体９０の「スイングＡ」を評価するための重み係数ｗｊ１，ｗｊ２，…，ｗｊ１２を得て、第２のニューラルネットワーク５５にそれらの重み係数を組み込む。
【００７０】
このようにして学習を行ってゆくと、被験体９０がナイスショットをしたときの「スイングＡ」を表す入力データセットに対して、出力層５５ｎの出力素子ｎ１の値が１になり、ミスショットをしたときのスイングや別の「スイングＢ」、「スイングＣ」、…を表す入力データセットに対して出力素子ｎ１の値が小さくなる（０に近くなる）ようになる。
【００７１】
このようにして、第２のニューラルネットワーク５５の学習段階では、被験体９０がナイスショットをしたときの「スイングＡ」と被験体９０に取り付けられた加速度センサ２の出力との間の対応関係に基づいて、加速度センサ２の出力から被験体９０がしたスイングを評価するための学習を済ませる。
【００７２】
上の例では、被験体９０がナイスショットをしたときのスイングに対応する加速度センサ２の出力を、第２のニューラルネットワーク５５の学習のための入力データセットとした。当然ながら、これに限られるものではなく、例えばゴルフコーチがお手本ショットをしたときのスイングに対応する加速度センサ２の出力を、第２のニューラルネットワーク５５の学習のための入力データセットとしても良い。
【００７３】
いずれにしても、この行動評価装置１では、使用者がボタンスイッチ１１を押すことによって、第２のニューラルネットワーク５５に所望のタイミングで適切な手本を学習させることができる。
【００７４】
次に、行動評価装置１における「行動の評価」段階の処理（図９（Ａ）中のステップＳ１０２）について、具体的に説明する。
【００７５】
この「行動の評価」段階では、第１のニューラルネットワーク５２は、被験体９０の動作状態の認識をリアルタイムで常時行っている。例えば図１１（Ｂ）に模式的に示すように、時間ｔが経過するにつれて、メモリ５４に格納された加速度センサ２の測定データ２３から、その時々の被験体９０の動作状態がリアルタイムで順次認識される（認識結果を符号２４で示す。）。この例では、「休止」、「休止」、「歩行Ａ」、「休止」、「スイングＡ」、「歩行Ａ」、「歩行Ａ」、「休止」がこの順に認識されている。メモリ５４には、加速度センサ２の出力に対応づけて、この動作状態の認識結果２４が順次格納されている。
【００７６】
図１２（Ｂ）中のステップＳ３１に示すように、制御部５０は、メモリ５４内における動作状態の認識結果２４に或るスイングが含まれているか否かをリアルタイムで常時探索する。動作状態の認識結果２４にスイングが含まれていれば（ステップＳ３２でＹＥＳ）、制御部５０は、ステップＳ３３に示すように、そのスイングに対応する加速度センサ２の出力をメモリ５４から読み出す。図１１（Ａ）の例では、「スイングＡ」に対応する加速度センサ２の出力（測定データ）２３Ｆを読み出す。
【００７７】
次に、制御部５０は、図１２（Ｂ）中のステップＳ３４に示すように、読み出した加速度センサ２の出力（測定データ）２３Ｆを、行動の評価のために第２のニューラルネットワーク５５の入力層５５ｉに入力する。具体的には、測定データ２３Ｆとしての入力処理部５１によって生成された１２種類の特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４を、第２のニューラルネットワーク５５の入力素子ｉ１，ｉ２，…，ｉ１２に入力データセットとして入力する。すると、ステップＳ３５に示すように、第２のニューラルネットワーク５５の出力層５５ｎ（出力素子ｎ１）に、結果を表すデータが出力される。すなわち、お手本（図９（Ｂ）中のステップＳ２０５で学習したもの）に近い程度を表す近似度（０から１までの数値）が出力される。例えば図８（Ａ）に例示するように、近似度として出力素子ｎ１に０．８０という数値が出力される。この例では、第２のニューラルネットワーク５５の出力層５５ｎが単一の出力素子ｎ１のみを含むので、被験体９０がした或るスイングが手本に近い程度を１つの数値で明確に表すことができる。
【００７８】
そして、図１２（Ｂ）中のステップＳ３６に示すように、出力処理部５３によってスイングの評価結果がディスプレイ部３に表示される。この例では、出力処理部５３は、近似度の数値を１００倍して、１００点満点の点数Ｐを算出する。Ｐ＝８０の場合は「さっきのスイングは８０点」というように表示を行う。
【００７９】
このように、この行動評価装置１によれば、近似度に基づく点数表示によって、使用者は、被験体９０がしたスイングが手本に近い程度、すなわち、被験体９０自身が調子の良いとき（ナイスショットをしたとき）のスイングにどれだけ近いか、またはゴルフコーチがお手本ショットをしたときのスイングにどれだけ近いか、を明確に知ることができる。
【００８０】
この行動評価装置１は、「行動の評価」段階の処理を行っている期間は、ステップＳ３１〜Ｓ３６の処理を１００ｍｓ周期で繰り返す。これにより、被験体９０がしたスイングの評価を実質的にリアルタイムで常時行うことができる。
【００８１】
この例では、電源スイッチ４２がオフされたとき、または、電源スイッチ４２がオンされている動作期間中に、使用者がボタンスイッチ１１を３秒間以上押し続けたとき、この「行動の評価」段階の処理を終了するものとする。
【００８２】
以上より明らかなように、この実施形態の行動評価装置１では、使用者がボタンスイッチ１１を押して第２の学習指示を入力することによって、第２のニューラルネットワーク５５に所望のタイミングで適切な手本を学習させることができる。したがって、この行動評価装置１によれば、「行動の評価」段階で、従来に比して、被験体９０がした動作又は行動についての評価の精度を高めることができる。
【００８３】
なお、この実施形態では、使用者がボタンスイッチ１１を押して第１、第２の学習指示を入力するものとしたが、これに限られるものではない。無線通信装置４は、この行動評価装置１の近傍に存在する携帯電話やパーソナルコンピュータから無線通信装置４を介して、第１、第２の学習指示を入力するようにしても良い。
【００８４】
また、この実施形態では、第１のニューラルネットワーク５２の学習段階（図９（Ｂ）中のステップＳ２０２）で、被験体９０が行動評価装置１を装着し、加速度データを実測して、第１のニューラルネットワーク５２に学習させるべき入力データを得た。しかしながら、第１のニューラルネットワーク５２は、大まかな動作状態の認識を行うだけであるから、必ずしも被験体９０からの実測データを入力データとする必要はない。第１のニューラルネットワーク５２の学習は、この行動評価装置１の近傍に存在するパーソナルコンピュータ等から無線通信装置４を介して、予め学習用に用意された入力データを入力し、学習アルゴリズムを実行することによって行っても良い。
【００８５】
また、上述の実施形態では、第１のニューラルネットワーク５２は、３層からなり、１２個の入力素子、７個の出力素子を備えたものとした。また、第２のニューラルネットワーク５５は、３層からなり、１２個の入力素子、１個の出力素子を備えたものとした。しかしながら、これに限られるものではなく、第１のニューラルネットワーク５２、第２のニューラルネットワーク５５は、さらに多層で、多くの入力素子、出力素子を備えても良い。
【００８６】
特に、第２のニューラルネットワーク５５の出力層５５ｎの出力素子は、お手本の数だけあっても良い。例えば「スイングＡ」についてのお手本データと、「スイングＢ」についてのお手本データとがある場合、図８（Ｂ）中に例示するように、第２のニューラルネットワーク５５の出力層５５ｎを２つの出力素子ｎ１，ｎ２を含むものとする。この場合、第２のニューラルネットワーク５５の学習段階で、「スイングＡ」に応じたお手本の入力データセットを入力したときは、教師データとしてｎ１に数値「１」を与え、ｎ２に数値「０」を与える。一方、「スイングＢ」に応じたお手本の入力データセットを入力したときは、教師データとしてｎ１に数値「０」を与え、ｎ２に数値「１」を与える。このようにして、学習を済ませる。すると、「行動の評価」段階では、例えば被験体９０がお手本に近い「スイングＡ」をしたとき、図８（Ｂ）中に例示するように、例えば出力素子ｎ１に数値「０．９０」が出力され、出力素子ｎ２に数値「０．１０」が出力される。この出力結果は、ｎ１，ｎ２の中でｎ１の値が最も大きいことから、被験体９０がしたスイングは「スイングＡ」であることを示している。また、被験体９０がした「スイングＡ」のお手本の「スイングＡ」に対する近似度が、０．９０（１００点満点で９０点）であることを示している。
【００８７】
このように、第２のニューラルネットワーク５５の出力層５５ｎが複数の出力素子を含む場合、複数のタイプのスイングを評価することができる。
【００８８】
また、上述の実施形態では、加速度センサ２のＸ，Ｙ，Ｚ方向の出力（１０ミリ秒周期の値）から、入力処理部５１によって、既述の１２種類の統計データである特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４を生成した。しかしながら、これに限られるものではない。例えば標準偏差Ｘ２，Ｙ２，Ｚ２に代えて、またはそれに加えて、時刻ｔ０からｔ１までの５秒間における加速度センサ２のＸ，Ｙ，Ｚ方向の出力の「分散」を、特徴データとして生成して用いても良い。または、最大値と最小値との間の差Ｘ３，Ｙ３，Ｚ３に代えて、またはそれに加えて、時刻ｔ０からｔ１までの５秒間における加速度センサ２のＸ，Ｙ，Ｚ方向の出力の「最大値」および「最小値」を、特徴データとして抽出して用いても良い。要するに、この実施形態で挙げた特徴データのうち、少なくとも２種類の特徴データを用いれば、本発明を実施することができる。当然ながら、この実施形態で挙げた特徴データの全部を用いても良い。
【００８９】
また、この実施形態では、行動評価装置１は、携帯電話１０１や、歩数計・活動量計、モバイルコンピュータなどの電子機器に、一体に組み込んで構成され得る。これにより、ユーザの利便性を高めることができる。
【００９０】
一方、加速度センサ２を本体ケーシング７とは別体に構成して、加速度センサ２（およびそれに付随した無線通信装置）のみが被験体９０に装着されるようにしても良い。この場合、加速度センサ２と本体とは無線通信装置を介して通信する。
【００９１】
また、この実施形態では、行動評価装置１は、ゴルフのスイングを評価する例について述べたが、当然ながら、これに限られるものではない。例えばダンスなどにおいては、指導者の動きをお手本として行動評価装置１にデータ入力してもらうことにより、被験体９０の動きがお手本にどれだけ近づいているか、ということを評価できる。
【００９２】
なお、上記行動評価装置１が対象とする被験体９０は、冒頭に述べたように、代表的には人間を指すが、動物も含む。この行動評価装置１は、使用者が被験体９０としての動物に芸を仕込む場合にも、好ましく適用できる。
【符号の説明】
【００９３】
１ 行動評価装置
２ 加速度センサ
３ ディスプレイ部
４ 無線通信装置
５ 演算装置
６ 電池
７ 本体ケーシング
４１ 指示スイッチ
５０ 制御部
５１ 入力処理部
５２ 第１のニューラルネットワーク
５３ 出力処理部
５４ メモリ
５５ 第２のニューラルネットワーク
【特許請求の範囲】
【請求項１】
被験体に取り付けられるべき加速度センサと、
上記加速度センサの出力を記憶するメモリと、
上記加速度センサの出力から、手本となる動作又は行動を認識する学習を済ませたニューラルネットワークとを備えて、
上記被験体に取り付けられた上記加速度センサの出力から、上記ニューラルネットワークを通して上記被験体がした動作又は行動を認識するとともに、認識された動作又は行動が上記手本に近い程度を評価する行動評価装置において、
上記ニューラルネットワークは、
予め、上記被験体がした複数種類の動作又は行動と上記被験体に取り付けられた上記加速度センサの出力との間のそれぞれの対応関係に基づいて、上記被験体がした動作又は行動を認識する学習を済ませ、その学習後は、上記加速度センサの出力に基づいて、リアルタイムで上記被験体がした動作又は行動を認識する第１のニューラルネットワークと、
指示に基づいて、上記第１のニューラルネットワークを通して認識された動作又は行動に対応する上記加速度センサの出力を、上記メモリから読み出して手本として学習し、その学習後は、上記第１のニューラルネットワークを通して認識された動作又は行動が上記手本に近い程度を表す近似度を出力する第２のニューラルネットワークとを
含むことを特徴とする行動評価装置。
【請求項２】
請求項１に記載の行動評価装置において、
上記指示を入力するための指示スイッチと、
上記指示スイッチによって上記指示が入力された時、上記メモリ内で、現時点から遡った直近の、上記第１のニューラルネットワークを通して認識された動作又は行動に対応する上記加速度センサの出力を探索し、探索した上記加速度センサの出力を上記メモリから読み出して、学習のために上記第２のニューラルネットワークに入力する制御を行う制御部とを備えたことを特徴とする行動評価装置。
【請求項３】
請求項１または２に記載の行動評価装置において、
上記第２のニューラルネットワークの出力層は単一の素子のみを含むことを特徴とする行動評価装置。
【請求項４】
請求項１から３までのいずれか一つに記載の行動評価装置において、
上記近似度は数値であることを特徴とする行動評価装置。
【請求項５】
請求項１から４までのいずれか一つに記載の行動評価装置において、
上記動作又は行動はゴルフスイングを含むことを特徴とする行動評価装置。
【請求項１】
被験体に取り付けられるべき加速度センサと、
上記加速度センサの出力を記憶するメモリと、
上記加速度センサの出力から、手本となる動作又は行動を認識する学習を済ませたニューラルネットワークとを備えて、
上記被験体に取り付けられた上記加速度センサの出力から、上記ニューラルネットワークを通して上記被験体がした動作又は行動を認識するとともに、認識された動作又は行動が上記手本に近い程度を評価する行動評価装置において、
上記ニューラルネットワークは、
予め、上記被験体がした複数種類の動作又は行動と上記被験体に取り付けられた上記加速度センサの出力との間のそれぞれの対応関係に基づいて、上記被験体がした動作又は行動を認識する学習を済ませ、その学習後は、上記加速度センサの出力に基づいて、リアルタイムで上記被験体がした動作又は行動を認識する第１のニューラルネットワークと、
指示に基づいて、上記第１のニューラルネットワークを通して認識された動作又は行動に対応する上記加速度センサの出力を、上記メモリから読み出して手本として学習し、その学習後は、上記第１のニューラルネットワークを通して認識された動作又は行動が上記手本に近い程度を表す近似度を出力する第２のニューラルネットワークとを
含むことを特徴とする行動評価装置。
【請求項２】
請求項１に記載の行動評価装置において、
上記指示を入力するための指示スイッチと、
上記指示スイッチによって上記指示が入力された時、上記メモリ内で、現時点から遡った直近の、上記第１のニューラルネットワークを通して認識された動作又は行動に対応する上記加速度センサの出力を探索し、探索した上記加速度センサの出力を上記メモリから読み出して、学習のために上記第２のニューラルネットワークに入力する制御を行う制御部とを備えたことを特徴とする行動評価装置。
【請求項３】
請求項１または２に記載の行動評価装置において、
上記第２のニューラルネットワークの出力層は単一の素子のみを含むことを特徴とする行動評価装置。
【請求項４】
請求項１から３までのいずれか一つに記載の行動評価装置において、
上記近似度は数値であることを特徴とする行動評価装置。
【請求項５】
請求項１から４までのいずれか一つに記載の行動評価装置において、
上記動作又は行動はゴルフスイングを含むことを特徴とする行動評価装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−２３８０７２（Ｐ２０１２−２３８０７２Ａ）
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願番号】特願２０１１−１０５１３５（Ｐ２０１１−１０５１３５）
【出願日】平成２３年５月１０日（２０１１．５．１０）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願日】平成２３年５月１０日（２０１１．５．１０）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]