行動解析装置及びプログラム
【課題】人間の行動を最適に分類し、これまでセンサによる計測データとの関連付けが充分なされていない行動であっても、より効率よく高精度に識別して解析する行動解析装置を提供する。
【解決手段】行動解析装置は、人体に装着される３軸加速度センサから出力される加速度データを用いて人体の行動を解析する解析手段と記憶手段とを備えており、この解析手段が、時系列データとして蓄積される加速度データの経時的変化に含まれる人体の姿勢の特徴量と前記人体の動きの特徴量とを分離して、基本行動パターンの動きと姿勢の特徴量から成るモデルを定義する基本行動パターン定義部と、基本行動パターンのモデルを利用して、新たに時系列データとして蓄積された加速度データを分離する加工を行い、加工された前記加速度データをクラスタリングして拡張行動パターンを認識する拡張行動パターン認識部とを備えている。
【解決手段】行動解析装置は、人体に装着される３軸加速度センサから出力される加速度データを用いて人体の行動を解析する解析手段と記憶手段とを備えており、この解析手段が、時系列データとして蓄積される加速度データの経時的変化に含まれる人体の姿勢の特徴量と前記人体の動きの特徴量とを分離して、基本行動パターンの動きと姿勢の特徴量から成るモデルを定義する基本行動パターン定義部と、基本行動パターンのモデルを利用して、新たに時系列データとして蓄積された加速度データを分離する加工を行い、加工された前記加速度データをクラスタリングして拡張行動パターンを認識する拡張行動パターン認識部とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人間の行動パターンを分類し解析する行動解析装置及び行動解析プログラムに関するものである。特に、加速度センサによって出力され時系列データとして蓄積されるデータを用いて、人間の行動を自動的に解析する行動解析装置及び行動解析プログラムに関する。
【背景技術】
【０００２】
ユーザにセンサを装着し、センサから得られる計測データを用いてユーザの行動内容の推定や詳細な解析を行う試みがなされている。例えば、特許文献１には、加速度センサを用いた行動判別システムが開示されている。特許文献１の行動判別システムは、加速度センサを用いて得られるユーザの姿勢と行動を示す出力データと、記憶手段の中に予め記憶されている姿勢と行動のパターンデータとを照合することで、人体の姿勢状態と動作状態とを判別する。また非特許文献１には、単一の加速度センサを搭載した情報端末でユーザの行動や姿勢を推定する方法が開示されている。
【０００３】
センサを用いた行動解析では、ユーザの特定の行動に限定して、行動の内容を詳細に計測し解析する場合がある。特に近年では、人の歩行をセンサによって詳細に解析しようとする試みが盛んに行われている。センサで歩行の状態を詳細に知ることが可能となることで、高齢者や幼児をプライバシーに配慮しつつ見守ったり、歩数などの運動量を計測して健康の維持や増進を図ったり、あるいは工場や作業場等において動線や周囲のレイアウト等を最適化したりすることが可能となる。
【０００４】
特許文献２には、角速度センサと加速度センサを用いて人の歩行動作の検出を行う歩行動作検出処理装置が開示されている。特許文献２の検出処理装置は、角速度ベクトルと加速度ベクトルの値から重力加速度を検出し、この重力加速度から鉛直方向の加速度を除去して残差加速度成分を抽出し、得られた残差加速度成分の主成分分析を行ってその主成分ベクトルを利用して歩行動作を検出する。また特許文献３には、センサによって人体の複数の部位における体動を測定して歩行動作を分析する歩行動作分析装置が開示されている。特許文献３の歩行動作分析装置は、歩行動作を行った際の体動と体力特性との相関関係をあらかじめ算出して記憶しておき、測定された体動と算出された体力特性を用いて歩行動作の分類結果を表示する。歩行動作の分類は、体動と体力特性からクラスタ分類を用いることで行う。
【０００５】
また、ユーザの「歩く」「走る」「座る」「横臥する」といった複数の行動を、ユーザが装着しているセンサの出力データを統計的に処理することで推定しようとする試みがなされている。たとえば特許文献４には、観察対象者の身体の複数箇所に複数のセンサを取付けて、身体上の行動状況を記録し解析する状態解析装置が開示されている。特許文献４の状態解析装置は、センサによって得られた観察対象者の動きと姿勢に関する情報に基づいて、正規化センサ情報及び移動平均とを算出する。この移動平均及び正規化センサ情報との値と所定の閾値との差異により、観察対象者が、臥位、座位、立位、歩行あるいは車椅子走行のいずれの状況にあるかを判定する。非特許文献２には、６箇所に装着した加速度センサから得られた加速度の平均、標準偏差、エネルギーを特徴量として７種類の行動の識別を行う技術が開示されている。非特許文献２の技術は、音声認識で用いられるＭＡＰ推定法、ＭＬＬＲ法の２つの話者適応技術を応用することにより、行動の識別率の向上を検討している。
【０００６】
また、発明者らは、非特許文献３において、加速度センサの出力データから種々の行動を認識するために用いる特徴量の妥当性を検討している。発明者らは、非特許文献３の中で、ＭＦＣＣ（Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒａｌ Ｃｏｅｆｆｉｃｉｅｎｔｓ）とその一次動的特徴量や二次動的特徴量を考慮した特徴量を用い、その周波数特性を最適化することにより、行動の認識率を向上させる技術を開示している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−６１９３５号公報
【特許文献２】特開２００５−１１４５３７号公報
【特許文献３】特開２００８−１７３２５０号公報
【特許文献４】特開２００６−１１６３２５号公報
【非特許文献】
【０００８】
【非特許文献１】倉沢央，川原圭博，森川博之，青山友紀「センサ装着場所を考慮した３軸加速度センサを用いた姿勢推定手法」，情報処理学会研究報告２００６−ＵＢＩ−１１−（３），Ｖｏｌ．２００６．Ｎｏ．５４，ｐｐ．１５−２２，２００６年
【非特許文献２】橋田尚幸，大村廉，今井倫太「加速度センサを用いた日常行動識別における個人適応技術の識別精度への貢献」，情報処理学会研究報告２００８−ＵＢＩ−１９−（１３），Ｖｏｌ．２００８．Ｎｏ．６６，ｐｐ．６９−７４，２００８年
【非特許文献３】竹内伸一，伊藤真也，田村哲嗣,速水悟「加速度情報を用いた日常行動認識について」，電子情報通信学会 信学技報，ｖｏｌ．１０８，ｎｏ．４５３，ＣＡＳ２００８−１４２，ｐｐ．２２９−２３４，２００９年
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従来の行動解析技術では、解析対象とする行動パターンを１種類から数種類程度に限定した上で、センサによってユーザの動きや姿勢を計測し、得られたデータが解析対象の行動パターンに当てはまるか否かを正確に識別することを目的としている。あるいは、「歩く」「走る」等の特定の行動のより詳細な個体差や特徴を検出するための方法若しくは手段を提供することを目的としている。
【００１０】
しかしながら、人間の日常の行動を小数のパターンに分類することは困難であり、未だ分類が行われていない行動は数多く存在する。分類が行われていない行動は、センサによる計測値から行動を識別できる識別パターンや識別モデルが定義されていない場合が大部分であるが、このような行動を従来の解析技術によって解析しようとした場合には、以下のような多くの作業が必要となる。
【００１１】
従来の解析装置によって行動を解析するには、最初に、解析しようとする行動の一連の内容を含むカテゴリの設定を行う。次に、ある一定の時間間隔で解析対象となる行動を計測した大量の計測データを用意する。そしてこの計測データに含まれる情報を処理して行動を表す特徴量を抽出し、解析装置に特徴量を学習させることで識別パターンや識別モデルを定義する必要がある。このように、従来の行動解析技術で新たな行動を定義して解析するには、非常な労力が必要とされている。このため、より効率よく新たな行動の識別と分類とを行うことのできる技術が求められていた。
【００１２】
また従来、センサから出力されるデータのクラスタリングでは、特徴量の空間に対して評価関数を定めて、最適なカテゴリ数や最適な分類を求める手法が広く行われてきた。しかしながら、加速度センサから得られる情報は姿勢の情報と動きの情報が混在しているという制約があり、クラスタリングの障害となる場合があった。このため、姿勢と動きの情報が混在する時系列情報を用いて、より正確に行動の識別と解析を行う技術が要求されていた。
【００１３】
本発明は上記問題点に鑑みてなされたものであって、人間の行動を最適に分類し、これまでセンサによる計測データとの関連付けが充分なされていない行動であっても、より効率よく高精度に識別して解析する行動解析装置及び行動解析プログラムを提供するためになされたものである。
【課題を解決するための手段】
【００１４】
本発明の行動解析装置は、人体に装着される３軸加速度から出力される加速度データを用いて人体の行動を解析する解析手段と、記憶手段とを備えている。解析手段は、基本行動パターン定義部と、拡張行動パターン認識部とを備えている。基本行動パターン定義部は、連続して出力され時系列データとして蓄積される加速度データの経時的変化に含まれる人体の動きの特徴量と人体の姿勢の特徴量とを分離し、予め定められている基本行動と各々の特徴量との関連づけを行い、基本行動パターンの動きと姿勢の特徴量から成るモデルを定義して、モデルを記憶手段に記憶する。拡張行動パターン定義部は、基本行動パターンのモデルを利用して、新たに時系列データとして蓄積された加速度データを分離する加工を行い、加工された加速度データをクラスタリングして拡張行動パターンを認識することを特徴とする。
【００１５】
本発明の基本行動パターン定義部は、時系列データとして蓄積された加速度データに含まれる特徴量の分布に基づいて人体の動きの特徴量と姿勢の特徴量とを分離することを特徴とする。
【００１６】
また本発明の基本行動パターン定義部は、高周波数領域の加速度データを人体の動きの情報とし、低周波数領域の加速度データを人体の姿勢の情報として分離した後にそれぞれの特徴量を求めることを特徴とする。
【００１７】
本発明の拡張行動パターン認識部は、加速度データの経時的変化に含まれる人体の動きの特徴量と人体の姿勢の特徴量とを分離し、各々の特徴量を単位時間ごとに分割することで加速度データを分解して基本要素モデルを作成することを特徴とする。
【００１８】
また本発明の拡張行動パターン認識部は、分解する加工が行われた加速度データの特徴量を併合するデータ加工を行うことを特徴とする。
【００１９】
更に本発明の拡張行動パターン認識部は、新たに蓄積される加速度データの経時的変化を、基本行動パターンのモデルと基本要素モデルとを照合して、基本行動パターンに定義されていない行動パターンを表す動きの特徴量と姿勢の特徴量とを検出し、新たな拡張行動パターンのモデルを定義し、関連する定量的計測を行って前記新たな拡張行動パターンを認識することを特徴とする。
【００２０】
本発明は更にまた、行動解析プログラムを提供する。本発明の行動解析プログラムは、人体に装着される３軸加速度センサから連続して出力される任意の行動を表す加速度データを時系列データとして蓄積する手順と、加速度データの経時的変化に含まれる人体の動きの特徴量と人体の姿勢の特徴量とを分離する手順と、予め定められている基本行動と各々の前記特徴量との関連づけを行い、基本行動パターンの特徴量から成るモデルを定義する手順と、モデルを記憶手段に記憶する手順と、基本行動パターンの前記モデルを利用して、新たに時系列データとして蓄積される加速度データを分離する加工を行う手順と、加工された加速度データをクラスタリングして拡張行動パターンを認識する手順とをコンピュータに実行させることを特徴とする。
【発明の効果】
【００２１】
本発明の行動解析装置は、加速度センサが出力した加速度データから、人体の動きの特徴量と姿勢の特徴量とを分離して解析することにより、より正確に行動を識別して解析することが可能である。
【００２２】
本発明の行動解析装置の拡張行動パターン認識部によって、モデルが定義されていない行動のモデルを自動的に定義してその行動の定量的な解析を行うことが可能となる。これにより、解析に係る作業量が軽減されてより迅速且つ効率的に行動解析を行うことができる。またこれにより、より多様な行動パターンの認識と定量的な解析が容易になる。
【図面の簡単な説明】
【００２３】
【図１】図１は、３軸加速度センサを装着した被験者が横臥している状態を模式的に示す図である。
【図２】図２は、加速度センサが出力した「歩く」行動で検出される加速度を時系列で蓄積したデータを示している。
【図３】図３は、加速度センサが出力した「椅子に座る」行動で検出される加速度を時系列で蓄積したデータを示している。
【図４】図４は、加速度センサが出力した「椅子から立つ」行動で検出される加速度を時系列で蓄積したデータを示している。
【図５】図５は、加速度センサが出力した「ベッドに寝る」行動で検出される加速度を時系列で蓄積したデータを示している。
【図６】図６は、加速度センサが出力した「ベッドから起きる」行動で検出される加速度を時系列で蓄積したデータを示している。
【図７】図７は、実施の形態で示される基本行動パターン定義部が行う手順のフローチャートである。
【図８】図８は、「歩く」行動の加速度データを周波数分析した結果をｘ、ｙ、ｚ成分毎に示す図である。
【図９】図９は、基本行動パターン定義部が予め記憶している「歩く」行動に適用する姿勢の特徴量と動きの特徴量の例を示す図である。
【図１０】図１０は、基本行動パターンのモデルを定義するデータの一例である。
【図１１】図１１は、拡張行動パターン認識部が拡張行動パターンを学習するまでの手順のフローチャートである。
【図１２】図１２は、拡張行動パターン認識部が拡張行動パターンを認識するまでの手順のフローチャートである。
【図１３】図１３は、拡張行動パターン認識部の処理によって新たに認識された行動の加速度データとモデルとを示す図である。
【図１４】図１４は、本実施の形態の行動解析装置が認識した行動を出力する画面の一例を示す図である。
【図１５】図１５は、拡張行動パターン認識部が拡張行動パターンに関連する行動の定量的計測を行うまでの手順のフローチャートである。
【図１６】図１６は、行動解析装置の構成を模式的に示すブロック図である。
【発明を実施するための形態】
【００２４】
以下に、本発明を実施する好適な形態の一例として、「歩く」「椅子に座る」「椅子から立つ」「ベッドに寝る」「ベッドから起きる」「停止する」の６種類の行動を基本行動と定めて、被験者に装着した３軸加速度センサのデータを用いて基本行動パターンのモデルを定義し、更に新たに入力した３軸加速度センサのデータから基本行動に分類されない行動のパターンを拡張行動パターンとして認識してモデルを定義する解析装置について、図面を参照しつつ詳細に説明する。
【００２５】
本実施の形態における行動解析装置の構成を図１６に模式的に示す。行動解析装置は１台のコンピュータ３で構成されており、ＣＰＵ４と記憶手段５とがこのコンピュータ３に内蔵されている。解析手段の基本行動パターン定義部と拡張行動パターン認識部とは、コンピュータ３の記憶手段にプログラムとして記憶されており、必要な処理をコンピュータ３のＣＰＵ４で実行する。
【００２６】
本実施の形態において、被験者２の体に装着されて検出した加速度を連続して出力する３軸加速度センサ１には、無線通信機能を備えた３軸加速度センサが利用されている。加速度センサ１は、検出した加速度を、センサに定義されている３次元（ｘ、ｙ、ｚ）の直交座標系の成分値として出力し、無線通信によって行動解析装置のコンピュータに送信する。この加速度センサ１のサンプリング周波数は、最大１００Ｈｚである。加速度センサ１は、図１に示すように被験者２の腰に装着して加速度の検出を行った。加速度センサ１は小型であるため、被験者２の行動の障害となることがない。
【００２７】
基本行動パターン定義部は、各々の基本行動パターンのモデルを定義するために、加速度センサ１によって出力された各々の行動の加速度データに対して、以下に示す処理を行って多次元の特徴量を抽出し、この特徴量で構成されるモデルを定義する。基本行動パターン定義部が基本行動パターンのモデルを定義するまでの手順のフローチャートを、図７に示す。
【００２８】
図７のステップ１で、基本行動パターン定義部は、加速度センサ１が検出し時系列で蓄積した加速度データを、加速度の検出時に操作者が入力した情報に基づいて基本行動毎に区分化し、行動のラベル付けを行う。図２〜図６に、行動毎に分割されて基本行動名がラベルとして付された加速度データを示す。加速度データは、ｘ、ｙ、ｚの直交する３方向の成分として出力されている。図２は、「歩く」行動で検出される加速度を時系列で蓄積したデータを示している。図３は、「椅子に座る」行動で検出される加速度を時系列で蓄積したデータを示している。図４は、「椅子から立つ」行動で検出される加速度を時系列で蓄積したデータを示している。図５は、「ベッドに寝る」行動で検出される加速度を時系列で蓄積したデータを示している。図６は「ベッドから起きる」行動で検出される加速度を時系列で蓄積したデータを示している。尚、基本行動としてはこのほかに「停止する」行動が定義されるが、完全に停止している場合に加速度センサ１から出力されるデータは重力加速度のみであるため、本実施の形態では、行動パターンのモデル化を省略している。
【００２９】
基本行動パターン定義部は、行動毎に区分化された加速度データを用いて、フーリエ変換などの周波数分析を行う。あるいは区分化された加速度データに対して、単位時間毎の演算処理を行うこともできる。この場合には、処理を行う前の加速度の標本化周期で、データが得られる。この処理によって加速度データから得られる特徴量は以下のように定義することができる。ここで、ｔは区分化された加速度データのフレーム番号（単位時間当たりの処理を行う場合は時刻）を表している。特徴量は各軸についてＪ次元のものを、加速度の軸の方向ｘ，ｙ，ｚに並べたＫ＝３Ｊ次元のベクトルデータとして扱う。Ｋ次元の特徴量ベクトルｃｔは、フレームｔごとに得られる。この全体をＣと表す。
【数１】
【００３０】
次に基本行動パターン定義部は、基本行動パターンを表すモデルの学習に用いるモデルの定義を行う。本実施形態の基本行動パターン定義部は、モデルを以下のように定義している。以下において、ｍは基本行動パターンを表すためのモデル番号である。本実施の形態では基本行動の種類が６種類であるため、モデル数Ｍは最大６となる。ｓは、ある一定の継続時間をもつ行動パターンであり、その状態数をＳとしている。モデル番号ｍの状態ｓにおける特徴量の生起確率のパラメータＢｍを以下の式で表す。
【数２】
【００３１】
このとき、観測された特徴量Ｃがモデルｍから生起した確率をＰｍとする。Ｐｍが最大となるモデル番号を求め、このモデル番号を、認識された行動パターンのカテゴリとする。すなわち、行動パターンのカテゴリを表す式は、以下で示される。
【数３】
【００３２】
基本行動パターンのモデルを定義するために隠れマルコフモデル（ｈｉｄｄｅｎ Ｍａｒｋｏｖ ｍｏｄｅｌ）を適用する場合には、さらに状態間の遷移確率も併せて考慮する。生起確率に代えて、時間方向に特徴量の平均値を並べたものとの距離を用いるモデルや、ＤＰ（ｄｙｎａｍｉｃ ｐｒｏｇｒａｍｍｉｎｇ）マッチングによる時間伸縮を考慮したモデルを定義することもできる。特徴量の時系列データと、状態ごとの確率モデルとの対応付けを求めながら推定する方法としては、隠れマルコフモデルを適用した場合には，ｆｏｒｗａｒｄ−ｂａｃｋｗａｒｄアルゴリズムを用いることができる。他の場合には、モデルと観測されたデータとの時間的な対応付け（ａｌｉｇｎｍｅｎｔ）を求める。そして、一定時間の区間に対応する特徴量の集合から、平均値などの統計量を求めて、モデルを定義することができる。
【００３３】
基本行動パターン定義部は、図７のステップ２に示すように、基本行動パターン毎のモデルを定義するための学習を行う。このステップで行われる学習は教師あり学習である。学習に用いられるデータは、ステップ１で基本行動毎に区分化し、行動のラベル付けが行われた、時系列データとして蓄積されている加速度データである。基本行動パターン定義部は、このラベルと時系列の加速度データの経時的変化の値から得られる特徴量を用いて、行動パターンのモデルを学習する。隠れマルコフモデルを適用している場合には、ＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ Ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムによってそのパラメータを学習する。
【００３４】
基本行動パターン定義部は、ステップＳ３で、学習した時系列で蓄積されている加速度データの中に含まれる姿勢の情報と動きの情報とを分離する。そして、ステップＳ４で、姿勢のモデルと動きのモデルとを含む基本行動パターンのモデルを定義する。基本行動パターン定義部は、姿勢の情報と動きの情報を分離してそれぞれのモデルを定義するための手順を複数備えており、学習した加速度データの内容を検討していずれかの手順を実行する。
【００３５】
姿勢の情報と動きの情報を分離するための手順の一例は、加速度データの周波数分析を行って、低周波数の成分を姿勢の情報とし、高周波数の成分を動きの情報として分離するものである。図８に、「歩く」基本行動の加速度データについて周波数分析を行った結果をｘ、ｙ、ｚの成分毎に示す。図８の横軸は周波数（Ｈｚ）であり、縦軸は各周波数のパワースペクトルを表している。本実施の形態における基本行動パターン定義部は、「歩く」行動のモデルで、０Ｈｚ以上１Ｈｚ以下の周波数領域に現れる波形を姿勢に由来する特徴量であると定義し、１Ｈｚを超えて２５Ｈｚ以下の周波数領域に現れる波形を動きに由来する特徴量であると定義して、姿勢のデータと動きのデータとを分離している。
【００３６】
また基本行動パターン定義部は、学習した加速度データに含まれる特徴量の分布に基づいて、姿勢の情報と動きの情報を分離する手順を実施することができる。図９に、本実施の形態の基本行動パターン定義部が予め加速度データの経時的変化の値として記憶している「歩く」行動に関する姿勢の特徴量と動きの特徴量の例を示す。
【００３７】
更に基本行動パターン定義部は、姿勢のデータと動きのデータを分離するための以下の手順を備えており、学習した加速度データの内容に応じて処理の内容を変更してステップＳ３の動きのモデルと姿勢のモデルの定義を行っている。
【００３８】
例えば基本行動パターン定義部は、学習した加速度データの周波数分析を行った後、高周波数領域の成分を除去する時間領域でのフィルタリング操作を行う。そして、低周波数成分のみを抽出してこれを姿勢のモデルとして定義する。フィルタリング操作の具体的な処理の一例としては、加速度データの移動平均を求めて動き成分を除去する処理が挙げられる。更に、学習した加速度データについて、複数の情報が混合したものとして定式化を行って、その混合割合を推定し姿勢のデータと動きのデータの分離を行うことができる。隠れマルコフモデルの出力確率分布として、混合ガウス分布（混合ガウスモデル）を用いる場合などは、この処理によって姿勢のモデルと動きのモデルの定義が可能である。
【００３９】
更にまた、基本行動パターン定義部に提供される学習データの動きに関する内容が、以下の通り選択されていた場合には、より容易に姿勢のデータと動きのデータの分離を行うことができる。すなわち、基本行動パターン定義部に、学習データとして姿勢やその変化パターンは同じであるが動きの速度や大きさが異なる複数のパターンを提示できた場合には、基本行動パターン定義部は、学習した複数のパターンにおける不変な成分を求めて、それを姿勢のモデルの成分として分離する処理を行うことができる。この処理では、基本行動パターン定義部の学習の負担が少なく、また定義されるモデルの精度がより高くなるという効果が得られる。
【００４０】
基本行動パターン定義部は、ステップＳ５で、定義した基本行動パターンのモデルをコンピュータの記憶手段に記憶させる。基本行動パターンの混合ガウス分布によるモデルのデータの一例を、図１０に示す。図１０のデータには、最初に基本行動の名称ラベルが記載されている。更に、データの中には、基本行動パターンのモデルを定義するための、＜状態数＞＜状態＞＜混合数＞＜混合＞＜平均＞＜分散＞の各項目が含まれている。＜状態数＞の項目には、記憶されている状態の個数の情報が記載されている。＜状態＞の項目には記憶されている状態の番号の情報が記載されている。＜混合数＞の項目には、記憶されている混合ガウス分布の個数の情報が記載されている。＜混合＞の項目には、記憶されている混合ガウス分布の番号の情報が記載されている。＜平均＞および＜分散＞の項目には、記憶されている混合ガウス分布の特徴量の情報が記載されている。
【００４１】
拡張行動パターン認識部は、これまでのステップで基本行動パターン定義部が作成した基本行動パターンのモデルを利用して、新たに蓄積される加速度データを加工し、基本行動パターンから派生する姿勢と動きのパターンを認識して、新たな行動パターンである拡張行動パターンを認識するためのモデルを作成する。図１１に、拡張行動パターン認識部が行う手順のフローチャートを示す。以下フローチャートに従って、詳細な説明を行う。
【００４２】
拡張行動パターン認識部は、ステップＳ１１で、新たに追加された加速度データを学習する。そしてステップＳ１２で、基本行動パターンのモデルを再度学習する。拡張行動パターン認識部は、ステップＳ１２の再学習の際に、新たに追加された学習データを、６種類の基本行動パターンの行動に対応付けて、学習データの部分集合を作成する。次に拡張行動パターン認識部は、ステップＳ１３で、再学習された基本行動パターンのモデルを単位時間ごとに分割することで基本行動パターンのモデルを分解して、要素モデルを作成する。本実施の形態における拡張行動パターン認識部は、基本行動パターンのモデルを、１秒単位に区切ることで分解する。
【００４３】
更に拡張行動パターン認識部は、ステップＳ１４で、単位時間ごとに細分化された要素モデルを、特徴量の分布により更に細分化する。そしてステップＳ１５で、細分化されたモデルを統合（クラスタリング）して拡張行動パターンを記述するための基本要素モデルを作成する。基本要素モデルの統合を、ボトムアップの統合法によって行う手順を以下に述べる。
【００４４】
ステップＳ１６では、拡張行動パターンを記述する基本要素モデルを、それまでに得られた要素モデルの集合の中から、最適な部分集合の組み合わせを求めることによって行う。すなわち、ステップＳ１５までの段階で得られた要素モデルは、追加された学習データに含まれるパターンに対して、時間的な細分化と、特徴量の分布による細分化を行ったものであるので、それらの組み合わせの中で、追加された学習データを表す最適な組み合わせを求める。
【００４５】
学習データを表すために要素モデルの全ての組み合わせを求めるのは、計算量が非常に多くなるので、クラスタリング手法において一般的に用いられるボトムアップの統合法を適用する。クラスタリングの開始段階での要素モデル数をＮとする。はじめに、要素モデルのうち、統合することによって評価基準が最大となる２つのモデルを選択して統合する。このとき、要素モデル数はＮ−１となる。以下、要素モデル数が、あらかじめ定めた数Ｌになるまで、この処理を繰り返す。統合された元の要素モデルの集合を部分集合として考えれば、クラスタリングの開始段階におけるＮ個の要素モデルをＬ個の排他的な部分集合への分割方法を求めていることになる。
【００４６】
拡張行動パターン認識部が行うステップＳ１４の分解とステップＳ１５統合の手順では、モデルあるいはモデルの部分集合に対する処理の妥当性を評価するための基準が必要になる。行動パターンを定義するために確率的なモデルを用いている場合には、学習データがそのモデルを説明している程度を表す尺度として、尤度を用いることができる。又、モデルの集合の全体を、独立の行動の部分集合の組み合わせに分割したときに、モデルの集合の分離の良さを、モデルの集合であるクラスと他のモデルの集合であるクラスの間の分散と、クラス内の分散の比によって表すことが可能である。さらに、識別のためのモデルとして、独立のクラスの部分集合の組み合わせを用いた場合の識別性能を評価基準とすることが可能である。このように妥当性が評価されたモデルは、ステップＳ１６で基本要素モデルとして定義され一時記憶される。
【００４７】
拡張行動パターンを認識するための基本要素モデルを作成し定義した拡張行動パターン定義部は、新たな行動パターンである拡張行動パターンの認識手順を行う。拡張行動パターンの認識手順を図１２に示す。拡張行動パターン認識部は、ステップＳ２１で新たに時系列で蓄積される加速度データを取得する。そしてステップＳ２２で、この加速度データと基本行動パターンのモデル及び作成した基本要素モデルとの照合を行う。拡張行動パターン認識部は、ステップＳ２３で、基本行動パターンに定義されておらず、且つ基本要素モデルに該当する行動パターンを検出し、新たな行動パターンとしてクラス名を付して、その開始時間と終了時間と尤度とを特定する。なお、図１２のステップＳ２３に記載するイベントとは、行動パターンの新たな分類、あるいは自動的に形成された行動のクラスに相当する行動パターンのことである。拡張行動パターン認識部は、ステップＳ２４で、特定した新たな行動パターンを拡張行動パターンとして認識し、そのモデルを定義する。
【００４８】
拡張行動パターン認識部が、図１２の手順によって新たに認識した行動パターンの例を図１３に挙げる。図１３に挙げた行動パターンは、立った状態で停止していた被験者２が、横臥して静止するまでの中間過程の行動を認識した一例である。図１３に示される一連の加速度の計測値から、「腰を下ろす」「向きを変える」「腰をずらす」「状態を倒す」という一連の拡張行動パターンのカテゴリが認識された。
【００４９】
図１４に、本実施の形態の行動解析装置の拡張行動パターン認識部が認識した行動を表示装置６の出力する画面の一例を示す。画像の右側には、経過時間と拡張行動パターン認識部が認識した行動のカテゴリが表示される。又画面の左側には、現在加速度センサ１を装着している被験者２の行動の画像を、必要に応じて表示することができる。
【００５０】
拡張行動パターン認識部は、図１５に示すように、新たな行動パターンを認識するだけではなく、新たな行動パターンに含まれる動きの特徴量と姿勢の特徴量とを検出し、新たな拡張行動パターンに関連する姿勢や動きの定量的計測を行って新たな行動をより詳細に記述する処理を行うことができる。ここで、動きの特徴量と姿勢の特徴量の検出と分離は、先に基本行動パターン定義部がステップ３で行った手順と同一の手順によって行うことができる。このような拡張行動パターンの認識を繰り返すことによって、新たな行動パターンを記述するための独立なクラスを代表するモデルの集合を得ることができる。クラス数は，最初に定義された６種類の基本行動パターンのカテゴリ数よりも大きくなり、拡張行動パターン認識部による処理の手順を繰り返すことにより、多くの新たな行動を自動的に認識することができる。
【００５１】
このように、本実施の形態の行動解析装置は、基本行動パターンのモデルにおいて、姿勢のモデルと動きのモデルの分離を行っている。このため、新たな拡張行動パターンを認識する場合においても、姿勢の認識と動きの認識を別々に行うことが可能となる。又、拡張行動パターンによる行動の定量化の別の側面は、認識の結果として得られる時間軸上の位置に関する情報の利用を可能とする点にある。すなわち、その行動パターンの継続時間、頻度、行動と行動の間の時間間隔等が定量的な情報として得られる点にある。
【産業上の利用可能性】
【００５２】
本発明の行動解析装置及び行動解析プログラムによって、人間の行動パターンを自動的に分類して解析することが可能となる。この結果、支援を必要とする人の行動を見守るシステムや、携帯機器によるコンテキストアウェアサービス（状況認識サービス）、オフィスや工場等において行われている行動や動作の記録と解析による作業環境の改善プログラム、生産現場における動作の設計への応用、サービス分野におけるワークフロー解析などに利用可能である。
【符号の説明】
【００５３】
１ 加速度センサ
２ 被験者
３ コンピュータ
４ ＣＰＵ
５ 記憶手段
６ 表示装置
【技術分野】
【０００１】
本発明は、人間の行動パターンを分類し解析する行動解析装置及び行動解析プログラムに関するものである。特に、加速度センサによって出力され時系列データとして蓄積されるデータを用いて、人間の行動を自動的に解析する行動解析装置及び行動解析プログラムに関する。
【背景技術】
【０００２】
ユーザにセンサを装着し、センサから得られる計測データを用いてユーザの行動内容の推定や詳細な解析を行う試みがなされている。例えば、特許文献１には、加速度センサを用いた行動判別システムが開示されている。特許文献１の行動判別システムは、加速度センサを用いて得られるユーザの姿勢と行動を示す出力データと、記憶手段の中に予め記憶されている姿勢と行動のパターンデータとを照合することで、人体の姿勢状態と動作状態とを判別する。また非特許文献１には、単一の加速度センサを搭載した情報端末でユーザの行動や姿勢を推定する方法が開示されている。
【０００３】
センサを用いた行動解析では、ユーザの特定の行動に限定して、行動の内容を詳細に計測し解析する場合がある。特に近年では、人の歩行をセンサによって詳細に解析しようとする試みが盛んに行われている。センサで歩行の状態を詳細に知ることが可能となることで、高齢者や幼児をプライバシーに配慮しつつ見守ったり、歩数などの運動量を計測して健康の維持や増進を図ったり、あるいは工場や作業場等において動線や周囲のレイアウト等を最適化したりすることが可能となる。
【０００４】
特許文献２には、角速度センサと加速度センサを用いて人の歩行動作の検出を行う歩行動作検出処理装置が開示されている。特許文献２の検出処理装置は、角速度ベクトルと加速度ベクトルの値から重力加速度を検出し、この重力加速度から鉛直方向の加速度を除去して残差加速度成分を抽出し、得られた残差加速度成分の主成分分析を行ってその主成分ベクトルを利用して歩行動作を検出する。また特許文献３には、センサによって人体の複数の部位における体動を測定して歩行動作を分析する歩行動作分析装置が開示されている。特許文献３の歩行動作分析装置は、歩行動作を行った際の体動と体力特性との相関関係をあらかじめ算出して記憶しておき、測定された体動と算出された体力特性を用いて歩行動作の分類結果を表示する。歩行動作の分類は、体動と体力特性からクラスタ分類を用いることで行う。
【０００５】
また、ユーザの「歩く」「走る」「座る」「横臥する」といった複数の行動を、ユーザが装着しているセンサの出力データを統計的に処理することで推定しようとする試みがなされている。たとえば特許文献４には、観察対象者の身体の複数箇所に複数のセンサを取付けて、身体上の行動状況を記録し解析する状態解析装置が開示されている。特許文献４の状態解析装置は、センサによって得られた観察対象者の動きと姿勢に関する情報に基づいて、正規化センサ情報及び移動平均とを算出する。この移動平均及び正規化センサ情報との値と所定の閾値との差異により、観察対象者が、臥位、座位、立位、歩行あるいは車椅子走行のいずれの状況にあるかを判定する。非特許文献２には、６箇所に装着した加速度センサから得られた加速度の平均、標準偏差、エネルギーを特徴量として７種類の行動の識別を行う技術が開示されている。非特許文献２の技術は、音声認識で用いられるＭＡＰ推定法、ＭＬＬＲ法の２つの話者適応技術を応用することにより、行動の識別率の向上を検討している。
【０００６】
また、発明者らは、非特許文献３において、加速度センサの出力データから種々の行動を認識するために用いる特徴量の妥当性を検討している。発明者らは、非特許文献３の中で、ＭＦＣＣ（Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒａｌ Ｃｏｅｆｆｉｃｉｅｎｔｓ）とその一次動的特徴量や二次動的特徴量を考慮した特徴量を用い、その周波数特性を最適化することにより、行動の認識率を向上させる技術を開示している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−６１９３５号公報
【特許文献２】特開２００５−１１４５３７号公報
【特許文献３】特開２００８−１７３２５０号公報
【特許文献４】特開２００６−１１６３２５号公報
【非特許文献】
【０００８】
【非特許文献１】倉沢央，川原圭博，森川博之，青山友紀「センサ装着場所を考慮した３軸加速度センサを用いた姿勢推定手法」，情報処理学会研究報告２００６−ＵＢＩ−１１−（３），Ｖｏｌ．２００６．Ｎｏ．５４，ｐｐ．１５−２２，２００６年
【非特許文献２】橋田尚幸，大村廉，今井倫太「加速度センサを用いた日常行動識別における個人適応技術の識別精度への貢献」，情報処理学会研究報告２００８−ＵＢＩ−１９−（１３），Ｖｏｌ．２００８．Ｎｏ．６６，ｐｐ．６９−７４，２００８年
【非特許文献３】竹内伸一，伊藤真也，田村哲嗣,速水悟「加速度情報を用いた日常行動認識について」，電子情報通信学会 信学技報，ｖｏｌ．１０８，ｎｏ．４５３，ＣＡＳ２００８−１４２，ｐｐ．２２９−２３４，２００９年
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従来の行動解析技術では、解析対象とする行動パターンを１種類から数種類程度に限定した上で、センサによってユーザの動きや姿勢を計測し、得られたデータが解析対象の行動パターンに当てはまるか否かを正確に識別することを目的としている。あるいは、「歩く」「走る」等の特定の行動のより詳細な個体差や特徴を検出するための方法若しくは手段を提供することを目的としている。
【００１０】
しかしながら、人間の日常の行動を小数のパターンに分類することは困難であり、未だ分類が行われていない行動は数多く存在する。分類が行われていない行動は、センサによる計測値から行動を識別できる識別パターンや識別モデルが定義されていない場合が大部分であるが、このような行動を従来の解析技術によって解析しようとした場合には、以下のような多くの作業が必要となる。
【００１１】
従来の解析装置によって行動を解析するには、最初に、解析しようとする行動の一連の内容を含むカテゴリの設定を行う。次に、ある一定の時間間隔で解析対象となる行動を計測した大量の計測データを用意する。そしてこの計測データに含まれる情報を処理して行動を表す特徴量を抽出し、解析装置に特徴量を学習させることで識別パターンや識別モデルを定義する必要がある。このように、従来の行動解析技術で新たな行動を定義して解析するには、非常な労力が必要とされている。このため、より効率よく新たな行動の識別と分類とを行うことのできる技術が求められていた。
【００１２】
また従来、センサから出力されるデータのクラスタリングでは、特徴量の空間に対して評価関数を定めて、最適なカテゴリ数や最適な分類を求める手法が広く行われてきた。しかしながら、加速度センサから得られる情報は姿勢の情報と動きの情報が混在しているという制約があり、クラスタリングの障害となる場合があった。このため、姿勢と動きの情報が混在する時系列情報を用いて、より正確に行動の識別と解析を行う技術が要求されていた。
【００１３】
本発明は上記問題点に鑑みてなされたものであって、人間の行動を最適に分類し、これまでセンサによる計測データとの関連付けが充分なされていない行動であっても、より効率よく高精度に識別して解析する行動解析装置及び行動解析プログラムを提供するためになされたものである。
【課題を解決するための手段】
【００１４】
本発明の行動解析装置は、人体に装着される３軸加速度から出力される加速度データを用いて人体の行動を解析する解析手段と、記憶手段とを備えている。解析手段は、基本行動パターン定義部と、拡張行動パターン認識部とを備えている。基本行動パターン定義部は、連続して出力され時系列データとして蓄積される加速度データの経時的変化に含まれる人体の動きの特徴量と人体の姿勢の特徴量とを分離し、予め定められている基本行動と各々の特徴量との関連づけを行い、基本行動パターンの動きと姿勢の特徴量から成るモデルを定義して、モデルを記憶手段に記憶する。拡張行動パターン定義部は、基本行動パターンのモデルを利用して、新たに時系列データとして蓄積された加速度データを分離する加工を行い、加工された加速度データをクラスタリングして拡張行動パターンを認識することを特徴とする。
【００１５】
本発明の基本行動パターン定義部は、時系列データとして蓄積された加速度データに含まれる特徴量の分布に基づいて人体の動きの特徴量と姿勢の特徴量とを分離することを特徴とする。
【００１６】
また本発明の基本行動パターン定義部は、高周波数領域の加速度データを人体の動きの情報とし、低周波数領域の加速度データを人体の姿勢の情報として分離した後にそれぞれの特徴量を求めることを特徴とする。
【００１７】
本発明の拡張行動パターン認識部は、加速度データの経時的変化に含まれる人体の動きの特徴量と人体の姿勢の特徴量とを分離し、各々の特徴量を単位時間ごとに分割することで加速度データを分解して基本要素モデルを作成することを特徴とする。
【００１８】
また本発明の拡張行動パターン認識部は、分解する加工が行われた加速度データの特徴量を併合するデータ加工を行うことを特徴とする。
【００１９】
更に本発明の拡張行動パターン認識部は、新たに蓄積される加速度データの経時的変化を、基本行動パターンのモデルと基本要素モデルとを照合して、基本行動パターンに定義されていない行動パターンを表す動きの特徴量と姿勢の特徴量とを検出し、新たな拡張行動パターンのモデルを定義し、関連する定量的計測を行って前記新たな拡張行動パターンを認識することを特徴とする。
【００２０】
本発明は更にまた、行動解析プログラムを提供する。本発明の行動解析プログラムは、人体に装着される３軸加速度センサから連続して出力される任意の行動を表す加速度データを時系列データとして蓄積する手順と、加速度データの経時的変化に含まれる人体の動きの特徴量と人体の姿勢の特徴量とを分離する手順と、予め定められている基本行動と各々の前記特徴量との関連づけを行い、基本行動パターンの特徴量から成るモデルを定義する手順と、モデルを記憶手段に記憶する手順と、基本行動パターンの前記モデルを利用して、新たに時系列データとして蓄積される加速度データを分離する加工を行う手順と、加工された加速度データをクラスタリングして拡張行動パターンを認識する手順とをコンピュータに実行させることを特徴とする。
【発明の効果】
【００２１】
本発明の行動解析装置は、加速度センサが出力した加速度データから、人体の動きの特徴量と姿勢の特徴量とを分離して解析することにより、より正確に行動を識別して解析することが可能である。
【００２２】
本発明の行動解析装置の拡張行動パターン認識部によって、モデルが定義されていない行動のモデルを自動的に定義してその行動の定量的な解析を行うことが可能となる。これにより、解析に係る作業量が軽減されてより迅速且つ効率的に行動解析を行うことができる。またこれにより、より多様な行動パターンの認識と定量的な解析が容易になる。
【図面の簡単な説明】
【００２３】
【図１】図１は、３軸加速度センサを装着した被験者が横臥している状態を模式的に示す図である。
【図２】図２は、加速度センサが出力した「歩く」行動で検出される加速度を時系列で蓄積したデータを示している。
【図３】図３は、加速度センサが出力した「椅子に座る」行動で検出される加速度を時系列で蓄積したデータを示している。
【図４】図４は、加速度センサが出力した「椅子から立つ」行動で検出される加速度を時系列で蓄積したデータを示している。
【図５】図５は、加速度センサが出力した「ベッドに寝る」行動で検出される加速度を時系列で蓄積したデータを示している。
【図６】図６は、加速度センサが出力した「ベッドから起きる」行動で検出される加速度を時系列で蓄積したデータを示している。
【図７】図７は、実施の形態で示される基本行動パターン定義部が行う手順のフローチャートである。
【図８】図８は、「歩く」行動の加速度データを周波数分析した結果をｘ、ｙ、ｚ成分毎に示す図である。
【図９】図９は、基本行動パターン定義部が予め記憶している「歩く」行動に適用する姿勢の特徴量と動きの特徴量の例を示す図である。
【図１０】図１０は、基本行動パターンのモデルを定義するデータの一例である。
【図１１】図１１は、拡張行動パターン認識部が拡張行動パターンを学習するまでの手順のフローチャートである。
【図１２】図１２は、拡張行動パターン認識部が拡張行動パターンを認識するまでの手順のフローチャートである。
【図１３】図１３は、拡張行動パターン認識部の処理によって新たに認識された行動の加速度データとモデルとを示す図である。
【図１４】図１４は、本実施の形態の行動解析装置が認識した行動を出力する画面の一例を示す図である。
【図１５】図１５は、拡張行動パターン認識部が拡張行動パターンに関連する行動の定量的計測を行うまでの手順のフローチャートである。
【図１６】図１６は、行動解析装置の構成を模式的に示すブロック図である。
【発明を実施するための形態】
【００２４】
以下に、本発明を実施する好適な形態の一例として、「歩く」「椅子に座る」「椅子から立つ」「ベッドに寝る」「ベッドから起きる」「停止する」の６種類の行動を基本行動と定めて、被験者に装着した３軸加速度センサのデータを用いて基本行動パターンのモデルを定義し、更に新たに入力した３軸加速度センサのデータから基本行動に分類されない行動のパターンを拡張行動パターンとして認識してモデルを定義する解析装置について、図面を参照しつつ詳細に説明する。
【００２５】
本実施の形態における行動解析装置の構成を図１６に模式的に示す。行動解析装置は１台のコンピュータ３で構成されており、ＣＰＵ４と記憶手段５とがこのコンピュータ３に内蔵されている。解析手段の基本行動パターン定義部と拡張行動パターン認識部とは、コンピュータ３の記憶手段にプログラムとして記憶されており、必要な処理をコンピュータ３のＣＰＵ４で実行する。
【００２６】
本実施の形態において、被験者２の体に装着されて検出した加速度を連続して出力する３軸加速度センサ１には、無線通信機能を備えた３軸加速度センサが利用されている。加速度センサ１は、検出した加速度を、センサに定義されている３次元（ｘ、ｙ、ｚ）の直交座標系の成分値として出力し、無線通信によって行動解析装置のコンピュータに送信する。この加速度センサ１のサンプリング周波数は、最大１００Ｈｚである。加速度センサ１は、図１に示すように被験者２の腰に装着して加速度の検出を行った。加速度センサ１は小型であるため、被験者２の行動の障害となることがない。
【００２７】
基本行動パターン定義部は、各々の基本行動パターンのモデルを定義するために、加速度センサ１によって出力された各々の行動の加速度データに対して、以下に示す処理を行って多次元の特徴量を抽出し、この特徴量で構成されるモデルを定義する。基本行動パターン定義部が基本行動パターンのモデルを定義するまでの手順のフローチャートを、図７に示す。
【００２８】
図７のステップ１で、基本行動パターン定義部は、加速度センサ１が検出し時系列で蓄積した加速度データを、加速度の検出時に操作者が入力した情報に基づいて基本行動毎に区分化し、行動のラベル付けを行う。図２〜図６に、行動毎に分割されて基本行動名がラベルとして付された加速度データを示す。加速度データは、ｘ、ｙ、ｚの直交する３方向の成分として出力されている。図２は、「歩く」行動で検出される加速度を時系列で蓄積したデータを示している。図３は、「椅子に座る」行動で検出される加速度を時系列で蓄積したデータを示している。図４は、「椅子から立つ」行動で検出される加速度を時系列で蓄積したデータを示している。図５は、「ベッドに寝る」行動で検出される加速度を時系列で蓄積したデータを示している。図６は「ベッドから起きる」行動で検出される加速度を時系列で蓄積したデータを示している。尚、基本行動としてはこのほかに「停止する」行動が定義されるが、完全に停止している場合に加速度センサ１から出力されるデータは重力加速度のみであるため、本実施の形態では、行動パターンのモデル化を省略している。
【００２９】
基本行動パターン定義部は、行動毎に区分化された加速度データを用いて、フーリエ変換などの周波数分析を行う。あるいは区分化された加速度データに対して、単位時間毎の演算処理を行うこともできる。この場合には、処理を行う前の加速度の標本化周期で、データが得られる。この処理によって加速度データから得られる特徴量は以下のように定義することができる。ここで、ｔは区分化された加速度データのフレーム番号（単位時間当たりの処理を行う場合は時刻）を表している。特徴量は各軸についてＪ次元のものを、加速度の軸の方向ｘ，ｙ，ｚに並べたＫ＝３Ｊ次元のベクトルデータとして扱う。Ｋ次元の特徴量ベクトルｃｔは、フレームｔごとに得られる。この全体をＣと表す。
【数１】
【００３０】
次に基本行動パターン定義部は、基本行動パターンを表すモデルの学習に用いるモデルの定義を行う。本実施形態の基本行動パターン定義部は、モデルを以下のように定義している。以下において、ｍは基本行動パターンを表すためのモデル番号である。本実施の形態では基本行動の種類が６種類であるため、モデル数Ｍは最大６となる。ｓは、ある一定の継続時間をもつ行動パターンであり、その状態数をＳとしている。モデル番号ｍの状態ｓにおける特徴量の生起確率のパラメータＢｍを以下の式で表す。
【数２】
【００３１】
このとき、観測された特徴量Ｃがモデルｍから生起した確率をＰｍとする。Ｐｍが最大となるモデル番号を求め、このモデル番号を、認識された行動パターンのカテゴリとする。すなわち、行動パターンのカテゴリを表す式は、以下で示される。
【数３】
【００３２】
基本行動パターンのモデルを定義するために隠れマルコフモデル（ｈｉｄｄｅｎ Ｍａｒｋｏｖ ｍｏｄｅｌ）を適用する場合には、さらに状態間の遷移確率も併せて考慮する。生起確率に代えて、時間方向に特徴量の平均値を並べたものとの距離を用いるモデルや、ＤＰ（ｄｙｎａｍｉｃ ｐｒｏｇｒａｍｍｉｎｇ）マッチングによる時間伸縮を考慮したモデルを定義することもできる。特徴量の時系列データと、状態ごとの確率モデルとの対応付けを求めながら推定する方法としては、隠れマルコフモデルを適用した場合には，ｆｏｒｗａｒｄ−ｂａｃｋｗａｒｄアルゴリズムを用いることができる。他の場合には、モデルと観測されたデータとの時間的な対応付け（ａｌｉｇｎｍｅｎｔ）を求める。そして、一定時間の区間に対応する特徴量の集合から、平均値などの統計量を求めて、モデルを定義することができる。
【００３３】
基本行動パターン定義部は、図７のステップ２に示すように、基本行動パターン毎のモデルを定義するための学習を行う。このステップで行われる学習は教師あり学習である。学習に用いられるデータは、ステップ１で基本行動毎に区分化し、行動のラベル付けが行われた、時系列データとして蓄積されている加速度データである。基本行動パターン定義部は、このラベルと時系列の加速度データの経時的変化の値から得られる特徴量を用いて、行動パターンのモデルを学習する。隠れマルコフモデルを適用している場合には、ＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ Ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムによってそのパラメータを学習する。
【００３４】
基本行動パターン定義部は、ステップＳ３で、学習した時系列で蓄積されている加速度データの中に含まれる姿勢の情報と動きの情報とを分離する。そして、ステップＳ４で、姿勢のモデルと動きのモデルとを含む基本行動パターンのモデルを定義する。基本行動パターン定義部は、姿勢の情報と動きの情報を分離してそれぞれのモデルを定義するための手順を複数備えており、学習した加速度データの内容を検討していずれかの手順を実行する。
【００３５】
姿勢の情報と動きの情報を分離するための手順の一例は、加速度データの周波数分析を行って、低周波数の成分を姿勢の情報とし、高周波数の成分を動きの情報として分離するものである。図８に、「歩く」基本行動の加速度データについて周波数分析を行った結果をｘ、ｙ、ｚの成分毎に示す。図８の横軸は周波数（Ｈｚ）であり、縦軸は各周波数のパワースペクトルを表している。本実施の形態における基本行動パターン定義部は、「歩く」行動のモデルで、０Ｈｚ以上１Ｈｚ以下の周波数領域に現れる波形を姿勢に由来する特徴量であると定義し、１Ｈｚを超えて２５Ｈｚ以下の周波数領域に現れる波形を動きに由来する特徴量であると定義して、姿勢のデータと動きのデータとを分離している。
【００３６】
また基本行動パターン定義部は、学習した加速度データに含まれる特徴量の分布に基づいて、姿勢の情報と動きの情報を分離する手順を実施することができる。図９に、本実施の形態の基本行動パターン定義部が予め加速度データの経時的変化の値として記憶している「歩く」行動に関する姿勢の特徴量と動きの特徴量の例を示す。
【００３７】
更に基本行動パターン定義部は、姿勢のデータと動きのデータを分離するための以下の手順を備えており、学習した加速度データの内容に応じて処理の内容を変更してステップＳ３の動きのモデルと姿勢のモデルの定義を行っている。
【００３８】
例えば基本行動パターン定義部は、学習した加速度データの周波数分析を行った後、高周波数領域の成分を除去する時間領域でのフィルタリング操作を行う。そして、低周波数成分のみを抽出してこれを姿勢のモデルとして定義する。フィルタリング操作の具体的な処理の一例としては、加速度データの移動平均を求めて動き成分を除去する処理が挙げられる。更に、学習した加速度データについて、複数の情報が混合したものとして定式化を行って、その混合割合を推定し姿勢のデータと動きのデータの分離を行うことができる。隠れマルコフモデルの出力確率分布として、混合ガウス分布（混合ガウスモデル）を用いる場合などは、この処理によって姿勢のモデルと動きのモデルの定義が可能である。
【００３９】
更にまた、基本行動パターン定義部に提供される学習データの動きに関する内容が、以下の通り選択されていた場合には、より容易に姿勢のデータと動きのデータの分離を行うことができる。すなわち、基本行動パターン定義部に、学習データとして姿勢やその変化パターンは同じであるが動きの速度や大きさが異なる複数のパターンを提示できた場合には、基本行動パターン定義部は、学習した複数のパターンにおける不変な成分を求めて、それを姿勢のモデルの成分として分離する処理を行うことができる。この処理では、基本行動パターン定義部の学習の負担が少なく、また定義されるモデルの精度がより高くなるという効果が得られる。
【００４０】
基本行動パターン定義部は、ステップＳ５で、定義した基本行動パターンのモデルをコンピュータの記憶手段に記憶させる。基本行動パターンの混合ガウス分布によるモデルのデータの一例を、図１０に示す。図１０のデータには、最初に基本行動の名称ラベルが記載されている。更に、データの中には、基本行動パターンのモデルを定義するための、＜状態数＞＜状態＞＜混合数＞＜混合＞＜平均＞＜分散＞の各項目が含まれている。＜状態数＞の項目には、記憶されている状態の個数の情報が記載されている。＜状態＞の項目には記憶されている状態の番号の情報が記載されている。＜混合数＞の項目には、記憶されている混合ガウス分布の個数の情報が記載されている。＜混合＞の項目には、記憶されている混合ガウス分布の番号の情報が記載されている。＜平均＞および＜分散＞の項目には、記憶されている混合ガウス分布の特徴量の情報が記載されている。
【００４１】
拡張行動パターン認識部は、これまでのステップで基本行動パターン定義部が作成した基本行動パターンのモデルを利用して、新たに蓄積される加速度データを加工し、基本行動パターンから派生する姿勢と動きのパターンを認識して、新たな行動パターンである拡張行動パターンを認識するためのモデルを作成する。図１１に、拡張行動パターン認識部が行う手順のフローチャートを示す。以下フローチャートに従って、詳細な説明を行う。
【００４２】
拡張行動パターン認識部は、ステップＳ１１で、新たに追加された加速度データを学習する。そしてステップＳ１２で、基本行動パターンのモデルを再度学習する。拡張行動パターン認識部は、ステップＳ１２の再学習の際に、新たに追加された学習データを、６種類の基本行動パターンの行動に対応付けて、学習データの部分集合を作成する。次に拡張行動パターン認識部は、ステップＳ１３で、再学習された基本行動パターンのモデルを単位時間ごとに分割することで基本行動パターンのモデルを分解して、要素モデルを作成する。本実施の形態における拡張行動パターン認識部は、基本行動パターンのモデルを、１秒単位に区切ることで分解する。
【００４３】
更に拡張行動パターン認識部は、ステップＳ１４で、単位時間ごとに細分化された要素モデルを、特徴量の分布により更に細分化する。そしてステップＳ１５で、細分化されたモデルを統合（クラスタリング）して拡張行動パターンを記述するための基本要素モデルを作成する。基本要素モデルの統合を、ボトムアップの統合法によって行う手順を以下に述べる。
【００４４】
ステップＳ１６では、拡張行動パターンを記述する基本要素モデルを、それまでに得られた要素モデルの集合の中から、最適な部分集合の組み合わせを求めることによって行う。すなわち、ステップＳ１５までの段階で得られた要素モデルは、追加された学習データに含まれるパターンに対して、時間的な細分化と、特徴量の分布による細分化を行ったものであるので、それらの組み合わせの中で、追加された学習データを表す最適な組み合わせを求める。
【００４５】
学習データを表すために要素モデルの全ての組み合わせを求めるのは、計算量が非常に多くなるので、クラスタリング手法において一般的に用いられるボトムアップの統合法を適用する。クラスタリングの開始段階での要素モデル数をＮとする。はじめに、要素モデルのうち、統合することによって評価基準が最大となる２つのモデルを選択して統合する。このとき、要素モデル数はＮ−１となる。以下、要素モデル数が、あらかじめ定めた数Ｌになるまで、この処理を繰り返す。統合された元の要素モデルの集合を部分集合として考えれば、クラスタリングの開始段階におけるＮ個の要素モデルをＬ個の排他的な部分集合への分割方法を求めていることになる。
【００４６】
拡張行動パターン認識部が行うステップＳ１４の分解とステップＳ１５統合の手順では、モデルあるいはモデルの部分集合に対する処理の妥当性を評価するための基準が必要になる。行動パターンを定義するために確率的なモデルを用いている場合には、学習データがそのモデルを説明している程度を表す尺度として、尤度を用いることができる。又、モデルの集合の全体を、独立の行動の部分集合の組み合わせに分割したときに、モデルの集合の分離の良さを、モデルの集合であるクラスと他のモデルの集合であるクラスの間の分散と、クラス内の分散の比によって表すことが可能である。さらに、識別のためのモデルとして、独立のクラスの部分集合の組み合わせを用いた場合の識別性能を評価基準とすることが可能である。このように妥当性が評価されたモデルは、ステップＳ１６で基本要素モデルとして定義され一時記憶される。
【００４７】
拡張行動パターンを認識するための基本要素モデルを作成し定義した拡張行動パターン定義部は、新たな行動パターンである拡張行動パターンの認識手順を行う。拡張行動パターンの認識手順を図１２に示す。拡張行動パターン認識部は、ステップＳ２１で新たに時系列で蓄積される加速度データを取得する。そしてステップＳ２２で、この加速度データと基本行動パターンのモデル及び作成した基本要素モデルとの照合を行う。拡張行動パターン認識部は、ステップＳ２３で、基本行動パターンに定義されておらず、且つ基本要素モデルに該当する行動パターンを検出し、新たな行動パターンとしてクラス名を付して、その開始時間と終了時間と尤度とを特定する。なお、図１２のステップＳ２３に記載するイベントとは、行動パターンの新たな分類、あるいは自動的に形成された行動のクラスに相当する行動パターンのことである。拡張行動パターン認識部は、ステップＳ２４で、特定した新たな行動パターンを拡張行動パターンとして認識し、そのモデルを定義する。
【００４８】
拡張行動パターン認識部が、図１２の手順によって新たに認識した行動パターンの例を図１３に挙げる。図１３に挙げた行動パターンは、立った状態で停止していた被験者２が、横臥して静止するまでの中間過程の行動を認識した一例である。図１３に示される一連の加速度の計測値から、「腰を下ろす」「向きを変える」「腰をずらす」「状態を倒す」という一連の拡張行動パターンのカテゴリが認識された。
【００４９】
図１４に、本実施の形態の行動解析装置の拡張行動パターン認識部が認識した行動を表示装置６の出力する画面の一例を示す。画像の右側には、経過時間と拡張行動パターン認識部が認識した行動のカテゴリが表示される。又画面の左側には、現在加速度センサ１を装着している被験者２の行動の画像を、必要に応じて表示することができる。
【００５０】
拡張行動パターン認識部は、図１５に示すように、新たな行動パターンを認識するだけではなく、新たな行動パターンに含まれる動きの特徴量と姿勢の特徴量とを検出し、新たな拡張行動パターンに関連する姿勢や動きの定量的計測を行って新たな行動をより詳細に記述する処理を行うことができる。ここで、動きの特徴量と姿勢の特徴量の検出と分離は、先に基本行動パターン定義部がステップ３で行った手順と同一の手順によって行うことができる。このような拡張行動パターンの認識を繰り返すことによって、新たな行動パターンを記述するための独立なクラスを代表するモデルの集合を得ることができる。クラス数は，最初に定義された６種類の基本行動パターンのカテゴリ数よりも大きくなり、拡張行動パターン認識部による処理の手順を繰り返すことにより、多くの新たな行動を自動的に認識することができる。
【００５１】
このように、本実施の形態の行動解析装置は、基本行動パターンのモデルにおいて、姿勢のモデルと動きのモデルの分離を行っている。このため、新たな拡張行動パターンを認識する場合においても、姿勢の認識と動きの認識を別々に行うことが可能となる。又、拡張行動パターンによる行動の定量化の別の側面は、認識の結果として得られる時間軸上の位置に関する情報の利用を可能とする点にある。すなわち、その行動パターンの継続時間、頻度、行動と行動の間の時間間隔等が定量的な情報として得られる点にある。
【産業上の利用可能性】
【００５２】
本発明の行動解析装置及び行動解析プログラムによって、人間の行動パターンを自動的に分類して解析することが可能となる。この結果、支援を必要とする人の行動を見守るシステムや、携帯機器によるコンテキストアウェアサービス（状況認識サービス）、オフィスや工場等において行われている行動や動作の記録と解析による作業環境の改善プログラム、生産現場における動作の設計への応用、サービス分野におけるワークフロー解析などに利用可能である。
【符号の説明】
【００５３】
１ 加速度センサ
２ 被験者
３ コンピュータ
４ ＣＰＵ
５ 記憶手段
６ 表示装置
【特許請求の範囲】
【請求項１】
人体に装着される３軸加速度センサから出力される加速度データを用いて前記人体の行動を解析する解析手段と、記憶手段とを備えており、
前記解析手段が、
連続して出力され時系列データとして蓄積される前記加速度データの経時的変化に含まれる前記人体の姿勢の特徴量と前記人体の動きの特徴量とを分離し、予め定められている基本行動と各々の前記特徴量との関連づけを行い、基本行動パターンの前記特徴量から成るモデルを定義して、前記モデルを前記記憶手段に記憶する基本行動パターン定義部と、
基本行動パターンの前記モデルを利用して、新たに時系列データとして蓄積された加速度データを分離する加工を行い、加工された前記加速度データをクラスタリングして拡張行動パターンを認識する拡張行動パターン認識部とを備えていることを特徴とする行動解析装置。
【請求項２】
前記基本行動パターン定義部は、時系列データとして蓄積された前記加速度データに含まれる特徴量の分布に基づいて前記人体の姿勢の特徴量と前記人体の動きの特徴量とを分離することを特徴とする請求項１に記載の行動解析装置。
【請求項３】
前記基本行動パターン定義部は、高周波数領域の加速度データを前記人体の動きの情報とし、低周波数領域の加速度データを前記人体の姿勢の情報として分離した後にそれぞれの特徴量を求めることを特徴とする請求項１に記載の行動解析装置。
【請求項４】
前記拡張行動パターン認識部は、前記加速度データの経時的変化に含まれる前記動きの特徴量と前記姿勢の特徴量とを分離し、前記動きの特徴量と前記姿勢の特徴量とを単位時間ごとに分割することで前記加速度データを分解して基本要素モデルを作成することを特徴とする請求項１に記載の行動解析装置。
【請求項５】
前記拡張行動パターン認識部は、分割する加工が行われた前記加速度データの特徴量を併合するデータ加工を行うことを特徴とする請求項４に記載の行動解析装置。
【請求項６】
新たに蓄積される前記加速度データの経時的変化を、前記基本行動パターンのモデル及び前記基本要素モデルと照合し、基本行動パターンに定義されていない行動パターンを表す動きの特徴量と姿勢の特徴量とを検出し、新たな拡張行動パターンのモデルを定義し、関連する定量的計測を行って前記新たな拡張行動パターンを認識することを特徴とする請求項４及び５に記載の行動解析装置。
【請求項７】
人体に装着される３軸加速度センサから連続して出力される任意の行動を表す加速度データを時系列データとして蓄積する手順と、
前記加速度データの経時的変化に含まれる前記人体の動きの特徴量と前記人体の姿勢の特徴量とを分離する手順と、
予め定められている基本行動と各々の前記特徴量との関連づけを行い、基本行動パターンの前記特徴量から成るモデルを定義する手順と、
前記モデルを前記記憶手段に記憶する手順と、
基本行動パターンの前記モデルを利用して、新たに時系列データとして蓄積される前記加速度データを分離する加工を行う手順と、
加工された前記加速度データをクラスタリングして拡張行動パターンを認識する手順とをコンピュータに実行させることを特徴とする行動解析プログラム。
【請求項１】
人体に装着される３軸加速度センサから出力される加速度データを用いて前記人体の行動を解析する解析手段と、記憶手段とを備えており、
前記解析手段が、
連続して出力され時系列データとして蓄積される前記加速度データの経時的変化に含まれる前記人体の姿勢の特徴量と前記人体の動きの特徴量とを分離し、予め定められている基本行動と各々の前記特徴量との関連づけを行い、基本行動パターンの前記特徴量から成るモデルを定義して、前記モデルを前記記憶手段に記憶する基本行動パターン定義部と、
基本行動パターンの前記モデルを利用して、新たに時系列データとして蓄積された加速度データを分離する加工を行い、加工された前記加速度データをクラスタリングして拡張行動パターンを認識する拡張行動パターン認識部とを備えていることを特徴とする行動解析装置。
【請求項２】
前記基本行動パターン定義部は、時系列データとして蓄積された前記加速度データに含まれる特徴量の分布に基づいて前記人体の姿勢の特徴量と前記人体の動きの特徴量とを分離することを特徴とする請求項１に記載の行動解析装置。
【請求項３】
前記基本行動パターン定義部は、高周波数領域の加速度データを前記人体の動きの情報とし、低周波数領域の加速度データを前記人体の姿勢の情報として分離した後にそれぞれの特徴量を求めることを特徴とする請求項１に記載の行動解析装置。
【請求項４】
前記拡張行動パターン認識部は、前記加速度データの経時的変化に含まれる前記動きの特徴量と前記姿勢の特徴量とを分離し、前記動きの特徴量と前記姿勢の特徴量とを単位時間ごとに分割することで前記加速度データを分解して基本要素モデルを作成することを特徴とする請求項１に記載の行動解析装置。
【請求項５】
前記拡張行動パターン認識部は、分割する加工が行われた前記加速度データの特徴量を併合するデータ加工を行うことを特徴とする請求項４に記載の行動解析装置。
【請求項６】
新たに蓄積される前記加速度データの経時的変化を、前記基本行動パターンのモデル及び前記基本要素モデルと照合し、基本行動パターンに定義されていない行動パターンを表す動きの特徴量と姿勢の特徴量とを検出し、新たな拡張行動パターンのモデルを定義し、関連する定量的計測を行って前記新たな拡張行動パターンを認識することを特徴とする請求項４及び５に記載の行動解析装置。
【請求項７】
人体に装着される３軸加速度センサから連続して出力される任意の行動を表す加速度データを時系列データとして蓄積する手順と、
前記加速度データの経時的変化に含まれる前記人体の動きの特徴量と前記人体の姿勢の特徴量とを分離する手順と、
予め定められている基本行動と各々の前記特徴量との関連づけを行い、基本行動パターンの前記特徴量から成るモデルを定義する手順と、
前記モデルを前記記憶手段に記憶する手順と、
基本行動パターンの前記モデルを利用して、新たに時系列データとして蓄積される前記加速度データを分離する加工を行う手順と、
加工された前記加速度データをクラスタリングして拡張行動パターンを認識する手順とをコンピュータに実行させることを特徴とする行動解析プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１２】
【図１５】
【図１６】
【図９】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１２】
【図１５】
【図１６】
【図９】
【図１３】
【図１４】
【公開番号】特開２０１０−２０７４８８（Ｐ２０１０−２０７４８８Ａ）
【公開日】平成２２年９月２４日（２０１０．９．２４）
【国際特許分類】
【出願番号】特願２００９−５８８１２（Ｐ２００９−５８８１２）
【出願日】平成２１年３月１２日（２００９．３．１２）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１６〜２０年度、文部科学省、地域科学技術振興施策、委託研究（知的クラスター創成事業、岐阜・大垣地域ロボティック先端医療クラスター）、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（３０４０１９３９９）国立大学法人岐阜大学 (289)
【Ｆターム（参考）】
【公開日】平成２２年９月２４日（２０１０．９．２４）
【国際特許分類】
【出願日】平成２１年３月１２日（２００９．３．１２）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１６〜２０年度、文部科学省、地域科学技術振興施策、委託研究（知的クラスター創成事業、岐阜・大垣地域ロボティック先端医療クラスター）、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（３０４０１９３９９）国立大学法人岐阜大学 (289)
【Ｆターム（参考）】
[ Back to top ]