説明

行動内容可視化装置および行動内容解析装置

【課題】特徴が加速度の振動や強度に表れにくいデスクワーク、会話などの不均一で多様な動作からなる行動内容の認識や、行動の特性を評価、または、可視化する。
【解決手段】測定対象者の腕に生じる加速度を計測する加速度計測部と、計測された加速度情報を格納する記憶装置と接続され、表示装置を用いて、前記加速度情報から測定対象者の行動を可視化する行動内容可視化装置であって、可視化の対象とする加速度情報の選定条件を指定する設定部と、前記選定条件に基づいて、前記記憶装置に格納されている前記加速度情報から可視化の対象とする加速度ベクトルの集合を読み出して選定するデータ選定部と、前記選定された加速度ベクトルの集合の各々から加速度の向きを抽出した角度集合を算出する角度集合算出部と、前記角度集合に基づいて表示画像を生成する表示方法制御部とを有することを特徴とする行動内容可視化装置。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、加速度センサを用いた人間の行動特性の可視化および解析に関する。
【背景技術】
【0002】
近年、小型省電力センサと大容量メモリ技術の発達により、人間の行動を長期間にわたって継続的に測定し、記録することが可能となっている。特に、加速度センサは、小型かつ安価で、取得する情報がシンプルであるため、人間の行動を長期間にわたって継続的に計測できるという利点がある。このようなセンサにより、生体の活動を計測し、計測データを人間の健康管理や生活管理に活用するための技術がある。計測したセンサデータを人間の健康管理や生活管理に活用するためには、計測データから人間の行動を解析したり、可視化したりする方法が必要である。
【0003】
例えば、特許文献1では、過去の歩行パターンを歩数計に記憶しておき、歩数計に目標歩数を入力し、過去の歩行パターンと目標歩数から現在時刻までに達成すべき歩行数の目標値を予測し、実際に測定した歩行数の目標値に対する割合を達成度合いとして歩数計に表示する。この種の歩数計では、歩数計の利用者の歩行パターンを反映した目標運動量の達成度合いを歩数計に表示することで、健康管理を支援する。
【0004】
また、特許文献2では、振動回数と振動強度に応じて規定される色を用いて、測定対象者の行動パターンを可視化している。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2008−117174号公報
【特許文献2】特開2008−283号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、上記される従来手法では、主に、加速度の振動や強度に着目したものであり、歩数、運動量、消費エネルギーなどを推定、可視化するには有効であるが、特徴が加速度の振動や強度に表れにくいデスクワーク、会話などの不均一で多様な動作からなる行動内容の認識や、行動の特性を評価、または、これらを可視化することは実現が困難である。
【課題を解決するための手段】
【0007】
上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、測定対象者の腕に生じる加速度を計測する加速度計測部と、計測された加速度情報を格納する記憶装置と接続され、表示装置を用いて、前記加速度情報から測定対象者の行動を可視化する行動内容可視化装置であって、可視化の対象とする加速度情報の選定条件を指定する設定部と、前記選定条件に基づいて、前記記憶装置に格納されている前記加速度情報から可視化の対象とする加速度ベクトルの集合を読み出して選定するデータ選定部と、
前記選定された加速度ベクトルの集合の各々から加速度の向きを抽出した角度集合を算出する角度集合算出部と、前記角度集合に基づいて表示画像を生成する表示方法制御部とを有することを特徴とする行動内容可視化装置によって解決される。
【発明の効果】
【0008】
測定対象者の行動内容、行動特性を、二次元情報で表現することで、容易に可視化または解析を可能にする。
【図面の簡単な説明】
【0009】
【図1】行動内容可視化装置および行動内容解析装置の構成図の例である。
【図2】行動内容可視化装置の構成例を示す図である。
【図3】本発明の実施例4における構成例を示す図である。
【図4】加速度情報テーブルの例である。
【図5】区切り点情報テーブルの例である。
【図6】行動情報テーブルの例である。
【図7】設定部208におけるユーザによる条件設定用GUIの例である。
【図8】分布密度算出部の処理を説明するフローチャートの例である。
【図9】特徴量情報テーブルの例である。
【図10】本発明の実施例における加速度センサの装着例である。
【図11】本発明の実施例における加速度の角度抽出例を説明するための図である。
【図12】腕のピッチ角、ロール角を説明するための図である。
【図13】行動内容可視化の例である。
【図14】行動内容可視化の例である。
【図15】行動内容可視化の例である。
【図16】行動内容可視化の例である。
【図17】行動内容可視化の例である。
【図18】行動内容可視化の例である。
【図19】行動内容可視化の例である。
【図20】変化点検出例である。
【図21】行動内容解析装置の構成例を示す図である。
【図22】行動変化点検出装置の構成例を示す図である。
【図23】角度集合マッチング部の処理を説明するフローチャートの例である。
【図24】行動内容可視化装置の構成例を示す図である。
【発明を実施するための形態】
【0010】
本発明の具体的な実施例について述べる前に、実施例に共通の概要を説明する。
【0011】
加速度センサは、人体、あるいは構造物に装着し、加速度を計測することにより、測定対象物の動きを捉えることを目的として用いられている。このとき、計測される加速度ベクトルは、測定対象物の動きに起因する加速度ベクトルと、重力による加速度ベクトルの和となる。特に、測定対象物が静止状態の場合には、鉛直下向きの重力加速度が計測されることになる。
【0012】
ここで、特に加速度の向きに着目する。測定対象物に装着された加速センサから見て、重力加速度の向きは、測定対象物の姿勢や向きによって変わってくるため、測定対象物の姿勢や向きを良く表している。また、動きに起因する加速度の向きは、測定対象物の動きの特徴を良く表している。したがって、重力加速度ベクトルと動きの加速度ベクトルの和ベクトルである測定加速度は、測定対象物の姿勢や動き(動作内容、動作特徴)などを良く表現している。
【0013】
上記の加速度の向きは、特に、人間の行動を理解、解析する上で有用である。例えば、デスクワーク、会議、会話などの人間行動は、歩行やジョギング、歯磨きなどの同じ動作パターンの繰り返しから成る行動ではなく、不均一で多様な複合的動作の組み合わせから成るものである。このような複合的な動作から成る人間行動の特徴や、その行動時の集中度、積極性などの特性は、測定対象者の姿勢(加速度の向き)によく現れる。また、このような複合的な動作から成る人間行動の特徴、特性を十分に捉えるには、数分から数時間程度の長い時間スケールでの時系列加速度の解析が必要である。後の例で示すように、ある時間領域内における加速度の向きの分布は、これらの行動の特徴や特性をよく表現しており、行動の可視化や解析に活用することができる。また、この加速度の向きの分布は、歩行やジョギングなどの同じ動作の組み合わせから成る行動の特性を理解するためにも、用いることができる。
【0014】
したがって、ある時間領域内における加速度の向きの分布を調べることによって、測定対象物の前記時間領域内における姿勢や動きを良く理解することができる。以下では、このことについて、人間の左手首に装着した腕時計型加速度センサの例を用いて説明する。腕にかかる加速度情報を取得するには、腕時計型加速度センサと異なる他のセンサでもよい。
【0015】
実施例では、図10に示すように、加速度センサ1001を左手首に装着しているものとして説明を行う。なお、ここでは説明のために左手首に装着しているとしたが、右手首や、他の体の部位に装着しても良い。また、人体以外の構造物に設置しても良い。
【0016】
いま、図11に示すように、加速度センサ1001を手首の手の甲の側に装着し、装置の底面側(手首側)をX軸の正の向き1103、腕の親指側の向きをY軸の正の向き1104、下腕側(手のある向き)をZ軸の正の向き1105とし、XYZ軸の向きをとる。 ここで、加速度の向きを二次元平面に対応付ける。いま、加速度ベクトル1102が、図11に示す通りとなっているとする。特に、腕が静止している場合には、加速度ベクトル1102は、鉛直下向きとなる。このとき、加速度ベクトルの向きを表現する一つの方法として、加速度ベクトルをXY平面上に投影してできる投影ベクトル1108の偏角φと、Z軸の正の向きと加速度ベクトルの向きのなす角度θをとる。ここで、φは、X軸正の向きと前記投影ベクトルとのなす角がφの大きさ|φ|と一致し、Y軸正の向きと前記投影ベクトルのなす角が90度以上のときにφ<0、90度より小さいときにφ>0ととることにする。このとき、−π≦φ<π、0≦θ≦πとなる。
【0017】
このように、加速度ベクトルの向きをφ、θで表現すると、図12に示すように、θは、腕を上下に振る時のピッチの角度、φは腕を回転させるときのロールの角度に対応する。重力加速度のみを考える場合(腕が静止している場合)には、腕が水平方向であるときに、θ=π/2、腕を上に上げるとθ>π/2、腕を下に下げるとθ<π/2となる。また手の甲が鉛直上向きの状態にあるときに、φ=π/2、手首を小指の向きが下になる向きに左回転させたときφ<0、手首を親指の向きが下になる向きに右回転させたときφ>0となる。
【0018】
時刻tにおけるX軸、Y軸、Z軸の加速度をx(t)、y(t)、z(t)とおくと、時刻tにおけるφ(t)、θ(t)は、数1により与えられる。このとき、すでに述べたように、(φ(t)、θ(t))∈[−π、π)×[0、π]となる。
【0019】
【数1】

【0020】
実施例では、ある時刻集合S=(s1、s2、…、sN)における加速度ベクトルの向きを算出し、それを利用することによって、測定対象物の姿勢や動きを捉え、行動内容の解析、行動特性の解析、行動変化点の検知、行動内容や特徴の表示を行う。
【0021】
そのために、ここでは、まず、加速度ベクトルの向きを表現する領域を複数の領域に分割する。その後、各領域において、時刻集合S上の加速度ベクトルから抽出した角度の累積値を算出する。算出された累積値は、色情報に変換し、図示する。以下では、このことについて説明する。
【0022】
ここで、ある時刻集合S=(s1、s2、…、sN)における角度φ、θの分布を図示するために、まず、φθ空間を複数領域に分割する。実数上の区間D1i,D2jを数2により定義し、φθ空間における領域[−π、π)×[0、π]を数3に示すNφ×Nθ個の領域Di,j(i=0,1、…、Nφ、j=0,1、…、Nθ)に分割する。
【0023】
【数2】

【0024】
【数3】

【0025】
次に、各小領域Di,jにおける時刻集合Sでの角度φ、θの累積値hS(i、j)を数4により定義する。これを正規化することにより、分布密度pS(i、j)を数5により定義する。すると、0≦pS(i,j)≦1となり、pS(i、j)は、時刻集合Sにおける角度の領域Di、jでの分布確率を表すことになる。
【0026】
【数4】

【0027】
【数5】

【0028】
次に、このpS(i、j)を視覚的に理解するために、pS(i、j)を、色を用いて図示する。そのために、光の3原色の赤色(R)、緑色(G),青色(B)を混色することにより、色を表現する。例えば、各色の色量を16進数で表現すると、黒は、{R,G,B}={0x00,0x00,0x00},白は、{R,G,B}={0xFF,0xFF,0xFF}などのように、表現することができる。ここでは、図面の都合上、pS(i、j)を、pS(i、j)の値が大きいときは白に近いグレー色、pS(i、j)の値が小さいときは黒に近いグレー色を用いることによって表現する例を挙げる。別の実施例として、分布pS(i、j)の値が大きいときは暖色系の色、分布pS(i、j)の値が小さいときには、寒色系の色で、カラー画像によって表現することで、より視覚的に解りやすいものとなる。
【0029】
図示のために、pS(i、j)を数6により変換する。これを用いて、g(i、j)が1のとき白、g(i、j)が0のとき黒となるように、g(i、j)の大きさに応じて段階的にグレー色で表現する。小数部は切り捨てて、R=G=B=255×g(i、j)とおくと、{R,G,B}で表現される色はグレー色となる。数6の変換は、pS(i、j)が0.001以上のときに白となることを示している。また、平方根は、図の視覚的な分かりやすさを調整するために、補正をかけたものである。
【0030】
【数6】

【0031】
図13は、上記の方法により生成されたg(i、j)を図示したものである。左下を起点である(i、j)=(0,0)の点として、横方向をi軸、縦方向をj軸にとり、g(i、j)をR=G=B=255×g(i、j)を用いてグレースケールで表現したものである。図の左半分が、φ<0、右半分がφ>0、上半分がθ>π/2、下半分がθ<π/2の領域となる。
【0032】
このように図示することにより、腕を上げた時に図の上側に、腕を下げた時に図の下側に、腕を左に回した時に図の左側に、腕を右に回したときに図の右側に分布がくるようになり、図の位置を人間の動作と結び付けて直観的に理解することができる
この図示法は、θを緯度、φを経度とみると、世界地図と同様で、θ=0、πの極付近で、歪みが生じる。つまり、極付近では、実際の加速度の向きの変化の大きさと、図上の距離とに、大きな乖離が生じる。これを補正するために、φθ空間における面積と、球面上における面積がなるべく近くなるように、φにsin(θ)を掛けて、sin(θ)φと補正する。すなわち、累積値hSとして、数7を用いる。このhSを用いて、数5によりpSを計算し、数6によりg(i、j)を導出する。これを、上記と同様の方法により、図示すると、図14の図1401のようになる。ここで、φ(s)、θ(s)がどのような値をとっても、常にpS=0となる球体外の部分は、白で表現した。このように表現すると、極付近の歪みが補正され、図1301と同様に、図の左半分が、φ<0、右半分がφ>0、上半分がθ>π/2、下半分がθ<π/2の領域となる。ここでは、このような図を姿勢分布図と呼ぶことにする。
【0033】
【数7】

【0034】
上記のような補正方法は、地図投影法におけるサンソン図法による補正と同等の方法である。他にも、地図投影法によるモルワイデ図法など、様々な地図投影法があるが、これらに倣った補正方法を用いても良い。
【0035】
以下では、いくつかの行動場面において、このような姿勢分布図の例を示す。
【0036】
図15に示す図1501、1502、1503、1504は、それぞれ別々の4人の人物の一日分の計測加速度データ(すなわち、Sとして、一日分の全サンプリング時刻をとった)から生成した姿勢分布図である。これらの図から、いずれの人物も、姿勢分布のほとんどが図の左半分、すなわち、φ<0の部分にあることが分かる。φ<0は、加速度のy成分が負(y<0)であることを示しており、図11より、これは、腕の小指側の向きが下向きになっていることを示している。これは、日常生活においては、睡眠時などを除いて、普通、腕の小指側の向きが下向きになっている姿勢が自然であるためである。
【0037】
図16に示す図1601、1602、1603、1604は、それぞれ別々の4人の人物の歩行時の加速度データから生成した姿勢分布図である。歩行時には、腕を下げた状態で腕を前後に振っているため、図の左下部分(φ<0、θ<π/2)に腕の姿勢が分布している。図1601、1602、1604は、強い分布が図の左半分のみにあるが、図1603の人物では、歩行時に腕の振りが体の後ろの方まで届く特徴があり、その結果、y軸の正の向きにも加速度がかかるため、図の右半分にも強い分布が見られる。
【0038】
図17に示す図1701、1702、1703、1704は、それぞれ別々の4人の人物のPCを使ったデスクワーク時の加速度データから生成した姿勢分布図である。キーボードを使った作業であるため、いずれも、図の中心より少し左側の付近に強い分布の塊がある。図1703は、プログラミング作業に集中して作業を行っている時のものである。図1702は、一時途中離席した時間もあり、集中力に欠けている状態のものである。
【0039】
図18に示す図1801、1802、1803、1804は、それぞれ別々の4人の人物の睡眠時の加速度データから生成した姿勢分布図である。睡眠時には、寝返りを除いて、特定の姿勢にとどまる時間が長いため、孤立的に高い値をとっている。不眠の場合には、動きが多いため、図1804のように、灰色の領域が多くなる。
【0040】
図19に示す図1901,1902,1903,1904は、同一人物の会議時の加速度データから生成した姿勢分布図である。それぞれ、会議の参加形態が異なる。図1901は、主に話す側であった時の姿勢分布図である。話している時の身振り手振りで、腕が少し上向きになっており、また、腕の手の甲側が少し左に傾いているため、左上の部分に強い分布がある。図1902は、主に聞く側であったときの姿勢分布図で、机上に腕を置いて、資料をめくりながら読んでいるため、図の中心付近の少し左側に強い分布がある。図1903は、会議への参加が消極的である時の図で、集中力がほとんど無いために、動きが少なく、特定の姿勢にある時間が長いため、いくつかの領域で、孤立的に高い値をとっている。図1904は、他の参加者と積極的にコミュニケーションをとりながら、議論を行った時の図で、姿勢が幅広い領域に分布している。
【0041】
以上のように、この姿勢分布図から、行動内容(上記の例では、歩行、デスクワーク、睡眠など)や、行動の特性(デスクワーク時の集中度や会議時の参加の形態、積極性、睡眠時の睡眠の質など)について、推定や評価を行うことができる。また、腕を上げた時に図の上側に、腕を下げた時に図の下側に、腕を左に回した時に図の左側に、腕を右に回したときに図の右側に分布がくるように、図を表示することにより、図の位置を人間の動作と結び付けて直観的に理解することができる。
【0042】
例えば、分布の白い領域の位置や形から行動内容(歩行、デスクワーク、睡眠など)を推定できるし、行動の特性(デスクワーク時には、分布のばらつきが小さい方が、集中しており、会議時は、分布のばらつきが大きい方が積極的など)を評価することができる。また、分布のばらつきについては、例えば、分布pSのエントロピーの大小によって数値的に評価することができる。
【0043】
このように、加速度の向きに注目し、ある時刻集合Sにおける姿勢の累積分布を計算し、これを補正、変換し、人間の動作と図の位置を直観的に分かりやすい形で図示することにより、行動の内容、特性を推定、理解、評価することができる。
【実施例1】
【0044】
以下では、本発明の第1の実施形態について説明する。
【0045】
図1は、本実施例の行動内容可視化装置の一例を示す構成図である。この行動内容可視化装置は、入力装置101、記憶装置102、演算装置103、表示装置104を備える。
【0046】
入力装置101は、コマンド等を入力するためのキーボードやマウス等の入力装置、および加速度データや、その他の情報を入力、受信するための入力装置である。
【0047】
記憶装置102は、加速度時系列データや、その他の情報を記憶しておくためのものである。例えば、加速度データを計測したときの測定対象者、日時、およびその解析結果や、ユーザによって入力される行動記録などである。
【0048】
表示装置104は、処理過程や処理の進捗状況、処理結果、記憶装置102に保持されている情報などを表示するためのディスプレイ等の装置である。
【0049】
本実施形態の演算装置103は、ユーザの入力に応じて加速度データを処理し、処理結果を表示装置104に表示するか、または、処理結果を記憶装置102に格納する手段を備える。
【0050】
入力装置101、記憶装置102、演算装置103、表示装置104は、情報の送信または受信ができる無線、または有線の通信装置を介して、別々の場所にある装置であってもよい。
【0051】
本実施形態の演算装置103は、ユーザの指定情報や記憶装置104に格納されている情報を用いて時刻集合Sを選定し、前記時刻集合Sの各々の時刻における加速度ベクトルから加速度の向きを算出した角度集合を生成し、これを図示する手段を備える。
【0052】
図2は、本実施例の装置構成を示す図である。情報入力部202、行動解析部203、計測部216、特徴量算出部217、区切り点情報206、行動情報207、計測情報218、特徴量情報219、は無くてもよい。また、加速度計測部201は、予め加速度情報205が別手段によって生成されている場合には、無くても良い。
【0053】
以下では、まず、記憶装置102に格納されている加速度情報205、区切り点情報206、行動情報207、計測情報218、特徴量情報219について説明する。
【0054】
加速度情報205は、計測した加速度センサにより計測したデータと、そのデータに付随する情報である。これには、図4の加速度データテーブル401に示すように、測定した日時402と、その日時におけるX軸の正の向きの加速度値403、Y軸の正の向きの加速度値404、Z軸の正の向きの加速度値405が記録されている。他にも、測定対象物のIDや、装着位置(測定対象物が人間なら、左手首、右手首、腰、頭、左足首、右足首などの位置)を示すID、性別、年齢、製造年などの付加情報があっても良い。また、測定日時402は、例えば、ある時刻からの差分時刻をミリ秒単位で記録するような方式であってもよい。
【0055】
区切り点情報206は、計測加速度データの時刻とその時刻に関する説明の組のテーブルである。図5のテーブル501にその例を示した。これは、例えば、ある行動の開始時刻、終了時刻や、あるイベントが起こった場合にユーザが任意に記録した時刻や、一日の運動量がある値(日々の運動量の平均値や、他の人の平均値など)を超えた時刻や、姿勢が変わった時刻など、が考えられる。これは、ユーザによって直接入力されるものであっても良いし、外部プログラムにより、生成されるデータであってもよい。この例では、時刻に関する説明を1つ(説明Aの503)のみ示したが、例えば、説明B,説明Cというように、説明の項目は、複数あってもよい。また、テーブルは、加速度情報205の計測加速度データが特定できる情報とともに、保持されている。
【0056】
行動情報207は、計測加速度データの時間区間とその時間区間に関する説明の組のテーブルである。図6のテーブル601にその例を示した。時間602は、時間区間である。この例では、時間区間602に付随する説明として、行動内容603、集中度604、コメント605を示したが、これ以外の説明項目がいくつあってもよい。また、これは、ユーザによって直接入力されるものであっても良いし、外部プログラムにより、生成されるデータであってもよい。また、テーブルは、加速度情報205の計測加速度データが特定できる情報とともに、保持されている。また、テーブル内の各時間区間は、互いに重なっていても良い。例えば、行動記録で、8時〜9時までは通勤で、そのうち、8時〜8時30分まで歩行であった場合などには、通勤と歩行の項目で、時間区間が重なっている。また、テーブルの各項目には、上下関係を示すための説明があっても良い。例えば、先の例では、通勤は、歩行の上位項目である。
【0057】
計測情報218には、計測部216により計測したデータが保存されている。例えば、測定対象者に装着されたセンサにより計測される温度、脈拍、照度、湿度、位置(GPS情報)などである。
【0058】
特徴量情報219は、加速度情報205、計測情報218に基づいて特徴量算出部217により算出される特徴量が保存されている。例えば、特徴量テーブル901に示すような、加速度から計算される平均、分散、スペクトル強度などである。また、例えば、特徴量テーブル906に示すような、加速度の振動や強度から算出される運動頻度、運動強度、運動量などでもよい。
【0059】
加速度計測部201は、測定対象物の加速度を加速度センサなどにより計測し、計測したデータである加速度情報205を記憶装置102に格納する手段を備える処理部である。計測データはリアルタイムで無線送信する方式でも良いし、センサ内のメモリなどの記憶装置に一旦保存しておき、あるタイミングで、有線または無線などの通信装置を介して、データを記憶装置102に格納する形式でも良い。予め、必要なデータは加速度情報205に格納されている状態であるならば、加速度計測部201は、無くともよい。
【0060】
情報入力部202は、ユーザが入力装置101を用いて、区切り点情報206、行動情報207を直接入力するための処理部である。この処理部によって、ユーザは、区切り点情報206、行動情報207に情報を追加したり、区切り点情報206、行動情報207に含まれている情報を修正、削除したりすることができる。
【0061】
行動解析部203は、加速度情報205を解析し、区切り点情報206、行動情報207の項目を変更、追加、削除したりする。加速度情報205の解析方法は、従来の公知方法の何でもよい。例えば、行動解析部203は、従来法の加速度データからの行動認識手段を備えており、認識結果を行動情報テーブル601に追記するようなものでも良い。
【0062】
計測部216は、測定対象物に装着されたセンサ、または、その他の人や物に装着されたセンサなどにより計測し、計測したデータである計測情報218を記憶装置102に格納する手段を備える処理部である。計測データはリアルタイムで無線送信する方式でも良いし、センサ内のメモリなどの記憶装置に一旦保存しておき、あるタイミングで、有線または無線などの通信装置を介して、データを記憶装置102に格納する形式でも良い。計測データには、例えば、測定対象者の温度、脈拍、照度、湿度、位置(GPS情報)などでもよい。また、室内の温度や湿度などでもよい。
【0063】
特徴量算出部217は、加速度情報205、計測情報218に基づいて特徴量を算出し、特徴量情報219に格納する。特徴量の種類や、その算出方法は、従来の公知方法の何でもよい。
【0064】
以下では、表示部214の処理について説明する。 図2に示すように、表示部214は、設定部208、データ選定部209、角度集合算出部210、表示方法制御部215、出力処理部213を備えている。
【0065】
以下、表示部214の各々の処理部について説明する。
【0066】
設定部208は、後のデータ選定部209で用いるデータ選定のための条件、表示方法制御部215で用いる角度集合の表示方法を決めるパラメータ、をユーザが入力装置101を用いて指定するための処理を行う処理部である。ここで設定される条件やパラメータなどについては、以下で各々の関係処理部の説明を行う際に、説明する。
【0067】
データ選定部209は、設定部208で設定された条件に基づいて、加速度の向きを計算する時の加速度データ集合Dを決定する。加速度データ集合Dの要素は、加速度ベクトルである。
設定部208では、ユーザが加速度データ集合Dをコマンドライン、GUI、またはファイルによって直接指定する方法がある。例えば、16:00〜17:00など、ユーザがテキストによって時刻区間を表現する方法や、図7に示すようなGUIを提供し、ユーザが波形表示701を見ながら、時刻区間を選択領域702のように選択する、などの方法が考えられる。このとき、データ選定部209では、例えば、ユーザが指定した時刻区間における全計測加速度ベクトルの集合をDとする。図7は、上からX軸加速度、Y軸加速度、Z軸加速度、ユーザの行動記録、時刻(時:分の形式)を示したものである。
【0068】
また、設定部208では,区切り点情報206や行動情報207を用いた条件指定もできる。例えば、歩行時、集中度、時間帯、運動量などによって条件を指定する。また、加速度ベクトルの大きさによって条件を指定することも考えられる。例えば、ある時間区間において、緩やかな動きの様子のみを知りたい場合には、加速度の大きさがある値以下となるようなデータのみを選択するように、指定する。設定部208は、ユーザによって指定された条件に合致する加速度データ集合Dを区切り点情報206、行動情報207をもとに、選定する。例えば、ユーザが2005年10月のA氏の歩行データと指定した場合には、設定部208は、加速度情報205、区切り点情報206、行動情報207の情報を基に、A氏の2005年10月の歩行時の計測データのみを選定し、加速度データ集合Dとする。
【0069】
また、設定部208では、計測情報218の情報を用いた条件指定を行っても良い。例えば、脈拍がある値以上のときの加速度データや、室温がある値以上のときの加速度データなどを解析対象の加速度データ集合Dとしたい場合などである。
【0070】
また、設定部208では、特徴量情報219の情報を用いた条件指定を行っても良い。例えば、動きが大きいときの加速度データを解析対象とするために、分散がある値以上のときの加速度データを条件とする場合などである。
【0071】
加速度データ集合Dは、複数加速度センサのデータから成るものであっても良い。例えば、別々の人物の加速度データが混在しているものであっても良い。
【0072】
角度集合算出部210では、加速度データ集合Dの各々の要素である加速度ベクトルx(t)、y(t)、z(t)から、加速度ベクトルの向きを算出する。ベクトルの向きは、二次元で表現できるため、この処理は、x(t)、y(t)、z(t)の三次元情報から、加速度ベクトルの向きを保持する二次元情報を抽出する処理である。これは、例えば、数1のような方法により、偏角φ(t)、θ(t)を計算することにより実現できる。ただし、数1の場合には、(x(t)の二乗+y(t)の二乗)がゼロとなる場合には、φ(t)=0などと置くか、データを破棄するなどの変則処理が必要になる。ところで、加速度ベクトルがゼロベクトルとなる場合には、向きの情報が無いため、このようなDの要素は破棄するか、φ(t)=0、θ(t)=0とおくなど、変則処理を行えばよい。以下では、加速度ベクトル集合Dの各々の要素を二次元の角度情報に変換した集合を角度集合と呼ぶことにし、角度集合Aとおく。角度は二次元表現されるため、角度集合Aは、二次元ベクトルの集合である。
【0073】
表示方法制御部215は、角度集合Aを表示するための表示画像を生成する。本実施例では、表示方法制御部215は、角度集合Aを二次元平面に対応付ける分布密度算出部211と、前記分布密度に基づいて表示画像を生成する表示画像生成部212、を備える。
【0074】
分布密度算出部211では、角度集合算出部210において算出した角度集合Aを二次元平面上に対応付けし、二次元平面上における角度集合の分布密度を計算する。図8に、分布密度算出部211における処理のフローを示した。以下では、各々のステップにおける処理について説明する。
【0075】
二次元平面への写像801では、角度集合Aの各要素を二次元平面上に対応付ける。
【0076】
この対応付けには、上記の(φ、θ)をそのまま用いてもよい。また、上述で、腕の左手首に加速度センサを装着した例で説明したように、(φ、θ)のままでは、局付近で歪みが生じる。そのため、(φ、θ)が表す向きを、極付近での歪みを補正するために、(sin(θ)φ、θ)に対応付けてもよい。
【0077】
上記のような極座標系での偏角(φ、θ)による加速度の向きの表現は、(φ、θ)を単位球面上の偏角(φ、θ)の位置の点とみることにより、球面上の点として見ることができる。また、(φ、θ)の二次元平面上での表現は、θ=πの位置を北極、θ=0の位置を南極、φ=0の線を中央経線としたときの、前記球面を方眼図法により二次元平面上に表現したときのものに等しい。また、上記のような、(sin(θ)φ、θ)による二次元平面への対応付けは、地図投影法におけるサンソン図法による表現と同等の方法である。他にも、地図投影法によるモルワイデ図法など、様々な地図投影法があるが、これらに倣った表現方法を用いても良い。
【0078】
特に、上述の図14で示した例のように、腕に加速度センサを装着する場合には、腕を鉛直上向きに伸ばしたときの加速度の向きを北極とすると、腕を水平よりも上に上げた時に図の上半分に、腕を水平よりも下に下げたときに図の下半分に対応付けされることとなり、直感的にわかりやすい。さらに、腕を左回転させたときの加速度センサの差分を、地図上での西側への差分となるように、球面を二次平面上に対応させると、図14の例で示したように、図上での位置の変化が、人間の動きと直感的に結びつきやすくなる。
【0079】
以上の二次元平面への写像ステップ801の処理によって、角度集合は、二次元平面上での分布として表現される。
【0080】
分布密度算出802は、角度集合を二次元平面上に対応づけすることで得られる点分布の、二次元平面上における分布密度を導出する。以下では、角度集合を二次元平面上に対応づけることで得られる分布密度をMとおく。以下では、分布密度の導出例を2つ挙げる。
【0081】
一つ目は、数14に示すように、α、βをパラメータとして、二次元平面上の点xにおける分布密度p(x)を算出する方法である。パラメータαは、Mの要素mの影響範囲の大きさを決めるもので、βは、密度の大きさを調節するものである。パラメータα、βはユーザの指定、または、要素Mによって決める。
【0082】
【数14】

【0083】
二つ目の例は、二次元平面を複数の領域に分割し、前記領域の各々における角度集合Mの要素の個数に基づいて、分布密度を定める方法である。
【0084】
まず、二次元空間を複数の領域B1,B2,…、Bnに分割する。上述の例では、数3で示すDi、jによるNφ×Nθ個の分割がこの分割に相当する。
【0085】
次に、各々の領域Biにおいて、Mの要素の個数の累積値h(i)をとる。式で表すと数8のようになる。上述の例では、これは、数6で表されるg(i、j)に相当する。
【0086】
【数8】

【0087】
次に、h(i)を数9のように正規化する。正規化して得た領域Biでの分布密度p(i)は、0≦p(i)≦1となり、すべての領域について和をとると1となるため、pは確率分布となっている。
【0088】
【数9】

【0089】
以上、角度集合Aから分布密度pを生成するまでの処理が、分布密度算出部211の処理である。設定部208では、角度集合Aの二次元平面への対応付けの方法や、領域分割の方法やパラメータα、βなど、の分布密度の算出方法を設定しておく。
【0090】
表示画像生成部212は、分布密度pを表示する方法を決める。表示画像生成部212では、分布密度pの値を、色で表現する。色は、赤色(R),緑色(G),青色(B)の光量を決めることによって表現できる。例えば、光量として、0〜255の256段階の値を用いる場合には、実数[0,1]から{0、1、…、255}への3つの写像fR,fG,fBを用いて、0以上、1以下の値pを{R,G,B}={fR(p),fG(p),fB(p)}により色で表現することができる。この処理によって、二次元平面上の点においてpを表現する色を割り当てることによって、二次元平面が色により表現されることになる。この二次元平面に割り当てられた色によって、表現することで、分布密度pを図示する。値が小さい部分は寒色系の色で、値が大きい部分は暖色系の色で表現してもよい。表現方法は色に限らず、色の代わりに高さを用いて、3D表現によって図示してもよい。
【0091】
上述した例では、fR(pS)、fG(pS),fB(pS)は、数6を用いて、255×g(i、j)の整数部により与えられる。これによって、各領域Di、jはpS(i、j)の値に応じたグレー色によって表現される。図13〜図19は、これを図示した例である。
【0092】
設定部208では、色を用いる場合には、分布密度の値を色に対応付けするための、色表示に使う3つの写像fR,fG,fBを設定する。
【0093】
出力処理部213は、表示方法制御部212で生成した画像を表示装置104に表示するための処理を行う。
【実施例2】
【0094】
図21は、本発明の第2の実施形態における構成を示す図である。加速度計測部201、情報入力部202、行動解析部203、計測部216、特徴量算出部217の処理、および、加速度情報205、区切り点情報206、行動情報207、計測情報218、特徴量情報219の内容については、実施例1と同様である。
【0095】
上述の腕につけた加速度センサの例で、図15、図16、図17、図18、図19の例を挙げて説明したように、角度集合から、行動内容や集中度、積極性などの行動特性を推定、評価することができる。本実施例における角度辞書生成装置および行動内容解析装置は、このような角度集合の特徴を利用して、行動内容や行動特性を推定、評価するための手段を備える。
【0096】
本実施例では、人間の行動内容や、集中度、積極性などの行動特性、測定対象者、ごとに典型的な角度集合テンプレートを含む角度集合辞書を作成しておき、これらと照合することにより、解析対象の角度集合が表す行動内容、行動特性、行動が似ている人などを探索する。
【0097】
以下、角度集合辞書作成部301、角度集合辞書304、角度集合マッチング部303について説明する。
【0098】
角度集合辞書作成部301は、角度集合テンプレートと、そのテンプレートに関する情報を生成し、それを角度集合辞書304に格納する。角度集合辞書作成部は、実施例1において説明した設定部208、データ選定部209、角度集合算出部210を備えており、ユーザが指定した条件に基づいて角度集合テンプレートAを生成する。また、ユーザは、生成した角度集合テンプレートAに関する情報を入力する。前記生成された角度集合テンプレートAと、それに関する情報は、角度集合辞書304に格納される。たとえば、角度集合テンプレートAが、ユーザの歩行時の加速度データ集合から生成されたものであれば、Aに関する情報は歩行などとする。また、例えば、Aを生成するときに指定したデータが集中してデスクワークを行っているときのものであれば、Aに関する情報は、デスクワーク、集中、などのように、行動内容と、その行動特性を示す情報とする。
【0099】
角度集合辞書304は、上記角度集合辞書作成部301によって生成される、角度集合と前記角度集合に関する情報の組からなるテーブルである。角度集合とともに格納される、前記角度集合に関する情報には、例えば、行動内容、集中度や積極性などの行動特性、測定対象者IDなどがある。
【0100】
角度集合マッチング部303の処理ステップ例を図23に示した。角度集合マッチング部は、実施例1において説明した設定部208、データ選定部209、角度集合算出部210を備えている。また、分布密度算出部211を備えていても良い。
【0101】
データ選定条件設定ステップ2301では、設定部208を用いて、解析対象とする加速度データの選定条件をユーザが指定する。
【0102】
加速度データ選定ステップ2302では、データ選定部209を用いて、上記選定条件に基づいて解析対象となる加速度データを記憶装置に格納されている加速度情報205から読み出す。
【0103】
加速度集合生成ステップ2303では、角度集合算出部210を用いて、前記読み出した加速度データの集合から角度集合Aを生成する。また、角度集合辞書304に格納されている各角度集合テンプレートBを読み出す。
次に、角度集合Aと、角度集合辞書304から読み出した各角度集合テンプレートBとを照合する。
【0104】
角度集合を二次元平面に対応付けし、二次元平面上での点分布を算出することで得られる二次元平面上の分布密度を照合に用いる場合には、分布密度生成ステップ2304において、分布密度算出部211を用いて、角度集合A、角度集合Bから、それぞれ分布密度pと分布密度qを算出する。p、qを用いない場合には、分布密度生成ステップ2304の処理はとばして、次の処理に移る。
【0105】
次に、分布密度類似度判定ステップ2305、または分布密度比較判定ステップ2306において、角度集合Aと角度集合Bの照合、または、分布密度pと分布密度qの照合を行う。
【0106】
分布密度類似度判定ステップ2305では、角度集合Aと角度集合辞書中の各々のテンプレートBとの類似度を計算する。次に行動判定結果出力2307では、照合計算の結果に基づいて、解析対象の角度集合Aに似たテンプレートBを角度集合辞書の中から探索し、角度集合辞書に格納されている前記角度集合テンプレートに関する情報に基づいて、角度集合Aが表す行動内容、行動が似ている人などを判定し、出力する。分布密度類似度判定ステップ2305での照合は、角度集合Aと角度集合テンプレートBにより決まる関数f(A,B)を用いて行う。
【0107】
行動内容の類似度を判定する場合には、例えば、角度集合辞書に、歩行、デスクワーク、会話、食事などの様々な行動における典型的な角度集合テンプレートと行動内容情報を準備しておき、照合時には、その各々との類似度を計算する。その結果、類似度が最も大きいテンプレートに関する行動内容を、解析対象データが表現する行動であると判定する。
行動が似ている人を判定する場合には、例えば、角度集合辞書に、性格別に典型的な人物の歩行、デスクワーク、会話、食事などの様々な行動の角度集合テンプレートと行動内容を示す情報を準備しておき、照合時には、その各々との類似度を計算する。その結果、これらの行動が示すテンプレートとの類似度の平均が最も大きい性格を、解析対象データの測定対象者の性格であると判定する。
【0108】
分布密度比較判定2306では、角度集合Aと角度集合テンプレートBの比較を行う。これは、角度集合によって値が決まる関数gを用いて、g(A)と、g(B)とを比較することにより行われる。例えば、角度集合Aが表す行動と角度集合テンプレートBが表す行動における集中度、積極性などを評価したい場合である。例えば、デスクワーク時には、図17の例に示すように、分布のばらつきが小さいほど、集中度が高いと考えることができる。そのため、分布のばらつきの大きさをエントロピーによって評価し、角度集合Aと角度集合テンプレートBのエントロピー値を比較することによって、どちらの行動が集中しているか、を評価することができる。また、例えば、会議時には、図18の例に示すように、分布のばらつきが大きいほど、積極性が高いと考えることができる。そのため、例えば、これもエントロピーの値を使って比較することができる。これによって、例えば、測定対象者のデスクワーク時における集中度を、他者と比較したり、自分の過去と比較したりできる。また、集中度の毎日の変化も計測することができる。行動判定結果出力ステップ2307では、集中度、積極性などの比較結果を出力する。
【0109】
以下では、分布密度類似度判定ステップ2305で用いるfと分布密度比較判定2306で用いる関数gの例を挙げる。f、gは、複数あってもよい。例えば、テンプレートごとに異なるfやgがあっても良い。
【0110】
比較関数f(A,B)の計算には、実施例1において説明した分布密度算出部211での処理を用いて、角度集合Aを分布密度pに、角度集合Bを分布密度qに変換し、分布密度pと分布密度qを照合することにより実現してもよい。このとき、f(A,B)は、pとqの関数となるため、f(p、q)とおくことにする。以下では、f(p、q)の例を二つ挙げる。
【0111】
一つ目の例として、類似度を計算する比較関数f(p、q)を挙げる。二次元平面上の分布密度の重心、分散などを用いたp、qの類似度計算ができる。例えば、p、q間の重心位置が近いほど類似度が高く、分散値が近いほど類似度が高くなるように、f(p、q)を定めることができる。
【0112】
二つ目の例として、類似度を計算する比較関数f(p、q)の例をもうひとつ挙げる。p、qのカルバックライブラー距離KL(p,q),KL(q,p)を数11で表す。これを用いて、例えば、f(p、q)=KL(p,q)、f(p、q)=KL(q,p),f(p、q)=KL(p,q)+KL(q,p)などの関数を用いることができる。これらは、いずれも、p、qの分布が似ている時に小さい値となるような、距離関数となっている。f(p、q)の値が小さいほど似ているので、例えば、歩行、デスクワーク、会話など、様々な行動テンプレートが、角度集合辞書304に格納されている時、それらの各々のテンプレートqと、分布密度pを、f(p、q)によって照合し、もっとも値が小さくなるようなqに対応する行動を分布密度pが表す行動であると、判定するなどとする。f(p、q)は、複数あっても良い。例えば、歩行などの個人差が少ない行動と、食事など個人差が大きい行動などでは、同一の比較関数f(p、q)を用いるのは、良くない場合もある。このような場合、個人差が大きい行動の場合には、p、qの違いが少々大きくとも、f(p、q)の値が小さめになるなど、テンプレートごとにf(p、q)があってもよい。
【0113】
【数10】

【0114】
【数11】

【0115】
次に、分布密度比較判定ステップ2306において、角度集合を比較するための関数gの例を挙げる。p、qのエントロピーH(p),H(q)を数10で表す。このとき、例えば、Hをgとして用いることができる。これは、pのエントロピーがqより大きい場合には正、qのエントロピーがpより大きい場合には負の値となる。エントロピーは、一般的には、分布のばらつきが大きいほど、大きな値となる。そのため、例えば、集中度や積極性を測る基準として用いることができる。図17のデスクワークの例では、分布のばらつきが少ない1703、1704の方が、ばらつきが大きい1701、1702よりも集中していると判断することができる。このように、H(p),H(q)により、テンプレートとのエントロピーの比較をすることによって、例えば、テンプレートqが表す行動とpが表す行動との集中度の比較を行うことができる。また、図19の会議時の分布密度の例では、ばらつきが大きい方が、積極性が高いと判断することができる。
【0116】
以上、いくつかの例を挙げたが、関数fや関数gは、行動内容や評価したい行動特性の種類、テンプレートによって、異なっていても良い。
【0117】
結果出力ステップ2303では、分布密度照合2302の判定結果を表示装置104に出力するか、または、記憶装置102の行動情報207に格納する。
【実施例3】
【0118】
図24は、本発明の第3の実施形態における構成を示す図である。装置の構成は、加速度計測部201、情報入力部202、行動解析部203、計測部216、特徴量算出部217の処理、および、加速度情報205、区切り点情報206、行動情報207、計測情報218、特徴量情報219を備える図2に図示した内容について、実施例1と同様である。
【0119】
上述の腕につけた加速度センサの例で、図15、図16、図17、図18、図19の例を挙げて説明したように、角度集合から、行動内容や集中度、積極性などの行動特性を推定、評価することができる。本実施例における行動内容解析装置は、このような角度集合の特徴を利用して、行動内容や行動特性を解析するための手段を備える。
【0120】
角度集合解析部309は、実施例1において説明した設定部208、データ選定部209、角度集合算出部210を備えており、これらの処理部を用いて、ユーザが指定した条件に基づいて解析対象となる加速度データから角度集合Aを生成する。角度集合解析部309では、角度集合Aに基づいて、行動解析を行い、結果を記憶装置、または表示装置に出力する。
【0121】
以下では、角度集合解析部309の処理例について述べる。
【0122】
例えば、図17の例に示すように、デスクワーク時には、分布のばらつきが小さいほど、集中度が高い。そのため、行動時の集中度を評価するための一つの指標として、分布のばらつきの大きさを表すエントロピーを利用することができる。角度集合Aのエントロピーを計算するためには、すでに実施例2で例を挙げたように、角度集合から、分布密度pを算出し、例えば数10を用いて、分布密度のエントロピーを計算することにより、実現すればよい。この場合、エントロピーが小さいほど、集中度が高いことになる。解析結果は、エントロピーの値などを、表示装置に出力してもよいし、行動情報207に格納してもよい。
【0123】
また、例えば、図19の例に示すように、会議時には、分布のばらつきが大きいほど、積極性が高いと考えられる。そのため、行動時の積極性を評価するための一つの指標として、分布のばらつきの大きさを表すエントロピーを利用することができる。この場合、エントロピーが大きいほど、積極性が高いことになる。
【実施例4】
【0124】
図22は、本発明の第4の実施形態における構成を示す図である。加速度計測部201、および、加速度情報205、区切り点情報206の内容については、実施例1と同様である。
【0125】
本実施例における区切り点算出部302では、角度集合の変化を解析することにより、時系列加速度データの変化点を検出し、それを行動の変化点として、区切り点情報206に格納する。区切り点算出部302は、実施例1において説明した角度集合算出部210を備えている。また、角度集合の変化の解析を、角度集合から導出する分布密度の変化を解析することにより行う場合には、分布密度算出部211も備えている。
【0126】
以下では、加速度データ指定部2201、時系列変化スコア算出部2202、変化点算出部2203について、その処理例を挙げながら説明する。
【0127】
加速度データ指定部2201では、解析対象となるあるまとまった時間区間の加速度データをユーザからの指定や、ファイルでの指定、定期的なスケジューリング(例えば、毎日決まった時間に1日分のデータを取得するなど)などによって、加速度情報205から取得する。取得したデータの時間区間を[T1,T2]とする。また、時間区間[T1,T2]における加速度データのサンプリング時刻集合をT={t1、t2、…、tN}とおく。
【0128】
時系列変化スコア算出部2202では、時間区間「T1,T2」の時刻点集合S={s1、s2、…、sM}の各時刻s∈Sにおいて、時刻sより過去の加速度ベクトルを含む加速度ベクトル集合から生成した角度集合と、時刻sより未来の加速度ベクトルを含む加速度ベクトル集合から生成した角度集合との非類似度を算出する。
【0129】
時系列変化スコア算出部2202の処理例を挙げる。この例における角度集合の算出と分布密度の算出には、それぞれ角度集合算出部210、分布密度算出部211を用いる。[T1,T2]区間内の時刻sにおいて、sの前後のΔの幅の時間区間[s−Δ、s]、[s、s+Δ]における加速度データから、角度集合を算出し、さらに、角度集合から分布密度p、qを生成する。次に、分布密度p、qの違いを表す関数d(s)を算出する。このような距離関数dとして、複数の関数を用いてもよい。例えば、数12のd1、d2などを用いることができる。これは、カルバックライブラー距離にH(p)+H(q)を掛けたもので、H(p)+H(q)を掛けたのは、カルバックライブラー距離だけでは、小さな姿勢の変化を大きく見積もってしまうのを防ぐための、補正式である。
【0130】
【数12】

【0131】
上記の距離関数dは、時刻sの前の時間区間と後の時間区間における角度集合の違いを評価する関数である。上述した手首につけた加速度センサの例で、図16〜図19を用いて角度集合の図示例で説明したように、行動内容や行動特性によって、角度集合が異なってくる。そこで、d(s)は、このような行動内容や行動特性が変化する時刻sにおいて、急激に値が大きくなると考えられる。このような、d(s)の値が、その前の時刻や後の時刻に比べて、急激に大きくなり、極大となるような点を行動変化点として検出する。
【0132】
変化点算出部2203では、距離関数d(s)が急激に変化して、値が大きくなる点を探索する。上記のd1、d2の例で説明する。例えば、wをパラメータとして、数13のように、まず、d1、d2の片側重み平均により、g1、g2を導出する。このように片側重み平均をとるのは、d1が、行動変化時刻の前の時刻から急激に値が増加し、行動変化時刻において極大値をとるという性質があり、d2が、動変化時刻において極大値をとり、行動変化時刻の後の時刻から急激に値が減少する、という性質があるためである。次に、δをパラメータとして、g1(s)+g2(s)>g1(t)+g2(t)が、すべてのt∈[s−δ、s+δ]について成り立つような全てのsを変化点候補とする。最後に、閾値パラメータをhとして、変化点候補とした、各時刻sに対して、g1(s)+g2(s)≧hとなるようなsを変化点として選定し、区切り点情報206に格納する。
【0133】
【数13】

【0134】
図20には、上から、時系列加速度データx(t)、y(t)、z(t)、上記で例示したd1(t)、g1(t)、d2(t)、g2(t)、変化点における変化スコア、行動ラベル、時刻を示した。図20から分かるように、d1、d2は、行動が切り替わる時刻付近で急激に増加し、極大となっている。d1、d2の片側重み平均をとったg1、g2は、図20から分かるように、この急激な増加を際立たせる効果がある。変化点については、デスクワークなどは、より下位の細かい行動の切り替わりがあるため、過検出もあるが、行動の切り替わり時刻においては、概ね高スコアの変化点が検出されている。
【0135】
なお、図3は、本発明の第1から第4の実施形態を一の構成に内包した場合を表す図面である。各部の説明は、上述したとおりである。
【符号の説明】
【0136】
101 入力装置
102 記憶装置
103 演算装置
104 表示装置
201 加速度計測部
202 情報入力部
203 行動解析部
205 加速度情報
206 区切り点情報
207 行動情報
208 設定部
209 データ選定部
210 角度集合算出部
211 分布密度算出部
212 表示方法制御部
213 出力処理部
214 表示部
215 表示方法制御部
216 計測部
217 特徴量算出部
218 計測情報
219 特徴量情報
301 角度集合辞書作成部
302 区切り点算出部
303 角度集合マッチング部
304 角度集合辞書
309 角度集合解析部
401 加速度テーブル
402 測定日時
403 X軸加速度
404 Y軸加速度
405 Z軸加速度
501 区切り点テーブル
502 区切り時刻
503 説明
601 行動情報テーブル
602 行動時間
603 行動内容
604 集中度
605 コメント
701 波形表示
702 ユーザ選択領域
801 二次元平面への写像
802 密度分布算出
901 特徴量テーブル
902 計算時間
903 平均
904 分散
905 スペクトル強度
906 特徴量テーブル
907 測定日時
908 運動頻度
909 運動強度
910 運動量積算値
1001 加速度センサ
1102 加速度ベクトル
1103 X軸正の向き
1104 Y軸正の向き
1105 Z軸正の向き
1106 腕のピッチ角
1107 腕のロール角
1108 加速度ベクトルのXY平面上への投影ベクトル
1201 腕のピッチ
1202 腕のロール
1301 行動内容可視化例(矩形領域)
1401 行動内容可視化例
1501 一日の行動内容可視化例1
1502 一日の行動内容可視化例2
1503 一日の行動内容可視化例3
1504 一日の行動内容可視化例4
1601 歩行時の行動内容可視化例1
1602 歩行時の行動内容可視化例2
1603 歩行時の行動内容可視化例3
1604 歩行時の行動内容可視化例4
1701 デスクワーク時の行動内容可視化例1
1702 デスクワーク時の行動内容可視化例2
1703 デスクワーク時の行動内容可視化例3
1704 デスクワーク時の行動内容可視化例4
1801 睡眠時の行動内容可視化例1
1802 睡眠時の行動内容可視化例2
1803 睡眠時の行動内容可視化例3
1804 睡眠時の行動内容可視化例4
1901 会議時の行動内容可視化例1
1902 会議時の行動内容可視化例2
1903 会議時の行動内容可視化例3
1904 会議時の行動内容可視化例4
2001 変化点検知例
2201 加速度データ指定部
2202 時系列変化スコア算出部
2203 変化点算出部
2301 データ選定条件設定
2302 加速度データ選定
2303 角度集合生成
2304 分布密度生成
2305 分布密度類似度判定
2306 分布密度比較判定
2307 行動判定結果出力

【特許請求の範囲】
【請求項1】
測定対象者の腕に生じる加速度を計測する加速度計測部と、
計測された加速度情報を格納する記憶装置と接続され、
表示装置を用いて、前記加速度情報から測定対象者の行動を可視化する行動内容可視化装置であって、
可視化の対象とする加速度情報の選定条件を指定する設定部と、前記選定条件に基づいて、前記記憶装置に格納されている前記加速度情報から可視化の対象とする加速度ベクトルの集合を読み出して選定するデータ選定部と、
前記選定された加速度ベクトルの集合の各々から加速度の向きを抽出した角度集合を算出する角度集合算出部と、
前記角度集合に基づいて表示画像を生成する表示方法制御部とを有することを特徴とする行動内容可視化装置。
【請求項2】
前記表示方法制御部は、前記角度集合を二次元平面に対応付け、前記二次元平面上の各点を、対応する前記分布集合の分布密度に基づいて異なる色で表現する画像を生成することを特徴とする請求項1に記載の行動内容可視化装置。
【請求項3】
前記表示方法制御部は、前記角度集合を二次元平面に対応付け、前記二次元平面を複数の領域に分割し、前記領域の各々に対応する前記分布集合の分布密度の合計に基づいて異なる色で表現する画像を生成することを特徴とする請求項1に記載の行動内容可視化装置。
【請求項4】
前記表示方法制御部において、前記二次元平面への対応付けは、加速度の向きを球面上の点として表現したとき、前記球面上のある1点を北極とし、その対極にある点を南極とし、前記北極と前記南極とを結ぶ1つの測地線を中央経線とし、前記球面を地図投影法により二次元平面上に表現するときの対応関係により、前記角度集合の各々を二次元平面上に写像することで対応付けることを特徴とする請求項2または3に記載の行動内容可視化装置。
【請求項5】
前記表示方法制御部において、前記異なる色で表現する画像は、前記分布集合の分布密度の量が大きいほど赤成分の大きい色を割り当てることを特徴とする請求項2または3に記載の行動内容可視化装置。
【請求項6】
前記表示方法制御部において、前記異なる色で表現する画像は、前記分布集合の分布密度の量が大きいほど明度の大きい色を割り当てることを特徴とする請求項2または3に記載の行動内容可視化装置。
【請求項7】
前記加速度計測部において、測定対象者が腕を鉛直上向きに伸ばした際に得られる前記加速度情報は、
前記北極に対応付けられることを特徴とする請求項4に記載の行動内容可視化装置。
【請求項8】
前記加速度計測部において、測定対象者が腕を左回転したときの前記加速度情報の差分は、
前記地図投影法による二次元平面への対応付けにおいて、地図の西向きへの差分となることを特徴とする請求項4に記載の行動内容可視化装置。
【請求項9】
前記加速度情報から特徴量情報を算出し、前記記憶装置に格納する手段を有する特徴量算出部を、さらに有し、
前記設定部において、前記加速度情報の計測日時、前記記憶装置に格納される行動情報、区切り点情報、特徴量情報、のうち少なくとも一つを用いて可視化の対象とする前記選定条件を定める手段を有する請求項1に記載の行動内容可視化装置。
【請求項10】
測定対象者に装着されるセンサにより計測された計測情報を記憶装置に格納する計測部からの情報が格納された記憶装置と接続される行動内容可視化装置であって、
前記設定部において、前記加速度情報の計測日時、前記記憶装置に格納される行動情報、区切り点情報、計測情報、のうち少なくとも一つを用いて可視化の対象とする前記選定条件を定める手段を有する請求項1に記載の行動内容可視化装置。
【請求項11】
測定対象者の腕に生じる加速度を計測し、
計測された加速度情報を格納する記憶装置と接続され、
前記加速度情報から行動内容解析のための角度集合辞書を作成する角度集合辞書生成装置であって、
辞書作成の対象とする加速度情報の選定条件を指定する設定部と、
前記選定条件に基づいて、前記記憶装置に格納されている前記加速度情報から辞書作成の対象とする加速度ベクトルの集合を読み出して選定するデータ選定部と、
前記選定された加速度ベクトルの集合の各々から加速度の向きを抽出した角度集合を算出する角度集合算出部と、
前記角度集合と前記角度集合を説明する情報から成る角度集合辞書を生成し、記憶装置に格納する角度辞書生成部と、
を有することを特徴とする角度辞書生成装置。
【請求項12】
測定対象者の腕に生じる加速度を計測し、
計測された加速度情報および角度集合辞書を格納する記憶装置と接続され、
前記加速度情報から測定対象者の行動を解析する行動内容解析装置であって、
解析の対象とする加速度情報の選定条件を指定する設定部と、
前記選定条件に基づいて、前記記憶装置に格納されている前記加速度情報から解析の対象とする加速度ベクトルの集合を読み出して選定するデータ選定部と、
前記選定された加速度ベクトルの集合の各々から加速度の向きを抽出した解析対象角度集合を算出する角度集合算出部と、
前記記憶装置に格納された角度集合辞書の角度集合と前記解析対象角度集合とを照合する
角度集合マッチング部と、
前記角度集合マッチング部での照合結果に基づいて判定結果を出力することを特徴とする行動内容解析装置。
【請求項13】
角度集合マッチング部において、角度集合を二次元平面に対応付け、前記二次元平面上における角度集合の分布密度の照合により、前記解析対象角度集合と前記角度集合辞書の角度集合とを照合することを特徴とする請求項12に記載の行動内容解析装置。
【請求項14】
前記角度集合マッチング部において、前記照合は、前記二次元平面を複数の領域に分割し、前記領域の各々に対応する前記角度集合の分布密度に基づいて、前記領域の各々における角度集合の分布確率を算出し、前記分布確率の照合により行うことを特徴とする請求項13に記載の行動内容解析装置。
【請求項15】
前記角度集合マッチング部において、前記照合は、前記分布密度の重心、分散の少なくとも一つを用いた照合により行うことを特徴とする請求項13に記載の行動内容解析装置。
【請求項16】
前記角度集合マッチング部において、前記照合は、前記分布確率のエントロピーを用いた照合により行うことを特徴とする請求項13に記載の行動内容解析装置。
【請求項17】
前記判定結果は、前記角度集合マッチング部で類似と判断された行動情報、測定対象者の少なくとも一つを出力することを特徴とする請求項12に記載の行動内容解析装置。
【請求項18】
測定対象者の腕に生じる加速度を計測し、
計測された加速度情報および角度集合辞書を格納する記憶装置と接続され、
前記加速度情報から測定対象者の行動を解析する行動内容解析装置であって、
解析の対象とする加速度情報の選定条件を指定する設定部と、
前記選定条件に基づいて、前記記憶装置に格納されている前記加速度情報から解析の対象とする加速度ベクトルの集合を読み出して選定するデータ選定部と、
前記選定された加速度ベクトルの集合の各々から加速度の向きを抽出した解析対象角度集合を算出する角度集合算出部と、
前記角度集合に基づいて行動解析を行い、その結果を出力する角度集合解析部と、
を有することを特徴とする行動内容解析装置。
【請求項19】
前記角度集合解析部において、前記行動解析は、前記角度集合のエントロピーの逆数を求める処理であって、前記結果の出力は前記逆数を前記測定対象者の集中度として提示することを特徴とする行動内容解析装置。
【請求項20】
測定対象者の腕に生じる加速度を計測し、
計測された加速度情報を格納する記憶装置と接続され、
前記加速度情報から測定対象者の行動の変化点を抽出する行動内容解析装置であって、
加速度ベクトルの集合の各々から加速度の向きを抽出した角度集合を算出する手段を有する角度集合算出部と、
解析の対象とする時系列加速度データを指定する加速度データ指定部と、
前記時系列の各時刻において、前記時刻より過去の加速度ベクトルを含む加速度ベクトル集合から生成した角度集合と、前記時刻より未来の加速度ベクトルを含む加速度ベクトル集合から生成した角度集合と、の非類似度を算出することにより、前記時刻に前記非類似度を対応させる時系列変化スコアを算出する時系列変化スコア算出部と、
前記時系列変化スコアが極大となる時刻を変化点として抽出し、前記時系列変化スコアに基づいて前記変化点における変化度を算出する変化点算出部と、
を有することを特徴とする行動内容解析装置。
【請求項21】
前記変化点抽出部において、前記時系列変化スコアの前記変化点における値と、前記変化点近傍における値との差分に基づいて、前記変化スコアを算出することを特徴とする請求項20に記載の行動内容解析装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate


【公開番号】特開2012−211(P2012−211A)
【公開日】平成24年1月5日(2012.1.5)
【国際特許分類】
【出願番号】特願2010−136742(P2010−136742)
【出願日】平成22年6月16日(2010.6.16)
【出願人】(000005108)株式会社日立製作所 (27,607)
【Fターム(参考)】