行動記録入力支援システム、行動入力支援方法、及びサーバ
【課題】 センサによって測定した利用者の動き、状態を利用して行動の候補を提示することにより行動記録入力時の負担を軽減する。
【解決手段】 監視対象に装着したセンサノードによって監視対象の動きや状態を測定したセンシングデータから、同一動作の繰り返し期間、同一状態の連続期間を抽出し、当該期間を区切りとしたシーン領域データを表示し、表示したシーン領域データを選択されると、利用者の行動内容を確定することにより、利用者の行動入力時の負担を軽減する。
【解決手段】 監視対象に装着したセンサノードによって監視対象の動きや状態を測定したセンシングデータから、同一動作の繰り返し期間、同一状態の連続期間を抽出し、当該期間を区切りとしたシーン領域データを表示し、表示したシーン領域データを選択されると、利用者の行動内容を確定することにより、利用者の行動入力時の負担を軽減する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視対象の生体情報や動作情報、周辺情報に関するセンサデータから監視対象の行動内容を測定する装置によって、複数種類の行動履歴を収集し、それら行動履歴から利用者の行動記録入力を支援する技術に関する。
【背景技術】
【０００２】
近年、人の行動内容を大量に記録・蓄積し、その大規模データを解析することにより、新たな知見を得たり、サービスを提供したりすることに期待が寄せられている。すでにインターネットの世界では検索キーワードや購買履歴を活用して、個々人に対してその人が欲しがりそうな商品のリコメンド広告を発信するなどの仕組みが確立されている。
【０００３】
これは実世界においても同様な仕組みが考えられる。例えば日々の業務内容を記録して解析することにより組織の業務効率の向上を図ったり、日々の生活記録を付けることにより、食事、運動、生活の規則正しさを評価し、生活習慣病予防を目的としたヘルスケアサービスを提供したり、たくさんの人の生活記録と購買履歴を分析することにより、特定の生活パターンで生活する人に対して、それらの人がよく買う商品をリコメンド広告するなどの応用が考えられる。
【０００４】
一方、現実世界の様々な情報をリアルタイムに情報処理装置に取り込むネットワークシステムが検討されている。このネットワークシステムには幅広い応用が考えられており、加速度や脈拍等の利用者の生体情報や作業状況、購買情報等の利用者の行動をモニタし、これら様々な情報を組み合わせて、利用者の状況を判定するといったような応用も提案されている。
【０００５】
また、ある時刻におけるセンシング情報と利用者の状況を利用者の入力により紐付け、それら紐付けたデータを用いて利用者の状況を推測し、確信度の高い順に列挙する技術が知られている（例えば、特許文献１参照）。
【０００６】
また、カーナビゲーション等の経路探索時の到達確率に応じて表示態様を変える技術が知られている（例えば、特許文献２参照）。特許文献２では、過去の移動履歴に基づき到達確率を算出し、到達確率に応じて経路を色分けして表示する。
【０００７】
また、状況の履歴及び現在の状況に応じて目的地予測を行い、予測された目的地周辺情報を予め取得しておくことによって、予測目的地周辺情報を確率の高い順に表示する、文字の大きさ、太字、色を変えるなどして画面に表示する技術が知られている（例えば、特許文献３参照）。
【０００８】
この他、利用者が入力した行動開始時のコメント及び行動終了時または次の行動開始時のコメント間の行動を確信度に基づいて推測する技術（例えば、特許文献４参照）や、利用者の行動を画像化する技術が知られている（例えば、特許文献５参照）。
【０００９】
【特許文献１】特開２００４−２８７５３９号
【特許文献２】特開２００８−７０３７７号
【特許文献３】特開２００５−３０９８２号
【特許文献４】特開２００５−６２９６３号
【特許文献５】特開２００５−１２２２９１号
【発明の開示】
【発明が解決しようとする課題】
【００１０】
日々の行動を記録、解析することに多くの有用なサービスを提供できることが期待できるが、毎日の行動内容を時刻も含めて正確に記録することは、ユーザに対してかなりの負担を強いる作業になる。そこで例えば身体に装着したセンサを用いて行動を自動的に取得する方法であれば、かなりの労力低減につながる。
【００１１】
しかしながら、行動は単一の動作の繰り返しではなく、複数の動作が組み合わされて1つの行動が形成される。また、行動にはゆらぎがあり、同一の行動でもセンシングデータの波形が等しくなるとは限らない。例えば、監視対象が人の場合、同じ行動であっても、同じ動きを取ることは稀であり、センシングデータは等しくならない。監視対象が機器の場合、行動は稼動状態に対応するが、外的要因により動作が動的に変化するものがあり、監視対象が人の場合と同様の問題がある。ここで、ゆらぎとは、同一の行動の中には、行動する時間幅、動作の順序、動作の大きさ、等によって複数のパターンが存在することを意味する。
【００１２】
上記従来例では、センサノードを装着した監視対象の行動について、歩行、運動、安静といった大まかな動作を自動的に識別することは可能である。しかし、監視対象が人の場合には、通勤、デスクワーク、会議、出張、家事、映画鑑賞、身支度、買い物、食事、等の利用者の行動、監視対象が機器の場合には、通常稼動、高稼働、低稼働、等の機器の行動である稼動状態、等の何をしていたかに相当する行動内容を判定することはできない。行動は複数の動作状態の組合せで構成され、それぞれの動作状態は実際に行った行動の一部でしかない。
【００１３】
また、従来例のように、既定した時間間隔単位におけるセンシングデータの基準パターンとの比較による行動の判定では、行動のゆらぎに対応できないこと、センシングデータの変化点を行動の変化点として区切る行動抽出では、同一の行動の区間が断続的に現れる場合、1つの行動が複数に区切られ、それぞれに行動が割り当てられる場合などがあること、等の理由により、行動の判定精度が低下する課題がある。
【００１４】
以上、上記従来例のように、単一の動作の繰り返し検出や予め既定したセンシングデータの基準パターンとの比較では、監視対象の行動を抽出することができない。そのため、これら具体的な行動については、ユーザが行動内容を逐一入力する必要があり、全ての行動についてユーザがそれぞれ内容を入力するには、多大な労力が必要となる、という問題があった。
【００１５】
そこで本発明は、上記課題に鑑みてなされたもので、センサの測定データから判定した監視対象の行動パターン及び計算機の利用状況等の行動を表す様々な情報を組み合わせて利用して、監視対象の行動パターンを推定し、利用者の行動内容の入力を簡易にすることを目的とする。
【課題を解決するための手段】
【００１６】
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。
【００１７】
すなわち、センサノードと、基地局と、サーバとからなる行動記録入力支援システムである。センサノードは、監視対象に装着されて、センサと、センサが取得したセンシングデータをサーバに送信する通信部とを有する。基地局は、ネットワークを介してサーバに接続され、受信するセンシングデータをサーバに送信する。サーバは、センシングデータを蓄積するデータ格納部と、データ格納部に蓄積されたセンシングデータから監視対象の動作状態を検出するシーン分割部と、データ格納部に格納されるシーン判定ルールに基づいて動作状態から監視対象の行動内容の候補を複数算出するシーン列挙部と、接続される表示部に複数の行動内容の候補を表示し、表示された複数の行動内容の候補から特定の行動内容が選択されると、監視対象の行動内容を確定してデータ格納部に格納する行動獲得部とを有する。
【発明の効果】
【００１８】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記の通りである。
【００１９】
すなわち、したがって、本発明は、監視対象の動作状態から複数の行動内容を推定し、各時間帯に行動内容の候補を提示することにより、監視対象の行動パターンに対する行動内容の入力を簡易にすることでき、行動履歴の作成に要する労力を低減できる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００２１】
＜第１の実施の形態＞
本発明を適用する第１の実施例として、人に装着したセンサによって測定したセンシングデータから抽出したシーンを、人の生活行動の候補として提示することによって生活行動の記録を支援するライフログシステムを示す。
【００２２】
図１は、本発明を適用するライフログシステムの構成の一例を示すブロック図である。本発明のライフログシステムは、当該システムの利用者の動作（または状態）を検出するセンサとして、加速度センサを備えた腕輪型センサノード１を用い、生体情報として腕の加速度を検出する例を示す。腕輪型センサノード１は、利用者（または参加者）の腕に装着されて加速度を検出し、所定の周期で検出した加速度データ（以下、センサにより取得されたデータをセンシングデータという）を無線通信が可能な場合は基地局１０２のアンテナ１０１を介して基地局１０２へ送信し、有線通信が可能な場合はＵＳＢ接続などを介してクライアント計算機（ＰＣ）１０３へ送信する。
【００２３】
図１において、基地局１０２及びＰＣ１０３は複数の腕輪型センサノード１と通信を行い、各腕輪型センサノード１から利用者の動きに応じたセンシングデータを受信し、ネットワーク１０５を介してサーバ１０４へ転送する。サーバ１０４は受信したセンシングデータを格納する。サーバ１０４は受信したセンシングデータを解析し、後述するように利用者の行動履歴を示すライフログを生成して格納する。
【００２４】
サーバ１０４が生成したライフログは、ライフログシステムの利用者が操作するクライアント計算機（ＰＣ）１０３で閲覧または編集することができ、利用者は、サーバ１０４が生成したライフログの詳細な情報を付加することができる。
【００２５】
図２は、本発明のライフログシステムのセンサ部を構成する腕輪型（または腕時計型）センサノード１の一例を示す図で、図２（ａ）は腕輪型センサノード１の正面から見た概略図で、図２（ｂ）は腕輪型センサノード１を側方から見た断面図である。この腕輪型センサノード１は主に利用者（装着者）の動きを測定する。
【００２６】
腕輪型センサノード１は、センサや制御装置を格納するケース１１と、ケース１１を人体の腕に装着するバンド１２を備える。
【００２７】
ケース１１の内部には、図２（ｂ）のようにマイクロコンピュータ３やセンサ６等を備えた基板１０が格納される。そして、人体（生体）の動きを測定するセンサ６としては、図中Ｘ−Ｙ−Ｚの３軸の加速度をそれぞれ測定する加速度センサを採用した例を示す。なお、本実施形態では、腕輪型センサノード１には図示しない温度センサを備え、利用者の体温を測定し、加速度とともにセンシングデータとして出力するものとする。
【００２８】
図３は、腕輪型センサノード１１の基板１０に取り付けられた電子回路のブロック図を示す。図３において、基板１０には、基地局１０２と通信を行うアンテナ５を備えた無線通信部（ＲＦ）２と、ＰＣ１０３と有線接続するＵＳＢ通信部３９と、センサ６と及び無線通信部２を制御するマイクロコンピュータ３と、マイクロコンピュータ３を間欠的に起動するためのタイマとして機能するリアルタイムクロック（ＲＴＣ）４と、各部に電力を供給する電池７と、センサ６への電力の供給を制御するスイッチ８が配置される。また、スイッチ８とセンサ６の間には、バイパスコンデンサＣ１が接続されてノイズの除去や、充放電の速度を低減して無駄な電力消費を防ぐ。バイパスコンデンサＣ１への充放電回数を減らすようにスイッチ８を制御することによって、無駄な電力消費を抑えることが可能になる。
マイクロコンピュータ３は、演算処理を実行するＣＰＵ３４と、ＣＰＵ３４で実行するプログラムなどを格納するＲＯＭ３３と、データなどを格納するＲＡＭ３２と、ＲＴＣ４からの信号（タイマ割り込み）に基づいてＣＰＵ３４に割り込みをかける割り込み制御部３５と、センサ６から出力されたアナログ信号をデジタル信号に変換するＡ／Ｄコンバータ３１と、無線通信部２及びＵＳＢ通信部３９との間でシリアル信号にて信号の送受を行うシリアルコミュニケーションインターフェース（ＳＣＩ）３６と、無線通信部２及びＵＳＢ通信部３９とスイッチ８を制御するパラレルインターフェース（ＰＩＯ）３７と、マイクロコンピュータ３内の上記各部へクロックを供給する発振部（ＯＳＣ）３０とを含んで構成される。そして、マイクロコンピュータ３内の上記各部はシステムバス３８を介して接続される。ＲＴＣ４は、マイクロコンピュータ３の割り込み制御部３５に予め設定されている所定の周期で割り込み信号（タイマ割り込み）を出力し、また、ＳＣＩ３６へ基準クロックを出力する。ＰＩＯ３７はＣＰＵ３４からの指令に応じてスイッチ８のＯＮ／ＯＦＦを制御し、センサ６への電力供給を制御する。
【００２９】
腕輪型センサノード１は、所定の周期（例えば、１分等）でマイクロコンピュータ３を起動して、センサ６からセンシングデータを取得し、取得したセンシングデータに腕輪型センサノード１を特定する識別子とタイムスタンプを付与して基地局１０２またはＰＣ１０３へ送信する。なお、腕輪型センサノード１の制御の詳細は、例えば、特開２００８−５９０５８号公報等と同様にすることができる。なお、腕輪型センサノード１は、連続的に取得したセンシングデータを、周期的に基地局１０２またはＰＣ１０３へ送信するようにしても良い。
【００３０】
図４（a）は、図１に示した本発明を適用するライフログシステムの機能要素を示すブロック図である。腕輪型センサノード１が送信したセンシングデータは、基地局１０２を介してサーバ１０４のデータ格納部５００に蓄積される。
【００３１】
クライアント１０３は、各種情報を表示する表示部１０３１と利用者の操作によって様々な情報の入力を可能とする入力部１０３２を具備する。
【００３２】
サーバ１０４は、図示しないプロセッサとメモリ及びストレージ装置を備えて、利用者の腕の加速度で測定されたセンシングデータを集計し、データ集計部２００、シーン分割部３００、シーン列挙部４００、及び行動獲得部５００を実行する。データ集計部２００は、単位時間（例えば、１分間）毎の集計値を算出し、データ格納部６００に格納する。シーン分割部３００は、センシングデータおよび前記集計した集計データを解析して、個別の動作状態であるシーン領域および個々の運動状態であるシーン断片を抽出し、データ格納部６００に格納する。シーン列挙部４００は、抽出したシーン領域とシーン断片に対して、過去データから作成したルール、または、予め登録したシーン判定ルールを適用することによって、行動内容の候補であるシーンを抽出し、データ格納部６００に格納する。行動獲得部５００は、抽出したシーンを利用者のクライアント計算機１０３に提示し、利用者が選択したシーンを利用者が入力した行動内容と共にデータ格納部６００に格納する。
【００３３】
なお、データ格納部６００に格納されるセンシングデータには腕輪型センサノード１の識別子が付与され、また、行動内容、動作状態、シーン、および、行動記録のデータには利用者を特定する識別子（例えば、腕輪型センサノード１の識別子）が付与されて、利用者を識別することができる。
【００３４】
ここで動作状態は、センシングデータに基づき判定した睡眠、歩行、安静などの利用者の動作の様子を表し、行動内容は、散歩、映画鑑賞などの利用者の実際の行動の内容を表す。
【００３５】
シーン分割部３００とシーン列挙部４００と行動獲得部５００は、例えば、プログラムとしてストレージ装置（記憶媒体）に格納され、所定のタイミングでメモリへロードされてプロセッサにより実行される。なお、以下では、サーバ１０４が、シーン分割部３００とシーン列挙部４００を所定の周期（例えば、５分間）毎に実行する例、および、行動獲得部５００を利用者から要求されたタイミングで実行する例を示す。
【００３６】
図５は、本発明を適用するライフログシステムで行われるデータ処理の全体的な流れを示す図である。まず、ステップＳ１では、腕輪型センサノード１が送信したセンシングデータを基地局１０２またはＰＣ１０３がサーバ１０４へ転送し、サーバ１０４のデータ格納部６００にセンシングデータを蓄積する。さらに、サーバ１０４が所定の周期になるとデータ集計部２００を実行して、データ格納部６００に蓄積されたセンシングデータから単位時間毎の運動頻度を算出し、データ格納部６００に格納する。この運動頻度の算出結果は図６（動作頻度）で示すように単位時間毎の運動頻度を時系列的にソートしたデータとなる。運動頻度の算出方法は、図７、図８を用いて後述する。
【００３７】
次に、ステップＳ２では、サーバ１０４が所定の周期になるとシーン分割部３００を実行して、データ格納部６００に蓄積されたセンシングデータと集計データから利用者の一連の動作状態であるシーン領域、および、シーン領域を構成する運動であるシーン断片を作成する。
【００３８】
このシーン領域の作成処理は、センシングデータまたは集計データから抽出可能である所定の動作状態（例えば、歩行、睡眠）を検出し、検出された動作状態、および、検出された動作状態と次の動作状態に挟まれた期間をシーン領域として抽出し、後述する所定の判定ルールを用いて睡眠、安静、軽作業、作業、歩行、運動の動作内容を判定し、各シーン領域に割り当てるものである。
【００３９】
さらに、シーン断片の作成処理は、前記抽出されたシーン領域毎に、センシングデータまたは所定時間内のセンシングデータの集計データから時系列的なデータの変化点を検出し、変化点から次の変化点までを1つの運動単位であるシーン断片として抽出し、シーン断片の抽出方法ごとに断片分類を割り当てる。そして、断片分類ごとに、運動量の統計値を用いたグループ分け、センシングデータの類似度を用いたグループ分け、集計データの類似度を用いたグループ分けなど１以上グループ分けにより、グループの識別子である断片分類の値を割り当てる。センシングデータまたは集計データの変化点とは、激しく動いている状態から静かになった時点などを変化点として抽出する。上記の処理により、シーン分割部３００は所定の周期毎にシーン領域とシーン断片を作成し、データ格納部６００に格納する。図６に、睡眠、歩行、安静、軽作業の動作状態をシーン領域として抽出した例、シーン領域ごとにシーン断片を抽出した例、シーン領域とシーン断片の関係の例を図示する。
【００４０】
次に、サーバ１０４は、ステップＳ３でシーン分割部３００が抽出したシーン領域、シーン断片、及び前後の行動内容が既に確定している場合にはその行動内容を、登録されているシーン判定ルールに従って判定し、利用者の行動内容の候補であるシーンを作成し、データ格納部６００に格納する。
【００４１】
登録されたシーン判定ルールは、利用者毎の過去の行動内容、シーン領域、シーン断片のデータから抽出したルール、または、利用者を含むデータ格納部６００に格納された行動内容、シーン領域、シーン断片のデータから作成したルール、または、既知の知識を用いて構築したルールである。具体的には、行動内容、シーン領域、シーン断片、時間情報の組合せと順序パターンから作成され、行動内容の候補であるシーンを判定するためのものである。シーン判定ルールの構造及びシーン判定の例は、図２１において後述する。
【００４２】
例えば、早朝の歩行という動作内容であれば、具体的な行動内容の候補は散歩とすることができ、あるいは、「起床後３０〜９０分の間で歩行（１０−１５分）、安静（２０−２５分）、歩行（７−１０分）であれば、その利用者の通常の生活においては定型化している「通勤」として判定する。なお、行動内容は動作内容の組合せなので、多くの場合複数のシーン領域から成り立つが、上述の散歩のように、単一の動作内容と時刻から定まる行動内容も存在する。
【００４３】
次に、行動獲得部５００は、データ格納部に格納されたシーンから、利用者が行った行動内容に一致する可能性の高い順に提示する優先順位を付与する（ステップＳ４）。
【００４４】
次に、サーバ１０４は、ステップＳ５で、上記優先順位に従って、各シーンをクライアント計算機１０３に提示する。ステップＳ６では、クライアント計算機１０３を操作する利用者が、サーバ１０４が抽出したシーンに対応する行動内容を確認し、優先順位の順で提示されたシーンを選択することで、利用者は容易に日々の生活記録（ライフログ）の生成することができる。
【００４５】
次に、ステップＳ７では、クライアント計算機１０３で選択されたシーンを行動記録として確定する。
【００４６】
こうして作成されたライフログは、ステップＳ８で利用者の識別子と作成日時などのタイムスタンプとともに、サーバ１０４のデータ格納部６００へ格納される。
【００４７】
図７は、サーバ１０４のデータ集計部２００で行われる処理の一例を示すフローチャートである。まず、データ集計部２００は、利用者の識別子に対応するセンシングデータをデータ格納部６００から読み込む（ステップＳ１１）。ここで、データ集計部２００が読み込むセンシングデータの量は、センシングデータの集計周期である所定の周期（例えば、３分間）等に設定すればよい。
【００４８】
次に、ステップＳ１２では、データ集計部２００が読み込んだセンシングデータの加速度データについて所定の時間間隔（例えば、１分）毎の集計値を算出する。本実施形態では、所定の時間間隔内での腕輪型センサノード１の装着者（利用者）の運動の頻度を示すゼロクロス回数を集計値として用いる。
【００４９】
腕輪型センサノード１が検出したセンシングデータにはＸ、Ｙ、Ｚ軸の加速度データが含まれているので、データ集計部２００は、Ｘ、Ｙ、Ｚの３軸の加速度のスカラー量を算出し、スカラー量が０または０近傍の所定値を通過する値をゼロクロス回数として算出し、ゼロクロス回数が所定時間間隔内に出現する頻度を算出し、この出現頻度を、所定の時間間隔（１分間）の運動頻度として出力する。
【００５０】
まず、スカラー量は、各軸の加速度をＸｇ、Ｙｇ、Ｚｇとすると、スカラー量＝（Ｘｇ２＋Ｙｇ２＋Ｚｇ２）１／２で求められる。
【００５１】
次に、求めたスカラー量をフィルタ（バンドパスフィルタ）処理し、所定の周波数帯域（例えば、０．１Ｈｚ〜５Ｈｚ）のみを抽出し、ノイズ成分を除去する。そして、図８で示すように、フィルタ処理を施した加速度のスカラー量が所定の閾値（例えば、０．０５Ｇ）となった回数をゼロクロス回数として算出する。あるいは、加速度のスカラー量が所定の閾値をよぎった回数をゼロクロス回数とする。そして、所定の時間間隔内のゼロクロス回数を運動頻度として求める。また、所定の時間間隔内の運動量の積分値をゼロクロス回数とスカラー量から求めて、この積分値を運動強度とする。またセンシングデータに含まれる温度についても所定の時間間隔内の平均温度を求める。なお、運動頻度は、ＸＹＺの各方向の加速度の値が、正と負に振動した回数（振動数）を各方向の所定時間内で数えて合計してもよいが、本実施形態では、計算を簡略化することができるため、ゼロクロス回数を算出する方法について説明した。
【００５２】
データ集計部２００は、所定の時間間隔毎に、運動頻度、平均温度、運動強度を求め、図９に示すように、それらを所定の時間間隔毎の集計データとして生成し、データ格納部６００へ蓄積する。図９は、所定時間間隔毎の集計データのフォーマット７００を示す説明図で、センシングデータに含まれる腕輪型センサノード１の識別子を格納するセンサデータＩＤ７０２と、腕輪型センサノード１の装着者（ライフログシステムの利用者）の識別子を格納するユーザＩＤ７０１と、所定の時間間隔の開始時刻（測定日時）を格納する測定日時７０３と、センシングデータに含まれる温度を格納する温度７０４と、データ集計部２００が演算した運動頻度を格納する運動頻度７０５と、データ集計部２００が求めた運動強度を格納する運動強度７０６からひとつのエントリを構成する。なお、利用者の識別子は、腕輪型センサノード１の識別子に基づいて予め設定した図示しないテーブルから参照すればよい。
【００５３】
図１０は、サーバ１０４のシーン分割部３００で行われるシーン領域とシーン断片の作成処理を示すフローチャートである。まず、シーン分割部３００は、利用者の識別子に対応するセンシングデータと集計データをデータ格納部６００から読み込む（ステップＳ２１）。ここで、シーン分割部３００が読み込む集計データの量は、シーン領域作成の周期である所定の周期（例えば、５分間）などに設定すればよい。
【００５４】
次に、ステップＳ２２では、シーン分割部３００が読み込んだセンシングデータと集計データから所定の動作状態を検出し、シーン領域を作成する。ここで、所定の動作状態は、センシングデータまたは集計データから検出可能な動作状態であり、例えば歩行、睡眠である。
【００５５】
例えば歩行状態を検知する手法は、上下方向の加速度が周期的に変化する（一歩ごとの着地）、前後方向の加速度が上下方向の加速度と同期して規則的に前方向と後ろ方向を繰り返す（着地するごとの速度変化）、左右方向の加速度が上下方向の加速度に同期して規則的に繰り返す（一歩ごとの体の左右へのゆれ）、といった波形が観測でき、さらに腕の振りが重なった波形として観測できるので、これらにより、該当するシーンが歩行状態であるか否かを判定できる。また、ゼロクロスの周期の逆数を歩数として検知することも可能である。これらの人体に装着した加速度センサから歩行状態を検知する手法は、公知の手法を用いれば良い。
【００５６】
また、睡眠は、運動頻度は極めて低いが、睡眠中でも人体は寝返りなどの運動を行うため、運動頻度はゼロにはならない。睡眠を判定する手法についても公知の手法を用いればよい。
【００５７】
次に、歩行、睡眠に該当しないシーン領域に対して、図２７に示す判定値のテーブルを参照し、各シーン領域の運動頻度が「安静」、「軽作業」、「作業」、「運動」の各判定値と比較して何れに該当するかを判定する。
【００５８】
次に、ステップＳ２３では、前記抽出された各シーン領域について、当該シーン領域の開始日時と終了日時の期間に該当する集計データから、時系列的な運動頻度の変化点を検出し、変化点間を同一の運動を行った単位であるシーン断片として抽出してデータ格納部６００に格納する。
【００５９】
以上の処理により、シーン分割部３００はセンシングデータと集計データから動作状態の単位であるシーン領域と運動変化の単位であるシーン断片を抽出する。
【００６０】
図１１は、データ格納部６００に格納されるシーン領域データ８００のフォーマットを示す説明図で、利用者の識別子を格納するユーザＩＤ８０１と、シーン領域データの識別子であるシーン領域データＩＤ８０２と、シーン領域の開始日時８０３と、終了日時８０４と、シーン領域の動作状態を示す領域内容８０５とからひとつのエントリを構成する。
【００６１】
図１２は、データ格納部６００に格納されるシーン断片データのフォーマット９００を示す説明図で、利用者の識別子であるユーザＩＤ９０１と、対応するシーン領域データの識別子であるシーン領域データＩＤ９０２と、シーン断片データの開始日時９０３と、終了日時９０４と、付与されたグループの識別子である断片分類１（９０５）から断片分類ｎ（９０６）とからひとつのエントリを構成する。
【００６２】
このようにユーザＩＤに対応づけてシーン領域データＩＤ、領域内容、断片分類等を記録しておくことにより、ユーザごとに行動内容の候補であるシーンを作成することが可能となる。
【００６３】
図１３（a）は、イベントデータを登録する手順を示すフローチャートである。ここでイベントとは、ユーザがＰＣ、携帯電話などを用いて行った行為であり、短時間の出来事を意味する。例えば、メール送受信、写真撮影、買い物などである。ここではメール送受信を例に手順を説明する。
【００６４】
まず、利用者がＰＣ１０３でメールを送受信した際に、ステップＳ２４でＰＣ１０３からメール送受信したことを示すデータとその時刻、及びユーザＩＤをサーバ１０４に送付する。次にステップＳ２５で、図１３（b）に示すデータを作成し、ステップＳ２６でサーバのデータ格納部６００に登録する。ここで、イベントデータの送信元はＰＣ１０３に限らず、例えば利用者の携帯電話などの計算機能を持った外部機器が考えられる。このように、本実施形態のライフログシステムでは、利用者がＰＣ又は携帯電話の操作をしてメール送受信等の行為を行った場合に、その行為がイベントデータとして、サーバに送信されるように構成される。そして、イベントデータに付与されるユーザＩＤ、行為を行った時刻とともに、サーバのデータ格納部に記録される。なお、ＰＣあるいは携帯電話等がイベントデータをサーバに送信するタイミングは、その行為が行われたとき、所定の時間間隔、又は、利用者が指定したタイミング、など特に限定されない。
【００６５】
図１３（b）は、データ格納部６００に格納されるイベントデータのフォーマット１１００を示す説明図で、利用者の識別子を格納するユーザＩＤ１１０１と、イベントデータの識別子であるイベントデータＩＤ１１０２と、イベントデータの種類をあらわすイベント分類ＩＤ１１０３と、イベントデータの日時１１０４と、イベントデータの示す内容又は利用者が付与するコメント等のイベントの内容を格納するイベント内容１１０５と、当該イベントと関連するシーン領域ＩＤを格納する関連シーン１１０６とからひとつのエントリを構成する。イベントデータとシーン領域データとは、イベントデータの日時とシーン領域データの開始日時と終了日時により関連づけられる。また、利用者は後述する図１６(ｃ）に示すように、イベントデータにコメントを付すことができ、その内容がイベント内容として登録される。
【００６６】
図１４は、図４（a）のライフログシステムの機能要素を示すブロック図の表示部１０３１に表示される、利用者の行動記録を入力するための入力支援画面の一例である。
【００６７】
図１４の入力支援画面例では、日付選択部１０４０、グラフ表示部１０４１、行動記録表示部１０４２、シーン領域表示部１０４３、イベント表示部１０４４を含む。
【００６８】
日付選択部１０４０は、利用者が行動記録を入力する日付候補を表示し、利用者の選択により他の表示部にデータを表示するためのトリガ機能を有する。
【００６９】
グラフ表示部１０４１は、日付選択部１０４０により選択された日付の腕輪型センサノード等を用いて収集した加速度に基づき算出した単位時間毎の運動頻度を時系列的にソートしたデータを表示する機能を有する。
【００７０】
行動記録表示部１０４２は、日付選択部１０４０により選択された日付の行動記録を表示、編集するための機能を有する。
【００７１】
シーン領域表示部１０４３は、日付選択部１０４０により選択された日付の腕輪型センサノード等を用いて収集した加速度に基づき算出したシーン領域データを表示するための機能を有する。
【００７２】
イベント表示部１０４４は、日付選択部１０４０により選択された日付のイベントを表示するための機能を有する。
【００７３】
以下、行動記録表示部１０４２に行動内容を表示する第１及び第２の方法について説明する。第１の方法では、シーン領域データまたはイベントデータが表示されると、利用者が当該シーン領域データ又はイベントデータについてコメントを入力し行動内容が確定されることにより、行動記録入力の負担軽減を実現することを特徴とする。
【００７４】
また、第２の方法では、シーン領域データまたはイベントデータから行動記録の候補を算出し、提示することにより、行動記録入力の負担軽減を実現することを特徴とする。
【００７５】
まず、第１の方法について、図１５及び図１６を用いて説明する。図１５はデータ表示処理の手順を示すフローチャートである。
【００７６】
まず、日付選択部１０４０を用いて行動記録を入力する日付を選択し、利用者の該当する日付のシーン領域データ、イベントデータ、及び既に登録されている行動記録データがある場合には行動記録データ、をデータ格納部６００から抽出する（Ｓ２０１、Ｓ２０２）。抽出したシーン領域データ、イベントデータ及び行動記録データを該当部分に表示する（Ｓ２０３）。
【００７７】
図１６（ａ）は行動記録入力支援処理の手順を示すフローチャートである。
まず、シーン領域データ、イベントデータを行動記録入力支援画面の対応部分に表示し（Ｓ２０１〜Ｓ２０３） 、利用者がシーン領域データ、イベントデータ中から選択する（Ｓ３０１）と、選択されたシーン領域データ、イベントデータが行動記録表示部１０４２に表示される（Ｓ３０２）。次に、行動記録表示部に表示された当該シーン領域データ、イベントデータにコメントをつける、シーンの開始・終了時刻を調整する、イベントの位置を調整するなどの行動記録編集支援処理を行い、行動記録の入力を完了する（Ｓ３０３、Ｓ３０４）。全ての入力が完了していない場合にはＳ３０１〜Ｓ３０４を繰り返す（Ｓ３０５）。
【００７８】
図１６(ｂ）、図１６(ｃ）に上記行動記録入力支援処理手順の画面表示の一例を示す。図１６(ｂ）はＳ２０１〜Ｓ２０３でシーン領域データ、イベントデータを行動記録入力支援画面の対応部分に表示した画面表示の一例である。図１４に示すように、シーン領域領域表示部には、睡眠、安静、軽作業、歩行が表示され、イベント表示部には、あるイベントが表示されている。図１６(ｃ）はＳ３０１〜Ｓ３０３の画面表示の一例である。シーン領域表示部１０４３またはイベント表示部１０４４からシーン領域データまたはイベントデータを選択することにより、当該データを行動記録表示部１０４２中の、例えばシーン領域データは下段、イベントデータは上段に表示する。
【００７９】
その後、利用者が、行動記録表示部１０４２に表示されたシーン領域データあるいはイベントデータを入力部１０３２を介して選択し、コメント（行動内容）を入力することにより、図１４に示す睡眠、通勤、仕事などの行動内容が行動記録表示部に表示される。
【００８０】
以上説明したように、第１の方法によれば、行動記録入力の際に腕輪型センサノード１で測定できるセンサデータを用いて生成したシーン領域データ及び利用者の手入力または腕輪型センサノード１以外の機器を用いて生成・収集したイベントデータを選択することにより行動記録入力を行うことにより、利用者の行動記録入力に要する負担を軽減することが可能となる。
【００８１】
行動記録編集支援処理のシーン（行動内容）の開始・終了時刻、イベントの時刻を調整する方法については図１７で説明する。
【００８２】
利用者が手作業でシーンの開始・終了時刻、イベントの時刻を調整する場合には、シーン断片の開始・終了時刻を目盛りとして編集する場合と、シーン領域の開始・終了時刻を目盛りとして編集する場合とがある。シーン断片に基づく目盛りはシーン断片目盛り１０４７に表示し、シーン領域に基づく目盛りはシーン領域目盛り１０４８に表示する。これらの目盛りは入力部を介して、行動記録表示部１０４２を利用者が指定することにより、行動獲得部により表示される。または、シーン領域表示とともに自動的に表示されるようにすることができる。このようなシーン断片目盛りあるいはシーン領域目盛りを設けることにより、利用者が手作業で行動記録の開始・終了時刻、イベントの時刻を調整する際の時刻合わせの負担を軽減することが可能となる。
【００８３】
次に、行動記録表示部１０４２に行動内容を表示する第２の方法について、図１９乃至図２１を用いて説明する。
【００８４】
図１９（ａ）は行動記録入力支援方法の手順を示すフローチャートである。
【００８５】
まず、利用者が日付選択部１０４０に行動記録を入力する日付を入力すると、シーン列挙部は、データ格納部６００から該当する日付のシーン領域データ、イベントデータを抽出する（Ｓ４０１、Ｓ４０２）。次に、抽出したシーン領域とシーン断片、及び前後の行動内容が既に確定している場合にはその行動内容を、登録されているシーン判定ルールに従って判定し、シーン作成処理を行う（Ｓ４０３）。
【００８６】
次に、行動獲得部は、作成したシーンのうち、確信度が予め設定されているしきい値より大きいシーン領域データを行動記録表示部１０４２に自動的に表示する（Ｓ４０４）。さらにシーン領域データ、イベントデータを行動記録入力支援画面の対応部分に表示する（Ｓ４０５）。利用者が行動記録表示部１０４２中の入力したい部分（時刻）を選択すると、選択部分を含むシーン領域データ、イベントデータの候補が表示される（Ｓ４０６、４０７）。本実施形態では、利用者はシーン領域データ、イベントデータを候補中から選択する（Ｓ４０８）と、選択されたシーン領域データ、イベントが行動記録表示部１０４２に表示される（Ｓ４０９）。
【００８７】
次に、行動記録表示部に表示された当該シーン領域データ、イベントデータにコメントをつける、シーンの開始・終了時刻を調整する、イベントの位置を調整するなどの行動記録編集作業を行い、行動記録の入力を完了する（Ｓ４１０、Ｓ４１１）。全ての入力が完了していない場合にはＳ４０５〜Ｓ４１０を繰り返す（Ｓ４１２）。シーン領域データ、イベントデータにコメントをつける、シーンの開始・終了時刻を調整する、イベントの位置を調整するなどの処理は、第１の方法で説明した内容と同様である。
【００８８】
図１９（ｂ）は、Ｓ４０４に関する図示例である。図１９（ｂ）の例ではシーンデータ「睡眠」が確信度がしきい値以上のシーンデータであるとして自動入力されている。
【００８９】
図１９（ｃ）は、Ｓ４０５〜Ｓ４０８に関する図示例である。利用者が入力したい部分（時刻）を選択すると選択時刻を含む開始・終了時刻、種類の異なる複数候補を含む行動記録候補表示部１０６０が表示される（図１９（ｃ）の上図）。このとき、表示される候補は、シーンデータの確信度が高い順または、利用者が過去に選択した頻度の高い順に表示される。利用者が候補からシーンデータを選択すると、行動記録表示部１０４２に行動記録が表示される（図１９（ｃ）の下図）。
【００９０】
図２０は、シーン列挙部４００で行われるシーン作成処理（図１９（ａ）のS４０３）を表すフローチャートである。シーン列挙部ではシーン判定ルールに一致するシーン領域、シーン断片、行動記録のパターンを検索し、シーン（行動内容）を抽出する。
【００９１】
まず、ステップＳ５１では、利用者に該当する予め登録されたシーン判定ルールをデータ格納部６００から読み出す。シーン判定ルールは、条件と結論からなり、条件を満たすとある結論（シーン）が推定されるものであり、ユーザごとに予め記録されている。条件は、複数または単一のシーン領域、行動記録の組合せ、順序パターンから構成される。シーン領域は、シーン領域内容だけでなく、当該シーン領域の期間にあるシーン断片の組合せも条件となる。また、シーン領域、シーン断片、行動記録は開始日時から終了日時までの経過時間も条件となる。一方、結論は、シーン内容、シーン領域あるいは行動記録の開始日時、終了日時からなり、それらの判定精度を示す値を評価値として確信度を伴う。確信度は過去のデータから算出することが可能である、また、シーン判定ルールを専門家の知見によって作成する場合には任意に定めてもよい。
【００９２】
図２１はシーン判定ルールの構造の一例である。シーン判定ルールは条件テーブル１０００と結論テーブル１１００からなり、ルールＩＤで紐付けられている。条件テーブルは、ユーザＩＤ、ルールＩＤ、順序、種別、項目名、値、比較演算の組からなる。種別は対象となるデータの種類であるシーン領域、シーン断片、行動記録、時間情報である経過時間、時間帯、時間からなる。比較演算は、判定対象となるシーン領域データ等と一致するか否かを判定する演算式である。結論テーブルは、ユーザＩＤ、ルールＩＤ、シーン内容、開始日時、終了日時、確信度の組からなる。開始日時と終了日時は特定の値を定義せず、条件テーブルの順序に示すデータの開始日時または終了日時を指定することによって、条件テーブルの条件を満たすデータから、開始日時と終了日時を決めることができる。
【００９３】
例えば、ユーザＩＤ１０１のルールＩＤ１のシーン判定ルールは、「最初が行動記録「睡眠」であり、その後の７０分以内の朝時間帯に「歩行」のシーン領域があり、次に「安静」のシーン領域、最後に「歩行」のシーン領域である場合、シーンは「通勤」であり、その確信度は「８０％」である。」ことを示している。
【００９４】
また、ユーザＩＤ１０５のルールＩＤ２のシーン判定ルールは、「軽作業のシーン領域であり、そのシーン領域における断片分類１の値が５であるシーン断片と、断片分類３の値が２であるシーン断片とを含み、そのシーン領域の開始日時から終了日時までの時間が３０分以上の場合、シーンは「会議」であり、確信度は「６０％」である」ことを示している。
【００９５】
次に、ステップＳ５２では、読み出された各シーン判定ルールについて、データ格納部６００に格納されているシーン領域、シーン断片、利用者によって入力された行動記録から、シーン判定ルールの条件テーブルの条件をすべて満たすものを抽出し、結論テーブルの内容をシーンとして抽出し、データ格納部６００にシーンとして格納する（ステップＳ５３）。
【００９６】
次に、ステップＳ５４では、前記抽出したシーンをデータ格納部６００に格納した時点以降に利用者が行動記録を入力した場合、再びステップＳ５１以降を繰り返すことによって、シーン判定ルールを満たすシーンのデータ格納部６００への格納を繰り返す。新たな行動記録が入力されることによって、条件を満たすシーン判定ルールが増加し、データ格納部６００に格納すべきシーンが追加され、確信度の高いシーンが格納される場合がある。以上の処理によって、自動入力されるシーン及び行動記録候補が作成される。
【００９７】
以上説明したように、第２の方法によれば、歩行、運動、安静といった大まかな動作を識別することのみならず、具体的な行動内容の候補を算出し、利用者に提示する。これにより、行動記録入力の際に、利用者の入力負担軽減を実現することが可能となる。
【００９８】
特に、センシングデータから一連の動作状態の単位であるシーン領域、シーン領域を構成する短時間の運動状態であるシーン断片を作成する。そして、行動内容をシーン領域の組合せと順序パターンで構成し、シーン領域の動作状態のみでなく、シーン断片の組合せで類似性を判定することによって、行動内容の候補を算出することができる。これにより、利用者の行動を一定時間間隔ではなく、時間間隔の異なる複数の行動候補を確信度とともに表示することが可能となる。それゆえ、利用者の行動のゆらぎに対応することができ、より正確な行動記録を作成することができる。
【００９９】
図１８は、上述した第１及び第２の方法により行動が確定した場合に、行動記録データのフォーマット１２００を示し、データ格納部６００に格納される。利用者の識別子を格納するユーザＩＤ１２０１と、行動記録データの識別子である行動記録データＩＤ１２０２と、行動記録データの開始日時１２０３と、終了日時１２０４と、利用者が付与するコメント等の行動記録の内容を格納する行動記録内容１２０５と、当該行動記録と関連するシーン領域データまたはイベントデータのＩＤを格納する関連データ１２０６とからひとつのエントリを構成する。
【０１００】
なお、上記実施形態では、ライフログシステムとして利用者（人体）の運動状態を検出するために、腕輪型センサノード１の加速度センサを用いた例を示したが、人体の運動状態を検知可能な生体情報であればよく、例えば、脈拍や歩数などを用いることができ、あるいは、これらの複数の生体情報の組合せから人体の運動状態を検知しても良い。また、生体情報だけではなく、人体の位置をＧＰＳや携帯端末等の位置情報を用いるようにしても良い。
【０１０１】
また、ライフログシステムでは監視対象が人であり、シーンは行動に対応するが、監視対象は人に限定されるものではなく、機器でもよい。監視対象を機器とした場合には、機器に装着したセンサによって測定された機器の状態を示すセンシングデータ（例えば、振動、音量）から、シーンとして稼動状態や稼動内容を示すシーンを抽出することが可能であり、機器の稼動状態履歴を獲得することができる。
＜第２の実施形態＞
図４（ｂ）は、上記実施形態の図４（ａ）に示したシステム構成の一部を変更したもので、その他の構成は第１の実施形態と同様である。第１の実施形態のサーバ１０４に代わって、クライアント計算機１０３がデータ収集部２００、シーン分割部３００、シーン列挙部４００、行動獲得部５００、および、データ格納部を備えており、このクライアント計算機１０３が直接基地局１０２に接続されたものである。データ収集部２００、シーン分割部３００、シーン列挙部４００、行動獲得部５００、データ収集部６００の構成は上記実施形態と同様である。クライアント計算機１０３はネットワーク１０５を介してサーバ１０４に接続される。サーバ１０４は、クライアント計算機１０３が生成した行動記録を受信して格納するデータ格納部１３００と、行動記録に対して所定の解析を行う解析部１４００を備える。
【０１０２】
図４（ａ）の構成の場合、サーバにデータを蓄積するため、ネットワーク接続が可能である場合、場所を気にせずデータの送付を行うことができる。しかし、ネットワーク接続ができない場合にはデータの送付や行動入力などが出来ないという問題がある。図４（ｂ）の構成では、データ送付や行動入力のためにＰＣ１０３などの専用の計算機が必要となるため場所に制約があるが、ＰＣ１０３にデータを送付し、ＰＣ１０３上で行動入力などを行うため、ネットワーク接続の有無を気にする必要がないという利点がある。
【０１０３】
＜第３の実施の形態＞
第１の実施の形態及び、第２の実施の形態では、行動記録入力の参考情報としてシーン領域データ、イベントデータを用いてきたが、その他のデータを用いてもかまわない。第３の実施の形態では、ＰＣ利用状況に関するデータ及びスケジュールデータを用いる例について説明する。
【０１０４】
図２２は、図４（ａ）のライフログシステムの機能要素を示すブロック図の表示部１０３１に表示される、利用者の行動記録を入力するための入力支援画面の一例である。
【０１０５】
図２２の入力支援画面例では、日付選択部１０４０、グラフ表示部１０４１、行動記録表示部１０４２、シーン領域表示部１０４３、イベント表示部１０４４、ＰＣ利用状況表示部１０４５、スケジュール表示部１０４６を含む。
【０１０６】
日付選択部１０４０は、利用者が行動記録を入力する日付候補を表示し、利用者の選択により他の表示部にデータを表示するためのトリガ機能を有する。
【０１０７】
グラフ表示部１０４１は、日付選択部１０４０により選択された日付の腕輪型センサノード等を用いて収集した加速度に基づき算出した単位時間毎の運動頻度を時系列的にソートしたデータを表示する機能を有する。
【０１０８】
行動記録表示部１０４２は、日付選択部１０４０により選択された日付の行動記録を表示、編集するための機能を有する。
【０１０９】
シーン領域表示部１０４３は、日付選択部１０４０により選択された日付の腕輪型センサノード等を用いて収集した加速度に基づき算出したセンサシーンを表示するための機能を有する。
【０１１０】
イベント表示部１０４４は、日付選択部１０４０により選択された日付のイベントを表示するための機能を有する。
【０１１１】
ＰＣ利用状況表示部１０４５は、日付選択部１０４０により選択された日付の利用者が使用する計算機端末（ＰＣ）の利用状況を表示するための機能を有する。
【０１１２】
スケジュール表示部１０４６は、日付選択部１０４０により選択された日付の利用者のスケジュールを表示する機能を有する。
【０１１３】
ＰＣ利用状況データ及びスケジュールデータは、図１３（ａ）のフローチャートに示す手順で取得し、図１３（ｂ）に示すデータ構造をとる。
【０１１４】
ＰＣ利用状況データは、ＰＣ操作に係わるデータであり、例えばＰＣの起動、終了に関するデータである。キーボード、マウスなどの入力装置操作などの履歴情報を含めることも出来る。まず、利用者がＰＣ１０３を操作したときに履歴情報を取得し、ステップＳ２４でその情報をＰＣ１０３からサーバ１０４に送付する。送付のタイミングは一時間ごと、ＰＣ終了の直前などである。次にステップＳ２５で、図１３（ｂ）に示すデータを作成し、ステップＳ２６でサーバのデータ格納部６００に登録する。
【０１１５】
スケジュールデータは、利用者がＰＣ１０３上のスケジュール入力ツールを用いて入力した利用者自身のスケジュールである。まず、利用者がＰＣ１０３上のスケジュール入力ツールを用いてデータ入力した際に、ステップＳ２４でそのデータをＰＣ１０３からサーバ１０４に送付する。次にステップＳ２５で、図１３（ｂ）に示すデータを作成し、ステップＳ２６でサーバのデータ格納部６００に登録する。
【０１１６】
スケジュール入力ツールは、利用者所有の携帯電話上にあってもかまわない。また、サーバ１０４上のスケジュール入力ツールを利用することも可能であり、この場合は、サーバ１０４上のスケジュール入力ツールから直接ステップＳ２５、Ｓ２６を実行し、データを登録する。
【０１１７】
図２２の入力支援画面例では、日付選択部１０４０、グラフ表示部１０４１、行動記録表示部１０４２、シーン領域表示部１０４３、イベント表示部１０４４、ＰＣ利用状況表示部１０４５、スケジュール表示部１０４６を含んだ構成となっているが、取得可能なデータの数、種類及び利用者のニーズによって構成は変化することが可能である。
【０１１８】
第３の実施の形態に関わる行動記録編集支援処理のシーンの開始・終了時刻、イベントの時刻を調整する方法については図２３で説明する。
【０１１９】
利用者が手作業でシーンの開始・終了時刻、イベントの時刻を調整する場合には、目盛り１０４７に表示されるシーン断片の開始・終了時刻を目盛りとして編集する場合と、目盛り１０４８に表示されるシーン領域の開始・終了時刻を目盛りとして編集する場合と、目盛り１０４９に表示される複数のデータの開始時刻または終了時刻が一致する切れ目を目盛りとして編集する場合などが、ある。上記各目盛りを表示するための対象情報は切り替えスイッチ１０５０〜１０５３をＯＮ、ＯＦＦすることにより切り替え可能である。また、表示される目盛りは編集時に必要な分だけ動的に表示されるでもよい。
【０１２０】
このように調整することにより、利用者が手作業でシーンの開始・終了時刻、イベントの時刻を調整する際の時刻合わせの負担を軽減することが可能となる。
以上のように、シーン領域データ、イベントデータだけでなく、ＰＣ利用状況に関するデータ及びスケジュールデータを用いることにより、行動記録として複数のデータを記録することが可能となり、利用者の入力負担軽減を実現することができる。
【０１２１】
つまり、一つの行動記録の入力が完了した後、その行動記録の開始時刻から終了時刻の間に同種類または他種類のシーンデータを選択することにより行動記録に階層構造を持たせることができる。このように行動記録を入力することによって、行動記録により詳細な情報を簡単に付与することが可能となる。図２４にその例を示す。図２４では、ＰＣ利用状況表示部及びスケジュール表示部に表示された内容を利用者が選択することにより、その選択した内容が行動記録表示部に表示される例を示している。具体的には、シーン領域データから確定された行動内容「仕事」に対して、ＰＣ利用状況から確定された「ファイル作成（資料Ａ作成、情報収集）」、スケジュールから確定された「打合せ」が表示されている。
【０１２２】
＜第４の実施の形態＞
第１の実施の形態乃至第３の実施の形態では、行動記録編集支援処理の際のコメント、特に利用者の気持ちや感情を入力する場合には利用者の手作業による必要があるが、サーバのデータ格納部に予め登録された利用者の気持ち・感情を表す記号を用いて入力することも可能である。
【０１２３】
図２５は第４の実施例の行動記録編集支援処理における利用者の気持ち・感情等を入力するための処理例である。
【０１２４】
まず、行動記録表示部１０４２に表示されている行動記録を選択すると予め登録されている気持ち・感情等を表す記号群が表示される。それらの中から必要なものを選択することによって、簡単に入力することが可能となる。
【０１２５】
また、図２５下図の表示例にあるように、気持ち・感情等の記号群に予め気持ち・感情の起伏を表す指標を付与しておくと、気持ち・感情の起伏を表すグラフを生成することが可能である。
【０１２６】
図２６に図２５のコメント候補表示部１０６１中に表示されているコメント候補の内容および気持ち・感情の起伏を表すスコアの例を示す。コメント候補は図２５及び図２６中に記載されているものが全てではなく、感情を示すものなど様々なものが含まれる。また、スコアの与え方も気持ち・感情の起伏を表すことができればどのような方法でもかまわない。
【０１２７】
このように、利用者の気持ち・感情を表す記号を、シーン領域データ、イベントデータ、ＰＣ利用状況に関するデータ及びスケジュールデータと併せて用いることに用いることにより、実際の行動における気持ちや感情を容易に記録することが可能となり、利用者の入力負担軽減を実現することができる。
【０１２８】
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものでなく、種種変形実施可能であり、上述した各実施形態を適宜組み合わせることが可能であることは、当業者に理解されよう。
【図面の簡単な説明】
【０１２９】
【図１】ライフログシステムの構成の一例を示すブロック図である。
【図２】腕輪型センサノードの一例を示す図で、（ａ）は腕輪型センサノード１の正面から見た概略図で、（ｂ）は腕輪型センサノードを側面から見た断面図である。
【図３】腕輪型センサノードの基盤に取り付けられた電子回路のブロック図の一例である。
【図４（ａ）】ライフログシステムの機能要素を示すブロック図の一例である。
【図４（ｂ）】ライフログシステムの機能要素を示すブロック図の変形例である。
【図５】ライフログシステムで行われるデータ処理の全体的な流れを示す図の一例ある。
【図６】単位時間毎の運動頻度を時系列的にソートしたグラフ及びシーン領域、シーン断片の関係の例である。
【図７】データ集計部の処理の一例を示すフローチャートである。
【図８】加速度と時間の関係を示すグラフで、ゼロクロス回数の判定の一例を示す。
【図９】所定時間間隔毎の集計データのフォーマットの一例である。
【図１０】シーン分割部の処理を示すフローチャートの一例である。
【図１１】シーン領域データのフォーマットの一例である。
【図１２】シーン断片データのフォーマットの一例である。
【図１３（ａ）】イベントデータを登録する手順を示すフローチャートの一例である。
【図１３（ｂ）】イベントデータのフォーマットの一例である。
【図１４】行動記録入力支援画面の画面構成例である。
【図１５】データ表示処理の手順の一例を示すフローチャートである。
【図１６（ａ）】行動記録入力支援処理の手順の一例を示すフローチャートである。
【図１６（ｂ）】シーン領域データ、イベントデータを行動記録入力支援画面の対応部分に表示した画面表示の一例である。
【図１６（ｃ）】シーン領域データ、イベントデータを行動記録入力支援画面の行動記録入力時の画面表示の一例である。
【図１７】行動記録編集支援処理の画面構成の一例である。
【図１８】行動記録データのフォーマットの一例である。
【図１９（ａ）】行動記録入力支援方法の手順を示すフローチャートの一例である。
【図１９（ｂ）】行動記録自動入力の画面構成の一例である。
【図１９（ｃ）】行動記録候補表示の画面構成の一例である。
【図２０】シーン作成処理を表すフローチャートの一例である。
【図２１】シーン判定ルールの構造の一例である。
【図２２】第３の実施の形態の行動記録入力支援画面の画面構成例である。
【図２３】第３の実施の形態の行動記録編集支援処理の画面構成例である。
【図２４】第３の実施の形態の行動記録に複数のデータを含む場合の図示例である。
【図２５】第４の実施の形態の行動記録編集支援処理における利用者の気持ち・感情等を入力するための処理例である。
【図２６】第４の実施の形態のコメント候補の内容および気持ち・感情の起伏を表すスコアの例である。
【図２７】運動頻度と動作状態の関係を設定する判定値のテーブルの一例である。
【符号の説明】
【０１３０】
１ 腕輪型センサノード
１０２ 基地局
１０３ クライアント計算機
１０４ サーバ
２００ データ集計部
３００ シーン分割部
４００ シーン列挙部
５００ 行動獲得部
６００ データ格納部
１０３１ 表示部
１０３２ 入力部
【技術分野】
【０００１】
本発明は、監視対象の生体情報や動作情報、周辺情報に関するセンサデータから監視対象の行動内容を測定する装置によって、複数種類の行動履歴を収集し、それら行動履歴から利用者の行動記録入力を支援する技術に関する。
【背景技術】
【０００２】
近年、人の行動内容を大量に記録・蓄積し、その大規模データを解析することにより、新たな知見を得たり、サービスを提供したりすることに期待が寄せられている。すでにインターネットの世界では検索キーワードや購買履歴を活用して、個々人に対してその人が欲しがりそうな商品のリコメンド広告を発信するなどの仕組みが確立されている。
【０００３】
これは実世界においても同様な仕組みが考えられる。例えば日々の業務内容を記録して解析することにより組織の業務効率の向上を図ったり、日々の生活記録を付けることにより、食事、運動、生活の規則正しさを評価し、生活習慣病予防を目的としたヘルスケアサービスを提供したり、たくさんの人の生活記録と購買履歴を分析することにより、特定の生活パターンで生活する人に対して、それらの人がよく買う商品をリコメンド広告するなどの応用が考えられる。
【０００４】
一方、現実世界の様々な情報をリアルタイムに情報処理装置に取り込むネットワークシステムが検討されている。このネットワークシステムには幅広い応用が考えられており、加速度や脈拍等の利用者の生体情報や作業状況、購買情報等の利用者の行動をモニタし、これら様々な情報を組み合わせて、利用者の状況を判定するといったような応用も提案されている。
【０００５】
また、ある時刻におけるセンシング情報と利用者の状況を利用者の入力により紐付け、それら紐付けたデータを用いて利用者の状況を推測し、確信度の高い順に列挙する技術が知られている（例えば、特許文献１参照）。
【０００６】
また、カーナビゲーション等の経路探索時の到達確率に応じて表示態様を変える技術が知られている（例えば、特許文献２参照）。特許文献２では、過去の移動履歴に基づき到達確率を算出し、到達確率に応じて経路を色分けして表示する。
【０００７】
また、状況の履歴及び現在の状況に応じて目的地予測を行い、予測された目的地周辺情報を予め取得しておくことによって、予測目的地周辺情報を確率の高い順に表示する、文字の大きさ、太字、色を変えるなどして画面に表示する技術が知られている（例えば、特許文献３参照）。
【０００８】
この他、利用者が入力した行動開始時のコメント及び行動終了時または次の行動開始時のコメント間の行動を確信度に基づいて推測する技術（例えば、特許文献４参照）や、利用者の行動を画像化する技術が知られている（例えば、特許文献５参照）。
【０００９】
【特許文献１】特開２００４−２８７５３９号
【特許文献２】特開２００８−７０３７７号
【特許文献３】特開２００５−３０９８２号
【特許文献４】特開２００５−６２９６３号
【特許文献５】特開２００５−１２２２９１号
【発明の開示】
【発明が解決しようとする課題】
【００１０】
日々の行動を記録、解析することに多くの有用なサービスを提供できることが期待できるが、毎日の行動内容を時刻も含めて正確に記録することは、ユーザに対してかなりの負担を強いる作業になる。そこで例えば身体に装着したセンサを用いて行動を自動的に取得する方法であれば、かなりの労力低減につながる。
【００１１】
しかしながら、行動は単一の動作の繰り返しではなく、複数の動作が組み合わされて1つの行動が形成される。また、行動にはゆらぎがあり、同一の行動でもセンシングデータの波形が等しくなるとは限らない。例えば、監視対象が人の場合、同じ行動であっても、同じ動きを取ることは稀であり、センシングデータは等しくならない。監視対象が機器の場合、行動は稼動状態に対応するが、外的要因により動作が動的に変化するものがあり、監視対象が人の場合と同様の問題がある。ここで、ゆらぎとは、同一の行動の中には、行動する時間幅、動作の順序、動作の大きさ、等によって複数のパターンが存在することを意味する。
【００１２】
上記従来例では、センサノードを装着した監視対象の行動について、歩行、運動、安静といった大まかな動作を自動的に識別することは可能である。しかし、監視対象が人の場合には、通勤、デスクワーク、会議、出張、家事、映画鑑賞、身支度、買い物、食事、等の利用者の行動、監視対象が機器の場合には、通常稼動、高稼働、低稼働、等の機器の行動である稼動状態、等の何をしていたかに相当する行動内容を判定することはできない。行動は複数の動作状態の組合せで構成され、それぞれの動作状態は実際に行った行動の一部でしかない。
【００１３】
また、従来例のように、既定した時間間隔単位におけるセンシングデータの基準パターンとの比較による行動の判定では、行動のゆらぎに対応できないこと、センシングデータの変化点を行動の変化点として区切る行動抽出では、同一の行動の区間が断続的に現れる場合、1つの行動が複数に区切られ、それぞれに行動が割り当てられる場合などがあること、等の理由により、行動の判定精度が低下する課題がある。
【００１４】
以上、上記従来例のように、単一の動作の繰り返し検出や予め既定したセンシングデータの基準パターンとの比較では、監視対象の行動を抽出することができない。そのため、これら具体的な行動については、ユーザが行動内容を逐一入力する必要があり、全ての行動についてユーザがそれぞれ内容を入力するには、多大な労力が必要となる、という問題があった。
【００１５】
そこで本発明は、上記課題に鑑みてなされたもので、センサの測定データから判定した監視対象の行動パターン及び計算機の利用状況等の行動を表す様々な情報を組み合わせて利用して、監視対象の行動パターンを推定し、利用者の行動内容の入力を簡易にすることを目的とする。
【課題を解決するための手段】
【００１６】
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。
【００１７】
すなわち、センサノードと、基地局と、サーバとからなる行動記録入力支援システムである。センサノードは、監視対象に装着されて、センサと、センサが取得したセンシングデータをサーバに送信する通信部とを有する。基地局は、ネットワークを介してサーバに接続され、受信するセンシングデータをサーバに送信する。サーバは、センシングデータを蓄積するデータ格納部と、データ格納部に蓄積されたセンシングデータから監視対象の動作状態を検出するシーン分割部と、データ格納部に格納されるシーン判定ルールに基づいて動作状態から監視対象の行動内容の候補を複数算出するシーン列挙部と、接続される表示部に複数の行動内容の候補を表示し、表示された複数の行動内容の候補から特定の行動内容が選択されると、監視対象の行動内容を確定してデータ格納部に格納する行動獲得部とを有する。
【発明の効果】
【００１８】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記の通りである。
【００１９】
すなわち、したがって、本発明は、監視対象の動作状態から複数の行動内容を推定し、各時間帯に行動内容の候補を提示することにより、監視対象の行動パターンに対する行動内容の入力を簡易にすることでき、行動履歴の作成に要する労力を低減できる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００２１】
＜第１の実施の形態＞
本発明を適用する第１の実施例として、人に装着したセンサによって測定したセンシングデータから抽出したシーンを、人の生活行動の候補として提示することによって生活行動の記録を支援するライフログシステムを示す。
【００２２】
図１は、本発明を適用するライフログシステムの構成の一例を示すブロック図である。本発明のライフログシステムは、当該システムの利用者の動作（または状態）を検出するセンサとして、加速度センサを備えた腕輪型センサノード１を用い、生体情報として腕の加速度を検出する例を示す。腕輪型センサノード１は、利用者（または参加者）の腕に装着されて加速度を検出し、所定の周期で検出した加速度データ（以下、センサにより取得されたデータをセンシングデータという）を無線通信が可能な場合は基地局１０２のアンテナ１０１を介して基地局１０２へ送信し、有線通信が可能な場合はＵＳＢ接続などを介してクライアント計算機（ＰＣ）１０３へ送信する。
【００２３】
図１において、基地局１０２及びＰＣ１０３は複数の腕輪型センサノード１と通信を行い、各腕輪型センサノード１から利用者の動きに応じたセンシングデータを受信し、ネットワーク１０５を介してサーバ１０４へ転送する。サーバ１０４は受信したセンシングデータを格納する。サーバ１０４は受信したセンシングデータを解析し、後述するように利用者の行動履歴を示すライフログを生成して格納する。
【００２４】
サーバ１０４が生成したライフログは、ライフログシステムの利用者が操作するクライアント計算機（ＰＣ）１０３で閲覧または編集することができ、利用者は、サーバ１０４が生成したライフログの詳細な情報を付加することができる。
【００２５】
図２は、本発明のライフログシステムのセンサ部を構成する腕輪型（または腕時計型）センサノード１の一例を示す図で、図２（ａ）は腕輪型センサノード１の正面から見た概略図で、図２（ｂ）は腕輪型センサノード１を側方から見た断面図である。この腕輪型センサノード１は主に利用者（装着者）の動きを測定する。
【００２６】
腕輪型センサノード１は、センサや制御装置を格納するケース１１と、ケース１１を人体の腕に装着するバンド１２を備える。
【００２７】
ケース１１の内部には、図２（ｂ）のようにマイクロコンピュータ３やセンサ６等を備えた基板１０が格納される。そして、人体（生体）の動きを測定するセンサ６としては、図中Ｘ−Ｙ−Ｚの３軸の加速度をそれぞれ測定する加速度センサを採用した例を示す。なお、本実施形態では、腕輪型センサノード１には図示しない温度センサを備え、利用者の体温を測定し、加速度とともにセンシングデータとして出力するものとする。
【００２８】
図３は、腕輪型センサノード１１の基板１０に取り付けられた電子回路のブロック図を示す。図３において、基板１０には、基地局１０２と通信を行うアンテナ５を備えた無線通信部（ＲＦ）２と、ＰＣ１０３と有線接続するＵＳＢ通信部３９と、センサ６と及び無線通信部２を制御するマイクロコンピュータ３と、マイクロコンピュータ３を間欠的に起動するためのタイマとして機能するリアルタイムクロック（ＲＴＣ）４と、各部に電力を供給する電池７と、センサ６への電力の供給を制御するスイッチ８が配置される。また、スイッチ８とセンサ６の間には、バイパスコンデンサＣ１が接続されてノイズの除去や、充放電の速度を低減して無駄な電力消費を防ぐ。バイパスコンデンサＣ１への充放電回数を減らすようにスイッチ８を制御することによって、無駄な電力消費を抑えることが可能になる。
マイクロコンピュータ３は、演算処理を実行するＣＰＵ３４と、ＣＰＵ３４で実行するプログラムなどを格納するＲＯＭ３３と、データなどを格納するＲＡＭ３２と、ＲＴＣ４からの信号（タイマ割り込み）に基づいてＣＰＵ３４に割り込みをかける割り込み制御部３５と、センサ６から出力されたアナログ信号をデジタル信号に変換するＡ／Ｄコンバータ３１と、無線通信部２及びＵＳＢ通信部３９との間でシリアル信号にて信号の送受を行うシリアルコミュニケーションインターフェース（ＳＣＩ）３６と、無線通信部２及びＵＳＢ通信部３９とスイッチ８を制御するパラレルインターフェース（ＰＩＯ）３７と、マイクロコンピュータ３内の上記各部へクロックを供給する発振部（ＯＳＣ）３０とを含んで構成される。そして、マイクロコンピュータ３内の上記各部はシステムバス３８を介して接続される。ＲＴＣ４は、マイクロコンピュータ３の割り込み制御部３５に予め設定されている所定の周期で割り込み信号（タイマ割り込み）を出力し、また、ＳＣＩ３６へ基準クロックを出力する。ＰＩＯ３７はＣＰＵ３４からの指令に応じてスイッチ８のＯＮ／ＯＦＦを制御し、センサ６への電力供給を制御する。
【００２９】
腕輪型センサノード１は、所定の周期（例えば、１分等）でマイクロコンピュータ３を起動して、センサ６からセンシングデータを取得し、取得したセンシングデータに腕輪型センサノード１を特定する識別子とタイムスタンプを付与して基地局１０２またはＰＣ１０３へ送信する。なお、腕輪型センサノード１の制御の詳細は、例えば、特開２００８−５９０５８号公報等と同様にすることができる。なお、腕輪型センサノード１は、連続的に取得したセンシングデータを、周期的に基地局１０２またはＰＣ１０３へ送信するようにしても良い。
【００３０】
図４（a）は、図１に示した本発明を適用するライフログシステムの機能要素を示すブロック図である。腕輪型センサノード１が送信したセンシングデータは、基地局１０２を介してサーバ１０４のデータ格納部５００に蓄積される。
【００３１】
クライアント１０３は、各種情報を表示する表示部１０３１と利用者の操作によって様々な情報の入力を可能とする入力部１０３２を具備する。
【００３２】
サーバ１０４は、図示しないプロセッサとメモリ及びストレージ装置を備えて、利用者の腕の加速度で測定されたセンシングデータを集計し、データ集計部２００、シーン分割部３００、シーン列挙部４００、及び行動獲得部５００を実行する。データ集計部２００は、単位時間（例えば、１分間）毎の集計値を算出し、データ格納部６００に格納する。シーン分割部３００は、センシングデータおよび前記集計した集計データを解析して、個別の動作状態であるシーン領域および個々の運動状態であるシーン断片を抽出し、データ格納部６００に格納する。シーン列挙部４００は、抽出したシーン領域とシーン断片に対して、過去データから作成したルール、または、予め登録したシーン判定ルールを適用することによって、行動内容の候補であるシーンを抽出し、データ格納部６００に格納する。行動獲得部５００は、抽出したシーンを利用者のクライアント計算機１０３に提示し、利用者が選択したシーンを利用者が入力した行動内容と共にデータ格納部６００に格納する。
【００３３】
なお、データ格納部６００に格納されるセンシングデータには腕輪型センサノード１の識別子が付与され、また、行動内容、動作状態、シーン、および、行動記録のデータには利用者を特定する識別子（例えば、腕輪型センサノード１の識別子）が付与されて、利用者を識別することができる。
【００３４】
ここで動作状態は、センシングデータに基づき判定した睡眠、歩行、安静などの利用者の動作の様子を表し、行動内容は、散歩、映画鑑賞などの利用者の実際の行動の内容を表す。
【００３５】
シーン分割部３００とシーン列挙部４００と行動獲得部５００は、例えば、プログラムとしてストレージ装置（記憶媒体）に格納され、所定のタイミングでメモリへロードされてプロセッサにより実行される。なお、以下では、サーバ１０４が、シーン分割部３００とシーン列挙部４００を所定の周期（例えば、５分間）毎に実行する例、および、行動獲得部５００を利用者から要求されたタイミングで実行する例を示す。
【００３６】
図５は、本発明を適用するライフログシステムで行われるデータ処理の全体的な流れを示す図である。まず、ステップＳ１では、腕輪型センサノード１が送信したセンシングデータを基地局１０２またはＰＣ１０３がサーバ１０４へ転送し、サーバ１０４のデータ格納部６００にセンシングデータを蓄積する。さらに、サーバ１０４が所定の周期になるとデータ集計部２００を実行して、データ格納部６００に蓄積されたセンシングデータから単位時間毎の運動頻度を算出し、データ格納部６００に格納する。この運動頻度の算出結果は図６（動作頻度）で示すように単位時間毎の運動頻度を時系列的にソートしたデータとなる。運動頻度の算出方法は、図７、図８を用いて後述する。
【００３７】
次に、ステップＳ２では、サーバ１０４が所定の周期になるとシーン分割部３００を実行して、データ格納部６００に蓄積されたセンシングデータと集計データから利用者の一連の動作状態であるシーン領域、および、シーン領域を構成する運動であるシーン断片を作成する。
【００３８】
このシーン領域の作成処理は、センシングデータまたは集計データから抽出可能である所定の動作状態（例えば、歩行、睡眠）を検出し、検出された動作状態、および、検出された動作状態と次の動作状態に挟まれた期間をシーン領域として抽出し、後述する所定の判定ルールを用いて睡眠、安静、軽作業、作業、歩行、運動の動作内容を判定し、各シーン領域に割り当てるものである。
【００３９】
さらに、シーン断片の作成処理は、前記抽出されたシーン領域毎に、センシングデータまたは所定時間内のセンシングデータの集計データから時系列的なデータの変化点を検出し、変化点から次の変化点までを1つの運動単位であるシーン断片として抽出し、シーン断片の抽出方法ごとに断片分類を割り当てる。そして、断片分類ごとに、運動量の統計値を用いたグループ分け、センシングデータの類似度を用いたグループ分け、集計データの類似度を用いたグループ分けなど１以上グループ分けにより、グループの識別子である断片分類の値を割り当てる。センシングデータまたは集計データの変化点とは、激しく動いている状態から静かになった時点などを変化点として抽出する。上記の処理により、シーン分割部３００は所定の周期毎にシーン領域とシーン断片を作成し、データ格納部６００に格納する。図６に、睡眠、歩行、安静、軽作業の動作状態をシーン領域として抽出した例、シーン領域ごとにシーン断片を抽出した例、シーン領域とシーン断片の関係の例を図示する。
【００４０】
次に、サーバ１０４は、ステップＳ３でシーン分割部３００が抽出したシーン領域、シーン断片、及び前後の行動内容が既に確定している場合にはその行動内容を、登録されているシーン判定ルールに従って判定し、利用者の行動内容の候補であるシーンを作成し、データ格納部６００に格納する。
【００４１】
登録されたシーン判定ルールは、利用者毎の過去の行動内容、シーン領域、シーン断片のデータから抽出したルール、または、利用者を含むデータ格納部６００に格納された行動内容、シーン領域、シーン断片のデータから作成したルール、または、既知の知識を用いて構築したルールである。具体的には、行動内容、シーン領域、シーン断片、時間情報の組合せと順序パターンから作成され、行動内容の候補であるシーンを判定するためのものである。シーン判定ルールの構造及びシーン判定の例は、図２１において後述する。
【００４２】
例えば、早朝の歩行という動作内容であれば、具体的な行動内容の候補は散歩とすることができ、あるいは、「起床後３０〜９０分の間で歩行（１０−１５分）、安静（２０−２５分）、歩行（７−１０分）であれば、その利用者の通常の生活においては定型化している「通勤」として判定する。なお、行動内容は動作内容の組合せなので、多くの場合複数のシーン領域から成り立つが、上述の散歩のように、単一の動作内容と時刻から定まる行動内容も存在する。
【００４３】
次に、行動獲得部５００は、データ格納部に格納されたシーンから、利用者が行った行動内容に一致する可能性の高い順に提示する優先順位を付与する（ステップＳ４）。
【００４４】
次に、サーバ１０４は、ステップＳ５で、上記優先順位に従って、各シーンをクライアント計算機１０３に提示する。ステップＳ６では、クライアント計算機１０３を操作する利用者が、サーバ１０４が抽出したシーンに対応する行動内容を確認し、優先順位の順で提示されたシーンを選択することで、利用者は容易に日々の生活記録（ライフログ）の生成することができる。
【００４５】
次に、ステップＳ７では、クライアント計算機１０３で選択されたシーンを行動記録として確定する。
【００４６】
こうして作成されたライフログは、ステップＳ８で利用者の識別子と作成日時などのタイムスタンプとともに、サーバ１０４のデータ格納部６００へ格納される。
【００４７】
図７は、サーバ１０４のデータ集計部２００で行われる処理の一例を示すフローチャートである。まず、データ集計部２００は、利用者の識別子に対応するセンシングデータをデータ格納部６００から読み込む（ステップＳ１１）。ここで、データ集計部２００が読み込むセンシングデータの量は、センシングデータの集計周期である所定の周期（例えば、３分間）等に設定すればよい。
【００４８】
次に、ステップＳ１２では、データ集計部２００が読み込んだセンシングデータの加速度データについて所定の時間間隔（例えば、１分）毎の集計値を算出する。本実施形態では、所定の時間間隔内での腕輪型センサノード１の装着者（利用者）の運動の頻度を示すゼロクロス回数を集計値として用いる。
【００４９】
腕輪型センサノード１が検出したセンシングデータにはＸ、Ｙ、Ｚ軸の加速度データが含まれているので、データ集計部２００は、Ｘ、Ｙ、Ｚの３軸の加速度のスカラー量を算出し、スカラー量が０または０近傍の所定値を通過する値をゼロクロス回数として算出し、ゼロクロス回数が所定時間間隔内に出現する頻度を算出し、この出現頻度を、所定の時間間隔（１分間）の運動頻度として出力する。
【００５０】
まず、スカラー量は、各軸の加速度をＸｇ、Ｙｇ、Ｚｇとすると、スカラー量＝（Ｘｇ２＋Ｙｇ２＋Ｚｇ２）１／２で求められる。
【００５１】
次に、求めたスカラー量をフィルタ（バンドパスフィルタ）処理し、所定の周波数帯域（例えば、０．１Ｈｚ〜５Ｈｚ）のみを抽出し、ノイズ成分を除去する。そして、図８で示すように、フィルタ処理を施した加速度のスカラー量が所定の閾値（例えば、０．０５Ｇ）となった回数をゼロクロス回数として算出する。あるいは、加速度のスカラー量が所定の閾値をよぎった回数をゼロクロス回数とする。そして、所定の時間間隔内のゼロクロス回数を運動頻度として求める。また、所定の時間間隔内の運動量の積分値をゼロクロス回数とスカラー量から求めて、この積分値を運動強度とする。またセンシングデータに含まれる温度についても所定の時間間隔内の平均温度を求める。なお、運動頻度は、ＸＹＺの各方向の加速度の値が、正と負に振動した回数（振動数）を各方向の所定時間内で数えて合計してもよいが、本実施形態では、計算を簡略化することができるため、ゼロクロス回数を算出する方法について説明した。
【００５２】
データ集計部２００は、所定の時間間隔毎に、運動頻度、平均温度、運動強度を求め、図９に示すように、それらを所定の時間間隔毎の集計データとして生成し、データ格納部６００へ蓄積する。図９は、所定時間間隔毎の集計データのフォーマット７００を示す説明図で、センシングデータに含まれる腕輪型センサノード１の識別子を格納するセンサデータＩＤ７０２と、腕輪型センサノード１の装着者（ライフログシステムの利用者）の識別子を格納するユーザＩＤ７０１と、所定の時間間隔の開始時刻（測定日時）を格納する測定日時７０３と、センシングデータに含まれる温度を格納する温度７０４と、データ集計部２００が演算した運動頻度を格納する運動頻度７０５と、データ集計部２００が求めた運動強度を格納する運動強度７０６からひとつのエントリを構成する。なお、利用者の識別子は、腕輪型センサノード１の識別子に基づいて予め設定した図示しないテーブルから参照すればよい。
【００５３】
図１０は、サーバ１０４のシーン分割部３００で行われるシーン領域とシーン断片の作成処理を示すフローチャートである。まず、シーン分割部３００は、利用者の識別子に対応するセンシングデータと集計データをデータ格納部６００から読み込む（ステップＳ２１）。ここで、シーン分割部３００が読み込む集計データの量は、シーン領域作成の周期である所定の周期（例えば、５分間）などに設定すればよい。
【００５４】
次に、ステップＳ２２では、シーン分割部３００が読み込んだセンシングデータと集計データから所定の動作状態を検出し、シーン領域を作成する。ここで、所定の動作状態は、センシングデータまたは集計データから検出可能な動作状態であり、例えば歩行、睡眠である。
【００５５】
例えば歩行状態を検知する手法は、上下方向の加速度が周期的に変化する（一歩ごとの着地）、前後方向の加速度が上下方向の加速度と同期して規則的に前方向と後ろ方向を繰り返す（着地するごとの速度変化）、左右方向の加速度が上下方向の加速度に同期して規則的に繰り返す（一歩ごとの体の左右へのゆれ）、といった波形が観測でき、さらに腕の振りが重なった波形として観測できるので、これらにより、該当するシーンが歩行状態であるか否かを判定できる。また、ゼロクロスの周期の逆数を歩数として検知することも可能である。これらの人体に装着した加速度センサから歩行状態を検知する手法は、公知の手法を用いれば良い。
【００５６】
また、睡眠は、運動頻度は極めて低いが、睡眠中でも人体は寝返りなどの運動を行うため、運動頻度はゼロにはならない。睡眠を判定する手法についても公知の手法を用いればよい。
【００５７】
次に、歩行、睡眠に該当しないシーン領域に対して、図２７に示す判定値のテーブルを参照し、各シーン領域の運動頻度が「安静」、「軽作業」、「作業」、「運動」の各判定値と比較して何れに該当するかを判定する。
【００５８】
次に、ステップＳ２３では、前記抽出された各シーン領域について、当該シーン領域の開始日時と終了日時の期間に該当する集計データから、時系列的な運動頻度の変化点を検出し、変化点間を同一の運動を行った単位であるシーン断片として抽出してデータ格納部６００に格納する。
【００５９】
以上の処理により、シーン分割部３００はセンシングデータと集計データから動作状態の単位であるシーン領域と運動変化の単位であるシーン断片を抽出する。
【００６０】
図１１は、データ格納部６００に格納されるシーン領域データ８００のフォーマットを示す説明図で、利用者の識別子を格納するユーザＩＤ８０１と、シーン領域データの識別子であるシーン領域データＩＤ８０２と、シーン領域の開始日時８０３と、終了日時８０４と、シーン領域の動作状態を示す領域内容８０５とからひとつのエントリを構成する。
【００６１】
図１２は、データ格納部６００に格納されるシーン断片データのフォーマット９００を示す説明図で、利用者の識別子であるユーザＩＤ９０１と、対応するシーン領域データの識別子であるシーン領域データＩＤ９０２と、シーン断片データの開始日時９０３と、終了日時９０４と、付与されたグループの識別子である断片分類１（９０５）から断片分類ｎ（９０６）とからひとつのエントリを構成する。
【００６２】
このようにユーザＩＤに対応づけてシーン領域データＩＤ、領域内容、断片分類等を記録しておくことにより、ユーザごとに行動内容の候補であるシーンを作成することが可能となる。
【００６３】
図１３（a）は、イベントデータを登録する手順を示すフローチャートである。ここでイベントとは、ユーザがＰＣ、携帯電話などを用いて行った行為であり、短時間の出来事を意味する。例えば、メール送受信、写真撮影、買い物などである。ここではメール送受信を例に手順を説明する。
【００６４】
まず、利用者がＰＣ１０３でメールを送受信した際に、ステップＳ２４でＰＣ１０３からメール送受信したことを示すデータとその時刻、及びユーザＩＤをサーバ１０４に送付する。次にステップＳ２５で、図１３（b）に示すデータを作成し、ステップＳ２６でサーバのデータ格納部６００に登録する。ここで、イベントデータの送信元はＰＣ１０３に限らず、例えば利用者の携帯電話などの計算機能を持った外部機器が考えられる。このように、本実施形態のライフログシステムでは、利用者がＰＣ又は携帯電話の操作をしてメール送受信等の行為を行った場合に、その行為がイベントデータとして、サーバに送信されるように構成される。そして、イベントデータに付与されるユーザＩＤ、行為を行った時刻とともに、サーバのデータ格納部に記録される。なお、ＰＣあるいは携帯電話等がイベントデータをサーバに送信するタイミングは、その行為が行われたとき、所定の時間間隔、又は、利用者が指定したタイミング、など特に限定されない。
【００６５】
図１３（b）は、データ格納部６００に格納されるイベントデータのフォーマット１１００を示す説明図で、利用者の識別子を格納するユーザＩＤ１１０１と、イベントデータの識別子であるイベントデータＩＤ１１０２と、イベントデータの種類をあらわすイベント分類ＩＤ１１０３と、イベントデータの日時１１０４と、イベントデータの示す内容又は利用者が付与するコメント等のイベントの内容を格納するイベント内容１１０５と、当該イベントと関連するシーン領域ＩＤを格納する関連シーン１１０６とからひとつのエントリを構成する。イベントデータとシーン領域データとは、イベントデータの日時とシーン領域データの開始日時と終了日時により関連づけられる。また、利用者は後述する図１６(ｃ）に示すように、イベントデータにコメントを付すことができ、その内容がイベント内容として登録される。
【００６６】
図１４は、図４（a）のライフログシステムの機能要素を示すブロック図の表示部１０３１に表示される、利用者の行動記録を入力するための入力支援画面の一例である。
【００６７】
図１４の入力支援画面例では、日付選択部１０４０、グラフ表示部１０４１、行動記録表示部１０４２、シーン領域表示部１０４３、イベント表示部１０４４を含む。
【００６８】
日付選択部１０４０は、利用者が行動記録を入力する日付候補を表示し、利用者の選択により他の表示部にデータを表示するためのトリガ機能を有する。
【００６９】
グラフ表示部１０４１は、日付選択部１０４０により選択された日付の腕輪型センサノード等を用いて収集した加速度に基づき算出した単位時間毎の運動頻度を時系列的にソートしたデータを表示する機能を有する。
【００７０】
行動記録表示部１０４２は、日付選択部１０４０により選択された日付の行動記録を表示、編集するための機能を有する。
【００７１】
シーン領域表示部１０４３は、日付選択部１０４０により選択された日付の腕輪型センサノード等を用いて収集した加速度に基づき算出したシーン領域データを表示するための機能を有する。
【００７２】
イベント表示部１０４４は、日付選択部１０４０により選択された日付のイベントを表示するための機能を有する。
【００７３】
以下、行動記録表示部１０４２に行動内容を表示する第１及び第２の方法について説明する。第１の方法では、シーン領域データまたはイベントデータが表示されると、利用者が当該シーン領域データ又はイベントデータについてコメントを入力し行動内容が確定されることにより、行動記録入力の負担軽減を実現することを特徴とする。
【００７４】
また、第２の方法では、シーン領域データまたはイベントデータから行動記録の候補を算出し、提示することにより、行動記録入力の負担軽減を実現することを特徴とする。
【００７５】
まず、第１の方法について、図１５及び図１６を用いて説明する。図１５はデータ表示処理の手順を示すフローチャートである。
【００７６】
まず、日付選択部１０４０を用いて行動記録を入力する日付を選択し、利用者の該当する日付のシーン領域データ、イベントデータ、及び既に登録されている行動記録データがある場合には行動記録データ、をデータ格納部６００から抽出する（Ｓ２０１、Ｓ２０２）。抽出したシーン領域データ、イベントデータ及び行動記録データを該当部分に表示する（Ｓ２０３）。
【００７７】
図１６（ａ）は行動記録入力支援処理の手順を示すフローチャートである。
まず、シーン領域データ、イベントデータを行動記録入力支援画面の対応部分に表示し（Ｓ２０１〜Ｓ２０３） 、利用者がシーン領域データ、イベントデータ中から選択する（Ｓ３０１）と、選択されたシーン領域データ、イベントデータが行動記録表示部１０４２に表示される（Ｓ３０２）。次に、行動記録表示部に表示された当該シーン領域データ、イベントデータにコメントをつける、シーンの開始・終了時刻を調整する、イベントの位置を調整するなどの行動記録編集支援処理を行い、行動記録の入力を完了する（Ｓ３０３、Ｓ３０４）。全ての入力が完了していない場合にはＳ３０１〜Ｓ３０４を繰り返す（Ｓ３０５）。
【００７８】
図１６(ｂ）、図１６(ｃ）に上記行動記録入力支援処理手順の画面表示の一例を示す。図１６(ｂ）はＳ２０１〜Ｓ２０３でシーン領域データ、イベントデータを行動記録入力支援画面の対応部分に表示した画面表示の一例である。図１４に示すように、シーン領域領域表示部には、睡眠、安静、軽作業、歩行が表示され、イベント表示部には、あるイベントが表示されている。図１６(ｃ）はＳ３０１〜Ｓ３０３の画面表示の一例である。シーン領域表示部１０４３またはイベント表示部１０４４からシーン領域データまたはイベントデータを選択することにより、当該データを行動記録表示部１０４２中の、例えばシーン領域データは下段、イベントデータは上段に表示する。
【００７９】
その後、利用者が、行動記録表示部１０４２に表示されたシーン領域データあるいはイベントデータを入力部１０３２を介して選択し、コメント（行動内容）を入力することにより、図１４に示す睡眠、通勤、仕事などの行動内容が行動記録表示部に表示される。
【００８０】
以上説明したように、第１の方法によれば、行動記録入力の際に腕輪型センサノード１で測定できるセンサデータを用いて生成したシーン領域データ及び利用者の手入力または腕輪型センサノード１以外の機器を用いて生成・収集したイベントデータを選択することにより行動記録入力を行うことにより、利用者の行動記録入力に要する負担を軽減することが可能となる。
【００８１】
行動記録編集支援処理のシーン（行動内容）の開始・終了時刻、イベントの時刻を調整する方法については図１７で説明する。
【００８２】
利用者が手作業でシーンの開始・終了時刻、イベントの時刻を調整する場合には、シーン断片の開始・終了時刻を目盛りとして編集する場合と、シーン領域の開始・終了時刻を目盛りとして編集する場合とがある。シーン断片に基づく目盛りはシーン断片目盛り１０４７に表示し、シーン領域に基づく目盛りはシーン領域目盛り１０４８に表示する。これらの目盛りは入力部を介して、行動記録表示部１０４２を利用者が指定することにより、行動獲得部により表示される。または、シーン領域表示とともに自動的に表示されるようにすることができる。このようなシーン断片目盛りあるいはシーン領域目盛りを設けることにより、利用者が手作業で行動記録の開始・終了時刻、イベントの時刻を調整する際の時刻合わせの負担を軽減することが可能となる。
【００８３】
次に、行動記録表示部１０４２に行動内容を表示する第２の方法について、図１９乃至図２１を用いて説明する。
【００８４】
図１９（ａ）は行動記録入力支援方法の手順を示すフローチャートである。
【００８５】
まず、利用者が日付選択部１０４０に行動記録を入力する日付を入力すると、シーン列挙部は、データ格納部６００から該当する日付のシーン領域データ、イベントデータを抽出する（Ｓ４０１、Ｓ４０２）。次に、抽出したシーン領域とシーン断片、及び前後の行動内容が既に確定している場合にはその行動内容を、登録されているシーン判定ルールに従って判定し、シーン作成処理を行う（Ｓ４０３）。
【００８６】
次に、行動獲得部は、作成したシーンのうち、確信度が予め設定されているしきい値より大きいシーン領域データを行動記録表示部１０４２に自動的に表示する（Ｓ４０４）。さらにシーン領域データ、イベントデータを行動記録入力支援画面の対応部分に表示する（Ｓ４０５）。利用者が行動記録表示部１０４２中の入力したい部分（時刻）を選択すると、選択部分を含むシーン領域データ、イベントデータの候補が表示される（Ｓ４０６、４０７）。本実施形態では、利用者はシーン領域データ、イベントデータを候補中から選択する（Ｓ４０８）と、選択されたシーン領域データ、イベントが行動記録表示部１０４２に表示される（Ｓ４０９）。
【００８７】
次に、行動記録表示部に表示された当該シーン領域データ、イベントデータにコメントをつける、シーンの開始・終了時刻を調整する、イベントの位置を調整するなどの行動記録編集作業を行い、行動記録の入力を完了する（Ｓ４１０、Ｓ４１１）。全ての入力が完了していない場合にはＳ４０５〜Ｓ４１０を繰り返す（Ｓ４１２）。シーン領域データ、イベントデータにコメントをつける、シーンの開始・終了時刻を調整する、イベントの位置を調整するなどの処理は、第１の方法で説明した内容と同様である。
【００８８】
図１９（ｂ）は、Ｓ４０４に関する図示例である。図１９（ｂ）の例ではシーンデータ「睡眠」が確信度がしきい値以上のシーンデータであるとして自動入力されている。
【００８９】
図１９（ｃ）は、Ｓ４０５〜Ｓ４０８に関する図示例である。利用者が入力したい部分（時刻）を選択すると選択時刻を含む開始・終了時刻、種類の異なる複数候補を含む行動記録候補表示部１０６０が表示される（図１９（ｃ）の上図）。このとき、表示される候補は、シーンデータの確信度が高い順または、利用者が過去に選択した頻度の高い順に表示される。利用者が候補からシーンデータを選択すると、行動記録表示部１０４２に行動記録が表示される（図１９（ｃ）の下図）。
【００９０】
図２０は、シーン列挙部４００で行われるシーン作成処理（図１９（ａ）のS４０３）を表すフローチャートである。シーン列挙部ではシーン判定ルールに一致するシーン領域、シーン断片、行動記録のパターンを検索し、シーン（行動内容）を抽出する。
【００９１】
まず、ステップＳ５１では、利用者に該当する予め登録されたシーン判定ルールをデータ格納部６００から読み出す。シーン判定ルールは、条件と結論からなり、条件を満たすとある結論（シーン）が推定されるものであり、ユーザごとに予め記録されている。条件は、複数または単一のシーン領域、行動記録の組合せ、順序パターンから構成される。シーン領域は、シーン領域内容だけでなく、当該シーン領域の期間にあるシーン断片の組合せも条件となる。また、シーン領域、シーン断片、行動記録は開始日時から終了日時までの経過時間も条件となる。一方、結論は、シーン内容、シーン領域あるいは行動記録の開始日時、終了日時からなり、それらの判定精度を示す値を評価値として確信度を伴う。確信度は過去のデータから算出することが可能である、また、シーン判定ルールを専門家の知見によって作成する場合には任意に定めてもよい。
【００９２】
図２１はシーン判定ルールの構造の一例である。シーン判定ルールは条件テーブル１０００と結論テーブル１１００からなり、ルールＩＤで紐付けられている。条件テーブルは、ユーザＩＤ、ルールＩＤ、順序、種別、項目名、値、比較演算の組からなる。種別は対象となるデータの種類であるシーン領域、シーン断片、行動記録、時間情報である経過時間、時間帯、時間からなる。比較演算は、判定対象となるシーン領域データ等と一致するか否かを判定する演算式である。結論テーブルは、ユーザＩＤ、ルールＩＤ、シーン内容、開始日時、終了日時、確信度の組からなる。開始日時と終了日時は特定の値を定義せず、条件テーブルの順序に示すデータの開始日時または終了日時を指定することによって、条件テーブルの条件を満たすデータから、開始日時と終了日時を決めることができる。
【００９３】
例えば、ユーザＩＤ１０１のルールＩＤ１のシーン判定ルールは、「最初が行動記録「睡眠」であり、その後の７０分以内の朝時間帯に「歩行」のシーン領域があり、次に「安静」のシーン領域、最後に「歩行」のシーン領域である場合、シーンは「通勤」であり、その確信度は「８０％」である。」ことを示している。
【００９４】
また、ユーザＩＤ１０５のルールＩＤ２のシーン判定ルールは、「軽作業のシーン領域であり、そのシーン領域における断片分類１の値が５であるシーン断片と、断片分類３の値が２であるシーン断片とを含み、そのシーン領域の開始日時から終了日時までの時間が３０分以上の場合、シーンは「会議」であり、確信度は「６０％」である」ことを示している。
【００９５】
次に、ステップＳ５２では、読み出された各シーン判定ルールについて、データ格納部６００に格納されているシーン領域、シーン断片、利用者によって入力された行動記録から、シーン判定ルールの条件テーブルの条件をすべて満たすものを抽出し、結論テーブルの内容をシーンとして抽出し、データ格納部６００にシーンとして格納する（ステップＳ５３）。
【００９６】
次に、ステップＳ５４では、前記抽出したシーンをデータ格納部６００に格納した時点以降に利用者が行動記録を入力した場合、再びステップＳ５１以降を繰り返すことによって、シーン判定ルールを満たすシーンのデータ格納部６００への格納を繰り返す。新たな行動記録が入力されることによって、条件を満たすシーン判定ルールが増加し、データ格納部６００に格納すべきシーンが追加され、確信度の高いシーンが格納される場合がある。以上の処理によって、自動入力されるシーン及び行動記録候補が作成される。
【００９７】
以上説明したように、第２の方法によれば、歩行、運動、安静といった大まかな動作を識別することのみならず、具体的な行動内容の候補を算出し、利用者に提示する。これにより、行動記録入力の際に、利用者の入力負担軽減を実現することが可能となる。
【００９８】
特に、センシングデータから一連の動作状態の単位であるシーン領域、シーン領域を構成する短時間の運動状態であるシーン断片を作成する。そして、行動内容をシーン領域の組合せと順序パターンで構成し、シーン領域の動作状態のみでなく、シーン断片の組合せで類似性を判定することによって、行動内容の候補を算出することができる。これにより、利用者の行動を一定時間間隔ではなく、時間間隔の異なる複数の行動候補を確信度とともに表示することが可能となる。それゆえ、利用者の行動のゆらぎに対応することができ、より正確な行動記録を作成することができる。
【００９９】
図１８は、上述した第１及び第２の方法により行動が確定した場合に、行動記録データのフォーマット１２００を示し、データ格納部６００に格納される。利用者の識別子を格納するユーザＩＤ１２０１と、行動記録データの識別子である行動記録データＩＤ１２０２と、行動記録データの開始日時１２０３と、終了日時１２０４と、利用者が付与するコメント等の行動記録の内容を格納する行動記録内容１２０５と、当該行動記録と関連するシーン領域データまたはイベントデータのＩＤを格納する関連データ１２０６とからひとつのエントリを構成する。
【０１００】
なお、上記実施形態では、ライフログシステムとして利用者（人体）の運動状態を検出するために、腕輪型センサノード１の加速度センサを用いた例を示したが、人体の運動状態を検知可能な生体情報であればよく、例えば、脈拍や歩数などを用いることができ、あるいは、これらの複数の生体情報の組合せから人体の運動状態を検知しても良い。また、生体情報だけではなく、人体の位置をＧＰＳや携帯端末等の位置情報を用いるようにしても良い。
【０１０１】
また、ライフログシステムでは監視対象が人であり、シーンは行動に対応するが、監視対象は人に限定されるものではなく、機器でもよい。監視対象を機器とした場合には、機器に装着したセンサによって測定された機器の状態を示すセンシングデータ（例えば、振動、音量）から、シーンとして稼動状態や稼動内容を示すシーンを抽出することが可能であり、機器の稼動状態履歴を獲得することができる。
＜第２の実施形態＞
図４（ｂ）は、上記実施形態の図４（ａ）に示したシステム構成の一部を変更したもので、その他の構成は第１の実施形態と同様である。第１の実施形態のサーバ１０４に代わって、クライアント計算機１０３がデータ収集部２００、シーン分割部３００、シーン列挙部４００、行動獲得部５００、および、データ格納部を備えており、このクライアント計算機１０３が直接基地局１０２に接続されたものである。データ収集部２００、シーン分割部３００、シーン列挙部４００、行動獲得部５００、データ収集部６００の構成は上記実施形態と同様である。クライアント計算機１０３はネットワーク１０５を介してサーバ１０４に接続される。サーバ１０４は、クライアント計算機１０３が生成した行動記録を受信して格納するデータ格納部１３００と、行動記録に対して所定の解析を行う解析部１４００を備える。
【０１０２】
図４（ａ）の構成の場合、サーバにデータを蓄積するため、ネットワーク接続が可能である場合、場所を気にせずデータの送付を行うことができる。しかし、ネットワーク接続ができない場合にはデータの送付や行動入力などが出来ないという問題がある。図４（ｂ）の構成では、データ送付や行動入力のためにＰＣ１０３などの専用の計算機が必要となるため場所に制約があるが、ＰＣ１０３にデータを送付し、ＰＣ１０３上で行動入力などを行うため、ネットワーク接続の有無を気にする必要がないという利点がある。
【０１０３】
＜第３の実施の形態＞
第１の実施の形態及び、第２の実施の形態では、行動記録入力の参考情報としてシーン領域データ、イベントデータを用いてきたが、その他のデータを用いてもかまわない。第３の実施の形態では、ＰＣ利用状況に関するデータ及びスケジュールデータを用いる例について説明する。
【０１０４】
図２２は、図４（ａ）のライフログシステムの機能要素を示すブロック図の表示部１０３１に表示される、利用者の行動記録を入力するための入力支援画面の一例である。
【０１０５】
図２２の入力支援画面例では、日付選択部１０４０、グラフ表示部１０４１、行動記録表示部１０４２、シーン領域表示部１０４３、イベント表示部１０４４、ＰＣ利用状況表示部１０４５、スケジュール表示部１０４６を含む。
【０１０６】
日付選択部１０４０は、利用者が行動記録を入力する日付候補を表示し、利用者の選択により他の表示部にデータを表示するためのトリガ機能を有する。
【０１０７】
グラフ表示部１０４１は、日付選択部１０４０により選択された日付の腕輪型センサノード等を用いて収集した加速度に基づき算出した単位時間毎の運動頻度を時系列的にソートしたデータを表示する機能を有する。
【０１０８】
行動記録表示部１０４２は、日付選択部１０４０により選択された日付の行動記録を表示、編集するための機能を有する。
【０１０９】
シーン領域表示部１０４３は、日付選択部１０４０により選択された日付の腕輪型センサノード等を用いて収集した加速度に基づき算出したセンサシーンを表示するための機能を有する。
【０１１０】
イベント表示部１０４４は、日付選択部１０４０により選択された日付のイベントを表示するための機能を有する。
【０１１１】
ＰＣ利用状況表示部１０４５は、日付選択部１０４０により選択された日付の利用者が使用する計算機端末（ＰＣ）の利用状況を表示するための機能を有する。
【０１１２】
スケジュール表示部１０４６は、日付選択部１０４０により選択された日付の利用者のスケジュールを表示する機能を有する。
【０１１３】
ＰＣ利用状況データ及びスケジュールデータは、図１３（ａ）のフローチャートに示す手順で取得し、図１３（ｂ）に示すデータ構造をとる。
【０１１４】
ＰＣ利用状況データは、ＰＣ操作に係わるデータであり、例えばＰＣの起動、終了に関するデータである。キーボード、マウスなどの入力装置操作などの履歴情報を含めることも出来る。まず、利用者がＰＣ１０３を操作したときに履歴情報を取得し、ステップＳ２４でその情報をＰＣ１０３からサーバ１０４に送付する。送付のタイミングは一時間ごと、ＰＣ終了の直前などである。次にステップＳ２５で、図１３（ｂ）に示すデータを作成し、ステップＳ２６でサーバのデータ格納部６００に登録する。
【０１１５】
スケジュールデータは、利用者がＰＣ１０３上のスケジュール入力ツールを用いて入力した利用者自身のスケジュールである。まず、利用者がＰＣ１０３上のスケジュール入力ツールを用いてデータ入力した際に、ステップＳ２４でそのデータをＰＣ１０３からサーバ１０４に送付する。次にステップＳ２５で、図１３（ｂ）に示すデータを作成し、ステップＳ２６でサーバのデータ格納部６００に登録する。
【０１１６】
スケジュール入力ツールは、利用者所有の携帯電話上にあってもかまわない。また、サーバ１０４上のスケジュール入力ツールを利用することも可能であり、この場合は、サーバ１０４上のスケジュール入力ツールから直接ステップＳ２５、Ｓ２６を実行し、データを登録する。
【０１１７】
図２２の入力支援画面例では、日付選択部１０４０、グラフ表示部１０４１、行動記録表示部１０４２、シーン領域表示部１０４３、イベント表示部１０４４、ＰＣ利用状況表示部１０４５、スケジュール表示部１０４６を含んだ構成となっているが、取得可能なデータの数、種類及び利用者のニーズによって構成は変化することが可能である。
【０１１８】
第３の実施の形態に関わる行動記録編集支援処理のシーンの開始・終了時刻、イベントの時刻を調整する方法については図２３で説明する。
【０１１９】
利用者が手作業でシーンの開始・終了時刻、イベントの時刻を調整する場合には、目盛り１０４７に表示されるシーン断片の開始・終了時刻を目盛りとして編集する場合と、目盛り１０４８に表示されるシーン領域の開始・終了時刻を目盛りとして編集する場合と、目盛り１０４９に表示される複数のデータの開始時刻または終了時刻が一致する切れ目を目盛りとして編集する場合などが、ある。上記各目盛りを表示するための対象情報は切り替えスイッチ１０５０〜１０５３をＯＮ、ＯＦＦすることにより切り替え可能である。また、表示される目盛りは編集時に必要な分だけ動的に表示されるでもよい。
【０１２０】
このように調整することにより、利用者が手作業でシーンの開始・終了時刻、イベントの時刻を調整する際の時刻合わせの負担を軽減することが可能となる。
以上のように、シーン領域データ、イベントデータだけでなく、ＰＣ利用状況に関するデータ及びスケジュールデータを用いることにより、行動記録として複数のデータを記録することが可能となり、利用者の入力負担軽減を実現することができる。
【０１２１】
つまり、一つの行動記録の入力が完了した後、その行動記録の開始時刻から終了時刻の間に同種類または他種類のシーンデータを選択することにより行動記録に階層構造を持たせることができる。このように行動記録を入力することによって、行動記録により詳細な情報を簡単に付与することが可能となる。図２４にその例を示す。図２４では、ＰＣ利用状況表示部及びスケジュール表示部に表示された内容を利用者が選択することにより、その選択した内容が行動記録表示部に表示される例を示している。具体的には、シーン領域データから確定された行動内容「仕事」に対して、ＰＣ利用状況から確定された「ファイル作成（資料Ａ作成、情報収集）」、スケジュールから確定された「打合せ」が表示されている。
【０１２２】
＜第４の実施の形態＞
第１の実施の形態乃至第３の実施の形態では、行動記録編集支援処理の際のコメント、特に利用者の気持ちや感情を入力する場合には利用者の手作業による必要があるが、サーバのデータ格納部に予め登録された利用者の気持ち・感情を表す記号を用いて入力することも可能である。
【０１２３】
図２５は第４の実施例の行動記録編集支援処理における利用者の気持ち・感情等を入力するための処理例である。
【０１２４】
まず、行動記録表示部１０４２に表示されている行動記録を選択すると予め登録されている気持ち・感情等を表す記号群が表示される。それらの中から必要なものを選択することによって、簡単に入力することが可能となる。
【０１２５】
また、図２５下図の表示例にあるように、気持ち・感情等の記号群に予め気持ち・感情の起伏を表す指標を付与しておくと、気持ち・感情の起伏を表すグラフを生成することが可能である。
【０１２６】
図２６に図２５のコメント候補表示部１０６１中に表示されているコメント候補の内容および気持ち・感情の起伏を表すスコアの例を示す。コメント候補は図２５及び図２６中に記載されているものが全てではなく、感情を示すものなど様々なものが含まれる。また、スコアの与え方も気持ち・感情の起伏を表すことができればどのような方法でもかまわない。
【０１２７】
このように、利用者の気持ち・感情を表す記号を、シーン領域データ、イベントデータ、ＰＣ利用状況に関するデータ及びスケジュールデータと併せて用いることに用いることにより、実際の行動における気持ちや感情を容易に記録することが可能となり、利用者の入力負担軽減を実現することができる。
【０１２８】
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものでなく、種種変形実施可能であり、上述した各実施形態を適宜組み合わせることが可能であることは、当業者に理解されよう。
【図面の簡単な説明】
【０１２９】
【図１】ライフログシステムの構成の一例を示すブロック図である。
【図２】腕輪型センサノードの一例を示す図で、（ａ）は腕輪型センサノード１の正面から見た概略図で、（ｂ）は腕輪型センサノードを側面から見た断面図である。
【図３】腕輪型センサノードの基盤に取り付けられた電子回路のブロック図の一例である。
【図４（ａ）】ライフログシステムの機能要素を示すブロック図の一例である。
【図４（ｂ）】ライフログシステムの機能要素を示すブロック図の変形例である。
【図５】ライフログシステムで行われるデータ処理の全体的な流れを示す図の一例ある。
【図６】単位時間毎の運動頻度を時系列的にソートしたグラフ及びシーン領域、シーン断片の関係の例である。
【図７】データ集計部の処理の一例を示すフローチャートである。
【図８】加速度と時間の関係を示すグラフで、ゼロクロス回数の判定の一例を示す。
【図９】所定時間間隔毎の集計データのフォーマットの一例である。
【図１０】シーン分割部の処理を示すフローチャートの一例である。
【図１１】シーン領域データのフォーマットの一例である。
【図１２】シーン断片データのフォーマットの一例である。
【図１３（ａ）】イベントデータを登録する手順を示すフローチャートの一例である。
【図１３（ｂ）】イベントデータのフォーマットの一例である。
【図１４】行動記録入力支援画面の画面構成例である。
【図１５】データ表示処理の手順の一例を示すフローチャートである。
【図１６（ａ）】行動記録入力支援処理の手順の一例を示すフローチャートである。
【図１６（ｂ）】シーン領域データ、イベントデータを行動記録入力支援画面の対応部分に表示した画面表示の一例である。
【図１６（ｃ）】シーン領域データ、イベントデータを行動記録入力支援画面の行動記録入力時の画面表示の一例である。
【図１７】行動記録編集支援処理の画面構成の一例である。
【図１８】行動記録データのフォーマットの一例である。
【図１９（ａ）】行動記録入力支援方法の手順を示すフローチャートの一例である。
【図１９（ｂ）】行動記録自動入力の画面構成の一例である。
【図１９（ｃ）】行動記録候補表示の画面構成の一例である。
【図２０】シーン作成処理を表すフローチャートの一例である。
【図２１】シーン判定ルールの構造の一例である。
【図２２】第３の実施の形態の行動記録入力支援画面の画面構成例である。
【図２３】第３の実施の形態の行動記録編集支援処理の画面構成例である。
【図２４】第３の実施の形態の行動記録に複数のデータを含む場合の図示例である。
【図２５】第４の実施の形態の行動記録編集支援処理における利用者の気持ち・感情等を入力するための処理例である。
【図２６】第４の実施の形態のコメント候補の内容および気持ち・感情の起伏を表すスコアの例である。
【図２７】運動頻度と動作状態の関係を設定する判定値のテーブルの一例である。
【符号の説明】
【０１３０】
１ 腕輪型センサノード
１０２ 基地局
１０３ クライアント計算機
１０４ サーバ
２００ データ集計部
３００ シーン分割部
４００ シーン列挙部
５００ 行動獲得部
６００ データ格納部
１０３１ 表示部
１０３２ 入力部
【特許請求の範囲】
【請求項１】
センサと、上記センサが取得したセンシングデータをサーバに送信する通信部とを有し、監視対象に装着されるセンサノードと、
ネットワークを介して上記サーバに接続され、受信する上記センシングデータを上記サーバに送信する基地局と、
上記センシングデータを蓄積するデータ格納部と、上記データ格納部に蓄積されたセンシングデータから上記監視対象の動作状態を検出するシーン分割部と、上記データ格納部に格納されるシーン判定ルールに基づいて上記動作状態から上記監視対象の行動内容の候補を複数算出するシーン列挙部と、接続される表示部に上記複数の行動内容の候補を表示し、上記表示された複数の行動内容の候補から特定の行動内容が選択されると、上記監視対象の行動内容を確定して上記データ格納部に格納する行動獲得部と、を有するサーバと、
を備える行動記録入力支援システム。
【請求項２】
請求項１に記載の行動記録入力支援システムにおいて、
上記シーン列挙部は、上記複数の候補それぞれの確信度を算出し、
上記行動獲得部は、時間間隔の異なる上記行動内容の候補を、上記確信度とともに上記表示部に表示する行動記録入力支援システム。
【請求項３】
請求項１に記載の行動記録入力支援システムにおいて、
上記シーン分割部は、上記動作状態と次の動作状態に挟まれた期間をシーン領域として抽出し、上記シーン領域ごとに上記センシングデータの時系列的な変化点を検出し、当該変化点から次の変化点までを運動単位とするシーン断片を抽出する行動記録入力支援システム。
【請求項４】
請求項１に記載の行動記録入力支援システムにおいて、
上記シーン判定ルールは、条件テーブルと結論テーブルからなり、
上記条件テーブルと上記結論テーブルは、ルールＩＤにより関連づけられ、
上記条件テーブルは、上記監視対象の動作状態を示すシーン領域、上記シーン領域を構成し運動単位を示すシーン断片、上記監視対象の行動記録、時間情報及びそれらの出現順序からなり、
上記結論テーブルは、上記出現順序、行動内容、及び確信度からなる行動記録入力支援システム。
【請求項５】
請求項１に記載の行動記録入力支援システムにおいて、
上記データ格納部は、外部機器を通じて入力されるデータをイベントデータとして記録し、
上記行動獲得部は、上記行動内容と時間軸を一致させて上記イベントデータを上記表示部に表示し、上記表示されたイベントデータが選択されると、上記確定された行動内容とともに上記選択されたイベントデータが表示される行動記録入力支援システム。
【請求項６】
請求項１に記載の行動記録入力支援システムにおいて、
上記行動獲得部は、上記表示部に、上記行動内容の時間幅を調整するための目盛りを表示する行動記録入力支援システム。
【請求項７】
請求項１に記載の行動記録入力支援システムにおいて、
上記監視対象が人である場合であって、
上記データ格納部には、上記人の気持ちあるいは感情を示す記号が格納され、
上記行動獲得部は、上記記号を上記表示部に表示し、上記表示された記号が選択されると、上記選択された記号に対応する指標に基づき、上記人の気持ちあるいは感情を時系列にグラフ表示する行動記録入力支援システム。
【請求項８】
監視対象に装着されるセンサノードがセンサにより取得した生体情報を受信する通信部と、
上記生体情報を蓄積するデータ格納部と、
上記生体情報から上記監視対象の動作状態を検出するシーン分割部と、
上記データ格納部に格納されるシーン判定ルールに基づいて上記動作状態から上記監視対象の行動内容の候補を複数算出するシーン列挙部と、
接続される表示部に上記複数の行動内容の候補を表示し、上記表示された複数の行動内容の候補から特定の行動内容が選択されると、上記監視対象の行動内容を確定して上記データ格納部に格納する行動獲得部と、
を備えるサーバ。
【請求項９】
請求項８に記載のサーバにおいて、
上記シーン列挙部は、上記複数の候補それぞれの確信度を算出し、
上記行動獲得部は、時間間隔の異なる上記行動内容の候補を、上記確信度とともに上記表示部に表示するサーバ。
【請求項１０】
請求項８に記載のサーバにおいて、
上記シーン分割部は、上記動作状態と次の動作状態に挟まれた期間をシーン領域として抽出し、上記シーン領域ごとに上記生体情報の時系列的な変化点を検出し、当該変化点から次の変化点までを運動単位とするシーン断片を抽出するサーバ。
【請求項１１】
請求項８に記載のサーバにおいて、
上記シーン判定ルールは、条件テーブルと結論テーブルからなり、
上記条件テーブルと上記結論テーブルは、ルールＩＤにより関連づけられ、
上記条件テーブルは、上記監視対象の動作状態を示すシーン領域、上記シーン領域を構成し運動単位を示すシーン断片、上記監視対象の行動記録、時間情報及びそれらの出現順序からなり、
上記結論テーブルは、上記出現順序、行動内容、及び確信度からなるサーバ。
【請求項１２】
監視対象に装着されてセンシングデータを取得するセンサノードと、上記センシングデータを解析するサーバとを備えるシステムにより実行される行動記録入力支援方法であって、
上記センサノードは、上記センサが取得したセンシングデータを上記サーバに送信し、
上記サーバは、上記センシングデータを蓄積し、上記センシングデータから上記監視対象の動作状態を検出し、上記サーバに格納されるシーン判定ルールに基づいて上記動作状態から上記監視対象の行動内容の候補を複数算出し、接続される表示部に上記複数の行動内容の候補を表示し、上記表示された複数の行動内容の候補から特定の行動内容が選択されると、上記監視対象の行動内容を確定して上記サーバに格納する行動記録入力支援方法。
【請求項１３】
請求項１２に記載の行動記録入力支援方法であって、
上記サーバは、上記複数の候補それぞれの確信度を算出し、時間間隔の異なる上記行動内容の候補を、上記確信度とともに上記表示部に表示する行動記録入力支援方法。
【請求項１】
センサと、上記センサが取得したセンシングデータをサーバに送信する通信部とを有し、監視対象に装着されるセンサノードと、
ネットワークを介して上記サーバに接続され、受信する上記センシングデータを上記サーバに送信する基地局と、
上記センシングデータを蓄積するデータ格納部と、上記データ格納部に蓄積されたセンシングデータから上記監視対象の動作状態を検出するシーン分割部と、上記データ格納部に格納されるシーン判定ルールに基づいて上記動作状態から上記監視対象の行動内容の候補を複数算出するシーン列挙部と、接続される表示部に上記複数の行動内容の候補を表示し、上記表示された複数の行動内容の候補から特定の行動内容が選択されると、上記監視対象の行動内容を確定して上記データ格納部に格納する行動獲得部と、を有するサーバと、
を備える行動記録入力支援システム。
【請求項２】
請求項１に記載の行動記録入力支援システムにおいて、
上記シーン列挙部は、上記複数の候補それぞれの確信度を算出し、
上記行動獲得部は、時間間隔の異なる上記行動内容の候補を、上記確信度とともに上記表示部に表示する行動記録入力支援システム。
【請求項３】
請求項１に記載の行動記録入力支援システムにおいて、
上記シーン分割部は、上記動作状態と次の動作状態に挟まれた期間をシーン領域として抽出し、上記シーン領域ごとに上記センシングデータの時系列的な変化点を検出し、当該変化点から次の変化点までを運動単位とするシーン断片を抽出する行動記録入力支援システム。
【請求項４】
請求項１に記載の行動記録入力支援システムにおいて、
上記シーン判定ルールは、条件テーブルと結論テーブルからなり、
上記条件テーブルと上記結論テーブルは、ルールＩＤにより関連づけられ、
上記条件テーブルは、上記監視対象の動作状態を示すシーン領域、上記シーン領域を構成し運動単位を示すシーン断片、上記監視対象の行動記録、時間情報及びそれらの出現順序からなり、
上記結論テーブルは、上記出現順序、行動内容、及び確信度からなる行動記録入力支援システム。
【請求項５】
請求項１に記載の行動記録入力支援システムにおいて、
上記データ格納部は、外部機器を通じて入力されるデータをイベントデータとして記録し、
上記行動獲得部は、上記行動内容と時間軸を一致させて上記イベントデータを上記表示部に表示し、上記表示されたイベントデータが選択されると、上記確定された行動内容とともに上記選択されたイベントデータが表示される行動記録入力支援システム。
【請求項６】
請求項１に記載の行動記録入力支援システムにおいて、
上記行動獲得部は、上記表示部に、上記行動内容の時間幅を調整するための目盛りを表示する行動記録入力支援システム。
【請求項７】
請求項１に記載の行動記録入力支援システムにおいて、
上記監視対象が人である場合であって、
上記データ格納部には、上記人の気持ちあるいは感情を示す記号が格納され、
上記行動獲得部は、上記記号を上記表示部に表示し、上記表示された記号が選択されると、上記選択された記号に対応する指標に基づき、上記人の気持ちあるいは感情を時系列にグラフ表示する行動記録入力支援システム。
【請求項８】
監視対象に装着されるセンサノードがセンサにより取得した生体情報を受信する通信部と、
上記生体情報を蓄積するデータ格納部と、
上記生体情報から上記監視対象の動作状態を検出するシーン分割部と、
上記データ格納部に格納されるシーン判定ルールに基づいて上記動作状態から上記監視対象の行動内容の候補を複数算出するシーン列挙部と、
接続される表示部に上記複数の行動内容の候補を表示し、上記表示された複数の行動内容の候補から特定の行動内容が選択されると、上記監視対象の行動内容を確定して上記データ格納部に格納する行動獲得部と、
を備えるサーバ。
【請求項９】
請求項８に記載のサーバにおいて、
上記シーン列挙部は、上記複数の候補それぞれの確信度を算出し、
上記行動獲得部は、時間間隔の異なる上記行動内容の候補を、上記確信度とともに上記表示部に表示するサーバ。
【請求項１０】
請求項８に記載のサーバにおいて、
上記シーン分割部は、上記動作状態と次の動作状態に挟まれた期間をシーン領域として抽出し、上記シーン領域ごとに上記生体情報の時系列的な変化点を検出し、当該変化点から次の変化点までを運動単位とするシーン断片を抽出するサーバ。
【請求項１１】
請求項８に記載のサーバにおいて、
上記シーン判定ルールは、条件テーブルと結論テーブルからなり、
上記条件テーブルと上記結論テーブルは、ルールＩＤにより関連づけられ、
上記条件テーブルは、上記監視対象の動作状態を示すシーン領域、上記シーン領域を構成し運動単位を示すシーン断片、上記監視対象の行動記録、時間情報及びそれらの出現順序からなり、
上記結論テーブルは、上記出現順序、行動内容、及び確信度からなるサーバ。
【請求項１２】
監視対象に装着されてセンシングデータを取得するセンサノードと、上記センシングデータを解析するサーバとを備えるシステムにより実行される行動記録入力支援方法であって、
上記センサノードは、上記センサが取得したセンシングデータを上記サーバに送信し、
上記サーバは、上記センシングデータを蓄積し、上記センシングデータから上記監視対象の動作状態を検出し、上記サーバに格納されるシーン判定ルールに基づいて上記動作状態から上記監視対象の行動内容の候補を複数算出し、接続される表示部に上記複数の行動内容の候補を表示し、上記表示された複数の行動内容の候補から特定の行動内容が選択されると、上記監視対象の行動内容を確定して上記サーバに格納する行動記録入力支援方法。
【請求項１３】
請求項１２に記載の行動記録入力支援方法であって、
上記サーバは、上記複数の候補それぞれの確信度を算出し、時間間隔の異なる上記行動内容の候補を、上記確信度とともに上記表示部に表示する行動記録入力支援方法。
【図１】
【図２】
【図３】
【図４（ａ）】
【図４（ｂ）】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３（ａ）】
【図１３（ｂ）】
【図１４】
【図１５】
【図１６（ａ）】
【図１６（ｂ）】
【図１６（ｃ）】
【図１７】
【図１８】
【図１９（ａ）】
【図１９（ｂ）】
【図１９（ｃ）】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２】
【図３】
【図４（ａ）】
【図４（ｂ）】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３（ａ）】
【図１３（ｂ）】
【図１４】
【図１５】
【図１６（ａ）】
【図１６（ｂ）】
【図１６（ｃ）】
【図１７】
【図１８】
【図１９（ａ）】
【図１９（ｂ）】
【図１９（ｃ）】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【公開番号】特開２０１０−１４６２２１（Ｐ２０１０−１４６２２１Ａ）
【公開日】平成２２年７月１日（２０１０．７．１）
【国際特許分類】
【出願番号】特願２００８−３２１７２４（Ｐ２００８−３２１７２４）
【出願日】平成２０年１２月１８日（２００８．１２．１８）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２２年７月１日（２０１０．７．１）
【国際特許分類】
【出願日】平成２０年１２月１８日（２００８．１２．１８）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]