行動抽出システム、行動抽出方法、及びサーバ
【課題】
センサによって監視対象の動きや状態を測定したセンシングデータから、複数の動作からなり、ゆらぎのある行動の内容と期間を抽出する。
【解決手段】
監視対象に装着したまたは周辺に配置されて監視対象の動きや状態を測定するセンサと、センサによって測定されたセンシングデータの解析する計算機と、を備え、センシングデータに基づいて監視対象が行った行動を抽出する方法であって、計算機がセンシングデータを蓄積し、蓄積されたセンシングデータを既定の動作の連続期間で区切った領域を作成し、各領域をセンシングデータの値の変化点で区切った断片を作成し、領域と断片の組合せと順序パターンからなるルールを用いて監視対象の行動の内容と期間を抽出する。
センサによって監視対象の動きや状態を測定したセンシングデータから、複数の動作からなり、ゆらぎのある行動の内容と期間を抽出する。
【解決手段】
監視対象に装着したまたは周辺に配置されて監視対象の動きや状態を測定するセンサと、センサによって測定されたセンシングデータの解析する計算機と、を備え、センシングデータに基づいて監視対象が行った行動を抽出する方法であって、計算機がセンシングデータを蓄積し、蓄積されたセンシングデータを既定の動作の連続期間で区切った領域を作成し、各領域をセンシングデータの値の変化点で区切った断片を作成し、領域と断片の組合せと順序パターンからなるルールを用いて監視対象の行動の内容と期間を抽出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、センサデバイスによって測定した時系列データの解析方法、および、システムであって、センサデバイスによって取得した監視対象の生体情報、動作情報、周辺情報に関するセンサデータから監視対象の行動内容、および、行動パターンを解析する技術に関するものである。
【背景技術】
【０００２】
近年、センサに無線通信機能を有する小型の電子回路を付加して、現実世界の様々な情報をリアルタイムに情報処理装置に取り込むセンサネットワークシステムが検討されている。センサネットワークシステムには幅広い応用が考えられており、例えば、無線回路、プロセッサ、センサ、電池を集積した小型電子回路により、加速度や脈拍等の生体情報を常時モニタし、モニタ結果は無線通信により診断装置等に送信され、モニタ結果に基づいて健康状態を判定するといったような医療応用が提案されている。また、加速度や脈拍等の利用者の生体情報や作業状況、購買情報等の利用者の行動をモニタし、これら様々な情報を組み合わせて、利用者の状況を判定するといったような応用も提案されている。
【０００３】
特許文献１では、センサによって測定したデータ（以降、センサによって測定したデータをセンシングデータと呼ぶ）から、所定の単位時間毎の人の行動パターンの候補を列挙する方法が開示されている。
特許文献２では、監視対象から測定した加速度のセンシングデータから、加速度の変化点を検出し、変化点毎に行動を推定し、記録する方法が開示されている。
【０００４】
【特許文献１】特開２００４−２８７５３９号
【特許文献２】特開２００３−２９６７８２号
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１の方法では、予めそれぞれの行動パターンに対応する基準パターンとなるセンシングデータの波形を登録し、単位時間毎のセンシングデータと基準パターンとの近似度を計算し、近似度の高い行動パターンを表示する。同一の行動が、極めて類似した時間経過であり、かつ、極めて等しい動きで構成される場合、センシングデータの近似度が高くなり、上記方法は行動を推定することができる。
【０００６】
特許文献２の方法では、加速度の各軸の数値時系列データの周期と振幅を特徴量とし、当該特徴量が変化した点を変化点として検出することによって、行動の期間を抽出し、行動内容に対する周期と振幅の値の組を行動推定のための動作判定条件として予め登録し、当該動作判定条件によって変化点毎の行動の内容を推定するため、単一の動作の繰り返しからなる行動の内容と期間を抽出することができる。
【０００７】
しかしながら、行動は単一の動作の繰り返しではなく、複数の動作が組み合わされて1つの行動が形成される。また、行動にはゆらぎがあり、同一の行動でもセンシングデータの波形が等しくなるとは限らない。例えば、監視対象が人の場合、同じ行動であっても、同じ動きを取ることは稀であり、センシングデータは等しくならない。監視対象が機器の場合、行動は稼動状態に対応するが、外的要因により動作が動的に変化するものがあり、監視対象が人の場合と同様の問題がある。
【０００８】
ここで、ゆらぎとは、同一の行動の中には、行動する時間幅、動作の順序、動作の大きさ、等によって複数のパターンが存在することを意味する。
【０００９】
上記従来例では、センサを装着した監視対象の行動について、歩行、運動、安静といった大まかな動作状態を自動的に識別することは可能である。しかし、監視対象が人の場合には、通勤、デスクワーク、会議、出張、家事、映画鑑賞、身支度、買い物、食事、等の利用者の行動、監視対象が機器の場合には、通常稼動、高稼働、低稼働、等の機器の行動である稼動状態、等の何をしていたかに相当する行動内容を判定することはできない。行動は複数の動作状態の組合せで構成され、それぞれの動作状態は実際に行った行動の一部でしかない。
【００１０】
また、既定した時間間隔単位におけるセンシングデータの基準パターンとの比較による行動の判定では、行動のゆらぎに対応できないこと、センシングデータの変化点を行動の変化点として区切る行動抽出では、同一の行動の区間が断続的に現れる場合、1つの行動が複数に区切られ、それぞれに行動が割り当てられる場合などがあること、等の理由により、行動の判定精度が低下する課題がある。
【００１１】
以上のように、単一の動作の繰り返し検出や予め既定したセンシングデータの基準パターンとの比較では監視対象の行動を抽出することができないという課題がある。
【００１２】
そこで本発明では、センシングデータから監視対象の動作や運動の状態ではなく、一連の行動である生活行動や稼動状態の区切れと内容を抽出することを目的とする。
【課題を解決するための手段】
【００１３】
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。
【００１４】
すなわち、監視対象に装着され、センシングデータを取得するセンサとセンシングデータをサーバに送信する通信部とを有するセンサノードと、センシングデータを解析するサーバと、を備える行動抽出システムである。サーバは、センシングデータを蓄積するデータ格納部と、センシングデータから監視対象の運動頻度を求め、運動頻度から所定の動作状態及びその期間を抽出し、期間を区切りとするシーン領域を作成し、シーン領域についてセンシングデータの変化点を区切りとするシーン断片を作成するシーン分割部と、データ格納部に記録されているシーン判定ルールに基づいて、シーン領域及びシーン断片から監視対象の行動内容及びその期間を判定するシーン列挙部と、を有する。
【発明の効果】
【００１５】
したがって、本発明は、監視対象の動きや状態を測定したセンシングデータから、複数種類のシーン領域、各シーン領域の特徴量であるシーン断片抽出、シーン領域と断片の組合せ、順序パターンによって一連の行動であるシーンの内容と期間を高精度で推定すること、シーンの内容と期間のデータを判定の正しさの指標と共に取得することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施形態を図面に基づいて説明する。
【００１７】
本発明を適用する第１の実施例として、人に装着したセンサによって測定したセンシングデータから抽出したシーンを、人の生活行動の候補として提示することによって生活行動の記録を支援するライフログシステムを示す。
【００１８】
図１は、本発明を適用するライフログシステムのシステム構成の一例を示すブロック図である。当該システムの利用者の動作（または状態）を検出するセンサとして、加速度センサを備えた腕輪型センサノード１を用い、生体情報として腕の加速度を検出する例を示す。腕輪型センサノード１は、利用者（または参加者）の腕に装着されて加速度を検出し、所定の周期で検出した加速度（以下、センサによって測定されたデータをセンシングデータという）を無線通信が可能な場合は基地局１０２のアンテナ１０１を介して基地局１０２へ送信し、有線通信が可能な場合はＵＳＢ接続などを介してクライアント計算機（ＰＣ）１０３へ送信する。
【００１９】
図１において、基地局１０２又はＰＣ１０３は複数の腕輪型センサノード１と通信を行い、各腕輪型センサノード１から利用者の動きに応じたセンシングデータを受信し、ネットワーク１０５を介してサーバ１０４へ転送する。サーバ１０４は受信したセンシングデータを格納する。サーバ１０４は、受信したセンシングデータを解析し、後述するように利用者の一連の行動を表すシーンを作成して格納する。
【００２０】
サーバ１０４が作成したシーンデータは、ライフログシステムの利用者が操作するクライアント計算機（ＰＣ）１０３で閲覧または編集することができる。
【００２１】
図２は、本発明を適用するライフログシステムのセンサ部を構成する腕輪型（または腕時計型）センサノード１の一例を示す図で、図２（ａ）は腕輪型センサノード１の正面から見た概略図で、図２（ｂ）は腕輪型センサノード１を側方から見た断面図である。この腕輪型センサノード１は主に利用者（装着者）の動きを測定する。 腕輪型センサノード１は、センサや制御装置を格納するケース１１と、ケース１１を人体の腕に装着するバンド１２を備える。
【００２２】
ケース１１の内部には、図２（ｂ）のようにマイクロコンピュータ３やセンサ６等を備えた基板１０が格納される。そして、人体（生体）の動きを測定するセンサ６としては、図中Ｘ−Ｙ−Ｚの３軸の加速度をそれぞれ測定する加速度センサを採用した例を示す。なお、本実施形態では、腕輪型センサノード１には図示しない温度センサを備え、利用者の体温を測定し、加速度とともにセンシングデータとして出力するものとする。
【００２３】
図３は、腕輪型センサノード１１の基板１０に取り付けられた電子回路のブロック図を示す。図３において、基板１０には、基地局１０２と通信を行うアンテナ５を備えた無線通信部（ＲＦ）２と、ＰＣ１０３と有線接続するＵＳＢ通信部３９と、センサ６と及び無線通信部２を制御するマイクロコンピュータ３と、マイクロコンピュータ３を間欠的に起動するためのタイマとして機能するリアルタイムクロック（ＲＴＣ）４と、各部に電力を供給する電池７と、センサ６への電力の供給を制御するスイッチ８が配置される。また、スイッチ８とセンサ６の間には、バイパスコンデンサＣ１が接続されてノイズの除去や、充放電の速度を低減して無駄な電力消費を防ぐ。バイパスコンデンサＣ１への充放電回数を減らすようにスイッチ８を制御することによって、無駄な電力消費を抑えることが可能になる。
【００２４】
マイクロコンピュータ３は、演算処理を実行するＣＰＵ３４と、ＣＰＵ３４で実行するプログラムなどを格納するＲＯＭ３３と、データなどを格納するＲＡＭ３２と、ＲＴＣ４からの信号（タイマ割り込み）に基づいてＣＰＵ３４に割り込みをかける割り込み制御部３５と、センサ６から出力されたアナログ信号をデジタル信号に変換するＡ／Ｄコンバータ３１と、無線通信部２及びＵＳＢ通信部３９との間でシリアル信号にて信号の送受を行うシリアルコミュニケーションインターフェース（ＳＣＩ）３６と、無線通信部２及びＵＳＢ通信部３９とスイッチ８を制御するパラレルインターフェース（ＰＩＯ）３７と、マイクロコンピュータ３内の上記各部へクロックを供給する発振部（ＯＳＣ）３０とを含んで構成される。そして、マイクロコンピュータ３内の上記各部はシステムバス３８を介して接続される。ＲＴＣ４は、マイクロコンピュータ３の割り込み制御部３５に予め設定されている所定の周期で割り込み信号（タイマ割り込み）を出力し、また、ＳＣＩ３６へ基準クロックを出力する。ＰＩＯ３７はＣＰＵ３４からの指令に応じてスイッチ８のＯＮ／ＯＦＦを制御し、センサ６への電力供給を制御する。
【００２５】
腕輪型センサノード１は、所定の周期（例えば、１分等）でマイクロコンピュータ３を起動して、センサ６からセンシングデータを取得し、取得したセンシングデータに腕輪型センサノード１を特定する識別子とタイムスタンプを付与して基地局１０２またはＰＣ１０３へ送信する。なお、腕輪型センサノード１の制御の詳細は、例えば、特開２００８−５９０５８号公報等と同様にすることができる。なお、腕輪型センサノード１は、連続的に取得したセンシングデータを、周期的に基地局１０２またはＰＣ１０３へ送信するようにしても良い。
【００２６】
図４は、図１に示した本発明を適用するライフログシステムの機能要素を示すブロック図である。腕輪型センサノード１が送信したセンシングデータは、基地局１０２またはＰＣ１０３を介してサーバ１０４のデータ格納部５００に蓄積される。
【００２７】
サーバ１０４は、図示しないプロセッサとメモリ及びストレージ装置を備えて、利用者の腕の加速度で測定されたセンシングデータを集計し、データ集計部２００、シーン分割部３００、シーン列挙部４００、及び行動獲得部５００を実行する。データ集計部２００は、単位時間（例えば、１分間）毎の集計値を算出し、データ格納部６００に格納する。シーン分割部３００は、センシングデータおよび前記集計した集計データを解析して、個別の動作状態であるシーン領域、および、個々の運動状態であるシーン断片を抽出し、データ格納部６００に格納する。シーン列挙部４００は、前記抽出したシーン領域とシーン断片に対して、過去データから作成したルール、または、予め登録したシーン判定ルールを適用することによって、行動内容の候補であるシーンを抽出し、データ格納部６００に格納する。行動獲得部５００は、前記抽出したシーンを利用者のクライアント計算機１０３に提示し、利用者が選択したシーンを利用者が入力した行動内容と共にデータ格納部５００に格納する。
【００２８】
なお、データ格納部６００に格納されるセンシングデータには腕輪型センサノード１の識別子が付与され、また、行動内容、動作状態、シーン、および、行動記録のデータには利用者を特定する識別子（例えば、腕輪型センサノード１の識別子）が付与されて、利用者を識別することができる。
【００２９】
シーン分割部３００とシーン列挙部４００と行動獲得部５００は、例えば、プログラムとしてストレージ装置（記憶媒体）に格納され、所定のタイミングでメモリへロードされてプロセッサにより実行される。なお、以下では、サーバ１０４が、シーン分割部３００とシーン列挙部４００を所定の周期（例えば、５分間）毎に実行する例、および、行動獲得部５００を利用者から要求されたタイミングで実行する例を示す。
【００３０】
図５は、本発明を適用するライフログシステムで行われるデータ処理の全体的な流れを示す図である。まず、ステップＳ１では、腕輪型センサノード１が送信したセンシングデータを基地局１０２またはＰＣ１０３がサーバ１０４へ転送し、サーバ１０４のデータ格納部６００にセンシングデータを蓄積する。さらに、サーバ１０４が所定の周期になるとデータ集計部２００を実行して、データ格納部６００に蓄積されたセンシングデータから単位時間毎の運動頻度を算出し、データ格納部６００に格納する。この運動頻度の算出結果は図６で示すように単位時間毎の運動頻度を時系列的にソートしたデータとなる。運動頻度の算出方法は、図７、図８を用いて後述する。
【００３１】
次に、ステップＳ２では、サーバ１０４が所定の周期になるとシーン分割部３００を実行して、データ格納部６００に蓄積されたセンシングデータと集計データから利用者の一連の動作状態であるシーン領域、および、シーン領域を構成する運動であるシーン断片を作成する。
【００３２】
このシーン領域の作成処理は、センシングデータまたは集計データから抽出可能である所定の動作状態（例えば、歩行、睡眠）を検出し、検出された動作状態、および、検出された動作状態と次の動作状態に挟まれた期間をシーン領域として抽出し、後述する所定の判定ルールを用いて睡眠、安静、軽作業、作業、歩行、運動の動作内容を判定し、各シーン領域に割り当てるものである。
【００３３】
さらに、シーン断片の作成処理は、前記抽出されたシーン領域毎に、センシングデータまたは所定時間単位のセンシングデータの集計データから時系列的なデータの変化点を検出し、変化点から次の変化点までを1つの運動単位または状態単位であるシーン断片として抽出する。センシングデータまたは集計データの変化点とは、激しく動いている状態から静かになった時点などを変化点として抽出する。シーン断片は、シーン断片の抽出方法とシーン断片のグループ分け方法に応じて断片分類が割り当てられる。シーン断片の抽出方法は、シーン断片の抽出に用いるセンシングデータの種類である。シーン断片のグループ分け方法は、シーン断片にグループの識別子である断片分類の値を割り当てるために用いたセンシングデータの内容であり、運動量の統計値を用いたグループ分け、センシングデータの類似度を用いたグループ分け、集計データの類似度を用いたグループ分けなど１以上のグループ分けからなる。そして、断片分類ごとに当該断片分類のグループ分け方法によりグループの識別子である断片分類の値を割り当てる。
【００３４】
このように、シーン断片の抽出のために用いるセンシングデータと、当該シーン断片のグループ分けのために用いるセンシングデータとが同じ種類のみならず、異なる種類であることを特徴とする。例えば、人が屋内から屋外へ出る場合、加速度の変化に比べて温度の変化が著しい場合を想定する。このような場合、加速度データから抽出される各シーン断片を、加速度の類似度を用いてグループ分けするよりも、温度の類似度を用いてグループ分けをした方が、その人の行動をより正確に示す指標となる。そのため、温度の類似度を用いてグループ分けをしたデータをも算出し、後述するシーン判定ルールに基づいて行動内容を判定することにより、判定精度を高めることが可能となる。
【００３５】
上記の処理により、シーン分割部３００は所定の周期毎にシーン領域とシーン断片を作成し、データ格納部６００に格納する。
【００３６】
次に、サーバ１０４は、ステップＳ３でシーン分割部３００が抽出したシーン領域とシーン断片、および、前後の行動内容が既に確定している場合にはその行動内容を、登録されているシーン判定ルールに従って判定し、利用者の行動内容の候補であるシーンを作成し、データ格納部６００に格納する。
【００３７】
登録されたシーン判定ルールは、利用者毎の過去の行動内容、シーン領域、シーン断片のデータから抽出したルール、または、利用者を含むデータ格納部６００に格納された行動内容、シーン領域、シーン断片のデータから作成したルール、または、既知の知識を用いて構築したシーン判定ルールである。具体的には、行動内容、シーン領域、シーン断片、時間情報の組合せと順序パターンから作成された行動内容の候補であるシーンを判定するシーン判定ルールである。シーン判定ルールの構造の例は、図１７において後述する。
【００３８】
例えば、早朝の歩行という動作内容であれば、具体的な行動内容の候補は散歩とすることができ、あるいは、「起床後３０〜９０分の間で歩行（１０−１５分）、安静（２０−２５分）、歩行（７−１０分）であれば、その利用者の通常の生活においては定型化している「通勤」として判定する。なお、行動内容は動作内容の組合せなので、多くの場合複数のシーン領域から成り立つが、上述の散歩のように、単一の動作内容と時刻から定まる行動内容も存在する。
【００３９】
次に、行動獲得部５００は、データ格納部に格納されたシーンから、利用者が行った行動内容に一致する可能性の高い順に提示する優先順位を付与する（ステップＳ４）。
【００４０】
次に、サーバ１０４は、ステップＳ５で、上記優先順位に従って、各シーンをクライアント計算機１０３に提示する。ステップＳ６では、クライアント計算機１０３を操作する利用者が、サーバ１０４が抽出したシーンに対応する行動内容を確認し、優先順位の順で提示されたシーンを選択することで、利用者は容易に日々の生活記録（ライフログ）の生成することができる。
【００４１】
次に、ステップＳ７では、クライアント計算機１０３で選択されたシーンを行動記録として確定する。
【００４２】
こうして作成されたライフログは、ステップＳ８で利用者の識別子と作成日時などのタイムスタンプとともに、サーバ１０４のデータ格納部６００へ格納される。
【００４３】
図７は、サーバ１０４のデータ集計部２００で行われる処理の一例を示すフローチャートである。まず、データ集計部２００は、利用者の識別子に対応するセンシングデータをデータ格納部６００から読み込む（ステップＳ１１）。ここで、データ集計部２００が読み込むセンシングデータの量は、センシングデータの集計周期である所定の周期（例えば、３分間）等に設定すればよい。
【００４４】
次に、ステップＳ１２では、データ集計部２００が読み込んだセンシングデータの加速度データについて所定の時間間隔（例えば、１分）毎の集計値を算出する。本実施形態では、所定の時間間隔内での腕輪型センサノード１の装着者（利用者）の運動の頻度を示すゼロクロス回数を集計値として用いる。
【００４５】
腕輪型センサノード１が検出したセンシングデータにはＸ、Ｙ、Ｚ軸の加速度データが含まれているので、データ集計部２００は、Ｘ、Ｙ、Ｚの３軸の加速度のスカラー量を算出し、スカラー量が０または０近傍の所定値を通過する値をゼロクロス回数として算出し、ゼロクロス回数が所定時間間隔内に出現する頻度を算出し、この出現頻度を、所定の時間間隔（１分間）の運動頻度として出力する。
【００４６】
まず、スカラー量は、各軸の加速度をＸｇ、Ｙｇ、Ｚｇとすると、スカラー量＝（Ｘｇ２＋Ｙｇ２＋Ｚｇ２）１／２で求められる。
【００４７】
次に、求めたスカラー量をフィルタ（バンドパスフィルタ）処理し、所定の周波数帯域（例えば、０．１Ｈｚ〜５Ｈｚ）のみを抽出し、ノイズ成分を除去する。そして、図８で示すように、フィルタ処理を施した加速度のスカラー量が所定の閾値（例えば、０．０５Ｇ）となった回数をゼロクロス回数として算出する。あるいは、加速度のスカラー量が所定の閾値をよぎった回数をゼロクロス回数とする。そして、所定の時間間隔内のゼロクロス回数を運動頻度として求める。また、所定の時間間隔内の運動量の積分値をゼロクロス回数とスカラー量から求めて、この積分値を運動強度とする。またセンシングデータに含まれる温度についても所定の時間間隔内の平均温度を求める。なお、運動頻度は、ＸＹＺの各方向の加速度の値が、正と負に振動した回数（振動数）を各方向の所定時間内に数えて合計してもよいが、本実施形態では、計算を簡略化することができるため、ゼロクロス回数を算出する方法について説明した。
【００４８】
データ集計部２００は、所定の時間間隔毎に、運動頻度、平均温度、運動強度を求め、図９に示すように、それらを所定の時間間隔毎の集計データとして生成し、データ格納部６００へ蓄積する。図９は、所定時間間隔毎の集計データのフォーマット７００を示す説明図で、センシングデータに含まれる腕輪型センサノード１の識別子を格納するセンサデータＩＤ７０２と、腕輪型センサノード１の装着者（ライフログシステムの利用者）の識別子を格納するユーザＩＤ７０１と、所定の時間間隔の開始時刻（測定日時）を格納する測定日時７０３と、センシングデータに含まれる温度を格納する温度７０４と、データ集計部２００が演算した運動頻度を格納する運動頻度７０５と、データ集計部２００が求めた運動強度を格納する運動強度７０６からひとつのエントリを構成する。なお、利用者の識別子は、腕輪型センサノード１の識別子に基づいて予め設定した図示しないテーブルから参照すればよい。
【００４９】
図１０は、サーバ１０４のシーン分割部３００で行われるシーン領域とシーン断片の作成処理を示すフローチャートである。まず、シーン分割部３００は、利用者の識別子に対応するセンシングデータと集計データをデータ格納部６００から読み込む（ステップＳ２１）。ここで、シーン分割部３００が読み込む集計データの量は、シーン領域作成の周期である所定の周期（例えば、５分間）などに設定すればよい。
【００５０】
次に、ステップＳ２２では、シーン分割部３００が読み込んだセンシングデータと集計データから所定の動作状態を検出し、シーン領域を作成する。ここで、所定の動作状態は、センシングデータまたは集計データから検出可能な単一動作の繰り返し、同一状態の連続、所定のセンシングデータパターンからなる動作状態であり、例えば歩行と睡眠である。
【００５１】
次に、ステップＳ２３では、前記抽出された各シーン領域について、当該シーン領域の開始日時と終了日時の期間に該当する集計データから、時系列的な運動頻度の変化点を検出し、変化点間を同一の運動を行った単位であるシーン断片として抽出してデータ格納部６００に格納する。
【００５２】
以上の処理により、シーン分割部３００はセンシングデータと集計データから動作状態の単位であるシーン領域と運動変化の単位であるシーン断片を抽出する。
【００５３】
図１１は、シーン分割部３００で行われるシーン領域の作成処理を表すフローチャートである。
【００５４】
まず、ステップＳ３１では、データ格納部６００から読み込まれたセンシングデータと集計データから所定の動作状態を検出し、区切りシーンとする。前記検出された区切りシーンは、動作状態の内容を領域内容とし、シーン領域として開始日時、終了日時、領域内容の組をデータ格納部６００に格納する。ここで、歩行を検知する手法は、上下方向の加速度が周期的に変化する（一歩ごとの着地）、前後方向の加速度が上下方向の加速度と同期して規則的に前方向と後ろ方向を繰り返す（着地するごとの速度変化）、左右方向の加速度が上下方向の加速度に同期して規則的に繰り返す（一歩ごとの体の左右へのゆれ）、といった波形が観測でき、さらに腕の振りが重なった波形として観測できるので、これらにより、該当するシーンが歩行状態であるか否かを判定できる。また、ゼロクロスの周期の逆数を歩数として検知することも可能である。これらの人体に装着した加速度センサから歩行状態を検知する手法は、公知の手法を用いれば良い。
【００５５】
また、睡眠は運動頻度は極めて低いが、睡眠中でも人体は寝返りなどの運動を行うため、運動頻度はゼロにはならない。睡眠を判定する手法はいくつか知られており、公知の手法を用いればよい。
【００５６】
また、所定のセンシングデータパターンによるシーン領域の例として、急激な温度変化がある。急激な温度変化は監視対象の周辺環境の変化とみなし、シーン領域の区切りシーンとできる。急激な温度変化は、所定の期間(例えば、10分間)での最高温度と最低温度の差が所定の値を超えた場合などのセンシングデータパターンを既定することによって検出すればよい。
【００５７】
次に、ステップ３２では、上記区切りシーンに該当しなかった期間をそれぞれシーン領域とし、図１２に示す判定値のテーブルを参照し、各シーン領域の運動頻度が「安静」、「軽作業」、「作業」、「運動」の各判定値と比較して何れに該当するかを判定する。
【００５８】
そして、シーン分割部３００は、判定結果を当該シーン領域の動作状態である領域内容として設定し、開始日時と終了日時と共にデータ格納部６００に格納する（ステップ３３）。なお、図１２の動作状態を判定するための判定値を格納したテーブルは、予め設定されたものである。
【００５９】
図１３は、データ格納部６００に格納されるシーン領域データのフォーマット８００を示す説明図で、利用者の識別子を格納するユーザＩＤ８０１と、シーン領域データの識別子であるシーン領域データＩＤ８０２と、シーン領域の開始日時８０３と、終了日時８０４と、シーン領域の動作状態を示す領域内容８０５とからひとつのエントリを構成する。
【００６０】
以上の処理により、シーン分割部３００はシーン領域を抽出する。
【００６１】
図１４は、シーン分割部３００で行われるシーン断片の作成処理を表すフローチャートである。
【００６２】
まず、ステップＳ４１では、各シーン領域の開始日時と終了日時の期間に該当するセンシングデータと集計データから、時系列的な変化を検出し、変化点として抽出する。ここで、時系列的な変化とは、所定の時間間隔毎の集計データを前後の時間間隔と比較して、集計データの差が所定の値を超えた場合を意味する。また、当該シーン領域の集計データの平均値を計算し、集計データの値が平均値をよぎる点を変化点とし検出しても良い。また、集計データを前後の所定の期間の値について、平均値の差の検定を行い、有意差が認められた点を変化点として検出しても良い。本実施例では、温度、運動頻度、運動強度を集計データとして利用すればよい。
【００６３】
次に、ステップＳ４２では、前記検出された変化点で区切られた各期間をシーン断片とし、各シーン断片にグループ分けの識別子である断片分類を付与する。シーン断片のグループ分けは、センシングデータの類似度、集計データの類似度、集計データの運動頻度の統計値、運動強度の統計値などによりグループ分けし、グループの識別子である断片分類を付与する。ここで、センシングデータおよび集計データの類似度は、各グループについて既定した基準となるセンシングデータとの相関値を用い、最も相関値の高いグループの識別子を断片分類とすることができる。また、集計データの運動頻度の統計値は、当該シーン断片に該当する運動頻度の平均、分散などを用い、範囲分割によってグループ分けすればよい。運動強度についても、運動頻度と同様にグループ分けすればよい。また、各シーン断片に対して、複数の断片分類を付与してもよい。また、区切るために利用する集計データとグループ分けするために利用する集計データは異なる集計データでもよい。
【００６４】
そして、シーン分割部３００は、抽出されたシーン断片について、開始日時、終了日時、断片分類の組をデータ格納部６００に格納する（ステップＳ４３）。図１５は、データ格納部６００に格納されるシーン断片データのフォーマット９００を示す説明図で、利用者の識別子であるユーザＩＤ９０１と、対応するシーン領域データの識別子であるシーン領域データＩＤ９０２と、シーン断片データの開始日時９０３と、終了日時９０４と、付与されたグループの識別子である断片分類１から断片分類ｎ（９０６）とからひとつのエントリを構成する。
【００６５】
以上の処理により、シーン分割部３００はシーン断片を抽出する。
【００６６】
図１６は、シーン列挙部４００で行われるシーン作成処理を表すフローチャートである。シーン処理部ではシーン判定ルールに一致するシーン領域、シーン断片、行動記録のパターンを検索し、シーンを抽出する。
【００６７】
まず、ステップＳ５１では、利用者に該当する予め登録されたシーン判定ルールをデータ格納部６００から読み出す。シーン判定ルールは、条件と結論からなり、ある条件を満たすとある結論（シーン、すなわち行動内容）が推定されるものであり、ユーザごとに予め記録されている。条件は、複数または単一のシーン領域、行動記録の組合せまたは順序パターンから構成される。シーン領域は、領域内容だけでなく、当該シーン領域の期間にあるシーン断片の組合せも条件となる。また、シーン領域、シーン断片、行動記録は開始日時から終了日時までの経過時間も条件となる。結論は、シーン内容、開始日時、終了日時からなり、判定精度を示す値を評価値として確信度を伴う。確信度は過去のデータから算出することが可能である、また、シーン判定ルールを専門家の知見によって作成する場合には任意に定めてもよい。
【００６８】
図１７はシーン判定ルールの構造の一例である。シーン判定ルールは条件テーブル１０００と結論テーブル１１００からなり、ルールＩＤで紐付けられている。条件テーブルは、ユーザＩＤ、ルールＩＤ、順序、種別、項目名、値、比較演算の組からなる。種別は対象となるデータの種類であるシーン領域、シーン断片、行動記録、時間情報である経過時間、時間帯、時間からなる。比較演算は、判定対象となるシーン領域あるいは行動記録と一致するか否かを判定する演算式である。結論テーブルは、ユーザＩＤ、ルールＩＤ、シーン内容、開始日時、終了日時、確信度の組からなる。開始日時と終了日時は特定の値を定義せず、条件テーブルの順序に示すデータの開始日時または終了日時を指定することによって、条件テーブルの条件を満たすデータから、開始日時と終了日時を決めることができる。また、ユーザＩＤに＊（アスタリスク）を指定することによって、特定の利用者のみでなく、全員に適用できるシーン判定ルールとすることもできる。
【００６９】
例えば、ユーザＩＤ１０１のルールＩＤ１のシーン判定ルールは、「最初が行動記録の「睡眠」であり、その後の７０分以内の朝時間帯に「歩行」のシーン領域があり、次に「安静」のシーン領域、最後に「歩行」のシーン領域である場合、シーンは「通勤」であり、開始日時が最初の歩行の開始日時、終了日時が最後の歩行の終了日時であり、その確信度は「８０％」である」ことを示している。
【００７０】
また、ユーザＩＤ１０５のルールＩＤ２のシーン判定ルールは、「軽作業のシーン領域であり、そのシーン領域が断片分類１の値が５であるシーン断片と断片分類３の値が２であるシーン断片を含み、そのシーン領域の開始日時から終了日時までの時間が３０分以上の場合、シーンは「会議」であり、確信度は「６０％」である」ことを示している。
【００７１】
次に、ステップＳ５２では、前記読み出された各シーン判定ルールについて、データ格納部６００に格納されているシーン領域、シーン断片、利用者によって入力された行動記録から、当該シーン判定ルールの条件テーブルの条件をすべて満たすものを抽出し、結論テーブルの内容をシーンとして抽出し、データ格納部６００にシーンとして格納する（ステップＳ５３）。図１８は、シーンデータのフォーマット１１００を示す説明図で、利用者の識別子であるユーザＩＤ１１０１と、シーンの行動内容であるシーン内容１１０２と、シーンデータの開始日時１１０３と、終了日時１１０４とからひとつのエントリを構成する。
【００７２】
次に、ステップＳ５４では、前記抽出したシーンをデータ格納部６００に格納した時点以降に利用者が行動記録を入力した場合、再びステップＳ５１以降を繰り返すことによって、シーン判定ルールを満たすシーンのデータ格納部６００への格納を繰り返す。新たな行動記録が入力されることによって、条件を満たすシーン判定ルールが増加し、データ格納部６００に格納すべきシーンが追加され、確信度の高いシーンが格納される場合がある。
【００７３】
以上の処理によって、行動内容の候補として提示するシーンが抽出される。
【００７４】
図１９は、クライアント計算機１０３が利用者から行動履歴の入力要求を受け付けたときに、行動獲得部５００がデータ格納部６００に蓄積されたシーンを読み出し、利用者に優先順位をつけて提示する処理を表すフローチャートである。
【００７５】
まず、ステップＳ６１で、クライアント計算機１０３にて利用者が入力部１０３２を介して入力した行動内容の候補を提示する期間を取得する。
【００７６】
次に、ステップＳ６２で、前記期間に一部でも重なるシーンをデータ格納部６００から読み出す。ここで、終了日時が前記期間の開始日時以降であり、開始日時が前記期間の終了日時以前であるシーンが読み出される。複数のシーンが読み出された場合、確信度の値によってソートしておく。
【００７７】
次に、ステップＳ６３で、クライアント計算機１０３の表示部１０３１に前記読み出されたシーンを候補として提示する。
【００７８】
次に、ステップＳ６４で、クライアント計算機１０３の入力部１０３２で利用者が選択または入力した行動内容と開始日時、終了日時を取得し、サーバ１０４のデータ格納部６００に行動記録として格納する。
【００７９】
以上の処理によって、センシングデータから作成した行動内容の候補を提示し、利用者は提示された候補を選択することによって、行動記録を獲得することができる。
【００８０】
図２０は、クライアント計算機１０３の表示部１０３１に表示される行動履歴入力画面１２００の画面イメージである。サーバ１０４は、クライアント計算機１０３からユーザＩＤ等を受け付けて、指定された利用者の集計データ５５０と、シーン領域データ８００およびシーンを行動履歴入力画面１２００に表示させる。なお、クライアント計算機１０３で稼動するアプリケーションとしては、ブラウザを採用することができる。
【００８１】
行動履歴入力画面１２００は、集計データ７００の運動頻度７０５を測定日時７０３の位置を棒グラフで表示する運動頻度１２０１と、シーン領域データ８００に格納された領域内容を表示する動作内容１２０２と、シーン領域データ８００の開始日時８０３と終了日時８０４を表示する時刻表示１２０３と、行動記録を入力または表示する行動内容１２０４と、行動記録の入力を行う日時を設定する日時プルダウンメニュー１２０５と、複数のシーン領域を手動にて結合する指令をサーバ１０４へ送信するためのシーン結合ボタン１２０６と、マウスカーソルなどで利用者が指定した行動内容１２０３を入力する行動内容入力ボタン１２０７と、入力の完了を指令する入力終了ボタン１２０８とを備える。図示の行動履歴入力画面１２００では、行動内容１２０４の入力が完了した状態を示している。
【００８２】
クライアント計算機１０３を操作する利用者が、行動履歴入力画面１２００の行動内容入力ボタン１２０７を選択した後に、行動内容１２０４を選択すると、上記行動獲得部５００で求めた行動内容の候補が表示される。利用者は、クライアント計算機１０３の入力部１０３２を構成するマウス等の操作によって、行動内容の候補を選択し、あるいは行動内容の候補に所望の項目がない場合には手動で行動内容を入力することができる。
【００８３】
サーバ１０４は、利用者が行動内容１２０４を選択すると、上記行動内容分析部３００がシーンデータ１１００のエントリ毎に推定した行動内容の候補を行動内容７０４に表示させる。例えば、図２０の時刻９：４０からの「軽作業」のシーンに対応する行動内容１２０４を選択すると、図２１で示すように、行動内容の候補を含む候補ボックス１５００が表示される。候補ボックス１５００は、行動獲得部５００が推定した行動内容の候補１５０１を表示する領域を備え、利用者は表示されている項目を選択することで、行動内容の詳細を入力することができる。
【００８４】
利用者はクライアント計算機１０３の表示部１０３１に提示された候補を選択すると、選択したシーン領域データ８００の行動履歴が確定し、サーバ１０４は、行動記録を生成してデータ格納部６００へ格納する。
【００８５】
また、サーバ１０４の行動獲得部５００は、利用者が選択した行動内容の候補を抽出するシーン判定ルールの条件と条件テーブルの条件が一致するシーン判定ルールの確信度を更新する。
【００８６】
ここで、確信度の更新は、条件テーブルと、結論テーブルと、センシングデータから得られるシーン領域データ及びシーン断片データと、利用者が選択した行動内容に基づいて行う。具体的には、複数のシーン領域及びシーン断片の組み合わせの中で条件テーブルの条件を満たすものを抽出し、その件数を算出する。そして、当該条件テーブルの条件に対応する結論テーブルのシーンを抽出し、実際に利用者が選択した行動内容と一致するものを抽出して、その件数を算出する。そして、条件テーブルの条件を満たす件数に対する、利用者が選択した行動内容と一致する件数の割合を算出することで確信度を更新することができる。
【００８７】
また、図１７のシーン判定ルールのテーブルにおいて、条件テーブルの条件を満たす件数、および、当該条件に加えて結論テーブルの内容を満たす件数を格納しておくことによって、件数の検索を省略し、格納した件数を加算することによって確信度を算出してもよい。
【００８８】
このように、確信度を更新することにより、確信度の精度を高めることができ、ユーザの嗜好を反映したシーン判定ルールを作成することが可能となり、正確な行動内容の候補を抽出することができるようになる。
【００８９】
本発明では、利用者の運動状態を腕輪型センサノード１の加速度センサで測定してサーバ１０４に格納し、測定した運動状態を解析して、利用者の生活行動を示すシーンを行動内容と共に開始時間と終了時間を自動的に抽出する。人の行動はゆらぎが大きく、同一の行動内容でもセンシングデータは一致することはなく、センシングデータの類似度では行動内容を推定することができない。本発明は、センシングデータから一連の動作状態の単位であるシーン領域、シーン領域を構成する短時間の運動状態であるシーン断片を作成し、行動内容をシーン領域の組合せと順序パターンで構成し、シーン領域の動作状態のみでなく、シーン断片の組合せで類似性を判定する。これにより、動作や運動の状態ではなく、行動のゆらぎに対応した、一連の行動の期間と内容を抽出することができる。
【００９０】
なお、上記実施形態では、ライフログシステムとして利用者（人体）の運動状態を検出するために、腕輪型センサノード１の加速度センサを用いた例を示したが、人体の運動状態を検知可能な生体情報であればよく、例えば、脈拍や歩数などを用いることができ、あるいは、これらの複数の生体情報の組合せから人体の運動状態を検知しても良い。また、生体情報だけではなく、人体の位置をＧＰＳや携帯端末等の位置情報を用いるようにしても良い。
【００９１】
また、ライフログシステムでは監視対象が人であり、シーンは行動に対応するが、監視対象は人に限定されるものではなく、機器でもよい。監視対象を機器とした場合には、機器に装着したセンサによって測定された機器の状態を示すセンシングデータ（例えば、振動、音量）から、シーンとして稼動状態や稼動内容を示すシーンを抽出することが可能であり、機器の稼動状態履歴を獲得することができる。
【００９２】
図２２は、第一の変形例を示し、上記実施形態の行動履歴入力画面１２００の行動内容１２０３、１２０４を示したものである。図２２の行動内容１２０３、１２０４では利用者が選択した一日について、行動記録が入力されていない期間は、確信度８０％以上であるシーンを表示する。複数のシーンが検索された場合には、確信度が最も高いシーンを表示する。図２２（ａ）は行動記録を入力していない段階での行動内容を示し、確信度が８０％以上であるシーンが７：００から８：００の身支度のみであることを示している。次に、図２２（ｂ）に、利用者が提示された候補を確定し、行動記録として「身支度」を入力した段階での行動内容を示している。「身支度」が行動記録として格納されることによって、シーン判定ルールの条件を満たし、確信度が８０％以上となったシーンが選出されたことによって、新たに８：００から９：３０までの行動内容の候補として「通勤」が表示されたことを示している。以上のように、行動記録が確定されると、シーン判定ルールを満たす確信度の高いシーンが検出され、行動内容の候補を提示することができなかった期間にも行動内容の候補を提示することが可能となる。
【００９３】
図２３は、第２の変形例を示し、上記実施形態の図４に示したシステム構成の一部を変更したもので、その他の構成は上記実施形態と同様である。前記実施形態のサーバ１０４に代わって、クライアント計算機１０３がデータ収集部２００、シーン分割部３００、シーン列挙部４００、行動獲得部５００、および、データ格納部を備えており、このクライアント計算機１０３が直接、基地局１０２に接続されたものである。データ収集部２００、シーン分割部３００、シーン列挙部４００、行動獲得部５００、データ収集部６００の構成は上記実施形態と同様である。クライアント計算機１０３はネットワーク１０５を介してサーバ１０４に接続される。サーバ１０４は、クライアント計算機１０３が生成した行動記録を受信して格納するデータ格納部１３００と、行動記録に対して所定の解析を行う解析部１４００を備える。
【００９４】
図４の構成の場合、サーバにデータを蓄積するため、ネットワーク接続が可能である場合、場所を気にせずデータの送付を行うことができる。しかし、ネットワーク接続ができないような場合には、データの送付や行動入力などができないおそれがある。一方で図２３の構成では、データ送付や行動入力のためにＰＣ１０３などの専用の計算機が必要となるため場所に制約があるが、ＰＣ１０３にデータを送付し、ＰＣ１０３上で行動入力などを行うため、ネットワーク接続の有無を気にする必要がないという利点がある。
【産業上の利用可能性】
【００９５】
以上のように、本発明は、監視対象の行動の期間と内容をセンシングデータから抽出することが可能であり、人の行動履歴、機器の稼動状態履歴を自動的に作成する計算機システムに適用可能である。特に、無線通信により監視対象のセンシング情報をサーバへ送信可能なセンサネットワークシステムに適用することができる。
【図面の簡単な説明】
【００９６】
【図１】本発明を適用するライフログシステムのシステム構成の一例を示すブロック図である。
【図２】腕輪型センサノードの一例を示す図で、（ａ）は腕輪型センサノード１の正面から見た概略図で、（ｂ）は腕輪型センサノードを側面から見た断面図である。
【図３】腕輪型センサノードの基盤に取り付けられた電子回路のブロック図の一例である。
【図４】本発明を適用するライフログシステムの機能要素を示すブロック図の一例である。
【図５】本発明を適用するライフログシステムで行われるデータ処理の全体的な流れを示す図の一例である。
【図６】単位時間毎の運動頻度を時系列的にソートしたグラフの例である。
【図７】データ集計部の処理の一例を示すフローチャートである。
【図８】加速度と時間の関係を示すグラフで、ゼロクロス回数の判定の一例である。
【図９】所定時間間隔毎の集計データのフォーマットの一例である。
【図１０】シーン分割部の処理を示すフローチャートの一例である。
【図１１】シーン領域作成処理を示すフローチャートの一例である。
【図１２】運動頻度と動作状態の関係を設定する判定値のテーブルの一例である。
【図１３】シーン領域データのフォーマットの一例である。
【図１４】シーン断片作成処理を示すフローチャートの一例である。
【図１５】シーン断片データのフォーマットの一例である。
【図１６】シーン列挙部の処理を示すフローチャートの一例である。
【図１７】シーン判定ルールのテーブルの一例である。
【図１８】シーンデータのフォーマットの一例である。
【図１９】行動獲得部の処理を示すフローチャートの一例である。
【図２０】クライアント計算機の表示部に表示される行動履歴入力画面の画面イメージの一例である。
【図２１】行動内容の候補を含む候補ボックスの画面イメージの一例である。
【図２２】第１の変形例を示し、行動履歴入力画面の行動内容候補提示内容の更新を示す一例である。
【図２３】第２の変形例を示し、ライフログシステムの機能要素を示すブロック図の一例である。
【符号の説明】
【００９７】
１ 腕輪型センサノード
１０２ 基地局
１０３ クライアント計算機
１０４ サーバ
２００ データ集計部
３００ シーン分割部
４００ シーン列挙部
５００ 行動獲得部
６００ データ格納部
１０３１ 表示部
１０３２ 入力部
【技術分野】
【０００１】
本発明は、センサデバイスによって測定した時系列データの解析方法、および、システムであって、センサデバイスによって取得した監視対象の生体情報、動作情報、周辺情報に関するセンサデータから監視対象の行動内容、および、行動パターンを解析する技術に関するものである。
【背景技術】
【０００２】
近年、センサに無線通信機能を有する小型の電子回路を付加して、現実世界の様々な情報をリアルタイムに情報処理装置に取り込むセンサネットワークシステムが検討されている。センサネットワークシステムには幅広い応用が考えられており、例えば、無線回路、プロセッサ、センサ、電池を集積した小型電子回路により、加速度や脈拍等の生体情報を常時モニタし、モニタ結果は無線通信により診断装置等に送信され、モニタ結果に基づいて健康状態を判定するといったような医療応用が提案されている。また、加速度や脈拍等の利用者の生体情報や作業状況、購買情報等の利用者の行動をモニタし、これら様々な情報を組み合わせて、利用者の状況を判定するといったような応用も提案されている。
【０００３】
特許文献１では、センサによって測定したデータ（以降、センサによって測定したデータをセンシングデータと呼ぶ）から、所定の単位時間毎の人の行動パターンの候補を列挙する方法が開示されている。
特許文献２では、監視対象から測定した加速度のセンシングデータから、加速度の変化点を検出し、変化点毎に行動を推定し、記録する方法が開示されている。
【０００４】
【特許文献１】特開２００４−２８７５３９号
【特許文献２】特開２００３−２９６７８２号
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１の方法では、予めそれぞれの行動パターンに対応する基準パターンとなるセンシングデータの波形を登録し、単位時間毎のセンシングデータと基準パターンとの近似度を計算し、近似度の高い行動パターンを表示する。同一の行動が、極めて類似した時間経過であり、かつ、極めて等しい動きで構成される場合、センシングデータの近似度が高くなり、上記方法は行動を推定することができる。
【０００６】
特許文献２の方法では、加速度の各軸の数値時系列データの周期と振幅を特徴量とし、当該特徴量が変化した点を変化点として検出することによって、行動の期間を抽出し、行動内容に対する周期と振幅の値の組を行動推定のための動作判定条件として予め登録し、当該動作判定条件によって変化点毎の行動の内容を推定するため、単一の動作の繰り返しからなる行動の内容と期間を抽出することができる。
【０００７】
しかしながら、行動は単一の動作の繰り返しではなく、複数の動作が組み合わされて1つの行動が形成される。また、行動にはゆらぎがあり、同一の行動でもセンシングデータの波形が等しくなるとは限らない。例えば、監視対象が人の場合、同じ行動であっても、同じ動きを取ることは稀であり、センシングデータは等しくならない。監視対象が機器の場合、行動は稼動状態に対応するが、外的要因により動作が動的に変化するものがあり、監視対象が人の場合と同様の問題がある。
【０００８】
ここで、ゆらぎとは、同一の行動の中には、行動する時間幅、動作の順序、動作の大きさ、等によって複数のパターンが存在することを意味する。
【０００９】
上記従来例では、センサを装着した監視対象の行動について、歩行、運動、安静といった大まかな動作状態を自動的に識別することは可能である。しかし、監視対象が人の場合には、通勤、デスクワーク、会議、出張、家事、映画鑑賞、身支度、買い物、食事、等の利用者の行動、監視対象が機器の場合には、通常稼動、高稼働、低稼働、等の機器の行動である稼動状態、等の何をしていたかに相当する行動内容を判定することはできない。行動は複数の動作状態の組合せで構成され、それぞれの動作状態は実際に行った行動の一部でしかない。
【００１０】
また、既定した時間間隔単位におけるセンシングデータの基準パターンとの比較による行動の判定では、行動のゆらぎに対応できないこと、センシングデータの変化点を行動の変化点として区切る行動抽出では、同一の行動の区間が断続的に現れる場合、1つの行動が複数に区切られ、それぞれに行動が割り当てられる場合などがあること、等の理由により、行動の判定精度が低下する課題がある。
【００１１】
以上のように、単一の動作の繰り返し検出や予め既定したセンシングデータの基準パターンとの比較では監視対象の行動を抽出することができないという課題がある。
【００１２】
そこで本発明では、センシングデータから監視対象の動作や運動の状態ではなく、一連の行動である生活行動や稼動状態の区切れと内容を抽出することを目的とする。
【課題を解決するための手段】
【００１３】
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。
【００１４】
すなわち、監視対象に装着され、センシングデータを取得するセンサとセンシングデータをサーバに送信する通信部とを有するセンサノードと、センシングデータを解析するサーバと、を備える行動抽出システムである。サーバは、センシングデータを蓄積するデータ格納部と、センシングデータから監視対象の運動頻度を求め、運動頻度から所定の動作状態及びその期間を抽出し、期間を区切りとするシーン領域を作成し、シーン領域についてセンシングデータの変化点を区切りとするシーン断片を作成するシーン分割部と、データ格納部に記録されているシーン判定ルールに基づいて、シーン領域及びシーン断片から監視対象の行動内容及びその期間を判定するシーン列挙部と、を有する。
【発明の効果】
【００１５】
したがって、本発明は、監視対象の動きや状態を測定したセンシングデータから、複数種類のシーン領域、各シーン領域の特徴量であるシーン断片抽出、シーン領域と断片の組合せ、順序パターンによって一連の行動であるシーンの内容と期間を高精度で推定すること、シーンの内容と期間のデータを判定の正しさの指標と共に取得することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施形態を図面に基づいて説明する。
【００１７】
本発明を適用する第１の実施例として、人に装着したセンサによって測定したセンシングデータから抽出したシーンを、人の生活行動の候補として提示することによって生活行動の記録を支援するライフログシステムを示す。
【００１８】
図１は、本発明を適用するライフログシステムのシステム構成の一例を示すブロック図である。当該システムの利用者の動作（または状態）を検出するセンサとして、加速度センサを備えた腕輪型センサノード１を用い、生体情報として腕の加速度を検出する例を示す。腕輪型センサノード１は、利用者（または参加者）の腕に装着されて加速度を検出し、所定の周期で検出した加速度（以下、センサによって測定されたデータをセンシングデータという）を無線通信が可能な場合は基地局１０２のアンテナ１０１を介して基地局１０２へ送信し、有線通信が可能な場合はＵＳＢ接続などを介してクライアント計算機（ＰＣ）１０３へ送信する。
【００１９】
図１において、基地局１０２又はＰＣ１０３は複数の腕輪型センサノード１と通信を行い、各腕輪型センサノード１から利用者の動きに応じたセンシングデータを受信し、ネットワーク１０５を介してサーバ１０４へ転送する。サーバ１０４は受信したセンシングデータを格納する。サーバ１０４は、受信したセンシングデータを解析し、後述するように利用者の一連の行動を表すシーンを作成して格納する。
【００２０】
サーバ１０４が作成したシーンデータは、ライフログシステムの利用者が操作するクライアント計算機（ＰＣ）１０３で閲覧または編集することができる。
【００２１】
図２は、本発明を適用するライフログシステムのセンサ部を構成する腕輪型（または腕時計型）センサノード１の一例を示す図で、図２（ａ）は腕輪型センサノード１の正面から見た概略図で、図２（ｂ）は腕輪型センサノード１を側方から見た断面図である。この腕輪型センサノード１は主に利用者（装着者）の動きを測定する。 腕輪型センサノード１は、センサや制御装置を格納するケース１１と、ケース１１を人体の腕に装着するバンド１２を備える。
【００２２】
ケース１１の内部には、図２（ｂ）のようにマイクロコンピュータ３やセンサ６等を備えた基板１０が格納される。そして、人体（生体）の動きを測定するセンサ６としては、図中Ｘ−Ｙ−Ｚの３軸の加速度をそれぞれ測定する加速度センサを採用した例を示す。なお、本実施形態では、腕輪型センサノード１には図示しない温度センサを備え、利用者の体温を測定し、加速度とともにセンシングデータとして出力するものとする。
【００２３】
図３は、腕輪型センサノード１１の基板１０に取り付けられた電子回路のブロック図を示す。図３において、基板１０には、基地局１０２と通信を行うアンテナ５を備えた無線通信部（ＲＦ）２と、ＰＣ１０３と有線接続するＵＳＢ通信部３９と、センサ６と及び無線通信部２を制御するマイクロコンピュータ３と、マイクロコンピュータ３を間欠的に起動するためのタイマとして機能するリアルタイムクロック（ＲＴＣ）４と、各部に電力を供給する電池７と、センサ６への電力の供給を制御するスイッチ８が配置される。また、スイッチ８とセンサ６の間には、バイパスコンデンサＣ１が接続されてノイズの除去や、充放電の速度を低減して無駄な電力消費を防ぐ。バイパスコンデンサＣ１への充放電回数を減らすようにスイッチ８を制御することによって、無駄な電力消費を抑えることが可能になる。
【００２４】
マイクロコンピュータ３は、演算処理を実行するＣＰＵ３４と、ＣＰＵ３４で実行するプログラムなどを格納するＲＯＭ３３と、データなどを格納するＲＡＭ３２と、ＲＴＣ４からの信号（タイマ割り込み）に基づいてＣＰＵ３４に割り込みをかける割り込み制御部３５と、センサ６から出力されたアナログ信号をデジタル信号に変換するＡ／Ｄコンバータ３１と、無線通信部２及びＵＳＢ通信部３９との間でシリアル信号にて信号の送受を行うシリアルコミュニケーションインターフェース（ＳＣＩ）３６と、無線通信部２及びＵＳＢ通信部３９とスイッチ８を制御するパラレルインターフェース（ＰＩＯ）３７と、マイクロコンピュータ３内の上記各部へクロックを供給する発振部（ＯＳＣ）３０とを含んで構成される。そして、マイクロコンピュータ３内の上記各部はシステムバス３８を介して接続される。ＲＴＣ４は、マイクロコンピュータ３の割り込み制御部３５に予め設定されている所定の周期で割り込み信号（タイマ割り込み）を出力し、また、ＳＣＩ３６へ基準クロックを出力する。ＰＩＯ３７はＣＰＵ３４からの指令に応じてスイッチ８のＯＮ／ＯＦＦを制御し、センサ６への電力供給を制御する。
【００２５】
腕輪型センサノード１は、所定の周期（例えば、１分等）でマイクロコンピュータ３を起動して、センサ６からセンシングデータを取得し、取得したセンシングデータに腕輪型センサノード１を特定する識別子とタイムスタンプを付与して基地局１０２またはＰＣ１０３へ送信する。なお、腕輪型センサノード１の制御の詳細は、例えば、特開２００８−５９０５８号公報等と同様にすることができる。なお、腕輪型センサノード１は、連続的に取得したセンシングデータを、周期的に基地局１０２またはＰＣ１０３へ送信するようにしても良い。
【００２６】
図４は、図１に示した本発明を適用するライフログシステムの機能要素を示すブロック図である。腕輪型センサノード１が送信したセンシングデータは、基地局１０２またはＰＣ１０３を介してサーバ１０４のデータ格納部５００に蓄積される。
【００２７】
サーバ１０４は、図示しないプロセッサとメモリ及びストレージ装置を備えて、利用者の腕の加速度で測定されたセンシングデータを集計し、データ集計部２００、シーン分割部３００、シーン列挙部４００、及び行動獲得部５００を実行する。データ集計部２００は、単位時間（例えば、１分間）毎の集計値を算出し、データ格納部６００に格納する。シーン分割部３００は、センシングデータおよび前記集計した集計データを解析して、個別の動作状態であるシーン領域、および、個々の運動状態であるシーン断片を抽出し、データ格納部６００に格納する。シーン列挙部４００は、前記抽出したシーン領域とシーン断片に対して、過去データから作成したルール、または、予め登録したシーン判定ルールを適用することによって、行動内容の候補であるシーンを抽出し、データ格納部６００に格納する。行動獲得部５００は、前記抽出したシーンを利用者のクライアント計算機１０３に提示し、利用者が選択したシーンを利用者が入力した行動内容と共にデータ格納部５００に格納する。
【００２８】
なお、データ格納部６００に格納されるセンシングデータには腕輪型センサノード１の識別子が付与され、また、行動内容、動作状態、シーン、および、行動記録のデータには利用者を特定する識別子（例えば、腕輪型センサノード１の識別子）が付与されて、利用者を識別することができる。
【００２９】
シーン分割部３００とシーン列挙部４００と行動獲得部５００は、例えば、プログラムとしてストレージ装置（記憶媒体）に格納され、所定のタイミングでメモリへロードされてプロセッサにより実行される。なお、以下では、サーバ１０４が、シーン分割部３００とシーン列挙部４００を所定の周期（例えば、５分間）毎に実行する例、および、行動獲得部５００を利用者から要求されたタイミングで実行する例を示す。
【００３０】
図５は、本発明を適用するライフログシステムで行われるデータ処理の全体的な流れを示す図である。まず、ステップＳ１では、腕輪型センサノード１が送信したセンシングデータを基地局１０２またはＰＣ１０３がサーバ１０４へ転送し、サーバ１０４のデータ格納部６００にセンシングデータを蓄積する。さらに、サーバ１０４が所定の周期になるとデータ集計部２００を実行して、データ格納部６００に蓄積されたセンシングデータから単位時間毎の運動頻度を算出し、データ格納部６００に格納する。この運動頻度の算出結果は図６で示すように単位時間毎の運動頻度を時系列的にソートしたデータとなる。運動頻度の算出方法は、図７、図８を用いて後述する。
【００３１】
次に、ステップＳ２では、サーバ１０４が所定の周期になるとシーン分割部３００を実行して、データ格納部６００に蓄積されたセンシングデータと集計データから利用者の一連の動作状態であるシーン領域、および、シーン領域を構成する運動であるシーン断片を作成する。
【００３２】
このシーン領域の作成処理は、センシングデータまたは集計データから抽出可能である所定の動作状態（例えば、歩行、睡眠）を検出し、検出された動作状態、および、検出された動作状態と次の動作状態に挟まれた期間をシーン領域として抽出し、後述する所定の判定ルールを用いて睡眠、安静、軽作業、作業、歩行、運動の動作内容を判定し、各シーン領域に割り当てるものである。
【００３３】
さらに、シーン断片の作成処理は、前記抽出されたシーン領域毎に、センシングデータまたは所定時間単位のセンシングデータの集計データから時系列的なデータの変化点を検出し、変化点から次の変化点までを1つの運動単位または状態単位であるシーン断片として抽出する。センシングデータまたは集計データの変化点とは、激しく動いている状態から静かになった時点などを変化点として抽出する。シーン断片は、シーン断片の抽出方法とシーン断片のグループ分け方法に応じて断片分類が割り当てられる。シーン断片の抽出方法は、シーン断片の抽出に用いるセンシングデータの種類である。シーン断片のグループ分け方法は、シーン断片にグループの識別子である断片分類の値を割り当てるために用いたセンシングデータの内容であり、運動量の統計値を用いたグループ分け、センシングデータの類似度を用いたグループ分け、集計データの類似度を用いたグループ分けなど１以上のグループ分けからなる。そして、断片分類ごとに当該断片分類のグループ分け方法によりグループの識別子である断片分類の値を割り当てる。
【００３４】
このように、シーン断片の抽出のために用いるセンシングデータと、当該シーン断片のグループ分けのために用いるセンシングデータとが同じ種類のみならず、異なる種類であることを特徴とする。例えば、人が屋内から屋外へ出る場合、加速度の変化に比べて温度の変化が著しい場合を想定する。このような場合、加速度データから抽出される各シーン断片を、加速度の類似度を用いてグループ分けするよりも、温度の類似度を用いてグループ分けをした方が、その人の行動をより正確に示す指標となる。そのため、温度の類似度を用いてグループ分けをしたデータをも算出し、後述するシーン判定ルールに基づいて行動内容を判定することにより、判定精度を高めることが可能となる。
【００３５】
上記の処理により、シーン分割部３００は所定の周期毎にシーン領域とシーン断片を作成し、データ格納部６００に格納する。
【００３６】
次に、サーバ１０４は、ステップＳ３でシーン分割部３００が抽出したシーン領域とシーン断片、および、前後の行動内容が既に確定している場合にはその行動内容を、登録されているシーン判定ルールに従って判定し、利用者の行動内容の候補であるシーンを作成し、データ格納部６００に格納する。
【００３７】
登録されたシーン判定ルールは、利用者毎の過去の行動内容、シーン領域、シーン断片のデータから抽出したルール、または、利用者を含むデータ格納部６００に格納された行動内容、シーン領域、シーン断片のデータから作成したルール、または、既知の知識を用いて構築したシーン判定ルールである。具体的には、行動内容、シーン領域、シーン断片、時間情報の組合せと順序パターンから作成された行動内容の候補であるシーンを判定するシーン判定ルールである。シーン判定ルールの構造の例は、図１７において後述する。
【００３８】
例えば、早朝の歩行という動作内容であれば、具体的な行動内容の候補は散歩とすることができ、あるいは、「起床後３０〜９０分の間で歩行（１０−１５分）、安静（２０−２５分）、歩行（７−１０分）であれば、その利用者の通常の生活においては定型化している「通勤」として判定する。なお、行動内容は動作内容の組合せなので、多くの場合複数のシーン領域から成り立つが、上述の散歩のように、単一の動作内容と時刻から定まる行動内容も存在する。
【００３９】
次に、行動獲得部５００は、データ格納部に格納されたシーンから、利用者が行った行動内容に一致する可能性の高い順に提示する優先順位を付与する（ステップＳ４）。
【００４０】
次に、サーバ１０４は、ステップＳ５で、上記優先順位に従って、各シーンをクライアント計算機１０３に提示する。ステップＳ６では、クライアント計算機１０３を操作する利用者が、サーバ１０４が抽出したシーンに対応する行動内容を確認し、優先順位の順で提示されたシーンを選択することで、利用者は容易に日々の生活記録（ライフログ）の生成することができる。
【００４１】
次に、ステップＳ７では、クライアント計算機１０３で選択されたシーンを行動記録として確定する。
【００４２】
こうして作成されたライフログは、ステップＳ８で利用者の識別子と作成日時などのタイムスタンプとともに、サーバ１０４のデータ格納部６００へ格納される。
【００４３】
図７は、サーバ１０４のデータ集計部２００で行われる処理の一例を示すフローチャートである。まず、データ集計部２００は、利用者の識別子に対応するセンシングデータをデータ格納部６００から読み込む（ステップＳ１１）。ここで、データ集計部２００が読み込むセンシングデータの量は、センシングデータの集計周期である所定の周期（例えば、３分間）等に設定すればよい。
【００４４】
次に、ステップＳ１２では、データ集計部２００が読み込んだセンシングデータの加速度データについて所定の時間間隔（例えば、１分）毎の集計値を算出する。本実施形態では、所定の時間間隔内での腕輪型センサノード１の装着者（利用者）の運動の頻度を示すゼロクロス回数を集計値として用いる。
【００４５】
腕輪型センサノード１が検出したセンシングデータにはＸ、Ｙ、Ｚ軸の加速度データが含まれているので、データ集計部２００は、Ｘ、Ｙ、Ｚの３軸の加速度のスカラー量を算出し、スカラー量が０または０近傍の所定値を通過する値をゼロクロス回数として算出し、ゼロクロス回数が所定時間間隔内に出現する頻度を算出し、この出現頻度を、所定の時間間隔（１分間）の運動頻度として出力する。
【００４６】
まず、スカラー量は、各軸の加速度をＸｇ、Ｙｇ、Ｚｇとすると、スカラー量＝（Ｘｇ２＋Ｙｇ２＋Ｚｇ２）１／２で求められる。
【００４７】
次に、求めたスカラー量をフィルタ（バンドパスフィルタ）処理し、所定の周波数帯域（例えば、０．１Ｈｚ〜５Ｈｚ）のみを抽出し、ノイズ成分を除去する。そして、図８で示すように、フィルタ処理を施した加速度のスカラー量が所定の閾値（例えば、０．０５Ｇ）となった回数をゼロクロス回数として算出する。あるいは、加速度のスカラー量が所定の閾値をよぎった回数をゼロクロス回数とする。そして、所定の時間間隔内のゼロクロス回数を運動頻度として求める。また、所定の時間間隔内の運動量の積分値をゼロクロス回数とスカラー量から求めて、この積分値を運動強度とする。またセンシングデータに含まれる温度についても所定の時間間隔内の平均温度を求める。なお、運動頻度は、ＸＹＺの各方向の加速度の値が、正と負に振動した回数（振動数）を各方向の所定時間内に数えて合計してもよいが、本実施形態では、計算を簡略化することができるため、ゼロクロス回数を算出する方法について説明した。
【００４８】
データ集計部２００は、所定の時間間隔毎に、運動頻度、平均温度、運動強度を求め、図９に示すように、それらを所定の時間間隔毎の集計データとして生成し、データ格納部６００へ蓄積する。図９は、所定時間間隔毎の集計データのフォーマット７００を示す説明図で、センシングデータに含まれる腕輪型センサノード１の識別子を格納するセンサデータＩＤ７０２と、腕輪型センサノード１の装着者（ライフログシステムの利用者）の識別子を格納するユーザＩＤ７０１と、所定の時間間隔の開始時刻（測定日時）を格納する測定日時７０３と、センシングデータに含まれる温度を格納する温度７０４と、データ集計部２００が演算した運動頻度を格納する運動頻度７０５と、データ集計部２００が求めた運動強度を格納する運動強度７０６からひとつのエントリを構成する。なお、利用者の識別子は、腕輪型センサノード１の識別子に基づいて予め設定した図示しないテーブルから参照すればよい。
【００４９】
図１０は、サーバ１０４のシーン分割部３００で行われるシーン領域とシーン断片の作成処理を示すフローチャートである。まず、シーン分割部３００は、利用者の識別子に対応するセンシングデータと集計データをデータ格納部６００から読み込む（ステップＳ２１）。ここで、シーン分割部３００が読み込む集計データの量は、シーン領域作成の周期である所定の周期（例えば、５分間）などに設定すればよい。
【００５０】
次に、ステップＳ２２では、シーン分割部３００が読み込んだセンシングデータと集計データから所定の動作状態を検出し、シーン領域を作成する。ここで、所定の動作状態は、センシングデータまたは集計データから検出可能な単一動作の繰り返し、同一状態の連続、所定のセンシングデータパターンからなる動作状態であり、例えば歩行と睡眠である。
【００５１】
次に、ステップＳ２３では、前記抽出された各シーン領域について、当該シーン領域の開始日時と終了日時の期間に該当する集計データから、時系列的な運動頻度の変化点を検出し、変化点間を同一の運動を行った単位であるシーン断片として抽出してデータ格納部６００に格納する。
【００５２】
以上の処理により、シーン分割部３００はセンシングデータと集計データから動作状態の単位であるシーン領域と運動変化の単位であるシーン断片を抽出する。
【００５３】
図１１は、シーン分割部３００で行われるシーン領域の作成処理を表すフローチャートである。
【００５４】
まず、ステップＳ３１では、データ格納部６００から読み込まれたセンシングデータと集計データから所定の動作状態を検出し、区切りシーンとする。前記検出された区切りシーンは、動作状態の内容を領域内容とし、シーン領域として開始日時、終了日時、領域内容の組をデータ格納部６００に格納する。ここで、歩行を検知する手法は、上下方向の加速度が周期的に変化する（一歩ごとの着地）、前後方向の加速度が上下方向の加速度と同期して規則的に前方向と後ろ方向を繰り返す（着地するごとの速度変化）、左右方向の加速度が上下方向の加速度に同期して規則的に繰り返す（一歩ごとの体の左右へのゆれ）、といった波形が観測でき、さらに腕の振りが重なった波形として観測できるので、これらにより、該当するシーンが歩行状態であるか否かを判定できる。また、ゼロクロスの周期の逆数を歩数として検知することも可能である。これらの人体に装着した加速度センサから歩行状態を検知する手法は、公知の手法を用いれば良い。
【００５５】
また、睡眠は運動頻度は極めて低いが、睡眠中でも人体は寝返りなどの運動を行うため、運動頻度はゼロにはならない。睡眠を判定する手法はいくつか知られており、公知の手法を用いればよい。
【００５６】
また、所定のセンシングデータパターンによるシーン領域の例として、急激な温度変化がある。急激な温度変化は監視対象の周辺環境の変化とみなし、シーン領域の区切りシーンとできる。急激な温度変化は、所定の期間(例えば、10分間)での最高温度と最低温度の差が所定の値を超えた場合などのセンシングデータパターンを既定することによって検出すればよい。
【００５７】
次に、ステップ３２では、上記区切りシーンに該当しなかった期間をそれぞれシーン領域とし、図１２に示す判定値のテーブルを参照し、各シーン領域の運動頻度が「安静」、「軽作業」、「作業」、「運動」の各判定値と比較して何れに該当するかを判定する。
【００５８】
そして、シーン分割部３００は、判定結果を当該シーン領域の動作状態である領域内容として設定し、開始日時と終了日時と共にデータ格納部６００に格納する（ステップ３３）。なお、図１２の動作状態を判定するための判定値を格納したテーブルは、予め設定されたものである。
【００５９】
図１３は、データ格納部６００に格納されるシーン領域データのフォーマット８００を示す説明図で、利用者の識別子を格納するユーザＩＤ８０１と、シーン領域データの識別子であるシーン領域データＩＤ８０２と、シーン領域の開始日時８０３と、終了日時８０４と、シーン領域の動作状態を示す領域内容８０５とからひとつのエントリを構成する。
【００６０】
以上の処理により、シーン分割部３００はシーン領域を抽出する。
【００６１】
図１４は、シーン分割部３００で行われるシーン断片の作成処理を表すフローチャートである。
【００６２】
まず、ステップＳ４１では、各シーン領域の開始日時と終了日時の期間に該当するセンシングデータと集計データから、時系列的な変化を検出し、変化点として抽出する。ここで、時系列的な変化とは、所定の時間間隔毎の集計データを前後の時間間隔と比較して、集計データの差が所定の値を超えた場合を意味する。また、当該シーン領域の集計データの平均値を計算し、集計データの値が平均値をよぎる点を変化点とし検出しても良い。また、集計データを前後の所定の期間の値について、平均値の差の検定を行い、有意差が認められた点を変化点として検出しても良い。本実施例では、温度、運動頻度、運動強度を集計データとして利用すればよい。
【００６３】
次に、ステップＳ４２では、前記検出された変化点で区切られた各期間をシーン断片とし、各シーン断片にグループ分けの識別子である断片分類を付与する。シーン断片のグループ分けは、センシングデータの類似度、集計データの類似度、集計データの運動頻度の統計値、運動強度の統計値などによりグループ分けし、グループの識別子である断片分類を付与する。ここで、センシングデータおよび集計データの類似度は、各グループについて既定した基準となるセンシングデータとの相関値を用い、最も相関値の高いグループの識別子を断片分類とすることができる。また、集計データの運動頻度の統計値は、当該シーン断片に該当する運動頻度の平均、分散などを用い、範囲分割によってグループ分けすればよい。運動強度についても、運動頻度と同様にグループ分けすればよい。また、各シーン断片に対して、複数の断片分類を付与してもよい。また、区切るために利用する集計データとグループ分けするために利用する集計データは異なる集計データでもよい。
【００６４】
そして、シーン分割部３００は、抽出されたシーン断片について、開始日時、終了日時、断片分類の組をデータ格納部６００に格納する（ステップＳ４３）。図１５は、データ格納部６００に格納されるシーン断片データのフォーマット９００を示す説明図で、利用者の識別子であるユーザＩＤ９０１と、対応するシーン領域データの識別子であるシーン領域データＩＤ９０２と、シーン断片データの開始日時９０３と、終了日時９０４と、付与されたグループの識別子である断片分類１から断片分類ｎ（９０６）とからひとつのエントリを構成する。
【００６５】
以上の処理により、シーン分割部３００はシーン断片を抽出する。
【００６６】
図１６は、シーン列挙部４００で行われるシーン作成処理を表すフローチャートである。シーン処理部ではシーン判定ルールに一致するシーン領域、シーン断片、行動記録のパターンを検索し、シーンを抽出する。
【００６７】
まず、ステップＳ５１では、利用者に該当する予め登録されたシーン判定ルールをデータ格納部６００から読み出す。シーン判定ルールは、条件と結論からなり、ある条件を満たすとある結論（シーン、すなわち行動内容）が推定されるものであり、ユーザごとに予め記録されている。条件は、複数または単一のシーン領域、行動記録の組合せまたは順序パターンから構成される。シーン領域は、領域内容だけでなく、当該シーン領域の期間にあるシーン断片の組合せも条件となる。また、シーン領域、シーン断片、行動記録は開始日時から終了日時までの経過時間も条件となる。結論は、シーン内容、開始日時、終了日時からなり、判定精度を示す値を評価値として確信度を伴う。確信度は過去のデータから算出することが可能である、また、シーン判定ルールを専門家の知見によって作成する場合には任意に定めてもよい。
【００６８】
図１７はシーン判定ルールの構造の一例である。シーン判定ルールは条件テーブル１０００と結論テーブル１１００からなり、ルールＩＤで紐付けられている。条件テーブルは、ユーザＩＤ、ルールＩＤ、順序、種別、項目名、値、比較演算の組からなる。種別は対象となるデータの種類であるシーン領域、シーン断片、行動記録、時間情報である経過時間、時間帯、時間からなる。比較演算は、判定対象となるシーン領域あるいは行動記録と一致するか否かを判定する演算式である。結論テーブルは、ユーザＩＤ、ルールＩＤ、シーン内容、開始日時、終了日時、確信度の組からなる。開始日時と終了日時は特定の値を定義せず、条件テーブルの順序に示すデータの開始日時または終了日時を指定することによって、条件テーブルの条件を満たすデータから、開始日時と終了日時を決めることができる。また、ユーザＩＤに＊（アスタリスク）を指定することによって、特定の利用者のみでなく、全員に適用できるシーン判定ルールとすることもできる。
【００６９】
例えば、ユーザＩＤ１０１のルールＩＤ１のシーン判定ルールは、「最初が行動記録の「睡眠」であり、その後の７０分以内の朝時間帯に「歩行」のシーン領域があり、次に「安静」のシーン領域、最後に「歩行」のシーン領域である場合、シーンは「通勤」であり、開始日時が最初の歩行の開始日時、終了日時が最後の歩行の終了日時であり、その確信度は「８０％」である」ことを示している。
【００７０】
また、ユーザＩＤ１０５のルールＩＤ２のシーン判定ルールは、「軽作業のシーン領域であり、そのシーン領域が断片分類１の値が５であるシーン断片と断片分類３の値が２であるシーン断片を含み、そのシーン領域の開始日時から終了日時までの時間が３０分以上の場合、シーンは「会議」であり、確信度は「６０％」である」ことを示している。
【００７１】
次に、ステップＳ５２では、前記読み出された各シーン判定ルールについて、データ格納部６００に格納されているシーン領域、シーン断片、利用者によって入力された行動記録から、当該シーン判定ルールの条件テーブルの条件をすべて満たすものを抽出し、結論テーブルの内容をシーンとして抽出し、データ格納部６００にシーンとして格納する（ステップＳ５３）。図１８は、シーンデータのフォーマット１１００を示す説明図で、利用者の識別子であるユーザＩＤ１１０１と、シーンの行動内容であるシーン内容１１０２と、シーンデータの開始日時１１０３と、終了日時１１０４とからひとつのエントリを構成する。
【００７２】
次に、ステップＳ５４では、前記抽出したシーンをデータ格納部６００に格納した時点以降に利用者が行動記録を入力した場合、再びステップＳ５１以降を繰り返すことによって、シーン判定ルールを満たすシーンのデータ格納部６００への格納を繰り返す。新たな行動記録が入力されることによって、条件を満たすシーン判定ルールが増加し、データ格納部６００に格納すべきシーンが追加され、確信度の高いシーンが格納される場合がある。
【００７３】
以上の処理によって、行動内容の候補として提示するシーンが抽出される。
【００７４】
図１９は、クライアント計算機１０３が利用者から行動履歴の入力要求を受け付けたときに、行動獲得部５００がデータ格納部６００に蓄積されたシーンを読み出し、利用者に優先順位をつけて提示する処理を表すフローチャートである。
【００７５】
まず、ステップＳ６１で、クライアント計算機１０３にて利用者が入力部１０３２を介して入力した行動内容の候補を提示する期間を取得する。
【００７６】
次に、ステップＳ６２で、前記期間に一部でも重なるシーンをデータ格納部６００から読み出す。ここで、終了日時が前記期間の開始日時以降であり、開始日時が前記期間の終了日時以前であるシーンが読み出される。複数のシーンが読み出された場合、確信度の値によってソートしておく。
【００７７】
次に、ステップＳ６３で、クライアント計算機１０３の表示部１０３１に前記読み出されたシーンを候補として提示する。
【００７８】
次に、ステップＳ６４で、クライアント計算機１０３の入力部１０３２で利用者が選択または入力した行動内容と開始日時、終了日時を取得し、サーバ１０４のデータ格納部６００に行動記録として格納する。
【００７９】
以上の処理によって、センシングデータから作成した行動内容の候補を提示し、利用者は提示された候補を選択することによって、行動記録を獲得することができる。
【００８０】
図２０は、クライアント計算機１０３の表示部１０３１に表示される行動履歴入力画面１２００の画面イメージである。サーバ１０４は、クライアント計算機１０３からユーザＩＤ等を受け付けて、指定された利用者の集計データ５５０と、シーン領域データ８００およびシーンを行動履歴入力画面１２００に表示させる。なお、クライアント計算機１０３で稼動するアプリケーションとしては、ブラウザを採用することができる。
【００８１】
行動履歴入力画面１２００は、集計データ７００の運動頻度７０５を測定日時７０３の位置を棒グラフで表示する運動頻度１２０１と、シーン領域データ８００に格納された領域内容を表示する動作内容１２０２と、シーン領域データ８００の開始日時８０３と終了日時８０４を表示する時刻表示１２０３と、行動記録を入力または表示する行動内容１２０４と、行動記録の入力を行う日時を設定する日時プルダウンメニュー１２０５と、複数のシーン領域を手動にて結合する指令をサーバ１０４へ送信するためのシーン結合ボタン１２０６と、マウスカーソルなどで利用者が指定した行動内容１２０３を入力する行動内容入力ボタン１２０７と、入力の完了を指令する入力終了ボタン１２０８とを備える。図示の行動履歴入力画面１２００では、行動内容１２０４の入力が完了した状態を示している。
【００８２】
クライアント計算機１０３を操作する利用者が、行動履歴入力画面１２００の行動内容入力ボタン１２０７を選択した後に、行動内容１２０４を選択すると、上記行動獲得部５００で求めた行動内容の候補が表示される。利用者は、クライアント計算機１０３の入力部１０３２を構成するマウス等の操作によって、行動内容の候補を選択し、あるいは行動内容の候補に所望の項目がない場合には手動で行動内容を入力することができる。
【００８３】
サーバ１０４は、利用者が行動内容１２０４を選択すると、上記行動内容分析部３００がシーンデータ１１００のエントリ毎に推定した行動内容の候補を行動内容７０４に表示させる。例えば、図２０の時刻９：４０からの「軽作業」のシーンに対応する行動内容１２０４を選択すると、図２１で示すように、行動内容の候補を含む候補ボックス１５００が表示される。候補ボックス１５００は、行動獲得部５００が推定した行動内容の候補１５０１を表示する領域を備え、利用者は表示されている項目を選択することで、行動内容の詳細を入力することができる。
【００８４】
利用者はクライアント計算機１０３の表示部１０３１に提示された候補を選択すると、選択したシーン領域データ８００の行動履歴が確定し、サーバ１０４は、行動記録を生成してデータ格納部６００へ格納する。
【００８５】
また、サーバ１０４の行動獲得部５００は、利用者が選択した行動内容の候補を抽出するシーン判定ルールの条件と条件テーブルの条件が一致するシーン判定ルールの確信度を更新する。
【００８６】
ここで、確信度の更新は、条件テーブルと、結論テーブルと、センシングデータから得られるシーン領域データ及びシーン断片データと、利用者が選択した行動内容に基づいて行う。具体的には、複数のシーン領域及びシーン断片の組み合わせの中で条件テーブルの条件を満たすものを抽出し、その件数を算出する。そして、当該条件テーブルの条件に対応する結論テーブルのシーンを抽出し、実際に利用者が選択した行動内容と一致するものを抽出して、その件数を算出する。そして、条件テーブルの条件を満たす件数に対する、利用者が選択した行動内容と一致する件数の割合を算出することで確信度を更新することができる。
【００８７】
また、図１７のシーン判定ルールのテーブルにおいて、条件テーブルの条件を満たす件数、および、当該条件に加えて結論テーブルの内容を満たす件数を格納しておくことによって、件数の検索を省略し、格納した件数を加算することによって確信度を算出してもよい。
【００８８】
このように、確信度を更新することにより、確信度の精度を高めることができ、ユーザの嗜好を反映したシーン判定ルールを作成することが可能となり、正確な行動内容の候補を抽出することができるようになる。
【００８９】
本発明では、利用者の運動状態を腕輪型センサノード１の加速度センサで測定してサーバ１０４に格納し、測定した運動状態を解析して、利用者の生活行動を示すシーンを行動内容と共に開始時間と終了時間を自動的に抽出する。人の行動はゆらぎが大きく、同一の行動内容でもセンシングデータは一致することはなく、センシングデータの類似度では行動内容を推定することができない。本発明は、センシングデータから一連の動作状態の単位であるシーン領域、シーン領域を構成する短時間の運動状態であるシーン断片を作成し、行動内容をシーン領域の組合せと順序パターンで構成し、シーン領域の動作状態のみでなく、シーン断片の組合せで類似性を判定する。これにより、動作や運動の状態ではなく、行動のゆらぎに対応した、一連の行動の期間と内容を抽出することができる。
【００９０】
なお、上記実施形態では、ライフログシステムとして利用者（人体）の運動状態を検出するために、腕輪型センサノード１の加速度センサを用いた例を示したが、人体の運動状態を検知可能な生体情報であればよく、例えば、脈拍や歩数などを用いることができ、あるいは、これらの複数の生体情報の組合せから人体の運動状態を検知しても良い。また、生体情報だけではなく、人体の位置をＧＰＳや携帯端末等の位置情報を用いるようにしても良い。
【００９１】
また、ライフログシステムでは監視対象が人であり、シーンは行動に対応するが、監視対象は人に限定されるものではなく、機器でもよい。監視対象を機器とした場合には、機器に装着したセンサによって測定された機器の状態を示すセンシングデータ（例えば、振動、音量）から、シーンとして稼動状態や稼動内容を示すシーンを抽出することが可能であり、機器の稼動状態履歴を獲得することができる。
【００９２】
図２２は、第一の変形例を示し、上記実施形態の行動履歴入力画面１２００の行動内容１２０３、１２０４を示したものである。図２２の行動内容１２０３、１２０４では利用者が選択した一日について、行動記録が入力されていない期間は、確信度８０％以上であるシーンを表示する。複数のシーンが検索された場合には、確信度が最も高いシーンを表示する。図２２（ａ）は行動記録を入力していない段階での行動内容を示し、確信度が８０％以上であるシーンが７：００から８：００の身支度のみであることを示している。次に、図２２（ｂ）に、利用者が提示された候補を確定し、行動記録として「身支度」を入力した段階での行動内容を示している。「身支度」が行動記録として格納されることによって、シーン判定ルールの条件を満たし、確信度が８０％以上となったシーンが選出されたことによって、新たに８：００から９：３０までの行動内容の候補として「通勤」が表示されたことを示している。以上のように、行動記録が確定されると、シーン判定ルールを満たす確信度の高いシーンが検出され、行動内容の候補を提示することができなかった期間にも行動内容の候補を提示することが可能となる。
【００９３】
図２３は、第２の変形例を示し、上記実施形態の図４に示したシステム構成の一部を変更したもので、その他の構成は上記実施形態と同様である。前記実施形態のサーバ１０４に代わって、クライアント計算機１０３がデータ収集部２００、シーン分割部３００、シーン列挙部４００、行動獲得部５００、および、データ格納部を備えており、このクライアント計算機１０３が直接、基地局１０２に接続されたものである。データ収集部２００、シーン分割部３００、シーン列挙部４００、行動獲得部５００、データ収集部６００の構成は上記実施形態と同様である。クライアント計算機１０３はネットワーク１０５を介してサーバ１０４に接続される。サーバ１０４は、クライアント計算機１０３が生成した行動記録を受信して格納するデータ格納部１３００と、行動記録に対して所定の解析を行う解析部１４００を備える。
【００９４】
図４の構成の場合、サーバにデータを蓄積するため、ネットワーク接続が可能である場合、場所を気にせずデータの送付を行うことができる。しかし、ネットワーク接続ができないような場合には、データの送付や行動入力などができないおそれがある。一方で図２３の構成では、データ送付や行動入力のためにＰＣ１０３などの専用の計算機が必要となるため場所に制約があるが、ＰＣ１０３にデータを送付し、ＰＣ１０３上で行動入力などを行うため、ネットワーク接続の有無を気にする必要がないという利点がある。
【産業上の利用可能性】
【００９５】
以上のように、本発明は、監視対象の行動の期間と内容をセンシングデータから抽出することが可能であり、人の行動履歴、機器の稼動状態履歴を自動的に作成する計算機システムに適用可能である。特に、無線通信により監視対象のセンシング情報をサーバへ送信可能なセンサネットワークシステムに適用することができる。
【図面の簡単な説明】
【００９６】
【図１】本発明を適用するライフログシステムのシステム構成の一例を示すブロック図である。
【図２】腕輪型センサノードの一例を示す図で、（ａ）は腕輪型センサノード１の正面から見た概略図で、（ｂ）は腕輪型センサノードを側面から見た断面図である。
【図３】腕輪型センサノードの基盤に取り付けられた電子回路のブロック図の一例である。
【図４】本発明を適用するライフログシステムの機能要素を示すブロック図の一例である。
【図５】本発明を適用するライフログシステムで行われるデータ処理の全体的な流れを示す図の一例である。
【図６】単位時間毎の運動頻度を時系列的にソートしたグラフの例である。
【図７】データ集計部の処理の一例を示すフローチャートである。
【図８】加速度と時間の関係を示すグラフで、ゼロクロス回数の判定の一例である。
【図９】所定時間間隔毎の集計データのフォーマットの一例である。
【図１０】シーン分割部の処理を示すフローチャートの一例である。
【図１１】シーン領域作成処理を示すフローチャートの一例である。
【図１２】運動頻度と動作状態の関係を設定する判定値のテーブルの一例である。
【図１３】シーン領域データのフォーマットの一例である。
【図１４】シーン断片作成処理を示すフローチャートの一例である。
【図１５】シーン断片データのフォーマットの一例である。
【図１６】シーン列挙部の処理を示すフローチャートの一例である。
【図１７】シーン判定ルールのテーブルの一例である。
【図１８】シーンデータのフォーマットの一例である。
【図１９】行動獲得部の処理を示すフローチャートの一例である。
【図２０】クライアント計算機の表示部に表示される行動履歴入力画面の画面イメージの一例である。
【図２１】行動内容の候補を含む候補ボックスの画面イメージの一例である。
【図２２】第１の変形例を示し、行動履歴入力画面の行動内容候補提示内容の更新を示す一例である。
【図２３】第２の変形例を示し、ライフログシステムの機能要素を示すブロック図の一例である。
【符号の説明】
【００９７】
１ 腕輪型センサノード
１０２ 基地局
１０３ クライアント計算機
１０４ サーバ
２００ データ集計部
３００ シーン分割部
４００ シーン列挙部
５００ 行動獲得部
６００ データ格納部
１０３１ 表示部
１０３２ 入力部
【特許請求の範囲】
【請求項１】
監視対象に装着され、センシングデータを取得するセンサと上記センシングデータをサーバに送信する通信部とを有するセンサノードと、上記センシングデータを解析するサーバと、を備え、
上記サーバは、
上記センシングデータを蓄積するデータ格納部と、
上記センシングデータから上記監視対象の運動頻度を求め、上記運動頻度から所定の動作状態及びその期間を抽出して上記期間を区切りとするシーン領域を作成し、上記シーン領域について上記センシングデータの変化点を区切りとするシーン断片を作成するシーン分割部と、
上記データ格納部に格納されているシーン判定ルールに基づいて、上記シーン領域及び上記シーン断片から上記監視対象の行動内容及びその期間を判定するシーン列挙部と、を有する行動抽出システム。
【請求項２】
請求項１に記載の行動抽出システムにおいて、
上記シーン判定ルールは、シーン領域、シーン断片、それらの順序パターン、及び上記判定の正しさを示す指標から構成される行動抽出システム。
【請求項３】
請求項２に記載の行動抽出システムにおいて、
上記シーン列挙部は、上記判定の正しさを示す指標によって、複数の上記行動内容に優先順位を付与し、
上記優先順位に従って、接続される表示部に、上記行動内容を表示する行動獲得部をさらに有する行動抽出システム。
【請求項４】
請求項３に記載の行動抽出システムにおいて、
上記表示部に表示された行動内容が選択されると、上記行動獲得部は、上記選択された結果、上記シーン領域及び上記シーン断片、並びに上記シーン判定ルールに基づいて、上記判定の正しさを示す指標を更新する行動抽出システム。
【請求項５】
請求項１に記載の行動抽出システムにおいて、
上記シーン分割部は、上記シーン断片の類似度を判定し、上記類似度に基づいて上記シーン断片を分類し、当該分類ごとに識別子を付与する行動抽出システム。
【請求項６】
請求項５に記載の行動抽出システムにおいて、
上記シーン分割部は、上記シーン領域の作成に用いる上記センシングデータとは異なるセンシングデータを用いて、上記類似度を判定する行動抽出システム。
【請求項７】
監視対象に装着されるセンサノードがセンサにより取得したセンシングデータを受信する通信部と、
上記センシングデータを蓄積するデータ格納部と、
上記センシングデータから上記監視対象の運動頻度を求め、上記運動頻度から所定の動作状態及びその期間を抽出して上記期間を区切りとするシーン領域を作成し、上記シーン領域について上記センシングデータの変化点を区切りとするシーン断片を作成するシーン分割部と、
上記データ格納部に格納されているシーン判定ルールに基づいて、上記シーン領域及び上記シーン断片から上記監視対象の行動内容及びその期間を判定するシーン列挙部と、を有するサーバ。
【請求項８】
請求項７に記載のサーバにおいて、
上記シーン判定ルールは、シーン領域、シーン断片、それらの順序パターン、及び上記判定の正しさを示す指標から構成されるサーバ。
【請求項９】
請求項８に記載のサーバにおいて、
上記シーン列挙部は、上記判定の正しさを示す指標によって、複数の上記行動内容に優先順位を付与し、
上記優先順位に従って、接続される表示部に、上記行動内容を表示する行動獲得部をさらに有するサーバ。
【請求項１０】
請求項９に記載のサーバにおいて、
上記表示部に表示された行動内容が選択されると、上記行動獲得部は、上記選択された結果、上記シーン領域及び上記シーン断片、並びに上記シーン判定ルールに基づいて、上記判定の正しさを示す指標を更新するサーバ。
【請求項１１】
請求項７に記載のサーバにおいて、
上記シーン分割部は、上記シーン断片の類似度を判定し、上記類似度に基づいて上記シーン断片を分類し、当該分類ごとに識別子を付与するサーバ。
【請求項１２】
請求項１１に記載のサーバにおいて、
上記シーン分割部は、上記シーン領域の作成に用いる上記センシングデータとは異なるセンシングデータを用いて、上記類似度を判定するサーバ。
【請求項１３】
監視対象に装着されてセンシングデータを取得するセンサノードと、上記センシングデータを解析するサーバとを備えるシステムにより実行される行動抽出方法であって、
上記センサノードは、上記センシングデータを上記サーバに送信し、
上記サーバは、上記センシングデータから上記監視対象の運動頻度を求め、上記運動頻度から所定の動作状態及びその期間を抽出して上記期間を区切りとするシーン領域を作成し、上記シーン領域について上記センシングデータの変化点を区切りとするシーン断片を作成し、上記サーバに格納されているシーン判定ルールに基づいて、上記シーン領域及び上記シーン断片から上記監視対象の行動内容及びその期間を判定する行動抽出方法。
【請求項１】
監視対象に装着され、センシングデータを取得するセンサと上記センシングデータをサーバに送信する通信部とを有するセンサノードと、上記センシングデータを解析するサーバと、を備え、
上記サーバは、
上記センシングデータを蓄積するデータ格納部と、
上記センシングデータから上記監視対象の運動頻度を求め、上記運動頻度から所定の動作状態及びその期間を抽出して上記期間を区切りとするシーン領域を作成し、上記シーン領域について上記センシングデータの変化点を区切りとするシーン断片を作成するシーン分割部と、
上記データ格納部に格納されているシーン判定ルールに基づいて、上記シーン領域及び上記シーン断片から上記監視対象の行動内容及びその期間を判定するシーン列挙部と、を有する行動抽出システム。
【請求項２】
請求項１に記載の行動抽出システムにおいて、
上記シーン判定ルールは、シーン領域、シーン断片、それらの順序パターン、及び上記判定の正しさを示す指標から構成される行動抽出システム。
【請求項３】
請求項２に記載の行動抽出システムにおいて、
上記シーン列挙部は、上記判定の正しさを示す指標によって、複数の上記行動内容に優先順位を付与し、
上記優先順位に従って、接続される表示部に、上記行動内容を表示する行動獲得部をさらに有する行動抽出システム。
【請求項４】
請求項３に記載の行動抽出システムにおいて、
上記表示部に表示された行動内容が選択されると、上記行動獲得部は、上記選択された結果、上記シーン領域及び上記シーン断片、並びに上記シーン判定ルールに基づいて、上記判定の正しさを示す指標を更新する行動抽出システム。
【請求項５】
請求項１に記載の行動抽出システムにおいて、
上記シーン分割部は、上記シーン断片の類似度を判定し、上記類似度に基づいて上記シーン断片を分類し、当該分類ごとに識別子を付与する行動抽出システム。
【請求項６】
請求項５に記載の行動抽出システムにおいて、
上記シーン分割部は、上記シーン領域の作成に用いる上記センシングデータとは異なるセンシングデータを用いて、上記類似度を判定する行動抽出システム。
【請求項７】
監視対象に装着されるセンサノードがセンサにより取得したセンシングデータを受信する通信部と、
上記センシングデータを蓄積するデータ格納部と、
上記センシングデータから上記監視対象の運動頻度を求め、上記運動頻度から所定の動作状態及びその期間を抽出して上記期間を区切りとするシーン領域を作成し、上記シーン領域について上記センシングデータの変化点を区切りとするシーン断片を作成するシーン分割部と、
上記データ格納部に格納されているシーン判定ルールに基づいて、上記シーン領域及び上記シーン断片から上記監視対象の行動内容及びその期間を判定するシーン列挙部と、を有するサーバ。
【請求項８】
請求項７に記載のサーバにおいて、
上記シーン判定ルールは、シーン領域、シーン断片、それらの順序パターン、及び上記判定の正しさを示す指標から構成されるサーバ。
【請求項９】
請求項８に記載のサーバにおいて、
上記シーン列挙部は、上記判定の正しさを示す指標によって、複数の上記行動内容に優先順位を付与し、
上記優先順位に従って、接続される表示部に、上記行動内容を表示する行動獲得部をさらに有するサーバ。
【請求項１０】
請求項９に記載のサーバにおいて、
上記表示部に表示された行動内容が選択されると、上記行動獲得部は、上記選択された結果、上記シーン領域及び上記シーン断片、並びに上記シーン判定ルールに基づいて、上記判定の正しさを示す指標を更新するサーバ。
【請求項１１】
請求項７に記載のサーバにおいて、
上記シーン分割部は、上記シーン断片の類似度を判定し、上記類似度に基づいて上記シーン断片を分類し、当該分類ごとに識別子を付与するサーバ。
【請求項１２】
請求項１１に記載のサーバにおいて、
上記シーン分割部は、上記シーン領域の作成に用いる上記センシングデータとは異なるセンシングデータを用いて、上記類似度を判定するサーバ。
【請求項１３】
監視対象に装着されてセンシングデータを取得するセンサノードと、上記センシングデータを解析するサーバとを備えるシステムにより実行される行動抽出方法であって、
上記センサノードは、上記センシングデータを上記サーバに送信し、
上記サーバは、上記センシングデータから上記監視対象の運動頻度を求め、上記運動頻度から所定の動作状態及びその期間を抽出して上記期間を区切りとするシーン領域を作成し、上記シーン領域について上記センシングデータの変化点を区切りとするシーン断片を作成し、上記サーバに格納されているシーン判定ルールに基づいて、上記シーン領域及び上記シーン断片から上記監視対象の行動内容及びその期間を判定する行動抽出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２０１０−１４６２２３（Ｐ２０１０−１４６２２３Ａ）
【公開日】平成２２年７月１日（２０１０．７．１）
【国際特許分類】
【出願番号】特願２００８−３２１７２８（Ｐ２００８−３２１７２８）
【出願日】平成２０年１２月１８日（２００８．１２．１８）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２２年７月１日（２０１０．７．１）
【国際特許分類】
【出願日】平成２０年１２月１８日（２００８．１２．１８）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]