行動識別システム
【課題】ＤＢからの外れ値削除を会話的に行い、センサ情報に基づくラベル付加およびＤＢ登録を事後的かつ会話的に行う。
【解決手段】行動識別システム１００はＰＣ１０を含み、ＰＣ１０は会話的外れ値削除アプリケーション１８および会話的ラベル付加アプリケーション２２等の機能を実現する。会話的外れ値削除アプリケーション１８は、行動識別エンジン１４から出力される行動情報が示す特徴，ラベルおよび時間を、モニタ（５２）に表示されたアノテーション付きセンサデータ画面を参照しつつ入力装置（５４）で行われる外れ値削除操作に応じて、辞書ＤＢ１６ｃおよびアノテーションＤＢ１６ｂから削除する。会話的ラベル付加アプリケーション２２は、同様の特徴，ラベルおよび時間を同様に行われるラベル付加操作に応じて辞書ＤＢ１６ｃおよびアノテーションＤＢ１６ｂに追加する。
【解決手段】行動識別システム１００はＰＣ１０を含み、ＰＣ１０は会話的外れ値削除アプリケーション１８および会話的ラベル付加アプリケーション２２等の機能を実現する。会話的外れ値削除アプリケーション１８は、行動識別エンジン１４から出力される行動情報が示す特徴，ラベルおよび時間を、モニタ（５２）に表示されたアノテーション付きセンサデータ画面を参照しつつ入力装置（５４）で行われる外れ値削除操作に応じて、辞書ＤＢ１６ｃおよびアノテーションＤＢ１６ｂから削除する。会話的ラベル付加アプリケーション２２は、同様の特徴，ラベルおよび時間を同様に行われるラベル付加操作に応じて辞書ＤＢ１６ｃおよびアノテーションＤＢ１６ｂに追加する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、行動識別システムに関し、特にたとえば、医療現場において看護師が行う行動を、センサからのセンサ情報および時計からの時刻情報に基づいて識別する、行動識別システムに関する。
【背景技術】
【０００２】
従来のこの種のシステムとしては、特許文献１に記載されたものが知られている。この背景技術では、被験者（看護師）に加速度センサを装着して加速度データを収集する一方、実験者が被験者に随伴して行動の時間（開始時刻および終了時刻）とラベル（識別情報）とを記録する。たとえば、被験者が歩行すると、実験者は、その時間を特定して“歩行”というラベルを付与する。こうして実験者が特定した時間および付与したラベルが、加速度センサで収集された加速度データと共にサーバに入力され、サーバは、当該加速度データから当該時間に属する部分を切り出してその特徴を計算し、当該特徴および当該ラベルを互いに関連付けてデータベース（以下“ＤＢ”）に記録する。
【０００３】
このような処理を繰り返すことで、ＤＢ内に特徴およびラベルの間の対応関係を示す情報（辞書情報）が蓄積されていく。サーバは、こうして生成された辞書ＤＢを参照することで、加速度データに基づいて看護師の行動を識別することができる。
【特許文献１】特開２００９−３９４６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、背景技術では、たとえば“手洗い”というラベルを付された行動の特徴が手洗いとは異なる行動の特徴（外れ値）をも含んでいて、辞書ＤＢの精度が低下する場合があった。
【０００５】
また、背景技術は、実験者が被験者に随伴して時間特定およびラベル付与を行うものであり、加速度データに基づいて事後的にこれらを行うことはできなかった。
【０００６】
それゆえに、この発明の主たる目的は、新規な行動識別システムを提供することである。
【０００７】
この発明の他の目的は、辞書等のＤＢから外れ値を会話的に（実験者に情報を提示してその指示に応じて）削除することができる、行動識別システムを提供することである。
【０００８】
この発明のその他の目的は、加速度などのセンサ情報に基づくラベル付加、および付加したラベルのＤＢへの登録を、事後的かつ会話的に行うことができる、行動識別システムを提供することである。
【課題を解決するための手段】
【０００９】
本発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明などは、本発明の理解を助けるために後述する実施の形態との対応関係を示したものであって、本発明を何ら限定するものではない。
【００１０】
第１の発明は、被験者の行動をセンサからのセンサ情報および時計からの時刻情報に基づいて識別する行動識別システムであって、センサ情報および時刻情報を蓄積したセンサＤＢ、被験者が行い得る各行動について特徴およびラベルを示す辞書情報を蓄積した辞書ＤＢ、センサ情報および時刻情報が入力され、当該センサ情報から特徴を抽出し、抽出した特徴と辞書ＤＢの比較に基づいて当該特徴に対応するラベルを選択し、抽出した特徴に対応する時間を時刻情報に基づいて特定し、そして抽出した特徴，選択したラベルおよび特定した時間を示す行動情報を出力する行動識別手段、行動識別手段から出力される行動情報が示すラベルおよび時間をアノテーション情報として蓄積するアノテーションＤＢ、センサＤＢに基づくセンサデータ画面にアノテーションＤＢに基づくアノテーション情報を時刻情報に基づいて付加して、当該アノテーション付きセンサデータ画面をモニタに表示する第１表示手段、および行動識別手段から出力される行動情報が示す特徴，ラベルおよび時間を、モニタに表示されたアノテーション付きセンサデータ画面を参照しつつ入力装置で行われる外れ値削除操作に応じて、辞書ＤＢおよびアノテーションＤＢから削除する、会話的削除手段を備える。
【００１１】
第１の発明では、行動識別システム（１００）は、センサＤＢ（１６ａ）、辞書ＤＢ（１６ｃ）、行動識別手段（１４）、アノテーションＤＢ（１６ｂ）、第１表示手段（２０）および会話的削除手段（１８，Ｓ１〜Ｓ３９，Ｓ５１〜Ｓ７１）を備える。センサＤＢは、センサ（１２）からのセンサ情報および時計（１２Ｔ）からの時刻情報を蓄積している。辞書ＤＢは、被験者が行い得る各行動について特徴およびラベルを示す辞書情報を蓄積している。行動識別手段は、センサ情報および時刻情報が入力され、当該センサ情報から特徴を抽出し、抽出した特徴と辞書ＤＢの比較に基づいて当該特徴に対応するラベルを選択し、抽出した特徴に対応する時間を時刻情報に基づいて特定し、そして抽出した特徴，選択したラベルおよび特定した時間を示す行動情報を出力する。アノテーションＤＢは、行動識別手段から出力される行動情報が示すラベルおよび時間をアノテーション情報として蓄積する。第１表示手段は、センサＤＢに基づくセンサデータ画面にアノテーションＤＢに基づくアノテーション情報を時刻情報に基づいて付加して、当該アノテーション付きセンサデータ画面（図２）をモニタ（５２）に表示する。会話的削除手段は、行動識別手段から出力される行動情報が示す特徴，ラベルおよび時間を、モニタに表示されたアノテーション付きセンサデータ画面を参照しつつ入力装置（５４）で行われる外れ値削除操作に応じて、辞書ＤＢおよびアノテーションＤＢから削除する。
【００１２】
第１の発明によれば、辞書データＤＢおよびアノテーションＤＢから外れ値を会話的に削除することができる。
【００１３】
第２の発明は、第１の発明に従属する行動識別システムであって、会話的削除手段は、行動識別手段から出力される行動情報が示す特徴を第１ベクトルに変換して各第１ベクトルの散布状態を示す第１散布図画像をモニタに表示する第２表示手段を含み、外れ値削除操作はさらに第１散布図画像も参照しつつ行われる。
【００１４】
第２の発明では、会話的削除手段は第２表示手段（Ｓ５〜Ｓ１９）を含む。第２表示手段は、行動識別手段から出力される行動情報が示す特徴を第１ベクトルに変換して、各第１ベクトルの散布状態を示す第１散布図画像（Ｗ１：図５（Ａ），図５（Ｂ），図６（Ａ），図６（Ｂ））をモニタに表示する。外れ値削除操作は、さらに第１散布図画像も参照しつつ行われる。
【００１５】
第２の発明によれば、各第１ベクトルの散布状態を表示することで、実験者は各第１ベクトルが外れ値であるか否かの判断を各第１ベクトルの間の位置関係に基づいて行える。
【００１６】
第３の発明は、第２の発明に従属する行動識別システムであって、第２表示手段は、各第１ベクトルに外れ値判定処理を施して判定結果が外れ値を示す第１ベクトルを外れ値候補としてハイライト表示する（図６（Ａ），図６（Ｂ））。
【００１７】
第３の発明によれば、外れ値候補をハイライト表示することで、実験者は各第１ベクトルが外れ値であるか否かの判断を容易に行える。
【００１８】
第４の発明は、第３の発明に従属する行動識別システムであって、第２表示手段はさらに、各第１ベクトルについて時間的近接性の有無を判別し、当該判別結果が時間的近接性ありを示す第１ベクトルと時間的近接性なしを示す第１ベクトルとでハイライト表示の態様を異ならせる（図６（Ｂ））。
【００１９】
第４の発明によれば、ハイライト表示の態様（色，明るさ，点滅周期，形状，大きさなど）を時間的近接性の有無により異ならせるので、実験者は各第１ベクトルが外れ値であるか否かの判断をいっそう容易に行える。
【００２０】
第５の発明は、第１ないし第４のいずれかの発明に従属する行動識別システムであって、行動識別手段から出力される行動情報が示す特徴，ラベルおよび時間を、モニタに表示されたアノテーション付きセンサデータ画面を参照しつつ入力装置で行われるラベル付加操作に応じて、辞書ＤＢおよびアノテーションＤＢに追加する、会話的追加手段をさらに備える。
【００２１】
第５の発明では、行動識別システムは会話的追加手段（２２，Ｓ８１〜Ｓ１１９）をさらに備える。会話的追加手段は、行動識別手段から出力される行動情報が示す特徴，ラベルおよび時間を、モニタに表示されたアノテーション付きセンサデータ画面を参照しつつ入力装置で行われるラベル付加操作に応じて、辞書ＤＢおよびアノテーションＤＢに追加する。
【００２２】
第５の発明によれば、センサ情報に基づくラベル付加、および付加したラベルのアノテーションＤＢおよび辞書ＤＢへの登録を、事後的かつ会話的に行うことができる。
【００２３】
第６の発明は、第５の発明に従属する行動識別システムであって、会話的追加手段は、行動識別手段から出力される行動情報が示す特徴を第２ベクトルに変換して各第２ベクトルをクラスタ化し、各第２ベクトルの散布状態をクラスタリング情報と共に示す第２散布図画像をモニタに表示する第３表示手段をさらに含み、ラベル付加操作はさらに第２散布図画像も参照しつつ行われる。
【００２４】
第６の発明では、会話的追加手段は第３表示手段（Ｓ８５〜Ｓ９９）を含む。第３表示手段は、行動識別手段から出力される行動情報が示す特徴を第２ベクトルに変換して各第２ベクトルをクラスタ化し、各第２ベクトルの散布状態をクラスタリング情報と共に示す第２散布図画像（Ｗ２：図７）をモニタに表示する。ラベル付加操作は、さらに第２散布図画像も参照しつつ行われる。
【００２５】
第６の発明によれば、各第２ベクトルの散布状態をクラスタリング情報と共に表示することで、実験者は、各第２ベクトルの間の位置関係およびクラスタリング情報に基づいて、各第２ベクトルが示す行動をクラスタとして認識できる。
【００２６】
第７の発明は、第６の発明に従属する行動識別システムであって、第３表示手段はさらに、各クラスタについて時間的近接性の有無を判別し、当該判別結果が時間的近接性ありを示すクラスタをラベル付加候補としてハイライト表示する。
【００２７】
第７の発明によれば、時間的近接性のあるクラスタをラベル付加候補としてハイライト表示するので、実験者はラベルを付加すべき行動に対応するクラスタを容易に認識できる。
【００２８】
第８の発明は、被験者の行動をセンサからのセンサ情報および時計からの時刻情報に基づいて識別する行動識別システムであって、センサ情報および時刻情報を蓄積したセンサＤＢ、被験者が行い得る各行動について特徴およびラベルを示す辞書情報を蓄積した辞書ＤＢ、センサ情報および時刻情報が入力され、当該センサ情報から特徴を抽出し、抽出した特徴と辞書ＤＢの比較に基づいて当該特徴に対応するラベルを選択し、抽出した特徴に対応する時間を時刻情報に基づいて特定し、そして抽出した特徴，選択したラベルおよび特定した時間を示す行動情報を出力する行動識別手段、行動識別手段から出力される行動情報が示すラベルおよび時間をアノテーション情報として蓄積するアノテーションＤＢ、センサＤＢに基づくセンサデータ画面にアノテーションＤＢに基づくアノテーション情報を時刻情報に基づいて付加して、当該アノテーション付きセンサデータ画面をモニタに表示する、第１表示手段、および行動識別手段から出力される行動情報が示す特徴，ラベルおよび時間を、モニタに表示されたアノテーション付きセンサデータ画面を参照しつつ入力装置で行われるラベル付加操作に応じて、辞書ＤＢおよびアノテーションＤＢに追加する、会話的追加手段を備える。
【００２９】
第８の発明では、行動識別システム（１００）は、センサＤＢ（１６ａ）、辞書ＤＢ（１６ｃ）、行動識別手段（１４）、アノテーションＤＢ（１６ｂ）、第１表示手段（２０）および会話的追加手段（２２，Ｓ８１〜Ｓ１１９）を備える。センサＤＢは、センサ（１２）からのセンサ情報および時計（１２Ｔ）からの時刻情報を蓄積している。辞書ＤＢは、被験者が行い得る各行動について特徴およびラベルを示す辞書情報を蓄積している。行動識別手段は、センサ情報および時刻情報が入力され、当該センサ情報から特徴を抽出し、抽出した特徴と辞書ＤＢの比較に基づいて当該特徴に対応するラベルを選択し、抽出した特徴に対応する時間を時刻情報に基づいて特定し、そして抽出した特徴，選択したラベルおよび特定した時間を示す行動情報を出力する。アノテーションＤＢは、行動識別手段から出力される行動情報が示すラベルおよび時間をアノテーション情報として蓄積する。第１表示手段は、センサＤＢに基づくセンサデータ画面にアノテーションＤＢに基づくアノテーション情報を時刻情報に基づいて付加して、当該アノテーション付きセンサデータ画面（図２）をモニタ（５２）に表示する。会話的追加手段は、行動識別手段から出力される行動情報が示す特徴，ラベルおよび時間を、モニタに表示されたアノテーション付きセンサデータ画面を参照しつつ入力装置（５４）で行われるラベル付加操作に応じて、辞書ＤＢおよびアノテーションＤＢに追加する。
【００３０】
第８の発明によれば、センサ情報に基づくラベル付加、および付加したラベルのアノテーションＤＢおよび辞書ＤＢへの登録を、事後的かつ会話的に行うことができる。
【００３１】
第９の発明は、第８の発明に従属する行動識別システムであって、会話的追加手段は、行動識別手段から出力される行動情報が示す特徴をベクトルに変換して各ベクトルをクラスタ化し、各ベクトルの散布状態をクラスタリング情報と共に示す散布図画像をモニタに表示する第２表示手段を含み、ラベル付加操作はさらに散布図画像も参照しつつ行われる。
【００３２】
第９の発明では、会話的追加手段は第２表示手段（Ｓ８５〜Ｓ９９）を含む。第２表示手段は、行動識別手段から出力される行動情報が示す特徴をベクトルに変換して各ベクトルをクラスタ化し、各ベクトルの散布状態をクラスタリング情報と共に示す散布図画像（図７）をモニタに表示する。ラベル付加操作は、さらに散布図画像も参照しつつ行われる。
【００３３】
第９の発明によれば、各ベクトルの散布状態をクラスタリング情報と共に表示することで、実験者は、各ベクトルの間の位置関係およびクラスタリング情報に基づいて、各ベクトルが示す行動をクラスタとして認識できる。
【００３４】
第１０の発明は、第９の発明に従属する行動識別システムであって、第２表示手段はさらに、各クラスタについて時間的近接性の有無を判別し、当該判別結果が時間的近接性ありを示すクラスタをラベル付加候補としてハイライト表示する。
【００３５】
第１０の発明によれば、時間的近接性のあるクラスタをラベル付加候補としてハイライト表示するので、実験者はラベルを付加すべき行動に対応するクラスタを容易に認識できる。
【００３６】
第１１の発明は、第１ないし第１０のいずれかの発明に従属する行動識別システムであって、ビデオカメラからのビデオ映像情報および時計と同期した第２時計からの時刻情報を蓄積したビデオＤＢをさらに備え、第１表示手段はビデオ映像情報および時刻情報に基づくビデオ映像をモニタにさらに表示し、外れ値削除操作および／またはラベル付加操作はさらにビデオ映像も参照しつつ行われる。
【００３７】
第１１の発明では、行動識別システムはビデオＤＢ（１６ｄ）をさらに備える。ビデオＤＢは、ビデオカメラ（２４）からのビデオ映像情報および時計と同期した第２時計（２４Ｔ）からの時刻情報を蓄積している。第１表示手段はビデオ映像情報および時刻情報に基づくビデオ映像（図４）をモニタにさらに表示し、外れ値削除操作および／またはラベル付加操作はさらにビデオ映像も参照しつつ行われる。
【００３８】
第１１の発明によれば、実験者は、ビデオ映像も参照することで、外れ値削除やラベル付加に関する判断をよりいっそう容易に行える。
【発明の効果】
【００３９】
この発明によれば、ＤＢから外れ値を会話的に削除できる、行動識別システムが実現される。また、センサ情報に基づくラベル付加、および付加したラベルのＤＢ登録を、事後的かつ会話的に行える、行動識別システムが実現される。この結果、精度の高いＤＢを容易に構築できるようになり、行動識別システムの識別精度を高めることができる。
【００４０】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００４１】
【図１】この発明の一実施例である行動識別システムの構成を示すブロック図である。
【図２】センサデータ（加速度データ）ビューワ画面の一例を示す図解図である。
【図３】アノテーションデータビューワ画面の一例を示す図解図である。
【図４】ビデオ映像ビューワ画面の一例を示す図解図である。
【図５】（Ａ）は散布図ウィンドウの一例を示す図解図であり、（Ｂ）は散布図ウィンドウの他の一例を示す図解図である。
【図６】（Ａ）は散布図ウィンドウのその他の一例を示す図解図であり、（Ｂ）は散布図ウィンドウのさらにその他の一例を示す図解図である。
【図７】散布図ウィンドウの他の一例を示す図解図である。
【図８】ラベル候補ウィンドウの一例を示す図解図である。
【図９】ＰＣの構成例を示すブロック図である。
【図１０】ＰＣのメインメモリのメモリマップを示す図解図である。
【図１１】ＰＣのＣＰＵ動作の一部を示すフロー図である。
【図１２】ＰＣのＣＰＵ動作の他の一部を示すフロー図である。
【図１３】ＰＣのＣＰＵ動作のその他の一部を示すフロー図である。
【図１４】ＰＣのＣＰＵ動作のさらにその他の一部を示すフロー図である。
【図１５】ＰＣのＣＰＵ動作の他の一部を示すフロー図である。
【発明を実施するための形態】
【００４２】
図１を参照して、この発明の一実施例である行動識別システム１００（以下“システム１００”）は、ＰＣ１０，センサ１２およびビデオカメラ２４を備える。センサ１２およびビデオカメラ２４には時計１２Ｔおよび２４Ｔがそれぞれ設けられており、各時計１２Ｔおよび２４ＴはＰＣ１０側の時計１０Ｔ（図９参照：後述）と同期している。センサ１２およびビデオカメラ２４にはさらに無線ＬＡＮモジュール１２Ｌおよび２４Ｌが設けられており、各無線ＬＡＮモジュール１２Ｌおよび２４ＬはＰＣ１０側の無線ＬＡＮモジュール１０Ｌ（図９参照：後述）との間で無線ＬＡＮ通信を行う。
【００４３】
センサ１２は、たとえば４個の３軸加速センサで構成され、各３軸加速センサは被験者（看護師など）の左上腕，右上腕，胸および腰にそれぞれ装着される。センサ１２からは、これら４個の３軸加速センサに基づく計１２成分の加速度データが、時計１２Ｔに基づくタイムスタンプと共に、無線ＬＡＮモジュール１２Ｌを通してＰＣ１０へと送信される。すなわち、センサ１２が出力するセンサデータは、１２成分の加速度データとタイムスタンプとを含む。
【００４４】
ビデオカメラ２４は、被験者が所定の行動たとえば手洗いを行うシンクの近傍などに設置される。ビデオカメラ２４からは、設置場所の近傍を捉えた映像データが、時計２４Ｔに基づくタイムスタンプと共に、無線ＬＡＮモジュール２４Ｌを通してＰＣ１０へと送信される。すなわち、ビデオカメラ２４が出力する映像データにもタイムスタンプが含まれる。
【００４５】
なお、ここで示すシステム１００の構成は一例に過ぎず、様々に変更可能である。たとえば、センサ１２の構成要素として、位置計測のための赤外線センサや、被験者の近接対象（患者や看護機材など）を特定するための近接センサ（Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュールなど）を追加してもよい。また、ＰＣ１０とセンサ１２およびビデオカメラ２４との間の各接続には、ＢｌｕｅｔｏｏｔｈやＺｉｇＢｅｅ（登録商標）といった、無線ＬＡＮ以外の近距離無線通信方式を用いてもよい。ＰＣ１０とビデオカメラ２４との間は有線接続でもよい。
【００４６】
ＰＣ１０は、行動識別エンジン１４，データマネージャ１６，会話的外れ値削除アプリケーション１８，データビューワ２０および会話的ラベル付加アプリケーション２２を備える。データマネージャ１６は、センサＤＢ１６ａ，アノテーションＤＢ１６ｂ，辞書ＤＢ１６ｃおよびビデオＤＢ１６ｄを含む。なお、これらの構成要素（１４〜２２，１６ａ〜１６ｄ）の機能は、図９に示すハードウェア資源、つまり時計１０Ｔ，無線ＬＡＮモジュール１０Ｌ，ＣＰＵ５０，ＬＣＤモニタ５２，キー入力装置５４およびメインメモリ５６と、メインメモリ５６に格納されたソフトウェア資源（図１０にその一部が示されている）とによって実現される。
【００４７】
センサ１２からのセンサデータおよびビデオカメラ２４からの映像データはデータマネージャ１６に与えられ、データマネージャ１６は、与えられたセンサデータおよび映像データをセンサＤＢ１６ａおよびビデオＤＢ１６ｄにそれぞれ記録する。したがって、センサＤＢ１６ａにはタイムスタンプ付きの加速度データ（以下“加速度データ”）が、ビデオＤＢ１６ｄにはタイムスタンプ付きの映像データ（以下“映像データ”）が、それぞれ蓄積されていく。
【００４８】
センサＤＢ１６ａに蓄積された加速度データは、データマネージャ１６を通じて行動識別エンジン１４に与えられ、行動識別エンジン１４は、与えられた加速度データを辞書ＤＢ１６ｃと比較して被験者の行動を識別し、識別結果を示す行動データをデータマネージャ１６に返す。行動データには、認識した行動について特徴，ラベルおよび時間（開始時刻および終了時刻）が記述されている。
【００４９】
より詳しくは、辞書ＤＢ１６ｃには、被験者が行い得る各行動について特徴およびラベルを示す辞書データが格納されている。ここで、特徴は、行動識別エンジン１４が過去の加速度データから抽出した各行動の特徴であり、たとえば波形データの態様を有する。一方、ラベルは、抽出された各行動の特徴に対して、実験者が会話的ラベル付加アプリケーション２２（後述）を介して付与した識別情報であり、たとえば“手洗い”，“手拭き”のような文字データの態様を有する。
【００５０】
行動識別エンジン１４は、与えられた加速度データに対して特徴抽出を行い、抽出した特徴で辞書ＤＢ１６ｃを検索してそこから当該特徴に対応するラベルを取得する一方、抽出した特徴に対応する時間を加速度データに付されたタイムスタンプを参照して特定する。そして、抽出した特徴，取得したラベルおよび特定した時間を、与えられた加速度データに関する識別結果（行動データ）として出力する。
【００５１】
データマネージャ１６は、行動識別エンジン１４からの行動データに含まれるラベルおよび時間を、センサＤＢ１６ａ内の加速度データに対するアノテーション（注釈）データとして、アノテーションＤＢ１６ｂに記録する。アノテーションデータと加速度データとは、タイムスタンプを介して関連付けられている。
【００５２】
データマネージャ１６はまた、こうしてアノテーションＤＢ１６ｂに登録されたラベルおよび特徴のうち辞書ＤＢ１６ｃに存在しないものがあれば、会話的ラベル付加アプリケーション２２（後述）を介して当該ラベルおよび特徴を示す辞書データを辞書ＤＢ１６ｃに追記する。
【００５３】
データビューワ２０は、データマネージャ１６を介して各種ＤＢ１６ａ〜１６ｄからデータを取得して可視化する。具体的には、主としてセンサＤＢ１６ａからのセンサデータに基づいて図２に示すようなセンサデータビューワ画面を表示し、アノテーションＤＢ１６ｂからのアノテーションデータに基づいて図３に示すようなアノテーションデータビューワ画面を表示し、そしてビデオＤＢ１６ｄからのビデオ映像データに基づいて図４に示すようなビデオ映像ビューワ画面を表示する。辞書ＤＢ１６ｃに登録されたラベルを、図８に示すようなラベル候補ウィンドウＷ３として表示することも可能である。
【００５４】
図２のセンサデータ画面には、前述した計１２成分の加速度波形が共通の時間軸に沿って描画される。このセンサデータ画面にはまた、アノテーションＤＢ１６ｂからのアノテーションデータに基づくアノテーション情報、つまりラベルを示す文字や、時間を示す帯および数字なども描画されている。
【００５５】
図３のアノテーションデータビューワ画面には、時間の始点または終点を示す“時刻”と、“手洗い：開始”，“手洗い：終了”，“手拭き：開始”といった包括的な行動を示す上位ラベルである“ラベル１”と、“手濡らし：開始”，“手濡らし：終了”，“手のひら洗い：開始”といった詳細な行動を示す下位ラベルである“ラベル２”とが一覧表示されている。なお、他の実施例では、ラベルを３層以上に階層化してもよく、何ら階層化しなくてもよい。
【００５６】
図４のビデオ映像ビューワ画面には、被験者が手を洗っている場面のビデオ映像と、タイムスタンプを示す数字とが表示されている。図８のラベル候補ウィンドウＷ３には、辞書ＤＢ１６ｃの登録ラベルのうち一部を示す文字が、階層を示すインデント（“・”または“・・”）付きで表示されている。
【００５７】
会話的外れ値削除アプリケーション１８は、図５および図６に示すような散布図ウィンドウＷ１を通して会話的に、アノテーションＤＢ１６ｂおよび辞書ＤＢ１６ｃから外れ値に対応するデータを除去する。詳しくは、散布図ウィンドウＷ１は、ユーザがセンサＤＢ１６ａのセンサデータに関して１つ以上のラベルおよび特徴ベクトルの２成分を指定するのに応じて表示される。図５および図６のいずれの散布図ウィンドウＷ１でも、ラベルについては“手拭き”，“手洗い”，“手袋”，“消毒”が指定されている。２成分としては、図５（Ａ）の散布図ウィンドウＷ１では“１”および“２”が、図５（Ｂ），図６（Ａ）および図６（Ｂ）では“１”および“３”が、それぞれ指定されている。
【００５８】
会話的外れ値削除アプリケーション１８は、センサＤＢ１６ａからセンサデータを取得して、取得したセンサデータから指定ラベルに対応する部分を切り出す。そして、切り出したセンサデータに対して特徴抽出処理を施し、これにより抽出された特徴に対応する点を、ラベル毎に異なる態様（ここでは形状：丸，四角，三角など）で、散布図ウィンドウＷ１内にプロット表示する。
【００５９】
図５，図６を参照して、散布図ウィンドウＷ１内の各点は、ラベル毎にクラスタを形成する。ただし、抽出された特徴に外れ値が含まれていると、図６のようにクラスタから孤立した点が現れる。会話的外れ値削除アプリケーション１８は、クラスタから孤立した点については、外れ値候補として、クラスタ内の各点と区別するべくハイライト表示（たとえば輝度を高める，点滅させる等）する。
【００６０】
そして、このような孤立点には、クラスタに対して時間的近接性を有するものと有さないものとがあり、会話的外れ値削除アプリケーション１８は、図６（Ｂ）のように、各孤立点を時間的近接性の有無によって異なる態様（たとえば大きさ，色など）でハイライト表示することもできる。
【００６１】
図６（Ａ）のように外れ値候補を単にハイライト表示するか、図６（Ｂ）のように外れ値候補を時間的近接性の有無によって異なる態様（ここでは異なる大きさ）でハイライト表示するかは、実験者の選択に基づいて決められる。
【００６２】
一方、実験者が散布図ウィンドウＷ１内の任意の点を、たとえば図５（Ａ）に示すようにカーソルＣで選択すると、図２〜図４に示した各種ビューワ画面が当該点に対応する時間のものに更新表示される。なお、更新後のセンサデータビューワ画面および更新後のアノテーションデータビューワ画面では、当該点に対応する部分（図２および図３の点線枠部分）がハイライトされてもよい。
【００６３】
さらに、実験者がこの選択した点について削除操作を行うと、当該点に対応するデータがアノテーションＤＢ１６ｂおよび辞書ＤＢ１６ｃから削除され、これに伴ってセンサデータビューワ画面およびアノテーションデータビューワ画面もさらに更新される。すなわち、図２のセンサデータビューワ画面からは“手指交差洗い”が削除され、図３のアノテーションデータビューワ画面からは“０９：０２：２０：８００”および“手指交差洗い：開始”ならびに“０９：０２：２１：７００”および“手指交差洗い：終了”が削除される。
【００６４】
従って、実験者は、図５，図６に示した散布図ウィンドウＷ１を通じて外れ値候補（孤立点）の有無を確認し、もし外れ値候補があれば、その孤立点に対応するセンサデータやビデオ映像を図２〜図４に示した各種ビューワ画面で確認して、必要ならこのようなセンサデータやビデオ映像を孤立点とクラスタ内の点との間で比較して、その孤立点が実際に外れ値かどうかを判断した上で、削除操作を行うことができる。
【００６５】
会話的ラベル付加アプリケーション２２は、図７に示すような散布図ウィンドウＷ２および図８に示すようなラベル候補ウィンドウＷ３を通して、会話的にアノテーションＤＢ１６ｂおよび辞書ＤＢ１６ｃに新たなデータを追記する。詳しくは、散布図ウィンドウＷ２およびラベル候補ウィンドウＷ３は、ユーザがセンサＤＢ１６ａのセンサデータに関して１つ以上のラベルおよび特徴ベクトルの２成分を指定するのに応じて表示される。
【００６６】
図７の散布図ウィンドウＷ２では、図５（Ａ）のそれと同様、ラベルとして“手拭き”，“手洗い”，“手袋”，“消毒”が、２成分としては“１”および“２”がそれぞれ指定されており、これら指定されたラベルおよび成分に対応する特徴を示す点がプロットされている。ここでも各点はラベル毎にクラスタを形成しているが、図５（Ａ）のそれとは異なり、各クラスタから孤立した点（星型）も多数存在している。そして、これら孤立点のうち時間的近接性を有するものが新たなクラスタを形成しており、この新たな“時間的近接性のあるクラスタ”がラベル付加候補としてハイライト表示されている。
【００６７】
図７のような散布図ウィンドウＷ２内でラベル付加候補としてハイライト表示されているクラスタの１つが実験者によって指定されると、会話的ラベル付加アプリケーション２２は、図８に示すようなラベル候補ウィンドウＷ３を表示する。このラベル候補ウィンドウＷ３には、指定ラベル（つまり“手拭き”，“手洗い”，…）およびその下位ラベル（たとえば“手濡らし”，“手のひら洗い”，…，“ペーパータオル取り”，…など）が表示される。
【００６８】
図８のようなラベル候補ウィンドウＷ３に表示されているラベル候補のうち１つを実験者が指定すると、会話的ラベル付加アプリケーション２２は、先に散布図ウィンドウＷ２で指定されたクラスタに含まれる点に対応する特徴（つまり未知の特徴）に対し、ここで指定されたラベルを付加すると共に、特徴に対応する時間を特定する。そして、これら特徴および時間を示すアノテーションデータをアノテーションＤＢ１６ｂに追記する一方、これら特徴およびラベルを示す辞書データを辞書ＤＢ１６ｃに追記する。
【００６９】
以上のようなシステム１００の動作のうち、特に会話的外れ値削除アプリケーション１８および会話的ラベル付加アプリケーション２２を実現するために、ＰＣ１０が行う情報処理について、次に説明する。
【００７０】
ＰＣ１０は、図９に示すように、無線ＬＡＮモジュール１０Ｌ，時計１０Ｔ，ＣＰＵ５０，ＬＣＤモニタ５２，キー入力装置５４およびメインメモリ５６を含む。無線ＬＡＮモジュール１０Ｌは、ＣＰＵ５０の制御下で、センサ１２およびビデオカメラ２４にそれぞれ設けられた無線ＬＡＮモジュール１２Ｌおよび２４Ｌと無線ＬＡＮ通信を行う。時計１０Ｔは、センサ１２およびビデオカメラ２４にそれぞれ設けられた時計１２Ｔおよび２４Ｔと同期しており、ＣＰＵ５０に必要な時刻情報を与える。
【００７１】
ＬＣＤモニタ５２は、ＣＰＵ５０の制御下で、図２〜図８のような画像を表示する。キー入力装置５４は、実験者の操作を受け、対応するコマンドをＣＰＵ５０に与える。メインメモリ５６には、ＣＰＵ５０が処理を行うためのプログラムおよびデータが記憶される。詳しくは、図１０に示すように、メインメモリ５６にはプログラム領域５６ａおよびデータ領域５６ｂが形成され、プログラム領域５６ａには会話的外れ値削除プログラム６０，会話的ラベル付加プログラム６２，表示制御プログラム６４および通信制御プログラム６６などが格納されている。
【００７２】
会話的外れ値削除プログラム６０は、会話的外れ値削除アプリケーション１８を実現するためのメインプログラムであり、これに対応するフローチャートが図１１〜図１３に示されている。会話的ラベル付加プログラム６２は、会話的ラベル付加アプリケーション２２を実現するためのメインプログラムであり、これに対応するフローチャートが図１４〜図１５に示されている。表示制御プログラム６４は、会話的外れ値削除プログラム６０および会話的ラベル付加プログラム６２によって利用されるサブプログラムであり、これにより図２〜図８のような画像の表示が実現される。通信制御プログラム６６は、会話的外れ値削除プログラム６０および会話的ラベル付加プログラム６２によって利用されるサブプログラムであり、これによってＰＣ１０とセンサ１２やビデオカメラ２４との無線通信が実現される。
【００７３】
データ領域５６ｂは、センサデータ領域７０，アノテーションデータ領域７２，辞書データ領域７４，ビデオ映像データ領域７６および変数／パラメータ領域７８などを含む。各種データ領域７０〜７８は、各種ＤＢ１６ａ〜１６ｄから読み込まれた各種データを記憶するための領域である。変数／パラメータ領域７４は、プログラムで使用される各種の変数（特徴ベクトルＸ，時刻ベクトルＴ，正準ベクトルＣ，主成分ベクトルＰ，…）やパラメータ（ｃｌａｓｓ，α，Ｆｌａｇ，ｄｔ，ｐａｒａｍ，…）を記憶するための領域である。
【００７４】
図１１を参照して、会話的外れ値削除プログラム６０が起動されると、ＣＰＵ５０は、まず、ステップＳ１で各種ＤＢ１６ａ〜１６ｄから各種データを各種データ領域７０〜７８に読み込み、ステップＳ３では、読み込んだ各種データに基づいて図２〜図４のような各種ビューワ画面をＬＣＤモニタ５２に表示する。
【００７５】
次に、ステップＳ５で、ラベルおよび特徴ベクトルの２成分を指定する操作をキー入力装置５４を通じて受け付け、ステップＳ７では、指定されたラベルおよびセンサデータに対して特徴抽出処理を行い、特徴ベクトルＸおよび時刻ベクトルＴを求める。ステップＳ９では、特徴ベクトルＸに対して正準相関変換処理を施して、正準ベクトルＣを求める。そしてステップＳ１１で、散布図ウィンドウＷ１内に、求めた正準ベクトルＣの指定２成分（に対応する点）をプロット表示する（図５，図６参照）。
【００７６】
次に、ステップＳ１３で、キー入力装置５４の操作に基づいてパラメータの設定を行う。これによって、“ｃｌａｓｓ”には対象クラスが、“α”には外れ値係数が、“Ｆｌａｇ”には時間的近接性考慮フラグが、そして“ｄｔ”には時間的近接性に関する閾値が、それぞれ設定される。ステップＳ１５では、正準ベクトルＣ，時刻ベクトルＴおよびパラメータ（ｃｌａｓｓ，α，Ｆｌａｇ，ｄｔ）に基づいて外れ値処理（図１３参照：後述）を行い、“Ｏｕｔｌｉｅｒ”および“Ｃｏｎｔｉｎｕｉｔｙ”を求める。ここで、“Ｏｕｔｌｉｅｒ”は外れ値となる正準ベクトルの配列であり、“Ｃｏｎｔｉｎｕｉｔｙ”は外れ値の時間的近接性の有無（Ｔｒｕｅ／Ｆａｌｓｅ）に関する配列である。ステップＳ１７では、“Ｏｕｔｌｉｅｒ”を“Ｃｏｎｔｉｎｕｉｔｙ”がＴｒｕｅのもの（“Ｏｕｔｌｉｅｒ＿ｃｏｎｔ”）とＦａｌｓｅのもの（“Ｏｕｔｌｉｅｒ＿ｄｉｓｃｏｎｔ”）とに分類する。そしてステップＳ１９で、“Ｏｕｔｌｉｅｒ＿ｃｏｎｔ”および“Ｏｕｔｌｉｅｒ＿ｄｉｓｃｏｎｔ”を互いに異なる態様（大きさや色）でハイライト表示する。
【００７７】
次に、ステップＳ２１で、散布図ウィンドウＷ１内のいずれかの点を指定する操作をキー入力装置５４を通じて受け付け（図５（Ａ）参照）、ステップＳ２３では、指定された点に対応する時刻を算出する。ステップＳ２５では、各種ビューワの画面（図２〜図４参照）を算出した時刻のものに更新表示する。センサデータビューワ画面およびアノテーションデータビューワ画面で当該時間区間をハイライト表示してもよい。ステップＳ２７では、キー入力装置５４を通じて、先に指定した点を対象とする外れ値削除操作を受け付ける。そして、ステップＳ２９で外れ値削除操作の有無を判別し、ＮＯであればステップＳ１３に戻って同様の処理を繰り返す。
【００７８】
ステップＳ２９でＹＥＳであれば、ステップＳ３１で当該点に対応する正準ベクトルＣひいては特徴ベクトルＸを削除する。ステップＳ３３では散布図ウィンドウＷ１を更新表示し、ステップＳ３５ではアノテーションＤＢ１６ｂおよび辞書ＤＢ１６ｃを更新し、ステップＳ３７では各種ビューワ画面を更新表示する。そしてステップＳ３９で終了するか否かの判定を行い、ＮＯであればステップＳ５に戻って同様の処理を繰り返す。キー入力装置５４による終了操作が行われると、ステップＳ３９でＹＥＳと判定し、この処理を終了する。
【００７９】
上記ステップＳ１５の外れ値処理は、図１３のサブルーチンに従って実行される。ステップＳ５１では、正準ベクトルＣのうち“ｃｌａｓｓ”で指定されたサンプルに相当する正準サンプルベクトルＣ*＝Ｃ＿ｓ．ｔ．（クラスレベル＝ｃｌａｓｓ）について、その平均ベクトルμｉ（１≦ｉ≦ｄ）と、共分散行列の対角成分σｉ（１≦ｉ≦ｄ）つまり［σ１，σ２，…，σｄ］＝ｄｉａｇ（Ｃｏｖ（Ｃ*））とを求める。また、Ｃ*のサンプル数（つまり正準ベクトルＣのうち“ｃｌａｓｓ”で指定したラベルを持つサンプルの数）を求め、これを“Ｋ”とする。さらに、平均ベクトルμｉの近傍にあるサンプルベクトルの時刻の平均を求め、これを“Ｔ*”とする。
【００８０】
ステップＳ５３では、カウンタを初期化する（ｋ＝１）。ステップＳ５５では、全データについて処理が終了したか否か（ｋ＞Ｋ？）を判別する。ここでＹＥＳであれば上位層のルーチンに復帰し、ＮＯであればステップＳ５７に進む。ステップＳ５７では、正準サンプルベクトルＣ*（ｋ）の各要素Ｃ*（ｋ）ｉについて平均ベクトルμｉとの差Ｄｉを計算する（Ｄｉ＝｜Ｃ*（ｋ）ｉ−μｉ｜）。ステップＳ５９では、計算結果のうちＤｉ＞α×σｉとなる要素があるか否かを判別し、ＹＥＳであれば（１つでもあれば）ステップＳ７１に進む一方、ＮＯであれば（１つもなければ）ステップＳ６１に進む。
【００８１】
ステップＳ６１では、“Ｏｕｔｌｉｅｒ”にｋを追加する。ステップＳ６３では、時間的近接性を考慮するか否かを“Ｆｌａｇ”により判別する。Ｆｌａｇ＝ＴｒｕｅであればＹＥＳと判別してステップＳ７１に進む一方、Ｆｌａｇ＝ＦａｌｓｅであればＮＯと判別してステップＳ６５に進む。
【００８２】
ステップＳ６５では、時刻Ｔ（ｋ）と時刻Ｔ*との絶対値差分が先に指定した閾値つまり“ｄｔ”を超えている否か（｜Ｔ（ｋ）−Ｔ*｜＞ｄｔ？）を判別する。ここでＹＥＳであれば、ステップＳ６７で“Ｃｏｎｔｉｎｕｉｔｙ［ｋ］”に“Ｔｒｕｅ”をセットした後、ステップＳ７１に進む。一方、ＮＯであれば、ステップＳ６９で“Ｃｏｎｔｉｎｕｉｔｙ［ｋ］”に“Ｆａｌｓｅ”をセットした後、ステップＳ７１に進む。
【００８３】
ステップＳ７１では、カウンタをインクリメントし（ｋ＝ｋ＋１）、その後、ステップＳ５５に戻って同様の処理を繰り返す。
【００８４】
図１４を参照して、会話的ラベル付加プログラム６２が起動されると、ＣＰＵ５０は、まず、ステップＳ８１で各種ＤＢ１６ａ〜１６ｄから各種データを各種データ領域７０〜７８に読み込み、ステップＳ８３では、読み込んだ各種データに基づいて図２〜図４のような各種ビューワ画面をＬＣＤモニタ５２に表示する。
【００８５】
次に、ステップＳ８５で、ラベルおよび特徴ベクトルの２成分を指定する操作をキー入力装置５４を通じて受け付け、ステップＳ８７では、指定されたラベルおよびセンサデータに対して特徴抽出処理を行い、特徴ベクトルＸおよび時刻ベクトルＴを求める。ステップＳ８９では、特徴ベクトルＸに対して主成分分析処理を施して、主成分ベクトルＰを求める。そしてステップＳ９１で、散布図ウィンドウＷ２内に、求めた主成分ベクトルＰの指定２成分（に対応する点）をプロット表示する（図７参照）。
【００８６】
次に、ステップＳ９３で、キー入力装置５４の操作に基づいてパラメータの設定を行う。これによって、“ｐａｒａｍ”にはクラスタリングパラメータが、“Ｆｌａｇ”には時間的近接性考慮フラグが、そして“ｄｔ”には時間的近接性に関する閾値が、それぞれ設定される。ステップＳ９５では、主成分ベクトルＣ，時刻ベクトルＴおよびパラメータ（ｐａｒａｍ，Ｆｌａｇ，ｄｔ）に基づいてクラスタリング処理を行い、“Ｃｌｕｓｔｅｒ”および“Ｃｏｎｔｉｎｕｉｔｙ”を求める。ここで、“Ｃｌｕｓｔｅｒ”はクラスタリング処理の結果であるクラスタの配列であり、“Ｃｏｎｔｉｎｕｉｔｙ”はクラスタの時間的近接性の有無（Ｔｒｕｅ／Ｆａｌｓｅ）に関する配列である。クラスタリング処理には、多変量混合正規分布を仮定したＥＭ(Expectation Maximization)アルゴリズムによるクラスタリング手法や、標準的クラスタリング手法であるＫ平均法（ｋ−ｍｅａｎｓ）などを用いることができる。
【００８７】
ステップＳ９７では、“Ｃｌｕｓｔｅｒ”を“Ｃｏｎｔｉｎｕｉｔｙ”がＴｒｕｅのも（“Ｃｌｕｓｔｅｒ＿ｃｏｎｔ”）とＦａｌｓｅのもの（“Ｃｌｕｓｔｅｒ＿ｄｉｓｃｏｎｔ”）とに分類する。そしてステップＳ９９で、“Ｃｌｕｓｔｅｒ＿ｃｏｎｔ”および“Ｏｕｔｌｉｅｒ＿ｄｉｓｃｏｎｔ”を互いに異なる態様（大きさや色）でハイライト表示する。
【００８８】
次に、ステップＳ１０１で、散布図ウィンドウＷ２内のいずれかのクラスタを指定するカーソルＣの操作をキー入力装置５４を通じて受け付け（図７参照）、ステップＳ１０３では、指定されたクラスタに対応する時間区間を算出する。ステップＳ１０５では、各種ビューワの画面（図２〜図４参照）を算出した時間区間のものに更新表示する。センサデータビューワ画面およびアノテーションデータビューワ画面で当該時間区間をハイライト表示してもよい。ステップＳ１０７では、図８のようなラベル候補ウィンドウＷ３をＬＣＤモニタ５２に表示して、先に指定したクラスタを対象とするラベル付与操作をキー入力装置５４を通じて受け付ける。具体的には、実験者がラベル候補ウィンドウＷ３に示されたラベルの１つをカーソル操作により選択するか、またはラベル候補ウィンドウＷ３にない新規のラベルを文字キー操作で入力する。そして、ステップＳ１０９でラベル付与操作の有無を判別し、ＮＯであればステップＳ９３に戻って同様の処理を繰り返す。
【００８９】
ステップＳ１０９でＹＥＳであれば、ステップＳ１１１で当該クラスタに対応する主成分ベクトルＰひいては特徴ベクトルＸに対してラベルを付加する。ステップＳ１１３では散布図ウィンドウＷ２を更新表示し、ステップＳ１１５ではアノテーションＤＢ１６ｂを更新し、ステップＳ１１７では各種ビューワ画面を更新表示する。そしてステップＳ１１９で終了するか否かの判定を行い、ＮＯであればステップＳ８５に戻って同様の処理を繰り返す。キー入力装置５４による終了操作が行われると、ステップＳ１１９でＹＥＳと判定し、この処理を終了する。
【００９０】
以上から明らかなように、この実施例の行動識別システム１００はＰＣ１０を含み、ＰＣ１０はセンサＤＢ１６ａ，辞書ＤＢ１６ｃ，行動識別エンジン１４，アノテーションＤＢ１６ｂ，会話的外れ値削除アプリケーション１８，データビューワ２０および会話的ラベル付加アプリケーション２２の各機能を実現する。センサＤＢ１６ａはセンサ１２からのセンサ情報および時計１２Ｔからの時刻情報を蓄積している。辞書ＤＢ１６ｃは被験者が行い得る各行動について特徴およびラベルを示す辞書情報を蓄積している。行動識別エンジン１４は、センサ情報および時刻情報が入力され、当該センサ情報から特徴を抽出し、抽出した特徴と辞書ＤＢ１６ｃの比較に基づいて当該特徴に対応するラベルを選択し、抽出した特徴に対応する時間を時刻情報に基づいて特定し、そして抽出した特徴，選択したラベルおよび特定した時間を示す行動情報を出力する。アノテーションＤＢ１６ｂは、行動識別エンジンから出力される行動情報が示すラベルおよび時間をアノテーション情報として蓄積する。データビューワ２０は、センサＤＢ１６ａに基づくセンサデータ画面にアノテーションＤＢ１６ｂに基づくアノテーション情報を時刻情報に基づいて付加して、当該アノテーション付きセンサデータ画面（図２）をＬＣＤモニタ５２に表示する。
【００９１】
そして、会話的削除アプリケーション１８は、行動識別エンジン１４から出力される行動情報が示す特徴，ラベルおよび時間を、ＬＣＤモニタ５２に表示されたアノテーション付きセンサデータ画面を参照しつつキー入力装置５４で行われる外れ値削除操作に応じて、辞書ＤＢ１６ｃおよびアノテーションＤＢ１６ｂから削除する（Ｓ１〜Ｓ３９，Ｓ５１〜Ｓ７１）。こうして、センサＤＢ１６ａおよびアノテーションＤＢ１６ｂから外れ値を会話的に削除することができる。
【００９２】
一方、会話的ラベル付加アプリケーション２２は、行動識別エンジン１４から出力される行動情報が示す特徴，ラベルおよび時間を、ＬＣＤモニタ５２に表示されたアノテーション付きセンサデータ画面を参照しつつキー入力装置５４で行われるラベル付加操作に応じて、辞書ＤＢ１６ｃおよびアノテーションＤＢ１６ｂに追加する（Ｓ８１〜Ｓ１１９）。こうして、センサ情報に基づくラベル付加、および付加したラベルのセンサＤＢ１６ａおよびアノテーションＤＢ１６ｂへの登録を、事後的かつ会話的に行える。
【００９３】
なお、この実施例では、行動識別エンジン１４へは、センサＤＢ１６ａに蓄積されているセンサ情報を入力したが、センサ１２から出力されるセンサ情報をリアルタイムに入力してもよい。
【００９４】
また、この実施例では、センサ１２として４個の３軸加速度センサを用いたが、これに加えて、赤外線送受信機を利用した位置センサや、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュールなどを利用した近接センサを用いてもよい。この場合、位置センサや近接センサの各時計もＰＣ１０の時計１０Ｔと同期しており、センサＤＢ１６ａは、位置センサからの位置情報や近接センサからの近接情報も時刻情報と共に蓄積する。行動識別エンジン１４は、主として加速度情報に基づいて、位置情報や近接情報も適宜参照しつつ、行動識別を行う。
【００９５】
以上では、看護業務への適用例を説明したが、この発明は、たとえば製造，物流など他の業務にも適用できる。
【符号の説明】
【００９６】
１０ …ＰＣ
１２ …センサ（３軸加速度センサ×４）
１４ …行動識別エンジン
１６ …データマネージャ
１８ …会話的外れ値削除アプリケーション
２０ …データビューワ
２２ …会話的ラベル付加アプリケーション
２４ …ビデオカメラ
５０ …ＣＰＵ
５２ …ＬＣＤモニタ
５４ …キー入力装置
５６ …メインメモリ
１０Ｔ，１２Ｔ，２４Ｔ …時計
１６ａ …センサＤＢ
１６ｂ …アノテーションＤＢ
１６ｃ …辞書ＤＢ
１６ｄ …ビデオＤＢ
１００ …行動識別システム
【技術分野】
【０００１】
この発明は、行動識別システムに関し、特にたとえば、医療現場において看護師が行う行動を、センサからのセンサ情報および時計からの時刻情報に基づいて識別する、行動識別システムに関する。
【背景技術】
【０００２】
従来のこの種のシステムとしては、特許文献１に記載されたものが知られている。この背景技術では、被験者（看護師）に加速度センサを装着して加速度データを収集する一方、実験者が被験者に随伴して行動の時間（開始時刻および終了時刻）とラベル（識別情報）とを記録する。たとえば、被験者が歩行すると、実験者は、その時間を特定して“歩行”というラベルを付与する。こうして実験者が特定した時間および付与したラベルが、加速度センサで収集された加速度データと共にサーバに入力され、サーバは、当該加速度データから当該時間に属する部分を切り出してその特徴を計算し、当該特徴および当該ラベルを互いに関連付けてデータベース（以下“ＤＢ”）に記録する。
【０００３】
このような処理を繰り返すことで、ＤＢ内に特徴およびラベルの間の対応関係を示す情報（辞書情報）が蓄積されていく。サーバは、こうして生成された辞書ＤＢを参照することで、加速度データに基づいて看護師の行動を識別することができる。
【特許文献１】特開２００９−３９４６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、背景技術では、たとえば“手洗い”というラベルを付された行動の特徴が手洗いとは異なる行動の特徴（外れ値）をも含んでいて、辞書ＤＢの精度が低下する場合があった。
【０００５】
また、背景技術は、実験者が被験者に随伴して時間特定およびラベル付与を行うものであり、加速度データに基づいて事後的にこれらを行うことはできなかった。
【０００６】
それゆえに、この発明の主たる目的は、新規な行動識別システムを提供することである。
【０００７】
この発明の他の目的は、辞書等のＤＢから外れ値を会話的に（実験者に情報を提示してその指示に応じて）削除することができる、行動識別システムを提供することである。
【０００８】
この発明のその他の目的は、加速度などのセンサ情報に基づくラベル付加、および付加したラベルのＤＢへの登録を、事後的かつ会話的に行うことができる、行動識別システムを提供することである。
【課題を解決するための手段】
【０００９】
本発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明などは、本発明の理解を助けるために後述する実施の形態との対応関係を示したものであって、本発明を何ら限定するものではない。
【００１０】
第１の発明は、被験者の行動をセンサからのセンサ情報および時計からの時刻情報に基づいて識別する行動識別システムであって、センサ情報および時刻情報を蓄積したセンサＤＢ、被験者が行い得る各行動について特徴およびラベルを示す辞書情報を蓄積した辞書ＤＢ、センサ情報および時刻情報が入力され、当該センサ情報から特徴を抽出し、抽出した特徴と辞書ＤＢの比較に基づいて当該特徴に対応するラベルを選択し、抽出した特徴に対応する時間を時刻情報に基づいて特定し、そして抽出した特徴，選択したラベルおよび特定した時間を示す行動情報を出力する行動識別手段、行動識別手段から出力される行動情報が示すラベルおよび時間をアノテーション情報として蓄積するアノテーションＤＢ、センサＤＢに基づくセンサデータ画面にアノテーションＤＢに基づくアノテーション情報を時刻情報に基づいて付加して、当該アノテーション付きセンサデータ画面をモニタに表示する第１表示手段、および行動識別手段から出力される行動情報が示す特徴，ラベルおよび時間を、モニタに表示されたアノテーション付きセンサデータ画面を参照しつつ入力装置で行われる外れ値削除操作に応じて、辞書ＤＢおよびアノテーションＤＢから削除する、会話的削除手段を備える。
【００１１】
第１の発明では、行動識別システム（１００）は、センサＤＢ（１６ａ）、辞書ＤＢ（１６ｃ）、行動識別手段（１４）、アノテーションＤＢ（１６ｂ）、第１表示手段（２０）および会話的削除手段（１８，Ｓ１〜Ｓ３９，Ｓ５１〜Ｓ７１）を備える。センサＤＢは、センサ（１２）からのセンサ情報および時計（１２Ｔ）からの時刻情報を蓄積している。辞書ＤＢは、被験者が行い得る各行動について特徴およびラベルを示す辞書情報を蓄積している。行動識別手段は、センサ情報および時刻情報が入力され、当該センサ情報から特徴を抽出し、抽出した特徴と辞書ＤＢの比較に基づいて当該特徴に対応するラベルを選択し、抽出した特徴に対応する時間を時刻情報に基づいて特定し、そして抽出した特徴，選択したラベルおよび特定した時間を示す行動情報を出力する。アノテーションＤＢは、行動識別手段から出力される行動情報が示すラベルおよび時間をアノテーション情報として蓄積する。第１表示手段は、センサＤＢに基づくセンサデータ画面にアノテーションＤＢに基づくアノテーション情報を時刻情報に基づいて付加して、当該アノテーション付きセンサデータ画面（図２）をモニタ（５２）に表示する。会話的削除手段は、行動識別手段から出力される行動情報が示す特徴，ラベルおよび時間を、モニタに表示されたアノテーション付きセンサデータ画面を参照しつつ入力装置（５４）で行われる外れ値削除操作に応じて、辞書ＤＢおよびアノテーションＤＢから削除する。
【００１２】
第１の発明によれば、辞書データＤＢおよびアノテーションＤＢから外れ値を会話的に削除することができる。
【００１３】
第２の発明は、第１の発明に従属する行動識別システムであって、会話的削除手段は、行動識別手段から出力される行動情報が示す特徴を第１ベクトルに変換して各第１ベクトルの散布状態を示す第１散布図画像をモニタに表示する第２表示手段を含み、外れ値削除操作はさらに第１散布図画像も参照しつつ行われる。
【００１４】
第２の発明では、会話的削除手段は第２表示手段（Ｓ５〜Ｓ１９）を含む。第２表示手段は、行動識別手段から出力される行動情報が示す特徴を第１ベクトルに変換して、各第１ベクトルの散布状態を示す第１散布図画像（Ｗ１：図５（Ａ），図５（Ｂ），図６（Ａ），図６（Ｂ））をモニタに表示する。外れ値削除操作は、さらに第１散布図画像も参照しつつ行われる。
【００１５】
第２の発明によれば、各第１ベクトルの散布状態を表示することで、実験者は各第１ベクトルが外れ値であるか否かの判断を各第１ベクトルの間の位置関係に基づいて行える。
【００１６】
第３の発明は、第２の発明に従属する行動識別システムであって、第２表示手段は、各第１ベクトルに外れ値判定処理を施して判定結果が外れ値を示す第１ベクトルを外れ値候補としてハイライト表示する（図６（Ａ），図６（Ｂ））。
【００１７】
第３の発明によれば、外れ値候補をハイライト表示することで、実験者は各第１ベクトルが外れ値であるか否かの判断を容易に行える。
【００１８】
第４の発明は、第３の発明に従属する行動識別システムであって、第２表示手段はさらに、各第１ベクトルについて時間的近接性の有無を判別し、当該判別結果が時間的近接性ありを示す第１ベクトルと時間的近接性なしを示す第１ベクトルとでハイライト表示の態様を異ならせる（図６（Ｂ））。
【００１９】
第４の発明によれば、ハイライト表示の態様（色，明るさ，点滅周期，形状，大きさなど）を時間的近接性の有無により異ならせるので、実験者は各第１ベクトルが外れ値であるか否かの判断をいっそう容易に行える。
【００２０】
第５の発明は、第１ないし第４のいずれかの発明に従属する行動識別システムであって、行動識別手段から出力される行動情報が示す特徴，ラベルおよび時間を、モニタに表示されたアノテーション付きセンサデータ画面を参照しつつ入力装置で行われるラベル付加操作に応じて、辞書ＤＢおよびアノテーションＤＢに追加する、会話的追加手段をさらに備える。
【００２１】
第５の発明では、行動識別システムは会話的追加手段（２２，Ｓ８１〜Ｓ１１９）をさらに備える。会話的追加手段は、行動識別手段から出力される行動情報が示す特徴，ラベルおよび時間を、モニタに表示されたアノテーション付きセンサデータ画面を参照しつつ入力装置で行われるラベル付加操作に応じて、辞書ＤＢおよびアノテーションＤＢに追加する。
【００２２】
第５の発明によれば、センサ情報に基づくラベル付加、および付加したラベルのアノテーションＤＢおよび辞書ＤＢへの登録を、事後的かつ会話的に行うことができる。
【００２３】
第６の発明は、第５の発明に従属する行動識別システムであって、会話的追加手段は、行動識別手段から出力される行動情報が示す特徴を第２ベクトルに変換して各第２ベクトルをクラスタ化し、各第２ベクトルの散布状態をクラスタリング情報と共に示す第２散布図画像をモニタに表示する第３表示手段をさらに含み、ラベル付加操作はさらに第２散布図画像も参照しつつ行われる。
【００２４】
第６の発明では、会話的追加手段は第３表示手段（Ｓ８５〜Ｓ９９）を含む。第３表示手段は、行動識別手段から出力される行動情報が示す特徴を第２ベクトルに変換して各第２ベクトルをクラスタ化し、各第２ベクトルの散布状態をクラスタリング情報と共に示す第２散布図画像（Ｗ２：図７）をモニタに表示する。ラベル付加操作は、さらに第２散布図画像も参照しつつ行われる。
【００２５】
第６の発明によれば、各第２ベクトルの散布状態をクラスタリング情報と共に表示することで、実験者は、各第２ベクトルの間の位置関係およびクラスタリング情報に基づいて、各第２ベクトルが示す行動をクラスタとして認識できる。
【００２６】
第７の発明は、第６の発明に従属する行動識別システムであって、第３表示手段はさらに、各クラスタについて時間的近接性の有無を判別し、当該判別結果が時間的近接性ありを示すクラスタをラベル付加候補としてハイライト表示する。
【００２７】
第７の発明によれば、時間的近接性のあるクラスタをラベル付加候補としてハイライト表示するので、実験者はラベルを付加すべき行動に対応するクラスタを容易に認識できる。
【００２８】
第８の発明は、被験者の行動をセンサからのセンサ情報および時計からの時刻情報に基づいて識別する行動識別システムであって、センサ情報および時刻情報を蓄積したセンサＤＢ、被験者が行い得る各行動について特徴およびラベルを示す辞書情報を蓄積した辞書ＤＢ、センサ情報および時刻情報が入力され、当該センサ情報から特徴を抽出し、抽出した特徴と辞書ＤＢの比較に基づいて当該特徴に対応するラベルを選択し、抽出した特徴に対応する時間を時刻情報に基づいて特定し、そして抽出した特徴，選択したラベルおよび特定した時間を示す行動情報を出力する行動識別手段、行動識別手段から出力される行動情報が示すラベルおよび時間をアノテーション情報として蓄積するアノテーションＤＢ、センサＤＢに基づくセンサデータ画面にアノテーションＤＢに基づくアノテーション情報を時刻情報に基づいて付加して、当該アノテーション付きセンサデータ画面をモニタに表示する、第１表示手段、および行動識別手段から出力される行動情報が示す特徴，ラベルおよび時間を、モニタに表示されたアノテーション付きセンサデータ画面を参照しつつ入力装置で行われるラベル付加操作に応じて、辞書ＤＢおよびアノテーションＤＢに追加する、会話的追加手段を備える。
【００２９】
第８の発明では、行動識別システム（１００）は、センサＤＢ（１６ａ）、辞書ＤＢ（１６ｃ）、行動識別手段（１４）、アノテーションＤＢ（１６ｂ）、第１表示手段（２０）および会話的追加手段（２２，Ｓ８１〜Ｓ１１９）を備える。センサＤＢは、センサ（１２）からのセンサ情報および時計（１２Ｔ）からの時刻情報を蓄積している。辞書ＤＢは、被験者が行い得る各行動について特徴およびラベルを示す辞書情報を蓄積している。行動識別手段は、センサ情報および時刻情報が入力され、当該センサ情報から特徴を抽出し、抽出した特徴と辞書ＤＢの比較に基づいて当該特徴に対応するラベルを選択し、抽出した特徴に対応する時間を時刻情報に基づいて特定し、そして抽出した特徴，選択したラベルおよび特定した時間を示す行動情報を出力する。アノテーションＤＢは、行動識別手段から出力される行動情報が示すラベルおよび時間をアノテーション情報として蓄積する。第１表示手段は、センサＤＢに基づくセンサデータ画面にアノテーションＤＢに基づくアノテーション情報を時刻情報に基づいて付加して、当該アノテーション付きセンサデータ画面（図２）をモニタ（５２）に表示する。会話的追加手段は、行動識別手段から出力される行動情報が示す特徴，ラベルおよび時間を、モニタに表示されたアノテーション付きセンサデータ画面を参照しつつ入力装置（５４）で行われるラベル付加操作に応じて、辞書ＤＢおよびアノテーションＤＢに追加する。
【００３０】
第８の発明によれば、センサ情報に基づくラベル付加、および付加したラベルのアノテーションＤＢおよび辞書ＤＢへの登録を、事後的かつ会話的に行うことができる。
【００３１】
第９の発明は、第８の発明に従属する行動識別システムであって、会話的追加手段は、行動識別手段から出力される行動情報が示す特徴をベクトルに変換して各ベクトルをクラスタ化し、各ベクトルの散布状態をクラスタリング情報と共に示す散布図画像をモニタに表示する第２表示手段を含み、ラベル付加操作はさらに散布図画像も参照しつつ行われる。
【００３２】
第９の発明では、会話的追加手段は第２表示手段（Ｓ８５〜Ｓ９９）を含む。第２表示手段は、行動識別手段から出力される行動情報が示す特徴をベクトルに変換して各ベクトルをクラスタ化し、各ベクトルの散布状態をクラスタリング情報と共に示す散布図画像（図７）をモニタに表示する。ラベル付加操作は、さらに散布図画像も参照しつつ行われる。
【００３３】
第９の発明によれば、各ベクトルの散布状態をクラスタリング情報と共に表示することで、実験者は、各ベクトルの間の位置関係およびクラスタリング情報に基づいて、各ベクトルが示す行動をクラスタとして認識できる。
【００３４】
第１０の発明は、第９の発明に従属する行動識別システムであって、第２表示手段はさらに、各クラスタについて時間的近接性の有無を判別し、当該判別結果が時間的近接性ありを示すクラスタをラベル付加候補としてハイライト表示する。
【００３５】
第１０の発明によれば、時間的近接性のあるクラスタをラベル付加候補としてハイライト表示するので、実験者はラベルを付加すべき行動に対応するクラスタを容易に認識できる。
【００３６】
第１１の発明は、第１ないし第１０のいずれかの発明に従属する行動識別システムであって、ビデオカメラからのビデオ映像情報および時計と同期した第２時計からの時刻情報を蓄積したビデオＤＢをさらに備え、第１表示手段はビデオ映像情報および時刻情報に基づくビデオ映像をモニタにさらに表示し、外れ値削除操作および／またはラベル付加操作はさらにビデオ映像も参照しつつ行われる。
【００３７】
第１１の発明では、行動識別システムはビデオＤＢ（１６ｄ）をさらに備える。ビデオＤＢは、ビデオカメラ（２４）からのビデオ映像情報および時計と同期した第２時計（２４Ｔ）からの時刻情報を蓄積している。第１表示手段はビデオ映像情報および時刻情報に基づくビデオ映像（図４）をモニタにさらに表示し、外れ値削除操作および／またはラベル付加操作はさらにビデオ映像も参照しつつ行われる。
【００３８】
第１１の発明によれば、実験者は、ビデオ映像も参照することで、外れ値削除やラベル付加に関する判断をよりいっそう容易に行える。
【発明の効果】
【００３９】
この発明によれば、ＤＢから外れ値を会話的に削除できる、行動識別システムが実現される。また、センサ情報に基づくラベル付加、および付加したラベルのＤＢ登録を、事後的かつ会話的に行える、行動識別システムが実現される。この結果、精度の高いＤＢを容易に構築できるようになり、行動識別システムの識別精度を高めることができる。
【００４０】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００４１】
【図１】この発明の一実施例である行動識別システムの構成を示すブロック図である。
【図２】センサデータ（加速度データ）ビューワ画面の一例を示す図解図である。
【図３】アノテーションデータビューワ画面の一例を示す図解図である。
【図４】ビデオ映像ビューワ画面の一例を示す図解図である。
【図５】（Ａ）は散布図ウィンドウの一例を示す図解図であり、（Ｂ）は散布図ウィンドウの他の一例を示す図解図である。
【図６】（Ａ）は散布図ウィンドウのその他の一例を示す図解図であり、（Ｂ）は散布図ウィンドウのさらにその他の一例を示す図解図である。
【図７】散布図ウィンドウの他の一例を示す図解図である。
【図８】ラベル候補ウィンドウの一例を示す図解図である。
【図９】ＰＣの構成例を示すブロック図である。
【図１０】ＰＣのメインメモリのメモリマップを示す図解図である。
【図１１】ＰＣのＣＰＵ動作の一部を示すフロー図である。
【図１２】ＰＣのＣＰＵ動作の他の一部を示すフロー図である。
【図１３】ＰＣのＣＰＵ動作のその他の一部を示すフロー図である。
【図１４】ＰＣのＣＰＵ動作のさらにその他の一部を示すフロー図である。
【図１５】ＰＣのＣＰＵ動作の他の一部を示すフロー図である。
【発明を実施するための形態】
【００４２】
図１を参照して、この発明の一実施例である行動識別システム１００（以下“システム１００”）は、ＰＣ１０，センサ１２およびビデオカメラ２４を備える。センサ１２およびビデオカメラ２４には時計１２Ｔおよび２４Ｔがそれぞれ設けられており、各時計１２Ｔおよび２４ＴはＰＣ１０側の時計１０Ｔ（図９参照：後述）と同期している。センサ１２およびビデオカメラ２４にはさらに無線ＬＡＮモジュール１２Ｌおよび２４Ｌが設けられており、各無線ＬＡＮモジュール１２Ｌおよび２４ＬはＰＣ１０側の無線ＬＡＮモジュール１０Ｌ（図９参照：後述）との間で無線ＬＡＮ通信を行う。
【００４３】
センサ１２は、たとえば４個の３軸加速センサで構成され、各３軸加速センサは被験者（看護師など）の左上腕，右上腕，胸および腰にそれぞれ装着される。センサ１２からは、これら４個の３軸加速センサに基づく計１２成分の加速度データが、時計１２Ｔに基づくタイムスタンプと共に、無線ＬＡＮモジュール１２Ｌを通してＰＣ１０へと送信される。すなわち、センサ１２が出力するセンサデータは、１２成分の加速度データとタイムスタンプとを含む。
【００４４】
ビデオカメラ２４は、被験者が所定の行動たとえば手洗いを行うシンクの近傍などに設置される。ビデオカメラ２４からは、設置場所の近傍を捉えた映像データが、時計２４Ｔに基づくタイムスタンプと共に、無線ＬＡＮモジュール２４Ｌを通してＰＣ１０へと送信される。すなわち、ビデオカメラ２４が出力する映像データにもタイムスタンプが含まれる。
【００４５】
なお、ここで示すシステム１００の構成は一例に過ぎず、様々に変更可能である。たとえば、センサ１２の構成要素として、位置計測のための赤外線センサや、被験者の近接対象（患者や看護機材など）を特定するための近接センサ（Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュールなど）を追加してもよい。また、ＰＣ１０とセンサ１２およびビデオカメラ２４との間の各接続には、ＢｌｕｅｔｏｏｔｈやＺｉｇＢｅｅ（登録商標）といった、無線ＬＡＮ以外の近距離無線通信方式を用いてもよい。ＰＣ１０とビデオカメラ２４との間は有線接続でもよい。
【００４６】
ＰＣ１０は、行動識別エンジン１４，データマネージャ１６，会話的外れ値削除アプリケーション１８，データビューワ２０および会話的ラベル付加アプリケーション２２を備える。データマネージャ１６は、センサＤＢ１６ａ，アノテーションＤＢ１６ｂ，辞書ＤＢ１６ｃおよびビデオＤＢ１６ｄを含む。なお、これらの構成要素（１４〜２２，１６ａ〜１６ｄ）の機能は、図９に示すハードウェア資源、つまり時計１０Ｔ，無線ＬＡＮモジュール１０Ｌ，ＣＰＵ５０，ＬＣＤモニタ５２，キー入力装置５４およびメインメモリ５６と、メインメモリ５６に格納されたソフトウェア資源（図１０にその一部が示されている）とによって実現される。
【００４７】
センサ１２からのセンサデータおよびビデオカメラ２４からの映像データはデータマネージャ１６に与えられ、データマネージャ１６は、与えられたセンサデータおよび映像データをセンサＤＢ１６ａおよびビデオＤＢ１６ｄにそれぞれ記録する。したがって、センサＤＢ１６ａにはタイムスタンプ付きの加速度データ（以下“加速度データ”）が、ビデオＤＢ１６ｄにはタイムスタンプ付きの映像データ（以下“映像データ”）が、それぞれ蓄積されていく。
【００４８】
センサＤＢ１６ａに蓄積された加速度データは、データマネージャ１６を通じて行動識別エンジン１４に与えられ、行動識別エンジン１４は、与えられた加速度データを辞書ＤＢ１６ｃと比較して被験者の行動を識別し、識別結果を示す行動データをデータマネージャ１６に返す。行動データには、認識した行動について特徴，ラベルおよび時間（開始時刻および終了時刻）が記述されている。
【００４９】
より詳しくは、辞書ＤＢ１６ｃには、被験者が行い得る各行動について特徴およびラベルを示す辞書データが格納されている。ここで、特徴は、行動識別エンジン１４が過去の加速度データから抽出した各行動の特徴であり、たとえば波形データの態様を有する。一方、ラベルは、抽出された各行動の特徴に対して、実験者が会話的ラベル付加アプリケーション２２（後述）を介して付与した識別情報であり、たとえば“手洗い”，“手拭き”のような文字データの態様を有する。
【００５０】
行動識別エンジン１４は、与えられた加速度データに対して特徴抽出を行い、抽出した特徴で辞書ＤＢ１６ｃを検索してそこから当該特徴に対応するラベルを取得する一方、抽出した特徴に対応する時間を加速度データに付されたタイムスタンプを参照して特定する。そして、抽出した特徴，取得したラベルおよび特定した時間を、与えられた加速度データに関する識別結果（行動データ）として出力する。
【００５１】
データマネージャ１６は、行動識別エンジン１４からの行動データに含まれるラベルおよび時間を、センサＤＢ１６ａ内の加速度データに対するアノテーション（注釈）データとして、アノテーションＤＢ１６ｂに記録する。アノテーションデータと加速度データとは、タイムスタンプを介して関連付けられている。
【００５２】
データマネージャ１６はまた、こうしてアノテーションＤＢ１６ｂに登録されたラベルおよび特徴のうち辞書ＤＢ１６ｃに存在しないものがあれば、会話的ラベル付加アプリケーション２２（後述）を介して当該ラベルおよび特徴を示す辞書データを辞書ＤＢ１６ｃに追記する。
【００５３】
データビューワ２０は、データマネージャ１６を介して各種ＤＢ１６ａ〜１６ｄからデータを取得して可視化する。具体的には、主としてセンサＤＢ１６ａからのセンサデータに基づいて図２に示すようなセンサデータビューワ画面を表示し、アノテーションＤＢ１６ｂからのアノテーションデータに基づいて図３に示すようなアノテーションデータビューワ画面を表示し、そしてビデオＤＢ１６ｄからのビデオ映像データに基づいて図４に示すようなビデオ映像ビューワ画面を表示する。辞書ＤＢ１６ｃに登録されたラベルを、図８に示すようなラベル候補ウィンドウＷ３として表示することも可能である。
【００５４】
図２のセンサデータ画面には、前述した計１２成分の加速度波形が共通の時間軸に沿って描画される。このセンサデータ画面にはまた、アノテーションＤＢ１６ｂからのアノテーションデータに基づくアノテーション情報、つまりラベルを示す文字や、時間を示す帯および数字なども描画されている。
【００５５】
図３のアノテーションデータビューワ画面には、時間の始点または終点を示す“時刻”と、“手洗い：開始”，“手洗い：終了”，“手拭き：開始”といった包括的な行動を示す上位ラベルである“ラベル１”と、“手濡らし：開始”，“手濡らし：終了”，“手のひら洗い：開始”といった詳細な行動を示す下位ラベルである“ラベル２”とが一覧表示されている。なお、他の実施例では、ラベルを３層以上に階層化してもよく、何ら階層化しなくてもよい。
【００５６】
図４のビデオ映像ビューワ画面には、被験者が手を洗っている場面のビデオ映像と、タイムスタンプを示す数字とが表示されている。図８のラベル候補ウィンドウＷ３には、辞書ＤＢ１６ｃの登録ラベルのうち一部を示す文字が、階層を示すインデント（“・”または“・・”）付きで表示されている。
【００５７】
会話的外れ値削除アプリケーション１８は、図５および図６に示すような散布図ウィンドウＷ１を通して会話的に、アノテーションＤＢ１６ｂおよび辞書ＤＢ１６ｃから外れ値に対応するデータを除去する。詳しくは、散布図ウィンドウＷ１は、ユーザがセンサＤＢ１６ａのセンサデータに関して１つ以上のラベルおよび特徴ベクトルの２成分を指定するのに応じて表示される。図５および図６のいずれの散布図ウィンドウＷ１でも、ラベルについては“手拭き”，“手洗い”，“手袋”，“消毒”が指定されている。２成分としては、図５（Ａ）の散布図ウィンドウＷ１では“１”および“２”が、図５（Ｂ），図６（Ａ）および図６（Ｂ）では“１”および“３”が、それぞれ指定されている。
【００５８】
会話的外れ値削除アプリケーション１８は、センサＤＢ１６ａからセンサデータを取得して、取得したセンサデータから指定ラベルに対応する部分を切り出す。そして、切り出したセンサデータに対して特徴抽出処理を施し、これにより抽出された特徴に対応する点を、ラベル毎に異なる態様（ここでは形状：丸，四角，三角など）で、散布図ウィンドウＷ１内にプロット表示する。
【００５９】
図５，図６を参照して、散布図ウィンドウＷ１内の各点は、ラベル毎にクラスタを形成する。ただし、抽出された特徴に外れ値が含まれていると、図６のようにクラスタから孤立した点が現れる。会話的外れ値削除アプリケーション１８は、クラスタから孤立した点については、外れ値候補として、クラスタ内の各点と区別するべくハイライト表示（たとえば輝度を高める，点滅させる等）する。
【００６０】
そして、このような孤立点には、クラスタに対して時間的近接性を有するものと有さないものとがあり、会話的外れ値削除アプリケーション１８は、図６（Ｂ）のように、各孤立点を時間的近接性の有無によって異なる態様（たとえば大きさ，色など）でハイライト表示することもできる。
【００６１】
図６（Ａ）のように外れ値候補を単にハイライト表示するか、図６（Ｂ）のように外れ値候補を時間的近接性の有無によって異なる態様（ここでは異なる大きさ）でハイライト表示するかは、実験者の選択に基づいて決められる。
【００６２】
一方、実験者が散布図ウィンドウＷ１内の任意の点を、たとえば図５（Ａ）に示すようにカーソルＣで選択すると、図２〜図４に示した各種ビューワ画面が当該点に対応する時間のものに更新表示される。なお、更新後のセンサデータビューワ画面および更新後のアノテーションデータビューワ画面では、当該点に対応する部分（図２および図３の点線枠部分）がハイライトされてもよい。
【００６３】
さらに、実験者がこの選択した点について削除操作を行うと、当該点に対応するデータがアノテーションＤＢ１６ｂおよび辞書ＤＢ１６ｃから削除され、これに伴ってセンサデータビューワ画面およびアノテーションデータビューワ画面もさらに更新される。すなわち、図２のセンサデータビューワ画面からは“手指交差洗い”が削除され、図３のアノテーションデータビューワ画面からは“０９：０２：２０：８００”および“手指交差洗い：開始”ならびに“０９：０２：２１：７００”および“手指交差洗い：終了”が削除される。
【００６４】
従って、実験者は、図５，図６に示した散布図ウィンドウＷ１を通じて外れ値候補（孤立点）の有無を確認し、もし外れ値候補があれば、その孤立点に対応するセンサデータやビデオ映像を図２〜図４に示した各種ビューワ画面で確認して、必要ならこのようなセンサデータやビデオ映像を孤立点とクラスタ内の点との間で比較して、その孤立点が実際に外れ値かどうかを判断した上で、削除操作を行うことができる。
【００６５】
会話的ラベル付加アプリケーション２２は、図７に示すような散布図ウィンドウＷ２および図８に示すようなラベル候補ウィンドウＷ３を通して、会話的にアノテーションＤＢ１６ｂおよび辞書ＤＢ１６ｃに新たなデータを追記する。詳しくは、散布図ウィンドウＷ２およびラベル候補ウィンドウＷ３は、ユーザがセンサＤＢ１６ａのセンサデータに関して１つ以上のラベルおよび特徴ベクトルの２成分を指定するのに応じて表示される。
【００６６】
図７の散布図ウィンドウＷ２では、図５（Ａ）のそれと同様、ラベルとして“手拭き”，“手洗い”，“手袋”，“消毒”が、２成分としては“１”および“２”がそれぞれ指定されており、これら指定されたラベルおよび成分に対応する特徴を示す点がプロットされている。ここでも各点はラベル毎にクラスタを形成しているが、図５（Ａ）のそれとは異なり、各クラスタから孤立した点（星型）も多数存在している。そして、これら孤立点のうち時間的近接性を有するものが新たなクラスタを形成しており、この新たな“時間的近接性のあるクラスタ”がラベル付加候補としてハイライト表示されている。
【００６７】
図７のような散布図ウィンドウＷ２内でラベル付加候補としてハイライト表示されているクラスタの１つが実験者によって指定されると、会話的ラベル付加アプリケーション２２は、図８に示すようなラベル候補ウィンドウＷ３を表示する。このラベル候補ウィンドウＷ３には、指定ラベル（つまり“手拭き”，“手洗い”，…）およびその下位ラベル（たとえば“手濡らし”，“手のひら洗い”，…，“ペーパータオル取り”，…など）が表示される。
【００６８】
図８のようなラベル候補ウィンドウＷ３に表示されているラベル候補のうち１つを実験者が指定すると、会話的ラベル付加アプリケーション２２は、先に散布図ウィンドウＷ２で指定されたクラスタに含まれる点に対応する特徴（つまり未知の特徴）に対し、ここで指定されたラベルを付加すると共に、特徴に対応する時間を特定する。そして、これら特徴および時間を示すアノテーションデータをアノテーションＤＢ１６ｂに追記する一方、これら特徴およびラベルを示す辞書データを辞書ＤＢ１６ｃに追記する。
【００６９】
以上のようなシステム１００の動作のうち、特に会話的外れ値削除アプリケーション１８および会話的ラベル付加アプリケーション２２を実現するために、ＰＣ１０が行う情報処理について、次に説明する。
【００７０】
ＰＣ１０は、図９に示すように、無線ＬＡＮモジュール１０Ｌ，時計１０Ｔ，ＣＰＵ５０，ＬＣＤモニタ５２，キー入力装置５４およびメインメモリ５６を含む。無線ＬＡＮモジュール１０Ｌは、ＣＰＵ５０の制御下で、センサ１２およびビデオカメラ２４にそれぞれ設けられた無線ＬＡＮモジュール１２Ｌおよび２４Ｌと無線ＬＡＮ通信を行う。時計１０Ｔは、センサ１２およびビデオカメラ２４にそれぞれ設けられた時計１２Ｔおよび２４Ｔと同期しており、ＣＰＵ５０に必要な時刻情報を与える。
【００７１】
ＬＣＤモニタ５２は、ＣＰＵ５０の制御下で、図２〜図８のような画像を表示する。キー入力装置５４は、実験者の操作を受け、対応するコマンドをＣＰＵ５０に与える。メインメモリ５６には、ＣＰＵ５０が処理を行うためのプログラムおよびデータが記憶される。詳しくは、図１０に示すように、メインメモリ５６にはプログラム領域５６ａおよびデータ領域５６ｂが形成され、プログラム領域５６ａには会話的外れ値削除プログラム６０，会話的ラベル付加プログラム６２，表示制御プログラム６４および通信制御プログラム６６などが格納されている。
【００７２】
会話的外れ値削除プログラム６０は、会話的外れ値削除アプリケーション１８を実現するためのメインプログラムであり、これに対応するフローチャートが図１１〜図１３に示されている。会話的ラベル付加プログラム６２は、会話的ラベル付加アプリケーション２２を実現するためのメインプログラムであり、これに対応するフローチャートが図１４〜図１５に示されている。表示制御プログラム６４は、会話的外れ値削除プログラム６０および会話的ラベル付加プログラム６２によって利用されるサブプログラムであり、これにより図２〜図８のような画像の表示が実現される。通信制御プログラム６６は、会話的外れ値削除プログラム６０および会話的ラベル付加プログラム６２によって利用されるサブプログラムであり、これによってＰＣ１０とセンサ１２やビデオカメラ２４との無線通信が実現される。
【００７３】
データ領域５６ｂは、センサデータ領域７０，アノテーションデータ領域７２，辞書データ領域７４，ビデオ映像データ領域７６および変数／パラメータ領域７８などを含む。各種データ領域７０〜７８は、各種ＤＢ１６ａ〜１６ｄから読み込まれた各種データを記憶するための領域である。変数／パラメータ領域７４は、プログラムで使用される各種の変数（特徴ベクトルＸ，時刻ベクトルＴ，正準ベクトルＣ，主成分ベクトルＰ，…）やパラメータ（ｃｌａｓｓ，α，Ｆｌａｇ，ｄｔ，ｐａｒａｍ，…）を記憶するための領域である。
【００７４】
図１１を参照して、会話的外れ値削除プログラム６０が起動されると、ＣＰＵ５０は、まず、ステップＳ１で各種ＤＢ１６ａ〜１６ｄから各種データを各種データ領域７０〜７８に読み込み、ステップＳ３では、読み込んだ各種データに基づいて図２〜図４のような各種ビューワ画面をＬＣＤモニタ５２に表示する。
【００７５】
次に、ステップＳ５で、ラベルおよび特徴ベクトルの２成分を指定する操作をキー入力装置５４を通じて受け付け、ステップＳ７では、指定されたラベルおよびセンサデータに対して特徴抽出処理を行い、特徴ベクトルＸおよび時刻ベクトルＴを求める。ステップＳ９では、特徴ベクトルＸに対して正準相関変換処理を施して、正準ベクトルＣを求める。そしてステップＳ１１で、散布図ウィンドウＷ１内に、求めた正準ベクトルＣの指定２成分（に対応する点）をプロット表示する（図５，図６参照）。
【００７６】
次に、ステップＳ１３で、キー入力装置５４の操作に基づいてパラメータの設定を行う。これによって、“ｃｌａｓｓ”には対象クラスが、“α”には外れ値係数が、“Ｆｌａｇ”には時間的近接性考慮フラグが、そして“ｄｔ”には時間的近接性に関する閾値が、それぞれ設定される。ステップＳ１５では、正準ベクトルＣ，時刻ベクトルＴおよびパラメータ（ｃｌａｓｓ，α，Ｆｌａｇ，ｄｔ）に基づいて外れ値処理（図１３参照：後述）を行い、“Ｏｕｔｌｉｅｒ”および“Ｃｏｎｔｉｎｕｉｔｙ”を求める。ここで、“Ｏｕｔｌｉｅｒ”は外れ値となる正準ベクトルの配列であり、“Ｃｏｎｔｉｎｕｉｔｙ”は外れ値の時間的近接性の有無（Ｔｒｕｅ／Ｆａｌｓｅ）に関する配列である。ステップＳ１７では、“Ｏｕｔｌｉｅｒ”を“Ｃｏｎｔｉｎｕｉｔｙ”がＴｒｕｅのもの（“Ｏｕｔｌｉｅｒ＿ｃｏｎｔ”）とＦａｌｓｅのもの（“Ｏｕｔｌｉｅｒ＿ｄｉｓｃｏｎｔ”）とに分類する。そしてステップＳ１９で、“Ｏｕｔｌｉｅｒ＿ｃｏｎｔ”および“Ｏｕｔｌｉｅｒ＿ｄｉｓｃｏｎｔ”を互いに異なる態様（大きさや色）でハイライト表示する。
【００７７】
次に、ステップＳ２１で、散布図ウィンドウＷ１内のいずれかの点を指定する操作をキー入力装置５４を通じて受け付け（図５（Ａ）参照）、ステップＳ２３では、指定された点に対応する時刻を算出する。ステップＳ２５では、各種ビューワの画面（図２〜図４参照）を算出した時刻のものに更新表示する。センサデータビューワ画面およびアノテーションデータビューワ画面で当該時間区間をハイライト表示してもよい。ステップＳ２７では、キー入力装置５４を通じて、先に指定した点を対象とする外れ値削除操作を受け付ける。そして、ステップＳ２９で外れ値削除操作の有無を判別し、ＮＯであればステップＳ１３に戻って同様の処理を繰り返す。
【００７８】
ステップＳ２９でＹＥＳであれば、ステップＳ３１で当該点に対応する正準ベクトルＣひいては特徴ベクトルＸを削除する。ステップＳ３３では散布図ウィンドウＷ１を更新表示し、ステップＳ３５ではアノテーションＤＢ１６ｂおよび辞書ＤＢ１６ｃを更新し、ステップＳ３７では各種ビューワ画面を更新表示する。そしてステップＳ３９で終了するか否かの判定を行い、ＮＯであればステップＳ５に戻って同様の処理を繰り返す。キー入力装置５４による終了操作が行われると、ステップＳ３９でＹＥＳと判定し、この処理を終了する。
【００７９】
上記ステップＳ１５の外れ値処理は、図１３のサブルーチンに従って実行される。ステップＳ５１では、正準ベクトルＣのうち“ｃｌａｓｓ”で指定されたサンプルに相当する正準サンプルベクトルＣ*＝Ｃ＿ｓ．ｔ．（クラスレベル＝ｃｌａｓｓ）について、その平均ベクトルμｉ（１≦ｉ≦ｄ）と、共分散行列の対角成分σｉ（１≦ｉ≦ｄ）つまり［σ１，σ２，…，σｄ］＝ｄｉａｇ（Ｃｏｖ（Ｃ*））とを求める。また、Ｃ*のサンプル数（つまり正準ベクトルＣのうち“ｃｌａｓｓ”で指定したラベルを持つサンプルの数）を求め、これを“Ｋ”とする。さらに、平均ベクトルμｉの近傍にあるサンプルベクトルの時刻の平均を求め、これを“Ｔ*”とする。
【００８０】
ステップＳ５３では、カウンタを初期化する（ｋ＝１）。ステップＳ５５では、全データについて処理が終了したか否か（ｋ＞Ｋ？）を判別する。ここでＹＥＳであれば上位層のルーチンに復帰し、ＮＯであればステップＳ５７に進む。ステップＳ５７では、正準サンプルベクトルＣ*（ｋ）の各要素Ｃ*（ｋ）ｉについて平均ベクトルμｉとの差Ｄｉを計算する（Ｄｉ＝｜Ｃ*（ｋ）ｉ−μｉ｜）。ステップＳ５９では、計算結果のうちＤｉ＞α×σｉとなる要素があるか否かを判別し、ＹＥＳであれば（１つでもあれば）ステップＳ７１に進む一方、ＮＯであれば（１つもなければ）ステップＳ６１に進む。
【００８１】
ステップＳ６１では、“Ｏｕｔｌｉｅｒ”にｋを追加する。ステップＳ６３では、時間的近接性を考慮するか否かを“Ｆｌａｇ”により判別する。Ｆｌａｇ＝ＴｒｕｅであればＹＥＳと判別してステップＳ７１に進む一方、Ｆｌａｇ＝ＦａｌｓｅであればＮＯと判別してステップＳ６５に進む。
【００８２】
ステップＳ６５では、時刻Ｔ（ｋ）と時刻Ｔ*との絶対値差分が先に指定した閾値つまり“ｄｔ”を超えている否か（｜Ｔ（ｋ）−Ｔ*｜＞ｄｔ？）を判別する。ここでＹＥＳであれば、ステップＳ６７で“Ｃｏｎｔｉｎｕｉｔｙ［ｋ］”に“Ｔｒｕｅ”をセットした後、ステップＳ７１に進む。一方、ＮＯであれば、ステップＳ６９で“Ｃｏｎｔｉｎｕｉｔｙ［ｋ］”に“Ｆａｌｓｅ”をセットした後、ステップＳ７１に進む。
【００８３】
ステップＳ７１では、カウンタをインクリメントし（ｋ＝ｋ＋１）、その後、ステップＳ５５に戻って同様の処理を繰り返す。
【００８４】
図１４を参照して、会話的ラベル付加プログラム６２が起動されると、ＣＰＵ５０は、まず、ステップＳ８１で各種ＤＢ１６ａ〜１６ｄから各種データを各種データ領域７０〜７８に読み込み、ステップＳ８３では、読み込んだ各種データに基づいて図２〜図４のような各種ビューワ画面をＬＣＤモニタ５２に表示する。
【００８５】
次に、ステップＳ８５で、ラベルおよび特徴ベクトルの２成分を指定する操作をキー入力装置５４を通じて受け付け、ステップＳ８７では、指定されたラベルおよびセンサデータに対して特徴抽出処理を行い、特徴ベクトルＸおよび時刻ベクトルＴを求める。ステップＳ８９では、特徴ベクトルＸに対して主成分分析処理を施して、主成分ベクトルＰを求める。そしてステップＳ９１で、散布図ウィンドウＷ２内に、求めた主成分ベクトルＰの指定２成分（に対応する点）をプロット表示する（図７参照）。
【００８６】
次に、ステップＳ９３で、キー入力装置５４の操作に基づいてパラメータの設定を行う。これによって、“ｐａｒａｍ”にはクラスタリングパラメータが、“Ｆｌａｇ”には時間的近接性考慮フラグが、そして“ｄｔ”には時間的近接性に関する閾値が、それぞれ設定される。ステップＳ９５では、主成分ベクトルＣ，時刻ベクトルＴおよびパラメータ（ｐａｒａｍ，Ｆｌａｇ，ｄｔ）に基づいてクラスタリング処理を行い、“Ｃｌｕｓｔｅｒ”および“Ｃｏｎｔｉｎｕｉｔｙ”を求める。ここで、“Ｃｌｕｓｔｅｒ”はクラスタリング処理の結果であるクラスタの配列であり、“Ｃｏｎｔｉｎｕｉｔｙ”はクラスタの時間的近接性の有無（Ｔｒｕｅ／Ｆａｌｓｅ）に関する配列である。クラスタリング処理には、多変量混合正規分布を仮定したＥＭ(Expectation Maximization)アルゴリズムによるクラスタリング手法や、標準的クラスタリング手法であるＫ平均法（ｋ−ｍｅａｎｓ）などを用いることができる。
【００８７】
ステップＳ９７では、“Ｃｌｕｓｔｅｒ”を“Ｃｏｎｔｉｎｕｉｔｙ”がＴｒｕｅのも（“Ｃｌｕｓｔｅｒ＿ｃｏｎｔ”）とＦａｌｓｅのもの（“Ｃｌｕｓｔｅｒ＿ｄｉｓｃｏｎｔ”）とに分類する。そしてステップＳ９９で、“Ｃｌｕｓｔｅｒ＿ｃｏｎｔ”および“Ｏｕｔｌｉｅｒ＿ｄｉｓｃｏｎｔ”を互いに異なる態様（大きさや色）でハイライト表示する。
【００８８】
次に、ステップＳ１０１で、散布図ウィンドウＷ２内のいずれかのクラスタを指定するカーソルＣの操作をキー入力装置５４を通じて受け付け（図７参照）、ステップＳ１０３では、指定されたクラスタに対応する時間区間を算出する。ステップＳ１０５では、各種ビューワの画面（図２〜図４参照）を算出した時間区間のものに更新表示する。センサデータビューワ画面およびアノテーションデータビューワ画面で当該時間区間をハイライト表示してもよい。ステップＳ１０７では、図８のようなラベル候補ウィンドウＷ３をＬＣＤモニタ５２に表示して、先に指定したクラスタを対象とするラベル付与操作をキー入力装置５４を通じて受け付ける。具体的には、実験者がラベル候補ウィンドウＷ３に示されたラベルの１つをカーソル操作により選択するか、またはラベル候補ウィンドウＷ３にない新規のラベルを文字キー操作で入力する。そして、ステップＳ１０９でラベル付与操作の有無を判別し、ＮＯであればステップＳ９３に戻って同様の処理を繰り返す。
【００８９】
ステップＳ１０９でＹＥＳであれば、ステップＳ１１１で当該クラスタに対応する主成分ベクトルＰひいては特徴ベクトルＸに対してラベルを付加する。ステップＳ１１３では散布図ウィンドウＷ２を更新表示し、ステップＳ１１５ではアノテーションＤＢ１６ｂを更新し、ステップＳ１１７では各種ビューワ画面を更新表示する。そしてステップＳ１１９で終了するか否かの判定を行い、ＮＯであればステップＳ８５に戻って同様の処理を繰り返す。キー入力装置５４による終了操作が行われると、ステップＳ１１９でＹＥＳと判定し、この処理を終了する。
【００９０】
以上から明らかなように、この実施例の行動識別システム１００はＰＣ１０を含み、ＰＣ１０はセンサＤＢ１６ａ，辞書ＤＢ１６ｃ，行動識別エンジン１４，アノテーションＤＢ１６ｂ，会話的外れ値削除アプリケーション１８，データビューワ２０および会話的ラベル付加アプリケーション２２の各機能を実現する。センサＤＢ１６ａはセンサ１２からのセンサ情報および時計１２Ｔからの時刻情報を蓄積している。辞書ＤＢ１６ｃは被験者が行い得る各行動について特徴およびラベルを示す辞書情報を蓄積している。行動識別エンジン１４は、センサ情報および時刻情報が入力され、当該センサ情報から特徴を抽出し、抽出した特徴と辞書ＤＢ１６ｃの比較に基づいて当該特徴に対応するラベルを選択し、抽出した特徴に対応する時間を時刻情報に基づいて特定し、そして抽出した特徴，選択したラベルおよび特定した時間を示す行動情報を出力する。アノテーションＤＢ１６ｂは、行動識別エンジンから出力される行動情報が示すラベルおよび時間をアノテーション情報として蓄積する。データビューワ２０は、センサＤＢ１６ａに基づくセンサデータ画面にアノテーションＤＢ１６ｂに基づくアノテーション情報を時刻情報に基づいて付加して、当該アノテーション付きセンサデータ画面（図２）をＬＣＤモニタ５２に表示する。
【００９１】
そして、会話的削除アプリケーション１８は、行動識別エンジン１４から出力される行動情報が示す特徴，ラベルおよび時間を、ＬＣＤモニタ５２に表示されたアノテーション付きセンサデータ画面を参照しつつキー入力装置５４で行われる外れ値削除操作に応じて、辞書ＤＢ１６ｃおよびアノテーションＤＢ１６ｂから削除する（Ｓ１〜Ｓ３９，Ｓ５１〜Ｓ７１）。こうして、センサＤＢ１６ａおよびアノテーションＤＢ１６ｂから外れ値を会話的に削除することができる。
【００９２】
一方、会話的ラベル付加アプリケーション２２は、行動識別エンジン１４から出力される行動情報が示す特徴，ラベルおよび時間を、ＬＣＤモニタ５２に表示されたアノテーション付きセンサデータ画面を参照しつつキー入力装置５４で行われるラベル付加操作に応じて、辞書ＤＢ１６ｃおよびアノテーションＤＢ１６ｂに追加する（Ｓ８１〜Ｓ１１９）。こうして、センサ情報に基づくラベル付加、および付加したラベルのセンサＤＢ１６ａおよびアノテーションＤＢ１６ｂへの登録を、事後的かつ会話的に行える。
【００９３】
なお、この実施例では、行動識別エンジン１４へは、センサＤＢ１６ａに蓄積されているセンサ情報を入力したが、センサ１２から出力されるセンサ情報をリアルタイムに入力してもよい。
【００９４】
また、この実施例では、センサ１２として４個の３軸加速度センサを用いたが、これに加えて、赤外線送受信機を利用した位置センサや、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュールなどを利用した近接センサを用いてもよい。この場合、位置センサや近接センサの各時計もＰＣ１０の時計１０Ｔと同期しており、センサＤＢ１６ａは、位置センサからの位置情報や近接センサからの近接情報も時刻情報と共に蓄積する。行動識別エンジン１４は、主として加速度情報に基づいて、位置情報や近接情報も適宜参照しつつ、行動識別を行う。
【００９５】
以上では、看護業務への適用例を説明したが、この発明は、たとえば製造，物流など他の業務にも適用できる。
【符号の説明】
【００９６】
１０ …ＰＣ
１２ …センサ（３軸加速度センサ×４）
１４ …行動識別エンジン
１６ …データマネージャ
１８ …会話的外れ値削除アプリケーション
２０ …データビューワ
２２ …会話的ラベル付加アプリケーション
２４ …ビデオカメラ
５０ …ＣＰＵ
５２ …ＬＣＤモニタ
５４ …キー入力装置
５６ …メインメモリ
１０Ｔ，１２Ｔ，２４Ｔ …時計
１６ａ …センサＤＢ
１６ｂ …アノテーションＤＢ
１６ｃ …辞書ＤＢ
１６ｄ …ビデオＤＢ
１００ …行動識別システム
【特許請求の範囲】
【請求項１】
被験者の行動をセンサからのセンサ情報および時計からの時刻情報に基づいて識別する行動識別システムであって、
前記センサ情報および前記時刻情報を蓄積したセンサＤＢ、
前記被験者が行い得る各行動について特徴およびラベルを示す辞書情報を蓄積した辞書ＤＢ、
前記センサ情報および前記時刻情報が入力され、当該センサ情報から特徴を抽出し、抽出した特徴と前記辞書ＤＢの比較に基づいて当該特徴に対応するラベルを選択し、抽出した特徴に対応する時間を前記時刻情報に基づいて特定し、そして抽出した特徴，選択したラベルおよび特定した時間を示す行動情報を出力する、行動識別手段、
前記行動識別手段から出力される行動情報が示すラベルおよび時間をアノテーション情報として蓄積するアノテーションＤＢ、
前記センサＤＢに基づくセンサデータ画面に前記アノテーションＤＢに基づくアノテーション情報を前記時刻情報に基づいて付加して、当該アノテーション付きセンサデータ画面をモニタに表示する第１表示手段、および
前記行動識別手段から出力される行動情報が示す特徴，ラベルおよび時間を、前記モニタに表示された前記アノテーション付きセンサデータ画面を参照しつつ入力装置で行われる外れ値削除操作に応じて、前記辞書ＤＢおよび前記アノテーションＤＢから削除する、会話的削除手段を備える、行動識別システム。
【請求項２】
前記会話的削除手段は、前記行動識別手段から出力される行動情報が示す特徴を第１ベクトルに変換して各前記第１ベクトルの散布状態を示す第１散布図画像を前記モニタに表示する第２表示手段を含み、前記外れ値削除操作はさらに前記第１散布図画像も参照しつつ行われる、請求項１記載の行動識別システム。
【請求項３】
前記第２表示手段は、各前記第１ベクトルに外れ値判定処理を施して判定結果が外れ値を示す第１ベクトルを外れ値候補としてハイライト表示する、請求項２記載の行動識別システム。
【請求項４】
前記第２表示手段はさらに、各前記第１ベクトルについて時間的近接性の有無を判別し、当該判別結果が時間的近接性ありを示す第１ベクトルと時間的近接性なしを示す第１ベクトルとで前記ハイライト表示の態様を異ならせる、請求項３記載の行動識別システム。
【請求項５】
前記行動識別手段から出力される行動情報が示す特徴，ラベルおよび時間を、前記モニタに表示されたアノテーション付きセンサデータ画面を参照しつつ前記入力装置で行われるラベル付加操作に応じて、前記辞書ＤＢおよび前記アノテーションＤＢに追加する、会話的追加手段をさらに備える、請求項１ないし４のいずれかに記載の行動識別システム。
【請求項６】
前記会話的追加手段は、前記行動識別手段から出力される行動情報が示す特徴を第２ベクトルに変換して各前記第２ベクトルをクラスタ化し、各前記第２ベクトルの散布状態をクラスタリング情報と共に示す第２散布図画像を前記モニタに表示する第３表示手段を含み、前記ラベル付加操作はさらに前記第２散布図画像も参照しつつ行われる、請求項５記載の行動識別システム。
【請求項７】
前記第３表示手段はさらに、各前記クラスタについて時間的近接性の有無を判別し、当該判別結果が時間的近接性ありを示すクラスタをラベル付加候補としてハイライト表示する、請求項６記載の行動識別システム。
【請求項８】
被験者の行動をセンサからのセンサ情報および時計からの時刻情報に基づいて識別する行動識別システムであって、
前記センサ情報および前記時刻情報を蓄積したセンサＤＢ、
前記被験者が行い得る各行動について特徴およびラベルを示す辞書情報を蓄積した辞書ＤＢ、
前記センサ情報および前記時刻情報が入力され、当該センサ情報から特徴を抽出し、抽出した特徴と前記辞書ＤＢの比較に基づいて当該特徴に対応するラベルを選択し、抽出した特徴に対応する時間を前記時刻情報に基づいて特定し、そして抽出した特徴，選択したラベルおよび特定した時間を示す行動情報を出力する、行動識別手段、
前記行動識別手段から出力される行動情報が示すラベルおよび時間をアノテーション情報として蓄積するアノテーションＤＢ、
前記センサＤＢに基づくセンサデータ画面に前記アノテーションＤＢに基づくアノテーション情報を前記時刻情報に基づいて付加して、当該アノテーション付きセンサデータ画面をモニタに表示する、第１表示手段、および
前記行動識別手段から出力される行動情報が示す特徴，ラベルおよび時間を、前記モニタに表示されたアノテーション付きセンサデータ画面を参照しつつ前記入力装置で行われるラベル付加操作に応じて、前記辞書ＤＢおよび前記アノテーションＤＢに追加する、会話的追加手段を備える、行動識別システム。
【請求項９】
前記会話的追加手段は、前記行動識別手段から出力される行動情報が示す特徴をベクトルに変換して各前記ベクトルをクラスタ化し、各前記ベクトルの散布状態をクラスタリング情報と共に示す散布図画像を前記モニタに表示する第２表示手段を含み、前記ラベル付加操作はさらに前記散布図画像も参照しつつ行われる、請求項８記載の行動識別システム。
【請求項１０】
前記第２表示手段はさらに、各前記クラスタについて時間的近接性の有無を判別し、当該判別結果が時間的近接性ありを示すクラスタをラベル付加候補としてハイライト表示する、請求項９記載の行動識別システム。
【請求項１１】
ビデオカメラからのビデオ映像情報および前記時計と同期した第２時計からの時刻情報を蓄積したビデオＤＢをさらに備え、
前記第１表示手段は前記ビデオ映像情報および前記時刻情報に基づくビデオ映像を前記モニタにさらに表示し、前記外れ値削除操作および／または前記ラベル付加操作はさらに前記ビデオ映像も参照しつつ行われる、請求項１ないし１０のいずれかに記載の行動識別システム。
【請求項１】
被験者の行動をセンサからのセンサ情報および時計からの時刻情報に基づいて識別する行動識別システムであって、
前記センサ情報および前記時刻情報を蓄積したセンサＤＢ、
前記被験者が行い得る各行動について特徴およびラベルを示す辞書情報を蓄積した辞書ＤＢ、
前記センサ情報および前記時刻情報が入力され、当該センサ情報から特徴を抽出し、抽出した特徴と前記辞書ＤＢの比較に基づいて当該特徴に対応するラベルを選択し、抽出した特徴に対応する時間を前記時刻情報に基づいて特定し、そして抽出した特徴，選択したラベルおよび特定した時間を示す行動情報を出力する、行動識別手段、
前記行動識別手段から出力される行動情報が示すラベルおよび時間をアノテーション情報として蓄積するアノテーションＤＢ、
前記センサＤＢに基づくセンサデータ画面に前記アノテーションＤＢに基づくアノテーション情報を前記時刻情報に基づいて付加して、当該アノテーション付きセンサデータ画面をモニタに表示する第１表示手段、および
前記行動識別手段から出力される行動情報が示す特徴，ラベルおよび時間を、前記モニタに表示された前記アノテーション付きセンサデータ画面を参照しつつ入力装置で行われる外れ値削除操作に応じて、前記辞書ＤＢおよび前記アノテーションＤＢから削除する、会話的削除手段を備える、行動識別システム。
【請求項２】
前記会話的削除手段は、前記行動識別手段から出力される行動情報が示す特徴を第１ベクトルに変換して各前記第１ベクトルの散布状態を示す第１散布図画像を前記モニタに表示する第２表示手段を含み、前記外れ値削除操作はさらに前記第１散布図画像も参照しつつ行われる、請求項１記載の行動識別システム。
【請求項３】
前記第２表示手段は、各前記第１ベクトルに外れ値判定処理を施して判定結果が外れ値を示す第１ベクトルを外れ値候補としてハイライト表示する、請求項２記載の行動識別システム。
【請求項４】
前記第２表示手段はさらに、各前記第１ベクトルについて時間的近接性の有無を判別し、当該判別結果が時間的近接性ありを示す第１ベクトルと時間的近接性なしを示す第１ベクトルとで前記ハイライト表示の態様を異ならせる、請求項３記載の行動識別システム。
【請求項５】
前記行動識別手段から出力される行動情報が示す特徴，ラベルおよび時間を、前記モニタに表示されたアノテーション付きセンサデータ画面を参照しつつ前記入力装置で行われるラベル付加操作に応じて、前記辞書ＤＢおよび前記アノテーションＤＢに追加する、会話的追加手段をさらに備える、請求項１ないし４のいずれかに記載の行動識別システム。
【請求項６】
前記会話的追加手段は、前記行動識別手段から出力される行動情報が示す特徴を第２ベクトルに変換して各前記第２ベクトルをクラスタ化し、各前記第２ベクトルの散布状態をクラスタリング情報と共に示す第２散布図画像を前記モニタに表示する第３表示手段を含み、前記ラベル付加操作はさらに前記第２散布図画像も参照しつつ行われる、請求項５記載の行動識別システム。
【請求項７】
前記第３表示手段はさらに、各前記クラスタについて時間的近接性の有無を判別し、当該判別結果が時間的近接性ありを示すクラスタをラベル付加候補としてハイライト表示する、請求項６記載の行動識別システム。
【請求項８】
被験者の行動をセンサからのセンサ情報および時計からの時刻情報に基づいて識別する行動識別システムであって、
前記センサ情報および前記時刻情報を蓄積したセンサＤＢ、
前記被験者が行い得る各行動について特徴およびラベルを示す辞書情報を蓄積した辞書ＤＢ、
前記センサ情報および前記時刻情報が入力され、当該センサ情報から特徴を抽出し、抽出した特徴と前記辞書ＤＢの比較に基づいて当該特徴に対応するラベルを選択し、抽出した特徴に対応する時間を前記時刻情報に基づいて特定し、そして抽出した特徴，選択したラベルおよび特定した時間を示す行動情報を出力する、行動識別手段、
前記行動識別手段から出力される行動情報が示すラベルおよび時間をアノテーション情報として蓄積するアノテーションＤＢ、
前記センサＤＢに基づくセンサデータ画面に前記アノテーションＤＢに基づくアノテーション情報を前記時刻情報に基づいて付加して、当該アノテーション付きセンサデータ画面をモニタに表示する、第１表示手段、および
前記行動識別手段から出力される行動情報が示す特徴，ラベルおよび時間を、前記モニタに表示されたアノテーション付きセンサデータ画面を参照しつつ前記入力装置で行われるラベル付加操作に応じて、前記辞書ＤＢおよび前記アノテーションＤＢに追加する、会話的追加手段を備える、行動識別システム。
【請求項９】
前記会話的追加手段は、前記行動識別手段から出力される行動情報が示す特徴をベクトルに変換して各前記ベクトルをクラスタ化し、各前記ベクトルの散布状態をクラスタリング情報と共に示す散布図画像を前記モニタに表示する第２表示手段を含み、前記ラベル付加操作はさらに前記散布図画像も参照しつつ行われる、請求項８記載の行動識別システム。
【請求項１０】
前記第２表示手段はさらに、各前記クラスタについて時間的近接性の有無を判別し、当該判別結果が時間的近接性ありを示すクラスタをラベル付加候補としてハイライト表示する、請求項９記載の行動識別システム。
【請求項１１】
ビデオカメラからのビデオ映像情報および前記時計と同期した第２時計からの時刻情報を蓄積したビデオＤＢをさらに備え、
前記第１表示手段は前記ビデオ映像情報および前記時刻情報に基づくビデオ映像を前記モニタにさらに表示し、前記外れ値削除操作および／または前記ラベル付加操作はさらに前記ビデオ映像も参照しつつ行われる、請求項１ないし１０のいずれかに記載の行動識別システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１０−２２７３２６（Ｐ２０１０−２２７３２６Ａ）
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願番号】特願２００９−７８７３０（Ｐ２００９−７８７３０）
【出願日】平成２１年３月２７日（２００９．３．２７）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２０年度独立行政法人情報通信研究機構「民間基盤技術研究促進制度／日常行動・状況理解に基づく知識共有システムの研究開発」、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願日】平成２１年３月２７日（２００９．３．２７）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２０年度独立行政法人情報通信研究機構「民間基盤技術研究促進制度／日常行動・状況理解に基づく知識共有システムの研究開発」、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
[ Back to top ]