非日常行動検知システム
【課題】実環境での行動動線を適切な行動にクラスタリングすることで、実環境での行動動線から日常的な行動を自動的に定義する。
【解決手段】人物の時系列動線情報から生成された複数の行動データを行動毎にクラスタリングする第１クラスタリング部１２０１と、第１クラスタリング部１２０１がクラスタリングした複数の行動データを行動毎にモデル化した行動モデルを生成する第１行動モデル生成部１２０２と、第１行動モデルを用いて複数の行動データを認識し、認識結果及び尤度を得る第１認識処理部１２０３と、第１認識処理部１２０３が求めた尤度が閾値以上である行動データのみを複数の行動データから選別する第１行動データ選別部１２０４と、第１行動データ選別部１２０４が選別した行動データを、第１認識処理部１２０３の認識結果の示す行動にクラスタリングする第２クラスタリング部１２０５とを備える。
【解決手段】人物の時系列動線情報から生成された複数の行動データを行動毎にクラスタリングする第１クラスタリング部１２０１と、第１クラスタリング部１２０１がクラスタリングした複数の行動データを行動毎にモデル化した行動モデルを生成する第１行動モデル生成部１２０２と、第１行動モデルを用いて複数の行動データを認識し、認識結果及び尤度を得る第１認識処理部１２０３と、第１認識処理部１２０３が求めた尤度が閾値以上である行動データのみを複数の行動データから選別する第１行動データ選別部１２０４と、第１行動データ選別部１２０４が選別した行動データを、第１認識処理部１２０３の認識結果の示す行動にクラスタリングする第２クラスタリング部１２０５とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、行動認識の対象となる人物の非日常行動を検知する非日常行動検知システムに関する。
【背景技術】
【０００２】
従来、高齢者の異常を検知するシステムや高齢者の行動を見守るシステムなどでは、人物の行動を検知して、人物の行動を認識する技術（以下、「行動認識技術」という。）が用いられている。また、一般に対しても、生活行動からその人の状態を推測し、適切なサービスを提供する試みが行われている。また、このような行動認識技術としては、以下に示す行動認識技術が知られている。
【０００３】
あらかじめ生成された行動モデルと行動認識の対象となるデータ（以下、「認識対象データ」という。）とを比較して、認識対象データとの尤度が最も高い行動モデルに対応する行動を認識結果として出力する技術が挙げられる。具体的には、隠れマルコフモデル（ＨＭＭ；Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）などの統計モデル生成手法によって人物の行動データから複数の行動モデルをあらかじめ生成しておき、複数の行動モデルの中で認識対象データとの尤度が最も高い行動モデルに対応する行動が認識結果として出力される。
【０００４】
行動認識技術を利用して行動の非日常性を検知するために、あらかじめ人手により定義された日常行動テンプレートと実際に起きた行動との違いを検出することで、異常の発生を判断する手法が提案されている（例えば、特許文献１参照。）。
【特許文献１】特開２００３−２５６９５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した背景技術においては、異常の発生を検知する前の段階で、日常行動があらかじめ人手により定義されている。このため、複雑で多様な人物の行動の全てを行動特徴の組み合せによって定義することは非常に困難であり、限られた人物の行動しか認識することができない。
【０００６】
高齢者の行動を見守るシステムでは、転倒・卒倒等の異常行動の検知に加えて、介護福祉施設等がより上質なケアを提供するために、プライバシーを保護した上で高齢者の生活パターンを検知し、生活習慣や健康状態の変化、廊下の兆候等を推定することが強く求められている。
【０００７】
連続した実生活データから行動の非日常性を検知するには、行動を学習する際に、実生活データの分割方法や分割された行動において類似する行動をまとめる方法を工夫する必要がある。
【０００８】
上記問題点に鑑み、本発明は、実環境での行動動線を適切な行動にクラスタリングすることで、実環境での行動動線から日常的な行動を自動的に定義できる非日常行動検知システムを提供する。
【課題を解決するための手段】
【０００９】
本発明の第１の特徴は、人物の非日常行動を検知する非日常行動検知システムであって、人物の時系列動線情報から生成された複数の行動データを行動毎にクラスタリングし、クラスタリングした複数の行動データを行動毎にモデル化した第１行動モデルを生成する第１学習処理部と、複数の行動データをクラスタリングして第２行動モデルを生成する第２学習処理部とを備え、第２学習処理部は、第１行動モデルを用いて複数の行動データを認識し、認識結果及び尤度を得る第１認識処理部と、第１認識処理部が求めた尤度が閾値以上である行動データのみを複数の行動データから選別する第１行動データ選別部と、第１行動データ選別部が選別した行動データを、第１認識処理部の認識結果の示す行動にクラスタリングする第２クラスタリング部と、第２クラスタリング部がクラスタリングした行動データから第２行動モデルを生成する第２行動モデル生成部とを備える非日常行動検知システムであることを要旨とする。第１の特徴に係る非日常行動検知システムによれば、類似する行動をまとめ、適切な行動にクラスタリングすることで実環境での行動動線から日常的な行動を自動的に定義できる。
【００１０】
第２の特徴は、第１の特徴に係る非日常行動検知システムにおいて、複数の行動データをクラスタリングして第３〜第ｎ行動モデルを生成する第３〜第ｎ学習処理部を更に備え（ｎ；４以上の整数）、第３学習処理部は、第２行動モデルを用いて複数の行動データを認識し、認識結果及び尤度を得る第２認識処理部と、第２認識処理部が求めた尤度が閾値以上である行動データのみを複数の行動データから選別する第２行動データ選別部と、第２行動データ選別部が選別した行動データを、第２認識処理部の認識結果の示す行動にクラスタリングする第３クラスタリング部と、第３クラスタリング部がクラスタリングした行動データから第３行動モデルを生成する第３行動モデル生成部とを備えることを要旨とする。
【００１１】
第３の特徴は、第２の特徴に係る非日常行動検知システムにおいて、第２〜第ｎ行動モデルのいずれかを用いて認識対象の行動データを認識し、非日常行動を検知する行動認識部を更に備えることを要旨とする。
【００１２】
第４の特徴は、第３の特徴に係る非日常行動検知システムにおいて、第２〜第ｎ学習処理部によるクラスタリングによって、直前のクラスタリング結果とは異なる行動にクラスタリングされた行動データの数が閾値以下となった際に生成された行動モデルを、認識対象の行動データを認識するための最終的な行動モデルとするクラスタリング結果判定部を更に備えることを要旨とする。
【００１３】
第５の特徴は、第３又は第４の特徴に係る非日常行動検知システムにおいて、第２〜第ｎ学習処理部によるクラスタリングによって、異なる行動にクラスタリングされた行動データの数が閾値以下となった際に生成された行動モデルを、認識対象の行動データを認識するための最終的な行動モデルとして選択する行動モデル選択部を更に備えることを要旨とする。第４の特徴に係る非日常行動検知システムによれば、行動の内部状態を考慮することで、行動の中の非日常性の検知が可能となる。
【００１４】
第６の特徴は、第５の特徴に係る非日常行動検知システムにおいて、行動認識部は、第２〜第ｎ行動モデルのいずれかを用いて認識対象の行動データを認識し、認識結果及び尤度を得る第３認識処理部と、認識対象の行動データと第３認識処理部の認識結果の示す行動に対応するヒストグラムとを比較し、単位時間当たりの移動量の頻度の差分値を算出する差分値算出部と、第３認識処理部が得た尤度と差分値に基づいて、非日常行動の検知に用いる評価値を算出する評価値算出部とを備えることを要旨とする。第６の特徴に係る非日常行動検知システムによれば、ヒストグラムの差分値と尤度とに基づいて、非日常行動の検知に用いる評価値を求めることが可能となる。
【００１５】
第７の特徴は、第６の特徴に係る非日常行動検知システムにおいて、行動認識部は、評価値を積算して累積評価値が閾値を超えた場合に非日常行動の発生と判定する判定部を更に備えることを要旨とする。第７の特徴に係る非日常行動検知システムによれば、一連の行動における非日常行動を検知可能となる。
【００１６】
第８の特徴は、第１〜第７の特徴に係る非日常行動検知システムにおいて、時系列動線情報から人物の移動開始及び移動停止を判定する停止状態判定部と、時系列動線情報から人物のエリア遷移の有無を判定するエリア遷移判定部と、移動開始から移動停止までで時系列動線情報を分割し、分割した時系列動線情報のうちエリア遷移を含む時系列動線情報を行動データ及び認識対象の行動データとして出力する行動データ出力部とを更に備え、エリア遷移の履歴を示すエリア遷移履歴をクラスタリングの基準として用いることを要旨とする。第８の特徴に係る非日常行動検知システムによれば、連続した実生活データ（時系列動線情報）から、最適なデータ分割を行うことが可能となる。
【発明の効果】
【００１７】
本発明によれば、実環境での行動動線を適切な行動にクラスタリングすることで、実環境での行動動線から日常的な行動を自動的に定義できる非日常行動検知システムを提供できる。
【発明を実施するための最良の形態】
【００１８】
次に、図面を参照して、本発明の実施形態を説明する。以下の実施形態における図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。
【００１９】
（全体構成例）
本発明の実施形態に係る非日常行動検知システムは、図１に示すように、例えば、高齢者等の人物の遠隔見守り（遠隔監視）システムとして構成される。非日常行動検知システムは、被監視者の住居に設置される検出装置１１０と、監視センタに設置される非日常行動検知装置１と、監視者の住居に設置される出力装置１２０とを備える。検出装置１１０、非日常行動検知装置１、及び出力装置１２０は、インターネット等の通信ネットワーク１００を介して相互に通信可能なように構成されている。なお、通信ネットワーク１００は、有線ネットワークに限らず無線ネットワークであってもかまわない。
【００２０】
検出装置１１０は、人物の生活動線を検出するように構成されており、人物の行動動線を検知するセンサ部１０１と、センサ部１０１が検知したデータを処理して、単位時間当たりの移動量及び座標データを出力するセンサデータ処理部１０２と、通信ネットワーク１００と通信を行う通信処理部１０３とを備える。センサ部１０１としては、例えば床圧力センサ、焦電センサ、無線タグ（ＲＦ−ＩＤ）、又は撮像装置等、あるいはこれらの組み合せが使用できる。すなわち、人物の生活動線が検出可能であればセンサ部１０１として使用可能である。以下においては、センサ部１０１として複数の床圧力センサを使用する一例を説明する。
【００２１】
非日常行動検知装置１は、検出装置１１０から通信ネットワーク１００を介して受信した時系列動線情報に基づいて人物の非日常行動を検知するように構成されており、各種の情報処理を行う処理装置１０と、各種の情報を記憶する記憶装置２０と、通信ネットワーク１００と通信を行う通信処理部３０とを備える。処理装置１０は、記憶装置２０にあらかじめ記憶された制御プログラムを実行することで、時系列動線情報から複数の行動データを生成する行動データ生成部１１と、複数の行動データを用いて人物の行動を学習する行動学習部１２と、行動学習部１２の学習結果に基づいて行動データを認識し、非日常行動を検知する行動認識部１３のそれぞれの機能を実行する。
【００２２】
出力装置１２０は、監視者に対して、被監視者における非日常行動の発生を通知する通知部１２１と、通知部１２１を制御する制御部１２２と、通信ネットワーク１００と通信を行う通信処理部１２３とを備える。通知部１２１としては、映像出力装置、音声出力装置、又は家庭用ロボット等、あるいはこれらの組み合せが使用できる。
【００２３】
次に、図２に示すフローチャートを参照して、本発明の実施形態に係る非日常行動検知装置１の動作概要を説明する。
【００２４】
ステップＳ１０１において、行動データ生成部１１は、人物の時系列動線情報を、検出装置１１０から通信ネットワーク１００を介して受信し、受信した時系列動線情報から複数の行動データ（学習用の行動データ）を生成する。
【００２５】
ステップＳ１０２において、行動学習部１２は、ステップＳ１０１で生成された複数の行動データを学習し、行動モデルを生成する。
【００２６】
ステップＳ１０３において、行動データ生成部１１は、人物の時系列動線情報を、検出装置１１０から通信ネットワーク１００を介して受信し、受信した時系列動線情報から複数の行動データ（認識対象の行動データ）を生成する。
【００２７】
ステップＳ１０４において、行動認識部１３は、ステップＳ１０２で得られた行動モデルを用いて、ステップＳ１０３で得られた行動データを認識し、非日常行動を検知する。
【００２８】
以下、行動データ生成部１１、行動学習部１２、及び行動認識部１３の詳細について説明する。
【００２９】
（行動データ生成部）
行動データ生成部１１の機能構成例を図３に示す。行動データ生成部１１は、時系列動線情報から人物の移動開始及び移動停止を判定する停止状態判定部１１１と、時系列動線情報から人物のエリア遷移の有無を判定するエリア遷移判定部１１２と、移動開始から移動停止までで時系列動線情報を分割し、分割した時系列動線情報のうちエリア遷移を含む時系列動線情報を行動データとして出力する行動データ出力部１１３とを備える。「エリア遷移」とは、図４に示すように、被監視者の住居の間取りに応じた部屋をエリアとして部屋の遷移を意味しているが、１つの部屋内に複数のエリアを定義し、定義されたエリア間での遷移であってもよい。行動データ出力部１１３は、行動データに対して、エリア遷移の履歴を示すエリア遷移履歴の情報を付加する。エリア遷移履歴の情報は、行動学習部１２のクラスタリング処理等に使用される。
【００３０】
なお、図４において円形及び正方形でプロットされている点（時系列動線情報）は、単位時間（例えば５［ｓ］）毎に人物が存在した位置を示し、それぞれ単位時間当たりの移動量の情報と、ｘ方向及びｘ方向に直交するｙ方向の平均座標の情報とを有している。
【００３１】
図４に示すように、停止状態判定部１１１は、単位時間当たりの移動量が１［ｍ］以下である状態を停止状態と判定する。具体的には、停止状態判定部１１１は、単位時間当たりの移動量データを、あらかじめ設定された停止状態閾値と比較することで停止状態を判定する。
【００３２】
エリア遷移判定部１１２は、平均座標データを入力として、エリア遷移の有無を判定する。具体的には、エリア遷移判定部１１２は、平均座標データをあらかじめ設定されたエリア閾値と比較することでエリア遷移を判定する。図４に示す例においては、エリア遷移履歴は、部屋Ａから部屋Ｂへ移動（遷移）しているために“ＡＢ”で表される。なお、以下の実施形態の説明においては、被監視者の住居に“Ａ”〜“Ｇ”の少なくとも７つの部屋が存在するものとしている。
【００３３】
次に、図５に示すフローチャートを参照して、行動データ生成部１１の動作例、すなわち図２に示すステップＳ１０１及びＳ１０３の詳細について説明する。ただし、説明の便宜上、１つの行動データを生成する場合について説明する。
【００３４】
ステップＳ２０１において、停止状態判定部１１１は、単位時間当たりの移動量データを停止状態閾値と比較して、停止状態閾値以上である場合に人物の移動開始と判定する。また、エリア遷移判定部１１２は、平均座標データをエリア閾値と比較することでエリア遷移を検知する。
【００３５】
ステップＳ２０２において、停止状態判定部１１１は、単位時間当たりの移動量データを停止状態閾値と比較して、停止状態閾値未満である場合に人物の移動停止と判定する。
【００３６】
ステップＳ２０３において、エリア遷移判定部１１２は、エリア遷移が含まれているか否かを判定する。エリア遷移が含まれていると判定された場合、ステップＳ２０４に進む。エリア遷移が含まれていないと判定された場合、行動データが生成されずに処理が終了する。
【００３７】
ステップＳ２０４において、行動データ出力部１１３は、ステップＳ２０１で検知された移動開始から、ステップＳ２０２で検知された移動停止までの時系列動線情報を行動データとして生成（データ分割）する。また、行動データ出力部１１３は、行動データにエリア遷移履歴の情報を付加する。生成された行動データは、例えば図１に示す記憶装置２０に記憶される。
【００３８】
このように、本発明の実施形態に係る行動データ生成部１１によれば、連続した実生活データ（時系列動線情報）から、データ処理単位である行動データを自動的に生成できる。
【００３９】
（行動学習部）
行動学習部１２の機能構成例を図６に示す。行動学習部１２は、図６に示すように、第１〜第３学習処理部１２５１〜１２５３、及びヒストグラム生成部１２１１を備える。第１〜第３学習処理部１２５１〜１２５３は、行動データ記憶部２１に記憶された複数の行動データを学習してそれぞれ行動モデル（学習モデル）を生成する。第１学習処理部１２５１は、第１クラスタリング部１２０１及び第１行動モデル生成部１２０２を備える。第２学習処理部１２５２は、第１認識処理部１２０３、第１行動データ選別部１２０４、第２クラスタリング部１２０５、及び第２行動モデル生成部１２０６を備える。第３学習処理部１２５３は、第２認識処理部１２０７、第２行動データ選別部１２０８、第３クラスタリング部１２０９、及び第３行動モデル生成部１２１０を備える。
【００４０】
図６に示す行動データ記憶部２１、第１行動モデル記憶部２２、第２行動モデル記憶部２３、第３行動モデル記憶部２４、及びヒストグラム記憶部２５は、図１に示す記憶装置２０内に設けられている。行動データ記憶部２１には、行動データ生成部１１が生成した複数の行動データが記憶されている。
【００４１】
第１クラスタリング部１２０１は、行動データ記憶部２１に記憶された複数の行動データを読み出し、図７（ａ）に示すように、読み出した複数の行動データ“ＡＢＣ−１”，“ＡＢＣ−２”，“ＡＢＣ−３”，“ＥＦＣ−１”，“ＥＦＣ−２”，“ＧＢＡＥ−１”，“ＧＢＡＥ−２”，及び“ＢＡ−１”を、行動（エリア遷移履歴）毎にクラスタリングする。
【００４２】
図７（ａ）に示す例においては、行動（エリア遷移履歴）が“ＡＢＣ”である行動データ“ＡＢＣ−１”，“ＡＢＣ−２”，及び“ＡＢＣ−３”が１つにクラスタリングされている。行動（エリア遷移履歴）が“ＥＦＣ”である行動データ“ＥＦＣ−１”及び“ＥＦＣ−２”が１つにクラスタリングされている。行動（エリア遷移履歴）が“ＧＢＡＥ”である行動データ“ＧＢＡＥ−１”及び“ＧＢＡＥ−２”が１つにクラスタリングされている。行動（エリア遷移履歴）が“ＢＡ”である行動データ“ＢＡ−１”が１つにクラスタリングされている。
【００４３】
第１行動モデル生成部１２０２は、図７（ａ）に示すように、第１クラスタリング部１２０１がクラスタリングした複数の行動データを行動（エリア遷移履歴）毎にモデル化した行動モデルを生成する。第１行動モデルは第１行動モデル記憶部２２に記憶される。
【００４４】
以下に行動モデル生成方法の具体例について説明する。第１行動モデル生成部１２０２は、単位時間当たりの移動量、ｘ方向及びｙ方向の平均座標を含む行動データに基づいて行動モデルを生成する。具体的には、第１行動モデル生成部１２０２は、隠れマルコフモデル（ＨＭＭ；Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）などの統計モデル生成手法によって、“行動ＡＢＣ”や“行動ＥＦＣ”といった行動（エリア遷移履歴）毎に行動モデルを生成する。
【００４５】
続いて、第１行動モデル生成部１２０２は、Ｂａｕｍ−Ｗｅｌｃｈアルゴリズムに従って、“行動ＡＢＣ”や“行動ＥＦＣ”といった行動（エリア遷移履歴）毎に隠れマルコフモデルのパラメータを推定する。なお、隠れマルコフモデルのパラメータとは、一の状態から他の状態に遷移する確率（遷移確率）や一の状態から一の出力記号が出力される確率などである。また、第１行動モデル生成部１２０２は、“行動ＡＢＣ”や“行動ＥＦＣ”といった行動（エリア遷移履歴）毎に推定された隠れマルコフモデルのパラメータを行動モデルとして第１行動モデル記憶部２２に記憶する。すなわち、第１行動モデル記憶部２２は、人物の行動（エリア遷移履歴）毎に複数の第１行動モデルを記憶する。
【００４６】
また、第１認識処理部１２０３は、行動データ記憶部２１に記憶された複数の行動データと第１行動モデル記憶部２２に記憶された第１行動モデルとを読み出し、第１行動モデルを用いて複数の行動データを認識し、図７（ｂ）に示すように、認識結果及び尤度を得る。具体的には、第１認識処理部１２０３は、第１行動モデル記憶部２２に記憶された複数の第１行動モデルに対する行動データの尤度を算出する。また、第１認識処理部１２０３は、行動データの尤度が最大となる行動モデルを特定し、特定された行動モデルを認識結果として出力する。
【００４７】
以下において、統計モデル生成手法として隠れマルコフモデルを用いた場合を例に挙げて、行動モデルの生成方法について説明する。例えば、上述した隠れマルコフモデルでは、第１認識処理部１２０３は、単位時間当たりの移動量、ｘ方向及びｙ方向の平均座標を含む行動データに基づいて、その行動データに対応する出力記号列を取得する。続いて、第１認識処理部１２０３は、取得された出力記号列が各隠れマルコフモデルに従って出力される確率（尤度）を算出する。
【００４８】
具体的には、第１認識処理部１２０３は、以下の式に従って、各隠れマルコフモデル（行動モデル）に対する行動データの尤度（Ｐλ）を算出する。
【数１】
【００４９】
ここで、O1,O2,・・・Otは、行動モデル（隠れマルコフモデル）の出力記号であり、ok(1), ok(2)・・・ok(t)は、行動データの出力記号であり、Ｎは、状態の数である。また、πjは、初期状態が状態（ｊ）である確率であり、ai,jは、状態（ｉ）から状態（ｊ）に遷移する遷移確率であり、bj,k(t)は、時刻ｔにおいて状態（ｊ）から出力記号（ｏｋ（ｔ））が出力される確率である。
【００５０】
続いて、第１行動データ選別部１２０４は、尤度があらかじめ設定された閾値（ここでは−２５．０）以上である行動データのみを複数の行動データから選別する。この結果、図８に示すように、行動データ“ＡＢＣ−３”及び“ＧＢＡＥ−２”は第１行動データ選別部１２０４にてクラスタリング対象から除外される。
【００５１】
第２クラスタリング部１２０５は、第１行動データ選別部１２０４が選別した行動データを、第１認識処理部１２０３の認識結果の示す行動（エリア遷移履歴）にクラスタリングする。したがって、図８及び図９に示すように、行動データ“ＡＢＣ−１”，“ＡＢＣ−２”，“ＥＦＣ−２”，及び“ＢＡ−１”が１つにクラスタリングされている。行動データ“ＥＦＣ−１”及び“ＧＢＡＥ−１”が１つにクラスタリングされている。
【００５２】
第２行動モデル生成部１２０６は、第２クラスタリング部１２０５がクラスタリングした行動データから第２行動モデルを生成する。よって、図９（ａ）に示すように、行動データ“ＡＢＣ−１”，“ＡＢＣ−２”，“ＥＦＣ−２”，及び“ＢＡ−１”から行動（エリア遷移履歴）“ＡＢＣ”の行動モデルが生成される。行動データ“ＥＦＣ−１”及び“ＧＢＡＥ−１”から行動（エリア遷移履歴）“ＥＦＣ”の行動モデルが生成される。生成された第２行動モデルは、第２行動モデル記憶部２３に記憶される。
【００５３】
更に、第２認識処理部１２０７は、行動データ記憶部２１に記憶された複数の行動データと第２行動モデル記憶部２３に記憶された第２行動モデルとを読み出し、第２行動モデルを用いて複数の行動データを認識し、図９（ｂ）に示すように、認識結果及び尤度を得る。
【００５４】
第２行動データ選別部１２０８は、第２認識処理部１２０７が求めた尤度があらかじめ設定された閾値（ここでは−２５．０）以上である行動データのみを複数の行動データから選別する。この結果、図１０（ａ）に示すように、行動データ“ＧＢＡＥ−２”は第２行動データ選別部１２０８にてクラスタリング対象から除外される。
【００５５】
３回目のクラスタリング処理の意義は、２回目のクラスタリング対象から除外された行動データをクラスタリングすることであり、行動モデルのロバスト性を高めることを目的としている。
【００５６】
更に、第３クラスタリング部１２０９は、第２行動データ選別部１２０８が選別した行動データを、第２認識処理部１２０７の認識結果の示す行動（エリア遷移履歴）にクラスタリングする。したがって、図１０（ａ）に示すように、行動データ“ＡＢＣ−１”，“ＡＢＣ−２”，“ＥＦＣ−２”，“ＢＡ−１”，及び“ＡＢＣ−３”が１つにクラスタリングされている。よって、２回目のクラスタリングで除外された行動データ“ＡＢＣ−３”が救済されている。また、行動データ“ＥＦＣ−１”及び“ＧＢＡＥ−１”が１つにクラスタリングされている。
【００５７】
第３行動モデル生成部１２１０は、第３クラスタリング部１２０９がクラスタリングした行動データから第３行動モデルを生成する。よって、図１０（ｂ）に示すように、行動データ“ＡＢＣ−１”，“ＡＢＣ−２”，“ＥＦＣ−２”，“ＢＡ−１”，及び“ＡＢＣ−３”から行動（エリア遷移履歴）“ＡＢＣ”の行動モデルが生成される。行動データ“ＥＦＣ−１”及び“ＧＢＡＥ−１”から行動（エリア遷移履歴）“ＥＦＣ”の行動モデルが生成される。生成された第３行動モデルは、第３行動モデル記憶部２４に記憶される。
【００５８】
更に、ヒストグラム生成部１２１１は、図１１（ａ）〜（ｃ）に示すように、第３クラスタリング部１２０９がクラスタリングした行動データ毎に単位時間当たりの移動量の頻度の分布を示すヒストグラムを生成する。具体的には、図１１（ａ）に示す行動（エリア遷移履歴）“ＡＢＣ”にクラスタリングされている行動データ“ＡＢＣ−１”，“ＡＢＣ−２”，“ＥＦＣ−２”，“ＢＡ−１”，及び“ＡＢＣ−３”のそれぞれについて、単位時間当たりの移動量の頻度の分布を示すヒストグラムを生成する。更に、行動データ“ＡＢＣ−１”，“ＡＢＣ−２”，“ＥＦＣ−２”，“ＢＡ−１”，及び“ＡＢＣ−３”の各ヒストグラムを平均して、図１１（ｂ）に示すようなヒストグラムを生成する。図１１（ｂ）に示すヒストグラムでは、単位時間当たりの移動量の小さい頻度が多いので、全体として遅い行動であると判断できる。
【００５９】
また、図１１（ａ）に示す行動（エリア遷移履歴）“ＥＦＣ”にクラスタリングされている行動データ“ＥＦＣ−１”及び“ＧＢＡＥ−１”のそれぞれについて、単位時間当たりの移動量の頻度の分布を示すヒストグラムを生成する。更に、行動データ“ＥＦＣ−１”及び“ＧＢＡＥ−１”の各ヒストグラムを平均して、図１１（ｃ）に示すようなヒストグラムを生成する。図１１（ｃ）に示すヒストグラムでは、単位時間当たりの移動量の大きい頻度が多いので、全体として速い行動であると判断できる。
【００６０】
次に、図１２に示すフローチャートを参照して、行動学習部１２の動作例、すなわち図２のステップＳ１０２の詳細について説明する。
【００６１】
ステップＳ３０１において、第１クラスタリング部１２０１は、行動データ記憶部２１に記憶された複数の行動データを読み出し、読み出した複数の行動データを行動（エリア遷移履歴）毎にクラスタリングする。
【００６２】
ステップＳ３０２において、第１行動モデル生成部１２０２は、ステップＳ３０１でクラスタリングされた複数の行動データを、行動（エリア遷移履歴）毎にモデル化した第１行動モデルを生成する。第１行動モデルは第１行動モデル記憶部２２に記憶される。
【００６３】
ステップＳ３０３において、第１認識処理部１２０３は、行動データ記憶部２１に記憶された複数の行動データ及び第１行動モデル記憶部２２に記憶された第１行動モデルを読み出し、第１行動モデルを用いて複数の行動データを認識し、認識結果及び尤度を得る。
【００６４】
ステップＳ３０４において、第１行動データ選別部１２０４は、尤度が閾値以上である行動データのみを複数の行動データから選別する。
【００６５】
ステップＳ３０５において、第２クラスタリング部１２０５は、選別された行動データを認識結果の示す行動（エリア遷移履歴）にクラスタリングする。
【００６６】
ステップＳ３０６において、第２行動モデル生成部１２０６は、第２クラスタリング部１２０５がクラスタリングした行動データから第２行動モデルを生成する。第２行動モデルは第２行動モデル記憶部２３に記憶される。
【００６７】
ステップＳ３０７において、第２認識処理部１２０７は、行動データ記憶部２１に記憶された複数の行動データ及び第２行動モデル記憶部２３に記憶された第２行動モデルを読み出し、第２行動モデルを用いて複数の行動データを認識し、認識結果及び尤度を得る。
【００６８】
ステップＳ３０８において、第２行動データ選別部１２０８は、ステップＳ３０７で求めた尤度が閾値以上である行動データのみを複数の行動データから選別する。
【００６９】
ステップＳ３０９において、第３クラスタリング部１２０９は、ステップＳ３０８で選別された行動データを、ステップＳ３０７における認識結果の示す行動（エリア遷移履歴）にクラスタリングする。
【００７０】
ステップＳ３１０において、第３行動モデル生成部１２１０は、ステップＳ３０９でクラスタリングされた行動データから第３行動モデルを生成する。
【００７１】
ステップＳ３１１において、ステップＳ３０９でクラスタリングされた行動データに対し、単位時間当たりの移動量の頻度の分布を示すヒストグラムを行動（エリア遷移履歴）毎に生成する。
【００７２】
このように、本発明の実施形態に係る行動学習部１２によれば、複雑で多様な人物の行動に対して適切な行動モデルを自動的に生成できる。したがって、プライバシーを保護した上で日常的な生活パターンを定義することが可能となる。
【００７３】
（行動認識部）
行動認識部１３の機能構成例を図１３に示す。行動認識部１３は、認識対象の行動データ、第３行動モデル、及びヒストグラムを入力として、被監視者における非日常行動の発生を監視者に通知するための非日常行動検知通知を出力する。出力された非日常行動検知通知は、図１に示す通信処理部３０及び通信ネットワーク１００を介して、出力装置１２０へ送信される。この結果、監視者は、被監視者による非日常行動の発生を知ることができる。
【００７４】
行動認識部１３は、第３認識処理部１３０１、差分値算出部１３０２、評価値算出部１３０３、及び判定部１３０４を備える。なお、評価値記憶部２７は、図１に示す記憶装置２０内に設けられている。
【００７５】
第３認識処理部１３０１は、第３行動モデル記憶部２４に記憶された第３行動モデルを用いて、認識対象の行動データを認識し、認識結果及び尤度を得る。第３認識処理部１３０１には、図１４（ａ）に示すような行動データ１〜５が順次入力される。例えば、行動データ１〜５は、人物のある生活シーンにおける一連の行動から測定されているものとする。
【００７６】
差分値算出部１３０２は、第３認識処理部１３０１の認識結果の示す行動（エリア遷移履歴）に対応するヒストグラムをヒストグラム記憶部２５から読み出す。また、差分値算出部１３０２は、認識対象データを総データ（サンプル数）数で正規化し、読み出したヒストグラムと移動量毎に比較する。この比較は、ヒストグラムの頻度差を各移動量で積算する方式を採用する。図１４（ｂ）に示すように、あらかじめ設定していた移動量の基準値に対し、基準値よりも小さい移動量、即ち移動速度が遅い場合は、ヒストグラムデータよりも頻度が少ない場合に正として積算する。これに対して、あらかじめ設定していた移動量の基準値に対し、基準値よりも大きい移動量、即ち移動速度が速い場合は、ヒストグラムデータよりも頻度が多い場合に正として積算する。このようにして得られた積算値を差分値とする。よって、差分値は、ヒストグラムデータよりも移動量が大きいデータが多い場合に正として出力される。
【００７７】
評価値算出部１３０３は、図１５（ａ）に示すように、第３認識処理部１３０１が求めた尤度と、差分値算出部１３０２が算出した差分値を乗算して、非日常行動の検知に用いる評価値を算出する。評価値は評価値記憶部２７に記憶される。
【００７８】
判定部１３０４は、図１５（ｂ）に示すように、評価値を積算し、累積評価値があらかじめ設定した閾値を超えた場合に非日常行動の発生と判定する。
【００７９】
次に、図１６に示すフローチャートを参照して、行動認識部１３の動作例、すなわち図２のステップＳ１０４の詳細について説明する。
【００８０】
ステップＳ４０１において、第３認識処理部１３０１は、第３行動モデル記憶部から第３行動モデルを読み出し、第３行動モデルを用いて認識対象データを認識し、認識結果及び尤度を得る。
【００８１】
ステップＳ４０２において、差分値算出部１３０２は、ステップＳ４０１で得られた認識結果の示す行動（エリア遷移履歴）に対応するヒストグラムをヒストグラム記憶部２５から読み出す。更に、差分値算出部１３０２は、認識対象データを総データ数で正規化し、ヒストグラムと移動量毎に比較する。このようにして移動量の頻度の差分値が算出される。
【００８２】
ステップＳ４０３において、評価値算出部１３０３は、ステップＳ４０１で得られた尤度とステップＳ４０２で算出された差分値を乗算することで評価値を得る。
【００８３】
ステップＳ４０４において、判定部１３０４は、ステップＳ４０３で得られた評価値を積算する。
【００８４】
ステップＳ４０５において、判定部１３０４は、ステップＳ４０４で積算された累積評価値が閾値を超えるか否かを判定する。累積評価値が閾値を超えると判定された場合、ステップＳ４０６に移行する。
【００８５】
ステップＳ４０６において、判定部１３０４は、非日常行動であると判定して非日常行動検知通知を出力する。
【００８６】
このように、本発明の実施形態に係る行動認識部１３によれば、行動データと行動モデルとの尤度と、行動データの内部状態との類似性（ヒストグラム差分値）とを併せて評価することで、行動の中の非日常性を検知することを可能としている。したがって、例えば非日常行動として物忘れ行動を検知するシステムに応用できる。物忘れが発生する１つの原因は、注意（意識）が他に向けられていることである。注意が他に向けられ、ある行動を失敗し、失敗した行動に意識が向かうことで、他の行動を更に失敗するというように、物忘れは連鎖的に発生すると考えられる。そこで、行動単位の非日常性を検知することで、その後に物忘れが発生しやすいかどうかを推定するシステムに応用できる。
【００８７】
（実験例）
次に、図１７を用いて、本発明の実施形態に係る非日常行動検知システムの実験例を説明する。図１７（ａ）及び（ｂ）に示す各実験データにおいては、それぞれ一連の行動からなる複数の行動データを含んでいる。図１７（ｃ）に示すように、１０回の実験中、誤認識されたのは実験２，５，及び８の３回のみであり、７回は正しく認識されていることが分かる。
【００８８】
（第１変形例）
上述した実施形態においては、行動学習部１２が、第１〜第３行動モデルの３つの行動モデルを生成し、第３行動モデルを最終的な行動モデルとして用いる一例を説明した。しかしながら、本発明の実施形態の第１変形例として、図１８に示すように、第２行動モデルを最終的な行動モデルとして用いるように構成されていてもよい。
【００８９】
（第２変形例）
本発明の実施形態の第２変形例に係る行動学習部１２００は、図１９に示すように、第２行動モデル記憶部２３に記憶された行動モデルが、認識処理部１２０３に再度入力可能なように構成されている点で、図６と異なっている。すなわち、第２学習処理部１２５２を複数回使用して複数の行動モデルを生成する構成となっている。
【００９０】
更に、行動学習部１２００は、第２クラスタリング部１２０５によるクラスタリングによって、直前のクラスタリング結果とは異なる行動にクラスタリングされた行動データの数が閾値以下となった際に生成された行動モデルを最終的な行動モデルとして選択する行動モデル選択部１２６０を更に備える。ここで「直前のクラスタリング結果とは異なる行動にクラスタリングされた行動データ」には、クラスタリング結果が「なし」となった行動データも含まれる。図８に示す例においては、行動データ“ＡＢＣ−３”、“ＥＦＣ−２”、“ＧＢＡＥ−１”、“ＧＢＡＥ−２”、及び“ＢＡ−１”に相当し、「異なる行動にクラスタリングされた行動データの数」は、５である。なお、閾値の値は任意に設定可能である。
【００９１】
次に、図２０に示すフローチャートを参照して、本発明の実施形態の第２変形例に係る行動学習部１２００の動作例について説明する。
【００９２】
ステップＳ３０１において、第１クラスタリング部１２０１は、行動データ記憶部２１に記憶された複数の行動データを読み出し、読み出した複数の行動データを行動（エリア遷移履歴）毎にクラスタリングする。
【００９３】
ステップＳ３０２において、第１行動モデル生成部１２０２は、ステップＳ３０１でクラスタリングされた複数の行動データを、行動（エリア遷移履歴）毎にモデル化した第１行動モデルを生成する。第１行動モデルは第１行動モデル記憶部２２に記憶される。
【００９４】
ステップＳ３０３において、第１認識処理部１２０３は、行動データ記憶部２１に記憶された複数の行動データ及び第１行動モデル記憶部２２に記憶された第１行動モデルを読み出し、第１行動モデルを用いて複数の行動データを認識し、認識結果及び尤度を得る。
【００９５】
ステップＳ３０４において、行動データ選別部１２０４は、尤度が閾値以上である行動データのみを複数の行動データから選別する。
【００９６】
ステップＳ３０５において、第２クラスタリング部１２０５は、選別された行動データを認識結果の示す行動（エリア遷移履歴）にクラスタリングする。
【００９７】
ステップＳ３０６において、第２行動モデル生成部１２０６は、第２クラスタリング部１２０５がクラスタリングした行動データから第２行動モデルを生成する。第２行動モデルは第２行動モデル記憶部２３に記憶される。
【００９８】
ステップＳ３２０において、行動モデル選択部１２６０は、ステップＳ３０５で直前のクラスタリング結果とは異なる行動（エリア遷移履歴）にクラスタリングされた行動データの数が閾値以下であるかを判定する。直前のクラスタリング結果とは異なる行動（エリア遷移履歴）にクラスタリングされた行動データの数が閾値以下であると判定された場合、ステップＳ３２１へ移行する。直前のクラスタリング結果とは異なる行動（エリア遷移履歴）にクラスタリングされた行動データの数が閾値を超えると判定された場合、ステップＳ３０３へ処理が戻る。処理が戻った場合のステップＳ３０３においては、ステップＳ３０６で生成された第２行動モデルを用いた認識処理が実行される。
【００９９】
ステップＳ３２０において、行動モデル選択部１２６０は、ステップＳ３０６で生成された第２行動モデルを最終的な行動モデルとして選択する。
【０１００】
ステップＳ３１１において、ステップＳ３０５でクラスタリングされた行動データに対し、単位時間当たりの移動量の頻度の分布を示すヒストグラムを行動（エリア遷移履歴）毎に生成する。
【０１０１】
このように、本発明の実施形態の第２変形例に係る行動学習部１２００によれば、終了条件を満たすまでは自動的にクラスタリングを繰り返すことで、良好な行動モデルを得ることができる。
【０１０２】
（その他の実施形態）
上記のように、本発明は実施形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなる。
【０１０３】
また、既に述べた実施形態の説明においては、行動認識部１３が、人物のある生活シーンにおける一連の行動における非日常性を検知する場合について説明した。しかしながら、更に長い期間における非日常性を検知してもよい。１日単位の非日常性の検知は行動のリズム変化検知、健康状態の変化検知に有効であり、１年単位の非日常性の検知は、老化・疾病の予測に有効であると考えられる。
【０１０４】
このように本発明は、ここでは記載していない様々な実施形態等を包含するということを理解すべきである。したがって、本発明はこの開示から妥当な特許請求の範囲の発明特定事項によってのみ限定されるものである。
【図面の簡単な説明】
【０１０５】
【図１】本発明の実施形態に係る非日常行動検知システムの全体構成例を示すブロック図である。
【図２】本発明の実施形態に係る非日常行動検知装置の動作概要を示すフローチャートである。
【図３】本発明の実施形態に係る行動データ生成部の構成例を示すブロック図である。
【図４】本発明の実施形態に係る行動データ生成部の機能を説明するための図である。
【図５】本発明の実施形態に係る行動データ生成部の動作例を示すフローチャートである。
【図６】本発明の実施形態に係る行動学習部の構成例を示すブロック図である。
【図７】図７（ａ）は本発明の実施形態に係る第１行動モデル生成部の機能を説明するための図であり、図７（ｂ）は本発明の実施形態に係る第１認識処理部の機能を説明するための図である。
【図８】本発明の実施形態に係る第１行動データ選別部及び第２クラスタリング部の機能を説明するための図である。
【図９】図９（ａ）は本発明の実施形態に係る第２行動モデル生成部の機能を説明するための図であり、図９（ｂ）は本発明の実施形態に係る第２認識処理部の機能を説明するための図である。
【図１０】図１０（ａ）は本発明の実施形態に係る第２行動データ選別部及び第３クラスタリング部の機能を説明するための図であり、図１０（ｂ）は本発明の実施形態に係る第３行動モデル生成部の機能を説明するための図である。
【図１１】図１１（ａ）〜（ｃ）は、本発明の実施形態に係るヒストグラム生成部の機能を説明するための図である。
【図１２】本発明の実施形態に係る行動学習部の動作例を示すフローチャートである。
【図１３】本発明の実施形態に係る行動認識部の構成例を示すブロック図である。
【図１４】図１４（ａ）は本発明の実施形態に係る第３認識処理部の機能を説明するための図であり、図１４（ｂ）は本発明の実施形態に係る差分値算出部の機能を説明するための図である。
【図１５】図１５（ａ）は本発明の実施形態に係る評価値算出部の機能を説明するための図であり、図１５（ｂ）は本発明の実施形態に係る判定部の機能を説明するための図である。
【図１６】本発明の実施形態に係る行動認識部の動作例をフローチャートである。
【図１７】図１７（ａ）〜（ｃ）は、本発明の実施形態に係る非日常行動検知システムの実験例を示す図である。
【図１８】本発明の実施形態の第１変形例に係る行動学習部の構成例を示すブロック図である。
【図１９】本発明の実施形態の第２変形例に係る行動学習部の構成例を示すブロック図である。
【図２０】本発明の実施形態の第２変形例に係る行動学習部の動作例を示すブロック図である。
【符号の説明】
【０１０６】
１…非日常行動検知装置
１０…処理装置
１１…行動データ生成部
１２…行動学習部
１３…行動認識部
２０…記憶装置
２１…行動データ記憶部
２２…第１行動モデル記憶部
２３…第２行動モデル記憶部
２４…第３行動モデル記憶部
２５…ヒストグラム記憶部
２７…評価値記憶部
３０…通信処理部
１００…通信ネットワーク
１０１…センサ部
１０２…センサデータ処理部
１０３…通信処理部
１１０…検出装置
１１１…停止状態判定部
１１２…エリア遷移判定部
１１３…行動データ出力部
１２０…出力装置
１２１…通知部
１２２…制御部
１２３…通信処理部
１２０１…第１クラスタリング部
１２０２…第１行動モデル生成部
１２０３…第１認識処理部
１２０４…第１行動データ選別部
１２０５…第２クラスタリング部
１２０６…第２行動モデル生成部
１２０７…第２認識処理部
１２０８…第２行動データ選別部
１２０９…第３クラスタリング部
１２１０…第３行動モデル生成部
１２１１…ヒストグラム生成部
１２５１…第１学習処理部
１２５２…第２学習処理部
１２５３…第３学習処理部
１２６０…行動モデル選択部
１３０１…第３認識処理部
１３０２…差分値算出部
１３０３…評価値算出部
１３０４…判定部
【技術分野】
【０００１】
本発明は、行動認識の対象となる人物の非日常行動を検知する非日常行動検知システムに関する。
【背景技術】
【０００２】
従来、高齢者の異常を検知するシステムや高齢者の行動を見守るシステムなどでは、人物の行動を検知して、人物の行動を認識する技術（以下、「行動認識技術」という。）が用いられている。また、一般に対しても、生活行動からその人の状態を推測し、適切なサービスを提供する試みが行われている。また、このような行動認識技術としては、以下に示す行動認識技術が知られている。
【０００３】
あらかじめ生成された行動モデルと行動認識の対象となるデータ（以下、「認識対象データ」という。）とを比較して、認識対象データとの尤度が最も高い行動モデルに対応する行動を認識結果として出力する技術が挙げられる。具体的には、隠れマルコフモデル（ＨＭＭ；Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）などの統計モデル生成手法によって人物の行動データから複数の行動モデルをあらかじめ生成しておき、複数の行動モデルの中で認識対象データとの尤度が最も高い行動モデルに対応する行動が認識結果として出力される。
【０００４】
行動認識技術を利用して行動の非日常性を検知するために、あらかじめ人手により定義された日常行動テンプレートと実際に起きた行動との違いを検出することで、異常の発生を判断する手法が提案されている（例えば、特許文献１参照。）。
【特許文献１】特開２００３−２５６９５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した背景技術においては、異常の発生を検知する前の段階で、日常行動があらかじめ人手により定義されている。このため、複雑で多様な人物の行動の全てを行動特徴の組み合せによって定義することは非常に困難であり、限られた人物の行動しか認識することができない。
【０００６】
高齢者の行動を見守るシステムでは、転倒・卒倒等の異常行動の検知に加えて、介護福祉施設等がより上質なケアを提供するために、プライバシーを保護した上で高齢者の生活パターンを検知し、生活習慣や健康状態の変化、廊下の兆候等を推定することが強く求められている。
【０００７】
連続した実生活データから行動の非日常性を検知するには、行動を学習する際に、実生活データの分割方法や分割された行動において類似する行動をまとめる方法を工夫する必要がある。
【０００８】
上記問題点に鑑み、本発明は、実環境での行動動線を適切な行動にクラスタリングすることで、実環境での行動動線から日常的な行動を自動的に定義できる非日常行動検知システムを提供する。
【課題を解決するための手段】
【０００９】
本発明の第１の特徴は、人物の非日常行動を検知する非日常行動検知システムであって、人物の時系列動線情報から生成された複数の行動データを行動毎にクラスタリングし、クラスタリングした複数の行動データを行動毎にモデル化した第１行動モデルを生成する第１学習処理部と、複数の行動データをクラスタリングして第２行動モデルを生成する第２学習処理部とを備え、第２学習処理部は、第１行動モデルを用いて複数の行動データを認識し、認識結果及び尤度を得る第１認識処理部と、第１認識処理部が求めた尤度が閾値以上である行動データのみを複数の行動データから選別する第１行動データ選別部と、第１行動データ選別部が選別した行動データを、第１認識処理部の認識結果の示す行動にクラスタリングする第２クラスタリング部と、第２クラスタリング部がクラスタリングした行動データから第２行動モデルを生成する第２行動モデル生成部とを備える非日常行動検知システムであることを要旨とする。第１の特徴に係る非日常行動検知システムによれば、類似する行動をまとめ、適切な行動にクラスタリングすることで実環境での行動動線から日常的な行動を自動的に定義できる。
【００１０】
第２の特徴は、第１の特徴に係る非日常行動検知システムにおいて、複数の行動データをクラスタリングして第３〜第ｎ行動モデルを生成する第３〜第ｎ学習処理部を更に備え（ｎ；４以上の整数）、第３学習処理部は、第２行動モデルを用いて複数の行動データを認識し、認識結果及び尤度を得る第２認識処理部と、第２認識処理部が求めた尤度が閾値以上である行動データのみを複数の行動データから選別する第２行動データ選別部と、第２行動データ選別部が選別した行動データを、第２認識処理部の認識結果の示す行動にクラスタリングする第３クラスタリング部と、第３クラスタリング部がクラスタリングした行動データから第３行動モデルを生成する第３行動モデル生成部とを備えることを要旨とする。
【００１１】
第３の特徴は、第２の特徴に係る非日常行動検知システムにおいて、第２〜第ｎ行動モデルのいずれかを用いて認識対象の行動データを認識し、非日常行動を検知する行動認識部を更に備えることを要旨とする。
【００１２】
第４の特徴は、第３の特徴に係る非日常行動検知システムにおいて、第２〜第ｎ学習処理部によるクラスタリングによって、直前のクラスタリング結果とは異なる行動にクラスタリングされた行動データの数が閾値以下となった際に生成された行動モデルを、認識対象の行動データを認識するための最終的な行動モデルとするクラスタリング結果判定部を更に備えることを要旨とする。
【００１３】
第５の特徴は、第３又は第４の特徴に係る非日常行動検知システムにおいて、第２〜第ｎ学習処理部によるクラスタリングによって、異なる行動にクラスタリングされた行動データの数が閾値以下となった際に生成された行動モデルを、認識対象の行動データを認識するための最終的な行動モデルとして選択する行動モデル選択部を更に備えることを要旨とする。第４の特徴に係る非日常行動検知システムによれば、行動の内部状態を考慮することで、行動の中の非日常性の検知が可能となる。
【００１４】
第６の特徴は、第５の特徴に係る非日常行動検知システムにおいて、行動認識部は、第２〜第ｎ行動モデルのいずれかを用いて認識対象の行動データを認識し、認識結果及び尤度を得る第３認識処理部と、認識対象の行動データと第３認識処理部の認識結果の示す行動に対応するヒストグラムとを比較し、単位時間当たりの移動量の頻度の差分値を算出する差分値算出部と、第３認識処理部が得た尤度と差分値に基づいて、非日常行動の検知に用いる評価値を算出する評価値算出部とを備えることを要旨とする。第６の特徴に係る非日常行動検知システムによれば、ヒストグラムの差分値と尤度とに基づいて、非日常行動の検知に用いる評価値を求めることが可能となる。
【００１５】
第７の特徴は、第６の特徴に係る非日常行動検知システムにおいて、行動認識部は、評価値を積算して累積評価値が閾値を超えた場合に非日常行動の発生と判定する判定部を更に備えることを要旨とする。第７の特徴に係る非日常行動検知システムによれば、一連の行動における非日常行動を検知可能となる。
【００１６】
第８の特徴は、第１〜第７の特徴に係る非日常行動検知システムにおいて、時系列動線情報から人物の移動開始及び移動停止を判定する停止状態判定部と、時系列動線情報から人物のエリア遷移の有無を判定するエリア遷移判定部と、移動開始から移動停止までで時系列動線情報を分割し、分割した時系列動線情報のうちエリア遷移を含む時系列動線情報を行動データ及び認識対象の行動データとして出力する行動データ出力部とを更に備え、エリア遷移の履歴を示すエリア遷移履歴をクラスタリングの基準として用いることを要旨とする。第８の特徴に係る非日常行動検知システムによれば、連続した実生活データ（時系列動線情報）から、最適なデータ分割を行うことが可能となる。
【発明の効果】
【００１７】
本発明によれば、実環境での行動動線を適切な行動にクラスタリングすることで、実環境での行動動線から日常的な行動を自動的に定義できる非日常行動検知システムを提供できる。
【発明を実施するための最良の形態】
【００１８】
次に、図面を参照して、本発明の実施形態を説明する。以下の実施形態における図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。
【００１９】
（全体構成例）
本発明の実施形態に係る非日常行動検知システムは、図１に示すように、例えば、高齢者等の人物の遠隔見守り（遠隔監視）システムとして構成される。非日常行動検知システムは、被監視者の住居に設置される検出装置１１０と、監視センタに設置される非日常行動検知装置１と、監視者の住居に設置される出力装置１２０とを備える。検出装置１１０、非日常行動検知装置１、及び出力装置１２０は、インターネット等の通信ネットワーク１００を介して相互に通信可能なように構成されている。なお、通信ネットワーク１００は、有線ネットワークに限らず無線ネットワークであってもかまわない。
【００２０】
検出装置１１０は、人物の生活動線を検出するように構成されており、人物の行動動線を検知するセンサ部１０１と、センサ部１０１が検知したデータを処理して、単位時間当たりの移動量及び座標データを出力するセンサデータ処理部１０２と、通信ネットワーク１００と通信を行う通信処理部１０３とを備える。センサ部１０１としては、例えば床圧力センサ、焦電センサ、無線タグ（ＲＦ−ＩＤ）、又は撮像装置等、あるいはこれらの組み合せが使用できる。すなわち、人物の生活動線が検出可能であればセンサ部１０１として使用可能である。以下においては、センサ部１０１として複数の床圧力センサを使用する一例を説明する。
【００２１】
非日常行動検知装置１は、検出装置１１０から通信ネットワーク１００を介して受信した時系列動線情報に基づいて人物の非日常行動を検知するように構成されており、各種の情報処理を行う処理装置１０と、各種の情報を記憶する記憶装置２０と、通信ネットワーク１００と通信を行う通信処理部３０とを備える。処理装置１０は、記憶装置２０にあらかじめ記憶された制御プログラムを実行することで、時系列動線情報から複数の行動データを生成する行動データ生成部１１と、複数の行動データを用いて人物の行動を学習する行動学習部１２と、行動学習部１２の学習結果に基づいて行動データを認識し、非日常行動を検知する行動認識部１３のそれぞれの機能を実行する。
【００２２】
出力装置１２０は、監視者に対して、被監視者における非日常行動の発生を通知する通知部１２１と、通知部１２１を制御する制御部１２２と、通信ネットワーク１００と通信を行う通信処理部１２３とを備える。通知部１２１としては、映像出力装置、音声出力装置、又は家庭用ロボット等、あるいはこれらの組み合せが使用できる。
【００２３】
次に、図２に示すフローチャートを参照して、本発明の実施形態に係る非日常行動検知装置１の動作概要を説明する。
【００２４】
ステップＳ１０１において、行動データ生成部１１は、人物の時系列動線情報を、検出装置１１０から通信ネットワーク１００を介して受信し、受信した時系列動線情報から複数の行動データ（学習用の行動データ）を生成する。
【００２５】
ステップＳ１０２において、行動学習部１２は、ステップＳ１０１で生成された複数の行動データを学習し、行動モデルを生成する。
【００２６】
ステップＳ１０３において、行動データ生成部１１は、人物の時系列動線情報を、検出装置１１０から通信ネットワーク１００を介して受信し、受信した時系列動線情報から複数の行動データ（認識対象の行動データ）を生成する。
【００２７】
ステップＳ１０４において、行動認識部１３は、ステップＳ１０２で得られた行動モデルを用いて、ステップＳ１０３で得られた行動データを認識し、非日常行動を検知する。
【００２８】
以下、行動データ生成部１１、行動学習部１２、及び行動認識部１３の詳細について説明する。
【００２９】
（行動データ生成部）
行動データ生成部１１の機能構成例を図３に示す。行動データ生成部１１は、時系列動線情報から人物の移動開始及び移動停止を判定する停止状態判定部１１１と、時系列動線情報から人物のエリア遷移の有無を判定するエリア遷移判定部１１２と、移動開始から移動停止までで時系列動線情報を分割し、分割した時系列動線情報のうちエリア遷移を含む時系列動線情報を行動データとして出力する行動データ出力部１１３とを備える。「エリア遷移」とは、図４に示すように、被監視者の住居の間取りに応じた部屋をエリアとして部屋の遷移を意味しているが、１つの部屋内に複数のエリアを定義し、定義されたエリア間での遷移であってもよい。行動データ出力部１１３は、行動データに対して、エリア遷移の履歴を示すエリア遷移履歴の情報を付加する。エリア遷移履歴の情報は、行動学習部１２のクラスタリング処理等に使用される。
【００３０】
なお、図４において円形及び正方形でプロットされている点（時系列動線情報）は、単位時間（例えば５［ｓ］）毎に人物が存在した位置を示し、それぞれ単位時間当たりの移動量の情報と、ｘ方向及びｘ方向に直交するｙ方向の平均座標の情報とを有している。
【００３１】
図４に示すように、停止状態判定部１１１は、単位時間当たりの移動量が１［ｍ］以下である状態を停止状態と判定する。具体的には、停止状態判定部１１１は、単位時間当たりの移動量データを、あらかじめ設定された停止状態閾値と比較することで停止状態を判定する。
【００３２】
エリア遷移判定部１１２は、平均座標データを入力として、エリア遷移の有無を判定する。具体的には、エリア遷移判定部１１２は、平均座標データをあらかじめ設定されたエリア閾値と比較することでエリア遷移を判定する。図４に示す例においては、エリア遷移履歴は、部屋Ａから部屋Ｂへ移動（遷移）しているために“ＡＢ”で表される。なお、以下の実施形態の説明においては、被監視者の住居に“Ａ”〜“Ｇ”の少なくとも７つの部屋が存在するものとしている。
【００３３】
次に、図５に示すフローチャートを参照して、行動データ生成部１１の動作例、すなわち図２に示すステップＳ１０１及びＳ１０３の詳細について説明する。ただし、説明の便宜上、１つの行動データを生成する場合について説明する。
【００３４】
ステップＳ２０１において、停止状態判定部１１１は、単位時間当たりの移動量データを停止状態閾値と比較して、停止状態閾値以上である場合に人物の移動開始と判定する。また、エリア遷移判定部１１２は、平均座標データをエリア閾値と比較することでエリア遷移を検知する。
【００３５】
ステップＳ２０２において、停止状態判定部１１１は、単位時間当たりの移動量データを停止状態閾値と比較して、停止状態閾値未満である場合に人物の移動停止と判定する。
【００３６】
ステップＳ２０３において、エリア遷移判定部１１２は、エリア遷移が含まれているか否かを判定する。エリア遷移が含まれていると判定された場合、ステップＳ２０４に進む。エリア遷移が含まれていないと判定された場合、行動データが生成されずに処理が終了する。
【００３７】
ステップＳ２０４において、行動データ出力部１１３は、ステップＳ２０１で検知された移動開始から、ステップＳ２０２で検知された移動停止までの時系列動線情報を行動データとして生成（データ分割）する。また、行動データ出力部１１３は、行動データにエリア遷移履歴の情報を付加する。生成された行動データは、例えば図１に示す記憶装置２０に記憶される。
【００３８】
このように、本発明の実施形態に係る行動データ生成部１１によれば、連続した実生活データ（時系列動線情報）から、データ処理単位である行動データを自動的に生成できる。
【００３９】
（行動学習部）
行動学習部１２の機能構成例を図６に示す。行動学習部１２は、図６に示すように、第１〜第３学習処理部１２５１〜１２５３、及びヒストグラム生成部１２１１を備える。第１〜第３学習処理部１２５１〜１２５３は、行動データ記憶部２１に記憶された複数の行動データを学習してそれぞれ行動モデル（学習モデル）を生成する。第１学習処理部１２５１は、第１クラスタリング部１２０１及び第１行動モデル生成部１２０２を備える。第２学習処理部１２５２は、第１認識処理部１２０３、第１行動データ選別部１２０４、第２クラスタリング部１２０５、及び第２行動モデル生成部１２０６を備える。第３学習処理部１２５３は、第２認識処理部１２０７、第２行動データ選別部１２０８、第３クラスタリング部１２０９、及び第３行動モデル生成部１２１０を備える。
【００４０】
図６に示す行動データ記憶部２１、第１行動モデル記憶部２２、第２行動モデル記憶部２３、第３行動モデル記憶部２４、及びヒストグラム記憶部２５は、図１に示す記憶装置２０内に設けられている。行動データ記憶部２１には、行動データ生成部１１が生成した複数の行動データが記憶されている。
【００４１】
第１クラスタリング部１２０１は、行動データ記憶部２１に記憶された複数の行動データを読み出し、図７（ａ）に示すように、読み出した複数の行動データ“ＡＢＣ−１”，“ＡＢＣ−２”，“ＡＢＣ−３”，“ＥＦＣ−１”，“ＥＦＣ−２”，“ＧＢＡＥ−１”，“ＧＢＡＥ−２”，及び“ＢＡ−１”を、行動（エリア遷移履歴）毎にクラスタリングする。
【００４２】
図７（ａ）に示す例においては、行動（エリア遷移履歴）が“ＡＢＣ”である行動データ“ＡＢＣ−１”，“ＡＢＣ−２”，及び“ＡＢＣ−３”が１つにクラスタリングされている。行動（エリア遷移履歴）が“ＥＦＣ”である行動データ“ＥＦＣ−１”及び“ＥＦＣ−２”が１つにクラスタリングされている。行動（エリア遷移履歴）が“ＧＢＡＥ”である行動データ“ＧＢＡＥ−１”及び“ＧＢＡＥ−２”が１つにクラスタリングされている。行動（エリア遷移履歴）が“ＢＡ”である行動データ“ＢＡ−１”が１つにクラスタリングされている。
【００４３】
第１行動モデル生成部１２０２は、図７（ａ）に示すように、第１クラスタリング部１２０１がクラスタリングした複数の行動データを行動（エリア遷移履歴）毎にモデル化した行動モデルを生成する。第１行動モデルは第１行動モデル記憶部２２に記憶される。
【００４４】
以下に行動モデル生成方法の具体例について説明する。第１行動モデル生成部１２０２は、単位時間当たりの移動量、ｘ方向及びｙ方向の平均座標を含む行動データに基づいて行動モデルを生成する。具体的には、第１行動モデル生成部１２０２は、隠れマルコフモデル（ＨＭＭ；Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）などの統計モデル生成手法によって、“行動ＡＢＣ”や“行動ＥＦＣ”といった行動（エリア遷移履歴）毎に行動モデルを生成する。
【００４５】
続いて、第１行動モデル生成部１２０２は、Ｂａｕｍ−Ｗｅｌｃｈアルゴリズムに従って、“行動ＡＢＣ”や“行動ＥＦＣ”といった行動（エリア遷移履歴）毎に隠れマルコフモデルのパラメータを推定する。なお、隠れマルコフモデルのパラメータとは、一の状態から他の状態に遷移する確率（遷移確率）や一の状態から一の出力記号が出力される確率などである。また、第１行動モデル生成部１２０２は、“行動ＡＢＣ”や“行動ＥＦＣ”といった行動（エリア遷移履歴）毎に推定された隠れマルコフモデルのパラメータを行動モデルとして第１行動モデル記憶部２２に記憶する。すなわち、第１行動モデル記憶部２２は、人物の行動（エリア遷移履歴）毎に複数の第１行動モデルを記憶する。
【００４６】
また、第１認識処理部１２０３は、行動データ記憶部２１に記憶された複数の行動データと第１行動モデル記憶部２２に記憶された第１行動モデルとを読み出し、第１行動モデルを用いて複数の行動データを認識し、図７（ｂ）に示すように、認識結果及び尤度を得る。具体的には、第１認識処理部１２０３は、第１行動モデル記憶部２２に記憶された複数の第１行動モデルに対する行動データの尤度を算出する。また、第１認識処理部１２０３は、行動データの尤度が最大となる行動モデルを特定し、特定された行動モデルを認識結果として出力する。
【００４７】
以下において、統計モデル生成手法として隠れマルコフモデルを用いた場合を例に挙げて、行動モデルの生成方法について説明する。例えば、上述した隠れマルコフモデルでは、第１認識処理部１２０３は、単位時間当たりの移動量、ｘ方向及びｙ方向の平均座標を含む行動データに基づいて、その行動データに対応する出力記号列を取得する。続いて、第１認識処理部１２０３は、取得された出力記号列が各隠れマルコフモデルに従って出力される確率（尤度）を算出する。
【００４８】
具体的には、第１認識処理部１２０３は、以下の式に従って、各隠れマルコフモデル（行動モデル）に対する行動データの尤度（Ｐλ）を算出する。
【数１】
【００４９】
ここで、O1,O2,・・・Otは、行動モデル（隠れマルコフモデル）の出力記号であり、ok(1), ok(2)・・・ok(t)は、行動データの出力記号であり、Ｎは、状態の数である。また、πjは、初期状態が状態（ｊ）である確率であり、ai,jは、状態（ｉ）から状態（ｊ）に遷移する遷移確率であり、bj,k(t)は、時刻ｔにおいて状態（ｊ）から出力記号（ｏｋ（ｔ））が出力される確率である。
【００５０】
続いて、第１行動データ選別部１２０４は、尤度があらかじめ設定された閾値（ここでは−２５．０）以上である行動データのみを複数の行動データから選別する。この結果、図８に示すように、行動データ“ＡＢＣ−３”及び“ＧＢＡＥ−２”は第１行動データ選別部１２０４にてクラスタリング対象から除外される。
【００５１】
第２クラスタリング部１２０５は、第１行動データ選別部１２０４が選別した行動データを、第１認識処理部１２０３の認識結果の示す行動（エリア遷移履歴）にクラスタリングする。したがって、図８及び図９に示すように、行動データ“ＡＢＣ−１”，“ＡＢＣ−２”，“ＥＦＣ−２”，及び“ＢＡ−１”が１つにクラスタリングされている。行動データ“ＥＦＣ−１”及び“ＧＢＡＥ−１”が１つにクラスタリングされている。
【００５２】
第２行動モデル生成部１２０６は、第２クラスタリング部１２０５がクラスタリングした行動データから第２行動モデルを生成する。よって、図９（ａ）に示すように、行動データ“ＡＢＣ−１”，“ＡＢＣ−２”，“ＥＦＣ−２”，及び“ＢＡ−１”から行動（エリア遷移履歴）“ＡＢＣ”の行動モデルが生成される。行動データ“ＥＦＣ−１”及び“ＧＢＡＥ−１”から行動（エリア遷移履歴）“ＥＦＣ”の行動モデルが生成される。生成された第２行動モデルは、第２行動モデル記憶部２３に記憶される。
【００５３】
更に、第２認識処理部１２０７は、行動データ記憶部２１に記憶された複数の行動データと第２行動モデル記憶部２３に記憶された第２行動モデルとを読み出し、第２行動モデルを用いて複数の行動データを認識し、図９（ｂ）に示すように、認識結果及び尤度を得る。
【００５４】
第２行動データ選別部１２０８は、第２認識処理部１２０７が求めた尤度があらかじめ設定された閾値（ここでは−２５．０）以上である行動データのみを複数の行動データから選別する。この結果、図１０（ａ）に示すように、行動データ“ＧＢＡＥ−２”は第２行動データ選別部１２０８にてクラスタリング対象から除外される。
【００５５】
３回目のクラスタリング処理の意義は、２回目のクラスタリング対象から除外された行動データをクラスタリングすることであり、行動モデルのロバスト性を高めることを目的としている。
【００５６】
更に、第３クラスタリング部１２０９は、第２行動データ選別部１２０８が選別した行動データを、第２認識処理部１２０７の認識結果の示す行動（エリア遷移履歴）にクラスタリングする。したがって、図１０（ａ）に示すように、行動データ“ＡＢＣ−１”，“ＡＢＣ−２”，“ＥＦＣ−２”，“ＢＡ−１”，及び“ＡＢＣ−３”が１つにクラスタリングされている。よって、２回目のクラスタリングで除外された行動データ“ＡＢＣ−３”が救済されている。また、行動データ“ＥＦＣ−１”及び“ＧＢＡＥ−１”が１つにクラスタリングされている。
【００５７】
第３行動モデル生成部１２１０は、第３クラスタリング部１２０９がクラスタリングした行動データから第３行動モデルを生成する。よって、図１０（ｂ）に示すように、行動データ“ＡＢＣ−１”，“ＡＢＣ−２”，“ＥＦＣ−２”，“ＢＡ−１”，及び“ＡＢＣ−３”から行動（エリア遷移履歴）“ＡＢＣ”の行動モデルが生成される。行動データ“ＥＦＣ−１”及び“ＧＢＡＥ−１”から行動（エリア遷移履歴）“ＥＦＣ”の行動モデルが生成される。生成された第３行動モデルは、第３行動モデル記憶部２４に記憶される。
【００５８】
更に、ヒストグラム生成部１２１１は、図１１（ａ）〜（ｃ）に示すように、第３クラスタリング部１２０９がクラスタリングした行動データ毎に単位時間当たりの移動量の頻度の分布を示すヒストグラムを生成する。具体的には、図１１（ａ）に示す行動（エリア遷移履歴）“ＡＢＣ”にクラスタリングされている行動データ“ＡＢＣ−１”，“ＡＢＣ−２”，“ＥＦＣ−２”，“ＢＡ−１”，及び“ＡＢＣ−３”のそれぞれについて、単位時間当たりの移動量の頻度の分布を示すヒストグラムを生成する。更に、行動データ“ＡＢＣ−１”，“ＡＢＣ−２”，“ＥＦＣ−２”，“ＢＡ−１”，及び“ＡＢＣ−３”の各ヒストグラムを平均して、図１１（ｂ）に示すようなヒストグラムを生成する。図１１（ｂ）に示すヒストグラムでは、単位時間当たりの移動量の小さい頻度が多いので、全体として遅い行動であると判断できる。
【００５９】
また、図１１（ａ）に示す行動（エリア遷移履歴）“ＥＦＣ”にクラスタリングされている行動データ“ＥＦＣ−１”及び“ＧＢＡＥ−１”のそれぞれについて、単位時間当たりの移動量の頻度の分布を示すヒストグラムを生成する。更に、行動データ“ＥＦＣ−１”及び“ＧＢＡＥ−１”の各ヒストグラムを平均して、図１１（ｃ）に示すようなヒストグラムを生成する。図１１（ｃ）に示すヒストグラムでは、単位時間当たりの移動量の大きい頻度が多いので、全体として速い行動であると判断できる。
【００６０】
次に、図１２に示すフローチャートを参照して、行動学習部１２の動作例、すなわち図２のステップＳ１０２の詳細について説明する。
【００６１】
ステップＳ３０１において、第１クラスタリング部１２０１は、行動データ記憶部２１に記憶された複数の行動データを読み出し、読み出した複数の行動データを行動（エリア遷移履歴）毎にクラスタリングする。
【００６２】
ステップＳ３０２において、第１行動モデル生成部１２０２は、ステップＳ３０１でクラスタリングされた複数の行動データを、行動（エリア遷移履歴）毎にモデル化した第１行動モデルを生成する。第１行動モデルは第１行動モデル記憶部２２に記憶される。
【００６３】
ステップＳ３０３において、第１認識処理部１２０３は、行動データ記憶部２１に記憶された複数の行動データ及び第１行動モデル記憶部２２に記憶された第１行動モデルを読み出し、第１行動モデルを用いて複数の行動データを認識し、認識結果及び尤度を得る。
【００６４】
ステップＳ３０４において、第１行動データ選別部１２０４は、尤度が閾値以上である行動データのみを複数の行動データから選別する。
【００６５】
ステップＳ３０５において、第２クラスタリング部１２０５は、選別された行動データを認識結果の示す行動（エリア遷移履歴）にクラスタリングする。
【００６６】
ステップＳ３０６において、第２行動モデル生成部１２０６は、第２クラスタリング部１２０５がクラスタリングした行動データから第２行動モデルを生成する。第２行動モデルは第２行動モデル記憶部２３に記憶される。
【００６７】
ステップＳ３０７において、第２認識処理部１２０７は、行動データ記憶部２１に記憶された複数の行動データ及び第２行動モデル記憶部２３に記憶された第２行動モデルを読み出し、第２行動モデルを用いて複数の行動データを認識し、認識結果及び尤度を得る。
【００６８】
ステップＳ３０８において、第２行動データ選別部１２０８は、ステップＳ３０７で求めた尤度が閾値以上である行動データのみを複数の行動データから選別する。
【００６９】
ステップＳ３０９において、第３クラスタリング部１２０９は、ステップＳ３０８で選別された行動データを、ステップＳ３０７における認識結果の示す行動（エリア遷移履歴）にクラスタリングする。
【００７０】
ステップＳ３１０において、第３行動モデル生成部１２１０は、ステップＳ３０９でクラスタリングされた行動データから第３行動モデルを生成する。
【００７１】
ステップＳ３１１において、ステップＳ３０９でクラスタリングされた行動データに対し、単位時間当たりの移動量の頻度の分布を示すヒストグラムを行動（エリア遷移履歴）毎に生成する。
【００７２】
このように、本発明の実施形態に係る行動学習部１２によれば、複雑で多様な人物の行動に対して適切な行動モデルを自動的に生成できる。したがって、プライバシーを保護した上で日常的な生活パターンを定義することが可能となる。
【００７３】
（行動認識部）
行動認識部１３の機能構成例を図１３に示す。行動認識部１３は、認識対象の行動データ、第３行動モデル、及びヒストグラムを入力として、被監視者における非日常行動の発生を監視者に通知するための非日常行動検知通知を出力する。出力された非日常行動検知通知は、図１に示す通信処理部３０及び通信ネットワーク１００を介して、出力装置１２０へ送信される。この結果、監視者は、被監視者による非日常行動の発生を知ることができる。
【００７４】
行動認識部１３は、第３認識処理部１３０１、差分値算出部１３０２、評価値算出部１３０３、及び判定部１３０４を備える。なお、評価値記憶部２７は、図１に示す記憶装置２０内に設けられている。
【００７５】
第３認識処理部１３０１は、第３行動モデル記憶部２４に記憶された第３行動モデルを用いて、認識対象の行動データを認識し、認識結果及び尤度を得る。第３認識処理部１３０１には、図１４（ａ）に示すような行動データ１〜５が順次入力される。例えば、行動データ１〜５は、人物のある生活シーンにおける一連の行動から測定されているものとする。
【００７６】
差分値算出部１３０２は、第３認識処理部１３０１の認識結果の示す行動（エリア遷移履歴）に対応するヒストグラムをヒストグラム記憶部２５から読み出す。また、差分値算出部１３０２は、認識対象データを総データ（サンプル数）数で正規化し、読み出したヒストグラムと移動量毎に比較する。この比較は、ヒストグラムの頻度差を各移動量で積算する方式を採用する。図１４（ｂ）に示すように、あらかじめ設定していた移動量の基準値に対し、基準値よりも小さい移動量、即ち移動速度が遅い場合は、ヒストグラムデータよりも頻度が少ない場合に正として積算する。これに対して、あらかじめ設定していた移動量の基準値に対し、基準値よりも大きい移動量、即ち移動速度が速い場合は、ヒストグラムデータよりも頻度が多い場合に正として積算する。このようにして得られた積算値を差分値とする。よって、差分値は、ヒストグラムデータよりも移動量が大きいデータが多い場合に正として出力される。
【００７７】
評価値算出部１３０３は、図１５（ａ）に示すように、第３認識処理部１３０１が求めた尤度と、差分値算出部１３０２が算出した差分値を乗算して、非日常行動の検知に用いる評価値を算出する。評価値は評価値記憶部２７に記憶される。
【００７８】
判定部１３０４は、図１５（ｂ）に示すように、評価値を積算し、累積評価値があらかじめ設定した閾値を超えた場合に非日常行動の発生と判定する。
【００７９】
次に、図１６に示すフローチャートを参照して、行動認識部１３の動作例、すなわち図２のステップＳ１０４の詳細について説明する。
【００８０】
ステップＳ４０１において、第３認識処理部１３０１は、第３行動モデル記憶部から第３行動モデルを読み出し、第３行動モデルを用いて認識対象データを認識し、認識結果及び尤度を得る。
【００８１】
ステップＳ４０２において、差分値算出部１３０２は、ステップＳ４０１で得られた認識結果の示す行動（エリア遷移履歴）に対応するヒストグラムをヒストグラム記憶部２５から読み出す。更に、差分値算出部１３０２は、認識対象データを総データ数で正規化し、ヒストグラムと移動量毎に比較する。このようにして移動量の頻度の差分値が算出される。
【００８２】
ステップＳ４０３において、評価値算出部１３０３は、ステップＳ４０１で得られた尤度とステップＳ４０２で算出された差分値を乗算することで評価値を得る。
【００８３】
ステップＳ４０４において、判定部１３０４は、ステップＳ４０３で得られた評価値を積算する。
【００８４】
ステップＳ４０５において、判定部１３０４は、ステップＳ４０４で積算された累積評価値が閾値を超えるか否かを判定する。累積評価値が閾値を超えると判定された場合、ステップＳ４０６に移行する。
【００８５】
ステップＳ４０６において、判定部１３０４は、非日常行動であると判定して非日常行動検知通知を出力する。
【００８６】
このように、本発明の実施形態に係る行動認識部１３によれば、行動データと行動モデルとの尤度と、行動データの内部状態との類似性（ヒストグラム差分値）とを併せて評価することで、行動の中の非日常性を検知することを可能としている。したがって、例えば非日常行動として物忘れ行動を検知するシステムに応用できる。物忘れが発生する１つの原因は、注意（意識）が他に向けられていることである。注意が他に向けられ、ある行動を失敗し、失敗した行動に意識が向かうことで、他の行動を更に失敗するというように、物忘れは連鎖的に発生すると考えられる。そこで、行動単位の非日常性を検知することで、その後に物忘れが発生しやすいかどうかを推定するシステムに応用できる。
【００８７】
（実験例）
次に、図１７を用いて、本発明の実施形態に係る非日常行動検知システムの実験例を説明する。図１７（ａ）及び（ｂ）に示す各実験データにおいては、それぞれ一連の行動からなる複数の行動データを含んでいる。図１７（ｃ）に示すように、１０回の実験中、誤認識されたのは実験２，５，及び８の３回のみであり、７回は正しく認識されていることが分かる。
【００８８】
（第１変形例）
上述した実施形態においては、行動学習部１２が、第１〜第３行動モデルの３つの行動モデルを生成し、第３行動モデルを最終的な行動モデルとして用いる一例を説明した。しかしながら、本発明の実施形態の第１変形例として、図１８に示すように、第２行動モデルを最終的な行動モデルとして用いるように構成されていてもよい。
【００８９】
（第２変形例）
本発明の実施形態の第２変形例に係る行動学習部１２００は、図１９に示すように、第２行動モデル記憶部２３に記憶された行動モデルが、認識処理部１２０３に再度入力可能なように構成されている点で、図６と異なっている。すなわち、第２学習処理部１２５２を複数回使用して複数の行動モデルを生成する構成となっている。
【００９０】
更に、行動学習部１２００は、第２クラスタリング部１２０５によるクラスタリングによって、直前のクラスタリング結果とは異なる行動にクラスタリングされた行動データの数が閾値以下となった際に生成された行動モデルを最終的な行動モデルとして選択する行動モデル選択部１２６０を更に備える。ここで「直前のクラスタリング結果とは異なる行動にクラスタリングされた行動データ」には、クラスタリング結果が「なし」となった行動データも含まれる。図８に示す例においては、行動データ“ＡＢＣ−３”、“ＥＦＣ−２”、“ＧＢＡＥ−１”、“ＧＢＡＥ−２”、及び“ＢＡ−１”に相当し、「異なる行動にクラスタリングされた行動データの数」は、５である。なお、閾値の値は任意に設定可能である。
【００９１】
次に、図２０に示すフローチャートを参照して、本発明の実施形態の第２変形例に係る行動学習部１２００の動作例について説明する。
【００９２】
ステップＳ３０１において、第１クラスタリング部１２０１は、行動データ記憶部２１に記憶された複数の行動データを読み出し、読み出した複数の行動データを行動（エリア遷移履歴）毎にクラスタリングする。
【００９３】
ステップＳ３０２において、第１行動モデル生成部１２０２は、ステップＳ３０１でクラスタリングされた複数の行動データを、行動（エリア遷移履歴）毎にモデル化した第１行動モデルを生成する。第１行動モデルは第１行動モデル記憶部２２に記憶される。
【００９４】
ステップＳ３０３において、第１認識処理部１２０３は、行動データ記憶部２１に記憶された複数の行動データ及び第１行動モデル記憶部２２に記憶された第１行動モデルを読み出し、第１行動モデルを用いて複数の行動データを認識し、認識結果及び尤度を得る。
【００９５】
ステップＳ３０４において、行動データ選別部１２０４は、尤度が閾値以上である行動データのみを複数の行動データから選別する。
【００９６】
ステップＳ３０５において、第２クラスタリング部１２０５は、選別された行動データを認識結果の示す行動（エリア遷移履歴）にクラスタリングする。
【００９７】
ステップＳ３０６において、第２行動モデル生成部１２０６は、第２クラスタリング部１２０５がクラスタリングした行動データから第２行動モデルを生成する。第２行動モデルは第２行動モデル記憶部２３に記憶される。
【００９８】
ステップＳ３２０において、行動モデル選択部１２６０は、ステップＳ３０５で直前のクラスタリング結果とは異なる行動（エリア遷移履歴）にクラスタリングされた行動データの数が閾値以下であるかを判定する。直前のクラスタリング結果とは異なる行動（エリア遷移履歴）にクラスタリングされた行動データの数が閾値以下であると判定された場合、ステップＳ３２１へ移行する。直前のクラスタリング結果とは異なる行動（エリア遷移履歴）にクラスタリングされた行動データの数が閾値を超えると判定された場合、ステップＳ３０３へ処理が戻る。処理が戻った場合のステップＳ３０３においては、ステップＳ３０６で生成された第２行動モデルを用いた認識処理が実行される。
【００９９】
ステップＳ３２０において、行動モデル選択部１２６０は、ステップＳ３０６で生成された第２行動モデルを最終的な行動モデルとして選択する。
【０１００】
ステップＳ３１１において、ステップＳ３０５でクラスタリングされた行動データに対し、単位時間当たりの移動量の頻度の分布を示すヒストグラムを行動（エリア遷移履歴）毎に生成する。
【０１０１】
このように、本発明の実施形態の第２変形例に係る行動学習部１２００によれば、終了条件を満たすまでは自動的にクラスタリングを繰り返すことで、良好な行動モデルを得ることができる。
【０１０２】
（その他の実施形態）
上記のように、本発明は実施形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなる。
【０１０３】
また、既に述べた実施形態の説明においては、行動認識部１３が、人物のある生活シーンにおける一連の行動における非日常性を検知する場合について説明した。しかしながら、更に長い期間における非日常性を検知してもよい。１日単位の非日常性の検知は行動のリズム変化検知、健康状態の変化検知に有効であり、１年単位の非日常性の検知は、老化・疾病の予測に有効であると考えられる。
【０１０４】
このように本発明は、ここでは記載していない様々な実施形態等を包含するということを理解すべきである。したがって、本発明はこの開示から妥当な特許請求の範囲の発明特定事項によってのみ限定されるものである。
【図面の簡単な説明】
【０１０５】
【図１】本発明の実施形態に係る非日常行動検知システムの全体構成例を示すブロック図である。
【図２】本発明の実施形態に係る非日常行動検知装置の動作概要を示すフローチャートである。
【図３】本発明の実施形態に係る行動データ生成部の構成例を示すブロック図である。
【図４】本発明の実施形態に係る行動データ生成部の機能を説明するための図である。
【図５】本発明の実施形態に係る行動データ生成部の動作例を示すフローチャートである。
【図６】本発明の実施形態に係る行動学習部の構成例を示すブロック図である。
【図７】図７（ａ）は本発明の実施形態に係る第１行動モデル生成部の機能を説明するための図であり、図７（ｂ）は本発明の実施形態に係る第１認識処理部の機能を説明するための図である。
【図８】本発明の実施形態に係る第１行動データ選別部及び第２クラスタリング部の機能を説明するための図である。
【図９】図９（ａ）は本発明の実施形態に係る第２行動モデル生成部の機能を説明するための図であり、図９（ｂ）は本発明の実施形態に係る第２認識処理部の機能を説明するための図である。
【図１０】図１０（ａ）は本発明の実施形態に係る第２行動データ選別部及び第３クラスタリング部の機能を説明するための図であり、図１０（ｂ）は本発明の実施形態に係る第３行動モデル生成部の機能を説明するための図である。
【図１１】図１１（ａ）〜（ｃ）は、本発明の実施形態に係るヒストグラム生成部の機能を説明するための図である。
【図１２】本発明の実施形態に係る行動学習部の動作例を示すフローチャートである。
【図１３】本発明の実施形態に係る行動認識部の構成例を示すブロック図である。
【図１４】図１４（ａ）は本発明の実施形態に係る第３認識処理部の機能を説明するための図であり、図１４（ｂ）は本発明の実施形態に係る差分値算出部の機能を説明するための図である。
【図１５】図１５（ａ）は本発明の実施形態に係る評価値算出部の機能を説明するための図であり、図１５（ｂ）は本発明の実施形態に係る判定部の機能を説明するための図である。
【図１６】本発明の実施形態に係る行動認識部の動作例をフローチャートである。
【図１７】図１７（ａ）〜（ｃ）は、本発明の実施形態に係る非日常行動検知システムの実験例を示す図である。
【図１８】本発明の実施形態の第１変形例に係る行動学習部の構成例を示すブロック図である。
【図１９】本発明の実施形態の第２変形例に係る行動学習部の構成例を示すブロック図である。
【図２０】本発明の実施形態の第２変形例に係る行動学習部の動作例を示すブロック図である。
【符号の説明】
【０１０６】
１…非日常行動検知装置
１０…処理装置
１１…行動データ生成部
１２…行動学習部
１３…行動認識部
２０…記憶装置
２１…行動データ記憶部
２２…第１行動モデル記憶部
２３…第２行動モデル記憶部
２４…第３行動モデル記憶部
２５…ヒストグラム記憶部
２７…評価値記憶部
３０…通信処理部
１００…通信ネットワーク
１０１…センサ部
１０２…センサデータ処理部
１０３…通信処理部
１１０…検出装置
１１１…停止状態判定部
１１２…エリア遷移判定部
１１３…行動データ出力部
１２０…出力装置
１２１…通知部
１２２…制御部
１２３…通信処理部
１２０１…第１クラスタリング部
１２０２…第１行動モデル生成部
１２０３…第１認識処理部
１２０４…第１行動データ選別部
１２０５…第２クラスタリング部
１２０６…第２行動モデル生成部
１２０７…第２認識処理部
１２０８…第２行動データ選別部
１２０９…第３クラスタリング部
１２１０…第３行動モデル生成部
１２１１…ヒストグラム生成部
１２５１…第１学習処理部
１２５２…第２学習処理部
１２５３…第３学習処理部
１２６０…行動モデル選択部
１３０１…第３認識処理部
１３０２…差分値算出部
１３０３…評価値算出部
１３０４…判定部
【特許請求の範囲】
【請求項１】
人物の非日常行動を検知する非日常行動検知システムであって、
前記人物の時系列動線情報から生成された複数の行動データを行動毎にクラスタリングし、クラスタリングした複数の行動データを前記行動毎にモデル化した第１行動モデルを生成する第１学習処理部と、
前記複数の行動データをクラスタリングして第２行動モデルを生成する第２学習処理部
とを備え、前記第２学習処理部は、
前記第１行動モデルを用いて前記複数の行動データを認識し、認識結果及び尤度を得る第１認識処理部と、
前記第１認識処理部が求めた前記尤度が閾値以上である行動データのみを前記複数の行動データから選別する第１行動データ選別部と、
前記第１行動データ選別部が選別した行動データを、前記第１認識処理部の前記認識結果の示す行動にクラスタリングする第２クラスタリング部と、
前記第２クラスタリング部がクラスタリングした行動データから前記第２行動モデルを生成する第２行動モデル生成部
とを備えることを特徴とする非日常行動検知システム。
【請求項２】
前記複数の行動データをクラスタリングして第３〜第ｎ行動モデルを生成する第３〜第ｎ学習処理部を更に備え（ｎ；４以上の整数）、
前記第３学習処理部は、
前記第２行動モデルを用いて前記複数の行動データを認識し、認識結果及び尤度を得る第２認識処理部と、
前記第２認識処理部が求めた前記尤度が閾値以上である行動データのみを前記複数の行動データから選別する第２行動データ選別部と、
前記第２行動データ選別部が選別した行動データを、前記第２認識処理部の前記認識結果の示す行動にクラスタリングする第３クラスタリング部と、
前記第３クラスタリング部がクラスタリングした行動データから前記第３行動モデルを生成する第３行動モデル生成部
とを備えることを特徴とする請求項１に記載の非日常行動検知システム。
【請求項３】
前記第２〜第ｎ行動モデルのいずれかを用いて認識対象の行動データを認識し、前記非日常行動を検知する行動認識部を更に備えることを特徴とする請求項２に記載の非日常行動検知システム。
【請求項４】
前記第２〜第ｎ学習処理部によるクラスタリングによって、直前のクラスタリング結果とは異なる行動にクラスタリングされた行動データの数が閾値以下となった際に生成された行動モデルを、前記認識対象の行動データを認識するための最終的な行動モデルとして選択する行動モデル選択部を更に備えることを特徴とする請求項３に記載の非日常行動検知システム。
【請求項５】
前記第２〜第ｎ学習処理部のいずれかがクラスタリングした行動データに対し、単位時間当たりの移動量の頻度の分布を示すヒストグラムを、前記行動毎に生成するヒストグラム生成部を更に備えることを特徴とする請求項３又は４に記載の非日常行動検知システム。
【請求項６】
前記行動認識部は、
前記第２〜第ｎ行動モデルのいずれかを用いて前記認識対象の行動データを認識し、認識結果及び尤度を得る第３認識処理部と、
前記認識対象の行動データと前記第３認識処理部の前記認識結果の示す行動に対応する前記ヒストグラムとを比較し、前記単位時間当たりの移動量の頻度の差分値を算出する差分値算出部と、
前記第３認識処理部が得た前記尤度と前記差分値に基づいて、前記非日常行動の検知に用いる評価値を算出する評価値算出部
とを備えることを特徴とする請求項５に記載の非日常行動検知システム。
【請求項７】
前記行動認識部は、前記評価値を積算して累積評価値が閾値を超えた場合に前記非日常行動の発生と判定する判定部を更に備えることを特徴とする請求項６に記載の非日常行動検知システム。
【請求項８】
前記時系列動線情報から前記人物の移動開始及び移動停止を判定する停止状態判定部と、
前記時系列動線情報から前記人物のエリア遷移の有無を判定するエリア遷移判定部と、
前記移動開始から前記移動停止までで前記時系列動線情報を分割し、分割した時系列動線情報のうち前記エリア遷移を含む時系列動線情報を前記行動データ及び前記認識対象の行動データとして出力する行動データ出力部
とを更に備え、前記エリア遷移の履歴を示すエリア遷移履歴を前記クラスタリングの基準として用いることを特徴とする請求項１〜７のいずれか１項に記載の非日常行動検知システム。
【請求項１】
人物の非日常行動を検知する非日常行動検知システムであって、
前記人物の時系列動線情報から生成された複数の行動データを行動毎にクラスタリングし、クラスタリングした複数の行動データを前記行動毎にモデル化した第１行動モデルを生成する第１学習処理部と、
前記複数の行動データをクラスタリングして第２行動モデルを生成する第２学習処理部
とを備え、前記第２学習処理部は、
前記第１行動モデルを用いて前記複数の行動データを認識し、認識結果及び尤度を得る第１認識処理部と、
前記第１認識処理部が求めた前記尤度が閾値以上である行動データのみを前記複数の行動データから選別する第１行動データ選別部と、
前記第１行動データ選別部が選別した行動データを、前記第１認識処理部の前記認識結果の示す行動にクラスタリングする第２クラスタリング部と、
前記第２クラスタリング部がクラスタリングした行動データから前記第２行動モデルを生成する第２行動モデル生成部
とを備えることを特徴とする非日常行動検知システム。
【請求項２】
前記複数の行動データをクラスタリングして第３〜第ｎ行動モデルを生成する第３〜第ｎ学習処理部を更に備え（ｎ；４以上の整数）、
前記第３学習処理部は、
前記第２行動モデルを用いて前記複数の行動データを認識し、認識結果及び尤度を得る第２認識処理部と、
前記第２認識処理部が求めた前記尤度が閾値以上である行動データのみを前記複数の行動データから選別する第２行動データ選別部と、
前記第２行動データ選別部が選別した行動データを、前記第２認識処理部の前記認識結果の示す行動にクラスタリングする第３クラスタリング部と、
前記第３クラスタリング部がクラスタリングした行動データから前記第３行動モデルを生成する第３行動モデル生成部
とを備えることを特徴とする請求項１に記載の非日常行動検知システム。
【請求項３】
前記第２〜第ｎ行動モデルのいずれかを用いて認識対象の行動データを認識し、前記非日常行動を検知する行動認識部を更に備えることを特徴とする請求項２に記載の非日常行動検知システム。
【請求項４】
前記第２〜第ｎ学習処理部によるクラスタリングによって、直前のクラスタリング結果とは異なる行動にクラスタリングされた行動データの数が閾値以下となった際に生成された行動モデルを、前記認識対象の行動データを認識するための最終的な行動モデルとして選択する行動モデル選択部を更に備えることを特徴とする請求項３に記載の非日常行動検知システム。
【請求項５】
前記第２〜第ｎ学習処理部のいずれかがクラスタリングした行動データに対し、単位時間当たりの移動量の頻度の分布を示すヒストグラムを、前記行動毎に生成するヒストグラム生成部を更に備えることを特徴とする請求項３又は４に記載の非日常行動検知システム。
【請求項６】
前記行動認識部は、
前記第２〜第ｎ行動モデルのいずれかを用いて前記認識対象の行動データを認識し、認識結果及び尤度を得る第３認識処理部と、
前記認識対象の行動データと前記第３認識処理部の前記認識結果の示す行動に対応する前記ヒストグラムとを比較し、前記単位時間当たりの移動量の頻度の差分値を算出する差分値算出部と、
前記第３認識処理部が得た前記尤度と前記差分値に基づいて、前記非日常行動の検知に用いる評価値を算出する評価値算出部
とを備えることを特徴とする請求項５に記載の非日常行動検知システム。
【請求項７】
前記行動認識部は、前記評価値を積算して累積評価値が閾値を超えた場合に前記非日常行動の発生と判定する判定部を更に備えることを特徴とする請求項６に記載の非日常行動検知システム。
【請求項８】
前記時系列動線情報から前記人物の移動開始及び移動停止を判定する停止状態判定部と、
前記時系列動線情報から前記人物のエリア遷移の有無を判定するエリア遷移判定部と、
前記移動開始から前記移動停止までで前記時系列動線情報を分割し、分割した時系列動線情報のうち前記エリア遷移を含む時系列動線情報を前記行動データ及び前記認識対象の行動データとして出力する行動データ出力部
とを更に備え、前記エリア遷移の履歴を示すエリア遷移履歴を前記クラスタリングの基準として用いることを特徴とする請求項１〜７のいずれか１項に記載の非日常行動検知システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２００７−２４９９２２（Ｐ２００７−２４９９２２Ａ）
【公開日】平成１９年９月２７日（２００７．９．２７）
【国際特許分類】
【出願番号】特願２００６−７６４７１（Ｐ２００６−７６４７１）
【出願日】平成１８年３月２０日（２００６．３．２０）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成１９年９月２７日（２００７．９．２７）
【国際特許分類】
【出願日】平成１８年３月２０日（２００６．３．２０）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]