確率分布関数を用いて行動をモデル化するための方法及び装置
【課題】人間又は他の生物の行動パターンをモデル化して反復的な行動パターンの違反を検出するための方法及び装置が開示される。
【解決手段】１人又は複数の人の行動が時間に対して観察され、行動の特徴が多次元空間で記録される。多次元データは、時間に対して、人間の行動パターンの表示を提供する。時間、位置及び動作に関して反復的である動作、例えば睡眠及び食事は、多次元データにおいてガウス分布又はクラスタとして現れる。確率分布関数は、反復的な行動パターン及びその特性（例えば平均及び分散）を識別するために既知のガウス分布又はクラスタリング技術を用いて分析されることができる。反復的な行動パターンからの逸脱が検出されることができ、適当ならばアラームが起動されることができる。
【解決手段】１人又は複数の人の行動が時間に対して観察され、行動の特徴が多次元空間で記録される。多次元データは、時間に対して、人間の行動パターンの表示を提供する。時間、位置及び動作に関して反復的である動作、例えば睡眠及び食事は、多次元データにおいてガウス分布又はクラスタとして現れる。確率分布関数は、反復的な行動パターン及びその特性（例えば平均及び分散）を識別するために既知のガウス分布又はクラスタリング技術を用いて分析されることができる。反復的な行動パターンからの逸脱が検出されることができ、適当ならばアラームが起動されることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータビジョンシステムに関し、より詳細には、行動パターンを観察することによって事象を識別する、行動のモデル化及び検出の方法及びシステムに関する。
【背景技術】
【０００２】
コンピュータビジョン技術は、画像中のオブジェクト又は事象を自動的に検出又は分類するためにますます用いられるようになっている。例えば、人間の行動パターンを識別するために、行動モデル化技術がしばしば利用される。典型的には、行動の分析及びモデル化のシステムは、最初に行動パターンを学習し、その後、このような行動パターンからの逸脱を検出する。一般的に、従来型の行動分析技術は、異常な事象の検出に焦点を当てる。
【０００３】
行動モデル化に関するほとんどの従来の研究は、確率分布又は隠れマルコフモデル（ＨＭＭ）としての軌道のモデル化に関連するものであった。一旦軌道がモデル化されると、目標は、物体の軌道を予測して、「異常な」軌道を検出することである。例えば、軌道分析技術は、特定の領域を歩いている人の軌跡を観察し、その後、人が立ち入り禁止区域に入ったことを軌道が示したら警報を生成するように適用されてきた。
【０００４】
従来型の軌道分析技術は、多くのセキュリティアプリケーション用としてはよく機能する一方で、ホームモニタリング等の他のアプリケーション用としてのこのような軌道分析技術の有効性及び値は、疑わしい。特に、行動モデル化システムが１人又は複数の特定の人々の動作をモニタしている（例えば家庭環境における高齢者の遠隔モニタ）ときには、最も重要な情報は、その人がいかにして現在の位置又は動作に到達したかではなく、その人の現在の位置又は動作である。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従って、行動パターンを観察して反復的な行動パターンの違反を検出することにより事象を識別する行動のモデル化及び検出の方法及びシステムの必要性が存在する。
【課題を解決するための手段】
【０００６】
概略的には、画像データにおいて行動パターンを自動的に学習して識別するための方法及び装置が開示される。本発明の１つの側面によれば、人間又は他の生物の行動パターンをモデル化し、反復的な行動パターンの違反を検出するための方法及び装置が提供される。本発明は、１人又は複数の人の行動を時間に対して観察して、多次元空間で行動の特徴を記録する。例えば、ユーザの行動は、位置（例えば垂直及び水平方向の位置）、時間、姿勢及び体の動きの度合を含む多次元空間について得られることができる。多次元データは、時間に対して、人間の行動パターンの表示を提供する。時間、位置及び動作に関して反復的な動作、例えば睡眠及び食事は、多次元データにおいてガウス分布又はクラスタとして現れる。
【０００７】
学習アルゴリズムが多次元データに適用され、反復的な行動パターンを識別する。１つの実施例において、人間の行動をモデル化するために、多次元特徴データから確率密度関数（ｐｄｆ）が計算される。確率分布関数は、反復的な行動パターン及びその特性を識別するために、ガウス分布又はクラスタリング技術等、ＰＤＦ分析のためのあらゆる方法を用いて分析されることができる。通常、反復的な行動パターンは、それぞれが平均及び分散によって特徴付けられるガウス分布又はクラスタとして多次元特徴データに現れる。
【０００８】
確率分布関数は別個のクラスタにクラスタリングされることができ、クラスタは行動パターンに関連することができる。通常、クラスタは、食事等の対応する動作によってラベルされている必要はない。クラスタが何らかの特定の行動と関連していることを知ることで十分である。
【０００９】
本発明の他の側面によれば、反復的な行動パターンからの逸脱が検出されることができ、適当ならば警報が起動されることができる。例えば、反復的な行動パターンがガウス分布又はクラスタとして表されると、分散は、現在の行動が反復的な行動パターンからの逸脱として分類されるべきであるかどうか決定するための閾値を提供する。通常、異常な行動は、何らかの健康の問題又は非常事態を示しうる。従って、反復的な行動パターンからの逸脱が１つ又は複数の所定の状態を満たすと警報を生成するという規則が随意に定められることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の好適な実施例による例示的なビデオモニタリングシステムを示す。
【図２】本発明の多次元空間において観察される人間の行動のプロットを示す。
【図３】図１の特徴抽出プロセスの例示的な実施態様を説明するフローチャートである。
【図４】図１のＰＤＦ生成・分析プロセスの例示的な実施態様を説明しているフローチャートである。
【図５】図１の事象検出プロセスの例示的な実施態様を説明しているフローチャートである。
【発明を実施するための形態】
【００１１】
本発明の完全な理解並びに本発明の他の特徴及び利点は、以下の詳細な説明及び図面を参照して得られる。
【００１２】
図１は、本発明の例示的なビデオモニタリングシステム１２０を示す。ビデオモニタリングシステム１２０は、人間又は他の生物の行動パターンをモデル化して、反復的な行動パターンの違反を検出する。例えば、ビデオモニタリングシステム１２０は、観察される人間の睡眠パターン及び食事パターンをモニタしてもよい。その後で、このような行動パターンからの逸脱、例えば異常な間隔で若しくは異常な時間に眠ること、又は、異常な間隔で異常な量の食事を取ることが検出され、適当ならば、警報を起動させるようにすることができる。
【００１３】
以下で更に議論される１つの実施例においては、本発明は、１人又は複数の人の行動を時間に対して観察して、多次元空間で行動の特徴を記録する。例えば、ユーザの行動は、２次元の位置（垂直及び水平）、時間、姿勢並びに体の動きの度合を含む５次元空間について得られることができる。多次元データは、時間に対して、人間の行動パターンの表示を提供する。時間、位置及び動作に関して反復的である動作、例えば睡眠及び食事は、多次元データにおいてクラスタとして現れる。
【００１４】
その後、学習アルゴリズムが多次元データに適用され、このような反復的な行動パターンを識別する。例えば、人の行動をモデル化するために確率密度関数（ｐｄｆ）が計算されることができる。確率分布関数は、反復的な行動パターン及びその特性を識別するためにガウス分布又はクラスタリング技術を用いて分析されることができる。通常、反復的な行動パターンは、それぞれが平均及び分散によって特徴付けられるガウス分布又はクラスタとして多次元特徴データにおいて識別される。
【００１５】
一旦反復的な行動パターンが識別されると、このような反復的な事象又は行動からの逸脱が検出されることができ、適当ならば、警報を起動することができる。例えば、反復的な行動パターンがガウス分布又はクラスタとして表されると、ガウス分布又はクラスタの分散は、現在の行動が、反復的な行動パターンの一部として分類されるべきか又は反復的な行動パターンからの逸脱として分類されるべきかを決定するための閾値を提供する。
【００１６】
通常、異常な行動は、何らかの健康の問題又は非常事態を示しうる。従って、反復的な行動パターンからの逸脱である行動が検出されると警報を生成するという規則が定められることができる。
【００１７】
確率分布関数は別個のクラスタにクラスタリングされることができ、クラスタは行動パターンに関連することができる。通常、クラスタは、食事等の対応する動作に対してラベルされる必要はない。クラスタが何らかの特定の行動と関連していることを知ることで十分である。従って、知識に基づいた説明が、確率分布関数からこのような行動を認識するために、特定の行動について随意に提供されることができる。例えば、人々は通常夜に眠るので、所定の時間（例えば夜間の数時間）、姿勢（例えば横になっている）及び動作（例えば低い度合いの体の動き）を有するクラスタは、睡眠としてラベルされることができる。更に、この説明から、家の中のその人のベッドの位置が推定されることができる。
【００１８】
図１をここで参照する。本発明による、行動を観察し、行動パターンを検出するビデオ処理システム１２０が示される。ビデオ処理システム１２０は、ビデオフィード１０７を通じて１つ又は複数のカメラ（例えばカメラ１０５）と、デジタル多用途ディスク（ＤＶＤ）１１０と、そして、ネットワーク１１５と、相互動作しているのが示される。ビデオ処理システム１２０は、プロセッサ１３０、媒体インタフェース１３５、ネットワークインタフェース１４０及びメモリ１４５を有する。メモリ１４５は、イメージグラバ１５０、入力画像１５５、図３とともに後述される特徴抽出プロセス３００、図４とともに後述されるＰＤＦ生成・分析プロセス４００及び図５とともに後述されるイベント検出プロセス５００を有する。
【００１９】
当技術分野で知られるように、ここで議論される方法及び装置は、コンピュータ可読コード手段を実装するコンピュータ可読の媒体をそれ自身が有する製品として配布されてもよい。コンピュータ可読のプログラムコード手段は、ビデオ処理システム１２０等のコンピュータシステムと連動して、ここで議論される方法を実行するための又はここで議論される装置を作製するための全ての又は幾つかのステップを実行するように動作可能である。コンピュータ可読の媒体は、記録可能な媒体（例えばフロッピー（登録商標）ディスク、ハードドライブ、媒体インタフェース１３５を通じてアクセスされるＤＶＤ１１０等のコンパクトディスク若しくはメモリーカード）であってもよく、又は、伝送媒体（例えば、ファイバーオプティクス、ワールドワイドウェブ、ケーブル、時分割多重アクセス若しくは符号分割多重アクセスを用いるワイヤレスチャネル、若しくは他の無線周波数チャネルを有するネットワーク１１５）であってもよい。コンピュータシステムの用途に適している情報を記憶することができるあらゆる既知の又は開発される媒体が用いられてもよい。コンピュータ可読コード手段は、コンピュータに命令及びデータを読み取ることを許可するためのあらゆる機構、例えば磁気媒体上の磁気偏差又はＤＶＤ１１０等のコンパクトディスクの表面における高さの偏差である。
【００２０】
メモリ１４５は、ここで開示される方法、ステップ及び機能を実現するようにプロセッサ１３０を構成する。メモリ１４５は、分散されてもローカルであってもよく、プロセッサ１３０は分散されても単一であってもよい。メモリ１４５は、電気、磁気若しくは光メモリとして実現されることができ、又は、これらの若しくは他の種類の記憶装置のいかなる組合せであってもよい。用語「メモリ」は、プロセッサ１３０によってアクセスされるアドレス指定可能空間のアドレスから読取り可能な又はこれに書込み可能なあらゆる情報を含むのに十分広く解釈されるべきである。この定義によれば、ネットワークインタフェース１４０を通じてアクセスされるネットワーク１１５等のネットワーク上の情報は、依然として、ビデオ処理システム１２０のメモリ１４５内にある。なぜなら、プロセッサ１３０は、ネットワークから情報を取得することができるからである。ビデオ処理システム１２０の全て又は一部は、集積回路又は他の類似したデバイス、例えばプログラマブル論理回路等に作られてもよいことにも注意されたい。
【００２１】
システムが議論されたので、ここでグローバル及びローカルなピクセル従属性並びにインクリメンタルトレーニングを提供する確率モデルが議論される。
【００２２】
図２は、多次元空間において観察される人間の行動のプロット２００を示す。図２の実施例において、人間の行動は、時間、姿勢及び（家の中の）位置に基づいてモニタされる。例示的な時間次元は連続である一方で、例示的な姿勢（例えば、座っている状態、立っている状態、横になっている状態）及び位置次元は離散的である。加えて、説明の便宜上、例示的な位置次元は、家の中の生の水平及び垂直座標から、家の特定の部屋（台所及び寝室）の表示に変換されている。例示的な行動プロット２００が体の動きの度合を示さないことに注意されたい。
【００２３】
図２に示すデータは、説明の便宜上、ランダムな行動を除去するために、また別途、行動パターンを構成しない行動を除去するためにフィルタされた。残った図２中のデータは、それぞれ挙動のパターンに関連した３つのクラスタ２１０、２２０、２３０を含む。クラスタ２１０は、人が、正午ごろに、座った状態で、台所にいることを示し、これは、その人が昼食を取っていることを示唆する。クラスタ２２０は、人が、午後６時ごろに、座った状態で、台所にいることを示し、これは、その人が夕食を取っていることを示唆する。クラスタ２３０は、人が、午前０時から午前７時までの間、横になった状態で、寝室にいることを示し、これは、その人が寝ていることを示唆する。
【００２４】
図３は、図２に示される例示的な行動プロット２００を生成するために用いられる、人の行動を観察するために用いられる例示的な特徴抽出プロセス３００を説明するフローチャートである。まず最初に、特徴抽出プロセス３００は、ステップ３１０の間に、画像データのフレームを得る。その後、特徴抽出プロセス３００は、ステップ３２０の間に、例えば、周知のトラッキング及び姿勢分析技術（例えばProc. of the 3rd Int'l Conf. on Automatic Face and Gesture Recognition, 492-497, Nara, Japan（１９９８年４月１４〜１６日）のIwasawa他による「Real-Time Human Posture Estimation Using Monocular Thermal Images」に説明された技術）を用いて、フレームから人の位置及び姿勢を抽出する。
【００２５】
体の動きの度合は、ステップ３４０の間に、例えば、オプティカルフロー、動き履歴又は他の動き推定技術を用いて任意に得られることができる。適切なオプティカルフロー推定技術は、例えばInt'l J. of Computer Vision, 12(1):43-77（１９９４年）のJ.L. Barron他による「Performance of Optical Flow Techniques」において説明されている。体の動きの度合は、一般に、同じ物理的な位置の付近にいる最中に人が生じる動きの量である。
【００２６】
抽出された位置、姿勢及び体の動きの度合の特徴データは、ステップ３５０の間にタイムスタンプされることができるので、図２に示すように、データは、時間の関数としてプロットされることができる。その後、プログラム制御は終了する。
【００２７】
図４は、実施例において、特徴抽出プロセス３００（図３）によって得られる特徴データを処理し、確率分布関数を生成して分析し、反復的な行動パターン及びその特徴を識別する例示的なＰＤＦ生成・分析プロセス４００を説明するフローチャートである。図４に示すように、ＰＤＦ生成・分析プロセス４００は、最初に、ステップ４１０の間に、所望の多次元空間で特徴抽出プロセス３００によって抽出される特徴データを得る。
【００２８】
その後、確率分布関数は、ステップ４２０の間に、抽出された特徴データに対して当てはめられる（fit）。ガウス分布の混合を抽出された特徴データに対して当てはめるための適切な技術の議論については、例えば、IEEE Trans. on Neural Networks, 2, 366-377（１９９１年）のH.G.C. Travenによる「A Neural Network Approach to Statistical Pattern Classification by 'Semiparametric' Estimation of Probability Density Functions」を参照されたい。その後、プログラム制御は終了する。
【００２９】
前述のように、反復的な行動パターンは、それぞれが平均及び分散によって特徴付けられたガウス分布又はクラスタとして多次元データに現れる。本実施例においては、確率分布関数はガウス分布の混合であり、以下の形式で与えられる。
【数１】
ここで、ｘは多次元空間の点を示し、ｎは、ガウス分布の数を示し（未知）、μｊ及びＣｊは、それぞれ、ｊ次ガウス分布（jth Gaussian）の平均及び共分散を示す。
【００３０】
図５は、反復的な行動パターンからの逸脱を検出する例示的な事象検出プロセス５００を説明するフローチャートである。例えば、反復的な行動パターンがガウス分布又はクラスタとして表されると、ガウス分布又はクラスタの分散は、現在の行動が、反復的な行動パターンの一部として分類されるべきか又は反復的な行動パターンからの逸脱として分類されるべきであるかを決定する閾値を提供する。例示的な事象検出プロセス５００は、反復的な行動パターンからの逸脱である行動が検出されたら警報を生成する多くの規則を使用する。
【００３１】
図５に示すように、事象検出プロセス５００は、最初に、ステップ５１０の間に、画像データを観察する。その後、事象検出プロセス５００は、ステップ５２０の間に、多くの特徴（例えば位置、姿勢及び体の動きの度合の特徴データ）を抽出する。次に、抽出された特徴データは、ステップ５４０の間、ＰＤＦ生成・分析プロセス４００によって生成される確率分布関数と比較される。
【００３２】
ステップ５５０の間に、抽出された特徴データがガウス分布又はクラスタの分散を所定の閾値よりも大きく超えるかどうかを決定するテストが実行される。閾値が一般に各ガウス分布又はクラスタの分散に基づくことに注意されたい（例えば分散プラス幾らかの許容範囲）。ステップ５５０の間に、抽出された特徴データが、何れのガウス分布又はクラスタの分散も所定の閾値より大きく超えないと決定されたら、プログラム制御はステップ５１０に戻り、他の逸脱がないか人間の行動のモニタを続ける。
【００３３】
しかし、ステップ５５０の間に、抽出された特徴データが、ガウス分布又はクラスタの何れかの分散を所定の閾値よりも大きく超えると決定されたら、観察された行動は、おそらく反復的なデータパターンからの逸脱である。ランダムな行動を表すデータは、例えばKullback-Leibler距離法又はインターセクションを用いて除去されることができ、これは、式２及び３とともに以下で説明される。観察された行動は、ステップ５６０の間に、データの反復的なパターンからの逸脱としてフラグされる。加えて、ステップ５７０の間に、観察された行動は評価され、この行動が、反復的な行動パターンからの逸脱である特定の行動が検出されると警報を生成するように定められた多くの例示的な所定の規則に違反するかが決定される。ステップ５７０の間に、１つ又は複数の例示的な所定の規則が違反されていると決定されたら、ステップ５８０の間に、プログラム制御が終了する前に警報が生成される。
【００３４】
上記した例示的な事象検出プロセス５００は、行動パターンを特徴付ける確率分布関数（式１）をｎ個の単一ガウス分布に分解し、新しく検出された行動（ｂ（ｘ））は、各々のガウス分布に対して別々に比較される。通常、新しい行動が検出されると、事象検出プロセス５００は、この新しい行動が、確率分布関数ｆ（ｘ）からどれだけ離れているかを、式１から測定する。これを実行するには多くの手法がある。１つの手法は、通常行動ｆ（ｘ）と新しく検出された行動ｂ（ｘ）との間の重複を計算することである。これは、例えば、Kullback-Leibler距離を用いて行われることができる：
【数２】
ここで、積分は、空間全体について実行される。式（２）は、図５の例示的な事象検出プロセス５００によって実現される技術のよりコンパクトな表現に過ぎない。
【００３５】
用いられることができる他の距離関数は、以下として規定される単純なインターセクションである：
【数３】
０≦ｄｉｎｔ≦１であることに注意されたい。
【数４】
ならばｄｉｎｔ＝１であり、
【数５】
ならばｄｉｎｔ＝０である。ｂが均一に分散されたランダムな信号であるならば、
【数６】
である。
【００３６】
他の変形例において、行動パターンは、データをクラスタリングすることによって識別されることができ、これは、図４とともに上記で議論されたガウス分布の混合を当てはめるのと事実上同じ技術である。その差は、解析関数が推定されるのではなく、データをクラスタにグループ化する最適な手法が決定されるということである。これらのクラスタは、分析的な形式では表されることはできず、リレーショナルな形式でしか表されることができない（即ち、特定の点の組が１つのクラスタに属し、他の点の組が他のクラスタに属するということができる）。新しい行動が検出されたら、毎回、この行動が、クラスタの一部に当てはまる（通常行動）か、又は、別個のクラスであるべき（異常行動）かがチェックされる。次に、クラスタサイズは、行動がどれだけ「通常（普通）」であるかを決定する（サイズが大きいほど行動はより通常である）。いかなるクラスタリング技術が使用されてもよい。幾つかのよりポピュラーなクラスタリング技術は、例えば、Ch. 10, Willey（２００１年）のRichard Duda他による「Pattern Classification」において説明される。
【００３７】
ここで示され説明された実施例及び変形例は、本発明の原理を説明するに過ぎず、本発明の範囲及び精神から逸脱することなく当業者によって種々の変形例が実現されることができることは理解される。
【技術分野】
【０００１】
本発明は、コンピュータビジョンシステムに関し、より詳細には、行動パターンを観察することによって事象を識別する、行動のモデル化及び検出の方法及びシステムに関する。
【背景技術】
【０００２】
コンピュータビジョン技術は、画像中のオブジェクト又は事象を自動的に検出又は分類するためにますます用いられるようになっている。例えば、人間の行動パターンを識別するために、行動モデル化技術がしばしば利用される。典型的には、行動の分析及びモデル化のシステムは、最初に行動パターンを学習し、その後、このような行動パターンからの逸脱を検出する。一般的に、従来型の行動分析技術は、異常な事象の検出に焦点を当てる。
【０００３】
行動モデル化に関するほとんどの従来の研究は、確率分布又は隠れマルコフモデル（ＨＭＭ）としての軌道のモデル化に関連するものであった。一旦軌道がモデル化されると、目標は、物体の軌道を予測して、「異常な」軌道を検出することである。例えば、軌道分析技術は、特定の領域を歩いている人の軌跡を観察し、その後、人が立ち入り禁止区域に入ったことを軌道が示したら警報を生成するように適用されてきた。
【０００４】
従来型の軌道分析技術は、多くのセキュリティアプリケーション用としてはよく機能する一方で、ホームモニタリング等の他のアプリケーション用としてのこのような軌道分析技術の有効性及び値は、疑わしい。特に、行動モデル化システムが１人又は複数の特定の人々の動作をモニタしている（例えば家庭環境における高齢者の遠隔モニタ）ときには、最も重要な情報は、その人がいかにして現在の位置又は動作に到達したかではなく、その人の現在の位置又は動作である。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従って、行動パターンを観察して反復的な行動パターンの違反を検出することにより事象を識別する行動のモデル化及び検出の方法及びシステムの必要性が存在する。
【課題を解決するための手段】
【０００６】
概略的には、画像データにおいて行動パターンを自動的に学習して識別するための方法及び装置が開示される。本発明の１つの側面によれば、人間又は他の生物の行動パターンをモデル化し、反復的な行動パターンの違反を検出するための方法及び装置が提供される。本発明は、１人又は複数の人の行動を時間に対して観察して、多次元空間で行動の特徴を記録する。例えば、ユーザの行動は、位置（例えば垂直及び水平方向の位置）、時間、姿勢及び体の動きの度合を含む多次元空間について得られることができる。多次元データは、時間に対して、人間の行動パターンの表示を提供する。時間、位置及び動作に関して反復的な動作、例えば睡眠及び食事は、多次元データにおいてガウス分布又はクラスタとして現れる。
【０００７】
学習アルゴリズムが多次元データに適用され、反復的な行動パターンを識別する。１つの実施例において、人間の行動をモデル化するために、多次元特徴データから確率密度関数（ｐｄｆ）が計算される。確率分布関数は、反復的な行動パターン及びその特性を識別するために、ガウス分布又はクラスタリング技術等、ＰＤＦ分析のためのあらゆる方法を用いて分析されることができる。通常、反復的な行動パターンは、それぞれが平均及び分散によって特徴付けられるガウス分布又はクラスタとして多次元特徴データに現れる。
【０００８】
確率分布関数は別個のクラスタにクラスタリングされることができ、クラスタは行動パターンに関連することができる。通常、クラスタは、食事等の対応する動作によってラベルされている必要はない。クラスタが何らかの特定の行動と関連していることを知ることで十分である。
【０００９】
本発明の他の側面によれば、反復的な行動パターンからの逸脱が検出されることができ、適当ならば警報が起動されることができる。例えば、反復的な行動パターンがガウス分布又はクラスタとして表されると、分散は、現在の行動が反復的な行動パターンからの逸脱として分類されるべきであるかどうか決定するための閾値を提供する。通常、異常な行動は、何らかの健康の問題又は非常事態を示しうる。従って、反復的な行動パターンからの逸脱が１つ又は複数の所定の状態を満たすと警報を生成するという規則が随意に定められることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の好適な実施例による例示的なビデオモニタリングシステムを示す。
【図２】本発明の多次元空間において観察される人間の行動のプロットを示す。
【図３】図１の特徴抽出プロセスの例示的な実施態様を説明するフローチャートである。
【図４】図１のＰＤＦ生成・分析プロセスの例示的な実施態様を説明しているフローチャートである。
【図５】図１の事象検出プロセスの例示的な実施態様を説明しているフローチャートである。
【発明を実施するための形態】
【００１１】
本発明の完全な理解並びに本発明の他の特徴及び利点は、以下の詳細な説明及び図面を参照して得られる。
【００１２】
図１は、本発明の例示的なビデオモニタリングシステム１２０を示す。ビデオモニタリングシステム１２０は、人間又は他の生物の行動パターンをモデル化して、反復的な行動パターンの違反を検出する。例えば、ビデオモニタリングシステム１２０は、観察される人間の睡眠パターン及び食事パターンをモニタしてもよい。その後で、このような行動パターンからの逸脱、例えば異常な間隔で若しくは異常な時間に眠ること、又は、異常な間隔で異常な量の食事を取ることが検出され、適当ならば、警報を起動させるようにすることができる。
【００１３】
以下で更に議論される１つの実施例においては、本発明は、１人又は複数の人の行動を時間に対して観察して、多次元空間で行動の特徴を記録する。例えば、ユーザの行動は、２次元の位置（垂直及び水平）、時間、姿勢並びに体の動きの度合を含む５次元空間について得られることができる。多次元データは、時間に対して、人間の行動パターンの表示を提供する。時間、位置及び動作に関して反復的である動作、例えば睡眠及び食事は、多次元データにおいてクラスタとして現れる。
【００１４】
その後、学習アルゴリズムが多次元データに適用され、このような反復的な行動パターンを識別する。例えば、人の行動をモデル化するために確率密度関数（ｐｄｆ）が計算されることができる。確率分布関数は、反復的な行動パターン及びその特性を識別するためにガウス分布又はクラスタリング技術を用いて分析されることができる。通常、反復的な行動パターンは、それぞれが平均及び分散によって特徴付けられるガウス分布又はクラスタとして多次元特徴データにおいて識別される。
【００１５】
一旦反復的な行動パターンが識別されると、このような反復的な事象又は行動からの逸脱が検出されることができ、適当ならば、警報を起動することができる。例えば、反復的な行動パターンがガウス分布又はクラスタとして表されると、ガウス分布又はクラスタの分散は、現在の行動が、反復的な行動パターンの一部として分類されるべきか又は反復的な行動パターンからの逸脱として分類されるべきかを決定するための閾値を提供する。
【００１６】
通常、異常な行動は、何らかの健康の問題又は非常事態を示しうる。従って、反復的な行動パターンからの逸脱である行動が検出されると警報を生成するという規則が定められることができる。
【００１７】
確率分布関数は別個のクラスタにクラスタリングされることができ、クラスタは行動パターンに関連することができる。通常、クラスタは、食事等の対応する動作に対してラベルされる必要はない。クラスタが何らかの特定の行動と関連していることを知ることで十分である。従って、知識に基づいた説明が、確率分布関数からこのような行動を認識するために、特定の行動について随意に提供されることができる。例えば、人々は通常夜に眠るので、所定の時間（例えば夜間の数時間）、姿勢（例えば横になっている）及び動作（例えば低い度合いの体の動き）を有するクラスタは、睡眠としてラベルされることができる。更に、この説明から、家の中のその人のベッドの位置が推定されることができる。
【００１８】
図１をここで参照する。本発明による、行動を観察し、行動パターンを検出するビデオ処理システム１２０が示される。ビデオ処理システム１２０は、ビデオフィード１０７を通じて１つ又は複数のカメラ（例えばカメラ１０５）と、デジタル多用途ディスク（ＤＶＤ）１１０と、そして、ネットワーク１１５と、相互動作しているのが示される。ビデオ処理システム１２０は、プロセッサ１３０、媒体インタフェース１３５、ネットワークインタフェース１４０及びメモリ１４５を有する。メモリ１４５は、イメージグラバ１５０、入力画像１５５、図３とともに後述される特徴抽出プロセス３００、図４とともに後述されるＰＤＦ生成・分析プロセス４００及び図５とともに後述されるイベント検出プロセス５００を有する。
【００１９】
当技術分野で知られるように、ここで議論される方法及び装置は、コンピュータ可読コード手段を実装するコンピュータ可読の媒体をそれ自身が有する製品として配布されてもよい。コンピュータ可読のプログラムコード手段は、ビデオ処理システム１２０等のコンピュータシステムと連動して、ここで議論される方法を実行するための又はここで議論される装置を作製するための全ての又は幾つかのステップを実行するように動作可能である。コンピュータ可読の媒体は、記録可能な媒体（例えばフロッピー（登録商標）ディスク、ハードドライブ、媒体インタフェース１３５を通じてアクセスされるＤＶＤ１１０等のコンパクトディスク若しくはメモリーカード）であってもよく、又は、伝送媒体（例えば、ファイバーオプティクス、ワールドワイドウェブ、ケーブル、時分割多重アクセス若しくは符号分割多重アクセスを用いるワイヤレスチャネル、若しくは他の無線周波数チャネルを有するネットワーク１１５）であってもよい。コンピュータシステムの用途に適している情報を記憶することができるあらゆる既知の又は開発される媒体が用いられてもよい。コンピュータ可読コード手段は、コンピュータに命令及びデータを読み取ることを許可するためのあらゆる機構、例えば磁気媒体上の磁気偏差又はＤＶＤ１１０等のコンパクトディスクの表面における高さの偏差である。
【００２０】
メモリ１４５は、ここで開示される方法、ステップ及び機能を実現するようにプロセッサ１３０を構成する。メモリ１４５は、分散されてもローカルであってもよく、プロセッサ１３０は分散されても単一であってもよい。メモリ１４５は、電気、磁気若しくは光メモリとして実現されることができ、又は、これらの若しくは他の種類の記憶装置のいかなる組合せであってもよい。用語「メモリ」は、プロセッサ１３０によってアクセスされるアドレス指定可能空間のアドレスから読取り可能な又はこれに書込み可能なあらゆる情報を含むのに十分広く解釈されるべきである。この定義によれば、ネットワークインタフェース１４０を通じてアクセスされるネットワーク１１５等のネットワーク上の情報は、依然として、ビデオ処理システム１２０のメモリ１４５内にある。なぜなら、プロセッサ１３０は、ネットワークから情報を取得することができるからである。ビデオ処理システム１２０の全て又は一部は、集積回路又は他の類似したデバイス、例えばプログラマブル論理回路等に作られてもよいことにも注意されたい。
【００２１】
システムが議論されたので、ここでグローバル及びローカルなピクセル従属性並びにインクリメンタルトレーニングを提供する確率モデルが議論される。
【００２２】
図２は、多次元空間において観察される人間の行動のプロット２００を示す。図２の実施例において、人間の行動は、時間、姿勢及び（家の中の）位置に基づいてモニタされる。例示的な時間次元は連続である一方で、例示的な姿勢（例えば、座っている状態、立っている状態、横になっている状態）及び位置次元は離散的である。加えて、説明の便宜上、例示的な位置次元は、家の中の生の水平及び垂直座標から、家の特定の部屋（台所及び寝室）の表示に変換されている。例示的な行動プロット２００が体の動きの度合を示さないことに注意されたい。
【００２３】
図２に示すデータは、説明の便宜上、ランダムな行動を除去するために、また別途、行動パターンを構成しない行動を除去するためにフィルタされた。残った図２中のデータは、それぞれ挙動のパターンに関連した３つのクラスタ２１０、２２０、２３０を含む。クラスタ２１０は、人が、正午ごろに、座った状態で、台所にいることを示し、これは、その人が昼食を取っていることを示唆する。クラスタ２２０は、人が、午後６時ごろに、座った状態で、台所にいることを示し、これは、その人が夕食を取っていることを示唆する。クラスタ２３０は、人が、午前０時から午前７時までの間、横になった状態で、寝室にいることを示し、これは、その人が寝ていることを示唆する。
【００２４】
図３は、図２に示される例示的な行動プロット２００を生成するために用いられる、人の行動を観察するために用いられる例示的な特徴抽出プロセス３００を説明するフローチャートである。まず最初に、特徴抽出プロセス３００は、ステップ３１０の間に、画像データのフレームを得る。その後、特徴抽出プロセス３００は、ステップ３２０の間に、例えば、周知のトラッキング及び姿勢分析技術（例えばProc. of the 3rd Int'l Conf. on Automatic Face and Gesture Recognition, 492-497, Nara, Japan（１９９８年４月１４〜１６日）のIwasawa他による「Real-Time Human Posture Estimation Using Monocular Thermal Images」に説明された技術）を用いて、フレームから人の位置及び姿勢を抽出する。
【００２５】
体の動きの度合は、ステップ３４０の間に、例えば、オプティカルフロー、動き履歴又は他の動き推定技術を用いて任意に得られることができる。適切なオプティカルフロー推定技術は、例えばInt'l J. of Computer Vision, 12(1):43-77（１９９４年）のJ.L. Barron他による「Performance of Optical Flow Techniques」において説明されている。体の動きの度合は、一般に、同じ物理的な位置の付近にいる最中に人が生じる動きの量である。
【００２６】
抽出された位置、姿勢及び体の動きの度合の特徴データは、ステップ３５０の間にタイムスタンプされることができるので、図２に示すように、データは、時間の関数としてプロットされることができる。その後、プログラム制御は終了する。
【００２７】
図４は、実施例において、特徴抽出プロセス３００（図３）によって得られる特徴データを処理し、確率分布関数を生成して分析し、反復的な行動パターン及びその特徴を識別する例示的なＰＤＦ生成・分析プロセス４００を説明するフローチャートである。図４に示すように、ＰＤＦ生成・分析プロセス４００は、最初に、ステップ４１０の間に、所望の多次元空間で特徴抽出プロセス３００によって抽出される特徴データを得る。
【００２８】
その後、確率分布関数は、ステップ４２０の間に、抽出された特徴データに対して当てはめられる（fit）。ガウス分布の混合を抽出された特徴データに対して当てはめるための適切な技術の議論については、例えば、IEEE Trans. on Neural Networks, 2, 366-377（１９９１年）のH.G.C. Travenによる「A Neural Network Approach to Statistical Pattern Classification by 'Semiparametric' Estimation of Probability Density Functions」を参照されたい。その後、プログラム制御は終了する。
【００２９】
前述のように、反復的な行動パターンは、それぞれが平均及び分散によって特徴付けられたガウス分布又はクラスタとして多次元データに現れる。本実施例においては、確率分布関数はガウス分布の混合であり、以下の形式で与えられる。
【数１】
ここで、ｘは多次元空間の点を示し、ｎは、ガウス分布の数を示し（未知）、μｊ及びＣｊは、それぞれ、ｊ次ガウス分布（jth Gaussian）の平均及び共分散を示す。
【００３０】
図５は、反復的な行動パターンからの逸脱を検出する例示的な事象検出プロセス５００を説明するフローチャートである。例えば、反復的な行動パターンがガウス分布又はクラスタとして表されると、ガウス分布又はクラスタの分散は、現在の行動が、反復的な行動パターンの一部として分類されるべきか又は反復的な行動パターンからの逸脱として分類されるべきであるかを決定する閾値を提供する。例示的な事象検出プロセス５００は、反復的な行動パターンからの逸脱である行動が検出されたら警報を生成する多くの規則を使用する。
【００３１】
図５に示すように、事象検出プロセス５００は、最初に、ステップ５１０の間に、画像データを観察する。その後、事象検出プロセス５００は、ステップ５２０の間に、多くの特徴（例えば位置、姿勢及び体の動きの度合の特徴データ）を抽出する。次に、抽出された特徴データは、ステップ５４０の間、ＰＤＦ生成・分析プロセス４００によって生成される確率分布関数と比較される。
【００３２】
ステップ５５０の間に、抽出された特徴データがガウス分布又はクラスタの分散を所定の閾値よりも大きく超えるかどうかを決定するテストが実行される。閾値が一般に各ガウス分布又はクラスタの分散に基づくことに注意されたい（例えば分散プラス幾らかの許容範囲）。ステップ５５０の間に、抽出された特徴データが、何れのガウス分布又はクラスタの分散も所定の閾値より大きく超えないと決定されたら、プログラム制御はステップ５１０に戻り、他の逸脱がないか人間の行動のモニタを続ける。
【００３３】
しかし、ステップ５５０の間に、抽出された特徴データが、ガウス分布又はクラスタの何れかの分散を所定の閾値よりも大きく超えると決定されたら、観察された行動は、おそらく反復的なデータパターンからの逸脱である。ランダムな行動を表すデータは、例えばKullback-Leibler距離法又はインターセクションを用いて除去されることができ、これは、式２及び３とともに以下で説明される。観察された行動は、ステップ５６０の間に、データの反復的なパターンからの逸脱としてフラグされる。加えて、ステップ５７０の間に、観察された行動は評価され、この行動が、反復的な行動パターンからの逸脱である特定の行動が検出されると警報を生成するように定められた多くの例示的な所定の規則に違反するかが決定される。ステップ５７０の間に、１つ又は複数の例示的な所定の規則が違反されていると決定されたら、ステップ５８０の間に、プログラム制御が終了する前に警報が生成される。
【００３４】
上記した例示的な事象検出プロセス５００は、行動パターンを特徴付ける確率分布関数（式１）をｎ個の単一ガウス分布に分解し、新しく検出された行動（ｂ（ｘ））は、各々のガウス分布に対して別々に比較される。通常、新しい行動が検出されると、事象検出プロセス５００は、この新しい行動が、確率分布関数ｆ（ｘ）からどれだけ離れているかを、式１から測定する。これを実行するには多くの手法がある。１つの手法は、通常行動ｆ（ｘ）と新しく検出された行動ｂ（ｘ）との間の重複を計算することである。これは、例えば、Kullback-Leibler距離を用いて行われることができる：
【数２】
ここで、積分は、空間全体について実行される。式（２）は、図５の例示的な事象検出プロセス５００によって実現される技術のよりコンパクトな表現に過ぎない。
【００３５】
用いられることができる他の距離関数は、以下として規定される単純なインターセクションである：
【数３】
０≦ｄｉｎｔ≦１であることに注意されたい。
【数４】
ならばｄｉｎｔ＝１であり、
【数５】
ならばｄｉｎｔ＝０である。ｂが均一に分散されたランダムな信号であるならば、
【数６】
である。
【００３６】
他の変形例において、行動パターンは、データをクラスタリングすることによって識別されることができ、これは、図４とともに上記で議論されたガウス分布の混合を当てはめるのと事実上同じ技術である。その差は、解析関数が推定されるのではなく、データをクラスタにグループ化する最適な手法が決定されるということである。これらのクラスタは、分析的な形式では表されることはできず、リレーショナルな形式でしか表されることができない（即ち、特定の点の組が１つのクラスタに属し、他の点の組が他のクラスタに属するということができる）。新しい行動が検出されたら、毎回、この行動が、クラスタの一部に当てはまる（通常行動）か、又は、別個のクラスであるべき（異常行動）かがチェックされる。次に、クラスタサイズは、行動がどれだけ「通常（普通）」であるかを決定する（サイズが大きいほど行動はより通常である）。いかなるクラスタリング技術が使用されてもよい。幾つかのよりポピュラーなクラスタリング技術は、例えば、Ch. 10, Willey（２００１年）のRichard Duda他による「Pattern Classification」において説明される。
【００３７】
ここで示され説明された実施例及び変形例は、本発明の原理を説明するに過ぎず、本発明の範囲及び精神から逸脱することなく当業者によって種々の変形例が実現されることができることは理解される。
【特許請求の範囲】
【請求項１】
生物の行動をモデル化するための方法において、
複数の画像を得るステップと、
複数の特徴を前記複数の画像から抽出するステップと、
前記複数の抽出された特徴を多次元空間で分析するステップと、
を有する方法。
【請求項２】
請求項１に記載の方法において、前記多次元空間は、前記画像データの確率分布関数を提供する、方法。
【請求項３】
請求項１に記載の方法において、更に、前記抽出された特徴データをクラスタリングして少なくとも１つの反復的な行動パターンを識別するステップを有する方法。
【請求項４】
請求項３に記載の方法において、前記クラスタリングステップは、更に、各クラスタの平均及び分散を計算するステップを有する、方法。
【請求項５】
請求項３に記載の方法において、データのクラスタは行動パターンに対応する、方法。
【請求項６】
請求項１に記載の方法において、更に、前記抽出された特徴データを確率分布関数に対して当てはめ、平均及び分散を有する少なくとも１つのガウス分布を識別するステップを有する方法。
【請求項７】
請求項６に記載の方法において、ガウス分布は行動パターンに対応する、方法。
【請求項８】
請求項１に記載の方法において、前記抽出された特徴データは時間の表示を含む、方法。
【請求項９】
請求項１に記載の方法において、前記抽出された特徴データは位置の表示を含む、方法。
【請求項１０】
請求項１に記載の方法において、前記抽出された特徴データは動作の表示を含む、方法。
【請求項１１】
請求項１に記載の方法において、前記抽出された特徴データは姿勢の表示を含む、方法。
【請求項１２】
生物の行動をモデル化するためのシステムにおいて、
コンピュータ可読コードを記憶するメモリと、
前記メモリに動作的に結合されるプロセッサとを有し、前記プロセッサは前記コンピュータ可読コードを実行するように構成され、前記コンピュータ可読コードは、
複数の画像を得て、
複数の特徴を前記複数の画像から抽出し、
前記複数の抽出された特徴を多次元空間で分析する
ように構成される、システム。
【請求項１３】
請求項１２に記載のシステムにおいて、前記多次元空間は、前記画像データの確率分布関数を提供する、システム。
【請求項１４】
請求項１２に記載のシステムにおいて、前記プロセッサは、更に、前記抽出された特徴データをクラスタリングして、少なくとも１つの反復的な行動パターンを識別するように構成される、システム。
【請求項１５】
請求項１４に記載のシステムにおいて、前記プロセッサは、更に、各クラスタの平均及び分散を計算するように構成される、システム。
【請求項１６】
請求項１４に記載のシステムにおいて、データのクラスタは行動パターンに対応する、システム。
【請求項１７】
請求項１２に記載のシステムにおいて、前記プロセッサは、更に、前記抽出された特徴データを確率分布関数に対して当てはめ、平均及び分散を有する少なくとも１つのガウス分布を識別するように構成される、システム。
【請求項１８】
請求項１７に記載のシステムにおいて、ガウス分布は行動パターンに対応する、システム。
【請求項１９】
生物の行動をモデル化するための製品において、
コンピュータ可読コード手段を実装するコンピュータ可読媒体を有し、前記コンピュータ可読プログラムコード手段は、
複数の画像を得るステップと、
複数の特徴を前記複数の画像から抽出するステップと、
前記複数の抽出された特徴を多次元空間で分析するステップと
を有する、製品。
【請求項２０】
請求項１９に記載の製品において、前記多次元空間は、前記画像データの確率分布関数を提供する、製品。
【請求項１】
生物の行動をモデル化するための方法において、
複数の画像を得るステップと、
複数の特徴を前記複数の画像から抽出するステップと、
前記複数の抽出された特徴を多次元空間で分析するステップと、
を有する方法。
【請求項２】
請求項１に記載の方法において、前記多次元空間は、前記画像データの確率分布関数を提供する、方法。
【請求項３】
請求項１に記載の方法において、更に、前記抽出された特徴データをクラスタリングして少なくとも１つの反復的な行動パターンを識別するステップを有する方法。
【請求項４】
請求項３に記載の方法において、前記クラスタリングステップは、更に、各クラスタの平均及び分散を計算するステップを有する、方法。
【請求項５】
請求項３に記載の方法において、データのクラスタは行動パターンに対応する、方法。
【請求項６】
請求項１に記載の方法において、更に、前記抽出された特徴データを確率分布関数に対して当てはめ、平均及び分散を有する少なくとも１つのガウス分布を識別するステップを有する方法。
【請求項７】
請求項６に記載の方法において、ガウス分布は行動パターンに対応する、方法。
【請求項８】
請求項１に記載の方法において、前記抽出された特徴データは時間の表示を含む、方法。
【請求項９】
請求項１に記載の方法において、前記抽出された特徴データは位置の表示を含む、方法。
【請求項１０】
請求項１に記載の方法において、前記抽出された特徴データは動作の表示を含む、方法。
【請求項１１】
請求項１に記載の方法において、前記抽出された特徴データは姿勢の表示を含む、方法。
【請求項１２】
生物の行動をモデル化するためのシステムにおいて、
コンピュータ可読コードを記憶するメモリと、
前記メモリに動作的に結合されるプロセッサとを有し、前記プロセッサは前記コンピュータ可読コードを実行するように構成され、前記コンピュータ可読コードは、
複数の画像を得て、
複数の特徴を前記複数の画像から抽出し、
前記複数の抽出された特徴を多次元空間で分析する
ように構成される、システム。
【請求項１３】
請求項１２に記載のシステムにおいて、前記多次元空間は、前記画像データの確率分布関数を提供する、システム。
【請求項１４】
請求項１２に記載のシステムにおいて、前記プロセッサは、更に、前記抽出された特徴データをクラスタリングして、少なくとも１つの反復的な行動パターンを識別するように構成される、システム。
【請求項１５】
請求項１４に記載のシステムにおいて、前記プロセッサは、更に、各クラスタの平均及び分散を計算するように構成される、システム。
【請求項１６】
請求項１４に記載のシステムにおいて、データのクラスタは行動パターンに対応する、システム。
【請求項１７】
請求項１２に記載のシステムにおいて、前記プロセッサは、更に、前記抽出された特徴データを確率分布関数に対して当てはめ、平均及び分散を有する少なくとも１つのガウス分布を識別するように構成される、システム。
【請求項１８】
請求項１７に記載のシステムにおいて、ガウス分布は行動パターンに対応する、システム。
【請求項１９】
生物の行動をモデル化するための製品において、
コンピュータ可読コード手段を実装するコンピュータ可読媒体を有し、前記コンピュータ可読プログラムコード手段は、
複数の画像を得るステップと、
複数の特徴を前記複数の画像から抽出するステップと、
前記複数の抽出された特徴を多次元空間で分析するステップと
を有する、製品。
【請求項２０】
請求項１９に記載の製品において、前記多次元空間は、前記画像データの確率分布関数を提供する、製品。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−８１８２３（Ｐ２０１１−８１８２３Ａ）
【公開日】平成２３年４月２１日（２０１１．４．２１）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１０−２５９７５９（Ｐ２０１０−２５９７５９）
【出願日】平成２２年１１月２２日（２０１０．１１．２２）
【分割の表示】特願２００４−５１７１１２（Ｐ２００４−５１７１１２）の分割
【原出願日】平成１５年６月１８日（２００３．６．１８）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
【公開日】平成２３年４月２１日（２０１１．４．２１）
【国際特許分類】
【出願番号】特願２０１０−２５９７５９（Ｐ２０１０−２５９７５９）
【出願日】平成２２年１１月２２日（２０１０．１１．２２）
【分割の表示】特願２００４−５１７１１２（Ｐ２００４−５１７１１２）の分割
【原出願日】平成１５年６月１８日（２００３．６．１８）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
[ Back to top ]