異常挙動を予測するためのシステムおよび方法
予測的異常挙動検出のためのシステムおよび方法が開示されている。システムは、ビデオ・データ等の監視データを受取り、複数の予測モデルの作成および更新を行うことができる。またシステムは、移動物体に関係するビデオ・データを受取り、生成した予測モデルに基づいてその移動物体の将来の場所の予測を生成できる。予測された動きは、スコア付けエンジンによってスコア付けし、その予測される動きが安全でないか否か、あるいはそのほかの形で望ましくないか否かを決定できる。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
この出願は、２００９年７月２日に出願された米国特許出願第１２／４９６，７２４号に対する優先権を主張し、かつ２００９年２月１９日に出願された米国特許仮出願第６１／１５３，８９１号の恩典を主張する。これらの出願の全開示は、参照によってこれに援用される。
【０００２】
この開示は、監視システムに関し、より詳細に述べれば、ビデオ監視システム内における異常挙動予測のためのシステムおよび方法に関する。
【背景技術】
【０００３】
典型的な監視システムは、あらかじめ決定済みの条件に基づいてセキュリティ脅威についてのデータの収集および／またはモニタを行う複数のセンサを含む。たとえばこれらの複数のセンサは、ビデオ・カメラを含むことができる。典型的なビデオ監視システムは、大きな地理的エリアをモニタする複数のビデオ・カメラを含むことができる。たとえばその大きな地理的エリアを倉庫とすることができる。複数のビデオ・カメラのそれぞれは、モニタされるエリアに対応するメタデータを収集できる。
【０００４】
典型的なビデオ監視システムは、通常、１つまたは複数の監視モニタへストリーミングされる複数のビデオ・フィードを伴う。複数のビデオ・カメラからの複数のビデオ・フィードの同時モニタが人間のオペレータに求められることがあり、そのため、いくつかのセキュリティ脅威が検出されないことがあり得る。したがって、ビデオ監視システムが自動化された検出システムを含むことがあり、当該自動化された検出システムは、その自動化されたビデオ監視システムにとってすでに既知となっている正常な動きのモデルに基づいてエリアをモニタする。ビデオ監視システムは、ビデオ・フィードのうちの１つまたは複数を分析するとき、これらの正常な動きのモデルを基準として使用できる。
【０００５】
これまでの自動化された検出システムは、監視場面および正常な動きのモデルからリアルタイムで『異常挙動』を検出できる（たとえば米国特許出願第１１／６７６，１２７号）。この自動検出システムは、リアルタイム監視ビデオ・フィード内に異常挙動が検出されると潜在的なセキュリティ脅威を人間のオペレータに対して警告できる。オペレータは、その潜在的なセキュリティ脅威を分析してアラームを作動するべきか否かを選択できる。それに加えて自動検出システムは、オペレータへの通知を伴うことなくアラームを作動できる。さらにまたこの自動検出システムは、あらかじめ決定済みの条件の更新および／または潜在的なセキュリティ脅威の将来的な分析のために潜在的なセキュリティ脅威に対応するメタデータをストアできる。
【０００６】
たとえば特許文献１は、規則ベースの推論および複数の仮説的スコア付けを使用し、物体の動きに基づいてあらかじめ決定済みの物体の挙動を検出するビデオ監視システムを開示している。このシステムは、物体の動きパターンに基づいて警告条件を決定する。警告条件は、特定の事象の組合せの発生によって定義できる。例としてのみ述べるが、これらの特定の事象は、人の出現、ドアへ向かう人の動き、または人によるカード・リーダでの物体のスワイプを含むことができる。システムは、特定の事象が生じたか否かを決定し、特定の事象のそれぞれについてタイムスタンプを決定できる。その後システムは、警告条件が生じたか否かをあらかじめ定義済みの規則に基づいて決定できる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】米国特許第７，０８８，８４６号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながらこのシステムは、全体の規則のセットがオペレータによって構成されることを必要とする。さらにまたこのシステムは、特定の事象が、それらの特定の事象の特定の順序に基づいていることを必要とする。したがって、これらの要件が、中規模から大規模の規則セットのために異常挙動のモデルを完全に定義することを困難にしている。
【０００９】
さらにまた、異常挙動が生じる前にそれを予測することが可能な監視システムは存在していない。その種のシステムは、その種の侵害または事故が発生した後にそれらをレポートするのではなく、多様なセキュリティ侵害を防止して生命を救うことができる。
【００１０】
ここに提供されている背景技術の記述は、開示の状況を概括的に呈示する目的のためである。現在のところ名前が挙げられている発明者の研究は、その研究がこの背景技術セクションの中で述べられている点をはじめ、そこで述べられなければ出願の時における先行技術として見なされない記述の側面までを含め、明示的にも、また暗示的にも、この開示に対する先行技術として認められない。
【課題を解決するための手段】
【００１１】
このセクションでは、開示の一般的な概要を提供するが、それの完全な範囲もしくはそれの特徴のすべての包括的な開示ではない。
【００１２】
１つの意味において本発明は、空間をモニタするための予測的監視システムである。このシステムは、モニタされている物体の軌跡に対応する軌跡メタデータを生成するメタデータ処理モジュールを包含し、当該メタデータは、モニタされている物体が軌跡の場所にいた時刻に対応するタイムスタンプを含む。さらにこのシステムは、軌跡情報メタデータを受取って特徴ベクトルを生成する変換モジュールを包含し、当該特徴ベクトルは、モニタされている物体の軌跡のあらかじめ選択された線分に関係する動きの属性を表わす成分を有する。システムは、予測的挙動評価モジュールを含み、それが、モニタされている物体に対応する前記特徴ベクトルを受取り、かつあらかじめ定義済みの目標エリアに対応する予測モデルを予測モデル・データベースから検索する。予測モデルは、以前にモニタされた物体についての到来軌跡、当該以前にモニタされた物体の立ち去り軌跡、および入力ベクトルと出力ベクトルの間における結び付きに対応する指標を定義する。到来および立ち去り軌跡は特徴ベクトルとして表わされ、予測モデルは、モニタされている物体の特徴ベクトルと到来軌跡を表わしている特徴ベクトルの間における類似性、および到来軌跡と立ち去り軌跡の間における結び付きに基づいて検索される。さらにこのシステムは、逆変換モジュールを包含し、それが、立ち去り軌跡の特徴ベクトルおよび、以前にモニタされた物体の軌跡のあらかじめ選択された線分に基づいて予測される軌跡を生成する。
【００１３】
別の意味において本発明は、監視デバイスによって観察されている移動物体の将来の場所を予測するための方法である。この方法は、その移動物体に対応する動きデータを監視デバイスから受取り、受取ったデータに基づいてメタデータを生成するステップを包含し、それにおいて当該メタデータは、その移動物体のタイムスタンプ、場所、および大きさを含む。さらにこの方法は、メタデータに基づいてデータ構造に対して少なくとも１つのウェーブレット変換を実行し、その少なくとも１つのウェーブレット変換に基づいてキーを生成するステップを包含する。この方法は、さらに、そのキーを使用して予測モデル・データベースのクエリを行うステップを包含し、それにおいて予測モデル・データベースは、学習済みデータに基づく予測モデルをストアしており、かつそれにおいて予測モデルは、それぞれ、学習済み軌跡の第１の部分に基づくモデル・キー、当該学習済み軌跡の第２の部分に基づくモデル予測、およびモデル・キーとモデル予測の間における相関に対応するカウントを含む。この方法は、前記予測モデル・データベースから少なくとも１つの予測モデルを受取るステップを含み、そのキーと受取る予測モデルのモデル・キーの類似性に基づいてそれを受取る。さらにこの方法は、受取ったモデル・キーおよび受取ったカウントに基づいて、その移動物体の少なくとも１つの将来の場所を生成するステップを包含する。
【００１４】
このほかの適用可能性のある分野は、ここに提供されている説明から明らかとなるであろう。この概要の中の記述ならびに特定の例は、例示のための目的だけを意図しており、この開示の範囲を限定することは意図されていない。
【図面の簡単な説明】
【００１５】
この中で記述される図面は、すべての可能な実装ではなく、選択された実施態様の例示だけが目的とされており、この開示の範囲を限定することは意図されていない。
【００１６】
【図１】この開示に従った監視システムの機能ブロック図である。
【図２】この開示に従った例示的な検知デバイスの例示的な視野を図解した概略図である。
【図３】この開示に従った例示的な検知デバイスの例示的な視野を図解した概略図である。
【図４】この開示に従ったコントロール・モジュールの機能ブロック図である。
【図５】この開示に従ったモデル構築および更新モジュールの機能ブロック図である。
【図６】この開示に従った予測モデルを構築するための例示的な方法のフローチャートである。
【図７】この開示に従った挙動評価モジュールの機能ブロック図である。
【図８】物体の動きを予測するための方法のフローチャートである。
【図９】予測モデル・データベースの例示的な表現の説明図である。
【図１０】反復ハール変換を表わしたフローチャートである。
【００１７】
対応する参照番号は、図面内のいくつかの図を通じて対応する部品を示す。
【発明を実施するための形態】
【００１８】
以下の記述は本質的に例示に過ぎず、いかなる形においても開示、それらの応用、または用途を限定することは意図されていない。明瞭性の目的のため、図面内においては、同一の参照番号を使用して類似の要素を識別する。ここで用いられる場合に、Ａ、Ｂ、およびＣのうちの少なくとも１つという表現は、非排他的論理和のＯＲを使用した論理表現（Ａ ＯＲ Ｂ ＯＲ Ｃ）の意味であると解釈されるものとする。理解される必要があるが、方法の中のステップは、この開示の原理を改変することなく異なる順序で実行され得る。
【００１９】
ここで使用されているモジュールという用語は、特定用途向け集積回路（ＡＳＩＣ）、電子回路、１つまたは複数のソフトウエアまたはファームウエア・プログラムを実行するプロセッサ（共有、専用、またはグループ）および／またはメモリ（共有、専用、またはグループ）、組合せ論理回路、および／またはここに記述されている機能を提供するそのほかの適切な構成要素を指すこと、それらの部分とすること、またはそれらを含むことができる。
【００２０】
以下、例示的な予測的異常挙動検出監視システムを開示する。この例示的な予測的監視システムは、空間内における動きがモニタされている物体のリアルタイム軌跡情報を表わすキー・ベクトルを使用して、以前に観察されたか、またはストアされた動きのモデルを表わすデータから学習された予測モデルをストアしている予測モデル・データベースへのクエリを行い、物体の将来の場所を予測する新しいフレームワークを実装している。クエリの結果は、キー・ベクトルに基づいた移動物体の可能性のある将来の場所を表わす予測モデルを返すことができる。提案されているシステムおよび方法は、モニタされている物体の異常挙動の予測および検出を、モニタされている物体の軌跡に対応するインターリーブされた速度ならびに加速度の特性と、正常な許容可能な軌跡からの線分のセットの速度ならびに加速度の特性を比較することによって提供する。提案されているシステムおよび方法は、それを効率的に、かつ正確に、しかも人間の介入を伴うことなく行うことができる。次に、このシステムおよび方法を詳細に述べる。
【００２１】
開示されている方法は、軌跡の基準ポイントを、たとえば線分によって定義される仮想的なチェック・ポイントまたは目標エリアに関して整列させる。その線分を通過するか、またはその近くを通るすべての軌跡がシステムによって処理され、インターリーブされた速度ならびに加速度の特性が獲得される。抽出される特性は、典型的なノイズ低減および評価フィルタ、たとえばカルマン・フィルタおよびそのほかの曲線スムージング・フィルタ等の使用によって獲得される単純な速度計算を超えるものとなる。開示されている方法は、仮想チェック・ポイントに関する軌跡の内在的な特徴として、複数のインターリーブされたポイントの、ランダムに選択されたインターリーブされた特性を使用する。
【００２２】
インターリーブされたポイント／位置から抽出された特性のセットは、移動物体がチェック・ポイントに到達する前の軌跡の線分を表わす。『前』および『後』の軌跡は、この開示から明らかになるであろうが、入力および出力軌跡として考えることができる。入力および出力軌跡は、前および後の軌跡に関連した対応する確率のセットとともに、詳細を後述する予測モデル・データベースを形成する。理解されるとおり、提案されている方法は、予測データベースの『前』および『後』の線分を構築するために完全な軌跡情報を必要としないことからロバストである。むしろ前および後の線分は、軌跡の断片から演繹される。
【００２３】
図１を参照すると、例示的なビデオ監視システム１０が示されている。システムは、検知デバイス１２ａ〜１２ｎ、予測的異常挙動検出モジュール２０、グラフィカル・ユーザ・インターフェース（ＧＵＩ）２２、聴覚／視覚（Ａ／Ｖ）アラーム２４、および記録ストレージ・モジュール２６を含むことができる。検知デバイス１２ａ〜１２ｎは、ビデオ・カメラまたはそのほかの動きを取込むデバイスとすることができる。検知デバイス１２ａ〜１２ｎは、物体に関係する動きまたは画像データを記録し、その画像データを予測的異常挙動検出モジュール２０に伝達する。予測的異常挙動検出モジュール２０は、モニタされている物体の動きを、予測モデルに基づいて予測できる。また予測的異常挙動検出モジュール２０は、ＧＵＩ ２２、Ａ／Ｖアラーム２４、および記録ストレージ・モジュール２６のうちの少なくとも１つのためのアラート・メッセージを生成することもできる。
【００２４】
検知デバイス１２ａ〜１２ｎは、ビデオ・カメラまたは動きを取込むことができるそのほかのデバイス、たとえば赤外線カメラ、サーモ・カメラ、ソナー・デバイス、または動きセンサとすることができる。検知デバイス１２ａ〜１２ｎは、動きデータの記録および抽出を行うべく構成できる。動きデータは、目標エリアまたは検知デバイス１２ａ〜１２ｎの視野に関して定義できる。目標エリアおよびグリッドを図２〜図３に示し、詳細を次に説明する。
【００２５】
ここで図２を参照すると、検知デバイス１２ａ〜１２ｎのうちの１つの例示的な視野２０１が示されている。視野２０１は、複数の目標エリア２０３Ａおよび２０３Ｂを含むことがある。目標エリア２０３Ａは、左上コーナ・ポイント座標（ｘ１，ｙ１）２０５Ａ、高さｈ、および幅ｗを含むことができる。したがって、各目標エリアと関係する情報は、画像平面内における左上コーナ・ポイント座標、目標エリアの高さ、および目標エリアの幅を含むことができる。認識されるものとするが、中心ポイント、左下コーナ・ポイント、右上コーナ・ポイント、または右下コーナ・ポイント等の任意のポイントを選択して目標エリアを定義できる。さらにまた目標エリア２０３Ａは、カメラＩＤ番号、視野ＩＤ番号、目標ＩＤ番号、および／または目標エリアの名前（たとえば、休憩室のドア）といった追加の情報を含むことができる。目標エリアに関係し得るそのほかの追加の情報もまたストアできることが認識され得る。また、目標エリアを、楕円、円、多角形、ポイント、ライン、または線分として定義可能なことが認識され得る。目標エリアは、通常、監視目的に基づいてモニタされる現実の関心エリアを表わす。たとえば、入口のドア、出口のドア、門扉、通路、またはセキュリティ担当者がモニタについての関心を有するそのほかのエリアを表す。
【００２６】
目標エリア情報は、テーブル内にストアできる。例としてのみ示すが、目標エリアの定義をストアするための例示的なテーブルは次のように与えられる。
【００２７】
【表１】
【００２８】
上記の例は、矩形形状に基づいた目標エリア記述を含む。この例示的なテーブルは、キー・ベクトルおよび予測ベクトルの明細のためのフィールドを含む。キー・ベクトルのための明細は、後の軌跡に対して適用されたウェーブレット変換の数を含む。キー・ベクトルの明細は、係数選択評価基準も含む。後述するとおり、キー・ベクトルは、多ウェーブレット変換および係数選択プロセス、すなわちウェーブレット変換の１回の反復から各行が獲得される係数マトリクスから係数が選択されるプロセスの結果とすることができる。したがって、係数の選択のためのキー・ベクトル明細は、反復の数（マトリクスの行インデクス）のタプルおよび係数（マトリクスの列インデクス）を選択してキー・ベクトルを組立てるための係数インデクスを含む。予測ベクトルのための明細は、係数選択評価基準を含み、それを使用して予測子ベクトルに対する逆ウェーブレット変換を実行できる。視野内の目標エリアの明細のために異なる形状が望ましいときは、矩形、楕円、円、ポイント、ライン、多角形等を表わすタイプ記述を上記のテーブルに含めることができ、それらの幾何学的基本形のパラメータが記述を完成することができる。
【００２９】
図３は、検知デバイス１２ａ〜１２ｎのうちの１つの別の例の視野２０１を図解している。視野２０１は、検知デバイス１２ａ〜１２ｎの視野２０１上に挿入されるグリッド２０７を含むことができる。この場合においては、システムが自動的にカメラの視野を固定サイズのグリッド付き目標エリアに分割する。目標エリアの記述にグリッド付きの表現が使用される場合には、各セルを別々の目標エリアと考えることができる。
【００３０】
ここで図４を参照すると、例示的な予測的異常挙動検出モジュール２０がより詳細に示されている。例示的な予測的異常挙動検出モジュール２０は、メタデータ処理モジュール３０、モデル構築および更新モジュール３２、挙動評価モジュール３４、およびアラーム生成モジュール３６を含むことができる。例示的な予測的異常挙動検出モジュール２０は、メタデータ生成モジュール２８から動きデータに対応するメタデータを受取る。言うまでもなく、記述されているモジュールの多くは、単一のモジュールに結合するか、または複数の下位モジュールを含むことができる。
【００３１】
例示的なメタデータ生成モジュール２８は、検知デバイス１２ａ〜１２ｎから画像データを受取る。各検知デバイスは、関係付けられたオンボードの専用メタデータ生成モジュール２８を含むことができる。それに代えて、実際の監視システム上にメタデータ生成モジュール２８を常駐させることができる。注意する必要があるが、各メタデータ生成モジュール２８は、有意の処理パワーを必要とする。したがって、メタデータ生成モジュール２８が実際の監視システム上に常駐する場合には、複数の検知デバイス１２ａ〜１２ｎと通信する単一のメタデータ生成モジュール２８が、演算リソースを節約して使用するべく実装される必要がある。
【００３２】
メタデータ生成モジュール２８は、検知デバイス１２ａ〜１２ｎからの画像データに基づいてメタデータを生成する。例としてのみ述べるが、メタデータは、検知デバイス１２ａ〜１２ｎによって取込まれる物体の軌跡に対応することができる。メタデータ生成モジュール２８は、受取った画像データに基づいてメタデータを生成する、この分野で周知のテクニックを使用できる。メタデータは、限定ではないが、ビデオ・カメラ識別子、視野識別子、物体識別子、タイムスタンプ、ｘ値、ｙ値、物体の幅の値、および物体の高さの値を含むことが可能である。検出された物体に対応するメタデータは、追加の、検出された物体の出現特性、および検出された物体についての融合／分裂の事象指標、すなわち２つの物体が融合したか、または分れたかを示す指標を含むことができる。
【００３３】
メタデータ処理モジュール３０は、メタデータ生成モジュール２８からメタデータを受取る。メタデータ処理モジュール３０は、メタデータに基づいて追加の物体の情報を生成できる。たとえば追加の物体の情報は、限定ではないが、物体の速度、物体の加速度、および観察された物体の位置がアウトライアであるか否かを含むことができる。アウトライアとなる位置は、『滑らかな』動きまたは、高さ、面積等の物体の属性の測定値に反して検出された物体の位置として定義できる。これは、測定値が不正確であり、エラーを含むことを示す。言換えると、メタデータ処理モジュール３０は、軌跡の不適格線分、すなわちジャンプを認識することができ、その後演繹される物体の属性が生のメタデータから計算されるとき、それらの物体の測定値をアウトライアとして分類し、それらを適切に処理できる。メタデータ処理モジュール３０は、ビデオ・メタデータの処理のために、この分野で周知のテクニックを使用できる。
【００３４】
モデル構築および更新モジュール３２は、処理されたメタデータをメタデータ処理モジュール３０から受取る。モデル構築および更新モジュール３２は、正常な動きのモデルおよび予測モデルを構築すること、およびそれらのモデルをそれぞれ、正常モデル・データベース４４および予測モデル・データベース４６内にストアできる。モデル構築および更新モジュール３２は、時が経過するにつれて正常な動きのモデルおよび予測モデルを、処理済みのメタデータに基づいて更新することもできる。
【００３５】
正常な動きのモデルは、物体の期待される動きまたは物体の『安全な』動きに対応することができる。正常な動きのモデルは、物体の動きを分析するとき、基準または標準として使用される。たとえば仕事場の環境においては、正常な動きのモデルが、作業エリアから休憩室へ安全な速度で歩いていく従業員の表現を含むことができる。したがって、監視システムが作業エリアから休憩室へ安全な速度で歩いている従業員を取込んだ場合には、監視システムが、取込まれた動きと１つまたは複数の正常な動きのモデルを比較して、その従業員がセキュリティ・ポリシーを侵害していないと決定できる。その逆に制限エリアまたは危険ゾーンを通って休憩室へ歩いていく従業員は、安全でない動きまたは移動を構成することがあり、したがっておそらくは正常な動きのモデル内に含まれないことになる。このシナリオにおいては、ビデオ監視システムが、その従業員が安全でないかまたは制限されている挙動に関わっていると決定できる。
【００３６】
正常な動きのモデルは、データ・キューブのセル内に取込まれ、各セルは、期待される有向速度、加速度、および最小バウンディング・ボックス等の物体の特性の統計を含むことができる。正常な動きのモデルは、限定ではないがさらに、カメラ識別子、視野識別子、目標エリア、軌跡に関する情報、物体の速度、物体の加速度、物体の物体識別子を含むことができる。正常な動きのモデルは、挙動評価モジュール３４のスコア付けモジュール８０によって使用されて物体の予測される軌跡のスコア付けが行なわれる。認識される必要があるが、正常な動きのモデルは、通常、観察されたかまたは取込まれた動きの分析に使用されるが、正常な動きのモデルを予測される動きまたは軌跡の分析に使用することもできる。その種の予測される動きまたは軌跡は、予測モデルに基づくことができる。
【００３７】
例示的な予測モデルを使用し、検知デバイス１２ａ〜１２ｎによって観察できるモニタされている物体の将来の場所を予測できる。予測モデルは、予測モデル・データベース４６内にストアできる。予測モデルは、挙動評価モジュール３４によって使用されて、物体の観察された軌跡、および以前に観察された物体の軌跡から構築された既知の予測モデルに基づいて物体の将来の場所が予測される。各予測モデルは、２つのベクトル、すなわちモデル・キー・ベクトルおよびモデル予測子からなるとすることができる。後述するとおり、モデル・キー・ベクトルおよびモデル予測子ベクトルは、ともに、軌跡のあらかじめ選択された線分に関係する動きの属性を表わす成分、すなわちインターリーブされたデータを有する特徴ベクトルである。モニタされている物体のリアルタイムで観察されている軌跡から抽出されたキーを使用するモジュールによって予測モデル・データベース４６のクエリが行なわれ、クエリ・キーと類似するモデル・キーを有する予測モデルを返すべく求められる。第２の構成要素のモデル予測子は、可能性のある軌跡、すなわちリアルタイムで観察されている軌跡が将来において追従するかも知れない軌跡を表わす予測ベクトルを含む。
【００３８】
さらにまた、予測モデルは、タプルからなるとすることができる。例示的なタプルは、モデル・キー、モデル予測子ベクトル、およびカウントを含むことができる。例示的なモデル・キーは、視野のセルに関するかまたは目標エリアに関する、物体に関連付けされた観察された到来する動きまたは軌跡を表わすキー・ベクトルによって表わすことができる。たとえばキー・ベクトルは、所定の時刻における物体の場所、所定の時刻における物体の速度、所定の時刻における物体の加速度に関係する物体の軌跡についてのデータ、すなわちインターリーブされたデータを含むことができる。
【００３９】
モデル予測子は、目標エリアに関する軌跡の将来の場所に対応すると見られる予測ベクトルによって表わすことができる。たとえば予測ベクトルは、所定の時刻における物体の場所、所定の時刻における物体の速度、および所定の時刻における物体の加速度に関係する物体の軌跡についての予測的なデータを含むことができる。モデル・キーがキー・ベクトルとして表現され、モデル予測子が予測ベクトルとして表現されるとき、これらのベクトルは、反復ウェーブレット変換の結果、たとえば反復ハール変換の結果とすることができるが、これらについては詳細を後述する。予測モデルは、視野または視野内のグリッドについて、または視野内の１つまたは複数の目標エリア（後述）に関して定義できる。
【００４０】
カウントは、モデル・キーと予測キーの間における相関または結び付きの指標とすること、すなわちキー・ベクトルが与えられたとき、物体が特定の予測ベクトル内に定義された動きもしくは軌跡を追従することになる確率とすることができる。カウントは、多くの形で表わすことができ、限定ではないが、所定のキー・ベクトルが実際にモデル予測子ベクトルに帰結する確率または帰結した回数の得点を含むことができる。カウントが得点となる場合には、キー・ベクトルが特定の予測ベクトルに帰結する確率を、選択されたキー・ベクトルに対応するすべての予測ベクトルについての累積得点によって除したその特定の予測ベクトルのための得点として表わすことができる。たとえば、キー・ベクトルＫＶｉが与えられたとき、ｎ個の可能性のある予測ベクトルＰＶ１．．．ＰＶｎが存在することがある。時間の経過につれて検知デバイス１２ａ〜１２ｎが、ＫＶｉに対応する動きに類似する５０回の動きの観察のうち、ＰＶ１に対応する出力の動きまたは軌跡を３０回、ＰＶｎに対応するものを１０回、残りの予測ベクトルを１０回観察したとする。したがって、キー・ベクトルＫＶｉが与えられたとき、物体の動きがＰＶ１に対応する確率が６０％、ＰＶｎに対応する確率が２０％になる。認識されようが、カウントを維持するこのほかの方法を実装してもよい。たとえば、確率を、物体自体、物体のタイプ、または物体が観察された時刻、および／または物体のそのほかの特性または特性の組合せに依存させることができる。後述するとおり、異常性スコアの計算にも同様にカウントを使用できる。
【００４１】
図９は、予測モデルをストアするための例示的な構造を示す。図９に、目標エリア・テーブルが示されている。各目標エリアについて、キーおよび予測ベクトルのための明細が存在することがある。前述したとおり、この明細は、入力ベクトルに対して実行されるウェーブレット変換の量およびその変換の結果から選択された係数を提供することになる。またこの明細は、予測ベクトルを獲得するべく出力ベクトルに対して実行された単一のウェーブレット変換から選択された係数も含む。各目標エリアについて、複数の予測モデルが存在する。予測モデルは、キー・ベクトルのテーブルおよび予測ベクトルのテーブル内にストアしておくことができる。いずれのテーブルもベクトルのためのＩＤをはじめ、ウェーブレット変換から結果としてもたらされた選択された係数を含むことができる。２つのテーブルのリンクが第３のテーブルであり、それが、キー・ベクトルＩＤ、予測ベクトルＩＤ、および予測ベクトルに対するキー・ベクトルの結び付きに対応するカウントをリストしている。
【００４２】
ここで図５を参照すると、モデル構築および更新モジュール３２がより詳細に示されている。モデル構築および更新モジュール３２は、予測モデル生成モジュール５４、正常モデル生成モジュール５０、予測モデル・データベース４６、正常モデル・データベース４４、およびウェーブレット変換モジュール５２を含むことができる。モデル構築および更新モジュール３２は、ベクトル生成モジュール４８も含むことができる。言うまでもなく、サブ・モジュールの多くは、システムの他のモジュールと通信する実際に独立しているモジュールとすることができる。
【００４３】
モデル構築および更新モジュール３２は、トレーニング／学習段階の間に予測モデルおよび正常な動きのモデルを構築するべく動作可能とすることができる。モデル構築および更新モジュール３２は、予測モデル・データベース４６内に予測モデルをストアすること、および正常モデル・データベース４４内に正常な動きのモデルをストアすることができる。またモデル構築および更新モジュール３２は、システムが運用段階にあるとき、予測モデル・データベース４６および正常な動きのデータベース４４の更新を行うこともできる。
【００４４】
モデル構築および更新モジュール３２の構成要素を、次に、より詳細に説明する。ベクトル生成モジュール４８が、前処理モジュール３０から処理済みのメタデータを受取る。例示的なベクトル生成モジュールは、物体についてのメタデータを受取り、そのメタデータに基づいて順序付きタプルのベクトルを定義できる。たとえば、入力ベクトル生成モジュール４８が、ｎ個の時間単位にわたるメタデータを受取ったとする。ベクトル生成モジュール４８は、タイムスタンプ付き場所データのベクトル［（ｔｓ（１），ｘ（１），ｙ（１）），（ｔｓ（２），ｘ（２），ｙ（２））（ｔｓ（ｉ），ｘ（ｉ），ｙ（ｉ）），．．．，（ｔｓ（ｎ），ｘ（ｎ），ｙ（ｎ））］を生成し、それにおいてｔｓ（ｉ）は、時間ｉを示すタイムスタンプであり、（ｘ（ｉ），ｙ（ｉ））は、ｔｓ（ｉ）における目標エリアに関する物体の位置を示す。入力ベクトルが異なる形式を有することは企図されている。たとえばベクトルが、ｚ座標、カメラＩＤを、視野ＩＤ、目標ＩＤ、物体ＩＤ、またはそのほかの関連する既知の情報を含むことができる。
【００４５】
それに代えて、ベクトル生成モジュール４８が、データ・キューブを有するベクトルを成分として生成できる。空間−時間エントリを有するデータ・キューブ内の各エントリは、全体の視野のグリッドに関して定義できる。データ・キューブは、少なくとも３次元データ構造であり、空間−時間セル内において観察された物体の特性の統計の記述に使用できる。データ・キューブは、正常な動きのモデルの物体の特性の統計のストアにも同様に使用できる。生成されたベクトルは、予測モデル生成モジュール５４または正常モデル生成モジュール５０へ伝達できる。
【００４６】
予測モデル生成モジュール５４は、この生成されたベクトルを受取り、予測モデルを生成し、予測モデルを予測モデル・データベース４６内にストアする。予測モデル生成モジュール５４は、予測モデル・データベース４６内にストアされることにある新しい予測モデルを、監視システムの学習段階の間に生成できる。また予測モデル生成モジュール５４は、リアルタイム・データをトレーニング・データとして使用し、監視システムの運用段階の間に予測モデル・データベース４６を更新することもできる。トレーニング・データは、限定ではないが、メタデータに基づいて生成されたベクトル、または開発者またはシステムのユーザによって組立てられた軌跡に対応するあらかじめ決定済みのベクトルを含むことができる。
【００４７】
前述したとおり、予測モデル生成モジュール５４は、動きベクトルを受取り、そのベクトルを２つのセグメント、すなわち入力ベクトルおよび出力ベクトルに分割できる。予測モデル生成モジュール５４は、そのベクトルを、予測モデルがモデル・キー・ベクトルおよびモデル予測子ベクトルに関して定義できるように入力ベクトルと出力ベクトルに分割できる。したがって、物体が通り抜けて所定の位置へ到達する軌跡に対応する入力ベクトルは到来する動きを表わすことができ、一方、所定の位置から移動する物体についての予測軌跡に対応する出力ベクトルは、立ち去る動きを表わすことができる。例としてのみ述べるが、予測モデル生成モジュール５４は、ベクトルＶ＝［（ｔｓ（１），ｘ（１），ｙ（１）），（ｔｓ（２），ｘ（２），ｙ（２）），．．．，（ｔｓ（ｉ），ｘ（ｉ），ｙ（ｉ）），．．．（ｔｓ（ｎ），ｘ（ｎ），ｙ（ｎ））］を受取り、そのベクトルＶを２つのベクトル、Ｖｉｎｐｕｔ＝［（ｔｓ（ｉ），ｘ（ｉ），ｙ（ｉ）），（ｔｓ（ｉ−１），ｘ（ｉ−１），ｙ（ｉ−１）），．．．，，（ｔｓ（２），ｘ（２），ｙ（２）），（ｔｓ（１），ｘ（１），ｙ（１））］およびＶｏｕｔｐｕｔ＝［（ｔｓ（ｉ＋１），ｘ（ｉ＋１），ｙ（ｉ＋１）），．．．（ｔｓ（ｎ），ｘ（ｎ），ｙ（ｎ））］に分離することができる。軌跡が通過する各目標エリアについて分離動作が適用されて、各目標エリアのための入力ベクトルおよび出力ベクトルが獲得される。
【００４８】
予測モデル生成モジュール５４は、その後、ＶｉｎｐｕｔおよびＶｏｕｔｐｕｔをウェーブレット変換モジュール５２へ伝えることができる。ウェーブレット変換モジュール５２は、詳細を後述するが、Ｖｉｎｐｕｔに対して反復ウェーブレット変換を、Ｖｏｕｔｐｕｔに対して単一のウェーブレット変換を実行できる。ウェーブレット変換モジュール５２は、物体の速度および物体の加速度といったインターリーブされる情報に依存する、ＶｉｎｐｕｔおよびＶｏｕｔｐｕｔを表わす特徴ベクトルを返すことができる。１つまたは複数のウェーブレット変換の結果は、Ｖｉｎｐｕｔに対応するキー・ベクトルおよびＶｏｕｔｐｕｔに対応する予測ベクトルである。
【００４９】
さらにまた、ある実施態様においては、予測モデル生成モジュール５４が複数の入力／出力ベクトルを生成できる。上記の例に戻るが、入力ベクトルは、ｔｓ（１）からｔｓ（ｉ−１）までに対応するタプルだけを含むことができ、出力ベクトルがｔｓ（ｉ）において開始することになる。別の入力ベクトルは、ｔｓ（１）からｔｓ（ｉ−２）までに対応するタプルを含むことができる。別の入力ベクトルは、ｔｓ（ｉ）からｔｓ（ｉ＋１）までに対応するタプルだけを含むことができ、出力ベクトルがｔｓ（ｉ＋２）において開始することになる。このように単一の軌跡について、予測モデル生成モジュール５４がウェーブレット変換モジュール５２に対して１を超える数の入力ベクトルを伝達すること、および１を超える数のキー・ベクトルならびに予測ベクトルを受取ることができる。複数の軌跡が、予測モデル・データベース４６内にすでに存在するモデルと類似となることがあるという点に注意する。
【００５０】
ウェーブレット変換モジュール５２は、データ構造を受取り、ベクトル内のデータに対して少なくとも１つのウェーブレット変換を実行し、結果として得られた変換から係数を選択することによってインターリーブされたデータを抽出する。ウェーブレット変換モジュール５２は、反復ウェーブレット変換の結果に基づいて特徴ベクトルを返す。例示目的のために述べるが、ウェーブレット変換モジュール５２は、ベクトルに対してハール変換を実行する。ハール変換は、受取ったベクトル内のインターリーブされたデータに基づいて特徴ベクトルを抽出するウェーブレット変換である。たとえば、複数のタイムスタンプおよびそれらのタイムスタンプに対応する場所を有する入力ベクトルに基づいて、最初のハール変換は、一次のデータ、すなわち物体の速度を抽出するであろう。ハール変換を使用して最初のハール変換の結果を再変換できる。２番目のハール変換の結果は、二次のデータ、すなわち物体の加速度である。３番目のハール変換は、単位長当りの力の変化、またはエネルギ注入の変化を表わす三次のデータをもたらすことになる。したがって、提案されているフレームワークは、同一の経路を取るが異なる速度または加速度のパターンを有する軌跡を見分けることができ、それがより正確かつロバストな予測を可能にすることをここで認識されるものとする。
【００５１】
ハール変換は、各タプルがカメラ視野内の場所（ｘ，ｙ）およびタイムスタンプを表わすベクトルＴｊ＝（（ｔ（ｊ），ｘ（ｊ），ｙ（ｊ）），（ｔ（ｊ−１），ｘ（ｊ−１），ｙ（ｊ−１）），（ｔ（ｊ−２），ｘ（ｊ−２），ｙ（ｊ−２））．．．）に適用できる。代替実施態様においては、入力ベクトルが目標エリアまでの距離を、対応するタイムスタンプとともに、たとえば（ｔ（ｉ），ｄ（ｉ）），（ｔ（ｉ−１），ｄ（ｉ−１））として示すことができる。反復的な複数のハール変換をこれらのタイムスタンプ付き距離測定値に適用できる。さらに別の代替実施態様においては、入力ベクトルが、物体の動きの方向と物体の現在の場所から目標エリアへの直線の間のタイムスタンプ付き角度を示すことができる。この実施態様においては、ハール変換をタイムスタンプ付き角度測定値ベクトルに対して実行できる。
【００５２】
特徴ベクトルの抽出は、受取ったベクトルに対するハール・ウェーブレット変換の反復適用、およびハール変換関数の出力からの係数の選択という２つのステップからなるとすることができる。反復および選択される係数の数は、ベクトル自体とともに反復ハール変換モジュールのパラメータである。係数の選択は、ユーザ定義として、抽出され、予測モデル内にストアされる軌跡内の点をユーザが選択するようにできる。注意を要するが、係数選択プロセスの後に類似の入力軌跡が類似のキー・ベクトルを有することになるように、係数の選択が特定の目標エリアに関して一貫している必要がある。前述したとおり、キー・ベクトル内（または予測ベクトル内）の各エントリは、ハール変換の結果から選択された係数に対応する。係数は係数マトリクスから選択され、それにおいて当該マトリクスの各行はウェーブレット変換の１回の反復から獲得される。１つの実施態様においては、各ハール変換の３番目、５番目、および９番目の出力が係数として選択される。第２の実施態様においては、各ハール変換の少なくとも１つの出力が係数として選択される。
【００５３】
注意される必要があるが、ウェーブレット変換モジュール５２は、入力ベクトルに対しては反復ウェーブレット変換を実行するものとし、出力ベクトルに対しては単一の変換だけを実行するものとする。その理由は、入力ベクトルが、観察された軌跡の予測モデルとの突き合わせに使用されるキー・ベクトルの生成に使用されるためである。それに対して出力ベクトルは、逆ウェーブレット変換による動きの予測に使用される出力ベクトルの生成に使用される。したがって、キー・ベクトルの生成においては、各キー・ベクトルがより高度な一意性を有するように、可能な限り多くのインターリーブされたデータを抽出することが有益である。これに対して、逆ウェーブレット変換が完全にオリジナルの動きデータを回復することが不可能であることから、低次の係数からオリジナルの出力ベクトルを再現するべく実行される逆ウェーブレット変換から結果としてもたらされる近似誤差の量を最小化することが有益である。
【００５４】
係数の選択ならびに反復の数は、ユーザまたは設計者により構成可能としてもよい。ウェーブレット変換モジュール５２の結果ベクトルは、予測モデル生成モジュール５４へ返される。ウェーブレット変換モジュールにおいて、ウェーブレット・パケット変換、離散的ウェーブレット変換、またはそのほかのすでに知られているか、またはまだ知られていないウェーブレット変換を含むこのほかのタイプのウェーブレット変換が実装されることは企図されている。出力ベクトルの計算が、ウェーブレット・パケット変換または離散的ウェーブレット変換を含む異なるタイプのウェーブレット変換を利用してもよい。
【００５５】
前述したとおり、予測モデル生成モジュール５４は、ウェーブレット変換モジュール５２へ入力ベクトルおよび／または出力ベクトルを伝達すること、および入力ベクトルに対応するキー・ベクトルおよび／または出力ベクトルに対応する予測ベクトルを受取ることができる。ウェーブレット変換モジュール５２からキー・ベクトルを受取ると、予測モデル生成モジュール５４は、キー・ベクトルを使用して予測モデル・データベース４６へのクエリを行う。予測モデル・データベース４６へのクエリは、そのキー・ベクトルと類似するモデル・キー・ベクトルを有するすべてのモデルの捜し出しを予測モデル・データベース４６に対して要求することを伴う。データベース４６へのクエリに多くのタイプのサーチが使用できることは企図されている。たとえば、例示的な実施態様においては、Ｋ近傍法アルゴリズムを使用して予測モデル・データベース４６をサーチできる。クエリは、目標エリアまたはデータ・キューブのアレイをキー・ベクトルとともに指定できる。このクエリは、伝達されたキー・ベクトルに対応するモデル予測ベクトルおよび類似するモデル・キー・ベクトルのセットを返すことができる。この場合においては、予測モデル生成モジュール５４が予測ベクトルとモデル予測ベクトルのセットを比較できる。類似のモデル予測ベクトルが存在する場合には、キー・ベクトルに対応するカウントおよび類似の返された予測ベクトルを更新できる。しかしながら予測ベクトルと類似するモデル予測ベクトルがまったく存在しないときには、予測ベクトルおよびキー・ベクトルに対応する新しいタプルを予測モデル・データベース４６へ入力できる。新しく入力されるタプルのカウントは、得点１と対応させることができる。それに代わり、データベース４６内に類似するモデル・キー・ベクトルがまったく存在しない場合には、クエリが何も返さないことができる。この場合においては、予測ベクトルおよびキー・ベクトルと対応する新しいタプルを予測モデル・データベース４６に追加できる。
【００５６】
理解されるものとするが、モデル構築とモデル更新は、本質的に同じプロセスであり、同じ構成要素を同じ方法で使用できる。前述したとおり、モデル構築は、通常、学習段階の間に生じ、更新は、通常、運用段階の間に生じる。運用段階の間においては、検知デバイス１２ａ〜１２ｎの視野を調査する目的のためにビデオ・データが取込まれる。以下において考察するとおり、システムは、センサ・データを取込み、軌跡の到来部分に基づいて予測を行う。しかしながら移動中の物体は、通常、いずれその軌跡を終了することになり、センサ・デバイス１２ａ〜１２ｎは、通常、その移動の残余部分を取込むことになる。したがって、運用段階の間に全体の軌跡と関連付けされたメタデータを取込むことができ、挙動評価モジュール３４とは独立に予測モデル構築および更新モジュール３２へ伝達できる。
【００５７】
前述したとおり、モデル構築および更新モジュール３２は、トレーニングまたは学習段階の間、および運用段階の間に動作して予測モデル・データベース４６にデータを投入できる。図６は、予測モデルを構築するための例示的な方法を提供する。認識されるものとするが、予測モデル・データベース４６は、移動物体の将来の動きの予測のために挙動評価モジュールによってアクセスされる。以下は、例示のためにのみ提供されたものであり、そのほかの方法を使用して予測モデル・データベース４６へのデータの投入ができることは言うまでもない。トレーニング段階の間に構築および更新モジュール３２は、ステップＳ３０１において物体の軌跡に対応するメタデータを受取ることができる。ベクトル生成モジュール４８は、そのメタデータに対応する動きベクトルを生成し、その動きベクトルを予測モデル生成モジュール５４へ伝達できる。予測モデル生成モジュール５４は、各動きベクトルを入力ベクトルおよび出力ベクトルに分割できるが、それにおいて各ベクトルは、目標エリアに関して定義される。物体の軌跡が目標エリアを通過するときには、軌跡を入力および出力のベクトルに分けることができる。入力ベクトルは、目標エリア、たとえば点または線分に近づくときの軌跡を表わすことができ、出力ベクトルは目標エリアから遠ざかるときの軌跡を表わすことができる。
【００５８】
ステップＳ３０３においては、ウェーブレット変換モジュール５２が入力ベクトルを受取り、その入力ベクトルに対して反復的にウェーブレット変換を実行できる。反復変換の結果は、動きベクトル内にインターリーブされる情報を変換が抽出することから概して特徴ベクトルと呼ばれる。インターリーブされる速度および加速度特性は、係数を選択すること、たとえば以下によって生成される係数の第３、第５、第７、および第１１項等を選択することによって演繹できる。
●ＨＡＡＲ（入力ベクトル）
●ＨＡＡＲ（ＨＡＲＲ（入力ベクトル））
●ＨＡＡＲ（ＨＡＡＲ（（ＨＡＡＲ（入力ベクトル）））
図１０は、入力ベクトルに対して３つのハール変換を実行し、複数の変換の結果を表わす係数マトリクスを獲得するプロセスを図示している。与えられているシーケンスは、ハール変換によって作り出される時間ドメイン内における代表的な多解像度もしくは周波数ドメイン内における多スペクトル特性を超えて軌跡線分の変動する特性を捕らえる高レベルのインターリーブされた項を結果としてもたらす。前述したとおり、ユーザが係数マトリクスから特定の項を選択して特徴ベクトルを定義できる。係数の選択は、パラメータおよび実行されることになる反復回数とすることができる。ウェーブレット変換モジュール５２は、入力ベクトルに対応するキー・ベクトルと呼ばれる特徴ベクトルを生成できる。予測ベクトルに対応する特徴ベクトルは、出力ベクトルに対して単一のハール変換を実行すること、およびその後に続いてハール変換の結果から低周波係数を選択することによって獲得される。キー・ベクトルおよび予測ベクトルは、予測モデル生成モジュール５４へ伝達される。
【００５９】
続くステップＳ３０５においては、予測モデル生成モジュール５４が、キー・ベクトルを使用して予測モデル・データベース４６へのクエリを行うことができる。予測モデル・データベース４６は、クエリに使用されたキー・ベクトルともっとも類似するモデル・キー・ベクトルを有する予測モデルを返す。前述したとおり、Ｋ近傍法またはそのほかのサーチ・アルゴリズムを使用して、近い整合が存在するか否かを決定できる。近い整合がまったく見つからない場合には、ステップＳ３０７において予測モデル生成モジュール５４が、新しいキー・ベクトル／予測ベクトルの組合せをカウントとともに予測モデル・データベース４６内にストアできる。しかしながら予測モデル・データベース４６内に近い整合が見つかった場合には、予測モデル生成モジュール５４が予測ベクトルと、類似するキー・ベクトルに対応するモデル予測ベクトルをステップＳ３０９において比較する。近い整合が見つかった場合には、ステップＳ３１１において予測モデル生成モジュール５４が類似するエントリのカウントを更新する。見つからなかった場合には、ステップＳ３０７において、反復変換モジュール５２から受取ったキー・ベクトルおよび対応する予測ベクトルを使用して新しいエントリが作成される。
【００６０】
モデル構築および更新モジュール３２は、正常モデル生成モジュール５０を介し、処理済みのメタデータに基づいて正常な動きのモデルを生成することもできる。正常な動きのモデルは、カメラの視野内に正常な（または安全な）動きを含むモデルとすることができる。したがって、カメラの視野内のセルに関して、またはカメラの視野内の目標エリアに関して正常な動きのモデルを定義できる。例示のためにのみ述べるが、目標エリアは、ドア、窓、コンピュータ、または中間地点とすることができる。それに代えて、例示のためにのみ述べるが、目標エリアをカメラの視野内の任意の場所としてもよい。代替実施態様においては、デフォルトの目標エリアのセットが、カメラ１２ａ〜１２ｎの視野を定義するグリッドのセルによって定義される。さらにまた、これらのセルは、移動物体による現場利用度に対応する時間変動を捕らえる時間指標を有することも可能である。
【００６１】
例示的な正常モデル生成モジュール５０は、ベクトル生成モジュール４８から動きベクトルを、挙動評価モジュール３４から異常性スコアを受取り、動きベクトルおよび異常性スコアに基づいて正常な動きのモデルを生成できる。例示的な正常モデル生成モジュール５０は、正常な動きのモデルを正常モデル・データベース４４へ伝達できる。学習段階の間に挙動評価モジュール３４は、観察された物体の動きを表わす動きベクトルを受取り、その観察された動きの異常性スコアを生成できる。異常性スコアは、観察された動きがストアされている正常な動きのモデルに従う程度を示すことができる。したがって、動きベクトルが『正常』スコアを有する場合には、そのベクトルを正常モデル・データベース４４内に書き込むことができる。ベクトルが『異常』スコアを有する場合には、そのベクトルが正常モデル・データベース４４内にストアされることを排除できる。後述するとおり、『正常』スコアおよび『異常』スコアは、設計者またはユーザによって定義されたスレッショルドに対応することができる。それに代えて異常性または正常性を、スライディング・スケール上において定義できる。正常な動きのモデルは、多様な形式で表わすことができる。前述したとおり、正常な動きのモデルをデータ・キューブ・フォーマットで表わすことができる。それに代えて正常な動きのモデルを、目標エリアに関して定義される軌跡フォーマットで表わすことができる。さらにまた正常な動きのモデルを、動きベクトルによって、またはメタデータによって逆ウェーブレット変換５２により変換されたベクトルによって表わすこともできる。正常な動きのモデルのフォーマットは、スコア付けモジュール８０（図７参照）の設計選択肢に依存できる。
【００６２】
正常モデル・データベース４４は、正常な動きのモデルをストアしている。正常モデル・データベースは、モデル構築および更新モジュール３２から正常な動きのモデルを受取ることができる。正常モデル・データベース４４は、正常な動きのモデルを挙動評価モジュール３４へ伝達できる。
【００６３】
またモデル構築および更新モジュール３２は、モデル・ロード・モジュール４０を介して新しいモデルをロードすること、および／または既存のモデルを更新することもできる。例示のためにのみ述べるが、モデル・ロード・モジュール４０は、モデル・データおよび／またはパラメータを、ＧＵＩ ２２を介してオペレータから受取ることができる。受取ったモデル・データおよび／またはパラメータは、軌跡および対応する入力／出力ベクトルの生成に使用できる。対応する入力／出力ベクトルは、ほかの任意の入力／出力ベクトルと同じ態様でモデル構築モジュール４２によって評価される。結果として得られる予測モデルは、予測モデル・データベース４６内に書き込むことができる。
【００６４】
ここで図７を参照するが、挙動評価モジュール３４は、メタデータ処理モジュール３０またはメタデータ生成モジュール２８からメタデータを受取り、少なくとも１つの予測される物体の軌跡を生成できる。挙動評価モデルは、限定ではないが、取込まれた物体の動きに対応する受取ったメタデータに基づいてベクトルを生成するベクトル生成モジュール９２；ベクトルを受取り、その受取ったベクトルに基づいて予測される移動物体の将来の場所を生成する挙動予測モジュール８４；挙動予測モジュール８４から予測される移動軌跡の将来の場所を受取り、正常モデル・データベースを使用し、その予測される将来の場所に基づいて予測される挙動の異常性を決定するスコア付けモジュール８０；挙動予測モジュール８４からベクトルを受取り、受取ったベクトルの多ウェーブレット変換に基づいてキー・ベクトルを生成するウェーブレット変換モジュール８２；および挙動予測モジュール８４から予測ベクトルを受取り、予測される移動物体の将来の場所を表わすベクトルを生成する逆ウェーブレット変換モジュール９０を含むことができる。挙動評価モジュール３４は、概して予測モデル・データベース４６、正常モデル・データベース４４、アラーム生成モジュール３６、およびメタデータ生成モジュール２８またはメタデータ処理モジュール３０のうちのいずれかと通信する。
【００６５】
次に、例示的な挙動評価モジュール３４の個別の構成要素を詳細に説明する。ベクトル生成モジュール９２は、取込まれた動きに対応するメタデータを受取り、センサ・データに基づいて動きベクトルを生成するという点でベクトル生成モジュール４８と類似している。言うまでもなく、ベクトル生成モジュール９２およびベクトル生成モジュール４８同一のモジュールとすることができる。同様にウェーブレット変換モジュール８２とウェーブレット変換モジュール５２は、両方のウェーブレット変換モジュールともにベクトルを受取り、そのベクトルに対してあらかじめ決定済みの量のウェーブレット変換を実行し、各ウェーブレット変換の反復の出力のスタックから獲得される係数マトリクスから係数を選択するという点において類似している。代替実施態様においては、モデル構築および更新モジュール３２および挙動評価モジュール３４によって同一のウェーブレット変換モジュールが使用されるようにできる。
【００６６】
挙動予測モジュール８４は、ベクトル生成モジュール９２から入力ベクトルを受取り、その入力ベクトルに基づいて予測ベクトルを生成する。予測ベクトルは、特定の時刻または時間オフセットにおける移動物体の将来の場所を表わすことができる。入力ベクトルおよび出力ベクトルは、いずれも目標エリアに関して定義された軌跡および／またはデータ・キューブで表わすことができる。理解されるものとするが、入力ベクトルが目標エリアに関する軌跡モードで表わされる場合には、各ベクトルが目標エリアに対応する複数の入力ベクトルを定義できる。挙動予測モジュール８４は、入力ベクトルをウェーブレット変換モジュール８２へ伝達し、ウェーブレット変換モジュール８２からキー・ベクトルを受取る。挙動予測モジュール８４は、キー・ベクトルをパラメータとして使用して予測モデル・データベース４６のクエリを行う。予測モデル・データベース４６は、そのキー・ベクトルと予測モデル内に見つかったモデル・キー・ベクトルの間における類似性に基づいてもっとも近いＮ個の予測モデルを返すことになる。予測モデル・データベース４６は、Ｋ近傍法アルゴリズムを含む多数のサーチ・アルゴリズムを使用し、予測モデルのキー・ベクトルに基づいてもっとも近い予測モデルを決定できる。付け加えるが、２つの軌跡がまったく同じであることは殆どない点に注意が必要である。各キー・ベクトルは、軌跡全体を通じて物体の速度および加速度に関係する情報を有する。したがって、厳密な整合の尤度は無限小であるとすることができる。
【００６７】
Ｎ個のもっとも近い予測モデルが返されると、挙動予測モジュール８４は、与えられたキー・ベクトルに帰結することがもっともありがちな予測モデルを選択できる。前述したとおり、挙動予測モジュールは、キー・ベクトルとモデル・キー・ベクトルの間における類似性をはじめ、モデル・キー・ベクトルに対応するカウントを使用して正確な予測を提供することがもっともありがちな予測モデルを決定できる。挙動予測モジュール８４は、その後、それらの予測モデルのうちの１つまたは複数を逆ハール・ウェーブレット変換モジュール９０へ伝達できる。それに代えて、挙動評価モジュール３４が、それらの予測モデルのうちの予測ベクトルだけを逆ハール・ウェーブレット変換モジュール９０へ伝達できる。逆ウェーブレット変換９０は、構造において入力ベクトルと類似する動きベクトルを返すが、それにおいては、速度および加速度等の特徴がインターリーブされてデータ内に戻されている。挙動評価モジュール３４は、入力ベクトルと返された動きベクトルを連結して、予測される完全な軌跡を表わすベクトルを獲得する。予測される軌跡は、一連のタイムスタンプ、およびそれぞれのタイムスタンプごとの対応する位置または将来の（予測される）位置を含むことができる。またベクトル内にストアされるそのほかのデータには、予測と関連付けされた確率、目標エリアＩＤ、カメラＩＤ、物体ＩＤ、および物体もしくは物体の動きと関係するデータ等も含めることができる。
【００６８】
逆ウェーブレット変換モジュール９０は、特徴ベクトルおよび係数の明細を受取り、予測軌跡を返す。逆ウェーブレット変換のタイプは、予測ベクトルの生成に使用されるウェーブレット変換のタイプと対応する。たとえば、予測ベクトルに対してハール変換が適用される場合には、逆ウェーブレット変換モジュール９０が逆ハール変換を実行する必要がある。逆ウェーブレット変換モジュール９０は、図９に示したとおりの予測モデルに対応する明細エントリからウェーブレット変換モジュール５２によって選択された係数を獲得できる。完了した後は、複数のタプルがタイムスタンプおよびそのタイムスタンプによって指定される時刻において予測される（ｘ，ｙ）を表わす動きベクトルによって予測軌跡を表わすことができる。逆ウェーブレット変換モジュール９０の結果は、挙動予測モジュール８４へ伝達される。
【００６９】
各予測軌跡について、移動物体によってその軌跡が辿られる確率を含むベクトルを生成できる。このベクトルは、モニタされている物体の予測される各位置についてのスコア値も含むことができる。スコアは、後述するが、スコア付けモジュール８０によって割当てることができる。さらにまた、確率があらかじめ決定済みのスレッショルドを超えない場合には、予測される軌跡の数がシステムによって選別されるようにできることに注意する。各予測について挙動評価モジュール３４は、次の要素、すなわち軌跡ＩＤ、軌跡が辿られる確率、物体ＩＤ、予測が決定されたときの物体の位置、異常挙動スコア、およびスコアの決定に使用されたスコア付けエンジンのタイプのうちの１つまたは複数を含むデータ構造を生成できる。
【００７０】
スコア付けモジュール８０は、挙動予測モジュール８４から予測される軌跡を受取り、その予測される軌跡および正常な動きのモデルに基づいてスコアを生成できる。正常な動きのモデルは、グリッドのセルに関して安全かまたは許容可能な軌跡、または許容可能な軌跡である目標エリアを定義できる。たとえば、これらのモデルは、休憩室へのドアへ向かって安全な速度で歩いていく従業員についての多数の軌跡を表わすことができる。同様に、これらのモデルは、複数の許容可能なＰＩＴの軌跡を定義できる。これらのモデルは、データ・キューブ表現、ベクトル表記、またはこの分野で周知の任意のそのほかの形式を含む多様な形式で表わすことができる。
【００７１】
スコア付けモジュール８０は、予測された軌跡と正常な動きのモデルを比較することによって異常性スコアを生成できる。スコア付けモジュール８０は、任意タイプの任意数のスコア付けアルゴリズムを使用してスコアを計算できる。スコア付けアルゴリズムの例示的なセットは、米国特許出願第１１／６７６，１２７号の付録Ａの中で提供されたものがある。以下参照により米国特許出願第１１／６７６，１２７号をこれに援用する。認識されることは、任意のスコア付けアルゴリズムが実装できるということである。スコア付けモジュール８０は、１つまたは複数のスコアをアラーム生成モジュール３６へ伝達できる。
【００７２】
ここで図８を参照すると、物体の動きを予測し、予測される物体の動きをスコア付けする例示的な方法が示されている。ステップＳ４０１においては、メタデータが受取られ、入力ベクトルに変換される。メタデータは、センサ・デバイス１２ａ〜１２ｎから収集されるセンサ・データに対応する。通常、このタイプのシナリオにおいては、システムが予測される物体の軌跡または将来の場所を提供できることから、システムが運用モードにある。入力ベクトルは、それが目標エリアにもしくは空間内のあるエリアに近づくときの軌跡を表わすことができることから、前述した入力ベクトルと類似である。入力ベクトルは、挙動評価モジュール３４によって移動物体の将来の場所の予測に使用される。言うまでもなく、前述したとおり、１を超える数の入力ベクトルを生成できる。
【００７３】
ステップＳ４０３においては、反復ウェーブレット変換が入力ベクトルに対して実行される。前述したとおり、反復ウェーブレット変換は、物体の動きのインターリーブされた特徴を抽出する。反復ウェーブレット変換の結果は、予測モデル・データベース４６のクエリに使用できるキー・ベクトルとすることができる。
【００７４】
ステップＳ４０５においては、予測モデル・データベース４６がＮ個のもっとも類似する予測モデルを挙動予測モジュール８４へ返し、挙動予測モジュール８４がキー・ベクトルと返された予測モデルに対応するモデル・キー・ベクトルを比較する。ステップＳ４０５において挙動予測モジュールは、キー・ベクトルとモデル・キー・ベクトルの間の類似性をはじめ、各モデル・キー・ベクトルに対応するカウントに基づいて予測モデルを絞り込むことができる。以上に基づき、挙動予測モジュール８４は、続いてキー・ベクトルとの相関がもっとも大きい１つまたは複数のモデル予測ベクトルを選択できる。
【００７５】
ステップＳ４０７においては、逆ウェーブレット変換モジュール９０が、選択された１つまたは複数の予測ベクトルに対して逆ウェーブレット変換を実行する。逆ウェーブレット変換が、ステップＳ４０１において述べた入力ベクトルと構造において類似するが、軌跡の立ち去り部分を表わすことになる出力ベクトルを提供することは認識されるであろう。立ち去り軌跡は、立ち去り軌跡が将来のタイムスタンプおよび各タイムスタンプについて対応する位置を包含できることから、物体の将来の場所として考えることもできる。出力ベクトルに基づいて、タイムスタンプおよび位置を含むアレイを組立てることができる。それに加えて、目標エリア、計算されたスコア、カメラＩＤ、物体ＩＤ、および追加の情報を含む情報をそのアレイ内にストアできる。
【００７６】
出力ベクトルおよび入力ベクトルは、ステップＳ４０９においてスコア付けモジュール８０へ伝達できる。スコア付けモジュール８０は、１つまたは複数のスコア付けエンジンを利用できる。出力ベクトルおよび入力ベクトルは、連結して、モニタされている物体の単一の予測される動きベクトルにすることができる。１つまたは複数のスコア付けエンジンは、その後、予測される動きベクトルと正常な動きのモデルを比較することによって、予測される動きベクトルのスコア付けを行う。スコアは、予測される動きベクトルの異常性に基づいて割当てられることになる。スコア付けエンジンは、先行技術のスコア付けエンジンが実際に観察される動きのスコア付けを行なっており、予測される動きベクトルが実際に観察される動きに取って代わろうと試みることから、この分野で周知の任意のスコア付けエンジンとすることができる。米国特許出願第１１／６７６，１２７号は、可能性のあるいくつかのスコア付けエンジンのアルゴリズムを開示している。しかしながら本発明には、動きデータを受取り、その動きデータと動きのモデルを比較する任意のスコア付けエンジンが使用できることが考えられる。
【００７７】
スコア付けモジュール８０によって決定されたスコアは、ステップＳ４１１においてアラーム生成モジュール３６へ伝達できる。アラーム生成モジュール３６は、生成されたスコアがスレッショルドを超えているか否かを決定することができ、それによってアラーム生成モジュールは、１つまたは複数のデバイスまたはモジュール２２〜２６へ警告通知を送ることができる。
【００７８】
ここで図４に戻って参照するが、アラーム生成モジュール３６は、異常挙動が予測されるとき、および／または検出されたときにアラーム信号を生成できる。アラーム信号は、ＧＵＩ ２２、Ａ／Ｖアラーム２４、および記録ストレージ・モジュール２６のうちの少なくとも１つに渡すことができる。例示のためにのみ述べるが、ＧＵＩ ２２は、スクリーン上に通知を表示して保安監視員またはそのほかのユーザの注意を惹くことができる。監視員は、その後その物体を観察して何らかの追加の行動が取られるか否かを決定する。たとえば保安監視員は、Ａ／Ｖアラーム２４等のアラームを付勢できる。しかしながら、例示のためにのみ述べるが、保安監視員がＧＵＩ ２２を使用してその軌跡を正常挙動に分類することもあり、その場合には続いて対応するデータをモデル構築および更新モジュール３２へ伝達して、それが正常動きデータのデータベース４４内にストアされるようにできる。
【００７９】
Ａ／Ｖアラーム２４もまたアラーム信号を受取ることができる。図にはＡ／Ｖアラーム２４が１つ示されているが、複数のＡ／Ｖアラーム２４が実装できることは認識可能である。例示のためにのみ述べるが、Ａ／Ｖアラーム２４は、限定ではないが、壁、床、乗り物、カメラ、および／または従業員によって携帯される無線ポータブル・デバイスに取付けられるライトおよび／またはサイレンを含むことができる。たとえば、アラーム信号を受取ったとき、Ａ／Ｖアラーム２４を付勢できる。しかしながら、前述したとおり、保安監視員によってもＡ／Ｖアラーム２４が付勢されるようにできる。さらにまた、異常性のスコアに基づいて異なるＡ／Ｖアラーム２４を付勢することもできる。例示のためにのみ述べるが、異常性スコアがスレッショルドより低いときにはライトの発光を行うが、スコアがスレッショルドより高いときには複数のライトの発光を行い、かつサイレンを鳴らすようにできる。
【００８０】
記録ストレージ・モジュール２６もまたアラーム信号を受取ることができる。たとえば記録ストレージ・モジュール２６は、高いアラーム信号を受取ったとき、センサ・デバイス１２ａ〜１２ｎからの画像データの記録を開始できる。記録ストレージ・モジュールは、システム１０がすべての異常挙動を取込み、かつ記録することを、システム１０による無関係なデータの常時記録および／またはストアを必要とすることなく可能にできる。
【００８１】
これも認識できるであろうが、追加のデバイスおよび／または関係者へのアラーム信号の送信もできる。例示のためにのみ述べるが、アラーム信号を近隣の警察署へ送信して補助を要請すること、あるいは機械へ送信してオペレータへの危害を防止するために動力を遮断することができる。
【００８２】
以上の実施態様の説明は、例示および説明の目的のために提供されてきた。それが網羅的であること、または本発明を限定することは意図されていない。特定の実施態様の個別の要素または特徴は、概してその特定の実施態様に限定されず、明確に示されていないか述べられていない場合であっても適用可能なときには相互交換可能であり、かつ選択された実施態様内において使用が可能である。同じことが、多くの形で多様なものになることもあり得る。その種の変形は、本発明からの逸脱とは見なされず、すべてのその種の修正は本発明の範囲内に含まれることが意図されている。
【符号の説明】
【００８３】
１０ ビデオ監視システム、システム
２０ 予測的異常挙動検出モジュール
２２ グラフィカル・ユーザ・インターフェース（ＧＵＩ）
２４ 聴覚／視覚（Ａ／Ｖ）アラーム、Ａ／Ｖアラーム
２６ 記録ストレージ・モジュール
２８ メタデータ生成モジュール
３０ メタデータ処理モジュール、前処理モジュール
３２ モデル構築および更新モジュール
３４ 挙動評価モジュール
３６ アラーム生成モジュール
４０ モデル・ロード・モジュール
４４ 正常モデル・データベース
４６ 予測モデル・データベース
４８ ベクトル生成モジュール
５０ 正常モデル生成モジュール、モデル構築モジュール
５２ ウェーブレット変換モジュール、反復変換モジュール
５４ 予測モデル生成モジュール
８０ スコア付けモジュール
８２ ウェーブレット変換モジュール
８４ 挙動予測モジュール
９０ 逆ウェーブレット変換モジュール、逆ハール・ウェーブレット変換モジュール
９２ ベクトル生成モジュール
２０１ 視野
２０３Ａ 目標エリア
２０３Ｂ 目標エリア
２０７ グリッド
１２ａ〜１２ｎ カメラ、センサ・デバイス、検知デバイス
【技術分野】
【０００１】
（関連出願の相互参照）
この出願は、２００９年７月２日に出願された米国特許出願第１２／４９６，７２４号に対する優先権を主張し、かつ２００９年２月１９日に出願された米国特許仮出願第６１／１５３，８９１号の恩典を主張する。これらの出願の全開示は、参照によってこれに援用される。
【０００２】
この開示は、監視システムに関し、より詳細に述べれば、ビデオ監視システム内における異常挙動予測のためのシステムおよび方法に関する。
【背景技術】
【０００３】
典型的な監視システムは、あらかじめ決定済みの条件に基づいてセキュリティ脅威についてのデータの収集および／またはモニタを行う複数のセンサを含む。たとえばこれらの複数のセンサは、ビデオ・カメラを含むことができる。典型的なビデオ監視システムは、大きな地理的エリアをモニタする複数のビデオ・カメラを含むことができる。たとえばその大きな地理的エリアを倉庫とすることができる。複数のビデオ・カメラのそれぞれは、モニタされるエリアに対応するメタデータを収集できる。
【０００４】
典型的なビデオ監視システムは、通常、１つまたは複数の監視モニタへストリーミングされる複数のビデオ・フィードを伴う。複数のビデオ・カメラからの複数のビデオ・フィードの同時モニタが人間のオペレータに求められることがあり、そのため、いくつかのセキュリティ脅威が検出されないことがあり得る。したがって、ビデオ監視システムが自動化された検出システムを含むことがあり、当該自動化された検出システムは、その自動化されたビデオ監視システムにとってすでに既知となっている正常な動きのモデルに基づいてエリアをモニタする。ビデオ監視システムは、ビデオ・フィードのうちの１つまたは複数を分析するとき、これらの正常な動きのモデルを基準として使用できる。
【０００５】
これまでの自動化された検出システムは、監視場面および正常な動きのモデルからリアルタイムで『異常挙動』を検出できる（たとえば米国特許出願第１１／６７６，１２７号）。この自動検出システムは、リアルタイム監視ビデオ・フィード内に異常挙動が検出されると潜在的なセキュリティ脅威を人間のオペレータに対して警告できる。オペレータは、その潜在的なセキュリティ脅威を分析してアラームを作動するべきか否かを選択できる。それに加えて自動検出システムは、オペレータへの通知を伴うことなくアラームを作動できる。さらにまたこの自動検出システムは、あらかじめ決定済みの条件の更新および／または潜在的なセキュリティ脅威の将来的な分析のために潜在的なセキュリティ脅威に対応するメタデータをストアできる。
【０００６】
たとえば特許文献１は、規則ベースの推論および複数の仮説的スコア付けを使用し、物体の動きに基づいてあらかじめ決定済みの物体の挙動を検出するビデオ監視システムを開示している。このシステムは、物体の動きパターンに基づいて警告条件を決定する。警告条件は、特定の事象の組合せの発生によって定義できる。例としてのみ述べるが、これらの特定の事象は、人の出現、ドアへ向かう人の動き、または人によるカード・リーダでの物体のスワイプを含むことができる。システムは、特定の事象が生じたか否かを決定し、特定の事象のそれぞれについてタイムスタンプを決定できる。その後システムは、警告条件が生じたか否かをあらかじめ定義済みの規則に基づいて決定できる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】米国特許第７，０８８，８４６号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながらこのシステムは、全体の規則のセットがオペレータによって構成されることを必要とする。さらにまたこのシステムは、特定の事象が、それらの特定の事象の特定の順序に基づいていることを必要とする。したがって、これらの要件が、中規模から大規模の規則セットのために異常挙動のモデルを完全に定義することを困難にしている。
【０００９】
さらにまた、異常挙動が生じる前にそれを予測することが可能な監視システムは存在していない。その種のシステムは、その種の侵害または事故が発生した後にそれらをレポートするのではなく、多様なセキュリティ侵害を防止して生命を救うことができる。
【００１０】
ここに提供されている背景技術の記述は、開示の状況を概括的に呈示する目的のためである。現在のところ名前が挙げられている発明者の研究は、その研究がこの背景技術セクションの中で述べられている点をはじめ、そこで述べられなければ出願の時における先行技術として見なされない記述の側面までを含め、明示的にも、また暗示的にも、この開示に対する先行技術として認められない。
【課題を解決するための手段】
【００１１】
このセクションでは、開示の一般的な概要を提供するが、それの完全な範囲もしくはそれの特徴のすべての包括的な開示ではない。
【００１２】
１つの意味において本発明は、空間をモニタするための予測的監視システムである。このシステムは、モニタされている物体の軌跡に対応する軌跡メタデータを生成するメタデータ処理モジュールを包含し、当該メタデータは、モニタされている物体が軌跡の場所にいた時刻に対応するタイムスタンプを含む。さらにこのシステムは、軌跡情報メタデータを受取って特徴ベクトルを生成する変換モジュールを包含し、当該特徴ベクトルは、モニタされている物体の軌跡のあらかじめ選択された線分に関係する動きの属性を表わす成分を有する。システムは、予測的挙動評価モジュールを含み、それが、モニタされている物体に対応する前記特徴ベクトルを受取り、かつあらかじめ定義済みの目標エリアに対応する予測モデルを予測モデル・データベースから検索する。予測モデルは、以前にモニタされた物体についての到来軌跡、当該以前にモニタされた物体の立ち去り軌跡、および入力ベクトルと出力ベクトルの間における結び付きに対応する指標を定義する。到来および立ち去り軌跡は特徴ベクトルとして表わされ、予測モデルは、モニタされている物体の特徴ベクトルと到来軌跡を表わしている特徴ベクトルの間における類似性、および到来軌跡と立ち去り軌跡の間における結び付きに基づいて検索される。さらにこのシステムは、逆変換モジュールを包含し、それが、立ち去り軌跡の特徴ベクトルおよび、以前にモニタされた物体の軌跡のあらかじめ選択された線分に基づいて予測される軌跡を生成する。
【００１３】
別の意味において本発明は、監視デバイスによって観察されている移動物体の将来の場所を予測するための方法である。この方法は、その移動物体に対応する動きデータを監視デバイスから受取り、受取ったデータに基づいてメタデータを生成するステップを包含し、それにおいて当該メタデータは、その移動物体のタイムスタンプ、場所、および大きさを含む。さらにこの方法は、メタデータに基づいてデータ構造に対して少なくとも１つのウェーブレット変換を実行し、その少なくとも１つのウェーブレット変換に基づいてキーを生成するステップを包含する。この方法は、さらに、そのキーを使用して予測モデル・データベースのクエリを行うステップを包含し、それにおいて予測モデル・データベースは、学習済みデータに基づく予測モデルをストアしており、かつそれにおいて予測モデルは、それぞれ、学習済み軌跡の第１の部分に基づくモデル・キー、当該学習済み軌跡の第２の部分に基づくモデル予測、およびモデル・キーとモデル予測の間における相関に対応するカウントを含む。この方法は、前記予測モデル・データベースから少なくとも１つの予測モデルを受取るステップを含み、そのキーと受取る予測モデルのモデル・キーの類似性に基づいてそれを受取る。さらにこの方法は、受取ったモデル・キーおよび受取ったカウントに基づいて、その移動物体の少なくとも１つの将来の場所を生成するステップを包含する。
【００１４】
このほかの適用可能性のある分野は、ここに提供されている説明から明らかとなるであろう。この概要の中の記述ならびに特定の例は、例示のための目的だけを意図しており、この開示の範囲を限定することは意図されていない。
【図面の簡単な説明】
【００１５】
この中で記述される図面は、すべての可能な実装ではなく、選択された実施態様の例示だけが目的とされており、この開示の範囲を限定することは意図されていない。
【００１６】
【図１】この開示に従った監視システムの機能ブロック図である。
【図２】この開示に従った例示的な検知デバイスの例示的な視野を図解した概略図である。
【図３】この開示に従った例示的な検知デバイスの例示的な視野を図解した概略図である。
【図４】この開示に従ったコントロール・モジュールの機能ブロック図である。
【図５】この開示に従ったモデル構築および更新モジュールの機能ブロック図である。
【図６】この開示に従った予測モデルを構築するための例示的な方法のフローチャートである。
【図７】この開示に従った挙動評価モジュールの機能ブロック図である。
【図８】物体の動きを予測するための方法のフローチャートである。
【図９】予測モデル・データベースの例示的な表現の説明図である。
【図１０】反復ハール変換を表わしたフローチャートである。
【００１７】
対応する参照番号は、図面内のいくつかの図を通じて対応する部品を示す。
【発明を実施するための形態】
【００１８】
以下の記述は本質的に例示に過ぎず、いかなる形においても開示、それらの応用、または用途を限定することは意図されていない。明瞭性の目的のため、図面内においては、同一の参照番号を使用して類似の要素を識別する。ここで用いられる場合に、Ａ、Ｂ、およびＣのうちの少なくとも１つという表現は、非排他的論理和のＯＲを使用した論理表現（Ａ ＯＲ Ｂ ＯＲ Ｃ）の意味であると解釈されるものとする。理解される必要があるが、方法の中のステップは、この開示の原理を改変することなく異なる順序で実行され得る。
【００１９】
ここで使用されているモジュールという用語は、特定用途向け集積回路（ＡＳＩＣ）、電子回路、１つまたは複数のソフトウエアまたはファームウエア・プログラムを実行するプロセッサ（共有、専用、またはグループ）および／またはメモリ（共有、専用、またはグループ）、組合せ論理回路、および／またはここに記述されている機能を提供するそのほかの適切な構成要素を指すこと、それらの部分とすること、またはそれらを含むことができる。
【００２０】
以下、例示的な予測的異常挙動検出監視システムを開示する。この例示的な予測的監視システムは、空間内における動きがモニタされている物体のリアルタイム軌跡情報を表わすキー・ベクトルを使用して、以前に観察されたか、またはストアされた動きのモデルを表わすデータから学習された予測モデルをストアしている予測モデル・データベースへのクエリを行い、物体の将来の場所を予測する新しいフレームワークを実装している。クエリの結果は、キー・ベクトルに基づいた移動物体の可能性のある将来の場所を表わす予測モデルを返すことができる。提案されているシステムおよび方法は、モニタされている物体の異常挙動の予測および検出を、モニタされている物体の軌跡に対応するインターリーブされた速度ならびに加速度の特性と、正常な許容可能な軌跡からの線分のセットの速度ならびに加速度の特性を比較することによって提供する。提案されているシステムおよび方法は、それを効率的に、かつ正確に、しかも人間の介入を伴うことなく行うことができる。次に、このシステムおよび方法を詳細に述べる。
【００２１】
開示されている方法は、軌跡の基準ポイントを、たとえば線分によって定義される仮想的なチェック・ポイントまたは目標エリアに関して整列させる。その線分を通過するか、またはその近くを通るすべての軌跡がシステムによって処理され、インターリーブされた速度ならびに加速度の特性が獲得される。抽出される特性は、典型的なノイズ低減および評価フィルタ、たとえばカルマン・フィルタおよびそのほかの曲線スムージング・フィルタ等の使用によって獲得される単純な速度計算を超えるものとなる。開示されている方法は、仮想チェック・ポイントに関する軌跡の内在的な特徴として、複数のインターリーブされたポイントの、ランダムに選択されたインターリーブされた特性を使用する。
【００２２】
インターリーブされたポイント／位置から抽出された特性のセットは、移動物体がチェック・ポイントに到達する前の軌跡の線分を表わす。『前』および『後』の軌跡は、この開示から明らかになるであろうが、入力および出力軌跡として考えることができる。入力および出力軌跡は、前および後の軌跡に関連した対応する確率のセットとともに、詳細を後述する予測モデル・データベースを形成する。理解されるとおり、提案されている方法は、予測データベースの『前』および『後』の線分を構築するために完全な軌跡情報を必要としないことからロバストである。むしろ前および後の線分は、軌跡の断片から演繹される。
【００２３】
図１を参照すると、例示的なビデオ監視システム１０が示されている。システムは、検知デバイス１２ａ〜１２ｎ、予測的異常挙動検出モジュール２０、グラフィカル・ユーザ・インターフェース（ＧＵＩ）２２、聴覚／視覚（Ａ／Ｖ）アラーム２４、および記録ストレージ・モジュール２６を含むことができる。検知デバイス１２ａ〜１２ｎは、ビデオ・カメラまたはそのほかの動きを取込むデバイスとすることができる。検知デバイス１２ａ〜１２ｎは、物体に関係する動きまたは画像データを記録し、その画像データを予測的異常挙動検出モジュール２０に伝達する。予測的異常挙動検出モジュール２０は、モニタされている物体の動きを、予測モデルに基づいて予測できる。また予測的異常挙動検出モジュール２０は、ＧＵＩ ２２、Ａ／Ｖアラーム２４、および記録ストレージ・モジュール２６のうちの少なくとも１つのためのアラート・メッセージを生成することもできる。
【００２４】
検知デバイス１２ａ〜１２ｎは、ビデオ・カメラまたは動きを取込むことができるそのほかのデバイス、たとえば赤外線カメラ、サーモ・カメラ、ソナー・デバイス、または動きセンサとすることができる。検知デバイス１２ａ〜１２ｎは、動きデータの記録および抽出を行うべく構成できる。動きデータは、目標エリアまたは検知デバイス１２ａ〜１２ｎの視野に関して定義できる。目標エリアおよびグリッドを図２〜図３に示し、詳細を次に説明する。
【００２５】
ここで図２を参照すると、検知デバイス１２ａ〜１２ｎのうちの１つの例示的な視野２０１が示されている。視野２０１は、複数の目標エリア２０３Ａおよび２０３Ｂを含むことがある。目標エリア２０３Ａは、左上コーナ・ポイント座標（ｘ１，ｙ１）２０５Ａ、高さｈ、および幅ｗを含むことができる。したがって、各目標エリアと関係する情報は、画像平面内における左上コーナ・ポイント座標、目標エリアの高さ、および目標エリアの幅を含むことができる。認識されるものとするが、中心ポイント、左下コーナ・ポイント、右上コーナ・ポイント、または右下コーナ・ポイント等の任意のポイントを選択して目標エリアを定義できる。さらにまた目標エリア２０３Ａは、カメラＩＤ番号、視野ＩＤ番号、目標ＩＤ番号、および／または目標エリアの名前（たとえば、休憩室のドア）といった追加の情報を含むことができる。目標エリアに関係し得るそのほかの追加の情報もまたストアできることが認識され得る。また、目標エリアを、楕円、円、多角形、ポイント、ライン、または線分として定義可能なことが認識され得る。目標エリアは、通常、監視目的に基づいてモニタされる現実の関心エリアを表わす。たとえば、入口のドア、出口のドア、門扉、通路、またはセキュリティ担当者がモニタについての関心を有するそのほかのエリアを表す。
【００２６】
目標エリア情報は、テーブル内にストアできる。例としてのみ示すが、目標エリアの定義をストアするための例示的なテーブルは次のように与えられる。
【００２７】
【表１】
【００２８】
上記の例は、矩形形状に基づいた目標エリア記述を含む。この例示的なテーブルは、キー・ベクトルおよび予測ベクトルの明細のためのフィールドを含む。キー・ベクトルのための明細は、後の軌跡に対して適用されたウェーブレット変換の数を含む。キー・ベクトルの明細は、係数選択評価基準も含む。後述するとおり、キー・ベクトルは、多ウェーブレット変換および係数選択プロセス、すなわちウェーブレット変換の１回の反復から各行が獲得される係数マトリクスから係数が選択されるプロセスの結果とすることができる。したがって、係数の選択のためのキー・ベクトル明細は、反復の数（マトリクスの行インデクス）のタプルおよび係数（マトリクスの列インデクス）を選択してキー・ベクトルを組立てるための係数インデクスを含む。予測ベクトルのための明細は、係数選択評価基準を含み、それを使用して予測子ベクトルに対する逆ウェーブレット変換を実行できる。視野内の目標エリアの明細のために異なる形状が望ましいときは、矩形、楕円、円、ポイント、ライン、多角形等を表わすタイプ記述を上記のテーブルに含めることができ、それらの幾何学的基本形のパラメータが記述を完成することができる。
【００２９】
図３は、検知デバイス１２ａ〜１２ｎのうちの１つの別の例の視野２０１を図解している。視野２０１は、検知デバイス１２ａ〜１２ｎの視野２０１上に挿入されるグリッド２０７を含むことができる。この場合においては、システムが自動的にカメラの視野を固定サイズのグリッド付き目標エリアに分割する。目標エリアの記述にグリッド付きの表現が使用される場合には、各セルを別々の目標エリアと考えることができる。
【００３０】
ここで図４を参照すると、例示的な予測的異常挙動検出モジュール２０がより詳細に示されている。例示的な予測的異常挙動検出モジュール２０は、メタデータ処理モジュール３０、モデル構築および更新モジュール３２、挙動評価モジュール３４、およびアラーム生成モジュール３６を含むことができる。例示的な予測的異常挙動検出モジュール２０は、メタデータ生成モジュール２８から動きデータに対応するメタデータを受取る。言うまでもなく、記述されているモジュールの多くは、単一のモジュールに結合するか、または複数の下位モジュールを含むことができる。
【００３１】
例示的なメタデータ生成モジュール２８は、検知デバイス１２ａ〜１２ｎから画像データを受取る。各検知デバイスは、関係付けられたオンボードの専用メタデータ生成モジュール２８を含むことができる。それに代えて、実際の監視システム上にメタデータ生成モジュール２８を常駐させることができる。注意する必要があるが、各メタデータ生成モジュール２８は、有意の処理パワーを必要とする。したがって、メタデータ生成モジュール２８が実際の監視システム上に常駐する場合には、複数の検知デバイス１２ａ〜１２ｎと通信する単一のメタデータ生成モジュール２８が、演算リソースを節約して使用するべく実装される必要がある。
【００３２】
メタデータ生成モジュール２８は、検知デバイス１２ａ〜１２ｎからの画像データに基づいてメタデータを生成する。例としてのみ述べるが、メタデータは、検知デバイス１２ａ〜１２ｎによって取込まれる物体の軌跡に対応することができる。メタデータ生成モジュール２８は、受取った画像データに基づいてメタデータを生成する、この分野で周知のテクニックを使用できる。メタデータは、限定ではないが、ビデオ・カメラ識別子、視野識別子、物体識別子、タイムスタンプ、ｘ値、ｙ値、物体の幅の値、および物体の高さの値を含むことが可能である。検出された物体に対応するメタデータは、追加の、検出された物体の出現特性、および検出された物体についての融合／分裂の事象指標、すなわち２つの物体が融合したか、または分れたかを示す指標を含むことができる。
【００３３】
メタデータ処理モジュール３０は、メタデータ生成モジュール２８からメタデータを受取る。メタデータ処理モジュール３０は、メタデータに基づいて追加の物体の情報を生成できる。たとえば追加の物体の情報は、限定ではないが、物体の速度、物体の加速度、および観察された物体の位置がアウトライアであるか否かを含むことができる。アウトライアとなる位置は、『滑らかな』動きまたは、高さ、面積等の物体の属性の測定値に反して検出された物体の位置として定義できる。これは、測定値が不正確であり、エラーを含むことを示す。言換えると、メタデータ処理モジュール３０は、軌跡の不適格線分、すなわちジャンプを認識することができ、その後演繹される物体の属性が生のメタデータから計算されるとき、それらの物体の測定値をアウトライアとして分類し、それらを適切に処理できる。メタデータ処理モジュール３０は、ビデオ・メタデータの処理のために、この分野で周知のテクニックを使用できる。
【００３４】
モデル構築および更新モジュール３２は、処理されたメタデータをメタデータ処理モジュール３０から受取る。モデル構築および更新モジュール３２は、正常な動きのモデルおよび予測モデルを構築すること、およびそれらのモデルをそれぞれ、正常モデル・データベース４４および予測モデル・データベース４６内にストアできる。モデル構築および更新モジュール３２は、時が経過するにつれて正常な動きのモデルおよび予測モデルを、処理済みのメタデータに基づいて更新することもできる。
【００３５】
正常な動きのモデルは、物体の期待される動きまたは物体の『安全な』動きに対応することができる。正常な動きのモデルは、物体の動きを分析するとき、基準または標準として使用される。たとえば仕事場の環境においては、正常な動きのモデルが、作業エリアから休憩室へ安全な速度で歩いていく従業員の表現を含むことができる。したがって、監視システムが作業エリアから休憩室へ安全な速度で歩いている従業員を取込んだ場合には、監視システムが、取込まれた動きと１つまたは複数の正常な動きのモデルを比較して、その従業員がセキュリティ・ポリシーを侵害していないと決定できる。その逆に制限エリアまたは危険ゾーンを通って休憩室へ歩いていく従業員は、安全でない動きまたは移動を構成することがあり、したがっておそらくは正常な動きのモデル内に含まれないことになる。このシナリオにおいては、ビデオ監視システムが、その従業員が安全でないかまたは制限されている挙動に関わっていると決定できる。
【００３６】
正常な動きのモデルは、データ・キューブのセル内に取込まれ、各セルは、期待される有向速度、加速度、および最小バウンディング・ボックス等の物体の特性の統計を含むことができる。正常な動きのモデルは、限定ではないがさらに、カメラ識別子、視野識別子、目標エリア、軌跡に関する情報、物体の速度、物体の加速度、物体の物体識別子を含むことができる。正常な動きのモデルは、挙動評価モジュール３４のスコア付けモジュール８０によって使用されて物体の予測される軌跡のスコア付けが行なわれる。認識される必要があるが、正常な動きのモデルは、通常、観察されたかまたは取込まれた動きの分析に使用されるが、正常な動きのモデルを予測される動きまたは軌跡の分析に使用することもできる。その種の予測される動きまたは軌跡は、予測モデルに基づくことができる。
【００３７】
例示的な予測モデルを使用し、検知デバイス１２ａ〜１２ｎによって観察できるモニタされている物体の将来の場所を予測できる。予測モデルは、予測モデル・データベース４６内にストアできる。予測モデルは、挙動評価モジュール３４によって使用されて、物体の観察された軌跡、および以前に観察された物体の軌跡から構築された既知の予測モデルに基づいて物体の将来の場所が予測される。各予測モデルは、２つのベクトル、すなわちモデル・キー・ベクトルおよびモデル予測子からなるとすることができる。後述するとおり、モデル・キー・ベクトルおよびモデル予測子ベクトルは、ともに、軌跡のあらかじめ選択された線分に関係する動きの属性を表わす成分、すなわちインターリーブされたデータを有する特徴ベクトルである。モニタされている物体のリアルタイムで観察されている軌跡から抽出されたキーを使用するモジュールによって予測モデル・データベース４６のクエリが行なわれ、クエリ・キーと類似するモデル・キーを有する予測モデルを返すべく求められる。第２の構成要素のモデル予測子は、可能性のある軌跡、すなわちリアルタイムで観察されている軌跡が将来において追従するかも知れない軌跡を表わす予測ベクトルを含む。
【００３８】
さらにまた、予測モデルは、タプルからなるとすることができる。例示的なタプルは、モデル・キー、モデル予測子ベクトル、およびカウントを含むことができる。例示的なモデル・キーは、視野のセルに関するかまたは目標エリアに関する、物体に関連付けされた観察された到来する動きまたは軌跡を表わすキー・ベクトルによって表わすことができる。たとえばキー・ベクトルは、所定の時刻における物体の場所、所定の時刻における物体の速度、所定の時刻における物体の加速度に関係する物体の軌跡についてのデータ、すなわちインターリーブされたデータを含むことができる。
【００３９】
モデル予測子は、目標エリアに関する軌跡の将来の場所に対応すると見られる予測ベクトルによって表わすことができる。たとえば予測ベクトルは、所定の時刻における物体の場所、所定の時刻における物体の速度、および所定の時刻における物体の加速度に関係する物体の軌跡についての予測的なデータを含むことができる。モデル・キーがキー・ベクトルとして表現され、モデル予測子が予測ベクトルとして表現されるとき、これらのベクトルは、反復ウェーブレット変換の結果、たとえば反復ハール変換の結果とすることができるが、これらについては詳細を後述する。予測モデルは、視野または視野内のグリッドについて、または視野内の１つまたは複数の目標エリア（後述）に関して定義できる。
【００４０】
カウントは、モデル・キーと予測キーの間における相関または結び付きの指標とすること、すなわちキー・ベクトルが与えられたとき、物体が特定の予測ベクトル内に定義された動きもしくは軌跡を追従することになる確率とすることができる。カウントは、多くの形で表わすことができ、限定ではないが、所定のキー・ベクトルが実際にモデル予測子ベクトルに帰結する確率または帰結した回数の得点を含むことができる。カウントが得点となる場合には、キー・ベクトルが特定の予測ベクトルに帰結する確率を、選択されたキー・ベクトルに対応するすべての予測ベクトルについての累積得点によって除したその特定の予測ベクトルのための得点として表わすことができる。たとえば、キー・ベクトルＫＶｉが与えられたとき、ｎ個の可能性のある予測ベクトルＰＶ１．．．ＰＶｎが存在することがある。時間の経過につれて検知デバイス１２ａ〜１２ｎが、ＫＶｉに対応する動きに類似する５０回の動きの観察のうち、ＰＶ１に対応する出力の動きまたは軌跡を３０回、ＰＶｎに対応するものを１０回、残りの予測ベクトルを１０回観察したとする。したがって、キー・ベクトルＫＶｉが与えられたとき、物体の動きがＰＶ１に対応する確率が６０％、ＰＶｎに対応する確率が２０％になる。認識されようが、カウントを維持するこのほかの方法を実装してもよい。たとえば、確率を、物体自体、物体のタイプ、または物体が観察された時刻、および／または物体のそのほかの特性または特性の組合せに依存させることができる。後述するとおり、異常性スコアの計算にも同様にカウントを使用できる。
【００４１】
図９は、予測モデルをストアするための例示的な構造を示す。図９に、目標エリア・テーブルが示されている。各目標エリアについて、キーおよび予測ベクトルのための明細が存在することがある。前述したとおり、この明細は、入力ベクトルに対して実行されるウェーブレット変換の量およびその変換の結果から選択された係数を提供することになる。またこの明細は、予測ベクトルを獲得するべく出力ベクトルに対して実行された単一のウェーブレット変換から選択された係数も含む。各目標エリアについて、複数の予測モデルが存在する。予測モデルは、キー・ベクトルのテーブルおよび予測ベクトルのテーブル内にストアしておくことができる。いずれのテーブルもベクトルのためのＩＤをはじめ、ウェーブレット変換から結果としてもたらされた選択された係数を含むことができる。２つのテーブルのリンクが第３のテーブルであり、それが、キー・ベクトルＩＤ、予測ベクトルＩＤ、および予測ベクトルに対するキー・ベクトルの結び付きに対応するカウントをリストしている。
【００４２】
ここで図５を参照すると、モデル構築および更新モジュール３２がより詳細に示されている。モデル構築および更新モジュール３２は、予測モデル生成モジュール５４、正常モデル生成モジュール５０、予測モデル・データベース４６、正常モデル・データベース４４、およびウェーブレット変換モジュール５２を含むことができる。モデル構築および更新モジュール３２は、ベクトル生成モジュール４８も含むことができる。言うまでもなく、サブ・モジュールの多くは、システムの他のモジュールと通信する実際に独立しているモジュールとすることができる。
【００４３】
モデル構築および更新モジュール３２は、トレーニング／学習段階の間に予測モデルおよび正常な動きのモデルを構築するべく動作可能とすることができる。モデル構築および更新モジュール３２は、予測モデル・データベース４６内に予測モデルをストアすること、および正常モデル・データベース４４内に正常な動きのモデルをストアすることができる。またモデル構築および更新モジュール３２は、システムが運用段階にあるとき、予測モデル・データベース４６および正常な動きのデータベース４４の更新を行うこともできる。
【００４４】
モデル構築および更新モジュール３２の構成要素を、次に、より詳細に説明する。ベクトル生成モジュール４８が、前処理モジュール３０から処理済みのメタデータを受取る。例示的なベクトル生成モジュールは、物体についてのメタデータを受取り、そのメタデータに基づいて順序付きタプルのベクトルを定義できる。たとえば、入力ベクトル生成モジュール４８が、ｎ個の時間単位にわたるメタデータを受取ったとする。ベクトル生成モジュール４８は、タイムスタンプ付き場所データのベクトル［（ｔｓ（１），ｘ（１），ｙ（１）），（ｔｓ（２），ｘ（２），ｙ（２））（ｔｓ（ｉ），ｘ（ｉ），ｙ（ｉ）），．．．，（ｔｓ（ｎ），ｘ（ｎ），ｙ（ｎ））］を生成し、それにおいてｔｓ（ｉ）は、時間ｉを示すタイムスタンプであり、（ｘ（ｉ），ｙ（ｉ））は、ｔｓ（ｉ）における目標エリアに関する物体の位置を示す。入力ベクトルが異なる形式を有することは企図されている。たとえばベクトルが、ｚ座標、カメラＩＤを、視野ＩＤ、目標ＩＤ、物体ＩＤ、またはそのほかの関連する既知の情報を含むことができる。
【００４５】
それに代えて、ベクトル生成モジュール４８が、データ・キューブを有するベクトルを成分として生成できる。空間−時間エントリを有するデータ・キューブ内の各エントリは、全体の視野のグリッドに関して定義できる。データ・キューブは、少なくとも３次元データ構造であり、空間−時間セル内において観察された物体の特性の統計の記述に使用できる。データ・キューブは、正常な動きのモデルの物体の特性の統計のストアにも同様に使用できる。生成されたベクトルは、予測モデル生成モジュール５４または正常モデル生成モジュール５０へ伝達できる。
【００４６】
予測モデル生成モジュール５４は、この生成されたベクトルを受取り、予測モデルを生成し、予測モデルを予測モデル・データベース４６内にストアする。予測モデル生成モジュール５４は、予測モデル・データベース４６内にストアされることにある新しい予測モデルを、監視システムの学習段階の間に生成できる。また予測モデル生成モジュール５４は、リアルタイム・データをトレーニング・データとして使用し、監視システムの運用段階の間に予測モデル・データベース４６を更新することもできる。トレーニング・データは、限定ではないが、メタデータに基づいて生成されたベクトル、または開発者またはシステムのユーザによって組立てられた軌跡に対応するあらかじめ決定済みのベクトルを含むことができる。
【００４７】
前述したとおり、予測モデル生成モジュール５４は、動きベクトルを受取り、そのベクトルを２つのセグメント、すなわち入力ベクトルおよび出力ベクトルに分割できる。予測モデル生成モジュール５４は、そのベクトルを、予測モデルがモデル・キー・ベクトルおよびモデル予測子ベクトルに関して定義できるように入力ベクトルと出力ベクトルに分割できる。したがって、物体が通り抜けて所定の位置へ到達する軌跡に対応する入力ベクトルは到来する動きを表わすことができ、一方、所定の位置から移動する物体についての予測軌跡に対応する出力ベクトルは、立ち去る動きを表わすことができる。例としてのみ述べるが、予測モデル生成モジュール５４は、ベクトルＶ＝［（ｔｓ（１），ｘ（１），ｙ（１）），（ｔｓ（２），ｘ（２），ｙ（２）），．．．，（ｔｓ（ｉ），ｘ（ｉ），ｙ（ｉ）），．．．（ｔｓ（ｎ），ｘ（ｎ），ｙ（ｎ））］を受取り、そのベクトルＶを２つのベクトル、Ｖｉｎｐｕｔ＝［（ｔｓ（ｉ），ｘ（ｉ），ｙ（ｉ）），（ｔｓ（ｉ−１），ｘ（ｉ−１），ｙ（ｉ−１）），．．．，，（ｔｓ（２），ｘ（２），ｙ（２）），（ｔｓ（１），ｘ（１），ｙ（１））］およびＶｏｕｔｐｕｔ＝［（ｔｓ（ｉ＋１），ｘ（ｉ＋１），ｙ（ｉ＋１）），．．．（ｔｓ（ｎ），ｘ（ｎ），ｙ（ｎ））］に分離することができる。軌跡が通過する各目標エリアについて分離動作が適用されて、各目標エリアのための入力ベクトルおよび出力ベクトルが獲得される。
【００４８】
予測モデル生成モジュール５４は、その後、ＶｉｎｐｕｔおよびＶｏｕｔｐｕｔをウェーブレット変換モジュール５２へ伝えることができる。ウェーブレット変換モジュール５２は、詳細を後述するが、Ｖｉｎｐｕｔに対して反復ウェーブレット変換を、Ｖｏｕｔｐｕｔに対して単一のウェーブレット変換を実行できる。ウェーブレット変換モジュール５２は、物体の速度および物体の加速度といったインターリーブされる情報に依存する、ＶｉｎｐｕｔおよびＶｏｕｔｐｕｔを表わす特徴ベクトルを返すことができる。１つまたは複数のウェーブレット変換の結果は、Ｖｉｎｐｕｔに対応するキー・ベクトルおよびＶｏｕｔｐｕｔに対応する予測ベクトルである。
【００４９】
さらにまた、ある実施態様においては、予測モデル生成モジュール５４が複数の入力／出力ベクトルを生成できる。上記の例に戻るが、入力ベクトルは、ｔｓ（１）からｔｓ（ｉ−１）までに対応するタプルだけを含むことができ、出力ベクトルがｔｓ（ｉ）において開始することになる。別の入力ベクトルは、ｔｓ（１）からｔｓ（ｉ−２）までに対応するタプルを含むことができる。別の入力ベクトルは、ｔｓ（ｉ）からｔｓ（ｉ＋１）までに対応するタプルだけを含むことができ、出力ベクトルがｔｓ（ｉ＋２）において開始することになる。このように単一の軌跡について、予測モデル生成モジュール５４がウェーブレット変換モジュール５２に対して１を超える数の入力ベクトルを伝達すること、および１を超える数のキー・ベクトルならびに予測ベクトルを受取ることができる。複数の軌跡が、予測モデル・データベース４６内にすでに存在するモデルと類似となることがあるという点に注意する。
【００５０】
ウェーブレット変換モジュール５２は、データ構造を受取り、ベクトル内のデータに対して少なくとも１つのウェーブレット変換を実行し、結果として得られた変換から係数を選択することによってインターリーブされたデータを抽出する。ウェーブレット変換モジュール５２は、反復ウェーブレット変換の結果に基づいて特徴ベクトルを返す。例示目的のために述べるが、ウェーブレット変換モジュール５２は、ベクトルに対してハール変換を実行する。ハール変換は、受取ったベクトル内のインターリーブされたデータに基づいて特徴ベクトルを抽出するウェーブレット変換である。たとえば、複数のタイムスタンプおよびそれらのタイムスタンプに対応する場所を有する入力ベクトルに基づいて、最初のハール変換は、一次のデータ、すなわち物体の速度を抽出するであろう。ハール変換を使用して最初のハール変換の結果を再変換できる。２番目のハール変換の結果は、二次のデータ、すなわち物体の加速度である。３番目のハール変換は、単位長当りの力の変化、またはエネルギ注入の変化を表わす三次のデータをもたらすことになる。したがって、提案されているフレームワークは、同一の経路を取るが異なる速度または加速度のパターンを有する軌跡を見分けることができ、それがより正確かつロバストな予測を可能にすることをここで認識されるものとする。
【００５１】
ハール変換は、各タプルがカメラ視野内の場所（ｘ，ｙ）およびタイムスタンプを表わすベクトルＴｊ＝（（ｔ（ｊ），ｘ（ｊ），ｙ（ｊ）），（ｔ（ｊ−１），ｘ（ｊ−１），ｙ（ｊ−１）），（ｔ（ｊ−２），ｘ（ｊ−２），ｙ（ｊ−２））．．．）に適用できる。代替実施態様においては、入力ベクトルが目標エリアまでの距離を、対応するタイムスタンプとともに、たとえば（ｔ（ｉ），ｄ（ｉ）），（ｔ（ｉ−１），ｄ（ｉ−１））として示すことができる。反復的な複数のハール変換をこれらのタイムスタンプ付き距離測定値に適用できる。さらに別の代替実施態様においては、入力ベクトルが、物体の動きの方向と物体の現在の場所から目標エリアへの直線の間のタイムスタンプ付き角度を示すことができる。この実施態様においては、ハール変換をタイムスタンプ付き角度測定値ベクトルに対して実行できる。
【００５２】
特徴ベクトルの抽出は、受取ったベクトルに対するハール・ウェーブレット変換の反復適用、およびハール変換関数の出力からの係数の選択という２つのステップからなるとすることができる。反復および選択される係数の数は、ベクトル自体とともに反復ハール変換モジュールのパラメータである。係数の選択は、ユーザ定義として、抽出され、予測モデル内にストアされる軌跡内の点をユーザが選択するようにできる。注意を要するが、係数選択プロセスの後に類似の入力軌跡が類似のキー・ベクトルを有することになるように、係数の選択が特定の目標エリアに関して一貫している必要がある。前述したとおり、キー・ベクトル内（または予測ベクトル内）の各エントリは、ハール変換の結果から選択された係数に対応する。係数は係数マトリクスから選択され、それにおいて当該マトリクスの各行はウェーブレット変換の１回の反復から獲得される。１つの実施態様においては、各ハール変換の３番目、５番目、および９番目の出力が係数として選択される。第２の実施態様においては、各ハール変換の少なくとも１つの出力が係数として選択される。
【００５３】
注意される必要があるが、ウェーブレット変換モジュール５２は、入力ベクトルに対しては反復ウェーブレット変換を実行するものとし、出力ベクトルに対しては単一の変換だけを実行するものとする。その理由は、入力ベクトルが、観察された軌跡の予測モデルとの突き合わせに使用されるキー・ベクトルの生成に使用されるためである。それに対して出力ベクトルは、逆ウェーブレット変換による動きの予測に使用される出力ベクトルの生成に使用される。したがって、キー・ベクトルの生成においては、各キー・ベクトルがより高度な一意性を有するように、可能な限り多くのインターリーブされたデータを抽出することが有益である。これに対して、逆ウェーブレット変換が完全にオリジナルの動きデータを回復することが不可能であることから、低次の係数からオリジナルの出力ベクトルを再現するべく実行される逆ウェーブレット変換から結果としてもたらされる近似誤差の量を最小化することが有益である。
【００５４】
係数の選択ならびに反復の数は、ユーザまたは設計者により構成可能としてもよい。ウェーブレット変換モジュール５２の結果ベクトルは、予測モデル生成モジュール５４へ返される。ウェーブレット変換モジュールにおいて、ウェーブレット・パケット変換、離散的ウェーブレット変換、またはそのほかのすでに知られているか、またはまだ知られていないウェーブレット変換を含むこのほかのタイプのウェーブレット変換が実装されることは企図されている。出力ベクトルの計算が、ウェーブレット・パケット変換または離散的ウェーブレット変換を含む異なるタイプのウェーブレット変換を利用してもよい。
【００５５】
前述したとおり、予測モデル生成モジュール５４は、ウェーブレット変換モジュール５２へ入力ベクトルおよび／または出力ベクトルを伝達すること、および入力ベクトルに対応するキー・ベクトルおよび／または出力ベクトルに対応する予測ベクトルを受取ることができる。ウェーブレット変換モジュール５２からキー・ベクトルを受取ると、予測モデル生成モジュール５４は、キー・ベクトルを使用して予測モデル・データベース４６へのクエリを行う。予測モデル・データベース４６へのクエリは、そのキー・ベクトルと類似するモデル・キー・ベクトルを有するすべてのモデルの捜し出しを予測モデル・データベース４６に対して要求することを伴う。データベース４６へのクエリに多くのタイプのサーチが使用できることは企図されている。たとえば、例示的な実施態様においては、Ｋ近傍法アルゴリズムを使用して予測モデル・データベース４６をサーチできる。クエリは、目標エリアまたはデータ・キューブのアレイをキー・ベクトルとともに指定できる。このクエリは、伝達されたキー・ベクトルに対応するモデル予測ベクトルおよび類似するモデル・キー・ベクトルのセットを返すことができる。この場合においては、予測モデル生成モジュール５４が予測ベクトルとモデル予測ベクトルのセットを比較できる。類似のモデル予測ベクトルが存在する場合には、キー・ベクトルに対応するカウントおよび類似の返された予測ベクトルを更新できる。しかしながら予測ベクトルと類似するモデル予測ベクトルがまったく存在しないときには、予測ベクトルおよびキー・ベクトルに対応する新しいタプルを予測モデル・データベース４６へ入力できる。新しく入力されるタプルのカウントは、得点１と対応させることができる。それに代わり、データベース４６内に類似するモデル・キー・ベクトルがまったく存在しない場合には、クエリが何も返さないことができる。この場合においては、予測ベクトルおよびキー・ベクトルと対応する新しいタプルを予測モデル・データベース４６に追加できる。
【００５６】
理解されるものとするが、モデル構築とモデル更新は、本質的に同じプロセスであり、同じ構成要素を同じ方法で使用できる。前述したとおり、モデル構築は、通常、学習段階の間に生じ、更新は、通常、運用段階の間に生じる。運用段階の間においては、検知デバイス１２ａ〜１２ｎの視野を調査する目的のためにビデオ・データが取込まれる。以下において考察するとおり、システムは、センサ・データを取込み、軌跡の到来部分に基づいて予測を行う。しかしながら移動中の物体は、通常、いずれその軌跡を終了することになり、センサ・デバイス１２ａ〜１２ｎは、通常、その移動の残余部分を取込むことになる。したがって、運用段階の間に全体の軌跡と関連付けされたメタデータを取込むことができ、挙動評価モジュール３４とは独立に予測モデル構築および更新モジュール３２へ伝達できる。
【００５７】
前述したとおり、モデル構築および更新モジュール３２は、トレーニングまたは学習段階の間、および運用段階の間に動作して予測モデル・データベース４６にデータを投入できる。図６は、予測モデルを構築するための例示的な方法を提供する。認識されるものとするが、予測モデル・データベース４６は、移動物体の将来の動きの予測のために挙動評価モジュールによってアクセスされる。以下は、例示のためにのみ提供されたものであり、そのほかの方法を使用して予測モデル・データベース４６へのデータの投入ができることは言うまでもない。トレーニング段階の間に構築および更新モジュール３２は、ステップＳ３０１において物体の軌跡に対応するメタデータを受取ることができる。ベクトル生成モジュール４８は、そのメタデータに対応する動きベクトルを生成し、その動きベクトルを予測モデル生成モジュール５４へ伝達できる。予測モデル生成モジュール５４は、各動きベクトルを入力ベクトルおよび出力ベクトルに分割できるが、それにおいて各ベクトルは、目標エリアに関して定義される。物体の軌跡が目標エリアを通過するときには、軌跡を入力および出力のベクトルに分けることができる。入力ベクトルは、目標エリア、たとえば点または線分に近づくときの軌跡を表わすことができ、出力ベクトルは目標エリアから遠ざかるときの軌跡を表わすことができる。
【００５８】
ステップＳ３０３においては、ウェーブレット変換モジュール５２が入力ベクトルを受取り、その入力ベクトルに対して反復的にウェーブレット変換を実行できる。反復変換の結果は、動きベクトル内にインターリーブされる情報を変換が抽出することから概して特徴ベクトルと呼ばれる。インターリーブされる速度および加速度特性は、係数を選択すること、たとえば以下によって生成される係数の第３、第５、第７、および第１１項等を選択することによって演繹できる。
●ＨＡＡＲ（入力ベクトル）
●ＨＡＡＲ（ＨＡＲＲ（入力ベクトル））
●ＨＡＡＲ（ＨＡＡＲ（（ＨＡＡＲ（入力ベクトル）））
図１０は、入力ベクトルに対して３つのハール変換を実行し、複数の変換の結果を表わす係数マトリクスを獲得するプロセスを図示している。与えられているシーケンスは、ハール変換によって作り出される時間ドメイン内における代表的な多解像度もしくは周波数ドメイン内における多スペクトル特性を超えて軌跡線分の変動する特性を捕らえる高レベルのインターリーブされた項を結果としてもたらす。前述したとおり、ユーザが係数マトリクスから特定の項を選択して特徴ベクトルを定義できる。係数の選択は、パラメータおよび実行されることになる反復回数とすることができる。ウェーブレット変換モジュール５２は、入力ベクトルに対応するキー・ベクトルと呼ばれる特徴ベクトルを生成できる。予測ベクトルに対応する特徴ベクトルは、出力ベクトルに対して単一のハール変換を実行すること、およびその後に続いてハール変換の結果から低周波係数を選択することによって獲得される。キー・ベクトルおよび予測ベクトルは、予測モデル生成モジュール５４へ伝達される。
【００５９】
続くステップＳ３０５においては、予測モデル生成モジュール５４が、キー・ベクトルを使用して予測モデル・データベース４６へのクエリを行うことができる。予測モデル・データベース４６は、クエリに使用されたキー・ベクトルともっとも類似するモデル・キー・ベクトルを有する予測モデルを返す。前述したとおり、Ｋ近傍法またはそのほかのサーチ・アルゴリズムを使用して、近い整合が存在するか否かを決定できる。近い整合がまったく見つからない場合には、ステップＳ３０７において予測モデル生成モジュール５４が、新しいキー・ベクトル／予測ベクトルの組合せをカウントとともに予測モデル・データベース４６内にストアできる。しかしながら予測モデル・データベース４６内に近い整合が見つかった場合には、予測モデル生成モジュール５４が予測ベクトルと、類似するキー・ベクトルに対応するモデル予測ベクトルをステップＳ３０９において比較する。近い整合が見つかった場合には、ステップＳ３１１において予測モデル生成モジュール５４が類似するエントリのカウントを更新する。見つからなかった場合には、ステップＳ３０７において、反復変換モジュール５２から受取ったキー・ベクトルおよび対応する予測ベクトルを使用して新しいエントリが作成される。
【００６０】
モデル構築および更新モジュール３２は、正常モデル生成モジュール５０を介し、処理済みのメタデータに基づいて正常な動きのモデルを生成することもできる。正常な動きのモデルは、カメラの視野内に正常な（または安全な）動きを含むモデルとすることができる。したがって、カメラの視野内のセルに関して、またはカメラの視野内の目標エリアに関して正常な動きのモデルを定義できる。例示のためにのみ述べるが、目標エリアは、ドア、窓、コンピュータ、または中間地点とすることができる。それに代えて、例示のためにのみ述べるが、目標エリアをカメラの視野内の任意の場所としてもよい。代替実施態様においては、デフォルトの目標エリアのセットが、カメラ１２ａ〜１２ｎの視野を定義するグリッドのセルによって定義される。さらにまた、これらのセルは、移動物体による現場利用度に対応する時間変動を捕らえる時間指標を有することも可能である。
【００６１】
例示的な正常モデル生成モジュール５０は、ベクトル生成モジュール４８から動きベクトルを、挙動評価モジュール３４から異常性スコアを受取り、動きベクトルおよび異常性スコアに基づいて正常な動きのモデルを生成できる。例示的な正常モデル生成モジュール５０は、正常な動きのモデルを正常モデル・データベース４４へ伝達できる。学習段階の間に挙動評価モジュール３４は、観察された物体の動きを表わす動きベクトルを受取り、その観察された動きの異常性スコアを生成できる。異常性スコアは、観察された動きがストアされている正常な動きのモデルに従う程度を示すことができる。したがって、動きベクトルが『正常』スコアを有する場合には、そのベクトルを正常モデル・データベース４４内に書き込むことができる。ベクトルが『異常』スコアを有する場合には、そのベクトルが正常モデル・データベース４４内にストアされることを排除できる。後述するとおり、『正常』スコアおよび『異常』スコアは、設計者またはユーザによって定義されたスレッショルドに対応することができる。それに代えて異常性または正常性を、スライディング・スケール上において定義できる。正常な動きのモデルは、多様な形式で表わすことができる。前述したとおり、正常な動きのモデルをデータ・キューブ・フォーマットで表わすことができる。それに代えて正常な動きのモデルを、目標エリアに関して定義される軌跡フォーマットで表わすことができる。さらにまた正常な動きのモデルを、動きベクトルによって、またはメタデータによって逆ウェーブレット変換５２により変換されたベクトルによって表わすこともできる。正常な動きのモデルのフォーマットは、スコア付けモジュール８０（図７参照）の設計選択肢に依存できる。
【００６２】
正常モデル・データベース４４は、正常な動きのモデルをストアしている。正常モデル・データベースは、モデル構築および更新モジュール３２から正常な動きのモデルを受取ることができる。正常モデル・データベース４４は、正常な動きのモデルを挙動評価モジュール３４へ伝達できる。
【００６３】
またモデル構築および更新モジュール３２は、モデル・ロード・モジュール４０を介して新しいモデルをロードすること、および／または既存のモデルを更新することもできる。例示のためにのみ述べるが、モデル・ロード・モジュール４０は、モデル・データおよび／またはパラメータを、ＧＵＩ ２２を介してオペレータから受取ることができる。受取ったモデル・データおよび／またはパラメータは、軌跡および対応する入力／出力ベクトルの生成に使用できる。対応する入力／出力ベクトルは、ほかの任意の入力／出力ベクトルと同じ態様でモデル構築モジュール４２によって評価される。結果として得られる予測モデルは、予測モデル・データベース４６内に書き込むことができる。
【００６４】
ここで図７を参照するが、挙動評価モジュール３４は、メタデータ処理モジュール３０またはメタデータ生成モジュール２８からメタデータを受取り、少なくとも１つの予測される物体の軌跡を生成できる。挙動評価モデルは、限定ではないが、取込まれた物体の動きに対応する受取ったメタデータに基づいてベクトルを生成するベクトル生成モジュール９２；ベクトルを受取り、その受取ったベクトルに基づいて予測される移動物体の将来の場所を生成する挙動予測モジュール８４；挙動予測モジュール８４から予測される移動軌跡の将来の場所を受取り、正常モデル・データベースを使用し、その予測される将来の場所に基づいて予測される挙動の異常性を決定するスコア付けモジュール８０；挙動予測モジュール８４からベクトルを受取り、受取ったベクトルの多ウェーブレット変換に基づいてキー・ベクトルを生成するウェーブレット変換モジュール８２；および挙動予測モジュール８４から予測ベクトルを受取り、予測される移動物体の将来の場所を表わすベクトルを生成する逆ウェーブレット変換モジュール９０を含むことができる。挙動評価モジュール３４は、概して予測モデル・データベース４６、正常モデル・データベース４４、アラーム生成モジュール３６、およびメタデータ生成モジュール２８またはメタデータ処理モジュール３０のうちのいずれかと通信する。
【００６５】
次に、例示的な挙動評価モジュール３４の個別の構成要素を詳細に説明する。ベクトル生成モジュール９２は、取込まれた動きに対応するメタデータを受取り、センサ・データに基づいて動きベクトルを生成するという点でベクトル生成モジュール４８と類似している。言うまでもなく、ベクトル生成モジュール９２およびベクトル生成モジュール４８同一のモジュールとすることができる。同様にウェーブレット変換モジュール８２とウェーブレット変換モジュール５２は、両方のウェーブレット変換モジュールともにベクトルを受取り、そのベクトルに対してあらかじめ決定済みの量のウェーブレット変換を実行し、各ウェーブレット変換の反復の出力のスタックから獲得される係数マトリクスから係数を選択するという点において類似している。代替実施態様においては、モデル構築および更新モジュール３２および挙動評価モジュール３４によって同一のウェーブレット変換モジュールが使用されるようにできる。
【００６６】
挙動予測モジュール８４は、ベクトル生成モジュール９２から入力ベクトルを受取り、その入力ベクトルに基づいて予測ベクトルを生成する。予測ベクトルは、特定の時刻または時間オフセットにおける移動物体の将来の場所を表わすことができる。入力ベクトルおよび出力ベクトルは、いずれも目標エリアに関して定義された軌跡および／またはデータ・キューブで表わすことができる。理解されるものとするが、入力ベクトルが目標エリアに関する軌跡モードで表わされる場合には、各ベクトルが目標エリアに対応する複数の入力ベクトルを定義できる。挙動予測モジュール８４は、入力ベクトルをウェーブレット変換モジュール８２へ伝達し、ウェーブレット変換モジュール８２からキー・ベクトルを受取る。挙動予測モジュール８４は、キー・ベクトルをパラメータとして使用して予測モデル・データベース４６のクエリを行う。予測モデル・データベース４６は、そのキー・ベクトルと予測モデル内に見つかったモデル・キー・ベクトルの間における類似性に基づいてもっとも近いＮ個の予測モデルを返すことになる。予測モデル・データベース４６は、Ｋ近傍法アルゴリズムを含む多数のサーチ・アルゴリズムを使用し、予測モデルのキー・ベクトルに基づいてもっとも近い予測モデルを決定できる。付け加えるが、２つの軌跡がまったく同じであることは殆どない点に注意が必要である。各キー・ベクトルは、軌跡全体を通じて物体の速度および加速度に関係する情報を有する。したがって、厳密な整合の尤度は無限小であるとすることができる。
【００６７】
Ｎ個のもっとも近い予測モデルが返されると、挙動予測モジュール８４は、与えられたキー・ベクトルに帰結することがもっともありがちな予測モデルを選択できる。前述したとおり、挙動予測モジュールは、キー・ベクトルとモデル・キー・ベクトルの間における類似性をはじめ、モデル・キー・ベクトルに対応するカウントを使用して正確な予測を提供することがもっともありがちな予測モデルを決定できる。挙動予測モジュール８４は、その後、それらの予測モデルのうちの１つまたは複数を逆ハール・ウェーブレット変換モジュール９０へ伝達できる。それに代えて、挙動評価モジュール３４が、それらの予測モデルのうちの予測ベクトルだけを逆ハール・ウェーブレット変換モジュール９０へ伝達できる。逆ウェーブレット変換９０は、構造において入力ベクトルと類似する動きベクトルを返すが、それにおいては、速度および加速度等の特徴がインターリーブされてデータ内に戻されている。挙動評価モジュール３４は、入力ベクトルと返された動きベクトルを連結して、予測される完全な軌跡を表わすベクトルを獲得する。予測される軌跡は、一連のタイムスタンプ、およびそれぞれのタイムスタンプごとの対応する位置または将来の（予測される）位置を含むことができる。またベクトル内にストアされるそのほかのデータには、予測と関連付けされた確率、目標エリアＩＤ、カメラＩＤ、物体ＩＤ、および物体もしくは物体の動きと関係するデータ等も含めることができる。
【００６８】
逆ウェーブレット変換モジュール９０は、特徴ベクトルおよび係数の明細を受取り、予測軌跡を返す。逆ウェーブレット変換のタイプは、予測ベクトルの生成に使用されるウェーブレット変換のタイプと対応する。たとえば、予測ベクトルに対してハール変換が適用される場合には、逆ウェーブレット変換モジュール９０が逆ハール変換を実行する必要がある。逆ウェーブレット変換モジュール９０は、図９に示したとおりの予測モデルに対応する明細エントリからウェーブレット変換モジュール５２によって選択された係数を獲得できる。完了した後は、複数のタプルがタイムスタンプおよびそのタイムスタンプによって指定される時刻において予測される（ｘ，ｙ）を表わす動きベクトルによって予測軌跡を表わすことができる。逆ウェーブレット変換モジュール９０の結果は、挙動予測モジュール８４へ伝達される。
【００６９】
各予測軌跡について、移動物体によってその軌跡が辿られる確率を含むベクトルを生成できる。このベクトルは、モニタされている物体の予測される各位置についてのスコア値も含むことができる。スコアは、後述するが、スコア付けモジュール８０によって割当てることができる。さらにまた、確率があらかじめ決定済みのスレッショルドを超えない場合には、予測される軌跡の数がシステムによって選別されるようにできることに注意する。各予測について挙動評価モジュール３４は、次の要素、すなわち軌跡ＩＤ、軌跡が辿られる確率、物体ＩＤ、予測が決定されたときの物体の位置、異常挙動スコア、およびスコアの決定に使用されたスコア付けエンジンのタイプのうちの１つまたは複数を含むデータ構造を生成できる。
【００７０】
スコア付けモジュール８０は、挙動予測モジュール８４から予測される軌跡を受取り、その予測される軌跡および正常な動きのモデルに基づいてスコアを生成できる。正常な動きのモデルは、グリッドのセルに関して安全かまたは許容可能な軌跡、または許容可能な軌跡である目標エリアを定義できる。たとえば、これらのモデルは、休憩室へのドアへ向かって安全な速度で歩いていく従業員についての多数の軌跡を表わすことができる。同様に、これらのモデルは、複数の許容可能なＰＩＴの軌跡を定義できる。これらのモデルは、データ・キューブ表現、ベクトル表記、またはこの分野で周知の任意のそのほかの形式を含む多様な形式で表わすことができる。
【００７１】
スコア付けモジュール８０は、予測された軌跡と正常な動きのモデルを比較することによって異常性スコアを生成できる。スコア付けモジュール８０は、任意タイプの任意数のスコア付けアルゴリズムを使用してスコアを計算できる。スコア付けアルゴリズムの例示的なセットは、米国特許出願第１１／６７６，１２７号の付録Ａの中で提供されたものがある。以下参照により米国特許出願第１１／６７６，１２７号をこれに援用する。認識されることは、任意のスコア付けアルゴリズムが実装できるということである。スコア付けモジュール８０は、１つまたは複数のスコアをアラーム生成モジュール３６へ伝達できる。
【００７２】
ここで図８を参照すると、物体の動きを予測し、予測される物体の動きをスコア付けする例示的な方法が示されている。ステップＳ４０１においては、メタデータが受取られ、入力ベクトルに変換される。メタデータは、センサ・デバイス１２ａ〜１２ｎから収集されるセンサ・データに対応する。通常、このタイプのシナリオにおいては、システムが予測される物体の軌跡または将来の場所を提供できることから、システムが運用モードにある。入力ベクトルは、それが目標エリアにもしくは空間内のあるエリアに近づくときの軌跡を表わすことができることから、前述した入力ベクトルと類似である。入力ベクトルは、挙動評価モジュール３４によって移動物体の将来の場所の予測に使用される。言うまでもなく、前述したとおり、１を超える数の入力ベクトルを生成できる。
【００７３】
ステップＳ４０３においては、反復ウェーブレット変換が入力ベクトルに対して実行される。前述したとおり、反復ウェーブレット変換は、物体の動きのインターリーブされた特徴を抽出する。反復ウェーブレット変換の結果は、予測モデル・データベース４６のクエリに使用できるキー・ベクトルとすることができる。
【００７４】
ステップＳ４０５においては、予測モデル・データベース４６がＮ個のもっとも類似する予測モデルを挙動予測モジュール８４へ返し、挙動予測モジュール８４がキー・ベクトルと返された予測モデルに対応するモデル・キー・ベクトルを比較する。ステップＳ４０５において挙動予測モジュールは、キー・ベクトルとモデル・キー・ベクトルの間の類似性をはじめ、各モデル・キー・ベクトルに対応するカウントに基づいて予測モデルを絞り込むことができる。以上に基づき、挙動予測モジュール８４は、続いてキー・ベクトルとの相関がもっとも大きい１つまたは複数のモデル予測ベクトルを選択できる。
【００７５】
ステップＳ４０７においては、逆ウェーブレット変換モジュール９０が、選択された１つまたは複数の予測ベクトルに対して逆ウェーブレット変換を実行する。逆ウェーブレット変換が、ステップＳ４０１において述べた入力ベクトルと構造において類似するが、軌跡の立ち去り部分を表わすことになる出力ベクトルを提供することは認識されるであろう。立ち去り軌跡は、立ち去り軌跡が将来のタイムスタンプおよび各タイムスタンプについて対応する位置を包含できることから、物体の将来の場所として考えることもできる。出力ベクトルに基づいて、タイムスタンプおよび位置を含むアレイを組立てることができる。それに加えて、目標エリア、計算されたスコア、カメラＩＤ、物体ＩＤ、および追加の情報を含む情報をそのアレイ内にストアできる。
【００７６】
出力ベクトルおよび入力ベクトルは、ステップＳ４０９においてスコア付けモジュール８０へ伝達できる。スコア付けモジュール８０は、１つまたは複数のスコア付けエンジンを利用できる。出力ベクトルおよび入力ベクトルは、連結して、モニタされている物体の単一の予測される動きベクトルにすることができる。１つまたは複数のスコア付けエンジンは、その後、予測される動きベクトルと正常な動きのモデルを比較することによって、予測される動きベクトルのスコア付けを行う。スコアは、予測される動きベクトルの異常性に基づいて割当てられることになる。スコア付けエンジンは、先行技術のスコア付けエンジンが実際に観察される動きのスコア付けを行なっており、予測される動きベクトルが実際に観察される動きに取って代わろうと試みることから、この分野で周知の任意のスコア付けエンジンとすることができる。米国特許出願第１１／６７６，１２７号は、可能性のあるいくつかのスコア付けエンジンのアルゴリズムを開示している。しかしながら本発明には、動きデータを受取り、その動きデータと動きのモデルを比較する任意のスコア付けエンジンが使用できることが考えられる。
【００７７】
スコア付けモジュール８０によって決定されたスコアは、ステップＳ４１１においてアラーム生成モジュール３６へ伝達できる。アラーム生成モジュール３６は、生成されたスコアがスレッショルドを超えているか否かを決定することができ、それによってアラーム生成モジュールは、１つまたは複数のデバイスまたはモジュール２２〜２６へ警告通知を送ることができる。
【００７８】
ここで図４に戻って参照するが、アラーム生成モジュール３６は、異常挙動が予測されるとき、および／または検出されたときにアラーム信号を生成できる。アラーム信号は、ＧＵＩ ２２、Ａ／Ｖアラーム２４、および記録ストレージ・モジュール２６のうちの少なくとも１つに渡すことができる。例示のためにのみ述べるが、ＧＵＩ ２２は、スクリーン上に通知を表示して保安監視員またはそのほかのユーザの注意を惹くことができる。監視員は、その後その物体を観察して何らかの追加の行動が取られるか否かを決定する。たとえば保安監視員は、Ａ／Ｖアラーム２４等のアラームを付勢できる。しかしながら、例示のためにのみ述べるが、保安監視員がＧＵＩ ２２を使用してその軌跡を正常挙動に分類することもあり、その場合には続いて対応するデータをモデル構築および更新モジュール３２へ伝達して、それが正常動きデータのデータベース４４内にストアされるようにできる。
【００７９】
Ａ／Ｖアラーム２４もまたアラーム信号を受取ることができる。図にはＡ／Ｖアラーム２４が１つ示されているが、複数のＡ／Ｖアラーム２４が実装できることは認識可能である。例示のためにのみ述べるが、Ａ／Ｖアラーム２４は、限定ではないが、壁、床、乗り物、カメラ、および／または従業員によって携帯される無線ポータブル・デバイスに取付けられるライトおよび／またはサイレンを含むことができる。たとえば、アラーム信号を受取ったとき、Ａ／Ｖアラーム２４を付勢できる。しかしながら、前述したとおり、保安監視員によってもＡ／Ｖアラーム２４が付勢されるようにできる。さらにまた、異常性のスコアに基づいて異なるＡ／Ｖアラーム２４を付勢することもできる。例示のためにのみ述べるが、異常性スコアがスレッショルドより低いときにはライトの発光を行うが、スコアがスレッショルドより高いときには複数のライトの発光を行い、かつサイレンを鳴らすようにできる。
【００８０】
記録ストレージ・モジュール２６もまたアラーム信号を受取ることができる。たとえば記録ストレージ・モジュール２６は、高いアラーム信号を受取ったとき、センサ・デバイス１２ａ〜１２ｎからの画像データの記録を開始できる。記録ストレージ・モジュールは、システム１０がすべての異常挙動を取込み、かつ記録することを、システム１０による無関係なデータの常時記録および／またはストアを必要とすることなく可能にできる。
【００８１】
これも認識できるであろうが、追加のデバイスおよび／または関係者へのアラーム信号の送信もできる。例示のためにのみ述べるが、アラーム信号を近隣の警察署へ送信して補助を要請すること、あるいは機械へ送信してオペレータへの危害を防止するために動力を遮断することができる。
【００８２】
以上の実施態様の説明は、例示および説明の目的のために提供されてきた。それが網羅的であること、または本発明を限定することは意図されていない。特定の実施態様の個別の要素または特徴は、概してその特定の実施態様に限定されず、明確に示されていないか述べられていない場合であっても適用可能なときには相互交換可能であり、かつ選択された実施態様内において使用が可能である。同じことが、多くの形で多様なものになることもあり得る。その種の変形は、本発明からの逸脱とは見なされず、すべてのその種の修正は本発明の範囲内に含まれることが意図されている。
【符号の説明】
【００８３】
１０ ビデオ監視システム、システム
２０ 予測的異常挙動検出モジュール
２２ グラフィカル・ユーザ・インターフェース（ＧＵＩ）
２４ 聴覚／視覚（Ａ／Ｖ）アラーム、Ａ／Ｖアラーム
２６ 記録ストレージ・モジュール
２８ メタデータ生成モジュール
３０ メタデータ処理モジュール、前処理モジュール
３２ モデル構築および更新モジュール
３４ 挙動評価モジュール
３６ アラーム生成モジュール
４０ モデル・ロード・モジュール
４４ 正常モデル・データベース
４６ 予測モデル・データベース
４８ ベクトル生成モジュール
５０ 正常モデル生成モジュール、モデル構築モジュール
５２ ウェーブレット変換モジュール、反復変換モジュール
５４ 予測モデル生成モジュール
８０ スコア付けモジュール
８２ ウェーブレット変換モジュール
８４ 挙動予測モジュール
９０ 逆ウェーブレット変換モジュール、逆ハール・ウェーブレット変換モジュール
９２ ベクトル生成モジュール
２０１ 視野
２０３Ａ 目標エリア
２０３Ｂ 目標エリア
２０７ グリッド
１２ａ〜１２ｎ カメラ、センサ・デバイス、検知デバイス
【特許請求の範囲】
【請求項１】
空間をモニタするための予測的監視システムであって、
モニタされている物体の軌跡に対応し、前記モニタされている物体が前記軌跡の場所にいた時刻に対応するタイムスタンプを含む軌跡メタデータを生成するメタデータ処理モジュールと、
前記軌跡メタデータを受取り、前記モニタされている物体の前記軌跡のあらかじめ選択された線分に関係する動きの属性を表わす成分を有する特徴ベクトルを生成する変換モジュールと、
前記モニタされている物体に対応する前記特徴ベクトルを受取り、かつ前記あらかじめ定義済みの目標エリアに対応する予測モデルを予測モデル・データベースから検索する予測的挙動評価モジュールであって、それにおいて予測モデルは、以前にモニタされた物体についての到来軌跡および前記以前にモニタされた物体の立ち去り軌跡、および前記到来軌跡と前記立ち去り軌跡の間における結び付きに対応する指標を定義し、前記到来および立ち去り軌跡は特徴ベクトルとして表わされ、かつ前記予測モデルは、前記モニタされている物体の前記特徴ベクトルと前記到来軌跡を表わしている前記特徴ベクトルの間における類似性、および前記到来軌跡と立ち去り軌跡の間における前記結び付きに基づいて検索される、予測的挙動評価モジュールと、
前記立ち去り軌跡の前記特徴ベクトルおよび前記以前にモニタされた物体の前記軌跡の前記あらかじめ選択された線分に基づいて、予測される軌跡を生成する逆変換モジュールと、
を包含するシステム。
【請求項２】
前記変換モジュールは、さらに、前記軌跡メタデータを受取り、前記軌跡メタデータに対して実行されるあらかじめ決定済みの数のウェーブレット変換、および前記ウェーブレット変換から結果としてもたらされる係数の選択に基づいて特徴ベクトルを生成するウェーブレット変換モジュールであって、係数の選択が前記軌跡の前記あらかじめ選択された線分に基づく、ウェーブレット変換モジュールを包含する、請求項１に記載のシステム。
【請求項３】
前記ウェーブレット変換はハール変換である、請求項２に記載のシステム。
【請求項４】
前記動きの属性は、前記軌跡の前記あらかじめ選択された線分を基準点として使用することによって決定される前記モニタされている物体の速度を含む、請求項１に記載のシステム。
【請求項５】
前記逆変換モジュールは、さらに、前記立ち去り軌跡を表わす前記特徴ベクトルを受取り、前記立ち去り軌跡を表わす前記特徴ベクトルに対して逆ウェーブレット変換を実行することによって前記モニタされている物体の前記予測される軌跡を生成する逆ウェーブレット変換モジュールを包含する、請求項２に記載のシステム。
【請求項６】
前記挙動評価モジュールは、さらに、前記モニタされている物体の前記予測される軌跡と少なくとも１つの正常な動きのモデルの比較に基づいて異常性スコアを生成するべく動作可能であり、それにおいて前記正常な動きのモデルは、監視下にあるエリアの期待される利用に対応する移動物体の期待される局所的な動きを定義する、請求項１に記載のシステム。
【請求項７】
さらに、
アラームの作動、前記軌跡メタデータに対応する画像データのストア、およびユーザへの通知のうちの少なくとも１つを、前記物体の前記異常性スコアに基づいて実行するアラーム生成モジュール、
を包含する、請求項６に記載のシステム。
【請求項８】
さらに、
アラームの作動、前記軌跡メタデータに対応する画像データのストア、およびユーザへの通知のうちの少なくとも１つを、前記移動物体の前記予測される将来の場所に基づいて実行するアラーム生成モジュール、
を包含する、請求項１に記載のシステム。
【請求項９】
さらに、
前記予測モデル・データベースが、前記モニタされている物体の前記特徴ベクトルと類似する到来軌跡を表わす特徴ベクトルを有する予測モデルを含まないとき、前記あらかじめ定義済みの目標エリアに対応する新しい予測モデルを生成するモデル構築および更新モジュールを包含し、それにおいて前記モデル構築および更新モジュールは、前記モニタされている物体の立ち去り軌跡を表わす前記モニタされている物体の前記軌跡に対応する追加の軌跡メタデータを受取り、前記変換モジュールは、前記モニタされている物体の前記立ち去り軌跡を表わす特徴ベクトルを生成する、
請求項１に記載のシステム。
【請求項１０】
前記モデル構築および更新モジュールは、学習段階および運用段階の間に動作し、それにおいて前記学習段階は、前記モデル構築および更新モジュールが前記以前にモニタされた物体の軌跡に対応するトレーニング・データを受取ることに対応し、前記運用段階は、前記モデル構築および更新モジュールがモニタされている物体の軌跡に対応するリアルタイム・データを受取ることに対応する、請求項９に記載のシステム。
【請求項１１】
前記新しい予測モデルは、前記モニタされている物体の前記軌跡の到来部分に対して少なくとも１つのウェーブレット変換を実行することによって、および前記モニタされている物体の前記立ち去り軌跡に対してウェーブレット変換を実行することによって前記変換モジュールにより生成され、それにおいて前記変換モジュールは、前記軌跡の前記あらかじめ選択された線分に対応する前記ウェーブレット変換の結果から係数を選択する、請求項９に記載のシステム。
【請求項１２】
前記ウェーブレット変換はハール変換である、請求項１１に記載のシステム。
【請求項１３】
前記指標は、前記立ち去り軌跡が前記目標エリアに関して所定の前記到来軌跡を生じる確率を表わす、請求項１に記載のシステム。
【請求項１４】
前記確率は、前記立ち去り軌跡が所定の前記到来軌跡を生じる確率を表わし、前記異常性スコアは、さらに、前記予測される軌跡が生じる前記確率に基づく、請求項６に記載のシステム。
【請求項１５】
前記選択される係数は、前記ウェーブレット変換の各反復からの３番目、５番目、および９番目の係数出力を含む、請求項２に記載のシステム。
【請求項１６】
前記選択される係数は、前記ウェーブレット変換の各反復からの少なくとも１つの出力を含む、請求項２に記載のシステム。
【請求項１７】
予測的監視システムであって、
空間を通り抜ける移動物体の観察される軌跡に関係する軌跡情報を受取り、前記軌跡情報に基づいて潜在的予測モデルを生成するモデル構築モジュールであって、それにおいて前記潜在的予測モデルは、所定の位置に到達する前記移動物体によって通り抜けられた到来トレーニング軌跡、前記所定の位置からの前記移動物体についての予測トレーニング軌跡、および前記到来トレーニング軌跡と前記予測トレーニング軌跡の間における相関に対応する潜在的カウントを含み、前記到来および予測トレーニング軌跡は、前記移動物体によって通り抜けられた前記軌跡のあらかじめ選択された線分に関係する動きの属性を表わす成分を有する特徴ベクトルとして表わされる、モデル構築モジュールと、
少なくとも１つの予測モデルをストアしている予測モデル・データベースであって、それにおいて予測モデルは、前記空間を通り抜けて所定の位置に到達する以前にモニタされた物体によって通り抜けられた到来モデル軌跡、および前記所定の位置から前記空間を通り抜ける前記以前にモニタされた物体によって通り抜けられたモデル予測軌跡、および前記到来モデル軌跡と前記モデル予測軌跡の間における相関に対応するカウントを含み、前記到来モデル軌跡および前記モデル予測軌跡は、前記以前にモニタされた物体によって通り抜けられた前記軌跡のあらかじめ選択された線分に関係する動きの属性を表わす成分を有する特徴ベクトルとして表わされる、予測モデル・データベースと、
を包含し、
前記モデル構築モジュールが、前記到来トレーニング軌跡を表わす前記特徴ベクトルを使用して前記予測モデル・データベースのクエリを行い、前記到来トレーニング軌跡を表わす前記特徴ベクトルと類似する前記到来モデル軌跡を表わす特徴ベクトルを有する予測モデルがあればそれを受取り、
前記モデル構築モジュールによって受取られる予測モデルがないときには、前記モデル構築モジュールが、前記予測モデル・データベース内に前記潜在的予測モデルをストアし、
前記受取られた予測モデルに対応する前記モデル予測軌跡を表わす前記特徴ベクトルのいずれも前記予測トレーニング軌跡を表わす前記特徴ベクトルと類似していないとき、前記モデル構築モジュールが、前記予測モデル・データベース内に前記潜在的予測モデルをストアし、
前記モデル構築モジュールが、前記到来トレーニング軌跡を表わす前記特徴ベクトルが前記受取られた予測モデルの前記到来モデル軌跡を表わす前記特徴ベクトルと類似し、かつ前記予測トレーニング軌跡を表わす前記特徴ベクトルが前記受取られた予測モデルに対応する前記モデル予測軌跡を表わす前記特徴ベクトルと類似するとき、前記受取られた予測モデルの前記カウントを更新する、予測的監視システム。
【請求項１８】
さらに、
前記空間内における動きがモニタされている物体についての軌跡情報に対応する入力軌跡を表わす特徴ベクトルを伝達し、前記入力軌跡と前記受取られた予測モデルの入力モデル軌跡の間における類似性、および前記入力モデル軌跡と前記受取られた予測モデルの前記モデル予測軌跡の間における前記相関に基づいて前記予測モデル・データベースから少なくとも１つの予測モデルを受取る挙動評価モジュールを包含し、
前記挙動評価モジュールが、前記受取られた予測モデルに基づいて前記物体の少なくとも１つの予測される将来の場所を生成する、
請求項１７に記載のシステム。
【請求項１９】
さらに、
軌跡情報に基づいてデータ構造を受取り、前記データ構造に対して少なくとも１つのウェーブレット変換を実行し、かつ到来トレーニング軌跡を表わす特徴ベクトル、予測トレーニング軌跡を表わす特徴ベクトル、到来モデル軌跡を表わす特徴ベクトル、モデル予測軌跡を表わす特徴ベクトル、および入力軌跡を表わす特徴ベクトルのうちの少なくとも１つを、前記少なくとも１つのウェーブレット変換および前記軌跡情報のあらかじめ選択された部分に基づいて生成するウェーブレット変換モジュール、
を包含する、請求項１８に記載のシステム。
【請求項２０】
前記ウェーブレット変換はハール変換である、請求項１９に記載のシステム。
【請求項２１】
さらに、
モデル予測軌跡を表わす特徴ベクトルを受取り、前記特徴ベクトルに対して逆ウェーブレット変換を実行し、かつ前記逆ウェーブレット変換に基づいて前記移動物体の予測される将来の場所を生成する逆ウェーブレット変換モジュール、
を包含する、請求項１９に記載のシステム。
【請求項２２】
前記ウェーブレット変換はハール変換であり、前記逆ウェーブレット変換は逆ハール変換である、請求項２１に記載のシステム。
【請求項２３】
前記データ構造は、カメラの視野内において観察される物体の、空間−時間的な局在化された期待される動きモデルに関係する情報をストアするデータ・キューブである、請求項１９に記載のシステム。
【請求項２４】
前記データ構造は、時間および目標エリアに関して物体の軌跡に関係する情報をストアする動きベクトルであり、それにおいて前記目標エリアは、カメラの視野内におけるユーザにより定義された場所である、請求項１９に記載のシステム。
【請求項２５】
前記挙動評価モジュールは、さらに、前記移動物体の前記予測される将来の場所および少なくとも１つの正常な動きのモデルに基づいて異常性スコアを生成するべく動作可能であり、それにおいて前記正常な動きのモデルは、監視下にあるエリアの期待される利用に対応する、空間における期待される正常な局在化された動きを定義する、請求項１８に記載のシステム。
【請求項２６】
さらに、
アラームの作動、前記センサ・データのストア、およびユーザへの通知のうちの少なくとも１つを、前記物体の前記異常性スコアに基づいて実行するアラーム生成モジュール、
を包含する、請求項２５に記載のシステム。
【請求項２７】
さらに、
アラームの作動、前記センサ・データのストア、およびユーザへの通知のうちの少なくとも１つを、前記移動物体の前記予測される将来の場所に基づいて実行するアラーム生成モジュール、
を包含する、請求項１８に記載のシステム。
【請求項２８】
監視デバイスによって観察されている移動物体の将来の場所を予測するための方法であって、
前記移動物体に対応する動きデータを前記監視デバイスから受取るステップと、
前記受取った動きデータに基づいてメタデータを生成するステップであって、前記メタデータが前記移動物体のタイムスタンプ、場所、および大きさを含むステップと、
前記メタデータをストアしているデータ構造に対して少なくとも１つのウェーブレット変換を実行するステップと、
前記少なくとも１つのウェーブレット変換に基づいてキーを生成するステップと、
前記キーを使用して予測モデル・データベースのクエリを行うステップであって、前記予測モデル・データベースが学習済みデータに基づく予測モデルをストアしており、かつそれにおいて前記予測モデルのそれぞれが、学習済み軌跡の第１の部分に基づくモデル・キー、前記学習済み軌跡の第２の部分に基づくモデル予測、および前記モデル・キーと前記モデル予測の間における相関に対応するカウントを含むステップと、
前記予測モデル・データベースから少なくとも１つの予測モデルを受取るステップであって、前記キーと前記受取る予測モデルのモデル・キーの類似性、および前記受取る予測モデルの前記カウントに基づいて受取るステップと、
受取ったモデル・キーおよび受取ったカウントに基づいて前記移動物体の少なくとも１つの将来の場所を生成するステップと、
を包含する方法。
【請求項２９】
前記移動物体の少なくとも１つの将来の場所を生成するステップは、さらに、前記受取ったモデル予測に対して少なくとも１つの逆ウェーブレット変換を実行するステップを含む、請求項２８に記載の方法。
【請求項３０】
前記ウェーブレット変換はハール変換であり、前記逆ウェーブレット変換は逆ハール変換である、請求項２９に記載の方法。
【請求項３１】
各予測モデルの前記モデル・キーおよび前記モデル予測は、観察された軌跡に対応するメタデータの少なくとも１つのウェーブレット変換に基づく、請求項２８に記載の方法。
【請求項３２】
さらに、前記移動物体に対応するキーが以前に前記予測モデル・データベース内にストアされた前記予測モデルのいずれにも対応しないとき、前記移動物体に基づいて予測モデルを生成して前記予測モデル・データベース内にストアするステップを包含する、請求項２８に記載の方法。
【請求項３３】
さらに、前記移動物体の前記予測される将来の場所および少なくとも１つの正常な動きのモデルに基づいて異常性スコアを生成するステップを包含し、それにおいて前記正常な動きのモデルは、監視下にあるエリアの期待される利用に対応する、空間における期待される正常な局在化された動きを定義する、請求項２８に記載の方法。
【請求項３４】
前記異常性スコアは、さらに前記受取ったカウントに基づく、請求項３３に記載の方法。
【請求項１】
空間をモニタするための予測的監視システムであって、
モニタされている物体の軌跡に対応し、前記モニタされている物体が前記軌跡の場所にいた時刻に対応するタイムスタンプを含む軌跡メタデータを生成するメタデータ処理モジュールと、
前記軌跡メタデータを受取り、前記モニタされている物体の前記軌跡のあらかじめ選択された線分に関係する動きの属性を表わす成分を有する特徴ベクトルを生成する変換モジュールと、
前記モニタされている物体に対応する前記特徴ベクトルを受取り、かつ前記あらかじめ定義済みの目標エリアに対応する予測モデルを予測モデル・データベースから検索する予測的挙動評価モジュールであって、それにおいて予測モデルは、以前にモニタされた物体についての到来軌跡および前記以前にモニタされた物体の立ち去り軌跡、および前記到来軌跡と前記立ち去り軌跡の間における結び付きに対応する指標を定義し、前記到来および立ち去り軌跡は特徴ベクトルとして表わされ、かつ前記予測モデルは、前記モニタされている物体の前記特徴ベクトルと前記到来軌跡を表わしている前記特徴ベクトルの間における類似性、および前記到来軌跡と立ち去り軌跡の間における前記結び付きに基づいて検索される、予測的挙動評価モジュールと、
前記立ち去り軌跡の前記特徴ベクトルおよび前記以前にモニタされた物体の前記軌跡の前記あらかじめ選択された線分に基づいて、予測される軌跡を生成する逆変換モジュールと、
を包含するシステム。
【請求項２】
前記変換モジュールは、さらに、前記軌跡メタデータを受取り、前記軌跡メタデータに対して実行されるあらかじめ決定済みの数のウェーブレット変換、および前記ウェーブレット変換から結果としてもたらされる係数の選択に基づいて特徴ベクトルを生成するウェーブレット変換モジュールであって、係数の選択が前記軌跡の前記あらかじめ選択された線分に基づく、ウェーブレット変換モジュールを包含する、請求項１に記載のシステム。
【請求項３】
前記ウェーブレット変換はハール変換である、請求項２に記載のシステム。
【請求項４】
前記動きの属性は、前記軌跡の前記あらかじめ選択された線分を基準点として使用することによって決定される前記モニタされている物体の速度を含む、請求項１に記載のシステム。
【請求項５】
前記逆変換モジュールは、さらに、前記立ち去り軌跡を表わす前記特徴ベクトルを受取り、前記立ち去り軌跡を表わす前記特徴ベクトルに対して逆ウェーブレット変換を実行することによって前記モニタされている物体の前記予測される軌跡を生成する逆ウェーブレット変換モジュールを包含する、請求項２に記載のシステム。
【請求項６】
前記挙動評価モジュールは、さらに、前記モニタされている物体の前記予測される軌跡と少なくとも１つの正常な動きのモデルの比較に基づいて異常性スコアを生成するべく動作可能であり、それにおいて前記正常な動きのモデルは、監視下にあるエリアの期待される利用に対応する移動物体の期待される局所的な動きを定義する、請求項１に記載のシステム。
【請求項７】
さらに、
アラームの作動、前記軌跡メタデータに対応する画像データのストア、およびユーザへの通知のうちの少なくとも１つを、前記物体の前記異常性スコアに基づいて実行するアラーム生成モジュール、
を包含する、請求項６に記載のシステム。
【請求項８】
さらに、
アラームの作動、前記軌跡メタデータに対応する画像データのストア、およびユーザへの通知のうちの少なくとも１つを、前記移動物体の前記予測される将来の場所に基づいて実行するアラーム生成モジュール、
を包含する、請求項１に記載のシステム。
【請求項９】
さらに、
前記予測モデル・データベースが、前記モニタされている物体の前記特徴ベクトルと類似する到来軌跡を表わす特徴ベクトルを有する予測モデルを含まないとき、前記あらかじめ定義済みの目標エリアに対応する新しい予測モデルを生成するモデル構築および更新モジュールを包含し、それにおいて前記モデル構築および更新モジュールは、前記モニタされている物体の立ち去り軌跡を表わす前記モニタされている物体の前記軌跡に対応する追加の軌跡メタデータを受取り、前記変換モジュールは、前記モニタされている物体の前記立ち去り軌跡を表わす特徴ベクトルを生成する、
請求項１に記載のシステム。
【請求項１０】
前記モデル構築および更新モジュールは、学習段階および運用段階の間に動作し、それにおいて前記学習段階は、前記モデル構築および更新モジュールが前記以前にモニタされた物体の軌跡に対応するトレーニング・データを受取ることに対応し、前記運用段階は、前記モデル構築および更新モジュールがモニタされている物体の軌跡に対応するリアルタイム・データを受取ることに対応する、請求項９に記載のシステム。
【請求項１１】
前記新しい予測モデルは、前記モニタされている物体の前記軌跡の到来部分に対して少なくとも１つのウェーブレット変換を実行することによって、および前記モニタされている物体の前記立ち去り軌跡に対してウェーブレット変換を実行することによって前記変換モジュールにより生成され、それにおいて前記変換モジュールは、前記軌跡の前記あらかじめ選択された線分に対応する前記ウェーブレット変換の結果から係数を選択する、請求項９に記載のシステム。
【請求項１２】
前記ウェーブレット変換はハール変換である、請求項１１に記載のシステム。
【請求項１３】
前記指標は、前記立ち去り軌跡が前記目標エリアに関して所定の前記到来軌跡を生じる確率を表わす、請求項１に記載のシステム。
【請求項１４】
前記確率は、前記立ち去り軌跡が所定の前記到来軌跡を生じる確率を表わし、前記異常性スコアは、さらに、前記予測される軌跡が生じる前記確率に基づく、請求項６に記載のシステム。
【請求項１５】
前記選択される係数は、前記ウェーブレット変換の各反復からの３番目、５番目、および９番目の係数出力を含む、請求項２に記載のシステム。
【請求項１６】
前記選択される係数は、前記ウェーブレット変換の各反復からの少なくとも１つの出力を含む、請求項２に記載のシステム。
【請求項１７】
予測的監視システムであって、
空間を通り抜ける移動物体の観察される軌跡に関係する軌跡情報を受取り、前記軌跡情報に基づいて潜在的予測モデルを生成するモデル構築モジュールであって、それにおいて前記潜在的予測モデルは、所定の位置に到達する前記移動物体によって通り抜けられた到来トレーニング軌跡、前記所定の位置からの前記移動物体についての予測トレーニング軌跡、および前記到来トレーニング軌跡と前記予測トレーニング軌跡の間における相関に対応する潜在的カウントを含み、前記到来および予測トレーニング軌跡は、前記移動物体によって通り抜けられた前記軌跡のあらかじめ選択された線分に関係する動きの属性を表わす成分を有する特徴ベクトルとして表わされる、モデル構築モジュールと、
少なくとも１つの予測モデルをストアしている予測モデル・データベースであって、それにおいて予測モデルは、前記空間を通り抜けて所定の位置に到達する以前にモニタされた物体によって通り抜けられた到来モデル軌跡、および前記所定の位置から前記空間を通り抜ける前記以前にモニタされた物体によって通り抜けられたモデル予測軌跡、および前記到来モデル軌跡と前記モデル予測軌跡の間における相関に対応するカウントを含み、前記到来モデル軌跡および前記モデル予測軌跡は、前記以前にモニタされた物体によって通り抜けられた前記軌跡のあらかじめ選択された線分に関係する動きの属性を表わす成分を有する特徴ベクトルとして表わされる、予測モデル・データベースと、
を包含し、
前記モデル構築モジュールが、前記到来トレーニング軌跡を表わす前記特徴ベクトルを使用して前記予測モデル・データベースのクエリを行い、前記到来トレーニング軌跡を表わす前記特徴ベクトルと類似する前記到来モデル軌跡を表わす特徴ベクトルを有する予測モデルがあればそれを受取り、
前記モデル構築モジュールによって受取られる予測モデルがないときには、前記モデル構築モジュールが、前記予測モデル・データベース内に前記潜在的予測モデルをストアし、
前記受取られた予測モデルに対応する前記モデル予測軌跡を表わす前記特徴ベクトルのいずれも前記予測トレーニング軌跡を表わす前記特徴ベクトルと類似していないとき、前記モデル構築モジュールが、前記予測モデル・データベース内に前記潜在的予測モデルをストアし、
前記モデル構築モジュールが、前記到来トレーニング軌跡を表わす前記特徴ベクトルが前記受取られた予測モデルの前記到来モデル軌跡を表わす前記特徴ベクトルと類似し、かつ前記予測トレーニング軌跡を表わす前記特徴ベクトルが前記受取られた予測モデルに対応する前記モデル予測軌跡を表わす前記特徴ベクトルと類似するとき、前記受取られた予測モデルの前記カウントを更新する、予測的監視システム。
【請求項１８】
さらに、
前記空間内における動きがモニタされている物体についての軌跡情報に対応する入力軌跡を表わす特徴ベクトルを伝達し、前記入力軌跡と前記受取られた予測モデルの入力モデル軌跡の間における類似性、および前記入力モデル軌跡と前記受取られた予測モデルの前記モデル予測軌跡の間における前記相関に基づいて前記予測モデル・データベースから少なくとも１つの予測モデルを受取る挙動評価モジュールを包含し、
前記挙動評価モジュールが、前記受取られた予測モデルに基づいて前記物体の少なくとも１つの予測される将来の場所を生成する、
請求項１７に記載のシステム。
【請求項１９】
さらに、
軌跡情報に基づいてデータ構造を受取り、前記データ構造に対して少なくとも１つのウェーブレット変換を実行し、かつ到来トレーニング軌跡を表わす特徴ベクトル、予測トレーニング軌跡を表わす特徴ベクトル、到来モデル軌跡を表わす特徴ベクトル、モデル予測軌跡を表わす特徴ベクトル、および入力軌跡を表わす特徴ベクトルのうちの少なくとも１つを、前記少なくとも１つのウェーブレット変換および前記軌跡情報のあらかじめ選択された部分に基づいて生成するウェーブレット変換モジュール、
を包含する、請求項１８に記載のシステム。
【請求項２０】
前記ウェーブレット変換はハール変換である、請求項１９に記載のシステム。
【請求項２１】
さらに、
モデル予測軌跡を表わす特徴ベクトルを受取り、前記特徴ベクトルに対して逆ウェーブレット変換を実行し、かつ前記逆ウェーブレット変換に基づいて前記移動物体の予測される将来の場所を生成する逆ウェーブレット変換モジュール、
を包含する、請求項１９に記載のシステム。
【請求項２２】
前記ウェーブレット変換はハール変換であり、前記逆ウェーブレット変換は逆ハール変換である、請求項２１に記載のシステム。
【請求項２３】
前記データ構造は、カメラの視野内において観察される物体の、空間−時間的な局在化された期待される動きモデルに関係する情報をストアするデータ・キューブである、請求項１９に記載のシステム。
【請求項２４】
前記データ構造は、時間および目標エリアに関して物体の軌跡に関係する情報をストアする動きベクトルであり、それにおいて前記目標エリアは、カメラの視野内におけるユーザにより定義された場所である、請求項１９に記載のシステム。
【請求項２５】
前記挙動評価モジュールは、さらに、前記移動物体の前記予測される将来の場所および少なくとも１つの正常な動きのモデルに基づいて異常性スコアを生成するべく動作可能であり、それにおいて前記正常な動きのモデルは、監視下にあるエリアの期待される利用に対応する、空間における期待される正常な局在化された動きを定義する、請求項１８に記載のシステム。
【請求項２６】
さらに、
アラームの作動、前記センサ・データのストア、およびユーザへの通知のうちの少なくとも１つを、前記物体の前記異常性スコアに基づいて実行するアラーム生成モジュール、
を包含する、請求項２５に記載のシステム。
【請求項２７】
さらに、
アラームの作動、前記センサ・データのストア、およびユーザへの通知のうちの少なくとも１つを、前記移動物体の前記予測される将来の場所に基づいて実行するアラーム生成モジュール、
を包含する、請求項１８に記載のシステム。
【請求項２８】
監視デバイスによって観察されている移動物体の将来の場所を予測するための方法であって、
前記移動物体に対応する動きデータを前記監視デバイスから受取るステップと、
前記受取った動きデータに基づいてメタデータを生成するステップであって、前記メタデータが前記移動物体のタイムスタンプ、場所、および大きさを含むステップと、
前記メタデータをストアしているデータ構造に対して少なくとも１つのウェーブレット変換を実行するステップと、
前記少なくとも１つのウェーブレット変換に基づいてキーを生成するステップと、
前記キーを使用して予測モデル・データベースのクエリを行うステップであって、前記予測モデル・データベースが学習済みデータに基づく予測モデルをストアしており、かつそれにおいて前記予測モデルのそれぞれが、学習済み軌跡の第１の部分に基づくモデル・キー、前記学習済み軌跡の第２の部分に基づくモデル予測、および前記モデル・キーと前記モデル予測の間における相関に対応するカウントを含むステップと、
前記予測モデル・データベースから少なくとも１つの予測モデルを受取るステップであって、前記キーと前記受取る予測モデルのモデル・キーの類似性、および前記受取る予測モデルの前記カウントに基づいて受取るステップと、
受取ったモデル・キーおよび受取ったカウントに基づいて前記移動物体の少なくとも１つの将来の場所を生成するステップと、
を包含する方法。
【請求項２９】
前記移動物体の少なくとも１つの将来の場所を生成するステップは、さらに、前記受取ったモデル予測に対して少なくとも１つの逆ウェーブレット変換を実行するステップを含む、請求項２８に記載の方法。
【請求項３０】
前記ウェーブレット変換はハール変換であり、前記逆ウェーブレット変換は逆ハール変換である、請求項２９に記載の方法。
【請求項３１】
各予測モデルの前記モデル・キーおよび前記モデル予測は、観察された軌跡に対応するメタデータの少なくとも１つのウェーブレット変換に基づく、請求項２８に記載の方法。
【請求項３２】
さらに、前記移動物体に対応するキーが以前に前記予測モデル・データベース内にストアされた前記予測モデルのいずれにも対応しないとき、前記移動物体に基づいて予測モデルを生成して前記予測モデル・データベース内にストアするステップを包含する、請求項２８に記載の方法。
【請求項３３】
さらに、前記移動物体の前記予測される将来の場所および少なくとも１つの正常な動きのモデルに基づいて異常性スコアを生成するステップを包含し、それにおいて前記正常な動きのモデルは、監視下にあるエリアの期待される利用に対応する、空間における期待される正常な局在化された動きを定義する、請求項２８に記載の方法。
【請求項３４】
前記異常性スコアは、さらに前記受取ったカウントに基づく、請求項３３に記載の方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公表番号】特表２０１２−５１８８４６（Ｐ２０１２−５１８８４６Ａ）
【公表日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−５５１２４５（Ｐ２０１１−５５１２４５）
【出願日】平成２２年２月１９日（２０１０．２．１９）
【国際出願番号】ＰＣＴ／ＵＳ２０１０／０２４７１６
【国際公開番号】ＷＯ２０１０／１４１１１７
【国際公開日】平成２２年１２月９日（２０１０．１２．９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公表日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２２年２月１９日（２０１０．２．１９）
【国際出願番号】ＰＣＴ／ＵＳ２０１０／０２４７１６
【国際公開番号】ＷＯ２０１０／１４１１１７
【国際公開日】平成２２年１２月９日（２０１０．１２．９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]