バックトラック及び行動解析を用いる自動非対称性脅威検出
【課題】都市環境において複数のサイトへ展開されている遍在的センサネットワークを介して収集されるデータを利用する予測的脅威検出の方法及びシステムを提供する。
【解決手段】この方法は、（ａ）被疑エンティティによるトリガ行動の実行に応答して、現在のサイトにおける被疑エンティティに関する問い合わせをトリガする工程と、（ｂ）問い合わせに応答して、センサネットワークにより被疑エンティティが検出されたサイトに対応するデータをコンパイルする工程と、（ｃ）データを解析して被疑エンティティに関する脅威状態を決定する工程と、からなる。
【解決手段】この方法は、（ａ）被疑エンティティによるトリガ行動の実行に応答して、現在のサイトにおける被疑エンティティに関する問い合わせをトリガする工程と、（ｂ）問い合わせに応答して、センサネットワークにより被疑エンティティが検出されたサイトに対応するデータをコンパイルする工程と、（ｃ）データを解析して被疑エンティティに関する脅威状態を決定する工程と、からなる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は監視システムに関する。より詳細には、本発明は現在の知見に基づき、センサネットワークを通じて得られる履歴画像及びビデオデータを自動的に再解析及び再解釈するように動作する予測的脅威検出システムに関する。
【背景技術】
【０００２】
ほぼ全ての国家にとって、犯罪及びテロ行為に対する効果的なセキュリティとは、熱心な追跡を行うことである。実際、セキュリティを高めるために監視を行うことは、民間団体、政府機関及び企業に次第に広まりつつある。今日の社会では、個人が企業の施設を訪問したり政府の建造物に入ったりする際に上を見上げ、自分が少なくとも１つのカメラの監視レンズの下にいると気付くことは、極めて普通のことである。この監視の背後にある技術は、近年、爆発的に拡大しており、新たな場所におけるセキュリティ監視設備の使用に比例した増加を助長するとともに、新たな目的も考慮されている。
【０００３】
セキュリティ監視は様々な人や機関により使用されるが、潜在的な脅威の検出及びそれらの脅威からの保護という、共通の目標を共有する。この目標が現在の技術により達成されているかは、現状では明らかでない。実際、この目標に向けての進展は、穏やかな歩調でなされている。この目標に向けての最初の一歩は、警備員、即ち、人間による監視の実施であった。人間による監視は生命及び財産を保護するために長年用いられてきたが、本質的に空間的及び時間的な制限を有する。例えば、警備員は実際にイベントが発生する際、その限定された分しか知覚し得ず、警備員の記憶力は限定されており、また多くの場合、警備員は脅威が存在しているときに、イベント、人又は手段の相互関係を理解しない。このため、集団に紛れ込んでいる犯罪勢力又は敵対勢力が検出され得ない場合がある。
【０００４】
人間による監視の幾つかの制限に対処するために、電子的な監視が開発され実現された。１９６０年代初頭、監視技術は発展し、ビデオカメラの使用を備えた。ｈｔｔｐ：／／ａｒｃｈｉｖｅｓ．ｃｎｎ．ｃｏｍ／２００２／ＬＡＷ／１０／２１／ｃｔｖ．ｃａｍｅｒａｓ／にて利用可能なＣＮＮアーカイブを参照のこと。初期のカメラシステムが成功したのは、１９９０年代にデジタル技術が出現し、普及してからであり、これによりメモリ、スピード及びビデオ解像度においてシステム容量が増大した。同参照。現在、この監視により、個人がイベントの発生を見ること（時間的に順方向、即ち「順方向時間ベースの」手法）が可能であり、後で見るために、これらのイベントを記録することが可能である。例えば、個人（多くの場合、警備員）は幾つかの場所に対する複数の閉回路のカメラをモニタし、必要に応じて、所定の位置に物理的なセキュリティの執行を行うことが可能である。また、そのようなシステムは、個人の経営者又は自家所有者によりインターネットを通じて遠隔的にモニタされ得る。予想されるように、保護領域の大きさや重要性に応じてこれらのシステムの複雑さは異なり、複数のカメラや監視センサを有する場合がある。
【０００５】
電子監視技術の向上により、その使用はさらに遍在的となった。政府は市民をさらに保護するために、この技術の大規模な実施を開始した。例えば、イギリスは、その並外れた監視システムのため、電子監視における世界的なリーダとして知られるようになった。電子プライバシ情報センタ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｉｖａｃｙ Ｉｎｆｏｒｍａｔｉｏｎ Ｃｅｎｔｅｒ）によれば、イギリスは１５０万台を超える監視カメラを設置しており、これによって平均的なロンドンの人々は１日に３００回を超えてビデオに撮影されている。同参照。実際、米国においては、ボストン、シカゴ、ボルチモア等の主要都市は、犯罪、交通問題及び敵対的行為を減少させるために、電子監視を実施するという計画を有する。ジャック・レビン（Ｊａｃｋ Ｌｅｖｉｎ）による「目とカメラによる大学生の監
視（Ｋｅｅｐｉｎｇ Ａｎ Ｅｙｅ Ａｎｄ Ａ Ｃａｍｅｒａ Ｏｎ Ｃｏｌｌｅｇｅ
Ｓｔｕｄｅｎｔｓ）」、ボストン・グローブ（Ｔｈｅ Ｂｏｓｔｏｎ Ｇｌｏｂｅ）、２００５年２月５日、Ａ１１を参照のこと。実際、今では電子監視が身の回りに存在しているという現実に加えて、単に犯罪やテロ行為との闘争において、さらに有効となることも明らかである。
【０００６】
現在、電子監視システムの多くは人間による相互作用から独立し、モニタ上に提示されるビデオデータをモニタ及び解析するように発展している。電子監視は遍在的となりつつあるが、人間の判断に依存することは人的資源の制限及びコストのために問題である。発展しつつある電子監視の独立性により、これらの欠点への対処が試みられている。実際、人間の判断を必要としない視覚追跡及び画像処理ソフトウェアを利用する監視方法及び技術が開発されつつある。例えば、識別及び顔認識センサ等の利用可能な技術は、顔や場所の深度及び寸法を測定することが可能である。この技術を用いて、ＡＴＭユーザを識別すること、制限区域において認可される人にアクセスを提供する（認可されない人には警報を発する）こと、また、３次元の部屋及び場所や、様々な人及び車両の動きをモニタすることが可能である。例えば、ｈｔｔｐ：／／ｗｗｗ．３ｄｖｓｙｓｔｅｍｓ．ｃｏｍ／ｓｏｌｕｔｉｏｎｓ／ｍａｒｋｅｔｓ．ｈｔｍｌにて利用可能な３ＤＶウェブサイトを参照のこと。
【０００７】
しかしながら、前述のシステムと同様に、これらの電子監視システムは人間による監視の不適切さを共有する。即ち、順方向時間ベース手法を利用したり、リアルタイムのデータを事後のユーザ検証のためにアーカイブしたりする。敵対者が一般市民のように装い、一般市民の車両を運転し、かつ、一般市民のように行動することにより都市環境において活動する状況では、最先端技術のモニタ及び監視システムであっても何ら不審な事は検出されないため、敵対者は処罰されずに移動することが可能である。敵対者が攻撃するときは、通常、不意打ちである。さらに悪いことに、敵対者が攻撃するときには既に、攻撃に至るまでのイベントの記録が存在しない場合や、或いは、断片的な情報しか存在せず一貫した話に集約するには長い時間を必要とする場合があるため、敵対者がその攻撃を如何にして準備したかについてまとめるには遅すぎる。
【０００８】
都市環境における高密度センサネットワークの配備は実施可能となったが、全てのセンサデータの処理や全てのオブジェクトのリアルタイムによる追跡（トラック；ｔｒａｃｋｉｎｇ）は実施可能ではないであろう。将来関係するデータのサブセットを予測することは、最新のイベント及びエンティティ追跡の記録なしでは殊更に、極めて困難であることが判明しており、これらのセンサネットワークの利用は非常に制限される。したがって、これらの順方向時間ベースのネットワークは、悪事を防止するのではなく、最良でも悪事の識別及び原因に関するその後の調査を支援する役割を果たすまでである。
【０００９】
このように、この順方向時間ベース手法には幾つかの欠点が存在する。即ち、（ａ）敵対者は攻撃を展開しようと決断するまで、中立的に見え、中立的に行動するように偽装することにより、奇襲の要素を利用し、ほぼ抵抗を受けずに対象に接近することが可能である。また、（ｂ）脅威に関する幾つかの予兆を提供する行動上の又は物理的な手掛かりが存在する場合にも、脅威の起点を発見する可能性は再現が困難であり、喪失される場合もある。この順方向時間ベース手法の不適切さは人による監視及び電子監視の双方に共通しており、最近のイベントに見られる私服の武力闘争や敵対的攻撃を通じ、ごく最近になっても露呈されている。
【００１０】
特に、順方向時間ベースの監視は偽装の敵対的攻撃を防止することが不可能であると考えられる。適切な訓練を受けた兵士にとっては、軍事戦闘行為における従来の脅威評価は比較的簡単な作業であった。しかしながら、偽装に基づくテロ行為に対する軍事戦闘行為
における現在の傾向では、敵対的作戦をカムフラージュ及び実行するために都市環境が用いられる。したがって、服装、顔、軍用品の種類又は不審な接近車両のリアルタイムの認識により（順方向時間ベース手法を用いて）友好勢力に警告が与えられる場合にも、攻撃を防止するには警告が遅すぎることが多い。実際、社会には順方向時間ベースの脅威評価を通じて偽装の敵対的攻撃が阻止される場合があるが、この方法は不適切である。現在の経験によれば、敵対勢力は攻撃を実行するために、この順方向時間ベース手法を利用することが分かっている。
【００１１】
したがって、当分野においては、予測的かつ予防的な脅威検出システムが必要である。当分野においては、センサネットワークを介して、画像、ビデオその他のデータを処理及びアーカイブすることが可能であり、かつ、現在の知見に基づき、このアーカイブされたデータを解析し得る脅威検出システムが必要である。当分野においては、センサデータの短期メモリバンクを利用して、時間的に逆方向にエンティティを選択的に追跡する脅威検出システム、特に、使用が保証されるまで、より有効であるが高価なデータ処理方法の使用を選択的に留保するシステムが必要である。さらに、当分野においては、拠点の基地の場所、仲間並びに共通して使用する戦略及び攻撃のパターン等、敵対者に関する有用な情報を取得するように動作する脅威検出システムが必要である。最後に、当分野においては、現在の重要なイベントに応じて、アーカイブされた履歴データを再解析及び再解釈し、かつ、発見及びその発見の提示する脅威を適切に解析するように動作する自動的な予測的脅威検出システムが必要である。
【発明を実施するための最良の形態】
【００１２】
特に、周囲の建造物によって視界が極度に制限されることが多く、行動の結果が事後まで理解されない都市環境においては、タイムマシンは極めて強力な軍用品となり得るであろう。過去への行程が数時間又は数日までに限定されており、過去は変更不可能であり観察のみが可能である場合であったとしても、その情報の内容だけで非常に有用であろう。例えば、警備ゲートに接近中の無害に見える乗用車も、過去へ行き、反乱者を隠匿していることが強く疑われる地域からその乗用車がやって来たことを観察することが可能であれば、それほど無害には見えないであろう。別の例として、出荷倉庫は、最近の車両爆破に関係する車の全てが爆破の直前にその倉庫に停車していたことが観察される場合、極めて不審である。
【００１３】
タイムマシンは、この語の一般的な理解においては、まだ技術的に可能でない（また、恐らくは決して可能でない）。しかしながら、今日では、充分なセンサネットワーク、データ記憶装置、画像解析及び空間的／時間的な推定技術が与えられ、それら全てが適切な情報抽出フレームワークへ統合されると、上述の情報収集性能が実現され得る。
【００１４】
本発明の一実施形態では、予測的脅威検出の方法が提供される。この方法では、都市環境においてサイト脅威レベルに従い分類されている複数のサイトへ展開されている遍在的センサネットワークを介して収集されるデータが利用される。都市環境を通じてセンサネットワークに分散されている複数のセンサから時間を通じて蓄積されるセンサデータにより、過去のイベントを検証する能力が実現する。最も旧いデータは新たなセンサデータにより連続的にリフレッシュされ、最も旧いデータと新たなデータとの間の時間間隔により、どの程度までの過去において検出が可能であるかが示される。
【００１５】
この方法は、（ａ）被疑エンティティによるトリガ行動の実行に応答して、現在のサイトにおける被疑エンティティに関する問い合わせをトリガする問い合わせ工程と、（ｂ）センサネットワークにより被疑エンティティが検出された各サイトからデータを収集することによって、問い合わせに応答して、被疑エンティティをバックトラックするバックトラック工程と、（ｃ）被疑エンティティが検出されたサイトのリスト及びそれに対応する
データを含むデータセットをコンパイルするコンパイル工程と、（ｄ）データセットに含まれるサイトのリストを対応するサイト脅威レベルと比較して、被疑エンティティに関する脅威状態を決定する比較工程と、からなる。
【００１６】
この方法にはさらに、（ａ）被疑エンティティのデータセットに含まれるデータを解析して、被疑エンティティと後続エンティティとの間で相互作用が発生したか否かを決定する工程と、（ｂ）相互作用が発生したと決定すると、後続エンティティに対してバックトラック工程、コンパイル工程及び比較工程を自動的に反復して、後続エンティティに関する脅威状態を決定する工程と、が含まれる。
【００１７】
この方法にはさらに、各後続エンティティに対して、（ａ）後続エンティティのデータセットに含まれるデータを解析して、後続エンティティと追加の後続エンティティとの間で相互作用が発生したか否かを決定する工程と、（ｂ）相互作用が発生したと決定すると、追加の後続エンティティに対してバックトラック工程、コンパイル工程及び比較工程を自動的に反復して、追加の後続エンティティに関する脅威状態を決定する工程と、を反復する工程が含まれる。
【００１８】
これに加えて、この方法にはさらに、追加の後続エンティティの脅威状態及び追加の後続エンティティのデータセットのうちの１つ以上に応答して、１つ以上のエンティティの脅威状態を再評価する工程が含まれる。
【００１９】
本発明の別の実施例では、相互作用は物理的転移、精神的転移及び物理的移動のうちの１つ以上を含む。これに関して、この方法にはさらに、（ａ）相互作用に対応するデータを再解析して、物理的転移、精神的転移及び物理的移動のうちの１つ以上に関する追加の情報を決定する工程と、（ｂ）追加の情報に基づき、１つ以上のエンティティの脅威状態を再評価する工程と、が含まれる。
【００２０】
本発明の別の態様では、センサネットワークによるデータの収集の際、データは最初にバックグラウンド減算及び時間差分、複数の重なり合うオブジェクト間の分解、オブジェクトの分類、オブジェクトの追跡、オブジェクトの解析並びにパターンマッチングのうちの１つ以上を利用して処理される。さらに、処理されたデータは、画像、映像、オブジェクト、トレース、アクト及びエピソードのうちの１つ以上を導出するために用いられる。
【００２１】
本発明のさらなる一態様では、被疑エンティティに関する問い合わせに応答してデータを処理するために追加のシステム資源が割り当てられる。
本発明の別の実施形態では、都市環境において複数のサイトへ展開されている遍在的センサネットワークを介して収集されるデータを利用する予測的脅威検出の方法が提供される。この方法には、（ａ）被疑エンティティによるトリガ行動の実行に応答して、現在のサイトにおける被疑エンティティに関する問い合わせをトリガする問い合わせ工程と、（ｂ）問い合わせに応答して、センサネットワークにより被疑エンティティが検出されたサイトに対応するデータをコンパイルするコンパイル工程と、（ｃ）データを解析して被疑エンティティに関する脅威状態を決定するデータ解析工程と、が含まれる。
【００２２】
この方法にはさらに、（ａ）データを解析して、被疑エンティティと後続エンティティとの間で相互作用が発生したか否かを決定する工程と、（ｂ）相互作用が発生したと決定すると、後続エンティティに対してコンパイル工程及び解析工程を自動的に反復して、後続エンティティに関する脅威状態を決定する工程と、が含まれる。これに加えて、この方法にはさらに、後続エンティティの脅威状態及び後続エンティティのデータセットのうちの１つ以上に応答して、被疑エンティティの脅威状態を再評価する工程が含まれる。
【００２３】
本発明の別の実施例では、この方法にはさらに、各後続エンティティに対して、（ａ）後続エンティティのデータを解析して、後続エンティティと追加の後続エンティティとの間で相互作用が発生したか否かを決定する工程と、（ｂ）相互作用が発生したと決定すると、追加の後続エンティティに対してコンパイル工程及び解析工程を自動的に反復して、追加の後続エンティティに関する脅威状態を決定する工程と、を反復する工程が含まれる。これに加えて、この方法にはさらに、追加の後続エンティティの脅威状態及び追加の後続エンティティのデータセットのうちの１つ以上に応答して、１つ以上のエンティティの脅威状態を再評価する工程が含まれる。
【００２４】
本発明のさらなる一実施例では、データ解析工程にはさらに、データに基づきエンティティの行動パターンを識別する工程が含まれる。これに関して、エンティティの脅威状態は行動パターンに基づき再評価される。
【００２５】
さらに別の実施例では、この方法にはさらに、被疑エンティティの脅威レベルに対応して、被疑エンティティが検出されたサイトの各々のサイト脅威レベルを更新する工程が含まれる。
【００２６】
本発明の別の実施形態では、都市環境における自動脅威検出のためのシステムが提供される。このシステムでは、都市環境において複数のサイトに展開されているセンサネットワークを介して収集されるデータが利用される。このシステムは、（ａ）データの実況供給（ライブフィード；ｌｉｖｅ ｆｅｅｄ）を利用し、被疑エンティティによるトリガ行動に応答して、被疑エンティティを検出するように動作する脅威モニタと、脅威モニタは被疑エンティティに関する問い合わせを生成するように動作することと、（ｂ）データベース及び推定部を備える知識モジュールと、データベースはセンサネットワークからのデータをアーカイブし、かつ、データを推定部へ提供するように動作することと、推定部は脅威モニタ及びデータベースと通信していることと、推定部は脅威モニタにより生成される問い合わせに応答して、被疑エンティティに対応するデータを解析し、かつ、被疑エンティティに関する脅威状態を提供するように動作することと、からなる。
【００２７】
このシステムはさらに、プロセッサを備える。このプロセッサは、データベースへのアーカイブに先立ってデータを処理するように動作する。処理されたデータは１つ以上のデータ表現レベルに従い分類される。
【００２８】
本発明の追加の一実施例では、推定部は被疑エンティティに対応するデータのデータセットを生成するように動作するバックトラックモジュールを備える。データセットは脅威状態を評価するために推定部により利用される。
【００２９】
要約すると、本発明の実施により、現在の順方向時間ベースの追跡手法が逆方向時間ベース手法によって補完され、エンティティ、即ち、車両又は人は「時間的に逆方向に」追跡され、そのエンティティの観察される先の位置及び行動が推論される。逆方向の追跡処理では、継続的な、より過去の時間において対象のエンティティを示す、データベース内のデータのサブセットが着目されている。
【００３０】
一般に、逆方向時間の追跡を実施するには少なくとも２つの手法が存在する。エンティティが脅威であるか否かが分かるまでは、不審な先の行動に基づき、エンティティが潜在的な脅威であるか否かについて評価が行われる。脅威を早期に検出することにより、脅威を無蓋化することや脅威による被害を最小化することが可能となるため、このことは重要である。この動作モードは予測モードと呼ばれる。
【００３１】
第２に、エンティティが脅威であることが確認された後に、先の行動が解析され、脅威
に関連する他のエンティティ又は敵対者の手口等、有用な情報が得られる。この動作モードは、フォレンジックモードと呼ばれる。
【００３２】
予測モードでは、通常、脅威となる行為を公然と行わずに友好勢力又は機密を扱う協力者に接近することにより、エンティティがその友好勢力又は機密を扱う協力者と関係する意図を示すとき、逆方向の追跡が開始される。結果として得られる、そのエンティティを示す履歴フレームのシーケンスが解析され、その過去の行動が評価され、脅威行動テンプレートと比較されて、そのエンティティが脅威であるか否かが評価される。例えば、車両が友好勢力に接近する場合、過去の行動に関する次の例により、その車両が脅威であり得ることの根拠が提供される。即ち、（ａ）車両が疑われる敵対サイトからやって来たこと、（ｂ）車両が盗難されたこと、（ｃ）車両へ一定のかさ高いオブジェクトが転移されたこと、（ｄ）車両の運転パターンが異常であったこと、（ｅ）車両が不審な集まりからやって来たこと又は車両が最近頻繁に傍を通過すること等である。
【００３３】
予測モードには、例えば、エンティティが既知の又は疑わしい敵対サイトからやって来た否か、或いは、既知の又は疑わしい敵対サイトを訪問したか否かを報告するように、異なった都市位置のサイト分類を提供するために、サイトデータベースが開発及び維持されることが必要である。
【００３４】
フォレンジックモードでは、エンティティが公然と脅威となる行為に関係した後に逆方向の追跡が開始され、続いてシステム又はユーザが調査を実施する。逆方向の追跡の結果は次のうちの１つ以上のように用いられる。即ち、（ａ）予測モードにより使用されるサイトデータベースへの変更を生じる武器の隠匿場所及び潜入経路を学習することを含め、潜在的な敵対サイトを識別する。（ｂ）対立側の他の相手及び攻撃の背後にある政治責任を識別する。（ｃ）例えば、消去法を用いることによりパターンから情報を演繹し、幾つかの攻撃の解析後に何らかの共通性が提供された後、狙撃手が識別される。（ｄ）敵の戦術及び作戦手続を学習し、その情報が予測モードにより用いられるように適合される。
【００３５】
本発明の実施により、都市地域は時間により変化するスナップショットの履歴のシーケンスとして検証されることが可能となる。この時間シーケンス内において逆方向及び順方向双方に被疑エンティティを追跡させることにより、標準的な順方向時間追跡手法が強化され、関連する行動、対象の都市サイトが特定され、さらに脅威の予測及び場所の特定が支援される。したがって、本発明の実施により、現在の最先端技術の手法により供給される利益を有意に超える利益が提供される。
【００３６】
演算処理資源の賢明な利用も本発明の実施例においては非常に重要である。被疑エンティティ、被疑エンティティに関連するエンティティ、他の個人又は高い価値のサイト等、幾つかのエンティティはアクティブにモニタされ、そのデータの大部分は調査の方針において必要な場合又は必要なときに処理され得るようにアーカイブされる。したがって、資源利用は低減され、システム資源は有効に割り当てられる。内的な目標には、システムの資源を潜在的に重要なイベント及びエンティティに集中するために、最適に管理することが含まれ、外的な目標には、ユーザがいつも情報を供給されていることを維持することが含まれる。
【００３７】
本発明のさらなる実施例では、このシステムは、車両及び人に加えて建造物その他のオブジェクトについて推定するように拡張される。建造物は、ブービートラップを仕掛けられること、待ち伏せに利用されること又は敵対者に作戦の基地を提供することから、脅威の候補であり得る。履歴センサの供給内容は、建造物の付近で発生する不審な一連の過去の行為を評価するために解析される。例えば、建造物にブービートラップが仕掛けられたことが発見される場合、建造物への最近の訪問者を調査すると、停車して建造物に小包を
配達した車両が識別される。次に、その車両が履歴センサ供給内容を通じて逆方向及び順方向に追跡され、その車両が訪問した他の建造物が特定され、現在の時間まで追跡されて、その現在の位置が提供される。他の建造物が訪問され、同様にブービートラップが仕掛けられたことが判明する場合、車両／運転者は脅威として確定される。或いは、その車両／運転者は妥当な脅威と見なされ、積極的に追跡又は追尾される。
【００３８】
本明細書に開示の様々な実施形態のこれらの及び他の特徴及び利点は、以下の説明及び図面に関してさらに理解されるであろう。図面を通じて同様な番号は同様な部材を表す。
全体的な理解を提供するために、ここで幾つかの代表的な実施形態を説明する。しかしながら、本明細書に記載のシステム及び方法は他の適切な用途のためのシステム及び方法を提供するように適合及び修正され得ること、また、本明細書に記載のシステム及び方法の範囲から逸脱することなく他の追加及び修正がなされ得ることが当業者には理解されるであろう。
【００３９】
ここで図面を参照する。図示した内容は、本発明の好適な実施形態を示すことのみを目的とするものであり、本発明を限定することを目的とするものではない。図１は、脅威検出の方法１０のブロック図である。この方法は、都市環境において複数のサイトへ展開されている遍在的センサネットワーク１４を含むシステム１２を介して収集されるデータを利用する。都市環境は所与の都市、又は、セキュリティ対策を行うショッピングモール、空港若しくは軍事施設等、都市内の場所である。本発明の様々な実施形態と共に利用されるセンサネットワーク１４は、ビデオカメラ、熱撮像装置、赤外線撮像装置、及び当分野において知られている他のセンサ等、複数のセンサ機構からなる。１つ以上のセンサは都市環境における所与のサイトに設置される。センサネットワーク１４の特定の地理的及び物理的構成は、システムの目的、セキュリティ考慮事項その他、システムの実施に関する因子に応じて決定される。特に、このシステムの効率及び有効性を強化するために、都市環境内を移動するエンティティがセンサネットワーク１４の所与のサイトにて１つ以上のセンサにより常時検出されるように、センサネットワーク１４が分散される必要があることが想定される。
【００４０】
本発明の一態様では、予測的脅威検出のシステム１２及び方法１０は、センサネットワーク１４からの現在の知見に応答して、センサネットワーク１４から収集されるデータを再解析及び再解釈するように動作する。図２に示すように、方法１０の別の実施形態には、様々なエンティティの脅威状態を決定する様々な工程が含まれる。したがって、センサネットワーク１４は、センサネットワーク１４から収集されアーカイブされるデータを利用して、エンティティの起点、目的、移動ルートその他、エンティティがセキュリティに対する脅威であると考えられるか否かを評価するのに有用である情報に関して、さらに完全な理解を提供する。これに加えて、システム１２は被疑エンティティの発見に応答して、追加のシステム資源を割り当ててもよい。
【００４１】
本明細書に開示のように、この方法及びシステムは、ビデオシーケンスにおいて移動するエンティティを検出、追跡及び分類することが可能である。そのようなエンティティには、車両、人、人の集団及び動物のうちの１つ以上が含まれる。ここで図３を参照する。システム１２は知覚モジュール１６、知識モジュール１８、自律モジュール２０及びユーザモジュール２２を備える。本発明の代表的な一実施形態では、知覚モジュール１６はセンサネットワーク１４を備え、知識モジュール１８、自律モジュール２０及びユーザモジュール２２から空間的に分離されている。また、知覚モジュール１６は未処理データデータベース２４を備え、知覚処理２６を実施するように動作する。図３にも示すように、知識モジュール１８は推定部（ｒｅａｓｏｎｅｒ）２８及びマスタデータベース３０を備える。
【００４２】
推定部２８により、システムが既にマスタデータベース３０に存在するデータについて推定を行い、そのデータから新たな推測を行うとともに、知覚モジュールに新たな情報又は再解析の要求を行うことが可能となる。
【００４３】
自律モジュール２０は脅威モニタ３２を備える。自律モジュール２０により、システム１２が人による相互作用をほとんど又は全く必要とせず、自動的に機能することが可能となる。したがって、本明細書に開示のバックトラック、分類及び脅威検出の方法並びにシステムは、自動的に実行及び利用される。脅威モニタ３２により、ユーザがシステム１２に、ユーザ３６の関心の対象であるデータについてマスタデータベース３０を自律的にモニタするように指示することが可能となる。これに加えて、脅威モニタ３２により、ユーザ３６がシステム１２に、そのようなデータが発見される場合に取る行動、特に、ユーザの介在なしに取られる自律的な行動の方針を指示することが可能となる。
【００４４】
さらに、ユーザモジュール２２はシステムのユーザ３６によりアクセスされてよい。センサネットワーク１４は、各サイトにて都市環境からデータを収集するように動作するビデオカメラを備える。ビデオカメラは、サイトの脅威レベルに対応する割合にて各サイトからデータを取得する。したがって、データにはビデオカメラから取得されるビデオ画像が含まれる。しかしながら、これに加えて、データには他のセンサを介して取得される音声記録も含まれてよい。所与のサイトにて、センサネットワーク１４がカメラ及び記録装置等の音声及び視覚センサの双方や、他の種類の撮像、熱及びデータ取得センサを備えるように構成されることが想定される。例えば、センサネットワーク１４は軍事施設及び政府施設等、高いレベルにセキュリティが維持されるサイトにて、上述のように様々なセンサを含むように変更されてよい。
【００４５】
本発明の好適な一実施形態では、方法１０は開始工程、即ち、トリガ工程３８において初期化される。方法１０は、（ａ）被疑エンティティによるトリガ行動の実行に応答して、現在のサイトにおける被疑エンティティに関する問い合わせをトリガする工程（即ち、問い合わせ工程４０）と、（ｂ）センサネットワーク１４により被疑エンティティが検出された各サイトからデータを収集することによって、問い合わせに応答して、被疑エンティティをバックトラックする工程（即ち、バックトラック工程４２）と、（ｃ）被疑エンティティが検出されたサイトのリスト及びそれに対応するデータを含むデータセットをコンパイルする工程（即ち、コンパイル工程４４）と、（ｄ）データセットに含まれるサイトのリストを対応するサイト脅威レベルと比較して、被疑エンティティに関する脅威状態を決定する工程（即ち、比較工程４６）と、からなる。
【００４６】
トリガ工程には、施設への進入、警備ゲートへの接近及び一定の行動パターン等のイベントを検出する工程が含まれる。これらのイベントは全て、トリガ行動を例示するために提供されるものであり、限定するためのものでない。
【００４７】
上述のように、順方向時間ベース追跡手法とは対照的に、本発明の実施形態では逆方向時間ベース手法を利用して「時間的に逆方向に」エンティティを追跡し、そのエンティティの観察される先の位置及び行動について推定を行う。例えば、エンティティが現在のサイトにおいてトリガ行動を実行する場合（トリガ工程３８）、エンティティは「被疑エンティティ（ｓｕｓｐｅｃｔ ｅｎｔｉｔｙ）」と見なされ、被疑エンティティに関する問い合わせが開始される（問い合わせ工程４０）。トラックバック工程４２には、現在のサイトにおいて開始して時間的に逆方向に進行する、被疑エンティティに関して収集されるデータを取得する工程が含まれる。被疑エンティティに対応するデータは、データが記憶された知識モジュール１８からアクセスされ得る。データセットをコンパイルするために（コンパイル工程４４）、システム１２は現在のサイトに隣接して位置する各サイトからのデータを解析し、被疑エンティティを追跡する。上述のように、また当分野において知
られているように、センサネットワーク１４は、被疑エンティティがセンサネットワーク１４内においてサイトからサイトへ移動するにつれ、その被疑エンティティを分類及び識別することにより、この処理を実行する。これに関して、被疑エンティティの逆方向の追跡は、センサネットワーク１４により検出される被疑エンティティのオブジェクト分類をシステム１２が利用することによって実行される。データセットが完成すると、データセットには被疑エンティティが検出されたサイトのリストが含まれることが想定される。次に、サイトのリストは被疑エンティティに関するさらなる情報を決定するために利用される。例えば、サイトのリストは各サイトの対応するサイト脅威レベルと比較され、被疑エンティティの脅威状態が決定される（比較工程４６）。これに加えて、データセットにはセンサネットワーク１４を介して収集される、他のビデオ、データ画像、音声記録その他の形式のデータが含まれてよく、このデータセットはさらに被疑エンティティの脅威レベルを決定するために利用される。したがって、データセットにはサイトからサイトへの被疑エンティティを示す履歴フレームのシーケンスが含まれる。この情報は被疑エンティティの過去の行動を評価するために解析され、被疑エンティティがセキュリティに対する脅威であるか否かを評価するために脅威行動テンプレートと比較される。
【００４８】
例えば、車両が警備ゲートに接近する場合、過去の行動に関する次の例により、その車両が脅威であり得ることの根拠が提供される。即ち、車両が疑われる敵対サイトからやって来たこと、車両が盗難されたこと、車両へ一定のかさ高いオブジェクトが転移されたこと、車両の運転パターンが異常であったこと、車両が不審な集まりからやって来たこと又は車両が最近頻繁に傍を通過すること等である。したがって、データセットの評価により、システム１２が予測的脅威検出モードを採用することが可能となる。このため、センサネットワーク１４は新たなデータに関して知識モジュール１８を連続的に更新し、さらに都市環境内の各サイトのサイト脅威レベルに関する更新された分類を提供する。このため、都市環境はモニタされ、被疑エンティティはその脅威レベルに対応して適切に識別される。
【００４９】
別の実施例では、方法１０はさらに、被疑エンティティのデータセットに含まれるデータを解析して、被疑エンティティと後続エンティティとの間で相互作用が発生したか否かを決定する工程（即ち、相互作用工程４８）と、相互作用が発生したと決定すると、後続エンティティに対してバックトラック工程、コンパイル工程及び比較工程を自動的に反復して、後続エンティティに関する脅威状態を決定する工程（即ち、反復工程５０）と、を含む。被疑エンティティのバックトラックにより、上述のように、被疑エンティティに関連したサイト及びデータからなるデータセットが提供される。このデータはさらに、被疑エンティティが他のエンティティとの相互作用に関与したか否か、及び、そうした相互作用の結果又は含意は何であるかを決定するために、解析される。
【００５０】
本発明の一実施形態では、相互作用は物理的な転移（ｔｒａｎｓｆｅｒ）、精神的な転移及び物理的な移動のうちの１つ以上のであってよい。したがって、被疑エンティティが一定の長期間に渡り後続エンティティに隣接して位置するビデオデータのフレームに見られる場合、システム１２は精神的転移が発生したと推測する。精神的転移には、単なる会話又は情報の交換が含まれる。ビデオデータにより、被疑エンティティが別のオブジェクトを後続エンティティへ転移したこと又は後続エンティティから受け取ったことが判明する場合、この物理的転移もシステムにより解釈される。したがって、本発明の一実施例では、そうした物理的転移及び精神的転移のうちの１つ以上を示すビデオデータが、システムによるさらなる解釈のためにデータセットへ提供される。このデータを取得する際、システム１２は後続エンティティを識別し、後続エンティティを時間的に逆方向に追跡して、物理的転移及び精神的転移のうちの１つ以上が被疑エンティティ又は後続エンティティの脅威レベルに影響を及ぼすか否かを決定する。例えば、後続エンティティを逆方向に追跡することにより、後続エンティティが敵対サイトからやって来たことが判明する場合、
被疑エンティティに対する任意の物理的転移又は精神的転移は被疑エンティティの脅威レベルに影響を及ぼし得る。
【００５１】
これに加えて、被疑エンティティが後続エンティティと相互作用を行ったこと、及び、後続エンティティが敵対サイトを起点にしていること、或いは他の手段により敵対サイトと関係していることが決定されると、被疑エンティティのデータセット内のデータは、それに応じて更新される。例えば、被疑エンティティが検出されたサイトの任意のサイト分類が更新され、被疑エンティティの増大した脅威レベルが反映される。これに対応して、後続エンティティとの物理的又は精神的転移の後に発生した被疑エンティティによる任意の物理的転移又は精神的転移も、増大した脅威レベルを有すると見なされる。当業者は理解されるように、本発明の実施例の範囲内において、他の様々な推測及びシナリオが想定される。
【００５２】
本発明の別の態様では、方法１０はさらに、後続エンティティのデータセットに含まれるデータを解析して、後続エンティティと追加の後続エンティティとの間で相互作用が発生したか否かを決定する工程（即ち、決定工程５０）と、相互作用が発生したと決定すると、追加の後続エンティティに対してバックトラック工程、コンパイル工程及び比較工程を自動的に反復して、追加の後続エンティティに関する脅威状態を決定する工程（即ち、決定工程５０）と、を含む。決定工程５０には、各追加の後続エンティティに対し工程４０，４２，４４を反復する工程と、それらの工程の実施により識別される他のエンティティに対し工程４０，４２，４４を反復する工程とが含まれる。したがって、これに応じて、システム１２は互いに対応するエンティティのオントロジー的解析を実装するように変更され得る。このオントロジー的手法により、システム１２が様々な相互作用によりトリガされるにつれて、いずれのエンティティもバックトラックされると想定される。各エンティティの脅威状態を評価するために、それぞれのエンティティの各々におけるそれぞれのデータセットにコンパイルされる新たなデータが解析される。これに加えて、このデータを利用して、エンティティが検出された、又は、物理的転移、精神的転移及び物理的移動のうちの１つ以上が発生したそれぞれのサイトのサイト脅威レベルが更新される（即ち、更新工程５６）。
【００５３】
本発明のさらに他の実施形態では、方法１０はさらに、追加の後続エンティティの脅威状態及び追加の後続エンティティのデータセットのうちの１つ以上に応答して、１つ以上のエンティティの脅威状態を再評価する工程（即ち、脅威状態再評価工程５８）を含む。方法１０には、後続エンティティの脅威状態及び後続エンティティのデータセットのうちの１つ以上に応答して、被疑エンティティの脅威状態を再評価する工程が含まれてよい。これに関して、方法１０には、別の所定のエンティティの脅威状態及び別の所定のエンティティのデータセットのうちの１つ以上に応答して、所定のエンティティの脅威状態を再評価する工程が含まれてよい。さらに方法１０には、相互作用に対応するデータを再解析して、物理的転移、精神的転移及び物理的移動のうちの１つ以上に関する追加の情報を決定する工程と、追加の情報に基づき１つ以上のエンティティの脅威状態を再評価する工程と、も含まれてよい。
【００５４】
本発明のさらなる一態様では、センサネットワーク１４によるデータの収集において、データは最初に未処理データデータベース２４に記憶され、当分野において知られている様々な手法のうちの１つ以上を利用して処理される。この処理は、知覚モジュール１６が知覚処理２６を利用することにより行われ得る。そのような知覚処理２６及び手法には、バックグラウンド減算及び時間差分、複数の重なり合うオブジェクト間の分解、オブジェクトの分類、オブジェクトの追跡、オブジェクトの解析並びにパターンマッチングが含まれる。したがって、センサネットワークのセンサは、より高度な機能を用いて知識モジュール１８においてデータをインデックス化又はアーカイブするために、各サイトから取得
されるデータを処理するように構成される。将来的に、個々のセンサの複雑性及び性能が成長するように、大容量記憶装置及び処理能力の利用可能性は成長を継続すると想定される。
【００５５】
したがって、さらに優れた強力なプロセッサが開発されるにつれて、センサネットワークを介して取得されるデータは、より高速に、かつ、システム資源により少ない負荷しか与えずに解析される。プロセッサ能力が増大するこの傾向により、収集される全てのデータに対し適用されるアルゴリズムのセットは成長する。しかしながら、全てのデータに適用されるとシステム資源を圧倒するような、より複雑なアルゴリズムが常に存在する。そうした資源集約的なアルゴリズムは、敵対者により用いられる次第に洗練される対抗手段に対処するために開発される。これらの、より効果的であるが演算処理的に高価なデータ処理方法の使用は、その使用が保証されるまでシステム１２により留保され、使用が保証される場合、遡及的に処理が行われる。この留保能力が存在しない場合、画像解析は全てのオブジェクトに対してリアルタイムに実行され得る方法に限定される。これに関して、システム１２が再検証又は再解釈を保証するシステム１２による発見に照らし、履歴センサデータを再解析することが想定される。このことにより、全てのオブジェクトに対し使用可能な資源を超える資源を必要とし得る検出方法を、そうした方法が実施され有用である場合にシステム１２が利用することが可能となる。
【００５６】
現在の最先端技術が与えられると、遍在的なセンサネットワーク１４を介するデータの連続的な更新及び取得には、膨大なデータ記憶及びデータ処理の能力が必要である。したがって、この処理を実施するために、システムに対するそうした記憶及び処理の負荷を減少させるように、データは簡素化、圧縮その他の手段により、変更され得る。これに関して、分類、追跡、解析その他、知覚モジュール１６を利用する方法を介するデータの処理により、より高速なバックトラック、更新その他のシステム１２のシステム機能が提供されると想定される。これに関して、特定の期間に渡ってデータが知識モジュール１８のマスタデータベース３０に記憶されることが想定される。マスタデータベース３０は知覚モジュール１６によりデータが処理された後、データを記憶する。この期間は、データが取得されたサイトのサイト脅威レベル等の様々な因子や、利用可能なシステム資源等に対応してよい。
【００５７】
したがって、本発明の一実施形態では、システム１２は画像キャプチャ解析を実行する。またシステム１２は、恐らく数百又は数千の非常に多数のカメラその他の固定センサが多量のデータストリームを提供する都市環境において、センサネットワーク１４からのデータの利用を実行する。センサネットワーク１４を介して収集されるデータは、例えば、数時間又は数日等、有意な期間に渡り未処理データストリームとして記憶される。データを処理する際、システム１２は様々なデータ表現レベルに従いデータを処理及び記憶する。図４に示すように、データ表現レベルには画像及び映像６０、オブジェクト６２、トレース（ｔｒａｃｅ）６４、アクト（ａｃｔ）６６及びエピソード（ｅｐｉｓｏｄｅ）６８のうちの１つ以上が含まれる。各データ表現レベルは知識モジュール１８内に存在する。しかしながら、システムの要求に応じて、所与のエンティティのデータセットには単一又は複数のデータ表現レベルが含まれると想定される。
【００５８】
本明細書に開示のように、画像及び映像６０には、センサネットワーク１４により収集される未処理データストリームと、データが最初に収集されるときに実行される任意の処理の結果とが含まれる。画像及び映像６０のデータ表現レベルには関連するセンサからの単純な時間シーケンスの画像が含まれるため、システムにおいて最も情報が少なく、かつ、関心の低いデータ集合である。理解されるように、画像及び映像６０のデータ表現レベルは断然大きいため、データを効果的に記憶するための圧縮手法が用いられてよい。バックトラック中のシステム１２の効率及び成功を強化するために、画像及び映像６０のデー
タ表現レベルが処理されない場合もあることが想定される。
【００５９】
しかしながら、オブジェクト抽出及び逆方向の追跡に必要な演算処理の量を最小化するために、知覚モジュール１６を利用してデータ取得時にデータに可能な限り多くの処理が適用される。上述のように、処理手法には、移動するオブジェクトの検出、輪郭検出その他、複数の重なり合うオブジェクト間を分解する手法や、移動するオブジェクトの簡単が含まれる。これに関して、この初期の処理を実行するために、センサネットワーク１４は各センサ専用のプロセッサ又はセンサの小さな集団を備えるように構成されることが想定される。データが収集される際に実行されるリアルタイム画像処理の量は、システム１２に利用可能な資源の量により制御されるため、状況に依存する。状況に依存するデータ処理は、トリガイベント、エンティティ、トランザクションその他の刺激に応答して実行される。これに加えて、状況の発生につれて、高優先度のデータ処理に対応するようにシステム資源が割り当てられるが、この優先度は発生したトリガイベントの種類によって決定される。
【００６０】
本発明の別の態様では、データはデータ表現レベルに従いオブジェクト６２として分類される。オブジェクト６２には、人、車両、建造物その他、搬送可能なオブジェクト等、環境におけるエンティティが含まれる。上述のように、ビデオ画像データは分類装置により解析され、データ内のオブジェクト６２を識別及びラベル表示する。分類装置は、その名前が示すように、各オブジェクト６２を、例えば車両、或いはさらなる情報が利用可能な場合には自動車など、そのオブジェクトのカテゴリによりラベル表示することを試みる。これに関して、分類装置は各オブジェクト６２に対し、データによってサポートされるように、最も特定的なラベルを伝達することを試みる。しかしながら、オブジェクト６２のカテゴリ誤りによりシステムの有効性が次第に損なわれるため、分類装置は当て推量（ｇｕｅｓｓｉｎｇ）を禁止する。
【００６１】
代表的な一実施形態では、オブジェクト６２は静止及び移動の２つのカテゴリに区分される。建造物又は電話ボックス等の静止オブジェクト６２は常に、特定の静的センサにより形成される画像の一部である。静的センサが配置されるとき、データ画像は再検証され、建造物を商店として分類する等、静止オブジェクト６２の正確な分類が提供されるが、この分類は画像から導出されなくともよい。移動オブジェクト６２は、車両、人、リンゴ販売のカート等である。そうした移動オブジェクト６２は個々のセンサの対象領域内を移動し、或いはセンサ境界を横切る場合もある。当分野において知られているように、センサネットワーク１４は複数のカメラシナリオを利用して、カメラ間のハンドオフを利用し得る。したがって、前述のように、移動するオブジェクト６２はセンサネットワーク１４全体を通じてタグ付け及び追跡される。したがって、静止オブジェクト及び移動オブジェクト６２の各々は、可能な限り正確に分類されタグ付けされる。これに関して、オブジェクト６２の分類又はタグには、オブジェクト６２が友好的か又は不審か等、他の情報が含まれてよい。したがって、人又は車両は友好的又は不審としてラベル付けされる。また、駐車場及びオフィス建造物は、その機能から期待されるように、住居とは反対に一回限りの短期間の訪問者が頻繁に発着する「立ち寄り点（ｓｔｏｐｏｖｅｒ）」としての特性を有し得る。これらの種類の特性はシステム１２により推測されるか、又は人であるそのユーザにより提供される。オブジェクトの特性の特定性は、システム１２が追加の資源をオブジェクトの処理に対し割り当てるにつれて変化し得る。特性を完全に転換することも可能である。例えば、中立的なオブジェクト６２は不審なオブジェクトとなり、その後に友好勢力として識別される。システム１２のこの自律的な特性変更能力により、システム１２がセンサネットワークを介してエンティティその他のオブジェクト６２を追跡し、それに従って正確な予測的検出を提供するためにそのオブジェクトの分類を更新することが可能となる。
【００６２】
図４をさらに参照する。トレース６４のデータ表現レベルには、様々なセンサにおいて検出されるオブジェクト６２が実際に同じオブジェクトであるか否かを決定するために、様々なセンサから収集されるデータの時間的な構成が含まれる。トレース６４はオブジェクト６２に対しシステムにより選択的に決定されることにより、オブジェクト６２のトレース６４を有効とするために、追加のシステム資源を割り当てる。そうしたトレースにより、システム１２がオブジェクト６２の特性を決定することが可能となる。例えば、速度が毎時２０マイル（３２．１９ｋｍ）を超えると記録されている場合、システム１２は、オブジェクト６２がモータ駆動又はプロペラ推進されていると結論付ける。トレース６４に関する他の様々な変更実施形態及び実施例は、システム１２の要件に従い実施される。
【００６３】
図４に示すアクト６６のデータ表現レベルには、前述の物理的転移、精神的転移、及び物理的移動のうちの１つ以上が含まれる。したがって、アクトはオブジェクト６２とトレース６４との間の連係又は関係である。センサ及びデータ処理限界のため、確信をもってアクトがアサートされる場合もあり、アサートされない場合もあることが想定される。しかしながら、アクトはシステムにより推測されること、及び、データは精神的転移、物理的転移、及び物理的移動のうちの１つ以上等のアクトに沿って、推定部２８により解釈されることが想定される。他のアクト６６には、移動オブジェクト６２を建造物、軍事施設又はショッピングセンタ等の静止オブジェクト６２に関連付ける「進入」又は「退出」が含まれる。したがって、オブジェクト６２を追跡する際、システム１２はエンティティが建造物に進入すること又は建造物から退出することを認識する。上述のように、データ処理及びデータ分類手法が向上するにつれて、より大きな確信をもってアクト６６がアサートされることにより、システム１２がさらに正確にエンティティの動き及び行動を解釈及び解析することが可能となると想定される。そうした技術の向上には、わずかに例を挙げれば、人工知能や顔認識が含まれる。
【００６４】
図４に示すエピソード６８のデータ表現レベルは、行動パターン等、エピソード６８へ組み込まれるオブジェクト６２とアクト６６との間の関係の所定のパターンを満足させるオブジェクト６２及びアクト６６からなる集合を表現する。これらの関係は時間的又は空間的なものであり、複数のアクト６６の特定の役割が同一であることが必要である。上述のように、現在のサイトにおける被疑エンティティへの問い合わせを開始すること等のため、システム資源が割り当てられるときを示すためにエピソード６８が利用される。例えば、エンティティが警備ゲートに近づく際、エピソード６８のデータ表現レベルにより、システム１２が問い合わせトリガし、エンティティのバックトラックを初期化することが可能となる。
【００６５】
したがって、上述のデータ表現レベルを利用して、システム１２は都市環境内のエンティティ間の相互作用を解析及び解釈する。ここで図５ａ〜ｄを参照して、一例を示す。次の例では、都市環境には、友好的軍事基地７２周辺の小さな都市領域７０が含まれる。センサネットワーク１４は３つのセンサ、即ち、基地への進入をモニタするセンサ（センサＡ ７４）、基地入り口の北の道路をモニタする別のセンサ（センサＢ ７６）及び基地入り口の南の道路をモニタする別のセンサ（センサＣ ７８）から構成される。システム１２は、基地に到着する全ての車両をバックトラックするように指示されており、任意の相互作用に対する車両のデータセットを通じて逆方向に追跡する。図５ａに示すように、この例では、センサＢ ７６により記録されるように、第１の車両８０は起点サイト８２を出発し、駐車場８４に到着して第２の車両８４を待つ。図５ｂでは、センサＢ，Ｃにより記録されるように、第２の車両８６は既知の敵対サイト８８を出発し、駐車場８４に到着する。第１及び第２の車両８０，８６は、センサＢ ７６により記録されるように、駐車場８４において不審な会合に関与する。図５ｃでは、この会合の後、第２の車両８６は駐車場８４を出発し、敵対サイト８８に到着する。図５ｄでは、第１の車両８０は駐車場８４を出発し、その後で基地への進入を試みる。基地のゲートに接近する際、システム１
２は問い合わせを初期化し、第１の車両８０に対するバックトラックシーケンスを開始する。このバックトラックでは、駐車場８４における不審な会合まで遡り第１の車両８０がトレースされる。また、システム１２は起点サイト８２まで遡り第１の車両８０をトレースする。起点サイト８２は敵対サイトであるか友好サイトであるかにより、脅威レベルを有するか或いは有しない。このとき、第１の車両８０はそれぞれの脅威状態を割り当てられる。しかしながら、システム１２は第１の車両８０が第２の車両８６との相互作用に関与したことも認識し得る。システムに利用可能なデータに応じて、システム１２は相互作用を多くのアクト６６のうちの１つとして識別する。これに加えて、システム１２は第２の車両８６に対するバックトラックを初期化し、第２の車両８６に対応する任意のデータ及びサイトのリストを提供し得る。次に、システム１２は第２の車両８６が敵対サイト８８からやって来たことを発見し、対応する脅威状態を第２の車両８６に割り当てる場合がある。これに加えて、システム１２は第２の車両８６の脅威状態又はデータセットに応答して、第１の車両８０の脅威状態を更新する。最後に、システム１２は少なくとも第１及び第２の車両８０，８６の脅威状態に応答して、起点サイト８２のサイト脅威レベルを更新する。したがって、本明細書に記載のように、第１の車両８０の脅威状態及び起点サイト８２のサイト脅威レベルを評価するために、システム１２は各車両及び任意の他の車両、即ち、第１及び第２の車両８０，８６のバックトラックにより識別されるエンティティ、に対応するデータを利用する。
【００６６】
本発明の別の実施形態では、システム１２はさらに、所与のエンティティに対応するデータの解析により行動パターンを識別するように動作することが想定される。これに関して、都市環境において複数のサイトへ展開されている遍在的センサネットワーク１４を介して収集されるデータを利用する予測的検出の方法１０は、開始工程、即ち、トリガ工程３８において、初期化される。この方法１０は、ａ）被疑エンティティによるトリガ行動の実行に応答して、現在のサイトにおける被疑エンティティに関する問い合わせを起動する工程（即ち、問い合わせ工程４０）と、ｂ）問い合わせに応答して、センサネットワーク１４により被疑エンティティが検出されたサイトに対応するデータをコンパイルする工程（即ち、コンパイル工程４４）と、ｃ）データを解析して被疑エンティティに関する脅威状態を決定する工程（即ち、データ解析工程９０）と、からなる。データ解析工程９０には、本明細書に開示する方法と共に行動解析によりデータを解析する工程が含まれる。
【００６７】
所与のエンティティに対応するデータは、そのエンティティの脅威状態を決定するために利用される。上述のように、エンティティの脅威状態を予測するために、一定の位置及び行動の種類がモニタされる。方法１０にはさらに、データを解析して、被疑エンティティと後続エンティティとの間で相互作用が発生したかを決定する工程（相互作用工程４８）と、相互作用が発生したと決定すると、後続エンティティに対してコンパイル工程及び解析工程を自動的に反復して、後続エンティティに関する脅威状態を決定する工程（反復工程５０）と、が含まれる。これに加えて、方法１０にはさらに、後続エンティティの脅威状態及び後続エンティティに対応するデータのうちの１つ以上に応答して、被疑エンティティの脅威状態を再評価する工程（脅威状態再評価工程５８）が含まれる。
【００６８】
方法１０にはさらに、各後続エンティティに対して、後続エンティティと追加の後続エンティティとの間で相互作用が発生したか否かを決定するために後続エンティティのデータを解析する工程（追加の反復工程５４）と、相互作用が発生したと決定すると、追加の後続エンティティに対してコンパイル工程及び解析工程を自動的に反復して、追加の後続エンティティに関する脅威状態を決定する工程（追加の反復工程５４）と、が含まれる。また、方法１０にはさらに、追加の後続エンティティの脅威状態及び追加の後続エンティティに対応するデータのうちの１つ以上に応じて、１つ以上のエンティティの脅威状態を再評価する工程（脅威状態再評価工程５８）が含まれる。
【００６９】
データ解析工程９０と共に利用される本発明の別の態様では、ユーザ３６はセンサネットワーク１４を介して取得されるデータにアクセスし、ユーザ要求に従いデータの処理を初期化する。例えば、ユーザ３６はセンサの対象領域において静止オブジェクト６２の初期の検出、分類及び特性指定の再検証、訂正並びに強化又はそれらのうちの１つ以上を行う。これに加えて、モニタ配置を確立させる際、ユーザ３６はモニタする位置や活動の種類を指定する。ユーザ３６はシステム１２により要求及び受信される情報を決定する。例えば、ユーザ３６はデータ提示を準備するために、センサネットワーク１４により収集されるデータ提示を受信する。この準備の際、ユーザ３６はユーザの要求に従い様々なデータ表現レベルにてデータを要求する。ユーザ３６は追加のシステム資源をユーザ３６により要求されるデータの処理に割り当てるために、データを再検証するとともに、システム１２をガイドし、システム１２にデータを再ラベル表示させるか、さらに解析される特定のオブジェクト６２又は活動を選択させるか、又は、進行中の活動に対しより低い優先度を要求する。
【００７０】
上述のように、本発明の実施形態では、エンティティの脅威状態を決定するために、現在の知見に応じてエンティティのサイト、相互作用及び行動パターンが、逆方向に追跡、解釈及び解析される予測的脅威検出のシステム１２並びに方法１０が提供される。データの予測的解析に加えて、本発明の追加の実施形態がフォレンジックモードされることが想定される。これに関して、エンティティの脅威状態又はセンサネットワーク１４内の任意の所与のサイトのサイト脅威レベルを再評価するために、全ての形式のデータ表現レベルによるデータがシステム１２により利用されることが想定される。例えば、図５のａ〜ｄに示すシナリオにおいて、第１及び第２の車両８０，８６に対応するデータセットのバックトラック、解析及び解釈により取得される任意のデータは、第１及び第２の車両８０，８６が検出された任意の所与のサイトに関するサイト脅威レベルを更新するために利用される。当然のことながら、複数の相互作用及び複数のサイトが存在する現実世界の状況では、更新及びバックトラックは極めて複雑である。システム１２はエンティティの行動パターンに応答して、対象とする他のサイトを検出することが可能である。システム１２のこのモードは、システムの予測的脅威検出モードと対話的に又は別々に機能する。しかしながら、エンティティに対応するデータの再解析及び再解釈により取得される情報は、オブジェクト分類、サイト脅威レベルその他のデータ表現レベルを変更するために用いられることが想定される。
【００７１】
これに加えて、上述のように、システム１２はオントロジーベースのモデル化手法を提供し、決定的パラメータ、行動、制約その他、システムに要求される特性を実装するように構成される。例えば、システム１２は、システム１２に対する問い合わせの行われる構成要素及びユーザレベルインターフェイスを備えるように構成される。例えば、ユーザ３６はシステム１２に、「歩行者Ｘと相互作用を行ったエージェントを識別する」ように問い合わせる。したがって、システム１２は、この問い合わせを実行し、「エージェント」及び「歩行者Ｘ」の各々や「相互作用」であるアクト６６に対する適切なデータ表現レベルを決定する。このオントロジーベースの問い合わせにより、ユーザ３６は様々なエンティティ又は調査に関係するデータにアクセスする。この処理により、ユーザ３６がオブジェクト６２の分類の提出、センサネットワーク１４の分類の構成、サイト脅威レベルの変更その他、様々な機能を実行することが可能となる。これに関して、システム１２の精度及び効率が強化される。
【００７２】
他に指定されない限り、例示の実施形態は一定の実施形態の様々な細目の代表的な特徴を提供するものと理解される。したがって、他に指定されない限り、例示の特徴、構成要素、モジュール及び態様のうちの１つ以上において、開示のシステム又は方法から逸脱することなく、結合、分離、交換及び再配置のうちの１つ以上を行うことが可能である。これに加えて、構成要素の形状及び寸法はやはり代表的なものであり、他に指定されない限
り、本開示において開示の代表的なシステム又は方法の範囲に影響を及ぼすことなく変更され得る。
【図面の簡単な説明】
【００７３】
【図１】本発明の一実施形態による脅威検出の方法を示すブロック図。
【図２】本発明の別の実施形態による脅威検出の方法を示すブロック図。
【図３】本発明の別の実施形態による脅威検出のシステムを示すブロック図。
【図４】本発明の別の実施形態によるデータ表現レベルを示すブロック図。
【図５】（ａ）本発明の別の実施形態によるシステム及び方法の一態様を示す図、（ｂ）本発明の別の実施形態によるシステム及び方法の一態様を示す図、（ｃ）本発明の別の実施形態によるシステム及び方法の一態様を示す図、（ｄ）本発明の別の実施形態によるシステム及び方法の一態様を示す図。
【図６】本発明の別の実施形態による脅威検出の方法を示すブロック図。
【技術分野】
【０００１】
本発明は監視システムに関する。より詳細には、本発明は現在の知見に基づき、センサネットワークを通じて得られる履歴画像及びビデオデータを自動的に再解析及び再解釈するように動作する予測的脅威検出システムに関する。
【背景技術】
【０００２】
ほぼ全ての国家にとって、犯罪及びテロ行為に対する効果的なセキュリティとは、熱心な追跡を行うことである。実際、セキュリティを高めるために監視を行うことは、民間団体、政府機関及び企業に次第に広まりつつある。今日の社会では、個人が企業の施設を訪問したり政府の建造物に入ったりする際に上を見上げ、自分が少なくとも１つのカメラの監視レンズの下にいると気付くことは、極めて普通のことである。この監視の背後にある技術は、近年、爆発的に拡大しており、新たな場所におけるセキュリティ監視設備の使用に比例した増加を助長するとともに、新たな目的も考慮されている。
【０００３】
セキュリティ監視は様々な人や機関により使用されるが、潜在的な脅威の検出及びそれらの脅威からの保護という、共通の目標を共有する。この目標が現在の技術により達成されているかは、現状では明らかでない。実際、この目標に向けての進展は、穏やかな歩調でなされている。この目標に向けての最初の一歩は、警備員、即ち、人間による監視の実施であった。人間による監視は生命及び財産を保護するために長年用いられてきたが、本質的に空間的及び時間的な制限を有する。例えば、警備員は実際にイベントが発生する際、その限定された分しか知覚し得ず、警備員の記憶力は限定されており、また多くの場合、警備員は脅威が存在しているときに、イベント、人又は手段の相互関係を理解しない。このため、集団に紛れ込んでいる犯罪勢力又は敵対勢力が検出され得ない場合がある。
【０００４】
人間による監視の幾つかの制限に対処するために、電子的な監視が開発され実現された。１９６０年代初頭、監視技術は発展し、ビデオカメラの使用を備えた。ｈｔｔｐ：／／ａｒｃｈｉｖｅｓ．ｃｎｎ．ｃｏｍ／２００２／ＬＡＷ／１０／２１／ｃｔｖ．ｃａｍｅｒａｓ／にて利用可能なＣＮＮアーカイブを参照のこと。初期のカメラシステムが成功したのは、１９９０年代にデジタル技術が出現し、普及してからであり、これによりメモリ、スピード及びビデオ解像度においてシステム容量が増大した。同参照。現在、この監視により、個人がイベントの発生を見ること（時間的に順方向、即ち「順方向時間ベースの」手法）が可能であり、後で見るために、これらのイベントを記録することが可能である。例えば、個人（多くの場合、警備員）は幾つかの場所に対する複数の閉回路のカメラをモニタし、必要に応じて、所定の位置に物理的なセキュリティの執行を行うことが可能である。また、そのようなシステムは、個人の経営者又は自家所有者によりインターネットを通じて遠隔的にモニタされ得る。予想されるように、保護領域の大きさや重要性に応じてこれらのシステムの複雑さは異なり、複数のカメラや監視センサを有する場合がある。
【０００５】
電子監視技術の向上により、その使用はさらに遍在的となった。政府は市民をさらに保護するために、この技術の大規模な実施を開始した。例えば、イギリスは、その並外れた監視システムのため、電子監視における世界的なリーダとして知られるようになった。電子プライバシ情報センタ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｉｖａｃｙ Ｉｎｆｏｒｍａｔｉｏｎ Ｃｅｎｔｅｒ）によれば、イギリスは１５０万台を超える監視カメラを設置しており、これによって平均的なロンドンの人々は１日に３００回を超えてビデオに撮影されている。同参照。実際、米国においては、ボストン、シカゴ、ボルチモア等の主要都市は、犯罪、交通問題及び敵対的行為を減少させるために、電子監視を実施するという計画を有する。ジャック・レビン（Ｊａｃｋ Ｌｅｖｉｎ）による「目とカメラによる大学生の監
視（Ｋｅｅｐｉｎｇ Ａｎ Ｅｙｅ Ａｎｄ Ａ Ｃａｍｅｒａ Ｏｎ Ｃｏｌｌｅｇｅ
Ｓｔｕｄｅｎｔｓ）」、ボストン・グローブ（Ｔｈｅ Ｂｏｓｔｏｎ Ｇｌｏｂｅ）、２００５年２月５日、Ａ１１を参照のこと。実際、今では電子監視が身の回りに存在しているという現実に加えて、単に犯罪やテロ行為との闘争において、さらに有効となることも明らかである。
【０００６】
現在、電子監視システムの多くは人間による相互作用から独立し、モニタ上に提示されるビデオデータをモニタ及び解析するように発展している。電子監視は遍在的となりつつあるが、人間の判断に依存することは人的資源の制限及びコストのために問題である。発展しつつある電子監視の独立性により、これらの欠点への対処が試みられている。実際、人間の判断を必要としない視覚追跡及び画像処理ソフトウェアを利用する監視方法及び技術が開発されつつある。例えば、識別及び顔認識センサ等の利用可能な技術は、顔や場所の深度及び寸法を測定することが可能である。この技術を用いて、ＡＴＭユーザを識別すること、制限区域において認可される人にアクセスを提供する（認可されない人には警報を発する）こと、また、３次元の部屋及び場所や、様々な人及び車両の動きをモニタすることが可能である。例えば、ｈｔｔｐ：／／ｗｗｗ．３ｄｖｓｙｓｔｅｍｓ．ｃｏｍ／ｓｏｌｕｔｉｏｎｓ／ｍａｒｋｅｔｓ．ｈｔｍｌにて利用可能な３ＤＶウェブサイトを参照のこと。
【０００７】
しかしながら、前述のシステムと同様に、これらの電子監視システムは人間による監視の不適切さを共有する。即ち、順方向時間ベース手法を利用したり、リアルタイムのデータを事後のユーザ検証のためにアーカイブしたりする。敵対者が一般市民のように装い、一般市民の車両を運転し、かつ、一般市民のように行動することにより都市環境において活動する状況では、最先端技術のモニタ及び監視システムであっても何ら不審な事は検出されないため、敵対者は処罰されずに移動することが可能である。敵対者が攻撃するときは、通常、不意打ちである。さらに悪いことに、敵対者が攻撃するときには既に、攻撃に至るまでのイベントの記録が存在しない場合や、或いは、断片的な情報しか存在せず一貫した話に集約するには長い時間を必要とする場合があるため、敵対者がその攻撃を如何にして準備したかについてまとめるには遅すぎる。
【０００８】
都市環境における高密度センサネットワークの配備は実施可能となったが、全てのセンサデータの処理や全てのオブジェクトのリアルタイムによる追跡（トラック；ｔｒａｃｋｉｎｇ）は実施可能ではないであろう。将来関係するデータのサブセットを予測することは、最新のイベント及びエンティティ追跡の記録なしでは殊更に、極めて困難であることが判明しており、これらのセンサネットワークの利用は非常に制限される。したがって、これらの順方向時間ベースのネットワークは、悪事を防止するのではなく、最良でも悪事の識別及び原因に関するその後の調査を支援する役割を果たすまでである。
【０００９】
このように、この順方向時間ベース手法には幾つかの欠点が存在する。即ち、（ａ）敵対者は攻撃を展開しようと決断するまで、中立的に見え、中立的に行動するように偽装することにより、奇襲の要素を利用し、ほぼ抵抗を受けずに対象に接近することが可能である。また、（ｂ）脅威に関する幾つかの予兆を提供する行動上の又は物理的な手掛かりが存在する場合にも、脅威の起点を発見する可能性は再現が困難であり、喪失される場合もある。この順方向時間ベース手法の不適切さは人による監視及び電子監視の双方に共通しており、最近のイベントに見られる私服の武力闘争や敵対的攻撃を通じ、ごく最近になっても露呈されている。
【００１０】
特に、順方向時間ベースの監視は偽装の敵対的攻撃を防止することが不可能であると考えられる。適切な訓練を受けた兵士にとっては、軍事戦闘行為における従来の脅威評価は比較的簡単な作業であった。しかしながら、偽装に基づくテロ行為に対する軍事戦闘行為
における現在の傾向では、敵対的作戦をカムフラージュ及び実行するために都市環境が用いられる。したがって、服装、顔、軍用品の種類又は不審な接近車両のリアルタイムの認識により（順方向時間ベース手法を用いて）友好勢力に警告が与えられる場合にも、攻撃を防止するには警告が遅すぎることが多い。実際、社会には順方向時間ベースの脅威評価を通じて偽装の敵対的攻撃が阻止される場合があるが、この方法は不適切である。現在の経験によれば、敵対勢力は攻撃を実行するために、この順方向時間ベース手法を利用することが分かっている。
【００１１】
したがって、当分野においては、予測的かつ予防的な脅威検出システムが必要である。当分野においては、センサネットワークを介して、画像、ビデオその他のデータを処理及びアーカイブすることが可能であり、かつ、現在の知見に基づき、このアーカイブされたデータを解析し得る脅威検出システムが必要である。当分野においては、センサデータの短期メモリバンクを利用して、時間的に逆方向にエンティティを選択的に追跡する脅威検出システム、特に、使用が保証されるまで、より有効であるが高価なデータ処理方法の使用を選択的に留保するシステムが必要である。さらに、当分野においては、拠点の基地の場所、仲間並びに共通して使用する戦略及び攻撃のパターン等、敵対者に関する有用な情報を取得するように動作する脅威検出システムが必要である。最後に、当分野においては、現在の重要なイベントに応じて、アーカイブされた履歴データを再解析及び再解釈し、かつ、発見及びその発見の提示する脅威を適切に解析するように動作する自動的な予測的脅威検出システムが必要である。
【発明を実施するための最良の形態】
【００１２】
特に、周囲の建造物によって視界が極度に制限されることが多く、行動の結果が事後まで理解されない都市環境においては、タイムマシンは極めて強力な軍用品となり得るであろう。過去への行程が数時間又は数日までに限定されており、過去は変更不可能であり観察のみが可能である場合であったとしても、その情報の内容だけで非常に有用であろう。例えば、警備ゲートに接近中の無害に見える乗用車も、過去へ行き、反乱者を隠匿していることが強く疑われる地域からその乗用車がやって来たことを観察することが可能であれば、それほど無害には見えないであろう。別の例として、出荷倉庫は、最近の車両爆破に関係する車の全てが爆破の直前にその倉庫に停車していたことが観察される場合、極めて不審である。
【００１３】
タイムマシンは、この語の一般的な理解においては、まだ技術的に可能でない（また、恐らくは決して可能でない）。しかしながら、今日では、充分なセンサネットワーク、データ記憶装置、画像解析及び空間的／時間的な推定技術が与えられ、それら全てが適切な情報抽出フレームワークへ統合されると、上述の情報収集性能が実現され得る。
【００１４】
本発明の一実施形態では、予測的脅威検出の方法が提供される。この方法では、都市環境においてサイト脅威レベルに従い分類されている複数のサイトへ展開されている遍在的センサネットワークを介して収集されるデータが利用される。都市環境を通じてセンサネットワークに分散されている複数のセンサから時間を通じて蓄積されるセンサデータにより、過去のイベントを検証する能力が実現する。最も旧いデータは新たなセンサデータにより連続的にリフレッシュされ、最も旧いデータと新たなデータとの間の時間間隔により、どの程度までの過去において検出が可能であるかが示される。
【００１５】
この方法は、（ａ）被疑エンティティによるトリガ行動の実行に応答して、現在のサイトにおける被疑エンティティに関する問い合わせをトリガする問い合わせ工程と、（ｂ）センサネットワークにより被疑エンティティが検出された各サイトからデータを収集することによって、問い合わせに応答して、被疑エンティティをバックトラックするバックトラック工程と、（ｃ）被疑エンティティが検出されたサイトのリスト及びそれに対応する
データを含むデータセットをコンパイルするコンパイル工程と、（ｄ）データセットに含まれるサイトのリストを対応するサイト脅威レベルと比較して、被疑エンティティに関する脅威状態を決定する比較工程と、からなる。
【００１６】
この方法にはさらに、（ａ）被疑エンティティのデータセットに含まれるデータを解析して、被疑エンティティと後続エンティティとの間で相互作用が発生したか否かを決定する工程と、（ｂ）相互作用が発生したと決定すると、後続エンティティに対してバックトラック工程、コンパイル工程及び比較工程を自動的に反復して、後続エンティティに関する脅威状態を決定する工程と、が含まれる。
【００１７】
この方法にはさらに、各後続エンティティに対して、（ａ）後続エンティティのデータセットに含まれるデータを解析して、後続エンティティと追加の後続エンティティとの間で相互作用が発生したか否かを決定する工程と、（ｂ）相互作用が発生したと決定すると、追加の後続エンティティに対してバックトラック工程、コンパイル工程及び比較工程を自動的に反復して、追加の後続エンティティに関する脅威状態を決定する工程と、を反復する工程が含まれる。
【００１８】
これに加えて、この方法にはさらに、追加の後続エンティティの脅威状態及び追加の後続エンティティのデータセットのうちの１つ以上に応答して、１つ以上のエンティティの脅威状態を再評価する工程が含まれる。
【００１９】
本発明の別の実施例では、相互作用は物理的転移、精神的転移及び物理的移動のうちの１つ以上を含む。これに関して、この方法にはさらに、（ａ）相互作用に対応するデータを再解析して、物理的転移、精神的転移及び物理的移動のうちの１つ以上に関する追加の情報を決定する工程と、（ｂ）追加の情報に基づき、１つ以上のエンティティの脅威状態を再評価する工程と、が含まれる。
【００２０】
本発明の別の態様では、センサネットワークによるデータの収集の際、データは最初にバックグラウンド減算及び時間差分、複数の重なり合うオブジェクト間の分解、オブジェクトの分類、オブジェクトの追跡、オブジェクトの解析並びにパターンマッチングのうちの１つ以上を利用して処理される。さらに、処理されたデータは、画像、映像、オブジェクト、トレース、アクト及びエピソードのうちの１つ以上を導出するために用いられる。
【００２１】
本発明のさらなる一態様では、被疑エンティティに関する問い合わせに応答してデータを処理するために追加のシステム資源が割り当てられる。
本発明の別の実施形態では、都市環境において複数のサイトへ展開されている遍在的センサネットワークを介して収集されるデータを利用する予測的脅威検出の方法が提供される。この方法には、（ａ）被疑エンティティによるトリガ行動の実行に応答して、現在のサイトにおける被疑エンティティに関する問い合わせをトリガする問い合わせ工程と、（ｂ）問い合わせに応答して、センサネットワークにより被疑エンティティが検出されたサイトに対応するデータをコンパイルするコンパイル工程と、（ｃ）データを解析して被疑エンティティに関する脅威状態を決定するデータ解析工程と、が含まれる。
【００２２】
この方法にはさらに、（ａ）データを解析して、被疑エンティティと後続エンティティとの間で相互作用が発生したか否かを決定する工程と、（ｂ）相互作用が発生したと決定すると、後続エンティティに対してコンパイル工程及び解析工程を自動的に反復して、後続エンティティに関する脅威状態を決定する工程と、が含まれる。これに加えて、この方法にはさらに、後続エンティティの脅威状態及び後続エンティティのデータセットのうちの１つ以上に応答して、被疑エンティティの脅威状態を再評価する工程が含まれる。
【００２３】
本発明の別の実施例では、この方法にはさらに、各後続エンティティに対して、（ａ）後続エンティティのデータを解析して、後続エンティティと追加の後続エンティティとの間で相互作用が発生したか否かを決定する工程と、（ｂ）相互作用が発生したと決定すると、追加の後続エンティティに対してコンパイル工程及び解析工程を自動的に反復して、追加の後続エンティティに関する脅威状態を決定する工程と、を反復する工程が含まれる。これに加えて、この方法にはさらに、追加の後続エンティティの脅威状態及び追加の後続エンティティのデータセットのうちの１つ以上に応答して、１つ以上のエンティティの脅威状態を再評価する工程が含まれる。
【００２４】
本発明のさらなる一実施例では、データ解析工程にはさらに、データに基づきエンティティの行動パターンを識別する工程が含まれる。これに関して、エンティティの脅威状態は行動パターンに基づき再評価される。
【００２５】
さらに別の実施例では、この方法にはさらに、被疑エンティティの脅威レベルに対応して、被疑エンティティが検出されたサイトの各々のサイト脅威レベルを更新する工程が含まれる。
【００２６】
本発明の別の実施形態では、都市環境における自動脅威検出のためのシステムが提供される。このシステムでは、都市環境において複数のサイトに展開されているセンサネットワークを介して収集されるデータが利用される。このシステムは、（ａ）データの実況供給（ライブフィード；ｌｉｖｅ ｆｅｅｄ）を利用し、被疑エンティティによるトリガ行動に応答して、被疑エンティティを検出するように動作する脅威モニタと、脅威モニタは被疑エンティティに関する問い合わせを生成するように動作することと、（ｂ）データベース及び推定部を備える知識モジュールと、データベースはセンサネットワークからのデータをアーカイブし、かつ、データを推定部へ提供するように動作することと、推定部は脅威モニタ及びデータベースと通信していることと、推定部は脅威モニタにより生成される問い合わせに応答して、被疑エンティティに対応するデータを解析し、かつ、被疑エンティティに関する脅威状態を提供するように動作することと、からなる。
【００２７】
このシステムはさらに、プロセッサを備える。このプロセッサは、データベースへのアーカイブに先立ってデータを処理するように動作する。処理されたデータは１つ以上のデータ表現レベルに従い分類される。
【００２８】
本発明の追加の一実施例では、推定部は被疑エンティティに対応するデータのデータセットを生成するように動作するバックトラックモジュールを備える。データセットは脅威状態を評価するために推定部により利用される。
【００２９】
要約すると、本発明の実施により、現在の順方向時間ベースの追跡手法が逆方向時間ベース手法によって補完され、エンティティ、即ち、車両又は人は「時間的に逆方向に」追跡され、そのエンティティの観察される先の位置及び行動が推論される。逆方向の追跡処理では、継続的な、より過去の時間において対象のエンティティを示す、データベース内のデータのサブセットが着目されている。
【００３０】
一般に、逆方向時間の追跡を実施するには少なくとも２つの手法が存在する。エンティティが脅威であるか否かが分かるまでは、不審な先の行動に基づき、エンティティが潜在的な脅威であるか否かについて評価が行われる。脅威を早期に検出することにより、脅威を無蓋化することや脅威による被害を最小化することが可能となるため、このことは重要である。この動作モードは予測モードと呼ばれる。
【００３１】
第２に、エンティティが脅威であることが確認された後に、先の行動が解析され、脅威
に関連する他のエンティティ又は敵対者の手口等、有用な情報が得られる。この動作モードは、フォレンジックモードと呼ばれる。
【００３２】
予測モードでは、通常、脅威となる行為を公然と行わずに友好勢力又は機密を扱う協力者に接近することにより、エンティティがその友好勢力又は機密を扱う協力者と関係する意図を示すとき、逆方向の追跡が開始される。結果として得られる、そのエンティティを示す履歴フレームのシーケンスが解析され、その過去の行動が評価され、脅威行動テンプレートと比較されて、そのエンティティが脅威であるか否かが評価される。例えば、車両が友好勢力に接近する場合、過去の行動に関する次の例により、その車両が脅威であり得ることの根拠が提供される。即ち、（ａ）車両が疑われる敵対サイトからやって来たこと、（ｂ）車両が盗難されたこと、（ｃ）車両へ一定のかさ高いオブジェクトが転移されたこと、（ｄ）車両の運転パターンが異常であったこと、（ｅ）車両が不審な集まりからやって来たこと又は車両が最近頻繁に傍を通過すること等である。
【００３３】
予測モードには、例えば、エンティティが既知の又は疑わしい敵対サイトからやって来た否か、或いは、既知の又は疑わしい敵対サイトを訪問したか否かを報告するように、異なった都市位置のサイト分類を提供するために、サイトデータベースが開発及び維持されることが必要である。
【００３４】
フォレンジックモードでは、エンティティが公然と脅威となる行為に関係した後に逆方向の追跡が開始され、続いてシステム又はユーザが調査を実施する。逆方向の追跡の結果は次のうちの１つ以上のように用いられる。即ち、（ａ）予測モードにより使用されるサイトデータベースへの変更を生じる武器の隠匿場所及び潜入経路を学習することを含め、潜在的な敵対サイトを識別する。（ｂ）対立側の他の相手及び攻撃の背後にある政治責任を識別する。（ｃ）例えば、消去法を用いることによりパターンから情報を演繹し、幾つかの攻撃の解析後に何らかの共通性が提供された後、狙撃手が識別される。（ｄ）敵の戦術及び作戦手続を学習し、その情報が予測モードにより用いられるように適合される。
【００３５】
本発明の実施により、都市地域は時間により変化するスナップショットの履歴のシーケンスとして検証されることが可能となる。この時間シーケンス内において逆方向及び順方向双方に被疑エンティティを追跡させることにより、標準的な順方向時間追跡手法が強化され、関連する行動、対象の都市サイトが特定され、さらに脅威の予測及び場所の特定が支援される。したがって、本発明の実施により、現在の最先端技術の手法により供給される利益を有意に超える利益が提供される。
【００３６】
演算処理資源の賢明な利用も本発明の実施例においては非常に重要である。被疑エンティティ、被疑エンティティに関連するエンティティ、他の個人又は高い価値のサイト等、幾つかのエンティティはアクティブにモニタされ、そのデータの大部分は調査の方針において必要な場合又は必要なときに処理され得るようにアーカイブされる。したがって、資源利用は低減され、システム資源は有効に割り当てられる。内的な目標には、システムの資源を潜在的に重要なイベント及びエンティティに集中するために、最適に管理することが含まれ、外的な目標には、ユーザがいつも情報を供給されていることを維持することが含まれる。
【００３７】
本発明のさらなる実施例では、このシステムは、車両及び人に加えて建造物その他のオブジェクトについて推定するように拡張される。建造物は、ブービートラップを仕掛けられること、待ち伏せに利用されること又は敵対者に作戦の基地を提供することから、脅威の候補であり得る。履歴センサの供給内容は、建造物の付近で発生する不審な一連の過去の行為を評価するために解析される。例えば、建造物にブービートラップが仕掛けられたことが発見される場合、建造物への最近の訪問者を調査すると、停車して建造物に小包を
配達した車両が識別される。次に、その車両が履歴センサ供給内容を通じて逆方向及び順方向に追跡され、その車両が訪問した他の建造物が特定され、現在の時間まで追跡されて、その現在の位置が提供される。他の建造物が訪問され、同様にブービートラップが仕掛けられたことが判明する場合、車両／運転者は脅威として確定される。或いは、その車両／運転者は妥当な脅威と見なされ、積極的に追跡又は追尾される。
【００３８】
本明細書に開示の様々な実施形態のこれらの及び他の特徴及び利点は、以下の説明及び図面に関してさらに理解されるであろう。図面を通じて同様な番号は同様な部材を表す。
全体的な理解を提供するために、ここで幾つかの代表的な実施形態を説明する。しかしながら、本明細書に記載のシステム及び方法は他の適切な用途のためのシステム及び方法を提供するように適合及び修正され得ること、また、本明細書に記載のシステム及び方法の範囲から逸脱することなく他の追加及び修正がなされ得ることが当業者には理解されるであろう。
【００３９】
ここで図面を参照する。図示した内容は、本発明の好適な実施形態を示すことのみを目的とするものであり、本発明を限定することを目的とするものではない。図１は、脅威検出の方法１０のブロック図である。この方法は、都市環境において複数のサイトへ展開されている遍在的センサネットワーク１４を含むシステム１２を介して収集されるデータを利用する。都市環境は所与の都市、又は、セキュリティ対策を行うショッピングモール、空港若しくは軍事施設等、都市内の場所である。本発明の様々な実施形態と共に利用されるセンサネットワーク１４は、ビデオカメラ、熱撮像装置、赤外線撮像装置、及び当分野において知られている他のセンサ等、複数のセンサ機構からなる。１つ以上のセンサは都市環境における所与のサイトに設置される。センサネットワーク１４の特定の地理的及び物理的構成は、システムの目的、セキュリティ考慮事項その他、システムの実施に関する因子に応じて決定される。特に、このシステムの効率及び有効性を強化するために、都市環境内を移動するエンティティがセンサネットワーク１４の所与のサイトにて１つ以上のセンサにより常時検出されるように、センサネットワーク１４が分散される必要があることが想定される。
【００４０】
本発明の一態様では、予測的脅威検出のシステム１２及び方法１０は、センサネットワーク１４からの現在の知見に応答して、センサネットワーク１４から収集されるデータを再解析及び再解釈するように動作する。図２に示すように、方法１０の別の実施形態には、様々なエンティティの脅威状態を決定する様々な工程が含まれる。したがって、センサネットワーク１４は、センサネットワーク１４から収集されアーカイブされるデータを利用して、エンティティの起点、目的、移動ルートその他、エンティティがセキュリティに対する脅威であると考えられるか否かを評価するのに有用である情報に関して、さらに完全な理解を提供する。これに加えて、システム１２は被疑エンティティの発見に応答して、追加のシステム資源を割り当ててもよい。
【００４１】
本明細書に開示のように、この方法及びシステムは、ビデオシーケンスにおいて移動するエンティティを検出、追跡及び分類することが可能である。そのようなエンティティには、車両、人、人の集団及び動物のうちの１つ以上が含まれる。ここで図３を参照する。システム１２は知覚モジュール１６、知識モジュール１８、自律モジュール２０及びユーザモジュール２２を備える。本発明の代表的な一実施形態では、知覚モジュール１６はセンサネットワーク１４を備え、知識モジュール１８、自律モジュール２０及びユーザモジュール２２から空間的に分離されている。また、知覚モジュール１６は未処理データデータベース２４を備え、知覚処理２６を実施するように動作する。図３にも示すように、知識モジュール１８は推定部（ｒｅａｓｏｎｅｒ）２８及びマスタデータベース３０を備える。
【００４２】
推定部２８により、システムが既にマスタデータベース３０に存在するデータについて推定を行い、そのデータから新たな推測を行うとともに、知覚モジュールに新たな情報又は再解析の要求を行うことが可能となる。
【００４３】
自律モジュール２０は脅威モニタ３２を備える。自律モジュール２０により、システム１２が人による相互作用をほとんど又は全く必要とせず、自動的に機能することが可能となる。したがって、本明細書に開示のバックトラック、分類及び脅威検出の方法並びにシステムは、自動的に実行及び利用される。脅威モニタ３２により、ユーザがシステム１２に、ユーザ３６の関心の対象であるデータについてマスタデータベース３０を自律的にモニタするように指示することが可能となる。これに加えて、脅威モニタ３２により、ユーザ３６がシステム１２に、そのようなデータが発見される場合に取る行動、特に、ユーザの介在なしに取られる自律的な行動の方針を指示することが可能となる。
【００４４】
さらに、ユーザモジュール２２はシステムのユーザ３６によりアクセスされてよい。センサネットワーク１４は、各サイトにて都市環境からデータを収集するように動作するビデオカメラを備える。ビデオカメラは、サイトの脅威レベルに対応する割合にて各サイトからデータを取得する。したがって、データにはビデオカメラから取得されるビデオ画像が含まれる。しかしながら、これに加えて、データには他のセンサを介して取得される音声記録も含まれてよい。所与のサイトにて、センサネットワーク１４がカメラ及び記録装置等の音声及び視覚センサの双方や、他の種類の撮像、熱及びデータ取得センサを備えるように構成されることが想定される。例えば、センサネットワーク１４は軍事施設及び政府施設等、高いレベルにセキュリティが維持されるサイトにて、上述のように様々なセンサを含むように変更されてよい。
【００４５】
本発明の好適な一実施形態では、方法１０は開始工程、即ち、トリガ工程３８において初期化される。方法１０は、（ａ）被疑エンティティによるトリガ行動の実行に応答して、現在のサイトにおける被疑エンティティに関する問い合わせをトリガする工程（即ち、問い合わせ工程４０）と、（ｂ）センサネットワーク１４により被疑エンティティが検出された各サイトからデータを収集することによって、問い合わせに応答して、被疑エンティティをバックトラックする工程（即ち、バックトラック工程４２）と、（ｃ）被疑エンティティが検出されたサイトのリスト及びそれに対応するデータを含むデータセットをコンパイルする工程（即ち、コンパイル工程４４）と、（ｄ）データセットに含まれるサイトのリストを対応するサイト脅威レベルと比較して、被疑エンティティに関する脅威状態を決定する工程（即ち、比較工程４６）と、からなる。
【００４６】
トリガ工程には、施設への進入、警備ゲートへの接近及び一定の行動パターン等のイベントを検出する工程が含まれる。これらのイベントは全て、トリガ行動を例示するために提供されるものであり、限定するためのものでない。
【００４７】
上述のように、順方向時間ベース追跡手法とは対照的に、本発明の実施形態では逆方向時間ベース手法を利用して「時間的に逆方向に」エンティティを追跡し、そのエンティティの観察される先の位置及び行動について推定を行う。例えば、エンティティが現在のサイトにおいてトリガ行動を実行する場合（トリガ工程３８）、エンティティは「被疑エンティティ（ｓｕｓｐｅｃｔ ｅｎｔｉｔｙ）」と見なされ、被疑エンティティに関する問い合わせが開始される（問い合わせ工程４０）。トラックバック工程４２には、現在のサイトにおいて開始して時間的に逆方向に進行する、被疑エンティティに関して収集されるデータを取得する工程が含まれる。被疑エンティティに対応するデータは、データが記憶された知識モジュール１８からアクセスされ得る。データセットをコンパイルするために（コンパイル工程４４）、システム１２は現在のサイトに隣接して位置する各サイトからのデータを解析し、被疑エンティティを追跡する。上述のように、また当分野において知
られているように、センサネットワーク１４は、被疑エンティティがセンサネットワーク１４内においてサイトからサイトへ移動するにつれ、その被疑エンティティを分類及び識別することにより、この処理を実行する。これに関して、被疑エンティティの逆方向の追跡は、センサネットワーク１４により検出される被疑エンティティのオブジェクト分類をシステム１２が利用することによって実行される。データセットが完成すると、データセットには被疑エンティティが検出されたサイトのリストが含まれることが想定される。次に、サイトのリストは被疑エンティティに関するさらなる情報を決定するために利用される。例えば、サイトのリストは各サイトの対応するサイト脅威レベルと比較され、被疑エンティティの脅威状態が決定される（比較工程４６）。これに加えて、データセットにはセンサネットワーク１４を介して収集される、他のビデオ、データ画像、音声記録その他の形式のデータが含まれてよく、このデータセットはさらに被疑エンティティの脅威レベルを決定するために利用される。したがって、データセットにはサイトからサイトへの被疑エンティティを示す履歴フレームのシーケンスが含まれる。この情報は被疑エンティティの過去の行動を評価するために解析され、被疑エンティティがセキュリティに対する脅威であるか否かを評価するために脅威行動テンプレートと比較される。
【００４８】
例えば、車両が警備ゲートに接近する場合、過去の行動に関する次の例により、その車両が脅威であり得ることの根拠が提供される。即ち、車両が疑われる敵対サイトからやって来たこと、車両が盗難されたこと、車両へ一定のかさ高いオブジェクトが転移されたこと、車両の運転パターンが異常であったこと、車両が不審な集まりからやって来たこと又は車両が最近頻繁に傍を通過すること等である。したがって、データセットの評価により、システム１２が予測的脅威検出モードを採用することが可能となる。このため、センサネットワーク１４は新たなデータに関して知識モジュール１８を連続的に更新し、さらに都市環境内の各サイトのサイト脅威レベルに関する更新された分類を提供する。このため、都市環境はモニタされ、被疑エンティティはその脅威レベルに対応して適切に識別される。
【００４９】
別の実施例では、方法１０はさらに、被疑エンティティのデータセットに含まれるデータを解析して、被疑エンティティと後続エンティティとの間で相互作用が発生したか否かを決定する工程（即ち、相互作用工程４８）と、相互作用が発生したと決定すると、後続エンティティに対してバックトラック工程、コンパイル工程及び比較工程を自動的に反復して、後続エンティティに関する脅威状態を決定する工程（即ち、反復工程５０）と、を含む。被疑エンティティのバックトラックにより、上述のように、被疑エンティティに関連したサイト及びデータからなるデータセットが提供される。このデータはさらに、被疑エンティティが他のエンティティとの相互作用に関与したか否か、及び、そうした相互作用の結果又は含意は何であるかを決定するために、解析される。
【００５０】
本発明の一実施形態では、相互作用は物理的な転移（ｔｒａｎｓｆｅｒ）、精神的な転移及び物理的な移動のうちの１つ以上のであってよい。したがって、被疑エンティティが一定の長期間に渡り後続エンティティに隣接して位置するビデオデータのフレームに見られる場合、システム１２は精神的転移が発生したと推測する。精神的転移には、単なる会話又は情報の交換が含まれる。ビデオデータにより、被疑エンティティが別のオブジェクトを後続エンティティへ転移したこと又は後続エンティティから受け取ったことが判明する場合、この物理的転移もシステムにより解釈される。したがって、本発明の一実施例では、そうした物理的転移及び精神的転移のうちの１つ以上を示すビデオデータが、システムによるさらなる解釈のためにデータセットへ提供される。このデータを取得する際、システム１２は後続エンティティを識別し、後続エンティティを時間的に逆方向に追跡して、物理的転移及び精神的転移のうちの１つ以上が被疑エンティティ又は後続エンティティの脅威レベルに影響を及ぼすか否かを決定する。例えば、後続エンティティを逆方向に追跡することにより、後続エンティティが敵対サイトからやって来たことが判明する場合、
被疑エンティティに対する任意の物理的転移又は精神的転移は被疑エンティティの脅威レベルに影響を及ぼし得る。
【００５１】
これに加えて、被疑エンティティが後続エンティティと相互作用を行ったこと、及び、後続エンティティが敵対サイトを起点にしていること、或いは他の手段により敵対サイトと関係していることが決定されると、被疑エンティティのデータセット内のデータは、それに応じて更新される。例えば、被疑エンティティが検出されたサイトの任意のサイト分類が更新され、被疑エンティティの増大した脅威レベルが反映される。これに対応して、後続エンティティとの物理的又は精神的転移の後に発生した被疑エンティティによる任意の物理的転移又は精神的転移も、増大した脅威レベルを有すると見なされる。当業者は理解されるように、本発明の実施例の範囲内において、他の様々な推測及びシナリオが想定される。
【００５２】
本発明の別の態様では、方法１０はさらに、後続エンティティのデータセットに含まれるデータを解析して、後続エンティティと追加の後続エンティティとの間で相互作用が発生したか否かを決定する工程（即ち、決定工程５０）と、相互作用が発生したと決定すると、追加の後続エンティティに対してバックトラック工程、コンパイル工程及び比較工程を自動的に反復して、追加の後続エンティティに関する脅威状態を決定する工程（即ち、決定工程５０）と、を含む。決定工程５０には、各追加の後続エンティティに対し工程４０，４２，４４を反復する工程と、それらの工程の実施により識別される他のエンティティに対し工程４０，４２，４４を反復する工程とが含まれる。したがって、これに応じて、システム１２は互いに対応するエンティティのオントロジー的解析を実装するように変更され得る。このオントロジー的手法により、システム１２が様々な相互作用によりトリガされるにつれて、いずれのエンティティもバックトラックされると想定される。各エンティティの脅威状態を評価するために、それぞれのエンティティの各々におけるそれぞれのデータセットにコンパイルされる新たなデータが解析される。これに加えて、このデータを利用して、エンティティが検出された、又は、物理的転移、精神的転移及び物理的移動のうちの１つ以上が発生したそれぞれのサイトのサイト脅威レベルが更新される（即ち、更新工程５６）。
【００５３】
本発明のさらに他の実施形態では、方法１０はさらに、追加の後続エンティティの脅威状態及び追加の後続エンティティのデータセットのうちの１つ以上に応答して、１つ以上のエンティティの脅威状態を再評価する工程（即ち、脅威状態再評価工程５８）を含む。方法１０には、後続エンティティの脅威状態及び後続エンティティのデータセットのうちの１つ以上に応答して、被疑エンティティの脅威状態を再評価する工程が含まれてよい。これに関して、方法１０には、別の所定のエンティティの脅威状態及び別の所定のエンティティのデータセットのうちの１つ以上に応答して、所定のエンティティの脅威状態を再評価する工程が含まれてよい。さらに方法１０には、相互作用に対応するデータを再解析して、物理的転移、精神的転移及び物理的移動のうちの１つ以上に関する追加の情報を決定する工程と、追加の情報に基づき１つ以上のエンティティの脅威状態を再評価する工程と、も含まれてよい。
【００５４】
本発明のさらなる一態様では、センサネットワーク１４によるデータの収集において、データは最初に未処理データデータベース２４に記憶され、当分野において知られている様々な手法のうちの１つ以上を利用して処理される。この処理は、知覚モジュール１６が知覚処理２６を利用することにより行われ得る。そのような知覚処理２６及び手法には、バックグラウンド減算及び時間差分、複数の重なり合うオブジェクト間の分解、オブジェクトの分類、オブジェクトの追跡、オブジェクトの解析並びにパターンマッチングが含まれる。したがって、センサネットワークのセンサは、より高度な機能を用いて知識モジュール１８においてデータをインデックス化又はアーカイブするために、各サイトから取得
されるデータを処理するように構成される。将来的に、個々のセンサの複雑性及び性能が成長するように、大容量記憶装置及び処理能力の利用可能性は成長を継続すると想定される。
【００５５】
したがって、さらに優れた強力なプロセッサが開発されるにつれて、センサネットワークを介して取得されるデータは、より高速に、かつ、システム資源により少ない負荷しか与えずに解析される。プロセッサ能力が増大するこの傾向により、収集される全てのデータに対し適用されるアルゴリズムのセットは成長する。しかしながら、全てのデータに適用されるとシステム資源を圧倒するような、より複雑なアルゴリズムが常に存在する。そうした資源集約的なアルゴリズムは、敵対者により用いられる次第に洗練される対抗手段に対処するために開発される。これらの、より効果的であるが演算処理的に高価なデータ処理方法の使用は、その使用が保証されるまでシステム１２により留保され、使用が保証される場合、遡及的に処理が行われる。この留保能力が存在しない場合、画像解析は全てのオブジェクトに対してリアルタイムに実行され得る方法に限定される。これに関して、システム１２が再検証又は再解釈を保証するシステム１２による発見に照らし、履歴センサデータを再解析することが想定される。このことにより、全てのオブジェクトに対し使用可能な資源を超える資源を必要とし得る検出方法を、そうした方法が実施され有用である場合にシステム１２が利用することが可能となる。
【００５６】
現在の最先端技術が与えられると、遍在的なセンサネットワーク１４を介するデータの連続的な更新及び取得には、膨大なデータ記憶及びデータ処理の能力が必要である。したがって、この処理を実施するために、システムに対するそうした記憶及び処理の負荷を減少させるように、データは簡素化、圧縮その他の手段により、変更され得る。これに関して、分類、追跡、解析その他、知覚モジュール１６を利用する方法を介するデータの処理により、より高速なバックトラック、更新その他のシステム１２のシステム機能が提供されると想定される。これに関して、特定の期間に渡ってデータが知識モジュール１８のマスタデータベース３０に記憶されることが想定される。マスタデータベース３０は知覚モジュール１６によりデータが処理された後、データを記憶する。この期間は、データが取得されたサイトのサイト脅威レベル等の様々な因子や、利用可能なシステム資源等に対応してよい。
【００５７】
したがって、本発明の一実施形態では、システム１２は画像キャプチャ解析を実行する。またシステム１２は、恐らく数百又は数千の非常に多数のカメラその他の固定センサが多量のデータストリームを提供する都市環境において、センサネットワーク１４からのデータの利用を実行する。センサネットワーク１４を介して収集されるデータは、例えば、数時間又は数日等、有意な期間に渡り未処理データストリームとして記憶される。データを処理する際、システム１２は様々なデータ表現レベルに従いデータを処理及び記憶する。図４に示すように、データ表現レベルには画像及び映像６０、オブジェクト６２、トレース（ｔｒａｃｅ）６４、アクト（ａｃｔ）６６及びエピソード（ｅｐｉｓｏｄｅ）６８のうちの１つ以上が含まれる。各データ表現レベルは知識モジュール１８内に存在する。しかしながら、システムの要求に応じて、所与のエンティティのデータセットには単一又は複数のデータ表現レベルが含まれると想定される。
【００５８】
本明細書に開示のように、画像及び映像６０には、センサネットワーク１４により収集される未処理データストリームと、データが最初に収集されるときに実行される任意の処理の結果とが含まれる。画像及び映像６０のデータ表現レベルには関連するセンサからの単純な時間シーケンスの画像が含まれるため、システムにおいて最も情報が少なく、かつ、関心の低いデータ集合である。理解されるように、画像及び映像６０のデータ表現レベルは断然大きいため、データを効果的に記憶するための圧縮手法が用いられてよい。バックトラック中のシステム１２の効率及び成功を強化するために、画像及び映像６０のデー
タ表現レベルが処理されない場合もあることが想定される。
【００５９】
しかしながら、オブジェクト抽出及び逆方向の追跡に必要な演算処理の量を最小化するために、知覚モジュール１６を利用してデータ取得時にデータに可能な限り多くの処理が適用される。上述のように、処理手法には、移動するオブジェクトの検出、輪郭検出その他、複数の重なり合うオブジェクト間を分解する手法や、移動するオブジェクトの簡単が含まれる。これに関して、この初期の処理を実行するために、センサネットワーク１４は各センサ専用のプロセッサ又はセンサの小さな集団を備えるように構成されることが想定される。データが収集される際に実行されるリアルタイム画像処理の量は、システム１２に利用可能な資源の量により制御されるため、状況に依存する。状況に依存するデータ処理は、トリガイベント、エンティティ、トランザクションその他の刺激に応答して実行される。これに加えて、状況の発生につれて、高優先度のデータ処理に対応するようにシステム資源が割り当てられるが、この優先度は発生したトリガイベントの種類によって決定される。
【００６０】
本発明の別の態様では、データはデータ表現レベルに従いオブジェクト６２として分類される。オブジェクト６２には、人、車両、建造物その他、搬送可能なオブジェクト等、環境におけるエンティティが含まれる。上述のように、ビデオ画像データは分類装置により解析され、データ内のオブジェクト６２を識別及びラベル表示する。分類装置は、その名前が示すように、各オブジェクト６２を、例えば車両、或いはさらなる情報が利用可能な場合には自動車など、そのオブジェクトのカテゴリによりラベル表示することを試みる。これに関して、分類装置は各オブジェクト６２に対し、データによってサポートされるように、最も特定的なラベルを伝達することを試みる。しかしながら、オブジェクト６２のカテゴリ誤りによりシステムの有効性が次第に損なわれるため、分類装置は当て推量（ｇｕｅｓｓｉｎｇ）を禁止する。
【００６１】
代表的な一実施形態では、オブジェクト６２は静止及び移動の２つのカテゴリに区分される。建造物又は電話ボックス等の静止オブジェクト６２は常に、特定の静的センサにより形成される画像の一部である。静的センサが配置されるとき、データ画像は再検証され、建造物を商店として分類する等、静止オブジェクト６２の正確な分類が提供されるが、この分類は画像から導出されなくともよい。移動オブジェクト６２は、車両、人、リンゴ販売のカート等である。そうした移動オブジェクト６２は個々のセンサの対象領域内を移動し、或いはセンサ境界を横切る場合もある。当分野において知られているように、センサネットワーク１４は複数のカメラシナリオを利用して、カメラ間のハンドオフを利用し得る。したがって、前述のように、移動するオブジェクト６２はセンサネットワーク１４全体を通じてタグ付け及び追跡される。したがって、静止オブジェクト及び移動オブジェクト６２の各々は、可能な限り正確に分類されタグ付けされる。これに関して、オブジェクト６２の分類又はタグには、オブジェクト６２が友好的か又は不審か等、他の情報が含まれてよい。したがって、人又は車両は友好的又は不審としてラベル付けされる。また、駐車場及びオフィス建造物は、その機能から期待されるように、住居とは反対に一回限りの短期間の訪問者が頻繁に発着する「立ち寄り点（ｓｔｏｐｏｖｅｒ）」としての特性を有し得る。これらの種類の特性はシステム１２により推測されるか、又は人であるそのユーザにより提供される。オブジェクトの特性の特定性は、システム１２が追加の資源をオブジェクトの処理に対し割り当てるにつれて変化し得る。特性を完全に転換することも可能である。例えば、中立的なオブジェクト６２は不審なオブジェクトとなり、その後に友好勢力として識別される。システム１２のこの自律的な特性変更能力により、システム１２がセンサネットワークを介してエンティティその他のオブジェクト６２を追跡し、それに従って正確な予測的検出を提供するためにそのオブジェクトの分類を更新することが可能となる。
【００６２】
図４をさらに参照する。トレース６４のデータ表現レベルには、様々なセンサにおいて検出されるオブジェクト６２が実際に同じオブジェクトであるか否かを決定するために、様々なセンサから収集されるデータの時間的な構成が含まれる。トレース６４はオブジェクト６２に対しシステムにより選択的に決定されることにより、オブジェクト６２のトレース６４を有効とするために、追加のシステム資源を割り当てる。そうしたトレースにより、システム１２がオブジェクト６２の特性を決定することが可能となる。例えば、速度が毎時２０マイル（３２．１９ｋｍ）を超えると記録されている場合、システム１２は、オブジェクト６２がモータ駆動又はプロペラ推進されていると結論付ける。トレース６４に関する他の様々な変更実施形態及び実施例は、システム１２の要件に従い実施される。
【００６３】
図４に示すアクト６６のデータ表現レベルには、前述の物理的転移、精神的転移、及び物理的移動のうちの１つ以上が含まれる。したがって、アクトはオブジェクト６２とトレース６４との間の連係又は関係である。センサ及びデータ処理限界のため、確信をもってアクトがアサートされる場合もあり、アサートされない場合もあることが想定される。しかしながら、アクトはシステムにより推測されること、及び、データは精神的転移、物理的転移、及び物理的移動のうちの１つ以上等のアクトに沿って、推定部２８により解釈されることが想定される。他のアクト６６には、移動オブジェクト６２を建造物、軍事施設又はショッピングセンタ等の静止オブジェクト６２に関連付ける「進入」又は「退出」が含まれる。したがって、オブジェクト６２を追跡する際、システム１２はエンティティが建造物に進入すること又は建造物から退出することを認識する。上述のように、データ処理及びデータ分類手法が向上するにつれて、より大きな確信をもってアクト６６がアサートされることにより、システム１２がさらに正確にエンティティの動き及び行動を解釈及び解析することが可能となると想定される。そうした技術の向上には、わずかに例を挙げれば、人工知能や顔認識が含まれる。
【００６４】
図４に示すエピソード６８のデータ表現レベルは、行動パターン等、エピソード６８へ組み込まれるオブジェクト６２とアクト６６との間の関係の所定のパターンを満足させるオブジェクト６２及びアクト６６からなる集合を表現する。これらの関係は時間的又は空間的なものであり、複数のアクト６６の特定の役割が同一であることが必要である。上述のように、現在のサイトにおける被疑エンティティへの問い合わせを開始すること等のため、システム資源が割り当てられるときを示すためにエピソード６８が利用される。例えば、エンティティが警備ゲートに近づく際、エピソード６８のデータ表現レベルにより、システム１２が問い合わせトリガし、エンティティのバックトラックを初期化することが可能となる。
【００６５】
したがって、上述のデータ表現レベルを利用して、システム１２は都市環境内のエンティティ間の相互作用を解析及び解釈する。ここで図５ａ〜ｄを参照して、一例を示す。次の例では、都市環境には、友好的軍事基地７２周辺の小さな都市領域７０が含まれる。センサネットワーク１４は３つのセンサ、即ち、基地への進入をモニタするセンサ（センサＡ ７４）、基地入り口の北の道路をモニタする別のセンサ（センサＢ ７６）及び基地入り口の南の道路をモニタする別のセンサ（センサＣ ７８）から構成される。システム１２は、基地に到着する全ての車両をバックトラックするように指示されており、任意の相互作用に対する車両のデータセットを通じて逆方向に追跡する。図５ａに示すように、この例では、センサＢ ７６により記録されるように、第１の車両８０は起点サイト８２を出発し、駐車場８４に到着して第２の車両８４を待つ。図５ｂでは、センサＢ，Ｃにより記録されるように、第２の車両８６は既知の敵対サイト８８を出発し、駐車場８４に到着する。第１及び第２の車両８０，８６は、センサＢ ７６により記録されるように、駐車場８４において不審な会合に関与する。図５ｃでは、この会合の後、第２の車両８６は駐車場８４を出発し、敵対サイト８８に到着する。図５ｄでは、第１の車両８０は駐車場８４を出発し、その後で基地への進入を試みる。基地のゲートに接近する際、システム１
２は問い合わせを初期化し、第１の車両８０に対するバックトラックシーケンスを開始する。このバックトラックでは、駐車場８４における不審な会合まで遡り第１の車両８０がトレースされる。また、システム１２は起点サイト８２まで遡り第１の車両８０をトレースする。起点サイト８２は敵対サイトであるか友好サイトであるかにより、脅威レベルを有するか或いは有しない。このとき、第１の車両８０はそれぞれの脅威状態を割り当てられる。しかしながら、システム１２は第１の車両８０が第２の車両８６との相互作用に関与したことも認識し得る。システムに利用可能なデータに応じて、システム１２は相互作用を多くのアクト６６のうちの１つとして識別する。これに加えて、システム１２は第２の車両８６に対するバックトラックを初期化し、第２の車両８６に対応する任意のデータ及びサイトのリストを提供し得る。次に、システム１２は第２の車両８６が敵対サイト８８からやって来たことを発見し、対応する脅威状態を第２の車両８６に割り当てる場合がある。これに加えて、システム１２は第２の車両８６の脅威状態又はデータセットに応答して、第１の車両８０の脅威状態を更新する。最後に、システム１２は少なくとも第１及び第２の車両８０，８６の脅威状態に応答して、起点サイト８２のサイト脅威レベルを更新する。したがって、本明細書に記載のように、第１の車両８０の脅威状態及び起点サイト８２のサイト脅威レベルを評価するために、システム１２は各車両及び任意の他の車両、即ち、第１及び第２の車両８０，８６のバックトラックにより識別されるエンティティ、に対応するデータを利用する。
【００６６】
本発明の別の実施形態では、システム１２はさらに、所与のエンティティに対応するデータの解析により行動パターンを識別するように動作することが想定される。これに関して、都市環境において複数のサイトへ展開されている遍在的センサネットワーク１４を介して収集されるデータを利用する予測的検出の方法１０は、開始工程、即ち、トリガ工程３８において、初期化される。この方法１０は、ａ）被疑エンティティによるトリガ行動の実行に応答して、現在のサイトにおける被疑エンティティに関する問い合わせを起動する工程（即ち、問い合わせ工程４０）と、ｂ）問い合わせに応答して、センサネットワーク１４により被疑エンティティが検出されたサイトに対応するデータをコンパイルする工程（即ち、コンパイル工程４４）と、ｃ）データを解析して被疑エンティティに関する脅威状態を決定する工程（即ち、データ解析工程９０）と、からなる。データ解析工程９０には、本明細書に開示する方法と共に行動解析によりデータを解析する工程が含まれる。
【００６７】
所与のエンティティに対応するデータは、そのエンティティの脅威状態を決定するために利用される。上述のように、エンティティの脅威状態を予測するために、一定の位置及び行動の種類がモニタされる。方法１０にはさらに、データを解析して、被疑エンティティと後続エンティティとの間で相互作用が発生したかを決定する工程（相互作用工程４８）と、相互作用が発生したと決定すると、後続エンティティに対してコンパイル工程及び解析工程を自動的に反復して、後続エンティティに関する脅威状態を決定する工程（反復工程５０）と、が含まれる。これに加えて、方法１０にはさらに、後続エンティティの脅威状態及び後続エンティティに対応するデータのうちの１つ以上に応答して、被疑エンティティの脅威状態を再評価する工程（脅威状態再評価工程５８）が含まれる。
【００６８】
方法１０にはさらに、各後続エンティティに対して、後続エンティティと追加の後続エンティティとの間で相互作用が発生したか否かを決定するために後続エンティティのデータを解析する工程（追加の反復工程５４）と、相互作用が発生したと決定すると、追加の後続エンティティに対してコンパイル工程及び解析工程を自動的に反復して、追加の後続エンティティに関する脅威状態を決定する工程（追加の反復工程５４）と、が含まれる。また、方法１０にはさらに、追加の後続エンティティの脅威状態及び追加の後続エンティティに対応するデータのうちの１つ以上に応じて、１つ以上のエンティティの脅威状態を再評価する工程（脅威状態再評価工程５８）が含まれる。
【００６９】
データ解析工程９０と共に利用される本発明の別の態様では、ユーザ３６はセンサネットワーク１４を介して取得されるデータにアクセスし、ユーザ要求に従いデータの処理を初期化する。例えば、ユーザ３６はセンサの対象領域において静止オブジェクト６２の初期の検出、分類及び特性指定の再検証、訂正並びに強化又はそれらのうちの１つ以上を行う。これに加えて、モニタ配置を確立させる際、ユーザ３６はモニタする位置や活動の種類を指定する。ユーザ３６はシステム１２により要求及び受信される情報を決定する。例えば、ユーザ３６はデータ提示を準備するために、センサネットワーク１４により収集されるデータ提示を受信する。この準備の際、ユーザ３６はユーザの要求に従い様々なデータ表現レベルにてデータを要求する。ユーザ３６は追加のシステム資源をユーザ３６により要求されるデータの処理に割り当てるために、データを再検証するとともに、システム１２をガイドし、システム１２にデータを再ラベル表示させるか、さらに解析される特定のオブジェクト６２又は活動を選択させるか、又は、進行中の活動に対しより低い優先度を要求する。
【００７０】
上述のように、本発明の実施形態では、エンティティの脅威状態を決定するために、現在の知見に応じてエンティティのサイト、相互作用及び行動パターンが、逆方向に追跡、解釈及び解析される予測的脅威検出のシステム１２並びに方法１０が提供される。データの予測的解析に加えて、本発明の追加の実施形態がフォレンジックモードされることが想定される。これに関して、エンティティの脅威状態又はセンサネットワーク１４内の任意の所与のサイトのサイト脅威レベルを再評価するために、全ての形式のデータ表現レベルによるデータがシステム１２により利用されることが想定される。例えば、図５のａ〜ｄに示すシナリオにおいて、第１及び第２の車両８０，８６に対応するデータセットのバックトラック、解析及び解釈により取得される任意のデータは、第１及び第２の車両８０，８６が検出された任意の所与のサイトに関するサイト脅威レベルを更新するために利用される。当然のことながら、複数の相互作用及び複数のサイトが存在する現実世界の状況では、更新及びバックトラックは極めて複雑である。システム１２はエンティティの行動パターンに応答して、対象とする他のサイトを検出することが可能である。システム１２のこのモードは、システムの予測的脅威検出モードと対話的に又は別々に機能する。しかしながら、エンティティに対応するデータの再解析及び再解釈により取得される情報は、オブジェクト分類、サイト脅威レベルその他のデータ表現レベルを変更するために用いられることが想定される。
【００７１】
これに加えて、上述のように、システム１２はオントロジーベースのモデル化手法を提供し、決定的パラメータ、行動、制約その他、システムに要求される特性を実装するように構成される。例えば、システム１２は、システム１２に対する問い合わせの行われる構成要素及びユーザレベルインターフェイスを備えるように構成される。例えば、ユーザ３６はシステム１２に、「歩行者Ｘと相互作用を行ったエージェントを識別する」ように問い合わせる。したがって、システム１２は、この問い合わせを実行し、「エージェント」及び「歩行者Ｘ」の各々や「相互作用」であるアクト６６に対する適切なデータ表現レベルを決定する。このオントロジーベースの問い合わせにより、ユーザ３６は様々なエンティティ又は調査に関係するデータにアクセスする。この処理により、ユーザ３６がオブジェクト６２の分類の提出、センサネットワーク１４の分類の構成、サイト脅威レベルの変更その他、様々な機能を実行することが可能となる。これに関して、システム１２の精度及び効率が強化される。
【００７２】
他に指定されない限り、例示の実施形態は一定の実施形態の様々な細目の代表的な特徴を提供するものと理解される。したがって、他に指定されない限り、例示の特徴、構成要素、モジュール及び態様のうちの１つ以上において、開示のシステム又は方法から逸脱することなく、結合、分離、交換及び再配置のうちの１つ以上を行うことが可能である。これに加えて、構成要素の形状及び寸法はやはり代表的なものであり、他に指定されない限
り、本開示において開示の代表的なシステム又は方法の範囲に影響を及ぼすことなく変更され得る。
【図面の簡単な説明】
【００７３】
【図１】本発明の一実施形態による脅威検出の方法を示すブロック図。
【図２】本発明の別の実施形態による脅威検出の方法を示すブロック図。
【図３】本発明の別の実施形態による脅威検出のシステムを示すブロック図。
【図４】本発明の別の実施形態によるデータ表現レベルを示すブロック図。
【図５】（ａ）本発明の別の実施形態によるシステム及び方法の一態様を示す図、（ｂ）本発明の別の実施形態によるシステム及び方法の一態様を示す図、（ｃ）本発明の別の実施形態によるシステム及び方法の一態様を示す図、（ｄ）本発明の別の実施形態によるシステム及び方法の一態様を示す図。
【図６】本発明の別の実施形態による脅威検出の方法を示すブロック図。
【特許請求の範囲】
【請求項１】
都市環境においてサイト脅威レベルに従い分類されている複数のサイトへ展開されている遍在的センサネットワークを介して収集されるデータを利用する予測的脅威検出の方法であって、
ａ．被疑エンティティによるトリガ行動の実行に応答して、現在のサイトにおける被疑エンティティに関する問い合わせをトリガする問い合わせ工程と、
ｂ．センサネットワークにより被疑エンティティが検出された各サイトからデータを収集することによって、問い合わせに応答して、被疑エンティティをバックトラックするバックトラック工程と、
ｃ．被疑エンティティが検出されたサイトのリスト及びそれに対応するデータを含むデータセットをコンパイルするコンパイル工程と、
ｄ．データセットに含まれるサイトのリストを対応するサイト脅威レベルと比較して、被疑エンティティに関する脅威状態を決定する比較工程と、
からなる方法。
【請求項２】
ａ．被疑エンティティのデータセットに含まれるデータを解析して、被疑エンティティと後続エンティティとの間で相互作用が発生したか否かを決定する工程と、
ｂ．相互作用が発生したと決定すると、後続エンティティに対してバックトラック工程、コンパイル工程及び比較工程を自動的に反復して、後続エンティティに関する脅威状態を決定する工程と、
を含む請求項１に記載の方法。
【請求項３】
各後続エンティティに対して、
ａ．後続エンティティのデータセットに含まれるデータを解析して、後続エンティティと追加の後続エンティティとの間で相互作用が発生したか否かを決定する工程と、
ｂ．相互作用が発生したと決定すると、追加の後続エンティティに対してバックトラック工程、コンパイル工程及び比較工程を自動的に反復して、追加の後続エンティティに関する脅威状態を決定する工程と、
を反復する工程を含む請求項２に記載の方法。
【請求項４】
追加の後続エンティティの脅威状態及び追加の後続エンティティのデータセットのうちの１つ以上に応答して、１つ以上のエンティティの脅威状態を再評価する工程を含む請求項２に記載の方法。
【請求項５】
相互作用は物理的転移、精神的転移及び物理的移動のうちの１つ以上を含む請求項２に記載の方法。
【請求項６】
ａ．相互作用に対応するデータを再解析して、物理的転移、精神的転移及び物理的移動のうちの１つ以上に関する追加の情報を決定する工程と、
ｂ．追加の情報に基づき、１つ以上のエンティティの脅威状態を再評価する工程と、
を含む請求項５に記載の方法。
【請求項７】
センサネットワークによるデータの収集の際、データは最初にバックグラウンド減算及び時間差分、複数の重なり合うオブジェクト間の分解、オブジェクトの分類、オブジェクトの追跡、オブジェクトの解析並びにパターンマッチングのうちの１つ以上を利用して処理される請求項１に記載の方法。
【請求項８】
処理されたデータは、画像、映像、オブジェクト、トレース、アクト及びエピソードのうちの１つ以上を導出するために用いられる請求項７に記載の方法。
【請求項９】
被疑エンティティに関する問い合わせに応答してデータを処理するために追加のシステム資源が割り当てられる請求項１に記載の方法。
【請求項１０】
被疑エンティティの脅威レベルに対応して、被疑エンティティが検出されたサイトの各々のサイト脅威レベルを更新する工程を含む請求項１に記載の方法。
【請求項１１】
都市環境において複数のサイトへ展開されている遍在的センサネットワークを介して収集されるデータを利用する予測的脅威検出の方法であって、
ａ．被疑エンティティによるトリガ行動の実行に応答して、現在のサイトにおける被疑エンティティに関する問い合わせをトリガする問い合わせ工程と、
ｂ．問い合わせに応答して、センサネットワークにより被疑エンティティが検出されたサイトに対応するデータをコンパイルするコンパイル工程と、
ｃ．データを解析して被疑エンティティに関する脅威状態を決定するデータ解析工程と、
からなる方法。
【請求項１２】
ａ．データを解析して、被疑エンティティと後続エンティティとの間で相互作用が発生したか否かを決定する工程と、
ｂ．相互作用が発生したと決定すると、後続エンティティに対してコンパイル工程及び解析工程を自動的に反復して、後続エンティティに関する脅威状態を決定する工程と、
を含む請求項１１に記載の方法。
【請求項１３】
後続エンティティの脅威状態及び後続エンティティのデータセットのうちの１つ以上に応答して、被疑エンティティの脅威状態を再評価する工程を含む請求項１２に記載の方法。
【請求項１４】
各後続エンティティに対して、
ａ．後続エンティティのデータを解析して、後続エンティティと追加の後続エンティティとの間で相互作用が発生したか否かを決定する工程と、
ｂ．相互作用が発生したと決定すると、追加の後続エンティティに対してコンパイル工程及び解析工程を自動的に反復して、追加の後続エンティティに関する脅威状態を決定する工程と、
を反復する工程を含む請求項１３に記載の方法。
【請求項１５】
追加の後続エンティティの脅威状態及び追加の後続エンティティのデータセットのうちの１つ以上に応答して、１つ以上のエンティティの脅威状態を再評価する工程を含む請求項１４に記載の方法。
【請求項１６】
データ解析工程はデータに基づきエンティティの行動パターンを識別する工程を含む請求項１１に記載の方法。
【請求項１７】
エンティティの脅威状態は行動パターンに基づき再評価される請求項１６に記載の方法。
【請求項１８】
都市環境において複数のサイトに展開されているセンサネットワークを介して収集されるデータを利用する、都市環境における自動脅威検出のためのシステムであって、
ａ．データの実況供給を利用し、被疑エンティティによるトリガ行動に応答して、被疑エンティティを検出するように動作する脅威モニタと、脅威モニタは被疑エンティティに関する問い合わせを生成するように動作することと、
ｂ．データベース及び推定部を備える知識モジュールと、データベースはセンサネットワークからのデータをアーカイブし、かつ、データを推定部へ提供するように動作することと、推定部は脅威モニタ及びデータベースと通信していることと、推定部は脅威モニタにより生成される問い合わせに応答して、被疑エンティティに対応するデータを解析し、かつ、被疑エンティティに関する脅威状態を提供するように動作することと、
からなるシステム。
【請求項１９】
データベースへのアーカイブに先立ってデータを処理するように動作するプロセッサと、処理されたデータは１つ以上のデータ表現レベルに従い分類されることと、を含む請求項１８に記載のシステム。
【請求項２０】
推定部は被疑エンティティに対応するデータのデータセットを生成するように動作するバックトラックモジュールを備えることと、データセットは脅威状態を評価するために推定部により利用されることと、を含む請求項１８に記載のシステム。
【請求項１】
都市環境においてサイト脅威レベルに従い分類されている複数のサイトへ展開されている遍在的センサネットワークを介して収集されるデータを利用する予測的脅威検出の方法であって、
ａ．被疑エンティティによるトリガ行動の実行に応答して、現在のサイトにおける被疑エンティティに関する問い合わせをトリガする問い合わせ工程と、
ｂ．センサネットワークにより被疑エンティティが検出された各サイトからデータを収集することによって、問い合わせに応答して、被疑エンティティをバックトラックするバックトラック工程と、
ｃ．被疑エンティティが検出されたサイトのリスト及びそれに対応するデータを含むデータセットをコンパイルするコンパイル工程と、
ｄ．データセットに含まれるサイトのリストを対応するサイト脅威レベルと比較して、被疑エンティティに関する脅威状態を決定する比較工程と、
からなる方法。
【請求項２】
ａ．被疑エンティティのデータセットに含まれるデータを解析して、被疑エンティティと後続エンティティとの間で相互作用が発生したか否かを決定する工程と、
ｂ．相互作用が発生したと決定すると、後続エンティティに対してバックトラック工程、コンパイル工程及び比較工程を自動的に反復して、後続エンティティに関する脅威状態を決定する工程と、
を含む請求項１に記載の方法。
【請求項３】
各後続エンティティに対して、
ａ．後続エンティティのデータセットに含まれるデータを解析して、後続エンティティと追加の後続エンティティとの間で相互作用が発生したか否かを決定する工程と、
ｂ．相互作用が発生したと決定すると、追加の後続エンティティに対してバックトラック工程、コンパイル工程及び比較工程を自動的に反復して、追加の後続エンティティに関する脅威状態を決定する工程と、
を反復する工程を含む請求項２に記載の方法。
【請求項４】
追加の後続エンティティの脅威状態及び追加の後続エンティティのデータセットのうちの１つ以上に応答して、１つ以上のエンティティの脅威状態を再評価する工程を含む請求項２に記載の方法。
【請求項５】
相互作用は物理的転移、精神的転移及び物理的移動のうちの１つ以上を含む請求項２に記載の方法。
【請求項６】
ａ．相互作用に対応するデータを再解析して、物理的転移、精神的転移及び物理的移動のうちの１つ以上に関する追加の情報を決定する工程と、
ｂ．追加の情報に基づき、１つ以上のエンティティの脅威状態を再評価する工程と、
を含む請求項５に記載の方法。
【請求項７】
センサネットワークによるデータの収集の際、データは最初にバックグラウンド減算及び時間差分、複数の重なり合うオブジェクト間の分解、オブジェクトの分類、オブジェクトの追跡、オブジェクトの解析並びにパターンマッチングのうちの１つ以上を利用して処理される請求項１に記載の方法。
【請求項８】
処理されたデータは、画像、映像、オブジェクト、トレース、アクト及びエピソードのうちの１つ以上を導出するために用いられる請求項７に記載の方法。
【請求項９】
被疑エンティティに関する問い合わせに応答してデータを処理するために追加のシステム資源が割り当てられる請求項１に記載の方法。
【請求項１０】
被疑エンティティの脅威レベルに対応して、被疑エンティティが検出されたサイトの各々のサイト脅威レベルを更新する工程を含む請求項１に記載の方法。
【請求項１１】
都市環境において複数のサイトへ展開されている遍在的センサネットワークを介して収集されるデータを利用する予測的脅威検出の方法であって、
ａ．被疑エンティティによるトリガ行動の実行に応答して、現在のサイトにおける被疑エンティティに関する問い合わせをトリガする問い合わせ工程と、
ｂ．問い合わせに応答して、センサネットワークにより被疑エンティティが検出されたサイトに対応するデータをコンパイルするコンパイル工程と、
ｃ．データを解析して被疑エンティティに関する脅威状態を決定するデータ解析工程と、
からなる方法。
【請求項１２】
ａ．データを解析して、被疑エンティティと後続エンティティとの間で相互作用が発生したか否かを決定する工程と、
ｂ．相互作用が発生したと決定すると、後続エンティティに対してコンパイル工程及び解析工程を自動的に反復して、後続エンティティに関する脅威状態を決定する工程と、
を含む請求項１１に記載の方法。
【請求項１３】
後続エンティティの脅威状態及び後続エンティティのデータセットのうちの１つ以上に応答して、被疑エンティティの脅威状態を再評価する工程を含む請求項１２に記載の方法。
【請求項１４】
各後続エンティティに対して、
ａ．後続エンティティのデータを解析して、後続エンティティと追加の後続エンティティとの間で相互作用が発生したか否かを決定する工程と、
ｂ．相互作用が発生したと決定すると、追加の後続エンティティに対してコンパイル工程及び解析工程を自動的に反復して、追加の後続エンティティに関する脅威状態を決定する工程と、
を反復する工程を含む請求項１３に記載の方法。
【請求項１５】
追加の後続エンティティの脅威状態及び追加の後続エンティティのデータセットのうちの１つ以上に応答して、１つ以上のエンティティの脅威状態を再評価する工程を含む請求項１４に記載の方法。
【請求項１６】
データ解析工程はデータに基づきエンティティの行動パターンを識別する工程を含む請求項１１に記載の方法。
【請求項１７】
エンティティの脅威状態は行動パターンに基づき再評価される請求項１６に記載の方法。
【請求項１８】
都市環境において複数のサイトに展開されているセンサネットワークを介して収集されるデータを利用する、都市環境における自動脅威検出のためのシステムであって、
ａ．データの実況供給を利用し、被疑エンティティによるトリガ行動に応答して、被疑エンティティを検出するように動作する脅威モニタと、脅威モニタは被疑エンティティに関する問い合わせを生成するように動作することと、
ｂ．データベース及び推定部を備える知識モジュールと、データベースはセンサネットワークからのデータをアーカイブし、かつ、データを推定部へ提供するように動作することと、推定部は脅威モニタ及びデータベースと通信していることと、推定部は脅威モニタにより生成される問い合わせに応答して、被疑エンティティに対応するデータを解析し、かつ、被疑エンティティに関する脅威状態を提供するように動作することと、
からなるシステム。
【請求項１９】
データベースへのアーカイブに先立ってデータを処理するように動作するプロセッサと、処理されたデータは１つ以上のデータ表現レベルに従い分類されることと、を含む請求項１８に記載のシステム。
【請求項２０】
推定部は被疑エンティティに対応するデータのデータセットを生成するように動作するバックトラックモジュールを備えることと、データセットは脅威状態を評価するために推定部により利用されることと、を含む請求項１８に記載のシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００７−４８２７７（Ｐ２００７−４８２７７Ａ）
【公開日】平成１９年２月２２日（２００７．２．２２）
【国際特許分類】
【外国語出願】
【出願番号】特願２００６−１８４１２４（Ｐ２００６−１８４１２４）
【出願日】平成１８年７月４日（２００６．７．４）
【出願人】（３９７０１７１９１）ノースロップ グラマン コーポレーション (30)
【Ｆターム（参考）】
【公開日】平成１９年２月２２日（２００７．２．２２）
【国際特許分類】
【出願番号】特願２００６−１８４１２４（Ｐ２００６−１８４１２４）
【出願日】平成１８年７月４日（２００６．７．４）
【出願人】（３９７０１７１９１）ノースロップ グラマン コーポレーション (30)
【Ｆターム（参考）】
[ Back to top ]