異常パターンの発見
【課題】 異常パターン発見のための方法、システム及び製造物品を提供する。
【解決手段】 複数の異なるグリッドに分割されたビデオ・データ画像フィールドにおいてオブジェクトの移動の軌跡が追跡される。ビデオ・データから軌跡に関する大域的画像特徴を抽出し、これを学習軌跡モデルと比較して、学習軌跡モデルへの適合性の関数として大域的異常検出信頼度判定値を生成する。また、オブジェクト軌跡を含む画像フィールド・グリッドの各々についての局所的画像特徴を抽出し、これをグリッドについての学習特徴モデルと比較して、グリッドの学習特徴モデルへの適合性の関数として各々のグリッドについての局所的異常検出信頼度判定値を生成する。大域的異常検出信頼度判定値をグリッドについての局所的異常検出信頼度判定値に融合させて、追跡されるオブジェクトに関する融合異常判定とする。
【解決手段】 複数の異なるグリッドに分割されたビデオ・データ画像フィールドにおいてオブジェクトの移動の軌跡が追跡される。ビデオ・データから軌跡に関する大域的画像特徴を抽出し、これを学習軌跡モデルと比較して、学習軌跡モデルへの適合性の関数として大域的異常検出信頼度判定値を生成する。また、オブジェクト軌跡を含む画像フィールド・グリッドの各々についての局所的画像特徴を抽出し、これをグリッドについての学習特徴モデルと比較して、グリッドの学習特徴モデルへの適合性の関数として各々のグリッドについての局所的異常検出信頼度判定値を生成する。大域的異常検出信頼度判定値をグリッドについての局所的異常検出信頼度判定値に融合させて、追跡されるオブジェクトに関する融合異常判定とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視覚画像データにおける動き活動（motion activity）の異常パターン又は普通でないパターンを発見することに関する。
【背景技術】
【０００２】
視覚画像データにおける動き活動の異常パターンを判定し、認識することは、特定の活動又は事象の発生又は不存在を判断するのに有用である。例えば、標準から逸脱する事象及び行動（例えば、構造成分の直接の又は潜在的な損傷、又は通常の安全性又は他の活動プロセス及びポリシーを遵守しない人間の活動）を示す、予期される又は正常な視覚データ・パターンの変化について、構造体の画像データを監視することができる。人間の分析で容易に区別できる場合には、そのような動きの異常パターンは、後の分析又は同時分析のために静止画像及びビデオ・システムを通じて視覚データを取り込み、記録することによって識別することができる。しかしながら、人間による視覚データの点検及び分析は困難で、時間がかかり、又は効率が悪い場合があり、さらに大量のデータでは実行不可能である。幾つかの異常パターンは、僅かなものであるか、それとも視覚データのコンピュータ分析によってのみ発見可能であり得る。
【０００３】
コンピュータ又は他のプログラム可能デバイスがビデオ・データを直接分析し、コンピュータ・ビジョン・アプリケーションを介して異常な動きパターンを識別することにより、オブジェクト、人々、事象、又は関心のある活動等を認識しようと試みる自動化ビデオ・システム及び方法が知られている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、自動化ビデオ監視システム及び方法システムによる、正常パターン、事象等からの異常な動きパターンの識別は、様々な要因のために、実際的な実世界の環境及び用途においては、信頼できないことが多い。例えば、視覚画像データは、クラッタ、不十分な又は変化する照明及びオブジェクト解像度、気を散らすような競合する視覚情報等のために、分析することが困難な場合があり、又は時間と共に変動する場合がある。誤った警告又は事象認識の見逃しも許容可能なレベルで起るはずである。
【課題を解決するための手段】
【０００５】
本発明の一実施形態において、異常パターンの発見方法は、複数の異なるグリッドに分割されたビデオ・データ画像フィールド内の軌跡（trajectory）におけるオブジェクトの移動を追跡することを含む。ビデオ・データから追跡されるオブジェクト軌跡に関する大域的（グローバル）画像特徴（global image feature）を抽出し、これを学習軌跡モデルと比較し、学習軌跡モデルへの適合性の関数として大域的異常検出信頼度判定値を生成する。オブジェクト軌跡を含む画像フィールド・グリッドの各々についての局所的（ローカル）画像特徴（local image feature）も抽出し、これをグリッドについての学習特徴モデルと比較して、グリッドについての学習特徴モデルへの適合性の関数として、局所的異常検出信頼度判定値を生成する。大域的異常検出信頼度判定値及びグリッドについての局所的異常信頼度判定値は、追跡されるオブジェクトに関する融合異常判定になる。
【０００６】
別の実施形態において、システムは、複数の異なるグリッドに分割されたビデオ・データ画像フィールド内の軌跡におけるオブジェクトの移動を追跡するためのプログラム命令と共に、処理ユニット、コンピュータ可読メモリ、及びコンピュータ可読ストレージ媒体デバイスを有する。ビデオ・データから追跡されるオブジェクト軌跡に関する大域的画像特徴を抽出し、これを学習軌跡モデルと比較して、学習軌跡モデルへの適合性の関数として大域的異常検出信頼度判定値を生成する。オブジェクト軌跡を含む画像フィールド・グリッドの各々についての局所的画像特徴も抽出し、これをグリッドについての学習特徴モデルと比較して、グリッドについての学習特徴モデルへの適合性の関数として各グリッドについての局所的異常検出信頼度判定値を生成する。大域的異常検出信頼度判定値及びグリッドについての局所的異常検出信頼度判定値は、追跡されるオブジェクトに関する融合異常判定になる。
【０００７】
別の実施形態において、製造物品が、それにより具体化されたコンピュータ可読プログラム・コードを有するコンピュータ可読ストレージ媒体デバイスを有し、このコンピュータ可読プログラム・コードは、コンピュータ・プロセッサによって実行されるとき、コンピュータ・プロセッサに、複数の異なるグリッドに分割されたビデオ・データ画像フィールド内の軌跡におけるオブジェクトの移動を追跡させる。ビデオ・データから、追跡されるオブジェクト軌跡に関する大域的画像特徴を抽出し、これを学習軌跡モデルと比較して、学習軌跡モデルへの適合性の関数として大域的異常検出信頼度判定値を生成する。オブジェクト軌跡を含む画像フィールド・グリッドの各々についての局所的画像特徴を抽出し、これをグリッドについての学習特徴モデルと比較して、グリッドについての学習特徴モデルへの適合性の関数として各グリッドに関する局所的異常検出信頼度判定値を生成する。大域的異常検出信頼度判定値及びグリッドについての局所的異常検出信頼度判定値は、追跡されるオブジェクトに関する融合異常判定になる。
【０００８】
別の実施形態において、異常パターン発見のためのサービスを提供する方法が、複数の異なるグリッドに分割されたビデオ・データ画像フィールド内の軌跡におけるオブジェクトの移動を追跡する検出追跡器を準備することを含む。大域的軌跡特徴抽出器は、ビデオ・データ画像フィールドから、オブジェクト軌跡に関する大域的画像特徴を抽出し、大域的異常判定器は、抽出された大域的特徴を学習軌跡モデルと比較し、学習軌跡モデルへの適合性の関数として大域的異常検出信頼度判定値を生成する。局所的グリッド特徴抽出器は、ビデオ・データから、オブジェクト軌跡を含む画像フィールド・グリッドの各々についての特徴を抽出し、局所的異常判定器は、グリッドの各々についての抽出された局所的画像特徴を学習特徴モデルと比較し、グリッドの学習特徴モデルへの適合性の関数としてグリッドについての局所的異常検出信頼度判定値を生成する。局所的−大域的判定融合器は、大域的異常検出信頼度判定値をグリッドの局所的異常検出信頼度判定値と融合して、追跡されるオブジェクトに関する融合異常判定とする。
【０００９】
本発明のこれら及び他の特徴は、添付図面に関連して解釈される、本発明の種々の態様についての以下の詳細な説明からより容易に理解されるであろう。
【図面の簡単な説明】
【００１０】
【図１】本発明による、局所的及び大域的モジュールからの出力を結合することにより異常を検出するための方法又はシステムの一実施形態のフローチャート図である。
【図２】本発明の実施形態による、分割された画像フィールドを通るオブジェクトの追跡の概略図である。
【図３】本発明による、局所的異常検出方法又はプロセスの一実施形態のフローチャート図である。
【図４】本発明による、大域的異常検出方法又はプロセスの一実施形態のフローチャート図である。
【図５】本発明の一実施形態のコンピュータ化された実施のブロック図である。
【図６】局所的及び大域的モジュールからの出力を結合することにより画像データ内の異常を検出する、本発明による物品のブロック図である。
【発明を実施するための形態】
【００１１】
図面は必ずしも縮尺通りには描かれていない。図面は、単なる概略的表示であり、本発明の特定のパラメータを表すことを意図したものではない。図面は、本発明の典型的な実施形態のみを示すことを意図したものであり、本発明の範囲を限定するものと考えるべきではない。図面においては、同様の番号は同様の要素を表す。
【００１２】
当業者であれば認識するように、本発明の態様は、システム、方法、又はコンピュータ・プログラムとして具体化することができる。従って、本発明の態様は、全体がハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）、又は、ソフトウェアの態様とハードウェアの態様とを組み合わせた実施形態の形を取ることができ、本明細書においてはこれらの全てを一般に、「回路」、「モジュール」、又は「システム」と呼ぶことができる。さらに、本発明の態様は、（コンピュータ可読プログラム・コードが組み入れられた１つ又は複数のコンピュータ可読媒体内に具体化された）コンピュータ・プログムの形を取ることができる。
【００１３】
１つ又は複数のコンピュータ可読媒体の任意の組み合わせを利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読ストレージ媒体とすることができる。コンピュータ可読ストレージ媒体は、例えば、これらに限られるものではないが、電子、磁気、光学、電磁気、赤外線若しくは半導体のシステム、装置若しくはデバイス、又は上記のいずれかの適切な組み合わせとすることができる。コンピュータ可読ストレージ媒体のより具体的な例（非網羅的なリスト）として、１つ又は複数の配線を有する電気的接続、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラム可能読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュ・メモリ）、光ファイバ、ポータブル・コンパクト・ディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光記憶装置、磁気記憶装置、又は上記のいずれかの適切な組み合わせが挙げられる。本明細書の文脈では、コンピュータ可読ストレージ媒体とは、命令実行システム、装置又はデバイスによって又はこれらと接続して用いるために、プログラムを収容又は格納することができるいずれかの有形媒体とすることができる。
【００１４】
コンピュータ可読信号媒体は、コンピュータ可読プログラム・コードがその中で具体化された、例えばベースバンド内の又は搬送波の一部としての、伝搬されたデータ信号を含むことができる。こうした伝搬信号は、これらに限られるものではないが、電磁気、光、又はこれらのいずれかの適切な組み合わせを含む、種々の形態のいずれかを取ることができる。コンピュータ可読信号媒体は、コンピュータ可読ストレージ媒体ではなく、命令実行システム、装置又はデバイスによって又はこれらと接続して用いるために、プログラムを通信し、伝搬し、又は転送することができる、いずれかのコンピュータ可読媒体とすることができる。
【００１５】
コンピュータ可読媒体上に具体化されたプログラム・コードは、これらに限られるものではないが、無線、有線、光ファイバ・ケーブル、ＲＦ等、又は上記のいずれかの適切な組み合わせを含む、いずれかの適切な媒体を用いて伝送することができる。
【００１６】
本発明の態様に関する動作を実行するためのプログラム・コードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、及び、「Ｃ」プログラミング言語又は同様のプログラミング言語などの従来の手続き型プログラミング言語を含む、１つ又は複数のプログラミング言語の任意の組み合わせで書くことができる。プログラム・コードは、ユーザのコンピュータ上で完全に実行される場合もあり、ユーザのコンピュータ上で部分的に実行される場合もあり、独立したソフトウェア・パッケージとして実行される場合もあり、ユーザのコンピュータ上で部分的に実行され、遠隔コンピュータ上で部分的に実行される場合もあり、又は遠隔コンピュータ若しくはサーバ上で完全に実行される場合もある。一番最後のシナリオの場合、遠隔コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含むいずれかのタイプのネットワークを通じてユーザのコンピュータに接続される場合もあり、又は外部のコンピュータへの接続がなされる場合もある（例えば、インタネット・サービス・プロバイダを用いたインターネットを通じて）。
【００１７】
本発明の態様は、本発明の実施形態による方法、装置（システム）、及びコンピュータ・プログラムのフローチャート図及び／又はブロック図を参照して、後述される。フローチャート図及び／又はブロック図の各ブロック、並びにフローチャート図及び／又はブロック図内のブロックの組み合わせは、コンピュータ・プログラム命令によって実装できることが理解されるであろう。これらのコンピュータ・プログラム命令を、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能データ処理装置のプロセッサに与えてマシンを生産し、それにより、コンピュータ又は他のプログラム可能データ処理装置のプロセッサによって実行される命令が、フローチャート及び／又はブロック図の１つ又は複数のブロック内で指定された機能／動作を実装するための手段を生成するようにすることができる。
【００１８】
コンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、又は他のデバイスに特定の方式で機能させるように指示することができるコンピュータ可読媒体内に格納して、それにより、そのコンピュータ可読媒体内に格納された命令が、フローチャート及び／又はブロック図の１つ又は複数のブロック内で指定された機能／動作を実装するための命令を含む製品を製造するようにすることもできる。
【００１９】
コンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、又は他のデバイスにロードし、一連の動作ステップをコンピュータ、他のプログラム可能データ処理装置、又は他のデバイス上で実行させて、コンピュータ実施プロセスを生成し、それにより、コンピュータ又は他のプログラム可能データ処理装置上で実行される命令が、フローチャート及び／又はブロック図の１つ又は複数のブロック内で指定された機能／動作を実装するためのプロセスを提供するようにすることもできる。
【００２０】
ここで図１を参照すると、本発明による異常パターン発見のための方法、プロセス又はシステムの一実施形態が示されている。局所的異常検出モジュール１０１において、ビデオ・データ入力１０２の画像フィールドが複数の異なるグリッドに分割され、ここで１０４において局所的検出器が、各グリッドに関する画像特徴を抽出する。１０６において、各グリッドについて局所的検出器によって抽出された画像特徴を、各グリッドについての学習モデル１０８と比較し、１１０において、グリッドの各々についての、より特定的には、抽出された特徴が、各グリッド内のオブジェクトの動きが正常である若しくは予期されたものであるか、又はその代わりに異常である（正常でない又は予期されていない）かを示す、局所的異常検出信頼度判定値を生成する。
【００２１】
大域的異常検出モジュール１０３においては、１１２において、プロセスは、ビデオ・データ入力１０２の画像フィールド内のオブジェクトの存在を検出し、動きの軌跡を通じて経時的に画像フィールドを通る検出されたオブジェクトの移動を追跡する。例証ではあるが網羅的ではない追跡される移動の例として、人のオブジェクトが、階段オブジェクトに対して移動し（例えば、上に移動し）、折り返し廊下オブジェクトを下りること、並びに組立体又は要素の構造的変化を示すことができる組立体内の２つの構造的要素の間の分離値（separation value）の変化を経時的に観測することが挙げられる。１１４において、大域的特徴抽出器は、ビデオ・データから、画像フィールドを通るオブジェクトの軌跡に関する、例えば画像フィールドの全て又は一部分に関する画像特徴を抽出する。１１８において、大域的異常検出器は、抽出された軌跡特徴を学習軌跡モデル１１６と比較して、オブジェクト軌跡（例えば、画像フィールド全体又はその一部分を通る）についての大域的異常検出信頼度判定値１２０を生成し、１２０における判定値は、オブジェクト軌跡が正常であるか、又はその代わりに異常であるかの尤度の客観的尺度を与える。
【００２２】
１２２において、オブジェクトがその軌跡内を通過するグリッドの各々について、１１０で生成された個々のグリッドの局所的異常検出信頼度判定値を、軌跡に対して１２０で生成された大域的判定値と融合して、オブジェクトに関する融合異常判定１２４とする。より具体的には、図２は、経時的に動き（例えば、人が画像フィールド４０２内のコンコースに沿って移動する）の軌跡４０６を記述するオブジェクトの画像を含む入力ビデオ・データ１０２の画像フィールド４０２を示す。本発明の一実施形態によると、画像フィールド４０２は、グリッド４０４のマトリックスに分割される。オブジェクト軌跡４０６は、グリッド４０４ａの一部を通って移動するが、他のグリッド４０４ｂには入らないので、オブジェクトの移動が正常であるか又は異常であるかを判断するために、追跡される軌跡４０６を含むグリッド４０４ａの局所的異常判定が、大域的異常判定と結合又は融合される。
【００２３】
従って、この例において、オブジェクト軌跡を含む画像フィールド・グリッド４０４ａの総数は、分割（partition）グリッド（当該グリッド４０４ａ及び他のグリッド４０４ｂを含めて）の総計よりも少なく、グリッド４０４のあらゆるものについての特徴を抽出する場合がある他の従来技術のシステムに優る効率をもたらす。（しかしながら、別の軌跡（図示せず）がグリッド４０４の全てを通過する可能性もあり、その場合には分割グリッド４０４の全ての局所的異常判定を考慮する）。一実施形態において、局所的及び／又は大域的異常検出信頼度判定値は、バイナリ（２値）の正常値又は異常値（すなわち、「イエス」若しくは「ノー」、又は「１」若しくは「ゼロ」）であるが、本発明の他の実施形態においては、異常値は、段階的な値又は他の非バイナリ値を与えることができる。
【００２４】
本発明の実施形態はまた、１２６において、局所的及び／又は大域的学習モデル１０８、１１６を、融合異常判定１２４の関数として更新することもできる。例えば、本発明の実施形態は、ビデオ画像データ入力１０２からの活動パターンを自動的に分析して、正常又は異常な行動（例えば、ラッシュアワー中の主要な通行方向に対する）についてのモデルを構築し、改良し、又は更新することができる。１２６における分析は、異なるスケールで、ビデオの局所的レベル及び大域的レベルの両方で、並びに空間領域及び時間領域の両方で行うことができる。幾つかの実施形態において、新しいビデオの異常パターンは、それらの抽出された特徴を、構築された正常パターン・モデルと比較することによって発見することができる。さらに、ビデオ・データ１０２内のオブジェクトの新しい活動又は次回の活動を用いて、正常又は異常パターンをオンラインで繰り返し適合させることができる。
【００２５】
教師あり学習（supervised learning）に依存する従来技術の方法及びシステムは、特に既知の所定の異常に対して設計された検出アルゴリズム（例えば、厳戒態勢地域の用途に用いられる仕掛け線横断警告システム）により、事前の異常知識を必要とする。しかしながら、従来技術のシステムにおいて、全ての可能な異常を検出するのに十分に包括的な検出器を構築することは実行可能でなく、可能でさえない。他の従来技術の方法及びシステムは、異常が既知であることも又は事前に定められることも必要としない半教師あり学習（semi-supervised learning）を用いることができる。しかしながら、標準からの逸脱によって異常を認識するために、標準を定めること又は知ることが依然として必要である。特定の用途においては、そのような半教師あり学習システムは、教師あり学習の手法よりも良好に機能するが、それらは依然として事前に標準的行動を知る必要があり、幾つかの例では、正常パターンは、異なる条件において、変化することがあり、互いに衝突し合うことさえもある。これとは対照的に、本発明の実施形態は、正常パターン又は異常パターンのいずれにおいても事前の知識も必要とせず、代わりに、主要な行動を学習することによって正常パターンを自動的に学習することができる。
【００２６】
図３は、図１及び図２の局所的異常検出モジュール１０１の一実施形態を示す。学習又は訓練プロセスにおいては、２０８において、入力訓練ビデオ・データ２０６の画像フィールドは、空間時間領域内の小さいグリッド４０４のマトリックスに分割される。２１０において、各グリッド４０４からテクスチャ特徴を抽出し、次元縮小（dimension reduction）技術によりさらに改良する。２１２において、抽出された特徴の主要な分布を見出し、これを用いて「正常」パターンを定義し、稀なパターン（rare pattern）は「異常」すなわち「正常でない」パターンを定義する。２１４において、学習特徴の分布についてのパラメトリック・モデル（例えば、ガウス分布）又は非パラメトリック・モデル（例えば、カーネル密度推定）を構築することによって、学習モデルを構成する。
【００２７】
従って、局所的異常検出モジュール１０１は、検出プロセスにおいて、１つ又は複数の局所的検出器を用いてグリッド４０４の各々に関して入力ビデオ１０２からの１０４における画像特徴の抽出によって学習モデル１０８を用いる。１０６において、抽出されたグリッドの局所的画像特徴を学習モデル１０８に適合させて、例えば類似性を取得する。このようにして、１１０において、個々のグリッド適合性信頼度に基づいて、異常検出判定を行い、２２８において、各グリッドについて異常判定を行う。
【００２８】
本発明の実施形態は、特徴の検出及び抽出のための様々な方法及びプロセスを用いることができる。一実施形態において、８次元が方向成分のためであり、２次元が水平方向及び垂直方向の速度のためである、１０次元から構成される特徴ベクトルが用いられ、空間時間特徴ベクトルがそこから導かれ（例えば、多数のビデオ画像フレームにわたる方向ベクトルを連結させることにより）、ここで次元を減らすために、Ｍａｔｌａｂ（商標）又は主成分分析（Principle Component Analysis、ＰＣＡ）が用いられ、特徴ベクトルの凝集クラスタリング（agglomerative clustering）が用いられる（一態様において、階層の提供を助ける）。ＭＡＴＬＡＢは、米国又は他の国におけるＭａｔｈＷｏｒｋｓ，Ｉｎｃ．社の商標である。
【００２９】
図４は、図１及び図２の大域的異常検出モジュール１０３の一実施形態を示す。３０４において、学習（又は訓練）訓練ビデオ・データ３０２に対してプロセスのオブジェクト追跡を行い、動きの軌跡又はトラックを取得する。３０６において、取得された軌跡をパラメータ化し、分析パラメータが、３０４で決定されたトラックを表すように取得される。一実施形態において、決定されたトラックを均一の長さに分離又は切断し、２次多項式の係数を用いて各々の長さをモデル化し、係数の組のグループにより各々のトラックを表す。３０８において、クラスタ化技術を用いてトラックの係数をグループ化し、１１６の学習モデルを生成することによって、学習モデルを構築する。
【００３０】
検出プロセスにおいて、本実施形態の大域的異常検出モジュール１０３は、入力ビデオ１０２において、１１２においてオブジェクトを検出し、追跡する。１１４において追跡されるオブジェクトの特徴を抽出し、パラメータ化し、１１８において、抽出されたトラック・パラメータを学習モデル１１６に当てはめて（適合して）、学習正常トラック・モデル又は学習異常トラック・モデルのいずれかに対する類似性を見出す。１１８における適合プロセスの関数として、モジュールは、１２０においてオブジェクト・トラックが正常であるか又は異常であるかを判定し、これに応じて、３１８においてオブジェクト・トラックに関する大域的異常判定を行う。
【００３１】
部分セグメントに基づいて動きの軌跡をパラメータ化する前述の実施形態に加えて、本発明の実施形態による大域的モデルの他の実施形態は、軌跡全体の特性を利用する。１つの例は、Ｍ次多項式の係数の組（例えば、２次元の３次曲線）を用いて、軌跡をパラメータ化する。前述の実施形態と同様に、パラメータを訓練プロセスに与え、かつ、異常検出モジュールにおいて用いる。本発明のさらに別の実施形態において、軌跡は、例えば軌跡上の空間時間的特徴点（interest point）を用いるなど、非パラメトリック情報を用いて全体的に表すことができる。
【００３２】
本発明の実施形態では、局所的及び大域的異常判定出力２２８及び３１８を融合して又は他の方法で結合して（図１の１２２において）、最終的な異常判定を得る（図１の１２４において）。一例においては、異常判定出力は、以下のように結合される。
【００３３】
（ａ）｛ＣＬ｝を局所的異常判定出力２２８として定義し、｛ＣＧ｝を大域的異常判定出力３１８として定義する。
【００３４】
（ｂ）入力ビデオ・データ１０２内の入力移動軌跡｛Ｊ｝が与えられ、オブジェクトが通過する全てのビデオ・グリッド（４０４、図２）を一組のグリッド（４０４ａ、図２）｛Ｇ１,．．．,Ｇｎ｝として見出し、これらのグリッドの全ての局所的異常検出信頼度の正規化和：｛ＳｕｍＬ（Ｊ）｝を見出す。
【００３５】
（ｃ）オブジェクト・トラックに関する合計した局所的異常尺度をその大域的信頼度に適用し、動的加重結合｛Ｆｉｎａｌ（Ｊ）＝ａＬＳｕｍＬ（Ｊ）＋ａＧＣＧ｝に従って全体的な異常検出信頼度を取得し、ここで係数｛ａＬ｝及び｛ａＧ｝は動的に求められ、それらの値は２つの学習モデルの分散に逆相関し、｛ａＬ＋ａＧ＝１｝を満たす。
【００３６】
当業者であれば、種々のプロセスを用いて局所的及び大域的異常判定出力を結合できることを認識するであろう。例証的であるが非網羅的な例は、線形加重和として又は対数変換の和等として値を結合するものであるが、本発明はここで説明された例に限定されると解釈されるべきではない。
【００３７】
従来技術の局所的特徴の異常発見方法は、一般に、生の特徴（例えば、オプティカル・フローの特徴、動的テクスチャ等）を直接抽出するものであり、これは意味論的意味をもたらすものではなく、多くの場合、特徴は空間的なものだけであり、動きのパターンの時間的変化をコード化しない。単一又は２つの連続したフレーム（このような従来技術において典型的であるような）から特徴を抽出するのとは対照的に、本発明の実施形態は、時間ウィンドウ内の動きの特徴を抽出し、これにより抽出された特徴における時間的変化を捕捉することが可能になる。さらに、低レベルの特徴に加えて、本発明の実施形態はまた、特徴を低次元空間に投影し、その結果、新しく得られた特徴はより多くの意味論的意味を有し、処理時間を短くすることができる。
【００３８】
さらに、従来技術の大域的特徴の異常発見方法は、一般に、トラック内の各点の座標を比較する、明示的なトラック表現による直接比較を行う。さらに、幾つかの従来技術の方法は、サブサンプリングされたバージョンを比較し、例えば、軌跡内の特定の「キー・ポイント」のみを比較する。これとは対照的に、本発明の実施形態は、軌跡のパラメトリック表現に対して、任意の長さ及び任意の形状を有するトラックを表すことができる２次係数の（又は他の適用可能な）組のグループを与える。
【００３９】
ここで図５を参照すると、本発明の実施形態の例示的なコンピュータ化された実施が、他のデバイス５０６（例えば、ビデオ・カメラ若しくはビデオ・サーバ、又は画像のデータベースを備えた記憶デバイス等）と通信するコンピュータ又は他のプログラム可能デバイス５２２を含み、このデバイス５０６は、例えば、コンピュータ・メモリ５１６、又はストレージ・システム５３２、或いはコンピュータ・ネットワーク・インフラストラクチャ５２６を通じてアクセスできる別のデバイス５０６若しくは他のコンピュータ可読ストレージ媒体内に常駐するコンピュータ可読コード内の命令５４２に応答して、画像を検索し、検索された画像を、図１乃至図４に関連して前述したようにクエリ属性に対して分類ランク付けする。従って、その命令が実施されるとき、図１乃至図４に関連して前述したように、処理ユニット（ＣＰＵ）５３８は、局所的及び大域的モジュールからの出力を組み合せることにより異常を検出することができる。
【００４０】
コンピュータ５２２は、種々のコンポーネントを含み、その一部がコンピュータ５２２内に示される。より具体的には、図示するように、コンピュータ５２２は、１つ又は複数の外部Ｉ／Ｏデバイス／リソース５２４、ストレージ・システム５３２、又は他のデバイス５２０と通信する処理ユニット（ＣＰＵ）５３８を含む。さらに、処理ユニット（ＣＰＵ）５３８は、単一の処理ユニットを含んでもよく、或いは、例えばクライアント及びサーバ上など、１つ又は複数の場所の１つ又は複数の処理ユニットにわたって分散させてもよい。同様に、メモリ５１６及び／又はストレージ・システム５３２は、１つ又は複数の物理的な場所に存在する様々なタイプのデータ・ストレージ及び／又は伝送媒体の任意の組み合わせを含むことができる。さらに、Ｉ／Ｏインターフェース５２４は、外部サーバ及び／又はクライアント（図示せず）のうちの１つ又は複数と情報を交換するための任意のシステムを含むこともできる。さらにまた、１つ又は複数の付加的なコンポーネント（例えば、システム・ソフトウェア、マス・コプロセッシング・ユニット（mass co-processing unit）等）（図示せず）をコンピュータ５２２内に含ませることもできることが理解される。
【００４１】
図６は、局所的及び大域的モジュールからの出力を組み合せることにより画像データにおける異常を検出する、本発明による物品６０１（例えば、プログラム可能デバイス、システムなど）を示す。従って、図１−図５及び上記の関連した説明資料を参照することにより理解されるように、オブジェクト検出器及び追跡器６１２は、ビデオ・データ画像フィールド内の軌跡におけるオブジェクトの移動を追跡する。軌跡特徴抽出器６１４は、ビデオ・データ画像フィールドから、オブジェクト軌跡に関する大域的画像特徴を抽出する。大域的異常判定器６１０は、オブジェクト軌跡に関する抽出された大域的画像特徴を学習軌跡モデルと比較して、抽出された大域的画像特徴の学習軌跡モデルへの適合性の関数として、大域的異常検出信頼度判定値を生成する。局所的グリッド特徴抽出器６０８は、ビデオ・データから、オブジェクト軌跡を含む画像フィールド・グリッドの各々についての特徴を抽出する。局所的異常判定器６１６は、オブジェクト軌跡を含むグリッドの各々についての抽出された局所的画像特徴を、オブジェクト軌跡を含むグリッドの各々についての学習特徴モデルと比較して、各グリッドに関する抽出された局所的画像特徴の学習特徴モデルへの適合性の関数として、オブジェクト軌跡を含むグリッドの各々についての局所的異常検出信頼度判定値を生成する。局所的−大域的判定融合器６１８は、局所的及び大域的異常検出信頼度判定値を融合して、追跡されるオブジェクトに対する融合異常判定を行う。画像フィールドを、空間時間領域内のグリッドのマトリックスとしてグリッドに分割するビデオ・フィールド分割器（segmenter）６０４をさらに設けることもできる。抽出された特徴の主要な分布から、正常パターン又は異常パターンのいずれかを定める学習特徴モデルを構築し、或いはパラメータ化された軌跡トラックの主要な分布から、正常パターン又は異常パターンのいずれかを定める学習軌跡モデルを構築し、融合異常判定の関数としてモデルを更新することができる、モデル構築器／更新器６０２を設けることもできる。
【００４２】
本発明の実施形態はまた、本発明のプロセス・ステップを、加入ベース、広告ベース、及び／又は料金ベースで実行することもできる。つまり、サービス提供者は、図１、図３又は図４に関連して前述したように、局所的及び大域的モジュールからの出力を組み合せることにより画像データにおける異常を検出するよう提案することができる。従って、サービス提供者は、ネットワーク・コンピュータ・システム５２２、ネットワーク環境５２６、及び／又は、１又は複数の顧客のために本発明のプロセス・ステップを実行する物品６０１（又はその一部）のようなコンピュータ・インフラストラクチャを作成し、維持し、サポートすることなどが可能である。その見返りとして、サービス提供者は、加入及び／又は料金契約の下で顧客から報酬を受け取ることができ、及び／又は、サービス提供者は、１又は複数の第三者への広告コンテンツの販売から報酬を受け取ることができる。サービスは、（１）コンピュータ可読媒体デバイス５１６、５２０又は５０６から、コンピュータ／デバイス５２２のようなコンピュータ・デバイス上にプログラム・コードをインストールすること、（２）１つ又は複数のコンピュータ・デバイスをコンピュータ・インフラストラクチャに付加すること、及び（３）コンピュータ・インフラストラクチャの１つ又は複数の既存システムを組み込み及び／又は変更し、コンピュータ・インフラストラクチャが本発明のプロセス・ステップを実行するのを可能にすること、のうちの１つ又は複数を含むことができる。
【００４３】
本明細書で用いられる用語は、特定の実施形態を説明する目的のためのものにすぎず、本発明を限定することを意図するものではない。本明細書で用いられるとき、単数形「１つの（ａ）」、「１つの（ａｎ）」及び「その（ｔｈｅ）」は、そうでないことが示されていない限り、複数形も含むことが意図されている。本明細書で用いられるとき、「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、提示された特徴、整数、ステップ、動作、要素、及び／又はコンポーネントの存在を特定するものであるが、１つ又は複数の他の特徴、整数、ステップ、動作、要素、コンポーネント、及び／又はそれらのグループの存在又は追加を排除するものではないことがさらに理解されるであろう。特許請求の範囲の請求項及び図に示されるようなものを含む、本明細書において説明された特定の例及び要素は、一意の形容詞によって他のものと区別すること又は他の方法で識別することができる（例えば、「第１の」要素は、複数の要素のうちの別の「第２の」又は「第３の」のものと区別され、「一次」は「二次」と区別され、又はある項目は「別の」項目と区別されるなど）。そのような識別形容詞は、一般に、混乱又は不確実性を減らすために用いられるものであり、特許請求の範囲をいずれかの特定の示される要素又は実施形態に限定するもの、又はいずれかの特許請求された要素、制限又はプロセス・ステップの何らかの優先度、順序付け又はランク付けを意味するものと解釈されるべきではない。
【００４４】
特許請求の範囲における全ての「手段又はステップと機能との組合せ（ミーンズ又はステップ・プラス・ファンクション）」要素の対応する構造、材料、動作及び均等物は、その機能を、明確に特許請求されているように他の特許請求された要素と組み合わせて実行するための、いかなる構造、材料又は動作をも含むことが意図される。本発明の説明は、例示及び説明の目的で提示されたものであるが、網羅的であることを意図するものではなく、本発明を開示された形態に限定することを意図するものでもない。本発明の範囲及び精神から逸脱することのない多くの変更及び変形が、当業者には明らかであろう。実施形態は、本発明の原理及び実際の用途を最も良く説明するため、及び、当業者が本発明を種々の変更を有する種々の実施形態について企図される特定の使用に適したものとして理解することを可能にするために、選択及び記載された。
【符号の説明】
【００４５】
１０１：局所的異常検出モジュール
１０２：ビデオ・データ入力
１０３：大域的異常検出モジュール
１０８、１２６：学習モデル
１１０：局所的異常検出信頼度判定値
１１６：学習軌跡モデル
１２０：大域的異常検出信頼度判定値
１２４：融合異常判定
２０６、３０２：訓練ビデオ・データ
２２８：局所的異常判定出力
３１８：大域的異常判定出力
４０２：画像フィールド
４０４、４０４ａ、４０４ｂ：グリッド
４０６：オブジェクトの軌跡
５０６、５２０：他のデバイス
５１６：コンピュータ・メモリ
５２０：コンピュータ可読媒体デバイス
５２２：コンピュータ又は他のプログラム可能デバイス
５２４：外部Ｉ／Ｏデバイス／リソース
５２６：コンピュータ・ネットワーク・インフラストラクチャ
５３２：記憶システム
５３８：処理ユニット（ＣＰＵ）
５４２：命令
６０１：物品
６０２：モデル構築器／更新器
６０４：ビデオ・フィールド分割器
６０８：局所的グリッド特徴抽出器
６１０：大域的異常判定器
６１２：オブジェクト検出追跡器
６１４：軌跡特徴抽出器
６１６：局所的異常判定器
６１８：局所的−大域的判定融合器
【技術分野】
【０００１】
本発明は、視覚画像データにおける動き活動（motion activity）の異常パターン又は普通でないパターンを発見することに関する。
【背景技術】
【０００２】
視覚画像データにおける動き活動の異常パターンを判定し、認識することは、特定の活動又は事象の発生又は不存在を判断するのに有用である。例えば、標準から逸脱する事象及び行動（例えば、構造成分の直接の又は潜在的な損傷、又は通常の安全性又は他の活動プロセス及びポリシーを遵守しない人間の活動）を示す、予期される又は正常な視覚データ・パターンの変化について、構造体の画像データを監視することができる。人間の分析で容易に区別できる場合には、そのような動きの異常パターンは、後の分析又は同時分析のために静止画像及びビデオ・システムを通じて視覚データを取り込み、記録することによって識別することができる。しかしながら、人間による視覚データの点検及び分析は困難で、時間がかかり、又は効率が悪い場合があり、さらに大量のデータでは実行不可能である。幾つかの異常パターンは、僅かなものであるか、それとも視覚データのコンピュータ分析によってのみ発見可能であり得る。
【０００３】
コンピュータ又は他のプログラム可能デバイスがビデオ・データを直接分析し、コンピュータ・ビジョン・アプリケーションを介して異常な動きパターンを識別することにより、オブジェクト、人々、事象、又は関心のある活動等を認識しようと試みる自動化ビデオ・システム及び方法が知られている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、自動化ビデオ監視システム及び方法システムによる、正常パターン、事象等からの異常な動きパターンの識別は、様々な要因のために、実際的な実世界の環境及び用途においては、信頼できないことが多い。例えば、視覚画像データは、クラッタ、不十分な又は変化する照明及びオブジェクト解像度、気を散らすような競合する視覚情報等のために、分析することが困難な場合があり、又は時間と共に変動する場合がある。誤った警告又は事象認識の見逃しも許容可能なレベルで起るはずである。
【課題を解決するための手段】
【０００５】
本発明の一実施形態において、異常パターンの発見方法は、複数の異なるグリッドに分割されたビデオ・データ画像フィールド内の軌跡（trajectory）におけるオブジェクトの移動を追跡することを含む。ビデオ・データから追跡されるオブジェクト軌跡に関する大域的（グローバル）画像特徴（global image feature）を抽出し、これを学習軌跡モデルと比較し、学習軌跡モデルへの適合性の関数として大域的異常検出信頼度判定値を生成する。オブジェクト軌跡を含む画像フィールド・グリッドの各々についての局所的（ローカル）画像特徴（local image feature）も抽出し、これをグリッドについての学習特徴モデルと比較して、グリッドについての学習特徴モデルへの適合性の関数として、局所的異常検出信頼度判定値を生成する。大域的異常検出信頼度判定値及びグリッドについての局所的異常信頼度判定値は、追跡されるオブジェクトに関する融合異常判定になる。
【０００６】
別の実施形態において、システムは、複数の異なるグリッドに分割されたビデオ・データ画像フィールド内の軌跡におけるオブジェクトの移動を追跡するためのプログラム命令と共に、処理ユニット、コンピュータ可読メモリ、及びコンピュータ可読ストレージ媒体デバイスを有する。ビデオ・データから追跡されるオブジェクト軌跡に関する大域的画像特徴を抽出し、これを学習軌跡モデルと比較して、学習軌跡モデルへの適合性の関数として大域的異常検出信頼度判定値を生成する。オブジェクト軌跡を含む画像フィールド・グリッドの各々についての局所的画像特徴も抽出し、これをグリッドについての学習特徴モデルと比較して、グリッドについての学習特徴モデルへの適合性の関数として各グリッドについての局所的異常検出信頼度判定値を生成する。大域的異常検出信頼度判定値及びグリッドについての局所的異常検出信頼度判定値は、追跡されるオブジェクトに関する融合異常判定になる。
【０００７】
別の実施形態において、製造物品が、それにより具体化されたコンピュータ可読プログラム・コードを有するコンピュータ可読ストレージ媒体デバイスを有し、このコンピュータ可読プログラム・コードは、コンピュータ・プロセッサによって実行されるとき、コンピュータ・プロセッサに、複数の異なるグリッドに分割されたビデオ・データ画像フィールド内の軌跡におけるオブジェクトの移動を追跡させる。ビデオ・データから、追跡されるオブジェクト軌跡に関する大域的画像特徴を抽出し、これを学習軌跡モデルと比較して、学習軌跡モデルへの適合性の関数として大域的異常検出信頼度判定値を生成する。オブジェクト軌跡を含む画像フィールド・グリッドの各々についての局所的画像特徴を抽出し、これをグリッドについての学習特徴モデルと比較して、グリッドについての学習特徴モデルへの適合性の関数として各グリッドに関する局所的異常検出信頼度判定値を生成する。大域的異常検出信頼度判定値及びグリッドについての局所的異常検出信頼度判定値は、追跡されるオブジェクトに関する融合異常判定になる。
【０００８】
別の実施形態において、異常パターン発見のためのサービスを提供する方法が、複数の異なるグリッドに分割されたビデオ・データ画像フィールド内の軌跡におけるオブジェクトの移動を追跡する検出追跡器を準備することを含む。大域的軌跡特徴抽出器は、ビデオ・データ画像フィールドから、オブジェクト軌跡に関する大域的画像特徴を抽出し、大域的異常判定器は、抽出された大域的特徴を学習軌跡モデルと比較し、学習軌跡モデルへの適合性の関数として大域的異常検出信頼度判定値を生成する。局所的グリッド特徴抽出器は、ビデオ・データから、オブジェクト軌跡を含む画像フィールド・グリッドの各々についての特徴を抽出し、局所的異常判定器は、グリッドの各々についての抽出された局所的画像特徴を学習特徴モデルと比較し、グリッドの学習特徴モデルへの適合性の関数としてグリッドについての局所的異常検出信頼度判定値を生成する。局所的−大域的判定融合器は、大域的異常検出信頼度判定値をグリッドの局所的異常検出信頼度判定値と融合して、追跡されるオブジェクトに関する融合異常判定とする。
【０００９】
本発明のこれら及び他の特徴は、添付図面に関連して解釈される、本発明の種々の態様についての以下の詳細な説明からより容易に理解されるであろう。
【図面の簡単な説明】
【００１０】
【図１】本発明による、局所的及び大域的モジュールからの出力を結合することにより異常を検出するための方法又はシステムの一実施形態のフローチャート図である。
【図２】本発明の実施形態による、分割された画像フィールドを通るオブジェクトの追跡の概略図である。
【図３】本発明による、局所的異常検出方法又はプロセスの一実施形態のフローチャート図である。
【図４】本発明による、大域的異常検出方法又はプロセスの一実施形態のフローチャート図である。
【図５】本発明の一実施形態のコンピュータ化された実施のブロック図である。
【図６】局所的及び大域的モジュールからの出力を結合することにより画像データ内の異常を検出する、本発明による物品のブロック図である。
【発明を実施するための形態】
【００１１】
図面は必ずしも縮尺通りには描かれていない。図面は、単なる概略的表示であり、本発明の特定のパラメータを表すことを意図したものではない。図面は、本発明の典型的な実施形態のみを示すことを意図したものであり、本発明の範囲を限定するものと考えるべきではない。図面においては、同様の番号は同様の要素を表す。
【００１２】
当業者であれば認識するように、本発明の態様は、システム、方法、又はコンピュータ・プログラムとして具体化することができる。従って、本発明の態様は、全体がハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）、又は、ソフトウェアの態様とハードウェアの態様とを組み合わせた実施形態の形を取ることができ、本明細書においてはこれらの全てを一般に、「回路」、「モジュール」、又は「システム」と呼ぶことができる。さらに、本発明の態様は、（コンピュータ可読プログラム・コードが組み入れられた１つ又は複数のコンピュータ可読媒体内に具体化された）コンピュータ・プログムの形を取ることができる。
【００１３】
１つ又は複数のコンピュータ可読媒体の任意の組み合わせを利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読ストレージ媒体とすることができる。コンピュータ可読ストレージ媒体は、例えば、これらに限られるものではないが、電子、磁気、光学、電磁気、赤外線若しくは半導体のシステム、装置若しくはデバイス、又は上記のいずれかの適切な組み合わせとすることができる。コンピュータ可読ストレージ媒体のより具体的な例（非網羅的なリスト）として、１つ又は複数の配線を有する電気的接続、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラム可能読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュ・メモリ）、光ファイバ、ポータブル・コンパクト・ディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光記憶装置、磁気記憶装置、又は上記のいずれかの適切な組み合わせが挙げられる。本明細書の文脈では、コンピュータ可読ストレージ媒体とは、命令実行システム、装置又はデバイスによって又はこれらと接続して用いるために、プログラムを収容又は格納することができるいずれかの有形媒体とすることができる。
【００１４】
コンピュータ可読信号媒体は、コンピュータ可読プログラム・コードがその中で具体化された、例えばベースバンド内の又は搬送波の一部としての、伝搬されたデータ信号を含むことができる。こうした伝搬信号は、これらに限られるものではないが、電磁気、光、又はこれらのいずれかの適切な組み合わせを含む、種々の形態のいずれかを取ることができる。コンピュータ可読信号媒体は、コンピュータ可読ストレージ媒体ではなく、命令実行システム、装置又はデバイスによって又はこれらと接続して用いるために、プログラムを通信し、伝搬し、又は転送することができる、いずれかのコンピュータ可読媒体とすることができる。
【００１５】
コンピュータ可読媒体上に具体化されたプログラム・コードは、これらに限られるものではないが、無線、有線、光ファイバ・ケーブル、ＲＦ等、又は上記のいずれかの適切な組み合わせを含む、いずれかの適切な媒体を用いて伝送することができる。
【００１６】
本発明の態様に関する動作を実行するためのプログラム・コードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、及び、「Ｃ」プログラミング言語又は同様のプログラミング言語などの従来の手続き型プログラミング言語を含む、１つ又は複数のプログラミング言語の任意の組み合わせで書くことができる。プログラム・コードは、ユーザのコンピュータ上で完全に実行される場合もあり、ユーザのコンピュータ上で部分的に実行される場合もあり、独立したソフトウェア・パッケージとして実行される場合もあり、ユーザのコンピュータ上で部分的に実行され、遠隔コンピュータ上で部分的に実行される場合もあり、又は遠隔コンピュータ若しくはサーバ上で完全に実行される場合もある。一番最後のシナリオの場合、遠隔コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含むいずれかのタイプのネットワークを通じてユーザのコンピュータに接続される場合もあり、又は外部のコンピュータへの接続がなされる場合もある（例えば、インタネット・サービス・プロバイダを用いたインターネットを通じて）。
【００１７】
本発明の態様は、本発明の実施形態による方法、装置（システム）、及びコンピュータ・プログラムのフローチャート図及び／又はブロック図を参照して、後述される。フローチャート図及び／又はブロック図の各ブロック、並びにフローチャート図及び／又はブロック図内のブロックの組み合わせは、コンピュータ・プログラム命令によって実装できることが理解されるであろう。これらのコンピュータ・プログラム命令を、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能データ処理装置のプロセッサに与えてマシンを生産し、それにより、コンピュータ又は他のプログラム可能データ処理装置のプロセッサによって実行される命令が、フローチャート及び／又はブロック図の１つ又は複数のブロック内で指定された機能／動作を実装するための手段を生成するようにすることができる。
【００１８】
コンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、又は他のデバイスに特定の方式で機能させるように指示することができるコンピュータ可読媒体内に格納して、それにより、そのコンピュータ可読媒体内に格納された命令が、フローチャート及び／又はブロック図の１つ又は複数のブロック内で指定された機能／動作を実装するための命令を含む製品を製造するようにすることもできる。
【００１９】
コンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、又は他のデバイスにロードし、一連の動作ステップをコンピュータ、他のプログラム可能データ処理装置、又は他のデバイス上で実行させて、コンピュータ実施プロセスを生成し、それにより、コンピュータ又は他のプログラム可能データ処理装置上で実行される命令が、フローチャート及び／又はブロック図の１つ又は複数のブロック内で指定された機能／動作を実装するためのプロセスを提供するようにすることもできる。
【００２０】
ここで図１を参照すると、本発明による異常パターン発見のための方法、プロセス又はシステムの一実施形態が示されている。局所的異常検出モジュール１０１において、ビデオ・データ入力１０２の画像フィールドが複数の異なるグリッドに分割され、ここで１０４において局所的検出器が、各グリッドに関する画像特徴を抽出する。１０６において、各グリッドについて局所的検出器によって抽出された画像特徴を、各グリッドについての学習モデル１０８と比較し、１１０において、グリッドの各々についての、より特定的には、抽出された特徴が、各グリッド内のオブジェクトの動きが正常である若しくは予期されたものであるか、又はその代わりに異常である（正常でない又は予期されていない）かを示す、局所的異常検出信頼度判定値を生成する。
【００２１】
大域的異常検出モジュール１０３においては、１１２において、プロセスは、ビデオ・データ入力１０２の画像フィールド内のオブジェクトの存在を検出し、動きの軌跡を通じて経時的に画像フィールドを通る検出されたオブジェクトの移動を追跡する。例証ではあるが網羅的ではない追跡される移動の例として、人のオブジェクトが、階段オブジェクトに対して移動し（例えば、上に移動し）、折り返し廊下オブジェクトを下りること、並びに組立体又は要素の構造的変化を示すことができる組立体内の２つの構造的要素の間の分離値（separation value）の変化を経時的に観測することが挙げられる。１１４において、大域的特徴抽出器は、ビデオ・データから、画像フィールドを通るオブジェクトの軌跡に関する、例えば画像フィールドの全て又は一部分に関する画像特徴を抽出する。１１８において、大域的異常検出器は、抽出された軌跡特徴を学習軌跡モデル１１６と比較して、オブジェクト軌跡（例えば、画像フィールド全体又はその一部分を通る）についての大域的異常検出信頼度判定値１２０を生成し、１２０における判定値は、オブジェクト軌跡が正常であるか、又はその代わりに異常であるかの尤度の客観的尺度を与える。
【００２２】
１２２において、オブジェクトがその軌跡内を通過するグリッドの各々について、１１０で生成された個々のグリッドの局所的異常検出信頼度判定値を、軌跡に対して１２０で生成された大域的判定値と融合して、オブジェクトに関する融合異常判定１２４とする。より具体的には、図２は、経時的に動き（例えば、人が画像フィールド４０２内のコンコースに沿って移動する）の軌跡４０６を記述するオブジェクトの画像を含む入力ビデオ・データ１０２の画像フィールド４０２を示す。本発明の一実施形態によると、画像フィールド４０２は、グリッド４０４のマトリックスに分割される。オブジェクト軌跡４０６は、グリッド４０４ａの一部を通って移動するが、他のグリッド４０４ｂには入らないので、オブジェクトの移動が正常であるか又は異常であるかを判断するために、追跡される軌跡４０６を含むグリッド４０４ａの局所的異常判定が、大域的異常判定と結合又は融合される。
【００２３】
従って、この例において、オブジェクト軌跡を含む画像フィールド・グリッド４０４ａの総数は、分割（partition）グリッド（当該グリッド４０４ａ及び他のグリッド４０４ｂを含めて）の総計よりも少なく、グリッド４０４のあらゆるものについての特徴を抽出する場合がある他の従来技術のシステムに優る効率をもたらす。（しかしながら、別の軌跡（図示せず）がグリッド４０４の全てを通過する可能性もあり、その場合には分割グリッド４０４の全ての局所的異常判定を考慮する）。一実施形態において、局所的及び／又は大域的異常検出信頼度判定値は、バイナリ（２値）の正常値又は異常値（すなわち、「イエス」若しくは「ノー」、又は「１」若しくは「ゼロ」）であるが、本発明の他の実施形態においては、異常値は、段階的な値又は他の非バイナリ値を与えることができる。
【００２４】
本発明の実施形態はまた、１２６において、局所的及び／又は大域的学習モデル１０８、１１６を、融合異常判定１２４の関数として更新することもできる。例えば、本発明の実施形態は、ビデオ画像データ入力１０２からの活動パターンを自動的に分析して、正常又は異常な行動（例えば、ラッシュアワー中の主要な通行方向に対する）についてのモデルを構築し、改良し、又は更新することができる。１２６における分析は、異なるスケールで、ビデオの局所的レベル及び大域的レベルの両方で、並びに空間領域及び時間領域の両方で行うことができる。幾つかの実施形態において、新しいビデオの異常パターンは、それらの抽出された特徴を、構築された正常パターン・モデルと比較することによって発見することができる。さらに、ビデオ・データ１０２内のオブジェクトの新しい活動又は次回の活動を用いて、正常又は異常パターンをオンラインで繰り返し適合させることができる。
【００２５】
教師あり学習（supervised learning）に依存する従来技術の方法及びシステムは、特に既知の所定の異常に対して設計された検出アルゴリズム（例えば、厳戒態勢地域の用途に用いられる仕掛け線横断警告システム）により、事前の異常知識を必要とする。しかしながら、従来技術のシステムにおいて、全ての可能な異常を検出するのに十分に包括的な検出器を構築することは実行可能でなく、可能でさえない。他の従来技術の方法及びシステムは、異常が既知であることも又は事前に定められることも必要としない半教師あり学習（semi-supervised learning）を用いることができる。しかしながら、標準からの逸脱によって異常を認識するために、標準を定めること又は知ることが依然として必要である。特定の用途においては、そのような半教師あり学習システムは、教師あり学習の手法よりも良好に機能するが、それらは依然として事前に標準的行動を知る必要があり、幾つかの例では、正常パターンは、異なる条件において、変化することがあり、互いに衝突し合うことさえもある。これとは対照的に、本発明の実施形態は、正常パターン又は異常パターンのいずれにおいても事前の知識も必要とせず、代わりに、主要な行動を学習することによって正常パターンを自動的に学習することができる。
【００２６】
図３は、図１及び図２の局所的異常検出モジュール１０１の一実施形態を示す。学習又は訓練プロセスにおいては、２０８において、入力訓練ビデオ・データ２０６の画像フィールドは、空間時間領域内の小さいグリッド４０４のマトリックスに分割される。２１０において、各グリッド４０４からテクスチャ特徴を抽出し、次元縮小（dimension reduction）技術によりさらに改良する。２１２において、抽出された特徴の主要な分布を見出し、これを用いて「正常」パターンを定義し、稀なパターン（rare pattern）は「異常」すなわち「正常でない」パターンを定義する。２１４において、学習特徴の分布についてのパラメトリック・モデル（例えば、ガウス分布）又は非パラメトリック・モデル（例えば、カーネル密度推定）を構築することによって、学習モデルを構成する。
【００２７】
従って、局所的異常検出モジュール１０１は、検出プロセスにおいて、１つ又は複数の局所的検出器を用いてグリッド４０４の各々に関して入力ビデオ１０２からの１０４における画像特徴の抽出によって学習モデル１０８を用いる。１０６において、抽出されたグリッドの局所的画像特徴を学習モデル１０８に適合させて、例えば類似性を取得する。このようにして、１１０において、個々のグリッド適合性信頼度に基づいて、異常検出判定を行い、２２８において、各グリッドについて異常判定を行う。
【００２８】
本発明の実施形態は、特徴の検出及び抽出のための様々な方法及びプロセスを用いることができる。一実施形態において、８次元が方向成分のためであり、２次元が水平方向及び垂直方向の速度のためである、１０次元から構成される特徴ベクトルが用いられ、空間時間特徴ベクトルがそこから導かれ（例えば、多数のビデオ画像フレームにわたる方向ベクトルを連結させることにより）、ここで次元を減らすために、Ｍａｔｌａｂ（商標）又は主成分分析（Principle Component Analysis、ＰＣＡ）が用いられ、特徴ベクトルの凝集クラスタリング（agglomerative clustering）が用いられる（一態様において、階層の提供を助ける）。ＭＡＴＬＡＢは、米国又は他の国におけるＭａｔｈＷｏｒｋｓ，Ｉｎｃ．社の商標である。
【００２９】
図４は、図１及び図２の大域的異常検出モジュール１０３の一実施形態を示す。３０４において、学習（又は訓練）訓練ビデオ・データ３０２に対してプロセスのオブジェクト追跡を行い、動きの軌跡又はトラックを取得する。３０６において、取得された軌跡をパラメータ化し、分析パラメータが、３０４で決定されたトラックを表すように取得される。一実施形態において、決定されたトラックを均一の長さに分離又は切断し、２次多項式の係数を用いて各々の長さをモデル化し、係数の組のグループにより各々のトラックを表す。３０８において、クラスタ化技術を用いてトラックの係数をグループ化し、１１６の学習モデルを生成することによって、学習モデルを構築する。
【００３０】
検出プロセスにおいて、本実施形態の大域的異常検出モジュール１０３は、入力ビデオ１０２において、１１２においてオブジェクトを検出し、追跡する。１１４において追跡されるオブジェクトの特徴を抽出し、パラメータ化し、１１８において、抽出されたトラック・パラメータを学習モデル１１６に当てはめて（適合して）、学習正常トラック・モデル又は学習異常トラック・モデルのいずれかに対する類似性を見出す。１１８における適合プロセスの関数として、モジュールは、１２０においてオブジェクト・トラックが正常であるか又は異常であるかを判定し、これに応じて、３１８においてオブジェクト・トラックに関する大域的異常判定を行う。
【００３１】
部分セグメントに基づいて動きの軌跡をパラメータ化する前述の実施形態に加えて、本発明の実施形態による大域的モデルの他の実施形態は、軌跡全体の特性を利用する。１つの例は、Ｍ次多項式の係数の組（例えば、２次元の３次曲線）を用いて、軌跡をパラメータ化する。前述の実施形態と同様に、パラメータを訓練プロセスに与え、かつ、異常検出モジュールにおいて用いる。本発明のさらに別の実施形態において、軌跡は、例えば軌跡上の空間時間的特徴点（interest point）を用いるなど、非パラメトリック情報を用いて全体的に表すことができる。
【００３２】
本発明の実施形態では、局所的及び大域的異常判定出力２２８及び３１８を融合して又は他の方法で結合して（図１の１２２において）、最終的な異常判定を得る（図１の１２４において）。一例においては、異常判定出力は、以下のように結合される。
【００３３】
（ａ）｛ＣＬ｝を局所的異常判定出力２２８として定義し、｛ＣＧ｝を大域的異常判定出力３１８として定義する。
【００３４】
（ｂ）入力ビデオ・データ１０２内の入力移動軌跡｛Ｊ｝が与えられ、オブジェクトが通過する全てのビデオ・グリッド（４０４、図２）を一組のグリッド（４０４ａ、図２）｛Ｇ１,．．．,Ｇｎ｝として見出し、これらのグリッドの全ての局所的異常検出信頼度の正規化和：｛ＳｕｍＬ（Ｊ）｝を見出す。
【００３５】
（ｃ）オブジェクト・トラックに関する合計した局所的異常尺度をその大域的信頼度に適用し、動的加重結合｛Ｆｉｎａｌ（Ｊ）＝ａＬＳｕｍＬ（Ｊ）＋ａＧＣＧ｝に従って全体的な異常検出信頼度を取得し、ここで係数｛ａＬ｝及び｛ａＧ｝は動的に求められ、それらの値は２つの学習モデルの分散に逆相関し、｛ａＬ＋ａＧ＝１｝を満たす。
【００３６】
当業者であれば、種々のプロセスを用いて局所的及び大域的異常判定出力を結合できることを認識するであろう。例証的であるが非網羅的な例は、線形加重和として又は対数変換の和等として値を結合するものであるが、本発明はここで説明された例に限定されると解釈されるべきではない。
【００３７】
従来技術の局所的特徴の異常発見方法は、一般に、生の特徴（例えば、オプティカル・フローの特徴、動的テクスチャ等）を直接抽出するものであり、これは意味論的意味をもたらすものではなく、多くの場合、特徴は空間的なものだけであり、動きのパターンの時間的変化をコード化しない。単一又は２つの連続したフレーム（このような従来技術において典型的であるような）から特徴を抽出するのとは対照的に、本発明の実施形態は、時間ウィンドウ内の動きの特徴を抽出し、これにより抽出された特徴における時間的変化を捕捉することが可能になる。さらに、低レベルの特徴に加えて、本発明の実施形態はまた、特徴を低次元空間に投影し、その結果、新しく得られた特徴はより多くの意味論的意味を有し、処理時間を短くすることができる。
【００３８】
さらに、従来技術の大域的特徴の異常発見方法は、一般に、トラック内の各点の座標を比較する、明示的なトラック表現による直接比較を行う。さらに、幾つかの従来技術の方法は、サブサンプリングされたバージョンを比較し、例えば、軌跡内の特定の「キー・ポイント」のみを比較する。これとは対照的に、本発明の実施形態は、軌跡のパラメトリック表現に対して、任意の長さ及び任意の形状を有するトラックを表すことができる２次係数の（又は他の適用可能な）組のグループを与える。
【００３９】
ここで図５を参照すると、本発明の実施形態の例示的なコンピュータ化された実施が、他のデバイス５０６（例えば、ビデオ・カメラ若しくはビデオ・サーバ、又は画像のデータベースを備えた記憶デバイス等）と通信するコンピュータ又は他のプログラム可能デバイス５２２を含み、このデバイス５０６は、例えば、コンピュータ・メモリ５１６、又はストレージ・システム５３２、或いはコンピュータ・ネットワーク・インフラストラクチャ５２６を通じてアクセスできる別のデバイス５０６若しくは他のコンピュータ可読ストレージ媒体内に常駐するコンピュータ可読コード内の命令５４２に応答して、画像を検索し、検索された画像を、図１乃至図４に関連して前述したようにクエリ属性に対して分類ランク付けする。従って、その命令が実施されるとき、図１乃至図４に関連して前述したように、処理ユニット（ＣＰＵ）５３８は、局所的及び大域的モジュールからの出力を組み合せることにより異常を検出することができる。
【００４０】
コンピュータ５２２は、種々のコンポーネントを含み、その一部がコンピュータ５２２内に示される。より具体的には、図示するように、コンピュータ５２２は、１つ又は複数の外部Ｉ／Ｏデバイス／リソース５２４、ストレージ・システム５３２、又は他のデバイス５２０と通信する処理ユニット（ＣＰＵ）５３８を含む。さらに、処理ユニット（ＣＰＵ）５３８は、単一の処理ユニットを含んでもよく、或いは、例えばクライアント及びサーバ上など、１つ又は複数の場所の１つ又は複数の処理ユニットにわたって分散させてもよい。同様に、メモリ５１６及び／又はストレージ・システム５３２は、１つ又は複数の物理的な場所に存在する様々なタイプのデータ・ストレージ及び／又は伝送媒体の任意の組み合わせを含むことができる。さらに、Ｉ／Ｏインターフェース５２４は、外部サーバ及び／又はクライアント（図示せず）のうちの１つ又は複数と情報を交換するための任意のシステムを含むこともできる。さらにまた、１つ又は複数の付加的なコンポーネント（例えば、システム・ソフトウェア、マス・コプロセッシング・ユニット（mass co-processing unit）等）（図示せず）をコンピュータ５２２内に含ませることもできることが理解される。
【００４１】
図６は、局所的及び大域的モジュールからの出力を組み合せることにより画像データにおける異常を検出する、本発明による物品６０１（例えば、プログラム可能デバイス、システムなど）を示す。従って、図１−図５及び上記の関連した説明資料を参照することにより理解されるように、オブジェクト検出器及び追跡器６１２は、ビデオ・データ画像フィールド内の軌跡におけるオブジェクトの移動を追跡する。軌跡特徴抽出器６１４は、ビデオ・データ画像フィールドから、オブジェクト軌跡に関する大域的画像特徴を抽出する。大域的異常判定器６１０は、オブジェクト軌跡に関する抽出された大域的画像特徴を学習軌跡モデルと比較して、抽出された大域的画像特徴の学習軌跡モデルへの適合性の関数として、大域的異常検出信頼度判定値を生成する。局所的グリッド特徴抽出器６０８は、ビデオ・データから、オブジェクト軌跡を含む画像フィールド・グリッドの各々についての特徴を抽出する。局所的異常判定器６１６は、オブジェクト軌跡を含むグリッドの各々についての抽出された局所的画像特徴を、オブジェクト軌跡を含むグリッドの各々についての学習特徴モデルと比較して、各グリッドに関する抽出された局所的画像特徴の学習特徴モデルへの適合性の関数として、オブジェクト軌跡を含むグリッドの各々についての局所的異常検出信頼度判定値を生成する。局所的−大域的判定融合器６１８は、局所的及び大域的異常検出信頼度判定値を融合して、追跡されるオブジェクトに対する融合異常判定を行う。画像フィールドを、空間時間領域内のグリッドのマトリックスとしてグリッドに分割するビデオ・フィールド分割器（segmenter）６０４をさらに設けることもできる。抽出された特徴の主要な分布から、正常パターン又は異常パターンのいずれかを定める学習特徴モデルを構築し、或いはパラメータ化された軌跡トラックの主要な分布から、正常パターン又は異常パターンのいずれかを定める学習軌跡モデルを構築し、融合異常判定の関数としてモデルを更新することができる、モデル構築器／更新器６０２を設けることもできる。
【００４２】
本発明の実施形態はまた、本発明のプロセス・ステップを、加入ベース、広告ベース、及び／又は料金ベースで実行することもできる。つまり、サービス提供者は、図１、図３又は図４に関連して前述したように、局所的及び大域的モジュールからの出力を組み合せることにより画像データにおける異常を検出するよう提案することができる。従って、サービス提供者は、ネットワーク・コンピュータ・システム５２２、ネットワーク環境５２６、及び／又は、１又は複数の顧客のために本発明のプロセス・ステップを実行する物品６０１（又はその一部）のようなコンピュータ・インフラストラクチャを作成し、維持し、サポートすることなどが可能である。その見返りとして、サービス提供者は、加入及び／又は料金契約の下で顧客から報酬を受け取ることができ、及び／又は、サービス提供者は、１又は複数の第三者への広告コンテンツの販売から報酬を受け取ることができる。サービスは、（１）コンピュータ可読媒体デバイス５１６、５２０又は５０６から、コンピュータ／デバイス５２２のようなコンピュータ・デバイス上にプログラム・コードをインストールすること、（２）１つ又は複数のコンピュータ・デバイスをコンピュータ・インフラストラクチャに付加すること、及び（３）コンピュータ・インフラストラクチャの１つ又は複数の既存システムを組み込み及び／又は変更し、コンピュータ・インフラストラクチャが本発明のプロセス・ステップを実行するのを可能にすること、のうちの１つ又は複数を含むことができる。
【００４３】
本明細書で用いられる用語は、特定の実施形態を説明する目的のためのものにすぎず、本発明を限定することを意図するものではない。本明細書で用いられるとき、単数形「１つの（ａ）」、「１つの（ａｎ）」及び「その（ｔｈｅ）」は、そうでないことが示されていない限り、複数形も含むことが意図されている。本明細書で用いられるとき、「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、提示された特徴、整数、ステップ、動作、要素、及び／又はコンポーネントの存在を特定するものであるが、１つ又は複数の他の特徴、整数、ステップ、動作、要素、コンポーネント、及び／又はそれらのグループの存在又は追加を排除するものではないことがさらに理解されるであろう。特許請求の範囲の請求項及び図に示されるようなものを含む、本明細書において説明された特定の例及び要素は、一意の形容詞によって他のものと区別すること又は他の方法で識別することができる（例えば、「第１の」要素は、複数の要素のうちの別の「第２の」又は「第３の」のものと区別され、「一次」は「二次」と区別され、又はある項目は「別の」項目と区別されるなど）。そのような識別形容詞は、一般に、混乱又は不確実性を減らすために用いられるものであり、特許請求の範囲をいずれかの特定の示される要素又は実施形態に限定するもの、又はいずれかの特許請求された要素、制限又はプロセス・ステップの何らかの優先度、順序付け又はランク付けを意味するものと解釈されるべきではない。
【００４４】
特許請求の範囲における全ての「手段又はステップと機能との組合せ（ミーンズ又はステップ・プラス・ファンクション）」要素の対応する構造、材料、動作及び均等物は、その機能を、明確に特許請求されているように他の特許請求された要素と組み合わせて実行するための、いかなる構造、材料又は動作をも含むことが意図される。本発明の説明は、例示及び説明の目的で提示されたものであるが、網羅的であることを意図するものではなく、本発明を開示された形態に限定することを意図するものでもない。本発明の範囲及び精神から逸脱することのない多くの変更及び変形が、当業者には明らかであろう。実施形態は、本発明の原理及び実際の用途を最も良く説明するため、及び、当業者が本発明を種々の変更を有する種々の実施形態について企図される特定の使用に適したものとして理解することを可能にするために、選択及び記載された。
【符号の説明】
【００４５】
１０１：局所的異常検出モジュール
１０２：ビデオ・データ入力
１０３：大域的異常検出モジュール
１０８、１２６：学習モデル
１１０：局所的異常検出信頼度判定値
１１６：学習軌跡モデル
１２０：大域的異常検出信頼度判定値
１２４：融合異常判定
２０６、３０２：訓練ビデオ・データ
２２８：局所的異常判定出力
３１８：大域的異常判定出力
４０２：画像フィールド
４０４、４０４ａ、４０４ｂ：グリッド
４０６：オブジェクトの軌跡
５０６、５２０：他のデバイス
５１６：コンピュータ・メモリ
５２０：コンピュータ可読媒体デバイス
５２２：コンピュータ又は他のプログラム可能デバイス
５２４：外部Ｉ／Ｏデバイス／リソース
５２６：コンピュータ・ネットワーク・インフラストラクチャ
５３２：記憶システム
５３８：処理ユニット（ＣＰＵ）
５４２：命令
６０１：物品
６０２：モデル構築器／更新器
６０４：ビデオ・フィールド分割器
６０８：局所的グリッド特徴抽出器
６１０：大域的異常判定器
６１２：オブジェクト検出追跡器
６１４：軌跡特徴抽出器
６１６：局所的異常判定器
６１８：局所的−大域的判定融合器
【特許請求の範囲】
【請求項１】
異常パターンの発見方法であって、
複数の異なるグリッドに分割されたビデオ・データ画像フィールド内の軌跡におけるオブジェクトの移動を追跡することと、
前記ビデオ・データ画像フィールドから前記追跡されるオブジェクト軌跡に関する大域的画像特徴を抽出することと、
前記追跡されるオブジェクト軌跡に関する抽出された前記大域的画像特徴を学習軌跡モデルと比較し、前記抽出された大域的画像特徴の前記学習軌跡モデルへの適合性の関数として大域的異常検出信頼度判定値を生成することと、
前記ビデオ・データから、前記追跡されるオブジェクト軌跡を含む前記画像フィールド・グリッドの各々についての局所的画像特徴を抽出することと、
前記追跡されるオブジェクト軌跡を含む前記グリッドの各々についての前記抽出された局所的画像特徴を、前記追跡されるオブジェクト軌跡を含む前記グリッドの各々についての学習特徴モデルと比較し、前記抽出された局所的画像特徴の前記グリッドの各々についての前記学習軌跡モデルへの適合性の関数として、前記追跡されるオブジェクト軌跡を含む前記グリッドの各々についての局所的異常検出信頼度判定値を生成することと、
前記生成された大域的異常検出信頼度判定値を、前記追跡されるオブジェクト軌跡を含む前記グリッドについての前記生成された局所的異常検出信頼度判定値と融合させて、前記追跡されるオブジェクトに関する融合異常判定とすることと、
を含む方法。
【請求項２】
前記追跡されるオブジェクト軌跡を含む前記画像フィールド・グリッドの総数は、分割グリッドの総計よりも少ない、請求項１に記載の方法。
【請求項３】
前記局所的及び大域的異常検出信頼度判定値のうちの少なくとも１つは、正常又は異常を示すバイナリ値である、請求項１に記載の方法。
【請求項４】
前記生成された大域的異常検出信頼度判定値を、前記追跡されるオブジェクト軌跡を含む前記グリッドについての前記生成された局所的異常検出信頼度判定値と融合させて、前記追跡されるオブジェクトに関する前記融合異常判定とすることは、
前記追跡されるオブジェクト軌跡を含む前記グリッドについての前記生成された局所的異常検出信頼度判定値の正規化和を見出すことと、
前記正規化和と局所的係数の積、及び、前記生成された大域的異常検出信頼度判定値と大域的係数の積との動的重み付き組み合わせとして前記融合異常判定を決定することであって、前記局所的及び大域的係数は、前記学習特徴及び軌跡モデルの変動に逆相関する値から動的に求められ、かつ、前記局所的及び大域的係数の和は１である、決定することと、
を含む、請求項１に記載の方法。
【請求項５】
前記画像フィールド・グリッドは、空間時間領域において前記画像フィールドをグリッドのマトリックスを分割したものであり、前記方法は、
前記抽出された特徴の主要な正常パターン又は異常パターンのいずれかを定める前記抽出された特徴の主要な分布から、前記グリッドの各々についての前記学習特徴モデルを構築することをさらに含む、請求項４に記載の方法。
【請求項６】
前記ビデオ・データ画像フィールドから前記追跡されるオブジェクト軌跡に関する前記大域的画像特徴を抽出することは、
前記追跡されるオブジェクト軌跡を、均一の長さの複数の追跡されるオブジェクト軌跡トラックに分離することと、
２次多項式係数を用いて前記追跡されるオブジェクト軌跡トラックをモデル化することと、
前記追跡されるオブジェクト軌跡の２次多項式係数を用いて前記オブジェクト軌跡を表すことと、
を含み、
前記学習軌跡モデルは、前記追跡されるオブジェクト軌跡の２次多項式係数のクラスタ化されたグループである、請求項４に記載の方法。
【請求項７】
訓練ビデオ入力内のオブジェクト軌跡を均一の長さの複数の訓練ビデオ・トラックに分離することと、
前記２次多項式係数を用いて前記訓練ビデオ・トラックをモデル化することと、
前記訓練ビデオ・トラックの２次多項式係数を用いて前記訓練ビデオ・オブジェクト軌跡を表すことと、
前記訓練ビデオ・オブジェクト軌跡を表す前記訓練ビデオ・トラックの２次多項式係数から前記２次多項式係数のクラスタ化されたグループとして前記学習軌跡モデルを構築することと、
をさらに含む、請求項６に記載の方法。
【請求項８】
訓練ビデオ入力内の訓練オブジェクト軌跡の全体を表す順序付けられた多項式係数の組から前記学習軌跡モデルを構築することをさらに含み、
前記ビデオ・データ画像フィールドから前記追跡されるオブジェクト軌跡に関する前記大域的画像特徴を抽出することは、別の順序付けられた多項式係数の組を用いて前記追跡されるオブジェクト軌跡の全体を表すことを含む、請求項４に記載の方法。
【請求項９】
訓練ビデオ入力内の訓練オブジェクト軌跡上の空間時間的特徴点から前記学習軌跡モデルを構築することをさらに含み、
前記ビデオ・データ画像フィールドから、前記追跡されるオブジェクト軌跡に関する前記大域的画像特徴を抽出することは、前記追跡されるオブジェクト軌跡上の空間時間的特徴点を用いて前記追跡されるオブジェクト軌跡を表すことを含む、請求項４に記載の方法。
【請求項１０】
前記融合異常判定の関数として前記局所的学習モデル及び前記大域的学習モデルのうちの少なくとも１つを更新することをさらに含む、請求項４に記載の方法。
【請求項１１】
異常パターン発見のためにサービスを提供する方法であって、
複数の異なるグリッドに分割されたビデオ・データ画像フィールド内の軌跡におけるオブジェクトの移動を追跡するオブジェクト検出器及び追跡器を準備することと、
前記ビデオ・データ画像フィールドから前記オブジェクト軌跡に関する大域的画像特徴を抽出する大域的軌跡特徴抽出器を準備することと、
前記オブジェクト軌跡に関する抽出された前記大域的画像特徴を学習軌跡モデルと比較し、前記抽出された大域的画像特徴の前記学習軌跡モデルへの適合性の関数として大域的異常検出信頼度判定値を生成する、大域的異常判定器を準備することと、
前記ビデオ・データから、前記オブジェクト軌跡を含む前記画像フィールド・グリッドの各々についての特徴を抽出する、局所的・グリッド特徴抽出器を準備することと、
前記オブジェクト軌跡を含む前記グリッドの各々についての前記抽出された局所的画像特徴を、前記オブジェクト軌跡を含む前記グリッドの各々についての学習特徴モデルと比較し、前記抽出された局所的画像特徴の前記グリッドの各々についての前記学習特徴モデルへの適合性の関数として、前記オブジェクト軌跡を含む前記グリッドの各々についての局所的異常検出信頼度判定値を生成する、局所的異常判定器を準備することと、
前記生成された大域的異常検出信頼度判定値を、前記オブジェクト軌跡を含む前記グリッドについての前記生成された局所的異常検出信頼度判定値と融合させて、前記追跡されるオブジェクトに関する融合異常判定とする、局所的−大域的判定融合器を準備することと、
を含む方法。
【請求項１２】
前記画像フィールドを空間時間領域内のグリッドのマトリックスとしてグリッドに分割する、ビデオ・フィールド分割器を準備することと、
前記抽出された特徴の主要な分布から、正常パターン又は異常パターンのいずれかを定める軌跡トラックを表す前記学習特徴モデルを構築し、軌跡トラックを表す主要な分布から、正常パターン又は異常パターンのいずれかを定める軌跡トラックを表す前記学習軌跡モデルを構築する、モデル構築器を準備することと、
をさらに含む、請求項１１に記載の方法。
【請求項１３】
前記局所的−大域的判定融合器は、
前記追跡されるオブジェクト軌跡を含む前記グリッドについての前記生成された局所的異常検出信頼度判定値の正規化和を見出し、
前記正規化和と局所的係数の積、及び、前記生成された大域的異常検出信頼度判定値と大域的係数の積との動的重み付き組み合わせとして前記融合異常判定を決定し、前記局所的及び大域的係数は、前記学習特徴及び軌跡モデルの変動に逆相関する値から動的に求められ、かつ、前記局所的及び大域的係数の和は１である、請求項１２に記載の方法。
【請求項１４】
前記モデル構築器は、
訓練ビデオ入力内のオブジェクト軌跡を、均一の長さの複数の訓練ビデオ・トラックに分離し、
２次多項式の係数を用いて前記訓練ビデオ軌跡をモデル化し、
前記訓練ビデオ・トラックの２次多項式係数のクラスタ化されたグループとして前記学習軌跡モデルを構築し、
前記大域的軌跡特徴抽出器は、
前記追跡されるオブジェクト軌跡を、均一の長さの複数の追跡されるオブジェクト軌跡トラックに分離し、
２次多項式係数を用いて前記追跡されるオブジェクト軌跡トラックをモデル化する、
請求項１３に記載の方法。
【請求項１５】
前記モデル構築器は、訓練ビデオ入力内の訓練オブジェクト軌跡上の空間時間的特徴点から前記学習軌跡モデルを構築し、
前記大域的軌跡特徴抽出器は、前記追跡されるオブジェクト軌跡上の空間時間的特徴点を用いて前記追跡されるオブジェクト軌跡を表す、
請求項１３に記載の方法。
【請求項１６】
処理ユニット、コンピュータ可読メモリ及びコンピュータ可読ストレージ媒体と、
複数の異なるグリッドに分割されたビデオ・データ画像フィールド内の軌跡におけるオブジェクトの移動を追跡するための第１のプログラム命令と、
前記ビデオ・データ画像フィールドから前記追跡されるオブジェクト軌跡に関する大域的画像特徴を抽出し、前記追跡されるオブジェクト軌跡に関する抽出された前記大域的画像特徴を学習軌跡モデルと比較し、前記抽出された大域的画像特徴の前記学習軌跡モデルへの適合性の関数として大域的異常検出信頼度判定値を生成するための第２のプログラム命令と、
前記ビデオ・データから、前記追跡されるオブジェクト軌跡を含む前記画像フィールド・グリッドの各々についての局所的画像特徴を抽出し、前記追跡されるオブジェクト軌跡を含む前記グリッドの各々についての前記抽出された局所的画像特徴を、前記追跡されるオブジェクト軌跡を含む前記グリッドの各々についての学習特徴モデルと比較し、前記抽出された局所的画像特徴の前記グリッドの各々についての前記学習軌跡モデルへの適合性の関数として、前記追跡されるオブジェクト軌跡を含む前記グリッドの各々についての局所的異常検出信頼度判定値を生成するための第３のプログラム命令と、
前記生成された大域的異常検出信頼度判定値を、前記追跡されるオブジェクト軌跡を含む前記グリッドについての前記生成された局所的異常検出信頼度判定値と融合させて、前記追跡されるオブジェクトに関する融合異常判定とするための第４のプログラム命令と
を含み、
前記第１、第２、第３及び第４のプログラム命令は、前記コンピュータ可読メモリを介する前記処理ユニットによる実行のために、前記コンピュータ可読ストレージ媒体上に格納される、システム。
【請求項１７】
前記画像フィールドを空間時間領域内のグリッドのマトリックスとしてグリッドに分割するための第５のプログラム命令と、
前記抽出された特徴の主要な分布から、正常パターン又は異常パターンのいずれかを定める軌跡トラックを表す前記学習特徴モデルを構築し、軌跡トラックを表す主要な分布から、正常パターン又は異常パターンのいずれかを定める軌跡トラックを表す前記学習軌跡モデルを構築するための第６のプログラム命令と
をさらに含み、
前記第５及び第６のプログラム命令は、前記コンピュータ可読メモリを介する前記処理ユニットによる実行のために、前記コンピュータ可読ストレージ上に格納される、
請求項１６に記載のシステム。
【請求項１８】
前記第４のプログラム命令は、さらに、
前記追跡されるオブジェクト軌跡を含む前記グリッドについての前記生成された局所的異常検出信頼度判定値の正規化和を見出すこと、及び、
前記正規化和と局所的係数の積、及び、前記生成された大域的異常検出信頼度判定値と大域的係数の積との動的重み付き組み合わせとして前記融合異常判定を決定することであって、前記局所的及び大域的係数は、前記学習特徴及び軌跡モデルの変動に逆相関する値から動的に求められ、かつ、前記局所的及び大域的係数の和は１である、決定すること、
によって、前記生成された大域的異常検出信頼度判定値を、前記追跡されるオブジェクト軌跡を含む前記グリッドについての前記生成された局所的異常検出信頼度判定値を融合させて、前記追跡されるオブジェクトに関する前記融合異常判定とするためのものである、
請求項１７に記載のシステム。
【請求項１９】
前記第６のプログラム命令は、訓練ビデオ入力内のオブジェクト軌跡を、均一の長さの複数の訓練ビデオ軌跡に分離し、２次多項式係数を用いて前記訓練ビデオ・トラックをモデル化し、前記訓練ビデオ・トラックの２次多項式係数のクラスタ化されたグループとして前記学習軌跡モデルを構築するためのものであり、
前記第２のプログラム命令は、前記追跡されるオブジェクト軌跡を均一の長さの複数の追跡されるオブジェクト軌跡に分離し、２次多項式の係数を用いて前記追跡されるオブジェクト軌跡トラックをモデル化するためのものである、
請求項１８に記載のシステム。
【請求項２０】
前記第６のプログラム命令は、訓練ビデオ入力内の訓練オブジェクト軌跡上の空間時間的特徴点から前記学習軌跡モデルを構築するためのものであり、
前記第２のプログラム命令は、前記追跡されるオブジェクト軌跡上の空間時間的特徴点を用いて前記追跡されるオブジェクト軌跡を表すためのものである、
請求項１８に記載のシステム。
【請求項１】
異常パターンの発見方法であって、
複数の異なるグリッドに分割されたビデオ・データ画像フィールド内の軌跡におけるオブジェクトの移動を追跡することと、
前記ビデオ・データ画像フィールドから前記追跡されるオブジェクト軌跡に関する大域的画像特徴を抽出することと、
前記追跡されるオブジェクト軌跡に関する抽出された前記大域的画像特徴を学習軌跡モデルと比較し、前記抽出された大域的画像特徴の前記学習軌跡モデルへの適合性の関数として大域的異常検出信頼度判定値を生成することと、
前記ビデオ・データから、前記追跡されるオブジェクト軌跡を含む前記画像フィールド・グリッドの各々についての局所的画像特徴を抽出することと、
前記追跡されるオブジェクト軌跡を含む前記グリッドの各々についての前記抽出された局所的画像特徴を、前記追跡されるオブジェクト軌跡を含む前記グリッドの各々についての学習特徴モデルと比較し、前記抽出された局所的画像特徴の前記グリッドの各々についての前記学習軌跡モデルへの適合性の関数として、前記追跡されるオブジェクト軌跡を含む前記グリッドの各々についての局所的異常検出信頼度判定値を生成することと、
前記生成された大域的異常検出信頼度判定値を、前記追跡されるオブジェクト軌跡を含む前記グリッドについての前記生成された局所的異常検出信頼度判定値と融合させて、前記追跡されるオブジェクトに関する融合異常判定とすることと、
を含む方法。
【請求項２】
前記追跡されるオブジェクト軌跡を含む前記画像フィールド・グリッドの総数は、分割グリッドの総計よりも少ない、請求項１に記載の方法。
【請求項３】
前記局所的及び大域的異常検出信頼度判定値のうちの少なくとも１つは、正常又は異常を示すバイナリ値である、請求項１に記載の方法。
【請求項４】
前記生成された大域的異常検出信頼度判定値を、前記追跡されるオブジェクト軌跡を含む前記グリッドについての前記生成された局所的異常検出信頼度判定値と融合させて、前記追跡されるオブジェクトに関する前記融合異常判定とすることは、
前記追跡されるオブジェクト軌跡を含む前記グリッドについての前記生成された局所的異常検出信頼度判定値の正規化和を見出すことと、
前記正規化和と局所的係数の積、及び、前記生成された大域的異常検出信頼度判定値と大域的係数の積との動的重み付き組み合わせとして前記融合異常判定を決定することであって、前記局所的及び大域的係数は、前記学習特徴及び軌跡モデルの変動に逆相関する値から動的に求められ、かつ、前記局所的及び大域的係数の和は１である、決定することと、
を含む、請求項１に記載の方法。
【請求項５】
前記画像フィールド・グリッドは、空間時間領域において前記画像フィールドをグリッドのマトリックスを分割したものであり、前記方法は、
前記抽出された特徴の主要な正常パターン又は異常パターンのいずれかを定める前記抽出された特徴の主要な分布から、前記グリッドの各々についての前記学習特徴モデルを構築することをさらに含む、請求項４に記載の方法。
【請求項６】
前記ビデオ・データ画像フィールドから前記追跡されるオブジェクト軌跡に関する前記大域的画像特徴を抽出することは、
前記追跡されるオブジェクト軌跡を、均一の長さの複数の追跡されるオブジェクト軌跡トラックに分離することと、
２次多項式係数を用いて前記追跡されるオブジェクト軌跡トラックをモデル化することと、
前記追跡されるオブジェクト軌跡の２次多項式係数を用いて前記オブジェクト軌跡を表すことと、
を含み、
前記学習軌跡モデルは、前記追跡されるオブジェクト軌跡の２次多項式係数のクラスタ化されたグループである、請求項４に記載の方法。
【請求項７】
訓練ビデオ入力内のオブジェクト軌跡を均一の長さの複数の訓練ビデオ・トラックに分離することと、
前記２次多項式係数を用いて前記訓練ビデオ・トラックをモデル化することと、
前記訓練ビデオ・トラックの２次多項式係数を用いて前記訓練ビデオ・オブジェクト軌跡を表すことと、
前記訓練ビデオ・オブジェクト軌跡を表す前記訓練ビデオ・トラックの２次多項式係数から前記２次多項式係数のクラスタ化されたグループとして前記学習軌跡モデルを構築することと、
をさらに含む、請求項６に記載の方法。
【請求項８】
訓練ビデオ入力内の訓練オブジェクト軌跡の全体を表す順序付けられた多項式係数の組から前記学習軌跡モデルを構築することをさらに含み、
前記ビデオ・データ画像フィールドから前記追跡されるオブジェクト軌跡に関する前記大域的画像特徴を抽出することは、別の順序付けられた多項式係数の組を用いて前記追跡されるオブジェクト軌跡の全体を表すことを含む、請求項４に記載の方法。
【請求項９】
訓練ビデオ入力内の訓練オブジェクト軌跡上の空間時間的特徴点から前記学習軌跡モデルを構築することをさらに含み、
前記ビデオ・データ画像フィールドから、前記追跡されるオブジェクト軌跡に関する前記大域的画像特徴を抽出することは、前記追跡されるオブジェクト軌跡上の空間時間的特徴点を用いて前記追跡されるオブジェクト軌跡を表すことを含む、請求項４に記載の方法。
【請求項１０】
前記融合異常判定の関数として前記局所的学習モデル及び前記大域的学習モデルのうちの少なくとも１つを更新することをさらに含む、請求項４に記載の方法。
【請求項１１】
異常パターン発見のためにサービスを提供する方法であって、
複数の異なるグリッドに分割されたビデオ・データ画像フィールド内の軌跡におけるオブジェクトの移動を追跡するオブジェクト検出器及び追跡器を準備することと、
前記ビデオ・データ画像フィールドから前記オブジェクト軌跡に関する大域的画像特徴を抽出する大域的軌跡特徴抽出器を準備することと、
前記オブジェクト軌跡に関する抽出された前記大域的画像特徴を学習軌跡モデルと比較し、前記抽出された大域的画像特徴の前記学習軌跡モデルへの適合性の関数として大域的異常検出信頼度判定値を生成する、大域的異常判定器を準備することと、
前記ビデオ・データから、前記オブジェクト軌跡を含む前記画像フィールド・グリッドの各々についての特徴を抽出する、局所的・グリッド特徴抽出器を準備することと、
前記オブジェクト軌跡を含む前記グリッドの各々についての前記抽出された局所的画像特徴を、前記オブジェクト軌跡を含む前記グリッドの各々についての学習特徴モデルと比較し、前記抽出された局所的画像特徴の前記グリッドの各々についての前記学習特徴モデルへの適合性の関数として、前記オブジェクト軌跡を含む前記グリッドの各々についての局所的異常検出信頼度判定値を生成する、局所的異常判定器を準備することと、
前記生成された大域的異常検出信頼度判定値を、前記オブジェクト軌跡を含む前記グリッドについての前記生成された局所的異常検出信頼度判定値と融合させて、前記追跡されるオブジェクトに関する融合異常判定とする、局所的−大域的判定融合器を準備することと、
を含む方法。
【請求項１２】
前記画像フィールドを空間時間領域内のグリッドのマトリックスとしてグリッドに分割する、ビデオ・フィールド分割器を準備することと、
前記抽出された特徴の主要な分布から、正常パターン又は異常パターンのいずれかを定める軌跡トラックを表す前記学習特徴モデルを構築し、軌跡トラックを表す主要な分布から、正常パターン又は異常パターンのいずれかを定める軌跡トラックを表す前記学習軌跡モデルを構築する、モデル構築器を準備することと、
をさらに含む、請求項１１に記載の方法。
【請求項１３】
前記局所的−大域的判定融合器は、
前記追跡されるオブジェクト軌跡を含む前記グリッドについての前記生成された局所的異常検出信頼度判定値の正規化和を見出し、
前記正規化和と局所的係数の積、及び、前記生成された大域的異常検出信頼度判定値と大域的係数の積との動的重み付き組み合わせとして前記融合異常判定を決定し、前記局所的及び大域的係数は、前記学習特徴及び軌跡モデルの変動に逆相関する値から動的に求められ、かつ、前記局所的及び大域的係数の和は１である、請求項１２に記載の方法。
【請求項１４】
前記モデル構築器は、
訓練ビデオ入力内のオブジェクト軌跡を、均一の長さの複数の訓練ビデオ・トラックに分離し、
２次多項式の係数を用いて前記訓練ビデオ軌跡をモデル化し、
前記訓練ビデオ・トラックの２次多項式係数のクラスタ化されたグループとして前記学習軌跡モデルを構築し、
前記大域的軌跡特徴抽出器は、
前記追跡されるオブジェクト軌跡を、均一の長さの複数の追跡されるオブジェクト軌跡トラックに分離し、
２次多項式係数を用いて前記追跡されるオブジェクト軌跡トラックをモデル化する、
請求項１３に記載の方法。
【請求項１５】
前記モデル構築器は、訓練ビデオ入力内の訓練オブジェクト軌跡上の空間時間的特徴点から前記学習軌跡モデルを構築し、
前記大域的軌跡特徴抽出器は、前記追跡されるオブジェクト軌跡上の空間時間的特徴点を用いて前記追跡されるオブジェクト軌跡を表す、
請求項１３に記載の方法。
【請求項１６】
処理ユニット、コンピュータ可読メモリ及びコンピュータ可読ストレージ媒体と、
複数の異なるグリッドに分割されたビデオ・データ画像フィールド内の軌跡におけるオブジェクトの移動を追跡するための第１のプログラム命令と、
前記ビデオ・データ画像フィールドから前記追跡されるオブジェクト軌跡に関する大域的画像特徴を抽出し、前記追跡されるオブジェクト軌跡に関する抽出された前記大域的画像特徴を学習軌跡モデルと比較し、前記抽出された大域的画像特徴の前記学習軌跡モデルへの適合性の関数として大域的異常検出信頼度判定値を生成するための第２のプログラム命令と、
前記ビデオ・データから、前記追跡されるオブジェクト軌跡を含む前記画像フィールド・グリッドの各々についての局所的画像特徴を抽出し、前記追跡されるオブジェクト軌跡を含む前記グリッドの各々についての前記抽出された局所的画像特徴を、前記追跡されるオブジェクト軌跡を含む前記グリッドの各々についての学習特徴モデルと比較し、前記抽出された局所的画像特徴の前記グリッドの各々についての前記学習軌跡モデルへの適合性の関数として、前記追跡されるオブジェクト軌跡を含む前記グリッドの各々についての局所的異常検出信頼度判定値を生成するための第３のプログラム命令と、
前記生成された大域的異常検出信頼度判定値を、前記追跡されるオブジェクト軌跡を含む前記グリッドについての前記生成された局所的異常検出信頼度判定値と融合させて、前記追跡されるオブジェクトに関する融合異常判定とするための第４のプログラム命令と
を含み、
前記第１、第２、第３及び第４のプログラム命令は、前記コンピュータ可読メモリを介する前記処理ユニットによる実行のために、前記コンピュータ可読ストレージ媒体上に格納される、システム。
【請求項１７】
前記画像フィールドを空間時間領域内のグリッドのマトリックスとしてグリッドに分割するための第５のプログラム命令と、
前記抽出された特徴の主要な分布から、正常パターン又は異常パターンのいずれかを定める軌跡トラックを表す前記学習特徴モデルを構築し、軌跡トラックを表す主要な分布から、正常パターン又は異常パターンのいずれかを定める軌跡トラックを表す前記学習軌跡モデルを構築するための第６のプログラム命令と
をさらに含み、
前記第５及び第６のプログラム命令は、前記コンピュータ可読メモリを介する前記処理ユニットによる実行のために、前記コンピュータ可読ストレージ上に格納される、
請求項１６に記載のシステム。
【請求項１８】
前記第４のプログラム命令は、さらに、
前記追跡されるオブジェクト軌跡を含む前記グリッドについての前記生成された局所的異常検出信頼度判定値の正規化和を見出すこと、及び、
前記正規化和と局所的係数の積、及び、前記生成された大域的異常検出信頼度判定値と大域的係数の積との動的重み付き組み合わせとして前記融合異常判定を決定することであって、前記局所的及び大域的係数は、前記学習特徴及び軌跡モデルの変動に逆相関する値から動的に求められ、かつ、前記局所的及び大域的係数の和は１である、決定すること、
によって、前記生成された大域的異常検出信頼度判定値を、前記追跡されるオブジェクト軌跡を含む前記グリッドについての前記生成された局所的異常検出信頼度判定値を融合させて、前記追跡されるオブジェクトに関する前記融合異常判定とするためのものである、
請求項１７に記載のシステム。
【請求項１９】
前記第６のプログラム命令は、訓練ビデオ入力内のオブジェクト軌跡を、均一の長さの複数の訓練ビデオ軌跡に分離し、２次多項式係数を用いて前記訓練ビデオ・トラックをモデル化し、前記訓練ビデオ・トラックの２次多項式係数のクラスタ化されたグループとして前記学習軌跡モデルを構築するためのものであり、
前記第２のプログラム命令は、前記追跡されるオブジェクト軌跡を均一の長さの複数の追跡されるオブジェクト軌跡に分離し、２次多項式の係数を用いて前記追跡されるオブジェクト軌跡トラックをモデル化するためのものである、
請求項１８に記載のシステム。
【請求項２０】
前記第６のプログラム命令は、訓練ビデオ入力内の訓練オブジェクト軌跡上の空間時間的特徴点から前記学習軌跡モデルを構築するためのものであり、
前記第２のプログラム命令は、前記追跡されるオブジェクト軌跡上の空間時間的特徴点を用いて前記追跡されるオブジェクト軌跡を表すためのものである、
請求項１８に記載のシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−１９４９６７（Ｐ２０１２−１９４９６７Ａ）
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願番号】特願２０１２−６９８９（Ｐ２０１２−６９８９）
【出願日】平成２４年１月１７日（２０１２．１．１７）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
【出願人】（３９０００９５３１）インターナショナル・ビジネス・マシーンズ・コーポレーション (4,084)
【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＳＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ
【Ｆターム（参考）】
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願日】平成２４年１月１７日（２０１２．１．１７）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
【出願人】（３９０００９５３１）インターナショナル・ビジネス・マシーンズ・コーポレーション (4,084)
【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＳＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ
【Ｆターム（参考）】
[ Back to top ]