対象追跡と警報
ビデオ監視と他のセンサベースのセキュリティネットワークからのデータとを組み合わせる統合監視システムを用いて、注意を必要とする可能性がある活動を識別する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視を行うためのコンピュータベースの方法とシステムに関し、より具体的には、対象を追跡し且つ複数の監視モダリティ（modality：様相）を用いて警報を作動させることができるコンピュータ援用監視システムに関する。
【０００２】
関連出願に対する相互参照
本出願は、２００５年９月２日に出願された米国仮特許出願第６０／７１３，６７９号、及び２００５年９月２日に出願された米国仮特許出願第６０／７１４，０２０号の優先権を主張しており、係る出願の双方は、参照によりそっくりそのまま本明細書に組み込まれる。
【０００３】
背景情報
現在のセキュリティの高まり、及びモニタリング装置のコストの低下により、閉回路テレビ（closed-circuit television：CCTV）のような技術を用いる監視システムの使用が増加している。係るシステムは、多種多様な環境において犯罪を減少させ、事故を防止し、且つ一般にセキュリティを増大させる可能性を有する。ビデオ監視システムは一般に、関心のある区域（例えば、倉庫、小売店、オフィスビル、又は空港）の周りの様々な場所に配置された一連のカメラを含む。カメラは、一般に警備員が配置された中央観察ステーション（又は複数のステーション）にビデオ画像を戻すように送信する。種々の監視画像は、不審な活動を監視する一連の画面に表示される。
【０００４】
ビデオ監視システムで監視される区域は、環境の他の状況を監視するために利用可能な他のセンサネットワークを有することが多い。例えば、多くの施設は、誰がドアを開けたかを（例えば、「スマートカード」読取りシステムを用いて）報告する電子ドア、又は特定の対象物が区域に入ったか、又は区域から出たかを報告する無線ＩＣタグ（Radio-Frequency Identification：RFID）システムを有する。特に、小売店は、ビデオ監視システムの他に、利用可能な種々のデータネットワークを有することが多い。例えば、店舗販売時点情報管理（Point-of-sale：POS）システムは、精算所（レジ）または購入区域で生じる可能性がある他の出来事（事象）の中で、いつ購入されたか、いつキャシュドロアーが開けられたか、いつ返品されたか、及びいつクーポンが引き換えられたかを記録する。別の例として、出口に配置された電子商品監視（Electronic Article Surveillance：EAS）システムは、EASタグが店を出る際にEASタグを整合し、事象（無音、可聴音又は両方）が生じる。また、バーコード走査、棚走査（shelf-scanning）及び他の技術を用いる在庫管理システムも、係る環境で一般的である。ビデオ監視システムに加えて、RFIDシステムは、オフィスビル、倉庫、及び小売店のような施設の全体にわたって人および／または対象物を追跡するためにますます普及してきている。
【０００５】
ビデオ監視およびRFID追跡システム、POSシステム、及び他の追跡診断技術を実現して統合することには、多くの問題を伴う。最初に、カメラ、送信機、及び他のデータ収集装置は、システムに描かれた目標、例えば、製品追跡、盗難防止、人事管理、又はそれらの何らかの組合せを達成するように配置される必要がある。しかしながら、多くの場合、監視される環境の物理的なレイアウトは、有効範囲を完全なものにするのに適していない。例えば、小さくてめったに使用されない部屋、隠し廊下、或いはカメラの直接的な視界内に入らない又は製品の往来が多くない他の場所は、監視されないままにされている場合がある。これは、限られた資金、ビルの物理的特徴（壁、柱など）、複数のビデオストリームを監視するための限られた能力、及び他の制限に起因している可能性がある。更に、正常に動作しない装置は、保護されていない「デッドゾーン」を一時的に生じさせる可能性がある。残念ながら、商品を着服しようと試みそうな個人（不満を抱いた従業員、万引きの常習犯など）は、保護されていない区域を知っており、係る区域を用いて窃盗を進める可能性がある。
【０００６】
窃盗に関連した問題に加えて、商人は、製品が施設のあちこちに移動する際に製品を正確に追跡することに苦心する。例えば、大抵のRFID具現化形態は、発送センター及び倉庫の棚のような在庫管理箇所に制限される。しかしながら、製品が「倉庫」から離れて、売るために棚に載せられてしまえば、小売業者は、レジ又はスキャナのような店舗販売時点情報管理装置において製品が「再び現れる」まで、製品を見失う。製品の入荷地点（例えば、発送センター）から、施設からの最終的な出口点（顧客出口、配送センターなど）まで製品を追跡できないというこのことは、RFID能力の大幅に不十分な利用状況を表す。
【０００７】
ビデオ監視システムを他の追跡システムからのデータと組み合わせるという現在の試みは、これらの制限に対処する広範な適用性のある解決策を提供せず、依然として２つのシステムを監視および／または調和させるために著しい人間の介入を必要とする。ビデオ監視システムを他の非ビデオ追跡システムからのデータと組み合わせることを企図する従来のシステムは一般に、装置（例えば、RFID送信機）とカメラとの間の強い関連（例えば、１：１）に依存する。たとえ活動が制限された場所で目的の有用性が予想されたとしても（例えば、立入禁止区域内への侵入者）、係るシステムは、にぎやかな環境において対象物を有効に識別して追跡することができない。POSの応用形態は一般に、店内の特定の精算場所に配置されたレジに制限される。更に、大抵のビデオ監視システムは、被写体が施設を動き回って、１つのカメラから別のカメラへ移動する際に被写体を明確に識別して、処置を促す異常性（例えば、不審な挙動、商品の紛失など）を検出するために、何らかの形態の人間の介入を必要とする。RFID送信機は一般に、カメラの視野よりも大幅に小さい有効半径を有すると同時に、一般的なビデオ監視システムは、所与の有効範囲領域についてできる限り少ないカメラを用いることによって実現コスト（及び監視の負担）を最小限にしようとしている。例えば、小売店およびカジノの具現化形態では、これは、所与の時間において多数の人々および潜在的に数百の製品がカメラの視野内にあるという結果になる可能性がある。
【０００８】
更に、不法行為または不審な活動（例えば、侵入者、万引きしそうな人等）の証拠として使用されるべき追跡情報（ビデオ、RFID、及び／又はPOSに関わらず）について、法的手続きにおいて信頼されるべき追加の認証、連続性の基準、及び証拠書類の基準を満たす必要がある。日付、時間、及び位置情報で適切に注釈を付けられ、一時的中断または空間的障害物のない、活動の連続したストリームを示すことができる追跡情報は、一連の不連続なマーキングされていない断片に比べて、証拠として極めて価値がある。
【０００９】
概要
本発明は概して、インテリジェントなビデオ監視システムを他のセンサベースのセキュリティネットワークからのデータと組み合わせる統合監視システムを提供する。組み合わされたビデオとセンサベースのネットワークデータを用いて、注意を必要とする可能性がある不審な活動を強調表示する警報が生成され得る。例えば、RFID、POS、及び／又はEASシステムからのデータを、コンピュータ援用ビデオ監視システムからのデータと組み合わせることにより、不審な挙動を識別する際のシステムの精度を大幅に上げることができる。従って、係る「インテリジェントな」警報システムは、各システム単独よりも低い誤り率を有すると同時に、人材育成のコストを低下させ、見逃される事象を最小限にし、ひいてはシステムの全体的な価値を高める。
【００１０】
例えば、ビデオ画像および位置特有のデータ（例えば、RFIDに基づいた）を利用して、監視区域にわたって対象物および／または人の移動の完全な「時系列」追跡を生成することができる。位置センサとビデオ画像内の領域との間の関係は、明確に又は２つの結果としてのデータセットの推論的分析を通じて判定される。いわゆる「デッドゾーン」が監視環境内に存在する場合には、対象物および／または人の現在と今後の位置が、カメラ、RFID送信機の間の関係を用いて、及び履歴データの分析を通じて予測され得る。経路、位置、及び／又は追跡される対象物の挙動に関する規則が定義され、トリガされると、これら規則が好ましくない挙動または不審な挙動を示す警報を生じさせる。例えば、警報は、保安要員が監視環境を巡回する際に保安要員により使用される携帯型受信機に無線通信を介して送信され得る（場合によっては、他の空間的情報および／または地理情報で強化される）。
【００１１】
従って、第１の態様において、本発明は、環境における事象に基づいた警報を生成するためのシステムを提供する。システムは、環境の少なくとも一部を表すビデオ信号を生成するカメラと、ビデオ信号を分析して環境内の対象物を識別するためのビデオ処理モジュールとを含む。また、システムは、センサベースのモニタリングシステムからの非ビデオデータ（環境内の事象を表すデータ）を受信するためのデータ入力モジュールと、識別された対象物と事象に基づいて警報を生成するための警報モジュールとを含む。
【００１２】
例えば、センサベースのモニタリングシステムは、POSシステム、RFIDシステム、及び／又はEASシステムとすることができる。いくつかの実施形態において、システムは環境内の活動に関連した規則を格納するためのデータ格納モジュールも含む。規則は、ビデオデータで識別された対象物、センサベースのモニタリングシステムから検出された事象、又は双方に関係する。場合によっては、対象物および／または事象の無いことが、警報をトリガすることができる。また、システムは、生成された警報を、ワークステーション及び無線携帯装置のような遠隔装置に送信するための通信モジュールも含む。いくつかの実施形態において、システムは、追跡されている対象物の表示、対象物の現在の位置、移動の方向と速度およびステータスを含むことができ、且つ色、テキスト、又は位置、ステータス及び移動に関する他の可視表示で注釈を付けられ得る、環境の視覚表示をレンダリングするための地理情報サービスモジュールも含む。
【００１３】
別の態様において、本発明は、環境内の状態を検出するための方法を提供する。方法は、環境の少なくとも一部を表す画像信号を受信し、画像信号内で表された対象物を識別することを含む。また、方法は、環境で生じている事象を表す非ビデオデータを受信し、識別された対象物および事象に基づいて警報を生成することも含む。
【００１４】
例えば、画像信号が、監視環境のあちこちに配置されたカメラから受信されることができ、場合によっては、環境内の対象物は人である。いくつかの実施形態において、非ビデオデータがPOSシステム、又はRFIDシステムから、或いは場合によっては双方から受信される。例えば、警報は、環境内の活動に関連した規則に違反する対象物および／または事象（又はそれらの無いこと）に基づくことができる。場合によっては追跡される対象物の表示を含む環境の地理的表示が生成され得る。例えば、係る表示は、ワークステーション及び携帯無線装置のような遠隔装置に送信されることができ、対象物のステータス及び移動に関連した種々の注釈を含むことができる。
【００１５】
別の態様において、本発明は、ビデオ監視サブシステム、無線ＩＣタグサブシステム（いくつかの実施形態において、ビデオサブシステムとは別個に較正され得る）、及び関連モジュールを含む監視システムを提供する。ビデオ監視サブシステムは、多数のカメラを含み、各カメラの視野は、複数のカメラ副領域を含む。RFIDサブシステムは、或る動作半径内でRFID識別タグの存在を検出するステーションを含む。関連モジュールは、２つのサブシステムから受信されたデータに基づいて、カメラ副領域とステーションの動作半径との間の関連付けを行う。
【００１６】
関連付けは、例えば、カメラ副領域と動作半径との間の位置的対応に基づくことができ、いくつかの実施形態において、ビデオ監視サブシステム、又はRFIDサブシステム、或いは双方によりキャプチャされたデータから推論され得る。ビデオ監視サブシステムによりキャプチャされたデータは、カメラ及び／又はカメラの副領域の範囲内で移動する対象物の視覚表示を含むことができる。RFIDサブシステムによりキャプチャされたデータは、ステーション間を移動する対象物と関連した時間情報と空間的情報を含むことができる。
【００１７】
いくつかの実施形態において、システムは、監視システムにより追跡されている対象物と関連した情報、場合によっては対象物に関連する規則を含む情報を格納するためのデータ格納モジュールを含む。また、システムは、ビデオ監視サブシステム及びRFIDサブシステムからのデータに基づいて対象物の位置に関する時間順表示を生成するための追跡モジュールも含むことができる。いくつかの実施形態において、ビデオ監視サブシステム及びRFIDサブシステムは、ビデオ監視サブシステム又はRFIDサブシステムが対象物を「見る」ことができない１つ又は複数の無効区域を含む領域内で動作する。このような場合、目に見えない対象物の位置（又は将来位置）は、例えば、RFIDサブシステムから受信されたデータに部分的に基づいた、対象物の以前にわかっていた位置または同様の対象物がとる経路のような履歴データを用いて、追跡モジュールにより推論され得る。
【００１８】
監視システムのいくつかの実施形態は、追跡される対象物の位置に関する時間順表示のような、追跡モジュールから受信されたデータに対して、規則（例えば、データ格納モジュールに格納された）を適用する警報モジュールを含む。規則が破られる場合、警報モジュールは、通信装置に（例えば、無線伝送を介して）送信され得る警報を生成することができ、それにより警報の扱い者に警戒態勢をとらせる。いくつかの実施形態において、警報モジュールは、対象となっている対象物、区域、及び／又は人物に焦点を合わせるようにカメラに命令にする。
【００１９】
別の態様において、本発明は、監視環境内で活動を監視するための方法を提供する。方法は、複数の副領域を含む視野をそれぞれ有するカメラにより生成されたビデオ信号を受信し、監視環境内で対象物と関連したRFIDタグとの相互作用に基づいてRFIDステーションからデータを受信し、RFIDステーションの動作半径とカメラ副領域を関連付け、且つ対象物が監視環境内でカメラの視野とRFIDステーションの動作半径との間で移動する際に、較正とは関係なく、対象物を追跡することを含む。
【００２０】
関連付けは、例えば、カメラ副領域と動作半径との間の位置的対応に基づくことができ、いくつかの実施形態において、ビデオ監視サブシステム、又はRFIDサブシステム、或いは双方によりキャプチャされたデータから推論され得る。ビデオ監視サブシステムによりキャプチャされたデータは、カメラ及び／又はカメラの副領域の範囲内で移動する対象物の視覚表示を含むことができる。RFIDサブシステムによりキャプチャされたデータは、ステーション間を移動する対象物と関連した空間的情報を含むことができる。
【００２１】
いくつかの実施形態において、方法は、ビデオ信号およびRFIDステーションにより生成されたデータに基づいて環境内の対象物の位置を時間順に表すことを更に含む。対象物がカメラ又はRFIDステーションにより保護されていない区域を通過する場合、対象物の現在位置および／または将来位置は受信データに基づいて推論されることができ、受信データは、場合によっては、対象物の以前にわかっていた位置を含むことができる。
【００２２】
いくつかの実施形態において、対象物の位置の時間順表示は、対象物に関して規則に対して評価され、場合によっては、１つ又は複数の規則が破られた際に警報が生成される。次いで、警報は、（例えば、無線通信プロトコルを介して）無線装置に送信され、それにより監視員に警戒態勢をとらせる。いくつかの実施形態において、警報を用いて、対象となっている対象物、区域、及び／又は人物に焦点を合わせるようにカメラに命令にすることができる。
【００２３】
別の態様において、本発明は、上記の段落に記載された方法を実行するためのコンピュータ可読命令を組み入れたコンピュータ可読媒体を有する製品を含む。特に、本発明の方法の機能は、以下に限定されないが、フロッピー（Ｒ）ディスク、ハードディスク、光ディスク、磁気テープ、PROM、EPROM、CD-ROM、又はDVD-ROMのようなコンピュータ可読媒体に埋め込まれ得る。本技術の機能は、任意の数のコンピュータ可読命令、又は例えば、FORTRAN、PASCAL、Ｃ、Ｃ＋＋、Java（Ｒ）、Ｃ＃、Tcl、BASIC及びアセンブリ言語のような言語でコンピュータ可読媒体に埋め込まれ得る。更に、コンピュータ可読命令は、例えば、スクリプト、マクロで書かれるか、又は市販のソフトウェア（EXCEL（Ｒ）又はVISUAL BASIC（Ｒ）など）に機能的に埋め込まれ得る。データ、規則、及びデータ構造は、上述した方法を実行する際に使用するための１つ又は複数のデータベースに格納され得る。
【００２４】
本発明の他の態様と利点は、以下の図面、詳細な説明、及び特許請求の範囲から明らかになり、それらの全ては、単なる例示のために本発明の原理を示す。
【００２５】
図面において、同じ参照符号は概して、異なる図面を通して同じ部品を指す。また、図面は、必ずしも一律の縮尺に従っておらず、代わりに概して本発明の原理を例示することに重点が置かれている。
【００２６】
詳細な説明
小売店内で顧客および製品を追跡することに関して、及び窃盗を検出することに関して実施される際に有用であるとして本明細書で説明されるが、以下に説明されるシステムと方法は、空港、カジノ、学校、オフィスビルのような、監視される任意の環境に対して、及び広範にわたる目的のためにその場所で生じる可能性がある活動に対して適用可能である。
【００２７】
図１は、本発明による統合ビデオ監視およびセンサネットワークシステム１００を示す。システムは概して、インテリジェントビデオ監視システム１０５、及び１つ又は複数の外部センサネットワーク１１０を含む。インテリジェントビデオ監視システム１０５は、ビデオ処理モジュール１１５、及び警報／探索処理モジュール１２０を含む。ビデオ処理モジュール１１５は、ビデオストリームを分析し、出力として圧縮ビデオ及びビデオメタデータを生成する。いくつかの実施形態において、警報／探索処理モジュール１２０は、追跡モジュール１３０、警報モジュール１３５、及び通信モジュール１４０を含み、一組の所定の規則に適合するパターンに関してビデオメタデータを走査し、パターンの適合が発見された場合に警報（又は、予め記録されたメタデータの場合には探索結果）が生成され、次いで、それは１つ又は複数の出力装置１４５（以下でより詳細に説明される）に送信され得る。規則を処理する際に警報モジュールにより使用されるメタデータの例には、対象物ID、対象物タイプ（例えば、人物、製品等）、日付／時間のスタンプ、現在のカメラの位置、以前のカメラの位置、方向データ、製品原価、製品逸失、及び他のものが含まれる。
【００２８】
インテリジェントビデオ監視システム１０５の一例は、「Method And System For Tracking And Behavioral Monitoring Of Multiple Objects Moving Through Multiple Fields-Of-View」と題する共同所有された同時係属の米国特許出願第１０／７０６，８５０号に説明されており、その全開示は参照により本明細書に含められる。本発明に従って、警報／探索処理モジュール１２０は、POS、RFID、及びEASシステムのような種々の形態の追跡およびデータキャプチャを用いる外部センサネットワーク１１０からデータを受信するための追加の入力で強化される。
【００２９】
本発明のビデオ監視システム１０５は、監視環境の人および出来事の相互作用を表すデータをキャプチャする複数の入力センサ１２５を含む。センサ１２５は、カメラ（例えば、光センサ、赤外線検出器、スチルカメラ、アナログビデオカメラ、デジタルビデオカメラ、又は後述される方法を支援するのに十分な品質の画像データを生成することができる任意のデバイス）と非ビデオベースのセンサ（例えば、RFIDベースステーション、POSスキャナ、在庫管理システム）の双方を含むことができる。
【００３０】
本発明の種々の実施形態に従って、外部センサネットワーク１１０は、センサ出力を表す信号を収集して、１つ又は複数の標準データ伝送技術によってビデオ監視システム１０５の警報／探索処理モジュール１２０に送る。信号は、LAN及び／又はWAN（例えば、Ｔ１、Ｔ３、５６ｋｂ、Ｘ．２５）、ブロードバンド接続（ISDN、フレームリレー、ATM）、無線リンク（８０２．１１、Bluetooth（Ｒ）他）等を介して伝送され得る。いくつかの実施形態において、ビデオ信号は、例えば、トラステッド鍵ペア暗号化を用いて暗号化され得る。種々のセンサシステムは、Ethernet（Ｒ）又は無線ネットワーク、直接シリアル又はパラレル接続、USB、ファイヤーワイヤー（Ｒ）、Bluetooth（Ｒ）、又は工業所有権により保護されているインターフェースのような種々の通信経路を用いて情報を伝送することができる。システム１００は、各センサ１２５が個別的に警報／探索モジュール１２０に接続される「星状形ネットワーク」として構成され得るか、又は場合によっては、センサネットワーク１１０は、スイッチ、ルータ、及びコンピュータネットワークで一般に見出される他のコンポーネントを含む、より一般的なトポロジーを有することができる。いくつかの実施形態において、センサ１２５は双方向通信とすることができ、ひいてはビデオ監視システム１０５から（電源を入れる、警報を鳴らすため等の）信号を受信することができる。
【００３１】
いくつかの実施形態において、システム１００は、ビデオ格納モジュール１５０、及び規則／メタデータ格納モジュール１５５を含む。ビデオ格納モジュール１５０はビデオ監視システム１０５からキャプチャされたビデオを格納する。ビデオ格納モジュール１５０は、VCR、DVR、RAIDアレイ、USBハードドライブ、光ディスクレコーダー、フラッシュ記憶装置、画像解析装置、汎用コンピュータ、ビデオ画質向上装置、デインターレーサ（de-interlacer）、スケーラ、及び／又はビデオを格納および／または処理するための他のビデオ又はデータ処理要素および格納要素を含むことができる。ビデオ信号は、単なる例として、全国テレビジョン方式委員会（NTSC）、パル（PAL）、及びセカム方式（SECAM）、DVI又はHDMI接続を用いる非圧縮デジタル信号、及び／又は一般的なコーデック方式（例えば、MPEG、MPEG2、MPEG4、又はH.264）基づいた圧縮デジタル信号を含む種々のアナログ及び／又はデジタルフォーマットでキャプチャされて格納され得る。
【００３２】
規則／メタデータ格納モジュール１５０は、ビデオ監視システム１０５及び外部センサネットワーク１１０からキャプチャされたメタデータ、並びに警報がトリガされるべきか否かを判定するためにメタデータが比較される規則を格納する。規則／メタデータ格納モジュール１５５は、警報規則を格納して警報／探索処理モジュール１２０にそれを提供するためのアプリケーション命令を含むサーバクラスコンピュータで実現され得る。ビデオ格納モジュール１５０及び／又は規則／メタデータ格納モジュール１５５、記憶装置を実現するために使用され得るデータベースアプリケーションの例には、スウェーデン、ウプサラのMySQL AB社によるMySQLデータベースサーバ、カリフォルニア州バークリーのPostgreSQL Global Development Group社によるPostgreSQLデータベースサーバ、又はカリフォルニア州レッドウッドショアズのORACLE Corp.社により提供されるORACLEデータベースサーバが含まれる。いくつかの実施形態において、ビデオ格納モジュール１５０及び規則／メタデータ格納モジュール１５５は、例えば、所望のシステム性能を得るように、複数のパーティション及び／又はインスタンスを用いて１つのサーバで実現され得る。
【００３３】
様々なセンサネットワーク１１０がシステム１００にデータを提供することができる。例えば、POSネットワークは、ネットワークに接続された多数のステーション（例えば、レジ、スキャナなど）を含み、付勢されると、ステーションのセンサが、顧客の取引情報（製品、価格、顧客IDなど）並びにキャシュドロアーのステータス（例えば、開閉）をネットワークに送信する。同様に、EASネットワークは一般に、高価な製品（又は場合によっては全ての製品）に配置されたアクティブなEASタグの存在を検知する、小売店の出口の近くに設置された多数のペデスタルを含む。タグの存在が検出された場合、ペデスタルは、ネットワークを介して情報をセンターに送信する。また、多くの商業ビルは、ドアの開閉を検知するセキュリティシステムを利用し、施設を出入りする際にIDカードを通す又は提示することを従業員に要求する「カード磁気データ読み取り」システムを使用する。本発明に従って、これらセンサベースのモニタリングシステム１１０の一部または全ては、ビデオ監視システム１０５と統合されて、その能力と精度が強化される。当然のことながら、上記のセンサタイプのリストは、網羅的ではなく、適応され得るセンサネットワーク１１０のタイプの例を提供したにすぎない。
【００３４】
１つの制限しない例において、センサネットワーク１１０は、監視システム１００により追跡されている対象物に配置されたトランスポンダと相互作用する送信機（「基地局」又は「ステーション」とも呼ばれる）をそれ自体が含むRFIDサブシステムを含む。ステーションは、断続的に（例えば、ｎミリ秒毎に、ここでｎは選択された整数）ステーションの或る有効半径内にRFエネルギーを送信する。トランスポンダがこの有効半径内に入ると、RFエネルギーはトランスポンダを「起動」し、トランスポンダはステーションに識別信号を与えるようにそれと相互作用する。信号は一般に、SKUコード、ソースコード、数量コードなどのような、トランスポンダが装着される対象物に関する様々な情報を含む。このデータは、送信機からの情報（例えば、送信機ID、及び日付／タイムスタンプ）で補われ、一意の記録としてセーブされ得る。区域のあちこちに（例えば、店または倉庫の全体にわたって）複数の送信機を配置することにより、RFIDサブシステムを用いて、送信機の座標および送信機がトランスポンダと対話した時間によりRFIDタグを備える対象物の位置と経路を求めることができる。
【００３５】
いくつかの実施形態において、警報／探索処理モジュール１２０により生成された警報は、スマートターミナル又はダム端末、ネットワークコンピュータ、無線装置（例えば、ハンドヘルドPDA）、無線電話、情報家電、ワークステーション、ミニコンピュータ、メインフレームコンピュータ、又は汎用コンピュータとして動作できる他のコンピュータデバイスのような出力装置１４５、或いはシステム１００で出力装置１４５として単に機能するために使用される専用ハードウェアデバイスに送信され得る。一例において、警備員は、警備員が監視環境を巡回する際に、無線出力装置１４５にテキスト、メッセージング、及びビデオ能力を提供される。警報が生成された場合、メッセージが出力装置１４５に送信され、警備員を特定の場所に案内する。いくつかの実施形態において、ビデオはメッセージに含められることができ、対象となる人物または対象物の映像による確認を警備員に提供する。
【００３６】
いくつかの実施形態において、出力装置１４５は、広域情報サービス（GIS）データも含むことができる。係る具現化形態において、地図および／または間取り図（実際の写真またはそのグラフィック表示）が、環境を記述するアイコン情報およびテキスト情報、並びに環境内の対象物と組み合わされる。例えば、遊園地で働く保安要員には、遊園地の地図を含む静止グラフィックス及び／又はビデオグラフィックスをレンダリングできる無線ハンドヘルド装置（SAMSUNG SCH i730無線電話など）が提供され得る。同様の装置（又は場合によっては、遊園地の全体にわたって配置されたRFID基地局）を介して得られたGPS座標を用いて、様々な場所を表示し、職員、売る人、又は団体が判定され、遊園地の地図と共に同時に表示される。
【００３７】
システム１００が遊園地の入場者および他の対象物の移動を分析する際、警報／探索処理モジュール１２０は、ビデオ監視システム１１５及び外部センサネットワーク１１０から受信されたメタデータを使用して、１つ又は複数の規則が合致するか否かを判定し、そうである場合、警報を生成する。一例として、遊園地の入場者と関連する対象物ID、及び入場者により賃借されたベビーカーに関連するベビーカーIDは、手動関連付け技術および／または自動技術（例えば、すぐ近くにいる２つの対象物の度重なる検出に基づいて）を用いて結びつけられる。ベビーカーが遊園地内の少なくとも１つの場所にあることをRFIDセンサが判定し、遊園地の入場者がベビーカーの許容できる或る範囲外にいることをビデオ監視システムが判定する場合、警報が生成される。次いで、警報が、保安要員に送信され、GISが使用可能なデバイスを用いる保安要員は、遊園地の地図上に重ねられたベビーカーの位置および遊園地の入場者の位置を見ることができる。
【００３８】
いくつかの実施形態において、特定の場所への遊園地職員の迅速な移動を更に容易するために、群衆密度または好適な経路を表すために着色するような、追加のデータがディスプレイに追加され得る。また、対象物が移動している速度、又は対象物が監視環境にもたらす脅威の程度を示すために、色強調も追加され得る。場合によっては、最新情報がディスプレイに送信され、監視されている事象および対象物のリアルタイム（又はほぼリアルタイム）の表示が提供され得る。
【００３９】
図２を参照すると、図１の監視システムにより監視されている環境２００は、複数の対象となる区域、即ち、複数の発送センター２０５、供給区域２１０、小売り区域２１５、精算区域２２０（１つ又は複数の店舗販売時点情報管理装置２２５を含む）、及び出口２３０を含む。環境２００で生じる種々の活動（配送、仕入れ、購買など）を監視するために、ビデオ監視サブシステムは、視野２４０をそれぞれ有する複数のカメラ２３５、及びRF信号が有効である動作半径２５０をそれぞれ有する複数のRFIDステーション２４５を含む。場合によっては、視野２４０及び動作半径２５０は互いに排他的であり、即ち重なる部分がない。また、監視されている区域は、この区域の対象物が双方のサブシステムにより検出され得るように、１つ又は複数の視野２４０及び動作半径２５０によりカバー（保護）され得る。しかしながら、多くの場合、環境２００は、場合によっては「デッドゾーン」と呼ばれる複数の無効区域２５５を含み、その区域では、ビデオサブシステム又はRFIDサブシステムはその区域の活動に関する情報を得ることができない。デッドゾーンは、不十分な具現化計画の産物、監視環境２００の物理的なレイアウトの変更（例えば、新しい壁、又は棚ユニットが構築された）、予算制限、又は場合によっては、カメラ２３５及び／又はRFIDステーション２４５の機能不良である可能性がある。
【００４０】
ビデオサブシステムにより供給されるビデオデータとRFIDサブシステムにより供給される位置データとを組み合わせることにより、後述される方法を用いて、環境２００にわたる人物および／または製品の経路の完全な時系列を導出することにより、デッドゾーンの問題は事実上、対処され得る。更に、一意の識別子が、環境内の対象物、人、及び事象に割り当てられることができ、監視システムによりキャプチャされた事象が規則と比較され、合致する場合には、警報をトリガする、及び／又は挙動を予測することができる。用語「対象物」は、人（特定の個人または一般民衆）、商品、区域（出口、トイレなど）、カメラ、カメラの副領域、及びRFIDステーションのような、環境２００において互いに相互作用する種々の要素を表すために、その最も一般的な意味で使用されている。
【００４１】
規則は、１つの対象物または多数の対象物に対して確立され得る。一例として、規則は、特定の製品の周囲にいる人の挙動を、これら製品のうち高級な製品が短時間に棚から移動されたことを示すRFIDデータと比較することにより、窃盗を暗示する挙動について試験することができる。ビデオサブシステム及びRFIDサブシステムの双方からのデータを用いる複合規則の別の例として、製品が棚から移動され（RFID信号に基づいて）、その製品が特定の人物に関連付けられ（同時に棚の近傍にいるその人物のビデオ画像に基づいて）、その製品が店の出口でRFIDステーションにより再度認識されるが、レジへ来るその人物の画像が記録されていない場合に、窃盗を検証するために警報が生成され得る。いくつかの実施形態において、データは更に、出口から出る（ビデオにより、RFIDにより、又は双方により）「見られている」製品が、例えばレジでSKUスキャナにより以前に走査されたかのような、店舗販売時点情報管理データと組み合わされ得る。
【００４２】
図３は、本発明の種々の実施形態に従って、対象物を追跡するためのカメラ及びRFIDステーションの１つの考えられる構成を示す。第１のカメラが、第１の時間ｔにおける第１のシーン３０５、及び第２の時間ｔ＋１における同じシーン３０５’ を表すビデオ信号を提供する。第２のカメラは、時間ｔにおける第２のシーン３１０、及び時間ｔ＋１における同じシーン３１０’ を表すビデオ信号を提供する。更に、RFIDステーション２４５は第２のカメラの視野の範囲内にあり、それ故にシーン３１０に現れる。
【００４３】
いくつかの実施形態において、カメラの視野は、副領域３１５にセグメント化される。１２個の副領域（３列×４行）を有するものとして図示されたが、副領域は任意の数とサイズからなることができ、全視野を表す１つの副領域から個々のピクセルレベルの副領域までの範囲にわたる。視野を副領域にセグメント化することにより、監視システムは、後述されるように、より大きな精度で対象物を追跡し、対象物が移動する可能性がある「次のカメラ」又は「次の副領域」を有効に予測することができる。
【００４４】
例えば、まだ図３を参照すると、特定の場所に立っている人物がシーン３０５に示されている。視覚的対象物３２０が人物を表し、時間ｔにおいてカメラ１、副領域ｄ１に関連付けられる。ビデオ表現は３つの副領域にまたがるが、この例において、人物は１つの副領域（即ち、ｄ１）に割り当てられる。対象物が複数の副領域にまたがる場合、対象物が割り当てられるべき特定の副領域を決定するために規則が適用され得る。１つの制限しない例において、各副領域に割り当てられた対象物のピクセル総数を求めることができ、最も多いピクセル総数を有する副領域に対象物が割り当てられる。他の実施形態において、割り当ては、空間的とすることができ、例えば、人物の一部が現れる「最も低い」副領域（即ち、地面または床に最も近い副領域）に、対象物は常に割り当てられる。他の実施形態において、対象物は複数の副領域に割り当てられ得る。
【００４５】
視野を副領域にセグメント化することにより、ビデオ監視サブシステムの精度が、カメラを追加することなく強化され得る。例えば、１つのカメラが、小売店のレジ区域および出口の双方のビデオ監視を提供することができる。セグメント化を用いない場合、座標ベースの複合基準システムを使用せずに、フレーム内の人物の位置を識別することが困難であるので、レジに行かずに小売店を出る人物または製品に基づいた規則は、実行可能ではない。しかしながら、セグメント化を用いる場合、店を含む副領域を通って歩く人物が、POSに割り当てられた副領域を通り抜けずに出ることは、係る規則をトリガする。
【００４６】
本発明は、ビデオ及び／又はRFIDを用いて識別された製品とビデオを用いて識別された人との間の関連付けを生成することを更に提供する。ビデオ監視サブシステムをRFID（出口のRFIDステーションを含む）で強化することにより、製品の詳細（SKU、シリアルナンバー等）がキャプチャされ、最近の購入および在庫の棚から最近移された品目に対して照合（チェック）される。図３をまだ参照すると、人物３２５は、時間ｔでカメラ１の視野の副領域ｄ３に配置される。同じ時間ｔにおいて、製品３３０は、RFIDステーション３４５で受信された信号に基づいて特定の位置にあることがわかっており、カメラ２の視野の副領域ｄ１に配置されていることもわかっている。時間ｔ＋１において、人物３２５は、カメラ２の視野内に移動し（この時点で画像３２５’により表されている）、製品３３０を持ち上げている（この時点で画像３３０’により表されている）。製品３３０’はRFIDステーション３４５の動作範囲２５０から外れるが、依然としてカメラ２の視野内にある。
【００４７】
履歴データ、運動ベクトル、又は他の確率論的解析に基づいて、画像３２５’と３３０’の組合せが、人物３２５と製品３３０を表すという推論が引き出され得る。いくつかの実施形態において、製品に関連するRFIDタグ番号が、対象物の特徴としてビデオ監視サブシステムを用いて追跡されるビデオ対象物に結びつけられ得る。関連付けは、１対１、１対多数、又は多数対多数とすることができる。例えば、ビデオ監視サブシステムのビデオ対象物として表される人物が、RFIDタグをそれぞれ備える複数の製品を運んでいるが、人の集団は、単一のRFIDタグに関連付けられ得る（同時に人々は互いに立っている）。追跡される対象物に関連する一組のタグは、対象物が異なるカメラに現れる場合に、付加的な識別力のあるヒントを提供するかもしれない。
【００４８】
例えば、RFIDステーションから受信された一連のRFID記録は、表１に示されるように表され得る。
【００４９】
【表１】
【００５０】
上記のデータに基づいて、製品００００１が或る時間期間にわたって静止していた、即ち、３つの時間期間にわたってステーションから一定の距離にとどまっていたことが推論され得る。しかしながら、ｔ＋２とｔ＋３との間の或る時間において、製品はステーションから遠ざかり始めた。いくつかの実施形態において、方向情報もRFIDデータと共に含められ、移動の速度と方向の双方を求めることが容易にされる。
【００５１】
同様に、ビデオ監視サブシステムから受信された一連のビデオデータ記録は、表２に示されるように表され得る。
【００５２】
【表２】
【００５３】
上記のデータに基づいて、画像００００Ｘとして識別される対象物が或る時間期間にわたって静止していた、即ち、３つの時間期間にわたって同じカメラの同じ副領域にとどまっていたことが推論され得る。しかしながら、ｔ＋２とｔ＋３との間の或る時間において、画像は移動し、時間ｔ＋３で副領域Ａ３にカメラ１０００２により記録され、続いてカメラ１０００３により時間ｔ＋４で副領域Ａ１に記録された。対象物の方向と速度は、運動ベクトル及びピクセルベース解析のような当該技術で知られている種々の技術を用いて求められ得る。
【００５４】
手動または自動化手段を用いて、及び一例としての上記のサンプルデータを用いて、関連付けは、RFIDステーション０１１３ＦＦとカメラ１０００２の副領域Ａ２との間で成され得る。例えば、手動の関連付けの場合、ソフトウェアアプリケーションによりユーザが｛０１１３ＦＦ：１０００２．Ａ２｝のような形態の関連付けを指定できることによって、RFIDステーションとカメラの副領域が、既知の位置的な重なり部分（単数または複数）に基づいた１対１、１対多数、及び／又は多数対多数のように互いに関連付けられ得るメカニズムが提供される。自動関連付けは、例えば、発見的規則および機械学習プロセスを通じて達成されることができ、それにより履歴データは、対象物の状態またはカメラ（又はカメラの副領域）及びFFIDステーションに共通である経路に関して分析される。一例として、RFIDステーションが特定の時間に製品の配置を検出し、独立して新たな対象物の配置がカメラの視野の副領域内に検出される場合、RFIDステーションと副領域との間の関連付けが推論され得る。最初に、推論は、根拠の弱い可能性がある（即ち、多数のステーションとカメラを有するシステムにおいて正しいという低い確率）が、時間と共に追加のデータが収集されるにつれて、関連付けの強さは、許容できる確率まで高められるであろう。場合によっては、２つの方法（手動および自動）が組み合わされ、この場合、例えば最初の一組の関連付けが指定されるが、ステーションが移動またはカメラが再編成されるにつれて、システムはそれに応じて関連付けを変更する。マルチモダリティモニタリングシステムからなる従来の具現化形態とは異なり、上述の方法は、要員が手動で特定のセンサをカメラに割り当てる、時間のかかる（及び繰り返されることが多い）較正ステップの必要性を取り除く。
【００５５】
いくつかの実施形態において、視野は重ならず、それ故に人物または製品が環境にわたって移動する際に、人物または製品の時間順の経路に空白が存在する可能性がある。図４は、時間ｔにおいて製品４１０を購入する人物４０５の物理的経路と時系列の双方を示す。人物４０５は時間ｔ−２で店に入り、通路を通過する。通路の特定部分（例えば、部分４１５）に沿って、人物４０５はビデオ監視カメラの視野内にいる。通路の他の部分（例えば、部分４２５）に沿って、人物は任意のカメラの視野の外にいる。人物４０５とは無関係に、製品４１０は販売のために陳列され、カメラ２３５の視野２４０、及びRFIDステーション２４５の動作半径２５０内の双方の中にある。人物４０５が店のあちこちに移動し、人物が第１のカメラの視野の外に移動する際に、或る時間期間にわたって見えなくなり、人物がカメラ２３５の視野に入る時間ｔ−１で現れる。時間ｔにおいて、人物４０５が製品４１０を持ち上げ、通路に沿って移動し、最終的に時間ｔ＋１と時間ｔ＋２との間でRFIDステーション２４５の範囲外に製品４１０を持って行く。人物４０５はレジの方へ進み、レジにおいて人物の存在が１つ又は複数のカメラにより記録される。いくつかの実施形態において、１つのカメラから別のカメラへの移動は、より詳細に後述されるように、カメラ（又は副領域）の隣接性を判定することにより予測され得る。
【００５６】
例えば、人物４０５がSKUスキャナを備えるレジで製品４１０を購入する場合、購入の記録が生成される。いくつかの実施形態において、購入記録は、例えば、人物４０５が棚から選択した製品（単数または複数）４１０が購入されている製品（単数または複数）４１０と合致するか否かを判定するために上記で表されたRFIDデータと比較され得る。人物４０５が出口の方へ進み、製品４１０が別のRFIDステーションの有効範囲内にあり、かくして規則が適用され得る追加のRFIDデータが生成される。１つの制限しない例として、製品４１０がその通常の棚の位置に近接するRFIDステーションから遠ざかることが最初に検出され、後に店を出ることが検出されるが、精算区域におけるRFIDステーションにより検出されていない、又は店舗販売時点情報管理装置により走査されていない場合、「万引き」の規則がトリガされ得る。
【００５７】
別の例として、RFIDサブシステムから受信されたデータに基づく規則は、「スタッフゾーン（stuff zone）」警報もトリガできる。「スタッフゾーン」は、泥棒が後で盗みをするつもりである製品を隠す店の区域である。例えば、RFIDステーションは、製品が属さない棚に、又は他の盗まれることが多い製品の近くの棚に製品が配置されていることを検出する場合、警報がトリガされ得る。次いで、警報は、他の警報、例えば棚に配置されている製品を最初に検知する、及び／又は監視されている区域について容疑者の追跡を開始するビデオ警報と組み合わされ得る。
【００５８】
上述したように、ビデオ及び／又はRFIDの有効範囲区域における空白は、ステーション及びカメラが、追跡されている対象物を現時点で検出している装置に隣接する動作区域を有することを知っている又は推論することによって、克服され得る。装置の隣接性は一般に、その装置に何らかの点ですぐ近くにある他のカメラ又はRFIDステーションを含む。「すぐ近く」は、例えば対象物の移動に基づいて対象物が最も進む可能性があるそれらのカメラを意味する。また、２つの装置は、１つのカメラ又はRFIDステーションにより記録された人物または対象物が短い時間期間内で他の装置に現れる（又は現れている）可能性が高い場合に、隣接性も考慮され得る。時間期間は瞬間、又は場合によっては遅延の後とすることができる。いくつかの実施形態において、ユーザは手動で隣接性を指定し、それにより任意であるように思われる隣接性が生成される。
【００５９】
また、隣接性は、実際の又はシミュレートされた又は双方の履歴データに基づいて求められ得る。一実施形態において、ユーザ活動が観察および測定され、例えば、対象物の進む可能性が高いカメラの視野またはRFIDステーションの範囲はどれかを、対象物の以前の移動に基づいて求める。別の実施形態において、カメラ画像は、シーンの活動に基づいて隣接性を求めるために、直接的に分析される。この場合、シーンの活動は、例えばトレーニングデータを用いて何らかの点で演出または抑制される。場合によっては、隣接性は、ユーザにより完全に又は部分的に指定され得る。いくつかの実施形態において、隣接性は、共同で所有され同時継続中の、「Method And System For Tracking And Behavioral Monitoring Of Multiple Objects Moving Through Multiple Fields-Of-View」と題する米国特許出願第１０／７０６，８５０号、「Computerized Method And Apparatus For Determining Field-Of-View Relationships Among Multiple Image Sensors」と題する米国特許出願第１０／６６０，９５５号、及び「Intelligent Camera Selection and Object Tracking」と題する米国特許出願第１１／３８８，７５９号に記載されたような複数のカメラの視野にわたる対象物の活動を連続的に相関させることにより計算され、これら特許文献のそれぞれは、参照によりそっくりそのまま本明細書に含められる。上記の特許文献に記載されているように、カメラ間および／またはカメラの副領域間の強い相関は、隣接性を暗示する傾向があり、発見的（ヒューリスティック）に求められた隣接性に加えて、ユーザは適切であると判断する場合に、手動で隣接性を追加または削除できる。
【００６０】
また、隣接性は、全体のシーンよりも細かい粒度で指定され得る。ビデオデータのウィンドウ枠内の副領域は、他のカメラの副領域またはRFIDステーションの動作半径に「隣接」するとみなされ得る。隣接するビューは、サイズ及び／又は形状の点で異なることができ、例えば、１つのビューの副領域が隣接するビューの全体であるように現れる、又はカメラの視野の副領域が隣接するカメラのビューを持たないが、１つ又は複数の隣接するRFIDステーションを有するように現れる。
【００６１】
ほとんどの場合、カメラ（或いはカメラの視野の副領域または上述されたようなRFIDステーション）は複数の隣接性を有し、隣接性は、関連性測定値に従って順序付けられ得る。関連性は、例えば、ビデオデータウィンドウ内にいる、又はRFIDステーションの有効区域内にいる人物または対象物が、主要なカメラ又はRFIDステーションに、又はそれら２つの組み合わせに隣接する特定のカメラ又はRFIDステーションに移行する確率を計算することにより判定され得る。各確率は等しいと考えられ得るか、又は代わりに確率を計算するために使用されるデータ量、確率の間の相関、又は他の係る尺度に基づいて重み付けされ得る。
【００６２】
図５Ａと図５Ｂを参照すると、監視環境（図４に示されるような）にわたる人物４０５と製品４１０の経路が、一連の副経路５０５、５１０、５１５、５２０、及び５２５として示されることができ、副経路の各々は、ビデオデータ、RFIDデータ、又は双方に基づいて決定される。例えば、人物４０５が店に入り、その人物が第１のカメラの視野に入る経路５０５において、その人物が最初に見つけられ、OBJECTIDを割り当てられる。その人物がその人物の経路上に存続する場合、カメラは、区域の不完全な有効範囲、動作不良、空間の物理的特性（例えば、カメラの視野をさえぎる一時的な展示品）又は他の理由に起因して人物４０５を見失う。人物４０５の画像は、別のカメラによる副経路５１０において、場合によっては同じカメラの異なる副領域において再捕捉される。人物が製品４１０に近づく場合、人物がカメラの視野内にとどまり、更にRFIDステーションは、人物４１０が製品４１０を運び去る際に製品４１０の移動を追跡する。ひとたび人物４０５及び製品４１０がカメラ及びRFIDステーションの範囲から外れると、各々に対するデータは受信されない。人物４０５が製品４１０を購入する場合、人物４０５は副経路５２５におけるビデオで再捕捉され、製品４１０は精算時に店舗販売時点情報管理装置により認識され、店の出口でRFIDステーションにより再び認識される。ビデオ、RFID、及び店舗販売時点情報管理データを組み合わせる能力のないこと、並びに監視環境の全体にわたって対象物の移動を予測する能力のないことは、時間と共に対象物の完全な経路を表さないバラバラな一組の副経路という結果になる。
【００６３】
RFIDデータ、店舗販売時点情報管理データ、及びビデオデータとの間の関連付け、並びに隣接性に基づいて可能性の高い経路を決定する方法に関連する上述の技術を用いて、図５Ｂに示されるように、人物４０５と製品４１０の完全な経路５３０が推論され得る。完成すると、窃盗防止、子供の安全性、及びその他に関する種々の規則が適用されることができ、トリガされる場合、適切な警報が適切な要員に提供される。
【００６４】
いくつかの実施形態において、これらの警報は、例えば、データ（例えば、「THEFT ALERT OF PRODUCT XYZ AT EXIT（出口における製品ＸＹＺの盗難警報）」）及びビデオ（例えば、疑わしい万引き犯人または迷子の写真）の双方を表示できる無線ハンドヘルド装置を用いて、店の保安要員が店を巡回する際の保安要員に対するリアルタイムな警報とすることができる。
【００６５】
ここで、追加の具現化形態および例示的な配備が説明される。
【００６６】
警報および探索処理
返品詐欺（即ち、盗まれた製品が現金化のために不正に戻される詐欺）は、多くの小売店の関心事である。以下の「従業員の返品詐欺」の例は、ビデオ監視システムとセンサネットワークモニタリングシステムの統合が、それぞれを他とは無関係に用いることから実現される利益よりも優れた利益を提供する１つの代表的な用途を示す。店の返品詐欺において、ある人（顧客または従業員）は、以前に盗まれた製品を現金に換えようとして、それを店に返品することを試みる。他の場合には、製品が店の棚から直接的に持ち去られ、不正なレシートを用いて即座に返品される。多くの従業員は不審な活動を検出するために訓練を受けているので、従業員は詐欺を見つけて返品を断ることができる場合が多い。
【００６７】
しかしながら、返品の大部分は詐欺ではなく、店の従業員が関与する場合には、従来のシステムを用いて返品詐欺を防止することは特に困難である。返品の処理に関するPOSデータストリームを見張ることは係る挙動を検出するための１つの手法であるが、この技術は、多大な時間を必要とし、且つ資源集約的であり、POSデータは返品処理の時に顧客の存在または欠如を示さない。しかし、顧客がレジにいるか否かを検出することができるビデオ監視システムとPOSデータを組み合わせることにより、統合されたシステムは、返品が不正か又は本物かをより正確に示すことができる。
【００６８】
特に、従業員の返品詐欺は一般に、顧客のいないPOSでの不正な返品処理により特徴付けられる。従って、２つの情報が一般に詐欺を自動的に検出するために必要とされ、即ち、（１）もしかすると不正な返品が処理された（又は処理されている）かもしれないか、及び（２）顧客がPOSにいるか否かである。ビデオ監視システム又はPOSネットワークは、双方の質問に単独で、完全で正確な答えを提供することはできない。例えば、ビデオ監視システムは一般に、処理されている取引が返品であるか否かを、又は仮にも処理が処理されているか否かでさえも判定することができない。POSネットワークは店で発生する返品処理を記録することができ、いくつかのPOSシステムは、他よりも不正である可能性が高いとして特定の返品処理を識別することができる特別な不正行為検出フィルタを含む。しかしながら、高度な不正行為検出を用いてさえも、従来のPOSシステムは、多数の誤った陽性反応を生成し、従業員の返品詐欺を顧客の返品詐欺から区別することができない。一方で、ビデオシステムとPOSシステムの双方からのデータを組み合わせる統合システムは、双方のチェックを行うことができ、本明細書で説明された規則に基づく手法を用いて、従業員の返品詐欺の事象がいつ発生したか、又は場合によってはリアルタイムの規則チェックを用いる実施形態では現在発生していることを検出できる。
【００６９】
例えば、図６を参照すると、ビデオ監視システムは、顧客領域６１５及びPOSステーション６２０の双方を含む、１つ又は複数のカメラ６０５に基づいたビデオ画像６００において、人の存否を検出することができる。「顧客領域」としてビデオの領域をマーキングすることにより、システムは、顧客の存在を検出（及びカメラの視野の異なる領域において一般に勘定台の後ろにいる顧客でない者と顧客を区別）することができる。
【００７０】
例えば、POSシステムは返品が行われたことを認識し、返品に関する情報（例えば、返品処理の時間、POSステーションのID、及び考えられる返品処理の詳細）がビデオ監視システムの警報処理モジュールに送信される。警報処理モジュールは対象となる警報をエンコードする多数の規則を適用し、従業員の返品詐欺の場合には、返品が処理される各POSステーションに対して規則が存在することができる。POSデータが警報処理モジュールに到達すると、１つ又は複数の規則を適用することにより、警報が生成されるべきか否かが判定される。いくつかの実施形態において、規則は別個のデータ格納モジュールに格納され、定期的に更新され得る。
【００７１】
規則に関して１つの考えられる形態は、ブール論理を使用する。一例として従業員の不正な返品を用いると、規則は、「if ((RETURN PROCESSED on POS #XXX) and (not (OBJECT PRESENT in region #YYY))) then ALERT」として表され得る。ここで、「XXX」は、各POSステーションに割り当てられた一意のID番号を表し、「YYY」はPOSステーションに対応する顧客領域に割り当てられた一意のID番号を表す。規則の定義、それ故にPOSステーションIDと領域IDとの関連付けは、システムのエンドユーザにより手動で、又は種々の機械学習および発見的技術を通じて自動的に策定され得る。
【００７２】
一般に、警報規則は、ブール論理（例えば、AND、OR、NOT演算子）を用いて基本の事象を互いに組み合わせる。基本の事象は、所与のセンサネットワークで検出され得る１つである。例えば、基本のPOS事象は、「RETURN PROCESSED」、「CASH DRAWER OPEN」、「ITEM zzz PURCHASED」等を含む。基本のビデオシステムの事象は、「OBJECT PRESENT」、「OBJECT MOVING」、「NUM OBJECTS > N」等を含む。基本のセキュリティシステムの事象は、「CARD #123456 SWIPED」、「DOOR OPEN」、「MOTION DETECTED」等を含む。基本のEAS事象の一例は、「TAG DETECTED」である。
【００７３】
基本の事象はブール論理でもって互いに組み合わされて、任意に複体（complex）とすることができる警報の式を生成することができる。規則は、１つ又は複数の警報の式からなることができる。全部の式が「真」を評価する場合、警報が生成される。例えば、EAS事象が検出された際に二人の人が店から出るか否かを検出するための警報を考察する。基本の事象は、「TAG DETECTED」及び「NUM OBJECTS > 2」である。双方が真である場合、警報が出される。そのため、複合式は「(TAG DETECTED on EAS #123) and (NUM OBJECTS > 2 in region #456)」である。前と同じように、一意のID番号を用いて、特定のEASペデスタルを適切なカメラの対象となる領域に関係付ける。
【００７４】
別の例として、警報は、アクセスの制限されたドアを１つの証明書を用いて入る二人の人（一般に、「ピギーバッキング」と呼ばれる）を検出することに基づいてトリガされ得る。警報の規則は、上記のEAS警報の規則と類似し、即ち、「if ((DOOR OPENED on DOOR #834) and (NUM OBJECTS > 2 in region #532)) then ALERT」である。
【００７５】
従業員の返品詐欺を検出することに類似して、顧客が存在せずにPOSステーションのキャシュドロアーが開けられた時を識別することは有用である場合が多い。係る事象は、従業員の窃盗を示す場合が多い。より複雑な規則の例として、この事象の検出は、双方の事例が１つの規則で検出され得るように、従業員の返品詐欺の規則と組み合わされ得る。即ち、「if (((RETURN PROCESSED on pos #XXX) or (CASH DRAWER OPENED on pos #XXX)) and (not (OBJECT PRESENT in region #YYY))) then ALERT」である。
【００７６】
上述された規則は、組み合わせて完全な警報規則言語を構成する規則の例を表す。例えば、規則は、事象に関する一時的な情報（例えば、或る時間期間にわたって事象が発生した場合に警報する）、連続した情報（例えば、この事象がその事象に続く場合に警報する）、事象の欠如（例えば、顧客が存在せずに販売の事象が発生する）、又は基本事象の任意の他の組み合わせを含むことができる。以上のことをまとめると、事象は、種々のセンサから検出されることができ、警報規則は、形式、構文（シンタックス）、又は構造に関係なく、事象の種々のタイプに作用するように定義され得る。
【００７７】
上述の警報は、監視システムのリアルタイム関数として表されるが、警報の状態が過去の或る時にトリガされたか否かを知ることも価値がある。POS、EAS、RFID及びビデオデータに関するメタデータを格納することにより、システムは格納されたデータを以前にさかのぼって走査することができ、リアルタイムの場合に使用されるものと同じアルゴリズムを適用して、過去に発生した不審な事象を探索することができる。
【００７８】
子供の安全性
場合によっては、小売店（例えば、商店、ショッピングセンター）で買い物をしている両親が、彼らの子供に関して更なるセキュリティの保証を願っている。このような場合に、子供が店に入る際にRFIDタグが子供に割り当てられ、その結果、子供が迷子になった際に迅速に場所を見つけることができる。場合によっては、ビデオ及びRFIDデータの組み合わせを用いて分離を検出するために、RFIDタグは親と子供の双方に配置され、親からかなり離れて子供がさまよっている場合に、システムは警報を知らせることができる。
【００７９】
滑って転ぶこと
また、規則は、即時の注意を必要とする潜在的に危険な状態が存在するという警報を生成するために使用され得る。例えば、ビデオサブシステムが、通路に落ちる何かを検出する場合、RFIDサブシステムを用いて、製品の特定の属性（例えば、こぼれることができる、ガラス、有毒など）を識別して、適切な要員に警報を出すことができる。
【００８０】
科学捜査的動作
ビデオ及びRFIDデータの組み合わせから収集され得る他の価値ある情報は、製品の購入に関する履歴データを探索して、マーケッティングの目的で顧客の層をより良く理解するために製品を購入した人のビデオ画像の集まりを要求する能力である。例えば、単にRFIDデータストリームを見るだけにより、何個の物が何時に購入されたかに関する統計値が求められ得る。ビデオから人の属性（例えば、人種、性別、年齢など）を識別できるビデオサブシステムからのデータとRFIDデータを組み合わせることにより、買い物客の挙動が観察されて分析されることが可能になる。
【００８１】
全般的な考察
方法が１つ又は複数のソフトウェアプログラムとして提供される実施形態に関して、プログラムは、FORTRAN、PASCAL、Java（Ｒ）、Ｃ、Ｃ＋＋、Ｃ＃、又はBASICのような多数の高レベル言語の任意の１つで書かれ得る。更に、ソフトウェアは、ターゲットコンピュータに常駐するマイクロプロセッサ向けのアセンブリ言語で実現されることができ、例えば、IBM PC又はPCクローンで動作するように構成されている場合、ソフトウェアはインテル８０ｘ８６アセンブリ言語で実現され得る。ソフトウェアは、以下に限定されないが、フロッピー（Ｒ）ディスク、ハードディスク、光ディスク、磁気テープ、PROM、EPROM、EEPROM、フィールドプログラマブルゲートアレイ、又はCD-ROMを含む製品で具現化され得る。
【００８２】
これらの実施形態において、ソフトウェアは、PC又はPC互換マシン、アップル社Macintosh（Ｒ）、Sunのワークステーションなどのような任意のタイプのパーソナルタイプコンピュータ又はワークステーションで動作するように構成され得る。一般に、特定のタイプのコンピュータ又はワークステーションが本発明の中枢をなすものではないので、本明細書で説明された機能と能力を実行することができる限り、任意のデバイスが使用され得る。
【図面の簡単な説明】
【００８３】
【図１】本発明の一実施形態による、複数のセンサネットワークからのデータを組み込む監視システムの実施形態のブロック図である。
【図２】本発明の種々の実施形態が実施され得る監視環境を図式的に示す図である。
【図３】本発明の一実施形態による監視システムを用いてキャプチャされたシーンを示す図である。
【図４】図２の監視環境にわたる或る人物の経路を図式的に示す図である。
【図５Ａ】図２の監視環境にわたる或る人物の経路を更に示す図である。
【図５Ｂ】本発明の一実施形態による、監視環境にわたる注釈付きの経路を示す図である。
【図６】本発明の一実施形態による、不審な挙動を視認して識別するためのユーザインターフェースの表示である。
【技術分野】
【０００１】
本発明は、監視を行うためのコンピュータベースの方法とシステムに関し、より具体的には、対象を追跡し且つ複数の監視モダリティ（modality：様相）を用いて警報を作動させることができるコンピュータ援用監視システムに関する。
【０００２】
関連出願に対する相互参照
本出願は、２００５年９月２日に出願された米国仮特許出願第６０／７１３，６７９号、及び２００５年９月２日に出願された米国仮特許出願第６０／７１４，０２０号の優先権を主張しており、係る出願の双方は、参照によりそっくりそのまま本明細書に組み込まれる。
【０００３】
背景情報
現在のセキュリティの高まり、及びモニタリング装置のコストの低下により、閉回路テレビ（closed-circuit television：CCTV）のような技術を用いる監視システムの使用が増加している。係るシステムは、多種多様な環境において犯罪を減少させ、事故を防止し、且つ一般にセキュリティを増大させる可能性を有する。ビデオ監視システムは一般に、関心のある区域（例えば、倉庫、小売店、オフィスビル、又は空港）の周りの様々な場所に配置された一連のカメラを含む。カメラは、一般に警備員が配置された中央観察ステーション（又は複数のステーション）にビデオ画像を戻すように送信する。種々の監視画像は、不審な活動を監視する一連の画面に表示される。
【０００４】
ビデオ監視システムで監視される区域は、環境の他の状況を監視するために利用可能な他のセンサネットワークを有することが多い。例えば、多くの施設は、誰がドアを開けたかを（例えば、「スマートカード」読取りシステムを用いて）報告する電子ドア、又は特定の対象物が区域に入ったか、又は区域から出たかを報告する無線ＩＣタグ（Radio-Frequency Identification：RFID）システムを有する。特に、小売店は、ビデオ監視システムの他に、利用可能な種々のデータネットワークを有することが多い。例えば、店舗販売時点情報管理（Point-of-sale：POS）システムは、精算所（レジ）または購入区域で生じる可能性がある他の出来事（事象）の中で、いつ購入されたか、いつキャシュドロアーが開けられたか、いつ返品されたか、及びいつクーポンが引き換えられたかを記録する。別の例として、出口に配置された電子商品監視（Electronic Article Surveillance：EAS）システムは、EASタグが店を出る際にEASタグを整合し、事象（無音、可聴音又は両方）が生じる。また、バーコード走査、棚走査（shelf-scanning）及び他の技術を用いる在庫管理システムも、係る環境で一般的である。ビデオ監視システムに加えて、RFIDシステムは、オフィスビル、倉庫、及び小売店のような施設の全体にわたって人および／または対象物を追跡するためにますます普及してきている。
【０００５】
ビデオ監視およびRFID追跡システム、POSシステム、及び他の追跡診断技術を実現して統合することには、多くの問題を伴う。最初に、カメラ、送信機、及び他のデータ収集装置は、システムに描かれた目標、例えば、製品追跡、盗難防止、人事管理、又はそれらの何らかの組合せを達成するように配置される必要がある。しかしながら、多くの場合、監視される環境の物理的なレイアウトは、有効範囲を完全なものにするのに適していない。例えば、小さくてめったに使用されない部屋、隠し廊下、或いはカメラの直接的な視界内に入らない又は製品の往来が多くない他の場所は、監視されないままにされている場合がある。これは、限られた資金、ビルの物理的特徴（壁、柱など）、複数のビデオストリームを監視するための限られた能力、及び他の制限に起因している可能性がある。更に、正常に動作しない装置は、保護されていない「デッドゾーン」を一時的に生じさせる可能性がある。残念ながら、商品を着服しようと試みそうな個人（不満を抱いた従業員、万引きの常習犯など）は、保護されていない区域を知っており、係る区域を用いて窃盗を進める可能性がある。
【０００６】
窃盗に関連した問題に加えて、商人は、製品が施設のあちこちに移動する際に製品を正確に追跡することに苦心する。例えば、大抵のRFID具現化形態は、発送センター及び倉庫の棚のような在庫管理箇所に制限される。しかしながら、製品が「倉庫」から離れて、売るために棚に載せられてしまえば、小売業者は、レジ又はスキャナのような店舗販売時点情報管理装置において製品が「再び現れる」まで、製品を見失う。製品の入荷地点（例えば、発送センター）から、施設からの最終的な出口点（顧客出口、配送センターなど）まで製品を追跡できないというこのことは、RFID能力の大幅に不十分な利用状況を表す。
【０００７】
ビデオ監視システムを他の追跡システムからのデータと組み合わせるという現在の試みは、これらの制限に対処する広範な適用性のある解決策を提供せず、依然として２つのシステムを監視および／または調和させるために著しい人間の介入を必要とする。ビデオ監視システムを他の非ビデオ追跡システムからのデータと組み合わせることを企図する従来のシステムは一般に、装置（例えば、RFID送信機）とカメラとの間の強い関連（例えば、１：１）に依存する。たとえ活動が制限された場所で目的の有用性が予想されたとしても（例えば、立入禁止区域内への侵入者）、係るシステムは、にぎやかな環境において対象物を有効に識別して追跡することができない。POSの応用形態は一般に、店内の特定の精算場所に配置されたレジに制限される。更に、大抵のビデオ監視システムは、被写体が施設を動き回って、１つのカメラから別のカメラへ移動する際に被写体を明確に識別して、処置を促す異常性（例えば、不審な挙動、商品の紛失など）を検出するために、何らかの形態の人間の介入を必要とする。RFID送信機は一般に、カメラの視野よりも大幅に小さい有効半径を有すると同時に、一般的なビデオ監視システムは、所与の有効範囲領域についてできる限り少ないカメラを用いることによって実現コスト（及び監視の負担）を最小限にしようとしている。例えば、小売店およびカジノの具現化形態では、これは、所与の時間において多数の人々および潜在的に数百の製品がカメラの視野内にあるという結果になる可能性がある。
【０００８】
更に、不法行為または不審な活動（例えば、侵入者、万引きしそうな人等）の証拠として使用されるべき追跡情報（ビデオ、RFID、及び／又はPOSに関わらず）について、法的手続きにおいて信頼されるべき追加の認証、連続性の基準、及び証拠書類の基準を満たす必要がある。日付、時間、及び位置情報で適切に注釈を付けられ、一時的中断または空間的障害物のない、活動の連続したストリームを示すことができる追跡情報は、一連の不連続なマーキングされていない断片に比べて、証拠として極めて価値がある。
【０００９】
概要
本発明は概して、インテリジェントなビデオ監視システムを他のセンサベースのセキュリティネットワークからのデータと組み合わせる統合監視システムを提供する。組み合わされたビデオとセンサベースのネットワークデータを用いて、注意を必要とする可能性がある不審な活動を強調表示する警報が生成され得る。例えば、RFID、POS、及び／又はEASシステムからのデータを、コンピュータ援用ビデオ監視システムからのデータと組み合わせることにより、不審な挙動を識別する際のシステムの精度を大幅に上げることができる。従って、係る「インテリジェントな」警報システムは、各システム単独よりも低い誤り率を有すると同時に、人材育成のコストを低下させ、見逃される事象を最小限にし、ひいてはシステムの全体的な価値を高める。
【００１０】
例えば、ビデオ画像および位置特有のデータ（例えば、RFIDに基づいた）を利用して、監視区域にわたって対象物および／または人の移動の完全な「時系列」追跡を生成することができる。位置センサとビデオ画像内の領域との間の関係は、明確に又は２つの結果としてのデータセットの推論的分析を通じて判定される。いわゆる「デッドゾーン」が監視環境内に存在する場合には、対象物および／または人の現在と今後の位置が、カメラ、RFID送信機の間の関係を用いて、及び履歴データの分析を通じて予測され得る。経路、位置、及び／又は追跡される対象物の挙動に関する規則が定義され、トリガされると、これら規則が好ましくない挙動または不審な挙動を示す警報を生じさせる。例えば、警報は、保安要員が監視環境を巡回する際に保安要員により使用される携帯型受信機に無線通信を介して送信され得る（場合によっては、他の空間的情報および／または地理情報で強化される）。
【００１１】
従って、第１の態様において、本発明は、環境における事象に基づいた警報を生成するためのシステムを提供する。システムは、環境の少なくとも一部を表すビデオ信号を生成するカメラと、ビデオ信号を分析して環境内の対象物を識別するためのビデオ処理モジュールとを含む。また、システムは、センサベースのモニタリングシステムからの非ビデオデータ（環境内の事象を表すデータ）を受信するためのデータ入力モジュールと、識別された対象物と事象に基づいて警報を生成するための警報モジュールとを含む。
【００１２】
例えば、センサベースのモニタリングシステムは、POSシステム、RFIDシステム、及び／又はEASシステムとすることができる。いくつかの実施形態において、システムは環境内の活動に関連した規則を格納するためのデータ格納モジュールも含む。規則は、ビデオデータで識別された対象物、センサベースのモニタリングシステムから検出された事象、又は双方に関係する。場合によっては、対象物および／または事象の無いことが、警報をトリガすることができる。また、システムは、生成された警報を、ワークステーション及び無線携帯装置のような遠隔装置に送信するための通信モジュールも含む。いくつかの実施形態において、システムは、追跡されている対象物の表示、対象物の現在の位置、移動の方向と速度およびステータスを含むことができ、且つ色、テキスト、又は位置、ステータス及び移動に関する他の可視表示で注釈を付けられ得る、環境の視覚表示をレンダリングするための地理情報サービスモジュールも含む。
【００１３】
別の態様において、本発明は、環境内の状態を検出するための方法を提供する。方法は、環境の少なくとも一部を表す画像信号を受信し、画像信号内で表された対象物を識別することを含む。また、方法は、環境で生じている事象を表す非ビデオデータを受信し、識別された対象物および事象に基づいて警報を生成することも含む。
【００１４】
例えば、画像信号が、監視環境のあちこちに配置されたカメラから受信されることができ、場合によっては、環境内の対象物は人である。いくつかの実施形態において、非ビデオデータがPOSシステム、又はRFIDシステムから、或いは場合によっては双方から受信される。例えば、警報は、環境内の活動に関連した規則に違反する対象物および／または事象（又はそれらの無いこと）に基づくことができる。場合によっては追跡される対象物の表示を含む環境の地理的表示が生成され得る。例えば、係る表示は、ワークステーション及び携帯無線装置のような遠隔装置に送信されることができ、対象物のステータス及び移動に関連した種々の注釈を含むことができる。
【００１５】
別の態様において、本発明は、ビデオ監視サブシステム、無線ＩＣタグサブシステム（いくつかの実施形態において、ビデオサブシステムとは別個に較正され得る）、及び関連モジュールを含む監視システムを提供する。ビデオ監視サブシステムは、多数のカメラを含み、各カメラの視野は、複数のカメラ副領域を含む。RFIDサブシステムは、或る動作半径内でRFID識別タグの存在を検出するステーションを含む。関連モジュールは、２つのサブシステムから受信されたデータに基づいて、カメラ副領域とステーションの動作半径との間の関連付けを行う。
【００１６】
関連付けは、例えば、カメラ副領域と動作半径との間の位置的対応に基づくことができ、いくつかの実施形態において、ビデオ監視サブシステム、又はRFIDサブシステム、或いは双方によりキャプチャされたデータから推論され得る。ビデオ監視サブシステムによりキャプチャされたデータは、カメラ及び／又はカメラの副領域の範囲内で移動する対象物の視覚表示を含むことができる。RFIDサブシステムによりキャプチャされたデータは、ステーション間を移動する対象物と関連した時間情報と空間的情報を含むことができる。
【００１７】
いくつかの実施形態において、システムは、監視システムにより追跡されている対象物と関連した情報、場合によっては対象物に関連する規則を含む情報を格納するためのデータ格納モジュールを含む。また、システムは、ビデオ監視サブシステム及びRFIDサブシステムからのデータに基づいて対象物の位置に関する時間順表示を生成するための追跡モジュールも含むことができる。いくつかの実施形態において、ビデオ監視サブシステム及びRFIDサブシステムは、ビデオ監視サブシステム又はRFIDサブシステムが対象物を「見る」ことができない１つ又は複数の無効区域を含む領域内で動作する。このような場合、目に見えない対象物の位置（又は将来位置）は、例えば、RFIDサブシステムから受信されたデータに部分的に基づいた、対象物の以前にわかっていた位置または同様の対象物がとる経路のような履歴データを用いて、追跡モジュールにより推論され得る。
【００１８】
監視システムのいくつかの実施形態は、追跡される対象物の位置に関する時間順表示のような、追跡モジュールから受信されたデータに対して、規則（例えば、データ格納モジュールに格納された）を適用する警報モジュールを含む。規則が破られる場合、警報モジュールは、通信装置に（例えば、無線伝送を介して）送信され得る警報を生成することができ、それにより警報の扱い者に警戒態勢をとらせる。いくつかの実施形態において、警報モジュールは、対象となっている対象物、区域、及び／又は人物に焦点を合わせるようにカメラに命令にする。
【００１９】
別の態様において、本発明は、監視環境内で活動を監視するための方法を提供する。方法は、複数の副領域を含む視野をそれぞれ有するカメラにより生成されたビデオ信号を受信し、監視環境内で対象物と関連したRFIDタグとの相互作用に基づいてRFIDステーションからデータを受信し、RFIDステーションの動作半径とカメラ副領域を関連付け、且つ対象物が監視環境内でカメラの視野とRFIDステーションの動作半径との間で移動する際に、較正とは関係なく、対象物を追跡することを含む。
【００２０】
関連付けは、例えば、カメラ副領域と動作半径との間の位置的対応に基づくことができ、いくつかの実施形態において、ビデオ監視サブシステム、又はRFIDサブシステム、或いは双方によりキャプチャされたデータから推論され得る。ビデオ監視サブシステムによりキャプチャされたデータは、カメラ及び／又はカメラの副領域の範囲内で移動する対象物の視覚表示を含むことができる。RFIDサブシステムによりキャプチャされたデータは、ステーション間を移動する対象物と関連した空間的情報を含むことができる。
【００２１】
いくつかの実施形態において、方法は、ビデオ信号およびRFIDステーションにより生成されたデータに基づいて環境内の対象物の位置を時間順に表すことを更に含む。対象物がカメラ又はRFIDステーションにより保護されていない区域を通過する場合、対象物の現在位置および／または将来位置は受信データに基づいて推論されることができ、受信データは、場合によっては、対象物の以前にわかっていた位置を含むことができる。
【００２２】
いくつかの実施形態において、対象物の位置の時間順表示は、対象物に関して規則に対して評価され、場合によっては、１つ又は複数の規則が破られた際に警報が生成される。次いで、警報は、（例えば、無線通信プロトコルを介して）無線装置に送信され、それにより監視員に警戒態勢をとらせる。いくつかの実施形態において、警報を用いて、対象となっている対象物、区域、及び／又は人物に焦点を合わせるようにカメラに命令にすることができる。
【００２３】
別の態様において、本発明は、上記の段落に記載された方法を実行するためのコンピュータ可読命令を組み入れたコンピュータ可読媒体を有する製品を含む。特に、本発明の方法の機能は、以下に限定されないが、フロッピー（Ｒ）ディスク、ハードディスク、光ディスク、磁気テープ、PROM、EPROM、CD-ROM、又はDVD-ROMのようなコンピュータ可読媒体に埋め込まれ得る。本技術の機能は、任意の数のコンピュータ可読命令、又は例えば、FORTRAN、PASCAL、Ｃ、Ｃ＋＋、Java（Ｒ）、Ｃ＃、Tcl、BASIC及びアセンブリ言語のような言語でコンピュータ可読媒体に埋め込まれ得る。更に、コンピュータ可読命令は、例えば、スクリプト、マクロで書かれるか、又は市販のソフトウェア（EXCEL（Ｒ）又はVISUAL BASIC（Ｒ）など）に機能的に埋め込まれ得る。データ、規則、及びデータ構造は、上述した方法を実行する際に使用するための１つ又は複数のデータベースに格納され得る。
【００２４】
本発明の他の態様と利点は、以下の図面、詳細な説明、及び特許請求の範囲から明らかになり、それらの全ては、単なる例示のために本発明の原理を示す。
【００２５】
図面において、同じ参照符号は概して、異なる図面を通して同じ部品を指す。また、図面は、必ずしも一律の縮尺に従っておらず、代わりに概して本発明の原理を例示することに重点が置かれている。
【００２６】
詳細な説明
小売店内で顧客および製品を追跡することに関して、及び窃盗を検出することに関して実施される際に有用であるとして本明細書で説明されるが、以下に説明されるシステムと方法は、空港、カジノ、学校、オフィスビルのような、監視される任意の環境に対して、及び広範にわたる目的のためにその場所で生じる可能性がある活動に対して適用可能である。
【００２７】
図１は、本発明による統合ビデオ監視およびセンサネットワークシステム１００を示す。システムは概して、インテリジェントビデオ監視システム１０５、及び１つ又は複数の外部センサネットワーク１１０を含む。インテリジェントビデオ監視システム１０５は、ビデオ処理モジュール１１５、及び警報／探索処理モジュール１２０を含む。ビデオ処理モジュール１１５は、ビデオストリームを分析し、出力として圧縮ビデオ及びビデオメタデータを生成する。いくつかの実施形態において、警報／探索処理モジュール１２０は、追跡モジュール１３０、警報モジュール１３５、及び通信モジュール１４０を含み、一組の所定の規則に適合するパターンに関してビデオメタデータを走査し、パターンの適合が発見された場合に警報（又は、予め記録されたメタデータの場合には探索結果）が生成され、次いで、それは１つ又は複数の出力装置１４５（以下でより詳細に説明される）に送信され得る。規則を処理する際に警報モジュールにより使用されるメタデータの例には、対象物ID、対象物タイプ（例えば、人物、製品等）、日付／時間のスタンプ、現在のカメラの位置、以前のカメラの位置、方向データ、製品原価、製品逸失、及び他のものが含まれる。
【００２８】
インテリジェントビデオ監視システム１０５の一例は、「Method And System For Tracking And Behavioral Monitoring Of Multiple Objects Moving Through Multiple Fields-Of-View」と題する共同所有された同時係属の米国特許出願第１０／７０６，８５０号に説明されており、その全開示は参照により本明細書に含められる。本発明に従って、警報／探索処理モジュール１２０は、POS、RFID、及びEASシステムのような種々の形態の追跡およびデータキャプチャを用いる外部センサネットワーク１１０からデータを受信するための追加の入力で強化される。
【００２９】
本発明のビデオ監視システム１０５は、監視環境の人および出来事の相互作用を表すデータをキャプチャする複数の入力センサ１２５を含む。センサ１２５は、カメラ（例えば、光センサ、赤外線検出器、スチルカメラ、アナログビデオカメラ、デジタルビデオカメラ、又は後述される方法を支援するのに十分な品質の画像データを生成することができる任意のデバイス）と非ビデオベースのセンサ（例えば、RFIDベースステーション、POSスキャナ、在庫管理システム）の双方を含むことができる。
【００３０】
本発明の種々の実施形態に従って、外部センサネットワーク１１０は、センサ出力を表す信号を収集して、１つ又は複数の標準データ伝送技術によってビデオ監視システム１０５の警報／探索処理モジュール１２０に送る。信号は、LAN及び／又はWAN（例えば、Ｔ１、Ｔ３、５６ｋｂ、Ｘ．２５）、ブロードバンド接続（ISDN、フレームリレー、ATM）、無線リンク（８０２．１１、Bluetooth（Ｒ）他）等を介して伝送され得る。いくつかの実施形態において、ビデオ信号は、例えば、トラステッド鍵ペア暗号化を用いて暗号化され得る。種々のセンサシステムは、Ethernet（Ｒ）又は無線ネットワーク、直接シリアル又はパラレル接続、USB、ファイヤーワイヤー（Ｒ）、Bluetooth（Ｒ）、又は工業所有権により保護されているインターフェースのような種々の通信経路を用いて情報を伝送することができる。システム１００は、各センサ１２５が個別的に警報／探索モジュール１２０に接続される「星状形ネットワーク」として構成され得るか、又は場合によっては、センサネットワーク１１０は、スイッチ、ルータ、及びコンピュータネットワークで一般に見出される他のコンポーネントを含む、より一般的なトポロジーを有することができる。いくつかの実施形態において、センサ１２５は双方向通信とすることができ、ひいてはビデオ監視システム１０５から（電源を入れる、警報を鳴らすため等の）信号を受信することができる。
【００３１】
いくつかの実施形態において、システム１００は、ビデオ格納モジュール１５０、及び規則／メタデータ格納モジュール１５５を含む。ビデオ格納モジュール１５０はビデオ監視システム１０５からキャプチャされたビデオを格納する。ビデオ格納モジュール１５０は、VCR、DVR、RAIDアレイ、USBハードドライブ、光ディスクレコーダー、フラッシュ記憶装置、画像解析装置、汎用コンピュータ、ビデオ画質向上装置、デインターレーサ（de-interlacer）、スケーラ、及び／又はビデオを格納および／または処理するための他のビデオ又はデータ処理要素および格納要素を含むことができる。ビデオ信号は、単なる例として、全国テレビジョン方式委員会（NTSC）、パル（PAL）、及びセカム方式（SECAM）、DVI又はHDMI接続を用いる非圧縮デジタル信号、及び／又は一般的なコーデック方式（例えば、MPEG、MPEG2、MPEG4、又はH.264）基づいた圧縮デジタル信号を含む種々のアナログ及び／又はデジタルフォーマットでキャプチャされて格納され得る。
【００３２】
規則／メタデータ格納モジュール１５０は、ビデオ監視システム１０５及び外部センサネットワーク１１０からキャプチャされたメタデータ、並びに警報がトリガされるべきか否かを判定するためにメタデータが比較される規則を格納する。規則／メタデータ格納モジュール１５５は、警報規則を格納して警報／探索処理モジュール１２０にそれを提供するためのアプリケーション命令を含むサーバクラスコンピュータで実現され得る。ビデオ格納モジュール１５０及び／又は規則／メタデータ格納モジュール１５５、記憶装置を実現するために使用され得るデータベースアプリケーションの例には、スウェーデン、ウプサラのMySQL AB社によるMySQLデータベースサーバ、カリフォルニア州バークリーのPostgreSQL Global Development Group社によるPostgreSQLデータベースサーバ、又はカリフォルニア州レッドウッドショアズのORACLE Corp.社により提供されるORACLEデータベースサーバが含まれる。いくつかの実施形態において、ビデオ格納モジュール１５０及び規則／メタデータ格納モジュール１５５は、例えば、所望のシステム性能を得るように、複数のパーティション及び／又はインスタンスを用いて１つのサーバで実現され得る。
【００３３】
様々なセンサネットワーク１１０がシステム１００にデータを提供することができる。例えば、POSネットワークは、ネットワークに接続された多数のステーション（例えば、レジ、スキャナなど）を含み、付勢されると、ステーションのセンサが、顧客の取引情報（製品、価格、顧客IDなど）並びにキャシュドロアーのステータス（例えば、開閉）をネットワークに送信する。同様に、EASネットワークは一般に、高価な製品（又は場合によっては全ての製品）に配置されたアクティブなEASタグの存在を検知する、小売店の出口の近くに設置された多数のペデスタルを含む。タグの存在が検出された場合、ペデスタルは、ネットワークを介して情報をセンターに送信する。また、多くの商業ビルは、ドアの開閉を検知するセキュリティシステムを利用し、施設を出入りする際にIDカードを通す又は提示することを従業員に要求する「カード磁気データ読み取り」システムを使用する。本発明に従って、これらセンサベースのモニタリングシステム１１０の一部または全ては、ビデオ監視システム１０５と統合されて、その能力と精度が強化される。当然のことながら、上記のセンサタイプのリストは、網羅的ではなく、適応され得るセンサネットワーク１１０のタイプの例を提供したにすぎない。
【００３４】
１つの制限しない例において、センサネットワーク１１０は、監視システム１００により追跡されている対象物に配置されたトランスポンダと相互作用する送信機（「基地局」又は「ステーション」とも呼ばれる）をそれ自体が含むRFIDサブシステムを含む。ステーションは、断続的に（例えば、ｎミリ秒毎に、ここでｎは選択された整数）ステーションの或る有効半径内にRFエネルギーを送信する。トランスポンダがこの有効半径内に入ると、RFエネルギーはトランスポンダを「起動」し、トランスポンダはステーションに識別信号を与えるようにそれと相互作用する。信号は一般に、SKUコード、ソースコード、数量コードなどのような、トランスポンダが装着される対象物に関する様々な情報を含む。このデータは、送信機からの情報（例えば、送信機ID、及び日付／タイムスタンプ）で補われ、一意の記録としてセーブされ得る。区域のあちこちに（例えば、店または倉庫の全体にわたって）複数の送信機を配置することにより、RFIDサブシステムを用いて、送信機の座標および送信機がトランスポンダと対話した時間によりRFIDタグを備える対象物の位置と経路を求めることができる。
【００３５】
いくつかの実施形態において、警報／探索処理モジュール１２０により生成された警報は、スマートターミナル又はダム端末、ネットワークコンピュータ、無線装置（例えば、ハンドヘルドPDA）、無線電話、情報家電、ワークステーション、ミニコンピュータ、メインフレームコンピュータ、又は汎用コンピュータとして動作できる他のコンピュータデバイスのような出力装置１４５、或いはシステム１００で出力装置１４５として単に機能するために使用される専用ハードウェアデバイスに送信され得る。一例において、警備員は、警備員が監視環境を巡回する際に、無線出力装置１４５にテキスト、メッセージング、及びビデオ能力を提供される。警報が生成された場合、メッセージが出力装置１４５に送信され、警備員を特定の場所に案内する。いくつかの実施形態において、ビデオはメッセージに含められることができ、対象となる人物または対象物の映像による確認を警備員に提供する。
【００３６】
いくつかの実施形態において、出力装置１４５は、広域情報サービス（GIS）データも含むことができる。係る具現化形態において、地図および／または間取り図（実際の写真またはそのグラフィック表示）が、環境を記述するアイコン情報およびテキスト情報、並びに環境内の対象物と組み合わされる。例えば、遊園地で働く保安要員には、遊園地の地図を含む静止グラフィックス及び／又はビデオグラフィックスをレンダリングできる無線ハンドヘルド装置（SAMSUNG SCH i730無線電話など）が提供され得る。同様の装置（又は場合によっては、遊園地の全体にわたって配置されたRFID基地局）を介して得られたGPS座標を用いて、様々な場所を表示し、職員、売る人、又は団体が判定され、遊園地の地図と共に同時に表示される。
【００３７】
システム１００が遊園地の入場者および他の対象物の移動を分析する際、警報／探索処理モジュール１２０は、ビデオ監視システム１１５及び外部センサネットワーク１１０から受信されたメタデータを使用して、１つ又は複数の規則が合致するか否かを判定し、そうである場合、警報を生成する。一例として、遊園地の入場者と関連する対象物ID、及び入場者により賃借されたベビーカーに関連するベビーカーIDは、手動関連付け技術および／または自動技術（例えば、すぐ近くにいる２つの対象物の度重なる検出に基づいて）を用いて結びつけられる。ベビーカーが遊園地内の少なくとも１つの場所にあることをRFIDセンサが判定し、遊園地の入場者がベビーカーの許容できる或る範囲外にいることをビデオ監視システムが判定する場合、警報が生成される。次いで、警報が、保安要員に送信され、GISが使用可能なデバイスを用いる保安要員は、遊園地の地図上に重ねられたベビーカーの位置および遊園地の入場者の位置を見ることができる。
【００３８】
いくつかの実施形態において、特定の場所への遊園地職員の迅速な移動を更に容易するために、群衆密度または好適な経路を表すために着色するような、追加のデータがディスプレイに追加され得る。また、対象物が移動している速度、又は対象物が監視環境にもたらす脅威の程度を示すために、色強調も追加され得る。場合によっては、最新情報がディスプレイに送信され、監視されている事象および対象物のリアルタイム（又はほぼリアルタイム）の表示が提供され得る。
【００３９】
図２を参照すると、図１の監視システムにより監視されている環境２００は、複数の対象となる区域、即ち、複数の発送センター２０５、供給区域２１０、小売り区域２１５、精算区域２２０（１つ又は複数の店舗販売時点情報管理装置２２５を含む）、及び出口２３０を含む。環境２００で生じる種々の活動（配送、仕入れ、購買など）を監視するために、ビデオ監視サブシステムは、視野２４０をそれぞれ有する複数のカメラ２３５、及びRF信号が有効である動作半径２５０をそれぞれ有する複数のRFIDステーション２４５を含む。場合によっては、視野２４０及び動作半径２５０は互いに排他的であり、即ち重なる部分がない。また、監視されている区域は、この区域の対象物が双方のサブシステムにより検出され得るように、１つ又は複数の視野２４０及び動作半径２５０によりカバー（保護）され得る。しかしながら、多くの場合、環境２００は、場合によっては「デッドゾーン」と呼ばれる複数の無効区域２５５を含み、その区域では、ビデオサブシステム又はRFIDサブシステムはその区域の活動に関する情報を得ることができない。デッドゾーンは、不十分な具現化計画の産物、監視環境２００の物理的なレイアウトの変更（例えば、新しい壁、又は棚ユニットが構築された）、予算制限、又は場合によっては、カメラ２３５及び／又はRFIDステーション２４５の機能不良である可能性がある。
【００４０】
ビデオサブシステムにより供給されるビデオデータとRFIDサブシステムにより供給される位置データとを組み合わせることにより、後述される方法を用いて、環境２００にわたる人物および／または製品の経路の完全な時系列を導出することにより、デッドゾーンの問題は事実上、対処され得る。更に、一意の識別子が、環境内の対象物、人、及び事象に割り当てられることができ、監視システムによりキャプチャされた事象が規則と比較され、合致する場合には、警報をトリガする、及び／又は挙動を予測することができる。用語「対象物」は、人（特定の個人または一般民衆）、商品、区域（出口、トイレなど）、カメラ、カメラの副領域、及びRFIDステーションのような、環境２００において互いに相互作用する種々の要素を表すために、その最も一般的な意味で使用されている。
【００４１】
規則は、１つの対象物または多数の対象物に対して確立され得る。一例として、規則は、特定の製品の周囲にいる人の挙動を、これら製品のうち高級な製品が短時間に棚から移動されたことを示すRFIDデータと比較することにより、窃盗を暗示する挙動について試験することができる。ビデオサブシステム及びRFIDサブシステムの双方からのデータを用いる複合規則の別の例として、製品が棚から移動され（RFID信号に基づいて）、その製品が特定の人物に関連付けられ（同時に棚の近傍にいるその人物のビデオ画像に基づいて）、その製品が店の出口でRFIDステーションにより再度認識されるが、レジへ来るその人物の画像が記録されていない場合に、窃盗を検証するために警報が生成され得る。いくつかの実施形態において、データは更に、出口から出る（ビデオにより、RFIDにより、又は双方により）「見られている」製品が、例えばレジでSKUスキャナにより以前に走査されたかのような、店舗販売時点情報管理データと組み合わされ得る。
【００４２】
図３は、本発明の種々の実施形態に従って、対象物を追跡するためのカメラ及びRFIDステーションの１つの考えられる構成を示す。第１のカメラが、第１の時間ｔにおける第１のシーン３０５、及び第２の時間ｔ＋１における同じシーン３０５’ を表すビデオ信号を提供する。第２のカメラは、時間ｔにおける第２のシーン３１０、及び時間ｔ＋１における同じシーン３１０’ を表すビデオ信号を提供する。更に、RFIDステーション２４５は第２のカメラの視野の範囲内にあり、それ故にシーン３１０に現れる。
【００４３】
いくつかの実施形態において、カメラの視野は、副領域３１５にセグメント化される。１２個の副領域（３列×４行）を有するものとして図示されたが、副領域は任意の数とサイズからなることができ、全視野を表す１つの副領域から個々のピクセルレベルの副領域までの範囲にわたる。視野を副領域にセグメント化することにより、監視システムは、後述されるように、より大きな精度で対象物を追跡し、対象物が移動する可能性がある「次のカメラ」又は「次の副領域」を有効に予測することができる。
【００４４】
例えば、まだ図３を参照すると、特定の場所に立っている人物がシーン３０５に示されている。視覚的対象物３２０が人物を表し、時間ｔにおいてカメラ１、副領域ｄ１に関連付けられる。ビデオ表現は３つの副領域にまたがるが、この例において、人物は１つの副領域（即ち、ｄ１）に割り当てられる。対象物が複数の副領域にまたがる場合、対象物が割り当てられるべき特定の副領域を決定するために規則が適用され得る。１つの制限しない例において、各副領域に割り当てられた対象物のピクセル総数を求めることができ、最も多いピクセル総数を有する副領域に対象物が割り当てられる。他の実施形態において、割り当ては、空間的とすることができ、例えば、人物の一部が現れる「最も低い」副領域（即ち、地面または床に最も近い副領域）に、対象物は常に割り当てられる。他の実施形態において、対象物は複数の副領域に割り当てられ得る。
【００４５】
視野を副領域にセグメント化することにより、ビデオ監視サブシステムの精度が、カメラを追加することなく強化され得る。例えば、１つのカメラが、小売店のレジ区域および出口の双方のビデオ監視を提供することができる。セグメント化を用いない場合、座標ベースの複合基準システムを使用せずに、フレーム内の人物の位置を識別することが困難であるので、レジに行かずに小売店を出る人物または製品に基づいた規則は、実行可能ではない。しかしながら、セグメント化を用いる場合、店を含む副領域を通って歩く人物が、POSに割り当てられた副領域を通り抜けずに出ることは、係る規則をトリガする。
【００４６】
本発明は、ビデオ及び／又はRFIDを用いて識別された製品とビデオを用いて識別された人との間の関連付けを生成することを更に提供する。ビデオ監視サブシステムをRFID（出口のRFIDステーションを含む）で強化することにより、製品の詳細（SKU、シリアルナンバー等）がキャプチャされ、最近の購入および在庫の棚から最近移された品目に対して照合（チェック）される。図３をまだ参照すると、人物３２５は、時間ｔでカメラ１の視野の副領域ｄ３に配置される。同じ時間ｔにおいて、製品３３０は、RFIDステーション３４５で受信された信号に基づいて特定の位置にあることがわかっており、カメラ２の視野の副領域ｄ１に配置されていることもわかっている。時間ｔ＋１において、人物３２５は、カメラ２の視野内に移動し（この時点で画像３２５’により表されている）、製品３３０を持ち上げている（この時点で画像３３０’により表されている）。製品３３０’はRFIDステーション３４５の動作範囲２５０から外れるが、依然としてカメラ２の視野内にある。
【００４７】
履歴データ、運動ベクトル、又は他の確率論的解析に基づいて、画像３２５’と３３０’の組合せが、人物３２５と製品３３０を表すという推論が引き出され得る。いくつかの実施形態において、製品に関連するRFIDタグ番号が、対象物の特徴としてビデオ監視サブシステムを用いて追跡されるビデオ対象物に結びつけられ得る。関連付けは、１対１、１対多数、又は多数対多数とすることができる。例えば、ビデオ監視サブシステムのビデオ対象物として表される人物が、RFIDタグをそれぞれ備える複数の製品を運んでいるが、人の集団は、単一のRFIDタグに関連付けられ得る（同時に人々は互いに立っている）。追跡される対象物に関連する一組のタグは、対象物が異なるカメラに現れる場合に、付加的な識別力のあるヒントを提供するかもしれない。
【００４８】
例えば、RFIDステーションから受信された一連のRFID記録は、表１に示されるように表され得る。
【００４９】
【表１】
【００５０】
上記のデータに基づいて、製品００００１が或る時間期間にわたって静止していた、即ち、３つの時間期間にわたってステーションから一定の距離にとどまっていたことが推論され得る。しかしながら、ｔ＋２とｔ＋３との間の或る時間において、製品はステーションから遠ざかり始めた。いくつかの実施形態において、方向情報もRFIDデータと共に含められ、移動の速度と方向の双方を求めることが容易にされる。
【００５１】
同様に、ビデオ監視サブシステムから受信された一連のビデオデータ記録は、表２に示されるように表され得る。
【００５２】
【表２】
【００５３】
上記のデータに基づいて、画像００００Ｘとして識別される対象物が或る時間期間にわたって静止していた、即ち、３つの時間期間にわたって同じカメラの同じ副領域にとどまっていたことが推論され得る。しかしながら、ｔ＋２とｔ＋３との間の或る時間において、画像は移動し、時間ｔ＋３で副領域Ａ３にカメラ１０００２により記録され、続いてカメラ１０００３により時間ｔ＋４で副領域Ａ１に記録された。対象物の方向と速度は、運動ベクトル及びピクセルベース解析のような当該技術で知られている種々の技術を用いて求められ得る。
【００５４】
手動または自動化手段を用いて、及び一例としての上記のサンプルデータを用いて、関連付けは、RFIDステーション０１１３ＦＦとカメラ１０００２の副領域Ａ２との間で成され得る。例えば、手動の関連付けの場合、ソフトウェアアプリケーションによりユーザが｛０１１３ＦＦ：１０００２．Ａ２｝のような形態の関連付けを指定できることによって、RFIDステーションとカメラの副領域が、既知の位置的な重なり部分（単数または複数）に基づいた１対１、１対多数、及び／又は多数対多数のように互いに関連付けられ得るメカニズムが提供される。自動関連付けは、例えば、発見的規則および機械学習プロセスを通じて達成されることができ、それにより履歴データは、対象物の状態またはカメラ（又はカメラの副領域）及びFFIDステーションに共通である経路に関して分析される。一例として、RFIDステーションが特定の時間に製品の配置を検出し、独立して新たな対象物の配置がカメラの視野の副領域内に検出される場合、RFIDステーションと副領域との間の関連付けが推論され得る。最初に、推論は、根拠の弱い可能性がある（即ち、多数のステーションとカメラを有するシステムにおいて正しいという低い確率）が、時間と共に追加のデータが収集されるにつれて、関連付けの強さは、許容できる確率まで高められるであろう。場合によっては、２つの方法（手動および自動）が組み合わされ、この場合、例えば最初の一組の関連付けが指定されるが、ステーションが移動またはカメラが再編成されるにつれて、システムはそれに応じて関連付けを変更する。マルチモダリティモニタリングシステムからなる従来の具現化形態とは異なり、上述の方法は、要員が手動で特定のセンサをカメラに割り当てる、時間のかかる（及び繰り返されることが多い）較正ステップの必要性を取り除く。
【００５５】
いくつかの実施形態において、視野は重ならず、それ故に人物または製品が環境にわたって移動する際に、人物または製品の時間順の経路に空白が存在する可能性がある。図４は、時間ｔにおいて製品４１０を購入する人物４０５の物理的経路と時系列の双方を示す。人物４０５は時間ｔ−２で店に入り、通路を通過する。通路の特定部分（例えば、部分４１５）に沿って、人物４０５はビデオ監視カメラの視野内にいる。通路の他の部分（例えば、部分４２５）に沿って、人物は任意のカメラの視野の外にいる。人物４０５とは無関係に、製品４１０は販売のために陳列され、カメラ２３５の視野２４０、及びRFIDステーション２４５の動作半径２５０内の双方の中にある。人物４０５が店のあちこちに移動し、人物が第１のカメラの視野の外に移動する際に、或る時間期間にわたって見えなくなり、人物がカメラ２３５の視野に入る時間ｔ−１で現れる。時間ｔにおいて、人物４０５が製品４１０を持ち上げ、通路に沿って移動し、最終的に時間ｔ＋１と時間ｔ＋２との間でRFIDステーション２４５の範囲外に製品４１０を持って行く。人物４０５はレジの方へ進み、レジにおいて人物の存在が１つ又は複数のカメラにより記録される。いくつかの実施形態において、１つのカメラから別のカメラへの移動は、より詳細に後述されるように、カメラ（又は副領域）の隣接性を判定することにより予測され得る。
【００５６】
例えば、人物４０５がSKUスキャナを備えるレジで製品４１０を購入する場合、購入の記録が生成される。いくつかの実施形態において、購入記録は、例えば、人物４０５が棚から選択した製品（単数または複数）４１０が購入されている製品（単数または複数）４１０と合致するか否かを判定するために上記で表されたRFIDデータと比較され得る。人物４０５が出口の方へ進み、製品４１０が別のRFIDステーションの有効範囲内にあり、かくして規則が適用され得る追加のRFIDデータが生成される。１つの制限しない例として、製品４１０がその通常の棚の位置に近接するRFIDステーションから遠ざかることが最初に検出され、後に店を出ることが検出されるが、精算区域におけるRFIDステーションにより検出されていない、又は店舗販売時点情報管理装置により走査されていない場合、「万引き」の規則がトリガされ得る。
【００５７】
別の例として、RFIDサブシステムから受信されたデータに基づく規則は、「スタッフゾーン（stuff zone）」警報もトリガできる。「スタッフゾーン」は、泥棒が後で盗みをするつもりである製品を隠す店の区域である。例えば、RFIDステーションは、製品が属さない棚に、又は他の盗まれることが多い製品の近くの棚に製品が配置されていることを検出する場合、警報がトリガされ得る。次いで、警報は、他の警報、例えば棚に配置されている製品を最初に検知する、及び／又は監視されている区域について容疑者の追跡を開始するビデオ警報と組み合わされ得る。
【００５８】
上述したように、ビデオ及び／又はRFIDの有効範囲区域における空白は、ステーション及びカメラが、追跡されている対象物を現時点で検出している装置に隣接する動作区域を有することを知っている又は推論することによって、克服され得る。装置の隣接性は一般に、その装置に何らかの点ですぐ近くにある他のカメラ又はRFIDステーションを含む。「すぐ近く」は、例えば対象物の移動に基づいて対象物が最も進む可能性があるそれらのカメラを意味する。また、２つの装置は、１つのカメラ又はRFIDステーションにより記録された人物または対象物が短い時間期間内で他の装置に現れる（又は現れている）可能性が高い場合に、隣接性も考慮され得る。時間期間は瞬間、又は場合によっては遅延の後とすることができる。いくつかの実施形態において、ユーザは手動で隣接性を指定し、それにより任意であるように思われる隣接性が生成される。
【００５９】
また、隣接性は、実際の又はシミュレートされた又は双方の履歴データに基づいて求められ得る。一実施形態において、ユーザ活動が観察および測定され、例えば、対象物の進む可能性が高いカメラの視野またはRFIDステーションの範囲はどれかを、対象物の以前の移動に基づいて求める。別の実施形態において、カメラ画像は、シーンの活動に基づいて隣接性を求めるために、直接的に分析される。この場合、シーンの活動は、例えばトレーニングデータを用いて何らかの点で演出または抑制される。場合によっては、隣接性は、ユーザにより完全に又は部分的に指定され得る。いくつかの実施形態において、隣接性は、共同で所有され同時継続中の、「Method And System For Tracking And Behavioral Monitoring Of Multiple Objects Moving Through Multiple Fields-Of-View」と題する米国特許出願第１０／７０６，８５０号、「Computerized Method And Apparatus For Determining Field-Of-View Relationships Among Multiple Image Sensors」と題する米国特許出願第１０／６６０，９５５号、及び「Intelligent Camera Selection and Object Tracking」と題する米国特許出願第１１／３８８，７５９号に記載されたような複数のカメラの視野にわたる対象物の活動を連続的に相関させることにより計算され、これら特許文献のそれぞれは、参照によりそっくりそのまま本明細書に含められる。上記の特許文献に記載されているように、カメラ間および／またはカメラの副領域間の強い相関は、隣接性を暗示する傾向があり、発見的（ヒューリスティック）に求められた隣接性に加えて、ユーザは適切であると判断する場合に、手動で隣接性を追加または削除できる。
【００６０】
また、隣接性は、全体のシーンよりも細かい粒度で指定され得る。ビデオデータのウィンドウ枠内の副領域は、他のカメラの副領域またはRFIDステーションの動作半径に「隣接」するとみなされ得る。隣接するビューは、サイズ及び／又は形状の点で異なることができ、例えば、１つのビューの副領域が隣接するビューの全体であるように現れる、又はカメラの視野の副領域が隣接するカメラのビューを持たないが、１つ又は複数の隣接するRFIDステーションを有するように現れる。
【００６１】
ほとんどの場合、カメラ（或いはカメラの視野の副領域または上述されたようなRFIDステーション）は複数の隣接性を有し、隣接性は、関連性測定値に従って順序付けられ得る。関連性は、例えば、ビデオデータウィンドウ内にいる、又はRFIDステーションの有効区域内にいる人物または対象物が、主要なカメラ又はRFIDステーションに、又はそれら２つの組み合わせに隣接する特定のカメラ又はRFIDステーションに移行する確率を計算することにより判定され得る。各確率は等しいと考えられ得るか、又は代わりに確率を計算するために使用されるデータ量、確率の間の相関、又は他の係る尺度に基づいて重み付けされ得る。
【００６２】
図５Ａと図５Ｂを参照すると、監視環境（図４に示されるような）にわたる人物４０５と製品４１０の経路が、一連の副経路５０５、５１０、５１５、５２０、及び５２５として示されることができ、副経路の各々は、ビデオデータ、RFIDデータ、又は双方に基づいて決定される。例えば、人物４０５が店に入り、その人物が第１のカメラの視野に入る経路５０５において、その人物が最初に見つけられ、OBJECTIDを割り当てられる。その人物がその人物の経路上に存続する場合、カメラは、区域の不完全な有効範囲、動作不良、空間の物理的特性（例えば、カメラの視野をさえぎる一時的な展示品）又は他の理由に起因して人物４０５を見失う。人物４０５の画像は、別のカメラによる副経路５１０において、場合によっては同じカメラの異なる副領域において再捕捉される。人物が製品４１０に近づく場合、人物がカメラの視野内にとどまり、更にRFIDステーションは、人物４１０が製品４１０を運び去る際に製品４１０の移動を追跡する。ひとたび人物４０５及び製品４１０がカメラ及びRFIDステーションの範囲から外れると、各々に対するデータは受信されない。人物４０５が製品４１０を購入する場合、人物４０５は副経路５２５におけるビデオで再捕捉され、製品４１０は精算時に店舗販売時点情報管理装置により認識され、店の出口でRFIDステーションにより再び認識される。ビデオ、RFID、及び店舗販売時点情報管理データを組み合わせる能力のないこと、並びに監視環境の全体にわたって対象物の移動を予測する能力のないことは、時間と共に対象物の完全な経路を表さないバラバラな一組の副経路という結果になる。
【００６３】
RFIDデータ、店舗販売時点情報管理データ、及びビデオデータとの間の関連付け、並びに隣接性に基づいて可能性の高い経路を決定する方法に関連する上述の技術を用いて、図５Ｂに示されるように、人物４０５と製品４１０の完全な経路５３０が推論され得る。完成すると、窃盗防止、子供の安全性、及びその他に関する種々の規則が適用されることができ、トリガされる場合、適切な警報が適切な要員に提供される。
【００６４】
いくつかの実施形態において、これらの警報は、例えば、データ（例えば、「THEFT ALERT OF PRODUCT XYZ AT EXIT（出口における製品ＸＹＺの盗難警報）」）及びビデオ（例えば、疑わしい万引き犯人または迷子の写真）の双方を表示できる無線ハンドヘルド装置を用いて、店の保安要員が店を巡回する際の保安要員に対するリアルタイムな警報とすることができる。
【００６５】
ここで、追加の具現化形態および例示的な配備が説明される。
【００６６】
警報および探索処理
返品詐欺（即ち、盗まれた製品が現金化のために不正に戻される詐欺）は、多くの小売店の関心事である。以下の「従業員の返品詐欺」の例は、ビデオ監視システムとセンサネットワークモニタリングシステムの統合が、それぞれを他とは無関係に用いることから実現される利益よりも優れた利益を提供する１つの代表的な用途を示す。店の返品詐欺において、ある人（顧客または従業員）は、以前に盗まれた製品を現金に換えようとして、それを店に返品することを試みる。他の場合には、製品が店の棚から直接的に持ち去られ、不正なレシートを用いて即座に返品される。多くの従業員は不審な活動を検出するために訓練を受けているので、従業員は詐欺を見つけて返品を断ることができる場合が多い。
【００６７】
しかしながら、返品の大部分は詐欺ではなく、店の従業員が関与する場合には、従来のシステムを用いて返品詐欺を防止することは特に困難である。返品の処理に関するPOSデータストリームを見張ることは係る挙動を検出するための１つの手法であるが、この技術は、多大な時間を必要とし、且つ資源集約的であり、POSデータは返品処理の時に顧客の存在または欠如を示さない。しかし、顧客がレジにいるか否かを検出することができるビデオ監視システムとPOSデータを組み合わせることにより、統合されたシステムは、返品が不正か又は本物かをより正確に示すことができる。
【００６８】
特に、従業員の返品詐欺は一般に、顧客のいないPOSでの不正な返品処理により特徴付けられる。従って、２つの情報が一般に詐欺を自動的に検出するために必要とされ、即ち、（１）もしかすると不正な返品が処理された（又は処理されている）かもしれないか、及び（２）顧客がPOSにいるか否かである。ビデオ監視システム又はPOSネットワークは、双方の質問に単独で、完全で正確な答えを提供することはできない。例えば、ビデオ監視システムは一般に、処理されている取引が返品であるか否かを、又は仮にも処理が処理されているか否かでさえも判定することができない。POSネットワークは店で発生する返品処理を記録することができ、いくつかのPOSシステムは、他よりも不正である可能性が高いとして特定の返品処理を識別することができる特別な不正行為検出フィルタを含む。しかしながら、高度な不正行為検出を用いてさえも、従来のPOSシステムは、多数の誤った陽性反応を生成し、従業員の返品詐欺を顧客の返品詐欺から区別することができない。一方で、ビデオシステムとPOSシステムの双方からのデータを組み合わせる統合システムは、双方のチェックを行うことができ、本明細書で説明された規則に基づく手法を用いて、従業員の返品詐欺の事象がいつ発生したか、又は場合によってはリアルタイムの規則チェックを用いる実施形態では現在発生していることを検出できる。
【００６９】
例えば、図６を参照すると、ビデオ監視システムは、顧客領域６１５及びPOSステーション６２０の双方を含む、１つ又は複数のカメラ６０５に基づいたビデオ画像６００において、人の存否を検出することができる。「顧客領域」としてビデオの領域をマーキングすることにより、システムは、顧客の存在を検出（及びカメラの視野の異なる領域において一般に勘定台の後ろにいる顧客でない者と顧客を区別）することができる。
【００７０】
例えば、POSシステムは返品が行われたことを認識し、返品に関する情報（例えば、返品処理の時間、POSステーションのID、及び考えられる返品処理の詳細）がビデオ監視システムの警報処理モジュールに送信される。警報処理モジュールは対象となる警報をエンコードする多数の規則を適用し、従業員の返品詐欺の場合には、返品が処理される各POSステーションに対して規則が存在することができる。POSデータが警報処理モジュールに到達すると、１つ又は複数の規則を適用することにより、警報が生成されるべきか否かが判定される。いくつかの実施形態において、規則は別個のデータ格納モジュールに格納され、定期的に更新され得る。
【００７１】
規則に関して１つの考えられる形態は、ブール論理を使用する。一例として従業員の不正な返品を用いると、規則は、「if ((RETURN PROCESSED on POS #XXX) and (not (OBJECT PRESENT in region #YYY))) then ALERT」として表され得る。ここで、「XXX」は、各POSステーションに割り当てられた一意のID番号を表し、「YYY」はPOSステーションに対応する顧客領域に割り当てられた一意のID番号を表す。規則の定義、それ故にPOSステーションIDと領域IDとの関連付けは、システムのエンドユーザにより手動で、又は種々の機械学習および発見的技術を通じて自動的に策定され得る。
【００７２】
一般に、警報規則は、ブール論理（例えば、AND、OR、NOT演算子）を用いて基本の事象を互いに組み合わせる。基本の事象は、所与のセンサネットワークで検出され得る１つである。例えば、基本のPOS事象は、「RETURN PROCESSED」、「CASH DRAWER OPEN」、「ITEM zzz PURCHASED」等を含む。基本のビデオシステムの事象は、「OBJECT PRESENT」、「OBJECT MOVING」、「NUM OBJECTS > N」等を含む。基本のセキュリティシステムの事象は、「CARD #123456 SWIPED」、「DOOR OPEN」、「MOTION DETECTED」等を含む。基本のEAS事象の一例は、「TAG DETECTED」である。
【００７３】
基本の事象はブール論理でもって互いに組み合わされて、任意に複体（complex）とすることができる警報の式を生成することができる。規則は、１つ又は複数の警報の式からなることができる。全部の式が「真」を評価する場合、警報が生成される。例えば、EAS事象が検出された際に二人の人が店から出るか否かを検出するための警報を考察する。基本の事象は、「TAG DETECTED」及び「NUM OBJECTS > 2」である。双方が真である場合、警報が出される。そのため、複合式は「(TAG DETECTED on EAS #123) and (NUM OBJECTS > 2 in region #456)」である。前と同じように、一意のID番号を用いて、特定のEASペデスタルを適切なカメラの対象となる領域に関係付ける。
【００７４】
別の例として、警報は、アクセスの制限されたドアを１つの証明書を用いて入る二人の人（一般に、「ピギーバッキング」と呼ばれる）を検出することに基づいてトリガされ得る。警報の規則は、上記のEAS警報の規則と類似し、即ち、「if ((DOOR OPENED on DOOR #834) and (NUM OBJECTS > 2 in region #532)) then ALERT」である。
【００７５】
従業員の返品詐欺を検出することに類似して、顧客が存在せずにPOSステーションのキャシュドロアーが開けられた時を識別することは有用である場合が多い。係る事象は、従業員の窃盗を示す場合が多い。より複雑な規則の例として、この事象の検出は、双方の事例が１つの規則で検出され得るように、従業員の返品詐欺の規則と組み合わされ得る。即ち、「if (((RETURN PROCESSED on pos #XXX) or (CASH DRAWER OPENED on pos #XXX)) and (not (OBJECT PRESENT in region #YYY))) then ALERT」である。
【００７６】
上述された規則は、組み合わせて完全な警報規則言語を構成する規則の例を表す。例えば、規則は、事象に関する一時的な情報（例えば、或る時間期間にわたって事象が発生した場合に警報する）、連続した情報（例えば、この事象がその事象に続く場合に警報する）、事象の欠如（例えば、顧客が存在せずに販売の事象が発生する）、又は基本事象の任意の他の組み合わせを含むことができる。以上のことをまとめると、事象は、種々のセンサから検出されることができ、警報規則は、形式、構文（シンタックス）、又は構造に関係なく、事象の種々のタイプに作用するように定義され得る。
【００７７】
上述の警報は、監視システムのリアルタイム関数として表されるが、警報の状態が過去の或る時にトリガされたか否かを知ることも価値がある。POS、EAS、RFID及びビデオデータに関するメタデータを格納することにより、システムは格納されたデータを以前にさかのぼって走査することができ、リアルタイムの場合に使用されるものと同じアルゴリズムを適用して、過去に発生した不審な事象を探索することができる。
【００７８】
子供の安全性
場合によっては、小売店（例えば、商店、ショッピングセンター）で買い物をしている両親が、彼らの子供に関して更なるセキュリティの保証を願っている。このような場合に、子供が店に入る際にRFIDタグが子供に割り当てられ、その結果、子供が迷子になった際に迅速に場所を見つけることができる。場合によっては、ビデオ及びRFIDデータの組み合わせを用いて分離を検出するために、RFIDタグは親と子供の双方に配置され、親からかなり離れて子供がさまよっている場合に、システムは警報を知らせることができる。
【００７９】
滑って転ぶこと
また、規則は、即時の注意を必要とする潜在的に危険な状態が存在するという警報を生成するために使用され得る。例えば、ビデオサブシステムが、通路に落ちる何かを検出する場合、RFIDサブシステムを用いて、製品の特定の属性（例えば、こぼれることができる、ガラス、有毒など）を識別して、適切な要員に警報を出すことができる。
【００８０】
科学捜査的動作
ビデオ及びRFIDデータの組み合わせから収集され得る他の価値ある情報は、製品の購入に関する履歴データを探索して、マーケッティングの目的で顧客の層をより良く理解するために製品を購入した人のビデオ画像の集まりを要求する能力である。例えば、単にRFIDデータストリームを見るだけにより、何個の物が何時に購入されたかに関する統計値が求められ得る。ビデオから人の属性（例えば、人種、性別、年齢など）を識別できるビデオサブシステムからのデータとRFIDデータを組み合わせることにより、買い物客の挙動が観察されて分析されることが可能になる。
【００８１】
全般的な考察
方法が１つ又は複数のソフトウェアプログラムとして提供される実施形態に関して、プログラムは、FORTRAN、PASCAL、Java（Ｒ）、Ｃ、Ｃ＋＋、Ｃ＃、又はBASICのような多数の高レベル言語の任意の１つで書かれ得る。更に、ソフトウェアは、ターゲットコンピュータに常駐するマイクロプロセッサ向けのアセンブリ言語で実現されることができ、例えば、IBM PC又はPCクローンで動作するように構成されている場合、ソフトウェアはインテル８０ｘ８６アセンブリ言語で実現され得る。ソフトウェアは、以下に限定されないが、フロッピー（Ｒ）ディスク、ハードディスク、光ディスク、磁気テープ、PROM、EPROM、EEPROM、フィールドプログラマブルゲートアレイ、又はCD-ROMを含む製品で具現化され得る。
【００８２】
これらの実施形態において、ソフトウェアは、PC又はPC互換マシン、アップル社Macintosh（Ｒ）、Sunのワークステーションなどのような任意のタイプのパーソナルタイプコンピュータ又はワークステーションで動作するように構成され得る。一般に、特定のタイプのコンピュータ又はワークステーションが本発明の中枢をなすものではないので、本明細書で説明された機能と能力を実行することができる限り、任意のデバイスが使用され得る。
【図面の簡単な説明】
【００８３】
【図１】本発明の一実施形態による、複数のセンサネットワークからのデータを組み込む監視システムの実施形態のブロック図である。
【図２】本発明の種々の実施形態が実施され得る監視環境を図式的に示す図である。
【図３】本発明の一実施形態による監視システムを用いてキャプチャされたシーンを示す図である。
【図４】図２の監視環境にわたる或る人物の経路を図式的に示す図である。
【図５Ａ】図２の監視環境にわたる或る人物の経路を更に示す図である。
【図５Ｂ】本発明の一実施形態による、監視環境にわたる注釈付きの経路を示す図である。
【図６】本発明の一実施形態による、不審な挙動を視認して識別するためのユーザインターフェースの表示である。
【特許請求の範囲】
【請求項１】
環境の事象に基づいて警報を生成するためのシステムであって、
環境の少なくとも一部を表すビデオ信号を生成するための複数のカメラと、
前記環境内の対象物を識別するために前記ビデオ信号を分析するためのビデオ処理モジュールと、
少なくとも１つのセンサベースのモニタリングシステムからの非ビデオデータを受信するためのデータ入力モジュールであって、前記非ビデオデータが少なくとも１つの前記識別される対象物に関連した１つ又は複数の事象を表す、データ入力モジュールと、
少なくとも１つの事象に基づいて警報を生成するための警報モジュールとを含む、システム。
【請求項２】
前記少なくとも１つのセンサベースのモニタリングシステムが、店舗販売時点情報管理システムである、請求項１に記載のシステム。
【請求項３】
前記少なくとも１つのセンサベースのモニタリングシステムが、電子商品監視システムである、請求項１に記載のシステム。
【請求項４】
前記警報の根拠とされる、前記環境内の少なくとも１つの活動に関連する規則を格納するためのデータ格納モジュールを更に含む、請求項１に記載のシステム。
【請求項５】
前記少なくとも１つの活動が、前記識別される対象物、前記環境における事象、識別される対象物の無いこと、及び事象のないことのうちの１つ又は複数を含む、請求項４に記載のシステム。
【請求項６】
生成された警報を遠隔装置に送信するための通信モジュールを更に含む、請求項１に記載のシステム。
【請求項７】
前記遠隔装置が、ハンドヘルド無線受信機である、請求項６に記載のシステム。
【請求項８】
前記環境の視覚表示をレンダリングするための地理情報サービスモジュールを更に含む、請求項６に記載のシステム。
【請求項９】
前記環境の視覚表示が遠隔装置に送信される、請求項８に記載のシステム。
【請求項１０】
前記環境の視覚表示に注釈を付けることを更に含む、請求項９に記載のシステム。
【請求項１１】
前記注釈が、テキスト、色、方向の表示、及び速度の表示のうちの１つ又は複数を含む、請求項１０に記載のシステム。
【請求項１２】
環境内の活動を監視する方法であって、
前記環境の少なくとも一部を表す複数の画像信号を受信し、
前記画像信号内の対象物を識別し、
前記環境で発生している事象を表す非ビデオデータを受信し、及び
前記識別された対象物および前記事象に基づいて警報を生成することを含む、方法。
【請求項１３】
前記画像信号が複数のビデオカメラから受信される、請求項１２に記載の方法。
【請求項１４】
前記対象物が人である、請求項１２に記載の方法。
【請求項１５】
前記非ビデオデータが店舗販売時点情報管理システムから受信される、請求項１２に記載の方法。
【請求項１６】
前記非ビデオデータが電子商品監視システムから受信される、請求項１２に記載の方法。
【請求項１７】
前記警報が、前記環境内の活動に関連する規則に違反する、識別された対象物に基づいて生成される、請求項１２に記載の方法。
【請求項１８】
前記警報が、前記環境内の活動に関連する規則に違反する事象に基づいて生成される、請求項１２に記載の方法。
【請求項１９】
前記環境のグラフィック表示を生成することを更に含む、請求項１２に記載の方法。
【請求項２０】
地理情報システムデータ、色、テキスト、方向の表示、及び速度の表示のうちの１つ又は複数でもって前記環境のグラフィック表示に注釈を付けることを更に含む、請求項１９に記載の方法。
【請求項２１】
前記環境の注釈を付けられたグラフィック表示を遠隔装置に送信することを更に含む、請求項２０に記載の方法。
【請求項２２】
前記遠隔装置に送信することが、無線送信を含む、請求項２１に記載の方法。
【請求項２３】
視野をそれぞれ有する複数のカメラを含み、各視野が複数のカメラ副領域からなるビデオ監視サブシステムと、
動作半径内の無線ＩＣタグを検出できる複数のステーションを含む無線ＩＣタグサブシステムと、
１つ又は複数のカメラ副領域を前記無線ステーションの１つ又は複数の動作半径と関連付けるために、前記ビデオ監視サブシステム及び前記無線ＩＣタグサブシステムと通信する関連付けモジュールを含む、監視システム。
【請求項２４】
前記関連付けが、前記カメラ副領域と前記動作半径との間の位置的対応に基づく、請求項２３に記載のシステム。
【請求項２５】
前記カメラ副領域と前記ステーションの動作半径との間の前記関連付けが、前記ビデオ監視サブシステムによりキャプチャされたデータから推論される、請求項２４に記載のシステム。
【請求項２６】
前記ビデオ監視サブシステムによりキャプチャされたデータが、前記複数のカメラの間を移動する対象物の視覚表示を含む、請求項２５に記載のシステム。
【請求項２７】
前記ビデオ監視サブシステムによりキャプチャされたデータが、前記複数のカメラの複数の副領域の間を移動する対象物の視覚表示を含む、請求項２５に記載のシステム。
【請求項２８】
前記カメラ副領域と前記ステーションの動作半径との間の前記関連付けが、無線ＩＣタグサブシステムによりキャプチャされたデータから推論される、請求項２４に記載のシステム。
【請求項２９】
前記無線ＩＣタグサブシステムによりキャプチャされたデータが、前記ステーションの動作半径の間を移動する対象物に関連した空間的情報を含む、請求項２８に記載のシステム。
【請求項３０】
前記カメラ副領域と前記ステーションの動作半径との間の前記関連付けが、前記ビデオ監視サブシステム及び前記無線ＩＣタグサブシステムによりキャプチャされたデータから推論される、請求項２３に記載のシステム。
【請求項３１】
前記監視システムにより追跡されている対象物と関連した情報を格納するためのデータ格納モジュールを更に含む、請求項２３に記載のシステム。
【請求項３２】
前記情報が、前記対象物に関連する１つ又は複数の規則を含む、請求項３１に記載のシステム。
【請求項３３】
前記ビデオ監視サブシステム及び前記無線ＩＣタグサブシステムから受信されたデータに基づいて、前記監視システムにより追跡される対象物の物理的位置を時間順に表すための追跡モジュールを更に含む、請求項３１に記載のシステム。
【請求項３４】
前記ビデオ監視サブシステム及び前記無線ＩＣタグサブシステムが領域内で動作し、その領域が、前記カメラの視野および前記ステーションの動作半径の外側にある少なくとも１つの無効区域を含む、請求項３３に記載のシステム。
【請求項３５】
１つ又は複数の対象物が１つ又は複数の無効区域を通過する間に、前記追跡モジュールが、前記監視システムにより追跡されている１つ又は複数の対象物の位置を推論する、請求項３４に記載のシステム。
【請求項３６】
前記対象物が無効区域を通過する間に、前記追跡モジュールが、前記対象物の以前の既知の位置に基づいて、前記監視システムにより追跡されている対象物に対する次のカメラの位置を推論する、請求項３４に記載のシステム。
【請求項３７】
前記以前の既知の位置が、前記無線ＩＣタグサブシステム及び前記ビデオ監視サブシステムのうちの１つ又は複数から受信されたデータに基づく、請求項３６に記載のシステム。
【請求項３８】
前記データ格納モジュール及び前記追跡モジュールに応じて、１つ又は複数の規則と前記監視システムにより追跡されている１つ又は複数の対象物の物理的位置に関する地理的表示とを比較するための警報モジュールを更に含む、請求項３３に記載のシステム。
【請求項３９】
前記警報モジュールが、１つ又は複数の前記地理的表示により１つ又は複数の規則が破られたことを判定することに基づいて１つ又は複数の警報を生成する、請求項３８に記載のシステム。
【請求項４０】
前記警報を無線通信装置に送信するための通信モジュールを更に含む、請求項３９に記載のシステム。
【請求項４１】
前記カメラは、対象となっている対象物に焦点を合わせるように１つ又は複数のカメラに警報が更に命令するように、前記警報モジュールに応答する、請求項３９に記載のシステム。
【請求項４２】
前記カメラは、対象となっている区域に焦点を合わせるように１つ又は複数のカメラに警報が更に命令するように、前記警報モジュールに応答する、請求項３９に記載のシステム。
【請求項４３】
前記カメラは、対象となっている人物に焦点を合わせるように１つ又は複数のカメラに警報が更に命令するように、前記警報モジュールに応答する、請求項３９に記載のシステム。
【請求項４４】
前記ビデオ監視サブシステム及び前記無線ＩＣタグサブシステムが、互いに無関係に較正される、請求項２３に記載のシステム。
【請求項４５】
１つ又は複数の前記無線ステーションの動作半径と前記カメラ副領域との関連付けは、多数対多数の関連付けである、請求項２３に記載のシステム。
【請求項４６】
環境内の活動をモニタリングする方法であって、
複数の副領域からなる視野をそれぞれ有する複数のカメラにより生成された複数の画像信号を受信し、
複数の無線ステーションにより生成されたデータを受信し、前記データが前記環境内の対象物と関連付けられた複数の無線タグとの相互作用に基づいており、
１つ又は複数のカメラ副領域を前記ステーションの１つ又は複数の動作半径と関連付け、及び
前記複数のカメラの視野と前記複数のステーションの動作半径との間で複数の対象物が移動する際、較正とは関係なく、前記環境内の前記複数の対象物を追跡する、方法。
【請求項４７】
前記カメラ副領域と前記ステーションの動作半径との間の関連付けが、複数のカメラにより生成された前記複数のビデオ信号によりキャプチャされたデータから推論される、請求項４６に記載の方法。
【請求項４８】
複数のカメラにより生成された前記複数のビデオ信号が、前記複数のカメラの間を移動する対象物の視覚表示を含む、請求項４７に記載の方法。
【請求項４９】
複数のカメラにより生成された前記複数のビデオ信号が、前記複数のカメラの前記複数の副領域の間を移動する対象物の視覚表示を含む、請求項４７に記載の方法。
【請求項５０】
前記カメラ副領域と前記ステーションの動作半径との間の前記関連付けが、複数の無線ステーションにより生成されたデータから推論される、請求項４６に記載の方法。
【請求項５１】
前記複数の無線ステーションにより生成されたデータが、前記無線ステーションの動作半径の間を移動する対象物と関連した空間的情報を含む、請求項５０に記載の方法。
【請求項５２】
前記カメラ副領域と前記ステーションの動作半径との間の前記関連付けが、前記複数のカメラにより生成された前記複数のビデオ信号および前記複数の無線ステーションにより生成されたデータから推論される、請求項４６に記載の方法。
【請求項５３】
前記複数のカメラにより生成された前記複数のビデオ信号、及び前記複数の無線ステーションにより生成されたデータに基づいて、前記環境内の前記複数の対象物の物理的位置を時間順に表すことを更に含む、請求項４６に記載の方法。
【請求項５４】
前記対象物が１つ又は複数の無効区域を通過する間に、前記環境内の１つ又は複数の対象物の位置を推論することを更に含み、前記無効区域が、前記カメラの視野および前記ステーションの動作半径の外側にある、請求項４６に記載の方法。
【請求項５５】
前記対象物が無効区域を通過する間に、前記対象物の以前の既知の位置に基づいて、前記環境内の対象物に対する次のカメラの位置を推論することを更に含む、請求項４６に記載の方法。
【請求項５６】
前記以前の既知の位置が、前記複数のカメラにより生成された前記複数のビデオ信号、及び前記複数の無線ステーションにより生成されたデータに基づく、請求項５５に記載の方法。
【請求項５７】
１つ又は複数の規則を、前記環境内の前記複数の対象物の物理的位置に関する１つ又は複数の地理的表示に適用することを更に含む、請求項５３に記載の方法。
【請求項５８】
１つ又は複数の地理的表示により、１つ又は複数の前記規則が破られたことを判定した際に、１つ又は複数の警報を生成することを更に含む、請求項５５に記載の方法。
【請求項５９】
前記警報を無線通信装置に送信することを更に含む、請求項５８の方法。
【請求項６０】
前記警報が、前記環境内の対象となっている対象物に焦点を合わせるように１つ又は複数のカメラに更に命令する、請求項５８に記載の方法。
【請求項６１】
前記警報が、前記環境内の対象となっている区域に焦点を合わせるように１つ又は複数のカメラに更に命令する、請求項５８に記載の方法。
【請求項６２】
前記警報が、前記環境内の対象となっている人物に焦点を合わせるように１つ又は複数のカメラに更に命令する、請求項５８に記載の方法。
【請求項６３】
環境内の活動をモニタリングするためのコンピュータ可読プログラム部分が具現化された製品であって、前記製品は、
前記環境の少なくとも一部を表す複数の画像信号を受信し、
前記画像信号内の対象物を識別し、
前記環境において発生している事象を表す非ビデオデータを受信し、及び
前記識別された対象物および前記事象に基づいて警報を生成するためのコンピュータ可読命令を含む、製品。
【請求項１】
環境の事象に基づいて警報を生成するためのシステムであって、
環境の少なくとも一部を表すビデオ信号を生成するための複数のカメラと、
前記環境内の対象物を識別するために前記ビデオ信号を分析するためのビデオ処理モジュールと、
少なくとも１つのセンサベースのモニタリングシステムからの非ビデオデータを受信するためのデータ入力モジュールであって、前記非ビデオデータが少なくとも１つの前記識別される対象物に関連した１つ又は複数の事象を表す、データ入力モジュールと、
少なくとも１つの事象に基づいて警報を生成するための警報モジュールとを含む、システム。
【請求項２】
前記少なくとも１つのセンサベースのモニタリングシステムが、店舗販売時点情報管理システムである、請求項１に記載のシステム。
【請求項３】
前記少なくとも１つのセンサベースのモニタリングシステムが、電子商品監視システムである、請求項１に記載のシステム。
【請求項４】
前記警報の根拠とされる、前記環境内の少なくとも１つの活動に関連する規則を格納するためのデータ格納モジュールを更に含む、請求項１に記載のシステム。
【請求項５】
前記少なくとも１つの活動が、前記識別される対象物、前記環境における事象、識別される対象物の無いこと、及び事象のないことのうちの１つ又は複数を含む、請求項４に記載のシステム。
【請求項６】
生成された警報を遠隔装置に送信するための通信モジュールを更に含む、請求項１に記載のシステム。
【請求項７】
前記遠隔装置が、ハンドヘルド無線受信機である、請求項６に記載のシステム。
【請求項８】
前記環境の視覚表示をレンダリングするための地理情報サービスモジュールを更に含む、請求項６に記載のシステム。
【請求項９】
前記環境の視覚表示が遠隔装置に送信される、請求項８に記載のシステム。
【請求項１０】
前記環境の視覚表示に注釈を付けることを更に含む、請求項９に記載のシステム。
【請求項１１】
前記注釈が、テキスト、色、方向の表示、及び速度の表示のうちの１つ又は複数を含む、請求項１０に記載のシステム。
【請求項１２】
環境内の活動を監視する方法であって、
前記環境の少なくとも一部を表す複数の画像信号を受信し、
前記画像信号内の対象物を識別し、
前記環境で発生している事象を表す非ビデオデータを受信し、及び
前記識別された対象物および前記事象に基づいて警報を生成することを含む、方法。
【請求項１３】
前記画像信号が複数のビデオカメラから受信される、請求項１２に記載の方法。
【請求項１４】
前記対象物が人である、請求項１２に記載の方法。
【請求項１５】
前記非ビデオデータが店舗販売時点情報管理システムから受信される、請求項１２に記載の方法。
【請求項１６】
前記非ビデオデータが電子商品監視システムから受信される、請求項１２に記載の方法。
【請求項１７】
前記警報が、前記環境内の活動に関連する規則に違反する、識別された対象物に基づいて生成される、請求項１２に記載の方法。
【請求項１８】
前記警報が、前記環境内の活動に関連する規則に違反する事象に基づいて生成される、請求項１２に記載の方法。
【請求項１９】
前記環境のグラフィック表示を生成することを更に含む、請求項１２に記載の方法。
【請求項２０】
地理情報システムデータ、色、テキスト、方向の表示、及び速度の表示のうちの１つ又は複数でもって前記環境のグラフィック表示に注釈を付けることを更に含む、請求項１９に記載の方法。
【請求項２１】
前記環境の注釈を付けられたグラフィック表示を遠隔装置に送信することを更に含む、請求項２０に記載の方法。
【請求項２２】
前記遠隔装置に送信することが、無線送信を含む、請求項２１に記載の方法。
【請求項２３】
視野をそれぞれ有する複数のカメラを含み、各視野が複数のカメラ副領域からなるビデオ監視サブシステムと、
動作半径内の無線ＩＣタグを検出できる複数のステーションを含む無線ＩＣタグサブシステムと、
１つ又は複数のカメラ副領域を前記無線ステーションの１つ又は複数の動作半径と関連付けるために、前記ビデオ監視サブシステム及び前記無線ＩＣタグサブシステムと通信する関連付けモジュールを含む、監視システム。
【請求項２４】
前記関連付けが、前記カメラ副領域と前記動作半径との間の位置的対応に基づく、請求項２３に記載のシステム。
【請求項２５】
前記カメラ副領域と前記ステーションの動作半径との間の前記関連付けが、前記ビデオ監視サブシステムによりキャプチャされたデータから推論される、請求項２４に記載のシステム。
【請求項２６】
前記ビデオ監視サブシステムによりキャプチャされたデータが、前記複数のカメラの間を移動する対象物の視覚表示を含む、請求項２５に記載のシステム。
【請求項２７】
前記ビデオ監視サブシステムによりキャプチャされたデータが、前記複数のカメラの複数の副領域の間を移動する対象物の視覚表示を含む、請求項２５に記載のシステム。
【請求項２８】
前記カメラ副領域と前記ステーションの動作半径との間の前記関連付けが、無線ＩＣタグサブシステムによりキャプチャされたデータから推論される、請求項２４に記載のシステム。
【請求項２９】
前記無線ＩＣタグサブシステムによりキャプチャされたデータが、前記ステーションの動作半径の間を移動する対象物に関連した空間的情報を含む、請求項２８に記載のシステム。
【請求項３０】
前記カメラ副領域と前記ステーションの動作半径との間の前記関連付けが、前記ビデオ監視サブシステム及び前記無線ＩＣタグサブシステムによりキャプチャされたデータから推論される、請求項２３に記載のシステム。
【請求項３１】
前記監視システムにより追跡されている対象物と関連した情報を格納するためのデータ格納モジュールを更に含む、請求項２３に記載のシステム。
【請求項３２】
前記情報が、前記対象物に関連する１つ又は複数の規則を含む、請求項３１に記載のシステム。
【請求項３３】
前記ビデオ監視サブシステム及び前記無線ＩＣタグサブシステムから受信されたデータに基づいて、前記監視システムにより追跡される対象物の物理的位置を時間順に表すための追跡モジュールを更に含む、請求項３１に記載のシステム。
【請求項３４】
前記ビデオ監視サブシステム及び前記無線ＩＣタグサブシステムが領域内で動作し、その領域が、前記カメラの視野および前記ステーションの動作半径の外側にある少なくとも１つの無効区域を含む、請求項３３に記載のシステム。
【請求項３５】
１つ又は複数の対象物が１つ又は複数の無効区域を通過する間に、前記追跡モジュールが、前記監視システムにより追跡されている１つ又は複数の対象物の位置を推論する、請求項３４に記載のシステム。
【請求項３６】
前記対象物が無効区域を通過する間に、前記追跡モジュールが、前記対象物の以前の既知の位置に基づいて、前記監視システムにより追跡されている対象物に対する次のカメラの位置を推論する、請求項３４に記載のシステム。
【請求項３７】
前記以前の既知の位置が、前記無線ＩＣタグサブシステム及び前記ビデオ監視サブシステムのうちの１つ又は複数から受信されたデータに基づく、請求項３６に記載のシステム。
【請求項３８】
前記データ格納モジュール及び前記追跡モジュールに応じて、１つ又は複数の規則と前記監視システムにより追跡されている１つ又は複数の対象物の物理的位置に関する地理的表示とを比較するための警報モジュールを更に含む、請求項３３に記載のシステム。
【請求項３９】
前記警報モジュールが、１つ又は複数の前記地理的表示により１つ又は複数の規則が破られたことを判定することに基づいて１つ又は複数の警報を生成する、請求項３８に記載のシステム。
【請求項４０】
前記警報を無線通信装置に送信するための通信モジュールを更に含む、請求項３９に記載のシステム。
【請求項４１】
前記カメラは、対象となっている対象物に焦点を合わせるように１つ又は複数のカメラに警報が更に命令するように、前記警報モジュールに応答する、請求項３９に記載のシステム。
【請求項４２】
前記カメラは、対象となっている区域に焦点を合わせるように１つ又は複数のカメラに警報が更に命令するように、前記警報モジュールに応答する、請求項３９に記載のシステム。
【請求項４３】
前記カメラは、対象となっている人物に焦点を合わせるように１つ又は複数のカメラに警報が更に命令するように、前記警報モジュールに応答する、請求項３９に記載のシステム。
【請求項４４】
前記ビデオ監視サブシステム及び前記無線ＩＣタグサブシステムが、互いに無関係に較正される、請求項２３に記載のシステム。
【請求項４５】
１つ又は複数の前記無線ステーションの動作半径と前記カメラ副領域との関連付けは、多数対多数の関連付けである、請求項２３に記載のシステム。
【請求項４６】
環境内の活動をモニタリングする方法であって、
複数の副領域からなる視野をそれぞれ有する複数のカメラにより生成された複数の画像信号を受信し、
複数の無線ステーションにより生成されたデータを受信し、前記データが前記環境内の対象物と関連付けられた複数の無線タグとの相互作用に基づいており、
１つ又は複数のカメラ副領域を前記ステーションの１つ又は複数の動作半径と関連付け、及び
前記複数のカメラの視野と前記複数のステーションの動作半径との間で複数の対象物が移動する際、較正とは関係なく、前記環境内の前記複数の対象物を追跡する、方法。
【請求項４７】
前記カメラ副領域と前記ステーションの動作半径との間の関連付けが、複数のカメラにより生成された前記複数のビデオ信号によりキャプチャされたデータから推論される、請求項４６に記載の方法。
【請求項４８】
複数のカメラにより生成された前記複数のビデオ信号が、前記複数のカメラの間を移動する対象物の視覚表示を含む、請求項４７に記載の方法。
【請求項４９】
複数のカメラにより生成された前記複数のビデオ信号が、前記複数のカメラの前記複数の副領域の間を移動する対象物の視覚表示を含む、請求項４７に記載の方法。
【請求項５０】
前記カメラ副領域と前記ステーションの動作半径との間の前記関連付けが、複数の無線ステーションにより生成されたデータから推論される、請求項４６に記載の方法。
【請求項５１】
前記複数の無線ステーションにより生成されたデータが、前記無線ステーションの動作半径の間を移動する対象物と関連した空間的情報を含む、請求項５０に記載の方法。
【請求項５２】
前記カメラ副領域と前記ステーションの動作半径との間の前記関連付けが、前記複数のカメラにより生成された前記複数のビデオ信号および前記複数の無線ステーションにより生成されたデータから推論される、請求項４６に記載の方法。
【請求項５３】
前記複数のカメラにより生成された前記複数のビデオ信号、及び前記複数の無線ステーションにより生成されたデータに基づいて、前記環境内の前記複数の対象物の物理的位置を時間順に表すことを更に含む、請求項４６に記載の方法。
【請求項５４】
前記対象物が１つ又は複数の無効区域を通過する間に、前記環境内の１つ又は複数の対象物の位置を推論することを更に含み、前記無効区域が、前記カメラの視野および前記ステーションの動作半径の外側にある、請求項４６に記載の方法。
【請求項５５】
前記対象物が無効区域を通過する間に、前記対象物の以前の既知の位置に基づいて、前記環境内の対象物に対する次のカメラの位置を推論することを更に含む、請求項４６に記載の方法。
【請求項５６】
前記以前の既知の位置が、前記複数のカメラにより生成された前記複数のビデオ信号、及び前記複数の無線ステーションにより生成されたデータに基づく、請求項５５に記載の方法。
【請求項５７】
１つ又は複数の規則を、前記環境内の前記複数の対象物の物理的位置に関する１つ又は複数の地理的表示に適用することを更に含む、請求項５３に記載の方法。
【請求項５８】
１つ又は複数の地理的表示により、１つ又は複数の前記規則が破られたことを判定した際に、１つ又は複数の警報を生成することを更に含む、請求項５５に記載の方法。
【請求項５９】
前記警報を無線通信装置に送信することを更に含む、請求項５８の方法。
【請求項６０】
前記警報が、前記環境内の対象となっている対象物に焦点を合わせるように１つ又は複数のカメラに更に命令する、請求項５８に記載の方法。
【請求項６１】
前記警報が、前記環境内の対象となっている区域に焦点を合わせるように１つ又は複数のカメラに更に命令する、請求項５８に記載の方法。
【請求項６２】
前記警報が、前記環境内の対象となっている人物に焦点を合わせるように１つ又は複数のカメラに更に命令する、請求項５８に記載の方法。
【請求項６３】
環境内の活動をモニタリングするためのコンピュータ可読プログラム部分が具現化された製品であって、前記製品は、
前記環境の少なくとも一部を表す複数の画像信号を受信し、
前記画像信号内の対象物を識別し、
前記環境において発生している事象を表す非ビデオデータを受信し、及び
前記識別された対象物および前記事象に基づいて警報を生成するためのコンピュータ可読命令を含む、製品。
【図１】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６】
【公表番号】特表２００９−５０７２９５（Ｐ２００９−５０７２９５Ａ）
【公表日】平成２１年２月１９日（２００９．２．１９）
【国際特許分類】
【出願番号】特願２００８−５２９００８（Ｐ２００８−５２９００８）
【出願日】平成１８年５月３１日（２００６．５．３１）
【国際出願番号】ＰＣＴ／ＵＳ２００６／０２１０８７
【国際公開番号】ＷＯ２００７／０３０１６８
【国際公開日】平成１９年３月１５日（２００７．３．１５）
【出願人】（５０６０８５０７７）インテリヴィド コーポレイション (5)
【Ｆターム（参考）】
【公表日】平成２１年２月１９日（２００９．２．１９）
【国際特許分類】
【出願日】平成１８年５月３１日（２００６．５．３１）
【国際出願番号】ＰＣＴ／ＵＳ２００６／０２１０８７
【国際公開番号】ＷＯ２００７／０３０１６８
【国際公開日】平成１９年３月１５日（２００７．３．１５）
【出願人】（５０６０８５０７７）インテリヴィド コーポレイション (5)
【Ｆターム（参考）】
[ Back to top ]