ビデオ分析およびデータ分析／マイニングを統合するためのシステムおよび方法
モニタされた施設において、潜在的な不審な挙動を検出する方法およびシステムである。モニタされた施設には、少なくとも１つの取引時点端末を含む。モニタされた施設で行われている活動のビデオコンテンツと、取引端末で処理される取引に関連する取引データが回収される。ビデオコンテンツを、取引データと相関させ、相関したデータを生成する。ユーザ定義の規則一式を、相関したデータに適用する。相関したデータと、ユーザ定義の規則一式のうちの少なくとも１つの規則との整合の特定に応じて、取引が潜在的に不審であるということを判断する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して、ビデオを分析するためのシステムおよび方法に関し、より具体的には、ビデオおよびデータ分析の両方の長所を活用する、ビデオ分析およびデータ分析／データマイニングを統合するためのシステムおよび方法に関する。
【背景技術】
【０００２】
ビデオ監視および分析の使用は、小売店での万引きおよび盗難を抑止する上で一般的になってきた。しかし、小売および他の場面において、人間が効果的かつ効率的に管理するためのセキュリティおよびビジネスオペレーションから回収されているデータおよびビデオがあまりにも多すぎることがしばしばある。厳しい予算や人員を制限する上でのプレッシャーにより、負担はさらに大きくなる。事業体は、例外、パターン、および／または変則的な挙動を判断することができるように、データをフィルタおよびマイニングするツールが必要である。さらに、自分自身または顧客の利益のためのレジ係の「馴れ合い」取引（スキャナの抜け道を通す）から、多くの発生および多くの場所にわたり一緒に作業する組織化された犯罪グループにわたる、より多くの巧みな共謀の脅威が存在する。
【０００３】
販売時点管理等の店舗システムから利用可能なデータの分析に基づくソリューションにより、ビジネスオペレーションの観点からこれらの問題を対処および管理し、懸念領域を示す異常な挙動のパターンを特定しようとしてきた事業体もある。これらのソリューションの改善としては、これらのパターンに、状況の視覚的な検証を提供するビデオ監視システムからのビデオクリップをトリガさせることが挙げられる。そのあるレベルの異常な挙動が、他のトリガと無関係なシーンで視覚的に検出され、ビジネスオペレーションにおける戦略を実現するために使用することができるように、ビデオ監視システムからのビデオを分析するためのコンピュータアルゴリズムを使用して、セキュリティの観点からこの問題に臨んできた事業体もある。
【０００４】
このビジネスデータのみの手法は、いくつかの理由により失敗する。状況を特徴付けるデータは、店舗システムの抜け道を通っている可能性があるので、利用可能ではない場合がある。また、データシステムは、イベントのマイニングの後となる傾向があり、これは、リアルタイム／時間依存性の警報および通知に対応するその能力を制限する。上に記載したデータシステムの制限、およびデータトリガでのビデオクリップ再生の依存を考慮すると、この向上もまた失敗してきた。単独のビデオ分析は、誤認アラームとなる傾向がある、または信頼するには不十分な精度レベルになる可能性があるので、問題がある。また、これらの配置には、異常を検出するためのイベント設定／規則の定義が必要となる傾向があり、これらのパターンは、前もって理解することができない。
【０００５】
したがって、ビデオおよびデータ分析の両方の長所を活用して、これまでのソリューションでの制限を補う、ビデオ分析およびデータ分析／データマイニングを統合するためのシステムおよび方法が必要である。また、ビジネスおよびオペレーショナルインテリジェンスを、施設への出入り時点、販売およびサービス時点、ならびに内部および外部全体を通した業務に提供することができる、統合ソフトウェアも必要である。
【発明の概要】
【０００６】
本発明は有利に、ビデオ分析技術を、データ分析技術と統合して、管理職員の注意を要する潜在的に不審な挙動およびイベントをより正確に特定するための、方法およびシステムを提供する。一般的に言うと、本発明は、販売時点管理レジスタで回収されたデータを使用して、小売店または倉庫等の施設をモニタし、ビデオモニタリングシステムによって同時に検出された物体およびイベントをより正確に認識するための、方法およびシステムを提供する。
【０００７】
本発明の一態様は、モニタされた施設において、潜在的に不審な挙動を検出するための方法を含む。モニタされた施設で行われている活動のビデオコンテンツ、および取引時点端末で処理される取引に関連する取引データを回収する。ビデオコンテンツを、取引データと相関付けて、相関したデータを生成する。ユーザ定義の規則一式を相関したデータに適用する。相関したデータと、ユーザ定義の規則一式のうちの少なくとも１つの規則との整合の特定に応じて、取引が潜在的に不審であるということを判断する。
【０００８】
本発明の別の態様は、モニタされた施設で行われている活動を自動的に特定する方法を含む。モニタされた施設で行われている活動のビデオコンテンツを回収する。ビデオコンテンツを、物体認識技術を使用して、ビデオ分析規則一式を回収されたビデオ情報に適用することによって、分析する。販売施設内の少なくとも１つの取引時点端末によって処理された１つ以上の取引に関連する取引データも回収する。ビデオコンテンツがビデオ分析規則一式のうちの少なくとも１つのビデオ分析規則に一致するという判断に応じて、ビデオコンテンツを、取引データと相関付けて、相関した取引データを生成する。
【０００９】
本発明の別の態様によると、モニタされた施設で行われている活動を分析するためのシステムは、ビデオ分析システムと、データ分析システムと、統合サーバと、を含む。統合サーバは、ビデオ分析システムおよびデータ分析システムに通信可能に連結される。モニタされた施設は、少なくとも１つの販売時点レジスタを含む。ビデオ分析システムは、モニタされた施設で行われている活動のビデオコンテンツを回収する。データ分析システムは、少なくとも１つの取引時点端末によって処理された１つ以上の取引に関連する取引データを回収する。統合サーバは、ビデオコンテンツを取引データに相関付けて、相関したデータを生成する。統合サーバはまた、ユーザ定義の規則一式を相関したデータに適用し、相関したデータと、ユーザ定義の規則一式のうちの少なくとも１つの規則との整合を特定する。
【図面の簡単な説明】
【００１０】
本発明、ならびにその利点、および特長は、下記の詳細な説明とともにそれに伴う図面を参照することにより完全に理解することができ、図面は下記のようになる。
【図１】本発明の原理に従って構築された、例示的なビデオおよびデータ分析システムのブロック図である。
【図２】本発明の原理に従って構築された、例示的なビデオおよびデータモニタリング時点のブロック図である。
【図３】本発明の原理に従って実行される例示的な返品取引プロセスのフローチャートである。
【図４】本発明の原理に従って実行される、例示的な現金無効取引プロセスのフローチャートである。
【図５】本発明の原理に従って実行される、例示的な顧客計数プロセスのフローチャートである。
【図６】本発明の原理に従って実行される、取引例外をインデックス付きビデオに自動的にリンクするための、例示的なプロセスのフローチャートである。
【図７】本発明の原理に従って実行される、例示的な列時間測定プロセスのフローチャートである。
【図８】本発明の原理に従って実行される、取引検出プロセスを含まない、ビデオ分析によって検出される、例示的な現金入れ引出しが開いている場合のフローチャートである。
【図９】本発明の原理に従って実行される、販売時点（「ＰＯＳ」）規則を設定し、例外を生成するための例示的なプロセスのフローチャートである。
【図１０】本発明の原理に従って実行される、ユーザ定義が可能なビデオ規則を設定し、警報を発生するための例示的なプロセスのフローチャートである。
【図１１】本発明の原理に従って実行される、ユーザ定義が可能な店舗データとビデオ規則の組み合わせを設定するための例示的なプロセスのフローチャートである。
【図１２】本発明の原理に従って実行される、例示的なレポートプロセスのフローチャートである。
【発明を実施するための形態】
【００１１】
本発明に従う、詳細な例示的な実施形態を説明する前に、実施形態は、主として、ビデオを分析して、ビデオ分析をデータ分析／データマイニング技術と統合することによって、アラーム条件の存在を判断するためのシステムおよび方法の実現に関連する、機器の構成要素と処理ステップとの組み合わせであることに留意されたい。したがって、該システムおよび方法の構成要素は、図面において、従来の記号によって適切な場所に表示され、本明細書の説明の利益を得る当業者に容易に明らかである詳細によって、本開示を不明確にしないように、本発明の実施形態の理解に関するそれらの特定の詳細を示すに過ぎない。
【００１２】
本明細書で使用する、「第１の」および「第２の」、「上」および「下」等の関係語は、かかる実体または要素間の、いかなる物理的もしくは論理的関係、あるいは順序を必然的に要求または暗示することなく、ある実体または要素を、別の実体または要素と区別するためのみに使用できる。
【００１３】
本発明の一実施形態は有利に、ビデオ分析およびデータ分析／データマイニング技術の組み合わせを使用して、ビデオを分析するための方法およびシステムを提供する。一実施形態において、本発明は、例えば、クライアント／ブラウザ等のユーザインターフェイスと、管理および分析構成要素と、レポート能力と、から構成される、ソフトウェアを含み得る。先端部に内蔵された分析部を備えるビデオシステムと、デジタルビデオレコーダ（「ＤＶＲ」）のビデオストレージまたは他のストレージ装置と、小売取引データ装置もまた含み得る。
【００１４】
別の実施形態において、ユーザインターフェイスは、ユーザが、設定および規則、プレイベントの定義、ならびに、事後にデータおよびビデオのマイニングを実行するのを可能にする。ビデオおよびデータシステムは、ともにネットワーク接続され、データベース送信およびクエリ、ならびにアプリケーションプログラムインターフェイスを介して通信できる。ビデオおよびデータ分析ノードは、内蔵型、分散型で、それら自身の分析を処理する能力を有し、かつ処理したメタデータをシステムデータベースに転送する場合がある。
【００１５】
本発明の極めて多彩な実施形態は、新しいあらかじめパッケージ化され、かつ顧客定義の規則、ならびに重要業績指標（「ＫＰＩ」）と呼ばれる業務の測定基準の追加を可能とする。顧客の問題および機会を理解することによって、該システムは、有効な規則およびＫＰＩを作成するための基本である使用事例を定義するために使用することができる。
【００１６】
該システムは、リアルタイムで警報をトリガし、ならびに事後のデータおよび挙動のパターンをマイニングして両方の情報源を組み合わせ、より複雑かつ広範な使用事例に対処する能力を高めるようにプログラム可能なものであり得る。該システムはまた、以下の包括的な組み合わせにおいて、ビデオ分析およびデータ分析からのトリガを組み合わせるようにプログラム可能なものであり得る。その組み合わせとは、データ分析トリガ―ビデオ検証、ビデオ分析トリガ―データ検証、データ分析トリガ―ビデオ分析検証、ビデオ分析トリガ―データ分析検証である。
【００１７】
ここで図面（同様の参照番号は、同様の要素を指す）を参照すると、図１には、本発明の原理に従って構築された、ビデオおよびデータ分析の両方の長所を活用する、ビデオ分析およびデータ分析／データマイニングを統合するための例示的なビジネスインテリジェンスシステム１０が示される。ビジネスインテリジェンスシステム１０は、企業全体規模のビデオソリューション、および小売業務全般におけるより広範な使用事例を指示するように構成され得る。
【００１８】
ビジネスインテリジェンスシステム１０は、ビデオ分析サブシステム１２を、データ分析サブシステム１４と組み合わせ、不審な活動および店舗／倉庫管理イベントをモデル化および検出する。ビデオ分析サブシステム１２は、１つ以上のビデオカメラ１６（１つを図示）と、ビデオレコーダ１８と、ビデオエンジン２０と、ビデオ制御器２２と、ビデオシステムインターフェイス２４と、を含むことができる。ビデオカメラ１６は、局所視点領域内の活動の画像を捕捉し、その画像をビデオレコーダ１８および／またはビデオエンジン２０に転送する。ビデオレコーダ１８は、後のリコールのために、捕捉した画像にタイムスタンプを付加し、保存し得る。ビデオエンジン２０は、捕捉した画像で物体認識／検出機能を実行し、ビデオカメラ１６によって捕捉された画像が、設定規則に従って判断される条件をみたすかどうかを判断する。ビデオエンジン２０の機能は、ビデオレコーダ１８に保存されたビデオに加え、ライブビデオの処理を可能にするように、ビデオカメラ１６または他の終端装置に内蔵することができることに留意されたい。さらに、タイムスタンプの付加もまた、ビデオカメラ１６または何らかの他の媒介装置によって実行することができる。ビデオ制御器２２は、どのビデオカメラ１６が有効か、それぞれのビデオカメラ１６に対するパン、チルト、アングル、およびズーム設定、要求されたビデオセグメントの再生等の、ビデオシステムの基本設定を制御する。ビデオシステムインターフェイス２４は、ユーザが、ビデオ分析サーバ２０に対して規則および条件を設定し、再生のための特定のビデオセグメントを選択することを可能にする。
【００１９】
ビデオ分析サブシステム１２のそれぞれの構成要素は、ローカルレベルで、ビデオ分析サブシステム１２の他の構成要素に直接連結され得る。代替として、および／または追加で、ビデオ分析サブシステム１２の各構成要素は、ビデオ分析サブシステム１２、データ分析サブシステム１４、ネットワーククライアント２６の他の構成要素、および／またはローカルエリアネットワーク（「ＬＡＮ」）（図示せず）またはワイドエリアネットワーク（「ＷＡＮ」）２８を介して他の場所にリンクさせることができる。さらに、ビデオ分析サブシステム１２の構成要素は、システム１０の他の構成要素内に同置または内蔵することができる。例えば、ビデオシステムインターフェイス２４は、ウェブブラウザ、または既存のデータ分析および／またはビデオソフトウェアアプリケーションのプラグインとして、ネットワーククライアント２６上に実装することができる。
【００２０】
データ分析サブシステム１４は、モニタされた施設内の取引に関連する情報を回収するための取引時点端末３０を含む。取引時点端末３０は、精算時に実行される販売取引に関連する情報を回収するための販売時点（「ＰＯＳ」）レジスタであってもよい。取引時点端末３０は、データエンジン３２でデータを送信するための通信インターフェイスを含み得る。データエンジン３２は、１つ以上のＰＯＳレジスタ３０から完了した、開始された、または無効となった取引に関するデータを受信する。データ分析サーバ３２は、取引データを分析して、いずれかの取引または取引群が、設定規則に従って判断された条件を満たすかどうかを判断し、ポストイベントマイニングも行う。データ分析システムインターフェイス２４は、ユーザが、データエンジン３２に対し、規則および条件を設定し、レポートを生成および表示することを可能にする。
【００２１】
統合サーバ３６は、ビデオエンジン２０およびデータエンジン３２の要素を組み合わせて、取引時点端末３０で行われている取引イベントを、ビデオエンジン２０によって検出された物体の認識と相関付ける。統合サーバ３６は、ビデオエンジン２０および／またはデータエンジン３２を含み得る。さらに、データ分析システムインターフェイス２４およびビデオシステムインターフェイス２４を組み合わせて、ネットワーククライアント２６に配置される、単一のユーザインターフェイス（すなわち、ダッシュボード）にしてもよい。ダッシュボードを使用して、ユーザは、ビデオ分析システム１２からの１つ以上の規則を、データ分析システム１４からの１つ以上の規則と組み合わせ、非常に特定されたイベントがいつ行われたかを精密に判断するための統合サーバ３６に対する規則一式を作成することができる。さらに、システム１０は、オペレーションの必要性に重要な、表示およびレポートのみへのアクセスを可能にするために、各ユーザタイプのためのダッシュボードを含み得る。
【００２２】
統合サーバ３６は、スタンドアロン型であってもよく、またはいかなるアプリケーションサーバであることも可能である。リアルタイムイベントのための統合サーバ３６はまた、データエンジン３２と同一のハードウェアサーバ、または専用アプリケーションサーバのいずれかに、中心的な企業レベルで配置することが可能である。ビジネスインテリジェンスシステム１０は、すべての構成要素で、時間を同期することが可能であるべきである。
【００２３】
ビジネスインテリジェンスシステム１０は、局所的な店舗／場所、中心的な企業オフィス、またはワイドエリアネットワーク２８を介して接続されたこれらの組み合わせで実現することができる。ワイドエリアネットワーク１６は、インターネット、イントラネット、または他の通信ネットワークを含み得る。通信ネットワークは、図１においてＷＡＮとして図示されているが、本発明の原理は、パーソナルエリアネットワーク（「ＰＡＮ」）、ローカルエリアネットワーク（「ＬＡＮ」）、キャンパスエリアネットワーク（「ＣＡＮ」）、メトロポリタンエリアネットワーク（「ＭＡＮ」）等の、他の形態の通信ネットワークに適用することもできる。
【００２４】
システム１０全体は非常に複雑である可能性があるが、日々の使用は極めてユーザフレンドリかつ分かりやすい。システム１０は有利に、使いやすいビデオシステムインターフェイス２４と、データ分析システムインターフェイス３４と、データを分析し、警報およびパターンを支援する、ライブビデオまたは保存されたビデオを表示するためのレポートパッケージと、を提供する。
【００２５】
ここで図２を参照すると、例示的な局所的な小売施設３８のレイアウトが示されており、これは、本発明の原理に従う、潜在的なビデオモニタリングの場所、およびデータ回収位置を詳述する。図２は小売施設を示すが、本発明はこれに限定されない。倉庫、または商品もしくは資産が出入りする他の場所等の、いかなるモニタされた施設も、本発明によって実現および支援することができることが想定される。システム１０はプログラム可能なものであり、かつビジネスおよびオペレーションインテリジェンスを、モニタされた施設の内部および外部全体を通しての、業務施設出入り時点４０、精算の列４２または顧客サービス入り口４４等の販売時点（すなわち、取引）、サービス時点４６、ならびに選択時点４８に提供することができる。
【００２６】
図３において、実際の顧客の存在がないのに返品取引が発生したことを判断する際に実行されるステップを説明する、例示的なオペレーションのフローチャートを提供する。一実施形態において、該プロセスは、店舗管理者または損失防止（「ＬＰ」）専門家が、ＰＯＳカウンタの前に顧客がいない間に返品が発生した際に、リアルタイムでモニタすることを可能にする。少なくとも１つのビデオカメラ１６は、所与のＰＯＳレジスタ３０周辺の領域をモニタしていなければならない。返品取引がＰＯＳレジスタ３０で処理された場合（ステップＳ１００）、データエンジン３２は、返品取引に関するＰＯＳデータを受信する（ステップＳ１０２）。データは、例えば、ＰＯＳレジスタに対する識別子、取引のタイプ、取引の時間、取引を行っている従業員の名前または他の識別子、取引金額等を含み得る。データエンジン３２は、ビデオエンジン２０からの視覚的な検証を要求する（ステップＳ１０４）。
【００２７】
ビデオエンジン２０は、ＰＯＳレジスタの前にいる顧客の数を数えようとする（ステップＳ１０６）。ビデオエンジン２０が顧客を数えるのに使用不可である場合は、その取引に「顧客数不明」のフラグを立てる（ステップＳ１０８）。例えば、突然の照明変化、非常に薄暗い照明、ビデオの質の悪さ、画像内の強烈なまぶしさ、カメラモーション等のある環境条件によって、ビデオエンジン２０が、正確な顧客数を判断することができなくなる場合がある。「顧客数不明」のフラグが立てられたすべての取引は、不審な活動を構成し得、取引の詳細は、後のさらなる再調査のため、レポートに含まれ得る。
【００２８】
ビデオエンジン２０が、ゼロに等しくない顧客数を返した場合（ステップＳ１１０）、これは、少なくとも１人の顧客が、精算カウンタにいることを示し、この取引が適切であると見なされ（ステップＳ１１２）、さらなるアクションは行われない。しかし、ビデオエンジン２０が、ゼロに等しい顧客数を返した場合（ステップＳ１１０）、これは、精算カウンタにいる顧客はいないことを示し、「返品不正」のアラームを発生し（ステップＳ１１４）、返品取引にフラグを立てる。アラームは、ダッシュボード上に表示、データベースに保存、ビデオレコーダ１８に送信、および／またはビデオ分析システム１２のイベントハンドラに送信することができる。ユーザが対応するビデオを再生したい場合、ユーザは、単にダッシュボードからアラームインジケータを選択し、その後ビデオが再生され、「表示済み」とフラグが立てられる。すべてのフラグを立てられた取引は、ポストイベントマイニングに利用可能である。
【００２９】
ここで図４を参照すると、実際の顧客がいないのに、現金取引が無効になったことを判断する際に実行されるステップを説明する、例示的なオペレーションのフローチャートを提供する。上に記載の事例のように、少なくとも１つのビデオカメラ１６は、所与のＰＯＳレジスタ３０周辺の領域をモニタしていなければならない。ＰＯＳレジスタ３０で現金取引が無効になる際（ステップＳ１２０）、データエンジン３２は、現金取引に関するＰＯＳデータ（ステップＳ１２２）を受信する。データエンジン３２は、ビデオエンジン２０からの視覚的な検証を要求する（ステップＳ１２４）。ビデオエンジン２０は、ＰＯＳレジスタの前にいる顧客の数を数えようとする（ステップＳ１２６）。ビデオエンジン２０が顧客を数えるのに使用不可である場合は、現金無効取引に「顧客数不明」のフラグを立てる（ステップＳ１２８）。「顧客数不明」のフラグが立てられたすべての取引は、不審な活動を構成し得、取引の詳細は、後のさらなる再調査のため、レポートに含まれ得る。
【００３０】
ビデオエンジン２０が、ゼロに等しくない顧客数を返した場合（ステップＳ１３０）、これは、少なくとも１人の顧客が、精算カウンタにいることを示し、この取引が適切であると見なされ（ステップＳ１３２）、さらなるアクションは行われない。しかし、ビデオエンジン２０が、ゼロに等しい顧客数を返した場合（ステップＳ１１０）、これは、精算カウンタにいる顧客はいないことを示し、「現金無効後不正」のアラームを発生し（ステップＳ１３４）、現金無効取引にフラグを立てる。返品不正の事例のように、アラームは、ダッシュボード上に表示、データベースに保存、ビデオレコーダ１８に送信、および／またはビデオ分析システム１２のイベントハンドラに送信することができる。ユーザが対応するビデオを再生したい場合、ユーザは、単にダッシュボードからアラームインジケータを選択し、その後ビデオが再生され、「表示済み」とフラグが立てられる。すべてのフラグを立てられた取引は、ポストイベントマイニングに利用可能である。
【００３１】
ここで図５を参照すると、ある期間にわたって、店舗に出入りする人の数を数え、通信量の多い期間またはネットワークの占有率が高い期間を検出する際に実行されるステップを説明する、例示的なオペレーションのフローチャートが提供される。一実施形態において、この情報を、販売および人材配置システムからのデータを組み合わせて、店舗の人材配置および販売変換計算のためのピーク値とトラフ値を判断する。少なくとも１つのビデオカメラ１６は、店舗のそれぞれの入り口および／または出口をモニタしていなければならない。
【００３２】
ダッシュボードを使用して、ユーザは、人物計数機能の開始を要求し、計数のためのタイムフレームを指定する。統合サーバ３６は、人物計数の要求を受信し（ステップＳ１４０）、ビデオエンジン２０に、既定のタイムフレームの間に、店舗に入るおよび／または出るのを撮影された人物の数を数えるように指示を出す（ステップＳ１４２）。データエンジン２０は、既定のタイムフレームの間に行われる取引の数、および取引の総額を判断する（ステップＳ１４４）。結果のレポートを作成し（ステップＳ１４６）、レポートを視覚的に表現したものをダッシュボードに表示する。
【００３３】
ここで図６を参照すると、取引の例外（すなわち、不審な活動を潜在的に含むとしてフラグを立てられたイベント）に対応する、録画されたビデオを再生する際に実行されるステップを説明する、例示的なオペレーションのフローチャートが提供される。統合サーバ３６は、取引の例外（ステップＳ１４８）に対応するビデオの要求を受信する。統合サーバ３６は、対応するビデオを、ビデオ録画システム１８から取り出し（ステップＳ１５０）、例えば、ダッシュボードを使用して、ネットワーククライアントインターフェイス２６で、要求されたビデオ（ステップＳ１５２）を再生する。
【００３４】
図７は、精算の列の継続期間を測定する際に実行されるステップを説明する、例示的なオペレーションのフローチャートを提供する。一実施形態において、本発明は、店舗管理者または他の企業運営職員が、精算を待つ列が規定の閾値よりも長い、または待ち時間が規定の閾値よりも長い場合を特定し、対応するＰＯＳデータを取り出すことを可能にする。この機能により、ユーザは、誰かが大きな買い物をした時、開いている精算レジスタの数が不十分等、遅延を生じる潜在要因を調査することが可能になる。
【００３５】
物体認識アルゴリズムを使用するビデオエンジン２０は、精算の列、または精算の列で費やす期間が既定の閾値よりも長いことを判断する（ステップＳ１５４）。アラームが、ネットワーククライアントインターフェイス２６およびビデオレコーダ１８に送信される（ステップＳ１５６）。アラームは、例えば、ネットワーククライアントインターフェイス２６のイベントハンドラ、またはビデオ制御器２２のアラームリストに表示することができる。統合サーバ３６は、アラーム時に発生する取引データを要求するアラーム情報要求を受信する（ステップＳ１５８）。アラーム情報要求は、例えば、ネットワーククライアントインターフェイス２６に表示されるアラームをユーザがクリックすることによって開始され得る。データエンジン３２は、アラーム期間中に発生した取引の一覧を出力する（ステップＳ１６０）。一覧は、ネットワーククライアントインターフェイス２６に表示するか、物理コピーに印刷することができる。
【００３６】
ここで図８を参照すると、現金レジスタの引出しが、潜在的に、不適切にあけられたかどうかを判断するために実行されるステップを説明する、例示的なオペレーションのフローチャートが提供される。ビデオエンジン２０は、現金入れ引出しが開いているのを検出する（ステップＳ１６２）。統合サーバ３６は、いずれかの取引が行われたかどうかを検証するように、データエンジン３２および／または取引時点端末３０に問い合わせを送信する（ステップＳ１６４）。取引が行われていた場合（ステップＳ１６６）、アラームは必要なく（ステップＳ１６８）、プロセスは終了する。しかし、取引が行われていなかった場合（ステップＳ１６８）は、ダッシュボードに表示し、データベースに保存し、および／またはビデオレコーダ１８とネットワーククライアントインターフェイス２６に送信し得るアラームを発生する（ステップＳ１７０）。統合サーバ３６は、アラーム期間中に録画されたビデオを要求するアラーム情報要求を受信する（ステップＳ１７２）。アラーム情報要求は、例えば、ネットワーククライアントインターフェイス２６に表示されるアラームをユーザがクリックすることによって開始することができる。次いで、例えば、ダッシュボードを使用して、対応するビデオを再生し（ステップＳ１７４）、対応するビデオに「表示済み」のフラグを立てる（ステップＳ１７６）。
【００３７】
図９は、ＰＯＳ規則を設定し、例外レポートを作成する際に実行されるステップを説明する、例示的なオペレーションのフローチャートを提供する。一実施形態において、小売店管理者または他の企業運営職員は、ダッシュボードを使用して、ＰＯＳデータ規則および重要業績指標（「ＫＰＩ」）を定義することができる（ステップＳ１７８）。例えば、これらの規則は、店舗、または会社で行われたすべての返品、または特定のレジスタ、および／もしくは特定の従業員、および／もしくは特定の製品、および／もしくは特定の時間のみに対する返品のリストを作成するといった単純なものであってもよい。これにより、システムによって捕捉されているいかなるタイプのデータにおいても、複雑なデータマイニングを実行する能力を提供する。データエンジン３２は、規則／ＫＰＩに対して、取引時点端末３０のデータベースのクエリを行い（ステップＳ１８０）、規則／ＫＰＩのいかなる例外をも一覧にするＫＰＩレポートを作成する（ステップＳ１８２）。
【００３８】
図１０は、ユーザ定義が可能なビデオ規則を設定し、違反を特定するアラームを発生する際に実行されるステップを説明する、例示的なオペレーションのフローチャートを提供する。図９に詳述される、ＰＯＳデータ規則の定義に関連して上に記載されるものと同様に、本発明の実施形態はまた、ビデオ分析規則を設定するための手段も提供する。小売店管理者、損失防止専門家、または他の企業運営職員は、ダッシュボードを使用して、ビデオ分析規則を定義することができる（ステップＳ１８４）。ビデオ分析規則は、あらゆる特定の視覚的なパターン、挙動、または内容が検出される際に、警報を発するための規則を含み得る。ビデオ分析規則は、ビデオエンジン２０および任意の内蔵された末端装置に送信される（ステップＳ１８６）。ビデオ分析警報は、ビデオエンジン２０が、少なくとも１つのビデオ分析規則に違反があったと判断した場合はいつでも発生される（ステップＳ１８８）。
【００３９】
図１１は、ＰＯＳデータ規則とビデオ分析規則を組み合わせて、特定のアラームイベントを正確に定義するために実行されるステップを説明する、例示的なオペレーションのフローチャートを説明する。このように、データインテリジェンスおよびビデオインテリジェンスを統合して、ユーザの必要性に応じて定義されたように、いつ特定のイベントが行われたかを判断する。ＰＯＳデータ規則は、ダッシュボード等のユーザインターフェイスを使用して定義される（ステップＳ１９０）。ビデオ分析規則もまた、ダッシュボードを使用して定義される（ステップＳ１９２）。適用されるＰＯＳ規則およびビデオ分析規則が選択され（ステップＳ１９４）、例えば、ＡＮＤ、ＯＲ、ＮＯＴ、ＩＦ ＦＡＬＳＥ、ＴＲＵＥ等の論理演算子を使用して組み合わされ、ユーザ定義の条件を生成する（ステップＳ１９６）。次いでユーザ定義の条件を実行して、リアルタイムエベントを生成するか、または事後検索を行う（ステップＳ１９８）。
【００４０】
ここで図１２を参照すると、すべての規則／ＫＰＩ、アラーム、およびイベントに対するレポートを作成するために実行されるステップを説明する、例示的なオペレーションのフローチャートが提供される。所望の規則、ＫＰＩ、イベント、および／または条件が選択され（ステップＳ２００）、期間およびレポート形式が指定される（ステップ２０２）。統合サーバ３６は、指定された時間内に行われた、選択された規則、ＫＰＩ、イベント、および／または条件に対応するＰＯＳデータおよびビデオ録画を選択して、指定された形式でレポートを作成する（ステップＳ２０４）。レポートは、不審な活動をさらに調査および特定するため、ならびに／または全体的な店舗管理能力を向上させるために使用することができる。
【００４１】
セキュリティの観点から、ソフトウェアソリューションは、ＮＴ認証としても知られる、統合Ｗｉｎｄｏｗｓ認証（「ＩＷＡ」）等の自動的に認証された接続をサポートし得る。セキュリティ機能は、ローカルアプリケーション固有のユーザＩＤを制限する可能性がある。システム１０にアクセスするにはパスワードを使用しなければならない。ＬＡＮ ＩＤに基づく許可を使用することができるが、追加のセキュリティ機能もまた使用することができる。１つ以上のアクティブディレクトリグループのメンバシップを使用してもよい。アクティブディレクトリサポートにより、ユーザは、アプリケーションを起動する際、いかなる追加の認証を提供することを要求されない。セキュリティは、裏で自動的に行われる権限の検証により、現在ログオンしているワークステーションユーザのＩＤに基づかなければならない。アプリケーション自体は、全体としてデータベースシステムに適用される多層のセキュリティ、ならびにデータベース内の個々のテーブルにより、強力なデータベースセキュリティスタンダードを有し得る。
【００４２】
ソフトウェアは、自動的なオペレーションログ、およびセントラルサーバへの遠隔のバグ／欠陥／問題レポートを提供する。バグは、ソフトウェアによって自動的に回収される。エンドユーザは、ユーザ自身のバグを、ウェブサイト、またはアプリケーション自体を介して提出することができる。すべてのデータベースおよび記録は、バックアップおよびアーカイブに保存することができる。本発明のシステムに任意のアプリケーションをインストールするプロセスは、サーバおよびワークステーションの両方で、サイレント自動インストールであってもよい。ソフトウェア展開は、標準的なスクリプト記述ツール（例えば、ＳＭＳ）に従うことができ、ユーザインタラクションを必要としない。遠隔設定もまた利用可能である。更新もまた遠隔で行うことができる。ＬＡＮ内のビデオ録画装置の自動検出、およびすべての装置および構成要素の任意の構成に対するグラフィカルユーザインターフェイスの提供を含むが、これらに限定されない、設定プロセスは、ユーザフレンドリである。統合サーバ３６は、企業のウェブサーバ、企業のアプリケーションサーバ、企業のデータベースサーバを含むが、これらに限定されない、一般的に使用される企業のサーバ環境と互換性があり得る。
【００４３】
本発明のシステムで具現化され得る他の機能としては、ビデオ分析警報の回収、およびデータの計数を行うための店舗出入り口、データベース内のデータベースに転送するためおよびファイル転送プロトコル（「ＦＴＰ」）サーバ手法の活用のためのデータの企業への転送、ビデオ分析警報および店舗レベルでの確認の提供、規則管理ツールまたは統合インターフェイスを介したビデオ警報の設定、ならびにビデオ分析およびビデオ検証によるＰＯＳデータの例外レポート／データマイニング／トレンド分析の提供が挙げられる。
【００４４】
システム１０はまた、警報パスと、例外レポートパスとを区別するための人工知能を含み得る。ビデオ分析に関する相違を示す例としては、納入用の無認可領域、制限された在庫領域への進入、商品の隠蔽、潜在的に不審な挙動または支援が必要であることを示す、過度に長時間にわたる滞在または徘徊、ならびに潜在的に不審な活動を示す、人の集まりが挙げられるが、これらに限定されない。ＰＯＳに焦点を当てたデータおよびビデオ分析による、例外レポート／トレンド分析に関する相違を示す例としては、顧客の不在による不正な取引、管理者の不在による不正な取引、列に並ぶこと、人の計数が挙げられるが、これらに限定されない。
【００４５】
システム１０は、店舗レベルでの最初の設置の間、企業全体にわたるビデオ分析の定義および設定を可能とするようにプログラム可能なものであり得る。システム１０はまた、ハンドルアドレス指定、データベースの修正、転送、および他の店舗レベルのビデオ管理機能のための、プログラム可能な店舗レベルのソリューションを組み込み得る。データ入力は、ビデオ監視およびビデオ分析から行われ、カメラと、レジスタ／通路との間のマッピング等のマッピング情報と統合することができる。
【００４６】
該システムのためのデータベースの態様は、ビデオ監視およびビデオ分析からのデータ送給の使用、ならびにデータのマッピングを含む。想定される一部の可能なデータフィールドとしては、Ｃｏｕｎｔ、Ｄａｔｅ／Ｔｉｍｅ、ＲｕｌｅＩＤ、ＣａｍｅｒａＩＤ、およびＲｕｌｅ Ｔｙｐｅ（占有率等）が挙げられるが、これらに限定されない。データマッピングには以下を含んでもよい。すなわち、ＳｔｏｒｅＩＤ、ＯｒｇａｎｉｚａｔｉｏｎＩＤ、Ｒｅｆｅｒｅｎｃｅ＃、ＲｅｆｅｒｅｎｃｅＴｙｐｅ（レジスタ、通路等）、およびＡｃｔｉｖｉｔｙＴｙｐｅ（顧客占有率、アイテムスキャン等）である。
【００４７】
時間同期機構を使用して、ＰＯＳデータを、ビデオ情報とリンクさせることができ、これはおそらくレジスタがＰＯＳデータ時間と同期するのと類似している。システム１０は、ビデオ分析規則が、単に店舗または局所レベルではなく、企業規模のレベルで管理（変更管理）することを可能にするように構成され得る。初期設定および機能の更新を容易にする規則管理手法が含まれてもよい。一手法は、店舗レベルでゾーンを設定し、規則を会社／企業レベルで適用することである。転送の領域において、データは、店舗レベルのフォルダ内に位置するフラットファイル、または構造化されたデータベース内に位置し、ネットワークを介して回収、およびＰＯＳのような他のデータを有する別の場所に転送することができる。次いでデータを、データベース転送のために利用可能とすることができる。代替的な手法は、ＦＴＰベースの転送機構を使用することである。
【００４８】
本発明は有利に、問題領域を明らかにすることに関し、高度の感度／検出能を提供する。ユーザは、懲戒処分、顧客サービスの改善、または改善点の訓練を通じて、従業員および顧客に関する問題にすみやかに対処することができる。本発明の自動化可能なシステムにおける、データ源および分析を組み合わせることにより、出力がより信頼できる、かつ正確なものとなり、偽アラームを最小化または排除する。偽アラームは、ソリューションの信頼を損ない、その成功を制限する可能性がある。
【００４９】
本発明は、ハードウェア、ソフトウェアまたはハードウェアとソフトウェアの組み合わせにより実現することができる。本明細書に記載された方法を行うために適合されたいかなるコンピュータシステムまたはその他の機器でも、本明細書に記載された機能を実行するために適切である。
【００５０】
典型的なハードウェアおよびソフトウェアの組み合わせは、１つ以上の処理要素を有する専門的または汎用コンピュータシステムおよび、読み込まれ実行される時に本明細書に記載された方法を行うようにコンピュータシステムを制御するストレージ媒体に保存されたコンピュータプログラムであってもよい。本発明は、本明細書に記載された方法の実現を可能にする全ての機能を含み、コンピュータシステムに読み込めばこれらの方法を行えるコンピュータプログラム製品に組み込まれてもよい。ストレージ媒体は、いかなる揮発性または非揮発性のストレージ装置をも指す。
【００５１】
本明細書においてのコンピュータプログラムまたはアプリケーションとは、情報処理能力を有するシステムに、直接にあるいは（ａ）別の言語、コード、または表記法への変換と、（ｂ）異なる材料形態での復元と、の一方または両方の後に特定の機能を行わせるように意図された命令セットのいかなる言語、コード、または表記法によるいかなる表現をも意味する。
【００５２】
さらに、上記で相容れないことが記述されていない限り、全ての添付図面は原寸に比例していないことに留意すべきである。重要な事に、本発明はその精神または本質的な特徴から逸脱することなく他の特定の形態として実現することができ、従って本発明の範囲を示すものとして、上記の明細書よりも下記請求項を参照すべきである。
【技術分野】
【０００１】
本発明は、概して、ビデオを分析するためのシステムおよび方法に関し、より具体的には、ビデオおよびデータ分析の両方の長所を活用する、ビデオ分析およびデータ分析／データマイニングを統合するためのシステムおよび方法に関する。
【背景技術】
【０００２】
ビデオ監視および分析の使用は、小売店での万引きおよび盗難を抑止する上で一般的になってきた。しかし、小売および他の場面において、人間が効果的かつ効率的に管理するためのセキュリティおよびビジネスオペレーションから回収されているデータおよびビデオがあまりにも多すぎることがしばしばある。厳しい予算や人員を制限する上でのプレッシャーにより、負担はさらに大きくなる。事業体は、例外、パターン、および／または変則的な挙動を判断することができるように、データをフィルタおよびマイニングするツールが必要である。さらに、自分自身または顧客の利益のためのレジ係の「馴れ合い」取引（スキャナの抜け道を通す）から、多くの発生および多くの場所にわたり一緒に作業する組織化された犯罪グループにわたる、より多くの巧みな共謀の脅威が存在する。
【０００３】
販売時点管理等の店舗システムから利用可能なデータの分析に基づくソリューションにより、ビジネスオペレーションの観点からこれらの問題を対処および管理し、懸念領域を示す異常な挙動のパターンを特定しようとしてきた事業体もある。これらのソリューションの改善としては、これらのパターンに、状況の視覚的な検証を提供するビデオ監視システムからのビデオクリップをトリガさせることが挙げられる。そのあるレベルの異常な挙動が、他のトリガと無関係なシーンで視覚的に検出され、ビジネスオペレーションにおける戦略を実現するために使用することができるように、ビデオ監視システムからのビデオを分析するためのコンピュータアルゴリズムを使用して、セキュリティの観点からこの問題に臨んできた事業体もある。
【０００４】
このビジネスデータのみの手法は、いくつかの理由により失敗する。状況を特徴付けるデータは、店舗システムの抜け道を通っている可能性があるので、利用可能ではない場合がある。また、データシステムは、イベントのマイニングの後となる傾向があり、これは、リアルタイム／時間依存性の警報および通知に対応するその能力を制限する。上に記載したデータシステムの制限、およびデータトリガでのビデオクリップ再生の依存を考慮すると、この向上もまた失敗してきた。単独のビデオ分析は、誤認アラームとなる傾向がある、または信頼するには不十分な精度レベルになる可能性があるので、問題がある。また、これらの配置には、異常を検出するためのイベント設定／規則の定義が必要となる傾向があり、これらのパターンは、前もって理解することができない。
【０００５】
したがって、ビデオおよびデータ分析の両方の長所を活用して、これまでのソリューションでの制限を補う、ビデオ分析およびデータ分析／データマイニングを統合するためのシステムおよび方法が必要である。また、ビジネスおよびオペレーショナルインテリジェンスを、施設への出入り時点、販売およびサービス時点、ならびに内部および外部全体を通した業務に提供することができる、統合ソフトウェアも必要である。
【発明の概要】
【０００６】
本発明は有利に、ビデオ分析技術を、データ分析技術と統合して、管理職員の注意を要する潜在的に不審な挙動およびイベントをより正確に特定するための、方法およびシステムを提供する。一般的に言うと、本発明は、販売時点管理レジスタで回収されたデータを使用して、小売店または倉庫等の施設をモニタし、ビデオモニタリングシステムによって同時に検出された物体およびイベントをより正確に認識するための、方法およびシステムを提供する。
【０００７】
本発明の一態様は、モニタされた施設において、潜在的に不審な挙動を検出するための方法を含む。モニタされた施設で行われている活動のビデオコンテンツ、および取引時点端末で処理される取引に関連する取引データを回収する。ビデオコンテンツを、取引データと相関付けて、相関したデータを生成する。ユーザ定義の規則一式を相関したデータに適用する。相関したデータと、ユーザ定義の規則一式のうちの少なくとも１つの規則との整合の特定に応じて、取引が潜在的に不審であるということを判断する。
【０００８】
本発明の別の態様は、モニタされた施設で行われている活動を自動的に特定する方法を含む。モニタされた施設で行われている活動のビデオコンテンツを回収する。ビデオコンテンツを、物体認識技術を使用して、ビデオ分析規則一式を回収されたビデオ情報に適用することによって、分析する。販売施設内の少なくとも１つの取引時点端末によって処理された１つ以上の取引に関連する取引データも回収する。ビデオコンテンツがビデオ分析規則一式のうちの少なくとも１つのビデオ分析規則に一致するという判断に応じて、ビデオコンテンツを、取引データと相関付けて、相関した取引データを生成する。
【０００９】
本発明の別の態様によると、モニタされた施設で行われている活動を分析するためのシステムは、ビデオ分析システムと、データ分析システムと、統合サーバと、を含む。統合サーバは、ビデオ分析システムおよびデータ分析システムに通信可能に連結される。モニタされた施設は、少なくとも１つの販売時点レジスタを含む。ビデオ分析システムは、モニタされた施設で行われている活動のビデオコンテンツを回収する。データ分析システムは、少なくとも１つの取引時点端末によって処理された１つ以上の取引に関連する取引データを回収する。統合サーバは、ビデオコンテンツを取引データに相関付けて、相関したデータを生成する。統合サーバはまた、ユーザ定義の規則一式を相関したデータに適用し、相関したデータと、ユーザ定義の規則一式のうちの少なくとも１つの規則との整合を特定する。
【図面の簡単な説明】
【００１０】
本発明、ならびにその利点、および特長は、下記の詳細な説明とともにそれに伴う図面を参照することにより完全に理解することができ、図面は下記のようになる。
【図１】本発明の原理に従って構築された、例示的なビデオおよびデータ分析システムのブロック図である。
【図２】本発明の原理に従って構築された、例示的なビデオおよびデータモニタリング時点のブロック図である。
【図３】本発明の原理に従って実行される例示的な返品取引プロセスのフローチャートである。
【図４】本発明の原理に従って実行される、例示的な現金無効取引プロセスのフローチャートである。
【図５】本発明の原理に従って実行される、例示的な顧客計数プロセスのフローチャートである。
【図６】本発明の原理に従って実行される、取引例外をインデックス付きビデオに自動的にリンクするための、例示的なプロセスのフローチャートである。
【図７】本発明の原理に従って実行される、例示的な列時間測定プロセスのフローチャートである。
【図８】本発明の原理に従って実行される、取引検出プロセスを含まない、ビデオ分析によって検出される、例示的な現金入れ引出しが開いている場合のフローチャートである。
【図９】本発明の原理に従って実行される、販売時点（「ＰＯＳ」）規則を設定し、例外を生成するための例示的なプロセスのフローチャートである。
【図１０】本発明の原理に従って実行される、ユーザ定義が可能なビデオ規則を設定し、警報を発生するための例示的なプロセスのフローチャートである。
【図１１】本発明の原理に従って実行される、ユーザ定義が可能な店舗データとビデオ規則の組み合わせを設定するための例示的なプロセスのフローチャートである。
【図１２】本発明の原理に従って実行される、例示的なレポートプロセスのフローチャートである。
【発明を実施するための形態】
【００１１】
本発明に従う、詳細な例示的な実施形態を説明する前に、実施形態は、主として、ビデオを分析して、ビデオ分析をデータ分析／データマイニング技術と統合することによって、アラーム条件の存在を判断するためのシステムおよび方法の実現に関連する、機器の構成要素と処理ステップとの組み合わせであることに留意されたい。したがって、該システムおよび方法の構成要素は、図面において、従来の記号によって適切な場所に表示され、本明細書の説明の利益を得る当業者に容易に明らかである詳細によって、本開示を不明確にしないように、本発明の実施形態の理解に関するそれらの特定の詳細を示すに過ぎない。
【００１２】
本明細書で使用する、「第１の」および「第２の」、「上」および「下」等の関係語は、かかる実体または要素間の、いかなる物理的もしくは論理的関係、あるいは順序を必然的に要求または暗示することなく、ある実体または要素を、別の実体または要素と区別するためのみに使用できる。
【００１３】
本発明の一実施形態は有利に、ビデオ分析およびデータ分析／データマイニング技術の組み合わせを使用して、ビデオを分析するための方法およびシステムを提供する。一実施形態において、本発明は、例えば、クライアント／ブラウザ等のユーザインターフェイスと、管理および分析構成要素と、レポート能力と、から構成される、ソフトウェアを含み得る。先端部に内蔵された分析部を備えるビデオシステムと、デジタルビデオレコーダ（「ＤＶＲ」）のビデオストレージまたは他のストレージ装置と、小売取引データ装置もまた含み得る。
【００１４】
別の実施形態において、ユーザインターフェイスは、ユーザが、設定および規則、プレイベントの定義、ならびに、事後にデータおよびビデオのマイニングを実行するのを可能にする。ビデオおよびデータシステムは、ともにネットワーク接続され、データベース送信およびクエリ、ならびにアプリケーションプログラムインターフェイスを介して通信できる。ビデオおよびデータ分析ノードは、内蔵型、分散型で、それら自身の分析を処理する能力を有し、かつ処理したメタデータをシステムデータベースに転送する場合がある。
【００１５】
本発明の極めて多彩な実施形態は、新しいあらかじめパッケージ化され、かつ顧客定義の規則、ならびに重要業績指標（「ＫＰＩ」）と呼ばれる業務の測定基準の追加を可能とする。顧客の問題および機会を理解することによって、該システムは、有効な規則およびＫＰＩを作成するための基本である使用事例を定義するために使用することができる。
【００１６】
該システムは、リアルタイムで警報をトリガし、ならびに事後のデータおよび挙動のパターンをマイニングして両方の情報源を組み合わせ、より複雑かつ広範な使用事例に対処する能力を高めるようにプログラム可能なものであり得る。該システムはまた、以下の包括的な組み合わせにおいて、ビデオ分析およびデータ分析からのトリガを組み合わせるようにプログラム可能なものであり得る。その組み合わせとは、データ分析トリガ―ビデオ検証、ビデオ分析トリガ―データ検証、データ分析トリガ―ビデオ分析検証、ビデオ分析トリガ―データ分析検証である。
【００１７】
ここで図面（同様の参照番号は、同様の要素を指す）を参照すると、図１には、本発明の原理に従って構築された、ビデオおよびデータ分析の両方の長所を活用する、ビデオ分析およびデータ分析／データマイニングを統合するための例示的なビジネスインテリジェンスシステム１０が示される。ビジネスインテリジェンスシステム１０は、企業全体規模のビデオソリューション、および小売業務全般におけるより広範な使用事例を指示するように構成され得る。
【００１８】
ビジネスインテリジェンスシステム１０は、ビデオ分析サブシステム１２を、データ分析サブシステム１４と組み合わせ、不審な活動および店舗／倉庫管理イベントをモデル化および検出する。ビデオ分析サブシステム１２は、１つ以上のビデオカメラ１６（１つを図示）と、ビデオレコーダ１８と、ビデオエンジン２０と、ビデオ制御器２２と、ビデオシステムインターフェイス２４と、を含むことができる。ビデオカメラ１６は、局所視点領域内の活動の画像を捕捉し、その画像をビデオレコーダ１８および／またはビデオエンジン２０に転送する。ビデオレコーダ１８は、後のリコールのために、捕捉した画像にタイムスタンプを付加し、保存し得る。ビデオエンジン２０は、捕捉した画像で物体認識／検出機能を実行し、ビデオカメラ１６によって捕捉された画像が、設定規則に従って判断される条件をみたすかどうかを判断する。ビデオエンジン２０の機能は、ビデオレコーダ１８に保存されたビデオに加え、ライブビデオの処理を可能にするように、ビデオカメラ１６または他の終端装置に内蔵することができることに留意されたい。さらに、タイムスタンプの付加もまた、ビデオカメラ１６または何らかの他の媒介装置によって実行することができる。ビデオ制御器２２は、どのビデオカメラ１６が有効か、それぞれのビデオカメラ１６に対するパン、チルト、アングル、およびズーム設定、要求されたビデオセグメントの再生等の、ビデオシステムの基本設定を制御する。ビデオシステムインターフェイス２４は、ユーザが、ビデオ分析サーバ２０に対して規則および条件を設定し、再生のための特定のビデオセグメントを選択することを可能にする。
【００１９】
ビデオ分析サブシステム１２のそれぞれの構成要素は、ローカルレベルで、ビデオ分析サブシステム１２の他の構成要素に直接連結され得る。代替として、および／または追加で、ビデオ分析サブシステム１２の各構成要素は、ビデオ分析サブシステム１２、データ分析サブシステム１４、ネットワーククライアント２６の他の構成要素、および／またはローカルエリアネットワーク（「ＬＡＮ」）（図示せず）またはワイドエリアネットワーク（「ＷＡＮ」）２８を介して他の場所にリンクさせることができる。さらに、ビデオ分析サブシステム１２の構成要素は、システム１０の他の構成要素内に同置または内蔵することができる。例えば、ビデオシステムインターフェイス２４は、ウェブブラウザ、または既存のデータ分析および／またはビデオソフトウェアアプリケーションのプラグインとして、ネットワーククライアント２６上に実装することができる。
【００２０】
データ分析サブシステム１４は、モニタされた施設内の取引に関連する情報を回収するための取引時点端末３０を含む。取引時点端末３０は、精算時に実行される販売取引に関連する情報を回収するための販売時点（「ＰＯＳ」）レジスタであってもよい。取引時点端末３０は、データエンジン３２でデータを送信するための通信インターフェイスを含み得る。データエンジン３２は、１つ以上のＰＯＳレジスタ３０から完了した、開始された、または無効となった取引に関するデータを受信する。データ分析サーバ３２は、取引データを分析して、いずれかの取引または取引群が、設定規則に従って判断された条件を満たすかどうかを判断し、ポストイベントマイニングも行う。データ分析システムインターフェイス２４は、ユーザが、データエンジン３２に対し、規則および条件を設定し、レポートを生成および表示することを可能にする。
【００２１】
統合サーバ３６は、ビデオエンジン２０およびデータエンジン３２の要素を組み合わせて、取引時点端末３０で行われている取引イベントを、ビデオエンジン２０によって検出された物体の認識と相関付ける。統合サーバ３６は、ビデオエンジン２０および／またはデータエンジン３２を含み得る。さらに、データ分析システムインターフェイス２４およびビデオシステムインターフェイス２４を組み合わせて、ネットワーククライアント２６に配置される、単一のユーザインターフェイス（すなわち、ダッシュボード）にしてもよい。ダッシュボードを使用して、ユーザは、ビデオ分析システム１２からの１つ以上の規則を、データ分析システム１４からの１つ以上の規則と組み合わせ、非常に特定されたイベントがいつ行われたかを精密に判断するための統合サーバ３６に対する規則一式を作成することができる。さらに、システム１０は、オペレーションの必要性に重要な、表示およびレポートのみへのアクセスを可能にするために、各ユーザタイプのためのダッシュボードを含み得る。
【００２２】
統合サーバ３６は、スタンドアロン型であってもよく、またはいかなるアプリケーションサーバであることも可能である。リアルタイムイベントのための統合サーバ３６はまた、データエンジン３２と同一のハードウェアサーバ、または専用アプリケーションサーバのいずれかに、中心的な企業レベルで配置することが可能である。ビジネスインテリジェンスシステム１０は、すべての構成要素で、時間を同期することが可能であるべきである。
【００２３】
ビジネスインテリジェンスシステム１０は、局所的な店舗／場所、中心的な企業オフィス、またはワイドエリアネットワーク２８を介して接続されたこれらの組み合わせで実現することができる。ワイドエリアネットワーク１６は、インターネット、イントラネット、または他の通信ネットワークを含み得る。通信ネットワークは、図１においてＷＡＮとして図示されているが、本発明の原理は、パーソナルエリアネットワーク（「ＰＡＮ」）、ローカルエリアネットワーク（「ＬＡＮ」）、キャンパスエリアネットワーク（「ＣＡＮ」）、メトロポリタンエリアネットワーク（「ＭＡＮ」）等の、他の形態の通信ネットワークに適用することもできる。
【００２４】
システム１０全体は非常に複雑である可能性があるが、日々の使用は極めてユーザフレンドリかつ分かりやすい。システム１０は有利に、使いやすいビデオシステムインターフェイス２４と、データ分析システムインターフェイス３４と、データを分析し、警報およびパターンを支援する、ライブビデオまたは保存されたビデオを表示するためのレポートパッケージと、を提供する。
【００２５】
ここで図２を参照すると、例示的な局所的な小売施設３８のレイアウトが示されており、これは、本発明の原理に従う、潜在的なビデオモニタリングの場所、およびデータ回収位置を詳述する。図２は小売施設を示すが、本発明はこれに限定されない。倉庫、または商品もしくは資産が出入りする他の場所等の、いかなるモニタされた施設も、本発明によって実現および支援することができることが想定される。システム１０はプログラム可能なものであり、かつビジネスおよびオペレーションインテリジェンスを、モニタされた施設の内部および外部全体を通しての、業務施設出入り時点４０、精算の列４２または顧客サービス入り口４４等の販売時点（すなわち、取引）、サービス時点４６、ならびに選択時点４８に提供することができる。
【００２６】
図３において、実際の顧客の存在がないのに返品取引が発生したことを判断する際に実行されるステップを説明する、例示的なオペレーションのフローチャートを提供する。一実施形態において、該プロセスは、店舗管理者または損失防止（「ＬＰ」）専門家が、ＰＯＳカウンタの前に顧客がいない間に返品が発生した際に、リアルタイムでモニタすることを可能にする。少なくとも１つのビデオカメラ１６は、所与のＰＯＳレジスタ３０周辺の領域をモニタしていなければならない。返品取引がＰＯＳレジスタ３０で処理された場合（ステップＳ１００）、データエンジン３２は、返品取引に関するＰＯＳデータを受信する（ステップＳ１０２）。データは、例えば、ＰＯＳレジスタに対する識別子、取引のタイプ、取引の時間、取引を行っている従業員の名前または他の識別子、取引金額等を含み得る。データエンジン３２は、ビデオエンジン２０からの視覚的な検証を要求する（ステップＳ１０４）。
【００２７】
ビデオエンジン２０は、ＰＯＳレジスタの前にいる顧客の数を数えようとする（ステップＳ１０６）。ビデオエンジン２０が顧客を数えるのに使用不可である場合は、その取引に「顧客数不明」のフラグを立てる（ステップＳ１０８）。例えば、突然の照明変化、非常に薄暗い照明、ビデオの質の悪さ、画像内の強烈なまぶしさ、カメラモーション等のある環境条件によって、ビデオエンジン２０が、正確な顧客数を判断することができなくなる場合がある。「顧客数不明」のフラグが立てられたすべての取引は、不審な活動を構成し得、取引の詳細は、後のさらなる再調査のため、レポートに含まれ得る。
【００２８】
ビデオエンジン２０が、ゼロに等しくない顧客数を返した場合（ステップＳ１１０）、これは、少なくとも１人の顧客が、精算カウンタにいることを示し、この取引が適切であると見なされ（ステップＳ１１２）、さらなるアクションは行われない。しかし、ビデオエンジン２０が、ゼロに等しい顧客数を返した場合（ステップＳ１１０）、これは、精算カウンタにいる顧客はいないことを示し、「返品不正」のアラームを発生し（ステップＳ１１４）、返品取引にフラグを立てる。アラームは、ダッシュボード上に表示、データベースに保存、ビデオレコーダ１８に送信、および／またはビデオ分析システム１２のイベントハンドラに送信することができる。ユーザが対応するビデオを再生したい場合、ユーザは、単にダッシュボードからアラームインジケータを選択し、その後ビデオが再生され、「表示済み」とフラグが立てられる。すべてのフラグを立てられた取引は、ポストイベントマイニングに利用可能である。
【００２９】
ここで図４を参照すると、実際の顧客がいないのに、現金取引が無効になったことを判断する際に実行されるステップを説明する、例示的なオペレーションのフローチャートを提供する。上に記載の事例のように、少なくとも１つのビデオカメラ１６は、所与のＰＯＳレジスタ３０周辺の領域をモニタしていなければならない。ＰＯＳレジスタ３０で現金取引が無効になる際（ステップＳ１２０）、データエンジン３２は、現金取引に関するＰＯＳデータ（ステップＳ１２２）を受信する。データエンジン３２は、ビデオエンジン２０からの視覚的な検証を要求する（ステップＳ１２４）。ビデオエンジン２０は、ＰＯＳレジスタの前にいる顧客の数を数えようとする（ステップＳ１２６）。ビデオエンジン２０が顧客を数えるのに使用不可である場合は、現金無効取引に「顧客数不明」のフラグを立てる（ステップＳ１２８）。「顧客数不明」のフラグが立てられたすべての取引は、不審な活動を構成し得、取引の詳細は、後のさらなる再調査のため、レポートに含まれ得る。
【００３０】
ビデオエンジン２０が、ゼロに等しくない顧客数を返した場合（ステップＳ１３０）、これは、少なくとも１人の顧客が、精算カウンタにいることを示し、この取引が適切であると見なされ（ステップＳ１３２）、さらなるアクションは行われない。しかし、ビデオエンジン２０が、ゼロに等しい顧客数を返した場合（ステップＳ１１０）、これは、精算カウンタにいる顧客はいないことを示し、「現金無効後不正」のアラームを発生し（ステップＳ１３４）、現金無効取引にフラグを立てる。返品不正の事例のように、アラームは、ダッシュボード上に表示、データベースに保存、ビデオレコーダ１８に送信、および／またはビデオ分析システム１２のイベントハンドラに送信することができる。ユーザが対応するビデオを再生したい場合、ユーザは、単にダッシュボードからアラームインジケータを選択し、その後ビデオが再生され、「表示済み」とフラグが立てられる。すべてのフラグを立てられた取引は、ポストイベントマイニングに利用可能である。
【００３１】
ここで図５を参照すると、ある期間にわたって、店舗に出入りする人の数を数え、通信量の多い期間またはネットワークの占有率が高い期間を検出する際に実行されるステップを説明する、例示的なオペレーションのフローチャートが提供される。一実施形態において、この情報を、販売および人材配置システムからのデータを組み合わせて、店舗の人材配置および販売変換計算のためのピーク値とトラフ値を判断する。少なくとも１つのビデオカメラ１６は、店舗のそれぞれの入り口および／または出口をモニタしていなければならない。
【００３２】
ダッシュボードを使用して、ユーザは、人物計数機能の開始を要求し、計数のためのタイムフレームを指定する。統合サーバ３６は、人物計数の要求を受信し（ステップＳ１４０）、ビデオエンジン２０に、既定のタイムフレームの間に、店舗に入るおよび／または出るのを撮影された人物の数を数えるように指示を出す（ステップＳ１４２）。データエンジン２０は、既定のタイムフレームの間に行われる取引の数、および取引の総額を判断する（ステップＳ１４４）。結果のレポートを作成し（ステップＳ１４６）、レポートを視覚的に表現したものをダッシュボードに表示する。
【００３３】
ここで図６を参照すると、取引の例外（すなわち、不審な活動を潜在的に含むとしてフラグを立てられたイベント）に対応する、録画されたビデオを再生する際に実行されるステップを説明する、例示的なオペレーションのフローチャートが提供される。統合サーバ３６は、取引の例外（ステップＳ１４８）に対応するビデオの要求を受信する。統合サーバ３６は、対応するビデオを、ビデオ録画システム１８から取り出し（ステップＳ１５０）、例えば、ダッシュボードを使用して、ネットワーククライアントインターフェイス２６で、要求されたビデオ（ステップＳ１５２）を再生する。
【００３４】
図７は、精算の列の継続期間を測定する際に実行されるステップを説明する、例示的なオペレーションのフローチャートを提供する。一実施形態において、本発明は、店舗管理者または他の企業運営職員が、精算を待つ列が規定の閾値よりも長い、または待ち時間が規定の閾値よりも長い場合を特定し、対応するＰＯＳデータを取り出すことを可能にする。この機能により、ユーザは、誰かが大きな買い物をした時、開いている精算レジスタの数が不十分等、遅延を生じる潜在要因を調査することが可能になる。
【００３５】
物体認識アルゴリズムを使用するビデオエンジン２０は、精算の列、または精算の列で費やす期間が既定の閾値よりも長いことを判断する（ステップＳ１５４）。アラームが、ネットワーククライアントインターフェイス２６およびビデオレコーダ１８に送信される（ステップＳ１５６）。アラームは、例えば、ネットワーククライアントインターフェイス２６のイベントハンドラ、またはビデオ制御器２２のアラームリストに表示することができる。統合サーバ３６は、アラーム時に発生する取引データを要求するアラーム情報要求を受信する（ステップＳ１５８）。アラーム情報要求は、例えば、ネットワーククライアントインターフェイス２６に表示されるアラームをユーザがクリックすることによって開始され得る。データエンジン３２は、アラーム期間中に発生した取引の一覧を出力する（ステップＳ１６０）。一覧は、ネットワーククライアントインターフェイス２６に表示するか、物理コピーに印刷することができる。
【００３６】
ここで図８を参照すると、現金レジスタの引出しが、潜在的に、不適切にあけられたかどうかを判断するために実行されるステップを説明する、例示的なオペレーションのフローチャートが提供される。ビデオエンジン２０は、現金入れ引出しが開いているのを検出する（ステップＳ１６２）。統合サーバ３６は、いずれかの取引が行われたかどうかを検証するように、データエンジン３２および／または取引時点端末３０に問い合わせを送信する（ステップＳ１６４）。取引が行われていた場合（ステップＳ１６６）、アラームは必要なく（ステップＳ１６８）、プロセスは終了する。しかし、取引が行われていなかった場合（ステップＳ１６８）は、ダッシュボードに表示し、データベースに保存し、および／またはビデオレコーダ１８とネットワーククライアントインターフェイス２６に送信し得るアラームを発生する（ステップＳ１７０）。統合サーバ３６は、アラーム期間中に録画されたビデオを要求するアラーム情報要求を受信する（ステップＳ１７２）。アラーム情報要求は、例えば、ネットワーククライアントインターフェイス２６に表示されるアラームをユーザがクリックすることによって開始することができる。次いで、例えば、ダッシュボードを使用して、対応するビデオを再生し（ステップＳ１７４）、対応するビデオに「表示済み」のフラグを立てる（ステップＳ１７６）。
【００３７】
図９は、ＰＯＳ規則を設定し、例外レポートを作成する際に実行されるステップを説明する、例示的なオペレーションのフローチャートを提供する。一実施形態において、小売店管理者または他の企業運営職員は、ダッシュボードを使用して、ＰＯＳデータ規則および重要業績指標（「ＫＰＩ」）を定義することができる（ステップＳ１７８）。例えば、これらの規則は、店舗、または会社で行われたすべての返品、または特定のレジスタ、および／もしくは特定の従業員、および／もしくは特定の製品、および／もしくは特定の時間のみに対する返品のリストを作成するといった単純なものであってもよい。これにより、システムによって捕捉されているいかなるタイプのデータにおいても、複雑なデータマイニングを実行する能力を提供する。データエンジン３２は、規則／ＫＰＩに対して、取引時点端末３０のデータベースのクエリを行い（ステップＳ１８０）、規則／ＫＰＩのいかなる例外をも一覧にするＫＰＩレポートを作成する（ステップＳ１８２）。
【００３８】
図１０は、ユーザ定義が可能なビデオ規則を設定し、違反を特定するアラームを発生する際に実行されるステップを説明する、例示的なオペレーションのフローチャートを提供する。図９に詳述される、ＰＯＳデータ規則の定義に関連して上に記載されるものと同様に、本発明の実施形態はまた、ビデオ分析規則を設定するための手段も提供する。小売店管理者、損失防止専門家、または他の企業運営職員は、ダッシュボードを使用して、ビデオ分析規則を定義することができる（ステップＳ１８４）。ビデオ分析規則は、あらゆる特定の視覚的なパターン、挙動、または内容が検出される際に、警報を発するための規則を含み得る。ビデオ分析規則は、ビデオエンジン２０および任意の内蔵された末端装置に送信される（ステップＳ１８６）。ビデオ分析警報は、ビデオエンジン２０が、少なくとも１つのビデオ分析規則に違反があったと判断した場合はいつでも発生される（ステップＳ１８８）。
【００３９】
図１１は、ＰＯＳデータ規則とビデオ分析規則を組み合わせて、特定のアラームイベントを正確に定義するために実行されるステップを説明する、例示的なオペレーションのフローチャートを説明する。このように、データインテリジェンスおよびビデオインテリジェンスを統合して、ユーザの必要性に応じて定義されたように、いつ特定のイベントが行われたかを判断する。ＰＯＳデータ規則は、ダッシュボード等のユーザインターフェイスを使用して定義される（ステップＳ１９０）。ビデオ分析規則もまた、ダッシュボードを使用して定義される（ステップＳ１９２）。適用されるＰＯＳ規則およびビデオ分析規則が選択され（ステップＳ１９４）、例えば、ＡＮＤ、ＯＲ、ＮＯＴ、ＩＦ ＦＡＬＳＥ、ＴＲＵＥ等の論理演算子を使用して組み合わされ、ユーザ定義の条件を生成する（ステップＳ１９６）。次いでユーザ定義の条件を実行して、リアルタイムエベントを生成するか、または事後検索を行う（ステップＳ１９８）。
【００４０】
ここで図１２を参照すると、すべての規則／ＫＰＩ、アラーム、およびイベントに対するレポートを作成するために実行されるステップを説明する、例示的なオペレーションのフローチャートが提供される。所望の規則、ＫＰＩ、イベント、および／または条件が選択され（ステップＳ２００）、期間およびレポート形式が指定される（ステップ２０２）。統合サーバ３６は、指定された時間内に行われた、選択された規則、ＫＰＩ、イベント、および／または条件に対応するＰＯＳデータおよびビデオ録画を選択して、指定された形式でレポートを作成する（ステップＳ２０４）。レポートは、不審な活動をさらに調査および特定するため、ならびに／または全体的な店舗管理能力を向上させるために使用することができる。
【００４１】
セキュリティの観点から、ソフトウェアソリューションは、ＮＴ認証としても知られる、統合Ｗｉｎｄｏｗｓ認証（「ＩＷＡ」）等の自動的に認証された接続をサポートし得る。セキュリティ機能は、ローカルアプリケーション固有のユーザＩＤを制限する可能性がある。システム１０にアクセスするにはパスワードを使用しなければならない。ＬＡＮ ＩＤに基づく許可を使用することができるが、追加のセキュリティ機能もまた使用することができる。１つ以上のアクティブディレクトリグループのメンバシップを使用してもよい。アクティブディレクトリサポートにより、ユーザは、アプリケーションを起動する際、いかなる追加の認証を提供することを要求されない。セキュリティは、裏で自動的に行われる権限の検証により、現在ログオンしているワークステーションユーザのＩＤに基づかなければならない。アプリケーション自体は、全体としてデータベースシステムに適用される多層のセキュリティ、ならびにデータベース内の個々のテーブルにより、強力なデータベースセキュリティスタンダードを有し得る。
【００４２】
ソフトウェアは、自動的なオペレーションログ、およびセントラルサーバへの遠隔のバグ／欠陥／問題レポートを提供する。バグは、ソフトウェアによって自動的に回収される。エンドユーザは、ユーザ自身のバグを、ウェブサイト、またはアプリケーション自体を介して提出することができる。すべてのデータベースおよび記録は、バックアップおよびアーカイブに保存することができる。本発明のシステムに任意のアプリケーションをインストールするプロセスは、サーバおよびワークステーションの両方で、サイレント自動インストールであってもよい。ソフトウェア展開は、標準的なスクリプト記述ツール（例えば、ＳＭＳ）に従うことができ、ユーザインタラクションを必要としない。遠隔設定もまた利用可能である。更新もまた遠隔で行うことができる。ＬＡＮ内のビデオ録画装置の自動検出、およびすべての装置および構成要素の任意の構成に対するグラフィカルユーザインターフェイスの提供を含むが、これらに限定されない、設定プロセスは、ユーザフレンドリである。統合サーバ３６は、企業のウェブサーバ、企業のアプリケーションサーバ、企業のデータベースサーバを含むが、これらに限定されない、一般的に使用される企業のサーバ環境と互換性があり得る。
【００４３】
本発明のシステムで具現化され得る他の機能としては、ビデオ分析警報の回収、およびデータの計数を行うための店舗出入り口、データベース内のデータベースに転送するためおよびファイル転送プロトコル（「ＦＴＰ」）サーバ手法の活用のためのデータの企業への転送、ビデオ分析警報および店舗レベルでの確認の提供、規則管理ツールまたは統合インターフェイスを介したビデオ警報の設定、ならびにビデオ分析およびビデオ検証によるＰＯＳデータの例外レポート／データマイニング／トレンド分析の提供が挙げられる。
【００４４】
システム１０はまた、警報パスと、例外レポートパスとを区別するための人工知能を含み得る。ビデオ分析に関する相違を示す例としては、納入用の無認可領域、制限された在庫領域への進入、商品の隠蔽、潜在的に不審な挙動または支援が必要であることを示す、過度に長時間にわたる滞在または徘徊、ならびに潜在的に不審な活動を示す、人の集まりが挙げられるが、これらに限定されない。ＰＯＳに焦点を当てたデータおよびビデオ分析による、例外レポート／トレンド分析に関する相違を示す例としては、顧客の不在による不正な取引、管理者の不在による不正な取引、列に並ぶこと、人の計数が挙げられるが、これらに限定されない。
【００４５】
システム１０は、店舗レベルでの最初の設置の間、企業全体にわたるビデオ分析の定義および設定を可能とするようにプログラム可能なものであり得る。システム１０はまた、ハンドルアドレス指定、データベースの修正、転送、および他の店舗レベルのビデオ管理機能のための、プログラム可能な店舗レベルのソリューションを組み込み得る。データ入力は、ビデオ監視およびビデオ分析から行われ、カメラと、レジスタ／通路との間のマッピング等のマッピング情報と統合することができる。
【００４６】
該システムのためのデータベースの態様は、ビデオ監視およびビデオ分析からのデータ送給の使用、ならびにデータのマッピングを含む。想定される一部の可能なデータフィールドとしては、Ｃｏｕｎｔ、Ｄａｔｅ／Ｔｉｍｅ、ＲｕｌｅＩＤ、ＣａｍｅｒａＩＤ、およびＲｕｌｅ Ｔｙｐｅ（占有率等）が挙げられるが、これらに限定されない。データマッピングには以下を含んでもよい。すなわち、ＳｔｏｒｅＩＤ、ＯｒｇａｎｉｚａｔｉｏｎＩＤ、Ｒｅｆｅｒｅｎｃｅ＃、ＲｅｆｅｒｅｎｃｅＴｙｐｅ（レジスタ、通路等）、およびＡｃｔｉｖｉｔｙＴｙｐｅ（顧客占有率、アイテムスキャン等）である。
【００４７】
時間同期機構を使用して、ＰＯＳデータを、ビデオ情報とリンクさせることができ、これはおそらくレジスタがＰＯＳデータ時間と同期するのと類似している。システム１０は、ビデオ分析規則が、単に店舗または局所レベルではなく、企業規模のレベルで管理（変更管理）することを可能にするように構成され得る。初期設定および機能の更新を容易にする規則管理手法が含まれてもよい。一手法は、店舗レベルでゾーンを設定し、規則を会社／企業レベルで適用することである。転送の領域において、データは、店舗レベルのフォルダ内に位置するフラットファイル、または構造化されたデータベース内に位置し、ネットワークを介して回収、およびＰＯＳのような他のデータを有する別の場所に転送することができる。次いでデータを、データベース転送のために利用可能とすることができる。代替的な手法は、ＦＴＰベースの転送機構を使用することである。
【００４８】
本発明は有利に、問題領域を明らかにすることに関し、高度の感度／検出能を提供する。ユーザは、懲戒処分、顧客サービスの改善、または改善点の訓練を通じて、従業員および顧客に関する問題にすみやかに対処することができる。本発明の自動化可能なシステムにおける、データ源および分析を組み合わせることにより、出力がより信頼できる、かつ正確なものとなり、偽アラームを最小化または排除する。偽アラームは、ソリューションの信頼を損ない、その成功を制限する可能性がある。
【００４９】
本発明は、ハードウェア、ソフトウェアまたはハードウェアとソフトウェアの組み合わせにより実現することができる。本明細書に記載された方法を行うために適合されたいかなるコンピュータシステムまたはその他の機器でも、本明細書に記載された機能を実行するために適切である。
【００５０】
典型的なハードウェアおよびソフトウェアの組み合わせは、１つ以上の処理要素を有する専門的または汎用コンピュータシステムおよび、読み込まれ実行される時に本明細書に記載された方法を行うようにコンピュータシステムを制御するストレージ媒体に保存されたコンピュータプログラムであってもよい。本発明は、本明細書に記載された方法の実現を可能にする全ての機能を含み、コンピュータシステムに読み込めばこれらの方法を行えるコンピュータプログラム製品に組み込まれてもよい。ストレージ媒体は、いかなる揮発性または非揮発性のストレージ装置をも指す。
【００５１】
本明細書においてのコンピュータプログラムまたはアプリケーションとは、情報処理能力を有するシステムに、直接にあるいは（ａ）別の言語、コード、または表記法への変換と、（ｂ）異なる材料形態での復元と、の一方または両方の後に特定の機能を行わせるように意図された命令セットのいかなる言語、コード、または表記法によるいかなる表現をも意味する。
【００５２】
さらに、上記で相容れないことが記述されていない限り、全ての添付図面は原寸に比例していないことに留意すべきである。重要な事に、本発明はその精神または本質的な特徴から逸脱することなく他の特定の形態として実現することができ、従って本発明の範囲を示すものとして、上記の明細書よりも下記請求項を参照すべきである。
【特許請求の範囲】
【請求項１】
モニタされた施設において、潜在的に不審な挙動を検出するための方法であって、
前記モニタされた施設で行われている活動のビデオコンテンツを回収するステップと、
取引時点端末で処理される取引に関連する取引データを回収するステップと、
前記ビデオコンテンツを、前記取引データと相関付け、相関したデータを生成するステップと、
ユーザ定義の規則一式を前記相関したデータに適用するステップと、
前記相関したデータと、前記ユーザ定義の規則一式のうちの少なくとも１つの規則との整合の特定に応じて、前記取引が潜在的に不審であるということを判断するステップと、を含む、方法。
【請求項２】
前記ユーザ定義の規則一式は、１つ以上のビデオ分析規則と１つ以上のデータ分析規則の組み合わせを含む、請求項１に記載の方法。
【請求項３】
前記ビデオコンテンツに、前記活動が行われた時を示す第１のタイムスタンプで印を付けるステップと、
前記取引データに、前記取引が処理された時を示す第２のタイムスタンプで印を付けるステップと、をさらに含み、
前記ビデオコンテンツは、前記第１のタイムスタンプを前記第２のタイムスタンプと整合させることによって、前記取引データと相関付けられる、請求項２に記載の方法。
【請求項４】
前記データ分析規則は、返品取引が行われたことを判断するための規則を含み、
前記ビデオ分析規則は、前記販売時点レジスタに顧客がいないことを判断するための規則を含む、請求項３に記載の方法。
【請求項５】
前記データ分析規則は、現金取引が無効になったことを判断するための規則を含み、
前記ビデオ分析規則は、前記販売時点レジスタに顧客がいないことを判断するための規則を含む、請求項３に記載の方法。
【請求項６】
前記データ分析規則は、取引が行われていないことを判断するための規則を含み、
前記ビデオ分析規則は、前記販売時点レジスタの引出しが開いていることを判断するための規則を含む、請求項３に記載の方法。
【請求項７】
モニタされた施設で行われている活動を自動的に特定する方法であって、
前記モニタされた施設で行われている活動のビデオコンテンツを回収するステップと、
物体認識技術を使用して、ビデオ分析規則一式を前記回収されたビデオコンテンツに適用することによって、前記ビデオコンテンツを分析するステップと、
前記販売施設内の少なくとも１つの取引時点端末によって処理される１つ以上の取引に関連する取引データを回収するステップと、
前記ビデオコンテンツが、前記ビデオ分析規則一式のうちの少なくとも１つのビデオ分析規則に一致するという判断に応じて、前記ビデオコンテンツを前記取引データと相関付けて、相関した取引データを提供するステップと、を含む、方法。
【請求項８】
前記ビデオコンテンツに、前記活動が行われた時を示す第１のタイムスタンプで印を付けるステップと、
前記取引データに、前記取引が処理された時を示す第２のタイムスタンプで印を付けるステップと、をさらに含み、
前記ビデオコンテンツは、前記第１のタイムスタンプを前記第２のタイムスタンプと整合させることによって、前記取引データと相関付けられる、請求項７に記載の方法。
【請求項９】
前記ビデオコンテンツが、前記ビデオ分析規則一式のうちの少なくとも１つのビデオ分析規則に一致するという判断に応じて、アラームを発生するステップをさらに含む、請求項８に記載の方法。
【請求項１０】
前記取引データを使用して、なぜ前記ビデオコンテンツが前記ビデオ分析規則一式のうちの少なくとも１つのビデオ分析規則に一致するのかを判断するステップをさらに含む、請求項９に記載の方法。
【請求項１１】
前記少なくとも１つのビデオ分析規則は、精算の列に立っている顧客の数が既定の閾値を超過したことを判断するための規則を含む、請求項９に記載の方法。
【請求項１２】
前記少なくとも１つのビデオ分析規則は、顧客が精算の列に立っているのに費やした期間が既定の閾値を超過したことを判断するための規則を含む、請求項９に記載の方法。
【請求項１３】
前記ビデオコンテンツが、前記ビデオ分析規則一式のうちの少なくとも１つのビデオ分析規則に一致するということの判断に応じて、前記ビデオコンテンツが少なくとも１つのビデオ分析規則に一致する間に行われている取引を詳述するレポートを生成するステップをさらに含む、請求項８に記載の方法。
【請求項１４】
前記少なくとも１つのビデオ分析規則は、前記販売施設に出入りする顧客の数を判断するための規則を含む、請求項１３に記載の方法。
【請求項１５】
モニタされた施設で行われている活動を分析するためのシステムであって、前記モニタされた施設は、少なくとも１つの取引時点端末を含み、前記システムは、
ビデオ分析システムであって、前記モニタされた施設で行われている活動のビデオコンテンツを回収するように動作可能である、ビデオ分析システムと、
データ分析システムであって、前記少なくとも１つの取引時点端末で処理される１つ以上の取引に関連する取引データを回収するように動作可能である、データ分析システムと、
前記ビデオ分析システムおよび前記データ分析システムに通信可能に連結される統合サーバであって、
前記ビデオコンテンツを、前記取引データに相関付けて、相関したデータを生成し、
ユーザ定義の規則一式を前記相関したデータに適用し、
前記相関したデータと、前記ユーザ定義の規則一式のうちの少なくとも１つの規則との整合を特定するように動作可能である、統合サーバと、を含む、システム。
【請求項１６】
前記統合サーバは、前記１つ以上の取引が潜在的に不審であることを判断し、アラームを発生するように、さらに動作可能であり、前記システムは、前記統合サーバに通信可能に連結されたクライアントインターフェイスをさらに含み、前記クライアントインターフェイスは、前記アラームを示すように動作可能である、請求項１５に記載のシステム。
【請求項１７】
前記クライアントインターフェイスは、前記ユーザ定義の規則一式を受信するようにさらに動作可能であり、前記ユーザ定義の規則一式は、１つ以上のビデオ分析規則と１つ以上のデータ分析規則との組み合わせを含む、請求項１６に記載のシステム。
【請求項１８】
前記ビデオコンテンツは、前記活動が行われた時間を示す第１のタイムスタンプを含み、前記取引データは、前記取引が処理された時間を示す第２のタイムスタンプを含み、前記統合サーバは、前記第１のタイムスタンプを前記第２のタイムスタンプと整合させることによって、前記ビデオコンテンツを前記取引データに相関付けるようにさらに動作可能である、請求項１７に記載のシステム。
【請求項１９】
前記データ分析規則は、返品取引が行われたことを判断するための規則を含み、
前記ビデオ分析規則は、前記取引時点端末に顧客がいないことを判断するための規則を含む、請求項１８に記載のシステム。
【請求項２０】
前記データ分析規則は、現金取引が無効になったことを判断するための規則を含み、
前記ビデオ分析規則は、前記取引時点端末に顧客がいないことを判断するための規則を含む、請求項１８に記載のシステム。
【請求項１】
モニタされた施設において、潜在的に不審な挙動を検出するための方法であって、
前記モニタされた施設で行われている活動のビデオコンテンツを回収するステップと、
取引時点端末で処理される取引に関連する取引データを回収するステップと、
前記ビデオコンテンツを、前記取引データと相関付け、相関したデータを生成するステップと、
ユーザ定義の規則一式を前記相関したデータに適用するステップと、
前記相関したデータと、前記ユーザ定義の規則一式のうちの少なくとも１つの規則との整合の特定に応じて、前記取引が潜在的に不審であるということを判断するステップと、を含む、方法。
【請求項２】
前記ユーザ定義の規則一式は、１つ以上のビデオ分析規則と１つ以上のデータ分析規則の組み合わせを含む、請求項１に記載の方法。
【請求項３】
前記ビデオコンテンツに、前記活動が行われた時を示す第１のタイムスタンプで印を付けるステップと、
前記取引データに、前記取引が処理された時を示す第２のタイムスタンプで印を付けるステップと、をさらに含み、
前記ビデオコンテンツは、前記第１のタイムスタンプを前記第２のタイムスタンプと整合させることによって、前記取引データと相関付けられる、請求項２に記載の方法。
【請求項４】
前記データ分析規則は、返品取引が行われたことを判断するための規則を含み、
前記ビデオ分析規則は、前記販売時点レジスタに顧客がいないことを判断するための規則を含む、請求項３に記載の方法。
【請求項５】
前記データ分析規則は、現金取引が無効になったことを判断するための規則を含み、
前記ビデオ分析規則は、前記販売時点レジスタに顧客がいないことを判断するための規則を含む、請求項３に記載の方法。
【請求項６】
前記データ分析規則は、取引が行われていないことを判断するための規則を含み、
前記ビデオ分析規則は、前記販売時点レジスタの引出しが開いていることを判断するための規則を含む、請求項３に記載の方法。
【請求項７】
モニタされた施設で行われている活動を自動的に特定する方法であって、
前記モニタされた施設で行われている活動のビデオコンテンツを回収するステップと、
物体認識技術を使用して、ビデオ分析規則一式を前記回収されたビデオコンテンツに適用することによって、前記ビデオコンテンツを分析するステップと、
前記販売施設内の少なくとも１つの取引時点端末によって処理される１つ以上の取引に関連する取引データを回収するステップと、
前記ビデオコンテンツが、前記ビデオ分析規則一式のうちの少なくとも１つのビデオ分析規則に一致するという判断に応じて、前記ビデオコンテンツを前記取引データと相関付けて、相関した取引データを提供するステップと、を含む、方法。
【請求項８】
前記ビデオコンテンツに、前記活動が行われた時を示す第１のタイムスタンプで印を付けるステップと、
前記取引データに、前記取引が処理された時を示す第２のタイムスタンプで印を付けるステップと、をさらに含み、
前記ビデオコンテンツは、前記第１のタイムスタンプを前記第２のタイムスタンプと整合させることによって、前記取引データと相関付けられる、請求項７に記載の方法。
【請求項９】
前記ビデオコンテンツが、前記ビデオ分析規則一式のうちの少なくとも１つのビデオ分析規則に一致するという判断に応じて、アラームを発生するステップをさらに含む、請求項８に記載の方法。
【請求項１０】
前記取引データを使用して、なぜ前記ビデオコンテンツが前記ビデオ分析規則一式のうちの少なくとも１つのビデオ分析規則に一致するのかを判断するステップをさらに含む、請求項９に記載の方法。
【請求項１１】
前記少なくとも１つのビデオ分析規則は、精算の列に立っている顧客の数が既定の閾値を超過したことを判断するための規則を含む、請求項９に記載の方法。
【請求項１２】
前記少なくとも１つのビデオ分析規則は、顧客が精算の列に立っているのに費やした期間が既定の閾値を超過したことを判断するための規則を含む、請求項９に記載の方法。
【請求項１３】
前記ビデオコンテンツが、前記ビデオ分析規則一式のうちの少なくとも１つのビデオ分析規則に一致するということの判断に応じて、前記ビデオコンテンツが少なくとも１つのビデオ分析規則に一致する間に行われている取引を詳述するレポートを生成するステップをさらに含む、請求項８に記載の方法。
【請求項１４】
前記少なくとも１つのビデオ分析規則は、前記販売施設に出入りする顧客の数を判断するための規則を含む、請求項１３に記載の方法。
【請求項１５】
モニタされた施設で行われている活動を分析するためのシステムであって、前記モニタされた施設は、少なくとも１つの取引時点端末を含み、前記システムは、
ビデオ分析システムであって、前記モニタされた施設で行われている活動のビデオコンテンツを回収するように動作可能である、ビデオ分析システムと、
データ分析システムであって、前記少なくとも１つの取引時点端末で処理される１つ以上の取引に関連する取引データを回収するように動作可能である、データ分析システムと、
前記ビデオ分析システムおよび前記データ分析システムに通信可能に連結される統合サーバであって、
前記ビデオコンテンツを、前記取引データに相関付けて、相関したデータを生成し、
ユーザ定義の規則一式を前記相関したデータに適用し、
前記相関したデータと、前記ユーザ定義の規則一式のうちの少なくとも１つの規則との整合を特定するように動作可能である、統合サーバと、を含む、システム。
【請求項１６】
前記統合サーバは、前記１つ以上の取引が潜在的に不審であることを判断し、アラームを発生するように、さらに動作可能であり、前記システムは、前記統合サーバに通信可能に連結されたクライアントインターフェイスをさらに含み、前記クライアントインターフェイスは、前記アラームを示すように動作可能である、請求項１５に記載のシステム。
【請求項１７】
前記クライアントインターフェイスは、前記ユーザ定義の規則一式を受信するようにさらに動作可能であり、前記ユーザ定義の規則一式は、１つ以上のビデオ分析規則と１つ以上のデータ分析規則との組み合わせを含む、請求項１６に記載のシステム。
【請求項１８】
前記ビデオコンテンツは、前記活動が行われた時間を示す第１のタイムスタンプを含み、前記取引データは、前記取引が処理された時間を示す第２のタイムスタンプを含み、前記統合サーバは、前記第１のタイムスタンプを前記第２のタイムスタンプと整合させることによって、前記ビデオコンテンツを前記取引データに相関付けるようにさらに動作可能である、請求項１７に記載のシステム。
【請求項１９】
前記データ分析規則は、返品取引が行われたことを判断するための規則を含み、
前記ビデオ分析規則は、前記取引時点端末に顧客がいないことを判断するための規則を含む、請求項１８に記載のシステム。
【請求項２０】
前記データ分析規則は、現金取引が無効になったことを判断するための規則を含み、
前記ビデオ分析規則は、前記取引時点端末に顧客がいないことを判断するための規則を含む、請求項１８に記載のシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公表番号】特表２０１０−５３３３１９（Ｐ２０１０−５３３３１９Ａ）
【公表日】平成２２年１０月２１日（２０１０．１０．２１）
【国際特許分類】
【出願番号】特願２０１０−５１２１６２（Ｐ２０１０−５１２１６２）
【出願日】平成２０年６月９日（２００８．６．９）
【国際出願番号】ＰＣＴ／ＵＳ２００８／００７２２３
【国際公開番号】ＷＯ２００８／１５４００３
【国際公開日】平成２０年１２月１８日（２００８．１２．１８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＷＩＮＤＯＷＳ
【出願人】（５９２１９２６４２）センサーマティック・エレクトロニクス・コーポレーション (92)
【氏名又は名称原語表記】ＳＥＮＳＯＲＭＡＴＩＣ ＥＬＥＣＴＯＲＯＮＩＣＳ ＣＯＲＰＯＲＡＴＩＯＮ
【住所又は居所原語表記】６６００ Ｃｏｎｇｒｅｓｓ Ａｖｅｎｕｅ，Ｂｏｃａ Ｒａｔｏｎ，Ｆｌｏｒｉｄａ ３３４８７，Ｕｎｉｔｅｄ Ｓｔａｔｅ ｏｆ Ａｍｅｒｉｃａ
【Ｆターム（参考）】
【公表日】平成２２年１０月２１日（２０１０．１０．２１）
【国際特許分類】
【出願日】平成２０年６月９日（２００８．６．９）
【国際出願番号】ＰＣＴ／ＵＳ２００８／００７２２３
【国際公開番号】ＷＯ２００８／１５４００３
【国際公開日】平成２０年１２月１８日（２００８．１２．１８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＷＩＮＤＯＷＳ
【出願人】（５９２１９２６４２）センサーマティック・エレクトロニクス・コーポレーション (92)
【氏名又は名称原語表記】ＳＥＮＳＯＲＭＡＴＩＣ ＥＬＥＣＴＯＲＯＮＩＣＳ ＣＯＲＰＯＲＡＴＩＯＮ
【住所又は居所原語表記】６６００ Ｃｏｎｇｒｅｓｓ Ａｖｅｎｕｅ，Ｂｏｃａ Ｒａｔｏｎ，Ｆｌｏｒｉｄａ ３３４８７，Ｕｎｉｔｅｄ Ｓｔａｔｅ ｏｆ Ａｍｅｒｉｃａ
【Ｆターム（参考）】
[ Back to top ]