ビデオプリミティブを用いたビデオ監視システム
ビデオ監視システムがセットアップされ、較正され、タスク割り当てが行われ、運用される。システムは、ビデオプリミティブを抽出し、イベント判別子を使ってビデオプリミティブからイベント発生を抽出する。システムは、抽出されたイベント発生に基づいて、警報などの応答を引き受けることができる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ビデオプリミティブを用いた自動ビデオ監視のシステムに関する。
【参照文献】
【0002】
読者の便宜のため、以下に本明細書で参照する参照文献を列挙する。本明細書では、{}で括った数字で個々の参照文献を指す。列挙する参照文献は、参照により、本明細書に組み込むものである。
【0003】
以下の参照文献には、移動目標検出について記載されている。
{1}A.Lipton、H.FujiyoshiおよびR.S.Patil、「Moving Target Detection and Classification from Real−Time Video」、IEEE WACV ’98予稿集、プリンストン、ニュージャージ州、1998年、8〜14頁。
{2}W.E.L.Grimsonら、「Using Adaptive Tracking to Classify and Monitor Activities in a Site」、CVPR、22〜29頁、1998年6月。
{3}A.J.Lipton、H.Fujiyoshi、R.S.Patil、「Moving Target Classification and Tracking from Real−time Video」、IUW、129〜136頁、1998年。
{4}T.J.OlsonおよびF.Z.Brill、「Moving Object Detection and Event Recognition Algorithm for Smart Cameras」、IUW、159〜175頁、1997年5月。
【0004】
以下の参照文献には、人間の検出と追跡について記載されている。
{5}A.J.Lipton、「Local Application of Optical Flow to Analyse Rigid Versus Non−Rigid Motion」、International Conference on Computer Vision、コルフ、ギリシャ、1999年9月。
{6}F.Bartolini、V.Cappellini、およびA.Mecocci、「Counting people getting in and out of a bus by real−time image−sequence processing」、IVC、12(1):36〜41頁、1994年1月。
{7}M.RossiおよびA.Bozzoli、「Tracking and counting moving people」、ICIP94、212〜216頁、1994年。
{8}C.R.Wren、A.Azarbayejani、T.Darrell、およびA.Pentland、「Pfinder: Real−time tracking of the human body」、Vismod、1995年。
{9}L.Khoudour、L.Duvieubourg、J.P.Deparis、「Real−Time Pedestrian Counting by Active Linear Cameras」、JEI、5(4):452〜459頁、1996年10月。
{10}S.Ioffe、D.A.Forsyth、「Probabilistic Methods for Finding People」、IJCV、43(1):45〜68頁、2001年6月。
{11}M.IsardおよびJ.MacCormick、「BraMBLe: A Bayesian Multiple−Blob Tracker」、ICCV、2001年。
【0005】
以下の参照文献には、ブロブ分析について記載されている。
{12}D.M.Gavrila、「The Visual Analysis of Human Movement: A Survey」、CVIU、73(1):82〜98頁、1999年1月。
{13}Niels HaeringおよびNiels da Vitoria Lobo、「Visual Event Detection」、Video Computing Series、Mubarak Shah編集、2001年。
【0006】
以下の参照文献には、トラック、乗用車、人々のブロブ分析について記載されている。
{14}Collins、Lipton、Kanade、Fujiyoshi、Duggins、Tsin、Tolliver、Enomoto、およびHasegawa、「A System for Video Surveillance and Monitoring: VSAM Final Report」、Technical Report CMU−RI−TR−00−12、カーネギーメロン大学ロボット研究所、2000年5月。
{15}Lipton、Fujiyoshi、およびPatil、「Moving Target Classification and Tracking from Real−time Video」、98 Darpa IUW、1998年11月20〜23日。
【0007】
以下の参照文献には、1人の人のブロブとその輪郭の分析について記載されている。
{16}C.R.Wren、A.Azarbayejani、T.Darrell、およびA.P.Pentland、「Pfinder: Real−Time Tracking of the Human Body」、PAMI、第19巻、780〜784頁、1997年。
【0008】
以下の参照文献には、任意の運動ベースの区分化を含めて、ブロブの内部運動について記載されている。
{17}M.AllmenおよびC.Dyer、「Long−Range Spatiotemporal Motion Understanding Using Spatiotemporal Flow Curves」、IEEE CVPR予稿集、ラハイナ、マウイ島、ハワイ州、303〜309頁、1991年。
{18}L.Wixson、「Detecting Salient Motion by Accumulating Directionally Consistent Flow」、IEEE会報、Pattern Analysis and Machine Intelligence、第22巻、774〜781頁、2000年8月。
【発明の背景】
【0009】
公共空間のビデオ監視が大いに普及し、一般社会に受け入れられている。残念ながら、従来のビデオ監視システムは、非常に膨大な量のデータを生じるため、扱いにくい問題は、結果としてビデオ監視データの分析となる。
【0010】
ビデオ監視データの分析を行うことができるように、ビデオ監視データの量を低減する必要がある。
【0011】
ビデオ監視データの所望の部分を識別するために、ビデオ監視データをフィルタにかける必要がある。
【発明の概要】
【0012】
本発明の一目的は、ビデオ監視データの分析を行うことができるようにビデオ監視データの量を低減することである。
【0013】
本発明の一目的は、ビデオ監視データの所望の部分を識別するために、ビデオ監視データをフィルタにかけることである。
【0014】
本発明の一目的は、ビデオ監視データからのイベントの自動検出に基づいて、リアルタイムの警報を生成することである。
【0015】
本発明の一目的は、サーチ能力の改善のために、ビデオ以外の監視センサからのデータを統合することである。
【0016】
本発明の一目的は、イベント検出能力の改善のために、ビデオ以外の監視センサからのデータを統合することである。
【0017】
本発明は、ビデオ監視の製造品、方法、システム、および装置を含む。
【0018】
本発明の製造品は、ビデオプリミティブに基づいてビデオ監視システムを動作させるコードセグメントを備える、ビデオ監視システムのソフトウェアを備えるコンピュータ可読媒体を含む。
【0019】
本発明の製造品は、アーカイブされたビデオプリミティブにアクセスするコードセグメントと、アクセスしたアーカイブビデオプリミティブからイベント発生を抽出するコードセグメントを備える、ビデオ監視システムのソフトウェアを備えるコンピュータ可読媒体を含む。
【0020】
本発明のシステムは、本発明に従ってコンピュータを動作させるソフトウェアを有するコンピュータ可読媒体を含むコンピュータシステムを含む。
【0021】
本発明の装置は、本発明に従ってコンピュータを動作させるソフトウェアを有するコンピュータ可読媒体を含むコンピュータを含む。
【0022】
本発明の製造品は、本発明に従ってコンピュータを動作させるソフトウェアを有するコンピュータ可読媒体を含む。
【0023】
さらに、本発明の上記の目的および利点は、本発明によって達成され得る目的および利点を例示するものであり、これらを網羅するものではない。よって、本発明の上記その他の目的および利点は、本明細書で例示するものも、当業者には明らかな任意の変形を考慮して変更されるものも、本明細書の説明を読めば明らかになるであろう。
【定義】
【0024】
「ビデオ」とは、アナログおよび/またはデジタル形式で表される動画をいう。ビデオの例には、テレビ、映画、ビデオカメラその他の観測装置からの画像シーケンス、コンピュータ生成画像シーケンスなどが含まれる。
【0025】
「フレーム」とは、ビデオ内の個々の画像その他の個別単位をいう。
【0026】
「オブジェクト」とは、ビデオ内の対象となる項目をいう。オブジェクトの例には、人、車両、動物、物理的対象などが含まれる。
【0027】
「アクティビティ」とは、1つまたは複数のオブジェクトの1つまたは複数の動作および/または1つまたは複数の複合動作をいう。アクティビティの例には、入る、出る、止まる、動く、上がる、下がる、伸びる、縮むなどが含まれる。
【0028】
「場所」とは、アクティビティが発生し得る空間をいう。場所は、例えば、場面ベースの、または画像ベースのものとすることができる。場面ベースの場所の例には、公共空間、店舗、小売スペース、事務所、倉庫、ホテルの部屋、ホテルのロビー、建物のロビー、カジノ、バス停留所、鉄道駅、空港、港、バス、列車、飛行機、船などが含まれる。画像ベースの場所の例には、ビデオ画像、ビデオ画像内の線、ビデオ画像内の区域、ビデオ画像の長方形の区画、ビデオ画像の多角形の区画などが含まれる。
【0029】
「イベント」とは、アクティビティに関与する1つまたは複数のオブジェクトをいう。イベントは、場所および/または時刻との関連で参照され得る。
【0030】
「コンピュータ」とは、構造化入力を受け入れ、所定の規則に従って構造化入力を処理し、処理の結果を出力として生成することのできる任意の装置をいう。コンピュータの例には、コンピュータ、汎用コンピュータ、スーパーコンピュータ、メインフレーム、スーパーミニコンピュータ、ミニコンピュータ、ワークステーション、マイクロコンピュータ、サーバ、対話型テレビ、コンピュータと対話型テレビの一体型機、コンピュータおよび/またはソフトウェアをエミュレートする特定用途向けハードウェアなどが含まれる。コンピュータは、単一のプロセッサを有することも、複数のプロセッサを有することもでき、複数のプロセッサは、並列に、かつ/または非並列に動作することができる。また、コンピュータは、コンピュータ間で情報を送受信するために、ネットワークを介して相互に接続された2台以上のコンピュータも指す。かかるコンピュータの一例には、ネットワークでリンクされたコンピュータを介して情報を処理する分散コンピュータシステムが含まれる。
【0031】
「コンピュータ可読媒体」とは、コンピュータによってアクセス可能なデータを格納するのに使用される任意の記憶装置をいう。コンピュータ可読媒体の例には、磁気ハードディスク、フロッピーディスク、CD−ROMやDVDなどの光ディスク、磁気テープ、メモリチップ、Eメールの送受信や、ネットワークへのアクセスに際して使用されるものなど、コンピュータ可読電子データを搬送するのに使用される搬送波などが含まれる。
【0032】
「ソフトウェア」とは、コンピュータを動作させるための所定の規則をいう。ソフトウェアの例には、ソフトウェア、コードセグメント、命令、コンピュータプログラム、プログラム化論理などが含まれる。
【0033】
「コンピュータシステム」とは、コンピュータを有するシステムをいい、その場合、コンピュータは、コンピュータを動作させるソフトウェアを実施するコンピュータ可読媒体を備える。
【0034】
「ネットワーク」とは、通信設備によって接続されている多数のコンピュータと関連付けられる機器をいう。ネットワークは、ケーブルなどの永久接続、または電話その他の通信リンクを介して行われるものなどの一時接続を伴う。ネットワークの例には、インターネットなどの相互接続ネットワーク、イントラネット、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、インターネットとイントラネットなどネットワークの組み合わせが含まれる。
【0035】
本発明の実施形態を、図面によってさらに詳細に説明する。図面において同じ参照番号は同じ特徴を指す。
【発明の詳細な説明】
【0036】
本発明の自動ビデオ監視システムは、例えば、市場調査や警備などの目的で場所を監視するためのものである。このシステムは、特定用途向けに作られた監視機器を備える専用ビデオ監視設備とすることもでき、監視ビデオフィードを利用する、既存のビデオ監視装置への後付設備とすることもできる。このシステムは、ライブソースからの、または記録された媒体からのビデオデータを分析することができる。このシステムは、リアルタイムでビデオデータを処理し、後で超高速のフォレンジックイベント検出を可能にするように、抽出されたビデオプリミティブを格納することができる。このシステムは、データを記録する、警報機構を作動させる、別のセンサシステムを作動させるなど、分析に対する所定の応答を有し得る。また、このシステムは、他の監視システム構成要素と統合することもできる。このシステムは、例えば、オペレータの必要に応じてカスタマイズすることができ、任意選択で、対話式Webベースインターフェースや、他の報告機構によって提示することもできる、警備報告や市場調査報告などを生成するのに使用され得る。
【0037】
オペレータには、イベント判別子を使ったシステム構成に際して、最大限の柔軟性が提供される。イベント判別子は、(その記述がビデオプリミティブに基づくものである)1つまたは複数のオブジェクトを、1つまたは複数の任意選択の空間属性、および/または1つまたは複数の任意選択の時間属性と共に用いて識別される。例えば、オペレータは、(本例で「徘徊」イベントと呼ぶ)イベント判別子を、「10:00PMから6:00AMまでの間」、「15分超の期間」にわたって、「現金自動預入支払機」の所にいる「人」オブジェクトとして定義することができる。イベント判別子を、修飾されたブール演算子と組み合わせて、より複雑な問い合わせを形成することができる。
【0038】
本発明のビデオ監視システムは、パブリックドメインから得た公知のコンピュータビジョン技術を利用するものであるが、本発明のビデオ監視システムは、現在利用することのできない、いくつかの独自で、新規な特徴を有する。例えば、現在のビデオ監視システムは、情報交換の1次産品として大量のビデオ画像を使用する。本発明のシステムは、1次産品としてビデオプリミティブを使用し、代表的なビデオ画像を付帯証拠として使用する。また、本発明のシステムは、(手動、半自動、または自動で)較正され、その後、ビデオ画像からビデオプリミティブを自動的に推論することもできる。このシステムは、さらに、以前に処理したビデオを、そのビデオを完全に再処理する必要もなく分析することもできる。以前に処理したビデオを分析することによって、システムは、以前に記録したビデオプリミティブに基づいて推論分析を行うことができ、コンピュータシステムの分析速度を大幅に改善する。
【0039】
また、ビデオプリミティブの使用は、ビデオの記憶所要量も大幅に低減し得る。これは、イベント検出応答サブシステムが、ビデオを、検出を示すためだけに使用するからである。その結果、ビデオは、より低い品質で格納され得る。可能な実施形態では、ビデオは、常時ではなく、アクティビティが検出されるときに限って格納されてもよい。別の可能な実施形態では、格納されるビデオの品質が、アクティビティが検出されるかどうかによって決まってもよい。すなわち、ビデオは、アクティビティが検出されるときには高品質で(高いフレーム速度および/またはビット速度)で、その他のときには低品質で格納され得る。別の例示的実施形態では、ビデオの記憶とデータベースが、例えば、デジタルビデオレコーダ(DVR)などによって別に処理され、ビデオ処理サブシステムは、データが格納されるかどうかと、どんな品質で格納されるかを制御するだけでもよい。
【0040】
別の例として、本発明のシステムは、独自のシステムタスク割り当てを提供する。現在のビデオシステムは、装置制御指示文を使って、ユーザが、ビデオセンサを位置決めすることを可能にし、いくつかの洗練された従来のシステムでは、対象領域または非対象領域にマスキングすることを可能にする。装置制御指示文は、ビデオカメラの位置、向き、および焦点を制御する命令である。本発明のシステムは、装置制御指示文の代わりに、1次タスク割り当て機構として、ビデオプリミティブに基づくイベント判別子を使用する。イベント判別子とビデオプリミティブを用いれば、オペレータに、システムから有用な情報を抽出するための、従来のシステムよりもずっと直観的な手法が提供される。本発明のシステムでは、システムに「カメラAを左に45°パンする」などの装置制御指示文でタスクを割り当てるのではなく、「人が制限区域Aに入る」など、ビデオプリミティブに基づく1つまたは複数のイベント判別子を用いた、人間が直観的に理解する態様でタスク割り当てが行われ得る。
【0041】
本発明を市場調査に使用する場合、本発明を用いて行われ得る種類のビデオ監視の例は、店内の人々を数える、店の一部にいる人々を数える、店内の特定の場所で立ち止まる人々を数える、店内で人々がどれ程の時間を過ごすか測定する、店の一部で人々がどれ程の時間を過ごすか測定する、店内の線の長さを測定するなどである。
【0042】
本発明を警備に使用する場合、本発明を用いて行われ得る種類のビデオ監視の例は、誰かが制限区域に入ったときを判定し、関連付けられる画像を格納する、人が異常な時刻に区域に入ったときを判定する、許可されていない可能性のある棚スペースと格納スペースの変化が発生したときを判定する、航空機に搭乗している乗客が操縦室に接近したときを判定する、人々が保護された入口をテールゲートして(前の人との間隔を空けずに)通ったときを判定する、空港内に放置されたバッグがあるかどうか判定する、資産の盗難があるかどうか判定するなどである。
【0043】
適用分野の一例がアクセス制御であり、これには、例えば、人がフェンスを乗り越えたかどうか、または禁止区域に入ったかどうか検出する、誰かが誤った方向に移動したかどうか(例えば、空港で、出口を通って保護区域に入るなど)検出する、対象区域内で検出されるオブジェクトの数が、入場のためのRFIDタグまたはカード読み取りに基づく期待される数と一致せず、無許可の人員の存在を指示しているかどうか判定するなどが含まれ得る。また、これは、ビデオ監視システムが人とペットの動きを区別することができ、よって、誤った警報の大部分を無くすことのできる住居の適用例でも役立ち得る。多くの住居適用例では、プライバシーが問題となり得ることに留意されたい。例えば、住宅所有者は、別の人に住宅を遠隔で監視させ、住宅内に何があり、住宅内で何が起こっているか見られるのを望まないこともある。したがって、かかる適用例で使用されるいくつかの実施形態では、ビデオ処理がローカルで行われ、必要なとき(例えば、それだけに限らないが、犯罪活動やその他の危険な状況の検出など)に限り、任意選択のビデオまたはスナップ写真が、1つまたは複数のリモート監視所に送られてもよい。
【0044】
別の適用分野の例が、資産監視である。これは、場面からオブジェクトが持ち去られるかどうか、例えば、芸術品が美術館から取り除かれるかどうか検出することを意味し得る。小売環境では、資産監視にはいくつかの態様が考えられ、例えば、1人の人が、疑わしいほど多数の所与の品物を取るかどうか検出する、人が、入口を通って出るかどうか、特に、ショッピングカートを押しながらこれを行うかどうか判定する、人が、品物に適合しない値札を添付するかどうか、例えば、袋に、最も高価な種類のコーヒを、より安価な種類のものの値札を使って詰めるなどを判定する、あるいは、人が、大きな箱と共に荷積み場所を離れるかどうか検出するなどが含まれ得る。
【0045】
別の適用分野の例が、安全のためである。これには、例えば、人が、店舗や駐車場などで、滑って転ぶかどうか検出する、車が駐車場でスピードを出しすぎているかどうか検出する、駅に列車が停車していないときに、人が、鉄道または地下鉄駅のホームの縁に近づきすぎているかどうか検出する、人がレール上にいるかどうか検出する、列車が動き始めるときに、人が列車のドアに挟まっているかどうか検出する、施設に出入りする人の数を数えて、緊急時に非常に重要になり得る正確な人数を記録するなどが含まれ得る。
【0046】
別の適用分野の例が、交通監視である。これには、車両が、特に、橋やトンネルのような場所で停止したかどうか検出する、あるいは車両が駐車禁止区域で駐車するかどうか検出するなどが含まれ得る。
【0047】
別の適用分野の例が、テロ行為の防止である。これには、前述の適用例のいくつかに加えて、オブジェクトが空港のコンコースに置き忘れられているかどうか、オブジェクトがフェンスを超えて投げ入れられるかどうか、あるいはオブジェクトが線路上に放置されているかどうか検出する、重要なインフラストラクチャ周辺での人の徘徊または車両の巡回を検出する、あるいは、港湾または開放水域内の船に接近する、高速で移動するボートを検出するなどが含まれ得る。
【0048】
別の適用分野の例が、たとえ自宅であっても、病人と高齢者の介護の場合である。これには、例えば、人が転ぶかどうか検出する、あるいは、人が、長期間台所に入らないなどの異常な行動を検出するなどが含まれ得る。
【0049】
図1に、本発明のビデオ監視システムの平面図を示す。コンピュータシステム11は、本発明に従ってコンピュータ12を動作させるソフトウェアを実施するコンピュータ可読媒体13を有するコンピュータ12を備える。コンピュータシステム11は、1つまたは複数のビデオセンサ14と、1つまたは複数のビデオレコーダ15と、1つまたは複数の入力/出力(入出力)装置16に結合されている。また、ビデオセンサ14は、任意選択で、ビデオ監視データの直接記録のために、ビデオレコーダ15にも結合することもできる。コンピュータシステムは、任意選択で、他のセンサ17にも結合されている。
【0050】
ビデオセンサ14は、コンピュータシステム11にソースビデオを提供する。各ビデオセンサ14は、例えば、直接接続(ファイアワイヤデジタルカメラインターフェースなど)やネットワークなどを使って、コンピュータシステム11に結合することができる。ビデオセンサ14は、本発明の導入前にあってもよく、本発明の一部として導入することもできる。ビデオセンサ14の例には、ビデオカメラ、デジタルビデオカメラ、カラーカメラ、白黒カメラ、カメラ、カメラ一体型ビデオ、PCカメラ、Webカム、赤外線ビデオカメラ、CCTVカメラなどが含まれる。
【0051】
ビデオレコーダ15は、記録するためにコンピュータシステム11からビデオ監視データを受け取り、および/または、コンピュータシステム11にソースビデオを提供する。各ビデオレコーダ15は、例えば、直接接続やネットワークなどを使ってコンピュータシステム11に結合することができる。ビデオレコーダ15は、本発明の導入前にあってもよく、本発明の一部として導入することもできる。コンピュータシステム11内のビデオ監視システムは、ビデオレコーダ15が、ビデオを、いつ、どんな品質設定で記録するか制御し得る。ビデオレコーダ15の例には、ビデオテープレコーダ、デジタルビデオレコーダ、ビデオディスク、DVD、コンピュータ可読媒体などが含まれる。
【0052】
入出力装置16は、コンピュータシステム11に入力を提供し、コンピュータシステム11から出力を受け取る。入出力装置16は、コンピュータシステム11にタスクを割り当て、コンピュータシステム11から報告を生成するのに使用され得る。入出力装置16の例には、キーボード、マウス、スタイラス、モニタ、プリンタ、別のコンピュータシステム、ネットワーク、警報装置などが含まれる。
【0053】
その他のセンサ17は、コンピュータシステム11に別の入力を提供する。その他の各センサ17は、例えば、直接接続やネットワークなどを使ってコンピュータシステム11に結合することができる。その他のセンサ17は、本発明の導入前に終了することもでき、本発明の一部として導入することもできる。別のセンサ17の例には、それだけに限らないが、動きセンサ、光学式仕掛け線、生体測定センサ、RFIDセンサ、カード式またはキーパッド式の許可システムなどが含まれる。その他のセンサ17の出力は、コンピュータシステム11、記録装置、および/または記録システムによって記録され得る。
【0054】
図2に、本発明のビデオ監視システムの流れ図を示す。本発明の様々な態様を、食料品店の監視に適用された本発明のビデオ監視システムの例が示されている図10〜15を参照して例示する。
【0055】
ブロック21で、図1について論じたように、ビデオ監視システムがセットアップされる。各ビデオセンサ14が、ビデオ監視の場所に向けられる。コンピュータシステム11は、ビデオ装置14、15からのビデオフィードに接続される。ビデオ監視システムは、既存の装置、またはその場所に新規に設置される装置を使って実施され得る。
【0056】
ブロック22で、ビデオ監視システムが較正される。ビデオ監視システムが、ブロック21から所定の位置に置かれた後で、較正が行われる。ブロック22の結果、ビデオ監視システムは、ビデオセンサによって提供されるビデオ画像内の様々な場所における特定のオブジェクト(人など)のおおよその実寸と速さを判定することができるようになる。システムは、手動較正、半自動較正、および自動較正を使って較正され得る。較正については、ブロック24の考察後にさらに説明する。
【0057】
図2のブロック23で、ビデオ監視システムにタスクが割り当てられる。タスク割り当ては、ブロック22の較正後に行われ、任意選択である。ビデオ監視システムへのタスク割り当ては、1つまたは複数のイベント判別子の指定を伴う。タスク割り当てを行わない場合、ビデオ監視システムは、図4のブロック45と同様に、処置を講じずに、ビデオプリミティブと関連付けられるビデオ画像を検出し、アーカイブする動作を行う。
【0058】
図3に、イベント判別子を決定するためのビデオ監視システムへのタスク割り当ての流れ図を示す。イベント判別子とは、任意選択で、1つまたは複数の空間属性および/または1つまたは複数の時間属性と相互作用する1つまたは複数のオブジェクトをいう。イベント判別子は、ビデオプリミティブ(アクティビティ記述メタデータともいう)に関して記述される。ビデオプリミティブ設計基準の中には、リアルタイムでビデオストリームから抽出され得る能力、ビデオからのすべての関連情報を含めること、表現の簡潔さが含まれる。
【0059】
ビデオストリームからのビデオプリミティブのリアルタイム抽出は、システムが、リアルタイムの警告を生成することを可能にするのに求められるものであり、そのためには、ビデオは連続する入力ストリームを提供するので、システムは後れを取ってはならない。
【0060】
また、ビデオプリミティブは、ビデオからのすべての関連情報を含む必要がある。というのは、ビデオプリミティブの抽出時には、ユーザ定義の規則がシステムに知られていないからである。したがって、ビデオプリミティブは、ビデオに戻って、これを再分析すること必要とせずに、ユーザによって指定される任意のイベントを検出することのできる情報を含む必要がある。
【0061】
また、複数の理由で、簡潔な表現も求められる。提案する発明の一目標は、監視システムの記憶再利用時間を延長することである。これは、高品質ビデオを常時格納することを、アクティビティ記述メタデータと、前述のような、アクティビティの有無に応じた品質を有するビデオを格納することで置き換えることによって達成され得る。したがって、ビデオプリミティブが簡潔であるほど、より多くのデータが格納され得る。加えて、ビデオプリミティブ表現が簡潔であるほど、データアクセスは高速になり、これは、ひいては、フォレンジックサーチを加速し得る。
【0062】
ビデオプリミティブの厳密な内容は、用途と、潜在的な対象イベントによって異なり得る。以下で、いくつかの例示的実施形態について説明する。
【0063】
ビデオプリミティブの一例示的実施形態は、全般的な場面とビデオを記述する、場面/ビデオ記述子を含み得る。一般に、これは、空、葉、人造物、水などの場所といった場面の様相、および/または、降水、霧の有無などの気象条件の詳細な記述を含み得る。ビデオ監視用途では、例えば、全体図における変化が重要となり得る。記述子の例は、突然の照明の変化を記述し得る。これらの記述子は、カメラの動き、特に、カメラが動き始め、または動きを停止したことを示し、後者の場合には、カメラが、その以前の視野または少なくとも以前に知っていた視野に戻ったかどうかを示すこともある。これらの記述子は、ビデオフィードの品質の変化、例えば、ビデオフィードに、突然、雑音が生じ、またはビデオフィードが暗くなり、潜在的にフィードの改ざんを示しているかどうかなどを示すこともある。あるいは、これらの記述子は、水域に沿った喫水線の変化を示すこともある(この後者の問題の具体的手法の詳細については、例えば、参照により本明細書に組み込まれる、2004年10月1日に出願した、同時係属の米国特許出願第10/954479号明細書などを参照し得る)。
【0064】
ビデオプリミティブの別の例示的実施形態は、ビデオフィードに見られるオブジェクトの観測可能な属性に言及するオブジェクト記述子を含み得る。オブジェクトに関してどんな情報が格納されるかは、適用分野と、利用可能な処理機能に左右され得る。オブジェクト記述子の例には、それだけに限らないが、サイズ、形状、外周、位置、軌道、動きの速さと方向、動きの顕著性と特徴、色、剛性、テクスチャ、および/または分類を含む一般的特性が含まれ得る。また、オブジェクト記述子は、さらに若干の用途と種類に特有の情報も含み得る。人間では、これには、肌の色合い、性別、および人種情報の有無と割合、人間の形状とポーズを記述する何らかの人体モデルが含まれ、車両では、車種(トラック、SUV、セダン、バイクなど)、メーカ、型式、ナンバープレートの番号が含まれ得る。また、オブジェクト記述子は、それだけに限らないが、オブジェクトを持ち運ぶ、走る、歩く、立ち上がる、両腕を上げるなどを含むアクティビティも含み得る。また、話す、戦う、衝突するなどのいくつかのアクティビティは、他のオブジェクトにも言及し得る。またオブジェクト記述子は、それだけに限らないが、顔や歩調などを含む識別情報も含み得る。
【0065】
ビデオプリミティブの別の例示的実施形態は、ビデオのあらゆる領域の動きの方向を記述するフロー記述子を含み得る。かかる記述子は、例えば、禁止された方向への任意の動きを検出することにより、パスバックイベントを検出するのに使用され得る(この後者の問題の具体的手法の詳細については、例えば、参照により本明細書に組み込まれる、2004年1月30日に出願した、同時係属の米国特許出願第10/766949号明細書などを参照し得る)。
【0066】
また、プリミティブは、オーディオセンサ、熱センサ、圧力センサ、カード読取装置、RFIDタグ、生体測定センサなどの非ビデオソースからももたらされ得る。
【0067】
分類とは、オブジェクトの、特定のカテゴリまたはクラスに属するものとしての識別をいう。分類の例には、人、犬、車両、パトカー、個人、特定の種類のオブジェクトなどが含まれる。
【0068】
サイズとは、オブジェクトの寸法属性をいう。サイズの例には、大、中、小、均一、6フィート(約182.88cm)より高い、1フィート(約30.48cm)より短い、3フィート(約91.44cm)より幅広い、4フィート(約121.92cm)より薄い、ほぼ人間のサイズ、人間より大きい、人間より小さい、ほぼ車のサイズ、おおよその画素単位の寸法を有する画像中の長方形、画素数などが含まれる。
【0069】
位置とは、オブジェクトの空間属性をいう。位置は、例えば、画素座標で表される画像位置、ある世界座標系における実世界の絶対位置、陸標または別のオブジェクトに対する位置などとすることができる。
【0070】
色とは、オブジェクトの色属性をいう。色の例には、白、黒、グレー、赤、HSV値の範囲、YUV値の範囲、RGB値の範囲、平均RGB値、平均YUV値、およびRGB値のヒストグラムなどが含まれる。
【0071】
剛性とは、オブジェクトの形状一貫性属性をいう。非剛性オブジェクト(人々や動物など)の形状は、フレームごとに変化し、剛性オブジェクト(車両や住宅など)の形状は、(おそらく、回転によるわずかな変化を除いて)フレームごとにほぼ不変のままとし得る。
【0072】
テクスチャとは、オブジェクトのパターン属性をいう。テクスチャの例には、自己相似性、スペクトルパワー、直線性、粗さなどが含まれる。
【0073】
内部運動とは、オブジェクトの剛性の尺度をいう。相当に剛性を有するオブジェクトの一例が車であり、車は、あまり大きな量の内部運動を示さない。相当に剛性のないオブジェクトの一例が、揺れ動く腕と脚を有する人であり、人は、大きな量の内部運動を示す。
【0074】
動きとは、自動的に検出され得る任意の動きをいう。動きの例には、オブジェクトの出現、オブジェクトの消失、オブジェクトの垂直移動、オブジェクトの水平移動、オブジェクトの周期的運動などが含まれる。
【0075】
顕著な動きとは、自動的に検出され、ある期間にわたって追跡され得る任意の動きをいう。このような動くオブジェクトは、明らかに、意図的な動きを示す。顕著な動きの例には、ある場所から別の場所へ移動する、動いて別のオブジェクトと相互作用するなどが含まれる。
【0076】
顕著な動きの特徴とは、顕著な動きの特性をいう。顕著な動きの特徴の例には、軌道、画像空間内での軌道の長さ、環境の3次元表現内での軌道のおおよその長さ、時間の関数としての画像空間内でのオブジェクトの位置、時間の関数としての環境の3次元表現内でのオブジェクトのおおよその位置、軌道の期間、画像空間内での速度(速さと方向など)、環境の3次元表現内でのおおよその速度(速さと方向など)、ある速度での期間、画像空間内での速度の変化、環境の3次元表現での速度のおおよその変化、速度の変化の期間、動きの休止、動きの休止の期間などが含まれる。速度とは、特定の時刻におけるオブジェクトの速さと方向をいう。軌道とは、オブジェクトが追跡され得る限りの長さにわたる、またはある期間にわたるオブジェクトの(位置,速度)対の集合である。
【0077】
場面変化とは、ある期間におよぶ変化として検出され得る場面の任意の領域をいう。場面変化の例には、場面を去る静止オブジェクト、場面に入り、静止状態になるオブジェクト、場面内で位置を変えるオブジェクト、外観(色、形状、サイズなど)を変えるオブジェクトなどが含まれる。
【0078】
場面変化の特徴とは、場面変化の特性をいう。場面変化の特徴の例には、画像空間内での場面変化のサイズ、環境の3次元表現内での場面変化のおおよそのサイズ、場面変化が発生した時刻、画像空間内での場面変化の場所、環境の3次元表現内での場面変化のおおよその場所などが含まれる。
【0079】
事前定義モデルとは、オブジェクトの先験的に知られているモデルをいう。事前定義モデルの例には、大人、子供、車両、セミトレーラなどが含まれ得る。
【0080】
図16aに、本発明の一実施形態によるビデオ監視システムのビデオ分析部分の例を示す。図16aでは、ビデオセンサ(例えば、それだけに限らないが、ビデオカメラなど)1601が、ビデオ分析サブシステム1603にビデオストリーム1602を提供し得る。次いで、ビデオ分析サブシステム1603は、ビデオストリーム1602の分析を行ってビデオプリミティブを導出し、それらのビデオプリミティブが、プリミティブ記憶1605に格納され得る。プリミティブ記憶1605は、非ビデオプリミティブの格納にも使用され得る。ビデオ分析サブシステム1603は、さらに、前述のように、ビデオ記憶1604内のビデオストリーム1602の全部または部分の記憶、例えば、ビデオの品質および/または量を制御し得る。
【0081】
次に、図16bを参照すると、ビデオおよび、他のセンサがある場合には、非ビデオプリミティブ161が利用可能になると、システムは、イベントを検出し得る。ユーザは、規則応答定義インターフェース162を使って規則163と対応する応答164を定義することによってシステムにタスクを割り当てる。規則はイベント判別子に変換され、システムは、対応するイベント発生165を抽出する。検出されるイベント発生166は、ユーザ定義の応答167をトリガする。応答は、ビデオ記憶168(図16aのビデオ記憶1604と同じであっても、同じでなくてもよい)からの検出イベントのビデオのスナップ写真を含み得る。ビデオ記憶168は、ビデオ監視システムの一部とすることもでき、別個の記録装置15とすることもできる。応答の例には、それだけに限らないが、システムディスプレイ上で視覚および/または音声警告を作動させる、その場所で視覚および/または音声警報を作動させる、無音警報を作動させる、高速応答機構を作動させる、ドアをロックする、セキュリティサービスに連絡する、データ(画像データ、ビデオデータ、ビデオプリミティブ、および/または分析済みデータなど)を、それだけに限らないが、インターネットなどのネットワークを介して、別のコンピュータシステムに転送する、かかるデータを指定されたコンピュータ可読媒体に保存する、他の何らかのセンサまたは監視システムを作動させる、コンピュータシステム11および/または別のコンピュータシステムにタスクを割り当てる、ならびに/またはコンピュータシステム11および/または別のコンピュータシステムに指図するなどが含まれ得る。
【0082】
プリミティブデータは、データベースに格納されたデータと考えられ得る。プリミティブデータ内のイベント発生を検出するために、効率のよい問い合わせ言語が必要とされる。本発明のシステムの実施形態は、以下で説明するアクティビティ推論言語を含み得る。
【0083】
従来のリレーショナルデータベース問い合わせスキーマは、しばしば、ユーザが、様々な種類の格納データに関して柔軟な問い合わせを作成することができるように、ブール2分木構造に従う。葉ノードは、普通、「特性 関係 値」の形式のものであり、特性とは、(時刻や名前など)データの何らかの重要な特徴であり、関係とは、普通、数値演算子(「>」、「<」、「=」など)であり、値とは、その特性の有効な状態である。分岐ノードは、普通、「AND」、「OR」、「NOT」などの単項または2項ブール論理演算子を表す。
【0084】
これは、本発明の実施形態の場合と同様に、アクティビティ問い合わせ定式化スキーマの基礎を形成し得る。ビデオ監視用途の場合、特性は、サイズ、速さ、色、分類(人間、車両)といった、ビデオストリームで検出されるオブジェクトの特徴とすることもでき、あるいは、場面変化特性とすることもできる。図17に、かかる問い合わせの使用例を示す。図17aでは、問い合わせ「赤い車両を示せ」171が提示される。これは、オブジェクトの分類が車両であるかどうか173と、その色が主として赤であるかどうか174を検査する2つの「特性 関係 値」(または単に「特性」)問い合わせに分解される。これら2つの副問い合わせは、ブール演算子「AND」172で組み合わされ得る。同様に、図17bでは、問い合わせ「カメラが動きを開始し、または停止したときを示せ」が、特性副問い合わせ、「カメラは動きを開始しているか」177と、「カメラは動きを停止しているか」178のブール「OR」176組み合わせとして表され得る。
【0085】
本発明の実施形態は、この種のデータベース問い合わせスキーマを、次の2つの例示的な態様で拡張し得る。すなわち、(1)基本の葉ノードは、場面内の空間アクティビティを記述するアクティビティ検出子を用いて増補され、(2)ブール演算子分岐ノードは、空間、時間およびオブジェクトの相互関係を指定する修飾子を用いて増補され得る。
【0086】
アクティビティ検出子は、ビデオ場面の区域に関連する挙動に対応する。アクティビティ検出子は、オブジェクトが、場面内の場所とどのように相互作用し得るか記述する。図18に、3つのアクティビティ検出子の例を示す。図18aには、仮想ビデオ仕掛け線を使って、特定の方向に外周を横切る挙動が表されている(かかる仮想ビデオ仕掛け線がどのようにして実施され得るかの詳細については、例えば米国特許第6696945号明細書を参照し得る)。図18bには、線路上をある期間にわたって徘徊する挙動が表されている。図18cには、壁の一部から何かを取り去る挙動が表されている(これがどのようにしてなされ得るかの手法例については、2003年1月30日に出願された、「Video Scene Background Maintenance − Change Detection & Classification」という名称の、米国特許出願第10/331778号明細書を参照し得る)。他のアクティビティ検出子の例には、人が転ぶのを検出する、人が方向または速さを変更するのを検出する、人がある区域に入るのを検出する、または人が誤った方向に進むのを検出するなどが含まれ得る。
【0087】
図19に、赤い車両がビデオ仕掛け線191を横切るかどうか検出するために、アクティビティ検出子葉ノード(この場合、仕掛け線横断)が、どのようにして単純な特性問い合わせと組み合わされ得るかの一例を示す。特性問い合わせ172、173、174およびアクティビティ検出子193は、ブール「AND」演算子192と組み合わされる。
【0088】
問い合わせを修飾されたブール演算子(結合子)と組み合わせれば、さらに柔軟性が加わる。修飾子の例には、空間、時間、オブジェクト、およびカウンタ修飾子などが含まれる。
【0089】
空間修飾子は、ブール演算子を、場面内で近接している/近接していない子アクティビティ(すなわち、図19などでブール演算子の下に示されるブール演算子の引き数)だけに作用させ得る。例えば、「AND から50画素以内」は、「AND」が、アクティビティ間の距離が50画素未満の場合にのみ適用されることを意味するのに使用され得る。
【0090】
時間修飾子は、ブール演算子を、相互から指定された期間内に、かかる期間外に、またはある範囲内の時刻に発生する子アクティビティにのみ作用させ得る。また、各イベントの時間順序も指定され得る。例えば、「AND 第2から10秒以内に第1」は、「AND」が、第2の子アクティビティが、第1の子アクティビティ後10秒以内に発生する場合に限って適用されることを意味するのに使用され得る。
【0091】
オブジェクト修飾子は、ブール演算子を、同じオブジェクトまたは異なるオブジェクトが関与して発生する子アクティビティだけに作用させ得る。例えば、「AND 同じオブジェクトが関与する」は、「AND」が、2つの子アクティビティに、同じ特定のオブジェクトが関与する場合に限って適用されることを意味するのに使用され得る。
【0092】
カウンタ修飾子は、ブール演算子を、(1つまたは複数の)条件が所定の回数満たされた場合に限ってトリガさせ得る。カウンタ修飾子は、一般に、「少なくともn回」、「厳密にn回」、「多くともn回」などの数値関係を含み得る。例えば、「OR 少なくとも2回」は、「OR」演算子の副問い合わせの少なくとも2つが真でなければならないことを意味するのに使用され得る。カウンタ修飾子の別の用法は、「同じ人が、棚から少なくとも5個の品物を取った場合に警告する」のような規則を実施するものである。
【0093】
図20に、結合子の使用例を示す。ここで、必要とされるアクティビティ問い合わせは、「違法な左折を行う赤い車両を見つける」201というものである。違法な左折は、アクティビティ記述子と修飾されたブール演算子の組み合わせによって捕捉され得る。1つの仮想仕掛け線を使って、脇道から出てくるオブジェクト193が検出され、別の仮想仕掛け線を使って、道に沿って左へ進むオブジェクト205が検出され得る。これらは、修飾された「AND」演算子202によって組み合わされ得る。標準のブール「AND」演算子は、アクティビティ193と205の両方が検出されるべきことを保証する。オブジェクト修飾子203は、同じオブジェクトが両方の仕掛け線を横切ったことをチェックし、時間修飾子204は、まず、下から上への仕掛け線193が横切られ、続いて、その後10秒以内に、右から左への仕掛け線205が横切られたことをチェックする。
【0094】
また、この例は、結合子の能力を示すものでもある。理論的には、単純なアクティビティ検出子と結合子を利用せずに、左折に別個のアクティビティ検出子を定義することは可能である。しかしながら、この検出子は柔軟性がなく、任意の回転角度および方向に対応するのを困難にするはずであり、また、すべての潜在的イベントに別々の検出子を書くのも面倒であろう。これに対して、結合子と単純な検出子を使用すれば、大きな柔軟性がもたらされる。
【0095】
より単純な検出子の組み合わせとして検出され得る複合アクティビティの別の例には、駐車する車と車から降りる人や、グループを形成する複数の人々、テールゲーティングなどが含まれ得る。また、これらの結合子は、異なる種類とソースのプリミティブを組み合わせることもできる。例としては、「明かりが消される前に室内にいる人を示せ」、「直前にカードを読み取らせずにドアから入る人を示せ」、「対象区域に、RFIDタグ読取装置によって予期されるより多くのオブジェクトがあるかどうか(すなわち、RFIDタグのない違法なオブジェクトがその区域にあることを)示せ」などの規則が含まれ得る。
【0096】
結合子は、任意の数の副問い合わせを組み合わせることができ、他の結合子を、任意の深さまで組み合わせることさえもできる。一例が、図21aと21bに示す、車が左折し2101、次いで、右折する2104かどうか検出する規則である。左折2101は、方向仕掛け線2102、2103を用いて検出され、右折2104は、方向仕掛け線2105、2106を用いて検出され得る。左折は、それぞれ、仕掛け線2102と2103に対応する、仕掛け線アクティビティ検出子2112と2113が、オブジェクト修飾子「同じ」2117と時間修飾子「2113の前に2112」2118を伴う「AND」結合子2111で接続されたものとして表され得る。同様に、右折は、それぞれ、仕掛け線2105と2106に対応する仕掛け線アクティビティ検出子2115と2116が、オブジェクト修飾子「同じ」2119と時間修飾子「2116の前に2115」2120を伴う「AND」結合子2114で接続されたものとして表され得る。最初に左折し、次いで右折する同じオブジェクトを検出するために、左折検出子2111と右折検出子2114は、オブジェクト修飾子「同じ」2122と時間修飾子「2114の前に2111」2123を伴う「AND」結合子2121で接続される。最後に、検出されたオブジェクトが車両であることを確認するために、ブール「AND」演算子2125を使って、左折と右折の検出子2121と特性問い合わせ2124が組み合わされる。
【0097】
これらすべての検出子は、任意選択で、時間属性と組み合わされ得る。時間属性の例には、15分毎、9:00PMから6:30AMまでの間、5分未満、30秒より長い間、週末にかけてなどが含まれる。
【0098】
図2のブロック24で、ビデオ監視システムが運用される。本発明のビデオ監視システムは、自動的に動作し、場面内のオブジェクトのビデオプリミティブを検出してアーカイブし、イベント判別子を使ってリアルタイムでイベント発生を検出する。加えて、警報を作動させる、報告を生成する、出力を生成するなどの処置が、適宜、リアルタイムで講じられる。報告と出力は、システムに対してローカルで、またはインターネットなどのネットワークを介して別の場所で表示され、かつ/または格納され得る。図4に、ビデオ監視システムの動作の流れ図を示す。
【0099】
ブロック41で、コンピュータシステム11は、ビデオセンサ14および/またはビデオレコーダ15からソースビデオを獲得する。
【0100】
ブロック42で、ビデオプリミティブが、ソースビデオからリアルタイムで抽出される。任意選択で、非ビデオプリミティブが、1つまたは複数のその他のセンサ17から獲得され、かつ/または抽出され、本発明と共に使用されてもよい。ビデオプリミティブの抽出を図5で示す。
【0101】
図5に、ビデオ監視システムでのビデオプリミティブ抽出の流れ図を示す。ブロック51と52は、並列に動作し、任意の順序で、または同時に行われ得る。ブロック51では、動きによってオブジェクトが検出される。このブロックでは、画素レベルでフレーム間の動きを検出する任意の動き検出アルゴリズムが使用され得る。一例として、{1}で論じられている3フレーム差分技法を使用することができる。検出されたオブジェクトは、ブロック53に送られる。
【0102】
ブロック52では、変化によってオブジェクトが検出される。このブロックでは、背景モデルからの変化を検出する任意の変化検出アルゴリズムが使用され得る。このブロックでは、フレーム内の1つまたは複数の画素が、そのフレームの背景モデルに適合しないため、フレームの前景にあるものとみなされる場合に、オブジェクトが検出される。一例として、{1}と、2000年10月24日に出願された米国特許出願第09/694712号明細書に記載されている、動的適応背景減法などの確率的背景モデル化技法が使用され得る。検出されたオブジェクトは、ブロック53に送られる。
【0103】
ブロック51の動き検出技法と、ブロック52の変化検出技法は、相補的な技法であり、各技法が、有利には、他方の技法における不備に対処する。任意選択で、ブロック51と52について論じている技法に、追加の、かつ/または代替の検出方式を使用することもできる。追加の、かつ/または代替の検出方式の例には、{8}に記載されている人々を見つけるPfinder検出方式、肌の色合い検出方式、顔検出方式、モデルベースの検出方式などが含まれる。かかる追加の、かつ/または代替の検出方式の結果は、ブロック53に提供される。
【0104】
任意選択で、ビデオセンサ14が動きを有する場合(例えば、掃引、ズーム、および/または変換を行うビデオカメラなど)、ブロック51と52の間のブロックの前に追加のブロックを挿入して、ブロック51と52にビデオ安定化のための入力を提供することもできる。ビデオ安定化は、アフィン変換による、または射影的な大域的動き補償によって達成され得る。例えば、参照により本明細書に組み込まれる、2000年7月3日に出願された米国特許出願第09/609919号、現在の米国特許第6738424号明細書に記載されている画像整合などを使って、ビデオ安定化が獲得され得る。
【0105】
ブロック53で、ブロブが生成される。一般に、ブロブとは、フレーム内の任意のオブジェクトである。ブロブの例には、人や車両などの動くオブジェクト、家具、衣料品、小売商品などの消費者製品などが含まれる。ブロブは、ブロック32と33からの検出オブジェクトを使って生成される。このブロックでは、ブロブを生成する任意の技法が使用され得る。動き検出と変化検出からブロブを生成する技法の一例は、連結成分方式を使用する。例えば、{1}に記載されている、形態学および連結成分アルゴリズムなどが使用され得る。
【0106】
ブロック54で、ブロブが追跡される。このブロックでは、ブロブを追跡する任意の技法が使用され得る。例えば、カルマンフィルタリングまたは圧縮アルゴリズムなどが使用され得る。別の例として、{1}に記載されているような、テンプレートマッチング技法も使用され得る。別の例として、{5}に記載されている、多重仮説カルマントラッカも使用され得る。別の例として、2000年10月24日に出願された米国特許出願第09/694712号明細書に記載されているフレームごとの追跡技法も使用され得る。場所が食料品店である例では、追跡され得るオブジェクトの例には、動く人々、在庫商品、ショッピングカートや台車などの在庫移動器具などが含まれる。
【0107】
任意選択で、ブロック51〜54は、当業者に知られている任意の検出および追跡方式で置き換えることもできる。かかる検出および追跡方式の一例が、{11}に記載されている。
【0108】
ブロック55で、追跡されるオブジェクトの各軌道が分析されて、その軌道が顕著であるかどうか判定される。軌道が顕著でない場合、軌道は不安定な動きを呈するオブジェクトを表し、または不安定なサイズまたは色のオブジェクトを表し、対応するオブジェクトは拒絶され、それ以上システムによって分析されなくなる。軌道が顕著である場合、その軌道は、潜在的に対象とされるオブジェクトを表す。軌道が顕著であるか、それとも顕著でないかは、その軌道に顕著性尺度を適用することによって判定される。軌道が顕著であるか、それとも顕著でないか判定する技法は、{13}と{18}に記載されている。
【0109】
ブロック56で、各オブジェクトが分類される。各オブジェクトの一般的な種類は、オブジェクトの分類として決定される。分類は、いくつかの技法によって実行することができ、かかる技法の例には、ニューラルネットワーク分類子を使用するもの{14}や、線形判別分類子を使用するもの{14}などが含まれる。分類の例は、ブロック23で論じたものと同じである。
【0110】
ブロック57で、ブロック51〜56からの情報と、必要に応じて追加の処理を使って、ビデオプリミティブが識別される。識別されるビデオプリミティブの例は、ブロック23で論じたものと同じである。一例として、サイズには、システムは、ブロック22での較正から獲得される情報をビデオプリミティブとして使用することができる。較正から、システムは、オブジェクトのおおよそのサイズを判定するのに十分な情報を有する。別の例として、システムは、ブロック54から測定される速度をビデオプリミティブとして使用することもできる。
【0111】
ブロック43で、ブロック42からのビデオプリミティブがアーカイブされる。ビデオプリミティブは、コンピュータ可読媒体13または別のコンピュータ可読媒体にアーカイブされ得る。ビデオプリミティブと一緒に、ソースビデオからの関連付けられるフレームまたはビデオ画像もアーカイブされ得る。このアーカイブするステップは、任意選択である。すなわち、システムがリアルタイムイベント検出だけに使用される場合、アーカイブするステップは、省略され得る。
【0112】
ブロック44で、ビデオプリミティブから、イベント判別子を使って、イベント発生が抽出される。ビデオプリミティブは、ブロック42で決定され、イベント判別子は、ブロック23におけるシステムへのタスク割り当てから決定される。イベント判別子は、ビデオプリミティブをフィルタにかけて、イベント発生が発生したかどうか判定するのに使用される。例えば、イベント判別子は、9:00AMから5:00PMまでの間に、ある区域に「誤進入」する人と定義される「誤進入」イベントを見つけることもできる。イベント判別子は、図5に従って生成されるすべてのビデオプリミティブをチェックし、9:00AMから5:00PMまでの間のタイムスタンプ、「人」または「人々の集まり」という分類、その区域内の位置、および「誤った」運動方向という特性を有するビデオプリミティブの有無を判定する。また、イベント判別子は、前述のような、他の種類のプリミティブを使用してもよく、かつ/または複数のビデオソースからのビデオプリミティブを組み合わせてイベント発生を検出してもよい。
【0113】
ブロック45で、ブロック44で抽出された各イベント発生ごとに、適宜、処置が講じられる。図6に、ビデオ監視システムでの処置の流れ図を示す。
【0114】
ブロック61で、イベント発生を検出したイベント判別子によって指図されるように応答が引き受けられる。応答は、もしあれば、ブロック34でイベント判別子ごとに識別される。
【0115】
ブロック62で、発生した各イベント発生ごとに、アクティビティレコードが生成される。アクティビティレコードは、例えば、オブジェクトの軌道の詳細、オブジェクトの検出時刻、オブジェクトの検出位置、用いられたイベント判別子の記述または定義などを含む。アクティビティレコードは、イベント判別子によって必要とされる、ビデオプリミティブなどの情報を含み得る。また、アクティビティレコードは、イベント発生に関与する(1つまたは複数の)オブジェクトおよび/または(1つまたは複数の)区域の代表的なビデオまたは静止画像も含み得る。アクティビティレコードは、コンピュータ可読媒体上に格納される。
【0116】
ブロック63で、出力が生成される。出力は、ブロック44で抽出されたイベント発生と、ブロック41からのソースビデオの直接供給に基づくものである。出力は、コンピュータ可読媒体上に格納され、コンピュータシステム11または別のコンピュータシステムに表示され、あるいは別のコンピュータシステムに転送される。システムが動作する際、イベント発生に関する情報が収集され、この情報は、オペレータによって、リアルタイムを含めて、いつでも確認され得る。情報を受け取る形式の例には、コンピュータシステムのモニタ上の表示、ハードコピー、コンピュータ可読媒体、対話式Webページなどが含まれる。
【0117】
出力は、ブロック41からのソースビデオの直接供給からの表示を含み得る。例えば、ソースビデオは、コンピュータシステムのモニタのウィンドウ上に表示することも、閉回路モニタ上に表示することもできる。さらに、出力は、イベント発生に関与するオブジェクトおよび/または区域を強調表示するグラフィックスでマークされたソースビデオを含むこともできる。システムがフォレンジック分析モードで動作している場合、ビデオは、ビデオレコーダから供給されてもよい。
【0118】
出力は、オペレータおよび/またはイベント発生の要件に基づく、オペレータのための1つまたは複数の報告を含み得る。報告の例には、発生したイベント発生の数、イベント発生が発生した場面内の位置、イベント発生が発生した時刻、各イベント発生の代表的画像、各イベント発生の代表的ビデオ、生の統計データ、イベント発生の統計(数量、頻度、場所、時刻など)、および/または人間可読グラフィック表示などが含まれる。
【0119】
図13と14に、図15の食料品店内の通路についての報告例を示す。図13と14では、ブロック22においていくつかの区域が識別され、画像内でしかるべくラベル付けされる。図13内の各区域は図12内の各区域と一致し、図14内の各区域は、これらとは異なる。システムに、この区域内で立ち止まる人々を探すようタスクが割り当てられる。
【0120】
図13では、報告例は、ラベル、グラフィックス、統計情報、および統計情報の分析を含むように指定が書き込まれたビデオからの画像である。例えば、コーヒと識別されている区域は、この区域の平均顧客数が2人/時間であり、この区域の平均滞留時間が5秒であるという統計情報を有する。システムは、この区域が、「冷たい」領域である、すなわち、この領域ではあまり商業アクティビティが生じてないと判定した。別の例として、炭酸飲料と識別されている区域は、この区域の平均顧客数が15人/時間であり、この区域の平均滞留時間が22秒であるという統計情報を有する。システムは、この区域が、「熱い」領域である、すなわち、この領域には大量の商業アクティビティが生じていると判定した。
【0121】
図14では、報告例は、ラベル、グラフィックス、統計情報、および統計情報の分析を含むように指定が書き込まれたビデオからの画像である。例えば、通路の奥の区域は、平均顧客数が14人/時間であり、人通りが少ないと判定されている。別の例として、通路の手前の区域は、平均顧客数が83人/時間であり、人通りが多いと判定されている。
【0122】
図13または図14で、オペレータが任意の特定の区域または任意の特定の区域に関するより多くの情報を求める場合、ポイントアンドクリックインターフェースにより、オペレータは、システムが検出し、アーカイブしている領域および/またはアクティビティの代表的な静止画像とビデオ画像をナビゲートすることができる。
【0123】
図15に、食料品店内の通路の別の報告例を示す。この報告例は、ラベルと、軌道指示と、指定付きの画像を記述するテキストを含むように指定が書き込まれたビデオからの画像を含む。例示のシステムには、いくつかの区域で、オブジェクトの軌道の長さ、位置および時間、オブジェクトが動かなかった時間と場所、オペレータによって指定される軌道と区域との相関関係、およびオブジェクトの分類が人以外か、1人か、2人か、3人以上かをサーチするタスクが割り当てられている。
【0124】
図15のビデオ画像は、軌道が記録された期間からのものである。3つのオブジェクトのうち、2つのオブジェクトは、それぞれ、1人であると分類され、1つのオブジェクトは、人以外であると分類されている。各オブジェクトには、ラベル、すなわち、人ID1032、人ID1033、およびオブジェクトID32001が割り当てられる。人ID1032について、システムは、この人が、この区域内で52秒、○で指定される位置で18秒過ごしたと判定した。人ID1033について、システムは、この人が、この区域内で1分8秒、○で指定される位置で12秒過ごしたと判定した。人ID1032と人ID1033の軌道は、指定付き画像内に含まれる。オブジェクトID32001について、システムは、それ以上このオブジェクトを分析せず、このオブジェクトの位置を×で示した。
【0125】
図2のブロック22に戻って、較正は、(1)手動、(2)ビデオセンサまたはビデオレコーダからの画像を使った半自動、あるいは(3)ビデオセンサまたはビデオレコーダからの画像を使った自動とすることができる。画像が必要とされる場合、コンピュータシステム11によって分析されるべきソースビデオは、較正に使用されたソースビデオを獲得したビデオセンサからのものであると想定される。
【0126】
手動較正では、オペレータは、コンピュータシステム11に、ビデオセンサ14のそれぞれの向きと内部パラメータ、ならびに各ビデオセンサ14のその場所に対する配置を提供する。コンピュータシステム11は、任意選択で、その場所の地図を維持することができ、ビデオセンサ14の配置は、地図上に示され得る。地図は、環境の2次元または3次元表現とすることができる。加えて、手動較正は、システムに、オブジェクトのおおよそのサイズと相対的位置を決定するのに十分な情報も提供する。
【0127】
代替として、手動較正では、オペレータが、センサからのビデオ画像に、人など、知られているサイズのオブジェクトの外観を表すグラフィックを用いて指定を書き込むこともできる。オペレータが、画像内の少なくとも2つの異なる場所に指定を書き込み得る場合、システムは、おおよそのカメラ較正情報を推論することができる。
【0128】
半自動および自動較正では、カメラパラメータの知識も場面配置の知識も不要である。半自動および自動較正から、場面内の様々な区域におけるオブジェクトのサイズを近似するようにルックアップ表が生成され、またはカメラの内部と外部のカメラ較正パラメータが推論される。
【0129】
半自動較正では、ビデオ監視システムは、ビデオソースをオペレータからの入力と組み合わせて使って較正される。半自動較正されるべきビデオセンサの視界に1人の人が配置される。コンピュータシステム11は、その1人に関するソースビデオを受け取り、このデータに基づいて人のサイズを自動的に推論する。その人が見られるビデオセンサの視界内の場所数が増大し、その人が、ビデオセンサの視界内で見られる期間が長くなるに従って、半自動較正の正確さが向上する。
【0130】
図7に、ビデオ監視システムの半自動較正の流れ図を示す。ブロック71は、典型的なオブジェクトが、様々な軌道で場面を移動することを除いて、ブロック41と同じである。典型的なオブジェクトは、様々な速度を有し、様々な位置で静止し得る。例えば、典型的なオブジェクトは、可能な限りビデオセンサに近づき、次いで、可能な限りビデオセンサから遠ざかる。典型的なオブジェクトによるこの動きは、必要に応じて繰り返され得る。
【0131】
ブロック72〜25は、それぞれ、ブロック51〜54と同じである。
【0132】
ブロック76で、典型的なオブジェクトが、場面の至るところで監視される。追跡される唯一の(または少なくとも最も)安定したオブジェクトは、場面内の較正オブジェクト(すなわち、場面を移動する典型的なオブジェクト)であるものと仮定される。安定したオブジェクトのサイズは、それが観測される場面内のあらゆる地点について収集され、この情報を使って、較正情報が生成される。
【0133】
ブロック77で、典型的なオブジェクトのサイズが、場面全体の様々な区域について特定される。典型的なオブジェクトのサイズを使って、場面内の様々な区域における類似のオブジェクトのおおよそのサイズが決定される。この情報を用いて、画像内の様々な区域における典型的なオブジェクトの典型的な見かけ上のサイズにマッチするルックアップ表が生成され、あるいは内部と外部のカメラ較正パラメータが推論される。サンプル出力として、システムが適切な高さとして決定したものを、画像の様々な区域内の棒型の人物の表示で示す。かかる棒型の人物が、図11に示されている。
【0134】
自動較正では、コンピュータシステム11が、各ビデオセンサの視界内の場所に関する情報を判定する学習フェーズが行われる。自動較正の間、コンピュータシステム11は、その場面に典型的なオブジェクトの統計的に有意なサンプリングを獲得し、それによって、典型的な見かけ上のサイズと場所を推論するのに十分な、代表的な期間(数分間、数時間、または数日間など)にわたって、その場所のソースビデオを受け取る。
【0135】
図8に、ビデオ監視システムの自動較正の流れ図を示す。ブロック81〜86は、図7のブロック71〜76と同じである。
【0136】
ブロック87で、ビデオセンサの視界内の追跡可能領域が識別される。追跡可能領域とは、オブジェクトが、容易に、かつ/または正確に追跡され得る、ビデオセンサの視界内の領域をいう。追跡不能領域とは、オブジェクトが、容易に、かつ/または正確に追跡されず、かつ/または追跡するのが困難な、ビデオセンサの視界内の領域をいう。追跡不能領域を、不安定または非顕著領域と呼ぶこともできる。オブジェクトは、そのオブジェクトが小さすぎるために(所定の閾値より小さいなど)、あまりにも短時間しか出現しないために(所定の閾値より短いなど)、あるいは顕著でない動きを示すため(意図的でないなど)に、追跡するのが難しいこともある。追跡可能領域は、例えば、{13}に記載されている技法などを使って識別され得る。
【0137】
図10に、食料品店内の通路について決定された追跡可能領域を示す。通路の向こう側の区域は、この区域内にあまりにも多くの混乱要素が見えるため、顕著でないと判定されている。混乱要素とは、追跡方式を混乱させるビデオ内のものをいう。混乱要素の例には、風に揺れる葉、雨、一部が遮られて見えないオブジェクト、正確に追跡するにはあまりにも短期間しか現れないオブジェクトなどが含まれる。これに対して、通路のこちら側の区域は、この区域では良好な軌道が判定されるため、顕著であると判定されている。
【0138】
ブロック88で、場面全体の様々な区域でのオブジェクトのサイズが識別される。オブジェクトのサイズは、場面内の様々な区域における類似のオブジェクトのおおよそのサイズを決定するのに使用される。ヒストグラムや統計的中央値を使用するなどの技法を使って、オブジェクトの典型的な見かけ上の高さと幅が、場面内の場所の関数として求められる。場面の画像のある部分では、典型的なオブジェクトは、典型的な見かけ上の高さと幅を持ち得る。この情報を用いて、画像内の様々な区域におけるオブジェクトの典型的な見かけ上のサイズにマッチするルックアップ表が生成され、または内部と外部のカメラ較正パラメータが推論され得る。
【0139】
図11に、図10の食料品店の通路内の典型的なオブジェクトの典型的なサイズの識別を示す。典型的なオブジェクトは、人々であるものと想定され、ラベルによってしかるべく識別される。人々の典型的なサイズは、顕著な領域で検出される人々の平均身長と平均幅のグラフによって決定される。例では、グラフAが、平均的な人の平均身長について求められ、グラフBが、1人、2人、および3人の人の平均的な幅について求められる。
【0140】
グラフAでは、x軸に、ブロブの高さを画素数で示し、y軸に、発生する、x軸上で識別される個々の高さの例の数を示す。グラフAの線のピークは、場面の指定領域内で最も一般的なブロブの高さに対応し、この例では、ピークは、指定領域に立つ人の平均身長に対応する。
【0141】
人々がゆるくまとまったグループとして進むものと仮定して、グラフAに類似のグラフが、幅についてグラフBとして生成される。グラフBでは、x軸に、ブロブの幅を画素数で示し、y軸に、発生する、x軸上で識別される個々の幅の例の数を示す。グラフBの線の各ピークは、いくつかのブロブの平均幅に対応する。大部分のグループがただ1人の人を含むものと仮定すると、最大のピークが、最も一般的な幅に対応し、これが、指定領域内の人1人の平均幅に対応する。同様に、2番目に大きいピークは、指定領域内の人2人の平均幅に対応し、3番目に大きいピークは、指定領域内の人3人の平均幅に対応する。
【0142】
図9に、本発明のビデオ監視システムの追加の流れ図を示す。この追加の実施形態では、システムは、アーカイブされたビデオプリミティブをイベント判別子と共に分析して、例えば、ソースビデオ全体を見直す必要もなく、追加の報告を生成する。本発明に従ってビデオソースが処理された後の任意のときに、ソースビデオのビデオプリミティブが、図4のブロック43でアーカイブされる。追加の実施形態では、ビデオプリミティブだけが見直され、ビデオソースは、再処理されないため、ビデオコンテンツが、比較的短時間で再分析され得る。これは、現在の最新のシステムに優る大幅な効率改善を提供する。というのは、ビデオ画像データの処理は、極めて計算上に高くつくが、ビデオから抜粋された小規模なビデオプリミティブを分析すれば、極めて計算上に安くつくからである。一例として、「最近2ヶ月間に区域Aにおいて10分より長く立ち止まった人の数」というイベント判別子が生成され得る。この追加の実施形態では、最近2ヶ月間のソースビデオが見直される必要はない。そうではなく、最近2ヶ月間のビデオプリミティブが見直されるだけでよく、これは、大幅に効率のよいプロセスである。
【0143】
ブロック91は、図2のブロック23と同じである。
【0144】
ブロック92で、アーカイブされたビデオプリミティブにアクセスされる。ビデオプリミティブは、図4のブロック43でアーカイブされる。
【0145】
ブロック93と94は,図4のブロック44と45と同じである。
【0146】
用途の一例として、本発明は、小売陳列の効率性を評価することによって、小売市場空間を分析するのに使用され得る。小売陳列には、陳列商品と副次的商品両方の販売を促進するためにできるだけ人目を引こうと、多額の金が投入される。本発明のビデオ監視システムは、これらの小売陳列の効率性を評価するように構成され得る。
【0147】
この適用例では、ビデオ監視システムが、ビデオセンサの視界を、所望の小売陳列の周囲の空間に向けてセットアップされる。タスク割り当て時に、オペレータは、所望の小売陳列の周囲の空間を表す区域を選択する。判別子として、オペレータは、その区域に入り、測定可能な速度の低下を示し、または相当の時間にわたって立ち止まる人の大きさのオブジェクトを監視しようとすることを定義する。
【0148】
ある期間にわたって動作した後、ビデオ監視システムは、市場分析の報告を提供し得る。報告には、この小売陳列の周囲で歩調をゆるめた人の数、この小売陳列で立ち止まった人の数、この小売陳列に興味を示した人の、時間の関数としての内訳、例えば、何人が週末にかけて興味を示したかや、何人が夕方に興味を示したかなど、この小売陳列に興味を示した人のビデオスナップ写真が含まれ得る。ビデオ監視システムから獲得される市場調査情報は、店の売上情報および店の顧客記録と組み合わされて、分析者による小売陳列の有効性の理解を向上させることができる。
【0149】
本明細書で論じている実施形態および例は、非限定的な例である。
【0150】
本発明は、好ましい実施形態に関して詳細に説明されており、以上の説明より、本発明のより一般的な態様から逸脱することなく変更および改変を加えることができ、したがって、特許請求の範囲で定義される本発明は、かかるすべての変更および改変を、本発明の真の趣旨に含まれるものとして包含するものであることが、当業者には明らかであろう。
【図面の簡単な説明】
【0151】
【図1】本発明のビデオ監視システムを示す平面図である。
【図2】本発明のビデオ監視システムを示す流れ図である。
【図3】ビデオ監視システムのタスク割り当てを示す流れ図である。
【図4】ビデオ監視システムの動作を示す流れ図である。
【図5】ビデオ監視システムのビデオプリミティブの抽出を示す流れ図である。
【図6】ビデオ監視システムでの処置を示す流れ図である。
【図7】ビデオ監視システムの半自動較正を示す流れ図である。
【図8】ビデオ監視システムの自動較正を示す流れ図である。
【図9】本発明のビデオ監視システムを示す追加の流れ図である。
【図10】食料品店の監視に適用された本発明のビデオ監視システムの例を示す図である。
【図11】食料品店の監視に適用された本発明のビデオ監視システムの例を示す図である。
【図12】食料品店の監視に適用された本発明のビデオ監視システムの例を示す図である。
【図13】食料品店の監視に適用された本発明のビデオ監視システムの例を示す図である。
【図14】食料品店の監視に適用された本発明のビデオ監視システムの例を示す図である。
【図15】食料品店の監視に適用された本発明のビデオ監視システムの例を示す図である。
【図16a】本発明の一実施形態によるビデオ分析サブシステムを示す流れ図である。
【図16b】本発明の一実施形態によるイベント発生検出応答サブシステムを示す流れ図である。
【図17】データベース問い合わせの例を示す図である。
【図18a】本発明の様々な実施形態による、仕掛け線横断を検出するアクティビティ検出子の例を示す図である。
【図18b】本発明の様々な実施形態による、徘徊を検出するアクティビティ検出子の例を示す図である。
【図18c】本発明の様々な実施形態による、盗難を検出するアクティビティ検出子の例を示す図である。
【図19】本発明の一実施形態によるアクティビティ検出子問い合わせを示す図である。
【図20】本発明の一実施形態による、アクティビティ検出子と修飾子を伴うブール演算子を使った問い合わせの例を示す図である。
【図21a】複数レベルの結合子と、アクティビティ検出子と、特性問い合わせとを使った問い合わせの例を示す図である。
【図21b】複数レベルの結合子と、アクティビティ検出子と、特性問い合わせとを使った問い合わせの例を示す図である。
【技術分野】
【0001】
本発明は、ビデオプリミティブを用いた自動ビデオ監視のシステムに関する。
【参照文献】
【0002】
読者の便宜のため、以下に本明細書で参照する参照文献を列挙する。本明細書では、{}で括った数字で個々の参照文献を指す。列挙する参照文献は、参照により、本明細書に組み込むものである。
【0003】
以下の参照文献には、移動目標検出について記載されている。
{1}A.Lipton、H.FujiyoshiおよびR.S.Patil、「Moving Target Detection and Classification from Real−Time Video」、IEEE WACV ’98予稿集、プリンストン、ニュージャージ州、1998年、8〜14頁。
{2}W.E.L.Grimsonら、「Using Adaptive Tracking to Classify and Monitor Activities in a Site」、CVPR、22〜29頁、1998年6月。
{3}A.J.Lipton、H.Fujiyoshi、R.S.Patil、「Moving Target Classification and Tracking from Real−time Video」、IUW、129〜136頁、1998年。
{4}T.J.OlsonおよびF.Z.Brill、「Moving Object Detection and Event Recognition Algorithm for Smart Cameras」、IUW、159〜175頁、1997年5月。
【0004】
以下の参照文献には、人間の検出と追跡について記載されている。
{5}A.J.Lipton、「Local Application of Optical Flow to Analyse Rigid Versus Non−Rigid Motion」、International Conference on Computer Vision、コルフ、ギリシャ、1999年9月。
{6}F.Bartolini、V.Cappellini、およびA.Mecocci、「Counting people getting in and out of a bus by real−time image−sequence processing」、IVC、12(1):36〜41頁、1994年1月。
{7}M.RossiおよびA.Bozzoli、「Tracking and counting moving people」、ICIP94、212〜216頁、1994年。
{8}C.R.Wren、A.Azarbayejani、T.Darrell、およびA.Pentland、「Pfinder: Real−time tracking of the human body」、Vismod、1995年。
{9}L.Khoudour、L.Duvieubourg、J.P.Deparis、「Real−Time Pedestrian Counting by Active Linear Cameras」、JEI、5(4):452〜459頁、1996年10月。
{10}S.Ioffe、D.A.Forsyth、「Probabilistic Methods for Finding People」、IJCV、43(1):45〜68頁、2001年6月。
{11}M.IsardおよびJ.MacCormick、「BraMBLe: A Bayesian Multiple−Blob Tracker」、ICCV、2001年。
【0005】
以下の参照文献には、ブロブ分析について記載されている。
{12}D.M.Gavrila、「The Visual Analysis of Human Movement: A Survey」、CVIU、73(1):82〜98頁、1999年1月。
{13}Niels HaeringおよびNiels da Vitoria Lobo、「Visual Event Detection」、Video Computing Series、Mubarak Shah編集、2001年。
【0006】
以下の参照文献には、トラック、乗用車、人々のブロブ分析について記載されている。
{14}Collins、Lipton、Kanade、Fujiyoshi、Duggins、Tsin、Tolliver、Enomoto、およびHasegawa、「A System for Video Surveillance and Monitoring: VSAM Final Report」、Technical Report CMU−RI−TR−00−12、カーネギーメロン大学ロボット研究所、2000年5月。
{15}Lipton、Fujiyoshi、およびPatil、「Moving Target Classification and Tracking from Real−time Video」、98 Darpa IUW、1998年11月20〜23日。
【0007】
以下の参照文献には、1人の人のブロブとその輪郭の分析について記載されている。
{16}C.R.Wren、A.Azarbayejani、T.Darrell、およびA.P.Pentland、「Pfinder: Real−Time Tracking of the Human Body」、PAMI、第19巻、780〜784頁、1997年。
【0008】
以下の参照文献には、任意の運動ベースの区分化を含めて、ブロブの内部運動について記載されている。
{17}M.AllmenおよびC.Dyer、「Long−Range Spatiotemporal Motion Understanding Using Spatiotemporal Flow Curves」、IEEE CVPR予稿集、ラハイナ、マウイ島、ハワイ州、303〜309頁、1991年。
{18}L.Wixson、「Detecting Salient Motion by Accumulating Directionally Consistent Flow」、IEEE会報、Pattern Analysis and Machine Intelligence、第22巻、774〜781頁、2000年8月。
【発明の背景】
【0009】
公共空間のビデオ監視が大いに普及し、一般社会に受け入れられている。残念ながら、従来のビデオ監視システムは、非常に膨大な量のデータを生じるため、扱いにくい問題は、結果としてビデオ監視データの分析となる。
【0010】
ビデオ監視データの分析を行うことができるように、ビデオ監視データの量を低減する必要がある。
【0011】
ビデオ監視データの所望の部分を識別するために、ビデオ監視データをフィルタにかける必要がある。
【発明の概要】
【0012】
本発明の一目的は、ビデオ監視データの分析を行うことができるようにビデオ監視データの量を低減することである。
【0013】
本発明の一目的は、ビデオ監視データの所望の部分を識別するために、ビデオ監視データをフィルタにかけることである。
【0014】
本発明の一目的は、ビデオ監視データからのイベントの自動検出に基づいて、リアルタイムの警報を生成することである。
【0015】
本発明の一目的は、サーチ能力の改善のために、ビデオ以外の監視センサからのデータを統合することである。
【0016】
本発明の一目的は、イベント検出能力の改善のために、ビデオ以外の監視センサからのデータを統合することである。
【0017】
本発明は、ビデオ監視の製造品、方法、システム、および装置を含む。
【0018】
本発明の製造品は、ビデオプリミティブに基づいてビデオ監視システムを動作させるコードセグメントを備える、ビデオ監視システムのソフトウェアを備えるコンピュータ可読媒体を含む。
【0019】
本発明の製造品は、アーカイブされたビデオプリミティブにアクセスするコードセグメントと、アクセスしたアーカイブビデオプリミティブからイベント発生を抽出するコードセグメントを備える、ビデオ監視システムのソフトウェアを備えるコンピュータ可読媒体を含む。
【0020】
本発明のシステムは、本発明に従ってコンピュータを動作させるソフトウェアを有するコンピュータ可読媒体を含むコンピュータシステムを含む。
【0021】
本発明の装置は、本発明に従ってコンピュータを動作させるソフトウェアを有するコンピュータ可読媒体を含むコンピュータを含む。
【0022】
本発明の製造品は、本発明に従ってコンピュータを動作させるソフトウェアを有するコンピュータ可読媒体を含む。
【0023】
さらに、本発明の上記の目的および利点は、本発明によって達成され得る目的および利点を例示するものであり、これらを網羅するものではない。よって、本発明の上記その他の目的および利点は、本明細書で例示するものも、当業者には明らかな任意の変形を考慮して変更されるものも、本明細書の説明を読めば明らかになるであろう。
【定義】
【0024】
「ビデオ」とは、アナログおよび/またはデジタル形式で表される動画をいう。ビデオの例には、テレビ、映画、ビデオカメラその他の観測装置からの画像シーケンス、コンピュータ生成画像シーケンスなどが含まれる。
【0025】
「フレーム」とは、ビデオ内の個々の画像その他の個別単位をいう。
【0026】
「オブジェクト」とは、ビデオ内の対象となる項目をいう。オブジェクトの例には、人、車両、動物、物理的対象などが含まれる。
【0027】
「アクティビティ」とは、1つまたは複数のオブジェクトの1つまたは複数の動作および/または1つまたは複数の複合動作をいう。アクティビティの例には、入る、出る、止まる、動く、上がる、下がる、伸びる、縮むなどが含まれる。
【0028】
「場所」とは、アクティビティが発生し得る空間をいう。場所は、例えば、場面ベースの、または画像ベースのものとすることができる。場面ベースの場所の例には、公共空間、店舗、小売スペース、事務所、倉庫、ホテルの部屋、ホテルのロビー、建物のロビー、カジノ、バス停留所、鉄道駅、空港、港、バス、列車、飛行機、船などが含まれる。画像ベースの場所の例には、ビデオ画像、ビデオ画像内の線、ビデオ画像内の区域、ビデオ画像の長方形の区画、ビデオ画像の多角形の区画などが含まれる。
【0029】
「イベント」とは、アクティビティに関与する1つまたは複数のオブジェクトをいう。イベントは、場所および/または時刻との関連で参照され得る。
【0030】
「コンピュータ」とは、構造化入力を受け入れ、所定の規則に従って構造化入力を処理し、処理の結果を出力として生成することのできる任意の装置をいう。コンピュータの例には、コンピュータ、汎用コンピュータ、スーパーコンピュータ、メインフレーム、スーパーミニコンピュータ、ミニコンピュータ、ワークステーション、マイクロコンピュータ、サーバ、対話型テレビ、コンピュータと対話型テレビの一体型機、コンピュータおよび/またはソフトウェアをエミュレートする特定用途向けハードウェアなどが含まれる。コンピュータは、単一のプロセッサを有することも、複数のプロセッサを有することもでき、複数のプロセッサは、並列に、かつ/または非並列に動作することができる。また、コンピュータは、コンピュータ間で情報を送受信するために、ネットワークを介して相互に接続された2台以上のコンピュータも指す。かかるコンピュータの一例には、ネットワークでリンクされたコンピュータを介して情報を処理する分散コンピュータシステムが含まれる。
【0031】
「コンピュータ可読媒体」とは、コンピュータによってアクセス可能なデータを格納するのに使用される任意の記憶装置をいう。コンピュータ可読媒体の例には、磁気ハードディスク、フロッピーディスク、CD−ROMやDVDなどの光ディスク、磁気テープ、メモリチップ、Eメールの送受信や、ネットワークへのアクセスに際して使用されるものなど、コンピュータ可読電子データを搬送するのに使用される搬送波などが含まれる。
【0032】
「ソフトウェア」とは、コンピュータを動作させるための所定の規則をいう。ソフトウェアの例には、ソフトウェア、コードセグメント、命令、コンピュータプログラム、プログラム化論理などが含まれる。
【0033】
「コンピュータシステム」とは、コンピュータを有するシステムをいい、その場合、コンピュータは、コンピュータを動作させるソフトウェアを実施するコンピュータ可読媒体を備える。
【0034】
「ネットワーク」とは、通信設備によって接続されている多数のコンピュータと関連付けられる機器をいう。ネットワークは、ケーブルなどの永久接続、または電話その他の通信リンクを介して行われるものなどの一時接続を伴う。ネットワークの例には、インターネットなどの相互接続ネットワーク、イントラネット、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、インターネットとイントラネットなどネットワークの組み合わせが含まれる。
【0035】
本発明の実施形態を、図面によってさらに詳細に説明する。図面において同じ参照番号は同じ特徴を指す。
【発明の詳細な説明】
【0036】
本発明の自動ビデオ監視システムは、例えば、市場調査や警備などの目的で場所を監視するためのものである。このシステムは、特定用途向けに作られた監視機器を備える専用ビデオ監視設備とすることもでき、監視ビデオフィードを利用する、既存のビデオ監視装置への後付設備とすることもできる。このシステムは、ライブソースからの、または記録された媒体からのビデオデータを分析することができる。このシステムは、リアルタイムでビデオデータを処理し、後で超高速のフォレンジックイベント検出を可能にするように、抽出されたビデオプリミティブを格納することができる。このシステムは、データを記録する、警報機構を作動させる、別のセンサシステムを作動させるなど、分析に対する所定の応答を有し得る。また、このシステムは、他の監視システム構成要素と統合することもできる。このシステムは、例えば、オペレータの必要に応じてカスタマイズすることができ、任意選択で、対話式Webベースインターフェースや、他の報告機構によって提示することもできる、警備報告や市場調査報告などを生成するのに使用され得る。
【0037】
オペレータには、イベント判別子を使ったシステム構成に際して、最大限の柔軟性が提供される。イベント判別子は、(その記述がビデオプリミティブに基づくものである)1つまたは複数のオブジェクトを、1つまたは複数の任意選択の空間属性、および/または1つまたは複数の任意選択の時間属性と共に用いて識別される。例えば、オペレータは、(本例で「徘徊」イベントと呼ぶ)イベント判別子を、「10:00PMから6:00AMまでの間」、「15分超の期間」にわたって、「現金自動預入支払機」の所にいる「人」オブジェクトとして定義することができる。イベント判別子を、修飾されたブール演算子と組み合わせて、より複雑な問い合わせを形成することができる。
【0038】
本発明のビデオ監視システムは、パブリックドメインから得た公知のコンピュータビジョン技術を利用するものであるが、本発明のビデオ監視システムは、現在利用することのできない、いくつかの独自で、新規な特徴を有する。例えば、現在のビデオ監視システムは、情報交換の1次産品として大量のビデオ画像を使用する。本発明のシステムは、1次産品としてビデオプリミティブを使用し、代表的なビデオ画像を付帯証拠として使用する。また、本発明のシステムは、(手動、半自動、または自動で)較正され、その後、ビデオ画像からビデオプリミティブを自動的に推論することもできる。このシステムは、さらに、以前に処理したビデオを、そのビデオを完全に再処理する必要もなく分析することもできる。以前に処理したビデオを分析することによって、システムは、以前に記録したビデオプリミティブに基づいて推論分析を行うことができ、コンピュータシステムの分析速度を大幅に改善する。
【0039】
また、ビデオプリミティブの使用は、ビデオの記憶所要量も大幅に低減し得る。これは、イベント検出応答サブシステムが、ビデオを、検出を示すためだけに使用するからである。その結果、ビデオは、より低い品質で格納され得る。可能な実施形態では、ビデオは、常時ではなく、アクティビティが検出されるときに限って格納されてもよい。別の可能な実施形態では、格納されるビデオの品質が、アクティビティが検出されるかどうかによって決まってもよい。すなわち、ビデオは、アクティビティが検出されるときには高品質で(高いフレーム速度および/またはビット速度)で、その他のときには低品質で格納され得る。別の例示的実施形態では、ビデオの記憶とデータベースが、例えば、デジタルビデオレコーダ(DVR)などによって別に処理され、ビデオ処理サブシステムは、データが格納されるかどうかと、どんな品質で格納されるかを制御するだけでもよい。
【0040】
別の例として、本発明のシステムは、独自のシステムタスク割り当てを提供する。現在のビデオシステムは、装置制御指示文を使って、ユーザが、ビデオセンサを位置決めすることを可能にし、いくつかの洗練された従来のシステムでは、対象領域または非対象領域にマスキングすることを可能にする。装置制御指示文は、ビデオカメラの位置、向き、および焦点を制御する命令である。本発明のシステムは、装置制御指示文の代わりに、1次タスク割り当て機構として、ビデオプリミティブに基づくイベント判別子を使用する。イベント判別子とビデオプリミティブを用いれば、オペレータに、システムから有用な情報を抽出するための、従来のシステムよりもずっと直観的な手法が提供される。本発明のシステムでは、システムに「カメラAを左に45°パンする」などの装置制御指示文でタスクを割り当てるのではなく、「人が制限区域Aに入る」など、ビデオプリミティブに基づく1つまたは複数のイベント判別子を用いた、人間が直観的に理解する態様でタスク割り当てが行われ得る。
【0041】
本発明を市場調査に使用する場合、本発明を用いて行われ得る種類のビデオ監視の例は、店内の人々を数える、店の一部にいる人々を数える、店内の特定の場所で立ち止まる人々を数える、店内で人々がどれ程の時間を過ごすか測定する、店の一部で人々がどれ程の時間を過ごすか測定する、店内の線の長さを測定するなどである。
【0042】
本発明を警備に使用する場合、本発明を用いて行われ得る種類のビデオ監視の例は、誰かが制限区域に入ったときを判定し、関連付けられる画像を格納する、人が異常な時刻に区域に入ったときを判定する、許可されていない可能性のある棚スペースと格納スペースの変化が発生したときを判定する、航空機に搭乗している乗客が操縦室に接近したときを判定する、人々が保護された入口をテールゲートして(前の人との間隔を空けずに)通ったときを判定する、空港内に放置されたバッグがあるかどうか判定する、資産の盗難があるかどうか判定するなどである。
【0043】
適用分野の一例がアクセス制御であり、これには、例えば、人がフェンスを乗り越えたかどうか、または禁止区域に入ったかどうか検出する、誰かが誤った方向に移動したかどうか(例えば、空港で、出口を通って保護区域に入るなど)検出する、対象区域内で検出されるオブジェクトの数が、入場のためのRFIDタグまたはカード読み取りに基づく期待される数と一致せず、無許可の人員の存在を指示しているかどうか判定するなどが含まれ得る。また、これは、ビデオ監視システムが人とペットの動きを区別することができ、よって、誤った警報の大部分を無くすことのできる住居の適用例でも役立ち得る。多くの住居適用例では、プライバシーが問題となり得ることに留意されたい。例えば、住宅所有者は、別の人に住宅を遠隔で監視させ、住宅内に何があり、住宅内で何が起こっているか見られるのを望まないこともある。したがって、かかる適用例で使用されるいくつかの実施形態では、ビデオ処理がローカルで行われ、必要なとき(例えば、それだけに限らないが、犯罪活動やその他の危険な状況の検出など)に限り、任意選択のビデオまたはスナップ写真が、1つまたは複数のリモート監視所に送られてもよい。
【0044】
別の適用分野の例が、資産監視である。これは、場面からオブジェクトが持ち去られるかどうか、例えば、芸術品が美術館から取り除かれるかどうか検出することを意味し得る。小売環境では、資産監視にはいくつかの態様が考えられ、例えば、1人の人が、疑わしいほど多数の所与の品物を取るかどうか検出する、人が、入口を通って出るかどうか、特に、ショッピングカートを押しながらこれを行うかどうか判定する、人が、品物に適合しない値札を添付するかどうか、例えば、袋に、最も高価な種類のコーヒを、より安価な種類のものの値札を使って詰めるなどを判定する、あるいは、人が、大きな箱と共に荷積み場所を離れるかどうか検出するなどが含まれ得る。
【0045】
別の適用分野の例が、安全のためである。これには、例えば、人が、店舗や駐車場などで、滑って転ぶかどうか検出する、車が駐車場でスピードを出しすぎているかどうか検出する、駅に列車が停車していないときに、人が、鉄道または地下鉄駅のホームの縁に近づきすぎているかどうか検出する、人がレール上にいるかどうか検出する、列車が動き始めるときに、人が列車のドアに挟まっているかどうか検出する、施設に出入りする人の数を数えて、緊急時に非常に重要になり得る正確な人数を記録するなどが含まれ得る。
【0046】
別の適用分野の例が、交通監視である。これには、車両が、特に、橋やトンネルのような場所で停止したかどうか検出する、あるいは車両が駐車禁止区域で駐車するかどうか検出するなどが含まれ得る。
【0047】
別の適用分野の例が、テロ行為の防止である。これには、前述の適用例のいくつかに加えて、オブジェクトが空港のコンコースに置き忘れられているかどうか、オブジェクトがフェンスを超えて投げ入れられるかどうか、あるいはオブジェクトが線路上に放置されているかどうか検出する、重要なインフラストラクチャ周辺での人の徘徊または車両の巡回を検出する、あるいは、港湾または開放水域内の船に接近する、高速で移動するボートを検出するなどが含まれ得る。
【0048】
別の適用分野の例が、たとえ自宅であっても、病人と高齢者の介護の場合である。これには、例えば、人が転ぶかどうか検出する、あるいは、人が、長期間台所に入らないなどの異常な行動を検出するなどが含まれ得る。
【0049】
図1に、本発明のビデオ監視システムの平面図を示す。コンピュータシステム11は、本発明に従ってコンピュータ12を動作させるソフトウェアを実施するコンピュータ可読媒体13を有するコンピュータ12を備える。コンピュータシステム11は、1つまたは複数のビデオセンサ14と、1つまたは複数のビデオレコーダ15と、1つまたは複数の入力/出力(入出力)装置16に結合されている。また、ビデオセンサ14は、任意選択で、ビデオ監視データの直接記録のために、ビデオレコーダ15にも結合することもできる。コンピュータシステムは、任意選択で、他のセンサ17にも結合されている。
【0050】
ビデオセンサ14は、コンピュータシステム11にソースビデオを提供する。各ビデオセンサ14は、例えば、直接接続(ファイアワイヤデジタルカメラインターフェースなど)やネットワークなどを使って、コンピュータシステム11に結合することができる。ビデオセンサ14は、本発明の導入前にあってもよく、本発明の一部として導入することもできる。ビデオセンサ14の例には、ビデオカメラ、デジタルビデオカメラ、カラーカメラ、白黒カメラ、カメラ、カメラ一体型ビデオ、PCカメラ、Webカム、赤外線ビデオカメラ、CCTVカメラなどが含まれる。
【0051】
ビデオレコーダ15は、記録するためにコンピュータシステム11からビデオ監視データを受け取り、および/または、コンピュータシステム11にソースビデオを提供する。各ビデオレコーダ15は、例えば、直接接続やネットワークなどを使ってコンピュータシステム11に結合することができる。ビデオレコーダ15は、本発明の導入前にあってもよく、本発明の一部として導入することもできる。コンピュータシステム11内のビデオ監視システムは、ビデオレコーダ15が、ビデオを、いつ、どんな品質設定で記録するか制御し得る。ビデオレコーダ15の例には、ビデオテープレコーダ、デジタルビデオレコーダ、ビデオディスク、DVD、コンピュータ可読媒体などが含まれる。
【0052】
入出力装置16は、コンピュータシステム11に入力を提供し、コンピュータシステム11から出力を受け取る。入出力装置16は、コンピュータシステム11にタスクを割り当て、コンピュータシステム11から報告を生成するのに使用され得る。入出力装置16の例には、キーボード、マウス、スタイラス、モニタ、プリンタ、別のコンピュータシステム、ネットワーク、警報装置などが含まれる。
【0053】
その他のセンサ17は、コンピュータシステム11に別の入力を提供する。その他の各センサ17は、例えば、直接接続やネットワークなどを使ってコンピュータシステム11に結合することができる。その他のセンサ17は、本発明の導入前に終了することもでき、本発明の一部として導入することもできる。別のセンサ17の例には、それだけに限らないが、動きセンサ、光学式仕掛け線、生体測定センサ、RFIDセンサ、カード式またはキーパッド式の許可システムなどが含まれる。その他のセンサ17の出力は、コンピュータシステム11、記録装置、および/または記録システムによって記録され得る。
【0054】
図2に、本発明のビデオ監視システムの流れ図を示す。本発明の様々な態様を、食料品店の監視に適用された本発明のビデオ監視システムの例が示されている図10〜15を参照して例示する。
【0055】
ブロック21で、図1について論じたように、ビデオ監視システムがセットアップされる。各ビデオセンサ14が、ビデオ監視の場所に向けられる。コンピュータシステム11は、ビデオ装置14、15からのビデオフィードに接続される。ビデオ監視システムは、既存の装置、またはその場所に新規に設置される装置を使って実施され得る。
【0056】
ブロック22で、ビデオ監視システムが較正される。ビデオ監視システムが、ブロック21から所定の位置に置かれた後で、較正が行われる。ブロック22の結果、ビデオ監視システムは、ビデオセンサによって提供されるビデオ画像内の様々な場所における特定のオブジェクト(人など)のおおよその実寸と速さを判定することができるようになる。システムは、手動較正、半自動較正、および自動較正を使って較正され得る。較正については、ブロック24の考察後にさらに説明する。
【0057】
図2のブロック23で、ビデオ監視システムにタスクが割り当てられる。タスク割り当ては、ブロック22の較正後に行われ、任意選択である。ビデオ監視システムへのタスク割り当ては、1つまたは複数のイベント判別子の指定を伴う。タスク割り当てを行わない場合、ビデオ監視システムは、図4のブロック45と同様に、処置を講じずに、ビデオプリミティブと関連付けられるビデオ画像を検出し、アーカイブする動作を行う。
【0058】
図3に、イベント判別子を決定するためのビデオ監視システムへのタスク割り当ての流れ図を示す。イベント判別子とは、任意選択で、1つまたは複数の空間属性および/または1つまたは複数の時間属性と相互作用する1つまたは複数のオブジェクトをいう。イベント判別子は、ビデオプリミティブ(アクティビティ記述メタデータともいう)に関して記述される。ビデオプリミティブ設計基準の中には、リアルタイムでビデオストリームから抽出され得る能力、ビデオからのすべての関連情報を含めること、表現の簡潔さが含まれる。
【0059】
ビデオストリームからのビデオプリミティブのリアルタイム抽出は、システムが、リアルタイムの警告を生成することを可能にするのに求められるものであり、そのためには、ビデオは連続する入力ストリームを提供するので、システムは後れを取ってはならない。
【0060】
また、ビデオプリミティブは、ビデオからのすべての関連情報を含む必要がある。というのは、ビデオプリミティブの抽出時には、ユーザ定義の規則がシステムに知られていないからである。したがって、ビデオプリミティブは、ビデオに戻って、これを再分析すること必要とせずに、ユーザによって指定される任意のイベントを検出することのできる情報を含む必要がある。
【0061】
また、複数の理由で、簡潔な表現も求められる。提案する発明の一目標は、監視システムの記憶再利用時間を延長することである。これは、高品質ビデオを常時格納することを、アクティビティ記述メタデータと、前述のような、アクティビティの有無に応じた品質を有するビデオを格納することで置き換えることによって達成され得る。したがって、ビデオプリミティブが簡潔であるほど、より多くのデータが格納され得る。加えて、ビデオプリミティブ表現が簡潔であるほど、データアクセスは高速になり、これは、ひいては、フォレンジックサーチを加速し得る。
【0062】
ビデオプリミティブの厳密な内容は、用途と、潜在的な対象イベントによって異なり得る。以下で、いくつかの例示的実施形態について説明する。
【0063】
ビデオプリミティブの一例示的実施形態は、全般的な場面とビデオを記述する、場面/ビデオ記述子を含み得る。一般に、これは、空、葉、人造物、水などの場所といった場面の様相、および/または、降水、霧の有無などの気象条件の詳細な記述を含み得る。ビデオ監視用途では、例えば、全体図における変化が重要となり得る。記述子の例は、突然の照明の変化を記述し得る。これらの記述子は、カメラの動き、特に、カメラが動き始め、または動きを停止したことを示し、後者の場合には、カメラが、その以前の視野または少なくとも以前に知っていた視野に戻ったかどうかを示すこともある。これらの記述子は、ビデオフィードの品質の変化、例えば、ビデオフィードに、突然、雑音が生じ、またはビデオフィードが暗くなり、潜在的にフィードの改ざんを示しているかどうかなどを示すこともある。あるいは、これらの記述子は、水域に沿った喫水線の変化を示すこともある(この後者の問題の具体的手法の詳細については、例えば、参照により本明細書に組み込まれる、2004年10月1日に出願した、同時係属の米国特許出願第10/954479号明細書などを参照し得る)。
【0064】
ビデオプリミティブの別の例示的実施形態は、ビデオフィードに見られるオブジェクトの観測可能な属性に言及するオブジェクト記述子を含み得る。オブジェクトに関してどんな情報が格納されるかは、適用分野と、利用可能な処理機能に左右され得る。オブジェクト記述子の例には、それだけに限らないが、サイズ、形状、外周、位置、軌道、動きの速さと方向、動きの顕著性と特徴、色、剛性、テクスチャ、および/または分類を含む一般的特性が含まれ得る。また、オブジェクト記述子は、さらに若干の用途と種類に特有の情報も含み得る。人間では、これには、肌の色合い、性別、および人種情報の有無と割合、人間の形状とポーズを記述する何らかの人体モデルが含まれ、車両では、車種(トラック、SUV、セダン、バイクなど)、メーカ、型式、ナンバープレートの番号が含まれ得る。また、オブジェクト記述子は、それだけに限らないが、オブジェクトを持ち運ぶ、走る、歩く、立ち上がる、両腕を上げるなどを含むアクティビティも含み得る。また、話す、戦う、衝突するなどのいくつかのアクティビティは、他のオブジェクトにも言及し得る。またオブジェクト記述子は、それだけに限らないが、顔や歩調などを含む識別情報も含み得る。
【0065】
ビデオプリミティブの別の例示的実施形態は、ビデオのあらゆる領域の動きの方向を記述するフロー記述子を含み得る。かかる記述子は、例えば、禁止された方向への任意の動きを検出することにより、パスバックイベントを検出するのに使用され得る(この後者の問題の具体的手法の詳細については、例えば、参照により本明細書に組み込まれる、2004年1月30日に出願した、同時係属の米国特許出願第10/766949号明細書などを参照し得る)。
【0066】
また、プリミティブは、オーディオセンサ、熱センサ、圧力センサ、カード読取装置、RFIDタグ、生体測定センサなどの非ビデオソースからももたらされ得る。
【0067】
分類とは、オブジェクトの、特定のカテゴリまたはクラスに属するものとしての識別をいう。分類の例には、人、犬、車両、パトカー、個人、特定の種類のオブジェクトなどが含まれる。
【0068】
サイズとは、オブジェクトの寸法属性をいう。サイズの例には、大、中、小、均一、6フィート(約182.88cm)より高い、1フィート(約30.48cm)より短い、3フィート(約91.44cm)より幅広い、4フィート(約121.92cm)より薄い、ほぼ人間のサイズ、人間より大きい、人間より小さい、ほぼ車のサイズ、おおよその画素単位の寸法を有する画像中の長方形、画素数などが含まれる。
【0069】
位置とは、オブジェクトの空間属性をいう。位置は、例えば、画素座標で表される画像位置、ある世界座標系における実世界の絶対位置、陸標または別のオブジェクトに対する位置などとすることができる。
【0070】
色とは、オブジェクトの色属性をいう。色の例には、白、黒、グレー、赤、HSV値の範囲、YUV値の範囲、RGB値の範囲、平均RGB値、平均YUV値、およびRGB値のヒストグラムなどが含まれる。
【0071】
剛性とは、オブジェクトの形状一貫性属性をいう。非剛性オブジェクト(人々や動物など)の形状は、フレームごとに変化し、剛性オブジェクト(車両や住宅など)の形状は、(おそらく、回転によるわずかな変化を除いて)フレームごとにほぼ不変のままとし得る。
【0072】
テクスチャとは、オブジェクトのパターン属性をいう。テクスチャの例には、自己相似性、スペクトルパワー、直線性、粗さなどが含まれる。
【0073】
内部運動とは、オブジェクトの剛性の尺度をいう。相当に剛性を有するオブジェクトの一例が車であり、車は、あまり大きな量の内部運動を示さない。相当に剛性のないオブジェクトの一例が、揺れ動く腕と脚を有する人であり、人は、大きな量の内部運動を示す。
【0074】
動きとは、自動的に検出され得る任意の動きをいう。動きの例には、オブジェクトの出現、オブジェクトの消失、オブジェクトの垂直移動、オブジェクトの水平移動、オブジェクトの周期的運動などが含まれる。
【0075】
顕著な動きとは、自動的に検出され、ある期間にわたって追跡され得る任意の動きをいう。このような動くオブジェクトは、明らかに、意図的な動きを示す。顕著な動きの例には、ある場所から別の場所へ移動する、動いて別のオブジェクトと相互作用するなどが含まれる。
【0076】
顕著な動きの特徴とは、顕著な動きの特性をいう。顕著な動きの特徴の例には、軌道、画像空間内での軌道の長さ、環境の3次元表現内での軌道のおおよその長さ、時間の関数としての画像空間内でのオブジェクトの位置、時間の関数としての環境の3次元表現内でのオブジェクトのおおよその位置、軌道の期間、画像空間内での速度(速さと方向など)、環境の3次元表現内でのおおよその速度(速さと方向など)、ある速度での期間、画像空間内での速度の変化、環境の3次元表現での速度のおおよその変化、速度の変化の期間、動きの休止、動きの休止の期間などが含まれる。速度とは、特定の時刻におけるオブジェクトの速さと方向をいう。軌道とは、オブジェクトが追跡され得る限りの長さにわたる、またはある期間にわたるオブジェクトの(位置,速度)対の集合である。
【0077】
場面変化とは、ある期間におよぶ変化として検出され得る場面の任意の領域をいう。場面変化の例には、場面を去る静止オブジェクト、場面に入り、静止状態になるオブジェクト、場面内で位置を変えるオブジェクト、外観(色、形状、サイズなど)を変えるオブジェクトなどが含まれる。
【0078】
場面変化の特徴とは、場面変化の特性をいう。場面変化の特徴の例には、画像空間内での場面変化のサイズ、環境の3次元表現内での場面変化のおおよそのサイズ、場面変化が発生した時刻、画像空間内での場面変化の場所、環境の3次元表現内での場面変化のおおよその場所などが含まれる。
【0079】
事前定義モデルとは、オブジェクトの先験的に知られているモデルをいう。事前定義モデルの例には、大人、子供、車両、セミトレーラなどが含まれ得る。
【0080】
図16aに、本発明の一実施形態によるビデオ監視システムのビデオ分析部分の例を示す。図16aでは、ビデオセンサ(例えば、それだけに限らないが、ビデオカメラなど)1601が、ビデオ分析サブシステム1603にビデオストリーム1602を提供し得る。次いで、ビデオ分析サブシステム1603は、ビデオストリーム1602の分析を行ってビデオプリミティブを導出し、それらのビデオプリミティブが、プリミティブ記憶1605に格納され得る。プリミティブ記憶1605は、非ビデオプリミティブの格納にも使用され得る。ビデオ分析サブシステム1603は、さらに、前述のように、ビデオ記憶1604内のビデオストリーム1602の全部または部分の記憶、例えば、ビデオの品質および/または量を制御し得る。
【0081】
次に、図16bを参照すると、ビデオおよび、他のセンサがある場合には、非ビデオプリミティブ161が利用可能になると、システムは、イベントを検出し得る。ユーザは、規則応答定義インターフェース162を使って規則163と対応する応答164を定義することによってシステムにタスクを割り当てる。規則はイベント判別子に変換され、システムは、対応するイベント発生165を抽出する。検出されるイベント発生166は、ユーザ定義の応答167をトリガする。応答は、ビデオ記憶168(図16aのビデオ記憶1604と同じであっても、同じでなくてもよい)からの検出イベントのビデオのスナップ写真を含み得る。ビデオ記憶168は、ビデオ監視システムの一部とすることもでき、別個の記録装置15とすることもできる。応答の例には、それだけに限らないが、システムディスプレイ上で視覚および/または音声警告を作動させる、その場所で視覚および/または音声警報を作動させる、無音警報を作動させる、高速応答機構を作動させる、ドアをロックする、セキュリティサービスに連絡する、データ(画像データ、ビデオデータ、ビデオプリミティブ、および/または分析済みデータなど)を、それだけに限らないが、インターネットなどのネットワークを介して、別のコンピュータシステムに転送する、かかるデータを指定されたコンピュータ可読媒体に保存する、他の何らかのセンサまたは監視システムを作動させる、コンピュータシステム11および/または別のコンピュータシステムにタスクを割り当てる、ならびに/またはコンピュータシステム11および/または別のコンピュータシステムに指図するなどが含まれ得る。
【0082】
プリミティブデータは、データベースに格納されたデータと考えられ得る。プリミティブデータ内のイベント発生を検出するために、効率のよい問い合わせ言語が必要とされる。本発明のシステムの実施形態は、以下で説明するアクティビティ推論言語を含み得る。
【0083】
従来のリレーショナルデータベース問い合わせスキーマは、しばしば、ユーザが、様々な種類の格納データに関して柔軟な問い合わせを作成することができるように、ブール2分木構造に従う。葉ノードは、普通、「特性 関係 値」の形式のものであり、特性とは、(時刻や名前など)データの何らかの重要な特徴であり、関係とは、普通、数値演算子(「>」、「<」、「=」など)であり、値とは、その特性の有効な状態である。分岐ノードは、普通、「AND」、「OR」、「NOT」などの単項または2項ブール論理演算子を表す。
【0084】
これは、本発明の実施形態の場合と同様に、アクティビティ問い合わせ定式化スキーマの基礎を形成し得る。ビデオ監視用途の場合、特性は、サイズ、速さ、色、分類(人間、車両)といった、ビデオストリームで検出されるオブジェクトの特徴とすることもでき、あるいは、場面変化特性とすることもできる。図17に、かかる問い合わせの使用例を示す。図17aでは、問い合わせ「赤い車両を示せ」171が提示される。これは、オブジェクトの分類が車両であるかどうか173と、その色が主として赤であるかどうか174を検査する2つの「特性 関係 値」(または単に「特性」)問い合わせに分解される。これら2つの副問い合わせは、ブール演算子「AND」172で組み合わされ得る。同様に、図17bでは、問い合わせ「カメラが動きを開始し、または停止したときを示せ」が、特性副問い合わせ、「カメラは動きを開始しているか」177と、「カメラは動きを停止しているか」178のブール「OR」176組み合わせとして表され得る。
【0085】
本発明の実施形態は、この種のデータベース問い合わせスキーマを、次の2つの例示的な態様で拡張し得る。すなわち、(1)基本の葉ノードは、場面内の空間アクティビティを記述するアクティビティ検出子を用いて増補され、(2)ブール演算子分岐ノードは、空間、時間およびオブジェクトの相互関係を指定する修飾子を用いて増補され得る。
【0086】
アクティビティ検出子は、ビデオ場面の区域に関連する挙動に対応する。アクティビティ検出子は、オブジェクトが、場面内の場所とどのように相互作用し得るか記述する。図18に、3つのアクティビティ検出子の例を示す。図18aには、仮想ビデオ仕掛け線を使って、特定の方向に外周を横切る挙動が表されている(かかる仮想ビデオ仕掛け線がどのようにして実施され得るかの詳細については、例えば米国特許第6696945号明細書を参照し得る)。図18bには、線路上をある期間にわたって徘徊する挙動が表されている。図18cには、壁の一部から何かを取り去る挙動が表されている(これがどのようにしてなされ得るかの手法例については、2003年1月30日に出願された、「Video Scene Background Maintenance − Change Detection & Classification」という名称の、米国特許出願第10/331778号明細書を参照し得る)。他のアクティビティ検出子の例には、人が転ぶのを検出する、人が方向または速さを変更するのを検出する、人がある区域に入るのを検出する、または人が誤った方向に進むのを検出するなどが含まれ得る。
【0087】
図19に、赤い車両がビデオ仕掛け線191を横切るかどうか検出するために、アクティビティ検出子葉ノード(この場合、仕掛け線横断)が、どのようにして単純な特性問い合わせと組み合わされ得るかの一例を示す。特性問い合わせ172、173、174およびアクティビティ検出子193は、ブール「AND」演算子192と組み合わされる。
【0088】
問い合わせを修飾されたブール演算子(結合子)と組み合わせれば、さらに柔軟性が加わる。修飾子の例には、空間、時間、オブジェクト、およびカウンタ修飾子などが含まれる。
【0089】
空間修飾子は、ブール演算子を、場面内で近接している/近接していない子アクティビティ(すなわち、図19などでブール演算子の下に示されるブール演算子の引き数)だけに作用させ得る。例えば、「AND から50画素以内」は、「AND」が、アクティビティ間の距離が50画素未満の場合にのみ適用されることを意味するのに使用され得る。
【0090】
時間修飾子は、ブール演算子を、相互から指定された期間内に、かかる期間外に、またはある範囲内の時刻に発生する子アクティビティにのみ作用させ得る。また、各イベントの時間順序も指定され得る。例えば、「AND 第2から10秒以内に第1」は、「AND」が、第2の子アクティビティが、第1の子アクティビティ後10秒以内に発生する場合に限って適用されることを意味するのに使用され得る。
【0091】
オブジェクト修飾子は、ブール演算子を、同じオブジェクトまたは異なるオブジェクトが関与して発生する子アクティビティだけに作用させ得る。例えば、「AND 同じオブジェクトが関与する」は、「AND」が、2つの子アクティビティに、同じ特定のオブジェクトが関与する場合に限って適用されることを意味するのに使用され得る。
【0092】
カウンタ修飾子は、ブール演算子を、(1つまたは複数の)条件が所定の回数満たされた場合に限ってトリガさせ得る。カウンタ修飾子は、一般に、「少なくともn回」、「厳密にn回」、「多くともn回」などの数値関係を含み得る。例えば、「OR 少なくとも2回」は、「OR」演算子の副問い合わせの少なくとも2つが真でなければならないことを意味するのに使用され得る。カウンタ修飾子の別の用法は、「同じ人が、棚から少なくとも5個の品物を取った場合に警告する」のような規則を実施するものである。
【0093】
図20に、結合子の使用例を示す。ここで、必要とされるアクティビティ問い合わせは、「違法な左折を行う赤い車両を見つける」201というものである。違法な左折は、アクティビティ記述子と修飾されたブール演算子の組み合わせによって捕捉され得る。1つの仮想仕掛け線を使って、脇道から出てくるオブジェクト193が検出され、別の仮想仕掛け線を使って、道に沿って左へ進むオブジェクト205が検出され得る。これらは、修飾された「AND」演算子202によって組み合わされ得る。標準のブール「AND」演算子は、アクティビティ193と205の両方が検出されるべきことを保証する。オブジェクト修飾子203は、同じオブジェクトが両方の仕掛け線を横切ったことをチェックし、時間修飾子204は、まず、下から上への仕掛け線193が横切られ、続いて、その後10秒以内に、右から左への仕掛け線205が横切られたことをチェックする。
【0094】
また、この例は、結合子の能力を示すものでもある。理論的には、単純なアクティビティ検出子と結合子を利用せずに、左折に別個のアクティビティ検出子を定義することは可能である。しかしながら、この検出子は柔軟性がなく、任意の回転角度および方向に対応するのを困難にするはずであり、また、すべての潜在的イベントに別々の検出子を書くのも面倒であろう。これに対して、結合子と単純な検出子を使用すれば、大きな柔軟性がもたらされる。
【0095】
より単純な検出子の組み合わせとして検出され得る複合アクティビティの別の例には、駐車する車と車から降りる人や、グループを形成する複数の人々、テールゲーティングなどが含まれ得る。また、これらの結合子は、異なる種類とソースのプリミティブを組み合わせることもできる。例としては、「明かりが消される前に室内にいる人を示せ」、「直前にカードを読み取らせずにドアから入る人を示せ」、「対象区域に、RFIDタグ読取装置によって予期されるより多くのオブジェクトがあるかどうか(すなわち、RFIDタグのない違法なオブジェクトがその区域にあることを)示せ」などの規則が含まれ得る。
【0096】
結合子は、任意の数の副問い合わせを組み合わせることができ、他の結合子を、任意の深さまで組み合わせることさえもできる。一例が、図21aと21bに示す、車が左折し2101、次いで、右折する2104かどうか検出する規則である。左折2101は、方向仕掛け線2102、2103を用いて検出され、右折2104は、方向仕掛け線2105、2106を用いて検出され得る。左折は、それぞれ、仕掛け線2102と2103に対応する、仕掛け線アクティビティ検出子2112と2113が、オブジェクト修飾子「同じ」2117と時間修飾子「2113の前に2112」2118を伴う「AND」結合子2111で接続されたものとして表され得る。同様に、右折は、それぞれ、仕掛け線2105と2106に対応する仕掛け線アクティビティ検出子2115と2116が、オブジェクト修飾子「同じ」2119と時間修飾子「2116の前に2115」2120を伴う「AND」結合子2114で接続されたものとして表され得る。最初に左折し、次いで右折する同じオブジェクトを検出するために、左折検出子2111と右折検出子2114は、オブジェクト修飾子「同じ」2122と時間修飾子「2114の前に2111」2123を伴う「AND」結合子2121で接続される。最後に、検出されたオブジェクトが車両であることを確認するために、ブール「AND」演算子2125を使って、左折と右折の検出子2121と特性問い合わせ2124が組み合わされる。
【0097】
これらすべての検出子は、任意選択で、時間属性と組み合わされ得る。時間属性の例には、15分毎、9:00PMから6:30AMまでの間、5分未満、30秒より長い間、週末にかけてなどが含まれる。
【0098】
図2のブロック24で、ビデオ監視システムが運用される。本発明のビデオ監視システムは、自動的に動作し、場面内のオブジェクトのビデオプリミティブを検出してアーカイブし、イベント判別子を使ってリアルタイムでイベント発生を検出する。加えて、警報を作動させる、報告を生成する、出力を生成するなどの処置が、適宜、リアルタイムで講じられる。報告と出力は、システムに対してローカルで、またはインターネットなどのネットワークを介して別の場所で表示され、かつ/または格納され得る。図4に、ビデオ監視システムの動作の流れ図を示す。
【0099】
ブロック41で、コンピュータシステム11は、ビデオセンサ14および/またはビデオレコーダ15からソースビデオを獲得する。
【0100】
ブロック42で、ビデオプリミティブが、ソースビデオからリアルタイムで抽出される。任意選択で、非ビデオプリミティブが、1つまたは複数のその他のセンサ17から獲得され、かつ/または抽出され、本発明と共に使用されてもよい。ビデオプリミティブの抽出を図5で示す。
【0101】
図5に、ビデオ監視システムでのビデオプリミティブ抽出の流れ図を示す。ブロック51と52は、並列に動作し、任意の順序で、または同時に行われ得る。ブロック51では、動きによってオブジェクトが検出される。このブロックでは、画素レベルでフレーム間の動きを検出する任意の動き検出アルゴリズムが使用され得る。一例として、{1}で論じられている3フレーム差分技法を使用することができる。検出されたオブジェクトは、ブロック53に送られる。
【0102】
ブロック52では、変化によってオブジェクトが検出される。このブロックでは、背景モデルからの変化を検出する任意の変化検出アルゴリズムが使用され得る。このブロックでは、フレーム内の1つまたは複数の画素が、そのフレームの背景モデルに適合しないため、フレームの前景にあるものとみなされる場合に、オブジェクトが検出される。一例として、{1}と、2000年10月24日に出願された米国特許出願第09/694712号明細書に記載されている、動的適応背景減法などの確率的背景モデル化技法が使用され得る。検出されたオブジェクトは、ブロック53に送られる。
【0103】
ブロック51の動き検出技法と、ブロック52の変化検出技法は、相補的な技法であり、各技法が、有利には、他方の技法における不備に対処する。任意選択で、ブロック51と52について論じている技法に、追加の、かつ/または代替の検出方式を使用することもできる。追加の、かつ/または代替の検出方式の例には、{8}に記載されている人々を見つけるPfinder検出方式、肌の色合い検出方式、顔検出方式、モデルベースの検出方式などが含まれる。かかる追加の、かつ/または代替の検出方式の結果は、ブロック53に提供される。
【0104】
任意選択で、ビデオセンサ14が動きを有する場合(例えば、掃引、ズーム、および/または変換を行うビデオカメラなど)、ブロック51と52の間のブロックの前に追加のブロックを挿入して、ブロック51と52にビデオ安定化のための入力を提供することもできる。ビデオ安定化は、アフィン変換による、または射影的な大域的動き補償によって達成され得る。例えば、参照により本明細書に組み込まれる、2000年7月3日に出願された米国特許出願第09/609919号、現在の米国特許第6738424号明細書に記載されている画像整合などを使って、ビデオ安定化が獲得され得る。
【0105】
ブロック53で、ブロブが生成される。一般に、ブロブとは、フレーム内の任意のオブジェクトである。ブロブの例には、人や車両などの動くオブジェクト、家具、衣料品、小売商品などの消費者製品などが含まれる。ブロブは、ブロック32と33からの検出オブジェクトを使って生成される。このブロックでは、ブロブを生成する任意の技法が使用され得る。動き検出と変化検出からブロブを生成する技法の一例は、連結成分方式を使用する。例えば、{1}に記載されている、形態学および連結成分アルゴリズムなどが使用され得る。
【0106】
ブロック54で、ブロブが追跡される。このブロックでは、ブロブを追跡する任意の技法が使用され得る。例えば、カルマンフィルタリングまたは圧縮アルゴリズムなどが使用され得る。別の例として、{1}に記載されているような、テンプレートマッチング技法も使用され得る。別の例として、{5}に記載されている、多重仮説カルマントラッカも使用され得る。別の例として、2000年10月24日に出願された米国特許出願第09/694712号明細書に記載されているフレームごとの追跡技法も使用され得る。場所が食料品店である例では、追跡され得るオブジェクトの例には、動く人々、在庫商品、ショッピングカートや台車などの在庫移動器具などが含まれる。
【0107】
任意選択で、ブロック51〜54は、当業者に知られている任意の検出および追跡方式で置き換えることもできる。かかる検出および追跡方式の一例が、{11}に記載されている。
【0108】
ブロック55で、追跡されるオブジェクトの各軌道が分析されて、その軌道が顕著であるかどうか判定される。軌道が顕著でない場合、軌道は不安定な動きを呈するオブジェクトを表し、または不安定なサイズまたは色のオブジェクトを表し、対応するオブジェクトは拒絶され、それ以上システムによって分析されなくなる。軌道が顕著である場合、その軌道は、潜在的に対象とされるオブジェクトを表す。軌道が顕著であるか、それとも顕著でないかは、その軌道に顕著性尺度を適用することによって判定される。軌道が顕著であるか、それとも顕著でないか判定する技法は、{13}と{18}に記載されている。
【0109】
ブロック56で、各オブジェクトが分類される。各オブジェクトの一般的な種類は、オブジェクトの分類として決定される。分類は、いくつかの技法によって実行することができ、かかる技法の例には、ニューラルネットワーク分類子を使用するもの{14}や、線形判別分類子を使用するもの{14}などが含まれる。分類の例は、ブロック23で論じたものと同じである。
【0110】
ブロック57で、ブロック51〜56からの情報と、必要に応じて追加の処理を使って、ビデオプリミティブが識別される。識別されるビデオプリミティブの例は、ブロック23で論じたものと同じである。一例として、サイズには、システムは、ブロック22での較正から獲得される情報をビデオプリミティブとして使用することができる。較正から、システムは、オブジェクトのおおよそのサイズを判定するのに十分な情報を有する。別の例として、システムは、ブロック54から測定される速度をビデオプリミティブとして使用することもできる。
【0111】
ブロック43で、ブロック42からのビデオプリミティブがアーカイブされる。ビデオプリミティブは、コンピュータ可読媒体13または別のコンピュータ可読媒体にアーカイブされ得る。ビデオプリミティブと一緒に、ソースビデオからの関連付けられるフレームまたはビデオ画像もアーカイブされ得る。このアーカイブするステップは、任意選択である。すなわち、システムがリアルタイムイベント検出だけに使用される場合、アーカイブするステップは、省略され得る。
【0112】
ブロック44で、ビデオプリミティブから、イベント判別子を使って、イベント発生が抽出される。ビデオプリミティブは、ブロック42で決定され、イベント判別子は、ブロック23におけるシステムへのタスク割り当てから決定される。イベント判別子は、ビデオプリミティブをフィルタにかけて、イベント発生が発生したかどうか判定するのに使用される。例えば、イベント判別子は、9:00AMから5:00PMまでの間に、ある区域に「誤進入」する人と定義される「誤進入」イベントを見つけることもできる。イベント判別子は、図5に従って生成されるすべてのビデオプリミティブをチェックし、9:00AMから5:00PMまでの間のタイムスタンプ、「人」または「人々の集まり」という分類、その区域内の位置、および「誤った」運動方向という特性を有するビデオプリミティブの有無を判定する。また、イベント判別子は、前述のような、他の種類のプリミティブを使用してもよく、かつ/または複数のビデオソースからのビデオプリミティブを組み合わせてイベント発生を検出してもよい。
【0113】
ブロック45で、ブロック44で抽出された各イベント発生ごとに、適宜、処置が講じられる。図6に、ビデオ監視システムでの処置の流れ図を示す。
【0114】
ブロック61で、イベント発生を検出したイベント判別子によって指図されるように応答が引き受けられる。応答は、もしあれば、ブロック34でイベント判別子ごとに識別される。
【0115】
ブロック62で、発生した各イベント発生ごとに、アクティビティレコードが生成される。アクティビティレコードは、例えば、オブジェクトの軌道の詳細、オブジェクトの検出時刻、オブジェクトの検出位置、用いられたイベント判別子の記述または定義などを含む。アクティビティレコードは、イベント判別子によって必要とされる、ビデオプリミティブなどの情報を含み得る。また、アクティビティレコードは、イベント発生に関与する(1つまたは複数の)オブジェクトおよび/または(1つまたは複数の)区域の代表的なビデオまたは静止画像も含み得る。アクティビティレコードは、コンピュータ可読媒体上に格納される。
【0116】
ブロック63で、出力が生成される。出力は、ブロック44で抽出されたイベント発生と、ブロック41からのソースビデオの直接供給に基づくものである。出力は、コンピュータ可読媒体上に格納され、コンピュータシステム11または別のコンピュータシステムに表示され、あるいは別のコンピュータシステムに転送される。システムが動作する際、イベント発生に関する情報が収集され、この情報は、オペレータによって、リアルタイムを含めて、いつでも確認され得る。情報を受け取る形式の例には、コンピュータシステムのモニタ上の表示、ハードコピー、コンピュータ可読媒体、対話式Webページなどが含まれる。
【0117】
出力は、ブロック41からのソースビデオの直接供給からの表示を含み得る。例えば、ソースビデオは、コンピュータシステムのモニタのウィンドウ上に表示することも、閉回路モニタ上に表示することもできる。さらに、出力は、イベント発生に関与するオブジェクトおよび/または区域を強調表示するグラフィックスでマークされたソースビデオを含むこともできる。システムがフォレンジック分析モードで動作している場合、ビデオは、ビデオレコーダから供給されてもよい。
【0118】
出力は、オペレータおよび/またはイベント発生の要件に基づく、オペレータのための1つまたは複数の報告を含み得る。報告の例には、発生したイベント発生の数、イベント発生が発生した場面内の位置、イベント発生が発生した時刻、各イベント発生の代表的画像、各イベント発生の代表的ビデオ、生の統計データ、イベント発生の統計(数量、頻度、場所、時刻など)、および/または人間可読グラフィック表示などが含まれる。
【0119】
図13と14に、図15の食料品店内の通路についての報告例を示す。図13と14では、ブロック22においていくつかの区域が識別され、画像内でしかるべくラベル付けされる。図13内の各区域は図12内の各区域と一致し、図14内の各区域は、これらとは異なる。システムに、この区域内で立ち止まる人々を探すようタスクが割り当てられる。
【0120】
図13では、報告例は、ラベル、グラフィックス、統計情報、および統計情報の分析を含むように指定が書き込まれたビデオからの画像である。例えば、コーヒと識別されている区域は、この区域の平均顧客数が2人/時間であり、この区域の平均滞留時間が5秒であるという統計情報を有する。システムは、この区域が、「冷たい」領域である、すなわち、この領域ではあまり商業アクティビティが生じてないと判定した。別の例として、炭酸飲料と識別されている区域は、この区域の平均顧客数が15人/時間であり、この区域の平均滞留時間が22秒であるという統計情報を有する。システムは、この区域が、「熱い」領域である、すなわち、この領域には大量の商業アクティビティが生じていると判定した。
【0121】
図14では、報告例は、ラベル、グラフィックス、統計情報、および統計情報の分析を含むように指定が書き込まれたビデオからの画像である。例えば、通路の奥の区域は、平均顧客数が14人/時間であり、人通りが少ないと判定されている。別の例として、通路の手前の区域は、平均顧客数が83人/時間であり、人通りが多いと判定されている。
【0122】
図13または図14で、オペレータが任意の特定の区域または任意の特定の区域に関するより多くの情報を求める場合、ポイントアンドクリックインターフェースにより、オペレータは、システムが検出し、アーカイブしている領域および/またはアクティビティの代表的な静止画像とビデオ画像をナビゲートすることができる。
【0123】
図15に、食料品店内の通路の別の報告例を示す。この報告例は、ラベルと、軌道指示と、指定付きの画像を記述するテキストを含むように指定が書き込まれたビデオからの画像を含む。例示のシステムには、いくつかの区域で、オブジェクトの軌道の長さ、位置および時間、オブジェクトが動かなかった時間と場所、オペレータによって指定される軌道と区域との相関関係、およびオブジェクトの分類が人以外か、1人か、2人か、3人以上かをサーチするタスクが割り当てられている。
【0124】
図15のビデオ画像は、軌道が記録された期間からのものである。3つのオブジェクトのうち、2つのオブジェクトは、それぞれ、1人であると分類され、1つのオブジェクトは、人以外であると分類されている。各オブジェクトには、ラベル、すなわち、人ID1032、人ID1033、およびオブジェクトID32001が割り当てられる。人ID1032について、システムは、この人が、この区域内で52秒、○で指定される位置で18秒過ごしたと判定した。人ID1033について、システムは、この人が、この区域内で1分8秒、○で指定される位置で12秒過ごしたと判定した。人ID1032と人ID1033の軌道は、指定付き画像内に含まれる。オブジェクトID32001について、システムは、それ以上このオブジェクトを分析せず、このオブジェクトの位置を×で示した。
【0125】
図2のブロック22に戻って、較正は、(1)手動、(2)ビデオセンサまたはビデオレコーダからの画像を使った半自動、あるいは(3)ビデオセンサまたはビデオレコーダからの画像を使った自動とすることができる。画像が必要とされる場合、コンピュータシステム11によって分析されるべきソースビデオは、較正に使用されたソースビデオを獲得したビデオセンサからのものであると想定される。
【0126】
手動較正では、オペレータは、コンピュータシステム11に、ビデオセンサ14のそれぞれの向きと内部パラメータ、ならびに各ビデオセンサ14のその場所に対する配置を提供する。コンピュータシステム11は、任意選択で、その場所の地図を維持することができ、ビデオセンサ14の配置は、地図上に示され得る。地図は、環境の2次元または3次元表現とすることができる。加えて、手動較正は、システムに、オブジェクトのおおよそのサイズと相対的位置を決定するのに十分な情報も提供する。
【0127】
代替として、手動較正では、オペレータが、センサからのビデオ画像に、人など、知られているサイズのオブジェクトの外観を表すグラフィックを用いて指定を書き込むこともできる。オペレータが、画像内の少なくとも2つの異なる場所に指定を書き込み得る場合、システムは、おおよそのカメラ較正情報を推論することができる。
【0128】
半自動および自動較正では、カメラパラメータの知識も場面配置の知識も不要である。半自動および自動較正から、場面内の様々な区域におけるオブジェクトのサイズを近似するようにルックアップ表が生成され、またはカメラの内部と外部のカメラ較正パラメータが推論される。
【0129】
半自動較正では、ビデオ監視システムは、ビデオソースをオペレータからの入力と組み合わせて使って較正される。半自動較正されるべきビデオセンサの視界に1人の人が配置される。コンピュータシステム11は、その1人に関するソースビデオを受け取り、このデータに基づいて人のサイズを自動的に推論する。その人が見られるビデオセンサの視界内の場所数が増大し、その人が、ビデオセンサの視界内で見られる期間が長くなるに従って、半自動較正の正確さが向上する。
【0130】
図7に、ビデオ監視システムの半自動較正の流れ図を示す。ブロック71は、典型的なオブジェクトが、様々な軌道で場面を移動することを除いて、ブロック41と同じである。典型的なオブジェクトは、様々な速度を有し、様々な位置で静止し得る。例えば、典型的なオブジェクトは、可能な限りビデオセンサに近づき、次いで、可能な限りビデオセンサから遠ざかる。典型的なオブジェクトによるこの動きは、必要に応じて繰り返され得る。
【0131】
ブロック72〜25は、それぞれ、ブロック51〜54と同じである。
【0132】
ブロック76で、典型的なオブジェクトが、場面の至るところで監視される。追跡される唯一の(または少なくとも最も)安定したオブジェクトは、場面内の較正オブジェクト(すなわち、場面を移動する典型的なオブジェクト)であるものと仮定される。安定したオブジェクトのサイズは、それが観測される場面内のあらゆる地点について収集され、この情報を使って、較正情報が生成される。
【0133】
ブロック77で、典型的なオブジェクトのサイズが、場面全体の様々な区域について特定される。典型的なオブジェクトのサイズを使って、場面内の様々な区域における類似のオブジェクトのおおよそのサイズが決定される。この情報を用いて、画像内の様々な区域における典型的なオブジェクトの典型的な見かけ上のサイズにマッチするルックアップ表が生成され、あるいは内部と外部のカメラ較正パラメータが推論される。サンプル出力として、システムが適切な高さとして決定したものを、画像の様々な区域内の棒型の人物の表示で示す。かかる棒型の人物が、図11に示されている。
【0134】
自動較正では、コンピュータシステム11が、各ビデオセンサの視界内の場所に関する情報を判定する学習フェーズが行われる。自動較正の間、コンピュータシステム11は、その場面に典型的なオブジェクトの統計的に有意なサンプリングを獲得し、それによって、典型的な見かけ上のサイズと場所を推論するのに十分な、代表的な期間(数分間、数時間、または数日間など)にわたって、その場所のソースビデオを受け取る。
【0135】
図8に、ビデオ監視システムの自動較正の流れ図を示す。ブロック81〜86は、図7のブロック71〜76と同じである。
【0136】
ブロック87で、ビデオセンサの視界内の追跡可能領域が識別される。追跡可能領域とは、オブジェクトが、容易に、かつ/または正確に追跡され得る、ビデオセンサの視界内の領域をいう。追跡不能領域とは、オブジェクトが、容易に、かつ/または正確に追跡されず、かつ/または追跡するのが困難な、ビデオセンサの視界内の領域をいう。追跡不能領域を、不安定または非顕著領域と呼ぶこともできる。オブジェクトは、そのオブジェクトが小さすぎるために(所定の閾値より小さいなど)、あまりにも短時間しか出現しないために(所定の閾値より短いなど)、あるいは顕著でない動きを示すため(意図的でないなど)に、追跡するのが難しいこともある。追跡可能領域は、例えば、{13}に記載されている技法などを使って識別され得る。
【0137】
図10に、食料品店内の通路について決定された追跡可能領域を示す。通路の向こう側の区域は、この区域内にあまりにも多くの混乱要素が見えるため、顕著でないと判定されている。混乱要素とは、追跡方式を混乱させるビデオ内のものをいう。混乱要素の例には、風に揺れる葉、雨、一部が遮られて見えないオブジェクト、正確に追跡するにはあまりにも短期間しか現れないオブジェクトなどが含まれる。これに対して、通路のこちら側の区域は、この区域では良好な軌道が判定されるため、顕著であると判定されている。
【0138】
ブロック88で、場面全体の様々な区域でのオブジェクトのサイズが識別される。オブジェクトのサイズは、場面内の様々な区域における類似のオブジェクトのおおよそのサイズを決定するのに使用される。ヒストグラムや統計的中央値を使用するなどの技法を使って、オブジェクトの典型的な見かけ上の高さと幅が、場面内の場所の関数として求められる。場面の画像のある部分では、典型的なオブジェクトは、典型的な見かけ上の高さと幅を持ち得る。この情報を用いて、画像内の様々な区域におけるオブジェクトの典型的な見かけ上のサイズにマッチするルックアップ表が生成され、または内部と外部のカメラ較正パラメータが推論され得る。
【0139】
図11に、図10の食料品店の通路内の典型的なオブジェクトの典型的なサイズの識別を示す。典型的なオブジェクトは、人々であるものと想定され、ラベルによってしかるべく識別される。人々の典型的なサイズは、顕著な領域で検出される人々の平均身長と平均幅のグラフによって決定される。例では、グラフAが、平均的な人の平均身長について求められ、グラフBが、1人、2人、および3人の人の平均的な幅について求められる。
【0140】
グラフAでは、x軸に、ブロブの高さを画素数で示し、y軸に、発生する、x軸上で識別される個々の高さの例の数を示す。グラフAの線のピークは、場面の指定領域内で最も一般的なブロブの高さに対応し、この例では、ピークは、指定領域に立つ人の平均身長に対応する。
【0141】
人々がゆるくまとまったグループとして進むものと仮定して、グラフAに類似のグラフが、幅についてグラフBとして生成される。グラフBでは、x軸に、ブロブの幅を画素数で示し、y軸に、発生する、x軸上で識別される個々の幅の例の数を示す。グラフBの線の各ピークは、いくつかのブロブの平均幅に対応する。大部分のグループがただ1人の人を含むものと仮定すると、最大のピークが、最も一般的な幅に対応し、これが、指定領域内の人1人の平均幅に対応する。同様に、2番目に大きいピークは、指定領域内の人2人の平均幅に対応し、3番目に大きいピークは、指定領域内の人3人の平均幅に対応する。
【0142】
図9に、本発明のビデオ監視システムの追加の流れ図を示す。この追加の実施形態では、システムは、アーカイブされたビデオプリミティブをイベント判別子と共に分析して、例えば、ソースビデオ全体を見直す必要もなく、追加の報告を生成する。本発明に従ってビデオソースが処理された後の任意のときに、ソースビデオのビデオプリミティブが、図4のブロック43でアーカイブされる。追加の実施形態では、ビデオプリミティブだけが見直され、ビデオソースは、再処理されないため、ビデオコンテンツが、比較的短時間で再分析され得る。これは、現在の最新のシステムに優る大幅な効率改善を提供する。というのは、ビデオ画像データの処理は、極めて計算上に高くつくが、ビデオから抜粋された小規模なビデオプリミティブを分析すれば、極めて計算上に安くつくからである。一例として、「最近2ヶ月間に区域Aにおいて10分より長く立ち止まった人の数」というイベント判別子が生成され得る。この追加の実施形態では、最近2ヶ月間のソースビデオが見直される必要はない。そうではなく、最近2ヶ月間のビデオプリミティブが見直されるだけでよく、これは、大幅に効率のよいプロセスである。
【0143】
ブロック91は、図2のブロック23と同じである。
【0144】
ブロック92で、アーカイブされたビデオプリミティブにアクセスされる。ビデオプリミティブは、図4のブロック43でアーカイブされる。
【0145】
ブロック93と94は,図4のブロック44と45と同じである。
【0146】
用途の一例として、本発明は、小売陳列の効率性を評価することによって、小売市場空間を分析するのに使用され得る。小売陳列には、陳列商品と副次的商品両方の販売を促進するためにできるだけ人目を引こうと、多額の金が投入される。本発明のビデオ監視システムは、これらの小売陳列の効率性を評価するように構成され得る。
【0147】
この適用例では、ビデオ監視システムが、ビデオセンサの視界を、所望の小売陳列の周囲の空間に向けてセットアップされる。タスク割り当て時に、オペレータは、所望の小売陳列の周囲の空間を表す区域を選択する。判別子として、オペレータは、その区域に入り、測定可能な速度の低下を示し、または相当の時間にわたって立ち止まる人の大きさのオブジェクトを監視しようとすることを定義する。
【0148】
ある期間にわたって動作した後、ビデオ監視システムは、市場分析の報告を提供し得る。報告には、この小売陳列の周囲で歩調をゆるめた人の数、この小売陳列で立ち止まった人の数、この小売陳列に興味を示した人の、時間の関数としての内訳、例えば、何人が週末にかけて興味を示したかや、何人が夕方に興味を示したかなど、この小売陳列に興味を示した人のビデオスナップ写真が含まれ得る。ビデオ監視システムから獲得される市場調査情報は、店の売上情報および店の顧客記録と組み合わされて、分析者による小売陳列の有効性の理解を向上させることができる。
【0149】
本明細書で論じている実施形態および例は、非限定的な例である。
【0150】
本発明は、好ましい実施形態に関して詳細に説明されており、以上の説明より、本発明のより一般的な態様から逸脱することなく変更および改変を加えることができ、したがって、特許請求の範囲で定義される本発明は、かかるすべての変更および改変を、本発明の真の趣旨に含まれるものとして包含するものであることが、当業者には明らかであろう。
【図面の簡単な説明】
【0151】
【図1】本発明のビデオ監視システムを示す平面図である。
【図2】本発明のビデオ監視システムを示す流れ図である。
【図3】ビデオ監視システムのタスク割り当てを示す流れ図である。
【図4】ビデオ監視システムの動作を示す流れ図である。
【図5】ビデオ監視システムのビデオプリミティブの抽出を示す流れ図である。
【図6】ビデオ監視システムでの処置を示す流れ図である。
【図7】ビデオ監視システムの半自動較正を示す流れ図である。
【図8】ビデオ監視システムの自動較正を示す流れ図である。
【図9】本発明のビデオ監視システムを示す追加の流れ図である。
【図10】食料品店の監視に適用された本発明のビデオ監視システムの例を示す図である。
【図11】食料品店の監視に適用された本発明のビデオ監視システムの例を示す図である。
【図12】食料品店の監視に適用された本発明のビデオ監視システムの例を示す図である。
【図13】食料品店の監視に適用された本発明のビデオ監視システムの例を示す図である。
【図14】食料品店の監視に適用された本発明のビデオ監視システムの例を示す図である。
【図15】食料品店の監視に適用された本発明のビデオ監視システムの例を示す図である。
【図16a】本発明の一実施形態によるビデオ分析サブシステムを示す流れ図である。
【図16b】本発明の一実施形態によるイベント発生検出応答サブシステムを示す流れ図である。
【図17】データベース問い合わせの例を示す図である。
【図18a】本発明の様々な実施形態による、仕掛け線横断を検出するアクティビティ検出子の例を示す図である。
【図18b】本発明の様々な実施形態による、徘徊を検出するアクティビティ検出子の例を示す図である。
【図18c】本発明の様々な実施形態による、盗難を検出するアクティビティ検出子の例を示す図である。
【図19】本発明の一実施形態によるアクティビティ検出子問い合わせを示す図である。
【図20】本発明の一実施形態による、アクティビティ検出子と修飾子を伴うブール演算子を使った問い合わせの例を示す図である。
【図21a】複数レベルの結合子と、アクティビティ検出子と、特性問い合わせとを使った問い合わせの例を示す図である。
【図21b】複数レベルの結合子と、アクティビティ検出子と、特性問い合わせとを使った問い合わせの例を示す図である。
【特許請求の範囲】
【請求項1】
少なくとも1つのビデオまたは非ビデオプリミティブに基づいて1つまたは複数のイベント発生を抽出するステップを備えるビデオ監視方法。
【請求項2】
入力ビデオシーケンスから少なくとも1つのビデオプリミティブを導出するステップをさらに備える、請求項1に記載のビデオ監視方法。
【請求項3】
前記抽出するステップが、
前記少なくとも1つのビデオまたは非ビデオプリミティブに少なくとも1つの問い合わせを適用する工程を備える、請求項1に記載のビデオ監視方法。
【請求項4】
前記少なくとも1つの問い合わせを適用する工程が、
前記少なくとも1つのビデオまたは非ビデオプリミティブに少なくとも2つの副問い合わせを適用することと、
前記少なくとも2つの副問い合わせの結果に少なくとも1つの結合子を適用することと、
を備える、請求項3に記載のビデオ監視方法。
【請求項5】
前記結合子が、ブール演算子を備える、請求項4に記載のビデオ監視方法。
【請求項6】
前記結合子が、修飾子をさらに備える、請求項5に記載のビデオ監視方法。
【請求項7】
前記修飾子が、時間修飾子と、空間修飾子と、オブジェクト修飾子と、カウンタ修飾子からなるグループから選択される、請求項6に記載のビデオ監視方法。
【請求項8】
前記少なくとも1つの問い合わせが、少なくとも1つのアクティビティ記述子問い合わせを備える、請求項3に記載のビデオ監視方法。
【請求項9】
前記少なくとも1つの問い合わせが、少なくとも1つの特性問い合わせを備える、請求項3に記載のビデオ監視方法。
【請求項10】
前記少なくとも1つの問い合わせが、
少なくとも3つの副問い合わせと、
少なくとも2つの結合子と、
を備える少なくとも1つの多層問い合わせを備える、請求項3に記載のビデオ監視方法。
【請求項11】
アーカイブから少なくとも1つのビデオまたは非ビデオプリミティブを検索するステップをさらに備える、請求項1に記載のビデオ監視方法。
【請求項12】
前記ビデオプリミティブが、場面/ビデオ記述子と、オブジェクト記述子と、フロー記述子からなるグループから選択される種類のビデオプリミティブのうち少なくとも1つを備える、請求項1に記載のビデオ監視方法。
【請求項13】
コンピュータシステム上で実行されると、前記コンピュータシステムに、請求項1に記載の方法を実施させる命令を含むコンピュータ可読媒体。
【請求項14】
前記抽出する命令が、前記少なくとも1つのビデオまたは非ビデオプリミティブに少なくとも1つの問い合わせを適用する命令を備える、請求項13に記載のコンピュータ可読媒体。
【請求項15】
前記問い合わせが、特性問い合わせと、アクティビティ記述子問い合わせと、複数の副問い合わせを組み合わせることによって形成される問い合わせからなるグループのうちの少なくとも1つを備える、請求項14に記載のコンピュータ可読媒体。
【請求項16】
請求項1に記載のビデオ監視方法を備えるビデオベースの警備方法。
【請求項17】
請求項1に記載のビデオ監視方法を備えるビデオベースの安全化方法。
【請求項18】
請求項1に記載のビデオ監視方法を備えるビデオベースの交通監視方法。
【請求項19】
請求項1に記載のビデオ監視方法を備えるビデオベースの市場調査分析方法。
【請求項20】
ビデオシーケンスから抽出される少なくとも1つのビデオプリミティブを保存するステップと、
前記ビデオシーケンスの少なくとも一部分を保存するステップであり、前記ビデオシーケンスの前記少なくとも一部分を保存する手段が前記ビデオシーケンスの分析によって決まる前記ステップと
を備えるビデオ監視方法。
【請求項21】
前記ビデオシーケンスの前記少なくとも一部分が、前記ビデオシーケンスの品質より低い品質で保存される、請求項20に記載のビデオ監視方法。
【請求項22】
前記ビデオシーケンスの少なくとも一部分を保存する前記ステップが、
少なくとも1つのアクティビティが検出される前記ビデオシーケンスの部分だけを保存する工程
を備える、請求項20に記載のビデオ監視方法。
【請求項23】
前記ビデオシーケンスの少なくとも一部分を保存する前記ステップが、
検出アクティビティを含む前記ビデオシーケンスの部分を、検出アクティビティを含まない前記ビデオシーケンスの部分より高い品質で保存する工程
を備える、請求項20に記載のビデオ監視方法。
【請求項24】
コンピュータシステムによって実行されると、前記コンピュータシステムに、請求項20に記載の方法を実施させる命令を含むコンピュータ可読媒体。
【請求項25】
請求項20に記載のビデオ監視方法を備えるビデオベースの警備方法。
【請求項26】
請求項20に記載のビデオ監視方法を備えるビデオベースの安全化方法。
【請求項27】
請求項20に記載のビデオ監視方法を備えるビデオベースの交通監視方法。
【請求項28】
請求項20に記載のビデオ監視方法を備えるビデオベースの市場調査分析方法。
【請求項29】
ビデオ監視システムであって、
ビデオシーケンスを提供する少なくとも1つのビデオソースを含む少なくとも1つのセンサと、
前記ビデオシーケンスを分析するビデオ分析サブシステムであり、少なくとも1つのビデオプリミティブを導出する前記ビデオ分析サブシステムと、
前記少なくとも1つのビデオプリミティブを格納する少なくとも1つの記憶設備と、
を備えるビデオ監視システム。
【請求項30】
前記少なくとも1つの記憶設備が、少なくとも1つの非ビデオプリミティブを格納する、請求項29に記載のビデオ監視システム。
【請求項31】
前記ビデオ分析サブシステムが、前記少なくとも1つの記憶設備内の前記ビデオシーケンスの少なくとも一部分の記憶を制御するようになっている、請求項29に記載のビデオ監視システム。
【請求項32】
前記ビデオ分析サブシステムが、前記少なくとも1つの記憶設備に格納されるべき前記ビデオシーケンスの少なくとも一部分のビデオ品質を制御するようになっている、請求項31に記載のビデオ監視システム。
【請求項33】
前記少なくとも1つの記憶設備に結合されたイベント発生検出応答サブシステムと、
前記ビデオ分析サブシステムに、イベント分析規則と検出イベントへの応答からなるグループから選択される少なくとも1つの入力を提供する、前記アクティビティイベント分析サブシステムに結合された規則応答定義インターフェースと、
をさらに備える、請求項29に記載のビデオ監視システム。
【請求項34】
前記イベント発生検出応答サブシステムが、前記少なくとも1つの記憶設備に格納された少なくとも1つのビデオまたは非ビデオプリミティブを使って、前記イベント分析規則を適用するようになっている、請求項33に記載のビデオ監視システム。
【請求項35】
請求項29に記載のビデオ監視システムを備えるビデオベースの警備システム。
【請求項36】
アクセス制御と、資産監視と、テロ行為防止からなるグループから選択される少なくとも1つの機能を実行するようになっている、請求項35に記載のビデオベースの警備システム。
【請求項37】
請求項29に記載のビデオ監視システムを備えるビデオベースの安全化システム。
【請求項38】
潜在的に危険な状況の検出と、病人の監視と、高齢者の監視からなるグループから選択される少なくとも1つの機能を実行するようになっている、請求項37に記載のビデオベースの安全化システム。
【請求項39】
請求項29に記載のビデオ監視システムを備えるビデオベースの交通監視システム。
【請求項40】
請求項29に記載のビデオ監視システムを備えるビデオベースの市場調査分析システム。
【請求項1】
少なくとも1つのビデオまたは非ビデオプリミティブに基づいて1つまたは複数のイベント発生を抽出するステップを備えるビデオ監視方法。
【請求項2】
入力ビデオシーケンスから少なくとも1つのビデオプリミティブを導出するステップをさらに備える、請求項1に記載のビデオ監視方法。
【請求項3】
前記抽出するステップが、
前記少なくとも1つのビデオまたは非ビデオプリミティブに少なくとも1つの問い合わせを適用する工程を備える、請求項1に記載のビデオ監視方法。
【請求項4】
前記少なくとも1つの問い合わせを適用する工程が、
前記少なくとも1つのビデオまたは非ビデオプリミティブに少なくとも2つの副問い合わせを適用することと、
前記少なくとも2つの副問い合わせの結果に少なくとも1つの結合子を適用することと、
を備える、請求項3に記載のビデオ監視方法。
【請求項5】
前記結合子が、ブール演算子を備える、請求項4に記載のビデオ監視方法。
【請求項6】
前記結合子が、修飾子をさらに備える、請求項5に記載のビデオ監視方法。
【請求項7】
前記修飾子が、時間修飾子と、空間修飾子と、オブジェクト修飾子と、カウンタ修飾子からなるグループから選択される、請求項6に記載のビデオ監視方法。
【請求項8】
前記少なくとも1つの問い合わせが、少なくとも1つのアクティビティ記述子問い合わせを備える、請求項3に記載のビデオ監視方法。
【請求項9】
前記少なくとも1つの問い合わせが、少なくとも1つの特性問い合わせを備える、請求項3に記載のビデオ監視方法。
【請求項10】
前記少なくとも1つの問い合わせが、
少なくとも3つの副問い合わせと、
少なくとも2つの結合子と、
を備える少なくとも1つの多層問い合わせを備える、請求項3に記載のビデオ監視方法。
【請求項11】
アーカイブから少なくとも1つのビデオまたは非ビデオプリミティブを検索するステップをさらに備える、請求項1に記載のビデオ監視方法。
【請求項12】
前記ビデオプリミティブが、場面/ビデオ記述子と、オブジェクト記述子と、フロー記述子からなるグループから選択される種類のビデオプリミティブのうち少なくとも1つを備える、請求項1に記載のビデオ監視方法。
【請求項13】
コンピュータシステム上で実行されると、前記コンピュータシステムに、請求項1に記載の方法を実施させる命令を含むコンピュータ可読媒体。
【請求項14】
前記抽出する命令が、前記少なくとも1つのビデオまたは非ビデオプリミティブに少なくとも1つの問い合わせを適用する命令を備える、請求項13に記載のコンピュータ可読媒体。
【請求項15】
前記問い合わせが、特性問い合わせと、アクティビティ記述子問い合わせと、複数の副問い合わせを組み合わせることによって形成される問い合わせからなるグループのうちの少なくとも1つを備える、請求項14に記載のコンピュータ可読媒体。
【請求項16】
請求項1に記載のビデオ監視方法を備えるビデオベースの警備方法。
【請求項17】
請求項1に記載のビデオ監視方法を備えるビデオベースの安全化方法。
【請求項18】
請求項1に記載のビデオ監視方法を備えるビデオベースの交通監視方法。
【請求項19】
請求項1に記載のビデオ監視方法を備えるビデオベースの市場調査分析方法。
【請求項20】
ビデオシーケンスから抽出される少なくとも1つのビデオプリミティブを保存するステップと、
前記ビデオシーケンスの少なくとも一部分を保存するステップであり、前記ビデオシーケンスの前記少なくとも一部分を保存する手段が前記ビデオシーケンスの分析によって決まる前記ステップと
を備えるビデオ監視方法。
【請求項21】
前記ビデオシーケンスの前記少なくとも一部分が、前記ビデオシーケンスの品質より低い品質で保存される、請求項20に記載のビデオ監視方法。
【請求項22】
前記ビデオシーケンスの少なくとも一部分を保存する前記ステップが、
少なくとも1つのアクティビティが検出される前記ビデオシーケンスの部分だけを保存する工程
を備える、請求項20に記載のビデオ監視方法。
【請求項23】
前記ビデオシーケンスの少なくとも一部分を保存する前記ステップが、
検出アクティビティを含む前記ビデオシーケンスの部分を、検出アクティビティを含まない前記ビデオシーケンスの部分より高い品質で保存する工程
を備える、請求項20に記載のビデオ監視方法。
【請求項24】
コンピュータシステムによって実行されると、前記コンピュータシステムに、請求項20に記載の方法を実施させる命令を含むコンピュータ可読媒体。
【請求項25】
請求項20に記載のビデオ監視方法を備えるビデオベースの警備方法。
【請求項26】
請求項20に記載のビデオ監視方法を備えるビデオベースの安全化方法。
【請求項27】
請求項20に記載のビデオ監視方法を備えるビデオベースの交通監視方法。
【請求項28】
請求項20に記載のビデオ監視方法を備えるビデオベースの市場調査分析方法。
【請求項29】
ビデオ監視システムであって、
ビデオシーケンスを提供する少なくとも1つのビデオソースを含む少なくとも1つのセンサと、
前記ビデオシーケンスを分析するビデオ分析サブシステムであり、少なくとも1つのビデオプリミティブを導出する前記ビデオ分析サブシステムと、
前記少なくとも1つのビデオプリミティブを格納する少なくとも1つの記憶設備と、
を備えるビデオ監視システム。
【請求項30】
前記少なくとも1つの記憶設備が、少なくとも1つの非ビデオプリミティブを格納する、請求項29に記載のビデオ監視システム。
【請求項31】
前記ビデオ分析サブシステムが、前記少なくとも1つの記憶設備内の前記ビデオシーケンスの少なくとも一部分の記憶を制御するようになっている、請求項29に記載のビデオ監視システム。
【請求項32】
前記ビデオ分析サブシステムが、前記少なくとも1つの記憶設備に格納されるべき前記ビデオシーケンスの少なくとも一部分のビデオ品質を制御するようになっている、請求項31に記載のビデオ監視システム。
【請求項33】
前記少なくとも1つの記憶設備に結合されたイベント発生検出応答サブシステムと、
前記ビデオ分析サブシステムに、イベント分析規則と検出イベントへの応答からなるグループから選択される少なくとも1つの入力を提供する、前記アクティビティイベント分析サブシステムに結合された規則応答定義インターフェースと、
をさらに備える、請求項29に記載のビデオ監視システム。
【請求項34】
前記イベント発生検出応答サブシステムが、前記少なくとも1つの記憶設備に格納された少なくとも1つのビデオまたは非ビデオプリミティブを使って、前記イベント分析規則を適用するようになっている、請求項33に記載のビデオ監視システム。
【請求項35】
請求項29に記載のビデオ監視システムを備えるビデオベースの警備システム。
【請求項36】
アクセス制御と、資産監視と、テロ行為防止からなるグループから選択される少なくとも1つの機能を実行するようになっている、請求項35に記載のビデオベースの警備システム。
【請求項37】
請求項29に記載のビデオ監視システムを備えるビデオベースの安全化システム。
【請求項38】
潜在的に危険な状況の検出と、病人の監視と、高齢者の監視からなるグループから選択される少なくとも1つの機能を実行するようになっている、請求項37に記載のビデオベースの安全化システム。
【請求項39】
請求項29に記載のビデオ監視システムを備えるビデオベースの交通監視システム。
【請求項40】
請求項29に記載のビデオ監視システムを備えるビデオベースの市場調査分析システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16a】
【図16b】
【図17a】
【図17b】
【図18a】
【図18b】
【図18c】
【図19】
【図20】
【図21a】
【図21b】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16a】
【図16b】
【図17a】
【図17b】
【図18a】
【図18b】
【図18c】
【図19】
【図20】
【図21a】
【図21b】
【公表番号】特表2008−538665(P2008−538665A)
【公表日】平成20年10月30日(2008.10.30)
【国際特許分類】
【出願番号】特願2007−556153(P2007−556153)
【出願日】平成18年1月26日(2006.1.26)
【国際出願番号】PCT/US2006/002700
【国際公開番号】WO2006/088618
【国際公開日】平成18年8月24日(2006.8.24)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.フロッピー
【出願人】(504142167)オブジェクトビデオ インコーポレイテッド (11)
【Fターム(参考)】
【公表日】平成20年10月30日(2008.10.30)
【国際特許分類】
【出願日】平成18年1月26日(2006.1.26)
【国際出願番号】PCT/US2006/002700
【国際公開番号】WO2006/088618
【国際公開日】平成18年8月24日(2006.8.24)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.フロッピー
【出願人】(504142167)オブジェクトビデオ インコーポレイテッド (11)
【Fターム(参考)】
[ Back to top ]