頭上ビデオストリームからの監視対象の検出及び追跡
ビデオを処理する手法は、シーンの頭上視野からのビデオを受け取るステップと、ビデオの中で、動いているピクセルを検出するステップと、検出された、動いているピクセルに基づいて、ビデオの中で線分を検出するステップと、検出された線分に基づいて、ビデオの中で監視対象を識別するステップと、識別された監視対象に基づいて、ビデオの中で監視対象を追跡するステップと、ビデオの中で、追跡されている監視対象を管理するステップと、を含んでいる。
【発明の詳細な説明】
【発明の分野】
【０００１】
[0002]本発明は、ビデオ監視システム及びビデオ確認システムに関する。具体的には、本発明は、頭上カメラの視野からのビデオストリームにおいて個々の監視対象を検出及び追跡するように構成することのできるビデオ監視システムに関する。
【発明の背景】
【０００２】
[0004]ビデオ監視は、生活上の様々な場面において重要である。監視ツールとしてのビデオにおける１つの問題として、監視するためには極めて多くの操作が必要とされる。最近、自動ビデオ監視におけるこの問題に対して、インテリジェントなビデオ監視システムの形での解決策が提案されている。例えば、米国特許第６，６９６，９４５号明細書「ビデオ仕掛け線（Ｖｉｄｅｏ Ｔｒｉｐｗｉｒｅ）」（整理番号３７１１２−１７５３３９）、及び米国特許出願第０９／９８７，７０７号明細書「ビデオプリミティブを使用する監視システム（Ｓｕｒｖｅｉｌｌａｎｃｅ Ｓｙｓｔｅｍ Ｅｍｐｌｏｙｉｎｇ Ｖｉｄｅｏ Ｐｒｉｍｉｔｉｖｅｓ）」（整理番号３７１１２−１７５３４０）（両文書は本文書に参考とすることにより組み込まれている）を参照。ビデオ監視の１つの用途は、人間及びその挙動を検出することである。残念ながら、自動ビデオ監視を支えているコンピュータビジョンの技術は、例えば住宅用、商業用、及び家庭用の監視用途において使用されるシステムでは、頭上カメラの視野の中で個々の監視対象を認識することに関して制限がある。
【０００３】
[0005]現在のビデオ監視システム（例えば、Ｃ．Ｓｔａｕｆｆｅｒ、Ｗ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎの「リアルタイム追跡を使用してのアクティビティパターンの学習（Ｌｅａｒｎｉｎｇ Ｐａｔｔｅｒｎｓ ｏｆ Ａｃｔｉｖｉｔｙ Ｕｓｉｎｇ Ｒｅａｌ−Ｔｉｍｅ Ｔｒａｃｋｉｎｇ）」（ＩＥＥＥ Ｔｒａｎｓ．ＰＡＭＩ，２２（８）、ｐ．７４７〜７５７、２０００年８月）、Ｒ．Ｃｏｌｌｉｎｓ、Ａ．Ｌｉｐｔｏｎ、Ｈ．Ｆｕｊｉｙｏｓｈｉ、Ｔ．Ｋａｎａｄｅの「複数センサーによる協力的監視のアルゴリズム（Ａｌｇｏｒｉｔｈｍｓ ｆｏｒ Ｃｏｏｐｅｒａｔｉｖｅ Ｍｕｌｔｉｓｅｎｓｏｒ Ｓｕｒｖｅｉｌｌａｎｃｅ）」（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ、Ｖｏｌ．８９、Ｎｏ．１０、２００１年１０月、ｐ．１４５６〜１４７７）を参照）（両文書は本文書に参考とすることにより組み込まれている）には、２つの基本的な制限がある。第一に、監視対象のグループが互いに非常に接近していることがしばしばあり、１つの「ブロブ」として検出されることがある。そのブロブを正しく「人のグループ」と標識化することはできるが、グループを構成している人の数を確定することができない。第二に、（特に、例えば頭上カメラショットにおける）他の無生物オブジェクト（例えば、家具、乳母車、ショッピングカートなど）と、本物の監視対象とを、一般的には区別することができない。更に、別の「人検出」アルゴリズム（例えば、ｈｔｔｐ：／／ｖｉｓｍｏｄ．ｍｅｄｉａ．ｍｉｔ．ｅｄｕ／ｖｉｓｍｏｄ／ｄｅｍｏｓ／ｐｆｉｎｄｅｒ／に記載されている手法、及び米国特許出願第１１／１３９，９８６号明細書「セキュリティ用途における人の検出及び追跡（Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ ｆｏｒ Ｓｅｃｕｒｉｔｙ Ａｐｐｌｉｃａｔｉｏｎｓ）」（出願日：２００５年５月３１日、整理番号３７１１２−２１８４７１）を参照）（両文書は本文書に参考とすることにより組み込まれている）では、傾いたカメラの視野と特定の人モデルとを利用して人を認識するが、頭上カメラの視野の場合、一般に良好には機能しない。
【発明の概要】
【０００４】
[0007]本発明の１つの実施形態は、ビデオを処理するソフトウェアを備えているコンピュータ可読媒体であって、ソフトウェアがコンピュータシステムによって実行されたとき、それに起因して、コンピュータシステムが、シーンの頭上視野からのビデオを受け取るステップと、ビデオの中で、動いているピクセルを検出するステップと、検出された動いているピクセルに基づいて、ビデオの中で線分を検出するステップと、検出された線分に基づいて、ビデオの中で監視対象を識別するステップと、識別された監視対象に基づいて、ビデオの中で監視対象を追跡するステップと、ビデオの中で、追跡されている監視対象を管理するステップと、の方法、を含んでいる動作、を実行する、コンピュータ可読媒体、を含んでいる。
【０００５】
[0008]本発明の１つの実施形態は、ビデオを処理する方法を実行するコンピュータベースのシステムであって、ビデオを処理する方法が、シーンの頭上視野からのビデオを受け取るステップと、ビデオの中で、動いているピクセルを検出するステップと、検出された動いているピクセルに基づいて、ビデオの中で線分を検出するステップと、検出された線分に基づいて、ビデオの中で監視対象を識別するステップと、識別された監視対象に基づいて、ビデオの中で監視対象を追跡するステップと、ビデオの中で追跡されている監視対象を管理するステップと、を含んでいる、コンピュータベースのシステム、を含んでいる。
【０００６】
[0009]本発明の１つの実施形態は、ビデオを処理する方法であって、シーンの頭上視野からのビデオを受け取るステップと、ビデオの中で、動いているピクセルを検出するステップと、検出された動いているピクセルに基づいて、ビデオの中で線分を検出するステップと、検出された線分に基づいて、ビデオの中で監視対象を識別するステップと、識別された監視対象に基づいて、ビデオの中で監視対象を追跡するステップと、ビデオの中で、追跡されている監視対象を管理するステップと、を含んでいる、方法、を含んでいる。
【０００７】
[0011]本発明の上記及びその他の特徴及び利点は、添付の図面に図解してある本発明の実施形態の以下の更に具体的な説明から明らかとなろう。
【定義】
【０００８】
[0029]本発明の説明では、（ここまでの説明を含む）全体を通じて、以下の定義を適用する。
【０００９】
[0030]「コンピュータ」は、構造化入力（ｓｔｒｕｃｔｕｒｅｄ ｉｎｐｕｔ）を受け取り、その構造化入力を所定の規則に従って処理し、処理の結果を出力として生成することのできる１つ以上の装置若しくは１つ以上のシステム、又はその両方を意味する。コンピュータの例としては、コンピュータ、据置き型若しくはポータブル型、又はその両方のコンピュータ、１つのプロセッサ又は複数のプロセッサ（並列若しくは非並列、又はその両方で動作することができる）を有するコンピュータ、汎用コンピュータ、スーパーコンピュータ、メインフレーム、スーパーミニコンピュータ、ミニコンピュータ、ワークステーション、マイクロコンピュータ、サーバ、クライアント、双方向テレビ、Ｗｅｂアプライアンス、インターネットアクセス機能を備えた通信装置、コンピュータと双方向テレビのハイブリッドな組合せ、ポータブルコンピュータ、携帯情報端末（ＰＤＡ）、携帯電話、コンピュータ若しくはソフトウェア、又はその両方をエミュレートするための、特定用途向けハードウェア（例えば、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）など）、ネットワークによってリンクされているコンピュータシステムによって情報を処理するための分散型コンピュータシステム、コンピュータシステム間で情報を送信又は受信するためにネットワークを介して互いに接続されている２つ以上のコンピュータシステム、データを受け取ることができ、格納されている１つ以上のソフトウェアプログラムに従ってデータを処理することができ、結果を生成することができる、一般には、入力ユニット、出力ユニット、記憶装置、算術ユニット、論理ユニット、及び制御ユニットを含んでいることができる、１つ以上の装置若しくは１つ以上のシステム、又はその両方、が挙げられる。
【００１０】
[0031]「ソフトウェア」は、コンピュータを動作させるための所定の規則を意味する。ソフトウェアの例としては、ソフトウェア、コードセグメント、命令、コンピュータプログラム、プログラムロジックが挙げられる。
【００１１】
[0032]「コンピュータシステム」は、コンピュータを有するシステムであって、コンピュータが、自身を動作させるためのソフトウェアを具体化しているコンピュータ可読媒体を含んでいることができる、システム、を意味する。
【００１２】
[0033]「ネットワーク」は、通信装置・設備によって接続することのできる複数のコンピュータ及び関連付けられる装置を意味する。ネットワークは、永久的な接続（ケーブルなど）と、一時的な接続（電話又はその他の通信リンクによって形成される接続など）を含んでいることができる。ネットワークの例としては、インターネット（例：Ｉｎｔｅｒｎｅｔ）、イントラネット、ＬＡＮ（ローカルエリアネットワーク）、ＷＡＮ（ワイドエリアネットワーク）、ネットワークの組合せ（例：インターネットとイントラネット）が挙げられる。
【００１３】
[0034]「ビデオ」は、アナログ形式若しくはデジタル形式、又はその両形式において表されている動画像を意味する。ビデオの例としては、テレビ、映画、カメラ又はその他の監視・観察装置（ｏｂｓｅｒｖｅｒ）からの画像シーケンス、コンピュータによって生成される画像シーケンスが挙げられる。ビデオは、例えば、生の映像、記憶装置、ＩＥＥＥ１３９４ベースのインタフェース、ビデオデジタイザ、コンピュータグラフィックエンジン、又はネットワーク接続から取得することができる。
【００１４】
[0035]「ビデオカメラ」は、視覚的な記録を行うための（ｆｏｒ ｖｉｓｕａｌ ｒｅｃｏｒｄｉｎｇ）装置を意味する。ビデオカメラの例としては、ビデオカメラ、デジタルビデオカメラ、カラーカメラ、白黒カメラ、カメラ、カムコーダー、ＰＣカメラ、Ｗｅｂカム、赤外線（ＩＲ）ビデオカメラ、低照度ビデオカメラ（ｌｏｗ−ｌｉｇｈｔ ｖｉｄｅｏ ｃａｍｅｒａ）、サーマルビデオカメラ、閉回路テレビ（ＣＣＴＶ）カメラ、パン・チルト・ズーム（ＰＴＺ）カメラ、ビデオ検出装置のうちの１つ以上が挙げられる。ビデオカメラは、対象領域の監視を実行するために配置することができる。
【００１５】
[0036]「ビデオ処理」は、ビデオの何らかの操作若しくは分析、又はその両方、例えば、圧縮、編集、監視、確認のうちの少なくとも１つを意味する。
【００１６】
[0037]「フレーム」は、ビデオの中の特定の画像又はその他の不連続な単位を意味する。
【実施形態の詳細な説明】
【００１７】
[0039]図面に図解してある本発明の例示的な実施形態の説明では、明瞭性を目的として特定の専門用語を使用している。しかしながら、本発明は、そのように選択されている特定の専門用語に限定されるものではない。特定の要素のそれぞれは、同様に動作して同様の目的を達成する、技術的に同等なあらゆる要素を含むことを理解されたい。本明細書中で引用した参考文献は、本文書に参考とすることにより組み込まれている。
【００１８】
[0040]本発明は、頭上カメラの視野からのビデオストリームにおいて個々の監視対象を検出及び追跡するように構成することのできるビデオ監視システムと、監視対象の出来事を確認するように構成することのできるビデオ確認システムとに関する。本システムは、複数のオブジェクトが互いに接近して行動しているときにもそれらを区別するようにと、他の無生物オブジェクト（動いているショッピングカート、乳母車、移動中の家具、その他の物体など）が存在しているときにも、動いているオブジェクトを検出するように、適合させることができる。
【００１９】
[0041]本発明は、様々な用途において使用することができる。住宅用又は商業用の構成・設定においては、本発明を使用することにより、住宅用又は商業用の監視システムにおいて、人を検出することと、誤アラームを低減させることができる。商業用の構成・設定においては、本発明を使用することにより、領域に入る人と領域から出る人とをカウントすることによって、建物内の人数の状況を判定する、若しくは、「ピギーバック（ｐｉｇｇｙｂａｃｋｉｎｇ）」が起きたかを検出する（すなわち、１人だけが入口から入る又は出ることを許可されているときに２人がそのようにしたときのアクセス管理違反を検出する）、又はその両方を行うことができる。物理的セキュリティの目的には、本発明を使用することにより、一方通行の通路、例えば、空港の出口や公共のエスカレーターを「間違った方向に」移動している人を検出することができる。公共の安全性の目的には、本発明を使用することにより、危険な行為を行っている、例えば、強盗や麻薬を取り引きしている人を検出することができる。小売店舗の構成・設定においては、本発明を使用することにより、店舗内にいる客の状況を検出する、レジに並ぶ行列の長さを検出する、或いはＰＯＳ（販売時点情報管理）取引を確認することができる。公共輸送の構成・設定においては、本発明を使用することにより、公共交通機関や公共交通車両に入る人をカウントしたり、（例えば、人が回転式改札口を飛び越えたり、他のそのような障害設備を乗り越えることを防ぐために）人が領域に入るときに必ずチケットが読み取られるように、チケット読み取り機のビデオ監視を実行することができる。
【００２０】
[0042]例示的な実施形態として、本発明は、小売店舗の何種類かのＰＯＳ（販売時点情報管理）取引の正当性を確認するために使用することができる。例えば、「商品の返品」取引では、顧客が物理的に存在することが要求されることがある。別の例としては、「経営者の独自裁量（ｍａｎａｇｅｒ ｏｖｅｒｒｉｄｅ）」取引では、経営者がレジ係を支援することが要求されることがある。本発明のビデオ監視システムは、ＰＯＳコンソール（例：金銭出納器）の周囲の場所及び個人の人数を監視し、特定の取引時に人が適切に配置されているかを判定することができる。
【００２１】
[0043]図１及び図２は、小売店舗においてＰＯＳ取引を確認する用途に使用する場合として、本発明を示している。図１は、本発明の例示的な実施形態によるビデオ監視システムを示している。ＰＯＳの例示的な構成・設定の場合、本発明のビデオ監視システム１０１は、ＰＯＳシステム１０２と情報をやりとりすることができる。ビデオ監視システム１０１は、ビデオカメラ１０３と、監視対象（例：人）検出・カウントモジュール１０４と、取引分類（有効／無効）モジュール１０５と、定義済み規則のデータベース１０６とを含んでいることができる。
【００２２】
[0044]ビデオカメラ１０３は、頭上位置からＰＯＳシステムのコンソールを監視することができる。ビデオカメラ１０３の視野は、シーンを見下ろしていることができる。監視対象検出・カウントモジュール１０４は、特定の取引が要求された、進行中である、又は完了したことの取引報告として、ＰＯＳシステム１０２からの入力を受け取ることができる。監視対象検出・カウントモジュール１０４は、ビデオシーンの中の人（存在時）の数を判定することができる。監視対象検出・カウントモジュール１０４の例示的な実施形態については、後から図４〜図１６を参照しながら説明する。取引分類モジュール１０５は、定義済み規則のデータベース１０６から受け取る規則に基づいて、関係者の配置を求めることができる。次いで、システム１０１は、取引が正当であったか否かを示す取引確認メッセージを、ＰＯＳシステム１０２（又は何らかの別のデータ監視システム又はデータアーカイブシステム）に戻すことができる。
【００２３】
[0045]ブロック１０５及びブロック１０６は、例えば、米国特許出願第０９／９８７，７０７号明細書「ビデオプリミティブを使用する監視システム（Ｖｉｄｅｏ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｓｙｓｔｅｍ Ｅｍｐｌｏｙｉｎｇ Ｖｉｄｅｏ Ｐｒｉｍｉｔｉｖｅｓ）」（整理番号３７１１２−１７５３４０）、米国特許出願第１１／０５７，１５４号明細書「ビデオ監視システム（Ｖｉｄｅｏ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｓｙｓｔｅｍ）」（整理番号３７１１２−２１３５４７）、又は米国特許出願第１１／０９８，３８５号明細書「ビデオプリミティブを使用する監視システム（Ｖｉｄｅｏ ｓｕｒｖｅｉｌｌａｎｃｅ ｓｙｓｔｅｍ ｅｍｐｌｏｙｉｎｇ ｖｉｄｅｏ ｐｒｉｍｉｔｉｖｅｓ）」（整理番号３７１１２−２１５８１１）（これらの文書は本文書に参考とすることにより組み込まれている）に記載されている手法を使用して、実施することができる。これらの文書には、規則の作成と、アクティビティ推論（例：人のカウント）のパフォーマンスについて記載されている。例えば、本発明においては、例えば米国特許出願第０９／９８７，７０７号明細書「ビデオプリミティブを使用する監視システム（Ｖｉｄｅｏ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｓｙｓｔｅｍ Ｅｍｐｌｏｙｉｎｇ Ｖｉｄｅｏ Ｐｒｉｍｉｔｉｖｅｓ）」（整理番号３７１１２−１７５３４０）に記載されている人の監視対象のプリミティブを使用することができる。
【００２４】
[0046]ＰＯＳシステムの例の場合、「ＰＯＳ取引プリミティブ」と称するプリミティブを使用することができる。このプリミティブは、３つのデータアイテム、すなわち、（１）ＰＯＳ取引の時刻、（２）取引の位置（どのＰＯＳ端末か）、（３）取引のタイプ（販売、返品、経営者の独自裁量など）を含んでいることができる。ＰＯＳ取引プリミティブとともに、規則データベース１０６の２つの規則を使用することができる。第１の規則として、「返品取引の確認」規則は、次のように使用することができる。ＰＯＳ返品取引（プリミティブ）が登録され、且つ、［パラメータ］時間長にわたり顧客が存在していなかった（対象の「顧客」領域内の人＞＝）場合、又は、［パラメータ］時間長にわたりレジ係が存在していなかった（対象の「従業員」領域に存在している人＞＝１（１人以上））場合、その取引は無効であり、アラーム条件を生成する。第２の規則として、「経営者の独自裁量」取引の規則によると、ＰＯＳ経営者独自裁量取引（プリミティブ）が登録され、且つ、［パラメータ］時間長にわたり２人の従業員が存在していなかった（対象の「従業員」領域内の人＞１（２人以上））場合、その取引は無効であり、アラーム条件を生成する。
【００２５】
[0047]ビデオカメラ１０３は、コンピュータベースのシステム１０７に接続することができ、コンピュータベースのシステム１０７は、ビデオカメラ１０３からのビデオの分析を実行して、シーン内の位置と人の数とを判定することができる。コンピュータベースのシステム１０７の例としては、上に定義されているコンピュータとして、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、携帯情報端末（ＰＤＡ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルアレイ（ＦＰＧＡ）、マイクロコントローラ、或いは、任意のその他の形式のプロセッサとして、スタンドアロンデバイスとしてのプロセッサ、又は、ビデオカメラ、デジタルビデオレコーダー（ＤＶＲ）、ネットワークビデオレコーダー（ＮＶＲ）、ネットワーク切り換え器、ネットワークルータ、ＰＯＳ端末、又は任意のその他のハードウェアデバイスに埋め込まれているプロセッサ、が挙げられる。コンピュータベースのシステム１０７は、人検出・カウントモジュール１０４と、取引分類モジュール１０５と、定義済み規則のデータベース１０６とを含んでいることができる。コンピュータベースのシステム１０７は、ソフトウェアを使用しておりネットワークに接続されている１台以上のコンピュータによって実施することができる。或いは、コンピュータベースのシステム１０７は、その全体又は一部をビデオカメラ１０３に組み込むことができる。人検出・カウントモジュール１０４及び取引分類モジュール１０５は、ソフトウェアがコンピュータシステムによって実行されたとき、それに起因して、コンピュータシステムがモジュール１０４及びモジュール１０５の動作を実行するように、モジュール１０４及びモジュール１０５の動作を実行するためのソフトウェアを備えているコンピュータ可読媒体として実施することができる。或いは、人検出・カウントモジュール１０４と、取引分類モジュール１０５と、定義済み規則のデータベース１０６とを、コンピュータ若しくはソフトウェア、又はその両方をエミュレートする特定用途向けハードウェアによって実施することができる。
【００２６】
[0048]図２は、本発明の例示的な実施形態によるビデオ監視システムからのビデオストリームからの例示的なフレームを示している。この例示的なカメラの視野は、頭上に配置されているビデオカメラからのものである。この例示的なフレームにおいては、顧客が右側であり、２人の従業員、すなわちレジ係と経営者が左側である。
【００２７】
[0049]図１及び図２の例においては、小売店舗においてＰＯＳ取引確認用途に使用する場合として、本発明を示してある。しかしながら、本発明は、当業者によって認識されるであろう任意の適切な用途に適用できることを理解されたい。
【００２８】
[0050]図３は、本発明の例示的な実施形態による、監視対象を検出してカウントするための流れ図を示している。本発明においては、監視対象は、ビデオシーンから取り出される、一緒に動いている一連の線分を使用して記述することができる。これらの一連の線分は、ブロック３０１及びブロック３０２を使用して取り出すことができる。ブロック３０１においては、ビデオストリームの中で、動いているピクセルを、例えば、３フレームの差異処理（ｔｈｒｅｅ−ｆｒａｍｅ ｄｉｆｆｅｒｅｎｃｉｎｇ）、又はそれ以外の何らかの手法（例えば、米国特許第６，６２５，３１０号明細書「ピクセルの統計的モデリングを使用してのビデオの分割（Ｖｉｄｅｏ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｕｓｉｎｇ Ｓｔａｔｉｓｔｉｃａｌ Ｐｉｘｅｌ Ｍｏｄｅｌｉｎｇ）」（整理番号３７１１２−１６４９９５）、又は米国特許出願第１０／３５４，０９６号明細書「変化の検出及び分類を使用してのビデオシーンの背景の保守（Ｖｉｄｅｏ Ｓｃｅｎｅ Ｂａｃｋｇｒｏｕｎｄ Ｍａｉｎｔｅｎａｎｃｅ Ｕｓｉｎｇ Ｃｈａｎｇｅ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）」（整理番号３７１１２−１８２３８６）を参照）（両文書は本文書に参考とすることにより組み込まれている）を使用して、検出することができ、モーションマスクを取り出すことができる。ブロック３０１の例示的な実施形態については、後から図４を参照しながら説明する。ブロック３０２においては、線分を、例えば、エッジ検出及び線成長手法（ｌｉｎｅ ｇｒｏｗｉｎｇ ｔｅｃｈｎｉｑｕｅ）（例えば、米国特許出願第１１／１１３，２７５号明細書「「商品持ち逃げ」検出に適用されるラインパターン監視対象の検出及び追跡（Ｌｉｎｅ Ｔｅｘｔｕｒｅｄ Ｔａｒｇｅｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ ｗｉｔｈ Ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ ‘Ｂａｓｋｅｔ−ｒｕｎ' Ｄｅｔｅｃｔｉｏｎ）」（整理番号３７１１２−２１７０４９）を参照）（この文書は本文書に参考とすることにより組み込まれている）を使用して、検出することができる。ブロック３０２の例示的な実施形態については、後から図５〜図７を参照しながら説明する。ブロック３０３においては、ビデオカメラの視野が提供されたとき、標準監視対象の必要条件（例：監視対象のおよその形状及び大きさ）を満たしている一連の線分として、監視対象を識別することができる。ブロック３０４においては、追跡フィルタ（カルマンフィルタなど）を監視対象の重心に適用する、又はその他の何らかの手法（例えば、米国特許出願第０９／９８７，７０７号明細書「ビデオプリミティブを使用する監視システム（Ｖｉｄｅｏ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｓｙｓｔｅｍ Ｅｍｐｌｏｙｉｎｇ Ｖｉｄｅｏ Ｐｒｉｍｉｔｉｖｅｓ）」（整理番号３７１１２−１７５３４０）、又は米国特許出願第１１／１３９，６００号明細書「複数の状態の監視対象追跡（Ｍｕｌｔｉ−Ｓｔａｔｅ Ｔａｒｇｅｔ Ｔｒａｃｋｉｎｇ）」（出願日：２００５年５月３１日、整理番号３７１１２−２１８１９６）を参照）（両文書は本文書に参考とすることにより組み込まれている）を使用して、監視対象を追跡することができる。ブロック３０４の例示的な実施形態については、後から図８〜図１６を参照しながら説明する。
【００２９】
[0051]図４は、本発明の例示的な実施形態による、図３のブロック３０１において動いているピクセルを検出するための流れ図を示している。ブロック４０１においては、前景の動いている領域を背景シーンから分離することができる。この分離は、変化検出を使用して実行することができる。変化検出は、最近になって研究・開発が広範に進められており、数多くの手法が利用可能である。変化検出によって、各フレームの前景マスクを出力することができる。ブロック４０２においては、前景マスクのそれぞれのエッジを検出することができる。しかしながら、それ以外のエッジ検出アルゴリズムを使用することもでき、本発明の例示的な実施形態では、Ｃａｎｎｙエッジ検出（１ピクセル幅のエッジを生成する）を使用することができる。エッジ検出は前景領域に対してのみ実行することができ、この場合、前景マスク情報を組み込むため、Ｃａｎｎｙエッジ検出を少し修正する必要がある。
【００３０】
[0052]図５は、本発明の例示的な実施形態による、図３のブロック３０２において線分を検出するための流れ図を示している。例示的な実施形態によると、決定論的方法を使用し、エッジピクセルマップからすべての線分を取り出すことによって線分を検出することができる。決定論的方法では、エッジピクセルマップを反復的に探索し、残っている十分な数の未使用のエッジピクセルが存在しなくなるまで新しい線分を見つけることができる。各エッジピクセルは１本の線分に属しており、使用された後、エッジピクセルマップからエッジピクセルを削除することができる。
【００３１】
[0053]ブロック５０１への入力は、例えば、図４におけるブロック４０２から取得されるフレームのエッジピクセルマップとすることができる。ブロック５０１においては、エッジピクセルをカウントすることができる。ブロック５０２においては、線分を識別するための十分な数のエッジピクセルが存在している（又は残っている）かを判定することができる。この条件を調べるためのしきい値は、例示的なオブジェクト（例えばショッピングカートなど）の画像のおよその大きさの、ユーザによって入力されるパラメータによって決定することができる。例えば、ショッピングカートのおよその画像幅が６０ピクセルであるならば、十分な残余エッジピクセルのしきい値を、例えば、その１／３、すなわち２０ピクセルとすることができる。このしきい値は、最小線分長しきい値と称することができる。十分な数のエッジピクセルが存在していない（又は残っていない）場合、処理はブロック５０７に進み、存在している（又は残っている）場合、処理はブロック５０３に進む。ブロック５０３においては、新しい線分を識別することができる。ブロック５０３の例示的な実施形態については、後から図６を参照しながら説明する。ブロック５０４においては、上述したようにブロック５０３において使用したピクセルを削除するため、エッジピクセルマップを更新することができる。ブロック５０５においては、新しい線分が有効であるかを、例えば線分の長さ及び直線性に基づいて判定することができる。例えば、ブロック５０３からの新しい線分が、予測されるショッピングカートの画像のサイズよりもずっと短い長さである場合、或いは全体的な直線性が低すぎる場合、その新しい線分を無効な線分とみなすことができる。新しい線分が有効ではない場合、その無効な線分を破棄することができ、処理はブロック５０１に進み、有効である場合、処理はブロック５０６に進む。ブロック５０６においては、有効な線分を、フレーム内の線分のリストに追加することができる。ブロック５１４においては、有効な線分のリストを出力することができる。
【００３２】
[0054]図６は、本発明の例示的な実施形態による、図５のブロック５０３において次の線分を見つけるための流れ図を示している。ブロック６０１においては、提供されるエッジピクセルマップから、新しい線分の開始点を識別する。最初の線分については、開始点は、エッジピクセルマップ全体を、左上角から、最初の未使用エッジポイントが位置しているところまで走査することによって取得することができる。２番目以降のすべての線分については、その前の線分の開始点を走査開始ポジションとして使用することによって、探索の速度を高めることができる。ブロック６０２においては、終点を求めるための次の探索方向を、推定される線の方向に基づいて予測することができる。ブロック６０２の例示的な実施形態については、後から図７を参照しながら説明する。ブロック６０３においては、予測される探索ポジションのそれぞれについてループ（反復）処理し、ピクセルがエッジピクセルであるかを判定することによって、次の線ピクセルを識別することができる。ブロック６０４においては、次の線ピクセルがエッジピクセルである場合、そのピクセルを新しい終点として線分に追加することができ、処理はブロック６０２に進む。エッジピクセルではない場合、次の線ピクセルを両方向について探索することができ、処理はブロック６０５に進む。ブロック６０５においては、一方の方向において次の線ピクセルを見つけることができない場合、反対の方向はすでに探索したかもしれない。反対の方向をまだ探索していない場合、処理はブロック６０６に進み、探索していた場合、処理はブロック６０７に進む。ブロック６０６においては、探索プロセスにおける線の方向を逆にすることができる。終点を開始点とし、開始点を現在の終点とすることができ、処理はブロック６０２に戻る。ブロック６０７においては、現在の線分についての探索プロセスを終了することができ、線分を出力することができる。
【００３３】
[0055]図７は、本発明の例示的な実施形態による、図６のブロック６０２において新しい探索方向を予測する状況を示している。領域７０２は、画像のある範囲を表しており、ブロックのそれぞれが１つのピクセル位置を示している。領域７０４は、現在の線分の現在の終点ピクセルを示している。次の探索ポジションを予測するとき、３つの異なる状態を考えることができる。第１の状態（初期ピクセル）においては、現在の終点ピクセルが開始点でもある。この場合、参照数字７０６によって示したように、終点ピクセルの８つの隣接方向Ａ〜Ｈのすべてを探索する。
【００３４】
[0056]第２の状態においては、線分の複数のピクセルが見つかった時点で、線分の方向を、その線分のピクセルによって提供される情報を使用して推定することができる。線の方向を決定するための１つの方法として、線分のピクセルを２つのグループ、すなわち開始ピクセルと終了ピクセル（それぞれ、線分の最初の半分と後の半分に対応させることができる）とにクラスターリング（グループ化）する（ｃｌｕｓｔｅｒｉｎｇ）。次いで、２つのグループのピクセルの平均位置を使用して、線の方向を決定することができる。
【００３５】
[0057]第３の状態においては、例えば、矢印７０８によって示したように現在の線の方向が既知であるとき、この線の方向からの角度距離が最小である、参照数字７１０によって示した上位３つの方向（例：Ｃ、Ｄ、Ｅ）を選択することができる。この場合、更なる２つの場合を考えることができる。第１の場合として、その線が、実質的な（ｃｏｎｓｉｓｔｅｎｔ ｌｉｎｅ ｓｅｇｍｅｎｔ）線分となるだけの十分な長さではまだないことがあり、この場合、一連のピクセルが線分の一部であるのか、隣接するエッジピクセルの単なるクラスターであるのかは明らかではない。現在の線分が十分に実質的な線分であるかを判定するための１つの方法として、上述した最小長しきい値を使用する。具体的には、線分がそのしきい値より短い場合、その線分は十分に実質的な線分ではないとみなすことができる。誤った線分を取り出すことを避けるため、次の探索位置として、直接隣接している３つの位置７１０を含めることができる。第２の場合には、線分が十分に長く、実質的な線分として取り出すことができる。この場合、ノイズに起因する、エッジマップにおけるところどころの小さな隙間によって、線の一部が欠けていることがある。従って、参照数字７１２によって示した更なる近隣探索位置を含めることができる。
【００３６】
[0058]図８は、本発明の例示的な実施形態による、図３のブロック３０４において監視対象を追跡するための流れ図を示している。ブロック８０１においては、新たなフレームにおいて新しい情報を受け取ったときに、既存の監視対象を更新することができる。ブロック８０１の例示的な実施形態については、後から図９を参照しながら説明する。ブロック８０２においては、既存の監視対象の一部とはみなされていない未割当ての線分から、新しい監視対象を認識することができる。ブロック８０２の例示的な実施形態については、後から図１０を参照しながら説明する。ブロック８０３においては、認識可能な特徴をすべて組み入れることができるように、監視対象を精緻化することができる。ブロック８０３の例示的な実施形態については、後から図１１を参照しながら説明する。ブロック８０４においては、監視対象を分析して、監視対象を結合する（すなわち２つの監視対象が１つの監視対象になる）べきかを判定することができ、ブロック８０５においては、監視対象を分析して、監視対象を分割する（すなわち１つの監視対象が２つの監視対象になる）べきかを判定することができる。ブロック８０４及びブロック８０５の例示的な実施形態については、後から図１２〜図１５を参照しながら説明する。ブロック８０６においては、監視対象をクリアし、このステップは、ビデオカメラの視界の外に監視対象が出たときを判定するために使用することができる。ブロック８０６の例示的な実施形態については、後から図１６を参照しながら説明する。
【００３７】
[0059]図９は、本発明の例示的な実施形態による、図８のブロック８０１において監視対象を更新するための流れ図を示している。ブロック９０１においては、既存の監視対象のパラメータ（例：位置及び大きさ、又は、位置、大きさ、及び速度）を、適切な追跡フィルタ、例えば、カルマンフィルタ又はその他の追跡フィルタリング（例えば、米国特許出願第０９／９８７，７０７号明細書「ビデオプリミティブを使用する監視システム（Ｖｉｄｅｏ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｓｙｓｔｅｍ Ｅｍｐｌｏｙｉｎｇ Ｖｉｄｅｏ Ｐｒｉｍｉｔｉｖｅｓ）」（整理番号３７１１２−１７５３４０）、又は米国特許出願第１１／１３９，６００号明細書「複数の状態の監視対象追跡（Ｍｕｌｔｉ−Ｓｔａｔｅ Ｔａｒｇｅｔ Ｔｒａｃｋｉｎｇ）」（出願日：２００５年５月３１日、整理番号３７１１２−２１８１９６）を参照）を使用して、予測することができる。ブロック９０２においては、検出された線分を、既存の監視対象の重心に対する位置と、既存の監視対象の大きさとに基づいて、監視対象のそれぞれに割り当てることができる。ブロック９０３においては、監視対象を更新することができる。例えば、監視対象の新しい位置、大きさ、及び速度を、追跡フィルタ更新規則に従って更新することができる。
【００３８】
[0060]図１０は、本発明の例示的な実施形態による、図８のブロック８０２において新しい監視対象を検出するための流れ図を示している。ブロック１００１においては、割り当てられていない任意の線分を、例えば、近隣グループ化法（ｎｅｉｇｈｂｏｒｈｏｏｄ ｇｒｏｕｐｉｎｇ ｍｅｔｈｏｄ）を使用してクラスターリングすることができる。例えば、互いの間の距離の特定のしきい値以内にある線分を１つのグループにクラスターリングすることができる。ブロック１００２においては、割り当てられていない線分のクラスターが、定義済みの監視対象の必要条件を満たしているように、クラスターを確認することができる。例えば、図２の視野における人の監視対象を使用して監視対象の必要条件を定義している場合、割り当てられていない線分のクラスターは、人の監視対象の存在を示すための正しいおよその大きさである必要がある。割り当てられていない線分のクラスターが大きすぎる、又は小さすぎる場合、割り当てられていない線分のそのクラスターを監視対象と認めない。ブロック１００２において、割り当てられていない線分のクラスターが監視対象の定義の必要条件を満たしていると想定すると、ブロック１００３において、割り当てられていない線分のそのクラスターを新しい監視対象として指定することができる。その新しい監視対象に対する追跡フィルタをインスタンス化することができ、この場合、割り当てられていない線分のそのクラスターの位置及び大きさを新しい監視対象の初期パラメータとする。
【００３９】
[0061]図１１は、本発明の例示的な実施形態による、図８のブロック８０３において監視対象を精緻化するための流れ図を示している。ブロック１１０１においては、既存の監視対象又は新しい監視対象に割り当てられていない残っている線分を、その最も近い近隣監視対象にまとめることができる。ブロック１１０２においては、新しい特徴に基づいて、それらの監視対象を再推定することができる。例えば、監視対象の位置及び速度を再計算することができ、関連付けられている追跡フィルタを、これらの新しいパラメータを用いて更新することができる。ブロック１１０３においては、監視対象のそれぞれが静止しつつある（すなわち動きを停止する）か否かを判定することができる。その監視対象に関連付けられる線分の数及び大きさが減少する場合、その監視対象は動きを停止しつつあることがある。監視対象が静止しつつあると判定される場合、処理はブロック１１０４に進み、判定されない場合、処理はブロック８０３を終了する。ブロック１１０４においては、監視対象のパラメータ（例：大きさ、位置、及び速度）の更新は、動いている線分のみではなく、監視対象の近傍の動いているピクセルのすべて（又は一部）を使用して行うことができる。
【００４０】
[0062]図１２は、本発明の例示的な実施形態による、図８のブロック８０４において監視対象を結合するための流れ図を示している。ブロック１２０１において、２つの監視対象を取得することができる。ブロック１２０２においては、取得した監視対象のパラメータを比較することができる。例えば、監視対象の大きさ及び履歴（又は存在時間（ａｇｅ））を比較することができる。２つの監視対象が類似する空間を占有しており、一方が他方よりも小さく、且つ一方の存在時間が他方よりも短い場合、これらの２つの監視対象を、１つの監視対象に結合するだけ十分に類似しているものとみなすことができる。監視対象のパラメータが類似している場合、処理はブロック１２０３に進み、類似していない場合、処理はブロック１２０１に進む。ブロック１２０３においては、２つの監視対象を１つの監視対象に結合することができる。例えば、小さい方、若しくは存在時間が短い方、又はその両方である監視対象を、大きい方の監視対象に結合することができる。ブロック１２０３の後、処理はブロック１２０１に進む。処理がブロック１２０１に戻る場合、以前に比較していない２つの監視対象を取得することができる。結合に関してすべての（又は十分な数の）監視対象を比較した時点で、処理はブロック８０４を終了する。
【００４１】
[0063]図１３は、本発明の例示的な実施形態による、図８のブロック８０５において監視対象を分割するための流れ図を示している。ブロック１３０１においては、監視対象を取得することができる。ブロック１３０２においては、その監視対象が標準監視対象に類似しているかを判定することができる。例えば、標準監視対象は、図２における人に基づいてモデル化することができる。監視対象と標準監視対象とを、例えば大きさに基づいて比較する場合、監視対象が標準監視対象よりも大きければ、その監視対象は標準監視対象には類似していないと判定することができる。監視対象が標準監視対象に類似していない場合、処理はブロック１３０３に進み、類似している場合、処理はブロック１３０１に進む。ブロック１３０３においては、監視対象の線分からクラスターを得ることができる。例えば、監視対象の中で互いに最も離れている２本の線分を識別することができ、これらの線分の両方を開始点として、（図１０のブロック１００１におけるように）クラスターリングを再初期化することができる。この結果として、線分の２つの新しいクラスターとすることができる。ブロック１３０４においては、線分の２つの新しいクラスターが標準監視対象に類似しているかを判定することができる。例えば、結果としての２つのクラスターが、標準監視対象と比較したときに適切な大きさ及び形状である場合、２つのクラスターを個々の監視対象とみなすことができる。線分の２つの新しいクラスターが標準監視対象に類似している場合、処理はブロック１３０５に進み、類似していない場合、処理はブロック１３０１に進む。ブロック１３０５においては、監視対象のＩＤ（ｉｄｅｎｔｉｔｙ）を、線分の２つの新しいクラスターに割り当てることができる。例えば、小さい方のクラスターに新しいＩＤを割り当てることができ、大きい方のクラスターが監視対象の元のＩＤを維持することができる。ブロック１３０５から、処理はブロック１３０１に進む。分割に関してすべての（又は十分な数の）監視対象を分析した時点で、処理はブロック８０５を終了する。
【００４２】
[0064]図１２及び図１３を参照しながら説明した手法の代替として、監視対象の結合及び分割を同時に考慮することができ、これは、例えば、動いている監視対象ブロブの形状の分析に基づいて行うことができる。例えば、図２を参照し、分析の結果として、ブログ内の人の監視対象の数を、「監視対象なし」、「１人の監視対象」、又は「２人以上（＞１）の監視対象」と標識化することができる。別の実施形態では、グループ内の特定の監視対象をカウントするようにすることができる。図１４は、本発明の例示的な実施形態による、図８のブロック８０４及びブロック８０５において監視対象を結合及び分割するための流れ図を示している。ブロック１４０１において、ビデオフレームのそれぞれの前景マスクを生成することができる。この前景マスクは、図３のブロック３０１に関して説明した動いているピクセルの検出、又は別の前景オブジェクト検出手法（例えば、米国特許第６，６２５，３１０号明細書「ピクセルの統計的モデリングを使用してのビデオの分割（Ｖｉｄｅｏ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｕｓｉｎｇ Ｓｔａｔｉｓｔｉｃａｌ Ｐｉｘｅｌ Ｍｏｄｅｌｉｎｇ）」（整理番号３７１１２−１６４９９５）、米国特許出願第０９／９８７，７０７号明細書「ビデオプリミティブを使用する監視システム（Ｖｉｄｅｏ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｓｙｓｔｅｍ Ｅｍｐｌｏｙｉｎｇ Ｖｉｄｅｏ Ｐｒｉｍｉｔｉｖｅｓ）」（整理番号３７１１２−１７５３４０）、米国特許出願第１１／０５７，１５４号明細書「ビデオ監視システム（Ｖｉｄｅｏ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｓｙｓｔｅｍ）」（整理番号３７１１２−２１３５４７）、又は米国特許出願第１１／０９８，３８５号明細書「ビデオプリミティブを使用する監視システム（Ｖｉｄｅｏ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｓｙｓｔｅｍ Ｅｍｐｌｏｙｉｎｇ Ｖｉｄｅｏ Ｐｒｉｍｉｔｉｖｅｓ）」（整理番号３７１１２−２１５８１１）を参照）（これらの文書はいずれも本文書に参考とすることにより組み込まれている）を使用して、生成することができる。
【００４３】
[0065]ブロック１４０２においては、ブロック１４０１において生成したモーションマスクの中で、前景オブジェクト（すなわちブロブ）を検出することができる。前景オブジェクトは、クラスターリングアルゴリズム（例えば、米国特許出願第０９／９８７，７０７号明細書「ビデオプリミティブを使用する監視システム（Ｖｉｄｅｏ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｓｙｓｔｅｍ Ｅｍｐｌｏｙｉｎｇ Ｖｉｄｅｏ Ｐｒｉｍｉｔｉｖｅｓ）」（整理番号３７１１２−１７５３４０）、米国特許出願第１１／０５７，１５４号明細書「ビデオ監視システム（Ｖｉｄｅｏ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｓｙｓｔｅｍ）」（整理番号３７１１２−２１３５４７）、又は米国特許出願第１１／０９８，３８５号明細書「ビデオプリミティブを使用する監視システム（Ｖｉｄｅｏ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｓｙｓｔｅｍ Ｅｍｐｌｏｙｉｎｇ Ｖｉｄｅｏ Ｐｒｉｍｉｔｉｖｅｓ）」（整理番号３７１１２−２１５８１１）を参照）を使用して、検出することができる。
【００４４】
[0066]オプションとして、ブロック１４０３において、オブジェクト追跡アルゴリズムによってブロブを追跡することができ、追跡情報を生成することができる（例えば、米国特許出願第０９／９８７，７０７号明細書「ビデオプリミティブを使用する監視システム（Ｖｉｄｅｏ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｓｙｓｔｅｍ Ｅｍｐｌｏｙｉｎｇ Ｖｉｄｅｏ Ｐｒｉｍｉｔｉｖｅｓ）」（整理番号３７１１２−１７５３４０）、米国特許出願第１１／０５７，１５４号明細書「ビデオ監視システム（Ｖｉｄｅｏ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｓｙｓｔｅｍ）」（整理番号３７１１２−２１３５４７）、米国特許出願第１１／０９８，３８５号明細書「ビデオプリミティブを使用する監視システム（Ｖｉｄｅｏ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｓｙｓｔｅｍ Ｅｍｐｌｏｙｉｎｇ Ｖｉｄｅｏ Ｐｒｉｍｉｔｉｖｅｓ）」（整理番号３７１１２−２１５８１１）、又は米国特許出願第１１／１３９，６００号明細書「複数の状態の監視対象追跡（Ｍｕｌｔｉ−Ｓｔａｔｅ Ｔａｒｇｅｔ Ｔｒａｃｋｉｎｇ）」（出願日：２００５年５月３１日、整理番号３７１１２−２１８１９６）を参照）。ブロック１４０３はオプションとすることができる。
【００４５】
[0067]ブロック１４０２及びブロック１４０３から、処理はブロック１４０４に進む。ブロック１４０４においては、ブロック１４０２からのブロブとブロック１４０３からの追跡情報とを使用してブロブを分析することができ、監視対象の数を識別することができる。例えば、ブロブをその大きさ及び形状に基づいて分析することができる。ブロック１４０３の例示的な実施形態については、後から図１４を参照しながら説明する。ブロック１４０４の結果としては、前の監視対象と同じ監視対象である、前の監視対象よりも小さい（すなわち前の監視対象の結合）、又は前の監視対象よりも大きい（すなわち前の監視対象の分割）、である。
【００４６】
[0068]図１５は、本発明の例示的な実施形態による、図１４のブロック１４０４においてブロブを分析するための流れ図を示している。ブロック１５０１においては、ブロック１３０２において識別されたブロブのそれぞれに対して処理を実行することができる。すべての（又は十分な数の）ブロブを分析した時点で、処理はブロック１４０４を終了する。ブロック１５０２においては、ブロブの大きさを複数監視対象の大きさしきい値と比較することができる。例えば、複数監視対象の大きさしきい値は、２つ以上の標準監視対象（例：２人以上の人）を表している大きさを表すことができる。ブロブの大きさが複数監視対象の大きさしきい値よりも大きい場合、処理はブロック１５０３に進み、大きくない場合、処理はブロック１５０４に進む。ブロック１５０３においては、ブロブの大きさは、複数監視対象の大きさしきい値よりも大きいか又は等しく、そのブロブを２つ以上の監視対象として標識化する（例えば、「＞１（２人以上）」と標識化する）ことができる。
【００４７】
[0069]ブロック１５０４においては、ブロブの大きさを単一監視対象の最小大きさしきい値と比較することができる。単一監視対象の最小大きさしきい値は、標準監視対象の最小の大きさを表すことができる。ブロブの大きさが監視対象の最小大きさしきい値よりも小さい場合、処理はブロック１５０５に進み、小さくない場合、処理はブロック１５０７に進む。ブロック１５０５においては、ブロブの大きさは単一監視対象の最小大きさしきい値よりも小さく、ブロブを監視対象なしと標識化する（例：「＝０（０人）」と標識化する）ことができる。ブロック１５０６においては、ブロブを、監視対象を表していないものと指定することができる。
【００４８】
[0070]ブロック１５０７においては、ブロブの大きさを単一監視対象の最大大きさしきい値と比較することができる。単一監視対象の最大大きさしきい値は、標準監視対象の予測される最大の大きさを表すことができる。ブロブの大きさが単一監視対象の最大大きさしきい値よりも小さい場合、処理はブロック１５０８に進み、小さくない場合、処理はブロック１５０９に進む。ブロック１５０８においては、ブロブの大きさは単一監視対象の最大大きさしきい値よりも小さく、そのブロブを１つの監視対象として標識化する（例：「＝１（１人）」と標識化する）ことができる。
【００４９】
[0071]処理がブロック１５０９に進む場合、ブロブの大きさは、複数監視対象の大きさしきい値よりも小さいか等しいが、単一監視対象の最大大きさしきい値よりも大きく、そのブロブによって表されている監視対象の数（すなわち監視対象なし、又は１つの監視対象）を決定するため追加の分析が必要である。ブロック１５０９においては、ブロブの長軸と短軸とを求めるため、固有値解析を実行することができる。次いで、ブロブをその短軸に沿って２つのサブブロブに分割することができる。ブロック１５１０においては、各サブブロブの凸領域（例：凸包の領域）を求めることができる。
【００５０】
[0072]ブロック１５１１においては、サブブロブを分析して、２つのサブブロブのそれぞれが標準監視対象に合致しているかを判定することができる。例えば、２つのサブブロブを分析して、それらの形状が標準監視対象の形状に類似しているかを判定することができる。この場合の分析としては、各サブブロブの凸包領域に対する各サブブロブの領域の比が、監視対象の最小固体性しきい値（ｍｉｎｉｍｕｍ ｔａｒｇｅｔ ｓｏｌｉｄｉｔｙ ｔｈｒｅｓｈｏｌｄ）よりも大きいかと、各サブブロブの凸領域が単一監視対象の最小大きさしきい値よりも大きいかを調べることができ、いずれも真である場合、元のブロブを、２つの監視対象を含んでいるものとみなすことができ、処理はブロック１５１２に進み、それ以外の場合、処理はブロック１５１３に進む。ブロック１５１２においては、ブロブを、２つの監視対象を含んでいるものとみなすことができ、そのブロブを２つ以上の監視対象として標識化する（例えば「＞１（２人以上）」と標識化する）ことができる。ブロック１５１３においては、ブロブを、１つの監視対象を含んでいるものとみなすことができ、そのブロブを１つの監視対象として標識化する（例えば「＝１（１人）」と標識化する）ことができる。
【００５１】
[0073]ブロック１５１４には、ブロック１５０３、ブロック１５０８、ブロック１５１２、及びブロック１５１３から進むことができ、ブロブを分析して、そのブロブが静止しているかを判定することができる。ブロブが静止しているかを判定するためには、例えば、米国特許出願第１０／３５４，０９６号明細書「変化の検出及び分類を使用してのビデオシーンの背景の保守（Ｖｉｄｅｏ Ｓｃｅｎｅ Ｂａｃｋｇｒｏｕｎｄ Ｍａｉｎｔｅｎａｎｃｅ Ｕｓｉｎｇ Ｃｈａｎｇｅ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）」（整理番号３７１１２−１８２３８６）、又は米国特許出願第１１／１３９，６００号明細書「複数の状態の監視対象追跡（Ｍｕｌｔｉ−Ｓｔａｔｅ Ｔａｒｇｅｔ Ｔｒａｃｋｉｎｇ）」（出願日：２００５年５月３１日、整理番号３７１１２−２１８１９６）に記載されている手法などを、この目的に使用することができる。ブロブが静止している場合、処理はブロック１５１５に進み、静止していない場合、処理はブロック１５０６に進む。ブロック１５１５においては、ブロブを、監視対象を表していないものと指定することができる。
【００５２】
[0074]図１６は、本発明の例示的な実施形態による、図８のブロック８０６において監視対象をクリアするための流れ図を示している。図１６においては、各監視対象を個々に分析することができる。ブロック１６０１においては、監視対象を取得することができる。ブロック１６０２においては、監視対象を分析し、その監視対象がフレーム内で検出されたかを判定することができる。監視対象がフレーム内で検出された場合、処理はブロック１６０３に進み、そうでない場合、処理はブロック１６０４に進む。ブロック１６０３においては、監視対象をフレーム内で検出することができ、これを維持することができる。ブロック１６０４においては、監視対象を分析し、その監視対象が以前のフレームにおいてビデオカメラの視野の外に移動したかを判定することができる。監視対象が視野の外に移動していない場合、処理はブロック１６０３に進み、監視対象を保守する。そうでない場合、処理はブロック１６０５に進む。ブロック１６０５においては、監視対象をフレーム内で検出することができず、視野の外に移動しており、現在の監視対象のリストから削除することができる。クリアに関してすべての（又は十分な数の）監視対象を分析した時点で、処理はブロック８０６を終了する。
【００５３】
[0075]本明細書に記載した例及び実施形態は一例であり、本発明を制限するものではない。
【００５４】
[0076]本発明を例示的な実施形態に関連して詳しく説明したが、当業者には、上記の説明から、本発明の広い側面から逸脱することなく変更及び修正を行うことができることが明らかであろう。従って、請求項に定義されている本発明は、本発明の真の概念に含まれる変更及び修正のすべてをその範囲に含むものとする。
【図面の簡単な説明】
【００５５】
【図１】本発明の例示的な実施形態によるビデオ監視システムを示している。
【図２】本発明の例示的な実施形態によるビデオ監視システムからのビデオストリームからの例示的なフレームを示している。
【図３】本発明の例示的な実施形態による、監視対象を検出及びカウントするための流れ図を示している。
【図４】本発明の例示的な実施形態による、動いているピクセルを検出するための流れ図を示している。
【図５】本発明の例示的な実施形態による、線分を検出するための流れ図を示している。
【図６】本発明の例示的な実施形態による、次の線分を見つけるための流れ図を示している。
【図７】本発明の例示的な実施形態による、新しい探索方向を予測する状況を示している。
【図８】本発明の例示的な実施形態による、監視対象を追跡するための流れ図を示している。
【図９】本発明の例示的な実施形態による、監視対象を更新するための流れ図を示している。
【図１０】本発明の例示的な実施形態による、新しい監視対象を検出するための流れ図を示している。
【図１１】本発明の例示的な実施形態による、監視対象を精緻化する（ｒｅｆｉｎｅ）ための流れ図を示している。
【図１２】本発明の例示的な実施形態による、監視対象を結合するための流れ図を示している。
【図１３】本発明の例示的な実施形態による、監視対象を分割するための流れ図を示している。
【図１４】本発明の例示的な実施形態による、監視対象を結合及び分割するための流れ図を示している。
【図１５】本発明の例示的な実施形態による、ブロブを分析するための流れ図を示している。
【図１６】本発明の例示的な実施形態による、監視対象をクリアするための流れ図を示している。
【発明の分野】
【０００１】
[0002]本発明は、ビデオ監視システム及びビデオ確認システムに関する。具体的には、本発明は、頭上カメラの視野からのビデオストリームにおいて個々の監視対象を検出及び追跡するように構成することのできるビデオ監視システムに関する。
【発明の背景】
【０００２】
[0004]ビデオ監視は、生活上の様々な場面において重要である。監視ツールとしてのビデオにおける１つの問題として、監視するためには極めて多くの操作が必要とされる。最近、自動ビデオ監視におけるこの問題に対して、インテリジェントなビデオ監視システムの形での解決策が提案されている。例えば、米国特許第６，６９６，９４５号明細書「ビデオ仕掛け線（Ｖｉｄｅｏ Ｔｒｉｐｗｉｒｅ）」（整理番号３７１１２−１７５３３９）、及び米国特許出願第０９／９８７，７０７号明細書「ビデオプリミティブを使用する監視システム（Ｓｕｒｖｅｉｌｌａｎｃｅ Ｓｙｓｔｅｍ Ｅｍｐｌｏｙｉｎｇ Ｖｉｄｅｏ Ｐｒｉｍｉｔｉｖｅｓ）」（整理番号３７１１２−１７５３４０）（両文書は本文書に参考とすることにより組み込まれている）を参照。ビデオ監視の１つの用途は、人間及びその挙動を検出することである。残念ながら、自動ビデオ監視を支えているコンピュータビジョンの技術は、例えば住宅用、商業用、及び家庭用の監視用途において使用されるシステムでは、頭上カメラの視野の中で個々の監視対象を認識することに関して制限がある。
【０００３】
[0005]現在のビデオ監視システム（例えば、Ｃ．Ｓｔａｕｆｆｅｒ、Ｗ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎの「リアルタイム追跡を使用してのアクティビティパターンの学習（Ｌｅａｒｎｉｎｇ Ｐａｔｔｅｒｎｓ ｏｆ Ａｃｔｉｖｉｔｙ Ｕｓｉｎｇ Ｒｅａｌ−Ｔｉｍｅ Ｔｒａｃｋｉｎｇ）」（ＩＥＥＥ Ｔｒａｎｓ．ＰＡＭＩ，２２（８）、ｐ．７４７〜７５７、２０００年８月）、Ｒ．Ｃｏｌｌｉｎｓ、Ａ．Ｌｉｐｔｏｎ、Ｈ．Ｆｕｊｉｙｏｓｈｉ、Ｔ．Ｋａｎａｄｅの「複数センサーによる協力的監視のアルゴリズム（Ａｌｇｏｒｉｔｈｍｓ ｆｏｒ Ｃｏｏｐｅｒａｔｉｖｅ Ｍｕｌｔｉｓｅｎｓｏｒ Ｓｕｒｖｅｉｌｌａｎｃｅ）」（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ、Ｖｏｌ．８９、Ｎｏ．１０、２００１年１０月、ｐ．１４５６〜１４７７）を参照）（両文書は本文書に参考とすることにより組み込まれている）には、２つの基本的な制限がある。第一に、監視対象のグループが互いに非常に接近していることがしばしばあり、１つの「ブロブ」として検出されることがある。そのブロブを正しく「人のグループ」と標識化することはできるが、グループを構成している人の数を確定することができない。第二に、（特に、例えば頭上カメラショットにおける）他の無生物オブジェクト（例えば、家具、乳母車、ショッピングカートなど）と、本物の監視対象とを、一般的には区別することができない。更に、別の「人検出」アルゴリズム（例えば、ｈｔｔｐ：／／ｖｉｓｍｏｄ．ｍｅｄｉａ．ｍｉｔ．ｅｄｕ／ｖｉｓｍｏｄ／ｄｅｍｏｓ／ｐｆｉｎｄｅｒ／に記載されている手法、及び米国特許出願第１１／１３９，９８６号明細書「セキュリティ用途における人の検出及び追跡（Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ ｆｏｒ Ｓｅｃｕｒｉｔｙ Ａｐｐｌｉｃａｔｉｏｎｓ）」（出願日：２００５年５月３１日、整理番号３７１１２−２１８４７１）を参照）（両文書は本文書に参考とすることにより組み込まれている）では、傾いたカメラの視野と特定の人モデルとを利用して人を認識するが、頭上カメラの視野の場合、一般に良好には機能しない。
【発明の概要】
【０００４】
[0007]本発明の１つの実施形態は、ビデオを処理するソフトウェアを備えているコンピュータ可読媒体であって、ソフトウェアがコンピュータシステムによって実行されたとき、それに起因して、コンピュータシステムが、シーンの頭上視野からのビデオを受け取るステップと、ビデオの中で、動いているピクセルを検出するステップと、検出された動いているピクセルに基づいて、ビデオの中で線分を検出するステップと、検出された線分に基づいて、ビデオの中で監視対象を識別するステップと、識別された監視対象に基づいて、ビデオの中で監視対象を追跡するステップと、ビデオの中で、追跡されている監視対象を管理するステップと、の方法、を含んでいる動作、を実行する、コンピュータ可読媒体、を含んでいる。
【０００５】
[0008]本発明の１つの実施形態は、ビデオを処理する方法を実行するコンピュータベースのシステムであって、ビデオを処理する方法が、シーンの頭上視野からのビデオを受け取るステップと、ビデオの中で、動いているピクセルを検出するステップと、検出された動いているピクセルに基づいて、ビデオの中で線分を検出するステップと、検出された線分に基づいて、ビデオの中で監視対象を識別するステップと、識別された監視対象に基づいて、ビデオの中で監視対象を追跡するステップと、ビデオの中で追跡されている監視対象を管理するステップと、を含んでいる、コンピュータベースのシステム、を含んでいる。
【０００６】
[0009]本発明の１つの実施形態は、ビデオを処理する方法であって、シーンの頭上視野からのビデオを受け取るステップと、ビデオの中で、動いているピクセルを検出するステップと、検出された動いているピクセルに基づいて、ビデオの中で線分を検出するステップと、検出された線分に基づいて、ビデオの中で監視対象を識別するステップと、識別された監視対象に基づいて、ビデオの中で監視対象を追跡するステップと、ビデオの中で、追跡されている監視対象を管理するステップと、を含んでいる、方法、を含んでいる。
【０００７】
[0011]本発明の上記及びその他の特徴及び利点は、添付の図面に図解してある本発明の実施形態の以下の更に具体的な説明から明らかとなろう。
【定義】
【０００８】
[0029]本発明の説明では、（ここまでの説明を含む）全体を通じて、以下の定義を適用する。
【０００９】
[0030]「コンピュータ」は、構造化入力（ｓｔｒｕｃｔｕｒｅｄ ｉｎｐｕｔ）を受け取り、その構造化入力を所定の規則に従って処理し、処理の結果を出力として生成することのできる１つ以上の装置若しくは１つ以上のシステム、又はその両方を意味する。コンピュータの例としては、コンピュータ、据置き型若しくはポータブル型、又はその両方のコンピュータ、１つのプロセッサ又は複数のプロセッサ（並列若しくは非並列、又はその両方で動作することができる）を有するコンピュータ、汎用コンピュータ、スーパーコンピュータ、メインフレーム、スーパーミニコンピュータ、ミニコンピュータ、ワークステーション、マイクロコンピュータ、サーバ、クライアント、双方向テレビ、Ｗｅｂアプライアンス、インターネットアクセス機能を備えた通信装置、コンピュータと双方向テレビのハイブリッドな組合せ、ポータブルコンピュータ、携帯情報端末（ＰＤＡ）、携帯電話、コンピュータ若しくはソフトウェア、又はその両方をエミュレートするための、特定用途向けハードウェア（例えば、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）など）、ネットワークによってリンクされているコンピュータシステムによって情報を処理するための分散型コンピュータシステム、コンピュータシステム間で情報を送信又は受信するためにネットワークを介して互いに接続されている２つ以上のコンピュータシステム、データを受け取ることができ、格納されている１つ以上のソフトウェアプログラムに従ってデータを処理することができ、結果を生成することができる、一般には、入力ユニット、出力ユニット、記憶装置、算術ユニット、論理ユニット、及び制御ユニットを含んでいることができる、１つ以上の装置若しくは１つ以上のシステム、又はその両方、が挙げられる。
【００１０】
[0031]「ソフトウェア」は、コンピュータを動作させるための所定の規則を意味する。ソフトウェアの例としては、ソフトウェア、コードセグメント、命令、コンピュータプログラム、プログラムロジックが挙げられる。
【００１１】
[0032]「コンピュータシステム」は、コンピュータを有するシステムであって、コンピュータが、自身を動作させるためのソフトウェアを具体化しているコンピュータ可読媒体を含んでいることができる、システム、を意味する。
【００１２】
[0033]「ネットワーク」は、通信装置・設備によって接続することのできる複数のコンピュータ及び関連付けられる装置を意味する。ネットワークは、永久的な接続（ケーブルなど）と、一時的な接続（電話又はその他の通信リンクによって形成される接続など）を含んでいることができる。ネットワークの例としては、インターネット（例：Ｉｎｔｅｒｎｅｔ）、イントラネット、ＬＡＮ（ローカルエリアネットワーク）、ＷＡＮ（ワイドエリアネットワーク）、ネットワークの組合せ（例：インターネットとイントラネット）が挙げられる。
【００１３】
[0034]「ビデオ」は、アナログ形式若しくはデジタル形式、又はその両形式において表されている動画像を意味する。ビデオの例としては、テレビ、映画、カメラ又はその他の監視・観察装置（ｏｂｓｅｒｖｅｒ）からの画像シーケンス、コンピュータによって生成される画像シーケンスが挙げられる。ビデオは、例えば、生の映像、記憶装置、ＩＥＥＥ１３９４ベースのインタフェース、ビデオデジタイザ、コンピュータグラフィックエンジン、又はネットワーク接続から取得することができる。
【００１４】
[0035]「ビデオカメラ」は、視覚的な記録を行うための（ｆｏｒ ｖｉｓｕａｌ ｒｅｃｏｒｄｉｎｇ）装置を意味する。ビデオカメラの例としては、ビデオカメラ、デジタルビデオカメラ、カラーカメラ、白黒カメラ、カメラ、カムコーダー、ＰＣカメラ、Ｗｅｂカム、赤外線（ＩＲ）ビデオカメラ、低照度ビデオカメラ（ｌｏｗ−ｌｉｇｈｔ ｖｉｄｅｏ ｃａｍｅｒａ）、サーマルビデオカメラ、閉回路テレビ（ＣＣＴＶ）カメラ、パン・チルト・ズーム（ＰＴＺ）カメラ、ビデオ検出装置のうちの１つ以上が挙げられる。ビデオカメラは、対象領域の監視を実行するために配置することができる。
【００１５】
[0036]「ビデオ処理」は、ビデオの何らかの操作若しくは分析、又はその両方、例えば、圧縮、編集、監視、確認のうちの少なくとも１つを意味する。
【００１６】
[0037]「フレーム」は、ビデオの中の特定の画像又はその他の不連続な単位を意味する。
【実施形態の詳細な説明】
【００１７】
[0039]図面に図解してある本発明の例示的な実施形態の説明では、明瞭性を目的として特定の専門用語を使用している。しかしながら、本発明は、そのように選択されている特定の専門用語に限定されるものではない。特定の要素のそれぞれは、同様に動作して同様の目的を達成する、技術的に同等なあらゆる要素を含むことを理解されたい。本明細書中で引用した参考文献は、本文書に参考とすることにより組み込まれている。
【００１８】
[0040]本発明は、頭上カメラの視野からのビデオストリームにおいて個々の監視対象を検出及び追跡するように構成することのできるビデオ監視システムと、監視対象の出来事を確認するように構成することのできるビデオ確認システムとに関する。本システムは、複数のオブジェクトが互いに接近して行動しているときにもそれらを区別するようにと、他の無生物オブジェクト（動いているショッピングカート、乳母車、移動中の家具、その他の物体など）が存在しているときにも、動いているオブジェクトを検出するように、適合させることができる。
【００１９】
[0041]本発明は、様々な用途において使用することができる。住宅用又は商業用の構成・設定においては、本発明を使用することにより、住宅用又は商業用の監視システムにおいて、人を検出することと、誤アラームを低減させることができる。商業用の構成・設定においては、本発明を使用することにより、領域に入る人と領域から出る人とをカウントすることによって、建物内の人数の状況を判定する、若しくは、「ピギーバック（ｐｉｇｇｙｂａｃｋｉｎｇ）」が起きたかを検出する（すなわち、１人だけが入口から入る又は出ることを許可されているときに２人がそのようにしたときのアクセス管理違反を検出する）、又はその両方を行うことができる。物理的セキュリティの目的には、本発明を使用することにより、一方通行の通路、例えば、空港の出口や公共のエスカレーターを「間違った方向に」移動している人を検出することができる。公共の安全性の目的には、本発明を使用することにより、危険な行為を行っている、例えば、強盗や麻薬を取り引きしている人を検出することができる。小売店舗の構成・設定においては、本発明を使用することにより、店舗内にいる客の状況を検出する、レジに並ぶ行列の長さを検出する、或いはＰＯＳ（販売時点情報管理）取引を確認することができる。公共輸送の構成・設定においては、本発明を使用することにより、公共交通機関や公共交通車両に入る人をカウントしたり、（例えば、人が回転式改札口を飛び越えたり、他のそのような障害設備を乗り越えることを防ぐために）人が領域に入るときに必ずチケットが読み取られるように、チケット読み取り機のビデオ監視を実行することができる。
【００２０】
[0042]例示的な実施形態として、本発明は、小売店舗の何種類かのＰＯＳ（販売時点情報管理）取引の正当性を確認するために使用することができる。例えば、「商品の返品」取引では、顧客が物理的に存在することが要求されることがある。別の例としては、「経営者の独自裁量（ｍａｎａｇｅｒ ｏｖｅｒｒｉｄｅ）」取引では、経営者がレジ係を支援することが要求されることがある。本発明のビデオ監視システムは、ＰＯＳコンソール（例：金銭出納器）の周囲の場所及び個人の人数を監視し、特定の取引時に人が適切に配置されているかを判定することができる。
【００２１】
[0043]図１及び図２は、小売店舗においてＰＯＳ取引を確認する用途に使用する場合として、本発明を示している。図１は、本発明の例示的な実施形態によるビデオ監視システムを示している。ＰＯＳの例示的な構成・設定の場合、本発明のビデオ監視システム１０１は、ＰＯＳシステム１０２と情報をやりとりすることができる。ビデオ監視システム１０１は、ビデオカメラ１０３と、監視対象（例：人）検出・カウントモジュール１０４と、取引分類（有効／無効）モジュール１０５と、定義済み規則のデータベース１０６とを含んでいることができる。
【００２２】
[0044]ビデオカメラ１０３は、頭上位置からＰＯＳシステムのコンソールを監視することができる。ビデオカメラ１０３の視野は、シーンを見下ろしていることができる。監視対象検出・カウントモジュール１０４は、特定の取引が要求された、進行中である、又は完了したことの取引報告として、ＰＯＳシステム１０２からの入力を受け取ることができる。監視対象検出・カウントモジュール１０４は、ビデオシーンの中の人（存在時）の数を判定することができる。監視対象検出・カウントモジュール１０４の例示的な実施形態については、後から図４〜図１６を参照しながら説明する。取引分類モジュール１０５は、定義済み規則のデータベース１０６から受け取る規則に基づいて、関係者の配置を求めることができる。次いで、システム１０１は、取引が正当であったか否かを示す取引確認メッセージを、ＰＯＳシステム１０２（又は何らかの別のデータ監視システム又はデータアーカイブシステム）に戻すことができる。
【００２３】
[0045]ブロック１０５及びブロック１０６は、例えば、米国特許出願第０９／９８７，７０７号明細書「ビデオプリミティブを使用する監視システム（Ｖｉｄｅｏ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｓｙｓｔｅｍ Ｅｍｐｌｏｙｉｎｇ Ｖｉｄｅｏ Ｐｒｉｍｉｔｉｖｅｓ）」（整理番号３７１１２−１７５３４０）、米国特許出願第１１／０５７，１５４号明細書「ビデオ監視システム（Ｖｉｄｅｏ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｓｙｓｔｅｍ）」（整理番号３７１１２−２１３５４７）、又は米国特許出願第１１／０９８，３８５号明細書「ビデオプリミティブを使用する監視システム（Ｖｉｄｅｏ ｓｕｒｖｅｉｌｌａｎｃｅ ｓｙｓｔｅｍ ｅｍｐｌｏｙｉｎｇ ｖｉｄｅｏ ｐｒｉｍｉｔｉｖｅｓ）」（整理番号３７１１２−２１５８１１）（これらの文書は本文書に参考とすることにより組み込まれている）に記載されている手法を使用して、実施することができる。これらの文書には、規則の作成と、アクティビティ推論（例：人のカウント）のパフォーマンスについて記載されている。例えば、本発明においては、例えば米国特許出願第０９／９８７，７０７号明細書「ビデオプリミティブを使用する監視システム（Ｖｉｄｅｏ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｓｙｓｔｅｍ Ｅｍｐｌｏｙｉｎｇ Ｖｉｄｅｏ Ｐｒｉｍｉｔｉｖｅｓ）」（整理番号３７１１２−１７５３４０）に記載されている人の監視対象のプリミティブを使用することができる。
【００２４】
[0046]ＰＯＳシステムの例の場合、「ＰＯＳ取引プリミティブ」と称するプリミティブを使用することができる。このプリミティブは、３つのデータアイテム、すなわち、（１）ＰＯＳ取引の時刻、（２）取引の位置（どのＰＯＳ端末か）、（３）取引のタイプ（販売、返品、経営者の独自裁量など）を含んでいることができる。ＰＯＳ取引プリミティブとともに、規則データベース１０６の２つの規則を使用することができる。第１の規則として、「返品取引の確認」規則は、次のように使用することができる。ＰＯＳ返品取引（プリミティブ）が登録され、且つ、［パラメータ］時間長にわたり顧客が存在していなかった（対象の「顧客」領域内の人＞＝）場合、又は、［パラメータ］時間長にわたりレジ係が存在していなかった（対象の「従業員」領域に存在している人＞＝１（１人以上））場合、その取引は無効であり、アラーム条件を生成する。第２の規則として、「経営者の独自裁量」取引の規則によると、ＰＯＳ経営者独自裁量取引（プリミティブ）が登録され、且つ、［パラメータ］時間長にわたり２人の従業員が存在していなかった（対象の「従業員」領域内の人＞１（２人以上））場合、その取引は無効であり、アラーム条件を生成する。
【００２５】
[0047]ビデオカメラ１０３は、コンピュータベースのシステム１０７に接続することができ、コンピュータベースのシステム１０７は、ビデオカメラ１０３からのビデオの分析を実行して、シーン内の位置と人の数とを判定することができる。コンピュータベースのシステム１０７の例としては、上に定義されているコンピュータとして、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、携帯情報端末（ＰＤＡ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルアレイ（ＦＰＧＡ）、マイクロコントローラ、或いは、任意のその他の形式のプロセッサとして、スタンドアロンデバイスとしてのプロセッサ、又は、ビデオカメラ、デジタルビデオレコーダー（ＤＶＲ）、ネットワークビデオレコーダー（ＮＶＲ）、ネットワーク切り換え器、ネットワークルータ、ＰＯＳ端末、又は任意のその他のハードウェアデバイスに埋め込まれているプロセッサ、が挙げられる。コンピュータベースのシステム１０７は、人検出・カウントモジュール１０４と、取引分類モジュール１０５と、定義済み規則のデータベース１０６とを含んでいることができる。コンピュータベースのシステム１０７は、ソフトウェアを使用しておりネットワークに接続されている１台以上のコンピュータによって実施することができる。或いは、コンピュータベースのシステム１０７は、その全体又は一部をビデオカメラ１０３に組み込むことができる。人検出・カウントモジュール１０４及び取引分類モジュール１０５は、ソフトウェアがコンピュータシステムによって実行されたとき、それに起因して、コンピュータシステムがモジュール１０４及びモジュール１０５の動作を実行するように、モジュール１０４及びモジュール１０５の動作を実行するためのソフトウェアを備えているコンピュータ可読媒体として実施することができる。或いは、人検出・カウントモジュール１０４と、取引分類モジュール１０５と、定義済み規則のデータベース１０６とを、コンピュータ若しくはソフトウェア、又はその両方をエミュレートする特定用途向けハードウェアによって実施することができる。
【００２６】
[0048]図２は、本発明の例示的な実施形態によるビデオ監視システムからのビデオストリームからの例示的なフレームを示している。この例示的なカメラの視野は、頭上に配置されているビデオカメラからのものである。この例示的なフレームにおいては、顧客が右側であり、２人の従業員、すなわちレジ係と経営者が左側である。
【００２７】
[0049]図１及び図２の例においては、小売店舗においてＰＯＳ取引確認用途に使用する場合として、本発明を示してある。しかしながら、本発明は、当業者によって認識されるであろう任意の適切な用途に適用できることを理解されたい。
【００２８】
[0050]図３は、本発明の例示的な実施形態による、監視対象を検出してカウントするための流れ図を示している。本発明においては、監視対象は、ビデオシーンから取り出される、一緒に動いている一連の線分を使用して記述することができる。これらの一連の線分は、ブロック３０１及びブロック３０２を使用して取り出すことができる。ブロック３０１においては、ビデオストリームの中で、動いているピクセルを、例えば、３フレームの差異処理（ｔｈｒｅｅ−ｆｒａｍｅ ｄｉｆｆｅｒｅｎｃｉｎｇ）、又はそれ以外の何らかの手法（例えば、米国特許第６，６２５，３１０号明細書「ピクセルの統計的モデリングを使用してのビデオの分割（Ｖｉｄｅｏ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｕｓｉｎｇ Ｓｔａｔｉｓｔｉｃａｌ Ｐｉｘｅｌ Ｍｏｄｅｌｉｎｇ）」（整理番号３７１１２−１６４９９５）、又は米国特許出願第１０／３５４，０９６号明細書「変化の検出及び分類を使用してのビデオシーンの背景の保守（Ｖｉｄｅｏ Ｓｃｅｎｅ Ｂａｃｋｇｒｏｕｎｄ Ｍａｉｎｔｅｎａｎｃｅ Ｕｓｉｎｇ Ｃｈａｎｇｅ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）」（整理番号３７１１２−１８２３８６）を参照）（両文書は本文書に参考とすることにより組み込まれている）を使用して、検出することができ、モーションマスクを取り出すことができる。ブロック３０１の例示的な実施形態については、後から図４を参照しながら説明する。ブロック３０２においては、線分を、例えば、エッジ検出及び線成長手法（ｌｉｎｅ ｇｒｏｗｉｎｇ ｔｅｃｈｎｉｑｕｅ）（例えば、米国特許出願第１１／１１３，２７５号明細書「「商品持ち逃げ」検出に適用されるラインパターン監視対象の検出及び追跡（Ｌｉｎｅ Ｔｅｘｔｕｒｅｄ Ｔａｒｇｅｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ ｗｉｔｈ Ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ ‘Ｂａｓｋｅｔ−ｒｕｎ' Ｄｅｔｅｃｔｉｏｎ）」（整理番号３７１１２−２１７０４９）を参照）（この文書は本文書に参考とすることにより組み込まれている）を使用して、検出することができる。ブロック３０２の例示的な実施形態については、後から図５〜図７を参照しながら説明する。ブロック３０３においては、ビデオカメラの視野が提供されたとき、標準監視対象の必要条件（例：監視対象のおよその形状及び大きさ）を満たしている一連の線分として、監視対象を識別することができる。ブロック３０４においては、追跡フィルタ（カルマンフィルタなど）を監視対象の重心に適用する、又はその他の何らかの手法（例えば、米国特許出願第０９／９８７，７０７号明細書「ビデオプリミティブを使用する監視システム（Ｖｉｄｅｏ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｓｙｓｔｅｍ Ｅｍｐｌｏｙｉｎｇ Ｖｉｄｅｏ Ｐｒｉｍｉｔｉｖｅｓ）」（整理番号３７１１２−１７５３４０）、又は米国特許出願第１１／１３９，６００号明細書「複数の状態の監視対象追跡（Ｍｕｌｔｉ−Ｓｔａｔｅ Ｔａｒｇｅｔ Ｔｒａｃｋｉｎｇ）」（出願日：２００５年５月３１日、整理番号３７１１２−２１８１９６）を参照）（両文書は本文書に参考とすることにより組み込まれている）を使用して、監視対象を追跡することができる。ブロック３０４の例示的な実施形態については、後から図８〜図１６を参照しながら説明する。
【００２９】
[0051]図４は、本発明の例示的な実施形態による、図３のブロック３０１において動いているピクセルを検出するための流れ図を示している。ブロック４０１においては、前景の動いている領域を背景シーンから分離することができる。この分離は、変化検出を使用して実行することができる。変化検出は、最近になって研究・開発が広範に進められており、数多くの手法が利用可能である。変化検出によって、各フレームの前景マスクを出力することができる。ブロック４０２においては、前景マスクのそれぞれのエッジを検出することができる。しかしながら、それ以外のエッジ検出アルゴリズムを使用することもでき、本発明の例示的な実施形態では、Ｃａｎｎｙエッジ検出（１ピクセル幅のエッジを生成する）を使用することができる。エッジ検出は前景領域に対してのみ実行することができ、この場合、前景マスク情報を組み込むため、Ｃａｎｎｙエッジ検出を少し修正する必要がある。
【００３０】
[0052]図５は、本発明の例示的な実施形態による、図３のブロック３０２において線分を検出するための流れ図を示している。例示的な実施形態によると、決定論的方法を使用し、エッジピクセルマップからすべての線分を取り出すことによって線分を検出することができる。決定論的方法では、エッジピクセルマップを反復的に探索し、残っている十分な数の未使用のエッジピクセルが存在しなくなるまで新しい線分を見つけることができる。各エッジピクセルは１本の線分に属しており、使用された後、エッジピクセルマップからエッジピクセルを削除することができる。
【００３１】
[0053]ブロック５０１への入力は、例えば、図４におけるブロック４０２から取得されるフレームのエッジピクセルマップとすることができる。ブロック５０１においては、エッジピクセルをカウントすることができる。ブロック５０２においては、線分を識別するための十分な数のエッジピクセルが存在している（又は残っている）かを判定することができる。この条件を調べるためのしきい値は、例示的なオブジェクト（例えばショッピングカートなど）の画像のおよその大きさの、ユーザによって入力されるパラメータによって決定することができる。例えば、ショッピングカートのおよその画像幅が６０ピクセルであるならば、十分な残余エッジピクセルのしきい値を、例えば、その１／３、すなわち２０ピクセルとすることができる。このしきい値は、最小線分長しきい値と称することができる。十分な数のエッジピクセルが存在していない（又は残っていない）場合、処理はブロック５０７に進み、存在している（又は残っている）場合、処理はブロック５０３に進む。ブロック５０３においては、新しい線分を識別することができる。ブロック５０３の例示的な実施形態については、後から図６を参照しながら説明する。ブロック５０４においては、上述したようにブロック５０３において使用したピクセルを削除するため、エッジピクセルマップを更新することができる。ブロック５０５においては、新しい線分が有効であるかを、例えば線分の長さ及び直線性に基づいて判定することができる。例えば、ブロック５０３からの新しい線分が、予測されるショッピングカートの画像のサイズよりもずっと短い長さである場合、或いは全体的な直線性が低すぎる場合、その新しい線分を無効な線分とみなすことができる。新しい線分が有効ではない場合、その無効な線分を破棄することができ、処理はブロック５０１に進み、有効である場合、処理はブロック５０６に進む。ブロック５０６においては、有効な線分を、フレーム内の線分のリストに追加することができる。ブロック５１４においては、有効な線分のリストを出力することができる。
【００３２】
[0054]図６は、本発明の例示的な実施形態による、図５のブロック５０３において次の線分を見つけるための流れ図を示している。ブロック６０１においては、提供されるエッジピクセルマップから、新しい線分の開始点を識別する。最初の線分については、開始点は、エッジピクセルマップ全体を、左上角から、最初の未使用エッジポイントが位置しているところまで走査することによって取得することができる。２番目以降のすべての線分については、その前の線分の開始点を走査開始ポジションとして使用することによって、探索の速度を高めることができる。ブロック６０２においては、終点を求めるための次の探索方向を、推定される線の方向に基づいて予測することができる。ブロック６０２の例示的な実施形態については、後から図７を参照しながら説明する。ブロック６０３においては、予測される探索ポジションのそれぞれについてループ（反復）処理し、ピクセルがエッジピクセルであるかを判定することによって、次の線ピクセルを識別することができる。ブロック６０４においては、次の線ピクセルがエッジピクセルである場合、そのピクセルを新しい終点として線分に追加することができ、処理はブロック６０２に進む。エッジピクセルではない場合、次の線ピクセルを両方向について探索することができ、処理はブロック６０５に進む。ブロック６０５においては、一方の方向において次の線ピクセルを見つけることができない場合、反対の方向はすでに探索したかもしれない。反対の方向をまだ探索していない場合、処理はブロック６０６に進み、探索していた場合、処理はブロック６０７に進む。ブロック６０６においては、探索プロセスにおける線の方向を逆にすることができる。終点を開始点とし、開始点を現在の終点とすることができ、処理はブロック６０２に戻る。ブロック６０７においては、現在の線分についての探索プロセスを終了することができ、線分を出力することができる。
【００３３】
[0055]図７は、本発明の例示的な実施形態による、図６のブロック６０２において新しい探索方向を予測する状況を示している。領域７０２は、画像のある範囲を表しており、ブロックのそれぞれが１つのピクセル位置を示している。領域７０４は、現在の線分の現在の終点ピクセルを示している。次の探索ポジションを予測するとき、３つの異なる状態を考えることができる。第１の状態（初期ピクセル）においては、現在の終点ピクセルが開始点でもある。この場合、参照数字７０６によって示したように、終点ピクセルの８つの隣接方向Ａ〜Ｈのすべてを探索する。
【００３４】
[0056]第２の状態においては、線分の複数のピクセルが見つかった時点で、線分の方向を、その線分のピクセルによって提供される情報を使用して推定することができる。線の方向を決定するための１つの方法として、線分のピクセルを２つのグループ、すなわち開始ピクセルと終了ピクセル（それぞれ、線分の最初の半分と後の半分に対応させることができる）とにクラスターリング（グループ化）する（ｃｌｕｓｔｅｒｉｎｇ）。次いで、２つのグループのピクセルの平均位置を使用して、線の方向を決定することができる。
【００３５】
[0057]第３の状態においては、例えば、矢印７０８によって示したように現在の線の方向が既知であるとき、この線の方向からの角度距離が最小である、参照数字７１０によって示した上位３つの方向（例：Ｃ、Ｄ、Ｅ）を選択することができる。この場合、更なる２つの場合を考えることができる。第１の場合として、その線が、実質的な（ｃｏｎｓｉｓｔｅｎｔ ｌｉｎｅ ｓｅｇｍｅｎｔ）線分となるだけの十分な長さではまだないことがあり、この場合、一連のピクセルが線分の一部であるのか、隣接するエッジピクセルの単なるクラスターであるのかは明らかではない。現在の線分が十分に実質的な線分であるかを判定するための１つの方法として、上述した最小長しきい値を使用する。具体的には、線分がそのしきい値より短い場合、その線分は十分に実質的な線分ではないとみなすことができる。誤った線分を取り出すことを避けるため、次の探索位置として、直接隣接している３つの位置７１０を含めることができる。第２の場合には、線分が十分に長く、実質的な線分として取り出すことができる。この場合、ノイズに起因する、エッジマップにおけるところどころの小さな隙間によって、線の一部が欠けていることがある。従って、参照数字７１２によって示した更なる近隣探索位置を含めることができる。
【００３６】
[0058]図８は、本発明の例示的な実施形態による、図３のブロック３０４において監視対象を追跡するための流れ図を示している。ブロック８０１においては、新たなフレームにおいて新しい情報を受け取ったときに、既存の監視対象を更新することができる。ブロック８０１の例示的な実施形態については、後から図９を参照しながら説明する。ブロック８０２においては、既存の監視対象の一部とはみなされていない未割当ての線分から、新しい監視対象を認識することができる。ブロック８０２の例示的な実施形態については、後から図１０を参照しながら説明する。ブロック８０３においては、認識可能な特徴をすべて組み入れることができるように、監視対象を精緻化することができる。ブロック８０３の例示的な実施形態については、後から図１１を参照しながら説明する。ブロック８０４においては、監視対象を分析して、監視対象を結合する（すなわち２つの監視対象が１つの監視対象になる）べきかを判定することができ、ブロック８０５においては、監視対象を分析して、監視対象を分割する（すなわち１つの監視対象が２つの監視対象になる）べきかを判定することができる。ブロック８０４及びブロック８０５の例示的な実施形態については、後から図１２〜図１５を参照しながら説明する。ブロック８０６においては、監視対象をクリアし、このステップは、ビデオカメラの視界の外に監視対象が出たときを判定するために使用することができる。ブロック８０６の例示的な実施形態については、後から図１６を参照しながら説明する。
【００３７】
[0059]図９は、本発明の例示的な実施形態による、図８のブロック８０１において監視対象を更新するための流れ図を示している。ブロック９０１においては、既存の監視対象のパラメータ（例：位置及び大きさ、又は、位置、大きさ、及び速度）を、適切な追跡フィルタ、例えば、カルマンフィルタ又はその他の追跡フィルタリング（例えば、米国特許出願第０９／９８７，７０７号明細書「ビデオプリミティブを使用する監視システム（Ｖｉｄｅｏ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｓｙｓｔｅｍ Ｅｍｐｌｏｙｉｎｇ Ｖｉｄｅｏ Ｐｒｉｍｉｔｉｖｅｓ）」（整理番号３７１１２−１７５３４０）、又は米国特許出願第１１／１３９，６００号明細書「複数の状態の監視対象追跡（Ｍｕｌｔｉ−Ｓｔａｔｅ Ｔａｒｇｅｔ Ｔｒａｃｋｉｎｇ）」（出願日：２００５年５月３１日、整理番号３７１１２−２１８１９６）を参照）を使用して、予測することができる。ブロック９０２においては、検出された線分を、既存の監視対象の重心に対する位置と、既存の監視対象の大きさとに基づいて、監視対象のそれぞれに割り当てることができる。ブロック９０３においては、監視対象を更新することができる。例えば、監視対象の新しい位置、大きさ、及び速度を、追跡フィルタ更新規則に従って更新することができる。
【００３８】
[0060]図１０は、本発明の例示的な実施形態による、図８のブロック８０２において新しい監視対象を検出するための流れ図を示している。ブロック１００１においては、割り当てられていない任意の線分を、例えば、近隣グループ化法（ｎｅｉｇｈｂｏｒｈｏｏｄ ｇｒｏｕｐｉｎｇ ｍｅｔｈｏｄ）を使用してクラスターリングすることができる。例えば、互いの間の距離の特定のしきい値以内にある線分を１つのグループにクラスターリングすることができる。ブロック１００２においては、割り当てられていない線分のクラスターが、定義済みの監視対象の必要条件を満たしているように、クラスターを確認することができる。例えば、図２の視野における人の監視対象を使用して監視対象の必要条件を定義している場合、割り当てられていない線分のクラスターは、人の監視対象の存在を示すための正しいおよその大きさである必要がある。割り当てられていない線分のクラスターが大きすぎる、又は小さすぎる場合、割り当てられていない線分のそのクラスターを監視対象と認めない。ブロック１００２において、割り当てられていない線分のクラスターが監視対象の定義の必要条件を満たしていると想定すると、ブロック１００３において、割り当てられていない線分のそのクラスターを新しい監視対象として指定することができる。その新しい監視対象に対する追跡フィルタをインスタンス化することができ、この場合、割り当てられていない線分のそのクラスターの位置及び大きさを新しい監視対象の初期パラメータとする。
【００３９】
[0061]図１１は、本発明の例示的な実施形態による、図８のブロック８０３において監視対象を精緻化するための流れ図を示している。ブロック１１０１においては、既存の監視対象又は新しい監視対象に割り当てられていない残っている線分を、その最も近い近隣監視対象にまとめることができる。ブロック１１０２においては、新しい特徴に基づいて、それらの監視対象を再推定することができる。例えば、監視対象の位置及び速度を再計算することができ、関連付けられている追跡フィルタを、これらの新しいパラメータを用いて更新することができる。ブロック１１０３においては、監視対象のそれぞれが静止しつつある（すなわち動きを停止する）か否かを判定することができる。その監視対象に関連付けられる線分の数及び大きさが減少する場合、その監視対象は動きを停止しつつあることがある。監視対象が静止しつつあると判定される場合、処理はブロック１１０４に進み、判定されない場合、処理はブロック８０３を終了する。ブロック１１０４においては、監視対象のパラメータ（例：大きさ、位置、及び速度）の更新は、動いている線分のみではなく、監視対象の近傍の動いているピクセルのすべて（又は一部）を使用して行うことができる。
【００４０】
[0062]図１２は、本発明の例示的な実施形態による、図８のブロック８０４において監視対象を結合するための流れ図を示している。ブロック１２０１において、２つの監視対象を取得することができる。ブロック１２０２においては、取得した監視対象のパラメータを比較することができる。例えば、監視対象の大きさ及び履歴（又は存在時間（ａｇｅ））を比較することができる。２つの監視対象が類似する空間を占有しており、一方が他方よりも小さく、且つ一方の存在時間が他方よりも短い場合、これらの２つの監視対象を、１つの監視対象に結合するだけ十分に類似しているものとみなすことができる。監視対象のパラメータが類似している場合、処理はブロック１２０３に進み、類似していない場合、処理はブロック１２０１に進む。ブロック１２０３においては、２つの監視対象を１つの監視対象に結合することができる。例えば、小さい方、若しくは存在時間が短い方、又はその両方である監視対象を、大きい方の監視対象に結合することができる。ブロック１２０３の後、処理はブロック１２０１に進む。処理がブロック１２０１に戻る場合、以前に比較していない２つの監視対象を取得することができる。結合に関してすべての（又は十分な数の）監視対象を比較した時点で、処理はブロック８０４を終了する。
【００４１】
[0063]図１３は、本発明の例示的な実施形態による、図８のブロック８０５において監視対象を分割するための流れ図を示している。ブロック１３０１においては、監視対象を取得することができる。ブロック１３０２においては、その監視対象が標準監視対象に類似しているかを判定することができる。例えば、標準監視対象は、図２における人に基づいてモデル化することができる。監視対象と標準監視対象とを、例えば大きさに基づいて比較する場合、監視対象が標準監視対象よりも大きければ、その監視対象は標準監視対象には類似していないと判定することができる。監視対象が標準監視対象に類似していない場合、処理はブロック１３０３に進み、類似している場合、処理はブロック１３０１に進む。ブロック１３０３においては、監視対象の線分からクラスターを得ることができる。例えば、監視対象の中で互いに最も離れている２本の線分を識別することができ、これらの線分の両方を開始点として、（図１０のブロック１００１におけるように）クラスターリングを再初期化することができる。この結果として、線分の２つの新しいクラスターとすることができる。ブロック１３０４においては、線分の２つの新しいクラスターが標準監視対象に類似しているかを判定することができる。例えば、結果としての２つのクラスターが、標準監視対象と比較したときに適切な大きさ及び形状である場合、２つのクラスターを個々の監視対象とみなすことができる。線分の２つの新しいクラスターが標準監視対象に類似している場合、処理はブロック１３０５に進み、類似していない場合、処理はブロック１３０１に進む。ブロック１３０５においては、監視対象のＩＤ（ｉｄｅｎｔｉｔｙ）を、線分の２つの新しいクラスターに割り当てることができる。例えば、小さい方のクラスターに新しいＩＤを割り当てることができ、大きい方のクラスターが監視対象の元のＩＤを維持することができる。ブロック１３０５から、処理はブロック１３０１に進む。分割に関してすべての（又は十分な数の）監視対象を分析した時点で、処理はブロック８０５を終了する。
【００４２】
[0064]図１２及び図１３を参照しながら説明した手法の代替として、監視対象の結合及び分割を同時に考慮することができ、これは、例えば、動いている監視対象ブロブの形状の分析に基づいて行うことができる。例えば、図２を参照し、分析の結果として、ブログ内の人の監視対象の数を、「監視対象なし」、「１人の監視対象」、又は「２人以上（＞１）の監視対象」と標識化することができる。別の実施形態では、グループ内の特定の監視対象をカウントするようにすることができる。図１４は、本発明の例示的な実施形態による、図８のブロック８０４及びブロック８０５において監視対象を結合及び分割するための流れ図を示している。ブロック１４０１において、ビデオフレームのそれぞれの前景マスクを生成することができる。この前景マスクは、図３のブロック３０１に関して説明した動いているピクセルの検出、又は別の前景オブジェクト検出手法（例えば、米国特許第６，６２５，３１０号明細書「ピクセルの統計的モデリングを使用してのビデオの分割（Ｖｉｄｅｏ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｕｓｉｎｇ Ｓｔａｔｉｓｔｉｃａｌ Ｐｉｘｅｌ Ｍｏｄｅｌｉｎｇ）」（整理番号３７１１２−１６４９９５）、米国特許出願第０９／９８７，７０７号明細書「ビデオプリミティブを使用する監視システム（Ｖｉｄｅｏ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｓｙｓｔｅｍ Ｅｍｐｌｏｙｉｎｇ Ｖｉｄｅｏ Ｐｒｉｍｉｔｉｖｅｓ）」（整理番号３７１１２−１７５３４０）、米国特許出願第１１／０５７，１５４号明細書「ビデオ監視システム（Ｖｉｄｅｏ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｓｙｓｔｅｍ）」（整理番号３７１１２−２１３５４７）、又は米国特許出願第１１／０９８，３８５号明細書「ビデオプリミティブを使用する監視システム（Ｖｉｄｅｏ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｓｙｓｔｅｍ Ｅｍｐｌｏｙｉｎｇ Ｖｉｄｅｏ Ｐｒｉｍｉｔｉｖｅｓ）」（整理番号３７１１２−２１５８１１）を参照）（これらの文書はいずれも本文書に参考とすることにより組み込まれている）を使用して、生成することができる。
【００４３】
[0065]ブロック１４０２においては、ブロック１４０１において生成したモーションマスクの中で、前景オブジェクト（すなわちブロブ）を検出することができる。前景オブジェクトは、クラスターリングアルゴリズム（例えば、米国特許出願第０９／９８７，７０７号明細書「ビデオプリミティブを使用する監視システム（Ｖｉｄｅｏ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｓｙｓｔｅｍ Ｅｍｐｌｏｙｉｎｇ Ｖｉｄｅｏ Ｐｒｉｍｉｔｉｖｅｓ）」（整理番号３７１１２−１７５３４０）、米国特許出願第１１／０５７，１５４号明細書「ビデオ監視システム（Ｖｉｄｅｏ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｓｙｓｔｅｍ）」（整理番号３７１１２−２１３５４７）、又は米国特許出願第１１／０９８，３８５号明細書「ビデオプリミティブを使用する監視システム（Ｖｉｄｅｏ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｓｙｓｔｅｍ Ｅｍｐｌｏｙｉｎｇ Ｖｉｄｅｏ Ｐｒｉｍｉｔｉｖｅｓ）」（整理番号３７１１２−２１５８１１）を参照）を使用して、検出することができる。
【００４４】
[0066]オプションとして、ブロック１４０３において、オブジェクト追跡アルゴリズムによってブロブを追跡することができ、追跡情報を生成することができる（例えば、米国特許出願第０９／９８７，７０７号明細書「ビデオプリミティブを使用する監視システム（Ｖｉｄｅｏ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｓｙｓｔｅｍ Ｅｍｐｌｏｙｉｎｇ Ｖｉｄｅｏ Ｐｒｉｍｉｔｉｖｅｓ）」（整理番号３７１１２−１７５３４０）、米国特許出願第１１／０５７，１５４号明細書「ビデオ監視システム（Ｖｉｄｅｏ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｓｙｓｔｅｍ）」（整理番号３７１１２−２１３５４７）、米国特許出願第１１／０９８，３８５号明細書「ビデオプリミティブを使用する監視システム（Ｖｉｄｅｏ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｓｙｓｔｅｍ Ｅｍｐｌｏｙｉｎｇ Ｖｉｄｅｏ Ｐｒｉｍｉｔｉｖｅｓ）」（整理番号３７１１２−２１５８１１）、又は米国特許出願第１１／１３９，６００号明細書「複数の状態の監視対象追跡（Ｍｕｌｔｉ−Ｓｔａｔｅ Ｔａｒｇｅｔ Ｔｒａｃｋｉｎｇ）」（出願日：２００５年５月３１日、整理番号３７１１２−２１８１９６）を参照）。ブロック１４０３はオプションとすることができる。
【００４５】
[0067]ブロック１４０２及びブロック１４０３から、処理はブロック１４０４に進む。ブロック１４０４においては、ブロック１４０２からのブロブとブロック１４０３からの追跡情報とを使用してブロブを分析することができ、監視対象の数を識別することができる。例えば、ブロブをその大きさ及び形状に基づいて分析することができる。ブロック１４０３の例示的な実施形態については、後から図１４を参照しながら説明する。ブロック１４０４の結果としては、前の監視対象と同じ監視対象である、前の監視対象よりも小さい（すなわち前の監視対象の結合）、又は前の監視対象よりも大きい（すなわち前の監視対象の分割）、である。
【００４６】
[0068]図１５は、本発明の例示的な実施形態による、図１４のブロック１４０４においてブロブを分析するための流れ図を示している。ブロック１５０１においては、ブロック１３０２において識別されたブロブのそれぞれに対して処理を実行することができる。すべての（又は十分な数の）ブロブを分析した時点で、処理はブロック１４０４を終了する。ブロック１５０２においては、ブロブの大きさを複数監視対象の大きさしきい値と比較することができる。例えば、複数監視対象の大きさしきい値は、２つ以上の標準監視対象（例：２人以上の人）を表している大きさを表すことができる。ブロブの大きさが複数監視対象の大きさしきい値よりも大きい場合、処理はブロック１５０３に進み、大きくない場合、処理はブロック１５０４に進む。ブロック１５０３においては、ブロブの大きさは、複数監視対象の大きさしきい値よりも大きいか又は等しく、そのブロブを２つ以上の監視対象として標識化する（例えば、「＞１（２人以上）」と標識化する）ことができる。
【００４７】
[0069]ブロック１５０４においては、ブロブの大きさを単一監視対象の最小大きさしきい値と比較することができる。単一監視対象の最小大きさしきい値は、標準監視対象の最小の大きさを表すことができる。ブロブの大きさが監視対象の最小大きさしきい値よりも小さい場合、処理はブロック１５０５に進み、小さくない場合、処理はブロック１５０７に進む。ブロック１５０５においては、ブロブの大きさは単一監視対象の最小大きさしきい値よりも小さく、ブロブを監視対象なしと標識化する（例：「＝０（０人）」と標識化する）ことができる。ブロック１５０６においては、ブロブを、監視対象を表していないものと指定することができる。
【００４８】
[0070]ブロック１５０７においては、ブロブの大きさを単一監視対象の最大大きさしきい値と比較することができる。単一監視対象の最大大きさしきい値は、標準監視対象の予測される最大の大きさを表すことができる。ブロブの大きさが単一監視対象の最大大きさしきい値よりも小さい場合、処理はブロック１５０８に進み、小さくない場合、処理はブロック１５０９に進む。ブロック１５０８においては、ブロブの大きさは単一監視対象の最大大きさしきい値よりも小さく、そのブロブを１つの監視対象として標識化する（例：「＝１（１人）」と標識化する）ことができる。
【００４９】
[0071]処理がブロック１５０９に進む場合、ブロブの大きさは、複数監視対象の大きさしきい値よりも小さいか等しいが、単一監視対象の最大大きさしきい値よりも大きく、そのブロブによって表されている監視対象の数（すなわち監視対象なし、又は１つの監視対象）を決定するため追加の分析が必要である。ブロック１５０９においては、ブロブの長軸と短軸とを求めるため、固有値解析を実行することができる。次いで、ブロブをその短軸に沿って２つのサブブロブに分割することができる。ブロック１５１０においては、各サブブロブの凸領域（例：凸包の領域）を求めることができる。
【００５０】
[0072]ブロック１５１１においては、サブブロブを分析して、２つのサブブロブのそれぞれが標準監視対象に合致しているかを判定することができる。例えば、２つのサブブロブを分析して、それらの形状が標準監視対象の形状に類似しているかを判定することができる。この場合の分析としては、各サブブロブの凸包領域に対する各サブブロブの領域の比が、監視対象の最小固体性しきい値（ｍｉｎｉｍｕｍ ｔａｒｇｅｔ ｓｏｌｉｄｉｔｙ ｔｈｒｅｓｈｏｌｄ）よりも大きいかと、各サブブロブの凸領域が単一監視対象の最小大きさしきい値よりも大きいかを調べることができ、いずれも真である場合、元のブロブを、２つの監視対象を含んでいるものとみなすことができ、処理はブロック１５１２に進み、それ以外の場合、処理はブロック１５１３に進む。ブロック１５１２においては、ブロブを、２つの監視対象を含んでいるものとみなすことができ、そのブロブを２つ以上の監視対象として標識化する（例えば「＞１（２人以上）」と標識化する）ことができる。ブロック１５１３においては、ブロブを、１つの監視対象を含んでいるものとみなすことができ、そのブロブを１つの監視対象として標識化する（例えば「＝１（１人）」と標識化する）ことができる。
【００５１】
[0073]ブロック１５１４には、ブロック１５０３、ブロック１５０８、ブロック１５１２、及びブロック１５１３から進むことができ、ブロブを分析して、そのブロブが静止しているかを判定することができる。ブロブが静止しているかを判定するためには、例えば、米国特許出願第１０／３５４，０９６号明細書「変化の検出及び分類を使用してのビデオシーンの背景の保守（Ｖｉｄｅｏ Ｓｃｅｎｅ Ｂａｃｋｇｒｏｕｎｄ Ｍａｉｎｔｅｎａｎｃｅ Ｕｓｉｎｇ Ｃｈａｎｇｅ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）」（整理番号３７１１２−１８２３８６）、又は米国特許出願第１１／１３９，６００号明細書「複数の状態の監視対象追跡（Ｍｕｌｔｉ−Ｓｔａｔｅ Ｔａｒｇｅｔ Ｔｒａｃｋｉｎｇ）」（出願日：２００５年５月３１日、整理番号３７１１２−２１８１９６）に記載されている手法などを、この目的に使用することができる。ブロブが静止している場合、処理はブロック１５１５に進み、静止していない場合、処理はブロック１５０６に進む。ブロック１５１５においては、ブロブを、監視対象を表していないものと指定することができる。
【００５２】
[0074]図１６は、本発明の例示的な実施形態による、図８のブロック８０６において監視対象をクリアするための流れ図を示している。図１６においては、各監視対象を個々に分析することができる。ブロック１６０１においては、監視対象を取得することができる。ブロック１６０２においては、監視対象を分析し、その監視対象がフレーム内で検出されたかを判定することができる。監視対象がフレーム内で検出された場合、処理はブロック１６０３に進み、そうでない場合、処理はブロック１６０４に進む。ブロック１６０３においては、監視対象をフレーム内で検出することができ、これを維持することができる。ブロック１６０４においては、監視対象を分析し、その監視対象が以前のフレームにおいてビデオカメラの視野の外に移動したかを判定することができる。監視対象が視野の外に移動していない場合、処理はブロック１６０３に進み、監視対象を保守する。そうでない場合、処理はブロック１６０５に進む。ブロック１６０５においては、監視対象をフレーム内で検出することができず、視野の外に移動しており、現在の監視対象のリストから削除することができる。クリアに関してすべての（又は十分な数の）監視対象を分析した時点で、処理はブロック８０６を終了する。
【００５３】
[0075]本明細書に記載した例及び実施形態は一例であり、本発明を制限するものではない。
【００５４】
[0076]本発明を例示的な実施形態に関連して詳しく説明したが、当業者には、上記の説明から、本発明の広い側面から逸脱することなく変更及び修正を行うことができることが明らかであろう。従って、請求項に定義されている本発明は、本発明の真の概念に含まれる変更及び修正のすべてをその範囲に含むものとする。
【図面の簡単な説明】
【００５５】
【図１】本発明の例示的な実施形態によるビデオ監視システムを示している。
【図２】本発明の例示的な実施形態によるビデオ監視システムからのビデオストリームからの例示的なフレームを示している。
【図３】本発明の例示的な実施形態による、監視対象を検出及びカウントするための流れ図を示している。
【図４】本発明の例示的な実施形態による、動いているピクセルを検出するための流れ図を示している。
【図５】本発明の例示的な実施形態による、線分を検出するための流れ図を示している。
【図６】本発明の例示的な実施形態による、次の線分を見つけるための流れ図を示している。
【図７】本発明の例示的な実施形態による、新しい探索方向を予測する状況を示している。
【図８】本発明の例示的な実施形態による、監視対象を追跡するための流れ図を示している。
【図９】本発明の例示的な実施形態による、監視対象を更新するための流れ図を示している。
【図１０】本発明の例示的な実施形態による、新しい監視対象を検出するための流れ図を示している。
【図１１】本発明の例示的な実施形態による、監視対象を精緻化する（ｒｅｆｉｎｅ）ための流れ図を示している。
【図１２】本発明の例示的な実施形態による、監視対象を結合するための流れ図を示している。
【図１３】本発明の例示的な実施形態による、監視対象を分割するための流れ図を示している。
【図１４】本発明の例示的な実施形態による、監視対象を結合及び分割するための流れ図を示している。
【図１５】本発明の例示的な実施形態による、ブロブを分析するための流れ図を示している。
【図１６】本発明の例示的な実施形態による、監視対象をクリアするための流れ図を示している。
【特許請求の範囲】
【請求項１】
ビデオを処理するソフトウェアを備えているコンピュータ可読媒体であって、
前記ソフトウェアがコンピュータシステムによって実行されたとき、それに起因して、前記コンピュータシステムが、
シーンの頭上視野からのビデオを受け取るステップと、
前記ビデオの中で、動いているピクセルを検出するステップと、
検出された動いているピクセルに基づいて、前記ビデオの中で線分を検出するステップと、
前記検出された線分に基づいて、前記ビデオの中で監視対象を識別するステップと、
前記識別された監視対象に基づいて、前記ビデオの中で監視対象を追跡するステップと、
前記ビデオの中で、追跡されている監視対象を管理するステップと、
を有する方法を含んでいる動作を実行する、コンピュータ可読媒体。
【請求項２】
動いているピクセルを検出する前記ステップが、
前記ビデオにおける前景を前記ビデオにおける背景から分離するステップと、
前記ビデオの中でエッジを検出するステップと、
を含んでいる、請求項１に記載のコンピュータ可読媒体。
【請求項３】
線分を検出する前記ステップが、
エッジピクセルをカウントするステップと、
前記エッジピクセルに基づいて線分を識別するステップと、
を含んでいる、請求項１に記載のコンピュータ可読媒体。
【請求項４】
線分を識別する前記ステップが、
開始点を識別するステップと、
次の探索方向を予測するステップと、
次の線ピクセルを識別するステップと、
線分を提供するステップと、
を含んでいる、請求項３に記載のコンピュータ可読媒体。
【請求項５】
監視対象を識別する前記ステップが、
既存の監視対象を更新するステップと、
新しい監視対象を検出するステップと、
前記新しい監視対象を精緻化するステップと、
前記既存の監視対象と前記新しい監視対象とを結合するステップと、
前記既存の監視対象と前記新しい監視対象とを分離するステップと、
前記既存の監視対象と前記新しい監視対象とをクリアするステップと、
を含んでいる、請求項１に記載のコンピュータ可読媒体。
【請求項６】
監視対象を更新する前記ステップが、
監視対象を予測するステップと、
前記予測された監視対象に線分を割り当てるステップと、
前記監視対象を更新するステップと、
を含んでいる、請求項５に記載のコンピュータ可読媒体。
【請求項７】
新しい監視対象を検出する前記ステップが、
線分のクラスターリングを実行するステップと、
前記線分のクラスターリングに基づいてクラスターの確認を実行するステップと、
前記クラスターの確認に基づいて新しい監視対象を生成するステップと、
を含んでいる、請求項５に記載のコンピュータ可読媒体。
【請求項８】
新しい監視対象を精緻化する前記ステップが、
残っている線分を最も近い監視対象にまとめるステップと、
前記監視対象を再推定するステップと、
前記監視対象を更新するステップと、
を含んでいる、請求項５に記載のコンピュータ可読媒体。
【請求項９】
前記既存の監視対象と前記新しい監視対象とを結合する前記ステップが、
一対の監視対象を取得するステップと、
前記一対の監視対象のパラメータが類似している場合に、前記一対の監視対象を結合するステップと、
を含んでいる、請求項５に記載のコンピュータ可読媒体。
【請求項１０】
前記既存の監視対象と前記新しい監視対象とを分離する前記ステップが、
監視対象を取得するステップと、
前記取得した監視対象が標準監視対象に類似していない場合、前記取得した監視対象に対して線のクラスターリングを実行してクラスターを得るステップと、
前記クラスターが前記標準監視対象に類似している場合に、前記クラスターに監視対象ＩＤを割り当てるステップと、
を含んでいる、請求項５に記載のコンピュータ可読媒体。
【請求項１１】
前記既存の監視対象と前記新しい監視対象とを結合及び分割する前記ステップが、
前景マスクを生成するステップと、
前記前景マスクに基づいて前景オブジェクトを検出するステップと、
前記前景オブジェクトを分析して複数の監視対象を得るステップと、
を含んでいる、請求項５に記載のコンピュータ可読媒体。
【請求項１２】
前記前景オブジェクトを分析する前記ステップが、前記前景オブジェクトを、複数監視対象の大きさしきい値と、単一監視対象の最小大きさしきい値と、単一監視対象の最大大きさしきい値と比較するステップに基づく、請求項１１に記載のコンピュータ可読媒体。
【請求項１３】
前記既存の監視対象と前記新しい監視対象とをクリアする前記ステップが、
監視対象を取得するステップと、
前記取得した監視対象が現在のフレームにおいて検出される、又は前記ビデオカメラの視野の外に出なかった場合に、前記取得した監視対象を維持するステップと、
前記取得した監視対象が現在のフレームにおいて検出されない場合、又は前記ビデオカメラの視野の外に出ていた場合に、前記取得した監視対象を削除するステップと、
を含んでいる、請求項５に記載のコンピュータ可読媒体。
【請求項１４】
ビデオを処理する方法を実行するコンピュータベースのシステムであって、前記方法が、
シーンの頭上視野からのビデオを受け取るステップと、
前記ビデオの中で、動いているピクセルを検出するステップと、
検出された動いているピクセルに基づいて、前記ビデオの中で線分を検出するステップと、
前記検出された線分に基づいて、前記ビデオの中で監視対象を識別するステップと、
前記識別された監視対象に基づいて、前記ビデオの中で監視対象を追跡するステップと、
前記ビデオの中で、追跡されている監視対象を管理するステップと、
を含んでいる、コンピュータベースのシステム。
【請求項１５】
ビデオを処理する方法であって、
シーンの頭上視野からのビデオを受け取るステップと、
前記ビデオの中で、動いているピクセルを検出するステップと、
検出された動いているピクセルに基づいて、前記ビデオの中で線分を検出するステップと、
前記検出された線分に基づいて、前記ビデオの中で監視対象を識別するステップと、
前記識別された監視対象に基づいて、前記ビデオの中で監視対象を追跡するステップと、
前記ビデオの中で、追跡されている監視対象を管理するステップと、
を含んでいる、方法。
【請求項１】
ビデオを処理するソフトウェアを備えているコンピュータ可読媒体であって、
前記ソフトウェアがコンピュータシステムによって実行されたとき、それに起因して、前記コンピュータシステムが、
シーンの頭上視野からのビデオを受け取るステップと、
前記ビデオの中で、動いているピクセルを検出するステップと、
検出された動いているピクセルに基づいて、前記ビデオの中で線分を検出するステップと、
前記検出された線分に基づいて、前記ビデオの中で監視対象を識別するステップと、
前記識別された監視対象に基づいて、前記ビデオの中で監視対象を追跡するステップと、
前記ビデオの中で、追跡されている監視対象を管理するステップと、
を有する方法を含んでいる動作を実行する、コンピュータ可読媒体。
【請求項２】
動いているピクセルを検出する前記ステップが、
前記ビデオにおける前景を前記ビデオにおける背景から分離するステップと、
前記ビデオの中でエッジを検出するステップと、
を含んでいる、請求項１に記載のコンピュータ可読媒体。
【請求項３】
線分を検出する前記ステップが、
エッジピクセルをカウントするステップと、
前記エッジピクセルに基づいて線分を識別するステップと、
を含んでいる、請求項１に記載のコンピュータ可読媒体。
【請求項４】
線分を識別する前記ステップが、
開始点を識別するステップと、
次の探索方向を予測するステップと、
次の線ピクセルを識別するステップと、
線分を提供するステップと、
を含んでいる、請求項３に記載のコンピュータ可読媒体。
【請求項５】
監視対象を識別する前記ステップが、
既存の監視対象を更新するステップと、
新しい監視対象を検出するステップと、
前記新しい監視対象を精緻化するステップと、
前記既存の監視対象と前記新しい監視対象とを結合するステップと、
前記既存の監視対象と前記新しい監視対象とを分離するステップと、
前記既存の監視対象と前記新しい監視対象とをクリアするステップと、
を含んでいる、請求項１に記載のコンピュータ可読媒体。
【請求項６】
監視対象を更新する前記ステップが、
監視対象を予測するステップと、
前記予測された監視対象に線分を割り当てるステップと、
前記監視対象を更新するステップと、
を含んでいる、請求項５に記載のコンピュータ可読媒体。
【請求項７】
新しい監視対象を検出する前記ステップが、
線分のクラスターリングを実行するステップと、
前記線分のクラスターリングに基づいてクラスターの確認を実行するステップと、
前記クラスターの確認に基づいて新しい監視対象を生成するステップと、
を含んでいる、請求項５に記載のコンピュータ可読媒体。
【請求項８】
新しい監視対象を精緻化する前記ステップが、
残っている線分を最も近い監視対象にまとめるステップと、
前記監視対象を再推定するステップと、
前記監視対象を更新するステップと、
を含んでいる、請求項５に記載のコンピュータ可読媒体。
【請求項９】
前記既存の監視対象と前記新しい監視対象とを結合する前記ステップが、
一対の監視対象を取得するステップと、
前記一対の監視対象のパラメータが類似している場合に、前記一対の監視対象を結合するステップと、
を含んでいる、請求項５に記載のコンピュータ可読媒体。
【請求項１０】
前記既存の監視対象と前記新しい監視対象とを分離する前記ステップが、
監視対象を取得するステップと、
前記取得した監視対象が標準監視対象に類似していない場合、前記取得した監視対象に対して線のクラスターリングを実行してクラスターを得るステップと、
前記クラスターが前記標準監視対象に類似している場合に、前記クラスターに監視対象ＩＤを割り当てるステップと、
を含んでいる、請求項５に記載のコンピュータ可読媒体。
【請求項１１】
前記既存の監視対象と前記新しい監視対象とを結合及び分割する前記ステップが、
前景マスクを生成するステップと、
前記前景マスクに基づいて前景オブジェクトを検出するステップと、
前記前景オブジェクトを分析して複数の監視対象を得るステップと、
を含んでいる、請求項５に記載のコンピュータ可読媒体。
【請求項１２】
前記前景オブジェクトを分析する前記ステップが、前記前景オブジェクトを、複数監視対象の大きさしきい値と、単一監視対象の最小大きさしきい値と、単一監視対象の最大大きさしきい値と比較するステップに基づく、請求項１１に記載のコンピュータ可読媒体。
【請求項１３】
前記既存の監視対象と前記新しい監視対象とをクリアする前記ステップが、
監視対象を取得するステップと、
前記取得した監視対象が現在のフレームにおいて検出される、又は前記ビデオカメラの視野の外に出なかった場合に、前記取得した監視対象を維持するステップと、
前記取得した監視対象が現在のフレームにおいて検出されない場合、又は前記ビデオカメラの視野の外に出ていた場合に、前記取得した監視対象を削除するステップと、
を含んでいる、請求項５に記載のコンピュータ可読媒体。
【請求項１４】
ビデオを処理する方法を実行するコンピュータベースのシステムであって、前記方法が、
シーンの頭上視野からのビデオを受け取るステップと、
前記ビデオの中で、動いているピクセルを検出するステップと、
検出された動いているピクセルに基づいて、前記ビデオの中で線分を検出するステップと、
前記検出された線分に基づいて、前記ビデオの中で監視対象を識別するステップと、
前記識別された監視対象に基づいて、前記ビデオの中で監視対象を追跡するステップと、
前記ビデオの中で、追跡されている監視対象を管理するステップと、
を含んでいる、コンピュータベースのシステム。
【請求項１５】
ビデオを処理する方法であって、
シーンの頭上視野からのビデオを受け取るステップと、
前記ビデオの中で、動いているピクセルを検出するステップと、
検出された動いているピクセルに基づいて、前記ビデオの中で線分を検出するステップと、
前記検出された線分に基づいて、前記ビデオの中で監視対象を識別するステップと、
前記識別された監視対象に基づいて、前記ビデオの中で監視対象を追跡するステップと、
前記ビデオの中で、追跡されている監視対象を管理するステップと、
を含んでいる、方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公表番号】特表２００８−５４４７０５（Ｐ２００８−５４４７０５Ａ）
【公表日】平成２０年１２月４日（２００８．１２．４）
【国際特許分類】
【出願番号】特願２００８−５１８４３５（Ｐ２００８−５１８４３５）
【出願日】平成１８年６月２３日（２００６．６．２３）
【国際出願番号】ＰＣＴ／ＵＳ２００６／０２４４８５
【国際公開番号】ＷＯ２００７／００２４０４
【国際公開日】平成１９年１月４日（２００７．１．４）
【出願人】（５０４１４２１６７）オブジェクトビデオ インコーポレイテッド (11)
【Ｆターム（参考）】
【公表日】平成２０年１２月４日（２００８．１２．４）
【国際特許分類】
【出願日】平成１８年６月２３日（２００６．６．２３）
【国際出願番号】ＰＣＴ／ＵＳ２００６／０２４４８５
【国際公開番号】ＷＯ２００７／００２４０４
【国際公開日】平成１９年１月４日（２００７．１．４）
【出願人】（５０４１４２１６７）オブジェクトビデオ インコーポレイテッド (11)
【Ｆターム（参考）】
[ Back to top ]