複数のイメージセンサ間における視野関係を決定するためのコンピュータ化された方法及び装置
第１の光景を表す複数の第１のビデオフレームについての第１のイメージデータを受容する（図５の502）ことを含むコンピュータ化されたイメージ解析方法。第１のビデオフレームの各々（図１の102(1)）が複数のイメージ領域から構成され、少なくとも１つの第１のビデオフレームの１つのイメージ領域内に第１のオブジェクトが存在する。第２の光景を表す複数の第２のビデオフレームについての第２のイメージデータ（図１の102(2)）が受容される。第２のビデオフレームの各々が複数のイメージ領域（図５の504）を含み、少なくとも１つの第２のビデオフレームの１つのイメージ領域内に第２のオブジェクトが存在する。本方法はまた、第１のイメージ領域内に存在する第１のオブジェクトの発生と第２のイメージ領域内に存在する第２のオブジェクトの発生との間の確率的な相関関係に基づいて、第１のイメージ領域と第２のイメージ領域との間の関係を決定する（図５の510〜512）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般にビデオ監視に関し、特にイメージセンサの視野間の関係を決定するためのコンピュータ支援監視システムに関するものである。
【背景技術】
【０００２】
現在、セキュリティ意識が増大し、及びカメラ機器のコストが下落した結果として、閉回路テレビ（ＣＣＴＶ）監視システムの使用が増大することとなった。かかるシステムは、犯罪を低減させ、事故を防止し、及び広範な環境でセキュリティを一般に強化するための、潜在的な能力を有するものである。
【０００３】
単純な閉回路テレビシステムは、表示装置に接続された一台のカメラを使用する。より複雑なシステムは、複数のカメラ及び／又は複数の表示装置を使用することができる。既知のタイプのシステムの１つが、小売店内のセキュリティディスプレイであり、該ディスプレイは、複数の異なるカメラ間で周期的に切り替わって店内の異なるビューを提供する。刑務所や軍事設備といったセキュリティの一層高い施設は、列をなすビデオディスプレイを使用し、その各々がそれぞれに関連するカメラの出力を表示する。守衛又は係員が絶えず様々な画面を注視して疑わしい活動を探す。
【０００４】
更に最近では、安価なディジタルカメラが、セキュリティその他の用途で一般的なものとなっている。更に、現在では、ウェブカムを使用してリ遠隔場所を監視することが可能である。ウェブカムは、典型的には比較的低フレームレートを有するものであるが、セキュリティ用途には十分である。遠隔場所に配置されたコンピュータその他の表示装置へ信号を無線送信する安価なカメラもまた、ビデオ監視を提供するために使用することが可能である。
【０００５】
カメラの台数が増えるにつれて、処理し解析する必要のある未加工（raw）情報の量もまた増大する。コンピュータ技術を使用して、この未加工データ処理タスクを軽減させることが可能であり、これにより、新たな情報テクノロジー装置、すなわち、コンピュータ支援監視（ＣＡＳ）システムが生まれることとなった。コンピュータ支援監視技術は、様々な用途のために開発されてきた。例えば、陸軍は、コンピュータ支援イメージ処理を使用して、戦闘機のパイロットその他の人員に自動命中（targeting）その他の支援を提供してきた。更に、コンピュータ支援監視は、スイミングプールでの活動を監視するために適用されてきた。
【０００６】
ＣＡＳシステムは、一連の監視ビデオフレーム内に現れたオブジェクト（例えば、人、商品その他）を自動的に監視する。特定の有用な監視タスクの１つが、監視領域内におけるオブジェクトの運動の追跡である。１つのイメージを通って移動する人間等のオブジェクトを追跡するための方法が当業界で知られている。より精確な追跡情報を達成するために、ＣＡＳシステムは、一連の監視ビデオフレーム内に示される複数のイメージの基本的な要素に関する知識を利用することができる。
【０００７】
巨視的には、１つのビデオ監視フレームは、人及び物が移動し相互作用する光景の１つのイメージを示すものである。微視的には、１つのビデオフレームは、複数の画素から構成されるものである（該画素は格子状に配列されることが多い）。１つのイメージ内の画素の個数は、該イメージを生成するカメラの解像度、該イメージが提示されるディスプレイ、及び該イメージが格納される記憶装置の容量その他を含む、幾つかの因子によって決まる。ビデオフレームの解析は、処理能力や所望レベルの精度に応じて、画素レベルで、又は（画素）グループレベルで行うことが可能である。解析対象となる１つの画素又は１グループの画素を本書では「イメージ領域」と称することとする。
【０００８】
イメージ領域は、光景の背景を描写する部分として、又は前景オブジェクトを描写するものとして、分類することができる。一般に背景は各フレームにおいて比較的変化しない状態に留まる。しかし、オブジェクトは、異なるフレームにおける異なるイメージ領域内に描写される。１ビデオフレーム内のオブジェクトを該フレームの背景から分離させるための（オブジェクト抽出と呼ばれる）幾つかの方法が当業界で知られている。一般的な方法として「背景サブトラクション（subtraction：減法）」と呼ばれる技法を用いることが挙げられる。勿論、他の技術を使用することが可能である。オブジェクトの場所は、典型的には、ビデオフレームに関連付けされたリストに記録される。
【０００９】
各フレーム毎にオブジェクトを追跡するために、追跡方法は、現在のフレーム内で抽出されたオブジェクトと前のフレームで抽出されたオブジェクトとの対応関係を決定する。この対応関係は、例えば、予測追跡法（predictive tracking method）を使用することにより決定することができる。ＣＡＳシステムは、現在のフレーム内のオブジェクトの場所を、前のフレーム内のオブジェクトの既知の場所に基づいて予測する。続いて、該予測されたオブジェクトの場所が実際のオブジェクトの場所と比較されて対応関係が確立される。かかる予測は、典型的には、考え得るオブジェクトの運動を予測するアルゴリズムに基づくものとなる。例えば、オブジェクトが一定の速度で移動すると仮定することができる。より高度な技法は、例えば、対応関係を決定する前にオブジェクトの色が一致することを確認することができる。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
概念的に単純でローバストな追跡システムは、多くの困難に直面する。光景の照明の変化は、オブジェクト抽出の品質に影響を与え、その結果として前景要素が誤って生じ又は完全に削除されてしまうことになり得る。オブジェクト閉塞（occlusion）は、オブジェクトの消失又は結合を生じさせ、その結果としてフレーム間の対応を困難にし得るものである。追跡されるオブジェクトは時間と共にその形又は色が変化し得るものであり、この場合には、該オブジェクトが正しく抽出された場合であってもその対応が妨げられることになる。
【００１１】
更に、理想的な条件下にあったとしても、シングルビュー追跡システムは、カメラの視野を外れた監視対象オブジェクトを追跡することが必ずできなくなる。多くの字幕放送機能付きテレビシステム（close-captioned television system）の場合のように、複数のカメラが利用できる場合には、ターゲットが異なるカメラ内に現れた際に該ターゲットを再獲得することは理論的には可能である。この自動「センサハンドオフ（hand-off：手渡し）」を実行する能力は、重要な実際的な関心事である。現在の研究室レベルの解決策は、重複する視野を有する互いに幾何学的に較正された複数のカメラを必要とし、これは、典型的なＣＣＴＶ設備では容易に達成されない条件である。
【課題を解決するための手段】
【００１２】
本発明の目的は、第１のカメラにより捕捉されたビデオフレームのイメージ領域の、第２のカメラにより捕捉されたビデオフレームのイメージ領域との相関付けを自動化して、ＣＡＳシステムによるオブジェクトの識別及び追跡に資することにある。２つのイメージ領域間の相関付けは、ＣＡＳシステムが異なるカメラにより検出されたオブジェクトを相関付けするのを（該カメラが重複する視野を有しているか否かにかかわらず）助けるものとなる。
【００１３】
複数のカメラの視野間で１つのオブジェクトを追跡する従来の方法は、監視されたオブジェクトを実世界の物理的な場所に相関付けしようとするものである。かかる方法は通常は、時間と共に変化し得る、カメラの配置及びカメラの角度といった、監視中の光景に関する詳細な情報を必要とする。これに対し、本発明の方法及び装置は、かかる実世界の特性に関係する必要のないものである。
【００１４】
一態様では、本発明は、２つの光景を表すイメージデータを受信することを含む、イメージ解析方法に関するものである。その第１のイメージデータは、第１の光景を表す複数の第１のビデオフレームに関するものである。該第１のビデオフレームの各々は複数のイメージ領域を含む。該複数のイメージ領域のうちの少なくとも１つは第１のオブジェクトを含む。第２のイメージデータは、第２の光景を表す複数の第２のビデオフレームに関するものである。該第２のビデオフレームの各々は複数のイメージ領域を含む。該複数のイメージ領域のうちの少なくとも１つは第２のオブジェクトを含む。
【００１５】
本ビデオ解析方法はまた、第１のイメージ領域内に存在する第１のオブジェクトの発生と第２のイメージ領域内に存在する第２のオブジェクトの発生との間の確率的な相関関係に基づいて、第１及び第２のビデオフレームの複数のイメージ領域のうちの第１及び第２のイメージ領域間の関係を決定するステップを含む。一実施形態では、本方法は、第２のオブジェクトが第２のイメージ領域内に存在する場合に第１のオブジェクトが第１のイメージ領域内に存在する条件付き確率（conditional probability）を決定することを含む。別の実施形態では、本方法は、第１のオブジェクトが第１のオブジェクト領域内に存在し且つ第２のオブジェクトが第２のイメージ領域内に存在する同時確率（joint probability）を決定することを含む。更なる実施形態では、本方法は、第１のイメージ領域内に存在する第１のオブジェクトと第２のイメージ領域内に存在する第２のオブジェクトとに関連するリフト（lift）を決定することを含む。別の実施形態では、本方法は、第１のイメージ領域内に存在する第１のオブジェクトと第２のイメージ領域内に存在する第２のオブジェクトとに関連する相関係数を決定することを含む。
【００１６】
一実施形態では、第１のイメージデータは、第１の視野を有する第１のカメラから発せられ、第２のイメージデータは、第２の視野を有する第２のカメラから発せられる。本発明の特徴は、互いに重複し又は重複しない第１及び第２の視野の両者に提供されるものである。
【００１７】
本方法の一実施形態では、第１及び第２のイメージ領域内に存在するあらゆるオブジェクトの発生数がカウントされる。別の実施形態では、本方法は、第１及び第２のイメージ領域の両者内に同時に存在するあらゆるオブジェクトの発生数をカウントすることを含む。更なる実施形態では、本方法は、所定数の早期の各瞬間毎に、第１のイメージ領域内に現在存在しているあらゆるオブジェクトと該早期の瞬間に第２のイメージ領域内に存在しているあらゆるオブジェクトとの両者の発生数をカウントすることを含む。該瞬間は、例えば、カメラが１ビデオフレームを生成した瞬間とすることが可能である。該瞬間はまた、カメラが０、１、又はより多くのフレームを生成することが可能な特定の時間間隔とすることが可能である。一実施形態では、オブジェクトが１つの時間間隔が始まる前に消滅しなかった場合又は１つの時間間隔が終わる前に現れた場合に、該１つの時間間隔内に１つのイメージ領域内に１つのオブジェクトが存在するものとみなされる。
【００１８】
別の実施形態では、複数のオブジェクト属性が提供される。本発明の一実施形態では、本方法は、該複数の属性の各々毎に、第１及び第２のイメージ領域内に存在する該属性を有するオブジェクトの発生数をカウントすることを含む。別の実施形態では、本方法は、各属性毎に、第１のイメージ領域内に存在するかかる属性を有するあらゆるオブジェクトと第２のイメージ領域内に存在する各属性を有する第２のオブジェクトとの発生数をカウントすることを含む。更なる実施形態では、本方法は、各属性毎に、及び所定数の早期の各瞬間毎に、第１のイメージ領域内に存在するかかる属性を有するオブジェクトと、該早期の瞬間に第２のイメージ領域内に存在する前記属性の各々を有するオブジェクトとの発生数をカウントすることを含む。
【００１９】
本発明の一態様は、第１の複数のビデオフレームからの１つのイメージ領域と、第２の複数のビデオフレームからの１つのイメージ領域との関係を決定することを含む（但し、それらイメージ領域は、両方とも、同一の複数のビデオフレームからのものとすることが可能である）。更なる一態様は、第１及び第２のイメージ領域間の空間的及び時間的な関係を決定することを含む。本発明の別の態様は、該決定された関係に基づいて第１のビデオフレーム内の第１のオブジェクトを第２のビデオフレーム内に存在する第２のオブジェクトと相関付けすることを含む。別の態様は、１つの第１のビデオフレーム内に存在する第１のオブジェクトが先行する第１のビデオフレーム内に存在しなかったことを判定し、及びイメージ領域間で決定された前記関係に基づいて前記第１のオブジェクトを第２のビデオフレーム内に存在する第２のオブジェクトと相関付けすることを含む。
【００２０】
別の実施形態では、各イメージ領域は、複数の第１及び第２のビデオフレームのうちの１つにおける１つの場所であって該複数の第１及び第２のビデオフレームにわたって実質的に同一である１つの場所を有する。別の実施形態では、本方法は、少なくとも第１のオブジェクト及び第２のオブジェクトの場所を識別するオブジェクトリストを維持することを含む。この実施形態の一態様は、第１及び第２のビデオフレームの一方に存在するオブジェクトを選択し、該選択したオブジェクトが、第１のオブジェクト、第２のオブジェクト、及び第３のオブジェクトのうちの１つであるか否かを、前記オブジェクトリスト及び前記決定された関係に少なくとも部分的に基づいて判定することを含む。
【００２１】
別の態様では、本発明は、ビデオ監視システムに関するものである。該ビデオ監視システムは、第１の光景を表す第１のイメージデータを受容するための第１のメモリモジュールと、第２の光景を表す第２のイメージデータを受容するための第２のメモリモジュールとを含む。該第１のイメージデータは複数の第１のビデオフレームに関するものである。該複数の第１のビデオフレームの各々は、複数のイメージ領域を含む。該イメージ領域のうちの少なくとも１つは第１のオブジェクトを含む。前記第２のイメージデータは、複数の第２のビデオフレームに関するものである。該複数の第２のビデオフレームの各々は、複数のイメージ領域を含む。該イメージ領域のうちの少なくとも１つは第２のオブジェクトを含む。該ビデオ監視システムはまた、前記第１及び第２のビデオフレームの複数のイメージ領域のうちの第１及び第２のイメージ領域間の関係を、第１のイメージ領域内に存在する第１のオブジェクトの発生と第２のイメージ領域内に存在する第２のオブジェクトの発生との間の確率的な相関関係に基づいて決定するための処理モジュールを含む。
【００２２】
別の態様では、本発明は、第１及び第２の光景を表す複数の第１及び第２のビデオフレームに関する第１及び第２のイメージデータを受容するための手段を含むビデオ監視のシステムに関するものである。第１及び第２のビデオフレームの各々は複数のイメージ領域を含む。第１及び第２のオブジェクトは、少なくとも１つの第１及び第２のビデオフレームの１つのイメージ領域内にそれぞれ存在する。該システムはまた、第１及び第２のビデオフレームの複数のイメージ領域のうちの第１及び第２のイメージ領域間の関係を、第１のイメージ領域内の第１のオブジェクト及び第２のイメージ領域内の第２のオブジェクトの発生間の確率的な相関関係に基づいて決定するための処理モジュールを含む。
【発明を実施するための最良の形態】
【００２３】
上記解説は、以下の本発明の詳細な説明を図面と共に参照することにより容易に理解されよう。
【００２４】
監視システムにおいて、複数のカメラが、監視対象となる環境内の人及び物の相互作用を描写するイメージデータを捕捉する。該カメラの種類には、アナログビデオカメラ、ディジタルビデオカメラ、又はイメージデータを生成することができるあらゆる装置が含まれる。用語「カメラ」は、ビデオデータを出力することができるあらゆるセンサを含む、包括的な用語として使用されている。一実施形態では、ＣＡＳシステムは、その主な情報源はビデオカメラではあるが、複数の入力センサを介して監視対象となる環境を観察する。大多数のＣＣＴＶ施設は一般的な可視光ビデオカメラを使用している。かかる施設では、ＣＡＳシステムは、アナログＮＴＳＣ又はＰＡＬビデオから情報を抽出するために高度なビデオ解析アルゴリズムを採用している。但し、かかるアルゴリズムは、可視光スペクトルに限定されるものではなく、赤外線ビデオ、又は利用可能である場合にはレーダー又はソナーからの画像にも適用することができる。
【００２５】
図１は、例示的なコンピュータ支援監視（ＣＡＳ）システム100を示している。複数のカメラその他のイメージ入力装置102は、イメージ解析を提供するようプログラムされたコンピュータ104へイメージ入力を提供する。ＣＡＳコンピュータ104は、設定、制御、及び表示のためのグラフィカルユーザインタフェイスを提供するディスプレイ106を含むことができる。ＣＡＳコンピュータ104は、ユーザによる制御信号の入力を可能にするキーボードやマウスその他の１つ又は２つ以上のユーザ入力装置（図示せず）を含むことができる。
【００２６】
ＣＡＳコンピュータ104は、イメージ特徴の抽出及び追跡を含む高度なイメージ処理を実行する。ＣＡＳコンピュータ104は、オブジェクト及び活動を自動的に検出することができ、ディジタル通信ネットワーク又はその他のインタフェイス108を介して送信することができるアラームその他の情報を生成することができる。ＣＡＳコンピュータ104はまた、インタフェイス108を使用して、レコーダ112に格納されている以前に記録されたビデオや他のコンピュータに格納されている情報といったデータを取り出すことができる。ＣＡＳコンピュータ104は、典型的には連続し又は停止したフレームをレコーダ112により記録するため及び切換装置116を介して１つ又は２つ以上のディスプレイ114上に表示するために様々なカメラ102の出力をマルチプレクサ110に提供する。更なるユーザインタフェイス（例えば他のコンピュータ118やジョイスティック120等のユーザ入力により提供されるもの）を使用して、操作者が切換装置116を制御して見るべきイメージを選択すること、及びＣＡＳコンピュータ104を含むシステム100の他の部分を制御することを可能にすることができる。マルチプレクサ110及び／又は切換装置116は、特定のタイプの活動が自動的に検出された際に生じる外部的なアラーム（例えば、モーションセンサにより生成されたアラーム）に応じてビデオを適切に記録し表示することができる。これらアラームはまた、ビデオストリーム内で検出された活動に基づいてＣＡＳコンピュータ104により生成することが可能である。
【００２７】
例示的なＣＡＳコンピュータ104システムは、既存のあらゆるセキュリティ・インフラストラクチャ内にシームレスに統合させることが可能である。例示的な実施形態によるＣＡＳシステム100は、ＵＳＢ、FireWire、又はＩＰカメラといった新しいディジタルビデオソースに加えて、例えばレガシーアナログビデオソースと互換性を有するものである。ＣＡＳコンピュータ104は、その入力信号を受動的に反復するものとして作用し、これにより、ＣＡＳコンピュータ104が万が一故障した場合にセキュリティ・インフラストラクチャの残りの部分がＣＡＳコンピュータ104なしで機能するようになっている。
【００２８】
ビデオカメラ102は、ＣＡＳシステム100のための典型的な主要センサであり、該システムはまた、モーション検出器、煙検出器、漏洩検出器、マイク、店舗販売（ＰＯＳ）記録、電子商品監視（ＥＡＳ）システム、及びアクセス制御システムといった、他の一般的に使用されるセンサに適応することも可能である。例示的なＣＡＳシステム100は、これらのセンサからの情報をビデオ解析結果と組み合わせて、実世界における活動のより豊富な記述を提供する。例えば、ＰＯＳ情報をビデオイメージと共に使用して、顧客が特定の製品を購入したことを確認することが可能である。
【００２９】
図２は、例示的なＣＡＳコンピュータ104の高レベルブロック図を示している。例示のため、コンピュータの構成要素は２つの主分類、すなわち、シングルビュー処理ブロック（ＳＶＰ）202及びマルチビュー処理ブロック（ＭＶＰ）204へとグループ化されている。各イメージ入力ソースはＳＶＰ202へ結合される。イメージ入力ソースは、カメラ102並びに様々な記憶装置（例えば、コンピュータディスク、ＶＨＳテープ、及びディジタルビデオテープ）を含むものである。データ解析のため、ビデオ記憶装置により出力されるイメージデータは、カメラにより生成されるイメージデータと等価なものである。各ＳＶＰ202は典型的には、単一のビデオストリームしか必要としないビデオ処理タスクを実行する。ＳＶＰ202の出力は、一度に多数のビデオストリームを処理するＭＶＰ204に接続される。実施形態によっては、１つの処理モジュールは、１つのＭＶＰ204を含み、又は、１つ又は２つ以上のＳＶＰ202と１つ又は２つ以上のＭＶＰ204との組み合わせを含む。ＣＡＳコンピュータ104はまた、到来するイメージデータを受容し格納するためのメモリモジュール（図示せず）を含む。該メモリモジュールは、前記処理モジュールの一部とすることが可能であり、又は該処理モジュールとは別個のものとすることが可能である。
【００３０】
シングルビュー処理要素202及びマルチビュー処理要素204は、典型的には、１つの光景を描写する一連のビデオフレームとしてデータを解析する。一実施形態では、イメージデータはカメラから直接解析される。別の実施形態では、解析されるイメージデータを記憶装置から発せられたものとすることができる。カメラ及びビデオ記憶装置によっては、フレーム単位でイメージデータを生成し記憶する。別の記憶システムは、ビデオフレームの更新（すなわち光景に対する検出された変更）のみを記憶することが可能である。イメージデータの解析を行うために、ＣＡＳコンピュータ104は、様々な装置に様々な形式で記憶させることが可能な記憶されたイメージデータからビデオフレームを構築する。
【００３１】
１ビデオフレームは複数の画素から構成されている。１ビデオフレーム中の画素数は、典型的には、とりわけ、該ビデオフレームを生成するカメラの解像度、該ビデオフレームが表示されるディスプレイ、及び該ビデオフレームが記憶される記憶装置の容量によって決まる。ビデオフレームの解析は、利用可能な処理能力及び必要とされる精度に応じて、画素レベルで、又は複数の画素グループを解析することにより、行うことが可能である。解析すべき１つの画素又は１グループの画素を本書では「イメージ領域」と称することとする。
【００３２】
例示的な一実施形態では、ＣＡＳコンピュータ104のマルチビュー処理要素204は、第１のカメラにより生成された第１の複数のビデオフレームのイメージ領域を、第２のカメラにより生成された第２の複数のビデオフレームのイメージ領域に相関付けする。異なるソースにより生成されたビデオフレームのイメージ領域の相関付けは、異なる光景を介してそれら光景間を移動するオブジェクトをＣＡＳコンピュータ104が追跡するのを助けることができるものとなる。
【００３３】
図３は、本発明の例示的な一実施形態によるＣＡＳシステム100により監視される一環境（例えば小売店300）を示すものである。該小売店は、第１及び第２のカメラ302,304を使用し、該カメラ302,304はそれら自体の視野306,308をそれぞれ有している。第１のカメラは、出入口312を含む第１の部屋310を監視する。第２のカメラ304は、第２の部屋314を監視する。第２のカメラ304の視野308は、出入口312の反対側を含む。
【００３４】
該環境300は、２つの瞬間T=0,T=1、すなわち、最も最近の一組のビデオフレームが第１及び第２のカメラ302,304により生成される時刻とその１フレーム前の瞬間に、第１及び第２のオブジェクト316,318を含む。T=1とT=0との間の時間に、第１のオブジェクト316は、第２のカメラ304の視野308内のみの場所から、カメラ302,304の両方の視野306,308内に位置する場所へと移動する。これと同じ時間中に、第２のオブジェクト318は、第１のカメラの視野306内の場所からカメラ302,304の両者の視野306,308外の位置へ移動する。
【００３５】
図４Ａ及び図４Ｂは、時刻T=0において第１及び第２のカメラ302,304によりそれぞれ生成された最も最近の一組のビデオフレーム402,404を概略的に示したものである。同様に、図４Ｃ及び図４Ｄは、時刻T=1において第１及び第２のカメラ302,304によりそれぞれ生成された早期の一組のビデオフレーム408,410を示したものである。イメージ領域の境界を画定する図示の格子線412、及びビデオフレーム402,404,408,410内の各イメージ領域に割り当てられた番号指示は、例示のために図上に重ねて記載したものである。
【００３６】
図５は、本発明の例示的な一実施形態による、オブジェクトの相関関係を決定するのに有用な情報をビデオフレームから収集するための一つの例示的な方法500を示すフローチャートである。該方法500の各ステップは、ＣＡＳコンピュータ104のＳＶＰ202及びＭＶＰ204により実行されるものへと分けることが可能である。しかし、それらステップは、複数の処理ブロックへと分割する必要のないものであり、別の実施形態では、ＭＶＰ204又は他の何らかの処理要素が該ステップの全てを実行する。
【００３７】
１つのＳＶＰは単一のカメラにより生成された単一の一連のビデオフレームを解析する。各ＳＶＰ202は、該ＳＶＰ202が解析したフレームのカウントＮを維持する。
【００３８】
図６Ａは、本発明の例示的な一実施形態による、監視対象となる環境300の異なる部分の監視を責務とする複数のＳＶＰ202により使用される２つの例示的なデータテーブル600,601を示している。該データテーブル600,601の行Siは、如何なる実際のサンプルデータも意図したものでない単なる例示的なデータを含むものである。該例示的な実施形態では、一連のビデオフレーム内の各イメージ領域i毎に、データテーブル600,601は、解析中の瞬間のビデオフレーム内にオブジェクトが存在したか否かを示す１ビットXiと、イメージ領域i内にオブジェクトが存在したフレームの個数に等しい合計Siとを格納する。図３に示し図４Ａないし図４Ｄに示すような２つのカメラにより監視されている環境300では、第１のＳＶＰ202がイメージ領域i=1〜4を監視するために第１のデータテーブル600を維持し、第２のＳＶＰ202がイメージ領域i=5〜8を監視するために第２のデータテーブル601を維持する。ユーザが第３のカメラをシステム追加した場合には、ＣＡＳシステム100は、例えばイメージ領域i=9〜12を監視するために第３のデータテーブルを維持する。
【００３９】
図５及び図６を参照する。処理を開始すると、各ＳＶＰ202は、そのデータテーブル600,601を初期化し、Ｎがゼロにセットされる（ステップ502）。各ＳＶＰ202は、第１のビデオフレームを受信してその解析を開始する（ステップ503）。ＳＶＰ202は、i) オブジェクト抽出に関する当業界で既知の技術を使用して第１のビデオフレーム内のオブジェクトを検出し、ii) 該オブジェクトが存在するイメージ領域を決定し、iii) それに従ってXiを設定することにより、それぞれのデータテーブル600,601内のXi値を更新する（ステップ504）。各領域毎に、イメージ領域内にオブジェクトが存在する場合にXiが1に設定され、イメージ領域内にオブジェクトが存在しない場合にXiが0に設定される。例えば、時刻T=0におけるビデオフレーム402,404を参照すると、イメージ領域2,4,5内にオブジェクトが存在する。これに従ってデータテーブル600,601内のXiの値が設定されることに留意されたい。別の実施形態では、ＳＶＰは、オブジェクトの存在が、該オブジェクトの画素のうち最も多数の画素が配置されているイメージ領域に属するものであるとみなす。代替的な実施形態では、ビデオフレーム全体についてオブジェクト抽出ステップを一回実行し、次いでオブジェクトが存在するイメージ領域を決定する代わりに、各ＳＶＰ202が、各イメージ領域毎に別々にオブジェクト抽出ステップを実行し、一回につき１つのイメージ領域についてデータテーブル600,601を更新する。
【００４０】
代替的な実施形態では、Xiは、単一のイメージ領域を特定的に指し示すのとは対照的に、より一般的な２進変数を表すために使用される。例えば、一実施形態では、X1,X2,X3は、それぞれ、小さなオブジェクト、中位のオブジェクト、又は大きなオブジェクトがイメージ領域1内に存在するか否かを示すビットを格納する。かかるシステムでは、４つのイメージ領域を有する１つのビデオフレームについて、データテーブル600は、X1〜X12及びS1〜S12に関するデータを格納する。別の実施形態では、X1は移動しているオブジェクトの存在を表し、X2は静止しているオブジェクトの存在を表す。この実施形態では、ＣＡＳコンピュータ104は、４つのイメージ領域を有する１つのビデオフレームについて、８つの変数X1〜X8及び８つの合計S1〜S8を追跡することになる。
【００４１】
データテーブル600,601のXi値を更新した後（ステップ504）、シングルビュー処理ブロックは、Ｎをインクリメントし（ステップ506）、Xi=1の場合の各イメージ領域の以前に格納された合計をインクリメントすることによりデータテーブル600,601内の合計Siを更新する（ステップ508）。図４Ａ及び図４Ｂを再び参照する。ビデオフレーム402,404を解析した結果として、S2,S4,S5についての合計が各々１ずつインクリメントされる。
【００４２】
図６Ｂは、ＳＶＰ202により維持される主要履歴テーブル608を示している。該主要履歴テーブル608は、所定数の早期のビデオフレーム（例えば最後の10フレーム）内にオブジェクトが存在したイメージ領域のリストを含む。履歴テーブル608は、ＣＡＳコンピュータ104のリソースが許容するものと同じ数のフレームを格納することができる。シングルビュー処理ブロック202は、現在のビデオフレーム内においてオブジェクトが存在するイメージ領域をリストアップする新たな項目を充填することにより履歴テーブル608を更新する（ステップ510）。履歴テーブル608内の項目数が該履歴テーブル608の容量を超えた場合には、最も旧い項目が削除される（ステップ512）。
【００４３】
例示する履歴テーブル608の最初の２つの項目は、ＳＶＰがビデオフレーム402,404,408,410を解析したことに応じて格納されたデータを例示している。最も最近の項目において、すなわち時刻T=0において、履歴テーブル608は、イメージ領域2,4,5、すなわち、Xiが1に設定されたイメージ領域をリストアップしている。その直前の項目を参照すると、時刻T=1において、ビデオフレーム408,410に示すように、オブジェクトはイメージ領域3,6内に存在する。例示する実施形態では、T=9の項目は、９フレーム前に解析されたビデオフレームにおいてオブジェクトが存在したイメージ領域のリストを格納している。代替的な実施形態では。各ＳＶＰがそれ自体の履歴テーブル608を維持する。
【００４４】
カメラ302,304は、同じフレームレートを有している必要はない。一実施形態では、カメラ302,304のフレームレートが異なる場合に、ＳＶＰ202による履歴テーブル608の更新がＭＶＰ204によって抑止される。例えば、ＭＶＰ204は、選択されたカメラ302,304が新しいビデオフレームを生成するたびに履歴テーブルを更新するよう両方のＳＶＰ202に命令する。選択されたカメラが高いフレームレートを有するカメラであった場合、それよりも低いフレームレートを有するカメラを監視するＳＶＰ202は、新しいビデオフレームが生成されるまで履歴テーブル608の新しい各項目に同じイメージ領域のリストを追加する。選択されたカメラが低いフレームレートを有するカメラであった場合には、それよりも高いフレームレートを有するカメラを監視するＳＶＰ202は、履歴テーブル608に情報を送らずに、そのデータテーブル600又は601を更新し続ける。この場合、各ＳＶＰ202及びＭＶＰ204は、それら自体のＮの値を維持する。代替的には、速いフレームレートのカメラを監視するＳＶＰ202は、履歴テーブル608の更新に使用されないビデオフレームを全て棄却し、Ｎは、遅いフレームレートのカメラにより解析されたフレームの数に等しくなる。
【００４５】
代替的な実施形態では、ＭＶＰ204は、全てのイメージ領域について１つの限定的な履歴テーブル608を維持する。該ＭＶＰ204は、何れかのカメラが０、１つ、又は２つ以上のビデオフレームを生成することができる瞬間（すなわち期間）を画定する。１つのオブジェクトが、該瞬間の始まりにおける１つのビデオフレームの１つのイメージ領域内にある場合、又は該瞬間において生成された何れかのビデオフレーム内の１つのイメージ領域内にある場合には、ＭＶＰ204は、該オブジェクトが該瞬間において該イメージ領域内に存在したものとみなす。
【００４６】
図６Ｃは、ＭＶＰ204により維持される例示的な結合合計（joint-sum）テーブル609である。該例示的な結合合計テーブル609は、単なる例示的なデータを含むものであって、実際のサンプルデータを示すことを意図したものではない。ＭＶＰは、ＳＶＰ202のデータテーブル600,601及び主要履歴テーブル608から該結合合計テーブルのデータを作成する。例示のため、例示的な結合合計テーブル609は省略されており、T=0〜T=2に関するデータしか維持しないものとなっている。好適には、結合合計テーブル609は、履歴テーブル608に格納される項目の個数に等しい個数の瞬間を考慮したデータを格納する。該結合合計テーブル609は、瞬間Tに第１のイメージ領域iにオブジェクトが存在し、また瞬間T0にイメージ領域jにオブジェクト（同じオブジェクトである必要はない）が存在した回数を格納する。結合合計は次式と等価なものである。
[数１]
Sumi,j,T = Sumi,j,T + Xi[0] * Xj[-T]
括弧内の数値はビデオフレームに関する時間的な分離を表している。すなわち、Xi[0]は、現在のXiの値に等しい。Xj[-T]は、現在のビデオフレームよりもＴビデオフレーム前に捕捉されたビデオフレームに関するXjの値に等しい。例えば、結合合計テーブル609を参照すると、オブジェクトは、イメージ領域i=2及びJ=1に同時に265回存在する。同様に、イメージ領域j=1内にオブジェクトが存在した２フレーム後にイメージ領域i=2内に25回オブジェクトが存在している。
【００４７】
各カメラのビデオフレームがＳＶＰ202により解析された後（ステップ504〜512）、ＭＶＰ204が結合合計テーブル609を更新させる（ステップ514）。ＣＡＳコンピュータ104は、履歴テーブル608をステップスルーして（step through）結合合計テーブル609内の適当な項目をインクリメントさせる。考察対象となるイメージ領域の両者内にオブジェクトが存在する際に結合合計テーブル609内の項目のみがインクリメントされるため、ＭＶＰ204は該結合合計テーブル609内の各項目を一つずつ考察する必要がない。更新の回数（NumUpdates）は、履歴テーブル608内の項目の個数（HistorySize）と、該履歴テーブルの各瞬間の項目（H[T]）内にリストアップされるイメージ領域の個数との関数であり、次式に等しいものとなる。
【００４８】
【数２】
【００４９】
例えば、例示的な履歴テーブル608を解析する際に、ＣＡＳコンピュータ104は、瞬間T=0についての項目を最初に解析する。該項目はイメージ領域2,4,5をリストアップしている。すなわち、オブジェクトは、イメージ領域の組み合わせi,j:[2,2],[2,4],[2,5],[4,2],[4,4],[4,5],[5,2],[5,4],[5,5]において結合的に表される。その結果として、ＭＶＰ204が結合合計テーブル609の各項目についての合計:Sum220,Sum240,Sum250,Sum420,Sum440,Sum450,Sum520,Sum540,Sum550をインクリメントさせる。次に、ＭＶＰ204は、瞬間T=1についての履歴テーブル608の項目に対して瞬間T=0についての項目を解析する。瞬間T=1についての履歴テーブル608の項目はイメージ領域3,6をリストアップしている。すなわち、イメージ領域2,4,5内にオブジェクトが存在する一瞬間前にイメージ領域3,6内にオブジェクトが存在している。このため、ＭＶＰ204は、結合合計テーブル609の項目Sum231,Sum261,Sum431,Sum461,Sum531,Sum561をインクリメントさせる。このプロセスは、ＭＶＰ204が履歴テーブル608中の最も最近の項目を該履歴テーブル608中の最も旧い項目と比較するまで続行される。結合合計テーブル609が更新された後（ステップ514）、ＣＡＳコンピュータ104は、次の一組のビデオフレームの解析を開始する（ステップ503）。
【００５０】
ＣＡＳコンピュータ104は、データテーブル600,601及び結合合計テーブル609に格納されているデータを利用して様々な有用な統計を計算する。例示のため、各テーブル601,602,609は同じ値Ｎを有しているものとする。そのデータから求めることができる最も基本的な情報は、所与のイメージ領域i内にオブジェクトが存在する確率（数学的にはp(Xi=1)）である。この確率はおよそ次式で表すことができる。
[数３]
p(Xi=1) = (Si+1)/(N+2)
この式は、この確率の概算値を求めるための多くの方法のうちの１つに過ぎず、本発明の操作は、使用される特定の確率概算技術の影響を受けるものではない。
【００５１】
同様に、ＣＡＳコンピュータ104は、格納されているデータを使用して同時確率を計算することができる。例えば、Xi=1及びXj=1である確率、すなわち、イメージ領域i,jの両方にオブジェクトが存在する確率を結合合計テーブルからのデータを使用して見積もることができる。
[数４]
p(Xi=1,Xj=1) = (Sumij0+1)/(N+2)
イメージ領域j内にオブジェクトが存在する場合にイメージ領域i内にオブジェクトが存在する確率といった条件付き確率は、次式のようにして計算することができる。
[数５]
p(Xi=1|Xj=1) = p(Xi=1,Xj=1) / p(Xj=1) = (Sumij0+1) / (Sj+1)
Tフレーム前にXj=1であった場合にXi=1である確率を計算するために、ＣＡＳは数５を次式の通り変更する。
[数６]
p(Xi=1|Xj[-T]=1) = (SumijT+1)(N+2) / (N-T+2)(Sj+1)
更に興味深いことに、ＣＡＳコンピュータ104は、格納されているデータを使用して２つのイメージ領域間の「リフト」を計算することができる。「リフト」は、２つの変数間の依存の尺度を提供するものであり、２つの変数が互いに関係するか否かを判定するために使用することができるものである。複数のカメラによりオブジェクトを監視する場合、１つのイメージ領域におけるオブジェクトの存在が他のイメージ領域におけるオブジェクトの存在に統計的に関係するか否かを、リフトを使用して判定することができる。２つのイメージ領域間のリフトが高い場合、これは、第１のイメージ領域内のオブジェクトが第２のイメージ領域内のオブジェクトと同一の物理的なオブジェクトである可能性があることを示している。異なるイメージ領域で２つのオブジェクトが同時に現れることに関連するリフト（lift）は次式で計算される。
[数７]
lift(Xi,Xj) = p(Xi=1,Xj=1) / p(Xi=1)p(Xj=1) = (Sumij0+1)(N+2) / (Si+1)(Sj+1)
同様に、時間的にTフレームだけ離れた２つのイメージ領域における２つのオブジェクトの存在に関連するリフトは次式で計算される。
[数８]
lift(Xi,Xj[T]) = (SumijT+1)(N+2)2 / (Si+1)(Sj+1)(N-T+2)
リフト値１は、２つの変数が互いに独立している（無関係である）ことを示し、それ以外の値はそうでないことを示している。例えば、１より遙かに大きいリフト値は、２つのオブジェクトが互いに独立せずに同じ瞬間に現れる可能性が非常に高いことを示している。例えば、イメージ領域2,5間のリフトは１よりも遙かに大きくなる可能性がある。この発見は、それら２つのカメラが該２つの変数により表される領域で重複している可能性があることを示している。同様に、２つのカメラの視野が重なっていない場合には、例えば、エスカレータの上部を含む第１の視野内のイメージ領域と該エスカレータの下部を含む第２の視野からの時間的に離れたイメージ領域との間では、高いリフト値が予測される。
【００５２】
ＣＡＳコンピュータはまた、２つのイメージ領域間の相関係数を計算することができる。リフトと同様に、相関係数は、２つの変数の相関関係の度合いの尺度である。その値は、-1〜1であり、値0は相関関係がないことを示し、正の値はより強い正の相関関係を示し、負の値はより強い負の相関関係を示している。正の相関関係は、１つのイメージ領域におけるオブジェクトの存在が他のイメージ領域にもオブジェクトが存在する可能性があることを示すことを意味するものである。同様に、負の相関関係は、１つのイメージ領域におけるオブジェクトの存在が他のイメージ領域にオブジェクトが存在しない可能性があることを示すことを意味するものである。第１のイメージ領域Xiと第２のイメージ領域Xjとの間の相関係数(correcoef(Xi,Xj))は、次式に従って計算される。
【００５３】
【数９】
【００５４】
データテーブル600,601及び結合合計テーブル609に格納されているデータに関連して、同一の瞬間における２つのイメージ領域間の相関係数は、次式に従って計算される。
【００５５】
【数１０】
【００５６】
或る瞬間における第１のイメージ領域と別の瞬間における第２のイメージ領域との間の相関係数は、次式に従って計算される。
【００５７】
【数１１】
【００５８】
リフト、相関係数、及びその他の統計的な値を計算できることの利点は、図７に関して一層明瞭に理解されよう。マルチカメラＣＡＳシステムでは、オブジェクトはカメラの視野間を移動することができる。典型的には、ＣＡＳシステムは、１つのビデオフレーム内に存在するオブジェクトを以前のビデオフレーム内に存在したオブジェクトと相関付けすることによりオブジェクトを追跡しようとする。かかる方法は典型的には、以前に検出されたオブジェクトの場所を含むオブジェクトリストを維持することを含む。場合によっては、オブジェクトリストは、以前に検出されたオブジェクトに関する更なる情報（色、速度、大きさ等）を格納する。現在のビデオフレームにおけるオブジェクトを以前のビデオフレームにおけるオブジェクトに相関付けしようとする場合に、従来のＣＡＳシステム100は、有用な情報を求めてオブジェクトリストを参照する。かかる追跡方法は、カメラの視野間の関係が既知でない限り、第１のカメラの視野により生成される新たに存在するオブジェクトをそれとは異なるカメラの視野から早期に検出されたオブジェクトと正しく相関付けすることができないものである。データテーブル600,601及び結合合計テーブル609から導出される上記の統計的な計算は、かかる関係を提供するものとなる。
【００５９】
図７は、本発明の一実施形態による、視野内に新たに現れたオブジェクトを以前に検出されたオブジェクトに相関付けする方法700を示すフローチャートである。ＣＡＳコンピュータ104は、ビデオフレーム内にオブジェクトが新たに現れたと判定した場合に（ステップ702）、そのオブジェクトが以前に他のカメラの視野内で検出されたことがあるか否かを判定する。ＣＡＳコンピュータ104は、該オブジェクトが存在する該ビデオフレーム内のイメージ領域を判定する（ステップ704）。新たに現れたオブジェクトが存在する各イメージ領域毎に、ＣＡＳコンピュータ104は、その領域と他の領域との間に高いリフト値が存在するか否かを判定する（ステップ706）。新たに現れたオブジェクトが存在するイメージ領域の何れもそれらに関連する高いリフト値を有さない場合には、ＣＡＳコンピュータ104は、該新たに現れたオブジェクトを新たなオブジェクトとしてその追跡を開始する（ステップ708）。１つのイメージ領域が第２のイメージ領域との間で高いリフト値を有する場合には、ＣＡＳコンピュータ104は、履歴テーブル608を調べて、以前に検出されたオブジェクトが該第２のイメージ領域内に存在するか又は存在したか否かを判定する（ステップ710）。該高いリフト値を有するイメージ領域は、（ビデオフレームを生成する２つのカメラの視野が重なっていない場合には特に）以前に検出されたビデオフレームから時間的に離れている可能性がある。以前に検出されたオブジェクトが前記第２の領域内に存在する場合又は存在した場合には、ＣＡＳコンピュータ104は、該新たに現れたオブジェクトを以前に検出されたオブジェクトと相関付けする（ステップ712）。以前に検出されたオブジェクトが前記第２の領域内に存在しない場合又は存在しなかった場合には、ＣＡＳコンピュータ104は、該オブジェクトを新たなオブジェクトとしてその追跡を開始する（ステップ708）。別の実施形態では、高リフト値を考察する代わりに、本方法700は、強い性の相関係数を考察する。
【００６０】
本方法700を達成するために、ＣＡＳコンピュータ104は、監視している視野間の物理的及び空間的な関係に関する如何なる知識をも有している必要がない。相関関係は、各カメラの視野毎に独立して生成されるデータ間の統計的な関係に基づくものである。
【００６１】
本発明は、その思想または本質的な特徴から逸脱することなく他の特定の形態で実施することが可能である、ということが当業者には理解されよう。したがって、上記の実施形態は、あらゆる点で、本発明を制限するものではなく例示であると見なされるべきである。本発明の範囲は、上記説明に限定されるものではない。
【図面の簡単な説明】
【００６２】
【図１】本発明の一態様を用いた例示的なコンピュータ支援監視（ＣＡＳ）システム全体のブロック図である。
【図２】本発明の一実施形態による例示的なＣＡＳコンピュータの高レベルブロック図である。
【図３】本発明の例示的な一実施形態による監視対象となる環境の頭上からの例示である。
【図４Ａ】図３に示す環境内に配置された第１のカメラにより生成されたビデオフレームの概略的な例示である。
【図４Ｂ】図３に示す環境内に配置された第２のカメラにより生成されたビデオフレームの概略的な例示である。
【図４Ｃ】第１のカメラにより生成された、以前に生成されたビデオフレームの概略的な例示である。
【図４Ｄ】第２のカメラにより生成された、以前に生成されたビデオフレームの概略的な例示である。
【図５】本発明の例示的な一実施形態による相関データの収集方法のフローチャートである。
【図６Ａ】本発明の例示的な一実施形態による、図３の環境を監視するために使用される２つの例示的なデータデーブルを示している。
【図６Ｂ】本発明の例示的な実施形態により使用される例示的な履歴テーブルである。
【図６Ｃ】本発明の例示的な実施形態により使用される例示的な結合合計テーブルである。
【図７】第１のカメラの視野内に新たに現れたオブジェクトを第２のカメラの視野内に以前に現れたオブジェクトと相関付けするための方法のフローチャートである。
【技術分野】
【０００１】
本発明は、一般にビデオ監視に関し、特にイメージセンサの視野間の関係を決定するためのコンピュータ支援監視システムに関するものである。
【背景技術】
【０００２】
現在、セキュリティ意識が増大し、及びカメラ機器のコストが下落した結果として、閉回路テレビ（ＣＣＴＶ）監視システムの使用が増大することとなった。かかるシステムは、犯罪を低減させ、事故を防止し、及び広範な環境でセキュリティを一般に強化するための、潜在的な能力を有するものである。
【０００３】
単純な閉回路テレビシステムは、表示装置に接続された一台のカメラを使用する。より複雑なシステムは、複数のカメラ及び／又は複数の表示装置を使用することができる。既知のタイプのシステムの１つが、小売店内のセキュリティディスプレイであり、該ディスプレイは、複数の異なるカメラ間で周期的に切り替わって店内の異なるビューを提供する。刑務所や軍事設備といったセキュリティの一層高い施設は、列をなすビデオディスプレイを使用し、その各々がそれぞれに関連するカメラの出力を表示する。守衛又は係員が絶えず様々な画面を注視して疑わしい活動を探す。
【０００４】
更に最近では、安価なディジタルカメラが、セキュリティその他の用途で一般的なものとなっている。更に、現在では、ウェブカムを使用してリ遠隔場所を監視することが可能である。ウェブカムは、典型的には比較的低フレームレートを有するものであるが、セキュリティ用途には十分である。遠隔場所に配置されたコンピュータその他の表示装置へ信号を無線送信する安価なカメラもまた、ビデオ監視を提供するために使用することが可能である。
【０００５】
カメラの台数が増えるにつれて、処理し解析する必要のある未加工（raw）情報の量もまた増大する。コンピュータ技術を使用して、この未加工データ処理タスクを軽減させることが可能であり、これにより、新たな情報テクノロジー装置、すなわち、コンピュータ支援監視（ＣＡＳ）システムが生まれることとなった。コンピュータ支援監視技術は、様々な用途のために開発されてきた。例えば、陸軍は、コンピュータ支援イメージ処理を使用して、戦闘機のパイロットその他の人員に自動命中（targeting）その他の支援を提供してきた。更に、コンピュータ支援監視は、スイミングプールでの活動を監視するために適用されてきた。
【０００６】
ＣＡＳシステムは、一連の監視ビデオフレーム内に現れたオブジェクト（例えば、人、商品その他）を自動的に監視する。特定の有用な監視タスクの１つが、監視領域内におけるオブジェクトの運動の追跡である。１つのイメージを通って移動する人間等のオブジェクトを追跡するための方法が当業界で知られている。より精確な追跡情報を達成するために、ＣＡＳシステムは、一連の監視ビデオフレーム内に示される複数のイメージの基本的な要素に関する知識を利用することができる。
【０００７】
巨視的には、１つのビデオ監視フレームは、人及び物が移動し相互作用する光景の１つのイメージを示すものである。微視的には、１つのビデオフレームは、複数の画素から構成されるものである（該画素は格子状に配列されることが多い）。１つのイメージ内の画素の個数は、該イメージを生成するカメラの解像度、該イメージが提示されるディスプレイ、及び該イメージが格納される記憶装置の容量その他を含む、幾つかの因子によって決まる。ビデオフレームの解析は、処理能力や所望レベルの精度に応じて、画素レベルで、又は（画素）グループレベルで行うことが可能である。解析対象となる１つの画素又は１グループの画素を本書では「イメージ領域」と称することとする。
【０００８】
イメージ領域は、光景の背景を描写する部分として、又は前景オブジェクトを描写するものとして、分類することができる。一般に背景は各フレームにおいて比較的変化しない状態に留まる。しかし、オブジェクトは、異なるフレームにおける異なるイメージ領域内に描写される。１ビデオフレーム内のオブジェクトを該フレームの背景から分離させるための（オブジェクト抽出と呼ばれる）幾つかの方法が当業界で知られている。一般的な方法として「背景サブトラクション（subtraction：減法）」と呼ばれる技法を用いることが挙げられる。勿論、他の技術を使用することが可能である。オブジェクトの場所は、典型的には、ビデオフレームに関連付けされたリストに記録される。
【０００９】
各フレーム毎にオブジェクトを追跡するために、追跡方法は、現在のフレーム内で抽出されたオブジェクトと前のフレームで抽出されたオブジェクトとの対応関係を決定する。この対応関係は、例えば、予測追跡法（predictive tracking method）を使用することにより決定することができる。ＣＡＳシステムは、現在のフレーム内のオブジェクトの場所を、前のフレーム内のオブジェクトの既知の場所に基づいて予測する。続いて、該予測されたオブジェクトの場所が実際のオブジェクトの場所と比較されて対応関係が確立される。かかる予測は、典型的には、考え得るオブジェクトの運動を予測するアルゴリズムに基づくものとなる。例えば、オブジェクトが一定の速度で移動すると仮定することができる。より高度な技法は、例えば、対応関係を決定する前にオブジェクトの色が一致することを確認することができる。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
概念的に単純でローバストな追跡システムは、多くの困難に直面する。光景の照明の変化は、オブジェクト抽出の品質に影響を与え、その結果として前景要素が誤って生じ又は完全に削除されてしまうことになり得る。オブジェクト閉塞（occlusion）は、オブジェクトの消失又は結合を生じさせ、その結果としてフレーム間の対応を困難にし得るものである。追跡されるオブジェクトは時間と共にその形又は色が変化し得るものであり、この場合には、該オブジェクトが正しく抽出された場合であってもその対応が妨げられることになる。
【００１１】
更に、理想的な条件下にあったとしても、シングルビュー追跡システムは、カメラの視野を外れた監視対象オブジェクトを追跡することが必ずできなくなる。多くの字幕放送機能付きテレビシステム（close-captioned television system）の場合のように、複数のカメラが利用できる場合には、ターゲットが異なるカメラ内に現れた際に該ターゲットを再獲得することは理論的には可能である。この自動「センサハンドオフ（hand-off：手渡し）」を実行する能力は、重要な実際的な関心事である。現在の研究室レベルの解決策は、重複する視野を有する互いに幾何学的に較正された複数のカメラを必要とし、これは、典型的なＣＣＴＶ設備では容易に達成されない条件である。
【課題を解決するための手段】
【００１２】
本発明の目的は、第１のカメラにより捕捉されたビデオフレームのイメージ領域の、第２のカメラにより捕捉されたビデオフレームのイメージ領域との相関付けを自動化して、ＣＡＳシステムによるオブジェクトの識別及び追跡に資することにある。２つのイメージ領域間の相関付けは、ＣＡＳシステムが異なるカメラにより検出されたオブジェクトを相関付けするのを（該カメラが重複する視野を有しているか否かにかかわらず）助けるものとなる。
【００１３】
複数のカメラの視野間で１つのオブジェクトを追跡する従来の方法は、監視されたオブジェクトを実世界の物理的な場所に相関付けしようとするものである。かかる方法は通常は、時間と共に変化し得る、カメラの配置及びカメラの角度といった、監視中の光景に関する詳細な情報を必要とする。これに対し、本発明の方法及び装置は、かかる実世界の特性に関係する必要のないものである。
【００１４】
一態様では、本発明は、２つの光景を表すイメージデータを受信することを含む、イメージ解析方法に関するものである。その第１のイメージデータは、第１の光景を表す複数の第１のビデオフレームに関するものである。該第１のビデオフレームの各々は複数のイメージ領域を含む。該複数のイメージ領域のうちの少なくとも１つは第１のオブジェクトを含む。第２のイメージデータは、第２の光景を表す複数の第２のビデオフレームに関するものである。該第２のビデオフレームの各々は複数のイメージ領域を含む。該複数のイメージ領域のうちの少なくとも１つは第２のオブジェクトを含む。
【００１５】
本ビデオ解析方法はまた、第１のイメージ領域内に存在する第１のオブジェクトの発生と第２のイメージ領域内に存在する第２のオブジェクトの発生との間の確率的な相関関係に基づいて、第１及び第２のビデオフレームの複数のイメージ領域のうちの第１及び第２のイメージ領域間の関係を決定するステップを含む。一実施形態では、本方法は、第２のオブジェクトが第２のイメージ領域内に存在する場合に第１のオブジェクトが第１のイメージ領域内に存在する条件付き確率（conditional probability）を決定することを含む。別の実施形態では、本方法は、第１のオブジェクトが第１のオブジェクト領域内に存在し且つ第２のオブジェクトが第２のイメージ領域内に存在する同時確率（joint probability）を決定することを含む。更なる実施形態では、本方法は、第１のイメージ領域内に存在する第１のオブジェクトと第２のイメージ領域内に存在する第２のオブジェクトとに関連するリフト（lift）を決定することを含む。別の実施形態では、本方法は、第１のイメージ領域内に存在する第１のオブジェクトと第２のイメージ領域内に存在する第２のオブジェクトとに関連する相関係数を決定することを含む。
【００１６】
一実施形態では、第１のイメージデータは、第１の視野を有する第１のカメラから発せられ、第２のイメージデータは、第２の視野を有する第２のカメラから発せられる。本発明の特徴は、互いに重複し又は重複しない第１及び第２の視野の両者に提供されるものである。
【００１７】
本方法の一実施形態では、第１及び第２のイメージ領域内に存在するあらゆるオブジェクトの発生数がカウントされる。別の実施形態では、本方法は、第１及び第２のイメージ領域の両者内に同時に存在するあらゆるオブジェクトの発生数をカウントすることを含む。更なる実施形態では、本方法は、所定数の早期の各瞬間毎に、第１のイメージ領域内に現在存在しているあらゆるオブジェクトと該早期の瞬間に第２のイメージ領域内に存在しているあらゆるオブジェクトとの両者の発生数をカウントすることを含む。該瞬間は、例えば、カメラが１ビデオフレームを生成した瞬間とすることが可能である。該瞬間はまた、カメラが０、１、又はより多くのフレームを生成することが可能な特定の時間間隔とすることが可能である。一実施形態では、オブジェクトが１つの時間間隔が始まる前に消滅しなかった場合又は１つの時間間隔が終わる前に現れた場合に、該１つの時間間隔内に１つのイメージ領域内に１つのオブジェクトが存在するものとみなされる。
【００１８】
別の実施形態では、複数のオブジェクト属性が提供される。本発明の一実施形態では、本方法は、該複数の属性の各々毎に、第１及び第２のイメージ領域内に存在する該属性を有するオブジェクトの発生数をカウントすることを含む。別の実施形態では、本方法は、各属性毎に、第１のイメージ領域内に存在するかかる属性を有するあらゆるオブジェクトと第２のイメージ領域内に存在する各属性を有する第２のオブジェクトとの発生数をカウントすることを含む。更なる実施形態では、本方法は、各属性毎に、及び所定数の早期の各瞬間毎に、第１のイメージ領域内に存在するかかる属性を有するオブジェクトと、該早期の瞬間に第２のイメージ領域内に存在する前記属性の各々を有するオブジェクトとの発生数をカウントすることを含む。
【００１９】
本発明の一態様は、第１の複数のビデオフレームからの１つのイメージ領域と、第２の複数のビデオフレームからの１つのイメージ領域との関係を決定することを含む（但し、それらイメージ領域は、両方とも、同一の複数のビデオフレームからのものとすることが可能である）。更なる一態様は、第１及び第２のイメージ領域間の空間的及び時間的な関係を決定することを含む。本発明の別の態様は、該決定された関係に基づいて第１のビデオフレーム内の第１のオブジェクトを第２のビデオフレーム内に存在する第２のオブジェクトと相関付けすることを含む。別の態様は、１つの第１のビデオフレーム内に存在する第１のオブジェクトが先行する第１のビデオフレーム内に存在しなかったことを判定し、及びイメージ領域間で決定された前記関係に基づいて前記第１のオブジェクトを第２のビデオフレーム内に存在する第２のオブジェクトと相関付けすることを含む。
【００２０】
別の実施形態では、各イメージ領域は、複数の第１及び第２のビデオフレームのうちの１つにおける１つの場所であって該複数の第１及び第２のビデオフレームにわたって実質的に同一である１つの場所を有する。別の実施形態では、本方法は、少なくとも第１のオブジェクト及び第２のオブジェクトの場所を識別するオブジェクトリストを維持することを含む。この実施形態の一態様は、第１及び第２のビデオフレームの一方に存在するオブジェクトを選択し、該選択したオブジェクトが、第１のオブジェクト、第２のオブジェクト、及び第３のオブジェクトのうちの１つであるか否かを、前記オブジェクトリスト及び前記決定された関係に少なくとも部分的に基づいて判定することを含む。
【００２１】
別の態様では、本発明は、ビデオ監視システムに関するものである。該ビデオ監視システムは、第１の光景を表す第１のイメージデータを受容するための第１のメモリモジュールと、第２の光景を表す第２のイメージデータを受容するための第２のメモリモジュールとを含む。該第１のイメージデータは複数の第１のビデオフレームに関するものである。該複数の第１のビデオフレームの各々は、複数のイメージ領域を含む。該イメージ領域のうちの少なくとも１つは第１のオブジェクトを含む。前記第２のイメージデータは、複数の第２のビデオフレームに関するものである。該複数の第２のビデオフレームの各々は、複数のイメージ領域を含む。該イメージ領域のうちの少なくとも１つは第２のオブジェクトを含む。該ビデオ監視システムはまた、前記第１及び第２のビデオフレームの複数のイメージ領域のうちの第１及び第２のイメージ領域間の関係を、第１のイメージ領域内に存在する第１のオブジェクトの発生と第２のイメージ領域内に存在する第２のオブジェクトの発生との間の確率的な相関関係に基づいて決定するための処理モジュールを含む。
【００２２】
別の態様では、本発明は、第１及び第２の光景を表す複数の第１及び第２のビデオフレームに関する第１及び第２のイメージデータを受容するための手段を含むビデオ監視のシステムに関するものである。第１及び第２のビデオフレームの各々は複数のイメージ領域を含む。第１及び第２のオブジェクトは、少なくとも１つの第１及び第２のビデオフレームの１つのイメージ領域内にそれぞれ存在する。該システムはまた、第１及び第２のビデオフレームの複数のイメージ領域のうちの第１及び第２のイメージ領域間の関係を、第１のイメージ領域内の第１のオブジェクト及び第２のイメージ領域内の第２のオブジェクトの発生間の確率的な相関関係に基づいて決定するための処理モジュールを含む。
【発明を実施するための最良の形態】
【００２３】
上記解説は、以下の本発明の詳細な説明を図面と共に参照することにより容易に理解されよう。
【００２４】
監視システムにおいて、複数のカメラが、監視対象となる環境内の人及び物の相互作用を描写するイメージデータを捕捉する。該カメラの種類には、アナログビデオカメラ、ディジタルビデオカメラ、又はイメージデータを生成することができるあらゆる装置が含まれる。用語「カメラ」は、ビデオデータを出力することができるあらゆるセンサを含む、包括的な用語として使用されている。一実施形態では、ＣＡＳシステムは、その主な情報源はビデオカメラではあるが、複数の入力センサを介して監視対象となる環境を観察する。大多数のＣＣＴＶ施設は一般的な可視光ビデオカメラを使用している。かかる施設では、ＣＡＳシステムは、アナログＮＴＳＣ又はＰＡＬビデオから情報を抽出するために高度なビデオ解析アルゴリズムを採用している。但し、かかるアルゴリズムは、可視光スペクトルに限定されるものではなく、赤外線ビデオ、又は利用可能である場合にはレーダー又はソナーからの画像にも適用することができる。
【００２５】
図１は、例示的なコンピュータ支援監視（ＣＡＳ）システム100を示している。複数のカメラその他のイメージ入力装置102は、イメージ解析を提供するようプログラムされたコンピュータ104へイメージ入力を提供する。ＣＡＳコンピュータ104は、設定、制御、及び表示のためのグラフィカルユーザインタフェイスを提供するディスプレイ106を含むことができる。ＣＡＳコンピュータ104は、ユーザによる制御信号の入力を可能にするキーボードやマウスその他の１つ又は２つ以上のユーザ入力装置（図示せず）を含むことができる。
【００２６】
ＣＡＳコンピュータ104は、イメージ特徴の抽出及び追跡を含む高度なイメージ処理を実行する。ＣＡＳコンピュータ104は、オブジェクト及び活動を自動的に検出することができ、ディジタル通信ネットワーク又はその他のインタフェイス108を介して送信することができるアラームその他の情報を生成することができる。ＣＡＳコンピュータ104はまた、インタフェイス108を使用して、レコーダ112に格納されている以前に記録されたビデオや他のコンピュータに格納されている情報といったデータを取り出すことができる。ＣＡＳコンピュータ104は、典型的には連続し又は停止したフレームをレコーダ112により記録するため及び切換装置116を介して１つ又は２つ以上のディスプレイ114上に表示するために様々なカメラ102の出力をマルチプレクサ110に提供する。更なるユーザインタフェイス（例えば他のコンピュータ118やジョイスティック120等のユーザ入力により提供されるもの）を使用して、操作者が切換装置116を制御して見るべきイメージを選択すること、及びＣＡＳコンピュータ104を含むシステム100の他の部分を制御することを可能にすることができる。マルチプレクサ110及び／又は切換装置116は、特定のタイプの活動が自動的に検出された際に生じる外部的なアラーム（例えば、モーションセンサにより生成されたアラーム）に応じてビデオを適切に記録し表示することができる。これらアラームはまた、ビデオストリーム内で検出された活動に基づいてＣＡＳコンピュータ104により生成することが可能である。
【００２７】
例示的なＣＡＳコンピュータ104システムは、既存のあらゆるセキュリティ・インフラストラクチャ内にシームレスに統合させることが可能である。例示的な実施形態によるＣＡＳシステム100は、ＵＳＢ、FireWire、又はＩＰカメラといった新しいディジタルビデオソースに加えて、例えばレガシーアナログビデオソースと互換性を有するものである。ＣＡＳコンピュータ104は、その入力信号を受動的に反復するものとして作用し、これにより、ＣＡＳコンピュータ104が万が一故障した場合にセキュリティ・インフラストラクチャの残りの部分がＣＡＳコンピュータ104なしで機能するようになっている。
【００２８】
ビデオカメラ102は、ＣＡＳシステム100のための典型的な主要センサであり、該システムはまた、モーション検出器、煙検出器、漏洩検出器、マイク、店舗販売（ＰＯＳ）記録、電子商品監視（ＥＡＳ）システム、及びアクセス制御システムといった、他の一般的に使用されるセンサに適応することも可能である。例示的なＣＡＳシステム100は、これらのセンサからの情報をビデオ解析結果と組み合わせて、実世界における活動のより豊富な記述を提供する。例えば、ＰＯＳ情報をビデオイメージと共に使用して、顧客が特定の製品を購入したことを確認することが可能である。
【００２９】
図２は、例示的なＣＡＳコンピュータ104の高レベルブロック図を示している。例示のため、コンピュータの構成要素は２つの主分類、すなわち、シングルビュー処理ブロック（ＳＶＰ）202及びマルチビュー処理ブロック（ＭＶＰ）204へとグループ化されている。各イメージ入力ソースはＳＶＰ202へ結合される。イメージ入力ソースは、カメラ102並びに様々な記憶装置（例えば、コンピュータディスク、ＶＨＳテープ、及びディジタルビデオテープ）を含むものである。データ解析のため、ビデオ記憶装置により出力されるイメージデータは、カメラにより生成されるイメージデータと等価なものである。各ＳＶＰ202は典型的には、単一のビデオストリームしか必要としないビデオ処理タスクを実行する。ＳＶＰ202の出力は、一度に多数のビデオストリームを処理するＭＶＰ204に接続される。実施形態によっては、１つの処理モジュールは、１つのＭＶＰ204を含み、又は、１つ又は２つ以上のＳＶＰ202と１つ又は２つ以上のＭＶＰ204との組み合わせを含む。ＣＡＳコンピュータ104はまた、到来するイメージデータを受容し格納するためのメモリモジュール（図示せず）を含む。該メモリモジュールは、前記処理モジュールの一部とすることが可能であり、又は該処理モジュールとは別個のものとすることが可能である。
【００３０】
シングルビュー処理要素202及びマルチビュー処理要素204は、典型的には、１つの光景を描写する一連のビデオフレームとしてデータを解析する。一実施形態では、イメージデータはカメラから直接解析される。別の実施形態では、解析されるイメージデータを記憶装置から発せられたものとすることができる。カメラ及びビデオ記憶装置によっては、フレーム単位でイメージデータを生成し記憶する。別の記憶システムは、ビデオフレームの更新（すなわち光景に対する検出された変更）のみを記憶することが可能である。イメージデータの解析を行うために、ＣＡＳコンピュータ104は、様々な装置に様々な形式で記憶させることが可能な記憶されたイメージデータからビデオフレームを構築する。
【００３１】
１ビデオフレームは複数の画素から構成されている。１ビデオフレーム中の画素数は、典型的には、とりわけ、該ビデオフレームを生成するカメラの解像度、該ビデオフレームが表示されるディスプレイ、及び該ビデオフレームが記憶される記憶装置の容量によって決まる。ビデオフレームの解析は、利用可能な処理能力及び必要とされる精度に応じて、画素レベルで、又は複数の画素グループを解析することにより、行うことが可能である。解析すべき１つの画素又は１グループの画素を本書では「イメージ領域」と称することとする。
【００３２】
例示的な一実施形態では、ＣＡＳコンピュータ104のマルチビュー処理要素204は、第１のカメラにより生成された第１の複数のビデオフレームのイメージ領域を、第２のカメラにより生成された第２の複数のビデオフレームのイメージ領域に相関付けする。異なるソースにより生成されたビデオフレームのイメージ領域の相関付けは、異なる光景を介してそれら光景間を移動するオブジェクトをＣＡＳコンピュータ104が追跡するのを助けることができるものとなる。
【００３３】
図３は、本発明の例示的な一実施形態によるＣＡＳシステム100により監視される一環境（例えば小売店300）を示すものである。該小売店は、第１及び第２のカメラ302,304を使用し、該カメラ302,304はそれら自体の視野306,308をそれぞれ有している。第１のカメラは、出入口312を含む第１の部屋310を監視する。第２のカメラ304は、第２の部屋314を監視する。第２のカメラ304の視野308は、出入口312の反対側を含む。
【００３４】
該環境300は、２つの瞬間T=0,T=1、すなわち、最も最近の一組のビデオフレームが第１及び第２のカメラ302,304により生成される時刻とその１フレーム前の瞬間に、第１及び第２のオブジェクト316,318を含む。T=1とT=0との間の時間に、第１のオブジェクト316は、第２のカメラ304の視野308内のみの場所から、カメラ302,304の両方の視野306,308内に位置する場所へと移動する。これと同じ時間中に、第２のオブジェクト318は、第１のカメラの視野306内の場所からカメラ302,304の両者の視野306,308外の位置へ移動する。
【００３５】
図４Ａ及び図４Ｂは、時刻T=0において第１及び第２のカメラ302,304によりそれぞれ生成された最も最近の一組のビデオフレーム402,404を概略的に示したものである。同様に、図４Ｃ及び図４Ｄは、時刻T=1において第１及び第２のカメラ302,304によりそれぞれ生成された早期の一組のビデオフレーム408,410を示したものである。イメージ領域の境界を画定する図示の格子線412、及びビデオフレーム402,404,408,410内の各イメージ領域に割り当てられた番号指示は、例示のために図上に重ねて記載したものである。
【００３６】
図５は、本発明の例示的な一実施形態による、オブジェクトの相関関係を決定するのに有用な情報をビデオフレームから収集するための一つの例示的な方法500を示すフローチャートである。該方法500の各ステップは、ＣＡＳコンピュータ104のＳＶＰ202及びＭＶＰ204により実行されるものへと分けることが可能である。しかし、それらステップは、複数の処理ブロックへと分割する必要のないものであり、別の実施形態では、ＭＶＰ204又は他の何らかの処理要素が該ステップの全てを実行する。
【００３７】
１つのＳＶＰは単一のカメラにより生成された単一の一連のビデオフレームを解析する。各ＳＶＰ202は、該ＳＶＰ202が解析したフレームのカウントＮを維持する。
【００３８】
図６Ａは、本発明の例示的な一実施形態による、監視対象となる環境300の異なる部分の監視を責務とする複数のＳＶＰ202により使用される２つの例示的なデータテーブル600,601を示している。該データテーブル600,601の行Siは、如何なる実際のサンプルデータも意図したものでない単なる例示的なデータを含むものである。該例示的な実施形態では、一連のビデオフレーム内の各イメージ領域i毎に、データテーブル600,601は、解析中の瞬間のビデオフレーム内にオブジェクトが存在したか否かを示す１ビットXiと、イメージ領域i内にオブジェクトが存在したフレームの個数に等しい合計Siとを格納する。図３に示し図４Ａないし図４Ｄに示すような２つのカメラにより監視されている環境300では、第１のＳＶＰ202がイメージ領域i=1〜4を監視するために第１のデータテーブル600を維持し、第２のＳＶＰ202がイメージ領域i=5〜8を監視するために第２のデータテーブル601を維持する。ユーザが第３のカメラをシステム追加した場合には、ＣＡＳシステム100は、例えばイメージ領域i=9〜12を監視するために第３のデータテーブルを維持する。
【００３９】
図５及び図６を参照する。処理を開始すると、各ＳＶＰ202は、そのデータテーブル600,601を初期化し、Ｎがゼロにセットされる（ステップ502）。各ＳＶＰ202は、第１のビデオフレームを受信してその解析を開始する（ステップ503）。ＳＶＰ202は、i) オブジェクト抽出に関する当業界で既知の技術を使用して第１のビデオフレーム内のオブジェクトを検出し、ii) 該オブジェクトが存在するイメージ領域を決定し、iii) それに従ってXiを設定することにより、それぞれのデータテーブル600,601内のXi値を更新する（ステップ504）。各領域毎に、イメージ領域内にオブジェクトが存在する場合にXiが1に設定され、イメージ領域内にオブジェクトが存在しない場合にXiが0に設定される。例えば、時刻T=0におけるビデオフレーム402,404を参照すると、イメージ領域2,4,5内にオブジェクトが存在する。これに従ってデータテーブル600,601内のXiの値が設定されることに留意されたい。別の実施形態では、ＳＶＰは、オブジェクトの存在が、該オブジェクトの画素のうち最も多数の画素が配置されているイメージ領域に属するものであるとみなす。代替的な実施形態では、ビデオフレーム全体についてオブジェクト抽出ステップを一回実行し、次いでオブジェクトが存在するイメージ領域を決定する代わりに、各ＳＶＰ202が、各イメージ領域毎に別々にオブジェクト抽出ステップを実行し、一回につき１つのイメージ領域についてデータテーブル600,601を更新する。
【００４０】
代替的な実施形態では、Xiは、単一のイメージ領域を特定的に指し示すのとは対照的に、より一般的な２進変数を表すために使用される。例えば、一実施形態では、X1,X2,X3は、それぞれ、小さなオブジェクト、中位のオブジェクト、又は大きなオブジェクトがイメージ領域1内に存在するか否かを示すビットを格納する。かかるシステムでは、４つのイメージ領域を有する１つのビデオフレームについて、データテーブル600は、X1〜X12及びS1〜S12に関するデータを格納する。別の実施形態では、X1は移動しているオブジェクトの存在を表し、X2は静止しているオブジェクトの存在を表す。この実施形態では、ＣＡＳコンピュータ104は、４つのイメージ領域を有する１つのビデオフレームについて、８つの変数X1〜X8及び８つの合計S1〜S8を追跡することになる。
【００４１】
データテーブル600,601のXi値を更新した後（ステップ504）、シングルビュー処理ブロックは、Ｎをインクリメントし（ステップ506）、Xi=1の場合の各イメージ領域の以前に格納された合計をインクリメントすることによりデータテーブル600,601内の合計Siを更新する（ステップ508）。図４Ａ及び図４Ｂを再び参照する。ビデオフレーム402,404を解析した結果として、S2,S4,S5についての合計が各々１ずつインクリメントされる。
【００４２】
図６Ｂは、ＳＶＰ202により維持される主要履歴テーブル608を示している。該主要履歴テーブル608は、所定数の早期のビデオフレーム（例えば最後の10フレーム）内にオブジェクトが存在したイメージ領域のリストを含む。履歴テーブル608は、ＣＡＳコンピュータ104のリソースが許容するものと同じ数のフレームを格納することができる。シングルビュー処理ブロック202は、現在のビデオフレーム内においてオブジェクトが存在するイメージ領域をリストアップする新たな項目を充填することにより履歴テーブル608を更新する（ステップ510）。履歴テーブル608内の項目数が該履歴テーブル608の容量を超えた場合には、最も旧い項目が削除される（ステップ512）。
【００４３】
例示する履歴テーブル608の最初の２つの項目は、ＳＶＰがビデオフレーム402,404,408,410を解析したことに応じて格納されたデータを例示している。最も最近の項目において、すなわち時刻T=0において、履歴テーブル608は、イメージ領域2,4,5、すなわち、Xiが1に設定されたイメージ領域をリストアップしている。その直前の項目を参照すると、時刻T=1において、ビデオフレーム408,410に示すように、オブジェクトはイメージ領域3,6内に存在する。例示する実施形態では、T=9の項目は、９フレーム前に解析されたビデオフレームにおいてオブジェクトが存在したイメージ領域のリストを格納している。代替的な実施形態では。各ＳＶＰがそれ自体の履歴テーブル608を維持する。
【００４４】
カメラ302,304は、同じフレームレートを有している必要はない。一実施形態では、カメラ302,304のフレームレートが異なる場合に、ＳＶＰ202による履歴テーブル608の更新がＭＶＰ204によって抑止される。例えば、ＭＶＰ204は、選択されたカメラ302,304が新しいビデオフレームを生成するたびに履歴テーブルを更新するよう両方のＳＶＰ202に命令する。選択されたカメラが高いフレームレートを有するカメラであった場合、それよりも低いフレームレートを有するカメラを監視するＳＶＰ202は、新しいビデオフレームが生成されるまで履歴テーブル608の新しい各項目に同じイメージ領域のリストを追加する。選択されたカメラが低いフレームレートを有するカメラであった場合には、それよりも高いフレームレートを有するカメラを監視するＳＶＰ202は、履歴テーブル608に情報を送らずに、そのデータテーブル600又は601を更新し続ける。この場合、各ＳＶＰ202及びＭＶＰ204は、それら自体のＮの値を維持する。代替的には、速いフレームレートのカメラを監視するＳＶＰ202は、履歴テーブル608の更新に使用されないビデオフレームを全て棄却し、Ｎは、遅いフレームレートのカメラにより解析されたフレームの数に等しくなる。
【００４５】
代替的な実施形態では、ＭＶＰ204は、全てのイメージ領域について１つの限定的な履歴テーブル608を維持する。該ＭＶＰ204は、何れかのカメラが０、１つ、又は２つ以上のビデオフレームを生成することができる瞬間（すなわち期間）を画定する。１つのオブジェクトが、該瞬間の始まりにおける１つのビデオフレームの１つのイメージ領域内にある場合、又は該瞬間において生成された何れかのビデオフレーム内の１つのイメージ領域内にある場合には、ＭＶＰ204は、該オブジェクトが該瞬間において該イメージ領域内に存在したものとみなす。
【００４６】
図６Ｃは、ＭＶＰ204により維持される例示的な結合合計（joint-sum）テーブル609である。該例示的な結合合計テーブル609は、単なる例示的なデータを含むものであって、実際のサンプルデータを示すことを意図したものではない。ＭＶＰは、ＳＶＰ202のデータテーブル600,601及び主要履歴テーブル608から該結合合計テーブルのデータを作成する。例示のため、例示的な結合合計テーブル609は省略されており、T=0〜T=2に関するデータしか維持しないものとなっている。好適には、結合合計テーブル609は、履歴テーブル608に格納される項目の個数に等しい個数の瞬間を考慮したデータを格納する。該結合合計テーブル609は、瞬間Tに第１のイメージ領域iにオブジェクトが存在し、また瞬間T0にイメージ領域jにオブジェクト（同じオブジェクトである必要はない）が存在した回数を格納する。結合合計は次式と等価なものである。
[数１]
Sumi,j,T = Sumi,j,T + Xi[0] * Xj[-T]
括弧内の数値はビデオフレームに関する時間的な分離を表している。すなわち、Xi[0]は、現在のXiの値に等しい。Xj[-T]は、現在のビデオフレームよりもＴビデオフレーム前に捕捉されたビデオフレームに関するXjの値に等しい。例えば、結合合計テーブル609を参照すると、オブジェクトは、イメージ領域i=2及びJ=1に同時に265回存在する。同様に、イメージ領域j=1内にオブジェクトが存在した２フレーム後にイメージ領域i=2内に25回オブジェクトが存在している。
【００４７】
各カメラのビデオフレームがＳＶＰ202により解析された後（ステップ504〜512）、ＭＶＰ204が結合合計テーブル609を更新させる（ステップ514）。ＣＡＳコンピュータ104は、履歴テーブル608をステップスルーして（step through）結合合計テーブル609内の適当な項目をインクリメントさせる。考察対象となるイメージ領域の両者内にオブジェクトが存在する際に結合合計テーブル609内の項目のみがインクリメントされるため、ＭＶＰ204は該結合合計テーブル609内の各項目を一つずつ考察する必要がない。更新の回数（NumUpdates）は、履歴テーブル608内の項目の個数（HistorySize）と、該履歴テーブルの各瞬間の項目（H[T]）内にリストアップされるイメージ領域の個数との関数であり、次式に等しいものとなる。
【００４８】
【数２】
【００４９】
例えば、例示的な履歴テーブル608を解析する際に、ＣＡＳコンピュータ104は、瞬間T=0についての項目を最初に解析する。該項目はイメージ領域2,4,5をリストアップしている。すなわち、オブジェクトは、イメージ領域の組み合わせi,j:[2,2],[2,4],[2,5],[4,2],[4,4],[4,5],[5,2],[5,4],[5,5]において結合的に表される。その結果として、ＭＶＰ204が結合合計テーブル609の各項目についての合計:Sum220,Sum240,Sum250,Sum420,Sum440,Sum450,Sum520,Sum540,Sum550をインクリメントさせる。次に、ＭＶＰ204は、瞬間T=1についての履歴テーブル608の項目に対して瞬間T=0についての項目を解析する。瞬間T=1についての履歴テーブル608の項目はイメージ領域3,6をリストアップしている。すなわち、イメージ領域2,4,5内にオブジェクトが存在する一瞬間前にイメージ領域3,6内にオブジェクトが存在している。このため、ＭＶＰ204は、結合合計テーブル609の項目Sum231,Sum261,Sum431,Sum461,Sum531,Sum561をインクリメントさせる。このプロセスは、ＭＶＰ204が履歴テーブル608中の最も最近の項目を該履歴テーブル608中の最も旧い項目と比較するまで続行される。結合合計テーブル609が更新された後（ステップ514）、ＣＡＳコンピュータ104は、次の一組のビデオフレームの解析を開始する（ステップ503）。
【００５０】
ＣＡＳコンピュータ104は、データテーブル600,601及び結合合計テーブル609に格納されているデータを利用して様々な有用な統計を計算する。例示のため、各テーブル601,602,609は同じ値Ｎを有しているものとする。そのデータから求めることができる最も基本的な情報は、所与のイメージ領域i内にオブジェクトが存在する確率（数学的にはp(Xi=1)）である。この確率はおよそ次式で表すことができる。
[数３]
p(Xi=1) = (Si+1)/(N+2)
この式は、この確率の概算値を求めるための多くの方法のうちの１つに過ぎず、本発明の操作は、使用される特定の確率概算技術の影響を受けるものではない。
【００５１】
同様に、ＣＡＳコンピュータ104は、格納されているデータを使用して同時確率を計算することができる。例えば、Xi=1及びXj=1である確率、すなわち、イメージ領域i,jの両方にオブジェクトが存在する確率を結合合計テーブルからのデータを使用して見積もることができる。
[数４]
p(Xi=1,Xj=1) = (Sumij0+1)/(N+2)
イメージ領域j内にオブジェクトが存在する場合にイメージ領域i内にオブジェクトが存在する確率といった条件付き確率は、次式のようにして計算することができる。
[数５]
p(Xi=1|Xj=1) = p(Xi=1,Xj=1) / p(Xj=1) = (Sumij0+1) / (Sj+1)
Tフレーム前にXj=1であった場合にXi=1である確率を計算するために、ＣＡＳは数５を次式の通り変更する。
[数６]
p(Xi=1|Xj[-T]=1) = (SumijT+1)(N+2) / (N-T+2)(Sj+1)
更に興味深いことに、ＣＡＳコンピュータ104は、格納されているデータを使用して２つのイメージ領域間の「リフト」を計算することができる。「リフト」は、２つの変数間の依存の尺度を提供するものであり、２つの変数が互いに関係するか否かを判定するために使用することができるものである。複数のカメラによりオブジェクトを監視する場合、１つのイメージ領域におけるオブジェクトの存在が他のイメージ領域におけるオブジェクトの存在に統計的に関係するか否かを、リフトを使用して判定することができる。２つのイメージ領域間のリフトが高い場合、これは、第１のイメージ領域内のオブジェクトが第２のイメージ領域内のオブジェクトと同一の物理的なオブジェクトである可能性があることを示している。異なるイメージ領域で２つのオブジェクトが同時に現れることに関連するリフト（lift）は次式で計算される。
[数７]
lift(Xi,Xj) = p(Xi=1,Xj=1) / p(Xi=1)p(Xj=1) = (Sumij0+1)(N+2) / (Si+1)(Sj+1)
同様に、時間的にTフレームだけ離れた２つのイメージ領域における２つのオブジェクトの存在に関連するリフトは次式で計算される。
[数８]
lift(Xi,Xj[T]) = (SumijT+1)(N+2)2 / (Si+1)(Sj+1)(N-T+2)
リフト値１は、２つの変数が互いに独立している（無関係である）ことを示し、それ以外の値はそうでないことを示している。例えば、１より遙かに大きいリフト値は、２つのオブジェクトが互いに独立せずに同じ瞬間に現れる可能性が非常に高いことを示している。例えば、イメージ領域2,5間のリフトは１よりも遙かに大きくなる可能性がある。この発見は、それら２つのカメラが該２つの変数により表される領域で重複している可能性があることを示している。同様に、２つのカメラの視野が重なっていない場合には、例えば、エスカレータの上部を含む第１の視野内のイメージ領域と該エスカレータの下部を含む第２の視野からの時間的に離れたイメージ領域との間では、高いリフト値が予測される。
【００５２】
ＣＡＳコンピュータはまた、２つのイメージ領域間の相関係数を計算することができる。リフトと同様に、相関係数は、２つの変数の相関関係の度合いの尺度である。その値は、-1〜1であり、値0は相関関係がないことを示し、正の値はより強い正の相関関係を示し、負の値はより強い負の相関関係を示している。正の相関関係は、１つのイメージ領域におけるオブジェクトの存在が他のイメージ領域にもオブジェクトが存在する可能性があることを示すことを意味するものである。同様に、負の相関関係は、１つのイメージ領域におけるオブジェクトの存在が他のイメージ領域にオブジェクトが存在しない可能性があることを示すことを意味するものである。第１のイメージ領域Xiと第２のイメージ領域Xjとの間の相関係数(correcoef(Xi,Xj))は、次式に従って計算される。
【００５３】
【数９】
【００５４】
データテーブル600,601及び結合合計テーブル609に格納されているデータに関連して、同一の瞬間における２つのイメージ領域間の相関係数は、次式に従って計算される。
【００５５】
【数１０】
【００５６】
或る瞬間における第１のイメージ領域と別の瞬間における第２のイメージ領域との間の相関係数は、次式に従って計算される。
【００５７】
【数１１】
【００５８】
リフト、相関係数、及びその他の統計的な値を計算できることの利点は、図７に関して一層明瞭に理解されよう。マルチカメラＣＡＳシステムでは、オブジェクトはカメラの視野間を移動することができる。典型的には、ＣＡＳシステムは、１つのビデオフレーム内に存在するオブジェクトを以前のビデオフレーム内に存在したオブジェクトと相関付けすることによりオブジェクトを追跡しようとする。かかる方法は典型的には、以前に検出されたオブジェクトの場所を含むオブジェクトリストを維持することを含む。場合によっては、オブジェクトリストは、以前に検出されたオブジェクトに関する更なる情報（色、速度、大きさ等）を格納する。現在のビデオフレームにおけるオブジェクトを以前のビデオフレームにおけるオブジェクトに相関付けしようとする場合に、従来のＣＡＳシステム100は、有用な情報を求めてオブジェクトリストを参照する。かかる追跡方法は、カメラの視野間の関係が既知でない限り、第１のカメラの視野により生成される新たに存在するオブジェクトをそれとは異なるカメラの視野から早期に検出されたオブジェクトと正しく相関付けすることができないものである。データテーブル600,601及び結合合計テーブル609から導出される上記の統計的な計算は、かかる関係を提供するものとなる。
【００５９】
図７は、本発明の一実施形態による、視野内に新たに現れたオブジェクトを以前に検出されたオブジェクトに相関付けする方法700を示すフローチャートである。ＣＡＳコンピュータ104は、ビデオフレーム内にオブジェクトが新たに現れたと判定した場合に（ステップ702）、そのオブジェクトが以前に他のカメラの視野内で検出されたことがあるか否かを判定する。ＣＡＳコンピュータ104は、該オブジェクトが存在する該ビデオフレーム内のイメージ領域を判定する（ステップ704）。新たに現れたオブジェクトが存在する各イメージ領域毎に、ＣＡＳコンピュータ104は、その領域と他の領域との間に高いリフト値が存在するか否かを判定する（ステップ706）。新たに現れたオブジェクトが存在するイメージ領域の何れもそれらに関連する高いリフト値を有さない場合には、ＣＡＳコンピュータ104は、該新たに現れたオブジェクトを新たなオブジェクトとしてその追跡を開始する（ステップ708）。１つのイメージ領域が第２のイメージ領域との間で高いリフト値を有する場合には、ＣＡＳコンピュータ104は、履歴テーブル608を調べて、以前に検出されたオブジェクトが該第２のイメージ領域内に存在するか又は存在したか否かを判定する（ステップ710）。該高いリフト値を有するイメージ領域は、（ビデオフレームを生成する２つのカメラの視野が重なっていない場合には特に）以前に検出されたビデオフレームから時間的に離れている可能性がある。以前に検出されたオブジェクトが前記第２の領域内に存在する場合又は存在した場合には、ＣＡＳコンピュータ104は、該新たに現れたオブジェクトを以前に検出されたオブジェクトと相関付けする（ステップ712）。以前に検出されたオブジェクトが前記第２の領域内に存在しない場合又は存在しなかった場合には、ＣＡＳコンピュータ104は、該オブジェクトを新たなオブジェクトとしてその追跡を開始する（ステップ708）。別の実施形態では、高リフト値を考察する代わりに、本方法700は、強い性の相関係数を考察する。
【００６０】
本方法700を達成するために、ＣＡＳコンピュータ104は、監視している視野間の物理的及び空間的な関係に関する如何なる知識をも有している必要がない。相関関係は、各カメラの視野毎に独立して生成されるデータ間の統計的な関係に基づくものである。
【００６１】
本発明は、その思想または本質的な特徴から逸脱することなく他の特定の形態で実施することが可能である、ということが当業者には理解されよう。したがって、上記の実施形態は、あらゆる点で、本発明を制限するものではなく例示であると見なされるべきである。本発明の範囲は、上記説明に限定されるものではない。
【図面の簡単な説明】
【００６２】
【図１】本発明の一態様を用いた例示的なコンピュータ支援監視（ＣＡＳ）システム全体のブロック図である。
【図２】本発明の一実施形態による例示的なＣＡＳコンピュータの高レベルブロック図である。
【図３】本発明の例示的な一実施形態による監視対象となる環境の頭上からの例示である。
【図４Ａ】図３に示す環境内に配置された第１のカメラにより生成されたビデオフレームの概略的な例示である。
【図４Ｂ】図３に示す環境内に配置された第２のカメラにより生成されたビデオフレームの概略的な例示である。
【図４Ｃ】第１のカメラにより生成された、以前に生成されたビデオフレームの概略的な例示である。
【図４Ｄ】第２のカメラにより生成された、以前に生成されたビデオフレームの概略的な例示である。
【図５】本発明の例示的な一実施形態による相関データの収集方法のフローチャートである。
【図６Ａ】本発明の例示的な一実施形態による、図３の環境を監視するために使用される２つの例示的なデータデーブルを示している。
【図６Ｂ】本発明の例示的な実施形態により使用される例示的な履歴テーブルである。
【図６Ｃ】本発明の例示的な実施形態により使用される例示的な結合合計テーブルである。
【図７】第１のカメラの視野内に新たに現れたオブジェクトを第２のカメラの視野内に以前に現れたオブジェクトと相関付けするための方法のフローチャートである。
【特許請求の範囲】
【請求項１】
コンピュータ化されたイメージ解析方法であって、
a) 第１の光景を表す複数の第１のビデオフレームについての第１のイメージデータを受容し、(i) 該第１のビデオフレームの各々が複数のイメージ領域を含み、(ii) 少なくとも１つの第１のビデオフレームの１つのイメージ領域内に第１のオブジェクトが存在し、
b) 第２の光景を表す複数の第２のビデオフレームについての第２のイメージデータを受容し、(i) 該第２のビデオフレームの各々が複数のイメージ領域を含み、(ii) 少なくとも１つの第２のビデオフレームの１つのイメージ領域内に第２のオブジェクトが存在し、
c) 第１のイメージ領域内に存在する第１のオブジェクトの発生と第２のイメージ領域内に存在する第２のオブジェクトの発生との間の確率的な相関関係に基づいて、第１及び第２のビデオフレームの複数のイメージ領域のうちの第１及び第２のイメージ領域間の関係を決定する、
という各ステップを含む、コンピュータ化されたイメージ解析方法。
【請求項２】
前記ステップc)が、c-1) 前記第２のオブジェクトが前記第２のイメージ領域内に存在する場合に前記第１のイメージ領域内に前記第１のオブジェクトが存在する条件付き確率を決定するステップを更に含む、請求項１に記載の方法。
【請求項３】
前記ステップc)が、前記第１のオブジェクトが前記第１のオブジェクト領域内に存在し且つ前記第２のオブジェクトが前記第２のイメージ領域内に存在する同時確率を決定するステップc-1)を更に含む、請求項１に記載の方法。
【請求項４】
前記ステップc)が、前記第１のイメージ領域内に存在する前記第１のオブジェクトと前記第２のイメージ領域内に存在する前記第２のオブジェクトとに関連するリフトを決定するステップc-1)を更に含む、請求項１に記載の方法。
【請求項５】
前記ステップc)が、前記第１のイメージ領域内に存在する前記第１のオブジェクトと第２のイメージ領域内に存在する第２のオブジェクトとに関連する相関係数を決定するステップc-1)を更に含む、請求項１に記載の方法。
【請求項６】
前記第１のイメージデータが第１の視野を有する第１のカメラから発せられ、前記第２のイメージデータが第２の視野を有する第２のカメラから発せられる、請求項１に記載の方法。
【請求項７】
前記第１の視野及び前記第２の視野が少なくとも部分的に重複する、請求項６に記載の方法。
【請求項８】
前記第１の視野及び前記第２の視野が重複しない、請求項６に記載の方法。
【請求項９】
前記第１のイメージ領域が、前記第１のビデオフレームを構成するイメージ領域のうちの１つであり、前記第２のイメージ領域が、前記第２のビデオフレームを構成するイメージ領域のうちの１つである、請求項１に記載の方法。
【請求項１０】
前記第１のイメージ領域及び前記第２のイメージ領域の両者が、前記第１のビデオフレーム及び前記第２のビデオフレームの一方を構成するイメージ領域である、請求項１に記載の方法。
。
【請求項１１】
前記第１のオブジェクト及び前記第２のオブジェクトが同一のオブジェクトである、請求項１に記載の方法。
【請求項１２】
前記第１のオブジェクト及び前記第２のオブジェクトが異なるオブジェクトである、請求項１に記載の方法。
【請求項１３】
前記ステップc)が、前記第１のイメージ領域内の前記第１のオブジェクトの存在の発生と前記第２のイメージ領域内の前記第２のオブジェクトの存在の発生との間の時間的な関係を決定するステップを含む、請求項１に記載の方法。
【請求項１４】
前記ステップc)が、前記第１のイメージ領域と前記第２のイメージ領域との間の空間的な関係を決定するステップを含む、請求項１に記載の方法。
【請求項１５】
前記第１及び第２のイメージ領域内に存在するあらゆるオブジェクトの発生数をカウントするステップd)を更に含む、請求項１に記載の方法。
【請求項１６】
前記第１及び第２のイメージ領域の両者内に同時に存在するあらゆるオブジェクトの発生数をカウントするステップd)を更に含む、請求項１に記載の方法。
【請求項１７】
所定数の早期の各瞬間毎に、前記第１のイメージ領域内に現在存在しているあらゆるオブジェクトと該早期の瞬間に前記第２のイメージ領域内に存在しているあらゆるオブジェクトとの両者の発生数をカウントするステップd)を更に含む、請求項１に記載の方法。
【請求項１８】
複数のオブジェクトに関する属性を提供するステップd)を更に含む、請求項１に記載の方法。
【請求項１９】
前記複数の属性の各々毎に、前記第１及び第２のイメージ領域内に存在する該属性を有するオブジェクトの発生数をカウントするステップe)を更に含む、請求項１８に記載の方法。
【請求項２０】
前記複数の属性の各々毎に、前記第２のイメージ領域内に存在する各属性を有するオブジェクトと同時に前記第１のイメージ領域内に存在するかかる属性を有するオブジェクトの発生数をカウントするステップe)を更に含む、請求項１８に記載の方法。
との発生数を
【請求項２１】
所定数の早期の瞬間の各々毎に、及び前記複数の属性の各々毎に、前記第１のイメージ領域内に現在存在するかかる属性を有するあらゆるオブジェクトと該早期の瞬間に前記第２のイメージ領域内に存在する前記属性の各々を有するあらゆるオブジェクトとの発生数をカウントするステップe)を更に含む、請求項１８に記載の方法。
【請求項２２】
前記決定された関係に基づいて前記第１のビデオフレーム内の前記第１のオブジェクトを前記第２のビデオフレーム内に存在する第２のオブジェクトと相関付けするステップd)を更に含む、請求項１に記載の方法。
【請求項２３】
d) １つの前記第１のビデオフレーム内に存在する前記第１のオブジェクトが、それに先行する第１のビデオフレーム内に存在しなかったことを判定し、
e) 該第１のオブジェクトを、前記決定された関係に基づいて、前記第２のビデオフレーム内に存在する前記第２のオブジェクトに相関付けする、
という各ステップを更に含む、請求項１に記載の方法。
【請求項２４】
各イメージ領域が、前記複数の第１及び第２のビデオフレームのうちの１つにおける１つの場所であって該複数の第１及び第２のビデオフレームにわたって実質的に同一である１つの場所を有する、請求項１に記載の方法。
【請求項２５】
少なくとも前記第１のオブジェクト及び前記第２のオブジェクトの場所を識別するオブジェクトリストを維持するステップd)を更に含む、請求項２４に記載の方法。
【請求項２６】
e) 前記第１及び第２のビデオフレームの一方に存在するオブジェクトを選択し、
f) 該選択したオブジェクトが、前記第１のオブジェクト、前記第２のオブジェクト、及び第３のオブジェクトのうちの１つであるか否かを、前記オブジェクトリスト及び前記決定された関係に少なくとも部分的に基づいて判定する、
という各ステップを更に含む、請求項２５に記載の方法。
【請求項２７】
a) 第１の光景を表す複数の第１のビデオフレームについての第１のイメージデータを受容するための第１のメモリモジュールであって、(i) 該第１のビデオフレームの各々が複数のイメージ領域を含み、(ii) 少なくとも１つの第１のビデオフレームの１つのイメージ領域内に第１のオブジェクトが存在する、第１のメモリモジュールと、
b) 第２の光景を表す複数の第２のビデオフレームについての第２のイメージデータを受容するための第２のメモリモジュールであって、(i) 該第２のビデオフレームの各々が複数のイメージ領域を含み、(ii) 少なくとも１つの第２のビデオフレームの１つのイメージ領域内に第２のオブジェクトが存在する、第２のメモリモジュールと、
c) 第１のイメージ領域内に存在する前記第１のオブジェクトの発生と第２のイメージ領域内に存在する前記第２のオブジェクトの発生との間の確率的な相関関係に基づいて、前記第１及び第２のビデオフレームの前記複数のイメージ領域のうちの第１及び第２のイメージ領域間の関係を決定する、処理モジュールと
を含む、監視システム。
【請求項２８】
前記処理モジュールが更に、前記第２のオブジェクトが前記第２のイメージ領域内に存在する場合に前記第１のイメージ領域内に前記第１のオブジェクトが存在する条件付き確率を決定する、請求項２７に記載の監視システム。
【請求項２９】
前記処理モジュールが更に、前記第１のオブジェクトが前記第１のオブジェクト領域内に存在し且つ前記第２のオブジェクトが前記第２のイメージ領域内に存在する同時確率を決定する、請求項２７に記載の監視システム。
【請求項３０】
前記処理モジュールが更に、前記第１のイメージ領域内に存在する前記第１のオブジェクトと前記第２のイメージ領域内に存在する前記第２のオブジェクトとに関連するリフトを決定する、請求項２７に記載の監視システム。
【請求項３１】
前記処理モジュールが更に、前記第１のイメージ領域内に存在する前記第１のオブジェクトと前記第２のイメージ領域内に存在する前記第２のオブジェクトとに関連する相関係数を決定する、請求項２７に記載の監視システム。
【請求項３２】
前記第１のイメージデータが第１の視野を有する第１のカメラから発せられ、前記第２のイメージデータが第２の視野を有する第２のカメラから発せられる、請求項２７に記載の監視システム。
【請求項３３】
前記第１の視野及び前記第２の視野が少なくとも部分的に重複する、請求項３２に記載の監視システム。
【請求項３４】
前記第１の視野及び前記第２の視野が重複しない、請求項３２に記載の監視システム。
【請求項３５】
前記第１のイメージ領域が、前記第１のビデオフレームを構成するイメージ領域のうちの１つであり、前記第２のイメージ領域が、前記第２のビデオフレームを構成するイメージ領域のうちの１つである、請求項２７に記載の監視システム。
【請求項３６】
前記第１のイメージ領域及び前記第２のイメージ領域の両者が、前記第１のビデオフレーム及び前記第２のビデオフレームの一方を構成するイメージ領域である、請求項２７に記載の監視システム。
【請求項３７】
前記第１のオブジェクト及び前記第２のオブジェクトが同一のオブジェクトである、請求項２７に記載の監視システム。
【請求項３８】
前記第１のオブジェクト及び前記第２のオブジェクトが異なるオブジェクトである、請求項２７に記載の監視システム。
【請求項３９】
前記処理モジュールが、前記第１のイメージ領域内の前記第１のオブジェクトの存在の発生と前記第２のイメージ領域内の前記第２のオブジェクトの存在の発生との間の時間的な関係を決定する、請求項２７に記載の監視システム。
【請求項４０】
前記処理モジュールが、前記第１のイメージ領域と前記第２のイメージ領域との間の空間的な関係を決定する、請求項２７に記載の監視システム。
【請求項４１】
前記処理モジュールが更に、前記第１及び第２のイメージ領域内に存在するあらゆるオブジェクトの発生数をカウントする、請求項２７に記載の監視システム。
【請求項４２】
前記処理モジュールが更に、前記第１及び第２のイメージ領域の両者内に同時に存在するあらゆるオブジェクトの発生数をカウントする、請求項２７に記載の監視システム。
【請求項４３】
前記処理モジュールが更に、所定数の早期の各瞬間毎に、前記第１のイメージ領域内に現在存在しているあらゆるオブジェクトと該早期の瞬間に前記第２のイメージ領域内に存在しているあらゆるオブジェクトとの両者の発生数をカウントする、請求項２７に記載の監視システム。
【請求項４４】
前記処理モジュールが更に、複数のオブジェクトに関する属性を提供する、請求項２７に記載の監視システム。
【請求項４５】
前記処理モジュールが更に、前記複数の属性の各々毎に、前記第１及び第２のイメージ領域内に存在する該属性を有するオブジェクトの発生数をカウントする、請求項４４に記載の監視システム。
【請求項４６】
前記処理モジュールが更に、前記複数の属性の各々毎に、前記第２のイメージ領域内に存在する各属性を有するオブジェクトと同時に前記第１のイメージ領域内に存在する各属性を有するオブジェクトの発生数をカウントする、請求項４４に記載の監視システム。
【請求項４７】
前記処理モジュールが更に、所定数の早期の瞬間の各々毎に、及び前記複数の属性の各々毎に、前記第１のイメージ領域内に現在存在するかかる属性を有するあらゆるオブジェクトと該早期の瞬間に前記第２のイメージ領域内に存在する前記属性の各々を有するあらゆるオブジェクトとの両者の発生数をカウントする、請求項４４に記載の監視システム。
【請求項４８】
前記処理モジュールが更に、前記決定された関係に基づいて前記第１のビデオフレーム内の前記第１のオブジェクトを前記第２のビデオフレーム内に存在する第２のオブジェクトと相関付けする、請求項２７に記載の監視システム。
【請求項４９】
前記処理モジュールが更に、１つの前記第１のビデオフレーム内に存在する前記第１のオブジェクトがそれに先行する第１のビデオフレーム内に存在しなかったことを判定し、該第１のオブジェクトを、前記決定された関係に基づいて、前記第２のビデオフレーム内に存在する前記第２のオブジェクトに相関付けする、請求項２７に記載の監視システム。
【請求項５０】
各イメージ領域が、前記複数の第１及び第２のビデオフレームのうちの１つにおける１つの場所であって該複数の第１及び第２のビデオフレームにわたって実質的に同一である１つの場所を有する、請求項２７に記載の監視システム。
【請求項５１】
前記処理モジュールが更に、少なくとも前記第１のオブジェクト及び前記第２のオブジェクトの場所を識別するオブジェクトリストを維持する、請求項５０に記載の監視システム。
【請求項５２】
前記処理モジュールが更に、前記第１及び第２のビデオフレームの一方に存在するオブジェクトを選択し、該選択したオブジェクトが、前記第１のオブジェクト、前記第２のオブジェクト、及び第３のオブジェクトのうちの１つであるか否かを、前記オブジェクトリスト及び前記決定された関係に少なくとも部分的に基づいて判定する、請求項５１に記載の監視システム。
【請求項５３】
a) 第１及び第２の光景を表す複数の第１及び第２のビデオフレームに関する第１及び第２のイメージデータを受容するための受容手段であって、(i) 前記第１及び第２のビデオフレームの各々が複数のイメージ領域を含み、(ii)少なくとも１つの第１及び第２のビデオフレームの１つのイメージ領域内に第１及び第２のオブジェクトがそれぞれ存在する、受容手段と、
b) 前記第１及び第２のビデオフレームの複数のイメージ領域のうちの第１及び第２のイメージ領域間の関係を、前記第１のイメージ領域内の前記第１のオブジェクト及び前記第２のイメージ領域内の前記第２のオブジェクトの発生間の確率的な相関関係に基づいて決定するための処理モジュールと
を含む、監視システム。
【請求項５４】
前記第１のオブジェクトが前記第２のオブジェクトと同一のオブジェクトでない、請求項５３に記載の監視システム。
【請求項５５】
前記第１のオブジェクトが前記第２のオブジェクトと同一のオブジェクトである、請求項５３に記載の監視システム。
【請求項１】
コンピュータ化されたイメージ解析方法であって、
a) 第１の光景を表す複数の第１のビデオフレームについての第１のイメージデータを受容し、(i) 該第１のビデオフレームの各々が複数のイメージ領域を含み、(ii) 少なくとも１つの第１のビデオフレームの１つのイメージ領域内に第１のオブジェクトが存在し、
b) 第２の光景を表す複数の第２のビデオフレームについての第２のイメージデータを受容し、(i) 該第２のビデオフレームの各々が複数のイメージ領域を含み、(ii) 少なくとも１つの第２のビデオフレームの１つのイメージ領域内に第２のオブジェクトが存在し、
c) 第１のイメージ領域内に存在する第１のオブジェクトの発生と第２のイメージ領域内に存在する第２のオブジェクトの発生との間の確率的な相関関係に基づいて、第１及び第２のビデオフレームの複数のイメージ領域のうちの第１及び第２のイメージ領域間の関係を決定する、
という各ステップを含む、コンピュータ化されたイメージ解析方法。
【請求項２】
前記ステップc)が、c-1) 前記第２のオブジェクトが前記第２のイメージ領域内に存在する場合に前記第１のイメージ領域内に前記第１のオブジェクトが存在する条件付き確率を決定するステップを更に含む、請求項１に記載の方法。
【請求項３】
前記ステップc)が、前記第１のオブジェクトが前記第１のオブジェクト領域内に存在し且つ前記第２のオブジェクトが前記第２のイメージ領域内に存在する同時確率を決定するステップc-1)を更に含む、請求項１に記載の方法。
【請求項４】
前記ステップc)が、前記第１のイメージ領域内に存在する前記第１のオブジェクトと前記第２のイメージ領域内に存在する前記第２のオブジェクトとに関連するリフトを決定するステップc-1)を更に含む、請求項１に記載の方法。
【請求項５】
前記ステップc)が、前記第１のイメージ領域内に存在する前記第１のオブジェクトと第２のイメージ領域内に存在する第２のオブジェクトとに関連する相関係数を決定するステップc-1)を更に含む、請求項１に記載の方法。
【請求項６】
前記第１のイメージデータが第１の視野を有する第１のカメラから発せられ、前記第２のイメージデータが第２の視野を有する第２のカメラから発せられる、請求項１に記載の方法。
【請求項７】
前記第１の視野及び前記第２の視野が少なくとも部分的に重複する、請求項６に記載の方法。
【請求項８】
前記第１の視野及び前記第２の視野が重複しない、請求項６に記載の方法。
【請求項９】
前記第１のイメージ領域が、前記第１のビデオフレームを構成するイメージ領域のうちの１つであり、前記第２のイメージ領域が、前記第２のビデオフレームを構成するイメージ領域のうちの１つである、請求項１に記載の方法。
【請求項１０】
前記第１のイメージ領域及び前記第２のイメージ領域の両者が、前記第１のビデオフレーム及び前記第２のビデオフレームの一方を構成するイメージ領域である、請求項１に記載の方法。
。
【請求項１１】
前記第１のオブジェクト及び前記第２のオブジェクトが同一のオブジェクトである、請求項１に記載の方法。
【請求項１２】
前記第１のオブジェクト及び前記第２のオブジェクトが異なるオブジェクトである、請求項１に記載の方法。
【請求項１３】
前記ステップc)が、前記第１のイメージ領域内の前記第１のオブジェクトの存在の発生と前記第２のイメージ領域内の前記第２のオブジェクトの存在の発生との間の時間的な関係を決定するステップを含む、請求項１に記載の方法。
【請求項１４】
前記ステップc)が、前記第１のイメージ領域と前記第２のイメージ領域との間の空間的な関係を決定するステップを含む、請求項１に記載の方法。
【請求項１５】
前記第１及び第２のイメージ領域内に存在するあらゆるオブジェクトの発生数をカウントするステップd)を更に含む、請求項１に記載の方法。
【請求項１６】
前記第１及び第２のイメージ領域の両者内に同時に存在するあらゆるオブジェクトの発生数をカウントするステップd)を更に含む、請求項１に記載の方法。
【請求項１７】
所定数の早期の各瞬間毎に、前記第１のイメージ領域内に現在存在しているあらゆるオブジェクトと該早期の瞬間に前記第２のイメージ領域内に存在しているあらゆるオブジェクトとの両者の発生数をカウントするステップd)を更に含む、請求項１に記載の方法。
【請求項１８】
複数のオブジェクトに関する属性を提供するステップd)を更に含む、請求項１に記載の方法。
【請求項１９】
前記複数の属性の各々毎に、前記第１及び第２のイメージ領域内に存在する該属性を有するオブジェクトの発生数をカウントするステップe)を更に含む、請求項１８に記載の方法。
【請求項２０】
前記複数の属性の各々毎に、前記第２のイメージ領域内に存在する各属性を有するオブジェクトと同時に前記第１のイメージ領域内に存在するかかる属性を有するオブジェクトの発生数をカウントするステップe)を更に含む、請求項１８に記載の方法。
との発生数を
【請求項２１】
所定数の早期の瞬間の各々毎に、及び前記複数の属性の各々毎に、前記第１のイメージ領域内に現在存在するかかる属性を有するあらゆるオブジェクトと該早期の瞬間に前記第２のイメージ領域内に存在する前記属性の各々を有するあらゆるオブジェクトとの発生数をカウントするステップe)を更に含む、請求項１８に記載の方法。
【請求項２２】
前記決定された関係に基づいて前記第１のビデオフレーム内の前記第１のオブジェクトを前記第２のビデオフレーム内に存在する第２のオブジェクトと相関付けするステップd)を更に含む、請求項１に記載の方法。
【請求項２３】
d) １つの前記第１のビデオフレーム内に存在する前記第１のオブジェクトが、それに先行する第１のビデオフレーム内に存在しなかったことを判定し、
e) 該第１のオブジェクトを、前記決定された関係に基づいて、前記第２のビデオフレーム内に存在する前記第２のオブジェクトに相関付けする、
という各ステップを更に含む、請求項１に記載の方法。
【請求項２４】
各イメージ領域が、前記複数の第１及び第２のビデオフレームのうちの１つにおける１つの場所であって該複数の第１及び第２のビデオフレームにわたって実質的に同一である１つの場所を有する、請求項１に記載の方法。
【請求項２５】
少なくとも前記第１のオブジェクト及び前記第２のオブジェクトの場所を識別するオブジェクトリストを維持するステップd)を更に含む、請求項２４に記載の方法。
【請求項２６】
e) 前記第１及び第２のビデオフレームの一方に存在するオブジェクトを選択し、
f) 該選択したオブジェクトが、前記第１のオブジェクト、前記第２のオブジェクト、及び第３のオブジェクトのうちの１つであるか否かを、前記オブジェクトリスト及び前記決定された関係に少なくとも部分的に基づいて判定する、
という各ステップを更に含む、請求項２５に記載の方法。
【請求項２７】
a) 第１の光景を表す複数の第１のビデオフレームについての第１のイメージデータを受容するための第１のメモリモジュールであって、(i) 該第１のビデオフレームの各々が複数のイメージ領域を含み、(ii) 少なくとも１つの第１のビデオフレームの１つのイメージ領域内に第１のオブジェクトが存在する、第１のメモリモジュールと、
b) 第２の光景を表す複数の第２のビデオフレームについての第２のイメージデータを受容するための第２のメモリモジュールであって、(i) 該第２のビデオフレームの各々が複数のイメージ領域を含み、(ii) 少なくとも１つの第２のビデオフレームの１つのイメージ領域内に第２のオブジェクトが存在する、第２のメモリモジュールと、
c) 第１のイメージ領域内に存在する前記第１のオブジェクトの発生と第２のイメージ領域内に存在する前記第２のオブジェクトの発生との間の確率的な相関関係に基づいて、前記第１及び第２のビデオフレームの前記複数のイメージ領域のうちの第１及び第２のイメージ領域間の関係を決定する、処理モジュールと
を含む、監視システム。
【請求項２８】
前記処理モジュールが更に、前記第２のオブジェクトが前記第２のイメージ領域内に存在する場合に前記第１のイメージ領域内に前記第１のオブジェクトが存在する条件付き確率を決定する、請求項２７に記載の監視システム。
【請求項２９】
前記処理モジュールが更に、前記第１のオブジェクトが前記第１のオブジェクト領域内に存在し且つ前記第２のオブジェクトが前記第２のイメージ領域内に存在する同時確率を決定する、請求項２７に記載の監視システム。
【請求項３０】
前記処理モジュールが更に、前記第１のイメージ領域内に存在する前記第１のオブジェクトと前記第２のイメージ領域内に存在する前記第２のオブジェクトとに関連するリフトを決定する、請求項２７に記載の監視システム。
【請求項３１】
前記処理モジュールが更に、前記第１のイメージ領域内に存在する前記第１のオブジェクトと前記第２のイメージ領域内に存在する前記第２のオブジェクトとに関連する相関係数を決定する、請求項２７に記載の監視システム。
【請求項３２】
前記第１のイメージデータが第１の視野を有する第１のカメラから発せられ、前記第２のイメージデータが第２の視野を有する第２のカメラから発せられる、請求項２７に記載の監視システム。
【請求項３３】
前記第１の視野及び前記第２の視野が少なくとも部分的に重複する、請求項３２に記載の監視システム。
【請求項３４】
前記第１の視野及び前記第２の視野が重複しない、請求項３２に記載の監視システム。
【請求項３５】
前記第１のイメージ領域が、前記第１のビデオフレームを構成するイメージ領域のうちの１つであり、前記第２のイメージ領域が、前記第２のビデオフレームを構成するイメージ領域のうちの１つである、請求項２７に記載の監視システム。
【請求項３６】
前記第１のイメージ領域及び前記第２のイメージ領域の両者が、前記第１のビデオフレーム及び前記第２のビデオフレームの一方を構成するイメージ領域である、請求項２７に記載の監視システム。
【請求項３７】
前記第１のオブジェクト及び前記第２のオブジェクトが同一のオブジェクトである、請求項２７に記載の監視システム。
【請求項３８】
前記第１のオブジェクト及び前記第２のオブジェクトが異なるオブジェクトである、請求項２７に記載の監視システム。
【請求項３９】
前記処理モジュールが、前記第１のイメージ領域内の前記第１のオブジェクトの存在の発生と前記第２のイメージ領域内の前記第２のオブジェクトの存在の発生との間の時間的な関係を決定する、請求項２７に記載の監視システム。
【請求項４０】
前記処理モジュールが、前記第１のイメージ領域と前記第２のイメージ領域との間の空間的な関係を決定する、請求項２７に記載の監視システム。
【請求項４１】
前記処理モジュールが更に、前記第１及び第２のイメージ領域内に存在するあらゆるオブジェクトの発生数をカウントする、請求項２７に記載の監視システム。
【請求項４２】
前記処理モジュールが更に、前記第１及び第２のイメージ領域の両者内に同時に存在するあらゆるオブジェクトの発生数をカウントする、請求項２７に記載の監視システム。
【請求項４３】
前記処理モジュールが更に、所定数の早期の各瞬間毎に、前記第１のイメージ領域内に現在存在しているあらゆるオブジェクトと該早期の瞬間に前記第２のイメージ領域内に存在しているあらゆるオブジェクトとの両者の発生数をカウントする、請求項２７に記載の監視システム。
【請求項４４】
前記処理モジュールが更に、複数のオブジェクトに関する属性を提供する、請求項２７に記載の監視システム。
【請求項４５】
前記処理モジュールが更に、前記複数の属性の各々毎に、前記第１及び第２のイメージ領域内に存在する該属性を有するオブジェクトの発生数をカウントする、請求項４４に記載の監視システム。
【請求項４６】
前記処理モジュールが更に、前記複数の属性の各々毎に、前記第２のイメージ領域内に存在する各属性を有するオブジェクトと同時に前記第１のイメージ領域内に存在する各属性を有するオブジェクトの発生数をカウントする、請求項４４に記載の監視システム。
【請求項４７】
前記処理モジュールが更に、所定数の早期の瞬間の各々毎に、及び前記複数の属性の各々毎に、前記第１のイメージ領域内に現在存在するかかる属性を有するあらゆるオブジェクトと該早期の瞬間に前記第２のイメージ領域内に存在する前記属性の各々を有するあらゆるオブジェクトとの両者の発生数をカウントする、請求項４４に記載の監視システム。
【請求項４８】
前記処理モジュールが更に、前記決定された関係に基づいて前記第１のビデオフレーム内の前記第１のオブジェクトを前記第２のビデオフレーム内に存在する第２のオブジェクトと相関付けする、請求項２７に記載の監視システム。
【請求項４９】
前記処理モジュールが更に、１つの前記第１のビデオフレーム内に存在する前記第１のオブジェクトがそれに先行する第１のビデオフレーム内に存在しなかったことを判定し、該第１のオブジェクトを、前記決定された関係に基づいて、前記第２のビデオフレーム内に存在する前記第２のオブジェクトに相関付けする、請求項２７に記載の監視システム。
【請求項５０】
各イメージ領域が、前記複数の第１及び第２のビデオフレームのうちの１つにおける１つの場所であって該複数の第１及び第２のビデオフレームにわたって実質的に同一である１つの場所を有する、請求項２７に記載の監視システム。
【請求項５１】
前記処理モジュールが更に、少なくとも前記第１のオブジェクト及び前記第２のオブジェクトの場所を識別するオブジェクトリストを維持する、請求項５０に記載の監視システム。
【請求項５２】
前記処理モジュールが更に、前記第１及び第２のビデオフレームの一方に存在するオブジェクトを選択し、該選択したオブジェクトが、前記第１のオブジェクト、前記第２のオブジェクト、及び第３のオブジェクトのうちの１つであるか否かを、前記オブジェクトリスト及び前記決定された関係に少なくとも部分的に基づいて判定する、請求項５１に記載の監視システム。
【請求項５３】
a) 第１及び第２の光景を表す複数の第１及び第２のビデオフレームに関する第１及び第２のイメージデータを受容するための受容手段であって、(i) 前記第１及び第２のビデオフレームの各々が複数のイメージ領域を含み、(ii)少なくとも１つの第１及び第２のビデオフレームの１つのイメージ領域内に第１及び第２のオブジェクトがそれぞれ存在する、受容手段と、
b) 前記第１及び第２のビデオフレームの複数のイメージ領域のうちの第１及び第２のイメージ領域間の関係を、前記第１のイメージ領域内の前記第１のオブジェクト及び前記第２のイメージ領域内の前記第２のオブジェクトの発生間の確率的な相関関係に基づいて決定するための処理モジュールと
を含む、監視システム。
【請求項５４】
前記第１のオブジェクトが前記第２のオブジェクトと同一のオブジェクトでない、請求項５３に記載の監視システム。
【請求項５５】
前記第１のオブジェクトが前記第２のオブジェクトと同一のオブジェクトである、請求項５３に記載の監視システム。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図４Ｄ】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図７】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図４Ｄ】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図７】
【公表番号】特表２００７−５０５５７２（Ｐ２００７−５０５５７２Ａ）
【公表日】平成１９年３月８日（２００７．３．８）
【国際特許分類】
【出願番号】特願２００６−５２６２８１（Ｐ２００６−５２６２８１）
【出願日】平成１６年９月９日（２００４．９．９）
【国際出願番号】ＰＣＴ／ＵＳ２００４／０２９４１８
【国際公開番号】ＷＯ２００５／０２７５３３
【国際公開日】平成１７年３月２４日（２００５．３．２４）
【出願人】（５０６０８５０７７）インテリヴィド コーポレイション (5)
【Ｆターム（参考）】
【公表日】平成１９年３月８日（２００７．３．８）
【国際特許分類】
【出願日】平成１６年９月９日（２００４．９．９）
【国際出願番号】ＰＣＴ／ＵＳ２００４／０２９４１８
【国際公開番号】ＷＯ２００５／０２７５３３
【国際公開日】平成１７年３月２４日（２００５．３．２４）
【出願人】（５０６０８５０７７）インテリヴィド コーポレイション (5)
【Ｆターム（参考）】
[ Back to top ]