監視データベースを使用して物体を追跡するためのシステムおよびコンピュータにより実施されるその方法
【課題】本発明の方法及び装置は、一組のセンサにより取得されたイベントと一組のカメラにより取得された一連の画像とを保存する監視データベースを用いて物体を追跡する。
【解決手段】一組のセンサで感知された時間的、空間的に隣接する一連のイベントは、一組のトラックレットを形成する。各トラックレットは、トラック‐スタート、トラック‐ジョイン、トラックレット‐マージ、トラックレット‐エンドノードの何れかである終点を有する。センサのサブセットが選択され、サブセットに関連するトラックレットのサブセットが識別される。単一の開始トラックレットが選択され、開始トラックレットに時間的、空間的に隣接する一連のトラックレットが集められ、トラックレットグラフを作成する。トラック‐ジョインノードとトラック‐スプリットノードは、その環境におけるその物体のトラックを判別するために、曖昧さを除かれそのトラックグラフから除去される。
【解決手段】一組のセンサで感知された時間的、空間的に隣接する一連のイベントは、一組のトラックレットを形成する。各トラックレットは、トラック‐スタート、トラック‐ジョイン、トラックレット‐マージ、トラックレット‐エンドノードの何れかである終点を有する。センサのサブセットが選択され、サブセットに関連するトラックレットのサブセットが識別される。単一の開始トラックレットが選択され、開始トラックレットに時間的、空間的に隣接する一連のトラックレットが集められ、トラックレットグラフを作成する。トラック‐ジョインノードとトラック‐スプリットノードは、その環境におけるその物体のトラックを判別するために、曖昧さを除かれそのトラックグラフから除去される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的に監視システムに関し、特に、或る環境における物体を追跡、識別するためのセンサと可動カメラとを含む監視システム及び方法に関する。
【背景技術】
【０００２】
ビデオカメラと比較的簡単なセンサとは、大きな環境に対して混合様式の監視システムを構成することを可能にする。センサは物体を識別できないが、比較的小さな領域では、物体を検出できる。画像が利用可能であるときには、カメラによって入手されたビデオ（映像）の画像から識別を行うことができる。
【０００３】
そのようなシステムによって入手されたビデオを記憶或いは蓄積することは、多テラバイトのデータを超えることがある。明らかに、特定の物体に対して何カ月にも亘って収集された記憶データを、瞬時に検索することは、実際には不可能である。
【０００４】
従って、蓄積（記憶）された画像データ内で物体を追跡、識別するためのシステム及び方法を提供することが望ましい。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来の監視システムでは、通常、人間、動物、車などの物体の追跡は、画像及びビデオ処理によって行われる。そのような監視システムの欠点は、特定の物体を追跡、識別することが必要なときに、物体をカメラによって観測することが必要なことである。しかしながら、多くの監視環境は、正確な操作に必要な完全な監視範囲を提供するために、多くのビデオカメラを必要とする。大量のビデオストリームは、正確に作動するために、監視システムでの演算負荷を増大させる。
【０００６】
本発明の目的は、様々なセンサ、カメラ及び監視データベースの混合されたネットワークを使用することにより、移動する物体（人々）を追跡して、識別するためのシステム及び方法を提供することである。
【課題を解決するための手段】
【０００７】
少数のＰＴＺカメラは、監視下に置かれるべき環境に配置される。カメラの数が比較的少ないとしても、ビデオ（映像）データの量は、多テラバイトの記憶容量を超えることがあり得る。
【０００８】
ビデオカメラは、その環境の一部を監視できるだけである。このため、カメラだけで物体の追跡と識別とを行なうのは難しくなる。カメラの監視範囲が完全であっても、映像データを検索する時間は非実用的なものとなる。
【０００９】
従って、その環境は、またセンサの密度の高い配置構成を含み、それらのセンサは、本質的には、全ての公共領域をカバーする。イベントは、関連するセンサ識別と時間とを有する。これは、センサデータの総量をかなり小さくして、処理を簡単にする。個々の人間がカメラによって連続して見られないとしても、センサの起動イベントは、特定の個人を追跡するために、ビデオ画像に空間的及び時間的に相関づけられる。
【発明の効果】
【００１０】
本発明の実施の形態は、混合様式の監視システムを提供する。本システムは、多くの比較的簡単なセンサ及び比較的小数の可動カメラを含む。このことは、従来の監視システムと対比して、費用、複雑さ、ネットワーク帯域幅、記憶容量、及び処理時間を減少させる。
【００１１】
或る環境における物体は、センサからの利用可能な前後の（文脈）情報を使用してカメラにより追跡される。特定の物体の行跡（トラック）を瞬時に判別するために、何カ月にも亘って収集された前後の（文脈）情報を検索することができる。そして、物体を識別するのに、対応する物体の画像を使用できる。このようなことは、膨大な量の映像データの検索を必要とする従来の監視システムでは、実際には不可能である。
【発明を実施するための最良の形態】
【００１２】
監視システム
図１に示されているように、本発明の実施の形態に従って追跡モジュールが実施される監視システムは、比較的大きなセット（組）のワイヤレス・ネットワークのセンサ（ドット）１０１と、比較的小さなセット（組）のパン‐ティルト‐ズーム（ＰＴＺ）カメラ（三角形）１０２とを含む。センサ対カメラの比率は、非常に大きく、例えば３０：１以上の場合がある。
【００１３】
センサ
センサは、モーション（運動）センサでもよく、またドアセンサ、昇降機センサ、熱センサ、圧力センサ、音響センサでもよい。赤外線センサなどのモーションセンサは、センサの付近での物体の動きを検出できる。ドアセンサは、典型的には戸口を通過する人を示すドア開閉イベントを検出できる。昇降機センサは、同様に、或る環境における人々の到着または出発を示すことができる。また、例えばトランスデューサやマイクロホン等の音響センサは、或る領域の活動を検出できる。センサは、その環境における光スイッチ、またはオフィス機器の電源スイッチに搭載することができる。また、マット（敷物）の圧力センサも、通過するトラフィックを示すことができる。また、環境への入口通路におけるバッジ読取り装置などのセキュリティセンサを組み込むことができる。
【００１４】
各センサは比較的小さく、例えば、モーションセンサについては、３×５×６ｃｍである。好適な実施の形態において、これらのセンサは、約１０メータ以下の間隔で互いに離れて、公共領域に密に配置され、また天井、壁、或いは床に取り付けられる。なお、特定の環境及びその環境におけるトラフィックフロー（交通流）に合うように、センサの空間的配置と密度を適合させることができることに注意すべきである。例えば、高いトラフィック（交通）の地域は、低いトラフィックの地域よりも人口密度が高い。
【００１５】
本発明の一実施の形態では、そのセット（一組）のセンサは、工業規格ＩＥＥＥ８０２．１５．４の無線信号を使用して、プロセッサ１１０（図１を参照）と通信する。これは、ジグビー（Ｚｉｇｂｅｅ）タイプのデバイスによって典型的に使用される物理層である。各電池式センサは、検出モードで約５０μＡ、また通信時に４６ｍＡを消費する。起動による通信間隔は、約１６ミリ秒である。また、センサは、ハードウェアに組み込まれてもよいし、或いは他の通信技術を使用してもよいことに注意すべきである。
【００１６】
イベントがセンサ１０１の何れかによって検出されるとき、そのイベントに対応するセンサ識別記号（ＳＩＤ）とタイムスタンプ（ＴＳ）が一斉送信されるか、或いは別の方法でプロセッサ１１０に送られる。プロセッサは、センサデータを監視データベースとしてメモリに記憶する。識別記号は、本来センサの配置場所、従って起動を引き起こしたイベントの配置場所を示す。イベントの記録を行うのには、僅かなバイト数を要するだけである。従って、映像データと比較すると、長期間に亘って収集されたセンサデータの総量は、本質的には、取るにたらないものである。
【００１７】
そのセット（一組）のカメラは、ビデオ（映像）データ（画像系列）を取得するのに使用される。画像は、カメラの固有カメラ識別記号（ＣＩＤまたは配置場所）とフレーム番号（ＦＮ）を有する。本明細書で使用されるように、フレーム番号は、時間と同義である。すなわち、フレーム番号から時間を直接的に計算することができる。さらに、データベースからの問い合わせの間、どんな時刻におけるセンサ近傍のシーン(場面)の可視部分についても計算できるように、あらゆる時刻が各カメラの一組のパン‐ティルト‐ズーム・パラメータに関連している。
【００１８】
カメラは、最大の監視範囲を提供するために、戦略的な配置場所（位置）、例えばその環境における全てのトラフィックがいつか通過しなければならない配置場所で、典型的には、天井に搭載される。如何なる一般的な方向にも、ＰＴＺカメラ１０２を向けて、焦点を合わせることが可能である。必ずしも必要ではないが、ビデオ画像を取得するために、イベントの検出により、近くの何れのビデオカメラをもセンサ近傍のシーンに向けることができる。少数の一連の画像すなわちイベントに関連するビデオクリップを検索するのに、関連するセンサのＩＤとＴＳを後で使用することができる。また、特定のカメラの近くのセンサの近傍で何らイベントが検出されない場合には、所要の記憶容量を減量させるために、画像収集を中断できることに注意すべきである。
【００１９】
特定のイベントを見つけたり、特定の物体のトラック（行跡）を見つけたりして、それらの物体を識別するために、何カ月もの操作に亘って取得された映像データを調べることは難題である。
【００２０】
トラックレット及びトラックレットグラフ
図２に示されているように、本発明の一実施の形態では、一組のトラックレット（トラック片）２１０が使用される。対応するトラックレットグラフ２００が一組のトラックレット２１０から集められる。トラックレットは、一連の空間的に隣接しているセンサ１０１での一連の時間的に隣接しているイベントをリンクすることによって、形成される。トラックレットは、トラックレットグラフ２１０の基本の構成ブロックである。
【００２１】
我々は、現在のイベントにリンクした直前の先行または後継イベントを見つける処理をコールする（呼び出す）。システムの性能を向上させるために、周期的にトラックレットのリンクと保存（記憶）とを行うことができる。例えば、１営業日の終わりに、或いは毎時間ごとにリンクと保存とを行うことができる。このように、検索を行うことが必要なとき、予め保存したトラックレットを容易に利用することが可能である。
【００２２】
組み立てられたトラックレットグラフ２００では、トラックレットは、グラフのノードで接続された有向エッジである。そのグラフのノードは、各トラックレットのその直後のトラックレットまたは直前のトラックレットとの関係をコード化する。ノードは、次の４つのタイプの内の１つを持つことができる。すなわち、トラック‐スタート(開始)２０１、トラック‐ジョイン（結合）２０２、トラック‐スプリット（分岐）２０３、及びトラック‐エンド（終了）２０４である。
【００２３】
トラック‐スタート
トラック‐スタートノードは、所定時間間隔内に何れの先行イベントもそのセンサにリンクされることができないような、トラックレットにおける最初（第１）のイベントを表している。本明細書で使用されるように、「先行」は、隣接しているセンサでの以前のイベントを意味する。「時間間隔」は、歩行者が一つのセンサから隣接する次のセンサまで移動するのにかかる時間にほぼ制約できる。
【００２４】
トラック‐ジョイン
トラック‐ジョインノードは、所定時間間隔内にそのセンサにリンクさせることができる複数の先行イベントが存在するような、トラックレットグラフにおけるイベントを表す。すなわち、トラックレット‐ジョインノードは、複数の先行トラックレットが単一の後継トラックレットに収束することを表している。単一の有効な先行トラックレットは、それが現在のトラックレットに既にリンクされているので、存在することができない。
【００２５】
トラック‐スプリット
トラック‐スプリットノードは、所定時間間隔内にそのセンサにリンクさせることができる複数の後継トラックレットが存在するような、トラックレットにおけるイベントを表す。すなわち、トラックレット‐スプリットノードは、単一の先行トラックレットが複数の後継トラックレットへ分岐することを表している。単一の有効な後継トラックレットは、それが現在のトラックレットに既にリンクされているので、存在することができない。
【００２６】
トラック‐エンド
トラック‐エンドノードは、所定時間間隔内に何れの後継イベントにもリンクできないような、トラックレットにおける最後のイベントを表している。全てのトラックレットは、一組のグラフを形成し、それらのグラフの各々は、物体が移動した実際のトラック（行跡）に関する固有の曖昧さを表している。
【００２７】
トラックレットグラフは、ユーザにより課され得るか、または時間経過とともに「学習され得る」、時間的及び空間的な制約条件により集めることができるイベントに関連する一組のトラックレットである。
【００２８】
図２のトラックレットグラフには、２つの開始トラックレットがあり、それらは、その後単一のトラックに収束する。そして、収束されたトラックレットは、２度分岐して、４つのエンドポイント（終点）になる。トラックレットグラフは、我々が物体追跡のために使用するイベントの中心的な表示である。
【００２９】
延長トラックレットグラフ
物体がセンサネットワークの視界から見えなくなる場合における延長された追跡の目的のためにも、２つの空間的に隣接していて時間的にも隣接しているトラックレットグラフを集めることができる。このような状況は、追跡されている人々が廊下などの公共領域を抜け出して、オフィスなどの領域に進入するときの環境で頻繁に起こる。オフィスに入るイベントは、人が感知すなわち観測されなくなったとき、トラックレット‐エンドノードで先行トラックレットを終了させる。オフィスを出る際、その人を再び後継グラフで追跡できる。人がオフィスに入ると、その人は、例えば何時間もの長い期間の後にでも、退出しなければならないと思われる。この場合、空間的な制約条件は、厳密に実行され得るが、時間的な制約条件は緩和できる。
【００３０】
先行グラフにおけるトラックレットのトラック‐エンドノードの一つが後継グラフにおけるトラックレットの少なくとも一つのトラックレット‐スタートノードのタイムスタンプよりも小さなタイムスタンプを有するという条件の下で、グラフが集められる。
【００３１】
センサの可視性の判別
本発明の一つの目標は、或るセンサの近傍の領域が複数のカメラの何れから見ることが出来るかを判別することである。これにより、ユーザに提示される無関係な画像の量を最小にする。
【００３２】
この目標を実現するために、システムの全てのカメラがセンサの配置場所に較正される。我々のシステムでは、各センサは、そのカメラからセンサの起動を引き起こしたイベントを見えるようにする各カメラのさまざまなパン、ティルト及びズームのパラメータに関連している。各カメラのＰＴＺパラメータが、カメラ方向の変更の度に、監視データベースに保存されるならば、トラックレットがセンサ起動毎にデータベースから検索されるときに、「可視」領域を、対応する時に各カメラのＰＴＺパラメータと比較できる。カメラのＰＴＺパラメータがセンサの可視領域に入ると、次に、センサの起動（イベント）が可視であると考えられ、対応するカメラからの一連の画像がビデオ証拠として検索される。以下に述べるように、この証拠は、続いて、ユーザインタフェースを使用したトラックレット選択プロセスの間、ユーザに表示される。
【００３３】
人間に誘導された追跡
我々が我々のシステムで解決する人間により誘導された追跡及び検索に関するタスクを簡単なシナリオで示すことができる。
【００３４】
ラップトップ型パソコンがオフィスから午後１時００分と午後２時００分との間に盗まれたと報告された。そのオフィスに対して利用可能な直接的カメラ監視範囲は無かった。ユーザは、その時間帯にオフィスを通過できた全ての人々を見つけ出し、そして可能ならば、彼らを識別し、或る個人をそのイベントに結びつける証拠を集める必要がある。そのような状況では、オペレータ（操作者）は、そのオフィスのドアで発生した全てのトラック（行跡）を識別し、全ての利用可能なビデオ証拠を調べることによって、その個人を識別することを欲するであろう。
【００３５】
混合様式のセンサネットワークでの物体追跡の一般原理
トラック‐スタートノード及びトラック‐エンドノードは、完全なトラック（行跡）の明確な始めと終わりである。ところで、トラック‐スプリット（行跡分岐）とトラック‐ジョイン（行跡結合）の曖昧さの自動的解決は、感知されたイベントのみを使用するだけでは不可能である。スプリット（分岐）とジョイン（結合）の曖昧さは、センサにおける、或いは、センサの近くのイベント以外の如何なる特徴へのセンサネットワークの知覚的限界のためである。
【００３６】
そのような状況では、２人の人間が廊下で通路を横断するイベントは、システムに、可能な交差点の前後で各人に対するイベントを含む少なくとも４つのトラックレットを発生させる。更なる情報がなければ、このセット（組）のトラックレットの解釈には、固有の曖昧さがある。例えば、その２人の人間は、互いに行き違うか、或いは出会って彼らが来た道を引き返すことができる。これらのトラック（行跡）に対するアイデンティティ（同一性）をマップ化して、絶対確実にそれらの連続性を維持することは、それらのイベントだけからでは不可能である。
【００３７】
これらの曖昧さの見地から、我々は、以下のように簡素化して観測を行う。
【００３８】
ユーザは、グラフ全体の曖昧さを除く必要がない。ユーザは、前方または後方のグラフ横断に対して、選択されたトラックレットを開始するトラック‐ジョインノードの曖昧さを除いたり、或いは、トラックレットを終了させるトラック‐スプリットノードの曖昧さを除いたりすることがそれぞれ必要になるだけである。
【００３９】
各候補トラックに関連するビデオクリップを考慮に入れることによって、トラック‐ジョイン及びトラック‐スプリットの曖昧さを解決することを簡素化できる。
【００４０】
第１の観測は、トラックに集められるべき可能な候補であるとみなされる必要があるトラックレットの量をかなり減量させる。一実施の形態では、ユーザは、１度に一人のみを追跡する。従って、システムは、効果的に他のイベントを無視しつつ、その人の行動を解決（分析）するだけでよい。通路で交差する２人の人間の例に対して、我々は、１つのトラックレットが交差点の前に選択され、４つ全てではなく、２つのトラックレットだけが、可能な連続であるとみなされる必要があると仮定する。追跡及びトラックの曖昧さの解消への、この繰り返しフォーカスされた手法で、私たちは、問題の複雑さを潜在的に指数型から線形（一次関数）へ減少させることができる。
【００４１】
第２の観測は、スプリット−ジョイン（分岐−結合）の曖昧さが生じるとき、システムがトラックレットの時間と配置場所とを直近のカメラからのビデオと相関させて、集合トラックに対して何れのトラックレットが可能性の高い連続であるかを決定するために、対応するビデオクリップをユーザに表示することができることを意味する。
【００４２】
センサのネットワークだけを使用することにより、物体の動きの力学（動態）を推測するのを試みる自動追跡手順を開発することが可能であるかもしれない。しかし、如何なるそのような処理手順も誤りを犯すことは不可避である。監視アプリケーションでは、若干不正確なだけの追跡処理の結果に対するコミットメント（関与、取り組み、対応）は、かなり高価になる場合がある。
【００４３】
従って、我々の追尾方式は、追跡データを表している基本的な前後の（文脈）情報としてのトラックレットグラフと共に、人間に誘導された技術を使用する。追跡及び検索が基づいているセンサデータが非常に小さく、従って、特に映像データの従来の検索と比較すると、速やかに処理を進めることができることに注意すべきである。
【００４４】
我々のシステムの主眼とすることは、イベントを使用することにより非常に短時間で効率的に多量の映像データを検索することである。このために、我々は、主としてフォールスネガティブレート（偽陰性率）を小さくすることに関心があるが、フォールスポジティブレート（偽陽性率）を小さくすることが遠い二次的目標である。これらの目標を実現するために、我々は、以下に述べるようなトラック集合用の機構を採用する。
【００４５】
トラックレット集合処理
我々のシステムの人間に誘導された追跡のプロセスは、我々が開始すべきトラックと予想する一つまたは複数のセンサのサブセット（部分集合）と、任意ではあるが、時間間隔と、を選択することで始まる。例えば、我々のシステムでは、センサがオフィスの外側の公共領域に配置される場合、ユーザは、人が特定のオフィスを出るときに恐らく起動されうるフロアープラン（床配置図）を使用してそのセンサのサブセット（部分集合）を選択できる。
【００４６】
イベントのデータベースにおける高速検索を行なうことによって、我々は、選択されたセンサの１つに起因したトラックレットのあらゆる例を識別できる。ここで、ユーザは、さらに詳細に探査を行うために、トラックレットの単一の例を選択できる。トラックが開始されるおおよその時点を特定することによって、上記の検索を速めることができる。
【００４７】
第１のトラックレットを選択すると、対応するトラックレットグラフが構成される。集められたトラックのグラフは、時間的及び空間的に隣接する一連のイベントに関連する複数のトラックレットを含む。選択されたトラックレットは、図３に示されているように、エンド（終了）、スプリット（分岐）またはノード（結合）があるところのポイント（地点）まで床配置図上に描かれる。エンドポイント（終点）に到達すると、トラック３００は完成する。床配置図においてトラック３００に沿った人の場所が、トラック３００で太線３０１により、ユーザインタフェースに視覚的に示される。
【００４８】
トラックレットのエンド（終端）がスプリット（分岐）ノード或いはジョイン（結合）ノードを有するならば、トラックは終了されず、候補トラックレットを、一貫性を有するトラックへ集めるために複数のトラックレットグラフを使用してトラックレット集合処理が繰り返して行われる。このプロセスの間、グラフ中の各曖昧（不明瞭）点（スプリットノードまたはジョインノード）で、ユーザは、さらに横断するためのサブグラフを選択する。人々を識別して、正しい後継トラックレットを選択するために、対応するトラックレットに属するセンサ起動の何れかに指向されたカメラからの利用可能なビデオ画像を表示することができる。また、物体や顔の認証などの自動化技術を、上述の識別のために使用できる。
【００４９】
その処理は、選択グラフを使用して図４に示されている。選択グラフでは、ビデオ画像４０１は、対応する複数のトラックレットに含まれている複数のセンサへ指向された複数のカメラからの利用可能な複数のビデオクリップを表している。菱形４１０は、曖昧ポイント（点）、及びその曖昧ポイントに続く可能な競合トラックレットを示す。そのグラフにおけるエッジは、トラックレットが存在することを示す。
【００５０】
なお、図４のトラックレット選択グラフは、図２のトラックレットグラフに関連するが、それと同一ではない。事実、図４のグラフは、一般的な選択グラフを表しており、それは、時間的に前方（図示されるように）或いは後方へのトラックレットグラフの横断のために使用できる。前者の場合には、図４における選択グラフのスタート（開始）及びエンド（終了）ノードは、トラックレットグラフにおけるそれらと同じ意味を持っているが、菱形のみは、スプリット（分岐）を表している。トラック‐ジョインは、前進の選択代替策を提示しないので、前進の選択プロセスとは無関係である。対照的に、選択グラフが後方の横断のために使用される場合には、選択グラフのスタート及びエンドノードは、トラックレットグラフのものと反対の意味を有し、菱形のみがジョイン（結合）を表している。
【００５１】
いずれの場合でも、トラックレット選択グラフは、最初に選択されたトラックレットで始まり、スタートノード２０１で示される利用可能なカメラフレーム４０１を横断可能な、トラックレットグラフによる一組のトラックを表している。曖昧ポイント（点）は、既知であるので、そのような各ポイントでは、システムは、曖昧さの解消のために、曖昧なトラックレットのセットをユーザに提示できる。
【００５２】
例えば、第１ステップでは、曖昧ポイント４１０は、現在のノードからのスリーウェイスプリット（三方向分岐）を表している。最も左側のトラックレットは、２つのカメラ視界４３１につながる。中央のトラックレットは、カメラ視界を持たずに終わる。３番目のトラックレットは、１つのカメラ視界を持っており、次に、ツーウェイスプリット（二方向分岐）につながる。これらのトラックレットの各々を床配置図に描くことができる。選択が行われた後、拒絶されたトラックレットは、床配置図から取り除かれる。エンド（終了）‐トラック２０４に出会うまで、処理が続けられる。
【００５３】
トラックの終端に遭遇するとき、トラック集合処理のプロセスを終了することができる。しかし、ユーザに実際のトラックが終了ポイントから続くと信じる理由があるならば、前述のようなトラックレットグラフ拡張機構が使用される。システムは、終了されたトラックの位置で始まる新しいトラックレットを見出すために、所定時間間隔内でデータベースの検索を行なう。そのようなトラックレットを見出すなら、以下に述べるように、対応するビデオクリップが識別され、トラックレット選択コントロールパネルにおいてユーザに表示される。ユーザがトラックの延長された線分に対して最初のトラックを選択すると、集められたトラックの終端にトラックレットが追加され、その選択されたトラックレットで始まる新しいトラックレットグラフが作成される。その後、その物体の完全なトラックをさらに延長するために、選択プロセスが、前述と同様に、繰り返して続けられる。完全なトラックでは、全てのジョイン及びスプリットノードが取り除かれ、トラックは、単一の開始トラックレットと単一の終了トラックレットとを含むのみである。
【００５４】
ユーザインタフェース
図５に示されるように、一実施の形態では、ユーザインタフェースは、５つのメインパネル、すなわち、床配置図５０１、タイムライン（時系列）５０２、ビデオクリップビン（記憶装置）５０３、トラックレットセレクタ５０４、及びカメラ視界パネル５０５を含む。
【００５５】
床配置図は、図３に示されている通りである。床配置図のトラック３００に沿った人の位置が、トラック３００における「膨れ」３０１（破線）により示される。各センサに対して、タイムライン５０２は、イベントを示す。タイムラインにおける各列は、一つのセンサに対応しており、時間は、左から右に進む。垂直線５１０は、「現在」の再生時間を示す。現在時刻を設定するために、メニュー及びアイコン５２０を使用できる。再生のスピードを調整するために、「ノブ」５２１を使用できる。マウスで線をドラッグすることによって、タイムラインを前方及び後方に移動できる。短い線分２００は、トラックレット、また、線３００は、解決されたトラックをそれぞれ表す、図３を参照。
【００５６】
ビデオクリップビンは、物体識別のために選択されたクリップ（画像系列）の画像を示している。本質的には、ビデオクリップビンにおけるトラックに関連する収集された一連の画像は、トラックと物体に関連するビデオ証拠である。
【００５７】
トラックレット選択制御は、図４の決定グラフの現状を示している。
【００５８】
現在時刻及び選択された位置に対応する画像がカメラ視界パネル５０５に示されている。画像は、ユーザにより選択されるか、或いはカメラスケジューリング処理手順により自動的に選択されることができる。ビデオクリップビン５０３を形成するために、クリップの再生の間に、スケジューリング処理手順を呼び出すことができる。
【００５９】
追跡方法
本発明の実施の形態では、追跡プロセスは、二つの相を含む。すなわち、物体を追跡するために、監視データを記録する相と、及び検索する相とである。
【００６０】
記録相は、図６に示されている。図６は、監視データベース６１１におけるセンサデータを保存する方法を示している。監視データベースは、一組のセンサ１０１によって取得されたイベント１０３を保存する。センサの選択されたサブセット（部分集合）に対して時間的及び空間的に隣接している一連のイベントは、一組のトラックレット６３１を形成するようにリンク６３０されている（繋がっている）。各トラックレットには、トラックレット‐スタートノードとトラックレット‐エンドノードがある。また、トラックレットは、監視データベースに保存される。
【００６１】
センサ起動と同時に、一組のカメラ１０２によって取得された画像１０４の順序がコンピュータ記憶装置６１２に記録される。各イベント及び画像は、１つのカメラ（位置）と時間とに関連付けられている。なお、前述と同様に、カメラのＰＴＺパラメータを判別することもできる。
【００６２】
追跡相は、図７に示されている。この相は、トラックが発生すると予想されるセンサのサブセット（部分集合）を選択し６２０、複数のトラックの始まりとして使用されうる複数のトラックレットを見つけ出し６２５、トラックの開始として第１のトラックレットを選択し６４０、およびトラック集合処理６８０を行うことを含む。
【００６３】
トラック集合処理は、選択されたトラックレットに対してトラックレットグラフ６５１を構成する６５０ことで始まる。トラックレットグラフ６５１は、複数の先行トラックレットが単一の後継トラックレットに合流するところの可能なトラックレット‐ジョインノードと、単一の先行トラックレットが複数のトラックレットに分岐するところの可能なトラックレット‐スプリットノードとを有する。
【００６４】
トラックレットグラフ６５１は、最初に選択されたトラックレットから始めて、繰り返し横断される。そのグラフに続いて、次の曖昧なノードが識別され、候補トラックレットに含まれるセンサ起動（イベント）に時間的及び空間的に相関づけられた画像がコンピュータ記憶装置６１２から検索され、表示６６０され、そして、集められたトラック６６１に結合されるべき次のトラックレット６７０が選択される６７０。
【００６５】
その処理は、集められたトラック６６１がそのエンドポイントとしてトラック‐エンドノードを有するトラックレットで終了されるときに終わり、そして、そのグラフから全てのジョイン及びスプリットノードが取り除かれている。
【００６６】
本発明は、好適な実施の形態を例に挙げて説明したが、本発明の精神及び範囲内で種々の他の改変及び変更を行うことができることを理解すべきである。従って、添付クレームの目的は、本発明の真実の精神及び範囲に含まれるような全ての変形例及び変更例をカバーすることである。
【図面の簡単な説明】
【００６７】
【図１】本発明の実施の形態に従ってトラッキングシステムが実施される環境を示す説明図である。
【図２】本発明の実施の形態によるトラックレット（小行跡）グラフを示す説明図である。
【図３】本発明の実施の形態による図１の環境における追跡物体の行跡を示すブロック図である。
【図４】本発明の実施の形態による決定グラフを示す説明図である。
【図５】本発明の実施の形態によるユーザインタフェースを示す画像である。
【図６】本発明の実施の形態による監視データを記録するための方法を示すフローチャートである。
【図７】本発明の実施の形態による物体を追跡するために監視データを検索する方法を示すフローチャートである。
【技術分野】
【０００１】
本発明は、一般的に監視システムに関し、特に、或る環境における物体を追跡、識別するためのセンサと可動カメラとを含む監視システム及び方法に関する。
【背景技術】
【０００２】
ビデオカメラと比較的簡単なセンサとは、大きな環境に対して混合様式の監視システムを構成することを可能にする。センサは物体を識別できないが、比較的小さな領域では、物体を検出できる。画像が利用可能であるときには、カメラによって入手されたビデオ（映像）の画像から識別を行うことができる。
【０００３】
そのようなシステムによって入手されたビデオを記憶或いは蓄積することは、多テラバイトのデータを超えることがある。明らかに、特定の物体に対して何カ月にも亘って収集された記憶データを、瞬時に検索することは、実際には不可能である。
【０００４】
従って、蓄積（記憶）された画像データ内で物体を追跡、識別するためのシステム及び方法を提供することが望ましい。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来の監視システムでは、通常、人間、動物、車などの物体の追跡は、画像及びビデオ処理によって行われる。そのような監視システムの欠点は、特定の物体を追跡、識別することが必要なときに、物体をカメラによって観測することが必要なことである。しかしながら、多くの監視環境は、正確な操作に必要な完全な監視範囲を提供するために、多くのビデオカメラを必要とする。大量のビデオストリームは、正確に作動するために、監視システムでの演算負荷を増大させる。
【０００６】
本発明の目的は、様々なセンサ、カメラ及び監視データベースの混合されたネットワークを使用することにより、移動する物体（人々）を追跡して、識別するためのシステム及び方法を提供することである。
【課題を解決するための手段】
【０００７】
少数のＰＴＺカメラは、監視下に置かれるべき環境に配置される。カメラの数が比較的少ないとしても、ビデオ（映像）データの量は、多テラバイトの記憶容量を超えることがあり得る。
【０００８】
ビデオカメラは、その環境の一部を監視できるだけである。このため、カメラだけで物体の追跡と識別とを行なうのは難しくなる。カメラの監視範囲が完全であっても、映像データを検索する時間は非実用的なものとなる。
【０００９】
従って、その環境は、またセンサの密度の高い配置構成を含み、それらのセンサは、本質的には、全ての公共領域をカバーする。イベントは、関連するセンサ識別と時間とを有する。これは、センサデータの総量をかなり小さくして、処理を簡単にする。個々の人間がカメラによって連続して見られないとしても、センサの起動イベントは、特定の個人を追跡するために、ビデオ画像に空間的及び時間的に相関づけられる。
【発明の効果】
【００１０】
本発明の実施の形態は、混合様式の監視システムを提供する。本システムは、多くの比較的簡単なセンサ及び比較的小数の可動カメラを含む。このことは、従来の監視システムと対比して、費用、複雑さ、ネットワーク帯域幅、記憶容量、及び処理時間を減少させる。
【００１１】
或る環境における物体は、センサからの利用可能な前後の（文脈）情報を使用してカメラにより追跡される。特定の物体の行跡（トラック）を瞬時に判別するために、何カ月にも亘って収集された前後の（文脈）情報を検索することができる。そして、物体を識別するのに、対応する物体の画像を使用できる。このようなことは、膨大な量の映像データの検索を必要とする従来の監視システムでは、実際には不可能である。
【発明を実施するための最良の形態】
【００１２】
監視システム
図１に示されているように、本発明の実施の形態に従って追跡モジュールが実施される監視システムは、比較的大きなセット（組）のワイヤレス・ネットワークのセンサ（ドット）１０１と、比較的小さなセット（組）のパン‐ティルト‐ズーム（ＰＴＺ）カメラ（三角形）１０２とを含む。センサ対カメラの比率は、非常に大きく、例えば３０：１以上の場合がある。
【００１３】
センサ
センサは、モーション（運動）センサでもよく、またドアセンサ、昇降機センサ、熱センサ、圧力センサ、音響センサでもよい。赤外線センサなどのモーションセンサは、センサの付近での物体の動きを検出できる。ドアセンサは、典型的には戸口を通過する人を示すドア開閉イベントを検出できる。昇降機センサは、同様に、或る環境における人々の到着または出発を示すことができる。また、例えばトランスデューサやマイクロホン等の音響センサは、或る領域の活動を検出できる。センサは、その環境における光スイッチ、またはオフィス機器の電源スイッチに搭載することができる。また、マット（敷物）の圧力センサも、通過するトラフィックを示すことができる。また、環境への入口通路におけるバッジ読取り装置などのセキュリティセンサを組み込むことができる。
【００１４】
各センサは比較的小さく、例えば、モーションセンサについては、３×５×６ｃｍである。好適な実施の形態において、これらのセンサは、約１０メータ以下の間隔で互いに離れて、公共領域に密に配置され、また天井、壁、或いは床に取り付けられる。なお、特定の環境及びその環境におけるトラフィックフロー（交通流）に合うように、センサの空間的配置と密度を適合させることができることに注意すべきである。例えば、高いトラフィック（交通）の地域は、低いトラフィックの地域よりも人口密度が高い。
【００１５】
本発明の一実施の形態では、そのセット（一組）のセンサは、工業規格ＩＥＥＥ８０２．１５．４の無線信号を使用して、プロセッサ１１０（図１を参照）と通信する。これは、ジグビー（Ｚｉｇｂｅｅ）タイプのデバイスによって典型的に使用される物理層である。各電池式センサは、検出モードで約５０μＡ、また通信時に４６ｍＡを消費する。起動による通信間隔は、約１６ミリ秒である。また、センサは、ハードウェアに組み込まれてもよいし、或いは他の通信技術を使用してもよいことに注意すべきである。
【００１６】
イベントがセンサ１０１の何れかによって検出されるとき、そのイベントに対応するセンサ識別記号（ＳＩＤ）とタイムスタンプ（ＴＳ）が一斉送信されるか、或いは別の方法でプロセッサ１１０に送られる。プロセッサは、センサデータを監視データベースとしてメモリに記憶する。識別記号は、本来センサの配置場所、従って起動を引き起こしたイベントの配置場所を示す。イベントの記録を行うのには、僅かなバイト数を要するだけである。従って、映像データと比較すると、長期間に亘って収集されたセンサデータの総量は、本質的には、取るにたらないものである。
【００１７】
そのセット（一組）のカメラは、ビデオ（映像）データ（画像系列）を取得するのに使用される。画像は、カメラの固有カメラ識別記号（ＣＩＤまたは配置場所）とフレーム番号（ＦＮ）を有する。本明細書で使用されるように、フレーム番号は、時間と同義である。すなわち、フレーム番号から時間を直接的に計算することができる。さらに、データベースからの問い合わせの間、どんな時刻におけるセンサ近傍のシーン(場面)の可視部分についても計算できるように、あらゆる時刻が各カメラの一組のパン‐ティルト‐ズーム・パラメータに関連している。
【００１８】
カメラは、最大の監視範囲を提供するために、戦略的な配置場所（位置）、例えばその環境における全てのトラフィックがいつか通過しなければならない配置場所で、典型的には、天井に搭載される。如何なる一般的な方向にも、ＰＴＺカメラ１０２を向けて、焦点を合わせることが可能である。必ずしも必要ではないが、ビデオ画像を取得するために、イベントの検出により、近くの何れのビデオカメラをもセンサ近傍のシーンに向けることができる。少数の一連の画像すなわちイベントに関連するビデオクリップを検索するのに、関連するセンサのＩＤとＴＳを後で使用することができる。また、特定のカメラの近くのセンサの近傍で何らイベントが検出されない場合には、所要の記憶容量を減量させるために、画像収集を中断できることに注意すべきである。
【００１９】
特定のイベントを見つけたり、特定の物体のトラック（行跡）を見つけたりして、それらの物体を識別するために、何カ月もの操作に亘って取得された映像データを調べることは難題である。
【００２０】
トラックレット及びトラックレットグラフ
図２に示されているように、本発明の一実施の形態では、一組のトラックレット（トラック片）２１０が使用される。対応するトラックレットグラフ２００が一組のトラックレット２１０から集められる。トラックレットは、一連の空間的に隣接しているセンサ１０１での一連の時間的に隣接しているイベントをリンクすることによって、形成される。トラックレットは、トラックレットグラフ２１０の基本の構成ブロックである。
【００２１】
我々は、現在のイベントにリンクした直前の先行または後継イベントを見つける処理をコールする（呼び出す）。システムの性能を向上させるために、周期的にトラックレットのリンクと保存（記憶）とを行うことができる。例えば、１営業日の終わりに、或いは毎時間ごとにリンクと保存とを行うことができる。このように、検索を行うことが必要なとき、予め保存したトラックレットを容易に利用することが可能である。
【００２２】
組み立てられたトラックレットグラフ２００では、トラックレットは、グラフのノードで接続された有向エッジである。そのグラフのノードは、各トラックレットのその直後のトラックレットまたは直前のトラックレットとの関係をコード化する。ノードは、次の４つのタイプの内の１つを持つことができる。すなわち、トラック‐スタート(開始)２０１、トラック‐ジョイン（結合）２０２、トラック‐スプリット（分岐）２０３、及びトラック‐エンド（終了）２０４である。
【００２３】
トラック‐スタート
トラック‐スタートノードは、所定時間間隔内に何れの先行イベントもそのセンサにリンクされることができないような、トラックレットにおける最初（第１）のイベントを表している。本明細書で使用されるように、「先行」は、隣接しているセンサでの以前のイベントを意味する。「時間間隔」は、歩行者が一つのセンサから隣接する次のセンサまで移動するのにかかる時間にほぼ制約できる。
【００２４】
トラック‐ジョイン
トラック‐ジョインノードは、所定時間間隔内にそのセンサにリンクさせることができる複数の先行イベントが存在するような、トラックレットグラフにおけるイベントを表す。すなわち、トラックレット‐ジョインノードは、複数の先行トラックレットが単一の後継トラックレットに収束することを表している。単一の有効な先行トラックレットは、それが現在のトラックレットに既にリンクされているので、存在することができない。
【００２５】
トラック‐スプリット
トラック‐スプリットノードは、所定時間間隔内にそのセンサにリンクさせることができる複数の後継トラックレットが存在するような、トラックレットにおけるイベントを表す。すなわち、トラックレット‐スプリットノードは、単一の先行トラックレットが複数の後継トラックレットへ分岐することを表している。単一の有効な後継トラックレットは、それが現在のトラックレットに既にリンクされているので、存在することができない。
【００２６】
トラック‐エンド
トラック‐エンドノードは、所定時間間隔内に何れの後継イベントにもリンクできないような、トラックレットにおける最後のイベントを表している。全てのトラックレットは、一組のグラフを形成し、それらのグラフの各々は、物体が移動した実際のトラック（行跡）に関する固有の曖昧さを表している。
【００２７】
トラックレットグラフは、ユーザにより課され得るか、または時間経過とともに「学習され得る」、時間的及び空間的な制約条件により集めることができるイベントに関連する一組のトラックレットである。
【００２８】
図２のトラックレットグラフには、２つの開始トラックレットがあり、それらは、その後単一のトラックに収束する。そして、収束されたトラックレットは、２度分岐して、４つのエンドポイント（終点）になる。トラックレットグラフは、我々が物体追跡のために使用するイベントの中心的な表示である。
【００２９】
延長トラックレットグラフ
物体がセンサネットワークの視界から見えなくなる場合における延長された追跡の目的のためにも、２つの空間的に隣接していて時間的にも隣接しているトラックレットグラフを集めることができる。このような状況は、追跡されている人々が廊下などの公共領域を抜け出して、オフィスなどの領域に進入するときの環境で頻繁に起こる。オフィスに入るイベントは、人が感知すなわち観測されなくなったとき、トラックレット‐エンドノードで先行トラックレットを終了させる。オフィスを出る際、その人を再び後継グラフで追跡できる。人がオフィスに入ると、その人は、例えば何時間もの長い期間の後にでも、退出しなければならないと思われる。この場合、空間的な制約条件は、厳密に実行され得るが、時間的な制約条件は緩和できる。
【００３０】
先行グラフにおけるトラックレットのトラック‐エンドノードの一つが後継グラフにおけるトラックレットの少なくとも一つのトラックレット‐スタートノードのタイムスタンプよりも小さなタイムスタンプを有するという条件の下で、グラフが集められる。
【００３１】
センサの可視性の判別
本発明の一つの目標は、或るセンサの近傍の領域が複数のカメラの何れから見ることが出来るかを判別することである。これにより、ユーザに提示される無関係な画像の量を最小にする。
【００３２】
この目標を実現するために、システムの全てのカメラがセンサの配置場所に較正される。我々のシステムでは、各センサは、そのカメラからセンサの起動を引き起こしたイベントを見えるようにする各カメラのさまざまなパン、ティルト及びズームのパラメータに関連している。各カメラのＰＴＺパラメータが、カメラ方向の変更の度に、監視データベースに保存されるならば、トラックレットがセンサ起動毎にデータベースから検索されるときに、「可視」領域を、対応する時に各カメラのＰＴＺパラメータと比較できる。カメラのＰＴＺパラメータがセンサの可視領域に入ると、次に、センサの起動（イベント）が可視であると考えられ、対応するカメラからの一連の画像がビデオ証拠として検索される。以下に述べるように、この証拠は、続いて、ユーザインタフェースを使用したトラックレット選択プロセスの間、ユーザに表示される。
【００３３】
人間に誘導された追跡
我々が我々のシステムで解決する人間により誘導された追跡及び検索に関するタスクを簡単なシナリオで示すことができる。
【００３４】
ラップトップ型パソコンがオフィスから午後１時００分と午後２時００分との間に盗まれたと報告された。そのオフィスに対して利用可能な直接的カメラ監視範囲は無かった。ユーザは、その時間帯にオフィスを通過できた全ての人々を見つけ出し、そして可能ならば、彼らを識別し、或る個人をそのイベントに結びつける証拠を集める必要がある。そのような状況では、オペレータ（操作者）は、そのオフィスのドアで発生した全てのトラック（行跡）を識別し、全ての利用可能なビデオ証拠を調べることによって、その個人を識別することを欲するであろう。
【００３５】
混合様式のセンサネットワークでの物体追跡の一般原理
トラック‐スタートノード及びトラック‐エンドノードは、完全なトラック（行跡）の明確な始めと終わりである。ところで、トラック‐スプリット（行跡分岐）とトラック‐ジョイン（行跡結合）の曖昧さの自動的解決は、感知されたイベントのみを使用するだけでは不可能である。スプリット（分岐）とジョイン（結合）の曖昧さは、センサにおける、或いは、センサの近くのイベント以外の如何なる特徴へのセンサネットワークの知覚的限界のためである。
【００３６】
そのような状況では、２人の人間が廊下で通路を横断するイベントは、システムに、可能な交差点の前後で各人に対するイベントを含む少なくとも４つのトラックレットを発生させる。更なる情報がなければ、このセット（組）のトラックレットの解釈には、固有の曖昧さがある。例えば、その２人の人間は、互いに行き違うか、或いは出会って彼らが来た道を引き返すことができる。これらのトラック（行跡）に対するアイデンティティ（同一性）をマップ化して、絶対確実にそれらの連続性を維持することは、それらのイベントだけからでは不可能である。
【００３７】
これらの曖昧さの見地から、我々は、以下のように簡素化して観測を行う。
【００３８】
ユーザは、グラフ全体の曖昧さを除く必要がない。ユーザは、前方または後方のグラフ横断に対して、選択されたトラックレットを開始するトラック‐ジョインノードの曖昧さを除いたり、或いは、トラックレットを終了させるトラック‐スプリットノードの曖昧さを除いたりすることがそれぞれ必要になるだけである。
【００３９】
各候補トラックに関連するビデオクリップを考慮に入れることによって、トラック‐ジョイン及びトラック‐スプリットの曖昧さを解決することを簡素化できる。
【００４０】
第１の観測は、トラックに集められるべき可能な候補であるとみなされる必要があるトラックレットの量をかなり減量させる。一実施の形態では、ユーザは、１度に一人のみを追跡する。従って、システムは、効果的に他のイベントを無視しつつ、その人の行動を解決（分析）するだけでよい。通路で交差する２人の人間の例に対して、我々は、１つのトラックレットが交差点の前に選択され、４つ全てではなく、２つのトラックレットだけが、可能な連続であるとみなされる必要があると仮定する。追跡及びトラックの曖昧さの解消への、この繰り返しフォーカスされた手法で、私たちは、問題の複雑さを潜在的に指数型から線形（一次関数）へ減少させることができる。
【００４１】
第２の観測は、スプリット−ジョイン（分岐−結合）の曖昧さが生じるとき、システムがトラックレットの時間と配置場所とを直近のカメラからのビデオと相関させて、集合トラックに対して何れのトラックレットが可能性の高い連続であるかを決定するために、対応するビデオクリップをユーザに表示することができることを意味する。
【００４２】
センサのネットワークだけを使用することにより、物体の動きの力学（動態）を推測するのを試みる自動追跡手順を開発することが可能であるかもしれない。しかし、如何なるそのような処理手順も誤りを犯すことは不可避である。監視アプリケーションでは、若干不正確なだけの追跡処理の結果に対するコミットメント（関与、取り組み、対応）は、かなり高価になる場合がある。
【００４３】
従って、我々の追尾方式は、追跡データを表している基本的な前後の（文脈）情報としてのトラックレットグラフと共に、人間に誘導された技術を使用する。追跡及び検索が基づいているセンサデータが非常に小さく、従って、特に映像データの従来の検索と比較すると、速やかに処理を進めることができることに注意すべきである。
【００４４】
我々のシステムの主眼とすることは、イベントを使用することにより非常に短時間で効率的に多量の映像データを検索することである。このために、我々は、主としてフォールスネガティブレート（偽陰性率）を小さくすることに関心があるが、フォールスポジティブレート（偽陽性率）を小さくすることが遠い二次的目標である。これらの目標を実現するために、我々は、以下に述べるようなトラック集合用の機構を採用する。
【００４５】
トラックレット集合処理
我々のシステムの人間に誘導された追跡のプロセスは、我々が開始すべきトラックと予想する一つまたは複数のセンサのサブセット（部分集合）と、任意ではあるが、時間間隔と、を選択することで始まる。例えば、我々のシステムでは、センサがオフィスの外側の公共領域に配置される場合、ユーザは、人が特定のオフィスを出るときに恐らく起動されうるフロアープラン（床配置図）を使用してそのセンサのサブセット（部分集合）を選択できる。
【００４６】
イベントのデータベースにおける高速検索を行なうことによって、我々は、選択されたセンサの１つに起因したトラックレットのあらゆる例を識別できる。ここで、ユーザは、さらに詳細に探査を行うために、トラックレットの単一の例を選択できる。トラックが開始されるおおよその時点を特定することによって、上記の検索を速めることができる。
【００４７】
第１のトラックレットを選択すると、対応するトラックレットグラフが構成される。集められたトラックのグラフは、時間的及び空間的に隣接する一連のイベントに関連する複数のトラックレットを含む。選択されたトラックレットは、図３に示されているように、エンド（終了）、スプリット（分岐）またはノード（結合）があるところのポイント（地点）まで床配置図上に描かれる。エンドポイント（終点）に到達すると、トラック３００は完成する。床配置図においてトラック３００に沿った人の場所が、トラック３００で太線３０１により、ユーザインタフェースに視覚的に示される。
【００４８】
トラックレットのエンド（終端）がスプリット（分岐）ノード或いはジョイン（結合）ノードを有するならば、トラックは終了されず、候補トラックレットを、一貫性を有するトラックへ集めるために複数のトラックレットグラフを使用してトラックレット集合処理が繰り返して行われる。このプロセスの間、グラフ中の各曖昧（不明瞭）点（スプリットノードまたはジョインノード）で、ユーザは、さらに横断するためのサブグラフを選択する。人々を識別して、正しい後継トラックレットを選択するために、対応するトラックレットに属するセンサ起動の何れかに指向されたカメラからの利用可能なビデオ画像を表示することができる。また、物体や顔の認証などの自動化技術を、上述の識別のために使用できる。
【００４９】
その処理は、選択グラフを使用して図４に示されている。選択グラフでは、ビデオ画像４０１は、対応する複数のトラックレットに含まれている複数のセンサへ指向された複数のカメラからの利用可能な複数のビデオクリップを表している。菱形４１０は、曖昧ポイント（点）、及びその曖昧ポイントに続く可能な競合トラックレットを示す。そのグラフにおけるエッジは、トラックレットが存在することを示す。
【００５０】
なお、図４のトラックレット選択グラフは、図２のトラックレットグラフに関連するが、それと同一ではない。事実、図４のグラフは、一般的な選択グラフを表しており、それは、時間的に前方（図示されるように）或いは後方へのトラックレットグラフの横断のために使用できる。前者の場合には、図４における選択グラフのスタート（開始）及びエンド（終了）ノードは、トラックレットグラフにおけるそれらと同じ意味を持っているが、菱形のみは、スプリット（分岐）を表している。トラック‐ジョインは、前進の選択代替策を提示しないので、前進の選択プロセスとは無関係である。対照的に、選択グラフが後方の横断のために使用される場合には、選択グラフのスタート及びエンドノードは、トラックレットグラフのものと反対の意味を有し、菱形のみがジョイン（結合）を表している。
【００５１】
いずれの場合でも、トラックレット選択グラフは、最初に選択されたトラックレットで始まり、スタートノード２０１で示される利用可能なカメラフレーム４０１を横断可能な、トラックレットグラフによる一組のトラックを表している。曖昧ポイント（点）は、既知であるので、そのような各ポイントでは、システムは、曖昧さの解消のために、曖昧なトラックレットのセットをユーザに提示できる。
【００５２】
例えば、第１ステップでは、曖昧ポイント４１０は、現在のノードからのスリーウェイスプリット（三方向分岐）を表している。最も左側のトラックレットは、２つのカメラ視界４３１につながる。中央のトラックレットは、カメラ視界を持たずに終わる。３番目のトラックレットは、１つのカメラ視界を持っており、次に、ツーウェイスプリット（二方向分岐）につながる。これらのトラックレットの各々を床配置図に描くことができる。選択が行われた後、拒絶されたトラックレットは、床配置図から取り除かれる。エンド（終了）‐トラック２０４に出会うまで、処理が続けられる。
【００５３】
トラックの終端に遭遇するとき、トラック集合処理のプロセスを終了することができる。しかし、ユーザに実際のトラックが終了ポイントから続くと信じる理由があるならば、前述のようなトラックレットグラフ拡張機構が使用される。システムは、終了されたトラックの位置で始まる新しいトラックレットを見出すために、所定時間間隔内でデータベースの検索を行なう。そのようなトラックレットを見出すなら、以下に述べるように、対応するビデオクリップが識別され、トラックレット選択コントロールパネルにおいてユーザに表示される。ユーザがトラックの延長された線分に対して最初のトラックを選択すると、集められたトラックの終端にトラックレットが追加され、その選択されたトラックレットで始まる新しいトラックレットグラフが作成される。その後、その物体の完全なトラックをさらに延長するために、選択プロセスが、前述と同様に、繰り返して続けられる。完全なトラックでは、全てのジョイン及びスプリットノードが取り除かれ、トラックは、単一の開始トラックレットと単一の終了トラックレットとを含むのみである。
【００５４】
ユーザインタフェース
図５に示されるように、一実施の形態では、ユーザインタフェースは、５つのメインパネル、すなわち、床配置図５０１、タイムライン（時系列）５０２、ビデオクリップビン（記憶装置）５０３、トラックレットセレクタ５０４、及びカメラ視界パネル５０５を含む。
【００５５】
床配置図は、図３に示されている通りである。床配置図のトラック３００に沿った人の位置が、トラック３００における「膨れ」３０１（破線）により示される。各センサに対して、タイムライン５０２は、イベントを示す。タイムラインにおける各列は、一つのセンサに対応しており、時間は、左から右に進む。垂直線５１０は、「現在」の再生時間を示す。現在時刻を設定するために、メニュー及びアイコン５２０を使用できる。再生のスピードを調整するために、「ノブ」５２１を使用できる。マウスで線をドラッグすることによって、タイムラインを前方及び後方に移動できる。短い線分２００は、トラックレット、また、線３００は、解決されたトラックをそれぞれ表す、図３を参照。
【００５６】
ビデオクリップビンは、物体識別のために選択されたクリップ（画像系列）の画像を示している。本質的には、ビデオクリップビンにおけるトラックに関連する収集された一連の画像は、トラックと物体に関連するビデオ証拠である。
【００５７】
トラックレット選択制御は、図４の決定グラフの現状を示している。
【００５８】
現在時刻及び選択された位置に対応する画像がカメラ視界パネル５０５に示されている。画像は、ユーザにより選択されるか、或いはカメラスケジューリング処理手順により自動的に選択されることができる。ビデオクリップビン５０３を形成するために、クリップの再生の間に、スケジューリング処理手順を呼び出すことができる。
【００５９】
追跡方法
本発明の実施の形態では、追跡プロセスは、二つの相を含む。すなわち、物体を追跡するために、監視データを記録する相と、及び検索する相とである。
【００６０】
記録相は、図６に示されている。図６は、監視データベース６１１におけるセンサデータを保存する方法を示している。監視データベースは、一組のセンサ１０１によって取得されたイベント１０３を保存する。センサの選択されたサブセット（部分集合）に対して時間的及び空間的に隣接している一連のイベントは、一組のトラックレット６３１を形成するようにリンク６３０されている（繋がっている）。各トラックレットには、トラックレット‐スタートノードとトラックレット‐エンドノードがある。また、トラックレットは、監視データベースに保存される。
【００６１】
センサ起動と同時に、一組のカメラ１０２によって取得された画像１０４の順序がコンピュータ記憶装置６１２に記録される。各イベント及び画像は、１つのカメラ（位置）と時間とに関連付けられている。なお、前述と同様に、カメラのＰＴＺパラメータを判別することもできる。
【００６２】
追跡相は、図７に示されている。この相は、トラックが発生すると予想されるセンサのサブセット（部分集合）を選択し６２０、複数のトラックの始まりとして使用されうる複数のトラックレットを見つけ出し６２５、トラックの開始として第１のトラックレットを選択し６４０、およびトラック集合処理６８０を行うことを含む。
【００６３】
トラック集合処理は、選択されたトラックレットに対してトラックレットグラフ６５１を構成する６５０ことで始まる。トラックレットグラフ６５１は、複数の先行トラックレットが単一の後継トラックレットに合流するところの可能なトラックレット‐ジョインノードと、単一の先行トラックレットが複数のトラックレットに分岐するところの可能なトラックレット‐スプリットノードとを有する。
【００６４】
トラックレットグラフ６５１は、最初に選択されたトラックレットから始めて、繰り返し横断される。そのグラフに続いて、次の曖昧なノードが識別され、候補トラックレットに含まれるセンサ起動（イベント）に時間的及び空間的に相関づけられた画像がコンピュータ記憶装置６１２から検索され、表示６６０され、そして、集められたトラック６６１に結合されるべき次のトラックレット６７０が選択される６７０。
【００６５】
その処理は、集められたトラック６６１がそのエンドポイントとしてトラック‐エンドノードを有するトラックレットで終了されるときに終わり、そして、そのグラフから全てのジョイン及びスプリットノードが取り除かれている。
【００６６】
本発明は、好適な実施の形態を例に挙げて説明したが、本発明の精神及び範囲内で種々の他の改変及び変更を行うことができることを理解すべきである。従って、添付クレームの目的は、本発明の真実の精神及び範囲に含まれるような全ての変形例及び変更例をカバーすることである。
【図面の簡単な説明】
【００６７】
【図１】本発明の実施の形態に従ってトラッキングシステムが実施される環境を示す説明図である。
【図２】本発明の実施の形態によるトラックレット（小行跡）グラフを示す説明図である。
【図３】本発明の実施の形態による図１の環境における追跡物体の行跡を示すブロック図である。
【図４】本発明の実施の形態による決定グラフを示す説明図である。
【図５】本発明の実施の形態によるユーザインタフェースを示す画像である。
【図６】本発明の実施の形態による監視データを記録するための方法を示すフローチャートである。
【図７】本発明の実施の形態による物体を追跡するために監視データを検索する方法を示すフローチャートである。
【特許請求の範囲】
【請求項１】
監視データベースを使用して物体を追跡するためのコンピュータにより実施される方法であって、前記監視データベースは、一組のセンサによって取得されたイベントと一組のカメラによって取得された一連の画像とを保存し、また各イベントと画像とは、関連づけられた位置と時間とを有し、
前記方法は、
前記一組のセンサにより感知された、時間的及び空間的に隣接する一連のイベント同士を関連づけて、一組のトラックレットを形成する工程であって、各トラックレットは、トラック‐スタートノード、トラック‐ジョインノード或いはトラックレット‐スプリットノードで始まって、トラック‐エンドノード、前記トラックレット‐ジョインノード或いは前記トラックレット‐スプリットノードで終わり、前記トラックレット‐ジョインノードは、複数の先行トラックレットが単一の後継トラックレットに合流するところで生じ、前記トラックレット‐スプリットノードは、単一の先行トラックレットが複数の後継トラックレットに分岐するところで生じる工程と；
センサのサブセットを選択する工程と；
前記センサのサブセットに関連づけられているトラックレットのサブセットを識別する工程と；
前記トラックレットのサブセットから単一のトラックレットを開始トラックレットとして選定する工程と；
前記開始トラックレットに時間的及び空間的に隣接する全てのトラックレットを集めて、トラックレットグラフを作成する工程と；
前記トラック‐ジョインノードと前記トラック‐スプリットノードとの曖昧さを除いて、前記トラックレットグラフから除去して環境における物体のトラックを判別する工程と；
を備えたことを特徴とする監視データベースを使用して物体を追跡するためのコンピュータにより実施される方法。
【請求項２】
前記曖昧さを除く工程は、さらに、物体を識別するために、前記トラックレットグラフの前記イベントに時間的及び空間的に関連する利用可能な画像を表示する工程を含むことを特徴とする請求項１に記載の監視データベースを使用して物体を追跡するためのコンピュータにより実施される方法。
【請求項３】
前記センサは、赤外線モーションセンサであり、また前記カメラは、可動であることを特徴とする請求項１に記載の監視データベースを使用して物体を追跡するためのコンピュータにより実施される方法。
【請求項４】
前記センサは、前記イベントを伝送するためにワイヤレス送信機を使用することを特徴とする請求項１に記載の監視データベースを使用して物体を追跡するためのコンピュータにより実施される方法。
【請求項５】
イベントが特定のカメラの視界にセンサによって検出されるときにのみ、一連の画像を検索する工程をさらに備えたことを特徴とする請求項１に記載の監視データベースを使用して物体を追跡するためのコンピュータにより実施される方法。
【請求項６】
特定のイベントが感知されるときに、前記特定のカメラを前記特定のセンサの一般的近傍に指向させる工程をさらに備えたことを特徴とする請求項５に記載の監視データベースを使用して物体を追跡するためのコンピュータにより実施される方法。
【請求項７】
前記集合化が時間的及び空間的な制約条件に従って行なわれることを特徴とする請求項１に記載の監視データベースを使用して物体を追跡するためのコンピュータにより実施される方法。
【請求項８】
前記時間的及び空間的な制約条件は、ユーザによって選択されることを特徴とする請求項７に記載の監視データベースを使用して物体を追跡するためのコンピュータにより実施される方法。
【請求項９】
前記時間的及び空間的な制約条件は、時間経過とともに学習されることを特徴とする請求項７に記載の監視データベースを使用して物体を追跡するためのコンピュータにより実施される方法。
【請求項１０】
前記環境の床配置図上に前記トラックを描く工程をさらに備えたことを特徴とする請求項１に記載の監視データベースを使用して物体を追跡するためのコンピュータにより実施される方法。
【請求項１１】
特定の順序の画像を前記トラックレットと対応させる工程をさらに備えたことを特徴とする請求項１に記載の監視データベースを使用して物体を追跡するためのコンピュータにより実施される方法。
【請求項１２】
前記トラックに関連づけられた特定の一連の画像を、前記トラックと物体に関連するビデオ証拠として収集する工程をさらに備えたことを特徴とする請求項１１に記載の監視データベースを使用して物体を追跡するためのコンピュータにより実施される方法。
【請求項１３】
如何なる所定の時でもカメラでセンサを識別する工程をさらに備えたことを特徴とする請求項１に記載の監視データベースを使用して物体を追跡するためのコンピュータにより実施される方法。
【請求項１４】
一連の画像における可視の特定のイベントを識別する工程をさらに備えたことを特徴とする請求項１に記載の監視データベースを使用して物体を追跡するためのコンピュータにより実施される方法。
【請求項１５】
ビデオ証拠を可視のセンサ起動に対応する画像だけに減少させる工程をさらに備えたことを特徴とする請求項１４に記載の監視データベースを使用して物体を追跡するためのコンピュータにより実施される方法。
【請求項１６】
前記関連づける工程は、周期的に行なわれ、また一組のトラックレットは、監視データベースに予め記憶されることを特徴とする請求項１に記載の監視データベースを使用して物体を追跡するためのコンピュータにより実施される方法。
【請求項１７】
監視データベースを使用して、物体を追跡するためのシステムであって、前記監視データベースは、一組のセンサによって取得されたイベントと一組のカメラによって取得された一連の画像とを保存し、また各イベントと画像とは、関連づけられた位置と時間とを有し、
前記システムは、
前記一組のセンサにより感知された、時間的及び空間的に隣接する一連のイベント同士を関連づけて、一組のトラックレットを形成する手段であって、各トラックレットは、トラック‐スタートノード、トラック‐ジョインノード或いはトラックレット‐スプリットノードで始まって、トラック‐エンドノード、前記トラックレット‐ジョインノード或いは前記トラックレット‐スプリットノードで終わり、前記トラックレット‐ジョインノードは、複数の先行トラックレットが単一の後継トラックレットに合流するところで生じ、前記トラックレット‐スプリットノードは、単一の先行トラックレットが複数の後継トラックレットに分岐するところで生じる手段と；
開始トラックレットを選択する手段と；
センサのサブセットを選択するユーザインタフェースと；
前記開始トラックレットに時間的及び空間的に隣接する全てのトラックレットを集めて、トラックレットグラフを作成する手段と；
前記トラック‐ジョインノードと前記トラック‐スプリットノードとの曖昧さを除いて、前記トラックレットグラフから除去して環境における物体のトラックを判別する手段と；
を備えたことを特徴とする監視データベースを使用して物体を追跡するためのシステム。
【請求項１８】
前記曖昧さを除くことは、前記物体を識別するために、前記トラックレットグラフの前記イベントに時間的及び空間的に関連する利用可能な画像を表示する手段をさらに備えたことを特徴とする請求項１７に記載の監視データベースを使用して物体を追跡するためのシステム。
【請求項１９】
前記センサは、赤外線モーションセンサであり、また前記カメラは、可動であることを特徴とする請求項１８に記載の監視データベースを使用して物体を追跡するためのシステム。
【請求項１】
監視データベースを使用して物体を追跡するためのコンピュータにより実施される方法であって、前記監視データベースは、一組のセンサによって取得されたイベントと一組のカメラによって取得された一連の画像とを保存し、また各イベントと画像とは、関連づけられた位置と時間とを有し、
前記方法は、
前記一組のセンサにより感知された、時間的及び空間的に隣接する一連のイベント同士を関連づけて、一組のトラックレットを形成する工程であって、各トラックレットは、トラック‐スタートノード、トラック‐ジョインノード或いはトラックレット‐スプリットノードで始まって、トラック‐エンドノード、前記トラックレット‐ジョインノード或いは前記トラックレット‐スプリットノードで終わり、前記トラックレット‐ジョインノードは、複数の先行トラックレットが単一の後継トラックレットに合流するところで生じ、前記トラックレット‐スプリットノードは、単一の先行トラックレットが複数の後継トラックレットに分岐するところで生じる工程と；
センサのサブセットを選択する工程と；
前記センサのサブセットに関連づけられているトラックレットのサブセットを識別する工程と；
前記トラックレットのサブセットから単一のトラックレットを開始トラックレットとして選定する工程と；
前記開始トラックレットに時間的及び空間的に隣接する全てのトラックレットを集めて、トラックレットグラフを作成する工程と；
前記トラック‐ジョインノードと前記トラック‐スプリットノードとの曖昧さを除いて、前記トラックレットグラフから除去して環境における物体のトラックを判別する工程と；
を備えたことを特徴とする監視データベースを使用して物体を追跡するためのコンピュータにより実施される方法。
【請求項２】
前記曖昧さを除く工程は、さらに、物体を識別するために、前記トラックレットグラフの前記イベントに時間的及び空間的に関連する利用可能な画像を表示する工程を含むことを特徴とする請求項１に記載の監視データベースを使用して物体を追跡するためのコンピュータにより実施される方法。
【請求項３】
前記センサは、赤外線モーションセンサであり、また前記カメラは、可動であることを特徴とする請求項１に記載の監視データベースを使用して物体を追跡するためのコンピュータにより実施される方法。
【請求項４】
前記センサは、前記イベントを伝送するためにワイヤレス送信機を使用することを特徴とする請求項１に記載の監視データベースを使用して物体を追跡するためのコンピュータにより実施される方法。
【請求項５】
イベントが特定のカメラの視界にセンサによって検出されるときにのみ、一連の画像を検索する工程をさらに備えたことを特徴とする請求項１に記載の監視データベースを使用して物体を追跡するためのコンピュータにより実施される方法。
【請求項６】
特定のイベントが感知されるときに、前記特定のカメラを前記特定のセンサの一般的近傍に指向させる工程をさらに備えたことを特徴とする請求項５に記載の監視データベースを使用して物体を追跡するためのコンピュータにより実施される方法。
【請求項７】
前記集合化が時間的及び空間的な制約条件に従って行なわれることを特徴とする請求項１に記載の監視データベースを使用して物体を追跡するためのコンピュータにより実施される方法。
【請求項８】
前記時間的及び空間的な制約条件は、ユーザによって選択されることを特徴とする請求項７に記載の監視データベースを使用して物体を追跡するためのコンピュータにより実施される方法。
【請求項９】
前記時間的及び空間的な制約条件は、時間経過とともに学習されることを特徴とする請求項７に記載の監視データベースを使用して物体を追跡するためのコンピュータにより実施される方法。
【請求項１０】
前記環境の床配置図上に前記トラックを描く工程をさらに備えたことを特徴とする請求項１に記載の監視データベースを使用して物体を追跡するためのコンピュータにより実施される方法。
【請求項１１】
特定の順序の画像を前記トラックレットと対応させる工程をさらに備えたことを特徴とする請求項１に記載の監視データベースを使用して物体を追跡するためのコンピュータにより実施される方法。
【請求項１２】
前記トラックに関連づけられた特定の一連の画像を、前記トラックと物体に関連するビデオ証拠として収集する工程をさらに備えたことを特徴とする請求項１１に記載の監視データベースを使用して物体を追跡するためのコンピュータにより実施される方法。
【請求項１３】
如何なる所定の時でもカメラでセンサを識別する工程をさらに備えたことを特徴とする請求項１に記載の監視データベースを使用して物体を追跡するためのコンピュータにより実施される方法。
【請求項１４】
一連の画像における可視の特定のイベントを識別する工程をさらに備えたことを特徴とする請求項１に記載の監視データベースを使用して物体を追跡するためのコンピュータにより実施される方法。
【請求項１５】
ビデオ証拠を可視のセンサ起動に対応する画像だけに減少させる工程をさらに備えたことを特徴とする請求項１４に記載の監視データベースを使用して物体を追跡するためのコンピュータにより実施される方法。
【請求項１６】
前記関連づける工程は、周期的に行なわれ、また一組のトラックレットは、監視データベースに予め記憶されることを特徴とする請求項１に記載の監視データベースを使用して物体を追跡するためのコンピュータにより実施される方法。
【請求項１７】
監視データベースを使用して、物体を追跡するためのシステムであって、前記監視データベースは、一組のセンサによって取得されたイベントと一組のカメラによって取得された一連の画像とを保存し、また各イベントと画像とは、関連づけられた位置と時間とを有し、
前記システムは、
前記一組のセンサにより感知された、時間的及び空間的に隣接する一連のイベント同士を関連づけて、一組のトラックレットを形成する手段であって、各トラックレットは、トラック‐スタートノード、トラック‐ジョインノード或いはトラックレット‐スプリットノードで始まって、トラック‐エンドノード、前記トラックレット‐ジョインノード或いは前記トラックレット‐スプリットノードで終わり、前記トラックレット‐ジョインノードは、複数の先行トラックレットが単一の後継トラックレットに合流するところで生じ、前記トラックレット‐スプリットノードは、単一の先行トラックレットが複数の後継トラックレットに分岐するところで生じる手段と；
開始トラックレットを選択する手段と；
センサのサブセットを選択するユーザインタフェースと；
前記開始トラックレットに時間的及び空間的に隣接する全てのトラックレットを集めて、トラックレットグラフを作成する手段と；
前記トラック‐ジョインノードと前記トラック‐スプリットノードとの曖昧さを除いて、前記トラックレットグラフから除去して環境における物体のトラックを判別する手段と；
を備えたことを特徴とする監視データベースを使用して物体を追跡するためのシステム。
【請求項１８】
前記曖昧さを除くことは、前記物体を識別するために、前記トラックレットグラフの前記イベントに時間的及び空間的に関連する利用可能な画像を表示する手段をさらに備えたことを特徴とする請求項１７に記載の監視データベースを使用して物体を追跡するためのシステム。
【請求項１９】
前記センサは、赤外線モーションセンサであり、また前記カメラは、可動であることを特徴とする請求項１８に記載の監視データベースを使用して物体を追跡するためのシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００８−１７２７６５（Ｐ２００８−１７２７６５Ａ）
【公開日】平成２０年７月２４日（２００８．７．２４）
【国際特許分類】
【外国語出願】
【出願番号】特願２００７−３０７６４８（Ｐ２００７−３０７６４８）
【出願日】平成１９年１１月２８日（２００７．１１．２８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＺＩＧＢＥＥ
【出願人】（５９７０６７５７４）ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド (484)
【住所又は居所原語表記】２０１ ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ ０２１３９， Ｕ．Ｓ．Ａ．
【Ｆターム（参考）】
【公開日】平成２０年７月２４日（２００８．７．２４）
【国際特許分類】
【出願番号】特願２００７−３０７６４８（Ｐ２００７−３０７６４８）
【出願日】平成１９年１１月２８日（２００７．１１．２８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＺＩＧＢＥＥ
【出願人】（５９７０６７５７４）ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド (484)
【住所又は居所原語表記】２０１ ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ ０２１３９， Ｕ．Ｓ．Ａ．
【Ｆターム（参考）】
[ Back to top ]