追跡方法、監視システム及びプログラム
【課題】追跡方法、監視システム及びプログラムにおいて、追跡対象が周辺領域に影響を及ぼす場合であっても安定した追跡を行うことを目的とする。
【解決手段】監視領域内の複数の箇所で前記監視領域内の領域を撮影するカメラからの画像データに基づいて、追跡対象の位置を推定した推定結果の分布を用いて前記追跡対象の存在確率を表す第１の多値化画像データを生成し、前記カメラからの画像データに基づいて、前記追跡対象らしさの度合いを表す第２の多値化画像データを生成し、前記第１の多値化画像と前記第２の多値化画像を比較し、比較結果に基づいて前記推定結果を評価して前記推定結果を再構成することで前記追跡対象を追跡し、前記第１及び第２の多値化画像は、いずれもｎ≧３（ｎは自然数）を満たすｎ値化画像である。
【解決手段】監視領域内の複数の箇所で前記監視領域内の領域を撮影するカメラからの画像データに基づいて、追跡対象の位置を推定した推定結果の分布を用いて前記追跡対象の存在確率を表す第１の多値化画像データを生成し、前記カメラからの画像データに基づいて、前記追跡対象らしさの度合いを表す第２の多値化画像データを生成し、前記第１の多値化画像と前記第２の多値化画像を比較し、比較結果に基づいて前記推定結果を評価して前記推定結果を再構成することで前記追跡対象を追跡し、前記第１及び第２の多値化画像は、いずれもｎ≧３（ｎは自然数）を満たすｎ値化画像である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、追跡方法、監視システム及びプログラムに係り、特に人等の追跡対象を追跡する追跡方法、監視システム及びプログラムに関する。
【背景技術】
【０００２】
データセンタ等、セキュリティレベルの高い施設では、多数の監視カメラを監視領域に対して死角なく配置して監視を行っている。しかし、多数のカメラで人等の追跡対象を同時に監視することは難しい。又、データセンタ等の屋内監視カメラでは、様々なオクルージョンが発生すると共に、カメラからの距離によって人の大きさが違う等の問題があり、従来技術を用いた追跡（又は、トラッキング）や、顔等の特徴抽出による追跡は困難である。
【０００３】
そこで、監視領域の見取り図（又は、地図）上に大まかな追跡対象の位置を表示することで、追跡対象の大まかな動きを把握することが提案されている（特許文献１）。
【０００４】
又、人のシルエット画像と、シルエット画像をシミュレートしたシミュレーション画像の一致度を尤度としたパーティクルフィルタを各追跡対象に対して構成する方法が提案されている（特許文献２）。屋内監視カメラの場合、画像の予測値を画面上に投影して実画像と比較しながら追跡対象の位置を推定する方法が有用である。しかし、２値化したシルエット画像とシミュレーション画像を用いる場合には、以下のような問題がある。
【０００５】
背景差分法やフレーム間差分法によって特定したシルエット画像の領域が必ずしも人領域のみを抽出できるとは限らない。背景差分法による領域抽出を行った場合には、人領域以外の背景領域の変化等が問題になる。例えば、監視領域内で人が作業場所まで移動し、何らかの作業をして立ち去るシーンでは、作業によって物の配置が変化するので、人（即ち、追跡対象）が人領域の周辺領域の状態に影響を及ぼす。例えば、人が椅子に座って作業を行うのであれば、椅子を引く行ためにより椅子周辺の広域に関して背景が変化してしまう。従って、椅子に座った人がその後立ち去った場合にも、作業場所周辺が背景差分により抽出されてしまい、追跡対象である人を追跡できない場合もある。又、フレーム間差分法によって領域抽出を行った場合には、静止した人を抽出することはできず、更に、動きが少ない作業を行っている人の追跡ができない場合もある。
【０００６】
このように、どのような方法によってシルエット画像を抽出したとしても、特に様々なオクルージョンが発生する屋内監視カメラを用いた追跡の場合には、人領域だけを確実に抽出することは困難である。つまり、シミュレーション画像として生成されたシルエット画像の誤差が大きい場合には、追跡に失敗する可能性がある。又、シミュレーション画像は過去に予測した状態を元に作成されるが、予測した状態の誤差が大きい場合にはその後の推定に悪影響を与えてしまい、更に予測状態の誤差が大きくなるというスパイラルに陥ることになる。特に、追跡の開始から追跡が安定するまでの期間や、追跡対象がカメラの死角に入り推定が曖昧になる場合に、上記のスパイラルに陥りやすい。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−２４９８８５号公報
【特許文献２】特許第３６６４７８４号公報
【特許文献３】特開平５−２１６８６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の監視システムでは、追跡対象が周辺領域に影響を及ぼす場合に安定した追跡を行うことは難しいという問題があった。
【０００９】
そこで、本発明は、追跡対象が周辺領域に影響を及ぼす場合であっても安定した追跡を行うことのできる追跡方法、監視システム及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一観点によれば、監視領域内の複数の箇所で前記監視領域内の領域を撮影するカメラからの画像データに基づいて、追跡対象の位置を推定した推定結果の分布を用いて前記追跡対象の存在確率を表す第１の多値化画像データを生成するステップと、前記カメラからの画像データに基づいて、前記追跡対象らしさの度合いを表す第２の多値化画像データを生成するステップと、前記第１の多値化画像と前記第２の多値化画像を比較し、比較結果に基づいて前記推定結果を評価するステップと、前記評価に基づいて前記推定結果を再構成することで前記追跡対象を追跡するステップを含み、前記第１及び第２の多値化画像は、いずれもｎ≧３（ｎは自然数）を満たすｎ値化画像であるが提供される。
【００１１】
本発明の一観点によれば、監視領域内の複数の箇所で前記監視領域内の領域を観測するカメラからの画像データに基づいて追跡対象を追跡する監視システムであって、前記画像データに基づいて、前記追跡対象の位置を推定した推定結果の分布を用いて前記追跡対象の存在確率を表す第１の多値化画像データを生成する第１の生成手段と、前記画像データに基づいて、前記追跡対象らしさの度合いを表す第２の多値化画像データを生成する第２の生成手段と、前記第１の多値化画像と前記第２の多値化画像を比較し、比較結果に基づいて前記推定結果を評価する評価手段と、前記評価に基づいて前記推定結果を再構成することで前記追跡対象を追跡する追跡手段を備え、前記第１及び第２の多値化画像は、いずれもｎ≧３（ｎは自然数）を満たすｎ値化画像である監視システムが提供される。
【００１２】
本発明の一観点によれば、コンピュータに追跡対象の追跡を行わせるプログラムであって、監視領域内の複数の箇所で前記監視領域内の領域を撮影するカメラからの画像データに基づいて、追跡対象の位置を推定した推定結果の分布を用いて前記追跡対象の存在確率を表す第１の多値化画像データを生成する手順と、前記カメラからの画像データに基づいて、前記追跡対象らしさの度合いを表す第２の多値化画像データを生成する手順と、前記第１の多値化画像と前記第２の多値化画像を比較し、比較結果に基づいて前記推定結果を評価する手順と、前記評価に基づいて前記推定結果を再構成することで前記追跡対象を追跡する手順を前記コンピュータに実行させ、前記第１及び第２の多値化画像は、いずれもｎ≧３（ｎは自然数）を満たすｎ値化画像であるプログラムが提供される。
【発明の効果】
【００１３】
開示の追跡方法、監視システム及びプログラムによれば、追跡対象が周辺領域に影響を及ぼす場合であっても安定した追跡を行うことができる。
【図面の簡単な説明】
【００１４】
【図１】追跡対象が人の場合の監視画面の一例を示す図である。
【図２】一般的な対象追跡フィルタの処理を説明する図である。
【図３】パーティクルフィルタによる追跡を説明する図である。
【図４】複数の追跡対象の追跡方法を説明する図である。
【図５】人の位置を推定するための仮説の評価方法を説明する図である。
【図６】図５の評価方法で用いる画像の一例を示す図である。
【図７】監視領域の見取り図の一例を示す図である。
【図８】本発明の他の実施例における監視システムを説明する図である。
【図９】人の位置推定器をパーティクルフィルタで形成する場合のＣＰＵの動作を説明するフローチャートである。
【図１０】監視領域内の人の配置例を示す図である。
【図１１】図１０の配置例について特定のカメラが撮影した画像例を示す図である。
【図１２】更新された人の存在確率分布例を示す図である。
【図１３】観測から得られた多値化画像データの例を示す図である。
【図１４】人の確率画像データの例を示す図である。
【図１５】他者の確率画像データを足し合わせた確率画像データの例を示す図である。
【図１６】各仮説の尤度計算に使われる多値化画像データの例を示す図である。
【図１７】各背景画像データの更新方法として、人存在確率画像データを使用した背景の更新の一例を示す図である。
【図１８】実施例のように多値化画像データを用いることにより追跡対象の追跡が成功する例を示す図である。
【発明を実施するための形態】
【００１５】
開示の追跡方法、監視システム及びプログラムでは、追跡対象の位置を推定した推定結果の分布を用いて追跡対象の存在確率を表す多値化画像を生成する。追跡対象の存在確率を表す多値化画像と追跡対象らしさの度合いを表す多値化画像は比較され、比較結果に基づいて推定結果を評価して推定結果を再構成又は補正することで追跡対象を追跡する。尚、多値化画像とは、ｎ≧３（ｎは自然数）を満たすｎ値化画像を意味する。
【００１６】
例えば、特許文献１のように監視領域の見取り図（又は、地図）上に大まかな追跡対象の位置を表示することで、追跡対象の大まかな動きを把握することができ、監視映像と併用することにより効率良く追跡対象の監視を行うことができる。
【００１７】
図１は、追跡対象が人の場合の監視画面の一例を示す図である。図１において、監視画面１は、監視領域の見取り図の表示２、第１カメラの監視映像の表示３、及び第２カメラの監視映像の表示４を含む。この例では、監視領域は部屋であり、部屋の中には机１−Ａや椅子１−Ｂ等が存在する。見取り図中、第１カメラの位置はＣ１で示し、第２カメラの位置はＣ２で示す。見取り図の表示２中、追跡された人の推定位置は多数の黒い点Ｐで示され、監視画面１がカラー画像の場合には点Ｐの色により各推定位置での人の存在時間を表すこともできる。
【００１８】
追跡対象の存在確率を表す多値化画像と追跡対象らしさの度合いを表す多値化画像の比較結果に基づいて追跡対象の位置の推定結果を評価して追跡対象を追跡することで、追跡対象が周辺領域に影響を及ぼす場合であっても安定した追跡を行うことができる。
【００１９】
以下に、開示の追跡方法、監視システム及びプログラムの各実施例を図面と共に説明する。
【実施例】
【００２０】
各実施例の理解を容易にするため、先ず、一般的な状態追跡フィルタとパーティクルフィルタ（Particle Filter）を用いた状態追跡フィルタについて、図２と共に説明する。図２は、一般的な対象追跡フィルタの処理を説明する図である。
【００２１】
パーティクルフィルタを用いた追跡対象の追跡では、１つの追跡対象毎にフィルタと呼ばれるパーティクルの集合を１つ与えることにより追跡を行う。パーティクルの群によって多数の仮説を保持することで、ロバスト（Robust）な追跡が可能になる。
【００２２】
一般的な状態追跡フィルタ１１は、図２に示すように、追跡対象の推定状態量（例えば、人の位置）の初期化を行う部分１１１、時間経過による状態量の変化の予測を行う部分１１２、観測を行うカメラ（図示せず）等が出力する画像データに画像処理部１２が所定の画像処理を施した画像データに基づいて観測による予測値の評価を行う部分１１３、及び評価による状態量の変化の予測の補正を行う部分１１４を有する。上記の如き部分１１２〜１１４の処理を繰り返すこととにより、追跡対象の状態量を追跡する。
【００２３】
しかし、観測が曖昧であり、評価によっては状態量を単一の状態量に補正することが適切ではない場合もある。このような場合には、状態量を確率分布として扱う方法が知られている。パーティクルフィルタは、状態量を確率分布として扱う１つの手法であり、有限個の状態量の仮説を保持し、仮説の分布により確率分布を表している。パーティクルフィルタを用いた追跡の場合、全ての仮説に対して状態量を確率モデルに従って変化させ、各仮説をカメラ等が出力する画像データに基づいて評価する。このような評価の結果を表す評価値により仮説の集合（又は、仮説セット）を再構成又は補正することで、追跡対象の状態量を追跡する。
【００２４】
図３は、パーティクルフィルタによる追跡を説明する図である。パーティクルフィルタ２１は、図３に示すように、有限個の状態量（例えば、人の位置）の仮説の初期化を行う部分２１１、全ての仮説に対して時間経過による状態量の変化の予測を行う部分２１２、観測を行うカメラ（図示せず）等が出力する画像データに画像処理部１２が所定の画像処理を施した画像データに基づいて観測による予測値を評価することで各仮説の評価を行う部分２１３、及び評価による仮説セットの再構成又は補正を行う部分２１４を有する。上記の如き部分２１２〜２１４の処理を繰り返すこととにより、追跡対象の状態量を追跡する。
【００２５】
パーティクルフィルタ２１を用いる場合、確率分布を表現できる程度の仮説数が必要である。このため、追跡する状態の変数が増加すると、必要なパーティクルの数が指数関数的に増大し、追跡に伴う計算量も同様に増大する。
【００２６】
このように、複数の追跡対象を追跡する場合、複数の追跡対象の配置を１つの状態量として扱うと計算量が指数関数的に増加するため、図４に示すように、追跡対象毎に追跡を行う構成にしても良い。図４は、複数の追跡対象の追跡方法を説明する図である。、図４では、説明の便宜上、追跡対象が人であり特定の人ｈの位置を推定するものとする。
【００２７】
図４に示す監視システムは、Ｍ（Ｍは２以上の自然数）台のカメラ３１−１〜３１−Ｍ、Ｍ個の画像抽出部３２−１〜３２−Ｍ、及びＮ（Ｎは２以上の自然数）個の位置推定器３３−１〜３３−Ｎを有する。画像抽出部３２−１〜３２−Ｍは、カメラ３１−１〜３１−Ｍが出力する画像データから人領域らしき画像を周知の方法で抽出し、人領域らしき画像、即ち、人が存在する確率が一定以上の領域の画像に関する確率画像データを出力する。人領域らしき画像は、例えば人の肌色を検出する等の方法で抽出可能である。人以外の追跡対象の対象領域らしき画像は、追跡対象に固有な形状、色、動き（行動パターンを含む）等の特徴を検出する等の方法で抽出可能である。人の特徴量を用いて人を追跡する方法自体は、例えば上記特許文献２等にて提案されている。人ｈ（１＜ｈ＜Ｎ）の位置は、画像抽出部３２−１〜３２−Ｍからの確率画像データに基づいて位置推定器３３−ｈにより推定され、人ｈの位置の推定分布が求められる。
【００２８】
例えば、監視システムの監視領域内で人ｈが作業場所まで移動し、何らかの作業をして立ち去るシーンでは、作業によって物の配置が変化するので、人（即ち、追跡対象）が人領域の周辺領域の状態に影響を及ぼす。このように、１つの観測（この例ではカメラの出力画像データ）に複数の追跡対象が影響を及ぼすため、本実施例では追跡対象の推定位置を評価する時に他の追跡対象をどのように扱うかを工夫する。具体的には、本実施例では、既に求めた他の人の推定位置に関する推定分布を元に、各画素（又は、複数の画素からなるブロック）が人領域である確率を計算し、その確率に基づいて多値化画像を生成する。この多値化画像に評価する仮説の推定画像を重ね合わせた画像と、観測画像との一致度を評価する。観測画像についても、様々な画像処理結果から計算される、各画素（又は、複数の画素からなるブロック）の人領域らしさの度合いを表す多値化画像を計算して、上記人領域である確率に基づいて生成された多値化画像と比較する。
【００２９】
図５は、人ｈの位置を推定するための仮説の評価方法を説明する図である。図５において、ＥＤ１〜ＥＤＮは図４の位置推定器３３−１〜３３−Ｎで求めた人１〜Ｎの推定位置の推定分布を示し、Ｅｘｐｈは追跡対象である人ｈの位置の仮説を示す。ステップＳＴ１では、例えば前回の推定サイクルで求めた人１〜Ｎの推定位置の推定分布ＥＤ１〜ＥＤＮと、人ｈの仮説Ｅｘｐｈとに基づいて監視領域内の人ｈの存在確率を表す多値化画像（又は、存在確率画像）を計算で求める。ステップＳＴ２では、観測画像から人ｈらしさの度合いを表す多値化画像を計算で求める。ステップＳＴ３では、ステップＳＴ１で求めた人ｈの存在確率を表す多値化画像とステップＳＴ２で求めた人ｈらしさの度合いを表す多値化画像を比較し、比較結果に基づいて人ｈの位置の仮説の尤度を計算で求める。
【００３０】
このように、ステップＳＴ３は、追跡対象の位置を推定した推定結果の分布を用いて求めた追跡対象の存在確率を表す多値化画像と、追跡対象らしさの度合いを表す多値化画像を比較し、比較結果に基づいて推定結果を評価する。従って、監視領域に関する観測画像データを得る度に追跡対象毎に上記比較結果に基づいて推定結果を評価して推定結果を再構成又は補正することで、推定結果を最適化しながら各対象物を追跡することができる。
【００３１】
上記特許文献２では、既に求めた推定結果から得られる２値化画像と観測画像の背景差分等から得られる２値化画像を比較する。しかし、前述したように、２値化画像を用いたのでは、追跡対象を安定に追跡ができない場合がある。これに対し、本実施例では、多値化画像を比較することにより、安定に複数の追跡対象（即ち、複数の人）の追跡が可能となる。尚、上記の如く、本明細書では、多値化画像とはｎ≧３（ｎは自然数）を満たすｎ値化画像、即ち、２値化画像以外の多値化画像を意味するものとする。
【００３２】
既に求めた推定結果から人の存在確率を表す多値化画像を求める際には、特許文献２と同様に、注目する追跡対象人物以外の各人物の全ての仮説のシミュレーション画像（又は、予測画像）を生成し、シミュレーション画像を画素（又は、複数画素からなるブロック）毎に加算した多値化画像を生成し、これと注目する追跡対象人物の仮説のシミュレーション画像（ただし、人領域は多値化画像の最大値を有する）を重ね合わせることにより生成しても良い。
【００３３】
観測画像から計算される人領域らしさの度合いを表す多値化画像は、背景差分法やフレーム間差分法等により、各画素（又は、ブロック）が背景領域か否か、動領域か否か等の属性を決定することができる。この属性値毎に人らしさの度合いを事前にテーブル等により定義しておくことにより、多値化画像を生成することができる。
【００３４】
例えば、背景差分の有無及びフレーム間差分の有無に応じて、各画素（又は、ブロック）の属性を表１のように決定しても良い。表１は、背景差分とフレーム間差分による属性決定の一例を示す。
【００３５】
【表１】
【００３６】
又、動いている人がいる動領域、静止している人がいる静領域、又は、人がいない背景領域といった、夫々の領域に対して各画素（又は、ブロック）に各属性が観測される条件付確率を表２のように定義しても良い。表２は、領域毎の条件付確率の一例を示す。
【００３７】
【表２】
【００３８】
ここで、人が動いている確率と静止している確率が夫々０．５であるとすると、動領域であった場合に人領域である尤度は、(０．５×０．７＋０．５×０．３)／(０．７＋０．３＋０．１) ＝ ０．４５５となる。静領域であった場合に人領域である尤度は、(０．５×０．３＋０．５×０．７ )／(０．３＋０．７＋０．３) ＝ ０．３８５となる。背景領域であった場合に人領域である尤度は、０．０となる。この尤度の値によって多値化画像を生成することができる。
【００３９】
又、観測画像から計算される人領域らしさの度合いを表す多値化画像を生成するのに、離散化せずに連続値として扱うことも可能である。例えば、背景差分とフレーム間差分の差分値から、背景領域である確率を表３及び表４のように定義しても良い。表３は背景領域である確率を示し、表４は動領域である確率及び静領域である確率を示す。表３及び表４において、閾値１〜閾値４は夫々第１〜第４の閾値を示す。
【００４０】
【表３】
【００４１】
【表４】
【００４２】
次に、観測画像から計算される人領域らしさの度合いを表す多値化画像の各画素（又は、ブロック）の値を以下のように計算する。
【００４３】
画素値＝（背景領域である確率）×（背景領域であった場合に人領域である尤度）
＋（動領域である確率）×（動領域であった場合に人領域である尤度）
＋（静領域である確率）×（静領域であった場合に人領域である尤度）
この例では、動領域である確率及び静領域である確率を差分値から線形関数を用いて計算しているが、勿論別の関数を用いて動領域である確率及び静領域である確率を計算しても良い。
【００４４】
図６は、図５の評価方法で用いる画像の一例を示す図である。図６において、説明の便宜上Ｎ＝２であり、４１−１，４１−２は夫々人１，２の存在確率画像を示し、４２は追跡対象人物の仮説を示す。４３は注目する追跡対象人物以外の他者の存在確率画像を示し、４４は仮説４３を前提とし、他者の存在確率画像４３から求めた人の存在確率画像を示す。人の存在確率画像４４は、上記ステップＳＴ１で求めた人ｈの存在確率を表す多値化画像に相当する。一方、４５はカメラにより撮影された観測画像を示し、４６は観測画像４５から抽出された人領域らしさの度合いを表す画像を示す。人領域らしき画像４６は、上記ステップＳＴ２で求めた人ｈらしさの度合いを表す多値化画像に相当する。従って、上記ステップＳＴ３では、人の存在確率画像４４と人領域らしき画像４６を比較し、比較結果に基づいて人ｈの位置の仮説の尤度を計算で求める。
【００４５】
生成した多値化画像（４４と４６）の比較には、例えば正規化相関等を用いても良い。又、人の姿勢に影響されにくい、上端や下端の境界を比較するため、人の上端や下端周辺の画像の上下方向の勾配の値を比較する方法を用いても良い。後者の場合、生成した多値化画像（４４と４６）の領域の勾配ベクトルを正規化相関等によって比較する。更に、これらの比較方法、或いは、他の比較方法を併用する場合には、異なる比較方法により求めた各尤度を積算した結果を尤度として用いるようにしても良い。
【００４６】
本実施例では、追跡対象人物が複数人いる場合に各人を独立に推定（及び追跡）しているが、各人を独立に推定するということは、各人が全く干渉しないということを前提としていることである。しかし、実際には人同士は干渉するため、各人が互いに干渉し合うことを推定に加えれば追跡対象人物の推定位置の精度が更に向上する。この場合、毎回、人同士が干渉していない（即ち、同じ位置にいない）ことを観測しているとみなし、他者の存在確率が高い位置程尤度が低くなるような値を尤度に積算することにより人同士の干渉を加味した尤度の計算を行うことができる。
【００４７】
例えば、各仮説が表す座標から一定の半径内を１、それ以外を０とする円形画像データを、追跡対象人物の周辺の人物の全ての仮説に加算した他者存在確率を示す多値化平面地図データを生成し、追跡対象人物の仮説の評価値に、（１−他者存在確率）を積算するようにしても良い。
【００４８】
又、監視領域に対してカメラが複数設置されている場合、全てのカメラから得られる画像データを比較する必要はなく、映る可能性があるカメラからの画像データのみを評価しても良い。つまり、追跡対象を捉えているカメラの画像データのみを評価するのではなく、あるカメラは追跡対象を捉えていないという情報も追跡対象の位置の推定に重要な情報として利用する。
【００４９】
最小限のカメラからの画像データに対してのみ処理を実行するために、図７に示すように監視領域の見取り図（又は、地図）とカメラの座標とを対応付けたデータベースを用意する。図７は、監視領域の見取り図（又は、地図）の一例を示す図である。この例では、監視領域５０は、非監視領域である部屋５１−１，５１−２の周囲に配置された廊下５２及び出入口５３で形成されている。尚、監視領域は、屋内に限定されず、屋外、或いは、屋外と屋内の組み合わせであっても良い。例えば、図７のような配置でカメラＣ１０〜Ｃ１４が監視領域５０に設置されている場合、監視領域５０を図７に示す如くＡ〜Ｍの領域に分割する。この場合、追跡対象人物が各領域Ａ〜Ｍにいる場合に追跡対象人物を撮影する可能性のあるカメラが特定できるため、表５のように領域毎に追跡対象人物を撮影する可能性のあるカメラの座標の対応付けを示すデータベースを用意する。表５は、地図情報の一例を示し、各領域Ａ〜Ｍを識別するための領域識別子（ＩＤ：Identifier）に対し、各領域Ａ〜Ｍの左上（即ち、矩形領域の左上の角）のＸＹ座標、各領域Ａ〜Ｍの右下（即ち、矩形領域の右下の角）のＸＹ座標、及び撮影カメラを示す。この例では、各領域Ａ〜Ｍが矩形であるため、各領域Ａ〜Ｍを特定できるような情報は各領域Ａ〜Ｍの左上のＸＹ座標と右下のＸＹ座標である。これにより、監視領域５０のうち、各仮説が所属する領域を撮影する可能性のあるカメラからの画像データを処理すれば良いことがわかる。
【００５０】
【表５】
【００５１】
又、このように監視領域５０に複数のカメラＣ１０〜Ｃ１４が設置されている場合、同じ人物の位置の推定でも、仮説の位置によって評価するカメラや、カメラの数が異なる可能性がある。このため、ある人物の位置の推定に使用する各カメラに関して、観測無しの場合の尤度の値を予め計算しておき、尤度をこの観測無しの場合の尤度の値で除算して正規化することで、ある人物の位置の推定に使用しないカメラについても、観測無しの尤度を積算したのと同等の結果が得られる。
【００５２】
尚、画像処理が背景差分法に基づいている場合、物の移動等による背景の変化への対応が必要となる。ここでは、監視領域内の人の存在確率が求められているため、人が存在する確率が０である領域に対してのみ、背景を更新していくことにより、適切な背景の更新が可能となる。
【００５３】
上記実施例では、図５の評価方法を用いた追跡処理が図２〜図４に示す装置部分を含む監視システム、即ち、ハードウェアにより実行される。しかし、追跡処理の少なくとも一部をソフトウェアにより実行するようにしても良い。この場合、追跡処理プログラム（即ち、ソフトウェア）は、コンピュータに追跡処理の手順の少なくとも一部を実行させるか、或いは、コンピュータを監視システムの少なくとも一部を構成する手段として機能させるか、或いは、コンピュータに監視システムの少なくとも一部の機能を実現させるものであれば良い。又、コンピュータは、コンピュータ読み取り可能な記憶媒体に格納されたプログラムを実行しても、コンピュータの外部からダウンロードした追跡処理プログラムを実行しても良いことは言うまでもない。
【００５４】
図８は、本発明の他の実施例における監視システムを説明する図である。図８に示す監視システム６０は、ＣＰＵ６１、メモリ部６２、送受信部６３、複数の操作キーを有する操作部６４、表示部６５、及びカメラ群６６がバス６８により接続された構成を有し、する。ＣＰＵ６１は、監視システム６０全体の動作の制御を司る。メモリ部６２は、ＣＰＵ６１が実行するプログラムと、ＣＰＵ６１が行う演算の中間データを含む各種データを格納する半導体記憶装置、ディスク装置等で形成されている。メモリ部６２は、監視領域の見取り図（又は、地図）とカメラの座標とを対応付けた上記データベースを格納しても良い。送受信部６３は、アンテナ（図示せず）又はインターネット等のネットワーク（図示せず）を介した送受信を行う周知の構成を有し、モデム機能を含む。操作部６４は、ユーザが追跡処理に関する指示や追跡対象に関する情報等を監視システム６０に入力する際に操作される複数の操作キーを有する。表示部６５は、各種操作メニュー、操作キーから入力された情報、処理対象の画像、処理結果の画像等を表示する。尚、操作部６４及び表示部６５は、タッチパネルの場合のように一体的に設けられていても良い。カメラ群６６は、被写体を撮影可能な周知の構成を有し、例えば図７に示すカメラＣ１０〜Ｃ１４を含む。
【００５５】
メモリ部６２に格納されている追跡処理プログラムは、少なくともＣＰＵ６１及びメモリ部６２で形成されたコンピュータに追跡処理の手順の少なくとも一部を実行させるか、或いは、コンピュータを図２〜図４に示す装置部分を含む監視システムの少なくとも一部を構成する手段として機能させるか、或いは、コンピュータに監視システムの少なくとも一部の機能を実現させる。追跡処理プログラムを格納するコンピュータ読み取り可能な記憶媒体は、本実施例ではメモリ部６２であるが、追跡処理プログラムを格納するコンピュータ読み取り可能な記憶媒体の種類は特に限定されず、半導体記憶装置であっても、ディスク等の磁気記憶媒体、光記憶媒体や光磁気記憶媒体であっても良い。又、コンピュータは、送受信部６３を介してコンピュータの外部からダウンロードした追跡処理プログラムを実行しても良い。
【００５６】
尚、監視領域の見取り図（又は、地図）とカメラの座標とを対応付けた上記データベースを形成する記憶部（図示せず）が監視システム６０の外部に設けられている場合には、ＣＰＵ６１は送受信部６３を介して外部のデータベースをアクセスすれば良い。
【００５７】
追跡処理は、カメラ群６６から得られる画像データから例えば前回の推定サイクルで既に求めた人１〜Ｎの推定位置の推定分布ＥＤ１〜ＥＤＮと、人ｈの仮説Ｅｘｐｈとに基づいて監視領域内の人ｈの存在確率を表す多値化画像（又は、存在確率画像）を計算する手順（上記ステップＳＴ１に相当）と、観測画像から人ｈらしさの度合いを表す多値化画像を計算する手順（上記ステップＳＴ２に相当）と、求められた人ｈの存在確率を表す多値化画像と求められた人ｈらしさの度合いを表す多値化画像を比較し、比較結果に基づいて人ｈの位置の仮説の尤度を計算する手順（上記ステップＳＴ３に相当）を含む。
【００５８】
このような追跡処理のうち、追跡対象の存在確率を示す画像データを計算する手順（ステップＳＴ１に相当）と、位置推定器（又は、パーティクルフィルタ）を用いて人ｈらしさの度合いを表す多値化画像を計算する手順（ステップＳＴ２に相当）とを夫々別のプログラム（又は、別のスレッド）にて実行することにより、カメラ群６６を形成するカメラの数や追跡するべき人物の数が増加しても計算時間が増大せず、計算量もカメラ数、人数に比例して増加する程度に抑えられる。
【００５９】
図９は、図４の人ｈの位置推定器３３−ｈをパーティクルフィルタで形成する場合のＣＰＵ６１の動作を説明するフローチャートである。図９に示す処理は、ＣＰＵ６１がメモリ６２に格納されたプログラムを実行することにより行われる。図９は、図４のように各人に対してパーティクルフィルタが並列に動作している場合に、これらのパーティクルフィルタのうち人ｈの位置を推定するパーティクルフィルタの動作に相当する。
【００６０】
図９において、ステップＳ１は注目する追跡対象の人ｈの全ての仮説に対して経過時間に対する推定位置の更新を行う。ステップＳ２は、人ｈを撮影する少なくとも１台のカメラを含むカメラの集合Ａを地図情報から取得する。ステップＳ３は、カメラの集合Ｓａに含まれるカメラｃで観測された画像データから人領域らしき多値化画像データＯｃを取得する。ステップＳ４は、カメラの集合Ｓａに含まれるカメラｃで観測された画像データから人ｈの存在確率を示す存在確率画像データＰｈｃを生成する。ステップＳ５は、人ｈ以外の全ての追跡対象人物ｅについて、カメラの集合Ｓａに含まれる各カメラｃで観測された画像データから追跡対象人物ｅの存在確率を示す存在確率画像データＰ'ｅｃを取得する。存在確率画像データＰｈｃ及び存在確率画像データＰ'ｅｃは、いずれも多値化画像データである。ステップＳ６は、カメラの集合Ｓａに含まれる各カメラｃに対して、人ｈ以外の全ての追跡対象人物について存在確率画像データＰ'ｅｃを足し合わせて確率画像データＰ'Ｅｃを生成する。確率画像データＰ'Ｅｃは、多値化画像データである。ステップＳ７は、ｃ∈Ｓａを満たす全てのカメラｃについて、確率画像データＰ'Ｅｃと人領域らしき画像データＯｃを比較評価し、ｃ∈Ｓａに対する基準尤度ｌｃとする。
【００６１】
ステップＳ８は、未処理の仮説ｋを仮説の集合Ｋ（ｋ∈Ｋ）から１つ選択し、尤度を１．０に初期化する。ステップＳ９は、仮説の位置を撮影するカメラの集合Ｓｃを地図情報から取得する。ステップＳ１０は、カメラの集合Ｓｃから未選択のカメラｃを１つ選択する。ステップＳ１１は、確率画像データＰ'Ｅｃと選択した仮説から生成した確率画像を足し合わせた確率画像データＰｋｃを生成する。ステップＳ１２は、多値化画像データである確率画像データＰｋｃと人領域らしさの度合いを表す画像データＯｃを比較評価し、一致度ｖｋｃを計算する。ステップＳ１３は、尤度ＬをＬ＝Ｌ×ｖｋｃ÷ｌｃから求める。
【００６２】
ステップＳ１４は、全てのカメラの集合Ｓｃに対する処理が終了したか否かを判定し、判定結果がＮＯであると処理はステップＳ１０へ戻る。一方、ステップＳ１４の判定結果がＹＥＳであると、ステップＳ１５は、カメラに依存しない尤度計算があれば計算して求めた尤度Ｌに掛け合わせる。例えば、ステップＳ１５は上記の如き他者干渉の評価の計算を行うものであり、省略可能である。ステップＳ１６は、全ての仮説に対する処理が終了したか否かを判定し、判定結果がＮＯであると処理はステップＳ８へ戻る。ステップＳ１６の判定結果がＹＥＳであると、ステップＳ１７は、リサンプリング（Resampling）を行うことで、尤度の重みで仮説の集合Ｋをランダムに選択し、処理は終了する。
【００６３】
次に、図１０中ハッチング及び梨地の丸印で示すように監視領域５０内に人物が存在しており、カメラＣ１０，Ｃ１１により人物が図１１のように撮影されている場合を例にとって、図９の具体的な処理を説明する。図１０は、監視領域内の人の配置例を示す図である。図１０中、図７と同一部分には同一符号を付し、その説明は省略する。図１１は、図１０の配置例について特定のカメラが撮影した画像例を示す図である。ここでは説明の便宜上、ハッチングの丸印で示す人物の位置を推定する例について説明する。
【００６４】
ステップＳ１は、既に推定した人ｈの位置の全ての仮説に対し、時間変化による仮説の更新を行う。図１２は、更新された人の存在確率分布例を示す図である。尚、人ｈの位置推定器３３−ｈで計算される既に求めた人の位置の推定分布の更新は、人ｈに関する分布のみである。又、ステップＳ１は、既に推定した人ｈの位置及び／又は速度の全ての仮説に対し、時間変化による仮説の更新を行うものであっても良い。
【００６５】
ステップＳ２は、次に人ｈが撮影されているカメラを探す。人ｈの分布は、領域Ａ，Ｂに渡っているため、領域Ａ，Ｂを写すカメラＣ１０，Ｃ１１が地図情報から検索される。
【００６６】
ステップＳ３は、選択したカメラ画像処理結果（人領域らしさの度合いを表す多値画像データＯｃ）を取得する。図１３は、カメラＣ１０，Ｃ１１の観測から得られた人領域らしさの度合いを表す多値化画像データの例を示す図である。図１３及び後述する図１４〜図１６において、（ａ）はカメラＣ１０が撮影した画像に基づく画像データ、（ｂ）はカメラＣ１１が撮影した画像に基づく人領域らしさの度合いを表す多値化画像データを示す。
【００６７】
ステップＳ４は、ステップＳ２で計算した新しい分布を元に人ｈの確率画像データ（人ｈの存在確率を示す多値化画像データＰｈｃ）を生成する。図１４は、図１０中ハッチングで示す人ｈの確率画像データの例を示す図である。
【００６８】
ステップＳ５は、他の人物の位置推定器が計算したカメラＣ１０，Ｃ１１に関するステップＳ４の確率画像データＰ'ｅｃがあれば取得する。これは、他の人物の位置推定器が非同期で動作している場合には、１回前の推定サイクルの確率画像を取得することで代替する場合もあり、比較的早い周期で計算する場合には１回では人の領域は殆ど変化しないと考えられるからである。
【００６９】
ステップＳ６は、ステップＳ５で取得した他の人物の確率画像データＰ'ｅｃを足し合わせた確率画像データＰ'Ｅｃを生成する。図１５は、図１０中梨地で示す他者の確率画像データを足し合わせた確率画像データの例を示す図である。
【００７０】
ステップＳ７は、ステップＳ３で取得した人領域らしさの度合いを表す多値化画像データＯｃと、ステップＳ６で生成した確率画像データＰ'Ｅｃを比較評価して尤度を各カメラについて計算し、計算結果を各カメラで観測されなかった場合の基準尤度ｌｃとする。
【００７１】
ステップＳ８は、仮説を１つ選択し、尤度Ｌを１．０に初期化する。
【００７２】
ステップＳ９は、選択した仮説の位置が例えば領域Ａであれば、選択した仮説の位置を撮影するカメラＣ１０，Ｃ１１を地図情報から取得する。
【００７３】
ステップＳ１０は、未選択のカメラを１つ選択する。ここではカメラＣ１０が先ず選択されるものとする。
【００７４】
ステップＳ１１は、選択したカメラについてステップＳ６で生成した確率画像データＰ'Ｅｃに、選択した仮説の確率画像データを足し合わた確率画像データＰｋｃを生成する。図１６は、各仮説の尤度計算に使われる多値化画像データの例を示す図である。図１６において、ＩＭ１ａ，ＩＭ１ｂは図１０中ハッチングで示す人の多値化画像データを示し、ＩＭ２ａ，ＩＭ２ｂは図１０中梨地で示す他者の多値化画像データを示す。
【００７５】
ステップＳ１２は、ステップＳ１１で生成した確率画像データＰｋｃとステップＳ３で取得した人領域らしさの度合いを表す多値化画像データＯｃを比較評価して一致度ｖｋｃを計算する。
【００７６】
ステップＳ１３は、尤度ＬをＬ＝Ｌ×（ステップＳ１２で計算した一致度ｖｋｃ）／（ステップＳ７で計算した基準尤度ｌｃ）に基づいて計算する。
【００７７】
ステップＳ１４は、全てのカメラについて処理が終了していなければ、処理をステップＳ１０へ戻す。
【００７８】
ステップＳ１５は、カメラに関係ない、或いは、カメラに依存しない尤度計算があれば計算して尤度Ｌに積算する。
【００７９】
ステップＳ１６は、全ての仮説に対して処理が終了したか否かを判定する。まだ処理していない仮説がありステップＳ１６の判定結果がＮＯであれば、処理をステップＳ８へ戻す。
【００８０】
ステップＳ１７は、リサンプリング、即ち、仮説セットの再構成（又は、補正）を行って尤度Ｌの重みで仮説の集合Ｋをランダムに選択し、処理は終了する。
【００８１】
図１７は、各背景画像の更新方法として、人の存在確率画像を使用した背景の更新の一例を示す図である。図１７において、ステップＳ２１は、全ての人の位置推定器３３−１〜３３−Ｎからカメラｃについて各人の存在確率画像データが存在すれば取得する。ステップＳ２２は、ステップＳ２１で取得した各人の存在確率画像データを足し合わせてカメラｃについて全ての人の存在確率画像データを生成する。ステップＳ２３は、各画素（又は、複数の画素からなるブロック）について、人の存在確率画像データの値が０であれば背景を更新し、背景画像の更新処理は終了する。
【００８２】
尚、各画素の更新方法については、背景差分法の研究等により様々な方法が提案されているので、既存の技術を使用可能である。各画素の更新方法としては、保存されている背景の画素値と、最新画像の画素値の重み付け平均により更新する方法等がある。
【００８３】
図１８は、上記各実施例のように多値化画像データを用いることにより追跡対象の追跡が成功する例を示す図である。図１８中、説明の便宜上、各フレームは１つのカメラにより撮影された一定時間毎の画像であり、下方向のフレーム程時間的には新しい。この例では、図１８（ａ）の７つのフレームの画像からもわかるように、監視領域内の追跡対象人物が移動して席に着き、作業を終えて立ち去る様子が示されている。追跡対象人物が行う作業のため、追跡対象人物の席の周辺の背景が変化する。このため、背景差分法によるシルエット画像を使用する場合、図１８（ｂ）の各フレームに対応するシルエット画像のうち特に下から２、３番目のフレームに対応するシルエット画像からもわかるように、追跡対象人物が行う作業のため変化してしまった周辺に追跡対象人物が存在すると誤って判断されかねない。これに対し、図１８（ｃ）の各フレームに対応する追跡対象人物の存在確率画像からもわかるように、上記各実施例によれば、追跡対象人物が行う作業のため追跡対象人物の席の周辺の背景が変化しても、追跡対象人物を正しく追跡できることが確認された。又、人領域である確率が０の領域だけ背景を学習する仕組みを実装しているので、追跡対象人物が監視領域から立ち去った後には、変化した背景が背景として正しく認識され、背景差分としては検出されなくなることも確認された。尚、図１８（ｃ）では、説明の便宜上、カメラの撮影画像に相当する領域に位置の座標を認識しやすくするためのグリッドが表示されている。
【００８４】
上記各実施例では、説明の便宜上、追跡対象が人の場合について説明しているが、追跡対象は特に限定されない。例えば、追跡対象は飼育又は監視している生物であっても良い。つまり、追跡対象は、追跡対象に固有な形状、色、動き（行動パターンを含む）等の特徴を検出する等の方法で撮影された画像から抽出可能なものであれば特に限定されない。
【００８５】
監視システムの構成は、上記各実施例の構成に限定されず、様々な変形例が可能である。例えば、図４の画像抽出部３２−１〜３２−Ｍ及び位置推定器３３−１〜３３−Ｎの処理を全て図８の如き構成を有する単一のコンピュータシステム（又は、サーバ）で実行し、画像抽出部３２−１〜３２−Ｍ及び位置推定器３３−１〜３３−Ｎの各々の機能は１プロセス上の別スレッドとして実現するようにしても良い。又、画像抽出部３２−１〜３２−Ｍ及び位置推定器３３−１〜３３−Ｎの処理を全て図８の如き構成を有する単一のコンピュータシステムで実行し、画像抽出部３２−１〜３２−Ｍ及び位置推定器３３−１〜３３−Ｎの各々の機能は別プロセスとして実現するようにしても良い。更に、画像抽出部３２−１〜３２−Ｍ及び位置推定器３３−１〜３３−Ｎの処理を全て図８の如き構成を有する複数のコンピュータシステムで並列処理により実行し、画像抽出部３２−１〜３２−Ｍ及び位置推定器３３−１〜３３−Ｎの各々の機能は各コンピュータシステム内では１プロセス上の別スレッドとして実現するようにしても良い。画像抽出部３２−１〜３２−Ｍ及び位置推定器３３−１〜３３−Ｎの処理を全て図８の如き構成を有する複数のコンピュータシステムで並列処理により実行し、画像抽出部３２−１〜３２−Ｍ及び位置推定器３３−１〜３３−Ｎの各々の機能は各コンピュータシステム内では別プロセスとして実現するようにしても良い。
【００８６】
上記各実施例によれば、追跡対象の位置を推定した推定結果の分布を用いて追跡対象の存在確率を表す多値化画像を生成し、追跡対象の存在確率を表す多値化画像と追跡対象らしさの度合いを表す多値化画像との比較結果に基づいて推定結果を評価することで追跡対象を追跡するので、追跡対象が周辺領域に影響を及ぼす場合であっても安定した追跡を行うことができる。又、追跡対象が複数の場合にも各追跡対象を安定に追跡可能である。
【００８７】
以上の実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
監視領域内の複数の箇所で前記監視領域内の領域を観測するカメラからの画像データに基づいて、追跡対象の位置を推定した推定結果の分布を用いて前記追跡対象の存在確率を表す第１の多値化画像データを生成するステップと、
前記カメラからの画像データに基づいて、前記追跡対象らしさの度合いを表す第２の多値化画像データを生成するステップと、
前記第１の多値化画像と前記第２の多値化画像を比較し、比較結果に基づいて前記推定結果を評価するステップと、
前記評価に基づいて前記推定結果を再構成することで前記追跡対象を追跡するステップを含み、
前記第１及び第２の多値化画像は、いずれもｎ≧３（ｎは自然数）を満たすｎ値化画像である追跡方法。
（付記２）
前記第１の多値化画像データを生成するステップは、複数の追跡対象の各々に対して前記第１の多値化画像データを生成し、
前記第２の多値化画像データを生成するステップは、前記複数の追跡対象の各々に対して前記第２の多値化画像データを生成し、
前記評価するステップは、前記複数の追跡対象の各々について前記比較結果に基づいて前記推定結果を評価する、付記１記載の追跡方法。
（付記３）
前記第１の多値化画像データを生成するステップは、パーティクルフィルタにより前記第１の多値化画像データを生成する、付記２記載の追跡方法。
（付記４）
前記第１の多値化画像データを生成するステップは、
既に求めた推定結果の分布を利用して前記監視領域内の前記追跡対象の存在確率を表す前記第１の多値化画像を生成し、
注目する追跡対象以外の対象に関しては、前記既に求めた推定分布の重みで予測画像データを最大値まで足し合わせた前記第１の多値化画像を生成し、
前記注目する追跡対象に対しては、ある確率変数の値に対する予測画像の領域に関して最大値に設定することより、前記注目する追跡対象のある確率変数の値に対する前記第１の多値化画像を生成する、付記２記載の追跡方法。
（付記５）
前記第２の多値化画像データを生成するステップは、
背景差分又はフレーム間差分の値から閾値処理により、差分領域又は動領域を抽出し、特徴毎に前記追跡対象の領域らしさの度合いを定義するテーブルに基づいて前記第２の多値化画像データを生成する、付記１乃至３のいずれか１項記載の追跡方法。
（付記６）
前記第２の多値化画像データを生成するステップは、
背景差分及びフレーム間差分を含む複数の特徴量から、前記追跡対象らしさの度合いを計算する数式に基づいて前記第２の多値画像を生成する、付記１乃至３のいずれか１項記載の追跡方法。
（付記７）
各カメラが撮影可能な領域と前記地図データの座標は対応させて予めデータベース化されており、
前記評価するステップは、前記パーティクルフィルタのパーティクルの持つ座標から前記追跡対象を撮影している可能性のあるカメラのみからの画像データを参照して前記パーティクルフィルタの尤度を計算する、付記３記載の追跡方法。
（付記８）
前記第１の多値化画像データを生成するステップと、前記第２の多値化画像データを生成するステップは、互いに別のプログラム又はスレッドがコンピュータに実行させる、付記１乃至７のいずれか１項記載の追跡方法。
（付記９）
監視領域内の複数の箇所で前記監視領域内の領域を観測するカメラからの画像データに基づいて追跡対象を追跡する監視システムであって、
前記画像データに基づいて、前記追跡対象の位置を推定した推定結果の分布を用いて前記追跡対象の存在確率を表す第１の多値化画像データを生成する第１の生成手段と、
前記画像データに基づいて、前記追跡対象らしさの度合いを表す第２の多値化画像データを生成する第２の生成手段と、
前記第１の多値化画像と前記第２の多値化画像を比較し、比較結果に基づいて前記推定結果を評価する評価手段と、
前記評価に基づいて前記推定結果を再構成することで前記追跡対象を追跡する追跡手段を備え、
前記第１及び第２の多値化画像は、いずれもｎ≧３（ｎは自然数）を満たすｎ値化画像である、監視システム。
（付記１０）
前記第１の生成手段は、パーティクルフィルタを有する、付記９記載の監視システム。
（付記１１）
各カメラが撮影可能な領域と前記監視領域の地図データの座標は対応させて予めデータベース化されており、
前記評価手段は、前記パーティクルフィルタのパーティクルの持つ座標から前記追跡対象を撮影している可能性のあるカメラのみからの画像データを参照して前記パーティクルフィルタの尤度を計算する、付記１０記載の監視システム。
（付記１２）
コンピュータに追跡対象の追跡を行わせるプログラムであって、
監視領域内の複数の箇所で前記監視領域内の領域を撮影するカメラからの画像データに基づいて、追跡対象の位置を推定した推定結果の分布を用いて前記追跡対象の存在確率を表す第１の多値化画像データを生成する手順と、
前記カメラからの画像データに基づいて、前記追跡対象らしさの度合いを表す第２の多値化画像データを生成する手順と、
前記第１の多値化画像と前記第２の多値化画像を比較し、比較結果に基づいて前記推定結果を評価する手順と、
前記評価に基づいて前記推定結果を再構成することで前記追跡対象を追跡する手順を前記コンピュータに実行させ、
前記第１及び第２の多値化画像は、いずれもｎ≧３（ｎは自然数）を満たすｎ値化画像である、プログラム。
【００８８】
以上、開示の追跡方法、監視システム及びプログラムを実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能であることは言うまでもない。
【符号の説明】
【００８９】
１１ 状態追跡フィルタ
１２ 画像処理部
２１ パーティクルフィルタ
３１−１〜３１−Ｍ，Ｃ１０〜Ｃ１４ カメラ
３２−１〜３２−Ｍ 画像抽出部
３３−１〜３３−Ｎ 位置推定器
６０ 監視システム
６１ ＣＰＵ
６２ メモリ部
６６ カメラ群
【技術分野】
【０００１】
本発明は、追跡方法、監視システム及びプログラムに係り、特に人等の追跡対象を追跡する追跡方法、監視システム及びプログラムに関する。
【背景技術】
【０００２】
データセンタ等、セキュリティレベルの高い施設では、多数の監視カメラを監視領域に対して死角なく配置して監視を行っている。しかし、多数のカメラで人等の追跡対象を同時に監視することは難しい。又、データセンタ等の屋内監視カメラでは、様々なオクルージョンが発生すると共に、カメラからの距離によって人の大きさが違う等の問題があり、従来技術を用いた追跡（又は、トラッキング）や、顔等の特徴抽出による追跡は困難である。
【０００３】
そこで、監視領域の見取り図（又は、地図）上に大まかな追跡対象の位置を表示することで、追跡対象の大まかな動きを把握することが提案されている（特許文献１）。
【０００４】
又、人のシルエット画像と、シルエット画像をシミュレートしたシミュレーション画像の一致度を尤度としたパーティクルフィルタを各追跡対象に対して構成する方法が提案されている（特許文献２）。屋内監視カメラの場合、画像の予測値を画面上に投影して実画像と比較しながら追跡対象の位置を推定する方法が有用である。しかし、２値化したシルエット画像とシミュレーション画像を用いる場合には、以下のような問題がある。
【０００５】
背景差分法やフレーム間差分法によって特定したシルエット画像の領域が必ずしも人領域のみを抽出できるとは限らない。背景差分法による領域抽出を行った場合には、人領域以外の背景領域の変化等が問題になる。例えば、監視領域内で人が作業場所まで移動し、何らかの作業をして立ち去るシーンでは、作業によって物の配置が変化するので、人（即ち、追跡対象）が人領域の周辺領域の状態に影響を及ぼす。例えば、人が椅子に座って作業を行うのであれば、椅子を引く行ためにより椅子周辺の広域に関して背景が変化してしまう。従って、椅子に座った人がその後立ち去った場合にも、作業場所周辺が背景差分により抽出されてしまい、追跡対象である人を追跡できない場合もある。又、フレーム間差分法によって領域抽出を行った場合には、静止した人を抽出することはできず、更に、動きが少ない作業を行っている人の追跡ができない場合もある。
【０００６】
このように、どのような方法によってシルエット画像を抽出したとしても、特に様々なオクルージョンが発生する屋内監視カメラを用いた追跡の場合には、人領域だけを確実に抽出することは困難である。つまり、シミュレーション画像として生成されたシルエット画像の誤差が大きい場合には、追跡に失敗する可能性がある。又、シミュレーション画像は過去に予測した状態を元に作成されるが、予測した状態の誤差が大きい場合にはその後の推定に悪影響を与えてしまい、更に予測状態の誤差が大きくなるというスパイラルに陥ることになる。特に、追跡の開始から追跡が安定するまでの期間や、追跡対象がカメラの死角に入り推定が曖昧になる場合に、上記のスパイラルに陥りやすい。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−２４９８８５号公報
【特許文献２】特許第３６６４７８４号公報
【特許文献３】特開平５−２１６８６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の監視システムでは、追跡対象が周辺領域に影響を及ぼす場合に安定した追跡を行うことは難しいという問題があった。
【０００９】
そこで、本発明は、追跡対象が周辺領域に影響を及ぼす場合であっても安定した追跡を行うことのできる追跡方法、監視システム及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一観点によれば、監視領域内の複数の箇所で前記監視領域内の領域を撮影するカメラからの画像データに基づいて、追跡対象の位置を推定した推定結果の分布を用いて前記追跡対象の存在確率を表す第１の多値化画像データを生成するステップと、前記カメラからの画像データに基づいて、前記追跡対象らしさの度合いを表す第２の多値化画像データを生成するステップと、前記第１の多値化画像と前記第２の多値化画像を比較し、比較結果に基づいて前記推定結果を評価するステップと、前記評価に基づいて前記推定結果を再構成することで前記追跡対象を追跡するステップを含み、前記第１及び第２の多値化画像は、いずれもｎ≧３（ｎは自然数）を満たすｎ値化画像であるが提供される。
【００１１】
本発明の一観点によれば、監視領域内の複数の箇所で前記監視領域内の領域を観測するカメラからの画像データに基づいて追跡対象を追跡する監視システムであって、前記画像データに基づいて、前記追跡対象の位置を推定した推定結果の分布を用いて前記追跡対象の存在確率を表す第１の多値化画像データを生成する第１の生成手段と、前記画像データに基づいて、前記追跡対象らしさの度合いを表す第２の多値化画像データを生成する第２の生成手段と、前記第１の多値化画像と前記第２の多値化画像を比較し、比較結果に基づいて前記推定結果を評価する評価手段と、前記評価に基づいて前記推定結果を再構成することで前記追跡対象を追跡する追跡手段を備え、前記第１及び第２の多値化画像は、いずれもｎ≧３（ｎは自然数）を満たすｎ値化画像である監視システムが提供される。
【００１２】
本発明の一観点によれば、コンピュータに追跡対象の追跡を行わせるプログラムであって、監視領域内の複数の箇所で前記監視領域内の領域を撮影するカメラからの画像データに基づいて、追跡対象の位置を推定した推定結果の分布を用いて前記追跡対象の存在確率を表す第１の多値化画像データを生成する手順と、前記カメラからの画像データに基づいて、前記追跡対象らしさの度合いを表す第２の多値化画像データを生成する手順と、前記第１の多値化画像と前記第２の多値化画像を比較し、比較結果に基づいて前記推定結果を評価する手順と、前記評価に基づいて前記推定結果を再構成することで前記追跡対象を追跡する手順を前記コンピュータに実行させ、前記第１及び第２の多値化画像は、いずれもｎ≧３（ｎは自然数）を満たすｎ値化画像であるプログラムが提供される。
【発明の効果】
【００１３】
開示の追跡方法、監視システム及びプログラムによれば、追跡対象が周辺領域に影響を及ぼす場合であっても安定した追跡を行うことができる。
【図面の簡単な説明】
【００１４】
【図１】追跡対象が人の場合の監視画面の一例を示す図である。
【図２】一般的な対象追跡フィルタの処理を説明する図である。
【図３】パーティクルフィルタによる追跡を説明する図である。
【図４】複数の追跡対象の追跡方法を説明する図である。
【図５】人の位置を推定するための仮説の評価方法を説明する図である。
【図６】図５の評価方法で用いる画像の一例を示す図である。
【図７】監視領域の見取り図の一例を示す図である。
【図８】本発明の他の実施例における監視システムを説明する図である。
【図９】人の位置推定器をパーティクルフィルタで形成する場合のＣＰＵの動作を説明するフローチャートである。
【図１０】監視領域内の人の配置例を示す図である。
【図１１】図１０の配置例について特定のカメラが撮影した画像例を示す図である。
【図１２】更新された人の存在確率分布例を示す図である。
【図１３】観測から得られた多値化画像データの例を示す図である。
【図１４】人の確率画像データの例を示す図である。
【図１５】他者の確率画像データを足し合わせた確率画像データの例を示す図である。
【図１６】各仮説の尤度計算に使われる多値化画像データの例を示す図である。
【図１７】各背景画像データの更新方法として、人存在確率画像データを使用した背景の更新の一例を示す図である。
【図１８】実施例のように多値化画像データを用いることにより追跡対象の追跡が成功する例を示す図である。
【発明を実施するための形態】
【００１５】
開示の追跡方法、監視システム及びプログラムでは、追跡対象の位置を推定した推定結果の分布を用いて追跡対象の存在確率を表す多値化画像を生成する。追跡対象の存在確率を表す多値化画像と追跡対象らしさの度合いを表す多値化画像は比較され、比較結果に基づいて推定結果を評価して推定結果を再構成又は補正することで追跡対象を追跡する。尚、多値化画像とは、ｎ≧３（ｎは自然数）を満たすｎ値化画像を意味する。
【００１６】
例えば、特許文献１のように監視領域の見取り図（又は、地図）上に大まかな追跡対象の位置を表示することで、追跡対象の大まかな動きを把握することができ、監視映像と併用することにより効率良く追跡対象の監視を行うことができる。
【００１７】
図１は、追跡対象が人の場合の監視画面の一例を示す図である。図１において、監視画面１は、監視領域の見取り図の表示２、第１カメラの監視映像の表示３、及び第２カメラの監視映像の表示４を含む。この例では、監視領域は部屋であり、部屋の中には机１−Ａや椅子１−Ｂ等が存在する。見取り図中、第１カメラの位置はＣ１で示し、第２カメラの位置はＣ２で示す。見取り図の表示２中、追跡された人の推定位置は多数の黒い点Ｐで示され、監視画面１がカラー画像の場合には点Ｐの色により各推定位置での人の存在時間を表すこともできる。
【００１８】
追跡対象の存在確率を表す多値化画像と追跡対象らしさの度合いを表す多値化画像の比較結果に基づいて追跡対象の位置の推定結果を評価して追跡対象を追跡することで、追跡対象が周辺領域に影響を及ぼす場合であっても安定した追跡を行うことができる。
【００１９】
以下に、開示の追跡方法、監視システム及びプログラムの各実施例を図面と共に説明する。
【実施例】
【００２０】
各実施例の理解を容易にするため、先ず、一般的な状態追跡フィルタとパーティクルフィルタ（Particle Filter）を用いた状態追跡フィルタについて、図２と共に説明する。図２は、一般的な対象追跡フィルタの処理を説明する図である。
【００２１】
パーティクルフィルタを用いた追跡対象の追跡では、１つの追跡対象毎にフィルタと呼ばれるパーティクルの集合を１つ与えることにより追跡を行う。パーティクルの群によって多数の仮説を保持することで、ロバスト（Robust）な追跡が可能になる。
【００２２】
一般的な状態追跡フィルタ１１は、図２に示すように、追跡対象の推定状態量（例えば、人の位置）の初期化を行う部分１１１、時間経過による状態量の変化の予測を行う部分１１２、観測を行うカメラ（図示せず）等が出力する画像データに画像処理部１２が所定の画像処理を施した画像データに基づいて観測による予測値の評価を行う部分１１３、及び評価による状態量の変化の予測の補正を行う部分１１４を有する。上記の如き部分１１２〜１１４の処理を繰り返すこととにより、追跡対象の状態量を追跡する。
【００２３】
しかし、観測が曖昧であり、評価によっては状態量を単一の状態量に補正することが適切ではない場合もある。このような場合には、状態量を確率分布として扱う方法が知られている。パーティクルフィルタは、状態量を確率分布として扱う１つの手法であり、有限個の状態量の仮説を保持し、仮説の分布により確率分布を表している。パーティクルフィルタを用いた追跡の場合、全ての仮説に対して状態量を確率モデルに従って変化させ、各仮説をカメラ等が出力する画像データに基づいて評価する。このような評価の結果を表す評価値により仮説の集合（又は、仮説セット）を再構成又は補正することで、追跡対象の状態量を追跡する。
【００２４】
図３は、パーティクルフィルタによる追跡を説明する図である。パーティクルフィルタ２１は、図３に示すように、有限個の状態量（例えば、人の位置）の仮説の初期化を行う部分２１１、全ての仮説に対して時間経過による状態量の変化の予測を行う部分２１２、観測を行うカメラ（図示せず）等が出力する画像データに画像処理部１２が所定の画像処理を施した画像データに基づいて観測による予測値を評価することで各仮説の評価を行う部分２１３、及び評価による仮説セットの再構成又は補正を行う部分２１４を有する。上記の如き部分２１２〜２１４の処理を繰り返すこととにより、追跡対象の状態量を追跡する。
【００２５】
パーティクルフィルタ２１を用いる場合、確率分布を表現できる程度の仮説数が必要である。このため、追跡する状態の変数が増加すると、必要なパーティクルの数が指数関数的に増大し、追跡に伴う計算量も同様に増大する。
【００２６】
このように、複数の追跡対象を追跡する場合、複数の追跡対象の配置を１つの状態量として扱うと計算量が指数関数的に増加するため、図４に示すように、追跡対象毎に追跡を行う構成にしても良い。図４は、複数の追跡対象の追跡方法を説明する図である。、図４では、説明の便宜上、追跡対象が人であり特定の人ｈの位置を推定するものとする。
【００２７】
図４に示す監視システムは、Ｍ（Ｍは２以上の自然数）台のカメラ３１−１〜３１−Ｍ、Ｍ個の画像抽出部３２−１〜３２−Ｍ、及びＮ（Ｎは２以上の自然数）個の位置推定器３３−１〜３３−Ｎを有する。画像抽出部３２−１〜３２−Ｍは、カメラ３１−１〜３１−Ｍが出力する画像データから人領域らしき画像を周知の方法で抽出し、人領域らしき画像、即ち、人が存在する確率が一定以上の領域の画像に関する確率画像データを出力する。人領域らしき画像は、例えば人の肌色を検出する等の方法で抽出可能である。人以外の追跡対象の対象領域らしき画像は、追跡対象に固有な形状、色、動き（行動パターンを含む）等の特徴を検出する等の方法で抽出可能である。人の特徴量を用いて人を追跡する方法自体は、例えば上記特許文献２等にて提案されている。人ｈ（１＜ｈ＜Ｎ）の位置は、画像抽出部３２−１〜３２−Ｍからの確率画像データに基づいて位置推定器３３−ｈにより推定され、人ｈの位置の推定分布が求められる。
【００２８】
例えば、監視システムの監視領域内で人ｈが作業場所まで移動し、何らかの作業をして立ち去るシーンでは、作業によって物の配置が変化するので、人（即ち、追跡対象）が人領域の周辺領域の状態に影響を及ぼす。このように、１つの観測（この例ではカメラの出力画像データ）に複数の追跡対象が影響を及ぼすため、本実施例では追跡対象の推定位置を評価する時に他の追跡対象をどのように扱うかを工夫する。具体的には、本実施例では、既に求めた他の人の推定位置に関する推定分布を元に、各画素（又は、複数の画素からなるブロック）が人領域である確率を計算し、その確率に基づいて多値化画像を生成する。この多値化画像に評価する仮説の推定画像を重ね合わせた画像と、観測画像との一致度を評価する。観測画像についても、様々な画像処理結果から計算される、各画素（又は、複数の画素からなるブロック）の人領域らしさの度合いを表す多値化画像を計算して、上記人領域である確率に基づいて生成された多値化画像と比較する。
【００２９】
図５は、人ｈの位置を推定するための仮説の評価方法を説明する図である。図５において、ＥＤ１〜ＥＤＮは図４の位置推定器３３−１〜３３−Ｎで求めた人１〜Ｎの推定位置の推定分布を示し、Ｅｘｐｈは追跡対象である人ｈの位置の仮説を示す。ステップＳＴ１では、例えば前回の推定サイクルで求めた人１〜Ｎの推定位置の推定分布ＥＤ１〜ＥＤＮと、人ｈの仮説Ｅｘｐｈとに基づいて監視領域内の人ｈの存在確率を表す多値化画像（又は、存在確率画像）を計算で求める。ステップＳＴ２では、観測画像から人ｈらしさの度合いを表す多値化画像を計算で求める。ステップＳＴ３では、ステップＳＴ１で求めた人ｈの存在確率を表す多値化画像とステップＳＴ２で求めた人ｈらしさの度合いを表す多値化画像を比較し、比較結果に基づいて人ｈの位置の仮説の尤度を計算で求める。
【００３０】
このように、ステップＳＴ３は、追跡対象の位置を推定した推定結果の分布を用いて求めた追跡対象の存在確率を表す多値化画像と、追跡対象らしさの度合いを表す多値化画像を比較し、比較結果に基づいて推定結果を評価する。従って、監視領域に関する観測画像データを得る度に追跡対象毎に上記比較結果に基づいて推定結果を評価して推定結果を再構成又は補正することで、推定結果を最適化しながら各対象物を追跡することができる。
【００３１】
上記特許文献２では、既に求めた推定結果から得られる２値化画像と観測画像の背景差分等から得られる２値化画像を比較する。しかし、前述したように、２値化画像を用いたのでは、追跡対象を安定に追跡ができない場合がある。これに対し、本実施例では、多値化画像を比較することにより、安定に複数の追跡対象（即ち、複数の人）の追跡が可能となる。尚、上記の如く、本明細書では、多値化画像とはｎ≧３（ｎは自然数）を満たすｎ値化画像、即ち、２値化画像以外の多値化画像を意味するものとする。
【００３２】
既に求めた推定結果から人の存在確率を表す多値化画像を求める際には、特許文献２と同様に、注目する追跡対象人物以外の各人物の全ての仮説のシミュレーション画像（又は、予測画像）を生成し、シミュレーション画像を画素（又は、複数画素からなるブロック）毎に加算した多値化画像を生成し、これと注目する追跡対象人物の仮説のシミュレーション画像（ただし、人領域は多値化画像の最大値を有する）を重ね合わせることにより生成しても良い。
【００３３】
観測画像から計算される人領域らしさの度合いを表す多値化画像は、背景差分法やフレーム間差分法等により、各画素（又は、ブロック）が背景領域か否か、動領域か否か等の属性を決定することができる。この属性値毎に人らしさの度合いを事前にテーブル等により定義しておくことにより、多値化画像を生成することができる。
【００３４】
例えば、背景差分の有無及びフレーム間差分の有無に応じて、各画素（又は、ブロック）の属性を表１のように決定しても良い。表１は、背景差分とフレーム間差分による属性決定の一例を示す。
【００３５】
【表１】
【００３６】
又、動いている人がいる動領域、静止している人がいる静領域、又は、人がいない背景領域といった、夫々の領域に対して各画素（又は、ブロック）に各属性が観測される条件付確率を表２のように定義しても良い。表２は、領域毎の条件付確率の一例を示す。
【００３７】
【表２】
【００３８】
ここで、人が動いている確率と静止している確率が夫々０．５であるとすると、動領域であった場合に人領域である尤度は、(０．５×０．７＋０．５×０．３)／(０．７＋０．３＋０．１) ＝ ０．４５５となる。静領域であった場合に人領域である尤度は、(０．５×０．３＋０．５×０．７ )／(０．３＋０．７＋０．３) ＝ ０．３８５となる。背景領域であった場合に人領域である尤度は、０．０となる。この尤度の値によって多値化画像を生成することができる。
【００３９】
又、観測画像から計算される人領域らしさの度合いを表す多値化画像を生成するのに、離散化せずに連続値として扱うことも可能である。例えば、背景差分とフレーム間差分の差分値から、背景領域である確率を表３及び表４のように定義しても良い。表３は背景領域である確率を示し、表４は動領域である確率及び静領域である確率を示す。表３及び表４において、閾値１〜閾値４は夫々第１〜第４の閾値を示す。
【００４０】
【表３】
【００４１】
【表４】
【００４２】
次に、観測画像から計算される人領域らしさの度合いを表す多値化画像の各画素（又は、ブロック）の値を以下のように計算する。
【００４３】
画素値＝（背景領域である確率）×（背景領域であった場合に人領域である尤度）
＋（動領域である確率）×（動領域であった場合に人領域である尤度）
＋（静領域である確率）×（静領域であった場合に人領域である尤度）
この例では、動領域である確率及び静領域である確率を差分値から線形関数を用いて計算しているが、勿論別の関数を用いて動領域である確率及び静領域である確率を計算しても良い。
【００４４】
図６は、図５の評価方法で用いる画像の一例を示す図である。図６において、説明の便宜上Ｎ＝２であり、４１−１，４１−２は夫々人１，２の存在確率画像を示し、４２は追跡対象人物の仮説を示す。４３は注目する追跡対象人物以外の他者の存在確率画像を示し、４４は仮説４３を前提とし、他者の存在確率画像４３から求めた人の存在確率画像を示す。人の存在確率画像４４は、上記ステップＳＴ１で求めた人ｈの存在確率を表す多値化画像に相当する。一方、４５はカメラにより撮影された観測画像を示し、４６は観測画像４５から抽出された人領域らしさの度合いを表す画像を示す。人領域らしき画像４６は、上記ステップＳＴ２で求めた人ｈらしさの度合いを表す多値化画像に相当する。従って、上記ステップＳＴ３では、人の存在確率画像４４と人領域らしき画像４６を比較し、比較結果に基づいて人ｈの位置の仮説の尤度を計算で求める。
【００４５】
生成した多値化画像（４４と４６）の比較には、例えば正規化相関等を用いても良い。又、人の姿勢に影響されにくい、上端や下端の境界を比較するため、人の上端や下端周辺の画像の上下方向の勾配の値を比較する方法を用いても良い。後者の場合、生成した多値化画像（４４と４６）の領域の勾配ベクトルを正規化相関等によって比較する。更に、これらの比較方法、或いは、他の比較方法を併用する場合には、異なる比較方法により求めた各尤度を積算した結果を尤度として用いるようにしても良い。
【００４６】
本実施例では、追跡対象人物が複数人いる場合に各人を独立に推定（及び追跡）しているが、各人を独立に推定するということは、各人が全く干渉しないということを前提としていることである。しかし、実際には人同士は干渉するため、各人が互いに干渉し合うことを推定に加えれば追跡対象人物の推定位置の精度が更に向上する。この場合、毎回、人同士が干渉していない（即ち、同じ位置にいない）ことを観測しているとみなし、他者の存在確率が高い位置程尤度が低くなるような値を尤度に積算することにより人同士の干渉を加味した尤度の計算を行うことができる。
【００４７】
例えば、各仮説が表す座標から一定の半径内を１、それ以外を０とする円形画像データを、追跡対象人物の周辺の人物の全ての仮説に加算した他者存在確率を示す多値化平面地図データを生成し、追跡対象人物の仮説の評価値に、（１−他者存在確率）を積算するようにしても良い。
【００４８】
又、監視領域に対してカメラが複数設置されている場合、全てのカメラから得られる画像データを比較する必要はなく、映る可能性があるカメラからの画像データのみを評価しても良い。つまり、追跡対象を捉えているカメラの画像データのみを評価するのではなく、あるカメラは追跡対象を捉えていないという情報も追跡対象の位置の推定に重要な情報として利用する。
【００４９】
最小限のカメラからの画像データに対してのみ処理を実行するために、図７に示すように監視領域の見取り図（又は、地図）とカメラの座標とを対応付けたデータベースを用意する。図７は、監視領域の見取り図（又は、地図）の一例を示す図である。この例では、監視領域５０は、非監視領域である部屋５１−１，５１−２の周囲に配置された廊下５２及び出入口５３で形成されている。尚、監視領域は、屋内に限定されず、屋外、或いは、屋外と屋内の組み合わせであっても良い。例えば、図７のような配置でカメラＣ１０〜Ｃ１４が監視領域５０に設置されている場合、監視領域５０を図７に示す如くＡ〜Ｍの領域に分割する。この場合、追跡対象人物が各領域Ａ〜Ｍにいる場合に追跡対象人物を撮影する可能性のあるカメラが特定できるため、表５のように領域毎に追跡対象人物を撮影する可能性のあるカメラの座標の対応付けを示すデータベースを用意する。表５は、地図情報の一例を示し、各領域Ａ〜Ｍを識別するための領域識別子（ＩＤ：Identifier）に対し、各領域Ａ〜Ｍの左上（即ち、矩形領域の左上の角）のＸＹ座標、各領域Ａ〜Ｍの右下（即ち、矩形領域の右下の角）のＸＹ座標、及び撮影カメラを示す。この例では、各領域Ａ〜Ｍが矩形であるため、各領域Ａ〜Ｍを特定できるような情報は各領域Ａ〜Ｍの左上のＸＹ座標と右下のＸＹ座標である。これにより、監視領域５０のうち、各仮説が所属する領域を撮影する可能性のあるカメラからの画像データを処理すれば良いことがわかる。
【００５０】
【表５】
【００５１】
又、このように監視領域５０に複数のカメラＣ１０〜Ｃ１４が設置されている場合、同じ人物の位置の推定でも、仮説の位置によって評価するカメラや、カメラの数が異なる可能性がある。このため、ある人物の位置の推定に使用する各カメラに関して、観測無しの場合の尤度の値を予め計算しておき、尤度をこの観測無しの場合の尤度の値で除算して正規化することで、ある人物の位置の推定に使用しないカメラについても、観測無しの尤度を積算したのと同等の結果が得られる。
【００５２】
尚、画像処理が背景差分法に基づいている場合、物の移動等による背景の変化への対応が必要となる。ここでは、監視領域内の人の存在確率が求められているため、人が存在する確率が０である領域に対してのみ、背景を更新していくことにより、適切な背景の更新が可能となる。
【００５３】
上記実施例では、図５の評価方法を用いた追跡処理が図２〜図４に示す装置部分を含む監視システム、即ち、ハードウェアにより実行される。しかし、追跡処理の少なくとも一部をソフトウェアにより実行するようにしても良い。この場合、追跡処理プログラム（即ち、ソフトウェア）は、コンピュータに追跡処理の手順の少なくとも一部を実行させるか、或いは、コンピュータを監視システムの少なくとも一部を構成する手段として機能させるか、或いは、コンピュータに監視システムの少なくとも一部の機能を実現させるものであれば良い。又、コンピュータは、コンピュータ読み取り可能な記憶媒体に格納されたプログラムを実行しても、コンピュータの外部からダウンロードした追跡処理プログラムを実行しても良いことは言うまでもない。
【００５４】
図８は、本発明の他の実施例における監視システムを説明する図である。図８に示す監視システム６０は、ＣＰＵ６１、メモリ部６２、送受信部６３、複数の操作キーを有する操作部６４、表示部６５、及びカメラ群６６がバス６８により接続された構成を有し、する。ＣＰＵ６１は、監視システム６０全体の動作の制御を司る。メモリ部６２は、ＣＰＵ６１が実行するプログラムと、ＣＰＵ６１が行う演算の中間データを含む各種データを格納する半導体記憶装置、ディスク装置等で形成されている。メモリ部６２は、監視領域の見取り図（又は、地図）とカメラの座標とを対応付けた上記データベースを格納しても良い。送受信部６３は、アンテナ（図示せず）又はインターネット等のネットワーク（図示せず）を介した送受信を行う周知の構成を有し、モデム機能を含む。操作部６４は、ユーザが追跡処理に関する指示や追跡対象に関する情報等を監視システム６０に入力する際に操作される複数の操作キーを有する。表示部６５は、各種操作メニュー、操作キーから入力された情報、処理対象の画像、処理結果の画像等を表示する。尚、操作部６４及び表示部６５は、タッチパネルの場合のように一体的に設けられていても良い。カメラ群６６は、被写体を撮影可能な周知の構成を有し、例えば図７に示すカメラＣ１０〜Ｃ１４を含む。
【００５５】
メモリ部６２に格納されている追跡処理プログラムは、少なくともＣＰＵ６１及びメモリ部６２で形成されたコンピュータに追跡処理の手順の少なくとも一部を実行させるか、或いは、コンピュータを図２〜図４に示す装置部分を含む監視システムの少なくとも一部を構成する手段として機能させるか、或いは、コンピュータに監視システムの少なくとも一部の機能を実現させる。追跡処理プログラムを格納するコンピュータ読み取り可能な記憶媒体は、本実施例ではメモリ部６２であるが、追跡処理プログラムを格納するコンピュータ読み取り可能な記憶媒体の種類は特に限定されず、半導体記憶装置であっても、ディスク等の磁気記憶媒体、光記憶媒体や光磁気記憶媒体であっても良い。又、コンピュータは、送受信部６３を介してコンピュータの外部からダウンロードした追跡処理プログラムを実行しても良い。
【００５６】
尚、監視領域の見取り図（又は、地図）とカメラの座標とを対応付けた上記データベースを形成する記憶部（図示せず）が監視システム６０の外部に設けられている場合には、ＣＰＵ６１は送受信部６３を介して外部のデータベースをアクセスすれば良い。
【００５７】
追跡処理は、カメラ群６６から得られる画像データから例えば前回の推定サイクルで既に求めた人１〜Ｎの推定位置の推定分布ＥＤ１〜ＥＤＮと、人ｈの仮説Ｅｘｐｈとに基づいて監視領域内の人ｈの存在確率を表す多値化画像（又は、存在確率画像）を計算する手順（上記ステップＳＴ１に相当）と、観測画像から人ｈらしさの度合いを表す多値化画像を計算する手順（上記ステップＳＴ２に相当）と、求められた人ｈの存在確率を表す多値化画像と求められた人ｈらしさの度合いを表す多値化画像を比較し、比較結果に基づいて人ｈの位置の仮説の尤度を計算する手順（上記ステップＳＴ３に相当）を含む。
【００５８】
このような追跡処理のうち、追跡対象の存在確率を示す画像データを計算する手順（ステップＳＴ１に相当）と、位置推定器（又は、パーティクルフィルタ）を用いて人ｈらしさの度合いを表す多値化画像を計算する手順（ステップＳＴ２に相当）とを夫々別のプログラム（又は、別のスレッド）にて実行することにより、カメラ群６６を形成するカメラの数や追跡するべき人物の数が増加しても計算時間が増大せず、計算量もカメラ数、人数に比例して増加する程度に抑えられる。
【００５９】
図９は、図４の人ｈの位置推定器３３−ｈをパーティクルフィルタで形成する場合のＣＰＵ６１の動作を説明するフローチャートである。図９に示す処理は、ＣＰＵ６１がメモリ６２に格納されたプログラムを実行することにより行われる。図９は、図４のように各人に対してパーティクルフィルタが並列に動作している場合に、これらのパーティクルフィルタのうち人ｈの位置を推定するパーティクルフィルタの動作に相当する。
【００６０】
図９において、ステップＳ１は注目する追跡対象の人ｈの全ての仮説に対して経過時間に対する推定位置の更新を行う。ステップＳ２は、人ｈを撮影する少なくとも１台のカメラを含むカメラの集合Ａを地図情報から取得する。ステップＳ３は、カメラの集合Ｓａに含まれるカメラｃで観測された画像データから人領域らしき多値化画像データＯｃを取得する。ステップＳ４は、カメラの集合Ｓａに含まれるカメラｃで観測された画像データから人ｈの存在確率を示す存在確率画像データＰｈｃを生成する。ステップＳ５は、人ｈ以外の全ての追跡対象人物ｅについて、カメラの集合Ｓａに含まれる各カメラｃで観測された画像データから追跡対象人物ｅの存在確率を示す存在確率画像データＰ'ｅｃを取得する。存在確率画像データＰｈｃ及び存在確率画像データＰ'ｅｃは、いずれも多値化画像データである。ステップＳ６は、カメラの集合Ｓａに含まれる各カメラｃに対して、人ｈ以外の全ての追跡対象人物について存在確率画像データＰ'ｅｃを足し合わせて確率画像データＰ'Ｅｃを生成する。確率画像データＰ'Ｅｃは、多値化画像データである。ステップＳ７は、ｃ∈Ｓａを満たす全てのカメラｃについて、確率画像データＰ'Ｅｃと人領域らしき画像データＯｃを比較評価し、ｃ∈Ｓａに対する基準尤度ｌｃとする。
【００６１】
ステップＳ８は、未処理の仮説ｋを仮説の集合Ｋ（ｋ∈Ｋ）から１つ選択し、尤度を１．０に初期化する。ステップＳ９は、仮説の位置を撮影するカメラの集合Ｓｃを地図情報から取得する。ステップＳ１０は、カメラの集合Ｓｃから未選択のカメラｃを１つ選択する。ステップＳ１１は、確率画像データＰ'Ｅｃと選択した仮説から生成した確率画像を足し合わせた確率画像データＰｋｃを生成する。ステップＳ１２は、多値化画像データである確率画像データＰｋｃと人領域らしさの度合いを表す画像データＯｃを比較評価し、一致度ｖｋｃを計算する。ステップＳ１３は、尤度ＬをＬ＝Ｌ×ｖｋｃ÷ｌｃから求める。
【００６２】
ステップＳ１４は、全てのカメラの集合Ｓｃに対する処理が終了したか否かを判定し、判定結果がＮＯであると処理はステップＳ１０へ戻る。一方、ステップＳ１４の判定結果がＹＥＳであると、ステップＳ１５は、カメラに依存しない尤度計算があれば計算して求めた尤度Ｌに掛け合わせる。例えば、ステップＳ１５は上記の如き他者干渉の評価の計算を行うものであり、省略可能である。ステップＳ１６は、全ての仮説に対する処理が終了したか否かを判定し、判定結果がＮＯであると処理はステップＳ８へ戻る。ステップＳ１６の判定結果がＹＥＳであると、ステップＳ１７は、リサンプリング（Resampling）を行うことで、尤度の重みで仮説の集合Ｋをランダムに選択し、処理は終了する。
【００６３】
次に、図１０中ハッチング及び梨地の丸印で示すように監視領域５０内に人物が存在しており、カメラＣ１０，Ｃ１１により人物が図１１のように撮影されている場合を例にとって、図９の具体的な処理を説明する。図１０は、監視領域内の人の配置例を示す図である。図１０中、図７と同一部分には同一符号を付し、その説明は省略する。図１１は、図１０の配置例について特定のカメラが撮影した画像例を示す図である。ここでは説明の便宜上、ハッチングの丸印で示す人物の位置を推定する例について説明する。
【００６４】
ステップＳ１は、既に推定した人ｈの位置の全ての仮説に対し、時間変化による仮説の更新を行う。図１２は、更新された人の存在確率分布例を示す図である。尚、人ｈの位置推定器３３−ｈで計算される既に求めた人の位置の推定分布の更新は、人ｈに関する分布のみである。又、ステップＳ１は、既に推定した人ｈの位置及び／又は速度の全ての仮説に対し、時間変化による仮説の更新を行うものであっても良い。
【００６５】
ステップＳ２は、次に人ｈが撮影されているカメラを探す。人ｈの分布は、領域Ａ，Ｂに渡っているため、領域Ａ，Ｂを写すカメラＣ１０，Ｃ１１が地図情報から検索される。
【００６６】
ステップＳ３は、選択したカメラ画像処理結果（人領域らしさの度合いを表す多値画像データＯｃ）を取得する。図１３は、カメラＣ１０，Ｃ１１の観測から得られた人領域らしさの度合いを表す多値化画像データの例を示す図である。図１３及び後述する図１４〜図１６において、（ａ）はカメラＣ１０が撮影した画像に基づく画像データ、（ｂ）はカメラＣ１１が撮影した画像に基づく人領域らしさの度合いを表す多値化画像データを示す。
【００６７】
ステップＳ４は、ステップＳ２で計算した新しい分布を元に人ｈの確率画像データ（人ｈの存在確率を示す多値化画像データＰｈｃ）を生成する。図１４は、図１０中ハッチングで示す人ｈの確率画像データの例を示す図である。
【００６８】
ステップＳ５は、他の人物の位置推定器が計算したカメラＣ１０，Ｃ１１に関するステップＳ４の確率画像データＰ'ｅｃがあれば取得する。これは、他の人物の位置推定器が非同期で動作している場合には、１回前の推定サイクルの確率画像を取得することで代替する場合もあり、比較的早い周期で計算する場合には１回では人の領域は殆ど変化しないと考えられるからである。
【００６９】
ステップＳ６は、ステップＳ５で取得した他の人物の確率画像データＰ'ｅｃを足し合わせた確率画像データＰ'Ｅｃを生成する。図１５は、図１０中梨地で示す他者の確率画像データを足し合わせた確率画像データの例を示す図である。
【００７０】
ステップＳ７は、ステップＳ３で取得した人領域らしさの度合いを表す多値化画像データＯｃと、ステップＳ６で生成した確率画像データＰ'Ｅｃを比較評価して尤度を各カメラについて計算し、計算結果を各カメラで観測されなかった場合の基準尤度ｌｃとする。
【００７１】
ステップＳ８は、仮説を１つ選択し、尤度Ｌを１．０に初期化する。
【００７２】
ステップＳ９は、選択した仮説の位置が例えば領域Ａであれば、選択した仮説の位置を撮影するカメラＣ１０，Ｃ１１を地図情報から取得する。
【００７３】
ステップＳ１０は、未選択のカメラを１つ選択する。ここではカメラＣ１０が先ず選択されるものとする。
【００７４】
ステップＳ１１は、選択したカメラについてステップＳ６で生成した確率画像データＰ'Ｅｃに、選択した仮説の確率画像データを足し合わた確率画像データＰｋｃを生成する。図１６は、各仮説の尤度計算に使われる多値化画像データの例を示す図である。図１６において、ＩＭ１ａ，ＩＭ１ｂは図１０中ハッチングで示す人の多値化画像データを示し、ＩＭ２ａ，ＩＭ２ｂは図１０中梨地で示す他者の多値化画像データを示す。
【００７５】
ステップＳ１２は、ステップＳ１１で生成した確率画像データＰｋｃとステップＳ３で取得した人領域らしさの度合いを表す多値化画像データＯｃを比較評価して一致度ｖｋｃを計算する。
【００７６】
ステップＳ１３は、尤度ＬをＬ＝Ｌ×（ステップＳ１２で計算した一致度ｖｋｃ）／（ステップＳ７で計算した基準尤度ｌｃ）に基づいて計算する。
【００７７】
ステップＳ１４は、全てのカメラについて処理が終了していなければ、処理をステップＳ１０へ戻す。
【００７８】
ステップＳ１５は、カメラに関係ない、或いは、カメラに依存しない尤度計算があれば計算して尤度Ｌに積算する。
【００７９】
ステップＳ１６は、全ての仮説に対して処理が終了したか否かを判定する。まだ処理していない仮説がありステップＳ１６の判定結果がＮＯであれば、処理をステップＳ８へ戻す。
【００８０】
ステップＳ１７は、リサンプリング、即ち、仮説セットの再構成（又は、補正）を行って尤度Ｌの重みで仮説の集合Ｋをランダムに選択し、処理は終了する。
【００８１】
図１７は、各背景画像の更新方法として、人の存在確率画像を使用した背景の更新の一例を示す図である。図１７において、ステップＳ２１は、全ての人の位置推定器３３−１〜３３−Ｎからカメラｃについて各人の存在確率画像データが存在すれば取得する。ステップＳ２２は、ステップＳ２１で取得した各人の存在確率画像データを足し合わせてカメラｃについて全ての人の存在確率画像データを生成する。ステップＳ２３は、各画素（又は、複数の画素からなるブロック）について、人の存在確率画像データの値が０であれば背景を更新し、背景画像の更新処理は終了する。
【００８２】
尚、各画素の更新方法については、背景差分法の研究等により様々な方法が提案されているので、既存の技術を使用可能である。各画素の更新方法としては、保存されている背景の画素値と、最新画像の画素値の重み付け平均により更新する方法等がある。
【００８３】
図１８は、上記各実施例のように多値化画像データを用いることにより追跡対象の追跡が成功する例を示す図である。図１８中、説明の便宜上、各フレームは１つのカメラにより撮影された一定時間毎の画像であり、下方向のフレーム程時間的には新しい。この例では、図１８（ａ）の７つのフレームの画像からもわかるように、監視領域内の追跡対象人物が移動して席に着き、作業を終えて立ち去る様子が示されている。追跡対象人物が行う作業のため、追跡対象人物の席の周辺の背景が変化する。このため、背景差分法によるシルエット画像を使用する場合、図１８（ｂ）の各フレームに対応するシルエット画像のうち特に下から２、３番目のフレームに対応するシルエット画像からもわかるように、追跡対象人物が行う作業のため変化してしまった周辺に追跡対象人物が存在すると誤って判断されかねない。これに対し、図１８（ｃ）の各フレームに対応する追跡対象人物の存在確率画像からもわかるように、上記各実施例によれば、追跡対象人物が行う作業のため追跡対象人物の席の周辺の背景が変化しても、追跡対象人物を正しく追跡できることが確認された。又、人領域である確率が０の領域だけ背景を学習する仕組みを実装しているので、追跡対象人物が監視領域から立ち去った後には、変化した背景が背景として正しく認識され、背景差分としては検出されなくなることも確認された。尚、図１８（ｃ）では、説明の便宜上、カメラの撮影画像に相当する領域に位置の座標を認識しやすくするためのグリッドが表示されている。
【００８４】
上記各実施例では、説明の便宜上、追跡対象が人の場合について説明しているが、追跡対象は特に限定されない。例えば、追跡対象は飼育又は監視している生物であっても良い。つまり、追跡対象は、追跡対象に固有な形状、色、動き（行動パターンを含む）等の特徴を検出する等の方法で撮影された画像から抽出可能なものであれば特に限定されない。
【００８５】
監視システムの構成は、上記各実施例の構成に限定されず、様々な変形例が可能である。例えば、図４の画像抽出部３２−１〜３２−Ｍ及び位置推定器３３−１〜３３−Ｎの処理を全て図８の如き構成を有する単一のコンピュータシステム（又は、サーバ）で実行し、画像抽出部３２−１〜３２−Ｍ及び位置推定器３３−１〜３３−Ｎの各々の機能は１プロセス上の別スレッドとして実現するようにしても良い。又、画像抽出部３２−１〜３２−Ｍ及び位置推定器３３−１〜３３−Ｎの処理を全て図８の如き構成を有する単一のコンピュータシステムで実行し、画像抽出部３２−１〜３２−Ｍ及び位置推定器３３−１〜３３−Ｎの各々の機能は別プロセスとして実現するようにしても良い。更に、画像抽出部３２−１〜３２−Ｍ及び位置推定器３３−１〜３３−Ｎの処理を全て図８の如き構成を有する複数のコンピュータシステムで並列処理により実行し、画像抽出部３２−１〜３２−Ｍ及び位置推定器３３−１〜３３−Ｎの各々の機能は各コンピュータシステム内では１プロセス上の別スレッドとして実現するようにしても良い。画像抽出部３２−１〜３２−Ｍ及び位置推定器３３−１〜３３−Ｎの処理を全て図８の如き構成を有する複数のコンピュータシステムで並列処理により実行し、画像抽出部３２−１〜３２−Ｍ及び位置推定器３３−１〜３３−Ｎの各々の機能は各コンピュータシステム内では別プロセスとして実現するようにしても良い。
【００８６】
上記各実施例によれば、追跡対象の位置を推定した推定結果の分布を用いて追跡対象の存在確率を表す多値化画像を生成し、追跡対象の存在確率を表す多値化画像と追跡対象らしさの度合いを表す多値化画像との比較結果に基づいて推定結果を評価することで追跡対象を追跡するので、追跡対象が周辺領域に影響を及ぼす場合であっても安定した追跡を行うことができる。又、追跡対象が複数の場合にも各追跡対象を安定に追跡可能である。
【００８７】
以上の実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
監視領域内の複数の箇所で前記監視領域内の領域を観測するカメラからの画像データに基づいて、追跡対象の位置を推定した推定結果の分布を用いて前記追跡対象の存在確率を表す第１の多値化画像データを生成するステップと、
前記カメラからの画像データに基づいて、前記追跡対象らしさの度合いを表す第２の多値化画像データを生成するステップと、
前記第１の多値化画像と前記第２の多値化画像を比較し、比較結果に基づいて前記推定結果を評価するステップと、
前記評価に基づいて前記推定結果を再構成することで前記追跡対象を追跡するステップを含み、
前記第１及び第２の多値化画像は、いずれもｎ≧３（ｎは自然数）を満たすｎ値化画像である追跡方法。
（付記２）
前記第１の多値化画像データを生成するステップは、複数の追跡対象の各々に対して前記第１の多値化画像データを生成し、
前記第２の多値化画像データを生成するステップは、前記複数の追跡対象の各々に対して前記第２の多値化画像データを生成し、
前記評価するステップは、前記複数の追跡対象の各々について前記比較結果に基づいて前記推定結果を評価する、付記１記載の追跡方法。
（付記３）
前記第１の多値化画像データを生成するステップは、パーティクルフィルタにより前記第１の多値化画像データを生成する、付記２記載の追跡方法。
（付記４）
前記第１の多値化画像データを生成するステップは、
既に求めた推定結果の分布を利用して前記監視領域内の前記追跡対象の存在確率を表す前記第１の多値化画像を生成し、
注目する追跡対象以外の対象に関しては、前記既に求めた推定分布の重みで予測画像データを最大値まで足し合わせた前記第１の多値化画像を生成し、
前記注目する追跡対象に対しては、ある確率変数の値に対する予測画像の領域に関して最大値に設定することより、前記注目する追跡対象のある確率変数の値に対する前記第１の多値化画像を生成する、付記２記載の追跡方法。
（付記５）
前記第２の多値化画像データを生成するステップは、
背景差分又はフレーム間差分の値から閾値処理により、差分領域又は動領域を抽出し、特徴毎に前記追跡対象の領域らしさの度合いを定義するテーブルに基づいて前記第２の多値化画像データを生成する、付記１乃至３のいずれか１項記載の追跡方法。
（付記６）
前記第２の多値化画像データを生成するステップは、
背景差分及びフレーム間差分を含む複数の特徴量から、前記追跡対象らしさの度合いを計算する数式に基づいて前記第２の多値画像を生成する、付記１乃至３のいずれか１項記載の追跡方法。
（付記７）
各カメラが撮影可能な領域と前記地図データの座標は対応させて予めデータベース化されており、
前記評価するステップは、前記パーティクルフィルタのパーティクルの持つ座標から前記追跡対象を撮影している可能性のあるカメラのみからの画像データを参照して前記パーティクルフィルタの尤度を計算する、付記３記載の追跡方法。
（付記８）
前記第１の多値化画像データを生成するステップと、前記第２の多値化画像データを生成するステップは、互いに別のプログラム又はスレッドがコンピュータに実行させる、付記１乃至７のいずれか１項記載の追跡方法。
（付記９）
監視領域内の複数の箇所で前記監視領域内の領域を観測するカメラからの画像データに基づいて追跡対象を追跡する監視システムであって、
前記画像データに基づいて、前記追跡対象の位置を推定した推定結果の分布を用いて前記追跡対象の存在確率を表す第１の多値化画像データを生成する第１の生成手段と、
前記画像データに基づいて、前記追跡対象らしさの度合いを表す第２の多値化画像データを生成する第２の生成手段と、
前記第１の多値化画像と前記第２の多値化画像を比較し、比較結果に基づいて前記推定結果を評価する評価手段と、
前記評価に基づいて前記推定結果を再構成することで前記追跡対象を追跡する追跡手段を備え、
前記第１及び第２の多値化画像は、いずれもｎ≧３（ｎは自然数）を満たすｎ値化画像である、監視システム。
（付記１０）
前記第１の生成手段は、パーティクルフィルタを有する、付記９記載の監視システム。
（付記１１）
各カメラが撮影可能な領域と前記監視領域の地図データの座標は対応させて予めデータベース化されており、
前記評価手段は、前記パーティクルフィルタのパーティクルの持つ座標から前記追跡対象を撮影している可能性のあるカメラのみからの画像データを参照して前記パーティクルフィルタの尤度を計算する、付記１０記載の監視システム。
（付記１２）
コンピュータに追跡対象の追跡を行わせるプログラムであって、
監視領域内の複数の箇所で前記監視領域内の領域を撮影するカメラからの画像データに基づいて、追跡対象の位置を推定した推定結果の分布を用いて前記追跡対象の存在確率を表す第１の多値化画像データを生成する手順と、
前記カメラからの画像データに基づいて、前記追跡対象らしさの度合いを表す第２の多値化画像データを生成する手順と、
前記第１の多値化画像と前記第２の多値化画像を比較し、比較結果に基づいて前記推定結果を評価する手順と、
前記評価に基づいて前記推定結果を再構成することで前記追跡対象を追跡する手順を前記コンピュータに実行させ、
前記第１及び第２の多値化画像は、いずれもｎ≧３（ｎは自然数）を満たすｎ値化画像である、プログラム。
【００８８】
以上、開示の追跡方法、監視システム及びプログラムを実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能であることは言うまでもない。
【符号の説明】
【００８９】
１１ 状態追跡フィルタ
１２ 画像処理部
２１ パーティクルフィルタ
３１−１〜３１−Ｍ，Ｃ１０〜Ｃ１４ カメラ
３２−１〜３２−Ｍ 画像抽出部
３３−１〜３３−Ｎ 位置推定器
６０ 監視システム
６１ ＣＰＵ
６２ メモリ部
６６ カメラ群
【特許請求の範囲】
【請求項１】
監視領域内の複数の箇所で前記監視領域内の領域を撮影するカメラからの画像データに基づいて、追跡対象の位置を推定した推定結果の分布を用いて前記追跡対象の存在確率を表す第１の多値化画像データを生成するステップと、
前記カメラからの画像データに基づいて、前記追跡対象らしさの度合いを表す第２の多値化画像データを生成するステップと、
前記第１の多値化画像と前記第２の多値化画像を比較し、比較結果に基づいて前記推定結果を評価するステップと、
前記評価に基づいて前記推定結果を再構成することで前記追跡対象を追跡するステップを含み、
前記第１及び第２の多値化画像は、いずれもｎ≧３（ｎは自然数）を満たすｎ値化画像である、追跡方法。
【請求項２】
監視領域内の複数の箇所で前記監視領域内の領域を観測するカメラからの画像データに基づいて追跡対象を追跡する監視システムであって、
前記画像データに基づいて、前記追跡対象の位置を推定した推定結果の分布を用いて前記追跡対象の存在確率を表す第１の多値化画像データを生成する第１の生成手段と、
前記画像データに基づいて、前記追跡対象らしさの度合いを表す第２の多値化画像データを生成する第２の生成手段と、
前記第１の多値化画像と前記第２の多値化画像を比較し、比較結果に基づいて前記推定結果を評価する評価手段と、
前記評価に基づいて前記推定結果を再構成することで前記追跡対象を追跡する追跡手段を備え、
前記第１及び第２の多値化画像は、いずれもｎ≧３（ｎは自然数）を満たすｎ値化画像である、監視システム。
【請求項３】
前記第１の生成手段は、パーティクルフィルタを有する、請求項２記載の監視システム。
【請求項４】
各カメラが撮影可能な領域と前記監視領域の地図データの座標は対応させて予めデータベース化されており、
前記評価手段は、前記パーティクルフィルタのパーティクルの持つ座標から前記追跡対象を撮影している可能性のあるカメラのみからの画像データを参照して前記パーティクルフィルタの尤度を計算する、請求項３記載の監視システム。
【請求項５】
コンピュータに追跡対象の追跡を行わせるプログラムであって、
監視領域内の複数の箇所で前記監視領域内の領域を撮影するカメラからの画像データに基づいて、追跡対象の位置を推定した推定結果の分布を用いて前記追跡対象の存在確率を表す第１の多値化画像データを生成する手順と、
前記カメラからの画像データに基づいて、前記追跡対象らしさの度合いを表す第２の多値化画像データを生成する手順と、
前記第１の多値化画像と前記第２の多値化画像を比較し、比較結果に基づいて前記推定結果を評価する手順と、
前記評価に基づいて前記推定結果を再構成することで前記追跡対象を追跡する手順を前記コンピュータに実行させ、
前記第１及び第２の多値化画像は、いずれもｎ≧３（ｎは自然数）を満たすｎ値化画像である、プログラム。
【請求項１】
監視領域内の複数の箇所で前記監視領域内の領域を撮影するカメラからの画像データに基づいて、追跡対象の位置を推定した推定結果の分布を用いて前記追跡対象の存在確率を表す第１の多値化画像データを生成するステップと、
前記カメラからの画像データに基づいて、前記追跡対象らしさの度合いを表す第２の多値化画像データを生成するステップと、
前記第１の多値化画像と前記第２の多値化画像を比較し、比較結果に基づいて前記推定結果を評価するステップと、
前記評価に基づいて前記推定結果を再構成することで前記追跡対象を追跡するステップを含み、
前記第１及び第２の多値化画像は、いずれもｎ≧３（ｎは自然数）を満たすｎ値化画像である、追跡方法。
【請求項２】
監視領域内の複数の箇所で前記監視領域内の領域を観測するカメラからの画像データに基づいて追跡対象を追跡する監視システムであって、
前記画像データに基づいて、前記追跡対象の位置を推定した推定結果の分布を用いて前記追跡対象の存在確率を表す第１の多値化画像データを生成する第１の生成手段と、
前記画像データに基づいて、前記追跡対象らしさの度合いを表す第２の多値化画像データを生成する第２の生成手段と、
前記第１の多値化画像と前記第２の多値化画像を比較し、比較結果に基づいて前記推定結果を評価する評価手段と、
前記評価に基づいて前記推定結果を再構成することで前記追跡対象を追跡する追跡手段を備え、
前記第１及び第２の多値化画像は、いずれもｎ≧３（ｎは自然数）を満たすｎ値化画像である、監視システム。
【請求項３】
前記第１の生成手段は、パーティクルフィルタを有する、請求項２記載の監視システム。
【請求項４】
各カメラが撮影可能な領域と前記監視領域の地図データの座標は対応させて予めデータベース化されており、
前記評価手段は、前記パーティクルフィルタのパーティクルの持つ座標から前記追跡対象を撮影している可能性のあるカメラのみからの画像データを参照して前記パーティクルフィルタの尤度を計算する、請求項３記載の監視システム。
【請求項５】
コンピュータに追跡対象の追跡を行わせるプログラムであって、
監視領域内の複数の箇所で前記監視領域内の領域を撮影するカメラからの画像データに基づいて、追跡対象の位置を推定した推定結果の分布を用いて前記追跡対象の存在確率を表す第１の多値化画像データを生成する手順と、
前記カメラからの画像データに基づいて、前記追跡対象らしさの度合いを表す第２の多値化画像データを生成する手順と、
前記第１の多値化画像と前記第２の多値化画像を比較し、比較結果に基づいて前記推定結果を評価する手順と、
前記評価に基づいて前記推定結果を再構成することで前記追跡対象を追跡する手順を前記コンピュータに実行させ、
前記第１及び第２の多値化画像は、いずれもｎ≧３（ｎは自然数）を満たすｎ値化画像である、プログラム。
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１７】
【図１】
【図６】
【図１３】
【図１４】
【図１５】
【図１６】
【図１８】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１７】
【図１】
【図６】
【図１３】
【図１４】
【図１５】
【図１６】
【図１８】
【公開番号】特開２０１１−１０７８３９（Ｐ２０１１−１０７８３９Ａ）
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願番号】特願２００９−２６０３４０（Ｐ２００９−２６０３４０）
【出願日】平成２１年１１月１３日（２００９．１１．１３）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願日】平成２１年１１月１３日（２００９．１１．１３）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]