移動物体追跡装置
【課題】監視空間内の移動物体を監視画像上にて追跡する装置において、注目物体が密集する他物体に接近する場合に取り違えを防止する処理を適切に行うことが容易ではない。
【解決手段】仮説設定部５１は複数の物体について現時刻における候補位置を過去位置から複数予測する。尤度算出部５２は、注目物体の各移動先候補について、画像特徴に基づき当該物体の移動先らしさの度合いを表す評価値を求める。また、当該移動先候補での他物体の存在蓋然性を表す存在度に応じて、評価値を低める補正を行う。その一方で、注目物体の移動先候補の一部について前記補正を弱める評価値補償を行い、他物体の譲歩を前記評価値に反映させる。この補正及びその限定的な補償を行った評価値から当該注目物体の移動先位置を判定する。
【解決手段】仮説設定部５１は複数の物体について現時刻における候補位置を過去位置から複数予測する。尤度算出部５２は、注目物体の各移動先候補について、画像特徴に基づき当該物体の移動先らしさの度合いを表す評価値を求める。また、当該移動先候補での他物体の存在蓋然性を表す存在度に応じて、評価値を低める補正を行う。その一方で、注目物体の移動先候補の一部について前記補正を弱める評価値補償を行い、他物体の譲歩を前記評価値に反映させる。この補正及びその限定的な補償を行った評価値から当該注目物体の移動先位置を判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理により複数の移動物体を追跡する移動物体追跡装置に関する。
【背景技術】
【０００２】
画像処理により移動物体を追跡する従来技術として、テンプレートマッチング処理を用い、画像特徴が類似する個所を探索、追跡するものが知られている。テンプレートマッチング処理では、画像全体を探索範囲とすると処理負荷が大きくなるため、注目する移動物体の前時刻での位置の周辺、或いは過去の運動等に基づく現時刻での予測位置の周辺に探索範囲を設定する。そして、この限定された探索範囲にて入力画像とテンプレートの一致の度合いを調べ、最も一致している位置に注目する移動物体が存在すると判断する。
【０００３】
ここで、追跡領域内に追跡対象の移動物体が複数存在する場合、画像特徴の似た移動物体同士が接近するとそれらのテンプレートの探索範囲が重なることがあり、注目する移動物体以外の移動物体の位置にて最もテンプレートと一致することがある。この場合、これらを取り違えて追跡し始めたり、複数の移動物体が同じ位置に存在すると判断したりする誤追跡が起こり得る。
【０００４】
この対策として、複数の移動物体のテンプレートそれぞれが最も一致した位置に各物体の位置候補を決定した後、位置候補間の距離が近すぎたならば離す修正を行ってテンプレートとの一致度に基づく再評価を行なう従来技術がある（特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−４８４２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら従来技術では、例えば、注目物体がその進行方向に密集している複数の他物体とすれ違う場合にて、注目物体と他物体とを離す修正処理は物体の実際の動きと合致しない結果を生じ、追跡物体を取り違える可能性があるという問題があった。
【０００７】
より具体的には例えば、狭い通路で注目人物がその前方に横に並んで立っている複数人に接近した場合や、人が集まっている場所に注目人物が接近した場合には、実際には進行方向に居る人物が道を譲るなどして状況が変化し、注目人物はこれらの人物の間を通り抜けることがある。この場合に、接近した各物体を離す修正を行うと、注目人物の位置は進行方向と逆方向に修正され、一方、注目人物以外は注目人物の進行方向に修正されるため、注目人物と他の人物とを取り違え易くなる。つまり、従来技術では密集した複数の人物に近接した人物の探索範囲は押し戻された位置に制限されてしまうため通り抜けを入れ替わりとして誤追跡してしまう問題があった。
【０００８】
他方、注目人物がそれまでの動きを維持して密集した複数の人物の間を通り抜けるのではなく、接近した後それら人の輪に加わり立ち止まったり、注目人物の方が複数人物群を避けて通ったりするなど、注目人物の運動が変化することもある。このような場合には取り違えを回避するために探索位置を離す制御が有効である。
【０００９】
本発明は上記問題を鑑みてなされたものであり、複数の移動物体が密集しているときでもこれらを取り違えることなく高精度に追跡可能な移動物体追跡装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る移動物体追跡装置は、所定の空間を撮影した時系列の画像を用いて、前記空間内を移動する複数の物体を追跡するものであって、注目時刻より過去における前記各物体の位置情報を記憶する記憶部と、前記位置情報から前記注目時刻における前記各物体の移動先候補を予測して分布させる位置予測部と、前記注目時刻の前記画像において前記移動先候補それぞれと対応する位置の画像特徴から当該移動先候補についての移動先らしさの評価値を求める評価値算出部と、前記評価値の高さに基づいて前記各物体の移動先位置を判定する物体位置判定部と、を備え、前記評価値算出部は、前記物体の１つを注目物体とし、その他の物体の前記移動先候補の分布範囲内に予測された当該注目物体の前記移動先候補についての前記評価値を所定値分低める補正を行い、その際に前記分布範囲内の前記移動先候補のうちの一部候補については当該所定値を小さくして前記その他の物体の譲歩を前記評価値に反映させる。
【００１１】
上記本発明に係る移動物体追跡装置において、前記評価値算出部は、前記位置情報から前記注目物体が移動中と判定される場合に、当該注目物体の前方に予測された前記移動先候補を前記一部候補とする構成とすることができる。
【００１２】
上記本発明に係る移動物体追跡装置において、前記評価値算出部は、前記位置情報から前記注目物体が移動中と判定される場合に、当該注目物体の進行方向に近い前記移動先候補ほど前記所定値を小さくする構成とすることができる。
【００１３】
上記本発明に係る移動物体追跡装置において、前記評価値算出部は、前記位置情報から前記注目物体が移動中と判定される場合に、当該注目物体の直近位置に近い前記移動先候補ほど前記所定値を小さくする構成とすることができる。
【００１４】
上記本発明に係る移動物体追跡装置において、前記評価値算出部は、前記位置情報から前記注目物体が停止中と判定される場合に、前記分布範囲内の前記移動先候補から前記一部候補をランダムに選択する構成とすることができる。
【発明の効果】
【００１５】
本発明によれば、注目物体の移動先の候補位置に対する移動先位置としての評価値を他物体の存在蓋然性に応じて低める補正を行うことで、接近する複数の物体の移動先位置を離間させる。その際、当該評価値を低める補正を部分的に弱めて評価値を補償することにより、密集を通り抜ける移動物体を追跡することが可能となる。補正に対する評価値の補償を限定的にすることで補正の効果も確保し、通り抜け以外の動きがあっても取り違えを防止することができる。すなわち、複数の移動物体が密集しているときでもこれらを取り違えることなく高精度に追跡することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態に係る移動物体追跡装置のブロック構成図である。
【図２】三次元モデルの一例を模式的に示す斜視図である。
【図３】監視空間に複数の移動物体が存在する一例として４人の人物が接近して存在する様子及び当該移動物体のうち注目移動物体以外の３つに対して設定された存在度マップを示す模式図である。
【図４】個別存在度マップを作成する方法を説明する模式図である。
【図５】移動状態の注目物体の進行方向に密集する他物体が存在する場合の緩和値Ｅの設定を説明する模式図である。
【図６】移動状態の注目物体の進行方向に他物体が存在しない場合の緩和値Ｅの設定を説明する模式図である。
【図７】注目物体が停止状態である場合の緩和値Ｅの設定を説明する模式図である。
【図８】本発明の実施形態に係る移動物体追跡装置の追跡処理の概略のフロー図である。
【図９】図８の追跡処理における尤度補正処理の概略のフロー図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態（以下実施形態という）である移動物体追跡装置１について、図面に基づいて説明する。移動物体追跡装置１は、監視空間内を移動する人物を追跡対象物（以下、移動物体と称する）とし、監視空間を撮像した監視画像を処理して移動物体の追跡を行う。移動物体追跡装置１は監視空間に存在する複数の移動物体を追跡可能に構成されている。なお、監視空間は屋内に限定されず屋外であってもよく、移動物体は車両など人物以外であってもよい。
【００１８】
［移動物体追跡装置の構成］
図１は、実施形態に係る移動物体追跡装置１のブロック構成図である。移動物体追跡装置１は、撮像部２、設定入力部３、記憶部４、制御部５及び出力部６を含んで構成される。撮像部２、設定入力部３、記憶部４及び出力部６は制御部５に接続される。
【００１９】
撮像部２は監視カメラであり、監視空間を臨むように設置され、監視空間を所定の時間間隔で撮影する。撮影された監視空間の監視画像は順次、制御部５へ出力される。専ら床面又は地表面等の基準面に沿って移動する人の位置、移動を把握するため、撮像部２は基本的に人を俯瞰撮影可能な高さに設置され、例えば、本実施形態では移動物体追跡装置１は屋内監視に用いられ、撮像部２は天井に設置される。監視画像が撮像される時間間隔は例えば１／５秒である。以下、この撮像の時間間隔で刻まれる時間の単位を時刻と称する。
【００２０】
設定入力部３は、管理者が制御部５に対して各種設定を行うための入力手段であり、例えば、タッチパネルディスプレイ等のユーザインターフェース装置である。
【００２１】
記憶部４は、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等の記憶装置である。記憶部４は、各種プログラムや各種データを記憶し、制御部５との間でこれらの情報を入出力する。各種データには、三次元モデル４０、カメラパラメータ４１、仮説４２、物体位置４３、存在度マップ４４及び物体特徴４５が含まれる。
【００２２】
三次元モデル４０は、監視空間（実空間）を模した仮想空間に移動物体の立体形状を近似した移動物体モデルを配置した状態を記述したデータである。本実施形態では、監視空間及び仮想空間をＸ，Ｙ，Ｚ軸からなる右手直交座標系で表し、鉛直上方をＺ軸の正方向に設定する。また、床面等の基準面は水平であり、Ｚ＝０で表されるＸＹ平面で定義する。仮想空間内での移動物体モデルの配置は任意位置に設定することができる。
【００２３】
図２は、三次元モデル４０の一例を模式的に示す斜視図であり、監視空間をＮ×Ｍ×Ｋの位置座標に離散化した仮想空間の基準面１００、カメラ位置１０１及び移動物体モデル１０３の配置例を示している。
【００２４】
移動物体モデルは、例えば、人の頭部胴部、脚部の３部分の立体形状を近似する回転楕円体をＺ軸方向に積み重ねた高さＨ、胴部の最大幅Ｗの立体形状データである。本実施形態では説明を簡単にするため、高さＨ、幅Ｗは標準的な人物サイズとし任意の移動物体に共通とする。また、頭部中心を移動物体の代表位置とする。なお、移動物体モデルはより単純化して１つの回転楕円体で近似してもよい。移動物体モデルの立体形状に関するデータは、追跡処理に先立って記憶部４に格納される。
【００２５】
カメラパラメータ４１は、撮像部２の外部パラメータ、内部パラメータを含む。実際に計測するなどして得られたこれらのパラメータが予め設定入力部３から入力され、記憶部４に格納される。公知のピンホールカメラモデル等のカメラモデルにカメラパラメータ４１を適用した座標変換式により、三次元モデル４０を監視画像の座標系（撮像部２の撮像面；ｘｙ座標系）に投影できる。
【００２６】
仮説４２（移動先候補）は、各時刻における移動物体の移動先の位置の予測値に関する情報である。確率的に移動物体の位置（物体位置）を判定するために仮説は移動物体ごとに多数（その個数をαで表す。例えば１移動物体あたり２００個）設定される。具体的には、仮説４２は、移動物体の識別子と、各時刻における予測値のインデックス（０〜α−１）及びその位置座標（ＸＹＺ座標系）とを対応付けた時系列データである。
【００２７】
物体位置４３は各時刻における移動物体の位置に関する情報であり、具体的には、移動物体の識別子と位置座標（ＸＹＺ座標系）とを対応付けた時系列データである。すなわち、物体位置４３には、時刻ごとに判定される各移動物体の位置が順次、追記され、各移動物体の過去位置の情報が保持される。
【００２８】
なお、仮説４２、物体位置４３を監視空間の水平面座標（ＸＹ座標系）で特定する構成として処理を高速化することができる。本実施形態では、理解を容易にするために当該構成を例に説明する。
【００２９】
存在度マップ４４は、監視空間の各位置において各移動物体が存在し得る度合い（蓋然性）を表す存在度を当該位置及び当該移動物体の識別符号と対応付けたデータである。存在度は仮説４２又は物体位置４３を中心位置にして設定される。移動物体は監視空間の一部を占有し、複数の移動物体の占有空間は排他的に存在することに対応させて、任意の移動物体の物体位置を判定する際にその他の移動物体の存在度をペナルティ値として用いることで物体間に排他作用を奏させる。
【００３０】
物体特徴４５は、追跡対象の移動物体を個々に特徴付ける情報であり、監視画像から抽出された各移動物体の特徴量（例えば色ヒストグラムなど）を含む。当該移動物体の特徴量は、入力画像にて追跡対象となる移動物体が新規に検出されると、当該検出位置に対応した画像領域から抽出され、記憶部４に格納される。なお、移動物体の特徴量を抽出する際に、移動物体モデルの形状に関するデータを参照情報として用いることができる。
【００３１】
また、物体特徴４５は移動物体の非隠蔽領域を表す情報も含む。ここで、非隠蔽領域は移動物体が他の移動物体により隠蔽されずに監視画像上に像として現れる領域である。非隠蔽領域は、移動物体モデルを仮想的に配置した三次元モデル４０を、カメラパラメータ４１を用いて撮像部２の撮像面に投影して求めることができる。各移動物体について、移動物体モデルを当該移動物体の位置に配置したときの非隠蔽領域が物体特徴４５として記憶部４に格納される。
【００３２】
制御部５は、ＣＰＵ(Central Processing Unit)、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、記憶部４からプログラムを読み出して実行し、変化画素抽出部５０、仮説設定部（位置予測部）５１、尤度算出部（評価値算出部）５２、物体位置判定部５３及び異常判定部５４として機能する。また尤度算出部５２はペナルティ設定部５２０と緩和値設定部５２１とを含んでなる。
【００３３】
変化画素抽出部５０は、撮像部２から新たに入力された監視画像から変化画素を抽出し、抽出された変化画素の情報を尤度算出部５２及び物体位置判定部５３へ出力する。そのために変化画素抽出部５０は、新たに入力された監視画像と背景画像との差分処理を行って差が予め設定された差分閾値以上である画素を変化画素として抽出する。変化画素は背景画像を参照情報として監視画像との対比により抽出される移動物体の画像特徴である。なお、差分処理に代えて新たに入力された監視画像と背景画像との相関処理によって変化画素を抽出してもよいし、背景画像に代えて背景モデルを学習して当該背景モデルとの差分処理によって変化画素を抽出してもよい。
【００３４】
仮説設定部５１は、移動物体の過去の位置情報（物体位置又は仮説）を用いて当該移動物体の動き予測を行い、移動物体の現時刻における移動先候補位置である複数の仮説を求めて分布させる。
【００３５】
まず、仮説設定部５１は、過去に判定された各移動物体の物体位置又は過去に設定された各移動物体の仮説から動き予測を行なって、新たに監視画像が入力された時刻（注目時刻）における移動物体の移動先候補を複数通り予測して各移動先候補と移動物体の識別子とを含んだ仮説を設定し、設定した仮説を尤度算出部５２へ出力する。上述したように仮説は各移動物体に対してα個設定される。このように多数の仮説を順次設定して確率的に移動物体の位置（物体位置）を判定する方法はパーティクルフィルタなどと呼ばれる。仮説は監視画像のｘｙ座標系で設定することもできるが、本実施形態では監視空間のＸＹＺ座標系で設定する。動き予測は過去の位置データに所定の運動モデルを適用するか、又は所定の予測フィルタを適用することで行なわれる。
【００３６】
尤度算出部５２は、監視画像において各移動物体の仮説それぞれに対応する部分（非隠蔽領域）から当該移動物体の画像特徴を抽出し、画像特徴の抽出度合いに応じた、当該仮説の物体位置としての尤度（評価値）を算出して物体位置判定部５３へ出力する。このとき尤度算出部５２は、注目物体の仮説をペナルティ設定部５２０に入力して、当該仮説が示す移動先候補での注目物体以外の他物体の存在度を算出させ、当該存在度により当該仮説の尤度を低める補正を行なうと共に、その際に注目物体の仮説を緩和値設定部５２１に入力して一部の仮説に対する補正を小さくする調整（評価値補償）を行なう。
【００３７】
仮説のＸＹ座標を（Ｘ，Ｙ）、当該仮説に対する補正前の尤度をＬ０（Ｘ，Ｙ）、当該仮説での他物体の存在度をＰ（Ｘ，Ｙ）、当該仮説に対する緩和値をＥとすると、当該仮説に対する補正後の尤度Ｌ（Ｘ，Ｙ）は下記（１）式のように補正前の尤度から緩和値により調整された存在度を減算することによって算出される。ただしＥは０以上１以下の値である。
Ｌ（Ｘ，Ｙ）＝Ｌ０（Ｘ，Ｙ）−Ｐ（Ｘ，Ｙ）×（１−Ｅ） （１）
【００３８】
すなわち、他物体の存在度は尤度を低めるペナルティ値として作用し、緩和値はペナルティ値を弱める作用を有する。
【００３９】
以下、補正前の尤度Ｌ０、存在度Ｐ、緩和値Ｅの算出について説明する。
【００４０】
補正前の尤度Ｌ０は次のように算出される。尤度算出部５２は、仮説が示す移動先候補に移動物体モデルを仮想的に配置した三次元モデル４０を生成する。そして、カメラパラメータ４１を用いて三次元モデル４０を撮像部２の撮像面に投影して移動物体モデルの非隠蔽領域を求め、下記（１）〜（３）の方法で類似度、包含度及びエッジの抽出度を算出してこれらの重み付け加算値に応じた尤度を算出する。なお、仮想空間に什器等の設置物のモデルを含ませておくことで、設定物による隠蔽をさらに考慮した非隠蔽領域を求めることができる。
（１）各移動物体の過去の物体位置における非隠蔽領域から抽出された特徴量を当該移動物体の物体特徴４５として記憶部４に記憶する。仮説が現に注目物体が存在する位置に近いほど背景や他物体の特徴量が混入しなくなるため、非隠蔽領域から抽出された特徴量と物体特徴４５との類似度は高くなり、一方、遠ざかるほど類似度は低くなりやすい。そこで、監視画像から非隠蔽領域内の特徴量を抽出し、抽出された特徴量と物体特徴４５との類似度を算出する。ここでの特徴量として例えば、エッジ分布、色ヒストグラム又はこれらの両方など、種々の画像特徴量を利用することができる。
（２）変化画素抽出部５０により抽出された変化画素に非隠蔽領域を重ね合わせ、変化画素が非隠蔽領域に含まれる割合（包含度）を求める。包含度は動きの特徴量であり、仮説が現に移動物体が存在する位置に近いほど高くなり、遠ざかるほど低くなりやすい。
（３）監視画像における非隠蔽領域の輪郭に対応する部分からエッジを抽出する。抽出されたエッジは形状の特徴量である。仮説が現に移動物体が存在する位置に近いほど、非隠蔽領域の輪郭がエッジ位置と一致するため、エッジの抽出度（例えば抽出されたエッジ強度の和）は高くなり、一方、遠ざかるほど抽出度は低くなりやすい。
【００４１】
なお、上述した類似度、包含度、エッジの抽出度のうちいずれか１つに応じた尤度を算出してもよいし、これらのうちの２つの度合いの重み付け加算値に応じて尤度を算出してもよい。
【００４２】
また、尤度を評価値にする代わりに上述した類似度、包含度、エッジの抽出度又はこれらの２以上を組み合わせた値を評価値とすることもできる。
【００４３】
次に存在度Ｐの算出について説明する。図３は複数の移動物体として４人の人物（移動物体＃１〜＃４）が接近して存在する監視空間の模式的な斜視図２００及び、斜視図２００の移動物体＃２〜＃４に対して設定された存在度マップ４４の例を説明する模式図２１０である。存在度マップ４４は、基準面に対応して位置を表すＸ軸及びＹ軸と、Ｘ軸及びＹ軸と直交して存在度を表すＰ軸とを有する。存在度マップ４４は移動物体ごとの個別存在度マップを適宜合成することで生成される。模式図２１０には、移動物体＃２の個別存在度マップ２１２、移動物体＃３の個別存在度マップ２１３及び移動物体＃４の個別存在度マップ２１４がそれぞれプロットされている。これらを対応する位置ごとに加算して正規化することで存在度マップが合成される。移動物体＃２，＃３，＃４の個別存在度マップ２１２，２１３，２１４を合成した存在度マップは、監視空間内の各位置における、移動物体＃１からみた他物体の存在度、すなわち当該位置に移動物体＃１が存在し得ない度合いを表し、この存在度マップは移動物体＃１の物体位置を判定する際のペナルティ値として利用される。
【００４４】
個別存在度マップのそれぞれはＸＹ座標を変数とする１つの二次元正規分布の確率密度関数の出力値、又はＸＹ座標を変数とする複数の二次元正規分布の確率密度関数を加算合成した関数の出力値で表される。本実施形態では基準面をＮ×Ｍに離散化しているので、個別存在度マップは実態的にはＸ＝［０，Ｎ−１］、Ｙ＝［０，Ｍ−１］の範囲で各ＸＹ座標における上記関数の出力値が個別存在度として並び、これら個別存在度の集まりに移動物体の識別符号が対応付けられたデータである。個別存在度マップは、１つの二次元正規分布で表される場合には、当該正規分布の平均値μ及び分散値σ２が移動物体の識別符号と対応付けられたデータとすることもでき、また複数の二次元正規分布の加算合成で表される場合は、当該各正規分布の平均値μ及び分散値σ２と当該各分布の重みωとの組が移動物体の識別符号と対応付けられたデータとすることもできる。
【００４５】
合成存在度マップは複数の個別存在度マップを重ね合わせたものであり、個別存在度マップと同じＸＹ座標範囲に合成存在度が並んだデータである。合成存在度マップは、加算された各二次元正規分布の平均値μ及び分散値σ２と当該分布の重みωとの組からなるデータとすることもできる。
【００４６】
ペナルティ設定部５２０は、仮説設定部５１により設定された仮説４２又は／及び物体位置判定部５３により判定された物体位置４３を参照して存在度マップ４４を作成し、作成された存在度マップ４４を記憶部４に記憶させる。また、ペナルティ設定部５２０は注目物体の仮説４２を入力されると存在度マップ４４から当該注目物体に対する当該仮説４２の位置での他物体の存在度を出力する。
【００４７】
図４は個別存在度マップを作成する方法を説明する模式図である。図４（ａ）は、個別存在度マップの作成対象とする移動物体についての基準面上での仮説４２及び物体位置４３の配置の一例を示す模式図であり、白抜きの複数の小円（○）がそれぞれ仮説の位置を表し、三角形（△）が現在の物体位置を表す。また図４（ｂ）〜（ｄ）は図４（ａ）に仮説等を例示した移動物体について個別存在度マップを作成する３種類の方法（Ａ１）〜（Ａ３）を表している。
（Ａ１）本方法は物体位置４３から個別存在度マップを作成する方法である。この方法では、作成対象の移動物体の物体位置４３を平均値μとした二次元正規分布の確率密度関数を作成する。図４（ｂ）は、本方法で設定された個別存在度マップの二次元正規分布（平均値μ，分散値σ２）を表しており、物体位置にてＰ軸方向のピークを有する山型の形状と、３σの範囲を示すＸＹ面上の円とを示している。分散値σ２は仮説の分布幅から定められる。
（Ａ２）本方法は仮説４２から個別存在度マップを作成する方法である。この方法では、作成対象の移動物体のα個の仮説を記憶部４から読み出して当該移動物体の個別存在度を算出する。当該移動物体の仮説４２の平均値と分散を算出し、算出された平均値及び分散を設定した二次元正規分布の確率密度関数で仮説の分布を近似する。そして、監視空間の各位値での当該関数の値を各位置における当該物体の個別存在度として設定する。図４（ｃ）は仮説の分布を二次元正規分布で近似した様子を示す模式図であり、複数の仮説（○）の平均位置μを黒の小円（●）で示し、二次元正規分布（平均値μ，分散値σ２）を平均位置μにてＰ軸方向のピークを有する山型の形状と、３σの範囲を示すＸＹ面上の円とで表している。この方法は（Ａ３）と比べると、必要とする計算量、メモリ量の少なさで優れている。
（Ａ３）本方法は仮説４２から個別存在度マップを作成する別の方法である。本方法は各仮説に対して未だ尤度が算出されていない状態で用いることができる。図４（ｄ）は本方法による個別存在度マップの作成例を説明する模式図である。仮説（○）それぞれについて山型の関数で図示する二次元正規分布（平均値μ，分散値σ２）が設定される。当該仮説の位置を当該正規分布の平均値μとし、かつ分散値σ２は３σが移動物体の幅の２分の１（Ｗ／２）に合致するように設定される。そして、仮説ごとの二次元正規分布をそれぞれ重み１．０で加算合成して得られる関数の各ＸＹ座標における出力値をそれらの最大値で除する正規化を行い、その正規化後の各ＸＹ座標における値を作成対象の移動物体の個別存在度マップと定義する。この方法は（Ａ２）と比べると複雑な形状を表現でき、高い精度が得られる。
【００４８】
図３に示す移動物体＃２〜＃４の個別存在度マップ２１２〜２１４は（Ａ２）の方法で作成されている。注目物体＃１に対する他物体の合成存在度マップは、既に述べたように個別存在度マップ２１２〜２１４を適宜加算合成して算出される。その一つの方法は、全物体＃１〜＃４の個別存在度マップにおいて互いに対応する位置同士で値を加算し、加算結果のＸＹ座標内での最大値で各位置の加算値を除して正規化することで全物体の合成存在度マップを作成する。次に、全物体の合成存在度マップにおける各位置の合成存在度から、注目物体＃１の個別存在度マップにおける当該位置の個別存在度を減算して他物体＃２〜＃４についての合成存在度マップを作成する。なお、合成存在度マップから注目物体の個別存在度マップを減算する際に、当該個別存在度マップには合成存在度マップの作成時と同じ正規化を行う。
【００４９】
なお、上述した正規化により存在度の値域は［０，１］に設定され、尤度の値域［０，１］と一致している。存在度の値域を［０，１］に正規化していない場合には、（１）式の右辺の減算結果が０未満となり得るが、その場合のＬ（Ｘ，Ｙ）は０と定義する。
【００５０】
上述の注目物体の物体位置判定用の合成存在度マップは、複数の移動物体のうち当該注目物体だけを除いた他物体の仮説に基づいて作成された、他物体の存在度を注目時刻の監視空間の各位置にて与える存在度関数に当たる。ペナルティ設定部５２０は、注目物体の識別符号とその仮説を入力されると、当該注目物体に対応した物体位置判定用の合成存在度マップに基づいて、当該仮説の位置での他物体の存在度を出力する。
【００５１】
なお、什器等が設置されて移動物体が存在し得ないことが予め分かっている位置に合成存在度１．０を上書き設定することもできる。
【００５２】
次に緩和値Ｅについて説明する。上述した存在度Ｐによるペナルティ値は、注目人物以外の移動先候補において注目人物が追跡されにくくする作用を奏する。画像特徴が類似する他人同士が接近して当該他人間で高い尤度が算出される機会が増えるとき、これらの人物が実際にはすれ違っていないにもかかわらず、あたかもすれ違ったかのように取り違えて追跡されてしまったり、接近した２人が混同され一方の人物の存在位置に２人が存在するかのように追跡される一方、他方の人物が実在する位置に第三の人物が新規出現したと判断されたりするなどの追跡エラーが起こりやすくなる。存在度をペナルティとして用いて尤度を低める修正はこのような場合に接近した人物同士を離すように作用して追跡エラーを防ぐことを可能とする。
【００５３】
しかし、この接近した人物同士を離す修正処理は、従来技術の課題として述べたように、場合によっては実際の人物の動きと合致しなくなって追跡物体を取り違えるおそれがある。この問題は図３のような、注目人物がその前方に人が集まっている場所に接近した場合について既に説明した。すなわち、この場合には進行方向に居る人物が譲歩し道を空けてくれ、注目人物はこれらの人物の間を通り抜ける場合があるが、この場合にペナルティ値が作用すると、注目人物の物体位置は進行方向と逆方向側に判定されやすくなり注目人物と他の人物との取り違えが生じ易くなる。その一方で、注目人物が輪に加わり立ち止まる、注目人物がよけて通るなど、注目人物側の運動が変化する場合もあり、この場合はペナルティ値が作用しなければ取り違えが発生しやすくなる。
【００５４】
また例えば、停止状態で密集した人物の中に居る注目人物が動き出して密集から抜け出す場合も、ペナルティ値の作用によって取り違えが発生することもある。つまり、ペナルティ値は、密集の内側に居る人物に対しては内側に押し留めるように作用し、外側に居る人物に対しては外側に押し出すように作用する。そのため、実際に内側の人物が抜け出したとしても、当該人物は外側の人物として追跡されやすくなってしまう。その一方で、実際に外側の人物が密集から抜け出す場合はペナルティ値が作用しなければ取り違えが発生しやすくなる。
【００５５】
緩和値Ｅは、存在度をペナルティとして得られる排他作用を活かしつつ、狭い通路や密集した空間で人がすれ違う際にお互いに譲りあって道を開けるといった人間らしい動作を擬似的に再現するために設定される値である。
【００５６】
緩和値設定部５２１は、注目物体の仮説のうち他物体の存在度が設定されている位置の仮説の一部に緩和値を設定する。緩和値設定部５２１は、緩和値の設定対象とする仮説の選択方法は注目物体が移動状態であるか停止状態であるかによって切り替える。すなわち、移動状態であればその進行方向に偏らせて緩和値を設定し、停止状態であれば偏りなく所定数の仮説に緩和値を設定する。
【００５７】
なお、設置物は移動物体と異なり注目物体に対して道を空けることが無いため、設置物の存在度が設定されている位置の仮説は緩和値の設定対象外とする。
【００５８】
運動状態は、注目物体の過去の物体位置からその移動ベクトルを算出して、当該移動ベクトルの大きさ（移動距離）を予め設定された停止判定しきい値Ｔｖと比較することにより判定できる。具体的には、緩和値設定部５２１は、注目物体の直前２時刻の物体位置間の距離を算出し、物体の微動及び検出誤差の上限に設定されたしきい値Ｔｖより当該距離が大きければ移動状態、当該距離が停止判定しきい値Ｔｖ以下ならば停止状態と判定する。
【００５９】
なお、直前３時刻以上の物体位置を用いた平均速度、或いは直前３時刻以上の物体位置にカルマンフィルタ等を適用して算出した予測速度の大きさから移動距離を算出することもできる。
【００６０】
注目物体が移動状態である場合、緩和値設定部５２１は、例えば、当該注目物体の進行方向（移動ベクトルの向き）に向かって前方にある仮説だけについて緩和値を設定する。その際、例えば、注目物体の進行方向に近い仮説ほど大きな緩和値を設定し、注目物体の進行方向から遠い仮説ほど小さな緩和値を設定する。これにより、他物体が自分の方に向かってくる注目物体に対して道を空けるという状況変化に対応可能となる。
【００６１】
また、注目物体の１時刻前の物体位置に近い仮説ほど大きな緩和値を設定し、注目物体の１時刻前の物体位置から遠い仮説ほど小さな緩和値を設定することも好適である。他物体の間を通り抜ける際は総じて注目物体の速さは低下するため、このように移動距離が小さな仮説ほど大きな緩和値を設定し、移動距離が大きな仮説ほど小さな緩和値を設定することで、さらに実際の状況に近い緩和値の設定が可能になる。
【００６２】
具体的には、緩和値設定部５２１は、注目物体の１時刻前の物体位置から緩和値設定対象の仮説までの移動ベクトルｖを算出して移動ベクトルｖの大きさである移動距離ｄ１と移動距離ｄ１の注目物体の進行方向成分ｄ２とを求め、仮説までの移動距離ｄ１に対する進行方向成分ｄ２の比の値ｄ２／ｄ１に比例して緩和値Ｅを増減させる。また、Ｄをｄ１の最大値（仮説の最大移動距離）として、当該Ｄに対する移動距離ｄ１の比の値ｄ１／Ｄが小さいほど緩和値Ｅを大きく算出する。これにより注目物体の仮説に設定される緩和値は、注目物体の直近の進行方向に対して当該仮説への移動方向がなす角θが小さいほど大きく、当該仮説への移動距離ｄ１が小さいほど大きく設定され、逆にθやｄ１が大きいほど小さく設定される。このような緩和値Ｅは例えば、下記（２）式で定義することができる。
【数１】
【００６３】
なお、（２）式は、進行方向前方の仮説だけに緩和値Ｅを設定する構成における定義式であり、ｄ２≦０となる場合、すなわちθが９０度以上となる場合は緩和値を０にする。
【００６４】
図５、図６は注目物体が移動状態である場合の緩和値Ｅの設定を説明する模式図であり、図５は注目物体が密集する他物体に向かって移動する場合の例であり、図６は注目物体の進行方向に他物体が存在しない場合の例である。同図は物体位置、仮説の位置や緩和値の大きさをＸＹ平面にて模式的に表しており、点線の大きな円は他物体の存在度が設定されている範囲、三角（△）は過去の物体位置、実線の円（○）は仮説を表している。また、四角（□）はその大きさで、同じ位置に示す仮説（○）に対して設定する緩和値の大きさを示す。現時刻（注目時刻）をｔで表し、１時刻前の物体位置はＰｔ−１、２時刻前の物体位置はＰｔ−２である。注目物体の直近の進行方向をＰｔ−１からＰｔ−２への移動ベクトルＶｔ−１の向きで定義し、Ｐｔ−１を始点とする現時刻の移動ベクトルＶｔを暫定的にその進行方向に沿って図示している。Ｐｔ−１から仮説への移動ベクトルはｖで表す。このベクトルｖの大きさが仮説への移動距離ｄ１に当たり、またＶｔに射影したｖの大きさがｄ２、ｖがＶｔとなす角がθに当たる。上述したように、θが小さいほど緩和値Ｅが大きく設定され、またｄ１が小さいほど緩和値Ｅが大きく設定される。この結果、図５に示す場合においては、注目物体がＰｔ−１から進む可能性が高い直近進行方向を中心にペナルティが緩和され、密集していた他物体の間を通り抜ける注目物体を追跡することが可能となる。
【００６５】
一方、図６に示す進行方向が密集した他物体から逸れている場合にはペナルティの緩和は殆ど起こらない。これを鑑みれば、進行方向が密集した他物体から逸れていることを明示的に判定して、逸れている注目物体の仮説全てを緩和値設定対象から除外してもよい。逸れているか否かの判定は進行方向に他物体の存在度が設定されているかに基づいて判定することができ、進行方向に存在度が設定されていない場合は逸れていると判定する。また、注目物体の仮説のうち存在度が設定されている位置に設定されたものの数が、例えば１０％未満であるなど所定割合未満の場合を逸れていると判定してもよい。注目物体の進行方向が密集した他物体から逸れているのであれば、注目物体が密集を回避して移動する可能性が高く、この場合は排他制御を最大限に効かせることで取り違え防止効果を高めることができる。
【００６６】
以上、注目物体が移動状態である場合を説明した。次に、注目物体が停止状態である場合の緩和値の設定について説明する。注目物体が停止状態である場合、注目物体はいずれの向きにも動き出す可能性がある。よって、上述した移動状態の場合のように注目物体が進む方向を想定しそれを中心に緩和値を設定することができない。また、進行する可能性がある全周領域に緩和値を設定すると、存在度による排他作用が損なわれて取り違えの可能性が増してしまう。
【００６７】
このような課題に対し、緩和値設定部５２１は他物体の存在度が設定されている領域内に位置する注目物体の仮説から一定割合でランダムに設定対象を選択する。また、このとき緩和値設定部５２１は緩和値Ｅの大きさもランダムに設定する。
【００６８】
具体的には、緩和値設定部５２１は、他物体の存在度が設定されている位置の仮説それぞれに対して乱数生成手段により互いに相関の無い乱数ｒ１とｒ２とを値域［０，１］で生成する。そして、下記（３）式で表されるように、Ｒｔｈ以下の乱数ｒ１が生成された仮説に対して緩和値Ｅを乱数ｒ２に設定し、一方、Ｒｔｈより大きな乱数ｒ１が生成された仮説に対して緩和値Ｅを０に設定する。例えばＲｔｈを０．２に設定すれば他物体の存在度が設定されている位置の仮説のうち２０％が緩和値の設定対象となる。Ｒｔｈにはペナルティ値による排他作用と緩和値による譲歩反映作用の効果のトレードオフを考慮した値が実験を通じて予め設定される。
【数２】
【００６９】
図７は注目物体が停止状態である場合の緩和値Ｅの設定を説明する模式図であり、図５、図６と同様の形式で表現している。ちなみに、注目物体は停止状態であるので、物体位置を表す三角（△）は一点に留まっており、また移動ベクトルは大きさが０であるので表示していない。緩和値は、存在度が設定されている領域内の仮説にランダムに設定される。つまり、緩和値は１時刻前の物体位置から見て特定の方向に集中することなく設定される点で上述した移動状態の場合と相違する。また、緩和値の大きさはランダムに設定される。つまり、その大きさは物体位置からの距離に関係なく設定される点で移動状態の場合と相違する。
【００７０】
停止状態についての上述の実施形態は、緩和値を設定する仮説の選択と、緩和値の大きさとの両方を乱数を用いて決定するものであるが、それらの一方だけを乱数を用いて決定してもよい。例えば、上述の緩和値Ｅの大きさを変動させる乱数ｒ２を用いず、乱数ｒ１とＲｔｈとの大小関係で緩和値Ｅを０にするか１にするか、つまり存在度をそのままペナルティとして使うか使わないかの二択にしてもよい。例えば、Ｒｔｈを０．２に設定して仮説の２０％に緩和値を設定する場合には、Ｒｔｈ以下の乱数ｒ１が生成された仮説に対して緩和値を１に設定し、Ｒｔｈより大きい乱数ｒ１が生成された仮説に対して緩和値を０に設定する。
【００７１】
また、乱数ｒ１と閾値Ｒｔｈとを用いた仮説選択を行わずに、偏りを有する乱数を用いて緩和値Ｅを算出する。偏りを有する乱数に応じた緩和値Ｅは、例えば、一様乱数ｒ２を生成し、出力値の期待値が０．２に調整された関数ｇ（・）を用いＥ＝ｇ（ｒ２）によって算出できる。
【００７２】
尤度算出部５２は上述したように注目物体の各仮説について補正前の尤度Ｌ０、存在度Ｐ、緩和値Ｅを求め、それを用いて（１）式から補正後の尤度Ｌを算出する。すなわち、他物体の存在度Ｐに応じて尤度を低める修正、及び前記修正による尤度の低下に対し他物体が譲歩し得ることに基づく補償を行った尤度Ｌが算出される。
【００７３】
物体位置判定部５３は移動物体の各仮説、及び当該仮説ごとに算出された尤度Ｌから当該移動物体の位置（物体位置）を判定し、判定結果を記憶部４に移動物体ごとに時系列に蓄積する。なお、全ての尤度Ｌが所定の下限値（尤度下限値）未満の場合は物体位置なし、つまり消失したと判定する。下記（１）〜（３）は物体位置の算出方法の例である。
（１）移動物体ごとに、尤度を重みとする仮説の重み付け平均値を算出し、これを当該移動物体の物体位置とする。
（２）移動物体ごとに、最大の尤度が算出された仮説を求め、これを物体位置とする。
（３）移動物体ごとに、予め設定された尤度閾値以上の尤度が算出された仮説の平均値を算出し、これを物体位置とする。ここで、尤度閾値＞尤度下限値である。
【００７４】
異常判定部５４は、記憶部４に蓄積された時系列の物体位置を参照し、長時間滞留する不審な動きや通常動線から逸脱した不審な動きを異常と判定し、異常が判定されると出力部６へ異常信号を出力する。
【００７５】
出力部６は警告音を出力する音響出力手段、異常が判定された監視画像を表示する表示手段、又は通信回線を介して警備会社のセンタ装置へ送信する通信手段などを含んでなり、異常判定部５４から異常信号が入力されると異常発生の旨を外部へ出力する。
【００７６】
［移動物体追跡装置の動作］
次に、移動物体追跡装置１の追跡動作を説明する。図８は移動物体追跡装置１の追跡処理の概略のフロー図である。
【００７７】
追跡処理が開始されると、制御部５は、撮像部２が監視空間を撮像するたびに監視画像を入力される（Ｓ１）。以下、最新の監視画像が入力された時刻を現時刻、最新の監視画像を現画像と呼ぶ。
【００７８】
現画像は変化画素抽出部５０により背景画像と比較され、変化画素抽出部５０は変化画素を抽出する（Ｓ２）。ここで、孤立した変化画素はノイズによるものとして抽出結果から除外する。なお、背景画像が無い動作開始直後は、現画像を背景画像として記憶部４に記憶させ、便宜的に変化画素なしとする。
【００７９】
また、仮説設定部５１は追跡中の各移動物体に対して動き予測に基づきα個の仮説を設定する（Ｓ３）。なお、後述するステップＳ１６にて新規出現であると判定された移動物体の仮説は動き予測不能なため出現位置を中心とする広めの範囲にα個の仮説を設定する。また、後述するステップＳ１６にて消失と判定された移動物体の仮説は削除する。
【００８０】
制御部５は、ステップＳ２にて変化画素が抽出されず、かつステップＳ３にて仮説が設定されていない（追跡中の移動物体がない）場合（Ｓ４にて「ＹＥＳ」の場合）はステップＳ１に戻り、次の監視画像の入力を待つ。
【００８１】
一方、ステップＳ４にて「ＮＯ」の場合は、ステップＳ５〜Ｓ１６の処理を行う。ペナルティ設定部５２０は、各移動物体の仮説を基に上述した（Ａ２）の方法で当該移動物体の個別存在度マップを作成し、記憶部４に上書き保存する（Ｓ５）。
【００８２】
制御部５は移動物体の前後関係を判定する（Ｓ６）。具体的には、移動物体ごとに仮説の重心（平均値）とカメラ位置との距離を算出し、距離の昇順に対象物の識別子を並べた前後関係リストを作成する。そして、制御部５は追跡中の各移動物体を前後関係リストに基づいて手前のものから順次、注目物体に設定し（Ｓ７）、当該注目物体の追跡処理に用いる存在度マップを、他物体についての個別存在度マップを合成して作成する（Ｓ８）。続いて、制御部５は注目物体の各仮説を順次、注目仮説に設定する（Ｓ９）。但し、監視画像の視野外である仮説は注目仮説の設定対象から除外し、当該仮説における物体領域は推定せず、尤度を０に設定する。
【００８３】
尤度算出部５２は仮想空間にて注目仮説の位置に移動物体モデルを配置し、移動物体モデルが配置された三次元モデル４０を生成する。そして、カメラパラメータ４１を用いて三次元モデル４０を撮像部２の撮像面に投影して移動物体モデルの非隠蔽領域を求め、これを実空間における移動物体の非隠蔽領域と推定する。そして、推定した非隠蔽領域において注目物体の特徴量を抽出し、その抽出度合いに基づいて、注目仮説に対応した補正前の尤度Ｌ０を算出する（Ｓ１０）。
【００８４】
尤度算出部５２は、尤度Ｌ０に対する補正処理を行い、補正された尤度Ｌを算出する（Ｓ１１）。この補正処理Ｓ１１については後で詳述する。
【００８５】
制御部５は、尤度Ｌが算出されていない仮説が残っている場合（Ｓ１２にて「ＮＯ」の場合）、ステップＳ９〜Ｓ１１を繰り返す。α個全ての仮説について尤度Ｌが算出されると（Ｓ１２にて「ＹＥＳ」の場合）、物体位置判定部５３が注目物体の各仮説の位置（Ｘ，Ｙ）と当該仮説のそれぞれについて算出された尤度Ｌ（Ｘ，Ｙ）とを用いて注目物体の物体位置を算出する（Ｓ１３）。現時刻について算出された物体位置は１時刻前までに記憶部４に記憶させた注目物体の物体位置と対応付けて追記される。なお、新規出現した移動物体の場合は新たな識別子を付与して登録する。また、全ての仮説での尤度が尤度下限値未満の場合は物体位置なしと判定する。
【００８６】
ペナルティ設定部５２０は、ステップＳ１３にて算出された物体位置を用いて、上記（Ａ１）の方法で注目物体の個別存在度マップを更新する（Ｓ１４）。これにより、或る注目物体の物体位置の判定処理（ステップＳ７〜Ｓ１４）では、それより前に処理された他の移動物体の物体位置の判定結果が反映される。物体位置に基づく存在度は仮説に基づく存在度より精度が高いと期待できるので、上述の存在度マップの更新によって後続の物体位置判定の精度が向上し、ひいては、ループ処理（ステップＳ７〜Ｓ１５）を全移動物体について一回繰り返せば移動物体相互の位置関係について好適に収束した状態が求まることが期待できる。また、手前の物体から物体位置を判定することで、手前の物体による後ろの物体の隠蔽状態が精度良く評価されステップＳ１０にて算出される尤度Ｌ０の精度が向上する。このことも物体位置の判定精度を向上させる。
【００８７】
制御部５は未処理の移動物体が残っている場合（Ｓ１５にて「ＮＯ」の場合）、当該移動物体について物体位置を判定する処理（ステップＳ７〜Ｓ１４）を繰り返す。一方、全ての移動物体について物体位置の判定が完了すると（Ｓ１５にて「ＹＥＳ」の場合）、物体の新規出現と消失を判定する（Ｓ１６）。具体的には、物体位置判定部５３は各物体位置に対して推定された物体領域を合成して、変化画素抽出部５０により抽出された変化画素のうち合成領域外の変化画素を検出し、検出された変化画素のうち近接する変化画素同士をラベリングする。ラベルが移動物体とみなせる大きさであれば新規出現の旨をラベルの位置（出現位置）とともに記憶部４に記録する。また、物体位置なしの移動物体があれば当該移動物体が消失した旨を記憶部４に記録する。以上の処理を終えると、次時刻の監視画像に対する処理を行うためにステップＳ１へ戻る。
【００８８】
図９は尤度補正処理Ｓ１１の概略の処理フロー図である。ペナルティ設定部５２０はステップＳ８で作成した存在度マップから注目仮説が表す座標での存在度Ｐを読み出し、当該存在度Ｐをペナルティ値に設定する。尤度算出部５２は注目仮説及びペナルティ値Ｐを緩和値設定部５２１に入力する（Ｓ２０）。
【００８９】
緩和値設定部５２１はペナルティ値Ｐが０ならば（Ｓ２１にて「ＮＯ」）、緩和値Ｅを設定せず図８のステップＳ１２へ進む。この場合、尤度ＬはステップＳ９にて算出された画像特徴の尤度Ｌ０と等しくなる。
【００９０】
一方、ステップＳ２０で設定されたペナルティ値Ｐが０以上ならば（Ｓ２１にて「ＹＥＳ」）、緩和値Ｅを設定する処理Ｓ２２〜Ｓ２６が行われる。当該処理にて緩和値設定部５２１はまず、記憶部４から過去に算出された注目物体の物体位置Ｐｔ−１，Ｐｔ−２を読み出し、これらから現時刻の移動ベクトルＶｔを算出する（Ｓ２２）。そして、その大きさである移動距離|Ｖｔ|を停止判定しきい値Ｔｖと比較する（Ｓ２３）。|Ｖｔ|＞Ｔｖであれば注目物体は移動状態であると判定し（Ｓ２３にて「ＹＥＳ」）、|Ｖｔ|≦Ｔｖであれば注目物体は停止状態であると判定する（Ｓ２３にて「ＮＯ」）。
【００９１】
ステップＳ２３にて移動状態と判定した場合、緩和値設定部５２１はステップＳ２２で読み出した１時刻前の物体位置Ｐｔ−１から注目仮説への移動ベクトルｖを求め、その大きさｄ１を算出し、さらに当該移動ベクトルｖの移動ベクトルＶｔ方向成分の大きさｄ２を算出する（Ｓ２４）。そして、緩和値設定部５２１は（３）式に従い緩和値Ｅを算出する。
【００９２】
ステップＳ２３にて停止状態と判定した場合、緩和値設定部５２１は乱数生成手段により乱数ｒ１，ｒ２を生成し、（４）式に従い緩和値Ｅを算出する（Ｓ２６）。
【００９３】
尤度算出部５２は、ステップＳ１０にて算出された画像特徴の尤度Ｌ０と、ステップＳ２０にて設定されたペナルティ値Ｐ及びステップＳ２５又はＳ２６にて設定された緩和値Ｅを（１）式に適用し、画像特徴の尤度Ｌ０を補正した尤度Ｌを求める（Ｓ２７）。尤度算出部５２はステップＳ１２に戻り、上述の注目仮説に対する尤度補正処理Ｓ１１を全仮説について繰り返す。
【００９４】
上述の実施形態では補正された尤度を（１）式で定義したが、尤度の補正式は、他物体の存在度Ｐに応じて低下させる一方、他物体の譲歩の効果を取り込むために当該低下を緩和・補償する他の形とすることができる。例えば、補正後の尤度Ｌ（Ｘ，Ｙ）は下記（４）式のように、存在度の上限値Ｐｍａｘ（ここでは“１”に正規化されているとする。）から存在度を減算した値を、存在度に応じた排他効果を尤度に反映させる修正係数として、補正前の尤度に乗じる一方、当該修正係数を緩和値に応じた補償係数（１−Ｅ）を乗じて譲歩効果を反映させてもよい。
Ｌ（Ｘ，Ｙ）＝Ｌ０（Ｘ，Ｙ）×｛１−Ｐ（Ｘ，Ｙ）×（１−Ｅ）｝ （４）
【００９５】
また、上述の実施形態ではＰｍａｘ＝１とし、存在度は［０，Ｐｍａｘ］なる範囲で定義している。一方、ペナルティ値自体はＰｍａｘを越えて設定することを許容し、（１）式や（４）式で示す補正段階にて、Ｐ（Ｘ，Ｙ）又はＰ（Ｘ，Ｙ）×（１−Ｅ）がＰｍａｘを超えるときはＬ（Ｘ，Ｙ）は０と定義することにしてもよい。
【符号の説明】
【００９６】
１ 移動物体追跡装置、２ 撮像部、３ 設定入力部、４ 記憶部、５ 制御部、６ 出力部、４０ 三次元モデル、４１ カメラパラメータ、４２ 仮説、４３ 物体位置、４４ 存在度マップ、４５ 物体特徴、５０ 変化画素抽出部、５１ 仮説設定部、５２ 尤度算出部、５３ 物体位置判定部、５４ 異常判定部、１００ 基準面、１０１ カメラ位置、１０３ 移動物体モデル、５２０ ペナルティ設定部、５２１ 緩和値設定部。
【技術分野】
【０００１】
本発明は、画像処理により複数の移動物体を追跡する移動物体追跡装置に関する。
【背景技術】
【０００２】
画像処理により移動物体を追跡する従来技術として、テンプレートマッチング処理を用い、画像特徴が類似する個所を探索、追跡するものが知られている。テンプレートマッチング処理では、画像全体を探索範囲とすると処理負荷が大きくなるため、注目する移動物体の前時刻での位置の周辺、或いは過去の運動等に基づく現時刻での予測位置の周辺に探索範囲を設定する。そして、この限定された探索範囲にて入力画像とテンプレートの一致の度合いを調べ、最も一致している位置に注目する移動物体が存在すると判断する。
【０００３】
ここで、追跡領域内に追跡対象の移動物体が複数存在する場合、画像特徴の似た移動物体同士が接近するとそれらのテンプレートの探索範囲が重なることがあり、注目する移動物体以外の移動物体の位置にて最もテンプレートと一致することがある。この場合、これらを取り違えて追跡し始めたり、複数の移動物体が同じ位置に存在すると判断したりする誤追跡が起こり得る。
【０００４】
この対策として、複数の移動物体のテンプレートそれぞれが最も一致した位置に各物体の位置候補を決定した後、位置候補間の距離が近すぎたならば離す修正を行ってテンプレートとの一致度に基づく再評価を行なう従来技術がある（特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−４８４２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら従来技術では、例えば、注目物体がその進行方向に密集している複数の他物体とすれ違う場合にて、注目物体と他物体とを離す修正処理は物体の実際の動きと合致しない結果を生じ、追跡物体を取り違える可能性があるという問題があった。
【０００７】
より具体的には例えば、狭い通路で注目人物がその前方に横に並んで立っている複数人に接近した場合や、人が集まっている場所に注目人物が接近した場合には、実際には進行方向に居る人物が道を譲るなどして状況が変化し、注目人物はこれらの人物の間を通り抜けることがある。この場合に、接近した各物体を離す修正を行うと、注目人物の位置は進行方向と逆方向に修正され、一方、注目人物以外は注目人物の進行方向に修正されるため、注目人物と他の人物とを取り違え易くなる。つまり、従来技術では密集した複数の人物に近接した人物の探索範囲は押し戻された位置に制限されてしまうため通り抜けを入れ替わりとして誤追跡してしまう問題があった。
【０００８】
他方、注目人物がそれまでの動きを維持して密集した複数の人物の間を通り抜けるのではなく、接近した後それら人の輪に加わり立ち止まったり、注目人物の方が複数人物群を避けて通ったりするなど、注目人物の運動が変化することもある。このような場合には取り違えを回避するために探索位置を離す制御が有効である。
【０００９】
本発明は上記問題を鑑みてなされたものであり、複数の移動物体が密集しているときでもこれらを取り違えることなく高精度に追跡可能な移動物体追跡装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る移動物体追跡装置は、所定の空間を撮影した時系列の画像を用いて、前記空間内を移動する複数の物体を追跡するものであって、注目時刻より過去における前記各物体の位置情報を記憶する記憶部と、前記位置情報から前記注目時刻における前記各物体の移動先候補を予測して分布させる位置予測部と、前記注目時刻の前記画像において前記移動先候補それぞれと対応する位置の画像特徴から当該移動先候補についての移動先らしさの評価値を求める評価値算出部と、前記評価値の高さに基づいて前記各物体の移動先位置を判定する物体位置判定部と、を備え、前記評価値算出部は、前記物体の１つを注目物体とし、その他の物体の前記移動先候補の分布範囲内に予測された当該注目物体の前記移動先候補についての前記評価値を所定値分低める補正を行い、その際に前記分布範囲内の前記移動先候補のうちの一部候補については当該所定値を小さくして前記その他の物体の譲歩を前記評価値に反映させる。
【００１１】
上記本発明に係る移動物体追跡装置において、前記評価値算出部は、前記位置情報から前記注目物体が移動中と判定される場合に、当該注目物体の前方に予測された前記移動先候補を前記一部候補とする構成とすることができる。
【００１２】
上記本発明に係る移動物体追跡装置において、前記評価値算出部は、前記位置情報から前記注目物体が移動中と判定される場合に、当該注目物体の進行方向に近い前記移動先候補ほど前記所定値を小さくする構成とすることができる。
【００１３】
上記本発明に係る移動物体追跡装置において、前記評価値算出部は、前記位置情報から前記注目物体が移動中と判定される場合に、当該注目物体の直近位置に近い前記移動先候補ほど前記所定値を小さくする構成とすることができる。
【００１４】
上記本発明に係る移動物体追跡装置において、前記評価値算出部は、前記位置情報から前記注目物体が停止中と判定される場合に、前記分布範囲内の前記移動先候補から前記一部候補をランダムに選択する構成とすることができる。
【発明の効果】
【００１５】
本発明によれば、注目物体の移動先の候補位置に対する移動先位置としての評価値を他物体の存在蓋然性に応じて低める補正を行うことで、接近する複数の物体の移動先位置を離間させる。その際、当該評価値を低める補正を部分的に弱めて評価値を補償することにより、密集を通り抜ける移動物体を追跡することが可能となる。補正に対する評価値の補償を限定的にすることで補正の効果も確保し、通り抜け以外の動きがあっても取り違えを防止することができる。すなわち、複数の移動物体が密集しているときでもこれらを取り違えることなく高精度に追跡することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態に係る移動物体追跡装置のブロック構成図である。
【図２】三次元モデルの一例を模式的に示す斜視図である。
【図３】監視空間に複数の移動物体が存在する一例として４人の人物が接近して存在する様子及び当該移動物体のうち注目移動物体以外の３つに対して設定された存在度マップを示す模式図である。
【図４】個別存在度マップを作成する方法を説明する模式図である。
【図５】移動状態の注目物体の進行方向に密集する他物体が存在する場合の緩和値Ｅの設定を説明する模式図である。
【図６】移動状態の注目物体の進行方向に他物体が存在しない場合の緩和値Ｅの設定を説明する模式図である。
【図７】注目物体が停止状態である場合の緩和値Ｅの設定を説明する模式図である。
【図８】本発明の実施形態に係る移動物体追跡装置の追跡処理の概略のフロー図である。
【図９】図８の追跡処理における尤度補正処理の概略のフロー図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態（以下実施形態という）である移動物体追跡装置１について、図面に基づいて説明する。移動物体追跡装置１は、監視空間内を移動する人物を追跡対象物（以下、移動物体と称する）とし、監視空間を撮像した監視画像を処理して移動物体の追跡を行う。移動物体追跡装置１は監視空間に存在する複数の移動物体を追跡可能に構成されている。なお、監視空間は屋内に限定されず屋外であってもよく、移動物体は車両など人物以外であってもよい。
【００１８】
［移動物体追跡装置の構成］
図１は、実施形態に係る移動物体追跡装置１のブロック構成図である。移動物体追跡装置１は、撮像部２、設定入力部３、記憶部４、制御部５及び出力部６を含んで構成される。撮像部２、設定入力部３、記憶部４及び出力部６は制御部５に接続される。
【００１９】
撮像部２は監視カメラであり、監視空間を臨むように設置され、監視空間を所定の時間間隔で撮影する。撮影された監視空間の監視画像は順次、制御部５へ出力される。専ら床面又は地表面等の基準面に沿って移動する人の位置、移動を把握するため、撮像部２は基本的に人を俯瞰撮影可能な高さに設置され、例えば、本実施形態では移動物体追跡装置１は屋内監視に用いられ、撮像部２は天井に設置される。監視画像が撮像される時間間隔は例えば１／５秒である。以下、この撮像の時間間隔で刻まれる時間の単位を時刻と称する。
【００２０】
設定入力部３は、管理者が制御部５に対して各種設定を行うための入力手段であり、例えば、タッチパネルディスプレイ等のユーザインターフェース装置である。
【００２１】
記憶部４は、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等の記憶装置である。記憶部４は、各種プログラムや各種データを記憶し、制御部５との間でこれらの情報を入出力する。各種データには、三次元モデル４０、カメラパラメータ４１、仮説４２、物体位置４３、存在度マップ４４及び物体特徴４５が含まれる。
【００２２】
三次元モデル４０は、監視空間（実空間）を模した仮想空間に移動物体の立体形状を近似した移動物体モデルを配置した状態を記述したデータである。本実施形態では、監視空間及び仮想空間をＸ，Ｙ，Ｚ軸からなる右手直交座標系で表し、鉛直上方をＺ軸の正方向に設定する。また、床面等の基準面は水平であり、Ｚ＝０で表されるＸＹ平面で定義する。仮想空間内での移動物体モデルの配置は任意位置に設定することができる。
【００２３】
図２は、三次元モデル４０の一例を模式的に示す斜視図であり、監視空間をＮ×Ｍ×Ｋの位置座標に離散化した仮想空間の基準面１００、カメラ位置１０１及び移動物体モデル１０３の配置例を示している。
【００２４】
移動物体モデルは、例えば、人の頭部胴部、脚部の３部分の立体形状を近似する回転楕円体をＺ軸方向に積み重ねた高さＨ、胴部の最大幅Ｗの立体形状データである。本実施形態では説明を簡単にするため、高さＨ、幅Ｗは標準的な人物サイズとし任意の移動物体に共通とする。また、頭部中心を移動物体の代表位置とする。なお、移動物体モデルはより単純化して１つの回転楕円体で近似してもよい。移動物体モデルの立体形状に関するデータは、追跡処理に先立って記憶部４に格納される。
【００２５】
カメラパラメータ４１は、撮像部２の外部パラメータ、内部パラメータを含む。実際に計測するなどして得られたこれらのパラメータが予め設定入力部３から入力され、記憶部４に格納される。公知のピンホールカメラモデル等のカメラモデルにカメラパラメータ４１を適用した座標変換式により、三次元モデル４０を監視画像の座標系（撮像部２の撮像面；ｘｙ座標系）に投影できる。
【００２６】
仮説４２（移動先候補）は、各時刻における移動物体の移動先の位置の予測値に関する情報である。確率的に移動物体の位置（物体位置）を判定するために仮説は移動物体ごとに多数（その個数をαで表す。例えば１移動物体あたり２００個）設定される。具体的には、仮説４２は、移動物体の識別子と、各時刻における予測値のインデックス（０〜α−１）及びその位置座標（ＸＹＺ座標系）とを対応付けた時系列データである。
【００２７】
物体位置４３は各時刻における移動物体の位置に関する情報であり、具体的には、移動物体の識別子と位置座標（ＸＹＺ座標系）とを対応付けた時系列データである。すなわち、物体位置４３には、時刻ごとに判定される各移動物体の位置が順次、追記され、各移動物体の過去位置の情報が保持される。
【００２８】
なお、仮説４２、物体位置４３を監視空間の水平面座標（ＸＹ座標系）で特定する構成として処理を高速化することができる。本実施形態では、理解を容易にするために当該構成を例に説明する。
【００２９】
存在度マップ４４は、監視空間の各位置において各移動物体が存在し得る度合い（蓋然性）を表す存在度を当該位置及び当該移動物体の識別符号と対応付けたデータである。存在度は仮説４２又は物体位置４３を中心位置にして設定される。移動物体は監視空間の一部を占有し、複数の移動物体の占有空間は排他的に存在することに対応させて、任意の移動物体の物体位置を判定する際にその他の移動物体の存在度をペナルティ値として用いることで物体間に排他作用を奏させる。
【００３０】
物体特徴４５は、追跡対象の移動物体を個々に特徴付ける情報であり、監視画像から抽出された各移動物体の特徴量（例えば色ヒストグラムなど）を含む。当該移動物体の特徴量は、入力画像にて追跡対象となる移動物体が新規に検出されると、当該検出位置に対応した画像領域から抽出され、記憶部４に格納される。なお、移動物体の特徴量を抽出する際に、移動物体モデルの形状に関するデータを参照情報として用いることができる。
【００３１】
また、物体特徴４５は移動物体の非隠蔽領域を表す情報も含む。ここで、非隠蔽領域は移動物体が他の移動物体により隠蔽されずに監視画像上に像として現れる領域である。非隠蔽領域は、移動物体モデルを仮想的に配置した三次元モデル４０を、カメラパラメータ４１を用いて撮像部２の撮像面に投影して求めることができる。各移動物体について、移動物体モデルを当該移動物体の位置に配置したときの非隠蔽領域が物体特徴４５として記憶部４に格納される。
【００３２】
制御部５は、ＣＰＵ(Central Processing Unit)、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、記憶部４からプログラムを読み出して実行し、変化画素抽出部５０、仮説設定部（位置予測部）５１、尤度算出部（評価値算出部）５２、物体位置判定部５３及び異常判定部５４として機能する。また尤度算出部５２はペナルティ設定部５２０と緩和値設定部５２１とを含んでなる。
【００３３】
変化画素抽出部５０は、撮像部２から新たに入力された監視画像から変化画素を抽出し、抽出された変化画素の情報を尤度算出部５２及び物体位置判定部５３へ出力する。そのために変化画素抽出部５０は、新たに入力された監視画像と背景画像との差分処理を行って差が予め設定された差分閾値以上である画素を変化画素として抽出する。変化画素は背景画像を参照情報として監視画像との対比により抽出される移動物体の画像特徴である。なお、差分処理に代えて新たに入力された監視画像と背景画像との相関処理によって変化画素を抽出してもよいし、背景画像に代えて背景モデルを学習して当該背景モデルとの差分処理によって変化画素を抽出してもよい。
【００３４】
仮説設定部５１は、移動物体の過去の位置情報（物体位置又は仮説）を用いて当該移動物体の動き予測を行い、移動物体の現時刻における移動先候補位置である複数の仮説を求めて分布させる。
【００３５】
まず、仮説設定部５１は、過去に判定された各移動物体の物体位置又は過去に設定された各移動物体の仮説から動き予測を行なって、新たに監視画像が入力された時刻（注目時刻）における移動物体の移動先候補を複数通り予測して各移動先候補と移動物体の識別子とを含んだ仮説を設定し、設定した仮説を尤度算出部５２へ出力する。上述したように仮説は各移動物体に対してα個設定される。このように多数の仮説を順次設定して確率的に移動物体の位置（物体位置）を判定する方法はパーティクルフィルタなどと呼ばれる。仮説は監視画像のｘｙ座標系で設定することもできるが、本実施形態では監視空間のＸＹＺ座標系で設定する。動き予測は過去の位置データに所定の運動モデルを適用するか、又は所定の予測フィルタを適用することで行なわれる。
【００３６】
尤度算出部５２は、監視画像において各移動物体の仮説それぞれに対応する部分（非隠蔽領域）から当該移動物体の画像特徴を抽出し、画像特徴の抽出度合いに応じた、当該仮説の物体位置としての尤度（評価値）を算出して物体位置判定部５３へ出力する。このとき尤度算出部５２は、注目物体の仮説をペナルティ設定部５２０に入力して、当該仮説が示す移動先候補での注目物体以外の他物体の存在度を算出させ、当該存在度により当該仮説の尤度を低める補正を行なうと共に、その際に注目物体の仮説を緩和値設定部５２１に入力して一部の仮説に対する補正を小さくする調整（評価値補償）を行なう。
【００３７】
仮説のＸＹ座標を（Ｘ，Ｙ）、当該仮説に対する補正前の尤度をＬ０（Ｘ，Ｙ）、当該仮説での他物体の存在度をＰ（Ｘ，Ｙ）、当該仮説に対する緩和値をＥとすると、当該仮説に対する補正後の尤度Ｌ（Ｘ，Ｙ）は下記（１）式のように補正前の尤度から緩和値により調整された存在度を減算することによって算出される。ただしＥは０以上１以下の値である。
Ｌ（Ｘ，Ｙ）＝Ｌ０（Ｘ，Ｙ）−Ｐ（Ｘ，Ｙ）×（１−Ｅ） （１）
【００３８】
すなわち、他物体の存在度は尤度を低めるペナルティ値として作用し、緩和値はペナルティ値を弱める作用を有する。
【００３９】
以下、補正前の尤度Ｌ０、存在度Ｐ、緩和値Ｅの算出について説明する。
【００４０】
補正前の尤度Ｌ０は次のように算出される。尤度算出部５２は、仮説が示す移動先候補に移動物体モデルを仮想的に配置した三次元モデル４０を生成する。そして、カメラパラメータ４１を用いて三次元モデル４０を撮像部２の撮像面に投影して移動物体モデルの非隠蔽領域を求め、下記（１）〜（３）の方法で類似度、包含度及びエッジの抽出度を算出してこれらの重み付け加算値に応じた尤度を算出する。なお、仮想空間に什器等の設置物のモデルを含ませておくことで、設定物による隠蔽をさらに考慮した非隠蔽領域を求めることができる。
（１）各移動物体の過去の物体位置における非隠蔽領域から抽出された特徴量を当該移動物体の物体特徴４５として記憶部４に記憶する。仮説が現に注目物体が存在する位置に近いほど背景や他物体の特徴量が混入しなくなるため、非隠蔽領域から抽出された特徴量と物体特徴４５との類似度は高くなり、一方、遠ざかるほど類似度は低くなりやすい。そこで、監視画像から非隠蔽領域内の特徴量を抽出し、抽出された特徴量と物体特徴４５との類似度を算出する。ここでの特徴量として例えば、エッジ分布、色ヒストグラム又はこれらの両方など、種々の画像特徴量を利用することができる。
（２）変化画素抽出部５０により抽出された変化画素に非隠蔽領域を重ね合わせ、変化画素が非隠蔽領域に含まれる割合（包含度）を求める。包含度は動きの特徴量であり、仮説が現に移動物体が存在する位置に近いほど高くなり、遠ざかるほど低くなりやすい。
（３）監視画像における非隠蔽領域の輪郭に対応する部分からエッジを抽出する。抽出されたエッジは形状の特徴量である。仮説が現に移動物体が存在する位置に近いほど、非隠蔽領域の輪郭がエッジ位置と一致するため、エッジの抽出度（例えば抽出されたエッジ強度の和）は高くなり、一方、遠ざかるほど抽出度は低くなりやすい。
【００４１】
なお、上述した類似度、包含度、エッジの抽出度のうちいずれか１つに応じた尤度を算出してもよいし、これらのうちの２つの度合いの重み付け加算値に応じて尤度を算出してもよい。
【００４２】
また、尤度を評価値にする代わりに上述した類似度、包含度、エッジの抽出度又はこれらの２以上を組み合わせた値を評価値とすることもできる。
【００４３】
次に存在度Ｐの算出について説明する。図３は複数の移動物体として４人の人物（移動物体＃１〜＃４）が接近して存在する監視空間の模式的な斜視図２００及び、斜視図２００の移動物体＃２〜＃４に対して設定された存在度マップ４４の例を説明する模式図２１０である。存在度マップ４４は、基準面に対応して位置を表すＸ軸及びＹ軸と、Ｘ軸及びＹ軸と直交して存在度を表すＰ軸とを有する。存在度マップ４４は移動物体ごとの個別存在度マップを適宜合成することで生成される。模式図２１０には、移動物体＃２の個別存在度マップ２１２、移動物体＃３の個別存在度マップ２１３及び移動物体＃４の個別存在度マップ２１４がそれぞれプロットされている。これらを対応する位置ごとに加算して正規化することで存在度マップが合成される。移動物体＃２，＃３，＃４の個別存在度マップ２１２，２１３，２１４を合成した存在度マップは、監視空間内の各位置における、移動物体＃１からみた他物体の存在度、すなわち当該位置に移動物体＃１が存在し得ない度合いを表し、この存在度マップは移動物体＃１の物体位置を判定する際のペナルティ値として利用される。
【００４４】
個別存在度マップのそれぞれはＸＹ座標を変数とする１つの二次元正規分布の確率密度関数の出力値、又はＸＹ座標を変数とする複数の二次元正規分布の確率密度関数を加算合成した関数の出力値で表される。本実施形態では基準面をＮ×Ｍに離散化しているので、個別存在度マップは実態的にはＸ＝［０，Ｎ−１］、Ｙ＝［０，Ｍ−１］の範囲で各ＸＹ座標における上記関数の出力値が個別存在度として並び、これら個別存在度の集まりに移動物体の識別符号が対応付けられたデータである。個別存在度マップは、１つの二次元正規分布で表される場合には、当該正規分布の平均値μ及び分散値σ２が移動物体の識別符号と対応付けられたデータとすることもでき、また複数の二次元正規分布の加算合成で表される場合は、当該各正規分布の平均値μ及び分散値σ２と当該各分布の重みωとの組が移動物体の識別符号と対応付けられたデータとすることもできる。
【００４５】
合成存在度マップは複数の個別存在度マップを重ね合わせたものであり、個別存在度マップと同じＸＹ座標範囲に合成存在度が並んだデータである。合成存在度マップは、加算された各二次元正規分布の平均値μ及び分散値σ２と当該分布の重みωとの組からなるデータとすることもできる。
【００４６】
ペナルティ設定部５２０は、仮説設定部５１により設定された仮説４２又は／及び物体位置判定部５３により判定された物体位置４３を参照して存在度マップ４４を作成し、作成された存在度マップ４４を記憶部４に記憶させる。また、ペナルティ設定部５２０は注目物体の仮説４２を入力されると存在度マップ４４から当該注目物体に対する当該仮説４２の位置での他物体の存在度を出力する。
【００４７】
図４は個別存在度マップを作成する方法を説明する模式図である。図４（ａ）は、個別存在度マップの作成対象とする移動物体についての基準面上での仮説４２及び物体位置４３の配置の一例を示す模式図であり、白抜きの複数の小円（○）がそれぞれ仮説の位置を表し、三角形（△）が現在の物体位置を表す。また図４（ｂ）〜（ｄ）は図４（ａ）に仮説等を例示した移動物体について個別存在度マップを作成する３種類の方法（Ａ１）〜（Ａ３）を表している。
（Ａ１）本方法は物体位置４３から個別存在度マップを作成する方法である。この方法では、作成対象の移動物体の物体位置４３を平均値μとした二次元正規分布の確率密度関数を作成する。図４（ｂ）は、本方法で設定された個別存在度マップの二次元正規分布（平均値μ，分散値σ２）を表しており、物体位置にてＰ軸方向のピークを有する山型の形状と、３σの範囲を示すＸＹ面上の円とを示している。分散値σ２は仮説の分布幅から定められる。
（Ａ２）本方法は仮説４２から個別存在度マップを作成する方法である。この方法では、作成対象の移動物体のα個の仮説を記憶部４から読み出して当該移動物体の個別存在度を算出する。当該移動物体の仮説４２の平均値と分散を算出し、算出された平均値及び分散を設定した二次元正規分布の確率密度関数で仮説の分布を近似する。そして、監視空間の各位値での当該関数の値を各位置における当該物体の個別存在度として設定する。図４（ｃ）は仮説の分布を二次元正規分布で近似した様子を示す模式図であり、複数の仮説（○）の平均位置μを黒の小円（●）で示し、二次元正規分布（平均値μ，分散値σ２）を平均位置μにてＰ軸方向のピークを有する山型の形状と、３σの範囲を示すＸＹ面上の円とで表している。この方法は（Ａ３）と比べると、必要とする計算量、メモリ量の少なさで優れている。
（Ａ３）本方法は仮説４２から個別存在度マップを作成する別の方法である。本方法は各仮説に対して未だ尤度が算出されていない状態で用いることができる。図４（ｄ）は本方法による個別存在度マップの作成例を説明する模式図である。仮説（○）それぞれについて山型の関数で図示する二次元正規分布（平均値μ，分散値σ２）が設定される。当該仮説の位置を当該正規分布の平均値μとし、かつ分散値σ２は３σが移動物体の幅の２分の１（Ｗ／２）に合致するように設定される。そして、仮説ごとの二次元正規分布をそれぞれ重み１．０で加算合成して得られる関数の各ＸＹ座標における出力値をそれらの最大値で除する正規化を行い、その正規化後の各ＸＹ座標における値を作成対象の移動物体の個別存在度マップと定義する。この方法は（Ａ２）と比べると複雑な形状を表現でき、高い精度が得られる。
【００４８】
図３に示す移動物体＃２〜＃４の個別存在度マップ２１２〜２１４は（Ａ２）の方法で作成されている。注目物体＃１に対する他物体の合成存在度マップは、既に述べたように個別存在度マップ２１２〜２１４を適宜加算合成して算出される。その一つの方法は、全物体＃１〜＃４の個別存在度マップにおいて互いに対応する位置同士で値を加算し、加算結果のＸＹ座標内での最大値で各位置の加算値を除して正規化することで全物体の合成存在度マップを作成する。次に、全物体の合成存在度マップにおける各位置の合成存在度から、注目物体＃１の個別存在度マップにおける当該位置の個別存在度を減算して他物体＃２〜＃４についての合成存在度マップを作成する。なお、合成存在度マップから注目物体の個別存在度マップを減算する際に、当該個別存在度マップには合成存在度マップの作成時と同じ正規化を行う。
【００４９】
なお、上述した正規化により存在度の値域は［０，１］に設定され、尤度の値域［０，１］と一致している。存在度の値域を［０，１］に正規化していない場合には、（１）式の右辺の減算結果が０未満となり得るが、その場合のＬ（Ｘ，Ｙ）は０と定義する。
【００５０】
上述の注目物体の物体位置判定用の合成存在度マップは、複数の移動物体のうち当該注目物体だけを除いた他物体の仮説に基づいて作成された、他物体の存在度を注目時刻の監視空間の各位置にて与える存在度関数に当たる。ペナルティ設定部５２０は、注目物体の識別符号とその仮説を入力されると、当該注目物体に対応した物体位置判定用の合成存在度マップに基づいて、当該仮説の位置での他物体の存在度を出力する。
【００５１】
なお、什器等が設置されて移動物体が存在し得ないことが予め分かっている位置に合成存在度１．０を上書き設定することもできる。
【００５２】
次に緩和値Ｅについて説明する。上述した存在度Ｐによるペナルティ値は、注目人物以外の移動先候補において注目人物が追跡されにくくする作用を奏する。画像特徴が類似する他人同士が接近して当該他人間で高い尤度が算出される機会が増えるとき、これらの人物が実際にはすれ違っていないにもかかわらず、あたかもすれ違ったかのように取り違えて追跡されてしまったり、接近した２人が混同され一方の人物の存在位置に２人が存在するかのように追跡される一方、他方の人物が実在する位置に第三の人物が新規出現したと判断されたりするなどの追跡エラーが起こりやすくなる。存在度をペナルティとして用いて尤度を低める修正はこのような場合に接近した人物同士を離すように作用して追跡エラーを防ぐことを可能とする。
【００５３】
しかし、この接近した人物同士を離す修正処理は、従来技術の課題として述べたように、場合によっては実際の人物の動きと合致しなくなって追跡物体を取り違えるおそれがある。この問題は図３のような、注目人物がその前方に人が集まっている場所に接近した場合について既に説明した。すなわち、この場合には進行方向に居る人物が譲歩し道を空けてくれ、注目人物はこれらの人物の間を通り抜ける場合があるが、この場合にペナルティ値が作用すると、注目人物の物体位置は進行方向と逆方向側に判定されやすくなり注目人物と他の人物との取り違えが生じ易くなる。その一方で、注目人物が輪に加わり立ち止まる、注目人物がよけて通るなど、注目人物側の運動が変化する場合もあり、この場合はペナルティ値が作用しなければ取り違えが発生しやすくなる。
【００５４】
また例えば、停止状態で密集した人物の中に居る注目人物が動き出して密集から抜け出す場合も、ペナルティ値の作用によって取り違えが発生することもある。つまり、ペナルティ値は、密集の内側に居る人物に対しては内側に押し留めるように作用し、外側に居る人物に対しては外側に押し出すように作用する。そのため、実際に内側の人物が抜け出したとしても、当該人物は外側の人物として追跡されやすくなってしまう。その一方で、実際に外側の人物が密集から抜け出す場合はペナルティ値が作用しなければ取り違えが発生しやすくなる。
【００５５】
緩和値Ｅは、存在度をペナルティとして得られる排他作用を活かしつつ、狭い通路や密集した空間で人がすれ違う際にお互いに譲りあって道を開けるといった人間らしい動作を擬似的に再現するために設定される値である。
【００５６】
緩和値設定部５２１は、注目物体の仮説のうち他物体の存在度が設定されている位置の仮説の一部に緩和値を設定する。緩和値設定部５２１は、緩和値の設定対象とする仮説の選択方法は注目物体が移動状態であるか停止状態であるかによって切り替える。すなわち、移動状態であればその進行方向に偏らせて緩和値を設定し、停止状態であれば偏りなく所定数の仮説に緩和値を設定する。
【００５７】
なお、設置物は移動物体と異なり注目物体に対して道を空けることが無いため、設置物の存在度が設定されている位置の仮説は緩和値の設定対象外とする。
【００５８】
運動状態は、注目物体の過去の物体位置からその移動ベクトルを算出して、当該移動ベクトルの大きさ（移動距離）を予め設定された停止判定しきい値Ｔｖと比較することにより判定できる。具体的には、緩和値設定部５２１は、注目物体の直前２時刻の物体位置間の距離を算出し、物体の微動及び検出誤差の上限に設定されたしきい値Ｔｖより当該距離が大きければ移動状態、当該距離が停止判定しきい値Ｔｖ以下ならば停止状態と判定する。
【００５９】
なお、直前３時刻以上の物体位置を用いた平均速度、或いは直前３時刻以上の物体位置にカルマンフィルタ等を適用して算出した予測速度の大きさから移動距離を算出することもできる。
【００６０】
注目物体が移動状態である場合、緩和値設定部５２１は、例えば、当該注目物体の進行方向（移動ベクトルの向き）に向かって前方にある仮説だけについて緩和値を設定する。その際、例えば、注目物体の進行方向に近い仮説ほど大きな緩和値を設定し、注目物体の進行方向から遠い仮説ほど小さな緩和値を設定する。これにより、他物体が自分の方に向かってくる注目物体に対して道を空けるという状況変化に対応可能となる。
【００６１】
また、注目物体の１時刻前の物体位置に近い仮説ほど大きな緩和値を設定し、注目物体の１時刻前の物体位置から遠い仮説ほど小さな緩和値を設定することも好適である。他物体の間を通り抜ける際は総じて注目物体の速さは低下するため、このように移動距離が小さな仮説ほど大きな緩和値を設定し、移動距離が大きな仮説ほど小さな緩和値を設定することで、さらに実際の状況に近い緩和値の設定が可能になる。
【００６２】
具体的には、緩和値設定部５２１は、注目物体の１時刻前の物体位置から緩和値設定対象の仮説までの移動ベクトルｖを算出して移動ベクトルｖの大きさである移動距離ｄ１と移動距離ｄ１の注目物体の進行方向成分ｄ２とを求め、仮説までの移動距離ｄ１に対する進行方向成分ｄ２の比の値ｄ２／ｄ１に比例して緩和値Ｅを増減させる。また、Ｄをｄ１の最大値（仮説の最大移動距離）として、当該Ｄに対する移動距離ｄ１の比の値ｄ１／Ｄが小さいほど緩和値Ｅを大きく算出する。これにより注目物体の仮説に設定される緩和値は、注目物体の直近の進行方向に対して当該仮説への移動方向がなす角θが小さいほど大きく、当該仮説への移動距離ｄ１が小さいほど大きく設定され、逆にθやｄ１が大きいほど小さく設定される。このような緩和値Ｅは例えば、下記（２）式で定義することができる。
【数１】
【００６３】
なお、（２）式は、進行方向前方の仮説だけに緩和値Ｅを設定する構成における定義式であり、ｄ２≦０となる場合、すなわちθが９０度以上となる場合は緩和値を０にする。
【００６４】
図５、図６は注目物体が移動状態である場合の緩和値Ｅの設定を説明する模式図であり、図５は注目物体が密集する他物体に向かって移動する場合の例であり、図６は注目物体の進行方向に他物体が存在しない場合の例である。同図は物体位置、仮説の位置や緩和値の大きさをＸＹ平面にて模式的に表しており、点線の大きな円は他物体の存在度が設定されている範囲、三角（△）は過去の物体位置、実線の円（○）は仮説を表している。また、四角（□）はその大きさで、同じ位置に示す仮説（○）に対して設定する緩和値の大きさを示す。現時刻（注目時刻）をｔで表し、１時刻前の物体位置はＰｔ−１、２時刻前の物体位置はＰｔ−２である。注目物体の直近の進行方向をＰｔ−１からＰｔ−２への移動ベクトルＶｔ−１の向きで定義し、Ｐｔ−１を始点とする現時刻の移動ベクトルＶｔを暫定的にその進行方向に沿って図示している。Ｐｔ−１から仮説への移動ベクトルはｖで表す。このベクトルｖの大きさが仮説への移動距離ｄ１に当たり、またＶｔに射影したｖの大きさがｄ２、ｖがＶｔとなす角がθに当たる。上述したように、θが小さいほど緩和値Ｅが大きく設定され、またｄ１が小さいほど緩和値Ｅが大きく設定される。この結果、図５に示す場合においては、注目物体がＰｔ−１から進む可能性が高い直近進行方向を中心にペナルティが緩和され、密集していた他物体の間を通り抜ける注目物体を追跡することが可能となる。
【００６５】
一方、図６に示す進行方向が密集した他物体から逸れている場合にはペナルティの緩和は殆ど起こらない。これを鑑みれば、進行方向が密集した他物体から逸れていることを明示的に判定して、逸れている注目物体の仮説全てを緩和値設定対象から除外してもよい。逸れているか否かの判定は進行方向に他物体の存在度が設定されているかに基づいて判定することができ、進行方向に存在度が設定されていない場合は逸れていると判定する。また、注目物体の仮説のうち存在度が設定されている位置に設定されたものの数が、例えば１０％未満であるなど所定割合未満の場合を逸れていると判定してもよい。注目物体の進行方向が密集した他物体から逸れているのであれば、注目物体が密集を回避して移動する可能性が高く、この場合は排他制御を最大限に効かせることで取り違え防止効果を高めることができる。
【００６６】
以上、注目物体が移動状態である場合を説明した。次に、注目物体が停止状態である場合の緩和値の設定について説明する。注目物体が停止状態である場合、注目物体はいずれの向きにも動き出す可能性がある。よって、上述した移動状態の場合のように注目物体が進む方向を想定しそれを中心に緩和値を設定することができない。また、進行する可能性がある全周領域に緩和値を設定すると、存在度による排他作用が損なわれて取り違えの可能性が増してしまう。
【００６７】
このような課題に対し、緩和値設定部５２１は他物体の存在度が設定されている領域内に位置する注目物体の仮説から一定割合でランダムに設定対象を選択する。また、このとき緩和値設定部５２１は緩和値Ｅの大きさもランダムに設定する。
【００６８】
具体的には、緩和値設定部５２１は、他物体の存在度が設定されている位置の仮説それぞれに対して乱数生成手段により互いに相関の無い乱数ｒ１とｒ２とを値域［０，１］で生成する。そして、下記（３）式で表されるように、Ｒｔｈ以下の乱数ｒ１が生成された仮説に対して緩和値Ｅを乱数ｒ２に設定し、一方、Ｒｔｈより大きな乱数ｒ１が生成された仮説に対して緩和値Ｅを０に設定する。例えばＲｔｈを０．２に設定すれば他物体の存在度が設定されている位置の仮説のうち２０％が緩和値の設定対象となる。Ｒｔｈにはペナルティ値による排他作用と緩和値による譲歩反映作用の効果のトレードオフを考慮した値が実験を通じて予め設定される。
【数２】
【００６９】
図７は注目物体が停止状態である場合の緩和値Ｅの設定を説明する模式図であり、図５、図６と同様の形式で表現している。ちなみに、注目物体は停止状態であるので、物体位置を表す三角（△）は一点に留まっており、また移動ベクトルは大きさが０であるので表示していない。緩和値は、存在度が設定されている領域内の仮説にランダムに設定される。つまり、緩和値は１時刻前の物体位置から見て特定の方向に集中することなく設定される点で上述した移動状態の場合と相違する。また、緩和値の大きさはランダムに設定される。つまり、その大きさは物体位置からの距離に関係なく設定される点で移動状態の場合と相違する。
【００７０】
停止状態についての上述の実施形態は、緩和値を設定する仮説の選択と、緩和値の大きさとの両方を乱数を用いて決定するものであるが、それらの一方だけを乱数を用いて決定してもよい。例えば、上述の緩和値Ｅの大きさを変動させる乱数ｒ２を用いず、乱数ｒ１とＲｔｈとの大小関係で緩和値Ｅを０にするか１にするか、つまり存在度をそのままペナルティとして使うか使わないかの二択にしてもよい。例えば、Ｒｔｈを０．２に設定して仮説の２０％に緩和値を設定する場合には、Ｒｔｈ以下の乱数ｒ１が生成された仮説に対して緩和値を１に設定し、Ｒｔｈより大きい乱数ｒ１が生成された仮説に対して緩和値を０に設定する。
【００７１】
また、乱数ｒ１と閾値Ｒｔｈとを用いた仮説選択を行わずに、偏りを有する乱数を用いて緩和値Ｅを算出する。偏りを有する乱数に応じた緩和値Ｅは、例えば、一様乱数ｒ２を生成し、出力値の期待値が０．２に調整された関数ｇ（・）を用いＥ＝ｇ（ｒ２）によって算出できる。
【００７２】
尤度算出部５２は上述したように注目物体の各仮説について補正前の尤度Ｌ０、存在度Ｐ、緩和値Ｅを求め、それを用いて（１）式から補正後の尤度Ｌを算出する。すなわち、他物体の存在度Ｐに応じて尤度を低める修正、及び前記修正による尤度の低下に対し他物体が譲歩し得ることに基づく補償を行った尤度Ｌが算出される。
【００７３】
物体位置判定部５３は移動物体の各仮説、及び当該仮説ごとに算出された尤度Ｌから当該移動物体の位置（物体位置）を判定し、判定結果を記憶部４に移動物体ごとに時系列に蓄積する。なお、全ての尤度Ｌが所定の下限値（尤度下限値）未満の場合は物体位置なし、つまり消失したと判定する。下記（１）〜（３）は物体位置の算出方法の例である。
（１）移動物体ごとに、尤度を重みとする仮説の重み付け平均値を算出し、これを当該移動物体の物体位置とする。
（２）移動物体ごとに、最大の尤度が算出された仮説を求め、これを物体位置とする。
（３）移動物体ごとに、予め設定された尤度閾値以上の尤度が算出された仮説の平均値を算出し、これを物体位置とする。ここで、尤度閾値＞尤度下限値である。
【００７４】
異常判定部５４は、記憶部４に蓄積された時系列の物体位置を参照し、長時間滞留する不審な動きや通常動線から逸脱した不審な動きを異常と判定し、異常が判定されると出力部６へ異常信号を出力する。
【００７５】
出力部６は警告音を出力する音響出力手段、異常が判定された監視画像を表示する表示手段、又は通信回線を介して警備会社のセンタ装置へ送信する通信手段などを含んでなり、異常判定部５４から異常信号が入力されると異常発生の旨を外部へ出力する。
【００７６】
［移動物体追跡装置の動作］
次に、移動物体追跡装置１の追跡動作を説明する。図８は移動物体追跡装置１の追跡処理の概略のフロー図である。
【００７７】
追跡処理が開始されると、制御部５は、撮像部２が監視空間を撮像するたびに監視画像を入力される（Ｓ１）。以下、最新の監視画像が入力された時刻を現時刻、最新の監視画像を現画像と呼ぶ。
【００７８】
現画像は変化画素抽出部５０により背景画像と比較され、変化画素抽出部５０は変化画素を抽出する（Ｓ２）。ここで、孤立した変化画素はノイズによるものとして抽出結果から除外する。なお、背景画像が無い動作開始直後は、現画像を背景画像として記憶部４に記憶させ、便宜的に変化画素なしとする。
【００７９】
また、仮説設定部５１は追跡中の各移動物体に対して動き予測に基づきα個の仮説を設定する（Ｓ３）。なお、後述するステップＳ１６にて新規出現であると判定された移動物体の仮説は動き予測不能なため出現位置を中心とする広めの範囲にα個の仮説を設定する。また、後述するステップＳ１６にて消失と判定された移動物体の仮説は削除する。
【００８０】
制御部５は、ステップＳ２にて変化画素が抽出されず、かつステップＳ３にて仮説が設定されていない（追跡中の移動物体がない）場合（Ｓ４にて「ＹＥＳ」の場合）はステップＳ１に戻り、次の監視画像の入力を待つ。
【００８１】
一方、ステップＳ４にて「ＮＯ」の場合は、ステップＳ５〜Ｓ１６の処理を行う。ペナルティ設定部５２０は、各移動物体の仮説を基に上述した（Ａ２）の方法で当該移動物体の個別存在度マップを作成し、記憶部４に上書き保存する（Ｓ５）。
【００８２】
制御部５は移動物体の前後関係を判定する（Ｓ６）。具体的には、移動物体ごとに仮説の重心（平均値）とカメラ位置との距離を算出し、距離の昇順に対象物の識別子を並べた前後関係リストを作成する。そして、制御部５は追跡中の各移動物体を前後関係リストに基づいて手前のものから順次、注目物体に設定し（Ｓ７）、当該注目物体の追跡処理に用いる存在度マップを、他物体についての個別存在度マップを合成して作成する（Ｓ８）。続いて、制御部５は注目物体の各仮説を順次、注目仮説に設定する（Ｓ９）。但し、監視画像の視野外である仮説は注目仮説の設定対象から除外し、当該仮説における物体領域は推定せず、尤度を０に設定する。
【００８３】
尤度算出部５２は仮想空間にて注目仮説の位置に移動物体モデルを配置し、移動物体モデルが配置された三次元モデル４０を生成する。そして、カメラパラメータ４１を用いて三次元モデル４０を撮像部２の撮像面に投影して移動物体モデルの非隠蔽領域を求め、これを実空間における移動物体の非隠蔽領域と推定する。そして、推定した非隠蔽領域において注目物体の特徴量を抽出し、その抽出度合いに基づいて、注目仮説に対応した補正前の尤度Ｌ０を算出する（Ｓ１０）。
【００８４】
尤度算出部５２は、尤度Ｌ０に対する補正処理を行い、補正された尤度Ｌを算出する（Ｓ１１）。この補正処理Ｓ１１については後で詳述する。
【００８５】
制御部５は、尤度Ｌが算出されていない仮説が残っている場合（Ｓ１２にて「ＮＯ」の場合）、ステップＳ９〜Ｓ１１を繰り返す。α個全ての仮説について尤度Ｌが算出されると（Ｓ１２にて「ＹＥＳ」の場合）、物体位置判定部５３が注目物体の各仮説の位置（Ｘ，Ｙ）と当該仮説のそれぞれについて算出された尤度Ｌ（Ｘ，Ｙ）とを用いて注目物体の物体位置を算出する（Ｓ１３）。現時刻について算出された物体位置は１時刻前までに記憶部４に記憶させた注目物体の物体位置と対応付けて追記される。なお、新規出現した移動物体の場合は新たな識別子を付与して登録する。また、全ての仮説での尤度が尤度下限値未満の場合は物体位置なしと判定する。
【００８６】
ペナルティ設定部５２０は、ステップＳ１３にて算出された物体位置を用いて、上記（Ａ１）の方法で注目物体の個別存在度マップを更新する（Ｓ１４）。これにより、或る注目物体の物体位置の判定処理（ステップＳ７〜Ｓ１４）では、それより前に処理された他の移動物体の物体位置の判定結果が反映される。物体位置に基づく存在度は仮説に基づく存在度より精度が高いと期待できるので、上述の存在度マップの更新によって後続の物体位置判定の精度が向上し、ひいては、ループ処理（ステップＳ７〜Ｓ１５）を全移動物体について一回繰り返せば移動物体相互の位置関係について好適に収束した状態が求まることが期待できる。また、手前の物体から物体位置を判定することで、手前の物体による後ろの物体の隠蔽状態が精度良く評価されステップＳ１０にて算出される尤度Ｌ０の精度が向上する。このことも物体位置の判定精度を向上させる。
【００８７】
制御部５は未処理の移動物体が残っている場合（Ｓ１５にて「ＮＯ」の場合）、当該移動物体について物体位置を判定する処理（ステップＳ７〜Ｓ１４）を繰り返す。一方、全ての移動物体について物体位置の判定が完了すると（Ｓ１５にて「ＹＥＳ」の場合）、物体の新規出現と消失を判定する（Ｓ１６）。具体的には、物体位置判定部５３は各物体位置に対して推定された物体領域を合成して、変化画素抽出部５０により抽出された変化画素のうち合成領域外の変化画素を検出し、検出された変化画素のうち近接する変化画素同士をラベリングする。ラベルが移動物体とみなせる大きさであれば新規出現の旨をラベルの位置（出現位置）とともに記憶部４に記録する。また、物体位置なしの移動物体があれば当該移動物体が消失した旨を記憶部４に記録する。以上の処理を終えると、次時刻の監視画像に対する処理を行うためにステップＳ１へ戻る。
【００８８】
図９は尤度補正処理Ｓ１１の概略の処理フロー図である。ペナルティ設定部５２０はステップＳ８で作成した存在度マップから注目仮説が表す座標での存在度Ｐを読み出し、当該存在度Ｐをペナルティ値に設定する。尤度算出部５２は注目仮説及びペナルティ値Ｐを緩和値設定部５２１に入力する（Ｓ２０）。
【００８９】
緩和値設定部５２１はペナルティ値Ｐが０ならば（Ｓ２１にて「ＮＯ」）、緩和値Ｅを設定せず図８のステップＳ１２へ進む。この場合、尤度ＬはステップＳ９にて算出された画像特徴の尤度Ｌ０と等しくなる。
【００９０】
一方、ステップＳ２０で設定されたペナルティ値Ｐが０以上ならば（Ｓ２１にて「ＹＥＳ」）、緩和値Ｅを設定する処理Ｓ２２〜Ｓ２６が行われる。当該処理にて緩和値設定部５２１はまず、記憶部４から過去に算出された注目物体の物体位置Ｐｔ−１，Ｐｔ−２を読み出し、これらから現時刻の移動ベクトルＶｔを算出する（Ｓ２２）。そして、その大きさである移動距離|Ｖｔ|を停止判定しきい値Ｔｖと比較する（Ｓ２３）。|Ｖｔ|＞Ｔｖであれば注目物体は移動状態であると判定し（Ｓ２３にて「ＹＥＳ」）、|Ｖｔ|≦Ｔｖであれば注目物体は停止状態であると判定する（Ｓ２３にて「ＮＯ」）。
【００９１】
ステップＳ２３にて移動状態と判定した場合、緩和値設定部５２１はステップＳ２２で読み出した１時刻前の物体位置Ｐｔ−１から注目仮説への移動ベクトルｖを求め、その大きさｄ１を算出し、さらに当該移動ベクトルｖの移動ベクトルＶｔ方向成分の大きさｄ２を算出する（Ｓ２４）。そして、緩和値設定部５２１は（３）式に従い緩和値Ｅを算出する。
【００９２】
ステップＳ２３にて停止状態と判定した場合、緩和値設定部５２１は乱数生成手段により乱数ｒ１，ｒ２を生成し、（４）式に従い緩和値Ｅを算出する（Ｓ２６）。
【００９３】
尤度算出部５２は、ステップＳ１０にて算出された画像特徴の尤度Ｌ０と、ステップＳ２０にて設定されたペナルティ値Ｐ及びステップＳ２５又はＳ２６にて設定された緩和値Ｅを（１）式に適用し、画像特徴の尤度Ｌ０を補正した尤度Ｌを求める（Ｓ２７）。尤度算出部５２はステップＳ１２に戻り、上述の注目仮説に対する尤度補正処理Ｓ１１を全仮説について繰り返す。
【００９４】
上述の実施形態では補正された尤度を（１）式で定義したが、尤度の補正式は、他物体の存在度Ｐに応じて低下させる一方、他物体の譲歩の効果を取り込むために当該低下を緩和・補償する他の形とすることができる。例えば、補正後の尤度Ｌ（Ｘ，Ｙ）は下記（４）式のように、存在度の上限値Ｐｍａｘ（ここでは“１”に正規化されているとする。）から存在度を減算した値を、存在度に応じた排他効果を尤度に反映させる修正係数として、補正前の尤度に乗じる一方、当該修正係数を緩和値に応じた補償係数（１−Ｅ）を乗じて譲歩効果を反映させてもよい。
Ｌ（Ｘ，Ｙ）＝Ｌ０（Ｘ，Ｙ）×｛１−Ｐ（Ｘ，Ｙ）×（１−Ｅ）｝ （４）
【００９５】
また、上述の実施形態ではＰｍａｘ＝１とし、存在度は［０，Ｐｍａｘ］なる範囲で定義している。一方、ペナルティ値自体はＰｍａｘを越えて設定することを許容し、（１）式や（４）式で示す補正段階にて、Ｐ（Ｘ，Ｙ）又はＰ（Ｘ，Ｙ）×（１−Ｅ）がＰｍａｘを超えるときはＬ（Ｘ，Ｙ）は０と定義することにしてもよい。
【符号の説明】
【００９６】
１ 移動物体追跡装置、２ 撮像部、３ 設定入力部、４ 記憶部、５ 制御部、６ 出力部、４０ 三次元モデル、４１ カメラパラメータ、４２ 仮説、４３ 物体位置、４４ 存在度マップ、４５ 物体特徴、５０ 変化画素抽出部、５１ 仮説設定部、５２ 尤度算出部、５３ 物体位置判定部、５４ 異常判定部、１００ 基準面、１０１ カメラ位置、１０３ 移動物体モデル、５２０ ペナルティ設定部、５２１ 緩和値設定部。
【特許請求の範囲】
【請求項１】
所定の空間を撮影した時系列の画像を用いて、前記空間内を移動する複数の物体を追跡する移動物体追跡装置であって、
注目時刻より過去における前記各物体の位置情報を記憶する記憶部と、
前記位置情報から前記注目時刻における前記各物体の移動先候補を予測して分布させる位置予測部と、
前記注目時刻の前記画像において前記移動先候補それぞれと対応する位置の画像特徴から当該移動先候補についての移動先らしさの評価値を求める評価値算出部と、
前記評価値の高さに基づいて前記各物体の移動先位置を判定する物体位置判定部と、
を備え、
前記評価値算出部は、前記物体の１つを注目物体とし、その他の物体の前記移動先候補の分布範囲内に予測された当該注目物体の前記移動先候補についての前記評価値を所定値分低める補正を行い、その際に前記分布範囲内の前記移動先候補のうちの一部候補については当該所定値を小さくして前記その他の物体の譲歩を前記評価値に反映させること、
を特徴とする移動物体追跡装置。
【請求項２】
請求項１に記載の移動物体追跡装置において、
前記評価値算出部は、前記位置情報から前記注目物体が移動中と判定される場合に、当該注目物体の前方に予測された前記移動先候補を前記一部候補とすること、を特徴とする移動物体追跡装置。
【請求項３】
請求項１又は請求項２に記載の移動物体追跡装置において、
前記評価値算出部は、前記位置情報から前記注目物体が移動中と判定される場合に、当該注目物体の進行方向に近い前記移動先候補ほど前記所定値を小さくすること、を特徴とする移動物体追跡装置。
【請求項４】
請求項１から請求項３のいずれか１つに記載の移動物体追跡装置において、
前記評価値算出部は、前記位置情報から前記注目物体が移動中と判定される場合に、当該注目物体の直近位置に近い前記移動先候補ほど前記所定値を小さくすること、を特徴とする移動物体追跡装置。
【請求項５】
請求項１から請求項４のいずれか１つに記載の移動物体追跡装置において、
前記評価値算出部は、前記位置情報から前記注目物体が停止中と判定される場合に、前記分布範囲内の前記移動先候補から前記一部候補をランダムに選択すること、を特徴とする移動物体追跡装置。
【請求項１】
所定の空間を撮影した時系列の画像を用いて、前記空間内を移動する複数の物体を追跡する移動物体追跡装置であって、
注目時刻より過去における前記各物体の位置情報を記憶する記憶部と、
前記位置情報から前記注目時刻における前記各物体の移動先候補を予測して分布させる位置予測部と、
前記注目時刻の前記画像において前記移動先候補それぞれと対応する位置の画像特徴から当該移動先候補についての移動先らしさの評価値を求める評価値算出部と、
前記評価値の高さに基づいて前記各物体の移動先位置を判定する物体位置判定部と、
を備え、
前記評価値算出部は、前記物体の１つを注目物体とし、その他の物体の前記移動先候補の分布範囲内に予測された当該注目物体の前記移動先候補についての前記評価値を所定値分低める補正を行い、その際に前記分布範囲内の前記移動先候補のうちの一部候補については当該所定値を小さくして前記その他の物体の譲歩を前記評価値に反映させること、
を特徴とする移動物体追跡装置。
【請求項２】
請求項１に記載の移動物体追跡装置において、
前記評価値算出部は、前記位置情報から前記注目物体が移動中と判定される場合に、当該注目物体の前方に予測された前記移動先候補を前記一部候補とすること、を特徴とする移動物体追跡装置。
【請求項３】
請求項１又は請求項２に記載の移動物体追跡装置において、
前記評価値算出部は、前記位置情報から前記注目物体が移動中と判定される場合に、当該注目物体の進行方向に近い前記移動先候補ほど前記所定値を小さくすること、を特徴とする移動物体追跡装置。
【請求項４】
請求項１から請求項３のいずれか１つに記載の移動物体追跡装置において、
前記評価値算出部は、前記位置情報から前記注目物体が移動中と判定される場合に、当該注目物体の直近位置に近い前記移動先候補ほど前記所定値を小さくすること、を特徴とする移動物体追跡装置。
【請求項５】
請求項１から請求項４のいずれか１つに記載の移動物体追跡装置において、
前記評価値算出部は、前記位置情報から前記注目物体が停止中と判定される場合に、前記分布範囲内の前記移動先候補から前記一部候補をランダムに選択すること、を特徴とする移動物体追跡装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−７７２０２（Ｐ２０１３−７７２０２Ａ）
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願番号】特願２０１１−２１７２８３（Ｐ２０１１−２１７２８３）
【出願日】平成２３年９月３０日（２０１１．９．３０）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願日】平成２３年９月３０日（２０１１．９．３０）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
[ Back to top ]