移動物体追跡装置
【課題】監視空間内を移動する複数の移動物体が接近した場合に追跡対象の取り違えが起こる可能性がある。
【解決手段】監視空間を撮影した時系列の監視画像にて移動物体の像を検出する。注目物体に接近する物体がある場合は(S54)、注目物体の色ヒストグラムのうち複数時刻で共通する色からなる特徴不動範囲と、接近物体の複数時刻の色ヒストグラムのうち一度でも現れた色からなる特徴変動範囲とを比較する(S55)。そして、注目物体の特徴不動範囲のうち接近物体の特徴変動範囲と重複しない範囲で、注目物体の追跡特徴を設定する(S57)。このように時系列の監視画像に基づいて物体相互の位置関係を常時、判断し、接近状態では追跡特徴を接近相手とは弁別可能なものにする。
【解決手段】監視空間を撮影した時系列の監視画像にて移動物体の像を検出する。注目物体に接近する物体がある場合は(S54)、注目物体の色ヒストグラムのうち複数時刻で共通する色からなる特徴不動範囲と、接近物体の複数時刻の色ヒストグラムのうち一度でも現れた色からなる特徴変動範囲とを比較する(S55)。そして、注目物体の特徴不動範囲のうち接近物体の特徴変動範囲と重複しない範囲で、注目物体の追跡特徴を設定する(S57)。このように時系列の監視画像に基づいて物体相互の位置関係を常時、判断し、接近状態では追跡特徴を接近相手とは弁別可能なものにする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、監視空間内を移動する移動物体の位置を追跡する移動物体追跡装置に関する。特に監視空間を撮像した画像から移動物体の画像特徴を検出して追跡を行う移動物体追跡装置に関する。
【背景技術】
【0002】
画像上にて移動物体を追跡する従来技術として、移動物体の画像特徴を検出し当該画像特徴を有する画像領域を時系列の監視画像にて追跡するものが知られている。画像特徴として例えば、色に関するものが比較的単純で広く用いられている。
【0003】
画像特徴を用いた追跡では、移動物体の像の近くに存在する背景や他の移動物体が当該移動物体と似た特徴を有すると、当該似た特徴を有する領域を誤追跡する可能性がある。この点に関し、例えば、移動物体の像に現れる色を画像特徴に設定する構成では、当該移動物体の周辺領域に存在しない色を予め当該移動物体の特徴色として選択することで誤追跡の防止を図ることができる。
【0004】
なお、誤追跡の抑制を図る自動追尾装置に関して特許文献1及び特許文献2に示されるものがある。特許文献1には、移動物体の領域を表す対象枠と、対象枠を拡大した類似度枠とを設定し、それら対象枠と類似度枠とに挟まれる領域を周辺領域とする自動追尾装置が記載されている。この構成では、対象枠内の特徴量のうち類似度枠内の特徴量との類似度が低いものを追尾に用いる。また特許文献2には、移動物体の領域を表す対象指定枠の外の画像全体を周辺領域とする自動追尾装置が記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平4−329490号公報
【特許文献2】特開平9−181953号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
追跡に用いる画像特徴は周辺領域に存在しないものに設定されるが、周辺領域が有限である限り、当該周辺領域の外側に追跡対象の移動物体と同一又は類似する画像特徴を有する移動物体が存在する可能性がある。そのため画像特徴として、或る時点の周辺領域に存在しないものを設定しても、追跡の途中の周辺領域には当該画像特徴を有する移動物体が出現する可能性がある。その結果、同一・類似の画像特徴を有する画像領域が複数、近接又は重複して存在することとなり、それらのいずれが真の追跡対象であるかの判断が困難となって追跡不能となったり、取り違えが生じる可能性があるという問題があった。
【0007】
この可能性は例えば色に関する特徴のように、単純な画像特徴ほど高くなる。また、周辺領域を小さく設定するほど、つまり周辺領域に含まれない領域を多く残すほど当該可能性は高くなり得る。一方、色を例に説明すると、周辺領域を大きくすれば、当該可能性は小さくなり得るが、周辺領域に存在する色が増えるため追跡対象の画像特徴として設定できる色が無くなって追跡が困難となる可能性がある。
【0008】
本発明は上記問題点を解決するためになされたものであり、監視空間内を移動する複数の移動物体を好適な信頼性で追跡できる移動物体追跡装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明に係る移動物体追跡装置は、監視空間を撮影した時系列の監視画像に基づいて、前記監視空間内の複数の移動物体を追跡するものであって、各時刻の監視画像から移動物体像を検出する物体像検出部と、前記移動物体像から画像特徴を抽出する特徴抽出部と、前記移動物体ごとに前記画像特徴を記憶する特徴記憶部と、前記移動物体間で前記特徴記憶部に記憶されている前記画像特徴を比較し、当該比較された移動物体間で互いに異なる前記画像特徴の一部又は全部を当該移動物体それぞれの追跡特徴に設定する追跡特徴設定部と、前記移動物体の前記追跡特徴を前記移動物体像から検出し、前記追跡特徴が検出された位置を当該移動物体の追跡結果とする物体位置判定部と、を有する。
【0010】
他の本発明に係る移動物体追跡装置は、さらに、時系列で得られる前記追跡結果を前記移動物体ごとに記憶する追跡結果記憶部と、時系列の前記追跡結果から前記移動物体の移動先を予測する移動先予測部と、を有し、前記追跡特徴設定部が、前記移動先が相互接近状態である前記移動物体を特定し、当該特定された移動物体間で前記比較を行う。
【0011】
別の本発明に係る移動物体追跡装置においては、前記追跡特徴設定部が、前記移動物体のうち互いに前記相互接近状態にある接近注目物体と接近対象物体とに関し、前記接近対象物体の複数時刻における前記画像特徴のいずれにも該当しない範囲にて前記接近注目物体の前記追跡特徴を設定する。
【0012】
さらに別の本発明に係る移動物体追跡装置においては、前記追跡特徴設定部が、前記移動物体の複数時刻における前記画像特徴に共通する範囲にて前記追跡特徴を設定する。
【発明の効果】
【0013】
本発明に係る移動物体追跡装置によれば、監視空間内を移動する複数の移動物体を好適な信頼性で追跡できる。
【図面の簡単な説明】
【0014】
【図1】本発明の実施形態に係る移動物体追跡装置の概略のブロック構成図である。
【図2】相互接近状態にある移動物体の一方を注目物体とした場合の物体特徴、特徴不動範囲、特徴変動範囲及び追跡特徴の具体例を表した説明図である。
【図3】相互接近状態にある移動物体の他方を注目物体とした場合の物体特徴、特徴不動範囲、特徴変動範囲及び追跡特徴の具体例を表した説明図である。
【図4】監視画像にて検出された移動物体の物体像の例を示す模式図である。
【図5】監視画像面内にて模式的に表した移動軌跡及び移動先領域の模式図である。
【図6】本発明の実施形態における移動物体追跡処理を含む不審者検知処理の概略のフロー図である。
【図7】本発明の実施形態における追跡特徴設定処理の概略のフロー図である。
【図8】本発明の実施形態における物体位置判定処理の概略のフロー図である。
【図9】図4に示す時刻より1時刻進んだ時刻における監視画像を例とした物体位置判定処理を説明するための模式図である。
【図10】物体位置判定処理にて検出される、物体像と当該物体像の重心位置を移動先領域に包含する移動物体との組の情報を模式的に示す説明図である。
【図11】物体位置判定処理にて作成される同定リストの記録過程の具体例を示す説明図である。
【発明を実施するための形態】
【0015】
以下、本発明の実施の形態(以下実施形態という)である移動物体追跡装置1について、図面に基づいて説明する。移動物体追跡装置1は、監視空間を撮影した時系列の監視画像に基づいて、監視空間内の複数の移動物体を追跡するものであり、本実施形態では、その一例として、ATMコーナーを監視空間とし、その監視画像にて利用者の位置を追跡して不審行動を検知する例を説明する。不審行動を検知すると、移動物体追跡装置1は異常信号を出力する。図1は、実施形態に係る移動物体追跡装置1の概略のブロック構成図である。移動物体追跡装置1は、撮像部2、記憶部3、制御部4及び出力部5を含んで構成される。撮像部2、記憶部3及び出力部5は制御部4と接続される。
【0016】
撮像部2は、監視カメラであり、例えば、監視空間の天井部に監視空間を俯瞰して設置される。撮像部2は、監視空間を所定の時間間隔で撮像し、撮影した画像(監視画像)を順次、制御部4へ出力する。以下、所定時間間隔で行われる撮影のタイミングを時刻と称する。本実施形態において監視画像はカラー画像であり、例えば、各画素の画素値がそれぞれ256階調のR値、G値及びB値の組で表現される。
【0017】
記憶部3は、ROM(Read Only Memory)、RAM(Random Access Memory)、ハードディスク等の記憶装置であり、制御部4で使用されるプログラムやデータを記憶する。記憶部3はこれらプログラム、データを制御部4との間で入出力する。記憶部3に記憶されるデータには背景画像30、物体特徴31、移動軌跡32が含まれる。
【0018】
背景画像30は、監視空間の背景の画像データであり、追跡処理に先立って記憶部3に格納され、追跡処理にて監視画像から移動物体の像を抽出するために用いられる。具体的には、監視画像のうち動体が存在しないと判断された画像を背景画像30として記憶部3に登録することができる。
【0019】
なお、監視画像から移動物体の像を検出する方法として背景画像を用いずに、追跡対象である人の像が予め学習された識別器を用いる方法を採用することもできる。この場合には、予め、追跡対象が撮像されている多数のサンプル画像及び追跡対象が撮像されていない多数のサンプル画像を基に学習を行って識別器を表すパラメータを生成し、当該パラメータを記憶部3に格納する。
【0020】
物体特徴31は、監視画像にて検出された移動物体の物体像から抽出された複数の画像特徴のデータである。記憶部3には物体特徴31として、移動物体ごとに複数の画像特徴が、当該移動物体を識別する物体ID(identification data)と対応付けて記憶される。
【0021】
本実施形態では物体像の色に関する特徴を画像特徴とする。移動物体追跡装置1における追跡処理では、RGB値それぞれの階調レンジを32分割して定義される32768個の色領域を「色」と定義し、これら色領域に通しの色番号を付与する。物体特徴31は各移動物体の物体像を構成する画素の色ヒストグラムの形式で表すことができる。後の説明で用いる図2、図3に示す色ヒストグラム310,311,313,314はそれぞれ物体特徴31の例である。ここでは、各移動物体の色ヒストグラムにおいて頻度が0でない色の集合を当該移動物体の画像特徴として扱う。各移動物体についての画像特徴の一部又は全部が、当該移動物体の追跡に用いる追跡特徴として設定される。追跡特徴の信頼性を向上させるために複数時刻に亘る画像特徴が比較される。そのために各移動物体について過去の複数時刻の物体像から抽出された画像特徴が記憶部3に記憶される。例えば、時刻数は2時刻とすることができる。また、3時刻以上としてもよい。
【0022】
移動軌跡32は、移動物体ごとの追跡結果を表すデータであり、各移動物体の位置の履歴を含む。例えば、移動軌跡32として、監視画像における各移動物体の物体像の重心位置を時系列に並べたデータが当該移動物体の物体IDと対応付けて記憶部3に記憶される。この移動軌跡32は各移動物体の移動先の予測や異常の判定にも用いられる。図4は、時刻T−1での模式的な監視画像の例であり、4つの移動物体A〜Dの物体像501〜504が表されている。そして図5に示す監視画像面内の軌跡320〜323がそれぞれ当該移動物体A〜Dの時刻T−1までに得られた移動軌跡32に対応する。なお、図5の軌跡320〜323において黒丸が位置のデータに対応する。
【0023】
制御部4は、DSP(Digital Signal Processor)、MCU(Micro Control Unit)等の演算装置を用いて構成され、撮像部2、記憶部3及び出力部5と接続される。制御部4は、記憶部3からプログラムを読み出して実行し、後述する各種の手段(物体像検出部40、特徴抽出部41、移動先予測部42、追跡特徴設定部43、物体位置判定部44、異常判定部45等)として機能する。制御部4は、撮像部2からの監視画像を処理して移動物体を追跡し、移動軌跡32を分析することにより不審行動を検知すると、異常信号を出力部5へ出力する。
【0024】
物体像検出部40は、監視画像から移動物体の物体像を検出し、検出された物体像の情報を特徴抽出部41及び物体位置判定部44へ出力する。具体的には、監視画像を背景画像30と比較して両画像間で相違する画素を検出し、互いに隣接して検出された画素からなる領域を監視画像における変化領域として抽出する。そして、予め定めた基準値を超える大きさの変化領域を物体領域と判定して、監視画像のうち物体領域内の画像を物体像として検出する。例えば、図4の物体像501〜504はこのようにして検出される。また、物体像の重心を算出し、これを物体像の位置と定義する。上述した図5の黒丸で表す位置はこのようにして定義される。なお、当該重心を物体像の外接矩形の中心で近似し、物体像の位置として用いてもよい。また、上述の処理において、背景画像に対し相違する監視画像の画素は、背景画像との間で輝度値又は色成分の差が所定値以上である監視画像の画素、或いは背景画像との間で輝度値、或いは色成分の相関が所定値未満である監視画像の画素として検出可能である。また、物体像検出部40は、監視画像を基に背景画像30を生成・更新する際にも用いられる。
【0025】
なお、上述の識別器を用いて監視画像から移動物体の像を検出する構成では、物体像検出部40は、監視画像に所定の大きさ、所定の形状の候補領域を順次設定し、候補領域の画像を分析して特徴量(コントラスト、エッジ方向など)を抽出し、抽出された特徴量を識別器に入力して、識別結果(追跡対象であることが肯定されるか否定されるか)を導出し、肯定の識別結果が出力された候補領域に物体像を検出する。候補領域を設定した探索は、候補領域の大きさ及び形状を変更して複数回繰り返してもよい。
【0026】
特徴抽出部41は、現時刻以前に検出された移動物体の物体像それぞれから画像特徴を抽出し、抽出された画像特徴を当該移動物体の物体特徴31として記憶部3に記憶させる。具体的には、物体像を構成する各画素の画素値から色番号を判別して色番号ごとに画素数を計数し、0でない計数値それぞれを総画素数で除した頻度値とその色番号とを画像特徴として抽出する。特徴抽出部41は、抽出された物体像ごとの画像特徴を物体位置判定部44へ出力し、物体位置判定部44にて当該物体像の物体IDが特定されると、当該物体IDに対応する移動物体の物体特徴31を当該物体像の画像特徴で更新する。但し、物体特徴31の混同を避けるため、特徴抽出部41は、1つの物体IDが特定されているときだけ当該物体IDに対応する物体特徴31を更新する。当該更新処理では、既に記憶されている複数時刻(本実施形態では2時刻)のデータのうち時刻が最も古い時刻のデータを削除し、今回抽出された最新時刻のデータを追加する。
【0027】
移動先予測部42は、移動軌跡32に運動モデルを適用して移動物体それぞれの移動先を予測する。予測された移動先の情報は追跡特徴設定部43及び物体位置判定部44に入力される。具体的には、各移動物体の移動軌跡32(現時刻Tより1時刻前の時刻(T−1)までの位置履歴)に等速直線モデルを適用して、現時刻Tにおける当該移動物体の位置PTを予測し、1時刻前の位置PT−1と予測位置PTとを焦点とする楕円領域を移動先として算出する。ここで、移動物体の運動の変化により生じる予測の誤差を吸収する目的で移動先を点ではなく領域として算出している。予測位置PTの算出には等速直線モデルの代わりにカルマンフィルタ等を利用することもできる。図5に移動先領域の例として、図4の時刻T−1の移動物体A〜Dに対する移動先領域420〜423を示している。なお、移動先領域は、予測位置PTを中心とする円などとすることもできる。
【0028】
追跡特徴設定部43は、移動物体の物体像の相互位置関係の変化に応じて追跡特徴を設定し直し、相互接近状態にある物体像を物体位置判定部44にて弁別可能とする。具体的には、弁別可能にするために、移動物体間で物体特徴31を比較し、一方の移動物体にあって他方の移動物体にない画像特徴の範囲を一方の移動物体の追跡特徴に設定する。これにより追跡中の移動物体間で互いに異なる追跡特徴が設定されるので、移動物体同士が接近したときにこれらを取り違える誤追跡を回避できる。
【0029】
ここで、追跡中の移動物体が2つ程度の少数であれば、総当たり制によって移動物体の可能な組み合わせ全てについて物体特徴31を比較して、全ての移動物体に互いに異なる追跡特徴を設定できる可能性が高い。しかし、移動物体の数が多い場合には、総当たりでの比較を行うと追跡特徴に設定できる画像特徴が無くなる可能性が高まる。すなわち、この場合、全ての移動物体に互いに異なる追跡特徴が設定されることを要件とすると、追跡特徴の設定が不可能となり追跡不能となり得る。
【0030】
そこで、本実施形態では、各移動物体の予測移動先を比較して接近が予測される移動物体同士に対してのみ互いに異なる追跡特徴が設定されることを要件として課す。この構成では、相互接近状態にないと判断される移動物体間にて同じ追跡特徴を設定することが許容されるが、物体像の位置が互いに離れている移動物体間では同じ追跡特徴を設定しても取り違えは生じない。また、或る時刻では相互接近状態にはなく互いに同じ追跡特徴を設定されていた移動物体が相互位置関係の変化によって接近が予測された場合には、それら移動物体の追跡特徴が相違するように変更される。
【0031】
具体的には、移動先予測部42により各移動物体の移動先として算出された楕円領域の重なりを検出し、重なりが検出された移動物体間に相互接近状態を判定する。例えば、図5に示す例では、移動先領域420,423が重複部分を有することから物体A,Dは接近が予測される相互接近状態であると判断されるが、他の移動物体間では移動先領域は重複しないので相互接近状態とはならない。この場合、移動物体A,D間でのみ追跡特徴を排他的に設定すればよく、他の移動物体間に関しては追跡特徴の設定に制限は課されない。このように追跡特徴の設定に対する制約条件が緩和され、この点で追跡不能となる可能性が少なくなる。
【0032】
さて、物体が移動すると、照明状態が変わって物体像での色が変化したり、部分が見え隠れしたりといった特徴変動が生じる。相互接近状態にて注目している移動物体(接近注目物体、以下、注目物体)の追跡特徴として、一時的にでも消失する可能性が高い画像特徴の範囲を設定してしまうと、注目物体を見失う可能性も高くなり追跡の安定性が低下し得る。これに対応するために本実施形態では追跡特徴の設定に関し、注目物体の複数時刻に亘る物体特徴31に共通して含まれている画像特徴の範囲のみを注目物体の追跡特徴に設定する。こうすることで、注目物体の画像特徴のうち複数時刻の間に一時的に消失したことがあり、それ故、今後も消失する可能性が高いと推定される範囲は注目物体の追跡特徴に設定されなくなるので、特徴変動に起因する見失いを防げる。ここで、各移動物体の物体特徴31において複数時刻に亘り共通して抽出された画像特徴の範囲を特徴不動範囲と呼ぶことにする。
【0033】
一方、注目物体への接近が予測された相手方の移動物体(接近対象物体、以下、接近物体)において上述した特徴変動の影響で一時的に消失していただけの画像特徴の範囲を、注目物体の追跡特徴に設定してしまうと取り違えが発生する可能性が高くなる。これに対応するために本実施形態では、接近物体の複数時刻に亘る物体特徴31のうち何れかの時刻の物体特徴31に含まれている画像特徴の範囲は注目物体の追跡特徴に設定しない。こうすることで、接近物体の物体像から複数時刻のうち一度でも抽出された範囲は注目物体の追跡特徴に設定されなくなるので、特徴変動に起因する取り違えが生じる可能性を低下させることができる。ここで、各移動物体の物体特徴31において複数時刻のうち一度でも抽出された画像特徴の範囲を特徴変動範囲と呼ぶ。
【0034】
図2、図3は上述したように物体特徴31の例を示すと共に、その例示した物体特徴31に対する特徴不動範囲、特徴変動範囲及び追跡特徴を表した説明図である。図2、図3は一例として、図5に示したように物体ID「A」,「D」でそれぞれ識別される移動物体A,Dが相互接近状態となる場合を示しており、図2は移動物体Aを注目物体、移動物体Dを接近物体とする場合における特徴不動範囲、特徴変動範囲及び追跡特徴を示し、逆に図3は移動物体Dを注目物体、移動物体Aを接近物体とする場合における特徴不動範囲、特徴変動範囲及び追跡特徴を示している。
【0035】
移動物体Aに注目した図2に示す例では、追跡特徴設定部43は、現時刻T以前の2時刻(T−1),(T−2)それぞれの移動物体Aの物体特徴31として記憶部3に記憶されている色ヒストグラム310(時刻の関数fA(T−1)で表す)及び色ヒストグラム311(時刻の関数fA(T−2)で表す)を読み出し、それらに基づいて移動物体Aの特徴不動範囲を表す最小色ヒストグラム312を求める。最小色ヒストグラム312は、色ヒストグラム310,311の対応するビンごとに求めた頻度の最小値min(fA(T−1),fA(T−2))によって構成される。特徴不動範囲は、最小色ヒストグラム312において頻度が非0の色番号(色#)である。最小色ヒストグラム312に対応する具体的な特徴不動範囲は色#10〜14及び色#28〜32であると算出される。
【0036】
また、追跡特徴設定部43は、現時刻T以前の2時刻(T−1),(T−2)それぞれの移動物体Dの物体特徴31として記憶部3に記憶されている色ヒストグラム313(時刻の関数fD(T−1)で表す)及び色ヒストグラム314(時刻の関数fD(T−2)で表す)を読み出し、それらに基づいて移動物体Dの特徴変動範囲を表す最大色ヒストグラム315を求める。最大色ヒストグラム315は、色ヒストグラム313,314の対応するビンごとに求めた頻度の最大値max(fD(T−1),fD(T−2))によって構成される。特徴変動範囲は、最大色ヒストグラム315において頻度が非0の色番号(色#)である。最大色ヒストグラム315に対応する具体的な特徴変動範囲は色#19〜24及び色#27〜34であると算出される。
【0037】
物体Aの追跡特徴は、移動物体Aの最小色ヒストグラム312から移動物体Dの最大色ヒストグラム315との重複部分を除いた色ヒストグラム316で表される色#10〜14の範囲内にて設定される。
【0038】
移動物体Dに注目した図3に示す例は、上述の図2の例と比較して移動物体A,D間の注目物体・接近物体の関係を逆にする点を除き同様であり、追跡特徴設定部43は、色ヒストグラム313,314の各ビンの最小値min(fD(T−1),fD(T−2))からなる最小色ヒストグラム318から、色ヒストグラム310,311の各ビンの最大値max(fA(T−1),fA(T−2))からなる最大色ヒストグラム317との重複部分を除いた色ヒストグラム319を求め、これが表す色#19〜24の範囲内にて移動物体Dの追跡特徴を設定する。
【0039】
このようにして移動物体A,Dの間に互いに異なる追跡特徴が設定される。
【0040】
なお、上述のような単純比較を行うと、注目物体の追跡特徴を設定できない場合が生じ得る。例えば、3つの移動物体E,F,Gが相互接近状態にあり、移動物体Eの色が赤、青であり、移動物体Fの色が青、緑であり、移動物体Gの色が赤、緑である場合に、移動物体Eの追跡特徴は移動物体Fとの関係では赤に限定されるが、さらに移動物体Gとの関係も含めると赤も追跡特徴に設定できない。このような場合は、色の組み合わせを追跡特徴に設定できる可能性がある。例えば、上述の移動物体E,F,Gにおいて移動物体Eの追跡特徴を赤及び青の両方に設定すれば、移動物体F,Gとの取り違えを回避できる可能性がある。また、注目物体Eの部分特徴が赤・黒であり、接近物体Fの部分特徴が赤・青・黒の場合である。このような場合も、注目物体の追跡特徴として特徴不動範囲の画像特徴全てを設定することで、一部の画像特徴を追跡特徴に設定する場合よりも取り違えが起こりにくくなり得る。
【0041】
物体位置判定部44は、現時刻の監視画像から検出された物体像内で追跡特徴の検出を行い、各移動物体の追跡特徴の検出位置を当該移動物体の位置と判定する。そして、物体位置判定部44は移動物体それぞれの位置を当該移動物体の追跡結果として記憶部3に蓄積する。追跡特徴の検出は、物体像を構成する各画素の画素値を追跡特徴と比較することにより行われる。物体位置判定部44は画素値が追跡特徴と一致する画素を検出し、検出された画素の平均位置を検出位置として算出する。すれ違う複数の移動物体の物体像が一体化している場合もあり、この場合には1つの物体像内に複数の移動物体の位置が判定されることに注意されたい。なお、1つの物体像内に移動物体の位置が1つだけ判定された場合は当該移動物体の検出位置を当該物体像の重心位置とすることでより安定した追跡結果となる。移動物体間で互いに異なる追跡特徴が設定されているので複数の移動物体が近接又は重複していてもこれらを取り違える誤追跡が防止できる。また、検出位置は物体像内であることから背景の誤追跡が防止できる。さらに本実施形態の物体位置判定部44は、移動物体の追跡特徴を検出する物体像を当該移動物体の移動先領域に含まれる物体像に制限する。これにより移動物体を取り違える誤追跡が効率的に防止できる。また、物体位置判定部44は物体特徴31の更新のために物体像と移動物体との対応関係を特徴抽出部41へ出力する。
【0042】
異常判定部45は、記憶部3に記憶されている移動軌跡32を分析して、所定の基準時間以上、監視空間内に留まっている移動物体があれば異常と判定し、該当する移動物体の情報を含んだ異常信号を出力する。基準時間は、監視空間での一般的な人の滞留時間に基づき、それを超える長時間に設定される。本実施形態におけるATMコーナーを監視空間とする例では、混雑時間帯以外の時間帯の移動物体やATM利用者が列をなす領域以外の領域の移動物体に対して基準時間は例えば、10分間程度に設定することができる。
【0043】
出力部5は、異常を警告する警告音を出力するスピーカー又はブザー等の音響出力手段、異常が判定された監視画像を表示する液晶ディスプレイ又はCRT等の表示手段などを含んでなり、異常信号が入力されると異常発生の旨を例えば、外部の監視者等へ知らせる。また、出力部5は、正常時も追跡結果として表示手段に監視画像や移動軌跡32を出力してもよい。さらに、通信回線を介して異常信号を警備会社の監視センタに設置されたセンタ装置へ送信する通信手段を含んでもよい。
【0044】
次に、移動物体追跡装置1の動作を説明する。図6は、移動物体追跡装置1における移動物体追跡処理を含む不審者検知処理の概略のフロー図である。監視空間が無人であることを確認した管理者が電源を投入すると各部が動作を始め、初期化される(S1)。初期化には、制御部4の物体像検出部40が撮像部2からの監視画像を背景画像として記憶部3に記憶させる処理が含まれる。初期化の後は、撮像部2から制御部4に新たな監視画像(以下、現画像と呼ぶ)が入力されるたびにS2〜S14の処理が繰り返される。
【0045】
現画像が入力されると(S2)、まず、制御部4は物体像検出部40により、現画像を背景画像30と比較して物体像を検出し、検出された各物体像の重心位置を算出する(S3)。物体像検出部40は、現画像から切り出した物体像及び重心位置と、当該物体像を識別するラベル番号とを対応付けて物体像情報とし、これを検出結果として記憶部3に一時記憶させる。
【0046】
次に、制御部4は移動先予測部42により、各移動物体の移動軌跡32から当該移動物体の移動先を予測する(S4)。移動先予測部42は移動先として上述の楕円領域を算出し、当該楕円領域内の画素値を1、それ以外の画素値を0とした移動先領域画像を生成する。移動先予測部42は当該移動先領域画像を当該移動物体の物体IDと対応付け、これを予測情報として記憶部3に一時記憶させる。なお、追跡開始直後は移動軌跡32に1データしかなく移動速度(方向と速さ)が予測できないため移動軌跡32中の当該1データを中心とし、予め設定された追跡対象の移動物体の平均速度に対応する大きさの円を移動先として予測する。
【0047】
続いて、制御部4の追跡特徴設定部43が、ステップS4にて予測された移動先及び物体特徴31に基づいて各移動物体の追跡特徴を設定する(S5)。図7は、この追跡特徴設定処理の概略のフロー図である。図7を参照して追跡特徴設定処理を説明する。当該処理において、追跡特徴設定部43は、まず各移動物体について記憶されている複数時刻の物体特徴31に基づいて特徴変動範囲及び特徴不動範囲を算出する(S50,S51)。追跡特徴設定部43は算出した特徴変動範囲及び特徴不動範囲の情報を物体IDと対応付けて記憶部3に一時記憶させる。
【0048】
次に追跡特徴設定部43は、移動物体間で移動先領域画像同士の論理積演算を行い、論理積が1となる画素を有する移動物体の組み合わせを全て検出する(S52)。この処理により移動先領域が重複する移動物体の組み合わせが全て検出される。追跡特徴設定部43は、検出した物体IDの組み合わせを接近情報として記憶部3に一時記憶させる。
【0049】
続いて追跡特徴設定部43は、物体特徴31が記憶されている各移動物体を順次、注目物体に設定し、全ての移動物体に対してステップS53〜S59のループ処理を実行する。
【0050】
当該ループ処理において、追跡特徴設定部43は接近情報を確認し、接近情報に注目物体の物体IDが含まれていれば注目物体への接近物体があると判断する(S54にてYES)。接近物体が存在する場合には、注目物体の特徴不動範囲と接近物体の特徴変動範囲とを比較して、注目物体の特徴不動範囲のうち接近物体の特徴変動範囲に含まれない範囲を検出する(S55)。当該範囲を検出できた場合(S56にてYES)は、当該範囲の画像特徴を注目物体の追跡特徴に設定する(S57)。
【0051】
他方、注目物体への接近物体がない場合(S54にてNO)、及び接近物体はあるが注目物体の特徴不動範囲全体が接近物体の特徴変動範囲に含まれている場合(S56にてNO)には、追跡特徴設定部43は、注目物体の特徴不動範囲の全ての画像特徴を当該注目物体の追跡特徴に設定する(S58)。
【0052】
こうして、各移動物体についてのループ処理が完了して全ての移動物体に追跡特徴が設定されると、追跡特徴設定処理S5は終了し、物体位置判定処理(図6のステップS6)が開始される。
【0053】
物体位置判定処理S6では、制御部4の物体位置判定部44が、追跡特徴設定処理S5にて設定された追跡特徴を基にして、各移動物体の位置を判定し、また、各物体像がどの移動物体によるものかを同定する。図8は、物体位置判定処理の概略のフロー図である。図9は或る時刻における監視画像を例にして表した物体位置判定処理を説明するための模式図であり、図10、図11は図9の例に対応した物体位置判定処理の過程を説明する説明図である。以下、図8〜図11を参照して、物体位置判定処理を説明する。
【0054】
当該処理において、物体位置判定部44は、まずステップS3にて得られている物体像情報とステップS4にて得られている予測情報とを参照して、物体像と、当該物体像の重心位置を移動先領域に包含する移動物体との組を検出する(S60)。さらに、ステップS52にて得られている接近情報を参照して、接近物体同士で、この物体像と移動物体との組をマージする(S61)。また、物体像と移動物体との対応関係を記録するための空の同定リストを準備する(S62)。
【0055】
ここまでの物体位置判定処理を図9〜図11を用いて具体的に説明する。図9に示す監視画像600は、図4の例から1時刻進んで時刻Tになったときの監視画像である。当該監視画像ではラベル1〜4の4つの物体像が検出されている。図9に示す点線の楕円は図5にて例示した物体A〜Dの移動先領域420〜423を表している。
【0056】
図10に示す表610は検出された、物体像と移動物体との組を示している。この場合、2つの組I,IIが検出される。組Iは物体A,Dとラベル1,3の組み合わせとなる。図5に示す例では移動物体A,Dがそれぞれ他方との関係で接近物体となることから、組Iはマージ処理がなされている。組IIは物体Bとラベル2の組み合わせとなる。また、物体Cとラベル4は組を作れないので、表610には現れない。
【0057】
続いて物体位置判定部44は各組を順次、注目組に設定したループ処理を実行し(S63〜S69)、さらに各組についてのループ処理の中で注目組の移動物体を順次、注目物体に設定したループ処理を実行する(S64〜S68)。
【0058】
この多重ループ処理において、物体位置判定部44は、注目組の各物体像から注目物体の追跡特徴の検出を行い(S65)、追跡特徴が検出された場合に(S66にてYES)、注目物体の物体IDと追跡特徴が検出された物体像のラベル番号と追跡特徴が検出された画素の平均位置(検出位置)とを対応付けたデータを同定リストに記録する(S67)。
【0059】
図11は、同定リストへの記録過程の具体例を示す説明図である。同定リスト620はステップS67を終えた時点での状態を表している(検出位置は省略されている)。組Iにおいては、ラベル1の物体像からのみ図2に示した移動物体Aの追跡特徴である色#10〜14が検出されたためラベル1が物体Aと対応付けられ、ラベル3の物体像からのみ図3に示した移動物体Dの追跡特徴である色#19〜24が検出されたためラベル3が物体Dと対応付けられた。組IIにおいても同様に物体Bの追跡特徴がラベル2の物体像から検出され、ラベル2が物体Bと対応付けられた。
【0060】
多重ループ処理を終えると(S68にてYES、かつS69にてYES)、移動物体の消失及び新規出現を確認する。
【0061】
すなわち物体位置判定部44は、物体特徴31と同定リストとを比較して、記憶部3に物体特徴31が記憶されているが同定リストには記録が無い移動物体があるかを確認し、該当する移動物体があれば当該移動物体が消失した旨を同定リストに追記する(S70)。
【0062】
図11の同定リスト621はステップS70を終えた時点での状態を表している。同定リスト620に記録がない物体Cが消失と判定され、ラベル番号の欄に消失を表す「−1」が追記された。
【0063】
また物体位置判定部44は、物体像情報と同定リストとを比較して、同定リストに記録の無い物体像があるかを確認し、該当する物体像があれば当該物体像に新規の物体IDを付与して同定リストに追記する(S71)。
【0064】
図11の同定リスト622はステップS71を終えた時点での状態を示している。ラベル4の物体像が新規であるとして物体ID「E」が付与され、物体Eとラベル4の対応付けが追記された。
【0065】
こうして、追跡特徴と移動先予測とに基づく物体位置の判定及び物体像の同定が終わると、制御部4の処理は物体位置蓄積処理(図6のステップS7)へ進む。
【0066】
物体位置蓄積処理S7では、物体位置判定部44が現時刻の移動物体の位置を移動軌跡32に蓄積する。すなわち物体位置判定部44は、同定リストを参照して、各移動物体の移動軌跡32に当該移動物体の位置を追記する。このとき物体位置判定部44は、新規の移動物体があれば当該移動物体の移動軌跡32を新たに追加し、消失した移動物体があれば当該移動物体の移動軌跡32を削除する。
【0067】
制御部4は、現画像及び更新された移動軌跡32を追跡結果として出力部5へ出力し、出力部5は表示手段によりこれらを表示する(S8)。
【0068】
制御部4の異常判定部45は、各移動物体の移動軌跡32から当該移動物体の滞在時間を計測して、しきい値として設定される所定の基準時間と当該滞在時間とを比較し、滞在時間が基準時間を超える移動物体があれば異常ありと判定する(S9)。異常ありと判定された場合(S10にてYES)、異常判定部45は、異常が判定された移動物体(不審物体)の物体像の情報を含む異常信号を生成して出力部5へ出力する(S11)。出力部5は異常信号を入力されると、例えば、音響出力手段を鳴動させ、表示手段に不審物体の物体像を表示し、表示中の監視画像における不審物体の位置に枠画像を重畳表示する。監視員は当該表示を基に異常判定の原因となった人に対する案内、或いは排除といった対処の必要性を判断し、必要であれば監視空間に急行して対処を行う。
【0069】
異常判定を終えると、制御部4の特徴抽出部41は、次時刻に備えて物体特徴31を更新する。すなわち特徴抽出部41は、物体像情報及び同定リストを参照して、各物体像から画像特徴を抽出し(S12)、抽出された画像特徴を、同定された移動物体の物体特徴31の最も古い情報と入れ替えることで物体特徴31を更新する(S13)。なお、特徴抽出部41は、同定リストにおいて1つの物体像に重複して同定されている2以上の移動物体については、これらの移動物体を更新の対象としない。また特徴抽出部41は、新規の移動物体があれば当該移動物体の物体特徴31を新たに追加し、消失した移動物体があれば当該移動物体の物体特徴31を削除する。
【0070】
また制御部4の物体像検出部40は、次時刻に備えて背景画像30を更新する(S14)。すなわち物体像検出部40は、現画像、物体像情報及び背景画像30を参照して、現画像のうちいずれの物体像とも重ならない部分を背景画像30と平均処理して背景画像30を更新する。
【0071】
以上の処理を終えると、処理は再びステップS2へ戻され、監視空間における移動物体の追跡が続行される。
【0072】
上記実施形態において、画像特徴は画素単位の色特徴とされた。別の実施形態においては、局所領域のテクスチャ、局所領域の形状又は局所領域の輝度勾配などの領域特徴が画像特徴とされる。この場合、特徴抽出部41は、物体像から新たな領域特徴が抽出されると当該領域特徴に新たな特徴番号を付与して物体特徴31の一部として記憶させ、各移動物体の物体IDと特徴番号との対応関係を当該移動物体の物体特徴31として記憶部3に記憶させる。
【符号の説明】
【0073】
1 移動物体追跡装置、2 撮像部、3 記憶部、4 制御部、5 出力部、30 背景画像、31 物体特徴、32 移動軌跡、40 物体像検出部、41 特徴抽出部、42 移動先予測部、43 追跡特徴設定部、44 物体位置判定部、45 異常判定部、320,321,322,323 軌跡、420,421,422,423 移動先領域、501,502,503,504 物体像、620,621,622 同定リスト。
【技術分野】
【0001】
本発明は、監視空間内を移動する移動物体の位置を追跡する移動物体追跡装置に関する。特に監視空間を撮像した画像から移動物体の画像特徴を検出して追跡を行う移動物体追跡装置に関する。
【背景技術】
【0002】
画像上にて移動物体を追跡する従来技術として、移動物体の画像特徴を検出し当該画像特徴を有する画像領域を時系列の監視画像にて追跡するものが知られている。画像特徴として例えば、色に関するものが比較的単純で広く用いられている。
【0003】
画像特徴を用いた追跡では、移動物体の像の近くに存在する背景や他の移動物体が当該移動物体と似た特徴を有すると、当該似た特徴を有する領域を誤追跡する可能性がある。この点に関し、例えば、移動物体の像に現れる色を画像特徴に設定する構成では、当該移動物体の周辺領域に存在しない色を予め当該移動物体の特徴色として選択することで誤追跡の防止を図ることができる。
【0004】
なお、誤追跡の抑制を図る自動追尾装置に関して特許文献1及び特許文献2に示されるものがある。特許文献1には、移動物体の領域を表す対象枠と、対象枠を拡大した類似度枠とを設定し、それら対象枠と類似度枠とに挟まれる領域を周辺領域とする自動追尾装置が記載されている。この構成では、対象枠内の特徴量のうち類似度枠内の特徴量との類似度が低いものを追尾に用いる。また特許文献2には、移動物体の領域を表す対象指定枠の外の画像全体を周辺領域とする自動追尾装置が記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平4−329490号公報
【特許文献2】特開平9−181953号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
追跡に用いる画像特徴は周辺領域に存在しないものに設定されるが、周辺領域が有限である限り、当該周辺領域の外側に追跡対象の移動物体と同一又は類似する画像特徴を有する移動物体が存在する可能性がある。そのため画像特徴として、或る時点の周辺領域に存在しないものを設定しても、追跡の途中の周辺領域には当該画像特徴を有する移動物体が出現する可能性がある。その結果、同一・類似の画像特徴を有する画像領域が複数、近接又は重複して存在することとなり、それらのいずれが真の追跡対象であるかの判断が困難となって追跡不能となったり、取り違えが生じる可能性があるという問題があった。
【0007】
この可能性は例えば色に関する特徴のように、単純な画像特徴ほど高くなる。また、周辺領域を小さく設定するほど、つまり周辺領域に含まれない領域を多く残すほど当該可能性は高くなり得る。一方、色を例に説明すると、周辺領域を大きくすれば、当該可能性は小さくなり得るが、周辺領域に存在する色が増えるため追跡対象の画像特徴として設定できる色が無くなって追跡が困難となる可能性がある。
【0008】
本発明は上記問題点を解決するためになされたものであり、監視空間内を移動する複数の移動物体を好適な信頼性で追跡できる移動物体追跡装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明に係る移動物体追跡装置は、監視空間を撮影した時系列の監視画像に基づいて、前記監視空間内の複数の移動物体を追跡するものであって、各時刻の監視画像から移動物体像を検出する物体像検出部と、前記移動物体像から画像特徴を抽出する特徴抽出部と、前記移動物体ごとに前記画像特徴を記憶する特徴記憶部と、前記移動物体間で前記特徴記憶部に記憶されている前記画像特徴を比較し、当該比較された移動物体間で互いに異なる前記画像特徴の一部又は全部を当該移動物体それぞれの追跡特徴に設定する追跡特徴設定部と、前記移動物体の前記追跡特徴を前記移動物体像から検出し、前記追跡特徴が検出された位置を当該移動物体の追跡結果とする物体位置判定部と、を有する。
【0010】
他の本発明に係る移動物体追跡装置は、さらに、時系列で得られる前記追跡結果を前記移動物体ごとに記憶する追跡結果記憶部と、時系列の前記追跡結果から前記移動物体の移動先を予測する移動先予測部と、を有し、前記追跡特徴設定部が、前記移動先が相互接近状態である前記移動物体を特定し、当該特定された移動物体間で前記比較を行う。
【0011】
別の本発明に係る移動物体追跡装置においては、前記追跡特徴設定部が、前記移動物体のうち互いに前記相互接近状態にある接近注目物体と接近対象物体とに関し、前記接近対象物体の複数時刻における前記画像特徴のいずれにも該当しない範囲にて前記接近注目物体の前記追跡特徴を設定する。
【0012】
さらに別の本発明に係る移動物体追跡装置においては、前記追跡特徴設定部が、前記移動物体の複数時刻における前記画像特徴に共通する範囲にて前記追跡特徴を設定する。
【発明の効果】
【0013】
本発明に係る移動物体追跡装置によれば、監視空間内を移動する複数の移動物体を好適な信頼性で追跡できる。
【図面の簡単な説明】
【0014】
【図1】本発明の実施形態に係る移動物体追跡装置の概略のブロック構成図である。
【図2】相互接近状態にある移動物体の一方を注目物体とした場合の物体特徴、特徴不動範囲、特徴変動範囲及び追跡特徴の具体例を表した説明図である。
【図3】相互接近状態にある移動物体の他方を注目物体とした場合の物体特徴、特徴不動範囲、特徴変動範囲及び追跡特徴の具体例を表した説明図である。
【図4】監視画像にて検出された移動物体の物体像の例を示す模式図である。
【図5】監視画像面内にて模式的に表した移動軌跡及び移動先領域の模式図である。
【図6】本発明の実施形態における移動物体追跡処理を含む不審者検知処理の概略のフロー図である。
【図7】本発明の実施形態における追跡特徴設定処理の概略のフロー図である。
【図8】本発明の実施形態における物体位置判定処理の概略のフロー図である。
【図9】図4に示す時刻より1時刻進んだ時刻における監視画像を例とした物体位置判定処理を説明するための模式図である。
【図10】物体位置判定処理にて検出される、物体像と当該物体像の重心位置を移動先領域に包含する移動物体との組の情報を模式的に示す説明図である。
【図11】物体位置判定処理にて作成される同定リストの記録過程の具体例を示す説明図である。
【発明を実施するための形態】
【0015】
以下、本発明の実施の形態(以下実施形態という)である移動物体追跡装置1について、図面に基づいて説明する。移動物体追跡装置1は、監視空間を撮影した時系列の監視画像に基づいて、監視空間内の複数の移動物体を追跡するものであり、本実施形態では、その一例として、ATMコーナーを監視空間とし、その監視画像にて利用者の位置を追跡して不審行動を検知する例を説明する。不審行動を検知すると、移動物体追跡装置1は異常信号を出力する。図1は、実施形態に係る移動物体追跡装置1の概略のブロック構成図である。移動物体追跡装置1は、撮像部2、記憶部3、制御部4及び出力部5を含んで構成される。撮像部2、記憶部3及び出力部5は制御部4と接続される。
【0016】
撮像部2は、監視カメラであり、例えば、監視空間の天井部に監視空間を俯瞰して設置される。撮像部2は、監視空間を所定の時間間隔で撮像し、撮影した画像(監視画像)を順次、制御部4へ出力する。以下、所定時間間隔で行われる撮影のタイミングを時刻と称する。本実施形態において監視画像はカラー画像であり、例えば、各画素の画素値がそれぞれ256階調のR値、G値及びB値の組で表現される。
【0017】
記憶部3は、ROM(Read Only Memory)、RAM(Random Access Memory)、ハードディスク等の記憶装置であり、制御部4で使用されるプログラムやデータを記憶する。記憶部3はこれらプログラム、データを制御部4との間で入出力する。記憶部3に記憶されるデータには背景画像30、物体特徴31、移動軌跡32が含まれる。
【0018】
背景画像30は、監視空間の背景の画像データであり、追跡処理に先立って記憶部3に格納され、追跡処理にて監視画像から移動物体の像を抽出するために用いられる。具体的には、監視画像のうち動体が存在しないと判断された画像を背景画像30として記憶部3に登録することができる。
【0019】
なお、監視画像から移動物体の像を検出する方法として背景画像を用いずに、追跡対象である人の像が予め学習された識別器を用いる方法を採用することもできる。この場合には、予め、追跡対象が撮像されている多数のサンプル画像及び追跡対象が撮像されていない多数のサンプル画像を基に学習を行って識別器を表すパラメータを生成し、当該パラメータを記憶部3に格納する。
【0020】
物体特徴31は、監視画像にて検出された移動物体の物体像から抽出された複数の画像特徴のデータである。記憶部3には物体特徴31として、移動物体ごとに複数の画像特徴が、当該移動物体を識別する物体ID(identification data)と対応付けて記憶される。
【0021】
本実施形態では物体像の色に関する特徴を画像特徴とする。移動物体追跡装置1における追跡処理では、RGB値それぞれの階調レンジを32分割して定義される32768個の色領域を「色」と定義し、これら色領域に通しの色番号を付与する。物体特徴31は各移動物体の物体像を構成する画素の色ヒストグラムの形式で表すことができる。後の説明で用いる図2、図3に示す色ヒストグラム310,311,313,314はそれぞれ物体特徴31の例である。ここでは、各移動物体の色ヒストグラムにおいて頻度が0でない色の集合を当該移動物体の画像特徴として扱う。各移動物体についての画像特徴の一部又は全部が、当該移動物体の追跡に用いる追跡特徴として設定される。追跡特徴の信頼性を向上させるために複数時刻に亘る画像特徴が比較される。そのために各移動物体について過去の複数時刻の物体像から抽出された画像特徴が記憶部3に記憶される。例えば、時刻数は2時刻とすることができる。また、3時刻以上としてもよい。
【0022】
移動軌跡32は、移動物体ごとの追跡結果を表すデータであり、各移動物体の位置の履歴を含む。例えば、移動軌跡32として、監視画像における各移動物体の物体像の重心位置を時系列に並べたデータが当該移動物体の物体IDと対応付けて記憶部3に記憶される。この移動軌跡32は各移動物体の移動先の予測や異常の判定にも用いられる。図4は、時刻T−1での模式的な監視画像の例であり、4つの移動物体A〜Dの物体像501〜504が表されている。そして図5に示す監視画像面内の軌跡320〜323がそれぞれ当該移動物体A〜Dの時刻T−1までに得られた移動軌跡32に対応する。なお、図5の軌跡320〜323において黒丸が位置のデータに対応する。
【0023】
制御部4は、DSP(Digital Signal Processor)、MCU(Micro Control Unit)等の演算装置を用いて構成され、撮像部2、記憶部3及び出力部5と接続される。制御部4は、記憶部3からプログラムを読み出して実行し、後述する各種の手段(物体像検出部40、特徴抽出部41、移動先予測部42、追跡特徴設定部43、物体位置判定部44、異常判定部45等)として機能する。制御部4は、撮像部2からの監視画像を処理して移動物体を追跡し、移動軌跡32を分析することにより不審行動を検知すると、異常信号を出力部5へ出力する。
【0024】
物体像検出部40は、監視画像から移動物体の物体像を検出し、検出された物体像の情報を特徴抽出部41及び物体位置判定部44へ出力する。具体的には、監視画像を背景画像30と比較して両画像間で相違する画素を検出し、互いに隣接して検出された画素からなる領域を監視画像における変化領域として抽出する。そして、予め定めた基準値を超える大きさの変化領域を物体領域と判定して、監視画像のうち物体領域内の画像を物体像として検出する。例えば、図4の物体像501〜504はこのようにして検出される。また、物体像の重心を算出し、これを物体像の位置と定義する。上述した図5の黒丸で表す位置はこのようにして定義される。なお、当該重心を物体像の外接矩形の中心で近似し、物体像の位置として用いてもよい。また、上述の処理において、背景画像に対し相違する監視画像の画素は、背景画像との間で輝度値又は色成分の差が所定値以上である監視画像の画素、或いは背景画像との間で輝度値、或いは色成分の相関が所定値未満である監視画像の画素として検出可能である。また、物体像検出部40は、監視画像を基に背景画像30を生成・更新する際にも用いられる。
【0025】
なお、上述の識別器を用いて監視画像から移動物体の像を検出する構成では、物体像検出部40は、監視画像に所定の大きさ、所定の形状の候補領域を順次設定し、候補領域の画像を分析して特徴量(コントラスト、エッジ方向など)を抽出し、抽出された特徴量を識別器に入力して、識別結果(追跡対象であることが肯定されるか否定されるか)を導出し、肯定の識別結果が出力された候補領域に物体像を検出する。候補領域を設定した探索は、候補領域の大きさ及び形状を変更して複数回繰り返してもよい。
【0026】
特徴抽出部41は、現時刻以前に検出された移動物体の物体像それぞれから画像特徴を抽出し、抽出された画像特徴を当該移動物体の物体特徴31として記憶部3に記憶させる。具体的には、物体像を構成する各画素の画素値から色番号を判別して色番号ごとに画素数を計数し、0でない計数値それぞれを総画素数で除した頻度値とその色番号とを画像特徴として抽出する。特徴抽出部41は、抽出された物体像ごとの画像特徴を物体位置判定部44へ出力し、物体位置判定部44にて当該物体像の物体IDが特定されると、当該物体IDに対応する移動物体の物体特徴31を当該物体像の画像特徴で更新する。但し、物体特徴31の混同を避けるため、特徴抽出部41は、1つの物体IDが特定されているときだけ当該物体IDに対応する物体特徴31を更新する。当該更新処理では、既に記憶されている複数時刻(本実施形態では2時刻)のデータのうち時刻が最も古い時刻のデータを削除し、今回抽出された最新時刻のデータを追加する。
【0027】
移動先予測部42は、移動軌跡32に運動モデルを適用して移動物体それぞれの移動先を予測する。予測された移動先の情報は追跡特徴設定部43及び物体位置判定部44に入力される。具体的には、各移動物体の移動軌跡32(現時刻Tより1時刻前の時刻(T−1)までの位置履歴)に等速直線モデルを適用して、現時刻Tにおける当該移動物体の位置PTを予測し、1時刻前の位置PT−1と予測位置PTとを焦点とする楕円領域を移動先として算出する。ここで、移動物体の運動の変化により生じる予測の誤差を吸収する目的で移動先を点ではなく領域として算出している。予測位置PTの算出には等速直線モデルの代わりにカルマンフィルタ等を利用することもできる。図5に移動先領域の例として、図4の時刻T−1の移動物体A〜Dに対する移動先領域420〜423を示している。なお、移動先領域は、予測位置PTを中心とする円などとすることもできる。
【0028】
追跡特徴設定部43は、移動物体の物体像の相互位置関係の変化に応じて追跡特徴を設定し直し、相互接近状態にある物体像を物体位置判定部44にて弁別可能とする。具体的には、弁別可能にするために、移動物体間で物体特徴31を比較し、一方の移動物体にあって他方の移動物体にない画像特徴の範囲を一方の移動物体の追跡特徴に設定する。これにより追跡中の移動物体間で互いに異なる追跡特徴が設定されるので、移動物体同士が接近したときにこれらを取り違える誤追跡を回避できる。
【0029】
ここで、追跡中の移動物体が2つ程度の少数であれば、総当たり制によって移動物体の可能な組み合わせ全てについて物体特徴31を比較して、全ての移動物体に互いに異なる追跡特徴を設定できる可能性が高い。しかし、移動物体の数が多い場合には、総当たりでの比較を行うと追跡特徴に設定できる画像特徴が無くなる可能性が高まる。すなわち、この場合、全ての移動物体に互いに異なる追跡特徴が設定されることを要件とすると、追跡特徴の設定が不可能となり追跡不能となり得る。
【0030】
そこで、本実施形態では、各移動物体の予測移動先を比較して接近が予測される移動物体同士に対してのみ互いに異なる追跡特徴が設定されることを要件として課す。この構成では、相互接近状態にないと判断される移動物体間にて同じ追跡特徴を設定することが許容されるが、物体像の位置が互いに離れている移動物体間では同じ追跡特徴を設定しても取り違えは生じない。また、或る時刻では相互接近状態にはなく互いに同じ追跡特徴を設定されていた移動物体が相互位置関係の変化によって接近が予測された場合には、それら移動物体の追跡特徴が相違するように変更される。
【0031】
具体的には、移動先予測部42により各移動物体の移動先として算出された楕円領域の重なりを検出し、重なりが検出された移動物体間に相互接近状態を判定する。例えば、図5に示す例では、移動先領域420,423が重複部分を有することから物体A,Dは接近が予測される相互接近状態であると判断されるが、他の移動物体間では移動先領域は重複しないので相互接近状態とはならない。この場合、移動物体A,D間でのみ追跡特徴を排他的に設定すればよく、他の移動物体間に関しては追跡特徴の設定に制限は課されない。このように追跡特徴の設定に対する制約条件が緩和され、この点で追跡不能となる可能性が少なくなる。
【0032】
さて、物体が移動すると、照明状態が変わって物体像での色が変化したり、部分が見え隠れしたりといった特徴変動が生じる。相互接近状態にて注目している移動物体(接近注目物体、以下、注目物体)の追跡特徴として、一時的にでも消失する可能性が高い画像特徴の範囲を設定してしまうと、注目物体を見失う可能性も高くなり追跡の安定性が低下し得る。これに対応するために本実施形態では追跡特徴の設定に関し、注目物体の複数時刻に亘る物体特徴31に共通して含まれている画像特徴の範囲のみを注目物体の追跡特徴に設定する。こうすることで、注目物体の画像特徴のうち複数時刻の間に一時的に消失したことがあり、それ故、今後も消失する可能性が高いと推定される範囲は注目物体の追跡特徴に設定されなくなるので、特徴変動に起因する見失いを防げる。ここで、各移動物体の物体特徴31において複数時刻に亘り共通して抽出された画像特徴の範囲を特徴不動範囲と呼ぶことにする。
【0033】
一方、注目物体への接近が予測された相手方の移動物体(接近対象物体、以下、接近物体)において上述した特徴変動の影響で一時的に消失していただけの画像特徴の範囲を、注目物体の追跡特徴に設定してしまうと取り違えが発生する可能性が高くなる。これに対応するために本実施形態では、接近物体の複数時刻に亘る物体特徴31のうち何れかの時刻の物体特徴31に含まれている画像特徴の範囲は注目物体の追跡特徴に設定しない。こうすることで、接近物体の物体像から複数時刻のうち一度でも抽出された範囲は注目物体の追跡特徴に設定されなくなるので、特徴変動に起因する取り違えが生じる可能性を低下させることができる。ここで、各移動物体の物体特徴31において複数時刻のうち一度でも抽出された画像特徴の範囲を特徴変動範囲と呼ぶ。
【0034】
図2、図3は上述したように物体特徴31の例を示すと共に、その例示した物体特徴31に対する特徴不動範囲、特徴変動範囲及び追跡特徴を表した説明図である。図2、図3は一例として、図5に示したように物体ID「A」,「D」でそれぞれ識別される移動物体A,Dが相互接近状態となる場合を示しており、図2は移動物体Aを注目物体、移動物体Dを接近物体とする場合における特徴不動範囲、特徴変動範囲及び追跡特徴を示し、逆に図3は移動物体Dを注目物体、移動物体Aを接近物体とする場合における特徴不動範囲、特徴変動範囲及び追跡特徴を示している。
【0035】
移動物体Aに注目した図2に示す例では、追跡特徴設定部43は、現時刻T以前の2時刻(T−1),(T−2)それぞれの移動物体Aの物体特徴31として記憶部3に記憶されている色ヒストグラム310(時刻の関数fA(T−1)で表す)及び色ヒストグラム311(時刻の関数fA(T−2)で表す)を読み出し、それらに基づいて移動物体Aの特徴不動範囲を表す最小色ヒストグラム312を求める。最小色ヒストグラム312は、色ヒストグラム310,311の対応するビンごとに求めた頻度の最小値min(fA(T−1),fA(T−2))によって構成される。特徴不動範囲は、最小色ヒストグラム312において頻度が非0の色番号(色#)である。最小色ヒストグラム312に対応する具体的な特徴不動範囲は色#10〜14及び色#28〜32であると算出される。
【0036】
また、追跡特徴設定部43は、現時刻T以前の2時刻(T−1),(T−2)それぞれの移動物体Dの物体特徴31として記憶部3に記憶されている色ヒストグラム313(時刻の関数fD(T−1)で表す)及び色ヒストグラム314(時刻の関数fD(T−2)で表す)を読み出し、それらに基づいて移動物体Dの特徴変動範囲を表す最大色ヒストグラム315を求める。最大色ヒストグラム315は、色ヒストグラム313,314の対応するビンごとに求めた頻度の最大値max(fD(T−1),fD(T−2))によって構成される。特徴変動範囲は、最大色ヒストグラム315において頻度が非0の色番号(色#)である。最大色ヒストグラム315に対応する具体的な特徴変動範囲は色#19〜24及び色#27〜34であると算出される。
【0037】
物体Aの追跡特徴は、移動物体Aの最小色ヒストグラム312から移動物体Dの最大色ヒストグラム315との重複部分を除いた色ヒストグラム316で表される色#10〜14の範囲内にて設定される。
【0038】
移動物体Dに注目した図3に示す例は、上述の図2の例と比較して移動物体A,D間の注目物体・接近物体の関係を逆にする点を除き同様であり、追跡特徴設定部43は、色ヒストグラム313,314の各ビンの最小値min(fD(T−1),fD(T−2))からなる最小色ヒストグラム318から、色ヒストグラム310,311の各ビンの最大値max(fA(T−1),fA(T−2))からなる最大色ヒストグラム317との重複部分を除いた色ヒストグラム319を求め、これが表す色#19〜24の範囲内にて移動物体Dの追跡特徴を設定する。
【0039】
このようにして移動物体A,Dの間に互いに異なる追跡特徴が設定される。
【0040】
なお、上述のような単純比較を行うと、注目物体の追跡特徴を設定できない場合が生じ得る。例えば、3つの移動物体E,F,Gが相互接近状態にあり、移動物体Eの色が赤、青であり、移動物体Fの色が青、緑であり、移動物体Gの色が赤、緑である場合に、移動物体Eの追跡特徴は移動物体Fとの関係では赤に限定されるが、さらに移動物体Gとの関係も含めると赤も追跡特徴に設定できない。このような場合は、色の組み合わせを追跡特徴に設定できる可能性がある。例えば、上述の移動物体E,F,Gにおいて移動物体Eの追跡特徴を赤及び青の両方に設定すれば、移動物体F,Gとの取り違えを回避できる可能性がある。また、注目物体Eの部分特徴が赤・黒であり、接近物体Fの部分特徴が赤・青・黒の場合である。このような場合も、注目物体の追跡特徴として特徴不動範囲の画像特徴全てを設定することで、一部の画像特徴を追跡特徴に設定する場合よりも取り違えが起こりにくくなり得る。
【0041】
物体位置判定部44は、現時刻の監視画像から検出された物体像内で追跡特徴の検出を行い、各移動物体の追跡特徴の検出位置を当該移動物体の位置と判定する。そして、物体位置判定部44は移動物体それぞれの位置を当該移動物体の追跡結果として記憶部3に蓄積する。追跡特徴の検出は、物体像を構成する各画素の画素値を追跡特徴と比較することにより行われる。物体位置判定部44は画素値が追跡特徴と一致する画素を検出し、検出された画素の平均位置を検出位置として算出する。すれ違う複数の移動物体の物体像が一体化している場合もあり、この場合には1つの物体像内に複数の移動物体の位置が判定されることに注意されたい。なお、1つの物体像内に移動物体の位置が1つだけ判定された場合は当該移動物体の検出位置を当該物体像の重心位置とすることでより安定した追跡結果となる。移動物体間で互いに異なる追跡特徴が設定されているので複数の移動物体が近接又は重複していてもこれらを取り違える誤追跡が防止できる。また、検出位置は物体像内であることから背景の誤追跡が防止できる。さらに本実施形態の物体位置判定部44は、移動物体の追跡特徴を検出する物体像を当該移動物体の移動先領域に含まれる物体像に制限する。これにより移動物体を取り違える誤追跡が効率的に防止できる。また、物体位置判定部44は物体特徴31の更新のために物体像と移動物体との対応関係を特徴抽出部41へ出力する。
【0042】
異常判定部45は、記憶部3に記憶されている移動軌跡32を分析して、所定の基準時間以上、監視空間内に留まっている移動物体があれば異常と判定し、該当する移動物体の情報を含んだ異常信号を出力する。基準時間は、監視空間での一般的な人の滞留時間に基づき、それを超える長時間に設定される。本実施形態におけるATMコーナーを監視空間とする例では、混雑時間帯以外の時間帯の移動物体やATM利用者が列をなす領域以外の領域の移動物体に対して基準時間は例えば、10分間程度に設定することができる。
【0043】
出力部5は、異常を警告する警告音を出力するスピーカー又はブザー等の音響出力手段、異常が判定された監視画像を表示する液晶ディスプレイ又はCRT等の表示手段などを含んでなり、異常信号が入力されると異常発生の旨を例えば、外部の監視者等へ知らせる。また、出力部5は、正常時も追跡結果として表示手段に監視画像や移動軌跡32を出力してもよい。さらに、通信回線を介して異常信号を警備会社の監視センタに設置されたセンタ装置へ送信する通信手段を含んでもよい。
【0044】
次に、移動物体追跡装置1の動作を説明する。図6は、移動物体追跡装置1における移動物体追跡処理を含む不審者検知処理の概略のフロー図である。監視空間が無人であることを確認した管理者が電源を投入すると各部が動作を始め、初期化される(S1)。初期化には、制御部4の物体像検出部40が撮像部2からの監視画像を背景画像として記憶部3に記憶させる処理が含まれる。初期化の後は、撮像部2から制御部4に新たな監視画像(以下、現画像と呼ぶ)が入力されるたびにS2〜S14の処理が繰り返される。
【0045】
現画像が入力されると(S2)、まず、制御部4は物体像検出部40により、現画像を背景画像30と比較して物体像を検出し、検出された各物体像の重心位置を算出する(S3)。物体像検出部40は、現画像から切り出した物体像及び重心位置と、当該物体像を識別するラベル番号とを対応付けて物体像情報とし、これを検出結果として記憶部3に一時記憶させる。
【0046】
次に、制御部4は移動先予測部42により、各移動物体の移動軌跡32から当該移動物体の移動先を予測する(S4)。移動先予測部42は移動先として上述の楕円領域を算出し、当該楕円領域内の画素値を1、それ以外の画素値を0とした移動先領域画像を生成する。移動先予測部42は当該移動先領域画像を当該移動物体の物体IDと対応付け、これを予測情報として記憶部3に一時記憶させる。なお、追跡開始直後は移動軌跡32に1データしかなく移動速度(方向と速さ)が予測できないため移動軌跡32中の当該1データを中心とし、予め設定された追跡対象の移動物体の平均速度に対応する大きさの円を移動先として予測する。
【0047】
続いて、制御部4の追跡特徴設定部43が、ステップS4にて予測された移動先及び物体特徴31に基づいて各移動物体の追跡特徴を設定する(S5)。図7は、この追跡特徴設定処理の概略のフロー図である。図7を参照して追跡特徴設定処理を説明する。当該処理において、追跡特徴設定部43は、まず各移動物体について記憶されている複数時刻の物体特徴31に基づいて特徴変動範囲及び特徴不動範囲を算出する(S50,S51)。追跡特徴設定部43は算出した特徴変動範囲及び特徴不動範囲の情報を物体IDと対応付けて記憶部3に一時記憶させる。
【0048】
次に追跡特徴設定部43は、移動物体間で移動先領域画像同士の論理積演算を行い、論理積が1となる画素を有する移動物体の組み合わせを全て検出する(S52)。この処理により移動先領域が重複する移動物体の組み合わせが全て検出される。追跡特徴設定部43は、検出した物体IDの組み合わせを接近情報として記憶部3に一時記憶させる。
【0049】
続いて追跡特徴設定部43は、物体特徴31が記憶されている各移動物体を順次、注目物体に設定し、全ての移動物体に対してステップS53〜S59のループ処理を実行する。
【0050】
当該ループ処理において、追跡特徴設定部43は接近情報を確認し、接近情報に注目物体の物体IDが含まれていれば注目物体への接近物体があると判断する(S54にてYES)。接近物体が存在する場合には、注目物体の特徴不動範囲と接近物体の特徴変動範囲とを比較して、注目物体の特徴不動範囲のうち接近物体の特徴変動範囲に含まれない範囲を検出する(S55)。当該範囲を検出できた場合(S56にてYES)は、当該範囲の画像特徴を注目物体の追跡特徴に設定する(S57)。
【0051】
他方、注目物体への接近物体がない場合(S54にてNO)、及び接近物体はあるが注目物体の特徴不動範囲全体が接近物体の特徴変動範囲に含まれている場合(S56にてNO)には、追跡特徴設定部43は、注目物体の特徴不動範囲の全ての画像特徴を当該注目物体の追跡特徴に設定する(S58)。
【0052】
こうして、各移動物体についてのループ処理が完了して全ての移動物体に追跡特徴が設定されると、追跡特徴設定処理S5は終了し、物体位置判定処理(図6のステップS6)が開始される。
【0053】
物体位置判定処理S6では、制御部4の物体位置判定部44が、追跡特徴設定処理S5にて設定された追跡特徴を基にして、各移動物体の位置を判定し、また、各物体像がどの移動物体によるものかを同定する。図8は、物体位置判定処理の概略のフロー図である。図9は或る時刻における監視画像を例にして表した物体位置判定処理を説明するための模式図であり、図10、図11は図9の例に対応した物体位置判定処理の過程を説明する説明図である。以下、図8〜図11を参照して、物体位置判定処理を説明する。
【0054】
当該処理において、物体位置判定部44は、まずステップS3にて得られている物体像情報とステップS4にて得られている予測情報とを参照して、物体像と、当該物体像の重心位置を移動先領域に包含する移動物体との組を検出する(S60)。さらに、ステップS52にて得られている接近情報を参照して、接近物体同士で、この物体像と移動物体との組をマージする(S61)。また、物体像と移動物体との対応関係を記録するための空の同定リストを準備する(S62)。
【0055】
ここまでの物体位置判定処理を図9〜図11を用いて具体的に説明する。図9に示す監視画像600は、図4の例から1時刻進んで時刻Tになったときの監視画像である。当該監視画像ではラベル1〜4の4つの物体像が検出されている。図9に示す点線の楕円は図5にて例示した物体A〜Dの移動先領域420〜423を表している。
【0056】
図10に示す表610は検出された、物体像と移動物体との組を示している。この場合、2つの組I,IIが検出される。組Iは物体A,Dとラベル1,3の組み合わせとなる。図5に示す例では移動物体A,Dがそれぞれ他方との関係で接近物体となることから、組Iはマージ処理がなされている。組IIは物体Bとラベル2の組み合わせとなる。また、物体Cとラベル4は組を作れないので、表610には現れない。
【0057】
続いて物体位置判定部44は各組を順次、注目組に設定したループ処理を実行し(S63〜S69)、さらに各組についてのループ処理の中で注目組の移動物体を順次、注目物体に設定したループ処理を実行する(S64〜S68)。
【0058】
この多重ループ処理において、物体位置判定部44は、注目組の各物体像から注目物体の追跡特徴の検出を行い(S65)、追跡特徴が検出された場合に(S66にてYES)、注目物体の物体IDと追跡特徴が検出された物体像のラベル番号と追跡特徴が検出された画素の平均位置(検出位置)とを対応付けたデータを同定リストに記録する(S67)。
【0059】
図11は、同定リストへの記録過程の具体例を示す説明図である。同定リスト620はステップS67を終えた時点での状態を表している(検出位置は省略されている)。組Iにおいては、ラベル1の物体像からのみ図2に示した移動物体Aの追跡特徴である色#10〜14が検出されたためラベル1が物体Aと対応付けられ、ラベル3の物体像からのみ図3に示した移動物体Dの追跡特徴である色#19〜24が検出されたためラベル3が物体Dと対応付けられた。組IIにおいても同様に物体Bの追跡特徴がラベル2の物体像から検出され、ラベル2が物体Bと対応付けられた。
【0060】
多重ループ処理を終えると(S68にてYES、かつS69にてYES)、移動物体の消失及び新規出現を確認する。
【0061】
すなわち物体位置判定部44は、物体特徴31と同定リストとを比較して、記憶部3に物体特徴31が記憶されているが同定リストには記録が無い移動物体があるかを確認し、該当する移動物体があれば当該移動物体が消失した旨を同定リストに追記する(S70)。
【0062】
図11の同定リスト621はステップS70を終えた時点での状態を表している。同定リスト620に記録がない物体Cが消失と判定され、ラベル番号の欄に消失を表す「−1」が追記された。
【0063】
また物体位置判定部44は、物体像情報と同定リストとを比較して、同定リストに記録の無い物体像があるかを確認し、該当する物体像があれば当該物体像に新規の物体IDを付与して同定リストに追記する(S71)。
【0064】
図11の同定リスト622はステップS71を終えた時点での状態を示している。ラベル4の物体像が新規であるとして物体ID「E」が付与され、物体Eとラベル4の対応付けが追記された。
【0065】
こうして、追跡特徴と移動先予測とに基づく物体位置の判定及び物体像の同定が終わると、制御部4の処理は物体位置蓄積処理(図6のステップS7)へ進む。
【0066】
物体位置蓄積処理S7では、物体位置判定部44が現時刻の移動物体の位置を移動軌跡32に蓄積する。すなわち物体位置判定部44は、同定リストを参照して、各移動物体の移動軌跡32に当該移動物体の位置を追記する。このとき物体位置判定部44は、新規の移動物体があれば当該移動物体の移動軌跡32を新たに追加し、消失した移動物体があれば当該移動物体の移動軌跡32を削除する。
【0067】
制御部4は、現画像及び更新された移動軌跡32を追跡結果として出力部5へ出力し、出力部5は表示手段によりこれらを表示する(S8)。
【0068】
制御部4の異常判定部45は、各移動物体の移動軌跡32から当該移動物体の滞在時間を計測して、しきい値として設定される所定の基準時間と当該滞在時間とを比較し、滞在時間が基準時間を超える移動物体があれば異常ありと判定する(S9)。異常ありと判定された場合(S10にてYES)、異常判定部45は、異常が判定された移動物体(不審物体)の物体像の情報を含む異常信号を生成して出力部5へ出力する(S11)。出力部5は異常信号を入力されると、例えば、音響出力手段を鳴動させ、表示手段に不審物体の物体像を表示し、表示中の監視画像における不審物体の位置に枠画像を重畳表示する。監視員は当該表示を基に異常判定の原因となった人に対する案内、或いは排除といった対処の必要性を判断し、必要であれば監視空間に急行して対処を行う。
【0069】
異常判定を終えると、制御部4の特徴抽出部41は、次時刻に備えて物体特徴31を更新する。すなわち特徴抽出部41は、物体像情報及び同定リストを参照して、各物体像から画像特徴を抽出し(S12)、抽出された画像特徴を、同定された移動物体の物体特徴31の最も古い情報と入れ替えることで物体特徴31を更新する(S13)。なお、特徴抽出部41は、同定リストにおいて1つの物体像に重複して同定されている2以上の移動物体については、これらの移動物体を更新の対象としない。また特徴抽出部41は、新規の移動物体があれば当該移動物体の物体特徴31を新たに追加し、消失した移動物体があれば当該移動物体の物体特徴31を削除する。
【0070】
また制御部4の物体像検出部40は、次時刻に備えて背景画像30を更新する(S14)。すなわち物体像検出部40は、現画像、物体像情報及び背景画像30を参照して、現画像のうちいずれの物体像とも重ならない部分を背景画像30と平均処理して背景画像30を更新する。
【0071】
以上の処理を終えると、処理は再びステップS2へ戻され、監視空間における移動物体の追跡が続行される。
【0072】
上記実施形態において、画像特徴は画素単位の色特徴とされた。別の実施形態においては、局所領域のテクスチャ、局所領域の形状又は局所領域の輝度勾配などの領域特徴が画像特徴とされる。この場合、特徴抽出部41は、物体像から新たな領域特徴が抽出されると当該領域特徴に新たな特徴番号を付与して物体特徴31の一部として記憶させ、各移動物体の物体IDと特徴番号との対応関係を当該移動物体の物体特徴31として記憶部3に記憶させる。
【符号の説明】
【0073】
1 移動物体追跡装置、2 撮像部、3 記憶部、4 制御部、5 出力部、30 背景画像、31 物体特徴、32 移動軌跡、40 物体像検出部、41 特徴抽出部、42 移動先予測部、43 追跡特徴設定部、44 物体位置判定部、45 異常判定部、320,321,322,323 軌跡、420,421,422,423 移動先領域、501,502,503,504 物体像、620,621,622 同定リスト。
【特許請求の範囲】
【請求項1】
監視空間を撮影した時系列の監視画像に基づいて、前記監視空間内の複数の移動物体を追跡する移動物体追跡装置であって、
各時刻の監視画像から移動物体像を検出する物体像検出部と、
前記移動物体像から画像特徴を抽出する特徴抽出部と、
前記移動物体ごとに前記画像特徴を記憶する特徴記憶部と、
前記移動物体間で前記特徴記憶部に記憶されている前記画像特徴を比較し、当該比較された移動物体間で互いに異なる前記画像特徴の一部又は全部を当該移動物体それぞれの追跡特徴に設定する追跡特徴設定部と、
前記移動物体の前記追跡特徴を前記移動物体像から検出し、前記追跡特徴が検出された位置を当該移動物体の追跡結果とする物体位置判定部と、
を有することを特徴とする移動物体追跡装置。
【請求項2】
請求項1に記載の移動物体追跡装置において、さらに、
時系列で得られる前記追跡結果を前記移動物体ごとに記憶する追跡結果記憶部と、
時系列の前記追跡結果から前記移動物体の移動先を予測する移動先予測部と、
を有し、
前記追跡特徴設定部は、前記移動先が相互接近状態である前記移動物体を特定し、当該特定された移動物体間で前記比較を行うこと、
を特徴とする移動物体追跡装置。
【請求項3】
請求項2に記載の移動物体追跡装置において、
前記追跡特徴設定部は、前記移動物体のうち互いに前記相互接近状態にある接近注目物体と接近対象物体とに関し、前記接近対象物体の複数時刻における前記画像特徴のいずれにも該当しない範囲にて前記接近注目物体の前記追跡特徴を設定すること、を特徴とする移動物体追跡装置。
【請求項4】
請求項1から請求項3のいずれか1つに記載の移動物体追跡装置において、
前記追跡特徴設定部は、前記移動物体の複数時刻における前記画像特徴に共通する範囲にて前記追跡特徴を設定すること、を特徴とする移動物体追跡装置。
【請求項1】
監視空間を撮影した時系列の監視画像に基づいて、前記監視空間内の複数の移動物体を追跡する移動物体追跡装置であって、
各時刻の監視画像から移動物体像を検出する物体像検出部と、
前記移動物体像から画像特徴を抽出する特徴抽出部と、
前記移動物体ごとに前記画像特徴を記憶する特徴記憶部と、
前記移動物体間で前記特徴記憶部に記憶されている前記画像特徴を比較し、当該比較された移動物体間で互いに異なる前記画像特徴の一部又は全部を当該移動物体それぞれの追跡特徴に設定する追跡特徴設定部と、
前記移動物体の前記追跡特徴を前記移動物体像から検出し、前記追跡特徴が検出された位置を当該移動物体の追跡結果とする物体位置判定部と、
を有することを特徴とする移動物体追跡装置。
【請求項2】
請求項1に記載の移動物体追跡装置において、さらに、
時系列で得られる前記追跡結果を前記移動物体ごとに記憶する追跡結果記憶部と、
時系列の前記追跡結果から前記移動物体の移動先を予測する移動先予測部と、
を有し、
前記追跡特徴設定部は、前記移動先が相互接近状態である前記移動物体を特定し、当該特定された移動物体間で前記比較を行うこと、
を特徴とする移動物体追跡装置。
【請求項3】
請求項2に記載の移動物体追跡装置において、
前記追跡特徴設定部は、前記移動物体のうち互いに前記相互接近状態にある接近注目物体と接近対象物体とに関し、前記接近対象物体の複数時刻における前記画像特徴のいずれにも該当しない範囲にて前記接近注目物体の前記追跡特徴を設定すること、を特徴とする移動物体追跡装置。
【請求項4】
請求項1から請求項3のいずれか1つに記載の移動物体追跡装置において、
前記追跡特徴設定部は、前記移動物体の複数時刻における前記画像特徴に共通する範囲にて前記追跡特徴を設定すること、を特徴とする移動物体追跡装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2011−180684(P2011−180684A)
【公開日】平成23年9月15日(2011.9.15)
【国際特許分類】
【出願番号】特願2010−42250(P2010−42250)
【出願日】平成22年2月26日(2010.2.26)
【出願人】(000108085)セコム株式会社 (596)
【Fターム(参考)】
【公開日】平成23年9月15日(2011.9.15)
【国際特許分類】
【出願日】平成22年2月26日(2010.2.26)
【出願人】(000108085)セコム株式会社 (596)
【Fターム(参考)】
[ Back to top ]