異常行動検知装置
【課題】監視空間の状態変化が生じても的確に異常行動を検知する。
【解決手段】対象物体を追跡して対象物体毎の移動パターンを求める追跡手段５１と、監視空間にある対象物体の数が所定数未満である閑散状態から所定数以上である混雑状態への変化を検出する混雑状況検出手段５５と、混雑状態への状態変化が検出された後、移動パターンを相互に比較して一致頻度を求め、一致頻度が所定数以上である移動パターンを混雑状態時の正常パターンとする正常パターン設定手段５３と、混雑状態時の正常パターンを記憶する記憶手段４と、混雑状態時における移動パターンを混雑状態時の正常パターンと比較し、当該移動パターンが混雑状態時の正常パターンと一致しない場合に異常と判定する異常判定手段５４と、備える。
【解決手段】対象物体を追跡して対象物体毎の移動パターンを求める追跡手段５１と、監視空間にある対象物体の数が所定数未満である閑散状態から所定数以上である混雑状態への変化を検出する混雑状況検出手段５５と、混雑状態への状態変化が検出された後、移動パターンを相互に比較して一致頻度を求め、一致頻度が所定数以上である移動パターンを混雑状態時の正常パターンとする正常パターン設定手段５３と、混雑状態時の正常パターンを記憶する記憶手段４と、混雑状態時における移動パターンを混雑状態時の正常パターンと比較し、当該移動パターンが混雑状態時の正常パターンと一致しない場合に異常と判定する異常判定手段５４と、備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視空間内の対象物体の移動パターンに基づいて異常行動を検出する異常行動検知装置に関する。
【背景技術】
【０００２】
特許文献１には、画像変化により検出された物体の移動経路、形状特徴量、形状変化率を利用して、監視領域内の不審者及び不審物の有無を検出する監視装置が開示されている。ここで、物体の移動軌跡が予め設定された不審領域を通過しているか、正常領域内にあるか、又は滞留しているかに基づいて不審者や不審物を検出している。
【０００３】
【特許文献１】特開平４−２７３６８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、監視空間において混雑状態や監視空間内の設備の状況が変化すると、この変化に伴って正常な人や物の移動パターンも変化する。したがって、人や物の動きが正常であるか否かを判定するための移動パターンの基準も変更しなければならない。
【０００５】
例えば、自動現金取引装置（ＡＴＭ）が設置された監視空間において、閑散時に人が留まっている場合には異常と判断されるべきであるが、混雑時は待ち行列における正常な滞留が発生する。また、特定の領域への人の侵入や通過が正常であるか否かは混雑状態やＡＴＭの稼働状況によって変化する。
【０００６】
そのため、様々に変化する状況下において予め設定された一定の基準に基づいて判定を行っていると不審者や不審物を検知し損ねる、又は、不審者や不審物でないものを誤検知してしまうおそれがあった。
【０００７】
一方、監視空間の状況変化に応じた判定基準の変化は多岐に亘るため、総ての状況に対応するための判定基準を予め設けておくことは困難である。
【０００８】
本発明は、上記問題を鑑みてなされたものであり、監視空間の状態変化が生じても的確に異常行動を検知できる異常行動検知装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の１つの態様は、監視空間における対象物体を追跡して前記対象物体毎の移動パターンを生成する追跡手段と、前記追跡を参照して、前記監視空間にある前記対象物体の数が所定数未満である閑散状態から前記所定数以上である混雑状態への変化を検出する混雑状況検出手段と、前記混雑状態への変化が検出された時点を開始時点とする所定の設定期間において生成された前記移動パターンを相互に比較して一致頻度を求め、前記一致頻度が所定頻度以上である前記移動パターンを前記混雑状態時の正常パターンとする正常パターン設定手段と、前記混雑状態時の正常パターンを記憶する記憶手段と、前記混雑状態時における前記移動パターンを前記混雑状態時の正常パターンと比較して異常を判定する異常判定手段と、を備えることを特徴とする異常行動検知装置である。
【００１０】
ここで、前記混雑状況検出手段は、前記混雑状態から前記閑散状態への変化をさらに検出し、前記異常判定手段は、前記閑散状態における前記移動パターンを予め定めた閑散状態時の正常パターンと比較して異常を判定することが好適である。
【００１１】
また、前記監視空間に設置され前記対象物体の利用に供される設備の稼働状態の変化を検出する稼働状況検出手段をさらに備え、前記正常パターン設定手段は、前記混雑状態への変化、又は、前記稼働状態の変化が検出された時点を前記開始時点とすることが好適である。
【００１２】
また、前記正常パターン設定手段は、前記混雑状態への変化が検出された後に生成された前記移動パターンの数に応じて前記設定期間の終了を決定することが好適である。
【００１３】
また、前記異常判定手段は、前記正常パターン設定手段において前記一致頻度が前記所定頻度未満であった前記移動パターンを異常と判定することが好適である。
【００１４】
また、前記追跡手段は、前記監視空間を順次撮像する撮像手段により撮像された画像から前記移動パターンを求めることが好適である。
【発明の効果】
【００１５】
本発明によれば、監視空間の状態変化が生じても的確に異常行動を検知できる。
【発明を実施するための最良の形態】
【００１６】
本発明の実施の形態における異常行動検知装置１は、図１に示すように、撮像部２、操作部３、記憶部４、制御部５及び出力部６を含んで構成される。異常行動検知装置１は、監視空間を撮像し、その監視画像を画像処理して不審者や不審物を検知する。撮像部２、操作部３、記憶部４、制御部５及び出力部６は互いに情報伝達可能に接続される。
【００１７】
なお、本実施の形態では、監視空間であるＡＴＭコーナーにおいて対象物体である人の移動パターンを正常パターンと比較することにより、不審者の異常行動を検知する処理を例に説明する。ただし、これに限定されるものではなく、流通化に置かれる商品等の物品、通行する車等の異常行動を検知する場合等にも適用することができる。
【００１８】
撮像部２は、ＣＣＤ素子やＣ−ＭＯＳ素子等の撮像素子、光学系部品、アナログ／デジタル変換器等を含んで構成される所謂監視カメラである。撮像部２は、監視空間を所定時間間隔にて撮像し、その監視画像を制御部５へ順次出力する。以下、この所定時間間隔を時間の単位として時刻と称する。本実施の形態において、撮像部２は、監視空間の天井に光軸を鉛直下方に向けて配置されているものとする。なお、撮像部２は、複数台の監視カメラを含んで構成してもよい。
【００１９】
操作部３は、異常行動検知装置１へ情報を入力するためのキーボードやマウス等の入力装置を含んで構成される。操作部３は、異常行動検知装置１の管理者が各種設定の入力のために用いる。
【００２０】
記憶部４は、ＲＯＭやＲＡＭ等のメモリ装置で構成される。記憶部４は、制御部５からアクセス可能に接続される。記憶部４は、各種プログラム、各種データを記憶する。これら各種プログラムや各種データは、制御部５より読み出されて使用される。各種データには、監視画像、移動パターン４０、正常パターン４１、物体識別情報４２が含まれる。
【００２１】
制御部５は、ＣＰＵ、ＤＳＰ、ＭＣＵ、ＩＣ等の演算回路を含んで構成される。制御部５は、撮像部２、操作部３、記憶部４及び出力部６と情報伝達可能に接続される。制御部５は、追跡手段５１、混雑状況検出手段５５、稼働状況検出手段５６、正常パターン設定手段５３、異常判定手段５４等の各手段での処理を記述したプログラムを記憶部４から読み出して実行することにより信号処理手段として機能する。また、制御部５は、異常判定手段５４としての処理を行った際に異常を検出すると異常信号を出力部６へ出力する。
【００２２】
出力部６は、異常信号が入力されると報知音を出力するスピーカー、ブザー等の音響出力手段を含んでなる。また、異常信号が入力されると異常に係る不審者の移動パターンや画像を表示する表示手段を含んでもよい。
【００２３】
また、コンピュータをネットワークや電話回線に接続するためのインターフェースを含んでもよい。この場合、異常行動検知装置１は、電話回線やインターネット等の情報伝達手段を介して、センタ装置（図示しない）に情報伝達可能に接続される。異常行動検知装置１とセンタ装置とは、電話番号やネットワークアドレスを用いて情報の送受信を行う。なお、センタ装置は、監視員等が滞在する監視センタ等に設置されるホストコンピュータである。センタ装置は、異常行動検知装置１からの通報情報を受信する通信部、通報情報を表示する表示部等を含んで構成される。
【００２４】
以下、異常行動検知装置１における処理について、図１の機能ブロック図並びに図２及び図３のフローチャートを参照しつつ説明する。
【００２５】
異常行動検知装置１に電源が投入されると、各部、各手段としての処理が開始され、所定の初期化が行われる（Ｓ１０）。制御部５は、混雑レベルをＣ０、稼働状態を初期状態、正常パターン４１を稼働状態の閑散時パターンに設定し、設定期間中フラグ及び設定期間終了フラグを０に初期化する。また、監視画像内のＡＴＭの設置領域や出入口領域が記憶部４に記憶されていなければ操作部３等によりこれらを設定させる。各設定の詳細は後述する。
【００２６】
ここで、監視画像から抽出される移動パターンについて説明する。移動パターンとは、対象物体となる人の位置の履歴情報を意味する。監視画像に撮られた人の位置を取得し、人が監視空間に現れてから立ち去るまでの間の各時刻において取得された各人の位置を時系列に並べて移動軌跡を追跡して移動パターンを求める。すなわち、既存の人体領域抽出処理等の画像処理によって監視画像に写された対象物体の位置のｘｙ座標を求め、同一の対象物体として識別された対象物体の位置のｘｙ座標の系列が移動パターンとなる。なお、対象物体の識別は物体識別情報４２に基づいて行うことができる。物体識別情報４２は、対象物体を識別する情報であり、対象物体毎にその人体領域の像から抽出された色ヒストグラム等の画像の特徴量である。物体識別情報４２を対象物体毎に記憶部４に登録し、登録以降の各時刻において抽出された人体領域の像を特徴と比較することによって、各対象物体を識別して追跡処理することができる。
【００２７】
図４（ａ）に正常な移動パターン４０の例を模式的に示す。以下、図４（ａ），図４（ｃ），図５（ｂ），図５（ｃ）における菱形記号の重心が各時刻における対象物体の位置を示すものとする。図４（ａ）では、監視画像の枠７０内において｛（５５，８），（６０，１２），（７５，２８）・・・（４３，１０）｝というｘｙ座標の系列で表される移動パターンが示されている。
【００２８】
また、監視画像には監視空間に設置されたＡＴＭの設置領域７１−１，７１−２，７１−３及び監視空間への出入口領域７２が設定される。設置領域７１や出入口領域７２は、管理者が操作部３を用いて設定することができ、記憶部４に記憶される。
【００２９】
さらに、本実施形態では移動パターン４０のパターンマッチングをより適切に行うために、監視空間が撮像された画像を予め複数の小領域に分割して小領域毎に識別符合を付しておき、上述した対象物体の各位置と対応する小領域の識別符合の系列を移動パターン４０とする。
【００３０】
図４（ｂ）の例では、ｘ軸方向及びｙ軸方向をそれぞれ５分割して２５個の小領域Ａ１〜Ａ２５を設定している。この場合、図４（ａ）に示した移動パターン４０は、図４（ｃ）のように｛Ａ２２，Ａ２３，Ａ１８・・・Ａ２２｝と示すことができる。
【００３１】
このように求められる移動パターン４０のうち正常な対象物体の移動パターン４０を正常パターン４１とする。正常パターン４１とは、監視空間において高頻度に出現する移動パターン４０を意味する。正常パターン４１は複数の移動パターン４０から構成されてもよい。
【００３２】
本実施の形態では、正常な移動パターン４０を公知のＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ：隠れマルコフモデル）によりモデル化し、正常な移動パターン４０に対応するモデルを学習させることで正常パターン４１を生成する。一般的なＨＭＭのモデルは各状態の集合、各状態において観測されるシンボルの集合、及び各状態間を遷移する確率である状態遷移確率、各状態の初期状態確率により構成される。移動パターン４０のＨＭＭによるモデル化は上記各小領域を状態及びシンボルに割り当て、対象物体が各小領域間を移動する確率及び各小領域に留まる確率を状態遷移確率とし、その際のシンボル出力確率及び初期状態確率を定義することにより行うことができる。
【００３３】
図４の例では、状態遷移確率及びシンボル出力確率は２５×２５次元のマトリクスで表され、初期状態確率は２５次元のベクトルで表される。
【００３４】
正常パターン４１の学習は、正常な移動パターン４０をシンボル列として公知のＢａｕｍ−Ｗｅｌｃｈアルゴリズムを適用し、正常な移動パターン４０の生成確率、すなわち、そのシンボル列の生成確率を最大化するようなシンボル出力確率、状態遷移確率及び初期状態確率といった値を算出することにより行うことができる。
【００３５】
図５（ａ）は、図４（ａ）の移動パターン４０で学習させたモデルのイメージ図である。図中、丸印は状態、矢印は状態遷移、矢印に附記された数値は状態遷移確率を示している。例えば、Ａ２３からＡ１８への状態遷移確率、Ａ１８からＡ１３への状態遷移確率・・・Ａ３からＡ３への状態遷移確率等、図４（ａ）の正常な移動パターン４０に対応する部分の状態遷移確率は高い数値を示す。一方、Ａ２３からＡ２４への状態遷移確率、Ａ１３からＡ１３への状態遷移確率・・・等、正常な移動パターン４０と合致しない状態遷移確率は低い数値となる。
【００３６】
なお、ＨＭＭ、後述するＢａｕｍ−Ｗｅｌｃｈアルゴリズム及びＦｏｒｗａｒｄアルゴリズムは論文"A Tutorial on Hidden Markov Model and selected Applications in Speech Recoqnition" L.R.Rabiner, Proceeding if The IEEE, Vol.77, No.2, pp267-295(1989)等に詳説されている。
【００３７】
ここで、監視空間の状態は、ＡＴＭの利用者の待ち行列が発生しない閑散状態と、待ち行列が発生しがちな混雑状態に大別される。上記のとおり、対象物体の正常行動は監視空間の混雑状態やＡＴＭ等のサービス設備の状態によって変化する。本発明では、これらの変化に対応すべく、監視空間の混雑状態及び設備の稼働状態に対応させて正常パターン４１を設定する。このうち、閑散状態に適応させた正常パターン４１を閑散時パターンと称し、混雑状態に適応させた正常パターン４１を混雑時パターンと称する。閑散時パターンは、異常行動検知装置１を設置した際等に予め正常な移動パターン４０を発生させて予め生成及び記憶しておくことが好適である。閑散時の正常な移動パターンは稼働中のＡＴＭを利用する典型的な行動であるため、事前に収集することは容易であり、また、実観測するまでもなく事前のシミュレーションによって得ることもできる。一方、混雑時パターンは、監視空間が混雑状態となる毎に実際に監視空間において得られた移動パターン４０に基づいてその都度生成し、記憶部４に登録される。
【００３８】
初期設定（Ｓ１０）が終了すると、撮像部２から制御部５へ新たな監視画像が入力される毎にステップＳ２０〜Ｓ６０の処理が繰り返される。
【００３９】
新たな画像が入力される（Ｓ１５）と、制御部５の追跡手段５１は、公知の背景差分処理又は公知の相関処理により新たに入力された画像から変化領域を抽出し、抽出された変化領域の画像の特徴量を対象物体毎に登録された物体識別情報４２と比較して一致する変化領域の位置（重心位置）を求め、求められた位置をその対象物体の移動パターン４０に追加記憶させる（Ｓ２０）。
【００４０】
ここで、追跡手段５１は一時刻前まで追跡中であったが現時刻において物体識別情報４２と一致しなくなった対象物体については監視空間から外れてしまったものとして移動パターン４０の生成を完了する。このとき、追跡手段５１は、その移動パターン４０に生成完了時刻として現時刻を関連付けて登録する。これにて、その対象物体は次時刻以降の追跡処理から外される。また、生成された移動パターン４０が異常判定手段５４及び正常パターン設定手段５３へ出力される。
【００４１】
また、追跡手段５１は一時刻前まで追跡中であった対象物体の物体識別情報４２のいずれとも一致しなかった変化領域は、新たに監視空間に現れた対象物体によるものであるとして、その変化領域の位置を初期値とする新たな移動パターン４０を登録する。また、追跡手段５１はその変化領域の画像の特徴量を新たな対象物体の物体識別情報４２として登録する。これにて、その対象物体は次時刻以降の追跡処理の対象となる。
【００４２】
続いて、必要に応じて正常パターン４１の設定処理（Ｓ２５）が行われる。正常パターン４１の設定処理は、図３のサブルーチンに沿って処理される。以下の処理が、状態変化検出手段５２及び正常パターン設定手段５３に相当する。
【００４３】
制御部５は、設定期間終了フラグが１に設定されていれば、設定期間終了フラグを０にリセットするとともに、設定期間中に生成され不要となったデータを初期化、破棄する後処理を行う（Ｓ２５０）。
【００４４】
制御部５の混雑状況検出手段５５は、追跡手段５１による追跡結果を参照して、現時刻における追跡中の移動パターン４０の数から現在の監視空間の混雑レベルを求め、求められた混雑レベルを記憶部４に記憶されている一時刻前の混雑レベルと比較して監視空間の混雑状態の変化の有無を検出する（Ｓ２５１）。
【００４５】
具体的には、混雑状況検出手段５５は、追跡手段５１が現時刻において追跡中の移動パターン４０の数を計数し、計数結果を予め設定された閾値と比較して現時刻の混雑レベルを判定する。
【００４６】
例えば、本実施の形態では、第１の閾値及び第１の閾値より大きな第２の閾値により混雑レベルをＣ０，Ｃ１，Ｃ２の３段階に分類する。対象物体の数が、第１の閾値より小さい場合は閑散状態を示す混雑レベルＣ０とし、第１の閾値以上であり第２の閾値より小さい場合を混雑レベルＣ１とし、第２の閾値以上である場合を混雑レベルＣ２とする。例えば、第１の閾値は待ち行列ができない程度の数に設定し、第２の閾値は待ち行列が定常化する程度の数に設定することが好適である。
【００４７】
また、追跡処理の途中で得られる監視画像の変化領域の数の変化から混雑状態の変化を求めることもできる。また、変化領域の面積を対象物体の単位面積で除して混雑状態の変化を求めることもできる。
【００４８】
さらに、制御部５の稼働状況検出手段５６は、監視画像を分析してＡＴＭの稼働状態を求めるとともに、求められた稼働状態を記憶部４に記憶されている一時刻前の稼働状態と比較して稼働状態の変化の有無を検出する（Ｓ２５１）。
【００４９】
サービス設備であるＡＴＭの設置場所に相当する監視画像内の領域は設置領域としてステップＳ１０にて設定されている。サービス設備においては稼働中と停止中とで異なる画面表示やランプ表示が行われる。稼働状況検出手段５６は、各設置領域の画像変化を検出することによって個々のサービス設備の稼働／停止を検出し、これらの稼働／停止の組み合わせを稼働状態として検出する。また、稼働状態の変化は、サービス設備又はサービス設備を制御するシステム等の外部装置から稼働状態を示す信号を受信することによって検出してもよい。
【００５０】
例えば、図４（ａ）に示した監視画像では、３つのＡＴＭ７１−１，７１−２，７１−３について稼働中又は停止中の稼働状態を求める。すなわち、最大で８通りの稼働状態を採り得ることになり、混雑レベルを３段階に分けた場合には監視空間の状態は最大で２４通りとなる。以下の説明では、稼働状態をＦ１〜Ｆ８で示す。また、混雑状況検出手段５５及び稼働状況検出手段５６は、次時刻での処理のために、現在の混雑レベル及び稼働状態を記憶部４に記憶させる。なお、状態変化が生じたときだけ混雑レベル及び稼働状態を更新するものとしてもよい。
【００５１】
ここで、監視空間が閑散状態から混雑状態へ変化すると、監視空間での待ち行列が発生し、それまで異常行動とされていた位置での滞留等が正常行動となる。また、待ち行列を回避するための変則的な移動も正常行動となる。さらに、待ち行列のでき方は対象物体の個々の判断により様々であり、同じ混雑状態であっても混雑レベルの変化やサービス設備の稼働状態によって影響を受ける。このような多様な正常行動を網羅した正常パターン４１を予め用意しておくことは困難である。一方で混雑状態から閑散状態へ変化すると、待ち行列が発生しなくなり、正常行動が変化する。また、同じ閑散状態であってもサービス設備の稼働状態の変化によって正常行動が変化する。但し、閑散状態では混雑状態とは異なり、短時間で多くの移動パターン４０を得難い。そこで、これらの状態変化に適応した異常判定基準を設定すべく混雑状態変化や稼働状態変化が検出されると、以下の正常パターン設定処理が実行される。
【００５２】
混雑状態及び稼働状態のうち少なくとも一方の変化が検出されると、制御部５の正常パターン設定手段５３は、正常パターン設定処理を開始する。正常パターン設定手段５３は、状態変化があったこと確認すると（Ｓ２５２にてＹＥＳ）、混雑レベルから現在の監視空間が閑散状態（Ｃ０）か混雑状態（Ｃ１，Ｃ２）かを確認する（Ｓ２５３）。
【００５３】
現在の監視空間が閑散状態であれば（Ｓ２５３にてＮＯ）、制御部５は、現在の稼働状態に応じた閑散時パターンのみを有効化することで正常パターン４１を閑散時パターンに切り替える（Ｓ２５４）。また、現在の稼働状態に対応しない閑散時パターンは無効に設定し、混雑時パターンが記憶されていれば破棄する。
【００５４】
例えば、図６（ａ）に示すように閑散時パターンが登録されている場合、現在の稼働状況がＦ１であれば、図６（ｇ）に示すように第１番目及び第２番目の閑散時パターンが有効に設定され、他の閑散時パターンは無効に設定される。
【００５５】
その後、処理をステップＳ３０に移行させる。ここで、ステップＳ２５３にてＮＯであることは、稼働状態が維持された上で混雑状態から閑散状態への移行を示す混雑レベルＣ１又はＣ２からＣ０への変化が生じた、混雑レベルの変化と稼働状態の変化が共に生じた、閑散状態が維持された上で稼働状態の変化が生じたことのいずれかであることを意味する。
【００５６】
一方、現在の監視空間が混雑状態であれば（Ｓ２５３にてＹＥＳ）、ステップＳ２５５にて、制御部５は、設定期間中フラグを１に書き換えることで設定期間の開始を設定する。また、総ての閑散時パターンを無効に設定すると共に、混雑時パターンが記憶されていれば総て破棄する（図６（ａ））。ここで、Ｓ２５３にてＹＥＳであることは、稼働状態が維持された上で閑散状態から混雑状態への移行を示す混雑レベルＣ０からＣ１又はＣ２への変化が生じた、稼働状態が維持された上で混雑の緩和を示す混雑レベルＣ２からＣ１への変化が生じた、上記混雑レベルの変化と稼働状態の変化が共に生じた、一時刻前の混雑レベルが維持された上で稼働状態の変化が生じたことのいずれかであることを意味する。
【００５７】
なお、状態変化がなかった場合（Ｓ２５２にてＮＯ）、ステップＳ２５３からＳ２５５の処理はスキップされる。
【００５８】
続くステップＳ２５６にて、正常パターン設定手段５３は、設定期間中フラグを参照し、フラグが１であれば設定期間中であるとして（Ｓ２５６にてＹＥＳ）、記憶部４を参照してステップＳ２０にて新たに生成完了した移動パターン４０が存在するか否かを確認する（Ｓ２５７）。
【００５９】
新たに生成された移動パターン４０があれば（Ｓ２５７にてＹＥＳ）、正常パターン設定手段５３は、その移動パターン４０と各仮登録パターンとの間の尤度を算出して基準値と比較し（Ｓ２５８）、基準値を超えて一致する仮登録パターンがあれば（Ｓ２５９にてＹＥＳ）、そのうち最も高い尤度が算出された仮登録パターンに関連付けて登録されている一致頻度を１だけ増加させ、一致した移動パターン４０の識別番号のリスト（図６の一致リスト）に新たに一致した移動パターン４０の識別番号を付加する（Ｓ２６０）。
【００６０】
一方、仮登録パターンが未だ登録されていない場合、又は、一致する仮登録パターンがない場合、正常パターン設定手段５３は、新たに生成完了した移動パターン４０で学習させたモデルを新たな仮登録パターンとして記憶部４に追加登録させる（Ｓ２６１）。このとき、その仮登録パターンと関連付けて一致頻度と一致リストも登録する。一致頻度は１に初期化し、一致リストは、その仮登録パターンの学習に用いた移動パターンの識別番号で初期化する。
【００６１】
図６（ｂ）は、１つ目の識別番号＃５０を有する移動パターン４０が第１番目の混雑時パターンとして仮登録された例である。図６（ｃ）は、時刻が進んで、２つ目の識別番号＃５１を有する移動パターン４０が第１番目の混雑時パターンと一致したときの登録例を示す。
【００６２】
こうして、設定期間中に生成完了した移動パターン４０が規定数Ｎに到達するまで、移動パターン４０について相互比較及び一致頻度の計数が繰り返される。移動パターン４０の生成数が規定数Ｎに達すると（Ｓ２６２にてＹＥＳ）、正常パターン設定手段５３は、設定期間の終了を決定し、記憶されている一致頻度のそれぞれを頻度閾値と比較して一致頻度が頻度閾値以上である仮登録パターンを混雑時パターンとして確定させる（Ｓ２６３）。そして、設定期間中フラグを０にリセットし、設定期間終了フラグを１に設定することで設定期間を終了する（Ｓ２６４）。
【００６３】
図６（ｄ）は、ステップＳ２６３の処理直前の仮登録パターンの登録例であり、図６（ｅ）はステップＳ２６３の処理後の登録例を示す。ここで、規定数Ｎは４０、頻度閾値は１０であるとする。第１番目から第３番目の仮登録パターンは一致頻度が頻度閾値以上であるので混雑時パターンとして確定され、第４番の仮登録パターンは一致頻度が頻度閾値未満であるので混雑時パターンとして確定されない。
【００６４】
図７は設定期間を説明する図である。図７の横軸は時間であり、各帯は対象物体毎の監視空間での滞在時間を表している。時刻ＴCにおいて状態変化が検出され設定期間が開始される。時刻Ｔ0は、状態変化の検出後に生成が完了した１個目の移動パターンが新規登録された時刻であり、時刻ＴNは状態変化の検出後にＮ個目の移動パターンの生成が完了した時刻である。すなわち、時刻ＴCから時刻ＴNまでが設定期間となり、この間に生成が完了したハッチングを施した帯で示す移動パターン４０が混雑時の正常パターン４１の設定に用いられる。
【００６５】
以上の処理が終了すると、処理はステップＳ３０へ移行される。以上のように、本実施の形態における異常行動検知装置１では、実際の移動パターン４０に基づいて混雑時の正常パターン４１を設定するので正常パターン４１を予め網羅的に用意しておく必要がなく、混雑状態における多様な異常判定の基準の変化に対応させることができる。また、閑散状態と比べて、混雑状態では短時間に多くの対象物体の移動パターン４０が得られるので正常パターン４１の設定を速やかに行うことができる。
【００６６】
また、設定期間中に生成された移動パターン４０の数が予め定められた規定数Ｎとなった時点で設定期間を終了するので、混雑度が高くなるほど設定期間が短縮され、以下の異常判定処理へ迅速に移行することができる。
【００６７】
また、閑散状態への変化が検出された場合には、閑散状態に適応させ、さらにサービス設備の稼働状態毎に適応させた閑散時パターンに正常パターン４１を切り替えることによって、異常判定処理を的確に行うことができる。また、予め登録された閑散時パターンに切り替えるだけであるため、短時間で多くの移動パターン４０を得難い閑散状態であっても正常パターン４１の設定を速やかに行うことができる。
【００６８】
制御部５は、設定期間中フラグを参照し（Ｓ３０）、フラグが１であれば設定期間中であるとして（Ｓ３０にてＹＥＳ）、異常判定を行わずに処理をステップＳ１５へ戻す。以下の処理が異常判定手段５４に相当する。
【００６９】
一方、設定期間中でない場合（Ｓ３０にてＮＯ）、制御部５は、設定期間終了フラグを参照し（Ｓ３５）、当該フラグが１であれば設定期間終了直後であるとして（Ｓ３５にてＹＥＳ）、設定期間中の移動パターン４０についての異常判定処理を行う（Ｓ４０）。
【００７０】
ステップＳ４０の異常判定処理では、制御部５は、記憶部４に登録されている仮登録パターンの一致頻度を参照して閾値と比較し、一致頻度が閾値未満である仮登録パターンがあれば、当該仮登録パターンに関連付けて登録されている識別番号で特定される移動パターンが異常であったと判定する。異常の場合には異常信号を出力部６へ出力する。例えば、図６の例では、識別番号＃７８の移動パターンが異常であったと判定される。
【００７１】
なお、一時刻後のＳ２５０において、設定期間終了フラグはリセットされ、図６（ｅ）のテーブルで利用状態が破棄となっている第４番目の混雑時パターンは記憶部４から削除され（図６（ｆ））、一致頻度及び一致リストのデータはクリアされる。
【００７２】
また、設定期間中でも設定期間終了直後でもない場合（Ｓ３５にてＮＯ）、制御部５は、記憶部４を参照してステップＳ２０において新たに生成完了した移動パターンがあるか否かを確認し（Ｓ４５）、該当する移動パターン４０があればその移動パターン４０についての異常判定処理を行う（Ｓ５０）。
【００７３】
制御部５は、その移動パターン４０を現在有効である正常パターン４１と比較し、一致しない場合には異常と判断して異常信号を出力部６へ出力する。
【００７４】
具体的には、ステップＳ２０において生成された移動パターン４０と正常パターン４１として設定されている各モデルに公知のＦｏｒｗａｒｄアルゴリズムを適用する。各正常パターン４１を参照し、移動パターン４０に含まれる状態（対象物体の位置）とその遷移に対応する状態遷移確率を求め、移動パターン４０に含まれる総ての状態及び遷移についての状態遷移確率を乗算して尤度を算出する。各正常パターン４１に対する移動パターン４０の尤度を算出し、算出された各尤度を予め定めた判定閾値と比較し、いずれかの尤度が判定閾値以上であれば移動パターン４０は正常パターン４１と一致したと判定し、いずれの尤度も判定閾値未満であれば移動パターン４０は正常パターン４１と一致しないと判定する。
【００７５】
図５（ｂ），（ｃ）は、異常な移動パターン４０の例である。図５（ｂ）の移動パターン４０は、図４（ａ）の正常な移動パターン４０と異なりＡＴＭを利用する経路とは外れた経路を通っている。図５（ａ）のモデルに対する図５（ｂ）の移動パターン４０の尤度を求めると、Ａ２３からＡ２４への状態遷移確率やＡ２４からＡ２５の状態遷移確率が低く、これらにより尤度が低下し、移動パターン４０と正常パターン４１とは一致しないと判断される。図５（ｃ）の移動パターン４０は、図４（ａ）の正常パターン４１と重なる経路を通っているが、小領域Ａ１３で滞留しているため、Ａ１３からＡ１３への状態遷移確率が繰り返し乗算されることになり尤度が低下し、移動パターン４０と正常パターン４１とは一致しないと判断される。
【００７６】
なお、パターンマッチングの方法は本実施の形態で説明した方法に限定されるものではなく、ＤＰマッチング等の他のパターンマッチング法を適用してもよい。
【００７７】
Ｓ４０又はＳ５０にて異常が判定された場合（Ｓ５５）、制御部５は、生成された異常信号を出力部６へ出力する。異常信号が入力されると、出力部６は警告音を鳴らして管理者に注意を促す。また、異常と判定された移動パターン４０や移動パターン４０が追跡されたときに画像を表示して管理者による状況把握を可能としてもよい。さらに、電話回線やインターネット等の情報伝達手段を介して、センタ装置に異常信号を送信し、遠隔に居る管理者に異常を伝えるようにしてもよい。
【００７８】
なお、本実施の形態では追跡処理を画像に基づいて行うものとしたが、これに限定されるものではない。例えば、対象物体に装着したアクティブタグ、ＧＰＳ端末等の無線通信端末と無線通信を行うことによって対象物体の位置を検出して追跡を行うこともできる。この場合、物体識別情報４２は予め記憶させた無線通信端末のＩＤ番号とし、そのＩＤ番号に基づいて対象物体を特定して追跡することによって移動パターン４０を得ることができる。
【００７９】
また、移動パターン４０として、対象物体の位置及び遷移の情報に加えて、各位置における速さを加えて異常判定を行うようにしてもよい。速さは、前後する時刻の対象物体の位置から求めることができる。そして、各位置における対象物体の動きを動・静に分けて、正常パターン４１では位置、遷移及び動きの組み合わせのそれぞれについて遷移確率を設定してマッチングを行うようにしてもよい。
【００８０】
また、本実施の形態では、仮登録パターンを介在させて設定期間中に生成完了した移動パターン４０を相互に比較した（Ｓ２５８〜Ｓ２６１）。別の実施の形態では、設定期間中に生成完了した移動パターン４０を総当たりで比較して相互比較を行うこともできる。
【００８１】
また、本実施の形態では、設定期間の長さを可変としたが、別の実施形態では、設定期間の長さを予め定めた長さとすることもできる。
【００８２】
また、本実施の形態では、異常行動検知装置１の各部の機能を１つのコンピュータで実現する態様を説明したがこれに限定されるものではない。異常行動検知装置１の各部の機能は一般的なコンピュータをプログラムにより制御することによって実現できるものであり、これらの装置の各機能を適宜組み合わせて１つのコンピュータで処理させてもよいし、各機能をネットワーク等で接続された複数のコンピュータで分散処理させてもよい。
【図面の簡単な説明】
【００８３】
【図１】本発明の実施の形態における異常行動検知装置の構成を示す機能ブロック図である。
【図２】本発明の実施の形態における異常行動検知装置における処理を示すフローチャートである。
【図３】本発明の実施の形態における異常行動検知装置における処理を示すサブルーチンのフローチャートである。
【図４】本発明の実施の形態における異常行動検知処理を説明する図である。
【図５】本発明の実施の形態における異常行動検知処理を説明する図である。
【図６】本発明の実施の形態における正常パターンの登録例を示す図である。
【図７】本発明の実施の形態における設定期間を説明する図である。
【符号の説明】
【００８４】
１ 異常行動検知装置、２ 撮像部、３ 操作部、４ 記憶部、５ 制御部、６ 出力部、４０ 移動パターン、４１ 正常パターン、４２ 物体識別情報、５１ 追跡手段、５３ 正常パターン設定手段、５４ 異常判定手段、５５ 混雑状況検出手段、５６ 稼働状況検出手段、７０ 枠、７１ 設置領域、７２ 出入口領域。
【技術分野】
【０００１】
本発明は、監視空間内の対象物体の移動パターンに基づいて異常行動を検出する異常行動検知装置に関する。
【背景技術】
【０００２】
特許文献１には、画像変化により検出された物体の移動経路、形状特徴量、形状変化率を利用して、監視領域内の不審者及び不審物の有無を検出する監視装置が開示されている。ここで、物体の移動軌跡が予め設定された不審領域を通過しているか、正常領域内にあるか、又は滞留しているかに基づいて不審者や不審物を検出している。
【０００３】
【特許文献１】特開平４−２７３６８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、監視空間において混雑状態や監視空間内の設備の状況が変化すると、この変化に伴って正常な人や物の移動パターンも変化する。したがって、人や物の動きが正常であるか否かを判定するための移動パターンの基準も変更しなければならない。
【０００５】
例えば、自動現金取引装置（ＡＴＭ）が設置された監視空間において、閑散時に人が留まっている場合には異常と判断されるべきであるが、混雑時は待ち行列における正常な滞留が発生する。また、特定の領域への人の侵入や通過が正常であるか否かは混雑状態やＡＴＭの稼働状況によって変化する。
【０００６】
そのため、様々に変化する状況下において予め設定された一定の基準に基づいて判定を行っていると不審者や不審物を検知し損ねる、又は、不審者や不審物でないものを誤検知してしまうおそれがあった。
【０００７】
一方、監視空間の状況変化に応じた判定基準の変化は多岐に亘るため、総ての状況に対応するための判定基準を予め設けておくことは困難である。
【０００８】
本発明は、上記問題を鑑みてなされたものであり、監視空間の状態変化が生じても的確に異常行動を検知できる異常行動検知装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の１つの態様は、監視空間における対象物体を追跡して前記対象物体毎の移動パターンを生成する追跡手段と、前記追跡を参照して、前記監視空間にある前記対象物体の数が所定数未満である閑散状態から前記所定数以上である混雑状態への変化を検出する混雑状況検出手段と、前記混雑状態への変化が検出された時点を開始時点とする所定の設定期間において生成された前記移動パターンを相互に比較して一致頻度を求め、前記一致頻度が所定頻度以上である前記移動パターンを前記混雑状態時の正常パターンとする正常パターン設定手段と、前記混雑状態時の正常パターンを記憶する記憶手段と、前記混雑状態時における前記移動パターンを前記混雑状態時の正常パターンと比較して異常を判定する異常判定手段と、を備えることを特徴とする異常行動検知装置である。
【００１０】
ここで、前記混雑状況検出手段は、前記混雑状態から前記閑散状態への変化をさらに検出し、前記異常判定手段は、前記閑散状態における前記移動パターンを予め定めた閑散状態時の正常パターンと比較して異常を判定することが好適である。
【００１１】
また、前記監視空間に設置され前記対象物体の利用に供される設備の稼働状態の変化を検出する稼働状況検出手段をさらに備え、前記正常パターン設定手段は、前記混雑状態への変化、又は、前記稼働状態の変化が検出された時点を前記開始時点とすることが好適である。
【００１２】
また、前記正常パターン設定手段は、前記混雑状態への変化が検出された後に生成された前記移動パターンの数に応じて前記設定期間の終了を決定することが好適である。
【００１３】
また、前記異常判定手段は、前記正常パターン設定手段において前記一致頻度が前記所定頻度未満であった前記移動パターンを異常と判定することが好適である。
【００１４】
また、前記追跡手段は、前記監視空間を順次撮像する撮像手段により撮像された画像から前記移動パターンを求めることが好適である。
【発明の効果】
【００１５】
本発明によれば、監視空間の状態変化が生じても的確に異常行動を検知できる。
【発明を実施するための最良の形態】
【００１６】
本発明の実施の形態における異常行動検知装置１は、図１に示すように、撮像部２、操作部３、記憶部４、制御部５及び出力部６を含んで構成される。異常行動検知装置１は、監視空間を撮像し、その監視画像を画像処理して不審者や不審物を検知する。撮像部２、操作部３、記憶部４、制御部５及び出力部６は互いに情報伝達可能に接続される。
【００１７】
なお、本実施の形態では、監視空間であるＡＴＭコーナーにおいて対象物体である人の移動パターンを正常パターンと比較することにより、不審者の異常行動を検知する処理を例に説明する。ただし、これに限定されるものではなく、流通化に置かれる商品等の物品、通行する車等の異常行動を検知する場合等にも適用することができる。
【００１８】
撮像部２は、ＣＣＤ素子やＣ−ＭＯＳ素子等の撮像素子、光学系部品、アナログ／デジタル変換器等を含んで構成される所謂監視カメラである。撮像部２は、監視空間を所定時間間隔にて撮像し、その監視画像を制御部５へ順次出力する。以下、この所定時間間隔を時間の単位として時刻と称する。本実施の形態において、撮像部２は、監視空間の天井に光軸を鉛直下方に向けて配置されているものとする。なお、撮像部２は、複数台の監視カメラを含んで構成してもよい。
【００１９】
操作部３は、異常行動検知装置１へ情報を入力するためのキーボードやマウス等の入力装置を含んで構成される。操作部３は、異常行動検知装置１の管理者が各種設定の入力のために用いる。
【００２０】
記憶部４は、ＲＯＭやＲＡＭ等のメモリ装置で構成される。記憶部４は、制御部５からアクセス可能に接続される。記憶部４は、各種プログラム、各種データを記憶する。これら各種プログラムや各種データは、制御部５より読み出されて使用される。各種データには、監視画像、移動パターン４０、正常パターン４１、物体識別情報４２が含まれる。
【００２１】
制御部５は、ＣＰＵ、ＤＳＰ、ＭＣＵ、ＩＣ等の演算回路を含んで構成される。制御部５は、撮像部２、操作部３、記憶部４及び出力部６と情報伝達可能に接続される。制御部５は、追跡手段５１、混雑状況検出手段５５、稼働状況検出手段５６、正常パターン設定手段５３、異常判定手段５４等の各手段での処理を記述したプログラムを記憶部４から読み出して実行することにより信号処理手段として機能する。また、制御部５は、異常判定手段５４としての処理を行った際に異常を検出すると異常信号を出力部６へ出力する。
【００２２】
出力部６は、異常信号が入力されると報知音を出力するスピーカー、ブザー等の音響出力手段を含んでなる。また、異常信号が入力されると異常に係る不審者の移動パターンや画像を表示する表示手段を含んでもよい。
【００２３】
また、コンピュータをネットワークや電話回線に接続するためのインターフェースを含んでもよい。この場合、異常行動検知装置１は、電話回線やインターネット等の情報伝達手段を介して、センタ装置（図示しない）に情報伝達可能に接続される。異常行動検知装置１とセンタ装置とは、電話番号やネットワークアドレスを用いて情報の送受信を行う。なお、センタ装置は、監視員等が滞在する監視センタ等に設置されるホストコンピュータである。センタ装置は、異常行動検知装置１からの通報情報を受信する通信部、通報情報を表示する表示部等を含んで構成される。
【００２４】
以下、異常行動検知装置１における処理について、図１の機能ブロック図並びに図２及び図３のフローチャートを参照しつつ説明する。
【００２５】
異常行動検知装置１に電源が投入されると、各部、各手段としての処理が開始され、所定の初期化が行われる（Ｓ１０）。制御部５は、混雑レベルをＣ０、稼働状態を初期状態、正常パターン４１を稼働状態の閑散時パターンに設定し、設定期間中フラグ及び設定期間終了フラグを０に初期化する。また、監視画像内のＡＴＭの設置領域や出入口領域が記憶部４に記憶されていなければ操作部３等によりこれらを設定させる。各設定の詳細は後述する。
【００２６】
ここで、監視画像から抽出される移動パターンについて説明する。移動パターンとは、対象物体となる人の位置の履歴情報を意味する。監視画像に撮られた人の位置を取得し、人が監視空間に現れてから立ち去るまでの間の各時刻において取得された各人の位置を時系列に並べて移動軌跡を追跡して移動パターンを求める。すなわち、既存の人体領域抽出処理等の画像処理によって監視画像に写された対象物体の位置のｘｙ座標を求め、同一の対象物体として識別された対象物体の位置のｘｙ座標の系列が移動パターンとなる。なお、対象物体の識別は物体識別情報４２に基づいて行うことができる。物体識別情報４２は、対象物体を識別する情報であり、対象物体毎にその人体領域の像から抽出された色ヒストグラム等の画像の特徴量である。物体識別情報４２を対象物体毎に記憶部４に登録し、登録以降の各時刻において抽出された人体領域の像を特徴と比較することによって、各対象物体を識別して追跡処理することができる。
【００２７】
図４（ａ）に正常な移動パターン４０の例を模式的に示す。以下、図４（ａ），図４（ｃ），図５（ｂ），図５（ｃ）における菱形記号の重心が各時刻における対象物体の位置を示すものとする。図４（ａ）では、監視画像の枠７０内において｛（５５，８），（６０，１２），（７５，２８）・・・（４３，１０）｝というｘｙ座標の系列で表される移動パターンが示されている。
【００２８】
また、監視画像には監視空間に設置されたＡＴＭの設置領域７１−１，７１−２，７１−３及び監視空間への出入口領域７２が設定される。設置領域７１や出入口領域７２は、管理者が操作部３を用いて設定することができ、記憶部４に記憶される。
【００２９】
さらに、本実施形態では移動パターン４０のパターンマッチングをより適切に行うために、監視空間が撮像された画像を予め複数の小領域に分割して小領域毎に識別符合を付しておき、上述した対象物体の各位置と対応する小領域の識別符合の系列を移動パターン４０とする。
【００３０】
図４（ｂ）の例では、ｘ軸方向及びｙ軸方向をそれぞれ５分割して２５個の小領域Ａ１〜Ａ２５を設定している。この場合、図４（ａ）に示した移動パターン４０は、図４（ｃ）のように｛Ａ２２，Ａ２３，Ａ１８・・・Ａ２２｝と示すことができる。
【００３１】
このように求められる移動パターン４０のうち正常な対象物体の移動パターン４０を正常パターン４１とする。正常パターン４１とは、監視空間において高頻度に出現する移動パターン４０を意味する。正常パターン４１は複数の移動パターン４０から構成されてもよい。
【００３２】
本実施の形態では、正常な移動パターン４０を公知のＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ：隠れマルコフモデル）によりモデル化し、正常な移動パターン４０に対応するモデルを学習させることで正常パターン４１を生成する。一般的なＨＭＭのモデルは各状態の集合、各状態において観測されるシンボルの集合、及び各状態間を遷移する確率である状態遷移確率、各状態の初期状態確率により構成される。移動パターン４０のＨＭＭによるモデル化は上記各小領域を状態及びシンボルに割り当て、対象物体が各小領域間を移動する確率及び各小領域に留まる確率を状態遷移確率とし、その際のシンボル出力確率及び初期状態確率を定義することにより行うことができる。
【００３３】
図４の例では、状態遷移確率及びシンボル出力確率は２５×２５次元のマトリクスで表され、初期状態確率は２５次元のベクトルで表される。
【００３４】
正常パターン４１の学習は、正常な移動パターン４０をシンボル列として公知のＢａｕｍ−Ｗｅｌｃｈアルゴリズムを適用し、正常な移動パターン４０の生成確率、すなわち、そのシンボル列の生成確率を最大化するようなシンボル出力確率、状態遷移確率及び初期状態確率といった値を算出することにより行うことができる。
【００３５】
図５（ａ）は、図４（ａ）の移動パターン４０で学習させたモデルのイメージ図である。図中、丸印は状態、矢印は状態遷移、矢印に附記された数値は状態遷移確率を示している。例えば、Ａ２３からＡ１８への状態遷移確率、Ａ１８からＡ１３への状態遷移確率・・・Ａ３からＡ３への状態遷移確率等、図４（ａ）の正常な移動パターン４０に対応する部分の状態遷移確率は高い数値を示す。一方、Ａ２３からＡ２４への状態遷移確率、Ａ１３からＡ１３への状態遷移確率・・・等、正常な移動パターン４０と合致しない状態遷移確率は低い数値となる。
【００３６】
なお、ＨＭＭ、後述するＢａｕｍ−Ｗｅｌｃｈアルゴリズム及びＦｏｒｗａｒｄアルゴリズムは論文"A Tutorial on Hidden Markov Model and selected Applications in Speech Recoqnition" L.R.Rabiner, Proceeding if The IEEE, Vol.77, No.2, pp267-295(1989)等に詳説されている。
【００３７】
ここで、監視空間の状態は、ＡＴＭの利用者の待ち行列が発生しない閑散状態と、待ち行列が発生しがちな混雑状態に大別される。上記のとおり、対象物体の正常行動は監視空間の混雑状態やＡＴＭ等のサービス設備の状態によって変化する。本発明では、これらの変化に対応すべく、監視空間の混雑状態及び設備の稼働状態に対応させて正常パターン４１を設定する。このうち、閑散状態に適応させた正常パターン４１を閑散時パターンと称し、混雑状態に適応させた正常パターン４１を混雑時パターンと称する。閑散時パターンは、異常行動検知装置１を設置した際等に予め正常な移動パターン４０を発生させて予め生成及び記憶しておくことが好適である。閑散時の正常な移動パターンは稼働中のＡＴＭを利用する典型的な行動であるため、事前に収集することは容易であり、また、実観測するまでもなく事前のシミュレーションによって得ることもできる。一方、混雑時パターンは、監視空間が混雑状態となる毎に実際に監視空間において得られた移動パターン４０に基づいてその都度生成し、記憶部４に登録される。
【００３８】
初期設定（Ｓ１０）が終了すると、撮像部２から制御部５へ新たな監視画像が入力される毎にステップＳ２０〜Ｓ６０の処理が繰り返される。
【００３９】
新たな画像が入力される（Ｓ１５）と、制御部５の追跡手段５１は、公知の背景差分処理又は公知の相関処理により新たに入力された画像から変化領域を抽出し、抽出された変化領域の画像の特徴量を対象物体毎に登録された物体識別情報４２と比較して一致する変化領域の位置（重心位置）を求め、求められた位置をその対象物体の移動パターン４０に追加記憶させる（Ｓ２０）。
【００４０】
ここで、追跡手段５１は一時刻前まで追跡中であったが現時刻において物体識別情報４２と一致しなくなった対象物体については監視空間から外れてしまったものとして移動パターン４０の生成を完了する。このとき、追跡手段５１は、その移動パターン４０に生成完了時刻として現時刻を関連付けて登録する。これにて、その対象物体は次時刻以降の追跡処理から外される。また、生成された移動パターン４０が異常判定手段５４及び正常パターン設定手段５３へ出力される。
【００４１】
また、追跡手段５１は一時刻前まで追跡中であった対象物体の物体識別情報４２のいずれとも一致しなかった変化領域は、新たに監視空間に現れた対象物体によるものであるとして、その変化領域の位置を初期値とする新たな移動パターン４０を登録する。また、追跡手段５１はその変化領域の画像の特徴量を新たな対象物体の物体識別情報４２として登録する。これにて、その対象物体は次時刻以降の追跡処理の対象となる。
【００４２】
続いて、必要に応じて正常パターン４１の設定処理（Ｓ２５）が行われる。正常パターン４１の設定処理は、図３のサブルーチンに沿って処理される。以下の処理が、状態変化検出手段５２及び正常パターン設定手段５３に相当する。
【００４３】
制御部５は、設定期間終了フラグが１に設定されていれば、設定期間終了フラグを０にリセットするとともに、設定期間中に生成され不要となったデータを初期化、破棄する後処理を行う（Ｓ２５０）。
【００４４】
制御部５の混雑状況検出手段５５は、追跡手段５１による追跡結果を参照して、現時刻における追跡中の移動パターン４０の数から現在の監視空間の混雑レベルを求め、求められた混雑レベルを記憶部４に記憶されている一時刻前の混雑レベルと比較して監視空間の混雑状態の変化の有無を検出する（Ｓ２５１）。
【００４５】
具体的には、混雑状況検出手段５５は、追跡手段５１が現時刻において追跡中の移動パターン４０の数を計数し、計数結果を予め設定された閾値と比較して現時刻の混雑レベルを判定する。
【００４６】
例えば、本実施の形態では、第１の閾値及び第１の閾値より大きな第２の閾値により混雑レベルをＣ０，Ｃ１，Ｃ２の３段階に分類する。対象物体の数が、第１の閾値より小さい場合は閑散状態を示す混雑レベルＣ０とし、第１の閾値以上であり第２の閾値より小さい場合を混雑レベルＣ１とし、第２の閾値以上である場合を混雑レベルＣ２とする。例えば、第１の閾値は待ち行列ができない程度の数に設定し、第２の閾値は待ち行列が定常化する程度の数に設定することが好適である。
【００４７】
また、追跡処理の途中で得られる監視画像の変化領域の数の変化から混雑状態の変化を求めることもできる。また、変化領域の面積を対象物体の単位面積で除して混雑状態の変化を求めることもできる。
【００４８】
さらに、制御部５の稼働状況検出手段５６は、監視画像を分析してＡＴＭの稼働状態を求めるとともに、求められた稼働状態を記憶部４に記憶されている一時刻前の稼働状態と比較して稼働状態の変化の有無を検出する（Ｓ２５１）。
【００４９】
サービス設備であるＡＴＭの設置場所に相当する監視画像内の領域は設置領域としてステップＳ１０にて設定されている。サービス設備においては稼働中と停止中とで異なる画面表示やランプ表示が行われる。稼働状況検出手段５６は、各設置領域の画像変化を検出することによって個々のサービス設備の稼働／停止を検出し、これらの稼働／停止の組み合わせを稼働状態として検出する。また、稼働状態の変化は、サービス設備又はサービス設備を制御するシステム等の外部装置から稼働状態を示す信号を受信することによって検出してもよい。
【００５０】
例えば、図４（ａ）に示した監視画像では、３つのＡＴＭ７１−１，７１−２，７１−３について稼働中又は停止中の稼働状態を求める。すなわち、最大で８通りの稼働状態を採り得ることになり、混雑レベルを３段階に分けた場合には監視空間の状態は最大で２４通りとなる。以下の説明では、稼働状態をＦ１〜Ｆ８で示す。また、混雑状況検出手段５５及び稼働状況検出手段５６は、次時刻での処理のために、現在の混雑レベル及び稼働状態を記憶部４に記憶させる。なお、状態変化が生じたときだけ混雑レベル及び稼働状態を更新するものとしてもよい。
【００５１】
ここで、監視空間が閑散状態から混雑状態へ変化すると、監視空間での待ち行列が発生し、それまで異常行動とされていた位置での滞留等が正常行動となる。また、待ち行列を回避するための変則的な移動も正常行動となる。さらに、待ち行列のでき方は対象物体の個々の判断により様々であり、同じ混雑状態であっても混雑レベルの変化やサービス設備の稼働状態によって影響を受ける。このような多様な正常行動を網羅した正常パターン４１を予め用意しておくことは困難である。一方で混雑状態から閑散状態へ変化すると、待ち行列が発生しなくなり、正常行動が変化する。また、同じ閑散状態であってもサービス設備の稼働状態の変化によって正常行動が変化する。但し、閑散状態では混雑状態とは異なり、短時間で多くの移動パターン４０を得難い。そこで、これらの状態変化に適応した異常判定基準を設定すべく混雑状態変化や稼働状態変化が検出されると、以下の正常パターン設定処理が実行される。
【００５２】
混雑状態及び稼働状態のうち少なくとも一方の変化が検出されると、制御部５の正常パターン設定手段５３は、正常パターン設定処理を開始する。正常パターン設定手段５３は、状態変化があったこと確認すると（Ｓ２５２にてＹＥＳ）、混雑レベルから現在の監視空間が閑散状態（Ｃ０）か混雑状態（Ｃ１，Ｃ２）かを確認する（Ｓ２５３）。
【００５３】
現在の監視空間が閑散状態であれば（Ｓ２５３にてＮＯ）、制御部５は、現在の稼働状態に応じた閑散時パターンのみを有効化することで正常パターン４１を閑散時パターンに切り替える（Ｓ２５４）。また、現在の稼働状態に対応しない閑散時パターンは無効に設定し、混雑時パターンが記憶されていれば破棄する。
【００５４】
例えば、図６（ａ）に示すように閑散時パターンが登録されている場合、現在の稼働状況がＦ１であれば、図６（ｇ）に示すように第１番目及び第２番目の閑散時パターンが有効に設定され、他の閑散時パターンは無効に設定される。
【００５５】
その後、処理をステップＳ３０に移行させる。ここで、ステップＳ２５３にてＮＯであることは、稼働状態が維持された上で混雑状態から閑散状態への移行を示す混雑レベルＣ１又はＣ２からＣ０への変化が生じた、混雑レベルの変化と稼働状態の変化が共に生じた、閑散状態が維持された上で稼働状態の変化が生じたことのいずれかであることを意味する。
【００５６】
一方、現在の監視空間が混雑状態であれば（Ｓ２５３にてＹＥＳ）、ステップＳ２５５にて、制御部５は、設定期間中フラグを１に書き換えることで設定期間の開始を設定する。また、総ての閑散時パターンを無効に設定すると共に、混雑時パターンが記憶されていれば総て破棄する（図６（ａ））。ここで、Ｓ２５３にてＹＥＳであることは、稼働状態が維持された上で閑散状態から混雑状態への移行を示す混雑レベルＣ０からＣ１又はＣ２への変化が生じた、稼働状態が維持された上で混雑の緩和を示す混雑レベルＣ２からＣ１への変化が生じた、上記混雑レベルの変化と稼働状態の変化が共に生じた、一時刻前の混雑レベルが維持された上で稼働状態の変化が生じたことのいずれかであることを意味する。
【００５７】
なお、状態変化がなかった場合（Ｓ２５２にてＮＯ）、ステップＳ２５３からＳ２５５の処理はスキップされる。
【００５８】
続くステップＳ２５６にて、正常パターン設定手段５３は、設定期間中フラグを参照し、フラグが１であれば設定期間中であるとして（Ｓ２５６にてＹＥＳ）、記憶部４を参照してステップＳ２０にて新たに生成完了した移動パターン４０が存在するか否かを確認する（Ｓ２５７）。
【００５９】
新たに生成された移動パターン４０があれば（Ｓ２５７にてＹＥＳ）、正常パターン設定手段５３は、その移動パターン４０と各仮登録パターンとの間の尤度を算出して基準値と比較し（Ｓ２５８）、基準値を超えて一致する仮登録パターンがあれば（Ｓ２５９にてＹＥＳ）、そのうち最も高い尤度が算出された仮登録パターンに関連付けて登録されている一致頻度を１だけ増加させ、一致した移動パターン４０の識別番号のリスト（図６の一致リスト）に新たに一致した移動パターン４０の識別番号を付加する（Ｓ２６０）。
【００６０】
一方、仮登録パターンが未だ登録されていない場合、又は、一致する仮登録パターンがない場合、正常パターン設定手段５３は、新たに生成完了した移動パターン４０で学習させたモデルを新たな仮登録パターンとして記憶部４に追加登録させる（Ｓ２６１）。このとき、その仮登録パターンと関連付けて一致頻度と一致リストも登録する。一致頻度は１に初期化し、一致リストは、その仮登録パターンの学習に用いた移動パターンの識別番号で初期化する。
【００６１】
図６（ｂ）は、１つ目の識別番号＃５０を有する移動パターン４０が第１番目の混雑時パターンとして仮登録された例である。図６（ｃ）は、時刻が進んで、２つ目の識別番号＃５１を有する移動パターン４０が第１番目の混雑時パターンと一致したときの登録例を示す。
【００６２】
こうして、設定期間中に生成完了した移動パターン４０が規定数Ｎに到達するまで、移動パターン４０について相互比較及び一致頻度の計数が繰り返される。移動パターン４０の生成数が規定数Ｎに達すると（Ｓ２６２にてＹＥＳ）、正常パターン設定手段５３は、設定期間の終了を決定し、記憶されている一致頻度のそれぞれを頻度閾値と比較して一致頻度が頻度閾値以上である仮登録パターンを混雑時パターンとして確定させる（Ｓ２６３）。そして、設定期間中フラグを０にリセットし、設定期間終了フラグを１に設定することで設定期間を終了する（Ｓ２６４）。
【００６３】
図６（ｄ）は、ステップＳ２６３の処理直前の仮登録パターンの登録例であり、図６（ｅ）はステップＳ２６３の処理後の登録例を示す。ここで、規定数Ｎは４０、頻度閾値は１０であるとする。第１番目から第３番目の仮登録パターンは一致頻度が頻度閾値以上であるので混雑時パターンとして確定され、第４番の仮登録パターンは一致頻度が頻度閾値未満であるので混雑時パターンとして確定されない。
【００６４】
図７は設定期間を説明する図である。図７の横軸は時間であり、各帯は対象物体毎の監視空間での滞在時間を表している。時刻ＴCにおいて状態変化が検出され設定期間が開始される。時刻Ｔ0は、状態変化の検出後に生成が完了した１個目の移動パターンが新規登録された時刻であり、時刻ＴNは状態変化の検出後にＮ個目の移動パターンの生成が完了した時刻である。すなわち、時刻ＴCから時刻ＴNまでが設定期間となり、この間に生成が完了したハッチングを施した帯で示す移動パターン４０が混雑時の正常パターン４１の設定に用いられる。
【００６５】
以上の処理が終了すると、処理はステップＳ３０へ移行される。以上のように、本実施の形態における異常行動検知装置１では、実際の移動パターン４０に基づいて混雑時の正常パターン４１を設定するので正常パターン４１を予め網羅的に用意しておく必要がなく、混雑状態における多様な異常判定の基準の変化に対応させることができる。また、閑散状態と比べて、混雑状態では短時間に多くの対象物体の移動パターン４０が得られるので正常パターン４１の設定を速やかに行うことができる。
【００６６】
また、設定期間中に生成された移動パターン４０の数が予め定められた規定数Ｎとなった時点で設定期間を終了するので、混雑度が高くなるほど設定期間が短縮され、以下の異常判定処理へ迅速に移行することができる。
【００６７】
また、閑散状態への変化が検出された場合には、閑散状態に適応させ、さらにサービス設備の稼働状態毎に適応させた閑散時パターンに正常パターン４１を切り替えることによって、異常判定処理を的確に行うことができる。また、予め登録された閑散時パターンに切り替えるだけであるため、短時間で多くの移動パターン４０を得難い閑散状態であっても正常パターン４１の設定を速やかに行うことができる。
【００６８】
制御部５は、設定期間中フラグを参照し（Ｓ３０）、フラグが１であれば設定期間中であるとして（Ｓ３０にてＹＥＳ）、異常判定を行わずに処理をステップＳ１５へ戻す。以下の処理が異常判定手段５４に相当する。
【００６９】
一方、設定期間中でない場合（Ｓ３０にてＮＯ）、制御部５は、設定期間終了フラグを参照し（Ｓ３５）、当該フラグが１であれば設定期間終了直後であるとして（Ｓ３５にてＹＥＳ）、設定期間中の移動パターン４０についての異常判定処理を行う（Ｓ４０）。
【００７０】
ステップＳ４０の異常判定処理では、制御部５は、記憶部４に登録されている仮登録パターンの一致頻度を参照して閾値と比較し、一致頻度が閾値未満である仮登録パターンがあれば、当該仮登録パターンに関連付けて登録されている識別番号で特定される移動パターンが異常であったと判定する。異常の場合には異常信号を出力部６へ出力する。例えば、図６の例では、識別番号＃７８の移動パターンが異常であったと判定される。
【００７１】
なお、一時刻後のＳ２５０において、設定期間終了フラグはリセットされ、図６（ｅ）のテーブルで利用状態が破棄となっている第４番目の混雑時パターンは記憶部４から削除され（図６（ｆ））、一致頻度及び一致リストのデータはクリアされる。
【００７２】
また、設定期間中でも設定期間終了直後でもない場合（Ｓ３５にてＮＯ）、制御部５は、記憶部４を参照してステップＳ２０において新たに生成完了した移動パターンがあるか否かを確認し（Ｓ４５）、該当する移動パターン４０があればその移動パターン４０についての異常判定処理を行う（Ｓ５０）。
【００７３】
制御部５は、その移動パターン４０を現在有効である正常パターン４１と比較し、一致しない場合には異常と判断して異常信号を出力部６へ出力する。
【００７４】
具体的には、ステップＳ２０において生成された移動パターン４０と正常パターン４１として設定されている各モデルに公知のＦｏｒｗａｒｄアルゴリズムを適用する。各正常パターン４１を参照し、移動パターン４０に含まれる状態（対象物体の位置）とその遷移に対応する状態遷移確率を求め、移動パターン４０に含まれる総ての状態及び遷移についての状態遷移確率を乗算して尤度を算出する。各正常パターン４１に対する移動パターン４０の尤度を算出し、算出された各尤度を予め定めた判定閾値と比較し、いずれかの尤度が判定閾値以上であれば移動パターン４０は正常パターン４１と一致したと判定し、いずれの尤度も判定閾値未満であれば移動パターン４０は正常パターン４１と一致しないと判定する。
【００７５】
図５（ｂ），（ｃ）は、異常な移動パターン４０の例である。図５（ｂ）の移動パターン４０は、図４（ａ）の正常な移動パターン４０と異なりＡＴＭを利用する経路とは外れた経路を通っている。図５（ａ）のモデルに対する図５（ｂ）の移動パターン４０の尤度を求めると、Ａ２３からＡ２４への状態遷移確率やＡ２４からＡ２５の状態遷移確率が低く、これらにより尤度が低下し、移動パターン４０と正常パターン４１とは一致しないと判断される。図５（ｃ）の移動パターン４０は、図４（ａ）の正常パターン４１と重なる経路を通っているが、小領域Ａ１３で滞留しているため、Ａ１３からＡ１３への状態遷移確率が繰り返し乗算されることになり尤度が低下し、移動パターン４０と正常パターン４１とは一致しないと判断される。
【００７６】
なお、パターンマッチングの方法は本実施の形態で説明した方法に限定されるものではなく、ＤＰマッチング等の他のパターンマッチング法を適用してもよい。
【００７７】
Ｓ４０又はＳ５０にて異常が判定された場合（Ｓ５５）、制御部５は、生成された異常信号を出力部６へ出力する。異常信号が入力されると、出力部６は警告音を鳴らして管理者に注意を促す。また、異常と判定された移動パターン４０や移動パターン４０が追跡されたときに画像を表示して管理者による状況把握を可能としてもよい。さらに、電話回線やインターネット等の情報伝達手段を介して、センタ装置に異常信号を送信し、遠隔に居る管理者に異常を伝えるようにしてもよい。
【００７８】
なお、本実施の形態では追跡処理を画像に基づいて行うものとしたが、これに限定されるものではない。例えば、対象物体に装着したアクティブタグ、ＧＰＳ端末等の無線通信端末と無線通信を行うことによって対象物体の位置を検出して追跡を行うこともできる。この場合、物体識別情報４２は予め記憶させた無線通信端末のＩＤ番号とし、そのＩＤ番号に基づいて対象物体を特定して追跡することによって移動パターン４０を得ることができる。
【００７９】
また、移動パターン４０として、対象物体の位置及び遷移の情報に加えて、各位置における速さを加えて異常判定を行うようにしてもよい。速さは、前後する時刻の対象物体の位置から求めることができる。そして、各位置における対象物体の動きを動・静に分けて、正常パターン４１では位置、遷移及び動きの組み合わせのそれぞれについて遷移確率を設定してマッチングを行うようにしてもよい。
【００８０】
また、本実施の形態では、仮登録パターンを介在させて設定期間中に生成完了した移動パターン４０を相互に比較した（Ｓ２５８〜Ｓ２６１）。別の実施の形態では、設定期間中に生成完了した移動パターン４０を総当たりで比較して相互比較を行うこともできる。
【００８１】
また、本実施の形態では、設定期間の長さを可変としたが、別の実施形態では、設定期間の長さを予め定めた長さとすることもできる。
【００８２】
また、本実施の形態では、異常行動検知装置１の各部の機能を１つのコンピュータで実現する態様を説明したがこれに限定されるものではない。異常行動検知装置１の各部の機能は一般的なコンピュータをプログラムにより制御することによって実現できるものであり、これらの装置の各機能を適宜組み合わせて１つのコンピュータで処理させてもよいし、各機能をネットワーク等で接続された複数のコンピュータで分散処理させてもよい。
【図面の簡単な説明】
【００８３】
【図１】本発明の実施の形態における異常行動検知装置の構成を示す機能ブロック図である。
【図２】本発明の実施の形態における異常行動検知装置における処理を示すフローチャートである。
【図３】本発明の実施の形態における異常行動検知装置における処理を示すサブルーチンのフローチャートである。
【図４】本発明の実施の形態における異常行動検知処理を説明する図である。
【図５】本発明の実施の形態における異常行動検知処理を説明する図である。
【図６】本発明の実施の形態における正常パターンの登録例を示す図である。
【図７】本発明の実施の形態における設定期間を説明する図である。
【符号の説明】
【００８４】
１ 異常行動検知装置、２ 撮像部、３ 操作部、４ 記憶部、５ 制御部、６ 出力部、４０ 移動パターン、４１ 正常パターン、４２ 物体識別情報、５１ 追跡手段、５３ 正常パターン設定手段、５４ 異常判定手段、５５ 混雑状況検出手段、５６ 稼働状況検出手段、７０ 枠、７１ 設置領域、７２ 出入口領域。
【特許請求の範囲】
【請求項１】
監視空間における対象物体を追跡して前記対象物体毎の移動パターンを生成する追跡手段と、
前記追跡を参照して、前記監視空間にある前記対象物体の数が所定数未満である閑散状態から前記所定数以上である混雑状態への変化を検出する混雑状況検出手段と、
前記混雑状態への変化が検出された時点を開始時点とする所定の設定期間において生成された前記移動パターンを相互に比較して一致頻度を求め、前記一致頻度が所定頻度以上である前記移動パターンを前記混雑状態時の正常パターンとする正常パターン設定手段と、
前記混雑状態時の正常パターンを記憶する記憶手段と、
前記混雑状態時における前記移動パターンを前記混雑状態時の正常パターンと比較して異常を判定する異常判定手段と、
を備えることを特徴とする異常行動検知装置。
【請求項２】
請求項１に記載の異常行動検知装置であって、
前記混雑状況検出手段は、前記混雑状態から前記閑散状態への変化をさらに検出し、
前記異常判定手段は、前記閑散状態における前記移動パターンを予め定めた閑散状態時の正常パターンと比較して異常を判定することを特徴とする異常行動検知装置。
【請求項３】
請求項１又は２に記載の異常行動検知装置であって、
前記監視空間に設置され前記対象物体の利用に供される設備の稼働状態の変化を検出する稼働状況検出手段をさらに備え、
前記正常パターン設定手段は、前記混雑状態への変化、又は、前記稼働状態の変化が検出された時点を前記開始時点とすることを特徴とする異常行動検知装置。
【請求項４】
請求項１から３のいずれか１つに記載の異常行動検知装置であって、
前記正常パターン設定手段は、前記混雑状態への変化が検出された後に生成された前記移動パターンの数に応じて前記設定期間の終了を決定することを特徴とする異常行動検知装置。
【請求項５】
請求項１から４のいずれか１つに記載の異常行動検知装置であって、
前記異常判定手段は、前記正常パターン設定手段において前記一致頻度が前記所定頻度未満であった前記移動パターンを異常と判定することを特徴とする異常行動検知装置。
【請求項６】
請求項１から５のいずれか１つに記載の異常行動検知装置であって、
前記追跡手段は、前記監視空間を順次撮像する撮像手段により撮像された画像から前記移動パターンを求めることを特徴する異常行動検知装置。
【請求項１】
監視空間における対象物体を追跡して前記対象物体毎の移動パターンを生成する追跡手段と、
前記追跡を参照して、前記監視空間にある前記対象物体の数が所定数未満である閑散状態から前記所定数以上である混雑状態への変化を検出する混雑状況検出手段と、
前記混雑状態への変化が検出された時点を開始時点とする所定の設定期間において生成された前記移動パターンを相互に比較して一致頻度を求め、前記一致頻度が所定頻度以上である前記移動パターンを前記混雑状態時の正常パターンとする正常パターン設定手段と、
前記混雑状態時の正常パターンを記憶する記憶手段と、
前記混雑状態時における前記移動パターンを前記混雑状態時の正常パターンと比較して異常を判定する異常判定手段と、
を備えることを特徴とする異常行動検知装置。
【請求項２】
請求項１に記載の異常行動検知装置であって、
前記混雑状況検出手段は、前記混雑状態から前記閑散状態への変化をさらに検出し、
前記異常判定手段は、前記閑散状態における前記移動パターンを予め定めた閑散状態時の正常パターンと比較して異常を判定することを特徴とする異常行動検知装置。
【請求項３】
請求項１又は２に記載の異常行動検知装置であって、
前記監視空間に設置され前記対象物体の利用に供される設備の稼働状態の変化を検出する稼働状況検出手段をさらに備え、
前記正常パターン設定手段は、前記混雑状態への変化、又は、前記稼働状態の変化が検出された時点を前記開始時点とすることを特徴とする異常行動検知装置。
【請求項４】
請求項１から３のいずれか１つに記載の異常行動検知装置であって、
前記正常パターン設定手段は、前記混雑状態への変化が検出された後に生成された前記移動パターンの数に応じて前記設定期間の終了を決定することを特徴とする異常行動検知装置。
【請求項５】
請求項１から４のいずれか１つに記載の異常行動検知装置であって、
前記異常判定手段は、前記正常パターン設定手段において前記一致頻度が前記所定頻度未満であった前記移動パターンを異常と判定することを特徴とする異常行動検知装置。
【請求項６】
請求項１から５のいずれか１つに記載の異常行動検知装置であって、
前記追跡手段は、前記監視空間を順次撮像する撮像手段により撮像された画像から前記移動パターンを求めることを特徴する異常行動検知装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−７２７８２（Ｐ２０１０−７２７８２Ａ）
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願番号】特願２００８−２３７４０６（Ｐ２００８−２３７４０６）
【出願日】平成２０年９月１７日（２００８．９．１７）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
【公開日】平成２２年４月２日（２０１０．４．２）
【国際特許分類】
【出願日】平成２０年９月１７日（２００８．９．１７）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
[ Back to top ]