異常検知装置
【課題】監視空間に元々存在していた椅子等が動かされてもこれを不審物の持ち込み等の異常と誤検知しないこと。
【解決手段】変化領域抽出手段４１は撮像部２から入力される入力画像を背景画像３０と比較して変化領域を抽出し、追跡手段４２は変化領域の追跡を行って変化領域ごとの軌跡３１を検出し、領域分類手段４３は軌跡３１を分析して変化領域を移動領域と静止領域に分類し、派生判定手段４４は移動領域と静止領域の間の離間度を算出して派生判定値未満の前記離間度が算出された移動領域と静止領域の間に派生関係を設定し、異常判定手段４５は同一の移動領域に対して派生関係が設定された静止領域のペアを検出し、ペアを除いて異常候補領域を設定し、異常候補領域の軌跡３１が所定時点を超えて検出されている場合に異常信号を出力する。
【解決手段】変化領域抽出手段４１は撮像部２から入力される入力画像を背景画像３０と比較して変化領域を抽出し、追跡手段４２は変化領域の追跡を行って変化領域ごとの軌跡３１を検出し、領域分類手段４３は軌跡３１を分析して変化領域を移動領域と静止領域に分類し、派生判定手段４４は移動領域と静止領域の間の離間度を算出して派生判定値未満の前記離間度が算出された移動領域と静止領域の間に派生関係を設定し、異常判定手段４５は同一の移動領域に対して派生関係が設定された静止領域のペアを検出し、ペアを除いて異常候補領域を設定し、異常候補領域の軌跡３１が所定時点を超えて検出されている場合に異常信号を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視空間が撮像された画像から異常を検知する異常検知装置に関し、特に不審者による不審物の持ち込み、不審者による物品の持ち去り等の異常を検知する異常検知装置に関する。
【背景技術】
【０００２】
駅や空港など有人の監視空間における防犯を目的として、放置された危険物や忘れ物といった不審物の存在を監視画像から検知する装置が提案されている。
【０００３】
特許文献１には、入力画像と背景画像の差を順次求めて比較することにより人物像から分離した荷物像を検出し、検出された荷物像の放置時間を計測して放置時間が所定時間を経過したときに警告を発する画像監視システムが記載されている。
【０００４】
つまり、背景画像に対する変化領域が人物の像の近傍の同じ位置に一定時間以上検出され続けていることをもって異常を検知することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１−２４５３９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところが有人の監視空間では元々当該空間に存在していた椅子等が当該空間内で動かされることがある。これら椅子などの物体は、その像が背景の一部として背景画像中に含まれていることから、以下では背景物と称する。背景物が動かされたときも不審物のときと同様に、変化領域が人物の像の近傍の同じ位置に一定時間以上検出され続ける。そのため、背景物の移動を異常と誤検知してしまう問題があった。
【０００７】
誤検知があると監視員に余分な確認作業や対処作業が発生して監視効率を大幅に低下させてしまう。しかも背景物が動かされると、背景物による変化領域は移動元と移動先の２箇所に検出され続けるため、誤検知に伴う監視員の作業は倍増する。
【０００８】
また、背景物による変化領域がいつまでも検出され続けていると、同領域が新たな不審物の持ち込み等の異常を検知できない不感知領域となる問題があった。しかも不感知領域は背景物の移動元と移動先の２箇所に発生する。
【０００９】
本発明は、上記問題を鑑みてなされたものであり、背景物の移動を異常と誤検知せず、監視空間に発生した異常を高精度に検知できる異常検知装置を提供することを目的とする。また、本発明の別の目的は移動した背景物により生じる不感知領域を迅速に排除して、監視空間に発生した異常を高精度に検知できる異常検知装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明にかかる異常検知装置は、監視空間を所定時間おきに撮像する撮像部と、監視空間の背景が撮像された背景画像を記憶している記憶部と、撮像部から入力される入力画像を背景画像と比較して変化領域を抽出する変化領域抽出手段と、前後する時刻に抽出された変化領域内の入力画像を比較して変化領域の追跡を行い、追跡された変化領域ごとの軌跡を検出する追跡手段と、軌跡から移動量を検出し、変化領域を移動量が検出された移動領域と移動量が検出されない静止領域に分類する領域分類手段と、移動領域と静止領域との間の離間度を算出し、派生判定値未満の離間度が算出された移動領域と静止領域の間に派生関係を設定する派生判定手段と、静止領域を異常候補領域に設定し、所定時点において異常候補領域がある場合に異常信号を出力する異常判定手段と、を備え、異常判定手段は、同一の移動領域に対して派生関係が設定された静止領域のペアを検出し、前記ペアを除いて異常候補領域を設定することを特徴とする。
【００１１】
監視空間内の人物が背景物を動かすと、当該人物による変化領域は移動領域に分類され、当該背景物による移動元と移動先の変化領域は静止領域に分類される。そして、背景物の移動元の静止領域と移動先の静止領域は、共に同一の移動領域との派生関係が設定されるためペアとして検出され、異常の判定対象から除外される。
よって上記構成によれば、監視空間内の人物が背景物を移動させても当該背景物の移動元と移動先にて抽出される変化領域を不審物の持ち込み等による異常として誤検知しないので、高精度に異常を検知することが可能となる。
【００１２】
また、本発明の好適な態様においては、異常判定手段は、前記ペアの一方における背景画像と当該ペアの他方における入力画像とを照合し、照合一致した場合に当該ペアを除いて異常候補領域を設定する。
【００１３】
動かされた背景物の像は、移動元の静止領域における背景画像と移動先の静止領域における入力画像に撮像されているため、上記照合により一致が得られる。そのため動かされた背景物によるペアは異常の判定対象から除外される。
一方、一人の不審者が複数の不審物を放置したことでペアが検出された場合、複数の不審物が類似していなければ上記照合で一致は得られないし、複数の不審物が類似していたとしてもこれらの不審物の像はどちらもペアの静止領域における入力画像に撮像されているため上記照合で一致は得られない。そのため不審物によるペアは異常の判定対象から除外されない。
よって上記構成によれば、不審物によるペアを異常の判定対象から除外することなく、背景物によるペアを異常の判定対象から除外できるので、高精度に異常を検知することが可能となる。
【００１４】
また、本発明の好適な態様においては、背景画像のうち前記ペアと対応する部分を入力画像により更新する背景画像生成手段、をさらに備える。
かかる構成によれば、動かされた背景物により抽出されていた変化領域が更新以降は抽出されなくなるので、当該領域において生じる新たな異常を検知できる。
【００１５】
また、本発明の好適な態様においては、異常判定手段は、派生関係が設定されていない静止領域をさらに除いて異常候補領域を設定する。
かかる構成によれば、窓から差し込んだ光等、不審者と関係なく生じた静止領域が異常の判定対象から除外されるので、高精度に異常を検知することが可能となる。
【００１６】
また、本発明の好適な態様においては、所定時点は、異常候補領域との間に派生関係が設定されている移動領域の軌跡が検出されなくなった消失時点とされる。
かかる構成によれば、不審者が視野外に消えた時点で異常を検知できるので、迅速に異常を検知できる。
【００１７】
また、本発明の好適な態様においては、前記所定時点は、前記消失時点、又は異常候補領域の軌跡が検出され始めてから予め設定された放置判定時間が経過した経過時点のいずれかとされる。
かかる構成によれば、不審者が視野内に長時間滞留していても視野外に消えるのを待たずに異常を検知できるので、迅速に異常を検知できる。
【００１８】
また、本発明の好適な態様においては、派生判定手段は、静止領域の位置と、当該静止領域が新規に抽出される直前時刻に抽出された移動領域の位置との間で離間度を算出する。
静止領域は新規に抽出される直前時刻において派生元の移動領域の一部として抽出されるため、かかる構成によれば、複数の人物が静止領域の周辺を通過しても正しい派生関係が設定され、正しいペアが検出される。よって、高精度に異常を検知することが可能となる。
【発明の効果】
【００１９】
本発明によれば、背景物の移動があっても不審者により発生した異常を高い確度で検知できる異常検知装置を提供することが可能となる。
【図面の簡単な説明】
【００２０】
【図１】異常検知装置の機能ブロック図を示す図面である。
【図２】処理中の画像等の一例を示す図である。
【図３】処理中の画像等の一例を示す図である。
【図４】領域属性情報の一例を示す図である。
【図５】異常検知処理のフローチャートを示す図である。
【図６】領域判別処理のフローチャートの一部を示す図である。
【図７】領域判別処理のフローチャートの別の一部を示す図である。
【発明を実施するための形態】
【００２１】
本発明の好適な実施形態の一例として、不特定多数の施設利用者が行き交う待合室を監視空間とし、不審物の持ち込みや物品の持ち去りを異常として検知する異常検知装置について説明する。
【００２２】
［異常検知装置１の構成］
異常検知装置１の機能ブロック図を図１に示す。異常検知装置１は、撮像部２、記憶部３、表示部５及び記録装置６が制御部４に接続されて構成される。
【００２３】
撮像部２は所謂監視カメラである。撮像部２は、監視空間を所定時間間隔にて撮像した画像を順次、制御部４へ入力する。以下、制御部４に入力される画像を入力画像と称し、上記時間間隔で刻まれる時間単位を時刻と称する。
【００２４】
記憶部３は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ装置である。記憶部３は、各種プログラムや各種データを記憶し、制御部４との間でこれらの情報を入出力する。各種データには、背景画像３０、軌跡３１、参照特徴量３２及び領域属性情報３３が含まれる。
【００２５】
背景画像３０は正常時の監視空間の背景のみが撮像されている画像である。つまり背景画像３０には不審物の像や施設利用者の像が含まれていない。背景画像３０は異常検知処理に先立って生成され、記憶される。
【００２６】
背景画像３０は各時刻の入力画像と比較され、両画像間で相違する領域が変化領域として抽出される。そして、後述する追跡手段４２により、前後する時刻に抽出された変化領域のうち特徴が類似する変化領域が同定され、同定された変化領域同士には同一要因により生じた変化領域であるとして同一の領域ＩＤが付与される。領域ＩＤは要因を識別する数値や文字列等である。こうして不審物により生じた一連の変化領域、施設利用者により生じた一連の変化領域、動かされた背景物等により生じた一連の変化領域等はそれぞれに異なる領域ＩＤが付与されて追跡される。
【００２７】
軌跡３１は追跡された変化領域ごとの位置の履歴である。具体的には、変化領域の重心位置を時系列に並べたデータと当該変化領域を識別する領域ＩＤとが対応付けて記憶される。また軌跡３１は変化領域を同定するためにも用いられる。
【００２８】
参照特徴量３２は、各変化領域を特徴付ける色ヒストグラムなどの画像特徴量であり、当該変化領域内の入力画像から抽出され、当該変化領域の領域ＩＤと対応付けて記憶される。参照特徴量３２は変化領域を同定するために用いられる。
画像特徴量としては、色ヒストグラム以外にもエッジ点数、代表色又はこれらのうち２以上の組み合わせなど種々の特徴量を採用することができる。
【００２９】
領域属性情報３３は、変化領域の領域ＩＤと、当該変化領域について判別された属性とが対応付けられて記憶された情報である。属性には領域種別と派生関係の情報が含まれる。図４は、領域属性情報３３の一例を示したものである。
領域種別には、動きのある移動領域、動きのない静止領域、他の変化領域から派生した派生領域、異常の可能性がある異常候補領域、異常が判定された異常領域（不審物によるものと判定された不審物領域）、背景物によるものと判定された背景物領域、ノイズによるものと判定されたノイズ領域がある。派生関係の情報は、具体的には派生元の変化領域の領域ＩＤであり、領域種別が派生領域である変化領域について記憶される。本例では派生先の変化領域に派生元欄を設けているが、派生元の変化領域に派生先欄を設けてもよい。
【００３０】
制御部４は、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置である。制御部４は、背景画像生成手段４０、変化領域抽出４１、追跡手段４２、領域分類手段４３、派生判定手段４４、異常判定手段４５等の動作を記述したプログラムを記憶部３から読み出して実行することにより各手段として機能する。制御部４は、撮像部２から入力された画像（以下、入力画像と称する）を処理して不審者の関与により発生した異常を検知し、検知した異常に関する異常信号を表示部５及び記録装置６に出力する。また制御部４は、不図示の時計手段を備え、時計手段から現在の日時を取得することができる。
【００３１】
背景画像生成手段４０は、監視空間に不審物及び施設利用者が存在しないときに撮像された入力画像の全体を背景画像３０として記憶部３に記憶させる。また、背景画像生成手段４０は、以下のように入力画像を部分的に背景画像３０に合成することで背景画像３０を更新する。
【００３２】
第１に背景画像生成手段４０は、各時刻において、背景画像３０のうち入力画像との間で変化領域が抽出されなかった部分に入力画像を合成することで背景画像３０を更新する。合成は重み付け平均処理又は置換処理により行われる。この更新により刻々と変化する照明環境に背景画像３０を最大限適応させることができる。よって照明変動による画像変化を誤抽出しにくくなり、異常検知の精度が向上する。
【００３３】
第２に背景画像生成手段４０は、背景画像３０のうち、異常判定手段４５にて異常候補領域から除外された変化領域と対応する部分に入力画像を合成することで背景画像３０を更新する。更新対象となる部分は背景物領域及びノイズ領域である。この更新により同部分が不感知領域とならず、同部分において生じる新たな異常を検知できる。合成は重み付け平均処理又は置換処理により行われる。
【００３４】
変化領域抽出手段４１は、各時刻の入力画像を背景画像３０と比較して変化領域を抽出し、抽出した変化領域の情報を追跡手段４２に出力する。
【００３５】
変化領域抽出手段４１は背景差分処理を行って変化領域を抽出する。すなわち変化領域抽出手段４１は、入力画像と背景画像３０の対応する画素ごとに画素値の差の絶対値が予め設定された差分閾値以上である画素を検出し、近接して検出された画素を変化領域としてまとめる。
別の実施形態において変化領域抽出手段４１は背景相関処理を行って変化領域を抽出する。この場合、変化領域抽出手段４１は、入力画像の各画素と当該画素に対応する背景画像３０の画素との相関値を求め、相関値が予め設定された相関閾値未満の画素のうち互いに近接する画素を変化領域としてまとめる。
【００３６】
追跡手段４２は、前後する時刻に抽出された変化領域内の入力画像を比較して変化領域の同定を行い、同定された変化領域ごとの軌跡３１を検出する。このような処理は一般に追跡処理と呼ばれる。
【００３７】
追跡手段４２は各時刻において同定を行い、追跡処理を逐次的に進捗させる。すなわち追跡手段４２は、現時刻に抽出された変化領域の画像特徴量及び重心位置を過去の変化領域ごとに記憶されている参照特徴量３２及び軌跡３１と比較し、特徴量が類似しており位置の整合性ある変化領域同士を同じ要因により生じた変化領域と同定し、現時刻の変化領域の重心位置を同定された軌跡３１に追記し、現時刻の変化領域の画像特徴量で同定された参照特徴量３２を更新する。
【００３８】
図２及び図３は、異常検知装置１により処理されるデータを例示したものである。
【００３９】
画像７０〜７５は、時刻ｔ〜ｔ＋５の各時刻において撮像された入力画像である。入力画像には、人物ａ、椅子ｂ、人物ｃ、鞄ｄが撮像されている。
【００４０】
画像３００〜３０５は時刻ｔ〜ｔ＋５において記憶される背景画像３０である。画像３００〜３０５には背景物である椅子ｂの像が含まれている。
【００４１】
画像８０〜８５は入力画像７０〜７５とそれぞれに対応する時刻の背景画像３００〜３０５との差分画像である。差分画像には変化領域の情報が含まれている。
【００４２】
グラフ３２０〜３２５は時刻ｔ〜ｔ＋５の各時刻において記憶される軌跡３１である。軌跡３１は実際には座標の時系列データであるが、理解補助のためグラフとして図示している。
【００４３】
人物ａは、時刻ｔに監視空間に現れ、時刻ｔ＋４まで監視空間内を移動して監視空間外へと去っていった。人物ａはその位置を変えつつ入力画像７０〜７４に撮像され、人物ａについての変化領域８０Ａ，８１Ａ，８２Ａ，８３Ａ，８４Ａが時刻ｔ〜ｔ＋４の各時刻において抽出された。これらの変化領域は領域Ａ（領域ＩＤ「Ａ」で識別される変化領域群）として追跡され、領域Ａの軌跡３２０Ａ，３２１Ａ，３２２Ａ，３２３Ａ，３２４Ａが検出された。
【００４４】
椅子ｂは時刻ｔ〜ｔ＋５の間ずっと監視空間内に存在していた。但し、椅子ｂは人物ａにより時刻ｔ＋２に元の位置から動かされ、時刻ｔ＋４に放置された。その結果、椅子ｂの移動元の位置には変化領域８２Ｂ，８３Ｂ，８４Ｂが抽出された。これらの変化領域は領域Ｂ（領域ＩＤ「Ｂ」で識別される変化領域群）として追跡され、領域Ｂの軌跡３２２Ｂ，３２３Ｂ，３２４Ｂが検出された。また、もう１つの結果として、椅子ｂの移動先の位置には変化領域８４Ｅが抽出された。この変化領域は領域Ｂとは別の領域Ｅ（領域ＩＤ「Ｅ」で識別される変化領域）として追跡され、領域Ｅの軌跡３２４Ｅが検出された。
【００４５】
人物ｃは、時刻ｔ＋２に監視空間に現れ、時刻ｔ＋４まで監視空間内を移動して監視空間外へと去っていった。人物ｃはその位置を変えつつ入力画像７２〜７４に撮像され、人物ｃについての変化領域８２Ｃ，８３Ｃ，８４Ｃが時刻ｔ＋２〜ｔ＋４の各時刻において抽出された。これらの変化領域は領域Ｃ（領域ＩＤ「Ｃ」で識別される変化領域群）として追跡され、領域Ｃの軌跡３２２Ｃ，３２３Ｃ，３２４Ｃが検出された。
【００４６】
鞄ｄは、人物ｃに携えられて時刻ｔ＋２に監視空間に現れ、時刻ｔ＋４に監視空間内に放置された。鞄ｄは監視空間に持ち込まれた不審物であり、人物ｃは不審物を持ち込んだ不審者である。時刻ｔ＋２〜ｔ＋３においては、鞄ｄの像は人物ｃの像の一部として撮像されていたため、人物ｃによる領域Ｃは追跡されたが鞄ｄに関する追跡は行われなかった。放置後の時刻ｔ＋４以降においては、鞄ｄの単独の変化領域８４Ｄ，８５Ｄが抽出され、これらの変化領域は領域Ｃとは別の領域Ｄ（領域ＩＤ「Ｄ」で識別される変化領域群）として追跡され、領域Ｄの軌跡３２４Ｄ，３２５Ｄが検出された。
【００４７】
領域分類手段４３は、各変化領域の軌跡３１から当該変化領域の移動量を算出して静止判定量と比較し、各変化領域を、移動量が静止判定量以上の移動領域と、移動量が静止判定量未満の静止領域に分類し、分類結果を領域属性情報３３に記憶させる。移動量は、各変化領域の軌跡３１を構成する時系列データのうち連続するデータ間の距離を順次算出して累積した総移動距離として算出される。静止判定量には変化領域の抽出誤差を移動と判定しない範囲でできる限り０に近い値が予め設定される。静止領域は実質的な移動量が検出されなかった変化領域ということになる。
【００４８】
施設利用者により生じた変化領域は移動領域に分類される。施設利用者の中には不審者が含まれている可能性がある。一方、不審物や背景物により生じた変化領域は静止領域に分類される。但し、施設利用者により運ばれている不審物や背景物の像は施設利用者の像と一体化し、一体化した像においては施設利用者の像が支配的であるため、一体化した像による変化領域は施設利用者の変化領域として同定される。
【００４９】
図２及び図３の例では、領域Ａと領域Ｃが移動領域に分類され、領域Ｂと領域Ｄと領域Ｅが静止領域に分類され、その結果、各時刻における領域属性情報３３の内容は図４に示したようなものとなる。尚、図４の例において、移動領域は出現当初の時刻においては移動量が確認できないため便宜上一時的に静止領域としている（時刻ｔにおける領域Ａ、及び時刻ｔ＋２における領域Ｃ）。
【００５０】
派生判定手段４４は、移動領域に分類された変化領域と静止領域に分類された変化領域の間で位置の離間度を算出し、派生判定値未満の離間度が算出された移動領域と静止領域の間に当該移動領域が当該静止領域の派生元であるとの派生関係を判定し、判定した派生関係を領域属性情報３３に書き込む。
【００５１】
派生判定手段４４は、静止領域と、当該静止領域が新規に検出される直前時刻の移動領域との重複率の逆数を離間度として算出する、或いは同様の重複率を１から減じた値を離間度として算出する。派生判定値には変化領域の抽出誤差を重複とみなさない程度の範囲で１に近い値が予め設定される。
上記時間的制約は、静止領域と当該静止領域を生じさせた移動領域の間に正しく派生関係を判定するための制約である。監視空間には複数の施設利用者が往来しているため、静止領域を不審物や背景物とは無関係の施設利用者が通過することもしばしば起こるが、移動領域から派生した静止領域であれば新規に検出される直前には派生元の移動領域の一部として検出されていたはずである。そのため上記時間的制約により静止領域を通過しただけの移動領域に誤った派生関係を判定せず、真の派生関係を判定することができる。
【００５２】
また別の実施形態において派生判定手段４４は、移動領域の軌跡３１から静止領域の軌跡３１までの距離を離間度として算出する。この場合も、移動領域の軌跡３１のうち静止領域の軌跡３１が検出され始めた直前時刻と対応する区間を用いて距離を算出するよう、時間的制約を設けることで静止領域を通過しただけの移動領域に誤った派生関係を判定せず、真の派生関係を判定することができる。
軌跡間の距離を離間度として算出する場合、派生判定値には人間の平均身長の２分の１程度の値が設定される。このとき、派生判定値を画像内の位置の関数として記憶しておき、派生判定手段４４は移動領域の位置に応じた派生判定値を読み出すことで画像内の位置による見かけ大きさの変化に適応した正確な派生判定を行なうことができる。また派生判定手段４４は移動領域の長軸長を計測して、長軸長の２分の１の長さを当該移動領域についての派生判定値に設定してもよい。こうすることで、画像内の位置による見かけの大きさの変化や個人差に適応した正確な派生判定を行なうことができる。
【００５３】
典型的には次のように施設利用者の行動に由来して生じた静止領域に対して派生関係が判定される。すなわち、派生関係が判定される典型的な事象としては（１）施設利用者が持込物を放置した、（２）施設利用者が背景物を持ち出した、（３）施設利用者が背景物に落書きをした、（４）施設利用者が背景物を移動させた、等が挙げられる。このうち（１）〜（３）は異常として検知されるべき事象であり、（１）〜（３）の施設利用者は不審者である。一方、（４）は異常ではないとして検知対象から除外されるべき事象である。
【００５４】
図２及び図３の例では、領域８２Ｂと領域８１Ａの離間度或いは軌跡３２２Ｂと軌跡３２１Ａの離間度が派生判定値未満であることから領域Ａを派生元とし領域Ｂを派生先とする派生関係が判定され、領域８４Ｅと領域８３Ａの離間度或いは軌跡３２４Ｅと軌跡３２３Ａの離間度が派生判定値未満であることから領域Ａを派生元とし領域Ｅを派生先とする派生関係が判定され、領域８４Ｄと領域８３Ｃの離間度或いは軌跡３２４Ｄと軌跡３２３Ｃの離間度が派生判定値未満であることから領域Ｃを派生元とし領域Ｄを派生先とする派生関係が判定される。その結果、各時刻における領域属性情報３３の内容は図４に示したようなものとなる。
【００５５】
異常判定手段４５は、追跡手段４２、領域分類手段４３及び派生判定手段４４による各変化領域の分析結果を総合判定して、不審者の関与により発生した変化領域があると判定すると、異常信号を出力する。そのために、異常判定手段４５は、所定条件を満たす変化領域を異常候補領域に設定して経過を観察し、設定後の所定時点においてもなお異常候補領域に設定され続けている変化領域を不審者の関与により発生した異常な変化領域と判定する。
【００５６】
具体的には、異常判定手段４５は、同一の移動領域に対して派生関係が設定されている静止領域のペアを検出し、検出されたペア以外の静止領域を異常候補領域に設定する。ペアは領域属性情報３３を検索することで検出できる。
【００５７】
施設利用者が背景物を移動させると、当該施設利用者による移動領域と、当該背景物の移動元の静止領域と、当該背景物の移動先の静止領域が抽出され、移動元の静止領域と移動先の静止領域はそれぞれ同一移動領域との派生関係が設定されるのである。よって上記ペア以外の静止領域を異常候補領域に設定することで背景物の移動による変化領域に対して異常を判定することがなくなるので確度の高い異常検知が可能となる。これにより監視員の監視効率を高めることができる。
尚、同一の移動物体との派生関係を条件としていることから、不審者による不審物の放置と不審者とは異なる人物による背景物の移動開始が同時に発生しても、或いは異なる人物による複数の背景物の移動が同時に発生しても、これらを混同してペアを検出することはない。
【００５８】
ここで、一人の不審者が２以上の不審物を放置する事案が稀に発生することがあり得、この場合にもペアが検出される。そこで異常判定手段４５は、ペアの一方における背景画像３０と当該ペアの他方における入力画像とを照合し、照合一致したペア以外の静止領域を異常候補領域に設定する。
【００５９】
検出されたペアが背景物の移動によるものであれば、移動元の静止領域において背景画像側に撮像されている背景物の像と、移動先の静止領域において入力画像側に撮像されている当該背景物の像が照合一致する。一方、不審物は元々監視空間内に存在しないため背景画像３０に不審物の像は存在していない。そのため検出されたペアが複数の不審物によるものであれば照合一致は得られない。
よって、一人の不審者が複数の不審物を放置したことで生じるペアを除外せずに異常候補領域を設定するので、不審物の検知精度を高く維持できる。
【００６０】
また、異常判定手段４５は、派生関係が設定されていない静止領域をさらに除いて異常候補領域を設定する。派生関係が設定されない静止領域は施設利用者に由来しないノイズによって生じたもの（ノイズ領域）である。ノイズの例としては窓から差し込む光等が挙げられる。派生関係が設定されていない静止領域を異常候補領域に設定しないことで、ノイズに対して異常を判定することがなくなるので確度の高い異常検知が可能となる。これにより監視員の監視効率を高めることができる。
【００６１】
こうして異常候補領域を設定した異常判定手段４５は、当該異常候補領域の設定がされ続けているかを各時刻において確認し、次のいずれかの時点においても設定され続けている異常候補領域を異常であると判定する。
【００６２】
第一に、異常判定手段４５は、異常候補領域の派生元と判定された移動領域の軌跡３１が検出されなくなった時点（すなわち派生元の移動領域の消失時点）で当該異常候補領域を異常であると判定する。派生元の移動領域の消失は異常候補領域を含むペアが検出される可能性がなくなったことを意味する。これにより不審者が視野外に消えた時点で迅速に異常を検知できる。
【００６３】
第二に、異常判定手段４５は、異常候補領域の軌跡３１が検出され始めてから予め設定された判定猶予時間が経過した時点（経過時点）で当該異常候補領域の設定がされ続けていれば、当該異常候補領域を異常であると判定する。上記時間の経過は軌跡３１のデータ長から計測できる。判定猶予時間には正常な施設利用者が監視空間内で背景物の移動に費やす程度の時間（例えば数十秒〜１分間程度）が予め設定される。これにより不審者が視野内に長時間滞留していても視野外に消えるのを待たず迅速に異常を検知できる。
【００６４】
以上では大きく動かされた背景物を適確に除外して異常を判定する説明をしたが、背景物は自身が元々撮像されていた画像範囲と重なる程度にずらされる場合もある。この場合、背景物による変化領域は１つにまとまって抽出されるためペアとして検出されない。
そこで異常判定手段４５は、派生関係が設定されている静止領域において背景画像３０の輝度分布と入力画像の輝度分布を比較し、２つの輝度分布が予め設定された分布類似基準を超えて類似している場合に当該静止領域をさらに除いて異常候補領域を設定する。
輝度分布の特徴量としては色ヒストグラムを採用することができる。別の実施形態においては輝度平均値及び輝度分散値を輝度分布の特徴量とすることもできる。変位判定閾値Ｔａには判定対象の変化領域の面積（画素数）の５０％程度に相当する値が設定される。
背景物がずらされて生じた変化領域においては入力画像側に移動後の背景物が含まれ背景画像側に移動前の背景物が含まれているため２つの輝度分布は類似する。一方、元々監視空間内に存在しない不審物により生じた変化領域においては背景画像３０に不審物の像が存在していないため２つの輝度分布は相違する。
よって、背景物が小さく動かされたことで生じる変化領域に対して異常を判定することがなくなるので確度の高い異常検知が可能となる。これにより監視員の監視効率を高めることができる。
【００６５】
こうして異常が検知されると、異常判定手段４５は、異常が判定された入力画像、変化領域、日時等を含めた異常信号を生成して出力する。
【００６６】
表示部５は、液晶ディスプレイ等の表示装置であり、異常信号に含まれる情報を視認可能に表示する。
【００６７】
記録装置６は、ハードディスクレコーダー或いはＤＶＤレコーダー等であり、異常信号に含まれる情報を長期保存可能に記録する。
【００６８】
［異常検知装置１の動作］
以下、図５〜図７を参照して、異常検知装置１の動作を説明する。
【００６９】
監視空間が無人であることを確認した管理者が装置に電源を投入すると、各部、各手段は初期化されて動作を始める（Ｓ１）。背景画像生成手段４０は初期化中の入力画像を背景画像３０として記憶部３に記憶させ、追跡手段４２は参照特徴量３２と軌跡３１をクリアし、領域分類手段４３及び派生判定手段４４は領域属性情報３３をクリアする。
【００７０】
初期化の後は、撮像部２から制御部４へ新たな画像が入力されるたびにＳ２〜Ｓ１２の処理が繰り返される。
【００７１】
新たな画像が入力されると（Ｓ２）、制御部４の変化領域抽出手段４１は当該入力画像と背景画像３０の背景差分処理を行って変化領域を抽出し（Ｓ３）、制御部４の追跡手段４２は軌跡３１及び参照特徴量３２を抽出された変化領域の情報と比較して同定を行うことで変化領域の追跡を進捗させる（Ｓ４）。追跡の結果、軌跡３１及び参照特徴量３２は現時刻の変化領域の情報で更新される。
【００７２】
ステップＳ４の処理について詳説する。
【００７３】
まず追跡手段４２は、現時刻において抽出された変化領域の重心位置を算出するとともに、当該変化領域内の入力画像から画像特徴量を抽出する。
【００７４】
現時刻より前の時刻においても同様に重心位置の算出及び画像特徴量の抽出が行われ、これらの情報に領域ＩＤが付与されて軌跡３１及び参照特徴量３２として記憶されている。追跡手段４２は、記憶されている前時刻までの軌跡３１に等速直線モデルを適用して現時刻における各物体の予測位置を求める。予測位置の算出には等速直線モデルに代えてカルマンフィルタ等を利用することもできる。
【００７５】
続いて追跡手段４２は、現時刻の各変化領域と過去の各変化領域との全組み合わせを設定する。追跡手段４２は、各組み合わせについて、現時刻の変化領域の画像特徴量と参照特徴量３２の類似度（特徴間類似度）、及び現時刻の変化領域の重心位置と予測位置の類似度（重心間類似度）を算出し、｛α×特徴間類似度＋（１−α）×重心間類似度｝を総合類似度として算出する。但し、０＜α＜１である。
【００７６】
追跡手段４２は、総合類似度と予め設定された同定閾値との比較に基づき尤もらしい組み合わせを同定する。すなわち追跡手段４２は、現時刻の各変化領域及び過去の各変化領域について最大の総合類似度を選出して同定閾値と比較し、同定閾値を超えていれば当該総合類似度が算出された組み合わせを同定する。尚、２以上の物体が画像上で重なると、これらが一体化した変化領域が抽出されてひとつの変化領域に対して２以上の組み合わせが同定閾値を超えるが、このような1対多の同定も許容される。
現時刻の変化領域と同定されなかった過去の変化領域は消失したと認識される。また、過去の変化領域と同定されなかった現時刻の変化領域は新たに視野内に出現した新規領域と認識される。
【００７７】
続いて追跡手段４２は、現時刻の変化領域の重心位置を同定された軌跡３１に追記し、現時刻の変化領域の画像特徴量を同定された参照特徴量３２に上書きする。また、追跡手段４２は消失が認識された変化領域の軌跡３１と参照特徴量３２を記憶部３から削除する。以降、当該変化領域は追跡対象外となる。また、追跡手段４２は、新規領域の重心位置に新たな領域ＩＤを付与して軌跡３１として記憶させ、同領域の画像特徴量に同領域ＩＤを付与して参照特徴量３２として記憶させる。当該領域は新たに追跡対象として登録されたことになる。
また追跡手段４２は、後述するステップＳ６１にて離間度を算出するために各変化領域の座標情報と領域ＩＤとを対応付けて記憶部３に記憶させておく。記憶部３は少なくとも１時刻前の座標情報まで遡れるよう現時刻を含む２時刻分の座標情報を保持する。
【００７８】
こうして追跡が進捗すると、制御部４は各変化領域を順次注目領域とするループ処理を設定して各変化領域にステップＳ６の領域判別処理を実行する（Ｓ５〜Ｓ７）。
図６を参照して、領域判別処理の詳細を説明する。
【００７９】
まず制御部４は、注目領域が新規領域であるか確認する（Ｓ６０）。新規領域であれば、制御部４は、領域属性情報３３に注目領域の項目を作成して、その領域種別欄に「静止領域」と書き込む（Ｓ６０にてＹＥＳ→Ｓ６１）。注目領域の軌跡３１のデータ長が１であれば新規領域、２以上であれば新規領域でないと判定できる。ステップＳ６１で書き込む「静止領域」は初期値であり、時刻が進んで注目領域の軌跡３１から動きが検出されれば「移動領域」に書き換えられることに注意されたい。
【００８０】
注目領域が新規領域である場合、制御部４の派生判定手段４４による派生判定と、制御部４の異常判定手段４５によるペア検出が行われる。
【００８１】
派生判定手段４４は、領域属性情報３３から移動領域を検索し、検索された移動領域に対する注目領域の離間度を算出し（Ｓ６１）、離間度を派生判定値と比較して離間度が派生判定値未満である近接移動領域が存在するかを確認する（Ｓ６２）。近接移動領域が存在する場合（Ｓ６２にてＹＥＳ）、派生判定手段４４は、領域属性情報３３における注目領域の領域種別欄に「派生領域」と書き込み、注目領域の派生元欄に近接移動領域の領域ＩＤを書き込む（Ｓ６３）。離間度は記憶されている現時刻の変化領域の座標情報と一時刻前の変化領域の座標量情報から算出する。
【００８２】
異常判定手段４５は、領域属性情報３３を検索して注目領域以外の変化領域に注目領域と同一の派生元が設定されているか否か、すなわち注目領域を含んだペアがあるか否かを確認する（Ｓ６４）。ペアが検出されると（Ｓ６４にてＹＥＳ）、異常判定手段４５はペアの照合を行なう（Ｓ６５）。すなわち異常判定手段４５は、背景画像３０において注目領域とペアをなす変化領域と対応する部分の色ヒストグラムＨｃｂを算出するとともに、入力画像において注目領域と対応する部分の色ヒストグラムＨｃｉを算出し、ＨｃｂとＨｃｉの類似度を領域間類似度Ｓｃとして算出し、Ｓｃをペア判定閾値Ｔｃと比較する。ＳｃがＴｃ以上であればペアは一致すると判定され、そうでなければ不一致と判定される。
【００８３】
一致が判定された場合（Ｓ６６にてＹＥＳ）、異常判定手段４５は、ペアは背景物の移動により生じたものであるとして、領域属性情報３３におけるペアのそれぞれの領域種別欄に「背景物領域」と書き込む（Ｓ６７）。後述するステップＳ１０の背景画像更新によりペア部分の背景画像には直ちに入力画像が合成され、以降の時刻では当該ペア部分に変化領域が抽出されなくなるため、背景物の移動により生じる不感知領域を適確に排除できる。また、新規領域に対してペア検出を行なうことで背景物の移動が終わった時点でペアが検出できるので、迅速な不感知領域の排除が可能となる。
【００８４】
尚、注目領域が新規領域であるが派生判定値未満の離間度が算出されなかった場合、又は注目領域が新規領域であるが移動領域がひとつもなく離間度を算出できなかった場合、近接移動領域はないとして（Ｓ６２にてＮＯ）、ステップＳ６３〜Ｓ６７の処理はスキップされる。また、近接移動領域はあったがペアがなかった場合（Ｓ６４にてＮＯ）、ステップＳ６５〜Ｓ６７の処理はスキップされる。また、ペアはあったが照合により不一致が判定された場合（Ｓ６６にてＮＯ）、ステップＳ６７の処理はスキップされる。
【００８５】
図７を参照して、注目領域が新規領域でなかった場合（Ｓ６０にてＮＯ）の処理について説明する。
【００８６】
異常判定手段４５は、領域属性情報３３を参照して注目領域の領域種別欄に「異常領域」「移動領域」又は「異常候補領域」が書き込まれているか否かを確認する（Ｓ７０，Ｓ７１）。「異常領域」と書かれていれば多重検知を避けるべくステップＳ７１以降はスキップされ（Ｓ７０にてＹＥＳ→Ｓ７）、「移動領域」書かれていれば異常候補となり得ないためステップＳ７１以降はスキップされ（Ｓ７０にてＹＥＳ→Ｓ７）、「異常候補領域」と書かれていれば既に処理済みのステップＳ７２〜Ｓ８２をスキップする（Ｓ７１にてＹＥＳ→Ｓ８３）。
【００８７】
「異常領域」「移動領域」「異常候補領域」のいずれも書き込まれていない場合（Ｓ７０にてＮＯ→Ｓ７１にてＮＯ）、制御部４の領域分類手段４３は、注目領域の軌跡３１から移動量を算出し（Ｓ７２）、移動量を静止判定量と比較する（Ｓ７３）。移動量が静止判定量より大きい場合（Ｓ７３にてＹＥＳ）、領域分類手段４３は、領域属性情報３３における注目領域の領域種別欄に書き込まれている「静止領域」を「移動領域」に書き換える（Ｓ７４）。このとき、既に注目領域の領域種別欄に「派生領域」と書き込まれていればこれらを消去する（Ｓ７５）。注目領域が移動領域か否かの確認は静止判定時間が経過するまで継続される。静止判定時間だけ待つのは施設利用者の動きがゆっくりであったり、移動方向がカメラの光軸方向であったりして移動量を検出しにくい場合の誤判定を避けるためである。領域分類手段４３は、注目領域の追跡時間を静止判定時間と比較し（Ｓ７６）、追跡時間が静止判定時間を超えるまではステップＳ７７以降をスキップさせる（Ｓ７６にてＮＯ→Ｓ７）。追跡時間は軌跡３１のデータ長から換算すればよい。静止判定時間には１０秒程度の値が予め設定される。
【００８８】
移動量が静止判定量以下のまま静止判定時間が経過した場合（Ｓ７３にてＮＯ→Ｓ７６にてＹＥＳ）、異常判定手段４５は、領域属性情報３３における注目領域の領域種別欄に「派生領域」が書き込まれているか確認する（Ｓ７７）。「派生領域」が書き込まれていなかった場合（Ｓ７７にてＮＯ）、異常判定手段４５は、領域属性情報３３における注目領域の領域種別欄に「ノイズ領域」と書き込む（Ｓ７８）。後述するステップＳ１１の背景画像更新によりノイズ領域の背景画像には入力画像が合成され、以降の時刻では当該ノイズ領域に変化領域が抽出されなくなる。こうして、ノイズによる不感知領域の発生は直ちに排除される。
【００８９】
「派生領域」が書き込まれている場合（Ｓ７７にてＹＥＳ）、異常判定手段４５は、入力画像において注目領域に対応する部分の色ヒストグラムＨａｉを算出するとともに背景画像３０において注目領域と対応する部分の色ヒストグラムＨａｂを算出し、ＨａｉとＨａｂの共通部分の割合を領域内類似度Ｓａとして算出し（Ｓ７９）、Ｓａを変位判定閾値Ｔａと比較する（Ｓ８０）。ＳａがＴａより大きい場合（Ｓ８０にてＹＥＳ）、異常判定手段４５は、領域属性情報３３における注目領域の領域種別欄に「背景物領域」と書き込む（Ｓ８１）。つまり、注目領域は自身が元々撮像されていた画像範囲と重なる程度にずらされた背景物によるものであったということになる。後述するステップＳ１０の背景画像更新により注目領域の背景画像には直ちに入力画像が合成され、背景物がずらされたことにより生じる不感知領域は排除される。
【００９０】
一方、ＳａがＴａ以下の場合（Ｓ８０にてＮＯ）、異常判定手段４５は、領域属性情報３３における注目領域の領域種別欄に「異常候補領域」と書き込む（Ｓ８２）。こうしてノイズ領域でも単独の背景物領域でもない派生領域が異常候補領域に設定される。
【００９１】
異常判定手段４５は、領域属性情報３３を参照して注目領域の派生元欄に書き込まれている移動領域の項目があるか否かの確認を行い（Ｓ８３）、ないことが確認された場合（Ｓ８３にてＹＥＳ）、注目領域を含むペアが検出される可能性はなくなったとして、領域属性情報３３における注目領域の領域種別欄に「異常領域」と書き込む（Ｓ８５）。
【００９２】
また、異常判定手段４５は、注目領域の追跡時間と判定猶予時間の比較を行い（Ｓ８４）、追跡時間が判定猶予時間を超えている場合に（Ｓ８４にてＹＥＳ）、注目領域を含むペアが検出されるべき時間は過ぎたとして、領域属性情報３３における注目領域の領域種別欄に「異常領域」と書き込む（Ｓ８５）。追跡時間は軌跡３１のデータ長から算出できる。
【００９３】
尚、注目領域の派生元の移動領域が存在し、且つ追跡時間が判定猶予時間以下の場合、未だ注目領域を含むペアが検出される可能性があるため、ステップＳ８５はスキップされる（Ｓ８３にてＮＯ→Ｓ８４にてＮＯ→Ｓ７）。
【００９４】
図５に戻り、全変化領域に対する領域判別処理が終了した後（Ｓ７にてＹＥＳ）の処理を説明する。
【００９５】
異常判定手段４５は、領域属性情報３３を検索して異常領域があるか否かを確認し（Ｓ８）、異常領域があれば当該異常領域の外形を入力画像に描画し、時計手段から現在日時を取得し、異常領域の派生元に設定されている移動領域の軌跡が検出された時間範囲に撮像された入力画像群を選択し、異常領域が描画された入力画像と現在日時と選択された入力画像群を含んだ異常信号を生成し、生成した異常信号を表示部５及び記録装置６に出力する（Ｓ８にてＹＥＳ→Ｓ９）。
【００９６】
異常信号が入力された表示部５は当該信号に含まれる情報を視認可能に表示する。表示を見た監視員は異常領域の画像を視認して発生した事象を確認し、不審物の置き去りであれば忘れ物か危険物かの確認や回収といった対処を行い、落書き等であれば復旧等の対処を行なう。また、入力画像群を視認して不審者を特定し、事情確認等を行う。
異常信号が入力された記録装置６は当該信号に含まれる情報を長期記録する。記録された情報は証拠として後日利用される。
【００９７】
背景画像生成手段４０は、領域属性情報３３を検索して背景物領域があるか否かを確認し、背景物領域があれば当該領域の入力画像を背景画像３０に合成することで背景画像３０を更新する（Ｓ１０）。また背景画像生成手段４０は、領域属性情報３３を検索してノイズ領域があるか否かを確認し、ノイズ領域があれば当該領域の入力画像を背景画像３０に合成することで背景画像３０を更新する（Ｓ１１）。次時刻以降、背景物やノイズによる変化領域は抽出されなくなる。また背景画像生成手段４０は、変化領域が検出されなかった部分の入力画像を背景画像３０に合成することで背景画像３０を更新する（Ｓ１２）。
尚、ステップＳ１０〜Ｓ１２の処理はまとめて行ってもよい。この場合、背景画像生成手段４０は、背景物領域とノイズ領域と変化領域が検出されなかった部分の和領域を算出し、算出した和領域の入力画像を背景画像３０に合成することで背景画像３０を更新する
【００９８】
以上の処理が終わると処理は再びステップＳ２へと戻され、次時刻の入力画像に対する処理が行われる。
【符号の説明】
【００９９】
１・・・異常検知装置
２・・・撮像部
３・・・記憶部
４・・・制御部
５・・・表示部
６・・・記録装置
３０・・・背景画像
３１・・・軌跡
３２・・・参照特徴量
３３・・・領域属性情報
４０・・・背景画像生成手段
４１・・・変化領域抽出手段
４２・・・追跡手段
４３・・・領域分類手段
４４・・・派生判定手段
４５・・・異常判定手段
【技術分野】
【０００１】
本発明は、監視空間が撮像された画像から異常を検知する異常検知装置に関し、特に不審者による不審物の持ち込み、不審者による物品の持ち去り等の異常を検知する異常検知装置に関する。
【背景技術】
【０００２】
駅や空港など有人の監視空間における防犯を目的として、放置された危険物や忘れ物といった不審物の存在を監視画像から検知する装置が提案されている。
【０００３】
特許文献１には、入力画像と背景画像の差を順次求めて比較することにより人物像から分離した荷物像を検出し、検出された荷物像の放置時間を計測して放置時間が所定時間を経過したときに警告を発する画像監視システムが記載されている。
【０００４】
つまり、背景画像に対する変化領域が人物の像の近傍の同じ位置に一定時間以上検出され続けていることをもって異常を検知することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１−２４５３９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところが有人の監視空間では元々当該空間に存在していた椅子等が当該空間内で動かされることがある。これら椅子などの物体は、その像が背景の一部として背景画像中に含まれていることから、以下では背景物と称する。背景物が動かされたときも不審物のときと同様に、変化領域が人物の像の近傍の同じ位置に一定時間以上検出され続ける。そのため、背景物の移動を異常と誤検知してしまう問題があった。
【０００７】
誤検知があると監視員に余分な確認作業や対処作業が発生して監視効率を大幅に低下させてしまう。しかも背景物が動かされると、背景物による変化領域は移動元と移動先の２箇所に検出され続けるため、誤検知に伴う監視員の作業は倍増する。
【０００８】
また、背景物による変化領域がいつまでも検出され続けていると、同領域が新たな不審物の持ち込み等の異常を検知できない不感知領域となる問題があった。しかも不感知領域は背景物の移動元と移動先の２箇所に発生する。
【０００９】
本発明は、上記問題を鑑みてなされたものであり、背景物の移動を異常と誤検知せず、監視空間に発生した異常を高精度に検知できる異常検知装置を提供することを目的とする。また、本発明の別の目的は移動した背景物により生じる不感知領域を迅速に排除して、監視空間に発生した異常を高精度に検知できる異常検知装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明にかかる異常検知装置は、監視空間を所定時間おきに撮像する撮像部と、監視空間の背景が撮像された背景画像を記憶している記憶部と、撮像部から入力される入力画像を背景画像と比較して変化領域を抽出する変化領域抽出手段と、前後する時刻に抽出された変化領域内の入力画像を比較して変化領域の追跡を行い、追跡された変化領域ごとの軌跡を検出する追跡手段と、軌跡から移動量を検出し、変化領域を移動量が検出された移動領域と移動量が検出されない静止領域に分類する領域分類手段と、移動領域と静止領域との間の離間度を算出し、派生判定値未満の離間度が算出された移動領域と静止領域の間に派生関係を設定する派生判定手段と、静止領域を異常候補領域に設定し、所定時点において異常候補領域がある場合に異常信号を出力する異常判定手段と、を備え、異常判定手段は、同一の移動領域に対して派生関係が設定された静止領域のペアを検出し、前記ペアを除いて異常候補領域を設定することを特徴とする。
【００１１】
監視空間内の人物が背景物を動かすと、当該人物による変化領域は移動領域に分類され、当該背景物による移動元と移動先の変化領域は静止領域に分類される。そして、背景物の移動元の静止領域と移動先の静止領域は、共に同一の移動領域との派生関係が設定されるためペアとして検出され、異常の判定対象から除外される。
よって上記構成によれば、監視空間内の人物が背景物を移動させても当該背景物の移動元と移動先にて抽出される変化領域を不審物の持ち込み等による異常として誤検知しないので、高精度に異常を検知することが可能となる。
【００１２】
また、本発明の好適な態様においては、異常判定手段は、前記ペアの一方における背景画像と当該ペアの他方における入力画像とを照合し、照合一致した場合に当該ペアを除いて異常候補領域を設定する。
【００１３】
動かされた背景物の像は、移動元の静止領域における背景画像と移動先の静止領域における入力画像に撮像されているため、上記照合により一致が得られる。そのため動かされた背景物によるペアは異常の判定対象から除外される。
一方、一人の不審者が複数の不審物を放置したことでペアが検出された場合、複数の不審物が類似していなければ上記照合で一致は得られないし、複数の不審物が類似していたとしてもこれらの不審物の像はどちらもペアの静止領域における入力画像に撮像されているため上記照合で一致は得られない。そのため不審物によるペアは異常の判定対象から除外されない。
よって上記構成によれば、不審物によるペアを異常の判定対象から除外することなく、背景物によるペアを異常の判定対象から除外できるので、高精度に異常を検知することが可能となる。
【００１４】
また、本発明の好適な態様においては、背景画像のうち前記ペアと対応する部分を入力画像により更新する背景画像生成手段、をさらに備える。
かかる構成によれば、動かされた背景物により抽出されていた変化領域が更新以降は抽出されなくなるので、当該領域において生じる新たな異常を検知できる。
【００１５】
また、本発明の好適な態様においては、異常判定手段は、派生関係が設定されていない静止領域をさらに除いて異常候補領域を設定する。
かかる構成によれば、窓から差し込んだ光等、不審者と関係なく生じた静止領域が異常の判定対象から除外されるので、高精度に異常を検知することが可能となる。
【００１６】
また、本発明の好適な態様においては、所定時点は、異常候補領域との間に派生関係が設定されている移動領域の軌跡が検出されなくなった消失時点とされる。
かかる構成によれば、不審者が視野外に消えた時点で異常を検知できるので、迅速に異常を検知できる。
【００１７】
また、本発明の好適な態様においては、前記所定時点は、前記消失時点、又は異常候補領域の軌跡が検出され始めてから予め設定された放置判定時間が経過した経過時点のいずれかとされる。
かかる構成によれば、不審者が視野内に長時間滞留していても視野外に消えるのを待たずに異常を検知できるので、迅速に異常を検知できる。
【００１８】
また、本発明の好適な態様においては、派生判定手段は、静止領域の位置と、当該静止領域が新規に抽出される直前時刻に抽出された移動領域の位置との間で離間度を算出する。
静止領域は新規に抽出される直前時刻において派生元の移動領域の一部として抽出されるため、かかる構成によれば、複数の人物が静止領域の周辺を通過しても正しい派生関係が設定され、正しいペアが検出される。よって、高精度に異常を検知することが可能となる。
【発明の効果】
【００１９】
本発明によれば、背景物の移動があっても不審者により発生した異常を高い確度で検知できる異常検知装置を提供することが可能となる。
【図面の簡単な説明】
【００２０】
【図１】異常検知装置の機能ブロック図を示す図面である。
【図２】処理中の画像等の一例を示す図である。
【図３】処理中の画像等の一例を示す図である。
【図４】領域属性情報の一例を示す図である。
【図５】異常検知処理のフローチャートを示す図である。
【図６】領域判別処理のフローチャートの一部を示す図である。
【図７】領域判別処理のフローチャートの別の一部を示す図である。
【発明を実施するための形態】
【００２１】
本発明の好適な実施形態の一例として、不特定多数の施設利用者が行き交う待合室を監視空間とし、不審物の持ち込みや物品の持ち去りを異常として検知する異常検知装置について説明する。
【００２２】
［異常検知装置１の構成］
異常検知装置１の機能ブロック図を図１に示す。異常検知装置１は、撮像部２、記憶部３、表示部５及び記録装置６が制御部４に接続されて構成される。
【００２３】
撮像部２は所謂監視カメラである。撮像部２は、監視空間を所定時間間隔にて撮像した画像を順次、制御部４へ入力する。以下、制御部４に入力される画像を入力画像と称し、上記時間間隔で刻まれる時間単位を時刻と称する。
【００２４】
記憶部３は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ装置である。記憶部３は、各種プログラムや各種データを記憶し、制御部４との間でこれらの情報を入出力する。各種データには、背景画像３０、軌跡３１、参照特徴量３２及び領域属性情報３３が含まれる。
【００２５】
背景画像３０は正常時の監視空間の背景のみが撮像されている画像である。つまり背景画像３０には不審物の像や施設利用者の像が含まれていない。背景画像３０は異常検知処理に先立って生成され、記憶される。
【００２６】
背景画像３０は各時刻の入力画像と比較され、両画像間で相違する領域が変化領域として抽出される。そして、後述する追跡手段４２により、前後する時刻に抽出された変化領域のうち特徴が類似する変化領域が同定され、同定された変化領域同士には同一要因により生じた変化領域であるとして同一の領域ＩＤが付与される。領域ＩＤは要因を識別する数値や文字列等である。こうして不審物により生じた一連の変化領域、施設利用者により生じた一連の変化領域、動かされた背景物等により生じた一連の変化領域等はそれぞれに異なる領域ＩＤが付与されて追跡される。
【００２７】
軌跡３１は追跡された変化領域ごとの位置の履歴である。具体的には、変化領域の重心位置を時系列に並べたデータと当該変化領域を識別する領域ＩＤとが対応付けて記憶される。また軌跡３１は変化領域を同定するためにも用いられる。
【００２８】
参照特徴量３２は、各変化領域を特徴付ける色ヒストグラムなどの画像特徴量であり、当該変化領域内の入力画像から抽出され、当該変化領域の領域ＩＤと対応付けて記憶される。参照特徴量３２は変化領域を同定するために用いられる。
画像特徴量としては、色ヒストグラム以外にもエッジ点数、代表色又はこれらのうち２以上の組み合わせなど種々の特徴量を採用することができる。
【００２９】
領域属性情報３３は、変化領域の領域ＩＤと、当該変化領域について判別された属性とが対応付けられて記憶された情報である。属性には領域種別と派生関係の情報が含まれる。図４は、領域属性情報３３の一例を示したものである。
領域種別には、動きのある移動領域、動きのない静止領域、他の変化領域から派生した派生領域、異常の可能性がある異常候補領域、異常が判定された異常領域（不審物によるものと判定された不審物領域）、背景物によるものと判定された背景物領域、ノイズによるものと判定されたノイズ領域がある。派生関係の情報は、具体的には派生元の変化領域の領域ＩＤであり、領域種別が派生領域である変化領域について記憶される。本例では派生先の変化領域に派生元欄を設けているが、派生元の変化領域に派生先欄を設けてもよい。
【００３０】
制御部４は、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置である。制御部４は、背景画像生成手段４０、変化領域抽出４１、追跡手段４２、領域分類手段４３、派生判定手段４４、異常判定手段４５等の動作を記述したプログラムを記憶部３から読み出して実行することにより各手段として機能する。制御部４は、撮像部２から入力された画像（以下、入力画像と称する）を処理して不審者の関与により発生した異常を検知し、検知した異常に関する異常信号を表示部５及び記録装置６に出力する。また制御部４は、不図示の時計手段を備え、時計手段から現在の日時を取得することができる。
【００３１】
背景画像生成手段４０は、監視空間に不審物及び施設利用者が存在しないときに撮像された入力画像の全体を背景画像３０として記憶部３に記憶させる。また、背景画像生成手段４０は、以下のように入力画像を部分的に背景画像３０に合成することで背景画像３０を更新する。
【００３２】
第１に背景画像生成手段４０は、各時刻において、背景画像３０のうち入力画像との間で変化領域が抽出されなかった部分に入力画像を合成することで背景画像３０を更新する。合成は重み付け平均処理又は置換処理により行われる。この更新により刻々と変化する照明環境に背景画像３０を最大限適応させることができる。よって照明変動による画像変化を誤抽出しにくくなり、異常検知の精度が向上する。
【００３３】
第２に背景画像生成手段４０は、背景画像３０のうち、異常判定手段４５にて異常候補領域から除外された変化領域と対応する部分に入力画像を合成することで背景画像３０を更新する。更新対象となる部分は背景物領域及びノイズ領域である。この更新により同部分が不感知領域とならず、同部分において生じる新たな異常を検知できる。合成は重み付け平均処理又は置換処理により行われる。
【００３４】
変化領域抽出手段４１は、各時刻の入力画像を背景画像３０と比較して変化領域を抽出し、抽出した変化領域の情報を追跡手段４２に出力する。
【００３５】
変化領域抽出手段４１は背景差分処理を行って変化領域を抽出する。すなわち変化領域抽出手段４１は、入力画像と背景画像３０の対応する画素ごとに画素値の差の絶対値が予め設定された差分閾値以上である画素を検出し、近接して検出された画素を変化領域としてまとめる。
別の実施形態において変化領域抽出手段４１は背景相関処理を行って変化領域を抽出する。この場合、変化領域抽出手段４１は、入力画像の各画素と当該画素に対応する背景画像３０の画素との相関値を求め、相関値が予め設定された相関閾値未満の画素のうち互いに近接する画素を変化領域としてまとめる。
【００３６】
追跡手段４２は、前後する時刻に抽出された変化領域内の入力画像を比較して変化領域の同定を行い、同定された変化領域ごとの軌跡３１を検出する。このような処理は一般に追跡処理と呼ばれる。
【００３７】
追跡手段４２は各時刻において同定を行い、追跡処理を逐次的に進捗させる。すなわち追跡手段４２は、現時刻に抽出された変化領域の画像特徴量及び重心位置を過去の変化領域ごとに記憶されている参照特徴量３２及び軌跡３１と比較し、特徴量が類似しており位置の整合性ある変化領域同士を同じ要因により生じた変化領域と同定し、現時刻の変化領域の重心位置を同定された軌跡３１に追記し、現時刻の変化領域の画像特徴量で同定された参照特徴量３２を更新する。
【００３８】
図２及び図３は、異常検知装置１により処理されるデータを例示したものである。
【００３９】
画像７０〜７５は、時刻ｔ〜ｔ＋５の各時刻において撮像された入力画像である。入力画像には、人物ａ、椅子ｂ、人物ｃ、鞄ｄが撮像されている。
【００４０】
画像３００〜３０５は時刻ｔ〜ｔ＋５において記憶される背景画像３０である。画像３００〜３０５には背景物である椅子ｂの像が含まれている。
【００４１】
画像８０〜８５は入力画像７０〜７５とそれぞれに対応する時刻の背景画像３００〜３０５との差分画像である。差分画像には変化領域の情報が含まれている。
【００４２】
グラフ３２０〜３２５は時刻ｔ〜ｔ＋５の各時刻において記憶される軌跡３１である。軌跡３１は実際には座標の時系列データであるが、理解補助のためグラフとして図示している。
【００４３】
人物ａは、時刻ｔに監視空間に現れ、時刻ｔ＋４まで監視空間内を移動して監視空間外へと去っていった。人物ａはその位置を変えつつ入力画像７０〜７４に撮像され、人物ａについての変化領域８０Ａ，８１Ａ，８２Ａ，８３Ａ，８４Ａが時刻ｔ〜ｔ＋４の各時刻において抽出された。これらの変化領域は領域Ａ（領域ＩＤ「Ａ」で識別される変化領域群）として追跡され、領域Ａの軌跡３２０Ａ，３２１Ａ，３２２Ａ，３２３Ａ，３２４Ａが検出された。
【００４４】
椅子ｂは時刻ｔ〜ｔ＋５の間ずっと監視空間内に存在していた。但し、椅子ｂは人物ａにより時刻ｔ＋２に元の位置から動かされ、時刻ｔ＋４に放置された。その結果、椅子ｂの移動元の位置には変化領域８２Ｂ，８３Ｂ，８４Ｂが抽出された。これらの変化領域は領域Ｂ（領域ＩＤ「Ｂ」で識別される変化領域群）として追跡され、領域Ｂの軌跡３２２Ｂ，３２３Ｂ，３２４Ｂが検出された。また、もう１つの結果として、椅子ｂの移動先の位置には変化領域８４Ｅが抽出された。この変化領域は領域Ｂとは別の領域Ｅ（領域ＩＤ「Ｅ」で識別される変化領域）として追跡され、領域Ｅの軌跡３２４Ｅが検出された。
【００４５】
人物ｃは、時刻ｔ＋２に監視空間に現れ、時刻ｔ＋４まで監視空間内を移動して監視空間外へと去っていった。人物ｃはその位置を変えつつ入力画像７２〜７４に撮像され、人物ｃについての変化領域８２Ｃ，８３Ｃ，８４Ｃが時刻ｔ＋２〜ｔ＋４の各時刻において抽出された。これらの変化領域は領域Ｃ（領域ＩＤ「Ｃ」で識別される変化領域群）として追跡され、領域Ｃの軌跡３２２Ｃ，３２３Ｃ，３２４Ｃが検出された。
【００４６】
鞄ｄは、人物ｃに携えられて時刻ｔ＋２に監視空間に現れ、時刻ｔ＋４に監視空間内に放置された。鞄ｄは監視空間に持ち込まれた不審物であり、人物ｃは不審物を持ち込んだ不審者である。時刻ｔ＋２〜ｔ＋３においては、鞄ｄの像は人物ｃの像の一部として撮像されていたため、人物ｃによる領域Ｃは追跡されたが鞄ｄに関する追跡は行われなかった。放置後の時刻ｔ＋４以降においては、鞄ｄの単独の変化領域８４Ｄ，８５Ｄが抽出され、これらの変化領域は領域Ｃとは別の領域Ｄ（領域ＩＤ「Ｄ」で識別される変化領域群）として追跡され、領域Ｄの軌跡３２４Ｄ，３２５Ｄが検出された。
【００４７】
領域分類手段４３は、各変化領域の軌跡３１から当該変化領域の移動量を算出して静止判定量と比較し、各変化領域を、移動量が静止判定量以上の移動領域と、移動量が静止判定量未満の静止領域に分類し、分類結果を領域属性情報３３に記憶させる。移動量は、各変化領域の軌跡３１を構成する時系列データのうち連続するデータ間の距離を順次算出して累積した総移動距離として算出される。静止判定量には変化領域の抽出誤差を移動と判定しない範囲でできる限り０に近い値が予め設定される。静止領域は実質的な移動量が検出されなかった変化領域ということになる。
【００４８】
施設利用者により生じた変化領域は移動領域に分類される。施設利用者の中には不審者が含まれている可能性がある。一方、不審物や背景物により生じた変化領域は静止領域に分類される。但し、施設利用者により運ばれている不審物や背景物の像は施設利用者の像と一体化し、一体化した像においては施設利用者の像が支配的であるため、一体化した像による変化領域は施設利用者の変化領域として同定される。
【００４９】
図２及び図３の例では、領域Ａと領域Ｃが移動領域に分類され、領域Ｂと領域Ｄと領域Ｅが静止領域に分類され、その結果、各時刻における領域属性情報３３の内容は図４に示したようなものとなる。尚、図４の例において、移動領域は出現当初の時刻においては移動量が確認できないため便宜上一時的に静止領域としている（時刻ｔにおける領域Ａ、及び時刻ｔ＋２における領域Ｃ）。
【００５０】
派生判定手段４４は、移動領域に分類された変化領域と静止領域に分類された変化領域の間で位置の離間度を算出し、派生判定値未満の離間度が算出された移動領域と静止領域の間に当該移動領域が当該静止領域の派生元であるとの派生関係を判定し、判定した派生関係を領域属性情報３３に書き込む。
【００５１】
派生判定手段４４は、静止領域と、当該静止領域が新規に検出される直前時刻の移動領域との重複率の逆数を離間度として算出する、或いは同様の重複率を１から減じた値を離間度として算出する。派生判定値には変化領域の抽出誤差を重複とみなさない程度の範囲で１に近い値が予め設定される。
上記時間的制約は、静止領域と当該静止領域を生じさせた移動領域の間に正しく派生関係を判定するための制約である。監視空間には複数の施設利用者が往来しているため、静止領域を不審物や背景物とは無関係の施設利用者が通過することもしばしば起こるが、移動領域から派生した静止領域であれば新規に検出される直前には派生元の移動領域の一部として検出されていたはずである。そのため上記時間的制約により静止領域を通過しただけの移動領域に誤った派生関係を判定せず、真の派生関係を判定することができる。
【００５２】
また別の実施形態において派生判定手段４４は、移動領域の軌跡３１から静止領域の軌跡３１までの距離を離間度として算出する。この場合も、移動領域の軌跡３１のうち静止領域の軌跡３１が検出され始めた直前時刻と対応する区間を用いて距離を算出するよう、時間的制約を設けることで静止領域を通過しただけの移動領域に誤った派生関係を判定せず、真の派生関係を判定することができる。
軌跡間の距離を離間度として算出する場合、派生判定値には人間の平均身長の２分の１程度の値が設定される。このとき、派生判定値を画像内の位置の関数として記憶しておき、派生判定手段４４は移動領域の位置に応じた派生判定値を読み出すことで画像内の位置による見かけ大きさの変化に適応した正確な派生判定を行なうことができる。また派生判定手段４４は移動領域の長軸長を計測して、長軸長の２分の１の長さを当該移動領域についての派生判定値に設定してもよい。こうすることで、画像内の位置による見かけの大きさの変化や個人差に適応した正確な派生判定を行なうことができる。
【００５３】
典型的には次のように施設利用者の行動に由来して生じた静止領域に対して派生関係が判定される。すなわち、派生関係が判定される典型的な事象としては（１）施設利用者が持込物を放置した、（２）施設利用者が背景物を持ち出した、（３）施設利用者が背景物に落書きをした、（４）施設利用者が背景物を移動させた、等が挙げられる。このうち（１）〜（３）は異常として検知されるべき事象であり、（１）〜（３）の施設利用者は不審者である。一方、（４）は異常ではないとして検知対象から除外されるべき事象である。
【００５４】
図２及び図３の例では、領域８２Ｂと領域８１Ａの離間度或いは軌跡３２２Ｂと軌跡３２１Ａの離間度が派生判定値未満であることから領域Ａを派生元とし領域Ｂを派生先とする派生関係が判定され、領域８４Ｅと領域８３Ａの離間度或いは軌跡３２４Ｅと軌跡３２３Ａの離間度が派生判定値未満であることから領域Ａを派生元とし領域Ｅを派生先とする派生関係が判定され、領域８４Ｄと領域８３Ｃの離間度或いは軌跡３２４Ｄと軌跡３２３Ｃの離間度が派生判定値未満であることから領域Ｃを派生元とし領域Ｄを派生先とする派生関係が判定される。その結果、各時刻における領域属性情報３３の内容は図４に示したようなものとなる。
【００５５】
異常判定手段４５は、追跡手段４２、領域分類手段４３及び派生判定手段４４による各変化領域の分析結果を総合判定して、不審者の関与により発生した変化領域があると判定すると、異常信号を出力する。そのために、異常判定手段４５は、所定条件を満たす変化領域を異常候補領域に設定して経過を観察し、設定後の所定時点においてもなお異常候補領域に設定され続けている変化領域を不審者の関与により発生した異常な変化領域と判定する。
【００５６】
具体的には、異常判定手段４５は、同一の移動領域に対して派生関係が設定されている静止領域のペアを検出し、検出されたペア以外の静止領域を異常候補領域に設定する。ペアは領域属性情報３３を検索することで検出できる。
【００５７】
施設利用者が背景物を移動させると、当該施設利用者による移動領域と、当該背景物の移動元の静止領域と、当該背景物の移動先の静止領域が抽出され、移動元の静止領域と移動先の静止領域はそれぞれ同一移動領域との派生関係が設定されるのである。よって上記ペア以外の静止領域を異常候補領域に設定することで背景物の移動による変化領域に対して異常を判定することがなくなるので確度の高い異常検知が可能となる。これにより監視員の監視効率を高めることができる。
尚、同一の移動物体との派生関係を条件としていることから、不審者による不審物の放置と不審者とは異なる人物による背景物の移動開始が同時に発生しても、或いは異なる人物による複数の背景物の移動が同時に発生しても、これらを混同してペアを検出することはない。
【００５８】
ここで、一人の不審者が２以上の不審物を放置する事案が稀に発生することがあり得、この場合にもペアが検出される。そこで異常判定手段４５は、ペアの一方における背景画像３０と当該ペアの他方における入力画像とを照合し、照合一致したペア以外の静止領域を異常候補領域に設定する。
【００５９】
検出されたペアが背景物の移動によるものであれば、移動元の静止領域において背景画像側に撮像されている背景物の像と、移動先の静止領域において入力画像側に撮像されている当該背景物の像が照合一致する。一方、不審物は元々監視空間内に存在しないため背景画像３０に不審物の像は存在していない。そのため検出されたペアが複数の不審物によるものであれば照合一致は得られない。
よって、一人の不審者が複数の不審物を放置したことで生じるペアを除外せずに異常候補領域を設定するので、不審物の検知精度を高く維持できる。
【００６０】
また、異常判定手段４５は、派生関係が設定されていない静止領域をさらに除いて異常候補領域を設定する。派生関係が設定されない静止領域は施設利用者に由来しないノイズによって生じたもの（ノイズ領域）である。ノイズの例としては窓から差し込む光等が挙げられる。派生関係が設定されていない静止領域を異常候補領域に設定しないことで、ノイズに対して異常を判定することがなくなるので確度の高い異常検知が可能となる。これにより監視員の監視効率を高めることができる。
【００６１】
こうして異常候補領域を設定した異常判定手段４５は、当該異常候補領域の設定がされ続けているかを各時刻において確認し、次のいずれかの時点においても設定され続けている異常候補領域を異常であると判定する。
【００６２】
第一に、異常判定手段４５は、異常候補領域の派生元と判定された移動領域の軌跡３１が検出されなくなった時点（すなわち派生元の移動領域の消失時点）で当該異常候補領域を異常であると判定する。派生元の移動領域の消失は異常候補領域を含むペアが検出される可能性がなくなったことを意味する。これにより不審者が視野外に消えた時点で迅速に異常を検知できる。
【００６３】
第二に、異常判定手段４５は、異常候補領域の軌跡３１が検出され始めてから予め設定された判定猶予時間が経過した時点（経過時点）で当該異常候補領域の設定がされ続けていれば、当該異常候補領域を異常であると判定する。上記時間の経過は軌跡３１のデータ長から計測できる。判定猶予時間には正常な施設利用者が監視空間内で背景物の移動に費やす程度の時間（例えば数十秒〜１分間程度）が予め設定される。これにより不審者が視野内に長時間滞留していても視野外に消えるのを待たず迅速に異常を検知できる。
【００６４】
以上では大きく動かされた背景物を適確に除外して異常を判定する説明をしたが、背景物は自身が元々撮像されていた画像範囲と重なる程度にずらされる場合もある。この場合、背景物による変化領域は１つにまとまって抽出されるためペアとして検出されない。
そこで異常判定手段４５は、派生関係が設定されている静止領域において背景画像３０の輝度分布と入力画像の輝度分布を比較し、２つの輝度分布が予め設定された分布類似基準を超えて類似している場合に当該静止領域をさらに除いて異常候補領域を設定する。
輝度分布の特徴量としては色ヒストグラムを採用することができる。別の実施形態においては輝度平均値及び輝度分散値を輝度分布の特徴量とすることもできる。変位判定閾値Ｔａには判定対象の変化領域の面積（画素数）の５０％程度に相当する値が設定される。
背景物がずらされて生じた変化領域においては入力画像側に移動後の背景物が含まれ背景画像側に移動前の背景物が含まれているため２つの輝度分布は類似する。一方、元々監視空間内に存在しない不審物により生じた変化領域においては背景画像３０に不審物の像が存在していないため２つの輝度分布は相違する。
よって、背景物が小さく動かされたことで生じる変化領域に対して異常を判定することがなくなるので確度の高い異常検知が可能となる。これにより監視員の監視効率を高めることができる。
【００６５】
こうして異常が検知されると、異常判定手段４５は、異常が判定された入力画像、変化領域、日時等を含めた異常信号を生成して出力する。
【００６６】
表示部５は、液晶ディスプレイ等の表示装置であり、異常信号に含まれる情報を視認可能に表示する。
【００６７】
記録装置６は、ハードディスクレコーダー或いはＤＶＤレコーダー等であり、異常信号に含まれる情報を長期保存可能に記録する。
【００６８】
［異常検知装置１の動作］
以下、図５〜図７を参照して、異常検知装置１の動作を説明する。
【００６９】
監視空間が無人であることを確認した管理者が装置に電源を投入すると、各部、各手段は初期化されて動作を始める（Ｓ１）。背景画像生成手段４０は初期化中の入力画像を背景画像３０として記憶部３に記憶させ、追跡手段４２は参照特徴量３２と軌跡３１をクリアし、領域分類手段４３及び派生判定手段４４は領域属性情報３３をクリアする。
【００７０】
初期化の後は、撮像部２から制御部４へ新たな画像が入力されるたびにＳ２〜Ｓ１２の処理が繰り返される。
【００７１】
新たな画像が入力されると（Ｓ２）、制御部４の変化領域抽出手段４１は当該入力画像と背景画像３０の背景差分処理を行って変化領域を抽出し（Ｓ３）、制御部４の追跡手段４２は軌跡３１及び参照特徴量３２を抽出された変化領域の情報と比較して同定を行うことで変化領域の追跡を進捗させる（Ｓ４）。追跡の結果、軌跡３１及び参照特徴量３２は現時刻の変化領域の情報で更新される。
【００７２】
ステップＳ４の処理について詳説する。
【００７３】
まず追跡手段４２は、現時刻において抽出された変化領域の重心位置を算出するとともに、当該変化領域内の入力画像から画像特徴量を抽出する。
【００７４】
現時刻より前の時刻においても同様に重心位置の算出及び画像特徴量の抽出が行われ、これらの情報に領域ＩＤが付与されて軌跡３１及び参照特徴量３２として記憶されている。追跡手段４２は、記憶されている前時刻までの軌跡３１に等速直線モデルを適用して現時刻における各物体の予測位置を求める。予測位置の算出には等速直線モデルに代えてカルマンフィルタ等を利用することもできる。
【００７５】
続いて追跡手段４２は、現時刻の各変化領域と過去の各変化領域との全組み合わせを設定する。追跡手段４２は、各組み合わせについて、現時刻の変化領域の画像特徴量と参照特徴量３２の類似度（特徴間類似度）、及び現時刻の変化領域の重心位置と予測位置の類似度（重心間類似度）を算出し、｛α×特徴間類似度＋（１−α）×重心間類似度｝を総合類似度として算出する。但し、０＜α＜１である。
【００７６】
追跡手段４２は、総合類似度と予め設定された同定閾値との比較に基づき尤もらしい組み合わせを同定する。すなわち追跡手段４２は、現時刻の各変化領域及び過去の各変化領域について最大の総合類似度を選出して同定閾値と比較し、同定閾値を超えていれば当該総合類似度が算出された組み合わせを同定する。尚、２以上の物体が画像上で重なると、これらが一体化した変化領域が抽出されてひとつの変化領域に対して２以上の組み合わせが同定閾値を超えるが、このような1対多の同定も許容される。
現時刻の変化領域と同定されなかった過去の変化領域は消失したと認識される。また、過去の変化領域と同定されなかった現時刻の変化領域は新たに視野内に出現した新規領域と認識される。
【００７７】
続いて追跡手段４２は、現時刻の変化領域の重心位置を同定された軌跡３１に追記し、現時刻の変化領域の画像特徴量を同定された参照特徴量３２に上書きする。また、追跡手段４２は消失が認識された変化領域の軌跡３１と参照特徴量３２を記憶部３から削除する。以降、当該変化領域は追跡対象外となる。また、追跡手段４２は、新規領域の重心位置に新たな領域ＩＤを付与して軌跡３１として記憶させ、同領域の画像特徴量に同領域ＩＤを付与して参照特徴量３２として記憶させる。当該領域は新たに追跡対象として登録されたことになる。
また追跡手段４２は、後述するステップＳ６１にて離間度を算出するために各変化領域の座標情報と領域ＩＤとを対応付けて記憶部３に記憶させておく。記憶部３は少なくとも１時刻前の座標情報まで遡れるよう現時刻を含む２時刻分の座標情報を保持する。
【００７８】
こうして追跡が進捗すると、制御部４は各変化領域を順次注目領域とするループ処理を設定して各変化領域にステップＳ６の領域判別処理を実行する（Ｓ５〜Ｓ７）。
図６を参照して、領域判別処理の詳細を説明する。
【００７９】
まず制御部４は、注目領域が新規領域であるか確認する（Ｓ６０）。新規領域であれば、制御部４は、領域属性情報３３に注目領域の項目を作成して、その領域種別欄に「静止領域」と書き込む（Ｓ６０にてＹＥＳ→Ｓ６１）。注目領域の軌跡３１のデータ長が１であれば新規領域、２以上であれば新規領域でないと判定できる。ステップＳ６１で書き込む「静止領域」は初期値であり、時刻が進んで注目領域の軌跡３１から動きが検出されれば「移動領域」に書き換えられることに注意されたい。
【００８０】
注目領域が新規領域である場合、制御部４の派生判定手段４４による派生判定と、制御部４の異常判定手段４５によるペア検出が行われる。
【００８１】
派生判定手段４４は、領域属性情報３３から移動領域を検索し、検索された移動領域に対する注目領域の離間度を算出し（Ｓ６１）、離間度を派生判定値と比較して離間度が派生判定値未満である近接移動領域が存在するかを確認する（Ｓ６２）。近接移動領域が存在する場合（Ｓ６２にてＹＥＳ）、派生判定手段４４は、領域属性情報３３における注目領域の領域種別欄に「派生領域」と書き込み、注目領域の派生元欄に近接移動領域の領域ＩＤを書き込む（Ｓ６３）。離間度は記憶されている現時刻の変化領域の座標情報と一時刻前の変化領域の座標量情報から算出する。
【００８２】
異常判定手段４５は、領域属性情報３３を検索して注目領域以外の変化領域に注目領域と同一の派生元が設定されているか否か、すなわち注目領域を含んだペアがあるか否かを確認する（Ｓ６４）。ペアが検出されると（Ｓ６４にてＹＥＳ）、異常判定手段４５はペアの照合を行なう（Ｓ６５）。すなわち異常判定手段４５は、背景画像３０において注目領域とペアをなす変化領域と対応する部分の色ヒストグラムＨｃｂを算出するとともに、入力画像において注目領域と対応する部分の色ヒストグラムＨｃｉを算出し、ＨｃｂとＨｃｉの類似度を領域間類似度Ｓｃとして算出し、Ｓｃをペア判定閾値Ｔｃと比較する。ＳｃがＴｃ以上であればペアは一致すると判定され、そうでなければ不一致と判定される。
【００８３】
一致が判定された場合（Ｓ６６にてＹＥＳ）、異常判定手段４５は、ペアは背景物の移動により生じたものであるとして、領域属性情報３３におけるペアのそれぞれの領域種別欄に「背景物領域」と書き込む（Ｓ６７）。後述するステップＳ１０の背景画像更新によりペア部分の背景画像には直ちに入力画像が合成され、以降の時刻では当該ペア部分に変化領域が抽出されなくなるため、背景物の移動により生じる不感知領域を適確に排除できる。また、新規領域に対してペア検出を行なうことで背景物の移動が終わった時点でペアが検出できるので、迅速な不感知領域の排除が可能となる。
【００８４】
尚、注目領域が新規領域であるが派生判定値未満の離間度が算出されなかった場合、又は注目領域が新規領域であるが移動領域がひとつもなく離間度を算出できなかった場合、近接移動領域はないとして（Ｓ６２にてＮＯ）、ステップＳ６３〜Ｓ６７の処理はスキップされる。また、近接移動領域はあったがペアがなかった場合（Ｓ６４にてＮＯ）、ステップＳ６５〜Ｓ６７の処理はスキップされる。また、ペアはあったが照合により不一致が判定された場合（Ｓ６６にてＮＯ）、ステップＳ６７の処理はスキップされる。
【００８５】
図７を参照して、注目領域が新規領域でなかった場合（Ｓ６０にてＮＯ）の処理について説明する。
【００８６】
異常判定手段４５は、領域属性情報３３を参照して注目領域の領域種別欄に「異常領域」「移動領域」又は「異常候補領域」が書き込まれているか否かを確認する（Ｓ７０，Ｓ７１）。「異常領域」と書かれていれば多重検知を避けるべくステップＳ７１以降はスキップされ（Ｓ７０にてＹＥＳ→Ｓ７）、「移動領域」書かれていれば異常候補となり得ないためステップＳ７１以降はスキップされ（Ｓ７０にてＹＥＳ→Ｓ７）、「異常候補領域」と書かれていれば既に処理済みのステップＳ７２〜Ｓ８２をスキップする（Ｓ７１にてＹＥＳ→Ｓ８３）。
【００８７】
「異常領域」「移動領域」「異常候補領域」のいずれも書き込まれていない場合（Ｓ７０にてＮＯ→Ｓ７１にてＮＯ）、制御部４の領域分類手段４３は、注目領域の軌跡３１から移動量を算出し（Ｓ７２）、移動量を静止判定量と比較する（Ｓ７３）。移動量が静止判定量より大きい場合（Ｓ７３にてＹＥＳ）、領域分類手段４３は、領域属性情報３３における注目領域の領域種別欄に書き込まれている「静止領域」を「移動領域」に書き換える（Ｓ７４）。このとき、既に注目領域の領域種別欄に「派生領域」と書き込まれていればこれらを消去する（Ｓ７５）。注目領域が移動領域か否かの確認は静止判定時間が経過するまで継続される。静止判定時間だけ待つのは施設利用者の動きがゆっくりであったり、移動方向がカメラの光軸方向であったりして移動量を検出しにくい場合の誤判定を避けるためである。領域分類手段４３は、注目領域の追跡時間を静止判定時間と比較し（Ｓ７６）、追跡時間が静止判定時間を超えるまではステップＳ７７以降をスキップさせる（Ｓ７６にてＮＯ→Ｓ７）。追跡時間は軌跡３１のデータ長から換算すればよい。静止判定時間には１０秒程度の値が予め設定される。
【００８８】
移動量が静止判定量以下のまま静止判定時間が経過した場合（Ｓ７３にてＮＯ→Ｓ７６にてＹＥＳ）、異常判定手段４５は、領域属性情報３３における注目領域の領域種別欄に「派生領域」が書き込まれているか確認する（Ｓ７７）。「派生領域」が書き込まれていなかった場合（Ｓ７７にてＮＯ）、異常判定手段４５は、領域属性情報３３における注目領域の領域種別欄に「ノイズ領域」と書き込む（Ｓ７８）。後述するステップＳ１１の背景画像更新によりノイズ領域の背景画像には入力画像が合成され、以降の時刻では当該ノイズ領域に変化領域が抽出されなくなる。こうして、ノイズによる不感知領域の発生は直ちに排除される。
【００８９】
「派生領域」が書き込まれている場合（Ｓ７７にてＹＥＳ）、異常判定手段４５は、入力画像において注目領域に対応する部分の色ヒストグラムＨａｉを算出するとともに背景画像３０において注目領域と対応する部分の色ヒストグラムＨａｂを算出し、ＨａｉとＨａｂの共通部分の割合を領域内類似度Ｓａとして算出し（Ｓ７９）、Ｓａを変位判定閾値Ｔａと比較する（Ｓ８０）。ＳａがＴａより大きい場合（Ｓ８０にてＹＥＳ）、異常判定手段４５は、領域属性情報３３における注目領域の領域種別欄に「背景物領域」と書き込む（Ｓ８１）。つまり、注目領域は自身が元々撮像されていた画像範囲と重なる程度にずらされた背景物によるものであったということになる。後述するステップＳ１０の背景画像更新により注目領域の背景画像には直ちに入力画像が合成され、背景物がずらされたことにより生じる不感知領域は排除される。
【００９０】
一方、ＳａがＴａ以下の場合（Ｓ８０にてＮＯ）、異常判定手段４５は、領域属性情報３３における注目領域の領域種別欄に「異常候補領域」と書き込む（Ｓ８２）。こうしてノイズ領域でも単独の背景物領域でもない派生領域が異常候補領域に設定される。
【００９１】
異常判定手段４５は、領域属性情報３３を参照して注目領域の派生元欄に書き込まれている移動領域の項目があるか否かの確認を行い（Ｓ８３）、ないことが確認された場合（Ｓ８３にてＹＥＳ）、注目領域を含むペアが検出される可能性はなくなったとして、領域属性情報３３における注目領域の領域種別欄に「異常領域」と書き込む（Ｓ８５）。
【００９２】
また、異常判定手段４５は、注目領域の追跡時間と判定猶予時間の比較を行い（Ｓ８４）、追跡時間が判定猶予時間を超えている場合に（Ｓ８４にてＹＥＳ）、注目領域を含むペアが検出されるべき時間は過ぎたとして、領域属性情報３３における注目領域の領域種別欄に「異常領域」と書き込む（Ｓ８５）。追跡時間は軌跡３１のデータ長から算出できる。
【００９３】
尚、注目領域の派生元の移動領域が存在し、且つ追跡時間が判定猶予時間以下の場合、未だ注目領域を含むペアが検出される可能性があるため、ステップＳ８５はスキップされる（Ｓ８３にてＮＯ→Ｓ８４にてＮＯ→Ｓ７）。
【００９４】
図５に戻り、全変化領域に対する領域判別処理が終了した後（Ｓ７にてＹＥＳ）の処理を説明する。
【００９５】
異常判定手段４５は、領域属性情報３３を検索して異常領域があるか否かを確認し（Ｓ８）、異常領域があれば当該異常領域の外形を入力画像に描画し、時計手段から現在日時を取得し、異常領域の派生元に設定されている移動領域の軌跡が検出された時間範囲に撮像された入力画像群を選択し、異常領域が描画された入力画像と現在日時と選択された入力画像群を含んだ異常信号を生成し、生成した異常信号を表示部５及び記録装置６に出力する（Ｓ８にてＹＥＳ→Ｓ９）。
【００９６】
異常信号が入力された表示部５は当該信号に含まれる情報を視認可能に表示する。表示を見た監視員は異常領域の画像を視認して発生した事象を確認し、不審物の置き去りであれば忘れ物か危険物かの確認や回収といった対処を行い、落書き等であれば復旧等の対処を行なう。また、入力画像群を視認して不審者を特定し、事情確認等を行う。
異常信号が入力された記録装置６は当該信号に含まれる情報を長期記録する。記録された情報は証拠として後日利用される。
【００９７】
背景画像生成手段４０は、領域属性情報３３を検索して背景物領域があるか否かを確認し、背景物領域があれば当該領域の入力画像を背景画像３０に合成することで背景画像３０を更新する（Ｓ１０）。また背景画像生成手段４０は、領域属性情報３３を検索してノイズ領域があるか否かを確認し、ノイズ領域があれば当該領域の入力画像を背景画像３０に合成することで背景画像３０を更新する（Ｓ１１）。次時刻以降、背景物やノイズによる変化領域は抽出されなくなる。また背景画像生成手段４０は、変化領域が検出されなかった部分の入力画像を背景画像３０に合成することで背景画像３０を更新する（Ｓ１２）。
尚、ステップＳ１０〜Ｓ１２の処理はまとめて行ってもよい。この場合、背景画像生成手段４０は、背景物領域とノイズ領域と変化領域が検出されなかった部分の和領域を算出し、算出した和領域の入力画像を背景画像３０に合成することで背景画像３０を更新する
【００９８】
以上の処理が終わると処理は再びステップＳ２へと戻され、次時刻の入力画像に対する処理が行われる。
【符号の説明】
【００９９】
１・・・異常検知装置
２・・・撮像部
３・・・記憶部
４・・・制御部
５・・・表示部
６・・・記録装置
３０・・・背景画像
３１・・・軌跡
３２・・・参照特徴量
３３・・・領域属性情報
４０・・・背景画像生成手段
４１・・・変化領域抽出手段
４２・・・追跡手段
４３・・・領域分類手段
４４・・・派生判定手段
４５・・・異常判定手段
【特許請求の範囲】
【請求項１】
監視空間を所定時間おきに撮像する撮像部と、
前記監視空間の背景が撮像された背景画像を記憶している記憶部と、
前記撮像部から入力される入力画像を前記背景画像と比較して変化領域を抽出する変化領域抽出手段と、
前後する時刻に抽出された前記変化領域内の前記入力画像を比較して前記変化領域の追跡を行い、追跡された変化領域ごとの軌跡を検出する追跡手段と、
前記軌跡から移動量を検出し、前記変化領域を前記移動量が検出された移動領域と前記移動量が検出されない静止領域に分類する領域分類手段と、
前記移動領域と前記静止領域との間の離間度を算出し、派生判定値未満の前記離間度が算出された前記移動領域と前記静止領域の間に派生関係を設定する派生判定手段と、
前記静止領域を異常候補領域に設定し、所定時点において前記異常候補領域がある場合に異常信号を出力する異常判定手段と、
を備え、
前記異常判定手段は、同一の前記移動領域に対して前記派生関係が設定された前記静止領域のペアを検出し、前記ペアを除いて前記異常候補領域を設定することを特徴とする異常検知装置。
【請求項２】
前記異常判定手段は、前記ペアの一方における前記背景画像と当該ペアの他方における前記入力画像とを照合し、照合一致した場合に当該ペアを除いて前記異常候補領域を設定する請求項１に記載の異常検知装置。
【請求項３】
前記背景画像のうち前記ペアと対応する部分を前記入力画像により更新する背景画像生成手段、をさらに備えた請求項１又は２に記載の異常検知装置。
【請求項４】
前記異常判定手段は、前記派生関係が設定されていない前記静止領域をさらに除いて前記異常候補領域を設定する請求項１〜請求項３の何れか１つに記載の異常検知装置。
【請求項５】
前記所定時点は、前記異常候補領域との間に前記派生関係が設定されている前記移動領域の前記軌跡が検出されなくなった消失時点である請求項４に記載の異常検知装置。
【請求項６】
前記所定時点は、前記消失時点、又は前記異常候補領域の前記軌跡が検出され始めてから予め設定された放置判定時間が経過した経過時点のいずれかである請求項５に記載の異常検知装置。
【請求項７】
前記派生判定手段は、前記静止領域と、当該静止領域が新規に抽出される直前時刻に抽出された前記移動領域との間で前記離間度を算出する請求項１〜請求項６の何れか１つに記載の異常検知装置。
【請求項１】
監視空間を所定時間おきに撮像する撮像部と、
前記監視空間の背景が撮像された背景画像を記憶している記憶部と、
前記撮像部から入力される入力画像を前記背景画像と比較して変化領域を抽出する変化領域抽出手段と、
前後する時刻に抽出された前記変化領域内の前記入力画像を比較して前記変化領域の追跡を行い、追跡された変化領域ごとの軌跡を検出する追跡手段と、
前記軌跡から移動量を検出し、前記変化領域を前記移動量が検出された移動領域と前記移動量が検出されない静止領域に分類する領域分類手段と、
前記移動領域と前記静止領域との間の離間度を算出し、派生判定値未満の前記離間度が算出された前記移動領域と前記静止領域の間に派生関係を設定する派生判定手段と、
前記静止領域を異常候補領域に設定し、所定時点において前記異常候補領域がある場合に異常信号を出力する異常判定手段と、
を備え、
前記異常判定手段は、同一の前記移動領域に対して前記派生関係が設定された前記静止領域のペアを検出し、前記ペアを除いて前記異常候補領域を設定することを特徴とする異常検知装置。
【請求項２】
前記異常判定手段は、前記ペアの一方における前記背景画像と当該ペアの他方における前記入力画像とを照合し、照合一致した場合に当該ペアを除いて前記異常候補領域を設定する請求項１に記載の異常検知装置。
【請求項３】
前記背景画像のうち前記ペアと対応する部分を前記入力画像により更新する背景画像生成手段、をさらに備えた請求項１又は２に記載の異常検知装置。
【請求項４】
前記異常判定手段は、前記派生関係が設定されていない前記静止領域をさらに除いて前記異常候補領域を設定する請求項１〜請求項３の何れか１つに記載の異常検知装置。
【請求項５】
前記所定時点は、前記異常候補領域との間に前記派生関係が設定されている前記移動領域の前記軌跡が検出されなくなった消失時点である請求項４に記載の異常検知装置。
【請求項６】
前記所定時点は、前記消失時点、又は前記異常候補領域の前記軌跡が検出され始めてから予め設定された放置判定時間が経過した経過時点のいずれかである請求項５に記載の異常検知装置。
【請求項７】
前記派生判定手段は、前記静止領域と、当該静止領域が新規に抽出される直前時刻に抽出された前記移動領域との間で前記離間度を算出する請求項１〜請求項６の何れか１つに記載の異常検知装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−７０３３２（Ｐ２０１１−７０３３２Ａ）
【公開日】平成２３年４月７日（２０１１．４．７）
【国際特許分類】
【出願番号】特願２００９−２１９８５２（Ｐ２００９−２１９８５２）
【出願日】平成２１年９月２５日（２００９．９．２５）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
【公開日】平成２３年４月７日（２０１１．４．７）
【国際特許分類】
【出願日】平成２１年９月２５日（２００９．９．２５）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
[ Back to top ]