異常検知装置
【課題】異常時の静止人物を効果的に検出する。
【解決手段】異常検知装置は、監視領域を撮像した監視画像を順次取得する撮像部２０と、前記監視画像を処理する制御部２２と、前記制御部が異常を検出すると異常信号を出力する出力部２３を具備する。制御部２２は、監視画像から人物を検出する人物抽出手段２２０と、人物を時間的に追跡する人物追跡手段２２１と、人物について略静止している静止人物を検出する静止人物検出手段２２３と、静止人物の検出中に、当該静止人物を検出したとき既に追跡中となっているその他の人物が追跡できなくなると異常を検出する異常検出手段２２５と、を有する。
【解決手段】異常検知装置は、監視領域を撮像した監視画像を順次取得する撮像部２０と、前記監視画像を処理する制御部２２と、前記制御部が異常を検出すると異常信号を出力する出力部２３を具備する。制御部２２は、監視画像から人物を検出する人物抽出手段２２０と、人物を時間的に追跡する人物追跡手段２２１と、人物について略静止している静止人物を検出する静止人物検出手段２２３と、静止人物の検出中に、当該静止人物を検出したとき既に追跡中となっているその他の人物が追跡できなくなると異常を検出する異常検出手段２２５と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された監視画像を画像解析することにより、監視空間内で発生した異常シーンを検知する異常検知装置に関して、特に複数の人物が関与した異常事態を検知するものに関する。
【背景技術】
【０００２】
従来より、各種犯罪について監視カメラ映像から検出したいという要求がある。例えば、強盗犯が有人店舗などに押し入り、金庫に保管されている金品の強奪を試みる際に、店舗の従業員等による外部への通報や抵抗をおそれるあまり、従業員に対して攻撃を与えたり、手足をロープや粘着テープで拘束したりすることで身体の自由を奪うことがある。
【０００３】
このように身体の自由を奪われた従業員等の被害者は、犯行後、店舗内に放置されることになるため、通報が遅れることによる強盗事件発生の発覚遅れや、怪我をした被害者の救護遅れなどが危惧される。
【０００４】
このため、被害者が上記のような通報操作できない状態であることを自動的に検知し、通報を行う異常検知装置の提案が望まれている。
【０００５】
このような異常事態については、監視カメラで得られた画像より得られる被害者の行動から検出することが考えられる。しかし、上記のような被害者の存在を画像処理による行動解析によって検出する場合、被害者がとった行動であるのか、平常時の人物がとった行動であるのかを精度よく識別する必要がある。
【０００６】
特許文献１には、異常な行動をとった人物と通常の行動をとった人物とを識別する方法として、「通常の行動パターン」および「異常な行動パターン」を予め記憶し、それらと監視画像中の人物の行動パターンを比較することで、当該人物の行動が正常であるか異常であるかを識別する装置が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−３２８６２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、押し込み強盗によって被害者が拘束される等して、監視空間に放置されたことを検知するとき、被害者のみの行動から異常／正常を識別することが困難な場合がある。例えば、押し込み強盗によって中腰で拘束され動けなくなった人物と中腰で通常に作業をしている人物を識別する場合、これらの人物の行動は共に「中腰状態で動かない」というものになり、これらを識別することは困難である。
【０００９】
本発明は、身体の自由を奪われ、その後放置された被害者を精度よく検知する異常検知装置の提供を目的とする。
【課題を解決するための手段】
【００１０】
本発明は、監視領域を撮像した監視画像を順次取得する画像取得部と、前記監視画像を処理する制御部と、前記制御部が異常を検出すると異常信号を出力する出力部を具備する異常検知装置であって、前記制御部は、前記監視画像から人物を検出する人物検出手段と、前記人物を時間的に追跡する人物追跡手段と、前記人物について略静止している静止人物を検出する静止人物検出手段と、前記静止人物の検出中に、当該静止人物を検出したとき既に追跡中となっているその他の人物が追跡できなくなると異常を検出する異常検出手段と、を有することを特徴とする。
【００１１】
また、人物の外形に対応する人物モデルを記憶する記憶部と、前記人物と前記人物モデルを比較して、当該人物が立位姿勢でないことを検出する姿勢検出手段と、をさらに有し、前記静止人物検出手段は、前記立位姿勢でない人物について前記静止人物を検出することが好適である。
【００１２】
また、前記異常検出手段は、前記監視画像から前記その他の追跡中の人物を所定時間以上検出できないと前記その他の人物が追跡できなくなったとすることが好適である。
【００１３】
また、前記異常検出手段は、前記その他の追跡中の人物と前記静止人物が静止と検出する前に接触したか否かを判定し、接触していると前記異常を検出することが好適である。
【００１４】
また、前記監視領域内に予め設定した重要エリアを記憶する記憶部をさらに有し、前記異常検出手段は、前記その他の追跡中の人物が前記重要エリアに入ったか否かを判定し、入っていると前記異常を検出することが好適である。
【発明の効果】
【００１５】
本発明によれば、監視領域内にいる人物が静止状態を継続する人物を残したまま、逃走したことを検出することで、正常な動作として静止している人物と押し込み強盗などによって拘束され放置された人物を区別することが可能である。これにより、放置人物をより正確に検出することができ、誤った異常報知を防止することができる。
【図面の簡単な説明】
【００１６】
【図１】監視空間のイメージと異常検知装置の構成を示した模式図である。
【図２】異常検知装置の構成を示すブロック図である。
【図３】姿勢別人物モデルのうち、立位モデルを示す図である。
【図４】姿勢別人物モデルのうち、倒位モデルを示す図である。
【図５】姿勢別人物モデルのうち、屈位モデルを示す図である。
【図６】異常検知の動作を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態について、図面に基づいて説明する。
【００１８】
「全体構成」
本実施形態に係る異常検知装置を含み、この異常検知装置にて異常シーンを検知して、警備センタ等へ通報する通報システム１について説明する。
【００１９】
図１は、通報システム１の構成と配置のイメージを示した模式図である。
【００２０】
通報システム１は、異常検知装置２と、コントローラー３と、センタ装置５を含んで構成される。
【００２１】
異常検知装置２は、金庫６などの重要物が設置された部屋を監視空間とし、当該部屋の天井に設置される。異常検知装置２は、監視空間にて発生した異常シーンを検知すると異常信号を出力する。
【００２２】
異常検知装置２は、通信線を介してコントローラー３に接続され、コントローラー３は電話回線またはインターネット回線等の広域通信網４を介して遠隔地に設置された警備センタ等のセンタ装置５と接続される。異常検知装置２が出力した異常信号はコントローラー３を介してセンタ装置５に送信される。
【００２３】
「異常検知装置の構成」
図２は、異常検知装置２の構成を示したブロック図である。異常検知装置２は、撮像部２０、記憶部２１、出力部２３および制御部２２を含んで構成されている。
【００２４】
なお、図１においては、異常検知装置２を監視領域の天井に設けたが、撮像部２０のみを天井に設け、その他の装置は別の場所に設けてもよい。
【００２５】
（撮像部２０）
撮像部２０は、例えばＣＣＤ撮像素子などを利用した監視カメラである。この撮像部２０は、通常は監視空間（監視領域）の天井に取り付けられている。また、その撮影は、ビデオ撮影のような連続撮影でもよいが、所定の時間間隔で監視領域を順次撮影することが好ましい。撮影された監視空間の監視画像は順次、制御部２２へ出力される。監視画像が撮像される時間間隔は例えば１／５秒である。以下、この撮像の時間間隔で刻まれる時間の単位を時刻と称する。本実施形態において、撮像部２０は魚眼レンズを備え、その光軸を鉛直下方に向けて設置されており、監視空間である部屋の全体を撮像する。
【００２６】
（記憶部２１）
記憶部２１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の記憶装置である。フラッシュメモリや，ハードディスクなどを利用してもよい。記憶部２１は、各種プログラムや各種データを記憶し、制御部２２との間でこれらの情報を入出力する。記憶部２１において記憶する各種データには、背景差分処理に必要な背景画像２１０、追跡人物の姿勢判定に必要な姿勢別の人物モデル２１１が含まれる。なお、撮影された画像をそのままハードディスクなどの大容量記憶装置に記憶しておいてもよい。
【００２７】
姿勢別の人物モデル２１１は人物の姿勢を立位／倒位／屈位の３つに大分し、各姿勢の人物の形状（外形）をモデリングしたものである。姿勢別の人物モデル２１１には立位モデル２１１Ｒ、倒位モデル２１１Ｔ、屈位モデル２１１Ｋが含まれる。
【００２８】
この立位モデル２１１Ｒ、倒位モデル２１１Ｔ、屈位モデル２１１Ｋを図３、図４、図５に示す。各モデルは、制御部２２が、撮像部２０において得られた監視画像から人物領域を抽出し、抽出された人物領域に姿勢別の人物モデル２１１を当て嵌めることで、撮像されている人物の姿勢を推定する際に利用される。
【００２９】
立位モデル２１１Ｒは立った姿勢の人物の形状（外形）を模した人物モデル２１１である。本実施形態において立位モデル２１１Ｒは、図３に示すように、長軸長ＬＲ±αＬＲ、短軸長ＳＲ±αＳＲの楕円で定義される。光軸を鉛直下方に向けた撮像部２０により撮像された監視画像の座標系においては監視画像の中心からの放射線方向が身長方向となる。±αθＲは、体の傾きを考慮するための値であり、立位モデル２１１Ｒは、その長軸方向を放射線方向から±αθＲの範囲内に限定して配置される。すなわち、画像中心から放射方向に対する、長軸方向のずれ（偏位角）が±αθＲの範囲内の人物領域が当て嵌められる。
【００３０】
長軸長の基準値ＬＲは平均的な身長に応じて設定され、その変動許容範囲±αＬＲは体格の個人差により生じる誤差等を吸収可能な範囲に設定される。短軸長の基準値ＳＲは平均的な体の幅に応じて設定され、その変動許容範囲±αＳＲは体の傾きにより生じる誤差や体格の個人差により生じる誤差等を吸収可能な範囲に設定される。長軸の偏位角の変動許容範囲±αθＲは体の傾きにより生じる誤差や立位の姿勢の個人差を吸収可能な範囲に設定される。これらの変動許容範囲は立位とみなせる範囲の形状、傾きの範囲を意味している。
【００３１】
記憶部２１には、立位モデル２１１Ｒとして予め上記のように設定された長軸長ＬＲ、短軸長ＳＲ、長軸長の変動許容範囲±αＬＲ、短軸長の変動許容範囲±αＳＲ、長軸の偏位角の変動許容範囲±αθＲの各数値が記憶されている。なお、人物の像の大きさは撮像部２０と人物の位置関係により変わるため、ＬＲ、ＳＲは監視画像上の位置ごとに設定し、αＬＲ、αＳＲはＬＲ、ＳＲに対する比率として設定するのがよい。
【００３２】
倒位モデル２１１Ｔは倒れている姿勢の人物の形状（外形）を模した人物モデル２１１である。本実施形態において倒位モデル２１１Ｔは、図４に示すように、長軸長ＬＴ±αＬＴ、短軸長ＳＴ±αＳＴの楕円で定義される。±αθＴは体の傾きを考慮するための値であり、光軸を鉛直下方に向けた撮像部２０により撮像された監視画像の座標系において倒位モデル２１１Ｔはその長軸方向を放射線の法線方向から±αθＴの範囲内に限定して配置される。
【００３３】
長軸長の基準値ＬＴは平均的な身長に応じて設定され、その変動許容範囲±αＬＴは体格の個人差により生じる誤差等を吸収可能な範囲に設定される。短軸長の基準値ＳＴは平均的な体の幅に応じて設定され、その変動許容範囲±αＳＴは体の傾きにより生じる誤差や体格の個人差により生じる誤差等を吸収可能な範囲に設定される。長軸の偏位角の変動許容範囲±αθＴは立位と混同しないように０≦αθＴ＜９０°−αθＲの範囲に設定される。これらの変動許容範囲は倒位とみなせる範囲の形状、傾きの範囲を意味している。
【００３４】
記憶部２１には、倒位モデル２１１Ｔとして予め上記のように設定された長軸長ＬＴ、短軸長ＳＴ、長軸長の変動許容範囲±αＬＴ、短軸長の変動許容範囲±αＳＴ、長軸の偏位角の変動許容範囲±αθＴの各数値が記憶されている。なお、人物の像の大きさは撮像部２０と人物の位置関係により変わるため、ＬＴ、ＳＴは監視画像上の位置ごとに設定し、αＬＴ、αＳＴはＬＴ、ＳＴに対する比率として設定するのがよい。
【００３５】
屈位モデル２１１Ｋは屈んだ姿勢の人物の形状（外形）を模した人物モデル２１１である。本実施形態において屈位モデル２１１Ｋは、図５に示すように、長軸長ＬＫ±αＬＫ、短軸長ＳＫ±αＳＫの楕円で定義される。±αθＫは、体の傾きを考慮するための値であり、光軸を鉛直下方に向けた撮像部２０により撮像された監視画像の座標系において、屈位モデル２１１Ｋはその長軸方向を放射線方向から±αθＫの範囲内に限定して配置される。すなわち、屈位モデル２１１Ｋは、長軸方向が監視画像の放射方向に対し±αθＫの範囲内のみに設定される。
【００３６】
長軸長の基準値ＬＫは立位モデルの長軸長ＬＲの１／２に設定され、その変動許容範囲±αＬＫは体格の個人差により生じる誤差等を吸収可能な範囲に設定される。屈位モデル２１１Ｋの短軸長の変動許容範囲±αＳＫは体の傾きにより生じる誤差や体格の個人差により生じる誤差等を吸収可能な範囲に設定される。長軸の偏位角（放射方向からのずれの範囲）の変動許容範囲±αθＫは屈んだ姿勢の個人差を吸収可能な範囲に設定される。これらの変動許容範囲は屈位とみなせる範囲の形状、傾きの範囲を意味している。
【００３７】
記憶部２１には、屈位モデル２１１Ｋとして予め上記のように設定された長軸長ＬＫ、短軸長ＳＫ、長軸長の変動許容範囲±αＬＫ、短軸長の変動許容範囲±αＳＫ、長軸の偏位角の変動許容範囲±αθＫの各数値が記憶されている。なお、人物の像の大きさは撮像部２０と人物の位置関係により変わるため、ＬＫ、ＳＫは監視画像上の位置ごとに設定し、αＬＫ、αＳＫはＬＫ、ＳＫに対する比率として設定するのがよい。
【００３８】
（制御部２２）
制御部２２は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、記憶部２１からプログラムを読み出して実行することで人物抽出手段２２０、人物追跡手段２２１、姿勢検出手段２２２、静止人物検出手段２２３、逃走人物検出手段２２４、異常検出手段２２５として機能する。
【００３９】
ここで、制御部２２の各手段については、図６に示す処理フローとともに説明する。
【００４０】
（出力部２３）
出力部２３は、異常信号を異常検知装置の外部へ出力する通信手段である。出力部２３は、制御部２２の異常検出手段２２５から異常信号が入力されると、当該異常信号をコントローラー３へ出力する。
【００４１】
「異常検知装置２における処理フロー」
図６は、異常検知装置２における異常検出処理を示したフローチャートである。各種のデータ処理は基本的に制御部２２において実施される。
【００４２】
（Ｓ１：初期化）
電源が投入されると、各部が初期化され動作を開始する。初期化には起動直後の監視画像を記憶部２１に背景画像２１０として記憶させる処理を含む。ここで、背景画像については、人が立ち入らない状態において、毎回取得し直すことが好適であるが、ある程度固定的な画面を記憶しておくなど各種の手段を採用することができる。
【００４３】
（Ｓ２：監視画像取得）
初期化が終了した場合には、監視画像を取得する。すなわち、撮像部２０は、監視空間を撮像する度に監視画像を出力し、制御部２２はこれを取得する。Ｓ２において、現時刻の監視画像が取得され、これが制御部に送られる。
【００４４】
（Ｓ３：背景差分・ラベリング）
制御部２２の人物抽出手段２２０では、撮像部から送られてきた現時刻における監視画像について背景を除去して、人物領域を抽出し、得られた人物領域をラベリングする。人物抽出手段２２０は、撮像部２０から得られた監視画像と、記憶部２１に記憶されている背景画像２１０を比較し、背景画像２１０との差分が閾値以上である画素を変化画素として抽出する。なお、差分特徴量として、輝度、色、エッジ強度・方向などを用いることができる。閾値は、事前に決められた規定値を用いてもよいし、動的に変更してもよい。
【００４５】
また、差分演算後に正規化相関等による光・影領域の除去、膨張収縮処理によるゴマ塩状ノイズの除去を行うことが望ましい。
【００４６】
人物抽出手段２２０は、変化画素の抽出後、ラベリングを行う。ラベリングは、空間的に接続する画素に同一の番号を振る処理であり、変化画素の塊（集合）ごとに個別の番号が振られることになる。ラベリング後、１つのラベリングがされた領域例えば面積が閾値以下の塊は除去するなど再度ノイズ除去処理を行う。この際の閾値はカメラ設置条件から計算される標準人物サイズなどから決定される。以下、この塊を人物領域と称する。
【００４７】
このように、人物抽出手段２２０は、人物検出手段として機能し、人物領域を抽出することで、監視画像内の人物を検出する。
【００４８】
（Ｓ４：人物追跡）
人物抽出手段２２０において得られた人物領域の画像は、人物追跡手段２２１に送られる。人物追跡手段２２１は、前時刻までに（前回以前に取得した監視画像において）人物抽出手段２２０により抽出され、記憶部２１に記憶されている各人物領域に関する追跡特徴と、現時刻にて（今回取得した監視画像において）人物抽出手段２２０により抽出された各人物領域と関連付けることで、人物領域の追跡を実現する。
【００４９】
そのために、人物追跡手段２２１は、監視領域への人物領域の出現が確認される度に、その人物領域の画像特徴を追跡特徴として抽出し、記憶部２１に記憶する。そして、記憶部２１に記憶されている前時刻までに抽出された人物領域の追跡特徴と、現時刻で抽出された人物領域の追跡特徴を比較し、最も類似していると判断される人物領域と関連付ける。追跡特徴とは、色やエッジのヒストグラム、人物領域の重心位置、外接矩形などである。現時刻で抽出された人物領域が、記憶部２１に記憶されている追跡特徴のいずれにも関連付けられなかった場合には、その人物領域は現時刻において新たに出現した人物である、と判定する。
【００５０】
記憶部２１に記憶されている追跡特徴のうちで、現時刻で抽出された人物領域に関連付けられなかった人物領域がある場合には、その人物領域は、現時刻において入力画像の視野外に移動した、つまりは事務室（監視領域）から退出した人物であると判定し、前時刻の人物領域に退出フラグを立てる。なお、退出した時刻以降において、抽出された人物領域と当該退出した人物が関連付けられたときは、退出した人物が監視領域に戻ってきたと判定し、退出フラグを消去する。
【００５１】
（Ｓ５：姿勢判定）
次に、姿勢検出手段２２２は、人物抽出手段２２０により抽出された人物領域に最も形状が適合する姿勢別の人物モデル２１１を選出し、選出された姿勢別の人物モデル２１１に対応する姿勢を人物領域に含まれる人物の姿勢と判定する。なお、複数の人物領域が抽出されている場合、姿勢検出手段２２２はそれぞれの人物領域に対して姿勢判定を行う。
【００５２】
姿勢検出手段２２２は、人物領域に各人物モデル２１１を重ね合わせて適合度を算出し、適合度が最も高い姿勢の人物モデル２１１を選出する。本件では適合度を以下の評価関数で表現する。
（評価関数）＝−｛（人物領域であって人物モデル領域でない画素）
＋γ×（人物モデル領域であって人物領域でない画素）｝
【００５３】
第１項は、人物領域にも関わらず人物モデルで覆われなかった画素の数、第２項は人物領域でないにも関わらず人物モデルで覆われた画素の数であり、人物領域と人物モデルの適合度をはみ出し画素の数により評価している。評価関数は負の値をとり、その値が大きい方（０に近い方）が人物領域と人物モデルの適合度が高い。
【００５４】
γは、第１項と第２項のバランスをとるためのパラメータである。例えば変化画素が抽出されやすいような差分処理の閾値を設定した場合、γの値を大きく設定すればよい。
【００５５】
ここで、各人物がとる姿勢は一定ではない上、人物間の位置関係も一定ではなく、また上述したように人物の姿勢には個人差や体の傾きにより生じる誤差等が含まれる。そこで人物領域に対する各姿勢別の人物モデル２１１の重ね合わせの処理は各パラメータを変更しながら処理を反復し探索的に行われる。但し、リアルタイムで異常検知を行うために、その探索は予め１時刻で処理が終わるように反復回数Ｎが固定的に規定され、或いは予め１時刻より短い処理時間の規定により反復回数Ｎが動的に規定される。例えば反復回数Ｎは１０００回と規定される。このとき、限られた反復回数の中で姿勢判定の結果が局所解に陥ることを防ぐために、パラメータの変更をランダムに行うことが好適である。
【００５６】
次に、探索時に変更されるパラメータについて説明する。姿勢検出手段２２２は各人物がとる姿勢が一定ではないことに対応して各姿勢の姿勢別の人物モデル２１１を複数通り試行する。３種類の姿勢（立位と倒位と屈位）が設定されている本実施形態では、３通りの組み合わせからランダムに選択する。
【００５７】
また、姿勢検出手段２２２は個人差や体の傾きにより生じる誤差に対応して各姿勢の姿勢別の人物モデル２１１の形状、傾きを変動許容範囲でランダムに微小変更する。形状の変更は長軸長と短軸長を独立して変更することにより行われる。傾きの変更は偏位角を変更することにより行われる。
【００５８】
具体的には、姿勢検出手段２２２は、人物領域内にランダム座標を設定して立位モデル２１１Ｒの重心位置ＰＲとし、重心位置ＰＲに応じた長軸長ＬＲと短軸長ＳＲを記憶部２１から読み出すとともに許容範囲αＬＲ、αＳＲ、αθＲを読み出し、長軸長ＬＲに対して±αＬＲの範囲でΔＬＲをランダムに設定し、短軸長ＳＲに対して±αＳＲの範囲でΔＳＲをランダムに設定し、長軸偏位角に対して±αθＲの範囲でΔθＲをランダムに設定する。姿勢検出手段２２２は、画像中心８３と重心位置ＰＲを結ぶ放射線から重心位置ＰＲを中心にΔθＲだけ回転した直線を長軸として求め、重心位置ＰＲを中心とし長軸長ＬＲ＋ΔＬＲ、短軸長ＳＲ＋ΔＳＲの楕円を算出する。
【００５９】
同様に、姿勢検出手段２２２は、倒位モデル２１１Ｔの重心位置ＰＴを人物領域内にランダム設定するとともに、変動量ΔＬＴ、ΔＳＴ、ΔθＴをそれぞれ±αＬＴ、±αＳＴ、±αθＴの範囲でランダムに設定し、画像中心８３と重心位置ＰＴを結ぶ放射線の重心位置ＰＫを通る法線を求め、当該法線から重心位置ＰＴを中心にΔθＴだけ回転した直線を長軸とし重心位置ＰＴを中心とする長軸長ＬＴ＋ΔＬＴ、短軸長ＳＴ＋ΔＳＴの楕円を算出する。
【００６０】
さらに、姿勢検出手段２２２は、上述と同様にして、屈位モデル２１１Ｋの重心位置ＰＫを人物領域９０内にランダム設定するとともに、変動量ΔＬＫ、ΔＳＫ、ΔθＫをそれぞれ±αＬＫ、±αＳＫ、±αθＫの範囲でランダムに設定し、画像中心８３と重心位置ＰＫを結ぶ放射線から重心位置ＰＫを中心にΔθＫだけ回転した直線を長軸とし重心位置ＰＫを中心とする長軸長ＬＫ＋ΔＬＫ、短軸長ＳＫ＋ΔＳＫの楕円を算出する。
【００６１】
この処理により、人物領域に最も適合度の高い人物モデルの姿勢が当該人物領域に含まれる人物の姿勢であると判定する。そして、姿勢検出手段２２２は、判定結果である人物領域の姿勢を追跡特徴として記憶部２１に記憶する。
【００６２】
また、人物領域と人物モデルの当て嵌まりのよさを表す上記の評価関数に、時間方向の連続性を導入することもできる。例えば、前時刻の人物モデル領域内の色ヒストグラムを計算しておき、今回の人物モデル領域内の色ヒストグラムとの合致度を上記評価関数に付加して、色がフレーム間で大きく異ならないように楕円を当て嵌めることができる。
【００６３】
なお、抽出された１つの人物領域内に複数人物が含まれている場合、人数分だけの人物モデルを各パラメータを変動させながら人物領域に当て嵌めればよい。
【００６４】
（Ｓ６〜Ｓ８：静止判定）
Ｓ５において、倒位または屈位姿勢の人物が存在した場合、静止人物検出手段２２３は、その人物の追跡結果をスキャンバックし、所定時間以上（例えば５分間）に渡ってその姿勢のままで静止状態が継続しているかどうかを判定する。静止人物の判定には以下の基準を用いる。
（ｉ）人物領域の重心位置座標が変化していない（例えば、重心移動量が５画素以下）。
（ｉｉ）人物領域の外接矩形の大きさが変化していない（例えば、矩形変化率が５％以下）。
【００６５】
（ｉ）、（ｉｉ）のいずれに対しても変化分に対する適当な閾値を設定し、差分ノイズ等による微小な変化に過敏にならないようにすることが望ましい。
【００６６】
最も単純な判定方法は、一時刻前のフレームにも転倒/屈位姿勢であることを確認した上で、当該フレームから位置と矩形が無変化なことを解析することだが、より安定な検知を実現するために所定時間に渡っての静止を観測することが望ましい。転倒/屈位姿勢が継続しているスパンにおいて追跡結果を遡り、（ｉ）、（ｉｉ）の条件を用いてその期間における静止を判定することができる。
【００６７】
そして、所定時間以上に渡る静止が観測された場合、Ｓ８にて静止人物と判定する。
【００６８】
（Ｓ９〜Ｓ１５：逃走人物判定と異常の検出）
Ｓ９において、逃走人物検出手段２２４は、静止人物が存在した場合に、記憶部２１の追跡結果を用いて、当該静止人物を除いて過去も含めた全追跡人物領域を順次設定する。そして、設定された静止人物以外の追跡人物領域に対してＳ１０以下の処理を実行する。
【００６９】
（Ｓ１０〜Ｓ１１：逃走人物の存在確認）
Ｓ１０において、逃走人物検出手段２２４は、過去も含めた全人物領域の中から、該人物が静止状態になった時点で存在していた人物領域の存在を確認する。該当する人物領域が存在すればＳ１１へ進み、その人物領域が現在は監視エリアから既に退出しているかを判定する。本実施例では、退出フラグの有無と退出フラグが立った時刻を確認する。このＳ１１の判定において、退出から現時刻までに所定時間以上（例えば１分）が経過している場合に、その人物領域は逃走人物であると判定する。
【００７０】
ここで、本実施形態では、さらにＳ１２以降で追加条件をチェックする。
【００７１】
（Ｓ１２〜Ｓ１３：静止人物との接触と重要物エリアへの立ち入り）
Ｓ１２において、逃走人物検出手段２２４は、Ｓ１１からＳ１２の条件を満たした人物領域（逃走人物）について、監視エリア内に存在したときに静止人物と接触があったことを確認する。特に、静止人物が静止状態となる前に、接触があったかを判定するとよい。この接触したか否かの判断は以下の条件による。
（ｉ）静止人物との距離が一定以下（例えば５０センチ）の状態が、所定時間以上（例えば１分）継続した。
【００７２】
この条件を満足すれば、静止人物と逃走人物が接触したと判断する。ここで、静止人物の３次元位置は、カメラ設置条件既知のもとで逆透視変換によって計算することができる。例えば前記天井設置の魚眼カメラであれば、人物領域の重心と魚眼中心を結ぶ直線を描き、その直線と人物領域の交点のうち最も魚眼中心に近い点を人物の足元とみなすことができる。足元は床面に存在するものと仮定して、カメラ設置条件を介して３次元空間での足元座標を知ることができる。２つの人物領域について３次元足元座標を計算し、その差分をとれば人物間の実距離がわかる。
【００７３】
さらに、接触時の動きに関する条件を追加してもよい。
（ｉｉ）接触している間、両者の間に一定以上の動きが観測された。
【００７４】
動きを検出するためにはフレーム間差分やオプティカル・フローを利用する。例えばフレーム間差分であれば、接触した両者に重なるウィンドウを設けてその中での差分を所定時間（例えば１０秒間）に渡って蓄積し、その量が閾値以上（例えばウィンドウ面積の７０％以上）であれば動きありと判定することができる。
【００７５】
このように、Ｓ１２にて接触ありと判定された場合にＳ１０からＳ１１の条件を満たした人物領域を逃走人物であると判定することで、より精度の高い逃走人物の判定ができる。
【００７６】
さらに、Ｓ１３で重要エリア内に立ち入ったという条件を追加してもよい。
【００７７】
すなわち、逃走人物検出手段２２４は、Ｓ１２にて接触ありと判断された場合、Ｓ１３にてその人物が重要物エリアに立ち入ったか否かを判定する。重要物エリアとは、例えば金庫を中心とする半径１ｍのエリアであり、事前に設定し記憶部２１に記憶しておけばよい。前述と同様の方法で人物の３次元足元位置を算出し、その位置が重要物エリア内に存在した場合に立ち入っていたとみなす。もちろん、所定時間を設けて（例えば５秒間）、所定時間以上に渡って重要物エリアに存在した場合に重要物エリアに立ち入ったとみなしてもよい。
【００７８】
Ｓ１３にて重要物エリアへの立ち入りを判定した場合にＳ１０からＳ１１の条件を満たした人物領域を逃走人物であると判定する。
【００７９】
（Ｓ１４：異常出力）
異常検出手段２２５は、逃走人物検出手段２２４にて逃走人物が判定されると、監視領域に存在していた静止人物を放置人物と判定し異常信号を出力部２３へ出力する。
【００８０】
（Ｓ１５：追跡人物の順次設定）
Ｓ１０〜１３の判定で、ＮＯであった場合には、判定の対象になった追跡人物は、強盗犯ではないと判定されたことを意味する。そこで、Ｓ１５において、静止人物以外の追跡人物がいるかを判定し、いる場合にはＳ９に戻り、次の追跡人物についての判定を行う。
【００８１】
「本実施形態の効果」
変化領域として検出した人物が放置状態（静止状態継続＋屈位（倒位）姿勢）となったときに監視領域内に存在していた他の人物が監視領域内からいなくなり、いなくなった状態が所定時間継続（逃亡）したことで強盗犯などの逃走人物を検出する。これにより、放置状態の人物が、「拘束されて動けなくなった人物」であり、「通常の作業をしている人物」ではないと判定することができ、誤判定を防止できる。
【００８２】
従って、本実施形態に係る異常検知装置を、監視エリア内に設置することで、被害者が強盗犯によって身体の自由を奪われて通報操作ができない状態のまま放置された場合であっても、そのような異常事態を自動的に検出し、通報を行うことが可能になる。
【符号の説明】
【００８３】
１ 通報システム、２ 異常検知装置、３ コントローラー、４ 広域通信網、５ センタ装置、６ 金庫、２０ 撮像部、２１ 記憶部、２２ 制御部、２３ 出力部、８３ 画像中心、９０ 人物領域、２１０ 背景画像、２１１ 人物モデル、２１１Ｋ 屈位モデル、２１１Ｒ 立位モデル、２１１Ｔ 倒位モデル、２２０ 人物抽出手段、２２１ 人物追跡手段、２２２ 姿勢検出手段、２２３ 静止人物検出手段、２２４ 逃走人物検出手段、２２５ 異常検出手段。
【技術分野】
【０００１】
本発明は、撮像された監視画像を画像解析することにより、監視空間内で発生した異常シーンを検知する異常検知装置に関して、特に複数の人物が関与した異常事態を検知するものに関する。
【背景技術】
【０００２】
従来より、各種犯罪について監視カメラ映像から検出したいという要求がある。例えば、強盗犯が有人店舗などに押し入り、金庫に保管されている金品の強奪を試みる際に、店舗の従業員等による外部への通報や抵抗をおそれるあまり、従業員に対して攻撃を与えたり、手足をロープや粘着テープで拘束したりすることで身体の自由を奪うことがある。
【０００３】
このように身体の自由を奪われた従業員等の被害者は、犯行後、店舗内に放置されることになるため、通報が遅れることによる強盗事件発生の発覚遅れや、怪我をした被害者の救護遅れなどが危惧される。
【０００４】
このため、被害者が上記のような通報操作できない状態であることを自動的に検知し、通報を行う異常検知装置の提案が望まれている。
【０００５】
このような異常事態については、監視カメラで得られた画像より得られる被害者の行動から検出することが考えられる。しかし、上記のような被害者の存在を画像処理による行動解析によって検出する場合、被害者がとった行動であるのか、平常時の人物がとった行動であるのかを精度よく識別する必要がある。
【０００６】
特許文献１には、異常な行動をとった人物と通常の行動をとった人物とを識別する方法として、「通常の行動パターン」および「異常な行動パターン」を予め記憶し、それらと監視画像中の人物の行動パターンを比較することで、当該人物の行動が正常であるか異常であるかを識別する装置が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−３２８６２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、押し込み強盗によって被害者が拘束される等して、監視空間に放置されたことを検知するとき、被害者のみの行動から異常／正常を識別することが困難な場合がある。例えば、押し込み強盗によって中腰で拘束され動けなくなった人物と中腰で通常に作業をしている人物を識別する場合、これらの人物の行動は共に「中腰状態で動かない」というものになり、これらを識別することは困難である。
【０００９】
本発明は、身体の自由を奪われ、その後放置された被害者を精度よく検知する異常検知装置の提供を目的とする。
【課題を解決するための手段】
【００１０】
本発明は、監視領域を撮像した監視画像を順次取得する画像取得部と、前記監視画像を処理する制御部と、前記制御部が異常を検出すると異常信号を出力する出力部を具備する異常検知装置であって、前記制御部は、前記監視画像から人物を検出する人物検出手段と、前記人物を時間的に追跡する人物追跡手段と、前記人物について略静止している静止人物を検出する静止人物検出手段と、前記静止人物の検出中に、当該静止人物を検出したとき既に追跡中となっているその他の人物が追跡できなくなると異常を検出する異常検出手段と、を有することを特徴とする。
【００１１】
また、人物の外形に対応する人物モデルを記憶する記憶部と、前記人物と前記人物モデルを比較して、当該人物が立位姿勢でないことを検出する姿勢検出手段と、をさらに有し、前記静止人物検出手段は、前記立位姿勢でない人物について前記静止人物を検出することが好適である。
【００１２】
また、前記異常検出手段は、前記監視画像から前記その他の追跡中の人物を所定時間以上検出できないと前記その他の人物が追跡できなくなったとすることが好適である。
【００１３】
また、前記異常検出手段は、前記その他の追跡中の人物と前記静止人物が静止と検出する前に接触したか否かを判定し、接触していると前記異常を検出することが好適である。
【００１４】
また、前記監視領域内に予め設定した重要エリアを記憶する記憶部をさらに有し、前記異常検出手段は、前記その他の追跡中の人物が前記重要エリアに入ったか否かを判定し、入っていると前記異常を検出することが好適である。
【発明の効果】
【００１５】
本発明によれば、監視領域内にいる人物が静止状態を継続する人物を残したまま、逃走したことを検出することで、正常な動作として静止している人物と押し込み強盗などによって拘束され放置された人物を区別することが可能である。これにより、放置人物をより正確に検出することができ、誤った異常報知を防止することができる。
【図面の簡単な説明】
【００１６】
【図１】監視空間のイメージと異常検知装置の構成を示した模式図である。
【図２】異常検知装置の構成を示すブロック図である。
【図３】姿勢別人物モデルのうち、立位モデルを示す図である。
【図４】姿勢別人物モデルのうち、倒位モデルを示す図である。
【図５】姿勢別人物モデルのうち、屈位モデルを示す図である。
【図６】異常検知の動作を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態について、図面に基づいて説明する。
【００１８】
「全体構成」
本実施形態に係る異常検知装置を含み、この異常検知装置にて異常シーンを検知して、警備センタ等へ通報する通報システム１について説明する。
【００１９】
図１は、通報システム１の構成と配置のイメージを示した模式図である。
【００２０】
通報システム１は、異常検知装置２と、コントローラー３と、センタ装置５を含んで構成される。
【００２１】
異常検知装置２は、金庫６などの重要物が設置された部屋を監視空間とし、当該部屋の天井に設置される。異常検知装置２は、監視空間にて発生した異常シーンを検知すると異常信号を出力する。
【００２２】
異常検知装置２は、通信線を介してコントローラー３に接続され、コントローラー３は電話回線またはインターネット回線等の広域通信網４を介して遠隔地に設置された警備センタ等のセンタ装置５と接続される。異常検知装置２が出力した異常信号はコントローラー３を介してセンタ装置５に送信される。
【００２３】
「異常検知装置の構成」
図２は、異常検知装置２の構成を示したブロック図である。異常検知装置２は、撮像部２０、記憶部２１、出力部２３および制御部２２を含んで構成されている。
【００２４】
なお、図１においては、異常検知装置２を監視領域の天井に設けたが、撮像部２０のみを天井に設け、その他の装置は別の場所に設けてもよい。
【００２５】
（撮像部２０）
撮像部２０は、例えばＣＣＤ撮像素子などを利用した監視カメラである。この撮像部２０は、通常は監視空間（監視領域）の天井に取り付けられている。また、その撮影は、ビデオ撮影のような連続撮影でもよいが、所定の時間間隔で監視領域を順次撮影することが好ましい。撮影された監視空間の監視画像は順次、制御部２２へ出力される。監視画像が撮像される時間間隔は例えば１／５秒である。以下、この撮像の時間間隔で刻まれる時間の単位を時刻と称する。本実施形態において、撮像部２０は魚眼レンズを備え、その光軸を鉛直下方に向けて設置されており、監視空間である部屋の全体を撮像する。
【００２６】
（記憶部２１）
記憶部２１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の記憶装置である。フラッシュメモリや，ハードディスクなどを利用してもよい。記憶部２１は、各種プログラムや各種データを記憶し、制御部２２との間でこれらの情報を入出力する。記憶部２１において記憶する各種データには、背景差分処理に必要な背景画像２１０、追跡人物の姿勢判定に必要な姿勢別の人物モデル２１１が含まれる。なお、撮影された画像をそのままハードディスクなどの大容量記憶装置に記憶しておいてもよい。
【００２７】
姿勢別の人物モデル２１１は人物の姿勢を立位／倒位／屈位の３つに大分し、各姿勢の人物の形状（外形）をモデリングしたものである。姿勢別の人物モデル２１１には立位モデル２１１Ｒ、倒位モデル２１１Ｔ、屈位モデル２１１Ｋが含まれる。
【００２８】
この立位モデル２１１Ｒ、倒位モデル２１１Ｔ、屈位モデル２１１Ｋを図３、図４、図５に示す。各モデルは、制御部２２が、撮像部２０において得られた監視画像から人物領域を抽出し、抽出された人物領域に姿勢別の人物モデル２１１を当て嵌めることで、撮像されている人物の姿勢を推定する際に利用される。
【００２９】
立位モデル２１１Ｒは立った姿勢の人物の形状（外形）を模した人物モデル２１１である。本実施形態において立位モデル２１１Ｒは、図３に示すように、長軸長ＬＲ±αＬＲ、短軸長ＳＲ±αＳＲの楕円で定義される。光軸を鉛直下方に向けた撮像部２０により撮像された監視画像の座標系においては監視画像の中心からの放射線方向が身長方向となる。±αθＲは、体の傾きを考慮するための値であり、立位モデル２１１Ｒは、その長軸方向を放射線方向から±αθＲの範囲内に限定して配置される。すなわち、画像中心から放射方向に対する、長軸方向のずれ（偏位角）が±αθＲの範囲内の人物領域が当て嵌められる。
【００３０】
長軸長の基準値ＬＲは平均的な身長に応じて設定され、その変動許容範囲±αＬＲは体格の個人差により生じる誤差等を吸収可能な範囲に設定される。短軸長の基準値ＳＲは平均的な体の幅に応じて設定され、その変動許容範囲±αＳＲは体の傾きにより生じる誤差や体格の個人差により生じる誤差等を吸収可能な範囲に設定される。長軸の偏位角の変動許容範囲±αθＲは体の傾きにより生じる誤差や立位の姿勢の個人差を吸収可能な範囲に設定される。これらの変動許容範囲は立位とみなせる範囲の形状、傾きの範囲を意味している。
【００３１】
記憶部２１には、立位モデル２１１Ｒとして予め上記のように設定された長軸長ＬＲ、短軸長ＳＲ、長軸長の変動許容範囲±αＬＲ、短軸長の変動許容範囲±αＳＲ、長軸の偏位角の変動許容範囲±αθＲの各数値が記憶されている。なお、人物の像の大きさは撮像部２０と人物の位置関係により変わるため、ＬＲ、ＳＲは監視画像上の位置ごとに設定し、αＬＲ、αＳＲはＬＲ、ＳＲに対する比率として設定するのがよい。
【００３２】
倒位モデル２１１Ｔは倒れている姿勢の人物の形状（外形）を模した人物モデル２１１である。本実施形態において倒位モデル２１１Ｔは、図４に示すように、長軸長ＬＴ±αＬＴ、短軸長ＳＴ±αＳＴの楕円で定義される。±αθＴは体の傾きを考慮するための値であり、光軸を鉛直下方に向けた撮像部２０により撮像された監視画像の座標系において倒位モデル２１１Ｔはその長軸方向を放射線の法線方向から±αθＴの範囲内に限定して配置される。
【００３３】
長軸長の基準値ＬＴは平均的な身長に応じて設定され、その変動許容範囲±αＬＴは体格の個人差により生じる誤差等を吸収可能な範囲に設定される。短軸長の基準値ＳＴは平均的な体の幅に応じて設定され、その変動許容範囲±αＳＴは体の傾きにより生じる誤差や体格の個人差により生じる誤差等を吸収可能な範囲に設定される。長軸の偏位角の変動許容範囲±αθＴは立位と混同しないように０≦αθＴ＜９０°−αθＲの範囲に設定される。これらの変動許容範囲は倒位とみなせる範囲の形状、傾きの範囲を意味している。
【００３４】
記憶部２１には、倒位モデル２１１Ｔとして予め上記のように設定された長軸長ＬＴ、短軸長ＳＴ、長軸長の変動許容範囲±αＬＴ、短軸長の変動許容範囲±αＳＴ、長軸の偏位角の変動許容範囲±αθＴの各数値が記憶されている。なお、人物の像の大きさは撮像部２０と人物の位置関係により変わるため、ＬＴ、ＳＴは監視画像上の位置ごとに設定し、αＬＴ、αＳＴはＬＴ、ＳＴに対する比率として設定するのがよい。
【００３５】
屈位モデル２１１Ｋは屈んだ姿勢の人物の形状（外形）を模した人物モデル２１１である。本実施形態において屈位モデル２１１Ｋは、図５に示すように、長軸長ＬＫ±αＬＫ、短軸長ＳＫ±αＳＫの楕円で定義される。±αθＫは、体の傾きを考慮するための値であり、光軸を鉛直下方に向けた撮像部２０により撮像された監視画像の座標系において、屈位モデル２１１Ｋはその長軸方向を放射線方向から±αθＫの範囲内に限定して配置される。すなわち、屈位モデル２１１Ｋは、長軸方向が監視画像の放射方向に対し±αθＫの範囲内のみに設定される。
【００３６】
長軸長の基準値ＬＫは立位モデルの長軸長ＬＲの１／２に設定され、その変動許容範囲±αＬＫは体格の個人差により生じる誤差等を吸収可能な範囲に設定される。屈位モデル２１１Ｋの短軸長の変動許容範囲±αＳＫは体の傾きにより生じる誤差や体格の個人差により生じる誤差等を吸収可能な範囲に設定される。長軸の偏位角（放射方向からのずれの範囲）の変動許容範囲±αθＫは屈んだ姿勢の個人差を吸収可能な範囲に設定される。これらの変動許容範囲は屈位とみなせる範囲の形状、傾きの範囲を意味している。
【００３７】
記憶部２１には、屈位モデル２１１Ｋとして予め上記のように設定された長軸長ＬＫ、短軸長ＳＫ、長軸長の変動許容範囲±αＬＫ、短軸長の変動許容範囲±αＳＫ、長軸の偏位角の変動許容範囲±αθＫの各数値が記憶されている。なお、人物の像の大きさは撮像部２０と人物の位置関係により変わるため、ＬＫ、ＳＫは監視画像上の位置ごとに設定し、αＬＫ、αＳＫはＬＫ、ＳＫに対する比率として設定するのがよい。
【００３８】
（制御部２２）
制御部２２は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、記憶部２１からプログラムを読み出して実行することで人物抽出手段２２０、人物追跡手段２２１、姿勢検出手段２２２、静止人物検出手段２２３、逃走人物検出手段２２４、異常検出手段２２５として機能する。
【００３９】
ここで、制御部２２の各手段については、図６に示す処理フローとともに説明する。
【００４０】
（出力部２３）
出力部２３は、異常信号を異常検知装置の外部へ出力する通信手段である。出力部２３は、制御部２２の異常検出手段２２５から異常信号が入力されると、当該異常信号をコントローラー３へ出力する。
【００４１】
「異常検知装置２における処理フロー」
図６は、異常検知装置２における異常検出処理を示したフローチャートである。各種のデータ処理は基本的に制御部２２において実施される。
【００４２】
（Ｓ１：初期化）
電源が投入されると、各部が初期化され動作を開始する。初期化には起動直後の監視画像を記憶部２１に背景画像２１０として記憶させる処理を含む。ここで、背景画像については、人が立ち入らない状態において、毎回取得し直すことが好適であるが、ある程度固定的な画面を記憶しておくなど各種の手段を採用することができる。
【００４３】
（Ｓ２：監視画像取得）
初期化が終了した場合には、監視画像を取得する。すなわち、撮像部２０は、監視空間を撮像する度に監視画像を出力し、制御部２２はこれを取得する。Ｓ２において、現時刻の監視画像が取得され、これが制御部に送られる。
【００４４】
（Ｓ３：背景差分・ラベリング）
制御部２２の人物抽出手段２２０では、撮像部から送られてきた現時刻における監視画像について背景を除去して、人物領域を抽出し、得られた人物領域をラベリングする。人物抽出手段２２０は、撮像部２０から得られた監視画像と、記憶部２１に記憶されている背景画像２１０を比較し、背景画像２１０との差分が閾値以上である画素を変化画素として抽出する。なお、差分特徴量として、輝度、色、エッジ強度・方向などを用いることができる。閾値は、事前に決められた規定値を用いてもよいし、動的に変更してもよい。
【００４５】
また、差分演算後に正規化相関等による光・影領域の除去、膨張収縮処理によるゴマ塩状ノイズの除去を行うことが望ましい。
【００４６】
人物抽出手段２２０は、変化画素の抽出後、ラベリングを行う。ラベリングは、空間的に接続する画素に同一の番号を振る処理であり、変化画素の塊（集合）ごとに個別の番号が振られることになる。ラベリング後、１つのラベリングがされた領域例えば面積が閾値以下の塊は除去するなど再度ノイズ除去処理を行う。この際の閾値はカメラ設置条件から計算される標準人物サイズなどから決定される。以下、この塊を人物領域と称する。
【００４７】
このように、人物抽出手段２２０は、人物検出手段として機能し、人物領域を抽出することで、監視画像内の人物を検出する。
【００４８】
（Ｓ４：人物追跡）
人物抽出手段２２０において得られた人物領域の画像は、人物追跡手段２２１に送られる。人物追跡手段２２１は、前時刻までに（前回以前に取得した監視画像において）人物抽出手段２２０により抽出され、記憶部２１に記憶されている各人物領域に関する追跡特徴と、現時刻にて（今回取得した監視画像において）人物抽出手段２２０により抽出された各人物領域と関連付けることで、人物領域の追跡を実現する。
【００４９】
そのために、人物追跡手段２２１は、監視領域への人物領域の出現が確認される度に、その人物領域の画像特徴を追跡特徴として抽出し、記憶部２１に記憶する。そして、記憶部２１に記憶されている前時刻までに抽出された人物領域の追跡特徴と、現時刻で抽出された人物領域の追跡特徴を比較し、最も類似していると判断される人物領域と関連付ける。追跡特徴とは、色やエッジのヒストグラム、人物領域の重心位置、外接矩形などである。現時刻で抽出された人物領域が、記憶部２１に記憶されている追跡特徴のいずれにも関連付けられなかった場合には、その人物領域は現時刻において新たに出現した人物である、と判定する。
【００５０】
記憶部２１に記憶されている追跡特徴のうちで、現時刻で抽出された人物領域に関連付けられなかった人物領域がある場合には、その人物領域は、現時刻において入力画像の視野外に移動した、つまりは事務室（監視領域）から退出した人物であると判定し、前時刻の人物領域に退出フラグを立てる。なお、退出した時刻以降において、抽出された人物領域と当該退出した人物が関連付けられたときは、退出した人物が監視領域に戻ってきたと判定し、退出フラグを消去する。
【００５１】
（Ｓ５：姿勢判定）
次に、姿勢検出手段２２２は、人物抽出手段２２０により抽出された人物領域に最も形状が適合する姿勢別の人物モデル２１１を選出し、選出された姿勢別の人物モデル２１１に対応する姿勢を人物領域に含まれる人物の姿勢と判定する。なお、複数の人物領域が抽出されている場合、姿勢検出手段２２２はそれぞれの人物領域に対して姿勢判定を行う。
【００５２】
姿勢検出手段２２２は、人物領域に各人物モデル２１１を重ね合わせて適合度を算出し、適合度が最も高い姿勢の人物モデル２１１を選出する。本件では適合度を以下の評価関数で表現する。
（評価関数）＝−｛（人物領域であって人物モデル領域でない画素）
＋γ×（人物モデル領域であって人物領域でない画素）｝
【００５３】
第１項は、人物領域にも関わらず人物モデルで覆われなかった画素の数、第２項は人物領域でないにも関わらず人物モデルで覆われた画素の数であり、人物領域と人物モデルの適合度をはみ出し画素の数により評価している。評価関数は負の値をとり、その値が大きい方（０に近い方）が人物領域と人物モデルの適合度が高い。
【００５４】
γは、第１項と第２項のバランスをとるためのパラメータである。例えば変化画素が抽出されやすいような差分処理の閾値を設定した場合、γの値を大きく設定すればよい。
【００５５】
ここで、各人物がとる姿勢は一定ではない上、人物間の位置関係も一定ではなく、また上述したように人物の姿勢には個人差や体の傾きにより生じる誤差等が含まれる。そこで人物領域に対する各姿勢別の人物モデル２１１の重ね合わせの処理は各パラメータを変更しながら処理を反復し探索的に行われる。但し、リアルタイムで異常検知を行うために、その探索は予め１時刻で処理が終わるように反復回数Ｎが固定的に規定され、或いは予め１時刻より短い処理時間の規定により反復回数Ｎが動的に規定される。例えば反復回数Ｎは１０００回と規定される。このとき、限られた反復回数の中で姿勢判定の結果が局所解に陥ることを防ぐために、パラメータの変更をランダムに行うことが好適である。
【００５６】
次に、探索時に変更されるパラメータについて説明する。姿勢検出手段２２２は各人物がとる姿勢が一定ではないことに対応して各姿勢の姿勢別の人物モデル２１１を複数通り試行する。３種類の姿勢（立位と倒位と屈位）が設定されている本実施形態では、３通りの組み合わせからランダムに選択する。
【００５７】
また、姿勢検出手段２２２は個人差や体の傾きにより生じる誤差に対応して各姿勢の姿勢別の人物モデル２１１の形状、傾きを変動許容範囲でランダムに微小変更する。形状の変更は長軸長と短軸長を独立して変更することにより行われる。傾きの変更は偏位角を変更することにより行われる。
【００５８】
具体的には、姿勢検出手段２２２は、人物領域内にランダム座標を設定して立位モデル２１１Ｒの重心位置ＰＲとし、重心位置ＰＲに応じた長軸長ＬＲと短軸長ＳＲを記憶部２１から読み出すとともに許容範囲αＬＲ、αＳＲ、αθＲを読み出し、長軸長ＬＲに対して±αＬＲの範囲でΔＬＲをランダムに設定し、短軸長ＳＲに対して±αＳＲの範囲でΔＳＲをランダムに設定し、長軸偏位角に対して±αθＲの範囲でΔθＲをランダムに設定する。姿勢検出手段２２２は、画像中心８３と重心位置ＰＲを結ぶ放射線から重心位置ＰＲを中心にΔθＲだけ回転した直線を長軸として求め、重心位置ＰＲを中心とし長軸長ＬＲ＋ΔＬＲ、短軸長ＳＲ＋ΔＳＲの楕円を算出する。
【００５９】
同様に、姿勢検出手段２２２は、倒位モデル２１１Ｔの重心位置ＰＴを人物領域内にランダム設定するとともに、変動量ΔＬＴ、ΔＳＴ、ΔθＴをそれぞれ±αＬＴ、±αＳＴ、±αθＴの範囲でランダムに設定し、画像中心８３と重心位置ＰＴを結ぶ放射線の重心位置ＰＫを通る法線を求め、当該法線から重心位置ＰＴを中心にΔθＴだけ回転した直線を長軸とし重心位置ＰＴを中心とする長軸長ＬＴ＋ΔＬＴ、短軸長ＳＴ＋ΔＳＴの楕円を算出する。
【００６０】
さらに、姿勢検出手段２２２は、上述と同様にして、屈位モデル２１１Ｋの重心位置ＰＫを人物領域９０内にランダム設定するとともに、変動量ΔＬＫ、ΔＳＫ、ΔθＫをそれぞれ±αＬＫ、±αＳＫ、±αθＫの範囲でランダムに設定し、画像中心８３と重心位置ＰＫを結ぶ放射線から重心位置ＰＫを中心にΔθＫだけ回転した直線を長軸とし重心位置ＰＫを中心とする長軸長ＬＫ＋ΔＬＫ、短軸長ＳＫ＋ΔＳＫの楕円を算出する。
【００６１】
この処理により、人物領域に最も適合度の高い人物モデルの姿勢が当該人物領域に含まれる人物の姿勢であると判定する。そして、姿勢検出手段２２２は、判定結果である人物領域の姿勢を追跡特徴として記憶部２１に記憶する。
【００６２】
また、人物領域と人物モデルの当て嵌まりのよさを表す上記の評価関数に、時間方向の連続性を導入することもできる。例えば、前時刻の人物モデル領域内の色ヒストグラムを計算しておき、今回の人物モデル領域内の色ヒストグラムとの合致度を上記評価関数に付加して、色がフレーム間で大きく異ならないように楕円を当て嵌めることができる。
【００６３】
なお、抽出された１つの人物領域内に複数人物が含まれている場合、人数分だけの人物モデルを各パラメータを変動させながら人物領域に当て嵌めればよい。
【００６４】
（Ｓ６〜Ｓ８：静止判定）
Ｓ５において、倒位または屈位姿勢の人物が存在した場合、静止人物検出手段２２３は、その人物の追跡結果をスキャンバックし、所定時間以上（例えば５分間）に渡ってその姿勢のままで静止状態が継続しているかどうかを判定する。静止人物の判定には以下の基準を用いる。
（ｉ）人物領域の重心位置座標が変化していない（例えば、重心移動量が５画素以下）。
（ｉｉ）人物領域の外接矩形の大きさが変化していない（例えば、矩形変化率が５％以下）。
【００６５】
（ｉ）、（ｉｉ）のいずれに対しても変化分に対する適当な閾値を設定し、差分ノイズ等による微小な変化に過敏にならないようにすることが望ましい。
【００６６】
最も単純な判定方法は、一時刻前のフレームにも転倒/屈位姿勢であることを確認した上で、当該フレームから位置と矩形が無変化なことを解析することだが、より安定な検知を実現するために所定時間に渡っての静止を観測することが望ましい。転倒/屈位姿勢が継続しているスパンにおいて追跡結果を遡り、（ｉ）、（ｉｉ）の条件を用いてその期間における静止を判定することができる。
【００６７】
そして、所定時間以上に渡る静止が観測された場合、Ｓ８にて静止人物と判定する。
【００６８】
（Ｓ９〜Ｓ１５：逃走人物判定と異常の検出）
Ｓ９において、逃走人物検出手段２２４は、静止人物が存在した場合に、記憶部２１の追跡結果を用いて、当該静止人物を除いて過去も含めた全追跡人物領域を順次設定する。そして、設定された静止人物以外の追跡人物領域に対してＳ１０以下の処理を実行する。
【００６９】
（Ｓ１０〜Ｓ１１：逃走人物の存在確認）
Ｓ１０において、逃走人物検出手段２２４は、過去も含めた全人物領域の中から、該人物が静止状態になった時点で存在していた人物領域の存在を確認する。該当する人物領域が存在すればＳ１１へ進み、その人物領域が現在は監視エリアから既に退出しているかを判定する。本実施例では、退出フラグの有無と退出フラグが立った時刻を確認する。このＳ１１の判定において、退出から現時刻までに所定時間以上（例えば１分）が経過している場合に、その人物領域は逃走人物であると判定する。
【００７０】
ここで、本実施形態では、さらにＳ１２以降で追加条件をチェックする。
【００７１】
（Ｓ１２〜Ｓ１３：静止人物との接触と重要物エリアへの立ち入り）
Ｓ１２において、逃走人物検出手段２２４は、Ｓ１１からＳ１２の条件を満たした人物領域（逃走人物）について、監視エリア内に存在したときに静止人物と接触があったことを確認する。特に、静止人物が静止状態となる前に、接触があったかを判定するとよい。この接触したか否かの判断は以下の条件による。
（ｉ）静止人物との距離が一定以下（例えば５０センチ）の状態が、所定時間以上（例えば１分）継続した。
【００７２】
この条件を満足すれば、静止人物と逃走人物が接触したと判断する。ここで、静止人物の３次元位置は、カメラ設置条件既知のもとで逆透視変換によって計算することができる。例えば前記天井設置の魚眼カメラであれば、人物領域の重心と魚眼中心を結ぶ直線を描き、その直線と人物領域の交点のうち最も魚眼中心に近い点を人物の足元とみなすことができる。足元は床面に存在するものと仮定して、カメラ設置条件を介して３次元空間での足元座標を知ることができる。２つの人物領域について３次元足元座標を計算し、その差分をとれば人物間の実距離がわかる。
【００７３】
さらに、接触時の動きに関する条件を追加してもよい。
（ｉｉ）接触している間、両者の間に一定以上の動きが観測された。
【００７４】
動きを検出するためにはフレーム間差分やオプティカル・フローを利用する。例えばフレーム間差分であれば、接触した両者に重なるウィンドウを設けてその中での差分を所定時間（例えば１０秒間）に渡って蓄積し、その量が閾値以上（例えばウィンドウ面積の７０％以上）であれば動きありと判定することができる。
【００７５】
このように、Ｓ１２にて接触ありと判定された場合にＳ１０からＳ１１の条件を満たした人物領域を逃走人物であると判定することで、より精度の高い逃走人物の判定ができる。
【００７６】
さらに、Ｓ１３で重要エリア内に立ち入ったという条件を追加してもよい。
【００７７】
すなわち、逃走人物検出手段２２４は、Ｓ１２にて接触ありと判断された場合、Ｓ１３にてその人物が重要物エリアに立ち入ったか否かを判定する。重要物エリアとは、例えば金庫を中心とする半径１ｍのエリアであり、事前に設定し記憶部２１に記憶しておけばよい。前述と同様の方法で人物の３次元足元位置を算出し、その位置が重要物エリア内に存在した場合に立ち入っていたとみなす。もちろん、所定時間を設けて（例えば５秒間）、所定時間以上に渡って重要物エリアに存在した場合に重要物エリアに立ち入ったとみなしてもよい。
【００７８】
Ｓ１３にて重要物エリアへの立ち入りを判定した場合にＳ１０からＳ１１の条件を満たした人物領域を逃走人物であると判定する。
【００７９】
（Ｓ１４：異常出力）
異常検出手段２２５は、逃走人物検出手段２２４にて逃走人物が判定されると、監視領域に存在していた静止人物を放置人物と判定し異常信号を出力部２３へ出力する。
【００８０】
（Ｓ１５：追跡人物の順次設定）
Ｓ１０〜１３の判定で、ＮＯであった場合には、判定の対象になった追跡人物は、強盗犯ではないと判定されたことを意味する。そこで、Ｓ１５において、静止人物以外の追跡人物がいるかを判定し、いる場合にはＳ９に戻り、次の追跡人物についての判定を行う。
【００８１】
「本実施形態の効果」
変化領域として検出した人物が放置状態（静止状態継続＋屈位（倒位）姿勢）となったときに監視領域内に存在していた他の人物が監視領域内からいなくなり、いなくなった状態が所定時間継続（逃亡）したことで強盗犯などの逃走人物を検出する。これにより、放置状態の人物が、「拘束されて動けなくなった人物」であり、「通常の作業をしている人物」ではないと判定することができ、誤判定を防止できる。
【００８２】
従って、本実施形態に係る異常検知装置を、監視エリア内に設置することで、被害者が強盗犯によって身体の自由を奪われて通報操作ができない状態のまま放置された場合であっても、そのような異常事態を自動的に検出し、通報を行うことが可能になる。
【符号の説明】
【００８３】
１ 通報システム、２ 異常検知装置、３ コントローラー、４ 広域通信網、５ センタ装置、６ 金庫、２０ 撮像部、２１ 記憶部、２２ 制御部、２３ 出力部、８３ 画像中心、９０ 人物領域、２１０ 背景画像、２１１ 人物モデル、２１１Ｋ 屈位モデル、２１１Ｒ 立位モデル、２１１Ｔ 倒位モデル、２２０ 人物抽出手段、２２１ 人物追跡手段、２２２ 姿勢検出手段、２２３ 静止人物検出手段、２２４ 逃走人物検出手段、２２５ 異常検出手段。
【特許請求の範囲】
【請求項１】
監視領域を撮像した監視画像を順次取得する画像取得部と、前記監視画像を処理する制御部と、前記制御部が異常を検出すると異常信号を出力する出力部を具備する異常検知装置であって、
前記制御部は、
前記監視画像から人物を検出する人物検出手段と、
前記人物を時間的に追跡する人物追跡手段と、
前記人物について略静止している静止人物を検出する静止人物検出手段と、
前記静止人物の検出中に、当該静止人物を検出したとき既に追跡中となっているその他の人物が追跡できなくなると異常を検出する異常検出手段と、
を有することを特徴とする異常検知装置。
【請求項２】
請求項１に記載の異常検知装置において、
人物の外形に対応する人物モデルを記憶する記憶部と、
前記人物と前記人物モデルを比較して、当該人物が立位姿勢でないことを検出する姿勢検出手段と、をさらに有し、
前記静止人物検出手段は、前記立位姿勢でない人物について前記静止人物を検出することを特徴とする異常検知装置。
【請求項３】
請求項１または２に記載の異常検知装置において、
前記異常検出手段は、
前記監視画像から前記その他の追跡中の人物を所定時間以上検出できないと前記その他の人物が追跡できなくなったとすることを特徴とする異常検知装置。
【請求項４】
請求項１〜３のいずれか１項に記載の異常検知装置において、
前記異常検出手段は、
前記その他の追跡中の人物と前記静止人物が静止と検出する前に接触したか否かを判定し、接触していると前記異常を検出することを特徴とする異常検知装置。
【請求項５】
請求項１〜４のいずれか１項に記載の異常検知装置において、
前記監視領域内に予め設定した重要エリアを記憶する記憶部をさらに有し、
前記異常検出手段は、
前記その他の追跡中の人物が前記重要エリアに入ったか否かを判定し、入っていると前記異常を検出することを特徴とする異常検知装置。
【請求項１】
監視領域を撮像した監視画像を順次取得する画像取得部と、前記監視画像を処理する制御部と、前記制御部が異常を検出すると異常信号を出力する出力部を具備する異常検知装置であって、
前記制御部は、
前記監視画像から人物を検出する人物検出手段と、
前記人物を時間的に追跡する人物追跡手段と、
前記人物について略静止している静止人物を検出する静止人物検出手段と、
前記静止人物の検出中に、当該静止人物を検出したとき既に追跡中となっているその他の人物が追跡できなくなると異常を検出する異常検出手段と、
を有することを特徴とする異常検知装置。
【請求項２】
請求項１に記載の異常検知装置において、
人物の外形に対応する人物モデルを記憶する記憶部と、
前記人物と前記人物モデルを比較して、当該人物が立位姿勢でないことを検出する姿勢検出手段と、をさらに有し、
前記静止人物検出手段は、前記立位姿勢でない人物について前記静止人物を検出することを特徴とする異常検知装置。
【請求項３】
請求項１または２に記載の異常検知装置において、
前記異常検出手段は、
前記監視画像から前記その他の追跡中の人物を所定時間以上検出できないと前記その他の人物が追跡できなくなったとすることを特徴とする異常検知装置。
【請求項４】
請求項１〜３のいずれか１項に記載の異常検知装置において、
前記異常検出手段は、
前記その他の追跡中の人物と前記静止人物が静止と検出する前に接触したか否かを判定し、接触していると前記異常を検出することを特徴とする異常検知装置。
【請求項５】
請求項１〜４のいずれか１項に記載の異常検知装置において、
前記監視領域内に予め設定した重要エリアを記憶する記憶部をさらに有し、
前記異常検出手段は、
前記その他の追跡中の人物が前記重要エリアに入ったか否かを判定し、入っていると前記異常を検出することを特徴とする異常検知装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−２１２２４８（Ｐ２０１２−２１２２４８Ａ）
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願番号】特願２０１１−７６７３５（Ｐ２０１１−７６７３５）
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
[ Back to top ]