異常検知装置
【課題】異常時の静止人物を効果的に検出する。
【解決手段】異常検知装置は、監視領域を撮影した監視画像を順次取得する撮像部２０と、監視画像を処理する制御部２２と、前記制御部が異常を検知すると異常信号を出力する出力部２３を具備する。制御部２２は、監視画像から、人物を検出する人物抽出手段２２０と、人物を時間的に追跡する人物追跡手段２２１と、人物について略静止している静止人物を検出する静止人物検出手段２２３と、静止人物の検出時より以前の所定時間内に、当該静止人物が他の人物と接触していれば異常と判定する異常判定手段２２５と、を有する。
【解決手段】異常検知装置は、監視領域を撮影した監視画像を順次取得する撮像部２０と、監視画像を処理する制御部２２と、前記制御部が異常を検知すると異常信号を出力する出力部２３を具備する。制御部２２は、監視画像から、人物を検出する人物抽出手段２２０と、人物を時間的に追跡する人物追跡手段２２１と、人物について略静止している静止人物を検出する静止人物検出手段２２３と、静止人物の検出時より以前の所定時間内に、当該静止人物が他の人物と接触していれば異常と判定する異常判定手段２２５と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された監視画像を画像解析することにより、監視空間内で発生した異常シーンを検知する異常検知装置に関して、特に複数の人物が関与した異常事態を検知するものに関する。
【背景技術】
【０００２】
従来より、各種犯罪について監視カメラ映像から検出したいという要求がある。例えば、強盗犯が有人店舗などに押し入り、金庫に保管されている金品の強奪を試みる際に、店舗の従業員等による外部への通報や抵抗をおそれるあまり、従業員に対して攻撃を与えたり、手足をロープや粘着テープで拘束したりすることで身体の自由を奪うことがある。
【０００３】
このように身体の自由を奪われた従業員等の被害者は、犯行後、店舗内に放置されることになるため、通報が遅れることによる強盗事件発生の発覚遅れや、怪我をした被害者の救護遅れなどが危惧される。
【０００４】
このため、被害者が上記のような通報操作できない状態であることを自動的に検知し、通報を行う異常検知装置の提案が望まれている。
【０００５】
このような異常事態については、監視カメラで得られた画像より得られる被害者の行動から検出することが考えられる。しかし、上記のような被害者の存在を画像処理による行動解析によって検出する場合、被害者がとった行動であるのか、平常時の人物がとった行動であるのかを精度よく識別する必要がある。
【０００６】
特許文献１には、異常な行動をとった人物と通常の行動をとった人物とを識別する方法として、「通常の行動パターン」および「異常な行動パターン」を予め記憶し、それらと監視画像中の人物の行動パターンを比較することで、当該人物の行動が正常であるか異常であるかを識別する装置が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−３２８６２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、押し込み強盗によって被害者が拘束される等して、監視空間に放置されたことを検知するとき、被害者のみの行動から異常／正常を識別することが困難な場合がある。例えば、押し込み強盗によって中腰で拘束され動けなくなった人物と中腰で通常に作業をしている人物を識別する場合、これらの人物の行動は共に「中腰状態で動かない」というものになり、これらを識別することは困難である。
【０００９】
本発明は、身体の自由を奪われ、その後放置された被害者を精度よく検知する異常検知装置の提供を目的とする。
【課題を解決するための手段】
【００１０】
本発明は、監視領域を撮影した監視画像を順次取得する画像取得部と、前記監視画像を処理する制御部と、前記制御部が異常を検知すると異常信号を出力する出力部を具備する異常検知装置であって、前記制御部は、前記監視画像から、人物を検出する人物検出手段と、前記人物を時間的に追跡する人物追跡手段と、前記人物について略静止している静止人物を検出する静止人物検出手段と、前記静止人物の検出時より以前の所定時間内に、当該静止人物が他の人物と接触していれば異常と判定する異常判定手段と、を有することを特徴とする。
【００１１】
また、人物の外形に対応する人物モデルを記憶する記憶部と、前記人物と前記人物モデルを比較して当該人物が立位姿勢から立位姿勢でない姿勢に変化したことを検出する姿勢変化検出手段をさらに有し、前記静止人物検出手段は、前記姿勢変化した人物について前記静止人物を検出することが好適である。
【００１２】
また、前記異常判定手段は、前記接触が動きを伴う接触か否かを判定し、動きを伴う接触であると前記異常を検出することが好適である。
【発明の効果】
【００１３】
本発明によれば、静止状態が継続している人物を検出した際に、その検出時より以前に、当該静止人物が他の人物と接触しているかを判定する。そして、当該接触があった後に静止状態が継続しているときに異常を検出する。従って、正常な動作として静止している人物と強盗犯などによって拘束された後に放置された人物を区別することが可能である。これにより、放置人物をより正確に検出することができ、異常の誤検出を防止することができる。
【図面の簡単な説明】
【００１４】
【図１】監視空間のイメージと異常検知装置の構成を示した模式図である。
【図２】異常検知装置の構成を示すブロック図である。
【図３】姿勢別人物モデルのうち、立位モデルを示す図である。
【図４】姿勢別人物モデルのうち、倒位モデルを示す図である。
【図５】姿勢別人物モデルのうち、屈位モデルを示す図である。
【図６】異常検知の動作を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について、図面に基づいて説明する。
【００１６】
「全体構成」
本実施形態に係る異常検知装置を含み、この異常検知装置にて異常シーンを検知して、警備センタ等へ通報する通報システム１について説明する。
【００１７】
図１は、通報システム１の構成と配置のイメージを示した模式図である。
【００１８】
通報システム１は、異常検知装置２と、コントローラー３と、センタ装置５を含んで構成される。
【００１９】
異常検知装置２は、金庫６などの重要物が設置された部屋を監視空間とし、当該部屋の天井に設置される。異常検知装置２は、監視空間にて発生した異常シーンを検知すると異常信号を出力する。
【００２０】
異常検知装置２は、通信線を介してコントローラー３に接続され、コントローラー３は電話回線またはインターネット回線等の広域通信網４を介して遠隔地に設置された警備センタ等のセンタ装置５と接続される。異常検知装置２が出力した異常信号はコントローラー３を介してセンタ装置５に送信される。
【００２１】
「異常検知装置の構成」
図２は、異常検知装置２の構成を示したブロック図である。異常検知装置２は、撮像部２０、記憶部２１、出力部２３および制御部２２を含んで構成されている。
【００２２】
なお、図１においては、異常検知装置２を監視領域の天井に設けたが、撮像部２０のみを天井に設け、その他の装置は別の場所に設けてもよい。
【００２３】
（撮像部２０）
撮像部２０は、例えばＣＣＤ撮像素子などを利用した監視カメラである。この撮像部２０は、通常は監視空間（監視領域）の天井に取り付けられている。また、その撮影は、ビデオ撮影のような連続撮影でもよいが、所定の時間間隔で監視領域を順次撮影することが好ましい。撮影された監視空間の監視画像は順次、制御部２２へ出力される。監視画像が撮像される時間間隔は例えば１／５秒である。以下、この撮像の時間間隔で刻まれる時間の単位を時刻と称する。本実施形態において、撮像部２０は魚眼レンズを備え、その光軸を鉛直下方に向けて設置されており、監視空間である部屋の全体を撮像する。
【００２４】
（記憶部２１）
記憶部２１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の記憶装置である。フラッシュメモリや、ハードディスクなどを利用してもよい。記憶部２１は、各種プログラムや各種データを記憶し、制御部２２との間でこれらの情報を入出力する。記憶部２１において記憶する各種データには、背景差分処理に必要な背景画像２１０、追跡人物の姿勢判定に必要な姿勢別の人物モデル２１１が含まれる。なお、撮影された画像をそのままハードディスクなどの大容量記憶装置に記憶しておいてもよい。
【００２５】
姿勢別の人物モデル２１１は人物の姿勢を立位／倒位／屈位の３つに大分し、各姿勢の人物の形状（外形）をモデリングしたものである。姿勢別の人物モデル２１１には立位モデル２１１Ｒ、倒位モデル２１１Ｔ、屈位モデル２１１Ｋが含まれる。
【００２６】
この立位モデル２１１Ｒ、倒位モデル２１１Ｔ、屈位モデル２１１Ｋを図３、図４、図５に示す。各モデルは、制御部２２が、撮像部２０において得られた監視画像から人物領域を抽出し、抽出された人物領域に姿勢別の人物モデル２１１を当て嵌めることで、撮像されている人物の姿勢を推定する際に利用される。
【００２７】
立位モデル２１１Ｒは立った姿勢の人物の形状（外形）を模した人物モデル２１１である。本実施形態において立位モデル２１１Ｒは、図３に示すように、長軸長ＬＲ±αＬＲ、短軸長ＳＲ±αＳＲの楕円で定義される。光軸を鉛直下方に向けた撮像部２０により撮像された監視画像の座標系においては監視画像の中心からの放射線方向が身長方向となる。±αθＲは、体の傾きを考慮するための値であり、立位モデル２１１Ｒは、その長軸方向を放射線方向から±αθＲの範囲内に限定して配置される。すなわち、画像中心から放射方向に対する、長軸方向のずれ（偏位角）が±αθＲの範囲内の人物領域が当て嵌められる。
【００２８】
長軸長の基準値ＬＲは平均的な身長に応じて設定され、その変動許容範囲±αＬＲは体格の個人差により生じる誤差等を吸収可能な範囲に設定される。短軸長の基準値ＳＲは平均的な体の幅に応じて設定され、その変動許容範囲±αＳＲは体の傾きにより生じる誤差や体格の個人差により生じる誤差等を吸収可能な範囲に設定される。長軸の偏位角の変動許容範囲±αθＲは体の傾きにより生じる誤差や立位の姿勢の個人差を吸収可能な範囲に設定される。これらの変動許容範囲は立位とみなせる範囲の形状、傾きの範囲を意味している。
【００２９】
記憶部２１には、立位モデル２１１Ｒとして予め上記のように設定された長軸長ＬＲ、短軸長ＳＲ、長軸長の変動許容範囲±αＬＲ、短軸長の変動許容範囲±αＳＲ、長軸の偏位角の変動許容範囲±αθＲの各数値が記憶されている。なお、人物の像の大きさは撮像部２０と人物の位置関係により変わるため、ＬＲ、ＳＲは監視画像上の位置ごとに設定し、αＬＲ、αＳＲはＬＲ、ＳＲに対する比率として設定するのがよい。
【００３０】
倒位モデル２１１Ｔは倒れている姿勢の人物の形状（外形）を模した人物モデル２１１である。本実施形態において倒位モデル２１１Ｔは、図４に示すように、長軸長ＬＴ±αＬＴ、短軸長ＳＴ±αＳＴの楕円で定義される。±αθＴは体の傾きを考慮するための値であり、光軸を鉛直下方に向けた撮像部２０により撮像された監視画像の座標系において倒位モデル２１１Ｔはその長軸方向を放射線の法線方向から±αθＴの範囲内に限定して配置される。
【００３１】
長軸長の基準値ＬＴは平均的な身長に応じて設定され、その変動許容範囲±αＬＴは体格の個人差により生じる誤差等を吸収可能な範囲に設定される。短軸長の基準値ＳＴは平均的な体の幅に応じて設定され、その変動許容範囲±αＳＴは体の傾きにより生じる誤差や体格の個人差により生じる誤差等を吸収可能な範囲に設定される。長軸の偏位角の変動許容範囲±αθＴは立位と混同しないように０≦αθＴ＜９０°−αθＲの範囲に設定される。これらの変動許容範囲は倒位とみなせる範囲の形状、傾きの範囲を意味している。
【００３２】
記憶部２１には、倒位モデル２１１Ｔとして予め上記のように設定された長軸長ＬＴ、短軸長ＳＴ、長軸長の変動許容範囲±αＬＴ、短軸長の変動許容範囲±αＳＴ、長軸の偏位角の変動許容範囲±αθＴの各数値が記憶されている。なお、人物の像の大きさは撮像部２０と人物の位置関係により変わるため、ＬＴ、ＳＴは監視画像上の位置ごとに設定し、αＬＴ、αＳＴはＬＴ、ＳＴに対する比率として設定するのがよい。
【００３３】
屈位モデル２１１Ｋは屈んだ姿勢の人物の形状（形状）を模した人物モデル２１１である。本実施形態において屈位モデル２１１Ｋは、図５に示すように、長軸長ＬＫ±αＬＫ、短軸長ＳＫ±αＳＫの楕円で定義される。±αθＫは、体の傾きを考慮するための値であり、光軸を鉛直下方に向けた撮像部２０により撮像された監視画像の座標系において、屈位モデル２１１Ｋはその長軸方向を放射線方向から±αθＫの範囲内に限定して配置される。すなわち、屈位モデル２１１Ｋは、長軸方向が監視画像の放射方向に対し±αθＫの範囲内のみに設定される。
【００３４】
長軸長の基準値ＬＫは立位モデルの長軸長ＬＲの１／２に設定され、その変動許容範囲±αＬＫは体格の個人差により生じる誤差等を吸収可能な範囲に設定される。屈位モデル２２１Ｋの短軸長の変動許容範囲±αＳＫは体の傾きにより生じる誤差や体格の個人差により生じる誤差等を吸収可能な範囲に設定される。長軸の偏位角（放射方向からのずれの範囲）の変動許容範囲±αθＫは屈んだ姿勢の個人差を吸収可能な範囲に設定される。これらの変動許容範囲は屈位とみなせる範囲の形状、傾きの範囲を意味している。
【００３５】
記憶部２１には、屈位モデル２１１Ｋとして予め上記のように設定された長軸長ＬＫ、短軸長ＳＫ、長軸長の変動許容範囲±αＬＫ、短軸長の変動許容範囲±αＳＫ、長軸の偏位角の変動許容範囲±αθＫの各数値が記憶されている。なお、人物の像の大きさは撮像部２０と人物の位置関係により変わるため、ＬＫ、ＳＫは監視画像上の位置ごとに設定し、αＬＫ、αＳＫはＬＫ、ＳＫに対する比率として設定するのがよい。
【００３６】
（制御部２２）
制御部２２は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、記憶部２１からプログラムを読み出して実行することで人物抽出手段２２０、人物追跡手段２２１、姿勢検出手段２２２、静止人物検出手段２２３、接触人物検出手段２２４、異常判定手段２２５として機能する。
【００３７】
ここで、制御部２２の各手段については、図６に示す処理フローとともに説明する。
【００３８】
（出力部）
出力部２３は、異常信号を異常検知装置の外部へ出力する通信手段である。出力部２３は、制御部２２の異常判定手段２２５から異常信号が入力されると、当該異常信号をコントローラー３へ出力する。
【００３９】
「異常検知装置２における処理フロー」
図６は、異常検知装置２における異常検出処理を示したフローチャートである。各種のデータ処理は基本的に制御部２２において実施される。
【００４０】
（Ｓ１：初期化）
電源が投入されると、各部が初期化され動作を開始する。初期化には起動直後の監視画像を記憶部２１に背景画像２１０として記憶させる処理を含む。ここで、背景画像については、人が立ち入らない状態において、毎回取得し直すことが好適であるが、ある程度固定的な画面を記憶しておくなど各種の手段を採用することができる。
【００４１】
（Ｓ２：監視画像取得）
初期化が終了した場合には、監視画像を取得する。すなわち、撮像部２０は、監視空間を撮像する度に監視画像を出力し、制御部２２はこれを取得する。Ｓ２において、現時刻の監視画像が取得され、これが制御部に送られる。
【００４２】
（Ｓ３：背景差分・ラベリング）
制御部２２の人物抽出手段２２０では、撮像部から送られてきた現時刻における監視画像について背景を除去して、人物領域を抽出し、得られた人物領域をラベリングする。人物抽出手段２２０は、撮像部２０から得られた監視画像と、記憶部２１に記憶されている背景画像２１０を比較し、背景画像２１０との差分が閾値以上である画素を変化画素として抽出する。なお、差分特徴量として、輝度、色、エッジ強度・方向などを用いることができる。閾値は、事前に決められた規定値を用いてもよいし、動的に変更してもよい。
【００４３】
また、差分演算後に正規化相関等による光・影領域の除去、膨張収縮処理によるゴマ塩状ノイズの除去を行うことが望ましい。
【００４４】
人物抽出手段２２０は、変化画素の抽出後、ラベリングを行う。ラベリングは、空間的に接続する画素に同一の番号を振る処理であり、変化画素の塊（集合）ごとに個別の番号が振られることになる。ラベリング後、１つのラベリングがされた領域例えば面積が閾値以下の塊は除去するなど再度ノイズ除去処理を行う。この際の閾値はカメラ設置条件から計算される標準人物サイズなどから決定される。以下、この塊を人物領域と称する。
【００４５】
このように、人物抽出手段２２０は、人物検出手段として機能し、人物領域を抽出することで、監視画像内の人物を検出する。
【００４６】
（Ｓ４：人物追跡）
人物抽出手段２２０において得られた人物領域の画像は、人物追跡手段２２１に送られる。人物追跡手段２２１は、前時刻までに（前回以前に取得した監視画像において）人物抽出手段２２０により抽出され、記憶部２１に記憶されている各人物領域に関する追跡特徴と、現時刻にて（今回取得した監視画像において）人物抽出手段２２０により抽出された各人物領域と関連付けることで、人物領域の追跡を実現する。
【００４７】
そのために、人物追跡手段２２１は、監視領域への人物領域の出現が確認される度に、その人物領域の画像特徴を追跡特徴として抽出し、記憶部２１に記憶する。そして、記憶部２１に記憶されている前時刻で抽出された人物領域の追跡特徴と、現時刻で抽出された人物領域の追跡特徴を比較し、最も類似していると判断される人物領域と関連付ける。追跡特徴とは、色やエッジのヒストグラム、人物領域の重心位置、外接矩形などである。現時刻で抽出された人物領域が、記憶部２１に記憶されている追跡特徴のいずれにも関連付けられなかった場合には、その人物像は現時刻において新たに出現した人物領域である、と判定する。
【００４８】
記憶部２１に記憶されている追跡特徴のうちで、現時刻で抽出された人物領域に関連付けられなかった人物領域がある場合には、その人物領域は、現時刻において入力画像の視野外に移動した、つまりは事務室（監視領域）から外に出た人物のものであると判定し、以降の追跡対象から除外する。なお、一定時間は保持しておき、その間は上記の関連付け処理を試みるものとしてもよい。
【００４９】
上述した人物追跡手段２２１における処理は、画像処理技術の分野における追跡処理として一般的なものであるので、詳細は省略する。
【００５０】
（Ｓ５〜Ｓ６：姿勢判定）
次に、姿勢検出手段２２２は、人物抽出手段２２０により抽出された人物領域に最も形状が適合する姿勢別の人物モデル２１１を選出し、選出された姿勢別の人物モデル２１１に対応する姿勢を人物領域に含まれる人物の姿勢と判定する。なお、複数の人物領域が抽出されている場合、姿勢検出手段２２２はそれぞれの人物領域に対して姿勢判定を行う。
【００５１】
姿勢検出手段２２２は、人物領域に各人物モデル２１１を重ね合わせて適合度を算出し、適合度が最も高い姿勢の人物モデル２１１を選出する。本件では適合度を以下の評価関数で表現する。
（評価関数）＝−｛（人物領域であって人物モデル領域でない画素）
＋γ×（人物モデル領域であって人物領域でない画素）｝
【００５２】
第１項は、人物領域にも関わらず人物モデルで覆われなかった画素の数、第２項は人物領域でないにも関わらず人物モデルで覆われた画素の数であり、人物領域と人物モデルの適合度をはみ出し画素の数により評価している。評価関数は負の値をとり、その値が大きい方（０に近い方）が人物領域と人物モデルの適合度が高い。
【００５３】
γは、第１項と第２項のバランスをとるためのパラメータである。例えば変化画素が抽出されやすいような差分処理の閾値を設定した場合、γの値を大きくすればよい。
【００５４】
ここで、各人物がとる姿勢は一定ではない上、人物間の位置関係も一定ではなく、また上述したように人物の姿勢には個人差や体の傾きにより生じる誤差等が含まれる。そこで人物領域に対する各姿勢別の人物モデル２１１の重ね合わせの処理は各パラメータを変更しながら処理を反復し探索的に行われる。但し、リアルタイムで異常検知を行うために、その探索は予め１時刻で処理が終わるように反復回数Ｎが固定的に規定され、或いは予め１時刻より短い処理時間の規定により反復回数Ｎが動的に規定される。例えば反復回数Ｎは１０００回と規定される。このとき、限られた反復回数の中で姿勢判定の結果が局所解に陥ることを防ぐために、パラメータの変更をランダムに行うことが好適である。
【００５５】
次に、探索時に変更されるパラメータについて説明する。姿勢検出手段２２２は各人物がとる姿勢が一定ではないことに対応して各姿勢の姿勢別の人物モデル２１１を複数通り試行する。３種類の姿勢（立位と倒位と屈位）が設定されている本実施形態では、３通りの組み合わせからランダムに選択する。
【００５６】
また、姿勢検出手段２２２は個人差や体の傾きにより生じる誤差に対応して各姿勢の姿勢別の人物モデル２１１の形状、傾きを変動許容範囲でランダムに微小変更する。形状の変更は長軸長と短軸長を独立して変更することにより行われる。傾きの変更は偏位角を変更することにより行われる。
【００５７】
具体的には、姿勢検出手段２２２は、人物領域内にランダム座標を設定して立位モデル２１１Ｒの重心位置ＰＲとし、重心位置ＰＲに応じた長軸長ＬＲと短軸長ＳＲを記憶部２１から読み出すとともに許容範囲αＬＲ、αＳＲ、αθＲを読み出し、長軸長ＬＲに対して±αＬＲの範囲でΔＬＲをランダムに設定し、短軸長ＳＲに対して±αＳＲの範囲でΔＳＲをランダムに設定し、長軸偏位角に対して±αθＲの範囲でΔθＲをランダムに設定する。姿勢検出手段２２２は、画像中心８３と重心位置ＰＲを結ぶ放射線から重心位置ＰＲを中心にΔθＲだけ回転した直線を長軸として求め、重心位置ＰＲを中心とし長軸長ＬＲ＋ΔＬＲ、短軸長ＳＲ＋ΔＳＲの楕円を算出する。
【００５８】
同様に、姿勢検出手段２２２は、倒位モデル２１１Ｔの重心位置ＰＴを人物領域内にランダム設定するとともに、変動量ΔＬＴ、ΔＳＴ、ΔθＴをそれぞれ±αＬＴ、±αＳＴ、±αθＴの範囲でランダムに設定し、画像中心８３と重心位置ＰＴを結ぶ放射線の重心位置ＰＫを通る法線を求め、当該法線から重心位置ＰＴを中心にΔθＴだけ回転した直線を長軸とし重心位置ＰＴを中心とする長軸長ＬＴ＋ΔＬＴ、短軸長ＳＴ＋ΔＳＴの楕円を算出する。
【００５９】
さらに、姿勢検出手段２２２は、上述と同様にして、屈位モデル２１１Ｋの重心位置ＰＫを人物領域９０内にランダム設定するとともに、変動量ΔＬＫ、ΔＳＫ、ΔθＫをそれぞれ±αＬＫ、±αＳＫ、±αθＫの範囲でランダムに設定し、画像中心８３と重心位置ＰＫを結ぶ放射線から重心位置ＰＫを中心にΔθＫだけ回転した直線を長軸とし重心位置ＰＫを中心とする長軸長ＬＫ＋ΔＬＫ、短軸長ＳＫ＋ΔＳＫの楕円を算出する。
【００６０】
この処理により、人物領域に最も適合度の高い人物モデルの姿勢が当該人物領域に含まれる人物の姿勢であると判定する。そして、姿勢検出手段２２２は、判定結果である人物領域の姿勢を追跡特徴として記憶部２１に記憶する。
【００６１】
また、人物領域と人物モデルの当て嵌まりのよさを表す上記の評価関数に、時間方向の連続性を導入することもできる。例えば、前時刻の人物モデル領域内の色ヒストグラムを計算しておき、今回の人物モデル領域内の色ヒストグラムとの合致度を上記評価関数に付加して、色がフレーム間で大きく異ならないように楕円を当て嵌めることができる。
【００６２】
なお、抽出された１つの人物領域内に複数人物が含まれている場合、人数分だけの人物モデルを、各パラメータを変動させながら人物領域に当て嵌めればよい。
【００６３】
（Ｓ７：姿勢変化判定）
Ｓ７において、姿勢検出手段２２２は、Ｓ６にて倒位または屈位姿勢であると判定すると、立位から、現在の倒位（または屈位）へと姿勢変化した時刻を算出する。記憶部２１を参照し、該当人物領域の追跡結果を遡って、現在の姿勢に変化した（立位→倒位（屈位））時刻を抽出する。抽出された時刻を姿勢変化時刻として記憶部２１に記録する。また、現時刻と変化時刻との差、すなわち姿勢変化の後で姿勢が無変化であった時間が所定値以上（例えば５分間）かを判定し、所定値以上であった場合に、人物が立位から倒位（屈位）へ姿勢変化したと判定してもよい。立位から倒位（屈位）へ変化していない場合はＳ２へ移り、次の監視画像を取得する。このように、姿勢検出手段２２２は、姿勢変化検出手段として機能し、人物の姿勢の変化を検出する。
【００６４】
（Ｓ８〜Ｓ９：静止判定）
Ｓ７において、立位から倒位（屈位）姿勢に変化した人物が存在した場合、静止人物検出手段２２３は、その人物の追跡結果をスキャンバックし、静止状態が継続している時間を算出する。そして、Ｓ９において、所定時間以上（例えば５分間）に渡って静止状態が継続しているかどうかを判定する。人物が静止状態であるかの判定には以下の基準を用いる。
（ｉ）人物領域の重心位置座標が変化していない（例えば重心移動量が５画素以下）。
（ｉｉ）人物領域の外接矩形の大きさが変化していない（例えば矩形変化率が５％以下）。
【００６５】
（ｉ）、（ｉｉ）のいずれに対しても変化分に対する適当な閾値を設定し、差分ノイズ等による微小な変化に過敏にならないようにすることが望ましい。
【００６６】
Ｓ９にて静止継続時間が所定以上（例えば５分間）であった場合、静止人物であると判定し、静止継続時間の開始時刻を静止開始時刻として記憶部２１に記憶する。
【００６７】
（Ｓ１０〜Ｓ１１：静止人物との接触判定）
次に、接触人物判定手段２２４は、静止人物を除いた全追跡人物領域に関するループを発生し、静止人物との接触条件を解析する。すなわち、静止以外の各人物についてＳ１１の接触の判定を行い、接触していなかった場合には、Ｓ１５において、過去に監視エリア内に存在した人物が他にいるかを判定し、該当する人物について順次その人物の追跡結果を遡り、静止人物と動きを伴う接触があった人物領域の存在を確認する。なお、接触人物判定手段２２４と異常判定手段２２５が異常判定手段として機能する。
【００６８】
接触したか否かの判断は以下の条件による。
・静止人物領域との距離が一定以下（例えば５０センチ）の状態が、所定時間以上（例えば１分）継続した。
【００６９】
人物の３次元位置は、カメラ設置条件既知のもとで逆透視変換によって計算することができる。例えば前記天井設置の魚眼カメラであれば、人物領域重心と魚眼中心を結ぶ直線を描き、その直線と人物領域の交点のうち最も魚眼中心に近い点を人物の足元とみなすことができる。足元は床面に存在するものと仮定して、カメラ設置条件を介して３次元空間での足元座標を知ることができる。２人の人物について３次元足元座標を計算し、その差分をとれば人物間の実距離を検出することができる。
【００７０】
また、接触時の動きの有無は以下のように算出する。
【００７１】
動きを検出するために、フレーム間差分やオプティカル・フローを利用する。例えばフレーム間差分であれば、両者に重なるウィンドウを設けてその中での差分を所定時間（例えば１０秒間）に渡って蓄積し、その量が閾値以上（例えばウィンドウ面積の７０％以上）であれば動きありと判定することができる。
【００７２】
オプティカル・フローを利用する場合は例えばブロックマッチングや最急降下法などによりフレーム間の動きベクトルを算出する。フレーム間差分の場合と同じように両者に重なるウィンドウを設けてその内部に含まれるフローを抽出し、その中で一定以上（例えば標準人物サイズ横幅の４０％以上）の大きさを有する動きベクトルが観測されたフレームが所定数以上（例えば接触期間の７０％以上）であった場合、動きを伴ったと判断することができる。
【００７３】
接触時の動きが観測された場合、Ｓ１２へ進む。観測されなかった場合、Ｓ１５にて静止人物を除く追跡人物に関するループをインクリメントする。すなわち、追跡人物が残っているかを判定し、残っている場合にはＳ１０に戻り、次の追跡人物についての判定を行う。
【００７４】
（Ｓ１２：静止開始時刻と接触時刻の比較）
Ｓ１１において、動きを伴う接触が確認されたら、異常判定手段２２５は、接触期間（接触開始から終了までの期間）とＳ９にて記憶部２１に記憶された静止開始時刻とを比較し、その同時性を確認する。
【００７５】
静止開始時刻をＴ０、接触期間をＴ１〜Ｔ２としたときに、
（同時条件） Ｔ１≦Ｔ０≦Ｔ２＋α
を満足するときに、接触と静止に同時性があると判断することができる。αはパラメータであり、例えば１０秒などに設定される。
【００７６】
（Ｓ１３：姿勢変化時刻と接触時刻の比較）
Ｓ１２の判定において、同時であると判定された場合、異常判定手段２２５は、Ｓ１３にて姿勢変化時刻と接触時刻の同時性をチェックする。すなわち、異常判定手段２２５は、動きを伴う接触が確認されたら、接触期間とＳ７にて記録された姿勢変化時刻とを比較し、その同時性を確認する。
【００７７】
姿勢変化時刻をＴ３、接触期間をＴ１〜Ｔ２としたときに
（同時条件） Ｔ１≦Ｔ３≦Ｔ２＋β
を満足するときに、接触と姿勢変化に同時性があると判断することができる。βはパラメータであり、例えば５秒などに設定される。
【００７８】
ここで、αとβの値に差を持たせることで、例えば接触後すぐに転倒はしたがしばらく転倒姿勢のままで動いており、その後に静止した、などという異常を捉えることができる。
【００７９】
（Ｓ１４：異常出力）
異常判定手段２２５は、Ｓ１２およびＳ１３にて同時性があると判定された場合、当該静止人物を放置人物と判定し、異常信号を出力部２３へ出力する（Ｓ１４）。
【００８０】
なお、別の実施例として、例えば接触時刻と静止時刻の同時性だけを条件として異常判定を行ってもよい。
【００８１】
また、別の実施例として、例えば接触時刻と姿勢変化時刻の同時性だけを条件として異常判定を行うことも可能である。
【００８２】
（Ｓ１５：追跡人物の順次設定）
Ｓ１１、Ｓ１２、Ｓ１３の判定で、ＮＯであった場合には、判定の対象になった追跡人物は、強盗犯ではないと判定されたことを意味する。そこで、Ｓ１５において、静止人物以外の追跡人物がいるかを判定し、いる場合にはＳ１０に戻り、次の追跡人物についての判定を行う。
【００８３】
「実施形態の効果」
本実施形態によれば、監視空間内に異常検知装置を設置することで、被害者が強盗犯によって身体の自由を奪われて通報操作ができない状態のまま放置された場合であっても、そのような異常事態を自動的に検出し、通報を行うことが可能になる。
【００８４】
特に、被害者が押し込み強盗によって動けない状態にされたという異常状態と、動かない状態で作業しているという正常状態とを区別して誤通報を防止できる。
【００８５】
押し込み強盗によって拘束された場合、被害者は、押し込み強盗と接触したときから倒れて動かない状態になるはずである。そこで、本実施形態では、倒位または屈位で静止し続ける人物を検出した場合、その状態が他の人物との接触時点から継続しているとき「倒位または屈位で拘束された被害者」として検出する。
【符号の説明】
【００８６】
１ 通報システム、２ 異常検知装置、３ コントローラー、４ 広域通信網、５ センタ装置、６ 金庫、２０ 撮像部、２１ 記憶部、２２ 制御部、２３ 出力部、８３ 画像中心、９０ 人物領域、２１０ 背景画像、２１１ 人物モデル、２１１Ｋ 屈位モデル、２１１Ｒ 立位モデル、２１１Ｔ 倒位モデル、２２０ 人物抽出手段、２２１ 人物追跡手段、２２２ 姿勢検出手段、２２３ 静止人物検出手段、２２４ 接触人物判定手段、２２５ 異常判定手段。
【技術分野】
【０００１】
本発明は、撮像された監視画像を画像解析することにより、監視空間内で発生した異常シーンを検知する異常検知装置に関して、特に複数の人物が関与した異常事態を検知するものに関する。
【背景技術】
【０００２】
従来より、各種犯罪について監視カメラ映像から検出したいという要求がある。例えば、強盗犯が有人店舗などに押し入り、金庫に保管されている金品の強奪を試みる際に、店舗の従業員等による外部への通報や抵抗をおそれるあまり、従業員に対して攻撃を与えたり、手足をロープや粘着テープで拘束したりすることで身体の自由を奪うことがある。
【０００３】
このように身体の自由を奪われた従業員等の被害者は、犯行後、店舗内に放置されることになるため、通報が遅れることによる強盗事件発生の発覚遅れや、怪我をした被害者の救護遅れなどが危惧される。
【０００４】
このため、被害者が上記のような通報操作できない状態であることを自動的に検知し、通報を行う異常検知装置の提案が望まれている。
【０００５】
このような異常事態については、監視カメラで得られた画像より得られる被害者の行動から検出することが考えられる。しかし、上記のような被害者の存在を画像処理による行動解析によって検出する場合、被害者がとった行動であるのか、平常時の人物がとった行動であるのかを精度よく識別する必要がある。
【０００６】
特許文献１には、異常な行動をとった人物と通常の行動をとった人物とを識別する方法として、「通常の行動パターン」および「異常な行動パターン」を予め記憶し、それらと監視画像中の人物の行動パターンを比較することで、当該人物の行動が正常であるか異常であるかを識別する装置が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−３２８６２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、押し込み強盗によって被害者が拘束される等して、監視空間に放置されたことを検知するとき、被害者のみの行動から異常／正常を識別することが困難な場合がある。例えば、押し込み強盗によって中腰で拘束され動けなくなった人物と中腰で通常に作業をしている人物を識別する場合、これらの人物の行動は共に「中腰状態で動かない」というものになり、これらを識別することは困難である。
【０００９】
本発明は、身体の自由を奪われ、その後放置された被害者を精度よく検知する異常検知装置の提供を目的とする。
【課題を解決するための手段】
【００１０】
本発明は、監視領域を撮影した監視画像を順次取得する画像取得部と、前記監視画像を処理する制御部と、前記制御部が異常を検知すると異常信号を出力する出力部を具備する異常検知装置であって、前記制御部は、前記監視画像から、人物を検出する人物検出手段と、前記人物を時間的に追跡する人物追跡手段と、前記人物について略静止している静止人物を検出する静止人物検出手段と、前記静止人物の検出時より以前の所定時間内に、当該静止人物が他の人物と接触していれば異常と判定する異常判定手段と、を有することを特徴とする。
【００１１】
また、人物の外形に対応する人物モデルを記憶する記憶部と、前記人物と前記人物モデルを比較して当該人物が立位姿勢から立位姿勢でない姿勢に変化したことを検出する姿勢変化検出手段をさらに有し、前記静止人物検出手段は、前記姿勢変化した人物について前記静止人物を検出することが好適である。
【００１２】
また、前記異常判定手段は、前記接触が動きを伴う接触か否かを判定し、動きを伴う接触であると前記異常を検出することが好適である。
【発明の効果】
【００１３】
本発明によれば、静止状態が継続している人物を検出した際に、その検出時より以前に、当該静止人物が他の人物と接触しているかを判定する。そして、当該接触があった後に静止状態が継続しているときに異常を検出する。従って、正常な動作として静止している人物と強盗犯などによって拘束された後に放置された人物を区別することが可能である。これにより、放置人物をより正確に検出することができ、異常の誤検出を防止することができる。
【図面の簡単な説明】
【００１４】
【図１】監視空間のイメージと異常検知装置の構成を示した模式図である。
【図２】異常検知装置の構成を示すブロック図である。
【図３】姿勢別人物モデルのうち、立位モデルを示す図である。
【図４】姿勢別人物モデルのうち、倒位モデルを示す図である。
【図５】姿勢別人物モデルのうち、屈位モデルを示す図である。
【図６】異常検知の動作を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について、図面に基づいて説明する。
【００１６】
「全体構成」
本実施形態に係る異常検知装置を含み、この異常検知装置にて異常シーンを検知して、警備センタ等へ通報する通報システム１について説明する。
【００１７】
図１は、通報システム１の構成と配置のイメージを示した模式図である。
【００１８】
通報システム１は、異常検知装置２と、コントローラー３と、センタ装置５を含んで構成される。
【００１９】
異常検知装置２は、金庫６などの重要物が設置された部屋を監視空間とし、当該部屋の天井に設置される。異常検知装置２は、監視空間にて発生した異常シーンを検知すると異常信号を出力する。
【００２０】
異常検知装置２は、通信線を介してコントローラー３に接続され、コントローラー３は電話回線またはインターネット回線等の広域通信網４を介して遠隔地に設置された警備センタ等のセンタ装置５と接続される。異常検知装置２が出力した異常信号はコントローラー３を介してセンタ装置５に送信される。
【００２１】
「異常検知装置の構成」
図２は、異常検知装置２の構成を示したブロック図である。異常検知装置２は、撮像部２０、記憶部２１、出力部２３および制御部２２を含んで構成されている。
【００２２】
なお、図１においては、異常検知装置２を監視領域の天井に設けたが、撮像部２０のみを天井に設け、その他の装置は別の場所に設けてもよい。
【００２３】
（撮像部２０）
撮像部２０は、例えばＣＣＤ撮像素子などを利用した監視カメラである。この撮像部２０は、通常は監視空間（監視領域）の天井に取り付けられている。また、その撮影は、ビデオ撮影のような連続撮影でもよいが、所定の時間間隔で監視領域を順次撮影することが好ましい。撮影された監視空間の監視画像は順次、制御部２２へ出力される。監視画像が撮像される時間間隔は例えば１／５秒である。以下、この撮像の時間間隔で刻まれる時間の単位を時刻と称する。本実施形態において、撮像部２０は魚眼レンズを備え、その光軸を鉛直下方に向けて設置されており、監視空間である部屋の全体を撮像する。
【００２４】
（記憶部２１）
記憶部２１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の記憶装置である。フラッシュメモリや、ハードディスクなどを利用してもよい。記憶部２１は、各種プログラムや各種データを記憶し、制御部２２との間でこれらの情報を入出力する。記憶部２１において記憶する各種データには、背景差分処理に必要な背景画像２１０、追跡人物の姿勢判定に必要な姿勢別の人物モデル２１１が含まれる。なお、撮影された画像をそのままハードディスクなどの大容量記憶装置に記憶しておいてもよい。
【００２５】
姿勢別の人物モデル２１１は人物の姿勢を立位／倒位／屈位の３つに大分し、各姿勢の人物の形状（外形）をモデリングしたものである。姿勢別の人物モデル２１１には立位モデル２１１Ｒ、倒位モデル２１１Ｔ、屈位モデル２１１Ｋが含まれる。
【００２６】
この立位モデル２１１Ｒ、倒位モデル２１１Ｔ、屈位モデル２１１Ｋを図３、図４、図５に示す。各モデルは、制御部２２が、撮像部２０において得られた監視画像から人物領域を抽出し、抽出された人物領域に姿勢別の人物モデル２１１を当て嵌めることで、撮像されている人物の姿勢を推定する際に利用される。
【００２７】
立位モデル２１１Ｒは立った姿勢の人物の形状（外形）を模した人物モデル２１１である。本実施形態において立位モデル２１１Ｒは、図３に示すように、長軸長ＬＲ±αＬＲ、短軸長ＳＲ±αＳＲの楕円で定義される。光軸を鉛直下方に向けた撮像部２０により撮像された監視画像の座標系においては監視画像の中心からの放射線方向が身長方向となる。±αθＲは、体の傾きを考慮するための値であり、立位モデル２１１Ｒは、その長軸方向を放射線方向から±αθＲの範囲内に限定して配置される。すなわち、画像中心から放射方向に対する、長軸方向のずれ（偏位角）が±αθＲの範囲内の人物領域が当て嵌められる。
【００２８】
長軸長の基準値ＬＲは平均的な身長に応じて設定され、その変動許容範囲±αＬＲは体格の個人差により生じる誤差等を吸収可能な範囲に設定される。短軸長の基準値ＳＲは平均的な体の幅に応じて設定され、その変動許容範囲±αＳＲは体の傾きにより生じる誤差や体格の個人差により生じる誤差等を吸収可能な範囲に設定される。長軸の偏位角の変動許容範囲±αθＲは体の傾きにより生じる誤差や立位の姿勢の個人差を吸収可能な範囲に設定される。これらの変動許容範囲は立位とみなせる範囲の形状、傾きの範囲を意味している。
【００２９】
記憶部２１には、立位モデル２１１Ｒとして予め上記のように設定された長軸長ＬＲ、短軸長ＳＲ、長軸長の変動許容範囲±αＬＲ、短軸長の変動許容範囲±αＳＲ、長軸の偏位角の変動許容範囲±αθＲの各数値が記憶されている。なお、人物の像の大きさは撮像部２０と人物の位置関係により変わるため、ＬＲ、ＳＲは監視画像上の位置ごとに設定し、αＬＲ、αＳＲはＬＲ、ＳＲに対する比率として設定するのがよい。
【００３０】
倒位モデル２１１Ｔは倒れている姿勢の人物の形状（外形）を模した人物モデル２１１である。本実施形態において倒位モデル２１１Ｔは、図４に示すように、長軸長ＬＴ±αＬＴ、短軸長ＳＴ±αＳＴの楕円で定義される。±αθＴは体の傾きを考慮するための値であり、光軸を鉛直下方に向けた撮像部２０により撮像された監視画像の座標系において倒位モデル２１１Ｔはその長軸方向を放射線の法線方向から±αθＴの範囲内に限定して配置される。
【００３１】
長軸長の基準値ＬＴは平均的な身長に応じて設定され、その変動許容範囲±αＬＴは体格の個人差により生じる誤差等を吸収可能な範囲に設定される。短軸長の基準値ＳＴは平均的な体の幅に応じて設定され、その変動許容範囲±αＳＴは体の傾きにより生じる誤差や体格の個人差により生じる誤差等を吸収可能な範囲に設定される。長軸の偏位角の変動許容範囲±αθＴは立位と混同しないように０≦αθＴ＜９０°−αθＲの範囲に設定される。これらの変動許容範囲は倒位とみなせる範囲の形状、傾きの範囲を意味している。
【００３２】
記憶部２１には、倒位モデル２１１Ｔとして予め上記のように設定された長軸長ＬＴ、短軸長ＳＴ、長軸長の変動許容範囲±αＬＴ、短軸長の変動許容範囲±αＳＴ、長軸の偏位角の変動許容範囲±αθＴの各数値が記憶されている。なお、人物の像の大きさは撮像部２０と人物の位置関係により変わるため、ＬＴ、ＳＴは監視画像上の位置ごとに設定し、αＬＴ、αＳＴはＬＴ、ＳＴに対する比率として設定するのがよい。
【００３３】
屈位モデル２１１Ｋは屈んだ姿勢の人物の形状（形状）を模した人物モデル２１１である。本実施形態において屈位モデル２１１Ｋは、図５に示すように、長軸長ＬＫ±αＬＫ、短軸長ＳＫ±αＳＫの楕円で定義される。±αθＫは、体の傾きを考慮するための値であり、光軸を鉛直下方に向けた撮像部２０により撮像された監視画像の座標系において、屈位モデル２１１Ｋはその長軸方向を放射線方向から±αθＫの範囲内に限定して配置される。すなわち、屈位モデル２１１Ｋは、長軸方向が監視画像の放射方向に対し±αθＫの範囲内のみに設定される。
【００３４】
長軸長の基準値ＬＫは立位モデルの長軸長ＬＲの１／２に設定され、その変動許容範囲±αＬＫは体格の個人差により生じる誤差等を吸収可能な範囲に設定される。屈位モデル２２１Ｋの短軸長の変動許容範囲±αＳＫは体の傾きにより生じる誤差や体格の個人差により生じる誤差等を吸収可能な範囲に設定される。長軸の偏位角（放射方向からのずれの範囲）の変動許容範囲±αθＫは屈んだ姿勢の個人差を吸収可能な範囲に設定される。これらの変動許容範囲は屈位とみなせる範囲の形状、傾きの範囲を意味している。
【００３５】
記憶部２１には、屈位モデル２１１Ｋとして予め上記のように設定された長軸長ＬＫ、短軸長ＳＫ、長軸長の変動許容範囲±αＬＫ、短軸長の変動許容範囲±αＳＫ、長軸の偏位角の変動許容範囲±αθＫの各数値が記憶されている。なお、人物の像の大きさは撮像部２０と人物の位置関係により変わるため、ＬＫ、ＳＫは監視画像上の位置ごとに設定し、αＬＫ、αＳＫはＬＫ、ＳＫに対する比率として設定するのがよい。
【００３６】
（制御部２２）
制御部２２は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、記憶部２１からプログラムを読み出して実行することで人物抽出手段２２０、人物追跡手段２２１、姿勢検出手段２２２、静止人物検出手段２２３、接触人物検出手段２２４、異常判定手段２２５として機能する。
【００３７】
ここで、制御部２２の各手段については、図６に示す処理フローとともに説明する。
【００３８】
（出力部）
出力部２３は、異常信号を異常検知装置の外部へ出力する通信手段である。出力部２３は、制御部２２の異常判定手段２２５から異常信号が入力されると、当該異常信号をコントローラー３へ出力する。
【００３９】
「異常検知装置２における処理フロー」
図６は、異常検知装置２における異常検出処理を示したフローチャートである。各種のデータ処理は基本的に制御部２２において実施される。
【００４０】
（Ｓ１：初期化）
電源が投入されると、各部が初期化され動作を開始する。初期化には起動直後の監視画像を記憶部２１に背景画像２１０として記憶させる処理を含む。ここで、背景画像については、人が立ち入らない状態において、毎回取得し直すことが好適であるが、ある程度固定的な画面を記憶しておくなど各種の手段を採用することができる。
【００４１】
（Ｓ２：監視画像取得）
初期化が終了した場合には、監視画像を取得する。すなわち、撮像部２０は、監視空間を撮像する度に監視画像を出力し、制御部２２はこれを取得する。Ｓ２において、現時刻の監視画像が取得され、これが制御部に送られる。
【００４２】
（Ｓ３：背景差分・ラベリング）
制御部２２の人物抽出手段２２０では、撮像部から送られてきた現時刻における監視画像について背景を除去して、人物領域を抽出し、得られた人物領域をラベリングする。人物抽出手段２２０は、撮像部２０から得られた監視画像と、記憶部２１に記憶されている背景画像２１０を比較し、背景画像２１０との差分が閾値以上である画素を変化画素として抽出する。なお、差分特徴量として、輝度、色、エッジ強度・方向などを用いることができる。閾値は、事前に決められた規定値を用いてもよいし、動的に変更してもよい。
【００４３】
また、差分演算後に正規化相関等による光・影領域の除去、膨張収縮処理によるゴマ塩状ノイズの除去を行うことが望ましい。
【００４４】
人物抽出手段２２０は、変化画素の抽出後、ラベリングを行う。ラベリングは、空間的に接続する画素に同一の番号を振る処理であり、変化画素の塊（集合）ごとに個別の番号が振られることになる。ラベリング後、１つのラベリングがされた領域例えば面積が閾値以下の塊は除去するなど再度ノイズ除去処理を行う。この際の閾値はカメラ設置条件から計算される標準人物サイズなどから決定される。以下、この塊を人物領域と称する。
【００４５】
このように、人物抽出手段２２０は、人物検出手段として機能し、人物領域を抽出することで、監視画像内の人物を検出する。
【００４６】
（Ｓ４：人物追跡）
人物抽出手段２２０において得られた人物領域の画像は、人物追跡手段２２１に送られる。人物追跡手段２２１は、前時刻までに（前回以前に取得した監視画像において）人物抽出手段２２０により抽出され、記憶部２１に記憶されている各人物領域に関する追跡特徴と、現時刻にて（今回取得した監視画像において）人物抽出手段２２０により抽出された各人物領域と関連付けることで、人物領域の追跡を実現する。
【００４７】
そのために、人物追跡手段２２１は、監視領域への人物領域の出現が確認される度に、その人物領域の画像特徴を追跡特徴として抽出し、記憶部２１に記憶する。そして、記憶部２１に記憶されている前時刻で抽出された人物領域の追跡特徴と、現時刻で抽出された人物領域の追跡特徴を比較し、最も類似していると判断される人物領域と関連付ける。追跡特徴とは、色やエッジのヒストグラム、人物領域の重心位置、外接矩形などである。現時刻で抽出された人物領域が、記憶部２１に記憶されている追跡特徴のいずれにも関連付けられなかった場合には、その人物像は現時刻において新たに出現した人物領域である、と判定する。
【００４８】
記憶部２１に記憶されている追跡特徴のうちで、現時刻で抽出された人物領域に関連付けられなかった人物領域がある場合には、その人物領域は、現時刻において入力画像の視野外に移動した、つまりは事務室（監視領域）から外に出た人物のものであると判定し、以降の追跡対象から除外する。なお、一定時間は保持しておき、その間は上記の関連付け処理を試みるものとしてもよい。
【００４９】
上述した人物追跡手段２２１における処理は、画像処理技術の分野における追跡処理として一般的なものであるので、詳細は省略する。
【００５０】
（Ｓ５〜Ｓ６：姿勢判定）
次に、姿勢検出手段２２２は、人物抽出手段２２０により抽出された人物領域に最も形状が適合する姿勢別の人物モデル２１１を選出し、選出された姿勢別の人物モデル２１１に対応する姿勢を人物領域に含まれる人物の姿勢と判定する。なお、複数の人物領域が抽出されている場合、姿勢検出手段２２２はそれぞれの人物領域に対して姿勢判定を行う。
【００５１】
姿勢検出手段２２２は、人物領域に各人物モデル２１１を重ね合わせて適合度を算出し、適合度が最も高い姿勢の人物モデル２１１を選出する。本件では適合度を以下の評価関数で表現する。
（評価関数）＝−｛（人物領域であって人物モデル領域でない画素）
＋γ×（人物モデル領域であって人物領域でない画素）｝
【００５２】
第１項は、人物領域にも関わらず人物モデルで覆われなかった画素の数、第２項は人物領域でないにも関わらず人物モデルで覆われた画素の数であり、人物領域と人物モデルの適合度をはみ出し画素の数により評価している。評価関数は負の値をとり、その値が大きい方（０に近い方）が人物領域と人物モデルの適合度が高い。
【００５３】
γは、第１項と第２項のバランスをとるためのパラメータである。例えば変化画素が抽出されやすいような差分処理の閾値を設定した場合、γの値を大きくすればよい。
【００５４】
ここで、各人物がとる姿勢は一定ではない上、人物間の位置関係も一定ではなく、また上述したように人物の姿勢には個人差や体の傾きにより生じる誤差等が含まれる。そこで人物領域に対する各姿勢別の人物モデル２１１の重ね合わせの処理は各パラメータを変更しながら処理を反復し探索的に行われる。但し、リアルタイムで異常検知を行うために、その探索は予め１時刻で処理が終わるように反復回数Ｎが固定的に規定され、或いは予め１時刻より短い処理時間の規定により反復回数Ｎが動的に規定される。例えば反復回数Ｎは１０００回と規定される。このとき、限られた反復回数の中で姿勢判定の結果が局所解に陥ることを防ぐために、パラメータの変更をランダムに行うことが好適である。
【００５５】
次に、探索時に変更されるパラメータについて説明する。姿勢検出手段２２２は各人物がとる姿勢が一定ではないことに対応して各姿勢の姿勢別の人物モデル２１１を複数通り試行する。３種類の姿勢（立位と倒位と屈位）が設定されている本実施形態では、３通りの組み合わせからランダムに選択する。
【００５６】
また、姿勢検出手段２２２は個人差や体の傾きにより生じる誤差に対応して各姿勢の姿勢別の人物モデル２１１の形状、傾きを変動許容範囲でランダムに微小変更する。形状の変更は長軸長と短軸長を独立して変更することにより行われる。傾きの変更は偏位角を変更することにより行われる。
【００５７】
具体的には、姿勢検出手段２２２は、人物領域内にランダム座標を設定して立位モデル２１１Ｒの重心位置ＰＲとし、重心位置ＰＲに応じた長軸長ＬＲと短軸長ＳＲを記憶部２１から読み出すとともに許容範囲αＬＲ、αＳＲ、αθＲを読み出し、長軸長ＬＲに対して±αＬＲの範囲でΔＬＲをランダムに設定し、短軸長ＳＲに対して±αＳＲの範囲でΔＳＲをランダムに設定し、長軸偏位角に対して±αθＲの範囲でΔθＲをランダムに設定する。姿勢検出手段２２２は、画像中心８３と重心位置ＰＲを結ぶ放射線から重心位置ＰＲを中心にΔθＲだけ回転した直線を長軸として求め、重心位置ＰＲを中心とし長軸長ＬＲ＋ΔＬＲ、短軸長ＳＲ＋ΔＳＲの楕円を算出する。
【００５８】
同様に、姿勢検出手段２２２は、倒位モデル２１１Ｔの重心位置ＰＴを人物領域内にランダム設定するとともに、変動量ΔＬＴ、ΔＳＴ、ΔθＴをそれぞれ±αＬＴ、±αＳＴ、±αθＴの範囲でランダムに設定し、画像中心８３と重心位置ＰＴを結ぶ放射線の重心位置ＰＫを通る法線を求め、当該法線から重心位置ＰＴを中心にΔθＴだけ回転した直線を長軸とし重心位置ＰＴを中心とする長軸長ＬＴ＋ΔＬＴ、短軸長ＳＴ＋ΔＳＴの楕円を算出する。
【００５９】
さらに、姿勢検出手段２２２は、上述と同様にして、屈位モデル２１１Ｋの重心位置ＰＫを人物領域９０内にランダム設定するとともに、変動量ΔＬＫ、ΔＳＫ、ΔθＫをそれぞれ±αＬＫ、±αＳＫ、±αθＫの範囲でランダムに設定し、画像中心８３と重心位置ＰＫを結ぶ放射線から重心位置ＰＫを中心にΔθＫだけ回転した直線を長軸とし重心位置ＰＫを中心とする長軸長ＬＫ＋ΔＬＫ、短軸長ＳＫ＋ΔＳＫの楕円を算出する。
【００６０】
この処理により、人物領域に最も適合度の高い人物モデルの姿勢が当該人物領域に含まれる人物の姿勢であると判定する。そして、姿勢検出手段２２２は、判定結果である人物領域の姿勢を追跡特徴として記憶部２１に記憶する。
【００６１】
また、人物領域と人物モデルの当て嵌まりのよさを表す上記の評価関数に、時間方向の連続性を導入することもできる。例えば、前時刻の人物モデル領域内の色ヒストグラムを計算しておき、今回の人物モデル領域内の色ヒストグラムとの合致度を上記評価関数に付加して、色がフレーム間で大きく異ならないように楕円を当て嵌めることができる。
【００６２】
なお、抽出された１つの人物領域内に複数人物が含まれている場合、人数分だけの人物モデルを、各パラメータを変動させながら人物領域に当て嵌めればよい。
【００６３】
（Ｓ７：姿勢変化判定）
Ｓ７において、姿勢検出手段２２２は、Ｓ６にて倒位または屈位姿勢であると判定すると、立位から、現在の倒位（または屈位）へと姿勢変化した時刻を算出する。記憶部２１を参照し、該当人物領域の追跡結果を遡って、現在の姿勢に変化した（立位→倒位（屈位））時刻を抽出する。抽出された時刻を姿勢変化時刻として記憶部２１に記録する。また、現時刻と変化時刻との差、すなわち姿勢変化の後で姿勢が無変化であった時間が所定値以上（例えば５分間）かを判定し、所定値以上であった場合に、人物が立位から倒位（屈位）へ姿勢変化したと判定してもよい。立位から倒位（屈位）へ変化していない場合はＳ２へ移り、次の監視画像を取得する。このように、姿勢検出手段２２２は、姿勢変化検出手段として機能し、人物の姿勢の変化を検出する。
【００６４】
（Ｓ８〜Ｓ９：静止判定）
Ｓ７において、立位から倒位（屈位）姿勢に変化した人物が存在した場合、静止人物検出手段２２３は、その人物の追跡結果をスキャンバックし、静止状態が継続している時間を算出する。そして、Ｓ９において、所定時間以上（例えば５分間）に渡って静止状態が継続しているかどうかを判定する。人物が静止状態であるかの判定には以下の基準を用いる。
（ｉ）人物領域の重心位置座標が変化していない（例えば重心移動量が５画素以下）。
（ｉｉ）人物領域の外接矩形の大きさが変化していない（例えば矩形変化率が５％以下）。
【００６５】
（ｉ）、（ｉｉ）のいずれに対しても変化分に対する適当な閾値を設定し、差分ノイズ等による微小な変化に過敏にならないようにすることが望ましい。
【００６６】
Ｓ９にて静止継続時間が所定以上（例えば５分間）であった場合、静止人物であると判定し、静止継続時間の開始時刻を静止開始時刻として記憶部２１に記憶する。
【００６７】
（Ｓ１０〜Ｓ１１：静止人物との接触判定）
次に、接触人物判定手段２２４は、静止人物を除いた全追跡人物領域に関するループを発生し、静止人物との接触条件を解析する。すなわち、静止以外の各人物についてＳ１１の接触の判定を行い、接触していなかった場合には、Ｓ１５において、過去に監視エリア内に存在した人物が他にいるかを判定し、該当する人物について順次その人物の追跡結果を遡り、静止人物と動きを伴う接触があった人物領域の存在を確認する。なお、接触人物判定手段２２４と異常判定手段２２５が異常判定手段として機能する。
【００６８】
接触したか否かの判断は以下の条件による。
・静止人物領域との距離が一定以下（例えば５０センチ）の状態が、所定時間以上（例えば１分）継続した。
【００６９】
人物の３次元位置は、カメラ設置条件既知のもとで逆透視変換によって計算することができる。例えば前記天井設置の魚眼カメラであれば、人物領域重心と魚眼中心を結ぶ直線を描き、その直線と人物領域の交点のうち最も魚眼中心に近い点を人物の足元とみなすことができる。足元は床面に存在するものと仮定して、カメラ設置条件を介して３次元空間での足元座標を知ることができる。２人の人物について３次元足元座標を計算し、その差分をとれば人物間の実距離を検出することができる。
【００７０】
また、接触時の動きの有無は以下のように算出する。
【００７１】
動きを検出するために、フレーム間差分やオプティカル・フローを利用する。例えばフレーム間差分であれば、両者に重なるウィンドウを設けてその中での差分を所定時間（例えば１０秒間）に渡って蓄積し、その量が閾値以上（例えばウィンドウ面積の７０％以上）であれば動きありと判定することができる。
【００７２】
オプティカル・フローを利用する場合は例えばブロックマッチングや最急降下法などによりフレーム間の動きベクトルを算出する。フレーム間差分の場合と同じように両者に重なるウィンドウを設けてその内部に含まれるフローを抽出し、その中で一定以上（例えば標準人物サイズ横幅の４０％以上）の大きさを有する動きベクトルが観測されたフレームが所定数以上（例えば接触期間の７０％以上）であった場合、動きを伴ったと判断することができる。
【００７３】
接触時の動きが観測された場合、Ｓ１２へ進む。観測されなかった場合、Ｓ１５にて静止人物を除く追跡人物に関するループをインクリメントする。すなわち、追跡人物が残っているかを判定し、残っている場合にはＳ１０に戻り、次の追跡人物についての判定を行う。
【００７４】
（Ｓ１２：静止開始時刻と接触時刻の比較）
Ｓ１１において、動きを伴う接触が確認されたら、異常判定手段２２５は、接触期間（接触開始から終了までの期間）とＳ９にて記憶部２１に記憶された静止開始時刻とを比較し、その同時性を確認する。
【００７５】
静止開始時刻をＴ０、接触期間をＴ１〜Ｔ２としたときに、
（同時条件） Ｔ１≦Ｔ０≦Ｔ２＋α
を満足するときに、接触と静止に同時性があると判断することができる。αはパラメータであり、例えば１０秒などに設定される。
【００７６】
（Ｓ１３：姿勢変化時刻と接触時刻の比較）
Ｓ１２の判定において、同時であると判定された場合、異常判定手段２２５は、Ｓ１３にて姿勢変化時刻と接触時刻の同時性をチェックする。すなわち、異常判定手段２２５は、動きを伴う接触が確認されたら、接触期間とＳ７にて記録された姿勢変化時刻とを比較し、その同時性を確認する。
【００７７】
姿勢変化時刻をＴ３、接触期間をＴ１〜Ｔ２としたときに
（同時条件） Ｔ１≦Ｔ３≦Ｔ２＋β
を満足するときに、接触と姿勢変化に同時性があると判断することができる。βはパラメータであり、例えば５秒などに設定される。
【００７８】
ここで、αとβの値に差を持たせることで、例えば接触後すぐに転倒はしたがしばらく転倒姿勢のままで動いており、その後に静止した、などという異常を捉えることができる。
【００７９】
（Ｓ１４：異常出力）
異常判定手段２２５は、Ｓ１２およびＳ１３にて同時性があると判定された場合、当該静止人物を放置人物と判定し、異常信号を出力部２３へ出力する（Ｓ１４）。
【００８０】
なお、別の実施例として、例えば接触時刻と静止時刻の同時性だけを条件として異常判定を行ってもよい。
【００８１】
また、別の実施例として、例えば接触時刻と姿勢変化時刻の同時性だけを条件として異常判定を行うことも可能である。
【００８２】
（Ｓ１５：追跡人物の順次設定）
Ｓ１１、Ｓ１２、Ｓ１３の判定で、ＮＯであった場合には、判定の対象になった追跡人物は、強盗犯ではないと判定されたことを意味する。そこで、Ｓ１５において、静止人物以外の追跡人物がいるかを判定し、いる場合にはＳ１０に戻り、次の追跡人物についての判定を行う。
【００８３】
「実施形態の効果」
本実施形態によれば、監視空間内に異常検知装置を設置することで、被害者が強盗犯によって身体の自由を奪われて通報操作ができない状態のまま放置された場合であっても、そのような異常事態を自動的に検出し、通報を行うことが可能になる。
【００８４】
特に、被害者が押し込み強盗によって動けない状態にされたという異常状態と、動かない状態で作業しているという正常状態とを区別して誤通報を防止できる。
【００８５】
押し込み強盗によって拘束された場合、被害者は、押し込み強盗と接触したときから倒れて動かない状態になるはずである。そこで、本実施形態では、倒位または屈位で静止し続ける人物を検出した場合、その状態が他の人物との接触時点から継続しているとき「倒位または屈位で拘束された被害者」として検出する。
【符号の説明】
【００８６】
１ 通報システム、２ 異常検知装置、３ コントローラー、４ 広域通信網、５ センタ装置、６ 金庫、２０ 撮像部、２１ 記憶部、２２ 制御部、２３ 出力部、８３ 画像中心、９０ 人物領域、２１０ 背景画像、２１１ 人物モデル、２１１Ｋ 屈位モデル、２１１Ｒ 立位モデル、２１１Ｔ 倒位モデル、２２０ 人物抽出手段、２２１ 人物追跡手段、２２２ 姿勢検出手段、２２３ 静止人物検出手段、２２４ 接触人物判定手段、２２５ 異常判定手段。
【特許請求の範囲】
【請求項１】
監視領域を撮影した監視画像を順次取得する画像取得部と、前記監視画像を処理する制御部と、前記制御部が異常を検知すると異常信号を出力する出力部を具備する異常検知装置であって、
前記制御部は、
前記監視画像から、人物を検出する人物検出手段と、
前記人物を時間的に追跡する人物追跡手段と、
前記人物について略静止している静止人物を検出する静止人物検出手段と、
前記静止人物の検出時より以前の所定時間内に、当該静止人物が他の人物と接触していれば異常と判定する異常判定手段と、
を有することを特徴とする異常検知装置。
【請求項２】
請求項１に記載の異常検知装置において、
人物の外形に対応する人物モデルを記憶する記憶部と、
前記人物と前記人物モデルを比較して当該人物が立位姿勢から立位姿勢でない姿勢に変化したことを検出する姿勢変化検出手段をさらに有し、
前記静止人物検出手段は、前記姿勢変化した人物について前記静止人物を検出することを特徴とする異常検知装置。
【請求項３】
請求項１または２に記載の異常検知装置において、
前記異常判定手段は、
前記接触が動きを伴う接触か否かを判定し、動きを伴う接触であると前記異常を検出することを特徴とする異常検知装置。
【請求項１】
監視領域を撮影した監視画像を順次取得する画像取得部と、前記監視画像を処理する制御部と、前記制御部が異常を検知すると異常信号を出力する出力部を具備する異常検知装置であって、
前記制御部は、
前記監視画像から、人物を検出する人物検出手段と、
前記人物を時間的に追跡する人物追跡手段と、
前記人物について略静止している静止人物を検出する静止人物検出手段と、
前記静止人物の検出時より以前の所定時間内に、当該静止人物が他の人物と接触していれば異常と判定する異常判定手段と、
を有することを特徴とする異常検知装置。
【請求項２】
請求項１に記載の異常検知装置において、
人物の外形に対応する人物モデルを記憶する記憶部と、
前記人物と前記人物モデルを比較して当該人物が立位姿勢から立位姿勢でない姿勢に変化したことを検出する姿勢変化検出手段をさらに有し、
前記静止人物検出手段は、前記姿勢変化した人物について前記静止人物を検出することを特徴とする異常検知装置。
【請求項３】
請求項１または２に記載の異常検知装置において、
前記異常判定手段は、
前記接触が動きを伴う接触か否かを判定し、動きを伴う接触であると前記異常を検出することを特徴とする異常検知装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−２１２３０１（Ｐ２０１２−２１２３０１Ａ）
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願番号】特願２０１１−７７４０６（Ｐ２０１１−７７４０６）
【出願日】平成２３年３月３１日（２０１１．３．３１）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願日】平成２３年３月３１日（２０１１．３．３１）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
[ Back to top ]