放置人物検出装置
【課題】被害者が強盗犯によって身体の自由を奪われて通報操作ができない状態のまま放置されても、そのような事態を自動的に検出し、非常通報を行うことができる。
【解決手段】監視領域の監視画像を順次取得する撮像部２０と、背景画像を記憶する記憶部２１と、監視画像を処理する制御部２２から構成される。制御部２１は、監視画像から人物領域を抽出する人物領域抽出手段２２０と、人物領域のうち倒位状態の人物領域を検出する倒位人物検出手段２２２と、倒位状態の人物領域が静止状態であるかを判定する静止状態判定手段２２３と、倒位状態の人物領域が微速移動している微速移動状態と判定する微速移動判定手段２２４と、静止状態判定手段２２３と微速移動判定手段２２４の両方の判定結果に基づき、当該人物が放置された状態を検出する人物放置状態検出手段２２５と、を有する。
【解決手段】監視領域の監視画像を順次取得する撮像部２０と、背景画像を記憶する記憶部２１と、監視画像を処理する制御部２２から構成される。制御部２１は、監視画像から人物領域を抽出する人物領域抽出手段２２０と、人物領域のうち倒位状態の人物領域を検出する倒位人物検出手段２２２と、倒位状態の人物領域が静止状態であるかを判定する静止状態判定手段２２３と、倒位状態の人物領域が微速移動している微速移動状態と判定する微速移動判定手段２２４と、静止状態判定手段２２３と微速移動判定手段２２４の両方の判定結果に基づき、当該人物が放置された状態を検出する人物放置状態検出手段２２５と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像した監視画像を画像解析することにより、監視空間内に存在する人物の状態を検知する装置に関して、特に身体の自由を奪われた人物が監視空間内に放置されている状態を検知する放置人物検出装置に関する。
【背景技術】
【０００２】
従来より、各種犯罪について監視カメラ映像から検出したいという要求がある。例えば、強盗犯が有人店舗などに押し入り、金庫に保管されている金品の強奪を試みる際に、店舗の従業員等による外部への通報や抵抗をおそれるあまり、従業員に対して攻撃を与えたり、手足をロープや粘着テープで拘束したりすることで身体の自由を奪うことがある。
【０００３】
このように身体の自由を奪われた従業員等の被害者は、犯行後、店舗内に放置されることになるため、通報が遅れることによる強盗事件発生の発覚遅れや、怪我をした被害者の救護遅れなどが危惧される。
【０００４】
このため、被害者が上記のような通報操作できない状態であることを自動的に検知し、通報を行う異常検出装置の提案が望まれている。
【０００５】
特許文献１には、監視画像を画像解析し、監視空間内に存在する人物の重心位置が所定時間以上変化しない場合に独り住まいの老人が急病で倒れる等して動かない状態になったことを自動的に検出する監視装置が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−４４６４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ここで、押し込み強盗によって被害者が拘束される等して、監視空間に放置される状況には、各種の場合がある。例えば、放置された被害者は、身体の自由を奪われながらも匍匐移動するなどして、移動を試みることがある。この場合、人物の重心位置に変化が生じることになるため、重心位置に変化が生じないことを検出する手法では、放置人物の検出が困難であった。そこで、このような状況に対応して被害者が放置されていることを検出したいという要求がある。
【０００８】
本発明は、放置された被害者に特有の画像変化を捉えて、放置人物を検出することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る放置人物検出装置は、監視領域を撮影した監視画像を順次取得する画像取得部と、前記監視領域に人物が所在しない状態の監視画像を背景画像として記憶する記憶部と、前記画像取得部にて取得した監視画像を処理する制御部から構成した放置人物検出装置であって、前記制御部は、前記監視画像と前記背景画像から人物領域を抽出する人物領域抽出手段と、前記人物領域のうち倒れた姿勢である倒位状態の人物領域を検出する倒位人物検出手段と、前記倒位状態の人物領域を時間的に追跡し、当該人物領域が略移動していない静止状態であるかを判定する静止状態判定手段と、前記倒位状態の人物領域を時間的に追跡し、当該人物領域が所定速度以下の微速移動している微速移動状態と判定する微速移動判定手段と、前記静止状態判定手段と微速移動判定手段の両方の判定結果に基づき、当該人物が放置された状態を検出する人物放置状態検出手段と、を有することを特徴とする。
【００１０】
また、前記記憶部は、人物の外形に対応する人物モデルをさらに記憶し、前記倒位人物検出手段は、前記人物領域と前記人物モデルを比較して倒位状態の人物領域を検出することが好適である。
【００１１】
また、前記画像取得部は、監視領域の上方から、魚眼レンズを介し監視領域の画像を取得し、前記記憶部は、人物モデルとして、長径および短径を有する細長の図形を記憶しており、前記倒位人物検出手段は、前記人物領域の長径が画像の中心からの放射方向と直交する方向に向く人物モデルに一致するときに倒位状態の人物領域と判定することが好適である。
【００１２】
また、前記人物放置状態検出手段は、前記静止状態の経過時間が第１の所定値を超えた場合または前記微速移動状態の経過時間が第１の所定値より長い第２の所定値を超えた場合に人物の放置状態と検出することが好適である。
【発明の効果】
【００１３】
本発明によれば、強盗犯によって身体の自由を奪われて通報操作ができない状態のまま放置された人物を検出でき、また、そのような異常事態について通報を行うことが可能になる。
【図面の簡単な説明】
【００１４】
【図１】監視空間のイメージと放置人物検知装置の構成を示した模式図である。
【図２】放置人物検知装置の構成を示すブロック図である。
【図３】姿勢別人物モデルのうち、立位モデルを示す図である。
【図４】姿勢別人物モデルのうち、倒位モデルを示す図である。
【図５】異常検知の動作を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について、図面に基づいて説明する。
【００１６】
「全体構成」
本実施形態に係る放置人物検知装置を含み、この放置人物検知装置にて放置人物が存在する異常シーンを検知して、警備センタ等へ通報する通報システム１について説明する。
【００１７】
図１は、通報システム１の構成と配置のイメージを示した模式図である。
【００１８】
通報システム１は、放置人物検知装置２と、コントローラー３と、センタ装置５を含んで構成される。
【００１９】
放置人物検知装置２は、金庫６などの重要物が設置された部屋を監視空間とし、当該部屋の天井に設置される。放置人物検知装置２は、監視空間にて放置人物が存在する異常シーンを検知すると異常信号を出力する。
【００２０】
放置人物検知装置２は、通信線を介してコントローラー３に接続され、コントローラー３は電話回線またはインターネット回線等の広域通信網４を介して遠隔地に設置された警備センタ等のセンタ装置５と接続される。放置人物検知装置２が出力した異常信号はコントローラー３を介してセンタ装置５に送信される。
【００２１】
「放置人物検知装置の構成」
図２は、放置人物検知装置２の構成を示したブロック図である。放置人物検知装置２は、撮像部２０、記憶部２１、出力部２３および制御部２２を含んで構成されている。
【００２２】
なお、図１においては、放置人物検知装置２を監視領域の天井に設けたが、撮像部２０のみを天井に設け、その他の装置は別の場所に設けてもよい。
【００２３】
（撮像部２０）
撮像部２０は、例えばＣＣＤ撮像素子などを利用した監視カメラである。この撮像部２０は、通常は監視空間（監視領域）の天井に取り付けられている。また、その撮影は、ビデオ撮影のような連続撮影でもよいが、所定の時間間隔で監視領域を順次撮影することが好ましい。撮影された監視空間の監視画像は順次、制御部２２へ出力される。監視画像が撮像される時間間隔は例えば１／５秒である。以下、この撮像の時間間隔で刻まれる時間の単位を時刻と称する。本実施形態において、撮像部２０は魚眼レンズを備え、その光軸を鉛直下方に向けて設置されており、監視空間である部屋の全体を撮像する。
【００２４】
（記憶部２１）
記憶部２１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の記憶装置である。フラッシュメモリや、ハードディスクなどを利用してもよい。記憶部２１は、各種プログラムや各種データを記憶し、制御部２２との間でこれらの情報を入出力する。記憶部２１において記憶する各種データには、背景差分処理に必要な背景画像２１０、追跡人物の姿勢判定に必要な姿勢別人物モデル２１１が含まれる。なお、撮影された画像をそのままハードディスクなどの大容量記憶装置に記憶しておいてもよい。
【００２５】
姿勢別人物モデル２１１は、人物の姿勢を立位／倒位の２つに大分し、各姿勢の人物の形状（外形）をモデリングしたものである。姿勢別人物モデル２１１には立位モデル２１１Ｒ、倒位モデル２１１Ｔが含まれる。
【００２６】
この立位モデル２１１Ｒ、倒位モデル２１１Ｔを図３、図４に示す。各モデルは、制御部２２が、撮像部２０において得られた監視画像から人物領域を抽出し、抽出された人物領域に姿勢別人物モデル２１１を当て嵌めることで、撮像されている人物の姿勢を推定する際に利用される。
【００２７】
立位モデル２１１Ｒは立った姿勢の人物の形状を模した姿勢別人物モデル２１１である。本実施形態において立位モデル２１１Ｒは、図３に示すように、長軸長ＬR±αLR、短軸長ＳR±αSRの楕円で定義される。光軸を鉛直下方に向けた撮像部２０により撮像された監視画像の座標系においては監視画像の中心からの放射線方向が身長方向となる。±αθRは、体の傾きを考慮するための値であり、立位モデル２１１Ｒは、その長軸方向を放射線方向から±αθRの範囲内に限定して配置される。すなわち、画像中心から放射方向に対する、長軸方向のずれ（偏位角）が±αθRの範囲内の人物領域が当て嵌められる。
【００２８】
長軸長の基準値ＬRは平均的な身長に応じて設定され、その変動許容範囲±αLRは体格の個人差により生じる誤差等を吸収可能な範囲に設定される。短軸長の基準値ＳRは平均的な体の幅に応じて設定され、その変動許容範囲±αSRは体の傾きにより生じる誤差や体格の個人差により生じる誤差等を吸収可能な範囲に設定される。長軸の偏位角の変動許容範囲±αθRは体の傾きにより生じる誤差や立位の姿勢の個人差を吸収可能な範囲に設定される。これらの変動許容範囲は立位とみなせる範囲の形状、傾きの範囲を意味している。
【００２９】
記憶部２１には、立位モデル２１１Ｒとして予め上記のように設定された長軸長ＬR、短軸長ＳR、長軸長の変動許容範囲±αLR、短軸長の変動許容範囲±αSR、長軸の偏位角の変動許容範囲±αθRの各数値が記憶されている。なお、人物の像の大きさは撮像部２０と人物の位置関係により変わるため、ＬR、ＳRは監視画像上の位置毎に設定し、αLR、αＳRはＬR、ＳRに対する比率として設定するのがよい。
【００３０】
倒位モデル２１１Ｔは倒れている姿勢の人物の形状を模した姿勢別人物モデル２１１である。本実施形態において倒位モデル２１１Ｔは、図４に示すように、長軸長ＬＴ±αＬＴ、短軸長ＳＴ±αＳＴの楕円で定義される。±αθTは体の傾きを考慮するための値であり、光軸を鉛直下方に向けた撮像部２０により撮像された監視画像の座標系において倒位モデル２１１Ｔはその長軸方向を放射線の法線方向から±αθTの範囲内に限定して配置される。
【００３１】
長軸長の基準値ＬＴは平均的な身長に応じて設定され、その変動許容範囲±αＬＴは体格の個人差により生じる誤差等を吸収可能な範囲に設定される。短軸長の基準値ＳＴは平均的な体の幅に応じて設定され、その変動許容範囲±αＳＴは体の傾きにより生じる誤差や体格の個人差により生じる誤差等を吸収可能な範囲に設定される。長軸の偏位角の変動許容範囲±αθTは立位と混同せぬように０≦αθT＜９０°−αθRの範囲に設定される。これらの変動許容範囲は倒位とみなせる範囲の形状、傾きの範囲を意味している。
【００３２】
記憶部２１には、倒位モデル２１１Ｔとして予め上記のように設定された長軸長ＬＴ、短軸長ＳＴ、長軸長の変動許容範囲±αＬＴ、短軸長の変動許容範囲±αＳＴ、長軸の偏位角の変動許容範囲±αθTの各数値が記憶されている。なお、人物の像の大きさは撮像部２０と人物の位置関係により変わるため、ＬＴ、ＳＴは監視画像上の位置毎に設定し、αＬＴ、αＳＴはＬＴ、ＳＴに対する比率として設定するのがよい。
【００３３】
（制御部２２）
制御部２２は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、記憶部２１からプログラムを読み出して実行することで人物領域抽出手段２２０、人物追跡手段２２１、倒位人物判定手段として機能する姿勢判定手段２２２、静止状態判定手段２２３、微速移動判定手段２２４、人物放置状態検出手段として機能する異常判定手段２２５を含んでいる。
【００３４】
ここで、制御部２２の各手段については、図５に示す処理フローとともに説明する。
【００３５】
（出力部）
出力部２３は、異常信号を放置人物検知装置の外部へ出力する通信手段である。出力部２３は、制御部２２の異常判定手段２２５から異常信号が入力されると、当該異常信号をコントローラー３へ出力する。
【００３６】
「放置人物検知装置２における処理フロー」
図５は、放置人物検知装置２における異常検出処理を示したフローチャートである。各種のデータ処理は基本的に制御部２２において実施される。
【００３７】
（Ｓ１：初期化）
電源が投入されると、各部が初期化され動作を開始する。初期化には起動直後の監視画像を記憶部２１に背景画像２１０として記憶させる処理を含む。ここで、背景画像については、人が立ち入らない状態において、毎回取得し直すことが好適であるが、ある程度固定的な画面を記憶しておくなど各種の手段を採用することができる。
【００３８】
（Ｓ２：監視画像取得）
初期化が終了した場合には、監視画像を取得する。すなわち、撮像部２０は、監視空間を撮像する度に監視画像を出力し、制御部２２はこれを取得する。Ｓ２において、現時刻の監視画像が取得され、これが制御部に送られる。
【００３９】
（Ｓ３：背景・ラベリング）
制御部２２の人物領域抽出手段２２０では、撮像部から送られてきた現時刻における監視画像について背景を除去して、人物領域を抽出し、得られた人物領域をラベリングする。人物領域抽出手段２２０は、撮像部２０から得られた監視画像と、記憶部２１に記憶されている背景画像２１０を比較し、背景画像２１０との差分が閾値以上である画素を変化画素として抽出する。なお、差分特徴量として、輝度、色、エッジ強度・方向などを用いることができる。閾値は、事前に決められた規定値を用いてもよいし、動的に変更してもよい。
【００４０】
また、差分演算後に正規化相関等による光・影領域の除去、膨張収縮処理によるゴマ塩状ノイズの除去を行うことが望ましい。
【００４１】
人物領域抽出手段２２０は、変化画素の抽出後、変化画素の集合についてラベリングを行う。ラベリングは、空間的に接続する画素に同一の番号を振る処理であり、変化画素の塊（集合）毎に個別の番号が振られることになる。ラベリング後、１つのラベリングがされた領域、例えば面積が閾値以下の塊は除去するなど再度ノイズ除去処理を行う。この際の閾値はカメラ設置条件から計算される標準人物サイズなどから決定される。以下、この塊を人物領域と称する。
【００４２】
（Ｓ４：人物追跡）
人物領域抽出手段２２０において得られた人物領域の画像は、人物追跡手段２２１に送られる。人物追跡手段２２１は、前時刻までに（前回以前に取得した監視画像において）人物領域抽出手段２２０により抽出され、記憶部２１に記憶されている各人物領域に関する追跡特徴と、現時刻にて（今回取得した監視画像において）人物領域抽出手段２２０により抽出された各人物領域と関連付けることで、人物領域の追跡を実現する。
【００４３】
そのために、人物追跡手段２２１は、監視領域への人物領域の出現が確認される度に、その人物領域の画像特徴を追跡特徴として抽出し、記憶部２１に記憶する。そして、記憶部２１に記憶されている前時刻で抽出された人物領域の追跡特徴と、現時刻で抽出された人物領域の追跡特徴を比較し、最も類似していると判断される人物領域と関連付ける。
【００４４】
追跡特徴とは、色やエッジのヒストグラム、人物領域の重心位置、外接矩形などである。現時刻で抽出された人物領域が、記憶部に記憶されている追跡特徴のいずれにも関連付けられなかった場合には、その人物像は現時刻において新たに出現した人物領域である、と判断する。
【００４５】
記憶部２１に記憶されている追跡特徴のうちで、現時刻で抽出された人物領域に関連付けられなかった人物領域がある場合には、その追跡情報は、入力画像の視野外に移動した、つまりは事務室などの監視領域から外に出た人物のものであると判断し、記憶部２１から消去する。なお、一定時間は保持しておき、その間は上記の関連付け処理を試みるものとしてもよい。
【００４６】
上述した人物追跡手段２２１における処理は、画像処理技術の分野における追跡処理として一般的なものであるので、詳細は省略する。
【００４７】
（Ｓ５〜Ｓ６：姿勢判定）
姿勢判定手段２２２は、人物領域抽出手段２２０により抽出された人物領域に最も形状が適合する姿勢別人物モデル２１１を選出し、選出された姿勢別人物モデル２１１に対応する姿勢を人物領域に含まれる人物の姿勢と判定する。なお、複数の人物領域が抽出されている場合、姿勢判定手段２２２はそれぞれの人物領域に対して姿勢判定を行う（Ｓ５）。また、この姿勢判定手段２２２は、倒位姿勢の人物を検出する倒位人物検出手段として機能する。
【００４８】
姿勢判定手段２２２は、人物領域に各姿勢別人物モデル２１１を重ね合わせて適合度を算出し、適合度が最も高い姿勢の姿勢別人物モデル２１１を選出する。本件では適合度を以下の評価関数で表現する。
（評価関数）＝−｛（人物領域であって人物モデル領域でない画素）
＋γ×（人物モデル領域であって人物領域でない画素）｝
【００４９】
第１項は、人物領域にも関わらず人物モデルで覆われなかった画素の数、第２項は人物領域でないにも関わらず人物モデルで覆われた画素の数であり、人物領域と人物モデルの適合度をはみ出し画素の数により評価している。評価関数は負の値をとり、その値が大きい方（０に近い方）が人物領域と人物モデルの適合度が高い。
【００５０】
γは、第１項と第２項のバランスをとるためのパラメータである。例えば変化画素が抽出されやすいような差分処理の閾値を設定した場合、γの値を大きくすればよい。
【００５１】
ここで、各人物がとる姿勢は一定ではない上、人物間の位置関係も一定ではなく、また上述したように人物の姿勢には個人差や体の傾きにより生じる誤差等が含まれる。そこで人物領域に対する各姿勢別人物モデル２１１の重ね合わせの処理は各パラメータを変更しながら処理を反復し探索的に行われる。但し、リアルタイムで異常検知を行うために、その探索は予め１時刻で処理が終わるように反復回数Ｎが固定的に規定され、或いは予め１時刻より短い処理時間の規定により反復回数Ｎが動的に規定される。例えば反復回数Ｎは１０００回と規定される。このとき、限られた反復回数の中で姿勢判定の結果が局所解に陥ることを防ぐために、パラメータの変更をランダムに行うことが好適である。
【００５２】
次に、探索時に変更されるパラメータについて説明する。姿勢判定手段２２２は各人物がとる姿勢が一定ではないことに対応して各姿勢の姿勢別人物モデル２１１を複数通り試行する。２種類の姿勢（立位と倒位）が設定されている本実施形態では、２通りの組み合わせからランダムに選択する。
【００５３】
また、姿勢判定手段２２２は個人差や体の傾きにより生じる誤差に対応して各姿勢の姿勢別人物モデル２１１の形状、傾きを変動許容範囲でランダムに微小変更する。形状の変更は長軸長と短軸長を独立して変更することにより行われる。傾きの変更は偏位角を変更することにより行われる。
【００５４】
具体的には、姿勢判定手段２２２は、人物領域内にランダム座標を設定して立位モデル２１１Ｒの重心位置ＰRとし、重心位置ＰRに応じた長軸長ＬRと短軸長ＳRを記憶部２１から読み出すとともに許容範囲αLR、αSR、αθRを読み出し、長軸長ＬRに対して±αLRの範囲でΔLRをランダムに設定し、短軸長ＳRに対して±αSRの範囲でΔSRをランダムに設定し、長軸偏位角に対して±αθRの範囲でΔθRをランダムに設定する。姿勢判定手段２２２は、画像中心８３と重心位置ＰRを結ぶ放射線から重心位置ＰRを中心にΔθRだけ回転した直線を長軸として求め、重心位置ＰRを中心とし長軸長ＬR＋ΔLR、短軸長ＳR＋ΔSRの楕円を算出する。
【００５５】
同様に、姿勢判定手段２２２は、倒位モデル２１１Ｔの重心位置ＰTを人物領域内にランダム設定するとともに、変動量ΔLT、ΔST、ΔθTをそれぞれ±αLT、±αST、±αθTの範囲でランダムに設定し、画像中心８３と重心位置ＰTを結ぶ放射線の重心位置ＰKを通る法線を求め、当該法線から重心位置ＰTを中心にΔθTだけ回転した直線を長軸とし重心位置ＰTを中心とする長軸長ＬT＋ΔLT、短軸長ＳT＋ΔSTの楕円を算出する。
【００５６】
そして、姿勢判定手段２２２は人物領域と人物モデル領域との間で一致しない部分の画素数を求め、上記の評価関数により適合度を求める。この操作により、人物領域に最も適合度の高い人物モデルが倒位姿勢の人物モデルであれば、当該人物領域に含まれる人物の姿勢は、倒位姿勢であると判定する（Ｓ６）。
【００５７】
このようにして、姿勢判定手段２２２は、判定結果である人物領域の姿勢を追跡特徴として求め、得られた追跡特徴が記憶部２１に記憶される。
【００５８】
また、人物領域と人物モデルの当て嵌まりのよさを表す上記の評価関数に、時間方向の連続性を導入することもできる。例えば、前時刻の人物モデル領域内の色ヒストグラムを計算しておき、今回の人物モデル領域内の色ヒストグラムとの合致度を上記評価関数に付加して、色がフレーム間で大きく異ならないように楕円を当て嵌めることができる。
【００５９】
なお、抽出された１つの人物領域内に複数人物が含まれている場合、人数分だけの人物モデルを、各パラメータを変動させながら人物領域に当て嵌めればよい。
【００６０】
また、１つの人物領域に単一人物しか含まれていない場合は、当該姿勢毎の人物モデルを用いずに人物領域が倒位姿勢であることを判定することができる。その場合、人物領域を楕円等で近似して長軸の傾きから倒位姿勢を判断する。倒位姿勢の人物の画面への映り方は使用カメラとその設置条件によって異なるが、例えば天井面に鉛直下向きに設置された魚眼カメラでは、画像中心と人物領域の中心を結ぶ直線に対して、近似楕円の長軸がほぼ直交していれば倒位姿勢と判断する。このとき、角度に対して許容範囲を設け、中心と結ばれる放射線と長軸のなす角度が９０°±δθのときに倒位姿勢と判断してもよい。例えば、δθは１５°などである。
【００６１】
このように、Ｓ５〜Ｓ６において倒位姿勢の人物を検出することができる。
【００６２】
（Ｓ７〜Ｓ８：静止判定）
Ｓ６において、倒位人物が検出された場合には、静止状態判定手段２２３は、当該人物領域の追跡結果をスキャンバックし、所定フレーム以上に渡って倒位姿勢のままで継続静止しているかどうかを判定する（Ｓ７）。人物静止の判定には以下の基準を用いる。
（ｉ）人物領域の重心位置座標が変化していない。
（ｉｉ）人物領域の外接矩形の大きさが変化していない。
最も単純な判定方法として、倒位姿勢の人物領域について、一時刻前のフレームから重心位置と外接矩形の大きさが無変化なことを解析する方法を用いてもよい。
【００６３】
（ｉ）、（ｉｉ）のいずれに対しても変化分に対する適当な閾値を設定し、差分ノイズ等による微小な変化に過敏にならないようにすることが望ましい。
【００６４】
（ｉ）、（ｉｉ）の条件を満たした場合、静止しているとして静止カウンタをカウントアップする（Ｓ８）。条件を満たさない場合、静止していないとしてＳ９の微速移動判定へと移行する。
【００６５】
このとき、一時刻前のフレームも倒位姿勢であることを確認した上で、（ｉ）、（ｉｉ）の条件を満たすかを判定してもよい。また、より安定な検知を実現するためには、数フレームに渡っての静止を観測することが望ましい。倒位姿勢が継続しているスパンにおいて追跡結果を遡り、（ｉ）、（ｉｉ）の条件を用いてその期間における静止を判定してもよい。
【００６６】
（Ｓ９〜Ｓ１０：微速移動判定）
Ｓ７において、倒位姿勢の人物が静止していなかった場合には、微速移動判定手段２２４が、前時刻での重心位置座標と現時刻での重心位置座標から速度を計算し、それが所定閾値以下であった場合に微速で移動しているものと判定する（Ｓ９）。閾値は使用するカメラおよび設置条件により異なるが、２．５ｍの天井面に設置された魚眼カメラの場合、魚眼周辺でおおよそ数画素、中心付近で十数画素程度に設定することが望ましい。また、魚眼画像中心と人物領域重心を結んだ直線と、人物領域の交点(中心に近い方の交点)を人物接地面と仮定して、カメラ設置条件を用いてその３次元座標を算出し、３次元座標の変化を元に微速を判定してもよい。
【００６７】
Ｓ９において、微速移動と判定された場合、微速カウンタをカウントアップする（Ｓ１０）。Ｓ８において微速移動でなかった場合には非静止かつ微速移動でもないため、Ｓ１２にてカウンタをリセットする。なお、Ｓ６において倒位姿勢の人物が検出しなかった場合もＳ１２でカウンタをリセットする。ここで、リセットするカウンタは、静止カウンタ、微速カウンタおよび放置カウンタの全てである。
【００６８】
Ｓ９における微速移動の別の判定尺度として、倒位姿勢になった時点からの総移動距離を観測フレーム数で除算して平均速度を求め、それを基準に微速判定を行ってもよい。
【００６９】
上述の説明では、倒位姿勢の人物を１人のみ対象としたが複数人いた場合には、それぞれについて静止、微速移動を判定する。
【００７０】
（Ｓ１３：放置人物判定）
このようにして、Ｓ８、Ｓ１０において、静止カウンタ、微速カウンタがカウントアップされる。そして、放置カウンタは、これらの静止カウンタのカウント値と、微速カウンタのカウント値を、重み付けをして加算する。すなわち、静止カウンタのカウント値をより大きな重みを付けて放置カウンタをカウントアップする（Ｓ１１）。
【００７１】
その結果、放置カウンタには、倒位姿勢のままで静止している、または倒位姿勢のままで微速移動しているフレーム数が重み付け加算されてカウントアップされる。異常判定手段２２５は、放置カウンタの値が所定の閾値以上であった場合、放置人物ありと判定する（Ｓ１３）。例えば、重みとして、微速移動が１、静止が１．２などに設定し、放置カウンタの閾値を１２０秒に設定する。
【００７２】
カウントアップに対する別の工夫として、常に一定値を加算するのではなく、静止度合いおよび微速移動度合いを連続値にて表現し、その値に応じてカウントアップする数を可変にすることができる。例えば、微速移動速度に関して所定閾値との差分をカウントアップすることができる。
【００７３】
さらに、静止カウンタと微速移動カウンタについて閾値を個別に設定して判定をすることも可能である。例えば、個別カウントの結果、静止カウンタのカウント値が９０秒、または微速移動カウンタのカウント値が１２０秒に至ったときに放置人物検出と判定してもよい。
【００７４】
また、別の実施例として、倒位姿勢での微速移動による移動距離が所定閾値を超えた場合に異常信号を出力する仕組みを実現することもできる。
【００７５】
このように、異常判定手段２２５は人物放置状態検出手段として機能し、放置状態の人物（放置人物）を検出した際に異常と判定する。
【００７６】
さらに、姿勢判定の誤りを考慮した別の実施例として、Ｓ１２におけるカウンタのリセットとして、倒位姿勢でなくなった場合に一気にカウンタをリセットするのではなく、倒位姿勢でなくなったら所定値だけ放置カウンタのカウント値を減算するようにしてもよい。例えば、倒位姿勢での静止が観測された場合のカウンタ加算値を２とし、倒位姿勢でなくなったら１を減算すればよい。放置カウンタにおける減算値は、静止カウンタのカウント値に対する減算値と、微速カウンタのカウント値からの減算値を異ならせて減算することが望ましいが、両者の減算値を同一の値にしてもよい。
【００７７】
（Ｓ１４：異常出力）
異常判定手段２２５は、Ｓ１３にて放置人物ありと判定されると、異常信号を出力部２３へ出力する。
【００７８】
「本実施形態の効果」
このように、本実施形態に係る異常検出装置によれば、人物領域が倒れた姿勢であることを検知し、当該人物領域が倒れた姿勢のまま静止している場合にも倒れた姿勢のまま微速で移動している場合にも、放置状態としてカウントアップし、カウンタが所定の閾値を超えた場合に放置人物であると判定することができる。
【符号の説明】
【００７９】
１ 通報システム、２ 放置人物検知装置、３ コントローラー、４ 広域通信網、５ センタ装置、６ 金庫、２０ 撮像部、２１ 記憶部、２２ 制御部、２３ 出力部、８３ 画像中心、２１０ 背景画像、２１１ 姿勢別人物モデル、２２０ 人物領域抽出手段、２２１ 人物追跡手段、２２２ 姿勢判定手段、２２３ 静止状態判定手段、２２４ 微速移動判定手段、２２５ 異常判定手段。
【技術分野】
【０００１】
本発明は、撮像した監視画像を画像解析することにより、監視空間内に存在する人物の状態を検知する装置に関して、特に身体の自由を奪われた人物が監視空間内に放置されている状態を検知する放置人物検出装置に関する。
【背景技術】
【０００２】
従来より、各種犯罪について監視カメラ映像から検出したいという要求がある。例えば、強盗犯が有人店舗などに押し入り、金庫に保管されている金品の強奪を試みる際に、店舗の従業員等による外部への通報や抵抗をおそれるあまり、従業員に対して攻撃を与えたり、手足をロープや粘着テープで拘束したりすることで身体の自由を奪うことがある。
【０００３】
このように身体の自由を奪われた従業員等の被害者は、犯行後、店舗内に放置されることになるため、通報が遅れることによる強盗事件発生の発覚遅れや、怪我をした被害者の救護遅れなどが危惧される。
【０００４】
このため、被害者が上記のような通報操作できない状態であることを自動的に検知し、通報を行う異常検出装置の提案が望まれている。
【０００５】
特許文献１には、監視画像を画像解析し、監視空間内に存在する人物の重心位置が所定時間以上変化しない場合に独り住まいの老人が急病で倒れる等して動かない状態になったことを自動的に検出する監視装置が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−４４６４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ここで、押し込み強盗によって被害者が拘束される等して、監視空間に放置される状況には、各種の場合がある。例えば、放置された被害者は、身体の自由を奪われながらも匍匐移動するなどして、移動を試みることがある。この場合、人物の重心位置に変化が生じることになるため、重心位置に変化が生じないことを検出する手法では、放置人物の検出が困難であった。そこで、このような状況に対応して被害者が放置されていることを検出したいという要求がある。
【０００８】
本発明は、放置された被害者に特有の画像変化を捉えて、放置人物を検出することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る放置人物検出装置は、監視領域を撮影した監視画像を順次取得する画像取得部と、前記監視領域に人物が所在しない状態の監視画像を背景画像として記憶する記憶部と、前記画像取得部にて取得した監視画像を処理する制御部から構成した放置人物検出装置であって、前記制御部は、前記監視画像と前記背景画像から人物領域を抽出する人物領域抽出手段と、前記人物領域のうち倒れた姿勢である倒位状態の人物領域を検出する倒位人物検出手段と、前記倒位状態の人物領域を時間的に追跡し、当該人物領域が略移動していない静止状態であるかを判定する静止状態判定手段と、前記倒位状態の人物領域を時間的に追跡し、当該人物領域が所定速度以下の微速移動している微速移動状態と判定する微速移動判定手段と、前記静止状態判定手段と微速移動判定手段の両方の判定結果に基づき、当該人物が放置された状態を検出する人物放置状態検出手段と、を有することを特徴とする。
【００１０】
また、前記記憶部は、人物の外形に対応する人物モデルをさらに記憶し、前記倒位人物検出手段は、前記人物領域と前記人物モデルを比較して倒位状態の人物領域を検出することが好適である。
【００１１】
また、前記画像取得部は、監視領域の上方から、魚眼レンズを介し監視領域の画像を取得し、前記記憶部は、人物モデルとして、長径および短径を有する細長の図形を記憶しており、前記倒位人物検出手段は、前記人物領域の長径が画像の中心からの放射方向と直交する方向に向く人物モデルに一致するときに倒位状態の人物領域と判定することが好適である。
【００１２】
また、前記人物放置状態検出手段は、前記静止状態の経過時間が第１の所定値を超えた場合または前記微速移動状態の経過時間が第１の所定値より長い第２の所定値を超えた場合に人物の放置状態と検出することが好適である。
【発明の効果】
【００１３】
本発明によれば、強盗犯によって身体の自由を奪われて通報操作ができない状態のまま放置された人物を検出でき、また、そのような異常事態について通報を行うことが可能になる。
【図面の簡単な説明】
【００１４】
【図１】監視空間のイメージと放置人物検知装置の構成を示した模式図である。
【図２】放置人物検知装置の構成を示すブロック図である。
【図３】姿勢別人物モデルのうち、立位モデルを示す図である。
【図４】姿勢別人物モデルのうち、倒位モデルを示す図である。
【図５】異常検知の動作を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について、図面に基づいて説明する。
【００１６】
「全体構成」
本実施形態に係る放置人物検知装置を含み、この放置人物検知装置にて放置人物が存在する異常シーンを検知して、警備センタ等へ通報する通報システム１について説明する。
【００１７】
図１は、通報システム１の構成と配置のイメージを示した模式図である。
【００１８】
通報システム１は、放置人物検知装置２と、コントローラー３と、センタ装置５を含んで構成される。
【００１９】
放置人物検知装置２は、金庫６などの重要物が設置された部屋を監視空間とし、当該部屋の天井に設置される。放置人物検知装置２は、監視空間にて放置人物が存在する異常シーンを検知すると異常信号を出力する。
【００２０】
放置人物検知装置２は、通信線を介してコントローラー３に接続され、コントローラー３は電話回線またはインターネット回線等の広域通信網４を介して遠隔地に設置された警備センタ等のセンタ装置５と接続される。放置人物検知装置２が出力した異常信号はコントローラー３を介してセンタ装置５に送信される。
【００２１】
「放置人物検知装置の構成」
図２は、放置人物検知装置２の構成を示したブロック図である。放置人物検知装置２は、撮像部２０、記憶部２１、出力部２３および制御部２２を含んで構成されている。
【００２２】
なお、図１においては、放置人物検知装置２を監視領域の天井に設けたが、撮像部２０のみを天井に設け、その他の装置は別の場所に設けてもよい。
【００２３】
（撮像部２０）
撮像部２０は、例えばＣＣＤ撮像素子などを利用した監視カメラである。この撮像部２０は、通常は監視空間（監視領域）の天井に取り付けられている。また、その撮影は、ビデオ撮影のような連続撮影でもよいが、所定の時間間隔で監視領域を順次撮影することが好ましい。撮影された監視空間の監視画像は順次、制御部２２へ出力される。監視画像が撮像される時間間隔は例えば１／５秒である。以下、この撮像の時間間隔で刻まれる時間の単位を時刻と称する。本実施形態において、撮像部２０は魚眼レンズを備え、その光軸を鉛直下方に向けて設置されており、監視空間である部屋の全体を撮像する。
【００２４】
（記憶部２１）
記憶部２１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の記憶装置である。フラッシュメモリや、ハードディスクなどを利用してもよい。記憶部２１は、各種プログラムや各種データを記憶し、制御部２２との間でこれらの情報を入出力する。記憶部２１において記憶する各種データには、背景差分処理に必要な背景画像２１０、追跡人物の姿勢判定に必要な姿勢別人物モデル２１１が含まれる。なお、撮影された画像をそのままハードディスクなどの大容量記憶装置に記憶しておいてもよい。
【００２５】
姿勢別人物モデル２１１は、人物の姿勢を立位／倒位の２つに大分し、各姿勢の人物の形状（外形）をモデリングしたものである。姿勢別人物モデル２１１には立位モデル２１１Ｒ、倒位モデル２１１Ｔが含まれる。
【００２６】
この立位モデル２１１Ｒ、倒位モデル２１１Ｔを図３、図４に示す。各モデルは、制御部２２が、撮像部２０において得られた監視画像から人物領域を抽出し、抽出された人物領域に姿勢別人物モデル２１１を当て嵌めることで、撮像されている人物の姿勢を推定する際に利用される。
【００２７】
立位モデル２１１Ｒは立った姿勢の人物の形状を模した姿勢別人物モデル２１１である。本実施形態において立位モデル２１１Ｒは、図３に示すように、長軸長ＬR±αLR、短軸長ＳR±αSRの楕円で定義される。光軸を鉛直下方に向けた撮像部２０により撮像された監視画像の座標系においては監視画像の中心からの放射線方向が身長方向となる。±αθRは、体の傾きを考慮するための値であり、立位モデル２１１Ｒは、その長軸方向を放射線方向から±αθRの範囲内に限定して配置される。すなわち、画像中心から放射方向に対する、長軸方向のずれ（偏位角）が±αθRの範囲内の人物領域が当て嵌められる。
【００２８】
長軸長の基準値ＬRは平均的な身長に応じて設定され、その変動許容範囲±αLRは体格の個人差により生じる誤差等を吸収可能な範囲に設定される。短軸長の基準値ＳRは平均的な体の幅に応じて設定され、その変動許容範囲±αSRは体の傾きにより生じる誤差や体格の個人差により生じる誤差等を吸収可能な範囲に設定される。長軸の偏位角の変動許容範囲±αθRは体の傾きにより生じる誤差や立位の姿勢の個人差を吸収可能な範囲に設定される。これらの変動許容範囲は立位とみなせる範囲の形状、傾きの範囲を意味している。
【００２９】
記憶部２１には、立位モデル２１１Ｒとして予め上記のように設定された長軸長ＬR、短軸長ＳR、長軸長の変動許容範囲±αLR、短軸長の変動許容範囲±αSR、長軸の偏位角の変動許容範囲±αθRの各数値が記憶されている。なお、人物の像の大きさは撮像部２０と人物の位置関係により変わるため、ＬR、ＳRは監視画像上の位置毎に設定し、αLR、αＳRはＬR、ＳRに対する比率として設定するのがよい。
【００３０】
倒位モデル２１１Ｔは倒れている姿勢の人物の形状を模した姿勢別人物モデル２１１である。本実施形態において倒位モデル２１１Ｔは、図４に示すように、長軸長ＬＴ±αＬＴ、短軸長ＳＴ±αＳＴの楕円で定義される。±αθTは体の傾きを考慮するための値であり、光軸を鉛直下方に向けた撮像部２０により撮像された監視画像の座標系において倒位モデル２１１Ｔはその長軸方向を放射線の法線方向から±αθTの範囲内に限定して配置される。
【００３１】
長軸長の基準値ＬＴは平均的な身長に応じて設定され、その変動許容範囲±αＬＴは体格の個人差により生じる誤差等を吸収可能な範囲に設定される。短軸長の基準値ＳＴは平均的な体の幅に応じて設定され、その変動許容範囲±αＳＴは体の傾きにより生じる誤差や体格の個人差により生じる誤差等を吸収可能な範囲に設定される。長軸の偏位角の変動許容範囲±αθTは立位と混同せぬように０≦αθT＜９０°−αθRの範囲に設定される。これらの変動許容範囲は倒位とみなせる範囲の形状、傾きの範囲を意味している。
【００３２】
記憶部２１には、倒位モデル２１１Ｔとして予め上記のように設定された長軸長ＬＴ、短軸長ＳＴ、長軸長の変動許容範囲±αＬＴ、短軸長の変動許容範囲±αＳＴ、長軸の偏位角の変動許容範囲±αθTの各数値が記憶されている。なお、人物の像の大きさは撮像部２０と人物の位置関係により変わるため、ＬＴ、ＳＴは監視画像上の位置毎に設定し、αＬＴ、αＳＴはＬＴ、ＳＴに対する比率として設定するのがよい。
【００３３】
（制御部２２）
制御部２２は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、記憶部２１からプログラムを読み出して実行することで人物領域抽出手段２２０、人物追跡手段２２１、倒位人物判定手段として機能する姿勢判定手段２２２、静止状態判定手段２２３、微速移動判定手段２２４、人物放置状態検出手段として機能する異常判定手段２２５を含んでいる。
【００３４】
ここで、制御部２２の各手段については、図５に示す処理フローとともに説明する。
【００３５】
（出力部）
出力部２３は、異常信号を放置人物検知装置の外部へ出力する通信手段である。出力部２３は、制御部２２の異常判定手段２２５から異常信号が入力されると、当該異常信号をコントローラー３へ出力する。
【００３６】
「放置人物検知装置２における処理フロー」
図５は、放置人物検知装置２における異常検出処理を示したフローチャートである。各種のデータ処理は基本的に制御部２２において実施される。
【００３７】
（Ｓ１：初期化）
電源が投入されると、各部が初期化され動作を開始する。初期化には起動直後の監視画像を記憶部２１に背景画像２１０として記憶させる処理を含む。ここで、背景画像については、人が立ち入らない状態において、毎回取得し直すことが好適であるが、ある程度固定的な画面を記憶しておくなど各種の手段を採用することができる。
【００３８】
（Ｓ２：監視画像取得）
初期化が終了した場合には、監視画像を取得する。すなわち、撮像部２０は、監視空間を撮像する度に監視画像を出力し、制御部２２はこれを取得する。Ｓ２において、現時刻の監視画像が取得され、これが制御部に送られる。
【００３９】
（Ｓ３：背景・ラベリング）
制御部２２の人物領域抽出手段２２０では、撮像部から送られてきた現時刻における監視画像について背景を除去して、人物領域を抽出し、得られた人物領域をラベリングする。人物領域抽出手段２２０は、撮像部２０から得られた監視画像と、記憶部２１に記憶されている背景画像２１０を比較し、背景画像２１０との差分が閾値以上である画素を変化画素として抽出する。なお、差分特徴量として、輝度、色、エッジ強度・方向などを用いることができる。閾値は、事前に決められた規定値を用いてもよいし、動的に変更してもよい。
【００４０】
また、差分演算後に正規化相関等による光・影領域の除去、膨張収縮処理によるゴマ塩状ノイズの除去を行うことが望ましい。
【００４１】
人物領域抽出手段２２０は、変化画素の抽出後、変化画素の集合についてラベリングを行う。ラベリングは、空間的に接続する画素に同一の番号を振る処理であり、変化画素の塊（集合）毎に個別の番号が振られることになる。ラベリング後、１つのラベリングがされた領域、例えば面積が閾値以下の塊は除去するなど再度ノイズ除去処理を行う。この際の閾値はカメラ設置条件から計算される標準人物サイズなどから決定される。以下、この塊を人物領域と称する。
【００４２】
（Ｓ４：人物追跡）
人物領域抽出手段２２０において得られた人物領域の画像は、人物追跡手段２２１に送られる。人物追跡手段２２１は、前時刻までに（前回以前に取得した監視画像において）人物領域抽出手段２２０により抽出され、記憶部２１に記憶されている各人物領域に関する追跡特徴と、現時刻にて（今回取得した監視画像において）人物領域抽出手段２２０により抽出された各人物領域と関連付けることで、人物領域の追跡を実現する。
【００４３】
そのために、人物追跡手段２２１は、監視領域への人物領域の出現が確認される度に、その人物領域の画像特徴を追跡特徴として抽出し、記憶部２１に記憶する。そして、記憶部２１に記憶されている前時刻で抽出された人物領域の追跡特徴と、現時刻で抽出された人物領域の追跡特徴を比較し、最も類似していると判断される人物領域と関連付ける。
【００４４】
追跡特徴とは、色やエッジのヒストグラム、人物領域の重心位置、外接矩形などである。現時刻で抽出された人物領域が、記憶部に記憶されている追跡特徴のいずれにも関連付けられなかった場合には、その人物像は現時刻において新たに出現した人物領域である、と判断する。
【００４５】
記憶部２１に記憶されている追跡特徴のうちで、現時刻で抽出された人物領域に関連付けられなかった人物領域がある場合には、その追跡情報は、入力画像の視野外に移動した、つまりは事務室などの監視領域から外に出た人物のものであると判断し、記憶部２１から消去する。なお、一定時間は保持しておき、その間は上記の関連付け処理を試みるものとしてもよい。
【００４６】
上述した人物追跡手段２２１における処理は、画像処理技術の分野における追跡処理として一般的なものであるので、詳細は省略する。
【００４７】
（Ｓ５〜Ｓ６：姿勢判定）
姿勢判定手段２２２は、人物領域抽出手段２２０により抽出された人物領域に最も形状が適合する姿勢別人物モデル２１１を選出し、選出された姿勢別人物モデル２１１に対応する姿勢を人物領域に含まれる人物の姿勢と判定する。なお、複数の人物領域が抽出されている場合、姿勢判定手段２２２はそれぞれの人物領域に対して姿勢判定を行う（Ｓ５）。また、この姿勢判定手段２２２は、倒位姿勢の人物を検出する倒位人物検出手段として機能する。
【００４８】
姿勢判定手段２２２は、人物領域に各姿勢別人物モデル２１１を重ね合わせて適合度を算出し、適合度が最も高い姿勢の姿勢別人物モデル２１１を選出する。本件では適合度を以下の評価関数で表現する。
（評価関数）＝−｛（人物領域であって人物モデル領域でない画素）
＋γ×（人物モデル領域であって人物領域でない画素）｝
【００４９】
第１項は、人物領域にも関わらず人物モデルで覆われなかった画素の数、第２項は人物領域でないにも関わらず人物モデルで覆われた画素の数であり、人物領域と人物モデルの適合度をはみ出し画素の数により評価している。評価関数は負の値をとり、その値が大きい方（０に近い方）が人物領域と人物モデルの適合度が高い。
【００５０】
γは、第１項と第２項のバランスをとるためのパラメータである。例えば変化画素が抽出されやすいような差分処理の閾値を設定した場合、γの値を大きくすればよい。
【００５１】
ここで、各人物がとる姿勢は一定ではない上、人物間の位置関係も一定ではなく、また上述したように人物の姿勢には個人差や体の傾きにより生じる誤差等が含まれる。そこで人物領域に対する各姿勢別人物モデル２１１の重ね合わせの処理は各パラメータを変更しながら処理を反復し探索的に行われる。但し、リアルタイムで異常検知を行うために、その探索は予め１時刻で処理が終わるように反復回数Ｎが固定的に規定され、或いは予め１時刻より短い処理時間の規定により反復回数Ｎが動的に規定される。例えば反復回数Ｎは１０００回と規定される。このとき、限られた反復回数の中で姿勢判定の結果が局所解に陥ることを防ぐために、パラメータの変更をランダムに行うことが好適である。
【００５２】
次に、探索時に変更されるパラメータについて説明する。姿勢判定手段２２２は各人物がとる姿勢が一定ではないことに対応して各姿勢の姿勢別人物モデル２１１を複数通り試行する。２種類の姿勢（立位と倒位）が設定されている本実施形態では、２通りの組み合わせからランダムに選択する。
【００５３】
また、姿勢判定手段２２２は個人差や体の傾きにより生じる誤差に対応して各姿勢の姿勢別人物モデル２１１の形状、傾きを変動許容範囲でランダムに微小変更する。形状の変更は長軸長と短軸長を独立して変更することにより行われる。傾きの変更は偏位角を変更することにより行われる。
【００５４】
具体的には、姿勢判定手段２２２は、人物領域内にランダム座標を設定して立位モデル２１１Ｒの重心位置ＰRとし、重心位置ＰRに応じた長軸長ＬRと短軸長ＳRを記憶部２１から読み出すとともに許容範囲αLR、αSR、αθRを読み出し、長軸長ＬRに対して±αLRの範囲でΔLRをランダムに設定し、短軸長ＳRに対して±αSRの範囲でΔSRをランダムに設定し、長軸偏位角に対して±αθRの範囲でΔθRをランダムに設定する。姿勢判定手段２２２は、画像中心８３と重心位置ＰRを結ぶ放射線から重心位置ＰRを中心にΔθRだけ回転した直線を長軸として求め、重心位置ＰRを中心とし長軸長ＬR＋ΔLR、短軸長ＳR＋ΔSRの楕円を算出する。
【００５５】
同様に、姿勢判定手段２２２は、倒位モデル２１１Ｔの重心位置ＰTを人物領域内にランダム設定するとともに、変動量ΔLT、ΔST、ΔθTをそれぞれ±αLT、±αST、±αθTの範囲でランダムに設定し、画像中心８３と重心位置ＰTを結ぶ放射線の重心位置ＰKを通る法線を求め、当該法線から重心位置ＰTを中心にΔθTだけ回転した直線を長軸とし重心位置ＰTを中心とする長軸長ＬT＋ΔLT、短軸長ＳT＋ΔSTの楕円を算出する。
【００５６】
そして、姿勢判定手段２２２は人物領域と人物モデル領域との間で一致しない部分の画素数を求め、上記の評価関数により適合度を求める。この操作により、人物領域に最も適合度の高い人物モデルが倒位姿勢の人物モデルであれば、当該人物領域に含まれる人物の姿勢は、倒位姿勢であると判定する（Ｓ６）。
【００５７】
このようにして、姿勢判定手段２２２は、判定結果である人物領域の姿勢を追跡特徴として求め、得られた追跡特徴が記憶部２１に記憶される。
【００５８】
また、人物領域と人物モデルの当て嵌まりのよさを表す上記の評価関数に、時間方向の連続性を導入することもできる。例えば、前時刻の人物モデル領域内の色ヒストグラムを計算しておき、今回の人物モデル領域内の色ヒストグラムとの合致度を上記評価関数に付加して、色がフレーム間で大きく異ならないように楕円を当て嵌めることができる。
【００５９】
なお、抽出された１つの人物領域内に複数人物が含まれている場合、人数分だけの人物モデルを、各パラメータを変動させながら人物領域に当て嵌めればよい。
【００６０】
また、１つの人物領域に単一人物しか含まれていない場合は、当該姿勢毎の人物モデルを用いずに人物領域が倒位姿勢であることを判定することができる。その場合、人物領域を楕円等で近似して長軸の傾きから倒位姿勢を判断する。倒位姿勢の人物の画面への映り方は使用カメラとその設置条件によって異なるが、例えば天井面に鉛直下向きに設置された魚眼カメラでは、画像中心と人物領域の中心を結ぶ直線に対して、近似楕円の長軸がほぼ直交していれば倒位姿勢と判断する。このとき、角度に対して許容範囲を設け、中心と結ばれる放射線と長軸のなす角度が９０°±δθのときに倒位姿勢と判断してもよい。例えば、δθは１５°などである。
【００６１】
このように、Ｓ５〜Ｓ６において倒位姿勢の人物を検出することができる。
【００６２】
（Ｓ７〜Ｓ８：静止判定）
Ｓ６において、倒位人物が検出された場合には、静止状態判定手段２２３は、当該人物領域の追跡結果をスキャンバックし、所定フレーム以上に渡って倒位姿勢のままで継続静止しているかどうかを判定する（Ｓ７）。人物静止の判定には以下の基準を用いる。
（ｉ）人物領域の重心位置座標が変化していない。
（ｉｉ）人物領域の外接矩形の大きさが変化していない。
最も単純な判定方法として、倒位姿勢の人物領域について、一時刻前のフレームから重心位置と外接矩形の大きさが無変化なことを解析する方法を用いてもよい。
【００６３】
（ｉ）、（ｉｉ）のいずれに対しても変化分に対する適当な閾値を設定し、差分ノイズ等による微小な変化に過敏にならないようにすることが望ましい。
【００６４】
（ｉ）、（ｉｉ）の条件を満たした場合、静止しているとして静止カウンタをカウントアップする（Ｓ８）。条件を満たさない場合、静止していないとしてＳ９の微速移動判定へと移行する。
【００６５】
このとき、一時刻前のフレームも倒位姿勢であることを確認した上で、（ｉ）、（ｉｉ）の条件を満たすかを判定してもよい。また、より安定な検知を実現するためには、数フレームに渡っての静止を観測することが望ましい。倒位姿勢が継続しているスパンにおいて追跡結果を遡り、（ｉ）、（ｉｉ）の条件を用いてその期間における静止を判定してもよい。
【００６６】
（Ｓ９〜Ｓ１０：微速移動判定）
Ｓ７において、倒位姿勢の人物が静止していなかった場合には、微速移動判定手段２２４が、前時刻での重心位置座標と現時刻での重心位置座標から速度を計算し、それが所定閾値以下であった場合に微速で移動しているものと判定する（Ｓ９）。閾値は使用するカメラおよび設置条件により異なるが、２．５ｍの天井面に設置された魚眼カメラの場合、魚眼周辺でおおよそ数画素、中心付近で十数画素程度に設定することが望ましい。また、魚眼画像中心と人物領域重心を結んだ直線と、人物領域の交点(中心に近い方の交点)を人物接地面と仮定して、カメラ設置条件を用いてその３次元座標を算出し、３次元座標の変化を元に微速を判定してもよい。
【００６７】
Ｓ９において、微速移動と判定された場合、微速カウンタをカウントアップする（Ｓ１０）。Ｓ８において微速移動でなかった場合には非静止かつ微速移動でもないため、Ｓ１２にてカウンタをリセットする。なお、Ｓ６において倒位姿勢の人物が検出しなかった場合もＳ１２でカウンタをリセットする。ここで、リセットするカウンタは、静止カウンタ、微速カウンタおよび放置カウンタの全てである。
【００６８】
Ｓ９における微速移動の別の判定尺度として、倒位姿勢になった時点からの総移動距離を観測フレーム数で除算して平均速度を求め、それを基準に微速判定を行ってもよい。
【００６９】
上述の説明では、倒位姿勢の人物を１人のみ対象としたが複数人いた場合には、それぞれについて静止、微速移動を判定する。
【００７０】
（Ｓ１３：放置人物判定）
このようにして、Ｓ８、Ｓ１０において、静止カウンタ、微速カウンタがカウントアップされる。そして、放置カウンタは、これらの静止カウンタのカウント値と、微速カウンタのカウント値を、重み付けをして加算する。すなわち、静止カウンタのカウント値をより大きな重みを付けて放置カウンタをカウントアップする（Ｓ１１）。
【００７１】
その結果、放置カウンタには、倒位姿勢のままで静止している、または倒位姿勢のままで微速移動しているフレーム数が重み付け加算されてカウントアップされる。異常判定手段２２５は、放置カウンタの値が所定の閾値以上であった場合、放置人物ありと判定する（Ｓ１３）。例えば、重みとして、微速移動が１、静止が１．２などに設定し、放置カウンタの閾値を１２０秒に設定する。
【００７２】
カウントアップに対する別の工夫として、常に一定値を加算するのではなく、静止度合いおよび微速移動度合いを連続値にて表現し、その値に応じてカウントアップする数を可変にすることができる。例えば、微速移動速度に関して所定閾値との差分をカウントアップすることができる。
【００７３】
さらに、静止カウンタと微速移動カウンタについて閾値を個別に設定して判定をすることも可能である。例えば、個別カウントの結果、静止カウンタのカウント値が９０秒、または微速移動カウンタのカウント値が１２０秒に至ったときに放置人物検出と判定してもよい。
【００７４】
また、別の実施例として、倒位姿勢での微速移動による移動距離が所定閾値を超えた場合に異常信号を出力する仕組みを実現することもできる。
【００７５】
このように、異常判定手段２２５は人物放置状態検出手段として機能し、放置状態の人物（放置人物）を検出した際に異常と判定する。
【００７６】
さらに、姿勢判定の誤りを考慮した別の実施例として、Ｓ１２におけるカウンタのリセットとして、倒位姿勢でなくなった場合に一気にカウンタをリセットするのではなく、倒位姿勢でなくなったら所定値だけ放置カウンタのカウント値を減算するようにしてもよい。例えば、倒位姿勢での静止が観測された場合のカウンタ加算値を２とし、倒位姿勢でなくなったら１を減算すればよい。放置カウンタにおける減算値は、静止カウンタのカウント値に対する減算値と、微速カウンタのカウント値からの減算値を異ならせて減算することが望ましいが、両者の減算値を同一の値にしてもよい。
【００７７】
（Ｓ１４：異常出力）
異常判定手段２２５は、Ｓ１３にて放置人物ありと判定されると、異常信号を出力部２３へ出力する。
【００７８】
「本実施形態の効果」
このように、本実施形態に係る異常検出装置によれば、人物領域が倒れた姿勢であることを検知し、当該人物領域が倒れた姿勢のまま静止している場合にも倒れた姿勢のまま微速で移動している場合にも、放置状態としてカウントアップし、カウンタが所定の閾値を超えた場合に放置人物であると判定することができる。
【符号の説明】
【００７９】
１ 通報システム、２ 放置人物検知装置、３ コントローラー、４ 広域通信網、５ センタ装置、６ 金庫、２０ 撮像部、２１ 記憶部、２２ 制御部、２３ 出力部、８３ 画像中心、２１０ 背景画像、２１１ 姿勢別人物モデル、２２０ 人物領域抽出手段、２２１ 人物追跡手段、２２２ 姿勢判定手段、２２３ 静止状態判定手段、２２４ 微速移動判定手段、２２５ 異常判定手段。
【特許請求の範囲】
【請求項１】
監視領域を撮影した監視画像を順次取得する画像取得部と、前記監視領域に人物が所在しない状態の監視画像を背景画像として記憶する記憶部と、前記画像取得部にて取得した監視画像を処理する制御部から構成した放置人物検出装置であって、
前記制御部は、
前記監視画像と前記背景画像から人物領域を抽出する人物領域抽出手段と、
前記人物領域のうち倒れた姿勢である倒位状態の人物領域を検出する倒位人物検出手段と、
前記倒位状態の人物領域を時間的に追跡し、当該人物領域が略移動していない静止状態であるかを判定する静止状態判定手段と、
前記倒位状態の人物領域を時間的に追跡し、当該人物領域が所定速度以下の微速移動している微速移動状態と判定する微速移動判定手段と、
前記静止状態判定手段と微速移動判定手段の両方の判定結果に基づき、当該人物が放置された状態を検出する人物放置状態検出手段と、
を有することを特徴とする放置人物検出装置。
【請求項２】
請求項１に記載の放置人物検出装置において、
前記記憶部は、人物の外形に対応する人物モデルをさらに記憶し、
前記倒位人物検出手段は、前記人物領域と前記人物モデルを比較して倒位状態の人物領域を検出することを特徴とする放置人物検出装置。
【請求項３】
請求項２に記載の放置人物検出装置において、
前記画像取得部は、監視領域の上方から、魚眼レンズを介し監視領域の画像を取得し、
前記記憶部は、人物モデルとして、長径および短径を有する細長の図形を記憶しており、
前記倒位人物検出手段は、前記人物領域の長径が画像の中心からの放射方向と直交する方向に向く人物モデルに一致するときに倒位状態の人物領域と判定することを特徴とする放置人物検出装置。
【請求項４】
請求項１〜３のいずれか１項に記載の放置人物検出装置において、
前記人物放置状態検出手段は、
前記静止状態の経過時間が第１の所定値を超えた場合または前記微速移動状態の経過時間が第１の所定値より長い第２の所定値を超えた場合に人物の放置状態と検出することを特徴とする放置人物検出装置。
【請求項１】
監視領域を撮影した監視画像を順次取得する画像取得部と、前記監視領域に人物が所在しない状態の監視画像を背景画像として記憶する記憶部と、前記画像取得部にて取得した監視画像を処理する制御部から構成した放置人物検出装置であって、
前記制御部は、
前記監視画像と前記背景画像から人物領域を抽出する人物領域抽出手段と、
前記人物領域のうち倒れた姿勢である倒位状態の人物領域を検出する倒位人物検出手段と、
前記倒位状態の人物領域を時間的に追跡し、当該人物領域が略移動していない静止状態であるかを判定する静止状態判定手段と、
前記倒位状態の人物領域を時間的に追跡し、当該人物領域が所定速度以下の微速移動している微速移動状態と判定する微速移動判定手段と、
前記静止状態判定手段と微速移動判定手段の両方の判定結果に基づき、当該人物が放置された状態を検出する人物放置状態検出手段と、
を有することを特徴とする放置人物検出装置。
【請求項２】
請求項１に記載の放置人物検出装置において、
前記記憶部は、人物の外形に対応する人物モデルをさらに記憶し、
前記倒位人物検出手段は、前記人物領域と前記人物モデルを比較して倒位状態の人物領域を検出することを特徴とする放置人物検出装置。
【請求項３】
請求項２に記載の放置人物検出装置において、
前記画像取得部は、監視領域の上方から、魚眼レンズを介し監視領域の画像を取得し、
前記記憶部は、人物モデルとして、長径および短径を有する細長の図形を記憶しており、
前記倒位人物検出手段は、前記人物領域の長径が画像の中心からの放射方向と直交する方向に向く人物モデルに一致するときに倒位状態の人物領域と判定することを特徴とする放置人物検出装置。
【請求項４】
請求項１〜３のいずれか１項に記載の放置人物検出装置において、
前記人物放置状態検出手段は、
前記静止状態の経過時間が第１の所定値を超えた場合または前記微速移動状態の経過時間が第１の所定値より長い第２の所定値を超えた場合に人物の放置状態と検出することを特徴とする放置人物検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−２１２２３６（Ｐ２０１２−２１２２３６Ａ）
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願番号】特願２０１１−７６４８５（Ｐ２０１１−７６４８５）
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
[ Back to top ]