画像監視装置
【課題】監視空間内において顔を隠蔽している人物を不審者として判定する画像監視装置において、顔を隠蔽した者が監視空間を走り抜けて撮像範囲外に消失した場合でも不審者とその他の人物を確実に識別可能とする。
【解決手段】画像監視装置１は、撮像部２にて取得された入力画像中から人物領域を抽出し、さらに人物領域周辺部から頭部候補領域を抽出する。そして抽出された頭部候補領域が顔隠蔽者か否か判定し、複数画像中で顔隠蔽者が所定回数検出された場合に不審者と判定するが、顔隠蔽者が重要監視物方向に移動した後、消失した場合は上記所定回数に満たない場合でも不審者と判定する。
【解決手段】画像監視装置１は、撮像部２にて取得された入力画像中から人物領域を抽出し、さらに人物領域周辺部から頭部候補領域を抽出する。そして抽出された頭部候補領域が顔隠蔽者か否か判定し、複数画像中で顔隠蔽者が所定回数検出された場合に不審者と判定するが、顔隠蔽者が重要監視物方向に移動した後、消失した場合は上記所定回数に満たない場合でも不審者と判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、金庫などの重要監視物が設置された監視空間において、監視空間を撮影した画像情報の処理結果から、監視空間内に存在する人物が不審者と判定されると遠隔の監視センタに通報する画像監視装置に関する。より具体的には、何らかの方法により顔を隠蔽し、監視空間を走り抜けて重要監視物に接近しようとする人物を不審者として確実に検出可能とする画像監視装置の提供を目的とする。
【背景技術】
【０００２】
従来、店舗、事務室等の監視領域に侵入する人物を検出して、遠隔の監視センタに通報する監視システムにおいて、カメラで撮像された画像から人物領域の特徴情報を抽出して不審人物等の特徴に合致した場合、自動的に遠隔の監視センタに通報出力し、監視センタのオペレータにより遠隔から画像監視を可能とする画像監視装置が知られている。
【０００３】
このような画像を用いた監視システムにおいては、監視領域に設置された画像監視装置から不審者を検出した警報信号が通報されると、監視センタのオペレータが画像を確認して判断を行う。
【０００４】
例えば、特許文献１には、自動取引装置から不正に現金を引き出すおそれのある不審人物を検出するために、人感センサが自動取引装置の前に人が立ったことを検知したときにカメラから画像を取り込んで、当該画像にサングラスやマスクなどで顔を隠蔽した不審人物が撮像されているか否かを判定する監視装置が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−７９７５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１の警報装置の例では、現金自動支払いコーナーの操作者を正面で撮影可能な位置にカメラが設置されおり、操作者も限定されるが、より広い撮像範囲を監視する画像監視装置の場合、単に通行する人物を不審者と判定してしまう誤検出を防止するために、監視画像中で抽出された人物領域を追跡処理して、不審者度合いの確度が高くなると不審者と判定するようにしている。
【０００７】
従って、例えば監視空間を走りぬけて撮像範囲の死角に逃れてしまうと、通常の判定基準では、不審者か否かの判断が十分できず、実際に不審者であったとしても検出できない可能性がある。
【０００８】
本発明は、上記の課題に鑑みてなされたもので、監視空間を走り抜け、撮像範囲外に逃れて監視装置に通報されないようとする不審者を確実に検出可能とする画像監視装置の提供を目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために本発明による画像監視装置は、重要監視物が設置された監視領域内を撮像した画像を取得する撮像部と、前記撮像部が順次取得した入力画像を処理し、不審者を検出したと判定すると警報信号を生成する画像信号処理部と、前記警報信号を出力する出力部とを備えた画像監視装置であって、前記画像信号処理部は、前記入力画像から人物領域を抽出する人物領域抽出手段と、前記人物領域上にて頭部候補領域を抽出する頭部候補領域抽出手段と、前記頭部候補領域が顔隠蔽しているか否かの顔隠蔽度を判定する顔隠蔽判定手段と、前記顔隠蔽度に基づいて不審者を検出する不審者判定手段とを有し、
前記不審者判定手段は、前記顔隠蔽度が第一所定値以上のときに不審者を検出したと判定する第一の判定基準と、前記顔隠蔽度が前記第一所定値より低い第二所定値以上で、かつ複数の前記入力画像から算出された前記人物領域又は頭部候補領域が前記重要監視物方向へ移動後、所定数の入力画像中で抽出されない場合に、前記顔隠蔽度が前記第一所定値未満でも不審者と判定する第二の判定基準を有することを特徴とする。
かかる構成によれば、入力画像中に短期間しか抽出されない人物領域に対しても、不審者か否かを確実に識別して失報を防止することが可能となる。
【００１０】
また、本発明の好適な態様において、顔隠蔽判定手段は、入力画像中で前記頭部候補領域が顔隠蔽と判定されるごとに顔隠蔽度を加算する。
【００１１】
また、本発明の好適な態様において、顔隠蔽判定手段は、複数の顔隠蔽種別ごとに顔隠蔽度を算出し、不審者判定手段は、第二の判定基準においては、特定の顔隠蔽種別のみが前記第二の所定値以上であり、さらに前記特定の顔隠蔽種別以外の種別の顔隠蔽度は前記第二の所定値より低い第三の所定値未満の場合に不審者と判定する。
【００１２】
また、本発明の好適な態様において、出力部は、第一の判定基準により不審者と判定した場合は、当該判定時点における入力画像を出力し、第二の判定基準により不審者と判定した場合は、当該判定時点より遡った時点における顔隠蔽度が所定値以上の頭部候補領域を含む入力画像を出力する。
【図面の簡単な説明】
【００１３】
【図１】本発明にかかる画像監視装置が店舗の事務室に設置された例である。
【図２】本実施の形態にかかる画像監視装置の概略構成図である。
【図３】本実施の形態にかかる画像監視装置の動作を表す全体フロー図である。
【図４】本実施の形態にかかる画像監視装置の消失処理の動作フロー図である。
【図５】本実施の形態にかかる画像監視装置の消失判定の閾値処理を説明する図である。
【発明を実施するための形態】
【００１４】
以下、図を参照しつつ、本発明にかかる画像監視装置の一実施形態として、当該画像監視装置を、スーパーマーケットなどの店舗の事務室に設置し、事務室内の金庫等の重要監視物周辺に存在する不審人物を検出するための監視装置として実現した例について説明する。また本画像監視装置は、警備装置を構成する機能の一部としても実現可能であり、夜間等の人の不在の警備中だけでなく、開店中などの警備解除中も監視を実施することを想定している。事務室においては開店時間中は、店長など金庫の開錠可能な人物だけでなく、従業員やアルバイトも事務室に入室可能である。また、従業員やアルバイトの隙をみて、不審者が金庫に近づいたり、従業員やアルバイトを拘束して不審者が金庫に近づく可能性もあることが想定される。こうした店舗や事務室には監視カメラが設置されているため、窃盗や強盗を企てる不審者は、ほとんどの場合、覆面やサングラス、マスク等で顔を隠蔽している。
【００１５】
本実施の形態における画像監視装置は、金庫等の重要監視物付近に人物がいる場合に、重要監視物付近に設置されたカメラから当該人物の顔部分を抽出し、顔部分を隠蔽している場合に不審者として遠隔の監視センタに非常通報を行うとともに、監視領域内の撮像画像を送信する。
【００１６】
図１（ａ）は、本発明にかかる画像監視装置１が、事務室に設置された様子を表す模式図である。設置場所としては事務室の他、店頭に陳列する前の商品が棚に並べられた保管庫があるバックヤードなどが例示できる。図１（ａ）において、事務室の床の隅に重要監視物である金庫６が設置されている。
【００１７】
画像監視装置１の撮像部２は、金庫６の上方に概略水平方向に向けて設置され、撮像部２の視野は事務室全体を含むものとする。この視野内が監視領域である。画像監視装置は、撮像部２で取得された画像を処理し、その画像中に含まれる人物の顔隠蔽の有無を判定するために用いられる。顔隠蔽の有無の判定とは、不審者が、サングラスとマスク、覆面、フルフェースのヘルメット等で顔を隠蔽して、人物の特定を困難なようにしているか否かを判定することである。
【００１８】
撮像部２から取得された画像を本実施の形態では入力画像と称する。入力画像の例を図１（ｂ）に示す。図１（ｂ）からわかるように、概略水平方向に向けられたカメラの画像であることを活かし、画像中の人物が顔を撮像部２に向けている状態であれば人相を把握できる。そして顔隠蔽判定技術を用いることで顔隠蔽の有無の判定が可能となる。なお、入力画像は、画像中の人物について人相の他、服装や背格好の情報も取得可能であるため、証跡性の確保を目的とした画像として、記録するためにも用いることもできる。
【００１９】
図２は、一つの実施形態としての本発明にかかる画像監視装置１の概略構成図である。画像監視装置１は、撮像部２と、記憶部３と、画像信号処理部４と、出力部５とを有する。
【００２０】
撮像部２は、少なくともひとつのカメラで構成されＣＣＤまたはＣ−ＭＯＳなど、可視光に感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に監視領域の像を結像する結像光学系などを有する。撮像部２は、例えば、ＮＴＳＣ規格に従って、連続的に撮影を行うカメラとすることができる。あるいは、撮像部２は、いわゆるハイビジョンなど、より高解像度な画像を生成するものでもよい。
【００２１】
なお、本実施の形態では撮像部２は、事務室を撮影した画像を例えば、各画素の輝度が２５６階調で表される濃淡画像あるいはカラー画像として所定のフレーム間隔（例えば０．５秒間隔）毎に生成する。また撮像部２は、画像信号処理部４の図示しないインターフェース部と接続されており、撮像部２が画像を生成する度に、その生成した画像を入力画像として画像信号処理部４へ出力する。
【００２２】
記憶部３は、フラッシュメモリなどの不揮発性半導体メモリ、揮発性半導体メモリ、または磁気ディスク（ＨＤＤ）などの記憶装置を有する。記憶部３は、画像監視装置１で使用される各種のプログラム及び設定データ等を記憶する。また記憶部３は、画像監視装置１が起動したとき、あるいは定期的に撮像部２から取得した、人物が写っていない入力画像を背景画像として記憶する。
【００２３】
また記憶部３は入力画像中から抽出された人物領域の情報を人物領域情報として一時記憶しておく。さらに、記憶部３は、入力画像中から頭部候補領域、顔隠蔽判定を行うため、各種条件におけるテンプレート画像、設定データ等を記憶している。
【００２４】
画像信号処理部４は、撮像部２から入力された入力画像の人物が顔隠蔽しているか否かの判定結果に応じて警報信号の送出処理を行う。画像信号処理部４は、人物領域抽出手段４１、頭部候補領域抽出手段４２、顔隠蔽判定手段４３、不審者判定手段４４、制御手段４５から構成される。これらの各構成手段は、記憶部３に記憶されるプログラムモジュールにて実現可能である。次に画像信号処理部４の各手段について説明する。
【００２５】
人物領域抽出手段４１は、撮像部２から取得された入力画像と記憶部３に記憶されている背景画像の画素毎の差分を求め、所定以上の輝度変化があり、人物を元に設定された所定範囲の大きさの変化領域を人物領域として抽出する。背景画像は、室内が無人時の入力画像で所定時間ごとに更新される画像である。人物領域抽出手段４１は抽出された人物領域が前フレームで抽出された人物領域と同一の移動体によるものか否かの判定を行い、新規に出現した人物領域の場合は、新たな管理番号を付与（ラベリング）し、その大きさ、位置等の情報とともに人物領域情報として記憶部３に記憶する。
【００２６】
現在のフレームで抽出されたが、前フレームで抽出された人物領域と同一の移動体によるものと推定される場合は、当該管理番号の人物領域情報に位置、大きさ等の情報を追加記憶する。この背景差分処理、ラベリング処理については、画像処理技術の分野では周知の技術であるので、これ以上の詳細な説明は省略する。
【００２７】
頭部候補領域抽出手段４２は、人物領域上で人体の頭部らしさが高い領域を頭部候補領域として抽出する。この頭部候補領域の抽出方法としては、楕円パターン等の頭部輪郭パターンをテンプレートとして記憶部３に記憶しておき、人物領域内でテンプレートとの類似度が高い領域を頭部候補領域として抽出する等の手法が採用できる。この手法については、本出願人による特開2005-25568に記載されている手法を採用することができる。
【００２８】
用意する頭部輪郭パターンとしては、楕円パターンに限られず、顔形状の輪郭を模擬したパターンでもよい。
【００２９】
また、人物領域から頭部候補領域を抽出する方法としては、HOG（Histogram of Oriented Gradients）特徴量ベースの検出方法を利用することもできる。HOG特徴量は、画像から任意のサイズで切り出した局所領域内のエッジ（輝度勾配）方向に着目した特徴量である。事前に多数の顔画像データと顔画像とは無関係の画像を学習用データとして用意し、様々のサイズの局所領域を学習用画像全体で探索を実行し、頭部候補領域の識別に有効な特徴量を選択する。HOG特徴量は、非常に次元数の大きな特徴量であるため、特徴量の選択には統計的学習手法の一つであるAdaboostを用い、頭部候補領域の識別に有効なHOG特徴量のセットを選別する。
【００３０】
この選別された特徴量のセットを用いて、入力画像から抽出された人物領域上で、頭部候補のエッジ特徴を持つ領域を頭部候補領域として抽出することができる。HOG特徴量ベースの顔検出方法については、例えば、Dalal N., Triggs B.: “Histograms
of Oriented Gradients for Human Detection.” IEEE Conf.CVPR, vol.1, pp.886-893, 2005.等に記載されている。
【００３１】
顔隠蔽判定手段４３は、抽出された頭部候補領域候補内で、顔隠蔽の有無を判定する。顔隠蔽判定手段４３では、抽出された頭部候補領域内の画像特徴を分析して、素顔らしさである非顔隠蔽らしさ及び、サングラス及びマスクらしさ、覆面（目出し帽）らしさ、フルフェースヘルメットらしさ等の各々の種別ごとに顔隠蔽らしさを数値化して求める。具体的には、予め用意した、老若男女の素顔の顔画像データ及び上記各種別の顔隠蔽画像データに対し、複数のテンプレート画像を用意し、抽出した頭部候補領域の輝度情報と各々の顔隠蔽種別ごとのテンプレート画像との類似度を算出して、最も類似するテンプレート画像について予め設定した閾値以上の場合に、当該頭部候補領域を素顔或いは、何らかの遮蔽物により顔を隠蔽している顔隠蔽者と判定する。
【００３２】
また、顔隠蔽の判定には、Haar-Like特徴量をベースとする判定方法を利用することもできる。Haar-Like特徴量は、隣り合う２つの矩形領域の平均輝度差に着目した特徴量であり、HOG特徴量同様、事前に用意した学習用画像データに対して、Adaboostを用いて、顔画像の識別に有効なHaar-Like特徴量を選別する。学習用の顔画像データとしては、素顔の顔画像データ、顔隠蔽種別ごとの顔画像データ、が及び顔画像とは無関係なデータを各々種々の条件で用意する。事前学習により、素顔の識別に有効な特徴量、各顔隠蔽の識別に有効な特徴量のセットを選別し、各々の顔隠蔽種別の識別に用いる探索器として用意しておく。頭部候補領域に対してこの各々の探索器を用いて素顔らしさ、及び各種別の顔隠蔽らしさの輝度特徴の類似度を数値化して求める。そして類似度が最も高い探索器についての類似度が予め設定した類似度以上の場合に、当該頭部候補領域を素顔、或いはなんらかの遮蔽物により顔を隠蔽している顔隠蔽者と判定する。
【００３３】
このHaar-Like特徴量ベースの顔検出方法については、例えば、P.Viola and M.Jones:Rapid Object Detection using a Boosted Cascade of
Simple(CVPR2001)等に記載されている。
【００３４】
不審者判定手段４４は、顔隠蔽判定手段４３で監視領域中に存在する顔隠蔽者の顔隠蔽度に応じて不審者スコアを加算し、当該不審者スコアが不審者判定基準を満たす場合に当該顔隠蔽者を不審者と判定する。不審者判定基準の例としては、入力画像中から顔隠蔽者が検出されるごとにを不審者スコアを加算し、連続する所定フレーム内（例えば５フレーム）で、予め設定された第１の所定回数（例えば３回）以上の場合に不審者と判定する。本実施の形態では、これを第１の判定基準とする。また、顔隠蔽者が走り抜けて入力画像から消失した場合には、連続する所定フレーム内で上記第１の所定回数に達しない場合でも、別途の判定基準を満たす場合には不審者と判定できるようにしている。本実施の形態ではこれを第２の判定基準とする。この第２の判定基準については後に詳細に説明する。
また、上記では第１の判定基準において顔隠蔽度を複数フレーム内の顔隠蔽検知回数として不審者スコアを求めているが、これに限定されるものではない。例えば予め用意したテンプレート等との類似度の値そのものを顔隠蔽度とし、この類似度の複数フレーム内の加算値が所定値（第１の所定値）以上の場合に不審者と判定するようにしてもよい。
【００３５】
制御手段４５は、画像監視装置１の各部を統合的に制御する。また、不審者判定手段４４による不審者判定結果から、出力部５を制御して、警報信号を出力させるか否かを決定する。
【００３６】
出力部５は、制御手段４５からの指示を受け、予め登録された出力先に警報信号を出力する機能を有する。ここでは警報信号を警備会社等の監視センタに通信回線を経由して通報するようにしてある。また出力部５は、不審者判定時の入力画像を警報信号とともに出力する。さらに、後述の人物領域の消失後に不審者と判定した場合は、不審者判定時より遡って、顔隠蔽度が所定値以上の人物領域が抽出されている入力画像を出力部５から出力する。
【００３７】
また警報信号の出力先としては上記に限られない。例えば、監視対象内に設けたスピーカ等より警告音を鳴らしたり、警告メッセージを発するようにしてもよい。さらに、予め登録した利用者等の携帯電話に通信回線を介して通報するようにしてもよい。
【００３８】
以上本実施形態の画像監視装置の構成について説明した。
【００３９】
次に図３および図４に示したフローチャートを参照して、本実施の形態にかかる画像監視装置１の動作の一例を説明する。図３は、本実施の形態にかかる画像信号処理部４の動作を説明するメインフロー図である。図３においてステップＳ１１〜ステップＳ２０の処理は、画像信号処理部４が撮像部２から所定のフレーム周期（例えば０．５ｓごと）で入力画像を取得する度に実行される。
【００４０】
画像監視装置１は、電源投入され、初期設定が完了すると稼動開始する。初期設定としては、撮像部２から入力した入力画像を背景画像として記憶部３に記憶される等の処理が行われる。この背景画像は所定の時間間隔で適宜更新される。
【００４１】
図３のフローチャートにおいて、まずステップＳ１１では撮像部２から入力画像を取得する。取得した入力画像は記憶部３に一時記憶される。記憶部３には現在時刻から所定時間前までの所定枚数分の入力画像が記憶可能な記憶領域が用意されており、当該記憶領域がフルになると、記憶されている最も古い画像を削除して、新たな入力画像を記憶するようにしている。また記憶済みの画像を定期的に外部のハードディスク等にバックアップするようにしてもよい。
【００４２】
次にＳ１２にて、人物領域抽出手段４１は、ステップＳ１１にて取得された入力画像を処理し、入力画像から人物領域の抽出を行う。人物領域の抽出は記憶部３に記憶されている背景画像と入力画像の差分が所定以上の領域を人物領域として抽出する背景差分法などの一般的な方法を採用すれば良い。
【００４３】
なお、所定の条件を満たす人物領域を抽出しない場合（ステップＳ１３−Ｎｏ）には、監視領域内は無人であるとして、ステップＳ２１へ進む。ステップＳ２１では、既に抽出済みの人物領域が消失したのか否かが判定される。抽出済みの人物領域が消失した場合はステップＳ２２へ進む。ステップＳ２２の消失処理は、入力画像中の人物が不審者と確定する前に消失した人物が不審者である場合でも検出可能とする処理である。この処理については、サブルーチン化されており、後に詳しく説明する。
尚、抽出済みの人物領域が消失した場合は、所定フレーム数当該人物領域の消失情報として記憶部３に一時記憶される。
ステップＳ２１において当該消失情報が記憶部３に記憶されていない場合は、ステップＳ１１へ戻る次フレームの処理を行う。
【００４４】
ステップＳ１３で人物領域が抽出された場合（ステップＳ１３−Ｙｅｓ）はステップＳ１４へすすむ。また、一度消失した人物領域が再び抽出されたと判定された場合は、ステップ１３で、上記消失情報及び後述のロストカウントをリセットする。
【００４５】
ステップＳ１４では、人物領域抽出手段４１は記憶部３に記憶されている前フレームの入力画像から取得された人物領域情報を参照し、現フレームで抽出された人物領域と前フレームで抽出された人物領域の対応づけ処理を行う。前フレームで人物領域が抽出されていなければ、現フレームで抽出された人物領域に新たな管理番号を付与して、その大きさ、位置等の情報を人物領域情報として記憶部３に記憶する。
【００４６】
ステップＳ１５では頭部候補領域抽出手段４２により人物領域内で、頭部輪郭パターンによるパターンマッチングなどにより探索を行い、人物の頭部候補領域を抽出する。
尚、ここでは頭部候補領域の抽出ができない場合についての処理についてはフローチャート上のステップとして示していないが、これをステップＳ１３において頭部候補領域の有無を判定するようにしてもよい。すなわち、入力画像中で抽出された人物領域上で頭部候補領域の抽出を行い、入力画像中で人物領域が抽出されない場合、及び抽出された人物領域上で頭部候補領域が抽出されない場合にステップＳ２１へ進むようにしてもよい。この場合、ステップＳ１４の追跡処理は抽出された頭部候補領域に対して行うようにすればよい。
【００４７】
ステップＳ１６及びステップＳ１７において顔隠蔽判定手段４３により顔隠蔽の有無が判定される。まず、ステップＳ１６では、顔隠蔽判定手段４３にて顔隠蔽検出処理を行う。ここでは、抽出された頭部候補領域の顔隠蔽度を算出する。具体的には予め用意したテンンプレート画等とのパターンマッチング等により抽出された頭部候補領域の「サングラス及びマスク」、「覆面」、「フルフェースヘルメット」等に対する類似度を顔隠蔽度として算出する。そして、ステップＳ１７にていずれかの種別の類似度が予め設定した閾値を以上の場合に当該顔隠蔽方法により顔の大部分を隠蔽していると判定する。
【００４８】
ステップＳ１８及びステップＳ１９において不審者判定手段４４により不審者の判定が行われる。
ステップＳ１７で顔隠蔽されていると判定すると（ステップＳ１７−Ｙｅｓ）、ステップＳ１８で当該人物領域ラベルに対する不審者スコアを加算する。一方、ステップＳ１７で顔隠蔽されていないと判定すると、ステップＳ１１へ戻る。ここで不審者スコアは、所定フレーム数内における顔隠蔽者の検出の有無（隠蔽検知を１、未検知を０）を顔隠蔽度として加算される。或いは上述のように顔隠蔽種別各々についての類似度を顔隠蔽度として不審者スコアが加算されるようにしもよい。
【００４９】
次にステップＳ１９では算出された顔隠蔽した人物領域(或いは頭部候補領域）の不審スコアが所定基準を満たしているか否かが判定される。本実施の形態では、前述のように不審者判定基準として２つの判定基準を定めている。ステップＳ１８において算出された不審者スコアが第１の判定基準を満たすか否かを判定している。第１の判定基準としては、例えば連続する所定フレーム（例えば５フレーム）内である顔隠蔽者が所定回数以上（例えば３フレーム）検出される場合に不審者として判定されるようにしている。
一方、ステップＳ２２の処理により第１の判定基準を満たさなくても第２の判定基準を満たせば不審者として判定されるようにしている。この第２の判定基準については後述する。いずれかの不審者判定基準を満たす場合（ステップＳ１９−Ｙｅｓ）、ステップＳ２０で不審者と判定し、所定の通報先へ通報を行う。
【００５０】
不審者判定基準を満たさない場合(ステップＳ１９−Ｎｏ)はステップＳ１１へ戻り、次のフレームの処理を継続する。尚ステップＳ２０にて遠隔の監視センタへ通報を行うとともに、監視空間内を撮影した入力画像を出力部５より出力する。この場合、第１の判定基準により不審者と判定した場合は不審者判定時の入力画像を送信するが、第２の判定基準により不審者と判定した場合は、時間を遡って顔隠蔽度が所定以上の人物領域が抽出された入力画像を送信する。これは、第２の判定基準により不審者と判定した時点では、入力画像には人物が写っていない可能性が高いからである。
【００５１】
以上、不審者判定処理について説明した。次にステップＳ２２の消失処理について図４のフローチャートを用いて説明する。尚、図４のフローチャートにおける処理は頭部候補領域が入力画像中で複数抽出される場合は、各々について個別に実効される。また図４のフローチャートにより処理対象の顔隠蔽者が不審者と判定された場合には、不審者フラグがオンになるものとする。この不審者フラグがオンで不審者と判定される場合は第２の判定基準による判定と識別できる。
【００５２】
まずステップＳ２２１では、ステップＳ２１で判定された消失した人物領域（或いは頭部候補領域）が所定条件を満たした顔隠蔽者であるか否かが判定される。顔隠蔽者でないものが消失した場合はこのルーチンを抜けて図３のフローチャートに戻る。また、顔隠蔽者であるが所定条件を満たしていない場合にもこのルーチンを抜けて図３のフローチャートに戻る。この場合の所定条件は、上述の第１の判定基準により不審者と判定される場合よりも緩和された条件が設定される。具体的には、第１の判定基準では、連続する所定フレーム（例えば５フレーム）内で第１の所定値（たとえば３フレーム）以上、顔隠蔽者が検知された場合に不審者と判定している場合、ここでの所定条件は連続する所定フレーム内で第２の所定値（たとえば２フレーム）以上顔隠蔽者が検知された場合に条件をクリアするようにしている。
【００５３】
次にステップＳ２２２では人物領域（又は頭部候補領域）が消失後、所定フレーム数（例えば５フレーム）が経過しているか否かが判定される。具体的には、人物領域消失後にカウントが開始されるロストカウントが所定数を超えたか否かにより判定される。所定フレーム数が経過していない場合はステップＳ２２６へ進み、ロストカウントをインクリメントしてこのルーチンを抜ける。上述のように一度消失した人物領域が再び入力画像上で抽出された場合はステップＳ１３でロストカウントがリセットされる。
【００５４】
人物領域（又は頭部候補領域）が消失して所定フレームが経過している場合は、ステップＳ２２３へ進む。ステップＳ２２３では、消失前の人物領域の移動方向が算出される。消失した人物領域の情報は記憶部３に消失情報として記憶されている。当該人物領域の移動方向が重要監視物の方向へ向かった後、消失したと判定された場合はステップＳ２２４へ進む。移動方向の算出は人物領域の追跡処理結果と、重要監視物の位置の関係から判定する。
【００５５】
本実施の形態では、図１（ａ）のように重要監視物の上に撮像部２が設置されているため、複数の入力画像上で人物領域の大きさを比較し、所定以上大きくなっており、かつ重要監視物方向に移動している場合に撮像部２に接近したと判定することができる。別途重要監視物の入力画像上の位置を、入力可能な入力部を設けて、記憶部３に記憶しておくようにしてもよい。
【００５６】
また、人物追跡については上記撮像部２とは別に天井に撮像部（天井カメラ）を設置し、上方から取得した入力画像の処理結果を利用するようにしてもよい。
この場合、天井カメラでの人物追跡結果と正面から取得した入力画像上での追跡結果とを関連づけて記憶部３に記憶しておくことで、検知性能の向上が可能となる。具体的には図４のステップＳ２２２で正面カメラ２により人物領域が所定フレーム消失した場合、ステップＳ２２３の判定を、天井カメラ７で追跡処理した人物の移動方向を参照する。そして人物領域が重要監視物に向かっている場合はステップＳ２２４へ進むようにする。このようにすることで、不審者の検知精度をさらに向上させることが期待できる。
【００５７】
ステップＳ２２３で消失した人物の移動方向が重要監視物以外の方向に移動した後、消失した場合は、単に通行した人などであるとして、このルーチンを抜けて図３のフローチャートに戻る。
【００５８】
次にステップＳ２２４では、顔隠蔽判定手段４３で算出した顔隠蔽種別ごとの顔隠蔽度を再び参照して、比較する。これについて図５を用いて説明する。図５は顔隠蔽度として、抽出した頭部候補領域と、予め用意した「マスク＋サングラス」、「覆面」、「フルフェースヘルメット」等の顔隠蔽パターンとの類似度を求めたものであり、当該類似度は所定フレーム内における加算値である。或いは前述のようにHaar-Like特徴量を用いた各種別ごとの探索器の探索結果として各々の顔隠蔽種別の尤もらしさを数値として求めることもできる。今、図５（ａ）の例では「ヘルメット」「覆面」のいずれの顔隠蔽度も第１閾値以上であるが、この場合は第１の判定基準は満たしていると判定される。
【００５９】
一方、第２の判定基準では、第１の判定基準よりも緩和された判定基準で不審者と判定可能としつつ、誤検出を極力防止するという観点から、図５（ｂ）に示すように特定の種別の顔隠蔽度のみ第１閾値より低い第２閾値以上（ヘルメット）であり、他の種別の顔隠蔽度が第２閾値より低い第３閾値未満である場合に、ステップＳ２２４の条件を満たすと判定され、ステップＳ２２５で不審者フラグをオンにする。そして、図３のフローチャートに戻る。この場合、図３のフローチャートにおいてステップＳ１９で第２の判定基準により不審者として判定される。
【００６０】
また、上述の図５の説明では、顔隠蔽度を予め用意したパターンとの類似度として表現したが、前述のように不審者スコアとして加算する顔隠蔽度を所定フレーム（例えば５フレーム）内における顔隠蔽者の検知回数とする場合も同様の判定方法が可能である。具体的にはステップＳ２２４の処理は、特定の顔隠蔽種別のみの判定回数が第１閾値（例えば３回）より低い第２閾値以上（例えば２回）を満たし、他の顔隠蔽種別の判定回数が第２閾値より低い第３閾値未満（例えば１回）かどうかを判定するようにすればよい。
【００６１】
尚、ステップＳ２２４の処理は誤検出を防止してより確実に不審者と判定するための処理であり、失報を防止するという観点では必須の処理ではない。しかし、このようにすることで、重要監視物に早足で接近してカメラの撮像領域から消失して、犯行に及ぼうとする不審者を確実に検出し、単に画面を駆け抜けて撮像領域から消失する人物を不審者として誤判定しないようにすることが可能となる。
【００６２】
以上、本発明の画像監視装置について説明を行った。尚、本画像監視装置における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【符号の説明】
【００６３】
１・・・画像監視装置
２・・・撮像部
３・・・記憶部
４・・・画像信号処理部
５・・・出力部
６・・・重要監視物
【技術分野】
【０００１】
本発明は、金庫などの重要監視物が設置された監視空間において、監視空間を撮影した画像情報の処理結果から、監視空間内に存在する人物が不審者と判定されると遠隔の監視センタに通報する画像監視装置に関する。より具体的には、何らかの方法により顔を隠蔽し、監視空間を走り抜けて重要監視物に接近しようとする人物を不審者として確実に検出可能とする画像監視装置の提供を目的とする。
【背景技術】
【０００２】
従来、店舗、事務室等の監視領域に侵入する人物を検出して、遠隔の監視センタに通報する監視システムにおいて、カメラで撮像された画像から人物領域の特徴情報を抽出して不審人物等の特徴に合致した場合、自動的に遠隔の監視センタに通報出力し、監視センタのオペレータにより遠隔から画像監視を可能とする画像監視装置が知られている。
【０００３】
このような画像を用いた監視システムにおいては、監視領域に設置された画像監視装置から不審者を検出した警報信号が通報されると、監視センタのオペレータが画像を確認して判断を行う。
【０００４】
例えば、特許文献１には、自動取引装置から不正に現金を引き出すおそれのある不審人物を検出するために、人感センサが自動取引装置の前に人が立ったことを検知したときにカメラから画像を取り込んで、当該画像にサングラスやマスクなどで顔を隠蔽した不審人物が撮像されているか否かを判定する監視装置が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−７９７５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１の警報装置の例では、現金自動支払いコーナーの操作者を正面で撮影可能な位置にカメラが設置されおり、操作者も限定されるが、より広い撮像範囲を監視する画像監視装置の場合、単に通行する人物を不審者と判定してしまう誤検出を防止するために、監視画像中で抽出された人物領域を追跡処理して、不審者度合いの確度が高くなると不審者と判定するようにしている。
【０００７】
従って、例えば監視空間を走りぬけて撮像範囲の死角に逃れてしまうと、通常の判定基準では、不審者か否かの判断が十分できず、実際に不審者であったとしても検出できない可能性がある。
【０００８】
本発明は、上記の課題に鑑みてなされたもので、監視空間を走り抜け、撮像範囲外に逃れて監視装置に通報されないようとする不審者を確実に検出可能とする画像監視装置の提供を目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために本発明による画像監視装置は、重要監視物が設置された監視領域内を撮像した画像を取得する撮像部と、前記撮像部が順次取得した入力画像を処理し、不審者を検出したと判定すると警報信号を生成する画像信号処理部と、前記警報信号を出力する出力部とを備えた画像監視装置であって、前記画像信号処理部は、前記入力画像から人物領域を抽出する人物領域抽出手段と、前記人物領域上にて頭部候補領域を抽出する頭部候補領域抽出手段と、前記頭部候補領域が顔隠蔽しているか否かの顔隠蔽度を判定する顔隠蔽判定手段と、前記顔隠蔽度に基づいて不審者を検出する不審者判定手段とを有し、
前記不審者判定手段は、前記顔隠蔽度が第一所定値以上のときに不審者を検出したと判定する第一の判定基準と、前記顔隠蔽度が前記第一所定値より低い第二所定値以上で、かつ複数の前記入力画像から算出された前記人物領域又は頭部候補領域が前記重要監視物方向へ移動後、所定数の入力画像中で抽出されない場合に、前記顔隠蔽度が前記第一所定値未満でも不審者と判定する第二の判定基準を有することを特徴とする。
かかる構成によれば、入力画像中に短期間しか抽出されない人物領域に対しても、不審者か否かを確実に識別して失報を防止することが可能となる。
【００１０】
また、本発明の好適な態様において、顔隠蔽判定手段は、入力画像中で前記頭部候補領域が顔隠蔽と判定されるごとに顔隠蔽度を加算する。
【００１１】
また、本発明の好適な態様において、顔隠蔽判定手段は、複数の顔隠蔽種別ごとに顔隠蔽度を算出し、不審者判定手段は、第二の判定基準においては、特定の顔隠蔽種別のみが前記第二の所定値以上であり、さらに前記特定の顔隠蔽種別以外の種別の顔隠蔽度は前記第二の所定値より低い第三の所定値未満の場合に不審者と判定する。
【００１２】
また、本発明の好適な態様において、出力部は、第一の判定基準により不審者と判定した場合は、当該判定時点における入力画像を出力し、第二の判定基準により不審者と判定した場合は、当該判定時点より遡った時点における顔隠蔽度が所定値以上の頭部候補領域を含む入力画像を出力する。
【図面の簡単な説明】
【００１３】
【図１】本発明にかかる画像監視装置が店舗の事務室に設置された例である。
【図２】本実施の形態にかかる画像監視装置の概略構成図である。
【図３】本実施の形態にかかる画像監視装置の動作を表す全体フロー図である。
【図４】本実施の形態にかかる画像監視装置の消失処理の動作フロー図である。
【図５】本実施の形態にかかる画像監視装置の消失判定の閾値処理を説明する図である。
【発明を実施するための形態】
【００１４】
以下、図を参照しつつ、本発明にかかる画像監視装置の一実施形態として、当該画像監視装置を、スーパーマーケットなどの店舗の事務室に設置し、事務室内の金庫等の重要監視物周辺に存在する不審人物を検出するための監視装置として実現した例について説明する。また本画像監視装置は、警備装置を構成する機能の一部としても実現可能であり、夜間等の人の不在の警備中だけでなく、開店中などの警備解除中も監視を実施することを想定している。事務室においては開店時間中は、店長など金庫の開錠可能な人物だけでなく、従業員やアルバイトも事務室に入室可能である。また、従業員やアルバイトの隙をみて、不審者が金庫に近づいたり、従業員やアルバイトを拘束して不審者が金庫に近づく可能性もあることが想定される。こうした店舗や事務室には監視カメラが設置されているため、窃盗や強盗を企てる不審者は、ほとんどの場合、覆面やサングラス、マスク等で顔を隠蔽している。
【００１５】
本実施の形態における画像監視装置は、金庫等の重要監視物付近に人物がいる場合に、重要監視物付近に設置されたカメラから当該人物の顔部分を抽出し、顔部分を隠蔽している場合に不審者として遠隔の監視センタに非常通報を行うとともに、監視領域内の撮像画像を送信する。
【００１６】
図１（ａ）は、本発明にかかる画像監視装置１が、事務室に設置された様子を表す模式図である。設置場所としては事務室の他、店頭に陳列する前の商品が棚に並べられた保管庫があるバックヤードなどが例示できる。図１（ａ）において、事務室の床の隅に重要監視物である金庫６が設置されている。
【００１７】
画像監視装置１の撮像部２は、金庫６の上方に概略水平方向に向けて設置され、撮像部２の視野は事務室全体を含むものとする。この視野内が監視領域である。画像監視装置は、撮像部２で取得された画像を処理し、その画像中に含まれる人物の顔隠蔽の有無を判定するために用いられる。顔隠蔽の有無の判定とは、不審者が、サングラスとマスク、覆面、フルフェースのヘルメット等で顔を隠蔽して、人物の特定を困難なようにしているか否かを判定することである。
【００１８】
撮像部２から取得された画像を本実施の形態では入力画像と称する。入力画像の例を図１（ｂ）に示す。図１（ｂ）からわかるように、概略水平方向に向けられたカメラの画像であることを活かし、画像中の人物が顔を撮像部２に向けている状態であれば人相を把握できる。そして顔隠蔽判定技術を用いることで顔隠蔽の有無の判定が可能となる。なお、入力画像は、画像中の人物について人相の他、服装や背格好の情報も取得可能であるため、証跡性の確保を目的とした画像として、記録するためにも用いることもできる。
【００１９】
図２は、一つの実施形態としての本発明にかかる画像監視装置１の概略構成図である。画像監視装置１は、撮像部２と、記憶部３と、画像信号処理部４と、出力部５とを有する。
【００２０】
撮像部２は、少なくともひとつのカメラで構成されＣＣＤまたはＣ−ＭＯＳなど、可視光に感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に監視領域の像を結像する結像光学系などを有する。撮像部２は、例えば、ＮＴＳＣ規格に従って、連続的に撮影を行うカメラとすることができる。あるいは、撮像部２は、いわゆるハイビジョンなど、より高解像度な画像を生成するものでもよい。
【００２１】
なお、本実施の形態では撮像部２は、事務室を撮影した画像を例えば、各画素の輝度が２５６階調で表される濃淡画像あるいはカラー画像として所定のフレーム間隔（例えば０．５秒間隔）毎に生成する。また撮像部２は、画像信号処理部４の図示しないインターフェース部と接続されており、撮像部２が画像を生成する度に、その生成した画像を入力画像として画像信号処理部４へ出力する。
【００２２】
記憶部３は、フラッシュメモリなどの不揮発性半導体メモリ、揮発性半導体メモリ、または磁気ディスク（ＨＤＤ）などの記憶装置を有する。記憶部３は、画像監視装置１で使用される各種のプログラム及び設定データ等を記憶する。また記憶部３は、画像監視装置１が起動したとき、あるいは定期的に撮像部２から取得した、人物が写っていない入力画像を背景画像として記憶する。
【００２３】
また記憶部３は入力画像中から抽出された人物領域の情報を人物領域情報として一時記憶しておく。さらに、記憶部３は、入力画像中から頭部候補領域、顔隠蔽判定を行うため、各種条件におけるテンプレート画像、設定データ等を記憶している。
【００２４】
画像信号処理部４は、撮像部２から入力された入力画像の人物が顔隠蔽しているか否かの判定結果に応じて警報信号の送出処理を行う。画像信号処理部４は、人物領域抽出手段４１、頭部候補領域抽出手段４２、顔隠蔽判定手段４３、不審者判定手段４４、制御手段４５から構成される。これらの各構成手段は、記憶部３に記憶されるプログラムモジュールにて実現可能である。次に画像信号処理部４の各手段について説明する。
【００２５】
人物領域抽出手段４１は、撮像部２から取得された入力画像と記憶部３に記憶されている背景画像の画素毎の差分を求め、所定以上の輝度変化があり、人物を元に設定された所定範囲の大きさの変化領域を人物領域として抽出する。背景画像は、室内が無人時の入力画像で所定時間ごとに更新される画像である。人物領域抽出手段４１は抽出された人物領域が前フレームで抽出された人物領域と同一の移動体によるものか否かの判定を行い、新規に出現した人物領域の場合は、新たな管理番号を付与（ラベリング）し、その大きさ、位置等の情報とともに人物領域情報として記憶部３に記憶する。
【００２６】
現在のフレームで抽出されたが、前フレームで抽出された人物領域と同一の移動体によるものと推定される場合は、当該管理番号の人物領域情報に位置、大きさ等の情報を追加記憶する。この背景差分処理、ラベリング処理については、画像処理技術の分野では周知の技術であるので、これ以上の詳細な説明は省略する。
【００２７】
頭部候補領域抽出手段４２は、人物領域上で人体の頭部らしさが高い領域を頭部候補領域として抽出する。この頭部候補領域の抽出方法としては、楕円パターン等の頭部輪郭パターンをテンプレートとして記憶部３に記憶しておき、人物領域内でテンプレートとの類似度が高い領域を頭部候補領域として抽出する等の手法が採用できる。この手法については、本出願人による特開2005-25568に記載されている手法を採用することができる。
【００２８】
用意する頭部輪郭パターンとしては、楕円パターンに限られず、顔形状の輪郭を模擬したパターンでもよい。
【００２９】
また、人物領域から頭部候補領域を抽出する方法としては、HOG（Histogram of Oriented Gradients）特徴量ベースの検出方法を利用することもできる。HOG特徴量は、画像から任意のサイズで切り出した局所領域内のエッジ（輝度勾配）方向に着目した特徴量である。事前に多数の顔画像データと顔画像とは無関係の画像を学習用データとして用意し、様々のサイズの局所領域を学習用画像全体で探索を実行し、頭部候補領域の識別に有効な特徴量を選択する。HOG特徴量は、非常に次元数の大きな特徴量であるため、特徴量の選択には統計的学習手法の一つであるAdaboostを用い、頭部候補領域の識別に有効なHOG特徴量のセットを選別する。
【００３０】
この選別された特徴量のセットを用いて、入力画像から抽出された人物領域上で、頭部候補のエッジ特徴を持つ領域を頭部候補領域として抽出することができる。HOG特徴量ベースの顔検出方法については、例えば、Dalal N., Triggs B.: “Histograms
of Oriented Gradients for Human Detection.” IEEE Conf.CVPR, vol.1, pp.886-893, 2005.等に記載されている。
【００３１】
顔隠蔽判定手段４３は、抽出された頭部候補領域候補内で、顔隠蔽の有無を判定する。顔隠蔽判定手段４３では、抽出された頭部候補領域内の画像特徴を分析して、素顔らしさである非顔隠蔽らしさ及び、サングラス及びマスクらしさ、覆面（目出し帽）らしさ、フルフェースヘルメットらしさ等の各々の種別ごとに顔隠蔽らしさを数値化して求める。具体的には、予め用意した、老若男女の素顔の顔画像データ及び上記各種別の顔隠蔽画像データに対し、複数のテンプレート画像を用意し、抽出した頭部候補領域の輝度情報と各々の顔隠蔽種別ごとのテンプレート画像との類似度を算出して、最も類似するテンプレート画像について予め設定した閾値以上の場合に、当該頭部候補領域を素顔或いは、何らかの遮蔽物により顔を隠蔽している顔隠蔽者と判定する。
【００３２】
また、顔隠蔽の判定には、Haar-Like特徴量をベースとする判定方法を利用することもできる。Haar-Like特徴量は、隣り合う２つの矩形領域の平均輝度差に着目した特徴量であり、HOG特徴量同様、事前に用意した学習用画像データに対して、Adaboostを用いて、顔画像の識別に有効なHaar-Like特徴量を選別する。学習用の顔画像データとしては、素顔の顔画像データ、顔隠蔽種別ごとの顔画像データ、が及び顔画像とは無関係なデータを各々種々の条件で用意する。事前学習により、素顔の識別に有効な特徴量、各顔隠蔽の識別に有効な特徴量のセットを選別し、各々の顔隠蔽種別の識別に用いる探索器として用意しておく。頭部候補領域に対してこの各々の探索器を用いて素顔らしさ、及び各種別の顔隠蔽らしさの輝度特徴の類似度を数値化して求める。そして類似度が最も高い探索器についての類似度が予め設定した類似度以上の場合に、当該頭部候補領域を素顔、或いはなんらかの遮蔽物により顔を隠蔽している顔隠蔽者と判定する。
【００３３】
このHaar-Like特徴量ベースの顔検出方法については、例えば、P.Viola and M.Jones:Rapid Object Detection using a Boosted Cascade of
Simple(CVPR2001)等に記載されている。
【００３４】
不審者判定手段４４は、顔隠蔽判定手段４３で監視領域中に存在する顔隠蔽者の顔隠蔽度に応じて不審者スコアを加算し、当該不審者スコアが不審者判定基準を満たす場合に当該顔隠蔽者を不審者と判定する。不審者判定基準の例としては、入力画像中から顔隠蔽者が検出されるごとにを不審者スコアを加算し、連続する所定フレーム内（例えば５フレーム）で、予め設定された第１の所定回数（例えば３回）以上の場合に不審者と判定する。本実施の形態では、これを第１の判定基準とする。また、顔隠蔽者が走り抜けて入力画像から消失した場合には、連続する所定フレーム内で上記第１の所定回数に達しない場合でも、別途の判定基準を満たす場合には不審者と判定できるようにしている。本実施の形態ではこれを第２の判定基準とする。この第２の判定基準については後に詳細に説明する。
また、上記では第１の判定基準において顔隠蔽度を複数フレーム内の顔隠蔽検知回数として不審者スコアを求めているが、これに限定されるものではない。例えば予め用意したテンプレート等との類似度の値そのものを顔隠蔽度とし、この類似度の複数フレーム内の加算値が所定値（第１の所定値）以上の場合に不審者と判定するようにしてもよい。
【００３５】
制御手段４５は、画像監視装置１の各部を統合的に制御する。また、不審者判定手段４４による不審者判定結果から、出力部５を制御して、警報信号を出力させるか否かを決定する。
【００３６】
出力部５は、制御手段４５からの指示を受け、予め登録された出力先に警報信号を出力する機能を有する。ここでは警報信号を警備会社等の監視センタに通信回線を経由して通報するようにしてある。また出力部５は、不審者判定時の入力画像を警報信号とともに出力する。さらに、後述の人物領域の消失後に不審者と判定した場合は、不審者判定時より遡って、顔隠蔽度が所定値以上の人物領域が抽出されている入力画像を出力部５から出力する。
【００３７】
また警報信号の出力先としては上記に限られない。例えば、監視対象内に設けたスピーカ等より警告音を鳴らしたり、警告メッセージを発するようにしてもよい。さらに、予め登録した利用者等の携帯電話に通信回線を介して通報するようにしてもよい。
【００３８】
以上本実施形態の画像監視装置の構成について説明した。
【００３９】
次に図３および図４に示したフローチャートを参照して、本実施の形態にかかる画像監視装置１の動作の一例を説明する。図３は、本実施の形態にかかる画像信号処理部４の動作を説明するメインフロー図である。図３においてステップＳ１１〜ステップＳ２０の処理は、画像信号処理部４が撮像部２から所定のフレーム周期（例えば０．５ｓごと）で入力画像を取得する度に実行される。
【００４０】
画像監視装置１は、電源投入され、初期設定が完了すると稼動開始する。初期設定としては、撮像部２から入力した入力画像を背景画像として記憶部３に記憶される等の処理が行われる。この背景画像は所定の時間間隔で適宜更新される。
【００４１】
図３のフローチャートにおいて、まずステップＳ１１では撮像部２から入力画像を取得する。取得した入力画像は記憶部３に一時記憶される。記憶部３には現在時刻から所定時間前までの所定枚数分の入力画像が記憶可能な記憶領域が用意されており、当該記憶領域がフルになると、記憶されている最も古い画像を削除して、新たな入力画像を記憶するようにしている。また記憶済みの画像を定期的に外部のハードディスク等にバックアップするようにしてもよい。
【００４２】
次にＳ１２にて、人物領域抽出手段４１は、ステップＳ１１にて取得された入力画像を処理し、入力画像から人物領域の抽出を行う。人物領域の抽出は記憶部３に記憶されている背景画像と入力画像の差分が所定以上の領域を人物領域として抽出する背景差分法などの一般的な方法を採用すれば良い。
【００４３】
なお、所定の条件を満たす人物領域を抽出しない場合（ステップＳ１３−Ｎｏ）には、監視領域内は無人であるとして、ステップＳ２１へ進む。ステップＳ２１では、既に抽出済みの人物領域が消失したのか否かが判定される。抽出済みの人物領域が消失した場合はステップＳ２２へ進む。ステップＳ２２の消失処理は、入力画像中の人物が不審者と確定する前に消失した人物が不審者である場合でも検出可能とする処理である。この処理については、サブルーチン化されており、後に詳しく説明する。
尚、抽出済みの人物領域が消失した場合は、所定フレーム数当該人物領域の消失情報として記憶部３に一時記憶される。
ステップＳ２１において当該消失情報が記憶部３に記憶されていない場合は、ステップＳ１１へ戻る次フレームの処理を行う。
【００４４】
ステップＳ１３で人物領域が抽出された場合（ステップＳ１３−Ｙｅｓ）はステップＳ１４へすすむ。また、一度消失した人物領域が再び抽出されたと判定された場合は、ステップ１３で、上記消失情報及び後述のロストカウントをリセットする。
【００４５】
ステップＳ１４では、人物領域抽出手段４１は記憶部３に記憶されている前フレームの入力画像から取得された人物領域情報を参照し、現フレームで抽出された人物領域と前フレームで抽出された人物領域の対応づけ処理を行う。前フレームで人物領域が抽出されていなければ、現フレームで抽出された人物領域に新たな管理番号を付与して、その大きさ、位置等の情報を人物領域情報として記憶部３に記憶する。
【００４６】
ステップＳ１５では頭部候補領域抽出手段４２により人物領域内で、頭部輪郭パターンによるパターンマッチングなどにより探索を行い、人物の頭部候補領域を抽出する。
尚、ここでは頭部候補領域の抽出ができない場合についての処理についてはフローチャート上のステップとして示していないが、これをステップＳ１３において頭部候補領域の有無を判定するようにしてもよい。すなわち、入力画像中で抽出された人物領域上で頭部候補領域の抽出を行い、入力画像中で人物領域が抽出されない場合、及び抽出された人物領域上で頭部候補領域が抽出されない場合にステップＳ２１へ進むようにしてもよい。この場合、ステップＳ１４の追跡処理は抽出された頭部候補領域に対して行うようにすればよい。
【００４７】
ステップＳ１６及びステップＳ１７において顔隠蔽判定手段４３により顔隠蔽の有無が判定される。まず、ステップＳ１６では、顔隠蔽判定手段４３にて顔隠蔽検出処理を行う。ここでは、抽出された頭部候補領域の顔隠蔽度を算出する。具体的には予め用意したテンンプレート画等とのパターンマッチング等により抽出された頭部候補領域の「サングラス及びマスク」、「覆面」、「フルフェースヘルメット」等に対する類似度を顔隠蔽度として算出する。そして、ステップＳ１７にていずれかの種別の類似度が予め設定した閾値を以上の場合に当該顔隠蔽方法により顔の大部分を隠蔽していると判定する。
【００４８】
ステップＳ１８及びステップＳ１９において不審者判定手段４４により不審者の判定が行われる。
ステップＳ１７で顔隠蔽されていると判定すると（ステップＳ１７−Ｙｅｓ）、ステップＳ１８で当該人物領域ラベルに対する不審者スコアを加算する。一方、ステップＳ１７で顔隠蔽されていないと判定すると、ステップＳ１１へ戻る。ここで不審者スコアは、所定フレーム数内における顔隠蔽者の検出の有無（隠蔽検知を１、未検知を０）を顔隠蔽度として加算される。或いは上述のように顔隠蔽種別各々についての類似度を顔隠蔽度として不審者スコアが加算されるようにしもよい。
【００４９】
次にステップＳ１９では算出された顔隠蔽した人物領域(或いは頭部候補領域）の不審スコアが所定基準を満たしているか否かが判定される。本実施の形態では、前述のように不審者判定基準として２つの判定基準を定めている。ステップＳ１８において算出された不審者スコアが第１の判定基準を満たすか否かを判定している。第１の判定基準としては、例えば連続する所定フレーム（例えば５フレーム）内である顔隠蔽者が所定回数以上（例えば３フレーム）検出される場合に不審者として判定されるようにしている。
一方、ステップＳ２２の処理により第１の判定基準を満たさなくても第２の判定基準を満たせば不審者として判定されるようにしている。この第２の判定基準については後述する。いずれかの不審者判定基準を満たす場合（ステップＳ１９−Ｙｅｓ）、ステップＳ２０で不審者と判定し、所定の通報先へ通報を行う。
【００５０】
不審者判定基準を満たさない場合(ステップＳ１９−Ｎｏ)はステップＳ１１へ戻り、次のフレームの処理を継続する。尚ステップＳ２０にて遠隔の監視センタへ通報を行うとともに、監視空間内を撮影した入力画像を出力部５より出力する。この場合、第１の判定基準により不審者と判定した場合は不審者判定時の入力画像を送信するが、第２の判定基準により不審者と判定した場合は、時間を遡って顔隠蔽度が所定以上の人物領域が抽出された入力画像を送信する。これは、第２の判定基準により不審者と判定した時点では、入力画像には人物が写っていない可能性が高いからである。
【００５１】
以上、不審者判定処理について説明した。次にステップＳ２２の消失処理について図４のフローチャートを用いて説明する。尚、図４のフローチャートにおける処理は頭部候補領域が入力画像中で複数抽出される場合は、各々について個別に実効される。また図４のフローチャートにより処理対象の顔隠蔽者が不審者と判定された場合には、不審者フラグがオンになるものとする。この不審者フラグがオンで不審者と判定される場合は第２の判定基準による判定と識別できる。
【００５２】
まずステップＳ２２１では、ステップＳ２１で判定された消失した人物領域（或いは頭部候補領域）が所定条件を満たした顔隠蔽者であるか否かが判定される。顔隠蔽者でないものが消失した場合はこのルーチンを抜けて図３のフローチャートに戻る。また、顔隠蔽者であるが所定条件を満たしていない場合にもこのルーチンを抜けて図３のフローチャートに戻る。この場合の所定条件は、上述の第１の判定基準により不審者と判定される場合よりも緩和された条件が設定される。具体的には、第１の判定基準では、連続する所定フレーム（例えば５フレーム）内で第１の所定値（たとえば３フレーム）以上、顔隠蔽者が検知された場合に不審者と判定している場合、ここでの所定条件は連続する所定フレーム内で第２の所定値（たとえば２フレーム）以上顔隠蔽者が検知された場合に条件をクリアするようにしている。
【００５３】
次にステップＳ２２２では人物領域（又は頭部候補領域）が消失後、所定フレーム数（例えば５フレーム）が経過しているか否かが判定される。具体的には、人物領域消失後にカウントが開始されるロストカウントが所定数を超えたか否かにより判定される。所定フレーム数が経過していない場合はステップＳ２２６へ進み、ロストカウントをインクリメントしてこのルーチンを抜ける。上述のように一度消失した人物領域が再び入力画像上で抽出された場合はステップＳ１３でロストカウントがリセットされる。
【００５４】
人物領域（又は頭部候補領域）が消失して所定フレームが経過している場合は、ステップＳ２２３へ進む。ステップＳ２２３では、消失前の人物領域の移動方向が算出される。消失した人物領域の情報は記憶部３に消失情報として記憶されている。当該人物領域の移動方向が重要監視物の方向へ向かった後、消失したと判定された場合はステップＳ２２４へ進む。移動方向の算出は人物領域の追跡処理結果と、重要監視物の位置の関係から判定する。
【００５５】
本実施の形態では、図１（ａ）のように重要監視物の上に撮像部２が設置されているため、複数の入力画像上で人物領域の大きさを比較し、所定以上大きくなっており、かつ重要監視物方向に移動している場合に撮像部２に接近したと判定することができる。別途重要監視物の入力画像上の位置を、入力可能な入力部を設けて、記憶部３に記憶しておくようにしてもよい。
【００５６】
また、人物追跡については上記撮像部２とは別に天井に撮像部（天井カメラ）を設置し、上方から取得した入力画像の処理結果を利用するようにしてもよい。
この場合、天井カメラでの人物追跡結果と正面から取得した入力画像上での追跡結果とを関連づけて記憶部３に記憶しておくことで、検知性能の向上が可能となる。具体的には図４のステップＳ２２２で正面カメラ２により人物領域が所定フレーム消失した場合、ステップＳ２２３の判定を、天井カメラ７で追跡処理した人物の移動方向を参照する。そして人物領域が重要監視物に向かっている場合はステップＳ２２４へ進むようにする。このようにすることで、不審者の検知精度をさらに向上させることが期待できる。
【００５７】
ステップＳ２２３で消失した人物の移動方向が重要監視物以外の方向に移動した後、消失した場合は、単に通行した人などであるとして、このルーチンを抜けて図３のフローチャートに戻る。
【００５８】
次にステップＳ２２４では、顔隠蔽判定手段４３で算出した顔隠蔽種別ごとの顔隠蔽度を再び参照して、比較する。これについて図５を用いて説明する。図５は顔隠蔽度として、抽出した頭部候補領域と、予め用意した「マスク＋サングラス」、「覆面」、「フルフェースヘルメット」等の顔隠蔽パターンとの類似度を求めたものであり、当該類似度は所定フレーム内における加算値である。或いは前述のようにHaar-Like特徴量を用いた各種別ごとの探索器の探索結果として各々の顔隠蔽種別の尤もらしさを数値として求めることもできる。今、図５（ａ）の例では「ヘルメット」「覆面」のいずれの顔隠蔽度も第１閾値以上であるが、この場合は第１の判定基準は満たしていると判定される。
【００５９】
一方、第２の判定基準では、第１の判定基準よりも緩和された判定基準で不審者と判定可能としつつ、誤検出を極力防止するという観点から、図５（ｂ）に示すように特定の種別の顔隠蔽度のみ第１閾値より低い第２閾値以上（ヘルメット）であり、他の種別の顔隠蔽度が第２閾値より低い第３閾値未満である場合に、ステップＳ２２４の条件を満たすと判定され、ステップＳ２２５で不審者フラグをオンにする。そして、図３のフローチャートに戻る。この場合、図３のフローチャートにおいてステップＳ１９で第２の判定基準により不審者として判定される。
【００６０】
また、上述の図５の説明では、顔隠蔽度を予め用意したパターンとの類似度として表現したが、前述のように不審者スコアとして加算する顔隠蔽度を所定フレーム（例えば５フレーム）内における顔隠蔽者の検知回数とする場合も同様の判定方法が可能である。具体的にはステップＳ２２４の処理は、特定の顔隠蔽種別のみの判定回数が第１閾値（例えば３回）より低い第２閾値以上（例えば２回）を満たし、他の顔隠蔽種別の判定回数が第２閾値より低い第３閾値未満（例えば１回）かどうかを判定するようにすればよい。
【００６１】
尚、ステップＳ２２４の処理は誤検出を防止してより確実に不審者と判定するための処理であり、失報を防止するという観点では必須の処理ではない。しかし、このようにすることで、重要監視物に早足で接近してカメラの撮像領域から消失して、犯行に及ぼうとする不審者を確実に検出し、単に画面を駆け抜けて撮像領域から消失する人物を不審者として誤判定しないようにすることが可能となる。
【００６２】
以上、本発明の画像監視装置について説明を行った。尚、本画像監視装置における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【符号の説明】
【００６３】
１・・・画像監視装置
２・・・撮像部
３・・・記憶部
４・・・画像信号処理部
５・・・出力部
６・・・重要監視物
【特許請求の範囲】
【請求項１】
重要監視物が設置された監視領域内を撮像した画像を取得する撮像部と、
前記撮像部が順次取得した入力画像を処理し、不審者を検出したと判定すると警報信号を生成する画像信号処理部と、
前記警報信号を出力する出力部とを備えた画像監視装置であって、
前記画像信号処理部は、
前記入力画像から人物領域を抽出する人物領域抽出手段と、
前記人物領域上にて頭部候補領域を抽出する頭部候補領域抽出手段と、
前記頭部候補領域が顔隠蔽しているか否かの顔隠蔽度を判定する顔隠蔽判定手段と、
前記顔隠蔽度に基づいて不審者を検出する不審者判定手段とを有し、
前記不審者判定手段は、
前記顔隠蔽度が第一所定値以上のときに不審者を検出したと判定する第一の判定基準と、
前記顔隠蔽度が前記第一所定値より低い第二所定値以上で、かつ複数の前記入力画像から算出された前記人物領域又は頭部候補領域が前記重要監視物方向へ移動後、所定数の入力画像中で抽出されない場合に、前記顔隠蔽度が前記第一所定値未満でも不審者と判定する第二の判定基準を有することを特徴とする画像監視装置。
【請求項２】
前記顔隠蔽判定手段は、前記入力画像中で前記頭部候補領域が顔隠蔽と判定されるごとに前記顔隠蔽度を加算することを特徴とする請求項１の画像監視装置。
【請求項３】
前記顔隠蔽判定手段は、複数の顔隠蔽種別ごとに顔隠蔽度を算出し、
前記不審者判定手段は、前記第二の判定基準においては、特定の顔隠蔽種別のみが前記第二の所定値以上であり、さらに前記特定の顔隠蔽種別以外の種別の顔隠蔽度は前記第二の所定値より低い第三の所定値未満の場合に不審者と判定することを特徴とする請求項１又は請求項２に記載の画像監視装置。
【請求項４】
前記出力部は、前記第一の判定基準により不審者と判定した場合は、当該判定時点における入力画像を出力し、前記第二の判定基準により不審者と判定した場合は、当該判定時点より遡った時点における前記顔隠蔽度が所定値以上の前記頭部候補領域を含む入力画像を出力する請求項１乃至３に記載の画像監視装置。
【請求項１】
重要監視物が設置された監視領域内を撮像した画像を取得する撮像部と、
前記撮像部が順次取得した入力画像を処理し、不審者を検出したと判定すると警報信号を生成する画像信号処理部と、
前記警報信号を出力する出力部とを備えた画像監視装置であって、
前記画像信号処理部は、
前記入力画像から人物領域を抽出する人物領域抽出手段と、
前記人物領域上にて頭部候補領域を抽出する頭部候補領域抽出手段と、
前記頭部候補領域が顔隠蔽しているか否かの顔隠蔽度を判定する顔隠蔽判定手段と、
前記顔隠蔽度に基づいて不審者を検出する不審者判定手段とを有し、
前記不審者判定手段は、
前記顔隠蔽度が第一所定値以上のときに不審者を検出したと判定する第一の判定基準と、
前記顔隠蔽度が前記第一所定値より低い第二所定値以上で、かつ複数の前記入力画像から算出された前記人物領域又は頭部候補領域が前記重要監視物方向へ移動後、所定数の入力画像中で抽出されない場合に、前記顔隠蔽度が前記第一所定値未満でも不審者と判定する第二の判定基準を有することを特徴とする画像監視装置。
【請求項２】
前記顔隠蔽判定手段は、前記入力画像中で前記頭部候補領域が顔隠蔽と判定されるごとに前記顔隠蔽度を加算することを特徴とする請求項１の画像監視装置。
【請求項３】
前記顔隠蔽判定手段は、複数の顔隠蔽種別ごとに顔隠蔽度を算出し、
前記不審者判定手段は、前記第二の判定基準においては、特定の顔隠蔽種別のみが前記第二の所定値以上であり、さらに前記特定の顔隠蔽種別以外の種別の顔隠蔽度は前記第二の所定値より低い第三の所定値未満の場合に不審者と判定することを特徴とする請求項１又は請求項２に記載の画像監視装置。
【請求項４】
前記出力部は、前記第一の判定基準により不審者と判定した場合は、当該判定時点における入力画像を出力し、前記第二の判定基準により不審者と判定した場合は、当該判定時点より遡った時点における前記顔隠蔽度が所定値以上の前記頭部候補領域を含む入力画像を出力する請求項１乃至３に記載の画像監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−２１２２１５（Ｐ２０１２−２１２２１５Ａ）
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願番号】特願２０１１−７６３３１（Ｐ２０１１−７６３３１）
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
[ Back to top ]