画像監視装置
【課題】監視空間内において顔を隠蔽している人物を不審者として判定する画像監視装置において、人物の後頭部等を顔隠蔽者と誤判定することを防止する。
【解決手段】画像監視装置１は、撮像部２にて取得された入力画像中から人物領域を抽出し、さらに人物領域周辺部から頭部候補領域を抽出する。そして抽出された頭部候補領域が顔隠蔽者か否か判定する際に、肌領域の重心位置が頭部候補領域の中心付近の所定領域内にある場合に、顔隠蔽者と判定する。
【解決手段】画像監視装置１は、撮像部２にて取得された入力画像中から人物領域を抽出し、さらに人物領域周辺部から頭部候補領域を抽出する。そして抽出された頭部候補領域が顔隠蔽者か否か判定する際に、肌領域の重心位置が頭部候補領域の中心付近の所定領域内にある場合に、顔隠蔽者と判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、重要監視物等が設置された空間において、監視空間を撮影した画像情報の解析結果から、監視空間内に存在する人物が不審者と判定されると遠隔の監視センタに通報する画像監視装置に関する。より具体的には、人物の後頭部などを覆面を被った不審者と誤認することを防止できる画像監視装置の提供を目的とする。
【背景技術】
【０００２】
従来、店舗、事務室等の監視領域に侵入する人物を検出して、遠隔の監視センタに通報する監視システムにおいて、カメラで撮像された画像から人物領域の特徴情報を抽出して不審人物等の特徴に合致した場合、自動的に遠隔の監視センタに通報出力し、監視センタのオペレータにより遠隔から画像監視を可能とする画像監視装置が知られている。
【０００３】
このような画像を用いた監視システムにおいては、監視領域に設置された画像監視装置から不審者を検出したとする警報信号が通報されると、監視センタのオペレータが画像を確認して判断を行う。そして実際には不審者ではなく、誤検出であると判定された場合には、オペレータはリセット操作を行い、通常の監視状態に復帰させる。
【０００４】
ここで不審者とは、例えば顔を隠蔽した人物や、挙動が不審な人物等が想定される。例えば、特許文献１には、不特定多数の人が利用する施設において、来訪者の顔の画像から、目、耳、鼻、口などの顔の特徴部分が、サングラスやマスクのために抽出できない場合に不審者人物候補として管理人等に通報する警報装置が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−３５９９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１の警報装置の例では、現金自動支払いコーナーの操作者を正面で撮影可能な位置にカメラが設置されているが、より広い撮像範囲を監視する画像監視装置の場合、画像に写りこんだ人物が正面を向いているとは限られない。例えば、画像に写りこんだ人物が後ろを向いており、その後頭部から顔の各パーツが検出されないと不審者として誤認してしまい、遠隔の監視センタに通報してしまう可能性がある。
【０００７】
このように、画像に写りこんだ悪意のない第三者を不審人物として誤検出することにより、監視オペレータの処理負荷、通信コストの増大を招くという問題がある。
【０００８】
本発明は、上記課題に鑑みてなされたものであり、監視領域に設置された画像監視装置が正常な人物を顔隠蔽者として誤検出することを極力防止するとともに、実際の顔隠蔽者として特に覆面顔の人物が俯いたような場合でも確実に失報することなく検出可能とする画像監視装置の提供を目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために本発明による画像監視装置は、監視領域を撮像した画像を取得する撮像部と、前記撮像部が順次取得した入力画像を処理し、不審者を検出したと判定すると警報信号を生成する画像信号処理部と、前記警報信号を出力する出力部とを備えた画像監視装置であって、前記画像信号処理部は、前記入力画像より人体の頭部候補領域を抽出する頭部候補領域抽出手段と、前記抽出された頭部候補領域の輝度情報に基づいて顔隠蔽しているか否かを判定する顔隠蔽判定手段と、前記顔隠蔽判定結果に基づいて不審者の検出を判定する不審者判定手段とを有し、前記顔隠蔽判定手段は、前記頭部候補領域内の肌領域を抽出する肌領域抽出手段をさらに含み、前記輝度情報に基づいた顔隠蔽判定結果と、前記肌領域抽出手段により抽出された肌領域の位置に基づいて顔隠蔽の有無を判定する。
かかる構成によれば、例えば人の後頭部等と覆面顔の人物が俯いた場合を確実に識別し、誤判定を防止して、不審者を検出したことを精度良く判定することが可能となる。
【００１０】
また、本発明の好適な態様において、前記顔隠蔽判定手段は、前記肌領域が前記頭部候補領域の中心を含む所定領域内に存在する場合に、顔を隠蔽したと判定する。かかる構成によれば、覆面の目部分の肌領域の位置に基づいて顔を隠蔽した不審者と精度良く判定できる。
【００１１】
また、本発明の好適な態様において、前記顔隠蔽判定手段は、前記肌領域が前記頭部候補領域の中心を含む所定領域より外側の領域に存在する場合に、顔を隠蔽しないと判定する。
かかる構成によれば、人の後頭部の襟首や耳等の肌領域の位置に基づいて、人の後頭部を覆面により顔を隠蔽した不審者と誤判定することを防止する。
【００１２】
さらに、本発明の好適な態様において、前記顔隠蔽判定手段は、黒画素割合算出手段を有し、前記頭部候補領域内に占める黒画素の占める割合が所定未満の場合には、前記肌領域の位置に関わらず顔を隠蔽したと判定する。かかる構成によれば、頭部候補領域内の輝度が黒画素が少ない場合には、人の後頭部の頭髪ではない可能性が高い判定することで、覆面による顔隠蔽者と人の後頭部とを確実に識別できる。
【図面の簡単な説明】
【００１３】
【図１】本発明にかかる画像監視装置が店舗の事務室に設置された例である。
【図２】本実施の形態にかかる画像監視装置の概略構成図である。
【図３】本実施の形態にかかる画像監視装置の動作を表す全体フロー図である。
【図４】本実施の形態にかかる画像監視装置の顔隠蔽判定処理の動作フロー図である。
【図５】本実施の形態にかかる画像監視装置の顔隠蔽検出例を表す図である。
【発明を実施するための形態】
【００１４】
以下、図を参照しつつ、本発明にかかる画像監視装置の一実施形態として、当該画像監視装置を、スーパーマーケットなどの店舗の事務室に設置し、事務室内の金庫等の重要監視物周辺に存在する不審人物を検出するための監視装置として実現した例について説明する。また本画像監視装置は、警備装置を構成する機能の一部としても実現可能であり、夜間等の人の不在の警備中だけでなく、開店中などの警備解除中も監視を実施することを想定している。事務室においては開店時間中は、店長など金庫の開錠可能な人物だけでなく、従業員やアルバイトも事務室に入室可能である。また、従業員やアルバイトの隙をみて、不審者が金庫に近づいたり、従業員やアルバイトを拘束して不審者が金庫に近づく可能性もあることが想定される。こうした店舗や事務室には監視カメラが設置されているため、窃盗や強盗を企てる不審者は、ほとんどの場合、覆面やサングラス、マスク等で顔を隠蔽している。
【００１５】
本実施の形態における画像監視装置は、金庫等の重要物付近に人物がいる場合に、重要物付近に設置されたカメラから当該人物の顔部分を抽出し、顔部分を隠蔽している場合に不審者として遠隔の監視センタに非常通報を行うとともに、監視領域内の撮像画像を送信する。
【００１６】
図１（ａ）は、本発明にかかる画像監視装置１が、事務室に設置された様子を表す模式図である。設置場所としては事務室の他、店頭に陳列する前の商品が棚に並べられた保管庫があるバックヤードなどが例示できる。図１（ａ）において、事務室の床の隅に金庫６が設置されている。
【００１７】
画像監視装置１の撮像部２は、金庫６の上方に概略水平方向に向けて設置され、撮像部２の視野は事務室全体を含むものとする。この視野内が監視領域である。画像監視装置は、撮像部２で取得された画像を処理し、その画像中に含まれる人物の顔隠蔽の有無を判定する。顔隠蔽の有無の判定とは、不審者が、サングラスとマスク、覆面、フルフェースのヘルメット等で顔を隠蔽して、人物の特定を困難なようにしているか否かを判定することである。
【００１８】
撮像部２から取得された画像を本実施の形態では入力画像と称する。入力画像の例を図１（ｂ）に示す。図１（ｂ）からわかるように、概略水平方向に向けられたカメラの画像であることを活かし、画像中の人物が顔を撮像部２に向けている状態であれば人相を把握できる。そして顔隠蔽判定技術を用いることで顔隠蔽の有無の判定が可能となる。なお、入力画像は、画像中の人物について人相の他、服装や背格好の情報も取得可能であるため、証跡性の確保を目的とした画像として、記録するためにも用いることもできる。
【００１９】
図２は、一つの実施形態としての本発明にかかる画像監視装置１の概略構成図である。画像監視装置１は、撮像部２と、記憶部３と、画像信号処理部４と、出力部５とを有する。
【００２０】
撮像部２は、少なくともひとつのカメラで構成されＣＣＤまたはＣ−ＭＯＳなど、可視光に感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に監視領域の像を結像する結像光学系などを有する。撮像部２は、例えば、ＮＴＳＣ規格に従って、連続的に撮影を行うカメラとすることができる。あるいは、撮像部２は、いわゆるハイビジョンなど、より高解像度な画像を生成するものでもよい。
【００２１】
撮像部２は、本実施の形態では事務室を撮影した画像を、例えば、各画素の輝度が２５６階調で表される濃淡画像あるいはカラー画像として所定のフレーム間隔（例えば０．５秒間隔）毎に生成する。また撮像部２は、画像信号処理部４の図示しないインターフェース部と接続されており、撮像部２が画像を生成する度に、その生成した画像を入力画像として画像信号処理部４へ出力する。
【００２２】
記憶部３は、フラッシュメモリなどの不揮発性半導体メモリ、揮発性半導体メモリ、または磁気ディスク（ＨＤＤ）などの記憶装置を有する。記憶部３は、画像監視装置１で使用される各種のプログラム及び設定データ等を記憶する。また記憶部３は、画像監視装置１が起動したとき、あるいは定期的に撮像部２から取得した、人物が写っていない入力画像を背景画像として記憶する。
【００２３】
また記憶部３は入力画像中から抽出された人物領域の情報を人物領域情報として記憶しておく。さらに、記憶部３は、入力画像中から頭部候補領域、顔隠蔽判定を行うため、各種条件におけるテンプレート画像、設定データ等を記憶している。
【００２４】
画像信号処理部４は、撮像部２から入力された入力画像中の人物が顔隠蔽しているか否かに応じて不審者の判定を行い、その判定結果に応じて警報信号の送出処理を行う。画像信号処理部４は、人物領域抽出手段４１、頭部候補領域抽出手段４２、顔隠蔽判定手段４３、不審者判定手段４４、制御手段４５から構成される。これらの各構成手段は、記憶部３に記憶されるプログラムモジュールにて実現可能である。次に画像信号処理部４の各手段について説明する。
【００２５】
人物領域抽出手段４１は、撮像部２から取得された入力画像と記憶部３に記憶されている背景画像の画素毎の差分を求め、所定以上の輝度変化があり、人物を元に設定された所定範囲の大きさの変化領域を人物領域として抽出する。背景画像は、室内が無人時の入力画像で所定時間ごとに更新される画像である。人物領域抽出手段４１は抽出された人物領域が前フレームで抽出された人物領域と同一の移動体によるものか否かの判定を行い、新規に出現した人物領域の場合は、新たな管理番号を付与（ラベリング）し、その大きさ、位置等の情報とともに人物領域情報として記憶部３に記憶する。
【００２６】
現在のフレームで抽出されたが、前フレームで抽出された人物領域と同一の移動体によるものと推定される場合は、当該管理番号の人物領域情報に位置、大きさ等の情報を追加記憶する。この背景差分処理、ラベリング処理については、画像処理技術の分野では周知の技術であるので、これ以上の詳細な説明は省略する。
【００２７】
頭部候補領域抽出手段４２は、人物領域上で人体の頭部らしさが高い領域を頭部候補領域として抽出する。この頭部候補領域の抽出方法としては、楕円パターン等の頭部輪郭パターンをテンプレートとして記憶部３に記憶しておき、人物領域内でテンプレートとの類似度が高い領域を頭部候補領域として抽出する等の手法が採用できる。この手法については、本出願人による特開2005-25568に記載されている手法を採用することができる。
【００２８】
用意する頭部輪郭パターンとしては、楕円パターンに限られず、顔形状の輪郭を模擬したパターンでもよい。
【００２９】
また、人物領域から頭部候補領域を抽出する方法としては、HOG（Histogram of Oriented Gradients）特徴量ベースの検出方法を利用することもできる。HOG特徴量は、画像から任意のサイズで切り出した局所領域内のエッジ（輝度勾配）方向に着目した特徴量である。事前に多数の顔画像データと顔画像とは無関係の画像を学習用データとして用意し、様々のサイズの局所領域を学習用画像全体で探索を実行し、頭部候補領域の識別に有効な特徴量を選択する。HOG特徴量は、非常に次元数の大きな特徴量であるため、特徴量の選択には統計的学習手法の一つであるAdaboostを用い、頭部候補領域の識別に有効なHOG特徴量のセットを選別する。
【００３０】
この選別された特徴量のセットを用いて、入力画像から抽出された人物領域上で、頭部候補のエッジ特徴を持つ領域を頭部候補領域として抽出することができる。HOG特徴量ベースの顔検出方法については、例えば、Dalal N., Triggs B.: “Histograms
of Oriented Gradients for Human Detection.” IEEE Conf.CVPR, vol.1, pp.886-893, 2005.等に記載されている。
【００３１】
顔隠蔽判定手段４３は、抽出された頭部候補領域候補内の輝度情報に基づいて、顔隠蔽の有無を判定する。具体的には抽出された頭部候補領域内の画像特徴を分析して、素顔らしさである非顔隠蔽らしさ及び、サングラス及びマスクらしさ、覆面（目出し帽）らしさ、フルフェースヘルメットらしさ等の顔隠蔽らしさを数値化して求める。予め用意した、老若男女の素顔の顔画像データ及び上記各種別の顔隠蔽画像データに対し、複数のテンプレート画像を用意し、抽出した頭部候補領域の輝度情報と各々のテンプレート画像との類似度を算出して、最も類似するテンプレート画像について予め設定した閾値を超えていた場合に、当該頭部候補領域を素顔或いは、何らかの遮蔽物により顔を隠蔽している顔隠蔽者と判定する。
【００３２】
また、顔隠蔽の判定には、Haar-Like特徴量をベースとする判定方法を利用することもできる。Haar-Like特徴量は、隣り合う２つの矩形領域の平均輝度差に着目した特徴量であり、HOG特徴量同様、事前に用意した学習用画像データに対して、Adaboostを用いて、顔画像の識別に有効なHaar-Like特徴量を選別する。学習用の顔画像データとしては、素顔の顔画像データ、顔隠蔽種別ごとの顔画像データ、が及び顔画像とは無関係なデータを各々種々の条件で用意する。事前学習により、素顔の識別に有効な特徴量、各顔隠蔽の識別に有効な特徴量のセットを選別し、各々の顔隠蔽種別の識別に用いる探索器として用意しておく。頭部候補領域に対してこの各々の探索器を用いて素顔らしさ、及び各種別の顔隠蔽らしさの輝度特徴の類似度を数値化して求める。そして類似度が最も高い探索器についての類似度が予め設定した類似度を肥えていた場合に、当該頭部候補領域を素顔、或いはなんらかの遮蔽物により顔を隠蔽している顔隠蔽者と判定する。
【００３３】
このHaar-Like特徴量ベースの顔検出方法については、例えば、P.Viola and M.Jones:Rapid
Object Detection using a Boosted Cascade of Simple(CVPR2001)等に記載されている。
【００３４】
顔隠蔽判定手段４３は、肌領域抽出手段４３１、黒画素割合算出手段４３２を含む。
【００３５】
肌領域抽出手段４３１は、検出された頭部候補領域内における素肌部分の領域を抽出する。
【００３６】
素肌部分の抽出は、色情報を利用して肌色部分を抽出する方法が採用できる。この肌色領域を抽出する方法は、公知の手法であり、例えば本出願人による特開2005-049979に記載されている手法が採用できる。肌領域を抽出するのは、人間の後頭部と覆面による顔隠蔽者を識別するためであり、覆面による顔隠蔽度合いが高いとしても、頭部候補領域における肌領域の位置が中心付近にない場合は、抽出された肌領域は例えば後頭部の襟首部分の可能性が高く、この場合は顔隠蔽者ではないとの判定に用いることができる。一方、肌領域の位置が中心付近にある場合は、覆面の目出し部分である可能性が高く、この場合は顔隠蔽者であるという判定に用いることができる。
【００３７】
黒画素割合算出手段４３２は、抽出された頭部領域内における黒画素の割合を求める。黒画素の割合を求めるのは、人間の後頭部と覆面による顔隠蔽者を識別するためであり、覆面による顔隠蔽度合いが高く、頭部候補領域における黒画素が含まれる割合が少ない場合は、上述の肌領域の位置に関わらず色つき覆面である可能性が高い。一方黒画素の割合が多い場合は、覆面による顔隠蔽者の場合と人間の後頭部の頭髪部分である場合の識別が困難であるため、肌領域の位置の判定を必要とする。
【００３８】
不審者判定手段４４は、顔隠蔽判定手段４３で監視領域中に顔隠蔽者が存在し、不審者判定条件を満たす場合に当該顔隠蔽者を不審者と判定する。不審者判定条件の例としては、顔隠蔽者が検出された回数が、連続する所定フレーム内（例えば５フレーム）で、予め設定された回数（例えば３回）カウントされた場合に不審者と判定するなどである。
【００３９】
制御手段４５は、画像監視装置１の各部を統合的に制御する。また、不審者判定手段４４による不審者判定結果から、出力部５を制御して、警報信号を出力させるか否かを決定する手段である。
【００４０】
出力部５は、制御手段４５からの指示を受け、予め登録された出力先に警報信号を出力する機能を有する。ここでは警報信号を警備会社等の監視センタに通信回線を経由して通報するようにしてある。また警報信号の出力先としては上記に限られない。例えば、監視対象内に設けたスピーカ等より警告音を鳴らしたり、警告メッセージを発するようにしてもよい。さらに、予め登録した利用者等の携帯電話に通信回線を介して通報するようにしてもよい。
【００４１】
以上本実施形態の画像監視装置の構成について説明した。
【００４２】
次に図３および図４に示したフローチャートを参照して、本実施の形態にかかる画像監視装置１の動作の一例を説明する。図３は、本実施の形態にかかる画像信号処理部３のメインフロー図である。図３においてステップＳ１１〜ステップＳ２０の処理は、画像信号処理部３が撮像部２から所定のフレーム周期（例えば０．５ｓごと）で入力画像を取得する度に実行される。
【００４３】
画像監視装置１は、電源投入され、初期設定が完了すると稼動開始する。初期設定としては、撮像部２から入力した入力画像を背景画像として記憶部３に記憶される等の処理が行われる。この背景画像は所定の時間間隔で適宜更新される。
【００４４】
図３のフローチャートにおいて、まずステップＳ１１では撮像部２から入力画像を取得する。取得した入力画像は記憶部３に一時記憶される。記憶部３には現在時刻から所定時間前までの所定枚数分の入力画像が記憶可能な記憶領域が用意されており、当該記憶領域がフルになると、記憶されている最も古い画像を削除して、新たな入力画像を記憶するようにしている。また記憶済みの画像を定期的に外部のハードディスク等にバックアップするようにしてもよい。
【００４５】
次にＳ１２にて、人物領域抽出手段４１は、ステップＳ１１にて取得された入力画像を処理し、人物領域の抽出を行う。人物領域の抽出は記憶部３に記憶されている背景画像と入力画像の差分が所定以上の領域を人物領域として抽出する背景差分法などの一般的な方法を採用すれば良い。
【００４６】
なお、所定の条件を満たす人物領域を抽出しない場合（ステップＳ１３−Ｎｏ）には、監視領域内は無人であるとして、ステップＳ１１へ戻る。人物領域が抽出された場合（ステップＳ１３−Ｙｅｓ）はステップＳ１４へすすむ。
【００４７】
ステップＳ１４では、人物領域抽出手段４１は記憶部３に記憶されている前フレームの入力画像から取得された人物領域情報を参照し、現フレームで抽出された人物領域と前フレームで抽出された人物領域の対応づけ処理を行う。前フレームで人物領域が抽出されていなければ、現フレームで抽出された人物領域に新たな管理番号を付与して、その大きさ、位置等の情報を人物領域情報として記憶部３に記憶する。
【００４８】
ステップＳ１５では頭部候補領域抽出手段４２により人物領域内で、テンプレートマッチングなどにより探索を行い、人物の頭部候補領域を抽出する。そしてステップＳ１６にて顔隠蔽検出処理を行い、ステップＳ１７にて顔隠蔽判定手段４３により、抽出された頭部候補領域がサングラス及びマスク、覆面、フルフェースヘルメット等により顔の大部分を隠蔽しているか否かを判定する。ステップＳ１６の処理はサブルーチン化されており、詳細については後述する。
【００４９】
ステップＳ１７で顔隠蔽されていると判定すると（ステップＳ１７−Ｙｅｓ）、次にステップＳ１８で当該ラベルに対する不審者度合い（不審者スコア）を加算して、ステップＳ１９へ進む。またステップＳ１７で顔隠蔽されていないと判定するとステップＳ１１へ戻る。ここで不審者スコアは、顔隠蔽の種別、及び素顔の場合についての所定フレーム数内における検知回数等により求められる。
【００５０】
次にステップＳ１９で顔隠蔽した人物領域(ラベル）の不審者度合いが不審者判定条件を満たすか否かが判定される。上述のように不審者判定条件としては、例えば連続する所定フレーム（例えば５フレーム）内である特定の種別の顔隠蔽者が所定回数以上（例えば３フレーム）検出されるなどで判定される。不審者判定条件を満たす場合（ステップＳ１９−Ｙｅｓ）、ステップＳ２０で不審者を検出したと判定し、所定の通報先へ通報を行う。
【００５１】
不審者判定条件を満たさない場合(ステップＳ１９−Ｎｏ)はステップＳ１１へ戻り、次のフレームの処理を行う。
【００５２】
以上、画像信号処理部３の不審者判定処理について説明した。次にステップＳ１６の顔隠蔽判定処理について図４のフローチャートを用いて説明する。尚、図４のフローチャートにおける処理は頭部候補領域が入力画像中で複数抽出される場合は、各々について個別に実効される。また図４のフローチャートにより処理対象の頭部候補領域が顔隠蔽と判定された場合には、顔隠蔽フラグがオンになるものとする。この顔隠蔽フラグは頭部候補領域が複数ある場合は各々について設定される。
【００５３】
まず、ステップＳ１５１において顔隠蔽度の算出が行われる。ここでの顔隠蔽度の算出は、頭部候補領域内の輝度情報に基づいて、素顔らしさ、顔隠蔽種別としての予め設定された「サングラス＋メガネ」「覆面( 目出し帽)」、「フルフェースヘルメット」「手の平による隠蔽」等について各々の最もらしさが各々算出される。尚、顔隠蔽種別としては適宜他の種別を追加設定可能である。
【００５４】
ステップＳ１５２では、いずれの種別かの顔隠蔽度が設定した閾値を超えているか否かが判定される。
【００５５】
なお、ここで不審顔の分類は、そのほかにも複数設定可能であるため、複数の分類について閾値を超える可能性はあることに留意する。この場合は、いずれかの顔隠蔽度を超える場合に顔隠蔽がされていると判定してもよいし、最も数値が高いものをその頭部候補領域に対してなされた隠蔽手段として判定してもよい。また、素顔らしさが所定の数値を超える場合は、顔隠蔽度のいずれかが設定した閾値を超えていたとしても素顔と判定するようにしてもよい。
【００５６】
いずれの顔隠蔽条件も満たさない場合（ステップＳ１５２−Ｎｏ）はこのルーチンを抜けて図３のフローチャートへ戻る。
【００５７】
次に、ステップＳ１５２でいずれか又は複数の顔隠蔽条件を満たす場合、ステップＳ１５３で覆面（目だし帽）による顔隠蔽条件を満たすか否かを判定する。覆面以外の顔隠蔽条件のみ満たす場合、或いは他の隠蔽手段によるもっともらしさが覆面による顔隠蔽よりも高い場合は、ステップＳ１５６へ進み、顔隠蔽フラグをオンにして図３のフローチャートに戻る。
【００５８】
ステップＳ１５３で覆面による顔隠蔽と判定された場合は、ステップＳ１５４にて黒画素割合算出手段４３２により頭部候補領域における各画素の輝度値が求められ、黒画素の全体に占める割合が算出される。これは、主に処理対象の頭部候補領域が覆面による隠蔽か、人間の後頭部によるものかの識別を行うための処理である。具体的には黒以外の色である場合には覆面顔である可能性が高いため、頭部候補領域における黒画素の占める割合が所定以下の場合（ステップＳ１５４−Ｎｏ）は、覆面顔である可能性が高いとしてステップＳ１５６へ進み、顔隠蔽フラグをオンにして図３のフローチャートに戻る。一方、頭部候補領域中における黒画素の割合が所定値を超える場合は、黒画素の割合が多いということであるから、黒色の覆面か人間の後頭部かの識別が困難であるため、ステップＳ１５５へ進む。
【００５９】
ステップＳ１５５では、肌領域抽出手段４３１により、頭部候補領域中における肌領域が抽出され、その重心位置が頭部候補領域中の中心を含む所定領域内にあるか否かが判定される。そして、肌領域の重心位置が所定領域外の場合は、後頭部による可能性が高いとしてこのルーチンを抜け、図３のフローチャートへ戻る。一方、肌領域の重心位置が所定領域の中にある場合は、これは覆面による顔隠蔽の可能性が高いとして顔隠蔽フラグをオンにして、このルーチンを抜け図３のフローチャートへ戻る。ステップＳ１５５の処理について図５を用いて具体的に説明する。
【００６０】
図５（ａ）は覆面による顔隠蔽者が入力画像中に撮像された例である。図５（ａ）において頭部候補領域５０１が抽出されているとする。この場合において覆面による顔隠蔽者の肌領域は目出し部分である５０３であり、この重心位置は、顔隠蔽者が正面を向いても、俯いたとしても頭部候補領域５０１内の中心を含む所定領域５０２内に存在する。一方、図５（ｂ）は人間の後頭部が入力画像中に撮像された例である。この場合は、人の後頭部の襟首付近が肌領域５０６として抽出される。この肌領域５０６は頭部候補領域５０４において中心から離れた位置に存在する。そのため、肌領域５０６の重心位置は、所定領域５０５内には含まれない。従って、頭部候補領域内に存在する肌領域の重心位置により、覆面による顔隠蔽者であるのか、人間の後頭部であるのかが識別可能となる。重心位置の判定に用いる頭部候補領域内の所定領域は、頭部候補領域の中心を含み、頭部候補領域の上下左右の所定割合（例えば１０％）を除く矩形領域として設定することができる。あるいは頭部候補領域に対する面積比を設定し、頭部候補領域と中心が一致する領域として設定してもよい。また、矩形領域に限定されず楕円形の領域として設定してもよい。この場合は、長径、短径の長さを頭部候補領域のサイズに応じて設定したり、面積比で設定するようにしてもよい。
【００６１】
尚、抽出された頭部候補領域内において肌領域は必ずしも抽出されるとは限らない。特に覆面を被った不審者が俯く場合は、肌領域が抽出されない場合もある。従って、図４のステップＳ１５５の処理において頭部候補領域内の中心を含む所定領域内で肌領域（重心）が抽出された場合に顔隠蔽していると判定せず、頭部候補領域の中心を含む所定領域より外側の領域に肌領域（重心）が抽出された場合に顔隠蔽していないと判定するようにしてもよい。後者の場合は、抽出された肌領域は人間の後頭部の襟首や耳等の肌部分である可能性がある。この場合は、顔隠蔽者ではないとして判定することができる。
【００６２】
以上、本発明の画像監視装置について説明を行った。尚、本画像監視装置における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。本実施の形態では、覆面による顔隠蔽時について例外処理を行っているが、他の顔隠蔽条件についても各々の特徴に応じた処理を追加することは可能である。
【符号の説明】
【００６３】
１・・・画像監視装置
２・・・撮像部
３・・・記憶部
４・・・画像信号処理部
５・・・出力部
６・・・重要監視物
【技術分野】
【０００１】
本発明は、重要監視物等が設置された空間において、監視空間を撮影した画像情報の解析結果から、監視空間内に存在する人物が不審者と判定されると遠隔の監視センタに通報する画像監視装置に関する。より具体的には、人物の後頭部などを覆面を被った不審者と誤認することを防止できる画像監視装置の提供を目的とする。
【背景技術】
【０００２】
従来、店舗、事務室等の監視領域に侵入する人物を検出して、遠隔の監視センタに通報する監視システムにおいて、カメラで撮像された画像から人物領域の特徴情報を抽出して不審人物等の特徴に合致した場合、自動的に遠隔の監視センタに通報出力し、監視センタのオペレータにより遠隔から画像監視を可能とする画像監視装置が知られている。
【０００３】
このような画像を用いた監視システムにおいては、監視領域に設置された画像監視装置から不審者を検出したとする警報信号が通報されると、監視センタのオペレータが画像を確認して判断を行う。そして実際には不審者ではなく、誤検出であると判定された場合には、オペレータはリセット操作を行い、通常の監視状態に復帰させる。
【０００４】
ここで不審者とは、例えば顔を隠蔽した人物や、挙動が不審な人物等が想定される。例えば、特許文献１には、不特定多数の人が利用する施設において、来訪者の顔の画像から、目、耳、鼻、口などの顔の特徴部分が、サングラスやマスクのために抽出できない場合に不審者人物候補として管理人等に通報する警報装置が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−３５９９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１の警報装置の例では、現金自動支払いコーナーの操作者を正面で撮影可能な位置にカメラが設置されているが、より広い撮像範囲を監視する画像監視装置の場合、画像に写りこんだ人物が正面を向いているとは限られない。例えば、画像に写りこんだ人物が後ろを向いており、その後頭部から顔の各パーツが検出されないと不審者として誤認してしまい、遠隔の監視センタに通報してしまう可能性がある。
【０００７】
このように、画像に写りこんだ悪意のない第三者を不審人物として誤検出することにより、監視オペレータの処理負荷、通信コストの増大を招くという問題がある。
【０００８】
本発明は、上記課題に鑑みてなされたものであり、監視領域に設置された画像監視装置が正常な人物を顔隠蔽者として誤検出することを極力防止するとともに、実際の顔隠蔽者として特に覆面顔の人物が俯いたような場合でも確実に失報することなく検出可能とする画像監視装置の提供を目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために本発明による画像監視装置は、監視領域を撮像した画像を取得する撮像部と、前記撮像部が順次取得した入力画像を処理し、不審者を検出したと判定すると警報信号を生成する画像信号処理部と、前記警報信号を出力する出力部とを備えた画像監視装置であって、前記画像信号処理部は、前記入力画像より人体の頭部候補領域を抽出する頭部候補領域抽出手段と、前記抽出された頭部候補領域の輝度情報に基づいて顔隠蔽しているか否かを判定する顔隠蔽判定手段と、前記顔隠蔽判定結果に基づいて不審者の検出を判定する不審者判定手段とを有し、前記顔隠蔽判定手段は、前記頭部候補領域内の肌領域を抽出する肌領域抽出手段をさらに含み、前記輝度情報に基づいた顔隠蔽判定結果と、前記肌領域抽出手段により抽出された肌領域の位置に基づいて顔隠蔽の有無を判定する。
かかる構成によれば、例えば人の後頭部等と覆面顔の人物が俯いた場合を確実に識別し、誤判定を防止して、不審者を検出したことを精度良く判定することが可能となる。
【００１０】
また、本発明の好適な態様において、前記顔隠蔽判定手段は、前記肌領域が前記頭部候補領域の中心を含む所定領域内に存在する場合に、顔を隠蔽したと判定する。かかる構成によれば、覆面の目部分の肌領域の位置に基づいて顔を隠蔽した不審者と精度良く判定できる。
【００１１】
また、本発明の好適な態様において、前記顔隠蔽判定手段は、前記肌領域が前記頭部候補領域の中心を含む所定領域より外側の領域に存在する場合に、顔を隠蔽しないと判定する。
かかる構成によれば、人の後頭部の襟首や耳等の肌領域の位置に基づいて、人の後頭部を覆面により顔を隠蔽した不審者と誤判定することを防止する。
【００１２】
さらに、本発明の好適な態様において、前記顔隠蔽判定手段は、黒画素割合算出手段を有し、前記頭部候補領域内に占める黒画素の占める割合が所定未満の場合には、前記肌領域の位置に関わらず顔を隠蔽したと判定する。かかる構成によれば、頭部候補領域内の輝度が黒画素が少ない場合には、人の後頭部の頭髪ではない可能性が高い判定することで、覆面による顔隠蔽者と人の後頭部とを確実に識別できる。
【図面の簡単な説明】
【００１３】
【図１】本発明にかかる画像監視装置が店舗の事務室に設置された例である。
【図２】本実施の形態にかかる画像監視装置の概略構成図である。
【図３】本実施の形態にかかる画像監視装置の動作を表す全体フロー図である。
【図４】本実施の形態にかかる画像監視装置の顔隠蔽判定処理の動作フロー図である。
【図５】本実施の形態にかかる画像監視装置の顔隠蔽検出例を表す図である。
【発明を実施するための形態】
【００１４】
以下、図を参照しつつ、本発明にかかる画像監視装置の一実施形態として、当該画像監視装置を、スーパーマーケットなどの店舗の事務室に設置し、事務室内の金庫等の重要監視物周辺に存在する不審人物を検出するための監視装置として実現した例について説明する。また本画像監視装置は、警備装置を構成する機能の一部としても実現可能であり、夜間等の人の不在の警備中だけでなく、開店中などの警備解除中も監視を実施することを想定している。事務室においては開店時間中は、店長など金庫の開錠可能な人物だけでなく、従業員やアルバイトも事務室に入室可能である。また、従業員やアルバイトの隙をみて、不審者が金庫に近づいたり、従業員やアルバイトを拘束して不審者が金庫に近づく可能性もあることが想定される。こうした店舗や事務室には監視カメラが設置されているため、窃盗や強盗を企てる不審者は、ほとんどの場合、覆面やサングラス、マスク等で顔を隠蔽している。
【００１５】
本実施の形態における画像監視装置は、金庫等の重要物付近に人物がいる場合に、重要物付近に設置されたカメラから当該人物の顔部分を抽出し、顔部分を隠蔽している場合に不審者として遠隔の監視センタに非常通報を行うとともに、監視領域内の撮像画像を送信する。
【００１６】
図１（ａ）は、本発明にかかる画像監視装置１が、事務室に設置された様子を表す模式図である。設置場所としては事務室の他、店頭に陳列する前の商品が棚に並べられた保管庫があるバックヤードなどが例示できる。図１（ａ）において、事務室の床の隅に金庫６が設置されている。
【００１７】
画像監視装置１の撮像部２は、金庫６の上方に概略水平方向に向けて設置され、撮像部２の視野は事務室全体を含むものとする。この視野内が監視領域である。画像監視装置は、撮像部２で取得された画像を処理し、その画像中に含まれる人物の顔隠蔽の有無を判定する。顔隠蔽の有無の判定とは、不審者が、サングラスとマスク、覆面、フルフェースのヘルメット等で顔を隠蔽して、人物の特定を困難なようにしているか否かを判定することである。
【００１８】
撮像部２から取得された画像を本実施の形態では入力画像と称する。入力画像の例を図１（ｂ）に示す。図１（ｂ）からわかるように、概略水平方向に向けられたカメラの画像であることを活かし、画像中の人物が顔を撮像部２に向けている状態であれば人相を把握できる。そして顔隠蔽判定技術を用いることで顔隠蔽の有無の判定が可能となる。なお、入力画像は、画像中の人物について人相の他、服装や背格好の情報も取得可能であるため、証跡性の確保を目的とした画像として、記録するためにも用いることもできる。
【００１９】
図２は、一つの実施形態としての本発明にかかる画像監視装置１の概略構成図である。画像監視装置１は、撮像部２と、記憶部３と、画像信号処理部４と、出力部５とを有する。
【００２０】
撮像部２は、少なくともひとつのカメラで構成されＣＣＤまたはＣ−ＭＯＳなど、可視光に感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に監視領域の像を結像する結像光学系などを有する。撮像部２は、例えば、ＮＴＳＣ規格に従って、連続的に撮影を行うカメラとすることができる。あるいは、撮像部２は、いわゆるハイビジョンなど、より高解像度な画像を生成するものでもよい。
【００２１】
撮像部２は、本実施の形態では事務室を撮影した画像を、例えば、各画素の輝度が２５６階調で表される濃淡画像あるいはカラー画像として所定のフレーム間隔（例えば０．５秒間隔）毎に生成する。また撮像部２は、画像信号処理部４の図示しないインターフェース部と接続されており、撮像部２が画像を生成する度に、その生成した画像を入力画像として画像信号処理部４へ出力する。
【００２２】
記憶部３は、フラッシュメモリなどの不揮発性半導体メモリ、揮発性半導体メモリ、または磁気ディスク（ＨＤＤ）などの記憶装置を有する。記憶部３は、画像監視装置１で使用される各種のプログラム及び設定データ等を記憶する。また記憶部３は、画像監視装置１が起動したとき、あるいは定期的に撮像部２から取得した、人物が写っていない入力画像を背景画像として記憶する。
【００２３】
また記憶部３は入力画像中から抽出された人物領域の情報を人物領域情報として記憶しておく。さらに、記憶部３は、入力画像中から頭部候補領域、顔隠蔽判定を行うため、各種条件におけるテンプレート画像、設定データ等を記憶している。
【００２４】
画像信号処理部４は、撮像部２から入力された入力画像中の人物が顔隠蔽しているか否かに応じて不審者の判定を行い、その判定結果に応じて警報信号の送出処理を行う。画像信号処理部４は、人物領域抽出手段４１、頭部候補領域抽出手段４２、顔隠蔽判定手段４３、不審者判定手段４４、制御手段４５から構成される。これらの各構成手段は、記憶部３に記憶されるプログラムモジュールにて実現可能である。次に画像信号処理部４の各手段について説明する。
【００２５】
人物領域抽出手段４１は、撮像部２から取得された入力画像と記憶部３に記憶されている背景画像の画素毎の差分を求め、所定以上の輝度変化があり、人物を元に設定された所定範囲の大きさの変化領域を人物領域として抽出する。背景画像は、室内が無人時の入力画像で所定時間ごとに更新される画像である。人物領域抽出手段４１は抽出された人物領域が前フレームで抽出された人物領域と同一の移動体によるものか否かの判定を行い、新規に出現した人物領域の場合は、新たな管理番号を付与（ラベリング）し、その大きさ、位置等の情報とともに人物領域情報として記憶部３に記憶する。
【００２６】
現在のフレームで抽出されたが、前フレームで抽出された人物領域と同一の移動体によるものと推定される場合は、当該管理番号の人物領域情報に位置、大きさ等の情報を追加記憶する。この背景差分処理、ラベリング処理については、画像処理技術の分野では周知の技術であるので、これ以上の詳細な説明は省略する。
【００２７】
頭部候補領域抽出手段４２は、人物領域上で人体の頭部らしさが高い領域を頭部候補領域として抽出する。この頭部候補領域の抽出方法としては、楕円パターン等の頭部輪郭パターンをテンプレートとして記憶部３に記憶しておき、人物領域内でテンプレートとの類似度が高い領域を頭部候補領域として抽出する等の手法が採用できる。この手法については、本出願人による特開2005-25568に記載されている手法を採用することができる。
【００２８】
用意する頭部輪郭パターンとしては、楕円パターンに限られず、顔形状の輪郭を模擬したパターンでもよい。
【００２９】
また、人物領域から頭部候補領域を抽出する方法としては、HOG（Histogram of Oriented Gradients）特徴量ベースの検出方法を利用することもできる。HOG特徴量は、画像から任意のサイズで切り出した局所領域内のエッジ（輝度勾配）方向に着目した特徴量である。事前に多数の顔画像データと顔画像とは無関係の画像を学習用データとして用意し、様々のサイズの局所領域を学習用画像全体で探索を実行し、頭部候補領域の識別に有効な特徴量を選択する。HOG特徴量は、非常に次元数の大きな特徴量であるため、特徴量の選択には統計的学習手法の一つであるAdaboostを用い、頭部候補領域の識別に有効なHOG特徴量のセットを選別する。
【００３０】
この選別された特徴量のセットを用いて、入力画像から抽出された人物領域上で、頭部候補のエッジ特徴を持つ領域を頭部候補領域として抽出することができる。HOG特徴量ベースの顔検出方法については、例えば、Dalal N., Triggs B.: “Histograms
of Oriented Gradients for Human Detection.” IEEE Conf.CVPR, vol.1, pp.886-893, 2005.等に記載されている。
【００３１】
顔隠蔽判定手段４３は、抽出された頭部候補領域候補内の輝度情報に基づいて、顔隠蔽の有無を判定する。具体的には抽出された頭部候補領域内の画像特徴を分析して、素顔らしさである非顔隠蔽らしさ及び、サングラス及びマスクらしさ、覆面（目出し帽）らしさ、フルフェースヘルメットらしさ等の顔隠蔽らしさを数値化して求める。予め用意した、老若男女の素顔の顔画像データ及び上記各種別の顔隠蔽画像データに対し、複数のテンプレート画像を用意し、抽出した頭部候補領域の輝度情報と各々のテンプレート画像との類似度を算出して、最も類似するテンプレート画像について予め設定した閾値を超えていた場合に、当該頭部候補領域を素顔或いは、何らかの遮蔽物により顔を隠蔽している顔隠蔽者と判定する。
【００３２】
また、顔隠蔽の判定には、Haar-Like特徴量をベースとする判定方法を利用することもできる。Haar-Like特徴量は、隣り合う２つの矩形領域の平均輝度差に着目した特徴量であり、HOG特徴量同様、事前に用意した学習用画像データに対して、Adaboostを用いて、顔画像の識別に有効なHaar-Like特徴量を選別する。学習用の顔画像データとしては、素顔の顔画像データ、顔隠蔽種別ごとの顔画像データ、が及び顔画像とは無関係なデータを各々種々の条件で用意する。事前学習により、素顔の識別に有効な特徴量、各顔隠蔽の識別に有効な特徴量のセットを選別し、各々の顔隠蔽種別の識別に用いる探索器として用意しておく。頭部候補領域に対してこの各々の探索器を用いて素顔らしさ、及び各種別の顔隠蔽らしさの輝度特徴の類似度を数値化して求める。そして類似度が最も高い探索器についての類似度が予め設定した類似度を肥えていた場合に、当該頭部候補領域を素顔、或いはなんらかの遮蔽物により顔を隠蔽している顔隠蔽者と判定する。
【００３３】
このHaar-Like特徴量ベースの顔検出方法については、例えば、P.Viola and M.Jones:Rapid
Object Detection using a Boosted Cascade of Simple(CVPR2001)等に記載されている。
【００３４】
顔隠蔽判定手段４３は、肌領域抽出手段４３１、黒画素割合算出手段４３２を含む。
【００３５】
肌領域抽出手段４３１は、検出された頭部候補領域内における素肌部分の領域を抽出する。
【００３６】
素肌部分の抽出は、色情報を利用して肌色部分を抽出する方法が採用できる。この肌色領域を抽出する方法は、公知の手法であり、例えば本出願人による特開2005-049979に記載されている手法が採用できる。肌領域を抽出するのは、人間の後頭部と覆面による顔隠蔽者を識別するためであり、覆面による顔隠蔽度合いが高いとしても、頭部候補領域における肌領域の位置が中心付近にない場合は、抽出された肌領域は例えば後頭部の襟首部分の可能性が高く、この場合は顔隠蔽者ではないとの判定に用いることができる。一方、肌領域の位置が中心付近にある場合は、覆面の目出し部分である可能性が高く、この場合は顔隠蔽者であるという判定に用いることができる。
【００３７】
黒画素割合算出手段４３２は、抽出された頭部領域内における黒画素の割合を求める。黒画素の割合を求めるのは、人間の後頭部と覆面による顔隠蔽者を識別するためであり、覆面による顔隠蔽度合いが高く、頭部候補領域における黒画素が含まれる割合が少ない場合は、上述の肌領域の位置に関わらず色つき覆面である可能性が高い。一方黒画素の割合が多い場合は、覆面による顔隠蔽者の場合と人間の後頭部の頭髪部分である場合の識別が困難であるため、肌領域の位置の判定を必要とする。
【００３８】
不審者判定手段４４は、顔隠蔽判定手段４３で監視領域中に顔隠蔽者が存在し、不審者判定条件を満たす場合に当該顔隠蔽者を不審者と判定する。不審者判定条件の例としては、顔隠蔽者が検出された回数が、連続する所定フレーム内（例えば５フレーム）で、予め設定された回数（例えば３回）カウントされた場合に不審者と判定するなどである。
【００３９】
制御手段４５は、画像監視装置１の各部を統合的に制御する。また、不審者判定手段４４による不審者判定結果から、出力部５を制御して、警報信号を出力させるか否かを決定する手段である。
【００４０】
出力部５は、制御手段４５からの指示を受け、予め登録された出力先に警報信号を出力する機能を有する。ここでは警報信号を警備会社等の監視センタに通信回線を経由して通報するようにしてある。また警報信号の出力先としては上記に限られない。例えば、監視対象内に設けたスピーカ等より警告音を鳴らしたり、警告メッセージを発するようにしてもよい。さらに、予め登録した利用者等の携帯電話に通信回線を介して通報するようにしてもよい。
【００４１】
以上本実施形態の画像監視装置の構成について説明した。
【００４２】
次に図３および図４に示したフローチャートを参照して、本実施の形態にかかる画像監視装置１の動作の一例を説明する。図３は、本実施の形態にかかる画像信号処理部３のメインフロー図である。図３においてステップＳ１１〜ステップＳ２０の処理は、画像信号処理部３が撮像部２から所定のフレーム周期（例えば０．５ｓごと）で入力画像を取得する度に実行される。
【００４３】
画像監視装置１は、電源投入され、初期設定が完了すると稼動開始する。初期設定としては、撮像部２から入力した入力画像を背景画像として記憶部３に記憶される等の処理が行われる。この背景画像は所定の時間間隔で適宜更新される。
【００４４】
図３のフローチャートにおいて、まずステップＳ１１では撮像部２から入力画像を取得する。取得した入力画像は記憶部３に一時記憶される。記憶部３には現在時刻から所定時間前までの所定枚数分の入力画像が記憶可能な記憶領域が用意されており、当該記憶領域がフルになると、記憶されている最も古い画像を削除して、新たな入力画像を記憶するようにしている。また記憶済みの画像を定期的に外部のハードディスク等にバックアップするようにしてもよい。
【００４５】
次にＳ１２にて、人物領域抽出手段４１は、ステップＳ１１にて取得された入力画像を処理し、人物領域の抽出を行う。人物領域の抽出は記憶部３に記憶されている背景画像と入力画像の差分が所定以上の領域を人物領域として抽出する背景差分法などの一般的な方法を採用すれば良い。
【００４６】
なお、所定の条件を満たす人物領域を抽出しない場合（ステップＳ１３−Ｎｏ）には、監視領域内は無人であるとして、ステップＳ１１へ戻る。人物領域が抽出された場合（ステップＳ１３−Ｙｅｓ）はステップＳ１４へすすむ。
【００４７】
ステップＳ１４では、人物領域抽出手段４１は記憶部３に記憶されている前フレームの入力画像から取得された人物領域情報を参照し、現フレームで抽出された人物領域と前フレームで抽出された人物領域の対応づけ処理を行う。前フレームで人物領域が抽出されていなければ、現フレームで抽出された人物領域に新たな管理番号を付与して、その大きさ、位置等の情報を人物領域情報として記憶部３に記憶する。
【００４８】
ステップＳ１５では頭部候補領域抽出手段４２により人物領域内で、テンプレートマッチングなどにより探索を行い、人物の頭部候補領域を抽出する。そしてステップＳ１６にて顔隠蔽検出処理を行い、ステップＳ１７にて顔隠蔽判定手段４３により、抽出された頭部候補領域がサングラス及びマスク、覆面、フルフェースヘルメット等により顔の大部分を隠蔽しているか否かを判定する。ステップＳ１６の処理はサブルーチン化されており、詳細については後述する。
【００４９】
ステップＳ１７で顔隠蔽されていると判定すると（ステップＳ１７−Ｙｅｓ）、次にステップＳ１８で当該ラベルに対する不審者度合い（不審者スコア）を加算して、ステップＳ１９へ進む。またステップＳ１７で顔隠蔽されていないと判定するとステップＳ１１へ戻る。ここで不審者スコアは、顔隠蔽の種別、及び素顔の場合についての所定フレーム数内における検知回数等により求められる。
【００５０】
次にステップＳ１９で顔隠蔽した人物領域(ラベル）の不審者度合いが不審者判定条件を満たすか否かが判定される。上述のように不審者判定条件としては、例えば連続する所定フレーム（例えば５フレーム）内である特定の種別の顔隠蔽者が所定回数以上（例えば３フレーム）検出されるなどで判定される。不審者判定条件を満たす場合（ステップＳ１９−Ｙｅｓ）、ステップＳ２０で不審者を検出したと判定し、所定の通報先へ通報を行う。
【００５１】
不審者判定条件を満たさない場合(ステップＳ１９−Ｎｏ)はステップＳ１１へ戻り、次のフレームの処理を行う。
【００５２】
以上、画像信号処理部３の不審者判定処理について説明した。次にステップＳ１６の顔隠蔽判定処理について図４のフローチャートを用いて説明する。尚、図４のフローチャートにおける処理は頭部候補領域が入力画像中で複数抽出される場合は、各々について個別に実効される。また図４のフローチャートにより処理対象の頭部候補領域が顔隠蔽と判定された場合には、顔隠蔽フラグがオンになるものとする。この顔隠蔽フラグは頭部候補領域が複数ある場合は各々について設定される。
【００５３】
まず、ステップＳ１５１において顔隠蔽度の算出が行われる。ここでの顔隠蔽度の算出は、頭部候補領域内の輝度情報に基づいて、素顔らしさ、顔隠蔽種別としての予め設定された「サングラス＋メガネ」「覆面( 目出し帽)」、「フルフェースヘルメット」「手の平による隠蔽」等について各々の最もらしさが各々算出される。尚、顔隠蔽種別としては適宜他の種別を追加設定可能である。
【００５４】
ステップＳ１５２では、いずれの種別かの顔隠蔽度が設定した閾値を超えているか否かが判定される。
【００５５】
なお、ここで不審顔の分類は、そのほかにも複数設定可能であるため、複数の分類について閾値を超える可能性はあることに留意する。この場合は、いずれかの顔隠蔽度を超える場合に顔隠蔽がされていると判定してもよいし、最も数値が高いものをその頭部候補領域に対してなされた隠蔽手段として判定してもよい。また、素顔らしさが所定の数値を超える場合は、顔隠蔽度のいずれかが設定した閾値を超えていたとしても素顔と判定するようにしてもよい。
【００５６】
いずれの顔隠蔽条件も満たさない場合（ステップＳ１５２−Ｎｏ）はこのルーチンを抜けて図３のフローチャートへ戻る。
【００５７】
次に、ステップＳ１５２でいずれか又は複数の顔隠蔽条件を満たす場合、ステップＳ１５３で覆面（目だし帽）による顔隠蔽条件を満たすか否かを判定する。覆面以外の顔隠蔽条件のみ満たす場合、或いは他の隠蔽手段によるもっともらしさが覆面による顔隠蔽よりも高い場合は、ステップＳ１５６へ進み、顔隠蔽フラグをオンにして図３のフローチャートに戻る。
【００５８】
ステップＳ１５３で覆面による顔隠蔽と判定された場合は、ステップＳ１５４にて黒画素割合算出手段４３２により頭部候補領域における各画素の輝度値が求められ、黒画素の全体に占める割合が算出される。これは、主に処理対象の頭部候補領域が覆面による隠蔽か、人間の後頭部によるものかの識別を行うための処理である。具体的には黒以外の色である場合には覆面顔である可能性が高いため、頭部候補領域における黒画素の占める割合が所定以下の場合（ステップＳ１５４−Ｎｏ）は、覆面顔である可能性が高いとしてステップＳ１５６へ進み、顔隠蔽フラグをオンにして図３のフローチャートに戻る。一方、頭部候補領域中における黒画素の割合が所定値を超える場合は、黒画素の割合が多いということであるから、黒色の覆面か人間の後頭部かの識別が困難であるため、ステップＳ１５５へ進む。
【００５９】
ステップＳ１５５では、肌領域抽出手段４３１により、頭部候補領域中における肌領域が抽出され、その重心位置が頭部候補領域中の中心を含む所定領域内にあるか否かが判定される。そして、肌領域の重心位置が所定領域外の場合は、後頭部による可能性が高いとしてこのルーチンを抜け、図３のフローチャートへ戻る。一方、肌領域の重心位置が所定領域の中にある場合は、これは覆面による顔隠蔽の可能性が高いとして顔隠蔽フラグをオンにして、このルーチンを抜け図３のフローチャートへ戻る。ステップＳ１５５の処理について図５を用いて具体的に説明する。
【００６０】
図５（ａ）は覆面による顔隠蔽者が入力画像中に撮像された例である。図５（ａ）において頭部候補領域５０１が抽出されているとする。この場合において覆面による顔隠蔽者の肌領域は目出し部分である５０３であり、この重心位置は、顔隠蔽者が正面を向いても、俯いたとしても頭部候補領域５０１内の中心を含む所定領域５０２内に存在する。一方、図５（ｂ）は人間の後頭部が入力画像中に撮像された例である。この場合は、人の後頭部の襟首付近が肌領域５０６として抽出される。この肌領域５０６は頭部候補領域５０４において中心から離れた位置に存在する。そのため、肌領域５０６の重心位置は、所定領域５０５内には含まれない。従って、頭部候補領域内に存在する肌領域の重心位置により、覆面による顔隠蔽者であるのか、人間の後頭部であるのかが識別可能となる。重心位置の判定に用いる頭部候補領域内の所定領域は、頭部候補領域の中心を含み、頭部候補領域の上下左右の所定割合（例えば１０％）を除く矩形領域として設定することができる。あるいは頭部候補領域に対する面積比を設定し、頭部候補領域と中心が一致する領域として設定してもよい。また、矩形領域に限定されず楕円形の領域として設定してもよい。この場合は、長径、短径の長さを頭部候補領域のサイズに応じて設定したり、面積比で設定するようにしてもよい。
【００６１】
尚、抽出された頭部候補領域内において肌領域は必ずしも抽出されるとは限らない。特に覆面を被った不審者が俯く場合は、肌領域が抽出されない場合もある。従って、図４のステップＳ１５５の処理において頭部候補領域内の中心を含む所定領域内で肌領域（重心）が抽出された場合に顔隠蔽していると判定せず、頭部候補領域の中心を含む所定領域より外側の領域に肌領域（重心）が抽出された場合に顔隠蔽していないと判定するようにしてもよい。後者の場合は、抽出された肌領域は人間の後頭部の襟首や耳等の肌部分である可能性がある。この場合は、顔隠蔽者ではないとして判定することができる。
【００６２】
以上、本発明の画像監視装置について説明を行った。尚、本画像監視装置における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。本実施の形態では、覆面による顔隠蔽時について例外処理を行っているが、他の顔隠蔽条件についても各々の特徴に応じた処理を追加することは可能である。
【符号の説明】
【００６３】
１・・・画像監視装置
２・・・撮像部
３・・・記憶部
４・・・画像信号処理部
５・・・出力部
６・・・重要監視物
【特許請求の範囲】
【請求項１】
監視領域を撮像した画像を取得する撮像部と、
前記撮像部が順次取得した入力画像を処理し、不審者を検出したと判定すると警報信号を生成する画像信号処理部と、
前記警報信号を出力する出力部とを備えた画像監視装置であって、
前記画像信号処理部は、
前記入力画像より人体の頭部候補領域を抽出する頭部候補領域抽出手段と、
前記抽出された頭部候補領域の輝度情報に基づいて顔隠蔽しているか否かを判定する顔隠蔽判定手段と、
前記顔隠蔽判定結果に基づいて不審者の検出を判定する不審者判定手段とを有し、
前記顔隠蔽判定手段は、
前記頭部候補領域内の肌領域を抽出する肌領域抽出手段をさらに含み、
前記輝度情報に基づいた顔隠蔽判定結果と、前記肌領域抽出手段により抽出された肌領域の位置に基づいて顔隠蔽の有無を判定する画像監視装置。
【請求項２】
前記顔隠蔽判定手段は、
前記肌領域が前記頭部候補領域の中心を含む所定領域内に存在する場合に、顔を隠蔽したと判定することを特徴とする請求項１に記載の画像監視装置。
【請求項３】
前記顔隠蔽判定手段は、
前記肌領域が前記頭部候補領域の中心を含む所定領域より外側の領域に存在する場合に、顔を隠蔽したと判定しないことを特徴とする請求項１に記載の画像監視装置。
【請求項４】
前記顔隠蔽判定手段は、
さらに黒画素割合算出手段を有し、
前記頭部候補領域内に占める黒画素の占める割合が所定未満の場合には、前記肌領域の位置に関わらず顔を隠蔽したと判定することを特徴とする請求項２又は３に記載の画像監視装置。
【請求項１】
監視領域を撮像した画像を取得する撮像部と、
前記撮像部が順次取得した入力画像を処理し、不審者を検出したと判定すると警報信号を生成する画像信号処理部と、
前記警報信号を出力する出力部とを備えた画像監視装置であって、
前記画像信号処理部は、
前記入力画像より人体の頭部候補領域を抽出する頭部候補領域抽出手段と、
前記抽出された頭部候補領域の輝度情報に基づいて顔隠蔽しているか否かを判定する顔隠蔽判定手段と、
前記顔隠蔽判定結果に基づいて不審者の検出を判定する不審者判定手段とを有し、
前記顔隠蔽判定手段は、
前記頭部候補領域内の肌領域を抽出する肌領域抽出手段をさらに含み、
前記輝度情報に基づいた顔隠蔽判定結果と、前記肌領域抽出手段により抽出された肌領域の位置に基づいて顔隠蔽の有無を判定する画像監視装置。
【請求項２】
前記顔隠蔽判定手段は、
前記肌領域が前記頭部候補領域の中心を含む所定領域内に存在する場合に、顔を隠蔽したと判定することを特徴とする請求項１に記載の画像監視装置。
【請求項３】
前記顔隠蔽判定手段は、
前記肌領域が前記頭部候補領域の中心を含む所定領域より外側の領域に存在する場合に、顔を隠蔽したと判定しないことを特徴とする請求項１に記載の画像監視装置。
【請求項４】
前記顔隠蔽判定手段は、
さらに黒画素割合算出手段を有し、
前記頭部候補領域内に占める黒画素の占める割合が所定未満の場合には、前記肌領域の位置に関わらず顔を隠蔽したと判定することを特徴とする請求項２又は３に記載の画像監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−２１２２１６（Ｐ２０１２−２１２２１６Ａ）
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願番号】特願２０１１−７６３３２（Ｐ２０１１−７６３３２）
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
[ Back to top ]