画像監視装置
【課題】監視空間を撮像して顔を隠した不審者の存在を検出する画像監視装置に関し、フルフェイスヘルメットと人物の後頭部とを区別して判定できる画像監視装置を提供する。
【解決手段】監視空間においてヘルメットなどにより顔を隠蔽した不審者を検出する画像監視装置３であって、周期的に前記監視空間を撮像して監視画像を取得する撮像部３１と、予め顔特徴情報を記憶する記憶部３３と、前記監視画像から人物の頭部に相当する入力頭部領域を抽出する頭部抽出部３４２と、前記入力頭部領域が顔の特徴情報を有しているか前記顔特徴情報を用いて判定する顔特徴判定部３４３と、前記入力頭部領域に所定面積以上の高輝度領域が存在するか判定する高輝度領域抽出部３４４と、前記顔特徴判定部にて顔の特徴情報無しと判定され、且つ前記高輝度領域抽出部にて高輝度領域の存在が判定されると、顔を隠蔽した不審者と判定する不審者検出部３４５とを備える。
【解決手段】監視空間においてヘルメットなどにより顔を隠蔽した不審者を検出する画像監視装置３であって、周期的に前記監視空間を撮像して監視画像を取得する撮像部３１と、予め顔特徴情報を記憶する記憶部３３と、前記監視画像から人物の頭部に相当する入力頭部領域を抽出する頭部抽出部３４２と、前記入力頭部領域が顔の特徴情報を有しているか前記顔特徴情報を用いて判定する顔特徴判定部３４３と、前記入力頭部領域に所定面積以上の高輝度領域が存在するか判定する高輝度領域抽出部３４４と、前記顔特徴判定部にて顔の特徴情報無しと判定され、且つ前記高輝度領域抽出部にて高輝度領域の存在が判定されると、顔を隠蔽した不審者と判定する不審者検出部３４５とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視空間を撮像して不審者の存在を検出する画像監視装置に関し、特に、ヘルメットなどにより顔を隠蔽した人物を高精度に抽出できる画像監視装置の提供を目的とする。
【背景技術】
【０００２】
従来、撮像装置から入力される画像から人物領域の特徴情報を抽出し、これが不審人物等の特徴に合致した場合、自動的に外部に通報出力するような画像監視装置が知られている。このような画像監視装置では、不審人物の特徴として外部に対して人相を隠した状態であることを検出する。
【０００３】
例えば、特許文献１には、自動取引装置から不正に現金を引き出すおそれのある不審人物を検出するために、カメラから画像を取り込んで、人物の正常な顔画像が取得できるか否かを判定する監視装置が記載されている。かかる特許文献１では、サングラス、マスク、あるいは手などで顔の一部を隠蔽していることや、フルフェイスのヘルメット等をかぶっていることを検出して、正常な顔画像が取得できないことを判定している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−７９７５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上述した顔を隠蔽する手段としてフルフェイスのヘルメットに着目すると、フルフェイスヘルメットは、多くの場合、画像データにおいて頭部領域内にのっぺりとした楕円形状として抽出され、且つ目鼻口といった顔特徴が抽出できないといった特徴を持つ。この画像特徴は、人の後頭部に類似した特徴であり、フルフェイスのヘルメットを精度良く検出するためには人の後頭部とフルフェイスヘルメットとを明確に判別する必要がある。
【０００６】
すなわち、人の後頭部は、フルフェイスヘルメット同様に、多くの場合、頭部領域内にのっぺりとした楕円形状として抽出され、且つ目鼻口といった顔特徴が抽出できないために、誤ってフルフェイスヘルメットで顔隠蔽している状態として判定されてしまう可能性があった。
【０００７】
本発明は、上記の課題に鑑みてなされたもので、監視空間を撮像して顔を隠した不審者の存在を検出する画像監視装置に関し、フルフェイスヘルメットと人物の後頭部とを区別して判定できる画像監視装置の提供を目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために本発明による画像監視装置は、監視空間においてヘルメットなどにより顔を隠蔽した不審者を検出する画像監視装置であって、周期的に前記監視空間を撮像して監視画像を取得する撮像部と、予め人物の顔特徴情報を記憶する記憶部と、前記監視画像から人物の頭部に相当する入力頭部領域を抽出する頭部抽出部と、前記入力頭部領域が顔の特徴情報を有しているか前記顔特徴情報を用いて判定する顔特徴判定部と、前記入力頭部領域に所定面積以上の高輝度領域が存在するか判定する高輝度領域抽出部と、前記顔特徴判定部にて顔の特徴情報無しと判定され、且つ前記高輝度領域抽出部にて高輝度領域の存在が判定されると、顔を隠蔽した不審者と判定する不審者検出部と、を備えることを特徴とした。
【０００９】
かかる構成において、画像監視装置は、監視画像から顔の特徴を有しない頭部領域が抽出され、且つ、かかる頭部領域に所定面積以上の高輝度領域が存在することが判定された場合に、当該頭部領域をフルフェイスのヘルメットにより顔を隠蔽した不審者と判定するように作用する。
【００１０】
フルフェイスヘルメットは、手入れの容易さから継ぎ目の少ない略楕円形状に形成されており、その平滑な湾曲面が照明など周囲の環境光を反射して光沢としての一定大のテカリが生じる。一方で、人物の頭部は、頭髪による微細な凹凸を有しているため照明などの環境光が拡散して光沢としてのテカリが生じ難い。
かかる画像監視装置の構成によれば、顔を隠蔽した頭部領域に所定面積以上の高輝度領域が存在することを条件としてフルフェイスのヘルメットを検出することにより、後頭部と異なり光沢が生じるフルフェイスヘルメットを高精度に検出することが可能となる。
【００１１】
また、本発明の画像監視装置において、前記高輝度領域抽出部は、前記入力頭部領域の面積に対して所定割合以上となる面積の高輝度領域が存在するかを判定するようにしてもよい。
【００１２】
かかる構成によれば、監視画像に含まれた頭部領域の大きさに応じて相対的に所定以上の面積となる高輝度領域を抽出することにより、画像上に写りこんだ頭部のサイズに応じてフルフェイスヘルメットを高精度に検出することが可能となる。
【００１３】
さらに、本発明の画像監視装置において、前記高輝度領域抽出部は、前記入力頭部領域の上部所定範囲を探索領域として設定し、該探索領域内において前記高輝度領域を抽出するようにしてもよい。
【００１４】
通常、照明などの環境光は上方から照射されることが一般的であり、このような場合、フルフェイスヘルメットの平滑な湾曲面においてその上部部分に環境光を反射した光沢が生じることとなる。
かかる画像監視装置の構成によれば、頭部領域の上部に生じる高輝度領域を抽出することにより、後頭部にかかるシャツのエリなどを誤って高輝度領域として検出することを防止し、後頭部と異なり光沢が生じるフルフェイスヘルメットを高精度に検出することが可能となる。
【発明の効果】
【００１５】
本発明によれば、顔の特徴情報が存在しない頭部領域に所定面積以上の高輝度領域が存在することを条件としてフルフェイスのヘルメットを検出することが可能となる。
これにより、頭髪による微細な凹凸を有しているため照明などの環境光が拡散し光沢としてのテカリが生じ難い人物の後頭部をフルフェイスヘルメットとして誤検出することを防止して、平滑な湾曲面が照明など環境光を反射し光沢としての一定大のテカリが生じるフルフェイスヘルメットを高精度に検出することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の画像監視装置による監視システムの全体構成を示す概略図である。
【図２】本発明の画像監視装置の構成を示すブロック図である。
【図３】本発明の画像監視装置の不審者監視処理を模式的に示した図である。
【図４】本発明の画像監視装置の不審者監視処理を示すフローチャートである。
【図５】本発明の画像監視装置の高輝度領域判定処理を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態について、図面を参照して具体的に説明する。
本実施形態では、監視区域（監視空間）として金融機関や商店などの事務所エリアにおける重要監視物周辺を監視する場合を例示するが、本発明の範囲はこれに限定されるものではなく、事務所室内全域や街頭などを監視区域として監視するよう用いられてよい。
【００１８】
図１は、本発明の画像監視装置を用いた監視システム１を示す構成図である。
図１は、重要監視物として金庫など内部に収納空間を有した保管庫２及び画像監視装置３が設置された監視区域を模式的に示している。図１に示すように、本実施形態の監視システム１は、監視区域の床面に固定設置された保管庫２の上部に載置される監視装置３と、遠隔の監視センタ５とを、通信回線網４を介して接続して構成されている。
【００１９】
画像監視装置３の筐体には、撮像部としての監視カメラ３１が保管庫扉と同方向に向いて配置されている。監視カメラ３１は、保管庫扉の前方を撮像視野として保管庫２まで接近してくる人物が撮像可能に配置される。
なお、監視カメラ３１は画像監視装置３の筐体に内蔵される例に限らず、少なくとも監視区域内の人物が撮像可能に保管庫２の上部空間や背後壁面などに別途監視カメラが設置され、画像監視装置３と接続される構成としてもよい。また、画像監視装置３も、保管庫２の上部に載置される例に限らず、保管庫２の上部空間や背後壁面などに設定されてよい。
【００２０】
監視カメラ３１は、所定の撮影間隔（例えば０．２秒）毎に監視区域を撮像して監視画像としての画像データを生成して出力する。画像監視装置３は、監視カメラ３１から出力される情報を基に、周期的に撮像される画像データを参照して保管庫２の周辺に不審者が存在するか否かを判定する。
【００２１】
本実施形態において、不審者とは、強盗など監視区域の保全を損うおそれのある者をいい、具体的には、外観が予め定めた特徴パターンに合致する者のことである。一般に、強盗行為などを行う不審者は、素性が認知されることを防ぐために顔を隠す傾向がある。そこで、本実施形態では、画像データにおける人物の特徴情報として、例えば、サングラス、マスク、或いは手などで顔を覆ったり、フルフェイスのヘルメット等を装着することで顔の一部分や全部分を隠して人相が分らない人物、即ち目鼻口など顔の特徴情報がなく顔が十分に撮影されていない人物を抽出し、不審者として判定する。
【００２２】
特に、本実施形態で特徴的な事項として、画像監視装置３は、画像データに写りこんだ人物の後頭部をフルフェイスのヘルメット等を装着した不審者と判定することを防止して、フルフェイスヘルメットなどで人相が判別できない不審者の判定精度を向上させている。
そして、不審者が存在することが判定されると、画像監視装置３は、遠隔の監視センタ５に監視区域で非常事態が発生していることを示す非常信号を送信するとともに、不審者の検出に用いた画像データを監視センタ５に送信する。
【００２３】
監視センタ５は、警備会社などが運営するセンタ装置５１を備えた施設である。センタ装置５１は、１又は複数のコンピュータで構成されており、本発明に関連する監視センタ５の機能を実現する。監視センタ５では、センタ装置５１により各種機器が制御され、画像監視装置３から受信した非常信号を記録するとともに、画像監視装置３から送信される画像データをディスプレイ５２に表示することで、監視員が監視対象となる複数の監視区域を監視している。
【００２４】
＜画像監視装置＞
次に、図２を用いて画像監視装置３の構成について説明する。図２は、画像監視装置３の構成を示すブロック図である。
画像監視装置３は、監視センタ５と通信可能に通信回線網４と接続されて、保管庫２の上部に固定載置されている。
【００２５】
画像監視装置３は、保管庫前方を撮影する監視カメラ３１と、通信回線網４と接続される通信部３２と、ＨＤＤやメモリなどで構成される記憶部３３と、ＭＰＵやマイコンなどで構成され各部の制御を行う制御部３４とを有して概略構成される。
【００２６】
監視カメラ３１は、保管庫前方を含む監視区域の監視画像を生成する。監視カメラ３１は、撮像素子から入力される画像信号を所定の撮影間隔（例えば０．２秒周期、すなわち５ｆｐｓ（フレーム／秒））でデジタル信号に変換し、圧縮符号化処理を行い所定の規格（例えばＪＰＥＧ規格）に準拠した画像データを生成する。画像の撮像に用いる波長帯としては、カラー画像が撮像可能な可視光波長を用いる。監視カメラ３１により生成された画像データは、制御部３４に出力される。
【００２７】
通信部３２は、通信回線網４を介してセンタ装置５１と接続されて監視センタ５との間で通信を行う。通信部３２は、制御部３４にて監視区域内に不審者が存在すると判定されると、自己のアドレス情報を含む非常信号および記憶部３３に記憶された画像データを監視センタ５に送信する。
【００２８】
記憶部３３は、ＲＯＭやＲＡＭ、又はＨＤＤにて構成され自己を特定するためのアドレス情報と各種プログラムなどを記憶しており、更に画像監視装置３を動作させるための各種情報を記憶する。具体的に、記憶部３３は、移動物体を抽出するための背景情報となる基準画像と、予め取得した様々な顔画像の特徴情報を記憶した顔特徴情報と、不審者の存在が判定された際の画像を記憶する不審者画像と、を記憶している。
【００２９】
基準画像は、後述する変動領域抽出処理にて、監視カメラ３１から入力される画像データ（以下、入力画像ともいう）と比較して監視区域内の移動物体を抽出するために用いられる比較基準情報であり、予め無人時の監視区域を撮像して取得された画像データである。
【００３０】
顔特徴情報は、人物の顔画像を判定するための特徴情報として、予め男女様々な人物の顔を多方向から撮像した顔画像について、顔全体及び目や鼻、口など各部位の輝度パターンを顔の特徴情報として記憶している。また、顔特徴情報に記憶される顔画像の輝度パターンは、正常な人物の顔画像のみでなく、サングラスをした人物、マスクをした人物、手で顔を隠した人物、目出し帽を被った人物、フルフェイスヘルメットを被った人物など、不審者として予め想定される人物の顔や頭部の画像情報も含み、これら多様な顔画像について入力元となる顔画像の属性と対応づけられて輝度パターンが記憶される。顔画像の属性とは、顔を隠蔽していない「正常」、及び顔を隠蔽した状態として「サングラス+マスク」、「手」、「目出し帽」、「フルフェイス」、など入力元の顔画像の状態を示す情報である。
【００３１】
不審者画像は、制御部３４による判定処理により現在の画像データに含まれる人物が不審者と判定された際にこの画像データを記憶するものである。
【００３２】
制御部３４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等からなるマイクロコンピュータ及びその周辺回路で構成され、上述した各部を制御する。そのために、制御部３４は、このマイクロコンピュータ及びマイクロコンピュータ上で実行されるコンピュータプログラムによって実現される機能モジュールとして、入力画像中の人物領域を抽出する変動領域抽出部３４１と、入力画像から入力頭部領域として人物の頭部領域を抽出する頭部抽出部３４２と、入力画像中の頭部領域が顔の特徴情報を有した頭部であるか判定する顔特徴判定部３４３と、入力画像中の頭部領域に光沢が生じているか判別する高輝度領域抽出部３４４と、監視区域内に存在する人物が顔を隠した不審者か否かを判定する不審者検出部３４５と、を備えている。
【００３３】
変動領域抽出部３４１は、入力画像に画像処理を施して移動物体となる人物を検出する。変動領域抽出部３４１は、入力画像と記憶部３３に記憶された基準画像とを比較して、輝度値の変動が所定以上であった変動画素を抽出するとともに、略連続した変動画素群を１つの変動領域としてグループ化する。
【００３４】
頭部抽出部３４２は、変動領域抽出部が抽出した変動領域の内部において人物の頭部部分の領域を抽出する。頭部抽出部３４２は、変動領域のエッジ成分を抽出し、エッジ画像データにおいて顔の輪郭形状に近似した楕円形状のエッジ分布を検出して、そのエッジ分布に囲まれた楕円領域を人物の頭部領域として抽出する。かかる頭部領域の抽出処理については本出願人による特開２００５−２５５６８号公報や特開２０１０−２８６２７４号公報に記載された種々の方法を採用することができる。
【００３５】
具体的には、頭部抽出部３４２は、Ｓｏｂｅｌフィルターなど公知のエッジ抽出フィルターを入力画像の変動領域に作用させてエッジ強度とエッジ角度（水平を基準としたエッジ方向）を求めてエッジ強度画像とエッジ角度画像を生成する。そして、頭部抽出部３４２は、予め記憶した大きさの異なる複数の楕円テンプレートを用いてエッジ強度画像及びエッジ角度画像上にてずらしマッチングを行い、楕円テンプレートとエッジ成分との類似度を求め、この類似度が高い位置を人物の頭部領域として抽出し、各頭部領域に固有のラベルでラベリングする。
【００３６】
なお、頭部領域の抽出手法はこれに限定されるものではなく、種々提案されている公知の方法を用いることが可能である。例えば、HOG（Histograms of Oriented Gradients）特徴量を用いて頭部領域を抽出してもよい。この場合、変動領域を構成する複数のセル毎に輝度の勾配方向ヒストグラムを求めて９次元の特徴量ベクトルを得て、複数セルによるブロック領域においてセルの特徴量ベクトルを正規化する。そして、ブロック領域毎に多次元の特徴量ベクトルを得てこれを予め学習した頭部形状の特徴量と比較することで頭部領域を抽出する。HOG特徴量の参考文献として、N. Dalal and
B. Triggs, "Histograms of oriented gradients for
human detection", Proc. of IEEE Conference on Computer Vision and Pattern
Recognition (CVPR), pp.886-893, 2005などがある。
【００３７】
顔特徴判定部３４３は、頭部抽出部３４２にて抽出された頭部領域が、素顔の顔画像、又はサングラスやマスク或いは手などで顔を覆ったり、フルフェイスのヘルメット等の装着により顔の一部分や全部分を隠して人相が分らない（顔の特徴情報がない）顔画像であるか否かを判定する。
顔特徴判定部３４３は、入力画像において、抽出された頭部領域を複数の矩形領域に分割し、各分割矩形領域毎、及び隣接する分割矩形領域を統合したブロック毎に顔特徴情報に記憶した顔画像の輝度パターンとのパターンマッチングを行う。そして、類似度が高く算出された輝度パターンの属性から、固有ラベルが付された頭部領域毎に何れの属性の顔画像が含まれているか又は顔画像が含まれていないかの識別結果を出力する。
【００３８】
例えば、目鼻口など顔の特徴部位（特徴情報）が抽出できれば顔を隠蔽していない「正常」な属性の顔画像と判定され、目鼻口など顔の特徴部位が抽出できず頭部領域の垂直方向中央に暗い画素が集中し垂直方向下方に明るい画素が集中している場合には顔を隠蔽した状態として「サングラス＋マスク」属性の顔画像と判定され、また、目鼻口など顔の特徴部位が抽出できず頭部領域内にエッジが少なくのっぺりとしている場合には顔を隠蔽した状態として「フルフェイス」属性の顔画像と判定される。また、顔特徴情報に記憶した何れのパターンとも高い類似度が得られない場合、当該頭部領域は人体の頭部でない（顔画像が含まれない）と判定される。
顔特徴判定部３４３の識別結果は入力画像及び頭部領域の固有ラベルに対応付けて記憶部３３上の作業領域に記憶される。
【００３９】
なお、顔特徴判定部３４３による顔画像の判別処理はこれに限定されるものではなく、種々提案されている公知の方法を用いることが可能である。例えば、Haar-like特徴を用いたAdaboost識別器により、頭部領域がどの属性の顔画像であるかを判定してもよい。Haar-like特徴は、入力画像の頭部領域中に任意に設定された複数の隣接した分割矩形領域間の輝度差である。また、Adaboost識別器は、複数の弱識別器と、各弱識別器の判定結果を統合して判定する強識別器とから構成される。各弱識別器は、入力された画像領域から、それぞれ異なるHaar-like特徴を算出し、算出されたHaar-like特徴に基づいて頭部領域に何れの属性の顔画像が含まれているか又は顔画像が含まれていないかの識別結果を出力する。各弱識別器は、顔特徴情報に記憶した顔画像のHaar-like特徴を学習して生成され、その際に合わせて顔画像の属性も取得する。Haar-like特徴及びAdaboost識別器の詳細については、例えば、Paul Viola and Michael Jones, "Rapid Object Detection using a
Boosted Cascade of Simple Features", IEEE CVPR, vol.1, pp.511-518, 2001に開示されている。
【００４０】
高輝度領域抽出部３４４は、固有ラベルが付された頭部領域毎に光沢としての高輝度領域が存在するか判別する。
不審者が顔を隠蔽する手段として用いるフルフェイスヘルメットは、手入れの容易さから継ぎ目の少ない略楕円形状に形成されており、その平滑な湾曲面が照明など周囲の環境光を反射することで光沢としての一定大の高輝度領域が生じる。一方で、人物の頭部は、頭髪による微細な凹凸を有しているため照明などの環境光が拡散して光沢としての高輝度領域が生じ難い。そこで、高輝度領域抽出部３４４は、このフルフェイスヘルメットを被った頭部に特有の高輝度領域を抽出する。
【００４１】
高輝度領域抽出部３４４は、入力画像を公知の方法で白黒２値化した上で、固有ラベルが付された頭部領域毎に頭部領域内の画像を固定サイズに正規化し、この正規化頭部画像内で所定面積以上の白領域が存在するかを調べる。２値化の閾値は実験により求めた値としてよい。また、２値化画像は膨張収縮処理によりノイズ除去を行う。
【００４２】
具体的には、高輝度領域抽出部３４４は、予め実験により求めた閾値により入力画像を白黒２値化し、この白黒画像に対し膨張収縮処理など公知のノイズ除去処理を行う。そして、得られた白黒画像内の頭部領域の外接矩形が、予め設定された固定サイズ（例えば６４ピクセル×６４ピクセル）となるよう頭部領域内の画像を拡大又は縮小処理して、正規化頭部画像を生成する。高輝度領域抽出部３４４は、得られた正規化頭部画像内に高輝度領域を探索するための探索領域を設定する。探索領域は、フルフェイスヘルメットが環境光を反射して生じる光沢を探索するための領域であり、照明などの環境光は上方から照射されるという知見に基づき正規化頭部画像における垂直方向下方１／４を除いた上部部分（つまり上部６４ピクセル×４８ピクセル）に設定される。
【００４３】
そして、高輝度領域抽出部３４４は、正規化頭部画像の探索領域内を探索して白色画素を抽出するとともに、略連続した白色画素群を１つの白色領域としてグループ化し、この白色領域を高輝度候補領域として面積の算出を行う。このとき、一つの正規化頭部画像内に複数の白色領域が抽出されていれば、面積が大きいものから所定個数（例えば２つ）のみを当該頭部領域の高輝度候補領域とする。そして、高輝度領域抽出部３４４は、正規化頭部画像ごとに、高輝度候補領域の面積の合計が予め設定された判定面積（例えば２０ピクセル）以上であれば高輝度候補領域を高輝度領域と判定する。高輝度領域抽出部３４４の判定結果は入力画像及び頭部領域の固有ラベルに対応付けて記憶部３３上の作業領域に記憶される。
【００４４】
すなわち、高輝度領域抽出部３４４は、頭部領域内の画像サイズを正規化した上で所定面積以上の白色領域を高輝度領域として抽出しており、換言すれば、頭部領域の面積に対して相対的に所定割合以上となる面積の白色領域を高輝度領域として抽出しているとも言える。
【００４５】
なお、この高輝度領域抽出部３４４による判定処理は、顔特徴判定部３４３が特に「フルフェイス」属性による顔の隠蔽を判定した頭部領域についてのみ実行してもよい。この場合、顔特徴判定部３４３は、「フルフェイス」属性と判定した頭部領域だけにフルフェイスフラグを成立させ、高輝度領域抽出部３４４は、入力画像中にフルフェイスフラグが成立した頭部領域が存在する場合にのみ当該頭部領域について高輝度領域を抽出する処理を実行する。
【００４６】
不審者検出部３４５は、顔特徴判定部３４３及び高輝度領域抽出部３４４の判断を統合して監視区域内に顔を隠した不審者が存在するか否かを判定する。不審者検出部３４５は、入力画像の頭部領域について、顔特徴判定部３４３が顔を隠蔽した属性、つまり目鼻口など顔の特徴情報を有しない顔画像が含まれると判定した場合に、該当する頭部領域に含まれた顔画像が不審者であると判定する。
【００４７】
ここで特に、不審者検出部３４５は、入力画像の頭部領域について、顔特徴判定部３４３が「フルフェイス」属性による顔の隠蔽を判定した場合には、該当する頭部領域について高輝度領域抽出部３４４の判定結果を参照して、高輝度領域の存在が判定されていれば当該頭部領域に含まれた顔画像が不審者であると判定する。他方、該当する頭部領域について高輝度領域の存在が判定されていなければ、当該頭部領域に含まれた顔画像は不審者でない（正常）と判定する。
また、不審者検出部３４５は、入力画像の頭部領域について、顔特徴判定部３４３にて目鼻口など顔の特徴情報が抽出されて正常な属性の顔画像が含まれると判定した場合、及び顔画像が含まれていないと判定した場合には、該当する頭部領域に含まれた顔画像は不審者でない（正常）と判定する。
【００４８】
そして、不審者検出部３４５は、入力画像に不審者の顔画像が含まれていることを判断すると、自己のアドレス情報を含む非常信号を生成し、不審者の存在を判定した画像データを付して通信部３２に出力し、通信部３２より監視センタ５に送信する。またこのとき、不審者の存在を判定した画像データを不審者画像として記憶部３３に記憶する。
【００４９】
＜動作の説明＞
以上のように構成された監視システム１について、図面を参照してその動作を説明する。まず、図３を用いて画像監視装置３の処理概要について説明する。図３は画像監視装置３による不審者監視処理を模式的に示した図である。
【００５０】
図３（ａ）は、監視カメラ３１により撮像される入力画像を示している。監視カメラ３１により所定間隔（例えば０．２秒）ごとに画像データが取得され、制御部３４に入力される。監視カメラ３１より画像データ（入力画像）が入力されると、変動領域抽出部３４１は、図３（ｂ）に示すように、入力画像と記憶部３３の基準画像との差分を算出して変動領域を抽出する。次に、頭部抽出部３４２は、変動領域の内部において楕円形状のエッジ分布を検出し、そのエッジ分布に囲まれた楕円領域を人物の頭部領域として抽出する。
【００５１】
次に、顔特徴判定部３４３は、図３（ｃ）に示すように、抽出された頭部領域と記憶部に記憶された顔特徴情報とのパターンマッチングを行い、算出された類似度が高い輝度パターンの属性を読み出して、顔の特徴情報を有している「正常」、顔の特徴情報を有さず顔を隠蔽した状態である「サングラス+マスク」、「手」、「目出し帽」、「フルフェイス」、など何れの属性の顔画像が含まれているか又は顔画像が含まれていないかの識別結果を出力する。図３（ｃ）では、図中左側の人物が「正常」と判定され、図中右側の人物が「フルフェイス」と判定された例を示している。
【００５２】
また、高輝度領域抽出部３４４は、図３（ｄ）に示すように、入力画像を２値化して頭部領域内の画像を固定サイズ（例えば６４ピクセル×６４ピクセル）に正規化し、正規化頭部画像の上部部分（例えば垂直方向上部３／４）を探索領域として白色領域（高輝度候補領域）を抽出する。そして、高輝度領域抽出部３４４は、高輝度候補領域の面積が予め設定された判定面積（例えば２０ピクセル）以上であれば当該頭部領域に高輝度領域が存在すると判定する。
【００５３】
不審者検出部３４５は、図３（ｃ）に示した顔特徴判定部３４３の判定結果と図３（ｄ）に示した高輝度領域抽出部３４４の判定結果を受けて、入力画像中の不審者を検出する。特に、不審者検出部３４５は、図３（ｅ）に示すように、顔特徴判定部３４３により、「フルフェイス」属性による顔の隠蔽が判定されている場合、当該頭部領域について高輝度領域抽出部３４４の判定結果を参照して、高輝度領域の存在が判定されていれば当該頭部領域に含まれた顔画像が、フルフェイスヘルメットで顔を隠蔽した不審者であると判定する。他方、不審者検出部３４５は、顔特徴判定部３４３により、「フルフェイス」属性による顔が判定されていても、高輝度領域の存在が判定されなければ当該頭部領域に含まれた顔画像は不審者でない（正常）と判定する。
【００５４】
このように、フルフェイスのヘルメットによる顔の隠蔽を判定する場合に所定面積以上の高輝度領域が存在することを条件としたので、正常な人物の後頭部を誤ってフルフェイスヘルメットと判断してしまうことを防止することが可能となる。また、特に、頭部領域において高輝度領域を探索する範囲を上部部分だけに限定したので、後頭部にかかるシャツのエリなどを誤って高輝度領域として検出することを防止して、フルフェイスヘルメットの判定精度を向上させることが可能となる。
【００５５】
また、不審者検出部３４５は、図３（ｅ）に示すように、顔特徴判定部３４３により正常な属性の顔画像と判定された頭部領域について不審者でない（正常）と判定し、顔特徴判定部３４３により「フルフェイス」属性以外の顔を隠蔽した属性の顔画像と判定された頭部領域については、当該属性による不審者であると判定する。不審者検出部３４５による判定結果は通信部３２より遠隔の監視センタ５に通報される。
【００５６】
次に、図４、図５を用いて、図３に示した画像監視装置３による不審者監視処理の動作について説明する。図４は、画像監視装置３の制御部３４にて繰り返し実行される監視プログラムの動作を示すフローチャートである。
画像監視装置３は、所定周期（例えば０．２秒周期、すなわち５ｆｐｓ（フレーム／秒））ごとに監視カメラ３１が撮像した画像データの出力を受け付けて制御部３４に入力する（ステップＳＴ１）。変動領域抽出部３４１は、入力画像と記憶部３３の基準画像との差分を算出して変動領域を抽出する（ステップＳＴ２）。変動領域が抽出できなければ一連の処理を終了し、次回の実行タイミングにてステップＳＴ１より処理が実行される。
【００５７】
ステップＳＴ３において、頭部抽出部３４２は、変動領域抽出部３４１が抽出した変動領域から人物の頭部領域を抽出する。頭部領域が抽出できなければ一連の処理を終了し、次回の実行タイミングにてステップＳＴ１より処理が実行される。次に、顔特徴判定部３４３により、抽出された頭部領域と記憶部３３に記憶された顔特徴情報とのパターンマッチングが行われ、何れの属性の顔画像が含まれているか又は顔画像が含まれていないかの識別結果が出力される（ステップＳＴ４）。入力画像中の全ての頭部領域について顔画像が含まれていなければ一連の処理を終了し、次回の実行タイミングにてステップＳＴ１より処理が実行される。
【００５８】
そして、ステップＳＴ５において、高輝度領域抽出部３４４は頭部領域毎に高輝度領域が存在するかを判別する高輝度領域判定処理を実行する。高輝度領域判定処理については後述する。
【００５９】
不審者検出部３４５は、顔特徴判定処理の結果を参照し、顔の特徴情報を有さない顔を隠蔽した属性の頭部領域が存在する場合（ステップＳＴ６−Ｙｅｓ）、当該頭部領域が「フルフェイス」属性による顔の隠蔽か否かを判定する（ステップＳＴ７）。「フルフェイス」属性による顔の隠蔽であれば（ステップＳＴ７−Ｙｅｓ）、高輝度領域判定処理においてこの頭部領域内に高輝度領域の存在が判定されているかを調べる。高輝度領域が存在すると（ステップＳＴ８−Ｙｅｓ）、当該頭部領域を不審者と判定する（ステップＳＴ９）。他方、ステップＳＴ８において頭部領域内に高輝度領域の存在が判定されなければ（ステップＳＴ８−Ｎｏ）、当該頭部領域は後頭部などフルフェイスヘルメットによるものではないと判定して不審者との判定は行わない。また、不審者検出部は、顔特徴判定部３４３により「フルフェイス」属性以外による顔の隠蔽と判定された頭部領域については（ステップＳＴ７−Ｎｏ）、当該属性による不審者であると判定する。
【００６０】
不審者検出部３４５は、入力画像中の全ての頭部領域についてステップＳＴ６からＳＴ９の処理を行い不審者か否かを判定し（ステップＳＴ１０）、入力画像中に不審者が存在すると判定すれば（ステップＳＴ１１−Ｙｅｓ）、不審者の存在を判定した画像データと共に自己のアドレス情報を含む非常信号を通信部３２より送信する（ステップＳＴ１２）。
【００６１】
以上に、画像監視装置３の基本的な動作について説明した。
次に、図４のステップＳＴ５における高輝度領域判定処理について図５を参照して説明する。図５は高輝度領域抽出部３４４による高輝度領域判定処理のフローチャートである。図５において、高輝度領域抽出部３４４は、入力画像を白黒２値化し、この白黒画像に対し膨張収縮処理などによりノイズ除去を行う（ステップＳＴ２１）。次に、白黒画像内における頭部領域の外接矩形が、予め設定された固定サイズ（例えば６４ピクセル×６４ピクセル）となるよう頭部領域ごとに画像を拡大又は縮小処理して、正規化頭部画像を生成する（ステップＳＴ２２）。
【００６２】
ステップＳＴ２３において、高輝度領域抽出部３４４は、正規化頭部画像における垂直方向下方１／４を除いた上部部分（つまり上部６４ピクセル×４８ピクセル）に探索領域を設定する。そして、高輝度領域抽出部３４４は、正規化頭部画像の探索領域内における白色領域を高輝度候補領域として抽出する（ステップＳＴ２４）。なお、このとき、一つの正規化頭部画像内に複数の白色領域が抽出されていれば、面積が大きいものから所定個数（例えば２つ）のみを当該頭部領域の高輝度候補領域とする。
【００６３】
高輝度領域抽出部３４４は、正規化頭部画像ごとに、高輝度候補領域の面積（複数ある場合は面積の合計）が予め設定された判定面積（例えば２０ピクセル）以上か判定し（ステップＳＴ２５）、判定面積以上であれば当該高輝度候補領域を高輝度領域と判定し、頭部領域に高輝度領域が存在すると判定する（ステップＳＴ２６）。他方、高輝度候補領域の面積が判定面積未満であれば（ステップＳＴ２５−Ｎｏ）、当該高輝度候補領域を高輝度領域と判定しない。
高輝度領域抽出部３４４は、入力画像中の全ての頭部領域（正規化頭部画像）についてステップＳＴ２３からＳＴ２６の処理を行い高輝度領域が存在するか否かを判定し（ステップＳＴ２７）、処理を終了する。
【００６４】
以上のように、高輝度領域抽出部３４４は、入力画像に含まれる頭部領域について所定面積以上の高輝度領域が存在するか判定し、不審者検出部３４５は、顔の隠蔽が判断された頭部領域について高輝度領域が存在すると判定された場合にのみフルフェイスヘルメットによる不審者が存在することを判定する。他方、フルフェイスヘルメットに類似した頭部領域であっても高輝度領域が存在しない場合には不審者と判定しない。
これにより、頭髪による微細な凹凸を有しているため照明などの環境光が拡散し光沢としてのテカリが生じ難い人物の後頭部をフルフェイスヘルメットとして誤検出することを防止して、平滑な湾曲面が照明など環境光を反射し光沢としての一定大のテカリが生じるフルフェイスヘルメットを高精度に検出することが可能となる。
【００６５】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【符号の説明】
【００６６】
１ 監視システム
２ 保管庫
３ 画像監視装置
３１ 監視カメラ
３２ 通信部
３３ 記憶部
３４ 制御部
３４１変動領域抽出部
３４２頭部抽出部
３４３顔特徴判定部
３４４高輝度領域抽出部
３４５不審者検出部
４ 通信回線網
５ 監視センタ
５１ センタ装置
５２ ディスプレイ
【技術分野】
【０００１】
本発明は、監視空間を撮像して不審者の存在を検出する画像監視装置に関し、特に、ヘルメットなどにより顔を隠蔽した人物を高精度に抽出できる画像監視装置の提供を目的とする。
【背景技術】
【０００２】
従来、撮像装置から入力される画像から人物領域の特徴情報を抽出し、これが不審人物等の特徴に合致した場合、自動的に外部に通報出力するような画像監視装置が知られている。このような画像監視装置では、不審人物の特徴として外部に対して人相を隠した状態であることを検出する。
【０００３】
例えば、特許文献１には、自動取引装置から不正に現金を引き出すおそれのある不審人物を検出するために、カメラから画像を取り込んで、人物の正常な顔画像が取得できるか否かを判定する監視装置が記載されている。かかる特許文献１では、サングラス、マスク、あるいは手などで顔の一部を隠蔽していることや、フルフェイスのヘルメット等をかぶっていることを検出して、正常な顔画像が取得できないことを判定している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−７９７５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上述した顔を隠蔽する手段としてフルフェイスのヘルメットに着目すると、フルフェイスヘルメットは、多くの場合、画像データにおいて頭部領域内にのっぺりとした楕円形状として抽出され、且つ目鼻口といった顔特徴が抽出できないといった特徴を持つ。この画像特徴は、人の後頭部に類似した特徴であり、フルフェイスのヘルメットを精度良く検出するためには人の後頭部とフルフェイスヘルメットとを明確に判別する必要がある。
【０００６】
すなわち、人の後頭部は、フルフェイスヘルメット同様に、多くの場合、頭部領域内にのっぺりとした楕円形状として抽出され、且つ目鼻口といった顔特徴が抽出できないために、誤ってフルフェイスヘルメットで顔隠蔽している状態として判定されてしまう可能性があった。
【０００７】
本発明は、上記の課題に鑑みてなされたもので、監視空間を撮像して顔を隠した不審者の存在を検出する画像監視装置に関し、フルフェイスヘルメットと人物の後頭部とを区別して判定できる画像監視装置の提供を目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために本発明による画像監視装置は、監視空間においてヘルメットなどにより顔を隠蔽した不審者を検出する画像監視装置であって、周期的に前記監視空間を撮像して監視画像を取得する撮像部と、予め人物の顔特徴情報を記憶する記憶部と、前記監視画像から人物の頭部に相当する入力頭部領域を抽出する頭部抽出部と、前記入力頭部領域が顔の特徴情報を有しているか前記顔特徴情報を用いて判定する顔特徴判定部と、前記入力頭部領域に所定面積以上の高輝度領域が存在するか判定する高輝度領域抽出部と、前記顔特徴判定部にて顔の特徴情報無しと判定され、且つ前記高輝度領域抽出部にて高輝度領域の存在が判定されると、顔を隠蔽した不審者と判定する不審者検出部と、を備えることを特徴とした。
【０００９】
かかる構成において、画像監視装置は、監視画像から顔の特徴を有しない頭部領域が抽出され、且つ、かかる頭部領域に所定面積以上の高輝度領域が存在することが判定された場合に、当該頭部領域をフルフェイスのヘルメットにより顔を隠蔽した不審者と判定するように作用する。
【００１０】
フルフェイスヘルメットは、手入れの容易さから継ぎ目の少ない略楕円形状に形成されており、その平滑な湾曲面が照明など周囲の環境光を反射して光沢としての一定大のテカリが生じる。一方で、人物の頭部は、頭髪による微細な凹凸を有しているため照明などの環境光が拡散して光沢としてのテカリが生じ難い。
かかる画像監視装置の構成によれば、顔を隠蔽した頭部領域に所定面積以上の高輝度領域が存在することを条件としてフルフェイスのヘルメットを検出することにより、後頭部と異なり光沢が生じるフルフェイスヘルメットを高精度に検出することが可能となる。
【００１１】
また、本発明の画像監視装置において、前記高輝度領域抽出部は、前記入力頭部領域の面積に対して所定割合以上となる面積の高輝度領域が存在するかを判定するようにしてもよい。
【００１２】
かかる構成によれば、監視画像に含まれた頭部領域の大きさに応じて相対的に所定以上の面積となる高輝度領域を抽出することにより、画像上に写りこんだ頭部のサイズに応じてフルフェイスヘルメットを高精度に検出することが可能となる。
【００１３】
さらに、本発明の画像監視装置において、前記高輝度領域抽出部は、前記入力頭部領域の上部所定範囲を探索領域として設定し、該探索領域内において前記高輝度領域を抽出するようにしてもよい。
【００１４】
通常、照明などの環境光は上方から照射されることが一般的であり、このような場合、フルフェイスヘルメットの平滑な湾曲面においてその上部部分に環境光を反射した光沢が生じることとなる。
かかる画像監視装置の構成によれば、頭部領域の上部に生じる高輝度領域を抽出することにより、後頭部にかかるシャツのエリなどを誤って高輝度領域として検出することを防止し、後頭部と異なり光沢が生じるフルフェイスヘルメットを高精度に検出することが可能となる。
【発明の効果】
【００１５】
本発明によれば、顔の特徴情報が存在しない頭部領域に所定面積以上の高輝度領域が存在することを条件としてフルフェイスのヘルメットを検出することが可能となる。
これにより、頭髪による微細な凹凸を有しているため照明などの環境光が拡散し光沢としてのテカリが生じ難い人物の後頭部をフルフェイスヘルメットとして誤検出することを防止して、平滑な湾曲面が照明など環境光を反射し光沢としての一定大のテカリが生じるフルフェイスヘルメットを高精度に検出することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の画像監視装置による監視システムの全体構成を示す概略図である。
【図２】本発明の画像監視装置の構成を示すブロック図である。
【図３】本発明の画像監視装置の不審者監視処理を模式的に示した図である。
【図４】本発明の画像監視装置の不審者監視処理を示すフローチャートである。
【図５】本発明の画像監視装置の高輝度領域判定処理を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態について、図面を参照して具体的に説明する。
本実施形態では、監視区域（監視空間）として金融機関や商店などの事務所エリアにおける重要監視物周辺を監視する場合を例示するが、本発明の範囲はこれに限定されるものではなく、事務所室内全域や街頭などを監視区域として監視するよう用いられてよい。
【００１８】
図１は、本発明の画像監視装置を用いた監視システム１を示す構成図である。
図１は、重要監視物として金庫など内部に収納空間を有した保管庫２及び画像監視装置３が設置された監視区域を模式的に示している。図１に示すように、本実施形態の監視システム１は、監視区域の床面に固定設置された保管庫２の上部に載置される監視装置３と、遠隔の監視センタ５とを、通信回線網４を介して接続して構成されている。
【００１９】
画像監視装置３の筐体には、撮像部としての監視カメラ３１が保管庫扉と同方向に向いて配置されている。監視カメラ３１は、保管庫扉の前方を撮像視野として保管庫２まで接近してくる人物が撮像可能に配置される。
なお、監視カメラ３１は画像監視装置３の筐体に内蔵される例に限らず、少なくとも監視区域内の人物が撮像可能に保管庫２の上部空間や背後壁面などに別途監視カメラが設置され、画像監視装置３と接続される構成としてもよい。また、画像監視装置３も、保管庫２の上部に載置される例に限らず、保管庫２の上部空間や背後壁面などに設定されてよい。
【００２０】
監視カメラ３１は、所定の撮影間隔（例えば０．２秒）毎に監視区域を撮像して監視画像としての画像データを生成して出力する。画像監視装置３は、監視カメラ３１から出力される情報を基に、周期的に撮像される画像データを参照して保管庫２の周辺に不審者が存在するか否かを判定する。
【００２１】
本実施形態において、不審者とは、強盗など監視区域の保全を損うおそれのある者をいい、具体的には、外観が予め定めた特徴パターンに合致する者のことである。一般に、強盗行為などを行う不審者は、素性が認知されることを防ぐために顔を隠す傾向がある。そこで、本実施形態では、画像データにおける人物の特徴情報として、例えば、サングラス、マスク、或いは手などで顔を覆ったり、フルフェイスのヘルメット等を装着することで顔の一部分や全部分を隠して人相が分らない人物、即ち目鼻口など顔の特徴情報がなく顔が十分に撮影されていない人物を抽出し、不審者として判定する。
【００２２】
特に、本実施形態で特徴的な事項として、画像監視装置３は、画像データに写りこんだ人物の後頭部をフルフェイスのヘルメット等を装着した不審者と判定することを防止して、フルフェイスヘルメットなどで人相が判別できない不審者の判定精度を向上させている。
そして、不審者が存在することが判定されると、画像監視装置３は、遠隔の監視センタ５に監視区域で非常事態が発生していることを示す非常信号を送信するとともに、不審者の検出に用いた画像データを監視センタ５に送信する。
【００２３】
監視センタ５は、警備会社などが運営するセンタ装置５１を備えた施設である。センタ装置５１は、１又は複数のコンピュータで構成されており、本発明に関連する監視センタ５の機能を実現する。監視センタ５では、センタ装置５１により各種機器が制御され、画像監視装置３から受信した非常信号を記録するとともに、画像監視装置３から送信される画像データをディスプレイ５２に表示することで、監視員が監視対象となる複数の監視区域を監視している。
【００２４】
＜画像監視装置＞
次に、図２を用いて画像監視装置３の構成について説明する。図２は、画像監視装置３の構成を示すブロック図である。
画像監視装置３は、監視センタ５と通信可能に通信回線網４と接続されて、保管庫２の上部に固定載置されている。
【００２５】
画像監視装置３は、保管庫前方を撮影する監視カメラ３１と、通信回線網４と接続される通信部３２と、ＨＤＤやメモリなどで構成される記憶部３３と、ＭＰＵやマイコンなどで構成され各部の制御を行う制御部３４とを有して概略構成される。
【００２６】
監視カメラ３１は、保管庫前方を含む監視区域の監視画像を生成する。監視カメラ３１は、撮像素子から入力される画像信号を所定の撮影間隔（例えば０．２秒周期、すなわち５ｆｐｓ（フレーム／秒））でデジタル信号に変換し、圧縮符号化処理を行い所定の規格（例えばＪＰＥＧ規格）に準拠した画像データを生成する。画像の撮像に用いる波長帯としては、カラー画像が撮像可能な可視光波長を用いる。監視カメラ３１により生成された画像データは、制御部３４に出力される。
【００２７】
通信部３２は、通信回線網４を介してセンタ装置５１と接続されて監視センタ５との間で通信を行う。通信部３２は、制御部３４にて監視区域内に不審者が存在すると判定されると、自己のアドレス情報を含む非常信号および記憶部３３に記憶された画像データを監視センタ５に送信する。
【００２８】
記憶部３３は、ＲＯＭやＲＡＭ、又はＨＤＤにて構成され自己を特定するためのアドレス情報と各種プログラムなどを記憶しており、更に画像監視装置３を動作させるための各種情報を記憶する。具体的に、記憶部３３は、移動物体を抽出するための背景情報となる基準画像と、予め取得した様々な顔画像の特徴情報を記憶した顔特徴情報と、不審者の存在が判定された際の画像を記憶する不審者画像と、を記憶している。
【００２９】
基準画像は、後述する変動領域抽出処理にて、監視カメラ３１から入力される画像データ（以下、入力画像ともいう）と比較して監視区域内の移動物体を抽出するために用いられる比較基準情報であり、予め無人時の監視区域を撮像して取得された画像データである。
【００３０】
顔特徴情報は、人物の顔画像を判定するための特徴情報として、予め男女様々な人物の顔を多方向から撮像した顔画像について、顔全体及び目や鼻、口など各部位の輝度パターンを顔の特徴情報として記憶している。また、顔特徴情報に記憶される顔画像の輝度パターンは、正常な人物の顔画像のみでなく、サングラスをした人物、マスクをした人物、手で顔を隠した人物、目出し帽を被った人物、フルフェイスヘルメットを被った人物など、不審者として予め想定される人物の顔や頭部の画像情報も含み、これら多様な顔画像について入力元となる顔画像の属性と対応づけられて輝度パターンが記憶される。顔画像の属性とは、顔を隠蔽していない「正常」、及び顔を隠蔽した状態として「サングラス+マスク」、「手」、「目出し帽」、「フルフェイス」、など入力元の顔画像の状態を示す情報である。
【００３１】
不審者画像は、制御部３４による判定処理により現在の画像データに含まれる人物が不審者と判定された際にこの画像データを記憶するものである。
【００３２】
制御部３４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等からなるマイクロコンピュータ及びその周辺回路で構成され、上述した各部を制御する。そのために、制御部３４は、このマイクロコンピュータ及びマイクロコンピュータ上で実行されるコンピュータプログラムによって実現される機能モジュールとして、入力画像中の人物領域を抽出する変動領域抽出部３４１と、入力画像から入力頭部領域として人物の頭部領域を抽出する頭部抽出部３４２と、入力画像中の頭部領域が顔の特徴情報を有した頭部であるか判定する顔特徴判定部３４３と、入力画像中の頭部領域に光沢が生じているか判別する高輝度領域抽出部３４４と、監視区域内に存在する人物が顔を隠した不審者か否かを判定する不審者検出部３４５と、を備えている。
【００３３】
変動領域抽出部３４１は、入力画像に画像処理を施して移動物体となる人物を検出する。変動領域抽出部３４１は、入力画像と記憶部３３に記憶された基準画像とを比較して、輝度値の変動が所定以上であった変動画素を抽出するとともに、略連続した変動画素群を１つの変動領域としてグループ化する。
【００３４】
頭部抽出部３４２は、変動領域抽出部が抽出した変動領域の内部において人物の頭部部分の領域を抽出する。頭部抽出部３４２は、変動領域のエッジ成分を抽出し、エッジ画像データにおいて顔の輪郭形状に近似した楕円形状のエッジ分布を検出して、そのエッジ分布に囲まれた楕円領域を人物の頭部領域として抽出する。かかる頭部領域の抽出処理については本出願人による特開２００５−２５５６８号公報や特開２０１０−２８６２７４号公報に記載された種々の方法を採用することができる。
【００３５】
具体的には、頭部抽出部３４２は、Ｓｏｂｅｌフィルターなど公知のエッジ抽出フィルターを入力画像の変動領域に作用させてエッジ強度とエッジ角度（水平を基準としたエッジ方向）を求めてエッジ強度画像とエッジ角度画像を生成する。そして、頭部抽出部３４２は、予め記憶した大きさの異なる複数の楕円テンプレートを用いてエッジ強度画像及びエッジ角度画像上にてずらしマッチングを行い、楕円テンプレートとエッジ成分との類似度を求め、この類似度が高い位置を人物の頭部領域として抽出し、各頭部領域に固有のラベルでラベリングする。
【００３６】
なお、頭部領域の抽出手法はこれに限定されるものではなく、種々提案されている公知の方法を用いることが可能である。例えば、HOG（Histograms of Oriented Gradients）特徴量を用いて頭部領域を抽出してもよい。この場合、変動領域を構成する複数のセル毎に輝度の勾配方向ヒストグラムを求めて９次元の特徴量ベクトルを得て、複数セルによるブロック領域においてセルの特徴量ベクトルを正規化する。そして、ブロック領域毎に多次元の特徴量ベクトルを得てこれを予め学習した頭部形状の特徴量と比較することで頭部領域を抽出する。HOG特徴量の参考文献として、N. Dalal and
B. Triggs, "Histograms of oriented gradients for
human detection", Proc. of IEEE Conference on Computer Vision and Pattern
Recognition (CVPR), pp.886-893, 2005などがある。
【００３７】
顔特徴判定部３４３は、頭部抽出部３４２にて抽出された頭部領域が、素顔の顔画像、又はサングラスやマスク或いは手などで顔を覆ったり、フルフェイスのヘルメット等の装着により顔の一部分や全部分を隠して人相が分らない（顔の特徴情報がない）顔画像であるか否かを判定する。
顔特徴判定部３４３は、入力画像において、抽出された頭部領域を複数の矩形領域に分割し、各分割矩形領域毎、及び隣接する分割矩形領域を統合したブロック毎に顔特徴情報に記憶した顔画像の輝度パターンとのパターンマッチングを行う。そして、類似度が高く算出された輝度パターンの属性から、固有ラベルが付された頭部領域毎に何れの属性の顔画像が含まれているか又は顔画像が含まれていないかの識別結果を出力する。
【００３８】
例えば、目鼻口など顔の特徴部位（特徴情報）が抽出できれば顔を隠蔽していない「正常」な属性の顔画像と判定され、目鼻口など顔の特徴部位が抽出できず頭部領域の垂直方向中央に暗い画素が集中し垂直方向下方に明るい画素が集中している場合には顔を隠蔽した状態として「サングラス＋マスク」属性の顔画像と判定され、また、目鼻口など顔の特徴部位が抽出できず頭部領域内にエッジが少なくのっぺりとしている場合には顔を隠蔽した状態として「フルフェイス」属性の顔画像と判定される。また、顔特徴情報に記憶した何れのパターンとも高い類似度が得られない場合、当該頭部領域は人体の頭部でない（顔画像が含まれない）と判定される。
顔特徴判定部３４３の識別結果は入力画像及び頭部領域の固有ラベルに対応付けて記憶部３３上の作業領域に記憶される。
【００３９】
なお、顔特徴判定部３４３による顔画像の判別処理はこれに限定されるものではなく、種々提案されている公知の方法を用いることが可能である。例えば、Haar-like特徴を用いたAdaboost識別器により、頭部領域がどの属性の顔画像であるかを判定してもよい。Haar-like特徴は、入力画像の頭部領域中に任意に設定された複数の隣接した分割矩形領域間の輝度差である。また、Adaboost識別器は、複数の弱識別器と、各弱識別器の判定結果を統合して判定する強識別器とから構成される。各弱識別器は、入力された画像領域から、それぞれ異なるHaar-like特徴を算出し、算出されたHaar-like特徴に基づいて頭部領域に何れの属性の顔画像が含まれているか又は顔画像が含まれていないかの識別結果を出力する。各弱識別器は、顔特徴情報に記憶した顔画像のHaar-like特徴を学習して生成され、その際に合わせて顔画像の属性も取得する。Haar-like特徴及びAdaboost識別器の詳細については、例えば、Paul Viola and Michael Jones, "Rapid Object Detection using a
Boosted Cascade of Simple Features", IEEE CVPR, vol.1, pp.511-518, 2001に開示されている。
【００４０】
高輝度領域抽出部３４４は、固有ラベルが付された頭部領域毎に光沢としての高輝度領域が存在するか判別する。
不審者が顔を隠蔽する手段として用いるフルフェイスヘルメットは、手入れの容易さから継ぎ目の少ない略楕円形状に形成されており、その平滑な湾曲面が照明など周囲の環境光を反射することで光沢としての一定大の高輝度領域が生じる。一方で、人物の頭部は、頭髪による微細な凹凸を有しているため照明などの環境光が拡散して光沢としての高輝度領域が生じ難い。そこで、高輝度領域抽出部３４４は、このフルフェイスヘルメットを被った頭部に特有の高輝度領域を抽出する。
【００４１】
高輝度領域抽出部３４４は、入力画像を公知の方法で白黒２値化した上で、固有ラベルが付された頭部領域毎に頭部領域内の画像を固定サイズに正規化し、この正規化頭部画像内で所定面積以上の白領域が存在するかを調べる。２値化の閾値は実験により求めた値としてよい。また、２値化画像は膨張収縮処理によりノイズ除去を行う。
【００４２】
具体的には、高輝度領域抽出部３４４は、予め実験により求めた閾値により入力画像を白黒２値化し、この白黒画像に対し膨張収縮処理など公知のノイズ除去処理を行う。そして、得られた白黒画像内の頭部領域の外接矩形が、予め設定された固定サイズ（例えば６４ピクセル×６４ピクセル）となるよう頭部領域内の画像を拡大又は縮小処理して、正規化頭部画像を生成する。高輝度領域抽出部３４４は、得られた正規化頭部画像内に高輝度領域を探索するための探索領域を設定する。探索領域は、フルフェイスヘルメットが環境光を反射して生じる光沢を探索するための領域であり、照明などの環境光は上方から照射されるという知見に基づき正規化頭部画像における垂直方向下方１／４を除いた上部部分（つまり上部６４ピクセル×４８ピクセル）に設定される。
【００４３】
そして、高輝度領域抽出部３４４は、正規化頭部画像の探索領域内を探索して白色画素を抽出するとともに、略連続した白色画素群を１つの白色領域としてグループ化し、この白色領域を高輝度候補領域として面積の算出を行う。このとき、一つの正規化頭部画像内に複数の白色領域が抽出されていれば、面積が大きいものから所定個数（例えば２つ）のみを当該頭部領域の高輝度候補領域とする。そして、高輝度領域抽出部３４４は、正規化頭部画像ごとに、高輝度候補領域の面積の合計が予め設定された判定面積（例えば２０ピクセル）以上であれば高輝度候補領域を高輝度領域と判定する。高輝度領域抽出部３４４の判定結果は入力画像及び頭部領域の固有ラベルに対応付けて記憶部３３上の作業領域に記憶される。
【００４４】
すなわち、高輝度領域抽出部３４４は、頭部領域内の画像サイズを正規化した上で所定面積以上の白色領域を高輝度領域として抽出しており、換言すれば、頭部領域の面積に対して相対的に所定割合以上となる面積の白色領域を高輝度領域として抽出しているとも言える。
【００４５】
なお、この高輝度領域抽出部３４４による判定処理は、顔特徴判定部３４３が特に「フルフェイス」属性による顔の隠蔽を判定した頭部領域についてのみ実行してもよい。この場合、顔特徴判定部３４３は、「フルフェイス」属性と判定した頭部領域だけにフルフェイスフラグを成立させ、高輝度領域抽出部３４４は、入力画像中にフルフェイスフラグが成立した頭部領域が存在する場合にのみ当該頭部領域について高輝度領域を抽出する処理を実行する。
【００４６】
不審者検出部３４５は、顔特徴判定部３４３及び高輝度領域抽出部３４４の判断を統合して監視区域内に顔を隠した不審者が存在するか否かを判定する。不審者検出部３４５は、入力画像の頭部領域について、顔特徴判定部３４３が顔を隠蔽した属性、つまり目鼻口など顔の特徴情報を有しない顔画像が含まれると判定した場合に、該当する頭部領域に含まれた顔画像が不審者であると判定する。
【００４７】
ここで特に、不審者検出部３４５は、入力画像の頭部領域について、顔特徴判定部３４３が「フルフェイス」属性による顔の隠蔽を判定した場合には、該当する頭部領域について高輝度領域抽出部３４４の判定結果を参照して、高輝度領域の存在が判定されていれば当該頭部領域に含まれた顔画像が不審者であると判定する。他方、該当する頭部領域について高輝度領域の存在が判定されていなければ、当該頭部領域に含まれた顔画像は不審者でない（正常）と判定する。
また、不審者検出部３４５は、入力画像の頭部領域について、顔特徴判定部３４３にて目鼻口など顔の特徴情報が抽出されて正常な属性の顔画像が含まれると判定した場合、及び顔画像が含まれていないと判定した場合には、該当する頭部領域に含まれた顔画像は不審者でない（正常）と判定する。
【００４８】
そして、不審者検出部３４５は、入力画像に不審者の顔画像が含まれていることを判断すると、自己のアドレス情報を含む非常信号を生成し、不審者の存在を判定した画像データを付して通信部３２に出力し、通信部３２より監視センタ５に送信する。またこのとき、不審者の存在を判定した画像データを不審者画像として記憶部３３に記憶する。
【００４９】
＜動作の説明＞
以上のように構成された監視システム１について、図面を参照してその動作を説明する。まず、図３を用いて画像監視装置３の処理概要について説明する。図３は画像監視装置３による不審者監視処理を模式的に示した図である。
【００５０】
図３（ａ）は、監視カメラ３１により撮像される入力画像を示している。監視カメラ３１により所定間隔（例えば０．２秒）ごとに画像データが取得され、制御部３４に入力される。監視カメラ３１より画像データ（入力画像）が入力されると、変動領域抽出部３４１は、図３（ｂ）に示すように、入力画像と記憶部３３の基準画像との差分を算出して変動領域を抽出する。次に、頭部抽出部３４２は、変動領域の内部において楕円形状のエッジ分布を検出し、そのエッジ分布に囲まれた楕円領域を人物の頭部領域として抽出する。
【００５１】
次に、顔特徴判定部３４３は、図３（ｃ）に示すように、抽出された頭部領域と記憶部に記憶された顔特徴情報とのパターンマッチングを行い、算出された類似度が高い輝度パターンの属性を読み出して、顔の特徴情報を有している「正常」、顔の特徴情報を有さず顔を隠蔽した状態である「サングラス+マスク」、「手」、「目出し帽」、「フルフェイス」、など何れの属性の顔画像が含まれているか又は顔画像が含まれていないかの識別結果を出力する。図３（ｃ）では、図中左側の人物が「正常」と判定され、図中右側の人物が「フルフェイス」と判定された例を示している。
【００５２】
また、高輝度領域抽出部３４４は、図３（ｄ）に示すように、入力画像を２値化して頭部領域内の画像を固定サイズ（例えば６４ピクセル×６４ピクセル）に正規化し、正規化頭部画像の上部部分（例えば垂直方向上部３／４）を探索領域として白色領域（高輝度候補領域）を抽出する。そして、高輝度領域抽出部３４４は、高輝度候補領域の面積が予め設定された判定面積（例えば２０ピクセル）以上であれば当該頭部領域に高輝度領域が存在すると判定する。
【００５３】
不審者検出部３４５は、図３（ｃ）に示した顔特徴判定部３４３の判定結果と図３（ｄ）に示した高輝度領域抽出部３４４の判定結果を受けて、入力画像中の不審者を検出する。特に、不審者検出部３４５は、図３（ｅ）に示すように、顔特徴判定部３４３により、「フルフェイス」属性による顔の隠蔽が判定されている場合、当該頭部領域について高輝度領域抽出部３４４の判定結果を参照して、高輝度領域の存在が判定されていれば当該頭部領域に含まれた顔画像が、フルフェイスヘルメットで顔を隠蔽した不審者であると判定する。他方、不審者検出部３４５は、顔特徴判定部３４３により、「フルフェイス」属性による顔が判定されていても、高輝度領域の存在が判定されなければ当該頭部領域に含まれた顔画像は不審者でない（正常）と判定する。
【００５４】
このように、フルフェイスのヘルメットによる顔の隠蔽を判定する場合に所定面積以上の高輝度領域が存在することを条件としたので、正常な人物の後頭部を誤ってフルフェイスヘルメットと判断してしまうことを防止することが可能となる。また、特に、頭部領域において高輝度領域を探索する範囲を上部部分だけに限定したので、後頭部にかかるシャツのエリなどを誤って高輝度領域として検出することを防止して、フルフェイスヘルメットの判定精度を向上させることが可能となる。
【００５５】
また、不審者検出部３４５は、図３（ｅ）に示すように、顔特徴判定部３４３により正常な属性の顔画像と判定された頭部領域について不審者でない（正常）と判定し、顔特徴判定部３４３により「フルフェイス」属性以外の顔を隠蔽した属性の顔画像と判定された頭部領域については、当該属性による不審者であると判定する。不審者検出部３４５による判定結果は通信部３２より遠隔の監視センタ５に通報される。
【００５６】
次に、図４、図５を用いて、図３に示した画像監視装置３による不審者監視処理の動作について説明する。図４は、画像監視装置３の制御部３４にて繰り返し実行される監視プログラムの動作を示すフローチャートである。
画像監視装置３は、所定周期（例えば０．２秒周期、すなわち５ｆｐｓ（フレーム／秒））ごとに監視カメラ３１が撮像した画像データの出力を受け付けて制御部３４に入力する（ステップＳＴ１）。変動領域抽出部３４１は、入力画像と記憶部３３の基準画像との差分を算出して変動領域を抽出する（ステップＳＴ２）。変動領域が抽出できなければ一連の処理を終了し、次回の実行タイミングにてステップＳＴ１より処理が実行される。
【００５７】
ステップＳＴ３において、頭部抽出部３４２は、変動領域抽出部３４１が抽出した変動領域から人物の頭部領域を抽出する。頭部領域が抽出できなければ一連の処理を終了し、次回の実行タイミングにてステップＳＴ１より処理が実行される。次に、顔特徴判定部３４３により、抽出された頭部領域と記憶部３３に記憶された顔特徴情報とのパターンマッチングが行われ、何れの属性の顔画像が含まれているか又は顔画像が含まれていないかの識別結果が出力される（ステップＳＴ４）。入力画像中の全ての頭部領域について顔画像が含まれていなければ一連の処理を終了し、次回の実行タイミングにてステップＳＴ１より処理が実行される。
【００５８】
そして、ステップＳＴ５において、高輝度領域抽出部３４４は頭部領域毎に高輝度領域が存在するかを判別する高輝度領域判定処理を実行する。高輝度領域判定処理については後述する。
【００５９】
不審者検出部３４５は、顔特徴判定処理の結果を参照し、顔の特徴情報を有さない顔を隠蔽した属性の頭部領域が存在する場合（ステップＳＴ６−Ｙｅｓ）、当該頭部領域が「フルフェイス」属性による顔の隠蔽か否かを判定する（ステップＳＴ７）。「フルフェイス」属性による顔の隠蔽であれば（ステップＳＴ７−Ｙｅｓ）、高輝度領域判定処理においてこの頭部領域内に高輝度領域の存在が判定されているかを調べる。高輝度領域が存在すると（ステップＳＴ８−Ｙｅｓ）、当該頭部領域を不審者と判定する（ステップＳＴ９）。他方、ステップＳＴ８において頭部領域内に高輝度領域の存在が判定されなければ（ステップＳＴ８−Ｎｏ）、当該頭部領域は後頭部などフルフェイスヘルメットによるものではないと判定して不審者との判定は行わない。また、不審者検出部は、顔特徴判定部３４３により「フルフェイス」属性以外による顔の隠蔽と判定された頭部領域については（ステップＳＴ７−Ｎｏ）、当該属性による不審者であると判定する。
【００６０】
不審者検出部３４５は、入力画像中の全ての頭部領域についてステップＳＴ６からＳＴ９の処理を行い不審者か否かを判定し（ステップＳＴ１０）、入力画像中に不審者が存在すると判定すれば（ステップＳＴ１１−Ｙｅｓ）、不審者の存在を判定した画像データと共に自己のアドレス情報を含む非常信号を通信部３２より送信する（ステップＳＴ１２）。
【００６１】
以上に、画像監視装置３の基本的な動作について説明した。
次に、図４のステップＳＴ５における高輝度領域判定処理について図５を参照して説明する。図５は高輝度領域抽出部３４４による高輝度領域判定処理のフローチャートである。図５において、高輝度領域抽出部３４４は、入力画像を白黒２値化し、この白黒画像に対し膨張収縮処理などによりノイズ除去を行う（ステップＳＴ２１）。次に、白黒画像内における頭部領域の外接矩形が、予め設定された固定サイズ（例えば６４ピクセル×６４ピクセル）となるよう頭部領域ごとに画像を拡大又は縮小処理して、正規化頭部画像を生成する（ステップＳＴ２２）。
【００６２】
ステップＳＴ２３において、高輝度領域抽出部３４４は、正規化頭部画像における垂直方向下方１／４を除いた上部部分（つまり上部６４ピクセル×４８ピクセル）に探索領域を設定する。そして、高輝度領域抽出部３４４は、正規化頭部画像の探索領域内における白色領域を高輝度候補領域として抽出する（ステップＳＴ２４）。なお、このとき、一つの正規化頭部画像内に複数の白色領域が抽出されていれば、面積が大きいものから所定個数（例えば２つ）のみを当該頭部領域の高輝度候補領域とする。
【００６３】
高輝度領域抽出部３４４は、正規化頭部画像ごとに、高輝度候補領域の面積（複数ある場合は面積の合計）が予め設定された判定面積（例えば２０ピクセル）以上か判定し（ステップＳＴ２５）、判定面積以上であれば当該高輝度候補領域を高輝度領域と判定し、頭部領域に高輝度領域が存在すると判定する（ステップＳＴ２６）。他方、高輝度候補領域の面積が判定面積未満であれば（ステップＳＴ２５−Ｎｏ）、当該高輝度候補領域を高輝度領域と判定しない。
高輝度領域抽出部３４４は、入力画像中の全ての頭部領域（正規化頭部画像）についてステップＳＴ２３からＳＴ２６の処理を行い高輝度領域が存在するか否かを判定し（ステップＳＴ２７）、処理を終了する。
【００６４】
以上のように、高輝度領域抽出部３４４は、入力画像に含まれる頭部領域について所定面積以上の高輝度領域が存在するか判定し、不審者検出部３４５は、顔の隠蔽が判断された頭部領域について高輝度領域が存在すると判定された場合にのみフルフェイスヘルメットによる不審者が存在することを判定する。他方、フルフェイスヘルメットに類似した頭部領域であっても高輝度領域が存在しない場合には不審者と判定しない。
これにより、頭髪による微細な凹凸を有しているため照明などの環境光が拡散し光沢としてのテカリが生じ難い人物の後頭部をフルフェイスヘルメットとして誤検出することを防止して、平滑な湾曲面が照明など環境光を反射し光沢としての一定大のテカリが生じるフルフェイスヘルメットを高精度に検出することが可能となる。
【００６５】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【符号の説明】
【００６６】
１ 監視システム
２ 保管庫
３ 画像監視装置
３１ 監視カメラ
３２ 通信部
３３ 記憶部
３４ 制御部
３４１変動領域抽出部
３４２頭部抽出部
３４３顔特徴判定部
３４４高輝度領域抽出部
３４５不審者検出部
４ 通信回線網
５ 監視センタ
５１ センタ装置
５２ ディスプレイ
【特許請求の範囲】
【請求項１】
監視空間においてヘルメットなどにより顔を隠蔽した不審者を検出する画像監視装置であって、
周期的に前記監視空間を撮像して監視画像を取得する撮像部と、
予め人物の顔特徴情報を記憶する記憶部と、
前記監視画像から人物の頭部に相当する入力頭部領域を抽出する頭部抽出部と、
前記入力頭部領域が顔の特徴情報を有しているか前記顔特徴情報を用いて判定する顔特徴判定部と、
前記入力頭部領域に所定面積以上の高輝度領域が存在するか判定する高輝度領域抽出部と、
前記顔特徴判定部にて顔の特徴情報無しと判定され、且つ前記高輝度領域抽出部にて高輝度領域の存在が判定されると、顔を隠蔽した不審者と判定する不審者検出部と、
を備えることを特徴とした画像監視装置。
【請求項２】
前記高輝度領域抽出部は、前記入力頭部領域の面積に対して所定割合以上となる面積の高輝度領域が存在するかを判定する請求項１に記載の画像監視装置。
【請求項３】
前記高輝度領域抽出部は、前記入力頭部領域の上部所定範囲を探索領域として設定し、該探索領域内において前記高輝度領域を抽出する請求項１または２に記載の画像監視装置。
【請求項１】
監視空間においてヘルメットなどにより顔を隠蔽した不審者を検出する画像監視装置であって、
周期的に前記監視空間を撮像して監視画像を取得する撮像部と、
予め人物の顔特徴情報を記憶する記憶部と、
前記監視画像から人物の頭部に相当する入力頭部領域を抽出する頭部抽出部と、
前記入力頭部領域が顔の特徴情報を有しているか前記顔特徴情報を用いて判定する顔特徴判定部と、
前記入力頭部領域に所定面積以上の高輝度領域が存在するか判定する高輝度領域抽出部と、
前記顔特徴判定部にて顔の特徴情報無しと判定され、且つ前記高輝度領域抽出部にて高輝度領域の存在が判定されると、顔を隠蔽した不審者と判定する不審者検出部と、
を備えることを特徴とした画像監視装置。
【請求項２】
前記高輝度領域抽出部は、前記入力頭部領域の面積に対して所定割合以上となる面積の高輝度領域が存在するかを判定する請求項１に記載の画像監視装置。
【請求項３】
前記高輝度領域抽出部は、前記入力頭部領域の上部所定範囲を探索領域として設定し、該探索領域内において前記高輝度領域を抽出する請求項１または２に記載の画像監視装置。
【図１】
【図２】
【図４】
【図５】
【図３】
【図２】
【図４】
【図５】
【図３】
【公開番号】特開２０１２−２１２９６７（Ｐ２０１２−２１２９６７Ａ）
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願番号】特願２０１１−７６３２８（Ｐ２０１１−７６３２８）
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
[ Back to top ]