群衆監視装置および方法ならびにプログラム
【課題】精度良く異常領域を検出する。
【解決手段】監視領域ＷＲ内からベクトル発生領域ＢＧＲの検出が行われ、検出されたベクトル発生領域ＢＧＲにおいて基準領域Ｒｒｅｆの設定および複数の注目領域ＡＲの生成が行われる。このとき、監視領域ＷＲの中から人物の密集度が設定しきい値未満である領域が基準領域Ｒｒｅｆとして設定される。その後、基準領域Ｒｒｅｆを用いて異常のある注目領域ＡＲが検出される。その後、検出した異常領域ＥＡＲについての情報が画面上に出力され、もしくはカメラ制御手段５０により監視カメラ２が異常領域をズーミングして撮影する等が行われる。
【解決手段】監視領域ＷＲ内からベクトル発生領域ＢＧＲの検出が行われ、検出されたベクトル発生領域ＢＧＲにおいて基準領域Ｒｒｅｆの設定および複数の注目領域ＡＲの生成が行われる。このとき、監視領域ＷＲの中から人物の密集度が設定しきい値未満である領域が基準領域Ｒｒｅｆとして設定される。その後、基準領域Ｒｒｅｆを用いて異常のある注目領域ＡＲが検出される。その後、検出した異常領域ＥＡＲについての情報が画面上に出力され、もしくはカメラ制御手段５０により監視カメラ２が異常領域をズーミングして撮影する等が行われる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラ等を用いて撮影した画像に基づいて群衆の状態を監視する群衆監視装置および方法ならびにプログラムに関するものである。
【背景技術】
【０００２】
近年、画像のパターン認識技術の発達により画像に映し出された人物の顔を自動的に識別しもしくは人物と背景とを自動的に識別する技術が開発されている。このうち、監視カメラ等により撮影された画像に基づいて群衆を監視し、群衆の異常を検出することが提案されている（たとえば特許文献１、２参照）。特許文献１には、フレーム画像の差分に基づいてオプティカルフロー（動きベクトル）を求め、２以上の対象領域におけるオプティカルフローの平均値を比較し、比較結果に基づいて状態指標を算出することが開示されている。また、特許文献２には、画像内の人物の密集度を算出し、算出した人物の密集度をデータベース内に記憶した基準密集度と比較し、比較結果に基づいて異常の判断を行うことが開示されている。
【０００３】
また、特許文献３には、画像から人物が異常な動作をしているか否かを判別するために、画像を複数の領域に分割し、分割した各領域から特徴量を抽出し、抽出した特徴量をベクトル成分とする特徴ベクトルと学習済みの判別器とを用いて異常が発生したか否かを判断することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−９９２４１号公報
【特許文献２】国際公開第２００５／０３９１８１号パンフレット
【特許文献３】特開２００８−２６９０６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１のように、任意の２以上の領域を選択した場合、いずれも異常が生じている場合には異常が検出できないとともに、いずれの領域が異常であるか識別することができず、異常検出の精度が悪いという問題がある。また、特許文献２、３のように、基準密集度を予め設定する場合、判断対象である群衆に最適な基準領域でない場合が生じ、結果として異常検出の精度が落ちる場合があるという問題がある。
【０００６】
そこで、本発明は、群衆の監視を行う際に異常の検出精度を向上させることができる群衆監視装置および方法ならびにプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明の群衆監視装置は、画像内の監視領域において群衆もしくは移動体が存在するベクトル発生領域を検出する領域検出手段と、領域検出手段により検出されたベクトル発生領域のうち、人物の密集度が設定しきい値未満である領域を基準領域として設定する基準領域設定手段と、監視領域を複数の領域に分割して注目領域を生成する注目領域生成手段と、基準領域設定手段において設定された基準領域に基づいて各注目領域が異常のある異常領域であるかを検出する異常検出手段とを備えたことを特徴とするものである。
【０００８】
本発明の群衆監視方法は、画像内の監視領域において群衆もしくは移動体が存在するベクトル発生領域を検出し、検出したベクトル発生領域のうち、人物の密集度が設定しきい値未満である領域を基準領域として設定するとともに、監視領域を複数の領域に分割して注目領域を生成し、設定した基準領域に基づいて各注目領域が異常のある異常領域であるかを検出することを特徴とするものである。
【０００９】
本発明の群衆監視プログラムは、画像内の監視領域において群衆もしくは移動体が存在するベクトル発生領域を検出し、検出したベクトル発生領域のうち、人物の密集度が設定しきい値未満である領域を基準領域として設定するとともに、監視領域を複数の領域に分割して注目領域を生成し、設定した基準領域に基づいて各注目領域が異常のある異常領域であるかを検出することを実行させること特徴とするものである。
【００１０】
ここで、基準領域設定手段は、人物の密集度が設定しきい値未満である領域を選択するものであればその方法を問わず、たとえばベクトル発生領域から人物の頭部を検出する頭部検出手段と、頭部検出手段において検出された頭部の単位面積当たりの頭部密度を算出する密度算出手段と、密度算出手段において算出された頭部密度が設定しきい値未満の領域を用いて基準領域を選択する領域選択手段とを備えたものであってもよい。
【００１１】
このとき、基準領域設定手段は、頭部密度が設定しきい値未満の領域内に終点を有する動きベクトルを抽出し、抽出した動きベクトルの始点となる領域を基準領域として選択するものであってもよい。
【００１２】
あるいは、基準領域設定手段は、画像内に群衆もしくは移動体が入り込み始めた際の領域およびその周辺から人物の密集度が設定しきい値未満である領域を基準領域として選択するものであってもよい。
【００１３】
さらには、基準領域設定手段は、監視領域の境界部分における動きベクトルが発生し始めた領域であって、始点が該監視領域外にあり終点が監視領域内にある動きベクトルの終点を集計した領域を基準領域として設定するものであってもよい。
【００１４】
また、異常検出手段は、基準領域に基づいて注目領域が異常領域であるか否かを検出するものであればその方法を問わず、たとえば各注目領域内の人物の密度を算出し、算出した注目領域の人物の密集度が基準領域内の人物の密集度以上であるか否かを判断するものであってもよい。
【００１５】
このとき、異常検出手段は、注目領域から人物の密度を算出するものであればその方法を問わず、たとえば各注目領域から頭部を検出する頭部検出手段と、頭部検出手段による頭部の検出後に注目領域のサイズを縮小する画像縮小手段と、画像縮小手段により縮小された画像に基づいて人物の密集度を算出する密度算出手段とを備えたものであってもよい。
【００１６】
あるいは、異常検出手段は、基準領域および各注目領域から特徴量を抽出し、抽出した特徴量を用いて異常領域を検出するものであってもよいし、基準領域および各注目領域から動きベクトルを抽出し、抽出した動きベクトルを用いて異常領域を検出するものであってもよい。
【００１７】
さらに、基準領域および注目領域について複数の多重解像度画像を生成する多重解像度変換手段をさらに有するものであってもよい。このとき、異常検出手段は、多重解像度変換手段により変換された複数の多重解像度画像毎に異常領域候補を検出し、多重解像度画像毎に検出した異常領域候補を用いて異常領域を検出することになる。
【００１８】
なお、群衆監視装置は、異常検出手段により検出された異常領域に対しカメラがズームアップ撮影を行うようにカメラを制御するカメラ制御手段をさらに備えたものであってもよい。
【発明の効果】
【００１９】
本発明の群衆監視装置および方法ならびにプログラムによれば、画像内の監視領域において群衆もしくは移動体が存在するベクトル発生領域を検出し、検出したベクトル発生領域のうち、人物の密集度が設定しきい値未満である領域を基準領域として設定するとともに、監視領域を複数の領域に分割して注目領域を生成し、設定した基準領域に基づいて各注目領域が異常のある異常領域であるかを検出することにより、群衆の中でも人物の移動に制限が少ない人物密集度が少ない領域を基準領域として設定し、基準領域に基づいて異常領域を検出することができるため、精度の高い異常検出を行うことができる。
【００２０】
なお、基準領域設定手段が、ベクトル発生領域から人物の頭部を検出する頭部検出手段と、頭部検出手段において検出された頭部の単位面積当たりの頭部密度を算出する密度算出手段と、密度算出手段において算出された頭部密度が設定しきい値未満の領域を用いて基準領域を選択する領域選択手段とを備えたものであるとき、自動検出を行いやすい頭部に基づいて人物の密度を検出することができるため、精度良く異常検出を行うことができる。
【００２１】
また、基準領域設定手段が、頭部密度が設定しきい値未満の領域内に終点を有する動きベクトルを抽出し、抽出した動きベクトルの始点となる領域を基準領域として選択するものであれば、異常が発生している可能性が少ない領域を基準領域として設定することができるため、異常領域の検出精度を高めることができる。
【００２２】
また、異常検出手段が、各注目領域内の人物の密度を算出し、算出した注目領域の人物の密集度が基準領域内の人物の密集度以上であるか否かを判断するものであれば、人物の密集度が極めて高い領域を異常をして検出することができる。
【００２３】
さらに、異常検出手段が、各注目領域から頭部を検出する頭部検出手段と、頭部検出手段による頭部の検出後に注目領域のサイズを縮小する画像縮小手段と、画像縮小手段により縮小された画像に基づいて人物の密集度を算出する密度算出手段とを備えたものであるとき、データ量の少ない縮小した画像を用いて効率的に密度の算出を行い異常検出速度を向上させることができる。
【００２４】
さらに、異常検出手段が、基準領域および各注目領域から動きベクトルを抽出し、抽出した動きベクトルを用いて異常領域を検出するものであるとき、たとえば群衆の中において周囲とは異なる動きをする集団等を察知し異常として検出することができる。
【００２５】
また、基準領域および注目領域について複数の多重解像度画像を生成する多重解像度変換手段をさらに有するものであり、異常検出手段が、多重解像度変換手段により変換された複数の多重解像度画像毎に異常領域候補を検出し、多重解像度画像毎に検出した異常領域候補を用いて異常領域を検出するものであれば、画像に映り込む群衆の様々なサイズに対応した異常検出を行うことができる。
【００２６】
さらに、異常検出手段により検出された異常領域に対しカメラがズームアップ撮影を行うようにカメラを制御するカメラ制御手段をさらに備えたものであるとき、異常領域の状況をよりよく把握することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の群衆監視装置の好ましい実施形態を示すブロック図
【図２】監視カメラ２により撮影され取得された画像の一例を示す模式図
【図３】図１の基準領域設定手段において基準領域が設定される様子を示す模式図
【図４】図１の基準領域設定手段において基準領域が設定される別の一例を示す模式図
【図５】図１の基準領域設定手段において基準領域が設定される別の一例を示す模式図
【図６】図１の基準領域設定手段において基準領域が設定される別の一例を示す模式図
【図７】図１の注目領域生成手段において注目領域が生成される様子を示す模式図
【図８】本発明の群衆監視方法の好ましい実施形態を示すフローチャート
【図９】本発明の群衆監視装置の第２の実施形態を示すブロック図
【図１０】図９の異常検出手段において注目領域が縮小される様子を示す模式図
【図１１】本発明の群衆監視装置の第３の実施形態を示すブロック図
【図１２】図１１の多重解像度変換手段により生成された多重解像度画像に基づいて異常検出が行われる様子を示す模式図
【発明を実施するための形態】
【００２８】
以下、図面を参照して本発明の実施形態を詳細に説明する。図１は本発明の群衆監視装置の好ましい実施形態を示すブロック図である。なお、図１のような群衆監視装置１の構成は、補助記憶装置に読み込まれた群衆監視プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。また、この群衆監視プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。
【００２９】
図１の群衆監視装置１は、たとえば監視カメラ２により群衆を撮影した複数のフレーム画像ＦＰからなる動画像の監視領域ＷＲについて群衆の異常を検出するものであって、領域検出手段１０、基準領域設定手段２０、注目領域生成手段３０、異常検出手段４０、カメラ制御手段５０を備えている。なお、監視領域ＷＲは、図２に示すように、たとえば予め画像中央部分に設定されたものであってもよいし、画像全体を監視領域ＷＲとして設定してもよい。
【００３０】
領域検出手段１０は、監視領域ＷＲ内において人の密度変化もしくは移動速度の変化が生じている領域を検出するものである。具体的には、領域検出手段１０は、監視カメラ２により取得された動画像について、背景画像ＢＰとフレーム画像ＦＰの差分を算出することにより、動きベクトルが発生しているベクトル発生領域ＢＧＲを検出する。なお、背景画像ＢＰは予め設定されたものであってもよいし、下記式（１）に示すように、重み付け係数αを用いて時間経過とともに更新するものであってもよい。
ＢＰ（ｔ）＝α・ＢＰ(ｔ)＋（１−α）・ＢＰ(ｔ−１) ・・・（１）
【００３１】
図１の基準領域設定手段２０は、領域検出手段１０により検出されたベクトル発生領域ＢＧＲのうち、人物の密集度が設定しきい値未満である疎領域を基準領域Ｒｒｅｆとして設定するものである。具体的には、基準領域設定手段２０は、ベクトル発生領域ＢＧＲにおいて、人物の頭部を用いて人物の密度を算出するものであって、頭部検出手段２１、密度算出手段２２、領域選択手段２３を有している。頭部検出手段２１は、ベクトル発生領域ＢＧＲから人物の頭部を検出するものであって、頭部を検出する方法としてパターンマッチングやニューラルネットワークによる画像認識等の公知の技術を用いることができる。
【００３２】
密度算出手段２２は、頭部検出手段２１において検出された頭部の単位面積当たりの頭部密度を算出するものである。具体的には、図３に示すように、密度算出手段２２は、ベクトル発生領域ＢＧＲを複数のブロック領域ＢＲ毎に分割し、頭部検出手段２１により検出された頭部の数をブロック領域ＢＲ毎に計測する。そして、密度算出手段２２はブロック領域ＢＲ当たりの頭部の数を密度として算出する。
【００３３】
領域選択手段２３は、密度算出手段２２において算出された頭部密度が設定しきい値未満の領域を用いて基準領域Ｒｒｅｆを選択するものである。このとき、領域選択手段２３は、頭部密度が設定しきい値未満の領域を基準領域Ｒｒｅｆとして設定してもよいし、頭部密度が設定しきい値未満の領域Ｒｒｅｆ１と当該領域内の動きベクトルとに基づいて基準領域Ｒｒｅｆを設定するようにしてもよい。
【００３４】
すなわち、領域選択手段２３は、監視領域ＷＲ内に群衆が入り始めた領域を基準領域Ｒｒｅｆとして設定する。具体的には、図４に示すように、領域選択手段２３は、頭部密度が設定しきい値未満の領域Ｒ内に終点を有する動きベクトルを抽出する。さらに、領域選択手段２３は、検出した動きベクトルのうち監視領域外に始点を有する動きベクトルを検出し、始点が監視領域外であって終点が監視領域内にある動きベクトルの終点画素を集計する。その後、モフォロジー処理により領域を整形したものを基準領域Ｒｒｅｆとして選択する。
【００３５】
図１、図３および図４において、頭部の検出結果に基づいて基準領域Ｒｒｅｆを検出する場合について例示しているが、動きベクトルの密度に基づいて基準領域Ｒｒｅｆを設定するようにしてもよい。具体的には、基準領域設定手段２０は、図５に示すように、ベクトル発生領域ＢＧＲの中から動きベクトルが密な領域と疎の領域とを抽出する。そして、基準領域設定手段２０は、密な領域と疎の領域とに対し２値化処理をし、クロージング処理（白黒画像に対する膨張処理および収縮処理の繰り返し） により小さな疎領域を除去した後に輝度反転処理を行うことにより、疎の領域を基準領域Ｒｒｅｆとして設定する。
【００３６】
さらに、基準領域設定手段２０は、監視領域ＷＲ内において動きベクトルが発生し始めた領域を基準領域Ｒｒｅｆとして設定するものであってもよい。すなわち、図６に示すように、基準領域設定手段２０は、監視領域ＷＲの境界部分の動きベクトルを検出し、検出した動きベクトルのうち、動きベクトルの始点が監視領域ＷＲ外であって終点が監視領域内にある動きベクトルを抽出し、その終点画素を集めた領域を基準領域Ｒｒｅｆとして設定するようにしてもよい。監視領域ＷＲ内へ群衆が侵入し始めた領域を基準領域Ｒｒｅｆとして設定することにより、群衆の先頭は人物の密集度が小さいとともに前に障害物がなく正常な動きをするため、異常を検出する際の基準として最適な基準領域Ｒｒｅｆを設定することができる。
【００３７】
図１の注目領域生成手段３０は、監視領域ＷＲを複数の領域に分割して注目領域ＡＲを生成するものである。具体的には、図７に示すように、注目領域生成手段３０はｎ×ｎ画素からなる切取枠を監視領域ＷＲの範囲内でラスタスキャンすることにより複数の注目領域ＡＲを生成する。
【００３８】
図１の異常検出手段４０は、基準領域設定手段２０において設定された基準領域Ｒｒｅｆと各注目領域ＡＲとそれぞれ比較することにより異常のある異常領域を検出するものである。ここで、異常検出方法として種々の方法を採用することができる。なお、異常検出手段４０は、注目領域ＡＲと基準領域Ｒｒｅｆとを比較する際に、ガウシアンフィルタ等を用いて、空間的および時間的にスムージング処理を行なった後に、以下に示す異常検出を行うようにしてもよい。
【００３９】
異常検出手段４０は基準領域Ｒｒｅｆおよび注目領域ＡＲの人物の密度を用いて異常領域ＥＡＲを検出する。すなわち、異常検出手段４０は、注目領域ＡＲについて上述の頭部検出手段２１と同様に頭部を検出し、注目領域ＡＲ内の頭部の密度を算出する。そして、異常検出手段４０は、注目領域ＡＲの頭部密度が基準領域Ｒｒｅｆの頭部密度以上であるとき、その注目領域ＡＲは異常領域ＥＡＲであると判断する。これにより、密集度が極めて高い状態である場合等の異常状態を検出することができる。
【００４０】
あるいは、異常検出手段４０は基準領域Ｒｒｅｆおよび注目領域ＡＲに存在する動きベクトル（オプティカルフロー）に基づいて異常領域ＥＡＲを検出するようにしてもよい。具体的には、異常検出手段４０は、注目領域ＡＲおよび基準領域Ｒｒｅｆの動きベクトルの平均値を算出する。そして、異常検出手段４０は注目領域ＡＲと基準領域Ｒｒｅｆとの動きベクトルの平均値の差分が設定しきい値以上である場合には注目領域ＡＲに異常があると判断し、設定しきい値未満であれば注目領域ＡＲに異常はないと判断する。これにより、群衆の一部が急に立ち止まるもしくは急に走り出すといった危険を生じやすい異常状態を検出することができる。
【００４１】
さらには、異常検出手段４０は注目領域ＡＲおよび基準領域Ｒｒｅｆから特徴量を抽出し、抽出した特徴量の差分が設定しきい値以上であるか否かを判断することにより、異常を検出するものであってもよい。具体的には、基準領域Ｒｒｅｆおよび注目領域ＡＲについてそれぞれフレーム間差分を行い、動き量の変化、エッジ量の変化、色の変化を特徴量として抽出する。そして、異常検出手段４０は、基準領域Ｒｒｅｆの特徴量と注目領域ＡＲの特徴量の差分が設定しきい値以上であるか否かを判断することにより異常の検出を行う。特に、上述した動き量の変化に対し所定のＣｏｓθだけ重み付けをした後に異常を検出するようにしてもよい（図２参照）。これにより、群衆の移動方向に合わせて上下方向の動き変化には敏感に左右方向の動き変化には鈍感になるとともに、動き量が群衆の進む方向とは反対であるときには符号が逆になるため、２つの領域の動き量の差分が大きくなり、より精度良く異常検出を行うことができる。
【００４２】
なお、異常検出手段４０は、上記異常検出手法のうちいずれか１つを用いてもよいし複数の手法を用いてもよい。たとえば、異常検出手段４０が頭部密度による異常検出と動きベクトルによる異常検出とを行うことにより、密集度が極めて高い場合および周囲とは異なる動きする人物がいる場合の双方の異常を検出することができる。
【００４３】
図１のカメラ制御手段５０は、異常検出手段４０における検出結果に基づいて監視カメラ２の動作を制御する機能を有している。たとえば異常検出手段４０において異常領域ＥＡＲが検出されたとき、カメラ制御手段５０は異常領域ＥＡＲをズームアップして撮影する機能を有している。なお、カメラ制御手段５０は、基準領域設定時においてはレンズをズームして頭部サイズを求め、異常検出時においては視野を広げるように監視カメラ２を制御してもよい。
【００４４】
図８は本発明の群衆監視方法の好ましい実施形態を示すフローチャートであり、図１から図８を参照して群衆監視方法について説明する。まず、監視カメラ２により群衆を撮影した動画像Ｐが取得された際、領域検出手段１０においてベクトル発生領域ＢＧＲの検出が行われる（ステップＳＴ１）。その後、ベクトル発生領域ＢＧＲにおいて頭部の検出（ステップＳＴ２−１）、密度の算出（ステップＳＴ２−２）、基準領域の選択（ステップＳＴ２−３）等に基づき、人物の密集度が設定しきい値未満の領域が基準領域Ｒｒｅｆとして設定されるとともに（図２〜図６参照）、複数の注目領域ＡＲが生成される（ステップＳＴ３、図７参照）。
【００４５】
次に、異常検出手段４０において基準領域Ｒｒｅｆを用いて異常のある注目領域ＡＲが検出される（ステップＳＴ４）。このとき、上述したように、たとえば基準領域Ｒｒｅｆと注目領域ＡＲとの動きベクトルの平均値の差分が設定しきい値以上であるかを判断することにより異常が検出される。その後、異常検出手段４０から検出した異常領域ＥＡＲについての情報が画面上に出力され、もしくはカメラ制御手段５０により監視カメラ２が異常領域をズーミングして撮影する等が行われる（ステップＳＴ５）。
【００４６】
このように、基準領域Ｒｒｅｆを予め設定するのではなく、フレーム画像ＦＰ内から検出することにより、撮影されている群衆に最適な基準領域Ｒｒｅｆに基づいて異常検出を行うことができ、異常の検出精度を向上させることができる。すなわち、たとえばコンサート、スポーツ観戦、駅の改札等の群衆が形成される場所や客層により群衆の特性が異なる。したがって、予め設定された基準領域Ｒｒｅｆでは正確に異常を検出できない場合がある。また、従来のように単に２つの領域を抽出し比較するだけでは、いずれの領域にも異常がある場合には異常が検出できないとともに、２つの領域のうちいずれの領域が異常であるか判断しづらいという問題がある。
【００４７】
そこで、群衆内においてある人物とって他の人物は障害物であり、人物が少ない領域にいる人物は周囲の人物に影響されることなく正常な動きをするという知見に基づき、人物が少ない領域を基準領域Ｒｒｅｆとして設定する。これにより、群衆内において正常な動きをしていると見なされる人物の密集度の低い領域を基準領域Ｒｒｅｆとして設定し、基準領域Ｒｒｅｆと注目領域ＡＲとを比較して異常を検出することにより、画像内の群衆の特性に合った異常の検出を精度良く行うことができる。
【００４８】
図８は本発明の群衆監視装置の別の実施形態を示すブロック図であり、図８を参照して群衆監視装置１００について説明する。なお、図８の群衆監視装置１００において図１の群衆監視装置１と同一の構成を有する部位には同一の符号を付してその説明を量略する。図８の群衆監視装置１００が図１の群衆監視装置１と異なる点は、人物（頭部）の密度により異常検出を行う際に密度の算出を高速に行う点である。
【００４９】
具体的には、異常検出手段１４０は注目領域ＡＲを縮小した後に密度を算出し異常検出を行う機能を有しており、頭部検出手段１４１、画像縮小手段１４２、密度算出手段１４３、異常判断手段１４４を備えている。
【００５０】
頭部検出手段１４１は、注目領域ＡＲ内から人物の頭部を検出するものであり、上述した頭部検出手段２１と同様の手法により頭部を検出する。画像縮小手段１４２は、頭部検出手段１４１により検出された頭部のサイズが１〜数画素の設定画素サイズになるように注目領域ＡＲを縮小するものである。密度算出手段１４３は、縮小された縮小注目領域ＡＲから頭部の密度を算出する。異常判断手段１４４は、縮小注目領域ＡＲの密度と基準領域Ｒｒｅｆの密度とをから注目領域ＡＲの異常を検出するものである。
【００５１】
このように、頭部検出を実行し頭部サイズを求めた後に画像解像度を頭部サイズが１〜数画素になるまで縮小して実行後に異常検出を行うことにより、密度の算出および異常検出を行う際にたとえば注目領域ＡＲを１／４×１／４にサイズを縮小した際には処理時間を１／１６に減らすことができ、処理時間の大幅な高速化を図ることができる。
【００５２】
なお、注目領域ＡＲを縮小した後に密度を求める場合について例示しているが、基準領域Ｒｒｅｆの基準密度を算出する際にも頭部を検出後に画像を縮小し頭部の密度を算出するようにしてもよい。
【００５３】
図１１は本発明の群衆監視装置の別の実施形態を示すブロック図であり、図１１を参照して群衆監視装置２００について説明する。なお、図１１の群衆監視装置２００において図１の群衆監視装置１と同一の構成を有する部位には同一の符号を付してその説明を省略する。図１１の群衆監視装置２００が図１の群衆監視装置１と異なる点は、複数の解像度画像に基づいて異常を検出する点である。
【００５４】
群衆監視装置２００は多重解像度変換手段２１０をさらに有しており、多重解像度変換手段２１０は、図１２に示すように、フレーム画像ＦＰについて解像度の異なる複数の解像度画像を生成する。そして、基準領域設定手段２０および注目領域生成手段３０は、各解像度画像についてそれぞれ基準領域Ｒｒｅｆの設定および注目領域ＡＲの生成を行う。
【００５５】
このとき、異常検出手段２４０は、解像度画像毎に基準領域Ｒｒｅｆおよび注目領域ＡＲに基づき異常の検出を行う。その後、異常検出手段２４０は、各解像度画像において検出された複数の異常候補領域を平均化、論理和等により統合し、最終的な異常領域を検出する。このように、複数の解像度画像毎に異常検出を行うことにより、異常領域のサイズ変動への追従性を持たせて精度良く異常領域を検出することができる。
【００５６】
上記実施の形態によれば、画像内の監視領域ＷＲにおいて群衆もしくは移動体が存在するベクトル発生領域ＢＧＲを検出し、検出したベクトル発生領域ＢＧＲのうち、人物の密集度が設定しきい値未満である領域を基準領域Ｒｒｅｆとして設定するとともに、監視領域ＷＲを複数の領域に分割して注目領域ＡＲを生成し、設定した基準領域に基づいて各注目領域が異常のある異常領域ＥＡＲであるかを検出することにより、人物の移動に制限が少ない人物の密集度が少ない領域を基準領域Ｒｒｅｆとして設定し、基準領域に基づいて異常領域を検出することができるため、精度の高い異常検出を行うことができる。
【００５７】
また、図１および図３に示すように、基準領域設定手段２０が、ベクトル発生領域から人物の頭部を検出する頭部検出手段２１と、頭部検出手段２１において検出された頭部の単位面積当たりの頭部密度を算出する密度算出手段２２と、密度算出手段２２において算出された頭部密度が設定しきい値未満の領域を用いて基準領域Ｒｒｅｆを選択する領域選択手段２３とを備えたものであるとき、自動検出を行いやすい頭部に基づいて人物の密度を検出することができるため、精度良く異常検出を行うことができる。
【００５８】
また、図４に示すように、基準領域設定手段２０が、頭部密度が設定しきい値未満の領域内に終点を有する動きベクトルを抽出し、抽出した動きベクトルの始点となる領域を基準領域Ｒｒｅｆとして選択するものであれば、異常が発生している可能性が少ない領域を基準領域Ｒｒｅｆとして設定することができるため、異常領域ＥＡＲの検出精度を高めることができる。
【００５９】
さらに、異常検出手段４０が、各注目領域ＡＲ内の人物の密度を算出し、算出した注目領域ＡＲの人物の密集度が基準領域Ｒｒｅｆ内の人物の密集度以上であるか否かを判断するものであれば、人物の密集度が極めて高い領域を異常をして検出することができる。
【００６０】
また、異常検出手段４０が、基準領域Ｒｒｅｆおよび各注目領域ＡＲから動きベクトルを抽出し、抽出した動きベクトルを用いて異常領域ＥＡＲを検出するものであるとき、たとえば群衆の中において周囲とは異なる動きをする集団等を事前に察知し異常として検出することができる。
【００６１】
さらに、図９、図１０に示すように、異常検出手段１４０が、各注目領域から頭部を検出する頭部検出手段１４１と、頭部検出手段１４１による頭部の検出後に注目領域のサイズを縮小する画像縮小手段１４２と、画像縮小手段１４２により縮小された画像に基づいて人物の密集度を算出する密度算出手段１４３とを備えたものであるとき、データ量の少ない縮小した画像を用いて効率的に密度の算出を行い異常検出速度を向上させることができる。
【００６２】
また、図１１、図１２に示すように、基準領域Ｒｒｅｆおよび注目領域ＡＲについて複数の多重解像度画像を生成する多重解像度変換手段２１０をさらに有するものであり、異常検出手段２４０が、多重解像度変換手段２１０により変換された複数の多重解像度画像毎に異常領域候補を検出し、多重解像度画像毎に検出した異常領域候補を用いて異常領域ＥＡＲを検出するものであれば、画像に映り込む群衆の様々なサイズに対応した異常検出を行うことができる。
【００６３】
さらに、異常検出手段４０により検出された異常領域ＥＡＲに対しカメラがズームアップ撮影を行うようにカメラを制御するカメラ制御手段５０をさらに備えたものであるとき、異常領域の状況をよりよく把握することができる。
【００６４】
本発明の実施形態は、上記実施形態に限定されない。たとえば群衆の検出の他に他の領域の特定のオブジェクトの抽出結果も用いて異常検出を行うようにしても良い。たとえば、群衆の進行を止める信号機の色の変化を抽出し、信号機が赤になれば群衆の前の方から停止することに鑑み、異常検出手段４０において群衆の動きが止まった場合であっても信号機が赤であることを認識したときには、移動速度変化がマイナスになった場合であっても異常ではないと判断するようにしてもよい。
【符号の説明】
【００６５】
１、１００、２００ 群衆監視装置
２ 監視カメラ
１０ 領域検出手段
２０ 基準領域設定手段
２１ 頭部検出手段
２２ 密度算出手段
２３ 領域選択手段
３０ 注目領域生成手段
４０、１４０、２４０ 異常検出手段
５０ カメラ制御手段
１４３ 密度算出手段
１４４ 異常判断手段
２００ 群衆監視装置
２１０ 多重解像度変換手段
ＡＲ 注目領域
ＢＧＲ ベクトル発生領域
ＥＡＲ 異常領域
ＦＰ フレーム画像
Ｐ 動画像
Ｒｒｅｆ 基準領域
ＷＲ 監視領域
【技術分野】
【０００１】
本発明は、監視カメラ等を用いて撮影した画像に基づいて群衆の状態を監視する群衆監視装置および方法ならびにプログラムに関するものである。
【背景技術】
【０００２】
近年、画像のパターン認識技術の発達により画像に映し出された人物の顔を自動的に識別しもしくは人物と背景とを自動的に識別する技術が開発されている。このうち、監視カメラ等により撮影された画像に基づいて群衆を監視し、群衆の異常を検出することが提案されている（たとえば特許文献１、２参照）。特許文献１には、フレーム画像の差分に基づいてオプティカルフロー（動きベクトル）を求め、２以上の対象領域におけるオプティカルフローの平均値を比較し、比較結果に基づいて状態指標を算出することが開示されている。また、特許文献２には、画像内の人物の密集度を算出し、算出した人物の密集度をデータベース内に記憶した基準密集度と比較し、比較結果に基づいて異常の判断を行うことが開示されている。
【０００３】
また、特許文献３には、画像から人物が異常な動作をしているか否かを判別するために、画像を複数の領域に分割し、分割した各領域から特徴量を抽出し、抽出した特徴量をベクトル成分とする特徴ベクトルと学習済みの判別器とを用いて異常が発生したか否かを判断することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−９９２４１号公報
【特許文献２】国際公開第２００５／０３９１８１号パンフレット
【特許文献３】特開２００８−２６９０６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１のように、任意の２以上の領域を選択した場合、いずれも異常が生じている場合には異常が検出できないとともに、いずれの領域が異常であるか識別することができず、異常検出の精度が悪いという問題がある。また、特許文献２、３のように、基準密集度を予め設定する場合、判断対象である群衆に最適な基準領域でない場合が生じ、結果として異常検出の精度が落ちる場合があるという問題がある。
【０００６】
そこで、本発明は、群衆の監視を行う際に異常の検出精度を向上させることができる群衆監視装置および方法ならびにプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明の群衆監視装置は、画像内の監視領域において群衆もしくは移動体が存在するベクトル発生領域を検出する領域検出手段と、領域検出手段により検出されたベクトル発生領域のうち、人物の密集度が設定しきい値未満である領域を基準領域として設定する基準領域設定手段と、監視領域を複数の領域に分割して注目領域を生成する注目領域生成手段と、基準領域設定手段において設定された基準領域に基づいて各注目領域が異常のある異常領域であるかを検出する異常検出手段とを備えたことを特徴とするものである。
【０００８】
本発明の群衆監視方法は、画像内の監視領域において群衆もしくは移動体が存在するベクトル発生領域を検出し、検出したベクトル発生領域のうち、人物の密集度が設定しきい値未満である領域を基準領域として設定するとともに、監視領域を複数の領域に分割して注目領域を生成し、設定した基準領域に基づいて各注目領域が異常のある異常領域であるかを検出することを特徴とするものである。
【０００９】
本発明の群衆監視プログラムは、画像内の監視領域において群衆もしくは移動体が存在するベクトル発生領域を検出し、検出したベクトル発生領域のうち、人物の密集度が設定しきい値未満である領域を基準領域として設定するとともに、監視領域を複数の領域に分割して注目領域を生成し、設定した基準領域に基づいて各注目領域が異常のある異常領域であるかを検出することを実行させること特徴とするものである。
【００１０】
ここで、基準領域設定手段は、人物の密集度が設定しきい値未満である領域を選択するものであればその方法を問わず、たとえばベクトル発生領域から人物の頭部を検出する頭部検出手段と、頭部検出手段において検出された頭部の単位面積当たりの頭部密度を算出する密度算出手段と、密度算出手段において算出された頭部密度が設定しきい値未満の領域を用いて基準領域を選択する領域選択手段とを備えたものであってもよい。
【００１１】
このとき、基準領域設定手段は、頭部密度が設定しきい値未満の領域内に終点を有する動きベクトルを抽出し、抽出した動きベクトルの始点となる領域を基準領域として選択するものであってもよい。
【００１２】
あるいは、基準領域設定手段は、画像内に群衆もしくは移動体が入り込み始めた際の領域およびその周辺から人物の密集度が設定しきい値未満である領域を基準領域として選択するものであってもよい。
【００１３】
さらには、基準領域設定手段は、監視領域の境界部分における動きベクトルが発生し始めた領域であって、始点が該監視領域外にあり終点が監視領域内にある動きベクトルの終点を集計した領域を基準領域として設定するものであってもよい。
【００１４】
また、異常検出手段は、基準領域に基づいて注目領域が異常領域であるか否かを検出するものであればその方法を問わず、たとえば各注目領域内の人物の密度を算出し、算出した注目領域の人物の密集度が基準領域内の人物の密集度以上であるか否かを判断するものであってもよい。
【００１５】
このとき、異常検出手段は、注目領域から人物の密度を算出するものであればその方法を問わず、たとえば各注目領域から頭部を検出する頭部検出手段と、頭部検出手段による頭部の検出後に注目領域のサイズを縮小する画像縮小手段と、画像縮小手段により縮小された画像に基づいて人物の密集度を算出する密度算出手段とを備えたものであってもよい。
【００１６】
あるいは、異常検出手段は、基準領域および各注目領域から特徴量を抽出し、抽出した特徴量を用いて異常領域を検出するものであってもよいし、基準領域および各注目領域から動きベクトルを抽出し、抽出した動きベクトルを用いて異常領域を検出するものであってもよい。
【００１７】
さらに、基準領域および注目領域について複数の多重解像度画像を生成する多重解像度変換手段をさらに有するものであってもよい。このとき、異常検出手段は、多重解像度変換手段により変換された複数の多重解像度画像毎に異常領域候補を検出し、多重解像度画像毎に検出した異常領域候補を用いて異常領域を検出することになる。
【００１８】
なお、群衆監視装置は、異常検出手段により検出された異常領域に対しカメラがズームアップ撮影を行うようにカメラを制御するカメラ制御手段をさらに備えたものであってもよい。
【発明の効果】
【００１９】
本発明の群衆監視装置および方法ならびにプログラムによれば、画像内の監視領域において群衆もしくは移動体が存在するベクトル発生領域を検出し、検出したベクトル発生領域のうち、人物の密集度が設定しきい値未満である領域を基準領域として設定するとともに、監視領域を複数の領域に分割して注目領域を生成し、設定した基準領域に基づいて各注目領域が異常のある異常領域であるかを検出することにより、群衆の中でも人物の移動に制限が少ない人物密集度が少ない領域を基準領域として設定し、基準領域に基づいて異常領域を検出することができるため、精度の高い異常検出を行うことができる。
【００２０】
なお、基準領域設定手段が、ベクトル発生領域から人物の頭部を検出する頭部検出手段と、頭部検出手段において検出された頭部の単位面積当たりの頭部密度を算出する密度算出手段と、密度算出手段において算出された頭部密度が設定しきい値未満の領域を用いて基準領域を選択する領域選択手段とを備えたものであるとき、自動検出を行いやすい頭部に基づいて人物の密度を検出することができるため、精度良く異常検出を行うことができる。
【００２１】
また、基準領域設定手段が、頭部密度が設定しきい値未満の領域内に終点を有する動きベクトルを抽出し、抽出した動きベクトルの始点となる領域を基準領域として選択するものであれば、異常が発生している可能性が少ない領域を基準領域として設定することができるため、異常領域の検出精度を高めることができる。
【００２２】
また、異常検出手段が、各注目領域内の人物の密度を算出し、算出した注目領域の人物の密集度が基準領域内の人物の密集度以上であるか否かを判断するものであれば、人物の密集度が極めて高い領域を異常をして検出することができる。
【００２３】
さらに、異常検出手段が、各注目領域から頭部を検出する頭部検出手段と、頭部検出手段による頭部の検出後に注目領域のサイズを縮小する画像縮小手段と、画像縮小手段により縮小された画像に基づいて人物の密集度を算出する密度算出手段とを備えたものであるとき、データ量の少ない縮小した画像を用いて効率的に密度の算出を行い異常検出速度を向上させることができる。
【００２４】
さらに、異常検出手段が、基準領域および各注目領域から動きベクトルを抽出し、抽出した動きベクトルを用いて異常領域を検出するものであるとき、たとえば群衆の中において周囲とは異なる動きをする集団等を察知し異常として検出することができる。
【００２５】
また、基準領域および注目領域について複数の多重解像度画像を生成する多重解像度変換手段をさらに有するものであり、異常検出手段が、多重解像度変換手段により変換された複数の多重解像度画像毎に異常領域候補を検出し、多重解像度画像毎に検出した異常領域候補を用いて異常領域を検出するものであれば、画像に映り込む群衆の様々なサイズに対応した異常検出を行うことができる。
【００２６】
さらに、異常検出手段により検出された異常領域に対しカメラがズームアップ撮影を行うようにカメラを制御するカメラ制御手段をさらに備えたものであるとき、異常領域の状況をよりよく把握することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の群衆監視装置の好ましい実施形態を示すブロック図
【図２】監視カメラ２により撮影され取得された画像の一例を示す模式図
【図３】図１の基準領域設定手段において基準領域が設定される様子を示す模式図
【図４】図１の基準領域設定手段において基準領域が設定される別の一例を示す模式図
【図５】図１の基準領域設定手段において基準領域が設定される別の一例を示す模式図
【図６】図１の基準領域設定手段において基準領域が設定される別の一例を示す模式図
【図７】図１の注目領域生成手段において注目領域が生成される様子を示す模式図
【図８】本発明の群衆監視方法の好ましい実施形態を示すフローチャート
【図９】本発明の群衆監視装置の第２の実施形態を示すブロック図
【図１０】図９の異常検出手段において注目領域が縮小される様子を示す模式図
【図１１】本発明の群衆監視装置の第３の実施形態を示すブロック図
【図１２】図１１の多重解像度変換手段により生成された多重解像度画像に基づいて異常検出が行われる様子を示す模式図
【発明を実施するための形態】
【００２８】
以下、図面を参照して本発明の実施形態を詳細に説明する。図１は本発明の群衆監視装置の好ましい実施形態を示すブロック図である。なお、図１のような群衆監視装置１の構成は、補助記憶装置に読み込まれた群衆監視プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。また、この群衆監視プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。
【００２９】
図１の群衆監視装置１は、たとえば監視カメラ２により群衆を撮影した複数のフレーム画像ＦＰからなる動画像の監視領域ＷＲについて群衆の異常を検出するものであって、領域検出手段１０、基準領域設定手段２０、注目領域生成手段３０、異常検出手段４０、カメラ制御手段５０を備えている。なお、監視領域ＷＲは、図２に示すように、たとえば予め画像中央部分に設定されたものであってもよいし、画像全体を監視領域ＷＲとして設定してもよい。
【００３０】
領域検出手段１０は、監視領域ＷＲ内において人の密度変化もしくは移動速度の変化が生じている領域を検出するものである。具体的には、領域検出手段１０は、監視カメラ２により取得された動画像について、背景画像ＢＰとフレーム画像ＦＰの差分を算出することにより、動きベクトルが発生しているベクトル発生領域ＢＧＲを検出する。なお、背景画像ＢＰは予め設定されたものであってもよいし、下記式（１）に示すように、重み付け係数αを用いて時間経過とともに更新するものであってもよい。
ＢＰ（ｔ）＝α・ＢＰ(ｔ)＋（１−α）・ＢＰ(ｔ−１) ・・・（１）
【００３１】
図１の基準領域設定手段２０は、領域検出手段１０により検出されたベクトル発生領域ＢＧＲのうち、人物の密集度が設定しきい値未満である疎領域を基準領域Ｒｒｅｆとして設定するものである。具体的には、基準領域設定手段２０は、ベクトル発生領域ＢＧＲにおいて、人物の頭部を用いて人物の密度を算出するものであって、頭部検出手段２１、密度算出手段２２、領域選択手段２３を有している。頭部検出手段２１は、ベクトル発生領域ＢＧＲから人物の頭部を検出するものであって、頭部を検出する方法としてパターンマッチングやニューラルネットワークによる画像認識等の公知の技術を用いることができる。
【００３２】
密度算出手段２２は、頭部検出手段２１において検出された頭部の単位面積当たりの頭部密度を算出するものである。具体的には、図３に示すように、密度算出手段２２は、ベクトル発生領域ＢＧＲを複数のブロック領域ＢＲ毎に分割し、頭部検出手段２１により検出された頭部の数をブロック領域ＢＲ毎に計測する。そして、密度算出手段２２はブロック領域ＢＲ当たりの頭部の数を密度として算出する。
【００３３】
領域選択手段２３は、密度算出手段２２において算出された頭部密度が設定しきい値未満の領域を用いて基準領域Ｒｒｅｆを選択するものである。このとき、領域選択手段２３は、頭部密度が設定しきい値未満の領域を基準領域Ｒｒｅｆとして設定してもよいし、頭部密度が設定しきい値未満の領域Ｒｒｅｆ１と当該領域内の動きベクトルとに基づいて基準領域Ｒｒｅｆを設定するようにしてもよい。
【００３４】
すなわち、領域選択手段２３は、監視領域ＷＲ内に群衆が入り始めた領域を基準領域Ｒｒｅｆとして設定する。具体的には、図４に示すように、領域選択手段２３は、頭部密度が設定しきい値未満の領域Ｒ内に終点を有する動きベクトルを抽出する。さらに、領域選択手段２３は、検出した動きベクトルのうち監視領域外に始点を有する動きベクトルを検出し、始点が監視領域外であって終点が監視領域内にある動きベクトルの終点画素を集計する。その後、モフォロジー処理により領域を整形したものを基準領域Ｒｒｅｆとして選択する。
【００３５】
図１、図３および図４において、頭部の検出結果に基づいて基準領域Ｒｒｅｆを検出する場合について例示しているが、動きベクトルの密度に基づいて基準領域Ｒｒｅｆを設定するようにしてもよい。具体的には、基準領域設定手段２０は、図５に示すように、ベクトル発生領域ＢＧＲの中から動きベクトルが密な領域と疎の領域とを抽出する。そして、基準領域設定手段２０は、密な領域と疎の領域とに対し２値化処理をし、クロージング処理（白黒画像に対する膨張処理および収縮処理の繰り返し） により小さな疎領域を除去した後に輝度反転処理を行うことにより、疎の領域を基準領域Ｒｒｅｆとして設定する。
【００３６】
さらに、基準領域設定手段２０は、監視領域ＷＲ内において動きベクトルが発生し始めた領域を基準領域Ｒｒｅｆとして設定するものであってもよい。すなわち、図６に示すように、基準領域設定手段２０は、監視領域ＷＲの境界部分の動きベクトルを検出し、検出した動きベクトルのうち、動きベクトルの始点が監視領域ＷＲ外であって終点が監視領域内にある動きベクトルを抽出し、その終点画素を集めた領域を基準領域Ｒｒｅｆとして設定するようにしてもよい。監視領域ＷＲ内へ群衆が侵入し始めた領域を基準領域Ｒｒｅｆとして設定することにより、群衆の先頭は人物の密集度が小さいとともに前に障害物がなく正常な動きをするため、異常を検出する際の基準として最適な基準領域Ｒｒｅｆを設定することができる。
【００３７】
図１の注目領域生成手段３０は、監視領域ＷＲを複数の領域に分割して注目領域ＡＲを生成するものである。具体的には、図７に示すように、注目領域生成手段３０はｎ×ｎ画素からなる切取枠を監視領域ＷＲの範囲内でラスタスキャンすることにより複数の注目領域ＡＲを生成する。
【００３８】
図１の異常検出手段４０は、基準領域設定手段２０において設定された基準領域Ｒｒｅｆと各注目領域ＡＲとそれぞれ比較することにより異常のある異常領域を検出するものである。ここで、異常検出方法として種々の方法を採用することができる。なお、異常検出手段４０は、注目領域ＡＲと基準領域Ｒｒｅｆとを比較する際に、ガウシアンフィルタ等を用いて、空間的および時間的にスムージング処理を行なった後に、以下に示す異常検出を行うようにしてもよい。
【００３９】
異常検出手段４０は基準領域Ｒｒｅｆおよび注目領域ＡＲの人物の密度を用いて異常領域ＥＡＲを検出する。すなわち、異常検出手段４０は、注目領域ＡＲについて上述の頭部検出手段２１と同様に頭部を検出し、注目領域ＡＲ内の頭部の密度を算出する。そして、異常検出手段４０は、注目領域ＡＲの頭部密度が基準領域Ｒｒｅｆの頭部密度以上であるとき、その注目領域ＡＲは異常領域ＥＡＲであると判断する。これにより、密集度が極めて高い状態である場合等の異常状態を検出することができる。
【００４０】
あるいは、異常検出手段４０は基準領域Ｒｒｅｆおよび注目領域ＡＲに存在する動きベクトル（オプティカルフロー）に基づいて異常領域ＥＡＲを検出するようにしてもよい。具体的には、異常検出手段４０は、注目領域ＡＲおよび基準領域Ｒｒｅｆの動きベクトルの平均値を算出する。そして、異常検出手段４０は注目領域ＡＲと基準領域Ｒｒｅｆとの動きベクトルの平均値の差分が設定しきい値以上である場合には注目領域ＡＲに異常があると判断し、設定しきい値未満であれば注目領域ＡＲに異常はないと判断する。これにより、群衆の一部が急に立ち止まるもしくは急に走り出すといった危険を生じやすい異常状態を検出することができる。
【００４１】
さらには、異常検出手段４０は注目領域ＡＲおよび基準領域Ｒｒｅｆから特徴量を抽出し、抽出した特徴量の差分が設定しきい値以上であるか否かを判断することにより、異常を検出するものであってもよい。具体的には、基準領域Ｒｒｅｆおよび注目領域ＡＲについてそれぞれフレーム間差分を行い、動き量の変化、エッジ量の変化、色の変化を特徴量として抽出する。そして、異常検出手段４０は、基準領域Ｒｒｅｆの特徴量と注目領域ＡＲの特徴量の差分が設定しきい値以上であるか否かを判断することにより異常の検出を行う。特に、上述した動き量の変化に対し所定のＣｏｓθだけ重み付けをした後に異常を検出するようにしてもよい（図２参照）。これにより、群衆の移動方向に合わせて上下方向の動き変化には敏感に左右方向の動き変化には鈍感になるとともに、動き量が群衆の進む方向とは反対であるときには符号が逆になるため、２つの領域の動き量の差分が大きくなり、より精度良く異常検出を行うことができる。
【００４２】
なお、異常検出手段４０は、上記異常検出手法のうちいずれか１つを用いてもよいし複数の手法を用いてもよい。たとえば、異常検出手段４０が頭部密度による異常検出と動きベクトルによる異常検出とを行うことにより、密集度が極めて高い場合および周囲とは異なる動きする人物がいる場合の双方の異常を検出することができる。
【００４３】
図１のカメラ制御手段５０は、異常検出手段４０における検出結果に基づいて監視カメラ２の動作を制御する機能を有している。たとえば異常検出手段４０において異常領域ＥＡＲが検出されたとき、カメラ制御手段５０は異常領域ＥＡＲをズームアップして撮影する機能を有している。なお、カメラ制御手段５０は、基準領域設定時においてはレンズをズームして頭部サイズを求め、異常検出時においては視野を広げるように監視カメラ２を制御してもよい。
【００４４】
図８は本発明の群衆監視方法の好ましい実施形態を示すフローチャートであり、図１から図８を参照して群衆監視方法について説明する。まず、監視カメラ２により群衆を撮影した動画像Ｐが取得された際、領域検出手段１０においてベクトル発生領域ＢＧＲの検出が行われる（ステップＳＴ１）。その後、ベクトル発生領域ＢＧＲにおいて頭部の検出（ステップＳＴ２−１）、密度の算出（ステップＳＴ２−２）、基準領域の選択（ステップＳＴ２−３）等に基づき、人物の密集度が設定しきい値未満の領域が基準領域Ｒｒｅｆとして設定されるとともに（図２〜図６参照）、複数の注目領域ＡＲが生成される（ステップＳＴ３、図７参照）。
【００４５】
次に、異常検出手段４０において基準領域Ｒｒｅｆを用いて異常のある注目領域ＡＲが検出される（ステップＳＴ４）。このとき、上述したように、たとえば基準領域Ｒｒｅｆと注目領域ＡＲとの動きベクトルの平均値の差分が設定しきい値以上であるかを判断することにより異常が検出される。その後、異常検出手段４０から検出した異常領域ＥＡＲについての情報が画面上に出力され、もしくはカメラ制御手段５０により監視カメラ２が異常領域をズーミングして撮影する等が行われる（ステップＳＴ５）。
【００４６】
このように、基準領域Ｒｒｅｆを予め設定するのではなく、フレーム画像ＦＰ内から検出することにより、撮影されている群衆に最適な基準領域Ｒｒｅｆに基づいて異常検出を行うことができ、異常の検出精度を向上させることができる。すなわち、たとえばコンサート、スポーツ観戦、駅の改札等の群衆が形成される場所や客層により群衆の特性が異なる。したがって、予め設定された基準領域Ｒｒｅｆでは正確に異常を検出できない場合がある。また、従来のように単に２つの領域を抽出し比較するだけでは、いずれの領域にも異常がある場合には異常が検出できないとともに、２つの領域のうちいずれの領域が異常であるか判断しづらいという問題がある。
【００４７】
そこで、群衆内においてある人物とって他の人物は障害物であり、人物が少ない領域にいる人物は周囲の人物に影響されることなく正常な動きをするという知見に基づき、人物が少ない領域を基準領域Ｒｒｅｆとして設定する。これにより、群衆内において正常な動きをしていると見なされる人物の密集度の低い領域を基準領域Ｒｒｅｆとして設定し、基準領域Ｒｒｅｆと注目領域ＡＲとを比較して異常を検出することにより、画像内の群衆の特性に合った異常の検出を精度良く行うことができる。
【００４８】
図８は本発明の群衆監視装置の別の実施形態を示すブロック図であり、図８を参照して群衆監視装置１００について説明する。なお、図８の群衆監視装置１００において図１の群衆監視装置１と同一の構成を有する部位には同一の符号を付してその説明を量略する。図８の群衆監視装置１００が図１の群衆監視装置１と異なる点は、人物（頭部）の密度により異常検出を行う際に密度の算出を高速に行う点である。
【００４９】
具体的には、異常検出手段１４０は注目領域ＡＲを縮小した後に密度を算出し異常検出を行う機能を有しており、頭部検出手段１４１、画像縮小手段１４２、密度算出手段１４３、異常判断手段１４４を備えている。
【００５０】
頭部検出手段１４１は、注目領域ＡＲ内から人物の頭部を検出するものであり、上述した頭部検出手段２１と同様の手法により頭部を検出する。画像縮小手段１４２は、頭部検出手段１４１により検出された頭部のサイズが１〜数画素の設定画素サイズになるように注目領域ＡＲを縮小するものである。密度算出手段１４３は、縮小された縮小注目領域ＡＲから頭部の密度を算出する。異常判断手段１４４は、縮小注目領域ＡＲの密度と基準領域Ｒｒｅｆの密度とをから注目領域ＡＲの異常を検出するものである。
【００５１】
このように、頭部検出を実行し頭部サイズを求めた後に画像解像度を頭部サイズが１〜数画素になるまで縮小して実行後に異常検出を行うことにより、密度の算出および異常検出を行う際にたとえば注目領域ＡＲを１／４×１／４にサイズを縮小した際には処理時間を１／１６に減らすことができ、処理時間の大幅な高速化を図ることができる。
【００５２】
なお、注目領域ＡＲを縮小した後に密度を求める場合について例示しているが、基準領域Ｒｒｅｆの基準密度を算出する際にも頭部を検出後に画像を縮小し頭部の密度を算出するようにしてもよい。
【００５３】
図１１は本発明の群衆監視装置の別の実施形態を示すブロック図であり、図１１を参照して群衆監視装置２００について説明する。なお、図１１の群衆監視装置２００において図１の群衆監視装置１と同一の構成を有する部位には同一の符号を付してその説明を省略する。図１１の群衆監視装置２００が図１の群衆監視装置１と異なる点は、複数の解像度画像に基づいて異常を検出する点である。
【００５４】
群衆監視装置２００は多重解像度変換手段２１０をさらに有しており、多重解像度変換手段２１０は、図１２に示すように、フレーム画像ＦＰについて解像度の異なる複数の解像度画像を生成する。そして、基準領域設定手段２０および注目領域生成手段３０は、各解像度画像についてそれぞれ基準領域Ｒｒｅｆの設定および注目領域ＡＲの生成を行う。
【００５５】
このとき、異常検出手段２４０は、解像度画像毎に基準領域Ｒｒｅｆおよび注目領域ＡＲに基づき異常の検出を行う。その後、異常検出手段２４０は、各解像度画像において検出された複数の異常候補領域を平均化、論理和等により統合し、最終的な異常領域を検出する。このように、複数の解像度画像毎に異常検出を行うことにより、異常領域のサイズ変動への追従性を持たせて精度良く異常領域を検出することができる。
【００５６】
上記実施の形態によれば、画像内の監視領域ＷＲにおいて群衆もしくは移動体が存在するベクトル発生領域ＢＧＲを検出し、検出したベクトル発生領域ＢＧＲのうち、人物の密集度が設定しきい値未満である領域を基準領域Ｒｒｅｆとして設定するとともに、監視領域ＷＲを複数の領域に分割して注目領域ＡＲを生成し、設定した基準領域に基づいて各注目領域が異常のある異常領域ＥＡＲであるかを検出することにより、人物の移動に制限が少ない人物の密集度が少ない領域を基準領域Ｒｒｅｆとして設定し、基準領域に基づいて異常領域を検出することができるため、精度の高い異常検出を行うことができる。
【００５７】
また、図１および図３に示すように、基準領域設定手段２０が、ベクトル発生領域から人物の頭部を検出する頭部検出手段２１と、頭部検出手段２１において検出された頭部の単位面積当たりの頭部密度を算出する密度算出手段２２と、密度算出手段２２において算出された頭部密度が設定しきい値未満の領域を用いて基準領域Ｒｒｅｆを選択する領域選択手段２３とを備えたものであるとき、自動検出を行いやすい頭部に基づいて人物の密度を検出することができるため、精度良く異常検出を行うことができる。
【００５８】
また、図４に示すように、基準領域設定手段２０が、頭部密度が設定しきい値未満の領域内に終点を有する動きベクトルを抽出し、抽出した動きベクトルの始点となる領域を基準領域Ｒｒｅｆとして選択するものであれば、異常が発生している可能性が少ない領域を基準領域Ｒｒｅｆとして設定することができるため、異常領域ＥＡＲの検出精度を高めることができる。
【００５９】
さらに、異常検出手段４０が、各注目領域ＡＲ内の人物の密度を算出し、算出した注目領域ＡＲの人物の密集度が基準領域Ｒｒｅｆ内の人物の密集度以上であるか否かを判断するものであれば、人物の密集度が極めて高い領域を異常をして検出することができる。
【００６０】
また、異常検出手段４０が、基準領域Ｒｒｅｆおよび各注目領域ＡＲから動きベクトルを抽出し、抽出した動きベクトルを用いて異常領域ＥＡＲを検出するものであるとき、たとえば群衆の中において周囲とは異なる動きをする集団等を事前に察知し異常として検出することができる。
【００６１】
さらに、図９、図１０に示すように、異常検出手段１４０が、各注目領域から頭部を検出する頭部検出手段１４１と、頭部検出手段１４１による頭部の検出後に注目領域のサイズを縮小する画像縮小手段１４２と、画像縮小手段１４２により縮小された画像に基づいて人物の密集度を算出する密度算出手段１４３とを備えたものであるとき、データ量の少ない縮小した画像を用いて効率的に密度の算出を行い異常検出速度を向上させることができる。
【００６２】
また、図１１、図１２に示すように、基準領域Ｒｒｅｆおよび注目領域ＡＲについて複数の多重解像度画像を生成する多重解像度変換手段２１０をさらに有するものであり、異常検出手段２４０が、多重解像度変換手段２１０により変換された複数の多重解像度画像毎に異常領域候補を検出し、多重解像度画像毎に検出した異常領域候補を用いて異常領域ＥＡＲを検出するものであれば、画像に映り込む群衆の様々なサイズに対応した異常検出を行うことができる。
【００６３】
さらに、異常検出手段４０により検出された異常領域ＥＡＲに対しカメラがズームアップ撮影を行うようにカメラを制御するカメラ制御手段５０をさらに備えたものであるとき、異常領域の状況をよりよく把握することができる。
【００６４】
本発明の実施形態は、上記実施形態に限定されない。たとえば群衆の検出の他に他の領域の特定のオブジェクトの抽出結果も用いて異常検出を行うようにしても良い。たとえば、群衆の進行を止める信号機の色の変化を抽出し、信号機が赤になれば群衆の前の方から停止することに鑑み、異常検出手段４０において群衆の動きが止まった場合であっても信号機が赤であることを認識したときには、移動速度変化がマイナスになった場合であっても異常ではないと判断するようにしてもよい。
【符号の説明】
【００６５】
１、１００、２００ 群衆監視装置
２ 監視カメラ
１０ 領域検出手段
２０ 基準領域設定手段
２１ 頭部検出手段
２２ 密度算出手段
２３ 領域選択手段
３０ 注目領域生成手段
４０、１４０、２４０ 異常検出手段
５０ カメラ制御手段
１４３ 密度算出手段
１４４ 異常判断手段
２００ 群衆監視装置
２１０ 多重解像度変換手段
ＡＲ 注目領域
ＢＧＲ ベクトル発生領域
ＥＡＲ 異常領域
ＦＰ フレーム画像
Ｐ 動画像
Ｒｒｅｆ 基準領域
ＷＲ 監視領域
【特許請求の範囲】
【請求項１】
画像内の監視領域において群衆もしくは移動体が存在するベクトル発生領域を検出する領域検出手段と、
該領域検出手段により検出された前記ベクトル発生領域のうち、人物の密集度が設定しきい値未満である領域を基準領域として設定する基準領域設定手段と、
前記監視領域を複数の領域に分割して注目領域を生成する注目領域生成手段と、
該基準領域設定手段において設定された前記基準領域に基づいて前記各注目領域が異常のある異常領域であるかを検出する異常検出手段と
を備えたことを特徴とする群衆監視装置。
【請求項２】
前記基準領域設定手段が、
前記ベクトル発生領域から人物の頭部を検出する頭部検出手段と、
該頭部検出手段において検出された頭部の単位面積当たりの頭部密度を算出する密度算出手段と、
該密度算出手段において算出された頭部密度が設定しきい値未満の領域を用いて前記基準領域を選択する領域選択手段と
を備えたものであることを特徴とする請求項１記載の群衆監視装置。
【請求項３】
前記基準領域設定手段が、頭部密度が設定しきい値未満の領域内に終点を有する動きベクトルを抽出し、抽出した前記動きベクトルの始点となる領域を前記基準領域として選択するものであることを特徴とする請求項２記載の群衆監視装置。
【請求項４】
前記基準領域設定手段が、前記監視領域の境界部分における前記動きベクトルが発生し始めた領域であって、始点が該監視領域外にあり終点が該監視領域内にある前記動きベクトルの終点を集計した領域を前記基準領域として設定するものであることを特徴とする請求項１記載の群衆監視装置。
【請求項５】
前記異常検出手段が、前記各注目領域内の人物の密度を算出し、算出した前記注目領域の人物の密集度が前記基準領域内の人物の密集度以上であるか否かを判断するものであることを特徴とする請求項１から４のいずれか１項記載の群衆監視装置。
【請求項６】
前記異常検出手段が、前記各注目領域から頭部を検出する頭部検出手段と、該頭部検出手段による頭部の検出後に前記注目領域のサイズを縮小する画像縮小手段と、該画像縮小手段により縮小された画像に基づいて人物の密集度を算出する密度算出手段とを備えたものであることを特徴とする請求項５記載の群衆監視装置。
【請求項７】
前記異常検出手段が、前記基準領域および前記各注目領域から特徴量を抽出し、抽出した前記特徴量を用いて前記異常領域を検出するものであることを特徴とする請求項１から６のいずれか１項記載の群衆監視装置。
【請求項８】
前記異常検出手段が、前記基準領域および前記各注目領域から動きベクトルを抽出し、抽出した前記動きベクトルを用いて前記異常領域を検出するものであることを特徴とする請求項１から７のいずれか１項記載の群衆監視装置。
【請求項９】
前記基準領域および注目領域について複数の多重解像度画像を生成する多重解像度変換手段をさらに有するものであり、前記異常検出手段が、前記多重解像度変換手段により変換された前記複数の多重解像度画像毎に異常領域候補を検出し、前記多重解像度画像毎に検出した前記異常領域候補を用いて前記異常領域を検出するものであることを特徴とする請求項１から８のいずれか１項記載の群衆監視装置。
【請求項１０】
前記異常検出手段により検出された前記異常領域に対しカメラがズームアップ撮影を行うように該カメラを制御するカメラ制御手段をさらに備えたものであることを特徴とする請求項１から９のいずれか１項記載の群衆監視装置。
【請求項１１】
画像内の監視領域において群衆もしくは移動体が存在するベクトル発生領域を検出し、
検出した前記ベクトル発生領域のうち、人物の密集度が設定しきい値未満である領域を基準領域として設定するとともに、前記監視領域を複数の領域に分割して注目領域を生成し、
設定した前記基準領域に基づいて前記各注目領域が異常のある異常領域であるかを検出する
ことを特徴とする群衆監視方法。
【請求項１２】
コンピュータに、
画像内の監視領域において群衆もしくは移動体が存在するベクトル発生領域を検出し、
検出した前記ベクトル発生領域のうち、人物の密集度が設定しきい値未満である領域を基準領域として設定するとともに、前記監視領域を複数の領域に分割して注目領域を生成し、
設定した前記基準領域に基づいて前記各注目領域が異常のある異常領域であるかを検出する
ことを実行させるための群衆監視プログラム。
【請求項１】
画像内の監視領域において群衆もしくは移動体が存在するベクトル発生領域を検出する領域検出手段と、
該領域検出手段により検出された前記ベクトル発生領域のうち、人物の密集度が設定しきい値未満である領域を基準領域として設定する基準領域設定手段と、
前記監視領域を複数の領域に分割して注目領域を生成する注目領域生成手段と、
該基準領域設定手段において設定された前記基準領域に基づいて前記各注目領域が異常のある異常領域であるかを検出する異常検出手段と
を備えたことを特徴とする群衆監視装置。
【請求項２】
前記基準領域設定手段が、
前記ベクトル発生領域から人物の頭部を検出する頭部検出手段と、
該頭部検出手段において検出された頭部の単位面積当たりの頭部密度を算出する密度算出手段と、
該密度算出手段において算出された頭部密度が設定しきい値未満の領域を用いて前記基準領域を選択する領域選択手段と
を備えたものであることを特徴とする請求項１記載の群衆監視装置。
【請求項３】
前記基準領域設定手段が、頭部密度が設定しきい値未満の領域内に終点を有する動きベクトルを抽出し、抽出した前記動きベクトルの始点となる領域を前記基準領域として選択するものであることを特徴とする請求項２記載の群衆監視装置。
【請求項４】
前記基準領域設定手段が、前記監視領域の境界部分における前記動きベクトルが発生し始めた領域であって、始点が該監視領域外にあり終点が該監視領域内にある前記動きベクトルの終点を集計した領域を前記基準領域として設定するものであることを特徴とする請求項１記載の群衆監視装置。
【請求項５】
前記異常検出手段が、前記各注目領域内の人物の密度を算出し、算出した前記注目領域の人物の密集度が前記基準領域内の人物の密集度以上であるか否かを判断するものであることを特徴とする請求項１から４のいずれか１項記載の群衆監視装置。
【請求項６】
前記異常検出手段が、前記各注目領域から頭部を検出する頭部検出手段と、該頭部検出手段による頭部の検出後に前記注目領域のサイズを縮小する画像縮小手段と、該画像縮小手段により縮小された画像に基づいて人物の密集度を算出する密度算出手段とを備えたものであることを特徴とする請求項５記載の群衆監視装置。
【請求項７】
前記異常検出手段が、前記基準領域および前記各注目領域から特徴量を抽出し、抽出した前記特徴量を用いて前記異常領域を検出するものであることを特徴とする請求項１から６のいずれか１項記載の群衆監視装置。
【請求項８】
前記異常検出手段が、前記基準領域および前記各注目領域から動きベクトルを抽出し、抽出した前記動きベクトルを用いて前記異常領域を検出するものであることを特徴とする請求項１から７のいずれか１項記載の群衆監視装置。
【請求項９】
前記基準領域および注目領域について複数の多重解像度画像を生成する多重解像度変換手段をさらに有するものであり、前記異常検出手段が、前記多重解像度変換手段により変換された前記複数の多重解像度画像毎に異常領域候補を検出し、前記多重解像度画像毎に検出した前記異常領域候補を用いて前記異常領域を検出するものであることを特徴とする請求項１から８のいずれか１項記載の群衆監視装置。
【請求項１０】
前記異常検出手段により検出された前記異常領域に対しカメラがズームアップ撮影を行うように該カメラを制御するカメラ制御手段をさらに備えたものであることを特徴とする請求項１から９のいずれか１項記載の群衆監視装置。
【請求項１１】
画像内の監視領域において群衆もしくは移動体が存在するベクトル発生領域を検出し、
検出した前記ベクトル発生領域のうち、人物の密集度が設定しきい値未満である領域を基準領域として設定するとともに、前記監視領域を複数の領域に分割して注目領域を生成し、
設定した前記基準領域に基づいて前記各注目領域が異常のある異常領域であるかを検出する
ことを特徴とする群衆監視方法。
【請求項１２】
コンピュータに、
画像内の監視領域において群衆もしくは移動体が存在するベクトル発生領域を検出し、
検出した前記ベクトル発生領域のうち、人物の密集度が設定しきい値未満である領域を基準領域として設定するとともに、前記監視領域を複数の領域に分割して注目領域を生成し、
設定した前記基準領域に基づいて前記各注目領域が異常のある異常領域であるかを検出する
ことを実行させるための群衆監視プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−７６３１６（Ｐ２０１１−７６３１６Ａ）
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願番号】特願２００９−２２６２５０（Ｐ２００９−２２６２５０）
【出願日】平成２１年９月３０日（２００９．９．３０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【復代理人】
【識別番号】１００１３４２４５
【弁理士】
【氏名又は名称】本澤 大樹
【Ｆターム（参考）】
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願日】平成２１年９月３０日（２００９．９．３０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【復代理人】
【識別番号】１００１３４２４５
【弁理士】
【氏名又は名称】本澤 大樹
【Ｆターム（参考）】
[ Back to top ]