画像監視装置
【課題】強盗に拘束され床面に横たわりながら、体を多少動かす被害者を検出し、通報する画像監視装置を提供する。
【解決手段】画像監視装置１は、画像から人物が写っている領域の輪郭を抽出する輪郭抽出部６１と、輪郭上に複数の特徴点を設定する特徴点設定手段６３１と、複数の特徴点のそれぞれについて、その特徴点と異なる他の特徴点のそれぞれに対して、その特徴点からの距離、及びその特徴点と他の特徴点とを結ぶ線分が他の特徴点における輪郭に基づいて定められた基準線となす角度を姿勢特徴量として算出する姿勢特徴量算出部６３と、姿勢特徴量の時間的変化から人物の横臥状態での姿勢の変動を検出する姿勢変動検出部６４を有する。
【解決手段】画像監視装置１は、画像から人物が写っている領域の輪郭を抽出する輪郭抽出部６１と、輪郭上に複数の特徴点を設定する特徴点設定手段６３１と、複数の特徴点のそれぞれについて、その特徴点と異なる他の特徴点のそれぞれに対して、その特徴点からの距離、及びその特徴点と他の特徴点とを結ぶ線分が他の特徴点における輪郭に基づいて定められた基準線となす角度を姿勢特徴量として算出する姿勢特徴量算出部６３と、姿勢特徴量の時間的変化から人物の横臥状態での姿勢の変動を検出する姿勢変動検出部６４を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に写った人物の姿勢に基づいて、当該人物に発生した異常状態を検出する画像監視装置に関する。
【背景技術】
【０００２】
従来、監視カメラにより撮影された監視画像に写った人物の仕草や姿勢から、その人物に発生した異常状態を検出する技術が研究されている。例えば、特許文献１には、店舗において、レジ付近を撮影する監視カメラから得られた監視画像を処理し、店舗の従業員が万歳のように両手を頭付近に挙げている場合に、強盗に襲われているとして通報する画像監視装置が開示されている。特許文献１では、挙手の状態を検出することを目的としているため、監視カメラはおおよそ天井付近に取り付けられるものの、浅い角度で見下ろすことが前提となっている。
【０００３】
一方で、コストの観点から少ない監視カメラで画像監視を行いたいという要求が存在し、それに応えるため広角レンズを用いてカメラを天井に取り付け、撮影方向をほぼ鉛直下向きにした画像監視装置も提案されている。
このような画像監視装置では、監視場所を上から見下ろすことになり、特許文献１のような挙手の状態を検出することが困難となる。
【０００４】
また監視場所が例えば金庫室においては、強盗犯が従業員を脅して金庫を開けさせるという押し込み強盗の発生が考えられる。そのような押し込み強盗犯は、金庫を開けさせた後は従業員の手足を、場合によっては全身をロープや強力粘着テープで巻き付け拘束し、床面に転がして身動きがとれなくなるようにすることもある。特許文献１の考え方を拡張しようにも、このような特定の姿勢の定義は難しい。
【０００５】
このような、床面に転がる横臥姿勢について特定の条件を満たすと、異常状態が発生しているとして通報する画像監視装置については、浴室で撮影するものとし、高齢者が入浴中に突然体調を崩し意識を失うなどして動かなくなったことを検出する技術が特許文献２に開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−３５４４５９号公報
【特許文献２】特開２００８−０５２６３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献２に開示の技術を、上述のような押し込み強盗犯により身体を拘束された従業員の検出に適用しても、望ましい性能が得られるとは限らない。これは、体調を崩した高齢者は意識を失っているなど、ほとんど体を動かさないと考えられることから、ほぼ静止していることを仮定しているからである。
従って特許文献２の技術を、強盗により手足を拘束され、床に横たわり、頭を多少動かしたり体を揺らしたりしている被害者（従業員）を検出することに適用しても、判断が難しく、通報漏れまたは通報誤りになる可能性がある。
【０００８】
そこで本発明は、床に横たわった人物の姿勢について、その時間的な変化から精度良く強盗に襲われている状態を検出する画像監視装置の提供を目的とする。
【課題を解決するための手段】
【０００９】
本発明の一つの実施形態によれば、本発明にかかる画像監視装置は、略鉛直下向きに向け、床面を含む監視領域を撮影して監視画像を順次取得する撮像部と、監視画像から人物が写っている人物領域の輪郭を抽出する輪郭抽出部と、輪郭を用いて、人物の姿勢を表す姿勢特徴量を算出する姿勢特徴量算出部と、姿勢特徴量の時間的変化である姿勢変動量を算出する姿勢変動検出部と、人物領域の面積が床面に横臥したときの人物面積以上であり、姿勢変動量が身体を拘束されているときに示す程度の範囲内の場合に、人物が異常状態であると判定する判定部を有する。
【００１０】
かかる画像監視装置において、姿勢特徴量算出部は、輪郭上に複数の特徴点を設定し、複数の特徴点のそれぞれについて、当該特徴点と異なる他の特徴点のそれぞれに対して、当該特徴点からの距離、及び当該特徴点と当該他の特徴点とを結ぶ線分が当該他の特徴点における前記輪郭に基づいて定められた基準線となす角度を姿勢特徴量として算出し、姿勢変動検出部は、各特徴点に対応する１時点前の特徴点との姿勢特徴量の差分を計算し、当該差分の総和を姿勢変動量として検出するのが好ましい。
【００１１】
かかる画像監視装置は、さらに、監視画像の前記人物領域から人物を拘束するための拘束具をテクスチャ情報から検出する拘束具検出部を有し、当該拘束具検出部は、拘束具を検出しないと、判定部における異常判定を禁止させることが望ましい。
【発明の効果】
【００１２】
本発明にかかる画像監視装置は、床に横たわった人物の姿勢について、その時間的な変化から精度良く強盗に襲われている状態を検出できる。
【図面の簡単な説明】
【００１３】
【図１】（ａ）は、本発明にかかる画像監視装置が検出する犯罪発生の場面の模式図であり、（ｂ）は、天井に設置された撮像部にて取得された画像の模式図である。
【図２】一つの実施形態にかかる画像監視装置の概略構成図である。
【図３】同じく画像監視装置の構成要素である姿勢特徴量算出部の概略構成図である。
【図４】（ａ）は、人物領域の輪郭の一例を示す図であり、（ｂ）は、人物領域の輪郭上に設定された特徴点の一例を示す図であり、（ｃ）は、各特徴点の法線方向ベクトルを示す図であり、（ｄ）は、特徴点間情報の一例を示す図である。
【図５】姿勢特徴量の一例を示す図である。
【図６】姿勢特徴量算出処理の動作フローチャートである。
【図７】姿勢特徴量に基づいて強盗に襲われている状態を検出するフローチャートである。
【発明を実施するための形態】
【００１４】
以下、図を参照しつつ、本発明にかかる画像監視装置の一つの実施形態について説明する。この画像監視装置は、天井に設置され、概略鉛直下向きに設置されたカメラにて取得された画像を処理するものであり、画像に写った人物の輪郭上に設定した複数の特徴点どうしの距離及びそれら特徴点を結ぶ線分の方向により規定される、回転不変な特徴量を用いてその人物の姿勢を推定する。その姿勢について、時間的な変動を観察し、姿勢の変動の程度が所定の範囲内である場合に、その人物が強盗に拘束されていると検知するものである。
【００１５】
図１は、本発明にかかる画像監視装置が設置される場所において、当該画像監視装置が検出する犯罪の発生の様子を模式的に表した図である。設置場所としては、店舗や企業における金庫室を例示している。
図１（ａ）は、金庫室において発生した犯罪の様子を鳥瞰図として表したものである。
金庫１０２０の収容物である多額の現金や貴金属類を強奪しようとする犯人１０１０により被害者１０００がロープや強力粘着テープにて手足を、または場合によっては全身を何重にも巻かれて、身動きがほとんどとれずに床面上に拘束されている様子を示している。
【００１６】
図１（ｂ）は、同図（ａ）におけるカメラ１０３０により取得された画像を示している。カメラ１０３０は、金庫室をほぼ視界に含めるように天井に設置され、その撮影方向は概略鉛直下向きであるとする。
【００１７】
図１（ｂ）からわかるように、直立している犯人１０１０は、画像中においては頭部と両肩程度しか映り込まないので、大きな人物像としては得られない。
一方で、床面に横たわる被害者１０００は、カメラ１０３０とほぼ正対することになるので、全身が写り込み、大きな人物像として得られることになる。
なお、カメラ１０３０は、後述するように画像監視装置１の撮像部２に相当する。
【００１８】
図２は、一つの実施形態としての本発明にかかる画像監視装置１の概略構成図である。画像監視装置１は、撮像部２と、処理部３、出力部７とを有する。そして処理部３は、インターフェース部４と、記憶部５と、制御部６とを有する。
【００１９】
撮像部２は、CCDまたはC-MOSなど、可視光または近赤外光に感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に監視領域の像を結像する結像光学系などを有する。撮像部２は、例えば、NTSC規格に従って、連続的に撮影を行うカメラとすることができる。あるいは、撮像部２は、いわゆるハイビジョンなど、より高解像度な画像を生成するものでもよい。そして撮像部２は、監視領域、本実施の形態では金庫室を撮影した監視画像を、例えば、各画素の輝度が256階調で表される濃淡画像あるいはカラー画像として生成する。
撮像部２の画像出力は、処理部３のインターフェース部４と接続されており、撮像部２は、監視画像を生成する度に、その生成した監視画像を処理部３へ出力する
【００２０】
処理部３のインターフェース部４は、処理部３と撮像部２とを接続するインターフェース及びその制御回路を有する。インターフェース部４は、撮像部２が準拠する画像通信規格に適用した構成を有する。なお、インターフェース部４は、監視画像がアナログ画像として生成される場合、監視画像をデジタル画像に変換するアナログーデジタル変換回路を有していてもよい。
インターフェース部４は制御部６と接続されており、撮像部２から受信した監視画像を制御部６へ渡す。
【００２１】
処理部３の記憶部５は、フラッシュメモリなどの不揮発性半導体メモリ、揮発性半導体メモリ、または磁気ディスク（HDD）などの記憶装置を有する。
記憶部５は、画像監視装置１で使用される各種のプログラム及びデータを記憶する。また記憶部５は、例えば、画像監視装置１が起動したとき、あるいは定期的に撮像部２から取得した、侵入者の写っていない監視画像を背景画像として記憶する。
【００２２】
処理部３の制御部６は、例えば、１個または複数個のマイクロプロセッサユニットとその周辺回路とを有する。そして制御部６は、画像監視装置１全体を制御する。また制御部６は、撮像部２からインターフェース部４を介して受け取った監視画像及び記憶部５に記憶された背景画像に基づいて、監視領域内の人物の横臥状態における姿勢に関する特徴量を算出する。そして制御部６は、算出した特徴量に基づいて、異常が発生したか否かを判定する。
そのために、制御部６は、輪郭抽出部６１と、面積算出部６２と、姿勢特徴量算出部６３と、姿勢変動検出部６４と、拘束具検出部６５と、判定部６６を有する。制御部６が有するこれらの各部は、例えば、マイクロプロセッサユニット上で動作するプログラムの機能モジュールとして実装される。
【００２３】
輪郭抽出部６１は、最新の監視画像において人物が写っている領域である人物領域の輪郭を抽出する。そのために、輪郭抽出部６１は、最新の監視画像と、記憶部５から読み込んだ背景画像との間で、対応画素間の輝度差を求め、各画素の画素値がその輝度差の絶対値で表される背景差分画像を作成する。
輪郭抽出部６１は、背景差分画像において、画素値が所定の闘値以上である画素が一つに連結された領域をラベリング処理により検出し、人物候補領域とする。なお、所定の閾値は、例えば、予め実験により決定される。あるいは、所定の閾値は、背景差分画像の輝度平均値とすることができる。そして輪郭抽出部６１は、人物候補領域のうち、監視画像上で想定される人のサイズに相当する面積以上を持つ人物候補領域のみを人物領域として抽出し、その抽出された人物領域の境界に位置する画素を輪郭画素とする。
【００２４】
あるいは輪郭抽出部６１は、背景差分画像の各画素に対して、sobelフィルタまたはprewittフィルタといったエッジ検出フィルタを用いたフィルタ処理を行うことにより、エッジ強度を求める。そして輪郭抽出部６１は、所定のエッジ強度以上となるエッジ強度の絶対値を持つ画素を人物領域の輪郭上に存在する輪郭画素としてもよい。なお、所定のエッジ強度は、例えば、予め実験により決定される。
【００２５】
輪郭抽出部６１は、人物領域の輪郭画素の位置を示す情報、例えば、各輪郭画素の座標または各輪郭画素が他の画素と異なる値を持つ２値画像を後述する姿勢特徴量算出部６３へ渡す。また輪郭抽出部６１は、人物領域の輪郭画素の位置を示す情報及び背景画像を面積算出部６２、および拘束具検出部６５にも渡す。
【００２６】
面積算出部６２は、輪郭抽出部６１にて抽出された人物領域について、その内部に含まれる画素数を計数し、人物領域の面積とする。この画素数は、図１（ｂ）で示したように、直立している人物である犯人１０１０では比較的少なくなり、床面に横臥している被害者１０００では比較的大きくなる。後述するように判定部６６にて、この人物領域の面積を用いて、人物領域に対応する人物が床面に横臥していることを判定の条件とするため、面積情報を判定部６６に出力する。
【００２７】
姿勢特徴量算出部６３は、輪郭抽出部６１にて抽出された輪郭画素についての情報に基づき、人物領域の人物について、床面に横臥している状態での姿勢に関する特徴量を算出するものである。図３に示すように、姿勢特徴量算出部６３は、特徴点設定手段６３１、法線方向決定手段６３２、特徴点間情報算出手段６３３、特徴点間情報分布算出手段６３４から構成される。
【００２８】
特徴点設定手段６３１は、人物領域の輪郭上に、後述する姿勢特徴量を算出するための基準点となる特徴点を複数設定する。特徴点設定手段は、姿勢特徴量が監視画像に写っている人物の各部の特徴を表せるように、人物領域の輪郭上に、略等間隔に特徴点を設定することが好ましい。そのために、特徴点設定手段６３１は、例えば、人物領域の輪郭画素数をカウントすることにより人物領域の輪郭の長さを求める。そして特徴点設定手段６３１は、予め定められた特徴点の個数でその輪郭長を割ることにより、隣接する特徴点同士の間隔を表す特徴点間距離を決定する。
【００２９】
特徴点設定手段６３１は、まず人物領域の輪郭上の輪郭画素から最初の特徴点を設定する。この最初の特徴点は、人物領域の頭部を表すと思われる部分の端点、即ち頭頂部を最初の特徴点とする。そのために、特徴点設定手段６３１は、人物領域に外接する楕円を当てはめ、その長軸方向を調べる。そして、特徴点設定手段６３１は、その楕円の長軸方向の端点付近について、人間の頭部を表す円形領域を周知の方法で検出し、人物領域における頭部とすることができる。
【００３０】
特徴点設定手段６３１は、最初の特徴点から順に、人物領域の輪郭に沿って時計回りまたは反時計回りに、一つ前に設定された特徴点から特徴点間距離だけ離れる度に、対応する輪郭画素を次の特徴点として設定し、その順番に番号を付与する。
なお、設定される特徴点の個数は、撮影条件または制御部６の処理能力に応じて決定され、例えば、特徴点の個数は２５個、５０個あるいは１００個とすることができる。
または、人物領域を上下方向あるいは左右方向に適当な数に分割し、それぞれの分割領域に所定の数を設定してもよい。
特徴点設定手段６３１は、設定した特徴点の位置座標を法線方向決定手段６３２へ渡す。
【００３１】
法線方向決定手段６３２は、各特徴点における、人物領域の輪郭線に対する法線を求める。具体的には、法線方向決定手段６３２は、着目する特徴点について、当該着目特徴点及びその近傍の輪郭画素が通る直線、即ち着目特徴点における接線を、例えばハフ変換あるいは最小二乗法により求める。そして法線方向決定手段６３２は、その接線と直交する直線を法線とする。さらに法線方向決定手段６３２は、法線に沿って、着目特徴点から人物領域外へ向かう方向を法線方向とし、法線方向を向く単位ベクトルを法線方向ベクトルとして求める。法線方向決定手段６３２は、背景差分画像を参照することにより、法線に沿って着目特徴点よりも輝度値が小さくなる方向を法線方向として特定することができる。
【００３２】
なお、法線方向決定手段６３２は、法線に沿って、着目特徴点から人物領域内へ向かう方向を法線方向とし、法線方向を向く単位ベクトルを法線方向ベクトルとして求めてもよい。ただし、法線方向ベクトルが人物領域外を向くか、人物領域内を向くかについては、全ての特徴点について統一されることが好ましい。
あるいは、法線方向決定手段６３２は、輪郭抽出部６１が人物領域の輪郭を抽出する際にエッジを検出しているならば、画素値が変化するエッジの方向を求めておき、その方向が法線方向を表すとして、各特徴点の法線方向ベクトルを定義してもよい。
法線方向決定手段６３２は、各特徴点について求めた法線方向ベクトルを特徴点間情報算出手段６３３へ渡す。
【００３３】
特徴点間情報算出手段６３３は、各特徴点について、他の特徴点との位置関係により定まる特徴点間情報を算出する。具体的には、特徴点間情報算出手段６３３は、複数の特徴点のうち、着目する特徴点から他の特徴点（以下、対象特徴点と呼ぶ）を結ぶ特徴点間ベクトルを算出する。そして特徴点間情報算出手段６３３は、特徴点間ベクトルの大きさ、すなわち着目特徴点から対象特徴点までの距離rと、特徴点間ベクトルと対象特徴点の法線方向ベクトルがなす角θを特徴点間情報として算出する。なお、対象特徴点は、着目特徴点以外の全ての特徴点とする。したがって、ｎ個（ただしｎは２以上の整数）の特徴点が人物領域の輪郭上に設定されている場合、一つの特徴点につき、（n-１)個の(r、θ）の組が算出される。
【００３４】
なお、特徴点間情報算出手段６３３は、対象特徴点における法線と特徴点間ベクトルとのなす角を求める代わりに、対象特徴点における接線と特徴点間ベクトルとのなす角を求めてもよい。この場合、各対象特徴点において基準となる接線の方向は、接線と特徴点間ベクトルのなす角が実質的に同一となるにもかかわらず、異なる値を持つことがないように、人物領域の輪郭に沿って時計回りの方向または反時計回りの方向の何れかに統一されることが好ましい。
【００３５】
図４（ａ）は、人物領域の輪郭の一例を示す図であり、図４（ｂ）は、人物領域の輪郭上に設定された特徴点の一例を示す図であり、図４（ｃ）は、各特徴点の法線方向ベクトルを示す図であり、図４（ｄ）は、特徴点間情報の一例を示す図である。
図４（ａ）において、線４１０は、人物領域４００の輪郭を表す。この例では、人物領域の輪郭４１０は、図１（ｂ）に示した被害者１０００のように、床面に横臥した姿勢の人物の輪郭を表している。また図４（ｂ）における複数の点４０１は、人物領域の輪郭４１０上に設定された特徴点である。この例では、隣接する特徴点間の距離が略等間隔となるように、各特徴点は設定されている。
【００３６】
図４（ｃ）において、複数の矢印４０２は、各特徴点４０１について算出された法線方向ベクトルを表す。法線方向ベクトル４０２は、それぞれ各特徴点４０１から人物領域４００の外側へ向かうように設定されている。
【００３７】
図４（ｄ）では、一例として、特徴点４０１ａが着目特徴点に設定され、特徴点４０ｌｂが対象特徴点に設定されている。この場合において、着目特徴点４０１ａと対象特徴点４０１ｂとを結ぶ矢印４０３が特徴点間ベクトルを表す。この特徴点間ベクトルの長さ、すなわち、着目特徴点４０１ａと対象特徴点４０１ｂ問の距離rと、特徴点間ベクトル４０３と対象特徴点４０１ｂにおける法線方向ベクトル４０２ｂがなす角θとの組が特徴点間情報である。
特徴点間情報算出手段６３３は、着目特徴点毎に、一つの対象特徴点について特徴点間情報を求める度に、その特徴点情報を特徴点間情報分布算出手段６３４へ渡す。
【００３８】
特徴点間情報分布算出手段６３４は、各特徴点について求めた特徴点間情報の分布を姿勢特徴量として求める。具体的には、特徴点間情報分布算出手段６３４は、距離rと角度θをそれぞれ独立変数とした２次元ヒストグラムを求める。そこで、特徴点間情報分布算出手段６３４は、所定の角度単位及び所定の長さ単位で区切られる複数のセクションを設定し、セクションごとに、該当する特徴点間情報の度数を算出する。なお、所定の角度単位及び所定の長さ単位は、監視画像の解像度、特徴点の数などに応じて設定される。例えば、所定の角度単位は、３０°（π/6）または４５°（π/6）とすることができる。また所定の長さ単位は、例えば、10画素または20画素とすることができる。あるいは、所定の長さ単位は、着目特徴点からの距離が長くなるにつれて大きくなるように、例えば、セクションの境界に対応する距離の対数が等間隔となるように定められてもよい。
特徴点間情報分布算出手段６３４は、各セクションの度数を、一つの特徴点について求められる特徴点間情報の数（すなわち、特徴点数を、とすれば特徴点間情報の数は(n-1)）で割って正規化したものを、姿勢特徴量とする。
【００３９】
図５は、姿勢特徴量の一例を示す図である。姿勢特徴量５００は、角度θと距離rの正規化２次元ヒストグラムである。図５において、横軸は角度θを表し、縦軸は距離ｒを表す。そして高さ方向軸は正規化度数を表す。この例では、角度θに関して12個、距離rに関して6個のセクションが設定されている。そして、各セクションの正規化度数であるビン５０１は立体棒グラフとして表されている。
【００４０】
図６は、姿勢特徴量算出処理の動作フローチャートである。
姿勢特徴量算出部６３は、特徴点設定手段６３１にて設定された輪郭上の特徴点を取得し、以下の処理を実行する。
先ず、姿勢特徴量算出部６３の法線方向決定手段６３２は、各特徴点における法線方向ベクトルを算出する（ステップＳ１０１）。そして姿勢特徴量算出部６３は、姿勢特徴量未算出の特徴点を着目特徴点として設定する（ステップＳ１０２）。また、姿勢特徴量算出部６３は、特徴点間情報未算出の特徴点を対象特徴点として設定する（ステップＳ１０３）。
【００４１】
次に、姿勢特徴量算出部６３の特徴点間情報算出手段６３３は、特徴点間情報の一つとして、着目特徴点から対象特徴点までの距離ｒを算出する（ステップＳ１０４）。また特徴点間情報算出手段６３３は、特徴点間情報の他の一つとして、着目特徴点から対象特徴点を結ぶ特徴点間ベクトルと対象特徴点における法線方向ベクトルがなす角度θを算出する（ステップＳ１０５）。そして特徴点間情報算出手段６３３は、求めた特徴点間情報（ｒ、θ）を姿勢特徴量算出部６３の特徴点間情報分布算出手段６３４へ渡す。
特徴点間情報分布算出手段６３４は、特徴点間情報（ｒ，θ）に対応するセクションの度数を１加算する（ステップＳ１０６）。
【００４２】
姿勢特徴量算出部６３は、着目特徴点以外の全ての特徴点を対象特徴点に設定したか否か判定する（ステップＳ１０７）。未だ対象特徴点に設定されていない特徴点が存在する場合、姿勢特徴量算出部６３は、ステップＳ１０３〜Ｓ１０７の処理を繰り返す。
着目特徴点以外の全ての特徴点が対象特徴点に設定された場合、特徴点間情報分布算出手段６３４は、（ｒ，θ）の度数分布を正規化することで着目特徴点の姿勢特徴量を算出する（ステップＳ１０８）。
【００４３】
姿勢特徴量算出部６３は、全ての特徴点を着目特徴点に設定したか否か判定する（ステップＳ１０９）。未だ着目特徴点に設定されていない特徴点が存在する場合、姿勢特徴量算出部６３は、ステップＳ１０１〜Ｓ１０９の処理を繰り返す。一方、全ての特徴点が着目特徴点に設定された場合、姿勢特徴量算出部６３は姿勢特徴量算出処理を終了する。
そして、姿勢特徴量算出部６３は、各特徴点の姿勢特徴量を、対応する特徴点の位置情報とともに記憶部５に記憶させ、さらに姿勢変動検出部６４へ渡す。
【００４４】
姿勢変動検出部６４は、輪郭抽出部６１にて抽出された人物領域が、時間の経過とともに形状が変動したか否か、すなわち人物領域に対応する人物が監視画像中でその姿勢が変動したか否かを検出する。
記憶部５には、過去の時点において取得された監視画像から抽出された人物領域について、姿勢特徴量が人物領域の輪郭上における番号とともに記憶されている。そこで、姿勢変動検出部６４は、記憶部５に記憶されている姿勢特徴量と最新の姿勢特徴量について、対応する番号どうしの差を求め、その総和を姿勢変動量として求める。この姿勢変動量が大きいと、人物が大きく動いており、小さいと人物の動きがほとんど無いことになる。
【００４５】
姿勢変動検出部６４は、姿勢変動量を、記憶部５に記憶されている１時点前の姿勢特徴量と最新の姿勢特徴量との差からマンハッタン距離として求める。適宜もっと過去時点の姿勢特徴量との差にしてもよい。
本実施の形態では、姿勢特徴量は、図５に示したように、距離ｒと角度θのセクションごとの正規化度数を表す２次元ヒストグラムである。そこで、姿勢変動検出部６４は、２次元ヒストグラムの各正規化度数を、それぞれ一つの要素とみなしてマンハッタン距離を計算する。すなわち、姿勢変動検出部６４は、各特徴点について次式に従い、対応する二つのセクションの正規化度数の差の絶対値の総和を算出する。
【数１】
なお、Ｎは、姿勢特徴量に含まれるセクションの総数である。pikは記憶部５に記憶されているｉ番目の姿勢特徴量についてｋ番目のセクションの正規化度数を表す。sikは最新のｉ番目の姿勢特徴量についてｋ番目のセクションの正規化度数を表す。
姿勢変動検出部６４は、特徴点設定手段６３１にて設定される特徴点の数だけｉについて総和を求めることで、二つの姿勢特徴量間の距離である姿勢変動量Ｔを算出する。
なお、姿勢変動検出部６４は、二つの姿勢特徴量間の距離を、インターセクション（対応するセクションの二つの度数のうちの最小値の和）あるいはEarthMover'sDistanceなど、他の距離尺度により算出してもよい。
姿勢変動検出部６４は、姿勢変動量Ｔを判定部６６に出力する。
【００４６】
拘束具検出部６５は、人物の体に何重にもロープや強力粘着テープが巻かれていることを検出する。
図１に模式的に示したように、被害者１０００の体の周りに何重にもロープや強力粘着テープが巻かれていると、監視画像中、輪郭抽出部６１にて抽出された人物領域について、外接する楕円を当てはめた場合に、短軸方向に概略平行な直線成分が集中する。
そこで、拘束具検出部６５は、監視画像の人物領域中に上記のように、拘束具としての特徴的なテクスチャということができる直線成分が多く検出された場合に、被害者１０００はロープや強力粘着テープを巻かれていると判断する。
【００４７】
拘束具検出部６５は、監視画像中の人物領域を公知の方法でエッジ抽出を行い、２値化する。そして、直線成分の抽出方法として周知であるハフ変換を施す。
ハフ変換をすると、１つの直線について、原点からの距離ｒhと原点とを結ぶ法線と成す角度θhを軸とした平面上に１つの強いピークが得られる。
そこで、拘束具検出部６５は、監視画像中の人物領域についてハフ変換を施した結果、所定の強度のピークが数多く検出された場合に、被害者１０００はロープなどで拘束されていると判断する。
特に、人物領域に外接する楕円を当てはめた時の短軸と概略平行な方向に多く直線成分が検出され、しかも、方向が概略揃っていることを条件にするのが好適である。
拘束具検出部６５は、上記の判断結果を判定部６６に出力する。
２値化やエッジ抽出の方法、ハフ変換は画像処理の分野においては周知であるので、詳細は省略する。
【００４８】
判定部６６は、面積算出部６２にて算出された人物領域の面積、姿勢変動検出部６４にて算出された姿勢変動量Ｔ、拘束具検出部６５にて判断された拘束具の有無から、監視画像中における被害者１０００が、犯人１０１０にてロープなどで拘束されているか否かを判定する。
【００４９】
まず人物領域の面積については、撮像部２により撮影された監視画像中にて、撮像部２と正対する場合に、人物領域が占めると考えられる面積である人物面積以上であることを、被害者１０００が拘束されていることの条件とする。
これは図１（ｂ）からわかるように、撮像部２は天井に下向きに取り付けられているので、直立している犯人１０１０は、頭部と両肩程度しか写らないので、人物領域の面積は小さい。それに対し、被害者１０００は床面に横臥しているので、撮像部２に正対していることになり、全身が写り、人物領域としての面積は大きくなることを利用したものである。
なお、人物面積については、輪郭抽出部６１における、人物候補領域から人物領域を抽出する処理と共通にする面積に設定することもできる。
【００５０】
次に姿勢変動量Ｔについては、それが所定の範囲内である場合に、被害者１０００が拘束されていることの条件とする。これは、ロープなどで拘束されている人物は、自由に身動きがとれないのは当然としても、頭を振ったり、胴体を動かしていると考えられるからである。
【００５１】
さらに拘束具検出部６５にて、拘束具が検出された場合には、言うまでもなく被害者１０００がロープなどで拘束されていると判定する。一方で、拘束具が検出されない場合には、単に監視場所でつまづいて床に倒れただけの場合と考えられるので、その人物がロープなどで拘束されていると判定しないものとする。
【００５２】
出力部７は、構内LANまたは公衆回線網などの通信ネットワークに接続する通信インターフェース及びその制御回路を有する。そして出力部７は、処理部３により異常の発生が検知されたことを示す異常検出信号を処理部３から受け取って、その異常検出信号を画像監視装置１と通信ネットワークを介して接続された警備装置または監視センタ装置へ出力する。また出力部７は、異常検出信号とともに、異常検知時及びその後に取得された監視画像などを処理部３から受け取って、その監視画像などを警備装置または監視センタ装置へ出力してもよい。
【００５３】
次に図７を参照して、本発明にかかる画像監視装置１の動作を説明する。
まずステップＳ２００にて、撮像部２は監視画像、本実施の形態では金庫室を天井から下向きに撮影した画像を取得し、インターフェース部４を通じて、処理部３に取得した監視画像を渡す。
ステップＳ２１０では、輪郭抽出部６１において、監視画像から人物領域の輪郭を抽出する。
ステップＳ２２０では、面積算出部６２において、抽出された輪郭情報から、人物領域の面積を算出し、判定部６６に渡す。
ステップＳ２３０では、判定部６６は、面積算出部６２にて算出された面積が人物面積越えない場合、図１（ｂ）のような、床面に横臥する人物は存在しないとして、処理をステップＳ２００に戻す。前述のように人物候補領域から人物領域を抽出する処理と共通にするのであれば、本ステップにおける判断は不要である。
【００５４】
ステップＳ２３０にて、面積算出部６２にて算出された面積が人物面積を超える場合、床面に横臥する人物が存在するとして、姿勢特徴量を算出する。
ステップＳ２４０にて、姿勢特徴量算出部６３の特徴点設定手段６３１は、輪郭抽出部６１にて抽出された輪郭上に特徴点を設定する。
ステップＳ２５０にて、姿勢特徴量算出部は、各特徴点について姿勢特徴量を算出する。算出の方法は図５のフローチャートで説明した通りである。
【００５５】
ステップＳ２６０にて、判定部６６は、求められた姿勢特徴量の時間的な変化である姿勢変動量Ｔを算出し、それが所定の範囲内である場合に、床面に横臥する人物がロープなどで拘束され、わずかに体を動かしている状態であると判断する。
姿勢変動量が上記所定の範囲外に場合には、人物が全く動かないか、大きく動くので、別の事象が発生しているとして、本発明では検出対象外とする。
【００５６】
ステップＳ２７０にて、判定部６６は、拘束具検出部６５がロープなどの拘束具を検出した場合に、床面に横臥する人物がロープなどで拘束していると判断を行う。拘束具検出部６５が拘束具を検出しない場合には処理をＳ２００に戻す。
【００５７】
ステップＳ２８０にて、判定部６６が、被害者１０００は床面に横臥し、ロープなどで拘束されていると判定した場合には、処理部３は、出力部７に所定の警報を外部に出力させる。
【００５８】
以上説明してきたように、本発明の一実施の形態である画像監視装置は、店舗や企業の金庫室において、強盗犯により従業員がロープなどで拘束されたことを、床面に横臥して体を多少動かしていることを判断指標に精度良く検出できる。本発明における姿勢特徴量は、監視画像中での人物の向き、即ち監視画像中で頭が上にあるか、下にあるかに依らず、同じ姿勢であれば同じ姿勢特徴量になるので、監視画像が取得され人物領域が抽出されるごとに、人物の向きを一定方向に揃える処理が不要で、計算負荷が小さいメリットがある。
【００５９】
本発明はこれらの実施形態に限定されるものではない。例えば、拘束具検出部６５は、拘束具独特のテクスチャ情報を取得するため、ハフ変換を用いる代わりに、２次元の周波数解析を行い、特定方向に直線成分が揃っていることを検出しても良い。
さらには、模式的に図１では被害者１０００の体に何重にもロープなどが巻かれている状態を示したが、必ずしもそのようなことが仮定できるとは限らない。例えば手首と足首のみがロープになどで巻かれている場合には、拘束具の検出は困難と考えられるので、ステップＳ２８０の判断を省略しても判定は可能である。
このほか、当業者は適宜本発明の範囲内で様々な修正を行うことができる。
【符号の説明】
【００６０】
１・・・画像監視装置
２・・・撮像部
３・・・処理部
４・・・インターフェース部
５・・・記憶部
６・・・制御部
６１・・・輪郭抽出部
６２・・・面積算出部
６３・・・姿勢特徴量算出部
６４・・・姿勢変動検出部
６５・・・拘束具検出部
６６・・・判定部
７・・・出力部
【技術分野】
【０００１】
本発明は、画像に写った人物の姿勢に基づいて、当該人物に発生した異常状態を検出する画像監視装置に関する。
【背景技術】
【０００２】
従来、監視カメラにより撮影された監視画像に写った人物の仕草や姿勢から、その人物に発生した異常状態を検出する技術が研究されている。例えば、特許文献１には、店舗において、レジ付近を撮影する監視カメラから得られた監視画像を処理し、店舗の従業員が万歳のように両手を頭付近に挙げている場合に、強盗に襲われているとして通報する画像監視装置が開示されている。特許文献１では、挙手の状態を検出することを目的としているため、監視カメラはおおよそ天井付近に取り付けられるものの、浅い角度で見下ろすことが前提となっている。
【０００３】
一方で、コストの観点から少ない監視カメラで画像監視を行いたいという要求が存在し、それに応えるため広角レンズを用いてカメラを天井に取り付け、撮影方向をほぼ鉛直下向きにした画像監視装置も提案されている。
このような画像監視装置では、監視場所を上から見下ろすことになり、特許文献１のような挙手の状態を検出することが困難となる。
【０００４】
また監視場所が例えば金庫室においては、強盗犯が従業員を脅して金庫を開けさせるという押し込み強盗の発生が考えられる。そのような押し込み強盗犯は、金庫を開けさせた後は従業員の手足を、場合によっては全身をロープや強力粘着テープで巻き付け拘束し、床面に転がして身動きがとれなくなるようにすることもある。特許文献１の考え方を拡張しようにも、このような特定の姿勢の定義は難しい。
【０００５】
このような、床面に転がる横臥姿勢について特定の条件を満たすと、異常状態が発生しているとして通報する画像監視装置については、浴室で撮影するものとし、高齢者が入浴中に突然体調を崩し意識を失うなどして動かなくなったことを検出する技術が特許文献２に開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−３５４４５９号公報
【特許文献２】特開２００８−０５２６３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献２に開示の技術を、上述のような押し込み強盗犯により身体を拘束された従業員の検出に適用しても、望ましい性能が得られるとは限らない。これは、体調を崩した高齢者は意識を失っているなど、ほとんど体を動かさないと考えられることから、ほぼ静止していることを仮定しているからである。
従って特許文献２の技術を、強盗により手足を拘束され、床に横たわり、頭を多少動かしたり体を揺らしたりしている被害者（従業員）を検出することに適用しても、判断が難しく、通報漏れまたは通報誤りになる可能性がある。
【０００８】
そこで本発明は、床に横たわった人物の姿勢について、その時間的な変化から精度良く強盗に襲われている状態を検出する画像監視装置の提供を目的とする。
【課題を解決するための手段】
【０００９】
本発明の一つの実施形態によれば、本発明にかかる画像監視装置は、略鉛直下向きに向け、床面を含む監視領域を撮影して監視画像を順次取得する撮像部と、監視画像から人物が写っている人物領域の輪郭を抽出する輪郭抽出部と、輪郭を用いて、人物の姿勢を表す姿勢特徴量を算出する姿勢特徴量算出部と、姿勢特徴量の時間的変化である姿勢変動量を算出する姿勢変動検出部と、人物領域の面積が床面に横臥したときの人物面積以上であり、姿勢変動量が身体を拘束されているときに示す程度の範囲内の場合に、人物が異常状態であると判定する判定部を有する。
【００１０】
かかる画像監視装置において、姿勢特徴量算出部は、輪郭上に複数の特徴点を設定し、複数の特徴点のそれぞれについて、当該特徴点と異なる他の特徴点のそれぞれに対して、当該特徴点からの距離、及び当該特徴点と当該他の特徴点とを結ぶ線分が当該他の特徴点における前記輪郭に基づいて定められた基準線となす角度を姿勢特徴量として算出し、姿勢変動検出部は、各特徴点に対応する１時点前の特徴点との姿勢特徴量の差分を計算し、当該差分の総和を姿勢変動量として検出するのが好ましい。
【００１１】
かかる画像監視装置は、さらに、監視画像の前記人物領域から人物を拘束するための拘束具をテクスチャ情報から検出する拘束具検出部を有し、当該拘束具検出部は、拘束具を検出しないと、判定部における異常判定を禁止させることが望ましい。
【発明の効果】
【００１２】
本発明にかかる画像監視装置は、床に横たわった人物の姿勢について、その時間的な変化から精度良く強盗に襲われている状態を検出できる。
【図面の簡単な説明】
【００１３】
【図１】（ａ）は、本発明にかかる画像監視装置が検出する犯罪発生の場面の模式図であり、（ｂ）は、天井に設置された撮像部にて取得された画像の模式図である。
【図２】一つの実施形態にかかる画像監視装置の概略構成図である。
【図３】同じく画像監視装置の構成要素である姿勢特徴量算出部の概略構成図である。
【図４】（ａ）は、人物領域の輪郭の一例を示す図であり、（ｂ）は、人物領域の輪郭上に設定された特徴点の一例を示す図であり、（ｃ）は、各特徴点の法線方向ベクトルを示す図であり、（ｄ）は、特徴点間情報の一例を示す図である。
【図５】姿勢特徴量の一例を示す図である。
【図６】姿勢特徴量算出処理の動作フローチャートである。
【図７】姿勢特徴量に基づいて強盗に襲われている状態を検出するフローチャートである。
【発明を実施するための形態】
【００１４】
以下、図を参照しつつ、本発明にかかる画像監視装置の一つの実施形態について説明する。この画像監視装置は、天井に設置され、概略鉛直下向きに設置されたカメラにて取得された画像を処理するものであり、画像に写った人物の輪郭上に設定した複数の特徴点どうしの距離及びそれら特徴点を結ぶ線分の方向により規定される、回転不変な特徴量を用いてその人物の姿勢を推定する。その姿勢について、時間的な変動を観察し、姿勢の変動の程度が所定の範囲内である場合に、その人物が強盗に拘束されていると検知するものである。
【００１５】
図１は、本発明にかかる画像監視装置が設置される場所において、当該画像監視装置が検出する犯罪の発生の様子を模式的に表した図である。設置場所としては、店舗や企業における金庫室を例示している。
図１（ａ）は、金庫室において発生した犯罪の様子を鳥瞰図として表したものである。
金庫１０２０の収容物である多額の現金や貴金属類を強奪しようとする犯人１０１０により被害者１０００がロープや強力粘着テープにて手足を、または場合によっては全身を何重にも巻かれて、身動きがほとんどとれずに床面上に拘束されている様子を示している。
【００１６】
図１（ｂ）は、同図（ａ）におけるカメラ１０３０により取得された画像を示している。カメラ１０３０は、金庫室をほぼ視界に含めるように天井に設置され、その撮影方向は概略鉛直下向きであるとする。
【００１７】
図１（ｂ）からわかるように、直立している犯人１０１０は、画像中においては頭部と両肩程度しか映り込まないので、大きな人物像としては得られない。
一方で、床面に横たわる被害者１０００は、カメラ１０３０とほぼ正対することになるので、全身が写り込み、大きな人物像として得られることになる。
なお、カメラ１０３０は、後述するように画像監視装置１の撮像部２に相当する。
【００１８】
図２は、一つの実施形態としての本発明にかかる画像監視装置１の概略構成図である。画像監視装置１は、撮像部２と、処理部３、出力部７とを有する。そして処理部３は、インターフェース部４と、記憶部５と、制御部６とを有する。
【００１９】
撮像部２は、CCDまたはC-MOSなど、可視光または近赤外光に感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に監視領域の像を結像する結像光学系などを有する。撮像部２は、例えば、NTSC規格に従って、連続的に撮影を行うカメラとすることができる。あるいは、撮像部２は、いわゆるハイビジョンなど、より高解像度な画像を生成するものでもよい。そして撮像部２は、監視領域、本実施の形態では金庫室を撮影した監視画像を、例えば、各画素の輝度が256階調で表される濃淡画像あるいはカラー画像として生成する。
撮像部２の画像出力は、処理部３のインターフェース部４と接続されており、撮像部２は、監視画像を生成する度に、その生成した監視画像を処理部３へ出力する
【００２０】
処理部３のインターフェース部４は、処理部３と撮像部２とを接続するインターフェース及びその制御回路を有する。インターフェース部４は、撮像部２が準拠する画像通信規格に適用した構成を有する。なお、インターフェース部４は、監視画像がアナログ画像として生成される場合、監視画像をデジタル画像に変換するアナログーデジタル変換回路を有していてもよい。
インターフェース部４は制御部６と接続されており、撮像部２から受信した監視画像を制御部６へ渡す。
【００２１】
処理部３の記憶部５は、フラッシュメモリなどの不揮発性半導体メモリ、揮発性半導体メモリ、または磁気ディスク（HDD）などの記憶装置を有する。
記憶部５は、画像監視装置１で使用される各種のプログラム及びデータを記憶する。また記憶部５は、例えば、画像監視装置１が起動したとき、あるいは定期的に撮像部２から取得した、侵入者の写っていない監視画像を背景画像として記憶する。
【００２２】
処理部３の制御部６は、例えば、１個または複数個のマイクロプロセッサユニットとその周辺回路とを有する。そして制御部６は、画像監視装置１全体を制御する。また制御部６は、撮像部２からインターフェース部４を介して受け取った監視画像及び記憶部５に記憶された背景画像に基づいて、監視領域内の人物の横臥状態における姿勢に関する特徴量を算出する。そして制御部６は、算出した特徴量に基づいて、異常が発生したか否かを判定する。
そのために、制御部６は、輪郭抽出部６１と、面積算出部６２と、姿勢特徴量算出部６３と、姿勢変動検出部６４と、拘束具検出部６５と、判定部６６を有する。制御部６が有するこれらの各部は、例えば、マイクロプロセッサユニット上で動作するプログラムの機能モジュールとして実装される。
【００２３】
輪郭抽出部６１は、最新の監視画像において人物が写っている領域である人物領域の輪郭を抽出する。そのために、輪郭抽出部６１は、最新の監視画像と、記憶部５から読み込んだ背景画像との間で、対応画素間の輝度差を求め、各画素の画素値がその輝度差の絶対値で表される背景差分画像を作成する。
輪郭抽出部６１は、背景差分画像において、画素値が所定の闘値以上である画素が一つに連結された領域をラベリング処理により検出し、人物候補領域とする。なお、所定の閾値は、例えば、予め実験により決定される。あるいは、所定の閾値は、背景差分画像の輝度平均値とすることができる。そして輪郭抽出部６１は、人物候補領域のうち、監視画像上で想定される人のサイズに相当する面積以上を持つ人物候補領域のみを人物領域として抽出し、その抽出された人物領域の境界に位置する画素を輪郭画素とする。
【００２４】
あるいは輪郭抽出部６１は、背景差分画像の各画素に対して、sobelフィルタまたはprewittフィルタといったエッジ検出フィルタを用いたフィルタ処理を行うことにより、エッジ強度を求める。そして輪郭抽出部６１は、所定のエッジ強度以上となるエッジ強度の絶対値を持つ画素を人物領域の輪郭上に存在する輪郭画素としてもよい。なお、所定のエッジ強度は、例えば、予め実験により決定される。
【００２５】
輪郭抽出部６１は、人物領域の輪郭画素の位置を示す情報、例えば、各輪郭画素の座標または各輪郭画素が他の画素と異なる値を持つ２値画像を後述する姿勢特徴量算出部６３へ渡す。また輪郭抽出部６１は、人物領域の輪郭画素の位置を示す情報及び背景画像を面積算出部６２、および拘束具検出部６５にも渡す。
【００２６】
面積算出部６２は、輪郭抽出部６１にて抽出された人物領域について、その内部に含まれる画素数を計数し、人物領域の面積とする。この画素数は、図１（ｂ）で示したように、直立している人物である犯人１０１０では比較的少なくなり、床面に横臥している被害者１０００では比較的大きくなる。後述するように判定部６６にて、この人物領域の面積を用いて、人物領域に対応する人物が床面に横臥していることを判定の条件とするため、面積情報を判定部６６に出力する。
【００２７】
姿勢特徴量算出部６３は、輪郭抽出部６１にて抽出された輪郭画素についての情報に基づき、人物領域の人物について、床面に横臥している状態での姿勢に関する特徴量を算出するものである。図３に示すように、姿勢特徴量算出部６３は、特徴点設定手段６３１、法線方向決定手段６３２、特徴点間情報算出手段６３３、特徴点間情報分布算出手段６３４から構成される。
【００２８】
特徴点設定手段６３１は、人物領域の輪郭上に、後述する姿勢特徴量を算出するための基準点となる特徴点を複数設定する。特徴点設定手段は、姿勢特徴量が監視画像に写っている人物の各部の特徴を表せるように、人物領域の輪郭上に、略等間隔に特徴点を設定することが好ましい。そのために、特徴点設定手段６３１は、例えば、人物領域の輪郭画素数をカウントすることにより人物領域の輪郭の長さを求める。そして特徴点設定手段６３１は、予め定められた特徴点の個数でその輪郭長を割ることにより、隣接する特徴点同士の間隔を表す特徴点間距離を決定する。
【００２９】
特徴点設定手段６３１は、まず人物領域の輪郭上の輪郭画素から最初の特徴点を設定する。この最初の特徴点は、人物領域の頭部を表すと思われる部分の端点、即ち頭頂部を最初の特徴点とする。そのために、特徴点設定手段６３１は、人物領域に外接する楕円を当てはめ、その長軸方向を調べる。そして、特徴点設定手段６３１は、その楕円の長軸方向の端点付近について、人間の頭部を表す円形領域を周知の方法で検出し、人物領域における頭部とすることができる。
【００３０】
特徴点設定手段６３１は、最初の特徴点から順に、人物領域の輪郭に沿って時計回りまたは反時計回りに、一つ前に設定された特徴点から特徴点間距離だけ離れる度に、対応する輪郭画素を次の特徴点として設定し、その順番に番号を付与する。
なお、設定される特徴点の個数は、撮影条件または制御部６の処理能力に応じて決定され、例えば、特徴点の個数は２５個、５０個あるいは１００個とすることができる。
または、人物領域を上下方向あるいは左右方向に適当な数に分割し、それぞれの分割領域に所定の数を設定してもよい。
特徴点設定手段６３１は、設定した特徴点の位置座標を法線方向決定手段６３２へ渡す。
【００３１】
法線方向決定手段６３２は、各特徴点における、人物領域の輪郭線に対する法線を求める。具体的には、法線方向決定手段６３２は、着目する特徴点について、当該着目特徴点及びその近傍の輪郭画素が通る直線、即ち着目特徴点における接線を、例えばハフ変換あるいは最小二乗法により求める。そして法線方向決定手段６３２は、その接線と直交する直線を法線とする。さらに法線方向決定手段６３２は、法線に沿って、着目特徴点から人物領域外へ向かう方向を法線方向とし、法線方向を向く単位ベクトルを法線方向ベクトルとして求める。法線方向決定手段６３２は、背景差分画像を参照することにより、法線に沿って着目特徴点よりも輝度値が小さくなる方向を法線方向として特定することができる。
【００３２】
なお、法線方向決定手段６３２は、法線に沿って、着目特徴点から人物領域内へ向かう方向を法線方向とし、法線方向を向く単位ベクトルを法線方向ベクトルとして求めてもよい。ただし、法線方向ベクトルが人物領域外を向くか、人物領域内を向くかについては、全ての特徴点について統一されることが好ましい。
あるいは、法線方向決定手段６３２は、輪郭抽出部６１が人物領域の輪郭を抽出する際にエッジを検出しているならば、画素値が変化するエッジの方向を求めておき、その方向が法線方向を表すとして、各特徴点の法線方向ベクトルを定義してもよい。
法線方向決定手段６３２は、各特徴点について求めた法線方向ベクトルを特徴点間情報算出手段６３３へ渡す。
【００３３】
特徴点間情報算出手段６３３は、各特徴点について、他の特徴点との位置関係により定まる特徴点間情報を算出する。具体的には、特徴点間情報算出手段６３３は、複数の特徴点のうち、着目する特徴点から他の特徴点（以下、対象特徴点と呼ぶ）を結ぶ特徴点間ベクトルを算出する。そして特徴点間情報算出手段６３３は、特徴点間ベクトルの大きさ、すなわち着目特徴点から対象特徴点までの距離rと、特徴点間ベクトルと対象特徴点の法線方向ベクトルがなす角θを特徴点間情報として算出する。なお、対象特徴点は、着目特徴点以外の全ての特徴点とする。したがって、ｎ個（ただしｎは２以上の整数）の特徴点が人物領域の輪郭上に設定されている場合、一つの特徴点につき、（n-１)個の(r、θ）の組が算出される。
【００３４】
なお、特徴点間情報算出手段６３３は、対象特徴点における法線と特徴点間ベクトルとのなす角を求める代わりに、対象特徴点における接線と特徴点間ベクトルとのなす角を求めてもよい。この場合、各対象特徴点において基準となる接線の方向は、接線と特徴点間ベクトルのなす角が実質的に同一となるにもかかわらず、異なる値を持つことがないように、人物領域の輪郭に沿って時計回りの方向または反時計回りの方向の何れかに統一されることが好ましい。
【００３５】
図４（ａ）は、人物領域の輪郭の一例を示す図であり、図４（ｂ）は、人物領域の輪郭上に設定された特徴点の一例を示す図であり、図４（ｃ）は、各特徴点の法線方向ベクトルを示す図であり、図４（ｄ）は、特徴点間情報の一例を示す図である。
図４（ａ）において、線４１０は、人物領域４００の輪郭を表す。この例では、人物領域の輪郭４１０は、図１（ｂ）に示した被害者１０００のように、床面に横臥した姿勢の人物の輪郭を表している。また図４（ｂ）における複数の点４０１は、人物領域の輪郭４１０上に設定された特徴点である。この例では、隣接する特徴点間の距離が略等間隔となるように、各特徴点は設定されている。
【００３６】
図４（ｃ）において、複数の矢印４０２は、各特徴点４０１について算出された法線方向ベクトルを表す。法線方向ベクトル４０２は、それぞれ各特徴点４０１から人物領域４００の外側へ向かうように設定されている。
【００３７】
図４（ｄ）では、一例として、特徴点４０１ａが着目特徴点に設定され、特徴点４０ｌｂが対象特徴点に設定されている。この場合において、着目特徴点４０１ａと対象特徴点４０１ｂとを結ぶ矢印４０３が特徴点間ベクトルを表す。この特徴点間ベクトルの長さ、すなわち、着目特徴点４０１ａと対象特徴点４０１ｂ問の距離rと、特徴点間ベクトル４０３と対象特徴点４０１ｂにおける法線方向ベクトル４０２ｂがなす角θとの組が特徴点間情報である。
特徴点間情報算出手段６３３は、着目特徴点毎に、一つの対象特徴点について特徴点間情報を求める度に、その特徴点情報を特徴点間情報分布算出手段６３４へ渡す。
【００３８】
特徴点間情報分布算出手段６３４は、各特徴点について求めた特徴点間情報の分布を姿勢特徴量として求める。具体的には、特徴点間情報分布算出手段６３４は、距離rと角度θをそれぞれ独立変数とした２次元ヒストグラムを求める。そこで、特徴点間情報分布算出手段６３４は、所定の角度単位及び所定の長さ単位で区切られる複数のセクションを設定し、セクションごとに、該当する特徴点間情報の度数を算出する。なお、所定の角度単位及び所定の長さ単位は、監視画像の解像度、特徴点の数などに応じて設定される。例えば、所定の角度単位は、３０°（π/6）または４５°（π/6）とすることができる。また所定の長さ単位は、例えば、10画素または20画素とすることができる。あるいは、所定の長さ単位は、着目特徴点からの距離が長くなるにつれて大きくなるように、例えば、セクションの境界に対応する距離の対数が等間隔となるように定められてもよい。
特徴点間情報分布算出手段６３４は、各セクションの度数を、一つの特徴点について求められる特徴点間情報の数（すなわち、特徴点数を、とすれば特徴点間情報の数は(n-1)）で割って正規化したものを、姿勢特徴量とする。
【００３９】
図５は、姿勢特徴量の一例を示す図である。姿勢特徴量５００は、角度θと距離rの正規化２次元ヒストグラムである。図５において、横軸は角度θを表し、縦軸は距離ｒを表す。そして高さ方向軸は正規化度数を表す。この例では、角度θに関して12個、距離rに関して6個のセクションが設定されている。そして、各セクションの正規化度数であるビン５０１は立体棒グラフとして表されている。
【００４０】
図６は、姿勢特徴量算出処理の動作フローチャートである。
姿勢特徴量算出部６３は、特徴点設定手段６３１にて設定された輪郭上の特徴点を取得し、以下の処理を実行する。
先ず、姿勢特徴量算出部６３の法線方向決定手段６３２は、各特徴点における法線方向ベクトルを算出する（ステップＳ１０１）。そして姿勢特徴量算出部６３は、姿勢特徴量未算出の特徴点を着目特徴点として設定する（ステップＳ１０２）。また、姿勢特徴量算出部６３は、特徴点間情報未算出の特徴点を対象特徴点として設定する（ステップＳ１０３）。
【００４１】
次に、姿勢特徴量算出部６３の特徴点間情報算出手段６３３は、特徴点間情報の一つとして、着目特徴点から対象特徴点までの距離ｒを算出する（ステップＳ１０４）。また特徴点間情報算出手段６３３は、特徴点間情報の他の一つとして、着目特徴点から対象特徴点を結ぶ特徴点間ベクトルと対象特徴点における法線方向ベクトルがなす角度θを算出する（ステップＳ１０５）。そして特徴点間情報算出手段６３３は、求めた特徴点間情報（ｒ、θ）を姿勢特徴量算出部６３の特徴点間情報分布算出手段６３４へ渡す。
特徴点間情報分布算出手段６３４は、特徴点間情報（ｒ，θ）に対応するセクションの度数を１加算する（ステップＳ１０６）。
【００４２】
姿勢特徴量算出部６３は、着目特徴点以外の全ての特徴点を対象特徴点に設定したか否か判定する（ステップＳ１０７）。未だ対象特徴点に設定されていない特徴点が存在する場合、姿勢特徴量算出部６３は、ステップＳ１０３〜Ｓ１０７の処理を繰り返す。
着目特徴点以外の全ての特徴点が対象特徴点に設定された場合、特徴点間情報分布算出手段６３４は、（ｒ，θ）の度数分布を正規化することで着目特徴点の姿勢特徴量を算出する（ステップＳ１０８）。
【００４３】
姿勢特徴量算出部６３は、全ての特徴点を着目特徴点に設定したか否か判定する（ステップＳ１０９）。未だ着目特徴点に設定されていない特徴点が存在する場合、姿勢特徴量算出部６３は、ステップＳ１０１〜Ｓ１０９の処理を繰り返す。一方、全ての特徴点が着目特徴点に設定された場合、姿勢特徴量算出部６３は姿勢特徴量算出処理を終了する。
そして、姿勢特徴量算出部６３は、各特徴点の姿勢特徴量を、対応する特徴点の位置情報とともに記憶部５に記憶させ、さらに姿勢変動検出部６４へ渡す。
【００４４】
姿勢変動検出部６４は、輪郭抽出部６１にて抽出された人物領域が、時間の経過とともに形状が変動したか否か、すなわち人物領域に対応する人物が監視画像中でその姿勢が変動したか否かを検出する。
記憶部５には、過去の時点において取得された監視画像から抽出された人物領域について、姿勢特徴量が人物領域の輪郭上における番号とともに記憶されている。そこで、姿勢変動検出部６４は、記憶部５に記憶されている姿勢特徴量と最新の姿勢特徴量について、対応する番号どうしの差を求め、その総和を姿勢変動量として求める。この姿勢変動量が大きいと、人物が大きく動いており、小さいと人物の動きがほとんど無いことになる。
【００４５】
姿勢変動検出部６４は、姿勢変動量を、記憶部５に記憶されている１時点前の姿勢特徴量と最新の姿勢特徴量との差からマンハッタン距離として求める。適宜もっと過去時点の姿勢特徴量との差にしてもよい。
本実施の形態では、姿勢特徴量は、図５に示したように、距離ｒと角度θのセクションごとの正規化度数を表す２次元ヒストグラムである。そこで、姿勢変動検出部６４は、２次元ヒストグラムの各正規化度数を、それぞれ一つの要素とみなしてマンハッタン距離を計算する。すなわち、姿勢変動検出部６４は、各特徴点について次式に従い、対応する二つのセクションの正規化度数の差の絶対値の総和を算出する。
【数１】
なお、Ｎは、姿勢特徴量に含まれるセクションの総数である。pikは記憶部５に記憶されているｉ番目の姿勢特徴量についてｋ番目のセクションの正規化度数を表す。sikは最新のｉ番目の姿勢特徴量についてｋ番目のセクションの正規化度数を表す。
姿勢変動検出部６４は、特徴点設定手段６３１にて設定される特徴点の数だけｉについて総和を求めることで、二つの姿勢特徴量間の距離である姿勢変動量Ｔを算出する。
なお、姿勢変動検出部６４は、二つの姿勢特徴量間の距離を、インターセクション（対応するセクションの二つの度数のうちの最小値の和）あるいはEarthMover'sDistanceなど、他の距離尺度により算出してもよい。
姿勢変動検出部６４は、姿勢変動量Ｔを判定部６６に出力する。
【００４６】
拘束具検出部６５は、人物の体に何重にもロープや強力粘着テープが巻かれていることを検出する。
図１に模式的に示したように、被害者１０００の体の周りに何重にもロープや強力粘着テープが巻かれていると、監視画像中、輪郭抽出部６１にて抽出された人物領域について、外接する楕円を当てはめた場合に、短軸方向に概略平行な直線成分が集中する。
そこで、拘束具検出部６５は、監視画像の人物領域中に上記のように、拘束具としての特徴的なテクスチャということができる直線成分が多く検出された場合に、被害者１０００はロープや強力粘着テープを巻かれていると判断する。
【００４７】
拘束具検出部６５は、監視画像中の人物領域を公知の方法でエッジ抽出を行い、２値化する。そして、直線成分の抽出方法として周知であるハフ変換を施す。
ハフ変換をすると、１つの直線について、原点からの距離ｒhと原点とを結ぶ法線と成す角度θhを軸とした平面上に１つの強いピークが得られる。
そこで、拘束具検出部６５は、監視画像中の人物領域についてハフ変換を施した結果、所定の強度のピークが数多く検出された場合に、被害者１０００はロープなどで拘束されていると判断する。
特に、人物領域に外接する楕円を当てはめた時の短軸と概略平行な方向に多く直線成分が検出され、しかも、方向が概略揃っていることを条件にするのが好適である。
拘束具検出部６５は、上記の判断結果を判定部６６に出力する。
２値化やエッジ抽出の方法、ハフ変換は画像処理の分野においては周知であるので、詳細は省略する。
【００４８】
判定部６６は、面積算出部６２にて算出された人物領域の面積、姿勢変動検出部６４にて算出された姿勢変動量Ｔ、拘束具検出部６５にて判断された拘束具の有無から、監視画像中における被害者１０００が、犯人１０１０にてロープなどで拘束されているか否かを判定する。
【００４９】
まず人物領域の面積については、撮像部２により撮影された監視画像中にて、撮像部２と正対する場合に、人物領域が占めると考えられる面積である人物面積以上であることを、被害者１０００が拘束されていることの条件とする。
これは図１（ｂ）からわかるように、撮像部２は天井に下向きに取り付けられているので、直立している犯人１０１０は、頭部と両肩程度しか写らないので、人物領域の面積は小さい。それに対し、被害者１０００は床面に横臥しているので、撮像部２に正対していることになり、全身が写り、人物領域としての面積は大きくなることを利用したものである。
なお、人物面積については、輪郭抽出部６１における、人物候補領域から人物領域を抽出する処理と共通にする面積に設定することもできる。
【００５０】
次に姿勢変動量Ｔについては、それが所定の範囲内である場合に、被害者１０００が拘束されていることの条件とする。これは、ロープなどで拘束されている人物は、自由に身動きがとれないのは当然としても、頭を振ったり、胴体を動かしていると考えられるからである。
【００５１】
さらに拘束具検出部６５にて、拘束具が検出された場合には、言うまでもなく被害者１０００がロープなどで拘束されていると判定する。一方で、拘束具が検出されない場合には、単に監視場所でつまづいて床に倒れただけの場合と考えられるので、その人物がロープなどで拘束されていると判定しないものとする。
【００５２】
出力部７は、構内LANまたは公衆回線網などの通信ネットワークに接続する通信インターフェース及びその制御回路を有する。そして出力部７は、処理部３により異常の発生が検知されたことを示す異常検出信号を処理部３から受け取って、その異常検出信号を画像監視装置１と通信ネットワークを介して接続された警備装置または監視センタ装置へ出力する。また出力部７は、異常検出信号とともに、異常検知時及びその後に取得された監視画像などを処理部３から受け取って、その監視画像などを警備装置または監視センタ装置へ出力してもよい。
【００５３】
次に図７を参照して、本発明にかかる画像監視装置１の動作を説明する。
まずステップＳ２００にて、撮像部２は監視画像、本実施の形態では金庫室を天井から下向きに撮影した画像を取得し、インターフェース部４を通じて、処理部３に取得した監視画像を渡す。
ステップＳ２１０では、輪郭抽出部６１において、監視画像から人物領域の輪郭を抽出する。
ステップＳ２２０では、面積算出部６２において、抽出された輪郭情報から、人物領域の面積を算出し、判定部６６に渡す。
ステップＳ２３０では、判定部６６は、面積算出部６２にて算出された面積が人物面積越えない場合、図１（ｂ）のような、床面に横臥する人物は存在しないとして、処理をステップＳ２００に戻す。前述のように人物候補領域から人物領域を抽出する処理と共通にするのであれば、本ステップにおける判断は不要である。
【００５４】
ステップＳ２３０にて、面積算出部６２にて算出された面積が人物面積を超える場合、床面に横臥する人物が存在するとして、姿勢特徴量を算出する。
ステップＳ２４０にて、姿勢特徴量算出部６３の特徴点設定手段６３１は、輪郭抽出部６１にて抽出された輪郭上に特徴点を設定する。
ステップＳ２５０にて、姿勢特徴量算出部は、各特徴点について姿勢特徴量を算出する。算出の方法は図５のフローチャートで説明した通りである。
【００５５】
ステップＳ２６０にて、判定部６６は、求められた姿勢特徴量の時間的な変化である姿勢変動量Ｔを算出し、それが所定の範囲内である場合に、床面に横臥する人物がロープなどで拘束され、わずかに体を動かしている状態であると判断する。
姿勢変動量が上記所定の範囲外に場合には、人物が全く動かないか、大きく動くので、別の事象が発生しているとして、本発明では検出対象外とする。
【００５６】
ステップＳ２７０にて、判定部６６は、拘束具検出部６５がロープなどの拘束具を検出した場合に、床面に横臥する人物がロープなどで拘束していると判断を行う。拘束具検出部６５が拘束具を検出しない場合には処理をＳ２００に戻す。
【００５７】
ステップＳ２８０にて、判定部６６が、被害者１０００は床面に横臥し、ロープなどで拘束されていると判定した場合には、処理部３は、出力部７に所定の警報を外部に出力させる。
【００５８】
以上説明してきたように、本発明の一実施の形態である画像監視装置は、店舗や企業の金庫室において、強盗犯により従業員がロープなどで拘束されたことを、床面に横臥して体を多少動かしていることを判断指標に精度良く検出できる。本発明における姿勢特徴量は、監視画像中での人物の向き、即ち監視画像中で頭が上にあるか、下にあるかに依らず、同じ姿勢であれば同じ姿勢特徴量になるので、監視画像が取得され人物領域が抽出されるごとに、人物の向きを一定方向に揃える処理が不要で、計算負荷が小さいメリットがある。
【００５９】
本発明はこれらの実施形態に限定されるものではない。例えば、拘束具検出部６５は、拘束具独特のテクスチャ情報を取得するため、ハフ変換を用いる代わりに、２次元の周波数解析を行い、特定方向に直線成分が揃っていることを検出しても良い。
さらには、模式的に図１では被害者１０００の体に何重にもロープなどが巻かれている状態を示したが、必ずしもそのようなことが仮定できるとは限らない。例えば手首と足首のみがロープになどで巻かれている場合には、拘束具の検出は困難と考えられるので、ステップＳ２８０の判断を省略しても判定は可能である。
このほか、当業者は適宜本発明の範囲内で様々な修正を行うことができる。
【符号の説明】
【００６０】
１・・・画像監視装置
２・・・撮像部
３・・・処理部
４・・・インターフェース部
５・・・記憶部
６・・・制御部
６１・・・輪郭抽出部
６２・・・面積算出部
６３・・・姿勢特徴量算出部
６４・・・姿勢変動検出部
６５・・・拘束具検出部
６６・・・判定部
７・・・出力部
【特許請求の範囲】
【請求項１】
略鉛直下向きに向け、床面を含む監視領域を撮影して監視画像を順次取得する撮像部と、
前記監視画像から人物が写っている人物領域の輪郭を抽出する輪郭抽出部と、
前記輪郭を用いて、前記人物の姿勢を表す姿勢特徴量を算出する姿勢特徴量算出部と、
前記姿勢特徴量の時間的変化である姿勢変動量を算出する姿勢変動検出部と、
前記人物領域の面積が床面に横臥したときの人物面積以上であり、前記姿勢変動量が身体を拘束されているときに示す程度の範囲内の場合に、前記人物が異常状態であると判定する判定部を有する
ことを特徴とする画像監視装置。
【請求項２】
前記姿勢特徴量算出部は、前記輪郭上に複数の特徴点を設定し、前記複数の特徴点のそれぞれについて、当該特徴点と異なる他の特徴点のそれぞれに対して、当該特徴点からの距離、及び当該特徴点と当該他の特徴点とを結ぶ線分が当該他の特徴点における前記輪郭に基づいて定められた基準線となす角度を前記姿勢特徴量として算出し、
前記姿勢変動検出部は、各特徴点に対応する１時点前の特徴点との姿勢特徴量の差分を計算し、当該差分の総和を姿勢変動量として検出することを特徴とする請求項１に記載の画像監視装置。
【請求項３】
さらに、前記監視画像の前記人物領域から人物を拘束するための拘束具をテクスチャ情報から検出する拘束具検出部を有し、
当該拘束具検出部は、前記拘束具を検出しないと、前記判定部における異常判定を禁止させることを特徴とする請求項１または請求項２のいずれか１つに記載の画像監視装置。
【請求項１】
略鉛直下向きに向け、床面を含む監視領域を撮影して監視画像を順次取得する撮像部と、
前記監視画像から人物が写っている人物領域の輪郭を抽出する輪郭抽出部と、
前記輪郭を用いて、前記人物の姿勢を表す姿勢特徴量を算出する姿勢特徴量算出部と、
前記姿勢特徴量の時間的変化である姿勢変動量を算出する姿勢変動検出部と、
前記人物領域の面積が床面に横臥したときの人物面積以上であり、前記姿勢変動量が身体を拘束されているときに示す程度の範囲内の場合に、前記人物が異常状態であると判定する判定部を有する
ことを特徴とする画像監視装置。
【請求項２】
前記姿勢特徴量算出部は、前記輪郭上に複数の特徴点を設定し、前記複数の特徴点のそれぞれについて、当該特徴点と異なる他の特徴点のそれぞれに対して、当該特徴点からの距離、及び当該特徴点と当該他の特徴点とを結ぶ線分が当該他の特徴点における前記輪郭に基づいて定められた基準線となす角度を前記姿勢特徴量として算出し、
前記姿勢変動検出部は、各特徴点に対応する１時点前の特徴点との姿勢特徴量の差分を計算し、当該差分の総和を姿勢変動量として検出することを特徴とする請求項１に記載の画像監視装置。
【請求項３】
さらに、前記監視画像の前記人物領域から人物を拘束するための拘束具をテクスチャ情報から検出する拘束具検出部を有し、
当該拘束具検出部は、前記拘束具を検出しないと、前記判定部における異常判定を禁止させることを特徴とする請求項１または請求項２のいずれか１つに記載の画像監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−２２７６１４（Ｐ２０１１−２２７６１４Ａ）
【公開日】平成２３年１１月１０日（２０１１．１１．１０）
【国際特許分類】
【出願番号】特願２０１０−９５１４０（Ｐ２０１０−９５１４０）
【出願日】平成２２年４月１６日（２０１０．４．１６）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
【公開日】平成２３年１１月１０日（２０１１．１１．１０）
【国際特許分類】
【出願日】平成２２年４月１６日（２０１０．４．１６）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
[ Back to top ]