監視装置及び監視方法
【課題】監視カメラの撮像範囲に限定されない、より広範な異常検出を可能とする。
【解決手段】監視装置は、監視カメラの画像情報と、監視員より取得された生体情報とを解析して、監視領域における物体及び監視員の動作状態を抽出し、その動作状態を表す情報であって、物体及び監視員の動作の種類を表す動詞と物体及び監視員の動作に関連する名詞とを含み、動詞に対する名詞の意味関係を表した状態情報を記憶する。また、監視装置は、記憶された複数の状態情報間の差分を検出し、検出した差分に対応する物体及び監視員の動作を、予め定めた規則に基づいて検出し、検出された物体及び監視員の動作が、予め定めた異常な動作と一致する場合に、監視領域における異常と判定し、その判定結果を出力する。
【解決手段】監視装置は、監視カメラの画像情報と、監視員より取得された生体情報とを解析して、監視領域における物体及び監視員の動作状態を抽出し、その動作状態を表す情報であって、物体及び監視員の動作の種類を表す動詞と物体及び監視員の動作に関連する名詞とを含み、動詞に対する名詞の意味関係を表した状態情報を記憶する。また、監視装置は、記憶された複数の状態情報間の差分を検出し、検出した差分に対応する物体及び監視員の動作を、予め定めた規則に基づいて検出し、検出された物体及び監視員の動作が、予め定めた異常な動作と一致する場合に、監視領域における異常と判定し、その判定結果を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視装置及び監視方法に関する。
【背景技術】
【０００２】
従来から、監視カメラで撮像した画像を分析して、人物などの動作を認識し、その認識した動作から異常を検出する監視装置が知られている。また、人物の動作などの認識については、人物の感情を深層格フレームに変換し、変換した深層格フレームを用いて感情認識を行う技術も開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２３７６６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、監視カメラで撮像した画像のみを用いて人物などの動作を認識する場合、異常を検出できる範囲は監視カメラの撮像範囲に限定されてしまい、広範な異常検出を行うことができない。
【０００５】
本発明は、上記に鑑みてなされたものであって、監視カメラの撮像範囲に限定されない、より広範な異常検出を可能とする監視装置及び監視方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明は、所定の監視領域を撮像する監視カメラと、前記監視領域の監視を行う監視員に装着された生体センサから当該監視員の生体情報を取得する取得手段と、前記監視カメラの画像情報と、前記取得された生体情報とを解析して、前記監視領域における物体及び前記監視員の動作状態を抽出し、当該動作状態を表す情報であって、前記物体及び前記監視員の動作の種類を表す動詞と前記物体及び前記監視員の動作に関連する名詞とを含み、前記動詞に対する前記名詞の意味関係を表した状態情報を記憶する状態情報記憶手段と、前記記憶された複数の状態情報間の差分を検出し、検出した差分に対応する前記物体及び前記監視員の動作を、予め定めた規則に基づいて検出する動作検出手段と、前記検出された物体及び監視員の動作が、予め定めた異常な動作と一致する場合に、前記監視領域における異常と判定し、当該判定結果を出力する異常出力手段と、を備えることを特徴とする。
【０００７】
また、本発明は、所定の監視領域を撮像する監視カメラと、前記監視領域の監視を行う監視員に装着された生体センサから当該監視員の生体情報を取得する取得手段と、を有する監視装置の監視方法であって、前記監視カメラの画像情報と、前記取得された生体情報とを解析して、前記監視領域における物体及び前記監視員の動作状態を抽出し、当該動作状態を表す情報であって、前記物体及び前記監視員の動作の種類を表す動詞と前記物体及び前記監視員の動作に関連する名詞とを含み、前記動詞に対する前記名詞の意味関係を表した状態情報を記憶する状態情報記憶工程と、前記記憶された複数の状態情報間の差分を検出し、検出した差分に対応する前記物体及び前記監視員の動作を、予め定めた規則に基づいて検出する動作検出工程と、前記検出された物体及び監視員の動作が、予め定めた異常な動作と一致する場合に、前記監視領域における異常と判定し、当該判定結果を出力する異常出力工程と、を含むことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、監視カメラの撮像範囲に限定されない、より広範な異常検出を可能とする、という効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】図１は、本実施形態に係る監視システムの構成を示すブロック図である。
【図２】図２は、状態情報ＤＢに記憶される状態情報のデータ構造の概要を示す図である。
【図３】図３は、状態情報ＤＢに記憶される状態情報の詳細を示す図である。
【図４】図４は、状態情報ＤＢに記憶される状態情報の具体例を示す図である。
【図５】図５は、状態情報ＤＢに時系列で記憶される状態情報を示す図である。
【図６】図６は、規則ＤＢに記憶される行動検出規則のデータ構造の一例を示す図である。
【図７】図７は、検出される行動間の遷移関係を表す図である。
【図８】図８は、状況把握規則のデータ構造の一例を示す図である。
【図９】図９は、異常情報ＤＢに記憶される異常情報のデータ構造の一例を示す図である。
【図１０】図１０は、環境情報ＤＢに記憶される環境情報のデータ構造の一例を示す図である。
【図１１】図１１は、監視員用装着ユニットの送信用データと、その送信用データに基づいた監視員に関する深層格フレームの登録との一例を示す図である。
【図１２】図１２は、動作検出処理の全体の流れを示すフローチャートである。
【図１３】図１３は、監視員に関するデータを格フレームに格納する処理を示すフローチャートである。
【図１４】図１４は、監視カメラの死角の一例を示す図である。
【図１５】図１５は、状態情報からの動作検出処理の全体の流れを示すフローチャートである。
【図１６】図１６は、状況把握処理の全体の流れを示すフローチャートである。
【図１７】図１７は、異常判定処理の全体の流れを示すフローチャートである。
【図１８】図１８は、監視員に関する異常の出力処理の全体の流れを示すフローチャートである。
【図１９】図１９は、監視領域における監視員の行動の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照して、この発明にかかる監視装置及び監視方法の最良な実施の形態を詳細に説明する。
【００１１】
この監視装置では、店舗や会場など監視対象となる施設における所定の領域（以下、監視領域という）について、監視カメラで撮像した画像情報や監視員に装着したセンサから、監視領域における人物（例えば来訪者など）の行動（動作状態）と、監視員の生体状態（心拍数、発汗量など）を解析し、解析結果を深層格フレーム構造で表して記憶部に順次保存する。そして、記憶部に保存した深層格フレームを相互に比較する（例えば時系列で並べた深層格フレームを前後で比較する）ことによって、更に監視領域における人物の行動と、監視員の生体状態の変化を検出し、監視領域における異常の発生を検出する。例えば、監視領域における人物の行動が予め設定された不審行動（出入り口などできょろきょろする、人を脅すなど）である場合や、監視員の心拍の高まりや多量の発汗がある場合には、監視領域における異常が発生しているものとする。
【００１２】
なお、監視員とは、監視領域の監視を行う人物であり、例えば店員、駅員、係員、警備員などが該当する。また、監視領域における人物としては、監視領域内に既に存在する人物以外に、監視領域外から監視領域内に進入する人物なども含まれるものとする。
【００１３】
本実施形態について、添付図面を参照して説明する。まず、本実施形態が適用される監視システムの構成例について説明する。図１は、本実施形態にかかる監視システム１０の構成を示すブロック図である。図１に示すように、監視システム１０は、監視装置１００と監視センタ２００とを備えている。監視装置１００と監視センタ２００とは、電話回線、無線ネットワーク、インターネットなどのネットワーク３００を介して接続されている。
【００１４】
監視センタ２００は、監視領域の異常を検出した監視装置１００からの通報を受け、待機中の監視員に対して異常が検出された監視領域へ向かう旨の指示を出すとともに、必要に応じて警察や消防等の関係機関への通報を行う。警察や消防等の関係機関への通報は、例えば異常の種類に応じて行われるものであり、異常として火災が検出された場合は消防への通報が、盗難が検出された場合は警察への通報が行われる。
【００１５】
監視装置１００は、センサ１１０と、複数の監視カメラ１２０と、監視操作部１３０と、監視員用装着ユニット１７０とを備えている。
【００１６】
センサ１１０は、監視領域に設置されており、主に侵入者等の異常を検出する目的で設置された人感センサである。センサ１１０は、人の存在や扉の開閉を検出した場合に検出信号を出力する。センサ１１０は、例えば赤外線の受光量の変化をもとに人の存在を検出する赤外線センサ、赤外線等の受信が遮断されることで人の存在を検出する遮断センサ、電磁波の乱れで人の存在を検出する電波センサ、及び、マグネットにより扉の開閉を検出するマグネットセンサなどの各種センサによって、監視領域の異常を検出する。
【００１７】
監視カメラ１２０は、監視対象である監視領域を撮像する。監視カメラ１２０は、主に監視領域である施設や敷地の出入り口付近や監視領域の通路などに設置されている。
【００１８】
次に、監視操作部１３０について説明する。監視操作部１３０は、検知情報受信部１３１と、画像情報取得部１３２と、監視状態切替部１３３と、操作パネル制御部１３４と、操作パネル１３５と、送受信部１３６と、監視状態記憶部１３７と、第１検出部１３８と、状態取得部１３９と、第２検出部１４０と、異常判定部１４１と、ＨＤＤ１５０（Hard Disk Drive）と、送受信部１６０とを備えている。なお、監視操作部１３０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備え（いずれも図示しない）、ＣＰＵがＲＯＭに記憶されたプログラムをＲＡＭの作業領域に展開して順次実行することで、上記各部の機能を実現する情報機器であってよい。
【００１９】
検知情報受信部１３１は、センサ１１０によって異常が検出された場合に送出される検出情報を受信する。検出情報は、センサ１１０から送出される検出信号である。センサ１１０が複数設置されている場合、検出情報は検出信号及びセンサ１１０を識別するセンサＩＤを含む。画像情報取得部１３２は、監視カメラ１２０によって撮像された画像情報を取得する。
【００２０】
監視状態切替部１３３は、操作パネル制御部１３４によって受け付けられた監視状態を監視状態記憶部１３７に格納する。監視状態記憶部１３７は、現在の監視装置１００の監視状態である監視モード又は監視解除モードのいずれかを記憶する。なお、監視状態記憶部１３７は、ハードディスク、光ディスク、メモリカード、ＲＡＭなどの一般的に利用されているあらゆる記憶媒体により構成することができる。
【００２１】
ここで、監視モードとは、センサ１１０が異常を検出して検出情報を取得した場合に、監視領域での異常を知らせる警報情報をネットワーク３００で接続されている監視センタ２００に送信する状態をいう。また、警備解除モードとは、上記検出情報を取得した場合でも異常を知らせる警報情報を監視センタ２００に送信しない状態をいう。
【００２２】
操作パネル１３５は、監視装置１００に関する情報が表示され、監視装置１００に対して情報が入力される。操作パネル１３５は、ボタンの押下等によって監視モード又は監視解除モードのいずれかの監視状態を入力する。操作パネル制御部１３４は、操作パネル１３５への表示情報の出力や、操作パネル１３５から入力された入力情報の取得等の操作パネル１３５に対する制御を行う。
【００２３】
送受信部１３６は、ネットワーク３００を介して監視センタ２００との間で各種情報を送受信する。例えば、送受信部１３６は、監視カメラ１２０が撮像した画像情報を監視センタ２００に送信する。また、送受信部１３６は、センサ１１０から検出情報を受信した場合で、かつ監視状態記憶部１３７に記憶された現在の監視状態に監視モードが記憶されている場合に、警報情報を監視センタ２００に送信する。
【００２４】
ＨＤＤ１５０は、物体の動作検出に関する各種データを記憶する。具体的には、ＨＤＤ１５０は、状態情報ＤＢ１５１と、規則ＤＢ１５２と、異常情報ＤＢ１５３と、環境情報ＤＢ１５４とを記憶している。なお、各ＤＢを、光ディスク、メモリカードなどのＨＤＤ１５０以外の記憶媒体に格納するように構成してもよい。
【００２５】
第１検出部１３８、第２検出部１４０、ＨＤＤ１５０等を監視センタ２００に設け、センサ１１０、監視カメラ１２０、監視員用装着ユニット１７０で得られた情報を監視センタ２００に送り、異常検出を監視センタ２００で行うように構成してもよい。
【００２６】
状態情報ＤＢ１５１は、物体の動作状態を深層格フレーム構造で表した状態情報を記憶する。深層格フレーム（以下、単に格フレームという）とは、動詞を基準として、動詞に対する名詞の意味関係を深層格として表した言語構造をいう。
【００２７】
図２は、状態情報ＤＢ１５１に記憶される状態情報のデータ構造の概要を示す図であり、図３は、状態情報ＤＢ１５１に記憶される状態情報の詳細を示す図である。図２に示すように、状態情報は、格フレームを識別する格フレームＩＤ（ＣＦＩＤ）と、動作（行動）の種類を示す行動名（ＡｃｔＮｍ）と、動作に関する名詞である格要素（深層格）とを含んでいる。深層格には、主格（Ａｇｅｎｔ）、属性格（Ｆｅａｔｕｒｅ）、場所格（ＰｏｓＣａｓｅ）、時間格（ＴｉｍｅＣａｓｅ）、源泉格（ＳｒｃＣａｓｅ）、目標格（ＤｓｔＣａｓｅ）、対象格（ＯｂｊＣａｓｅ）及び道具格（ＴｏｏｌＣａｓｅ）が含まれる。
【００２８】
図３に示すように、主格は、動作を引き起こす主体を表す。具体的には、主体を表す要素として、主体を識別するためにユニークに割り当てられた追跡番号（ＩＤ）と、主体の名称を示す認証名（Ｎａｍｅ）とが含まれる。属性格は、主格に関する情報をいう。例えば、属性格は、顔特徴（Ｆａｃｅ）、体特徴（Ｂｏｄｙ）、歩行特徴（Ｇａｉｔ）、生体情報（Ｖｉｔａｌ）を含む。
【００２９】
属性格に含まれる顔特徴、体特徴（体型）、歩行特徴（歩容）、生体情報は、さらに詳細な要素に分けられる。例えば、顔特徴は、顔検出を行った際の信頼度を表す顔検出信頼度（ＦＣｏｎｆ）、顔の特徴を表す顔特徴（Ｉｄｅｎｔ）、口の開閉度合いを表す口開閉度合（Ｍｏｕｔｈ）、視線方向（ＰａｎＴｉｌｔ）、マスクの有無（Ｍａｓｋ）、サングラスの有無（ＳＧ）、性別（Ｓｅｘ）、年代（Ａｇｅ）、頭髪の色を示す頭色（ＨＣｏｌｏｒ）などの要素を含む。また、体特徴は、身長（Ｈｅｉｇｈｔ）、上半身色（ＢＣｏｌｏｒ）、下半身色（ＬＣｏｌｏｒ）などの要素を含む。また、歩行特徴は、歩幅（ＳｔｅｐＷｉｄｔｈ）、体型（Ｐｏｓｔｕｒｅ）、脚長（ＬＬｅｎｇｔｈ）、歩速（ＷＳｐｅｅｄ）などの要素を含む。また、生体情報は、脈拍（ＨｅａｒｔＢｅａｔ）、皮膚電気抵抗（ＧＳＲ）などの要素を含む。
【００３０】
場所格は、動作や状態が起こる場所を表す。例えば、場所格は、場所名（ＰＮａｍｅ）、頭部座標（Ｈｅａｄ）、体座標（Ｂｏｄｙ）、足座標（Ｌｅｇ）、右手座標（ＲＨａｎｄ）、左手座標（ＬＨａｎｄ）、重心座標（ＷＢ）などの要素を含む。
【００３１】
時間格は、動作や状態が起こる時間を表す。例えば、時間格は、動作が開始された日時を表す日時（ＤａｔｅＴｉｍｅ）、その動作が開始してからの経過時間（ＰａｓｓＴｉｍｅ）などの要素を含む。
【００３２】
源泉格は、移動や状態変化などの起点を表す。例えば、源泉格は、主格が移動や動作等を行う起点の位置を表す場所情報（ＰｏｓＣａｓｅ）、その起点での主格の属性を表す属性情報（Ｆｅａｔｕｒｅ）、主格が移動や動作等を行う時間を示す時間情報（ＴｉｍｅＣａｓｅ）などの要素を含む。
【００３３】
目標格は、移動や状態変化などの終点を表す。例えば、目標格は、主格が移動や動作等を行う終点の位置を表す場所情報（ＰｏｓＣａｓｅ）、その終点での主格の属性を表す属性情報（Ｆｅａｔｕｒｅ）、主格が移動や動作等を行う時間を示す時間情報（ＴｉｍｅＣａｓｅ）などの要素を含む。
【００３４】
対象格は、動作や状態の対象となる事物を表す。例えば、対象格は、事物に固有の識別情報である追跡番号（ＩＤ）、その事物の名称である認証名（Ｎａｍｅ）などの要素を含む。
【００３５】
道具格は、動作の補助的手段を表す。例えば、道具格は、道具に固有の識別情報である追跡番号（ＩＤ）、その道具の名称である認証名（Ｎａｍｅ）などの要素を含む。
【００３６】
なお、利用できる深層格はこれらに限らず、例えば精神的事象の経験者を表す経験者格などの、その他のあらゆる深層格を用いることができる。
【００３７】
図４は、状態情報ＤＢ１５１に記憶される状態情報の具体例を示す図である。図４では、人物Ａ（主格）が、「しゃがむ」という行動を検出したときに生成される状態情報の一例を示している。この場合、属性格には、人物Ａの身長高、体型などの具体的な値が設定される。また、場所格及び時間格には、それぞれ人物Ａがしゃがんだ時の位置や時刻に関する具体的な値が設定される。なお、人物Ａが監視員である場合は、その監視員が装着したセンサからの出力値に基づいて、生体情報に具体的な値が設定されることとなる。
【００３８】
図５は、状態情報ＤＢ１５１に時系列で記憶される状態情報を示す図である。図５に示すように、状態情報ＤＢ１５１に記憶される状態情報（深層格フレーム）は、時系列で構造化されている。具体的には、同一の格フレームＩＤの深層格フレームが状態情報ＤＢ１５１に時系列に沿って順次記憶されており、時間格のＤａｔｅＴｉｍｅをインクリメントしながら読み出すことで、時系列に沿った深層格フレームの取得が可能となっている。
【００３９】
図１に戻り、規則ＤＢ１５２は、後述する第２検出部１４０が、状態情報ＤＢ１５１に保存された各フレームを比較して動作を検出するときに参照する行動検出規則を記憶する。図６は、規則ＤＢ１５２に記憶される行動検出規則のデータ構造の一例を示す図である。
【００４０】
図６に示すように、行動検出規則は、比較元となる情報であって、時間的に前の状態情報である前格フレームと、比較先となる情報であって、時間的に後の状態情報である後格フレームと、その他の条件と、検出される状態情報とを対応づけた形式となっている。
【００４１】
前格フレームおよび後格フレームは、それぞれ行動名と格情報とを含んでいる。格情報には、比較すべき少なくとも１つの深層格を設定する。
【００４２】
前格フレームおよび後格フレームは、２つの格フレームが差異を有するパターンを表す情報（差分情報）に相当する。すなわち、ある２つの格フレームが、それぞれ前格フレームと後格フレームとで設定された行動名および格情報と適合するとき、この２つの格フレーム間には差異が存在すると判断される。例えば、図６では、ある格フレーム（格フレーム１）の行動名が「存在する」、場所格に含まれる体位置が「Ａ」であり、他の格フレーム（格フレーム２）の行動名が「存在する」、場所格に含まれる体位置が「Ｂ」であるとき、格フレーム１と格フレーム２との間には差分が存在すると判断される。そして、差分が存在すると判断された場合、差分に対応する行動として、「検出される状態情報」欄に記載された行動名の行動が検出される。
【００４３】
その他の条件には、必要に応じて、比較する状態情報が満たすべき条件が設定される。例えば、同図の行動名「しゃがむ」の行動を検出する行動検出規則では、前格フレームに含まれる頭部位置Ｂと、後格フレームに含まれる頭部位置Ｃとが、Ｂ＞Ｃの関係を満たすことが条件として設定されている。また、「警戒する」の行動を検出する行動検出規則では、前格フレーム、後格フレームの行動名が「存在する」であり、前格フレームに含まれる生体情報の脈拍Ｂ１と、後格フレームに含まれる生体情報の脈拍Ｂ２とが、互いに所定の閾値を超えていることが条件として設定されている。すなわち、行動名が「存在する」である監視員の脈拍が連続して高まっている時には、その監視員の行動として「警戒する」が検出される。なお、「警戒する」の行動が検出される条件としては、監視員の発汗量が所定の閾値より多い場合であってもよい。
【００４４】
検出される状態情報は、検出される行動の行動名と、保存すべき少なくとも１つの深層格を表す格情報とを含んでいる。同図では、例えば、行動名「移動する」の行動が検出された場合は、前格フレームに含まれる体位置Ａおよび後格フレームに含まれる体位置Ｂを、それぞれ検出した行動に対応する格フレームの源泉格の体位置Ａおよび目標格の体位置Ｂとして保存する例が示されている。
【００４５】
なお、行動検出規則は同図に示す形式に限られるものではなく、複数の状態情報間の差分に応じて予め定められた行動を決定可能なものであればあらゆる形式の規則を適用できる。
【００４６】
図７は、検出される行動間の遷移関係を表す図である。具体的には、図７は、画像情報と監視員が装着したセンサとから検出される行動と、状態情報ＤＢ１５１に保存された状態情報を比較し、行動検出規則によって検出される行動との関係を表している。同図の楕円は、検出される行動名の一例を表している。また、楕円間の矢印に付された文字列は、ある行動から他の行動を検出するための状態情報間の差分の基準を表している。
【００４７】
なお、この基準は、図６の規則ＤＢ１５２に記憶された行動検出規則に対応する。例えば、「位置座標の変異」という基準は、図６では行動名「移動する」を検出する最初の行動検出規則に対応する。すなわち、例えば同図の行動名５０１（存在する）に対応する複数の状態情報を比較することにより、「位置座標の変異」という差分が検出された場合は、「移動する」という行動名の行動が新たに検出される。
【００４８】
なお、図７の行動名５０１〜５０４は、後述する第１検出部１３８によって画像情報から検出される行動名を表している。それ以外の行動名は、後述する第２検出部１４０によって、行動検出規則を用いて検出される行動名を表している。また、同図の行動名５１１〜５１３は、他の行動へ派生しない行動名を表している。すなわち、この状態に達した場合は、同図の遷移から離脱することを意味する。また、行動名５１４は、監視員にかかる行動であって、監視カメラ１２０から取得された画像情報と、監視員に装着されたセンサからの出力とに基づいて検出される行動名を表している。
【００４９】
本実施の形態では、さらに、規則ＤＢ１５２が、複数の物体（人物）の状態情報の組み合わせに応じた動作を検出するときに参照する行動検出規則を記憶する。以下では、このように複数の物体の状態から動作を検出するための行動検出規則を、状況把握規則という。図８は、状況把握規則のデータ構造の一例を示す図である。
【００５０】
図８に示すように、状況把握規則は、ある人物Ａに関する情報と、他の人物Ｂに関する情報と、その他の条件と、検出される状態情報とを対応づけた形式となっている。
【００５１】
人物Ａに関する情報および人物Ｂに関する情報は、それぞれ行動名と格情報とを含んでいる。格情報には、各人物が満たすべき深層格の条件を設定する。
【００５２】
ある２人の人物それぞれに対応する２つの格フレームが、それぞれ人物Ａに関する情報と人物Ｂに関する情報とで設定された行動名および格情報に適合するとき、「検出される状態情報」欄に記載された行動名の行動が検出される。
【００５３】
その他の条件には、必要に応じて、比較する状態情報が満たすべき条件が設定される。例えば、同図の行動名「脅す」の行動を検出する状況把握規則では、行動名「見る」の格フレームが存在し、その格フレームの主格および対象格がそれぞれ人物Ａおよび人物Ｂであるという条件が設定されている。
【００５４】
検出される状態情報は、検出される行動の行動名と、保存すべき少なくとも１つの深層格を表す格情報とを含んでいる。同図では、例えば、行動名「脅す」の行動が検出された場合は、人物Ｂを検出した行動に対応する格フレームの対象格として保存する例が示されている。
【００５５】
なお、状況把握規則は同図に示す形式に限られるものではなく、複数人の行動を表す状態情報の組み合わせに応じて予め定められた行動を決定可能なものであればあらゆる形式の規則を適用できる。また、同図では２人の状態情報の組み合わせから行動を検出する規則が例示されているが、３人以上の状態情報の組み合わせから行動を検出する規則を用いてもよい。
【００５６】
複数人の行動の組み合わせとしては、例えば、犯罪行為等の被害者および加害者、または、異常な状況が発生するときの周囲の人物（例えば監視員）等の行動の組み合わせなどを想定する。そして、このような複数人の行動の組み合わせが発生したときに予測される行動を検出される状態情報に設定した状況把握規則を定める。
【００５７】
例えば、同図の１行目および２行目は、人物Ａを加害者又は監視員、人物Ｂを被害者としたときの状況に対応する状況把握規則を表している。また、同図の３行目は、複数人の行動の組み合わせから不審行動を検出する状況把握規則を表している。このような規則を用いることにより、例えば個々の人物の行動が不審行動と思われるが不審と断定できない場合であっても、他の人物の行動と同時に発生していることを条件として不審行動であると判断することが可能となる。
【００５８】
図１に戻り、異常情報ＤＢ１５３は、監視領域において、異常状態と判断される格フレーム（異常情報）を予め記憶する。具体的には、異常情報として、不審者の動作状態を表す行動パターンや、異常時における監視員の動作状態を表す行動パターンを記憶する。図９は、異常情報ＤＢ１５３に記憶される異常情報のデータ構造の一例を示す図である。図９に示すように、異常情報は、不審者・監視員の動作の種類を表す行動名と、不審者・監視員の動作に関連する深層格（格情報）と、その深層格が満たすべき条件とを含んでいる。
【００５９】
同図の網掛け部は、行動名が「きょろきょろする」である場合であって、かつ場所格の体位置が「玄関前」、すなわち、玄関前できょろきょろしている場合を不審者または不審行動として記憶している例を示している。また、行動名が「警戒する」である場合であって、かつ場所格の体位置が「通路」、すなわち、監視領域の通路で監視員が警戒している場合を異常状態として記憶している例を示している。
【００６０】
なお、異常情報ＤＢ１５３に記憶される行動名や、深層格の種類等は、予めユーザによって記憶される。
【００６１】
図１に戻り、環境情報ＤＢ１５４は、監視領域や監視装置１００の設置状態などの環境情報を予め記憶する。具体的には、監視領域の場所、複数設置された監視カメラ１２０の設置位置、監視員用装着ユニット１７０とデータを送受信する送受信機器（無線アンテナ、赤外線発光／受光器、ＲＦＩＤ（Radio Frequency IDentification）リーダ／ライタなど）の設置位置を記憶する。
【００６２】
図１０は、環境情報ＤＢ１５４に記憶される環境情報のデータ構造の一例を示す図である。図１０に示すように、環境情報ＤＢ１５４において、環境情報は、ユニークに割り当てられたＩＤにより識別可能に記憶される。また、環境情報として、監視領域の場所（エリアＡ〜Ｃ）、その監視領域に設置されたＲＦＩＤリーダ（設置物）の設置場所などが、起点座標、終点座標とともに記憶されている。
【００６３】
図１に戻り、第１検出部１３８は、画像情報取得部１３２によって取得された画像情報や、送受信部１６０を介して取得した監視員に装着されたセンサからの出力を解析することにより、物体の動作状態を検出する。また、第１検出部１３８は、検出した動作状態を表す状態情報を生成して状態情報ＤＢ１５１に保存する。
【００６４】
第１検出部１３８は、例えば画像情報から人物領域を抽出することにより、人物が「存在する」という動作状態を検出する。また、第１検出部１３８は、検出した人物の視線方向を検出することにより、その人物の「見る」という動作状態を検出する。また、第１検出部１３８は、人物以外の他の物体を画像情報から抽出し、抽出した物体が新たに現れた場合には「取り出す」という動作状態を、抽出した物体が以前から存在し、人物の手の位置と重なった場合には「触る」という動作状態を検出する。また、第１検出部１３８は、監視員に装着されたセンサからの出力を、監視員の生体情報として状態情報ＤＢ１５１に保存する（詳細は後述する）。
【００６５】
なお、第１検出部１３８が人物または物体を抽出する方法としては、連続する画像情報の背景を比較することにより抽出した変動領域を人物領域とする方法や、人物パターンまたは物体パターンと照合することにより人物または物体を抽出する方法などの、従来から用いられているあらゆる方法を適用できる。また、第１検出部１３８が人物の視線方向を検出する方法としては、顔領域パターンと照合することにより顔領域を抽出するとともに視線方向を検出する方法などの従来から用いられているあらゆる方法を適用できる。
【００６６】
状態取得部１３９は、状態情報ＤＢ１５１から複数の状態情報を取得する。例えば、状態取得部１３９は、第１検出部１３８によって検出され、状態情報ＤＢ１５１に保存された状態情報のうち、時刻が連続する２つの状態情報を取得する。また、状態取得部１３９は、状態情報ＤＢ１５１に保存された状態情報のうち、同一時刻で主格が異なる２つの状態情報を取得する。前者は、図６の行動検出規則によって行動を検出するときに利用される。また、後者は、図８の状況把握規則によって行動を検出するときに利用される。なお、時刻は厳密に同一である必要はなく、誤差が所定の時間範囲内であれば略同一の時刻と判断するように構成してもよい。
【００６７】
第２検出部１４０は、時刻が連続する２つの状態情報が規則ＤＢ１５２に保存された行動検出規則に適合するか否かを判定することによって、新たな行動を検出する。
【００６８】
具体的には、第２検出部１４０は、状態取得部１３９によって取得された時刻が連続する２つの状態情報の行動名および格情報が一致する行動検出規則を規則ＤＢ１５２から取得する。そして、第２検出部１４０は、行動検出規則が取得できた場合に、行動検出規則で定められた行動を新たな行動として検出する。
【００６９】
また、第２検出部１４０は、同一時刻で主格が異なる２つの状態情報が規則ＤＢ１５２に保存された状況把握規則に適合するか否かを判定することによって、新たな行動を検出する。
【００７０】
具体的には、第２検出部１４０は、状態取得部１３９によって取得された同一時刻で主格が異なる２つの状態情報の行動名および格情報が一致する状況把握規則を規則ＤＢ１５２から取得する。そして、第２検出部１４０は、状況把握規則が取得できた場合に、状況把握規則で定められた行動を新たな行動として検出する。
【００７１】
異常判定部１４１は、異常情報ＤＢ１５３に記憶されている異常情報に適合する状態情報を状態情報ＤＢ１５１から検索することにより、監視領域における異常の有無を判定する。具体的には、異常判定部１４１は、状態情報ＤＢ１５１に記憶されている異常情報のうち、状態情報の行動名が異常情報の行動名と一致し、かつ状態情報の格要素のうち異常情報の格情報に記載された格要素が異常情報の条件を満たす状態情報を検索する。そして、異常判定部１４１は、条件を満たす状態情報がある場合に異常が発生したと判定する。具体的には、条件を満たす状態情報の主格である人物が不審者であると判定する。
【００７２】
なお、異常判定部１４１は、条件を満たす状態情報として検出した動作パターンの統計母数、すなわち多変量解析を行う際に用いる変数としての複数の行動名、深層格、および行動の変位の数量が、所定の閾値を超えているか否かを判定する。そして、異常判定部１４１は、統計母数が所定の閾値を超えている場合は、その検出された行動パターンを来訪者の不審行動や異常時における監視員の警戒行動と判定し、異常が発生したと判定する。なお、統計母数が所定の閾値を超えていない場合は、不審行動や警戒行動が無く、異常が発生していないものとする。これは、統計母数が所定の閾値を超えていない場合は、統計に用いる変数の数量が少なく、動作パターンの信頼性が低くなるため、必ずしも不審行動、警戒行動と判断できないためである。これにより、図９に例示したように、来訪者が玄関前において「きょろきょろする」や、監視員が通路で「警戒する」などが長時間継続された場合は、異常が発生しているものと判定される。
【００７３】
送受信部１６０は、通信回路、無線アンテナ、赤外線発光／受光器、ＲＦＩＤ（Radio Frequency IDentification）リーダ／ライタなどを有する構成であり、監視領域における監視員が装着した監視員用装着ユニット１７０との間でデータの送受信を行う。
【００７４】
監視員用装着ユニット１７０は、監視員が装着して使用する装置であり、装着した監視員の生体情報（脈拍、発汗量）や、頭部、胴体部、右手、左手の動作情報（加速度）を、送信用データとして監視操作部１３０に送信する。具体的には、監視員用装着ユニット１７０は、生体情報を取得するための生体センサ１７１、監視員の各部位（頭部、胴体部、右手、左手）に設けられた加速度センサ１７２、装置の制御を司るコントローラ１７３、送受信部１６０との間でデータの送受信を行う送受信部１７４を備える。生体センサ１７１は、心臓の拍動による血圧の変動を検出して脈拍を検出する脈拍センサや、発汗量に応じて変動する皮膚電気抵抗を検出する電極センサなどである。
【００７５】
図１１は、監視員用装着ユニット１７０の送信用データと、その送信用データに基づいた監視員に関する深層格フレームの登録との一例を示す図である。図１１に示すように、監視員Ｈには、手首や指先などに生体センサ１７１が、頭部、胴体部、右手、左手のそれぞれに加速度センサ１７２が装着されている。
【００７６】
生体センサ１７１は、監視員の脈拍（ｓ０）、皮膚電気抵抗（ｓ１）を出力する。加速度センサ１７２は、胴体部加速度センサ出力（Ａ）、頭部加速度センサ出力（ａ０）、右手加速度センサ出力（ａ１）、左手加速度センサ出力（ａ２）を出力する。監視員用装着ユニット１７０は、コントローラ１７３の制御の下、上述した生体センサ１７１、加速度センサ１７２の出力値に装置固有の識別ＩＤと測定時間を付与した送信用データを生成し、その生成した送信用データを送受信部１７４から監視操作部１３０へ送信する。
【００７７】
監視操作部１３０では、第１検出部１３８が送受信部１６０で受信した送信用データをもとに、監視員の生体情報や位置情報を状態情報ＤＢ１５１に保存する。具体的には、送信用データの識別ＩＤをもとに監視員である人物照合（例えば主格の追跡番号の照合）と、測定時間をもとに時間照合（例えば時間格の日時の照合）を行い、符合する深層格フレームを特定する。
【００７８】
次いで、監視員の各部位における加速度センサの出力値を積算することで、監視員の各部位の速度や位置の算出を行う。ここで、算出した監視員の各部位の位置と、人物照合や時間照合により符合する深層格フレームの足座標などとを照合し、算出結果にずれが生じていないか否かを検出してもよい。そして、算出結果にずれが生じていない場合は、算出された監視員の各部位の位置を符合する深層格フレームに入力してもよい。次いで、送信用データの生体情報（脈拍、皮膚電気抵抗）を符合する深層格フレームに入力する。
【００７９】
次に、このように構成された本実施形態に係る監視装置１００による画像や監視員に装着したセンサからの動作検出処理について、図１２を参照して説明する。画像や監視員に装着したセンサからの動作検出処理とは、監視カメラ１２０で撮像された画像情報や、監視員用装着ユニット１７０の送信用データから人物等の動作（行動）を検出する処理をいう。図１２は、動作検出処理の全体の流れを示すフローチャートである。
【００８０】
まず、画像情報取得部１３２は、監視カメラ１２０が撮影した画像情報を入力する（Ｓ６０１）。次に、第１検出部１３８が、画像情報から人物領域を検出する（Ｓ６０２）。次に、第１検出部１３８は、人物領域が検出されたか否かを判断する（Ｓ６０３）。人物領域が検出されなかった場合は（Ｓ６０３：ＮＯ）、次の画像情報を入力して処理を繰り返す（Ｓ６０１）。
【００８１】
人物領域が検出された場合（Ｓ６０３：ＹＥＳ）、第１検出部１３８は、行動名＝「存在する」の格フレームを作成する（Ｓ６０４）。なお、作成した格フレームの格フレームＩＤには、他の格フレームと重複しない値を割り当てる。また、時間格のＤａｔｅＴｉｍｅには現在の日時を割り当てる。
【００８２】
次に、第１検出部１３８は、検出した人物領域の各部位の検出位置を場所格へ格納する（Ｓ６０５）。例えば、第１検出部１３８は、検出した人物領域に含まれる頭部、体、手、顔、および脚部の座標を算出し、それぞれ頭部位置、体位置、手位置、顔位置、および脚部位置として場所格に格納する。なお、人物領域の各部位は、部位ごとの照合パターンと照合して検出する方法などの従来から用いられているあらゆる方法により検出できる。
【００８３】
なお、Ｓ６０５において、監視員に関するデータを格フレームに格納する場合の処理の詳細は図１３に示すとおりである。図１３は、監視員に関するデータを格フレームに格納する処理を示すフローチャートである。
【００８４】
図１３に示すように、第１検出部１３８は、状態情報ＤＢ１５１より監視員の認識ＩＤ（監視員用装着ユニット１７０の識別ＩＤなど）に対応する深層格フレームのデータを取得する（Ｓ６０５１）。次いで、第１検出部１３８は、測定時間の格フレームの有無を判定し（Ｓ６０５２）、測定時間の格フレームが無い場合（ＮＯ）は現在の測定時間Ｔの格フレームを生成する（Ｓ６０５３）。
【００８５】
次いで、第１検出部１３８は、取得又は生成した格フレームに監視員用装着ユニット１７０の生体センサ１７１からの出力値（脈拍：ｓ０、皮膚電気抵抗：ｓ１）を属性格の生体情報に格納する（Ｓ６０５４）。
【００８６】
次いで、第１検出部１３８は、取得又は生成した格フレームに位置情報が有るか否かを判定する（Ｓ６０５５）。Ｓ６０５５において位置情報がない場合（ＮＯ）、すなわち、監視カメラ１２０の死角などにより、撮影した画像情報から監視員に関する各部位の位置検出ができなかった場合、第１検出部１３８は、監視員用装着ユニット１７０の加速度センサ１７２からの出力値（胴体部加速度センサ出力：Ａ、頭部加速度センサ出力：ａ０、右手加速度センサ出力：ａ１、左手加速度センサ出力：ａ２）を元に監視員の各部位の位置座標を算出し、算出結果を場所格へ格納する（Ｓ６０５６）。
【００８７】
図１４は、監視カメラ１２０の死角の一例を示す図である。図１４に示すように、監視領域Ｒにおいて、通路上の監視員Ｈは、カメラＣＡ２、カメラＣＡ１で撮像した画像情報から位置の検出が行われる。しかしながら、カメラＣＡ１の映像では、監視員Ｈの正面側が壁に隠れているため、何をしているのか（例えば手の位置）までは解析できない。同様に、カメラＣＡ２の映像では、監視員Ｈの後ろ姿しか映っていないため、手の動きなどは解析できない。このような場合は、撮影した画像情報から監視員に関する各部位（この場合は手の位置）の位置検出ができない。すなわち、監視カメラ１２０の死角に隠れている監視員Ｈの部位については、場所格への格納が行われないこととなる。
【００８８】
これに対し、第１検出部１３８が上述した処理を行うことで、監視カメラ１２０の死角に隠れた監視員Ｈの部位の位置が、監視員用装着ユニット１７０における加速度センサ１７２の出力値から算出されて、補間されることとなる。したがって、第１検出部１３８は、監視員の各部位に関して、監視カメラ１２０の死角に左右されることなく、適切なデータを場所格へ格納することができる。
【００８９】
図１２に戻り、第１検出部１３８は、Ｓ６０４〜Ｓ６０５と並行して、人物同定処理（Ｓ６０６〜Ｓ６０７）、顔検出処理（Ｓ６０８〜Ｓ６１０）、体型判定処理（Ｓ６１１〜Ｓ６１２）、および歩容検出処理（Ｓ６１３〜Ｓ６１４）の各処理を実行する。なお、これらの各処理は必ずしも並行して処理する必要はなく、任意の順序で実行するように構成することができる。
【００９０】
人物同定処理では、第１検出部１３８は、抽出済みの人物領域と照合する方法などにより、抽出された人物を同定する（Ｓ６０６）。そして、第１検出部１３８は、同定した人物に既に割り当てられているエージェントＩＤ（図２のＡｇｅｎｔ）を、作成した格フレームの主格に格納する（Ｓ６０７）。
【００９１】
顔検出処理では、第１検出部１３８は、顔領域パターンと照合する方法などによって顔領域を検出する（Ｓ６０８）。また、第１検出部１３８は、照合結果に応じて、視線方向、マスクの有無、およびサングラスの有無などの顔情報を属性格に格納する（Ｓ６０９）。視線方向が検出された場合は、第１検出部１３８は、行動名＝「見る」の格フレームを作成する（Ｓ６１０）。
【００９２】
体型判定処理では、第１検出部１３８は、照合した人物パターンに予め付与された体型を求める方法などにより、検出した人物の体型を判定する（Ｓ６１１）。そして、第１検出部１３８は、判定した体型を、作成した格フレームの属性格に格納する（Ｓ６１２）。
【００９３】
歩容検出処理では、第１検出部１３８は、主に検出した人物領域の脚部を解析することにより、歩速、歩幅、脚長、姿勢などの歩容情報（歩行特徴）を検出する（Ｓ６１３）。歩速は、例えば連続する画像情報（動画像のフレームなど）の脚部の位置を比較することにより算出することができる。そして、第１検出部１３８は、検出した歩容情報を、作成した格フレームの属性格に格納する（Ｓ６１４）。
【００９４】
次に、第１検出部１３８は、画像情報から物体を検出する（Ｓ６１５）。なお、物体検出処理は、人物領域検出処理（Ｓ６０２）とともに実行してもよい。
【００９５】
次に、第１検出部１３８は、物体が検出されたか否かを判断する（Ｓ６１６）。物体が検出された場合（Ｓ６１６：ＹＥＳ）、第１検出部１３８は、物体が前の画像情報で検出されていたか否か、および物体と人物領域の位置関係に応じて、行動名＝「触る」または「取り出す」の格フレームを作成する（Ｓ６１７）。
【００９６】
具体的には、第１検出部１３８は、前の画像情報で検出された物体と照合することなどにより、物体が既に検出されていると判断でき、かつ、人物の手の位置と物体の位置とが重なると判断できる場合は、行動名＝「触る」の格フレームを新たに作成する。また、第１検出部１３８は、未検出の物体が新たに検出されたと判断でき、かつ、人物の手の位置と物体の位置とが重なると判断できる場合は、行動名＝「取り出す」の格フレームを新たに作成する。
【００９７】
Ｓ６１６で物体が検出されなかったと判断された場合（Ｓ６１６：ＮＯ）、またはＳ６１７で新たな格フレームを作成後、第１検出部１３８は、これまでに作成した格フレームを状態情報ＤＢ１５１に保存し（Ｓ６１８）、画像や監視員に装着したセンサからの動作検出処理を終了する。
【００９８】
次に、本実施形態にかかる監視装置１００による状態情報からの動作検出処理について図１５を参照して説明する。状態情報からの動作検出処理とは、状態情報ＤＢ１５１に保存されている状態情報から人物等の動作（行動）を検出する処理をいう。図１５は、状態情報からの動作検出処理の全体の流れを示すフローチャートである。
【００９９】
まず、状態取得部１３９は、状態情報ＤＢ１５１に保存されている状態情報である格フレームのうち、未処理の格フレーム（以下、第１格フレームという）を取得する（Ｓ７０１）。次に、状態取得部１３９は、取得した第１格フレームと時間的に連続する格フレーム（以下、第２格フレームという）を状態情報ＤＢ１５１から取得する（Ｓ７０２）。
【０１００】
次に、第２検出部１４０は、取得した２つの格フレームが満たす行動検出規則を規則ＤＢ１５２から検索する（Ｓ７０３）。具体的には、第２検出部１４０は、第１格フレームおよび第２格フレームの行動名が、それぞれ行動検出規則の前格フレームおよび後格フレームの行動名と一致し、格情報が行動検出規則の格情報が表す条件を満たす行動検出規則を検索する。
【０１０１】
例えば、第１格フレームおよび第２格フレームの行動名が共に「存在する」であり、第１格フレームの体位置（体位置Ａとする）と、第２格フレームの体位置（体位置Ｂとする）とが異なる場合、図６に示すような規則ＤＢ１５２の最初の行動検出規則が検索される。
【０１０２】
次に、第２検出部１４０は、行動検出規則が検索されたか否かを判断し（Ｓ７０４）、検索された場合は（Ｓ７０４：ＹＥＳ）、検索した行動検出規則の「検出される状態情報」に設定された行動名の格フレームを作成する（Ｓ７０５）。
【０１０３】
行動検出規則が検索されなかった場合（Ｓ７０４：ＮＯ）、または、格フレームを作成後、第２検出部１４０は、未処理の格フレームが存在するか否かを判断する（Ｓ７０６）。
【０１０４】
未処理の格フレームが存在する場合（Ｓ７０６：ＹＥＳ）、状態取得部１３９は、次の格フレームを取得して処理を繰り返す（Ｓ７０１）。未処理の格フレームが存在しない場合は（Ｓ７０６：ＮＯ）、状態情報からの動作検出処理を終了する。
【０１０５】
このような処理により、画像情報からだけでなく、テキスト情報として保存した状態情報から、人物等の対象物の行動を検出することができる。このため、画像の分析のみによって監視対象物の動作を認識する従来の方法と比較して、動作検出処理の処理負荷を低減することが可能となる。
【０１０６】
次に、本実施形態にかかる監視装置１００による状況把握処理について図１６を参照して説明する。状況把握処理とは、状態情報ＤＢ１５１に保存されている複数人（物体）の状態情報から動作の状況を把握し、新たな人物等の動作（行動）を検出する処理をいう。図１６は、状況把握処理の全体の流れを示すフローチャートである。
【０１０７】
まず、状態取得部１３９は、状態情報ＤＢ１５１に保存されている状態情報である格フレームのうち、未処理の格フレーム（以下、第１格フレームという）を取得する（Ｓ１００１）。次に、状態取得部１３９は、取得した第１格フレームと同時刻の他の格フレーム（以下、第２格フレームという）を状態情報ＤＢ１５１から取得する（Ｓ１００２）。
【０１０８】
次に、第２検出部１４０は、複数人物の格フレームが取得されたか否か、すなわち、第１格フレームの主格と、第２格フレームの主格とが異なるか否かを判断する（Ｓ１００３）。複数人物の格フレームが取得された場合（Ｓ１００３：ＹＥＳ）、第２検出部１４０は、各人物の格フレームの行動名を取得する（Ｓ１００４）。
【０１０９】
次に、第２検出部１４０は、行動名＝「見る」の格フレームが存在するか否かを判断する（Ｓ１００５）。存在する場合（Ｓ１００５：ＹＥＳ）、第２検出部１４０は、行動名＝「見る」の対象となる物体（人物）が一致する他の人物の人数を算出し、人数が所定の閾値より大きいか否かを判断する（Ｓ１００６）。例えば、第２検出部１４０は、第１格フレームまたは第２格フレームの対象格に設定された物体（人物）と同一物体（人物）が、行動名＝「見る」の対象格に設定され、主格が異なる他の格フレームの個数を算出し、閾値と比較する。
【０１１０】
人物数が閾値より大きい場合（Ｓ１００６：ＹＥＳ）、第２検出部１４０は、複数の人物が特定の人物に注目していることから、異常な状況が生じていると判断し、異常が発生したことを表す情報を出力する（Ｓ１００７）。
【０１１１】
このように、本実施形態によれば、複数人の状態情報から特定の人物の異常な行動を検出するだけでなく、複数人の状態情報から何らかの異常な状況が生じているということを検出することもできる。なお、上記例では、特定の対象を複数人が「見る」という行動が生じたときに異常と判断していたが、行動は「見る」に限られるものではなく、予め定められた特定の行動（例えば、監視員の「警戒する」という行動）を対象として判断するように構成してもよい。この場合、特定の行動を表す特定の動詞が含まれる状態情報の個数（監視員の人数）を算出し、個数が所定の閾値より大きいか否かを判定すればよい。
【０１１２】
人物数が閾値より大きくない場合（Ｓ１００６：ＮＯ）、第２検出部１４０は、第１格フレームおよび第２格フレームのうち、行動名＝「見る」の格フレームの主格を人物Ａ、対象格を人物Ｂとして取得する（Ｓ１００８）。そして、第２検出部１４０は、人物Ａの格フレームおよび人物Ｂの格フレームが満たす状況把握規則を規則ＤＢ１５２から検索する（Ｓ１００９）。具体的には、第２検出部１４０は、人物Ａの格フレームおよび人物Ｂの格フレームの行動名が、それぞれ状況把握規則の人物Ａに関する情報および人物Ｂに関する情報の行動名と一致し、格情報が状況把握規則の格情報が表す条件を満たす状況把握規則を検索する。
【０１１３】
例えば、人物Ａの格フレームの行動名が「手を突き出す」であり、人物Ｂの格フレームの行動名が「手を上げる」であり、人物Ａの格フレームの対象格が人物Ｂである場合、図８に示すような状況把握規則の最初の規則が検索される。
【０１１４】
また、Ｓ１００５で、行動名＝「見る」の格フレームが存在しないと判断された場合（Ｓ１００５：ＮＯ）、第２検出部１４０は、第１格フレームおよび第２格フレームが満たす状況把握規則を規則ＤＢ１５２から検索する（Ｓ１０１０）。具体的には、第２検出部１４０は、第１格フレームおよび第２格フレームの行動名が、それぞれ状況把握規則の人物Ａに関する情報および人物Ｂに関する情報の行動名と一致し、格情報が状況把握規則の格情報が表す条件を満たす状況把握規則を検索する。
【０１１５】
例えば、第１格フレームの行動名が「移動する」であり、第２格フレームの行動名が「見回す」であり、第１格フレームおよび第２格フレームの場所格が表す地点が一致する（例えば地点Ａ）場合、図８に示すような状況把握規則の３行目の規則が検索される。
【０１１６】
次に、第２検出部１４０は、状況把握規則が検索されたか否かを判断し（Ｓ１０１１）、検索された場合は（Ｓ１０１１：ＹＥＳ）、検索した状況把握規則の「検出される状態情報」に設定された行動名の格フレームを作成する（Ｓ１０１２）。
【０１１７】
Ｓ１００３で複数人物の格フレームが取得されなかった場合（Ｓ１００３：ＮＯ）、Ｓ１０１１で状況把握規則が検索されなかった場合（Ｓ１０１１：ＮＯ）、または、格フレームを作成後、第２検出部１４０は、未処理の格フレームが存在するか否かを判断する（Ｓ１０１３）。
【０１１８】
未処理の格フレームが存在する場合（Ｓ１０１３：ＹＥＳ）、状態取得部１３９は、次の格フレームを取得して処理を繰り返す（Ｓ１００１）。未処理の格フレームが存在しない場合は（Ｓ１０１３：ＮＯ）、状況把握処理を終了する。
【０１１９】
このような処理により、個々の物体（人物）の状態情報の差分（変位）から、個々の物体（人物）の状態情報を検出するだけでなく、複数の物体（人物）の状態情報から物体（人物）の行動の状況を把握し、行動（動作）をより高精度に検出することが可能となる。
【０１２０】
次に、このように構成された本実施形態にかかる監視装置１００による異常判定処理について図１７を参照して説明する。図１７は、異常判定処理の全体の流れを示すフローチャートである。
【０１２１】
同図に示す各処理では、図９に示すような異常情報ＤＢ１５３が、ユーザや監視センタ２００によって予め記憶され、さらに操作パネル１３５等からユーザによって異常判定を行うための指示がなされたものとする。
【０１２２】
まず、異常判定部１４１は、異常情報ＤＢ１５３を参照して、記憶されている異常情報を読み込む（ステップＳ１１０１）。そして、読み込んだ異常情報をキーにして、その異常情報を含む深層格フレームを状態情報ＤＢ１５１の中から検索する（Ｓ１１０２）。
【０１２３】
そして、状態情報ＤＢ１５１の中に異常と判断される格フレームと一致する格フレームがあるか否か、すなわち、異常情報を含む深層格フレームが存在するか否かを判定し(Ｓ１１０３)、異常情報を含む深層格フレームがないと判定した場合(Ｓ１１０３：ＮＯ)、何もせずに次のステップに進む。
【０１２４】
一方、異常情報を含む深層格フレームが存在すると判定した場合(Ｓ１１０３：ＹＥＳ)、異常判定部１４１は、その異常情報を含む深層格フレームを操作パネル１３５などに表示出力して、監視領域における異常が発生したことを通知する出力処理を行う（Ｓ１１０４）。その後、異常情報ＤＢ１５３に記憶されているすべての異常情報の規則を参照したか否かを判定し（Ｓ１１０５）、すべての異常情報の規則を参照していないと判定した場合（Ｓ１１０５：ＮＯ）、Ｓ１１０１に戻り、以降の処理を繰り返す。一方、すべての異常情報の規則を参照したと判定した場合（Ｓ１１０５：ＹＥＳ）、異常判定処理が終了する。
【０１２５】
なお、Ｓ１１０４において、異常情報を含む深層格フレームが監視員のものである場合、すなわち、主格のＩＤから監視員の深層格フレームと識別されるものに異常情報が含まれている場合は、図１８に示す出力処理が行われる。なお、監視員の深層格フレームに異常情報が含まれている場合とは、図９に示すように、監視員の行動が「警戒する」などの場合が該当する。図１８は、監視員に関する異常の出力処理の全体の流れを示すフローチャートである。
【０１２６】
図１８に示すように、処理が開始されると、異常判定部１４１は、監視員に関する深層格フレームにおいて、前の格フレームとの間における、属性格の生体情報の変位を算出する（Ｓ１２０１）。なお、Ｓ１２０１で算出する生体情報の変位とは、前の複数の格フレームを統計母数とした生体情報の平均値（監視員の平常時の値）からの変位量とする。すなわち、Ｓ１２０１で算出する変位量は、監視員の異常に対する反応度合いであって、異常に接した監視員の緊張度を表しており、この変位量が大きいほど監視員の身近に異常が発生していることを示している。
【０１２７】
次いで、異常判定部１４１は、算出した変位量が予め設定された第１の閾値（θＬ）よりも大きい値であるか否かを判定する（Ｓ１２０２）。算出した変位量が第１の閾値よりも大きい場合（ＹＥＳ）は、その変位量が第２の閾値（θＨ：ただしθＨはθＬよりも大きな値とする）よりも大きい値であるか否かを判定する（Ｓ１２０３）。なお、算出した変位量が第１の閾値よりも小さい場合（ＮＯ）は、そのまま出力処理を終了する。このＳ１２０２、Ｓ１２０３により、変位量の大きさから監視員の緊張度合いを段階的に判別し、その判別した緊張度合いに応じた処理を行うことができる。
【０１２８】
すなわち、算出した変位量が第２の閾値よりも大きく場合（Ｓ１２０３：ＹＥＳ）であり、監視員の緊張度合いが十分に高く、監視員のより身近に異常が発生している場合は、例えば監視員の場所格の重心座標を中心とした半径がＸ０ｍ以内のエリアを、監視員が異常を検出した検知空間Ｄとする。また、算出した変位量が第２の閾値よりも小さく、第１の閾値よりも大きい場合（Ｓ１２０３：ＮＯ）であり、監視員の緊張度合いがある程度高く、監視員からある程度離れた場所に異常が発生している場合は、例えば監視員の場所格の重心座標を中心とした半径がＸ１ｍ以内のエリアを、監視員が異常を検出した検知空間Ｄとする。このように、Ｓ１２０４、Ｓ１２０５では、生体情報が示す監視員の緊張度合いに応じた検知空間Ｄを設定する。
【０１２９】
次いで、異常判定部１４１は、前に検出された検知空間Ｄ、すなわち、直近の出力処理で検出された検知空間Ｄと、今回検出された検知空間Ｄの重複部分を反応空間Ｓとして登録する（Ｓ１２０６）。このＳ１２０６により、監視領域において時系列で重複する検知空間Ｄが反応空間Ｓとして登録されることとなる。
【０１３０】
次いで、異常判定部１４１は、登録した反応空間Ｓの大きさが所定の閾値（θＰ）よりも小さいか否かを判定する（Ｓ１２０７）。反応空間Ｓは監視員の緊張度合いに応じた検知空間Ｄが時系列で重複している空間であるため、その大きさが大きいほど、監視員が漠然と異常を感じており、異常が発生した場所（異常発生空間）までは特定できていないと考えられる。したがって、Ｓ１２０７の判定により、反応空間Ｓの大きさが所定の閾値以下に絞り込めるまでは、異常が発生した場所を推定しないものとする。
【０１３１】
Ｓ１２０７において、登録した反応空間Ｓの大きさが所定の閾値よりも小さい場合（ＹＥＳ）は、登録した反応空間Ｓを異常が発生した異常発生空間として推定し（Ｓ１２０８）、算出した変位量が予め設定された第３の閾値（θ）よりも大きい値であるか否かを判定する（Ｓ１２０９）。なお、この第３の閾値は、監視員の緊張度合いが異常であると出力するのに十分高いか否かを判断するためのものであり、前述した第１、２の閾値とは別に設定される値である。
【０１３２】
Ｓ１２０９において算出した変位量が予め設定された第３の閾値よりも大きい場合（ＹＥＳ）、異常判定部１４１は、監視領域における、反応空間Ｓに基づいた位置に異常が発生したことを操作パネル１３５に表示出力させる（Ｓ１２１０）。具体的には、監視領域において、反応空間Ｓとして異常が検出された場所（座標）を操作パネル１３５に表示出力する。これにより、ユーザは異常が発生した場所を的確に把握することができ、応援要請などの対応を正確に行うことができる。
【０１３３】
図１９は、監視領域Ｒにおける監視員Ｈの行動の一例を示す図である。図１９に示すように、監視領域Ｒにおいて、監視員Ｈは点線に沿って通路を移動しながら監視を行っており、この監視員Ｈの行動は深層格フレームに時系列で格納されている。この監視の最中に、監視員Ｈは、聴覚、視覚、嗅覚、触覚などの自身の感覚から異常を感じると、「警戒する」という行動に移行する。そして、「警戒する」という行動を持続しつつ、異常が発生した場所に近づくにつれて緊張度合いが高まり、その緊張度合いが生体情報の反応として出現する（図示例では、反応が中→大→大→小の順に出現している）。
【０１３４】
したがって、上述した出力処理を行うことにより、時系列で格納された深層格フレームを順次解析し、警戒行動を行っている監視員の感覚に反応して変化する生体情報に応じた検知空間Ｄを順次求め、その時系列で求められた検知空間Ｄが重複する反応空間Ｓを異常発生場所として推定している。このため、監視カメラ１２０で撮像した画像だけでなく、監視員の感覚を生かした異常検出を行うことができ、監視カメラ１２０の撮像範囲に限定されない、より広範な異常検出を行うことができる。
【０１３５】
なお、本実施形態では、一人の監視員の行動を時系列で解析して異常検出を行う構成を例示したが、複数の監視員の行動から異常検出を行う構成であってもよい。具体的には、監視装置１００は、識別ＩＤなどで互いに識別可能な複数の監視員用装着ユニット１７０を備え、それぞれの監視員用装着ユニット１７０から監視員の行動を取得して、異常検出を行う。この場合は、図１８に例示したフローチャートのＳ１２０６において、各監視員の検知空間が重複する空間を反応空間とすることで、複数の監視員の感覚を生かした異常検出を行うことができる。
【０１３６】
例えば、図１９に図示された監視員Ｈが一人の監視員ではなく、個別の監視員であるものと想定する。この場合、生体情報の反応が大きい（第２の閾値より大きい）二人の監視員と、生体情報の反応が中程度（第２の閾値より小さく、第１の閾値より大きい）の一人の監視員との検知空間Ｄが重複する反応空間Ｓを異常発生場所として検出できる。
【０１３７】
また、本実施形態では、監視員の各部位の位置検出用センサを加速度センサ１７２とし、監視カメラ１２０で撮像した画像情報から監視員の各部位の位置が取得できない場合は加速度センサ１７２の出力値を積算することで算出する構成を例示した。しかしながら、位置検出用センサは、監視員の各部位の位置を特定可能であれば、加速度センサ１７２を用いる構成に限定しない。例えば、監視員の各部位に設けられた発信器との間で無線通信による三角測量を行うことで、各部位の位置検出を行ってもよい。
【０１３８】
また、監視員から検出する生体情報は、脈拍、発汗量（皮膚電気抵抗）以外に、胸郭の動きなどを検出して取得した所定時間あたりの呼吸数、脈拍と同時に測定した血圧値、頭部に装着した脳波センサからの出力値などであってもよい。これら複数の生体情報を時系列で検出し、平常時からの変位量を測定することで、より精度の高い異常検出を行うことが可能となる。
【０１３９】
なお、上記実施の形態では、監視領域の異常検出を、監視装置１００で実行していたが、これに限定されるものではなく、監視センタ２００側で実行するように構成することもできる。
【符号の説明】
【０１４０】
１０ 監視システム
１００ 監視装置
１１０ センサ
１２０ 監視カメラ
１３０ 監視操作部
１３１ 検知情報受信部
１３２ 画像情報取得部
１３３ 監視状態切替部
１３４ 操作パネル制御部
１３５ 操作パネル
１３６ 送受信部
１３７ 監視状態記憶部
１３８ 第１検出部
１３９ 状態取得部
１４０ 第２検出部
１４１ 異常判定部
１５０ ＨＤＤ
１５１ 状態情報ＤＢ
１５２ 規則ＤＢ
１５３ 異常情報ＤＢ
１５４ 環境情報ＤＢ
１６０ 送受信部
１７０ 監視員用装着ユニット
１７１ 生体センサ
１７２ 加速度センサ
１７３ コントローラ
１７４ 送受信部
２００ 監視センタ
３００ ネットワーク
Ｈ 監視員
Ｒ 監視領域
Ｄ 検知空間
Ｓ 反応空間
【技術分野】
【０００１】
本発明は、監視装置及び監視方法に関する。
【背景技術】
【０００２】
従来から、監視カメラで撮像した画像を分析して、人物などの動作を認識し、その認識した動作から異常を検出する監視装置が知られている。また、人物の動作などの認識については、人物の感情を深層格フレームに変換し、変換した深層格フレームを用いて感情認識を行う技術も開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２３７６６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、監視カメラで撮像した画像のみを用いて人物などの動作を認識する場合、異常を検出できる範囲は監視カメラの撮像範囲に限定されてしまい、広範な異常検出を行うことができない。
【０００５】
本発明は、上記に鑑みてなされたものであって、監視カメラの撮像範囲に限定されない、より広範な異常検出を可能とする監視装置及び監視方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明は、所定の監視領域を撮像する監視カメラと、前記監視領域の監視を行う監視員に装着された生体センサから当該監視員の生体情報を取得する取得手段と、前記監視カメラの画像情報と、前記取得された生体情報とを解析して、前記監視領域における物体及び前記監視員の動作状態を抽出し、当該動作状態を表す情報であって、前記物体及び前記監視員の動作の種類を表す動詞と前記物体及び前記監視員の動作に関連する名詞とを含み、前記動詞に対する前記名詞の意味関係を表した状態情報を記憶する状態情報記憶手段と、前記記憶された複数の状態情報間の差分を検出し、検出した差分に対応する前記物体及び前記監視員の動作を、予め定めた規則に基づいて検出する動作検出手段と、前記検出された物体及び監視員の動作が、予め定めた異常な動作と一致する場合に、前記監視領域における異常と判定し、当該判定結果を出力する異常出力手段と、を備えることを特徴とする。
【０００７】
また、本発明は、所定の監視領域を撮像する監視カメラと、前記監視領域の監視を行う監視員に装着された生体センサから当該監視員の生体情報を取得する取得手段と、を有する監視装置の監視方法であって、前記監視カメラの画像情報と、前記取得された生体情報とを解析して、前記監視領域における物体及び前記監視員の動作状態を抽出し、当該動作状態を表す情報であって、前記物体及び前記監視員の動作の種類を表す動詞と前記物体及び前記監視員の動作に関連する名詞とを含み、前記動詞に対する前記名詞の意味関係を表した状態情報を記憶する状態情報記憶工程と、前記記憶された複数の状態情報間の差分を検出し、検出した差分に対応する前記物体及び前記監視員の動作を、予め定めた規則に基づいて検出する動作検出工程と、前記検出された物体及び監視員の動作が、予め定めた異常な動作と一致する場合に、前記監視領域における異常と判定し、当該判定結果を出力する異常出力工程と、を含むことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、監視カメラの撮像範囲に限定されない、より広範な異常検出を可能とする、という効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】図１は、本実施形態に係る監視システムの構成を示すブロック図である。
【図２】図２は、状態情報ＤＢに記憶される状態情報のデータ構造の概要を示す図である。
【図３】図３は、状態情報ＤＢに記憶される状態情報の詳細を示す図である。
【図４】図４は、状態情報ＤＢに記憶される状態情報の具体例を示す図である。
【図５】図５は、状態情報ＤＢに時系列で記憶される状態情報を示す図である。
【図６】図６は、規則ＤＢに記憶される行動検出規則のデータ構造の一例を示す図である。
【図７】図７は、検出される行動間の遷移関係を表す図である。
【図８】図８は、状況把握規則のデータ構造の一例を示す図である。
【図９】図９は、異常情報ＤＢに記憶される異常情報のデータ構造の一例を示す図である。
【図１０】図１０は、環境情報ＤＢに記憶される環境情報のデータ構造の一例を示す図である。
【図１１】図１１は、監視員用装着ユニットの送信用データと、その送信用データに基づいた監視員に関する深層格フレームの登録との一例を示す図である。
【図１２】図１２は、動作検出処理の全体の流れを示すフローチャートである。
【図１３】図１３は、監視員に関するデータを格フレームに格納する処理を示すフローチャートである。
【図１４】図１４は、監視カメラの死角の一例を示す図である。
【図１５】図１５は、状態情報からの動作検出処理の全体の流れを示すフローチャートである。
【図１６】図１６は、状況把握処理の全体の流れを示すフローチャートである。
【図１７】図１７は、異常判定処理の全体の流れを示すフローチャートである。
【図１８】図１８は、監視員に関する異常の出力処理の全体の流れを示すフローチャートである。
【図１９】図１９は、監視領域における監視員の行動の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照して、この発明にかかる監視装置及び監視方法の最良な実施の形態を詳細に説明する。
【００１１】
この監視装置では、店舗や会場など監視対象となる施設における所定の領域（以下、監視領域という）について、監視カメラで撮像した画像情報や監視員に装着したセンサから、監視領域における人物（例えば来訪者など）の行動（動作状態）と、監視員の生体状態（心拍数、発汗量など）を解析し、解析結果を深層格フレーム構造で表して記憶部に順次保存する。そして、記憶部に保存した深層格フレームを相互に比較する（例えば時系列で並べた深層格フレームを前後で比較する）ことによって、更に監視領域における人物の行動と、監視員の生体状態の変化を検出し、監視領域における異常の発生を検出する。例えば、監視領域における人物の行動が予め設定された不審行動（出入り口などできょろきょろする、人を脅すなど）である場合や、監視員の心拍の高まりや多量の発汗がある場合には、監視領域における異常が発生しているものとする。
【００１２】
なお、監視員とは、監視領域の監視を行う人物であり、例えば店員、駅員、係員、警備員などが該当する。また、監視領域における人物としては、監視領域内に既に存在する人物以外に、監視領域外から監視領域内に進入する人物なども含まれるものとする。
【００１３】
本実施形態について、添付図面を参照して説明する。まず、本実施形態が適用される監視システムの構成例について説明する。図１は、本実施形態にかかる監視システム１０の構成を示すブロック図である。図１に示すように、監視システム１０は、監視装置１００と監視センタ２００とを備えている。監視装置１００と監視センタ２００とは、電話回線、無線ネットワーク、インターネットなどのネットワーク３００を介して接続されている。
【００１４】
監視センタ２００は、監視領域の異常を検出した監視装置１００からの通報を受け、待機中の監視員に対して異常が検出された監視領域へ向かう旨の指示を出すとともに、必要に応じて警察や消防等の関係機関への通報を行う。警察や消防等の関係機関への通報は、例えば異常の種類に応じて行われるものであり、異常として火災が検出された場合は消防への通報が、盗難が検出された場合は警察への通報が行われる。
【００１５】
監視装置１００は、センサ１１０と、複数の監視カメラ１２０と、監視操作部１３０と、監視員用装着ユニット１７０とを備えている。
【００１６】
センサ１１０は、監視領域に設置されており、主に侵入者等の異常を検出する目的で設置された人感センサである。センサ１１０は、人の存在や扉の開閉を検出した場合に検出信号を出力する。センサ１１０は、例えば赤外線の受光量の変化をもとに人の存在を検出する赤外線センサ、赤外線等の受信が遮断されることで人の存在を検出する遮断センサ、電磁波の乱れで人の存在を検出する電波センサ、及び、マグネットにより扉の開閉を検出するマグネットセンサなどの各種センサによって、監視領域の異常を検出する。
【００１７】
監視カメラ１２０は、監視対象である監視領域を撮像する。監視カメラ１２０は、主に監視領域である施設や敷地の出入り口付近や監視領域の通路などに設置されている。
【００１８】
次に、監視操作部１３０について説明する。監視操作部１３０は、検知情報受信部１３１と、画像情報取得部１３２と、監視状態切替部１３３と、操作パネル制御部１３４と、操作パネル１３５と、送受信部１３６と、監視状態記憶部１３７と、第１検出部１３８と、状態取得部１３９と、第２検出部１４０と、異常判定部１４１と、ＨＤＤ１５０（Hard Disk Drive）と、送受信部１６０とを備えている。なお、監視操作部１３０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備え（いずれも図示しない）、ＣＰＵがＲＯＭに記憶されたプログラムをＲＡＭの作業領域に展開して順次実行することで、上記各部の機能を実現する情報機器であってよい。
【００１９】
検知情報受信部１３１は、センサ１１０によって異常が検出された場合に送出される検出情報を受信する。検出情報は、センサ１１０から送出される検出信号である。センサ１１０が複数設置されている場合、検出情報は検出信号及びセンサ１１０を識別するセンサＩＤを含む。画像情報取得部１３２は、監視カメラ１２０によって撮像された画像情報を取得する。
【００２０】
監視状態切替部１３３は、操作パネル制御部１３４によって受け付けられた監視状態を監視状態記憶部１３７に格納する。監視状態記憶部１３７は、現在の監視装置１００の監視状態である監視モード又は監視解除モードのいずれかを記憶する。なお、監視状態記憶部１３７は、ハードディスク、光ディスク、メモリカード、ＲＡＭなどの一般的に利用されているあらゆる記憶媒体により構成することができる。
【００２１】
ここで、監視モードとは、センサ１１０が異常を検出して検出情報を取得した場合に、監視領域での異常を知らせる警報情報をネットワーク３００で接続されている監視センタ２００に送信する状態をいう。また、警備解除モードとは、上記検出情報を取得した場合でも異常を知らせる警報情報を監視センタ２００に送信しない状態をいう。
【００２２】
操作パネル１３５は、監視装置１００に関する情報が表示され、監視装置１００に対して情報が入力される。操作パネル１３５は、ボタンの押下等によって監視モード又は監視解除モードのいずれかの監視状態を入力する。操作パネル制御部１３４は、操作パネル１３５への表示情報の出力や、操作パネル１３５から入力された入力情報の取得等の操作パネル１３５に対する制御を行う。
【００２３】
送受信部１３６は、ネットワーク３００を介して監視センタ２００との間で各種情報を送受信する。例えば、送受信部１３６は、監視カメラ１２０が撮像した画像情報を監視センタ２００に送信する。また、送受信部１３６は、センサ１１０から検出情報を受信した場合で、かつ監視状態記憶部１３７に記憶された現在の監視状態に監視モードが記憶されている場合に、警報情報を監視センタ２００に送信する。
【００２４】
ＨＤＤ１５０は、物体の動作検出に関する各種データを記憶する。具体的には、ＨＤＤ１５０は、状態情報ＤＢ１５１と、規則ＤＢ１５２と、異常情報ＤＢ１５３と、環境情報ＤＢ１５４とを記憶している。なお、各ＤＢを、光ディスク、メモリカードなどのＨＤＤ１５０以外の記憶媒体に格納するように構成してもよい。
【００２５】
第１検出部１３８、第２検出部１４０、ＨＤＤ１５０等を監視センタ２００に設け、センサ１１０、監視カメラ１２０、監視員用装着ユニット１７０で得られた情報を監視センタ２００に送り、異常検出を監視センタ２００で行うように構成してもよい。
【００２６】
状態情報ＤＢ１５１は、物体の動作状態を深層格フレーム構造で表した状態情報を記憶する。深層格フレーム（以下、単に格フレームという）とは、動詞を基準として、動詞に対する名詞の意味関係を深層格として表した言語構造をいう。
【００２７】
図２は、状態情報ＤＢ１５１に記憶される状態情報のデータ構造の概要を示す図であり、図３は、状態情報ＤＢ１５１に記憶される状態情報の詳細を示す図である。図２に示すように、状態情報は、格フレームを識別する格フレームＩＤ（ＣＦＩＤ）と、動作（行動）の種類を示す行動名（ＡｃｔＮｍ）と、動作に関する名詞である格要素（深層格）とを含んでいる。深層格には、主格（Ａｇｅｎｔ）、属性格（Ｆｅａｔｕｒｅ）、場所格（ＰｏｓＣａｓｅ）、時間格（ＴｉｍｅＣａｓｅ）、源泉格（ＳｒｃＣａｓｅ）、目標格（ＤｓｔＣａｓｅ）、対象格（ＯｂｊＣａｓｅ）及び道具格（ＴｏｏｌＣａｓｅ）が含まれる。
【００２８】
図３に示すように、主格は、動作を引き起こす主体を表す。具体的には、主体を表す要素として、主体を識別するためにユニークに割り当てられた追跡番号（ＩＤ）と、主体の名称を示す認証名（Ｎａｍｅ）とが含まれる。属性格は、主格に関する情報をいう。例えば、属性格は、顔特徴（Ｆａｃｅ）、体特徴（Ｂｏｄｙ）、歩行特徴（Ｇａｉｔ）、生体情報（Ｖｉｔａｌ）を含む。
【００２９】
属性格に含まれる顔特徴、体特徴（体型）、歩行特徴（歩容）、生体情報は、さらに詳細な要素に分けられる。例えば、顔特徴は、顔検出を行った際の信頼度を表す顔検出信頼度（ＦＣｏｎｆ）、顔の特徴を表す顔特徴（Ｉｄｅｎｔ）、口の開閉度合いを表す口開閉度合（Ｍｏｕｔｈ）、視線方向（ＰａｎＴｉｌｔ）、マスクの有無（Ｍａｓｋ）、サングラスの有無（ＳＧ）、性別（Ｓｅｘ）、年代（Ａｇｅ）、頭髪の色を示す頭色（ＨＣｏｌｏｒ）などの要素を含む。また、体特徴は、身長（Ｈｅｉｇｈｔ）、上半身色（ＢＣｏｌｏｒ）、下半身色（ＬＣｏｌｏｒ）などの要素を含む。また、歩行特徴は、歩幅（ＳｔｅｐＷｉｄｔｈ）、体型（Ｐｏｓｔｕｒｅ）、脚長（ＬＬｅｎｇｔｈ）、歩速（ＷＳｐｅｅｄ）などの要素を含む。また、生体情報は、脈拍（ＨｅａｒｔＢｅａｔ）、皮膚電気抵抗（ＧＳＲ）などの要素を含む。
【００３０】
場所格は、動作や状態が起こる場所を表す。例えば、場所格は、場所名（ＰＮａｍｅ）、頭部座標（Ｈｅａｄ）、体座標（Ｂｏｄｙ）、足座標（Ｌｅｇ）、右手座標（ＲＨａｎｄ）、左手座標（ＬＨａｎｄ）、重心座標（ＷＢ）などの要素を含む。
【００３１】
時間格は、動作や状態が起こる時間を表す。例えば、時間格は、動作が開始された日時を表す日時（ＤａｔｅＴｉｍｅ）、その動作が開始してからの経過時間（ＰａｓｓＴｉｍｅ）などの要素を含む。
【００３２】
源泉格は、移動や状態変化などの起点を表す。例えば、源泉格は、主格が移動や動作等を行う起点の位置を表す場所情報（ＰｏｓＣａｓｅ）、その起点での主格の属性を表す属性情報（Ｆｅａｔｕｒｅ）、主格が移動や動作等を行う時間を示す時間情報（ＴｉｍｅＣａｓｅ）などの要素を含む。
【００３３】
目標格は、移動や状態変化などの終点を表す。例えば、目標格は、主格が移動や動作等を行う終点の位置を表す場所情報（ＰｏｓＣａｓｅ）、その終点での主格の属性を表す属性情報（Ｆｅａｔｕｒｅ）、主格が移動や動作等を行う時間を示す時間情報（ＴｉｍｅＣａｓｅ）などの要素を含む。
【００３４】
対象格は、動作や状態の対象となる事物を表す。例えば、対象格は、事物に固有の識別情報である追跡番号（ＩＤ）、その事物の名称である認証名（Ｎａｍｅ）などの要素を含む。
【００３５】
道具格は、動作の補助的手段を表す。例えば、道具格は、道具に固有の識別情報である追跡番号（ＩＤ）、その道具の名称である認証名（Ｎａｍｅ）などの要素を含む。
【００３６】
なお、利用できる深層格はこれらに限らず、例えば精神的事象の経験者を表す経験者格などの、その他のあらゆる深層格を用いることができる。
【００３７】
図４は、状態情報ＤＢ１５１に記憶される状態情報の具体例を示す図である。図４では、人物Ａ（主格）が、「しゃがむ」という行動を検出したときに生成される状態情報の一例を示している。この場合、属性格には、人物Ａの身長高、体型などの具体的な値が設定される。また、場所格及び時間格には、それぞれ人物Ａがしゃがんだ時の位置や時刻に関する具体的な値が設定される。なお、人物Ａが監視員である場合は、その監視員が装着したセンサからの出力値に基づいて、生体情報に具体的な値が設定されることとなる。
【００３８】
図５は、状態情報ＤＢ１５１に時系列で記憶される状態情報を示す図である。図５に示すように、状態情報ＤＢ１５１に記憶される状態情報（深層格フレーム）は、時系列で構造化されている。具体的には、同一の格フレームＩＤの深層格フレームが状態情報ＤＢ１５１に時系列に沿って順次記憶されており、時間格のＤａｔｅＴｉｍｅをインクリメントしながら読み出すことで、時系列に沿った深層格フレームの取得が可能となっている。
【００３９】
図１に戻り、規則ＤＢ１５２は、後述する第２検出部１４０が、状態情報ＤＢ１５１に保存された各フレームを比較して動作を検出するときに参照する行動検出規則を記憶する。図６は、規則ＤＢ１５２に記憶される行動検出規則のデータ構造の一例を示す図である。
【００４０】
図６に示すように、行動検出規則は、比較元となる情報であって、時間的に前の状態情報である前格フレームと、比較先となる情報であって、時間的に後の状態情報である後格フレームと、その他の条件と、検出される状態情報とを対応づけた形式となっている。
【００４１】
前格フレームおよび後格フレームは、それぞれ行動名と格情報とを含んでいる。格情報には、比較すべき少なくとも１つの深層格を設定する。
【００４２】
前格フレームおよび後格フレームは、２つの格フレームが差異を有するパターンを表す情報（差分情報）に相当する。すなわち、ある２つの格フレームが、それぞれ前格フレームと後格フレームとで設定された行動名および格情報と適合するとき、この２つの格フレーム間には差異が存在すると判断される。例えば、図６では、ある格フレーム（格フレーム１）の行動名が「存在する」、場所格に含まれる体位置が「Ａ」であり、他の格フレーム（格フレーム２）の行動名が「存在する」、場所格に含まれる体位置が「Ｂ」であるとき、格フレーム１と格フレーム２との間には差分が存在すると判断される。そして、差分が存在すると判断された場合、差分に対応する行動として、「検出される状態情報」欄に記載された行動名の行動が検出される。
【００４３】
その他の条件には、必要に応じて、比較する状態情報が満たすべき条件が設定される。例えば、同図の行動名「しゃがむ」の行動を検出する行動検出規則では、前格フレームに含まれる頭部位置Ｂと、後格フレームに含まれる頭部位置Ｃとが、Ｂ＞Ｃの関係を満たすことが条件として設定されている。また、「警戒する」の行動を検出する行動検出規則では、前格フレーム、後格フレームの行動名が「存在する」であり、前格フレームに含まれる生体情報の脈拍Ｂ１と、後格フレームに含まれる生体情報の脈拍Ｂ２とが、互いに所定の閾値を超えていることが条件として設定されている。すなわち、行動名が「存在する」である監視員の脈拍が連続して高まっている時には、その監視員の行動として「警戒する」が検出される。なお、「警戒する」の行動が検出される条件としては、監視員の発汗量が所定の閾値より多い場合であってもよい。
【００４４】
検出される状態情報は、検出される行動の行動名と、保存すべき少なくとも１つの深層格を表す格情報とを含んでいる。同図では、例えば、行動名「移動する」の行動が検出された場合は、前格フレームに含まれる体位置Ａおよび後格フレームに含まれる体位置Ｂを、それぞれ検出した行動に対応する格フレームの源泉格の体位置Ａおよび目標格の体位置Ｂとして保存する例が示されている。
【００４５】
なお、行動検出規則は同図に示す形式に限られるものではなく、複数の状態情報間の差分に応じて予め定められた行動を決定可能なものであればあらゆる形式の規則を適用できる。
【００４６】
図７は、検出される行動間の遷移関係を表す図である。具体的には、図７は、画像情報と監視員が装着したセンサとから検出される行動と、状態情報ＤＢ１５１に保存された状態情報を比較し、行動検出規則によって検出される行動との関係を表している。同図の楕円は、検出される行動名の一例を表している。また、楕円間の矢印に付された文字列は、ある行動から他の行動を検出するための状態情報間の差分の基準を表している。
【００４７】
なお、この基準は、図６の規則ＤＢ１５２に記憶された行動検出規則に対応する。例えば、「位置座標の変異」という基準は、図６では行動名「移動する」を検出する最初の行動検出規則に対応する。すなわち、例えば同図の行動名５０１（存在する）に対応する複数の状態情報を比較することにより、「位置座標の変異」という差分が検出された場合は、「移動する」という行動名の行動が新たに検出される。
【００４８】
なお、図７の行動名５０１〜５０４は、後述する第１検出部１３８によって画像情報から検出される行動名を表している。それ以外の行動名は、後述する第２検出部１４０によって、行動検出規則を用いて検出される行動名を表している。また、同図の行動名５１１〜５１３は、他の行動へ派生しない行動名を表している。すなわち、この状態に達した場合は、同図の遷移から離脱することを意味する。また、行動名５１４は、監視員にかかる行動であって、監視カメラ１２０から取得された画像情報と、監視員に装着されたセンサからの出力とに基づいて検出される行動名を表している。
【００４９】
本実施の形態では、さらに、規則ＤＢ１５２が、複数の物体（人物）の状態情報の組み合わせに応じた動作を検出するときに参照する行動検出規則を記憶する。以下では、このように複数の物体の状態から動作を検出するための行動検出規則を、状況把握規則という。図８は、状況把握規則のデータ構造の一例を示す図である。
【００５０】
図８に示すように、状況把握規則は、ある人物Ａに関する情報と、他の人物Ｂに関する情報と、その他の条件と、検出される状態情報とを対応づけた形式となっている。
【００５１】
人物Ａに関する情報および人物Ｂに関する情報は、それぞれ行動名と格情報とを含んでいる。格情報には、各人物が満たすべき深層格の条件を設定する。
【００５２】
ある２人の人物それぞれに対応する２つの格フレームが、それぞれ人物Ａに関する情報と人物Ｂに関する情報とで設定された行動名および格情報に適合するとき、「検出される状態情報」欄に記載された行動名の行動が検出される。
【００５３】
その他の条件には、必要に応じて、比較する状態情報が満たすべき条件が設定される。例えば、同図の行動名「脅す」の行動を検出する状況把握規則では、行動名「見る」の格フレームが存在し、その格フレームの主格および対象格がそれぞれ人物Ａおよび人物Ｂであるという条件が設定されている。
【００５４】
検出される状態情報は、検出される行動の行動名と、保存すべき少なくとも１つの深層格を表す格情報とを含んでいる。同図では、例えば、行動名「脅す」の行動が検出された場合は、人物Ｂを検出した行動に対応する格フレームの対象格として保存する例が示されている。
【００５５】
なお、状況把握規則は同図に示す形式に限られるものではなく、複数人の行動を表す状態情報の組み合わせに応じて予め定められた行動を決定可能なものであればあらゆる形式の規則を適用できる。また、同図では２人の状態情報の組み合わせから行動を検出する規則が例示されているが、３人以上の状態情報の組み合わせから行動を検出する規則を用いてもよい。
【００５６】
複数人の行動の組み合わせとしては、例えば、犯罪行為等の被害者および加害者、または、異常な状況が発生するときの周囲の人物（例えば監視員）等の行動の組み合わせなどを想定する。そして、このような複数人の行動の組み合わせが発生したときに予測される行動を検出される状態情報に設定した状況把握規則を定める。
【００５７】
例えば、同図の１行目および２行目は、人物Ａを加害者又は監視員、人物Ｂを被害者としたときの状況に対応する状況把握規則を表している。また、同図の３行目は、複数人の行動の組み合わせから不審行動を検出する状況把握規則を表している。このような規則を用いることにより、例えば個々の人物の行動が不審行動と思われるが不審と断定できない場合であっても、他の人物の行動と同時に発生していることを条件として不審行動であると判断することが可能となる。
【００５８】
図１に戻り、異常情報ＤＢ１５３は、監視領域において、異常状態と判断される格フレーム（異常情報）を予め記憶する。具体的には、異常情報として、不審者の動作状態を表す行動パターンや、異常時における監視員の動作状態を表す行動パターンを記憶する。図９は、異常情報ＤＢ１５３に記憶される異常情報のデータ構造の一例を示す図である。図９に示すように、異常情報は、不審者・監視員の動作の種類を表す行動名と、不審者・監視員の動作に関連する深層格（格情報）と、その深層格が満たすべき条件とを含んでいる。
【００５９】
同図の網掛け部は、行動名が「きょろきょろする」である場合であって、かつ場所格の体位置が「玄関前」、すなわち、玄関前できょろきょろしている場合を不審者または不審行動として記憶している例を示している。また、行動名が「警戒する」である場合であって、かつ場所格の体位置が「通路」、すなわち、監視領域の通路で監視員が警戒している場合を異常状態として記憶している例を示している。
【００６０】
なお、異常情報ＤＢ１５３に記憶される行動名や、深層格の種類等は、予めユーザによって記憶される。
【００６１】
図１に戻り、環境情報ＤＢ１５４は、監視領域や監視装置１００の設置状態などの環境情報を予め記憶する。具体的には、監視領域の場所、複数設置された監視カメラ１２０の設置位置、監視員用装着ユニット１７０とデータを送受信する送受信機器（無線アンテナ、赤外線発光／受光器、ＲＦＩＤ（Radio Frequency IDentification）リーダ／ライタなど）の設置位置を記憶する。
【００６２】
図１０は、環境情報ＤＢ１５４に記憶される環境情報のデータ構造の一例を示す図である。図１０に示すように、環境情報ＤＢ１５４において、環境情報は、ユニークに割り当てられたＩＤにより識別可能に記憶される。また、環境情報として、監視領域の場所（エリアＡ〜Ｃ）、その監視領域に設置されたＲＦＩＤリーダ（設置物）の設置場所などが、起点座標、終点座標とともに記憶されている。
【００６３】
図１に戻り、第１検出部１３８は、画像情報取得部１３２によって取得された画像情報や、送受信部１６０を介して取得した監視員に装着されたセンサからの出力を解析することにより、物体の動作状態を検出する。また、第１検出部１３８は、検出した動作状態を表す状態情報を生成して状態情報ＤＢ１５１に保存する。
【００６４】
第１検出部１３８は、例えば画像情報から人物領域を抽出することにより、人物が「存在する」という動作状態を検出する。また、第１検出部１３８は、検出した人物の視線方向を検出することにより、その人物の「見る」という動作状態を検出する。また、第１検出部１３８は、人物以外の他の物体を画像情報から抽出し、抽出した物体が新たに現れた場合には「取り出す」という動作状態を、抽出した物体が以前から存在し、人物の手の位置と重なった場合には「触る」という動作状態を検出する。また、第１検出部１３８は、監視員に装着されたセンサからの出力を、監視員の生体情報として状態情報ＤＢ１５１に保存する（詳細は後述する）。
【００６５】
なお、第１検出部１３８が人物または物体を抽出する方法としては、連続する画像情報の背景を比較することにより抽出した変動領域を人物領域とする方法や、人物パターンまたは物体パターンと照合することにより人物または物体を抽出する方法などの、従来から用いられているあらゆる方法を適用できる。また、第１検出部１３８が人物の視線方向を検出する方法としては、顔領域パターンと照合することにより顔領域を抽出するとともに視線方向を検出する方法などの従来から用いられているあらゆる方法を適用できる。
【００６６】
状態取得部１３９は、状態情報ＤＢ１５１から複数の状態情報を取得する。例えば、状態取得部１３９は、第１検出部１３８によって検出され、状態情報ＤＢ１５１に保存された状態情報のうち、時刻が連続する２つの状態情報を取得する。また、状態取得部１３９は、状態情報ＤＢ１５１に保存された状態情報のうち、同一時刻で主格が異なる２つの状態情報を取得する。前者は、図６の行動検出規則によって行動を検出するときに利用される。また、後者は、図８の状況把握規則によって行動を検出するときに利用される。なお、時刻は厳密に同一である必要はなく、誤差が所定の時間範囲内であれば略同一の時刻と判断するように構成してもよい。
【００６７】
第２検出部１４０は、時刻が連続する２つの状態情報が規則ＤＢ１５２に保存された行動検出規則に適合するか否かを判定することによって、新たな行動を検出する。
【００６８】
具体的には、第２検出部１４０は、状態取得部１３９によって取得された時刻が連続する２つの状態情報の行動名および格情報が一致する行動検出規則を規則ＤＢ１５２から取得する。そして、第２検出部１４０は、行動検出規則が取得できた場合に、行動検出規則で定められた行動を新たな行動として検出する。
【００６９】
また、第２検出部１４０は、同一時刻で主格が異なる２つの状態情報が規則ＤＢ１５２に保存された状況把握規則に適合するか否かを判定することによって、新たな行動を検出する。
【００７０】
具体的には、第２検出部１４０は、状態取得部１３９によって取得された同一時刻で主格が異なる２つの状態情報の行動名および格情報が一致する状況把握規則を規則ＤＢ１５２から取得する。そして、第２検出部１４０は、状況把握規則が取得できた場合に、状況把握規則で定められた行動を新たな行動として検出する。
【００７１】
異常判定部１４１は、異常情報ＤＢ１５３に記憶されている異常情報に適合する状態情報を状態情報ＤＢ１５１から検索することにより、監視領域における異常の有無を判定する。具体的には、異常判定部１４１は、状態情報ＤＢ１５１に記憶されている異常情報のうち、状態情報の行動名が異常情報の行動名と一致し、かつ状態情報の格要素のうち異常情報の格情報に記載された格要素が異常情報の条件を満たす状態情報を検索する。そして、異常判定部１４１は、条件を満たす状態情報がある場合に異常が発生したと判定する。具体的には、条件を満たす状態情報の主格である人物が不審者であると判定する。
【００７２】
なお、異常判定部１４１は、条件を満たす状態情報として検出した動作パターンの統計母数、すなわち多変量解析を行う際に用いる変数としての複数の行動名、深層格、および行動の変位の数量が、所定の閾値を超えているか否かを判定する。そして、異常判定部１４１は、統計母数が所定の閾値を超えている場合は、その検出された行動パターンを来訪者の不審行動や異常時における監視員の警戒行動と判定し、異常が発生したと判定する。なお、統計母数が所定の閾値を超えていない場合は、不審行動や警戒行動が無く、異常が発生していないものとする。これは、統計母数が所定の閾値を超えていない場合は、統計に用いる変数の数量が少なく、動作パターンの信頼性が低くなるため、必ずしも不審行動、警戒行動と判断できないためである。これにより、図９に例示したように、来訪者が玄関前において「きょろきょろする」や、監視員が通路で「警戒する」などが長時間継続された場合は、異常が発生しているものと判定される。
【００７３】
送受信部１６０は、通信回路、無線アンテナ、赤外線発光／受光器、ＲＦＩＤ（Radio Frequency IDentification）リーダ／ライタなどを有する構成であり、監視領域における監視員が装着した監視員用装着ユニット１７０との間でデータの送受信を行う。
【００７４】
監視員用装着ユニット１７０は、監視員が装着して使用する装置であり、装着した監視員の生体情報（脈拍、発汗量）や、頭部、胴体部、右手、左手の動作情報（加速度）を、送信用データとして監視操作部１３０に送信する。具体的には、監視員用装着ユニット１７０は、生体情報を取得するための生体センサ１７１、監視員の各部位（頭部、胴体部、右手、左手）に設けられた加速度センサ１７２、装置の制御を司るコントローラ１７３、送受信部１６０との間でデータの送受信を行う送受信部１７４を備える。生体センサ１７１は、心臓の拍動による血圧の変動を検出して脈拍を検出する脈拍センサや、発汗量に応じて変動する皮膚電気抵抗を検出する電極センサなどである。
【００７５】
図１１は、監視員用装着ユニット１７０の送信用データと、その送信用データに基づいた監視員に関する深層格フレームの登録との一例を示す図である。図１１に示すように、監視員Ｈには、手首や指先などに生体センサ１７１が、頭部、胴体部、右手、左手のそれぞれに加速度センサ１７２が装着されている。
【００７６】
生体センサ１７１は、監視員の脈拍（ｓ０）、皮膚電気抵抗（ｓ１）を出力する。加速度センサ１７２は、胴体部加速度センサ出力（Ａ）、頭部加速度センサ出力（ａ０）、右手加速度センサ出力（ａ１）、左手加速度センサ出力（ａ２）を出力する。監視員用装着ユニット１７０は、コントローラ１７３の制御の下、上述した生体センサ１７１、加速度センサ１７２の出力値に装置固有の識別ＩＤと測定時間を付与した送信用データを生成し、その生成した送信用データを送受信部１７４から監視操作部１３０へ送信する。
【００７７】
監視操作部１３０では、第１検出部１３８が送受信部１６０で受信した送信用データをもとに、監視員の生体情報や位置情報を状態情報ＤＢ１５１に保存する。具体的には、送信用データの識別ＩＤをもとに監視員である人物照合（例えば主格の追跡番号の照合）と、測定時間をもとに時間照合（例えば時間格の日時の照合）を行い、符合する深層格フレームを特定する。
【００７８】
次いで、監視員の各部位における加速度センサの出力値を積算することで、監視員の各部位の速度や位置の算出を行う。ここで、算出した監視員の各部位の位置と、人物照合や時間照合により符合する深層格フレームの足座標などとを照合し、算出結果にずれが生じていないか否かを検出してもよい。そして、算出結果にずれが生じていない場合は、算出された監視員の各部位の位置を符合する深層格フレームに入力してもよい。次いで、送信用データの生体情報（脈拍、皮膚電気抵抗）を符合する深層格フレームに入力する。
【００７９】
次に、このように構成された本実施形態に係る監視装置１００による画像や監視員に装着したセンサからの動作検出処理について、図１２を参照して説明する。画像や監視員に装着したセンサからの動作検出処理とは、監視カメラ１２０で撮像された画像情報や、監視員用装着ユニット１７０の送信用データから人物等の動作（行動）を検出する処理をいう。図１２は、動作検出処理の全体の流れを示すフローチャートである。
【００８０】
まず、画像情報取得部１３２は、監視カメラ１２０が撮影した画像情報を入力する（Ｓ６０１）。次に、第１検出部１３８が、画像情報から人物領域を検出する（Ｓ６０２）。次に、第１検出部１３８は、人物領域が検出されたか否かを判断する（Ｓ６０３）。人物領域が検出されなかった場合は（Ｓ６０３：ＮＯ）、次の画像情報を入力して処理を繰り返す（Ｓ６０１）。
【００８１】
人物領域が検出された場合（Ｓ６０３：ＹＥＳ）、第１検出部１３８は、行動名＝「存在する」の格フレームを作成する（Ｓ６０４）。なお、作成した格フレームの格フレームＩＤには、他の格フレームと重複しない値を割り当てる。また、時間格のＤａｔｅＴｉｍｅには現在の日時を割り当てる。
【００８２】
次に、第１検出部１３８は、検出した人物領域の各部位の検出位置を場所格へ格納する（Ｓ６０５）。例えば、第１検出部１３８は、検出した人物領域に含まれる頭部、体、手、顔、および脚部の座標を算出し、それぞれ頭部位置、体位置、手位置、顔位置、および脚部位置として場所格に格納する。なお、人物領域の各部位は、部位ごとの照合パターンと照合して検出する方法などの従来から用いられているあらゆる方法により検出できる。
【００８３】
なお、Ｓ６０５において、監視員に関するデータを格フレームに格納する場合の処理の詳細は図１３に示すとおりである。図１３は、監視員に関するデータを格フレームに格納する処理を示すフローチャートである。
【００８４】
図１３に示すように、第１検出部１３８は、状態情報ＤＢ１５１より監視員の認識ＩＤ（監視員用装着ユニット１７０の識別ＩＤなど）に対応する深層格フレームのデータを取得する（Ｓ６０５１）。次いで、第１検出部１３８は、測定時間の格フレームの有無を判定し（Ｓ６０５２）、測定時間の格フレームが無い場合（ＮＯ）は現在の測定時間Ｔの格フレームを生成する（Ｓ６０５３）。
【００８５】
次いで、第１検出部１３８は、取得又は生成した格フレームに監視員用装着ユニット１７０の生体センサ１７１からの出力値（脈拍：ｓ０、皮膚電気抵抗：ｓ１）を属性格の生体情報に格納する（Ｓ６０５４）。
【００８６】
次いで、第１検出部１３８は、取得又は生成した格フレームに位置情報が有るか否かを判定する（Ｓ６０５５）。Ｓ６０５５において位置情報がない場合（ＮＯ）、すなわち、監視カメラ１２０の死角などにより、撮影した画像情報から監視員に関する各部位の位置検出ができなかった場合、第１検出部１３８は、監視員用装着ユニット１７０の加速度センサ１７２からの出力値（胴体部加速度センサ出力：Ａ、頭部加速度センサ出力：ａ０、右手加速度センサ出力：ａ１、左手加速度センサ出力：ａ２）を元に監視員の各部位の位置座標を算出し、算出結果を場所格へ格納する（Ｓ６０５６）。
【００８７】
図１４は、監視カメラ１２０の死角の一例を示す図である。図１４に示すように、監視領域Ｒにおいて、通路上の監視員Ｈは、カメラＣＡ２、カメラＣＡ１で撮像した画像情報から位置の検出が行われる。しかしながら、カメラＣＡ１の映像では、監視員Ｈの正面側が壁に隠れているため、何をしているのか（例えば手の位置）までは解析できない。同様に、カメラＣＡ２の映像では、監視員Ｈの後ろ姿しか映っていないため、手の動きなどは解析できない。このような場合は、撮影した画像情報から監視員に関する各部位（この場合は手の位置）の位置検出ができない。すなわち、監視カメラ１２０の死角に隠れている監視員Ｈの部位については、場所格への格納が行われないこととなる。
【００８８】
これに対し、第１検出部１３８が上述した処理を行うことで、監視カメラ１２０の死角に隠れた監視員Ｈの部位の位置が、監視員用装着ユニット１７０における加速度センサ１７２の出力値から算出されて、補間されることとなる。したがって、第１検出部１３８は、監視員の各部位に関して、監視カメラ１２０の死角に左右されることなく、適切なデータを場所格へ格納することができる。
【００８９】
図１２に戻り、第１検出部１３８は、Ｓ６０４〜Ｓ６０５と並行して、人物同定処理（Ｓ６０６〜Ｓ６０７）、顔検出処理（Ｓ６０８〜Ｓ６１０）、体型判定処理（Ｓ６１１〜Ｓ６１２）、および歩容検出処理（Ｓ６１３〜Ｓ６１４）の各処理を実行する。なお、これらの各処理は必ずしも並行して処理する必要はなく、任意の順序で実行するように構成することができる。
【００９０】
人物同定処理では、第１検出部１３８は、抽出済みの人物領域と照合する方法などにより、抽出された人物を同定する（Ｓ６０６）。そして、第１検出部１３８は、同定した人物に既に割り当てられているエージェントＩＤ（図２のＡｇｅｎｔ）を、作成した格フレームの主格に格納する（Ｓ６０７）。
【００９１】
顔検出処理では、第１検出部１３８は、顔領域パターンと照合する方法などによって顔領域を検出する（Ｓ６０８）。また、第１検出部１３８は、照合結果に応じて、視線方向、マスクの有無、およびサングラスの有無などの顔情報を属性格に格納する（Ｓ６０９）。視線方向が検出された場合は、第１検出部１３８は、行動名＝「見る」の格フレームを作成する（Ｓ６１０）。
【００９２】
体型判定処理では、第１検出部１３８は、照合した人物パターンに予め付与された体型を求める方法などにより、検出した人物の体型を判定する（Ｓ６１１）。そして、第１検出部１３８は、判定した体型を、作成した格フレームの属性格に格納する（Ｓ６１２）。
【００９３】
歩容検出処理では、第１検出部１３８は、主に検出した人物領域の脚部を解析することにより、歩速、歩幅、脚長、姿勢などの歩容情報（歩行特徴）を検出する（Ｓ６１３）。歩速は、例えば連続する画像情報（動画像のフレームなど）の脚部の位置を比較することにより算出することができる。そして、第１検出部１３８は、検出した歩容情報を、作成した格フレームの属性格に格納する（Ｓ６１４）。
【００９４】
次に、第１検出部１３８は、画像情報から物体を検出する（Ｓ６１５）。なお、物体検出処理は、人物領域検出処理（Ｓ６０２）とともに実行してもよい。
【００９５】
次に、第１検出部１３８は、物体が検出されたか否かを判断する（Ｓ６１６）。物体が検出された場合（Ｓ６１６：ＹＥＳ）、第１検出部１３８は、物体が前の画像情報で検出されていたか否か、および物体と人物領域の位置関係に応じて、行動名＝「触る」または「取り出す」の格フレームを作成する（Ｓ６１７）。
【００９６】
具体的には、第１検出部１３８は、前の画像情報で検出された物体と照合することなどにより、物体が既に検出されていると判断でき、かつ、人物の手の位置と物体の位置とが重なると判断できる場合は、行動名＝「触る」の格フレームを新たに作成する。また、第１検出部１３８は、未検出の物体が新たに検出されたと判断でき、かつ、人物の手の位置と物体の位置とが重なると判断できる場合は、行動名＝「取り出す」の格フレームを新たに作成する。
【００９７】
Ｓ６１６で物体が検出されなかったと判断された場合（Ｓ６１６：ＮＯ）、またはＳ６１７で新たな格フレームを作成後、第１検出部１３８は、これまでに作成した格フレームを状態情報ＤＢ１５１に保存し（Ｓ６１８）、画像や監視員に装着したセンサからの動作検出処理を終了する。
【００９８】
次に、本実施形態にかかる監視装置１００による状態情報からの動作検出処理について図１５を参照して説明する。状態情報からの動作検出処理とは、状態情報ＤＢ１５１に保存されている状態情報から人物等の動作（行動）を検出する処理をいう。図１５は、状態情報からの動作検出処理の全体の流れを示すフローチャートである。
【００９９】
まず、状態取得部１３９は、状態情報ＤＢ１５１に保存されている状態情報である格フレームのうち、未処理の格フレーム（以下、第１格フレームという）を取得する（Ｓ７０１）。次に、状態取得部１３９は、取得した第１格フレームと時間的に連続する格フレーム（以下、第２格フレームという）を状態情報ＤＢ１５１から取得する（Ｓ７０２）。
【０１００】
次に、第２検出部１４０は、取得した２つの格フレームが満たす行動検出規則を規則ＤＢ１５２から検索する（Ｓ７０３）。具体的には、第２検出部１４０は、第１格フレームおよび第２格フレームの行動名が、それぞれ行動検出規則の前格フレームおよび後格フレームの行動名と一致し、格情報が行動検出規則の格情報が表す条件を満たす行動検出規則を検索する。
【０１０１】
例えば、第１格フレームおよび第２格フレームの行動名が共に「存在する」であり、第１格フレームの体位置（体位置Ａとする）と、第２格フレームの体位置（体位置Ｂとする）とが異なる場合、図６に示すような規則ＤＢ１５２の最初の行動検出規則が検索される。
【０１０２】
次に、第２検出部１４０は、行動検出規則が検索されたか否かを判断し（Ｓ７０４）、検索された場合は（Ｓ７０４：ＹＥＳ）、検索した行動検出規則の「検出される状態情報」に設定された行動名の格フレームを作成する（Ｓ７０５）。
【０１０３】
行動検出規則が検索されなかった場合（Ｓ７０４：ＮＯ）、または、格フレームを作成後、第２検出部１４０は、未処理の格フレームが存在するか否かを判断する（Ｓ７０６）。
【０１０４】
未処理の格フレームが存在する場合（Ｓ７０６：ＹＥＳ）、状態取得部１３９は、次の格フレームを取得して処理を繰り返す（Ｓ７０１）。未処理の格フレームが存在しない場合は（Ｓ７０６：ＮＯ）、状態情報からの動作検出処理を終了する。
【０１０５】
このような処理により、画像情報からだけでなく、テキスト情報として保存した状態情報から、人物等の対象物の行動を検出することができる。このため、画像の分析のみによって監視対象物の動作を認識する従来の方法と比較して、動作検出処理の処理負荷を低減することが可能となる。
【０１０６】
次に、本実施形態にかかる監視装置１００による状況把握処理について図１６を参照して説明する。状況把握処理とは、状態情報ＤＢ１５１に保存されている複数人（物体）の状態情報から動作の状況を把握し、新たな人物等の動作（行動）を検出する処理をいう。図１６は、状況把握処理の全体の流れを示すフローチャートである。
【０１０７】
まず、状態取得部１３９は、状態情報ＤＢ１５１に保存されている状態情報である格フレームのうち、未処理の格フレーム（以下、第１格フレームという）を取得する（Ｓ１００１）。次に、状態取得部１３９は、取得した第１格フレームと同時刻の他の格フレーム（以下、第２格フレームという）を状態情報ＤＢ１５１から取得する（Ｓ１００２）。
【０１０８】
次に、第２検出部１４０は、複数人物の格フレームが取得されたか否か、すなわち、第１格フレームの主格と、第２格フレームの主格とが異なるか否かを判断する（Ｓ１００３）。複数人物の格フレームが取得された場合（Ｓ１００３：ＹＥＳ）、第２検出部１４０は、各人物の格フレームの行動名を取得する（Ｓ１００４）。
【０１０９】
次に、第２検出部１４０は、行動名＝「見る」の格フレームが存在するか否かを判断する（Ｓ１００５）。存在する場合（Ｓ１００５：ＹＥＳ）、第２検出部１４０は、行動名＝「見る」の対象となる物体（人物）が一致する他の人物の人数を算出し、人数が所定の閾値より大きいか否かを判断する（Ｓ１００６）。例えば、第２検出部１４０は、第１格フレームまたは第２格フレームの対象格に設定された物体（人物）と同一物体（人物）が、行動名＝「見る」の対象格に設定され、主格が異なる他の格フレームの個数を算出し、閾値と比較する。
【０１１０】
人物数が閾値より大きい場合（Ｓ１００６：ＹＥＳ）、第２検出部１４０は、複数の人物が特定の人物に注目していることから、異常な状況が生じていると判断し、異常が発生したことを表す情報を出力する（Ｓ１００７）。
【０１１１】
このように、本実施形態によれば、複数人の状態情報から特定の人物の異常な行動を検出するだけでなく、複数人の状態情報から何らかの異常な状況が生じているということを検出することもできる。なお、上記例では、特定の対象を複数人が「見る」という行動が生じたときに異常と判断していたが、行動は「見る」に限られるものではなく、予め定められた特定の行動（例えば、監視員の「警戒する」という行動）を対象として判断するように構成してもよい。この場合、特定の行動を表す特定の動詞が含まれる状態情報の個数（監視員の人数）を算出し、個数が所定の閾値より大きいか否かを判定すればよい。
【０１１２】
人物数が閾値より大きくない場合（Ｓ１００６：ＮＯ）、第２検出部１４０は、第１格フレームおよび第２格フレームのうち、行動名＝「見る」の格フレームの主格を人物Ａ、対象格を人物Ｂとして取得する（Ｓ１００８）。そして、第２検出部１４０は、人物Ａの格フレームおよび人物Ｂの格フレームが満たす状況把握規則を規則ＤＢ１５２から検索する（Ｓ１００９）。具体的には、第２検出部１４０は、人物Ａの格フレームおよび人物Ｂの格フレームの行動名が、それぞれ状況把握規則の人物Ａに関する情報および人物Ｂに関する情報の行動名と一致し、格情報が状況把握規則の格情報が表す条件を満たす状況把握規則を検索する。
【０１１３】
例えば、人物Ａの格フレームの行動名が「手を突き出す」であり、人物Ｂの格フレームの行動名が「手を上げる」であり、人物Ａの格フレームの対象格が人物Ｂである場合、図８に示すような状況把握規則の最初の規則が検索される。
【０１１４】
また、Ｓ１００５で、行動名＝「見る」の格フレームが存在しないと判断された場合（Ｓ１００５：ＮＯ）、第２検出部１４０は、第１格フレームおよび第２格フレームが満たす状況把握規則を規則ＤＢ１５２から検索する（Ｓ１０１０）。具体的には、第２検出部１４０は、第１格フレームおよび第２格フレームの行動名が、それぞれ状況把握規則の人物Ａに関する情報および人物Ｂに関する情報の行動名と一致し、格情報が状況把握規則の格情報が表す条件を満たす状況把握規則を検索する。
【０１１５】
例えば、第１格フレームの行動名が「移動する」であり、第２格フレームの行動名が「見回す」であり、第１格フレームおよび第２格フレームの場所格が表す地点が一致する（例えば地点Ａ）場合、図８に示すような状況把握規則の３行目の規則が検索される。
【０１１６】
次に、第２検出部１４０は、状況把握規則が検索されたか否かを判断し（Ｓ１０１１）、検索された場合は（Ｓ１０１１：ＹＥＳ）、検索した状況把握規則の「検出される状態情報」に設定された行動名の格フレームを作成する（Ｓ１０１２）。
【０１１７】
Ｓ１００３で複数人物の格フレームが取得されなかった場合（Ｓ１００３：ＮＯ）、Ｓ１０１１で状況把握規則が検索されなかった場合（Ｓ１０１１：ＮＯ）、または、格フレームを作成後、第２検出部１４０は、未処理の格フレームが存在するか否かを判断する（Ｓ１０１３）。
【０１１８】
未処理の格フレームが存在する場合（Ｓ１０１３：ＹＥＳ）、状態取得部１３９は、次の格フレームを取得して処理を繰り返す（Ｓ１００１）。未処理の格フレームが存在しない場合は（Ｓ１０１３：ＮＯ）、状況把握処理を終了する。
【０１１９】
このような処理により、個々の物体（人物）の状態情報の差分（変位）から、個々の物体（人物）の状態情報を検出するだけでなく、複数の物体（人物）の状態情報から物体（人物）の行動の状況を把握し、行動（動作）をより高精度に検出することが可能となる。
【０１２０】
次に、このように構成された本実施形態にかかる監視装置１００による異常判定処理について図１７を参照して説明する。図１７は、異常判定処理の全体の流れを示すフローチャートである。
【０１２１】
同図に示す各処理では、図９に示すような異常情報ＤＢ１５３が、ユーザや監視センタ２００によって予め記憶され、さらに操作パネル１３５等からユーザによって異常判定を行うための指示がなされたものとする。
【０１２２】
まず、異常判定部１４１は、異常情報ＤＢ１５３を参照して、記憶されている異常情報を読み込む（ステップＳ１１０１）。そして、読み込んだ異常情報をキーにして、その異常情報を含む深層格フレームを状態情報ＤＢ１５１の中から検索する（Ｓ１１０２）。
【０１２３】
そして、状態情報ＤＢ１５１の中に異常と判断される格フレームと一致する格フレームがあるか否か、すなわち、異常情報を含む深層格フレームが存在するか否かを判定し(Ｓ１１０３)、異常情報を含む深層格フレームがないと判定した場合(Ｓ１１０３：ＮＯ)、何もせずに次のステップに進む。
【０１２４】
一方、異常情報を含む深層格フレームが存在すると判定した場合(Ｓ１１０３：ＹＥＳ)、異常判定部１４１は、その異常情報を含む深層格フレームを操作パネル１３５などに表示出力して、監視領域における異常が発生したことを通知する出力処理を行う（Ｓ１１０４）。その後、異常情報ＤＢ１５３に記憶されているすべての異常情報の規則を参照したか否かを判定し（Ｓ１１０５）、すべての異常情報の規則を参照していないと判定した場合（Ｓ１１０５：ＮＯ）、Ｓ１１０１に戻り、以降の処理を繰り返す。一方、すべての異常情報の規則を参照したと判定した場合（Ｓ１１０５：ＹＥＳ）、異常判定処理が終了する。
【０１２５】
なお、Ｓ１１０４において、異常情報を含む深層格フレームが監視員のものである場合、すなわち、主格のＩＤから監視員の深層格フレームと識別されるものに異常情報が含まれている場合は、図１８に示す出力処理が行われる。なお、監視員の深層格フレームに異常情報が含まれている場合とは、図９に示すように、監視員の行動が「警戒する」などの場合が該当する。図１８は、監視員に関する異常の出力処理の全体の流れを示すフローチャートである。
【０１２６】
図１８に示すように、処理が開始されると、異常判定部１４１は、監視員に関する深層格フレームにおいて、前の格フレームとの間における、属性格の生体情報の変位を算出する（Ｓ１２０１）。なお、Ｓ１２０１で算出する生体情報の変位とは、前の複数の格フレームを統計母数とした生体情報の平均値（監視員の平常時の値）からの変位量とする。すなわち、Ｓ１２０１で算出する変位量は、監視員の異常に対する反応度合いであって、異常に接した監視員の緊張度を表しており、この変位量が大きいほど監視員の身近に異常が発生していることを示している。
【０１２７】
次いで、異常判定部１４１は、算出した変位量が予め設定された第１の閾値（θＬ）よりも大きい値であるか否かを判定する（Ｓ１２０２）。算出した変位量が第１の閾値よりも大きい場合（ＹＥＳ）は、その変位量が第２の閾値（θＨ：ただしθＨはθＬよりも大きな値とする）よりも大きい値であるか否かを判定する（Ｓ１２０３）。なお、算出した変位量が第１の閾値よりも小さい場合（ＮＯ）は、そのまま出力処理を終了する。このＳ１２０２、Ｓ１２０３により、変位量の大きさから監視員の緊張度合いを段階的に判別し、その判別した緊張度合いに応じた処理を行うことができる。
【０１２８】
すなわち、算出した変位量が第２の閾値よりも大きく場合（Ｓ１２０３：ＹＥＳ）であり、監視員の緊張度合いが十分に高く、監視員のより身近に異常が発生している場合は、例えば監視員の場所格の重心座標を中心とした半径がＸ０ｍ以内のエリアを、監視員が異常を検出した検知空間Ｄとする。また、算出した変位量が第２の閾値よりも小さく、第１の閾値よりも大きい場合（Ｓ１２０３：ＮＯ）であり、監視員の緊張度合いがある程度高く、監視員からある程度離れた場所に異常が発生している場合は、例えば監視員の場所格の重心座標を中心とした半径がＸ１ｍ以内のエリアを、監視員が異常を検出した検知空間Ｄとする。このように、Ｓ１２０４、Ｓ１２０５では、生体情報が示す監視員の緊張度合いに応じた検知空間Ｄを設定する。
【０１２９】
次いで、異常判定部１４１は、前に検出された検知空間Ｄ、すなわち、直近の出力処理で検出された検知空間Ｄと、今回検出された検知空間Ｄの重複部分を反応空間Ｓとして登録する（Ｓ１２０６）。このＳ１２０６により、監視領域において時系列で重複する検知空間Ｄが反応空間Ｓとして登録されることとなる。
【０１３０】
次いで、異常判定部１４１は、登録した反応空間Ｓの大きさが所定の閾値（θＰ）よりも小さいか否かを判定する（Ｓ１２０７）。反応空間Ｓは監視員の緊張度合いに応じた検知空間Ｄが時系列で重複している空間であるため、その大きさが大きいほど、監視員が漠然と異常を感じており、異常が発生した場所（異常発生空間）までは特定できていないと考えられる。したがって、Ｓ１２０７の判定により、反応空間Ｓの大きさが所定の閾値以下に絞り込めるまでは、異常が発生した場所を推定しないものとする。
【０１３１】
Ｓ１２０７において、登録した反応空間Ｓの大きさが所定の閾値よりも小さい場合（ＹＥＳ）は、登録した反応空間Ｓを異常が発生した異常発生空間として推定し（Ｓ１２０８）、算出した変位量が予め設定された第３の閾値（θ）よりも大きい値であるか否かを判定する（Ｓ１２０９）。なお、この第３の閾値は、監視員の緊張度合いが異常であると出力するのに十分高いか否かを判断するためのものであり、前述した第１、２の閾値とは別に設定される値である。
【０１３２】
Ｓ１２０９において算出した変位量が予め設定された第３の閾値よりも大きい場合（ＹＥＳ）、異常判定部１４１は、監視領域における、反応空間Ｓに基づいた位置に異常が発生したことを操作パネル１３５に表示出力させる（Ｓ１２１０）。具体的には、監視領域において、反応空間Ｓとして異常が検出された場所（座標）を操作パネル１３５に表示出力する。これにより、ユーザは異常が発生した場所を的確に把握することができ、応援要請などの対応を正確に行うことができる。
【０１３３】
図１９は、監視領域Ｒにおける監視員Ｈの行動の一例を示す図である。図１９に示すように、監視領域Ｒにおいて、監視員Ｈは点線に沿って通路を移動しながら監視を行っており、この監視員Ｈの行動は深層格フレームに時系列で格納されている。この監視の最中に、監視員Ｈは、聴覚、視覚、嗅覚、触覚などの自身の感覚から異常を感じると、「警戒する」という行動に移行する。そして、「警戒する」という行動を持続しつつ、異常が発生した場所に近づくにつれて緊張度合いが高まり、その緊張度合いが生体情報の反応として出現する（図示例では、反応が中→大→大→小の順に出現している）。
【０１３４】
したがって、上述した出力処理を行うことにより、時系列で格納された深層格フレームを順次解析し、警戒行動を行っている監視員の感覚に反応して変化する生体情報に応じた検知空間Ｄを順次求め、その時系列で求められた検知空間Ｄが重複する反応空間Ｓを異常発生場所として推定している。このため、監視カメラ１２０で撮像した画像だけでなく、監視員の感覚を生かした異常検出を行うことができ、監視カメラ１２０の撮像範囲に限定されない、より広範な異常検出を行うことができる。
【０１３５】
なお、本実施形態では、一人の監視員の行動を時系列で解析して異常検出を行う構成を例示したが、複数の監視員の行動から異常検出を行う構成であってもよい。具体的には、監視装置１００は、識別ＩＤなどで互いに識別可能な複数の監視員用装着ユニット１７０を備え、それぞれの監視員用装着ユニット１７０から監視員の行動を取得して、異常検出を行う。この場合は、図１８に例示したフローチャートのＳ１２０６において、各監視員の検知空間が重複する空間を反応空間とすることで、複数の監視員の感覚を生かした異常検出を行うことができる。
【０１３６】
例えば、図１９に図示された監視員Ｈが一人の監視員ではなく、個別の監視員であるものと想定する。この場合、生体情報の反応が大きい（第２の閾値より大きい）二人の監視員と、生体情報の反応が中程度（第２の閾値より小さく、第１の閾値より大きい）の一人の監視員との検知空間Ｄが重複する反応空間Ｓを異常発生場所として検出できる。
【０１３７】
また、本実施形態では、監視員の各部位の位置検出用センサを加速度センサ１７２とし、監視カメラ１２０で撮像した画像情報から監視員の各部位の位置が取得できない場合は加速度センサ１７２の出力値を積算することで算出する構成を例示した。しかしながら、位置検出用センサは、監視員の各部位の位置を特定可能であれば、加速度センサ１７２を用いる構成に限定しない。例えば、監視員の各部位に設けられた発信器との間で無線通信による三角測量を行うことで、各部位の位置検出を行ってもよい。
【０１３８】
また、監視員から検出する生体情報は、脈拍、発汗量（皮膚電気抵抗）以外に、胸郭の動きなどを検出して取得した所定時間あたりの呼吸数、脈拍と同時に測定した血圧値、頭部に装着した脳波センサからの出力値などであってもよい。これら複数の生体情報を時系列で検出し、平常時からの変位量を測定することで、より精度の高い異常検出を行うことが可能となる。
【０１３９】
なお、上記実施の形態では、監視領域の異常検出を、監視装置１００で実行していたが、これに限定されるものではなく、監視センタ２００側で実行するように構成することもできる。
【符号の説明】
【０１４０】
１０ 監視システム
１００ 監視装置
１１０ センサ
１２０ 監視カメラ
１３０ 監視操作部
１３１ 検知情報受信部
１３２ 画像情報取得部
１３３ 監視状態切替部
１３４ 操作パネル制御部
１３５ 操作パネル
１３６ 送受信部
１３７ 監視状態記憶部
１３８ 第１検出部
１３９ 状態取得部
１４０ 第２検出部
１４１ 異常判定部
１５０ ＨＤＤ
１５１ 状態情報ＤＢ
１５２ 規則ＤＢ
１５３ 異常情報ＤＢ
１５４ 環境情報ＤＢ
１６０ 送受信部
１７０ 監視員用装着ユニット
１７１ 生体センサ
１７２ 加速度センサ
１７３ コントローラ
１７４ 送受信部
２００ 監視センタ
３００ ネットワーク
Ｈ 監視員
Ｒ 監視領域
Ｄ 検知空間
Ｓ 反応空間
【特許請求の範囲】
【請求項１】
所定の監視領域を撮像する監視カメラと、
前記監視領域の監視を行う監視員に装着された生体センサから当該監視員の生体情報を取得する取得手段と、
前記監視カメラの画像情報と、前記取得された生体情報とを解析して、前記監視領域における物体及び前記監視員の動作状態を抽出し、当該動作状態を表す情報であって、前記物体及び前記監視員の動作の種類を表す動詞と前記物体及び前記監視員の動作に関連する名詞とを含み、前記動詞に対する前記名詞の意味関係を表した状態情報を記憶する状態情報記憶手段と、
前記記憶された複数の状態情報間の差分を検出し、検出した差分に対応する前記物体及び前記監視員の動作を、予め定めた規則に基づいて検出する動作検出手段と、
前記検出された物体及び監視員の動作が、予め定めた異常な動作と一致する場合に、前記監視領域における異常と判定し、当該判定結果を出力する異常出力手段と、
を備えることを特徴とする監視装置。
【請求項２】
前記異常出力手段は、前記記憶された状態情報から前記監視員の生体情報を読み出し、平常時における前記監視員の生体情報に対する、前記検出された監視員の動作が行われた際の当該監視員の生体情報の変位量を算出し、当該変位量が所定の閾値を上回る場合に前記監視領域における異常と判定することを特徴とする請求項１に記載の監視装置。
【請求項３】
前記異常出力手段は、前記算出された変位量に応じた大きさの空間を、前記検出された監視員の動作が行われた際の当該監視員の位置を基準に設定し、前記記憶された複数の状態情報間で設定された前記空間の重複部分を異常が発生した位置として出力することを特徴とする請求項２に記載の監視装置。
【請求項４】
前記異常出力手段は、複数の前記監視員により設定された前記空間の重複部分を異常が発生した位置として出力することを特徴とする請求項３に記載の監視装置。
【請求項５】
前記取得手段は、前記監視員の各部位に装着された位置検出センサから当該監視員の各部位の位置情報を取得し、
前記状態情報記憶手段は、前記監視カメラの画像情報から前記監視員の各部位の位置にかかる動作状態が抽出できない場合、前記取得された位置情報に基づいて前記監視員の各部位の位置にかかる動作状態を抽出することを特徴とする請求項１〜４のいずれか一項に記載の監視装置。
【請求項６】
所定の監視領域を撮像する監視カメラと、前記監視領域の監視を行う監視員に装着された生体センサから当該監視員の生体情報を取得する取得手段と、を有する監視装置の監視方法であって、
前記監視カメラの画像情報と、前記取得された生体情報とを解析して、前記監視領域における物体及び前記監視員の動作状態を抽出し、当該動作状態を表す情報であって、前記物体及び前記監視員の動作の種類を表す動詞と前記物体及び前記監視員の動作に関連する名詞とを含み、前記動詞に対する前記名詞の意味関係を表した状態情報を記憶する状態情報記憶工程と、
前記記憶された複数の状態情報間の差分を検出し、検出した差分に対応する前記物体及び前記監視員の動作を、予め定めた規則に基づいて検出する動作検出工程と、
前記検出された物体及び監視員の動作が、予め定めた異常な動作と一致する場合に、前記監視領域における異常と判定し、当該判定結果を出力する異常出力工程と、
を含むことを特徴とする監視方法。
【請求項１】
所定の監視領域を撮像する監視カメラと、
前記監視領域の監視を行う監視員に装着された生体センサから当該監視員の生体情報を取得する取得手段と、
前記監視カメラの画像情報と、前記取得された生体情報とを解析して、前記監視領域における物体及び前記監視員の動作状態を抽出し、当該動作状態を表す情報であって、前記物体及び前記監視員の動作の種類を表す動詞と前記物体及び前記監視員の動作に関連する名詞とを含み、前記動詞に対する前記名詞の意味関係を表した状態情報を記憶する状態情報記憶手段と、
前記記憶された複数の状態情報間の差分を検出し、検出した差分に対応する前記物体及び前記監視員の動作を、予め定めた規則に基づいて検出する動作検出手段と、
前記検出された物体及び監視員の動作が、予め定めた異常な動作と一致する場合に、前記監視領域における異常と判定し、当該判定結果を出力する異常出力手段と、
を備えることを特徴とする監視装置。
【請求項２】
前記異常出力手段は、前記記憶された状態情報から前記監視員の生体情報を読み出し、平常時における前記監視員の生体情報に対する、前記検出された監視員の動作が行われた際の当該監視員の生体情報の変位量を算出し、当該変位量が所定の閾値を上回る場合に前記監視領域における異常と判定することを特徴とする請求項１に記載の監視装置。
【請求項３】
前記異常出力手段は、前記算出された変位量に応じた大きさの空間を、前記検出された監視員の動作が行われた際の当該監視員の位置を基準に設定し、前記記憶された複数の状態情報間で設定された前記空間の重複部分を異常が発生した位置として出力することを特徴とする請求項２に記載の監視装置。
【請求項４】
前記異常出力手段は、複数の前記監視員により設定された前記空間の重複部分を異常が発生した位置として出力することを特徴とする請求項３に記載の監視装置。
【請求項５】
前記取得手段は、前記監視員の各部位に装着された位置検出センサから当該監視員の各部位の位置情報を取得し、
前記状態情報記憶手段は、前記監視カメラの画像情報から前記監視員の各部位の位置にかかる動作状態が抽出できない場合、前記取得された位置情報に基づいて前記監視員の各部位の位置にかかる動作状態を抽出することを特徴とする請求項１〜４のいずれか一項に記載の監視装置。
【請求項６】
所定の監視領域を撮像する監視カメラと、前記監視領域の監視を行う監視員に装着された生体センサから当該監視員の生体情報を取得する取得手段と、を有する監視装置の監視方法であって、
前記監視カメラの画像情報と、前記取得された生体情報とを解析して、前記監視領域における物体及び前記監視員の動作状態を抽出し、当該動作状態を表す情報であって、前記物体及び前記監視員の動作の種類を表す動詞と前記物体及び前記監視員の動作に関連する名詞とを含み、前記動詞に対する前記名詞の意味関係を表した状態情報を記憶する状態情報記憶工程と、
前記記憶された複数の状態情報間の差分を検出し、検出した差分に対応する前記物体及び前記監視員の動作を、予め定めた規則に基づいて検出する動作検出工程と、
前記検出された物体及び監視員の動作が、予め定めた異常な動作と一致する場合に、前記監視領域における異常と判定し、当該判定結果を出力する異常出力工程と、
を含むことを特徴とする監視方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１０−２３８１８６（Ｐ２０１０−２３８１８６Ａ）
【公開日】平成２２年１０月２１日（２０１０．１０．２１）
【国際特許分類】
【出願番号】特願２００９−８８３５８（Ｐ２００９−８８３５８）
【出願日】平成２１年３月３１日（２００９．３．３１）
【出願人】（０００２０２３６１）綜合警備保障株式会社 (266)
【Ｆターム（参考）】
【公開日】平成２２年１０月２１日（２０１０．１０．２１）
【国際特許分類】
【出願日】平成２１年３月３１日（２００９．３．３１）
【出願人】（０００２０２３６１）綜合警備保障株式会社 (266)
【Ｆターム（参考）】
[ Back to top ]