監視装置、監視システム、および監視プログラム
【課題】様々なエリアに移動する可能性がある人の行動を把握して、不審人物を容易に精度よく発見することができる監視システム１、監視装置１１０、および監視プログラムを提供し、セキュリティレベルを向上させる。
【解決手段】監視対象領域Ｅを連続撮影して時系列に連続する撮影画像１１を取得するカメラ４４と、前記連続する撮影画像１１から人物を抽出し、該人物の行動情報を取得する行動認識部２２と、検出の対象となる特異点を示す特異点判定データファイル６３を記憶する記憶部２６と、前記行動情報が特異点に該当するか否か判定する特異点抽出部２４と、該当すると判定した場合に特異情報を出力する情報出力部２５とを備え、前記行動認識部２２は、前記人物の移動と停止が切り替わったときの時刻と位置を取得し、この時刻と位置と移動か停止かの情報を前記行動情報とする構成とした。
【解決手段】監視対象領域Ｅを連続撮影して時系列に連続する撮影画像１１を取得するカメラ４４と、前記連続する撮影画像１１から人物を抽出し、該人物の行動情報を取得する行動認識部２２と、検出の対象となる特異点を示す特異点判定データファイル６３を記憶する記憶部２６と、前記行動情報が特異点に該当するか否か判定する特異点抽出部２４と、該当すると判定した場合に特異情報を出力する情報出力部２５とを備え、前記行動認識部２２は、前記人物の移動と停止が切り替わったときの時刻と位置を取得し、この時刻と位置と移動か停止かの情報を前記行動情報とする構成とした。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば監視対象となる領域における人物の行動を監視するような監視装置、監視システム、および監視プログラムに関する。
【背景技術】
【０００２】
従来、セキュリティシステムは、領域内に不審者が入らないように監視し、不審者が入った場合に、警報を鳴らして撃退するか通報により係員が出動することで、侵入者（不審者）の行動を制止している。
【０００３】
また、遠隔地で映像を監視する遠隔映像監視システムも提供されている。この遠隔映像監視システムは、集中監視センタでのモニタリングで、画像記録と常時監視を行っている。そして、通報などの不審者の検知信号に対して、映像で不審や異常の確認をする。
【０００４】
これらのシステムは、いずれも事件、事故の原因や対象となる不審者の特定を事後的に行うことを目的としている。
【０００５】
しかし、上述したようなシステムは、２４時間人が出入する公共施設や街頭において十分な機能を発揮できない。すなわち、犯罪などの事件発生後、画像記録の情報を元に犯人を特定するのを助けることはできても、本来の犯罪防止や予防的な処置にはあまり効果がない。
【０００６】
一方、犯罪等を未然に防ごうとすると、人の行動意図を予測し、不審な行動がないか確認することが役立つと考えられる。例えば計画的な犯行の場合、犯罪者は、事前に下見を行い、設置されている防犯用のシステムが機能できないように下準備（工作）してから行動に移すと考えられる。その際に不審な行動を行うと考えられるため、その不審な行動や注意すべき状況を発見することで、予防処置が可能になる。
【０００７】
ここで、人の行動予測を行うシステムとして、行動認識システムが提案されている（特許文献１参照）。この行動認識システムは、監視対象エリアを複数のブロックに分割し、各ブロックにて平均の移動時間や平均の静止時間と個人の行動を比較し、平均と大きく異なる場合に特異な行動と判定するものである。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００６−２２１３７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、上述の行動認識システムは、具体例として、監視対象エリアを分割したブロック単位で大多数の人の平均移動速度を求め、その平均移動速度と比較することで急いでいるか困っているかを判定することが記載されているにすぎないものであった。このため、急いでいる人や困っている人の発見は可能であっても、不審行動を行っている人物の発見に適したものではなかった。
【００１０】
この発明は、上述の問題に鑑み、様々なエリアに移動する可能性がある人の行動を把握して、不審人物を容易に精度よく発見することができる監視装置、監視システム、および監視プログラムを提供し、セキュリティレベルを向上させることを目的とする。
【課題を解決するための手段】
【００１１】
この発明は、監視対象領域を連続撮影して時系列に連続する撮影画像を取得する撮影手段と、前記連続する撮影画像から人物を抽出し、該人物の行動情報を取得する行動情報取得手段と、検出の対象となる検出対象行動を示す検出対象行動情報を記憶する記憶手段と、前記行動情報が前記検出対象行動に該当するか否か判定する判定手段と、該当すると判定した場合に特異情報を出力する出力手段とを備え、前記行動情報取得手段は、前記人物の移動と停止が切り替わったときの時刻と位置を取得し、この時刻と位置と移動か停止かの情報を前記行動情報とする構成である監視装置であることを特徴とする。
【００１２】
前記行動情報取得手段は、撮影画像からパターンマッチングや顔認証などの適宜の手法により人物を抽出する画像解析部と、該人物の移動や停止を検知する行動認識部とで構成することができる。
【００１３】
前記検出対象行動情報は、通常の行動ではない特異点であることを示す特異点情報、または、通常の行動を示す通常行動情報以外であることの情報など、検出対象を定めることができる適宜の情報とすることができる。
【００１４】
前記出力手段は、警告情報を表示する表示手段、警告音や警告音声を出力する音声出力手段、警告ランプを点灯または点滅させる発光手段など、係員などに警告する手段で構成することができる。
【００１５】
この発明により、人物の行動の目的を自動的に判別することが可能となり、不審人物などの検知対象人物を精度よく発見することができる。
【００１６】
この発明の態様として、前記監視対象領域内の人物に向けてアナウンス情報を出力するアナウンス情報出力手段と、前記判定手段により前記行動情報が前記検出対象行動に該当する人物がいると判定した場合に、該当人物に向けて前記アナウンス情報出力手段により所定行動を要請する所定行動要請手段を備えることができる。
【００１７】
前記アナウンス情報出力手段は、アナウンス情報を表示する表示手段、またはアナウンス情報を音声出力する音声出力手段など、監視対象領域内の人物に向けてアナウンスすることができる手段により構成することができる。
【００１８】
前記所定行動は、挙手、移動、操作入力など、適宜の行動に定めることができる。
前記所定行動要請手段は、前記アナウンス情報出力手段に出力する情報を制御する制御手段など、行動要請が可能な適宜の手段で構成することができる。
【００１９】
この態様により、人物に行動を要請することができ、その行動をとるかどうかを係員や監視員が目視確認する、あるいは画像処理により自動的に確認することで、その人物の行動目的や、不審者か否かなどを確認することができる。
【００２０】
この発明の態様として、前記所定行動要請手段により前記所定行動を要請した後、該当人物の動作を示す動作情報を前記行動情報取得手段により取得し、該動作情報から前記所定行動を取ったか否か判定する要請行動実行判定手段と、前記所定行動を取らなかった場合に警告出力を行う警告手段とを備えることができる。
【００２１】
前記行動情報取得手段は、前記撮影手段による撮影画像から画像認識処理により前記人物の動作を取得する手段、あるいは人物に入力操作させるタッチパネルや押下ボタンなどの適宜の入力手段など、行動情報を取得することができる手段により構成することができる。
【００２２】
前記要請行動実行判定手段は、前記画像認識処理により取得した前記人物の動作から所定動作を行ったか否か判定する手段、あるいは前記入力手段の入力が所定動作か否か判定する手段など、要請した行動を実行したか否か判定する手段で構成することができる。
【００２３】
この態様により、要請した行動を人物が実行したか否か機械的に判別することができ、行動目的をより精度よく判別することができる。また、通常の撮影画像からだけでは判断しきれない行動目的を前記所定行動の要請により明確にし、これを認識することができる。
【００２４】
またこの発明の態様として、前記所定行動をとらなかった場合に、前記所定行動要請手段により前記所定行動と異なる行動を要請する要請行動変更手段を備え、該異なる行動を取ったか否か前記要請行動実行判定手段により判定して該異なる行動を取らなかった場合に前記警告手段で警告出力する構成とすることができる。
【００２５】
これにより、人物の行動目的の候補が複数ある場合に、順番に行動要請してどの行動目的かを判別することが可能になる。
【００２６】
またこの発明の態様として、前記要請行動実行判定手段は、前記撮影手段が撮影した撮影画像から前記該当人物を認識し、該当人物が前記所定行動を取ったか否か画像認識処理によって判定する構成とすることができる。
【００２７】
これにより、移動や停止といった人物の行動に加え、行動要請に対する人物の応答も撮影手段を利用して判定することができるため、簡潔で安価な構成で実現することができる。また、行動認識（移動や停止）と応答認識（挙手など）を同じ撮影手段からの撮影画像によって認識することで、行動認識の際に撮影手段の撮影範囲内にいる人物が、行動要請に応答したか否かを確実に認識することができる。
【００２８】
またこの発明の態様として、前記所定行動は、挙手、指定位置への移動、または指定操作入力のいずれかであり、前記要請行動実行判定手段は、該当人物が挙手動作を行ったか否か判定する挙手判定手段、該当人物が指定位置へ移動したか否かを判定する指定移動判定手段、または、該当人物による指定操作入力を受け付ける操作入力手段により構成されることができる。
これにより、行動要請に対する応答を具体的に検知することができる。
【００２９】
またこの発明は、監視対象領域を有する施設に備えられるフィールド端末と、該フィールド端末と通信回線を通じて接続される管理サーバとで構成される監視システムであって、前記フィールド端末に、監視対象領域を連続撮影して時系列に連続する撮影画像を取得する撮影手段を備え、前記管理サーバに、前記連続する撮影画像から人物を抽出し、該人物の行動情報を取得する行動情報取得手段と、検出の対象となる検出対象行動を示す検出対象行動情報を記憶する記憶手段と、前記行動情報が前記検出対象行動に該当するか否か判定する判定手段と、該当すると判定した場合に特異情報を出力する出力手段とを備え、前記行動情報取得手段は、前記人物の移動と停止が切り替わったときの時刻と位置を取得し、この時刻と位置と移動か停止かの情報を前記行動情報とする構成である監視システムとすることができる。
これにより、遠隔地で不審行動などを監視することができる。
【００３０】
またこの発明は、コンピュータを、監視対象領域を連続撮影して時系列に連続する撮影画像を取得する撮影手段と、前記連続する撮影画像から人物を抽出し、該人物の行動情報を取得する行動情報取得手段と、検出の対象となる検出対象行動を示す検出対象行動情報を記憶する記憶手段と、前記行動情報が前記検出対象行動に該当するか否か判定する判定手段と、該当すると判定した場合に特異情報を出力する出力手段として機能させ、前記行動情報取得手段に、前記人物の移動と停止が切り替わったときの時刻と位置を取得し、この時刻と位置と移動か停止かの情報を前記行動情報とさせる監視プログラムとすることができる。
これにより、監視プログラムをコンピュータにインストールして人物の行動も目的を判定するシステムを構築することができる。
【発明の効果】
【００３１】
この発明により、人物の行動の目的を自動的に判別することが可能となり、不審人物などの検知対象人物を精度よく発見することができる。
【図面の簡単な説明】
【００３２】
【図１】監視システムのシステム構成を示すブロック図。
【図２】各種データのデータ構成図。
【図３】カメラによる撮影画像のイメージ図。
【図４】人物の行動認識を行う処理のフローチャート。
【図５】分析用の行動解析画面を説明する説明図。
【図６】分析用の行動解析画面を説明する説明図。
【図７】人物に動作要求して目的を確認する処理のフローチャート。
【図８】行動要請と応答認識の説明図。
【図９】複数の撮影画像を表示する映像確認画面の説明図。
【図１０】実施例２のＡＴＭと管理サーバの動作を示すフローチャート。
【図１１】ＡＴＭに表示する画面の説明図。
【図１２】実施例３の監視装置の構成を示すブロック図。
【発明を実施するための形態】
【００３３】
この発明の一実施形態を以下図面と共に説明する。
【実施例１】
【００３４】
図１は、監視システム１のシステム構成を示すブロック図である。
監視システム１は、管理サーバ２、監視装置３、フィールド端末４、および携帯端末５がインターネットなどの通信回線９により接続されて構成されている。
【００３５】
管理サーバ２は、画像解析部２１、行動認識部２２、動作認識部２３、特異点抽出部２４、情報出力部２５、記憶部２６、制御部２７、および通信部２８が設けられており、制御部２７に記憶されているプログラムに従って各種動作を行う。
【００３６】
画像解析部２１は、フィールド端末４のカメラ４４で取得した画像を解析し、解析結果を行動認識部２２に伝達する。この画像解析により、人数を計数すると共に、連続する撮影画像における同一人物を認定する。
【００３７】
行動認識部２２は、画像解析部２１による解析結果に基づいて、撮影画像に写っている各人物の行動を認識する。この行動認識により、監視対象領域に対して人物が入った時刻から出た時刻までの行動を行動データとして記憶部２６に記憶する。一人物のｎ回目の行動データＡｃｔ（ｎ）は、次の数１のように構成される。
【００３８】
［数１］
Ａｃｔ（ｎ）＝Ｔｓ，Ｔｅ，Ｍ（ｘ，ｙ），Ｓ（ｘ，ｙ）
※Ｍ（ｘ，ｙ）は移動開始位置、
Ｓ（ｘ，ｙ）は停止位置（Ｓの停止時刻の最小は、例えば１０秒など一定時間に定める）
Ｔｓは移動開始時刻、
Ｔｅは停止時刻
【００３９】
動作認識部２３は、画像解析部２１による解析結果に基づいて、撮影画像に写っている各人物の動作を認識する。この認識する動作は、例えば挙手動作、うなずき動作、立ち動作、指定位置への移動動作など、適宜の動作とすることができる。挙手動作やうなずき動作や立ち動作といったその場での動作を認識する場合、予め用意したテンプレート画像と人物画像とのパターンマッチングにより認識することができる。
【００４０】
特異点抽出部２４は、前記行動データから、予め定めた特異な行動パターンに合致する特異点を抽出し、抽出結果を特異点情報として情報出力部２５および制御部２７に送信する。この特異な行動パターンは、例えば常識外の停止時間、移動時間、移動と停止の頻度など、適宜設定しておくことができる。
【００４１】
情報出力部２５は、特異点抽出部２４で取得した特異点に基づいて、通信部２８を介して情報を出力する。
【００４２】
記憶部２６は、図２のデータ構成図に示すように、行動認識部２２が認識した行動データを記憶する行動データファイル６１、この行動データから対象人別に滞留時間を統計した時間統計データを記憶する時間統計データファイル６２、および特異点抽出部２４が特異点の判定に利用する特異点判定データを記憶する特異点判定データファイル６３が記憶されている。また、撮影画像１１で構成される画像データファイルも記憶されている。
【００４３】
行動データファイル６１は、対象人別かつ行動別に行動データを記憶しており、対象人、Act_No.、Ts、Te、M(x,y)、S(x,y)により構成されている。
【００４４】
時間統計データファイル６２は、対象人別に行動データをまとめたデータであり、行動毎の時間と、これらを合計した滞留時間と、移動回数とを記憶している。
【００４５】
特異点判定データファイル６３は、特異点として判定するための基準となる判定基準データを記憶しており、チェック対象、条件、内容、および動作要求情報により構成されている。
【００４６】
制御部２７（図１参照）は、各種制御動作を実行する。
通信部２８は、情報出力部２５が出力した情報を、通信回線９からフィールド端末４へ送信する。
【００４７】
この構成により、管理サーバ２は、画像解析と行動認識と動作認識を行うことができ、特異点を発見することができる。
【００４８】
監視装置３は、制御部３１、通信部３２、操作入力受付部３３、監視情報出力部３４、キーボード３５、および、モニタ３６を備えており、制御部３１２に記憶されているプログラムに従って各種動作を実行する。
【００４９】
制御部３１は、各種制御動作を実行する。
通信部３２は、通信回線９を通じてデータの送受信を行う。
操作入力受付部３３は、係員がキーボード３５や図示省略するマウスで操作された操作入力を受け付ける。
【００５０】
監視情報出力部３４は、監視している監視情報をモニタ３６に出力する。
モニタ３６は、前記監視情報出力部３４から取得した監視情報を表示する。
【００５１】
この構成により、監視装置３は、管理サーバ２で管理しているデータに基づいてフィールド端末４のカメラ４４による撮影可能領域で発生している状況を監視することができる。特異点が管理サーバ２によって判定された場合、この特異点の出力も行えるため、監視員がリアルタイムに監視して不審者等を確認することができる。
【００５２】
フィールド端末４は、通信部４１、制御部４２、画像取得部４３、カメラ４４、指示情報出力部４５、モニタ４６、操作入力受付部４７、およびキーボード４８により構成されており、制御部４２に記憶されているプログラムに従って各種動作を実行する。
【００５３】
通信部４１は、通信回線９を通じて管理サーバ２や監視装置３と通信を実行する。
制御部４２は、各種制御動作を実行する。
【００５４】
画像取得部４３は、カメラ４４で撮影した撮影画像を取得する。
カメラ４４は、制御部４２からの撮影指示に従って撮影を実行する。このカメラ４４は、例えばフィッシュアイカメラ（超広角カメラもしくは全方位カメラ）とすることが好ましい。このフィッシュアイカメラは、図３に示すように１８０度の広域映像の撮影画像１１（１１Ａ，１１Ｂ）を得ることができる。そして、この広域映像の監視対象領域Ｅを画像処理技術によって画像変換することで、後述の図６（Ａ）に示すように通常の二次元画像とすることができる。
【００５５】
指示情報出力部４５は、人物に対する指示をモニタ４６に表示する。
モニタ４６は、適宜のアナウンスが表示される。
【００５６】
操作入力受付部４７は、人物がキーボード４８を操作して入力受け付けた操作データを記憶する構成である。
キーボード４８は、アルファベットや数字など適宜の文字を入力することができる。
【００５７】
この構成により、フィールド端末４は、カメラ４４で監視対象領域を撮影し、その撮影映像を管理サーバ２へ送信することができる。また、管理サーバ２から情報を取得し、この情報をモニタ４６に表示することができる。
【００５８】
携帯端末５は、通信部５１、制御部５２、入力部５３、および表示部５４により構成されている。
【００５９】
通信部５１は、通信回線９を通じて管理サーバ２や監視装置３と通信を実行する。
制御部５２は、各種制御動作を実行する。
【００６０】
入力部５３は、監視対象領域の係員（警備員）などによる操作入力を受け付ける。
表示部５４は、不審者がいることや、不審者の撮影映像などを表示することができる。
この構成により、携帯端末５は、係員に異常を知らせることができる。
【００６１】
図４は、管理サーバ２の画像解析部２１と行動認識部が人物の行動認識を行う処理のフローチャートである。この実施例では、複数のカメラ４４で撮影した複数の撮影画像１１を用いて行動認識する場合について説明する。
【００６２】
画像解析部２１は、フィールド端末４の１台のカメラ４４で撮影された撮影画像１１（例えば図３に示す撮影画像１１Ａ）を制御部２７から受け取り、人物の認識を行う（ステップＳ１）。
【００６３】
この認識は、例えば撮影画像１１を２値化（シルエット化）し、パターンマッチングにより人物らしき形状を見つけて人物と認識する、顔認識技術によって人物の顔を認識する、あるいはこれらを組み合わせるなど、公知の技術を適宜利用して実行する。
【００６４】
画像解析部２１は、別のカメラ４４で撮影された撮影画像１１（例えば図３に示す撮影画像１１Ｂ）における人物と同一人物か否かの照合を行う（ステップＳ２）。
【００６５】
この照合は、例えば公知の顔認証技術など、適宜の認証技術を用いるとよい。また、図３に示す連結部Ｃのように、別のカメラ４４の撮影領域と重なっているか近い部分で同じ時刻に存在していれば同一人物と判定するなど、位置情報を用いて同一人物か否かを判定してもよい。このように位置情報を用いる方法や顔認証技術を用いる方法は、トイレや倉庫、棚などの遮蔽物による一時的なカメラ４４の死角が存在する場合に有効である。
【００６６】
別のカメラ４４で撮影した人物と同一人物であるとＰｉ情報の照合ができれば（ステップＳ２：Ｙｅｓ）、画像解析部２１は、そのＰｉ情報を読み込み、ステップＳ８へ処理を進める（ステップＳ３）。
【００６７】
同一人物が存在していなかった場合（ステップＳ２：Ｎｏ）、画像解析部２１は、新しく番号（ｉ）を付与（例えば「ｋ」）して新しい人物のＰｉ情報（例えば「Ｐｋ」）とし、行動認識部２２へ処理を渡す。
【００６８】
行動認識部２２は、ステップＳ１で照合された人物について、撮影画像１１から移動開始位置Ｍ(ｘ,ｙ）、および移動開始時刻Ｔｓを読み込む（ステップＳ４）。
【００６９】
ここで、移動の有無の判断は、連続する全ての撮影画像との差分による変化点を用いる公知の技術により行うとよい。このとき、人間形状（大きさ：こどもから大人また同サイズのバッグなども対象となる）で照合し、人の認識処理結果とするとよい。
【００７０】
行動認識部２２は、連続する撮影画像から、その人物の停止または監視対象領域外への退出が検知されるまで、次の撮影画像に進めて待機する（ステップＳ５：Ｎｏ）。
【００７１】
この停止の検知は、連続する撮影画像におけるその人物の位置の変化がゼロまたは所定範囲内（例えば１０秒間で１０ｃｍ以内など）となった場合に停止と検知するとよい。また、監視対象領域外への退出の検知は、撮影画像におけるＸ軸またはＹ軸の値が予め定まった境界値（領域の境界の値）に達した場合に退出と検知するとよい。
なお、この停止検知または退出検知までの間は、確認する撮影画像を次々に進めていき、この間、行動データファイル６１に登録せずにデータを少なくしている。
【００７２】
順次確認している撮影画像のどこかで人物の停止または退出が検知されると（ステップＳ５：Ｙｅｓ）、行動認識部２２は、その撮影画像における人物の停止位置Ｓ（ｘ，ｙ）を読み込む（ステップＳ６）。そして、行動認識部２２は、その停止を検知した撮影画像の撮影時刻である停止時刻Ｔｅを読み込む（ステップＳ７）。なお、退出の場合は、退出した位置を停止位置Ｓ（ｘ，ｙ）とし、退出した時刻を停止時刻Ｔｅとするとよい。
【００７３】
行動認識部２２は、その人物（Ｐｉ情報）のＡＣＴ情報として、取得した移動開始位置Ｍ(ｘ,ｙ）、移動開始時刻Ｔｓ、停止位置Ｓ（ｘ，ｙ）、停止時刻Ｔｅを記憶部２６の行動データファイル６１に記憶する（ステップＳ８）。このＡＣＴ情報は、移動開始から停止終了までの一区切りのデータとしている。これによって行動データファイル６１に登録するデータ量を少なくし、しかも適切なデータを残せるようにしている。
【００７４】
行動認識部２２は、ステップＳ５で監視対象領域の外への退出を検知していない場合（ステップＳ９：Ｎｏ）、移動開始を検知するまで待機する（ステップＳ１０：Ｎｏ）。この移動開始を検知するまでの間は、確認する撮影画像を次々に進めていき、この間、行動データファイル６１に登録せずにデータを少なくしている。
移動開始を検知すると（ステップＳ１０：Ｙｅｓ），ステップＳ４に処理を戻して再度ＡＣＴ情報の行動データファイル６１への記録（ステップＳ４〜Ｓ８）を実行する。
【００７５】
監視対象領域の外への退出を検知していた場合（ステップＳ９：Ｙｅｓ）、行動認識部２２は、作成したＡＣＴ情報からなるＰｉ情報（その人物についての連続する全てのＡＣＴ情報）を、制御部２７を通じて記憶部２６へ転送し（ステップＳ１１）、処理を終了する。
【００７６】
これにより、図２（Ａ）に示した行動データファイル６１にデータを蓄積することができる。
蓄積した行動データファイル６１について対象人Ｐｉ別に統計を取ると、図２（Ｂ）に示す時間統計データファイル６２ができる。この時間統計データファイル６２から、様々な分析を行うことが可能になる。
【００７７】
図２（Ｂ）の例は、Ｐａ〜Ｐｆの８人の利用者の滞留時間の計測を行った場合を示している。Ｐａは、待合室で休憩をしているか呼び出しを待っている状態と推測できるが、Ｐｆは、絶えず移動していると判断できる。また、その場所でのトータルの滞留時間を大きく越えている利用者は、単なる呼び出し待ちとは考えにくい。仮に６０分を利用者限度時間とするとＰｃ，Ｐｅ，Ｐｆがチェック対象となる。同様に、Ａｃｔ回数の多い（６回以上）人物についても、何の利用目的かを確認する必要と判断できる。これらのアクション情報をもとに、映像でその時刻と対象者および周辺の映像を確認することで、不測の事態やトラブル、また事故を予防し、迅速に対応することも期待できる。
【００７８】
図５および図６は、監視装置３のモニタ３６に表示する分析用の行動解析画面を説明する説明図である。
図５（Ａ）は、時間統計データファイル６２をグラフ化して表示した行動マトリクス表示画面６０の画面イメージを示す。
【００７９】
行動マトリクス表示画面６０は、ＡＣＴ情報と人物ＰｉのＸＹ平面に縦軸として滞留時間をＹ軸に追加した３次元の棒グラフ画面である。
これにより、どの人物がどのアクションをどれだけの時間行っていたか一覧表示して確認することができる。
【００８０】
また、人物別の総滞留時間が通常ありえる最大滞留時間６０ａを超えていないか、個別の位置での個別滞留時間が通常ありえる最大個別滞留時間６０ｂを超えていないかなど、特異点を視覚的に確認することができる。
【００８１】
図５（Ｂ）は、人物別行動解析画面７０の画面イメージを示す。
この人物別行動解析画面７０は、縦軸に人物Ｐｉをとり、横軸に時間をとったグラフであり、人物Ｐｉ毎に監視対象領域内にいた時間を矢印７１により示している。
【００８２】
この人物別行動解析画面７０には、監視対象領域内に存在したことに加え、所定条件を満たしている時間をさらに重ねて表示できる。例えば、図６（Ｂ）に示すように監視対象領域内に設置された自動販売機Ｇの付近にある一人の人物が停止していた時間をその人物のＰｉ情報から抽出し、図５（Ｂ）に示すように所定領域存在マーク７２により示すことができる。これにより、自動販売機Ｇの利用が多い時間帯を認識することや、自動販売機Ｇの利用者が自動販売機Ｇ前で停止する平均停止時間を求めるといったことができる。従って、通常の人物の行動か、不審者の人物の行動かを判定する基準の作成に役立てることができる。
【００８３】
このようにして判断できる行動意図としては、例えば、昼食を取っている、仮眠をしている、読書をしている、話をしている、などの集合的な行動パターンも判断できる。また、新たな行動パターンや混雑状況、安全性なども判断でき、注力すべき監視映像（撮影画像）を、発生頻度の低い長時間滞留や場所、時刻またその組み合わせなどに絞ることができて、効率的な監視業務が可能となる。
【００８４】
また、図６（Ａ）の滞留時間比較画面８０に示すように、滞留時間順に統計したグラフ表示を行うこともできる。
この滞留時間比較画面８０により、どれぐらいの滞留時間の人数が多いのかを把握することができる。また、その滞留時間で最も多い行動が何かを分析し、これを行動表示８２として滞留時間比較画面８０に表示することもできる。
【００８５】
ある滞留時間で最も多い行動は、行動データファイル６１および時間統計データファイル６２から判別することができる。すなわち、図２（Ｂ）に示す対象人Ｐａのように、停止が一度も無いのであれば通行人と判別できる。また、行動データファイル６１を参照して自動販売機付近で所定範囲内の時間の停止があれば自動販売機利用と判別できる。同様にゴミ箱利用も判別できる。
【００８６】
図６（Ｂ）の映像確認画面９０は、監視対象領域の映像を表示して実際の状況がどのようなものであったか確認するものである。
この映像確認画面９０には、広域映像の監視対象領域Ｅを画像処理技術によって画像変換した二次元の撮影画像そのものを大きく表示しており、画面下方に表示内容を調節する調節部が設けられている。
【００８７】
この調節部は、時間軸９３と、分析時間指定枠９４と、表示時刻スライダ９５とで構成されている。分析時間指定枠９４と、表示時刻スライダ９５は、いずれも時間軸９３上に配置されており、係員操作によって時間軸９３上での位置が変更されると、画面表示が変更時刻に対応した表示に変化する。
【００８８】
分析時間指定枠９４は、分析する時間範囲を指定する枠であり、図示の例では１２時少し前から１８時少し前までの時間範囲が指定されている。ここで指定された時間範囲で行動データファイル６１を集計することで、図示するように、ゴミ箱Ｂ、自動販売機Ｇ、ドアＤのそれぞれ周辺で、滞留（停止）した時間、滞留した回数、時刻、および位置からなるデータ表示部９２（９２ａ〜９２ｃ）と、その範囲の停止回数を棒グラフ表示する停止回数オブジェクト９１（９１ａ〜９１ｃ）を、撮影画像の上に重ねて表示することができる。ここでデータ表示部９２に表示するデータは、例えばある人物Ｐｉについてのデータとする、あるいは分析時間指定枠９４で指定された時間範囲に存在した全ての人物Ｐｉについての統計データとするなど、適宜切り替えることができる。
【００８９】
表示時刻スライダ９５は、表示する撮影画像の時刻を指定するスライダであり、スライド操作されて停止されると、時間軸９３におけるその停止位置の時刻の撮影画像を映像確認画面９０に表示する。
【００９０】
図７は、監視対象領域内の人物に対して動作要求し、その応答動作によって不審人物がいないか確認する目的確認処理のフローチャートである。このフローチャートは、管理サーバ２から連絡を受けたフィールド端末４が主に実行し、管理サーバ２も協力する。
【００９１】
この処理を行うトリガとして、管理サーバ２の特異点抽出部２４は、図２に示した特異点判定データファイル６３をもとに監視対象領域内の人物の行動に通常行動と異なる特異点がないか監視しており、特異点があると判定した場合に、情報出力部２５がフィールド端末４にその旨、および動作要求情報を連絡する。この動作要求情報は、特異点判定データファイル６３にチェック対象別（特異点別）に予め登録してあるため、そこから抽出するとよい。なお、別途のファイルに動作要求情報を登録しておき、そこから抽出する構成にしてもよい。
【００９２】
連絡を受けたフィールド端末４の制御部４２は、指示情報出力部４５によってモニタ４６に、図８（Ａ）に示す案内画面１００を表示させる（ステップＳ２１）。この案内画面１００は、監視対象領域に存在する人物に対して動作を求めるための動作要求情報を表示する画面であり、図示の例は病院の待合室での例を示している。
【００９３】
制御部４２は、該当し得る動作を順番に要求する。例えば、案内画面１００に「救急患者の方は手をあげてください。」という動作要求情報を表示し、緊急患者に挙手動作を要請する（ステップＳ２２）。
【００９４】
このとき、図８（Ｂ）のように監視対象領域に設置されたカメラ４４で撮影している撮影画像は、リアルタイムに管理サーバ２へ送信されており、管理サーバ２の動作認識部２３は、フィールド端末４が動作要求した動作を行った人物がいるか否かを動作認識部２３により認識する（ステップＳ２３）。この例では２値化画像のパターンマッチングにより挙手検知を行う。
【００９５】
この動作要求をした動作が行われたか否かの判定の際、管理サーバ２が検知した特異点に該当する人物が応答したのか、そうでない人物が応答したのかも検知する。この同一人物か否かの検知は、顔認識技術を利用する、あるいは撮影画像における人物の位置から同一人物か否か判別するなど、適宜の方法によって実行する。
【００９６】
フィールド端末４は、管理サーバ２から検知結果（挙手の有無、および挙手人数）を受け取り、挙手検知がなされていれば、看護師に連絡を行う（ステップＳ２４）。
【００９７】
フィールド端末４は、管理サーバ２の制御部２７から受け取る情報に従って、他の動作要求も続けて実行する。
この例では、「介助が必要な方は手を挙げてください。」と介助必要者に挙手要請をし（ステップＳ２５）、管理サーバ２で挙手検知し（ステップＳ２６）、検知できれば係員に連絡する（ステップＳ２７）。
【００９８】
次に、「○○様がいらっしゃいましたらお手を挙げてください。」と特定個人に挙手要請し（ステップＳ２８）、管理サーバ２で挙手検知し（ステップＳ２９）、検知できれば担当係員に連絡する（ステップＳ３０）。
【００９９】
次に、「薬だけの受取の方はいらっしゃいますか？」と薬の受取者に挙手要請をし（ステップＳ３１）、管理サーバ２で挙手検知をし（ステップＳ３２）、検知できれば行先案内を表示する（ステップＳ３３）。
【０１００】
なお、このように順番に動作要求をする処理は、全ての動作要求を順次実行する、人物の来場目的を予測して該当する可能性が高い動作要求から順番に行う、いずれかの動作要求で応答があれば要求を終了し応答がなければさらに別の動作要求をするなど、適宜の法則で実行する構成にすればよい。
【０１０１】
このようにして動作要請をした後、管理サーバ２の制御部２７は、人数計測を実行する（ステップＳ３４）。この人数計測では、挙手人数をすべて加算し、動作要請に対して応答した人物の合計人数（応答合計人数）を計測する。またこのとき、管理サーバ２の制御部２７は、監視対象領域内の総人数も取得しておく。
【０１０２】
制御部２７は、案内した目的以外の人物が存在するか否か判定する（ステップＳ３５）。この判定では、監視対象領域内の総人数から応答合計人数を減算し、ゼロになれば問題なく、ゼロにならなければ（総人数が多ければ）案内した目的以外の人物が存在すると判定できる。
【０１０３】
案内した目的以外の人物がいなければ（ステップＳ３５：Ｎｏ）、フィールド端末４にその他案内表示を行わせる（ステップＳ３６）などして処理を終了する。
【０１０４】
案内した目的以外の人物がいれば（ステップＳ３５：Ｙｅｓ）、制御部２７は、情報出力部２５により警告情報を係員の携帯端末５へ向けて送信し、係員にその人物の来場目的を確認させる（ステップＳ３７）。このとき、案内した目的以外の人物が、管理サーバ２によって特異点と判定された人物か否か判定しておき、この判定結果を携帯端末５に送信して係員に知らせておく。これにより、係員は、不審人物の可能性の高さを意識した上で来場目的の確認をすることができる。
【０１０５】
このように動作要請して確認することで、通常行動と異なる特異点が見つかった場合に、それが不審人物の行動なのか、通常は殆どないが有り得る行動（救急患者や介助必要者など）なのかを、人物に直接的に動作要求することで確認できる。また、自動確認しきれない場合は、係員によって確認することができる。
【０１０６】
以上の構成および動作により、監視対象領域の人物の行動を把握して、不審人物を容易に精度よく発見することができる。特に、挙手などの動作要求を行い、その応答を確認することで、不審人物なのかそうではないのかを自動的に精度よく判定することができる。
【０１０７】
また、動作要求による確認でも人物の来場目的を確認できない場合は、係員の出動要請によって人手で直接目的確認を行うことができる。
このようにして、不審人物の存在を発見することができ、防犯レベルを高めることができる。すなわち、犯罪が行われる前の事前調査に来たような不審人物をこの段階で検知できるため、犯罪を未然に防止することができる。
【０１０８】
また、動作要求に対する人物の応答が検知できなければ別の動作要求を行う構成とすることで、人物の来場目的を確認する確実性を高めることができる。
また、人物の行動を監視して特異点を検出するための撮影画像から、動作要求に対する応答の有無も検出できるため、特異点として検出した人物が動作要求に応答したのか他の人物が応答したのかを容易に判別することができるとともに、別途のハードウェアを使わずとも人物の来場目的を自動処理にて判別することができる。
【０１０９】
また、行動データファイル６１に残すデータを、移動開始時点と停止終了時点（次の移動開始時点）の２点のデータとするため、データ量を大幅に少なくすることができ、かつ、特異点の存在を精度よく発見することができる。すなわち、移動時間が通常より非常に長ければ立ち止まることなく監視対象領域でうろうろしていると判別する、停止時間が通常より非常に長ければ寝ているなど別目的と判別する、ドアの前で長時間停止していればドアに何か細工していると判別する、あるいは、移動と停止が短い時間で何度も行われていれば周辺を探っている不審人物と判別するなど、適宜の条件設定によって人物の目的を精度よく判別（推測）することができる。
【０１１０】
また、動作要求に対して応答したのが特異点の人物か否か判定するため、動作要求をするきっかけになった特異点の人物について、目的が確認できたのか否かを明確に判定することができる。そして、特異点の人物の目的が確認できた場合、この情報を蓄積、分析することで、この人物の目的と行動とを通常有り得る行動として新たに登録でき、不審者など本当に発見したい特異点の発見精度を高めることができる。
【０１１１】
また、特異点を自動的に発見できるため、監視装置３を用いて遠隔監視する監視員は、注力すべき必要なデータのみを呼び出し、モニタリングすることができる。このため、カメラ４４の設置台数が増加しても、全ての映像を同時に表示し監視し続けるための表示装置やネットワークの設備が膨大になることを防止できる。
【０１１２】
また、監視する監視員も、全てのカメラ４４の撮影映像を常時チェックしなくとも、特異点抽出部２４によりフィルタリングされた特異点だけチェックして負担軽減を行うことができる。
また、複数のカメラ４４の撮影画像を切り替えながら監視する方式のように、監視作業ミス（例えばあるカメラ４４の監視を忘れるなど）や精度の低下が発生することを防止できる。
【０１１３】
また、カメラ４４は定点カメラで特定場所の撮影画像を取得しているため、その場所で人の行動を容易にパターン化することができ、特異点を容易に発見することができる。
【０１１４】
また、定点カメラであるカメラ４４の撮影画像には、待合室や通路などの場所固有の利用目的があり、人の行動や振る舞いにある程度の傾向が見られる。このように人の行動意図が推定しやすい場面に着目したことにより、逆に推定し難い情報（状況）を特異点抽出部２４によって判定することで排他的に得ることができる。このように特異点を抽出することで、監視員や関係者が目的とする注力範囲を絞ることができ、監視精度を向上させ、効率的な運用ができる。
【０１１５】
また、監視システム１は、人の滞留時間、移動、頻度などの行動、停止の繰り返しによる行動パターンから、人のその場所における利用者の意図を推定することができるため、適合性が低く推定が難しいパターンの場合を抽出して、映像監視することにより監視精度を向上させ、予防的処置、迅速な対応につなげることができる。
【０１１６】
また、監視対象領域内への人の入り、移動開始、停止、監視対象領域からの人の出を確認できるため、監視対象領域に入ってから出るまでの人の行動と方向を判別することができる。
【０１１７】
また、カメラ４４にフィッシュアイカメラを採用したため、できるだけ広い範囲を途切れることなく撮影できる。従って、同一人物の照合を容易に行うことができる。
また、フィッシュアイカメラであるカメラ４４を複数設置したため、人の移動による視覚を補完することができ、精度よく人の行動を把握することができる。
【０１１８】
また、複数のカメラ４４の撮影領域内を人が移動する際に、ＡＣＴ情報（特に、１つのカメラ４４の撮影領域から出る位置と次のカメラ４４の撮影領域に入る位置）を用いることで、少ないデータ量の交換で別カメラ４４に撮影されている同一人物を照合することができる。
【０１１９】
また、検出する行動として、例えば所定時間までの待機、待ち合わせ、休憩（読書、睡眠）、飲食、想定以上の長時間の滞留時間、移動回数の頻度、想定以上の人員数などを設定できるため、人の行動意図を自動的に解析できる。
【０１２０】
また、ＡＣＴ情報は、移動開始時と停止時に基づく量の少ない簡易なデータにより構成されているため、カメラや録画装置などの機器に各種機能を組み込んで分散処理システムを構築する場合にも有効である。
【０１２１】
また、案内画面１００を介して利用者とのコミュニケーションを取ることにより、どのような利用者がどの目的でその場所にいるかを把握することができる。
【０１２２】
また、行動目的として、様々な目的を判別することができる。例えば、停止位置Ｓ（ｘ，ｙ）が、ゴミ箱、自動販売機、受付などの特定場所であれば、その場所での所用時間ｔを見ることで、ゴミの回収作業や清掃と利用者とを判別することができる。他にも、列車の待合い場所に採用し、列車の発着時間との関連や平均列車ダイヤ時間での移動の有無を確認し、利用者の待ち時間Ｔｍａｘが利用者の停止時間Ｔａｃｔより長ければ、列車利用以外の目的と判別できる。また、複数の人のＡＣＴ情報が同時間でほぼ同一場所に集中していれば、グループの可能性があると判別することができる。
【０１２３】
また、移動と停止という単純な指標の組み合わせで人の行動パターンを判別するため、容易にシステム構築して導入することができる。また、通常の行動パターン以外の状況を抽出して対応することで、サービスの向上、安全確保、業務改善（利用者の動線変更）、人数の把握で混雑状況の解消対策などの検討に役立てることができる。
【０１２４】
このように、監視システム１は、映像情報である撮影画像１１から人の行動意図を予測し、不審行動や注意すべき状況を抽出することで、予防的処置が事前に行える支援機能を実現することができる。
【０１２５】
なお、上述の実施例では、映像確認画面９０に撮影画像を１つ表示する構成としたが、図９に示すように、複数表示する構成にしてもよい。この場合、特異点順に一覧表示すればよい。
これにより、特異点を一覧表示し、その特異点となっている人物が同一人物か否かなど、全体的な監視を効率よく行うことができる。
【０１２６】
また、カメラ４４を複数用いたが、１つで足りる場合は１つだけ利用する構成にしてもよい。この場合、図４に示した処理からステップＳ２〜Ｓ３を省略すればよい。
【０１２７】
また、案内画面１００による利用者とのコミュニケーションとして、クイズを行う構成にしてもよい。この場合、クイズにより利用者の反応を見ることで、利用者の目的を特定するとよい。利用者の返答方法は、専用の端末で入力させる、携帯電話で入力させる、登録済みのＩＣカードをリーダライタに読み込ませる、挙手をさせる、頭を振らせるなどのアクションとしてもよい。これらの反応行動をカメラ４４、または専用のリーダ、通信装置で受け取り、利用者の目的を特定すればよい。これにより、例えば待合室にて利用者の目的を確認し、想定外の人を発見することができる。そして、想定外の人には、監視員が退去を促すといったことができ、本来の利用者へのサービス低下を防止することができる。
【０１２８】
また、案内画面１００には、広告を流して、それ対応した行動を検知する構成にしてもよい。他にも、施設内のイベントや販売促進活動、また列車などの発車時刻の案内などの用途に案内画面１００を用いてもよい。
【０１２９】
また、カメラ４４を店舗の商品棚、カウンタ、休憩所や駅構内の待合室、掲示板、ホーム、または自動販売機などを撮影するように設置し、行動意図を判別すれば、展示物前や特定棚前での顧客の滞留時間やリピート回数など、販売促進において重要な情報を収集、分析することができる。また、万引きなどの不正行為の防止にも役立てることができる。
【０１３０】
また、駅や空港などの交通機関の待合室に設置下場合、慣れない場所や施設で無人の専用案内端末などがあっても扱い方がわからない場合に、案内画面１００で案内すれば、利用者はそれを見て目的を達成することができ、しかも不審者でないことを判別することができる。
【０１３１】
また、画像解析部２１と行動認識部２２は、管理サーバ２に設けたが、フィールド端末４に設ける構成としてもよい。この場合は、人物の人数や行動をフィールド端末４で認識することができる。
【実施例２】
【０１３２】
次に、上述した監視システム１をＡＴＭに採用した実施例２について説明する。この場合、図１に示したフィールド端末４がＡＴＭに相当する。監視システム１は、フィールド端末４としてＡＴＭが設置される点を除いて上述した実施例１と同一であるため、その構成についての詳細な説明を省略する。また、保存するデータやＰｉ情報の記憶についても上述した実施例１と同一であるため、その詳細な説明を省略する。
【０１３３】
図１０は、人物に対して動作要求する処理を含めたＡＴＭと管理サーバ２の動作を示すフローチャートである。
まず、管理サーバ２は、監視対象領域内を撮影した撮影画像１１をリアルタイムにチェックし、ＡＴＭの前で利用者が停止するまで待機する（ステップＳ４１：Ｎｏ）。
ＡＭＴの前に利用者が停止したことを検知すると（ステップＳ４１：Ｙｅｓ）、管理サーバ２は、停止位置Ｓ（ｘ，ｙ）を記憶し、所定時間が経過するまで待機した後、ＡＴＭの前に利用者が立って所定時間が経過したことをＡＴＭに通知する。
【０１３４】
ＡＴＭは、この通知を受けた後、利用者が操作開始したことを検知すれば（ステップＳ４２：Ｙｅｓ）、図１１（Ａ）に示す広告表示画面を表示する（ステップＳ４３）。そして、ＡＴＭは、図１１（Ｂ）に示すメニュー画面を表示し、ＡＴＭ操作を受け付けて処理を行い（ステップＳ４４）、処理を終了する。
【０１３５】
ステップＳ４２で操作開始されなかった場合（ステップＳ４２：Ｎｏ）、ＡＴＭは、図１１（Ｃ）に示すガイダンス画面を表示し、操作案内を行う（ステップＳ４５）。この画面では、ＡＴＭの使用目的を利用者が選択すれば、その後の操作を案内するようになっている。
【０１３６】
操作が開始（応答動作が実行）されれば（ステップＳ４６：Ｙｅｓ）、ＡＴＭはステップＳ４４に処理を進めてＡＴＭ操作を受け付ける。
【０１３７】
所定時間が経過しても操作が開始されなければ（ステップＳ４６：Ｎｏ）、ＡＴＭは、図１１（Ｄ）に示すように、別のガイダンス画面を表示する（ステップＳ４７）。このガイダンスは、「操作方法をご説明しますか」など、より簡単な内容にして利用者に問いかける内容としている。また、ＡＴＭは、オペレータと繋げ、オペレータの画像を画面表示し、オペレータが声で問いかけられる状態になる。このオペレータの声による問いかけにより、人が対応していることを利用者が認識できる。
【０１３８】
操作が開始（応答動作が実行）されれば（ステップＳ４８：Ｙｅｓ）、ＡＴＭはステップＳ４４に処理を進めてＡＴＭ操作を受け付ける。
所定時間が経過しても操作が開始されなければ（ステップＳ４８：Ｎｏ）、ＡＴＭは、係員による要員対応を行うか否か判定する（ステップＳ４９）。
【０１３９】
対応する場合（ステップＳ４９：Ｙｅｓ）、ＡＴＭは、係員に対して不審者がいることを通知して対応を要請する。この要請は、係員に持たせた携帯端末５にＡＴＭの番号と不審者の顔画像（カメラ４４で撮影したもの）と対応要請文章とを表示させることで実行するとよい。これを受けた係員が該当するＡＴＭの前に行き、利用者（不審者）に声をかける。利用者が操作のわからない点を説明した場合であれば、係員が説明しながらステップＳ４４のＡＴＭ操作を行う。
【０１４０】
要員対応をしない場合（ステップＳ５０：Ｎｏ）、ＡＴＭはそのまま処理を終了する。
【０１４１】
以上の構成および動作により、ＡＴＭにおいても実施例１と同様の作用効果を得ることができる。動作要求としてガイダンス表示して入力を求めることにより、その人物がＡＴＭの操作がわからないだけであれば自動応答で対応することができ、本当に不審者であればその入力をしないために不審者であると判別することができる。
【０１４２】
なお、ステップＳ４８とＳ４９の間に、他のガイダンス表示による操作入力の要求を何度か行う構成にしてもよい。この場合、さらに細かな案内を行ったうえで不審者と判断することができる。
【０１４３】
また、ＡＴＭの代わりにキオスク端末を用いる構成にしてもよい。この場合でも同一の作用効果を得ることができる。
【実施例３】
【０１４４】
次に、スタンドアロン構成にした場合について説明する。
図１２は、監視装置１１０の構成を示すブロック図である。
【０１４５】
監視装置１１０は、カメラ４４と、アクション情報記録部１１１と、人数計数部１１２と、挙手動作検出部１１３と、特異点抽出部１１４と、特異点モニタ１１５と、記憶部１１７と表示内容制御装置１１６と、モニタ４６とで構成されている。
カメラ４４とモニタ４６は、実施例１と同一であるので、その詳細な説明を省略する。
アクション情報記録部１１１は、実施例１の画像解析部２１と行動認識部２２と記憶部２６をあわせた機能を有しており、画像解析による人物の抽出、人物の移動や停止といった行動の解析、およびＰｉ情報の記憶を行う。
【０１４６】
人数計数部１１２は、アクション情報記録部１１１で認識した人物の人数を計数する。
挙手動作検出部１１３は、実施例１の動作認識部２３と同一の機能を有し、要求動作を実行したか否かの検出として挙手動作を検出する。
【０１４７】
特異点抽出部１１４は、実施例１の特異点抽出部２４と同一の機能を有し、特異点を抽出する。
特異点モニタ１１５は、実施例１の監視装置３のモニタ３６と同一の機能を有し、行動解析用の各種画面を表示する。
【０１４８】
記憶部１１７は、実施例１で説明した行動データファイル６１、時間統計データファイル６２、および特異点判定データファイル６３を記憶している。また、撮影画像１１で構成される画像データファイルも記憶している。
【０１４９】
表示内容制御装置１１６は、実施例１の情報出力部２５と同一の機能を有し、実施例１で説明した案内画面１００などをモニタ４６に表示させるように制御する。
【０１５０】
このように構成された監視装置１１０の動作は、管理サーバ２を用いずに全て監視装置１１０が実行することを除けば、実施例１で図４、図７とともに説明した動作と同一であるため、その詳細な説明を省略する。
【０１５１】
以上の構成および動作により、スタンドアロンの監視装置１１０単体で、実施例１と同一の作用効果を得ることができる。
【０１５２】
この発明の構成と、上述の実施形態との対応において、
この発明のコンピュータは、実施形態の管理サーバ２およびフィールド端末４に対応し、
以下同様に、
通信回線は、通信回線９に対応し、
行動情報取得手段は、画像解析部２１および行動認識部２２に対応し、
挙手判定手段は、動作認識部２３および挙手動作検出部１１３に対応し、
指定移動判定手段および操作入力手段は、動作認識部２３に対応し、
要請行動実行判定手段は、動作認識部２３または挙手動作検出部１１３に対応し、
判定手段は、特異点抽出部２４，１１４に対応し、
出力手段は、情報出力部２５に対応し、
所定行動要請手段は、情報出力部２５または表示内容制御装置１１６に対応し、
警告手段は、ステップＳ３７で警告情報を出力する情報出力部２５に対応し、
記憶手段は、記憶部２６，１１７に対応し、
監視プログラムは、制御部２７および制御部４２に記憶されているプログラムに対応し、
要請行動変更手段は、ステップＳ２２〜Ｓ３３を順次実行する制御部２７に対応し、
撮影手段は、カメラ４４に対応し、
アナウンス情報出力手段は、モニタ４６に対応し、
検出対象行動情報は、特異点判定データファイル６３に対応し、
監視装置は、監視装置１１０および監視システム１に対応し、
行動情報は、ＡＣＴ情報に対応し、
特異情報は、特異点情報に対応し、
アナウンス情報は、動作要求情報に対応し、
所定行動は、挙手、移動、操作入力に対応し、
動作情報は、挙手、移動、操作入力の検知情報に対応し、
画像認識処理は、ステップＳ２３，Ｓ２６，Ｓ２９，Ｓ３２のパターンマッチングに対応するが、
この発明は、上述の実施形態の構成のみに限定されるものではなく、多くの実施の形態を得ることができる。
【産業上の利用可能性】
【０１５３】
この発明は、商品販売を行う店舗、休憩所や駅構内の待合室、掲示板、鉄道のホーム、自動販売機周辺、企業の施設内など、行動目的を把握し不審者を発見する必要のある種々の場所にて利用することができる。
【符号の説明】
【０１５４】
１…監視システム、２…管理サーバ、４…フィールド端末、９…通信回線、１１…撮影画像、２１…画像解析部、２２…行動認識部、２３…動作認識部、２４，１１４…特異点抽出部、２５…情報出力部、２６，１１７…記憶部、２７，４２…制御部、４４…カメラ、４６…モニタ、６３…特異点判定データファイル、１１０…監視装置、１１３…挙手動作検出部、１１６…表示内容制御装置、Ｅ…監視対象領域
【技術分野】
【０００１】
この発明は、例えば監視対象となる領域における人物の行動を監視するような監視装置、監視システム、および監視プログラムに関する。
【背景技術】
【０００２】
従来、セキュリティシステムは、領域内に不審者が入らないように監視し、不審者が入った場合に、警報を鳴らして撃退するか通報により係員が出動することで、侵入者（不審者）の行動を制止している。
【０００３】
また、遠隔地で映像を監視する遠隔映像監視システムも提供されている。この遠隔映像監視システムは、集中監視センタでのモニタリングで、画像記録と常時監視を行っている。そして、通報などの不審者の検知信号に対して、映像で不審や異常の確認をする。
【０００４】
これらのシステムは、いずれも事件、事故の原因や対象となる不審者の特定を事後的に行うことを目的としている。
【０００５】
しかし、上述したようなシステムは、２４時間人が出入する公共施設や街頭において十分な機能を発揮できない。すなわち、犯罪などの事件発生後、画像記録の情報を元に犯人を特定するのを助けることはできても、本来の犯罪防止や予防的な処置にはあまり効果がない。
【０００６】
一方、犯罪等を未然に防ごうとすると、人の行動意図を予測し、不審な行動がないか確認することが役立つと考えられる。例えば計画的な犯行の場合、犯罪者は、事前に下見を行い、設置されている防犯用のシステムが機能できないように下準備（工作）してから行動に移すと考えられる。その際に不審な行動を行うと考えられるため、その不審な行動や注意すべき状況を発見することで、予防処置が可能になる。
【０００７】
ここで、人の行動予測を行うシステムとして、行動認識システムが提案されている（特許文献１参照）。この行動認識システムは、監視対象エリアを複数のブロックに分割し、各ブロックにて平均の移動時間や平均の静止時間と個人の行動を比較し、平均と大きく異なる場合に特異な行動と判定するものである。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００６−２２１３７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、上述の行動認識システムは、具体例として、監視対象エリアを分割したブロック単位で大多数の人の平均移動速度を求め、その平均移動速度と比較することで急いでいるか困っているかを判定することが記載されているにすぎないものであった。このため、急いでいる人や困っている人の発見は可能であっても、不審行動を行っている人物の発見に適したものではなかった。
【００１０】
この発明は、上述の問題に鑑み、様々なエリアに移動する可能性がある人の行動を把握して、不審人物を容易に精度よく発見することができる監視装置、監視システム、および監視プログラムを提供し、セキュリティレベルを向上させることを目的とする。
【課題を解決するための手段】
【００１１】
この発明は、監視対象領域を連続撮影して時系列に連続する撮影画像を取得する撮影手段と、前記連続する撮影画像から人物を抽出し、該人物の行動情報を取得する行動情報取得手段と、検出の対象となる検出対象行動を示す検出対象行動情報を記憶する記憶手段と、前記行動情報が前記検出対象行動に該当するか否か判定する判定手段と、該当すると判定した場合に特異情報を出力する出力手段とを備え、前記行動情報取得手段は、前記人物の移動と停止が切り替わったときの時刻と位置を取得し、この時刻と位置と移動か停止かの情報を前記行動情報とする構成である監視装置であることを特徴とする。
【００１２】
前記行動情報取得手段は、撮影画像からパターンマッチングや顔認証などの適宜の手法により人物を抽出する画像解析部と、該人物の移動や停止を検知する行動認識部とで構成することができる。
【００１３】
前記検出対象行動情報は、通常の行動ではない特異点であることを示す特異点情報、または、通常の行動を示す通常行動情報以外であることの情報など、検出対象を定めることができる適宜の情報とすることができる。
【００１４】
前記出力手段は、警告情報を表示する表示手段、警告音や警告音声を出力する音声出力手段、警告ランプを点灯または点滅させる発光手段など、係員などに警告する手段で構成することができる。
【００１５】
この発明により、人物の行動の目的を自動的に判別することが可能となり、不審人物などの検知対象人物を精度よく発見することができる。
【００１６】
この発明の態様として、前記監視対象領域内の人物に向けてアナウンス情報を出力するアナウンス情報出力手段と、前記判定手段により前記行動情報が前記検出対象行動に該当する人物がいると判定した場合に、該当人物に向けて前記アナウンス情報出力手段により所定行動を要請する所定行動要請手段を備えることができる。
【００１７】
前記アナウンス情報出力手段は、アナウンス情報を表示する表示手段、またはアナウンス情報を音声出力する音声出力手段など、監視対象領域内の人物に向けてアナウンスすることができる手段により構成することができる。
【００１８】
前記所定行動は、挙手、移動、操作入力など、適宜の行動に定めることができる。
前記所定行動要請手段は、前記アナウンス情報出力手段に出力する情報を制御する制御手段など、行動要請が可能な適宜の手段で構成することができる。
【００１９】
この態様により、人物に行動を要請することができ、その行動をとるかどうかを係員や監視員が目視確認する、あるいは画像処理により自動的に確認することで、その人物の行動目的や、不審者か否かなどを確認することができる。
【００２０】
この発明の態様として、前記所定行動要請手段により前記所定行動を要請した後、該当人物の動作を示す動作情報を前記行動情報取得手段により取得し、該動作情報から前記所定行動を取ったか否か判定する要請行動実行判定手段と、前記所定行動を取らなかった場合に警告出力を行う警告手段とを備えることができる。
【００２１】
前記行動情報取得手段は、前記撮影手段による撮影画像から画像認識処理により前記人物の動作を取得する手段、あるいは人物に入力操作させるタッチパネルや押下ボタンなどの適宜の入力手段など、行動情報を取得することができる手段により構成することができる。
【００２２】
前記要請行動実行判定手段は、前記画像認識処理により取得した前記人物の動作から所定動作を行ったか否か判定する手段、あるいは前記入力手段の入力が所定動作か否か判定する手段など、要請した行動を実行したか否か判定する手段で構成することができる。
【００２３】
この態様により、要請した行動を人物が実行したか否か機械的に判別することができ、行動目的をより精度よく判別することができる。また、通常の撮影画像からだけでは判断しきれない行動目的を前記所定行動の要請により明確にし、これを認識することができる。
【００２４】
またこの発明の態様として、前記所定行動をとらなかった場合に、前記所定行動要請手段により前記所定行動と異なる行動を要請する要請行動変更手段を備え、該異なる行動を取ったか否か前記要請行動実行判定手段により判定して該異なる行動を取らなかった場合に前記警告手段で警告出力する構成とすることができる。
【００２５】
これにより、人物の行動目的の候補が複数ある場合に、順番に行動要請してどの行動目的かを判別することが可能になる。
【００２６】
またこの発明の態様として、前記要請行動実行判定手段は、前記撮影手段が撮影した撮影画像から前記該当人物を認識し、該当人物が前記所定行動を取ったか否か画像認識処理によって判定する構成とすることができる。
【００２７】
これにより、移動や停止といった人物の行動に加え、行動要請に対する人物の応答も撮影手段を利用して判定することができるため、簡潔で安価な構成で実現することができる。また、行動認識（移動や停止）と応答認識（挙手など）を同じ撮影手段からの撮影画像によって認識することで、行動認識の際に撮影手段の撮影範囲内にいる人物が、行動要請に応答したか否かを確実に認識することができる。
【００２８】
またこの発明の態様として、前記所定行動は、挙手、指定位置への移動、または指定操作入力のいずれかであり、前記要請行動実行判定手段は、該当人物が挙手動作を行ったか否か判定する挙手判定手段、該当人物が指定位置へ移動したか否かを判定する指定移動判定手段、または、該当人物による指定操作入力を受け付ける操作入力手段により構成されることができる。
これにより、行動要請に対する応答を具体的に検知することができる。
【００２９】
またこの発明は、監視対象領域を有する施設に備えられるフィールド端末と、該フィールド端末と通信回線を通じて接続される管理サーバとで構成される監視システムであって、前記フィールド端末に、監視対象領域を連続撮影して時系列に連続する撮影画像を取得する撮影手段を備え、前記管理サーバに、前記連続する撮影画像から人物を抽出し、該人物の行動情報を取得する行動情報取得手段と、検出の対象となる検出対象行動を示す検出対象行動情報を記憶する記憶手段と、前記行動情報が前記検出対象行動に該当するか否か判定する判定手段と、該当すると判定した場合に特異情報を出力する出力手段とを備え、前記行動情報取得手段は、前記人物の移動と停止が切り替わったときの時刻と位置を取得し、この時刻と位置と移動か停止かの情報を前記行動情報とする構成である監視システムとすることができる。
これにより、遠隔地で不審行動などを監視することができる。
【００３０】
またこの発明は、コンピュータを、監視対象領域を連続撮影して時系列に連続する撮影画像を取得する撮影手段と、前記連続する撮影画像から人物を抽出し、該人物の行動情報を取得する行動情報取得手段と、検出の対象となる検出対象行動を示す検出対象行動情報を記憶する記憶手段と、前記行動情報が前記検出対象行動に該当するか否か判定する判定手段と、該当すると判定した場合に特異情報を出力する出力手段として機能させ、前記行動情報取得手段に、前記人物の移動と停止が切り替わったときの時刻と位置を取得し、この時刻と位置と移動か停止かの情報を前記行動情報とさせる監視プログラムとすることができる。
これにより、監視プログラムをコンピュータにインストールして人物の行動も目的を判定するシステムを構築することができる。
【発明の効果】
【００３１】
この発明により、人物の行動の目的を自動的に判別することが可能となり、不審人物などの検知対象人物を精度よく発見することができる。
【図面の簡単な説明】
【００３２】
【図１】監視システムのシステム構成を示すブロック図。
【図２】各種データのデータ構成図。
【図３】カメラによる撮影画像のイメージ図。
【図４】人物の行動認識を行う処理のフローチャート。
【図５】分析用の行動解析画面を説明する説明図。
【図６】分析用の行動解析画面を説明する説明図。
【図７】人物に動作要求して目的を確認する処理のフローチャート。
【図８】行動要請と応答認識の説明図。
【図９】複数の撮影画像を表示する映像確認画面の説明図。
【図１０】実施例２のＡＴＭと管理サーバの動作を示すフローチャート。
【図１１】ＡＴＭに表示する画面の説明図。
【図１２】実施例３の監視装置の構成を示すブロック図。
【発明を実施するための形態】
【００３３】
この発明の一実施形態を以下図面と共に説明する。
【実施例１】
【００３４】
図１は、監視システム１のシステム構成を示すブロック図である。
監視システム１は、管理サーバ２、監視装置３、フィールド端末４、および携帯端末５がインターネットなどの通信回線９により接続されて構成されている。
【００３５】
管理サーバ２は、画像解析部２１、行動認識部２２、動作認識部２３、特異点抽出部２４、情報出力部２５、記憶部２６、制御部２７、および通信部２８が設けられており、制御部２７に記憶されているプログラムに従って各種動作を行う。
【００３６】
画像解析部２１は、フィールド端末４のカメラ４４で取得した画像を解析し、解析結果を行動認識部２２に伝達する。この画像解析により、人数を計数すると共に、連続する撮影画像における同一人物を認定する。
【００３７】
行動認識部２２は、画像解析部２１による解析結果に基づいて、撮影画像に写っている各人物の行動を認識する。この行動認識により、監視対象領域に対して人物が入った時刻から出た時刻までの行動を行動データとして記憶部２６に記憶する。一人物のｎ回目の行動データＡｃｔ（ｎ）は、次の数１のように構成される。
【００３８】
［数１］
Ａｃｔ（ｎ）＝Ｔｓ，Ｔｅ，Ｍ（ｘ，ｙ），Ｓ（ｘ，ｙ）
※Ｍ（ｘ，ｙ）は移動開始位置、
Ｓ（ｘ，ｙ）は停止位置（Ｓの停止時刻の最小は、例えば１０秒など一定時間に定める）
Ｔｓは移動開始時刻、
Ｔｅは停止時刻
【００３９】
動作認識部２３は、画像解析部２１による解析結果に基づいて、撮影画像に写っている各人物の動作を認識する。この認識する動作は、例えば挙手動作、うなずき動作、立ち動作、指定位置への移動動作など、適宜の動作とすることができる。挙手動作やうなずき動作や立ち動作といったその場での動作を認識する場合、予め用意したテンプレート画像と人物画像とのパターンマッチングにより認識することができる。
【００４０】
特異点抽出部２４は、前記行動データから、予め定めた特異な行動パターンに合致する特異点を抽出し、抽出結果を特異点情報として情報出力部２５および制御部２７に送信する。この特異な行動パターンは、例えば常識外の停止時間、移動時間、移動と停止の頻度など、適宜設定しておくことができる。
【００４１】
情報出力部２５は、特異点抽出部２４で取得した特異点に基づいて、通信部２８を介して情報を出力する。
【００４２】
記憶部２６は、図２のデータ構成図に示すように、行動認識部２２が認識した行動データを記憶する行動データファイル６１、この行動データから対象人別に滞留時間を統計した時間統計データを記憶する時間統計データファイル６２、および特異点抽出部２４が特異点の判定に利用する特異点判定データを記憶する特異点判定データファイル６３が記憶されている。また、撮影画像１１で構成される画像データファイルも記憶されている。
【００４３】
行動データファイル６１は、対象人別かつ行動別に行動データを記憶しており、対象人、Act_No.、Ts、Te、M(x,y)、S(x,y)により構成されている。
【００４４】
時間統計データファイル６２は、対象人別に行動データをまとめたデータであり、行動毎の時間と、これらを合計した滞留時間と、移動回数とを記憶している。
【００４５】
特異点判定データファイル６３は、特異点として判定するための基準となる判定基準データを記憶しており、チェック対象、条件、内容、および動作要求情報により構成されている。
【００４６】
制御部２７（図１参照）は、各種制御動作を実行する。
通信部２８は、情報出力部２５が出力した情報を、通信回線９からフィールド端末４へ送信する。
【００４７】
この構成により、管理サーバ２は、画像解析と行動認識と動作認識を行うことができ、特異点を発見することができる。
【００４８】
監視装置３は、制御部３１、通信部３２、操作入力受付部３３、監視情報出力部３４、キーボード３５、および、モニタ３６を備えており、制御部３１２に記憶されているプログラムに従って各種動作を実行する。
【００４９】
制御部３１は、各種制御動作を実行する。
通信部３２は、通信回線９を通じてデータの送受信を行う。
操作入力受付部３３は、係員がキーボード３５や図示省略するマウスで操作された操作入力を受け付ける。
【００５０】
監視情報出力部３４は、監視している監視情報をモニタ３６に出力する。
モニタ３６は、前記監視情報出力部３４から取得した監視情報を表示する。
【００５１】
この構成により、監視装置３は、管理サーバ２で管理しているデータに基づいてフィールド端末４のカメラ４４による撮影可能領域で発生している状況を監視することができる。特異点が管理サーバ２によって判定された場合、この特異点の出力も行えるため、監視員がリアルタイムに監視して不審者等を確認することができる。
【００５２】
フィールド端末４は、通信部４１、制御部４２、画像取得部４３、カメラ４４、指示情報出力部４５、モニタ４６、操作入力受付部４７、およびキーボード４８により構成されており、制御部４２に記憶されているプログラムに従って各種動作を実行する。
【００５３】
通信部４１は、通信回線９を通じて管理サーバ２や監視装置３と通信を実行する。
制御部４２は、各種制御動作を実行する。
【００５４】
画像取得部４３は、カメラ４４で撮影した撮影画像を取得する。
カメラ４４は、制御部４２からの撮影指示に従って撮影を実行する。このカメラ４４は、例えばフィッシュアイカメラ（超広角カメラもしくは全方位カメラ）とすることが好ましい。このフィッシュアイカメラは、図３に示すように１８０度の広域映像の撮影画像１１（１１Ａ，１１Ｂ）を得ることができる。そして、この広域映像の監視対象領域Ｅを画像処理技術によって画像変換することで、後述の図６（Ａ）に示すように通常の二次元画像とすることができる。
【００５５】
指示情報出力部４５は、人物に対する指示をモニタ４６に表示する。
モニタ４６は、適宜のアナウンスが表示される。
【００５６】
操作入力受付部４７は、人物がキーボード４８を操作して入力受け付けた操作データを記憶する構成である。
キーボード４８は、アルファベットや数字など適宜の文字を入力することができる。
【００５７】
この構成により、フィールド端末４は、カメラ４４で監視対象領域を撮影し、その撮影映像を管理サーバ２へ送信することができる。また、管理サーバ２から情報を取得し、この情報をモニタ４６に表示することができる。
【００５８】
携帯端末５は、通信部５１、制御部５２、入力部５３、および表示部５４により構成されている。
【００５９】
通信部５１は、通信回線９を通じて管理サーバ２や監視装置３と通信を実行する。
制御部５２は、各種制御動作を実行する。
【００６０】
入力部５３は、監視対象領域の係員（警備員）などによる操作入力を受け付ける。
表示部５４は、不審者がいることや、不審者の撮影映像などを表示することができる。
この構成により、携帯端末５は、係員に異常を知らせることができる。
【００６１】
図４は、管理サーバ２の画像解析部２１と行動認識部が人物の行動認識を行う処理のフローチャートである。この実施例では、複数のカメラ４４で撮影した複数の撮影画像１１を用いて行動認識する場合について説明する。
【００６２】
画像解析部２１は、フィールド端末４の１台のカメラ４４で撮影された撮影画像１１（例えば図３に示す撮影画像１１Ａ）を制御部２７から受け取り、人物の認識を行う（ステップＳ１）。
【００６３】
この認識は、例えば撮影画像１１を２値化（シルエット化）し、パターンマッチングにより人物らしき形状を見つけて人物と認識する、顔認識技術によって人物の顔を認識する、あるいはこれらを組み合わせるなど、公知の技術を適宜利用して実行する。
【００６４】
画像解析部２１は、別のカメラ４４で撮影された撮影画像１１（例えば図３に示す撮影画像１１Ｂ）における人物と同一人物か否かの照合を行う（ステップＳ２）。
【００６５】
この照合は、例えば公知の顔認証技術など、適宜の認証技術を用いるとよい。また、図３に示す連結部Ｃのように、別のカメラ４４の撮影領域と重なっているか近い部分で同じ時刻に存在していれば同一人物と判定するなど、位置情報を用いて同一人物か否かを判定してもよい。このように位置情報を用いる方法や顔認証技術を用いる方法は、トイレや倉庫、棚などの遮蔽物による一時的なカメラ４４の死角が存在する場合に有効である。
【００６６】
別のカメラ４４で撮影した人物と同一人物であるとＰｉ情報の照合ができれば（ステップＳ２：Ｙｅｓ）、画像解析部２１は、そのＰｉ情報を読み込み、ステップＳ８へ処理を進める（ステップＳ３）。
【００６７】
同一人物が存在していなかった場合（ステップＳ２：Ｎｏ）、画像解析部２１は、新しく番号（ｉ）を付与（例えば「ｋ」）して新しい人物のＰｉ情報（例えば「Ｐｋ」）とし、行動認識部２２へ処理を渡す。
【００６８】
行動認識部２２は、ステップＳ１で照合された人物について、撮影画像１１から移動開始位置Ｍ(ｘ,ｙ）、および移動開始時刻Ｔｓを読み込む（ステップＳ４）。
【００６９】
ここで、移動の有無の判断は、連続する全ての撮影画像との差分による変化点を用いる公知の技術により行うとよい。このとき、人間形状（大きさ：こどもから大人また同サイズのバッグなども対象となる）で照合し、人の認識処理結果とするとよい。
【００７０】
行動認識部２２は、連続する撮影画像から、その人物の停止または監視対象領域外への退出が検知されるまで、次の撮影画像に進めて待機する（ステップＳ５：Ｎｏ）。
【００７１】
この停止の検知は、連続する撮影画像におけるその人物の位置の変化がゼロまたは所定範囲内（例えば１０秒間で１０ｃｍ以内など）となった場合に停止と検知するとよい。また、監視対象領域外への退出の検知は、撮影画像におけるＸ軸またはＹ軸の値が予め定まった境界値（領域の境界の値）に達した場合に退出と検知するとよい。
なお、この停止検知または退出検知までの間は、確認する撮影画像を次々に進めていき、この間、行動データファイル６１に登録せずにデータを少なくしている。
【００７２】
順次確認している撮影画像のどこかで人物の停止または退出が検知されると（ステップＳ５：Ｙｅｓ）、行動認識部２２は、その撮影画像における人物の停止位置Ｓ（ｘ，ｙ）を読み込む（ステップＳ６）。そして、行動認識部２２は、その停止を検知した撮影画像の撮影時刻である停止時刻Ｔｅを読み込む（ステップＳ７）。なお、退出の場合は、退出した位置を停止位置Ｓ（ｘ，ｙ）とし、退出した時刻を停止時刻Ｔｅとするとよい。
【００７３】
行動認識部２２は、その人物（Ｐｉ情報）のＡＣＴ情報として、取得した移動開始位置Ｍ(ｘ,ｙ）、移動開始時刻Ｔｓ、停止位置Ｓ（ｘ，ｙ）、停止時刻Ｔｅを記憶部２６の行動データファイル６１に記憶する（ステップＳ８）。このＡＣＴ情報は、移動開始から停止終了までの一区切りのデータとしている。これによって行動データファイル６１に登録するデータ量を少なくし、しかも適切なデータを残せるようにしている。
【００７４】
行動認識部２２は、ステップＳ５で監視対象領域の外への退出を検知していない場合（ステップＳ９：Ｎｏ）、移動開始を検知するまで待機する（ステップＳ１０：Ｎｏ）。この移動開始を検知するまでの間は、確認する撮影画像を次々に進めていき、この間、行動データファイル６１に登録せずにデータを少なくしている。
移動開始を検知すると（ステップＳ１０：Ｙｅｓ），ステップＳ４に処理を戻して再度ＡＣＴ情報の行動データファイル６１への記録（ステップＳ４〜Ｓ８）を実行する。
【００７５】
監視対象領域の外への退出を検知していた場合（ステップＳ９：Ｙｅｓ）、行動認識部２２は、作成したＡＣＴ情報からなるＰｉ情報（その人物についての連続する全てのＡＣＴ情報）を、制御部２７を通じて記憶部２６へ転送し（ステップＳ１１）、処理を終了する。
【００７６】
これにより、図２（Ａ）に示した行動データファイル６１にデータを蓄積することができる。
蓄積した行動データファイル６１について対象人Ｐｉ別に統計を取ると、図２（Ｂ）に示す時間統計データファイル６２ができる。この時間統計データファイル６２から、様々な分析を行うことが可能になる。
【００７７】
図２（Ｂ）の例は、Ｐａ〜Ｐｆの８人の利用者の滞留時間の計測を行った場合を示している。Ｐａは、待合室で休憩をしているか呼び出しを待っている状態と推測できるが、Ｐｆは、絶えず移動していると判断できる。また、その場所でのトータルの滞留時間を大きく越えている利用者は、単なる呼び出し待ちとは考えにくい。仮に６０分を利用者限度時間とするとＰｃ，Ｐｅ，Ｐｆがチェック対象となる。同様に、Ａｃｔ回数の多い（６回以上）人物についても、何の利用目的かを確認する必要と判断できる。これらのアクション情報をもとに、映像でその時刻と対象者および周辺の映像を確認することで、不測の事態やトラブル、また事故を予防し、迅速に対応することも期待できる。
【００７８】
図５および図６は、監視装置３のモニタ３６に表示する分析用の行動解析画面を説明する説明図である。
図５（Ａ）は、時間統計データファイル６２をグラフ化して表示した行動マトリクス表示画面６０の画面イメージを示す。
【００７９】
行動マトリクス表示画面６０は、ＡＣＴ情報と人物ＰｉのＸＹ平面に縦軸として滞留時間をＹ軸に追加した３次元の棒グラフ画面である。
これにより、どの人物がどのアクションをどれだけの時間行っていたか一覧表示して確認することができる。
【００８０】
また、人物別の総滞留時間が通常ありえる最大滞留時間６０ａを超えていないか、個別の位置での個別滞留時間が通常ありえる最大個別滞留時間６０ｂを超えていないかなど、特異点を視覚的に確認することができる。
【００８１】
図５（Ｂ）は、人物別行動解析画面７０の画面イメージを示す。
この人物別行動解析画面７０は、縦軸に人物Ｐｉをとり、横軸に時間をとったグラフであり、人物Ｐｉ毎に監視対象領域内にいた時間を矢印７１により示している。
【００８２】
この人物別行動解析画面７０には、監視対象領域内に存在したことに加え、所定条件を満たしている時間をさらに重ねて表示できる。例えば、図６（Ｂ）に示すように監視対象領域内に設置された自動販売機Ｇの付近にある一人の人物が停止していた時間をその人物のＰｉ情報から抽出し、図５（Ｂ）に示すように所定領域存在マーク７２により示すことができる。これにより、自動販売機Ｇの利用が多い時間帯を認識することや、自動販売機Ｇの利用者が自動販売機Ｇ前で停止する平均停止時間を求めるといったことができる。従って、通常の人物の行動か、不審者の人物の行動かを判定する基準の作成に役立てることができる。
【００８３】
このようにして判断できる行動意図としては、例えば、昼食を取っている、仮眠をしている、読書をしている、話をしている、などの集合的な行動パターンも判断できる。また、新たな行動パターンや混雑状況、安全性なども判断でき、注力すべき監視映像（撮影画像）を、発生頻度の低い長時間滞留や場所、時刻またその組み合わせなどに絞ることができて、効率的な監視業務が可能となる。
【００８４】
また、図６（Ａ）の滞留時間比較画面８０に示すように、滞留時間順に統計したグラフ表示を行うこともできる。
この滞留時間比較画面８０により、どれぐらいの滞留時間の人数が多いのかを把握することができる。また、その滞留時間で最も多い行動が何かを分析し、これを行動表示８２として滞留時間比較画面８０に表示することもできる。
【００８５】
ある滞留時間で最も多い行動は、行動データファイル６１および時間統計データファイル６２から判別することができる。すなわち、図２（Ｂ）に示す対象人Ｐａのように、停止が一度も無いのであれば通行人と判別できる。また、行動データファイル６１を参照して自動販売機付近で所定範囲内の時間の停止があれば自動販売機利用と判別できる。同様にゴミ箱利用も判別できる。
【００８６】
図６（Ｂ）の映像確認画面９０は、監視対象領域の映像を表示して実際の状況がどのようなものであったか確認するものである。
この映像確認画面９０には、広域映像の監視対象領域Ｅを画像処理技術によって画像変換した二次元の撮影画像そのものを大きく表示しており、画面下方に表示内容を調節する調節部が設けられている。
【００８７】
この調節部は、時間軸９３と、分析時間指定枠９４と、表示時刻スライダ９５とで構成されている。分析時間指定枠９４と、表示時刻スライダ９５は、いずれも時間軸９３上に配置されており、係員操作によって時間軸９３上での位置が変更されると、画面表示が変更時刻に対応した表示に変化する。
【００８８】
分析時間指定枠９４は、分析する時間範囲を指定する枠であり、図示の例では１２時少し前から１８時少し前までの時間範囲が指定されている。ここで指定された時間範囲で行動データファイル６１を集計することで、図示するように、ゴミ箱Ｂ、自動販売機Ｇ、ドアＤのそれぞれ周辺で、滞留（停止）した時間、滞留した回数、時刻、および位置からなるデータ表示部９２（９２ａ〜９２ｃ）と、その範囲の停止回数を棒グラフ表示する停止回数オブジェクト９１（９１ａ〜９１ｃ）を、撮影画像の上に重ねて表示することができる。ここでデータ表示部９２に表示するデータは、例えばある人物Ｐｉについてのデータとする、あるいは分析時間指定枠９４で指定された時間範囲に存在した全ての人物Ｐｉについての統計データとするなど、適宜切り替えることができる。
【００８９】
表示時刻スライダ９５は、表示する撮影画像の時刻を指定するスライダであり、スライド操作されて停止されると、時間軸９３におけるその停止位置の時刻の撮影画像を映像確認画面９０に表示する。
【００９０】
図７は、監視対象領域内の人物に対して動作要求し、その応答動作によって不審人物がいないか確認する目的確認処理のフローチャートである。このフローチャートは、管理サーバ２から連絡を受けたフィールド端末４が主に実行し、管理サーバ２も協力する。
【００９１】
この処理を行うトリガとして、管理サーバ２の特異点抽出部２４は、図２に示した特異点判定データファイル６３をもとに監視対象領域内の人物の行動に通常行動と異なる特異点がないか監視しており、特異点があると判定した場合に、情報出力部２５がフィールド端末４にその旨、および動作要求情報を連絡する。この動作要求情報は、特異点判定データファイル６３にチェック対象別（特異点別）に予め登録してあるため、そこから抽出するとよい。なお、別途のファイルに動作要求情報を登録しておき、そこから抽出する構成にしてもよい。
【００９２】
連絡を受けたフィールド端末４の制御部４２は、指示情報出力部４５によってモニタ４６に、図８（Ａ）に示す案内画面１００を表示させる（ステップＳ２１）。この案内画面１００は、監視対象領域に存在する人物に対して動作を求めるための動作要求情報を表示する画面であり、図示の例は病院の待合室での例を示している。
【００９３】
制御部４２は、該当し得る動作を順番に要求する。例えば、案内画面１００に「救急患者の方は手をあげてください。」という動作要求情報を表示し、緊急患者に挙手動作を要請する（ステップＳ２２）。
【００９４】
このとき、図８（Ｂ）のように監視対象領域に設置されたカメラ４４で撮影している撮影画像は、リアルタイムに管理サーバ２へ送信されており、管理サーバ２の動作認識部２３は、フィールド端末４が動作要求した動作を行った人物がいるか否かを動作認識部２３により認識する（ステップＳ２３）。この例では２値化画像のパターンマッチングにより挙手検知を行う。
【００９５】
この動作要求をした動作が行われたか否かの判定の際、管理サーバ２が検知した特異点に該当する人物が応答したのか、そうでない人物が応答したのかも検知する。この同一人物か否かの検知は、顔認識技術を利用する、あるいは撮影画像における人物の位置から同一人物か否か判別するなど、適宜の方法によって実行する。
【００９６】
フィールド端末４は、管理サーバ２から検知結果（挙手の有無、および挙手人数）を受け取り、挙手検知がなされていれば、看護師に連絡を行う（ステップＳ２４）。
【００９７】
フィールド端末４は、管理サーバ２の制御部２７から受け取る情報に従って、他の動作要求も続けて実行する。
この例では、「介助が必要な方は手を挙げてください。」と介助必要者に挙手要請をし（ステップＳ２５）、管理サーバ２で挙手検知し（ステップＳ２６）、検知できれば係員に連絡する（ステップＳ２７）。
【００９８】
次に、「○○様がいらっしゃいましたらお手を挙げてください。」と特定個人に挙手要請し（ステップＳ２８）、管理サーバ２で挙手検知し（ステップＳ２９）、検知できれば担当係員に連絡する（ステップＳ３０）。
【００９９】
次に、「薬だけの受取の方はいらっしゃいますか？」と薬の受取者に挙手要請をし（ステップＳ３１）、管理サーバ２で挙手検知をし（ステップＳ３２）、検知できれば行先案内を表示する（ステップＳ３３）。
【０１００】
なお、このように順番に動作要求をする処理は、全ての動作要求を順次実行する、人物の来場目的を予測して該当する可能性が高い動作要求から順番に行う、いずれかの動作要求で応答があれば要求を終了し応答がなければさらに別の動作要求をするなど、適宜の法則で実行する構成にすればよい。
【０１０１】
このようにして動作要請をした後、管理サーバ２の制御部２７は、人数計測を実行する（ステップＳ３４）。この人数計測では、挙手人数をすべて加算し、動作要請に対して応答した人物の合計人数（応答合計人数）を計測する。またこのとき、管理サーバ２の制御部２７は、監視対象領域内の総人数も取得しておく。
【０１０２】
制御部２７は、案内した目的以外の人物が存在するか否か判定する（ステップＳ３５）。この判定では、監視対象領域内の総人数から応答合計人数を減算し、ゼロになれば問題なく、ゼロにならなければ（総人数が多ければ）案内した目的以外の人物が存在すると判定できる。
【０１０３】
案内した目的以外の人物がいなければ（ステップＳ３５：Ｎｏ）、フィールド端末４にその他案内表示を行わせる（ステップＳ３６）などして処理を終了する。
【０１０４】
案内した目的以外の人物がいれば（ステップＳ３５：Ｙｅｓ）、制御部２７は、情報出力部２５により警告情報を係員の携帯端末５へ向けて送信し、係員にその人物の来場目的を確認させる（ステップＳ３７）。このとき、案内した目的以外の人物が、管理サーバ２によって特異点と判定された人物か否か判定しておき、この判定結果を携帯端末５に送信して係員に知らせておく。これにより、係員は、不審人物の可能性の高さを意識した上で来場目的の確認をすることができる。
【０１０５】
このように動作要請して確認することで、通常行動と異なる特異点が見つかった場合に、それが不審人物の行動なのか、通常は殆どないが有り得る行動（救急患者や介助必要者など）なのかを、人物に直接的に動作要求することで確認できる。また、自動確認しきれない場合は、係員によって確認することができる。
【０１０６】
以上の構成および動作により、監視対象領域の人物の行動を把握して、不審人物を容易に精度よく発見することができる。特に、挙手などの動作要求を行い、その応答を確認することで、不審人物なのかそうではないのかを自動的に精度よく判定することができる。
【０１０７】
また、動作要求による確認でも人物の来場目的を確認できない場合は、係員の出動要請によって人手で直接目的確認を行うことができる。
このようにして、不審人物の存在を発見することができ、防犯レベルを高めることができる。すなわち、犯罪が行われる前の事前調査に来たような不審人物をこの段階で検知できるため、犯罪を未然に防止することができる。
【０１０８】
また、動作要求に対する人物の応答が検知できなければ別の動作要求を行う構成とすることで、人物の来場目的を確認する確実性を高めることができる。
また、人物の行動を監視して特異点を検出するための撮影画像から、動作要求に対する応答の有無も検出できるため、特異点として検出した人物が動作要求に応答したのか他の人物が応答したのかを容易に判別することができるとともに、別途のハードウェアを使わずとも人物の来場目的を自動処理にて判別することができる。
【０１０９】
また、行動データファイル６１に残すデータを、移動開始時点と停止終了時点（次の移動開始時点）の２点のデータとするため、データ量を大幅に少なくすることができ、かつ、特異点の存在を精度よく発見することができる。すなわち、移動時間が通常より非常に長ければ立ち止まることなく監視対象領域でうろうろしていると判別する、停止時間が通常より非常に長ければ寝ているなど別目的と判別する、ドアの前で長時間停止していればドアに何か細工していると判別する、あるいは、移動と停止が短い時間で何度も行われていれば周辺を探っている不審人物と判別するなど、適宜の条件設定によって人物の目的を精度よく判別（推測）することができる。
【０１１０】
また、動作要求に対して応答したのが特異点の人物か否か判定するため、動作要求をするきっかけになった特異点の人物について、目的が確認できたのか否かを明確に判定することができる。そして、特異点の人物の目的が確認できた場合、この情報を蓄積、分析することで、この人物の目的と行動とを通常有り得る行動として新たに登録でき、不審者など本当に発見したい特異点の発見精度を高めることができる。
【０１１１】
また、特異点を自動的に発見できるため、監視装置３を用いて遠隔監視する監視員は、注力すべき必要なデータのみを呼び出し、モニタリングすることができる。このため、カメラ４４の設置台数が増加しても、全ての映像を同時に表示し監視し続けるための表示装置やネットワークの設備が膨大になることを防止できる。
【０１１２】
また、監視する監視員も、全てのカメラ４４の撮影映像を常時チェックしなくとも、特異点抽出部２４によりフィルタリングされた特異点だけチェックして負担軽減を行うことができる。
また、複数のカメラ４４の撮影画像を切り替えながら監視する方式のように、監視作業ミス（例えばあるカメラ４４の監視を忘れるなど）や精度の低下が発生することを防止できる。
【０１１３】
また、カメラ４４は定点カメラで特定場所の撮影画像を取得しているため、その場所で人の行動を容易にパターン化することができ、特異点を容易に発見することができる。
【０１１４】
また、定点カメラであるカメラ４４の撮影画像には、待合室や通路などの場所固有の利用目的があり、人の行動や振る舞いにある程度の傾向が見られる。このように人の行動意図が推定しやすい場面に着目したことにより、逆に推定し難い情報（状況）を特異点抽出部２４によって判定することで排他的に得ることができる。このように特異点を抽出することで、監視員や関係者が目的とする注力範囲を絞ることができ、監視精度を向上させ、効率的な運用ができる。
【０１１５】
また、監視システム１は、人の滞留時間、移動、頻度などの行動、停止の繰り返しによる行動パターンから、人のその場所における利用者の意図を推定することができるため、適合性が低く推定が難しいパターンの場合を抽出して、映像監視することにより監視精度を向上させ、予防的処置、迅速な対応につなげることができる。
【０１１６】
また、監視対象領域内への人の入り、移動開始、停止、監視対象領域からの人の出を確認できるため、監視対象領域に入ってから出るまでの人の行動と方向を判別することができる。
【０１１７】
また、カメラ４４にフィッシュアイカメラを採用したため、できるだけ広い範囲を途切れることなく撮影できる。従って、同一人物の照合を容易に行うことができる。
また、フィッシュアイカメラであるカメラ４４を複数設置したため、人の移動による視覚を補完することができ、精度よく人の行動を把握することができる。
【０１１８】
また、複数のカメラ４４の撮影領域内を人が移動する際に、ＡＣＴ情報（特に、１つのカメラ４４の撮影領域から出る位置と次のカメラ４４の撮影領域に入る位置）を用いることで、少ないデータ量の交換で別カメラ４４に撮影されている同一人物を照合することができる。
【０１１９】
また、検出する行動として、例えば所定時間までの待機、待ち合わせ、休憩（読書、睡眠）、飲食、想定以上の長時間の滞留時間、移動回数の頻度、想定以上の人員数などを設定できるため、人の行動意図を自動的に解析できる。
【０１２０】
また、ＡＣＴ情報は、移動開始時と停止時に基づく量の少ない簡易なデータにより構成されているため、カメラや録画装置などの機器に各種機能を組み込んで分散処理システムを構築する場合にも有効である。
【０１２１】
また、案内画面１００を介して利用者とのコミュニケーションを取ることにより、どのような利用者がどの目的でその場所にいるかを把握することができる。
【０１２２】
また、行動目的として、様々な目的を判別することができる。例えば、停止位置Ｓ（ｘ，ｙ）が、ゴミ箱、自動販売機、受付などの特定場所であれば、その場所での所用時間ｔを見ることで、ゴミの回収作業や清掃と利用者とを判別することができる。他にも、列車の待合い場所に採用し、列車の発着時間との関連や平均列車ダイヤ時間での移動の有無を確認し、利用者の待ち時間Ｔｍａｘが利用者の停止時間Ｔａｃｔより長ければ、列車利用以外の目的と判別できる。また、複数の人のＡＣＴ情報が同時間でほぼ同一場所に集中していれば、グループの可能性があると判別することができる。
【０１２３】
また、移動と停止という単純な指標の組み合わせで人の行動パターンを判別するため、容易にシステム構築して導入することができる。また、通常の行動パターン以外の状況を抽出して対応することで、サービスの向上、安全確保、業務改善（利用者の動線変更）、人数の把握で混雑状況の解消対策などの検討に役立てることができる。
【０１２４】
このように、監視システム１は、映像情報である撮影画像１１から人の行動意図を予測し、不審行動や注意すべき状況を抽出することで、予防的処置が事前に行える支援機能を実現することができる。
【０１２５】
なお、上述の実施例では、映像確認画面９０に撮影画像を１つ表示する構成としたが、図９に示すように、複数表示する構成にしてもよい。この場合、特異点順に一覧表示すればよい。
これにより、特異点を一覧表示し、その特異点となっている人物が同一人物か否かなど、全体的な監視を効率よく行うことができる。
【０１２６】
また、カメラ４４を複数用いたが、１つで足りる場合は１つだけ利用する構成にしてもよい。この場合、図４に示した処理からステップＳ２〜Ｓ３を省略すればよい。
【０１２７】
また、案内画面１００による利用者とのコミュニケーションとして、クイズを行う構成にしてもよい。この場合、クイズにより利用者の反応を見ることで、利用者の目的を特定するとよい。利用者の返答方法は、専用の端末で入力させる、携帯電話で入力させる、登録済みのＩＣカードをリーダライタに読み込ませる、挙手をさせる、頭を振らせるなどのアクションとしてもよい。これらの反応行動をカメラ４４、または専用のリーダ、通信装置で受け取り、利用者の目的を特定すればよい。これにより、例えば待合室にて利用者の目的を確認し、想定外の人を発見することができる。そして、想定外の人には、監視員が退去を促すといったことができ、本来の利用者へのサービス低下を防止することができる。
【０１２８】
また、案内画面１００には、広告を流して、それ対応した行動を検知する構成にしてもよい。他にも、施設内のイベントや販売促進活動、また列車などの発車時刻の案内などの用途に案内画面１００を用いてもよい。
【０１２９】
また、カメラ４４を店舗の商品棚、カウンタ、休憩所や駅構内の待合室、掲示板、ホーム、または自動販売機などを撮影するように設置し、行動意図を判別すれば、展示物前や特定棚前での顧客の滞留時間やリピート回数など、販売促進において重要な情報を収集、分析することができる。また、万引きなどの不正行為の防止にも役立てることができる。
【０１３０】
また、駅や空港などの交通機関の待合室に設置下場合、慣れない場所や施設で無人の専用案内端末などがあっても扱い方がわからない場合に、案内画面１００で案内すれば、利用者はそれを見て目的を達成することができ、しかも不審者でないことを判別することができる。
【０１３１】
また、画像解析部２１と行動認識部２２は、管理サーバ２に設けたが、フィールド端末４に設ける構成としてもよい。この場合は、人物の人数や行動をフィールド端末４で認識することができる。
【実施例２】
【０１３２】
次に、上述した監視システム１をＡＴＭに採用した実施例２について説明する。この場合、図１に示したフィールド端末４がＡＴＭに相当する。監視システム１は、フィールド端末４としてＡＴＭが設置される点を除いて上述した実施例１と同一であるため、その構成についての詳細な説明を省略する。また、保存するデータやＰｉ情報の記憶についても上述した実施例１と同一であるため、その詳細な説明を省略する。
【０１３３】
図１０は、人物に対して動作要求する処理を含めたＡＴＭと管理サーバ２の動作を示すフローチャートである。
まず、管理サーバ２は、監視対象領域内を撮影した撮影画像１１をリアルタイムにチェックし、ＡＴＭの前で利用者が停止するまで待機する（ステップＳ４１：Ｎｏ）。
ＡＭＴの前に利用者が停止したことを検知すると（ステップＳ４１：Ｙｅｓ）、管理サーバ２は、停止位置Ｓ（ｘ，ｙ）を記憶し、所定時間が経過するまで待機した後、ＡＴＭの前に利用者が立って所定時間が経過したことをＡＴＭに通知する。
【０１３４】
ＡＴＭは、この通知を受けた後、利用者が操作開始したことを検知すれば（ステップＳ４２：Ｙｅｓ）、図１１（Ａ）に示す広告表示画面を表示する（ステップＳ４３）。そして、ＡＴＭは、図１１（Ｂ）に示すメニュー画面を表示し、ＡＴＭ操作を受け付けて処理を行い（ステップＳ４４）、処理を終了する。
【０１３５】
ステップＳ４２で操作開始されなかった場合（ステップＳ４２：Ｎｏ）、ＡＴＭは、図１１（Ｃ）に示すガイダンス画面を表示し、操作案内を行う（ステップＳ４５）。この画面では、ＡＴＭの使用目的を利用者が選択すれば、その後の操作を案内するようになっている。
【０１３６】
操作が開始（応答動作が実行）されれば（ステップＳ４６：Ｙｅｓ）、ＡＴＭはステップＳ４４に処理を進めてＡＴＭ操作を受け付ける。
【０１３７】
所定時間が経過しても操作が開始されなければ（ステップＳ４６：Ｎｏ）、ＡＴＭは、図１１（Ｄ）に示すように、別のガイダンス画面を表示する（ステップＳ４７）。このガイダンスは、「操作方法をご説明しますか」など、より簡単な内容にして利用者に問いかける内容としている。また、ＡＴＭは、オペレータと繋げ、オペレータの画像を画面表示し、オペレータが声で問いかけられる状態になる。このオペレータの声による問いかけにより、人が対応していることを利用者が認識できる。
【０１３８】
操作が開始（応答動作が実行）されれば（ステップＳ４８：Ｙｅｓ）、ＡＴＭはステップＳ４４に処理を進めてＡＴＭ操作を受け付ける。
所定時間が経過しても操作が開始されなければ（ステップＳ４８：Ｎｏ）、ＡＴＭは、係員による要員対応を行うか否か判定する（ステップＳ４９）。
【０１３９】
対応する場合（ステップＳ４９：Ｙｅｓ）、ＡＴＭは、係員に対して不審者がいることを通知して対応を要請する。この要請は、係員に持たせた携帯端末５にＡＴＭの番号と不審者の顔画像（カメラ４４で撮影したもの）と対応要請文章とを表示させることで実行するとよい。これを受けた係員が該当するＡＴＭの前に行き、利用者（不審者）に声をかける。利用者が操作のわからない点を説明した場合であれば、係員が説明しながらステップＳ４４のＡＴＭ操作を行う。
【０１４０】
要員対応をしない場合（ステップＳ５０：Ｎｏ）、ＡＴＭはそのまま処理を終了する。
【０１４１】
以上の構成および動作により、ＡＴＭにおいても実施例１と同様の作用効果を得ることができる。動作要求としてガイダンス表示して入力を求めることにより、その人物がＡＴＭの操作がわからないだけであれば自動応答で対応することができ、本当に不審者であればその入力をしないために不審者であると判別することができる。
【０１４２】
なお、ステップＳ４８とＳ４９の間に、他のガイダンス表示による操作入力の要求を何度か行う構成にしてもよい。この場合、さらに細かな案内を行ったうえで不審者と判断することができる。
【０１４３】
また、ＡＴＭの代わりにキオスク端末を用いる構成にしてもよい。この場合でも同一の作用効果を得ることができる。
【実施例３】
【０１４４】
次に、スタンドアロン構成にした場合について説明する。
図１２は、監視装置１１０の構成を示すブロック図である。
【０１４５】
監視装置１１０は、カメラ４４と、アクション情報記録部１１１と、人数計数部１１２と、挙手動作検出部１１３と、特異点抽出部１１４と、特異点モニタ１１５と、記憶部１１７と表示内容制御装置１１６と、モニタ４６とで構成されている。
カメラ４４とモニタ４６は、実施例１と同一であるので、その詳細な説明を省略する。
アクション情報記録部１１１は、実施例１の画像解析部２１と行動認識部２２と記憶部２６をあわせた機能を有しており、画像解析による人物の抽出、人物の移動や停止といった行動の解析、およびＰｉ情報の記憶を行う。
【０１４６】
人数計数部１１２は、アクション情報記録部１１１で認識した人物の人数を計数する。
挙手動作検出部１１３は、実施例１の動作認識部２３と同一の機能を有し、要求動作を実行したか否かの検出として挙手動作を検出する。
【０１４７】
特異点抽出部１１４は、実施例１の特異点抽出部２４と同一の機能を有し、特異点を抽出する。
特異点モニタ１１５は、実施例１の監視装置３のモニタ３６と同一の機能を有し、行動解析用の各種画面を表示する。
【０１４８】
記憶部１１７は、実施例１で説明した行動データファイル６１、時間統計データファイル６２、および特異点判定データファイル６３を記憶している。また、撮影画像１１で構成される画像データファイルも記憶している。
【０１４９】
表示内容制御装置１１６は、実施例１の情報出力部２５と同一の機能を有し、実施例１で説明した案内画面１００などをモニタ４６に表示させるように制御する。
【０１５０】
このように構成された監視装置１１０の動作は、管理サーバ２を用いずに全て監視装置１１０が実行することを除けば、実施例１で図４、図７とともに説明した動作と同一であるため、その詳細な説明を省略する。
【０１５１】
以上の構成および動作により、スタンドアロンの監視装置１１０単体で、実施例１と同一の作用効果を得ることができる。
【０１５２】
この発明の構成と、上述の実施形態との対応において、
この発明のコンピュータは、実施形態の管理サーバ２およびフィールド端末４に対応し、
以下同様に、
通信回線は、通信回線９に対応し、
行動情報取得手段は、画像解析部２１および行動認識部２２に対応し、
挙手判定手段は、動作認識部２３および挙手動作検出部１１３に対応し、
指定移動判定手段および操作入力手段は、動作認識部２３に対応し、
要請行動実行判定手段は、動作認識部２３または挙手動作検出部１１３に対応し、
判定手段は、特異点抽出部２４，１１４に対応し、
出力手段は、情報出力部２５に対応し、
所定行動要請手段は、情報出力部２５または表示内容制御装置１１６に対応し、
警告手段は、ステップＳ３７で警告情報を出力する情報出力部２５に対応し、
記憶手段は、記憶部２６，１１７に対応し、
監視プログラムは、制御部２７および制御部４２に記憶されているプログラムに対応し、
要請行動変更手段は、ステップＳ２２〜Ｓ３３を順次実行する制御部２７に対応し、
撮影手段は、カメラ４４に対応し、
アナウンス情報出力手段は、モニタ４６に対応し、
検出対象行動情報は、特異点判定データファイル６３に対応し、
監視装置は、監視装置１１０および監視システム１に対応し、
行動情報は、ＡＣＴ情報に対応し、
特異情報は、特異点情報に対応し、
アナウンス情報は、動作要求情報に対応し、
所定行動は、挙手、移動、操作入力に対応し、
動作情報は、挙手、移動、操作入力の検知情報に対応し、
画像認識処理は、ステップＳ２３，Ｓ２６，Ｓ２９，Ｓ３２のパターンマッチングに対応するが、
この発明は、上述の実施形態の構成のみに限定されるものではなく、多くの実施の形態を得ることができる。
【産業上の利用可能性】
【０１５３】
この発明は、商品販売を行う店舗、休憩所や駅構内の待合室、掲示板、鉄道のホーム、自動販売機周辺、企業の施設内など、行動目的を把握し不審者を発見する必要のある種々の場所にて利用することができる。
【符号の説明】
【０１５４】
１…監視システム、２…管理サーバ、４…フィールド端末、９…通信回線、１１…撮影画像、２１…画像解析部、２２…行動認識部、２３…動作認識部、２４，１１４…特異点抽出部、２５…情報出力部、２６，１１７…記憶部、２７，４２…制御部、４４…カメラ、４６…モニタ、６３…特異点判定データファイル、１１０…監視装置、１１３…挙手動作検出部、１１６…表示内容制御装置、Ｅ…監視対象領域
【特許請求の範囲】
【請求項１】
監視対象領域を連続撮影して時系列に連続する撮影画像を取得する撮影手段と、
前記連続する撮影画像から人物を抽出し、該人物の行動情報を取得する行動情報取得手段と、
検出の対象となる検出対象行動を示す検出対象行動情報を記憶する記憶手段と、
前記行動情報が前記検出対象行動に該当するか否か判定する判定手段と、
該当すると判定した場合に特異情報を出力する出力手段とを備え、
前記行動情報取得手段は、前記人物の移動と停止が切り替わったときの時刻と位置を取得し、この時刻と位置と移動か停止かの情報を前記行動情報とする構成である
監視装置。
【請求項２】
前記監視対象領域内の人物に向けてアナウンス情報を出力するアナウンス情報出力手段と、
前記判定手段により前記行動情報が前記検出対象行動に該当する人物がいると判定した場合に、該当人物に向けて前記アナウンス情報出力手段により所定行動を要請する所定行動要請手段を備えた
請求項１記載の監視装置。
【請求項３】
前記所定行動要請手段により前記所定行動を要請した後、該当人物の動作を示す動作情報を前記行動情報取得手段により取得し、該動作情報から前記所定行動を取ったか否か判定する要請行動実行判定手段と、
前記所定行動を取らなかった場合に警告出力を行う警告手段とを備えた
請求項２記載の監視装置。
【請求項４】
前記所定行動をとらなかった場合に、前記所定行動要請手段により前記所定行動と異なる行動を要請する要請行動変更手段を備え、
該異なる行動を取ったか否か前記要請行動実行判定手段により判定して該異なる行動を取らなかった場合に前記警告手段で警告出力する構成とした
請求項３記載の監視装置。
【請求項５】
前記要請行動実行判定手段は、
前記撮影手段が撮影した撮影画像から前記該当人物を認識し、
該当人物が前記所定行動を取ったか否か画像認識処理によって判定する構成である
請求項３または４記載の監視装置。
【請求項６】
前記所定行動は、挙手、指定位置への移動、または指定操作入力のいずれかであり、
前記要請行動実行判定手段は、該当人物が挙手動作を行ったか否か判定する挙手判定手段、該当人物が指定位置へ移動したか否かを判定する指定移動判定手段、または、該当人物による指定操作入力を受け付ける操作入力手段により構成された
請求項３または４記載の監視装置。
【請求項７】
監視対象領域を有する施設に備えられるフィールド端末と、該フィールド端末と通信回線を通じて接続される管理サーバとで構成される監視システムであって、
前記フィールド端末に、
監視対象領域を連続撮影して時系列に連続する撮影画像を取得する撮影手段を備え、
前記管理サーバに、
前記連続する撮影画像から人物を抽出し、該人物の行動情報を取得する行動情報取得手段と、
検出の対象となる検出対象行動を示す検出対象行動情報を記憶する記憶手段と、
前記行動情報が前記検出対象行動に該当するか否か判定する判定手段と、
該当すると判定した場合に特異情報を出力する出力手段とを備え、
前記行動情報取得手段は、前記人物の移動と停止が切り替わったときの時刻と位置を取得し、この時刻と位置と移動か停止かの情報を前記行動情報とする構成である
監視システム。
【請求項８】
コンピュータを、
監視対象領域を連続撮影して時系列に連続する撮影画像を取得する撮影手段と、
前記連続する撮影画像から人物を抽出し、該人物の行動情報を取得する行動情報取得手段と、
検出の対象となる検出対象行動を示す検出対象行動情報を記憶する記憶手段と、
前記行動情報が前記検出対象行動に該当するか否か判定する判定手段と、
該当すると判定した場合に特異情報を出力する出力手段として機能させ、
前記行動情報取得手段に、前記人物の移動と停止が切り替わったときの時刻と位置を取得し、この時刻と位置と移動か停止かの情報を前記行動情報とさせる
監視プログラム。
【請求項１】
監視対象領域を連続撮影して時系列に連続する撮影画像を取得する撮影手段と、
前記連続する撮影画像から人物を抽出し、該人物の行動情報を取得する行動情報取得手段と、
検出の対象となる検出対象行動を示す検出対象行動情報を記憶する記憶手段と、
前記行動情報が前記検出対象行動に該当するか否か判定する判定手段と、
該当すると判定した場合に特異情報を出力する出力手段とを備え、
前記行動情報取得手段は、前記人物の移動と停止が切り替わったときの時刻と位置を取得し、この時刻と位置と移動か停止かの情報を前記行動情報とする構成である
監視装置。
【請求項２】
前記監視対象領域内の人物に向けてアナウンス情報を出力するアナウンス情報出力手段と、
前記判定手段により前記行動情報が前記検出対象行動に該当する人物がいると判定した場合に、該当人物に向けて前記アナウンス情報出力手段により所定行動を要請する所定行動要請手段を備えた
請求項１記載の監視装置。
【請求項３】
前記所定行動要請手段により前記所定行動を要請した後、該当人物の動作を示す動作情報を前記行動情報取得手段により取得し、該動作情報から前記所定行動を取ったか否か判定する要請行動実行判定手段と、
前記所定行動を取らなかった場合に警告出力を行う警告手段とを備えた
請求項２記載の監視装置。
【請求項４】
前記所定行動をとらなかった場合に、前記所定行動要請手段により前記所定行動と異なる行動を要請する要請行動変更手段を備え、
該異なる行動を取ったか否か前記要請行動実行判定手段により判定して該異なる行動を取らなかった場合に前記警告手段で警告出力する構成とした
請求項３記載の監視装置。
【請求項５】
前記要請行動実行判定手段は、
前記撮影手段が撮影した撮影画像から前記該当人物を認識し、
該当人物が前記所定行動を取ったか否か画像認識処理によって判定する構成である
請求項３または４記載の監視装置。
【請求項６】
前記所定行動は、挙手、指定位置への移動、または指定操作入力のいずれかであり、
前記要請行動実行判定手段は、該当人物が挙手動作を行ったか否か判定する挙手判定手段、該当人物が指定位置へ移動したか否かを判定する指定移動判定手段、または、該当人物による指定操作入力を受け付ける操作入力手段により構成された
請求項３または４記載の監視装置。
【請求項７】
監視対象領域を有する施設に備えられるフィールド端末と、該フィールド端末と通信回線を通じて接続される管理サーバとで構成される監視システムであって、
前記フィールド端末に、
監視対象領域を連続撮影して時系列に連続する撮影画像を取得する撮影手段を備え、
前記管理サーバに、
前記連続する撮影画像から人物を抽出し、該人物の行動情報を取得する行動情報取得手段と、
検出の対象となる検出対象行動を示す検出対象行動情報を記憶する記憶手段と、
前記行動情報が前記検出対象行動に該当するか否か判定する判定手段と、
該当すると判定した場合に特異情報を出力する出力手段とを備え、
前記行動情報取得手段は、前記人物の移動と停止が切り替わったときの時刻と位置を取得し、この時刻と位置と移動か停止かの情報を前記行動情報とする構成である
監視システム。
【請求項８】
コンピュータを、
監視対象領域を連続撮影して時系列に連続する撮影画像を取得する撮影手段と、
前記連続する撮影画像から人物を抽出し、該人物の行動情報を取得する行動情報取得手段と、
検出の対象となる検出対象行動を示す検出対象行動情報を記憶する記憶手段と、
前記行動情報が前記検出対象行動に該当するか否か判定する判定手段と、
該当すると判定した場合に特異情報を出力する出力手段として機能させ、
前記行動情報取得手段に、前記人物の移動と停止が切り替わったときの時刻と位置を取得し、この時刻と位置と移動か停止かの情報を前記行動情報とさせる
監視プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−２７２９５８（Ｐ２０１０−２７２９５８Ａ）
【公開日】平成２２年１２月２日（２０１０．１２．２）
【国際特許分類】
【出願番号】特願２００９−１２１０３０（Ｐ２００９−１２１０３０）
【出願日】平成２１年５月１９日（２００９．５．１９）
【出願人】（５０９１４０８２５）株式会社デュース・テクノロジーズ (3)
【Ｆターム（参考）】
【公開日】平成２２年１２月２日（２０１０．１２．２）
【国際特許分類】
【出願日】平成２１年５月１９日（２００９．５．１９）
【出願人】（５０９１４０８２５）株式会社デュース・テクノロジーズ (3)
【Ｆターム（参考）】
[ Back to top ]