監視システム、および監視サーバ
【課題】その状態が異常であると推定された不審者や不審物等のオブジェクトが検出されたときに、そのオブジェクトに対する対応指示を迅速、且つ適正に行う監視システムを提供する。
【解決手段】監視サーバ２は、携帯端末３毎に、その携帯端末３の位置を管理する携帯端末位置管理テーブルを記憶している。また、監視サーバ２は、オブジェクトの異常状態の種類を分類した項目毎に、そのオブジェクトに対する対応指示を通知する携帯端末３を決定する条件を登録した異常状態分類テーブルを記憶している。監視サーバ２は、監視カメラ端末１から異常状態であるオブジェクトの検出にかかる通報があると、携帯端末位置管理テーブル、および異常状態分類テーブルを用いて、そのオブジェクトに対する対応を指示する携帯端末３を判断する。監視サーバ２は、ここで判断した携帯端末３に対して、異常状態であることが通報されてきたオブジェクトに対する対応指示を送信する。
【解決手段】監視サーバ２は、携帯端末３毎に、その携帯端末３の位置を管理する携帯端末位置管理テーブルを記憶している。また、監視サーバ２は、オブジェクトの異常状態の種類を分類した項目毎に、そのオブジェクトに対する対応指示を通知する携帯端末３を決定する条件を登録した異常状態分類テーブルを記憶している。監視サーバ２は、監視カメラ端末１から異常状態であるオブジェクトの検出にかかる通報があると、携帯端末位置管理テーブル、および異常状態分類テーブルを用いて、そのオブジェクトに対する対応を指示する携帯端末３を判断する。監視サーバ２は、ここで判断した携帯端末３に対して、異常状態であることが通報されてきたオブジェクトに対する対応指示を送信する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、駅、ショッピングセンタ、アミューズメント施設等の不特定多数の人が集まる場所を監視し、その状態が異常であると推定される人や物等のオブジェクトの検出を行うとともに、その状態が異常であると推定されたオブジェクトを検出したときに、その旨を警備員等に通報する監視システム、および監視サーバに関する。
【背景技術】
【０００２】
従来、監視カメラ端末を用いて、不審者や、不審物等の検出を行う監視システムが、駅、ショッピングセンタ、アミューズメント施設等の不特定多数の人が集まる公共の場所で利用されている。
【０００３】
監視カメラ端末は、自端末に割り当てられている監視対象エリアを撮像した撮像画像を処理し、撮像されているオブジェクト（人や物）の状態が予め定めた異常状態であるかどうかを推定する。監視カメラ端末は、その状態が異常状態であると推定したオブジェクトを、不審者や、不審物等として検出する。また、従来の監視システムは、監視カメラ端末の撮像画像を、警備室等に設置したモニタに表示し、検出された不審者や不審物を係員（監視員）が確認できるようにしている。
【０００４】
また、複数の監視カメラ端末を利用し、不審者や不審物の検出、追跡を広域にわたって行う監視システムも提案されている。この監視システムでは、各監視カメラ端末が、追跡している不審者が自端末の撮像エリア（監視対象エリア）から、他の監視カメラ端末の撮像エリアに移動するときに、この他の監視カメラ端末と連携し、当該不審者の追跡の引き継ぎを行っている（特許文献１、２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３８１４７７９号公報
【特許文献２】特許第３９９９５６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の監視システムでは、警備室等に設置されているモニタをみている監視員が、監視エリアを巡回している警備員等に対して、検出された不審者や不審物等に対する対応を指示していた。具体的には、監視員は、不審者や不審物が検出されたときに、その不審者や不審物が検出された場所（以下、現場と言う。）、検出された不審者や不審物の状態（予め定めた異常状態の種類）、監視エリア内を巡回している各警備員の現在位置等に基づいて、検出された不審者や不審物に対応する警備員を判断する。そして、監視員は、ここで判断した警備員に対して、検出された不審者や不審物の対応を指示していた。警備員は、携帯端末を所持しており、この携帯端末で、不審者や不審物に対する対応指示を受ける。
【０００７】
不審物（放置物）や、現場に留まっている不審者であれば、対応を指示する警備員は、現場に最も近い位置にいる警備員が好ましい。一方、現場から離れる方向に移動している不審者（特に、現場から逃走している不審者）であれば、対応を指示する警備員は、この不審者に最も近い位置にいる警備員よりも、この不審者が逃走している方向にいる警備員のほうが好ましい。
【０００８】
監視員による、検出された不審者に対する対応の指示が遅れると、当該不審者を取り逃がすことにもなる。したがって、監視員は、検出された不審者や不審物に対する対応指示を、迅速、且つ適性に行うために、モニタに表示されている監視カメラ端末の画像から、現場、不審者や不審物の状態、警備員の位置等をすぐに判断しなければならず、負担が大きかった。
【０００９】
この発明の目的は、その状態が異常であると推定された不審者や不審物等のオブジェクトが検出されたときに、そのオブジェクトに対する対応指示を迅速、且つ適正に行う監視システム、および監視サーバを提供することにある。
【課題を解決するための手段】
【００１０】
この発明は、上記課題を解決し、その目的を達するために以下ように構成している。
【００１１】
監視カメラ端末と、監視サーバと、は有線、または無線でデータ通信が行える。監視カメラ端末は、撮像手段が自端末に割り当てられている監視対象エリアを撮像し、追跡手段が撮像画像を処理し、撮像されているオブジェクトを抽出するとともに、そのオブジェクトを監視対象エリア内において追跡する。また、状態推定手段において、追跡しているオブジェクトの状態が、予め定めている監視サーバへの通報が必要な種類の異常状態であるかどうかを推定する。予め定めている監視サーバへの通報が必要な種類の異常状態としては、そのオブジェクトが人であれば、喧嘩、徘徊、座り込み、自動改札機の不正通行等であり、そのオブジェクトが物であれば、放置等である。監視カメラ端末は、オブジェクトについて状態推定手段が推定した状態が、予め定めている監視サーバへの通報が必要な種類の異常状態であれば、通報手段がその旨を監視サーバに通報する。
【００１２】
一方、監視サーバは、登録している携帯端末毎に、その携帯端末の位置を管理する携帯端末位置管理テーブル、およびオブジェクトの異常状態の種類を分類した項目毎に、オブジェクトに対する対応指示を通知する携帯端末を決定する条件を登録した異常状態分類テーブルを記憶手段に記憶している。携帯端末は、この監視システムが監視する監視エリア内を巡回する警備員が携帯する端末であり、監視サーバから送信されてきた指示を受けることができる。
【００１３】
なお、携帯端末は、例えば数分毎に自端末の位置を検出し、監視サーバに通知する構成とすればよい。そして、監視サーバは、この携帯端末から通知される位置を、携帯端末位置管理テーブルで管理すればよい。
【００１４】
また、携帯端末と監視カメラ端末間が通信できるシステムとし、監視サーバは各監視カメラ端末と携帯端末の通信状況から、携帯端末のおよその位置を管理することでもよい。
【００１５】
また、異常状態分類テーブルでは、例えば、対応の緊急性が必要であるかどうか、および、異常状態であると推定したオブジェクトがその位置から離れる方向に移動しているかどうかや、さらには、異常状態であると推定した場所である現場の確認が必要であるかどうかによって、項目分けし、項目毎に、その項目に属する異常状態の種類、および対応指示を通知する携帯端末を決定する条件を登録している。
【００１６】
そして、監視サーバは、監視カメラ端末から、オブジェクトが異常状態である旨の通報があれば、通知先決定手段が、記憶手段に記憶している携帯端末位置管理テーブル、および異常状態分類テーブルを用いて、このオブジェクトに対する対応指示を通知する携帯端末を決定する。そして、送信手段が、通知先決定手段が決定した携帯端末に対して、異常状態であるオブジェクトに対する対応指示を送信する。
【００１７】
このように、監視サーバが、巡回している警備員の位置を管理し、監視カメラ端末によって異常状態である不審者や不審物が検出されたときには、その異常状態の種類や、警備員の位置に応じて、対応を指示する警備員を判断し、この警備員が所持している携帯端末に対応指示を送信する。したがって、その状態が異常であると推定された不審者や不審物等のオブジェクトが検出されたときに、そのオブジェクトに対する対応指示が迅速、且つ適正に行える。
【発明の効果】
【００１８】
この発明によれば、その状態が異常であると推定された不審者や不審物等のオブジェクトが検出されたときに、そのオブジェクトに対する対応指示が迅速、且つ適正に行える。
【図面の簡単な説明】
【００１９】
【図１】監視システムの構成を示す概略図である。
【図２】監視カメラ端末の主要部の構成を示すブロック図である。
【図３】監視サーバの主要部の構成を示すブロック図である。
【図４】携帯端末の主要部の構成を示すブロック図である。
【図５】隣接する２つの監視カメラ端末に割り当てている監視対象エリアを示す図である。
【図６】監視カメラ端末における追跡処理を示すフローチャートである。
【図７】オブジェクトマップを示す図である。
【図８】ＩＤ確定処理を示すフローチャートである。
【図９】姿勢マップを示す図である。
【図１０】監視カメラの撮像画像と、場所情報の設定例を示す図である。
【図１１】監視カメラの撮像画像と、場所情報の設定例を示す図である。
【図１２】姿勢マップ作成処理を示すフローチャートである。
【図１３】異常状態であると推定する処理を説明する図である。
【図１４】異常状態であると推定する処理を説明する図である。
【図１５】異常状態であると推定する処理を説明する図である。
【図１６】携帯端末の動作を示すフローチャートである。
【図１７】携帯端末位置管理テーブルを示す図である。
【図１８】異常状態分類テーブルを示す図である。
【図１９】監視サーバの動作を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、この発明の実施形態にかかる監視システムについて説明する。
【００２１】
図１は、この監視システムの構成を示す概略図である。この監視システムは、複数の監視カメラ端末１（１ａ、１ｂ、１ｃ、１ｄ・・・）と、監視サーバ２と、複数の携帯端末３（３ａ、３ｂ・・・）と、を備えている。監視カメラ端末１間では、直接、または他の監視カメラ端末１を介してデータ通信が行える。また、監視カメラ端末１と、監視サーバ２との間でも、直接、または他の監視カメラ端末１を介してデータ通信が行える。さらに、監視サーバ２と、携帯端末３との間でも、直接、または監視カメラ端末１を介してデータ通信が行える。監視カメラ端末１、および携帯端末３には、固有のＩＤが付与されており、監視サーバ２は、このＩＤによって監視カメラ端末１、および携帯端末３を識別する。
【００２２】
なお、監視カメラ端末１と、携帯端末３との間でも、直接、または他の監視カメラ端末１を介してデータ通信が行える。また、少なくとも携帯端末３におけるデータ通信は、無線通信で行う構成であるが、監視カメラ端末１間や、監視カメラ端末１と監視サーバ２との間におけるデータ通信は、無線で行う構成であってもよいし、有線で行う構成であってもよい。ここでは、機器間のデータ通信は無線で行うものとして説明する。
【００２３】
各監視カメラ端末１には、この監視システムで監視するエリアの一部が監視対象エリアとして割り当てられている。監視カメラ端末１は、自端末に割り当てられている監視対象エリアの撮像画像を処理し、撮像されているオブジェクト（人や物）の抽出し、抽出したオブジェクトの状態を推定する。また、各監視カメラ端末１は、推定したオブジェクトの状態が予め定められている通報が必要な状態（異常状態）であれば、その旨を監視サーバ２に通報する。
【００２４】
携帯端末３は、この監視システムで監視するエリアを巡回している警備員が所持する。携帯端末３は、公知のＧＰＳを利用して、自端末の現在位置を取得することができる。携帯端末３の位置は、この携帯端末３を所持している警備員の位置である。また、携帯端末３は、定期的（例えば、数分（１〜３分）間隔）に、ＧＰＳを利用して自端末の現在位置を取得し、監視サーバ２に通知する。
【００２５】
監視サーバ２は、携帯端末３毎に、その携帯端末３の位置を管理する携帯端末位置管理テーブルを記憶している。また、監視サーバ２は、オブジェクトの異常状態の種類を分類した項目毎に、そのオブジェクトに対する対応指示を通知する携帯端末３を決定する条件を登録した異常状態分類テーブルを記憶している。この携帯端末位置管理テーブル、および異常状態分類テーブルの詳細については、後述する。また、監視サーバ２は、監視カメラ端末１から異常状態であるオブジェクトの検出にかかる通報があると、携帯端末位置管理テーブル、および異常状態分類テーブルを用いて、そのオブジェクトに対する対応を指示する携帯端末３（すなわち、警備員）を判断する。監視サーバ２は、ここで判断した携帯端末３に対して、異常状態であることが通報されてきたオブジェクトに対する対応指示を送信する。
【００２６】
図２は、監視カメラ端末の主要部の構成を示すブロック図である。監視カメラ端末１は、制御部１１と、撮像部１２と、画像処理部１３と、記憶部１４と、タイマ１５と、通信部１６と、を備えている。制御部１１は、本体各部の動作を制御する。
【００２７】
撮像部１２は、ＣＣＤカメラを有し、自端末に割り当てられている監視対象エリアを撮像する。すなわち、監視カメラ端末１は、その監視カメラ端末１に割り当てた監視対象エリアを撮像するように設置している。撮像部１２は、１秒間に数十フレーム（例えば、３０フレーム）の撮像画像を画像処理部１３に入力する。
【００２８】
画像処理部１３は、撮像部１２から入力された撮像画像を処理し、撮像されているオブジェクトの抽出、抽出したオブジェクトの追跡（オブジェクトマップの作成）、追跡しているオブジェクトの状態を推定する等の処理を行う。
【００２９】
記憶部１４は、監視カメラ端末１本体を動作させる動作プログラム、動作時に用いるパラメータ、オブジェクトの追跡情報であるオブジェクトマップ等を記憶する。タイマ１５は、現在時刻を計時する。通信部１６は、他の監視カメラ端末１、監視サーバ２、および携帯端末３との間における無線通信を制御する。
【００３０】
図３は、監視サーバの主要部の構成を示すブロック図である。監視サーバ２は、制御部２１と、記憶部２２と、通信部２３と、を備えている。監視サーバ２は、警備室等に設置される。制御部２１は、監視サーバ２本体の動作を制御する。記憶部２２は、監視サーバ２本体を動作させる動作プログラム、携帯端末位置管理テーブル、異常状態分類テーブル等を記憶する。通信部２３は、監視カメラ端末１、および携帯端末３との間における無線通信を制御する。
【００３１】
なお、警備室には、各監視カメラ端末１の撮像画像を表示するモニタ等も設置している。
【００３２】
図４は、携帯端末の主要部の構成を示すブロック図である。携帯端末３は、制御部３１と、表示・操作部３２と、位置検出部３３と、通信部３４と、を備えている。制御部３１は、携帯端末３本体各部の動作を制御する。表示・操作部３２は、監視サーバ２から送信されてきた、オブジェクトに対する対応指示を表示するとともに、携帯端末３本体に対する入力操作を受け付ける。位置検出部３３は、公知のＧＰＳを利用し、自端末の位置を検出する。通信部３４は、監視カメラ端末１、および監視サーバ２との間における無線通信を制御する。
【００３３】
この監視システムでは、各監視カメラ端末１が、自端末に割り当てられている監視対象エリア内に位置するオブジェクトを抽出し、そのオブジェクトを追跡する。また、監視カメラ端末１は、他の監視カメラ端末１と連携し、オブジェクトの追跡を広域にわたって行う。具体的には、追跡しているオブジェクトが自端末に割り当てられている監視対象エリアから、他の監視カメラ端末１に割り当てられている監視対象エリアに移動するときに、当該オブジェクトの追跡を、この他の監視カメラ端末１に引き継ぐ。
【００３４】
また、監視カメラ端末１は、追跡しているオブジェクト毎に、その状態が予め定められている異常状態であるかどうかを推定し、異常状態であると推定したオブジェクトを監視サーバ２に通報する。
【００３５】
携帯端末３は、一定時間毎に、ＧＰＳを利用して自端末の現在位置を取得し、監視サーバ２に通知する。
【００３６】
監視サーバ２は、携帯端末３毎に、その携帯端末３の位置を、当該携帯端末３から通知された現在位置によって管理する。また、監視サーバ２は、監視カメラ端末１から異常状態であるオブジェクトにかかる通報があれば、当該オブジェクトに対して対応を指示する携帯端末３（警備員）を判断し、その旨を送信する。
【００３７】
まず、監視カメラ端末１が、オブジェクトを追跡する処理について詳細に説明する。図５は、隣接する２つの監視カメラ端末に割り当てている監視対象エリアを示す図である。隣接する２つの監視カメラ端末１ａ、１ｂは、割り当てられている監視対象エリアの一部が重複している。この重複している撮像エリアを、ここでは重複エリアと言う。また、この重複エリアがある２つの監視カメラ端末１を、ここでは隣接する監視カメラ端末１と言う。
【００３８】
図５では、隣接する２つの監視カメラ端末１ａ、１ｂの監視対象エリアを例示しているが、隣接する他の２つの監視カメラ端末１の組み合せにおいても、監視対象エリアの一部が重複している。監視カメラ端末１は、隣接する他の監視カメラ端末１との間で、重複エリアに位置するオブジェクト（図５では、人物Ｘ、Ｙ）を、１対１で対応付ける同定処理を行う。図５では、人物Ｘ、Ｙは、監視カメラ端末１ａ、１ｂの重複エリア内に位置し、人物Ｚは、監視カメラ端末１ａの監視対象エリア内で、且つ監視カメラ端末１ｂとの重複エリア外に位置している。
【００３９】
なお、監視カメラ端末１は、隣接する他の監視カメラ端末１が１台であるとは限らない。言い換えれば、隣接する監視カメラ端末１が２台や３台である監視カメラ端末１もある。ただし、重複エリアは、隣接する他の監視カメラ端末１毎に異なる。
【００４０】
各監視カメラ端末１は、隣接する他の監視カメラ端末１毎に、自端末の撮像部１２が撮像したフレーム画像の２次元座標系と、隣接する相手側監視カメラ端末１の撮像部１２が撮像したフレーム画像の２次元座標系と、の相対的な位置関係を示す座標変換情報を記憶部１４に記憶している。この座標変換情報は、自端末の撮像部１２が撮像したフレーム画像の２次元座標系と、隣接する相手側監視カメラ端末１の撮像部１２が撮像したフレーム画像の２次元座標系と、を共通の座標系に射影変換する情報である。ここでは、監視カメラ端末１は、座標変換情報として、自端末の撮像部１２が撮像したフレーム画像の２次元座標系を、隣接する相手側監視カメラ端末１の撮像部１２が撮像したフレーム画像の２次元座標系に射影変換する第１の座標変換パラメータと、反対に、隣接する相手側監視カメラ端末１の撮像部１２が撮像したフレーム画像の２次元座標系を、自端末の撮像部１２が撮像したフレーム画像の２次元座標系に射影変換する第２の座標変換パラメータと、を記憶部１４に記憶している。
【００４１】
なお、座標変換情報は、第１の座標変換パラメータ、または第２の座標変換パラメータのどちらか一方のみであってもよい。
【００４２】
ここで、第１の座標変換パラメータ、および第２の座標変換パラメータについて、簡単に説明しておく。この第１の座標変換パラメータ、および第２の座標変換パラメータは、監視カメラ端末１の設置時に、実際に撮像したフレーム画像を用いて算出した値である。
【００４３】
まず、監視カメラ端末１の設置完了時に、テープ等を用いて、隣接する相手側監視カメラ端末１との重複エリア内の床面に４点をマーキングする。そして、自端末の撮像部１２で撮像したフレーム画像を処理し、このフレーム画像上におけるマーキングした４点の座標位置（ｘ，ｙ）を検出する。同様に、隣接する相手側監視カメラ端末１が撮像部１２で撮像したフレーム画像上におけるマーキングした４点の座標位置（Ｘ，Ｙ）を、この相手側端末から取得する。そして、マーキングした点毎に、その座標位置を、
Ｘ＝（ａ１ｘ＋ｂ１ｙ＋ｃ１）／（ａ０ｘ＋ｂ０ｙ＋１）
Ｙ＝（ａ２ｘ＋ｂ２ｙ＋ｃ２）／（ａ０ｘ＋ｂ０ｙ＋１）
に代入し、８元連立方程式を得る。この８元連立方程式の解である、ａ０，ｂ０，ａ１，ｂ１，ｃ１，ａ２，ｂ２，ｃ２の８個の計数が、この隣接する相手側監視カメラ端末１との第１の座標変換パラメータである。監視カメラ端末１は、この第１の座標変換パラメータを記憶部１４に記憶する。
【００４４】
同様に、マーキングした点毎に、その座標位置を、
ｘ＝（Ａ１Ｘ＋Ｂ１Ｙ＋Ｃ１）／（Ａ０Ｘ＋Ｂ０Ｙ＋１）
ｙ＝（Ａ２Ｘ＋Ｂ２Ｙ＋Ｃ２）／（Ａ０Ｘ＋Ｂ０Ｙ＋１）
に代入し、８元連立方程式を得る。この８元連立方程式の解である、Ａ０，Ｂ０，Ａ１，Ｂ１，Ｃ１，Ａ２，Ｂ２，Ｃ２の８個の計数が、この隣接する相手側監視カメラ端末１との第２の座標変換パラメータである。監視カメラ端末１は、この第２の座標変換パラメータを記憶部１４に記憶する。
【００４５】
図６は、監視カメラ端末における追跡処理を示すフローチャートである。監視カメラ端末１は、撮像部１２が撮像した監視対象エリアのフレーム画像を画像処理部１３に取り込む（ｓ１）。画像処理部１３は、ｓ１で取り込んだフレーム画像を処理し、撮像されているオブジェクトを抽出する（ｓ２）。画像処理部１３は、前回処理したフレーム画像で抽出したオブジェクトと、ｓ２で抽出したオブジェクトと、を対応付ける（ｓ３）。この画像処理部１３は、時空間ＭＲＦモデルを用い、オブジェクトを、８ピクセル×８ピクセルのブロックを単位とするオブジェクト領域として抽出する。画像処理部１３は、前回処理したフレーム画像で抽出したオブジェクトと、ｓ２で抽出したオブジェクトと、を対応付けることにより、今回抽出したオブジェクトの移動方向や移動量を得ることができ、抽出したオブジェクトの追跡が行える。
【００４６】
また、今回の処理で抽出したオブジェクトであって、前回の処理で抽出されていなかったオブジェクト（すなわち、今回初めて抽出したオブジェクト）については、仮ＩＤを付与する（ｓ４、ｓ５）。この仮ＩＤが付与されるオブジェクトは、前回のフレーム画像の処理から、今回のフレーム画像の処理までの間に、自端末に割り当てられている監視対象エリア内に入ってきたオブジェクトである。
【００４７】
なお、前回の処理で抽出されていたが、今回の処理で抽出されなかったオブジェクトは、前回のフレーム画像の処理から、今回のフレーム画像の処理までの間に、自端末に割り当てられている監視対象エリア外に移動したオブジェクトである。
【００４８】
画像処理部１３は、今回処理したフレーム画像に対する、オブジェクトマップを作成する（ｓ６）。このオブジェクトマップは、図７に示すように、今回抽出したオブジェクト毎に、そのオブジェクトに付与されているＩＤ（または今回付与した仮ＩＤ）と、今回処理したフレーム画像上における座標位置とを対応付けた情報である。また、監視カメラ端末１は、タイムスタンプをオブジェクトマップに付与する。このタイムスタンプは、ｓ１でフレーム画像を画像処理部１３に取り込んだ時刻であってもよいし、付与するときにタイマ１５で計時している時刻（現在時刻）であってもよい。また、ｓ６でオブジェクトマップを作成するときには、今回抽出したオブジェクトが人であれば、その足元位置を、そのオブジェクトの座標位置にする。
【００４９】
なお、画像処理部１３は、オブジェクトの足元が他のオブジェクトとの重なりによって隠れることなくフレーム画像上に撮像されていれば、その足元の座標位置（例えば、右足の中心、左足の中心、または両足を結ぶ直線の中点）を検出し、そのオブジェクトの座標位置とする。一方、オブジェクトの足元が他のオブジェクトとの重なりによって隠れ、フレーム画像上に撮像されていなければ、撮像されている肉体の一部から、オブジェクトの足元の座標位置を推定し、そのオブジェクトの座標位置とする。
【００５０】
監視カメラ端末１は、ｓ６で作成したオブジェクトマップを記憶部１４に記憶するとともに、通信部１６において隣接する他の監視カメラ端末１に対して、今回作成したオブジェクトマップ（以下、自端末オブジェクトマップと言う。）を送信する（ｓ７、ｓ８）。
【００５１】
なお、各監視カメラ端末１は、隣接する他の監視カメラ端末１からオブジェクトマップ（以下、相手側オブジェクトマップと言う。）が送信されてくると、この相手側オブジェクトマップを記憶部１４に記憶する。監視カメラ端末１は、隣接する相手側監視カメラ端末１毎に、相手側オブジェクトマップを区別して記憶する。
【００５２】
監視カメラ端末１は、上述したｓ１〜ｓ８の処理を繰り返し行い、時間的に連続するオブジェクトマップから、自端末の監視エリア内に位置するオブジェクト毎に、時間経過ともなう位置の変化を得る。これにより、監視カメラ端末１は、自端末の監視エリア内に位置するオブジェクトの追跡が行える。
【００５３】
なお、監視カメラ端末１は、監視エリア内に放置された不審物（非移動体）についても、監視エリア内に位置するオブジェクトとして検出している。また、監視カメラ端末１は、監視エリア内に放置された不審物を検出したとき、上述のオブジェクトマップを参照し、その直前に、その不審物が放置されている位置にいた人物を検出し、この人物が不審物を放置した人物と判断する。
【００５４】
次に、上述のｓ５で仮ＩＤを付与したオブジェクトのＩＤを確定するＩＤ確定処理について説明する。上述したように、オブジェクトマップに登録されているオブジェクトには、そのオブジェクトを特定できるＩＤ，または仮ＩＤが付与されている。仮ＩＤが付与されているオブジェクトには、他の監視カメラ端末１ですでにＩＤを付与されていたオブジェクト（すなわち、すでに追跡が開始されていたオブジェクト）と、現時点ではＩＤが付与されていないオブジェクト（すなわち、この監視システムで監視しているエリアに入ってきたオブジェクト）と、が含まれている。このＩＤ確定処理は、不審者等の人物を広域にわたって追跡するために、仮ＩＤを付与したオブジェクトが、すでにＩＤが付与されているオブジェクトであれば、今回付与した仮ＩＤを無効にし、すでに付与されていたＩＤに戻すための処理である。また、仮ＩＤを付与したオブジェクトが、現時点でＩＤが付与されていないオブジェクトであれば、今回付与した仮ＩＤをこのオブジェクトのＩＤに確定する。
【００５５】
なお、オブジェクトに付与されているＩＤや、仮ＩＤは、そのオブジェクトを特定できるユニークな値である。このＩＤや、仮ＩＤは、数字であってもよいし、符号であってもよいし、これらの組み合せであってもよい。また、監視カメラ端末１間で発行済ＩＤを通知し合うことなく、各オブジェクトに異なるＩＤが付与できるように、付与した監視カメラ端末１が識別できる数字や符号をＩＤに含ませる構成が好ましい。
【００５６】
図８は、このＩＤ確定処理を示すフローチャートである。このＩＤ確定処理は、仮ＩＤを付与したオブジェクトを登録したオブジェクトマップを作成したときに行う。まず、今回仮ＩＤを付与したオブジェクトの中に、隣接する他の監視カメラ端末１との重複エリア内に位置するオブジェクトがあるかどうかを判定する（ｓ１１）。今回仮ＩＤを付与したオブジェクトが、重複エリア内に位置している場合、そのオブジェクトは、この重複エリアを監視エリアに含む隣接する相手側監視カメラ端末１で追跡されているオブジェクトである。すなわち、すでにＩＤが付与されているオブジェクトである。一方、今回仮ＩＤを付与したオブジェクトが、重複エリア内に位置していない場合、そのオブジェクトは、他の監視カメラ端末１で追跡されていなかったオブジェクトである。すなわち、現時点でＩＤが確定されていないオブジェクトである。監視カメラ端末１は、ｓ１１で重複エリア内に位置しているオブジェクトがなければ、今回仮ＩＤを付与したオブジェクト毎に、付与した仮ＩＤをＩＤに確定する（ｓ１２）。
【００５７】
一方、重複エリア内に位置しているオブジェクトがあれば、今回仮ＩＤを付与したオブジェクトの中で、重複エリア外に位置しているオブジェクトについてのみ、付与した仮ＩＤをＩＤに確定する（ｓ１３）。また、監視カメラ端末１は、今回、仮ＩＤを登録した自端末側オブジェクトマップに時間的に対応する、相手側オブジェクトマップを記憶部１４から読み出す（ｓ１４）。ｓ１４では、自端末側オブジェクトマップに付与されているタイムスタンプの時刻との時間差の絶対値が最小である時刻のタイムスタンプが付与されている相手側オブジェクトマップを記憶部１４から読み出す。
【００５８】
監視カメラ端末１は、自端末側オブジェクトマップに登録されている重複エリア内に位置しているオブジェクトと、相手側オブジェクトマップに登録されている重複エリア内に位置しているオブジェクトと、を１対１で対応付ける組み合せパターンを作成する（ｓ１５）。ｓ１５で作成される組み合せのパターン数は、例えば、重複エリア内に位置しているオブジェクトが２つであれば２通りであり、また重複エリア内に位置しているオブジェクトが３つであれば６通りである。
【００５９】
また、監視カメラ端末１は、今回作成した自端末側オブジェクトマップに登録されているオブジェクトの中で、重複エリア内に位置するオブジェクト毎に、第１の座標変換パラメータを用いて、そのオブジェクトの座標位置を相手側端末の座標系に変換する（ｓ１６）。監視カメラ端末１は、ｓ１５で作成した組み合せパターン毎に、第１の距離エネルギーを算出する（ｓ１７）。この第１の距離エネルギーは、相手側端末の座標系での、対応する組み合せパターンにおいて対応付けたオブジェクト間の距離の総和である。
【００６０】
また、監視カメラ端末１は、ｓ１４で読み出した相手側オブジェクトマップに登録されているオブジェクトの中で、重複エリア内に位置するオブジェクト毎に、第２の座標変換パラメータを用いて、そのオブジェクトの座標位置を自端末の座標系に変換する（ｓ１８）。監視カメラ端末１は、ｓ１５で作成した組み合せパターン毎に、第２の距離エネルギーを算出する（ｓ１９）。この第２の距離エネルギーは、自端末の座標系での、対応する組み合せパターンにおいて対応付けたオブジェクト間の距離の総和である。
【００６１】
監視カメラ端末１は、ｓ１４で作成した組み合せパターン毎に、総合距離エネルギーを算出する（ｓ２０）。この総合距離エネルギーは、組み合せパターン毎に、その組み合せパターンの第１の距離エネルギーと、第２の距離エネルギーとの和である。
【００６２】
監視カメラ端末１は、ｓ２０で得た総合距離エネルギーが最小である組み合せパターンを、重複エリア内に位置するオブジェクトの適正な対応付けと判断する。そして、総合距離エネルギーが最小である組み合せパターンによるオブジェクトの対応付けにより、重複エリア内に位置するオブジェクトを同定する（ｓ２１）。そして、監視カメラ端末１は、仮ＩＤを付与したオブジェクトについては、付与されている仮ＩＤを無効とし、同定したオブジェクトに付与されているＩＤに確定する（ｓ２２）。ｓ２２では、オブジェクトマップにおける、仮ＩＤを同定したオブジェクトに付与されているＩＤに置き換える。
【００６３】
このＩＤ確定処理は、仮ＩＤを付与したオブジェクトを登録したオブジェクトマップを作成したときに行うので、オブジェクトの同定にリアルタイム性を持たせることができる。
【００６４】
なお、上記の説明では、重複エリア内に位置するオブジェクトの同定精度を確保するために、第１の距離エネルギーと、第２の距離エネルギーとの和を総合距離エネルギーとしたが、第１の距離エネルギー、または第２の距離エネルギーの一方を総合距離エネルギーとしてもよい。このようにすれば、監視カメラ端末１の処理負荷を低減することができる。
【００６５】
次に、監視カメラ端末１が、追跡しているオブジェクトの状態を推定する状態推定処理について説明する。この状態推定処理は、画像処理部１３が、上述したｓ２で抽出したオブジェクト毎に、その姿勢を推定し、推定した姿勢の時間的変化から、当該オブジェクトの状態を推定する処理である。
【００６６】
監視カメラ端末１は、撮像画像上において、撮像されているオブジェクトを囲む矩形領域を設定する。また、この矩形領域は、抽出したオブジェクトに外接するように設定する。画像処理部１３は、ここで設定した矩形の高さと幅の比、すなわちアスペクト比、に基づき、そのオブジェクトの姿勢を推定する。
【００６７】
例えば、オブジェクトを囲む矩形領域の高さαと、幅βとの比が、
β／α＜０．６であれば、立ち状態
０．６＜β／α＜１．５であれば、しゃがみ込み、または飛び跳ね状態
１．５＜β／αであれば、横たわり状態、
であると推定する。
【００６８】
なお、ここでは、抽出したオブジェクトに対して矩形領域を設定するとしたが、矩形領域を設定せずに、そのオブジェクトの高さαと、幅βと、を検出し、姿勢を推定してもよい。また、監視カメラ端末１は、フレーム画像上における位置が予め定めた時間（数十秒程度）変化しないオブジェクトを荷物（放置物）と判断する。この放置物であると判定する時間は、監視対象エリアの環境に応じて設定すればよい。監視カメラ端末１は、上述したオブジェクトマップを参照することにより、時間経過にともなうオブジェクトの位置の変化を得ることができる。
【００６９】
図９は、姿勢マップを示す図である。この姿勢マップは、オブジェクト毎に、時間経過にともなう姿勢の変化を登録したものである。姿勢マップは、図９に示すように、画像処理部１３で抽出したオブジェクト毎に作成する。図９は、抽出したオブジェクトＡ（図９（Ａ）参照）、およびオブジェクトＢ（図９（Ｂ）参照）について作成した姿勢マップの例である。オブジェクトＡは人であり、オブジェクトＢは物である。図９に示すように、姿勢マップは、物体の種類（人、または物）、姿勢（人のみ）、オブジェクトを囲む矩形領域の上辺の高さ、および下辺の高さ、場所情報、および時刻を対応づけたレコードを時系列に登録したものである。画像処理部１３が、この姿勢マップを作成する。記憶部１４が、この姿勢マップを記憶する。
【００７０】
図９に示す姿勢マップの場所情報は、その場所の環境を示す情報である。例えば、不特定多数の人の通行路であるフロア、自動改札機を設置している改札機エリア、ベンチを設置しているベンチエリアを示す。また、場所情報は、撮像部１２の撮像エリア（監視対象エリア）を図１０に示すように分割し、分割した領域毎に設定している。図１０（Ａ）は、改札口周辺の撮像画像を示している。また、図１０（Ｂ）は、図１０（Ａ）に示す撮像領域に対して場所情報を設定した例を示す図である。図１１（Ａ）は、駅ホームの撮像画像を示している。また、図１１（Ｂ）は、図１１（Ａ）に示す撮像領域に対して場所情報を設定した例を示す図である。
【００７１】
この監視カメラ端末１は、１つのオブジェクト（単独オブジェクト）の状態の推定が行えるだけでなく、複数オブジェクト間で関連する状態の推定も行える。単独オブジェクトの状態の推定により、自動改札機の不正通行（強行突破）、駅ホームや改札口周辺等における徘徊、座り込み、倒れ込み、滞留、酔客等の状態が判断できる。また、複数オブジェクトは、自動改札機の不正通行（共連れ）、不審物の置き去り、持ち去り、口論、つきまとい、キャッチセールス、通り魔等の状態が判断できる。
【００７２】
図１２は、姿勢マップ作成処理を示すフローチャートである。監視カメラ端末１は、画像処理部１３において、上述した追跡処理で抽出したオブジェクト毎に、そのオブジェクトを囲む矩形領域を設定する（ｓ３１）。画像処理部１３は、ｓ３１で矩形領域を設定したオブジェクト毎に、その矩形領域の高さ、および幅からアスペクト比（縦横比）を算出し、そのオブジェクト（人のみ）の姿勢を推定する（ｓ３２）。ｓ３２では、上述したように、オブジェクトを囲む矩形領域の高さαと、幅βとの比が、
β／α＜０．６であれば、立ち状態
０．６＜β／α＜１．５であれば、しゃがみ込み、または飛び跳ね状態
１．５＜β／αであれば、横たわり状態、
であると推定する。
【００７３】
また、ｓ３２では、今回抽出した人物毎に、設定した矩形領域の上辺の高さ、および下辺の高さを検出する。
【００７４】
画像処理部１３は、今回処理したフレーム画像から抽出したオブジェクト毎に、姿勢マップに登録するレコードを生成する（ｓ３３）。ｓ３３では、図９に示したように、オブジェクトの種類（人、または物）、姿勢（人のみ）、オブジェクトを囲む矩形領域の上辺の高さ、および下辺の高さ、場所情報、および時刻を対応づけたレコードを生成する。
【００７５】
なお、抽出したオブジェクトが、人、または物であるかの判定は、位置が変化することなく一定時間経過したときに、物であるとする。言い換えれば、一定時間経過する前に、位置が変化しているオブジェクト（移動しているオブジェクト）であれば人と判定する。
【００７６】
監視カメラ端末１は、ｓ３３で生成したレコードを該当するオブジェクトの姿勢マップに登録する（ｓ３４）。監視カメラ端末１は、この姿勢マップを記憶部１４に記憶する。
【００７７】
監視カメラ端末１は、上述したｓ３１〜ｓ３４にかかる処理を繰り返すことにより、監視対象エリア内に位置する人や、物にかかる姿勢マップ（図９参照）を作成し、記憶部１４に記憶する。
【００７８】
次に、上述した処理で作成した姿勢マップに基づき、オブジェクトの状態を推定する手法について説明する。上述したように、姿勢マップにはオブジェクトが位置している場所を示す場所情報を対応づけているので、アスペクト比を用いることで、当該オブジェクト（人）の状態が精度良く推定できる。例えば、オブジェクトである人が位置している場所の場所情報がフロアであり、姿勢が横たわり状態である場合、酔客等の倒れ込みと推定できる。また、オブジェクトである人が位置している場所の場所情報がベンチであり、姿勢がしゃがみ込み状態である場合、ベンチに座っていると推定できる。また、オブジェクトである人が位置している場所の場所情報がベンチであり、姿勢が横たわり状態である場合、ベンチに横たわっていると推定できる。また、オブジェクトである人が位置している場所の場所情報がごみ箱エリアであり、姿勢が立ち状態であれば、ゴミ箱をあさっていると推定できる。
【００７９】
なお、酔客であるかどうかの判断は、上述のオブジェクトマップを参照することで得られる、その人の移動速度から判断すればよい。一般に酔客は、移動速度が遅い。また、上述のオブジェクトマップと、姿勢マップと、を１つのマップで作成してもよい。
【００８０】
また、上述したように、姿勢マップには、オブジェクトを囲む矩形領域の上辺の高さ、および下辺の高さを登録しているので、そのオブジェクトが飛び上がったのか、しゃがんだのか判断できる。すなわち下辺の高さが床面よりも上方に位置していれば飛び上がったと判断でき、下辺の高さが床面に位置していればしゃがんだと判断できる。
【００８１】
また、図１３に示すように、自動改札機のゲートをしゃがんで不正に通行した場合、その不正通行者を囲む矩形の上辺が一時的（図１３（Ｂ）参照）に下がる。図１３（Ａ）は、自動改札機の通路に進入する直前のフレーム画像を示している。図１３（Ｂ）は、自動改札機の通路を通行しているとき（しゃがんでいる状態）のフレーム画像を示している。図１３（Ｃ）は、自動改札機の通路から退出したときのフレーム画像を示している。すなわち、自動改札機の通路を通行時に、一時的にしゃがんだ人を検出したとき、この人を自動改札機の不正通行者と判断できる。
【００８２】
また、図１４に示すように、自動改札機のゲートを飛び越えて不正に通行した場合、その不正通行者を囲む矩形の下辺が一時的（図１４（Ｂ）参照）に上がる。図１４（Ａ）は、自動改札機の通路に進入する直前のフレーム画像を示している。図１４（Ｂ）は、自動改札機の通路を通行しているとき（ゲートを飛び越えている状態）のフレーム画像を示している。図１４（Ｃ）は、自動改札機の通路から退出したときのフレーム画像を示している。すなわち、自動改札機の通路を通行時に、一時的に飛び跳ねた人を検出したとき、この人を自動改札機の不正通行者と判断できる。
【００８３】
なお、オブジェクト（通行者）を囲む矩形のアスペクト比を用いて状態を判断しているので、立ち状態である通行者を、しゃがんだ、または飛び跳ねたとする誤判断が抑えられる。
【００８４】
さらに、自動改札機から得られる通行者の人数を用いて、共連れにかかる不正通行の検出も行える。例えば、図１５（Ａ）は、自動改札機の通路に進入する直前のフレーム画像を示している。図１５（Ｂ）は、自動改札機の通路を通行しているときのフレーム画像を示している。図１５（Ｃ）は、自動改札機の通路から退出したときのフレーム画像を示している。図１５（Ａ）、（Ｃ）に示すように、自動改札機の入口、または出口で２人の人を検出していた場合に、自動改札機から得られた改札通路の通行者の人数が１人であれば、共連れであると判断できる。
【００８５】
このように、この実施形態にかかる監視カメラ端末１は、抽出したオブジェクトの高さと、幅の比であるアスペクト比に基づいて、そのオブジェクトの状態を推定するので、オブジェクトの三次元情報を必要とすることがない。
【００８６】
ここでは、監視カメラ端末１が自動改札機を通行するオブジェクト（人）の状態を推定する場合を例示したが、その他の場所にも適用可能である。
【００８７】
なお、監視カメラ端末１は、撮像部１２をステレオカメラで構成し、オブジェクトの三次元情報を取得して、当該オブジェクトの状態を推定してもよいし、他の公知の手法でオブジェクトの状態を推定してもよい。
【００８８】
監視カメラ端末１は、監視サーバ２に対して通報を行うオブジェクトの状態（異常状態）を記憶している。例えば、自動改札機の不正通行、喧嘩、フロアでの座り込み、ベンチでの横たわり、放置物等を、監視サーバ２に通報が必要な状態として登録している。
【００８９】
監視カメラ端末１は、監視サーバ２に通報が必要な状態（異常状態）であるオブジェクトを検出すると、その旨を通報する。監視カメラ端末１は、異常状態であるオブジェクトが人であれば、その異常状態の種類（自動改札機の不正通行、座り込み、喧嘩等）、異常状態を検出した場所（以下、現場と言う。）、その人が現場から離れていれば（現場から逃走していれば）逃走方向、その人の外見上の特徴（撮像画像であってもよい。）等を監視サーバ２に通報する。
【００９０】
また、監視カメラ端末１は、通報が必要な状態のオブジェクトが人ではなく、放置物であれば、その放置物が放置されている位置（現場）、その放置物を放置した人の移動方向や現在位置、その人の特徴等を監視サーバ２に通報する。
【００９１】
オブジェクトの位置や、移動方向については、オブジェクトマップから得られる。また、オブジェクトの特徴は、撮像部１２の撮像画像から得られる。
【００９２】
なお、監視カメラ端末１は、監視サーバ２に通報したオブジェクトについても、自端末の監視対象エリア内に位置している間は、そのオブジェクトの追跡を継続する。
【００９３】
次に、携帯端末３の動作について説明する。上述したように、この携帯端末３は、この監視システムで監視する監視エリアを巡回する警備員が所持する。図１６は、携帯端末の動作を示すフローチャートである。携帯端末３は、自端末の位置を監視サーバ２に通知するタイミングになると（ｓ４１）、ＧＰＳを利用した位置検出を行う（ｓ４２）。携帯端末３は、例えば、数分（１〜３分）毎に、自端末の位置を監視サーバ２に通知する。携帯端末３は、ｓ４２で検出した位置を監視サーバに通知する（ｓ４３）。
【００９４】
また、携帯端末３は、監視サーバ２から送信されてきた対応指示を受信すると（ｓ４４）、受信した対応指示を表示・操作部３２に表示する（ｓ４５）。この対応指示の詳細については、後述する。
【００９５】
次に、監視サーバ２の動作について説明する。監視サーバ２は、図１７に示す携帯端末位置テーブルを記憶している。この携帯端末位置テーブルは、携帯端末３毎に、その携帯端末３を識別するＩＤと、その携帯端末３の位置と、を対応づけて記憶している。携帯端末３の位置は、例えば、緯度、経度である。
【００９６】
また、監視サーバ２は、図１８に示す異常状態分類テーブルを記憶している。この異常状態分類テーブルは、その対応に緊急性があるかどうか、および異常状態であると推定したオブジェクトがその現場に留まっているか、現場から逃走しているかで分類した項目別に、その項目に属する異常状態の種類を登録したテーブルである。また、ここでは、この項目を、異常状態であると推定したオブジェクトが現場から逃走している場合、現場の確認の必要性の有無によっても分類している。また、上述の分類項目毎に、対応を指示する警備員を判断するルールを登録している。
【００９７】
図１８に示す例では、通り魔や、不審物の放置等の種類が、緊急性があり、異常状態であるオブジェクトが現場から逃走しており、且つ現場の確認が必要である項目に属する。また、自動改札機の不正通行等の種類が、緊急性があり、異常状態であるオブジェクトが現場から逃走しており、且つ現場の確認が不要である項目に属する。また、自動改札機のトラブルや、喧嘩等の種類が、緊急性があり、且つ異常状態であるオブジェクトが現場から逃走していない項目に属する。また、座り込みや、徘徊等の種類が、緊急性がなく、異常状態であるオブジェクトが現場から逃走していない項目に属する。
【００９８】
また、緊急性があり、異常状態であるオブジェクトが現場から逃走しており、且つ現場の確認が必要である項目に属する種類の異常状態については、この逃走している人の確保を指示する警備員を、逃走方向にいる警備員にし、且つ、現場の確認を指示する警備員を、その他の警備員の中で、最も現場に近い警備員にするルールを登録している。また、緊急性があり、異常状態であるオブジェクトが現場から逃走しており、且つ現場の確認が不要である項目に属する種類の異常状態については、この逃走している人の確保を指示する警備員を、逃走方向にいる警備員にするルールを登録している。
【００９９】
また、緊急性があり、異常状態であるオブジェクトが現場から逃走していない項目に属する種類の異常状態については、現場の確認を指示する警備員を、その他の警備員の中で、最も現場に近い警備員にするルールを登録している。さらに、緊急性がなく、異常状態であるオブジェクトが現場から逃走していない項目に属する種類の異常状態については、現場の確認を、この現場に向かって移動している警備員にするルールを登録している。
【０１００】
図１９は、監視サーバの動作を示すフローチャートである。監視サーバ２は、携帯端末３から現在位置の通知があると（ｓ５１）、携帯端末位置管理テーブルで管理している該当する携帯端末３の位置を、今回通知された位置に更新する（ｓ５２）。
【０１０１】
上述したように、携帯端末３は、一定時間毎（数分毎）に自端末の位置を検出し、これを監視サーバ２に通知している。したがって、監視サーバ２は、携帯端末３の位置、すなわちこの携帯端末３を所持している警備員の位置、を携帯端末位置管理テーブルで管理できる。
【０１０２】
また、監視サーバ２は、監視カメラ端末１から異常状態であるオブジェクトにかかる通報を受信すると（ｓ５３）、監視カメラ端末１が今回推定した異常状態の種類を取得し、その種類の異常状態が属する分類項目を判断する（ｓ５４）。監視カメラ端末１からの通報には、その監視カメラ端末１のＩＤ、今回検出した異常状態の種類、異常状態であるオブジェクトが現場から逃走しているかどうか、現場から逃走しているオブジェクトの逃走方向、このオブジェクトを撮像した撮像画像等が含まれている。
【０１０３】
監視サーバ２は、異常状態分類テーブルに登録されている条件に基づき、対応指示を通知する携帯端末３を決定する（ｓ５５）。ｓ５５では、携帯端末位置管理テーブルで管理している各携帯端末３の位置を参照する。
【０１０４】
例えば、監視サーバ２は、監視カメラ端末１からの通報が自動改札機のトラブルであれば、携帯端末位置管理テーブルを参照し、トラブルが発生した自動改札機に最も近い位置にある携帯端末３を、対応を指示する携帯端末３に決定する。また、監視サーバ２は、監視カメラ端末１からの通報が徘徊や酔客の座り込みであれば、携帯端末位置管理テーブルを参照し、トラブルが発生した場所に向かって移動している携帯端末３を、対応を指示する携帯端末３に決定する。携帯端末３の移動方向は、この携帯端末３から一定時間毎（数分毎）に通知されている位置から得られる。
【０１０５】
また、監視サーバ２は、監視カメラ端末１からの通報が不審物の放置であれば、携帯端末位置管理テーブルを参照し、不審物が放置した人が逃走している方向に位置する携帯端末３を、この逃走している不審物が放置した人の拘束を指示する携帯端末３に決定するとともに、残りの携帯端末３の中で、不審物が放置された場所に最も近い位置にある携帯端末３を、この不審物の確認（現場の確認）を指示する携帯端末３に決定する。さらに、監視サーバ２は、監視カメラ端末１からの通報が自動改札機の不正通行であれば、携帯端末位置管理テーブルを参照し、この不正通行者が逃走している方向に位置する携帯端末３を、この不正通行者の拘束を指示する携帯端末３に決定する。
【０１０６】
なお、逃走しているオブジェクトは、監視カメラ端末１によって追跡されている。
【０１０７】
監視サーバ２は、ｓ５５で決定した、対応を指示する携帯端末３に対して、対応を指示する送信を行う（ｓ５６）。監視サーバ２は、自動改札機のトラブルにかかる対応を指示する場合、その自動改札機の場所を通知する。一方、不審物が放置した人や、逃走している人の拘束を指示する場合、拘束する人の撮像画像や、その人の外見上の特徴（身長や衣服の色等）を通知する。
【０１０８】
携帯端末３は、監視サーバ２がｓ５６で送信した対応指示をｓ４４で受信する。そして、携帯端末３は、ｓ４５で監視サーバ２から送信されてきた対応指示を表示・操作部３２に表示する。この携帯端末３を所持している警備員は、表示・操作部３２に表示された対応指示に応じて、行動する。
【０１０９】
このように、この監視システムでは、監視サーバ２が、携帯端末３の位置（この携帯端末３を所持している警備員の位置）を管理し、異常状態であると推定されたオブジェクトに対する対応を指示する携帯端末３を、異常状態の種類、および携帯端末３の位置に基づいて決定する。また、監視サーバ２は、ここで決定した携帯端末３に対して、このオブジェクトに対する対応を指示する。したがって、監視サーバ２は、監視カメラ端末１において、その状態が異常であると推定された不審者や不審物等のオブジェクトが検出されたときに、そのオブジェクトに対する対応指示が迅速、且つ適正に行える。
【符号の説明】
【０１１０】
１…監視カメラ端末
２…監視サーバ
３…携帯端末
１１…制御部
１２…撮像部
１３…画像処理部
１４…記憶部
１５…タイマ
１６…通信部
２１…制御部
２２…記憶部
２３…通信部
３１…制御部
３２…表示・操作部
３３…位置検出部
３４…通信部
【技術分野】
【０００１】
この発明は、駅、ショッピングセンタ、アミューズメント施設等の不特定多数の人が集まる場所を監視し、その状態が異常であると推定される人や物等のオブジェクトの検出を行うとともに、その状態が異常であると推定されたオブジェクトを検出したときに、その旨を警備員等に通報する監視システム、および監視サーバに関する。
【背景技術】
【０００２】
従来、監視カメラ端末を用いて、不審者や、不審物等の検出を行う監視システムが、駅、ショッピングセンタ、アミューズメント施設等の不特定多数の人が集まる公共の場所で利用されている。
【０００３】
監視カメラ端末は、自端末に割り当てられている監視対象エリアを撮像した撮像画像を処理し、撮像されているオブジェクト（人や物）の状態が予め定めた異常状態であるかどうかを推定する。監視カメラ端末は、その状態が異常状態であると推定したオブジェクトを、不審者や、不審物等として検出する。また、従来の監視システムは、監視カメラ端末の撮像画像を、警備室等に設置したモニタに表示し、検出された不審者や不審物を係員（監視員）が確認できるようにしている。
【０００４】
また、複数の監視カメラ端末を利用し、不審者や不審物の検出、追跡を広域にわたって行う監視システムも提案されている。この監視システムでは、各監視カメラ端末が、追跡している不審者が自端末の撮像エリア（監視対象エリア）から、他の監視カメラ端末の撮像エリアに移動するときに、この他の監視カメラ端末と連携し、当該不審者の追跡の引き継ぎを行っている（特許文献１、２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３８１４７７９号公報
【特許文献２】特許第３９９９５６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の監視システムでは、警備室等に設置されているモニタをみている監視員が、監視エリアを巡回している警備員等に対して、検出された不審者や不審物等に対する対応を指示していた。具体的には、監視員は、不審者や不審物が検出されたときに、その不審者や不審物が検出された場所（以下、現場と言う。）、検出された不審者や不審物の状態（予め定めた異常状態の種類）、監視エリア内を巡回している各警備員の現在位置等に基づいて、検出された不審者や不審物に対応する警備員を判断する。そして、監視員は、ここで判断した警備員に対して、検出された不審者や不審物の対応を指示していた。警備員は、携帯端末を所持しており、この携帯端末で、不審者や不審物に対する対応指示を受ける。
【０００７】
不審物（放置物）や、現場に留まっている不審者であれば、対応を指示する警備員は、現場に最も近い位置にいる警備員が好ましい。一方、現場から離れる方向に移動している不審者（特に、現場から逃走している不審者）であれば、対応を指示する警備員は、この不審者に最も近い位置にいる警備員よりも、この不審者が逃走している方向にいる警備員のほうが好ましい。
【０００８】
監視員による、検出された不審者に対する対応の指示が遅れると、当該不審者を取り逃がすことにもなる。したがって、監視員は、検出された不審者や不審物に対する対応指示を、迅速、且つ適性に行うために、モニタに表示されている監視カメラ端末の画像から、現場、不審者や不審物の状態、警備員の位置等をすぐに判断しなければならず、負担が大きかった。
【０００９】
この発明の目的は、その状態が異常であると推定された不審者や不審物等のオブジェクトが検出されたときに、そのオブジェクトに対する対応指示を迅速、且つ適正に行う監視システム、および監視サーバを提供することにある。
【課題を解決するための手段】
【００１０】
この発明は、上記課題を解決し、その目的を達するために以下ように構成している。
【００１１】
監視カメラ端末と、監視サーバと、は有線、または無線でデータ通信が行える。監視カメラ端末は、撮像手段が自端末に割り当てられている監視対象エリアを撮像し、追跡手段が撮像画像を処理し、撮像されているオブジェクトを抽出するとともに、そのオブジェクトを監視対象エリア内において追跡する。また、状態推定手段において、追跡しているオブジェクトの状態が、予め定めている監視サーバへの通報が必要な種類の異常状態であるかどうかを推定する。予め定めている監視サーバへの通報が必要な種類の異常状態としては、そのオブジェクトが人であれば、喧嘩、徘徊、座り込み、自動改札機の不正通行等であり、そのオブジェクトが物であれば、放置等である。監視カメラ端末は、オブジェクトについて状態推定手段が推定した状態が、予め定めている監視サーバへの通報が必要な種類の異常状態であれば、通報手段がその旨を監視サーバに通報する。
【００１２】
一方、監視サーバは、登録している携帯端末毎に、その携帯端末の位置を管理する携帯端末位置管理テーブル、およびオブジェクトの異常状態の種類を分類した項目毎に、オブジェクトに対する対応指示を通知する携帯端末を決定する条件を登録した異常状態分類テーブルを記憶手段に記憶している。携帯端末は、この監視システムが監視する監視エリア内を巡回する警備員が携帯する端末であり、監視サーバから送信されてきた指示を受けることができる。
【００１３】
なお、携帯端末は、例えば数分毎に自端末の位置を検出し、監視サーバに通知する構成とすればよい。そして、監視サーバは、この携帯端末から通知される位置を、携帯端末位置管理テーブルで管理すればよい。
【００１４】
また、携帯端末と監視カメラ端末間が通信できるシステムとし、監視サーバは各監視カメラ端末と携帯端末の通信状況から、携帯端末のおよその位置を管理することでもよい。
【００１５】
また、異常状態分類テーブルでは、例えば、対応の緊急性が必要であるかどうか、および、異常状態であると推定したオブジェクトがその位置から離れる方向に移動しているかどうかや、さらには、異常状態であると推定した場所である現場の確認が必要であるかどうかによって、項目分けし、項目毎に、その項目に属する異常状態の種類、および対応指示を通知する携帯端末を決定する条件を登録している。
【００１６】
そして、監視サーバは、監視カメラ端末から、オブジェクトが異常状態である旨の通報があれば、通知先決定手段が、記憶手段に記憶している携帯端末位置管理テーブル、および異常状態分類テーブルを用いて、このオブジェクトに対する対応指示を通知する携帯端末を決定する。そして、送信手段が、通知先決定手段が決定した携帯端末に対して、異常状態であるオブジェクトに対する対応指示を送信する。
【００１７】
このように、監視サーバが、巡回している警備員の位置を管理し、監視カメラ端末によって異常状態である不審者や不審物が検出されたときには、その異常状態の種類や、警備員の位置に応じて、対応を指示する警備員を判断し、この警備員が所持している携帯端末に対応指示を送信する。したがって、その状態が異常であると推定された不審者や不審物等のオブジェクトが検出されたときに、そのオブジェクトに対する対応指示が迅速、且つ適正に行える。
【発明の効果】
【００１８】
この発明によれば、その状態が異常であると推定された不審者や不審物等のオブジェクトが検出されたときに、そのオブジェクトに対する対応指示が迅速、且つ適正に行える。
【図面の簡単な説明】
【００１９】
【図１】監視システムの構成を示す概略図である。
【図２】監視カメラ端末の主要部の構成を示すブロック図である。
【図３】監視サーバの主要部の構成を示すブロック図である。
【図４】携帯端末の主要部の構成を示すブロック図である。
【図５】隣接する２つの監視カメラ端末に割り当てている監視対象エリアを示す図である。
【図６】監視カメラ端末における追跡処理を示すフローチャートである。
【図７】オブジェクトマップを示す図である。
【図８】ＩＤ確定処理を示すフローチャートである。
【図９】姿勢マップを示す図である。
【図１０】監視カメラの撮像画像と、場所情報の設定例を示す図である。
【図１１】監視カメラの撮像画像と、場所情報の設定例を示す図である。
【図１２】姿勢マップ作成処理を示すフローチャートである。
【図１３】異常状態であると推定する処理を説明する図である。
【図１４】異常状態であると推定する処理を説明する図である。
【図１５】異常状態であると推定する処理を説明する図である。
【図１６】携帯端末の動作を示すフローチャートである。
【図１７】携帯端末位置管理テーブルを示す図である。
【図１８】異常状態分類テーブルを示す図である。
【図１９】監視サーバの動作を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、この発明の実施形態にかかる監視システムについて説明する。
【００２１】
図１は、この監視システムの構成を示す概略図である。この監視システムは、複数の監視カメラ端末１（１ａ、１ｂ、１ｃ、１ｄ・・・）と、監視サーバ２と、複数の携帯端末３（３ａ、３ｂ・・・）と、を備えている。監視カメラ端末１間では、直接、または他の監視カメラ端末１を介してデータ通信が行える。また、監視カメラ端末１と、監視サーバ２との間でも、直接、または他の監視カメラ端末１を介してデータ通信が行える。さらに、監視サーバ２と、携帯端末３との間でも、直接、または監視カメラ端末１を介してデータ通信が行える。監視カメラ端末１、および携帯端末３には、固有のＩＤが付与されており、監視サーバ２は、このＩＤによって監視カメラ端末１、および携帯端末３を識別する。
【００２２】
なお、監視カメラ端末１と、携帯端末３との間でも、直接、または他の監視カメラ端末１を介してデータ通信が行える。また、少なくとも携帯端末３におけるデータ通信は、無線通信で行う構成であるが、監視カメラ端末１間や、監視カメラ端末１と監視サーバ２との間におけるデータ通信は、無線で行う構成であってもよいし、有線で行う構成であってもよい。ここでは、機器間のデータ通信は無線で行うものとして説明する。
【００２３】
各監視カメラ端末１には、この監視システムで監視するエリアの一部が監視対象エリアとして割り当てられている。監視カメラ端末１は、自端末に割り当てられている監視対象エリアの撮像画像を処理し、撮像されているオブジェクト（人や物）の抽出し、抽出したオブジェクトの状態を推定する。また、各監視カメラ端末１は、推定したオブジェクトの状態が予め定められている通報が必要な状態（異常状態）であれば、その旨を監視サーバ２に通報する。
【００２４】
携帯端末３は、この監視システムで監視するエリアを巡回している警備員が所持する。携帯端末３は、公知のＧＰＳを利用して、自端末の現在位置を取得することができる。携帯端末３の位置は、この携帯端末３を所持している警備員の位置である。また、携帯端末３は、定期的（例えば、数分（１〜３分）間隔）に、ＧＰＳを利用して自端末の現在位置を取得し、監視サーバ２に通知する。
【００２５】
監視サーバ２は、携帯端末３毎に、その携帯端末３の位置を管理する携帯端末位置管理テーブルを記憶している。また、監視サーバ２は、オブジェクトの異常状態の種類を分類した項目毎に、そのオブジェクトに対する対応指示を通知する携帯端末３を決定する条件を登録した異常状態分類テーブルを記憶している。この携帯端末位置管理テーブル、および異常状態分類テーブルの詳細については、後述する。また、監視サーバ２は、監視カメラ端末１から異常状態であるオブジェクトの検出にかかる通報があると、携帯端末位置管理テーブル、および異常状態分類テーブルを用いて、そのオブジェクトに対する対応を指示する携帯端末３（すなわち、警備員）を判断する。監視サーバ２は、ここで判断した携帯端末３に対して、異常状態であることが通報されてきたオブジェクトに対する対応指示を送信する。
【００２６】
図２は、監視カメラ端末の主要部の構成を示すブロック図である。監視カメラ端末１は、制御部１１と、撮像部１２と、画像処理部１３と、記憶部１４と、タイマ１５と、通信部１６と、を備えている。制御部１１は、本体各部の動作を制御する。
【００２７】
撮像部１２は、ＣＣＤカメラを有し、自端末に割り当てられている監視対象エリアを撮像する。すなわち、監視カメラ端末１は、その監視カメラ端末１に割り当てた監視対象エリアを撮像するように設置している。撮像部１２は、１秒間に数十フレーム（例えば、３０フレーム）の撮像画像を画像処理部１３に入力する。
【００２８】
画像処理部１３は、撮像部１２から入力された撮像画像を処理し、撮像されているオブジェクトの抽出、抽出したオブジェクトの追跡（オブジェクトマップの作成）、追跡しているオブジェクトの状態を推定する等の処理を行う。
【００２９】
記憶部１４は、監視カメラ端末１本体を動作させる動作プログラム、動作時に用いるパラメータ、オブジェクトの追跡情報であるオブジェクトマップ等を記憶する。タイマ１５は、現在時刻を計時する。通信部１６は、他の監視カメラ端末１、監視サーバ２、および携帯端末３との間における無線通信を制御する。
【００３０】
図３は、監視サーバの主要部の構成を示すブロック図である。監視サーバ２は、制御部２１と、記憶部２２と、通信部２３と、を備えている。監視サーバ２は、警備室等に設置される。制御部２１は、監視サーバ２本体の動作を制御する。記憶部２２は、監視サーバ２本体を動作させる動作プログラム、携帯端末位置管理テーブル、異常状態分類テーブル等を記憶する。通信部２３は、監視カメラ端末１、および携帯端末３との間における無線通信を制御する。
【００３１】
なお、警備室には、各監視カメラ端末１の撮像画像を表示するモニタ等も設置している。
【００３２】
図４は、携帯端末の主要部の構成を示すブロック図である。携帯端末３は、制御部３１と、表示・操作部３２と、位置検出部３３と、通信部３４と、を備えている。制御部３１は、携帯端末３本体各部の動作を制御する。表示・操作部３２は、監視サーバ２から送信されてきた、オブジェクトに対する対応指示を表示するとともに、携帯端末３本体に対する入力操作を受け付ける。位置検出部３３は、公知のＧＰＳを利用し、自端末の位置を検出する。通信部３４は、監視カメラ端末１、および監視サーバ２との間における無線通信を制御する。
【００３３】
この監視システムでは、各監視カメラ端末１が、自端末に割り当てられている監視対象エリア内に位置するオブジェクトを抽出し、そのオブジェクトを追跡する。また、監視カメラ端末１は、他の監視カメラ端末１と連携し、オブジェクトの追跡を広域にわたって行う。具体的には、追跡しているオブジェクトが自端末に割り当てられている監視対象エリアから、他の監視カメラ端末１に割り当てられている監視対象エリアに移動するときに、当該オブジェクトの追跡を、この他の監視カメラ端末１に引き継ぐ。
【００３４】
また、監視カメラ端末１は、追跡しているオブジェクト毎に、その状態が予め定められている異常状態であるかどうかを推定し、異常状態であると推定したオブジェクトを監視サーバ２に通報する。
【００３５】
携帯端末３は、一定時間毎に、ＧＰＳを利用して自端末の現在位置を取得し、監視サーバ２に通知する。
【００３６】
監視サーバ２は、携帯端末３毎に、その携帯端末３の位置を、当該携帯端末３から通知された現在位置によって管理する。また、監視サーバ２は、監視カメラ端末１から異常状態であるオブジェクトにかかる通報があれば、当該オブジェクトに対して対応を指示する携帯端末３（警備員）を判断し、その旨を送信する。
【００３７】
まず、監視カメラ端末１が、オブジェクトを追跡する処理について詳細に説明する。図５は、隣接する２つの監視カメラ端末に割り当てている監視対象エリアを示す図である。隣接する２つの監視カメラ端末１ａ、１ｂは、割り当てられている監視対象エリアの一部が重複している。この重複している撮像エリアを、ここでは重複エリアと言う。また、この重複エリアがある２つの監視カメラ端末１を、ここでは隣接する監視カメラ端末１と言う。
【００３８】
図５では、隣接する２つの監視カメラ端末１ａ、１ｂの監視対象エリアを例示しているが、隣接する他の２つの監視カメラ端末１の組み合せにおいても、監視対象エリアの一部が重複している。監視カメラ端末１は、隣接する他の監視カメラ端末１との間で、重複エリアに位置するオブジェクト（図５では、人物Ｘ、Ｙ）を、１対１で対応付ける同定処理を行う。図５では、人物Ｘ、Ｙは、監視カメラ端末１ａ、１ｂの重複エリア内に位置し、人物Ｚは、監視カメラ端末１ａの監視対象エリア内で、且つ監視カメラ端末１ｂとの重複エリア外に位置している。
【００３９】
なお、監視カメラ端末１は、隣接する他の監視カメラ端末１が１台であるとは限らない。言い換えれば、隣接する監視カメラ端末１が２台や３台である監視カメラ端末１もある。ただし、重複エリアは、隣接する他の監視カメラ端末１毎に異なる。
【００４０】
各監視カメラ端末１は、隣接する他の監視カメラ端末１毎に、自端末の撮像部１２が撮像したフレーム画像の２次元座標系と、隣接する相手側監視カメラ端末１の撮像部１２が撮像したフレーム画像の２次元座標系と、の相対的な位置関係を示す座標変換情報を記憶部１４に記憶している。この座標変換情報は、自端末の撮像部１２が撮像したフレーム画像の２次元座標系と、隣接する相手側監視カメラ端末１の撮像部１２が撮像したフレーム画像の２次元座標系と、を共通の座標系に射影変換する情報である。ここでは、監視カメラ端末１は、座標変換情報として、自端末の撮像部１２が撮像したフレーム画像の２次元座標系を、隣接する相手側監視カメラ端末１の撮像部１２が撮像したフレーム画像の２次元座標系に射影変換する第１の座標変換パラメータと、反対に、隣接する相手側監視カメラ端末１の撮像部１２が撮像したフレーム画像の２次元座標系を、自端末の撮像部１２が撮像したフレーム画像の２次元座標系に射影変換する第２の座標変換パラメータと、を記憶部１４に記憶している。
【００４１】
なお、座標変換情報は、第１の座標変換パラメータ、または第２の座標変換パラメータのどちらか一方のみであってもよい。
【００４２】
ここで、第１の座標変換パラメータ、および第２の座標変換パラメータについて、簡単に説明しておく。この第１の座標変換パラメータ、および第２の座標変換パラメータは、監視カメラ端末１の設置時に、実際に撮像したフレーム画像を用いて算出した値である。
【００４３】
まず、監視カメラ端末１の設置完了時に、テープ等を用いて、隣接する相手側監視カメラ端末１との重複エリア内の床面に４点をマーキングする。そして、自端末の撮像部１２で撮像したフレーム画像を処理し、このフレーム画像上におけるマーキングした４点の座標位置（ｘ，ｙ）を検出する。同様に、隣接する相手側監視カメラ端末１が撮像部１２で撮像したフレーム画像上におけるマーキングした４点の座標位置（Ｘ，Ｙ）を、この相手側端末から取得する。そして、マーキングした点毎に、その座標位置を、
Ｘ＝（ａ１ｘ＋ｂ１ｙ＋ｃ１）／（ａ０ｘ＋ｂ０ｙ＋１）
Ｙ＝（ａ２ｘ＋ｂ２ｙ＋ｃ２）／（ａ０ｘ＋ｂ０ｙ＋１）
に代入し、８元連立方程式を得る。この８元連立方程式の解である、ａ０，ｂ０，ａ１，ｂ１，ｃ１，ａ２，ｂ２，ｃ２の８個の計数が、この隣接する相手側監視カメラ端末１との第１の座標変換パラメータである。監視カメラ端末１は、この第１の座標変換パラメータを記憶部１４に記憶する。
【００４４】
同様に、マーキングした点毎に、その座標位置を、
ｘ＝（Ａ１Ｘ＋Ｂ１Ｙ＋Ｃ１）／（Ａ０Ｘ＋Ｂ０Ｙ＋１）
ｙ＝（Ａ２Ｘ＋Ｂ２Ｙ＋Ｃ２）／（Ａ０Ｘ＋Ｂ０Ｙ＋１）
に代入し、８元連立方程式を得る。この８元連立方程式の解である、Ａ０，Ｂ０，Ａ１，Ｂ１，Ｃ１，Ａ２，Ｂ２，Ｃ２の８個の計数が、この隣接する相手側監視カメラ端末１との第２の座標変換パラメータである。監視カメラ端末１は、この第２の座標変換パラメータを記憶部１４に記憶する。
【００４５】
図６は、監視カメラ端末における追跡処理を示すフローチャートである。監視カメラ端末１は、撮像部１２が撮像した監視対象エリアのフレーム画像を画像処理部１３に取り込む（ｓ１）。画像処理部１３は、ｓ１で取り込んだフレーム画像を処理し、撮像されているオブジェクトを抽出する（ｓ２）。画像処理部１３は、前回処理したフレーム画像で抽出したオブジェクトと、ｓ２で抽出したオブジェクトと、を対応付ける（ｓ３）。この画像処理部１３は、時空間ＭＲＦモデルを用い、オブジェクトを、８ピクセル×８ピクセルのブロックを単位とするオブジェクト領域として抽出する。画像処理部１３は、前回処理したフレーム画像で抽出したオブジェクトと、ｓ２で抽出したオブジェクトと、を対応付けることにより、今回抽出したオブジェクトの移動方向や移動量を得ることができ、抽出したオブジェクトの追跡が行える。
【００４６】
また、今回の処理で抽出したオブジェクトであって、前回の処理で抽出されていなかったオブジェクト（すなわち、今回初めて抽出したオブジェクト）については、仮ＩＤを付与する（ｓ４、ｓ５）。この仮ＩＤが付与されるオブジェクトは、前回のフレーム画像の処理から、今回のフレーム画像の処理までの間に、自端末に割り当てられている監視対象エリア内に入ってきたオブジェクトである。
【００４７】
なお、前回の処理で抽出されていたが、今回の処理で抽出されなかったオブジェクトは、前回のフレーム画像の処理から、今回のフレーム画像の処理までの間に、自端末に割り当てられている監視対象エリア外に移動したオブジェクトである。
【００４８】
画像処理部１３は、今回処理したフレーム画像に対する、オブジェクトマップを作成する（ｓ６）。このオブジェクトマップは、図７に示すように、今回抽出したオブジェクト毎に、そのオブジェクトに付与されているＩＤ（または今回付与した仮ＩＤ）と、今回処理したフレーム画像上における座標位置とを対応付けた情報である。また、監視カメラ端末１は、タイムスタンプをオブジェクトマップに付与する。このタイムスタンプは、ｓ１でフレーム画像を画像処理部１３に取り込んだ時刻であってもよいし、付与するときにタイマ１５で計時している時刻（現在時刻）であってもよい。また、ｓ６でオブジェクトマップを作成するときには、今回抽出したオブジェクトが人であれば、その足元位置を、そのオブジェクトの座標位置にする。
【００４９】
なお、画像処理部１３は、オブジェクトの足元が他のオブジェクトとの重なりによって隠れることなくフレーム画像上に撮像されていれば、その足元の座標位置（例えば、右足の中心、左足の中心、または両足を結ぶ直線の中点）を検出し、そのオブジェクトの座標位置とする。一方、オブジェクトの足元が他のオブジェクトとの重なりによって隠れ、フレーム画像上に撮像されていなければ、撮像されている肉体の一部から、オブジェクトの足元の座標位置を推定し、そのオブジェクトの座標位置とする。
【００５０】
監視カメラ端末１は、ｓ６で作成したオブジェクトマップを記憶部１４に記憶するとともに、通信部１６において隣接する他の監視カメラ端末１に対して、今回作成したオブジェクトマップ（以下、自端末オブジェクトマップと言う。）を送信する（ｓ７、ｓ８）。
【００５１】
なお、各監視カメラ端末１は、隣接する他の監視カメラ端末１からオブジェクトマップ（以下、相手側オブジェクトマップと言う。）が送信されてくると、この相手側オブジェクトマップを記憶部１４に記憶する。監視カメラ端末１は、隣接する相手側監視カメラ端末１毎に、相手側オブジェクトマップを区別して記憶する。
【００５２】
監視カメラ端末１は、上述したｓ１〜ｓ８の処理を繰り返し行い、時間的に連続するオブジェクトマップから、自端末の監視エリア内に位置するオブジェクト毎に、時間経過ともなう位置の変化を得る。これにより、監視カメラ端末１は、自端末の監視エリア内に位置するオブジェクトの追跡が行える。
【００５３】
なお、監視カメラ端末１は、監視エリア内に放置された不審物（非移動体）についても、監視エリア内に位置するオブジェクトとして検出している。また、監視カメラ端末１は、監視エリア内に放置された不審物を検出したとき、上述のオブジェクトマップを参照し、その直前に、その不審物が放置されている位置にいた人物を検出し、この人物が不審物を放置した人物と判断する。
【００５４】
次に、上述のｓ５で仮ＩＤを付与したオブジェクトのＩＤを確定するＩＤ確定処理について説明する。上述したように、オブジェクトマップに登録されているオブジェクトには、そのオブジェクトを特定できるＩＤ，または仮ＩＤが付与されている。仮ＩＤが付与されているオブジェクトには、他の監視カメラ端末１ですでにＩＤを付与されていたオブジェクト（すなわち、すでに追跡が開始されていたオブジェクト）と、現時点ではＩＤが付与されていないオブジェクト（すなわち、この監視システムで監視しているエリアに入ってきたオブジェクト）と、が含まれている。このＩＤ確定処理は、不審者等の人物を広域にわたって追跡するために、仮ＩＤを付与したオブジェクトが、すでにＩＤが付与されているオブジェクトであれば、今回付与した仮ＩＤを無効にし、すでに付与されていたＩＤに戻すための処理である。また、仮ＩＤを付与したオブジェクトが、現時点でＩＤが付与されていないオブジェクトであれば、今回付与した仮ＩＤをこのオブジェクトのＩＤに確定する。
【００５５】
なお、オブジェクトに付与されているＩＤや、仮ＩＤは、そのオブジェクトを特定できるユニークな値である。このＩＤや、仮ＩＤは、数字であってもよいし、符号であってもよいし、これらの組み合せであってもよい。また、監視カメラ端末１間で発行済ＩＤを通知し合うことなく、各オブジェクトに異なるＩＤが付与できるように、付与した監視カメラ端末１が識別できる数字や符号をＩＤに含ませる構成が好ましい。
【００５６】
図８は、このＩＤ確定処理を示すフローチャートである。このＩＤ確定処理は、仮ＩＤを付与したオブジェクトを登録したオブジェクトマップを作成したときに行う。まず、今回仮ＩＤを付与したオブジェクトの中に、隣接する他の監視カメラ端末１との重複エリア内に位置するオブジェクトがあるかどうかを判定する（ｓ１１）。今回仮ＩＤを付与したオブジェクトが、重複エリア内に位置している場合、そのオブジェクトは、この重複エリアを監視エリアに含む隣接する相手側監視カメラ端末１で追跡されているオブジェクトである。すなわち、すでにＩＤが付与されているオブジェクトである。一方、今回仮ＩＤを付与したオブジェクトが、重複エリア内に位置していない場合、そのオブジェクトは、他の監視カメラ端末１で追跡されていなかったオブジェクトである。すなわち、現時点でＩＤが確定されていないオブジェクトである。監視カメラ端末１は、ｓ１１で重複エリア内に位置しているオブジェクトがなければ、今回仮ＩＤを付与したオブジェクト毎に、付与した仮ＩＤをＩＤに確定する（ｓ１２）。
【００５７】
一方、重複エリア内に位置しているオブジェクトがあれば、今回仮ＩＤを付与したオブジェクトの中で、重複エリア外に位置しているオブジェクトについてのみ、付与した仮ＩＤをＩＤに確定する（ｓ１３）。また、監視カメラ端末１は、今回、仮ＩＤを登録した自端末側オブジェクトマップに時間的に対応する、相手側オブジェクトマップを記憶部１４から読み出す（ｓ１４）。ｓ１４では、自端末側オブジェクトマップに付与されているタイムスタンプの時刻との時間差の絶対値が最小である時刻のタイムスタンプが付与されている相手側オブジェクトマップを記憶部１４から読み出す。
【００５８】
監視カメラ端末１は、自端末側オブジェクトマップに登録されている重複エリア内に位置しているオブジェクトと、相手側オブジェクトマップに登録されている重複エリア内に位置しているオブジェクトと、を１対１で対応付ける組み合せパターンを作成する（ｓ１５）。ｓ１５で作成される組み合せのパターン数は、例えば、重複エリア内に位置しているオブジェクトが２つであれば２通りであり、また重複エリア内に位置しているオブジェクトが３つであれば６通りである。
【００５９】
また、監視カメラ端末１は、今回作成した自端末側オブジェクトマップに登録されているオブジェクトの中で、重複エリア内に位置するオブジェクト毎に、第１の座標変換パラメータを用いて、そのオブジェクトの座標位置を相手側端末の座標系に変換する（ｓ１６）。監視カメラ端末１は、ｓ１５で作成した組み合せパターン毎に、第１の距離エネルギーを算出する（ｓ１７）。この第１の距離エネルギーは、相手側端末の座標系での、対応する組み合せパターンにおいて対応付けたオブジェクト間の距離の総和である。
【００６０】
また、監視カメラ端末１は、ｓ１４で読み出した相手側オブジェクトマップに登録されているオブジェクトの中で、重複エリア内に位置するオブジェクト毎に、第２の座標変換パラメータを用いて、そのオブジェクトの座標位置を自端末の座標系に変換する（ｓ１８）。監視カメラ端末１は、ｓ１５で作成した組み合せパターン毎に、第２の距離エネルギーを算出する（ｓ１９）。この第２の距離エネルギーは、自端末の座標系での、対応する組み合せパターンにおいて対応付けたオブジェクト間の距離の総和である。
【００６１】
監視カメラ端末１は、ｓ１４で作成した組み合せパターン毎に、総合距離エネルギーを算出する（ｓ２０）。この総合距離エネルギーは、組み合せパターン毎に、その組み合せパターンの第１の距離エネルギーと、第２の距離エネルギーとの和である。
【００６２】
監視カメラ端末１は、ｓ２０で得た総合距離エネルギーが最小である組み合せパターンを、重複エリア内に位置するオブジェクトの適正な対応付けと判断する。そして、総合距離エネルギーが最小である組み合せパターンによるオブジェクトの対応付けにより、重複エリア内に位置するオブジェクトを同定する（ｓ２１）。そして、監視カメラ端末１は、仮ＩＤを付与したオブジェクトについては、付与されている仮ＩＤを無効とし、同定したオブジェクトに付与されているＩＤに確定する（ｓ２２）。ｓ２２では、オブジェクトマップにおける、仮ＩＤを同定したオブジェクトに付与されているＩＤに置き換える。
【００６３】
このＩＤ確定処理は、仮ＩＤを付与したオブジェクトを登録したオブジェクトマップを作成したときに行うので、オブジェクトの同定にリアルタイム性を持たせることができる。
【００６４】
なお、上記の説明では、重複エリア内に位置するオブジェクトの同定精度を確保するために、第１の距離エネルギーと、第２の距離エネルギーとの和を総合距離エネルギーとしたが、第１の距離エネルギー、または第２の距離エネルギーの一方を総合距離エネルギーとしてもよい。このようにすれば、監視カメラ端末１の処理負荷を低減することができる。
【００６５】
次に、監視カメラ端末１が、追跡しているオブジェクトの状態を推定する状態推定処理について説明する。この状態推定処理は、画像処理部１３が、上述したｓ２で抽出したオブジェクト毎に、その姿勢を推定し、推定した姿勢の時間的変化から、当該オブジェクトの状態を推定する処理である。
【００６６】
監視カメラ端末１は、撮像画像上において、撮像されているオブジェクトを囲む矩形領域を設定する。また、この矩形領域は、抽出したオブジェクトに外接するように設定する。画像処理部１３は、ここで設定した矩形の高さと幅の比、すなわちアスペクト比、に基づき、そのオブジェクトの姿勢を推定する。
【００６７】
例えば、オブジェクトを囲む矩形領域の高さαと、幅βとの比が、
β／α＜０．６であれば、立ち状態
０．６＜β／α＜１．５であれば、しゃがみ込み、または飛び跳ね状態
１．５＜β／αであれば、横たわり状態、
であると推定する。
【００６８】
なお、ここでは、抽出したオブジェクトに対して矩形領域を設定するとしたが、矩形領域を設定せずに、そのオブジェクトの高さαと、幅βと、を検出し、姿勢を推定してもよい。また、監視カメラ端末１は、フレーム画像上における位置が予め定めた時間（数十秒程度）変化しないオブジェクトを荷物（放置物）と判断する。この放置物であると判定する時間は、監視対象エリアの環境に応じて設定すればよい。監視カメラ端末１は、上述したオブジェクトマップを参照することにより、時間経過にともなうオブジェクトの位置の変化を得ることができる。
【００６９】
図９は、姿勢マップを示す図である。この姿勢マップは、オブジェクト毎に、時間経過にともなう姿勢の変化を登録したものである。姿勢マップは、図９に示すように、画像処理部１３で抽出したオブジェクト毎に作成する。図９は、抽出したオブジェクトＡ（図９（Ａ）参照）、およびオブジェクトＢ（図９（Ｂ）参照）について作成した姿勢マップの例である。オブジェクトＡは人であり、オブジェクトＢは物である。図９に示すように、姿勢マップは、物体の種類（人、または物）、姿勢（人のみ）、オブジェクトを囲む矩形領域の上辺の高さ、および下辺の高さ、場所情報、および時刻を対応づけたレコードを時系列に登録したものである。画像処理部１３が、この姿勢マップを作成する。記憶部１４が、この姿勢マップを記憶する。
【００７０】
図９に示す姿勢マップの場所情報は、その場所の環境を示す情報である。例えば、不特定多数の人の通行路であるフロア、自動改札機を設置している改札機エリア、ベンチを設置しているベンチエリアを示す。また、場所情報は、撮像部１２の撮像エリア（監視対象エリア）を図１０に示すように分割し、分割した領域毎に設定している。図１０（Ａ）は、改札口周辺の撮像画像を示している。また、図１０（Ｂ）は、図１０（Ａ）に示す撮像領域に対して場所情報を設定した例を示す図である。図１１（Ａ）は、駅ホームの撮像画像を示している。また、図１１（Ｂ）は、図１１（Ａ）に示す撮像領域に対して場所情報を設定した例を示す図である。
【００７１】
この監視カメラ端末１は、１つのオブジェクト（単独オブジェクト）の状態の推定が行えるだけでなく、複数オブジェクト間で関連する状態の推定も行える。単独オブジェクトの状態の推定により、自動改札機の不正通行（強行突破）、駅ホームや改札口周辺等における徘徊、座り込み、倒れ込み、滞留、酔客等の状態が判断できる。また、複数オブジェクトは、自動改札機の不正通行（共連れ）、不審物の置き去り、持ち去り、口論、つきまとい、キャッチセールス、通り魔等の状態が判断できる。
【００７２】
図１２は、姿勢マップ作成処理を示すフローチャートである。監視カメラ端末１は、画像処理部１３において、上述した追跡処理で抽出したオブジェクト毎に、そのオブジェクトを囲む矩形領域を設定する（ｓ３１）。画像処理部１３は、ｓ３１で矩形領域を設定したオブジェクト毎に、その矩形領域の高さ、および幅からアスペクト比（縦横比）を算出し、そのオブジェクト（人のみ）の姿勢を推定する（ｓ３２）。ｓ３２では、上述したように、オブジェクトを囲む矩形領域の高さαと、幅βとの比が、
β／α＜０．６であれば、立ち状態
０．６＜β／α＜１．５であれば、しゃがみ込み、または飛び跳ね状態
１．５＜β／αであれば、横たわり状態、
であると推定する。
【００７３】
また、ｓ３２では、今回抽出した人物毎に、設定した矩形領域の上辺の高さ、および下辺の高さを検出する。
【００７４】
画像処理部１３は、今回処理したフレーム画像から抽出したオブジェクト毎に、姿勢マップに登録するレコードを生成する（ｓ３３）。ｓ３３では、図９に示したように、オブジェクトの種類（人、または物）、姿勢（人のみ）、オブジェクトを囲む矩形領域の上辺の高さ、および下辺の高さ、場所情報、および時刻を対応づけたレコードを生成する。
【００７５】
なお、抽出したオブジェクトが、人、または物であるかの判定は、位置が変化することなく一定時間経過したときに、物であるとする。言い換えれば、一定時間経過する前に、位置が変化しているオブジェクト（移動しているオブジェクト）であれば人と判定する。
【００７６】
監視カメラ端末１は、ｓ３３で生成したレコードを該当するオブジェクトの姿勢マップに登録する（ｓ３４）。監視カメラ端末１は、この姿勢マップを記憶部１４に記憶する。
【００７７】
監視カメラ端末１は、上述したｓ３１〜ｓ３４にかかる処理を繰り返すことにより、監視対象エリア内に位置する人や、物にかかる姿勢マップ（図９参照）を作成し、記憶部１４に記憶する。
【００７８】
次に、上述した処理で作成した姿勢マップに基づき、オブジェクトの状態を推定する手法について説明する。上述したように、姿勢マップにはオブジェクトが位置している場所を示す場所情報を対応づけているので、アスペクト比を用いることで、当該オブジェクト（人）の状態が精度良く推定できる。例えば、オブジェクトである人が位置している場所の場所情報がフロアであり、姿勢が横たわり状態である場合、酔客等の倒れ込みと推定できる。また、オブジェクトである人が位置している場所の場所情報がベンチであり、姿勢がしゃがみ込み状態である場合、ベンチに座っていると推定できる。また、オブジェクトである人が位置している場所の場所情報がベンチであり、姿勢が横たわり状態である場合、ベンチに横たわっていると推定できる。また、オブジェクトである人が位置している場所の場所情報がごみ箱エリアであり、姿勢が立ち状態であれば、ゴミ箱をあさっていると推定できる。
【００７９】
なお、酔客であるかどうかの判断は、上述のオブジェクトマップを参照することで得られる、その人の移動速度から判断すればよい。一般に酔客は、移動速度が遅い。また、上述のオブジェクトマップと、姿勢マップと、を１つのマップで作成してもよい。
【００８０】
また、上述したように、姿勢マップには、オブジェクトを囲む矩形領域の上辺の高さ、および下辺の高さを登録しているので、そのオブジェクトが飛び上がったのか、しゃがんだのか判断できる。すなわち下辺の高さが床面よりも上方に位置していれば飛び上がったと判断でき、下辺の高さが床面に位置していればしゃがんだと判断できる。
【００８１】
また、図１３に示すように、自動改札機のゲートをしゃがんで不正に通行した場合、その不正通行者を囲む矩形の上辺が一時的（図１３（Ｂ）参照）に下がる。図１３（Ａ）は、自動改札機の通路に進入する直前のフレーム画像を示している。図１３（Ｂ）は、自動改札機の通路を通行しているとき（しゃがんでいる状態）のフレーム画像を示している。図１３（Ｃ）は、自動改札機の通路から退出したときのフレーム画像を示している。すなわち、自動改札機の通路を通行時に、一時的にしゃがんだ人を検出したとき、この人を自動改札機の不正通行者と判断できる。
【００８２】
また、図１４に示すように、自動改札機のゲートを飛び越えて不正に通行した場合、その不正通行者を囲む矩形の下辺が一時的（図１４（Ｂ）参照）に上がる。図１４（Ａ）は、自動改札機の通路に進入する直前のフレーム画像を示している。図１４（Ｂ）は、自動改札機の通路を通行しているとき（ゲートを飛び越えている状態）のフレーム画像を示している。図１４（Ｃ）は、自動改札機の通路から退出したときのフレーム画像を示している。すなわち、自動改札機の通路を通行時に、一時的に飛び跳ねた人を検出したとき、この人を自動改札機の不正通行者と判断できる。
【００８３】
なお、オブジェクト（通行者）を囲む矩形のアスペクト比を用いて状態を判断しているので、立ち状態である通行者を、しゃがんだ、または飛び跳ねたとする誤判断が抑えられる。
【００８４】
さらに、自動改札機から得られる通行者の人数を用いて、共連れにかかる不正通行の検出も行える。例えば、図１５（Ａ）は、自動改札機の通路に進入する直前のフレーム画像を示している。図１５（Ｂ）は、自動改札機の通路を通行しているときのフレーム画像を示している。図１５（Ｃ）は、自動改札機の通路から退出したときのフレーム画像を示している。図１５（Ａ）、（Ｃ）に示すように、自動改札機の入口、または出口で２人の人を検出していた場合に、自動改札機から得られた改札通路の通行者の人数が１人であれば、共連れであると判断できる。
【００８５】
このように、この実施形態にかかる監視カメラ端末１は、抽出したオブジェクトの高さと、幅の比であるアスペクト比に基づいて、そのオブジェクトの状態を推定するので、オブジェクトの三次元情報を必要とすることがない。
【００８６】
ここでは、監視カメラ端末１が自動改札機を通行するオブジェクト（人）の状態を推定する場合を例示したが、その他の場所にも適用可能である。
【００８７】
なお、監視カメラ端末１は、撮像部１２をステレオカメラで構成し、オブジェクトの三次元情報を取得して、当該オブジェクトの状態を推定してもよいし、他の公知の手法でオブジェクトの状態を推定してもよい。
【００８８】
監視カメラ端末１は、監視サーバ２に対して通報を行うオブジェクトの状態（異常状態）を記憶している。例えば、自動改札機の不正通行、喧嘩、フロアでの座り込み、ベンチでの横たわり、放置物等を、監視サーバ２に通報が必要な状態として登録している。
【００８９】
監視カメラ端末１は、監視サーバ２に通報が必要な状態（異常状態）であるオブジェクトを検出すると、その旨を通報する。監視カメラ端末１は、異常状態であるオブジェクトが人であれば、その異常状態の種類（自動改札機の不正通行、座り込み、喧嘩等）、異常状態を検出した場所（以下、現場と言う。）、その人が現場から離れていれば（現場から逃走していれば）逃走方向、その人の外見上の特徴（撮像画像であってもよい。）等を監視サーバ２に通報する。
【００９０】
また、監視カメラ端末１は、通報が必要な状態のオブジェクトが人ではなく、放置物であれば、その放置物が放置されている位置（現場）、その放置物を放置した人の移動方向や現在位置、その人の特徴等を監視サーバ２に通報する。
【００９１】
オブジェクトの位置や、移動方向については、オブジェクトマップから得られる。また、オブジェクトの特徴は、撮像部１２の撮像画像から得られる。
【００９２】
なお、監視カメラ端末１は、監視サーバ２に通報したオブジェクトについても、自端末の監視対象エリア内に位置している間は、そのオブジェクトの追跡を継続する。
【００９３】
次に、携帯端末３の動作について説明する。上述したように、この携帯端末３は、この監視システムで監視する監視エリアを巡回する警備員が所持する。図１６は、携帯端末の動作を示すフローチャートである。携帯端末３は、自端末の位置を監視サーバ２に通知するタイミングになると（ｓ４１）、ＧＰＳを利用した位置検出を行う（ｓ４２）。携帯端末３は、例えば、数分（１〜３分）毎に、自端末の位置を監視サーバ２に通知する。携帯端末３は、ｓ４２で検出した位置を監視サーバに通知する（ｓ４３）。
【００９４】
また、携帯端末３は、監視サーバ２から送信されてきた対応指示を受信すると（ｓ４４）、受信した対応指示を表示・操作部３２に表示する（ｓ４５）。この対応指示の詳細については、後述する。
【００９５】
次に、監視サーバ２の動作について説明する。監視サーバ２は、図１７に示す携帯端末位置テーブルを記憶している。この携帯端末位置テーブルは、携帯端末３毎に、その携帯端末３を識別するＩＤと、その携帯端末３の位置と、を対応づけて記憶している。携帯端末３の位置は、例えば、緯度、経度である。
【００９６】
また、監視サーバ２は、図１８に示す異常状態分類テーブルを記憶している。この異常状態分類テーブルは、その対応に緊急性があるかどうか、および異常状態であると推定したオブジェクトがその現場に留まっているか、現場から逃走しているかで分類した項目別に、その項目に属する異常状態の種類を登録したテーブルである。また、ここでは、この項目を、異常状態であると推定したオブジェクトが現場から逃走している場合、現場の確認の必要性の有無によっても分類している。また、上述の分類項目毎に、対応を指示する警備員を判断するルールを登録している。
【００９７】
図１８に示す例では、通り魔や、不審物の放置等の種類が、緊急性があり、異常状態であるオブジェクトが現場から逃走しており、且つ現場の確認が必要である項目に属する。また、自動改札機の不正通行等の種類が、緊急性があり、異常状態であるオブジェクトが現場から逃走しており、且つ現場の確認が不要である項目に属する。また、自動改札機のトラブルや、喧嘩等の種類が、緊急性があり、且つ異常状態であるオブジェクトが現場から逃走していない項目に属する。また、座り込みや、徘徊等の種類が、緊急性がなく、異常状態であるオブジェクトが現場から逃走していない項目に属する。
【００９８】
また、緊急性があり、異常状態であるオブジェクトが現場から逃走しており、且つ現場の確認が必要である項目に属する種類の異常状態については、この逃走している人の確保を指示する警備員を、逃走方向にいる警備員にし、且つ、現場の確認を指示する警備員を、その他の警備員の中で、最も現場に近い警備員にするルールを登録している。また、緊急性があり、異常状態であるオブジェクトが現場から逃走しており、且つ現場の確認が不要である項目に属する種類の異常状態については、この逃走している人の確保を指示する警備員を、逃走方向にいる警備員にするルールを登録している。
【００９９】
また、緊急性があり、異常状態であるオブジェクトが現場から逃走していない項目に属する種類の異常状態については、現場の確認を指示する警備員を、その他の警備員の中で、最も現場に近い警備員にするルールを登録している。さらに、緊急性がなく、異常状態であるオブジェクトが現場から逃走していない項目に属する種類の異常状態については、現場の確認を、この現場に向かって移動している警備員にするルールを登録している。
【０１００】
図１９は、監視サーバの動作を示すフローチャートである。監視サーバ２は、携帯端末３から現在位置の通知があると（ｓ５１）、携帯端末位置管理テーブルで管理している該当する携帯端末３の位置を、今回通知された位置に更新する（ｓ５２）。
【０１０１】
上述したように、携帯端末３は、一定時間毎（数分毎）に自端末の位置を検出し、これを監視サーバ２に通知している。したがって、監視サーバ２は、携帯端末３の位置、すなわちこの携帯端末３を所持している警備員の位置、を携帯端末位置管理テーブルで管理できる。
【０１０２】
また、監視サーバ２は、監視カメラ端末１から異常状態であるオブジェクトにかかる通報を受信すると（ｓ５３）、監視カメラ端末１が今回推定した異常状態の種類を取得し、その種類の異常状態が属する分類項目を判断する（ｓ５４）。監視カメラ端末１からの通報には、その監視カメラ端末１のＩＤ、今回検出した異常状態の種類、異常状態であるオブジェクトが現場から逃走しているかどうか、現場から逃走しているオブジェクトの逃走方向、このオブジェクトを撮像した撮像画像等が含まれている。
【０１０３】
監視サーバ２は、異常状態分類テーブルに登録されている条件に基づき、対応指示を通知する携帯端末３を決定する（ｓ５５）。ｓ５５では、携帯端末位置管理テーブルで管理している各携帯端末３の位置を参照する。
【０１０４】
例えば、監視サーバ２は、監視カメラ端末１からの通報が自動改札機のトラブルであれば、携帯端末位置管理テーブルを参照し、トラブルが発生した自動改札機に最も近い位置にある携帯端末３を、対応を指示する携帯端末３に決定する。また、監視サーバ２は、監視カメラ端末１からの通報が徘徊や酔客の座り込みであれば、携帯端末位置管理テーブルを参照し、トラブルが発生した場所に向かって移動している携帯端末３を、対応を指示する携帯端末３に決定する。携帯端末３の移動方向は、この携帯端末３から一定時間毎（数分毎）に通知されている位置から得られる。
【０１０５】
また、監視サーバ２は、監視カメラ端末１からの通報が不審物の放置であれば、携帯端末位置管理テーブルを参照し、不審物が放置した人が逃走している方向に位置する携帯端末３を、この逃走している不審物が放置した人の拘束を指示する携帯端末３に決定するとともに、残りの携帯端末３の中で、不審物が放置された場所に最も近い位置にある携帯端末３を、この不審物の確認（現場の確認）を指示する携帯端末３に決定する。さらに、監視サーバ２は、監視カメラ端末１からの通報が自動改札機の不正通行であれば、携帯端末位置管理テーブルを参照し、この不正通行者が逃走している方向に位置する携帯端末３を、この不正通行者の拘束を指示する携帯端末３に決定する。
【０１０６】
なお、逃走しているオブジェクトは、監視カメラ端末１によって追跡されている。
【０１０７】
監視サーバ２は、ｓ５５で決定した、対応を指示する携帯端末３に対して、対応を指示する送信を行う（ｓ５６）。監視サーバ２は、自動改札機のトラブルにかかる対応を指示する場合、その自動改札機の場所を通知する。一方、不審物が放置した人や、逃走している人の拘束を指示する場合、拘束する人の撮像画像や、その人の外見上の特徴（身長や衣服の色等）を通知する。
【０１０８】
携帯端末３は、監視サーバ２がｓ５６で送信した対応指示をｓ４４で受信する。そして、携帯端末３は、ｓ４５で監視サーバ２から送信されてきた対応指示を表示・操作部３２に表示する。この携帯端末３を所持している警備員は、表示・操作部３２に表示された対応指示に応じて、行動する。
【０１０９】
このように、この監視システムでは、監視サーバ２が、携帯端末３の位置（この携帯端末３を所持している警備員の位置）を管理し、異常状態であると推定されたオブジェクトに対する対応を指示する携帯端末３を、異常状態の種類、および携帯端末３の位置に基づいて決定する。また、監視サーバ２は、ここで決定した携帯端末３に対して、このオブジェクトに対する対応を指示する。したがって、監視サーバ２は、監視カメラ端末１において、その状態が異常であると推定された不審者や不審物等のオブジェクトが検出されたときに、そのオブジェクトに対する対応指示が迅速、且つ適正に行える。
【符号の説明】
【０１１０】
１…監視カメラ端末
２…監視サーバ
３…携帯端末
１１…制御部
１２…撮像部
１３…画像処理部
１４…記憶部
１５…タイマ
１６…通信部
２１…制御部
２２…記憶部
２３…通信部
３１…制御部
３２…表示・操作部
３３…位置検出部
３４…通信部
【特許請求の範囲】
【請求項１】
監視カメラ端末と、監視サーバと、を備えた監視システムであって、
前記監視カメラ端末は、
自端末に割り当てられている監視対象エリアを撮像する撮像手段と、
前記撮像手段が撮像している前記監視対象エリアの撮像画像を処理し、撮像されているオブジェクトを抽出し、そのオブジェクトを前記監視対象エリア内において追跡する追跡手段と、
前記追跡手段が追跡しているオブジェクトの状態が、予め定めている前記監視サーバへの通報が必要な種類の異常状態であるかどうかを推定する状態推定手段と、
前記追跡手段が追跡しているオブジェクトについて、前記状態推定手段が推定した状態が、予め定めている前記監視サーバへの通報が必要な種類の異常状態であれば、その旨を前記監視サーバに通報する通報手段と、を備え、
前記監視サーバは、
登録している携帯端末毎に、その携帯端末の位置を管理する携帯端末位置管理テーブル、およびオブジェクトの異常状態の種類を分類した項目毎に、オブジェクトに対する対応指示を通知する携帯端末を決定する条件を登録した異常状態分類テーブルを記憶する記憶手段と、
前記監視カメラ端末から、オブジェクトが異常状態である旨の通報があれば、前記記憶手段が記憶している前記携帯端末位置管理テーブル、および前記異常状態分類テーブルを用いて、このオブジェクトに対する対応指示を通知する携帯端末を決定する通知先決定手段と、
前記通知先決定手段が決定した携帯端末に対して、異常状態であるオブジェクトに対する対応指示を送信する送信手段と、を備えている、
監視システム。
【請求項２】
前記監視サーバは、
前記異常状態分類テーブルが、オブジェクトの異常状態の種類を、対応の緊急性が必要であるかどうか、および、異常状態であると推定したオブジェクトがその位置から離れる方向に移動しているかどうか、により分類した項目毎に、そのオブジェクトに対する対応指示を通知する携帯端末を決定する条件を登録している、
請求項１に記載の監視システム。
【請求項３】
前記監視サーバは、
前記異常状態分類テーブルが、異常状態であると推定したオブジェクトがその位置から離れる方向に移動している項目については、異常状態であると推定した場所である現場の確認が必要であるかどうかにより細分類したテーブルである、
請求項２に記載の監視システム。
【請求項４】
監視対象エリアの撮像画像を処理し、撮像されているオブジェクトの状態を推定し、その状態が予め定めている通報が必要な種類の異常状態であれば、その旨の通報を行う監視カメラ端末とデータ通信を行う監視サーバであって、
登録している携帯端末毎に、その携帯端末の位置を管理する携帯端末位置管理テーブル、およびオブジェクトの異常状態の種類を分類した項目毎に、オブジェクトに対する対応指示を通知する携帯端末を決定する条件を登録した異常状態分類テーブルを記憶する記憶手段と、
前記監視カメラ端末から、オブジェクトが異常状態である旨の通報があれば、前記記憶手段が記憶している携帯端末位置管理テーブル、および前記異常状態分類テーブルを用いて、このオブジェクトに対する対応指示を通知する携帯端末を決定する通知先決定手段と、
前記通知先決定手段が決定した携帯端末に対して、異常状態であるオブジェクトに対する対応指示を送信する送信手段と、を備えている、監視サーバ。
【請求項５】
前記異常状態分類テーブルが、オブジェクトの異常状態の種類を、対応の緊急性が必要であるかどうか、および、異常状態であると推定したオブジェクトがその位置から離れる方向に移動しているかどうか、により分類した項目毎に、そのオブジェクトに対する対応指示を通知する携帯端末を決定する条件を登録している、請求項４に記載の監視サーバ。
【請求項６】
前記異常状態分類テーブルが、異常状態であると推定したオブジェクトがその位置から離れる方向に移動している項目については、異常状態であると推定した場所である現場の確認が必要であるかどうかにより細分類したテーブルである、請求項５に記載の監視サーバ。
【請求項１】
監視カメラ端末と、監視サーバと、を備えた監視システムであって、
前記監視カメラ端末は、
自端末に割り当てられている監視対象エリアを撮像する撮像手段と、
前記撮像手段が撮像している前記監視対象エリアの撮像画像を処理し、撮像されているオブジェクトを抽出し、そのオブジェクトを前記監視対象エリア内において追跡する追跡手段と、
前記追跡手段が追跡しているオブジェクトの状態が、予め定めている前記監視サーバへの通報が必要な種類の異常状態であるかどうかを推定する状態推定手段と、
前記追跡手段が追跡しているオブジェクトについて、前記状態推定手段が推定した状態が、予め定めている前記監視サーバへの通報が必要な種類の異常状態であれば、その旨を前記監視サーバに通報する通報手段と、を備え、
前記監視サーバは、
登録している携帯端末毎に、その携帯端末の位置を管理する携帯端末位置管理テーブル、およびオブジェクトの異常状態の種類を分類した項目毎に、オブジェクトに対する対応指示を通知する携帯端末を決定する条件を登録した異常状態分類テーブルを記憶する記憶手段と、
前記監視カメラ端末から、オブジェクトが異常状態である旨の通報があれば、前記記憶手段が記憶している前記携帯端末位置管理テーブル、および前記異常状態分類テーブルを用いて、このオブジェクトに対する対応指示を通知する携帯端末を決定する通知先決定手段と、
前記通知先決定手段が決定した携帯端末に対して、異常状態であるオブジェクトに対する対応指示を送信する送信手段と、を備えている、
監視システム。
【請求項２】
前記監視サーバは、
前記異常状態分類テーブルが、オブジェクトの異常状態の種類を、対応の緊急性が必要であるかどうか、および、異常状態であると推定したオブジェクトがその位置から離れる方向に移動しているかどうか、により分類した項目毎に、そのオブジェクトに対する対応指示を通知する携帯端末を決定する条件を登録している、
請求項１に記載の監視システム。
【請求項３】
前記監視サーバは、
前記異常状態分類テーブルが、異常状態であると推定したオブジェクトがその位置から離れる方向に移動している項目については、異常状態であると推定した場所である現場の確認が必要であるかどうかにより細分類したテーブルである、
請求項２に記載の監視システム。
【請求項４】
監視対象エリアの撮像画像を処理し、撮像されているオブジェクトの状態を推定し、その状態が予め定めている通報が必要な種類の異常状態であれば、その旨の通報を行う監視カメラ端末とデータ通信を行う監視サーバであって、
登録している携帯端末毎に、その携帯端末の位置を管理する携帯端末位置管理テーブル、およびオブジェクトの異常状態の種類を分類した項目毎に、オブジェクトに対する対応指示を通知する携帯端末を決定する条件を登録した異常状態分類テーブルを記憶する記憶手段と、
前記監視カメラ端末から、オブジェクトが異常状態である旨の通報があれば、前記記憶手段が記憶している携帯端末位置管理テーブル、および前記異常状態分類テーブルを用いて、このオブジェクトに対する対応指示を通知する携帯端末を決定する通知先決定手段と、
前記通知先決定手段が決定した携帯端末に対して、異常状態であるオブジェクトに対する対応指示を送信する送信手段と、を備えている、監視サーバ。
【請求項５】
前記異常状態分類テーブルが、オブジェクトの異常状態の種類を、対応の緊急性が必要であるかどうか、および、異常状態であると推定したオブジェクトがその位置から離れる方向に移動しているかどうか、により分類した項目毎に、そのオブジェクトに対する対応指示を通知する携帯端末を決定する条件を登録している、請求項４に記載の監視サーバ。
【請求項６】
前記異常状態分類テーブルが、異常状態であると推定したオブジェクトがその位置から離れる方向に移動している項目については、異常状態であると推定した場所である現場の確認が必要であるかどうかにより細分類したテーブルである、請求項５に記載の監視サーバ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１２】
【図１６】
【図１７】
【図１８】
【図１９】
【図１０】
【図１１】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１２】
【図１６】
【図１７】
【図１８】
【図１９】
【図１０】
【図１１】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−１０４０２２（Ｐ２０１２−１０４０２２Ａ）
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願番号】特願２０１０−２５３８０４（Ｐ２０１０−２５３８０４）
【出願日】平成２２年１１月１２日（２０１０．１１．１２）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２２年度、独立行政法人情報通信研究機構「民間基盤技術研究促進制度／高度画像監視センサネットワーク技術の研究開発」、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【出願人】（５０４１３７９１２）国立大学法人 東京大学 (1,942)
【Ｆターム（参考）】
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願日】平成２２年１１月１２日（２０１０．１１．１２）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２２年度、独立行政法人情報通信研究機構「民間基盤技術研究促進制度／高度画像監視センサネットワーク技術の研究開発」、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【出願人】（５０４１３７９１２）国立大学法人 東京大学 (1,942)
【Ｆターム（参考）】
[ Back to top ]