説明

行動監視システム、行動監視プログラム、及び行動監視方法

【課題】監視対象が多数の場合であっても、監視対象の識別及び行動把握を容易に行うことができる行動監視システム、行動監視プログラム、及び行動監視方法を提供すること。
【解決手段】監視対象Tの光学像が入力される撮像部、監視対象Tと背景とを分離して監視対象Tの各特徴量を算出する特徴量算出部、特徴量から監視対象Tの各移動軌跡を算出する移動軌跡算出部、監視対象Tの所定部位の3次元位置座標を算出する位置座標算出部、所定部位の3次元位置座標に基づき、所定部位の移動速度及び移動方向を算出、所定部位の各動作軌跡を算出する動作軌跡算出部、特徴量及び3次元位置座標がステレオカメラ4間で類似する移動軌跡を繋げて、監視対象T毎の統合移動軌跡を生成する移動軌跡統合部、特徴量及び3次元位置座標がステレオカメラ4間で類似する動作軌跡に対して、監視対象T毎の統合動作軌跡を生成する動作軌跡統合部、を備えている。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、監視領域内における監視対象の行動監視システム、行動監視プログラム、及び行動監視方法に関する。
【背景技術】
【0002】
近年、パチンコホールやコンビニエンスストアなどの敷地内における犯罪行為は複雑かつ多様化してきている。そのため、敷地内に防犯カメラを設置して監視を行っているものの、実際の現場ではリアルタイムに犯行現場を押さえることは難しく、犯行後に防犯カメラによる録画映像を確認するケースが多い。しかも、多数の防犯カメラを設置することによって、どの情報が有益であるかが判断しにくくなり、スタッフによる見落としが生まれやすくなってしまう。さらに、時系列に個人を追跡することが難しく、広い敷地内では、特定の場所を行き来する怪しい動きを発見できない、などの問題が生じている。
【0003】
そこで、異常な行動をしている不審者をリアルタイムで特定するための方法が種々提案されている(例えば、特許文献1参照。)。この手法によれば、挙動不審な人物をリアルタイムに特定して識別することができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2008−217602号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記従来の行動監視システムでは、監視対象となる人達が少ない場合にはともかく、多人数の場合にはサーバでの処理が重くなり、各人の識別や行動判定をリアルタイムで十分に行うことが困難である。
そこで、本発明は上記事情に鑑みて成されたものであり、監視対象が多数の場合であっても、監視対象の識別及び行動把握を容易に行うことができる行動監視システム、行動監視プログラム、及び行動監視方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明は、上記課題を解決するため、以下の手段を採用する。
本発明に係る行動監視システムは、監視領域内を行動する複数の監視対象を撮影する複数の撮影機器を備えた行動監視システムであって、前記監視対象の光学像が入力される撮像部と、該撮像部の出力から前記監視対象と背景とを分離して前記監視対象の各特徴量を前記撮影機器毎に算出する特徴量算出部と、前記特徴量に基づき、前記監視対象の各移動軌跡を前記撮影機器毎に算出する移動軌跡算出部と、前記撮像部の出力から前記監視領域内における前記監視対象の所定部位の3次元位置座標を前記撮影機器毎に算出する位置座標算出部と、前記所定部位の3次元位置座標に基づき、前記所定部位の移動速度及び移動方向を算出するとともに、前記監視対象毎に前記所定部位の各動作軌跡を前記撮影機器毎に算出する動作軌跡算出部と、前記特徴量及び前記3次元位置座標が前記撮影機器間で類似する前記移動軌跡を繋げて、前記監視対象毎に統合された統合移動軌跡を生成する移動軌跡統合部と、前記特徴量及び前記3次元位置座標が前記撮影機器間で類似する前記動作軌跡に対して、前記統合移動軌跡との関連付けを行って前記監視対象毎に統合された統合動作軌跡を生成する動作軌跡統合部と、を備えている。
【0007】
また、本発明に係る行動監視システムは、前記行動監視システムであって、同一時刻における前記監視対象の配置類型を前記統合移動軌跡から算出して所定の配置類型と比較する配置類型対比部と、所定時間における前記監視対象の動作類型を前記統合動作軌跡から算出して所定の動作類型と比較する動作類型対比部と、を備えていることを特徴とする。
【0008】
また、本発明に係る行動監視システムは、前記行動監視システムであって、前記所定の配置類型及び前記所定の動作類型を最新の情報に更新する類型更新部を備え、更新された前記所定の配置類型及び前記所定の動作類型が、複数の監視領域間で共有されることを特徴とする。
【0009】
また、本発明に係る行動監視システムは、前記行動監視システムであって、前記撮影機器が、ステレオカメラを備えていることを特徴とする。
【0010】
また、本発明に係る行動監視システムは、前記行動監視システムであって、前記特徴量算出部が、前記撮像部から出力された画像信号のウォルシュ変換されたスペクトルに基づき前記特徴量を算出していることを特徴とする。
【0011】
また、本発明に係る行動監視プログラムは、コンピュータを本発明に係る行動監視システムとして機能させることを特徴とする。
【0012】
また、本発明に係る行動監視方法は、監視領域内を行動する複数の監視対象を複数の撮影機器にて監視する行動監視方法であって、前記監視対象の光学像から画像信号を取得する画像信号取得工程と、前記画像信号から前記監視対象と背景とを分離して前記監視対象の各特徴量を前記撮影機器毎に算出する特徴量算出工程と、前記特徴量に基づき、前記監視対象の各移動軌跡を前記撮影機器毎に算出する移動軌跡算出工程と、前記画像信号から前記監視領域内における前記監視対象の所定部位の3次元位置座標を前記撮影機器毎に算出する位置座標算出工程と、前記所定部位の3次元位置座標に基づき、前記所定部位の移動速度及び移動方向を算出するとともに、前記監視対象毎に前記所定部位の各動作軌跡を前記撮影機器毎に算出する動作軌跡算出工程と、前記特徴量及び前記3次元位置座標が前記撮影機器間で類似する前記移動軌跡を繋げて、前記監視対象毎に統合された統合移動軌跡を生成する移動軌跡統合工程と、前記特徴量及び前記3次元位置座標が前記撮影機器間で類似する前記動作軌跡に対して、統合移動軌跡との関連付けを行って前記監視対象毎に統合された統合動作軌跡を生成する動作軌跡統合工程と、を備えていることを特徴とする。
【0013】
また、本発明に係る行動監視方法は、前記行動監視方法であって、同一時刻における前記監視対象の配置類型を前記統合移動軌跡から算出して所定の配置類型と比較する配置類型対比工程と、所定時間における前記監視対象の動作類型を前記統合動作軌跡から算出して所定の動作類型と比較する動作類型対比工程と、を備えていることを特徴とする。
【0014】
また、本発明に係る行動監視方法は、前記行動監視方法であって、前記所定の配置類型及び前記所定の動作類型を最新の情報に更新する類型更新工程を備え、更新された前記所定の配置類型及び前記所定の動作類型が、複数の監視領域間で共有されることを特徴とする。
【発明の効果】
【0015】
本発明によれば、監視対象が多数であっても、監視領域内の監視対象の識別及び行動把握を容易に行うことができる。
【図面の簡単な説明】
【0016】
【図1】本発明の一実施形態に係る行動監視システムを示す概要図である。
【図2】本発明の一実施形態に係る行動監視システムを示す機能ブロック図である。
【図3】本発明の一実施形態に係る行動監視方法を示すフロー図である。
【発明を実施するための形態】
【0017】
本発明に係る一実施形態について、図1から図3を参照して説明する。
本実施形態に係る不審者管理システム(行動監視システム)1は、図1に示すように、複数のパチンコ台列Wによって仕切られたパチンコホール(監視領域)Aに配された複数の撮影機器2と、各撮影機器2と通信可能に接続されたコンピュータ・サーバ3と、を備えている。撮影機器2は、さらにステレオカメラ4と、ステレオカメラ4と通信可能に接続されたカメラPC5と、を備えている。
【0018】
コンピュータ・サーバ3は、カメラPC5より送信された各種情報の関連付けを行う不図示のサーバ側演算処理部と、画像信号の各種処理に必要なプログラムを格納する不図示のサーバ側プログラムメモリ部と、各種情報を格納する不図示のサーバ側データメモリ部と、外部との送受信を行う不図示のサーバ側入出力インタフェース部と、を備えている。これらは相互に通信可能に接続されている。
【0019】
ステレオカメラ4は、隣接するステレオカメラ4間で少なくとも一部の視野Vが重なるようにそれぞれ好適な位置に配されている。
【0020】
カメラPC5は、ステレオカメラ4によって撮影された画像信号の演算処理や制御処理等を行う不図示のカメラ側中央処理部と、画像信号の各種処理に必要なプログラムを格納する不図示のカメラ側プログラムメモリ部と、各種情報を格納する不図示のカメラ側データメモリ部と、外部との送受信を行う不図示のカメラ側入出力インタフェース部と、を備えている。これらは相互に通信可能に接続されている。
【0021】
不審者管理システム1は、行動監視プログラムの機能手段(プログラムモジュール)として、図2(a)に示すように、カメラ側プログラムメモリ部に格納される撮像部10、特徴量算出部11、移動軌跡算出部12、位置座標算出部13、動作軌跡算出部14と、図2(b)に示すように、サーバ側プログラムメモリ部に格納される移動軌跡統合部15、動作軌跡統合部16、配置類型対比部17、動作類型対比部18、類型更新部19と、を備えている。これらの機能手段は、カメラ側中央処理部やカメラ側プログラムメモリ部によって実現されるカメラ側制御部20、及び、サーバ側演算処理部やサーバ側プログラムメモリ部によって実現されるサーバ側制御部30によってそれぞれ制御される。
【0022】
撮像部10には、ステレオカメラ4毎に撮影された監視対象Tを含むパチンコホールA内の光学像がそれぞれ入力される。
【0023】
特徴量算出部11は、撮像部10より出力された画像信号から監視対象Tとパチンコ台列W等の背景とを分離して、監視対象Tの各特徴量をステレオカメラ4毎に算出する不図示の各種演算部をさらに備えている。ここで特徴量は、ウォルシュ変換された画像信号のスペクトルに基づき算出される。
【0024】
移動軌跡算出部12は、算出された各監視対象Tの特徴量に基づき、各監視対象TのパチンコホールA内での移動軌跡をステレオカメラ4毎に算出する不図示の各種演算部をさらに備えている。
【0025】
位置座標算出部13は、撮像部10の出力からパチンコホールA内における各監視対象Tを識別するとともに、監視対象T毎の頭や手先といった所定部位の3次元位置座標をステレオカメラ4毎に算出する不図示の各種演算部をさらに備えている。
【0026】
動作軌跡算出部14は、算出された所定部位の3次元位置座標に基づき、各監視対象Tの所定部位の移動速度及び移動方向を算出するとともに、所定部位の各動作軌跡をステレオカメラ4毎に算出する不図示の各種演算部をさらに備えている。
【0027】
移動軌跡統合部15は、監視対象T毎に算出された特徴量及び3次元位置座標が複数のステレオカメラ4間で類似する移動軌跡を繋げて、監視対象T毎に統合された統合移動軌跡を生成する不図示の各種演算部をさらに備えている。
【0028】
動作軌跡統合部16は、監視対象T毎に算出された特徴量及び3次元位置座標が複数のステレオカメラ4間で類似する動作軌跡に対して、統合移動軌跡との関連付けを行って監視対象T毎に統合された統合動作軌跡を生成する不図示の各種演算部をさらに備えている。
【0029】
配置類型対比部17は、同一時刻における監視対象TのパチンコホールA内における配置類型を統合移動軌跡から算出して、所定の配置類型と比較するとともに、互いに合致するかどうかを判定する不図示の各種演算部をさらに備えている。
【0030】
動作類型対比部18は、所定時間における監視対象Tの動作類型を統合動作軌跡から算出して所定の動作類型と比較するとともに、合致するかどうかを判定する不図示の各種演算部をさらに備えている。
【0031】
類型更新部19は、所定の配置類型及び所定の動作類型を最新の情報に更新するとともに、更新された所定の配置類型P1及び所定の動作類型P2を複数の店舗間で共有する。
【0032】
次に、本実施形態に係る不審者管理方法について、不審者管理システム1の作用とともに説明する。
本実施形態に係る不審者管理方法は、図3に示すように、画像信号取得工程(S01)と、特徴量算出工程(S02)と、移動軌跡算出工程(S03)と、位置座標算出工程(S04)と、動作軌跡算出工程(S05)と、移動軌跡統合工程(S06)と、動作軌跡統合工程(S07)と、配置類型対比工程(S08)と、動作類型対比工程(S09)と、類型更新工程(S10)と、を備えている。
【0033】
画像信号取得工程(S01)は、ステレオカメラ4毎に監視対象Tを撮影し、撮像部10より画像信号を取得する。
【0034】
特徴量算出工程(S02)は、特徴量算出部11にて処理され、撮像部10より出力された画像信号から監視対象Tと背景とを分離して、監視対象Tの各特徴量をステレオカメラ4毎に算出する。算出された特徴量は、監視対象T毎に識別されて不図示のカメラ側データメモリ部に格納される。特徴量の算出に際しては、画像信号を前景と背景とに分離した後の前景のウォルシュ変換パラメータを用い、監視対象Tの特徴量の類似度から監視対象Tを一人一人識別する。
【0035】
移動軌跡算出工程(S03)は、移動軌跡算出部12にて処理され、ステレオカメラ4毎に各監視対象Tの移動軌跡を算出し、逐次コンピュータ・サーバ3に送信する。移動軌跡の算出に際しては、例えば、高橋知子他,信学技報,IEICE Technical Report,CAS2007−153,SIP2007−228,CS2007−118(2008−3)に記載の手法に基づき、各ステレオカメラ4における画像フレーム間の追跡と監視対象Tの交差時の前後判定とを行う。算出された移動軌跡は、不図示のサーバ側データメモリ部に格納される。
【0036】
位置座標算出工程(S04)は、位置座標算出部13にて処理され、監視対象Tの3次元位置座標を算出する。算出に際しては、例えば、特開2009−037434号公報に記載の手法に基づく。すなわち、ステレオカメラ4の左右の入力画像から円柱状に分布する監視対象Tの特徴点をそれぞれ抽出してステレオ演算を行う。そして、監視対象Tのエリアを特定し、頭と手先の3次元位置座標を取得する。得られた3次元位置座標は、カメラ側データメモリ部に格納される。
【0037】
動作軌跡算出工程(S05)は、動作軌跡算出部14にて処理される。ここでは、算出された3次元位置座標を時系列に解析し、監視対象Tの顔と手の移動速度や移動方向を算出する。そして、それぞれの値をメンバシップ関数に入力してメンバシップ値を獲得する。さらに、メンバシップ値の所定時間の平均値を監視対象T毎の動作軌跡として獲得し、逐次コンピュータ・サーバ3に送信する。得られた動作軌跡は、サーバ側データメモリ部に格納される。
【0038】
移動軌跡統合工程(S06)は、移動軌跡統合部15にて処理される。ここでは、サーバ側データメモリ部に格納された移動軌跡のうち、各ステレオカメラ4で算出された監視対象T毎の特徴量と3次元位置座標とが類似した移動軌跡を繋げて、ステレオカメラ4間で共通の統合移動軌跡を作成する。その際、各店舗における従業員特有の特徴量に対して予め従業員の識別番号を付与しておき、一般客とは区別された統合移動軌跡が得られるようにしてもよい。
【0039】
動作軌跡統合工程(S07)は、動作軌跡統合部16によって処理される。ここでは、サーバ側データメモリ部に格納された動作軌跡のうち、各ステレオカメラ4で算出された監視対象T毎の特徴量及び3次元位置座標が複数のステレオカメラ4間で類似する動作軌跡に対して、統合移動軌跡との関連付けを行ってステレオカメラ4間で共通の統合動作軌跡を作成する。
【0040】
配置類型対比工程(S08)は、配置類型対比部17によって処理される。ここでは、算出された監視対象T毎の統合移動軌跡に対して、例えば、ある所定時刻における監視対象Tの密集度による配置類型や、複数の監視対象Tが一斉に同じ地点に集まる、又は一斉に店員に近づくなど、複数の監視対象Tの移動の流れを示す配置類型を作成する。そして、これらの配置類型と、予めサーバ側データメモリ部に格納された不審行動を示す配置類型とを対比して、不審な移動をしているかどうかを判定する。
【0041】
動作類型対比工程(S09)は、動作類型対比部18によって処理される。ここでは、3次元位置座標と統合移動軌跡とから監視対象Tとの関連付けを行い、所定時間における監視対象Tの統合動作軌跡から、動作類型を算出する。そして予めサーバ側データメモリ部に格納された所定の動作類型と対比して、不審な動作を行っているかどうかを判定する。
【0042】
類型更新工程(S10)は、類型更新部19によって処理される。ここでは、サーバ側データメモリ部に格納された所定の配置類型及び所定の動作類型を、不審行動として新しく認知された配置類型及び動作類型として格納、必要に応じて更新するとともに、新しい配置類型及び動作類型を複数のパチンコ店間で共有する。
【0043】
この不審者管理システム1及び不審者管理方法によれば、監視対象Tの特徴量や3次元位置座標を算出することによって、パチンコホールA内の監視対象Tを識別し、複数のステレオカメラ4間にわたって移動する同一の監視対象Tの移動軌跡や3次元的な動作を特定することができる。また、撮影によって得られた移動軌跡に基づく配置類型や動作軌跡に基づく動作類型と、予め格納された挙動不審な配置類型や動作類型とを対比することによって、挙動不審な人物を速やかに発見・特定して、店員スタッフにその旨を連絡することができる。
【0044】
また、コンピュータ・サーバ3の処理だけでなく、カメラPC5による分散処理も行うので、監視対象Tが多数になってもサーバ処理を軽減するとともに、監視対象Tの行動判定性能を向上することができ、監視対象Tの識別及び行動把握を好適に行うことができる。
【0045】
さらに、新しい挙動不審な事例データを自動的に取得するとともに、複数の店舗間で一括した行動監視を行うことができる。
【0046】
また、ステレオカメラ4にて監視対象Tを撮影するので、3次元位置座標を好適に獲得することができる。
【0047】
また、画像信号のウォルシュ変換されたスペクトルに基づき特徴量を算出するので、符号化をより好適に行うことができ、処理能力の向上とともに監視対象Tをより好適に識別することができる。
【0048】
なお、本発明の技術範囲は上記実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。
例えば、配置類型や動作類型を表示するための表示部が店内に配され、店員スタッフが表示部にて挙動不審な人物の有無を確認できるようにしてもよい。また、パチンコホールA内に限らず、ステレオカメラ4を店舗の入り口にも配して入出店する人物の行動を監視させてもよいし、店舗外の駐車場にステレオカメラ4を配置して、要注意車両として予め登録させた識別番号と駐車する車の識別番号とを対比させてもよい。
【0049】
また、パチンコホールA内の挙動不審な人物の特定だけでなく、例えば、ステレオカメラ4をコンビニエンスストア等の店舗に配して来店者を観察することによって、商品の購買を予測するマーケティング購買予測システムとしてもよい。さらに、ステレオカメラ4を街頭に配して、軽い認知症患者の徘徊を予防する街角安全システムとしてもよい。
【符号の説明】
【0050】
1 不審者管理システム
2 撮影機器
10 撮像部
11 特徴量算出部
12 移動軌跡算出部
13 位置座標算出部
14 動作軌跡算出部
15 移動軌跡統合部
16 動作軌跡統合部
17 配置類型対比部
18 動作類型対比部
19 類型更新部


【特許請求の範囲】
【請求項1】
監視領域内を行動する複数の監視対象を撮影する複数の撮影機器を備えた行動監視システムであって、
前記監視対象の光学像が入力される撮像部と、
該撮像部の出力から前記監視対象と背景とを分離して前記監視対象の各特徴量を前記撮影機器毎に算出する特徴量算出部と、
前記特徴量に基づき、前記監視対象の各移動軌跡を前記撮影機器毎に算出する移動軌跡算出部と、
前記撮像部の出力から前記監視領域内における前記監視対象の所定部位の3次元位置座標を前記撮影機器毎に算出する位置座標算出部と、
前記所定部位の3次元位置座標に基づき、前記所定部位の移動速度及び移動方向を算出するとともに、前記監視対象毎に前記所定部位の各動作軌跡を前記撮影機器毎に算出する動作軌跡算出部と、
前記特徴量及び前記3次元位置座標が前記撮影機器間で類似する前記移動軌跡を繋げて、前記監視対象毎に統合された統合移動軌跡を生成する移動軌跡統合部と、
前記特徴量及び前記3次元位置座標が前記撮影機器間で類似する前記動作軌跡に対して、前記統合移動軌跡との関連付けを行って前記監視対象毎に統合された統合動作軌跡を生成する動作軌跡統合部と、
を備えていることを特徴とする行動監視システム。
【請求項2】
同一時刻における前記監視対象の配置類型を前記統合移動軌跡から算出して所定の配置類型と比較する配置類型対比部と、
所定時間における前記監視対象の動作類型を前記統合動作軌跡から算出して所定の動作類型と比較する動作類型対比部と、
を備えていることを特徴とする請求項1に記載の行動監視システム。
【請求項3】
前記所定の配置類型及び前記所定の動作類型を最新の情報に更新する類型更新部を備え、
更新された前記所定の配置類型及び前記所定の動作類型が、複数の監視領域間で共有されることを特徴とする請求項1又は2に記載の行動監視システム。
【請求項4】
前記撮影機器が、ステレオカメラを備えていることを特徴とする請求項1から3の何れか一つに記載の行動監視システム。
【請求項5】
前記特徴量算出部が、前記撮像部から出力された画像信号のウォルシュ変換されたスペクトルに基づき前記特徴量を算出していることを特徴とする請求項1から4の何れか一つに記載の行動監視システム。
【請求項6】
コンピュータを、請求項1から5の何れか一つに記載の行動監視システムとして機能させることを特徴とする行動監視プログラム。
【請求項7】
監視領域内を行動する複数の監視対象を複数の撮影機器にて監視する行動監視方法であって、
前記監視対象の光学像から画像信号を取得する画像信号取得工程と、
前記画像信号から前記監視対象と背景とを分離して前記監視対象の各特徴量を前記撮影機器毎に算出する特徴量算出工程と、
前記特徴量に基づき、前記監視対象の各移動軌跡を前記撮影機器毎に算出する移動軌跡算出工程と、
前記画像信号から前記監視領域内における前記監視対象の所定部位の3次元位置座標を前記撮影機器毎に算出する位置座標算出工程と、
前記所定部位の3次元位置座標に基づき、前記所定部位の移動速度及び移動方向を算出するとともに、前記監視対象毎に前記所定部位の各動作軌跡を前記撮影機器毎に算出する動作軌跡算出工程と、
前記特徴量及び前記3次元位置座標が前記撮影機器間で類似する前記移動軌跡を繋げて、前記監視対象毎に統合された統合移動軌跡を生成する移動軌跡統合工程と、
前記特徴量及び前記3次元位置座標が前記撮影機器間で類似する前記動作軌跡に対して、統合移動軌跡との関連付けを行って前記監視対象毎に統合された統合動作軌跡を生成する動作軌跡統合工程と、
を備えていることを特徴とする行動監視方法。
【請求項8】
同一時刻における前記監視対象の配置類型を前記統合移動軌跡から算出して所定の配置類型と比較する配置類型対比工程と、
所定時間における前記監視対象の動作類型を前記統合動作軌跡から算出して所定の動作類型と比較する動作類型対比工程と、
を備えていることを特徴とする請求項7に記載の行動監視方法。
【請求項9】
前記所定の配置類型及び前記所定の動作類型を最新の情報に更新する類型更新工程を備え、
更新された前記所定の配置類型及び前記所定の動作類型が、複数の監視領域間で共有されることを特徴とする請求項8に記載の行動監視方法。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate


【公開番号】特開2012−10121(P2012−10121A)
【公開日】平成24年1月12日(2012.1.12)
【国際特許分類】
【出願番号】特願2010−144508(P2010−144508)
【出願日】平成22年6月25日(2010.6.25)
【出願人】(305027401)公立大学法人首都大学東京 (385)
【出願人】(591142507)株式会社北電子 (348)
【Fターム(参考)】