説明

不審人物検知方法および装置、異常事象検知方法および装置

【課題】不審人物や異常事象を短時間の観察から精度良く検知できる不審人物(異常事象)検知方法および装置を提供する。
【解決手段】ルール登録部15は、不審人物の行動シーケンスを表したシーケンス長さ別の行動シーケンスルールと、不審人物の移動経路を表した経路長さ別の移動経路ルールとを記憶し、処理部12は、カメラ11画像内の人物を追尾し、追尾人物の動作を時系列に並べた行動シーケンスデータと、追尾人物の所在位置を時系列に並べた移動経路データとを繰り返し更新し、追尾人物の動作が変化した場合に、シーケンス長さ毎に、行動シーケンスルールと一致する行動シーケンスが行動シーケンスデータに含まれるかを調べて該当時にスコアを上昇させ、追尾人物の所在位置が変化した場合に、経路長さ毎に、移動経路ルールと一致する移動経路が移動経路データに含まれるかを調べて該当時にスコアを上昇させ、スコアが閾値を超えると不審人物と判定する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、不審人物を検知する不審人物検知方法、不審人物検知装置および異常事象を検知する異常事象検知方法、異常事象検知装置に関する。
【背景技術】
【0002】
カメラ画像に基づいて、不審人物や異常事象の発生を監視するシステムでは、監視対象の人物や物体の状態推移を所定時間長モニタリングした結果から不審人物等を判定するようになっている。判定の基礎となるモニタリング時間は、通常、観察対象に応じて予め定めた1つの時間長に固定される。
【0003】
また、所定時間にわたり人の行動をモニタリングし、その行動パターンを解析して人が特定の振る舞いを行ったか否かを判定する画像監視システムがある(特許文献1参照)。この画像監視システムでは、たとえば、歩く、屈むなど人の汎用的振る舞いを解析し、この汎用的振る舞いに関する時系列パターンデータに基づいて、特定の専用的振る舞いか否かを識別(たとえば、歩く動作から屈む動作に遷移し、その後、屈む動作がN秒間以上継続すると病気と判定)するようになっている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2007−272488号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
モニタリング時間長がある1つの時間長に限られる場合、人の動きの個人差への対応が難しい。たとえば、屈む動作がN秒継続したことを基準に病人であると判定すると、実際には病人であっても、屈む動作の継続時間がN秒より僅かに短いだけでも病人でないと判定されてしまう。
【0006】
また、監視している人の行動パターンの長さが、設定したモニタリング時間に達しないうちは判定処理を行わないので、モニタリング時間の長さより短い時間の長さの意味のある行動を見落としてしまい、不審人物や異常事象の発見に遅れが生じる可能性がある。
【0007】
また、時系列に連なった複数の動作である行動パターンに基づいて判定する場合、意味のある1つの動作を見落としてしまい、不審人物や異常事象の発見に遅れが生じる可能性がある。
【0008】
本発明は、上記の問題を解決しようとするものであり、不審人物や異常事象を、より短時間の観察から精度良く検知することのできる不審人物検知方法、不審人物検知装置、異常事象検知方法、異常事象検知装置を提供することを目的としている。
【課題を解決するための手段】
【0009】
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
【0010】
[1]人の動作を時系列に並べたものを行動シーケンスとし、
人の所在位置を時系列に並べたものを移動経路とし、
不審人物の行動シーケンスを表したシーケンス長さ別の行動シーケンスルールと、不審人物の移動経路を表した経路長さ別の移動経路ルールとを、ルール登録部に登録しておき、
カメラから入力される画像内の人物を追尾すると共に、追尾中の人物の動作を特定してその特定した動作により時系列に並べた行動シーケンスデータを繰り返し更新すると共に、前記追尾中の人物の所在位置により時系列に並べた移動経路データを繰り返し更新し、
前記追尾中の人物の動作が変化した場合は、シーケンス長さ毎に、前記行動シーケンスルールと一致する行動シーケンスが、前記行動シーケンスデータに含まれているかを調べて、一致する場合にスコアを上昇させ、
前記追尾中の人物の所在位置が変化した場合は、経路長さ毎に、前記移動経路ルールと一致する移動経路が、前記移動経路データに含まれているかを調べて、一致する場合に前記スコアを上昇させ、
前記スコアに基づいて前記追尾中の人物が不審人物であるかを判定する
ことを特徴とする不審人物検知方法。
【0011】
上記発明および下記[17]に記載の発明では、不審人物の行動シーケンスを表したシーケンス長さ別の行動シーケンスルールと、不審人物の移動経路を表した経路長さ別の移動経路ルールとを、ルール登録部に登録しておく。そして、監視処理においては、カメラからの画像を解析して追尾人物の動作や所在位置を特定し、その特定した追尾人物の動作により時系列に並べた行動シーケンスデータ、および追尾人物の所在位置により時系列に並べた移動経路データを逐次更新する。追尾中の人物の動作が変化した場合は、シーケンス長さ毎に、行動シーケンスルールと一致する行動シーケンスが、前記行動シーケンスデータに含まれているかを調べて、一致する場合にスコアを上昇させ、追尾中の人物の所在位置が変化した場合は、経路長さ毎に、移動経路ルールと一致する移動経路が、前記移動経路データに含まれているかを調べて、一致する場合にスコアを上昇させる。そして、スコアの累積値に基づいて、追尾人物が不審者であるか否かを判定する。
【0012】
このように、行動シーケンスや移動経路を、シーケンス長さや経路長さ毎に異常検知用ルールと対比し、各ルールと一致する毎にスコアを上昇させるので、いろいろな時間長の行動・移動パターンや、人の動き・移動の個人差に対応することができ、不審人物を漏れなく早期にかつ高精度に検知することができる。
【0013】
[2]人の動作を時系列に並べたものを行動シーケンスとし、
不審人物の行動シーケンスを表したシーケンス長さ別の行動シーケンスルールをルール登録部に登録しておき、
カメラから入力される画像内の人物を追尾すると共に、追尾中の人物の動作を特定し、その特定した動作により時系列に並べた行動シーケンスデータを繰り返し更新し、
前記追尾中の人物の動作が変化した場合に、シーケンス長さ毎に、前記行動シーケンスルールと一致する行動シーケンスが、前記行動シーケンスデータに含まれているかを調べて、一致する場合にスコアを上昇させ、
前記スコアに基づいて前記追尾中の人物が不審人物であるかを判定する
ことを特徴とする不審人物検知方法。
【0014】
上記発明および下記[18]に記載の発明では、追尾人物の行動シーケンスをシーケンス長さ毎に異常検知用ルールと対比し、各ルールと一致する毎にスコアを上昇させるので、いろいろな時間長の行動パターンや、人の動きの個人差に対応することができ、不審人物を漏れなく早期にかつ高精度に検知することができる。
【0015】
[3]人の所在位置を時系列に並べたものを移動経路とし、
不審人物の移動経路を表した経路長さ別の移動経路ルールをルール登録部に登録しておき、
カメラから入力される画像内の人物を追尾すると共に、追尾中の人物の所在位置により時系列に並べた移動経路データを繰り返し更新し、
前記追尾中の人物の所在位置が変化した場合に、経路長さ毎に、前記移動経路ルールと一致する移動経路が、前記移動経路データに含まれているかを調べて、一致する場合にスコアを上昇させ、
前記スコアに基づいて前記追尾中の人物が不審人物であるかを判定する
ことを特徴とする不審人物検知方法。
【0016】
上記発明および下記[19]に記載の発明では、追尾人物の移動経路を、経路長さ毎に異常検知用ルールと対比し、各ルールと一致する毎にスコアを上昇させるので、いろいろな時間長の移動パターンや、人の移動の個人差に対応することができ、不審人物を漏れなく早期にかつ高精度に検知することができる。
【0017】
[4]前記追尾中の人物の動作が、予め定めた特定動作の場合に、前記スコアを上昇させる
ことを特徴とする[1]または[2]に記載の不審人物検知方法。
【0018】
上記発明および下記[20]に記載の発明では、予め定めた特定の動作に基づいて、スコアを上昇させる。すなわち、時系列な動作の推移と関係なく、特定の動作が行われた時点でスコアを上昇させる。ユーザが特に注目したい動作を特定動作に設定するとよい。
【0019】
[5]人物の動作を、動作の種類を示す基本動作要素と、同一の基本動作要素の継続時間を示す時間要素と、監視対象物と追尾人物との距離を示す相対位置要素とを用いて表す
ことを特徴とする[1]、[2]、[4]のいずれか1つに記載の不審人物検知方法。
【0020】
上記発明および下記[21]に記載の発明では、追尾人物の動作を、「移動」、「佇み」、「屈み」など動作の種類を示す基本動作要素と、その継続時間(長い、短いなど)を示す時間要素と、監視対象物(たとえば、車両や金庫など)と追尾人物との距離を示す相対位置要素(遠い、近いなど)とを用いて定義する(他の要素をさらに含めてもよい)。これにより、動作を時間的、空間的に定義することができる。
【0021】
[6]前記所在位置は、画像内を複数に区分した各エリアに対して割り当てたエリア番号で表す
ことを特徴とする[1]または[3]に記載の不審人物検知方法。
【0022】
上記発明および下記[22]に記載の発明では、所在位置を予め定義したエリア番号で表す。これにより所在位置や移動経路の管理・処理が容易になる。
【0023】
[7]一致した行動シーケンスルールのシーケンス長さが長いほど、スコアの上昇量を大きくする
ことを特徴とする[1]または[2]に記載の不審人物検知方法。
【0024】
上記発明および下記[23]に記載の発明では、長いルールに一致するほど、不審人物である可能性は高くなるので、追尾人物の行動シーケンスがシーケンス長の長いルールに一致するほどスコアの上昇量を大きくする。
【0025】
[8]一致した移動経路ルールの経路長さが長いほど、スコアの上昇量を大きくする
ことを特徴とする[1]または[3]に記載の不審人物検知方法。
【0026】
上記発明および下記[24]に記載の発明では、長いルールに一致するほど、不審人物である可能性は高くなるので、追尾人物の移動経路が経路長の長いルールに一致するほどスコアの上昇量を大きくする。
【0027】
[9]前記スコアが予め定めた閾値を超えたとき、前記追尾中の人物は不審人物であると判定する
ことを特徴とする[1]乃至[8]のいずれか1つに記載の不審人物検知方法。
【0028】
[10]異常データベースに登録されている不審人物の行動シーケンスと、正常データベースに登録されている正常人物の行動シーケンスとを、シーケンス長さ毎に比較し、異常データベースに含まれて正常データベースに含まれない行動シーケンスを、不審人物を検知するための行動シーケンスルールとして前記ルール登録部に登録する
ことを特徴とする[1]または[2]に記載の不審人物検知方法。
【0029】
上記発明および下記[26]に記載の発明では、異常データベースに登録されている不審人物の行動シーケンスと、正常データベースに登録されている正常人物の行動シーケンスとから、長さ毎の客観的なルールが自動生成されて登録される。
【0030】
[11]異常データベースに登録されている不審人物の移動経路と、正常データベースに登録されている正常人物の移動経路とを、経路長さ毎に比較し、異常データベースに含まれて正常データベースに含まれない移動経路を、不審人物を検知するための移動経路ルールとして前記ルール登録部に登録する
ことを特徴とする[1]または[3]に記載の不審人物検知方法。
【0031】
上記発明および下記[27]に記載の発明では、異常データベースに登録されている不審人物の移動経路と、正常データベースに登録されている正常人物の移動経路とから、長さ毎の客観的なルールが自動生成されて登録される。
【0032】
[12]前記異常データベースと前記正常データベースとの比較によって得たルールのうち、設定された特定条件を満たすものだけを抽出して、前記ルール登録部に登録する
ことを特徴とする[10]または[11]に記載の不審人物検知方法。
【0033】
上記発明および下記[28]に記載の発明では、特定条件によってさらに絞り込まれたルールのみが登録部に登録される。
【0034】
[13]異常時に生じる観察対象の状態推移のパターンを表したパターン長さ別の異常検知ルールをルール登録部に登録しておき、
入力される観測データから観察対象の状態を特定して、その特定した状態により時系列に並べた状態推移データを繰り返し更新し、
前記観察対象の状態が変化した場合に、パターン長さ毎に、前記異常検知ルールと一致する状態推移のパターンが、前記状態推移データに含まれているかを調べて、一致する場合にスコアを上昇させ、
前記スコアに基づいて前記観察対象の異常を判定する
ことを特徴とする異常事象検知方法。
【0035】
上記発明および下記[29]に記載の発明では、異常時に生じる観察対象の状態推移のパターンを表した、パターン長さ(状態の変化回数)別の異常検知ルールを予め登録しておき、入力される観測データから観察対象の状態を特定して、その特定した状態により時系列に並べた状態推移データを繰り返し更新する。そして、観察対象の状態が変化した場合に、パターン長さ毎に、異常検知ルールと一致する状態推移のパターンが状態推移データに含まれているかを調べ、一致する場合にスコアを上昇させる。このスコアの累積値に基づいて観察対象の異常を判定する。
【0036】
このように、観察対象の状態推移のパターン長さ毎に異常検知用ルールと対比し、各ルールと一致する毎にスコアを上昇させるので、いろいろな時間長の状態推移パターンや、観察対象の個体差に対応することができ、異常事象を漏れなく早期にかつ高精度に検知することができる。
【0037】
[14]前記観察対象の状態が予め定めた特定状態の場合に、前記スコアを上昇させる
ことを特徴とする[13]に記載の異常事象検知方法。
【0038】
上記発明および下記[30]に記載の発明では、予め定めた特定の状態に基づいてスコアを上昇させる。すなわち、時系列な状態の推移と関係なく、特定の状態が出現した時点でスコアを上昇させる。ユーザが特に注目したい状態を特定状態に設定するとよい。
【0039】
[15]一致した異常検知ルールのパターン長さが長いほど、前記スコアの上昇量を大きくする
ことを特徴とする[13]に記載の異常事象検知方法。
【0040】
上記発明および下記[31]に記載の発明では、長いルールに一致するほど、異常事象である可能性は高くなるので、観察対象の状態推移パターンが長いルールに一致するほどスコアの上昇量を大きくする。
【0041】
[16]前記スコアが予め定めた閾値を超えたとき、前記観察対象は異常であると判定する
ことを特徴とする[13]乃至[15]のいずれか1つに記載の異常事象検知方法。
【0042】
[17]人の動作を時系列に並べたものを行動シーケンスとし、人の所在位置を時系列に並べたものを移動経路として、
不審人物の行動シーケンスを表したシーケンス長さ別の行動シーケンスルールと、不審人物の移動経路を表した経路長さ別の移動経路ルールとを記憶したルール登録部と、
処理部と
を備え、
前記処理部は、
カメラから入力される画像内の人物を追尾すると共に、追尾中の人物の動作を特定して、その特定した動作により時系列に並べた行動シーケンスデータを繰り返し更新すると共に、前記追尾中の人物の所在位置により時系列に並べた移動経路データを繰り返し更新し、
前記追尾中の人物の動作が変化した場合は、シーケンス長さ毎に、前記行動シーケンスルールと一致する行動シーケンスが、前記行動シーケンスデータに含まれているかを調べて、一致する場合にスコアを上昇させ、
前記追尾中の人物の所在位置が変化した場合は、経路長さ毎に、前記移動経路ルールと一致する移動経路が、前記移動経路データに含まれているかを調べて、一致する場合に前記スコアを上昇させ、
前記スコアに基づいて前記追尾中の人物が不審人物であるかを判定する
ことを特徴とする不審人物検知装置。
【0043】
[18]人の動作を時系列に並べたものを行動シーケンスとし、
不審人物の行動シーケンスを表したシーケンス長さ別の行動シーケンスルールを記憶したルール登録部と、
処理部と
を備え、
前記処理部は、
カメラから入力される画像内の人物を追尾すると共に、追尾中の人物の動作を特定し、その特定した動作により時系列に並べた行動シーケンスデータを繰り返し更新し、
前記追尾中の人物の動作が変化した場合に、シーケンス長さ毎に、前記行動シーケンスルールと一致する行動シーケンスが、前記行動シーケンスデータに含まれているかを調べて、一致する場合にスコアを上昇させ、
前記スコアに基づいて前記追尾中の人物が不審人物であるかを判定する
ことを特徴とする不審人物検知装置。
【0044】
[19]人の所在位置を時系列に並べたものを移動経路とし、
不審人物の移動経路を表した経路長さ別の移動経路ルールを記憶したルール登録部と、
処理部と
を備え、
前記処理部は、
カメラから入力される画像内の人物を追尾すると共に、追尾中の人物の所在位置により時系列に並べた移動経路データを繰り返し更新し、
前記追尾中の人物の所在位置が変化した場合に、経路長さ毎に、前記移動経路ルールと一致する移動経路が、前記移動経路データに含まれているかを調べて、一致する場合にスコアを上昇させ、
前記スコアに基づいて前記追尾中の人物が不審人物であるかを判定する
ことを特徴とする不審人物検知装置。
【0045】
[20]前記処理部は、前記追尾中の人物の動作が、予め定めた特定動作の場合に、前記スコアを上昇させる
ことを特徴とする[17]または[18]に記載の不審人物検知装置。
【0046】
[21]人物の動作を、動作の種類を示す基本動作要素と、同一の基本動作要素の継続時間を示す時間要素と、監視対象物と追尾人物との距離を示す相対位置要素とを用いて表す
ことを特徴とする[17]、[18]、[20]のいずれか1つに記載の不審人物検知装置。
【0047】
[22]前記所在位置は、画像内を複数に区分した各エリアに対して割り当てたエリア番号で表す
ことを特徴とする[17]または[19]に記載の不審人物検知装置。
【0048】
[23]前記処理部は、一致した行動シーケンスルールのシーケンス長さが長いほど、スコアの上昇量を大きくする
ことを特徴とする[17]または[18]に記載の不審人物検知装置。
【0049】
[24]前記処理部は、一致した移動経路ルールの経路長さが長いほど、スコアの上昇量を大きくする
ことを特徴とする[17]または[19]に記載の不審人物検知装置。
【0050】
[25]前記処理部は、前記スコアが予め定めた閾値を超えたとき、前記追尾中の人物は不審人物であると判定する
ことを特徴とする[17]乃至[24]のいずれか1つに記載の不審人物検知装置。
【0051】
[26]前記処理部は、異常データベースに登録されている不審人物の行動シーケンスと、正常データベースに登録されている正常人物の行動シーケンスとを、シーケンス長さ毎に比較し、異常データベースに含まれて正常データベースに含まれない行動シーケンスを、不審人物を検知するための行動シーケンスルールとして前記ルール登録部に登録する
ことを特徴とする[17]または[18]に記載の不審人物検知装置。
【0052】
[27]前記処理部は、異常データベースに登録されている不審人物の移動経路と、正常データベースに登録されている正常人物の移動経路とを、経路長さ毎に比較し、異常データベースに含まれて正常データベースに含まれない移動経路を、不審人物を検知するための移動経路ルールとして前記ルール登録部に登録する
ことを特徴とする[17]または[19]に記載の不審人物検知装置。
【0053】
[28]前記処理部は、前記異常データベースと前記正常データベースとの比較によって得たルールのうち、設定された特定条件を満たすものだけを抽出して、前記ルール登録部に登録する
ことを特徴とする[26]または[27]に記載の不審人物検知装置。
【0054】
[29]異常時に生じる観察対象の状態推移のパターンを表したパターン長さ別の異常検知ルールを記憶したルール登録部と、
処理部と
を備え、
前記処理部は、
入力される観測データから観察対象の状態を特定して、その特定した状態により時系列に並べた状態推移データを繰り返し更新し、
前記観察対象の状態が変化した場合に、パターン長さ毎に、前記異常検知ルールと一致する状態推移のパターンが、前記状態推移データに含まれているかを調べて、一致する場合にスコアを上昇させ、
前記スコアに基づいて前記観察対象の異常を判定する
ことを特徴とする異常事象検知装置。
【0055】
[30]前記処理部は、前記観察対象の状態が、予め定めた特定状態の場合に、前記スコアを上昇させる
ことを特徴とする[29]に記載の異常事象検知装置。
【0056】
[31]前記処理部は、一致した異常検知ルールのパターン長さが長いほど、前記スコアの上昇量を大きくする
ことを特徴とする[29]に記載の異常事象検知装置。
【0057】
[32]前記処理部は、前記スコアが予め定めた閾値を超えたとき、前記観察対象は異常であると判定する
ことを特徴とする[29]乃至[31]のいずれか1つに記載の異常事象検知装置。
【発明の効果】
【0058】
本発明に係る不審人物検知方法、不審人物検知装置、異常事象検知方法、異常事象検知装置によれば、不審人物や異常事象をより短時間の観察から精度良く検知することができる。
【図面の簡単な説明】
【0059】
【図1】本発明の第1の実施の形態に係る不審人物検知装置の概略構成を示すブロック図である。
【図2】追尾中のオブジェクトについて作成されるオブジェクトデータテーブルの一例を示す説明図である。
【図3】駐車場における人の基本動作を列挙した一覧表である。
【図4】特徴量時系列データの蓄積状態を例示した説明図である。
【図5】基本動作判別部が有する基本動作信頼度算出部の構成例を示すブロック図である。
【図6】行動シーケンスを構成する人の動作の構成要素と、移動経路の構成要素を示す説明図である。
【図7】駐車車両を中心とした各地点のエリア番号を例示した説明図である。
【図8】正常行動シーケンスセットの一例を示す説明図である。
【図9】不審行動シーケンスセットの一例を示す説明図である。
【図10】図8、図9の行動シーケンスセットから導出された不審行動シーケンスルールを示す説明図である。
【図11】不審人物検知用行動シーケンスルールの一覧を示す説明図である。
【図12】不審人物検知用移動経路ルールの一覧を示す説明図である。
【図13】動作・位置要素時系列記憶領域の蓄積状態を示す説明図である。
【図14】行動シーケンス記憶領域の記憶内容およびルール長さ毎のルールヒット確認領域を示す説明図である。
【図15】移動経路記憶領域の記憶内容およびルール長さ毎のルールヒット確認領域を示す説明図である。
【図16】不審人物検知装置が行う処理の流れを示す流れ図である。
【図17】図16のステップS13のうちの行動シーケンスデータの生成更新に係る処理の詳細を示す流れ図である。
【図18】図17の続きを示す流れ図である。
【図19】行動シーケンス生成処理(S32)を示す流れ図である。
【図20】行動シーケンス更新処理(S37等)を示す流れ図である。
【図21】図16のステップS13のうちの移動経路データの生成更新に係る処理の詳細を示す流れ図である。
【図22】移動経路生成処理(S82)を示す流れ図である。
【図23】移動経路更新処理(S85)を示す流れ図である。
【図24】不審人物検知用ルール適用・検索処理(図16のS14)の詳細を示す流れ図である。
【図25】図24の続きを示す流れ図である。
【図26】不審人物スコア加算更新処理(図16のS15)を示す流れ図である。
【図27】駐車場内での不審者の行動と不審スコアの上昇グラフの一例を示す説明図である。
【図28】第2の実施の形態に係る不審人物検知装置の構成を示すブロック図である。
【図29】第2の実施の形態における図16のステップS14の処理内容を示す流れ図である。
【図30】第2の実施の形態における図16のステップS15の処理内容を示す流れ図である。
【図31】機器の故障診断、異常気象予測に関わる異常事象、正常事象、特徴量の一覧を示す説明図である。
【発明を実施するための形態】
【0060】
以下、図面に基づき本発明の各種実施の形態を説明する。
【0061】
図1は、本発明の第1の実施の形態に係る不審人物検知装置10の概略構成を示している。不審人物検知装置10は、監視カメラで撮影している監視エリア内の人物が不審人物か否かを判定して不審人物を検知する監視システムである。本実施の形態では、監視エリアを広い駐車場内とする場合を例に説明する。不審人物検知装置10は、カメラ画像内から検出された移動物体が人か車両かを判別し、人であると判別した場合にその人物を追尾して行動を解析し、不審行動か否かを判定する。検知結果は、たとえば、監視員に対して注意喚起する警告ランプの作動や警告表示に利用される。
【0062】
不審人物検知装置10は、監視対象エリアを撮影して画像を取り込むためのカメラ部11と、カメラ部11によって取り込まれた画像を解析して不審人物を検出する処理部12と、処理部12の処理結果を出力する出力部13と、不審人物検知装置10に対する各種の設定や処理に関する指示の入力などを受ける入力部14と、不審行動を検知するためのルールが登録された不審動作・行動検知処理用ルール登録部15と、各種のデータが蓄積されたデータベース部16とを備えている。
【0063】
データベース部16は、人に関する形状等の特徴量データが蓄積された人特徴DB部16aと、車両に関する形状等の特徴量データが蓄積された車両特徴DB部16bと、正常人物の動作・行動に関するデータが蓄積された正常人物動作・行動時系列パターンDB部16cと、不審人物の動作・行動に関するデータが蓄積された不審人物動作・行動時系列パターンDB部16dとを備えている。正常人物動作・行動時系列パターンDB部16c、不審人物動作・行動時系列パターンDB部16dに蓄積されるデータは、正常動作・行動や不審動作・行動に関するサンプルデータであり、人物の動作の時間的な推移である行動シーケンスを表した時系列パターンデータ(動作を時系列に並べたデータであり、行動シーケンスデータとも呼ぶ。)と、人物の所在位置の時間的な推移である移動経路を表した時系列パターンデータ(所在位置を時系列に並べたデータであり、移動経路データとも呼ぶ。)である。
【0064】
カメラ部11は、フレーム毎の画像(1画面分の静止画像)を1秒間に数十フレーム取り込むことで、動画を撮影する機能を果たす。
【0065】
処理部12は、カメラ部11から入力された画像内の移動物体が人物であるか車両であるかを判別し、人物であれば追尾してその動作・行動シーケンス・移動経路などを解析して不審人物の検知を行う。以後、画像内から認識された人物や車両などの物体をオブジェクトとも呼ぶ。
【0066】
処理部12は、CPU(Central Processing Unit)と、このCPUが実行するプログラムやデータが記憶されたROM(Read Only Memory)と、RAM(Random Access Memory)などを主要部として構成される。
【0067】
処理部12は、カメラ部11から入力される画像内のオブジェクトを追尾・探索する追尾部21と、記憶部22と、追尾部21で追尾中のオブジェクトの特徴を抽出し、その特徴を示す特徴量データを記憶部22に記憶する特徴量抽出処理を繰り返し行う蓄積制御部23と、記憶部22に記憶されている各オブジェクトの特徴量データに基づいて、各オブジェクトが人か車両かを判別する人・車両判別部24と、不審人物検知ルール候補探索部25と、不審人物検知ルール抽出部26と、追尾中の人の動作・行動を解析する動作・行動解析部30の機能を備えている。
【0068】
特徴量データは、たとえば、オブジェクトの形状、大きさ、縦横比、動きや、不審人物判定用の各種属性などである。特徴量データは時系列に記憶部22に記憶される。蓄積制御部23は、オブジェクトの追尾中は所定の時間間隔で特徴量データを記憶部22に記憶させる。ここでは、フレーム毎に行う。なお、時系列に並べた特徴量データを特徴量時系列データとする。
【0069】
追尾部21によるオブジェクトの追尾方法は、公知の方法を含めて任意の方法でよい。
【0070】
人・車両判別部24は、人特徴DB部16aに蓄積されている人の特徴を表した特徴量データと、オブジェクトの特徴量データとを比較して、そのオブジェクトが人か否かの判別を行う。また、車両特徴DB部16bに蓄積されている車両の特徴を表した特徴量データと、オブジェクトの特徴量データとを比較して、そのオブジェクトが車両か否かの判別を行う。人・車両の判別方法はこれに限らず、公知の方法を含めて任意の方法でよい。
【0071】
不審人物検知ルール候補探索部25は、正常人物動作・行動時系列パターンDB部16cに記憶されているデータと、不審人物動作・行動時系列パターンDB部16dに記憶されているデータとを比較して、不審人物検知ルールの候補を探索する。不審人物検知ルール抽出部26は、不審人物検知ルール候補探索部25が探索して得た不審人物検知ルールの候補を、さらに特定の条件で絞り込んで不審人物検知ルールを抽出する機能を果たす。不審動作・行動検知処理用ルール登録部15には、不審人物検知ルールや、ユーザの設定した不審動作のルール(設定不審動作検知ルール)が登録される。
【0072】
動作・行動解析部30は、追尾中の人物の動作・行動が不審動作・行動であるか否かを判定する。詳細には、基本動作判別部31と、行動シーケンス生成部32と、移動経路生成部33と、不審動作検知部34と、不審行動検知部35と、不審判定部36としての機能を果たす。
【0073】
基本動作判別部31は、追尾中の人の動作が、「歩く」、「屈む」などの予め定めた基本動作のいずれに該当するかを判別する。行動シーケンス生成部32は、人の動作を時系列に並べた行動シーケンスを示す行動シーケンスデータを生成する。すなわち、基本動作判別部31が判別した追尾中の人物の動作を時系列に並べることで、その人物の動作の時系列な推移を表した行動シーケンスデータを生成する。
【0074】
移動経路生成部33は、追尾中の人物の所在位置を時系列に並べた移動経路を示す移動経路データを生成する。
【0075】
不審動作検知部34は、基本動作判別部31の判別した動作が不審動作か否かを、不審動作・行動検知処理用ルール登録部15に登録されている設定不審動作検知ルール(不審動作を示すルール)と比較して判別し、不審動作の場合に不審スコアを上昇させる。
【0076】
不審行動検知部35は、追尾中の人物の行動シーケンスが不審人物のの行動シーケンスか否かを、また追尾中の人物の移動経路が不審人物の移動経路か否かを、不審動作・行動検知処理用ルール登録部15に記憶されている各種ルールとの比較によって判別し、登録されているルールに該当する場合に不審スコアを上昇させる。
【0077】
不審判定部36は、不審スコアの値(累積値)に基づき、追尾中の人物が不審人物か否かを判定する。
【0078】
出力部13は、処理結果を外部に出力するためのインターフェース回路、各種設定画面や操作画面、処理結果等を視覚的に表示するためのディスプレイ装置などで構成される。入力部14は、各種の設定や処理に関する指示に係る信号を入力するためのインターフェース回路のほか、各種の操作スイッチなどで構成される。
【0079】
図2は、追尾中のオブジェクトについて作成されるオブジェクトデータテーブル40の一例を示している。オブジェクトデータテーブル40は、追尾中のオブジェクトの各種特徴量・属性などを登録したものである。オブジェクトデータテーブル40は、画像内で新たなオブジェクトが検出される毎に作成され、そのオブジェクトが画像から消滅するまで、1フレームの画像を処理する毎に更新される。オブジェクトデータテーブル40の作成更新は、主として追尾部21および動作・行動解析部30が行う。
【0080】
オブジェクトデータテーブル40には、オブジェクトID(obj_id)と、オブジェクト種類(obj_typeobj_id)と、オブジェクト状態(obj_stateobj_id)と、オブジェクト存在継続時間(obj_timeobj_id)と、オブジェクト領域左端位置(obj_lxobj_id)と、オブジェクト領域右端位置(obj_rxobj_id)と、オブジェクト領域上端位置(obj_tyobj_id)と、オブジェクト領域下端位置(obj_byobj_id)と、オブジェクト領域重心位置(水平方向)(obj_gxobj_id)と、オブジェクト領域重心位置(垂直方向)(obj_gyobj_id)と、オブジェクトの大きさ(obj_sizeobj_id)と、オブジェクトの縦横比(obj_aspectobj_id)と、オブジェクトの動きベクトル(水平方向)(obj_dxobj_id)と、オブジェクトの動きベクトル(垂直方向)(obj_dyobj_id)と、オブジェクト-最近傍車両間距離(obj_car_distobj_id)と、オブジェクト不審判定フラグ(suspicious_flagobj_id)と、オブジェクトの不審スコア(SSobj_id)と、オブジェクトの行動シーケンス長(lenaobj_id)と、オブジェクトの移動経路長(lenobj_id)と、オブジェクトの基本動作継続時間(tcntobj_id)とが登録される。
【0081】
オブジェクトIDは、このオブジェクトに固有に割り当てられた識別子である。オブジェクト種類は、当該オブジェクトが人であるか車両であるかを示す。オブジェクト-最近傍車両間距離は、当該オブジェクトが人の場合にセットされ、最も近い車両までの距離を示す。不審判定フラグは、当該オブジェクトが人であって、この人が不審人物(不審行動を行った人)であると判定済みの場合にセットされる。不審スコアは、不審動作検知部34や不審行動検知部35によって累積加算された不審スコアの現在値を示す。オブジェクトの行動シーケンス長は、この人物(オブジェクト)が画像内に出現してからの行動シーケンスの長さ(シーケンス長、動作が変化した回数)を示す。オブジェクトの移動経路長は、この人物が画像内に出現してからの移動経路の長さ(経路長、所在位置が変化した回数)を示す。オブジェクトの基本動作継続時間は、同一の基本動作が継続している時間の長さを示す。
【0082】
図3は、駐車場における人の基本動作を列挙した基本動作一覧表42である。ここでは、歩く・走るなどの「移動(Move)」、その場に停止して留まる「佇み(Stop)」、姿勢を低くする「屈み(Bend)」、自動車のドアを開閉する「ドア開閉(Door)」の4つを基本動作として定義する。また、基本動作「移動」の信頼度をRmove、基本動作「佇み」の信頼度をRstop、基本動作「屈み」の信頼度をRbend、基本動作「ドア開閉」の信頼度をRdoorとする。信頼度は、人の動きがその基本動作らしい度合いを示す。
【0083】
ここでは、フレーム毎のオブジェクトデータテーブル40の内容(全部もしくは一部)が、そのオブジェクトのある時刻での特徴量データとされる。特徴量データは時系列にして(特徴量時系列データとして)記憶部22に保存される。なお、基本動作は図3に示すものに限定されるものではなく、監視対象に応じて適宜に定めればよい。
【0084】
図4は、特徴量時系列データの蓄積状態を例示している。特徴量時系列データの記憶領域Fは、現在時刻から最大で(lmax−1)時間前までの特徴量データを時系列に保存する。同図(b)は、記憶領域Fの途中まで特徴量時系列データが記憶された状態を、同図(a)は、lmax時間分の特徴量時系列データが詰まった状態を示している。右端(終端)まで詰まった以後は、1つずつ右へシフトされて最も古いデータが廃棄され、左端の空いた領域に最新のデータが記憶される。すなわち、FIFO(First in First out)形式で記憶内容の更新が行われる。
【0085】
図5は、基本動作判別部31が有する基本動作信頼度算出部31aの構成例を示している。図5の基本動作信頼度算出部31aは、図3に示した基本動作のいずれか1つを担当する部分である。基本動作判別部31には基本動作毎に基本動作信頼度算出部31aが設けてある。
【0086】
基本動作信頼度算出部31aは、複数個(ここではMf個)の判別器31bと、これらMf個の判別器31bの出力値に、それぞれ重み係数を乗じた値を加算(荷重和)する加算器31cを備えている。
【0087】
加算器31cの出力Rは、この基本動作信頼度算出部31aが対象とする特定の基本動作の信頼度である。判別器31bはそれぞれ対象の基本動作(たとえば、「屈み」)か否かの判別に寄与するいずれかの特徴量データに関して、所定時間分の特徴量時系列データセット(たとえば、T時間分(時系列にされたT個)の特徴量データを一組みにしたもの)として入力し、該当の基本動作らしさの度合いを示す数値を信頼度Rとして出力する。
【0088】
たとえば、判別器31bは、オブジェクトの形状、大きさ、動き、などの特徴量別に設けられ、各判別器31bはその判別器に寄与する特徴量時系列データセットに基づいて基本動作らしさを判定する。各判別器31bは、対象とする基本動作を行う人の動きの多数のサンプル等によってあらかじめチューニング(重み係数α〜αMfを調整)されている。ここでは、対象の基本動作である可能性が高いほど、Mf個の判別器31bの出力の荷重和Rが大きな値となるようにされており、基本動作判別部31は、基本動作信頼度算出部31aの加算器31cが出力する信頼度Rが閾値以上の場合に該当の基本動作であると判定する。なお、基本動作の判別方法は上記に限定されるものではなく、任意の方法でよい。
【0089】
図6は、時系列に並べることで行動シーケンスとなる人の動作の構成要素の一覧46と、移動経路の構成要素の一覧48とを示している。人の動作の構成要素の一覧46に示すように、本例では、駐車場内での人の動作を、基本動作の種類(基本動作要素)と、その基本動作の継続時間(時間要素)と、注目車両との距離(相対位置要素)の3つの属性で表す。つまり、1つの動作をこの3つの属性で定義する。時間要素は「短い」(Short)と「長い」(Long)で定義する。相対位置要素は「近い」(Near)と「遠い」(Far)で定義する。基本動作の種類は基本動作判別部31で判別される。
【0090】
なお、「移動」をMV、「佇み」をST、「屈み」をBN、「ドア開閉」をDR、「短い」をS、「長い」をL、「近い」をN、「遠い」をFと図中略記する。また、「基本動作要素(時間要素、相対位置要素)」の書式で1つの動作を記号表記するものとする。たとえば、基本動作要素が「移動」(MV)、時間要素が「短い」(S)、相対位置要素が「近い」(N)の場合、この動作を記号で示すと、MV(S,N)となる。
【0091】
図6の下側には移動経路の構成要素の一覧48を示している。移動経路は、所在位置要素を連ねて表される。本例では、所在位置は図7に示す1〜18のエリア番号で表す。人の移動に伴ってその人の所在位置を示すエリア番号を時系列に並べたものが移動経路となる。
【0092】
図7は、駐車場内でのエリア番号の設定例を示している。所在位置要素は、画像内を1〜18のエリアに区分して、それぞれのエリアにエリア番号を割り当てている。本例では、車両50を中心として、その周囲の各エリアの中心点(基準位置)に対してエリア番号を割り当てている。図中の破線で示す矩形内の領域は、車両から近いNear領域52である。エリア番号1〜9の場所は、相対位置要素では「近い」(Near)となり、エリア番号10〜18は相対位置要素で「遠い」(Far)となる。
【0093】
なお、追尾人物の現在位置(位置座標)と各エリア番号に対応するエリアの基準位置との距離D(t)を求め、この距離が最も短いエリア番号を、追尾人物の所在位置P(t)とする。上記に対応する式を以下に示す。
【0094】
【数1】

【0095】
図8は、駐車場内の人物の正常行動(正常事象)の行動シーケンスデータ70と、この行動シーケンスデータ70から生成された正常行動の行動シーケンスセット一覧71を示している。人の動作を時系列に並べたものが行動シーケンスである。1つの動作を示すデータは前述したようにMV(S,N)のように記述する。これを「−」で複数繋げることで、MV(S,N)−ST(S,N)−…のような行動シーケンスデータ(時系列パターンデータとも呼ぶ)となる。図8の正常行動の行動シーケンスデータ70は、人が車に近づき乗車する行動シーケンスを表している。
行動シーケンスデータを、2以上の所定の長さに区切って取り出したものを行動シーケンスセット(あるいは時系列パターンセット)と呼ぶものとする。図8に示す1つの正常行動の行動シーケンスデータ70から、正常行動の行動シーケンスセット一覧71に示すようなシーケンス長さ別の多数の行動シーケンスセットを生成することができる。
【0096】
図9は、駐車場内の人物の不審行動(異常事象)の行動シーケンスデータ73と、この不審行動の行動シーケンスデータ73から生成された不審行動の行動シーケンスセットの一覧74を示している。本例の不審行動は、人が車に近づき、ドアの鍵をこじ開けて車両内に侵入(乗車)する行動である。図9の不審行動の行動シーケンスデータ73は、図8の正常行動の行動シーケンスデータ70に対して、3番目の動作としてBN(S,N)「屈み」が含まれている。
【0097】
図10は、図9の不審行動の行動シーケンスセット一覧74に含まれていて、図8の正常行動の行動シーケンスセット一覧71に含まれていない行動シーケンスセットのみを、不審行動検知用行動シーケンスルールとして選出して得た、不審行動検知用行動シーケンスルールの一覧75を示している。
【0098】
不審人物検知ルール候補探索部25は、データベース部16の正常人物動作・行動時系列パターンDB部16cから正常行動の行動シーケンスデータを取得して、正常行動の行動シーケンスセット一覧71のようなシーケンス長さ別の行動シーケンスセットを可能なだけすべて生成する。また、不審人物動作・行動時系列パターンDB部16dから不審行動の行動シーケンスデータを取得し、不審行動の行動シーケンスセット一覧74のようなシーケンス長さ別の行動シーケンスセットを可能なだけすべて生成する。そして、不審行動の行動シーケンスセットに含まれていて、正常行動の行動シーケンスセットに含まれていない行動シーケンスセットを、不審行動検知用行動シーケンスルールとして抽出し、これを不審動作・行動検知処理用ルール登録部15に登録する。移動経路についても同様にしてルールを自動生成して、不審動作・行動検知処理用ルール登録部15に登録するようになっている。
【0099】
本例では、不審人物検知ルール抽出部26による抽出は行わず、不審人物検知ルール候補探索部25でのルール候補を、そのまま不審行動検知用行動シーケンスルールとしている。不審人物検知ルール抽出部26による抽出を行う場合、不審人物検知ルール候補探索部25の生成したものを不審人物検知用行動シーケンスルールの候補とし、これを特定の条件で絞込んだものを、不審人物検知用行動シーケンスルールとする。たとえば、発生頻度の高いルールから順に、それらの発生頻度の累積値が閾値を超える手前までのみを抽出する、発生確率が一定以上のルールのみを抽出する、ルール長さが所定値以上のものだけを抽出する、といった絞込みを行うようにしてもよい。不審人物検知用移動経路ルールについても同様である。
【0100】
このように、不審人物検知装置10では、データベース部16に記憶されている不審行動、正常行動の行動シーケンスデータから、それぞれシーケンス長さ毎の行動シーケンスセットを生成し、シーケンス長さ毎の不審人物検知用行動シーケンスルールを自動生成する。移動経路についても同様に不審人物検知用移動経路ルールを自動生成する。これらの長さ毎のルールを使用することで、駐車場などでの不審人物をより精度高くかつ短時間の観測で検知することが可能になる。また、データベース部16に記憶されている不審行動、正常行動のサンプルデータから、不審人物検知用行動シーケンスルールや不審人物検知用移動経路ルールを自動的に生成するので、人がルールを設定する場合と異なり、少ない設定工数でかつ客観的なルールを得ることができる。
【0101】
図11は、不審動作・行動検知処理用ルール登録部15に登録されている不審人物検知用行動シーケンスルール一覧77の一般形を示している。ルール長さ毎に、不審人物検知用行動シーケンスルールが登録される。図中の記号Eij、a、aにおいて、Eは基本動作要素(MV、ST、BN、DRのいずれか)、aは時間要素(S、Lのいずれか)、aは相対位置要素(N、Fのいずれか)、添え字iは同じルール長さを有するルールの中でのルールIDを、添え字jはそのルールの中でのルールの先頭からの順番(先頭を0とする)をそれぞれ示している。1つのルール長さ(シーケンス長さ)について、多数のルールが形成されて登録される。
【0102】
図12は、不審動作・行動検知処理用ルール登録部15に登録されている不審人物検知用移動経路ルールの一覧79の一般形を示している。Pijにおいて、Pは所在位置要素である。Pは図7に示すいずれかのエリア番号となる。添え字iは同じルール長さを有するルールの中でのルールID、添え字jはそのルールの中でのルールの先頭からの順番(先頭を0とする)を示している。1つのルール長さ(経路長)について、多数のルールが形成されて登録される。
【0103】
図13は、基本動作要素、時間要素、相対位置要素、所在位置要素の各時系列データを蓄積記憶する動作・位置要素時系列記憶領域62の蓄積状態を示している。基本動作要素を記憶する基本動作要素時系列記憶領域62a、時間要素を記憶する時間要素時系列記憶領域62b、相対位置要素を記憶する相対位置要素時系列記憶領域62c、所在位置要素を記憶する所在位置要素時系列記憶領域62dは、それぞれ長さlmaxを有するFIFO形式の記憶領域となっている。
【0104】
図14は、追尾中の人物の動作の変化を時系列に記憶する行動シーケンス記憶領域64の記憶内容を示している。基本動作要素、時間要素、相対位置要素のいずれかが変化する毎に動作が更新されて記憶される。行動シーケンス記憶領域64は、長さlenmaxを有するFIFO形式の記憶領域となっており、最新の動作から(lenmax−1)回前までの動作が時系列に記憶される。
【0105】
図15は、追尾中の人物の所在位置の変化を時系列に記憶する移動経路記憶領域65の記憶内容を示している。追尾中の人物の所在位置(エリア番号)が変化する毎に、移動経路記憶領域65の記憶内容が更新される。移動経路記憶領域65は、長さlenmaxを有するFIFO形式の記憶領域となっており、最新の所在位置から(lenmax−1)回前までの所在位置が時系列に記憶される。
【0106】
次に、不審人物検知装置10が行う不審人物検知処理について説明する。
【0107】
図16は、不審人物検知装置10が行う処理の流れを示している。
本処理では、処理部12は、カメラ部11から入力された画像を解析して人物を追尾し、追尾中の人物の動作を特定してその特定した動作を時系列に並べた行動シーケンスデータ(行動シーケンス記憶領域64の記憶内容)を繰り返し更新する。
【0108】
また、追尾中の人物の所在位置を時系列に並べた移動経路データ(移動経路記憶領域65の記憶内容)を繰り返し更新する。そして、追尾中の人物の動作が変化した(行動シーケンスデータのデータ長が1つ増えた)場合は、シーケンス長さ毎に、不審人物検知用行動シーケンスルールと一致する行動シーケンスが行動シーケンスデータに含まれているかを調べ、一致する場合に不審スコアを上昇させる。また、追尾中の人物の所在位置が変化した(移動経路データのデータ長が1つ増えた)場合は、経路長さ毎に、不審人物検知用移動経路ルールと一致する移動経路が移動経路データに含まれているかを調べ、一致する場合に不審スコアを上昇させる。そして、不審スコアの累積値が閾値以上になった時点で不審人物と判定するように処理を行う。以下その詳細を説明する。
【0109】
処理部12は、フレーム時刻tを0に初期化した(ステップS1)後、画像を解析して人物の追尾を行う(ステップS2)。S2では、新たな人物を検出した場合は、その人物に関するオブジェクトデータテーブル40の新規生成などを行う。これにより新たな人物は追尾中の人物となる。
【0110】
追尾中の人物が存在しない場合は(ステップS3;No)、フレーム時刻tを+1して(ステップS21)、ステップS2に移行して処理を継続する。なお、処理部12は、ステップS2〜S21の処理を、カメラ部11から1フレームの画像(もしくは所定の複数フレーム)を取り込む毎に実行する。
【0111】
追尾中の人物が存在すれば(ステップS3;Yes)、画像から消滅した人物が存在するか否かを確認する(ステップS4)。画像から消滅した人物が存在しない場合は(ステップS4;No)、ステップS9へ移行する。画像から消滅した人物が存在する場合は(ステップS4;Yes)、すべての消滅した人物のオブジェクトデータテーブル40や各種の追尾データをクリアして(ステップS5〜S8)、ステップS9へ移行する。
【0112】
ステップS9では、処理対象の追尾中の人物(オブジェクト)の番号を示す変数iを0にクリアする。その後、追尾中の人物それぞれについてステップS10〜S20の処理を行う。すなわち、不審判定フラグ(suspicious_flagobj_id(i))がON状態(ONは不審人物であることを示す)か否かを調べ(ステップS10)、ONでなければ(ステップS10;No)、当該人物に関する特徴量時系列データを更新する(ステップS11)。ここでは、フレーム毎のオブジェクトデータテーブル40内の特定事項を特徴量データとする。そして、特徴量データを時系列にして、記憶部22に図4に示したように保存する。なお、特徴量データを時系列にしたデータを特徴量時系列データとする。
【0113】
次に、特徴量時系列データに基づいて、基本動作判別部31で基本動作を導出する(ステップS12)。そして、行動シーケンス・移動経路生成更新処理を行う(ステップS13)。この処理では、図13の動作・位置要素時系列記憶領域62の内容(基本動作要素時系列データ、時間要素時系列データ、相対位置要素時系列データ、所在位置要素時系列データ)を更新し、さらに、動作に変化が生じた場合は行動シーケンス記憶領域64の行動シーケンスデータを更新する。また所在位置に変化が生じた場合は移動経路記憶領域65の移動経路データを更新する。
【0114】
次に、不審人物検知用ルール適用・検索処理を行う(ステップS14)。この処理では、追尾中の人物の動作が変化した場合に、シーケンス長さ毎に、不審人物検知用行動シーケンスルールと一致する行動シーケンスが行動シーケンスデータに含まれているかを調べる。また、追尾中の人物の所在位置が変化した場合は、経路長さ毎に、不審人物検知用移動経路ルールと一致する移動経路が移動経路データに含まれているかを調べる。
【0115】
次に、不審スコア加算更新処理において(ステップS15)、ステップS14の結果に応じて不審スコアを上昇させ、不審スコア(累積値)が閾値を超えた場合は、不審人物と判断し(ステップS16;Yes)、不審判定フラグ(suspicious_flagobj_id(i))をONにし(ステップS17)、アラーム表示等を行って(ステップS18)、ステップS19へ移行する。不審スコアにより不審人物と判定しない場合は(ステップS16;No)、ステップS19に移行する。
【0116】
ステップS19では、変数iを+1し、加算後の変数iが追尾中の全人物数に等しいか否かを調べ(ステップS20)、等しくない場合は(ステップS20;No)、ステップS10に戻り、次の追尾中の人物について処理を行う。等しい場合は(ステップS20;Yes)、フレーム時刻tを+1し(ステップS21)、ステップS2に戻って次フレーム画像に対する処理を行う。
【0117】
図17、図18は、図16のステップS13のうち、行動シーケンスデータの生成更新に係る処理の詳細を示している。追尾中の人物の行動シーケンス長が0であれば(ステップS31;Yes)、追尾中の人物の最初の基本動作となるため、行動シーケンスを生成し初期化する(ステップS32)。この処理は、図19に示すように、行動シーケンス長lenを「1」に初期化し(ステップS61)、基本動作要素E、時間要素a、相対位置要素aを現在値(E(t)、a(t)、a(t))にそれぞれ初期化する(ステップS62〜S64)。
【0118】
行動シーケンス長が0でなければ(ステップS31;No)、現在時刻tと1つ前の時刻(t−1)の動作の基本動作要素を比較し、基本動作が変化したか否か調べる(ステップS33)。基本動作が変化していなければ(ステップS34;Yes)、基本動作継続時間tcntを+1して(ステップS35)、ステップS38に移行する。
【0119】
基本動作が変化した場合は(ステップS34;No)、基本動作継続時間tcntを1に初期化し(ステップS36)、行動シーケンス更新処理を行って(ステップS37)、ステップS38へ移行する。
【0120】
図20は、行動シーケンス更新処理を示している。行動シーケンス長を+1し(ステップS71)、FIFO形式の行動シーケンス記憶領域64の現在の記憶内容を1つずつ終端側へ移動させ(ステップS72〜S77)、一番手前の最新の基本動作要素Eに現時点の基本動作E(t)を設定する(ステップS78)。
【0121】
続くステップS38〜S45では、時間要素の設定を行う。詳細には、ステップS34において、現在時刻tと1つ前の時刻(t−1)で基本動作要素が同一であったか否かを調べ(ステップS38)、基本動作要素が更新されている場合は(ステップS38;Yes)、その基本動作は開始したばかりなので、現在時刻tの時間要素a(t)と最新の時間要素aに「短い」を設定して(ステップS45)、ステップS46へ移行する。
【0122】
同じ基本動作が継続している場合は(ステップS38;No)、基本動作継続時間tcntが時間要素「長い」となる所定の閾値時間以上か否かを調べ(ステップS39)、閾値時間以上ならば(ステップS39;Yes)、現在時刻tの時間要素a(t)を「長い」(Long)に設定し(ステップS40)、閾値時間未満ならば(ステップS39;No)、a(t)を「短い」(Short)に設定する(ステップS41)。現在時刻tの時間要素a(t)と1つ前の時刻の時間要素a(t−1)とを比較し(ステップS42)、これらが不一致、すなわち、「短い」から「長い」に変化している場合は(ステップS42;No)、行動シーケンス更新処理を行い(ステップS43)、最新時間要素aにa(t)を設定して(ステップS44)、ステップS46へ移行する。
【0123】
ステップS46以降では、相対位置要素の設定を行う。詳細には、まず、現在時刻tにおける駐車車両と監視人物間との距離D(t)を導出する(ステップS46)。そして、ステップS34でNoまたS42でNoであった(現在時刻tと1つ前の時刻(t−1)で、基本動作要素が変化していた、または時間要素が変化していた)場合は(ステップS47;Yes)、追尾中の人物と車両との距離D(t)が、相対位置要素を「遠い」(Far)とする閾値距離以上か否かを調べる(ステップS51)。閾値距離以上ならば(ステップS51;Yes)、現在時刻tの相対位置要素a(t)に「遠い」を設定し(ステップS52)、閾値距離未満ならば(ステップS51;No)、a(t)に「近い」を設定し(ステップS53)、最新相対位置要素aにa(t)を設定して(ステップS54)処理を終了する。
【0124】
ステップS34、S42共にYesであった(現在時刻tと1つ前の時刻(t−1)で基本動作要素、時間要素ともに変化していない)場合は(ステップS47;No)、距離D(t)が閾値距離以上かを調べ(ステップS48)、閾値距離以上ならば(ステップS48;Yes)、a(t)を「遠い」に設定し(ステップS49)、閾値距離未満ならば(ステップS48;No)、a(t)を「近い」に設定する(ステップS50)。そして、現在時刻tの相対位置要素a(t)と1つ前の時刻の相対位置要素a(t−1)とを比較する(ステップS55)。これらが不一致の場合は(ステップS55;No)、行動シーケンス更新処理を行い(ステップS56)、最新時間要素aに1つ前の動作の時間要素aをコピーする(ステップS57)。また最新相対位置要素aに現在時刻tの相対位置要素a(t)を設定して(ステップS58)、処理を終了する。
【0125】
図21は、図16のステップS13のうち、移動経路データの生成更新に係る処理の詳細を示している。追尾中の人物の移動経路長lenが0であれば(ステップS81;Yes)、追尾対象の人物の新たな出現を意味するので、その人物の移動経路を生成し初期化する(ステップS82)。この処理は、図22に示すように、移動経路長lenを「1」に初期化し(ステップS91)、最新の所在位置要素Pに現在の所在位置P(t)を設定する(ステップS92)。
【0126】
移動経路長lenが0でなければ(ステップS81;No)、監視対象人物の現在時刻tの所在位置P(t)と1つ前の時刻(t−1)の所在位置P(t−1)とを比較して、所在位置が変化したか否か調べる(ステップS83)。所在位置が変化していなければ(ステップS84;Yes)、本処理を終了する。所在位置が変化している場合は(ステップS84;No)、移動経路更新処理を行って(ステップS85)、本処理を終了する。
【0127】
図23は、移動経路更新処理を示している。移動経路長lenを+1し(ステップS101)、FIFO形式の移動経路記憶領域65の記憶内容を1つずつ終端側へ移動させ(ステップS102〜S105)、一番手前の最新所在位置要素Pに現在の所在位置P(t)を設定する(ステップS106)。
【0128】
図24、図25は、不審人物検知用ルール適用・検索処理(図16のS14)の詳細を示している。時刻t(現在時刻)で行動シーケンスデータの更新があれば(ステップS121;Yes)、シーケンス長さ毎に、行動シーケンスデータと、不審動作・行動検知処理用ルール登録部15に登録されている不審人物検知用行動シーケンスルールとを比較し、シーケンス長さ(ルール長さ)毎に、図14に示すルールヒット確認領域においてヒットしたルールの数(HNaiはルール長さ)を計数する(ステップS122〜S132)。
【0129】
また、時刻t(現在時刻)で移動経路データの更新があれば(ステップS133;Yes)、移動経路長さ毎に、移動経路データと、不審動作・行動検知処理用ルール登録部15に登録されている不審人物検知用移動経路ルールとを比較し、移動経路長さ(ルール長さ)毎に、図15に示すルールヒット確認領域においてヒットしたルールの数(HNp iはルール長さ)を計数する(ステップS134〜S144)。
【0130】
さらに、ユーザの設定した各設定不審動作検知ルールと、現在時刻tの動作が一致するか否か調べ、ヒットしたルールの数(HNb)を計数する(ステップS145〜S151)。なお、設定不審動作検知ルールとしては、たとえば、車両近傍での屈み・佇みなどが考えられる。これは、基本動作要素が「Bend」あるいは「Stop」、時間要素が「Long」、相対位置要素が「Near」で継続している状態より捉えることができる。後述する不審スコア加算更新処理では、ヒットした設定不審動作検知ルールの数だけ、不審スコアを加算するようになっている(ステップS177〜179)。
【0131】
図26は、不審スコア加算更新処理(図16のS15)の詳細を示している。時刻t(現在時刻)で行動シーケンスデータの更新があれば(ステップS161;Yes)、ルール長さ毎に、そのルール長さiでのヒット数(HNa)にそのルールの長さiを乗じた値(i×HNa)を求め、不審スコアSSに累積加算する(ステップS162〜S168)。つまり、ルール長さに応じた重み付けを行ってヒット数を計数して不審スコアを累積加算する。
【0132】
また、時刻t(現在時刻)で移動経路データの更新があれば(ステップS169;Yes)、ルール長さ毎に、そのルール長さiでのヒット数(HNp)にそのルールの長さiを乗じた値(i×HNp)を求め、不審スコアSSに累積加算する(ステップS170〜S176)。移動経路に関しても、ルール長さに応じた重み付けを行ってヒット数を計数し、不審スコアを累積加算する。
【0133】
また、設定不審動作検知ルールのヒット数(HNb)を不審スコアSSに加算する(ステップS177〜S179)。これを式で表すと以下のようになる。
【0134】
【数2】

【0135】
なお、不審スコアの累積加算は、不審スコア値が予め定めた不審人物判定閾値Thを超えた時点で終了する(ステップS166;Yes、S174;Yes)。また、i×HNa、i×HNp、HNbのそれぞれに任意の重み付けをしてもよい。たとえば、行動シーケンスでルールが一致した場合の不審スコアの上昇量を、移動経路でのルール一致の場合より大きくする、といったことが重み付けにより可能になる。
【0136】
図27は、駐車場内での不審者の行動と、この不審者を不審人物検知装置10が追尾したときの不審スコアの上昇グラフの一例を示している。長さの短いルールがヒットした場合も不審スコアは上昇するので、行動シーケンス長が比較的短い時点から不審スコアは上昇し始めている。また、行動シーケンスが長くなるほど、比較されるルールの数も増え、長いルールがヒットした場合には不審スコアの上昇量は大きくなる。時間の経過と共に行動シーケンスが長くなると、不審スコアが大きく上昇する場合がある。本例では、車両に近づいて立ち止まったとき(W1)や、車両の近くで屈んだとき(W2)、などに不審スコアが大きく上昇している。たとえば、不審人物と判定する閾値を150に設定すると、ドアを開いた時点(W3)で不審人物と判定され、逃走前に警備員などに警告が出される。
【0137】
このように、種々の長さで、行動シーケンスや移動経路を、予め定めた不審人物検知用行動シーケンスルールや不審人物検知用移動経路ルールと比較し、ルールがヒットする毎に累積加算した不審スコアに基づいて不審人物を判定するので、いろいろな時間長の行動・移動パターンへの対応や、人の動き・移動の個人差への対応が可能となり、不審人物を漏れなく早期にかつ高精度で検知することができる。また、不審人物検知用行動シーケンスルールや不審人物検知用移動経路ルールは、サンプルデータなどに基づく客観的なルールなので、不審人物か否かについて客観的に判定することができる。
【0138】
次に、本発明の第2の実施の形態について説明する。
【0139】
<第2の実施の形態>
犯罪行為などの不審行動に関するデータは収集が難しい。そこで、第2の実施の形態では、正常行動に関する多数のルールを用意し、これらのルールに1つもヒットしない場合に不審行動と判定する。
【0140】
図28は、第2の実施の形態に係る不審人物検知装置10Bの構成を示している。図1に示す第1の実施の形態に係る不審人物検知装置10と同一部分には同一符号を付してある。不審人物検知装置10Bは、カメラ部11と、処理部12Bと、出力部13と、入力部14と、正常行動を示す多数のルールが登録された正常行動ルール登録部15Bと、データベース部16Bとを備えている。
【0141】
データベース部16Bは、図1のデータベース部16の不審人物動作・行動時系列パターンDB部16dを具備しない点で相違し、その他は同一である。
【0142】
処理部12Bは、図1の不審人物検知ルール候補探索部25、不審人物検知ルール抽出部26はなく、これらに代えて、正常人物検知ルール生成部27を備えている。正常人物検知ルール生成部27は正常人物行動時系列パターンDB部16c1に登録されている時系列パターンから長さ別の時系列パターンセットを生成し、これらを正常人物検知ルールとして出力する。
【0143】
正常行動ルール登録部15Bは、正常人物検知ルール生成部27が生成した正常人物検知ルールが登録される。
【0144】
行動解析部30Bは、図1の動作・行動解析部30に比して、不審動作検知部34を具備しない点で相違し、他の構成は備えている。
【0145】
第2の実施の形態に係る不審人物検知装置10Bの処理は、不審人物を判定するためのルールが正常人物検知ルールである点と、そのルールに1つもヒットしない場合に不審スコアを加算する点とが相違し、これら以外は、第1の実施の形態と同様である。
【0146】
以下、相違点について説明する。図16の流れ図のうち、第2の実施の形態では、ステップS14とS15が第1の実施の形態と相違し、その他のステップは同一である。
【0147】
図29は、第2の実施の形態における図16のステップS14の処理内容を示している。図24と同一ステップには同一のステップ番号を付してある。また相違するステップには末尾にAを付してある。
【0148】
この処理では、追尾中の人物の動作が変化した場合に(ステップS121;Yes)、行動シーケンス長さi毎に、正常人物検知用行動シーケンスルールと一致する行動シーケンスが行動シーケンスデータに含まれているかを調べ(ステップS127A)、長さiのいずれかのルールと一致(ヒット)する場合は(ステップS127A;Yes)、その長さiの行動シーケンスは正常行動とし(ステップS128A、ノーヒットフラグaFlagを0にする)、長さiのすべてのルールと一致しない場合は、長さiの行動シーケンスは不審行動とする(ノーヒットフラグaFlagを1にする、ステップS124Aで1にセットした状態が維持される)。
【0149】
また、追尾中の人物の所在位置が変化した場合は(ステップS133;Yes)、移動経路長さi毎に、正常人物検知用移動経路ルールと一致する移動経路が移動経路データに含まれているかを調べ(ステップS139A)、長さiのいずれかのルールと一致(ヒット)する場合は(ステップS139A;Yes)、その長さiの移動経路は正常な移動とし(ステップS140A、ノーヒットフラグpFlagを0にする)、長さiのすべてのルールと一致しない場合は、長さiの移動経路は不審な移動とする(ノーヒットフラグpFlagを1にする、ステップS136Aで1にセットした状態が維持される)。
【0150】
図30は、第2の実施の形態における図16のステップS15の処理内容を示している。図26と同一ステップには同一のステップ番号を付してあり、相違するステップには末尾にAを付してある。時刻t(現在時刻)で行動シーケンスの更新があれば(ステップS161;Yes)、ルール長さ毎に、そのルール長さiのノーヒットフラグaFlagが「1」(ノーヒット)かを調べ(ステップS164A)、ノーヒットフラグaFlagが「1」の場合は(ステップS164A;Yes)、そのルールの長さiに応じたスコアの加算値fa(i)を、不審スコアSSに累積加算する(ステップS165A)。つまり、長いルールほど値が大きくなるような関数fa(i)により求めた加算値を不審スコアSSに累積加算する。
【0151】
また、時刻t(現在時刻)で移動経路の更新があれば(ステップS169;Yes)、ルール長さ毎に、そのルール長さiのノーヒットフラグpFlagが「1」(ノーヒット)かを調べ(ステップS172A)、ノーヒットフラグpFlagが「1」の場合は(ステップS172A;Yes)、そのルールの長さiに応じたスコアの加算値fp(i)を、不審スコアSSに累積加算する(ステップS173A)。つまり、長いルールほど値が大きくなるような関数fp(i)により求めた加算値を不審スコアSSに累積加算する。
【0152】
なお、不審スコアの累積加算は、不審スコア値が予め定めた不審人物判定閾値を超えた時点で終了する(ステップS166;Yes、S174;Yes)。また、上記の累積加算を式で表すと以下のようになる。
【0153】
【数3】

【0154】
不審スコアに加算されるルール長さiによる関数f(i)(上記のfa(i)またはfp(i))としては、たとえば、f(i)=i,f(i)=n,f(i)=n×i(n:1よりも大きい数値(自然数でも浮動小数点数でも良い))などを挙げることができる。
【0155】
このように、ルール長さ毎に、その長さの行動シーケンスおよび移動経路が、正常人物検知用行動シーケンスルールや正常人物検知用移動経路ルールに1つもヒットしない場合に、不審行動と判定して不審スコアを上昇させるので、正常行動のルールから不審行動をより高い精度で早期に、かつ客観的なルールに基づいて、検知することができる。
【0156】
なお、不審スコアと比較される閾値(不審人物と判断するための閾値)は、各種の正常行動で得られる不審スコアの最大値、もしくは不審スコアの最大値+マージンとすれば、閾値を実際の正常行動シーケンスおよび正常移動経路に基づく客観的な値に設定することができる。
【0157】
以上、本発明の各種実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。
【0158】
第1の実施の形態では、駐車場内不審人物検知用行動シーケンス・移動経路ルールとして、不審人物の行動シーケンスセット・移動経路セットに含まれるが、正常人物の行動シーケンスセット・移動経路セットには含まれない行動シーケンスセットや移動経路セットをそのまま用いている。すなわち、不審人物検知用ルール候補探索部25で得られたルール候補をそのままルールとして用いており、不審人物検知用ルール抽出部26で特定条件による絞り込みは行っていない。これは、犯罪行為など不審行動が発生すること自体が稀なことであり、候補探索処理によって得られる全ての行動シーケンスセットおよび移動経路セットが長短問わず意味を持つと考えられるためである。
【0159】
また、実施の形態では、駐車場内での不審人物の検知を例に説明したが、不審人物の検知エリアは駐車場に限定されるものではなく、任意でよい。さらに、本発明は不審人物の検知に限定されず、時系列な状態推移の生じる観察対象であれば、対象は任意でよく、たとえば、機器の故障診断や突然の雷雨のような悪天候予測などにも適用可能である。
【0160】
たとえば、機器の故障診断では、図31(a)の一覧表81に示すように所定箇所の電圧値・電流値、機器内の各部位の温度、ファン回転数、クロック周波数、通信データ内容などをその機器の状態の特徴量を示す特徴量データとする。特徴量は、変化傾向(増加・減少、上昇・低下など)、変化幅、特定値以上・特定値以下、特定範囲内・特定範囲外、平均値・分散値などである。そして、これらの観測データから機器の状態(たとえば、温度正常、温度上昇状態1、温度上昇状態2など)を特定し、状態の推移を示す状態推移データ(特定した状態を時系列に並べたもので、不審人物判定における行動シーケンスデータや移動経路データに対応するもの)を繰り返し更新する。
【0161】
一方、異常時に生じる機器の状態推移パターンを表したパターン長さ別の異常検知ルールを、ルール登録部などに予め登録しておき、機器の状態が変化した場合に、パターン長さ毎に、異常検知ルールと一致する状態推移パターンが、状態推移データに含まれているかを調べる。そして、一致する場合に異常スコアを上昇させ、異常スコアの累積値に基づいて機器の異常を判定する。異常は軽度のものから重度のものまで複数種類あってもよい。軽度、重度に応じた判定用の閾値を用意すればよい。
【0162】
図31(b)は、気象に関する異常事象、正常事象、特徴量(観測項目)を示す一覧表82の例を示している。異常気象の場合も、機器の故障診断と同様にすればよい。
【0163】
なお、機器や天候が特定状態となったとき、たとえば、ファン回転数が「0」になったとき、異常スコアを上昇させるようにしてもよい。また、機器の故障診断や異常気象予測などの場合においても、一致した異常検知ルールのパターン長さが長いほど、異常スコアを大きく上昇させるとよい。
【0164】
実施の形態では、不審人物検知装置10、10Bについて説明したが、本発明は、同等の機能を情報処理装置等に実行させるためのプログラムや方法にも適用することができる。異常事象検知についても同様である。
【符号の説明】
【0165】
10、10B…不審人物検知装置
11…カメラ部
12、12B…処理部
13…出力部
14…入力部
15…不審動作・行動検知処理用ルール登録部
15B…正常行動ルール登録部
16、16B…データベース部
16a…人特徴DB部
16b…車両特徴DB部
16c…正常人物動作・行動時系列パターンDB部
16c1…正常人物行動時系列パターンDB部
16d…不審人物動作・行動時系列パターンDB部
21…追尾部
22…記憶部
23…蓄積制御部
24…人・車両判別部
25…不審人物検知ルール候補探索部
26…不審人物検知ルール抽出部
27…正常人物検知ルール生成部
30…動作・行動解析部
30B…行動解析部
31…基本動作判別部
31a…基本動作信頼度算出部
31b…判別器
31c…加算器
32…行動シーケンス生成部
33…移動経路生成部
34…不審動作検知部
35…不審行動検知部
36…不審判定部
40…オブジェクトデータテーブル
42…基本動作一覧表
46…人の動作の構成要素の一覧
48…移動経路の構成要素の一覧
50…車両
52…Near領域
62…動作・位置要素時系列記憶領域
62a…基本動作要素時系列記憶領域
62b…時間要素時系列記憶領域
62c…相対位置要素時系列記憶領域
62d…所在位置要素時系列記憶領域
64…行動シーケンス記憶領域
65…移動経路記憶領域
70…正常行動の行動シーケンスデータ
71…正常行動の行動シーケンスセット一覧
73…不審行動の行動シーケンスデータ
74…不審行動の行動シーケンスセット一覧
75…不審行動検知用行動シーケンスルールの一覧
77…不審人物検知用行動シーケンスルール一覧
79…不審人物検知用移動経路ルールの一覧
81…機器の故障診断にかかわる異常事象、正常事象、特徴量の一覧
82…異常気象予測にかかわる異常事象、正常事象、特徴量の一覧

【特許請求の範囲】
【請求項1】
人の動作を時系列に並べたものを行動シーケンスとし、
人の所在位置を時系列に並べたものを移動経路とし、
不審人物の行動シーケンスを表したシーケンス長さ別の行動シーケンスルールと、不審人物の移動経路を表した経路長さ別の移動経路ルールとをルール登録部に登録しておき、
カメラから入力される画像内の人物を追尾すると共に、追尾中の人物の動作を特定してその特定した動作により時系列に並べた行動シーケンスデータを繰り返し更新すると共に、前記追尾中の人物の所在位置により時系列に並べた移動経路データを繰り返し更新し、
前記追尾中の人物の動作が変化した場合は、シーケンス長さ毎に、前記行動シーケンスルールと一致する行動シーケンスが、前記行動シーケンスデータに含まれているかを調べて、一致する場合にスコアを上昇させ、
前記追尾中の人物の所在位置が変化した場合は、経路長さ毎に、前記移動経路ルールと一致する移動経路が、前記移動経路データに含まれているかを調べて、一致する場合に前記スコアを上昇させ、
前記スコアに基づいて前記追尾中の人物が不審人物であるかを判定する
ことを特徴とする不審人物検知方法。
【請求項2】
人の動作を時系列に並べたものを行動シーケンスとし、
不審人物の行動シーケンスを表したシーケンス長さ別の行動シーケンスルールをルール登録部に登録しておき、
カメラから入力される画像内の人物を追尾すると共に、追尾中の人物の動作を特定し、その特定した動作により時系列に並べた行動シーケンスデータを繰り返し更新し、
前記追尾中の人物の動作が変化した場合に、シーケンス長さ毎に、前記行動シーケンスルールと一致する行動シーケンスが、前記行動シーケンスデータに含まれているかを調べて、一致する場合にスコアを上昇させ、
前記スコアに基づいて前記追尾中の人物が不審人物であるかを判定する
ことを特徴とする不審人物検知方法。
【請求項3】
人の所在位置を時系列に並べたものを移動経路とし、
不審人物の移動経路を表した経路長さ別の移動経路ルールをルール登録部に登録しておき、
カメラから入力される画像内の人物を追尾すると共に、追尾中の人物の所在位置により時系列に並べた移動経路データを繰り返し更新し、
前記追尾中の人物の所在位置が変化した場合に、経路長さ毎に、前記移動経路ルールと一致する移動経路が、前記移動経路データに含まれているかを調べて、一致する場合にスコアを上昇させ、
前記スコアに基づいて前記追尾中の人物が不審人物であるかを判定する
ことを特徴とする不審人物検知方法。
【請求項4】
前記追尾中の人物の動作が、予め定めた特定動作の場合に、前記スコアを上昇させる
ことを特徴とする請求項1または2に記載の不審人物検知方法。
【請求項5】
人物の動作を、動作の種類を示す基本動作要素と、同一の基本動作要素の継続時間を示す時間要素と、監視対象物と追尾人物との距離を示す相対位置要素とを用いて表す
ことを特徴とする請求項1、2、4のいずれか1つに記載の不審人物検知方法。
【請求項6】
前記所在位置は、画像内を複数に区分した各エリアに対して割り当てたエリア番号で表す
ことを特徴とする請求項1または3に記載の不審人物検知方法。
【請求項7】
一致した行動シーケンスルールのシーケンス長さが長いほど、スコアの上昇量を大きくする
ことを特徴とする請求項1または2に記載の不審人物検知方法。
【請求項8】
一致した移動経路ルールの経路長さが長いほど、スコアの上昇量を大きくする
ことを特徴とする請求項1または3に記載の不審人物検知方法。
【請求項9】
前記スコアが予め定めた閾値を超えたとき、前記追尾中の人物は不審人物であると判定する
ことを特徴とする請求項1乃至8のいずれか1つに記載の不審人物検知方法。
【請求項10】
異常データベースに登録されている不審人物の行動シーケンスと、正常データベースに登録されている正常人物の行動シーケンスとを、シーケンス長さ毎に比較し、異常データベースに含まれて正常データベースに含まれない行動シーケンスを、不審人物を検知するための行動シーケンスルールとして前記ルール登録部に登録する
ことを特徴とする請求項1または2に記載の不審人物検知方法。
【請求項11】
異常データベースに登録されている不審人物の移動経路と、正常データベースに登録されている正常人物の移動経路とを、経路長さ毎に比較し、異常データベースに含まれて正常データベースに含まれない移動経路を、不審人物を検知するための移動経路ルールとして前記ルール登録部に登録する
ことを特徴とする請求項1または3に記載の不審人物検知方法。
【請求項12】
前記異常データベースと前記正常データベースとの比較によって得たルールのうち、設定された特定条件を満たすものだけを抽出して、前記ルール登録部に登録する
ことを特徴とする請求項10または11に記載の不審人物検知方法。
【請求項13】
異常時に生じる観察対象の状態推移のパターンを表したパターン長さ別の異常検知ルールをルール登録部に登録しておき、
入力される観測データから観察対象の状態を特定して、その特定した状態により時系列に並べた状態推移データを繰り返し更新し、
前記観察対象の状態が変化した場合に、パターン長さ毎に、前記異常検知ルールと一致する状態推移のパターンが、前記状態推移データに含まれているかを調べて、一致する場合にスコアを上昇させ、
前記スコアに基づいて前記観察対象の異常を判定する
ことを特徴とする異常事象検知方法。
【請求項14】
前記観察対象の状態が予め定めた特定状態の場合に、前記スコアを上昇させる
ことを特徴とする請求項13に記載の異常事象検知方法。
【請求項15】
一致した異常検知ルールのパターン長さが長いほど、前記スコアの上昇量を大きくする
ことを特徴とする請求項13に記載の異常事象検知方法。
【請求項16】
前記スコアが予め定めた閾値を超えたとき、前記観察対象は異常であると判定する
ことを特徴とする請求項13乃至15のいずれか1つに記載の異常事象検知方法。
【請求項17】
人の動作を時系列に並べたものを行動シーケンスとし、人の所在位置を時系列に並べたものを移動経路として、
不審人物の行動シーケンスを表したシーケンス長さ別の行動シーケンスルールと、不審人物の移動経路を表した経路長さ別の移動経路ルールとを記憶したルール登録部と、
処理部と
を備え、
前記処理部は、
カメラから入力される画像内の人物を追尾すると共に、追尾中の人物の動作を特定して、その特定した動作により時系列に並べた行動シーケンスデータを繰り返し更新すると共に、前記追尾中の人物の所在位置により時系列に並べた移動経路データを繰り返し更新し、
前記追尾中の人物の動作が変化した場合は、シーケンス長さ毎に、前記行動シーケンスルールと一致する行動シーケンスが、前記行動シーケンスデータに含まれているかを調べて、一致する場合にスコアを上昇させ、
前記追尾中の人物の所在位置が変化した場合は、経路長さ毎に、前記移動経路ルールと一致する移動経路が、前記移動経路データに含まれているかを調べて、一致する場合に前記スコアを上昇させ、
前記スコアに基づいて前記追尾中の人物が不審人物であるかを判定する
ことを特徴とする不審人物検知装置。
【請求項18】
人の動作を時系列に並べたものを行動シーケンスとし、
不審人物の行動シーケンスを表したシーケンス長さ別の行動シーケンスルールを記憶したルール登録部と、
処理部と
を備え、
前記処理部は、
カメラから入力される画像内の人物を追尾すると共に、追尾中の人物の動作を特定し、その特定した動作により時系列に並べた行動シーケンスデータを繰り返し更新し、
前記追尾中の人物の動作が変化した場合に、シーケンス長さ毎に、前記行動シーケンスルールと一致する行動シーケンスが、前記行動シーケンスデータに含まれているかを調べて、一致する場合にスコアを上昇させ、
前記スコアに基づいて前記追尾中の人物が不審人物であるかを判定する
ことを特徴とする不審人物検知装置。
【請求項19】
人の所在位置を時系列に並べたものを移動経路とし、
不審人物の移動経路を表した経路長さ別の移動経路ルールを記憶したルール登録部と、
処理部と
を備え、
前記処理部は、
カメラから入力される画像内の人物を追尾すると共に、追尾中の人物の所在位置により時系列に並べた移動経路データを繰り返し更新し、
前記追尾中の人物の所在位置が変化した場合に、経路長さ毎に、前記移動経路ルールと一致する移動経路が、前記移動経路データに含まれているかを調べて、一致する場合にスコアを上昇させ、
前記スコアに基づいて前記追尾中の人物が不審人物であるかを判定する
ことを特徴とする不審人物検知装置。
【請求項20】
前記処理部は、前記追尾中の人物の動作が、予め定めた特定動作の場合に、前記スコアを上昇させる
ことを特徴とする請求項17または18に記載の不審人物検知装置。
【請求項21】
人物の動作を、動作の種類を示す基本動作要素と、同一の基本動作要素の継続時間を示す時間要素と、監視対象物と追尾人物との距離を示す相対位置要素とを用いて表す
ことを特徴とする請求項17、18、20のいずれか1つに記載の不審人物検知装置。
【請求項22】
前記所在位置は、画像内を複数に区分した各エリアに対して割り当てたエリア番号で表す
ことを特徴とする請求項17または19に記載の不審人物検知装置。
【請求項23】
前記処理部は、一致した行動シーケンスルールのシーケンス長さが長いほど、スコアの上昇量を大きくする
ことを特徴とする請求項17または18に記載の不審人物検知装置。
【請求項24】
前記処理部は、一致した移動経路ルールの経路長さが長いほど、スコアの上昇量を大きくする
ことを特徴とする請求項17または19に記載の不審人物検知装置。
【請求項25】
前記処理部は、前記スコアが予め定めた閾値を超えたとき、前記追尾中の人物は不審人物であると判定する
ことを特徴とする請求項17乃至24のいずれか1つに記載の不審人物検知装置。
【請求項26】
前記処理部は、異常データベースに登録されている不審人物の行動シーケンスと、正常データベースに登録されている正常人物の行動シーケンスとを、シーケンス長さ毎に比較し、異常データベースに含まれて正常データベースに含まれない行動シーケンスを、不審人物を検知するための行動シーケンスルールとして前記ルール登録部に登録する
ことを特徴とする請求項17または18に記載の不審人物検知装置。
【請求項27】
前記処理部は、異常データベースに登録されている不審人物の移動経路と、正常データベースに登録されている正常人物の移動経路とを、経路長さ毎に比較し、異常データベースに含まれて正常データベースに含まれない移動経路を、不審人物を検知するための移動経路ルールとして前記ルール登録部に登録する
ことを特徴とする請求項17または19に記載の不審人物検知装置。
【請求項28】
前記処理部は、前記異常データベースと前記正常データベースとの比較によって得たルールのうち、設定された特定条件を満たすものだけを抽出して、前記ルール登録部に登録する
ことを特徴とする請求項26または27に記載の不審人物検知装置。
【請求項29】
異常時に生じる観察対象の状態推移のパターンを表したパターン長さ別の異常検知ルールを記憶したルール登録部と、
処理部と
を備え、
前記処理部は、
入力される観測データから観察対象の状態を特定して、その特定した状態により時系列に並べた状態推移データを繰り返し更新し、
前記観察対象の状態が変化した場合に、パターン長さ毎に、前記異常検知ルールと一致する状態推移のパターンが、前記状態推移データに含まれているかを調べて、一致する場合にスコアを上昇させ、
前記スコアに基づいて前記観察対象の異常を判定する
ことを特徴とする異常事象検知装置。
【請求項30】
前記処理部は、前記観察対象の状態が、予め定めた特定状態の場合に、前記スコアを上昇させる
ことを特徴とする請求項29に記載の異常事象検知装置。
【請求項31】
前記処理部は、一致した異常検知ルールのパターン長さが長いほど、前記スコアの上昇量を大きくする
ことを特徴とする請求項29に記載の異常事象検知装置。
【請求項32】
前記処理部は、前記スコアが予め定めた閾値を超えたとき、前記観察対象は異常であると判定する
ことを特徴とする請求項29乃至31のいずれか1つに記載の異常事象検知装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate

【図27】
image rotate


【公開番号】特開2013−3930(P2013−3930A)
【公開日】平成25年1月7日(2013.1.7)
【国際特許分類】
【出願番号】特願2011−135837(P2011−135837)
【出願日】平成23年6月19日(2011.6.19)
【新規性喪失の例外の表示】特許法第30条第1項適用申請有り 研究集会名 2010年度 慶應義塾大学大学院 理工学研究科 開放環境科学専攻 修士審査会 主催者名 慶應義塾大学 開催日 平成22年12月23日
【出願人】(508338290)
【出願人】(390010054)コイト電工株式会社 (136)
【Fターム(参考)】