不審行動検知方法および不審行動検知装置
【課題】多様で複雑な行動パターンの監視対象においても客観的な基準でより信頼性の高い不審行動の検知を行うことのできる不審行動検知方法および不審行動検知装置を提供する。
【解決手段】カメラ１１から入力される画像内の人物を追尾する追尾部２１と、追尾中に、その追尾中の人物の動作が予め定めた基本動作らしさの度合いを示す信頼度を、複数種類の前記基本動作のそれぞれについて繰り返し導出する信頼度導出部２５ａと、導出された基本動作毎の信頼度を時系列にした基本動作信頼度時系列データを記憶する記憶部２２と、記憶されている基本動作信頼度時系列データに基づいて、追尾している人の行動が不審行動であるか否かを判定する不審判定部２５ｃとを有する。
【解決手段】カメラ１１から入力される画像内の人物を追尾する追尾部２１と、追尾中に、その追尾中の人物の動作が予め定めた基本動作らしさの度合いを示す信頼度を、複数種類の前記基本動作のそれぞれについて繰り返し導出する信頼度導出部２５ａと、導出された基本動作毎の信頼度を時系列にした基本動作信頼度時系列データを記憶する記憶部２２と、記憶されている基本動作信頼度時系列データに基づいて、追尾している人の行動が不審行動であるか否かを判定する不審判定部２５ｃとを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ画像に基づいて監視エリア内での不審行動を検知する不審行動検知方法および不審行動検知装置に関する。
【背景技術】
【０００２】
この種の監視システムとしては、監視対象の人物の行動を、予め定義した行動パターンや判定ルールと対比することで、異常行動を検出するものがある（特許文献１、２参照）。たとえば、異常行動パターンとして場所と動作とを定義付けておき、該定義した行動に類似する行動を異常行動として検出する監視システムがある（特許文献３参照）。この監視システムでは、危険領域（歩道や駅のプラットフォーム端部など）におけるふらつき歩行や千鳥足歩行などの動作を異常行動（異常歩行）として検出するようになっている。
【０００３】
また、監視対象物を要素（人体の各部分の動き、外観的識別、視認行為回数）単位で解析し、監視対象物の監視項目を細分化した監視要素毎に所定の判定ルールに基づいて判定し、その総合的な判断により警報を出力するシステムがある（たとえば、特許文献４参照。）。また、歩く、屈むなど人の汎用的振る舞いを解析し、この汎用的振る舞いに関する時系列データに基づいて、特定の専用的振る舞いか否かを識別（たとえば、歩く動作から→屈む動作に遷移し、その後、屈む動作がＮ秒間以上継続すると病気と判定)する画像監視システムがある（特許文献５参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−３２８６２２号公報
【特許文献２】特開２００６−２８５３９９号公報
【特許文献３】特開２００７−８９１０５号公報
【特許文献４】特開２００６−２８７８８４号公報
【特許文献５】特開２００６−２７２４８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
先行技術文献にある予め定義した行動パターンや判定ルールとの照合によって不審（異常）行動を検出する方法では、比較的単純で場所・時間・動作が限定される行動パターンの監視には対応できるが、監視対象エリア内で様々な行動パターンが発生する場合にまで対応することは難しい。たとえば、駐車場のような監視エリアでは、人・車両等複数種類のオブジェクトが存在し、監視対象の出入りや動作の自由度が高く、起こり得る行動パターンはバリエーションに富み、個人差もあるため、定義した特定の行動パターンや判定ルールとの照合では、複雑で様々な種類の不審行動に対応することは難しい。
【０００６】
また、先行技術文献にある発明では監視対象とする行動パターンの定義や判定ルールの設定はシステムの設計者などが行うので監視対象行動パターンの定義・判定ルールの設定がそのシステム設計者の主観に基づくものになりやすいことや、判定のための制御パラメータが多くてその設定具合にばらつきが出易いことなどから客観的かつ信頼性の高い不審行動の検出を行うことが難しいという問題があった。
【０００７】
本発明は、上記の問題を解決しようとするものであり、場所・時間・動作による不審（異常）行動の定義が困難な広域エリアにおいて、多様で複雑な行動パターンの監視対象においても客観的な基準でより信頼性の高い不審行動の検知を行うことのできる不審行動検知方法および不審行動検知装置を提供することを目的としている。
【課題を解決するための手段】
【０００８】
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
【０００９】
［１］処理部が、カメラから入力される画像内の人物を追尾すると共に、前記追尾中に、その追尾中の人物の動作が予め定めた基本動作らしさの度合いを示す信頼度を、複数種類の前記基本動作のそれぞれについて繰り返し導出し、前記基本動作毎の信頼度を時系列にした基本動作信頼度時系列データに基づいて、前記人物の行動が不審行動であるか否かを判定する
ことを特徴とする不審行動検知方法。
【００１０】
上記［１］および後述する［８］の発明では、追尾中の各時点で、追尾中の人物の動作が予め定めた基本動作らしさの度合いを示す信頼度を複数の基本動作のそれぞれについて求め、これを時系列にした基本動作信頼度時系列データを作成し、この基本動作信頼度時系列データに基づいて、その人物の行動が不審行動か否かを判定する。基本動作は、「佇む」、「歩く」、「走る」、「屈む」などで人の行動パターンの要素となる動作である。基本動作を時系列に繋ぐことで、人の行動パターンが形成される。
【００１１】
各時刻での人の動作をいずれか１つの基本動作に特定する場合には、ある基本動作から別の基本動作へ遷移する間などにおいては基本動作特定精度が低くなる。本発明では、各時刻での人の動作をいずれか１つの基本動作に特定するのではなく、基本動作毎の信頼度を求め、これを時系列にした基本動作信頼度時系列データをもとに、行動パターンを分析して不審行動か否かを判定するので、基本動作遷移時の基本動作特定誤りの影響に左右されずに不審行動を検知することができる。
【００１２】
［２］前記基本動作信頼度時系列データが複数人分登録されたデータベースを有し、
前記処理部は、判定対象の人物に関する基本動作信頼度時系列データと前記データベースに登録されている基本動作信頼度時系列データとに基づく統計的手法によって、前記人物の行動が不審行動であるか否かを判定する
ことを特徴とする［１］に記載の不審行動検知方法。
【００１３】
上記［２］および後述する［９］の発明では、判定対象人物の追尾中に取得した基本動作信頼度時系列データと、予めデータベースに多数記憶されている基本動作信頼度時系列データとを統計的に対比することで、その人物の行動が不審行動であるか否かが判定される。データベースに記憶されているサンプルデータとの統計的手法による比較によって判定するので、不審行動の行動パターンをシステムの設計者などが定義する場合に比べて、客観的な判定が可能になる。また、不審行動パターンを定義する手間が不要になる。
【００１４】
［３］前記データベースは、正常行動に関する前記基本動作信頼度時系列データを登録したものである
ことを特徴とする［２］に記載の不審行動検知方法。
【００１５】
上記［３］および後述する［１０］の発明では、多数のサンプルを採取可能な正常行動（例えば、人の日常的な行動）に関する基本動作信頼度時系列データをデータベースに登録し、この正常行動の行動パターンと追尾中の人物の行動とが統計的手法で対比されて不審行動か否かの判定が行われる。
【００１６】
［４］前記処理部は、統計的手法により、判定対象の人物に関する基本動作信頼度時系列データの、前記データベースに登録されている正常行動に関する基本動作信頼度時系列データからの外れ度合いを導出し、該外れ度合いに基づいて前記人物の行動が不審行動であるか否かを判定する
ことを特徴とする［３］に記載の不審行動検知方法。
【００１７】
上記［４］および後述する［１１］の発明では、正常行動からの外れ度合いに基づいて、たとえば、外れ度合いが閾値以上の場合に、不審行動と判定する。
【００１８】
［５］前記データベースは、不審行動に関する前記基本動作信頼度時系列データを登録したものである
ことを特徴とする［２］に記載の不審行動検知方法。
【００１９】
上記［５］および後述する［１２］の発明では、不審行動に関する基本動作信頼度時系列データをデータベースに登録し、この不審行動の行動パターンと追尾中の人物の行動とが統計的手法で対比されて不審行動か否かの判定が行われる。たとえば、不審行動パターンとの類似度が閾値以上の場合に、追尾中の人物の行動を不審行動と判定する。
【００２０】
［６］前記データベースは、正常行動に関する前記基本動作信頼度時系列データを登録した第１データベースと、不審行動に関する前記基本動作信頼度時系列データを登録した第２データベースとを含み、
前記処理部は、判定対象の人物に関する基本動作信頼度時系列データと前記第１データベースに登録されている基本動作信頼度時系列データとに基づいて前記人物の行動が正常行動である度合いを示す正常度を導出し、前記判定対象の人物に関する基本動作信頼度時系列データと前記第２データベースに登録されている基本動作信頼度時系列データとに基づいて前記人物の行動が不審行動である度合いを示す不審度を導出し、前記正常度と前記不審度とに基づいて前記人物の行動が不審行動であるか否かを判定する
ことを特徴とする［２］に記載の不審行動検知方法。
【００２１】
上記［６］および後述する［１３］の発明では、正常行動に関する基本動作信頼度時系列データを登録した第１データベースと、不審行動に関する基本動作信頼度時系列データを登録した第２データベースとを備え、これらを併用して不審行動か否かが判定される。
【００２２】
［７］前記正常度が第１閾値未満であること、もしくは、前記不審度が第２閾値以上であることの少なくとも一方が真であれば、前記人物の行動は不審行動であると判定する
ことを特徴とする［６］に記載の不審行動検知方法。
【００２３】
上記［７］および後述する［１４］の発明では、正常行動との類似度合いを示す正常度が第１閾値未満の場合（正常行動ではない場合）と、不審行動との類似度合いを示す不審度が第２閾値以上の場合（不審な行動である場合）とをいずれも不審行動と判定することで、不審行動の検知漏れを低減することができる。
【００２４】
［８］カメラから入力される画像内の人物を追尾する追尾部と、
前記追尾部による追尾中に、その追尾中の人物の動作が予め定めた基本動作らしさの度合いを示す信頼度を、複数種類の前記基本動作のそれぞれについて繰り返し導出する導出部と、
前記導出部によって導出された前記基本動作毎の信頼度を時系列にした基本動作信頼度時系列データを記憶する記憶部と、
前記記憶部に記憶されている前記基本動作信頼度時系列データに基づいて、前記人物の行動が不審行動であるか否かを判定する不審判定部と、
を有する
ことを特徴とする不審行動検知装置。
【００２５】
［９］前記基本動作信頼度時系列データが複数人分登録されたデータベースを有し、
前記不審判定部は、前記記憶部に記憶されている判定対象の人物に関する基本動作信頼度時系列データと前記データベースに登録されている基本動作信頼度時系列データとに基づく統計的手法によって、前記人物の行動が不審行動であるか否かを判定する
ことを特徴とする［８］に記載の不審行動検知装置。
【００２６】
［１０］前記データベースは、正常行動に関する前記基本動作信頼度時系列データを登録したものである
ことを特徴とする［９］に記載の不審行動検知装置。
【００２７】
［１１］前記不審判定部は、統計的手法により、判定対象の人物に関する基本動作信頼度時系列データの、前記データベースに登録されている正常行動に関する基本動作信頼度時系列データからの外れ度合いを導出し、該外れ度合いに基づいて前記人物の行動が不審行動であるか否かを判定する
ことを特徴とする［１０］に記載の不審行動検知装置。
【００２８】
［１２］前記データベースは、不審行動に関する前記基本動作信頼度時系列データを登録したものである
ことを特徴とする［９］に記載の不審行動検知装置。
【００２９】
［１３］前記データベースは、正常行動に関する前記基本動作信頼度時系列データを登録した第１データベースと、不審行動に関する前記基本動作信頼度時系列データを登録した第２データベースとを含み、
前記不審判定部は、前記記憶部に記憶されている判定対象の人物に関する基本動作信頼度時系列データと前記第１データベースに登録されている基本動作信頼度時系列データとに基づいて前記人物の行動が正常行動である度合いを示す正常度と、前記記憶部に記憶されている前記判定対象の人物に関する基本動作信頼度時系列データと前記第２データベースに登録されている基本動作信頼度時系列データとに基づいて前記人物の行動が不審行動である度合いを示す不審度とを導出し、前記正常度と前記不審度に基づいて前記人物の行動が不審行動であるか否かを判定する
ことを特徴とする［９］に記載の不審行動検知装置。
【００３０】
［１４］前記不審判定部は、前記正常度が第１閾値未満であること、もしくは、前記不審度が第２閾値以上であることの少なくとも一方が真であれば、前記人物の行動は不審行動であると判定する
ことを特徴とする［１３］に記載の不審行動検知装置。
【発明の効果】
【００３１】
本発明に係る不審行動検知方法、不審行動検知装置によれば、不審行動について客観的な基準でより信頼性の高い検知を行うことができる。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施の形態に係る不審行動検知装置の概略構成を示すブロック図である。
【図２】不審行動検知装置が行う処理を示す流れ図である。
【図３】オブジェクトデータテーブルを示す説明図である。
【図４】駐車場における人の基本動作を列挙した説明図である。
【図５】基本動作信頼度行列を示す説明図である。
【図６】信頼度導出部が有する、基本動作別信頼度導出部の構成例を示すブロック図である。
【図７】信頼度導出部での処理を示す流れ図である。
【図８】特徴量時系列データの蓄積状態を例示した説明図である。
【図９】特徴量時系列データの取り出し方を示す説明図である。
【図１０】基本動作信頼度行列更新処理（図２のステップＳ１４）の詳細を示す流れ図である。
【図１１】行動不審度導出判定処理（図２のステップＳ１６、Ｓ１７）の概要を示す説明図である。
【図１２】行動不審度導出判定処理（図２のステップＳ１６、Ｓ１７）の概要の他の例を示す説明図である。
【図１３】不審行動の判定に使用する判定論理表を示す説明図である。
【図１４】行動不審度導出部が行う不審度導出処理の一例を示す説明図である。
【図１５】行動不審度導出処理（図２のステップＳ１６）のうち不審度を求める部分の処理の詳細を示す流れ図である。
【図１６】行動不審度導出処理（図２のステップＳ１６）のうち正常度を求める部分の処理の詳細を示す流れ図である。
【図１７】不審度から不審判定を行う行動不審度導出判定処理の詳細を示す流れ図である。
【図１８】正常度から不審判定を行う行動不審度導出判定処理の詳細を示す流れ図である。
【図１９】人の行動パターンと、その行動パターンに対して導出される正常度、不審度の遷移を例示した説明図である。
【図２０】不審行動検知装置の処理部の追尾部が追尾するオブジェクトの状態遷移図である。
【図２１】不審行動検知装置の処理部が行うオブジェクトの追尾判別処理の各処理フェーズを示す説明図である。
【図２２】追尾判別処理を示す流れ図である。
【図２３】探索ブロックによるオブジェクト探索の概略を示す説明図である。
【図２４】処理対象の画像（１フレーム分の画像）を複数の分割ブロックに分割した状態の一例を示す説明図である。
【図２５】オブジェクト追尾・探索処理（図２２；ステップＳ１０５）を示す流れ図である。
【図２６】探索ブロック発生処理（図２５；ステップＳ１２２）を示す流れ図である。
【図２７】探索ブロックの原点（px0,py0）と中心位置(px,py)との関係を示す説明図である。
【図２８】探索ブロックデータテーブルを示す説明図である。
【図２９】ＨＳＶ色空間累積ヒストグラムの一例を示す説明図である。
【図３０】適合度更新処理（図２５：ステップＳ１２３）の詳細を示す流れ図である。
【図３１】探索ブロック中心・追尾対象のオブジェクト重心間の距離と適合度との関係を示す説明図である。
【図３２】分割ブロック領域ＩＤ割り当て処理（図２５：ステップＳ１２４）の詳細を示す流れ図である。
【図３３】探索ブロック消去処理（図２５：ステップＳ１２５）の詳細を示す流れ図である。
【図３４】探索ブロックリサンプリング処理（図２５：ステップＳ１２８）の詳細を示す流れ図である。
【図３５】探索ブロックリサンプリング処理で生成されるルーレットの一例を示す説明図である。
【図３６】探索ブロックリサンプリング処理による探索ブロックの置き換え状況の一例を示す説明図である。
【図３７】探索ブロック更新処理（図２５：ステップＳ１２９）の詳細を示す流れ図である。
【図３８】交差の前後での探索ブロックによるオブジェクトの追尾・探索状況の一例を示す説明図である。
【図３９】人・車両判別処理（図２２：ステップＳ１１１）の詳細を示す流れ図である。
【発明を実施するための形態】
【００３３】
以下、図面に基づき本発明の実施の形態を説明する。
【００３４】
図１は、本発明の実施の形態に係る不審行動検知装置１０の概略構成を示している。本実施の形態の不審行動検知装置１０は、複数の物体や人物が存在する広いエリア内で行動する不審人物を検知する監視カメラシステムである。本実施の形態では、広い駐車場内で不審人物の監視を行う監視カメラシステムを例に説明する。すなわち、カメラ画像内から検出された移動物体が人か車両かを判別し、人であると判別した場合にその行動を解析して不審行動か否かを判定し、不審行動を検知した場合は監視員に対して注意喚起する等の機能を果たす。カメラは広い範囲を撮影しており、その撮影領域内を通過する人の「見え方」は様々に変化し得る。
【００３５】
不審行動検知装置１０は、監視対象エリアを撮影して画像を取り込むためのカメラ部１１と、カメラ部１１によって取り込まれた画像を解析して物体を検出し、その物体の追尾・探索および物体の種類の判別、人の行動解析などの処理を行う処理部１２と、処理部１２の処理結果を出力する出力部１４と、当該不審行動検知装置１０に対する各種の設定や処理に関する指示の入力を受ける入力部１３と、物体の種類の判別や人の行動を解析する際の参照データが蓄積されたデータベース部１５とを備えて構成される。カメラ部１１、出力部１４、入力部１３、データベース部１５はそれぞれ処理部１２に接続されている。以後、画像データにおいて認識された物体はオブジェクトと呼ぶ。
【００３６】
カメラ部１１は動画を撮影する。カメラ部１１は、フレーム毎の画像（１画面分の静止画像）を１秒間に数十フレーム取り込むことで動画を撮影する機能を果たす。処理部１２は、ＣＰＵ（Central Processing Unit）と、このＣＰＵが実行するプログラムやデータが記憶されたＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）などを主要部として構成される。
【００３７】
処理部１２は、カメラ部１１から入力される画像内のオブジェクトを追尾・探索する追尾部２１と、記憶部２２と、追尾部２１によるオブジェクトの追尾中に、そのオブジェクトの特徴情報を抽出し、該特徴情報を示す特徴量データを記憶部２２に記憶することを繰り返し行う蓄積制御部２３と、記憶部２２に記憶されている所定時間長以上のオブジェクトの特徴量データに基づいてオブジェクトの種類を判別する人・車両判別部２４と、人と判別されたオブジェクトの特徴量データに基づいてその人の行動を解析する基本動作・行動解析部２５の機能を備えている。
【００３８】
特徴量データは、たとえば、オブジェクトの形状、大きさ、縦横比、動き等である。特徴量データは時系列に記憶部２２に記憶される。蓄積制御部２３は、オブジェクトの追尾中は所定の時間間隔で特徴量データを記憶部２２に記憶させる。ここでは、フレーム毎に行う。なお、時系列にされた特徴量データを特徴量時系列データとする。
【００３９】
追尾部２１は、追尾対象のオブジェクト同士の交差や追尾対象のオブジェクトの障害物の背後への一時的な隠れといった現象が発生した場合でも、その前後で同一オブジェクトを同一のオブジェクトとして追尾する機能を備えている。
【００４０】
人・車両判別部２４は、追尾対象のオブジェクトが人か車両かを判別する機能を果たす。人・車両の判別は公知の任意の手法により行えばよい。
【００４１】
基本動作・行動解析部２５は、追尾中の人の行動が不審行動であるか否かを判定する機能を果たす。詳細には、信頼度導出部２５ａと、行動不審度導出部２５ｂと、不審判定部２５ｃとしての機能を果たす。信頼度導出部２５ａは、人の追尾中の複数時点で、その追尾中の人の動作が予め定めた基本動作（「歩く」、「屈む」など）らしさの度合い（信頼度）を、予め定めた複数種類の基本動作のそれぞれについて導出する。行動不審度導出部２５ｂは、信頼度導出部２５ａが導出した基本動作毎の信頼度を時系列にした基本動作信頼度時系列データと行動パターン信頼度時系列ＤＢ部１５ｄに記憶されている基本動作信頼度時系列データとから、その人物の行動が日常行動（正常行動）である度合い（正常度）、もしくは該正常度に加えて、該人物の行動が不審行動である度合い（不審度）を導出する。不審判定部２５ｃは、行動不審度導出部２５ｂが導出した正常度や不審度に基づいてその人物の行動が不審行動か否かを判定する。
【００４２】
データベース部１５は、人に関する形状等の特徴量データが蓄積された人特徴ＤＢ部１５ａと、車両に関する形状等の特徴量データが蓄積された車両特徴ＤＢ部１５ｂと、人の基本動作に関する特徴量時系列データ等が蓄積された基本動作特徴量時系列ＤＢ部１５ｃと、行動パターン信頼度時系列ＤＢ部１５ｄとを備えて構成される。行動パターン信頼度時系列ＤＢ部１５ｄは、人の日常行動に関する行動パターン（日常行動に関する基本動作信頼度時系列データ）が蓄積された日常行動パターン関連信頼度時系列ＤＢ１５ｄ１と人の不審行動に関する行動パターン（不審行動に関する基本動作信頼度時系列データ）が蓄積された不審行動パターン関連信頼度時系列ＤＢ１５ｄ２とを備えて構成される。
【００４３】
たとえば、駐車場内での日常行動の行動パターンとしては、車両の近くを通りすぎる、車両から降りて立ち去る、車両に近づきすぐに乗車する、などである。不審行動の行動パターンとしては、車上荒らしや車両盗難などの犯罪行為が行われる際の行動パターンである。たとえば、車両の周りを回ってから乗車する、車両の近くで一定時間以上屈んだ後に乗車する、などは不審行動の行動パターンとなる。
【００４４】
人・車両判別部２４は、人特徴ＤＢ部１５ａに蓄積されている特徴量データを参照比較してオブジェクトが人か否かの判別を行い、車両特徴ＤＢ部１５ｂに蓄積されている特徴量データを参照比較してオブジェクトが車両か否かの判別を行う。
【００４５】
信頼度導出部２５ａは、人と判別されたオブジェクトの過去所定時間における動き等特徴量時系列データと基本動作特徴量時系列ＤＢ部１５ｃに蓄積されている予め定めた基本動作に関する特徴量時系列データとから統計的手法により、基本動作毎の信頼度を導出する。基本動作・行動解析部２５が導出した基本動作毎の信頼度は、これらを時系列にした基本動作信頼度時系列データとして記憶部２２などに記憶される。
【００４６】
行動不審度導出部２５ｂは、信頼度導出部２５ａにより導出される基本動作信頼度時系列データと、行動パターン信頼度時系列ＤＢ部１５ｄの日常行動パターン関連信頼度時系列ＤＢ１５ｄ１に蓄積記憶されている日常行動に関する基本動作信頼度時系列データとから統計的手法により、その人の行動が正常行動である度合いを示す正常度を導出する。もしくは該正常度に加えて、信頼度導出部２５ａにより導出される基本動作信頼度時系列データと行動パターン信頼度時系列ＤＢ部１５ｄの不審行動パターン関連信頼度時系列ＤＢ１５ｄ２に蓄積記憶されている不審行動に関する基本動作信頼度時系列データとから統計的手法により、その人の行動が不審行動である度合いを示す不審度を導出する。もしくは該不審度に関しては、信頼度導出部２５ａにより導出される基本動作信頼度時系列データと行動パターン信頼度時系列ＤＢ部１５ｄの日常行動パターン関連信頼度時系列ＤＢ１５ｄ１に蓄積記憶されている日常行動に関する基本動作信頼度時系列データとから統計的手法により、その人の行動の日常行動からの外れ度合いとして、該不審度を導出する。
【００４７】
出力部１４は、処理結果のデータ信号を外部に出力するためのインターフェース回路、各種設定画面や操作画面、処理結果等を視覚的に表示するためのディスプレイ装置などで構成される。入力部１３は、各種の設定や処理に関する指示に係る信号を入力するためのインターフェース回路のほか、各種の操作スイッチなどで構成される。
【００４８】
次に、不審行動検知装置１０が行う処理について説明する。
【００４９】
図２は、不審行動検知装置１０が行う処理の流れを示している。なお、追尾部２１、記憶部２２、蓄積制御部２３、人・車両判別部２４に関する処理の詳細例は後述する。ここでは、カメラ部１１から入力された画像を解析してオブジェクトの追尾が行われ、それら各オブジェクトが人であるか車両であるかが判別されているものとし、基本動作・行動解析部２５が行う処理を主として説明する。
【００５０】
なお、追尾中の各オブジェクトについて、図３に示すオブジェクトデータテーブル３０が作成される。オブジェクトデータテーブル３０は、新たなオブジェクトが検出される毎に作成され、そのオブジェクトが消滅するまで１フレームの画像を処理する毎に更新される。
【００５１】
オブジェクトデータテーブル３０には、オブジェクトＩＤ（obj_id）と、オブジェクト種類（obj_typeobj_id）と、オブジェクト状態（obj_stateobj_id）と、オブジェクト不審判定フラグ（suspicious_flagobj_id）と、オブジェクト存在継続時間（obj_timeobj_id）と、オブジェクト領域左端位置（obj_lxobj_id）と、オブジェクト領域右端位置（obj_rxobj_id）と、オブジェクト領域上端位置（obj_tyobj_id）と、オブジェクト領域下端位置（obj_bｙobj_id）と、オブジェクト領域重心位置（水平方向）（obj_gxobj_id）と、オブジェクト領域重心位置（垂直方向）（obj_gyobj_id）と、オブジェクトの大きさ（obj_sizeobj_id）と、オブジェクトの縦横比（obj_aspectobj_id）と、オブジェクトの動きベクトル（水平方向）（obj_dxobj_id）と、オブジェクトの動きベクトル（垂直方向）（obj_dyobj_id）と、オブジェクト-最近傍車両間距離（obj_car_distobj_id）とが登録される。
【００５２】
オブジェクトＩＤ（obj_id）は、当該オブジェクトに固有に割り当てられた識別子である。オブジェクト種類（obj_typeobj_id）は、当該オブジェクトが人と判別済みのオブジェクト（以下、人オブジェクトとも呼ぶ。）であるか車両と判別済みのオブジェクト（以下、車両オブジェクトとも呼ぶ。）であるか未判別のオブジェクトであるかを示す。オブジェクト状態（obj_stateobj_id）は、当該オブジェクトの状態が、追尾中（ACTIVE）か一時的な消失中（LOST）かなどを示す。不審判定フラグ（suspicious_flagobj_id）は、当該オブジェクトが人の場合にセットされ不審者（不審行動を行った人）と判定された人オブジェクトか否かを示す。オブジェクト-最近傍車両間距離（obj_car_distobj_id）は、当該オブジェクトが人の場合にセットされ、最も近い車両までの距離を示す。
【００５３】
図２に戻って説明を続ける。処理部１２は、フレーム時刻ｔを０に初期化した（ステップＳ１）後、追尾中のオブジェクトの中に人と判別されたオブジェクト（人オブジェクト）が存在するか否かを確認する（ステップＳ２）。追尾中の人オブジェクト（追尾人物）が存在しなければ（ステップＳ３；Ｎｏ）、フレーム時刻ｔを＋１して（ステップＳ２２）、ステップＳ２に移行して処理を継続する。なお、処理部１２は、ステップＳ２〜Ｓ２２の処理を、カメラ部１１から１フレームの画像（もしくは所定の複数フレーム）を取り込む毎に実行する。
【００５４】
追尾中の人オブジェクト（追尾人物）が存在すれば（ステップＳ３；Ｙｅｓ）、消滅した人オブジェクト（消滅人物）が存在するか否かを確認する（ステップＳ４）。消滅した人オブジェクトが存在しない場合は（ステップＳ４；Ｎｏ）、ステップＳ９へ移行する。消滅した人オブジェクトが存在する場合は（ステップＳ４；Ｙｅｓ）、消滅したすべての人オブジェクトのオブジェクトデータテーブル３０をクリアして（ステップＳ５〜Ｓ８）、ステップＳ９へ移行する。
【００５５】
ステップＳ９では、処理対象の人オブジェクトの番号を示す変数ｉを０にクリアし、追尾している人オブジェクトのそれぞれについてステップＳ１０〜Ｓ２１の処理を行う。すなわち、不審判定フラグ（suspicious_flagobj_id(i)）がＯＮ状態（ＯＮは不審者を示す）か否かを調べ（ステップＳ１０）、ＯＮでなければ(ステップＳ１０；Ｎｏ)、当該人オブジェクトに関する特徴量時系列データを更新する（ステップＳ１１）。ここでは、フレーム毎のオブジェクトデータテーブル３０の内容（全部もしくは一部（上下左右の端位置、重心位置、動きベクトル、大きさ、縦横比、オブジェクト-最近傍車両間距離など））が、その人オブジェクトの特徴量データとされ、時系列にして（特徴量時系列データとして）記憶部２２に保存される。
【００５６】
次に、特徴量時系列データがＴｂ時間分以上蓄積されているか否かを調べ（ステップＳ１２）、蓄積量がＴｂ時間分に満たない場合は（ステップＳ１２；Ｎｏ）、ステップＳ２０へ移行する。Ｔｂ時間分以上蓄積されている場合は（ステップＳ１２；Ｙｅｓ）、Ｔｂ時間分以上蓄積された特徴量時系列データに基づいて、当該人オブジェクトの動きに関して、予め定めた基本動作毎の信頼度を導出する基本動作信頼度導出処理を行う（ステップＳ１３）。
【００５７】
図４は、駐車場における人の基本動作を列挙したものである。ここでは「佇む」、「歩く」、「走る」、「屈む」、「乗車（消失）」、「降車（出現）」を基本動作とする。基本動作「佇む」の信頼度をＲｓｔａｎｄ、基本動作「歩く」の信頼度をＲｗａｌｋ、基本動作「走る」の信頼度をＲｒｕｎ、基本動作「屈む」の信頼度をＲｂｅｎｄ、基本動作「乗車（消失）」の信頼度をＲｉｎｔｏ_ｃａｒ、基本動作「降車（出現）」の信頼度をＲｏｕｔｏｆ_ｃａｒ、とする。
【００５８】
続いて、求めた基本動作毎の信頼度により、基本動作信頼度時系列データを更新する（図２、ステップＳ１４）。ここでは、対象となる各基本動作の最新Ｔａ時間分の信頼度を、図５に示すような基本動作信頼度行列にして記憶しかつ更新する。なお、Ｔａ＞Ｔｂ とする。たとえば、Ｔａは１０秒、Ｔｂは１秒に設定される。
【００５９】
続いて特徴量時系列データ（基本動作信頼度時系列データ）がＴａ時間分以上蓄積されているか否かを調べ（ステップＳ１５）、蓄積量がＴａ時間分に満たない場合は（ステップＳ１５；Ｎｏ）、ステップＳ２０へ移行する。Ｔａ時間分以上蓄積されている場合、すなわち、基本動作信頼度行列にＴａ時間分の基本動作信頼度データが蓄積された場合は（ステップＳ１５；Ｙｅｓ）、該基本動作信頼度行列として蓄積された基本動作信頼度時系列データに基づいて、当該人オブジェクトの行動に関する不審度（あるいは正常度と不審度）を導出する行動不審度導出処理を行う（ステップＳ１６）。
【００６０】
求めた不審度、あるいは正常度および不審度に基づいて不審行動か否かを判定し、不審行動であると判定した場合は（ステップＳ１７；Ｙｅｓ）、不審判定フラグ（suspicious_flagobj_id(i)）をＯＮにし(ステップＳ１８)、アラーム表示を行って(ステップＳ１９)、ステップＳ２０へ移行する。なお、ここでは、不審度に基づく判定の場合は、不審度が所定の閾値Ｔｈ２以上である場合に不審行動であると判定する。正常度と不審度に基づく判定では、正常度が所定の閾値Ｔｈ１未満であることと不審度が所定の閾値Ｔｈ２以上であることのいずれかが真の場合は不審行動であると判定する。
【００６１】
不審判定フラグ（suspicious_flagobj_id(i)）が既にＯＮになっている場合は（ステップＳ１０；Ｙｅｓ）、アラーム表示を行って(ステップＳ１９)、ステップＳ２０へ移行する。
【００６２】
ステップＳ２０では、変数ｉを＋１し、加算後の変数ｉが追尾中の全人オブジェクトの数に等しいか否かを調べ（ステップＳ２１）、等しくない場合は（ステップＳ２１；Ｎｏ）、ステップＳ１０に戻り、次の人オブジェクトについて処理を行う。等しい場合は（ステップＳ２１；Ｙｅｓ）、フレーム時刻ｔを＋１し（ステップＳ２２）、ステップＳ２に戻って次フレーム画像に対する処理を行う。
【００６３】
次に、基本動作信頼度導出処理（図２のステップＳ１３）について説明する。
【００６４】
図６は、信頼度導出部２５ａが有する、基本動作別信頼度導出部２６の構成例を示している。図６の基本動作別信頼度導出部２６は１つの基本動作に関する信頼度を求めるための構成であり、信頼度導出部２５ａは、対象とする基本動作の数だけ基本動作別信頼度導出部２６を備えている。
【００６５】
基本動作別信頼度導出部２６は、複数個（ここではＭｆ個）の判別器２７と、これらＭｆ個の判別器２７の出力値にそれぞれ重み係数を乗じた値を加算（荷重和）する加算器２８を備えている。加算器２８の出力Ｒｊは予め定めた特定の基本動作に対する信頼度である。判別器２７はそれぞれ、当該基本動作別信頼度導出部２６が対象とする基本動作（たとえば、「屈む」）か否かの判別に寄与するいずれかの特徴量データに関して、所定時間分の特徴量時系列データセット（たとえば、Ｔｂ時間分（時系列にされたＴｂ個）の特徴量データセット）として入力し、該当の基本動作らしさの度合いを示す数値を信頼度Ｒｊとして出力する。たとえば、判別器２７は、オブジェクトの形状、大きさ、移動速度、移動パターンなどの特徴量データ別に設けられ、各判別器２７はその判別器２７に寄与する特徴量の時系列データセットに基づいて基本動作らしさを判定する。各判別器２７は、対象とする基本動作を行う人の動きの多数のサンプル等によってあらかじめチューニング（重み係数α１〜αＭfを調整）されている。ここでは、対象の基本動作である可能性が高いほど、Ｍｆ個の判別器２７の出力の荷重和Ｒｊが大きな値となるようにされている。
【００６６】
図７は、信頼度導出部２５ａでの処理を流れ図として示したものである。同図においてｉは信頼度を求める基本動作の識別番号であり、ｍは各判別器２７の識別番号である。図７では、１つの基本動作についての信頼度を求める処理（ステップＳ３４〜Ｓ３７）を、基本動作の個数分繰り返すようになっている。詳細には、変数ｉを１に初期化し(ステップＳ３１)、ｉ番目の基本動作に関する信頼度Ｒｉｊを０に初期化し（ステップＳ３２）、変数ｍを１に初期化する(ステップＳ３３)。Ｓ３４〜Ｓ３７では、Ｍｆ個の判別器２７の出力値にそれぞれ重み係数を乗じた値を加算している。
【００６７】
図８は、特徴量時系列データの蓄積状態を例示している。特徴量時系列データの記憶領域Ｆは、現在時刻から最大でＬmax時間前までの特徴量データを時系列に保存するようになっている。なお、Ｌmax＞Ｔａ＞Ｔｂとする。記憶領域Ｆは、たとえば、記憶部２２に設けられる。同図（ａ）は、基本動作信頼度の導出に必要なＴｂ時間長の特徴量時系列データが蓄積された状態を示している。記憶領域Ｆは詰まっておらず、空き領域がある。同図（ｂ）は、行動パターン不審判定に必要なＴａ時間長の特徴量時系列データが蓄積された状態を示している。記憶領域Ｆはまだ詰まっておらず、空き領域がある。同図（ｃ）は、記憶領域Ｆに特徴量時系列データが詰まった状態を示している。以後は、１つずつ左へシフトされて最も古いデータが廃棄され、右端の空いた領域に最新のデータが記憶される。すなわち、ＦＩＦＯ（First in First out）形式で記憶内容の更新が行われる。
【００６８】
図９は、信頼度導出部２５ａ（各基本動作別信頼度導出部２６の判別器２７）に入力する、時間長Ｔｂ分の特徴量時系列データを、図８の記憶領域Ｆから取り出す際の、取り出し方を例示している。図９（ａ）は、時間長Ｔｂの時系列区間毎に区切って入力する場合を、図９（ｂ）は、時間長Ｔｂの時系列区間（ウィンドウ）をスライドさせて入力する場合を示している。
【００６９】
図１０は、基本動作信頼度行列更新処理（図２のステップＳ１４）の詳細を示している。まず、記憶領域Ｆに保存されている時間長Ｔａの時刻データの個数Ｎｔａ＿ｄａｔａを確認する（ステップＳ５１）。ここで、「時刻データ」とは、図２に記載されているフレーム時刻ｔを基準とする、該基準時刻ｔより過去Ｔａ時間長分のデータ（基準時刻ｔにおける基本動作信頼度行列データ）である。ステップＳ５１で時刻データの個数Ｎｔａ＿ｄａｔａを確認した後、該Ｎｔａ＿ｄａｔａ個分の時間長Ｔａの基本動作信頼度行列データの更新を行う（ステップＳ５２〜Ｓ６２）。
【００７０】
図１１は、行動不審度導出判定処理（図２のステップＳ１６、Ｓ１７）に関する処理の概要を示している。図１１では、行動不審度導出部２５ｂは、日常行動パターン関連信頼度時系列ＤＢ１５ｄ１に保存されている多数の日常行動に関する行動パターンデータ（基本動作信頼度時系列データ（基本動作信頼度行列））をもとに所定の統計処理を行って代表となる日常行動パターン（代表日常行動パターン）を導出し、これと処理対象の時刻ｔにおける基本動作信頼度行列とを比較し、処理対象の基本動作信頼度行列が示す行動パターンの代表日常行動パターンからの外れ度合いを、不審度として導出する、といった処理を行う。不審判定部２５ｃは、行動不審度導出部２５ｂの出力する不審度が予め定めた閾値Ｔｈ２以上の場合は、不審行動であると判定する。
【００７１】
図１２は、行動不審度導出判定処理（図２のステップＳ１６、Ｓ１７）に関する処理の概要の他の例を示している。図１２では、行動不審度導出部２５ｂは正常度導出処理部２５ｂ１と不審度導出処理部２５ｂ２とから構成される。正常度導出処理部２５ｂ１には時刻ｔにおける基本動作信頼度行列と日常行動パターン関連信頼度時系列ＤＢ１５ｄ１に記憶されている基本動作信頼度時系列データ（基本動作信頼度行列）が入力され、不審度導出処理部２５ｂ２には時刻ｔにおける基本動作信頼度行列と不審行動パターン関連信頼度時系列ＤＢ１５ｄ２に記憶されている基本動作信頼度時系列データ（基本動作信頼度行列）が入力される。
【００７２】
正常度導出処理部２５ｂ１は、日常行動パターン関連信頼度時系列ＤＢ１５ｄ１に保存されている多数の日常行動に関する行動パターンデータ（基本動作信頼度時系列データ（基本動作信頼度行列））をもとに所定の統計処理を行って代表となる日常行動パターン（代表日常行動パターン）を導出し、これと処理対象の時刻ｔにおける基本動作信頼度行列との比較から、代表日常行動パターンに対する処理対象の基本動作信頼度行列が示す行動パターンの類似度を、正常度として導出する、といった処理を行う。
【００７３】
不審度導出処理部２５ｂ２は、不審行動パターン関連信頼度時系列ＤＢ１５ｄ２に保存されている不審行動に関する行動パターンデータ（基本動作信頼度時系列データ（基本動作信頼度行列））をもとに所定の統計処理を行って代表となる不審行動パターン（代表不審行動パターン）を導出し、これと処理対象の時刻ｔにおける基本動作信頼度行列との比較から、代表不審行動パターンに対する処理対象の基本動作信頼度行列が示す行動パターンの類似度を、不審度として導出する、といった処理を行う。
【００７４】
不審判定部２５ｃは、正常度導出処理部２５ｂ１が出力する正常度と不審度導出処理部２５ｂ２が出力する不審度に基づいて判定対象の人の行動が不審行動であるか否かを判定する。図１３は、この判定に使用する判定論理表４０を示している。不審度が閾値Ｔｈ２以上である条件と正常度が閾値Ｔｈ１未満である条件の少なくとも一方が満足される場合は不審行動であると判定する。
【００７５】
図１４は、行動不審度導出部２５ｂが行う不審度導出処理の一例を示している。このうち図１４（ａ）は、図１１で説明した手法の概要を示している。すなわち、日常行動パターン関連信頼度時系列ＤＢ１５ｄ１に保存されている多数の日常行動に関する行動パターンデータに対して所定の統計処理を行って代表日常行動パターン（unormal：日常行動パターンDB代表行列）を導出し、基本動作信頼度行列（mtx_rel ref_t：時刻tにおける基本動作信頼度行列）が示す行動パターンの代表日常行動パターンからの外れ度合い（距離：dist (u normal,mtx_rel ref_t)）を、不審度（S ref_tsuspicious）として導出する。図１４（ｂ）は、図１２で説明した手法の概要を示している。すなわち、不審行動パターン関連信頼度時系列ＤＢ１５ｄ２に保存されている不審行動パターンデータに対して所定の統計処理を行って導出される代表不審行動パターンを示す代表行列と、時刻ｔにおける基本動作信頼度時系列データ（基本動作信頼度行列）との類似度を不審度として求めている。これらの手法は一例であり、他の手法により不審度や正常度を求めてもかまわない。
【００７６】
図１５、図１６は、行動不審度導出処理（図２のステップＳ１６）の詳細を示している。図１５は不審度を、図１６は正常度をそれぞれ導出する処理である。いずれの処理においても、まず、記憶領域Ｆに保存されている時間長Ｔａの時刻データの個数Ｎｔａ＿ｄａｔａを確認する（図１５：ステップＳ７１、図１６：ステップＳ８１）。そして、Ｎｔａ＿ｄａｔａ個分の時間長Ｔａの基本動作信頼度行列データが表わす行動パターンの不審度・正常度を導出する（図１５：ステップＳ７２〜Ｓ７８、図１６：ステップＳ８２〜Ｓ８８）。不審度についてはＮｔａ＿ｄａｔａ個のデータの中での最大値をサーチし、不審度最大値を最終的な不審度として導出している。正常度についてはＮｔａ＿ｄａｔａ個のデータの中での最小値をサーチし、正常度最小値を最終的な正常度として導出している。
【００７７】
この場合は、図１５、図１６の処理で導出した不審度最大値、正常度最小値を以って、行動不審判定処理(図２のステップＳ１７)において、図１３の判定論理表に基づき、人の行動の不審・正常判定を行う。
【００７８】
図１７、図１８は、図２の行動不審度導出処理（ステップＳ１６）と行動不審判定処理（ステップＳ１７）とを統合して処理の高速化を図った行動不審度導出判定処理を示している。図１７は不審度から不審判定を行う処理を、図１８は正常度から不審判定を行う処理をそれぞれ示している。図１５、図１６に示す処理と同一部分には同一のステップ番号を付してある。図１５、図１６に示す処理との相違点は、不審判定閾値Ｔｈ１・Ｔｈ２に基づく条件を１つでも満たす時刻データが存在した時点で（図１７：ステップＳ７５Ａ；Ｙｅｓ、図１８：ステップＳ８５Ａ；Ｙｅｓ）、「不審」と判定して（図１７：ステップＳ７５Ｂ、図１８：ステップＳ８５Ｂ）処理を終了させる点である。なお、図１３の判定論理表４０に従う場合には、不審度・正常度のどちらか一方のみでも不審判定閾値条件を満たせば「不審」と判定して図１７、図１８の両処理を終了させるようにすればよい。
【００７９】
図１７、図１８に示す処理では、記憶領域Ｆに保存されている全時刻データを確認する図１５、図１６に示す処理方式と比較して、処理の高速化を図ることができる。一方、図１５、図１６に示す処理では全保存時刻データについて処理を行うため、図１７、図１８に示す処理方式と比較して、行動不審・正常判定の信頼性を高めることができる。
【００８０】
図１９は、人の行動パターンと、その行動パターンに対して導出される正常度、不審度の遷移を例示している。同図（ａ）は人がカメラ撮影エリア内（検出対象エリアシーン中）に出現した状態であり、このときの正常度は高く、不審度は低くなっている（時刻Ｔ１）。同図（ｂ）は追尾中の人が車両を周回している場合であり、このとき不審度は高くなっている（時刻Ｔ２）。同図（ｃ）は追尾中の人が車両のドア前に屈みドア鍵をこじ開けようとしている場合であり、このとき不審度が高くなっている（時刻Ｔ３）。同図（ｄ）は追尾中の人がドアを開けた後、車両内へ侵入した場合であり、このとき不審度が高くなっている（時刻Ｔ４）。
【００８１】
たとえば、Ｔａを１０秒に設定すれば、その１０秒の間の行動パターンと日常行動パターンＤＢあるいは不審行動パターンＤＢとの対比から正常度・不審度が導出されて不審行動か否かが判定される。
【００８２】
不審行動と判定した場合には、たとえば、モニタに表示される監視画像上の該当人物の部分に警告マークを表示するなどの処理が行われる。
【００８３】
このように、駐車場内等での人の基本動作（「歩く」、「走る」、「屈む」、「佇む」など）に着目し、各時刻での人の動作をいずれか１つの基本動作に特定するのではなく、基本動作毎の信頼度を求め、これを時系列にした基本動作信頼度時系列データ（基本動作信頼度行列）をもとに、行動の不審度や正常度を導出するので、より信頼性の高い不審行動の検知ができる。なお、各時刻で、人の動作をいずれか１つの基本動作に特定する場合には、基本動作から別の基本動作へ遷移する間などにおいては基本動作特定精度が低くなるので、いずれか１つの基本動作に特定することが、その後の行動パターンの正常・不審判定精度を低下させてしまう。
【００８４】
また、本発明では、蓄積された日常行動パターンデータや不審行動パターンデータ（事実としてのサンプルデータ）と、追尾中の人の行動パターンデータとから統計的手法によって不審度や正常度を導出して不審行動か否かを判定するので、判定ルールをシステム設計者などが設定する場合と異なり、主観的な要素が入り難く、客観的な判定が可能になる。 特に、日常行動に関する行動パターンのデータは多数採取することができるので、日常行動パターンとの対比による判定の信頼性は高い。
【００８５】
また、判定ルールなどを定める場合と異なり、多くの条件（制御パラメータ）を設定する必要がなく、設定に関する手間が削減される。また設定する条件が少ないので、条件設定に基づく判定結果のばらつきが減り、判定の客観性も高まる。本実施の形態では、設定すべき制御パラメータは、図１１の判定を行う場合はＴａ，Ｔｂ、Ｔｈ２のみとなり、図１２の判定を行う場合はＴａ，Ｔｂ、Ｔｈ１、Ｔｈ２のみとなっている。
【００８６】
次に、追尾部２１、記憶部２２、蓄積制御部２３によるオブジェクトの追尾方法について説明する。
【００８７】
この追尾方法では、追尾対象のオブジェクト同士の交差や追尾対象のオブジェクトの障害物の背後への一時的な隠れといった現象が発生した場合でも、その前後で同一オブジェクトを同一のオブジェクトとして追尾することができるようになっている。なお、以下に示す追尾方法は、一例であり、追尾方法はこれに限定されるものではない。
【００８８】
図２０は、不審行動検知装置１０の追尾部２１が追尾するオブジェクトの状態遷移を表している。オブジェクトの状態は、未検出であるUNDETECTEDと、UNDETECTEDの状態で検出されたオブジェクトが追尾対象たり得るオブジェクトか否かを判定中のPENDING、追尾対象のオブジェクトと認定されかつ追尾成功中のACTIVE、追尾対象のオブジェクトであるが追尾失敗中（消失中あるいは探索中）のLOST、の４状態で管理される。
【００８９】
オブジェクト未検出の間はUNDETECTED状態が継続する（図中のＥ１）。UNDETECTED状態でオブジェクトが検出されるとPENDING状態に移行する（Ｅ２）。PENDING状態ではその継続時間を計時しており（Ｅ４）、PENDING状態で所定時間（PENDING_TIME）が経過するとそのオブジェクトはACTIVE状態に遷移する（Ｅ５）。PENDING状態からACTIVE状態に遷移する前に画像から消滅したオブジェクトはUNDETECTED状態に遷移し（Ｅ３）、追尾対象から外される。
【００９０】
ACTIVE状態ではその継続時間を計時している（Ｅ６）。ACTIVE状態のオブジェクトの追尾に失敗（当該オブジェクトが消失）するとそのオブジェクトはLOST状態に遷移し、ACTIVE状態の継続時間はリセットされる（Ｅ７）。LOST状態でもその継続時間を計時しており（Ｅ９）、継続時間が所定時間（LOST_TIME）経過すると、該オブジェクトは追尾対象から外されUNDETECTED状態になる（Ｅ１０）。LOST状態になってから所定時間（LOST_TIME）内に探索ブロックによる探索によって見出（検出）されたオブジェクトはACTIVE状態に戻る（Ｅ８）。
【００９１】
図２１は、不審行動検知装置１０の処理部１２が行うオブジェクトの追尾判別処理の各処理フェーズを示している。図２２は追尾判別処理の流れを示している。追尾判別処理では、オブジェクトの追尾と各オブジェクトが車両か人かの判別とを行う。図２１に示すように、追尾判別処理は、オブジェクト検出フェーズＰ１と、オブジェクト追尾・探索フェーズＰ２と、人・車両判別フェーズＰ３と、人オブジェクト抽出フェーズＰ４で構成される。オブジェクト検出フェーズＰ１は図２２の流れ図のステップＳ１０２〜Ｓ１０４が対応し、オブジェクト追尾・探索フェーズＰ２はステップＳ１０５〜Ｓ１１０が対応し、人・車両判別フェーズＰ３はステップＳ１１１が対応し、人オブジェクト抽出フェーズＰ４はステップＳ１１２、Ｓ１１３が対応する。なお、図２２の破線で示す処理ＳＡにおいて、図２のステップＳ２からＳ２１の処理を行うようにすれば、追尾と不審行動の検知とが１フレーム毎に行われるようになる。
【００９２】
＜オブジェクト検出フェーズＰ１＞
まず、フレーム時刻ｔを０に初期化し（図２２；ステップＳ１０１）、続いて、カメラ部１１によって取り込まれた処理対象の画像内からオブジェクト候補領域を検出する（ステップＳ１０２）。オブジェクト候補領域の検出は、フレーム間の差分処理、二値化処理など公知の手法により行う。
【００９３】
次に、処理対象の画像内においてオブジェクト候補領域が１つ以上検出されたかどうかを確認する（ステップＳ１０３）。１つ以上のオブジェクト候補領域が検出された場合は（ステップＳ１０３；Ｙｅｓ）、ステップＳ１０５へ移行する。オブジェクト候補領域が１つも検出されなかった場合は（ステップＳ１０３；Ｎｏ）、状態がLOSTのオブジェクト（以後、これをLOSTオブジェクトと呼ぶ。）が存在するか否かを確認する（ステップＳ１０４）。LOSTオブジェクトは、過去に追尾対象として検出されたオブジェクトが消失（追尾失敗）し、消失状態の継続時間が所定時間（LOST_TIME）未満のオブジェクトであり、後述する探索ブロックによって探索中のオブジェクトである。
【００９４】
１つ以上のLOSTオブジェクトが存在する場合は（ステップＳ１０４；Ｙｅｓ）、ステップＳ１１０へ移行する。LOSTオブジェクトが１つも存在しない場合は（ステップＳ１０４；Ｎｏ）、フレーム時刻ｔ＝ｔ＋１として（ステップＳ１１４）、ステップＳ１０２に戻り、カメラ部１１によって取り込まれる次のフレームの画像に対して同様の処理を行う。このように、オブジェクト検出フェーズＰ１は、オブジェクト候補領域が１つ以上存在するか否かを確認し、存在しない場合はオブジェクト候補領域が検出されるのを待つ状態である。
【００９５】
＜オブジェクト追尾・探索フェーズＰ２＞
ステップＳ１０５では、オブジェクト検出フェーズＰ１にて検出されたオブジェクト候補領域に対する追尾・探索処理を行う。オブジェクト追尾・探索処理では、前時刻の画像内のオブジェクトと現在時刻の画像内のオブジェクトとの対応付けを行う追尾処理と、隠れや交差により消失したオブジェクトを探索する探索処理とが行われる。追尾処理は動きベクトルなど公知の手法により行う。
【００９６】
消失したオブジェクトを探索するための探索処理は、新規に検出した追尾対象のオブジェクトに対して、その重心周辺に複数の探索ブロックを発生させ、その後は各探索ブロックを追尾対象のオブジェクトに追従させて移動させ、オブジェクト領域内の局所領域（ここでは、探索ブロック単位の領域）に着目して追尾を行う。探索ブロックは、オブジェクトを追尾・探索する際の単位領域である。消失したオブジェクトの探索が所定時間（LOST_TIME）内に成功しなかった場合は、探索しているオブジェクトは消滅したものとみなしてUNDETECTEDの状態にし、追尾対象から外す。オブジェクト追尾・探索処理の詳細は後述する。
【００９７】
オブジェクト追尾・探索処理にて追尾・探索に成功したオブジェクト（ACTIVE状態のオブジェクト）については、形状、動き、テクスチャ等の特徴情報を抽出（算出）する（ステップＳ１０６）。形状や動きなどオブジェクトの特徴情報の抽出は公知の任意の手法で行えばよい。抽出したオブジェクトの特徴情報を示す特徴量データは順次、記憶部２２に蓄積し、時系列データとして更新あるいは新規に生成する（ステップＳ１０７）。オブジェクト毎の時系列に蓄積された特徴量データは、そのオブジェクトが人か車両かの判別に利用される。
【００９８】
その後、追尾対象のオブジェクトが既に車両と判別済みのオブジェクトであれば（ステップＳ１０８；Ｙｅｓ）、フレーム時刻ｔ＝ｔ＋１として（ステップＳ１１４）、ステップＳ１０２に戻り、カメラ部１１によって取り込まれる次のフレームの画像について同様の処理を行う。追尾対象のオブジェクトが既に人と判別されており、かつそのオブジェクトが画像内に存在している（追尾・探索に成功している）場合は（ステップＳ１０９；Ｙｅｓ）、ステップＳ１１３の人オブジェクト抽出処理へ移行する。
【００９９】
追尾しているオブジェクトが車両、人のいずれにも判別されていない場合は（ステップＳ１０９；Ｎｏ）、追尾オブジェクトに関して、図２０の状態遷移に従って各オブジェクトの状態（ステータス）の更新と、オブジェクト継続時間obj_timeのインクリメント更新を行い（ステップＳ１１０）、人・車両判別処理（ステップＳ１１１）に移行する。
【０１００】
＜人・車両判別フェーズＰ３＞
人・車両判別処理では、オブジェクト追尾・探索フェーズＰ２により蓄積記憶された追尾対象のオブジェクトの時系列の特徴量データ（特徴量時系列データ）をもとに、追尾対象オブジェクトが人であるか、車両であるかの判別を行う（ステップＳ１１１）。人・車両判別処理は適宜の公知の手法により行う。
【０１０１】
＜人オブジェクト抽出フェーズＰ４＞
人・車両判別フェーズＰ３にて追尾対象のオブジェクトが人であると判別した場合は（ステップＳ１１２；Ｙｅｓ）、人オブジェクト抽出処理（ステップＳ１１３）に移行し、人と判別できなかった場合は（ステップＳ１１２；Ｎｏ）、フレーム時刻ｔをインクリメント更新し（ステップＳ１１４）、ステップＳ１０２に戻り、カメラ部１１によって取り込まれる次のフレームの画像に対して同様の処理を行う。
【０１０２】
人オブジェクト抽出処理では、監視員にその人物の所在位置を分かりやすい形式で伝え、監視注意を促す（ステップＳ１１３）。たとえば、カメラ部１１からの画像を出力部１４のディスプレイ装置に表示する際に、検出した人物の箇所を赤枠で囲って表示する等を行う。その後、フレーム時刻ｔをインクリメント更新し（ステップＳ１１４）、ステップＳ１０２に戻って処理を継続する。抽出された人オブジェクトに対して不審行動検知処理（図２のステップＳ２からＳ２１の処理）が行われる。
【０１０３】
次に、図２２のステップＳ１０５のオブジェクト追尾・探索処理の詳細を説明する。
【０１０４】
オブジェクト追尾・探索処理では、公知の手法によりオブジェクトの追尾と、追尾に失敗（消失）したオブジェクト（LOSTオブジェクト）の探索が行われる。探索は、消失した追尾対象のオブジェクトを追尾するように移動する複数の探索ブロックによって行われる。
【０１０５】
図２３は、探索ブロックによる探索の概略を示している。新規に検出された追尾対象のオブジェクトＡ（図２３の例では人物Ａ）に対して、そのオブジェクトＡを追尾対象とする所定サイズの探索ブロックＤを複数発生させると共にこれらの各探索ブロックＤにその追尾対象のオブジェクトＡの特徴情報を対応付けて記憶する（ｔ１）。図２３では、斜線を施した各矩形領域が探索ブロックＤである。なお、追尾対象の各オブジェクトにはそのオブジェクトを一意に特定する識別情報として固有のオブジェクトＩＤを割り当ててあり、各探索ブロックにその追尾対象のオブジェクトのオブジェクトＩＤを登録することで、追尾対象のオブジェクトと探索ブロックとを関連付けする。
【０１０６】
その後は、前時刻のフレームの画像と現在時刻のフレームの画像とのマッチング等の既存の手法によりオブジェクトの追尾を行うと共に、各探索ブロックＤをその追尾対象のオブジェクトを追尾するように（オブジェクトの動きベクトルに追従するように）移動させる（図２３；ｔ２）。
【０１０７】
交差や隠れによってオブジェクトの追尾に失敗した場合（消失した場合）は（図２３；ｔ３）、そのオブジェクトを追尾対象とする探索ブロックＤの移動を所定の移動ルールに従って継続させる。たとえば、ランダムに移動させる、あるいは消失前のオブジェクトの動きにランダムな動きを合成した動きで移動を継続させる。図２３では、時刻ｔ３においてオブジェクトＡが障害物６１の背後に隠れており、各探索ブロックＤは、現在時刻までのオブジェクトＡの動きとランダムな動きとを合成した動きで移動している。オブジェクトＡの消失前の動きの影響は次第に少なくなりランダムな動きが支配的になり、探索ブロックは次第に広い範囲に分散するように移動する（ｔ４）。なお、図２３では、時刻ｔ３における各探索ブロックに「ｔ３」の文字を、時刻ｔ４における各探索ブロックに「ｔ４」の文字を付してある。
【０１０８】
このように、消失したオブジェクトを探索するように継続的に移動させている探索ブロックの位置（存在領域）にオブジェクトが存在する場合は、そのオブジェクトの特徴情報と各探索ブロックに対応付けて記憶されている追尾対象のオブジェクトの特徴情報とを比較し、該比較結果に基づいて、その探索ブロックの位置に存在するオブジェクトがその探索ブロックの追尾対象のオブジェクトであるか否かを判断する。追尾対象のオブジェクトであればそのオブジェクトに当該探索ブロックに登録されている追尾対象のオブジェクトのオブジェクトＩＤを割り当てる。これにより、消失の前後で同一オブジェクトを同一オブジェクトとして追尾するようになる。
【０１０９】
図２３の例では時刻ｔ４に探索ブロックＤ１によってオブジェクトＡが見出（検出）される。追尾対象のオブジェクトが消失した後は、各探索ブロックはランダムな動きが支配的となって移動し拡散しているので、仮にオブジェクトＡが破線で示したＡ’の位置に現れた場合は、その位置に移動していた探索ブロックＤ２によって発見されることになる。こうして、交差や障害物の背後への一時的な隠れが発生してもその前後で同一のオブジェクトを同一オブジェクトとして（同じオブジェクトＩＤで）追尾するようになっている。
【０１１０】
本実施の形態では、図２４に示すように、処理対象の画像（１フレーム分の画像）を複数の小領域（分割ブロックＢｋ）に分割し、オブジェクトを分割ブロック単位で捉える。これにより、追尾に係る計算量が軽減される。ここでは、各分割ブロックＢｋが矩形となるように処理対象の画像を格子状の境界線で分割している。
【０１１１】
図２４の例では、オブジェクトＡは、斜線を施した３３個の矩形の分割ブロックＢｋに分けられる。オブジェクトＡの追尾・探索は分割ブロックＢｋ単位に行われる。これら３３個の分割ブロックＢｋの集合体としてオブジェクトＡは認識され、オブジェクトＡ全体としての形状や重心位置、動きなどの特徴情報が把握される。ここでは、分割ブロックＢｋの中に占めるオブジェクトの面積が所定の占有率以上（たとえば、５０パーセント以上）の場合に、その分割ブロックをオブジェクトの存在する分割ブロックとみなしている。
【０１１２】
図２５は、オブジェクト追尾・探索処理（図２２；ステップＳ１０５）の流れを示している。オブジェクト追尾（図２５；ステップＳ１２１）では、新規に検出されたオブジェクトについてオブジェクトＩＤを割り当てると共に図３に示すようなオブジェクトデータテーブル３０を生成する。
【０１１３】
過去時刻において検出済みで既にオブジェクトＩＤが割り当てられているオブジェクトについては、動きベクトルなど公知の手法により、前時刻の画像内のオブジェクトと現在時刻の画像内のオブジェクトとの対応付け等の手法により追尾する。
【０１１４】
次に、新たに追尾対象となったオブジェクトについて探索ブロックを発生させる探索ブロック発生処理を行う（ステップＳ１２２）。探索ブロック発生処理の詳細は図２６に示してある。処理対象の画像内に存在する、状態（ステータス）がACTIVEであって（ステップＳ１４２；Ｙｅｓ）当該オブジェクトを追尾対象とする探索ブロックが０個のオブジェクト（ステップＳ１４３；Ｙｅｓ）について、そのオブジェクト領域の重心周辺に複数の探索ブロックを発生させる（ステップＳ１４４〜Ｓ１５５）。
【０１１５】
探索ブロックは、追尾対象のオブジェクトを追尾・探索する際の単位領域であり、探索ブロックを単位として、その探索ブロックの存在領域に存在するオブジェクトがその探索ブロックが追尾対象としているオブジェクトか否かが判断される。探索ブロックは、追尾対象のオブジェクトが存在する分割ブロック毎に所定（BLOCKFACTOR）個ずつ発生させる。すなわち、追尾対象のオブジェクトのサイズに応じた数の探索ブロックを発生させる。BLOCKFACTOR個は１個以上で任意に設定変更可能な数であり、分割ブロックの領域サイズと探索ブロックの領域サイズとの比率等に基づいて適宜の個数に設定すればよい。たとえば、BLOCKFACTOR個は２〜５個に設定される。図２７は、探索ブロックの原点（px0,py0）と中心位置(px,py)との関係を示している。探索ブロックはBLOCK_SIZE×BLOCK_SIZEの画素領域となっている（図２７の例では５×５画素の領域）。ここでは、探索ブロックを矩形としたが、探索ブロックの形状はこれに限定されず、円など他の形状であってもかまわない。
【０１１６】
また、発生させた探索ブロック毎に図２８に示すような探索ブロックデータテーブル７０を生成する。探索ブロックデータテーブル７０には、対応する探索ブロックの属性を示す情報が登録される。発生時に初期値として以下の値等を探索ブロックデータテーブル７０に登録する。
【０１１７】
・オブジェクトＩＤ：obj_id → 追尾対象のオブジェクトＩＤ
・探索ブロックの状態（ステータス）：stateobj_idn_block→ ON
・探索ブロックの位置（ｘ座標）：bxobj_idn_block→ x
・探索ブロックの位置（ｙ座標）：byobj_idn_block→ y
・探索ブロックの動きベクトル(水平方向)：dxobj_idn_block → dx(gxobj_id,gyobj_id)
・探索ブロックの動きベクトル(垂直方向)：dyobj_idn_block → dy(gxobj_id,gyobj_id)
・探索ブロックの適合度：corobj_idn_block→ 1.0
また、探索ブロックの存在領域内の各画素のＨＳＶ値（ＨＳＶ色空間で表現した画素値）から図２９に示すようなＨＳＶ色空間累積ヒストグラムを生成する。この累積ヒストグラムは、探索ブロック領域を画素単位で走査して導出する。画素値ｉの場合、ｊ≧ｉであれば、
histH,S,V(t,j)obj_idn_block = histH,S,V(t, j)obj_idn_block+ 1
とする。すなわち、画素値の取り得る値を所定数の階級に区分し、当該画素の画素値がｉであれば、ｉが属する階級以上の各階級の累積値をそれぞれ「１」加算する。この処理を探索ブロック内の全画素に対して行う。
【０１１８】
なお、ＨＳＶ色空間は色相(Hue)、彩度(Saturation・Chroma)、明度(Brightness・Lightness・Value)の三つの成分からなる色空間であり、ＨＳＶ色空間累積ヒストグラムは、Ｈ（色相)成分、Ｓ（彩度）成分、Ｖ（明度）成分のそれぞれについて生成される。これらのＨＳＶ色空間累積ヒストグラムに係る各値は、探索ブロックの位置（存在領域）におけるオブジェクト（画像）の特徴情報としてその探索ブロックに対応付けて記憶される。
【０１１９】
次に、全探索ブロックに関する適合度を更新する（図２５：ステップＳ１２３、詳細は図３０に示す）。適合度を更新する処理では、探索ブロックの状態（ステータス）がＯＮとなっている（図３０；ステップＳ１６３；Ｙｅｓ）すべての探索ブロックに関して、適合度の更新（図３０；ステップＳ１６４〜Ｓ１６７）を行う。適合度は、探索ブロックの位置（存在領域）に存在するオブジェクトと当該探索ブロックの追尾対象のオブジェクトとの一致度を示す指標である。適合度は、探索ブロックの存在領域に存在するオブジェクトの特徴情報（色など画像としての特徴情報と重心位置に係る特徴情報）とその探索ブロックに対応付けて記憶されているオブジェクトの特徴情報（当該探索ブロックの前時刻の位置に存在していたオブジェクトの特徴情報）との比較に基づいて算出する。本実施の形態では、ＨＳＶ色空間累積ヒストグラムを用いた場合について記述する。具体的には、探索ブロックの存在領域におけるＨＳＶ色空間累積ヒストグラムの時間差分と、当該探索ブロックが追尾対象とするオブジェクトの重心位置と該探索ブロックの中心との距離に基づく距離係数との積により導出する。適合度は１〜０の範囲をとる。具体的には以下の式の通りである。
【数１】
ＨＳＶ色空間累積ヒストグラムの時間差分total_diffについては、たとえば下記の式で表わされる。
【数２】
距離係数に関しては、たとえば下記の式で表わされる。
【数３】
従って、探索ブロックの中心とオブジェクト領域の重心との距離が近い程、探索ブロックの適合度は高くなる。なお、消失中のオブジェクト（LOSTオブジェクト）についてはLOST状態になる直前のフレーム時刻における重心位置をオブジェクトの重心位置として距離係数を求める。
【０１２０】
図３１は、探索ブロックの中心とその追尾対象のオブジェクトの重心との距離と適合度との関係を例示したものである。探索ブロックＤ１、Ｄ２は、追尾対象のオブジェクト上にないので、オブジェクト重心との距離が大きく（距離係数（dist_factor）→小）、かつオブジェクト（画像）の特徴情報の一致度（ＨＳＶ色空間累積ヒストグラムの一致度）も低い（total_diff→小）ので、適合度は低くなる（０に近づく）。探索ブロックＤ３、Ｄ４は追尾対象のオブジェクト上にあるので、オブジェクト重心との距離が小さく（距離係数（dist_factor）→大）、かつオブジェクト（画像）の特徴情報の一致度（ＨＳＶ色空間累積ヒストグラムの一致度）も高い（total_diff→大）ので、適合度は高くなる（１に近づく）。
【０１２１】
次に、分割ブロック領域ＩＤ割り当て処理を行う（図２５：ステップＳ１２４、詳細は図３２に示す）。当該処理では、分割ブロック領域内に何らかのオブジェクトが存在しかつ１個以上の探索ブロックが存在している分割ブロックＢｋに対して、それらの探索ブロックの中で最も優位な（最高適合度を有する）探索ブロックに登録されている追尾対象のオブジェクトＩＤを割り当てることでその分割ブロックＢｋに該オブジェクトＩＤを付与し、該オブジェクトＩＤのオブジェクトをACTIVE状態にする、ことを行う。元々ACTIVE状態であったオブジェクトはACTIVE状態が継続される。
【０１２２】
上記処理により、LOSTオブジェクトを追尾対象とする探索ブロックに登録されているオブジェクトＩＤがいずれかの分割ブロックＢｋに割り当てられた場合、LOST状態であったその追尾対象のオブジェクトが見出された（検出された）ことになる。なお、追尾対象のオブジェクトであるがいずれの分割ブロックＢｋにもオブジェクトＩＤが付与されなかったオブジェクトは、図２２のオブジェクト状態更新処理（Ｓ１１０）においてLOSTオブジェクトと判定されて状態が保持あるいは更新される。
【０１２３】
次に、探索ブロック消去処理を行う（図２５：ステップＳ１２５、詳細は図３３に示す）。オブジェクトの状態（ステータス）がUNDETECTEDである場合、あるいは状態がLOSTでありかつオブジェクトの継続時間obj_timeがLOST_TIME以上である（LOST状態がLOST_TIME以上継続した）場合に、当該オブジェクトに属する（当該オブジェクトを追尾対象とする）すべての探索ブロックを削除する。削除は、当該オブジェクトに属するすべての探索ブロックデータテーブルをクリアすることで行う。
【０１２４】
次に、探索ブロックリサンプリング処理を行う（図２５：ステップＳ１２８、詳細は図３４に示す）。探索ブロックリサンプリング処理は、ACTIVE状態のオブジェクトに属するすべての探索ブロックについて行われる（図２５；ステップＳ１２７；Ｙｅｓ）。探索ブロックリサンプリング処理では、追尾対象のオブジェクトが同一の複数の探索ブロック間で、適合度の低い探索ブロックを適合度の高い探索ブロックに確率的に置き換えることが行われる。
【０１２５】
ここでは、同一オブジェクト（たとえば、オブジェクトＡ）を追尾対象とするすべての探索ブロックの適合度の和に対する個々の探索ブロックの適合度の比率をその探索ブロックの出現確率とするルーレットを生成し、該オブジェクトを追尾対象とする探索ブロック毎に前記ルーレットに基づく乱数抽選を行い、その探索ブロックをその抽選結果の出目に対応する探索ブロックに置き換える。すなわち、当該オブジェクトを追尾対象とする全探索ブロックの個数と同じ回数の乱数抽選を前記ルーレットに基づいて行い、抽選毎にその当たりとなった出目に対応する探索ブロックに置き換えることによって、適合度の低い探索ブロックを適合度の高い探索ブロックに置き換わりやすいようにしている。
【０１２６】
より詳細には、処理対象の画像内に存在するオブジェクトの中で、状態（ステータス）がACTIVEであるオブジェクト毎に以下の処理を行う。まず、注目しているACTIVEオブジェクトobj_idに関して、そのオブジェクトに属する探索ブロックn_blockの適合度cor obj_idn_blockを基に、下記の通りルーレットを生成する。
【０１２７】
探索ブロックn_blockの状態(ステータス)stateobj_idn_blockがONであるならば、
rouletteobj_idn_block= rouletteobj_idn_block-1 + cor obj_idn_block
探索ブロックn_blockの状態(ステータス)stateobj_idn_blockがOFFであるならば、
rouletteobj_idn_block= rouletteobj_idn_block-1
次に、注目しているACTIVEオブジェクトobj_idに属する探索ブロック毎に乱数データを生成し、その乱数データをもとにその探索ブロックに関するルーレットの出目を決定した後、当該探索ブロックをその出目に対応する探索ブロックに置き換える。
【０１２８】
図３５は、任意のオブジェクトについて生成したルーレットの一例を示している。このオブジェクトを追尾対象とする探索ブロックは全部でＭ個存在する。探索ブロック１からＭまでの全探索ブロックの適合度の合計を３６０度としたルーレット上に、個々の探索ブロックの出目をその適合度の比率に応じた占有角度で配置してある。たとえば、探索ブロック１の出目の占有角度は、（（探索ブロック１の適合度）／（全探索ブロックの適合度の合計））×３６０度となる。
【０１２９】
適合度の高い探索ブロックは出目の占有角度も大きいので、その分、乱数抽選で当たりになる確率は高い。一方、適合度の低い探索ブロックは出目の占有角度は小さく、当たりになる確率も低い。したがって、適合度の低い探索ブロックが適合度の高い探索ブロックに置き換えられ易くなる。
【０１３０】
ここで、探索ブロックを置き換えるとは、探索ブロックデータテーブル７０の内容を、探索ブロックＩＤを除く項目について、ルーレットの出目に対応する探索ブロックデータテーブルで更新することである。
【０１３１】
先に説明したように、探索ブロックの適合度はその探索ブロックが追尾対象のオブジェクト上に存在する場合は高く、追尾対象のオブジェクトから外れた位置にある場合は低くなる。したがって、図３６（ａ）に示すように、ACTIVEオブジェクトについて探索ブロックの置き換え（探索ブロックリサンプリング）を行うと、追尾対象のオブジェクトＡ上にある探索ブロックＤ５〜Ｄ７とオブジェクトＡ上にない探索ブロックＤ１〜Ｄ４との間で適合度に大きな差が生じる。したがって、探索ブロックリサンプリングにより生成されるルーレットは図３６（ｂ）のように（Ｄ１〜Ｄ４については占有角度が小さく、Ｄ５〜Ｄ７は占有角度が大きく）なる。
【０１３２】
このルーレットを使用して探索ブロック個数回分（ここでは７回）の乱数抽選を行った場合、その結果は、たとえば図３６（ｃ）に示すようになり、適合度の低い探索ブロックが適合度の高い探索ブロックに確率的に置き換えられる。図３６（ｄ）に示すように、追尾対象のオブジェクト上になかった探索ブロックの多くが追尾対象のオブジェクト上の探索ブロックに置き換えられ、探索ブロックが追尾対象のオブジェクト上に集約されやすくなる。
【０１３３】
次に、探索ブロック更新処理を行う（図２５：ステップＳ１２９、詳細は図３７に示す）。探索ブロック更新処理は、各探索ブロックの移動と各探索ブロックに対応付けて記憶してある追尾対象のオブジェクトに関する特徴情報の更新とを行う。画像内に存在する（ステータスがＯＮ状態である）すべての探索ブロックについて、その位置情報、動きベクトルの情報が更新される（ステップＳ２４８、Ｓ２４９）。さらに状態（ステータス）がACTIVEであるオブジェクトに属する（当該オブジェクトを追尾対象とする）探索ブロックであり、かつ追尾対象のオブジェクトのＩＤと当該探索ブロックの存在位置の分割ブロックに付与されているオブジェクトのＩＤとが一致する探索ブロックについては、ＨＳＶ色空間累積ヒストグラムについても更新する（ステップＳ２４７）。
【０１３４】
位置情報の更新は以下の通りである。
【数４】
ここで、rnd_x、rnd_yはそれぞれx、y方向に関する乱数を示す。乱数を加えることで、探索ブロックにランダムな動きを加えることになる。
【０１３５】
動きベクトル情報の更新は以下の通りであり、前時刻の探索ブロックの動きベクトルと現在の探索ブロック存在位置の分割ブロックにおける動きベクトルの線形荷重和となっている。
【数５】
ここで、ｋは更新割合（慣性定数）を表す。ｋの値は設定変更可能となっている。追尾に成功している場合はオブジェクトの動きベクトルが支配的になり、追尾に失敗している（追尾対象のオブジェクトが消失している（LOST状態））場合は、乱数による移動が支配的になる。
【０１３６】
上記のようにしてオブジェクトの追尾・探索を行うことにより、図２３に示すように追尾対象のオブジェクトが障害物６１に一時的に隠れた場合でも、障害物６１に隠れる前後で同一オブジェクトを同一オブジェクトとして、すなわち、障害物６１に隠れる前後の同一オブジェクトに対して同一のオブジェクトＩＤを割り当てて、追尾することができる。
【０１３７】
同様に追尾対象のオブジェクト同士が交差した場合にも、交差の前後で同一のオブジェクトに対して同一のオブジェクトＩＤを付与して追尾することができる（図３８（ａ）〜（ｄ））。交差領域においては、適合度の高い探索ブロックに優位性がある。図３８（ｂ）では、オブジェクトＡがオブジェクトＢの背後を通過するので前面側のオブジェクトＢを追尾している探索ブロックが優位となる。同図（ｃ）に示すように、交差状態からオブジェクトＡとＢが互いに離れる際には、オブジェクトＡに属する探索ブロックはオブジェクトＡに追従し、オブジェクトＢに属する探索ブロックはオブジェクトＢを追従するように移動する（同図（ｄ））。
【０１３８】
このように、本実施の形態に係るオブジェクト追尾・探索方法では、新規に追尾対象のオブジェクトを検出した場合に、そのオブジェクトの重心付近に複数の探索ブロックを生成しかつ各探索ブロックにその探索ブロックの存在領域における追尾対象オブジェクトの特徴情報を対応付けて記憶し、その後は、探索ブロックを追尾対象のオブジェクトに追従するように移動させると共に探索ブロックに記憶している追尾対象のオブジェクトの特徴情報の更新を行い、追尾に失敗した（オブジェクトが消失した）後はランダムな動きが支配的となるように探索ブロックの移動を継続させ、探索ブロックという局所領域を単位に適合度を判断して消失した追尾対象のオブジェクトを探索することで、交差や隠れの前後で同一オブジェクトを同一オブジェクトとして追尾する。
【０１３９】
なお、追尾しているオブジェクトから図２２のステップＳ１０６で抽出した形状、動き等のオブジェクトの特徴量データは、図８に示すようなＦＩＦＯ（First in First out）形式で記憶領域Ｆに特徴量時系列データとして保存される（図２２、ステップＳ１０７）。記憶された特徴量時系列データは、図２２の人・車両判別処理（ステップＳ１１１）で各追尾対象オブジェクトが人か車両かを判別する際に使用される。
【０１４０】
次に、人・車両判別処理（図２２のＳ１１１）について詳細に説明する。図３９は、人・車両判別処理の流れを示している。人・車両判別処理は追尾対象のオブジェクト毎に行われる。まず、追尾対象のオブジェクトの状態がACTIVE（追尾成功中）であるかどうかを確認し、ACTIVEでない場合は（ステップＳ３０１；Ｎｏ）、その追尾対象のオブジェクトに対する人・車両判別処理を終了する。
【０１４１】
追尾対象のオブジェクトの状態がACTIVEの場合は（ステップＳ３０１；Ｙｅｓ）、その追尾対象のオブジェクトに係る特徴量データが記憶領域Ｆに時系列に記憶されている時間長（Ｌ時間長とする）が、所定時間長（Ｔｃ時間長とする）以上か否かを確認する（ステップＳ３０２）。Ｔｃ時間長は記憶部２２に記憶可能なＬmax時間長以下の任意の時間長に設定することができる。
【０１４２】
Ｌ時間長がＴｃ時間長未満の場合は（ステップＳ３０２；Ｎｏ）、その追尾対象のオブジェクトに対する人・車両判別処理を終了する。
【０１４３】
Ｌ時間長がＴｃ時間長以上の場合は（ステップＳ３０２；Ｙｅｓ）、記憶されているＬ時間長分の特徴量時系列データを人・車両判別部２４に入力し（ステップＳ３０３）、人・車両判別部２４において、人・車両の判別を行う（ステップＳ３０４）。
【０１４４】
このように、オブジェクトを追尾し、追尾中にそのオブジェクトの特徴情報を示す特徴量データを時系列にある程度の時間長分サンプリングして蓄積記憶し、所定期間以上に渡る（Ｔｃ時間長以上の）特徴量時系列データに基づいてそのオブジェクトが人であるか車両であるかを判別するので、オブジェクトを検出した直後に人・車両を判別する場合に比べて、高い信頼性で人・車両を判別することができる。すなわち、人は動きの自由度が高くその「見え方」が様々となるので、ある時刻の画像のみに基づく判断では誤りが生じ易いが、本実施の形態の不審行動検知装置１０では所定期間のオブジェクト追尾中に時系列に収集した複数時刻分の特徴量データに基づいて判別するので、高い信頼性で人・車両を判別することができる。
【０１４５】
また交差や隠れがあっても同一オブジェクトを同一オブジェクトとして追尾できるので、追尾中に交差や隠れがあってもその前後をつなげて同一オブジェクトの時系列の特徴量データを収集することができる。
【０１４６】
また、特徴量データが所定時間長（Ｔｃ時間長）未満の場合には追尾対象オブジェクトの種類（人・車両）を判別しないので、サンプリング時間長の短い特徴量データによって誤判別されることが防止され、判別の信頼性が確保される。
【０１４７】
以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。
【０１４８】
たとえば、基本動作は実施の形態に例示したものに限定されない。監視対象エリアにおける人の行動の基本となる動作であれば、任意のものでよく、適宜、監視対象・目的などに応じて選択すればよい。
【０１４９】
不審行動は、日常行動から外れた行動、あるいは、予め定めた特定種類の行動（たとえば、駐車場では車上荒らしや車両の盗難、車両への傷付けなど）である。実際には、日常行動パターン関連信頼度時系列ＤＢ１５ｄ１に登録される行動パターンが日常行動であり、この日常行動から外れた行動、あるいは不審行動パターン関連信頼度時系列ＤＢ１５ｄ２に登録される行動パターンが、検出対象の不審行動となる。
【０１５０】
日常行動パターン関連信頼度時系列ＤＢ１５ｄ１や不審行動パターン関連信頼度時系列ＤＢ１５ｄ２は、監視動作中に逐次、記憶内容を更新したり、データを追加記憶したりした構成でもよいし、予め十分な量のデータを蓄積した構成でもよい。また、統計的手法により代表日常行動パターンや代表不審行動パターンを導出する処理は、監視動作中に行われてもよいが、予め日常行動パターン関連信頼度時系列ＤＢ１５ｄ１や不審行動パターン関連信頼度時系列ＤＢ１５ｄ２の記憶内容に基づいて導出して記憶しておき、監視動作中はその記憶されている代表日常行動パターンや代表不審行動パターンを使用するように構成されてもよい。
【０１５１】
特徴量時系列データは、形、大きさなど実施の形態で例示した項目に限定されるものではなく、判別対象の物体の種類や、人の各種動きの特徴量を示すデータであれば任意に設定できる。
【０１５２】
また、実施の形態ではオブジェクトの追尾方法として、消失したオブジェクトを探索ブロックによって追尾・探索する方法を例示したが、これに限定されるものではなく任意の方法で追尾すればよい。交差や隠れの前後で同一オブジェクトを同一オブジェクトとして追尾可能な方法が好ましいが、このような機能のない追尾方法でもかまわない。
【０１５３】
実施の形態に示した追尾・探索では、分割ブロック単位にオブジェクトを追尾・探索するようにしたが、オブジェクト単位に追尾を行っても構わない。また実施の形態では、追尾対象のオブジェクトの動きとランダムな動き（乱数に基づく位置変更…数４）との合成によって探索ブロックを移動させることと、ACTIVEオブジェクトに属する探索ブロックを対象にした探索ブロックリサンプリング処理（適合度の低い探索ブロックを適合度の高い探索ブロックに確率的に置き換える処理）との組み合わせにより、追尾に成功している間は探索ブロックを追尾対象のオブジェクトを追尾するように移動させ、消失中はランダムな動きが支配的となるように探索ブロックを移動させたが、探索ブロックの移動方法は実施の形態に例示した方法に限定されない。すなわち、追尾成功中は追尾対象のオブジェクトを追尾し、消失中はランダムな動きが支配的となるという移動ルールで移動すればよく、たとえば、追尾成功中はランダム要素なしに追尾対象の動きベクトルに従って移動させ、消失中は慣性的な動きを排除しランダムな動きのみで移動させるように構成されてもかまわない。
【０１５４】
消失中の移動のルールは、消失直前のオブジェクトの動きにランダムな動きを加えることが好ましく、さらには時間の経過と共にランダムな動きがより支配的になるとよい。
【０１５５】
実施の形態では、ＨＳＶ色空間累積ヒストグラムの時間差分とオブジェクトと探索ブロックとの間の距離による距離係数とに基づいて各探索ブロックの適合度を決定するようにしたが、他の基準で適合度を定めてもよい。適合度は、画像特徴量としての一致度と、オブジェクトと探索ブロックとの位置関係とを要素として決定されることが好ましい。
【０１５６】
実施の形態では人・車両判別方法として、オブジェクトの「見え方」変動への対応を考慮し、所定時間長オブジェクトを追尾した後に(追尾対象のオブジェクトに関して所定時間長以上の特徴量時系列データが蓄積された後に)、その特徴量時系列データをもとに、オブジェクトが人であるか車両であるかの判別を行っている。信頼性の高い人・車両判別方法が好ましいが、このような人・車両判別方法でなくても良い。
【０１５７】
実施の形態では、人、車両を判別する場合を例に説明したが、判別対象の物体の種類はこれらに限定されるものではない。
【符号の説明】
【０１５８】
１０…不審行動検知装置
１１…カメラ部
１２…処理部
１３…入力部
１４…出力部
１５…データベース部
１５ａ…人特徴ＤＢ部
１５ｂ…車両特徴ＤＢ部
１５ｃ…基本動作特徴量時系列ＤＢ部
１５ｄ…行動パターン信頼度時系列ＤＢ部
１５ｄ１…日常行動パターン関連信頼度時系列ＤＢ
１５ｄ２…不審行動パターン関連信頼度時系列ＤＢ
２１…追尾部
２２…記憶部
２３…蓄積制御部
２４…人・車両判別部
２５…基本動作・行動解析部
２５ａ…信頼度導出部
２５ｂ…行動不審度導出部
２５ｂ１…正常度導出処理部
２５ｂ２…不審度導出処理部
２５ｃ…不審判定部
２６…基本動作別信頼度導出部
２７…判別器
２８…加算器
３０…オブジェクトデータテーブル
４０…判定論理表
６１…障害物
７０…探索ブロックデータテーブル
Ｆ…記憶領域
Ｐ１…オブジェクト検出フェーズ
Ｐ２…オブジェクト追尾・探索フェーズ
Ｐ３…人・車両判別フェーズ
Ｐ４…人オブジェクト抽出フェーズ
【技術分野】
【０００１】
本発明は、カメラ画像に基づいて監視エリア内での不審行動を検知する不審行動検知方法および不審行動検知装置に関する。
【背景技術】
【０００２】
この種の監視システムとしては、監視対象の人物の行動を、予め定義した行動パターンや判定ルールと対比することで、異常行動を検出するものがある（特許文献１、２参照）。たとえば、異常行動パターンとして場所と動作とを定義付けておき、該定義した行動に類似する行動を異常行動として検出する監視システムがある（特許文献３参照）。この監視システムでは、危険領域（歩道や駅のプラットフォーム端部など）におけるふらつき歩行や千鳥足歩行などの動作を異常行動（異常歩行）として検出するようになっている。
【０００３】
また、監視対象物を要素（人体の各部分の動き、外観的識別、視認行為回数）単位で解析し、監視対象物の監視項目を細分化した監視要素毎に所定の判定ルールに基づいて判定し、その総合的な判断により警報を出力するシステムがある（たとえば、特許文献４参照。）。また、歩く、屈むなど人の汎用的振る舞いを解析し、この汎用的振る舞いに関する時系列データに基づいて、特定の専用的振る舞いか否かを識別（たとえば、歩く動作から→屈む動作に遷移し、その後、屈む動作がＮ秒間以上継続すると病気と判定)する画像監視システムがある（特許文献５参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−３２８６２２号公報
【特許文献２】特開２００６−２８５３９９号公報
【特許文献３】特開２００７−８９１０５号公報
【特許文献４】特開２００６−２８７８８４号公報
【特許文献５】特開２００６−２７２４８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
先行技術文献にある予め定義した行動パターンや判定ルールとの照合によって不審（異常）行動を検出する方法では、比較的単純で場所・時間・動作が限定される行動パターンの監視には対応できるが、監視対象エリア内で様々な行動パターンが発生する場合にまで対応することは難しい。たとえば、駐車場のような監視エリアでは、人・車両等複数種類のオブジェクトが存在し、監視対象の出入りや動作の自由度が高く、起こり得る行動パターンはバリエーションに富み、個人差もあるため、定義した特定の行動パターンや判定ルールとの照合では、複雑で様々な種類の不審行動に対応することは難しい。
【０００６】
また、先行技術文献にある発明では監視対象とする行動パターンの定義や判定ルールの設定はシステムの設計者などが行うので監視対象行動パターンの定義・判定ルールの設定がそのシステム設計者の主観に基づくものになりやすいことや、判定のための制御パラメータが多くてその設定具合にばらつきが出易いことなどから客観的かつ信頼性の高い不審行動の検出を行うことが難しいという問題があった。
【０００７】
本発明は、上記の問題を解決しようとするものであり、場所・時間・動作による不審（異常）行動の定義が困難な広域エリアにおいて、多様で複雑な行動パターンの監視対象においても客観的な基準でより信頼性の高い不審行動の検知を行うことのできる不審行動検知方法および不審行動検知装置を提供することを目的としている。
【課題を解決するための手段】
【０００８】
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
【０００９】
［１］処理部が、カメラから入力される画像内の人物を追尾すると共に、前記追尾中に、その追尾中の人物の動作が予め定めた基本動作らしさの度合いを示す信頼度を、複数種類の前記基本動作のそれぞれについて繰り返し導出し、前記基本動作毎の信頼度を時系列にした基本動作信頼度時系列データに基づいて、前記人物の行動が不審行動であるか否かを判定する
ことを特徴とする不審行動検知方法。
【００１０】
上記［１］および後述する［８］の発明では、追尾中の各時点で、追尾中の人物の動作が予め定めた基本動作らしさの度合いを示す信頼度を複数の基本動作のそれぞれについて求め、これを時系列にした基本動作信頼度時系列データを作成し、この基本動作信頼度時系列データに基づいて、その人物の行動が不審行動か否かを判定する。基本動作は、「佇む」、「歩く」、「走る」、「屈む」などで人の行動パターンの要素となる動作である。基本動作を時系列に繋ぐことで、人の行動パターンが形成される。
【００１１】
各時刻での人の動作をいずれか１つの基本動作に特定する場合には、ある基本動作から別の基本動作へ遷移する間などにおいては基本動作特定精度が低くなる。本発明では、各時刻での人の動作をいずれか１つの基本動作に特定するのではなく、基本動作毎の信頼度を求め、これを時系列にした基本動作信頼度時系列データをもとに、行動パターンを分析して不審行動か否かを判定するので、基本動作遷移時の基本動作特定誤りの影響に左右されずに不審行動を検知することができる。
【００１２】
［２］前記基本動作信頼度時系列データが複数人分登録されたデータベースを有し、
前記処理部は、判定対象の人物に関する基本動作信頼度時系列データと前記データベースに登録されている基本動作信頼度時系列データとに基づく統計的手法によって、前記人物の行動が不審行動であるか否かを判定する
ことを特徴とする［１］に記載の不審行動検知方法。
【００１３】
上記［２］および後述する［９］の発明では、判定対象人物の追尾中に取得した基本動作信頼度時系列データと、予めデータベースに多数記憶されている基本動作信頼度時系列データとを統計的に対比することで、その人物の行動が不審行動であるか否かが判定される。データベースに記憶されているサンプルデータとの統計的手法による比較によって判定するので、不審行動の行動パターンをシステムの設計者などが定義する場合に比べて、客観的な判定が可能になる。また、不審行動パターンを定義する手間が不要になる。
【００１４】
［３］前記データベースは、正常行動に関する前記基本動作信頼度時系列データを登録したものである
ことを特徴とする［２］に記載の不審行動検知方法。
【００１５】
上記［３］および後述する［１０］の発明では、多数のサンプルを採取可能な正常行動（例えば、人の日常的な行動）に関する基本動作信頼度時系列データをデータベースに登録し、この正常行動の行動パターンと追尾中の人物の行動とが統計的手法で対比されて不審行動か否かの判定が行われる。
【００１６】
［４］前記処理部は、統計的手法により、判定対象の人物に関する基本動作信頼度時系列データの、前記データベースに登録されている正常行動に関する基本動作信頼度時系列データからの外れ度合いを導出し、該外れ度合いに基づいて前記人物の行動が不審行動であるか否かを判定する
ことを特徴とする［３］に記載の不審行動検知方法。
【００１７】
上記［４］および後述する［１１］の発明では、正常行動からの外れ度合いに基づいて、たとえば、外れ度合いが閾値以上の場合に、不審行動と判定する。
【００１８】
［５］前記データベースは、不審行動に関する前記基本動作信頼度時系列データを登録したものである
ことを特徴とする［２］に記載の不審行動検知方法。
【００１９】
上記［５］および後述する［１２］の発明では、不審行動に関する基本動作信頼度時系列データをデータベースに登録し、この不審行動の行動パターンと追尾中の人物の行動とが統計的手法で対比されて不審行動か否かの判定が行われる。たとえば、不審行動パターンとの類似度が閾値以上の場合に、追尾中の人物の行動を不審行動と判定する。
【００２０】
［６］前記データベースは、正常行動に関する前記基本動作信頼度時系列データを登録した第１データベースと、不審行動に関する前記基本動作信頼度時系列データを登録した第２データベースとを含み、
前記処理部は、判定対象の人物に関する基本動作信頼度時系列データと前記第１データベースに登録されている基本動作信頼度時系列データとに基づいて前記人物の行動が正常行動である度合いを示す正常度を導出し、前記判定対象の人物に関する基本動作信頼度時系列データと前記第２データベースに登録されている基本動作信頼度時系列データとに基づいて前記人物の行動が不審行動である度合いを示す不審度を導出し、前記正常度と前記不審度とに基づいて前記人物の行動が不審行動であるか否かを判定する
ことを特徴とする［２］に記載の不審行動検知方法。
【００２１】
上記［６］および後述する［１３］の発明では、正常行動に関する基本動作信頼度時系列データを登録した第１データベースと、不審行動に関する基本動作信頼度時系列データを登録した第２データベースとを備え、これらを併用して不審行動か否かが判定される。
【００２２】
［７］前記正常度が第１閾値未満であること、もしくは、前記不審度が第２閾値以上であることの少なくとも一方が真であれば、前記人物の行動は不審行動であると判定する
ことを特徴とする［６］に記載の不審行動検知方法。
【００２３】
上記［７］および後述する［１４］の発明では、正常行動との類似度合いを示す正常度が第１閾値未満の場合（正常行動ではない場合）と、不審行動との類似度合いを示す不審度が第２閾値以上の場合（不審な行動である場合）とをいずれも不審行動と判定することで、不審行動の検知漏れを低減することができる。
【００２４】
［８］カメラから入力される画像内の人物を追尾する追尾部と、
前記追尾部による追尾中に、その追尾中の人物の動作が予め定めた基本動作らしさの度合いを示す信頼度を、複数種類の前記基本動作のそれぞれについて繰り返し導出する導出部と、
前記導出部によって導出された前記基本動作毎の信頼度を時系列にした基本動作信頼度時系列データを記憶する記憶部と、
前記記憶部に記憶されている前記基本動作信頼度時系列データに基づいて、前記人物の行動が不審行動であるか否かを判定する不審判定部と、
を有する
ことを特徴とする不審行動検知装置。
【００２５】
［９］前記基本動作信頼度時系列データが複数人分登録されたデータベースを有し、
前記不審判定部は、前記記憶部に記憶されている判定対象の人物に関する基本動作信頼度時系列データと前記データベースに登録されている基本動作信頼度時系列データとに基づく統計的手法によって、前記人物の行動が不審行動であるか否かを判定する
ことを特徴とする［８］に記載の不審行動検知装置。
【００２６】
［１０］前記データベースは、正常行動に関する前記基本動作信頼度時系列データを登録したものである
ことを特徴とする［９］に記載の不審行動検知装置。
【００２７】
［１１］前記不審判定部は、統計的手法により、判定対象の人物に関する基本動作信頼度時系列データの、前記データベースに登録されている正常行動に関する基本動作信頼度時系列データからの外れ度合いを導出し、該外れ度合いに基づいて前記人物の行動が不審行動であるか否かを判定する
ことを特徴とする［１０］に記載の不審行動検知装置。
【００２８】
［１２］前記データベースは、不審行動に関する前記基本動作信頼度時系列データを登録したものである
ことを特徴とする［９］に記載の不審行動検知装置。
【００２９】
［１３］前記データベースは、正常行動に関する前記基本動作信頼度時系列データを登録した第１データベースと、不審行動に関する前記基本動作信頼度時系列データを登録した第２データベースとを含み、
前記不審判定部は、前記記憶部に記憶されている判定対象の人物に関する基本動作信頼度時系列データと前記第１データベースに登録されている基本動作信頼度時系列データとに基づいて前記人物の行動が正常行動である度合いを示す正常度と、前記記憶部に記憶されている前記判定対象の人物に関する基本動作信頼度時系列データと前記第２データベースに登録されている基本動作信頼度時系列データとに基づいて前記人物の行動が不審行動である度合いを示す不審度とを導出し、前記正常度と前記不審度に基づいて前記人物の行動が不審行動であるか否かを判定する
ことを特徴とする［９］に記載の不審行動検知装置。
【００３０】
［１４］前記不審判定部は、前記正常度が第１閾値未満であること、もしくは、前記不審度が第２閾値以上であることの少なくとも一方が真であれば、前記人物の行動は不審行動であると判定する
ことを特徴とする［１３］に記載の不審行動検知装置。
【発明の効果】
【００３１】
本発明に係る不審行動検知方法、不審行動検知装置によれば、不審行動について客観的な基準でより信頼性の高い検知を行うことができる。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施の形態に係る不審行動検知装置の概略構成を示すブロック図である。
【図２】不審行動検知装置が行う処理を示す流れ図である。
【図３】オブジェクトデータテーブルを示す説明図である。
【図４】駐車場における人の基本動作を列挙した説明図である。
【図５】基本動作信頼度行列を示す説明図である。
【図６】信頼度導出部が有する、基本動作別信頼度導出部の構成例を示すブロック図である。
【図７】信頼度導出部での処理を示す流れ図である。
【図８】特徴量時系列データの蓄積状態を例示した説明図である。
【図９】特徴量時系列データの取り出し方を示す説明図である。
【図１０】基本動作信頼度行列更新処理（図２のステップＳ１４）の詳細を示す流れ図である。
【図１１】行動不審度導出判定処理（図２のステップＳ１６、Ｓ１７）の概要を示す説明図である。
【図１２】行動不審度導出判定処理（図２のステップＳ１６、Ｓ１７）の概要の他の例を示す説明図である。
【図１３】不審行動の判定に使用する判定論理表を示す説明図である。
【図１４】行動不審度導出部が行う不審度導出処理の一例を示す説明図である。
【図１５】行動不審度導出処理（図２のステップＳ１６）のうち不審度を求める部分の処理の詳細を示す流れ図である。
【図１６】行動不審度導出処理（図２のステップＳ１６）のうち正常度を求める部分の処理の詳細を示す流れ図である。
【図１７】不審度から不審判定を行う行動不審度導出判定処理の詳細を示す流れ図である。
【図１８】正常度から不審判定を行う行動不審度導出判定処理の詳細を示す流れ図である。
【図１９】人の行動パターンと、その行動パターンに対して導出される正常度、不審度の遷移を例示した説明図である。
【図２０】不審行動検知装置の処理部の追尾部が追尾するオブジェクトの状態遷移図である。
【図２１】不審行動検知装置の処理部が行うオブジェクトの追尾判別処理の各処理フェーズを示す説明図である。
【図２２】追尾判別処理を示す流れ図である。
【図２３】探索ブロックによるオブジェクト探索の概略を示す説明図である。
【図２４】処理対象の画像（１フレーム分の画像）を複数の分割ブロックに分割した状態の一例を示す説明図である。
【図２５】オブジェクト追尾・探索処理（図２２；ステップＳ１０５）を示す流れ図である。
【図２６】探索ブロック発生処理（図２５；ステップＳ１２２）を示す流れ図である。
【図２７】探索ブロックの原点（px0,py0）と中心位置(px,py)との関係を示す説明図である。
【図２８】探索ブロックデータテーブルを示す説明図である。
【図２９】ＨＳＶ色空間累積ヒストグラムの一例を示す説明図である。
【図３０】適合度更新処理（図２５：ステップＳ１２３）の詳細を示す流れ図である。
【図３１】探索ブロック中心・追尾対象のオブジェクト重心間の距離と適合度との関係を示す説明図である。
【図３２】分割ブロック領域ＩＤ割り当て処理（図２５：ステップＳ１２４）の詳細を示す流れ図である。
【図３３】探索ブロック消去処理（図２５：ステップＳ１２５）の詳細を示す流れ図である。
【図３４】探索ブロックリサンプリング処理（図２５：ステップＳ１２８）の詳細を示す流れ図である。
【図３５】探索ブロックリサンプリング処理で生成されるルーレットの一例を示す説明図である。
【図３６】探索ブロックリサンプリング処理による探索ブロックの置き換え状況の一例を示す説明図である。
【図３７】探索ブロック更新処理（図２５：ステップＳ１２９）の詳細を示す流れ図である。
【図３８】交差の前後での探索ブロックによるオブジェクトの追尾・探索状況の一例を示す説明図である。
【図３９】人・車両判別処理（図２２：ステップＳ１１１）の詳細を示す流れ図である。
【発明を実施するための形態】
【００３３】
以下、図面に基づき本発明の実施の形態を説明する。
【００３４】
図１は、本発明の実施の形態に係る不審行動検知装置１０の概略構成を示している。本実施の形態の不審行動検知装置１０は、複数の物体や人物が存在する広いエリア内で行動する不審人物を検知する監視カメラシステムである。本実施の形態では、広い駐車場内で不審人物の監視を行う監視カメラシステムを例に説明する。すなわち、カメラ画像内から検出された移動物体が人か車両かを判別し、人であると判別した場合にその行動を解析して不審行動か否かを判定し、不審行動を検知した場合は監視員に対して注意喚起する等の機能を果たす。カメラは広い範囲を撮影しており、その撮影領域内を通過する人の「見え方」は様々に変化し得る。
【００３５】
不審行動検知装置１０は、監視対象エリアを撮影して画像を取り込むためのカメラ部１１と、カメラ部１１によって取り込まれた画像を解析して物体を検出し、その物体の追尾・探索および物体の種類の判別、人の行動解析などの処理を行う処理部１２と、処理部１２の処理結果を出力する出力部１４と、当該不審行動検知装置１０に対する各種の設定や処理に関する指示の入力を受ける入力部１３と、物体の種類の判別や人の行動を解析する際の参照データが蓄積されたデータベース部１５とを備えて構成される。カメラ部１１、出力部１４、入力部１３、データベース部１５はそれぞれ処理部１２に接続されている。以後、画像データにおいて認識された物体はオブジェクトと呼ぶ。
【００３６】
カメラ部１１は動画を撮影する。カメラ部１１は、フレーム毎の画像（１画面分の静止画像）を１秒間に数十フレーム取り込むことで動画を撮影する機能を果たす。処理部１２は、ＣＰＵ（Central Processing Unit）と、このＣＰＵが実行するプログラムやデータが記憶されたＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）などを主要部として構成される。
【００３７】
処理部１２は、カメラ部１１から入力される画像内のオブジェクトを追尾・探索する追尾部２１と、記憶部２２と、追尾部２１によるオブジェクトの追尾中に、そのオブジェクトの特徴情報を抽出し、該特徴情報を示す特徴量データを記憶部２２に記憶することを繰り返し行う蓄積制御部２３と、記憶部２２に記憶されている所定時間長以上のオブジェクトの特徴量データに基づいてオブジェクトの種類を判別する人・車両判別部２４と、人と判別されたオブジェクトの特徴量データに基づいてその人の行動を解析する基本動作・行動解析部２５の機能を備えている。
【００３８】
特徴量データは、たとえば、オブジェクトの形状、大きさ、縦横比、動き等である。特徴量データは時系列に記憶部２２に記憶される。蓄積制御部２３は、オブジェクトの追尾中は所定の時間間隔で特徴量データを記憶部２２に記憶させる。ここでは、フレーム毎に行う。なお、時系列にされた特徴量データを特徴量時系列データとする。
【００３９】
追尾部２１は、追尾対象のオブジェクト同士の交差や追尾対象のオブジェクトの障害物の背後への一時的な隠れといった現象が発生した場合でも、その前後で同一オブジェクトを同一のオブジェクトとして追尾する機能を備えている。
【００４０】
人・車両判別部２４は、追尾対象のオブジェクトが人か車両かを判別する機能を果たす。人・車両の判別は公知の任意の手法により行えばよい。
【００４１】
基本動作・行動解析部２５は、追尾中の人の行動が不審行動であるか否かを判定する機能を果たす。詳細には、信頼度導出部２５ａと、行動不審度導出部２５ｂと、不審判定部２５ｃとしての機能を果たす。信頼度導出部２５ａは、人の追尾中の複数時点で、その追尾中の人の動作が予め定めた基本動作（「歩く」、「屈む」など）らしさの度合い（信頼度）を、予め定めた複数種類の基本動作のそれぞれについて導出する。行動不審度導出部２５ｂは、信頼度導出部２５ａが導出した基本動作毎の信頼度を時系列にした基本動作信頼度時系列データと行動パターン信頼度時系列ＤＢ部１５ｄに記憶されている基本動作信頼度時系列データとから、その人物の行動が日常行動（正常行動）である度合い（正常度）、もしくは該正常度に加えて、該人物の行動が不審行動である度合い（不審度）を導出する。不審判定部２５ｃは、行動不審度導出部２５ｂが導出した正常度や不審度に基づいてその人物の行動が不審行動か否かを判定する。
【００４２】
データベース部１５は、人に関する形状等の特徴量データが蓄積された人特徴ＤＢ部１５ａと、車両に関する形状等の特徴量データが蓄積された車両特徴ＤＢ部１５ｂと、人の基本動作に関する特徴量時系列データ等が蓄積された基本動作特徴量時系列ＤＢ部１５ｃと、行動パターン信頼度時系列ＤＢ部１５ｄとを備えて構成される。行動パターン信頼度時系列ＤＢ部１５ｄは、人の日常行動に関する行動パターン（日常行動に関する基本動作信頼度時系列データ）が蓄積された日常行動パターン関連信頼度時系列ＤＢ１５ｄ１と人の不審行動に関する行動パターン（不審行動に関する基本動作信頼度時系列データ）が蓄積された不審行動パターン関連信頼度時系列ＤＢ１５ｄ２とを備えて構成される。
【００４３】
たとえば、駐車場内での日常行動の行動パターンとしては、車両の近くを通りすぎる、車両から降りて立ち去る、車両に近づきすぐに乗車する、などである。不審行動の行動パターンとしては、車上荒らしや車両盗難などの犯罪行為が行われる際の行動パターンである。たとえば、車両の周りを回ってから乗車する、車両の近くで一定時間以上屈んだ後に乗車する、などは不審行動の行動パターンとなる。
【００４４】
人・車両判別部２４は、人特徴ＤＢ部１５ａに蓄積されている特徴量データを参照比較してオブジェクトが人か否かの判別を行い、車両特徴ＤＢ部１５ｂに蓄積されている特徴量データを参照比較してオブジェクトが車両か否かの判別を行う。
【００４５】
信頼度導出部２５ａは、人と判別されたオブジェクトの過去所定時間における動き等特徴量時系列データと基本動作特徴量時系列ＤＢ部１５ｃに蓄積されている予め定めた基本動作に関する特徴量時系列データとから統計的手法により、基本動作毎の信頼度を導出する。基本動作・行動解析部２５が導出した基本動作毎の信頼度は、これらを時系列にした基本動作信頼度時系列データとして記憶部２２などに記憶される。
【００４６】
行動不審度導出部２５ｂは、信頼度導出部２５ａにより導出される基本動作信頼度時系列データと、行動パターン信頼度時系列ＤＢ部１５ｄの日常行動パターン関連信頼度時系列ＤＢ１５ｄ１に蓄積記憶されている日常行動に関する基本動作信頼度時系列データとから統計的手法により、その人の行動が正常行動である度合いを示す正常度を導出する。もしくは該正常度に加えて、信頼度導出部２５ａにより導出される基本動作信頼度時系列データと行動パターン信頼度時系列ＤＢ部１５ｄの不審行動パターン関連信頼度時系列ＤＢ１５ｄ２に蓄積記憶されている不審行動に関する基本動作信頼度時系列データとから統計的手法により、その人の行動が不審行動である度合いを示す不審度を導出する。もしくは該不審度に関しては、信頼度導出部２５ａにより導出される基本動作信頼度時系列データと行動パターン信頼度時系列ＤＢ部１５ｄの日常行動パターン関連信頼度時系列ＤＢ１５ｄ１に蓄積記憶されている日常行動に関する基本動作信頼度時系列データとから統計的手法により、その人の行動の日常行動からの外れ度合いとして、該不審度を導出する。
【００４７】
出力部１４は、処理結果のデータ信号を外部に出力するためのインターフェース回路、各種設定画面や操作画面、処理結果等を視覚的に表示するためのディスプレイ装置などで構成される。入力部１３は、各種の設定や処理に関する指示に係る信号を入力するためのインターフェース回路のほか、各種の操作スイッチなどで構成される。
【００４８】
次に、不審行動検知装置１０が行う処理について説明する。
【００４９】
図２は、不審行動検知装置１０が行う処理の流れを示している。なお、追尾部２１、記憶部２２、蓄積制御部２３、人・車両判別部２４に関する処理の詳細例は後述する。ここでは、カメラ部１１から入力された画像を解析してオブジェクトの追尾が行われ、それら各オブジェクトが人であるか車両であるかが判別されているものとし、基本動作・行動解析部２５が行う処理を主として説明する。
【００５０】
なお、追尾中の各オブジェクトについて、図３に示すオブジェクトデータテーブル３０が作成される。オブジェクトデータテーブル３０は、新たなオブジェクトが検出される毎に作成され、そのオブジェクトが消滅するまで１フレームの画像を処理する毎に更新される。
【００５１】
オブジェクトデータテーブル３０には、オブジェクトＩＤ（obj_id）と、オブジェクト種類（obj_typeobj_id）と、オブジェクト状態（obj_stateobj_id）と、オブジェクト不審判定フラグ（suspicious_flagobj_id）と、オブジェクト存在継続時間（obj_timeobj_id）と、オブジェクト領域左端位置（obj_lxobj_id）と、オブジェクト領域右端位置（obj_rxobj_id）と、オブジェクト領域上端位置（obj_tyobj_id）と、オブジェクト領域下端位置（obj_bｙobj_id）と、オブジェクト領域重心位置（水平方向）（obj_gxobj_id）と、オブジェクト領域重心位置（垂直方向）（obj_gyobj_id）と、オブジェクトの大きさ（obj_sizeobj_id）と、オブジェクトの縦横比（obj_aspectobj_id）と、オブジェクトの動きベクトル（水平方向）（obj_dxobj_id）と、オブジェクトの動きベクトル（垂直方向）（obj_dyobj_id）と、オブジェクト-最近傍車両間距離（obj_car_distobj_id）とが登録される。
【００５２】
オブジェクトＩＤ（obj_id）は、当該オブジェクトに固有に割り当てられた識別子である。オブジェクト種類（obj_typeobj_id）は、当該オブジェクトが人と判別済みのオブジェクト（以下、人オブジェクトとも呼ぶ。）であるか車両と判別済みのオブジェクト（以下、車両オブジェクトとも呼ぶ。）であるか未判別のオブジェクトであるかを示す。オブジェクト状態（obj_stateobj_id）は、当該オブジェクトの状態が、追尾中（ACTIVE）か一時的な消失中（LOST）かなどを示す。不審判定フラグ（suspicious_flagobj_id）は、当該オブジェクトが人の場合にセットされ不審者（不審行動を行った人）と判定された人オブジェクトか否かを示す。オブジェクト-最近傍車両間距離（obj_car_distobj_id）は、当該オブジェクトが人の場合にセットされ、最も近い車両までの距離を示す。
【００５３】
図２に戻って説明を続ける。処理部１２は、フレーム時刻ｔを０に初期化した（ステップＳ１）後、追尾中のオブジェクトの中に人と判別されたオブジェクト（人オブジェクト）が存在するか否かを確認する（ステップＳ２）。追尾中の人オブジェクト（追尾人物）が存在しなければ（ステップＳ３；Ｎｏ）、フレーム時刻ｔを＋１して（ステップＳ２２）、ステップＳ２に移行して処理を継続する。なお、処理部１２は、ステップＳ２〜Ｓ２２の処理を、カメラ部１１から１フレームの画像（もしくは所定の複数フレーム）を取り込む毎に実行する。
【００５４】
追尾中の人オブジェクト（追尾人物）が存在すれば（ステップＳ３；Ｙｅｓ）、消滅した人オブジェクト（消滅人物）が存在するか否かを確認する（ステップＳ４）。消滅した人オブジェクトが存在しない場合は（ステップＳ４；Ｎｏ）、ステップＳ９へ移行する。消滅した人オブジェクトが存在する場合は（ステップＳ４；Ｙｅｓ）、消滅したすべての人オブジェクトのオブジェクトデータテーブル３０をクリアして（ステップＳ５〜Ｓ８）、ステップＳ９へ移行する。
【００５５】
ステップＳ９では、処理対象の人オブジェクトの番号を示す変数ｉを０にクリアし、追尾している人オブジェクトのそれぞれについてステップＳ１０〜Ｓ２１の処理を行う。すなわち、不審判定フラグ（suspicious_flagobj_id(i)）がＯＮ状態（ＯＮは不審者を示す）か否かを調べ（ステップＳ１０）、ＯＮでなければ(ステップＳ１０；Ｎｏ)、当該人オブジェクトに関する特徴量時系列データを更新する（ステップＳ１１）。ここでは、フレーム毎のオブジェクトデータテーブル３０の内容（全部もしくは一部（上下左右の端位置、重心位置、動きベクトル、大きさ、縦横比、オブジェクト-最近傍車両間距離など））が、その人オブジェクトの特徴量データとされ、時系列にして（特徴量時系列データとして）記憶部２２に保存される。
【００５６】
次に、特徴量時系列データがＴｂ時間分以上蓄積されているか否かを調べ（ステップＳ１２）、蓄積量がＴｂ時間分に満たない場合は（ステップＳ１２；Ｎｏ）、ステップＳ２０へ移行する。Ｔｂ時間分以上蓄積されている場合は（ステップＳ１２；Ｙｅｓ）、Ｔｂ時間分以上蓄積された特徴量時系列データに基づいて、当該人オブジェクトの動きに関して、予め定めた基本動作毎の信頼度を導出する基本動作信頼度導出処理を行う（ステップＳ１３）。
【００５７】
図４は、駐車場における人の基本動作を列挙したものである。ここでは「佇む」、「歩く」、「走る」、「屈む」、「乗車（消失）」、「降車（出現）」を基本動作とする。基本動作「佇む」の信頼度をＲｓｔａｎｄ、基本動作「歩く」の信頼度をＲｗａｌｋ、基本動作「走る」の信頼度をＲｒｕｎ、基本動作「屈む」の信頼度をＲｂｅｎｄ、基本動作「乗車（消失）」の信頼度をＲｉｎｔｏ_ｃａｒ、基本動作「降車（出現）」の信頼度をＲｏｕｔｏｆ_ｃａｒ、とする。
【００５８】
続いて、求めた基本動作毎の信頼度により、基本動作信頼度時系列データを更新する（図２、ステップＳ１４）。ここでは、対象となる各基本動作の最新Ｔａ時間分の信頼度を、図５に示すような基本動作信頼度行列にして記憶しかつ更新する。なお、Ｔａ＞Ｔｂ とする。たとえば、Ｔａは１０秒、Ｔｂは１秒に設定される。
【００５９】
続いて特徴量時系列データ（基本動作信頼度時系列データ）がＴａ時間分以上蓄積されているか否かを調べ（ステップＳ１５）、蓄積量がＴａ時間分に満たない場合は（ステップＳ１５；Ｎｏ）、ステップＳ２０へ移行する。Ｔａ時間分以上蓄積されている場合、すなわち、基本動作信頼度行列にＴａ時間分の基本動作信頼度データが蓄積された場合は（ステップＳ１５；Ｙｅｓ）、該基本動作信頼度行列として蓄積された基本動作信頼度時系列データに基づいて、当該人オブジェクトの行動に関する不審度（あるいは正常度と不審度）を導出する行動不審度導出処理を行う（ステップＳ１６）。
【００６０】
求めた不審度、あるいは正常度および不審度に基づいて不審行動か否かを判定し、不審行動であると判定した場合は（ステップＳ１７；Ｙｅｓ）、不審判定フラグ（suspicious_flagobj_id(i)）をＯＮにし(ステップＳ１８)、アラーム表示を行って(ステップＳ１９)、ステップＳ２０へ移行する。なお、ここでは、不審度に基づく判定の場合は、不審度が所定の閾値Ｔｈ２以上である場合に不審行動であると判定する。正常度と不審度に基づく判定では、正常度が所定の閾値Ｔｈ１未満であることと不審度が所定の閾値Ｔｈ２以上であることのいずれかが真の場合は不審行動であると判定する。
【００６１】
不審判定フラグ（suspicious_flagobj_id(i)）が既にＯＮになっている場合は（ステップＳ１０；Ｙｅｓ）、アラーム表示を行って(ステップＳ１９)、ステップＳ２０へ移行する。
【００６２】
ステップＳ２０では、変数ｉを＋１し、加算後の変数ｉが追尾中の全人オブジェクトの数に等しいか否かを調べ（ステップＳ２１）、等しくない場合は（ステップＳ２１；Ｎｏ）、ステップＳ１０に戻り、次の人オブジェクトについて処理を行う。等しい場合は（ステップＳ２１；Ｙｅｓ）、フレーム時刻ｔを＋１し（ステップＳ２２）、ステップＳ２に戻って次フレーム画像に対する処理を行う。
【００６３】
次に、基本動作信頼度導出処理（図２のステップＳ１３）について説明する。
【００６４】
図６は、信頼度導出部２５ａが有する、基本動作別信頼度導出部２６の構成例を示している。図６の基本動作別信頼度導出部２６は１つの基本動作に関する信頼度を求めるための構成であり、信頼度導出部２５ａは、対象とする基本動作の数だけ基本動作別信頼度導出部２６を備えている。
【００６５】
基本動作別信頼度導出部２６は、複数個（ここではＭｆ個）の判別器２７と、これらＭｆ個の判別器２７の出力値にそれぞれ重み係数を乗じた値を加算（荷重和）する加算器２８を備えている。加算器２８の出力Ｒｊは予め定めた特定の基本動作に対する信頼度である。判別器２７はそれぞれ、当該基本動作別信頼度導出部２６が対象とする基本動作（たとえば、「屈む」）か否かの判別に寄与するいずれかの特徴量データに関して、所定時間分の特徴量時系列データセット（たとえば、Ｔｂ時間分（時系列にされたＴｂ個）の特徴量データセット）として入力し、該当の基本動作らしさの度合いを示す数値を信頼度Ｒｊとして出力する。たとえば、判別器２７は、オブジェクトの形状、大きさ、移動速度、移動パターンなどの特徴量データ別に設けられ、各判別器２７はその判別器２７に寄与する特徴量の時系列データセットに基づいて基本動作らしさを判定する。各判別器２７は、対象とする基本動作を行う人の動きの多数のサンプル等によってあらかじめチューニング（重み係数α１〜αＭfを調整）されている。ここでは、対象の基本動作である可能性が高いほど、Ｍｆ個の判別器２７の出力の荷重和Ｒｊが大きな値となるようにされている。
【００６６】
図７は、信頼度導出部２５ａでの処理を流れ図として示したものである。同図においてｉは信頼度を求める基本動作の識別番号であり、ｍは各判別器２７の識別番号である。図７では、１つの基本動作についての信頼度を求める処理（ステップＳ３４〜Ｓ３７）を、基本動作の個数分繰り返すようになっている。詳細には、変数ｉを１に初期化し(ステップＳ３１)、ｉ番目の基本動作に関する信頼度Ｒｉｊを０に初期化し（ステップＳ３２）、変数ｍを１に初期化する(ステップＳ３３)。Ｓ３４〜Ｓ３７では、Ｍｆ個の判別器２７の出力値にそれぞれ重み係数を乗じた値を加算している。
【００６７】
図８は、特徴量時系列データの蓄積状態を例示している。特徴量時系列データの記憶領域Ｆは、現在時刻から最大でＬmax時間前までの特徴量データを時系列に保存するようになっている。なお、Ｌmax＞Ｔａ＞Ｔｂとする。記憶領域Ｆは、たとえば、記憶部２２に設けられる。同図（ａ）は、基本動作信頼度の導出に必要なＴｂ時間長の特徴量時系列データが蓄積された状態を示している。記憶領域Ｆは詰まっておらず、空き領域がある。同図（ｂ）は、行動パターン不審判定に必要なＴａ時間長の特徴量時系列データが蓄積された状態を示している。記憶領域Ｆはまだ詰まっておらず、空き領域がある。同図（ｃ）は、記憶領域Ｆに特徴量時系列データが詰まった状態を示している。以後は、１つずつ左へシフトされて最も古いデータが廃棄され、右端の空いた領域に最新のデータが記憶される。すなわち、ＦＩＦＯ（First in First out）形式で記憶内容の更新が行われる。
【００６８】
図９は、信頼度導出部２５ａ（各基本動作別信頼度導出部２６の判別器２７）に入力する、時間長Ｔｂ分の特徴量時系列データを、図８の記憶領域Ｆから取り出す際の、取り出し方を例示している。図９（ａ）は、時間長Ｔｂの時系列区間毎に区切って入力する場合を、図９（ｂ）は、時間長Ｔｂの時系列区間（ウィンドウ）をスライドさせて入力する場合を示している。
【００６９】
図１０は、基本動作信頼度行列更新処理（図２のステップＳ１４）の詳細を示している。まず、記憶領域Ｆに保存されている時間長Ｔａの時刻データの個数Ｎｔａ＿ｄａｔａを確認する（ステップＳ５１）。ここで、「時刻データ」とは、図２に記載されているフレーム時刻ｔを基準とする、該基準時刻ｔより過去Ｔａ時間長分のデータ（基準時刻ｔにおける基本動作信頼度行列データ）である。ステップＳ５１で時刻データの個数Ｎｔａ＿ｄａｔａを確認した後、該Ｎｔａ＿ｄａｔａ個分の時間長Ｔａの基本動作信頼度行列データの更新を行う（ステップＳ５２〜Ｓ６２）。
【００７０】
図１１は、行動不審度導出判定処理（図２のステップＳ１６、Ｓ１７）に関する処理の概要を示している。図１１では、行動不審度導出部２５ｂは、日常行動パターン関連信頼度時系列ＤＢ１５ｄ１に保存されている多数の日常行動に関する行動パターンデータ（基本動作信頼度時系列データ（基本動作信頼度行列））をもとに所定の統計処理を行って代表となる日常行動パターン（代表日常行動パターン）を導出し、これと処理対象の時刻ｔにおける基本動作信頼度行列とを比較し、処理対象の基本動作信頼度行列が示す行動パターンの代表日常行動パターンからの外れ度合いを、不審度として導出する、といった処理を行う。不審判定部２５ｃは、行動不審度導出部２５ｂの出力する不審度が予め定めた閾値Ｔｈ２以上の場合は、不審行動であると判定する。
【００７１】
図１２は、行動不審度導出判定処理（図２のステップＳ１６、Ｓ１７）に関する処理の概要の他の例を示している。図１２では、行動不審度導出部２５ｂは正常度導出処理部２５ｂ１と不審度導出処理部２５ｂ２とから構成される。正常度導出処理部２５ｂ１には時刻ｔにおける基本動作信頼度行列と日常行動パターン関連信頼度時系列ＤＢ１５ｄ１に記憶されている基本動作信頼度時系列データ（基本動作信頼度行列）が入力され、不審度導出処理部２５ｂ２には時刻ｔにおける基本動作信頼度行列と不審行動パターン関連信頼度時系列ＤＢ１５ｄ２に記憶されている基本動作信頼度時系列データ（基本動作信頼度行列）が入力される。
【００７２】
正常度導出処理部２５ｂ１は、日常行動パターン関連信頼度時系列ＤＢ１５ｄ１に保存されている多数の日常行動に関する行動パターンデータ（基本動作信頼度時系列データ（基本動作信頼度行列））をもとに所定の統計処理を行って代表となる日常行動パターン（代表日常行動パターン）を導出し、これと処理対象の時刻ｔにおける基本動作信頼度行列との比較から、代表日常行動パターンに対する処理対象の基本動作信頼度行列が示す行動パターンの類似度を、正常度として導出する、といった処理を行う。
【００７３】
不審度導出処理部２５ｂ２は、不審行動パターン関連信頼度時系列ＤＢ１５ｄ２に保存されている不審行動に関する行動パターンデータ（基本動作信頼度時系列データ（基本動作信頼度行列））をもとに所定の統計処理を行って代表となる不審行動パターン（代表不審行動パターン）を導出し、これと処理対象の時刻ｔにおける基本動作信頼度行列との比較から、代表不審行動パターンに対する処理対象の基本動作信頼度行列が示す行動パターンの類似度を、不審度として導出する、といった処理を行う。
【００７４】
不審判定部２５ｃは、正常度導出処理部２５ｂ１が出力する正常度と不審度導出処理部２５ｂ２が出力する不審度に基づいて判定対象の人の行動が不審行動であるか否かを判定する。図１３は、この判定に使用する判定論理表４０を示している。不審度が閾値Ｔｈ２以上である条件と正常度が閾値Ｔｈ１未満である条件の少なくとも一方が満足される場合は不審行動であると判定する。
【００７５】
図１４は、行動不審度導出部２５ｂが行う不審度導出処理の一例を示している。このうち図１４（ａ）は、図１１で説明した手法の概要を示している。すなわち、日常行動パターン関連信頼度時系列ＤＢ１５ｄ１に保存されている多数の日常行動に関する行動パターンデータに対して所定の統計処理を行って代表日常行動パターン（unormal：日常行動パターンDB代表行列）を導出し、基本動作信頼度行列（mtx_rel ref_t：時刻tにおける基本動作信頼度行列）が示す行動パターンの代表日常行動パターンからの外れ度合い（距離：dist (u normal,mtx_rel ref_t)）を、不審度（S ref_tsuspicious）として導出する。図１４（ｂ）は、図１２で説明した手法の概要を示している。すなわち、不審行動パターン関連信頼度時系列ＤＢ１５ｄ２に保存されている不審行動パターンデータに対して所定の統計処理を行って導出される代表不審行動パターンを示す代表行列と、時刻ｔにおける基本動作信頼度時系列データ（基本動作信頼度行列）との類似度を不審度として求めている。これらの手法は一例であり、他の手法により不審度や正常度を求めてもかまわない。
【００７６】
図１５、図１６は、行動不審度導出処理（図２のステップＳ１６）の詳細を示している。図１５は不審度を、図１６は正常度をそれぞれ導出する処理である。いずれの処理においても、まず、記憶領域Ｆに保存されている時間長Ｔａの時刻データの個数Ｎｔａ＿ｄａｔａを確認する（図１５：ステップＳ７１、図１６：ステップＳ８１）。そして、Ｎｔａ＿ｄａｔａ個分の時間長Ｔａの基本動作信頼度行列データが表わす行動パターンの不審度・正常度を導出する（図１５：ステップＳ７２〜Ｓ７８、図１６：ステップＳ８２〜Ｓ８８）。不審度についてはＮｔａ＿ｄａｔａ個のデータの中での最大値をサーチし、不審度最大値を最終的な不審度として導出している。正常度についてはＮｔａ＿ｄａｔａ個のデータの中での最小値をサーチし、正常度最小値を最終的な正常度として導出している。
【００７７】
この場合は、図１５、図１６の処理で導出した不審度最大値、正常度最小値を以って、行動不審判定処理(図２のステップＳ１７)において、図１３の判定論理表に基づき、人の行動の不審・正常判定を行う。
【００７８】
図１７、図１８は、図２の行動不審度導出処理（ステップＳ１６）と行動不審判定処理（ステップＳ１７）とを統合して処理の高速化を図った行動不審度導出判定処理を示している。図１７は不審度から不審判定を行う処理を、図１８は正常度から不審判定を行う処理をそれぞれ示している。図１５、図１６に示す処理と同一部分には同一のステップ番号を付してある。図１５、図１６に示す処理との相違点は、不審判定閾値Ｔｈ１・Ｔｈ２に基づく条件を１つでも満たす時刻データが存在した時点で（図１７：ステップＳ７５Ａ；Ｙｅｓ、図１８：ステップＳ８５Ａ；Ｙｅｓ）、「不審」と判定して（図１７：ステップＳ７５Ｂ、図１８：ステップＳ８５Ｂ）処理を終了させる点である。なお、図１３の判定論理表４０に従う場合には、不審度・正常度のどちらか一方のみでも不審判定閾値条件を満たせば「不審」と判定して図１７、図１８の両処理を終了させるようにすればよい。
【００７９】
図１７、図１８に示す処理では、記憶領域Ｆに保存されている全時刻データを確認する図１５、図１６に示す処理方式と比較して、処理の高速化を図ることができる。一方、図１５、図１６に示す処理では全保存時刻データについて処理を行うため、図１７、図１８に示す処理方式と比較して、行動不審・正常判定の信頼性を高めることができる。
【００８０】
図１９は、人の行動パターンと、その行動パターンに対して導出される正常度、不審度の遷移を例示している。同図（ａ）は人がカメラ撮影エリア内（検出対象エリアシーン中）に出現した状態であり、このときの正常度は高く、不審度は低くなっている（時刻Ｔ１）。同図（ｂ）は追尾中の人が車両を周回している場合であり、このとき不審度は高くなっている（時刻Ｔ２）。同図（ｃ）は追尾中の人が車両のドア前に屈みドア鍵をこじ開けようとしている場合であり、このとき不審度が高くなっている（時刻Ｔ３）。同図（ｄ）は追尾中の人がドアを開けた後、車両内へ侵入した場合であり、このとき不審度が高くなっている（時刻Ｔ４）。
【００８１】
たとえば、Ｔａを１０秒に設定すれば、その１０秒の間の行動パターンと日常行動パターンＤＢあるいは不審行動パターンＤＢとの対比から正常度・不審度が導出されて不審行動か否かが判定される。
【００８２】
不審行動と判定した場合には、たとえば、モニタに表示される監視画像上の該当人物の部分に警告マークを表示するなどの処理が行われる。
【００８３】
このように、駐車場内等での人の基本動作（「歩く」、「走る」、「屈む」、「佇む」など）に着目し、各時刻での人の動作をいずれか１つの基本動作に特定するのではなく、基本動作毎の信頼度を求め、これを時系列にした基本動作信頼度時系列データ（基本動作信頼度行列）をもとに、行動の不審度や正常度を導出するので、より信頼性の高い不審行動の検知ができる。なお、各時刻で、人の動作をいずれか１つの基本動作に特定する場合には、基本動作から別の基本動作へ遷移する間などにおいては基本動作特定精度が低くなるので、いずれか１つの基本動作に特定することが、その後の行動パターンの正常・不審判定精度を低下させてしまう。
【００８４】
また、本発明では、蓄積された日常行動パターンデータや不審行動パターンデータ（事実としてのサンプルデータ）と、追尾中の人の行動パターンデータとから統計的手法によって不審度や正常度を導出して不審行動か否かを判定するので、判定ルールをシステム設計者などが設定する場合と異なり、主観的な要素が入り難く、客観的な判定が可能になる。 特に、日常行動に関する行動パターンのデータは多数採取することができるので、日常行動パターンとの対比による判定の信頼性は高い。
【００８５】
また、判定ルールなどを定める場合と異なり、多くの条件（制御パラメータ）を設定する必要がなく、設定に関する手間が削減される。また設定する条件が少ないので、条件設定に基づく判定結果のばらつきが減り、判定の客観性も高まる。本実施の形態では、設定すべき制御パラメータは、図１１の判定を行う場合はＴａ，Ｔｂ、Ｔｈ２のみとなり、図１２の判定を行う場合はＴａ，Ｔｂ、Ｔｈ１、Ｔｈ２のみとなっている。
【００８６】
次に、追尾部２１、記憶部２２、蓄積制御部２３によるオブジェクトの追尾方法について説明する。
【００８７】
この追尾方法では、追尾対象のオブジェクト同士の交差や追尾対象のオブジェクトの障害物の背後への一時的な隠れといった現象が発生した場合でも、その前後で同一オブジェクトを同一のオブジェクトとして追尾することができるようになっている。なお、以下に示す追尾方法は、一例であり、追尾方法はこれに限定されるものではない。
【００８８】
図２０は、不審行動検知装置１０の追尾部２１が追尾するオブジェクトの状態遷移を表している。オブジェクトの状態は、未検出であるUNDETECTEDと、UNDETECTEDの状態で検出されたオブジェクトが追尾対象たり得るオブジェクトか否かを判定中のPENDING、追尾対象のオブジェクトと認定されかつ追尾成功中のACTIVE、追尾対象のオブジェクトであるが追尾失敗中（消失中あるいは探索中）のLOST、の４状態で管理される。
【００８９】
オブジェクト未検出の間はUNDETECTED状態が継続する（図中のＥ１）。UNDETECTED状態でオブジェクトが検出されるとPENDING状態に移行する（Ｅ２）。PENDING状態ではその継続時間を計時しており（Ｅ４）、PENDING状態で所定時間（PENDING_TIME）が経過するとそのオブジェクトはACTIVE状態に遷移する（Ｅ５）。PENDING状態からACTIVE状態に遷移する前に画像から消滅したオブジェクトはUNDETECTED状態に遷移し（Ｅ３）、追尾対象から外される。
【００９０】
ACTIVE状態ではその継続時間を計時している（Ｅ６）。ACTIVE状態のオブジェクトの追尾に失敗（当該オブジェクトが消失）するとそのオブジェクトはLOST状態に遷移し、ACTIVE状態の継続時間はリセットされる（Ｅ７）。LOST状態でもその継続時間を計時しており（Ｅ９）、継続時間が所定時間（LOST_TIME）経過すると、該オブジェクトは追尾対象から外されUNDETECTED状態になる（Ｅ１０）。LOST状態になってから所定時間（LOST_TIME）内に探索ブロックによる探索によって見出（検出）されたオブジェクトはACTIVE状態に戻る（Ｅ８）。
【００９１】
図２１は、不審行動検知装置１０の処理部１２が行うオブジェクトの追尾判別処理の各処理フェーズを示している。図２２は追尾判別処理の流れを示している。追尾判別処理では、オブジェクトの追尾と各オブジェクトが車両か人かの判別とを行う。図２１に示すように、追尾判別処理は、オブジェクト検出フェーズＰ１と、オブジェクト追尾・探索フェーズＰ２と、人・車両判別フェーズＰ３と、人オブジェクト抽出フェーズＰ４で構成される。オブジェクト検出フェーズＰ１は図２２の流れ図のステップＳ１０２〜Ｓ１０４が対応し、オブジェクト追尾・探索フェーズＰ２はステップＳ１０５〜Ｓ１１０が対応し、人・車両判別フェーズＰ３はステップＳ１１１が対応し、人オブジェクト抽出フェーズＰ４はステップＳ１１２、Ｓ１１３が対応する。なお、図２２の破線で示す処理ＳＡにおいて、図２のステップＳ２からＳ２１の処理を行うようにすれば、追尾と不審行動の検知とが１フレーム毎に行われるようになる。
【００９２】
＜オブジェクト検出フェーズＰ１＞
まず、フレーム時刻ｔを０に初期化し（図２２；ステップＳ１０１）、続いて、カメラ部１１によって取り込まれた処理対象の画像内からオブジェクト候補領域を検出する（ステップＳ１０２）。オブジェクト候補領域の検出は、フレーム間の差分処理、二値化処理など公知の手法により行う。
【００９３】
次に、処理対象の画像内においてオブジェクト候補領域が１つ以上検出されたかどうかを確認する（ステップＳ１０３）。１つ以上のオブジェクト候補領域が検出された場合は（ステップＳ１０３；Ｙｅｓ）、ステップＳ１０５へ移行する。オブジェクト候補領域が１つも検出されなかった場合は（ステップＳ１０３；Ｎｏ）、状態がLOSTのオブジェクト（以後、これをLOSTオブジェクトと呼ぶ。）が存在するか否かを確認する（ステップＳ１０４）。LOSTオブジェクトは、過去に追尾対象として検出されたオブジェクトが消失（追尾失敗）し、消失状態の継続時間が所定時間（LOST_TIME）未満のオブジェクトであり、後述する探索ブロックによって探索中のオブジェクトである。
【００９４】
１つ以上のLOSTオブジェクトが存在する場合は（ステップＳ１０４；Ｙｅｓ）、ステップＳ１１０へ移行する。LOSTオブジェクトが１つも存在しない場合は（ステップＳ１０４；Ｎｏ）、フレーム時刻ｔ＝ｔ＋１として（ステップＳ１１４）、ステップＳ１０２に戻り、カメラ部１１によって取り込まれる次のフレームの画像に対して同様の処理を行う。このように、オブジェクト検出フェーズＰ１は、オブジェクト候補領域が１つ以上存在するか否かを確認し、存在しない場合はオブジェクト候補領域が検出されるのを待つ状態である。
【００９５】
＜オブジェクト追尾・探索フェーズＰ２＞
ステップＳ１０５では、オブジェクト検出フェーズＰ１にて検出されたオブジェクト候補領域に対する追尾・探索処理を行う。オブジェクト追尾・探索処理では、前時刻の画像内のオブジェクトと現在時刻の画像内のオブジェクトとの対応付けを行う追尾処理と、隠れや交差により消失したオブジェクトを探索する探索処理とが行われる。追尾処理は動きベクトルなど公知の手法により行う。
【００９６】
消失したオブジェクトを探索するための探索処理は、新規に検出した追尾対象のオブジェクトに対して、その重心周辺に複数の探索ブロックを発生させ、その後は各探索ブロックを追尾対象のオブジェクトに追従させて移動させ、オブジェクト領域内の局所領域（ここでは、探索ブロック単位の領域）に着目して追尾を行う。探索ブロックは、オブジェクトを追尾・探索する際の単位領域である。消失したオブジェクトの探索が所定時間（LOST_TIME）内に成功しなかった場合は、探索しているオブジェクトは消滅したものとみなしてUNDETECTEDの状態にし、追尾対象から外す。オブジェクト追尾・探索処理の詳細は後述する。
【００９７】
オブジェクト追尾・探索処理にて追尾・探索に成功したオブジェクト（ACTIVE状態のオブジェクト）については、形状、動き、テクスチャ等の特徴情報を抽出（算出）する（ステップＳ１０６）。形状や動きなどオブジェクトの特徴情報の抽出は公知の任意の手法で行えばよい。抽出したオブジェクトの特徴情報を示す特徴量データは順次、記憶部２２に蓄積し、時系列データとして更新あるいは新規に生成する（ステップＳ１０７）。オブジェクト毎の時系列に蓄積された特徴量データは、そのオブジェクトが人か車両かの判別に利用される。
【００９８】
その後、追尾対象のオブジェクトが既に車両と判別済みのオブジェクトであれば（ステップＳ１０８；Ｙｅｓ）、フレーム時刻ｔ＝ｔ＋１として（ステップＳ１１４）、ステップＳ１０２に戻り、カメラ部１１によって取り込まれる次のフレームの画像について同様の処理を行う。追尾対象のオブジェクトが既に人と判別されており、かつそのオブジェクトが画像内に存在している（追尾・探索に成功している）場合は（ステップＳ１０９；Ｙｅｓ）、ステップＳ１１３の人オブジェクト抽出処理へ移行する。
【００９９】
追尾しているオブジェクトが車両、人のいずれにも判別されていない場合は（ステップＳ１０９；Ｎｏ）、追尾オブジェクトに関して、図２０の状態遷移に従って各オブジェクトの状態（ステータス）の更新と、オブジェクト継続時間obj_timeのインクリメント更新を行い（ステップＳ１１０）、人・車両判別処理（ステップＳ１１１）に移行する。
【０１００】
＜人・車両判別フェーズＰ３＞
人・車両判別処理では、オブジェクト追尾・探索フェーズＰ２により蓄積記憶された追尾対象のオブジェクトの時系列の特徴量データ（特徴量時系列データ）をもとに、追尾対象オブジェクトが人であるか、車両であるかの判別を行う（ステップＳ１１１）。人・車両判別処理は適宜の公知の手法により行う。
【０１０１】
＜人オブジェクト抽出フェーズＰ４＞
人・車両判別フェーズＰ３にて追尾対象のオブジェクトが人であると判別した場合は（ステップＳ１１２；Ｙｅｓ）、人オブジェクト抽出処理（ステップＳ１１３）に移行し、人と判別できなかった場合は（ステップＳ１１２；Ｎｏ）、フレーム時刻ｔをインクリメント更新し（ステップＳ１１４）、ステップＳ１０２に戻り、カメラ部１１によって取り込まれる次のフレームの画像に対して同様の処理を行う。
【０１０２】
人オブジェクト抽出処理では、監視員にその人物の所在位置を分かりやすい形式で伝え、監視注意を促す（ステップＳ１１３）。たとえば、カメラ部１１からの画像を出力部１４のディスプレイ装置に表示する際に、検出した人物の箇所を赤枠で囲って表示する等を行う。その後、フレーム時刻ｔをインクリメント更新し（ステップＳ１１４）、ステップＳ１０２に戻って処理を継続する。抽出された人オブジェクトに対して不審行動検知処理（図２のステップＳ２からＳ２１の処理）が行われる。
【０１０３】
次に、図２２のステップＳ１０５のオブジェクト追尾・探索処理の詳細を説明する。
【０１０４】
オブジェクト追尾・探索処理では、公知の手法によりオブジェクトの追尾と、追尾に失敗（消失）したオブジェクト（LOSTオブジェクト）の探索が行われる。探索は、消失した追尾対象のオブジェクトを追尾するように移動する複数の探索ブロックによって行われる。
【０１０５】
図２３は、探索ブロックによる探索の概略を示している。新規に検出された追尾対象のオブジェクトＡ（図２３の例では人物Ａ）に対して、そのオブジェクトＡを追尾対象とする所定サイズの探索ブロックＤを複数発生させると共にこれらの各探索ブロックＤにその追尾対象のオブジェクトＡの特徴情報を対応付けて記憶する（ｔ１）。図２３では、斜線を施した各矩形領域が探索ブロックＤである。なお、追尾対象の各オブジェクトにはそのオブジェクトを一意に特定する識別情報として固有のオブジェクトＩＤを割り当ててあり、各探索ブロックにその追尾対象のオブジェクトのオブジェクトＩＤを登録することで、追尾対象のオブジェクトと探索ブロックとを関連付けする。
【０１０６】
その後は、前時刻のフレームの画像と現在時刻のフレームの画像とのマッチング等の既存の手法によりオブジェクトの追尾を行うと共に、各探索ブロックＤをその追尾対象のオブジェクトを追尾するように（オブジェクトの動きベクトルに追従するように）移動させる（図２３；ｔ２）。
【０１０７】
交差や隠れによってオブジェクトの追尾に失敗した場合（消失した場合）は（図２３；ｔ３）、そのオブジェクトを追尾対象とする探索ブロックＤの移動を所定の移動ルールに従って継続させる。たとえば、ランダムに移動させる、あるいは消失前のオブジェクトの動きにランダムな動きを合成した動きで移動を継続させる。図２３では、時刻ｔ３においてオブジェクトＡが障害物６１の背後に隠れており、各探索ブロックＤは、現在時刻までのオブジェクトＡの動きとランダムな動きとを合成した動きで移動している。オブジェクトＡの消失前の動きの影響は次第に少なくなりランダムな動きが支配的になり、探索ブロックは次第に広い範囲に分散するように移動する（ｔ４）。なお、図２３では、時刻ｔ３における各探索ブロックに「ｔ３」の文字を、時刻ｔ４における各探索ブロックに「ｔ４」の文字を付してある。
【０１０８】
このように、消失したオブジェクトを探索するように継続的に移動させている探索ブロックの位置（存在領域）にオブジェクトが存在する場合は、そのオブジェクトの特徴情報と各探索ブロックに対応付けて記憶されている追尾対象のオブジェクトの特徴情報とを比較し、該比較結果に基づいて、その探索ブロックの位置に存在するオブジェクトがその探索ブロックの追尾対象のオブジェクトであるか否かを判断する。追尾対象のオブジェクトであればそのオブジェクトに当該探索ブロックに登録されている追尾対象のオブジェクトのオブジェクトＩＤを割り当てる。これにより、消失の前後で同一オブジェクトを同一オブジェクトとして追尾するようになる。
【０１０９】
図２３の例では時刻ｔ４に探索ブロックＤ１によってオブジェクトＡが見出（検出）される。追尾対象のオブジェクトが消失した後は、各探索ブロックはランダムな動きが支配的となって移動し拡散しているので、仮にオブジェクトＡが破線で示したＡ’の位置に現れた場合は、その位置に移動していた探索ブロックＤ２によって発見されることになる。こうして、交差や障害物の背後への一時的な隠れが発生してもその前後で同一のオブジェクトを同一オブジェクトとして（同じオブジェクトＩＤで）追尾するようになっている。
【０１１０】
本実施の形態では、図２４に示すように、処理対象の画像（１フレーム分の画像）を複数の小領域（分割ブロックＢｋ）に分割し、オブジェクトを分割ブロック単位で捉える。これにより、追尾に係る計算量が軽減される。ここでは、各分割ブロックＢｋが矩形となるように処理対象の画像を格子状の境界線で分割している。
【０１１１】
図２４の例では、オブジェクトＡは、斜線を施した３３個の矩形の分割ブロックＢｋに分けられる。オブジェクトＡの追尾・探索は分割ブロックＢｋ単位に行われる。これら３３個の分割ブロックＢｋの集合体としてオブジェクトＡは認識され、オブジェクトＡ全体としての形状や重心位置、動きなどの特徴情報が把握される。ここでは、分割ブロックＢｋの中に占めるオブジェクトの面積が所定の占有率以上（たとえば、５０パーセント以上）の場合に、その分割ブロックをオブジェクトの存在する分割ブロックとみなしている。
【０１１２】
図２５は、オブジェクト追尾・探索処理（図２２；ステップＳ１０５）の流れを示している。オブジェクト追尾（図２５；ステップＳ１２１）では、新規に検出されたオブジェクトについてオブジェクトＩＤを割り当てると共に図３に示すようなオブジェクトデータテーブル３０を生成する。
【０１１３】
過去時刻において検出済みで既にオブジェクトＩＤが割り当てられているオブジェクトについては、動きベクトルなど公知の手法により、前時刻の画像内のオブジェクトと現在時刻の画像内のオブジェクトとの対応付け等の手法により追尾する。
【０１１４】
次に、新たに追尾対象となったオブジェクトについて探索ブロックを発生させる探索ブロック発生処理を行う（ステップＳ１２２）。探索ブロック発生処理の詳細は図２６に示してある。処理対象の画像内に存在する、状態（ステータス）がACTIVEであって（ステップＳ１４２；Ｙｅｓ）当該オブジェクトを追尾対象とする探索ブロックが０個のオブジェクト（ステップＳ１４３；Ｙｅｓ）について、そのオブジェクト領域の重心周辺に複数の探索ブロックを発生させる（ステップＳ１４４〜Ｓ１５５）。
【０１１５】
探索ブロックは、追尾対象のオブジェクトを追尾・探索する際の単位領域であり、探索ブロックを単位として、その探索ブロックの存在領域に存在するオブジェクトがその探索ブロックが追尾対象としているオブジェクトか否かが判断される。探索ブロックは、追尾対象のオブジェクトが存在する分割ブロック毎に所定（BLOCKFACTOR）個ずつ発生させる。すなわち、追尾対象のオブジェクトのサイズに応じた数の探索ブロックを発生させる。BLOCKFACTOR個は１個以上で任意に設定変更可能な数であり、分割ブロックの領域サイズと探索ブロックの領域サイズとの比率等に基づいて適宜の個数に設定すればよい。たとえば、BLOCKFACTOR個は２〜５個に設定される。図２７は、探索ブロックの原点（px0,py0）と中心位置(px,py)との関係を示している。探索ブロックはBLOCK_SIZE×BLOCK_SIZEの画素領域となっている（図２７の例では５×５画素の領域）。ここでは、探索ブロックを矩形としたが、探索ブロックの形状はこれに限定されず、円など他の形状であってもかまわない。
【０１１６】
また、発生させた探索ブロック毎に図２８に示すような探索ブロックデータテーブル７０を生成する。探索ブロックデータテーブル７０には、対応する探索ブロックの属性を示す情報が登録される。発生時に初期値として以下の値等を探索ブロックデータテーブル７０に登録する。
【０１１７】
・オブジェクトＩＤ：obj_id → 追尾対象のオブジェクトＩＤ
・探索ブロックの状態（ステータス）：stateobj_idn_block→ ON
・探索ブロックの位置（ｘ座標）：bxobj_idn_block→ x
・探索ブロックの位置（ｙ座標）：byobj_idn_block→ y
・探索ブロックの動きベクトル(水平方向)：dxobj_idn_block → dx(gxobj_id,gyobj_id)
・探索ブロックの動きベクトル(垂直方向)：dyobj_idn_block → dy(gxobj_id,gyobj_id)
・探索ブロックの適合度：corobj_idn_block→ 1.0
また、探索ブロックの存在領域内の各画素のＨＳＶ値（ＨＳＶ色空間で表現した画素値）から図２９に示すようなＨＳＶ色空間累積ヒストグラムを生成する。この累積ヒストグラムは、探索ブロック領域を画素単位で走査して導出する。画素値ｉの場合、ｊ≧ｉであれば、
histH,S,V(t,j)obj_idn_block = histH,S,V(t, j)obj_idn_block+ 1
とする。すなわち、画素値の取り得る値を所定数の階級に区分し、当該画素の画素値がｉであれば、ｉが属する階級以上の各階級の累積値をそれぞれ「１」加算する。この処理を探索ブロック内の全画素に対して行う。
【０１１８】
なお、ＨＳＶ色空間は色相(Hue)、彩度(Saturation・Chroma)、明度(Brightness・Lightness・Value)の三つの成分からなる色空間であり、ＨＳＶ色空間累積ヒストグラムは、Ｈ（色相)成分、Ｓ（彩度）成分、Ｖ（明度）成分のそれぞれについて生成される。これらのＨＳＶ色空間累積ヒストグラムに係る各値は、探索ブロックの位置（存在領域）におけるオブジェクト（画像）の特徴情報としてその探索ブロックに対応付けて記憶される。
【０１１９】
次に、全探索ブロックに関する適合度を更新する（図２５：ステップＳ１２３、詳細は図３０に示す）。適合度を更新する処理では、探索ブロックの状態（ステータス）がＯＮとなっている（図３０；ステップＳ１６３；Ｙｅｓ）すべての探索ブロックに関して、適合度の更新（図３０；ステップＳ１６４〜Ｓ１６７）を行う。適合度は、探索ブロックの位置（存在領域）に存在するオブジェクトと当該探索ブロックの追尾対象のオブジェクトとの一致度を示す指標である。適合度は、探索ブロックの存在領域に存在するオブジェクトの特徴情報（色など画像としての特徴情報と重心位置に係る特徴情報）とその探索ブロックに対応付けて記憶されているオブジェクトの特徴情報（当該探索ブロックの前時刻の位置に存在していたオブジェクトの特徴情報）との比較に基づいて算出する。本実施の形態では、ＨＳＶ色空間累積ヒストグラムを用いた場合について記述する。具体的には、探索ブロックの存在領域におけるＨＳＶ色空間累積ヒストグラムの時間差分と、当該探索ブロックが追尾対象とするオブジェクトの重心位置と該探索ブロックの中心との距離に基づく距離係数との積により導出する。適合度は１〜０の範囲をとる。具体的には以下の式の通りである。
【数１】
ＨＳＶ色空間累積ヒストグラムの時間差分total_diffについては、たとえば下記の式で表わされる。
【数２】
距離係数に関しては、たとえば下記の式で表わされる。
【数３】
従って、探索ブロックの中心とオブジェクト領域の重心との距離が近い程、探索ブロックの適合度は高くなる。なお、消失中のオブジェクト（LOSTオブジェクト）についてはLOST状態になる直前のフレーム時刻における重心位置をオブジェクトの重心位置として距離係数を求める。
【０１２０】
図３１は、探索ブロックの中心とその追尾対象のオブジェクトの重心との距離と適合度との関係を例示したものである。探索ブロックＤ１、Ｄ２は、追尾対象のオブジェクト上にないので、オブジェクト重心との距離が大きく（距離係数（dist_factor）→小）、かつオブジェクト（画像）の特徴情報の一致度（ＨＳＶ色空間累積ヒストグラムの一致度）も低い（total_diff→小）ので、適合度は低くなる（０に近づく）。探索ブロックＤ３、Ｄ４は追尾対象のオブジェクト上にあるので、オブジェクト重心との距離が小さく（距離係数（dist_factor）→大）、かつオブジェクト（画像）の特徴情報の一致度（ＨＳＶ色空間累積ヒストグラムの一致度）も高い（total_diff→大）ので、適合度は高くなる（１に近づく）。
【０１２１】
次に、分割ブロック領域ＩＤ割り当て処理を行う（図２５：ステップＳ１２４、詳細は図３２に示す）。当該処理では、分割ブロック領域内に何らかのオブジェクトが存在しかつ１個以上の探索ブロックが存在している分割ブロックＢｋに対して、それらの探索ブロックの中で最も優位な（最高適合度を有する）探索ブロックに登録されている追尾対象のオブジェクトＩＤを割り当てることでその分割ブロックＢｋに該オブジェクトＩＤを付与し、該オブジェクトＩＤのオブジェクトをACTIVE状態にする、ことを行う。元々ACTIVE状態であったオブジェクトはACTIVE状態が継続される。
【０１２２】
上記処理により、LOSTオブジェクトを追尾対象とする探索ブロックに登録されているオブジェクトＩＤがいずれかの分割ブロックＢｋに割り当てられた場合、LOST状態であったその追尾対象のオブジェクトが見出された（検出された）ことになる。なお、追尾対象のオブジェクトであるがいずれの分割ブロックＢｋにもオブジェクトＩＤが付与されなかったオブジェクトは、図２２のオブジェクト状態更新処理（Ｓ１１０）においてLOSTオブジェクトと判定されて状態が保持あるいは更新される。
【０１２３】
次に、探索ブロック消去処理を行う（図２５：ステップＳ１２５、詳細は図３３に示す）。オブジェクトの状態（ステータス）がUNDETECTEDである場合、あるいは状態がLOSTでありかつオブジェクトの継続時間obj_timeがLOST_TIME以上である（LOST状態がLOST_TIME以上継続した）場合に、当該オブジェクトに属する（当該オブジェクトを追尾対象とする）すべての探索ブロックを削除する。削除は、当該オブジェクトに属するすべての探索ブロックデータテーブルをクリアすることで行う。
【０１２４】
次に、探索ブロックリサンプリング処理を行う（図２５：ステップＳ１２８、詳細は図３４に示す）。探索ブロックリサンプリング処理は、ACTIVE状態のオブジェクトに属するすべての探索ブロックについて行われる（図２５；ステップＳ１２７；Ｙｅｓ）。探索ブロックリサンプリング処理では、追尾対象のオブジェクトが同一の複数の探索ブロック間で、適合度の低い探索ブロックを適合度の高い探索ブロックに確率的に置き換えることが行われる。
【０１２５】
ここでは、同一オブジェクト（たとえば、オブジェクトＡ）を追尾対象とするすべての探索ブロックの適合度の和に対する個々の探索ブロックの適合度の比率をその探索ブロックの出現確率とするルーレットを生成し、該オブジェクトを追尾対象とする探索ブロック毎に前記ルーレットに基づく乱数抽選を行い、その探索ブロックをその抽選結果の出目に対応する探索ブロックに置き換える。すなわち、当該オブジェクトを追尾対象とする全探索ブロックの個数と同じ回数の乱数抽選を前記ルーレットに基づいて行い、抽選毎にその当たりとなった出目に対応する探索ブロックに置き換えることによって、適合度の低い探索ブロックを適合度の高い探索ブロックに置き換わりやすいようにしている。
【０１２６】
より詳細には、処理対象の画像内に存在するオブジェクトの中で、状態（ステータス）がACTIVEであるオブジェクト毎に以下の処理を行う。まず、注目しているACTIVEオブジェクトobj_idに関して、そのオブジェクトに属する探索ブロックn_blockの適合度cor obj_idn_blockを基に、下記の通りルーレットを生成する。
【０１２７】
探索ブロックn_blockの状態(ステータス)stateobj_idn_blockがONであるならば、
rouletteobj_idn_block= rouletteobj_idn_block-1 + cor obj_idn_block
探索ブロックn_blockの状態(ステータス)stateobj_idn_blockがOFFであるならば、
rouletteobj_idn_block= rouletteobj_idn_block-1
次に、注目しているACTIVEオブジェクトobj_idに属する探索ブロック毎に乱数データを生成し、その乱数データをもとにその探索ブロックに関するルーレットの出目を決定した後、当該探索ブロックをその出目に対応する探索ブロックに置き換える。
【０１２８】
図３５は、任意のオブジェクトについて生成したルーレットの一例を示している。このオブジェクトを追尾対象とする探索ブロックは全部でＭ個存在する。探索ブロック１からＭまでの全探索ブロックの適合度の合計を３６０度としたルーレット上に、個々の探索ブロックの出目をその適合度の比率に応じた占有角度で配置してある。たとえば、探索ブロック１の出目の占有角度は、（（探索ブロック１の適合度）／（全探索ブロックの適合度の合計））×３６０度となる。
【０１２９】
適合度の高い探索ブロックは出目の占有角度も大きいので、その分、乱数抽選で当たりになる確率は高い。一方、適合度の低い探索ブロックは出目の占有角度は小さく、当たりになる確率も低い。したがって、適合度の低い探索ブロックが適合度の高い探索ブロックに置き換えられ易くなる。
【０１３０】
ここで、探索ブロックを置き換えるとは、探索ブロックデータテーブル７０の内容を、探索ブロックＩＤを除く項目について、ルーレットの出目に対応する探索ブロックデータテーブルで更新することである。
【０１３１】
先に説明したように、探索ブロックの適合度はその探索ブロックが追尾対象のオブジェクト上に存在する場合は高く、追尾対象のオブジェクトから外れた位置にある場合は低くなる。したがって、図３６（ａ）に示すように、ACTIVEオブジェクトについて探索ブロックの置き換え（探索ブロックリサンプリング）を行うと、追尾対象のオブジェクトＡ上にある探索ブロックＤ５〜Ｄ７とオブジェクトＡ上にない探索ブロックＤ１〜Ｄ４との間で適合度に大きな差が生じる。したがって、探索ブロックリサンプリングにより生成されるルーレットは図３６（ｂ）のように（Ｄ１〜Ｄ４については占有角度が小さく、Ｄ５〜Ｄ７は占有角度が大きく）なる。
【０１３２】
このルーレットを使用して探索ブロック個数回分（ここでは７回）の乱数抽選を行った場合、その結果は、たとえば図３６（ｃ）に示すようになり、適合度の低い探索ブロックが適合度の高い探索ブロックに確率的に置き換えられる。図３６（ｄ）に示すように、追尾対象のオブジェクト上になかった探索ブロックの多くが追尾対象のオブジェクト上の探索ブロックに置き換えられ、探索ブロックが追尾対象のオブジェクト上に集約されやすくなる。
【０１３３】
次に、探索ブロック更新処理を行う（図２５：ステップＳ１２９、詳細は図３７に示す）。探索ブロック更新処理は、各探索ブロックの移動と各探索ブロックに対応付けて記憶してある追尾対象のオブジェクトに関する特徴情報の更新とを行う。画像内に存在する（ステータスがＯＮ状態である）すべての探索ブロックについて、その位置情報、動きベクトルの情報が更新される（ステップＳ２４８、Ｓ２４９）。さらに状態（ステータス）がACTIVEであるオブジェクトに属する（当該オブジェクトを追尾対象とする）探索ブロックであり、かつ追尾対象のオブジェクトのＩＤと当該探索ブロックの存在位置の分割ブロックに付与されているオブジェクトのＩＤとが一致する探索ブロックについては、ＨＳＶ色空間累積ヒストグラムについても更新する（ステップＳ２４７）。
【０１３４】
位置情報の更新は以下の通りである。
【数４】
ここで、rnd_x、rnd_yはそれぞれx、y方向に関する乱数を示す。乱数を加えることで、探索ブロックにランダムな動きを加えることになる。
【０１３５】
動きベクトル情報の更新は以下の通りであり、前時刻の探索ブロックの動きベクトルと現在の探索ブロック存在位置の分割ブロックにおける動きベクトルの線形荷重和となっている。
【数５】
ここで、ｋは更新割合（慣性定数）を表す。ｋの値は設定変更可能となっている。追尾に成功している場合はオブジェクトの動きベクトルが支配的になり、追尾に失敗している（追尾対象のオブジェクトが消失している（LOST状態））場合は、乱数による移動が支配的になる。
【０１３６】
上記のようにしてオブジェクトの追尾・探索を行うことにより、図２３に示すように追尾対象のオブジェクトが障害物６１に一時的に隠れた場合でも、障害物６１に隠れる前後で同一オブジェクトを同一オブジェクトとして、すなわち、障害物６１に隠れる前後の同一オブジェクトに対して同一のオブジェクトＩＤを割り当てて、追尾することができる。
【０１３７】
同様に追尾対象のオブジェクト同士が交差した場合にも、交差の前後で同一のオブジェクトに対して同一のオブジェクトＩＤを付与して追尾することができる（図３８（ａ）〜（ｄ））。交差領域においては、適合度の高い探索ブロックに優位性がある。図３８（ｂ）では、オブジェクトＡがオブジェクトＢの背後を通過するので前面側のオブジェクトＢを追尾している探索ブロックが優位となる。同図（ｃ）に示すように、交差状態からオブジェクトＡとＢが互いに離れる際には、オブジェクトＡに属する探索ブロックはオブジェクトＡに追従し、オブジェクトＢに属する探索ブロックはオブジェクトＢを追従するように移動する（同図（ｄ））。
【０１３８】
このように、本実施の形態に係るオブジェクト追尾・探索方法では、新規に追尾対象のオブジェクトを検出した場合に、そのオブジェクトの重心付近に複数の探索ブロックを生成しかつ各探索ブロックにその探索ブロックの存在領域における追尾対象オブジェクトの特徴情報を対応付けて記憶し、その後は、探索ブロックを追尾対象のオブジェクトに追従するように移動させると共に探索ブロックに記憶している追尾対象のオブジェクトの特徴情報の更新を行い、追尾に失敗した（オブジェクトが消失した）後はランダムな動きが支配的となるように探索ブロックの移動を継続させ、探索ブロックという局所領域を単位に適合度を判断して消失した追尾対象のオブジェクトを探索することで、交差や隠れの前後で同一オブジェクトを同一オブジェクトとして追尾する。
【０１３９】
なお、追尾しているオブジェクトから図２２のステップＳ１０６で抽出した形状、動き等のオブジェクトの特徴量データは、図８に示すようなＦＩＦＯ（First in First out）形式で記憶領域Ｆに特徴量時系列データとして保存される（図２２、ステップＳ１０７）。記憶された特徴量時系列データは、図２２の人・車両判別処理（ステップＳ１１１）で各追尾対象オブジェクトが人か車両かを判別する際に使用される。
【０１４０】
次に、人・車両判別処理（図２２のＳ１１１）について詳細に説明する。図３９は、人・車両判別処理の流れを示している。人・車両判別処理は追尾対象のオブジェクト毎に行われる。まず、追尾対象のオブジェクトの状態がACTIVE（追尾成功中）であるかどうかを確認し、ACTIVEでない場合は（ステップＳ３０１；Ｎｏ）、その追尾対象のオブジェクトに対する人・車両判別処理を終了する。
【０１４１】
追尾対象のオブジェクトの状態がACTIVEの場合は（ステップＳ３０１；Ｙｅｓ）、その追尾対象のオブジェクトに係る特徴量データが記憶領域Ｆに時系列に記憶されている時間長（Ｌ時間長とする）が、所定時間長（Ｔｃ時間長とする）以上か否かを確認する（ステップＳ３０２）。Ｔｃ時間長は記憶部２２に記憶可能なＬmax時間長以下の任意の時間長に設定することができる。
【０１４２】
Ｌ時間長がＴｃ時間長未満の場合は（ステップＳ３０２；Ｎｏ）、その追尾対象のオブジェクトに対する人・車両判別処理を終了する。
【０１４３】
Ｌ時間長がＴｃ時間長以上の場合は（ステップＳ３０２；Ｙｅｓ）、記憶されているＬ時間長分の特徴量時系列データを人・車両判別部２４に入力し（ステップＳ３０３）、人・車両判別部２４において、人・車両の判別を行う（ステップＳ３０４）。
【０１４４】
このように、オブジェクトを追尾し、追尾中にそのオブジェクトの特徴情報を示す特徴量データを時系列にある程度の時間長分サンプリングして蓄積記憶し、所定期間以上に渡る（Ｔｃ時間長以上の）特徴量時系列データに基づいてそのオブジェクトが人であるか車両であるかを判別するので、オブジェクトを検出した直後に人・車両を判別する場合に比べて、高い信頼性で人・車両を判別することができる。すなわち、人は動きの自由度が高くその「見え方」が様々となるので、ある時刻の画像のみに基づく判断では誤りが生じ易いが、本実施の形態の不審行動検知装置１０では所定期間のオブジェクト追尾中に時系列に収集した複数時刻分の特徴量データに基づいて判別するので、高い信頼性で人・車両を判別することができる。
【０１４５】
また交差や隠れがあっても同一オブジェクトを同一オブジェクトとして追尾できるので、追尾中に交差や隠れがあってもその前後をつなげて同一オブジェクトの時系列の特徴量データを収集することができる。
【０１４６】
また、特徴量データが所定時間長（Ｔｃ時間長）未満の場合には追尾対象オブジェクトの種類（人・車両）を判別しないので、サンプリング時間長の短い特徴量データによって誤判別されることが防止され、判別の信頼性が確保される。
【０１４７】
以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。
【０１４８】
たとえば、基本動作は実施の形態に例示したものに限定されない。監視対象エリアにおける人の行動の基本となる動作であれば、任意のものでよく、適宜、監視対象・目的などに応じて選択すればよい。
【０１４９】
不審行動は、日常行動から外れた行動、あるいは、予め定めた特定種類の行動（たとえば、駐車場では車上荒らしや車両の盗難、車両への傷付けなど）である。実際には、日常行動パターン関連信頼度時系列ＤＢ１５ｄ１に登録される行動パターンが日常行動であり、この日常行動から外れた行動、あるいは不審行動パターン関連信頼度時系列ＤＢ１５ｄ２に登録される行動パターンが、検出対象の不審行動となる。
【０１５０】
日常行動パターン関連信頼度時系列ＤＢ１５ｄ１や不審行動パターン関連信頼度時系列ＤＢ１５ｄ２は、監視動作中に逐次、記憶内容を更新したり、データを追加記憶したりした構成でもよいし、予め十分な量のデータを蓄積した構成でもよい。また、統計的手法により代表日常行動パターンや代表不審行動パターンを導出する処理は、監視動作中に行われてもよいが、予め日常行動パターン関連信頼度時系列ＤＢ１５ｄ１や不審行動パターン関連信頼度時系列ＤＢ１５ｄ２の記憶内容に基づいて導出して記憶しておき、監視動作中はその記憶されている代表日常行動パターンや代表不審行動パターンを使用するように構成されてもよい。
【０１５１】
特徴量時系列データは、形、大きさなど実施の形態で例示した項目に限定されるものではなく、判別対象の物体の種類や、人の各種動きの特徴量を示すデータであれば任意に設定できる。
【０１５２】
また、実施の形態ではオブジェクトの追尾方法として、消失したオブジェクトを探索ブロックによって追尾・探索する方法を例示したが、これに限定されるものではなく任意の方法で追尾すればよい。交差や隠れの前後で同一オブジェクトを同一オブジェクトとして追尾可能な方法が好ましいが、このような機能のない追尾方法でもかまわない。
【０１５３】
実施の形態に示した追尾・探索では、分割ブロック単位にオブジェクトを追尾・探索するようにしたが、オブジェクト単位に追尾を行っても構わない。また実施の形態では、追尾対象のオブジェクトの動きとランダムな動き（乱数に基づく位置変更…数４）との合成によって探索ブロックを移動させることと、ACTIVEオブジェクトに属する探索ブロックを対象にした探索ブロックリサンプリング処理（適合度の低い探索ブロックを適合度の高い探索ブロックに確率的に置き換える処理）との組み合わせにより、追尾に成功している間は探索ブロックを追尾対象のオブジェクトを追尾するように移動させ、消失中はランダムな動きが支配的となるように探索ブロックを移動させたが、探索ブロックの移動方法は実施の形態に例示した方法に限定されない。すなわち、追尾成功中は追尾対象のオブジェクトを追尾し、消失中はランダムな動きが支配的となるという移動ルールで移動すればよく、たとえば、追尾成功中はランダム要素なしに追尾対象の動きベクトルに従って移動させ、消失中は慣性的な動きを排除しランダムな動きのみで移動させるように構成されてもかまわない。
【０１５４】
消失中の移動のルールは、消失直前のオブジェクトの動きにランダムな動きを加えることが好ましく、さらには時間の経過と共にランダムな動きがより支配的になるとよい。
【０１５５】
実施の形態では、ＨＳＶ色空間累積ヒストグラムの時間差分とオブジェクトと探索ブロックとの間の距離による距離係数とに基づいて各探索ブロックの適合度を決定するようにしたが、他の基準で適合度を定めてもよい。適合度は、画像特徴量としての一致度と、オブジェクトと探索ブロックとの位置関係とを要素として決定されることが好ましい。
【０１５６】
実施の形態では人・車両判別方法として、オブジェクトの「見え方」変動への対応を考慮し、所定時間長オブジェクトを追尾した後に(追尾対象のオブジェクトに関して所定時間長以上の特徴量時系列データが蓄積された後に)、その特徴量時系列データをもとに、オブジェクトが人であるか車両であるかの判別を行っている。信頼性の高い人・車両判別方法が好ましいが、このような人・車両判別方法でなくても良い。
【０１５７】
実施の形態では、人、車両を判別する場合を例に説明したが、判別対象の物体の種類はこれらに限定されるものではない。
【符号の説明】
【０１５８】
１０…不審行動検知装置
１１…カメラ部
１２…処理部
１３…入力部
１４…出力部
１５…データベース部
１５ａ…人特徴ＤＢ部
１５ｂ…車両特徴ＤＢ部
１５ｃ…基本動作特徴量時系列ＤＢ部
１５ｄ…行動パターン信頼度時系列ＤＢ部
１５ｄ１…日常行動パターン関連信頼度時系列ＤＢ
１５ｄ２…不審行動パターン関連信頼度時系列ＤＢ
２１…追尾部
２２…記憶部
２３…蓄積制御部
２４…人・車両判別部
２５…基本動作・行動解析部
２５ａ…信頼度導出部
２５ｂ…行動不審度導出部
２５ｂ１…正常度導出処理部
２５ｂ２…不審度導出処理部
２５ｃ…不審判定部
２６…基本動作別信頼度導出部
２７…判別器
２８…加算器
３０…オブジェクトデータテーブル
４０…判定論理表
６１…障害物
７０…探索ブロックデータテーブル
Ｆ…記憶領域
Ｐ１…オブジェクト検出フェーズ
Ｐ２…オブジェクト追尾・探索フェーズ
Ｐ３…人・車両判別フェーズ
Ｐ４…人オブジェクト抽出フェーズ
【特許請求の範囲】
【請求項１】
処理部が、カメラから入力される画像内の人物を追尾すると共に、前記追尾中に、その追尾中の人物の動作が予め定めた基本動作らしさの度合いを示す信頼度を、複数種類の前記基本動作のそれぞれについて繰り返し導出し、前記基本動作毎の信頼度を時系列にした基本動作信頼度時系列データに基づいて、前記人物の行動が不審行動であるか否かを判定する
ことを特徴とする不審行動検知方法。
【請求項２】
前記基本動作信頼度時系列データが複数人分登録されたデータベースを有し、
前記処理部は、判定対象の人物に関する基本動作信頼度時系列データと前記データベースに登録されている基本動作信頼度時系列データとに基づく統計的手法によって、前記人物の行動が不審行動であるか否かを判定する
ことを特徴とする請求項１に記載の不審行動検知方法。
【請求項３】
前記データベースは、正常行動に関する前記基本動作信頼度時系列データを登録したものである
ことを特徴とする請求項２に記載の不審行動検知方法。
【請求項４】
前記処理部は、統計的手法により、判定対象の人物に関する基本動作信頼度時系列データの、前記データベースに登録されている正常行動に関する基本動作信頼度時系列データからの外れ度合いを導出し、該外れ度合いに基づいて前記人物の行動が不審行動であるか否かを判定する
ことを特徴とする請求項３に記載の不審行動検知方法。
【請求項５】
前記データベースは、不審行動に関する前記基本動作信頼度時系列データを登録したものである
ことを特徴とする請求項２に記載の不審行動検知方法。
【請求項６】
前記データベースは、正常行動に関する前記基本動作信頼度時系列データを登録した第１データベースと、不審行動に関する前記基本動作信頼度時系列データを登録した第２データベースとを含み、
前記処理部は、判定対象の人物に関する基本動作信頼度時系列データと前記第１データベースに登録されている基本動作信頼度時系列データとに基づいて前記人物の行動が正常行動である度合いを示す正常度を導出し、前記判定対象の人物に関する基本動作信頼度時系列データと前記第２データベースに登録されている基本動作信頼度時系列データとに基づいて前記人物の行動が不審行動である度合いを示す不審度を導出し、前記正常度と前記不審度とに基づいて前記人物の行動が不審行動であるか否かを判定する
ことを特徴とする請求項２に記載の不審行動検知方法。
【請求項７】
前記正常度が第１閾値未満であること、もしくは、前記不審度が第２閾値以上であることの少なくとも一方が真であれば、前記人物の行動は不審行動であると判定する
ことを特徴とする請求項６に記載の不審行動検知方法。
【請求項８】
カメラから入力される画像内の人物を追尾する追尾部と、
前記追尾部による追尾中に、その追尾中の人物の動作が予め定めた基本動作らしさの度合いを示す信頼度を、複数種類の前記基本動作のそれぞれについて繰り返し導出する導出部と、
前記導出部によって導出された前記基本動作毎の信頼度を時系列にした基本動作信頼度時系列データを記憶する記憶部と、
前記記憶部に記憶されている前記基本動作信頼度時系列データに基づいて、前記人物の行動が不審行動であるか否かを判定する不審判定部と、
を有する
ことを特徴とする不審行動検知装置。
【請求項９】
前記基本動作信頼度時系列データが複数人分登録されたデータベースを有し、
前記不審判定部は、前記記憶部に記憶されている判定対象の人物に関する基本動作信頼度時系列データと前記データベースに登録されている基本動作信頼度時系列データとに基づく統計的手法によって、前記人物の行動が不審行動であるか否かを判定する
ことを特徴とする請求項８に記載の不審行動検知装置。
【請求項１０】
前記データベースは、正常行動に関する前記基本動作信頼度時系列データを登録したものである
ことを特徴とする請求項９に記載の不審行動検知装置。
【請求項１１】
前記不審判定部は、統計的手法により、判定対象の人物に関する基本動作信頼度時系列データの、前記データベースに登録されている正常行動に関する基本動作信頼度時系列データからの外れ度合いを導出し、該外れ度合いに基づいて前記人物の行動が不審行動であるか否かを判定する
ことを特徴とする請求項１０に記載の不審行動検知装置。
【請求項１２】
前記データベースは、不審行動に関する前記基本動作信頼度時系列データを登録したものである
ことを特徴とする請求項９に記載の不審行動検知装置。
【請求項１３】
前記データベースは、正常行動に関する前記基本動作信頼度時系列データを登録した第１データベースと、不審行動に関する前記基本動作信頼度時系列データを登録した第２データベースとを含み、
前記不審判定部は、前記記憶部に記憶されている判定対象の人物に関する基本動作信頼度時系列データと前記第１データベースに登録されている基本動作信頼度時系列データとに基づいて前記人物の行動が正常行動である度合いを示す正常度と、前記記憶部に記憶されている前記判定対象の人物に関する基本動作信頼度時系列データと前記第２データベースに登録されている基本動作信頼度時系列データとに基づいて前記人物の行動が不審行動である度合いを示す不審度とを導出し、前記正常度と前記不審度に基づいて前記人物の行動が不審行動であるか否かを判定する
ことを特徴とする請求項９に記載の不審行動検知装置。
【請求項１４】
前記不審判定部は、前記正常度が第１閾値未満であること、もしくは、前記不審度が第２閾値以上であることの少なくとも一方が真であれば、前記人物の行動は不審行動であると判定する
ことを特徴とする請求項１３に記載の不審行動検知装置。
【請求項１】
処理部が、カメラから入力される画像内の人物を追尾すると共に、前記追尾中に、その追尾中の人物の動作が予め定めた基本動作らしさの度合いを示す信頼度を、複数種類の前記基本動作のそれぞれについて繰り返し導出し、前記基本動作毎の信頼度を時系列にした基本動作信頼度時系列データに基づいて、前記人物の行動が不審行動であるか否かを判定する
ことを特徴とする不審行動検知方法。
【請求項２】
前記基本動作信頼度時系列データが複数人分登録されたデータベースを有し、
前記処理部は、判定対象の人物に関する基本動作信頼度時系列データと前記データベースに登録されている基本動作信頼度時系列データとに基づく統計的手法によって、前記人物の行動が不審行動であるか否かを判定する
ことを特徴とする請求項１に記載の不審行動検知方法。
【請求項３】
前記データベースは、正常行動に関する前記基本動作信頼度時系列データを登録したものである
ことを特徴とする請求項２に記載の不審行動検知方法。
【請求項４】
前記処理部は、統計的手法により、判定対象の人物に関する基本動作信頼度時系列データの、前記データベースに登録されている正常行動に関する基本動作信頼度時系列データからの外れ度合いを導出し、該外れ度合いに基づいて前記人物の行動が不審行動であるか否かを判定する
ことを特徴とする請求項３に記載の不審行動検知方法。
【請求項５】
前記データベースは、不審行動に関する前記基本動作信頼度時系列データを登録したものである
ことを特徴とする請求項２に記載の不審行動検知方法。
【請求項６】
前記データベースは、正常行動に関する前記基本動作信頼度時系列データを登録した第１データベースと、不審行動に関する前記基本動作信頼度時系列データを登録した第２データベースとを含み、
前記処理部は、判定対象の人物に関する基本動作信頼度時系列データと前記第１データベースに登録されている基本動作信頼度時系列データとに基づいて前記人物の行動が正常行動である度合いを示す正常度を導出し、前記判定対象の人物に関する基本動作信頼度時系列データと前記第２データベースに登録されている基本動作信頼度時系列データとに基づいて前記人物の行動が不審行動である度合いを示す不審度を導出し、前記正常度と前記不審度とに基づいて前記人物の行動が不審行動であるか否かを判定する
ことを特徴とする請求項２に記載の不審行動検知方法。
【請求項７】
前記正常度が第１閾値未満であること、もしくは、前記不審度が第２閾値以上であることの少なくとも一方が真であれば、前記人物の行動は不審行動であると判定する
ことを特徴とする請求項６に記載の不審行動検知方法。
【請求項８】
カメラから入力される画像内の人物を追尾する追尾部と、
前記追尾部による追尾中に、その追尾中の人物の動作が予め定めた基本動作らしさの度合いを示す信頼度を、複数種類の前記基本動作のそれぞれについて繰り返し導出する導出部と、
前記導出部によって導出された前記基本動作毎の信頼度を時系列にした基本動作信頼度時系列データを記憶する記憶部と、
前記記憶部に記憶されている前記基本動作信頼度時系列データに基づいて、前記人物の行動が不審行動であるか否かを判定する不審判定部と、
を有する
ことを特徴とする不審行動検知装置。
【請求項９】
前記基本動作信頼度時系列データが複数人分登録されたデータベースを有し、
前記不審判定部は、前記記憶部に記憶されている判定対象の人物に関する基本動作信頼度時系列データと前記データベースに登録されている基本動作信頼度時系列データとに基づく統計的手法によって、前記人物の行動が不審行動であるか否かを判定する
ことを特徴とする請求項８に記載の不審行動検知装置。
【請求項１０】
前記データベースは、正常行動に関する前記基本動作信頼度時系列データを登録したものである
ことを特徴とする請求項９に記載の不審行動検知装置。
【請求項１１】
前記不審判定部は、統計的手法により、判定対象の人物に関する基本動作信頼度時系列データの、前記データベースに登録されている正常行動に関する基本動作信頼度時系列データからの外れ度合いを導出し、該外れ度合いに基づいて前記人物の行動が不審行動であるか否かを判定する
ことを特徴とする請求項１０に記載の不審行動検知装置。
【請求項１２】
前記データベースは、不審行動に関する前記基本動作信頼度時系列データを登録したものである
ことを特徴とする請求項９に記載の不審行動検知装置。
【請求項１３】
前記データベースは、正常行動に関する前記基本動作信頼度時系列データを登録した第１データベースと、不審行動に関する前記基本動作信頼度時系列データを登録した第２データベースとを含み、
前記不審判定部は、前記記憶部に記憶されている判定対象の人物に関する基本動作信頼度時系列データと前記第１データベースに登録されている基本動作信頼度時系列データとに基づいて前記人物の行動が正常行動である度合いを示す正常度と、前記記憶部に記憶されている前記判定対象の人物に関する基本動作信頼度時系列データと前記第２データベースに登録されている基本動作信頼度時系列データとに基づいて前記人物の行動が不審行動である度合いを示す不審度とを導出し、前記正常度と前記不審度に基づいて前記人物の行動が不審行動であるか否かを判定する
ことを特徴とする請求項９に記載の不審行動検知装置。
【請求項１４】
前記不審判定部は、前記正常度が第１閾値未満であること、もしくは、前記不審度が第２閾値以上であることの少なくとも一方が真であれば、前記人物の行動は不審行動であると判定する
ことを特徴とする請求項１３に記載の不審行動検知装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２１】
【図２２】
【図２５】
【図２６】
【図２８】
【図２９】
【図３０】
【図３２】
【図３３】
【図３４】
【図３５】
【図３７】
【図３９】
【図１９】
【図２０】
【図２３】
【図２４】
【図２７】
【図３１】
【図３６】
【図３８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２１】
【図２２】
【図２５】
【図２６】
【図２８】
【図２９】
【図３０】
【図３２】
【図３３】
【図３４】
【図３５】
【図３７】
【図３９】
【図１９】
【図２０】
【図２３】
【図２４】
【図２７】
【図３１】
【図３６】
【図３８】
【公開番号】特開２０１１−１０７７６５（Ｐ２０１１−１０７７６５Ａ）
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願番号】特願２００９−２５９０１４（Ｐ２００９−２５９０１４）
【出願日】平成２１年１１月１２日（２００９．１１．１２）
【出願人】（５０８３３８２９０）
【出願人】（３９００１００５４）小糸工業株式会社 (136)
【Ｆターム（参考）】
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願日】平成２１年１１月１２日（２００９．１１．１２）
【出願人】（５０８３３８２９０）
【出願人】（３９００１００５４）小糸工業株式会社 (136)
【Ｆターム（参考）】
[ Back to top ]