説明

監視装置、監視方法及び監視プログラム

【課題】高精度に不審対象を検出することができる監視装置を提供する。
【解決手段】対象検出部21は、撮像部1により撮像された動画像から監視する対象を検出する。動線情報作成部22は、対象検出部21により検出された対象の移動ベクトルから動線情報を作成する。不審行動判定部24は、動線情報から、予め設定された不審行動パターン31に応じて、対象検出部21により検出された対象を不審対象と判定し、それ以外の対象を新たな不審対象候補として設定する。複合行動判定部26は、新たな不審対象候補の動線情報と、新たな不審対象候補の周辺に存在する周辺対象の動線情報とから、予め設定された条件である複合行動パターン32に基づいて、新たな不審対象候補が不審対象か否かを判定する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、高精度に不審対象を検出できる監視装置、監視方法及び監視プログラムに関する。
【背景技術】
【0002】
従来の監視装置は、無人の敷地、建物等に侵入者が侵入した後に、侵入者を検知して通報したり、事件発生後に、記録した映像から犯人を確認したりする事後処理がほとんどであった。このような監視装置は、多くの人が行き来する場所や状況において、あまり効果が得られず、また犯罪、事故の未然防止にはつながらない。犯罪、事故を未然に防ぐためには、監視する対象である人物等の行動を認識し、犯罪、事故につながる虞のある不審な対象の行動を前もって検出して対処することが必要と考えられる。
【0003】
例えば、特許文献1では、画像解析により、検出した人物(対象)の位置と時刻との関係から、対象の移動と停止の状態を認識し、それを行動情報として用い、予め定められた特異な行動パターン(常識外の停止時間、移動時間、停止と移動の繰り返しなど)に合致する状態を抽出することで、不審行動を検出するという技術が提案されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2010−272958号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1の技術では、監視する対象が複数存在する状況においても、それぞれの対象について、それぞれの対象の行動情報のみで判断を行っているため、周囲の対象の影響が考慮されておらず、誤った判断をしかねない。
【0006】
例えば、駅のホームにおいて、蛇行するようなある対象の軌跡(動線)が検出された場合に、泥酔していて線路に落ちる危険性があるのか、逆行する他の多数の乗客を避けながら歩いているだけなのかは、他の人物の存在や移動の状態が分からないと区別できない。よって、単に他の人物を避けながら歩いている対象に対して、不審対象であると誤検出してしまう可能性がある。
【0007】
また、他人を尾行する者を不審対象として検出しようとする場合、尾行する者は、前方にいる他人と同じような行動をとることが多く、不審対象であると判断されないような動線を描くので検出されにくい。その他、親子連れ等、迷子となる可能性がある対象を不審対象として検出しようとする場合、対象単独の動線を見ると単なる歩行等の一般的なパターンであることが多く、このような対象を検出することは極めて困難である。
【0008】
上記問題点を鑑み、本発明は、複数の対象の動線に基づいて、高精度に不審対象を検出できる監視装置、監視方法及び監視プログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するために、本発明の第1の態様は、動画像を撮像する撮像部(1)と、前記撮像部により撮像された動画像から監視する対象を検出する対象検出部(21)と、前記対象検出部により検出された対象の移動ベクトルから動線情報を作成する動線情報作成部(22)と、前記動線情報作成部(22)により作成された動線情報から、予め設定された不審行動パターン(31)に応じて、前記対象検出部(21)により検出された対象を不審対象と判定する不審行動判定部(24)と、前記不審対象以外の対象を新たな不審対象候補として、前記新たな不審対象候補の動線情報と、前記新たな不審対象候補の周辺に存在する周辺対象の動線情報とから、予め設定された条件である複合行動パターン(31)に基づいて、前記新たな不審対象候補が不審対象か否かを判定する複合行動判定部(26)とを備える監視装置であることを要旨とする。
【0010】
また、本発明の第1の対象に係る監視装置においては、前記動線情報作成部(22)の作成する動線情報は、少なくとも対象の移動ベクトルの変化点と前記変化点が生じたときの時刻情報とを含むことができる。
【0011】
また、本発明の第1の対象に係る監視装置においては、前記不審行動判定部(24)は、前記動線情報から算出される、所定時間内の対象の移動距離、所定時間内の対象の移動ベクトルの変化頻度、所定時間内の対象の同一位置通過頻度の内、少なくとも1つの情報から、前記不審行動パターン(31)に基づいて、対象が不審対象候補か否かを判定することができる。
【0012】
また、本発明の第1の対象に係る監視装置においては、前記複合行動判定部(26)が前記不審対象候補を不審対象と判定した場合において、外部に報知信号を出力する出力部(5)を更に備えることができる。
【0013】
本発明の第2の態様は、動画像を撮像する撮像ステップと、前記撮像ステップにおいて撮像された動画像から監視する対象を検出する対象検出ステップと、前記対象検出ステップにおいて検出された対象の移動ベクトルから動線情報を作成する動線情報作成ステップと、前記動線情報作成ステップにおいて作成された動線情報から、予め設定された不審行動パターンに応じて、前記対象検出ステップで検出された対象を不審対象候補と判定する不審行動判定ステップと、前記不審対象以外の対象を新たな不審対象候補として、前記新たな不審対象候補の動線情報と、前記新たな不審対象候補の周辺に存在する周辺対象の動線情報とから、予め設定された条件である複合行動パターンに基づいて、前記新たな不審対象候補が不審対象か否かを判定する複合行動判定ステップとを含む監視方法であることを要旨とする。
【0014】
本発明の第3の態様は、動画像から監視する対象を検出する対象検出ステップと、前記対象検出ステップにおいて検出された対象の移動ベクトルから動線情報を作成する動線情報作成ステップと、前記動線情報作成ステップにおいて作成された動線情報から、予め設定された不審行動パターンに応じて、前記対象検出ステップで検出された対象を不審対象候補と判定する不審行動判定ステップと、前記不審対象以外の対象を新たな不審対象候補として、前記新たな不審対象候補の動線情報と、前記新たな不審対象候補の周辺に存在する周辺対象の動線情報とから、予め設定された条件である複合行動パターンに基づいて、前記新たな不審対象候補が不審対象か否かを判定する複合行動判定ステップとを含む処理をコンピュータに実行させる監視プログラムであることを要旨とする。
【発明の効果】
【0015】
本発明によれば、複数の対象の動線に基づいて、高精度に不審対象を検出できる監視装置、監視方法及び監視プログラムを提供することができる。
【図面の簡単な説明】
【0016】
【図1】本発明の実施の形態に係る監視装置の基本的な構成を説明する模式的なブロック図である。
【図2】本発明の第1の実施の形態に係る監視方法を説明するフローチャートである。
【図3】本発明の第1の実施の形態に係る監視装置に用いる動線情報の一例を説明する表である。
【図4】本発明の第1の実施の形態に係る監視装置に用いる行動情報の一例を説明する表である。
【図5】本発明の第1の実施の形態に係る監視装置に用いる不審行動パターンの一例を説明する表である。
【図6】本発明の第1の実施の形態に係る監視装置に用いる複合行動パターンの第1パターンの一例を説明する表である。
【図7】本発明の第1の実施の形態に係る監視装置に用いる複合行動パターンの第2パターンの一例を説明する表である。
【図8】本発明の第1の実施の形態に係る監視装置に用いる複合行動判定部による判定結果の一例を説明する表である。
【図9】本発明の第1の実施の形態に係る監視装置の他の動作例に用いる不審行動パターンを説明する表である。
【図10】本発明の第1の実施の形態に係る監視装置の他の動作例に用いる複合行動パターンを説明する表である。
【図11】本発明の第2の実施の形態に係る監視方法を説明するフローチャートである。
【図12】本発明の第2の実施の形態に係る監視装置に用いる動線情報の一例を説明する表である。
【図13】本発明の第2の実施の形態に係る監視装置に用いる行動情報の一例を説明する表である。
【図14】本発明の第2の実施の形態に係る監視装置に用いる不審行動パターンの一例を説明する表である。
【図15】本発明の第2の実施の形態に係る監視装置の複合行動判定部の処理を説明するフローチャートである。
【図16】本発明の第2の実施の形態に係る監視装置に用いる複合行動パターンの一例を説明する表である。
【図17】本発明の第2の実施の形態に係る監視装置の複合行動判定部による判定結果の一例を説明する表である。
【図18】本発明の第2の実施の形態に係る監視装置の他の動作例に用いる不審行動パターンを説明する表である。
【図19】本発明の第2の実施の形態に係る監視装置の複合行動判定部の他の動作例の処理を説明するフローチャートである。
【図20】本発明の第2の実施の形態に係る監視装置の他の動作例に用いる複合行動パターンを説明する表である。
【発明を実施するための形態】
【0017】
次に、図面を参照して、本発明の第1及び第2の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。但し、以下に示す実施の形態は、本発明の技術的思想を具体化するための装置や方法、及びこれらの装置に用いられるプログラムを例示するものであって、本発明の技術的思想は、下記の実施の形態に例示した装置や方法、及びこれらの装置に用いられるプログラムに特定するものでない。本発明の技術的思想は、特許請求の範囲に記載された技術的範囲内において、種々の変更を加えることができる。
【0018】
(第1の実施の形態)
本発明の第1の形態に係る監視装置は、図1に示すように、動画像を撮像する撮像部1と、本発明の実施の形態に係る監視装置が行う種々の演算を処理する処理部2と、プログラムデータ、動画像データ等の種々のデータを記憶する記憶部3と、ユーザの操作に応じた信号や外部からのデータ等を処理部2に入力する入力部4と、警告、通報等の報知信号を出力する出力部5とを備える。
撮像部1は、ビデオカメラ、赤外線カメラ等の撮像装置からなり、監視する対象を含む動画像を撮像する。
【0019】
記憶部3は、監視する対象に対して不審対象候補であるか判定する条件のデータである不審行動パターン31と、不審対象候補に対して不審対象であるか判定する条件のデータである複合行動パターン32とを記憶する。記憶部3は、例えば、磁気ディスク、半導体メモリ等の記憶装置から構成できる。図1に示す記憶部3に記憶される不審行動パターン31、複合行動パターン32は、それぞれ論理構造としての表示であり、不審行動パターン31、複合行動パターン32、記憶部3に記憶される他のデータ等は、それぞれ同一の記憶装置に記憶されて良く、別個の記憶装置に記憶されても良い。
【0020】
処理部2は、対象検出部21と、動線情報作成部22と、行動情報作成部23と、不審行動判定部24と、周辺対象判定部25と、複合行動判定部26と、報知処理部27とを論理構造として有する。処理部2は、例えばマイクロコンピュータ等の演算処理装置からなる。図1に示す処理部2を構成する各部は、論理構造としての表示であり、それぞれ同一のハードウェアである演算処理装置により構成されて良く、別個のハードウェアにより構成されても構わない。
【0021】
対象検出部21は、撮像部1により撮像された動画像から、監視する対象を検出する。対象検出部21は、動画像を構成する静止画であるフレームを画像処理することにより、対象を検出する。対象検出部21が行う画像処理として、例えば輝度勾配情報から、フレーム上の輪郭、形状を検出することができるHOG(Histograms of Oriented Gradients)を用いた画像処理を採用することができる。
【0022】
動線情報作成部22は、図3に示すように、対象検出部21により動画像から検出された全ての対象について、対象の移動ベクトルの変化点(位置座標)と、変化点における時刻とを検出し、動線情報として作成する。動線情報作成部22により作成された動線情報は、動線情報作成部22が記憶しても良く、記憶部3に記憶させても良い。動線情報作成部22は、各対象について単位時間毎のフレーム上の位置を取得し、取得した位置の時系列の変化から移動ベクトルを生成する。移動ベクトルの変化点は、例えば、対象が所定以上の角度を有して曲がった点、対象の速度が所定以上の加速度を有して変化した点等を採用可能である。即ち、動線情報は、おおよそ直線をおおよそ等速で対象が進んだ領域と時間を表すことができる。停止している対象が移動する場合、または移動している対象が停止する場合は、対象の移動ベクトルの変化点となり、動線情報において位置の変化していない時間の区間は、対象が停止状態であることを示す。
【0023】
行動情報作成部23は、図4に示すように、動線情報作成部22により作成されたそれぞれの動線情報から、所定時間内における対象の移動距離(領域)、移動方向変化頻度、同一位置通過頻度、同一位置停止時間等を算出し、行動情報として作成する。行動情報作成部23により作成された行動情報は、行動情報作成部23が記憶しても良く、記憶部3に記憶させても良い。
【0024】
不審行動判定部24は、不審行動パターン31に基づいて、行動情報作成部23により作成された各対象の所定時間分の行動情報から、各対象が不審対象候補か否かを判定する。不審行動判定部24は、不審行動パターン31に設定された条件に合致する行動情報を有する対象を、不審対象候補として設定する。
【0025】
周辺対象判定部25は、不審行動判定部24により設定された不審対象候補の周辺に存在する他の対象である周辺対象が検出されたか否かを判定する。周辺対象判定部25は、不審対象候補の移動方向の変化点における時刻、不審対象候補が一点に長時間停止している間の時刻等、不審対象候補の動線情報の時刻について、不審対象候補以外の対象の動線情報から各対象の位置を算出し、不審対象候補から所定の範囲内の位置にある対象を不審対象候補の周辺対象として検出する。
【0026】
複合行動判定部26は、複合行動パターン32に基づいて、不審対象候補の動線情報と周辺対象の動線情報とから、不審行動判定部24により設定された不審対象候補を不審対象と確定するか否かを判定する。複合行動判定部26は、不審対象と判定しない対象を不審対象候補から除外する。複合行動判定部26は、不審対象候補の動線情報と周辺対象の動線情報との関係を複合行動パターン32と比較することにより、不審行動判定部24による不審対象候補の判定が、周辺対象の影響であると判定した場合は、不審対象候補を不審対象でないと判定する。
報知処理部27は、警告、通報等の報知信号を出力部5に出力させる。
【0027】
入力部4は、例えば、キーボード、マウス、タッチパネル等の入力装置や、外部装置と接続するコネクタ等で構成される。入力部4は、ユーザの操作により、不審行動パターン31、複合行動パターン32の内容を設定、変更することができる。
出力部5は、例えば、ネットワークを介して管理者、警察等へ通報したり、不審対象及び周辺対象に対して警告したりするための報知信号を外部に出力する。
【0028】
<泥酔者検出>
図2のフローチャートを用いて、第1の実施の形態に係る監視装置を用いた監視方法の一例について説明する。以下、第1の実施の形態に係る監視装置の動作例として、泥酔している虞のある者を不審対象として検出する場合について説明する。
先ず、ステップS1において、処理部2は、撮像部1が撮像した動画像を撮像部1から入力する。
ステップS2において、対象検出部21は、画像処理により、撮像部1から入力した動画像から、監視する人物等の対象をすべて検出する。
【0029】
ステップS3において、動線情報作成部22は、例えば図3に示すように、対象検出部21が検出した各対象について、移動ベクトルを生成し、移動ベクトルの変化点毎に動線情報を作成する。
【0030】
ステップS4において、行動情報作成部23は、例えば図4に示すように、動線情報作成部22が作成した動線情報について、それぞれ所定時間内の行動情報を作成する。図4に示す最下行(移動距離「108」の行)の行動情報は、図3に示す動線情報の時刻22:00:02〜22:01:55の間のものである。この最下行の行動情報は、時刻22:00:02〜22:01:55の間、対象の移動距離108、移動方向変化頻度8回、同一位置通過頻度0回、同一位置停止時間10秒であったことを示している。
【0031】
ステップS5において、不審行動判定部24は、行動情報作成部23が作成した行動情報について、予め設定された不審行動パターン31に基づいて、不審対象候補となる対象があるか否かを判定する。不審行動判定部24は、不審行動パターン31に合致する行動情報を検出すると、検出された行動情報を有する対象を、不審対象候補と判定する。不審対象候補と判定される対象がある場合、ステップS6において、不審対象候補と判定された対象を不審対象候補に設定する。
【0032】
泥酔している虞のある者を不審対象として検出するための不審行動パターン31は、例えば、図5に示すように、移動距離Aメートル以内且つ移動方向(移動ベクトル)変化頻度B回以上と設定されることができる。泥酔時の歩行者は、ふらつきながら歩き、通常の歩行者と比べて速度が遅く、所定時間内の移動距離が短いと考えられる。図4に示す行動情報が、図5に示す不審行動パターン31に合致する場合、不審行動判定部24は、不審行動パターン31と合致する行動情報を有する対象を不審対象候補と判定する。
【0033】
ステップS7において、周辺対象判定部25は、ステップS6において設定された不審対象候補に対する周辺対象をすべて検出し、周辺対象が検出されたか否か判定する。周辺対象が検出された場合ステップS8に進み、周辺対象が検出されない場合、ステップS10に進む。
【0034】
ステップS8において、複合行動判定部26は、不審対象候補の動線情報と周辺対象の動線情報とから、予め設定された複合行動パターン32に基づいて、ステップS6において設定された不審対象候補に対して、不審対象か否かを判定する。
【0035】
泥酔している虞のある者を不審対象として検出するための複合行動パターン32は、例えば、図6に示すように、不審対象候補の移動方向の各変化点の前後の時刻における、不審対象候補と各周辺対象との移動ベクトルの差違等の条件式とすることができる。不審対象候補と周辺対象とが互いに接近し、不審対象候補のみが移動方向を変化させ、移動方向変化点の直後の時刻において不審対象候補と周辺対象とが互いに離れていく場合、不審対象候補が移動する周辺対象を避けるという行動をとったと考えられる。対象の移動ベクトルは、動線情報作成部22により作成される。
【0036】
図6に示す複合行動パターン32は、不審対象候補の移動方向変化点の直前の時刻における条件式が、不審対象候補の移動ベクトルをV_target、周辺対象の移動ベクトルをV_arroundとすると、V_target=−(V_arround)であり、不審対象候補と周辺対象とが同一線上で互いに接近する場合を示している。或いは、不審対象候補の移動方向変化点の直前の時刻において、単に不審対象候補と周辺対象との間の距離dが減少する場合としても良い。
【0037】
不審対象候補の移動方向変化点の前後の時刻における条件式は、移動方向変化点直前の周辺対象の移動ベクトルをV_arround、移動方向変化点直後の周辺対象の移動ベクトルをV_arroundとすると、V_arround=V_arroundであり、周辺対象の移動ベクトルが変化していないことを示している。
【0038】
不審対象候補の移動方向変化点の直後の時刻における条件式は、V_target≠V_arroundであり、不審対象候補と周辺対象とが互いに異なる移動ベクトルを有する場合を示している。或いは、不審対象候補の移動方向変化点の直後の時刻において、単に不審対象候補と周辺対象との間の距離dが増加し、不審対象候補と周辺対象とが互いに離れていく場合としても良い。
【0039】
行動情報単位の所定時間内の各移動方向変化点の時刻の前後において、複合行動判定部26が複合行動パターン32の条件と合致する不審対象候補を検出した場合、不審対象候補は泥酔状態でなく、逆行する人々を避けながら歩いている状態として、不審対象でないと判定することができる。
【0040】
また、複合行動判定部26は、図6に示す複合行動パターン32を第1パターンとする場合、複合行動パターン32の第2パターンとして、図7に示すような条件式に基づいて、第1パターンに基づく判定の後、不審対象候補に対して不審対象か否かを再判定するようにしても良い。
【0041】
図7に示す複合行動パターン32の第2パターンでは、行動情報単位の所定時間内において不審対象候補と周辺対象とが概ね同じ方向に移動し、不審対象候補が移動方向変化点で周辺対象に接近し方向を変えている場合を想定している。或いは、周辺対象が停止状態であり、不審対象候補が各周辺対象に接近するようなパターンとしても良い。このような場合、複合行動判定部26は、不審対象候補に対して、周辺対象と会話をするなどの集団行動をとっているものとして不審対象でないと再判定し、不審者対象候補から除外することができる。
【0042】
また、複合行動判定部26は、図8に示すように、行動情報毎の各不審対象候補の移動方向変化点について、周辺対象の数、複合行動パターン32の第1パターン及び第2パターンに基づく判定結果を集計し、各判定結果に基づいて不審対象候補が不審対象か否かを判定するようにしても良い。例えば複合行動判定部26は、図6に示す判定結果において、第1パターン又は第2パターンと合致する不審対象候補の移動方向変化点(180,200)及び(150,400)の動線情報を除外し、残された動線情報に対して、再度ステップS4〜ステップS8の処理を行うようにしても良い。或いは、複合行動判定部26は、図8に示す判定結果全体の移動方向変化点に対して、第1パターン又は第2パターンと合致する移動方向変化点の数が所定の閾値に満たないか否かにより、不審対象候補が不審対象か否かを判定するようにしても良い。
【0043】
上述のように複合行動判定部26は、周辺対象判定部25により検出された周辺対象の影響を受けることにより、不審行動パターン31と合致する行動情報を有した不審対象候補に対して、不審対象でないと判定することができる。
【0044】
ステップS8において不審対象候補が不審対象でないと判定された場合、ステップS9において、複合行動判定部26は、不審対象候補に設定され、不審対象でないと判定された対象を不審対象候補から除外する。
【0045】
ステップS7において周辺対象が検出されなかった場合及びステップS8において不審対象候補が不審対象と判定された場合、ステップS10において、不審行動判定部24は、不審対象候補を不審対象と確定する。
【0046】
不審対象候補が不審対象と確定されると、ステップS11において、報知処理部27は、警告、通報等の報知信号を出力部5に出力させる報知処理を行う。出力部5は、報知処理部27の報知処理により、ネットワークを介して管理者、警察等に対して通報を行う報知信号を出力する。或いは、出力部5は、報知信号として不審対象及び周辺対象に対して光、音声等により警告を行うようにしても良い。
【0047】
<万引き検出>
本発明の第1の実施の形態に係る監視装置は、不審行動パターン31及び複合行動パターン32として図9及び図10に示す条件を用いることにより、スーパーマーケット、本屋等の店舗における万引き等を行う虞のある対象を不審対象として検出できる。以下、図2のフローチャートを用いて、本発明の実施の形態に係る監視装置の他の動作例として、万引き等を行う虞のある対象を不審対象として検出する場合について説明する。図2に示すステップS1〜S4、S9〜S11の処理は、上述の泥酔している虞のある者を不審対象として検出する場合の説明と実質的に同様であるので重複する説明を省略する。
【0048】
ステップS5において、不審行動判定部24は、図9に示す不審行動パターン31に合致する行動情報を有する対象を不審対象候補と判定し、ステップS6において、不審対象候補に設定する。
【0049】
例えば、万引き等を行う虞のある者を不審対象として検出するための不審行動パターン31は、図9に示すように、それぞれ所定の閾値を設定された同一位置通過頻度、同一位置停止時間、移動距離等の条件とすることができる。万引きの事前行動として、機会を狙って店内を周回、往復等しながら複数回同じ場所に戻ってきたり、その場付近で停止したりすることが考えられる。図9に示す不審行動パターン31は、所定の範囲内を通過する頻度である同一位置通過頻度がC回以上、所定の範囲内に停留する時間である同一位置停止時間がD秒以上、所定時間内の移動距離Eメートル以内となる場合を示している。
【0050】
ステップS7において、周辺対象判定部25は、ステップS6において設定された不審対象候補に対する周辺対象を検出し、周辺対象が検出されたか否かを判定する。周辺対象が検出された場合、ステップS8に進み、周辺対象が検出されない場合、ステップS10に進む。
【0051】
ステップS8において、複合行動判定部26は、不審対象候補の動線情報と周辺対象の動線情報とから、図10に示す複合行動パターン32に基づいて、不審対象候補が不審対象か否かを判定する。複合行動判定部26は、図10に示す複合行動パターン32に合致する対象に対して、不審対象でないと判定する。
【0052】
例えば、万引き等を行う虞のある者を不審対象として検出するための複合行動パターン32は、図10に示すように、不審対象候補が所定の範囲に停止している時間において、V_arround=0、即ち周辺対象が停止状態であり、停止状態の周辺対象の数がF人以上の場合を示している。この場合、不審対象候補は、複数の停止している周辺対象によって商品までの経路が妨げられ、商品取得のため周辺対象がなくなるのを待っている状況であると考えることができる。
【0053】
また、複合行動判定部26は、上述の泥酔している虞のある者を不審対象として検出する場合の説明と同様に、種々の判定結果に基づいて、不審対象候補に対して不審対象か否かを再判定するようにしても良い。
【0054】
本発明の第1の実施の形態に係る監視装置によれば、個々の対象の動線情報から不審対象候補を検出することに加え、周辺対象の影響により不審対象候補と判定された対象を不審対象候補から除外することにより、誤検出を低減し、高精度に不審対象を検出できる。
【0055】
(第2の実施の形態)
本発明の第2の実施の形態に係る監視装置は、不審行動判定部24が各対象に対して不審対象か否かを判定し、複合行動判定部26が、不審行動判定部24により不審対象でないと判定された対象に対して、更に不審対象か否かを判定する点等で第1の実施の形態と異なる。第2の実施の形態において説明しない他の構成等は、第1の実施の形態と実質的に同様であるので重複する説明を省略する。
【0056】
第2の実施の形態に係る監視装置が備える不審行動判定部24は、不審行動パターン31に基づいて、行動情報作成部23により作成された各対象の所定時間分の行動情報から、各対象が不審対象か否かを判定する。不審行動判定部24は、不審行動パターン31に設定された条件に合致する行動情報を有する対象を不審対象と判定する。不審行動判定部24は、それ以外の対象を不審対象でないと判定し、不審対象でないと判定した対象を、不審対象候補として設定する。
【0057】
第2の実施の形態に係る監視装置が備える複合行動判定部26は、複合行動パターン32に基づいて、不審対象候補の動線情報と、周辺対象の動線情報とから、不審行動判定部24により設定された不審対象候補の動線情報と周辺対象の動線情報とから、不審行動判定部24により設定された不審対象候補を不審対象が不審対象か否かを判定する。複合行動判定部26は、不審対象と判定しない対象を不審対象候補から除外する。複合行動判定部26は、不審対象候補の動線情報と、周辺対象の動線情報との関係を複合行動パターン32と比較することにより、不審行動判定部24による不審対象候補の判定が、周辺対象の影響に関わらず不審でないと判定した場合は、不審対象候補を不審対象でないと判定する。
【0058】
<尾行検出>
図11のフローチャートを用いて、第2の実施の形態に係る監視装置を用いた監視方法の一例について説明する。以下、第2の実施の形態に係る監視装置の動作例として、他人を尾行する者を、ストーカー行為、ひったくり、スリ、痴漢、その他犯罪の虞のある不審対象として検出する場合について説明する。
先ず、ステップS101において、処理部2は、撮像部1が撮像した動画像を撮像部1から入力する。
ステップS102において、対象検出部21は、画像処理により、撮像部1から入力した動画像から、監視する人物等の対象をすべて検出する。
【0059】
ステップS103において、動線情報作成部22は、例えば図12に示すように、対象検出部21が検出した各対象について、移動ベクトルを生成し、移動ベクトルの変化点毎に動線情報を作成する。
【0060】
ステップS104において、行動情報作成部23は、例えば図13に示すように、動線情報作成部22が作成した動線情報について、それぞれ所定時間内の行動情報を作成する。図13に示す最下行(移動距離「340」の行)の行動情報は、図12に示す動線情報の時刻22:00:00〜21:06:00の間のものである。この最下行の行動情報は、時刻22:00:00〜21:06:00の間、対象の移動距離340、移動方向変化頻度6回、停止回数3回であったことを示している。
【0061】
ステップS105において、不審行動判定部24は、行動情報作成部23が作成した行動情報について、予め設定された不審行動パターン31に基づいて、不審対象となる対象があるか否かを判定する。不審行動判定部24は、不審行動パターン31に合致する行動情報を有する対象を不審対象であると判定し、不審行動パターン31に合致しない対象を不審対象でないと判定する。対象を不審対象でないと判定する場合、ステップS106において、不審行動判定部24は、不審対象でないと判定した対象を不審対象候補に設定する。
【0062】
尾行する者を不審対象として検出するための不審行動パターン31は、例えば、図14に示すように、停止回数G回以上且つ移動方向(移動ベクトル)変化頻度H回以上と設定されることができる。尾行する者は、尾行のターゲットの動きを気にし、機会があれば近付こうとするので、所定時間内での停止回数、速度変化回数が多くなると考えられる。図13に示す行動情報が、図14に示す不審行動パターン31に合致する場合、不審行動判定部24は、不審行動パターン31と合致する行動情報を有する対象を不審対象であると判定する。
【0063】
ステップS107において、周辺対象判定部25は、ステップS106において設定された不審対象候補に対する周辺対象を検出し、周辺対象が検出されたか否か判定する。周辺対象が検出された場合ステップS108に進み、周辺対象が検出されない場合、ステップS109に進む。
【0064】
ステップS108において、複合行動判定部26は、不審対象候補の動線情報と周辺対象の動線情報とから、予め設定された複合行動パターン32に基づいて、ステップS106において設定された不審対象候補に対して、不審対象か否かを判定する。ステップS108における複合行動判定部26による処理の詳細な内容を、図15のフローチャートを用いて説明する。図15に示すステップS21〜S26は、図11に示すステップS108に相当する。
【0065】
ステップS107において周辺対象判定部25により周辺対象が検出された後、ステップS21において、複合行動判定部26は、検出された周辺対象をすべて設定する。
【0066】
ステップS22において、複合行動判定部26は、ステップS106において設定した不審対象候補と、ステップS21において設定した各周辺対象との複合行動情報を取得する。複合行動情報は、ステップS106において設定した不審対象候補の行動情報と、ステップS21において設定した各周辺対象の行動情報とからなる。
【0067】
ステップS23において、複合行動判定部26は、ステップS22において取得した複合行動情報から、予め設定された複合行動パターン32に合致する行動情報があるか否かを判定する。
【0068】
例えば、尾行する者を不審対象として検出するための複合行動パターン32は、図16に示すように、不審対象候補の移動ベクトルの各変化点の前後の時間における、不審対象候補と各周辺対象との移動ベクトル差違等の条件式とすることができる。不審対象候補が周辺対象を尾行している場合、周辺対象に合わせて不審対象候補が移動するので、移動中は前方に周辺対象、後方に不審対象候補が位置すると考えられる。特に、角を曲がる時など先に周辺対象の移動方向変化があり、その後不審対象候補も同じ方向に移動方向が変化する場合、更に不審対象候補が尾行している可能性が高くなる。また、不審対象候補が周辺対象を尾行している間、不審者対象候補と周辺対象との距離(又は移動ベクトル)の差は、短い時間内で多少の変化はあっても、ある程度長い時間内では少なく、所定の範囲に収まっていると考えられる。
【0069】
図16に示す複合行動パターン32は、不審対象候補の移動ベクトル変化点の直前における条件式がV_target≠(V_arround)であり、不審対象候補と周辺対象とが互いに異なる移動ベクトルを有する場合を示している。これは、周辺対象の移動ベクトルが、不審対象候補に先行して変化する場合を想定したものである。
【0070】
不審対象候補の移動方向変化点の直後の時刻における条件式は、V_target=(V_arround)であり、不審対象候補と周辺対象とが同一方向の移動ベクトルを有する場合を示している。
【0071】
不審対象候補と周辺対象との位置関係を示す条件式は、不審対象候補の位置情報をP_target、周辺対象の位置情報をP_arroundとすると、|P_target−P_arround|<Zであり、不審対象候補と周辺対象との間の距離が所定の範囲Z内である場合を示している。
【0072】
ステップS24において、複合行動判定部26は、ステップS23において不審対象候補との複合行動パターン32に合致すると判定された行動情報を有する周辺対象に対して、それぞれ固有の識別子(ID)を付与する。IDの付与の為の対象識別は、種々の画像処理等により行うことができる。複合行動判定部26は、周辺対象に対するID付与を、移動ベクトルの変化点毎に行うようにすればよい。
【0073】
ステップS25において、複合行動判定部26は、ステップS22において取得した複合行動情報に含まれる行動情報の各周辺対象について、ステップS23、ステップS24の処理を繰り返してデータを収集する。
【0074】
ステップS26において、複合行動判定部26は、例えば、1つの行動情報の中に、所定時間内に所定の回数以上連続した変化点で同一のIDを有する周辺対象が検出されるか否かにより、不審対象候補が不審対象か否かを判定する。
【0075】
あるいは、複合行動判定部26は、所定時間内の行動情報について、複合行動パターン32と合致する変化点の割合が、所定の閾値以上か否かによって不審対象候補が不審対象か否かを判定するようにしてもよい。また、所定時間内の行動情報について、複合行動パターン32と合致する変化点が所定の回数に満たない場合、不審対象候補が不審対象か否かを判定しないようにしてもよい。
【0076】
例えば、ステップS108における複合行動判定部26の処理の結果、図17に示すような判定結果が得られたとする。この場合、時刻21:00:00〜21:06:00の間に周辺対象として選択されたのが4人で、そのうち最初に選択されたID「1」の人物とは、3回の停止期間と5回の移動方向変化の間ずっと条件を満たしているので、この人物は、ID「1」の人物を尾行していると判定される。
【0077】
例えば、ステップS26において所定の回数以上連続して同一の周辺対象が検出されず、不審対象候補が不審対象でないと判定された場合、図11に示すステップS109において、複合行動判定部26は、不審対象候補に設定され、不審対象でないと判定された対象を不審対象候補から除外する。
【0078】
ステップS26において不審対象候補が不審対象と判定された場合、不審対象候補が周辺対象を尾行しているとして、図11に示すステップS110において、不審行動判定部24は、不審対象候補を不審対象と確定する。
【0079】
不審対象候補が不審対象と確定されると、ステップS111において、報知処理部27は、警告、通報等の報知信号を出力部5に出力させる報知処理を行う。出力部5は、報知処理部27の報知処理により、ネットワークを介して管理者、警察等に対して通報を行う報知信号を出力する。或いは、出力部5は、報知信号として不審対象及び周辺対象に対して光、音声等により警告を行うようにしても良い。
【0080】
<迷子検出>
以下、図11及び図19のフローチャートを用いて、第2の実施の形態に係る監視装置の他の動作例として、迷子となる虞のある対象を不審対象として検出する場合について説明する。図11のステップS101〜S104、S109〜S111の処理の説明は、上述の尾行検出の処理の説明と実質的に同様であるので重複する説明を省略する。
【0081】
ステップS105において、不審行動判定部24は、行動情報作成部23が作成した行動情報について、予め設定された不審行動パターン31に基づいて、不審対象となる対象があるか否かを判定する。不審行動判定部24は、不審行動パターン31に合致する行動情報を有する対象を不審対象であると判定し、例えば図18に示す不審行動パターン31に合致しない対象を不審対象でないと判定する。対象を不審対象でないと判定する場合、ステップS106において、不審行動判定部24は、不審対象でないと判定した対象を不審対象候補に設定する。
【0082】
迷子となる虞のある者を不審対象として検出するための不審行動パターン31は、例えば、図18に示すように、移動方向(移動ベクトル)変化頻度J回以上、停止回数K回以上、所定時間内の移動距離Lメートル以内と設定されることができる。迷子の子供の動線は、親を捜すために移動方向変化頻度や停止の頻度が高くなると考えられる。また、迷子の子供は、移動速度が遅く、所定時間内の移動距離も少ないと考えられる。
【0083】
一方、子供の行動として、興味のあるものに走っていく、一個所にとどまる等、結果として迷子となる場合が考えられ、これらの場合、検出漏れや検出遅れを生じてしまう。第2の実施の形態に係る監視装置は、不審対象でないと判定され、不審対象候補に設定された対象に対して、不審対象候補の動線情報と周辺対象の動線情報とから複合的に不審対象か否かを判定することができる。
【0084】
ステップS107において、周辺対象判定部25は、ステップS106において設定された不審対象候補に対する周辺対象を検出し、周辺対象が検出されたか否か判定する。周辺対象が検出された場合ステップS108に進み、周辺対象が検出されない場合、ステップS109に進む。
【0085】
ステップS108において、複合行動判定部26は、不審対象候補の動線情報と周辺対象の動線情報とから、予め設定された複合行動パターン32に基づいて、ステップS106において設定された不審対象候補に対して、不審対象か否かを判定する。ステップS108における複合行動判定部26による処理の詳細な内容を、図19のフローチャートを用いて説明する。図19に示すステップS31〜S38は、図11に示すステップS108に相当する。
【0086】
ステップS107において周辺対象判定部25により周辺対象が検出された後、ステップS31において、複合行動判定部26は、検出された周辺対象をすべて設定する。
【0087】
ステップS32において、複合行動判定部26は、ステップS106において設定した不審対象候補と、ステップS31において設定した各周辺対象との複合行動情報を取得する。複合行動情報は、ステップS106において設定した不審対象候補の行動情報と、ステップS31において設定した各周辺対象の行動情報とからなる。
【0088】
ステップS33において、複合行動判定部26は、ステップS32において取得した複合行動情報から、複合行動パターン32に合致する行動情報があるか否かを判定する。
【0089】
例えば、迷子の虞がある者を不審対象として検出するための複合行動パターン32は、図20に示すように、不審対象候補の移動ベクトルの各変化点の前後の時間における、不審対象候補と各周辺対象との移動ベクトル差違等の条件式とすることができる。第2の実施の形態に係る監視装置は、例えば、迷子の虞がある対象を検出する場合、複合行動判定部26による処理を、図20(a)〜(c)にそれぞれ示す第1〜第3の複合行動パターン32に基づいて、多段に行うことができる。
【0090】
迷子の虞がある者を不審者として検出するには、親子連れで子供が親と離れる場合を想定し、同じ動線を描く複数の対象が、ある時点から異なる方向に進み、所定時間以上離れたままになる状態を検出すればよい。
【0091】
図20(a)に示す第1の複合行動パターン32は、不審対象候補の移動ベクトル変化点の前後の時刻における条件式がV_target=V_arroundであり、不審対象候補と周辺対象とが互いに同じ移動ベクトル(方向)を有する場合を示している。不審対象候補と周辺対象との位置関係を示す条件式は、|P_arround−P_target|≦Sであり、不審対象候補と周辺対象との間の距離が所定の範囲S内となる場合を示している。即ち、複合行動判定部26は、ステップS33において、図20(a)に示す第1の複合行動パターン32に合致する行動情報があるか否かを判定する。
【0092】
ステップS34において、複合行動判定部26は、ステップS33において第1の複合行動パターン32に合致すると判定された行動情報を有する周辺対象に対して、それぞれ固有の識別子(ID)を付与する。
【0093】
ステップS35において、複合行動判定部26は、ステップS32において取得した複合行動情報に含まれる行動情報の各周辺対象について、ステップS33、ステップS34の処理を繰り返してデータを収集する。
【0094】
ステップS36において、複合行動判定部26は、例えば、1つの行動情報の中に、所定時間内に所定の回数以上連続した変化点で同一のIDを有する周辺対象が検出されるか否かにより、検出された周辺対象を用いて第2の複合行動パターン32による判定を行うか否かを判定する。複合行動判定部26が、周辺対象について第2の複合行動パターン32による判定を行うと判定する場合、ステップS37に進み、行わないと判定する場合、ステップS109に進む。
【0095】
あるいは、複合行動判定部26は、所定時間内の行動情報について、第1の複合行動パターン32と合致する変化点の割合が、所定の閾値以上か否かによって第2の複合行動パターン32による判定を行うか否かを判定するようにしてもよい。また、所定時間内の行動情報について、第1の複合行動パターン32と合致する変化点が所定の回数に満たない場合、第2の複合行動パターン32による判定を行うか否かを判定しないようにしてもよい。
【0096】
ステップS37において、複合行動判定部26は、ステップS36において第2の複合行動パターン32による判定を行うと判定された周辺対象について、図20(b)に示す第2の複合行動パターン32と合致する行動情報を有するか否かを判定する。第2の複合行動パターン32と合致する行動情報を有する周辺対象が検出された場合、ステップS38に進み、検出されない場合、ステップS109に進む。
【0097】
図20(b)に示す第2の複合行動パターン32は、不審対象候補の移動方向変化点の直前の時刻における条件式が、V_target=V_arroundであり、不審対象候補と周辺対象とが同一方向の移動ベクトルを有する場合を示している。不審対象候補の移動方向変化点の直前の時刻における条件式は、V_target≠V_arroundであり、不審対象候補と周辺対象とが異なる方向の移動ベクトルを有する場合を示している。
【0098】
ステップS38において、複合行動判定部26は、第2の複合行動パターン32と合致する行動情報を有する周辺対象について、図20(c)に示す第3の複合行動パターン32と合致する行動情報を有するか否かを判定する。第3の複合行動パターン32と合致する行動情報を有する周辺対象が検出された場合、周辺対象を不審対象と判定してステップS110に進み、検出されない場合、ステップS109に進む。
【0099】
図20(c)に示す第3の複合行動パターン32は、不審対象候補の移動方向変化点の後の時刻における条件式が、V_target≠V_arroundであり、不審対象候補と周辺対象とが異なる方向の移動ベクトルを有する場合を示している。不審対象候補と周辺対象との位置関係を示す条件式は、|P_arround−P_target|≧Tであり、不審対象候補と周辺対象との間が所定の距離T以上離れている場合を示している。
【0100】
本発明の第2の実施の形態に係る監視装置によれば、個々の対象の動線情報から不審対象を検出することに加え、更に不審対象でないと判定された対象に対して周辺対象との複合行動情報により不審対象か否かを判定することにより、検出漏れや検出遅れを低減し、高精度に不審対象を検出できる。
【0101】
(その他の実施の形態)
上記のように第1及び第2の実施の形態を記載したが、この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
【0102】
既に述べた第1及び第2の実施の形態においては、不審行動パターン31、複合行動パターン32として、不審対象候補、周辺対象等の各対象の移動ベクトルを用いた他の種々の条件式を設定することができる。また、第1及び第2実施の形態において、不審対象候補、周辺対象等の各対象の移動ベクトルについて、同一方向、逆方向、停止状態等との表現をしているが、所定の範囲内で実質的に同一方向、逆方向、停止状態であればよい。
【0103】
その他、第1及び第2の実施の形態を応用した構成等、本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
【0104】
また、本発明は上記した装置の機能をコンピュータに実現させるためのプログラムを含むものである。これらのプログラムは、記録媒体から読み取られコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。
【符号の説明】
【0105】
1…撮像部
2…処理部
3…記憶部
4…入力部
5…出力部
21…対象検出部
22…動線情報作成部
23…行動情報作成部
24…不審行動判定部
25…周辺対象判定部
26…複合行動判定部
27…報知処理部
31…不審行動パターン
32…複合行動パターン

【特許請求の範囲】
【請求項1】
動画像を撮像する撮像部と、
前記撮像部により撮像された動画像から監視する対象を検出する対象検出部と、
前記対象検出部により検出された対象の移動ベクトルから動線情報を作成する動線情報作成部と、
前記動線情報作成部により作成された動線情報から、予め設定された不審行動パターンに応じて、前記対象検出部により検出された対象を不審対象と判定する不審行動判定部と、
前記不審対象以外の対象を新たな不審対象候補として、前記新たな不審対象候補の動線情報と、前記新たな不審対象候補の周辺に存在する周辺対象の動線情報とから、予め設定された複合行動パターンに基づいて、前記新たな不審対象候補が不審対象か否かを判定する複合行動判定部と
を備えることを特徴とする監視装置。
【請求項2】
前記動線情報作成部の作成する動線情報は、少なくとも対象の移動ベクトルの変化点と前記変化点が生じたときの時刻情報とを含むことを特徴とする請求項1に記載の監視装置。
【請求項3】
前記不審行動判定部は、前記動線情報から算出される、所定時間内の対象の移動距離、所定時間内の対象の移動ベクトルの変化頻度、所定時間内の対象の同一位置通過頻度の内、少なくとも1つの情報から、前記不審行動パターンに基づいて、対象が不審対象候補か否かを判定することを特徴とする請求項1又は2に記載の監視装置。
【請求項4】
前記複合行動判定部が前記不審対象候補を不審対象と判定した場合において、外部に報知信号を出力する出力部を更に備えることを特徴とする請求項1〜3のいずれか1項に記載の監視装置。
【請求項5】
動画像を撮像する撮像ステップと、
前記撮像ステップにおいて撮像された動画像から監視する対象を検出する対象検出ステップと、
前記対象検出ステップにおいて検出された対象の移動ベクトルから動線情報を作成する動線情報作成ステップと、
前記動線情報作成ステップにおいて作成された動線情報から、予め設定された不審行動パターンに応じて、前記対象検出ステップで検出された対象を不審対象候補と判定する不審行動判定ステップと、
前記不審対象以外の対象を新たな不審対象候補として、前記新たな不審対象候補の動線情報と、前記新たな不審対象候補の周辺に存在する周辺対象の動線情報とから、予め設定された条件である複合行動パターンに基づいて、前記新たな不審対象候補が不審対象か否かを判定する複合行動判定ステップと
を含むことを特徴とする監視方法。
【請求項6】
動画像から監視する対象を検出する対象検出ステップと、
前記対象検出ステップにおいて検出された対象の移動ベクトルから動線情報を作成する動線情報作成ステップと、
前記動線情報作成ステップにおいて作成された動線情報から、予め設定された不審行動パターンに応じて、前記対象検出ステップで検出された対象を不審対象候補として設定する不審行動判定ステップと、
前記不審対象以外の対象を新たな不審対象候補として、前記新たな不審対象候補の動線情報と、前記新たな不審対象候補の周辺に存在する周辺対象の動線情報とから、予め設定された条件である複合行動パターンに基づいて、前記新たな不審対象候補が不審対象か否かを判定する複合行動判定ステップと
を含む処理をコンピュータに実行させることを特徴とする監視プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate


【公開番号】特開2013−45344(P2013−45344A)
【公開日】平成25年3月4日(2013.3.4)
【国際特許分類】
【出願番号】特願2011−183704(P2011−183704)
【出願日】平成23年8月25日(2011.8.25)
【出願人】(308036402)株式会社JVCケンウッド (1,152)
【Fターム(参考)】