説明

置き去り監視装置

【課題】置き去り主以外の物体が不審物周辺に存在していても置き去り主を特定可能な情報を確実に出力し、監視効率を向上させる。
【解決手段】物体追跡手段41は監視画像から物体像を検出して前後する時刻に検出された物体像の同定を行い、同定された物体ごとに物体像を履歴化した物体像履歴31を記憶部3に記憶させ、不審物検知手段42は物体像履歴31を解析して静止判定時間を超えて静止している不審物を検知し、置き去り主検知手段43は不審物の物体像が検出され始めるまでの所定期間内の物体像履歴31を参照して不審物の検出領域にて検出された全ての物体を置き去り主の候補物体として検知し、事案情報出力手段44は置き去り主検知手段43により検知された物体の情報を物体像履歴31から選択的に出力する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、監視空間が撮像された画像から当該監視空間に置き去られた不審物及び当該不審物の置き去り主を検知する置き去り監視装置に関する。
【背景技術】
【0002】
駅や空港等における防犯を目的とした監視業務のひとつに不審物の置き去り監視がある。置き去りを監視する場合、不審物を迅速に発見して確認・撤去することも重要な業務となるが、その置き去り主を特定することも重要な業務となる。一般に、不審物が認識されたときには置き去り主はその場を去っているため、監視カメラにより撮像された過去画像から置き去り時点の画像を探し出すことになる。この作業を人手で行うと監視効率は大幅に低下する。
【0003】
特許文献1に記載された画像監視システムにおいては、入力画像と背景画像の差から人物像を検出するとともに人物像から分離した荷物像を検出し、当該荷物像が長時間静止し続けていることが判定されると当該荷物像と分離元の人物像を対応付けて記録あるいはモニタ出力することにより監視コストの低減を図ることが記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平1−245395号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、駅や空港等の監視空間においては一般に不特定多数の人々が行き交い、画像上では不審物の像と人物の像の重なりや人物同士の像の重なりが頻繁に生じる。従来技術においては、このような重なりが生じると不審物と置き去り主の対応関係を誤って判定してしまう問題があった。
【0006】
例えば、不審物とは無関係な人物が停止している場合に、その背後或いは手前で不審物の置き去りが行なわれると、不審物の像と停止中の人物の像が重なって撮像される。その後、停止していた人物が動き出すと当該人物から不審物が分離したと誤判定される。
また例えば、不審物の置き去りが行なわれたときに不審物とは無関係な人物が置き去り主とすれ違うと、置き去り主及び不審物の像とすれ違った人物の像が重なって撮像され、すれ違った人物から不審物が分離したと誤判定される場合がある。
【0007】
このように不審物と置き去り主の対応関係が誤判定されると、結局人手により過去の画像を遡らなければならず監視効率が大幅に低下してしまうこととなる。あるいは不審物と置き去り主の対応関係の判定に基づき選択的に画像を記録する場合は、誤判定により置き去り主の画像が失われてしまうこととなる。
【0008】
本発明は、上記問題を鑑みてなされたものであり、物体間で交錯が生じても不審物の置き去り主を特定可能な情報を確実に出力して、効率的な置き去り監視を可能とする置き去り監視装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明にかかる置き去り監視装置は、不審物及び当該不審物の置き去り主を検知する置き去り監視装置であって、監視空間を所定時間おきに撮像して監視画像を順次出力する撮像部と、記憶部と、各時刻の監視画像から物体像を検出して前後する時刻に検出された物体像の同定を行い、同定された物体ごとに物体像を当該物体像の検出領域及び当該物体像の検出時刻と対応付けて記憶部に記憶させる物体追跡手段と、予め設定された静止判定時間を超えて検出領域が変位していない物体を不審物として検知する不審物検知手段と、不審物が最初に検出された検出時刻直前を終点とする所定期間において検出領域が不審物の検出領域と重なる全ての物体を置き去り主の候補物体として検知する置き去り主検知手段と、候補物体の物体像を記憶部から選択して出力する事案情報出力手段と、を備えたことを特徴とする。
【0010】
かかる構成によれば、置き去り主以外の無関係物体が不審物の周辺に存在しても真の置き去り主を確実に含んだ情報を出力できるので、監視効率を向上させることができる。
【0011】
また、本発明の好適な態様においては、所定期間は、前記終点から過去方向に不審物の検出領域に重なる検出領域が連続して検出されている期間である。
かかる構成によれば、確実に不審物とは無関係な物体を除いて絞り込まれた候補物体の情報を提供できるので、監視効率を向上させることができる。
【0012】
また、本発明の好適な態様においては、置き去り主検知手段は、候補物体の物体像を不審物の物体像と照合して一致度を算出し、最大の一致度が算出された候補物体を検知する。
かかる構成によれば、置き去り主を一意に特定できるので、監視効率をさらに向上させることができる。
【0013】
また、本発明の好適な態様においては、置き去り主検知手段は、候補物体の物体像のうち当該物体像と対応付けられた検出領域が不審物の検出領域と重なる物体像を除外して照合を行なう。
かかる構成によれば、単に不審物の周辺を通過しただけの無関係物体が置き去り主に特定される誤りを防止できる。
【0014】
また、本発明の好適な態様においては、物体追跡手段は、ひとつの物体像に対して2以上の物体を同定することを許容し、置き去り主検知手段は、候補物体の物体像のうち2以上の物体と同定された物体像を除外して照合を行なう。
かかる構成によれば、2以上の物体が一体化している物体像と照合してしまうことにより置き去り主を一意に特定できなくなる不具合を防止できる。
【0015】
また、本発明の好適な態様においては、不審物検知手段は、各物体が最初に検出された検出時刻からの変位を計測する。
【0016】
移動物体は視野外から視野内へ移動して出現するが、不審物は移動物体から分離して当初から静止状態で検出される。そのため上記構成により物体像が検出され始めた時刻から静止し続けている物体を検知することで、一時的に停止した移動物体が不審物として誤検知されなくなり、置き去り主の検知は正しく検知された不審物に関して行われる。そのため、不審物及び置き去り主の検知精度が向上する。
【発明の効果】
【0017】
本発明によれば、物体間で交錯が生じても不審物の置き去り主を特定可能な情報を確実に出力できるので、置き去りの監視効率を向上させることができる。
【図面の簡単な説明】
【0018】
【図1】本実施の形態に係る置き去り監視装置の機能ブロック図である。
【図2】置き去り監視装置により撮像又は生成される画像情報を例示した図である。
【図3】置き去り監視装置により撮像又は生成される画像情報を例示した図である。
【図4】物体像履歴の一部として生成される存在履歴画像を例示する図である。
【図5】置き去り監視装置による処理のメイン・フローチャートを示す図である。
【図6】置き去り検知処理のフローチャートを示す図である。
【図7】置き去り検知処理のフローチャートの一部を示す図である。
【図8】物体像履歴を模式的に示した図である。
【発明を実施するための形態】
【0019】
本発明の好適な実施形態の一例として、不特定多数の人が行き交う駅等の待合室において不審物の置き去りを監視する置き去り監視装置について説明する。
【0020】
[置き去り監視装置1の構成]
図1〜図3を参照して、置き去り監視装置1の構成を説明する。図1は置き去り監視装置1の機能ブロック図、図2及び図3は置き去り監視装置1により撮像又は生成される画像を例示した図である。
【0021】
置き去り監視装置1は、撮像部2、記憶部3、表示部5及び記録装置6が制御部4に接続されて構成される。
【0022】
撮像部2は所謂監視カメラである。撮像部2は、監視空間を所定時間間隔にて撮像した監視画像を順次、制御部4へ出力する。以下、上記時間間隔で刻まれる時間単位を時刻と称する。
【0023】
記憶部3は、ROM(Read Only Memory)、RAM(Random Access Memory)等のメモリ装置である。記憶部3は、各種プログラムや各種データを記憶し、制御部4との間でこれらの情報を入出力する。各種データには、背景画像30、物体像履歴31及び事案情報32が含まれる。
【0024】
背景画像30は、監視空間の背景の像のみが含まれ、危険物や忘れ物等の不審物の像及び通行者等の移動物体の像が含まれていない画像である。背景画像30は、置き去り検知処理に先立って生成され、記憶される。
【0025】
物体像履歴31は、各時刻において監視画像から検出された物体の画像(物体像)を、当該物体像の検出領域及び当該物体像の検出時刻と対応付けて物体ごとに履歴化した情報である。物体とは背景構成物以外の物体であり、不審物や移動物体である。
【0026】
図8は、後述する図2の監視画像101,102,…から検出された情報に基づき生成される物体像履歴31の要部を模式的に示した図である。
図8の各行はひとつのデータセットを表しており、物体像履歴31は1以上のデータセットを含んでなる。各データセットは検出時刻、物体ID、物体像、検出領域等からなる。検出時刻は新たな監視画像が撮像されるたびに増加するインデックス番号で表される。物体IDは各物体を一意に識別する符号又は数字で表される。物体像は監視画像から切り出され、当該物体を視認可能な多値画像である。検出領域は物体像内外で画素値を異ならせた2値画像と監視画像に対する2値画像の相対位置を表す座標データからなる情報である。
【0027】
別の実施形態において物体像履歴31は、各時刻の監視画像と、当該時刻の検出領域と、各検出領域に対応する物体ID等のデータセットが検出時刻順に記憶された時系列データである。物体像は検出領域と監視画像の組から特定できるので図8を参照して説明した例と等価である。
【0028】
また、後述する物体追跡において都度の演算を行なわないで済むように、各物体の最新の物体像から抽出された色ヒストグラムなどの特徴量を当該物体の参照特徴量として物体像履歴31の一部に含め、物体像の重心位置を物体ごとに履歴化した移動軌跡を物体像履歴31の一部に含めて記憶する。
【0029】
制御部4は、DSP(Digital Signal Processor)、MCU(Micro Control Unit)等の演算装置である。制御部4は、背景画像生成手段40、物体追跡手段41、不審物検知手段42、置き去り主検知手段43、事案情報出力手段44等の動作を記述したプログラムを記憶部3から読み出して実行することにより各手段として機能する。制御部4は、撮像部2からの監視画像を処理して不審物及び当該不審物の置き去り主を検知し、検知した物体の情報を表示部5及び記録装置6に出力する。また制御部4は、不図示の時計手段を備え、時計手段から現在の日時を取得することができる。
【0030】
背景画像生成手段40は、監視空間に不審物及び移動物体が存在しないときに撮像された監視画像の全体を背景画像30として記憶部3に記憶させる。また、背景画像生成手段40は、背景画像30を監視空間の照明変動等に適応させるために、監視画像のうち物体像が検出されなかった部分を背景画像30に合成することで背景画像30を更新する。合成は重み付け平均処理又は置換処理により行われる。
【0031】
物体追跡手段41は、各時刻の監視画像から物体像を検出して前後する時刻に検出された物体像の同定を行い、同定された物体ごとに物体IDを付与して、物体像、当該物体像ごとの検出領域、当該物体像ごとの検出時刻及び物体IDを対応付けたデータセット群を物体像履歴31として記憶部3に記憶させる。
【0032】
物体像の検出は監視画像と背景画像30の比較により行われる。具体的には、物体像は背景差分処理により検出される。すなわち物体追跡手段41は、監視画像と背景画像30の対応する画素ごとに画素値の差の絶対値が予め設定された差分閾値以上である画素を抽出し、近接して抽出された画素を変化領域としてまとめ、監視画像中の変化領域に対応する部分を物体像として検出する。また、各物体像が検出された監視画像が撮像された時刻が当該物体像の検出時刻、変化領域の外形が当該物体像の検出領域とされる。検出領域は変化領域の外形に代えて、変化領域の外接矩形としてもよい。
【0033】
別の実施形態において物体像は背景相関処理により検出される。この場合、物体追跡手段41は、監視画像の各画素と当該画素に対応する背景画像30の画素との相関値を求めて、相関値が予め設定された相関閾値未満の画素のうち互いに近接する画素を上記変化領域としてまとめる。
【0034】
物体像の同定は、現時刻において検出された物体像と物体像履歴31の比較により行われる。以下、現時刻において検出された物体像を現物体像とも称する。物体追跡手段41は、現物体像のそれぞれを分析して特徴量および重心位置を算出するとともに履歴中の移動軌跡から現時刻における各物体の予測位置を求め、現物体像と履歴中の物体の全組み合わせに対して現時刻の特徴量と履歴中の参照特徴量との類似度(特徴類似度)及び現時刻の重心位置と予測位置との類似度(位置類似度)を重み付け加算した総合類似度を算出し、総合類似度と予め設定された同定閾値との比較に基づき尤もらしい組み合わせを同一物体と判定する。
すなわち履歴中の各物体について最大の総合類似度を選出して同定閾値と比較し、同定閾値を超えていれば当該総合類似度が算出された組み合わせを決定する。2以上の物体が画像上で重なって一体化した物体像に関しては、ひとつの物体像に対して2以上の物体を同定することが許容される。視野外に消失した物体や、新たに視野内に出現した物体の物体像は同定が得られないことから判別できる。
予測位置は移動軌跡に等速直線モデルまたはカルマンフィルタ等を適用することで算出できる。総合類似度は予め設定された0<α<1なる定数αを用いて{α×特徴類似度+(1−α)×位置類似度}と算出できる。
【0035】
図2の画像101〜104、図3の画像105〜108は時刻(t−Ts−5)〜現時刻tまでに撮像された監視画像の例である。この間、監視画像には人物a,b,c,eと箱dが撮像された。
図2の画像201〜204、図3の画像205〜208は、対応する各時刻の監視画像から検出された検出領域を示す画像である。
【0036】
人物aは、時刻(t−Ts−5)に画像中央付近を通り、時刻(t−Ts−4)〜(t−Ts−1)の間に画像右下に停止して人物bと会話を交わし、時刻(t−Ts)に再び移動を始め、以降は視野外に消えた。時刻(t−Ts−5)〜(t−Ts)の監視画像101〜106からは人物aに関する検出領域210,220,230,240,250,260が検出され、これらに対応する物体像110,120,130,140,150,160が順次物体A(物体ID「A」を付与された物体)として同定され、物体像履歴31に記憶されている。
【0037】
人物bは、時刻(t−Ts−5)に画像左下に出現した後、画像右側に向かって移動し、時刻(t−Ts−3)〜(t−Ts−1)の間に画像中央付近に停止して人物aと会話を交わし、時刻(t−Ts)に再び移動を始め、以降は視野外に消えた。時刻(t−Ts−5)〜(t−Ts)の監視画像101〜106からは人物bに関する検出領域211,221,231,241,251,261が検出され、これらに対応する物体像111,121,131,141,151,161が順次物体Bとして同定され、物体像履歴31に記憶されている。但し、時刻(t−Ts−2)において人物bとcがすれ違ったため、監視画像104から検出された検出領域241は人物bとcが一体化したものとなり、検出領域241と対応する物体像141は物体Cとしても同定される。
【0038】
人物cは、時刻(t−Ts−4)に画像右上に箱dを携えて出現した後、画像左側に向かって移動し、時刻(t−Ts−2)に箱dを画像中央付近に放置し、そのまま画像左側に向かって移動を続け、時刻(t−Ts)には視野外へと消えた。人物cは箱dの置き去り主である。時刻(t−Ts−4)〜(t−Ts−1)の監視画像102〜105からは人物cに関する検出領域222,232,241,252が検出され、これらに対応する物体像122,132,141,152が順次物体Cとして同定され、物体像履歴31に記憶されている。尚、上述したように物体像141は物体Bとしても同定されている。
【0039】
箱dは、時刻(t−Ts−4)に人物cに携えられて出現し、時刻(t−Ts−2)に画像中央付近に放置された。箱dの像は、時刻(t−Ts−4)〜(t−Ts−1)の間は人物c又は人物bの像と一体化していたため、ひとつの独立した物体像として検出されなかった。箱dの像は、その後の時刻(t−Ts)において初めて独立した物体像として検出された。時刻(t−Ts)以降の監視画像106〜108から検出された検出領域263,273,283に対応する物体像163,173,183は順次物体Dとして同定され、物体像履歴31に記憶されている。但し、時刻(t−Ts+n)において箱dの向こう側を人物eが横切ったため、監視画像107から検出された検出領域273は人物eと箱dが一体化したものとなり、検出領域273と対応する物体像173は物体Eとしても同定されている。
【0040】
人物eは、箱dが放置された後の時刻(t−Ts+n)に画像中央付近を通過し、視野外へと消えた。時刻(t−Ts+n)の監視画像107からは人物eに関する検出領域273が検出され、これに対応する物体像173が物体Eとして同定され、物体像履歴31に記憶される。尚、上述したように物体像173は物体Dとしても同定されている。
【0041】
不審物検知手段42は、各物体について記憶されている物体像履歴31を解析して各物体の変位を計測し、予め設定された静止判定時間Tsを超えて検出領域が変位していない物体を不審物として検知し、検知された不審物の物体IDを置き去り主検知手段43に出力する。
具体的には不審物検知手段42は、Ts以上の時間に亘り検出された各物体の移動軌跡から移動距離を算出して静止判定距離Tdと比較し、移動距離がTd未満である物体を不審物として検知する。Tdには物体像の検出誤差を考慮した0に近い値が予め設定される。
別の実施形態において不審物検知手段42は、Ts以上の時間に亘り検出された各物体の検出領域を重ね合わせてはみ出し面積の割合を静止判定割合Trと比較し、はみ出し面積の割合がTr未満である物体を不審物として検知する。Trには物体像の検出誤差を考慮した0に近い値が予め設定される。
尚、不審物の検知漏れを防ぐために、2以上の物体と同定されたときの検出領域の情報は変位の計測から除くのがよい。
【0042】
ここで、停止中の移動物体が不審物と誤検知されれば当該誤検知に基づく置き去り主検知処理自体がエラーとなる。移動物体が停止する時間よりも十分に長い静止判定時間Tsを設定することで誤検知を防止することも可能であるが、不審物及び置き去り主を迅速に検知するためにはTsをできる限り短く設定することが望ましい。
【0043】
そこで不審物検知手段42は、各物体が最初に検出された検出時刻からの変位を計測する。具体的には不審物検知手段42は、各物体の移動軌跡の1データ目からの移動距離を算出する。はみ出し面積から変位を計測する別の実施形態において不審物検知手段42は、各物体の最古の検出領域から順に重ね合わせを行なう。
不審物の物体像が検出され始めるのは置き去り主から分離して以降であるため、不審物は当初から静止状態で観測される。一方、移動物体は視野外から視野内に現れるため、当初は移動状態で観測される。この違いにより、静止判定時間Tsを比較的短い時間に設定しつつも移動物体と不審物を区別することが可能となるのである。Tsは10秒〜1分程度の時間に設定できる。このように各物体が最初に検出された検出時刻からの変位を計測することで不審物を迅速且つ高精度に検知できる。
【0044】
図2及び図3の例において人物aは時刻(t−Ts−4)〜(t−Ts−1)に停止しているが時刻(t−Ts−4)までは移動していたため不審物として誤検知されない。同様に人物bも時刻(t−Ts−3)〜(t−Ts−1)に停止しているが時刻(t−Ts−3)までは移動していたため不審物として誤検知されない。
一方、箱dは時刻(t−Ts)に物体Dとして物体像が検出され始めて以降は静止したままであったため時刻tにおいて不審物として正しく検知される。
【0045】
置き去り主検知手段43は、不審物検知手段42により不審物が検知されると、物体像履歴31を解析して、当該不審物の最古の検出時刻の直前時刻を終点とする期間において検出領域が不審物の検出領域と重なる全ての物体を置き去り主の候補物体として検知し、検知された物体の物体IDを含めた置き去り主情報を事案情報出力手段44に出力する。
物体像履歴31に記憶されている不審物の最古の検出時刻は当該不審物の物体像が最初に検出された時刻を意味する。以下、この時刻を不審物出現時刻とも称する。また、以下では不審物の検出領域を不審物検出領域とも称し、上記期間を検知対象期間とも称する。
置き去り主が他の移動物体と交錯すると、不審物はあたかも交錯した移動物体から分離したような状況となることがある。そうなると不審物出現時刻の直前に不審物検出領域と重なる領域に撮像されている像は交錯した移動物体の像となる。しかし、置き去り主は少なくとも不審物出現時刻の直前までに不審物検出領域と重なる領域に撮像されているため、不審物出現時刻の直前時刻より過去の複数時刻をも検知対象とすることで置き去り主を漏らさず検知できる。
よって置き去り主以外の無関係物体が不審物の周辺にいても真の置き去り主を確実に含んだ候補物体を検知できる。
【0046】
ここで、検知対象期間の長さとして十分に長い時間を予め設定しておくことも可能であるが、余分に長いと不審物検出領域を通過しただけの物体が無駄に候補物体に加わる。候補物体が無駄に増えると、監視効率が低下したり、後述する照合における誤照合の可能性を高めてしまう。そのため検知対象期間は意味のある範囲で最小限の長さとすることが望ましい。
【0047】
そこで、検知対象期間は、不審物出現時刻の直前から過去方向に不審物検出領域に重なる検出領域が連続して検出されている期間とする。検知対象期間の長さは状況に応じて変動することになる。不審物検出領域に重なる検出領域はどの物体の検出領域であっても構わない。
連続検出が途切れた時刻より過去において不審物は未だ置き去られていないはずであるから、上記連続検出期間を検知対象期間とすることで、検知対象期間は真の置き去り主を確実に候補物体に含めることのできる最小限の長さとなる。よって、監視効率の低下が防止され、誤照合が生じる可能性を低減することができる。
【0048】
図2及び図3の例を用いて候補物体の検知を具体的に説明する。この例においては、不審物検知手段42は時刻tに不審物Dを検知し、不審物出現時刻は時刻(t−Ts)、不審物検出領域は検出領域263となる。
【0049】
置き去り主検知手段43は、検知対象期間の終端を時刻(t−Ts−1)とし、時刻(t−Ts−1)から時間を遡って各時刻の検出領域と不審物検出領域の重ね合わせを行なう。時刻(t−Ts−1)では物体Bの検出領域251、時刻(t−Ts−2)では物体B及びCの検出領域241、時刻(t−Ts−3)では物体Bの検出領域231が不審物検出領域と重なる。時刻(t−Ts−4)では不審物検出領域と重なる検出領域がないため、置き去り主検知手段43は遡りを止め、検知対象期間の始端時刻を時刻(t−Ts−3)とする。
そして置き去り主検知手段43は、検知対象期間(t−Ts−3)〜(t−Ts−1)の間に検出領域が不審物検出領域と重なった物体B及びCを候補物体として検知する。
【0050】
不審物Dの像はあたかも物体Bの像から分離したようにも見えるが、実際には不審物Dの像は物体Bの背後で物体Cから分離している。このように画像上で物体間の重なりが生じていても、置き去り主検知手段43は、真の置き去り主である物体Cを取りこぼすこと無く候補物体として検知できる。つまり、置き去り主検知手段43は、検知対象期間内に不審物検出領域にて物体像が抽出された「全ての」物体を置き去り主の候補物体として検知するので、置き去り主以外の無関係物体が不審物の周辺にいたとしても真の置き去り主を確実に含んだ候補物体を検知できるのである。
尚、図2及び図3では物体B,Cの2物体が連続検出される例を示したが、3以上の物体が連続検出されたとしても、同様の処理により置き去り主検知手段43は真の置き去り主を検知し損ねることはない。
【0051】
また、検知対象期間の終端時刻が時刻(t−Ts−1)に制限されることにより不審物D(箱d)自身、及び不審物Dとは無関係な物体E(人物e)が候補物体から適切に除外されている。
また、検知対象期間の始端時刻が時刻(t−Ts−3)に制限されることにより不審物検出領域を通過しただけで不審物Dとは無関係な物体A(人物a)が候補物体から適切に除外されている。
【0052】
上記では置き去り主検知手段43が物体像履歴31を順次遡って候補物体を検知する例を説明したが、置き去り主検知手段43は以下に説明する存在履歴画像を物体像履歴31の一部として逐次生成することによっても同様に候補物体を検知できる。
存在履歴画像は監視画像と同じ大きさの画像であり、静止物体が存在している画素位置と当該画素位置に存在していた物体の物体IDの履歴情報を表す画像である。置き去り主検知手段43は現時刻に検出された検出領域に一時刻前に生成された存在履歴画像を重ね合わせて履歴が書き込まれた画素と重なる検出領域と重ならない検出領域を選別し、重なる検出領域内の画素値を重なり元の履歴と当該検出領域の物体IDをマージした履歴とし、重ならない検出領域内の画素値を当該検出領域の物体IDで初期化した新たな存在履歴画像を逐次生成する。初期画像は全画素について履歴なし(物体IDなし)とする。過去の存在履歴画像は少なくともTs時間の間だけ記憶しておく。
置き去り主検知手段43は、不審物出現時刻において生成された存在履歴画像において不審物の物体IDを有する画素に保持されている物体IDを候補物体の物体IDとして検知する。
【0053】
図4は、図2及び図3の例において生成される存在履歴画像301〜308を示している。
時刻(t−Ts−4)においては図2の検出領域220,221,222と一時刻前の存在履歴画像301が重ね合わされるが、重なる検出領域は無く、検出領域220,221,222内の画素値を各検出領域に対応する物体ID「A」,「B」,「C」とする存在履歴画像302が生成される。
時刻(t−Ts−3)においては図2の検出領域230,231,232と一時刻前の存在履歴画像302が重ね合わされ、存在履歴画像303が生成される。検出領域230については重なりが認識されるが、履歴と検出領域230が同一ID「A」であるためマージされた履歴「A」が検出領域230内の画素値に設定される。検出領域231,232については重なりが認識されず、検出領域231,232内の画素値は各領域に対応する物体ID「B」,「C」で初期化される。
同様に、時刻(t−Ts−2)において存在履歴画像304が生成され、時刻(t−Ts−1)において存在履歴画像305が生成される。
時刻(t−Ts)においては図3の検出領域260,261,263と一時刻前の存在履歴画像305が重ね合わされ、存在履歴画像306が生成される。不審物Dの検出領域263については重なりが認識され、履歴「B,C」と検出領域263の物体ID「D」がマージされた履歴「B,C,D」が検出領域263内の画素値に設定される。検出領域260,261については重なりが認識されず、検出領域260,261内の画素値は各検出領域に対応する物体ID「A」,「B」で初期化される。
同様に、時刻(t−Ts+n)において存在履歴画像307が生成され、時刻tにおいて存在履歴画像308が生成される。時刻(t−Ts)以降は不審物Dが静止し続けているため、不審物検出領域にて検出された物体の物体IDが存在履歴画像に継承されていく。
不審物Dが検知されたとき、置き去り主検知手段43は不審物出現時刻(t−Ts)に生成された存在履歴画像306において不審物の物体ID「D」を有する画素に保持されている物体ID「B」と「C」を候補物体の物体IDとして検知する。
【0054】
さらに、置き去り主検知手段43は、不審物の物体像を各候補物体の物体像と照合して候補物体ごとに一致度を算出し、最大の一致度が算出された候補物体の物体IDに絞り込んだ置き去り主情報を出力してもよい。上記照合は候補物体の物体像中の一部領域を照合領域に順次設定しながらの探索的な照合である。
不審物を携えた置き去り主の物体像は不審物の物体像と部分一致するため高い一致度が算出される。そのため、置き去り主を一意に特定でき、監視効率をさらに向上させることができる。
【0055】
ここで、候補物体の物体像のうち不審物検出領域において検出された物体像は不審物と無関係物体とが同時に含まれている可能性がある。このような物体像を照合対象に含めると無関係物体に対して高い一致度が算出されてしまう。
そこで、置き去り主検知手段43は、候補物体の物体像のうち当該物体像と対応付けられた検出領域が不審物検出領域と重なる物体像を除外して照合を行なう。
これにより、無関係物体に対して高い一致度が算出される誤りを防止でき、監視効率の低下を防ぐことができる。
【0056】
また、候補物体の物体像のうち他の移動物体の像と一体的に検出された物体像に対して算出された一致度はいずれの物体に対するものか不明となる。
そこで、置き去り主検知手段43は、候補物体の物体像のうち複数の物体と同定された物体像を除外して照合を行なうことで、不確定な一致度を排除する。
【0057】
図2及び図3の例を用いて、物体像の照合を具体的に説明する。
置き去り主検知手段43は物体Bの物体像121,111を不審物Dの物体像163と照合する。物体Bの物体像のうち不審物Dの検出領域にて検出された物体像151,141,131が照合対象から除外されていることに注意されたい。このうち物体像141は複数の物体と同定されたという観点からも照合対象から除外される条件を満たしている。物体像121,111はいずれも箱dの像を含んでいないため、物体Bについては低い一致度が算出される。
置き去り主検知手段43は物体Cの物体像152,132,122も不審物Dの物体像163と照合する。物体Cの物体像のうち不審物Dの検出領域にて検出された物体像141が照合対象から除外されていることに注意されたい。物体像141は複数の物体と同定されたという観点からも照合対象から除外される条件を満たしている。物体像132,122が箱dの像を含んでいるため、物体Cについては高い一致度が算出される。
【0058】
また不審物として検知された物体が、実は忘れ物や一時置きされたものであり、置き去り主により回収されることが日常的に起こる。これらの物体に係る事案が異常事案に混ざると真の異常事案が埋もれてしまい監視効率を低下させたり、記憶部3や記録装置6の容量を圧迫する。
そこで置き去り主検知手段43は、物体像履歴31を参照して既検知不審物の移動を検出するとともに移動が検出されたときに当該既検知不審物と最も近い位置にて検出された物体を持ち去り主として特定し、持ち去り主が当該既検知不審物の置き去り主と同一であった場合に当該既検知不審物の物体IDを含めた取下信号を事案情報出力手段44に出力して、事案の取り下げを要求する。
【0059】
事案情報出力手段44は、置き去り主検知手段43から不審物及び置き去り主の物体IDが入力されると、物体像履歴31の中から当該不審物及び置き去り主に係る物体像を読み出して、読み出した物体像群に事案ID及び事案発生日時を付与した事案情報32を生成し、生成した事案情報32を表示部5に表示するとともに、同情報を記憶部3に短期記憶させ、同情報を記録装置6に長期記録させる。
また、事案情報出力手段44は、置き去り主検知手段43から取下信号が入力されたときに当該取下信号により特定される事案情報32の表示を取りやめ、同情報を記憶部3から削除する。
【0060】
表示部5は、事案情報32等を表示する液晶ディスプレイ等の表示装置などである。表示部5は、制御部4から事案情報32等が入力されると、これらの情報を視認可能に表示して監視員に伝達する。
【0061】
記録装置6は、ハードディスクレコーダー或いはDVDレコーダー等であり、制御部4から事案情報32が入力されると、当該事案情報32をハードディスク等の磁気記録媒体或いはDVD等の光記憶媒体に長期記録する。
不審物が危険物であったなら記録された事案情報32は不審者検挙のための証拠となり、不審物が忘れ物であったなら記録された事案情報32は忘れ物を正当な所有者に返却するための証拠となる。
【0062】
[置き去り監視装置1の動作]
以下、図5を参照して、置き去り監視装置1の動作を説明する。
【0063】
監視空間が無人であることを確認した管理者が装置に電源を投入すると、各部、各手段は初期化されて動作を始める(S1)。背景画像生成手段40は、初期化中の監視画像を背景画像30として記憶部3に記憶させる。また、物体追跡手段41は物体像履歴31をクリアする。
【0064】
初期化の後は、撮像部2から制御部4へ新たな監視画像が入力されるたびにS2〜S7の処理が繰り返される。
【0065】
新たな監視画像が入力されると(S2)、制御部4の物体追跡手段41は、当該監視画像を背景画像30と比較して現物体像を検出し(S3)、現物体像と物体像履歴31との同定を行なって各物体を追跡し(S4)、現時刻における追跡結果を基に物体像履歴31を更新する(S5)。
【0066】
ステップS5における物体像履歴更新処理を詳説する。
【0067】
物体追跡手段41は同定が得られた現物体像、当該物体像の検出領域及び検出時刻等に同定された物体像履歴31と同じ物体IDを対応付けて記憶部3に追記する。また物体追跡手段41は同定時に算出した現物体像の特徴量で当該物体の参照特徴量を置換し、現物体像の重心位置を算出して当該物体の移動軌跡に追記する。同定が得られた物体は追跡対象として扱われる。
【0068】
起動直後は物体像履歴31が空のためいずれの現物体像も同定は得られない。視野外から視野内へ移動してきたばかりの移動物体に係る現物体像も同定は得られない。また、移動物体の像から分離したばかりの不審物に係る現物体像も同定は得られない。
物体追跡手段41は、いずれの物体像履歴31とも同定されなかったこれらの現物体像、検出領域及び検出時刻等に新たな物体IDを付与し、新規物体の情報としての物体像履歴31に追記する。また物体追跡手段41は現物体像の特徴量(参照特徴量となる)、現物体像の重心位置(移動軌跡の1データ目となる)のそれぞれにも上記新たな物体IDを対応付けて物体像履歴31に追記する。この新規物体は新たに追跡対象に加わったことになる。
【0069】
視野内から視野外へと移動した移動物体の物体像履歴31は、いずれの現物体像とも同定されない。物体追跡手段41は、このような物体像履歴31に消失フラグを立てる(消失フラグに1をセットする)。消失フラグが立っている物体は追跡対象外として扱われる。
【0070】
続いて制御部4は置き去り検知処理を行う(S6)。図6を参照して置き去り検知処理を詳細に説明する。
【0071】
置き去り主検知手段43は、現物体像の検出領域と一時刻前の存在履歴画像を演算して存在履歴画像を更新する(S60)。
【0072】
存在履歴画像が更新されると制御部4は、追跡対象となっている物体を順次注目物体に設定してステップS61〜S76のループ処理を実行する。
【0073】
ループ処理において制御部4は、まず注目物体が前時刻までに既に不審物として検知された既検知不審物であるか否かを判定する(S62)。既検知不審物であった場合の処理は後述する。
【0074】
一方、既検知不審物でなかった場合、制御部4の不審物検知手段42は注目物体が不審物であるか否かを判定する(S62にてNO→S63)。すなわち不審物検知手段42は、注目物体の移動軌跡を構成する位置情報のうち前後する位置情報間の距離を順次累積して総移動距離を算出し、総移動距離を静止判定距離Tdと比較する。不審物検知手段42は、総移動距離がTd未満であれば注目物体を不審物として検知し、注目物体の物体像履歴31に不審物フラグを立てる(不審物フラグに1をセットする)。不審物フラグが立っている物体は次時刻以降、既検知不審物として扱われる。
但し、移動軌跡を構成する位置情報の個数が未だ静止判定時間Ts相当の個数に満たない場合、判定は次時刻以降に持ち越され、現時刻においては便宜的に不審物でないとされる。
【0075】
上述したステップS63において不審物検知手段42は静止のみを条件として不審物を検知した。別の実施形態において不審物検知手段42は、注目物体が新規出現した時刻の前後の一定時間T1に別の移動物体がその近傍に存在しているという追加条件をも満たす場合に注目物体を不審物として検知する。このようにすることで、窓から差し込む光等により突然出現したノイズの像を不審物と検知する誤りを防止することができる。
【0076】
また、さらに別の実施形態において不審物検知手段42は、注目物体が新規出現した時刻から静止判定時間Tsが経過するまでの期間に注目物体の近傍に移動物体がいない時間があるという追加条件をも満たす場合に注目物体を不審物として検知する。このようにすることで、足元に置いただけの荷物等をいちいち不審物として検知することを防止でき、監視効率を向上させることができる。
【0077】
また、さらに別の実施形態において不審物検知手段42は、上記2つの追加条件をも満たす場合に注目物体を不審物として検知する。
【0078】
注目物体が不審物と判定されなかった場合(S63にてNO)、当該注目物体に関する現時刻の処理は終わり、次の追跡物体に関する処理へと進められる。
【0079】
一方、注目物体が不審物と判定された場合(S63にてYES)、不審物検知手段42は注目物体の物体IDを制御部4の置き去り主検知手段43に通知し、通知を受けた置き去り主検知手段43はステップS64以降の置き去り主検知処理を行う。
【0080】
まず、置き去り主検知手段43は、現時刻より静止判定時間Tsだけ過去に生成され記憶されている存在履歴画像を参照して注目物体の物体IDを有する画素を検索し、同画素に保持されている注目物体以外の物体IDを置き去り主の候補物体の物体IDとして特定する(S64)。これにより、不審物出現時刻の直前時刻を終点とし不審物検出領域と重なる検出領域の検出時刻が終点まで連続している期間において、検出領域が不審物検出領域と重なる全ての物体が置き去り主の候補物体として検知される。
【0081】
候補物体の物体IDを特定した置き去り主検知手段43は、物体像履歴31において当該物体IDと対応付けて記憶されている物体像(候補物体の物体像)を順次読み出して注目物体像に設定し、ステップS65〜S69の物体像ループ処理を実行する。
【0082】
物体像ループ処理において置き去り主検知手段43は、注目物体像と対応付けられている検出領域を不審物検出領域と重ね合わせて重なりの有無を判定し(S66)、注目物体像と対応付けられている検出領域及び検出時刻のセットと同一のセットが他に記憶されているか否かを確認する(S67)。重なりがなければ注目物体像は不審物検出領域にて検出されたものでないと判定され(S66にてNO)、さらに同一のセットが他に記憶されていなければ注目物体像は単一の物体として同定されたものと確認され(S67にてYES)、置き去り主検知手段43は注目物体像を不審物像と照合する(S68)。照合の結果、一致度が算出され、置き去り主検知手段43は一致度を注目物体像の物体IDと対応付けて記憶部3に一次記憶させる。
【0083】
一方、重なりがあれば注目物体像は不審物検出領域にて検出されたものであると判定されて、照合は行なわれない(S66にてYES→S69)。また、同一のセットが他に記憶されていれば注目物体像は2以上の物体として同定されたものとされ、照合は行なわれない(S67にてNO→S69)。
【0084】
ステップS68の照合について詳説する。置き去り主検知手段43は、不審物検知手段42から通知された物体ID及び現時刻から静止判定時間Tsだけ過去の時刻をキーにして物体像履歴31を検索することで不審物像を取得する。不審物像を取得した置き去り主検知手段43は、不審物像と同形同大の照合領域を注目物体像に順次設定しては不審物像と照合領域内の注目物体像の類似度を算出する処理を繰り返す。照合領域の設定は1画素ずつずらしながら行なわれる。類似度は対応する画素間の相関値を平均することで算出される。こうして複数の照合領域に対して得られた類似度のうちの最大値が不審物像と注目物体像の一致度として算出される。
【0085】
物体像ループ処理を終えると、置き去り主検知手段43は一次記憶された一致度の中から最大値を検索し、当該最大値と対応付けられている物体IDを置き去り主の物体IDと特定する(S70)。置き去り主を特定した置き去り主検知手段43は、不審物と置き去り主の物体IDを事案情報出力手段44に通知する。
【0086】
通知を受けた事案情報出力手段44は、事案情報32の生成と出力を行なう(S71)。事案情報出力手段44は、物体像履歴31の中から不審物の物体IDと対応付けられている物体像及び置き去り主の物体IDと対応付けられている物体像を選択的に読み出し、時計手段から現在日時を取得し、新規の事案IDを生成し、読み出した物体像と現在日時と事案IDからなる事案情報32を生成する。そして、事案情報出力手段44は、生成した事案情報32を記憶部3に記憶させるとともに、表示部5に出力する。
【0087】
表示部5は事案情報32を表示し、表示された事案情報32を見た監視員は不審物と置き去り主を確認し、必要に応じて不審物の回収や置き去り主への事情確認等を行う。
また、事案情報出力手段44は、定期的に物体像履歴31と記憶部3の事案情報32を比較して、事案情報32における置き去り主が追跡物体ではなくなっていれば当該事案情報32を記録装置6に移動させる。
【0088】
図7を参照し、ステップS62において注目物体が既検知不審物と判定された場合の処理を説明する。
【0089】
置き去り主検知手段43は、物体像履歴31の移動軌跡を参照して既検知不審物に位置変動が生じたか否かを確認する(S72)。位置変動が確認されると、置き去り主検知手段43は、再び物体像履歴31の移動軌跡を参照して、一時刻前の既検知不審物の位置と他の各物体の位置の距離を算出して最も距離の短い物体を特定し、特定された物体が既検知不審物を移動させた持ち去り主であると判定する(S73)。
【0090】
持ち去り主が特定されると、置き去り主検知手段43は、既検知不審物の物体IDをキーにして事案情報32から当該既検知不審物の置き去り主を検索し、検索された置き去り主が持ち去り主と同一か確認する(S74)。
【0091】
既検知不審物の持ち去り主が置き去り主であったなら、異常は発生していなかったとして当該既検知不審物に係る事案情報32を記憶部3から削除し、表示部5における表示を取りやめる(S74にてYES→S75)。
【0092】
一方、既検知不審物の持ち去り主が置き去り主と異なっていたのであれば、さらなる持ち去り異常が発生したとして物体像履歴31の中から持ち去り主の物体像を選択的に読み出し、時計手段から現在日時を取得し、読み出した事案情報32に持ち去り主の物体像と現在日時とを加える(S74にてNO→S76)。
【0093】
事案情報出力手段44は、追記した事案情報32を記憶部3に上書き記憶させるとともに、表示部5に出力する。表示部5は事案情報32を表示し、表示された事案情報32を見た監視員は不審物と置き去り主、持ち去り主を確認し、必要に応じて持ち去り主への事情確認等を行う。
また、事案情報出力手段44は、定期的に物体像履歴31と記憶部3の事案情報32を比較して、事案情報32における持ち去り主が追跡物体ではなくなっていれば当該事案情報32を記録装置6に移動させる。
【0094】
<変形例>
上記実施形態において、置き去り主検知手段43は不審物の物体像との間で最大の一致度が算出されたひとつの物体に特定した置き去り主情報を出力し、事案情報出力手段44は特定された置き去り主の物体像を出力した。
別の実施形態において、置き去り主検知手段43は照合を行なわずに全候補物体を含めた置き去り主情報を出力し、事案情報出力手段44は全候補物体の物体像を出力する。こうすることで携帯時の露出が期待できず照合一致が得にくい小さめの不審物をも監視対象としたい場合にも、効率の良い監視を行うことができる。
【0095】
また別の実施形態において、置き去り主検知手段43は一致度の大きい候補物体ほど高い優先順位を付与して候補物体の物体IDと各候補物体の優先順位を含めた置き去り主情報を出力し、事案情報出力手段44は優先順位に従った並びで候補物体の物体像を出力する。こうすることによっても携帯時の露出が期待できず照合一致が得にくい小さめの不審物をも監視対象としたい場合にも、効率の良い監視を行うことができる。
【0096】
また別の実施形態において、置き去り主検知手段43は最大の一致度を予め設定された確定閾値と比較して、最大の一致度が確定閾値を超えていればひとつの物体に特定して置き去り情報を出力し、最大の一致度が確定閾値を超えていなければ優先順位を付与して優先順位を含めた置き去り情報を出力する。こうすることによっても小さめの不審物をも監視対象としたい場合に効率の良い監視を行うことができる。
【0097】
また上記実施形態においては、人による置き去りを監視する例を示したが、車両による道路上への置き去りを監視することも可能である。
【符号の説明】
【0098】
1・・・置き去り監視装置
2・・・撮像部
3・・・記憶部
4・・・制御部
5・・・表示部
6・・・記録装置
30・・・背景画像
31・・・物体像履歴
32・・・事案情報
40・・・背景画像生成手段
41・・・物体追跡手段
42・・・不審物検知手段
43・・・置き去り主検知手段
44・・・事案情報出力手段



【特許請求の範囲】
【請求項1】
不審物及び当該不審物の置き去り主を検知する置き去り監視装置であって、
監視空間を所定時間おきに撮像して監視画像を順次出力する撮像部と、
記憶部と、
各時刻の前記監視画像から物体像を検出して前後する時刻に検出された前記物体像の同定を行い、同定された物体ごとに前記物体像を当該物体像の検出領域及び当該物体像の検出時刻と対応付けて前記記憶部に記憶させる物体追跡手段と、
予め設定された静止判定時間を超えて前記検出領域が変位していない物体を不審物として検知する不審物検知手段と、
前記不審物が最初に検出された前記検出時刻直前を終点とする所定期間において前記検出領域が前記不審物の前記検出領域と重なる全ての物体を置き去り主の候補物体として検知する置き去り主検知手段と、
前記候補物体の物体像を前記記憶部から選択して出力する事案情報出力手段と、
を備えたことを特徴とする置き去り監視装置。
【請求項2】
前記所定期間は、前記終点から過去方向に前記不審物の検出領域に重なる前記検出領域が連続して検出されている期間である請求項1に記載の置き去り監視装置。
【請求項3】
前記置き去り主検知手段は、前記候補物体の物体像を前記不審物の物体像と照合して一致度を算出し、最大の一致度が算出された候補物体を検知する請求項1又は2に記載の置き去り監視装置。
【請求項4】
前記置き去り主検知手段は、前記候補物体の物体像のうち当該物体像と対応付けられた前記検出領域が前記不審物の検出領域と重なる物体像を除外して前記照合を行なう請求項3に記載の置き去り監視装置。
【請求項5】
前記物体追跡手段は、ひとつの物体像に対して2以上の物体を前記同定することを許容し、
前記置き去り主検知手段は、前記候補物体の物体像のうち2以上の物体と同定された物体像を除外して前記照合を行なう請求項3又は4に記載の置き去り監視装置。
【請求項6】
前記不審物検知手段は、前記各物体が最初に検出された前記検出時刻からの前記変位を計測する請求項1〜請求項5の何れか1つに記載の置き去り監視装置。



【図1】
image rotate

【図5】
image rotate

【図7】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図6】
image rotate

【図8】
image rotate


【公開番号】特開2011−49646(P2011−49646A)
【公開日】平成23年3月10日(2011.3.10)
【国際特許分類】
【出願番号】特願2009−194236(P2009−194236)
【出願日】平成21年8月25日(2009.8.25)
【出願人】(000108085)セコム株式会社 (596)
【Fターム(参考)】