置き去り又は持ち去り検知システム及び前記検知システムにおける置き去り又は持ち去り発生時刻を検知する方法
【課題】置き去り又は持ち去りが発生したときの映像又は画像を容易かつ確実に得る。
【解決手段】 異物を検知してから一定時間検知が継続されたとき、置き去り又は持ち去りと判断する置き去り又は持ち去り検知システムであって、タイマー制御部１０ｃは、異物検知と同時にタイマーを始動し、前記検知時間内において異物検知が一時中断されたとき、前記中断時間の長さに応じて検知タイマーを停止又は逆進させ、発生時刻演算部１０ｄは、検知タイマーのタイマー値及び停止又は逆進期間のタイマー値に基づき、置き去り又は持ち去り発生時刻を演算する。演算した発生時刻に基づき保存されている同時刻の撮影画像を取得する。
【解決手段】 異物を検知してから一定時間検知が継続されたとき、置き去り又は持ち去りと判断する置き去り又は持ち去り検知システムであって、タイマー制御部１０ｃは、異物検知と同時にタイマーを始動し、前記検知時間内において異物検知が一時中断されたとき、前記中断時間の長さに応じて検知タイマーを停止又は逆進させ、発生時刻演算部１０ｄは、検知タイマーのタイマー値及び停止又は逆進期間のタイマー値に基づき、置き去り又は持ち去り発生時刻を演算する。演算した発生時刻に基づき保存されている同時刻の撮影画像を取得する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、置き去り又は持ち去り検知システムに関し、とくに置き去り又は持ち去り発生時刻の検知に特徴を有する置き去り又は持ち去り検知システム及び前記システムにおける置き去り又は持ち去り発生時刻を検知する方法に関する。
【背景技術】
【０００２】
従来から、例えば不特定多数の人物が出入りするエリアにおいて、物体が放置された時刻におけるエリア撮影情報から、物体を置いていった人物の監視エリア侵入時の挙動を録画するようにした監視カメラシステムが知られている（特許文献１参照）。
このシステムは、監視カメラは、侵入者を検知した場合には侵入時刻を記録し、さらに検知した侵入者を追跡して、侵入者が監視エリアを通過した後、置き去りにした物体があって、その物体の静止が一定時間継続した場合に、映像記録装置にアラーム情報と侵入時刻を送信し、映像記録装置は、監視カメラから送信された映像情報をメモリに一定の情報量毎に上書き記録し、アラーム情報及び人物の侵入時刻を受信したとき、侵入時刻からアラーム情報に対応する時刻までの映像情報をメモリからハードディスクへ転送してハードディスクに録画するものである。
【０００３】
また、物体の置き去り又は持ち去りがあった場合に、それを自動的に検知すると共に、物体を置き去った又は持ち去った人物の顔を撮影して、その人物を自動的に特定する監視画像記憶システムも知られている（特許文献２参照）。
このシステムにおいては、物体検知画像が撮影された時刻を物体検知時刻として特定し、この物体検知時刻よりも過去のディレイタイム時間の間に撮影された顔撮影画像情報から置き去り・持ち去り等に係る人物を特定しようとするものである。
【０００４】
これらのシステムは、いずれも置き去り又は持ち去りされた検知物以外に置き去り又は持ち去りが発生した瞬間の状況や人物を見たいというニーズに応えたものであって、置き去り又は持ち去り監視エリアに設置した監視カメラの映像（又は画像）を入力し、置き去り又は持ち去り検知後に、設定した置き去り又は持ち去りであると判断するに要する検知時間より以前のカメラ映像を切り出して、表示や保存を行っている。
このように置き去り又は持ち去り発生時における映像（画像）を得ようとすれば、先ず、その前提として置き去り又は持ち去りが発生した時刻を正確に知る必要がある。
【０００５】
図９は、従来の置き去り又は持ち去り検知システムにおける、置き去り又は持ち去り発生から検知までのタイムチャートである。
このシステムでは、図示のように、時刻ｔ０で置き去り又は持ち去りが発生したとして、その時点で置き去り又は持ち去り検知タイマーＴ１（以下、単にタイマーＴ１という）を始動する。タイマーＴ１のタイマー値が所定の時間ｔに達したとき（置き去り又は持ち去りの状態がｔ時間以上継続したとき）、置き去り又は持ち去りがあったと判断する。その判断に基づき置き去りが発生した時刻ｔ０から所定のΔｔ時間前における映像を切り出して再生や保存などを行う。
【０００６】
ただ、このシステムでは、タイマーＴ１が所定の時間ｔに達したとしても、時刻ｔ０に必ず置き去り又は持ち去りが発生したという保証はない。とくに、置き去り又は持ち去りの検知時間を長時間に設定した場合には、例えば、置き去り物が画面上で一時的に見えなくなる可能性が高くなるため、誤差が生じる可能性が高くなる。つまり、実際に置き去り又は持ち去りが発生した時刻がｔ０の前後になる場合があり、置き去り又は持ち去り発生時刻ｔ０の精度が悪くなる。
【０００７】
置き去り又は持ち去り発生時刻ｔ０の精度が悪いと、例えば置き去り又は持ち去りが発生する以前の時間間隔Δｔにおける動画を切り出して置き去り又は持ち去り発生時の画像を取得する場合、時間間隔Δｔをより長く設定して長時間の画像を切り出す必要がある。そのためにはレコーダーの保存容量を大きくしなければならずコストアップになるという問題がある。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１０−１８７１２４号公報
【特許文献２】特開２０１０− ８８０７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、従来の置き去り又は持ち去り検知システムにおける前記従来の問題を解決すべくなされたものであって、その目的は、置き去り又は持ち去りが発生したときの時刻を正確に取得してその時点における映像又は画像を容易かつ低コストで得られるようにすることである。
【課題を解決するための手段】
【００１０】
請求項１の発明は、監視エリアの画像を撮影する撮影手段と、撮影した画像を保存する保存手段と、前記撮影した画像及び前記保存手段に保存した画像に基づき監視エリアにおける異物を検知する異物検知部と、前記異物検知部で検知した異物が所定の検知時間の間検知されたとき、置き去り又は持ち去りと判断する置き去り又は持ち去り判断部と、前記異物の検知に基づき検知タイマーを作動制御するタイマー制御部と、置き去り又は持ち去り発生時刻を演算する発生時刻演算部と、を有する置き去り又は持ち去り検知システムであって、前記タイマー制御部は、前記検知時間内において前記異物検知部による異物検知が一時中断されたとき、前記中断時間に応じて検知タイマーを停止又は逆進させ、前記置き去り又は持ち去り判断部は、検知タイマーの増進タイマー値から逆進タイマー値を減算した累積検知時間が前記検知時間に達したとき、置き去り又は持ち去りと判断し、かつ、前記発生時刻演算部は、検知タイマーの増進期間と停止及び／又は逆進期間の各タイマー値を加算して、置き去り又は持ち去り発生時刻を得ることを特徴とする置き去り又は持ち去り検知システムである。
請求項２の発明は、請求項１に記載された置き去り又は持ち去り検知システムにおいて、前記異物検知部の異物検知が中断されたとき、前記タイマー制御部は検知タイマーを停止すると共にそれまでの累積タイマー値を保持し、タイマー停止が予め定めた所定時間継続したとき前記検知タイマーを逆進させることを特徴とする置き去り又は持ち去り検知システムである。
請求項３の発明は、請求項１又は２に記載された置き去り又は持ち去り検知システムにおいて、前記タイマー制御部は、前記検知タイマーが停止したときその停止期間を計測する停止タイマーを作動制御し、又は、前記検知タイマーを逆進させたときその逆進期間を計測する逆進タイマーを作動制御し、前記発生時刻演算部は前記検知タイマーと、前記停止タイマーと、前記逆進タイマーの各タイマー値を加算して前記置き去り又は持ち去り発生時刻を演算することを特徴とする置き去り又は持ち去り検知システムである。
請求項４の発明は、請求項３に記載された置き去り又は持ち去り検知システムにおいて、前記検知タイマーを逆進させて、前記検知タイマーの前記累積検知時間がゼロになったとき、前記停止タイマー及び前記逆進タイマーをリセットすることを特徴とする置き去り又は持ち去り検知システムである。
請求項５の発明は、請求項１ないし４のいずれかに記載された置き去り又は持ち去り検知システムにおいて、前記発生時刻演算部で演算された置き去り又は持ち去り発生時刻における監視エリアの画像を前記保存手段から読み出して表示する表示手段を有することを特徴とする置き去り又は持ち去り検知システムである。
請求項６の発明は、請求項１ないし５のいずれかに記載された置き去り又は持ち去り検知システムにおいて、前記置き去り又は持ち去り判断部が置き去り又は持ち去りがあったと判断したとき、その旨を報知する手段を有することを特徴とする置き去り又は持ち去り検知システムである。
請求項７の発明は、請求項１ないし６のいずれかに記載された置き去り又は持ち去り検知システムにおける置き去り又は持ち去り発生時刻を検知する方法であって、前記発生時刻演算部で演算された置き去り又は持ち去り発生時刻以前で、前記検知タイマーのスタート時における不安定期間よりも長い期間を設定する工程と、当該期間において撮影された複数の画像を、当該期間における時系列に従って前記発生時刻演算部で演算された置き去り又は持ち去り発生時刻における撮影画像と順に比較する工程と、前記比較の結果、両画像が一致したときの前記期間における撮影画像の撮影時刻を取得する工程と、を有することを特徴とする置き去り又は持ち去り発生時刻を検知する方法である。
請求項８の発明は、請求項７に記載された置き去り又は持ち去り発生時刻を検知する方法において、前記期間において撮影された複数の画像と、前記発生時刻演算部で演算された置き去り又は持ち去り発生時刻における撮影画像との比較は、撮影画像中の同一エリア内の色又は輝度情報を比較して行うことを特徴とする置き去り又は持ち去り発生時刻を検知する方法である。
【発明の効果】
【００１１】
本発明によれば、置き去り又は持ち去りが発生したときの時刻を正確に取得でき、それによって置き去り又は持ち去りが発生したときの映像又は画像を容易かつ低コストで得ることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係る置き去り又は持ち去り検知システムの構成を概略的に示すブロック図である。
【図２】本発明の実施形態に係る置き去り又は持ち去り検知システムにおける置き去り又は持ち去り発生から検知までのタイムチャートである。
【図３】タイマーＴ１の不安定な期間を示す図２と同様の図である。
【図４】タイマーＴ１が不安定となる要因を例示した図である。
【図５】タイマーＴ１が不安定な時期を説明するための図３の一部拡大図である。
【図６】撮影画像内の検知矩形Ｓを示す図である。
【図７】置き去り又は持ち去り検知システムにおいて、置き去り又は持ち去り発生時刻ｔ０の算出の手順を示すフロー図である。
【図８】置き去り又は持ち去り発生時刻を検知する方法を実行する処理手順を示すフロー図である。
【図９】従来の置き去り又は持ち去り検知システムにおける、置き去り又は持ち去り発生から検知までのタイムチャートである。
【発明を実施するための形態】
【００１３】
本発明の置き去り又は持ち去り検知システム（以下、単に本検知システムという）の実施形態について図面を参照して説明する。
【００１４】
図１は、本検知システムの構成を概略的に示すブロック図である。
本検知システムは、制御部１００と、制御部１００の入力側インターフェース（Ｉ／Ｆ）である入力部１６に接続された外部装置である監視エリアを撮影する監視カメラ２０と、設定変更などを行うためのキーボード２２、マウス２４と、制御部１００の出力側インターフェース（Ｉ／Ｆ）である出力部１５に接続された外部装置である静止画や動画を表示する表示装置（モニター）３０と、置き去り又は持ち去りと判断したときにその旨を音声などで報知するためのスピーカー３２、制御部１００の入力部１６を介して取り込んだ監視カメラ２０で撮影した静止画又は動画を、その撮影時間と共に保存する例えばハードディスク（ＨＤＤ）などの保存手段を備えたレコーダー３４とから成っている。
【００１５】
制御部１００は、ＣＰＵ（Central Processing Unit）１０とＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１４からなるコンピュータと既に述べた入力部１６と出力部１５とから構成されている。この制御部１００は、本検知システム全体を制御すると共に、プログラムによって実現する機能実現手段として、異物検知部１０ａと、置き去り又は持ち去り判断部１０ｂと、タイマー制御部１０ｃと、発生時刻演算部１０ｄを備えている。
【００１６】
異物検知部１０ａは、監視エリアにおけるレコーダー３４に格納されている背景画像と監視カメラ２０からの入力画像との例えば輝度画像の差分値を求めて異物を検知する。
置き去り又は持ち去り判断部１０ｂは、異物検知部１０ａで検知した異物を監視して、検知状態がタイマーＴ１の累積タイマー値が検知時間ｔを表す値になると、置き去り又は持ち去りと判断する（なお、タイマー値は例えばカウンターのカウント値或いは時間そのものを表す値であってもよい）。
タイマー制御部１０ｃは、異物検知部１０ａの異物検知結果に基づきタイマーＴ１と、後述する停止タイマーＴ２及び逆進タイマーＴ３の動作を制御する。
発生時刻演算部１０ｄは、タイマー制御部１０ｃによる各タイマーＴ１、Ｔ２、Ｔ３の計数値に基づき、検知時間ｔ、誤差αの計算、及び実際に置き去り又は持ち去りが発生した時刻を演算する。
【００１７】
図２は、本検知システムにおける置き去り又は持ち去り発生から検知までのタイムチャートであり、縦軸にタイマーＴ１の検知時間ｔを、また横軸に時間（実時間）をとって示したものである。
本検知システムは、従来のシステムと同様に、特定の監視エリア内において置き去り又は持ち去りが発生した場合に、タイマーＴ１を作動してその発生時刻ｔ０から計時を開始する。その置き去り又は持ち去り状態が予め定めたｔ時間以上継続したときは、実際に置き去り又は持ち去りであったと判断する。
したがって、本検知システムで、ある時刻に置き去り又は持ち去りがあったと判断したときは、実際の置き去り又は持ち去りはそれよりも検知時間ｔ前に発生したことになる。
【００１８】
ここで、異物検知部１０ａは、背景画像と撮影画像の例えば輝度画像の差分を取って、その差分の大小、つまり差分が予め定めた閾値を越えるか否かで行うが、制御部１００のタイマー制御部１０ｃは、この判断に基づきタイマーＴ１を作動させる。
また、タイマー制御部１０ｃは、一旦置き去り又は持ち去りが発生しタイマー制御部１０ｃの制御でタイマーＴ１が始動すると、検知時間ｔ内においては、例えば置き去りの場合、前記差分が閾値よりも大きく異物があると判断されている間はそのタイマー値を増進（増加）させ、他方、差分がないか又は差分が閾値よりも小さくなり、異物検知部１０ａで異物があると判断されなくなった時は、タイマー値をリセットするようタイマーＴ１を制御するようにしてもよい。
【００１９】
ただ、置き去り又は持ち去りを検知しても、それが確かに置き去り又は持ち去りであると判断するまでその検知を長時間続けて行う場合には、監視区域を人が通過して一時的に置き去り又は持ち去りの検知ができないとき、或いは、人が置き去り物（又は持ち去りの場合は物のあったところ）を塞ぐことで置き去り物が監視カメラの映像から消えて検知できなくなることがある。
このような場合に、そのたび毎にタイマーＴ１（のタイマー値）をリセットすると、置き去り又は持ち去りの検知は事実上不可能になる場合が出てくる。
【００２０】
そこで、本検知システムでは、例えば置き去りの場合、監視エリアにおいて置き去り物である異物が検知できなくなったときに、異物が検知できない時間の長さに応じて、タイマーＴ１を止めたり或いは逆進させるなどの制御を行って、そのような場合にも置き去り又は持ち去りの判断が行えるようにしている。
【００２１】
具体的には、図２に示すように、例えば時刻ｔ０で異物（置き去り物）を検知した後、タイマーＴ１はタイマー値を増進していき、置き去り物が検知できなくなると、一旦タイマーＴ１のタイマー値の増進を止め、ここで、タイマー制御部１０ｃは、タイマーＴ１の停止時間ｔ１が予め定めた所定の時間ｔａ未満（ｔ１＜ｔａ）である場合、つまり監視カメラ２０で置き去り物が監視できなくなった（置き去り物が見えなくなった）後に前記所定ｔａの時間内に置き去り物が再び認識できたときは、タイマーＴ１をリセットさせず、図示のように停止させたタイマーＴ１を起動して、再度タイマー値の増進を開始させる。
【００２２】
また、監視カメラ２０からみて、置き去り物が見えなくなった状態で所定の時間ｔａが経過すると（即ち、図中でｔ２＝ｔａ）、その段階で今度は停止させたタイマーＴ１のタイマー値を逆進させる（ｔ４）。つまりタイマーＴ１のそれまでの累積タイマー値を逆進させていく（タイマー値がゼロになるとその段階でタイマーＴ１をリセットする。この場合は、一旦置き去りがあったものの、予め設定した検知時間内に持ち去られたので、ここでは置き去り又は持ち去りがあったとは判断せず、元に戻って新たな監視を開始する）。
【００２３】
他方、タイマーＴ１のタイマー値がゼロになる前に、再び置き去り物（異物）が確認できたときは、ここで、タイマーＴ１の計測を再開する。図示の例では、タイマー値の逆進がｔ４時間継続した後、一旦置き去り物が認識できためタイマー値の逆進は停止したが、例えばその回りで人が行き来したためにタイマー値の進行を停止し、タイマーＴ１のタイマー値の状態がｔ３（ｔ３＜ｔａ）時間継続した後、置き去り物が認識できたため再びタイマー値を増進させ、タイマーＴ１が逆進した時間分増進させた後、その累積タイマー値が検知時間ｔに達し、ここで置き去りがあったと判断（認識）したことを示している。
【００２４】
ところで、前記検知時間ｔ中に、人が通り過ぎた場合等のようにタイマーＴ１のタイマー値を保持して一時タイマー値の増進を停止（中断）する停止期間（図１における時間ｔ１，ｔ２，ｔ３で表す期間）、或いは人が置き去り物を前記ｔａ時間以上立ち塞いでタイマーＴ１（のタイマー値）を逆進する（戻す）逆進期間（図１における時間ｔ４で表す期間）、その後人が移動して置き去り物が認識できたときに、タイマー値を減少させた分だけ再び増進させる再増進期間（図１におけるｔ４′）があると、置き去りが発生してから置き去りの判断をするまでの間に実時間としてはｔ＋α時間（αは、タイマーＴ１の停止期間と逆進期間及び逆進させた分元に戻すまでの期間の合計である）が経過する。そのため正確な置き去り発生時刻ｔ０を知りたくとも誤差αがあるため知ることができないという問題が新たに発生する。
【００２５】
そこで、本実施形態では、この誤差αを求めるために、タイマーＴ１が停止している期間（時間ｔ１，ｔ２，ｔ３）を計測するタイマーＴ２（停止タイマーＴ２）とタイマーＴ１のタイマー値を逆進している期間（ｔ４）を計測するタイマー（逆進タイマーＴ３）を用いて、この誤差αを求める。
なお、タイマーＴ１のタイマー値が減少した分再びタイマー値を増進させる期間（ｔ４′）は、逆進タイマーＴ３の計測期間と同一期間になるため改めて計測する必要はない。
【００２６】
このように前記停止タイマーＴ２と逆進タイマーＴ３を用いることにより、前記誤差αは、停止タイマーＴ２の計数値をｔ２とし、かつ、逆進タイマーＴ３の計数値をｔ３とするとき、
α＝ｔ２＋ｔ３×２
で求めることができる。
つまり、例えば置き去り発生時刻ｔ０は、置き去りと判断した時刻から、検知時間ｔ＋α（即ち、ｔ２＋ｔ３×２）だけ遡った時刻となる。なお、停止タイマーＴ２と逆進タイマーＴ３のそれぞれの計測時間（ｔ２とｔ３）は、ｔ１（タイマーＴ１の累積時間）＝０となったとき、つまり、タイマーＴ１が（累積時間ｔ１を）逆進してｔ１＝０になったときリセットされる。これによって例えば置き去り物の前を人が通ったり或いは一時的に人が立ち止まって覆ったりした場合においても、置き去り（持ち去り）が発生した時刻を知ることができる。
【００２７】
しかし、これだけではまだ精度が不十分である。つまり、実際には、例えば置き去り発生時のタイマーＴ１の値は不安定なことがある。そのため、前記検知時間＋αを求めても精度が十分とは云えない場合がある。
即ち、図３に示すように、タイマーＴ１がスタート時に不安定な期間Δｔ０がある場合には、検知時間ｔと誤差αにより求めた置き去り又は持ち去り発生時刻ｔ０からさらにΔｔ０の誤差が発生する。この不安定な期間の発生要因としては、例えば図４に示すように、置き去りが発生したときに、置いた人が置いた物の前（カメラから見て手前）を行き来して見え隠れすることが挙げられる。
【００２８】
そこで、次に、この不安定な期間の誤差を解消する方法について説明する。
（１）まず、図５に示すように、ユーザは、例えばキーボード２２又はマウス２４を用いて、不安定な期間Δｔ０よりも長い任意の時間Δｔ１を設定する。制御部１００は、この設定に基づき、時刻ｔ０からΔｔ１時間遡った時点（時刻）の画像（比較過去画像）をその画像撮影時点の時間情報と共に予め保存しておいたレコーダー３４から読み出す。
（２）制御部１００は、置き去り又は持ち去りを検知したときの画像から置き去り又は持ち去りを検知した部分の座標情報、例えば、図６に示す撮影画像内の検知矩形Ｓの４隅の画像座標（ｘ１、ｙ１）、（ｘ１、ｙ２）、（ｘ２、ｙ１）、（ｘ２、ｙ２）、及び矩形内の画素の色及び／又は輝度情報を取得する。
（３）制御部１００は、（１）で取得した置き去り検知後に発生時刻演算部１０ｄで演算した置き去り発生時刻ｔ０から更に前記Δｔ１時間遡った時刻の比較過去画像の、前記（２）で取得した検知部分（検知矩形Ｓの４隅の座標情報）の色や輝度情報と、同様に前記（２）で取得した情報（検知矩形Ｓの４隅の座標情報及び画素の色及び／又は輝度情報）を比較する。
【００２９】
この比較には、例えばＮＣＣ法（正規化相関法）によるパターンマッチング処理手法（画像データ同士の相関演算により、画像データの中から特定の画像パターンが存在する画像位置を検知する手法）のような日照変化に強いマッチングの方式を用いることが望ましい。
【００３０】
比較の結果、一致しなければ（即ち、一致度が予め定めた所定値よりも低ければ）、時系列でみてｔ０方向の次の画像フレームを用いて前記と同様の比較を行う。一致すれば（即ち、一致度が予め定めた所定値以上であれば）、そのときの画像の撮像時刻が置き去りが実際に発生した時刻であることが分かる。
なお、ここで、一致又は不一致（即ち、一致度が低い或いは高い）は、例えばそれぞれ同じ検知矩形Ｓ内の画素の色及び／又は輝度情報の一致割合が予め定めた閾値に達しているか否かで判断する。
【００３１】
図７は、以上で説明した本検知システムにおいて置き去り又は持ち去り時刻ｔ０を精度よく見つけるための方法の手順を示すフロー図である。
制御部１００のＣＰＵ１０は、監視カメラ２０で撮影した画像を入力部１６を介して取り込むと共に、レコーダー３４に保存された画像（背景画像）を出力部１５を介してレコーダー３４から読み出し、制御部１００の異物検知部１０ａに入力する（Ｓ１０１）。異物検知部１０ａは、入力された画像（入力画像）と、前記背景画像のそれぞれの例えば輝度画像から差分画像を作成し、その差分画像から異物（置き去り又は持ち去り物）を検知すると、（Ｓ１０２）、タイマー制御部１０ｃはタイマーＴ１を動作制御して、タイマーＴ１は計時を開始する（Ｓ１０３）。
【００３２】
次に、置き去り又は持ち去り判断部１０ｂは、タイマーＴ１のタイマー値が増進したか否かを判断し（Ｓ１０４）、増進したと判断したときは（Ｓ１０４、ＹＥＳ）、さらに、タイマーＴ１のタイマー値が予め定めた検知時間ｔに達しているか否か判断し（Ｓ１０５）、検知時間ｔに達していれば（Ｓ１０５、ＹＥＳ）、置き去り又は持ち去りがあったと判断して、例えば、液晶表示手段を備えたモニター３０に表示し、或いはスピーカー３２から音声などで置き去り又は持ち去りが発生した旨の通報を行う（Ｓ１０６）。
ここで、発生時刻演算部１０ｄは、各タイマーＴ１〜Ｔ３のタイマー値に基づき置き去り又は持ち去り発生時刻ｔ０を前掲の計算式（ｔ＋ｔ２＋ｔ３×２）に基づき演算する（Ｓ１０７）。置き去り又は持ち去り発生時刻ｔ０を演算した後、タイマー制御部１０ｃは、タイマーＴ１、停止タイマーＴ２、逆進タイマーＴ３を全てリセットして（Ｓ１０８）、ステップＳ１０１の画像入力に戻る。
【００３３】
ステップＳ１０４において、タイマーＴ１のタイマー値が増進せず（Ｓ１０４、ＮＯ）、タイマーＴ１を保持した場合は（１０９、ＹＥＳ）、停止タイマーＴ２のタイマー値を増進させて（Ｓ１１０）、ステップＳ１０１の画像入力に戻る。
ステップ１０９において、タイマーＴ１を保持しない場合は（Ｓ１０９、ＮＯ）、タイマーＴ１（のタイマー値）が逆進することを意味するから、タイマー制御部１０ｃはタイマーＴ１の累積タイマー値がゼロになったか否かを判断し（Ｓ１１１）、タイマーＴ１がゼロになっていれば（Ｓ１１２）、停止タイマーＴ２と逆進タイマーＴ３をリセットしてステップＳ１０１の画像入力に戻る。
ステップＳ１１１において、タイマーＴ１の累積タイマー値がゼロでなければ（Ｓ１１１、ＮＯ）、逆進タイマーＴ２を増進させて（Ｓ１１３）、ステップＳ１０１の画像入力に戻る。
【００３４】
図８は、置き去り又は持ち去り発生時刻を検知する方法を実行する処理手順を示すフロー図である。
先ず、レコーダー３４に保存された置き去り又は持ち去りを検知した時（ｔ０）における撮影画像から異物情報（検知した部分の座標情報、輝度、色情報）を取得する（Ｓ２０１）。次に、レコーダー３４に保存された比較過去画像の取得時刻（ｔ０−Δｔ１）を算出する（Ｓ２０２）。前記取得時刻における比較過去画像を取得し（Ｓ２０３）、置き去り又は持ち去り異物情報と比較過去画像とをマッチング（比較）する（Ｓ２０４）。ここで、類似度が高くないときは（Ｓ２０５、ＮＯ）、比較過去画像の取得時刻をｔ０側に変更して（Ｓ２０６）、ステップＳ２０３へ戻りその時点における比較過去画像をレコーダー３４から取得する（Ｓ２０３）。ステップＳ２０５において、類似度が高い場合は（Ｓ２０５、ＹＥＳ）、置き去り又は持ち去り発生時刻を確定して（Ｓ２０７）、処理を終了する。
【００３５】
以上、本実施形態に係る置き去り又は持ち去り検知システムによれば、従来は時刻ｔ０での置き去り又は持ち去り発生に保証はなかったが、この方式では置き去り又は持ち去り発生時刻を正確に把握することができる。
つまり、既に述べたように、前記期間Δｔ間の動画切り出しについて、置き去り又は持ち去り発生時刻ｔ０の検知精度が悪いと、それだけ長い時間（つまりより多くのフレームの）切り出しを行う必要があり、そのためにレコーダー３４の保存容量を大きくしなければならずコストがアップした。
【００３６】
しかし、本実施形態によれば、置き去り又は持ち去り発生時刻ｔ０の検知精度が高いので、長時間に渡って切り出しを行う必要がない。つまり短時間の切り出しでよいからレコーダー３４の保存容量が少なくて済み、従来の置き去り又は持ち去り検知システムに比してコストを低減することができる。
また、保存された映像（画像）を監視する側でも、保存された映像を見る時間が従来システムよりも短縮され、作業負担が軽減されるなどの利点がある。
【符号の説明】
【００３７】
１００・・・制御部、１０・・・ＣＰＵ、１０ａ・・・異物検知部、１０ｂ・・・置き去り又は持ち去り判断部、１０ｃ・・・タイマー制御部、１０ｄ・・・発生時刻演算部、１２・・・ＲＯＭ、１４・・・ＲＡＭ、２０・・・監視カメラ、２２・・・キーボード、２４・・・マウス、３０・・・モニター、３２・・・スピーカー、３４・・・レコーダー。
【技術分野】
【０００１】
本発明は、置き去り又は持ち去り検知システムに関し、とくに置き去り又は持ち去り発生時刻の検知に特徴を有する置き去り又は持ち去り検知システム及び前記システムにおける置き去り又は持ち去り発生時刻を検知する方法に関する。
【背景技術】
【０００２】
従来から、例えば不特定多数の人物が出入りするエリアにおいて、物体が放置された時刻におけるエリア撮影情報から、物体を置いていった人物の監視エリア侵入時の挙動を録画するようにした監視カメラシステムが知られている（特許文献１参照）。
このシステムは、監視カメラは、侵入者を検知した場合には侵入時刻を記録し、さらに検知した侵入者を追跡して、侵入者が監視エリアを通過した後、置き去りにした物体があって、その物体の静止が一定時間継続した場合に、映像記録装置にアラーム情報と侵入時刻を送信し、映像記録装置は、監視カメラから送信された映像情報をメモリに一定の情報量毎に上書き記録し、アラーム情報及び人物の侵入時刻を受信したとき、侵入時刻からアラーム情報に対応する時刻までの映像情報をメモリからハードディスクへ転送してハードディスクに録画するものである。
【０００３】
また、物体の置き去り又は持ち去りがあった場合に、それを自動的に検知すると共に、物体を置き去った又は持ち去った人物の顔を撮影して、その人物を自動的に特定する監視画像記憶システムも知られている（特許文献２参照）。
このシステムにおいては、物体検知画像が撮影された時刻を物体検知時刻として特定し、この物体検知時刻よりも過去のディレイタイム時間の間に撮影された顔撮影画像情報から置き去り・持ち去り等に係る人物を特定しようとするものである。
【０００４】
これらのシステムは、いずれも置き去り又は持ち去りされた検知物以外に置き去り又は持ち去りが発生した瞬間の状況や人物を見たいというニーズに応えたものであって、置き去り又は持ち去り監視エリアに設置した監視カメラの映像（又は画像）を入力し、置き去り又は持ち去り検知後に、設定した置き去り又は持ち去りであると判断するに要する検知時間より以前のカメラ映像を切り出して、表示や保存を行っている。
このように置き去り又は持ち去り発生時における映像（画像）を得ようとすれば、先ず、その前提として置き去り又は持ち去りが発生した時刻を正確に知る必要がある。
【０００５】
図９は、従来の置き去り又は持ち去り検知システムにおける、置き去り又は持ち去り発生から検知までのタイムチャートである。
このシステムでは、図示のように、時刻ｔ０で置き去り又は持ち去りが発生したとして、その時点で置き去り又は持ち去り検知タイマーＴ１（以下、単にタイマーＴ１という）を始動する。タイマーＴ１のタイマー値が所定の時間ｔに達したとき（置き去り又は持ち去りの状態がｔ時間以上継続したとき）、置き去り又は持ち去りがあったと判断する。その判断に基づき置き去りが発生した時刻ｔ０から所定のΔｔ時間前における映像を切り出して再生や保存などを行う。
【０００６】
ただ、このシステムでは、タイマーＴ１が所定の時間ｔに達したとしても、時刻ｔ０に必ず置き去り又は持ち去りが発生したという保証はない。とくに、置き去り又は持ち去りの検知時間を長時間に設定した場合には、例えば、置き去り物が画面上で一時的に見えなくなる可能性が高くなるため、誤差が生じる可能性が高くなる。つまり、実際に置き去り又は持ち去りが発生した時刻がｔ０の前後になる場合があり、置き去り又は持ち去り発生時刻ｔ０の精度が悪くなる。
【０００７】
置き去り又は持ち去り発生時刻ｔ０の精度が悪いと、例えば置き去り又は持ち去りが発生する以前の時間間隔Δｔにおける動画を切り出して置き去り又は持ち去り発生時の画像を取得する場合、時間間隔Δｔをより長く設定して長時間の画像を切り出す必要がある。そのためにはレコーダーの保存容量を大きくしなければならずコストアップになるという問題がある。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１０−１８７１２４号公報
【特許文献２】特開２０１０− ８８０７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、従来の置き去り又は持ち去り検知システムにおける前記従来の問題を解決すべくなされたものであって、その目的は、置き去り又は持ち去りが発生したときの時刻を正確に取得してその時点における映像又は画像を容易かつ低コストで得られるようにすることである。
【課題を解決するための手段】
【００１０】
請求項１の発明は、監視エリアの画像を撮影する撮影手段と、撮影した画像を保存する保存手段と、前記撮影した画像及び前記保存手段に保存した画像に基づき監視エリアにおける異物を検知する異物検知部と、前記異物検知部で検知した異物が所定の検知時間の間検知されたとき、置き去り又は持ち去りと判断する置き去り又は持ち去り判断部と、前記異物の検知に基づき検知タイマーを作動制御するタイマー制御部と、置き去り又は持ち去り発生時刻を演算する発生時刻演算部と、を有する置き去り又は持ち去り検知システムであって、前記タイマー制御部は、前記検知時間内において前記異物検知部による異物検知が一時中断されたとき、前記中断時間に応じて検知タイマーを停止又は逆進させ、前記置き去り又は持ち去り判断部は、検知タイマーの増進タイマー値から逆進タイマー値を減算した累積検知時間が前記検知時間に達したとき、置き去り又は持ち去りと判断し、かつ、前記発生時刻演算部は、検知タイマーの増進期間と停止及び／又は逆進期間の各タイマー値を加算して、置き去り又は持ち去り発生時刻を得ることを特徴とする置き去り又は持ち去り検知システムである。
請求項２の発明は、請求項１に記載された置き去り又は持ち去り検知システムにおいて、前記異物検知部の異物検知が中断されたとき、前記タイマー制御部は検知タイマーを停止すると共にそれまでの累積タイマー値を保持し、タイマー停止が予め定めた所定時間継続したとき前記検知タイマーを逆進させることを特徴とする置き去り又は持ち去り検知システムである。
請求項３の発明は、請求項１又は２に記載された置き去り又は持ち去り検知システムにおいて、前記タイマー制御部は、前記検知タイマーが停止したときその停止期間を計測する停止タイマーを作動制御し、又は、前記検知タイマーを逆進させたときその逆進期間を計測する逆進タイマーを作動制御し、前記発生時刻演算部は前記検知タイマーと、前記停止タイマーと、前記逆進タイマーの各タイマー値を加算して前記置き去り又は持ち去り発生時刻を演算することを特徴とする置き去り又は持ち去り検知システムである。
請求項４の発明は、請求項３に記載された置き去り又は持ち去り検知システムにおいて、前記検知タイマーを逆進させて、前記検知タイマーの前記累積検知時間がゼロになったとき、前記停止タイマー及び前記逆進タイマーをリセットすることを特徴とする置き去り又は持ち去り検知システムである。
請求項５の発明は、請求項１ないし４のいずれかに記載された置き去り又は持ち去り検知システムにおいて、前記発生時刻演算部で演算された置き去り又は持ち去り発生時刻における監視エリアの画像を前記保存手段から読み出して表示する表示手段を有することを特徴とする置き去り又は持ち去り検知システムである。
請求項６の発明は、請求項１ないし５のいずれかに記載された置き去り又は持ち去り検知システムにおいて、前記置き去り又は持ち去り判断部が置き去り又は持ち去りがあったと判断したとき、その旨を報知する手段を有することを特徴とする置き去り又は持ち去り検知システムである。
請求項７の発明は、請求項１ないし６のいずれかに記載された置き去り又は持ち去り検知システムにおける置き去り又は持ち去り発生時刻を検知する方法であって、前記発生時刻演算部で演算された置き去り又は持ち去り発生時刻以前で、前記検知タイマーのスタート時における不安定期間よりも長い期間を設定する工程と、当該期間において撮影された複数の画像を、当該期間における時系列に従って前記発生時刻演算部で演算された置き去り又は持ち去り発生時刻における撮影画像と順に比較する工程と、前記比較の結果、両画像が一致したときの前記期間における撮影画像の撮影時刻を取得する工程と、を有することを特徴とする置き去り又は持ち去り発生時刻を検知する方法である。
請求項８の発明は、請求項７に記載された置き去り又は持ち去り発生時刻を検知する方法において、前記期間において撮影された複数の画像と、前記発生時刻演算部で演算された置き去り又は持ち去り発生時刻における撮影画像との比較は、撮影画像中の同一エリア内の色又は輝度情報を比較して行うことを特徴とする置き去り又は持ち去り発生時刻を検知する方法である。
【発明の効果】
【００１１】
本発明によれば、置き去り又は持ち去りが発生したときの時刻を正確に取得でき、それによって置き去り又は持ち去りが発生したときの映像又は画像を容易かつ低コストで得ることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係る置き去り又は持ち去り検知システムの構成を概略的に示すブロック図である。
【図２】本発明の実施形態に係る置き去り又は持ち去り検知システムにおける置き去り又は持ち去り発生から検知までのタイムチャートである。
【図３】タイマーＴ１の不安定な期間を示す図２と同様の図である。
【図４】タイマーＴ１が不安定となる要因を例示した図である。
【図５】タイマーＴ１が不安定な時期を説明するための図３の一部拡大図である。
【図６】撮影画像内の検知矩形Ｓを示す図である。
【図７】置き去り又は持ち去り検知システムにおいて、置き去り又は持ち去り発生時刻ｔ０の算出の手順を示すフロー図である。
【図８】置き去り又は持ち去り発生時刻を検知する方法を実行する処理手順を示すフロー図である。
【図９】従来の置き去り又は持ち去り検知システムにおける、置き去り又は持ち去り発生から検知までのタイムチャートである。
【発明を実施するための形態】
【００１３】
本発明の置き去り又は持ち去り検知システム（以下、単に本検知システムという）の実施形態について図面を参照して説明する。
【００１４】
図１は、本検知システムの構成を概略的に示すブロック図である。
本検知システムは、制御部１００と、制御部１００の入力側インターフェース（Ｉ／Ｆ）である入力部１６に接続された外部装置である監視エリアを撮影する監視カメラ２０と、設定変更などを行うためのキーボード２２、マウス２４と、制御部１００の出力側インターフェース（Ｉ／Ｆ）である出力部１５に接続された外部装置である静止画や動画を表示する表示装置（モニター）３０と、置き去り又は持ち去りと判断したときにその旨を音声などで報知するためのスピーカー３２、制御部１００の入力部１６を介して取り込んだ監視カメラ２０で撮影した静止画又は動画を、その撮影時間と共に保存する例えばハードディスク（ＨＤＤ）などの保存手段を備えたレコーダー３４とから成っている。
【００１５】
制御部１００は、ＣＰＵ（Central Processing Unit）１０とＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１４からなるコンピュータと既に述べた入力部１６と出力部１５とから構成されている。この制御部１００は、本検知システム全体を制御すると共に、プログラムによって実現する機能実現手段として、異物検知部１０ａと、置き去り又は持ち去り判断部１０ｂと、タイマー制御部１０ｃと、発生時刻演算部１０ｄを備えている。
【００１６】
異物検知部１０ａは、監視エリアにおけるレコーダー３４に格納されている背景画像と監視カメラ２０からの入力画像との例えば輝度画像の差分値を求めて異物を検知する。
置き去り又は持ち去り判断部１０ｂは、異物検知部１０ａで検知した異物を監視して、検知状態がタイマーＴ１の累積タイマー値が検知時間ｔを表す値になると、置き去り又は持ち去りと判断する（なお、タイマー値は例えばカウンターのカウント値或いは時間そのものを表す値であってもよい）。
タイマー制御部１０ｃは、異物検知部１０ａの異物検知結果に基づきタイマーＴ１と、後述する停止タイマーＴ２及び逆進タイマーＴ３の動作を制御する。
発生時刻演算部１０ｄは、タイマー制御部１０ｃによる各タイマーＴ１、Ｔ２、Ｔ３の計数値に基づき、検知時間ｔ、誤差αの計算、及び実際に置き去り又は持ち去りが発生した時刻を演算する。
【００１７】
図２は、本検知システムにおける置き去り又は持ち去り発生から検知までのタイムチャートであり、縦軸にタイマーＴ１の検知時間ｔを、また横軸に時間（実時間）をとって示したものである。
本検知システムは、従来のシステムと同様に、特定の監視エリア内において置き去り又は持ち去りが発生した場合に、タイマーＴ１を作動してその発生時刻ｔ０から計時を開始する。その置き去り又は持ち去り状態が予め定めたｔ時間以上継続したときは、実際に置き去り又は持ち去りであったと判断する。
したがって、本検知システムで、ある時刻に置き去り又は持ち去りがあったと判断したときは、実際の置き去り又は持ち去りはそれよりも検知時間ｔ前に発生したことになる。
【００１８】
ここで、異物検知部１０ａは、背景画像と撮影画像の例えば輝度画像の差分を取って、その差分の大小、つまり差分が予め定めた閾値を越えるか否かで行うが、制御部１００のタイマー制御部１０ｃは、この判断に基づきタイマーＴ１を作動させる。
また、タイマー制御部１０ｃは、一旦置き去り又は持ち去りが発生しタイマー制御部１０ｃの制御でタイマーＴ１が始動すると、検知時間ｔ内においては、例えば置き去りの場合、前記差分が閾値よりも大きく異物があると判断されている間はそのタイマー値を増進（増加）させ、他方、差分がないか又は差分が閾値よりも小さくなり、異物検知部１０ａで異物があると判断されなくなった時は、タイマー値をリセットするようタイマーＴ１を制御するようにしてもよい。
【００１９】
ただ、置き去り又は持ち去りを検知しても、それが確かに置き去り又は持ち去りであると判断するまでその検知を長時間続けて行う場合には、監視区域を人が通過して一時的に置き去り又は持ち去りの検知ができないとき、或いは、人が置き去り物（又は持ち去りの場合は物のあったところ）を塞ぐことで置き去り物が監視カメラの映像から消えて検知できなくなることがある。
このような場合に、そのたび毎にタイマーＴ１（のタイマー値）をリセットすると、置き去り又は持ち去りの検知は事実上不可能になる場合が出てくる。
【００２０】
そこで、本検知システムでは、例えば置き去りの場合、監視エリアにおいて置き去り物である異物が検知できなくなったときに、異物が検知できない時間の長さに応じて、タイマーＴ１を止めたり或いは逆進させるなどの制御を行って、そのような場合にも置き去り又は持ち去りの判断が行えるようにしている。
【００２１】
具体的には、図２に示すように、例えば時刻ｔ０で異物（置き去り物）を検知した後、タイマーＴ１はタイマー値を増進していき、置き去り物が検知できなくなると、一旦タイマーＴ１のタイマー値の増進を止め、ここで、タイマー制御部１０ｃは、タイマーＴ１の停止時間ｔ１が予め定めた所定の時間ｔａ未満（ｔ１＜ｔａ）である場合、つまり監視カメラ２０で置き去り物が監視できなくなった（置き去り物が見えなくなった）後に前記所定ｔａの時間内に置き去り物が再び認識できたときは、タイマーＴ１をリセットさせず、図示のように停止させたタイマーＴ１を起動して、再度タイマー値の増進を開始させる。
【００２２】
また、監視カメラ２０からみて、置き去り物が見えなくなった状態で所定の時間ｔａが経過すると（即ち、図中でｔ２＝ｔａ）、その段階で今度は停止させたタイマーＴ１のタイマー値を逆進させる（ｔ４）。つまりタイマーＴ１のそれまでの累積タイマー値を逆進させていく（タイマー値がゼロになるとその段階でタイマーＴ１をリセットする。この場合は、一旦置き去りがあったものの、予め設定した検知時間内に持ち去られたので、ここでは置き去り又は持ち去りがあったとは判断せず、元に戻って新たな監視を開始する）。
【００２３】
他方、タイマーＴ１のタイマー値がゼロになる前に、再び置き去り物（異物）が確認できたときは、ここで、タイマーＴ１の計測を再開する。図示の例では、タイマー値の逆進がｔ４時間継続した後、一旦置き去り物が認識できためタイマー値の逆進は停止したが、例えばその回りで人が行き来したためにタイマー値の進行を停止し、タイマーＴ１のタイマー値の状態がｔ３（ｔ３＜ｔａ）時間継続した後、置き去り物が認識できたため再びタイマー値を増進させ、タイマーＴ１が逆進した時間分増進させた後、その累積タイマー値が検知時間ｔに達し、ここで置き去りがあったと判断（認識）したことを示している。
【００２４】
ところで、前記検知時間ｔ中に、人が通り過ぎた場合等のようにタイマーＴ１のタイマー値を保持して一時タイマー値の増進を停止（中断）する停止期間（図１における時間ｔ１，ｔ２，ｔ３で表す期間）、或いは人が置き去り物を前記ｔａ時間以上立ち塞いでタイマーＴ１（のタイマー値）を逆進する（戻す）逆進期間（図１における時間ｔ４で表す期間）、その後人が移動して置き去り物が認識できたときに、タイマー値を減少させた分だけ再び増進させる再増進期間（図１におけるｔ４′）があると、置き去りが発生してから置き去りの判断をするまでの間に実時間としてはｔ＋α時間（αは、タイマーＴ１の停止期間と逆進期間及び逆進させた分元に戻すまでの期間の合計である）が経過する。そのため正確な置き去り発生時刻ｔ０を知りたくとも誤差αがあるため知ることができないという問題が新たに発生する。
【００２５】
そこで、本実施形態では、この誤差αを求めるために、タイマーＴ１が停止している期間（時間ｔ１，ｔ２，ｔ３）を計測するタイマーＴ２（停止タイマーＴ２）とタイマーＴ１のタイマー値を逆進している期間（ｔ４）を計測するタイマー（逆進タイマーＴ３）を用いて、この誤差αを求める。
なお、タイマーＴ１のタイマー値が減少した分再びタイマー値を増進させる期間（ｔ４′）は、逆進タイマーＴ３の計測期間と同一期間になるため改めて計測する必要はない。
【００２６】
このように前記停止タイマーＴ２と逆進タイマーＴ３を用いることにより、前記誤差αは、停止タイマーＴ２の計数値をｔ２とし、かつ、逆進タイマーＴ３の計数値をｔ３とするとき、
α＝ｔ２＋ｔ３×２
で求めることができる。
つまり、例えば置き去り発生時刻ｔ０は、置き去りと判断した時刻から、検知時間ｔ＋α（即ち、ｔ２＋ｔ３×２）だけ遡った時刻となる。なお、停止タイマーＴ２と逆進タイマーＴ３のそれぞれの計測時間（ｔ２とｔ３）は、ｔ１（タイマーＴ１の累積時間）＝０となったとき、つまり、タイマーＴ１が（累積時間ｔ１を）逆進してｔ１＝０になったときリセットされる。これによって例えば置き去り物の前を人が通ったり或いは一時的に人が立ち止まって覆ったりした場合においても、置き去り（持ち去り）が発生した時刻を知ることができる。
【００２７】
しかし、これだけではまだ精度が不十分である。つまり、実際には、例えば置き去り発生時のタイマーＴ１の値は不安定なことがある。そのため、前記検知時間＋αを求めても精度が十分とは云えない場合がある。
即ち、図３に示すように、タイマーＴ１がスタート時に不安定な期間Δｔ０がある場合には、検知時間ｔと誤差αにより求めた置き去り又は持ち去り発生時刻ｔ０からさらにΔｔ０の誤差が発生する。この不安定な期間の発生要因としては、例えば図４に示すように、置き去りが発生したときに、置いた人が置いた物の前（カメラから見て手前）を行き来して見え隠れすることが挙げられる。
【００２８】
そこで、次に、この不安定な期間の誤差を解消する方法について説明する。
（１）まず、図５に示すように、ユーザは、例えばキーボード２２又はマウス２４を用いて、不安定な期間Δｔ０よりも長い任意の時間Δｔ１を設定する。制御部１００は、この設定に基づき、時刻ｔ０からΔｔ１時間遡った時点（時刻）の画像（比較過去画像）をその画像撮影時点の時間情報と共に予め保存しておいたレコーダー３４から読み出す。
（２）制御部１００は、置き去り又は持ち去りを検知したときの画像から置き去り又は持ち去りを検知した部分の座標情報、例えば、図６に示す撮影画像内の検知矩形Ｓの４隅の画像座標（ｘ１、ｙ１）、（ｘ１、ｙ２）、（ｘ２、ｙ１）、（ｘ２、ｙ２）、及び矩形内の画素の色及び／又は輝度情報を取得する。
（３）制御部１００は、（１）で取得した置き去り検知後に発生時刻演算部１０ｄで演算した置き去り発生時刻ｔ０から更に前記Δｔ１時間遡った時刻の比較過去画像の、前記（２）で取得した検知部分（検知矩形Ｓの４隅の座標情報）の色や輝度情報と、同様に前記（２）で取得した情報（検知矩形Ｓの４隅の座標情報及び画素の色及び／又は輝度情報）を比較する。
【００２９】
この比較には、例えばＮＣＣ法（正規化相関法）によるパターンマッチング処理手法（画像データ同士の相関演算により、画像データの中から特定の画像パターンが存在する画像位置を検知する手法）のような日照変化に強いマッチングの方式を用いることが望ましい。
【００３０】
比較の結果、一致しなければ（即ち、一致度が予め定めた所定値よりも低ければ）、時系列でみてｔ０方向の次の画像フレームを用いて前記と同様の比較を行う。一致すれば（即ち、一致度が予め定めた所定値以上であれば）、そのときの画像の撮像時刻が置き去りが実際に発生した時刻であることが分かる。
なお、ここで、一致又は不一致（即ち、一致度が低い或いは高い）は、例えばそれぞれ同じ検知矩形Ｓ内の画素の色及び／又は輝度情報の一致割合が予め定めた閾値に達しているか否かで判断する。
【００３１】
図７は、以上で説明した本検知システムにおいて置き去り又は持ち去り時刻ｔ０を精度よく見つけるための方法の手順を示すフロー図である。
制御部１００のＣＰＵ１０は、監視カメラ２０で撮影した画像を入力部１６を介して取り込むと共に、レコーダー３４に保存された画像（背景画像）を出力部１５を介してレコーダー３４から読み出し、制御部１００の異物検知部１０ａに入力する（Ｓ１０１）。異物検知部１０ａは、入力された画像（入力画像）と、前記背景画像のそれぞれの例えば輝度画像から差分画像を作成し、その差分画像から異物（置き去り又は持ち去り物）を検知すると、（Ｓ１０２）、タイマー制御部１０ｃはタイマーＴ１を動作制御して、タイマーＴ１は計時を開始する（Ｓ１０３）。
【００３２】
次に、置き去り又は持ち去り判断部１０ｂは、タイマーＴ１のタイマー値が増進したか否かを判断し（Ｓ１０４）、増進したと判断したときは（Ｓ１０４、ＹＥＳ）、さらに、タイマーＴ１のタイマー値が予め定めた検知時間ｔに達しているか否か判断し（Ｓ１０５）、検知時間ｔに達していれば（Ｓ１０５、ＹＥＳ）、置き去り又は持ち去りがあったと判断して、例えば、液晶表示手段を備えたモニター３０に表示し、或いはスピーカー３２から音声などで置き去り又は持ち去りが発生した旨の通報を行う（Ｓ１０６）。
ここで、発生時刻演算部１０ｄは、各タイマーＴ１〜Ｔ３のタイマー値に基づき置き去り又は持ち去り発生時刻ｔ０を前掲の計算式（ｔ＋ｔ２＋ｔ３×２）に基づき演算する（Ｓ１０７）。置き去り又は持ち去り発生時刻ｔ０を演算した後、タイマー制御部１０ｃは、タイマーＴ１、停止タイマーＴ２、逆進タイマーＴ３を全てリセットして（Ｓ１０８）、ステップＳ１０１の画像入力に戻る。
【００３３】
ステップＳ１０４において、タイマーＴ１のタイマー値が増進せず（Ｓ１０４、ＮＯ）、タイマーＴ１を保持した場合は（１０９、ＹＥＳ）、停止タイマーＴ２のタイマー値を増進させて（Ｓ１１０）、ステップＳ１０１の画像入力に戻る。
ステップ１０９において、タイマーＴ１を保持しない場合は（Ｓ１０９、ＮＯ）、タイマーＴ１（のタイマー値）が逆進することを意味するから、タイマー制御部１０ｃはタイマーＴ１の累積タイマー値がゼロになったか否かを判断し（Ｓ１１１）、タイマーＴ１がゼロになっていれば（Ｓ１１２）、停止タイマーＴ２と逆進タイマーＴ３をリセットしてステップＳ１０１の画像入力に戻る。
ステップＳ１１１において、タイマーＴ１の累積タイマー値がゼロでなければ（Ｓ１１１、ＮＯ）、逆進タイマーＴ２を増進させて（Ｓ１１３）、ステップＳ１０１の画像入力に戻る。
【００３４】
図８は、置き去り又は持ち去り発生時刻を検知する方法を実行する処理手順を示すフロー図である。
先ず、レコーダー３４に保存された置き去り又は持ち去りを検知した時（ｔ０）における撮影画像から異物情報（検知した部分の座標情報、輝度、色情報）を取得する（Ｓ２０１）。次に、レコーダー３４に保存された比較過去画像の取得時刻（ｔ０−Δｔ１）を算出する（Ｓ２０２）。前記取得時刻における比較過去画像を取得し（Ｓ２０３）、置き去り又は持ち去り異物情報と比較過去画像とをマッチング（比較）する（Ｓ２０４）。ここで、類似度が高くないときは（Ｓ２０５、ＮＯ）、比較過去画像の取得時刻をｔ０側に変更して（Ｓ２０６）、ステップＳ２０３へ戻りその時点における比較過去画像をレコーダー３４から取得する（Ｓ２０３）。ステップＳ２０５において、類似度が高い場合は（Ｓ２０５、ＹＥＳ）、置き去り又は持ち去り発生時刻を確定して（Ｓ２０７）、処理を終了する。
【００３５】
以上、本実施形態に係る置き去り又は持ち去り検知システムによれば、従来は時刻ｔ０での置き去り又は持ち去り発生に保証はなかったが、この方式では置き去り又は持ち去り発生時刻を正確に把握することができる。
つまり、既に述べたように、前記期間Δｔ間の動画切り出しについて、置き去り又は持ち去り発生時刻ｔ０の検知精度が悪いと、それだけ長い時間（つまりより多くのフレームの）切り出しを行う必要があり、そのためにレコーダー３４の保存容量を大きくしなければならずコストがアップした。
【００３６】
しかし、本実施形態によれば、置き去り又は持ち去り発生時刻ｔ０の検知精度が高いので、長時間に渡って切り出しを行う必要がない。つまり短時間の切り出しでよいからレコーダー３４の保存容量が少なくて済み、従来の置き去り又は持ち去り検知システムに比してコストを低減することができる。
また、保存された映像（画像）を監視する側でも、保存された映像を見る時間が従来システムよりも短縮され、作業負担が軽減されるなどの利点がある。
【符号の説明】
【００３７】
１００・・・制御部、１０・・・ＣＰＵ、１０ａ・・・異物検知部、１０ｂ・・・置き去り又は持ち去り判断部、１０ｃ・・・タイマー制御部、１０ｄ・・・発生時刻演算部、１２・・・ＲＯＭ、１４・・・ＲＡＭ、２０・・・監視カメラ、２２・・・キーボード、２４・・・マウス、３０・・・モニター、３２・・・スピーカー、３４・・・レコーダー。
【特許請求の範囲】
【請求項１】
監視エリアの画像を撮影する撮影手段と、撮影した画像を保存する保存手段と、前記撮影した画像及び前記保存手段に保存した画像に基づき監視エリアにおける異物を検知する異物検知部と、前記異物検知部で検知した異物が所定の検知時間の間検知されたとき、置き去り又は持ち去りと判断する置き去り又は持ち去り判断部と、前記異物の検知に基づき検知タイマーを作動制御するタイマー制御部と、置き去り又は持ち去り発生時刻を演算する発生時刻演算部と、を有する置き去り又は持ち去り検知システムであって、
前記タイマー制御部は、前記検知時間内において前記異物検知部による異物検知が一時中断されたとき、前記中断時間に応じて検知タイマーを停止又は逆進させ、前記置き去り又は持ち去り判断部は、検知タイマーの増進タイマー値から逆進タイマー値を減算した累積検知時間が前記検知時間に達したとき、置き去り又は持ち去りと判断し、かつ、前記発生時刻演算部は、検知タイマーの増進期間と停止及び／又は逆進期間の各タイマー値を加算して、置き去り又は持ち去り発生時刻を得ることを特徴とする置き去り又は持ち去り検知システム。
【請求項２】
請求項１に記載された置き去り又は持ち去り検知システムにおいて、
前記異物検知部の異物検知が中断されたとき、前記タイマー制御部は検知タイマーを停止すると共にそれまでの累積タイマー値を保持し、タイマー停止が予め定めた所定時間継続したとき前記検知タイマーを逆進させることを特徴とする置き去り又は持ち去り検知システム。
【請求項３】
請求項１又は２に記載された置き去り又は持ち去り検知システムにおいて、
前記タイマー制御部は、前記検知タイマーが停止したときその停止期間を計測する停止タイマーを作動制御し、又は、前記検知タイマーを逆進させたときその逆進期間を計測する逆進タイマーを作動制御し、前記発生時刻演算部は前記検知タイマーと、前記停止タイマーと、前記逆進タイマーの各タイマー値を加算して前記置き去り又は持ち去り発生時刻を演算することを特徴とする置き去り又は持ち去り検知システム。
【請求項４】
請求項３に記載された置き去り又は持ち去り検知システムにおいて、
前記検知タイマーを逆進させて、前記検知タイマーの前記累積検知時間がゼロになったとき、前記停止タイマー及び前記逆進タイマーをリセットすることを特徴とする置き去り又は持ち去り検知システム。
【請求項５】
請求項１ないし４のいずれかに記載された置き去り又は持ち去り検知システムにおいて、
前記発生時刻演算部で演算された置き去り又は持ち去り発生時刻における監視エリアの画像を前記保存手段から読み出して表示する表示手段を有することを特徴とする置き去り又は持ち去り検知システム。
【請求項６】
請求項１ないし５のいずれかに記載された置き去り又は持ち去り検知システムにおいて、
前記置き去り又は持ち去り判断部が置き去り又は持ち去りがあったと判断したとき、その旨を報知する手段を有することを特徴とする置き去り又は持ち去り検知システム。
【請求項７】
請求項１ないし６のいずれかに記載された置き去り又は持ち去り検知システムにおける置き去り又は持ち去り発生時刻を検知する方法であって、
前記発生時刻演算部で演算された置き去り又は持ち去り発生時刻以前で、前記検知タイマーのスタート時における不安定期間よりも長い期間を設定する工程と、
当該期間において撮影された複数の画像を、当該期間における時系列に従って前記発生時刻演算部で演算された置き去り又は持ち去り発生時刻における撮影画像と順に比較する工程と、
前記比較の結果、両画像が一致したときの前記期間における撮影画像の撮影時刻を取得する工程と、
を有することを特徴とする置き去り又は持ち去り発生時刻を検知する方法。
【請求項８】
請求項７に記載された置き去り又は持ち去り発生時刻を検知する方法において、
前記期間において撮影された複数の画像と、前記発生時刻演算部で演算された置き去り又は持ち去り発生時刻における撮影画像との比較は、撮影画像中の同一エリア内の色又は輝度情報を比較して行うことを特徴とする置き去り又は持ち去り発生時刻を検知する方法。
【請求項１】
監視エリアの画像を撮影する撮影手段と、撮影した画像を保存する保存手段と、前記撮影した画像及び前記保存手段に保存した画像に基づき監視エリアにおける異物を検知する異物検知部と、前記異物検知部で検知した異物が所定の検知時間の間検知されたとき、置き去り又は持ち去りと判断する置き去り又は持ち去り判断部と、前記異物の検知に基づき検知タイマーを作動制御するタイマー制御部と、置き去り又は持ち去り発生時刻を演算する発生時刻演算部と、を有する置き去り又は持ち去り検知システムであって、
前記タイマー制御部は、前記検知時間内において前記異物検知部による異物検知が一時中断されたとき、前記中断時間に応じて検知タイマーを停止又は逆進させ、前記置き去り又は持ち去り判断部は、検知タイマーの増進タイマー値から逆進タイマー値を減算した累積検知時間が前記検知時間に達したとき、置き去り又は持ち去りと判断し、かつ、前記発生時刻演算部は、検知タイマーの増進期間と停止及び／又は逆進期間の各タイマー値を加算して、置き去り又は持ち去り発生時刻を得ることを特徴とする置き去り又は持ち去り検知システム。
【請求項２】
請求項１に記載された置き去り又は持ち去り検知システムにおいて、
前記異物検知部の異物検知が中断されたとき、前記タイマー制御部は検知タイマーを停止すると共にそれまでの累積タイマー値を保持し、タイマー停止が予め定めた所定時間継続したとき前記検知タイマーを逆進させることを特徴とする置き去り又は持ち去り検知システム。
【請求項３】
請求項１又は２に記載された置き去り又は持ち去り検知システムにおいて、
前記タイマー制御部は、前記検知タイマーが停止したときその停止期間を計測する停止タイマーを作動制御し、又は、前記検知タイマーを逆進させたときその逆進期間を計測する逆進タイマーを作動制御し、前記発生時刻演算部は前記検知タイマーと、前記停止タイマーと、前記逆進タイマーの各タイマー値を加算して前記置き去り又は持ち去り発生時刻を演算することを特徴とする置き去り又は持ち去り検知システム。
【請求項４】
請求項３に記載された置き去り又は持ち去り検知システムにおいて、
前記検知タイマーを逆進させて、前記検知タイマーの前記累積検知時間がゼロになったとき、前記停止タイマー及び前記逆進タイマーをリセットすることを特徴とする置き去り又は持ち去り検知システム。
【請求項５】
請求項１ないし４のいずれかに記載された置き去り又は持ち去り検知システムにおいて、
前記発生時刻演算部で演算された置き去り又は持ち去り発生時刻における監視エリアの画像を前記保存手段から読み出して表示する表示手段を有することを特徴とする置き去り又は持ち去り検知システム。
【請求項６】
請求項１ないし５のいずれかに記載された置き去り又は持ち去り検知システムにおいて、
前記置き去り又は持ち去り判断部が置き去り又は持ち去りがあったと判断したとき、その旨を報知する手段を有することを特徴とする置き去り又は持ち去り検知システム。
【請求項７】
請求項１ないし６のいずれかに記載された置き去り又は持ち去り検知システムにおける置き去り又は持ち去り発生時刻を検知する方法であって、
前記発生時刻演算部で演算された置き去り又は持ち去り発生時刻以前で、前記検知タイマーのスタート時における不安定期間よりも長い期間を設定する工程と、
当該期間において撮影された複数の画像を、当該期間における時系列に従って前記発生時刻演算部で演算された置き去り又は持ち去り発生時刻における撮影画像と順に比較する工程と、
前記比較の結果、両画像が一致したときの前記期間における撮影画像の撮影時刻を取得する工程と、
を有することを特徴とする置き去り又は持ち去り発生時刻を検知する方法。
【請求項８】
請求項７に記載された置き去り又は持ち去り発生時刻を検知する方法において、
前記期間において撮影された複数の画像と、前記発生時刻演算部で演算された置き去り又は持ち去り発生時刻における撮影画像との比較は、撮影画像中の同一エリア内の色又は輝度情報を比較して行うことを特徴とする置き去り又は持ち去り発生時刻を検知する方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−２１７０５６（Ｐ２０１２−２１７０５６Ａ）
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願番号】特願２０１１−８１２５８（Ｐ２０１１−８１２５８）
【出願日】平成２３年３月３１日（２０１１．３．３１）
【出願人】（３０４０２０４９８）サクサ株式会社 (678)
【Ｆターム（参考）】
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願日】平成２３年３月３１日（２０１１．３．３１）
【出願人】（３０４０２０４９８）サクサ株式会社 (678)
【Ｆターム（参考）】
[ Back to top ]