異物検知システム、方法及びプログラム
【課題】 異物の検知精度を向上できる異物検知システムを提供する。
【解決手段】 本発明の異物検知システムは、（１）監視領域を撮影する撮影手段と、（２）監視領域内に位置している物品毎の情報を記憶している物品情報記憶手段と、（３）撮影手段が得た撮影画像から、その画像に含まれている物品の情報を抽出する物品情報抽出手段と、（４）物品情報抽出手段が抽出した物品の情報と、物品情報記憶手段に記憶されている物品の情報とを照合し、物品情報記憶手段に記憶されている物品の情報に対応付けられない、物品情報抽出手段が抽出した物品の情報があれば、その物品を異物と検知する異物判定手段とを備える。
【解決手段】 本発明の異物検知システムは、（１）監視領域を撮影する撮影手段と、（２）監視領域内に位置している物品毎の情報を記憶している物品情報記憶手段と、（３）撮影手段が得た撮影画像から、その画像に含まれている物品の情報を抽出する物品情報抽出手段と、（４）物品情報抽出手段が抽出した物品の情報と、物品情報記憶手段に記憶されている物品の情報とを照合し、物品情報記憶手段に記憶されている物品の情報に対応付けられない、物品情報抽出手段が抽出した物品の情報があれば、その物品を異物と検知する異物判定手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は異物検知システム、方法及びプログラムに関し、例えば、店舗内に不要に投棄された異物を検知する場合に適用し得るものである。
【背景技術】
【０００２】
小売り店舗や金融店舗などの監視カメラによる撮影画像の録画等に利用されるＤＶＲ（デジタルビデオレコーダ装置）においては、店舗（監視領域）内に本来存在しない自律的に移動できない物品（以下、異物と呼ぶ）を検知する機能などを備えるものがある。従来のＤＶＲにおいては、予め登録されている画像と、現在録画している画像とを比較し、異物か否かを判断している。なお、画像比較により物品を検出する方法は、特許文献１をはじめ、多くの文献に記載されている。
【特許文献１】特開２００５−１４３０５２
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来のＤＶＲにおいては、登録された画像と、現在録画している画像を１対１で比較して異物か否かを判断しているため、例えば、店舗内に元々存在している可搬可能な物品が移動されて現在録画している画像と登録された画像とで一部変化してしまい、異物と検知してしまう可能性があり、実運用上の問題となっている。
【０００４】
そのため、異物の検知精度を向上させることができる異物検知システム、方法及びプログラムが望まれている。
【課題を解決するための手段】
【０００５】
第１の本発明の異物検知システムは、（１）監視領域を撮影する撮影手段と、（２）上記監視領域内に位置している物品毎の情報を記憶している物品情報記憶手段と、（３）上記撮影手段が得た撮影画像から、その画像に含まれている物品の情報を抽出する物品情報抽出手段と、（４）上記物品情報抽出手段が抽出した物品の情報と、上記物品情報記憶手段に記憶されている物品の情報とを照合し、上記物品情報記憶手段に記憶されている物品の情報に対応付けられない、上記物品情報抽出手段が抽出した物品の情報があれば、その物品を異物と検知する異物判定手段とを備えることを特徴とする。
【０００６】
第２の本発明の異物検知方法は、撮影手段、物品情報記憶手段、物品情報抽出手段及び異物判定手段を備え、（１）上記物品情報記憶手段は、監視領域内に位置している物品毎の情報を記憶しており、（２）上記撮影手段は、監視領域を撮影し、（３）上記物品情報抽出手段は、上記撮影手段が得た撮影画像から、その画像に含まれている物品の情報を抽出し、（４）上記異物判定手段は、上記物品情報抽出手段が抽出した物品の情報と、上記物品情報記憶手段に記憶されている物品の情報とを照合し、上記物品情報記憶手段に記憶されている物品の情報に対応付けられない、上記物品情報抽出手段が抽出した物品の情報があれば、その物品を異物と検知することを特徴とする。
【０００７】
第３の本発明の異物検知プログラムは、コンピュータを、（１）監視領域を撮影する撮影手段と、（２）上記監視領域内に位置している物品毎の情報を記憶している物品情報記憶手段と、（３）上記撮影手段が得た撮影画像から、その画像に含まれている物品の情報を抽出する物品情報抽出手段と、（４）上記物品情報抽出手段が抽出した物品の情報と、上記物品情報記憶手段に記憶されている物品の情報とを照合し、上記物品情報記憶手段に記憶されている物品の情報に対応付けられない、上記物品情報抽出手段が抽出した物品の情報があれば、その物品を異物と検知する異物判定手段として機能させることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、異物の検知精度を向上させることができる異物検知システム、方法及びプログラムを提供できる。
【発明を実施するための最良の形態】
【０００９】
（Ａ）第１の実施形態
以下、本発明に係る異物検知システム、方法及びプログラムを、金融機関店舗の監視システムに適用した第１の実施形態を、図面を参照しながら詳述する。
【００１０】
（Ａ−１）第１の実施形態の構成
図２は、第１の実施形態に係る金融機関店舗監視システムの全体構成を示すブロック図である。図２において、第１の実施形態に係る金融機関店舗監視システム１は、監視カメラ２、ＤＶＲ３、局所監視端末４及びセンタ監視端末５を備え、センタ監視端末５と、ＤＶＲ３又は局所監視端末４とはネットワーク（以下、ネットワークがＩＰ網とする）６を介して接続し得るようになされている。
【００１１】
監視カメラ２は、金融機関店舗における監視領域を撮影し、得られた映像信号をＤＶＲ３に出力するものである。監視カメラ２は、アナログ映像信号を出力するものであっても良く、また、デジタル映像信号を出力するものであっても良い。異なる監視領域を管轄する複数の監視カメラ２が設けられていても良く、また、同一の監視領域を異なる方向から撮影するように複数の監視カメラ２が設けられていても良い。監視カメラ２とＤＶＲ３とは１対１に対応するものであっても良く、複数台の監視カメラ２が１台のＤＶＲ３に対応付けられるもの（例えば、ＤＶＲ３が時分割処理で対応する）であっても良い。監視カメラ２は、モノクロ用のものであっても良く、また、カラー用のものであっても良いが、以下では、監視カメラ２がカラー用のものであるとして説明を行う。
【００１２】
ＤＶＲ３は、例えば、ハードディスク装置などを内蔵し、基本的には、監視カメラ１から与えられた映像信号を録画するものである。ＤＶＲ３は、入力映像信号がアナログ映像信号であれば、デジタル映像信号に変換して録画する。その際に、データ圧縮等を行うようにしても良い。ＤＶＲ３には、局所監視端末４が接続され、又は、ＩＰ網６を介してセンタ監視端末５が接続されている。ＤＶＲ３は、局所監視端末４又はセンタ監視端末５からの要求により、録画している映像信号を再生し（必要に応じてデータ伸張し）、要求元の局所監視端末４又はセンタ監視端末５に送信するものである。
【００１３】
局所監視端末４は、例えば、監視カメラ２が設置されている金融機関店舗に設けられている端末である。局所監視端末４には、金融機関店舗監視システム１に係る店舗用のソフトウェアが組み込まれ、ＤＶＲ３の動作モードを指示したり、ＤＶＲ３から再生された映像信号を取り込んで表示したりするものである。センタ監視端末５は、例えば、多くの金融機関店舗を統括している集中センタに設けられている端末である。センタ監視端末５には、金融機関店舗監視システム１に係るセンタ用のソフトウェアが組み込まれ、ＤＶＲ３の動作モードを指示したり、ＤＶＲ３から再生された映像信号を取り込んで表示したりするものである。各端末４、５は、例えば、複数の監視カメラ１からの映像をマルチウィンドウで表示可能である。
【００１４】
第１の実施形態の場合、ＤＶＲ３、局所監視端末４又はセンタ監視端末５のいずれかが異物検知機能を担っている。又は、ＤＶＲ３、局所監視端末４及びセンタ監視端末５の少なくとも２以上の装置が協働し、異物検知機能を担っている。
【００１５】
以下では、ＤＶＲ３が異物検知における主機能を担い、局所監視端末４が異物検知における参照部分画像登録機能を担っているとして説明する。また、ＤＶＲ３及び局所監視端末４がＣＰＵ等のソフトウェアの実行構成を備え、異物検知プログラムの主機能に関係するプログラム部分がＤＶＲ３に搭載されることにより、ＤＶＲ３が異物検知の主機能を担い、異物検知プログラムの参照部分画像登録機能に関係するプログラム部分が局所監視端末４に搭載されることにより、異物検知における参照部分画像登録機能を担っているとして説明する。
【００１６】
なお、異物検知プログラムを実行することにより実現する機能の全て又は一部を、ハードウェアによって実現するようにしても良いことは勿論である。
【００１７】
図１は、ＤＶＲ３及び局所監視端末４について、異物検知に係る内部構成を示すブロック図である。ＤＶＲ３及び局所監視端末４に、異物検知プログラムの部分が搭載されて異物検知機能が実現されるが、機能的には、図１で表すことができる。
【００１８】
ＤＶＲ３は、画像内物品抽出部１０、異物判定部１１、抽出物品登録部１２及び消失物品判定部１３を有する。一方、局所監視端末４は、物品リスト記憶部２０、確認リストバッファ２１、異物警報部２２及び物品消失警報部２３を有する。
【００１９】
画像内物品抽出部１０は、監視カメラ２からＤＶＲ３へ入力された映像信号に係る画像から、画像内にある物品（以下、構成物と呼ぶ）を抽出するものである。構成物の抽出には、１画像に基づいた既存の立体認識方法を適用できる（なお、複数画像に基づいた立体認識方法を適用するようにしても良い）。抽出した構成物についてのデータ構造や形式は任意であるが、当該金融機関店舗監視システム１については全体で統一されている（後述する物品リスト記憶部２０参照）。例えば、部分画像データに、基本形状（例えば、矩形）や大きさ、色（例えば、ＲＧＢの各成分についての部分画像の全画素の平均）といった情報を付加し、後述する照合処理をし易いものとしても良い。また、抽出形状を、構成物を含む最小の矩形のように限定したものであっても良い。
【００２０】
異物判定部１１は、画像内物品抽出部１０が抽出した構成物の情報を、物品リスト記憶部２０に記憶されている情報と照合し、異物か否かを判定するものである。異物判定部１１は、抽出した構成物の情報と同一視できる情報が物品リスト記憶部２０に記憶されていれば、その構成物は異物でないと判定し、抽出した構成物の情報と同一視できる情報が物品リスト記憶部２０に記憶されていなければ、異物と判定する。例えば、基本形状及びその大きさで一致不一致判定を行い、一致したものがあれば（大きさの誤差は数％以内とする）、色で一致不一致判定を行い、一致したものがあれば（ＲＧＢの各成分の階調の誤差は数％以内とする）、画像データで一致不一致判定を行い、画像データでも一致するものがあれば、異物でないと判定し、上述した３種類の判定の全てで一致という結果が得られるものがなければ異物と判定する。なお、画像データの判定では、例えば、２つの画像データの大きさを合わせた後、２つの画像データで対応する位置の画素毎の差分の２乗和を求め、その差分２乗和が閾値以下であれば一致と判定する。
【００２１】
なお、画像内物品抽出部１０が抽出した構成物の情報と、物品リスト記憶部２０に記憶されている情報との照合では、異物判定部１１は、構成物の位置の照合は実行しない。
【００２２】
ここで、同一構成物が監視領域内に複数存在することもあり得（例えば、椅子）、このような場合にも、異物判定を正しくできるように、物品リスト記憶部２０に個数情報を記憶しておき、異物判定では、抽出された構成物が一致しても直ちに異物でないと判定するのではなく、物品リスト記憶部２０の同じ情報と一致したと判定した個数が、物品リスト記憶部２０に記載されている個数情報を超えた場合には、今回抽出された構成物を異物と判定する。
【００２３】
異物判定部１１は、構成物が異物であると判定した場合には、異物警報部２２にそのことを通知し、異物の警報動作を起動させる。なお、図１では、局所監視端末４が異物警報部２２を備えるものを示したが、これに加え、又は、これに代え、センタ監視端末５や当該ＤＶＲ３が異物警報部２２を備えていても良い。
【００２４】
異物判定部１１は、構成物が異物でないと判定した場合には、抽出物品登録部１２にそのことを通知する。抽出物品登録部１２は、異物でないと判定された構成物の情報を抽出確認リストバッファ２１に登録するものである。確認リストバッファ２１も個数情報の格納エリアを有し、抽出物品登録部１２は、同様な情報の構成物については、画像データを共通に記憶させると共に、同様である個数を個数情報の格納エリアに格納させる。
【００２５】
消失物品判定部１３は、確認リストバッファ２１と物品リスト記憶部２０の記憶内容の照合により、監視領域内に存在すると物品リスト記憶部２０に記述されている構成物のうち、存在しなくなったもの（以下、消失物品と呼ぶ）があるか否かを判定するものである。消失物品判定部１３は、物品リスト記憶部２０に情報が記憶されているが確認リストバッファ２１に情報が記憶されていない構成物を消失物品と判定する。なお、確認リストバッファ２１に情報が記憶されていても、物品リスト記憶部２０に記述されている個数情報より、確認リストバッファ２１に記述されている個数情報が少ない場合には、個数情報の差だけ消失物品が存在すると判定する。
【００２６】
消失物品判定部１３は、消失物品があると判定した場合には、物品消失警報部２３にそのことを通知し、物品消失の警報動作を起動させる。なお、図１では、局所監視端末４が物品消失警報部２３を備えるものを示したが、これに加え、又は、これに代え、センタ監視端末５や当該ＤＶＲ３が異物警報部２２を備えていても良い。
【００２７】
物品リスト記憶部２０は、上述のように、管理領域内に存在する構成物の情報を一覧として記憶しているものである。例えば、物品リスト記憶部２０は、オペレータが当該局所監視端末４に対して登録モードを指示して起動したときに、監視カメラ２からＤＶＲ３へ入力された映像信号に係る最新の画像情報をＤＶＲ３から取り込み、その画像内にある構成物を抽出し、抽出した情報を整理し、付加情報を生成して記憶させるものである。この初期登録の差異には、オペレータに記憶情報を提示し、オペレータが修正することができるようにしても良い。物品リスト記憶部２０は、便宜上、リスト化して記憶しているが、画像データ、形状、色、大きさ、個数などの情報が関連付けされて記憶されていれば良く、その記憶形式や関連付け方式は問われないものである。
【００２８】
なお、消失物品判定部１３が確認リストバッファ２１と当該物品リスト記憶部２０の記憶内容とに差異がないと判定したときに、物品リスト記憶部２０は、確認リストバッファ２１の情報を取り込んで自己の記憶情報を更新させるようにしても良い。情報に差異はなくても画像データ等には多少の変化があり、確認リストバッファ２１の情報に記憶情報を置き換えることにより、物品リスト記憶部２０の記憶情報をできるだけ最新のものとすることができる。
【００２９】
確認リストバッファ２１は、上述のように、最新の撮像画像の中から抽出した構成物のうち、異物ではなく、監視領域内に存在することが妥当であると確認された構成物の情報をバッファリングするものである。
【００３０】
異物警報部２２は、異物の存在が通知されたときに、異物の存在を表す警報を行うものである。異物警報部２２は、ブザーなどの鳴動による音響的な警報を行うものであっても良く、また、発光素子などの点灯若しくは点滅などによる視覚的な警報を行うものであっても良い。また、オペレータが局所監視端末４のモニタを常時視認するような使用態様であれば、モニタ上に、警報を表示させるようにしても良い。
【００３１】
物品消失警報部２３は、構成物の消失が通知されたとき、消失物品の発生を表す警報を行うものである。物品消失警報部２３は、ブザーなどの鳴動による音響的な警報を行うものであっても良く、また、発光素子などの点灯若しくは点滅などによる視覚的な警報を行うものであっても良い。また、オペレータが局所監視端末４のモニタを常時視認するような使用態様であれば、モニタ上に、警報を表示させるようにしても良い。
【００３２】
（Ａ−２）第１の実施形態の動作
次に、第１の実施形態に係る金融機関店舗監視システム１における異物検知動作を、図３のフローチャートを参照しながら説明する。
【００３３】
ＤＶＲ３においては、例えば、周期的に（例えば３０秒おきに）図３に示す異物検知動作を開始する。なお、監視員などの操作によって、図３に示す異物検知動作を開始するようにしても良い。
【００３４】
まず、監視領域に対する撮影画像から異物判定を行っていない１個の構成物を抽出する（ステップ１００）。例えば、図４（Ａ）に示すような撮影画像であれば、図４（Ｂ１）〜（Ｂ３）に示すような鉢植えやカウンター等が抽出される。
【００３５】
その後、抽出した構成物の情報を、予め物品リスト記憶部２０に登録されている構成物の情報と照合し、抽出した構成物が異物であるか否かを判定する（ステップ１０１）。異物であれば、ＤＶＲ３は局所監視端末４に通知し、警報を発生させる（ステップ１０２）。例えば、警報を認識した監視員は、局所監視端末４のモニタを介して監視領域の状態を確認し、又は、監視領域に出向いて監視領域の状態を確認することになる。そのような確認後、監視員は、ＤＶＲ３や局所監視端末４の異物検知動作モードをリセットさせる。
【００３６】
抽出された構成物が異物でなければ、抽出された構成物の情報を確認リストバッファ２１に追加する（ステップ１０３）。以上のようにして、ある１個の構成物に対する処理が終了すると、撮像画像内の全ての構成物に対し、ステップ１００〜１０３の処理を実行したか否かを判定し（ステップ１０４）、全ての構成物に対する処理が終了していなければ上述したステップ１００に戻る。
【００３７】
なお、図３では、１個の構成物を抽出しては異物判定を行うものを示したが、まず、全ての構成物を抽出し、抽出した構成物の中から１個ずつを判定対象として異物判定を行うようにしても良い。
【００３８】
全ての構成物に対してステップ１００〜１０３の処理を実行し終えると、確認リストバッファ２１と物品リスト記憶部２０の記憶内容の照合により、消失物品が生じたか否かを判定する（ステップ１０５）。消失物品が生じた場合には、ＤＶＲ３は局所監視端末４に通知し、警報を発生させる（ステップ１０６）。例えば、警報を認識した監視員は、局所監視端末４のモニタを介して監視領域の状態を確認し、又は、監視領域に出向いて監視領域の状態を確認することになる。そのような確認後、監視員は、ＤＶＲ３や局所監視端末４の異物検知動作モードをリセットさせる。
【００３９】
消失した構成物がなければ、ＤＶＲ３は、図３に示す一連の動作を終了させる。なお、この終了時に、次に、図３の処理を開始させるまでの時間を計時するタイマを起動させるようにしても良い。また、この終了時に、物品リスト記憶部２０の記憶情報を、確認リストバッファ２１の情報に更新させる動作を実行させるようにしても良い。
【００４０】
（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、監視領域内の構成物の情報を予め登録しておき、異物の検知動作では、撮像画像から抽出した構成物の情報が、予め登録した構成物の情報には存在しないことを条件として異物判定を行うようにしたので、例え、構成物が別の場所に動かされたとしても、撮影画像内に映ってさえいれば、正規の構成物と判定されるため、より確実に異物を検知することができる。
【００４１】
また、第１の実施形態によれば、予め登録した構成物が監視領域内に存在したことをマークしているので（確認リストバッファに書き込むことはマークしていることと等価である）、マークできなかったものを消失した構成物として把握し、検知することができる。
【００４２】
（Ｂ）第２の実施形態
次に、本発明に係る異物検知システム、方法及びプログラムを、金融機関店舗の監視システムに適用した第２の実施形態を、図面を参照しながら詳述する。
【００４３】
第２の実施形態に係る金融機関店舗監視システムは、画像内物品抽出部１０（図１参照）の処理が、第１の実施形態と多少異なっている。すなわち、第２の実施形態の画像内物品抽出部１０は、撮影画像内の移動物体を認識し、認識した移動物体を異物検知の対象から除外する点が、第１の実施形態のものと異なっている。
【００４４】
図５は、第２の実施形態に係る金融機関店舗監視システムにおける異物検知動作を示すフローチャートであり、第１の実施形態に係る図３との同一、対応ステップには同一符号を付して示している。
【００４５】
この第２の実施形態の場合、図５に示す処理を開始すると、ＤＶＲ３は、一定時間（数秒間隔など比較的短い時間）の間隔で複数枚の映像信号を取り込んで保存し（ステップ２００）、保存した複数枚の映像信号を利用し、既知の方法によって移動物体を認識し、認識した移動物体を異物検知の対象から除外する設定を行う（ステップ２０１）。その後、第１の実施形態で説明した一連の動作を行う（ステップ１００〜１０７）。
【００４６】
なお、移動物体の認識処理では、移動している物体だけでなく、既存の方法を適用し、同一箇所で腕や足などを動かしている物体をも認識し、この動作物体も異物検知の対象から除外する設定を行うようにしても良い。すなわち、「移動物体」の用語は「動作物体」も含むものとする。
【００４７】
ここで、ステップ２０１からステップ１００へ移行した際に利用する異物検知のための撮影画像は、例えば、複数枚のうち最新のものを適用する。移動物体を異物検知の対象から除外する設定動作では、例えば、最新の撮影画像における、認識した移動物体の部分を構成物の抽出動作を行わない領域に設定する動作である。例えば、認識した移動物体の部分を、移動物体を含む最小の矩形で規定することとし、最新の撮影画像におけるその矩形領域を４隅の座標値で特定し、４隅の座標値で特定される領域を異物検知の対象に利用しない設定を行う。従って、ステップ１００で構成物を抽出しようとする領域からその領域が除外されるので、移動物体が構成物として抽出されることはない。
【００４８】
第２の実施形態によれば、第１の実施形態の効果に加え、以下の効果を期待することができる。すなわち、移動物体を異物判定や消失物品判定の対象から除外するようにしたので、誤った検知を低減することが期待できる。
【００４９】
（Ｃ）第３の実施形態
次に、本発明に係る異物検知システム、方法及びプログラムを、金融機関店舗の監視システムに適用した第３の実施形態を、図面を参照しながら詳述する。
【００５０】
第３の実施形態に係る金融機関店舗監視システムは、消失物品判定部１３、物品リスト記憶部２０及び確認リストバッファ２１（図１参照）が、第２の実施形態とのものと異なっている。
【００５１】
第３の実施形態の場合、物品リスト記憶部２０及び確認リストバッファ２１に保存される情報は、第１の実施形態で説明した構成物に係るデータ画像データ、形状や大きさ、色、個数など）に加え、構成物の画像上の座標の情報も含んでいる。
【００５２】
第３の実施形態の消失物品判定部１３は、物品リスト記憶部２０に記述されているが確認リストバッファ２１に記述されていない構成物でも、確認リストバッファ２１に記述されている他の構成物の座標情報や、移動物体の座標情報を参酌すると、物品リスト記憶部２０に記述されているが確認リストバッファ２１に記述されていない構成物が、確認リストバッファ２１に記述されている他の構成物又は移動物体の陰に隠れていると推定できる場合には、消失物品と判定しないものである。
【００５３】
図６は、第３の実施形態に係る金融機関店舗監視システムにおける異物検知動作を示すフローチャートであり、第２の実施形態に係る図５との同一、対応ステップには同一符号を付して示している。
【００５４】
第３の実施形態の場合、ステップ１０５の判定で、物品リスト記憶部２０に記述されているが確認リストバッファ２１に記述されていない構成物がある場合には、さらに、その構成物は、確認リストバッファ２１に記述されている他の構成物又は移動物体の陰に隠れているか否かの判定を行う（ステップ２００）。例えば、確認リストバッファ２１に記述されている他の構成物又は移動物体の座標情報で規定されている領域が、物品リスト記憶部２０に記述されているが確認リストバッファ２１に記述されていない構成物の座標情報で定まる領域の所定割合（例えば８割）とオーバーラップしている場合に、陰に隠れていると判定する。
【００５５】
物品リスト記憶部２０に記述されているが確認リストバッファ２１に記述されていない構成物の一つでも、確認リストバッファ２１に記述されている他の構成物又は移動物体の陰に隠れていない場合には、ＤＶＲ３は局所監視端末４に通知し、警報を発生させる（ステップ１０６）。一方、物品リスト記憶部２０に記述されているが確認リストバッファ２１に記述されていない全ての構成物が陰に隠れている場合には、ＤＶＲ３は、図６に示す一連の動作を終了させる。
【００５６】
第３の実施形態によれば、第２の実施形態の効果に加え、以下の効果を期待することができる。すなわち、構造物の座標情報も一緒に保存し、消失物品の判定で、構成物（一方が移動物体の場合を含む）同士の重なりをも考慮するようにしたので、より精度良く構成物の消失を検知することができる。
【００５７】
例えば、図４（Ｂ２）で説明した鉢植えの座標情報を含めた情報を物品リスト記憶部２０に記憶しておけば、図７に示すようなその鉢植えが人間の陰に隠れた撮影画像が対象となっても、その鉢植えを消失物品と誤って判定することがなくなる。
【００５８】
（Ｄ）他の実施形態
上記各実施形態の説明でも、種々変形実施形態に言及したが、さらに以下に例示するような変形実施形態を挙げることができる。
【００５９】
上記各実施形態では、本発明を、金融機関店舗の監視システムに適用したものを示したが、監視領域が金融機関店舗に限定されないことは勿論である。
【００６０】
上記各実施形態では、抽出された構成物が物品リスト記憶部２０に記述されていなければ直ちに異物として通知するものを示したが、例えば、所定回数連続して同じ判定結果が生じたときに異物として通知するようにしても良い。所定回数が２回であれば、例えば、抽出された構成物が物品リスト記憶部２０に記述されていないと始めて判定した場合には、次の周期の判定動作でも、同じ判定結果が得られたときに始めて異物として通知する。消失物品の通知も、複数周期の連続判定を要件とするようにしても良い。
【００６１】
上記第３の実施形態は、第２の実施形態の要件に、構成物同士の重なり判定を導入したものであったが、第１の実施形態の要件に、構成物同士の重なり判定を導入するようにしても良い。
【図面の簡単な説明】
【００６２】
【図１】第１の実施形態のＤＶＲ及び局所監視端末における異物検知に係る内部構成を示す機能ブロック図である。
【図２】第１の実施形態に係るロビー監視システムの全体構成を示すブロック図である。
【図３】第１の実施形態に係る金融機関店舗監視システムにおける異物検知動作を示すフローチャートである。
【図４】第１の実施形態における構成物の抽出動作の説明図である。
【図５】第２の実施形態に係る金融機関店舗監視システムにおける異物検知動作を示すフローチャートである。
【図６】第３の実施形態に係る金融機関店舗監視システムにおける異物検知動作を示すフローチャートである。
【図７】第３の実施形態に係る金融機関店舗監視システムの効果の説明図である。
【符号の説明】
【００６３】
１…金融機関店舗監視システム、２…監視カメラ、３…ＤＶＲ、４…局所監視端末、５…センタ監視端末、６…ＩＰ網、１０…画像内物品抽出部、１１…異物判定部、１２…抽出物品登録部、１３…消失物品判定部、２０…物品リスト記憶部、２１…確認リストバッファ、２２…異物警報部、２３…物品消失警報部。
【技術分野】
【０００１】
本発明は異物検知システム、方法及びプログラムに関し、例えば、店舗内に不要に投棄された異物を検知する場合に適用し得るものである。
【背景技術】
【０００２】
小売り店舗や金融店舗などの監視カメラによる撮影画像の録画等に利用されるＤＶＲ（デジタルビデオレコーダ装置）においては、店舗（監視領域）内に本来存在しない自律的に移動できない物品（以下、異物と呼ぶ）を検知する機能などを備えるものがある。従来のＤＶＲにおいては、予め登録されている画像と、現在録画している画像とを比較し、異物か否かを判断している。なお、画像比較により物品を検出する方法は、特許文献１をはじめ、多くの文献に記載されている。
【特許文献１】特開２００５−１４３０５２
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来のＤＶＲにおいては、登録された画像と、現在録画している画像を１対１で比較して異物か否かを判断しているため、例えば、店舗内に元々存在している可搬可能な物品が移動されて現在録画している画像と登録された画像とで一部変化してしまい、異物と検知してしまう可能性があり、実運用上の問題となっている。
【０００４】
そのため、異物の検知精度を向上させることができる異物検知システム、方法及びプログラムが望まれている。
【課題を解決するための手段】
【０００５】
第１の本発明の異物検知システムは、（１）監視領域を撮影する撮影手段と、（２）上記監視領域内に位置している物品毎の情報を記憶している物品情報記憶手段と、（３）上記撮影手段が得た撮影画像から、その画像に含まれている物品の情報を抽出する物品情報抽出手段と、（４）上記物品情報抽出手段が抽出した物品の情報と、上記物品情報記憶手段に記憶されている物品の情報とを照合し、上記物品情報記憶手段に記憶されている物品の情報に対応付けられない、上記物品情報抽出手段が抽出した物品の情報があれば、その物品を異物と検知する異物判定手段とを備えることを特徴とする。
【０００６】
第２の本発明の異物検知方法は、撮影手段、物品情報記憶手段、物品情報抽出手段及び異物判定手段を備え、（１）上記物品情報記憶手段は、監視領域内に位置している物品毎の情報を記憶しており、（２）上記撮影手段は、監視領域を撮影し、（３）上記物品情報抽出手段は、上記撮影手段が得た撮影画像から、その画像に含まれている物品の情報を抽出し、（４）上記異物判定手段は、上記物品情報抽出手段が抽出した物品の情報と、上記物品情報記憶手段に記憶されている物品の情報とを照合し、上記物品情報記憶手段に記憶されている物品の情報に対応付けられない、上記物品情報抽出手段が抽出した物品の情報があれば、その物品を異物と検知することを特徴とする。
【０００７】
第３の本発明の異物検知プログラムは、コンピュータを、（１）監視領域を撮影する撮影手段と、（２）上記監視領域内に位置している物品毎の情報を記憶している物品情報記憶手段と、（３）上記撮影手段が得た撮影画像から、その画像に含まれている物品の情報を抽出する物品情報抽出手段と、（４）上記物品情報抽出手段が抽出した物品の情報と、上記物品情報記憶手段に記憶されている物品の情報とを照合し、上記物品情報記憶手段に記憶されている物品の情報に対応付けられない、上記物品情報抽出手段が抽出した物品の情報があれば、その物品を異物と検知する異物判定手段として機能させることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、異物の検知精度を向上させることができる異物検知システム、方法及びプログラムを提供できる。
【発明を実施するための最良の形態】
【０００９】
（Ａ）第１の実施形態
以下、本発明に係る異物検知システム、方法及びプログラムを、金融機関店舗の監視システムに適用した第１の実施形態を、図面を参照しながら詳述する。
【００１０】
（Ａ−１）第１の実施形態の構成
図２は、第１の実施形態に係る金融機関店舗監視システムの全体構成を示すブロック図である。図２において、第１の実施形態に係る金融機関店舗監視システム１は、監視カメラ２、ＤＶＲ３、局所監視端末４及びセンタ監視端末５を備え、センタ監視端末５と、ＤＶＲ３又は局所監視端末４とはネットワーク（以下、ネットワークがＩＰ網とする）６を介して接続し得るようになされている。
【００１１】
監視カメラ２は、金融機関店舗における監視領域を撮影し、得られた映像信号をＤＶＲ３に出力するものである。監視カメラ２は、アナログ映像信号を出力するものであっても良く、また、デジタル映像信号を出力するものであっても良い。異なる監視領域を管轄する複数の監視カメラ２が設けられていても良く、また、同一の監視領域を異なる方向から撮影するように複数の監視カメラ２が設けられていても良い。監視カメラ２とＤＶＲ３とは１対１に対応するものであっても良く、複数台の監視カメラ２が１台のＤＶＲ３に対応付けられるもの（例えば、ＤＶＲ３が時分割処理で対応する）であっても良い。監視カメラ２は、モノクロ用のものであっても良く、また、カラー用のものであっても良いが、以下では、監視カメラ２がカラー用のものであるとして説明を行う。
【００１２】
ＤＶＲ３は、例えば、ハードディスク装置などを内蔵し、基本的には、監視カメラ１から与えられた映像信号を録画するものである。ＤＶＲ３は、入力映像信号がアナログ映像信号であれば、デジタル映像信号に変換して録画する。その際に、データ圧縮等を行うようにしても良い。ＤＶＲ３には、局所監視端末４が接続され、又は、ＩＰ網６を介してセンタ監視端末５が接続されている。ＤＶＲ３は、局所監視端末４又はセンタ監視端末５からの要求により、録画している映像信号を再生し（必要に応じてデータ伸張し）、要求元の局所監視端末４又はセンタ監視端末５に送信するものである。
【００１３】
局所監視端末４は、例えば、監視カメラ２が設置されている金融機関店舗に設けられている端末である。局所監視端末４には、金融機関店舗監視システム１に係る店舗用のソフトウェアが組み込まれ、ＤＶＲ３の動作モードを指示したり、ＤＶＲ３から再生された映像信号を取り込んで表示したりするものである。センタ監視端末５は、例えば、多くの金融機関店舗を統括している集中センタに設けられている端末である。センタ監視端末５には、金融機関店舗監視システム１に係るセンタ用のソフトウェアが組み込まれ、ＤＶＲ３の動作モードを指示したり、ＤＶＲ３から再生された映像信号を取り込んで表示したりするものである。各端末４、５は、例えば、複数の監視カメラ１からの映像をマルチウィンドウで表示可能である。
【００１４】
第１の実施形態の場合、ＤＶＲ３、局所監視端末４又はセンタ監視端末５のいずれかが異物検知機能を担っている。又は、ＤＶＲ３、局所監視端末４及びセンタ監視端末５の少なくとも２以上の装置が協働し、異物検知機能を担っている。
【００１５】
以下では、ＤＶＲ３が異物検知における主機能を担い、局所監視端末４が異物検知における参照部分画像登録機能を担っているとして説明する。また、ＤＶＲ３及び局所監視端末４がＣＰＵ等のソフトウェアの実行構成を備え、異物検知プログラムの主機能に関係するプログラム部分がＤＶＲ３に搭載されることにより、ＤＶＲ３が異物検知の主機能を担い、異物検知プログラムの参照部分画像登録機能に関係するプログラム部分が局所監視端末４に搭載されることにより、異物検知における参照部分画像登録機能を担っているとして説明する。
【００１６】
なお、異物検知プログラムを実行することにより実現する機能の全て又は一部を、ハードウェアによって実現するようにしても良いことは勿論である。
【００１７】
図１は、ＤＶＲ３及び局所監視端末４について、異物検知に係る内部構成を示すブロック図である。ＤＶＲ３及び局所監視端末４に、異物検知プログラムの部分が搭載されて異物検知機能が実現されるが、機能的には、図１で表すことができる。
【００１８】
ＤＶＲ３は、画像内物品抽出部１０、異物判定部１１、抽出物品登録部１２及び消失物品判定部１３を有する。一方、局所監視端末４は、物品リスト記憶部２０、確認リストバッファ２１、異物警報部２２及び物品消失警報部２３を有する。
【００１９】
画像内物品抽出部１０は、監視カメラ２からＤＶＲ３へ入力された映像信号に係る画像から、画像内にある物品（以下、構成物と呼ぶ）を抽出するものである。構成物の抽出には、１画像に基づいた既存の立体認識方法を適用できる（なお、複数画像に基づいた立体認識方法を適用するようにしても良い）。抽出した構成物についてのデータ構造や形式は任意であるが、当該金融機関店舗監視システム１については全体で統一されている（後述する物品リスト記憶部２０参照）。例えば、部分画像データに、基本形状（例えば、矩形）や大きさ、色（例えば、ＲＧＢの各成分についての部分画像の全画素の平均）といった情報を付加し、後述する照合処理をし易いものとしても良い。また、抽出形状を、構成物を含む最小の矩形のように限定したものであっても良い。
【００２０】
異物判定部１１は、画像内物品抽出部１０が抽出した構成物の情報を、物品リスト記憶部２０に記憶されている情報と照合し、異物か否かを判定するものである。異物判定部１１は、抽出した構成物の情報と同一視できる情報が物品リスト記憶部２０に記憶されていれば、その構成物は異物でないと判定し、抽出した構成物の情報と同一視できる情報が物品リスト記憶部２０に記憶されていなければ、異物と判定する。例えば、基本形状及びその大きさで一致不一致判定を行い、一致したものがあれば（大きさの誤差は数％以内とする）、色で一致不一致判定を行い、一致したものがあれば（ＲＧＢの各成分の階調の誤差は数％以内とする）、画像データで一致不一致判定を行い、画像データでも一致するものがあれば、異物でないと判定し、上述した３種類の判定の全てで一致という結果が得られるものがなければ異物と判定する。なお、画像データの判定では、例えば、２つの画像データの大きさを合わせた後、２つの画像データで対応する位置の画素毎の差分の２乗和を求め、その差分２乗和が閾値以下であれば一致と判定する。
【００２１】
なお、画像内物品抽出部１０が抽出した構成物の情報と、物品リスト記憶部２０に記憶されている情報との照合では、異物判定部１１は、構成物の位置の照合は実行しない。
【００２２】
ここで、同一構成物が監視領域内に複数存在することもあり得（例えば、椅子）、このような場合にも、異物判定を正しくできるように、物品リスト記憶部２０に個数情報を記憶しておき、異物判定では、抽出された構成物が一致しても直ちに異物でないと判定するのではなく、物品リスト記憶部２０の同じ情報と一致したと判定した個数が、物品リスト記憶部２０に記載されている個数情報を超えた場合には、今回抽出された構成物を異物と判定する。
【００２３】
異物判定部１１は、構成物が異物であると判定した場合には、異物警報部２２にそのことを通知し、異物の警報動作を起動させる。なお、図１では、局所監視端末４が異物警報部２２を備えるものを示したが、これに加え、又は、これに代え、センタ監視端末５や当該ＤＶＲ３が異物警報部２２を備えていても良い。
【００２４】
異物判定部１１は、構成物が異物でないと判定した場合には、抽出物品登録部１２にそのことを通知する。抽出物品登録部１２は、異物でないと判定された構成物の情報を抽出確認リストバッファ２１に登録するものである。確認リストバッファ２１も個数情報の格納エリアを有し、抽出物品登録部１２は、同様な情報の構成物については、画像データを共通に記憶させると共に、同様である個数を個数情報の格納エリアに格納させる。
【００２５】
消失物品判定部１３は、確認リストバッファ２１と物品リスト記憶部２０の記憶内容の照合により、監視領域内に存在すると物品リスト記憶部２０に記述されている構成物のうち、存在しなくなったもの（以下、消失物品と呼ぶ）があるか否かを判定するものである。消失物品判定部１３は、物品リスト記憶部２０に情報が記憶されているが確認リストバッファ２１に情報が記憶されていない構成物を消失物品と判定する。なお、確認リストバッファ２１に情報が記憶されていても、物品リスト記憶部２０に記述されている個数情報より、確認リストバッファ２１に記述されている個数情報が少ない場合には、個数情報の差だけ消失物品が存在すると判定する。
【００２６】
消失物品判定部１３は、消失物品があると判定した場合には、物品消失警報部２３にそのことを通知し、物品消失の警報動作を起動させる。なお、図１では、局所監視端末４が物品消失警報部２３を備えるものを示したが、これに加え、又は、これに代え、センタ監視端末５や当該ＤＶＲ３が異物警報部２２を備えていても良い。
【００２７】
物品リスト記憶部２０は、上述のように、管理領域内に存在する構成物の情報を一覧として記憶しているものである。例えば、物品リスト記憶部２０は、オペレータが当該局所監視端末４に対して登録モードを指示して起動したときに、監視カメラ２からＤＶＲ３へ入力された映像信号に係る最新の画像情報をＤＶＲ３から取り込み、その画像内にある構成物を抽出し、抽出した情報を整理し、付加情報を生成して記憶させるものである。この初期登録の差異には、オペレータに記憶情報を提示し、オペレータが修正することができるようにしても良い。物品リスト記憶部２０は、便宜上、リスト化して記憶しているが、画像データ、形状、色、大きさ、個数などの情報が関連付けされて記憶されていれば良く、その記憶形式や関連付け方式は問われないものである。
【００２８】
なお、消失物品判定部１３が確認リストバッファ２１と当該物品リスト記憶部２０の記憶内容とに差異がないと判定したときに、物品リスト記憶部２０は、確認リストバッファ２１の情報を取り込んで自己の記憶情報を更新させるようにしても良い。情報に差異はなくても画像データ等には多少の変化があり、確認リストバッファ２１の情報に記憶情報を置き換えることにより、物品リスト記憶部２０の記憶情報をできるだけ最新のものとすることができる。
【００２９】
確認リストバッファ２１は、上述のように、最新の撮像画像の中から抽出した構成物のうち、異物ではなく、監視領域内に存在することが妥当であると確認された構成物の情報をバッファリングするものである。
【００３０】
異物警報部２２は、異物の存在が通知されたときに、異物の存在を表す警報を行うものである。異物警報部２２は、ブザーなどの鳴動による音響的な警報を行うものであっても良く、また、発光素子などの点灯若しくは点滅などによる視覚的な警報を行うものであっても良い。また、オペレータが局所監視端末４のモニタを常時視認するような使用態様であれば、モニタ上に、警報を表示させるようにしても良い。
【００３１】
物品消失警報部２３は、構成物の消失が通知されたとき、消失物品の発生を表す警報を行うものである。物品消失警報部２３は、ブザーなどの鳴動による音響的な警報を行うものであっても良く、また、発光素子などの点灯若しくは点滅などによる視覚的な警報を行うものであっても良い。また、オペレータが局所監視端末４のモニタを常時視認するような使用態様であれば、モニタ上に、警報を表示させるようにしても良い。
【００３２】
（Ａ−２）第１の実施形態の動作
次に、第１の実施形態に係る金融機関店舗監視システム１における異物検知動作を、図３のフローチャートを参照しながら説明する。
【００３３】
ＤＶＲ３においては、例えば、周期的に（例えば３０秒おきに）図３に示す異物検知動作を開始する。なお、監視員などの操作によって、図３に示す異物検知動作を開始するようにしても良い。
【００３４】
まず、監視領域に対する撮影画像から異物判定を行っていない１個の構成物を抽出する（ステップ１００）。例えば、図４（Ａ）に示すような撮影画像であれば、図４（Ｂ１）〜（Ｂ３）に示すような鉢植えやカウンター等が抽出される。
【００３５】
その後、抽出した構成物の情報を、予め物品リスト記憶部２０に登録されている構成物の情報と照合し、抽出した構成物が異物であるか否かを判定する（ステップ１０１）。異物であれば、ＤＶＲ３は局所監視端末４に通知し、警報を発生させる（ステップ１０２）。例えば、警報を認識した監視員は、局所監視端末４のモニタを介して監視領域の状態を確認し、又は、監視領域に出向いて監視領域の状態を確認することになる。そのような確認後、監視員は、ＤＶＲ３や局所監視端末４の異物検知動作モードをリセットさせる。
【００３６】
抽出された構成物が異物でなければ、抽出された構成物の情報を確認リストバッファ２１に追加する（ステップ１０３）。以上のようにして、ある１個の構成物に対する処理が終了すると、撮像画像内の全ての構成物に対し、ステップ１００〜１０３の処理を実行したか否かを判定し（ステップ１０４）、全ての構成物に対する処理が終了していなければ上述したステップ１００に戻る。
【００３７】
なお、図３では、１個の構成物を抽出しては異物判定を行うものを示したが、まず、全ての構成物を抽出し、抽出した構成物の中から１個ずつを判定対象として異物判定を行うようにしても良い。
【００３８】
全ての構成物に対してステップ１００〜１０３の処理を実行し終えると、確認リストバッファ２１と物品リスト記憶部２０の記憶内容の照合により、消失物品が生じたか否かを判定する（ステップ１０５）。消失物品が生じた場合には、ＤＶＲ３は局所監視端末４に通知し、警報を発生させる（ステップ１０６）。例えば、警報を認識した監視員は、局所監視端末４のモニタを介して監視領域の状態を確認し、又は、監視領域に出向いて監視領域の状態を確認することになる。そのような確認後、監視員は、ＤＶＲ３や局所監視端末４の異物検知動作モードをリセットさせる。
【００３９】
消失した構成物がなければ、ＤＶＲ３は、図３に示す一連の動作を終了させる。なお、この終了時に、次に、図３の処理を開始させるまでの時間を計時するタイマを起動させるようにしても良い。また、この終了時に、物品リスト記憶部２０の記憶情報を、確認リストバッファ２１の情報に更新させる動作を実行させるようにしても良い。
【００４０】
（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、監視領域内の構成物の情報を予め登録しておき、異物の検知動作では、撮像画像から抽出した構成物の情報が、予め登録した構成物の情報には存在しないことを条件として異物判定を行うようにしたので、例え、構成物が別の場所に動かされたとしても、撮影画像内に映ってさえいれば、正規の構成物と判定されるため、より確実に異物を検知することができる。
【００４１】
また、第１の実施形態によれば、予め登録した構成物が監視領域内に存在したことをマークしているので（確認リストバッファに書き込むことはマークしていることと等価である）、マークできなかったものを消失した構成物として把握し、検知することができる。
【００４２】
（Ｂ）第２の実施形態
次に、本発明に係る異物検知システム、方法及びプログラムを、金融機関店舗の監視システムに適用した第２の実施形態を、図面を参照しながら詳述する。
【００４３】
第２の実施形態に係る金融機関店舗監視システムは、画像内物品抽出部１０（図１参照）の処理が、第１の実施形態と多少異なっている。すなわち、第２の実施形態の画像内物品抽出部１０は、撮影画像内の移動物体を認識し、認識した移動物体を異物検知の対象から除外する点が、第１の実施形態のものと異なっている。
【００４４】
図５は、第２の実施形態に係る金融機関店舗監視システムにおける異物検知動作を示すフローチャートであり、第１の実施形態に係る図３との同一、対応ステップには同一符号を付して示している。
【００４５】
この第２の実施形態の場合、図５に示す処理を開始すると、ＤＶＲ３は、一定時間（数秒間隔など比較的短い時間）の間隔で複数枚の映像信号を取り込んで保存し（ステップ２００）、保存した複数枚の映像信号を利用し、既知の方法によって移動物体を認識し、認識した移動物体を異物検知の対象から除外する設定を行う（ステップ２０１）。その後、第１の実施形態で説明した一連の動作を行う（ステップ１００〜１０７）。
【００４６】
なお、移動物体の認識処理では、移動している物体だけでなく、既存の方法を適用し、同一箇所で腕や足などを動かしている物体をも認識し、この動作物体も異物検知の対象から除外する設定を行うようにしても良い。すなわち、「移動物体」の用語は「動作物体」も含むものとする。
【００４７】
ここで、ステップ２０１からステップ１００へ移行した際に利用する異物検知のための撮影画像は、例えば、複数枚のうち最新のものを適用する。移動物体を異物検知の対象から除外する設定動作では、例えば、最新の撮影画像における、認識した移動物体の部分を構成物の抽出動作を行わない領域に設定する動作である。例えば、認識した移動物体の部分を、移動物体を含む最小の矩形で規定することとし、最新の撮影画像におけるその矩形領域を４隅の座標値で特定し、４隅の座標値で特定される領域を異物検知の対象に利用しない設定を行う。従って、ステップ１００で構成物を抽出しようとする領域からその領域が除外されるので、移動物体が構成物として抽出されることはない。
【００４８】
第２の実施形態によれば、第１の実施形態の効果に加え、以下の効果を期待することができる。すなわち、移動物体を異物判定や消失物品判定の対象から除外するようにしたので、誤った検知を低減することが期待できる。
【００４９】
（Ｃ）第３の実施形態
次に、本発明に係る異物検知システム、方法及びプログラムを、金融機関店舗の監視システムに適用した第３の実施形態を、図面を参照しながら詳述する。
【００５０】
第３の実施形態に係る金融機関店舗監視システムは、消失物品判定部１３、物品リスト記憶部２０及び確認リストバッファ２１（図１参照）が、第２の実施形態とのものと異なっている。
【００５１】
第３の実施形態の場合、物品リスト記憶部２０及び確認リストバッファ２１に保存される情報は、第１の実施形態で説明した構成物に係るデータ画像データ、形状や大きさ、色、個数など）に加え、構成物の画像上の座標の情報も含んでいる。
【００５２】
第３の実施形態の消失物品判定部１３は、物品リスト記憶部２０に記述されているが確認リストバッファ２１に記述されていない構成物でも、確認リストバッファ２１に記述されている他の構成物の座標情報や、移動物体の座標情報を参酌すると、物品リスト記憶部２０に記述されているが確認リストバッファ２１に記述されていない構成物が、確認リストバッファ２１に記述されている他の構成物又は移動物体の陰に隠れていると推定できる場合には、消失物品と判定しないものである。
【００５３】
図６は、第３の実施形態に係る金融機関店舗監視システムにおける異物検知動作を示すフローチャートであり、第２の実施形態に係る図５との同一、対応ステップには同一符号を付して示している。
【００５４】
第３の実施形態の場合、ステップ１０５の判定で、物品リスト記憶部２０に記述されているが確認リストバッファ２１に記述されていない構成物がある場合には、さらに、その構成物は、確認リストバッファ２１に記述されている他の構成物又は移動物体の陰に隠れているか否かの判定を行う（ステップ２００）。例えば、確認リストバッファ２１に記述されている他の構成物又は移動物体の座標情報で規定されている領域が、物品リスト記憶部２０に記述されているが確認リストバッファ２１に記述されていない構成物の座標情報で定まる領域の所定割合（例えば８割）とオーバーラップしている場合に、陰に隠れていると判定する。
【００５５】
物品リスト記憶部２０に記述されているが確認リストバッファ２１に記述されていない構成物の一つでも、確認リストバッファ２１に記述されている他の構成物又は移動物体の陰に隠れていない場合には、ＤＶＲ３は局所監視端末４に通知し、警報を発生させる（ステップ１０６）。一方、物品リスト記憶部２０に記述されているが確認リストバッファ２１に記述されていない全ての構成物が陰に隠れている場合には、ＤＶＲ３は、図６に示す一連の動作を終了させる。
【００５６】
第３の実施形態によれば、第２の実施形態の効果に加え、以下の効果を期待することができる。すなわち、構造物の座標情報も一緒に保存し、消失物品の判定で、構成物（一方が移動物体の場合を含む）同士の重なりをも考慮するようにしたので、より精度良く構成物の消失を検知することができる。
【００５７】
例えば、図４（Ｂ２）で説明した鉢植えの座標情報を含めた情報を物品リスト記憶部２０に記憶しておけば、図７に示すようなその鉢植えが人間の陰に隠れた撮影画像が対象となっても、その鉢植えを消失物品と誤って判定することがなくなる。
【００５８】
（Ｄ）他の実施形態
上記各実施形態の説明でも、種々変形実施形態に言及したが、さらに以下に例示するような変形実施形態を挙げることができる。
【００５９】
上記各実施形態では、本発明を、金融機関店舗の監視システムに適用したものを示したが、監視領域が金融機関店舗に限定されないことは勿論である。
【００６０】
上記各実施形態では、抽出された構成物が物品リスト記憶部２０に記述されていなければ直ちに異物として通知するものを示したが、例えば、所定回数連続して同じ判定結果が生じたときに異物として通知するようにしても良い。所定回数が２回であれば、例えば、抽出された構成物が物品リスト記憶部２０に記述されていないと始めて判定した場合には、次の周期の判定動作でも、同じ判定結果が得られたときに始めて異物として通知する。消失物品の通知も、複数周期の連続判定を要件とするようにしても良い。
【００６１】
上記第３の実施形態は、第２の実施形態の要件に、構成物同士の重なり判定を導入したものであったが、第１の実施形態の要件に、構成物同士の重なり判定を導入するようにしても良い。
【図面の簡単な説明】
【００６２】
【図１】第１の実施形態のＤＶＲ及び局所監視端末における異物検知に係る内部構成を示す機能ブロック図である。
【図２】第１の実施形態に係るロビー監視システムの全体構成を示すブロック図である。
【図３】第１の実施形態に係る金融機関店舗監視システムにおける異物検知動作を示すフローチャートである。
【図４】第１の実施形態における構成物の抽出動作の説明図である。
【図５】第２の実施形態に係る金融機関店舗監視システムにおける異物検知動作を示すフローチャートである。
【図６】第３の実施形態に係る金融機関店舗監視システムにおける異物検知動作を示すフローチャートである。
【図７】第３の実施形態に係る金融機関店舗監視システムの効果の説明図である。
【符号の説明】
【００６３】
１…金融機関店舗監視システム、２…監視カメラ、３…ＤＶＲ、４…局所監視端末、５…センタ監視端末、６…ＩＰ網、１０…画像内物品抽出部、１１…異物判定部、１２…抽出物品登録部、１３…消失物品判定部、２０…物品リスト記憶部、２１…確認リストバッファ、２２…異物警報部、２３…物品消失警報部。
【特許請求の範囲】
【請求項１】
監視領域を撮影する撮影手段と、
上記監視領域内に位置している物品毎の情報を記憶している物品情報記憶手段と、
上記撮影手段が得た撮影画像から、その画像に含まれている物品の情報を抽出する物品情報抽出手段と、
上記物品情報抽出手段が抽出した物品の情報と、上記物品情報記憶手段に記憶されている物品の情報とを照合し、上記物品情報記憶手段に記憶されている物品の情報に対応付けられない、上記物品情報抽出手段が抽出した物品の情報があれば、その物品を異物と検知する異物判定手段と
を備えることを特徴とする異物検知システム。
【請求項２】
上記物品情報抽出手段が抽出した物品の情報と、上記物品情報記憶手段に記憶されている物品の情報とを照合し、上記物品情報記憶手段に記憶されているが、上記物品情報抽出手段によって抽出された物品の情報とは対応付けられない物品の情報があれば、その物品を消失した物品と判定する消失物品判定手段を備えることを特徴とする請求項１に記載の異物検知システム。
【請求項３】
上記撮影手段が得た撮影画像から、移動物体を検出し、検出した移動物体を、上記異物判定手段、上記消失物品判定手段の判定対象の物品から除外させる移動物体検出手段を備えることを特徴とする請求項１又は２に記載の異物検知システム。
【請求項４】
上記物品や上記移動物体の情報として、上記撮影画像における位置情報を含み、上記消失物品判定手段は、上記物品情報記憶手段に記憶されているが、上記物品情報抽出手段によって抽出された物品の情報とは対応付けられない物品の情報があっても、他の上記物品や上記移動物体の座標情報から、陰に隠れていると判定できるときには、消失した物品と判定しないことを特徴とする請求項１又は２に記載の異物検知システム。
【請求項５】
撮影手段、物品情報記憶手段、物品情報抽出手段及び異物判定手段を備え、
上記物品情報記憶手段は、監視領域内に位置している物品毎の情報を記憶しており、
上記撮影手段は、監視領域を撮影し、
上記物品情報抽出手段は、上記撮影手段が得た撮影画像から、その画像に含まれている物品の情報を抽出し、
上記異物判定手段は、上記物品情報抽出手段が抽出した物品の情報と、上記物品情報記憶手段に記憶されている物品の情報とを照合し、上記物品情報記憶手段に記憶されている物品の情報に対応付けられない、上記物品情報抽出手段が抽出した物品の情報があれば、その物品を異物と検知する
ことを特徴とする異物検知方法。
【請求項６】
コンピュータを、
監視領域を撮影する撮影手段と、
上記監視領域内に位置している物品毎の情報を記憶している物品情報記憶手段と、
上記撮影手段が得た撮影画像から、その画像に含まれている物品の情報を抽出する物品情報抽出手段と、
上記物品情報抽出手段が抽出した物品の情報と、上記物品情報記憶手段に記憶されている物品の情報とを照合し、上記物品情報記憶手段に記憶されている物品の情報に対応付けられない、上記物品情報抽出手段が抽出した物品の情報があれば、その物品を異物と検知する異物判定手段と
して機能させることを特徴とする異物検知プログラム。
【請求項１】
監視領域を撮影する撮影手段と、
上記監視領域内に位置している物品毎の情報を記憶している物品情報記憶手段と、
上記撮影手段が得た撮影画像から、その画像に含まれている物品の情報を抽出する物品情報抽出手段と、
上記物品情報抽出手段が抽出した物品の情報と、上記物品情報記憶手段に記憶されている物品の情報とを照合し、上記物品情報記憶手段に記憶されている物品の情報に対応付けられない、上記物品情報抽出手段が抽出した物品の情報があれば、その物品を異物と検知する異物判定手段と
を備えることを特徴とする異物検知システム。
【請求項２】
上記物品情報抽出手段が抽出した物品の情報と、上記物品情報記憶手段に記憶されている物品の情報とを照合し、上記物品情報記憶手段に記憶されているが、上記物品情報抽出手段によって抽出された物品の情報とは対応付けられない物品の情報があれば、その物品を消失した物品と判定する消失物品判定手段を備えることを特徴とする請求項１に記載の異物検知システム。
【請求項３】
上記撮影手段が得た撮影画像から、移動物体を検出し、検出した移動物体を、上記異物判定手段、上記消失物品判定手段の判定対象の物品から除外させる移動物体検出手段を備えることを特徴とする請求項１又は２に記載の異物検知システム。
【請求項４】
上記物品や上記移動物体の情報として、上記撮影画像における位置情報を含み、上記消失物品判定手段は、上記物品情報記憶手段に記憶されているが、上記物品情報抽出手段によって抽出された物品の情報とは対応付けられない物品の情報があっても、他の上記物品や上記移動物体の座標情報から、陰に隠れていると判定できるときには、消失した物品と判定しないことを特徴とする請求項１又は２に記載の異物検知システム。
【請求項５】
撮影手段、物品情報記憶手段、物品情報抽出手段及び異物判定手段を備え、
上記物品情報記憶手段は、監視領域内に位置している物品毎の情報を記憶しており、
上記撮影手段は、監視領域を撮影し、
上記物品情報抽出手段は、上記撮影手段が得た撮影画像から、その画像に含まれている物品の情報を抽出し、
上記異物判定手段は、上記物品情報抽出手段が抽出した物品の情報と、上記物品情報記憶手段に記憶されている物品の情報とを照合し、上記物品情報記憶手段に記憶されている物品の情報に対応付けられない、上記物品情報抽出手段が抽出した物品の情報があれば、その物品を異物と検知する
ことを特徴とする異物検知方法。
【請求項６】
コンピュータを、
監視領域を撮影する撮影手段と、
上記監視領域内に位置している物品毎の情報を記憶している物品情報記憶手段と、
上記撮影手段が得た撮影画像から、その画像に含まれている物品の情報を抽出する物品情報抽出手段と、
上記物品情報抽出手段が抽出した物品の情報と、上記物品情報記憶手段に記憶されている物品の情報とを照合し、上記物品情報記憶手段に記憶されている物品の情報に対応付けられない、上記物品情報抽出手段が抽出した物品の情報があれば、その物品を異物と検知する異物判定手段と
して機能させることを特徴とする異物検知プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００９−３６９３（Ｐ２００９−３６９３Ａ）
【公開日】平成２１年１月８日（２００９．１．８）
【国際特許分類】
【出願番号】特願２００７−１６３８９０（Ｐ２００７−１６３８９０）
【出願日】平成１９年６月２１日（２００７．６．２１）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
【公開日】平成２１年１月８日（２００９．１．８）
【国際特許分類】
【出願日】平成１９年６月２１日（２００７．６．２１）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
[ Back to top ]