置き去り又は持ち去り検知システム及び置き去り又は持ち去り検知記録の生成方法
【課題】置き去り又は持ち去り検知システムにおいて、置き去り又は持ち去りの行為者特定のための参考情報を迅速に提供する。
【解決手段】監視エリアを撮影するカメラ２０と、撮影した画像を保存するデータ記憶媒体３４と、置き去り持ち去り判断部５２と、置き去り又は持ち去りの発生時刻を演算する発生時刻演算部５４と、データ記憶媒体３４から前記発生時刻に撮影された監視エリアの撮影画像を取得する画像取得処理部４２と、前記取得された撮影画像から、置き去り又は持ち去りの対象である異物から所定の距離範囲内にいる周辺人物の画像を抽出する周辺人物抽出部４３と、置き去り又は持ち去りの対象である前記異物の画像と前記周辺人物の画像とをそれぞれ含む、置き去りログデータ又は持ち去りログデータを生成するログデータ作成部４５と、を有する。
【解決手段】監視エリアを撮影するカメラ２０と、撮影した画像を保存するデータ記憶媒体３４と、置き去り持ち去り判断部５２と、置き去り又は持ち去りの発生時刻を演算する発生時刻演算部５４と、データ記憶媒体３４から前記発生時刻に撮影された監視エリアの撮影画像を取得する画像取得処理部４２と、前記取得された撮影画像から、置き去り又は持ち去りの対象である異物から所定の距離範囲内にいる周辺人物の画像を抽出する周辺人物抽出部４３と、置き去り又は持ち去りの対象である前記異物の画像と前記周辺人物の画像とをそれぞれ含む、置き去りログデータ又は持ち去りログデータを生成するログデータ作成部４５と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、置き去り又は持ち去り検知システム及び置き去り又は持ち去り検知記録の生成方法に関し、特に、監視エリア内で発生する置き去り又は持ち去りを検知すると共に、その行為者を特定するための参考情報を提供する置き去り又は持ち去り検知システム及び置き去り又は持ち去り検知記録の生成方法に関する。
【背景技術】
【０００２】
従来より、置き去り物等のない監視エリアの画像（背景画像）を撮像装置により予め取得しておき、現在の監視エリアの画像（監視画像）と上記背景画像との輝度の差分画像から、監視エリア内における物体の置き去りや持ち去りを検知する置き去り又は持ち去り検知システムが知られている。
【０００３】
上記従来の置き去り又は持ち去り検知システムの一例として、監視画像において放置物体の一部が他の物体により見えなくなった場合にも、監視画像に写っている当該放置物体の部分画像からその放置物体の存在を検知し、所定時間経過後に、その放置物体を置き去り物として表示画面上に強調表示する映像監視装置が知られている（特許文献１参照）。
【０００４】
また、上記従来の置き去り又は持ち去り検知システムの他の例として、監視エリア内に異物が出現してから、当該異物を置き去り物として検知するまでの所定時間が経過するまでに撮影された各監視画像に基づき、当該置き去り物と重なったすべての人物の画像を当該置き去りの行為者候補として表示すると共に、各行為者候補が当該置き去り物を所持していた可能性を、置き去り物の画像と各行為者候補の画像との一致度（部分一致の程度）により表示する置き去り監視装置も知られている（特許文献２参照）。
【０００５】
しかしながら、特許文献１に記載された映像監視装置にあっては、置き去さられ又は持ち去られた物体の画像やその位置は特定できるが、当該置き去り又は持ち去りの行為者の特定につながる情報を得ることはできない。また、特許文献２に記載された置き去り監視装置にあっては、置き去り行為者についての情報を得ることはできるものの、異物の出現から当該異物を置き去り物として検知するまでの間に撮影された、全ての監視画像を対象として画像処理を行わなければならず、画像処理量が膨大となる。このため、画像処理量を低減し、行為者候補等についての情報をユーザに対しより迅速に提供することが課題となっている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１０４１３０号公報
【特許文献２】特開２０１１−４９６４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、上記従来の問題に鑑みなされたものであって、その目的は、置き去り又は持ち去り検知を行う際の画像処理量を低減し、行為者特定のための参考情報を迅速に提供することである。
【課題を解決するための手段】
【０００８】
本発明は、監視エリアを撮影する撮影手段と、撮影した画像を保存する保存手段と、置き去り又は持ち去り判断部と、置き去り又は持ち去りの発生時刻を演算する発生時刻演算部と、を有し、監視エリアの撮影画像に基づき置き去り又は持ち去りに係る人物を特定するための処理を行う置き去り又は持ち去り検知システムであって、前記保存手段から、前記発生時刻に撮影された監視エリアの撮影画像を取得する画像取得処理部と、前記発生時刻に撮影された監視エリアの撮影画像から、置き去り又は持ち去りの対象である異物から所定の距離範囲内にいる周辺人物の画像を抽出する周辺人物抽出部と、置き去り又は持ち去りの対象である前記異物の画像と前記周辺人物の画像とをそれぞれ含む、置き去りログデータ又は持ち去りログデータを生成するログデータ生成部と、を有する置き去り又は持ち去り検知システムである。
また、本発明は、監視エリアを撮影する撮影手段と、撮影した画像を保存する保存手段と、置き去り又は持ち去り判断部と、置き去り又は持ち去りの発生時刻を演算する発生時刻演算部と、を有し、監視エリアの撮影画像に基づき置き去り又は持ち去りに係る人物を特定するための処理を行う置き去り又は持ち去り検知システムにおける置き去り又は持ち去り検知記録の生成方法であって、前記保存手段から、前記発生時刻に撮影された監視エリアの撮影画像を取得する工程と、前記取得する工程において取得された撮影画像から、置き去り又は持ち去りの対象である異物から所定の距離範囲内にいる周辺人物の画像を抽出する工程と、置き去り又は持ち去りの対象である前記異物の画像と、前記抽出する工程において抽出された前記周辺人物の画像とをそれぞれ含む、置き去りログデータ又は持ち去りログデータを生成する工程と、を有する置き去り又は持ち去り検知記録の生成方法である。
【発明の効果】
【０００９】
本発明によれば、置き去り又は持ち去り検知を行う際の画像処理量を低減でき、かつ、当該置き去り又は持ち去りの行為者を特定するための参考情報を、迅速に提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係る置き去り又は持ち去り検知システムの構成を示すブロック図である。
【図２】本実施形態に係る置き去り又は持ち去り検知システムにおける、置き去りログデータ又は持ち去りログデータを生成する処理手順を示すフロー図である。
【図３】本実施形態に係る置き去り又は持ち去り検知システムにおける、置き去り又は持ち去り発生時刻の監視画像の一例を示す図である。
【図４】本実施形態に係る置き去り又は持ち去り検知システムにおける、置き去りログデータ又は持ち去りログデータの一例を示す図である。
【図５】本実施形態に係る置き去り又は持ち去り検知システムにおける、置き去りログデータ又は持ち去りログデータを表示する処理手順を示すフロー図である。
【図６】本実施形態に係る置き去り又は持ち去り検知システムにおける、置き去りログデータ又は持ち去りログデータの表示画面の一例を示す図である。
【発明を実施するための形態】
【００１１】
本発明の置き去り又は持ち去り検知システム（以下、単に本検知システムという）の実施形態について図面を参照して説明する。
図１は、本発明の一実施形態に係る本検知システムの構成を示すブロック図である。
【００１２】
本検知システムは、制御部１００と、制御部１００の入力側インターフェース（Ｉ／Ｆ）である入力部１６に接続された外部装置である監視エリアを撮影するカメラ２０と、制御部１００への指示等を入力するためのキーボード等の入力装置２２と、制御部１００の出力側インターフェース（Ｉ／Ｆ）である出力部１５に接続された外部装置である静止画や動画を表示する表示装置（モニタ）３０を有している。
【００１３】
また、本検知システムは、入力部１６を介してカメラ２０から取り込んだ監視エリアの映像を、映像フレーム毎に撮影時間を付して保存する、例えばハードディスク（ＨＤＤ：Hard Disk Drive）などの保存手段を備えたデータ記憶媒体３４を有している。ここで、データ記憶媒体３４が記憶する監視エリアの映像は、その映像フレームの１枚１枚が、それぞれ、一定時間間隔で撮影された監視エリアの静止画像であり、本実施形態では、これら各映像フレームの画像を監視画像として、画像処理を行う。以下、本実施形態において監視画像というときは、監視エリアを撮影した映像を構成する各映像フレームを言うものとする。
【００１４】
制御部１００は、ＣＰＵ（Central Processing Unit）１０と、プログラム等が書き込まれたＲＯＭ（Read Only Memory）（不図示）と、ＲＡＭ１４ａ、１４ｂとで構成されるコンピュータと、既に述べた入力部１６と出力部１５と、上記各部を接続するデータバス２６と、を備えている。
【００１５】
ＲＡＭ１４ａは、プログラムの実行に必要な各種設定として、周辺人物抽出部４３（後述）が、監視画像上において置き去り物又は持ち去り物の周辺人物の画像を抽出する際の、抽出対象範囲（周辺エリア）に関する情報や、関係度合い算出部４４（後述）が、各周辺人物と置き去り物又は持ち去り物との係わり合いの程度を示す数値（関係度合い）を算出する際に用いる距離比重、重なり比重、及び人の向き比重等の情報を記憶する。
【００１６】
ＲＡＭ１４ｂは、画像を記憶する記憶手段であり、記憶する画像の種類により、入力用エリア、表示用エリア、及び保持用エリアの、３つの記憶領域を持つ。この入力用エリアは、入力部１６を介してカメラ２０にから取得した監視エリアの画像（監視画像）の一時記憶等を行なう領域である。また、保持用エリアは、背景画像を記憶したり、画像処理の際に、監視画像をデータ記憶媒体３４から読み込んで記憶する領域であり、表示用エリアは、モニタ３０に表示する表示画像の画像データを記憶する領域である。
【００１７】
制御部１００は、本検知システム全体を制御すると共に、ＣＰＵ１０がプログラムを実行することによって実現する機能実現手段として、置き去り持ち去り検知部５０と、画像取得処理部４２と、周辺人物抽出部４３と、関係度合い算出部４４と、ログデータ作成部４５と、ログデータ照合部４６を備えている。なお、コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。
【００１８】
置き去り持ち去り検知部５０は、置き去り持ち去り判断部５２と発生時刻演算部５４とを備える。
置き去り持ち去り判断部５２は、カメラ２０から入力された現在の監視画像と背景画像との輝度の差分画像を生成し、生成した差分画像に基づいて監視エリア内における異物の出現又は消失を検知したときに、タイマー（不図示）により時間の計測を開始し、その検知状態が所定時間継続したか否かにより、物体の置き去り又は持ち去りがあったか否かを判断する。
【００１９】
また、発生時刻演算部５４は、置き去り持ち去り判断部５２が、置き去り又は持ち去りが発生したものと判断したときに、その判断を行った時刻から、上記所定時間を減算して、当該置き去り又は持ち去りの発生時刻（異物の出現又は消失の時刻）を算出する。
【００２０】
画像取得処理部４２は、発生時刻演算部５４が算出した置き去り又は持ち去りの発生時刻における監視画像、又は、当該発生時刻に算出誤差を含むときは当該発生時刻を挟む一定時間内（例えば、上記算出誤差内）に連続して撮影された所定数の監視画像を、データ記憶媒体３４から読み出して、ＲＡＭ１４ｂの保持用エリアに記憶する。ここで、上記所定数は、発生時刻演算部５４が算出する置き去り又は持ち去りの発生時刻の算出誤差に応じて、数枚程度とすることができる。
【００２１】
なお、上記所定数の監視画像は、例えば、データ記憶媒体３４として所定時間分の映像を連続して録画する映像録画サーバを用い、録画された映像の中から指定した時刻以降の映像を指定した時間分だけ抽出する、いわゆる「さかのぼり録画機能」を利用して取得することもできる。
また、本実施形態のように、データ記憶媒体３４に記憶された監視画像をＲＡＭ１４ｂの保持用エリアに読み出すのではなく、置き去り持ち去り判断部５２が異物を検知して上記タイマーの時間計測を開始した時に、カメラ２０が撮影した映像の保存先を、データ記憶媒体３４からＲＡＭ１４ｂに切り換え、ＲＡＭ１４ｂの保持用エリアに直接記憶させることもできる。
【００２２】
周辺人物抽出部４３は、ＲＡＭ１４ｂの保持用エリアに記憶した置き去り又は持ち去りの発生時刻における監視画像、又は、当該発生時刻を挟む一定時間内に撮影された所定数の監視画像から、置き去り物又は持ち去り物の周辺人物の画像を抽出する。
【００２３】
ここで、上記発生時刻における監視画像から上記周辺人物の画像を抽出する場合、当該監視画像に置き去り物又は持ち去り物の画像が写っていないときは、当該監視画像の撮影時刻に最も近い時刻の監視画像であって当該置き去り物又は持ち去り物が写っている監視画像を、データ記憶媒体３４から読み込んで、上記周辺人物の画像を抽出するものとする。
また、上記所定数の監視画像から周辺人物の画像を抽出するときは、当該フレームのうち、置き去り物が写っている最も過去のフレーム、又は、持ち去り物が写っている最も新しいフレームの映像から、当該置き去り物又は持ち去り物の周辺人物の画像を抽出するものとする。
【００２４】
ところで、周辺人物抽出部４３が周辺人物を抽出する範囲（周辺エリア）は、置き去り物又は持ち去り物を中心とした一定の範囲であることが望ましい。
しかしながら、監視画像上では、カメラ２０から遠い物体は小さく、近い物体は大きく写ることから、監視画像上における周辺人物の抽出範囲、例えば画素の範囲（画素エリア）を一定とすると、カメラ２０から遠い位置の画像（例えば監視画像の上端に近い画像）に対しては周辺エリアが大きく、カメラ２０に近い位置の画像（例えば監視画像の下端に近い画像）に対しては周辺エリアが小さくなる。
【００２５】
このため、本実施形態では、カメラ２０から対象物までの距離に応じて、周辺人物を抽出する画素エリアの大きさを定めた周辺エリア情報を作成し、予めＲＡＭ１４ａに記憶させている。
この周辺エリア情報は、例えば、画面下端から置き去り物画像又は持ち去り物画像の中心画素までの画素数に応じ、画面上部へ行くに従って徐々に画素エリアが小さくなるように、当該中心画素を中心とする円形エリアの半径を画素数で表した情報とすることができる。
【００２６】
関係度合い算出部４４は、周辺人物と置き去り物又は持ち去り物との関わり合いの程度を示す関連度情報を生成する情報生成手段であり、周辺人物抽出部４３が抽出した各周辺人物について、上記関連度情報である数値（関係度合い）を、後述する所定の方法により決定する。この関係度合いは、例えば、上記発生時刻における監視画像から、周辺人物と置き去り物又は持ち去り物までの距離Ｌ、周辺人物と置き去り物又は持ち去り物との重なり面積Ｓ、所定の方向を基準とする周辺人物の向きθを算出し、これらの距離Ｌ、面積Ｓ、又は向きθから、後記する所定の方法により決定する。
【００２７】
なお、本実施形態では、関連度情報を数値（関係度合い）として算出するものとしたが、これに限らず、例えば、上記の距離Ｌ、面積Ｓ、又は向きθの値に応じて決定されるランク（Ａランク、Ｂランク等）を関連度情報とすることもできる。
【００２８】
ログデータ作成部４５は、置き去り物の画像、置き去り物の周辺人物の画像、及び周辺人物毎の関係度合いを、置き去り物毎に記録した置き去りログデータ、及び、持ち去り物の画像、持ち去り物の周辺人物の画像、及び周辺人物毎の関係度合いを、持ち去り物毎に記録した持ち去りログデータを生成して、データ記憶媒体３４に記憶する。
【００２９】
ログデータ照合部４６は、データ記憶媒体３４が記憶する置き去りログデータ及び持ち去りログデータに含まれた置き去り物の画像と持ち去り物の画像とを照合し、同一物をそれぞれ置き去り物及び持ち去り物とする置き去りログデータ及び持ち去りログデータを特定する。また、上記特定した置き去りログデータ及び持ち去りログデータにそれぞれ記録されている周辺人物同士を照合し、当該置き去りログデータ及び持ち去りログデータの両方に周辺人物として記録されている同一人物を特定する。
【００３０】
本検知システムは上記の構成を備え、ユーザによる電源投入の後、カメラ２０が撮影した監視エリアの映像を、入力部１６を介してデータ記憶媒体３４に記憶する。
このとき、置き去り持ち去り判断部５２は、監視画像毎に背景画像との輝度の差分画像を生成し、当該差分画像に基づいて異物の出現又は消失を検知する。そして、当該検知から所定時間経過後に、当該異物について置き去り又は持ち去りが発生したものと判断する。
【００３１】
次に、発生時刻演算部５４は、その置き去り又は持ち去りの発生時刻（異物の出現又は消失を検知した時刻をいう）を算出し、画像取得処理部４２は、当該発生時刻における監視画像又は当該発生時刻を挟む一定時間内（例えば、発生時刻の算出誤差内）に連続して撮影された数枚の監視画像を、データ記憶媒体３４から読み出して、ＲＡＭ１４ｂの保持用エリアに記憶する。
【００３２】
続いて、周辺人物抽出部４３は、ＲＡＭ１４ｂの保持用エリアに記憶された上記監視画像から、置き去り物又は持ち去り物（置き去り又は持ち去りの対象である異物をいう）の周辺人物の画像を抽出する。また、関係度合い算出部４４が、周辺人物毎に、置き去り物又は持ち去り物との関わり合いの程度を示す数値（関係度合い）を、後述の方法により決定する。
【００３３】
そして、その置き去り物又は持ち去り物の画像、上記抽出された周辺人物の画像、及び、当該周辺人物毎の関係度合いをそれぞれ含む、置き去りログデータ又は持ち去りログデータを生成し、データ記憶媒体３４に記憶する。
【００３４】
すなわち、本検知システムでは、置き去り又は持ち去りの発生時刻における監視画像又は当該発生時刻前後における数枚の監視画像のみから、置き去りログデータ又は持ち去りログデータを生成することができるため、従来の置き去り監視装置のように膨大な量の画像処理を要しない。その結果、本検知システムは、置き去り物又は持ち去り物の周辺人物の画像と関係度合いとを、置き去り又は持ち去りの行為者特定のための参考情報として、ユーザに対し迅速に提供することができる。
【００３５】
生成された置き去りログデータ及び持ち去りログデータは、入力装置２２等によるユーザからの指示により、データ記憶媒体３４から読み出され、モニタ３０に表示される。その際、ログデータ照合部４６は、置き去りログデータ及び持ち去りログデータに記録されている置き去り物と持ち去り物との照合や、周辺人物同士の照合を行う。そして、同一物についての置き去りログデータと持ち去りログデータとが関連付けられて、モニタ３０に表示される。
【００３６】
次に、本検知システムにおける、置き去りログデータ又は持ち去りログデータを生成する処理手順を、図２のフロー図にしたがって説明する。ここで、監視エリアの背景画像は、予めカメラ２０により撮影されて、ＲＡＭ１４ｂの保持用エリアに記憶されているものとする。
【００３７】
まず、制御部１００のＣＰＵ１０は、カメラ２０が撮影した監視エリアの映像（すなわち、監視画像）を、入力部１６を介して入力する（Ｓ１０１）。ここで、ＣＰＵ１０は、入力した映像を、各映像フレーム毎に撮影時刻を付してデータ記憶媒体３４に記憶する。
【００３８】
また、置き去り持ち去り判断部５２は、入力された各監視画像について、ＲＡＭ１４ｂの保持用エリアに記憶された背景画像との輝度の差分画像を生成し、生成した差分画像に基づいて、異物の出現又は消失を検知する（Ｓ１０２）。このとき、置き去り持ち去り判断部５２は、タイマー（不図示）を起動し、当該異物の検知状態の継続時間を計測する。
【００３９】
次に、置き去り持ち去り判断部５２は、当該検知状態の継続時間が所定時間を経過したか否かにより、置き去り又は持ち去りが発生していたのか否かを判断する（Ｓ１０３）。
そして、置き去り又は持ち去りが発生していたと判断したときは（Ｓ１０３、Ｙｅｓ）、発生時刻演算部５４は、置き去り又は持ち去りが発生していたと判断した時刻から上記所定時間を減算して、当該置き去り又は持ち去りの発生時刻（すなわち、異物の出現又は消失を検知した時刻）を算出する（Ｓ１０４）。
一方、置き去り又は持ち去りが発生していないときは（Ｓ１０３、Ｎｏ）、ステップＳ１０１の画像入力に戻る。
【００４０】
次に、画像取得処理部４２は、データ記憶媒体３４から、上記発生時刻における監視画像、又は、上記発生時刻を挟む一定時間内に連続して撮影された所定数の監視画像を読み出し（Ｓ１０５）、周辺人物抽出部４３は、読み出された監視画像から、置き去り物又は持ち去り物の周辺の人物（周辺人物）の画像を抽出する（Ｓ１０６）。なお、周辺人物の抽出に際し、周辺人物抽出部４３は、上記監視画像において周辺人物を抽出する範囲を、ＲＡＭ１４ａが記憶する周辺エリア情報に基づいて決定する。
【００４１】
続いて、関係度合い算出部４４は、各周辺人物の、置き去り物又は持ち去り物との関係度合いを算出し（Ｓ１０７）、ログデータ作成部４５は、上記読み出した監視画像から置き去り物又は持ち去り物の画像を抽出して、置き去り物の画像と、置き去り物の周辺人物の画像と、各周辺人物の関係度合いとを含む置き去りログデータ、又は、持ち去り物の画像と、持ち去り物の周辺人物の画像と、各周辺人物の関係度合いとを含む持ち去りログデータを生成して、データ記憶媒体３４に記憶した後（Ｓ１０８）、ステップＳ１０１の画像入力に戻る。
【００４２】
ここで、ステップＳ１０７において算出する関係度合いｒは、各周辺人物の、置き去り物又は持ち去り物との距離Ｌ、置き去り物又は持ち去り物との重なり面積Ｓ（例えば、当該人物と置き去り物又は持ち去り物との、重なりの画素数）、及び、当該人物の向きθ（例えば、当該発生時刻を挟む一定時間の監視画像を記憶しているので、記憶されている数枚の監視画像から推定される当該人物の進行方向に対する当該人物から見た置き去り物又は持ち去り物の方向の角度、若しくは、当該人物の顔又は視線の方向に対する当該人物から見た置き去り物又は持ち去り物の方向の角度）から、次のように決定することができる。
【００４３】
すなわち、置き去り物又は持ち去り物の周辺エリアに存在する周辺人物をｎ（１〜Ｎ）とし、各周辺人物ｎの関係度ｈｎを、置き去り物又は持ち去り物までの距離Ｌｎ、置き去り物又は持ち去り物との重なり面積Ｓｎ、人物の向きを表す角度θｎから、次式により算出する。
【００４４】
【数１】
【００４５】
ここで、αＬ、αＳ、αθは、それぞれ、距離Ｌ、重なり面積Ｓ、人の向きθの重み係数である。次に、全ての周辺人物に対して関係度ｈｎを算出した後、各周辺人物ｎの関係度合いｒｎを、次式により算出する。
【００４６】
【数２】
【００４７】
なお、上記の重み付け係数は、「距離比重αＬ」、「重なり比重αＳ」、及び「人の向き比重αθ」として、予めその値を、例えば実験により決定し、ＲＡＭ１４ａに記憶させておくことができる。例えば、閑散としているエリアでは、当該人物が少ないと考えるため、距離比重を小さくすればよいし、逆に、混雑しているエリアでは、当該人物が多くなると考えるため、距離比重を大きくすればよい。
【００４８】
また、周辺人物の行動パターン、例えば手の動きや身体の向きの移動等を解析し、手や身体の移動方向と、当該周辺人物から見た置き去り物又は持ち去り物の方向との為す角度φを、関係度合いｒの算出に反映するものとしてもよい。これにより、関係度合いｒの算出精度を高めることができる。
【００４９】
次に、本検知システムにより作成される置き去りログデータ及び持ち去りログデータの例について説明する。
図３は、本検知システムにおける、置き去り又は持ち去り発生時刻の監視画像の一例を示す図である。
図３中央の右上部分に置き去り物であるカバン６０があり、周辺人物を抽出する範囲である周辺エリア６２が、当該カバンを中心とする点線の円により示されている。この周辺エリア６２内には、３人の人物６４ａ、６４ｂ、６４ｃが写り込んでおり、これらの人物６４ａ、６４ｂ、６４ｃが周辺人物として特定される。そして、当該監視画像から、人物６４ａ、６４ｂ、６４ｃの画像が周辺人物の画像として抽出される。
【００５０】
図４は、本検知システムにおける置き去りログデータ及び持ち去りログデータの一例を示す図である。なお、図４Ａは置き去りログデータの一例を、図４Ｂは持ち去りログデータの一例を示している。
【００５１】
置き去りログデータ（図４Ａ）は、例えば、表形式で構成されており、各置き去り物についての情報が行毎に記録されている。各行の最左列には置き去り物の画像が記録されており、その右側に、周辺人物の画像と関係度合いとが上下に記録されている。
なお、図４Ａの置き去りログデータの最上行（タイトル行除く）は、図３に示した監視画像に基づいて作成された置き去りログデータであり、図３の周辺エリアから抽出された３人の人物６４ａ、６４ｂ、６４ｃの画像が、周辺人物の画像として記録されている。
【００５２】
また、持ち去りログデータ（図４Ｂ）は、図４Ａに示す置き去りログデータと同様の構成を有しており、最左列には、置き去り物の画像に代わって持ち去り物の画像が記録されている。
【００５３】
次に、置き去りログデータ又は持ち去りログデータをモニタ３０に表示する処理手順を、図５に示すフロー図にしたがって説明する。
処理を開始すると、制御部１００のＣＰＵ１０は、データ記憶媒体３４が記憶する置き去りログデータ及び持ち去りログデータに記録されている置き去り物画像及び持ち去り物画像を、モニタ３０に表示する（Ｓ２０１）。
【００５４】
モニタ３０に表示された置き去り物画像及び持ち去り物画像に対し、ユーザは、入力装置２２を用いて、詳細情報を表示させたい置き去り物又は持ち去り物を選択することができる。
【００５５】
ユーザが、置き去り物又は持ち去り物を選択すると、ログデータ照合部４６は、ユーザが選択した置き去り物又は持ち去り物（ユーザ選択物）の画像と、置き去りログデータに記録されている置き去り物画像及び持ち去りログデータに記録されている持ち去り物画像とを照合し、当該ユーザ選択物についての置き去りログデータ及び／又は持ち去りログデータを特定する（Ｓ２０２）。
【００５６】
次に、上記ユーザ選択物をそれぞれ置き去り物及び持ち去り物とする置き去りログデータ及び持ち去りログデータがあるか否か（ユーザ選択物に係る置き去りログデータ及び持ち去りログデータがあるか否か）を判断し（Ｓ２０３）、そのような置き去りログデータ及び持ち去りログデータがあるときは（Ｓ２０３、Ｙｅｓ）、当該置き去りログデータに記録されている周辺人物と当該置き去りログデータに記録されている周辺人物を照合し（Ｓ２０４）、当該置き去りログデータ及び持ち去りログデータの内容と周辺人物の照合結果とを、モニタ３０に表示して（Ｓ２０５）、処理を終了する。
【００５７】
これにより、ユーザは、表示された置き去りログデータ及び持ち去りログデータにそれぞれ含まれた周辺人物の画像から、例えば、手荷物を忘れた人がその手荷物を取りに来た（置き去り行為者と持ち去り行為者が同じ）のか、それとも全く関係のない人物がその手荷物を持っていってしまった（置き去り行為者と持ち去り行為者が異なる）のかを判断して、犯罪検知の参考情報とすることができる。また、この判断には、モニタ３０に表示された各周辺人物の関係度合いを利用することができるので、置き去り行為者と持ち去り行為者との一致・不一致を精度良く判断することができる。
【００５８】
一方、ステップＳ２０３において、上記ユーザ選択物をそれぞれ置き去り物及び持ち去り物とする置き去りログデータ及び持ち去りログデータがないときは（Ｓ２０３、Ｎｏ）、ステップＳ２０２において特定された、ユーザ選択物についての置き去りログデータ又は持ち去りログデータの内容を、モニタ３０に表示して（Ｓ２０６）、処理を終了する。
【００５９】
これにより、ユーザは、例えば、落し物をした人がその落し物を引き取りに来た時に、当該落し物についての置き去りログデータを表示し、表示される周辺人物（置き去り行為者の候補）の画像やその関係度合いを、落し物を返却する際の参考情報とすることができる。
【００６０】
図６は、本検知システムにおける、置き去りログデータ又は持ち去りログデータの表示画面の一例を示す図である。
図６Ａは、モニタ３０に表示される置き去り物画像及び持ち去り物画像の例であり、図６Ｂは、選択された置き去り物又は持ち去り物についての、置き去りログデータ及び持ち去りログデータの表示例である。
【００６１】
上述の表示処理を開始すると、図５のステップＳ２０１により、例えば図４Ａ及び図４Ｂに示した置き去りログデータ及び持ち去りログデータに基づいて、これらのログデータに含まれる置き去り物画像及び持ち去り物画像が、図６Ａのように、モニタ３０に並べて表示される。
【００６２】
この表示画面に対し、例えば、ユーザが入力装置２２により図示点線の円で囲んだ置き去り物又は持ち去り物を選択すると、そのユーザ選択物についての置き去りログデータ又は持ち去りログデータがモニタ３０に表示される（図６Ｂ）。ここで、図６Ａにおいて点線の円で囲ったユーザ選択物については、当該ユーザ選択物を置き去り物とする置き去りログデータが図４Ａの最下行に記録されており、当該ユーザ選択物を持ち去り物とする持ち去りログデータが図４Ｂの最上行（タイトル行除く）に記録されている。
【００６３】
このため、ログデータ照合部４６は、図５のステップＳ２０３においてユーザ選択物の画像と置き去り物及び持ち去り物の画像とを照合し、ユーザ選択物をそれぞれ置き去り物及び持ち去り物とする置き去りログデータ及び持ち去りログデータとして、上記図４Ａ最下行の置き去りログデータと図４Ｂ最上行の持ち去りログデータとを特定する。その結果、これらのログデータが関連付けられ、モニタ３０に並べて表示される（図６Ｂ）。
【００６４】
なお、図５のステップＳ２０４における周辺人物の照合結果は、例えば、図６Ｂに示す表示画面において、置き去りログデータの周辺人物と、当該周辺人物に対応する持ち去りログデータの周辺人物とを線（不図示）で結ぶことにより表示することができる。この場合、図６Ｂの例では、置き去りログデータにおける関係度合い８０％の周辺人物と、持ち去りログデータにおける関係度合い１００％の人物とが、線により結ばれて表示されることとなる。
【００６５】
以上説明したように、本実施形態では、異物の出現又は消失が検知された時刻における監視画像又はその前後に撮影された数枚程度の監視画像のみから、置き去り物又は持ち去り物の周辺人物の画像を抽出して記憶すると共に、各周辺人物の当該置き去り物又は持ち去り物との関わり合いの程度を示す数値（関係度合い）を算出して記憶する。このため、本検知システムは、従来のように膨大な量の画像処理を行うことなく、置き去り行為者又は持ち去り行為者を特定するための参考情報（即ち、周辺人物画像及び関係度合い）を、ユーザに対し迅速に提供することができる。
【符号の説明】
【００６６】
１０・・・ＣＰＵ、１４ａ、１４ｂ・・・ＲＡＭ、１５・・・出力部、１６・・・入力部、２０・・・カメラ、２２・・・入力装置、２６・・・データバス、３０・・・モニタ、３４・・・データ記憶媒体、４２・・・画像取得処理部、４３・・・周辺人物抽出部、４４・・・関係度合い算出部、４５・・・ログデータ作成部、４６・・・ログデータ照合部、５０・・・置き去り持ち去り検知部、５２・・・置き去り持ち去り判断部、５４・・・発生時刻演算部、１００・・・制御部。
【技術分野】
【０００１】
本発明は、置き去り又は持ち去り検知システム及び置き去り又は持ち去り検知記録の生成方法に関し、特に、監視エリア内で発生する置き去り又は持ち去りを検知すると共に、その行為者を特定するための参考情報を提供する置き去り又は持ち去り検知システム及び置き去り又は持ち去り検知記録の生成方法に関する。
【背景技術】
【０００２】
従来より、置き去り物等のない監視エリアの画像（背景画像）を撮像装置により予め取得しておき、現在の監視エリアの画像（監視画像）と上記背景画像との輝度の差分画像から、監視エリア内における物体の置き去りや持ち去りを検知する置き去り又は持ち去り検知システムが知られている。
【０００３】
上記従来の置き去り又は持ち去り検知システムの一例として、監視画像において放置物体の一部が他の物体により見えなくなった場合にも、監視画像に写っている当該放置物体の部分画像からその放置物体の存在を検知し、所定時間経過後に、その放置物体を置き去り物として表示画面上に強調表示する映像監視装置が知られている（特許文献１参照）。
【０００４】
また、上記従来の置き去り又は持ち去り検知システムの他の例として、監視エリア内に異物が出現してから、当該異物を置き去り物として検知するまでの所定時間が経過するまでに撮影された各監視画像に基づき、当該置き去り物と重なったすべての人物の画像を当該置き去りの行為者候補として表示すると共に、各行為者候補が当該置き去り物を所持していた可能性を、置き去り物の画像と各行為者候補の画像との一致度（部分一致の程度）により表示する置き去り監視装置も知られている（特許文献２参照）。
【０００５】
しかしながら、特許文献１に記載された映像監視装置にあっては、置き去さられ又は持ち去られた物体の画像やその位置は特定できるが、当該置き去り又は持ち去りの行為者の特定につながる情報を得ることはできない。また、特許文献２に記載された置き去り監視装置にあっては、置き去り行為者についての情報を得ることはできるものの、異物の出現から当該異物を置き去り物として検知するまでの間に撮影された、全ての監視画像を対象として画像処理を行わなければならず、画像処理量が膨大となる。このため、画像処理量を低減し、行為者候補等についての情報をユーザに対しより迅速に提供することが課題となっている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１０４１３０号公報
【特許文献２】特開２０１１−４９６４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、上記従来の問題に鑑みなされたものであって、その目的は、置き去り又は持ち去り検知を行う際の画像処理量を低減し、行為者特定のための参考情報を迅速に提供することである。
【課題を解決するための手段】
【０００８】
本発明は、監視エリアを撮影する撮影手段と、撮影した画像を保存する保存手段と、置き去り又は持ち去り判断部と、置き去り又は持ち去りの発生時刻を演算する発生時刻演算部と、を有し、監視エリアの撮影画像に基づき置き去り又は持ち去りに係る人物を特定するための処理を行う置き去り又は持ち去り検知システムであって、前記保存手段から、前記発生時刻に撮影された監視エリアの撮影画像を取得する画像取得処理部と、前記発生時刻に撮影された監視エリアの撮影画像から、置き去り又は持ち去りの対象である異物から所定の距離範囲内にいる周辺人物の画像を抽出する周辺人物抽出部と、置き去り又は持ち去りの対象である前記異物の画像と前記周辺人物の画像とをそれぞれ含む、置き去りログデータ又は持ち去りログデータを生成するログデータ生成部と、を有する置き去り又は持ち去り検知システムである。
また、本発明は、監視エリアを撮影する撮影手段と、撮影した画像を保存する保存手段と、置き去り又は持ち去り判断部と、置き去り又は持ち去りの発生時刻を演算する発生時刻演算部と、を有し、監視エリアの撮影画像に基づき置き去り又は持ち去りに係る人物を特定するための処理を行う置き去り又は持ち去り検知システムにおける置き去り又は持ち去り検知記録の生成方法であって、前記保存手段から、前記発生時刻に撮影された監視エリアの撮影画像を取得する工程と、前記取得する工程において取得された撮影画像から、置き去り又は持ち去りの対象である異物から所定の距離範囲内にいる周辺人物の画像を抽出する工程と、置き去り又は持ち去りの対象である前記異物の画像と、前記抽出する工程において抽出された前記周辺人物の画像とをそれぞれ含む、置き去りログデータ又は持ち去りログデータを生成する工程と、を有する置き去り又は持ち去り検知記録の生成方法である。
【発明の効果】
【０００９】
本発明によれば、置き去り又は持ち去り検知を行う際の画像処理量を低減でき、かつ、当該置き去り又は持ち去りの行為者を特定するための参考情報を、迅速に提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係る置き去り又は持ち去り検知システムの構成を示すブロック図である。
【図２】本実施形態に係る置き去り又は持ち去り検知システムにおける、置き去りログデータ又は持ち去りログデータを生成する処理手順を示すフロー図である。
【図３】本実施形態に係る置き去り又は持ち去り検知システムにおける、置き去り又は持ち去り発生時刻の監視画像の一例を示す図である。
【図４】本実施形態に係る置き去り又は持ち去り検知システムにおける、置き去りログデータ又は持ち去りログデータの一例を示す図である。
【図５】本実施形態に係る置き去り又は持ち去り検知システムにおける、置き去りログデータ又は持ち去りログデータを表示する処理手順を示すフロー図である。
【図６】本実施形態に係る置き去り又は持ち去り検知システムにおける、置き去りログデータ又は持ち去りログデータの表示画面の一例を示す図である。
【発明を実施するための形態】
【００１１】
本発明の置き去り又は持ち去り検知システム（以下、単に本検知システムという）の実施形態について図面を参照して説明する。
図１は、本発明の一実施形態に係る本検知システムの構成を示すブロック図である。
【００１２】
本検知システムは、制御部１００と、制御部１００の入力側インターフェース（Ｉ／Ｆ）である入力部１６に接続された外部装置である監視エリアを撮影するカメラ２０と、制御部１００への指示等を入力するためのキーボード等の入力装置２２と、制御部１００の出力側インターフェース（Ｉ／Ｆ）である出力部１５に接続された外部装置である静止画や動画を表示する表示装置（モニタ）３０を有している。
【００１３】
また、本検知システムは、入力部１６を介してカメラ２０から取り込んだ監視エリアの映像を、映像フレーム毎に撮影時間を付して保存する、例えばハードディスク（ＨＤＤ：Hard Disk Drive）などの保存手段を備えたデータ記憶媒体３４を有している。ここで、データ記憶媒体３４が記憶する監視エリアの映像は、その映像フレームの１枚１枚が、それぞれ、一定時間間隔で撮影された監視エリアの静止画像であり、本実施形態では、これら各映像フレームの画像を監視画像として、画像処理を行う。以下、本実施形態において監視画像というときは、監視エリアを撮影した映像を構成する各映像フレームを言うものとする。
【００１４】
制御部１００は、ＣＰＵ（Central Processing Unit）１０と、プログラム等が書き込まれたＲＯＭ（Read Only Memory）（不図示）と、ＲＡＭ１４ａ、１４ｂとで構成されるコンピュータと、既に述べた入力部１６と出力部１５と、上記各部を接続するデータバス２６と、を備えている。
【００１５】
ＲＡＭ１４ａは、プログラムの実行に必要な各種設定として、周辺人物抽出部４３（後述）が、監視画像上において置き去り物又は持ち去り物の周辺人物の画像を抽出する際の、抽出対象範囲（周辺エリア）に関する情報や、関係度合い算出部４４（後述）が、各周辺人物と置き去り物又は持ち去り物との係わり合いの程度を示す数値（関係度合い）を算出する際に用いる距離比重、重なり比重、及び人の向き比重等の情報を記憶する。
【００１６】
ＲＡＭ１４ｂは、画像を記憶する記憶手段であり、記憶する画像の種類により、入力用エリア、表示用エリア、及び保持用エリアの、３つの記憶領域を持つ。この入力用エリアは、入力部１６を介してカメラ２０にから取得した監視エリアの画像（監視画像）の一時記憶等を行なう領域である。また、保持用エリアは、背景画像を記憶したり、画像処理の際に、監視画像をデータ記憶媒体３４から読み込んで記憶する領域であり、表示用エリアは、モニタ３０に表示する表示画像の画像データを記憶する領域である。
【００１７】
制御部１００は、本検知システム全体を制御すると共に、ＣＰＵ１０がプログラムを実行することによって実現する機能実現手段として、置き去り持ち去り検知部５０と、画像取得処理部４２と、周辺人物抽出部４３と、関係度合い算出部４４と、ログデータ作成部４５と、ログデータ照合部４６を備えている。なお、コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。
【００１８】
置き去り持ち去り検知部５０は、置き去り持ち去り判断部５２と発生時刻演算部５４とを備える。
置き去り持ち去り判断部５２は、カメラ２０から入力された現在の監視画像と背景画像との輝度の差分画像を生成し、生成した差分画像に基づいて監視エリア内における異物の出現又は消失を検知したときに、タイマー（不図示）により時間の計測を開始し、その検知状態が所定時間継続したか否かにより、物体の置き去り又は持ち去りがあったか否かを判断する。
【００１９】
また、発生時刻演算部５４は、置き去り持ち去り判断部５２が、置き去り又は持ち去りが発生したものと判断したときに、その判断を行った時刻から、上記所定時間を減算して、当該置き去り又は持ち去りの発生時刻（異物の出現又は消失の時刻）を算出する。
【００２０】
画像取得処理部４２は、発生時刻演算部５４が算出した置き去り又は持ち去りの発生時刻における監視画像、又は、当該発生時刻に算出誤差を含むときは当該発生時刻を挟む一定時間内（例えば、上記算出誤差内）に連続して撮影された所定数の監視画像を、データ記憶媒体３４から読み出して、ＲＡＭ１４ｂの保持用エリアに記憶する。ここで、上記所定数は、発生時刻演算部５４が算出する置き去り又は持ち去りの発生時刻の算出誤差に応じて、数枚程度とすることができる。
【００２１】
なお、上記所定数の監視画像は、例えば、データ記憶媒体３４として所定時間分の映像を連続して録画する映像録画サーバを用い、録画された映像の中から指定した時刻以降の映像を指定した時間分だけ抽出する、いわゆる「さかのぼり録画機能」を利用して取得することもできる。
また、本実施形態のように、データ記憶媒体３４に記憶された監視画像をＲＡＭ１４ｂの保持用エリアに読み出すのではなく、置き去り持ち去り判断部５２が異物を検知して上記タイマーの時間計測を開始した時に、カメラ２０が撮影した映像の保存先を、データ記憶媒体３４からＲＡＭ１４ｂに切り換え、ＲＡＭ１４ｂの保持用エリアに直接記憶させることもできる。
【００２２】
周辺人物抽出部４３は、ＲＡＭ１４ｂの保持用エリアに記憶した置き去り又は持ち去りの発生時刻における監視画像、又は、当該発生時刻を挟む一定時間内に撮影された所定数の監視画像から、置き去り物又は持ち去り物の周辺人物の画像を抽出する。
【００２３】
ここで、上記発生時刻における監視画像から上記周辺人物の画像を抽出する場合、当該監視画像に置き去り物又は持ち去り物の画像が写っていないときは、当該監視画像の撮影時刻に最も近い時刻の監視画像であって当該置き去り物又は持ち去り物が写っている監視画像を、データ記憶媒体３４から読み込んで、上記周辺人物の画像を抽出するものとする。
また、上記所定数の監視画像から周辺人物の画像を抽出するときは、当該フレームのうち、置き去り物が写っている最も過去のフレーム、又は、持ち去り物が写っている最も新しいフレームの映像から、当該置き去り物又は持ち去り物の周辺人物の画像を抽出するものとする。
【００２４】
ところで、周辺人物抽出部４３が周辺人物を抽出する範囲（周辺エリア）は、置き去り物又は持ち去り物を中心とした一定の範囲であることが望ましい。
しかしながら、監視画像上では、カメラ２０から遠い物体は小さく、近い物体は大きく写ることから、監視画像上における周辺人物の抽出範囲、例えば画素の範囲（画素エリア）を一定とすると、カメラ２０から遠い位置の画像（例えば監視画像の上端に近い画像）に対しては周辺エリアが大きく、カメラ２０に近い位置の画像（例えば監視画像の下端に近い画像）に対しては周辺エリアが小さくなる。
【００２５】
このため、本実施形態では、カメラ２０から対象物までの距離に応じて、周辺人物を抽出する画素エリアの大きさを定めた周辺エリア情報を作成し、予めＲＡＭ１４ａに記憶させている。
この周辺エリア情報は、例えば、画面下端から置き去り物画像又は持ち去り物画像の中心画素までの画素数に応じ、画面上部へ行くに従って徐々に画素エリアが小さくなるように、当該中心画素を中心とする円形エリアの半径を画素数で表した情報とすることができる。
【００２６】
関係度合い算出部４４は、周辺人物と置き去り物又は持ち去り物との関わり合いの程度を示す関連度情報を生成する情報生成手段であり、周辺人物抽出部４３が抽出した各周辺人物について、上記関連度情報である数値（関係度合い）を、後述する所定の方法により決定する。この関係度合いは、例えば、上記発生時刻における監視画像から、周辺人物と置き去り物又は持ち去り物までの距離Ｌ、周辺人物と置き去り物又は持ち去り物との重なり面積Ｓ、所定の方向を基準とする周辺人物の向きθを算出し、これらの距離Ｌ、面積Ｓ、又は向きθから、後記する所定の方法により決定する。
【００２７】
なお、本実施形態では、関連度情報を数値（関係度合い）として算出するものとしたが、これに限らず、例えば、上記の距離Ｌ、面積Ｓ、又は向きθの値に応じて決定されるランク（Ａランク、Ｂランク等）を関連度情報とすることもできる。
【００２８】
ログデータ作成部４５は、置き去り物の画像、置き去り物の周辺人物の画像、及び周辺人物毎の関係度合いを、置き去り物毎に記録した置き去りログデータ、及び、持ち去り物の画像、持ち去り物の周辺人物の画像、及び周辺人物毎の関係度合いを、持ち去り物毎に記録した持ち去りログデータを生成して、データ記憶媒体３４に記憶する。
【００２９】
ログデータ照合部４６は、データ記憶媒体３４が記憶する置き去りログデータ及び持ち去りログデータに含まれた置き去り物の画像と持ち去り物の画像とを照合し、同一物をそれぞれ置き去り物及び持ち去り物とする置き去りログデータ及び持ち去りログデータを特定する。また、上記特定した置き去りログデータ及び持ち去りログデータにそれぞれ記録されている周辺人物同士を照合し、当該置き去りログデータ及び持ち去りログデータの両方に周辺人物として記録されている同一人物を特定する。
【００３０】
本検知システムは上記の構成を備え、ユーザによる電源投入の後、カメラ２０が撮影した監視エリアの映像を、入力部１６を介してデータ記憶媒体３４に記憶する。
このとき、置き去り持ち去り判断部５２は、監視画像毎に背景画像との輝度の差分画像を生成し、当該差分画像に基づいて異物の出現又は消失を検知する。そして、当該検知から所定時間経過後に、当該異物について置き去り又は持ち去りが発生したものと判断する。
【００３１】
次に、発生時刻演算部５４は、その置き去り又は持ち去りの発生時刻（異物の出現又は消失を検知した時刻をいう）を算出し、画像取得処理部４２は、当該発生時刻における監視画像又は当該発生時刻を挟む一定時間内（例えば、発生時刻の算出誤差内）に連続して撮影された数枚の監視画像を、データ記憶媒体３４から読み出して、ＲＡＭ１４ｂの保持用エリアに記憶する。
【００３２】
続いて、周辺人物抽出部４３は、ＲＡＭ１４ｂの保持用エリアに記憶された上記監視画像から、置き去り物又は持ち去り物（置き去り又は持ち去りの対象である異物をいう）の周辺人物の画像を抽出する。また、関係度合い算出部４４が、周辺人物毎に、置き去り物又は持ち去り物との関わり合いの程度を示す数値（関係度合い）を、後述の方法により決定する。
【００３３】
そして、その置き去り物又は持ち去り物の画像、上記抽出された周辺人物の画像、及び、当該周辺人物毎の関係度合いをそれぞれ含む、置き去りログデータ又は持ち去りログデータを生成し、データ記憶媒体３４に記憶する。
【００３４】
すなわち、本検知システムでは、置き去り又は持ち去りの発生時刻における監視画像又は当該発生時刻前後における数枚の監視画像のみから、置き去りログデータ又は持ち去りログデータを生成することができるため、従来の置き去り監視装置のように膨大な量の画像処理を要しない。その結果、本検知システムは、置き去り物又は持ち去り物の周辺人物の画像と関係度合いとを、置き去り又は持ち去りの行為者特定のための参考情報として、ユーザに対し迅速に提供することができる。
【００３５】
生成された置き去りログデータ及び持ち去りログデータは、入力装置２２等によるユーザからの指示により、データ記憶媒体３４から読み出され、モニタ３０に表示される。その際、ログデータ照合部４６は、置き去りログデータ及び持ち去りログデータに記録されている置き去り物と持ち去り物との照合や、周辺人物同士の照合を行う。そして、同一物についての置き去りログデータと持ち去りログデータとが関連付けられて、モニタ３０に表示される。
【００３６】
次に、本検知システムにおける、置き去りログデータ又は持ち去りログデータを生成する処理手順を、図２のフロー図にしたがって説明する。ここで、監視エリアの背景画像は、予めカメラ２０により撮影されて、ＲＡＭ１４ｂの保持用エリアに記憶されているものとする。
【００３７】
まず、制御部１００のＣＰＵ１０は、カメラ２０が撮影した監視エリアの映像（すなわち、監視画像）を、入力部１６を介して入力する（Ｓ１０１）。ここで、ＣＰＵ１０は、入力した映像を、各映像フレーム毎に撮影時刻を付してデータ記憶媒体３４に記憶する。
【００３８】
また、置き去り持ち去り判断部５２は、入力された各監視画像について、ＲＡＭ１４ｂの保持用エリアに記憶された背景画像との輝度の差分画像を生成し、生成した差分画像に基づいて、異物の出現又は消失を検知する（Ｓ１０２）。このとき、置き去り持ち去り判断部５２は、タイマー（不図示）を起動し、当該異物の検知状態の継続時間を計測する。
【００３９】
次に、置き去り持ち去り判断部５２は、当該検知状態の継続時間が所定時間を経過したか否かにより、置き去り又は持ち去りが発生していたのか否かを判断する（Ｓ１０３）。
そして、置き去り又は持ち去りが発生していたと判断したときは（Ｓ１０３、Ｙｅｓ）、発生時刻演算部５４は、置き去り又は持ち去りが発生していたと判断した時刻から上記所定時間を減算して、当該置き去り又は持ち去りの発生時刻（すなわち、異物の出現又は消失を検知した時刻）を算出する（Ｓ１０４）。
一方、置き去り又は持ち去りが発生していないときは（Ｓ１０３、Ｎｏ）、ステップＳ１０１の画像入力に戻る。
【００４０】
次に、画像取得処理部４２は、データ記憶媒体３４から、上記発生時刻における監視画像、又は、上記発生時刻を挟む一定時間内に連続して撮影された所定数の監視画像を読み出し（Ｓ１０５）、周辺人物抽出部４３は、読み出された監視画像から、置き去り物又は持ち去り物の周辺の人物（周辺人物）の画像を抽出する（Ｓ１０６）。なお、周辺人物の抽出に際し、周辺人物抽出部４３は、上記監視画像において周辺人物を抽出する範囲を、ＲＡＭ１４ａが記憶する周辺エリア情報に基づいて決定する。
【００４１】
続いて、関係度合い算出部４４は、各周辺人物の、置き去り物又は持ち去り物との関係度合いを算出し（Ｓ１０７）、ログデータ作成部４５は、上記読み出した監視画像から置き去り物又は持ち去り物の画像を抽出して、置き去り物の画像と、置き去り物の周辺人物の画像と、各周辺人物の関係度合いとを含む置き去りログデータ、又は、持ち去り物の画像と、持ち去り物の周辺人物の画像と、各周辺人物の関係度合いとを含む持ち去りログデータを生成して、データ記憶媒体３４に記憶した後（Ｓ１０８）、ステップＳ１０１の画像入力に戻る。
【００４２】
ここで、ステップＳ１０７において算出する関係度合いｒは、各周辺人物の、置き去り物又は持ち去り物との距離Ｌ、置き去り物又は持ち去り物との重なり面積Ｓ（例えば、当該人物と置き去り物又は持ち去り物との、重なりの画素数）、及び、当該人物の向きθ（例えば、当該発生時刻を挟む一定時間の監視画像を記憶しているので、記憶されている数枚の監視画像から推定される当該人物の進行方向に対する当該人物から見た置き去り物又は持ち去り物の方向の角度、若しくは、当該人物の顔又は視線の方向に対する当該人物から見た置き去り物又は持ち去り物の方向の角度）から、次のように決定することができる。
【００４３】
すなわち、置き去り物又は持ち去り物の周辺エリアに存在する周辺人物をｎ（１〜Ｎ）とし、各周辺人物ｎの関係度ｈｎを、置き去り物又は持ち去り物までの距離Ｌｎ、置き去り物又は持ち去り物との重なり面積Ｓｎ、人物の向きを表す角度θｎから、次式により算出する。
【００４４】
【数１】
【００４５】
ここで、αＬ、αＳ、αθは、それぞれ、距離Ｌ、重なり面積Ｓ、人の向きθの重み係数である。次に、全ての周辺人物に対して関係度ｈｎを算出した後、各周辺人物ｎの関係度合いｒｎを、次式により算出する。
【００４６】
【数２】
【００４７】
なお、上記の重み付け係数は、「距離比重αＬ」、「重なり比重αＳ」、及び「人の向き比重αθ」として、予めその値を、例えば実験により決定し、ＲＡＭ１４ａに記憶させておくことができる。例えば、閑散としているエリアでは、当該人物が少ないと考えるため、距離比重を小さくすればよいし、逆に、混雑しているエリアでは、当該人物が多くなると考えるため、距離比重を大きくすればよい。
【００４８】
また、周辺人物の行動パターン、例えば手の動きや身体の向きの移動等を解析し、手や身体の移動方向と、当該周辺人物から見た置き去り物又は持ち去り物の方向との為す角度φを、関係度合いｒの算出に反映するものとしてもよい。これにより、関係度合いｒの算出精度を高めることができる。
【００４９】
次に、本検知システムにより作成される置き去りログデータ及び持ち去りログデータの例について説明する。
図３は、本検知システムにおける、置き去り又は持ち去り発生時刻の監視画像の一例を示す図である。
図３中央の右上部分に置き去り物であるカバン６０があり、周辺人物を抽出する範囲である周辺エリア６２が、当該カバンを中心とする点線の円により示されている。この周辺エリア６２内には、３人の人物６４ａ、６４ｂ、６４ｃが写り込んでおり、これらの人物６４ａ、６４ｂ、６４ｃが周辺人物として特定される。そして、当該監視画像から、人物６４ａ、６４ｂ、６４ｃの画像が周辺人物の画像として抽出される。
【００５０】
図４は、本検知システムにおける置き去りログデータ及び持ち去りログデータの一例を示す図である。なお、図４Ａは置き去りログデータの一例を、図４Ｂは持ち去りログデータの一例を示している。
【００５１】
置き去りログデータ（図４Ａ）は、例えば、表形式で構成されており、各置き去り物についての情報が行毎に記録されている。各行の最左列には置き去り物の画像が記録されており、その右側に、周辺人物の画像と関係度合いとが上下に記録されている。
なお、図４Ａの置き去りログデータの最上行（タイトル行除く）は、図３に示した監視画像に基づいて作成された置き去りログデータであり、図３の周辺エリアから抽出された３人の人物６４ａ、６４ｂ、６４ｃの画像が、周辺人物の画像として記録されている。
【００５２】
また、持ち去りログデータ（図４Ｂ）は、図４Ａに示す置き去りログデータと同様の構成を有しており、最左列には、置き去り物の画像に代わって持ち去り物の画像が記録されている。
【００５３】
次に、置き去りログデータ又は持ち去りログデータをモニタ３０に表示する処理手順を、図５に示すフロー図にしたがって説明する。
処理を開始すると、制御部１００のＣＰＵ１０は、データ記憶媒体３４が記憶する置き去りログデータ及び持ち去りログデータに記録されている置き去り物画像及び持ち去り物画像を、モニタ３０に表示する（Ｓ２０１）。
【００５４】
モニタ３０に表示された置き去り物画像及び持ち去り物画像に対し、ユーザは、入力装置２２を用いて、詳細情報を表示させたい置き去り物又は持ち去り物を選択することができる。
【００５５】
ユーザが、置き去り物又は持ち去り物を選択すると、ログデータ照合部４６は、ユーザが選択した置き去り物又は持ち去り物（ユーザ選択物）の画像と、置き去りログデータに記録されている置き去り物画像及び持ち去りログデータに記録されている持ち去り物画像とを照合し、当該ユーザ選択物についての置き去りログデータ及び／又は持ち去りログデータを特定する（Ｓ２０２）。
【００５６】
次に、上記ユーザ選択物をそれぞれ置き去り物及び持ち去り物とする置き去りログデータ及び持ち去りログデータがあるか否か（ユーザ選択物に係る置き去りログデータ及び持ち去りログデータがあるか否か）を判断し（Ｓ２０３）、そのような置き去りログデータ及び持ち去りログデータがあるときは（Ｓ２０３、Ｙｅｓ）、当該置き去りログデータに記録されている周辺人物と当該置き去りログデータに記録されている周辺人物を照合し（Ｓ２０４）、当該置き去りログデータ及び持ち去りログデータの内容と周辺人物の照合結果とを、モニタ３０に表示して（Ｓ２０５）、処理を終了する。
【００５７】
これにより、ユーザは、表示された置き去りログデータ及び持ち去りログデータにそれぞれ含まれた周辺人物の画像から、例えば、手荷物を忘れた人がその手荷物を取りに来た（置き去り行為者と持ち去り行為者が同じ）のか、それとも全く関係のない人物がその手荷物を持っていってしまった（置き去り行為者と持ち去り行為者が異なる）のかを判断して、犯罪検知の参考情報とすることができる。また、この判断には、モニタ３０に表示された各周辺人物の関係度合いを利用することができるので、置き去り行為者と持ち去り行為者との一致・不一致を精度良く判断することができる。
【００５８】
一方、ステップＳ２０３において、上記ユーザ選択物をそれぞれ置き去り物及び持ち去り物とする置き去りログデータ及び持ち去りログデータがないときは（Ｓ２０３、Ｎｏ）、ステップＳ２０２において特定された、ユーザ選択物についての置き去りログデータ又は持ち去りログデータの内容を、モニタ３０に表示して（Ｓ２０６）、処理を終了する。
【００５９】
これにより、ユーザは、例えば、落し物をした人がその落し物を引き取りに来た時に、当該落し物についての置き去りログデータを表示し、表示される周辺人物（置き去り行為者の候補）の画像やその関係度合いを、落し物を返却する際の参考情報とすることができる。
【００６０】
図６は、本検知システムにおける、置き去りログデータ又は持ち去りログデータの表示画面の一例を示す図である。
図６Ａは、モニタ３０に表示される置き去り物画像及び持ち去り物画像の例であり、図６Ｂは、選択された置き去り物又は持ち去り物についての、置き去りログデータ及び持ち去りログデータの表示例である。
【００６１】
上述の表示処理を開始すると、図５のステップＳ２０１により、例えば図４Ａ及び図４Ｂに示した置き去りログデータ及び持ち去りログデータに基づいて、これらのログデータに含まれる置き去り物画像及び持ち去り物画像が、図６Ａのように、モニタ３０に並べて表示される。
【００６２】
この表示画面に対し、例えば、ユーザが入力装置２２により図示点線の円で囲んだ置き去り物又は持ち去り物を選択すると、そのユーザ選択物についての置き去りログデータ又は持ち去りログデータがモニタ３０に表示される（図６Ｂ）。ここで、図６Ａにおいて点線の円で囲ったユーザ選択物については、当該ユーザ選択物を置き去り物とする置き去りログデータが図４Ａの最下行に記録されており、当該ユーザ選択物を持ち去り物とする持ち去りログデータが図４Ｂの最上行（タイトル行除く）に記録されている。
【００６３】
このため、ログデータ照合部４６は、図５のステップＳ２０３においてユーザ選択物の画像と置き去り物及び持ち去り物の画像とを照合し、ユーザ選択物をそれぞれ置き去り物及び持ち去り物とする置き去りログデータ及び持ち去りログデータとして、上記図４Ａ最下行の置き去りログデータと図４Ｂ最上行の持ち去りログデータとを特定する。その結果、これらのログデータが関連付けられ、モニタ３０に並べて表示される（図６Ｂ）。
【００６４】
なお、図５のステップＳ２０４における周辺人物の照合結果は、例えば、図６Ｂに示す表示画面において、置き去りログデータの周辺人物と、当該周辺人物に対応する持ち去りログデータの周辺人物とを線（不図示）で結ぶことにより表示することができる。この場合、図６Ｂの例では、置き去りログデータにおける関係度合い８０％の周辺人物と、持ち去りログデータにおける関係度合い１００％の人物とが、線により結ばれて表示されることとなる。
【００６５】
以上説明したように、本実施形態では、異物の出現又は消失が検知された時刻における監視画像又はその前後に撮影された数枚程度の監視画像のみから、置き去り物又は持ち去り物の周辺人物の画像を抽出して記憶すると共に、各周辺人物の当該置き去り物又は持ち去り物との関わり合いの程度を示す数値（関係度合い）を算出して記憶する。このため、本検知システムは、従来のように膨大な量の画像処理を行うことなく、置き去り行為者又は持ち去り行為者を特定するための参考情報（即ち、周辺人物画像及び関係度合い）を、ユーザに対し迅速に提供することができる。
【符号の説明】
【００６６】
１０・・・ＣＰＵ、１４ａ、１４ｂ・・・ＲＡＭ、１５・・・出力部、１６・・・入力部、２０・・・カメラ、２２・・・入力装置、２６・・・データバス、３０・・・モニタ、３４・・・データ記憶媒体、４２・・・画像取得処理部、４３・・・周辺人物抽出部、４４・・・関係度合い算出部、４５・・・ログデータ作成部、４６・・・ログデータ照合部、５０・・・置き去り持ち去り検知部、５２・・・置き去り持ち去り判断部、５４・・・発生時刻演算部、１００・・・制御部。
【特許請求の範囲】
【請求項１】
監視エリアを撮影する撮影手段と、撮影した画像を保存する保存手段と、置き去り又は持ち去り判断部と、置き去り又は持ち去りの発生時刻を演算する発生時刻演算部と、を有し、監視エリアの撮影画像に基づき置き去り又は持ち去りに係る人物を特定するための処理を行う置き去り又は持ち去り検知システムであって、
前記保存手段から、前記発生時刻に撮影された監視エリアの撮影画像を取得する画像取得処理部と、
前記発生時刻に撮影された監視エリアの撮影画像から、置き去り又は持ち去りの対象である異物から所定の距離範囲内にいる周辺人物の画像を抽出する周辺人物抽出部と、
置き去り又は持ち去りの対象である前記異物の画像と前記周辺人物の画像とをそれぞれ含む、置き去りログデータ又は持ち去りログデータを生成するログデータ生成部と、
を有する置き去り又は持ち去り検知システム。
【請求項２】
請求項１に記載された置き去り又は持ち去り検知システムにおいて、
前記発生時刻に撮影された監視エリアの撮影画像における、前記周辺人物から前記異物までの距離、前記周辺人物と前記異物との重なり面積、又は、前記周辺人物の向きを表す角度を算出し、前記距離、面積、又は角度から、前記周辺人物と前記異物との関わり合いの程度を示す関連度情報を生成する情報生成手段を有し、
前記置き去りログデータ又は持ち去りログデータは、更に、前記周辺人物の前記関連度情報を含む置き去り又は持ち去り検知システム。
【請求項３】
請求項１又は２に記載された置き去り又は持ち去り検知システムにおいて、
前記置き去りログデータに含まれている前記異物の画像と、前記持ち去りログデータに含まれている前記異物の画像とを照合するログデータ照合部を有し、
前記照合の結果に基づき、同一物の画像をそれぞれ置き去り及び持ち去りに係る異物の画像として含む前記置き去りログデータと持ち去りログデータとを、関連付けて表示手段に表示する置き去り又は持ち去り検知システム。
【請求項４】
請求項３に記載された置き去り又は持ち去り検知システムにおいて、
前記ログデータ照合部は、同一物の画像をそれぞれ置き去り及び持ち去りに係る異物の画像として含む前記置き去りログデータ及び持ち去りログデータについて、当該置き去りログデータに含まれている周辺人物の画像と当該持ち去りログデータに含まれている周辺人物の画像とを照合し、
当該照合の結果に基づき、同一人物である周辺人物を関連付けて表示手段に表示する置き去り又は持ち去り検知システム。
【請求項５】
監視エリアを撮影する撮影手段と、撮影した画像を保存する保存手段と、置き去り又は持ち去り判断部と、置き去り又は持ち去りの発生時刻を演算する発生時刻演算部と、を有し、監視エリアの撮影画像に基づき置き去り又は持ち去りに係る人物を特定するための処理を行う置き去り又は持ち去り検知システムにおける置き去り又は持ち去り検知記録の生成方法であって、
前記保存手段から、前記発生時刻に撮影された監視エリアの撮影画像を取得する工程と、
前記取得する工程において取得された撮影画像から、置き去り又は持ち去りの対象である異物から所定の距離範囲内にいる周辺人物の画像を抽出する工程と、
置き去り又は持ち去りの対象である前記異物の画像と、前記抽出する工程において抽出された前記周辺人物の画像とをそれぞれ含む、置き去りログデータ又は持ち去りログデータを生成する工程と、
を有する置き去り又は持ち去り検知記録の生成方法。
【請求項１】
監視エリアを撮影する撮影手段と、撮影した画像を保存する保存手段と、置き去り又は持ち去り判断部と、置き去り又は持ち去りの発生時刻を演算する発生時刻演算部と、を有し、監視エリアの撮影画像に基づき置き去り又は持ち去りに係る人物を特定するための処理を行う置き去り又は持ち去り検知システムであって、
前記保存手段から、前記発生時刻に撮影された監視エリアの撮影画像を取得する画像取得処理部と、
前記発生時刻に撮影された監視エリアの撮影画像から、置き去り又は持ち去りの対象である異物から所定の距離範囲内にいる周辺人物の画像を抽出する周辺人物抽出部と、
置き去り又は持ち去りの対象である前記異物の画像と前記周辺人物の画像とをそれぞれ含む、置き去りログデータ又は持ち去りログデータを生成するログデータ生成部と、
を有する置き去り又は持ち去り検知システム。
【請求項２】
請求項１に記載された置き去り又は持ち去り検知システムにおいて、
前記発生時刻に撮影された監視エリアの撮影画像における、前記周辺人物から前記異物までの距離、前記周辺人物と前記異物との重なり面積、又は、前記周辺人物の向きを表す角度を算出し、前記距離、面積、又は角度から、前記周辺人物と前記異物との関わり合いの程度を示す関連度情報を生成する情報生成手段を有し、
前記置き去りログデータ又は持ち去りログデータは、更に、前記周辺人物の前記関連度情報を含む置き去り又は持ち去り検知システム。
【請求項３】
請求項１又は２に記載された置き去り又は持ち去り検知システムにおいて、
前記置き去りログデータに含まれている前記異物の画像と、前記持ち去りログデータに含まれている前記異物の画像とを照合するログデータ照合部を有し、
前記照合の結果に基づき、同一物の画像をそれぞれ置き去り及び持ち去りに係る異物の画像として含む前記置き去りログデータと持ち去りログデータとを、関連付けて表示手段に表示する置き去り又は持ち去り検知システム。
【請求項４】
請求項３に記載された置き去り又は持ち去り検知システムにおいて、
前記ログデータ照合部は、同一物の画像をそれぞれ置き去り及び持ち去りに係る異物の画像として含む前記置き去りログデータ及び持ち去りログデータについて、当該置き去りログデータに含まれている周辺人物の画像と当該持ち去りログデータに含まれている周辺人物の画像とを照合し、
当該照合の結果に基づき、同一人物である周辺人物を関連付けて表示手段に表示する置き去り又は持ち去り検知システム。
【請求項５】
監視エリアを撮影する撮影手段と、撮影した画像を保存する保存手段と、置き去り又は持ち去り判断部と、置き去り又は持ち去りの発生時刻を演算する発生時刻演算部と、を有し、監視エリアの撮影画像に基づき置き去り又は持ち去りに係る人物を特定するための処理を行う置き去り又は持ち去り検知システムにおける置き去り又は持ち去り検知記録の生成方法であって、
前記保存手段から、前記発生時刻に撮影された監視エリアの撮影画像を取得する工程と、
前記取得する工程において取得された撮影画像から、置き去り又は持ち去りの対象である異物から所定の距離範囲内にいる周辺人物の画像を抽出する工程と、
置き去り又は持ち去りの対象である前記異物の画像と、前記抽出する工程において抽出された前記周辺人物の画像とをそれぞれ含む、置き去りログデータ又は持ち去りログデータを生成する工程と、
を有する置き去り又は持ち去り検知記録の生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−２３５３００（Ｐ２０１２−２３５３００Ａ）
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願番号】特願２０１１−１０２２１８（Ｐ２０１１−１０２２１８）
【出願日】平成２３年４月２８日（２０１１．４．２８）
【出願人】（３０４０２０４９８）サクサ株式会社 (678)
【Ｆターム（参考）】
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願日】平成２３年４月２８日（２０１１．４．２８）
【出願人】（３０４０２０４９８）サクサ株式会社 (678)
【Ｆターム（参考）】
[ Back to top ]