置き去り又は持ち去り判定装置及び同判定方法
【課題】背景画像と現在画像より得られる差分（異物）画像が置き去りによるものか持ち去りによるものかを判定する。
【解決手段】判定装置２０の判定制御装置２００の差分画像作成手段２０１は、電子カメラ１０で撮影した監視区域の背景画像と監視区域の現在画像との差分画像（背景差分値＝現在画像−背景画像）を作成し、置き去り又は持ち去り判定手段２０２は、作成された差分画像のピクセルの正又は負の符号に基づき前記差分画像が置き去り又は持ち去りによるものかを判定する。
【解決手段】判定装置２０の判定制御装置２００の差分画像作成手段２０１は、電子カメラ１０で撮影した監視区域の背景画像と監視区域の現在画像との差分画像（背景差分値＝現在画像−背景画像）を作成し、置き去り又は持ち去り判定手段２０２は、作成された差分画像のピクセルの正又は負の符号に基づき前記差分画像が置き去り又は持ち去りによるものかを判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば忘れ物のように、人がある場所に物を置いたまま去ったり、置いたものを持ち去ったりする場合に、異物として判定された物が、置き去った物か、持ち去った物かを特定するための置き去り又は持ち去り判定装置、同判定方法及びプログラムに関する。
【背景技術】
【０００２】
ある場所に物を置いたり或いは物を持ち去ったりした場合に、それを判定する方法及び装置は既に知られている。例えば、撮影装置でその場所の背景画像を撮影し、その背景画像をメモリに記憶させておき、それと現在の画像とを比較して、その差分画像を作成すれば、誰かが置き去った或いは持ち去った物が差分画像として得られるため、その物を特定することができる。
また、駅などの常に移動する人や物がある場合などにおいては、時間をおいて撮影した画像から単純に差分画像を作成しても、他の移動体との区別がつき難いが、そのような場合においても、ある場所に物を置いたり或いは物を持ち去ったりするのを判定できるようにした発明（変化領域計算方法及び装置）も既に知られている（特許文献１参照）。
【０００３】
この変化領域計算方法及び装置では、同じ撮影区域について、予め定めた所定の時間間隔で撮影した複数の撮影画像を用い、各画像の画素（ピクセル）の画素値を平均化することにより、短時間に出入りしたものの影響を希釈化して、画像内の異物が一定時間以上滞留した場合だけ異物として抽出できるようにしている。
【０００４】
しかしながら、上記従来の方法では、いずれも背景から変化した箇所を判定するだけであるので、置き去り又は持ち去られた物を特定することはできるが、特定された物が置き去られた物か、或いは持ち去られた物かを特定することはできない。
そのため、置き去り又は持ち去りの判定を前提にするシステムを構築したくとも、そのような要望に対応することはできない。例えば、落し物判定を目的としたシステムの場合には、一般には置き去り判定は必要であるが、落し物を回収した後の落し物持ち去り判定は不要である。しかし、従来の上記装置及び方法では、そのような置き去り又は持ち去りを区別したシステムを構築することはできない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１０８９６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、従来の問題に鑑みてなされたものであって、その目的は、1台のカメラで置き去りと持ち去りを区別して判定することである。
【課題を解決するための手段】
【０００７】
本発明の置き去り又は持ち去り判定装置は、撮影装置で撮影した監視区域の背景画像を記憶する記憶装置と、前記背景画像と撮影装置で撮影した監視区域の現在画像との差分画像を作成する差分画像作成手段と、作成された差分画像のピクセルの正又は負の符号に基づき前記差分画像が置き去り又は持ち去りによるものかを判定する置き去り又は持ち去り判定手段と、を有することを特徴とする。
本発明の置き去り又は持ち去り判定方法は、置き去り又は持ち去り判定装置における置き去り又は持ち去り判定方法であって、撮影装置で撮影した監視区域の背景画像を記憶する記憶工程と、前記背景画像と撮影装置で撮影した監視区域の現在画像との差分画像を作成する差分画像作成工程と、作成された差分画像のピクセルの正又は負の符号に基づき前記差分画像が置き去り又は持ち去りによるものかを判定する置き去り又は持ち去り判定工程と、を有することを特徴とする。
本発明のプログラムは、本発明の置き去り又は持ち去り判定装置のコンピュータを、前記置き去り又は持ち去り判定装置の各手段として機能させることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、置き去り又は持ち去りを区別して判定することで、それぞれの用途に応じたアプリケーションが実現可能である。つまり、置き去り又は持ち去りのみの判定やその両方を区別して判定することを要するシステムに適用可能である。
【図面の簡単な説明】
【０００９】
【図１】本発明の原理を説明する図である。
【図２】本発明の実施形態に係る判定装置の構成を概略的に示したブロック図である。
【図３】判定装置による置き去り又は持ち去り判定の手順を示すフロー図である。
【図４】図３のフロー図における不動ピクセルの判定処理で実行される、不動ピクセル判定手順を示すフロー図である。
【図５】第１の実施形態の例外に該当する事例を示す
【図６】第１の実施形態の別の例外に該当する事例を示す
【図７】別の実施形態に係る判定装置の構成を、概略的に示したブロック図である
【図８】第２の実施形態の判定装置による置き去り又は持ち去り判定処理の手順を示すフロー図である。
【図９】図８のフロー図における履歴判定の処理を説明するフロー図である。
【図１０】さらに別の実施形態に係る判定装置の構成を、概略的に示したブロック図である。
【図１１】図１０の実施形態に係る判定装置で実施する置き去り又は持ち去り判定の手順を示すフロー図である。
【図１２】背景エッジの密集箇所検出におけるオープニング処理とクロージング処理を説明する図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態に係る置き去り又は持ち去り判定について説明する。
先ず、本発明の原理について説明する。
カメラ（電子カメラ）で撮影した背景画像と現在画像から差分画像（背景差分値＝現在画像−背景画像）を作成して、両画像の各ピクセル毎の画素値の差分値をとり、そのときの背景差分値の＋又は−の符号により、差分画像が現在画像にのみ存在するものか、或いは背景画像にのみ存在するものかの判定が可能である。即ち＋（現在画像の方が画素値が大きい）であれば、その画素のところに何らかの物体（異物）が入った結果、その画素値が増大したと想像できる。逆に、−（現在画像の方が画素値が小さい）であれば、現在画像のその画素のところに何らかの物体（異物）があったのがなくなったため、画素値が小さくなったと想像できる。
【００１１】
図１は、本発明の原理を説明する図である。
即ち、図１Ａに示すように、背景画像（図１Ａ（１））に異物が無く、現在画像（図１Ａ（２））に異物がある場合は、背景画像と現在画像のそれぞれのエッジ画像の背景差分値（画素値）＝現在画像−背景画像が＋差分となり、また、図１Ｂに示すように、背景画像（図１Ｂ（１））に異物が有り、現在画像（図１Ｂ（２））に異物がない場合は、エッジ画像の背景差分値（画素値）＝現在画像−背景画像は−差分になる。
よって、＋の値の場合は、置き去りピクセル（画素）、−の場合は持ち去りピクセル（画素）と判定することができる。本発明は、この原理を利用して、差分画像で検出した異物が置き去り異物か持ち去り異物かを判定するものである。
【００１２】
以下、本発明の実施形態について、置き去り又は持ち去り判定装置及び同方法を説明する。まず、置き去り又は持ち去り判定装置（以下、単に判定装置という）について説明する。
図２は、本発明の実施形態に係る判定装置を概略的に示す図である。
判定装置２０は、監視区域に設置されたカメラ（電子カメラ）１０に接続されており、置き去り又は持ち去り判定制御装置（以下、単に判定制御装置という）２００と、画像データを記憶する記憶装置２２と、判定装置２０の出力や、入力装置２６の入力結果などを表示する例えば液晶表示手段（ＬＣＤ）を備えた表示装置２４、及びキーボードやタッチ入力手段を備えた上記入力装置２６とから成っている。なお、３０は各装置を接続するバスである。
判定制御装置２００は、例えばマイクロコンピュータを備え、マイクロコンピュータのプログラムによる機能実現手段として、差分画像作成手段２０１、置き去り又は持ち去り判定手段２０２、不動ピクセル判定手段２０３、ラベリング手段２０４、背景画像更新手段２０５を有している。
【００１３】
図３は、上記判定装置２０による置き去り又は持ち去り判定の手順を示すフロー図である。
本発明の実施形態に係る上記判定装置による置き去り又は持ち去り判定について、図３に示す処理フロー図を参照して説明する。
即ち、先ず、電子カメラ１０による撮影画像を本実施形態に係る判定装置２０に入力し（Ｓ１０１）、続いて、入力画像（ここでは、ＲＧＢ画像又は輝度画像である）からエッジ画像を作成（抽出）し（Ｓ１０２）、差分画像作成手段２０１は、得られたエッジ画像の各ピクセル（画素）について背景差分値（背景差分値＝現在画像−背景画像）を算出して符号付き背景差分画像を作成する（Ｓ１０３）。次に、置き去り又は持ち去り判定手段２０２は、得られたエッジ画像の画素値の符号付き背景差分の符号に基づき、置き去り又は持ち去り判定を行う（Ｓ１０４）、つまり、（i）背景差分値が正値、かつここでは予め定めた閾値を設定して、正の値が上記閾値以上の場合は置き去り有り、（ii）背景差分値が負値かつ閾値未満の場合は持ち去り有り、（iii）それ以外の場合は異物なしと判定する。
【００１４】
本実施形態では、さらに、不動ピクセル判定手段２０３は、置き去り又は持ち去りの状態が一定時間以上続いたピクセルを不動ピクセルと判定する（Ｓ１０５）。この時、置き去り不動ピクセルと持ち去り不動ピクセルは区別して判定する。
次に、ラベリング手段２０４により検出した不動ピクセルにラベリングを行い（Ｓ１０６）、その後判定処理結果を出力し（Ｓ１０７）、背景画像更新手段２０５は、背景画像の該当ピクセルを上記不動ピクセルで更新して（Ｓ１０８）、次の置き去り又は持ち去り判定処理を行う。
このように、本実施形態では、置き去り又は持ち去り差分があったとしても、直ちに判定対象の異物と判定せず、まず、その差分が一定の閾値以上であるものに限定することでノイズを除去し、さらに、置き去りや持ち去りの状態が一定時間以上続いた場合に限り差分画像（異物）として扱う。また、その異物が置き去りによるものか、持ち去りによるものかを背景画像のピクセルの情報として記憶装置２２に記憶させる。つまり、上記不動ピクセルの情報で背景画像を更新するため、短時間に監視区域に出入りする人や物を判定対象から排除して精度の高い置き去り又は持ち去り判定を行うことができる。また、置き去り又は持ち去り判定を行った後に、更新した背景画像を用いて引き続き、次の置き去り又は持ち去り判定を行うことができる。
【００１５】
図４は、ステップＳ１０５とステップＳ１０６の不動ピクセルの判定処理で実行される、上記不動ピクセル判定手順を示すフロー図である。
この処理では、まず置き去り差分の有無を判定する（Ｓ２０１）、置き去り差分有りと判定したときは（Ｓ２０１、ＹＥＳ）、置き去りタイマを加算し、かつ持ち去りタイマを減算する（Ｓ２０２）、置き去りタイマが設定値以上になったか否か判定し（Ｓ２０３）、置き去りタイマが設定値以上になったときは（Ｓ２０３、ＹＥＳ）、当該ピクセルが置き去りの不動ピクセルであると判定して（Ｓ２０４）、処理を終了する。
【００１６】
ステップＳ２０３において、置き去りタイマが設定値未満であれば（Ｓ２０３、ＮＯ）、持ち去りタイマが設定値以上か否か判定し（Ｓ２０８）、設定値以上であれば（Ｓ２０８、ＹＥＳ）、当該ピクセルが持ち去りの不動ピクセルであるのと判定を行い（Ｓ２０９）、処理を終了する。また、持ち去りタイマの減算値が設定値未満であれば（Ｓ２０８、ＮＯ）、置き去りタイマも持ち去りタイマもいずれも設定値未満となるので、そのまま、つまり、置き去り又は持ち去り判定を行うことなく処理を終了する。
ステップＳ２０１において、置き去り差分がないときは（Ｓ２０１、ＮＯ）、持ち去り差分の有無を判定し（Ｓ２０５）、持ち去り差分があれば（Ｓ２０５、ＹＥＳ）、持ち去りタイマを加算し、置き去りタイマを減算して（Ｓ２０６）、ステップＳ２０３以下の処理に移行する。
ステップＳ２０５において、持ち去り差分がないときは（Ｓ２０５、ＮＯ）、置き去りタイマ及び持ち去りタイマを減算し（Ｓ２０７）、ステップＳ２０３以下の処理に移行する。
なお、以上の処理において、設定値とは、置き去り又は持ち去りと決定することとなる時間である。したがって、設定値以上放置されたときは置き去り又は持ち去りの判定を行う。
【００１７】
殆どの場合は、以上で説明したように物体の置き去りは＋差分、物体の持ち去りは−差分となり、物体の置き去りと持ち去りの区別が可能であり、例えば、物体の置き去りのみを判定して物体の持ち去りを判定しないようにすることができる。
しかしながら、実際には、上記の置き去り又は持ち去り判定が適用できない幾つかの例外がある。次に、その点について説明する。
【００１８】
図５、図６は上記例外に該当する事例を示す。
先ず、第１の例外について説明する。
図５Ａに示すように、背景画像にエッジ部分（例えば背景画像である床の亀裂など）があり、その後そのエッジ部分の上に物体を置いたときには、上記の判定法を適用すると、物体のエッジについては置き去り判定すると共に、背景のエッジについては持ち去り判定することになる。
即ち、例えば、図５Ａ（１）では、背景画像にここでは＋模様のエッジがあり、図５Ａ（２）の現在画像では、その上に物体を置いた状態となっている。このときは、ピクセルの置き去り及び持ち去り情報（つまり差分情報）は、上記のエッジ画像の背景差分値で判別すると、図５Ａ（３）に示すように、物体のエッジは置き去り判定し、かつ＋模様のエッジは、持ち去り判定されるため、正確な判定ができない。例えば、物体の持ち去りのみ検知し、置き去りは検知しないシステムを構築した場合に物体の置き去り時でも持ち去り検知をしてしまう。
【００１９】
図５Ｂ（１）〜（３）のように、背景画像では＋模様のエッジの上に物体が置かれ、物体を持ち去るときは、上記の判定法では図５Ｂ（３）に示すように、物体のエッジを持ち去り判定し、かつ＋模様のエッジは置き去りと判定される。つまり、元々の背景のエッジの上に置かれた物体を持ち去るときは、物体のエッジ画像を持ち去り判定し、元々存在する筈の背景のエッジを置き去り判定してしまうため、正確な判定ができない。例えば、物体の置き去りのみ検知し、持ち去りは検知しないシステムを構築した場合、物体の持ち去り時でも置き去り検知をしてしまう。
【００２０】
次に例外２について説明する。
背景画像にエッジが、図６Ａ（１）、図６Ｂ（１）のように密集して存在しており、画素の背景エッジ強度＞物体エッジ強度の場合は、物体の置き去り判定自体が難しい場合がある。
つまり図６Ａにおいて、図６Ａ（１）に示すように背景画像にエッジがあり、図６Ａ（２）に示すようにその上に物体を置いた現在画像のエッジ画像で、画素の背景エッジ強度＞物体エッジ強度の場合に上記置き去り又は持ち去り判定を行うと、図６Ａ（３）に示す置き去り判定画像では、矩形で囲まれた部分で置き去り判定をし、物体エッジの途切れた部分（背景画像のエッジが物体エッジと重なっている部分）では持ち去り判定がなされてしまう。
【００２１】
また、背景画像のエッジが図６Ｂ（１）に示すように、エッジがさらに密集していると、その上に物体を置いた現在画像は図６Ｂ（２）の画像となり、画素の背景エッジ強度＞物体エッジ強度の場合、上記のエッジ画像の背景差分値で判別すると、物体のエッジは全て持ち去り判定となり、置き去り判定できる部分はなくなってしまう。したがって、この場合には物体の置き去り判定はできない。
【００２２】
次に、上記例外１及び２の場合における対応策について説明する。
例外１に対応する実施形態（実施形態２）
本実施形態では、図７に示すように、第１の実施形態に加えて、判定装置２０の判定制御装置２００に、プログラムによるコンピュータの機能として実現される手段である履歴情報付加手段２０６を備え、各ピクセル毎に過去の置き去り又は持ち去り情報（履歴情報）を付加して記憶装置に記憶させると共に、置き去った物体などで隠れた背景エッジが物体の持ち去りにより、エッジが復活したときに、上記履歴情報を読み出して、置き去り判定とされないようにしている。また、置き去った物体などで隠れた背景エッジは、同様にして持ち去り判定されないようにしている。
本実施形態に係る判定装置２０のその他の構成は図２に示す第１の実施形態と同様である。
【００２３】
次に、本実施形態の判定装置２０による置き去り又は持ち去り判定処理の手順を図８を参照して説明する。
即ち、先ず電子カメラ１０の撮影画像を本実施形態に係る置き去り又は持ち去り判定装置２０に入力し（Ｓ３０１）、記憶装置２２に記憶させた後、入力画像のエッジ画像を作成（抽出）する（Ｓ３０２）。得られたエッジ画像について符号付き背景差分画像（背景差分画像＝現在画像−背景画像）を作成する（Ｓ３０３）。続いて、置き去り又は持ち去り判定手段２０２は、得られたエッジ画像の画素値の符号付き背景差分に基づき、置き去り又は持ち去り判定を行う（Ｓ３０４）、つまり、（i）背景差分値が正値かつ閾値以上の場合は置き去り有り、（ii）背景差分値が負値かつ閾値未満の場合は持ち去り有り、（iii）それ以外の場合は異物なしと判定する。
【００２４】
次に、履歴情報付加手段２０６により、履歴情報が付加されたピクセルがあれば、これを履歴情報付き不動ピクセルと判定する。この時、置き去りと持ち去りは区別して判定する（Ｓ３０５）。ここで履歴情報付き不動ピクセルについてその履歴を判定する。即ち、ここではピクセル毎に画像変化の履歴情報が付加されている、即ち、例えば、各ピクセルに対して、それぞれInfo =0（初期値）、Info=1（過去に置き去りがあった）。Info=2（過去に持ち去りがあった）、のいずれかの履歴情報が付加されているので、その履歴情報を判定する（Ｓ３０６）。続いて、判定した履歴情報付き不動ピクセルにラベリングを行い（Ｓ３０７）、判定結果を出力して（Ｓ３０８）、背景画像の該当ピクセルを上記不動ピクセルで更新し（Ｓ３０９）、最初の状態に戻る。
【００２５】
図９は、上記ステップＳ３０６の履歴判定の処理を説明するフロー図である。
即ち、履歴情報付き不動ピクセルと判定され（Ｓ４０１、ＹＥＳ）、かつ当該履歴情報付き不動ピクセルが置き去りと判定されたとき（Ｓ４０２、ＹＥＳ）、その履歴情報が持ち去り（Info = 2：過去に持ち去りがあった）であれば（Ｓ４０３、ＹＥＳ）、履歴情報を初期化（Info = 0）して、持ち去り判定に変更する（Ｓ４０４）。例えば、図５Ｂで元々の背景の＋模様のエッジは置き去り判定されるが、その履歴情報が持ち去り（図５Ａ）であれば、持ち去り判定に変更する。
ステップＳ４０３で、履歴情報が持ち去りでなければ（Ｓ４０３、ＮＯ）、履歴情報を（Info=1：過去に置き去りがあった）で更新し、置き去り判定を保持する（Ｓ４０５）。例えば、図５Ａで物体エッジは置き去り判定されるが、履歴情報が持ち去りでなければ置き去り判定を保持する。
【００２６】
ステップＳ４０２で、履歴情報付き不動ピクセルは置き去りではなく（Ｓ４０２、ＮＯ）、つまり、履歴情報付き不動ピクセルは持ち去りで、履歴情報が置き去りであれば（Ｓ４０６、ＹＥＳ）、履歴情報を初期化して（Info = 0）、持ち去り判定を保持する（Ｓ４０７）。例えば、図５Ｂで物体のエッジは持ち去り判定されるが、その履歴情報が置き去り（図５Ａ）であれば、持ち去り判定を保持する。
ステップＳ４０６で、履歴情報が置き去りでなければ（Ｓ４０６、ＮＯ）、履歴情報を（Info = 2：過去に持ち去りがあった）で更新し、置き去り判定に変更する。例えば、図５Ａで背景の＋模様のエッジは持ち去り判定されるが、その履歴情報が置き去りでなければ、置き去り判定に変更する。
【００２７】
なお、履歴情報付き不動ピクセル判定処理で出力されるものは、履歴情報付き不動ピクセル画像である。
ここで、履歴情報付き不動ピクセル画像とは、例えば画素毎に置き去り判定ピクセル（pixel）＝１、持ち去り判定ピクセル（pixel）＝２、初期値＝０のいずれかの値が入った３値画像である。この履歴情報付き不動ピクセル画像をラベリング処理で、１のピクセルと２のピクセルでそれぞれ区別してラベリングを行い、最後に判定結果を出す。
【００２８】
例外２に対する実施形態（第３の実施形態）
本実施形態では、図１０に示すように、第１の実施形態や第２の実施形態に加えて、判定制御装置２００にコンピュータのプログラムによる機能実現手段として、ピクセル（画素）のオープニング処理手段２０７とクロージング処理手段２０８とを備え、背景エッジの強度が強く密集している箇所を自動判定し、エッジの密集エリアとそうでないエリアの２値画像を作成して以下の判定を行う。即ち、
（１）密集ピクセルに関して第１の実施形態の「置き去り又は持ち去り判定」フロー（図３）においては、
（i）背景差分値が正値かつ閾値以上の場合、「持ち去り有り」とする。
（ii）背景差分値が負値かつ閾値未満の場合、「置き去り有り」とする。
（iii）それ以外の場合、異物でない。
【００２９】
（２）密集ピクセルに関して、第２の実施形態の「履歴情報付き不動ピクセル判定」のフロー（図９）において以下の変更を行う。
（i）図９のエンドで置き去りと判定された不動ピクセルを「持ち去り」に変更。
（ii）図９のエンドで持ち去りと判定された不動ピクセルを「置き去り」に変更。
なお、エッジの密集エリアの２値画像を用いたときの密集ピクセルの定義としては、以下の２方法がある。
（１）エッジの密集エリア内の全てのピクセルを密集ピクセルとする。
（２）エッジの密集エリア内かつエッジ強度が閾値以上のピクセルを密集ピクセルとするが、何れも用いてもよい。
【００３０】
以下、本実施形態に係る判定装置２０で実施する背景エッジの密集エリアとそうでないエリアの２値画像を作成する手順を、図１１に示すフロー図を参照して説明する。
先ず電子カメラ１０の撮影画像を本実施形態に係る置き去り又は持ち去り判定装置２０に入力し（Ｓ５０１）、入力画像（背景画像）のエッジ画像を作成する（Ｓ５０２）。次に、エッジ画像の強度（画素値の強度）を閾値と対比して２値化し（Ｓ５０３）、クロージング、つまり、２値化したエッジ画像をn回膨張処理後、n回収縮処理をして、密集したエッジを結合する処理を行い（Ｓ５０４）、続いてオープニング、つまり、クロージングしたエッジ画像をn回収縮処理して孤立した細いエッジを除去した後、n回膨張処理してサイズを元に戻す処理を行う。
以上の処理で作成された２値画像を使用して第３の実施形態は実現される。ここで、上記２値画像作成処理は、映像に異物がない時に１度行う処理であり、毎フレーム行うわけではない。
【００３１】
図１２は、上記オープニング処理とクロージング処理を説明するための図である。
図１２Ａは、背景エッジ２値画像を示す。図示のエッジは密集していない場所と密集している場所を示している。次に、それぞれのエッジ２値画像をクロージング処理、つまりエッジ２値画像をｎ回膨張して密集したエッジを結合する。図１２Ｂはｎ回膨張後の２値画像を示す。続いて得られた２値画像をｎ回収縮処理をしてサイズを元に戻し、図１２Ｃの２値画像を得る。ここで、オープニングつまり、ｎ回収縮して密集でないエッジ（孤立したエッジ）の除去を行う。図１２Ｄは孤立したエッジを除去した後の２値画像である。最後にエッジ除去後の２値画像をｎ回膨張して元のサイズに戻して処理を終了する。
以上の処理により、背景画像のエッジが密集しており、背景画像エッジ強度が物体エッジ強度よりも大きい場合であっても、密集ピクセルに関して、第１の実施形態では「置き去り又は持ち去り判定フロー」（図３）、第２の実施形態では、「密集情報付き不動ピクセル判定フロー」（図９）の処理を変更することにより、そのピクセル（つまり異物）が置き去りによるものか持ち去りによるものかを正しく判定することができる。
【００３２】
次に、他の実施形態について説明する。
第４の実施形態
図１１に示すフローの２値化（Ｓ５０３）後に作成される背景エッジ２値画像を利用して、その背景エッジピクセルに関して、第１の実施形態の「置き去り又は持ち去り判定フロー」（図３）において以下の変更を行う。
(i)背景差分値が正値かつ閾値以上の場合、「異物でない」とする。
(ii)背景差分値が負値かつ閾値未満の場合、「異物でない」とする。
(iii)それ以外の場合も、異物でないとする。
以上の処理によると、元々の背景に存在する床の＋模様のエッジ（図５Ａ（１））などのピクセルは常に異物でないと判定されるため、図５Ａでは物体エッジの置き去り判定のみ発生し、図５Ｂでは物体エッジの持ち去り判定のみ発生するため、例外１の問題を解決することができる。
ここで、背景エッジ２値画像作成処理は画像に異物がない時に１度行うだけの処理であり、毎フレーム行っているのではない。
【００３３】
第５の実施形態
第４の実施形態は例外１の問題を解決することができたが、もし、図６Ａ（１）や図６Ｂ（１）のように元々の背景でエッジが密集している箇所に物体が置かれた場合に、そのピクセルは常に異物でないと判定されるため物体を検知できなくなる場合がある。
このとき、第４の実施形態に加えて、図１１に示すフローのエンドで作成されている背景エッジの密集エリアとそうでないエリアの２値画像を利用して、密集ピクセルに関して、第１の実施形態の「置き去り又は持ち去り判定フロー」（図３）において以下の変更を行う。第４の実施形態での変更も併せて記述すると、
（１）まず、背景エッジ２値画像を利用して、背景エッジピクセルに関して、
(i)背景差分値が正値かつ閾値以上の場合、「異物でない」とする。
(ii)背景差分値が負値かつ閾値未満の場合、「異物でない」とする。
(iii)それ以外の場合も、異物でないとする。
（２）その後に、背景エッジの密集エリアとそうでないエリアの２値画像を利用して、密集ピクセルに関して、
(i)背景差分値が正値かつ閾値以上の場合、「持ち去り有り」とする。
(ii)背景差分値が負値かつ閾値未満の場合、「置き去り有り」とする。
(iii)それ以外の場合も、異物でないとする。
以上の処理によると、元々の背景に存在する床の＋模様のエッジ（図５Ａ（１））などのピクセルは常に異物でないと判定されるため、図５Aでは物体エッジの置き去り判定のみ発生し、図５Ｂでは物体エッジの持ち去り判定のみ発生し、図６Ａや図６Ｂのエッジが密集している箇所に物体が置かれた場合でも、物体が置き去りによるものか持ち去りによるものかを正しく判定することができるため、例外１と例外２を解決することができる。
ここで、背景エッジ２値画像作成処理と背景エッジの密集エリアとそうでないエリアの２値画像作成処理は画像に異物がない時に１度行うだけの処理であり、毎フレーム行っているのではない。
【符号の説明】
【００３４】
１０・・・電子カメラ、２０・・・判定装置、２００・・・判定制御装置、２０１・・・差分画像作成手段、２０２・・・置き去り又は持ち去り判定手段、２０３・・・不動ピクセル判定手段、２０４・・・ラベリング手段、２０５・・・背景画像更新手段、２０６・・・履歴情報付加手段、２０７・・・オープニング処理手段、２０８・・・クロージング処理手段、２２・・・記憶装置、２４・・・表示装置、２６・・・入力装置、３０・・・バス。
【技術分野】
【０００１】
本発明は、例えば忘れ物のように、人がある場所に物を置いたまま去ったり、置いたものを持ち去ったりする場合に、異物として判定された物が、置き去った物か、持ち去った物かを特定するための置き去り又は持ち去り判定装置、同判定方法及びプログラムに関する。
【背景技術】
【０００２】
ある場所に物を置いたり或いは物を持ち去ったりした場合に、それを判定する方法及び装置は既に知られている。例えば、撮影装置でその場所の背景画像を撮影し、その背景画像をメモリに記憶させておき、それと現在の画像とを比較して、その差分画像を作成すれば、誰かが置き去った或いは持ち去った物が差分画像として得られるため、その物を特定することができる。
また、駅などの常に移動する人や物がある場合などにおいては、時間をおいて撮影した画像から単純に差分画像を作成しても、他の移動体との区別がつき難いが、そのような場合においても、ある場所に物を置いたり或いは物を持ち去ったりするのを判定できるようにした発明（変化領域計算方法及び装置）も既に知られている（特許文献１参照）。
【０００３】
この変化領域計算方法及び装置では、同じ撮影区域について、予め定めた所定の時間間隔で撮影した複数の撮影画像を用い、各画像の画素（ピクセル）の画素値を平均化することにより、短時間に出入りしたものの影響を希釈化して、画像内の異物が一定時間以上滞留した場合だけ異物として抽出できるようにしている。
【０００４】
しかしながら、上記従来の方法では、いずれも背景から変化した箇所を判定するだけであるので、置き去り又は持ち去られた物を特定することはできるが、特定された物が置き去られた物か、或いは持ち去られた物かを特定することはできない。
そのため、置き去り又は持ち去りの判定を前提にするシステムを構築したくとも、そのような要望に対応することはできない。例えば、落し物判定を目的としたシステムの場合には、一般には置き去り判定は必要であるが、落し物を回収した後の落し物持ち去り判定は不要である。しかし、従来の上記装置及び方法では、そのような置き去り又は持ち去りを区別したシステムを構築することはできない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１０８９６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、従来の問題に鑑みてなされたものであって、その目的は、1台のカメラで置き去りと持ち去りを区別して判定することである。
【課題を解決するための手段】
【０００７】
本発明の置き去り又は持ち去り判定装置は、撮影装置で撮影した監視区域の背景画像を記憶する記憶装置と、前記背景画像と撮影装置で撮影した監視区域の現在画像との差分画像を作成する差分画像作成手段と、作成された差分画像のピクセルの正又は負の符号に基づき前記差分画像が置き去り又は持ち去りによるものかを判定する置き去り又は持ち去り判定手段と、を有することを特徴とする。
本発明の置き去り又は持ち去り判定方法は、置き去り又は持ち去り判定装置における置き去り又は持ち去り判定方法であって、撮影装置で撮影した監視区域の背景画像を記憶する記憶工程と、前記背景画像と撮影装置で撮影した監視区域の現在画像との差分画像を作成する差分画像作成工程と、作成された差分画像のピクセルの正又は負の符号に基づき前記差分画像が置き去り又は持ち去りによるものかを判定する置き去り又は持ち去り判定工程と、を有することを特徴とする。
本発明のプログラムは、本発明の置き去り又は持ち去り判定装置のコンピュータを、前記置き去り又は持ち去り判定装置の各手段として機能させることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、置き去り又は持ち去りを区別して判定することで、それぞれの用途に応じたアプリケーションが実現可能である。つまり、置き去り又は持ち去りのみの判定やその両方を区別して判定することを要するシステムに適用可能である。
【図面の簡単な説明】
【０００９】
【図１】本発明の原理を説明する図である。
【図２】本発明の実施形態に係る判定装置の構成を概略的に示したブロック図である。
【図３】判定装置による置き去り又は持ち去り判定の手順を示すフロー図である。
【図４】図３のフロー図における不動ピクセルの判定処理で実行される、不動ピクセル判定手順を示すフロー図である。
【図５】第１の実施形態の例外に該当する事例を示す
【図６】第１の実施形態の別の例外に該当する事例を示す
【図７】別の実施形態に係る判定装置の構成を、概略的に示したブロック図である
【図８】第２の実施形態の判定装置による置き去り又は持ち去り判定処理の手順を示すフロー図である。
【図９】図８のフロー図における履歴判定の処理を説明するフロー図である。
【図１０】さらに別の実施形態に係る判定装置の構成を、概略的に示したブロック図である。
【図１１】図１０の実施形態に係る判定装置で実施する置き去り又は持ち去り判定の手順を示すフロー図である。
【図１２】背景エッジの密集箇所検出におけるオープニング処理とクロージング処理を説明する図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態に係る置き去り又は持ち去り判定について説明する。
先ず、本発明の原理について説明する。
カメラ（電子カメラ）で撮影した背景画像と現在画像から差分画像（背景差分値＝現在画像−背景画像）を作成して、両画像の各ピクセル毎の画素値の差分値をとり、そのときの背景差分値の＋又は−の符号により、差分画像が現在画像にのみ存在するものか、或いは背景画像にのみ存在するものかの判定が可能である。即ち＋（現在画像の方が画素値が大きい）であれば、その画素のところに何らかの物体（異物）が入った結果、その画素値が増大したと想像できる。逆に、−（現在画像の方が画素値が小さい）であれば、現在画像のその画素のところに何らかの物体（異物）があったのがなくなったため、画素値が小さくなったと想像できる。
【００１１】
図１は、本発明の原理を説明する図である。
即ち、図１Ａに示すように、背景画像（図１Ａ（１））に異物が無く、現在画像（図１Ａ（２））に異物がある場合は、背景画像と現在画像のそれぞれのエッジ画像の背景差分値（画素値）＝現在画像−背景画像が＋差分となり、また、図１Ｂに示すように、背景画像（図１Ｂ（１））に異物が有り、現在画像（図１Ｂ（２））に異物がない場合は、エッジ画像の背景差分値（画素値）＝現在画像−背景画像は−差分になる。
よって、＋の値の場合は、置き去りピクセル（画素）、−の場合は持ち去りピクセル（画素）と判定することができる。本発明は、この原理を利用して、差分画像で検出した異物が置き去り異物か持ち去り異物かを判定するものである。
【００１２】
以下、本発明の実施形態について、置き去り又は持ち去り判定装置及び同方法を説明する。まず、置き去り又は持ち去り判定装置（以下、単に判定装置という）について説明する。
図２は、本発明の実施形態に係る判定装置を概略的に示す図である。
判定装置２０は、監視区域に設置されたカメラ（電子カメラ）１０に接続されており、置き去り又は持ち去り判定制御装置（以下、単に判定制御装置という）２００と、画像データを記憶する記憶装置２２と、判定装置２０の出力や、入力装置２６の入力結果などを表示する例えば液晶表示手段（ＬＣＤ）を備えた表示装置２４、及びキーボードやタッチ入力手段を備えた上記入力装置２６とから成っている。なお、３０は各装置を接続するバスである。
判定制御装置２００は、例えばマイクロコンピュータを備え、マイクロコンピュータのプログラムによる機能実現手段として、差分画像作成手段２０１、置き去り又は持ち去り判定手段２０２、不動ピクセル判定手段２０３、ラベリング手段２０４、背景画像更新手段２０５を有している。
【００１３】
図３は、上記判定装置２０による置き去り又は持ち去り判定の手順を示すフロー図である。
本発明の実施形態に係る上記判定装置による置き去り又は持ち去り判定について、図３に示す処理フロー図を参照して説明する。
即ち、先ず、電子カメラ１０による撮影画像を本実施形態に係る判定装置２０に入力し（Ｓ１０１）、続いて、入力画像（ここでは、ＲＧＢ画像又は輝度画像である）からエッジ画像を作成（抽出）し（Ｓ１０２）、差分画像作成手段２０１は、得られたエッジ画像の各ピクセル（画素）について背景差分値（背景差分値＝現在画像−背景画像）を算出して符号付き背景差分画像を作成する（Ｓ１０３）。次に、置き去り又は持ち去り判定手段２０２は、得られたエッジ画像の画素値の符号付き背景差分の符号に基づき、置き去り又は持ち去り判定を行う（Ｓ１０４）、つまり、（i）背景差分値が正値、かつここでは予め定めた閾値を設定して、正の値が上記閾値以上の場合は置き去り有り、（ii）背景差分値が負値かつ閾値未満の場合は持ち去り有り、（iii）それ以外の場合は異物なしと判定する。
【００１４】
本実施形態では、さらに、不動ピクセル判定手段２０３は、置き去り又は持ち去りの状態が一定時間以上続いたピクセルを不動ピクセルと判定する（Ｓ１０５）。この時、置き去り不動ピクセルと持ち去り不動ピクセルは区別して判定する。
次に、ラベリング手段２０４により検出した不動ピクセルにラベリングを行い（Ｓ１０６）、その後判定処理結果を出力し（Ｓ１０７）、背景画像更新手段２０５は、背景画像の該当ピクセルを上記不動ピクセルで更新して（Ｓ１０８）、次の置き去り又は持ち去り判定処理を行う。
このように、本実施形態では、置き去り又は持ち去り差分があったとしても、直ちに判定対象の異物と判定せず、まず、その差分が一定の閾値以上であるものに限定することでノイズを除去し、さらに、置き去りや持ち去りの状態が一定時間以上続いた場合に限り差分画像（異物）として扱う。また、その異物が置き去りによるものか、持ち去りによるものかを背景画像のピクセルの情報として記憶装置２２に記憶させる。つまり、上記不動ピクセルの情報で背景画像を更新するため、短時間に監視区域に出入りする人や物を判定対象から排除して精度の高い置き去り又は持ち去り判定を行うことができる。また、置き去り又は持ち去り判定を行った後に、更新した背景画像を用いて引き続き、次の置き去り又は持ち去り判定を行うことができる。
【００１５】
図４は、ステップＳ１０５とステップＳ１０６の不動ピクセルの判定処理で実行される、上記不動ピクセル判定手順を示すフロー図である。
この処理では、まず置き去り差分の有無を判定する（Ｓ２０１）、置き去り差分有りと判定したときは（Ｓ２０１、ＹＥＳ）、置き去りタイマを加算し、かつ持ち去りタイマを減算する（Ｓ２０２）、置き去りタイマが設定値以上になったか否か判定し（Ｓ２０３）、置き去りタイマが設定値以上になったときは（Ｓ２０３、ＹＥＳ）、当該ピクセルが置き去りの不動ピクセルであると判定して（Ｓ２０４）、処理を終了する。
【００１６】
ステップＳ２０３において、置き去りタイマが設定値未満であれば（Ｓ２０３、ＮＯ）、持ち去りタイマが設定値以上か否か判定し（Ｓ２０８）、設定値以上であれば（Ｓ２０８、ＹＥＳ）、当該ピクセルが持ち去りの不動ピクセルであるのと判定を行い（Ｓ２０９）、処理を終了する。また、持ち去りタイマの減算値が設定値未満であれば（Ｓ２０８、ＮＯ）、置き去りタイマも持ち去りタイマもいずれも設定値未満となるので、そのまま、つまり、置き去り又は持ち去り判定を行うことなく処理を終了する。
ステップＳ２０１において、置き去り差分がないときは（Ｓ２０１、ＮＯ）、持ち去り差分の有無を判定し（Ｓ２０５）、持ち去り差分があれば（Ｓ２０５、ＹＥＳ）、持ち去りタイマを加算し、置き去りタイマを減算して（Ｓ２０６）、ステップＳ２０３以下の処理に移行する。
ステップＳ２０５において、持ち去り差分がないときは（Ｓ２０５、ＮＯ）、置き去りタイマ及び持ち去りタイマを減算し（Ｓ２０７）、ステップＳ２０３以下の処理に移行する。
なお、以上の処理において、設定値とは、置き去り又は持ち去りと決定することとなる時間である。したがって、設定値以上放置されたときは置き去り又は持ち去りの判定を行う。
【００１７】
殆どの場合は、以上で説明したように物体の置き去りは＋差分、物体の持ち去りは−差分となり、物体の置き去りと持ち去りの区別が可能であり、例えば、物体の置き去りのみを判定して物体の持ち去りを判定しないようにすることができる。
しかしながら、実際には、上記の置き去り又は持ち去り判定が適用できない幾つかの例外がある。次に、その点について説明する。
【００１８】
図５、図６は上記例外に該当する事例を示す。
先ず、第１の例外について説明する。
図５Ａに示すように、背景画像にエッジ部分（例えば背景画像である床の亀裂など）があり、その後そのエッジ部分の上に物体を置いたときには、上記の判定法を適用すると、物体のエッジについては置き去り判定すると共に、背景のエッジについては持ち去り判定することになる。
即ち、例えば、図５Ａ（１）では、背景画像にここでは＋模様のエッジがあり、図５Ａ（２）の現在画像では、その上に物体を置いた状態となっている。このときは、ピクセルの置き去り及び持ち去り情報（つまり差分情報）は、上記のエッジ画像の背景差分値で判別すると、図５Ａ（３）に示すように、物体のエッジは置き去り判定し、かつ＋模様のエッジは、持ち去り判定されるため、正確な判定ができない。例えば、物体の持ち去りのみ検知し、置き去りは検知しないシステムを構築した場合に物体の置き去り時でも持ち去り検知をしてしまう。
【００１９】
図５Ｂ（１）〜（３）のように、背景画像では＋模様のエッジの上に物体が置かれ、物体を持ち去るときは、上記の判定法では図５Ｂ（３）に示すように、物体のエッジを持ち去り判定し、かつ＋模様のエッジは置き去りと判定される。つまり、元々の背景のエッジの上に置かれた物体を持ち去るときは、物体のエッジ画像を持ち去り判定し、元々存在する筈の背景のエッジを置き去り判定してしまうため、正確な判定ができない。例えば、物体の置き去りのみ検知し、持ち去りは検知しないシステムを構築した場合、物体の持ち去り時でも置き去り検知をしてしまう。
【００２０】
次に例外２について説明する。
背景画像にエッジが、図６Ａ（１）、図６Ｂ（１）のように密集して存在しており、画素の背景エッジ強度＞物体エッジ強度の場合は、物体の置き去り判定自体が難しい場合がある。
つまり図６Ａにおいて、図６Ａ（１）に示すように背景画像にエッジがあり、図６Ａ（２）に示すようにその上に物体を置いた現在画像のエッジ画像で、画素の背景エッジ強度＞物体エッジ強度の場合に上記置き去り又は持ち去り判定を行うと、図６Ａ（３）に示す置き去り判定画像では、矩形で囲まれた部分で置き去り判定をし、物体エッジの途切れた部分（背景画像のエッジが物体エッジと重なっている部分）では持ち去り判定がなされてしまう。
【００２１】
また、背景画像のエッジが図６Ｂ（１）に示すように、エッジがさらに密集していると、その上に物体を置いた現在画像は図６Ｂ（２）の画像となり、画素の背景エッジ強度＞物体エッジ強度の場合、上記のエッジ画像の背景差分値で判別すると、物体のエッジは全て持ち去り判定となり、置き去り判定できる部分はなくなってしまう。したがって、この場合には物体の置き去り判定はできない。
【００２２】
次に、上記例外１及び２の場合における対応策について説明する。
例外１に対応する実施形態（実施形態２）
本実施形態では、図７に示すように、第１の実施形態に加えて、判定装置２０の判定制御装置２００に、プログラムによるコンピュータの機能として実現される手段である履歴情報付加手段２０６を備え、各ピクセル毎に過去の置き去り又は持ち去り情報（履歴情報）を付加して記憶装置に記憶させると共に、置き去った物体などで隠れた背景エッジが物体の持ち去りにより、エッジが復活したときに、上記履歴情報を読み出して、置き去り判定とされないようにしている。また、置き去った物体などで隠れた背景エッジは、同様にして持ち去り判定されないようにしている。
本実施形態に係る判定装置２０のその他の構成は図２に示す第１の実施形態と同様である。
【００２３】
次に、本実施形態の判定装置２０による置き去り又は持ち去り判定処理の手順を図８を参照して説明する。
即ち、先ず電子カメラ１０の撮影画像を本実施形態に係る置き去り又は持ち去り判定装置２０に入力し（Ｓ３０１）、記憶装置２２に記憶させた後、入力画像のエッジ画像を作成（抽出）する（Ｓ３０２）。得られたエッジ画像について符号付き背景差分画像（背景差分画像＝現在画像−背景画像）を作成する（Ｓ３０３）。続いて、置き去り又は持ち去り判定手段２０２は、得られたエッジ画像の画素値の符号付き背景差分に基づき、置き去り又は持ち去り判定を行う（Ｓ３０４）、つまり、（i）背景差分値が正値かつ閾値以上の場合は置き去り有り、（ii）背景差分値が負値かつ閾値未満の場合は持ち去り有り、（iii）それ以外の場合は異物なしと判定する。
【００２４】
次に、履歴情報付加手段２０６により、履歴情報が付加されたピクセルがあれば、これを履歴情報付き不動ピクセルと判定する。この時、置き去りと持ち去りは区別して判定する（Ｓ３０５）。ここで履歴情報付き不動ピクセルについてその履歴を判定する。即ち、ここではピクセル毎に画像変化の履歴情報が付加されている、即ち、例えば、各ピクセルに対して、それぞれInfo =0（初期値）、Info=1（過去に置き去りがあった）。Info=2（過去に持ち去りがあった）、のいずれかの履歴情報が付加されているので、その履歴情報を判定する（Ｓ３０６）。続いて、判定した履歴情報付き不動ピクセルにラベリングを行い（Ｓ３０７）、判定結果を出力して（Ｓ３０８）、背景画像の該当ピクセルを上記不動ピクセルで更新し（Ｓ３０９）、最初の状態に戻る。
【００２５】
図９は、上記ステップＳ３０６の履歴判定の処理を説明するフロー図である。
即ち、履歴情報付き不動ピクセルと判定され（Ｓ４０１、ＹＥＳ）、かつ当該履歴情報付き不動ピクセルが置き去りと判定されたとき（Ｓ４０２、ＹＥＳ）、その履歴情報が持ち去り（Info = 2：過去に持ち去りがあった）であれば（Ｓ４０３、ＹＥＳ）、履歴情報を初期化（Info = 0）して、持ち去り判定に変更する（Ｓ４０４）。例えば、図５Ｂで元々の背景の＋模様のエッジは置き去り判定されるが、その履歴情報が持ち去り（図５Ａ）であれば、持ち去り判定に変更する。
ステップＳ４０３で、履歴情報が持ち去りでなければ（Ｓ４０３、ＮＯ）、履歴情報を（Info=1：過去に置き去りがあった）で更新し、置き去り判定を保持する（Ｓ４０５）。例えば、図５Ａで物体エッジは置き去り判定されるが、履歴情報が持ち去りでなければ置き去り判定を保持する。
【００２６】
ステップＳ４０２で、履歴情報付き不動ピクセルは置き去りではなく（Ｓ４０２、ＮＯ）、つまり、履歴情報付き不動ピクセルは持ち去りで、履歴情報が置き去りであれば（Ｓ４０６、ＹＥＳ）、履歴情報を初期化して（Info = 0）、持ち去り判定を保持する（Ｓ４０７）。例えば、図５Ｂで物体のエッジは持ち去り判定されるが、その履歴情報が置き去り（図５Ａ）であれば、持ち去り判定を保持する。
ステップＳ４０６で、履歴情報が置き去りでなければ（Ｓ４０６、ＮＯ）、履歴情報を（Info = 2：過去に持ち去りがあった）で更新し、置き去り判定に変更する。例えば、図５Ａで背景の＋模様のエッジは持ち去り判定されるが、その履歴情報が置き去りでなければ、置き去り判定に変更する。
【００２７】
なお、履歴情報付き不動ピクセル判定処理で出力されるものは、履歴情報付き不動ピクセル画像である。
ここで、履歴情報付き不動ピクセル画像とは、例えば画素毎に置き去り判定ピクセル（pixel）＝１、持ち去り判定ピクセル（pixel）＝２、初期値＝０のいずれかの値が入った３値画像である。この履歴情報付き不動ピクセル画像をラベリング処理で、１のピクセルと２のピクセルでそれぞれ区別してラベリングを行い、最後に判定結果を出す。
【００２８】
例外２に対する実施形態（第３の実施形態）
本実施形態では、図１０に示すように、第１の実施形態や第２の実施形態に加えて、判定制御装置２００にコンピュータのプログラムによる機能実現手段として、ピクセル（画素）のオープニング処理手段２０７とクロージング処理手段２０８とを備え、背景エッジの強度が強く密集している箇所を自動判定し、エッジの密集エリアとそうでないエリアの２値画像を作成して以下の判定を行う。即ち、
（１）密集ピクセルに関して第１の実施形態の「置き去り又は持ち去り判定」フロー（図３）においては、
（i）背景差分値が正値かつ閾値以上の場合、「持ち去り有り」とする。
（ii）背景差分値が負値かつ閾値未満の場合、「置き去り有り」とする。
（iii）それ以外の場合、異物でない。
【００２９】
（２）密集ピクセルに関して、第２の実施形態の「履歴情報付き不動ピクセル判定」のフロー（図９）において以下の変更を行う。
（i）図９のエンドで置き去りと判定された不動ピクセルを「持ち去り」に変更。
（ii）図９のエンドで持ち去りと判定された不動ピクセルを「置き去り」に変更。
なお、エッジの密集エリアの２値画像を用いたときの密集ピクセルの定義としては、以下の２方法がある。
（１）エッジの密集エリア内の全てのピクセルを密集ピクセルとする。
（２）エッジの密集エリア内かつエッジ強度が閾値以上のピクセルを密集ピクセルとするが、何れも用いてもよい。
【００３０】
以下、本実施形態に係る判定装置２０で実施する背景エッジの密集エリアとそうでないエリアの２値画像を作成する手順を、図１１に示すフロー図を参照して説明する。
先ず電子カメラ１０の撮影画像を本実施形態に係る置き去り又は持ち去り判定装置２０に入力し（Ｓ５０１）、入力画像（背景画像）のエッジ画像を作成する（Ｓ５０２）。次に、エッジ画像の強度（画素値の強度）を閾値と対比して２値化し（Ｓ５０３）、クロージング、つまり、２値化したエッジ画像をn回膨張処理後、n回収縮処理をして、密集したエッジを結合する処理を行い（Ｓ５０４）、続いてオープニング、つまり、クロージングしたエッジ画像をn回収縮処理して孤立した細いエッジを除去した後、n回膨張処理してサイズを元に戻す処理を行う。
以上の処理で作成された２値画像を使用して第３の実施形態は実現される。ここで、上記２値画像作成処理は、映像に異物がない時に１度行う処理であり、毎フレーム行うわけではない。
【００３１】
図１２は、上記オープニング処理とクロージング処理を説明するための図である。
図１２Ａは、背景エッジ２値画像を示す。図示のエッジは密集していない場所と密集している場所を示している。次に、それぞれのエッジ２値画像をクロージング処理、つまりエッジ２値画像をｎ回膨張して密集したエッジを結合する。図１２Ｂはｎ回膨張後の２値画像を示す。続いて得られた２値画像をｎ回収縮処理をしてサイズを元に戻し、図１２Ｃの２値画像を得る。ここで、オープニングつまり、ｎ回収縮して密集でないエッジ（孤立したエッジ）の除去を行う。図１２Ｄは孤立したエッジを除去した後の２値画像である。最後にエッジ除去後の２値画像をｎ回膨張して元のサイズに戻して処理を終了する。
以上の処理により、背景画像のエッジが密集しており、背景画像エッジ強度が物体エッジ強度よりも大きい場合であっても、密集ピクセルに関して、第１の実施形態では「置き去り又は持ち去り判定フロー」（図３）、第２の実施形態では、「密集情報付き不動ピクセル判定フロー」（図９）の処理を変更することにより、そのピクセル（つまり異物）が置き去りによるものか持ち去りによるものかを正しく判定することができる。
【００３２】
次に、他の実施形態について説明する。
第４の実施形態
図１１に示すフローの２値化（Ｓ５０３）後に作成される背景エッジ２値画像を利用して、その背景エッジピクセルに関して、第１の実施形態の「置き去り又は持ち去り判定フロー」（図３）において以下の変更を行う。
(i)背景差分値が正値かつ閾値以上の場合、「異物でない」とする。
(ii)背景差分値が負値かつ閾値未満の場合、「異物でない」とする。
(iii)それ以外の場合も、異物でないとする。
以上の処理によると、元々の背景に存在する床の＋模様のエッジ（図５Ａ（１））などのピクセルは常に異物でないと判定されるため、図５Ａでは物体エッジの置き去り判定のみ発生し、図５Ｂでは物体エッジの持ち去り判定のみ発生するため、例外１の問題を解決することができる。
ここで、背景エッジ２値画像作成処理は画像に異物がない時に１度行うだけの処理であり、毎フレーム行っているのではない。
【００３３】
第５の実施形態
第４の実施形態は例外１の問題を解決することができたが、もし、図６Ａ（１）や図６Ｂ（１）のように元々の背景でエッジが密集している箇所に物体が置かれた場合に、そのピクセルは常に異物でないと判定されるため物体を検知できなくなる場合がある。
このとき、第４の実施形態に加えて、図１１に示すフローのエンドで作成されている背景エッジの密集エリアとそうでないエリアの２値画像を利用して、密集ピクセルに関して、第１の実施形態の「置き去り又は持ち去り判定フロー」（図３）において以下の変更を行う。第４の実施形態での変更も併せて記述すると、
（１）まず、背景エッジ２値画像を利用して、背景エッジピクセルに関して、
(i)背景差分値が正値かつ閾値以上の場合、「異物でない」とする。
(ii)背景差分値が負値かつ閾値未満の場合、「異物でない」とする。
(iii)それ以外の場合も、異物でないとする。
（２）その後に、背景エッジの密集エリアとそうでないエリアの２値画像を利用して、密集ピクセルに関して、
(i)背景差分値が正値かつ閾値以上の場合、「持ち去り有り」とする。
(ii)背景差分値が負値かつ閾値未満の場合、「置き去り有り」とする。
(iii)それ以外の場合も、異物でないとする。
以上の処理によると、元々の背景に存在する床の＋模様のエッジ（図５Ａ（１））などのピクセルは常に異物でないと判定されるため、図５Aでは物体エッジの置き去り判定のみ発生し、図５Ｂでは物体エッジの持ち去り判定のみ発生し、図６Ａや図６Ｂのエッジが密集している箇所に物体が置かれた場合でも、物体が置き去りによるものか持ち去りによるものかを正しく判定することができるため、例外１と例外２を解決することができる。
ここで、背景エッジ２値画像作成処理と背景エッジの密集エリアとそうでないエリアの２値画像作成処理は画像に異物がない時に１度行うだけの処理であり、毎フレーム行っているのではない。
【符号の説明】
【００３４】
１０・・・電子カメラ、２０・・・判定装置、２００・・・判定制御装置、２０１・・・差分画像作成手段、２０２・・・置き去り又は持ち去り判定手段、２０３・・・不動ピクセル判定手段、２０４・・・ラベリング手段、２０５・・・背景画像更新手段、２０６・・・履歴情報付加手段、２０７・・・オープニング処理手段、２０８・・・クロージング処理手段、２２・・・記憶装置、２４・・・表示装置、２６・・・入力装置、３０・・・バス。
【特許請求の範囲】
【請求項１】
撮影装置で撮影した監視区域の背景画像を記憶する記憶装置と、
前記背景画像と撮影装置で撮影した監視区域の現在画像との差分画像を作成する差分画像作成手段と、
作成された差分画像のピクセルの正又は負の符号に基づき前記差分画像が置き去り又は持ち去りによるものかを判定する置き去り又は持ち去り判定手段と、
を有することを特徴とする置き去り又は持ち去り判定装置。
【請求項２】
請求項１に記載された置き去り又は持ち去り判定装置において、
前記置き去り又は持ち去り判定手段の判定結果に基づき、前記背景画像を更新する背景画像更新手段を有することを特徴とする置き去り又は持ち去り判定装置。
【請求項３】
請求項２に記載された置き去り又は持ち去り判定装置において、
前記置き去り又は持ち去り判定手段により置き去り又は持ち去りと判定されたピクセルが一定時間以上置き去り又は持ち去り状態が継続したとき、当該ピクセルを不動ピクセルと判定する不動ピクセル判定手段を有し、前記背景画像更新手段は、前記不動ピクセルで背景画像の該当ピクセルを更新することを特徴とする置き去り又は持ち去り判定装置。
【請求項４】
請求項２又は３のいずれかに記載された置き去り又は持ち去り判定装置において、
背景画像のエッジ画像が含まれているとき、前記エッジ画像のピクセルに置き去り又は持ち去りの履歴情報を付加する履歴情報付加手段を有し、
前記置き去り又は持ち去り判定手段は、前記不動ピクセルの履歴情報を参照してピクセルの置き去り又は持ち去りの判定を行うことを特徴とする置き去り又は持ち去り判定装置。
【請求項５】
請求項４に記載された置き去り又は持ち去り判定装置において、
前記置き去り又は持ち去り判定手段は、不動ピクセルが置き去り判定のとき、履歴情報が持ち去りであれば、その判定を持ち去りに変更し、不動ピクセルが置き去り判定のときで履歴情報が持ち去りでないとき、及び不動ピクセルが持ち去り判定で履歴情報が置き去りであれば、前記履歴情報に関係なく、前記置き去り又は持ち去り判定手段の判定結果を維持し、不動ピクセルが持ち去り判定のときで、履歴情報が置き去りのとき、その判定を置き去りに変更することを特徴とする置き去り又は持ち去り判定装置。
【請求項６】
置き去り又は持ち去り判定装置における置き去り又は持ち去り判定方法であって、
撮影装置で撮影した監視区域の背景画像を記憶する記憶工程と、
前記背景画像と撮影装置で撮影した監視区域の現在画像との差分画像を作成する差分画像作成工程と、
作成された差分画像のピクセルの正又は負の符号に基づき前記差分画像が置き去り又は持ち去りによるものかを判定する置き去り又は持ち去り判定工程と、
を有することを特徴とする置き去り又は持ち去り判定方法。
【請求項７】
請求項６に記載された置き去り又は持ち去り判定方法において、
前記置き去り又は持ち去り判定手段の判定結果に基づき、前記背景画像を更新する背景画像更新工程を有することを特徴とする置き去り又は持ち去り判定方法。
【請求項８】
請求項１ないし５のいずれかに記載された置き去り又は持ち去り判定装置のコンピュータを、前記置き去り又は持ち去り判定装置の各手段として機能させることを特徴とするプログラム。
【請求項１】
撮影装置で撮影した監視区域の背景画像を記憶する記憶装置と、
前記背景画像と撮影装置で撮影した監視区域の現在画像との差分画像を作成する差分画像作成手段と、
作成された差分画像のピクセルの正又は負の符号に基づき前記差分画像が置き去り又は持ち去りによるものかを判定する置き去り又は持ち去り判定手段と、
を有することを特徴とする置き去り又は持ち去り判定装置。
【請求項２】
請求項１に記載された置き去り又は持ち去り判定装置において、
前記置き去り又は持ち去り判定手段の判定結果に基づき、前記背景画像を更新する背景画像更新手段を有することを特徴とする置き去り又は持ち去り判定装置。
【請求項３】
請求項２に記載された置き去り又は持ち去り判定装置において、
前記置き去り又は持ち去り判定手段により置き去り又は持ち去りと判定されたピクセルが一定時間以上置き去り又は持ち去り状態が継続したとき、当該ピクセルを不動ピクセルと判定する不動ピクセル判定手段を有し、前記背景画像更新手段は、前記不動ピクセルで背景画像の該当ピクセルを更新することを特徴とする置き去り又は持ち去り判定装置。
【請求項４】
請求項２又は３のいずれかに記載された置き去り又は持ち去り判定装置において、
背景画像のエッジ画像が含まれているとき、前記エッジ画像のピクセルに置き去り又は持ち去りの履歴情報を付加する履歴情報付加手段を有し、
前記置き去り又は持ち去り判定手段は、前記不動ピクセルの履歴情報を参照してピクセルの置き去り又は持ち去りの判定を行うことを特徴とする置き去り又は持ち去り判定装置。
【請求項５】
請求項４に記載された置き去り又は持ち去り判定装置において、
前記置き去り又は持ち去り判定手段は、不動ピクセルが置き去り判定のとき、履歴情報が持ち去りであれば、その判定を持ち去りに変更し、不動ピクセルが置き去り判定のときで履歴情報が持ち去りでないとき、及び不動ピクセルが持ち去り判定で履歴情報が置き去りであれば、前記履歴情報に関係なく、前記置き去り又は持ち去り判定手段の判定結果を維持し、不動ピクセルが持ち去り判定のときで、履歴情報が置き去りのとき、その判定を置き去りに変更することを特徴とする置き去り又は持ち去り判定装置。
【請求項６】
置き去り又は持ち去り判定装置における置き去り又は持ち去り判定方法であって、
撮影装置で撮影した監視区域の背景画像を記憶する記憶工程と、
前記背景画像と撮影装置で撮影した監視区域の現在画像との差分画像を作成する差分画像作成工程と、
作成された差分画像のピクセルの正又は負の符号に基づき前記差分画像が置き去り又は持ち去りによるものかを判定する置き去り又は持ち去り判定工程と、
を有することを特徴とする置き去り又は持ち去り判定方法。
【請求項７】
請求項６に記載された置き去り又は持ち去り判定方法において、
前記置き去り又は持ち去り判定手段の判定結果に基づき、前記背景画像を更新する背景画像更新工程を有することを特徴とする置き去り又は持ち去り判定方法。
【請求項８】
請求項１ないし５のいずれかに記載された置き去り又は持ち去り判定装置のコンピュータを、前記置き去り又は持ち去り判定装置の各手段として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−２１７２０１（Ｐ２０１１−２１７２０１Ａ）
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願番号】特願２０１０−８４５９０（Ｐ２０１０−８４５９０）
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（３０４０２０４９８）サクサ株式会社 (678)
【Ｆターム（参考）】
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（３０４０２０４９８）サクサ株式会社 (678)
【Ｆターム（参考）】
[ Back to top ]