監視装置
【課題】キャッシュレジスタからの金銭抜き取りを検知する。
【解決手段】監視装置１００は、キャッシュレジスタが載置される空間を撮像したフレーム画像を取得する画像取得部１０２と、基準画像とフレーム画像とを比較する画像処理部１０４と、を有する。画像処理部１０４は、店員領域に存在する店員の位置を基点とする複数の分割領域を設定する複数領域設定部１１６と、複数の分割領域のうちの少なくともひとつと開いているキャッシュレジスタのドロアが占めるドロア領域とが重畳する場合に、重畳する分割領域におけるフレーム画像の画素値からドロアに対して店員が動作を行っているか否かを判定する動作検知部１１８と、顧客領域におけるフレーム画像の画素値から顧客領域における顧客の存否を判定する顧客存否判定部１１２と、ドロアに対して店員が動作を行っていると判定され、かつ、顧客がいないと判定された場合、警告を送信する監視部１２０と、を含む。
【解決手段】監視装置１００は、キャッシュレジスタが載置される空間を撮像したフレーム画像を取得する画像取得部１０２と、基準画像とフレーム画像とを比較する画像処理部１０４と、を有する。画像処理部１０４は、店員領域に存在する店員の位置を基点とする複数の分割領域を設定する複数領域設定部１１６と、複数の分割領域のうちの少なくともひとつと開いているキャッシュレジスタのドロアが占めるドロア領域とが重畳する場合に、重畳する分割領域におけるフレーム画像の画素値からドロアに対して店員が動作を行っているか否かを判定する動作検知部１１８と、顧客領域におけるフレーム画像の画素値から顧客領域における顧客の存否を判定する顧客存否判定部１１２と、ドロアに対して店員が動作を行っていると判定され、かつ、顧客がいないと判定された場合、警告を送信する監視部１２０と、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視装置に関し、特に人の動作を検知する監視装置に関する。
【背景技術】
【０００２】
書店やコンビニエンスストアなどの店舗では多くの場合、各所に監視カメラが設けられている。特に現金が保管されているキャッシュレジスタの周辺は監視カメラで監視されていることが多い。この監視カメラの役割としてはまず、外部の者による万引きの防止、およびその証拠の収集が考えられる。
【０００３】
特許文献１には、万引きする者に特徴的な動作を検知してオーナーに知らせる判別装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１３５００１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
オーナーにとって万引きと並んで気をつけたいのが、店員によるキャッシュレジスタの不正操作、特にキャッシュレジスタからの現金の抜き取りである。これはいわゆる内部の不正であり、既存の監視システムでは検知が難しい。
【０００６】
本発明はこうした課題に鑑みてなされたものであり、その目的は、人の不正な動作を検知しうる技術の提供にある。
【課題を解決するための手段】
【０００７】
本発明のある態様は監視装置に関する。この監視装置は、キャッシュレジスタが載置される空間を撮像したフレーム画像を取得する画像取得部と、基準画像と画像取得部によって取得されたフレーム画像とを比較する画像処理部と、を備える。画像処理部は、キャッシュレジスタを操作する側の第１領域に存在する人の位置を基点とする複数の第２領域を設定する複数領域設定部と、複数の第２領域のうちの少なくともひとつと開いているキャッシュレジスタのドロアが占める第３領域とが少なくとも部分的に重畳する場合に、第３領域と少なくとも部分的に重畳する第２領域におけるフレーム画像の画素値からキャッシュレジスタのドロアに対して人が動作を行っているか否かを判定する動作検知部と、第１領域とは異なる第４領域におけるフレーム画像の画素値から第４領域における人の存否を判定する存否判定部と、動作検知部においてキャッシュレジスタのドロアに対して人が動作を行っていると判定され、かつ、存否判定部において第４領域に人がいないと判定された場合、所定の処理を行う監視部と、を含む。
【０００８】
この態様によると、第１領域に存在する人の位置を基点として設定された第２領域におけるフレーム画像の画素値を使用して、キャッシュレジスタに対する人の動作を検知することができる。
【０００９】
本発明の別の態様もまた、監視装置である。この監視装置は、対象が載置される空間を撮像したフレーム画像を取得する画像取得部と、基準画像と画像取得部によって取得されたフレーム画像とを比較する画像処理部と、を備える。画像処理部は、所定の第１領域に存在する人の位置を基点とする複数の第２領域を設定する複数領域設定部と、複数の第２領域のうちの少なくともひとつと対象に関連する第３領域とが少なくとも部分的に重畳する場合に、第３領域と少なくとも部分的に重畳する第２領域におけるフレーム画像の画素値から対象に対して人が動作を行っているか否かを判定する動作検知部と、動作検知部において対象に対して人が動作を行っていると判定された場合、所定の処理を行う監視部と、を含む。
【００１０】
本発明の別の態様もまた、監視装置である。この監視装置は、人を撮像したフレーム画像を取得する画像取得部と、画像取得部によって取得されたフレーム画像に対して、人の位置を基点とする監視領域を設定する監視領域設定部と、監視領域を複数の分割監視領域に分割する監視領域分割部と、複数の分割監視領域のうちの少なくともひとつにおけるフレーム画像の特性の変化に基づいて人が動作を行っているか否かを判定する判定部と、を備える。
【００１１】
なお、以上の構成要素の任意の組み合わせや、本発明の構成要素や表現を装置、方法、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体などの間で相互に置換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１２】
本発明によれば、人の不正な動作を検知できる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施の形態に係る監視装置を含む監視システムを示す概略図である。
【図２】図１の監視装置およびその周辺の機能および構成を示すブロック図である。
【図３】図２の領域設定部によって設定される領域を示す説明図である。
【図４】図２の領域分割部におけるリーチ領域の設定および分割を説明するための説明図である。
【図５】図２の差分判定部における判定を説明するための説明図である。
【図６】背景画像を示す模式図である。
【図７】図１の監視装置における一連の処理を示すフローチャートである。
【図８】第１変形例に係る領域分割部におけるリーチ領域の分割を説明するための説明図である。
【図９】第２変形例に係る領域分割部におけるリーチ領域の分割を説明するための説明図である。
【図１０】第３変形例に係る領域分割部におけるリーチ領域の設定および分割を説明するための説明図である。
【図１１】第４変形例に係る重畳領域を説明するための説明図である。
【図１２】第２の実施の形態の領域設定部によって設定される領域を示す説明図である。
【図１３】第２の実施の形態の領域分割部におけるリーチ領域の設定および分割を説明するための説明図である。
【図１４】第２の実施の形態の差分判定部における判定を説明するための説明図である。
【図１５】不審動作判別装置を示すブロック図である。
【図１６】個別動作別特徴算出係数の算出と記録までの処理手順を示す流れ図である。
【図１７】移動体の判別の処理手順を示す流れ図である。
【図１８】第６変形例に係る監視装置における店員の「ちらちら周りを確認するしぐさ」の検知方法の一例を説明するための説明図である。
【図１９】店員が「ちらちら周りを確認するしぐさ」を行っている場合の各分割監視領域における輝度変化の一例を示すグラフである。
【図２０】人が監視カメラに向かって歩いてくる場合を説明するための説明図である。
【図２１】第７変形例に係る領域分割部におけるリーチ領域の分割を説明するための説明図である。
【図２２】色情報としては頭部の色のみが示されたリーチ領域を示す説明図である。
【図２３】変化領域を説明するための説明図である。
【図２４】記憶部に記憶されるパターンデータの構造の一例を示すデータ構造図である。
【図２５】第１左側分割領域および第２左側分割領域のそれぞれに割り当てられた値の時間的な変遷の一例を示すグラフである。
【図２６】第１右側分割領域および第２右側分割領域のそれぞれに割り当てられた値の時間的な変遷の一例を示すグラフである。
【発明を実施するための形態】
【００１４】
以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。
【００１５】
（第１の実施の形態）
店舗においてキャッシュレジスタおよびその周辺で通常行われる動作としては、例えば顧客がキャッシュレジスタの前に立って購入したい商品をチェックアウトすることがある。この場合、キャッシュレジスタの前に立つ顧客がおり、かつ、キャッシュレジスタを操作する店員がいる。また、そのような顧客がいなければ普通店員はキャッシュレジスタの周りにおらず、いたとしてもキャッシュレジスタのドロアを開ける理由はない。以上の正常な状態に対して例えば以下の条件が満たされる場合、店員の不正が疑われる状態といえる。
（１）キャッシュレジスタの前に立つ顧客がいない、かつ、
（２）キャッシュレジスタを操作する店員がいる、かつ、
（３）キャッシュレジスタのドロアが開いている、かつ、
（４）ドロアに手が触れている。
この場合、店員がキャッシュレジスタから現金を盗んでいる可能性がある。
【００１６】
第１の実施の形態に係る監視装置は、店舗に設置されたキャッシュレジスタおよびその周辺を撮像する監視カメラに接続される。監視装置は監視カメラからの画像を解析し、例えば上記の条件（以下、「店員不正動作条件」と呼ぶ）が満たされると監視センタに警告を発する。店員不正動作条件は店員によるキャッシュレジスタの不正動作を検出するための条件である。これにより、たとえキャッシュレジスタから現金が盗まれても、監視装置からの警告によりその事実をいち早くキャッチして適切な対処ができる。
【００１７】
図１は、第１の実施の形態に係る監視装置１００を含む監視システム１を示す概略図である。監視システム１は、店舗１０の例えば天井に設置されキャッシュレジスタ４付近の画像を所定の周期で取得する監視カメラ２と、監視カメラ２からフレーム画像データ（以下、単にフレーム画像と称す）を取得する監視装置１００と、を備える。特に監視カメラ２の画角は、キャッシュレジスタ４、キャッシュレジスタ４を操作する店員５、店員５の手元、およびキャッシュレジスタ４の前に立つ顧客を撮影できる方向に設定される。
【００１８】
監視システム１はさらに、監視センタ２０内に設けられインターネットなどのネットワーク６を通じて監視装置１００と通信するセンタサーバ２２と、監視パネル２４と、を備える。センタサーバ２２は図示の監視装置１００以外にも図示されない他の同様の監視装置とネットワーク６を介して通信する。監視パネル２４は複数の監視モニタ２６を含み、各監視モニタ２６は対応する監視カメラからのフレーム画像を表示する。
監視装置１００は、監視センタ２０内のセンタサーバ２２に設けられてもよく、その場合には、監視カメラ２のデータをネットワーク６を介してセンタサーバ２２に送ることになる。
【００１９】
監視装置１００は、監視カメラ２から送られてくるフレーム画像を処理した結果、店員５がキャッシュレジスタ４に対して異常もしくは不正な動作（以下単に不正動作と称す。）を行なっていると判定した場合、ネットワーク６を通じてセンタサーバ２２に警告を送る。センタサーバ２２は、その警告を受けると複数の監視モニタ２６のうち警告が送られてきた監視カメラ２に対応する監視モニタ２６を強調する。この強調方法としては例えば強調すべき監視モニタ２６の輝度を他の監視モニタ２６よりも高くしてもよく、また監視モニタ２６に点滅表示させてもよい。また、例えばひとつの監視モニタ２６に複数の監視カメラが対応している場合は、割り込み処理などにより警告が送られてきた監視カメラ２のカメラ画像を監視モニタ２６に映してもよい。これにより、監視センタ２０内で店舗における不正等を監視している監視者は容易に不正動作の可能性を察知することができる。
【００２０】
また、監視装置１００は、キャッシュレジスタ４に対して不正動作が行われていると判定した場合、ネットワーク６および基地局７を介して店舗１０のオーナーの携帯端末８にも警告を送る。特に監視装置１００は、携帯端末８にキャッシュレジスタ４のＩＤや監視カメラ２のフレーム画像の一部を含む電子メールを送信する。これにより店舗１０のオーナーは不正動作を素早く察知できる。
【００２１】
図２は、監視装置１００およびその周辺の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのＣＰＵ（central processing unit）をはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解されるところである。
【００２２】
監視装置１００は、画像取得部１０２と、画像処理部１０４と、基準画像ＤＢ１０６と、基準画像更新部１０８と、を備える。
画像取得部１０２は、キャッシュレジスタ４が載置される空間を撮像したフレーム画像を監視カメラ２から取得する。監視カメラ２は天井に設置されているので、その監視カメラ２によって撮像されるフレーム画像は、キャッシュレジスタ４が載置される空間を店員５の頭部側から撮像したものとなる。以下キャッシュレジスタ４に対して店舗１０の天井側を上として説明する。
【００２３】
画像処理部１０４は、背景画像１５８（図６で後述）や過去画像などの基準画像と画像取得部１０２によって取得されたフレーム画像とを比較する。画像処理部１０４はその比較の結果、店員５がキャッシュレジスタ４に対して不正動作、例えば現金の抜き取り、を行っていると判定すると、センタサーバ２２に警告を送信する。
ここで背景画像１５８は、キャッシュレジスタ４が載置される空間を撮像したフレーム画像のうち、店員および顧客のいずれも存在せず、キャッシュレジスタ４のドロアが閉まっている状態のフレーム画像である。また過去画像とは、画像処理部１０４で処理されるフレーム画像よりも過去の、例えば１フレーム前のフレーム画像である。基準画像ＤＢ１０６は、基準画像を記憶する。
【００２４】
店舗１０における業務の都合上キャッシュレジスタ４周辺の状況、例えば物の配置が変わることが考えられる。この場合、画像処理部１０４における不正動作の誤判定を防ぐために背景画像１５８を更新する必要がある。
基準画像更新部１０８は、画像取得部１０２によって取得されたフレーム画像を使用して背景画像１５８および過去画像を生成し、生成されたそれらの画像で基準画像ＤＢ１０６を更新する。
基準画像更新部１０８は、定期的にもしくは監視装置１００の管理者、例えばオーナーからの指示が入力手段１３８からあると、基準画像ＤＢ１０６に記憶される背景画像１５８をその時点で画像取得部１０２によって取得されたフレーム画像で置き換える。これにより画像処理部１０４における誤判定の数を低減できる。
【００２５】
画像処理部１０４は、領域設定部１１０と、顧客存否判定部１１２と、開閉判定部１１４と、複数領域設定部１１６と、動作検知部１１８と、監視部１２０と、領域指定部１２２と、を含む。
領域設定部１１０は、画像取得部１０２によって取得されたフレーム画像のなかに画像比較の対象となる少なくともひとつの領域を設定する。本実施の形態ではフレーム画像の全体を基準画像の全体と比較するのではなく、フレーム画像のうち必要な部分を切り出して比較する。これにより処理に必要なメモリ量を低減しうる。
【００２６】
領域設定部１１０は、フレーム画像のなかに顧客領域を設定する顧客領域設定部１２４と、フレーム画像のなかにドロア領域を設定するドロア領域設定部１２６と、フレーム画像のなかに店員領域を設定する店員領域設定部１２８と、を有する。
図３は、領域設定部１１０によって設定される領域を示す説明図である。顧客領域１４２は、フレーム画像１４０のうちキャッシュレジスタ４の前に立つ顧客が存在する領域である。店員領域１４４は、キャッシュレジスタ４を操作する店員が存在する領域である。ドロア領域１４６は、キャッシュレジスタ４のドロア（図３では不図示）を開けた場合にそのドロアが占める領域である。
【００２７】
顧客領域設定部１２４は、フレーム画像１４０の２次元座標系において、後述する領域指定部１２２によって予め指定された４つまたは５つ以上の多角形の座標を結んで形成される矩形の領域内に含まれる画像データを特定することによって顧客領域１４２を設定する。ドロア領域設定部１２６および店員領域設定部１２８についても同様である。
【００２８】
図２に戻る。領域指定部１２２は、顧客領域１４２、店員領域１４４、ドロア領域１４６の各領域を設定するための４つの座標または５つ以上の多角形をそれぞれ入力手段１３８から取得する。
【００２９】
顧客存否判定部１１２は、顧客領域１４２内における背景画像１５８の画素値とフレーム画像１４０の画素値との差分を演算し、その差分の絶対値の総和が所定の値以下であればフレーム画像１４０の顧客領域１４２には顧客が存在しないと判定する。顧客存否判定部１１２は、差分の絶対値の総和が所定の値より大きければフレーム画像１４０の顧客領域１４２に顧客が存在すると判定する。なお、差分の絶対値の総和が所定の値より大きい場合、顧客存否判定部１１２は画像処理部１０４におけるそのフレーム画像１４０の処理を中断させる。
【００３０】
開閉判定部１１４は、以下の（１）〜（３）のいずれかの基準を使用してキャッシュレジスタ４のドロアの開閉を判定する。
（１）開閉判定部１１４は、ドロア領域１４６内における背景画像１５８の画素値とフレーム画像１４０の画素値との差分を演算し、その差分の絶対値の総和が所定の値以上であればドロアが開いていると判定する。
（２）開閉判定部１１４は、ドロア領域１４６内における背景画像１５８の画素値とフレーム画像１４０の画素値との差分の絶対値を新たな画素値とする差分画像のなかに、所定のドロアの形状を認識できる場合はドロアが開いていると判定する。
（３）（１）の条件と（２）の条件の両者が成立する場合に開閉判定部１１４はドロアが開いていると判定する。この場合、より正確にドロアの開閉判定を行うことができる。
【００３１】
開閉判定部１１４においてドロアが閉じていると判定される場合に、開閉判定部１１４は画像処理部１０４におけるそのフレーム画像１４０の処理を中断させる。
また、開閉判定部１１４は、（１）の基準では差分の絶対値の総和の大きさによって、（２）の基準ではドロアの形状によって、ドロアがどの程度開いているか、つまりドロアの開きの度合いを判別してもよい。さらに開閉判定部１１４は判別されたドロアの開きの度合いに基づいて、ドロア領域設定部１２６で設定されたドロア領域１４６の例えば大きさや範囲を変更してもよい。特に開閉判定部１１４は判別されたドロアの開きの度合いに合致するようにドロア領域１４６を変更してもよい。この場合、ドロアの実際の開き具合により即した不正動作判定が可能となるので、誤判定の可能性を低減できる。
【００３２】
複数領域設定部１１６は、店員領域１４４における店員５の存否をまず判定し、存在する場合はその店員５の位置を基点とする複数の領域を設定する。複数領域設定部１１６は、店員存否判定部１３０と、領域分割部１３２と、を有する。
店員存否判定部１３０は、店員領域１４４内における背景画像１５８の画素値とフレーム画像１４０の画素値との差分を演算し、その差分の絶対値の総和が所定の値以上であればフレーム画像１４０の店員領域１４４に店員が存在すると判定する。差分の絶対値の総和が所定の値より小さい場合、店員存否判定部１３０は画像処理部１０４におけるそのフレーム画像１４０の処理を中断させる。
【００３３】
領域分割部１３２は、店員存否判定部１３０において店員領域１４４に店員５が存在すると判定されると、その店員５の店員領域１４４内での位置を基点（この場合は中心）とするリーチ領域を設定し、そのリーチ領域を分割する。
図４は、領域分割部１３２におけるリーチ領域１４８の設定および分割を説明するための説明図である。領域分割部１３２は店員５の頭部５ａの位置の座標をパターン認識等の公知の技術を使用して算出する。領域分割部１３２は、頭部５ａの位置の座標を中心に所定の範囲、例えば手が届く程度の範囲の領域をリーチ領域１４８として設定する。ここでリーチ領域１４８を大きくしすぎると画像処理部１０４における処理量が増え、小さくしすぎると腕の長さの個人差に対応できなくなりうる。したがってリーチ領域１４８はそれらの影響が拮抗する範囲とされる。例えば、店員５の位置から１ｍ程度の距離が外縁となるようにリーチ領域１４８を設定してもよい。領域分割部１３２は、フレーム画像１４０上のスケール、例えば画素単位、と実空間内のスケール、例えばｍ（メートル）単位との間の換算を行う換算部（不図示）を有する。
領域分割部１３２は、リーチ領域１４８を頭部５ａの位置において直交する２本の直線１５０、１５２によって４分割する。分割後の領域をそれぞれ第１〜第４分割領域１５４ａ〜１５４ｄと呼ぶ。
【００３４】
図２に戻る。動作検知部１１８は、第１〜第４分割領域１５４ａ〜１５４ｄのうちの少なくともひとつとドロア領域１４６とが少なくとも部分的に重畳する場合に、ドロア領域１４６と少なくとも部分的に重畳する分割領域におけるフレーム画像１４０の画素値からキャッシュレジスタ４のドロアに対して店員５が動作を行っているか否かを判定する。動作検知部１１８は、重畳判定部１３４と、差分判定部１３６と、を有する。
【００３５】
具体的に、重畳判定部１３４は、第１〜第４分割領域１５４ａ〜１５４ｄのうちの少なくともひとつとドロア領域１４６とが少なくとも部分的に重畳するか否かを判定する。これは例えば第１〜第４分割領域１５４ａ〜１５４ｄに含まれる画素とドロア領域１４６に含まれる画素との間に共通する画素が存在するか否かによって判定される。
【００３６】
差分判定部１３６は、重畳判定部１３４において重畳すると判定された場合、第１〜第４分割領域１５４ａ〜１５４ｄの各領域内における現在のフレーム画像１４０の画素値と基準画像ＤＢ１０６から取得する過去画像、例えば現在よりも１フレーム前のフレーム画像の画素値との差分を演算する。差分判定部１３６は、ドロア領域１４６と少なくとも部分的に重畳する分割領域における差分の絶対値の総和が所定の第１判定値以上であり、かつ、それ以外の分割領域における差分の絶対値の総和が所定の第２判定値以下である場合に、キャッシュレジスタ４のドロアに対して店員５が動作を行っていると判定する。第１判定値と第２判定値とは等しく設定されてもよく、また、異なる値に設定されてもよい。
【００３７】
図５は、差分判定部１３６における判定を説明するための説明図である。図５では第１分割領域１５４ａがドロア領域１４６と部分的に重畳している。一人の店員５がキャッシュレジスタ４のドロア１５６に対して片手で動作を行っている場合、店員５の手５ｂの動きによって第１分割領域１５４ａにおける差分の絶対値の総和は大きくなる。したがって、第１判定値を適切に設定することにより、ドロア１５６に対して店員５が何かの動作を行っていると判定できる。
【００３８】
また、他の分割領域（第２〜第４分割領域１５４ｂ〜１５４ｄ）における差分の絶対値の総和も演算され、第２判定値と比較される。これにより差分判定部１３６における誤判定が低減される。仮に第１分割領域１５４ａにおける差分の絶対値の総和と第１判定値との比較のみを使用して判定を行う場合を考える。すると例えば監視カメラ２の誤動作や外来ノイズによってフレーム画像１４０とそれよりも１フレーム前のフレーム画像との間で全体的な輝度変化が生じた場合、店員５がドロア１５６に手を伸ばしていなくても第１分割領域１５４ａにおける差分の絶対値の総和は第１判定値以上となりえる。そうなるとドロア１５６に対して店員５が何かの動作を行っていると誤判定される可能性がある。しかしながら本実施の形態に係る監視装置１００の差分判定部１３６ではドロア領域１４６と少なくとも部分的に重畳する分割領域における差分だけでなく他の分割領域における差分も使用して動作判定するので、かかる誤判定の可能性を低減できる。フレーム画像１４０とそれよりも１フレーム前のフレーム画像との間で全体的な輝度変化が生じた場合は、他の分割領域（第２〜第４分割領域１５４ｂ〜１５４ｄ）における差分の絶対値の総和もまた大きくなるからである。第２判定値を適切な値に設定することでそのような誤判定の多くを排除できる。
【００３９】
図２に戻る。監視部１２０は、動作検知部１１８においてキャッシュレジスタ４のドロア１５６に対して店員５が動作を行っていると判定され、かつ、顧客存否判定部１１２において顧客領域１４２に顧客がいないと判定され、かつ、開閉判定部１１４においてドロア１５６が開いていると判定された場合、不正動作が行われていると判定する。
監視部１２０は不正動作が行われていると判定されると、ネットワーク６を介してセンタサーバ２２および携帯端末８に警告を送る。センタサーバ２２に送られる警告は、不正動作が行われていると判定された時刻と、キャッシュレジスタ４のＩＤやフレーム画像１４０などの不正動作が行われている場所を特定するための情報と、を含む。
【００４０】
監視部１２０はさらに、不正動作が行われていると判定された後所定の待機時間、例えば一分が経過するまでは次の警告を送信しない。これにより誤判定が起こってもそれに対する警告の数を低減できる。
【００４１】
図６は、背景画像１５８を示す模式図である。背景画像１５８は、キャッシュレジスタ４の周辺に店員や顧客などの人がいない状態で、キャッシュレジスタ４の周辺を上から撮像したフレーム画像である。
【００４２】
上述の実施の形態において、基準画像ＤＢ１０６の例は、ハードディスクやメモリである。また、本明細書の記載に基づき、各ブロックを、図示しないＣＰＵや、インストールされたアプリケーションプログラムのモジュールや、システムプログラムのモジュールや、ハードディスクから読み出したデータの内容を一時的に記憶するメモリなどにより実現できることは本明細書に触れた当業者には理解されるところである。
【００４３】
図７は、監視装置１００における一連の処理を示すフローチャートである。画像取得部１０２は、キャッシュレジスタ４が載置される空間を撮像したフレーム画像１４０を監視カメラ２から取得する（Ｓ２０２）。領域設定部１１０は、フレーム画像１４０のなかに顧客領域１４２と、店員領域１４４と、ドロア領域１４６と、を設定する（Ｓ２０４）。顧客存否判定部１１２において顧客領域１４２に顧客がいると判定された場合（Ｓ２０６のＹ）、処理はステップＳ２０２に戻る。顧客領域１４２に顧客がいないと判定された場合（Ｓ２０６のＮ）、開閉判定部１１４においてドロア１５６の開閉が判定される（Ｓ２０８）。開閉判定部１１４においてドロア１５６が閉まっていると判定される場合（Ｓ２０８のＮ）、処理はステップＳ２０２に戻る。開閉判定部１１４においてドロア１５６が開いていると判定される場合（Ｓ２０８のＹ）、店員存否判定部１３０において店員領域１４４における店員５の存否が判定される（Ｓ２１０）。店員存否判定部１３０において店員領域１４４に店員５がいないと判定された場合（Ｓ２１０のＮ）、処理はステップＳ２０２に戻る。店員存否判定部１３０において店員領域１４４に店員５がいると判定された場合（Ｓ２１０のＹ）、領域分割部１３２は店員５の位置を基点とするリーチ領域１４８を設定する（Ｓ２１２）。領域分割部１３２は、そのリーチ領域１４８を第１〜第４分割領域１５４ａ〜１５４ｄに分割する（Ｓ２１４）。重畳判定部１３４においてドロア領域１４６は第１〜第４分割領域１５４ａ〜１５４ｄのいずれとも重畳しないと判定された場合（Ｓ２１６のＮ）、処理はステップＳ２０２に戻る。重畳判定部１３４において第１〜第４分割領域１５４ａ〜１５４ｄのうちの少なくともひとつとドロア領域１４６とに少なくとも部分的に重畳があると判定された場合（Ｓ２１６のＹ）、差分判定部１３６において、重畳する分割領域内におけるフレーム画像１４０の画素値とフレーム画像１４０の１フレーム前のフレーム画像の画素値との間の差分を使用した判定が行われる（Ｓ２１８）。差分判定部１３６において、重畳する分割領域における差分の絶対値の総和が第１判定値より小さいと判定された場合（Ｓ２１８のＮ）、処理はステップＳ２０２に戻る。差分判定部１３６において、重畳する分割領域における差分の絶対値の総和が第１判定値以上と判定された場合（Ｓ２１８のＹ）、差分判定部１３６において他の分割領域における差分を使用した判定が行われる（Ｓ２２０）。差分判定部１３６において、他の分割領域における差分の絶対値の総和が第２判定値より大きいと判定された場合（Ｓ２２０のＮ）、処理はステップＳ２０２に戻る。差分判定部１３６において、他の分割領域における差分の絶対値の総和が第２判定値以下と判定された場合（Ｓ２２０のＹ）、監視部１２０はセンタサーバ２２および携帯端末８に対して警告を送信する（Ｓ２２２）。
【００４４】
なお、ステップＳ２０６とステップＳ２０８とを入れ替えてもよい。すなわち、開閉判定部１１４におけるドロア１５６の開閉判定を最初に行ってもよい。
【００４５】
以上の構成による監視装置１００およびそれを含む監視システム１の動作を説明する。
監視システム１によってキャッシュレジスタ４の周辺が監視されているなかで店員５がキャッシュレジスタ４から現金を盗んだとする。すると監視装置１００は監視カメラ２から送られてくるフレーム画像を処理して店員５の不正な動作を検知し、監視センタ２０の監視者および店舗１０のオーナーにその旨を知らせる。監視者やオーナーは監視装置１００からの知らせに基づき警察への通報や盗んだ店員５の特定などを迅速に行うことができる。
【００４６】
本実施の形態に係る監視装置１００によると、監視カメラ２からのフレーム画像１４０に領域を設定し、その領域内におけるフレーム画像１４０の画素値を使用した条件判定を基に不正動作を判定する。したがって、例えばフレーム画像に映る店員の動作を追跡しその軌跡から計算することによって不正判定を行う場合と比較して、画像処理における計算量を低減することができる。また、店員５の位置の周りに複数の領域すなわち第１〜第４分割領域１５４ａ〜１５４ｄを設定し、各分割領域内におけるフレーム画像１４０の画素値を使用した条件判定を基に不正動作を判定する。したがって、やはり画像処理における計算量を低減できる。
【００４７】
また、顧客存否判定部１１２がフレーム画像１４０の顧客領域１４２に顧客が存在すると判定した場合、顧客存否判定部１１２は画像処理部１０４におけるそのフレーム画像１４０の処理を中断させる。顧客領域１４２に顧客が存在する場合、店員５がキャッシュレジスタ４から現金を盗んでいると判定するための必要条件のひとつが欠ける。したがって画像処理部１０４におけるその余の判定結果を待つまでもなくそのフレーム画像１４０からは不正動作は検出されない。そこで顧客領域１４２に顧客が存在すると判定された時点で現フレーム画像１４０の処理をやめて次のフレーム画像の処理を始めることで画像処理部１０４における処理量を低減し、より効率的な監視装置１００の運用が可能となる。
開閉判定部１１４がドロアが閉じていると判定した場合に開閉判定部１１４は画像処理部１０４におけるそのフレーム画像１４０の処理を中断させること、および、店員存否判定部１３０がフレーム画像１４０の店員領域１４４に店員５が存在しないと判定した場合に店員存否判定部１３０は画像処理部１０４におけるそのフレーム画像１４０の処理を中断させること、についても同様の作用効果がある。
【００４８】
領域分割部１３２における領域分割の変形例を説明する。
図８は、第１変形例に係る領域分割部１３２ａにおけるリーチ領域１４８の分割を説明するための説明図である。領域分割部１３２ａは、リーチ領域１４８を店員５の頭部５ａの位置を囲む２本の略楕円１６０ａ、ｂで分割する。その結果リーチ領域１４８は、それぞれが店員５の頭部５ａの位置を囲む環状の第１〜第３環状分割領域１６２ａ〜１６２ｃに分割される。
【００４９】
第１変形例に係る動作検知部１１８ａは、まず一番外側の第１環状分割領域１６２ａがドロア領域１４６と少なくとも部分的に重畳するか否かを判定する。動作検知部１１８ａは、重畳すると判定された場合、第１〜第３環状分割領域１６２ａ〜１６２ｃの各領域内におけるフレーム画像１４０の画素値と基準画像ＤＢ１０６から取得する過去画像、例えば現在よりも１フレーム前のフレーム画像の画素値との差分を演算する。動作検知部１１８ａは差分の絶対値の総和が所定の値以上となる環状分割領域の時間的な変遷を基に、店員５がキャッシュレジスタ４のドロア１５６に対して動作を行っているかを判定する。
【００５０】
特に動作検知部１１８ａは、ドロア領域１４６と第１環状分割領域１６２ａのみが重畳する場合、差分の絶対値の総和が所定の値以上となる環状分割領域が時が経つにつれて、第３環状分割領域１６２ｃ、第２環状分割領域１６２ｂ、第１環状分割領域１６２ａの順番に移り変わるときに、店員５がキャッシュレジスタ４のドロア１５６に対して動作を行っていると判定する。具体的には、第３環状分割領域１６２ｃにおける差分の絶対値の総和が所定の値以上となったときのフレーム画像を基点、例えばｎ０番目のフレームとする。ｎ０番目のフレーム以降で初めて第２環状分割領域１６２ｂにおける差分の絶対値の総和が所定の値以上となったときのフレーム画像をｎ１番目のフレームとする。ｎ１番目のフレーム以降で初めて第１環状分割領域１６２ａにおける差分の絶対値の総和が所定の値以上となったときのフレーム画像をｎ２番目のフレームとする。ここでｎ０、ｎ１およびｎ２はいずれも自然数であり、ｎ０＜ｎ１＜ｎ２を満たす。
なお、ｎ０番目のフレームとｎ１番目のフレームとの間のフレームにおけるフレーム画像では、第３環状分割領域１６２ｃにおける差分の絶対値の総和が所定の値以上となっていてもよいし、なっていなくてもよい。また、ｎ１番目のフレームとｎ２番目のフレームとの間のフレームにおけるフレーム画像では、第２環状分割領域１６２ｂにおける差分の絶対値の総和が所定の値以上となっていてもよいし、なっていなくてもよい。
【００５１】
また動作検知部１１８ａは、ドロア領域１４６と第１環状分割領域１６２ａのみが重畳する場合に、差分の絶対値の総和が所定の値以上となる環状分割領域が、第３環状分割領域１６２ｃ、第２環状分割領域１６２ｂ、第３環状分割領域１６２ｃ、の順番に移り変わるときは、店員５がキャッシュレジスタ４のドロア１５６に対して動作を行っているとは判定しない。
【００５２】
第１の実施の形態に係る監視装置１００では店員５が腕を伸ばして引っ込めるといった動作を判別するのは難しい。しかしながら本変形例によると、容易にそのような動作を判別できる。したがって店員５の腕の動きにもとづいて不正動作を判定できる。特に店員５の腕がドロア領域１４６に届いていない場合は不正動作と判定されないので、誤判定の数を低減できる。
【００５３】
図９は、第２変形例に係る領域分割部１３２ｂにおけるリーチ領域１４８の分割を説明するための説明図である。領域分割部１３２ｂは、リーチ領域１４８を店員５の頭部５ａの位置を囲む２本の略楕円１６０ａ、ｂおよび頭部５ａの位置において直交する２本の直線１５０、１５２によって分割する。
本変形例によると、第１の実施の形態の作用効果および第１変形例の作用効果の両者を得ることができる。したがって、さらに誤判定の少ない不正動作判定が可能となる。
【００５４】
図１０は、第３変形例に係る領域分割部１３２ｃにおけるリーチ領域の設定および分割を説明するための説明図である。領域分割部１３２ｃは、店員領域１４４に存在する店員５の位置とドロア領域１４６との間にリーチ領域１４８ｃを設定する。領域分割部１３２ｃは、リーチ領域１４８ｃを店員５の位置からの距離によって、例えば等間隔となるように分割する。その結果図１０ではリーチ領域１４８ｃは第１〜第４帯状分割領域１６４ａ〜１６４ｄおよび残余分割領域１６６に分割される。動作検知については重畳判定がない点を除き第１変形例に係る動作検知部１１８ａに準ずる。
【００５５】
本変形例によると、店員５の位置に対して設定するリーチ領域１４８ｃを第１の実施の形態の場合と比べて小さくできる。したがってより計算量を低減できる。
なお、領域分割部１３２ｃは店員５の手先周辺をさらに細かく分割してもよい。
【００５６】
第１の実施の形態では領域分割部１３２においてリーチ領域１４８を分割してから重畳判定部１３４で重畳判定する場合について説明したが、これに限られず、リーチ領域１４８を分割しなくてもよい。例えば第４変形例では、領域分割部１３２の代わりにリーチ領域設定部を設けてもよい。リーチ領域設定部は、店員存否判定部１３０において店員領域１４４に店員５が存在すると判定されると、その店員５の店員領域１４４内での位置を中心とするリーチ領域１４８を設定する。またこの場合、重畳判定部はリーチ領域１４８とドロア領域１４６とが少なくとも部分的に重畳するか否かを判定する。重畳する場合、重畳判定部はそれらが重畳する重畳領域１８０を設定する。言い換えると、重畳判定部はリーチ領域１４８に対して重畳領域１８０およびそれ以外の領域の２つの領域を設定する。
図１１は、第４変形例に係る重畳領域１８０を説明するための説明図である。リーチ領域１４８のうちドロア領域１４６と重畳する部分が重畳領域１８０である。
【００５７】
第４変形例に係る差分判定部１３６ｄは、重畳判定部において重畳すると判定された場合、重畳領域１８０内における現在のフレーム画像１４０の画素値と基準画像ＤＢ１０６から取得する過去画像、例えば現在よりも１フレーム前のフレーム画像の画素値との差分を演算する。
【００５８】
本変形例によると、リーチ領域１４８よりも小さな重畳領域１８０を差分演算に使用するので画像処理部１０４におけるデータの処理量を低減できると共に、重畳部分だけを見て動作を検知するので検知の確実性が向上する。
【００５９】
（第２の実施の形態）
第１の実施の形態では、監視カメラ２が天井に設置されて、店員５の頭部側からキャッシュレジスタ４が載置される空間を撮像する。一方、第２の実施の形態では、監視カメラ２が店舗１０の壁に設置されて、店員５の側方からキャッシュレジスタ４が載置される空間を撮像する。監視カメラ２の画角は、店員５の頭から足までを撮像できる画角に設定される。以下、第１の実施の形態と共通する部分の説明は省略する。
【００６０】
図１２は、領域設定部１１０によって設定される領域を示す説明図である。領域設定部１１０は、フレーム画像１７４のなかに顧客領域１６８と、店員領域１７０と、ドロア領域１７２と、を設定する。顧客領域１６８は、画像取得部１０２によって取得されるフレーム画像１７４のうちキャッシュレジスタ４の前に立つ顧客が存在する領域である。店員領域１７０は、キャッシュレジスタ４を操作する店員が存在する領域である。ドロア領域１７２は、キャッシュレジスタ４のドロア（図１２では不図示）を開けた場合にそのドロアが占める領域である。
【００６１】
領域分割部１３２は、店員存否判定部１３０において店員領域１７０に店員５が存在すると判定されると、その店員５の店員領域１７０内での位置を中心とするリーチ領域を設定し、そのリーチ領域を分割する。
図１３は、領域分割部１３２におけるリーチ領域１７６の設定および分割を説明するための説明図である。領域分割部１３２は店員５の頭部５ａの位置の座標をパターン認識等の公知の技術を使用して算出する。領域分割部１３２は、頭部５ａの位置の座標を基準に所定の範囲、例えば手が伸ばせる程度の範囲の領域をリーチ領域１７６として設定する。 領域分割部１３２は、リーチ領域１７６を水平方向に頭部５ａの大きさ程度の間隔で分割する。分割後の領域をそれぞれ第１〜第３分割領域１７８ａ〜１７８ｃと呼ぶ。
【００６２】
重畳判定部１３４は、第１〜第３分割領域１７８ａ〜１７８ｃのうちの少なくともひとつとドロア領域１７２の上方とが少なくとも部分的に重畳するか否かを判定する。
差分判定部１３６は、重畳判定部１３４において重畳すると判定された場合、第１〜第３分割領域１７８ａ〜１７８ｃの各領域内におけるフレーム画像１７４の画素値と基準画像ＤＢ１０６から取得する過去画像、例えば現在よりも１フレーム前のフレーム画像の画素値との差分を演算する。差分判定部１３６は、ドロア領域１７２の上方と少なくとも部分的に重畳する分割領域における差分の絶対値の総和が所定の第１判定値以上であり、かつ、それ以外の分割領域における差分の絶対値の総和が所定の第２判定値以下である場合に、キャッシュレジスタ４のドロアに対して店員５が動作を行っていると判定する。
【００６３】
図１４は、差分判定部１３６における判定を説明するための説明図である。図１４では第２分割領域１７８ｂがドロア領域１７２の上方１７２ａと部分的に重畳している。一人の店員５がキャッシュレジスタ４のドロア１５６に対して足は動かさずに手で動作を行っている場合、店員５の手５ｂの動きによって第２分割領域１７８ｂにおける差分の絶対値の総和は大きくなる。したがって、第１判定値を適切に設定することによりドロア１５６に対して店員５が何かの動作を行っていると判定できる。
【００６４】
また、他の分割領域（第１分割領域１７８ａ、第３分割領域１７８ｃ）における差分の絶対値の総和も演算され、第２判定値と比較される。この意義は第１の実施の形態と同様である。
【００６５】
本実施の形態によると第１の実施の形態の作用効果と同様の作用効果を得ることができる。
【００６６】
以上、実施の形態に係る監視装置１００の構成と動作について説明した。これらの実施の形態は例示であり、その各構成要素や各処理の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。例えば第１の実施の形態と第２の実施の形態を組み合わせること、つまりキャッシュレジスタ４を上方および側方の両方向から２台の監視カメラで監視し、それらの監視カメラからのフレーム画像をそれぞれ第１の実施の形態、第２の実施の形態で説明したように処理することも可能である。
【００６７】
第１および第２の実施の形態において、リーチ領域を設定する前に領域分割部１３２は、店員５の位置とドロア領域の位置との間の距離を演算してもよい。領域分割部１３２は、その距離が所定の距離以下の場合にリーチ領域を設定してもよい。この場合、店員５とドロアとの距離が遠い場合はリーチ領域の設定、分割や不正判定を行わなくてもよいので、監視装置全体の処理速度が向上しうる。
【００６８】
第１および第２の実施の形態では、画像処理部１０４が開閉判定部１１４を含み、開閉判定部１１４はフレーム画像１４０からドロアの開閉を判定する場合について説明したが、これに限られない。例えば、画像処理部１０４の外部に開閉判定部を設けてもよい。この開閉判定部は、キャッシュレジスタ４から受信するドロアの開閉を示す開閉信号を基にドロアの開閉を判定してもよい。
【００６９】
第１および第２の実施の形態では、監視部は警告を発する場合について説明したが、これに限られない。例えば、不正動作があると判定された場合、監視部は不正動作の対象となったキャッシュレジスタ４のＩＤと不正動作があった時刻とを記録テーブルに記録してもよい。この場合、記録テーブルに記録される情報は、後に犯人を割り出すための一助となる。また、監視システム１は監視カメラ２からのフレーム画像を常時録画せず、監視部は不正動作の判定を契機として録画を開始してもよい。この場合、必要なストレージのキャパシティを低減できる。
【００７０】
第１および第２の実施の形態では、監視装置１００と監視カメラ２とを別体として説明したが、これに限られず、監視装置１００の機能は監視カメラ２に組み込まれてもよい。また、監視装置１００は監視センタ２０に備えられてもよい。
【００７１】
第１および第２の実施の形態では、差分判定部１３６は、現在のフレーム画像１４０の画素値と基準画像ＤＢ１０６から取得する過去画像、例えば現在よりも１フレーム前のフレーム画像の画素値との差分を演算する場合について説明したが、これに限られない。例えば、ドロア１５６が開いている状態の背景画像すなわちキャッシュレジスタ４が載置される空間を撮像したフレーム画像のうち、店員および顧客のいずれも存在せず、キャッシュレジスタ４のドロア１５６が開いている状態のフレーム画像が使用されてもよい。この場合、差分判定部１３６は、現在のフレーム画像１４０の画素値とドロア１５６が開いている状態の背景画像の画素値との差分を演算してもよい。また、過去画像としてドロア１５６に店員５の手が届いていないことが明らかな程度まで遡ったフレーム画像を使用してもよい。これらの場合、差分によってドロア１５６に店員５の手がかかっているか否かが判定されうる。
【００７２】
第１および第２の実施の形態で説明した不正動作を判定するための条件に、店員５がきょろきょろ当たりを見回すなどの「ちらちら周りを確認するしぐさ」を加えてもよい。この場合に対応する第５変形例では、監視部は、動作検知部１１８においてキャッシュレジスタ４のドロアに対して店員５が動作を行っていると判定され、かつ、顧客存否判定部１１２において顧客領域に顧客がいないと判定され、かつ、開閉判定部１１４においてドロアが開いていると判定され、かつ不審動作判別装置１０００によって店員５の「ちらちら周りを確認するしぐさ」が検知された場合、不正動作が行われていると判定する。
【００７３】
本変形例に係る不審動作判別装置１０００を図１５に示しており、この例では移動体である人間の頭部の動きから不審者を判別するのに適用したものである。この移動体の判別装置では、更にはオペレータが入力操作する入力手段１００４を有して構成している。演算処理部１００１は、監視カメラにより取得した人間の頭部の２次元位置情報を処理し，後述する特徴データを用いて移動体を不審者等か否かを判別処理して出力する部分である。
【００７４】
演算処理部１００１には、図１５の例では位置情報処理手段１０１１と、人間の頭部の２次元位置データを記録する記録手段１０１２と、動作特徴データ算出手段１０１３と、個別動作別特徴係数算出手段１０１４と、個別動作別特徴算出係数を記録保存する記録手段１０１５と、個別動作別特徴量算出手段１０１６と、判別手段１０１７と、個別動作別特徴指示手段１０１８と、個別動作選択指示手段１０１９とを有しており、これらについては以下にそれぞれ説明する。
【００７５】
位置情報処理手段１０１１は、撮影した映像情報に対して所定の画像処理を行い、この処理で取得した移動体である人間の頭部のｘ座標値とｙ座標値の位置データを得る部分であり、処理取得した移動体の位置データは、メモリ等の記録手段１０１２に出カして保存する。
【００７６】
動作特徴データ算出手段１０１３は、記録手段１０１２中の指定時間内における移動体の位置データを用いて、後述する計算式により動作別の特徴量の算出に必要な特徴データ、即ち移動体の動作特徴データである少なくとも動作の距離と、速さと、角度と、２次元座標データのｘ座標の移動量とｙ座標の移動量の相関係数との各特徴データを算出する部分である。この動作特徴データ算出手段１０１３で算出した移動体の動作特徴データは、個別動作毎に該否判別の閾値を設定することを目的とする場合には個別動作別特徴係数算出手段１０１４で使用し、判別対象体の個別動作の該否判別を目的とする場合には個別動作別特徴量算出手段１０１６で使用する。
【００７７】
動作特徴データ算出手段１０１３で算出する動作の距離と、速さと、角度と、２次元座標データのｘ座標の移動量とｙ座標の移動量の相関係数の各特徴データは、以下に例示する各式で算出する。
（１）動作の距離特徴データのうち、指定時間内における動作中心からの距離の平均
は、式１で求める。
【００７８】
【数１】
【００７９】
ただし、ｉは指定時間の位置データの番号、N は指定時問内の位置データの数、ｒｉは指定時間内の動作中心座標値とｉ番日の位置データとの距離である。
（２）動作の距離特徴データのうち、指定時間内における動揺中心からの距離の標準偏差（ばらつき）σｒは、式２で求める。
【００８０】
【数２】
【００８１】
ただし、ｉとNとｒｉと
は、上記のものと同様である。
（３）動作の速さ特徴データのうち、指定時間内における軌跡長の平均
は、式３で求める。
【００８２】
【数３】
【００８３】
ただし、Δｒｉのｉ番目の位置データとｉ＋１番目の位置データ間の距離は、式３−１で求められ、ｉとNは上記のものと同様であり、Δｔは指定時間、ｘｉとｙｉは、それぞれｉ番目の位置データ、ｘｉ＋１とｙｉ＋１は、それぞれｉ＋１番目の位置データである。
【００８４】
【数４】
【００８５】
（４）動作の速さ特徴データのうち、指定時間内における軌跡長の標準偏差（ばらつき）σΔｔは、式４で求める。
【００８６】
【数５】
【００８７】
ただし、Δｒｉと
とΔｔは、上記のものと同様である。
（５）動作の角度特徴データのうち、指定時間内における変動角度の平均
は、式５で求める。
【００８８】
【数６】
【００８９】
ただし、θｉのｉ番目の位置データの角度は、式５−１により求められ、Δθｉのｉ番目の位置データとｉ＋１番目の位置データ間の角度は、式５−２により求められ、Δｔとｘｉとｙｉは、上記のものと同様であり、ｃｘとｃｙは、それぞれ動作中心のｘ座標の値とｙ座標の値である。
【００９０】
【数７】
【００９１】
【数８】
【００９２】
（６）動作の角度特徴データのうち、指定時間内の変動角度の標準偏差（ばらつき）σΔθは、式６で求める。
【００９３】
【数９】
【００９４】
ただし、Δθｉと
とΔｔは、上記のものと同様である。
（７）動作の関連性特徴データのうち、ｘとｙの相関係数Ｃｘｙは、式７で求める。
【００９５】
【数１０】
【００９６】
ただし、ｘｉとｙｉととｃｘとｃｙは、上記のものと同様であり、σｘは指定時間内のｘ座標における標準偏差で、式７−１により求められ、またσｙは指定時間内のｙ座標における標準偏差で、式７−２により求められる。
【００９７】
【数１１】
【００９８】
【数１２】
【００９９】
（８）動作の関連性特徴データのうち、面積Ｓは、式８で求める。
【０１００】
【数１３】
【０１０１】
ただし、σｘとσｙは、上記のものと同様である。
【０１０２】
なお、特徴データの算出式には、上記以外に移動体が撮影した画像中の動作中心を基準として第１から第４象限の動揺中らからの距離の平均や最大距離を求める計算式等も使用することができる。
【０１０３】
個別動作別特徴係数算出手段１０１４では、個別動作毎に該否判別の閾値を設定するために、動作特徴データ算出手段１０１３で算出された特徴データと、オペレータが操作する入力手段１００４から個別動作別特徴指示手段１０１８を介して入力した不審レベルを用いて、移動体の個別動作毎の最適な動作の個別動作別特徴算出係数を算出し、これを記録手段１０１５に保存している。
【０１０４】
個別動作別特徴係数算出手段１０１４おいての個別動作別特徴算出係数は、次のように周知の重回帰分析によって算出する。
特徴データを説明変数とし、不審レベルを目的変数として、重回帰分析を行い、係数（回帰係数）と各特長データの危険率を求める。そして、求めた危険率が高ければ、不要な特徴データとみなす。例えば不審者を撮影し、「ちらちら周りを確認するしぐさ」の動きをする不審者を要因分析した結果、表１の値が算出される。
【０１０５】
【表１】
【０１０６】
上記の表１から不要な特徴データを削除するため、例えば危険率が５０％以上の場合は、不審者を判別するための特徴データから削除し、そして再度の要因分析する。要因分析は、定めた危険率が５０％以上の特徴量がなくなるまで、繰り返し実施する。この繰り返しによって、表１から特徴データの変動角（平均）及び変動角（標準偏差）は削除され、表２に示すようになり、このときの係数（回帰係数）等が記録手段１０１５に記録保存される。
【０１０７】
【表２】
【０１０８】
個別動作別特徴量算出手段１０１６では、判別対象体の個別動作の該否判別を行うために、少なくとも移動体の動作の距離と、速さと、角度と、２次元座標データのｘ座標の移動量とｙ座標の移動量の相関係数の各特徴データを説明変数とし、記録手段１０１５に記録した表２に示す特徴データと係数（回帰係数）と切片を用いて、下記のように個別動作別特徴量として目的変数を算出する。
【０１０９】
つまり、個別動作別特徴量算出手段１０１６では、記録手段１０１５に保存した表２の係数の積と切片とを全て加算して、個別動作別特徴量を目的変数として算出する。したがって、個別動作別特徴量は、下記の算出量の値となる。
【数１４】
【０１１０】
なお、個別動作別特徴係数算出手段１０１４での個別動作別特徴算出係数の算出には、上記した重回帰分析以外に、主成分分析や、判別分析や、ニューラルネットワークの技術を利用して行うことができる。
【０１１１】
上記した移動体の位置データを使用する動作特徴データ算出手段１０１３と個別動作別特徴係数算出手段１０１４は、別のパソコンに組み込んで算出処理を行って、移動体の位置データから動作特徴データ、個別動作別特徴算出係数を順に求めることもできる。そして、算出結果の個別動作別特徴算出係数を、入力手段１００４から演算処理部１００１内の記録手段１０１５に記録して使用することもできる。このような算出処理をする場合、個別動作別特徴係数算出手段１０１４及び個別動作別特徴指示手段１０１８は、演算処理部１００１に設ける必要がなくなる。
【０１１２】
個別動作別特徴量算出手段１０１６で算出した個別動作別特徴量の値は、判別手段１０１７で使用する。判別手段１０１７では、個別動作別特徴量の値と予め設定した闘値との比較を行い、その大小から移動体が不審者であるか否かを判別し、その結果を監視部に出力する。
【０１１３】
また、個別動作別特徴指示手段１０１８は、オペレータが入力手段１００４を用いて動作の名称や動作レベルを操作入力し、個別動作別特徴係数算出手段１０１４に指示するために用いられる。オペレータによる動作の名称と動作レベルの入力は、例えば回りをちらちら確認する動作を人の不審な動作として判別する場合に、動作の名称を「ちらちら周りを確認するしぐさ」と入力し、動作レベルは０〜１００の中で「ちらちら周りを確認するしぐさ」の動作を非常によく表現している場合には「１００」を入力し、不審な動作でない場合は「０」を入力する。
【０１１４】
人間の頭部の２次元位置データから予め個別動作別特徴算出係数の算出、及び記録手段１０１５に記録までの実施する処理手順の例を、図１６及び図１７に示している。図１６の処理手順は、監視カメラで取得した指定時間内の人間の頭部の２次元位置データを、位置情報処理手段１０１１で処理し（ステップＳ１０２１）、動作特徴データ算出手段１０１３において移動体の動作の距離と、速さと、角度と、２次元座標データのｘ座標の移動量とｙ座標の移動量の相関係数の各特徴データを算出処理し（ステップＳ１０２２）、オペレータが入力手段から動作名称と動作レベルの入力を受けてから（ステップＳ１０２３）、それをもとに個別動作別特徴係数算出手段１０１４で個別動作別特徴算出係数の算出処理を行い（ステップＳ１０２４）、個別動作別特徴算出係数を記録手段１０１５に記録保存の処理（ステップＳ１０２５）を行っている。
【０１１５】
また、監視カメラからの画像を活用した別の処理手順の場合上記ステップＳ１０２１部分の処理に代えて、位置情報処理手段１０１１において画像中の人から頭部の重心位置の算出と保管を行い、更に保管された頭部の重心位置から一定時間、例えば１５秒間の重心位置の取得処理を行って、次のステップＳ１０２２からステップＳ１０２５までの処理を行わせることもできる。
【０１１６】
図１７には移動体の判別を行う本発明の判別手順を示しており、ステップＳ１０３１とステップＳ１０３２の処理は、図１６に示すステップＳ１０２１とステップＳ１０２２の処理手順と同一であり、次のステップＳ１０３３は、監視対象施設で使用者が、任意に指示する施設特有の監視を必要とする動作名称の入力処理である。移動体の判定にあたっては、移動体の動作の距離と、速さと、角度と、２次元座標データのｘ座標の移動量とｙ座標の移動量の相関係数の各特徴データをもとにした個別動作別特徴算出係数を用いて個別動作別特徴量を算出処理し（ステップＳ１０３４）、この個別動作別特徴量の値と予め設定した闘値との判定処理を行い（ステップＳ１０３５）、その判定結果を出力処理する（ステップＳ１０３６）。
【０１１７】
上記した移動体の判別の処理手順、つまり監視カメラで取得した移動体の位置情報を処理して移動体の位置データを得る処理手順、移動体の位置データをから少なくとも移動体の動作の距離と速さと角度と２次元座標データのｘ座標の移動量とｙ座標の移動量の相関係数との各特徴データを算出する処理手順、各特徴データから算出して予め記録された個別動作別特徴算出係数を用いて移動体の個別動作別特徴量を算出する処理手順、算出した個別動作別特徴量の値と予め設定した闘値と比較して判別する処理手順は、移動体の判別プログラムとて作成し、演算処理部として用いるパソコンに組み込んで使用することができる。
【０１１８】
「ちらちら周りを確認するしぐさ」の動作を行う店員５の検出にあたっては、まず監視カメラで一定時間に撮影した画像から、対象の人の頭部の重心位置を求めて位置データを取得する。「ちらちら周りを確認するしぐさ」の動作の個別動作別特徴算出係数（回帰係数）を用いて、この位置データから求められる対象者の頭部の動作の距離、速さ、角度、２次元座標データのｘ座標の移動量とｙ座標の移動量の相関係数の各特徴データを説明変数として重回帰分析を行う。そして、算出された目的変数（「ちらちら周りを確認するしぐさ」の特徴量）と闘値とを比較して判定を行い、監視部に判定結果を出力する。
【０１１９】
第５変形例では、人間の頭部の２次元位置情報を処理した位置データから、少なくとも動作の距離と速さと角度と２次元座標データのｘ座標の移動量とｙ座標の移動量の相関係数との各特徴データを算出し、各特徴データを基に予め記録された個別動作別特徴算出係数を用いて移動体の個別動作別特徴量を算出し、ここで求めた個別動作別特徴量の値と予め設定した闘値と比較して移動体を判別する手法を使用して、店員５の「ちらちら周りを確認するしぐさ」を検知する場合について説明した。第６変形例では、領域を分割し各領域の特性、例えば輝度や画素値や領域の大きさ、の変化を監視することで店員５の動作を検知する。
これにより人が特定の部位、例えば頭や足、だけを動かしている場合もその動作を検知できる。
【０１２０】
第６変形例に係る監視装置は、店員５を撮像したフレーム画像を取得する画像取得部を備える。この画像取得部として図１の画像取得部１０２を使用してもよい。第６変形例に係る監視装置はさらに、画像取得部によって取得されたフレーム画像に対して、店員５の位置を基点とする監視領域を設定する監視領域設定部（不図示）と、監視領域を複数の分割監視領域に分割する監視領域分割部（不図示）と、複数の分割監視領域のうちの少なくともひとつにおけるフレーム画像の特性の変化に基づいて人が動作を行っているか否かを判定する判定部（不図示）と、を備える。
【０１２１】
図１８は、第６変形例に係る監視装置における店員５の「ちらちら周りを確認するしぐさ」の検知方法の一例を説明するための説明図である。図１８は、画像取得部が店員５を側方から撮像する場合を示す。監視領域設定部は、画像取得部によって取得されたフレーム画像３０２に対して、店員５の頭部５ａの位置を基点とする監視領域３０４を設定する。監視領域分割部は、監視領域３０４を５つの分割監視領域３０６ａ〜３０６ｅに分割する。以上の監視領域の設定および分割は第２の実施の形態における領域分割部１３２の機能と同様であってもよい。
【０１２２】
図１８に示されるようにフレーム画像３０２では前を向いていた店員５が次のフレーム画像３０８では横を向いた場合、頭部５ａに対応する分割監視領域３０６ａにおける輝度は、他の分割監視領域３０６ｂ〜３０６ｅにおける輝度よりも多く変化する。判定部はそのような変化を検出すると、店員５が「ちらちら周りを確認するしぐさ」を行っていると判定し、例えば図２の監視部１２０に通知する。
【０１２３】
図１９は、店員５が「ちらちら周りを確認するしぐさ」を行っている場合の各分割監視領域における輝度変化の一例を示すグラフである。図１９のグラフでは、ｙ軸は輝度変化量を任意の単位で示し、ｘ軸は時間を任意の単位で示す。このグラフから分かる通り、頭部５ａに対応する分割監視領域３０６ａにおける輝度変化量は他の分割監視領域３０６ｂ〜３０６ｅにおける輝度変化量よりも顕著に大きくなっている。
【０１２４】
図１８および図１９に示される技術的思想は、キャッシュレジスタに対する店員５の不正動作を検知するためだけでなく、より一般的に人の動作を検知するためにも適用できる。例えば、商品棚の前できょろきょろする者を特定して通知するためにも使用できる。
【０１２５】
これに関し、人が監視カメラに向かって歩いてくることや人が座り込んだり立ち上がったりすることを検出する技術について説明する。
図２０は、人３１０が監視カメラに向かって歩いてくる場合を説明するための説明図である。画像取得部は、フレーム画像３１２を取得する。監視領域設定部は、フレーム画像３１２に対して人３１０の例えば頭部３１０ａの位置を基点として監視領域３１８を設定する。監視領域分割部は、監視領域３１８を５つの分割監視領域３１６ａ〜３１６ｅに分割する。人３１０が監視カメラに向かって歩いてくる場合、次のフレーム画像３１４では監視領域３１８および各分割監視領域３１６ａ〜３１６ｅは大きくなる。また、通常人が歩くときは胸部などの上半身の動きは小さく脚などの下半身の動きは大きい。したがって、判定部はフレーム画像３１２と次のフレーム画像３１４との間で監視領域３１８が大きくなり、かつ下半身に対応する分割監視領域３１６ｄ、３１６ｅにおける輝度変化がそれ以外の分割監視領域３１６ａ、３１６ｂ、３１６ｃにおける輝度変化よりも大きい場合、人３１０が監視カメラに向かって歩いていると判定する。
また、人３１０が座り込んだ場合、監視領域３１８のうち下半身に対応する分割監視領域３１６ｄ、３１６ｅは、それ以外の分割監視領域３１６ａ、３１６ｂ、３１６ｃよりも大きな割合で小さくなる。したがって判定部は、それを検出すると人３１０が座り込んだと判定する。人３１０が立ち上がる場合はその逆である。
【０１２６】
以上、実施の形態にもとづき本発明を説明したが、実施の形態は、本発明の原理、応用を示しているにすぎないことはいうまでもなく、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が可能であることはいうまでもない。
【０１２７】
第１および第２の実施の形態で説明した不正動作を判定するための条件に、複数の連続するフレーム画像から得られる画素値の時間的な変遷のパターンによって表すことのできる店員５の動作、例えば店員５が頭を左右に振って周りの様子を窺うなどの周期的または振動的な動作（以下、「そわそわ動作」と称する）の検知を含めてもよい。あるいはまた、第１および第２の実施の形態で説明した不正動作を判定するための条件のうちドロアに手が触れていることの検知をそわそわ動作の検知に置き換えてもよい。
【０１２８】
キャッシュレジスタから現金を盗むなどの不正を行う店員は、そのような不正をする前または後に、周りに自分を見ている人がいないかチェックする場合が多い。そのような動作のひとつが上述のそわそわ動作である。このようなそわそわ動作の検知を店員不正動作条件のひとつとすることで、より実態に即した形での不正動作の検知が可能となり、例えば検知の精度を高めることができる。
【０１２９】
この場合に対応する第７変形例では、領域分割部は、店員存否判定部１３０において店員領域１４４に店員５が存在すると判定されると、その店員５の店員領域１４４内での位置を基点（この場合は中心）とするリーチ領域を設定し、そのリーチ領域を分割する。
【０１３０】
図２１は、第７変形例に係る領域分割部におけるリーチ領域３０２の分割を説明するための説明図である。領域分割部は、リーチ領域３０２を直立で静止している店員５の頭部５ａの位置を囲む複数の閉曲線である３本の略楕円３０４ａ、３０４ｂ、３０４ｃ、および頭部５ａの位置を通る直線３０６で分割する。特に、３本の略楕円３０４ａ、３０４ｂ、３０４ｃの中心は直立で静止している店員５の頭部５ａの位置と一致し、直線３０６は店員５ａの右半身と左半身とを分ける直線となるよう設定される。
直線３０６は例えば店員の左肩の端部５ｂと右肩の端部５ｃとを結ぶ線分の垂直二等分線として設定されてもよい。
【０１３１】
その結果、リーチ領域３０２は、店員５の左側において内側から第１左側分割領域Ｌ１、第２左側分割領域Ｌ２、第３左側分割領域Ｌ３、第４左側分割領域Ｌ４、店員５の右側において内側から第１右側分割領域Ｒ１、第２右側分割領域Ｒ２、第３右側分割領域Ｒ３、第４右側分割領域Ｒ４に分割される。
また、領域分割部は店員５の頭部５ａの色を記憶部（不図示）に記憶させる。
【０１３２】
監視装置の画像処理部は別の動作検知部（不図示）を含む。この別の動作検知部は、第１左側分割領域Ｌ１、第２左側分割領域Ｌ２、第３左側分割領域Ｌ３、第４左側分割領域Ｌ４、第１右側分割領域Ｒ１、第２右側分割領域Ｒ２、第３右側分割領域Ｒ３および第４右側分割領域Ｒ４におけるフレーム画像の画素値の時間的な変遷のパターンを取得するパターン取得部と、パターン取得部によって取得されたパターンが店員領域１４４に存在する店員５の所定の動作、例えばそわそわ動作によるパターンと対応するか否かを判定するパターン判定部と、を有する。
【０１３３】
パターン取得部は、現在のフレーム画像のリーチ領域３０２に対応する部分および現在よりも１フレーム前のフレーム画像のリーチ領域３０２に対応する部分に対して、記憶部によって記憶される店員５の頭部５ａの色でフィルタ処理を施し、それぞれに色情報としては頭部５ａの色のみを残す。現在のフレーム画像のリーチ領域３０２に対応する部分にこのフィルタ処理を施した結果得られる画像データをフィルタ処理後現在画像、現在よりも１フレーム前のフレーム画像のリーチ領域３０２に対応する部分にこのフィルタ処理を施した結果得られる画像データをフィルタ処理後過去画像と称す。
図２２は、色情報としては頭部５ａの色のみが示されたリーチ領域３０２を示す説明図である。
【０１３４】
パターン取得部は、第１左側分割領域Ｌ１、第２左側分割領域Ｌ２、第３左側分割領域Ｌ３、第４左側分割領域Ｌ４、第１右側分割領域Ｒ１、第２右側分割領域Ｒ２、第３右側分割領域Ｒ３および第４右側分割領域Ｒ４の各領域内におけるフィルタ処理後現在画像の画素値と、その領域内におけるフィルタ処理後過去画像の画素値との差分を演算する。特にパターン取得部は、各領域における差分の絶対値の総和を演算する。
【０１３５】
パターン取得部は、各領域について演算された差分の絶対値の総和と所定の第３判定値とを比較し、第３判定値以上となっている領域を変化領域として決定する。
図２３は、変化領域を説明するための説明図である。図２３では、店員の頭部５ａが左側に動いたので第１左側分割領域Ｌ１の画素値に変化が現れる。その結果、第１左側分割領域Ｌ１における画素値の差分の絶対値の総和が第３判定値を超え、第１左側分割領域Ｌ１が変化領域として決定される。
【０１３６】
パターン取得部は、変化領域として決定される領域の時間的な変遷のパターン、すなわち時間的に連続する複数のフレームの進行に合わせて変化領域として決定される領域がどのように移り変わるかを示すパターンを取得する。例えばパターン取得部は、あるフレームにおいて変化領域として決定された領域に対して値「１」を、そうでない領域に対して値「０」を、割り当てる。パターン取得部は、時間的に連続する複数のフレームのそれぞれにおいて各領域に割り当てられるそのような値をパターンデータとして記憶部に記憶させる。
【０１３７】
図２４は、記憶部に記憶されるパターンデータ３７０の構造の一例を示すデータ構造図である。パターンデータは、時間軸すなわちフレームの順番に沿って各領域に割り当てられた値を保持するデータである。
【０１３８】
パターン判定部は、記憶部に記憶されるパターンデータが監視者やオーナーにより予め設定されたそわそわ条件を満たすか否かを判定する。監視者やオーナーは、このそわそわ条件を店員５がそわそわ動作をしている場合にパターンデータに表れる特徴に基づき設定する。パターン判定部は、記憶部に記憶されるパターンデータがこのそわそわ条件を満たす場合、そのパターンデータはそわそわ動作によるパターンデータと対応すると判定する。この際、パターン判定部は値の時間的な変遷を複数の領域について組み合わせて判定してもよい。
【０１３９】
図２５は、第１左側分割領域Ｌ１および第２左側分割領域Ｌ２のそれぞれに割り当てられた値の時間的な変遷の一例を示すグラフである。図２５において横軸は時間、縦軸は割り当てられた値を示す。図２５には、店員の頭部５ａが左側に動いたことを示す箇所が３つ３２０、３２２、３２４示されている。すなわち図２５に示されるデータから店員の頭部５ａが左側に３回動いたことが分かる。なお、変化領域が外側になるほど大きな動作となる。
【０１４０】
図２６は、第１右側分割領域Ｒ１および第２右側分割領域Ｒ２のそれぞれに割り当てられた値の時間的な変遷の一例を示すグラフである。図２６において横軸は時間、縦軸は割り当てられた値を示す。図２６には、店員の頭部５ａが右側に動いたことを示す箇所が２つ３２６、３２８示されている。すなわち図２６に示されるデータから店員の頭部５ａが右側に２回動いたことが分かる。
【０１４１】
例えば、監視者またはオーナーがそわそわ動作を検知するためのそわそわの回数を、店員の頭部５ａの右側への動きが２回以上かつ左側への動きが２回以上と定義し、そのようにそわそわ条件を設定する場合、図２５および図２６に示されるパターンデータでは時間１４でそわそわ動作が検知されることとなる。
【０１４２】
監視部は、動作検知部１１８においてキャッシュレジスタ４のドロアに対して店員５が動作を行っていると判定され、かつ、顧客存否判定部１１２において顧客領域に顧客がいないと判定され、かつ、開閉判定部１１４においてドロアが開いていると判定され、かつ、別の動作検知部において取得されたパターンがそわそわ動作によるパターンと対応すると判定された場合、不正動作が行われていると判定してもよい。
【０１４３】
あるいはまた、監視部は、顧客存否判定部１１２において顧客領域に顧客がいないと判定され、かつ、開閉判定部１１４においてドロアが開いていると判定され、かつ、別の動作検知部において取得されたパターンがそわそわ動作によるパターンと対応すると判定された場合、不正動作が行われていると判定してもよい。
【０１４４】
本変形例によると、分割された各領域の画素値の時間的な変遷のパターンに着目し、それとそわそわ動作に特徴的なパターンとを比較することでそわそわ動作を検知し、その検知を不正動作検知の条件としている。したがって、分割された領域に含まれる画素のみを差分演算の対象とするのでそわそわ動作の検知のために必要な計算量を低減できる。また、キャッシュレジスタ周りの不正動作の実態により即した形での不正動作検知が可能となる。
【０１４５】
なお第７変形例において、動作検知部１１８における判定および顧客存否判定部１１２における判定および開閉判定部１１４における判定はフレームごとに行うことが可能であるのに対し、別の動作検知部における判定は基本的に複数のフレームを必要とする。したがって、監視部は、判定の前後関係に関する以下のいずれかのモードで不正動作の有無の判定を行ってもよい。
【０１４６】
第１モード：監視部は、別の動作検知部において取得されたパターンがそわそわ動作によるパターンと対応すると判定されたフレームまたはそれ以降のフレームにおいて、顧客存否判定部１１２における判定結果および開閉判定部１１４における判定結果を取得し、不正動作の有無の判定を行う。この場合、店員がまずそわそわ動作を行って周りを確認してから不正動作を行う場合により好適に対応した検知が可能となる。
【０１４７】
第２モード：監視部は、動作検知部１１８においてキャッシュレジスタ４のドロアに対して店員５が動作を行っていると判定され、かつ、顧客存否判定部１１２において顧客領域に顧客がいないと判定され、かつ、開閉判定部１１４においてドロアが開いていると判定されたフレームまたはそれ以降のフレームにおいて、別の動作検知部における判定結果を取得し、不正動作の有無の判定を行う。この場合、店員が不正動作を行った後に周りを確認する場合により好適に対応した検知が可能となる。
【０１４８】
なお、パターン取得部は、頭の動き以外にも、手や体全体などのパターンデータを取得してもよい。手の場合には、パターン取得部は手の色でフィルタ処理を行い、パターンデータを取得する。体全体の場合には、パターン取得部は体全体の色のフィルタもしくは現在のフレーム画像と前回のフレーム画像の差分からパターンデータを取得する。これらのパターンデータをパターン判定部で処理することにより、頭以外の体の部位や体全体の周期的又は振動的な動作を検知することができる。
【符号の説明】
【０１４９】
１ 監視システム、 ２ 監視カメラ、 ４ キャッシュレジスタ、 ５ 店員、 ８ 携帯端末、 １０ 店舗、 ２０ 監視センタ、 ２２ センタサーバ、 １００ 監視装置、 １０２ 画像取得部、 １０４ 画像処理部、 １０６ 基準画像ＤＢ、 １０８ 基準画像更新部、 １１０ 領域設定部、 １１２ 顧客存否判定部、 １１４ 開閉判定部、 １１６ 複数領域設定部、 １１８ 動作検知部、 １２０ 監視部、 １２２ 領域指定部。
【技術分野】
【０００１】
本発明は、監視装置に関し、特に人の動作を検知する監視装置に関する。
【背景技術】
【０００２】
書店やコンビニエンスストアなどの店舗では多くの場合、各所に監視カメラが設けられている。特に現金が保管されているキャッシュレジスタの周辺は監視カメラで監視されていることが多い。この監視カメラの役割としてはまず、外部の者による万引きの防止、およびその証拠の収集が考えられる。
【０００３】
特許文献１には、万引きする者に特徴的な動作を検知してオーナーに知らせる判別装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１３５００１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
オーナーにとって万引きと並んで気をつけたいのが、店員によるキャッシュレジスタの不正操作、特にキャッシュレジスタからの現金の抜き取りである。これはいわゆる内部の不正であり、既存の監視システムでは検知が難しい。
【０００６】
本発明はこうした課題に鑑みてなされたものであり、その目的は、人の不正な動作を検知しうる技術の提供にある。
【課題を解決するための手段】
【０００７】
本発明のある態様は監視装置に関する。この監視装置は、キャッシュレジスタが載置される空間を撮像したフレーム画像を取得する画像取得部と、基準画像と画像取得部によって取得されたフレーム画像とを比較する画像処理部と、を備える。画像処理部は、キャッシュレジスタを操作する側の第１領域に存在する人の位置を基点とする複数の第２領域を設定する複数領域設定部と、複数の第２領域のうちの少なくともひとつと開いているキャッシュレジスタのドロアが占める第３領域とが少なくとも部分的に重畳する場合に、第３領域と少なくとも部分的に重畳する第２領域におけるフレーム画像の画素値からキャッシュレジスタのドロアに対して人が動作を行っているか否かを判定する動作検知部と、第１領域とは異なる第４領域におけるフレーム画像の画素値から第４領域における人の存否を判定する存否判定部と、動作検知部においてキャッシュレジスタのドロアに対して人が動作を行っていると判定され、かつ、存否判定部において第４領域に人がいないと判定された場合、所定の処理を行う監視部と、を含む。
【０００８】
この態様によると、第１領域に存在する人の位置を基点として設定された第２領域におけるフレーム画像の画素値を使用して、キャッシュレジスタに対する人の動作を検知することができる。
【０００９】
本発明の別の態様もまた、監視装置である。この監視装置は、対象が載置される空間を撮像したフレーム画像を取得する画像取得部と、基準画像と画像取得部によって取得されたフレーム画像とを比較する画像処理部と、を備える。画像処理部は、所定の第１領域に存在する人の位置を基点とする複数の第２領域を設定する複数領域設定部と、複数の第２領域のうちの少なくともひとつと対象に関連する第３領域とが少なくとも部分的に重畳する場合に、第３領域と少なくとも部分的に重畳する第２領域におけるフレーム画像の画素値から対象に対して人が動作を行っているか否かを判定する動作検知部と、動作検知部において対象に対して人が動作を行っていると判定された場合、所定の処理を行う監視部と、を含む。
【００１０】
本発明の別の態様もまた、監視装置である。この監視装置は、人を撮像したフレーム画像を取得する画像取得部と、画像取得部によって取得されたフレーム画像に対して、人の位置を基点とする監視領域を設定する監視領域設定部と、監視領域を複数の分割監視領域に分割する監視領域分割部と、複数の分割監視領域のうちの少なくともひとつにおけるフレーム画像の特性の変化に基づいて人が動作を行っているか否かを判定する判定部と、を備える。
【００１１】
なお、以上の構成要素の任意の組み合わせや、本発明の構成要素や表現を装置、方法、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体などの間で相互に置換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１２】
本発明によれば、人の不正な動作を検知できる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施の形態に係る監視装置を含む監視システムを示す概略図である。
【図２】図１の監視装置およびその周辺の機能および構成を示すブロック図である。
【図３】図２の領域設定部によって設定される領域を示す説明図である。
【図４】図２の領域分割部におけるリーチ領域の設定および分割を説明するための説明図である。
【図５】図２の差分判定部における判定を説明するための説明図である。
【図６】背景画像を示す模式図である。
【図７】図１の監視装置における一連の処理を示すフローチャートである。
【図８】第１変形例に係る領域分割部におけるリーチ領域の分割を説明するための説明図である。
【図９】第２変形例に係る領域分割部におけるリーチ領域の分割を説明するための説明図である。
【図１０】第３変形例に係る領域分割部におけるリーチ領域の設定および分割を説明するための説明図である。
【図１１】第４変形例に係る重畳領域を説明するための説明図である。
【図１２】第２の実施の形態の領域設定部によって設定される領域を示す説明図である。
【図１３】第２の実施の形態の領域分割部におけるリーチ領域の設定および分割を説明するための説明図である。
【図１４】第２の実施の形態の差分判定部における判定を説明するための説明図である。
【図１５】不審動作判別装置を示すブロック図である。
【図１６】個別動作別特徴算出係数の算出と記録までの処理手順を示す流れ図である。
【図１７】移動体の判別の処理手順を示す流れ図である。
【図１８】第６変形例に係る監視装置における店員の「ちらちら周りを確認するしぐさ」の検知方法の一例を説明するための説明図である。
【図１９】店員が「ちらちら周りを確認するしぐさ」を行っている場合の各分割監視領域における輝度変化の一例を示すグラフである。
【図２０】人が監視カメラに向かって歩いてくる場合を説明するための説明図である。
【図２１】第７変形例に係る領域分割部におけるリーチ領域の分割を説明するための説明図である。
【図２２】色情報としては頭部の色のみが示されたリーチ領域を示す説明図である。
【図２３】変化領域を説明するための説明図である。
【図２４】記憶部に記憶されるパターンデータの構造の一例を示すデータ構造図である。
【図２５】第１左側分割領域および第２左側分割領域のそれぞれに割り当てられた値の時間的な変遷の一例を示すグラフである。
【図２６】第１右側分割領域および第２右側分割領域のそれぞれに割り当てられた値の時間的な変遷の一例を示すグラフである。
【発明を実施するための形態】
【００１４】
以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。
【００１５】
（第１の実施の形態）
店舗においてキャッシュレジスタおよびその周辺で通常行われる動作としては、例えば顧客がキャッシュレジスタの前に立って購入したい商品をチェックアウトすることがある。この場合、キャッシュレジスタの前に立つ顧客がおり、かつ、キャッシュレジスタを操作する店員がいる。また、そのような顧客がいなければ普通店員はキャッシュレジスタの周りにおらず、いたとしてもキャッシュレジスタのドロアを開ける理由はない。以上の正常な状態に対して例えば以下の条件が満たされる場合、店員の不正が疑われる状態といえる。
（１）キャッシュレジスタの前に立つ顧客がいない、かつ、
（２）キャッシュレジスタを操作する店員がいる、かつ、
（３）キャッシュレジスタのドロアが開いている、かつ、
（４）ドロアに手が触れている。
この場合、店員がキャッシュレジスタから現金を盗んでいる可能性がある。
【００１６】
第１の実施の形態に係る監視装置は、店舗に設置されたキャッシュレジスタおよびその周辺を撮像する監視カメラに接続される。監視装置は監視カメラからの画像を解析し、例えば上記の条件（以下、「店員不正動作条件」と呼ぶ）が満たされると監視センタに警告を発する。店員不正動作条件は店員によるキャッシュレジスタの不正動作を検出するための条件である。これにより、たとえキャッシュレジスタから現金が盗まれても、監視装置からの警告によりその事実をいち早くキャッチして適切な対処ができる。
【００１７】
図１は、第１の実施の形態に係る監視装置１００を含む監視システム１を示す概略図である。監視システム１は、店舗１０の例えば天井に設置されキャッシュレジスタ４付近の画像を所定の周期で取得する監視カメラ２と、監視カメラ２からフレーム画像データ（以下、単にフレーム画像と称す）を取得する監視装置１００と、を備える。特に監視カメラ２の画角は、キャッシュレジスタ４、キャッシュレジスタ４を操作する店員５、店員５の手元、およびキャッシュレジスタ４の前に立つ顧客を撮影できる方向に設定される。
【００１８】
監視システム１はさらに、監視センタ２０内に設けられインターネットなどのネットワーク６を通じて監視装置１００と通信するセンタサーバ２２と、監視パネル２４と、を備える。センタサーバ２２は図示の監視装置１００以外にも図示されない他の同様の監視装置とネットワーク６を介して通信する。監視パネル２４は複数の監視モニタ２６を含み、各監視モニタ２６は対応する監視カメラからのフレーム画像を表示する。
監視装置１００は、監視センタ２０内のセンタサーバ２２に設けられてもよく、その場合には、監視カメラ２のデータをネットワーク６を介してセンタサーバ２２に送ることになる。
【００１９】
監視装置１００は、監視カメラ２から送られてくるフレーム画像を処理した結果、店員５がキャッシュレジスタ４に対して異常もしくは不正な動作（以下単に不正動作と称す。）を行なっていると判定した場合、ネットワーク６を通じてセンタサーバ２２に警告を送る。センタサーバ２２は、その警告を受けると複数の監視モニタ２６のうち警告が送られてきた監視カメラ２に対応する監視モニタ２６を強調する。この強調方法としては例えば強調すべき監視モニタ２６の輝度を他の監視モニタ２６よりも高くしてもよく、また監視モニタ２６に点滅表示させてもよい。また、例えばひとつの監視モニタ２６に複数の監視カメラが対応している場合は、割り込み処理などにより警告が送られてきた監視カメラ２のカメラ画像を監視モニタ２６に映してもよい。これにより、監視センタ２０内で店舗における不正等を監視している監視者は容易に不正動作の可能性を察知することができる。
【００２０】
また、監視装置１００は、キャッシュレジスタ４に対して不正動作が行われていると判定した場合、ネットワーク６および基地局７を介して店舗１０のオーナーの携帯端末８にも警告を送る。特に監視装置１００は、携帯端末８にキャッシュレジスタ４のＩＤや監視カメラ２のフレーム画像の一部を含む電子メールを送信する。これにより店舗１０のオーナーは不正動作を素早く察知できる。
【００２１】
図２は、監視装置１００およびその周辺の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのＣＰＵ（central processing unit）をはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解されるところである。
【００２２】
監視装置１００は、画像取得部１０２と、画像処理部１０４と、基準画像ＤＢ１０６と、基準画像更新部１０８と、を備える。
画像取得部１０２は、キャッシュレジスタ４が載置される空間を撮像したフレーム画像を監視カメラ２から取得する。監視カメラ２は天井に設置されているので、その監視カメラ２によって撮像されるフレーム画像は、キャッシュレジスタ４が載置される空間を店員５の頭部側から撮像したものとなる。以下キャッシュレジスタ４に対して店舗１０の天井側を上として説明する。
【００２３】
画像処理部１０４は、背景画像１５８（図６で後述）や過去画像などの基準画像と画像取得部１０２によって取得されたフレーム画像とを比較する。画像処理部１０４はその比較の結果、店員５がキャッシュレジスタ４に対して不正動作、例えば現金の抜き取り、を行っていると判定すると、センタサーバ２２に警告を送信する。
ここで背景画像１５８は、キャッシュレジスタ４が載置される空間を撮像したフレーム画像のうち、店員および顧客のいずれも存在せず、キャッシュレジスタ４のドロアが閉まっている状態のフレーム画像である。また過去画像とは、画像処理部１０４で処理されるフレーム画像よりも過去の、例えば１フレーム前のフレーム画像である。基準画像ＤＢ１０６は、基準画像を記憶する。
【００２４】
店舗１０における業務の都合上キャッシュレジスタ４周辺の状況、例えば物の配置が変わることが考えられる。この場合、画像処理部１０４における不正動作の誤判定を防ぐために背景画像１５８を更新する必要がある。
基準画像更新部１０８は、画像取得部１０２によって取得されたフレーム画像を使用して背景画像１５８および過去画像を生成し、生成されたそれらの画像で基準画像ＤＢ１０６を更新する。
基準画像更新部１０８は、定期的にもしくは監視装置１００の管理者、例えばオーナーからの指示が入力手段１３８からあると、基準画像ＤＢ１０６に記憶される背景画像１５８をその時点で画像取得部１０２によって取得されたフレーム画像で置き換える。これにより画像処理部１０４における誤判定の数を低減できる。
【００２５】
画像処理部１０４は、領域設定部１１０と、顧客存否判定部１１２と、開閉判定部１１４と、複数領域設定部１１６と、動作検知部１１８と、監視部１２０と、領域指定部１２２と、を含む。
領域設定部１１０は、画像取得部１０２によって取得されたフレーム画像のなかに画像比較の対象となる少なくともひとつの領域を設定する。本実施の形態ではフレーム画像の全体を基準画像の全体と比較するのではなく、フレーム画像のうち必要な部分を切り出して比較する。これにより処理に必要なメモリ量を低減しうる。
【００２６】
領域設定部１１０は、フレーム画像のなかに顧客領域を設定する顧客領域設定部１２４と、フレーム画像のなかにドロア領域を設定するドロア領域設定部１２６と、フレーム画像のなかに店員領域を設定する店員領域設定部１２８と、を有する。
図３は、領域設定部１１０によって設定される領域を示す説明図である。顧客領域１４２は、フレーム画像１４０のうちキャッシュレジスタ４の前に立つ顧客が存在する領域である。店員領域１４４は、キャッシュレジスタ４を操作する店員が存在する領域である。ドロア領域１４６は、キャッシュレジスタ４のドロア（図３では不図示）を開けた場合にそのドロアが占める領域である。
【００２７】
顧客領域設定部１２４は、フレーム画像１４０の２次元座標系において、後述する領域指定部１２２によって予め指定された４つまたは５つ以上の多角形の座標を結んで形成される矩形の領域内に含まれる画像データを特定することによって顧客領域１４２を設定する。ドロア領域設定部１２６および店員領域設定部１２８についても同様である。
【００２８】
図２に戻る。領域指定部１２２は、顧客領域１４２、店員領域１４４、ドロア領域１４６の各領域を設定するための４つの座標または５つ以上の多角形をそれぞれ入力手段１３８から取得する。
【００２９】
顧客存否判定部１１２は、顧客領域１４２内における背景画像１５８の画素値とフレーム画像１４０の画素値との差分を演算し、その差分の絶対値の総和が所定の値以下であればフレーム画像１４０の顧客領域１４２には顧客が存在しないと判定する。顧客存否判定部１１２は、差分の絶対値の総和が所定の値より大きければフレーム画像１４０の顧客領域１４２に顧客が存在すると判定する。なお、差分の絶対値の総和が所定の値より大きい場合、顧客存否判定部１１２は画像処理部１０４におけるそのフレーム画像１４０の処理を中断させる。
【００３０】
開閉判定部１１４は、以下の（１）〜（３）のいずれかの基準を使用してキャッシュレジスタ４のドロアの開閉を判定する。
（１）開閉判定部１１４は、ドロア領域１４６内における背景画像１５８の画素値とフレーム画像１４０の画素値との差分を演算し、その差分の絶対値の総和が所定の値以上であればドロアが開いていると判定する。
（２）開閉判定部１１４は、ドロア領域１４６内における背景画像１５８の画素値とフレーム画像１４０の画素値との差分の絶対値を新たな画素値とする差分画像のなかに、所定のドロアの形状を認識できる場合はドロアが開いていると判定する。
（３）（１）の条件と（２）の条件の両者が成立する場合に開閉判定部１１４はドロアが開いていると判定する。この場合、より正確にドロアの開閉判定を行うことができる。
【００３１】
開閉判定部１１４においてドロアが閉じていると判定される場合に、開閉判定部１１４は画像処理部１０４におけるそのフレーム画像１４０の処理を中断させる。
また、開閉判定部１１４は、（１）の基準では差分の絶対値の総和の大きさによって、（２）の基準ではドロアの形状によって、ドロアがどの程度開いているか、つまりドロアの開きの度合いを判別してもよい。さらに開閉判定部１１４は判別されたドロアの開きの度合いに基づいて、ドロア領域設定部１２６で設定されたドロア領域１４６の例えば大きさや範囲を変更してもよい。特に開閉判定部１１４は判別されたドロアの開きの度合いに合致するようにドロア領域１４６を変更してもよい。この場合、ドロアの実際の開き具合により即した不正動作判定が可能となるので、誤判定の可能性を低減できる。
【００３２】
複数領域設定部１１６は、店員領域１４４における店員５の存否をまず判定し、存在する場合はその店員５の位置を基点とする複数の領域を設定する。複数領域設定部１１６は、店員存否判定部１３０と、領域分割部１３２と、を有する。
店員存否判定部１３０は、店員領域１４４内における背景画像１５８の画素値とフレーム画像１４０の画素値との差分を演算し、その差分の絶対値の総和が所定の値以上であればフレーム画像１４０の店員領域１４４に店員が存在すると判定する。差分の絶対値の総和が所定の値より小さい場合、店員存否判定部１３０は画像処理部１０４におけるそのフレーム画像１４０の処理を中断させる。
【００３３】
領域分割部１３２は、店員存否判定部１３０において店員領域１４４に店員５が存在すると判定されると、その店員５の店員領域１４４内での位置を基点（この場合は中心）とするリーチ領域を設定し、そのリーチ領域を分割する。
図４は、領域分割部１３２におけるリーチ領域１４８の設定および分割を説明するための説明図である。領域分割部１３２は店員５の頭部５ａの位置の座標をパターン認識等の公知の技術を使用して算出する。領域分割部１３２は、頭部５ａの位置の座標を中心に所定の範囲、例えば手が届く程度の範囲の領域をリーチ領域１４８として設定する。ここでリーチ領域１４８を大きくしすぎると画像処理部１０４における処理量が増え、小さくしすぎると腕の長さの個人差に対応できなくなりうる。したがってリーチ領域１４８はそれらの影響が拮抗する範囲とされる。例えば、店員５の位置から１ｍ程度の距離が外縁となるようにリーチ領域１４８を設定してもよい。領域分割部１３２は、フレーム画像１４０上のスケール、例えば画素単位、と実空間内のスケール、例えばｍ（メートル）単位との間の換算を行う換算部（不図示）を有する。
領域分割部１３２は、リーチ領域１４８を頭部５ａの位置において直交する２本の直線１５０、１５２によって４分割する。分割後の領域をそれぞれ第１〜第４分割領域１５４ａ〜１５４ｄと呼ぶ。
【００３４】
図２に戻る。動作検知部１１８は、第１〜第４分割領域１５４ａ〜１５４ｄのうちの少なくともひとつとドロア領域１４６とが少なくとも部分的に重畳する場合に、ドロア領域１４６と少なくとも部分的に重畳する分割領域におけるフレーム画像１４０の画素値からキャッシュレジスタ４のドロアに対して店員５が動作を行っているか否かを判定する。動作検知部１１８は、重畳判定部１３４と、差分判定部１３６と、を有する。
【００３５】
具体的に、重畳判定部１３４は、第１〜第４分割領域１５４ａ〜１５４ｄのうちの少なくともひとつとドロア領域１４６とが少なくとも部分的に重畳するか否かを判定する。これは例えば第１〜第４分割領域１５４ａ〜１５４ｄに含まれる画素とドロア領域１４６に含まれる画素との間に共通する画素が存在するか否かによって判定される。
【００３６】
差分判定部１３６は、重畳判定部１３４において重畳すると判定された場合、第１〜第４分割領域１５４ａ〜１５４ｄの各領域内における現在のフレーム画像１４０の画素値と基準画像ＤＢ１０６から取得する過去画像、例えば現在よりも１フレーム前のフレーム画像の画素値との差分を演算する。差分判定部１３６は、ドロア領域１４６と少なくとも部分的に重畳する分割領域における差分の絶対値の総和が所定の第１判定値以上であり、かつ、それ以外の分割領域における差分の絶対値の総和が所定の第２判定値以下である場合に、キャッシュレジスタ４のドロアに対して店員５が動作を行っていると判定する。第１判定値と第２判定値とは等しく設定されてもよく、また、異なる値に設定されてもよい。
【００３７】
図５は、差分判定部１３６における判定を説明するための説明図である。図５では第１分割領域１５４ａがドロア領域１４６と部分的に重畳している。一人の店員５がキャッシュレジスタ４のドロア１５６に対して片手で動作を行っている場合、店員５の手５ｂの動きによって第１分割領域１５４ａにおける差分の絶対値の総和は大きくなる。したがって、第１判定値を適切に設定することにより、ドロア１５６に対して店員５が何かの動作を行っていると判定できる。
【００３８】
また、他の分割領域（第２〜第４分割領域１５４ｂ〜１５４ｄ）における差分の絶対値の総和も演算され、第２判定値と比較される。これにより差分判定部１３６における誤判定が低減される。仮に第１分割領域１５４ａにおける差分の絶対値の総和と第１判定値との比較のみを使用して判定を行う場合を考える。すると例えば監視カメラ２の誤動作や外来ノイズによってフレーム画像１４０とそれよりも１フレーム前のフレーム画像との間で全体的な輝度変化が生じた場合、店員５がドロア１５６に手を伸ばしていなくても第１分割領域１５４ａにおける差分の絶対値の総和は第１判定値以上となりえる。そうなるとドロア１５６に対して店員５が何かの動作を行っていると誤判定される可能性がある。しかしながら本実施の形態に係る監視装置１００の差分判定部１３６ではドロア領域１４６と少なくとも部分的に重畳する分割領域における差分だけでなく他の分割領域における差分も使用して動作判定するので、かかる誤判定の可能性を低減できる。フレーム画像１４０とそれよりも１フレーム前のフレーム画像との間で全体的な輝度変化が生じた場合は、他の分割領域（第２〜第４分割領域１５４ｂ〜１５４ｄ）における差分の絶対値の総和もまた大きくなるからである。第２判定値を適切な値に設定することでそのような誤判定の多くを排除できる。
【００３９】
図２に戻る。監視部１２０は、動作検知部１１８においてキャッシュレジスタ４のドロア１５６に対して店員５が動作を行っていると判定され、かつ、顧客存否判定部１１２において顧客領域１４２に顧客がいないと判定され、かつ、開閉判定部１１４においてドロア１５６が開いていると判定された場合、不正動作が行われていると判定する。
監視部１２０は不正動作が行われていると判定されると、ネットワーク６を介してセンタサーバ２２および携帯端末８に警告を送る。センタサーバ２２に送られる警告は、不正動作が行われていると判定された時刻と、キャッシュレジスタ４のＩＤやフレーム画像１４０などの不正動作が行われている場所を特定するための情報と、を含む。
【００４０】
監視部１２０はさらに、不正動作が行われていると判定された後所定の待機時間、例えば一分が経過するまでは次の警告を送信しない。これにより誤判定が起こってもそれに対する警告の数を低減できる。
【００４１】
図６は、背景画像１５８を示す模式図である。背景画像１５８は、キャッシュレジスタ４の周辺に店員や顧客などの人がいない状態で、キャッシュレジスタ４の周辺を上から撮像したフレーム画像である。
【００４２】
上述の実施の形態において、基準画像ＤＢ１０６の例は、ハードディスクやメモリである。また、本明細書の記載に基づき、各ブロックを、図示しないＣＰＵや、インストールされたアプリケーションプログラムのモジュールや、システムプログラムのモジュールや、ハードディスクから読み出したデータの内容を一時的に記憶するメモリなどにより実現できることは本明細書に触れた当業者には理解されるところである。
【００４３】
図７は、監視装置１００における一連の処理を示すフローチャートである。画像取得部１０２は、キャッシュレジスタ４が載置される空間を撮像したフレーム画像１４０を監視カメラ２から取得する（Ｓ２０２）。領域設定部１１０は、フレーム画像１４０のなかに顧客領域１４２と、店員領域１４４と、ドロア領域１４６と、を設定する（Ｓ２０４）。顧客存否判定部１１２において顧客領域１４２に顧客がいると判定された場合（Ｓ２０６のＹ）、処理はステップＳ２０２に戻る。顧客領域１４２に顧客がいないと判定された場合（Ｓ２０６のＮ）、開閉判定部１１４においてドロア１５６の開閉が判定される（Ｓ２０８）。開閉判定部１１４においてドロア１５６が閉まっていると判定される場合（Ｓ２０８のＮ）、処理はステップＳ２０２に戻る。開閉判定部１１４においてドロア１５６が開いていると判定される場合（Ｓ２０８のＹ）、店員存否判定部１３０において店員領域１４４における店員５の存否が判定される（Ｓ２１０）。店員存否判定部１３０において店員領域１４４に店員５がいないと判定された場合（Ｓ２１０のＮ）、処理はステップＳ２０２に戻る。店員存否判定部１３０において店員領域１４４に店員５がいると判定された場合（Ｓ２１０のＹ）、領域分割部１３２は店員５の位置を基点とするリーチ領域１４８を設定する（Ｓ２１２）。領域分割部１３２は、そのリーチ領域１４８を第１〜第４分割領域１５４ａ〜１５４ｄに分割する（Ｓ２１４）。重畳判定部１３４においてドロア領域１４６は第１〜第４分割領域１５４ａ〜１５４ｄのいずれとも重畳しないと判定された場合（Ｓ２１６のＮ）、処理はステップＳ２０２に戻る。重畳判定部１３４において第１〜第４分割領域１５４ａ〜１５４ｄのうちの少なくともひとつとドロア領域１４６とに少なくとも部分的に重畳があると判定された場合（Ｓ２１６のＹ）、差分判定部１３６において、重畳する分割領域内におけるフレーム画像１４０の画素値とフレーム画像１４０の１フレーム前のフレーム画像の画素値との間の差分を使用した判定が行われる（Ｓ２１８）。差分判定部１３６において、重畳する分割領域における差分の絶対値の総和が第１判定値より小さいと判定された場合（Ｓ２１８のＮ）、処理はステップＳ２０２に戻る。差分判定部１３６において、重畳する分割領域における差分の絶対値の総和が第１判定値以上と判定された場合（Ｓ２１８のＹ）、差分判定部１３６において他の分割領域における差分を使用した判定が行われる（Ｓ２２０）。差分判定部１３６において、他の分割領域における差分の絶対値の総和が第２判定値より大きいと判定された場合（Ｓ２２０のＮ）、処理はステップＳ２０２に戻る。差分判定部１３６において、他の分割領域における差分の絶対値の総和が第２判定値以下と判定された場合（Ｓ２２０のＹ）、監視部１２０はセンタサーバ２２および携帯端末８に対して警告を送信する（Ｓ２２２）。
【００４４】
なお、ステップＳ２０６とステップＳ２０８とを入れ替えてもよい。すなわち、開閉判定部１１４におけるドロア１５６の開閉判定を最初に行ってもよい。
【００４５】
以上の構成による監視装置１００およびそれを含む監視システム１の動作を説明する。
監視システム１によってキャッシュレジスタ４の周辺が監視されているなかで店員５がキャッシュレジスタ４から現金を盗んだとする。すると監視装置１００は監視カメラ２から送られてくるフレーム画像を処理して店員５の不正な動作を検知し、監視センタ２０の監視者および店舗１０のオーナーにその旨を知らせる。監視者やオーナーは監視装置１００からの知らせに基づき警察への通報や盗んだ店員５の特定などを迅速に行うことができる。
【００４６】
本実施の形態に係る監視装置１００によると、監視カメラ２からのフレーム画像１４０に領域を設定し、その領域内におけるフレーム画像１４０の画素値を使用した条件判定を基に不正動作を判定する。したがって、例えばフレーム画像に映る店員の動作を追跡しその軌跡から計算することによって不正判定を行う場合と比較して、画像処理における計算量を低減することができる。また、店員５の位置の周りに複数の領域すなわち第１〜第４分割領域１５４ａ〜１５４ｄを設定し、各分割領域内におけるフレーム画像１４０の画素値を使用した条件判定を基に不正動作を判定する。したがって、やはり画像処理における計算量を低減できる。
【００４７】
また、顧客存否判定部１１２がフレーム画像１４０の顧客領域１４２に顧客が存在すると判定した場合、顧客存否判定部１１２は画像処理部１０４におけるそのフレーム画像１４０の処理を中断させる。顧客領域１４２に顧客が存在する場合、店員５がキャッシュレジスタ４から現金を盗んでいると判定するための必要条件のひとつが欠ける。したがって画像処理部１０４におけるその余の判定結果を待つまでもなくそのフレーム画像１４０からは不正動作は検出されない。そこで顧客領域１４２に顧客が存在すると判定された時点で現フレーム画像１４０の処理をやめて次のフレーム画像の処理を始めることで画像処理部１０４における処理量を低減し、より効率的な監視装置１００の運用が可能となる。
開閉判定部１１４がドロアが閉じていると判定した場合に開閉判定部１１４は画像処理部１０４におけるそのフレーム画像１４０の処理を中断させること、および、店員存否判定部１３０がフレーム画像１４０の店員領域１４４に店員５が存在しないと判定した場合に店員存否判定部１３０は画像処理部１０４におけるそのフレーム画像１４０の処理を中断させること、についても同様の作用効果がある。
【００４８】
領域分割部１３２における領域分割の変形例を説明する。
図８は、第１変形例に係る領域分割部１３２ａにおけるリーチ領域１４８の分割を説明するための説明図である。領域分割部１３２ａは、リーチ領域１４８を店員５の頭部５ａの位置を囲む２本の略楕円１６０ａ、ｂで分割する。その結果リーチ領域１４８は、それぞれが店員５の頭部５ａの位置を囲む環状の第１〜第３環状分割領域１６２ａ〜１６２ｃに分割される。
【００４９】
第１変形例に係る動作検知部１１８ａは、まず一番外側の第１環状分割領域１６２ａがドロア領域１４６と少なくとも部分的に重畳するか否かを判定する。動作検知部１１８ａは、重畳すると判定された場合、第１〜第３環状分割領域１６２ａ〜１６２ｃの各領域内におけるフレーム画像１４０の画素値と基準画像ＤＢ１０６から取得する過去画像、例えば現在よりも１フレーム前のフレーム画像の画素値との差分を演算する。動作検知部１１８ａは差分の絶対値の総和が所定の値以上となる環状分割領域の時間的な変遷を基に、店員５がキャッシュレジスタ４のドロア１５６に対して動作を行っているかを判定する。
【００５０】
特に動作検知部１１８ａは、ドロア領域１４６と第１環状分割領域１６２ａのみが重畳する場合、差分の絶対値の総和が所定の値以上となる環状分割領域が時が経つにつれて、第３環状分割領域１６２ｃ、第２環状分割領域１６２ｂ、第１環状分割領域１６２ａの順番に移り変わるときに、店員５がキャッシュレジスタ４のドロア１５６に対して動作を行っていると判定する。具体的には、第３環状分割領域１６２ｃにおける差分の絶対値の総和が所定の値以上となったときのフレーム画像を基点、例えばｎ０番目のフレームとする。ｎ０番目のフレーム以降で初めて第２環状分割領域１６２ｂにおける差分の絶対値の総和が所定の値以上となったときのフレーム画像をｎ１番目のフレームとする。ｎ１番目のフレーム以降で初めて第１環状分割領域１６２ａにおける差分の絶対値の総和が所定の値以上となったときのフレーム画像をｎ２番目のフレームとする。ここでｎ０、ｎ１およびｎ２はいずれも自然数であり、ｎ０＜ｎ１＜ｎ２を満たす。
なお、ｎ０番目のフレームとｎ１番目のフレームとの間のフレームにおけるフレーム画像では、第３環状分割領域１６２ｃにおける差分の絶対値の総和が所定の値以上となっていてもよいし、なっていなくてもよい。また、ｎ１番目のフレームとｎ２番目のフレームとの間のフレームにおけるフレーム画像では、第２環状分割領域１６２ｂにおける差分の絶対値の総和が所定の値以上となっていてもよいし、なっていなくてもよい。
【００５１】
また動作検知部１１８ａは、ドロア領域１４６と第１環状分割領域１６２ａのみが重畳する場合に、差分の絶対値の総和が所定の値以上となる環状分割領域が、第３環状分割領域１６２ｃ、第２環状分割領域１６２ｂ、第３環状分割領域１６２ｃ、の順番に移り変わるときは、店員５がキャッシュレジスタ４のドロア１５６に対して動作を行っているとは判定しない。
【００５２】
第１の実施の形態に係る監視装置１００では店員５が腕を伸ばして引っ込めるといった動作を判別するのは難しい。しかしながら本変形例によると、容易にそのような動作を判別できる。したがって店員５の腕の動きにもとづいて不正動作を判定できる。特に店員５の腕がドロア領域１４６に届いていない場合は不正動作と判定されないので、誤判定の数を低減できる。
【００５３】
図９は、第２変形例に係る領域分割部１３２ｂにおけるリーチ領域１４８の分割を説明するための説明図である。領域分割部１３２ｂは、リーチ領域１４８を店員５の頭部５ａの位置を囲む２本の略楕円１６０ａ、ｂおよび頭部５ａの位置において直交する２本の直線１５０、１５２によって分割する。
本変形例によると、第１の実施の形態の作用効果および第１変形例の作用効果の両者を得ることができる。したがって、さらに誤判定の少ない不正動作判定が可能となる。
【００５４】
図１０は、第３変形例に係る領域分割部１３２ｃにおけるリーチ領域の設定および分割を説明するための説明図である。領域分割部１３２ｃは、店員領域１４４に存在する店員５の位置とドロア領域１４６との間にリーチ領域１４８ｃを設定する。領域分割部１３２ｃは、リーチ領域１４８ｃを店員５の位置からの距離によって、例えば等間隔となるように分割する。その結果図１０ではリーチ領域１４８ｃは第１〜第４帯状分割領域１６４ａ〜１６４ｄおよび残余分割領域１６６に分割される。動作検知については重畳判定がない点を除き第１変形例に係る動作検知部１１８ａに準ずる。
【００５５】
本変形例によると、店員５の位置に対して設定するリーチ領域１４８ｃを第１の実施の形態の場合と比べて小さくできる。したがってより計算量を低減できる。
なお、領域分割部１３２ｃは店員５の手先周辺をさらに細かく分割してもよい。
【００５６】
第１の実施の形態では領域分割部１３２においてリーチ領域１４８を分割してから重畳判定部１３４で重畳判定する場合について説明したが、これに限られず、リーチ領域１４８を分割しなくてもよい。例えば第４変形例では、領域分割部１３２の代わりにリーチ領域設定部を設けてもよい。リーチ領域設定部は、店員存否判定部１３０において店員領域１４４に店員５が存在すると判定されると、その店員５の店員領域１４４内での位置を中心とするリーチ領域１４８を設定する。またこの場合、重畳判定部はリーチ領域１４８とドロア領域１４６とが少なくとも部分的に重畳するか否かを判定する。重畳する場合、重畳判定部はそれらが重畳する重畳領域１８０を設定する。言い換えると、重畳判定部はリーチ領域１４８に対して重畳領域１８０およびそれ以外の領域の２つの領域を設定する。
図１１は、第４変形例に係る重畳領域１８０を説明するための説明図である。リーチ領域１４８のうちドロア領域１４６と重畳する部分が重畳領域１８０である。
【００５７】
第４変形例に係る差分判定部１３６ｄは、重畳判定部において重畳すると判定された場合、重畳領域１８０内における現在のフレーム画像１４０の画素値と基準画像ＤＢ１０６から取得する過去画像、例えば現在よりも１フレーム前のフレーム画像の画素値との差分を演算する。
【００５８】
本変形例によると、リーチ領域１４８よりも小さな重畳領域１８０を差分演算に使用するので画像処理部１０４におけるデータの処理量を低減できると共に、重畳部分だけを見て動作を検知するので検知の確実性が向上する。
【００５９】
（第２の実施の形態）
第１の実施の形態では、監視カメラ２が天井に設置されて、店員５の頭部側からキャッシュレジスタ４が載置される空間を撮像する。一方、第２の実施の形態では、監視カメラ２が店舗１０の壁に設置されて、店員５の側方からキャッシュレジスタ４が載置される空間を撮像する。監視カメラ２の画角は、店員５の頭から足までを撮像できる画角に設定される。以下、第１の実施の形態と共通する部分の説明は省略する。
【００６０】
図１２は、領域設定部１１０によって設定される領域を示す説明図である。領域設定部１１０は、フレーム画像１７４のなかに顧客領域１６８と、店員領域１７０と、ドロア領域１７２と、を設定する。顧客領域１６８は、画像取得部１０２によって取得されるフレーム画像１７４のうちキャッシュレジスタ４の前に立つ顧客が存在する領域である。店員領域１７０は、キャッシュレジスタ４を操作する店員が存在する領域である。ドロア領域１７２は、キャッシュレジスタ４のドロア（図１２では不図示）を開けた場合にそのドロアが占める領域である。
【００６１】
領域分割部１３２は、店員存否判定部１３０において店員領域１７０に店員５が存在すると判定されると、その店員５の店員領域１７０内での位置を中心とするリーチ領域を設定し、そのリーチ領域を分割する。
図１３は、領域分割部１３２におけるリーチ領域１７６の設定および分割を説明するための説明図である。領域分割部１３２は店員５の頭部５ａの位置の座標をパターン認識等の公知の技術を使用して算出する。領域分割部１３２は、頭部５ａの位置の座標を基準に所定の範囲、例えば手が伸ばせる程度の範囲の領域をリーチ領域１７６として設定する。 領域分割部１３２は、リーチ領域１７６を水平方向に頭部５ａの大きさ程度の間隔で分割する。分割後の領域をそれぞれ第１〜第３分割領域１７８ａ〜１７８ｃと呼ぶ。
【００６２】
重畳判定部１３４は、第１〜第３分割領域１７８ａ〜１７８ｃのうちの少なくともひとつとドロア領域１７２の上方とが少なくとも部分的に重畳するか否かを判定する。
差分判定部１３６は、重畳判定部１３４において重畳すると判定された場合、第１〜第３分割領域１７８ａ〜１７８ｃの各領域内におけるフレーム画像１７４の画素値と基準画像ＤＢ１０６から取得する過去画像、例えば現在よりも１フレーム前のフレーム画像の画素値との差分を演算する。差分判定部１３６は、ドロア領域１７２の上方と少なくとも部分的に重畳する分割領域における差分の絶対値の総和が所定の第１判定値以上であり、かつ、それ以外の分割領域における差分の絶対値の総和が所定の第２判定値以下である場合に、キャッシュレジスタ４のドロアに対して店員５が動作を行っていると判定する。
【００６３】
図１４は、差分判定部１３６における判定を説明するための説明図である。図１４では第２分割領域１７８ｂがドロア領域１７２の上方１７２ａと部分的に重畳している。一人の店員５がキャッシュレジスタ４のドロア１５６に対して足は動かさずに手で動作を行っている場合、店員５の手５ｂの動きによって第２分割領域１７８ｂにおける差分の絶対値の総和は大きくなる。したがって、第１判定値を適切に設定することによりドロア１５６に対して店員５が何かの動作を行っていると判定できる。
【００６４】
また、他の分割領域（第１分割領域１７８ａ、第３分割領域１７８ｃ）における差分の絶対値の総和も演算され、第２判定値と比較される。この意義は第１の実施の形態と同様である。
【００６５】
本実施の形態によると第１の実施の形態の作用効果と同様の作用効果を得ることができる。
【００６６】
以上、実施の形態に係る監視装置１００の構成と動作について説明した。これらの実施の形態は例示であり、その各構成要素や各処理の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。例えば第１の実施の形態と第２の実施の形態を組み合わせること、つまりキャッシュレジスタ４を上方および側方の両方向から２台の監視カメラで監視し、それらの監視カメラからのフレーム画像をそれぞれ第１の実施の形態、第２の実施の形態で説明したように処理することも可能である。
【００６７】
第１および第２の実施の形態において、リーチ領域を設定する前に領域分割部１３２は、店員５の位置とドロア領域の位置との間の距離を演算してもよい。領域分割部１３２は、その距離が所定の距離以下の場合にリーチ領域を設定してもよい。この場合、店員５とドロアとの距離が遠い場合はリーチ領域の設定、分割や不正判定を行わなくてもよいので、監視装置全体の処理速度が向上しうる。
【００６８】
第１および第２の実施の形態では、画像処理部１０４が開閉判定部１１４を含み、開閉判定部１１４はフレーム画像１４０からドロアの開閉を判定する場合について説明したが、これに限られない。例えば、画像処理部１０４の外部に開閉判定部を設けてもよい。この開閉判定部は、キャッシュレジスタ４から受信するドロアの開閉を示す開閉信号を基にドロアの開閉を判定してもよい。
【００６９】
第１および第２の実施の形態では、監視部は警告を発する場合について説明したが、これに限られない。例えば、不正動作があると判定された場合、監視部は不正動作の対象となったキャッシュレジスタ４のＩＤと不正動作があった時刻とを記録テーブルに記録してもよい。この場合、記録テーブルに記録される情報は、後に犯人を割り出すための一助となる。また、監視システム１は監視カメラ２からのフレーム画像を常時録画せず、監視部は不正動作の判定を契機として録画を開始してもよい。この場合、必要なストレージのキャパシティを低減できる。
【００７０】
第１および第２の実施の形態では、監視装置１００と監視カメラ２とを別体として説明したが、これに限られず、監視装置１００の機能は監視カメラ２に組み込まれてもよい。また、監視装置１００は監視センタ２０に備えられてもよい。
【００７１】
第１および第２の実施の形態では、差分判定部１３６は、現在のフレーム画像１４０の画素値と基準画像ＤＢ１０６から取得する過去画像、例えば現在よりも１フレーム前のフレーム画像の画素値との差分を演算する場合について説明したが、これに限られない。例えば、ドロア１５６が開いている状態の背景画像すなわちキャッシュレジスタ４が載置される空間を撮像したフレーム画像のうち、店員および顧客のいずれも存在せず、キャッシュレジスタ４のドロア１５６が開いている状態のフレーム画像が使用されてもよい。この場合、差分判定部１３６は、現在のフレーム画像１４０の画素値とドロア１５６が開いている状態の背景画像の画素値との差分を演算してもよい。また、過去画像としてドロア１５６に店員５の手が届いていないことが明らかな程度まで遡ったフレーム画像を使用してもよい。これらの場合、差分によってドロア１５６に店員５の手がかかっているか否かが判定されうる。
【００７２】
第１および第２の実施の形態で説明した不正動作を判定するための条件に、店員５がきょろきょろ当たりを見回すなどの「ちらちら周りを確認するしぐさ」を加えてもよい。この場合に対応する第５変形例では、監視部は、動作検知部１１８においてキャッシュレジスタ４のドロアに対して店員５が動作を行っていると判定され、かつ、顧客存否判定部１１２において顧客領域に顧客がいないと判定され、かつ、開閉判定部１１４においてドロアが開いていると判定され、かつ不審動作判別装置１０００によって店員５の「ちらちら周りを確認するしぐさ」が検知された場合、不正動作が行われていると判定する。
【００７３】
本変形例に係る不審動作判別装置１０００を図１５に示しており、この例では移動体である人間の頭部の動きから不審者を判別するのに適用したものである。この移動体の判別装置では、更にはオペレータが入力操作する入力手段１００４を有して構成している。演算処理部１００１は、監視カメラにより取得した人間の頭部の２次元位置情報を処理し，後述する特徴データを用いて移動体を不審者等か否かを判別処理して出力する部分である。
【００７４】
演算処理部１００１には、図１５の例では位置情報処理手段１０１１と、人間の頭部の２次元位置データを記録する記録手段１０１２と、動作特徴データ算出手段１０１３と、個別動作別特徴係数算出手段１０１４と、個別動作別特徴算出係数を記録保存する記録手段１０１５と、個別動作別特徴量算出手段１０１６と、判別手段１０１７と、個別動作別特徴指示手段１０１８と、個別動作選択指示手段１０１９とを有しており、これらについては以下にそれぞれ説明する。
【００７５】
位置情報処理手段１０１１は、撮影した映像情報に対して所定の画像処理を行い、この処理で取得した移動体である人間の頭部のｘ座標値とｙ座標値の位置データを得る部分であり、処理取得した移動体の位置データは、メモリ等の記録手段１０１２に出カして保存する。
【００７６】
動作特徴データ算出手段１０１３は、記録手段１０１２中の指定時間内における移動体の位置データを用いて、後述する計算式により動作別の特徴量の算出に必要な特徴データ、即ち移動体の動作特徴データである少なくとも動作の距離と、速さと、角度と、２次元座標データのｘ座標の移動量とｙ座標の移動量の相関係数との各特徴データを算出する部分である。この動作特徴データ算出手段１０１３で算出した移動体の動作特徴データは、個別動作毎に該否判別の閾値を設定することを目的とする場合には個別動作別特徴係数算出手段１０１４で使用し、判別対象体の個別動作の該否判別を目的とする場合には個別動作別特徴量算出手段１０１６で使用する。
【００７７】
動作特徴データ算出手段１０１３で算出する動作の距離と、速さと、角度と、２次元座標データのｘ座標の移動量とｙ座標の移動量の相関係数の各特徴データは、以下に例示する各式で算出する。
（１）動作の距離特徴データのうち、指定時間内における動作中心からの距離の平均
は、式１で求める。
【００７８】
【数１】
【００７９】
ただし、ｉは指定時間の位置データの番号、N は指定時問内の位置データの数、ｒｉは指定時間内の動作中心座標値とｉ番日の位置データとの距離である。
（２）動作の距離特徴データのうち、指定時間内における動揺中心からの距離の標準偏差（ばらつき）σｒは、式２で求める。
【００８０】
【数２】
【００８１】
ただし、ｉとNとｒｉと
は、上記のものと同様である。
（３）動作の速さ特徴データのうち、指定時間内における軌跡長の平均
は、式３で求める。
【００８２】
【数３】
【００８３】
ただし、Δｒｉのｉ番目の位置データとｉ＋１番目の位置データ間の距離は、式３−１で求められ、ｉとNは上記のものと同様であり、Δｔは指定時間、ｘｉとｙｉは、それぞれｉ番目の位置データ、ｘｉ＋１とｙｉ＋１は、それぞれｉ＋１番目の位置データである。
【００８４】
【数４】
【００８５】
（４）動作の速さ特徴データのうち、指定時間内における軌跡長の標準偏差（ばらつき）σΔｔは、式４で求める。
【００８６】
【数５】
【００８７】
ただし、Δｒｉと
とΔｔは、上記のものと同様である。
（５）動作の角度特徴データのうち、指定時間内における変動角度の平均
は、式５で求める。
【００８８】
【数６】
【００８９】
ただし、θｉのｉ番目の位置データの角度は、式５−１により求められ、Δθｉのｉ番目の位置データとｉ＋１番目の位置データ間の角度は、式５−２により求められ、Δｔとｘｉとｙｉは、上記のものと同様であり、ｃｘとｃｙは、それぞれ動作中心のｘ座標の値とｙ座標の値である。
【００９０】
【数７】
【００９１】
【数８】
【００９２】
（６）動作の角度特徴データのうち、指定時間内の変動角度の標準偏差（ばらつき）σΔθは、式６で求める。
【００９３】
【数９】
【００９４】
ただし、Δθｉと
とΔｔは、上記のものと同様である。
（７）動作の関連性特徴データのうち、ｘとｙの相関係数Ｃｘｙは、式７で求める。
【００９５】
【数１０】
【００９６】
ただし、ｘｉとｙｉととｃｘとｃｙは、上記のものと同様であり、σｘは指定時間内のｘ座標における標準偏差で、式７−１により求められ、またσｙは指定時間内のｙ座標における標準偏差で、式７−２により求められる。
【００９７】
【数１１】
【００９８】
【数１２】
【００９９】
（８）動作の関連性特徴データのうち、面積Ｓは、式８で求める。
【０１００】
【数１３】
【０１０１】
ただし、σｘとσｙは、上記のものと同様である。
【０１０２】
なお、特徴データの算出式には、上記以外に移動体が撮影した画像中の動作中心を基準として第１から第４象限の動揺中らからの距離の平均や最大距離を求める計算式等も使用することができる。
【０１０３】
個別動作別特徴係数算出手段１０１４では、個別動作毎に該否判別の閾値を設定するために、動作特徴データ算出手段１０１３で算出された特徴データと、オペレータが操作する入力手段１００４から個別動作別特徴指示手段１０１８を介して入力した不審レベルを用いて、移動体の個別動作毎の最適な動作の個別動作別特徴算出係数を算出し、これを記録手段１０１５に保存している。
【０１０４】
個別動作別特徴係数算出手段１０１４おいての個別動作別特徴算出係数は、次のように周知の重回帰分析によって算出する。
特徴データを説明変数とし、不審レベルを目的変数として、重回帰分析を行い、係数（回帰係数）と各特長データの危険率を求める。そして、求めた危険率が高ければ、不要な特徴データとみなす。例えば不審者を撮影し、「ちらちら周りを確認するしぐさ」の動きをする不審者を要因分析した結果、表１の値が算出される。
【０１０５】
【表１】
【０１０６】
上記の表１から不要な特徴データを削除するため、例えば危険率が５０％以上の場合は、不審者を判別するための特徴データから削除し、そして再度の要因分析する。要因分析は、定めた危険率が５０％以上の特徴量がなくなるまで、繰り返し実施する。この繰り返しによって、表１から特徴データの変動角（平均）及び変動角（標準偏差）は削除され、表２に示すようになり、このときの係数（回帰係数）等が記録手段１０１５に記録保存される。
【０１０７】
【表２】
【０１０８】
個別動作別特徴量算出手段１０１６では、判別対象体の個別動作の該否判別を行うために、少なくとも移動体の動作の距離と、速さと、角度と、２次元座標データのｘ座標の移動量とｙ座標の移動量の相関係数の各特徴データを説明変数とし、記録手段１０１５に記録した表２に示す特徴データと係数（回帰係数）と切片を用いて、下記のように個別動作別特徴量として目的変数を算出する。
【０１０９】
つまり、個別動作別特徴量算出手段１０１６では、記録手段１０１５に保存した表２の係数の積と切片とを全て加算して、個別動作別特徴量を目的変数として算出する。したがって、個別動作別特徴量は、下記の算出量の値となる。
【数１４】
【０１１０】
なお、個別動作別特徴係数算出手段１０１４での個別動作別特徴算出係数の算出には、上記した重回帰分析以外に、主成分分析や、判別分析や、ニューラルネットワークの技術を利用して行うことができる。
【０１１１】
上記した移動体の位置データを使用する動作特徴データ算出手段１０１３と個別動作別特徴係数算出手段１０１４は、別のパソコンに組み込んで算出処理を行って、移動体の位置データから動作特徴データ、個別動作別特徴算出係数を順に求めることもできる。そして、算出結果の個別動作別特徴算出係数を、入力手段１００４から演算処理部１００１内の記録手段１０１５に記録して使用することもできる。このような算出処理をする場合、個別動作別特徴係数算出手段１０１４及び個別動作別特徴指示手段１０１８は、演算処理部１００１に設ける必要がなくなる。
【０１１２】
個別動作別特徴量算出手段１０１６で算出した個別動作別特徴量の値は、判別手段１０１７で使用する。判別手段１０１７では、個別動作別特徴量の値と予め設定した闘値との比較を行い、その大小から移動体が不審者であるか否かを判別し、その結果を監視部に出力する。
【０１１３】
また、個別動作別特徴指示手段１０１８は、オペレータが入力手段１００４を用いて動作の名称や動作レベルを操作入力し、個別動作別特徴係数算出手段１０１４に指示するために用いられる。オペレータによる動作の名称と動作レベルの入力は、例えば回りをちらちら確認する動作を人の不審な動作として判別する場合に、動作の名称を「ちらちら周りを確認するしぐさ」と入力し、動作レベルは０〜１００の中で「ちらちら周りを確認するしぐさ」の動作を非常によく表現している場合には「１００」を入力し、不審な動作でない場合は「０」を入力する。
【０１１４】
人間の頭部の２次元位置データから予め個別動作別特徴算出係数の算出、及び記録手段１０１５に記録までの実施する処理手順の例を、図１６及び図１７に示している。図１６の処理手順は、監視カメラで取得した指定時間内の人間の頭部の２次元位置データを、位置情報処理手段１０１１で処理し（ステップＳ１０２１）、動作特徴データ算出手段１０１３において移動体の動作の距離と、速さと、角度と、２次元座標データのｘ座標の移動量とｙ座標の移動量の相関係数の各特徴データを算出処理し（ステップＳ１０２２）、オペレータが入力手段から動作名称と動作レベルの入力を受けてから（ステップＳ１０２３）、それをもとに個別動作別特徴係数算出手段１０１４で個別動作別特徴算出係数の算出処理を行い（ステップＳ１０２４）、個別動作別特徴算出係数を記録手段１０１５に記録保存の処理（ステップＳ１０２５）を行っている。
【０１１５】
また、監視カメラからの画像を活用した別の処理手順の場合上記ステップＳ１０２１部分の処理に代えて、位置情報処理手段１０１１において画像中の人から頭部の重心位置の算出と保管を行い、更に保管された頭部の重心位置から一定時間、例えば１５秒間の重心位置の取得処理を行って、次のステップＳ１０２２からステップＳ１０２５までの処理を行わせることもできる。
【０１１６】
図１７には移動体の判別を行う本発明の判別手順を示しており、ステップＳ１０３１とステップＳ１０３２の処理は、図１６に示すステップＳ１０２１とステップＳ１０２２の処理手順と同一であり、次のステップＳ１０３３は、監視対象施設で使用者が、任意に指示する施設特有の監視を必要とする動作名称の入力処理である。移動体の判定にあたっては、移動体の動作の距離と、速さと、角度と、２次元座標データのｘ座標の移動量とｙ座標の移動量の相関係数の各特徴データをもとにした個別動作別特徴算出係数を用いて個別動作別特徴量を算出処理し（ステップＳ１０３４）、この個別動作別特徴量の値と予め設定した闘値との判定処理を行い（ステップＳ１０３５）、その判定結果を出力処理する（ステップＳ１０３６）。
【０１１７】
上記した移動体の判別の処理手順、つまり監視カメラで取得した移動体の位置情報を処理して移動体の位置データを得る処理手順、移動体の位置データをから少なくとも移動体の動作の距離と速さと角度と２次元座標データのｘ座標の移動量とｙ座標の移動量の相関係数との各特徴データを算出する処理手順、各特徴データから算出して予め記録された個別動作別特徴算出係数を用いて移動体の個別動作別特徴量を算出する処理手順、算出した個別動作別特徴量の値と予め設定した闘値と比較して判別する処理手順は、移動体の判別プログラムとて作成し、演算処理部として用いるパソコンに組み込んで使用することができる。
【０１１８】
「ちらちら周りを確認するしぐさ」の動作を行う店員５の検出にあたっては、まず監視カメラで一定時間に撮影した画像から、対象の人の頭部の重心位置を求めて位置データを取得する。「ちらちら周りを確認するしぐさ」の動作の個別動作別特徴算出係数（回帰係数）を用いて、この位置データから求められる対象者の頭部の動作の距離、速さ、角度、２次元座標データのｘ座標の移動量とｙ座標の移動量の相関係数の各特徴データを説明変数として重回帰分析を行う。そして、算出された目的変数（「ちらちら周りを確認するしぐさ」の特徴量）と闘値とを比較して判定を行い、監視部に判定結果を出力する。
【０１１９】
第５変形例では、人間の頭部の２次元位置情報を処理した位置データから、少なくとも動作の距離と速さと角度と２次元座標データのｘ座標の移動量とｙ座標の移動量の相関係数との各特徴データを算出し、各特徴データを基に予め記録された個別動作別特徴算出係数を用いて移動体の個別動作別特徴量を算出し、ここで求めた個別動作別特徴量の値と予め設定した闘値と比較して移動体を判別する手法を使用して、店員５の「ちらちら周りを確認するしぐさ」を検知する場合について説明した。第６変形例では、領域を分割し各領域の特性、例えば輝度や画素値や領域の大きさ、の変化を監視することで店員５の動作を検知する。
これにより人が特定の部位、例えば頭や足、だけを動かしている場合もその動作を検知できる。
【０１２０】
第６変形例に係る監視装置は、店員５を撮像したフレーム画像を取得する画像取得部を備える。この画像取得部として図１の画像取得部１０２を使用してもよい。第６変形例に係る監視装置はさらに、画像取得部によって取得されたフレーム画像に対して、店員５の位置を基点とする監視領域を設定する監視領域設定部（不図示）と、監視領域を複数の分割監視領域に分割する監視領域分割部（不図示）と、複数の分割監視領域のうちの少なくともひとつにおけるフレーム画像の特性の変化に基づいて人が動作を行っているか否かを判定する判定部（不図示）と、を備える。
【０１２１】
図１８は、第６変形例に係る監視装置における店員５の「ちらちら周りを確認するしぐさ」の検知方法の一例を説明するための説明図である。図１８は、画像取得部が店員５を側方から撮像する場合を示す。監視領域設定部は、画像取得部によって取得されたフレーム画像３０２に対して、店員５の頭部５ａの位置を基点とする監視領域３０４を設定する。監視領域分割部は、監視領域３０４を５つの分割監視領域３０６ａ〜３０６ｅに分割する。以上の監視領域の設定および分割は第２の実施の形態における領域分割部１３２の機能と同様であってもよい。
【０１２２】
図１８に示されるようにフレーム画像３０２では前を向いていた店員５が次のフレーム画像３０８では横を向いた場合、頭部５ａに対応する分割監視領域３０６ａにおける輝度は、他の分割監視領域３０６ｂ〜３０６ｅにおける輝度よりも多く変化する。判定部はそのような変化を検出すると、店員５が「ちらちら周りを確認するしぐさ」を行っていると判定し、例えば図２の監視部１２０に通知する。
【０１２３】
図１９は、店員５が「ちらちら周りを確認するしぐさ」を行っている場合の各分割監視領域における輝度変化の一例を示すグラフである。図１９のグラフでは、ｙ軸は輝度変化量を任意の単位で示し、ｘ軸は時間を任意の単位で示す。このグラフから分かる通り、頭部５ａに対応する分割監視領域３０６ａにおける輝度変化量は他の分割監視領域３０６ｂ〜３０６ｅにおける輝度変化量よりも顕著に大きくなっている。
【０１２４】
図１８および図１９に示される技術的思想は、キャッシュレジスタに対する店員５の不正動作を検知するためだけでなく、より一般的に人の動作を検知するためにも適用できる。例えば、商品棚の前できょろきょろする者を特定して通知するためにも使用できる。
【０１２５】
これに関し、人が監視カメラに向かって歩いてくることや人が座り込んだり立ち上がったりすることを検出する技術について説明する。
図２０は、人３１０が監視カメラに向かって歩いてくる場合を説明するための説明図である。画像取得部は、フレーム画像３１２を取得する。監視領域設定部は、フレーム画像３１２に対して人３１０の例えば頭部３１０ａの位置を基点として監視領域３１８を設定する。監視領域分割部は、監視領域３１８を５つの分割監視領域３１６ａ〜３１６ｅに分割する。人３１０が監視カメラに向かって歩いてくる場合、次のフレーム画像３１４では監視領域３１８および各分割監視領域３１６ａ〜３１６ｅは大きくなる。また、通常人が歩くときは胸部などの上半身の動きは小さく脚などの下半身の動きは大きい。したがって、判定部はフレーム画像３１２と次のフレーム画像３１４との間で監視領域３１８が大きくなり、かつ下半身に対応する分割監視領域３１６ｄ、３１６ｅにおける輝度変化がそれ以外の分割監視領域３１６ａ、３１６ｂ、３１６ｃにおける輝度変化よりも大きい場合、人３１０が監視カメラに向かって歩いていると判定する。
また、人３１０が座り込んだ場合、監視領域３１８のうち下半身に対応する分割監視領域３１６ｄ、３１６ｅは、それ以外の分割監視領域３１６ａ、３１６ｂ、３１６ｃよりも大きな割合で小さくなる。したがって判定部は、それを検出すると人３１０が座り込んだと判定する。人３１０が立ち上がる場合はその逆である。
【０１２６】
以上、実施の形態にもとづき本発明を説明したが、実施の形態は、本発明の原理、応用を示しているにすぎないことはいうまでもなく、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が可能であることはいうまでもない。
【０１２７】
第１および第２の実施の形態で説明した不正動作を判定するための条件に、複数の連続するフレーム画像から得られる画素値の時間的な変遷のパターンによって表すことのできる店員５の動作、例えば店員５が頭を左右に振って周りの様子を窺うなどの周期的または振動的な動作（以下、「そわそわ動作」と称する）の検知を含めてもよい。あるいはまた、第１および第２の実施の形態で説明した不正動作を判定するための条件のうちドロアに手が触れていることの検知をそわそわ動作の検知に置き換えてもよい。
【０１２８】
キャッシュレジスタから現金を盗むなどの不正を行う店員は、そのような不正をする前または後に、周りに自分を見ている人がいないかチェックする場合が多い。そのような動作のひとつが上述のそわそわ動作である。このようなそわそわ動作の検知を店員不正動作条件のひとつとすることで、より実態に即した形での不正動作の検知が可能となり、例えば検知の精度を高めることができる。
【０１２９】
この場合に対応する第７変形例では、領域分割部は、店員存否判定部１３０において店員領域１４４に店員５が存在すると判定されると、その店員５の店員領域１４４内での位置を基点（この場合は中心）とするリーチ領域を設定し、そのリーチ領域を分割する。
【０１３０】
図２１は、第７変形例に係る領域分割部におけるリーチ領域３０２の分割を説明するための説明図である。領域分割部は、リーチ領域３０２を直立で静止している店員５の頭部５ａの位置を囲む複数の閉曲線である３本の略楕円３０４ａ、３０４ｂ、３０４ｃ、および頭部５ａの位置を通る直線３０６で分割する。特に、３本の略楕円３０４ａ、３０４ｂ、３０４ｃの中心は直立で静止している店員５の頭部５ａの位置と一致し、直線３０６は店員５ａの右半身と左半身とを分ける直線となるよう設定される。
直線３０６は例えば店員の左肩の端部５ｂと右肩の端部５ｃとを結ぶ線分の垂直二等分線として設定されてもよい。
【０１３１】
その結果、リーチ領域３０２は、店員５の左側において内側から第１左側分割領域Ｌ１、第２左側分割領域Ｌ２、第３左側分割領域Ｌ３、第４左側分割領域Ｌ４、店員５の右側において内側から第１右側分割領域Ｒ１、第２右側分割領域Ｒ２、第３右側分割領域Ｒ３、第４右側分割領域Ｒ４に分割される。
また、領域分割部は店員５の頭部５ａの色を記憶部（不図示）に記憶させる。
【０１３２】
監視装置の画像処理部は別の動作検知部（不図示）を含む。この別の動作検知部は、第１左側分割領域Ｌ１、第２左側分割領域Ｌ２、第３左側分割領域Ｌ３、第４左側分割領域Ｌ４、第１右側分割領域Ｒ１、第２右側分割領域Ｒ２、第３右側分割領域Ｒ３および第４右側分割領域Ｒ４におけるフレーム画像の画素値の時間的な変遷のパターンを取得するパターン取得部と、パターン取得部によって取得されたパターンが店員領域１４４に存在する店員５の所定の動作、例えばそわそわ動作によるパターンと対応するか否かを判定するパターン判定部と、を有する。
【０１３３】
パターン取得部は、現在のフレーム画像のリーチ領域３０２に対応する部分および現在よりも１フレーム前のフレーム画像のリーチ領域３０２に対応する部分に対して、記憶部によって記憶される店員５の頭部５ａの色でフィルタ処理を施し、それぞれに色情報としては頭部５ａの色のみを残す。現在のフレーム画像のリーチ領域３０２に対応する部分にこのフィルタ処理を施した結果得られる画像データをフィルタ処理後現在画像、現在よりも１フレーム前のフレーム画像のリーチ領域３０２に対応する部分にこのフィルタ処理を施した結果得られる画像データをフィルタ処理後過去画像と称す。
図２２は、色情報としては頭部５ａの色のみが示されたリーチ領域３０２を示す説明図である。
【０１３４】
パターン取得部は、第１左側分割領域Ｌ１、第２左側分割領域Ｌ２、第３左側分割領域Ｌ３、第４左側分割領域Ｌ４、第１右側分割領域Ｒ１、第２右側分割領域Ｒ２、第３右側分割領域Ｒ３および第４右側分割領域Ｒ４の各領域内におけるフィルタ処理後現在画像の画素値と、その領域内におけるフィルタ処理後過去画像の画素値との差分を演算する。特にパターン取得部は、各領域における差分の絶対値の総和を演算する。
【０１３５】
パターン取得部は、各領域について演算された差分の絶対値の総和と所定の第３判定値とを比較し、第３判定値以上となっている領域を変化領域として決定する。
図２３は、変化領域を説明するための説明図である。図２３では、店員の頭部５ａが左側に動いたので第１左側分割領域Ｌ１の画素値に変化が現れる。その結果、第１左側分割領域Ｌ１における画素値の差分の絶対値の総和が第３判定値を超え、第１左側分割領域Ｌ１が変化領域として決定される。
【０１３６】
パターン取得部は、変化領域として決定される領域の時間的な変遷のパターン、すなわち時間的に連続する複数のフレームの進行に合わせて変化領域として決定される領域がどのように移り変わるかを示すパターンを取得する。例えばパターン取得部は、あるフレームにおいて変化領域として決定された領域に対して値「１」を、そうでない領域に対して値「０」を、割り当てる。パターン取得部は、時間的に連続する複数のフレームのそれぞれにおいて各領域に割り当てられるそのような値をパターンデータとして記憶部に記憶させる。
【０１３７】
図２４は、記憶部に記憶されるパターンデータ３７０の構造の一例を示すデータ構造図である。パターンデータは、時間軸すなわちフレームの順番に沿って各領域に割り当てられた値を保持するデータである。
【０１３８】
パターン判定部は、記憶部に記憶されるパターンデータが監視者やオーナーにより予め設定されたそわそわ条件を満たすか否かを判定する。監視者やオーナーは、このそわそわ条件を店員５がそわそわ動作をしている場合にパターンデータに表れる特徴に基づき設定する。パターン判定部は、記憶部に記憶されるパターンデータがこのそわそわ条件を満たす場合、そのパターンデータはそわそわ動作によるパターンデータと対応すると判定する。この際、パターン判定部は値の時間的な変遷を複数の領域について組み合わせて判定してもよい。
【０１３９】
図２５は、第１左側分割領域Ｌ１および第２左側分割領域Ｌ２のそれぞれに割り当てられた値の時間的な変遷の一例を示すグラフである。図２５において横軸は時間、縦軸は割り当てられた値を示す。図２５には、店員の頭部５ａが左側に動いたことを示す箇所が３つ３２０、３２２、３２４示されている。すなわち図２５に示されるデータから店員の頭部５ａが左側に３回動いたことが分かる。なお、変化領域が外側になるほど大きな動作となる。
【０１４０】
図２６は、第１右側分割領域Ｒ１および第２右側分割領域Ｒ２のそれぞれに割り当てられた値の時間的な変遷の一例を示すグラフである。図２６において横軸は時間、縦軸は割り当てられた値を示す。図２６には、店員の頭部５ａが右側に動いたことを示す箇所が２つ３２６、３２８示されている。すなわち図２６に示されるデータから店員の頭部５ａが右側に２回動いたことが分かる。
【０１４１】
例えば、監視者またはオーナーがそわそわ動作を検知するためのそわそわの回数を、店員の頭部５ａの右側への動きが２回以上かつ左側への動きが２回以上と定義し、そのようにそわそわ条件を設定する場合、図２５および図２６に示されるパターンデータでは時間１４でそわそわ動作が検知されることとなる。
【０１４２】
監視部は、動作検知部１１８においてキャッシュレジスタ４のドロアに対して店員５が動作を行っていると判定され、かつ、顧客存否判定部１１２において顧客領域に顧客がいないと判定され、かつ、開閉判定部１１４においてドロアが開いていると判定され、かつ、別の動作検知部において取得されたパターンがそわそわ動作によるパターンと対応すると判定された場合、不正動作が行われていると判定してもよい。
【０１４３】
あるいはまた、監視部は、顧客存否判定部１１２において顧客領域に顧客がいないと判定され、かつ、開閉判定部１１４においてドロアが開いていると判定され、かつ、別の動作検知部において取得されたパターンがそわそわ動作によるパターンと対応すると判定された場合、不正動作が行われていると判定してもよい。
【０１４４】
本変形例によると、分割された各領域の画素値の時間的な変遷のパターンに着目し、それとそわそわ動作に特徴的なパターンとを比較することでそわそわ動作を検知し、その検知を不正動作検知の条件としている。したがって、分割された領域に含まれる画素のみを差分演算の対象とするのでそわそわ動作の検知のために必要な計算量を低減できる。また、キャッシュレジスタ周りの不正動作の実態により即した形での不正動作検知が可能となる。
【０１４５】
なお第７変形例において、動作検知部１１８における判定および顧客存否判定部１１２における判定および開閉判定部１１４における判定はフレームごとに行うことが可能であるのに対し、別の動作検知部における判定は基本的に複数のフレームを必要とする。したがって、監視部は、判定の前後関係に関する以下のいずれかのモードで不正動作の有無の判定を行ってもよい。
【０１４６】
第１モード：監視部は、別の動作検知部において取得されたパターンがそわそわ動作によるパターンと対応すると判定されたフレームまたはそれ以降のフレームにおいて、顧客存否判定部１１２における判定結果および開閉判定部１１４における判定結果を取得し、不正動作の有無の判定を行う。この場合、店員がまずそわそわ動作を行って周りを確認してから不正動作を行う場合により好適に対応した検知が可能となる。
【０１４７】
第２モード：監視部は、動作検知部１１８においてキャッシュレジスタ４のドロアに対して店員５が動作を行っていると判定され、かつ、顧客存否判定部１１２において顧客領域に顧客がいないと判定され、かつ、開閉判定部１１４においてドロアが開いていると判定されたフレームまたはそれ以降のフレームにおいて、別の動作検知部における判定結果を取得し、不正動作の有無の判定を行う。この場合、店員が不正動作を行った後に周りを確認する場合により好適に対応した検知が可能となる。
【０１４８】
なお、パターン取得部は、頭の動き以外にも、手や体全体などのパターンデータを取得してもよい。手の場合には、パターン取得部は手の色でフィルタ処理を行い、パターンデータを取得する。体全体の場合には、パターン取得部は体全体の色のフィルタもしくは現在のフレーム画像と前回のフレーム画像の差分からパターンデータを取得する。これらのパターンデータをパターン判定部で処理することにより、頭以外の体の部位や体全体の周期的又は振動的な動作を検知することができる。
【符号の説明】
【０１４９】
１ 監視システム、 ２ 監視カメラ、 ４ キャッシュレジスタ、 ５ 店員、 ８ 携帯端末、 １０ 店舗、 ２０ 監視センタ、 ２２ センタサーバ、 １００ 監視装置、 １０２ 画像取得部、 １０４ 画像処理部、 １０６ 基準画像ＤＢ、 １０８ 基準画像更新部、 １１０ 領域設定部、 １１２ 顧客存否判定部、 １１４ 開閉判定部、 １１６ 複数領域設定部、 １１８ 動作検知部、 １２０ 監視部、 １２２ 領域指定部。
【特許請求の範囲】
【請求項１】
キャッシュレジスタが載置される空間を撮像したフレーム画像を取得する画像取得部と、
基準画像と前記画像取得部によって取得されたフレーム画像とを比較する画像処理部と、を備え、
前記画像処理部は、
前記キャッシュレジスタを操作する側の第１領域に存在する人の位置を基点とする複数の第２領域を設定する複数領域設定部と、
前記複数の第２領域のうちの少なくともひとつと開いている前記キャッシュレジスタのドロアが占める第３領域とが少なくとも部分的に重畳する場合に、前記第３領域と少なくとも部分的に重畳する第２領域におけるフレーム画像の画素値から前記キャッシュレジスタのドロアに対して人が動作を行っているか否かを判定する動作検知部と、
前記第１領域とは異なる第４領域におけるフレーム画像の画素値から前記第４領域における人の存否を判定する存否判定部と、
前記動作検知部において前記キャッシュレジスタのドロアに対して人が動作を行っていると判定され、かつ、前記存否判定部において前記第４領域に人がいないと判定された場合、所定の処理を行う監視部と、を含むことを特徴とする監視装置。
【請求項２】
前記複数領域設定部は、前記第１領域に存在する人の位置を基点とする第５領域を設定し、前記第５領域を分割することで前記複数の第２領域を設定することを特徴とする請求項１に記載の監視装置。
【請求項３】
前記画像取得部は、前記キャッシュレジスタが載置される空間を人の頭部側から撮像したフレーム画像を取得し、
前記複数領域設定部は、前記第５領域を前記基点を通る線で分割することを特徴とする請求項２に記載の監視装置。
【請求項４】
前記画像取得部は、前記キャッシュレジスタが載置される空間を人の頭部側から撮像したフレーム画像を取得し、
前記複数領域設定部は、前記第５領域を前記基点を囲む複数の閉曲線で分割することを特徴とする請求項２に記載の監視装置。
【請求項５】
前記画像取得部は、前記キャッシュレジスタが載置される空間を人の頭部側から撮像したフレーム画像を取得し、
前記複数領域設定部は、前記第５領域を前記基点を通る線で分割し、かつ、前記基点を囲む複数の閉曲線で分割することを特徴とする請求項２に記載の監視装置。
【請求項６】
前記複数領域設定部は、前記第１領域に存在する人の位置と開いている前記キャッシュレジスタのドロアの位置との間に第５領域を設定し、前記第５領域を前記第１領域に存在する人の位置からの距離によって分割することで前記複数の第２領域を設定することを特徴とする請求項１に記載の監視装置。
【請求項７】
前記画像取得部は、前記キャッシュレジスタが載置される空間を人の側面側から撮像したフレーム画像を取得し、
前記複数領域設定部は、前記第１領域に存在する人の頭部の位置を基点とする第５領域を設定し、前記第５領域を分割することで前記複数の第２領域を設定することを特徴とする請求項１に記載の監視装置。
【請求項８】
対象が載置される空間を撮像したフレーム画像を取得する画像取得部と、
基準画像と前記画像取得部によって取得されたフレーム画像とを比較する画像処理部と、を備え、
前記画像処理部は、
所定の第１領域に存在する人の位置を基点とする複数の第２領域を設定する複数領域設定部と、
前記複数の第２領域のうちの少なくともひとつと前記対象に関連する第３領域とが少なくとも部分的に重畳する場合に、前記第３領域と少なくとも部分的に重畳する第２領域におけるフレーム画像の画素値から前記対象に対して人が動作を行っているか否かを判定する動作検知部と、
前記動作検知部において前記対象に対して人が動作を行っていると判定された場合、所定の処理を行う監視部と、を含むことを特徴とする監視装置。
【請求項９】
キャッシュレジスタが載置される空間を撮像したフレーム画像を取得する機能と、
フレーム画像において前記キャッシュレジスタを操作する側の第１領域に存在する人の位置を基点とする複数の第２領域を設定する機能と、
前記複数の第２領域のうちの少なくともひとつと開いている前記キャッシュレジスタのドロアが占める第３領域とが少なくとも部分的に重畳する場合に、前記第３領域と少なくとも部分的に重畳する第２領域におけるフレーム画像と基準画像の画素値から前記キャッシュレジスタのドロアに対して人が動作を行っているか否かを判定する機能と、
前記第１領域とは異なる第４領域におけるフレーム画像と基準画像の画素値から前記第４領域における人の存否を判定する機能と、
前記キャッシュレジスタのドロアに対して人が動作を行っていると判定され、かつ、前記第４領域に人がいないと判定された場合、所定の処理を行う機能と、をコンピュータに実現させることを特徴とするコンピュータプログラム。
【請求項１０】
人を撮像したフレーム画像を取得する画像取得部と、
前記画像取得部によって取得されたフレーム画像に対して、人の位置を基点とする監視領域を設定する監視領域設定部と、
前記監視領域を複数の分割監視領域に分割する監視領域分割部と、
前記複数の分割監視領域のうちの少なくともひとつにおけるフレーム画像の特性の変化に基づいて人が動作を行っているか否かを判定する判定部と、を備えることを特徴とする監視装置。
【請求項１１】
前記複数領域設定部によって設定された複数の第２領域におけるフレーム画像の画素値の時間的な変遷のパターンを取得し、取得されたパターンが前記第１領域に存在する人の所定の動作によるパターンと対応するか否かを判定する別の動作検知部をさらに備え、
前記監視部は、前記動作検知部において前記キャッシュレジスタのドロアに対して人が動作を行っていると判定され、かつ、前記存否判定部において前記第４領域に人がいないと判定され、かつ、前記別の動作検知部において対応すると判定された場合、所定の処理を行うことを特徴とする請求項１から７のいずれかに記載の監視装置。
【請求項１２】
キャッシュレジスタが載置される空間を撮像したフレーム画像を取得する画像取得部と、
基準画像と前記画像取得部によって取得されたフレーム画像とを比較する画像処理部と、を備え、
前記画像処理部は、
前記キャッシュレジスタのドロアが開いているか否かを判定する開閉判定部と、
前記キャッシュレジスタを操作する側の第１領域に存在する人の位置を基点とする複数の第２領域を設定する複数領域設定部と、
前記複数領域設定部によって設定された複数の第２領域におけるフレーム画像の画素値の時間的な変遷のパターンを取得し、取得されたパターンが前記第１領域に存在する人の所定の動作によるパターンと対応するか否かを判定する動作検知部と、
前記第１領域とは異なる第３領域におけるフレーム画像の画素値から前記第３領域における人の存否を判定する存否判定部と、
前記動作検知部において対応すると判定され、かつ、前記開閉判定部において前記キャッシュレジスタのドロアが開いていると判定され、かつ、前記存否判定部において前記第３領域に人がいないと判定された場合、所定の処理を行う監視部と、を含むことを特徴とする監視装置。
【請求項１】
キャッシュレジスタが載置される空間を撮像したフレーム画像を取得する画像取得部と、
基準画像と前記画像取得部によって取得されたフレーム画像とを比較する画像処理部と、を備え、
前記画像処理部は、
前記キャッシュレジスタを操作する側の第１領域に存在する人の位置を基点とする複数の第２領域を設定する複数領域設定部と、
前記複数の第２領域のうちの少なくともひとつと開いている前記キャッシュレジスタのドロアが占める第３領域とが少なくとも部分的に重畳する場合に、前記第３領域と少なくとも部分的に重畳する第２領域におけるフレーム画像の画素値から前記キャッシュレジスタのドロアに対して人が動作を行っているか否かを判定する動作検知部と、
前記第１領域とは異なる第４領域におけるフレーム画像の画素値から前記第４領域における人の存否を判定する存否判定部と、
前記動作検知部において前記キャッシュレジスタのドロアに対して人が動作を行っていると判定され、かつ、前記存否判定部において前記第４領域に人がいないと判定された場合、所定の処理を行う監視部と、を含むことを特徴とする監視装置。
【請求項２】
前記複数領域設定部は、前記第１領域に存在する人の位置を基点とする第５領域を設定し、前記第５領域を分割することで前記複数の第２領域を設定することを特徴とする請求項１に記載の監視装置。
【請求項３】
前記画像取得部は、前記キャッシュレジスタが載置される空間を人の頭部側から撮像したフレーム画像を取得し、
前記複数領域設定部は、前記第５領域を前記基点を通る線で分割することを特徴とする請求項２に記載の監視装置。
【請求項４】
前記画像取得部は、前記キャッシュレジスタが載置される空間を人の頭部側から撮像したフレーム画像を取得し、
前記複数領域設定部は、前記第５領域を前記基点を囲む複数の閉曲線で分割することを特徴とする請求項２に記載の監視装置。
【請求項５】
前記画像取得部は、前記キャッシュレジスタが載置される空間を人の頭部側から撮像したフレーム画像を取得し、
前記複数領域設定部は、前記第５領域を前記基点を通る線で分割し、かつ、前記基点を囲む複数の閉曲線で分割することを特徴とする請求項２に記載の監視装置。
【請求項６】
前記複数領域設定部は、前記第１領域に存在する人の位置と開いている前記キャッシュレジスタのドロアの位置との間に第５領域を設定し、前記第５領域を前記第１領域に存在する人の位置からの距離によって分割することで前記複数の第２領域を設定することを特徴とする請求項１に記載の監視装置。
【請求項７】
前記画像取得部は、前記キャッシュレジスタが載置される空間を人の側面側から撮像したフレーム画像を取得し、
前記複数領域設定部は、前記第１領域に存在する人の頭部の位置を基点とする第５領域を設定し、前記第５領域を分割することで前記複数の第２領域を設定することを特徴とする請求項１に記載の監視装置。
【請求項８】
対象が載置される空間を撮像したフレーム画像を取得する画像取得部と、
基準画像と前記画像取得部によって取得されたフレーム画像とを比較する画像処理部と、を備え、
前記画像処理部は、
所定の第１領域に存在する人の位置を基点とする複数の第２領域を設定する複数領域設定部と、
前記複数の第２領域のうちの少なくともひとつと前記対象に関連する第３領域とが少なくとも部分的に重畳する場合に、前記第３領域と少なくとも部分的に重畳する第２領域におけるフレーム画像の画素値から前記対象に対して人が動作を行っているか否かを判定する動作検知部と、
前記動作検知部において前記対象に対して人が動作を行っていると判定された場合、所定の処理を行う監視部と、を含むことを特徴とする監視装置。
【請求項９】
キャッシュレジスタが載置される空間を撮像したフレーム画像を取得する機能と、
フレーム画像において前記キャッシュレジスタを操作する側の第１領域に存在する人の位置を基点とする複数の第２領域を設定する機能と、
前記複数の第２領域のうちの少なくともひとつと開いている前記キャッシュレジスタのドロアが占める第３領域とが少なくとも部分的に重畳する場合に、前記第３領域と少なくとも部分的に重畳する第２領域におけるフレーム画像と基準画像の画素値から前記キャッシュレジスタのドロアに対して人が動作を行っているか否かを判定する機能と、
前記第１領域とは異なる第４領域におけるフレーム画像と基準画像の画素値から前記第４領域における人の存否を判定する機能と、
前記キャッシュレジスタのドロアに対して人が動作を行っていると判定され、かつ、前記第４領域に人がいないと判定された場合、所定の処理を行う機能と、をコンピュータに実現させることを特徴とするコンピュータプログラム。
【請求項１０】
人を撮像したフレーム画像を取得する画像取得部と、
前記画像取得部によって取得されたフレーム画像に対して、人の位置を基点とする監視領域を設定する監視領域設定部と、
前記監視領域を複数の分割監視領域に分割する監視領域分割部と、
前記複数の分割監視領域のうちの少なくともひとつにおけるフレーム画像の特性の変化に基づいて人が動作を行っているか否かを判定する判定部と、を備えることを特徴とする監視装置。
【請求項１１】
前記複数領域設定部によって設定された複数の第２領域におけるフレーム画像の画素値の時間的な変遷のパターンを取得し、取得されたパターンが前記第１領域に存在する人の所定の動作によるパターンと対応するか否かを判定する別の動作検知部をさらに備え、
前記監視部は、前記動作検知部において前記キャッシュレジスタのドロアに対して人が動作を行っていると判定され、かつ、前記存否判定部において前記第４領域に人がいないと判定され、かつ、前記別の動作検知部において対応すると判定された場合、所定の処理を行うことを特徴とする請求項１から７のいずれかに記載の監視装置。
【請求項１２】
キャッシュレジスタが載置される空間を撮像したフレーム画像を取得する画像取得部と、
基準画像と前記画像取得部によって取得されたフレーム画像とを比較する画像処理部と、を備え、
前記画像処理部は、
前記キャッシュレジスタのドロアが開いているか否かを判定する開閉判定部と、
前記キャッシュレジスタを操作する側の第１領域に存在する人の位置を基点とする複数の第２領域を設定する複数領域設定部と、
前記複数領域設定部によって設定された複数の第２領域におけるフレーム画像の画素値の時間的な変遷のパターンを取得し、取得されたパターンが前記第１領域に存在する人の所定の動作によるパターンと対応するか否かを判定する動作検知部と、
前記第１領域とは異なる第３領域におけるフレーム画像の画素値から前記第３領域における人の存否を判定する存否判定部と、
前記動作検知部において対応すると判定され、かつ、前記開閉判定部において前記キャッシュレジスタのドロアが開いていると判定され、かつ、前記存否判定部において前記第３領域に人がいないと判定された場合、所定の処理を行う監視部と、を含むことを特徴とする監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【公開番号】特開２０１１−１８１０６７（Ｐ２０１１−１８１０６７Ａ）
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願番号】特願２０１１−１９９４１（Ｐ２０１１−１９９４１）
【出願日】平成２３年２月１日（２０１１．２．１）
【出願人】（５０５０６０７２７）株式会社リテールサポート (1)
【出願人】（３９８０３８７２０）システム・プロダクト株式会社 (6)
【Ｆターム（参考）】
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願日】平成２３年２月１日（２０１１．２．１）
【出願人】（５０５０６０７２７）株式会社リテールサポート (1)
【出願人】（３９８０３８７２０）システム・プロダクト株式会社 (6)
【Ｆターム（参考）】
[ Back to top ]