画像処理装置、方法、プログラム、および監視システム
【課題】監視対象者の一定時間の行動状態を把握する。
【解決手段】短背景生成部１２３が、滞在者が動くとき、滞在者の当該動いた部分がフレーム間で撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの撮像画像から短背景画像を生成し、背景生成部１２４が、滞在者がフレーム間で短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの短背景画像から背景画像を生成し、変化検出部１２５が、短背景画像と撮像画像の差分から変化抽出画像を生成する。そして、継続検出部１２６が、短背景画像と背景画像の差分から継続抽出画像を生成し、滞在者検出部１２２が、変化抽出画像と、継続抽出画像から監視対象者である滞在者の状態を示す情報を算出する。
【解決手段】短背景生成部１２３が、滞在者が動くとき、滞在者の当該動いた部分がフレーム間で撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの撮像画像から短背景画像を生成し、背景生成部１２４が、滞在者がフレーム間で短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの短背景画像から背景画像を生成し、変化検出部１２５が、短背景画像と撮像画像の差分から変化抽出画像を生成する。そして、継続検出部１２６が、短背景画像と背景画像の差分から継続抽出画像を生成し、滞在者検出部１２２が、変化抽出画像と、継続抽出画像から監視対象者である滞在者の状態を示す情報を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、方法、プログラム、および監視システムに関し、特に監視目的で設置されているカメラが撮像した撮像画像を用いて、監視対象者である滞在者の状態を検出し、一定時間の状態を表示するための画像処理装置、方法、プログラム、および監視システムに関する。
【背景技術】
【０００２】
従来から、様々な場面において人の動きが監視されている。
たとえば、介護施設や病院においては入院患者が発作を起こしたり徘徊してないかなどを監視する必要があり、また、人通りがある場所においては不審者がいないかや、混雑状況を監視する必要がある。
【０００３】
このようなときは監視する人員を配置すれば監視することができるが、広い範囲を監視する場合や、病室などのように見通しがきかない場所が多い場合は多数の人員を配置しなければならず現実的には監視コストの面などから実現性が乏しいことが多い。
【０００４】
また、一定人数に絞って人員を配置したとしても監視する人員が別の場所を監視している間の監視対象の状態はわからなくなってしまう。つまり、病院において、監視員が見ていない間に徘徊し、監視しているときには寝ている状態であるときは、当該監視対象者が徘徊していることに気がつかず、徘徊したという証拠も残らない。
【０００５】
このような場面での監視には監視したい場所に監視カメラを設置して監視を行っている。また、監視カメラだけとは限らず、監視カメラに警報スイッチなどの操作装置を組み合わせた監視システムも提案されている（たとえば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１−１５４２８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、監視カメラを設置して監視を行ったとしても、カメラの台数が多くなれば監視負担が増加し、結局カメラを監視する人員を増やす結果となり根本的な解決にはならない上に、監視の見落としを完全になくすことができるようになるわけではない。
【０００８】
たとえば、病室の監視において従来行われている、複数台のカメラで撮像された映像を一定台数のモニタに、映像を切り替えて映し出す映像を介した監視においては、一定の病室の監視が終わった後、再度の画面が切り替わるまでの間に発作等の異常を来したとしても、監視時に正常な状態であれば（映像を介した監視においては正常に見えれば）異常を来した事実には気がつかず、本来すべき対処ができないという問題がある。このような問題はカメラの台数が多くなるほどに顕著である。
【０００９】
また、警報スイッチなどの操作装置を組み合わせたとしても、監視対象者が操作できる状態であればいいが、重篤患者や、徘徊を監視する際には何の効果も発揮しないという問題もある。
【００１０】
さらに、人通りがある場所を監視する場合においては、一時的な混雑や、一時的な一定の場所への寄りつき具合などは常時監視においては見落としがちになるという問題がある。
【００１１】
つまり、人員によっても監視カメラにおいても常時監視には見落としのリスクは必ずつきものであり、いずれの場合においても後々録画された映像を再検討することによって確認するなどの対処を行う他はないという問題があった。このような完全に監視ができないという問題は、監視者に対する監視対象者が多いときの共通の問題である。
【００１２】
本発明はこのような点に鑑みてなされたものであり、監視対象者の一定時間の行動状態を把握することができる画像処理装置、方法、プログラム、および監視システムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明では上記問題を解決するために、監視目的で設置されているカメラが撮像した撮像画像を用いて、監視対象者である滞在者の状態を検出し、一定時間の状態を表示するための画像処理装置において、前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成する短背景生成手段と、前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成する背景生成手段と、前記短背景画像と前記撮像画像の差分から変化抽出画像を生成する変化抽出手段と、前記短背景画像と前記背景画像の差分から継続抽出画像を生成する継続抽出手段と、前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出する滞在者情報算出手段とを備えることを特徴とする画像処理装置が提供される。
【００１４】
これにより、短背景生成手段が、前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成し、背景生成手段が、前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成し、変化抽出手段が、前記短背景画像と前記撮像画像の差分から変化抽出画像を生成する。そして、継続抽出手段が、前記短背景画像と前記背景画像の差分から継続抽出画像を生成し、滞在者情報算出手段が、前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出する。
【００１５】
また、本発明では、監視目的で設置されているカメラが撮像した撮像画像を用いて、監視対象者である滞在者の状態を検出し、一定時間の状態を表示するための画像処理方法において、短背景生成手段が、前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成するステップと、背景生成手段が、前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成するステップと、変化抽出手段が、前記短背景画像と前記撮像画像の差分から変化抽出画像を生成するステップと、継続抽出手段が、前記短背景画像と前記背景画像の差分から継続抽出画像を生成するステップと、滞在者情報算出手段が、前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出するステップとを含むことを特徴とする画像処理方法が提供される。
【００１６】
これにより、短背景生成手段が、前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成し、背景生成手段が、前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成し、変化抽出手段が、前記短背景画像と前記撮像画像の差分から変化抽出画像を生成する。そして、継続抽出手段が、前記短背景画像と前記背景画像の差分から継続抽出画像を生成し、滞在者情報算出手段が、前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出する。
【００１７】
また、本発明では、監視目的で設置されているカメラが撮像した撮像画像を用いて、監視対象者である滞在者の状態を検出し、一定時間の状態を表示するための画像処理プログラムにおいて、コンピュータを、前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成する短背景生成手段、前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成する背景生成手段、前記短背景画像と前記撮像画像の差分から変化抽出画像を生成する変化抽出手段、前記短背景画像と前記背景画像の差分から継続抽出画像を生成する継続抽出手段、および前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出する滞在者情報算出手段として機能させることを特徴とする画像処理プログラムが提供される。
【００１８】
これにより、短背景生成手段が、前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成し、背景生成手段が、前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成し、変化抽出手段が、前記短背景画像と前記撮像画像の差分から変化抽出画像を生成する。そして、継続抽出手段が、前記短背景画像と前記背景画像の差分から継続抽出画像を生成し、滞在者情報算出手段が、前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出する。
【００１９】
さらに、本発明では、監視目的で設置されているカメラが撮像した撮像画像を用いて、監視対象者である滞在者の状態を検出し、一定時間の状態を表示するための画像処理装置を含む監視システムにおいて、前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成する短背景生成手段と、前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成する背景生成手段と、前記短背景画像と前記撮像画像の差分から変化抽出画像を生成する変化抽出手段と、前記短背景画像と前記背景画像の差分から継続抽出画像を生成する継続抽出手段と、前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出する滞在者情報算出手段とを備える画像処理装置と、前記画像処理装置が処理した画像を保存する画像保存手段と、前記画像に対してモザイク処理を施すモザイク処理手段とを備えることを特徴とする監視システムが提供される。
【００２０】
これにより、画像処理装置が、短背景生成手段が、前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成し、背景生成手段が、前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成し、変化抽出手段が、前記短背景画像と前記撮像画像の差分から変化抽出画像を生成する。そして、継続抽出手段が、前記短背景画像と前記背景画像の差分から継続抽出画像を生成し、滞在者情報算出手段が、前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出する。そして、画像保存手段が、前記画像処理装置が処理した画像を保存し、モザイク処理手段が、前記画像に対してモザイク処理を施す。
【発明の効果】
【００２１】
本発明の画像処理装置、方法、プログラム、および監視システムによれば、監視対象者の一定時間の行動状態を把握することができる
【図面の簡単な説明】
【００２２】
【図１】本実施の形態に係る発明の概念を示す図である。
【図２】活動検出部を詳細に示すブロック図である。
【図３】背景生成部の処理内容を示すブロック図である。
【図４】本実施の形態に係る画像処理装置を適用したシステムのシステム構成例を示す図である。
【図５】画像処理装置が行う監視対象者である滞在者の状態と継続検出および変化検出の関係を示す図である。
【図６】監視対象者である滞在者の状態遷移図である。
【図７】本実施の形態の画像処理装置による画像処理の手順を示すフローチャートである。
【図８】滞在者検出部による活動状態判定処理の手順を示すフローチャートである。
【図９】ブロック検出画像を説明する図である。
【図１０】滞在者検出部による活動状態記録処理の手順を示すフローチャートである。
【図１１】滞在者検出部による単位時間ごとの頻度記録処理の手順を示すフローチャートである。
【図１２】滞在者検出部による集計時間ごとの頻度記録処理の手順を示すフローチャートである。
【図１３】滞在者検出部によるアラーム処理の手順を示すフローチャートである。
【図１４】本実施の形態に係る画像処理装置で処理をしたときの画像表示例を示す図である。
【図１５】状態グラフを構成する棒グラフの拡大図である。
【図１６】状態グラフを示す拡大図である。
【図１７】重ね合わせグラフの下部にアラーム出力状況を示すグラフを表示したアラームグラフを示す拡大図である。
【図１８】本実施の形態の画像処理装置による画像処理の手順を示すフローチャートである。
【図１９】滞在者検出部による活動状態判定処理の手順を示すフローチャートである。
【図２０】滞在者検出部による活動状態記録処理の手順を示すフローチャートである。
【図２１】滞在者検出部による単位時間ごとの通行量記録処理の手順を示すフローチャートである。
【図２２】滞在者検出部による集計時間ごとの通行量記録処理の手順を示すフローチャートである。
【図２３】状態グラフを示す拡大図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
【００２４】
〔第１の実施の形態〕
図１は、本実施の形態に係る発明の概念を示す図である。
本実施の形態においては、老人ホームの居住スペースなどの監視をする場合を例にとって説明する。
【００２５】
図１に示すように、画像処理装置１００は、セレクタ１１０、活動検出部１２０、モザイク・モノクロ部１３０、メモリ１４０、グラフ合成部１５０、および接点入力・出力処理部１６０を備える。
【００２６】
セレクタ１１０は、活動検出部１２０の動き検出部１２１から出力される背景画像と、不図示のカメラから出力される画像を選択的にモザイク・モノクロ部１３０へ出力する。
【００２７】
活動検出部１２０は、動き検出部１２１および滞在者検出部１２２を備えている。活動検出部１２０の詳細に関しては図２を用いて詳しく説明する。
【００２８】
図２は、活動検出部を詳細に示すブロック図である。
図２に示すように、活動検出部１２０は、動き検出部１２１および滞在者検出部１２２を備えている。また、動き検出部１２１は、短背景生成部１２３、背景生成部１２４、変化検出部１２５、および継続検出部１２６を備えている。
【００２９】
短背景生成部１２３は、カメラが撮像した映像を構成する撮像画像のうち一定数間引きした撮像画像から短背景画像を生成する。具体的には、撮像画像の前後フレーム間で、移動者がその画像における同一位置にいない程度に間引きして一定フレームごとに抜き出した撮像画像を用いて短背景画像を生成する。
【００３０】
このような間引きを行うことにより、一定フレームごとに抜き出した撮像画像の差分をとって適宜加算して短背景画像を生成すると、一定フレーム間の撮像画像にはほとんど同じ位置には移動者が写っていないことから、共通部分としては抽出されず、背景と静止している滞在者のみが抽出されることになる。このような間引きは、たとえば、１〜４フレームごとに撮像画像を抽出し、短背景画像を生成する。
【００３１】
背景生成部１２４は、短背景画像を用いて背景画像を生成する。背景は日光等の影響や撮像範囲内の物が移動したときなど一定ではないため背景画像も更新をする必要がある。たとえば６４〜２５６フレームごとに抜き出した短背景画像を用いて背景画像を生成することにより、背景画像内に移動者や一旦静止したがその後動き出したような滞在者を含まないようにすることが可能となる。
【００３２】
変化検出部１２５は、短背景画像と撮像画像の差分から変化抽出画像を生成する。具体的には、短背景画像にはカメラから見て撮像対象者の位置的に変化していない部分と背景が映し出されていることから、撮像画像との差分をとることによりカメラから見て撮像対象者の位置的に変化した部分を抽出することができる。この位置的に変化した部分のみ抽出された画像が変化抽出画像である。
【００３３】
継続検出部１２６は、短背景画像と背景画像の差分から継続抽出画像を生成する。具体的には、短背景画像には撮像対象の位置的に変化していない部分と背景が映し出されていることから、背景画像との差分をとることにより位置的に変化していない部分、すなわちその場に立ち止まっているような滞在者など、継続して同一の場所にある部分を抽出することができる。たとえば監視対象が静止しているが腕を振っているときには、振っている腕以外の胴体部分などが継続して同一の場所にある部分にあたる。この継続部分のみ抽出した画像が継続抽出画像である。一方で、振っている腕の部分のみや、移動している滞在者全体はカメラから見て撮像対象者の位置的に変化した部分といえる。この変化部分のみ抽出した画像が変化抽出画像である。
【００３４】
滞在者検出部１２２は、変化検出部１２５が検出する変化検出結果、および継続検出部１２６が検出する継続検出結果から、移動頻度や動き頻度などの監視対象者である滞在者の情報を算出する。
以下、図１に戻って画像処理装置１００の説明を続ける。
【００３５】
モザイク・モノクロ部１３０は、入力された画像をモザイク処理、もしくは／およびモノクロ処理を行う。
【００３６】
グラフ合成部１５０は、モザイク・モノクロ部１３０から出力される画像、および活動検出部１２０からメモリ１４０を介して出力される画像を合成してモニタに出力する。
【００３７】
接点入力・出力処理部１６０は、メモリ１４０を介して監視対象の異常信号（アラーム出力）が出力されるとパトライトなどを点灯させるなどの異常を発報し、また、スイッチ操作などを受け付けて異常発報を停止させる処理を行う。
【００３８】
また、画像処理装置１００には、コンピュータ２１０と保存メモリ２２０が接続されている。
【００３９】
コンピュータ２１０は、ユーザからの入力を受け取り、画像処理装置１００の制御信号を出力する。また、画像処理装置１００から処理済みのデータを受け取る。処理済みのデータとは、たとえば監視対象のモニタリング結果などである。
【００４０】
保存メモリ２２０は、画像処理装置１００から処理済みのデータを受け取り格納する。また、コンピュータ２１０からの要求に応じて保存データを出力する。
【００４１】
図３は、背景生成部の処理内容を示すブロック図である。
図３に示すように、背景生成部１２４は、背景メモリ部１７０と更新速度制御部１８０を備えている。
【００４２】
背景メモリ部１７０は、乗算器１７１，１７２、加算器１７３、フレームメモリ１７４、および整数化部１７５を備え、更新速度制御部１８０は、フレームカウンタ１８１、コンパレータ１８２、および更新周期レジスタ１８３を備えている。
【００４３】
フレームカウンタ１８１は、入力される垂直同期信号をカウントアップし、フレームカウンタ１８１の値が更新周期レジスタ１８３に格納されている間引き数になると、コンパレータ１８２からフレームメモリ１７４に対して画像を保存するようにイネーブル信号を出力する。
【００４４】
一方、背景メモリ部１７０には、カメラから入力される入力画像に対して乗算器１７１で乗算した画像データと、フレームメモリ１７４に保存されている画像データに対して乗算器１７２で乗算した画像データとを、加算器１７３で加算してフレームメモリ１７４に格納する。そして、整数化部１７５で整数化して背景画像として出力する。
【００４５】
乗算器１７１で乗算される値をαとしたとき、乗算器１７２で乗算される値を１−αとする。このαの値を調整することにより何フレーム程度で背景画像がリフレッシュされるかを設定することができる。この図において背景生成部１２４の構成を説明したが、短背景生成部１２３も同様の構成である。
【００４６】
図４は、本実施の形態に係る画像処理装置を適用したシステムのシステム構成例を示す図であり、図４（Ａ）は、最小構成のシステム構成例を示した図であり、図４（Ｂ）は、セキュリティを重視した場合のシステム構成例を示す図であり、図４（Ｃ）は、プライバシーを重視した場合のシステム構成例を示す図である。
【００４７】
図４（Ａ）に示すように、画像処理装置１００にはカメラ電源２４０を介して４台のカメラ２３０が接続されており、カメラ２３０で撮影された撮影データが画像処理装置１００に入力される。また、画像処理装置１００から出力された処理済みの映像データがビデオモニタ２５０に出力されることにより表示される。
【００４８】
また、本システム構成例においてはアラーム出力が４系統と背景更新入力が４系統接続されている。
【００４９】
図４（Ｂ）は、カメラ電源２４０と画像処理装置１００の間に録画装置２６０が接続されている。これにより、カメラ２３０で撮像された映像が画像処理を施すことなく録画装置２６０に記憶され、記憶された映像データが画像処理装置１００に入力されることにより、画像処理が行われる。
【００５０】
これにより、図４（Ａ）に示す最小構成のシステムと同じ精度で監視対象のモニタリングをすることが可能である。
【００５１】
一方で、図４（Ｃ）は、画像処理装置１００とビデオモニタ２５０の間に録画装置２６０が接続されている。これにより、カメラ２３０で撮像された映像が、画像処理装置１００によって画像処理された後の映像データが録画装置２６０によって記憶される。
【００５２】
プライバシーを重視して画像処理装置１００によってモザイク処理を施すとき、図４（Ｂ）と比較して図４（Ｃ）の構成のときは録画装置２６０にはモザイク処理が施された映像データが記憶されることになる。
【００５３】
したがって、図４（Ｂ）に示す構成例の録画装置２６０に録画された映像データを見返すことによりわかる内容でも図４（Ｃ）に示す構成例の録画装置２６０に録画された映像データを見返しても、モザイク処理が施されていることによりわかりにくい動作がある。一方で、図４（Ｃ）に示す構成例の録画装置２６０に録画された映像データはモザイク処理した映像データのみが録画されることから、プライバシーに十分配慮したシステム構成であると言える。
【００５４】
図５は、画像処理装置が行う監視対象者である滞在者の状態と継続検出および変化検出の関係を示す図である。
【００５５】
図５に示すように、画像処理装置１００は、監視対象の継続検出と変化検出を行う。図５に示すように継続を検出したとき、変化を検出したとき、両方を検出するとき、および両方とも検出がないときの状態ができる。
【００５６】
具体的には、監視対象の継続検出も変化検出もされないとき（ベン図においては右上がりの斜線も左上がりの斜線も描かれていない部分）は監視対象は「不在」の状態であると判断でき、継続検出がされた部分と離れた位置で変化検出がされたとき、もしくは変化検出のみ検出されたとき（ベン図においては右上がりの斜線のみ描かれている部分）は監視対象が「移動者」の状態であると判断できる。
【００５７】
また、継続検出された部分およびその部分の周辺で変化検出がされたとき（ベン図においては右上がりの斜線と左上がりの斜線が両方描かれている部分）は監視対象が全体としては静止していながら体の一部が動いている「動き（動きのある静止者）」の状態であると判断でき、継続検出のみが検出されて変化検出がされないとき（ベン図においては左上がりの斜線のみ描かれている部分）は、監視対象が「静止（動きのない静止者）」の状態であると判断できる。
【００５８】
図６は、監視対象者である滞在者の状態遷移図である。
監視対象が撮像範囲に入ると、監視対象は「不在」の状態から「移動者」の状態になり、その監視対象が撮像範囲から外れると、監視対象は「移動者」の状態から「不在」の状態となる。
【００５９】
移動者が移動し続けているときは、監視対象は「移動者」の状態のままであり、その監視対象が静止したときは、原則的に「動きのない静止者」の状態となるが、静止したものの部分的に動きがあるときは「動きのある静止者」の状態となる。
【００６０】
動きのない静止者が静止し続けているときは、監視対象は「動きのない静止者」の状態のままであり、その監視対象が動いたときは、「動きのある静止者」の状態となる。動きのない静止者が移動し始めるときも「動きのある静止者」の状態を経由して「移動者」の状態となる。
【００６１】
動きのある静止者が静止した状態で腕などの身体の一部が動いている状態を続けているときは、監視対象は「動きのある静止者」の状態のままであり、その監視対象が完全に静止したときは、「動きのない静止者」の状態となる。一方で、動きのある静止者が動き始めたときは、「移動者」の状態となる。
【００６２】
本実施の形態に係る変化検出や継続検出は、撮像画像を横６４×縦４０のブロックに区切ったブロック画像に基づいて行う。もちろん撮像画像をそのまま用いて変化検出等をすることも可能であるが、ブロックに区切ることによって処理が格段に減るのでリソースが有効活用できる一方、監視対象である滞在者の状態を見誤らないからである。このブロックの区切り数は適用する場面に応じて適宜変更することができる。
【００６３】
図７は、本実施の形態の画像処理装置による画像処理の手順を示すフローチャートである。以下、図７に示す処理をステップ番号に沿って説明する。
【００６４】
〔ステップＳ１１〕変化検出部１２５は、入力された画像における変化検出をしたブロックメモリの内容を取得する。ブロックメモリはブロック画像が保存するメモリであって、変化検出部１２５はブロックメモリ内からブロック画像を読み出して、変化検出部分があるかを判断する。
【００６５】
具体的には、カメラ２３０で撮像された入力画像と、短背景生成部１２３が生成した短背景画像の差分をとり、差分として抽出された部分を含むブロック画像におけるブロックを変化検出をしたブロックと判断する。
【００６６】
〔ステップＳ１２〕継続検出部１２６は、入力された画像における継続検出をしたブロックメモリの内容を取得する。変化検出部１２５はブロックメモリ内からブロック画像を読み出して、変化検出部分があるかを判断する。
【００６７】
具体的には、短背景生成部１２３が生成した短背景画像と、背景生成部１２４が生成した背景画像との差分をとり、差分として抽出された部分を含むブロック画像におけるブロックを継続検出したブロックと判断する。
【００６８】
〔ステップＳ１３〕滞在者検出部１２２は、監視対象の活動状態判定処理を行う。つまり、監視対象である滞在者が不在、移動、動き、もしくは静止のいずれの状態であるかを判断する。この判断は図５の説明内容に基づく。
【００６９】
〔ステップＳ１４〕滞在者検出部１２２は、監視対象の活動状態記録処理を行う。つまり、監視対象である滞在者の移動頻度や動き頻度などから滞在者の活動状況を算出し、各滞在者の活動状態として記録する。
【００７０】
〔ステップＳ１５〕滞在者検出部１２２は、滞在者の活動状態に応じてアラーム処理を行う。つまり、監視対象である滞在者の活動状態が危険な状態であると判断するとアラームを出力する。
【００７１】
〔ステップＳ１６〕滞在者検出部１２２は、グラフ表示処理を行う。つまり、監視対象である滞在者の活動状況が一目でわかるように活動状況を表したグラフを生成し、表示する。
【００７２】
以下、上述の画像処理中に含まれる各処理やグラフについてフローチャートや表示例を用いて具体的に説明する。
【００７３】
図８は、滞在者検出部による活動状態判定処理の手順を示すフローチャートである。以下、図８に示す処理をステップ番号に沿って説明する。
【００７４】
〔ステップＳ２１〕滞在者検出部１２２は、変化検出結果と、継続検出結果を合成する。各検出結果は、上述の通り撮像画像を６４×４０にブロック分けしたブロック画像となっており、各ブロックが「検出なし」、「変化」、「継続」、「変化と継続の両方を含む」の４つの状態のいずれかに属するかを各検出結果の合成結果から判断する。
【００７５】
〔ステップＳ２２〕滞在者検出部１２２は、合成した検出結果の輪郭線を追跡し、少なくとも変化検出もしくは継続検出がされた部分を含むブロックの固まりを特定し、そのブロックの固まりを滞在者が撮像された部分と判断する。固まりの特定とは具体的には、少なくとも変化検出もしくは継続検出がされた部分の外周輪郭を追跡後、その輪郭に外接する長方形で囲み、たとえば右上と左下の座標を記憶する。なお、検出できる滞在者の最大数はたとえば１２８とする。
【００７６】
〔ステップＳ２３〕滞在者検出部１２２は、滞在者と判断した各固まり内の状態を参照し、各監視対象である滞在者の状態を判断する。具体的には、各固まりの外接長方形内のブロックに変化検出はあるが、継続検出がないときは、その滞在者は移動者であると判断する。
【００７７】
また、外接長方形内に変化検出と継続検出の両方があるときは、その滞在者は動きがある静止者であると判断し、外接長方形内に継続検出はあるが、変化検出がないときは、その滞在者は動きのない静止者であると判断する。
【００７８】
〔ステップＳ２４〕滞在者検出部１２２は、前回の滞在者の活動状態検出結果と比較し、新規の滞在者の登録と、既存の滞在者の状態の更新と静止フラグをＯＮ／ＯＦＦする。具体的には、前回の外接長方形と、今回の外接長方形の座標をたとえば画面の右上にあるものから順に比較し、近くにあるものを既存の滞在者の変化後のものとし、前回はなかったものを新規の滞在者とし、前回はあったが今回なかった、もしくは今回は一定以下の大きさものを消滅した（撮影範囲から外れた）滞在者とする。さらに、前回消滅したと判断された滞在者の外接長方形が残っている場合、次の滞在者の状態は未登録とする。この未登録という状態については、継続検出ブロックのリセットをする処理とともに後述する。
【００７９】
〔ステップＳ２５〕滞在者検出部１２２は、消滅した滞在者の外接長方形を元にブロック検出画像を作成する。このブロック検出画像は後述する継続検出リセット用に用いられる画像であって、継続検出をリセットしたいブロックを１として、それ以外のブロックを０とした画像であり、消滅と判定された滞在者の外接長方形を元に作成される。
【００８０】
図９は、ブロック検出画像を説明する図であり、図９（Ａ）は、継続検出リセット前を示す図であり、図９（Ｂ）は、継続検出リセット後を示す図である。
【００８１】
図９（Ａ）では、１フレーム前の表示例であって、外接長方形３１０内に現フレームの継続検出ブロックの固まり３２０が残っている状態を示している。現フレームの継続検出ブロックを囲う外接長方形が、あらかじめ設定された大きさより小さいと判断したとき、外接長方形３１０に関連づけられた滞在者は消滅したと判断する。本実施の形態に係る画像処理によると、滞在者が撮像範囲から外れたからといって必ずしもすぐに継続検出ブロックは消えずに一定時間残ってしまうからである。そして、継続検出ブロックが残っていると、その残った継続検出ブロックに基づいて、本来は撮像範囲内にはいない滞在者の移動検出、および動き検出が行われてしまうという不具合が生じるおそれがある。
【００８２】
つまり、消滅した滞在者の継続検出ブロックが撮像画像内に残っていると誤検出の原因となるので、当該継続検出ブロックは撮像画像内から消去（リセット）する。具体的には、現フレームの継続検出ブロックを囲う外接長方形があらかじめ設定された大きさより小さいとき、当該継続検出ブロックのブロック座標を記録する。
【００８３】
現フレームの継続検出ブロックを囲う外接長方形があらかじめ設定された大きさより小さいとする条件を満たすものが複数あるときは、すべてのブロック座標を記録する。この継続検出したブロックに１が設定され、継続検出がなかったブロックに０が設定されている画像をブロック検出画像とする。
【００８４】
なお、現フレームの継続検出ブロックを囲う外接長方形があらかじめ設定された大きさより小さいと判断されたとき現フレームの外接長方形は、次のフレームでは滞在者の状態として未登録と設定する。
【００８５】
図１０は、滞在者検出部による活動状態記録処理の手順を示すフローチャートである。以下、図１０に示す処理をステップ番号に沿って説明する。
【００８６】
〔ステップＳ３１〕滞在者検出部１２２は、前回の記録から単位時間ｎ秒経過したかを判断する。前回の記録から単位時間ｎ秒経過したと判断したときは処理をステップＳ３２へ進め、経過していないと判断したときは処理をステップＳ３３へ進める。本実施の形態においては、単位時間ｎ秒を１秒であるとする。
【００８７】
〔ステップＳ３２〕滞在者検出部１２２は、単位時間ごとの頻度記録処理を行う。具体的には、単位時間ごとの滞在者の移動頻度、動き頻度、および連続静止時間を記録する。
【００８８】
〔ステップＳ３３〕滞在者検出部１２２は、前回の記録から集計時間ｍ分経過したかを判断する。前回の記録から集計時間ｍ分経過したと判断したときは、処理をステップＳ３４へ進め、経過してないと判断したときは処理を終了する。本実施の形態においては、集計時間ｍ分を１分であるとする。
【００８９】
〔ステップＳ３４〕滞在者検出部１２２は、集計時間ごとの頻度記録処理を行う。具体的には、集計時間ごとの滞在者の移動頻度、および動き頻度を記録する。
【００９０】
以下、上述の活動状態記録処理中に含まれる各処理についてフローチャートを用いて具体的に説明する。
【００９１】
図１１は、滞在者検出部による単位時間ごとの頻度記録処理の手順を示すフローチャートである。以下、図１１に示す処理をステップ番号に沿って説明する。
【００９２】
〔ステップＳ４１〕滞在者検出部１２２は、滞在者がいるか否かを判断する。滞在者がいると判断したときは、処理をステップＳ４２へ進め、滞在者がいないと判断したときは処理をステップＳ４３へ進める。
【００９３】
〔ステップＳ４２〕滞在者検出部１２２は、滞在タイマをカウントアップし、最初の滞在者の記録を読み込む。この最初の滞在者とは、たとえば画面の一番右上にある外接長方形に関連づけられた滞在者を最初の滞在者とする。
【００９４】
〔ステップＳ４３〕滞在者検出部１２２は、滞在タイマをリセットする。つまり、滞在者が誰か１人でもいるときは滞在タイマがカウントアップされ続け（ステップＳ４２）、撮像範囲内に滞在者が１人もいなくなったときに初めて滞在タイマがリセットされる。
【００９５】
〔ステップＳ４４〕滞在者検出部１２２は、滞在者が１秒間に１度でも移動した否かを判断する。１度でも移動したときは、処理をステップＳ４５へ進め、移動していないときは、処理をステップＳ４６へ進める。
【００９６】
〔ステップＳ４５〕滞在者検出部１２２は、単位時間移動頻度を１加算する。
〔ステップＳ４６〕滞在者検出部１２２は、滞在者が１秒間に１度でも動きがあったか否かを判断する。１度でも動きがあったときは、処理をステップＳ４７へ進め、動きがなかったときは、処理をステップＳ４８へ進める。
【００９７】
〔ステップＳ４７〕滞在者検出部１２２は、単位時間動き頻度を１加算する。
〔ステップＳ４８〕滞在者検出部１２２は、判断対象の滞在者の静止フラグがＯＮになっているか否かを判断する。ＯＮになっているときは、処理をステップＳ４９へ進め、ＯＮになっていないときは処理をステップＳ５０へ進める。
【００９８】
〔ステップＳ４９〕滞在者検出部１２２は、静止タイマをカウントアップする。
〔ステップＳ５０〕滞在者検出部１２２は、他にも滞在者がいるか否かを判断する。他にも滞在者がいるときは処理をステップＳ５１へ進め、他に滞在者がいないときは処理を５２へ進める。
【００９９】
〔ステップＳ５１〕滞在者検出部１２２は、次の滞在者の記録を読み込む。
〔ステップＳ５２〕滞在者検出部１２２は、単位時間移動頻度、および単位時間動き頻度を記録する。たとえば、集計時間が１分であって、単位時間が１秒であるときは６０個の単位時間の記録を集計することになる。記録はリングバッファになっており、バッファ内に記録がいっぱいになると一番古いものに現在の結果を上書きする。
【０１００】
〔ステップＳ５３〕滞在者検出部１２２は、静止タイマをカウントアップしたか否かを判断する。カウントアップしたときは、処理をステップＳ５５へ進め、カウントアップしていないときは、処理をステップＳ５４へ進める。
【０１０１】
〔ステップＳ５４〕滞在者検出部１２２は、静止タイマをリセットする。ステップＳ５４に処理が流れてきたということは、静止タイマのカウントアップがされていないということである。静止タイマは１つだけなので、静止タイマがカウントアップされていないということは、すべての滞在者の静止フラグがＯＦＦとなっている、つまり滞在者は移動状態であるか、動きがある静止者であると判断されているということであるから、このタイミングが正しい静止タイマのリセットタイミングであるということになる。
【０１０２】
なお、静止タイマが１つであるのは、老人ホームの監視対象者は老人ホームに滞在しているご老人であって、静止し続けている場合は危険な状態である可能性が高いということに基づいている。
【０１０３】
〔ステップＳ５５〕滞在者検出部１２２は、静止タイマのカウント、および滞在タイマのカウントを滞在者の記録として当該滞在者に関連づけて記録する。
【０１０４】
図１２は、滞在者検出部による集計時間ごとの頻度記録処理の手順を示すフローチャートである。以下、図１２に示す処理をステップ番号に沿って説明する。
【０１０５】
〔ステップＳ６１〕滞在者検出部１２２は、現在の単位時間記録結果を読み込む。
〔ステップＳ６２〕滞在者検出部１２２は、読み込んだ現在の単位時間記録において、単位時間移動頻度が１以上であるか否かを判断する。１以上であるときは、処理をステップＳ６３へ進め、１未満であるときは、処理をステップＳ６４へ進める。
【０１０６】
〔ステップＳ６３〕滞在者検出部１２２は、集計期間移動頻度を１加算する。
〔ステップＳ６４〕滞在者検出部１２２は、読み込んだ現在の単位時間記録において、単位時間動き移動頻度が１以上であるか否かを判断する。１以上であるときは、処理をステップＳ６５へ進め、１未満であるときは、処理をステップＳ６６へ進める。
【０１０７】
〔ステップＳ６５〕滞在者検出部１２２は、集計期間動き頻度を１加算する。
〔ステップＳ６６〕滞在者検出部１２２は、５９秒前までの集計を行ったか否かを判断する。５９秒前までの集計を行ったときは、処理をステップＳ６８へ進め、５９秒前までは集計を行っていないときは、処理をステップＳ６７へ進める。
【０１０８】
〔ステップＳ６７〕滞在者検出部１２２は、集計を行った１秒前の単位時間記録結果を読み込む。
【０１０９】
〔ステップＳ６８〕滞在者検出部１２２は、集計期間移動頻度、および集計期間動き頻度を記録する。本実施の形態のように単位時間が１秒で、集計時間が１分であって、グラフ表示範囲が２４時間であるときは、２４×６０＝１４４０個の単位時間の記録を集計することになる。グラフ表示範囲が２４時間であるときは、２４時間分の記録ができるリングバッファになっており、バッファ内に記録がいっぱいになると一番古いものに現在の結果を上書きする。
【０１１０】
図１３は、滞在者検出部によるアラーム処理の手順を示すフローチャートである。以下、図１３に示す処理をステップ番号に沿って説明する。
【０１１１】
〔ステップＳ７１〕滞在者検出部１２２は、静止タイマのカウントを読み込む。
〔ステップＳ７２〕滞在者検出部１２２は、アラーム出力済みか否かを判断する。アラーム出力済みであるときは、処理をステップＳ７３へ進め、アラーム出力がされていないときは、処理をステップＳ７７へ進める。
【０１１２】
〔ステップＳ７３〕滞在者検出部１２２は、静止タイマのカウントが出力開始時間を超えているか否かを判断する。出力開始時間を超えているときは、処理をステップＳ７４へ進め、超えてないときは処理をステップＳ７５へ進める。なお、出力開始時間は滞在者が静止し続けている時間としては異常である可能性があると判断できる時間、つまり目視確認が必要であると判断できる時間であって監視対象や設置場所に応じて適宜設定される。
【０１１３】
〔ステップＳ７４〕滞在者検出部１２２は、アラーム停止信号入力があるか否かを判断する。アラーム停止信号入力があるときは、処理をステップＳ７５へ進め、アラーム停止信号入力がないときは、処理をステップＳ７９へ進める。
【０１１４】
〔ステップＳ７５〕滞在者検出部１２２は、アラーム出力フラグをＯＦＦに設定する。
〔ステップＳ７６〕滞在者検出部１２２は、静止タイマをリセットする。
【０１１５】
〔ステップＳ７７〕滞在者検出部１２２は、静止タイマのカウントが出力開始時間を超えているか否かを判断する。出力開始時間を超えているときは、処理をステップＳ７８へ進め、超えていないときは、処理をステップＳ７９へ進める。
【０１１６】
〔ステップＳ７８〕滞在者検出部１２２は、アラーム出力フラグをＯＮに設定する。
〔ステップＳ７９〕滞在者検出部１２２は、アラーム出力フラグのＯＮ／ＯＦＦと、静止タイマのカウントを記録する。
【０１１７】
〔ステップＳ８０〕滞在者検出部１２２は、アラーム出力フラグがＯＮに設定されているときは、アラーム出力を行い、アラーム出力フラグがＯＦＦに設定されているときは、アラーム出力をＯＦＦする。
【０１１８】
図１４は、本実施の形態に係る画像処理装置で処理をしたときの画像表示例を示す図である。
【０１１９】
図１４に示す例として、画像処理された画像は４分割された画面に４つのカメラ２３０で撮像され、画像処理された画像があるときを示している。各画像において変化検出および継続検出は半透明で表示され、背景画像と合成されて表示される。
【０１２０】
本実施の形態においては、右上がりの斜線で変化検出を示し、右下がりの斜線で継続検出を示している。つまり、左上の画像に示された滞在者は変化検出と継続検出がされているので動きのある静止者の状態であることが判断でき、右の上下の画像に示された滞在者は変化検出のみされているので移動者の状態であると判断でき、左下の画像に示された滞在者は継続検出のみされているので動きのない静止者の状態であると判断できる。
【０１２１】
また、各画像の下部にはグラフ（以下、状態グラフという。）が表示されている。この状態グラフは各画像で表示された撮像範囲における撮像対象の移動頻度、動き頻度をグラフ化したものが表示されている。
以下、この状態グラフについて詳細に説明する。
【０１２２】
図１５は、状態グラフを構成する棒グラフの拡大図である。
図１５に示すように、棒グラフは１０個のコマを複合して１本の棒グラフを構成している。棒グラフ１本で１２分（表示単位）であり、状態グラフ１つで２４時間を表すとすると、表示グラフは棒グラフ１２０本で構成されることになる。
【０１２３】
棒グラフは、表示単位（本実施の形態においては１２分）の間の移動頻度、動き頻度、および静止または不在を１０段階表示になるように正規化したものである。
【０１２４】
図１６は、状態グラフを示す拡大図であり、図１６（Ａ）は、移動頻度グラフを示す拡大図であり、図１６（Ｂ）は、動き頻度グラフを示す拡大図であり、図１６（Ｃ）は、移動頻度グラフと動き頻度グラフを重ねて表示した重ね合わせグラフを示す拡大図である。
【０１２５】
図１６（Ａ）、（Ｂ）は、それぞれ移動頻度、もしくは動き頻度のみを表示するグラフであって、図１６（Ｃ）は、移動頻度、および動き頻度を表示するグラフを重ね合わせた重ね合わせグラフである。
【０１２６】
図１６（Ａ），（Ｂ）に示すように、状態グラフを構成する棒グラフにおいて、移動頻度は右上がりの斜線で示され、動き頻度は右下がりの斜線で示されている。つまり、図１６（Ｃ）に示す重ね合わせグラフにおいては、移動頻度と動き頻度が重なる部分に関しては移動頻度を優先的に表示することとしている。
【０１２７】
本実施の形態において重ね合わせのときに移動頻度を優先的に表示するのは、通常は静止状態が長いほど滞在者に何か異常が起きている可能性が高いことに起因する。つまり、動き頻度を優先的に表示して、移動頻度が動き頻度に隠れて見えなくなると滞在者に起きた異常を見過ごす可能性が高くなるからである。
【０１２８】
図１７は、重ね合わせグラフの下部にアラーム出力状況を示すグラフを表示したアラームグラフを示す拡大図であり、図１７（Ａ）は、第１のアラームグラフを示す拡大図であり、図１７（Ｂ）は、第２のアラームグラフを示す拡大図である。
【０１２９】
図１７に示すように、重ね合わせグラフの下部にアラーム出力を示す出力状況グラフが表示させることができる。出力状況グラフは、たとえば滞在、静止、アラームの３段階であって、滞在期間を白抜きで、静止期間を右上がりの鎖線で、アラーム出力期間を右下がりの一点鎖線で示している。
【０１３０】
図１７（Ａ）に示す第１のアラームグラフの場合であって、重ね合わせグラフのみが表示されているときを考える。このとき、右側にある重ね合わせの山４１１と、左側にある重ね合わせの山４１２の間の移動も動きも検出されていない時間ｔは、滞在者が不在なために移動も動きも検出されていないのか、滞在者が長時間静止状態なのかが判別できない。
【０１３１】
そこで、重ね合わせグラフの下部に出力状況グラフを表示したアラームグラフを表示させることにより、滞在者が不在なために移動も動きも検出されていないのか、滞在者が長時間静止状態なのかを判別することができる。
【０１３２】
具体的には、滞在者が静止状態であると判断されたときである静止期間と、アラーム出力がされているときであるアラーム出力期間を表示することによって、重ね合わせグラフにおける移動も動きも検出されていない時間が不在によるものなのか、滞在者の長時間の静止によるものなのかを判別することができる。
【０１３３】
一方、図１７（Ｂ）に示す第２のアラームグラフの場合を考えると、第２のアラームグラフは、滞在者を２人検出し、１人ずつ退出した場合を表している。ここで、最初に退出した滞在者を滞在者Ａとし、次いで退出した滞在者を滞在者Ｂとして説明する。
【０１３４】
当初滞在者２人（滞在者Ａおよび滞在者Ｂ）を検出し、時間ｔ１に滞在者２人とも静止状態になる。そして、時間ｔ２に滞在者Ａが退出する。山４１３における動きと移動の検出は、静止していた滞在者Ａが静止状態から動き状態、移動状態となって退出したことを表している。
【０１３５】
このとき、依然として滞在者Ｂが静止状態であるときは、静止タイマはリセットされないので、このまま静止状態が続けばアラーム出力されるはずである。しかし、出力状況グラフにおいてアラーム出力がされている旨の表示がないので、山４１３において、滞在者Ｂも動いていたことがわかる。
【０１３６】
山４１２における動きと移動の検出は、静止していた滞在者Ａが静止状態から動き状態、移動状態となって退出したことを表している。
【０１３７】
このようにアラーム出力フラグにおいて、重ね合わせグラフのみならず出力状況グラフを合わせて表示することにより滞在者の状況を見誤ることなく一目で状況確認を行うことができるようになる。
【０１３８】
〔第２の実施の形態〕
次に、本発明の第２の実施の形態について説明する。本実施の形態の画像処理装置は、通行量や混雑度を計測するために用いることが異なる以外は、基本的な処理等については第１の実施の形態と同様である。このため、上記第１の実施の形態とほぼ同様の構成部分については同一の符号を付すなどして適宜その説明を省略する。
以下、本発明の実施の形態を図面を参照して詳細に説明する。
【０１３９】
図１８は、本実施の形態の画像処理装置による画像処理の手順を示すフローチャートである。以下、図１８に示す処理をステップ番号に沿って説明する。
【０１４０】
〔ステップＳ８１〕変化検出部１２５は、入力された画像における変化検出をしたブロックメモリの内容を取得する。ブロックメモリはブロック画像が保存するメモリであって、変化検出部１２５はブロックメモリ内からブロック画像を読み出して、変化検出部分があるかを判断する。
【０１４１】
具体的には、カメラ２３０で撮像された入力画像と、短背景生成部１２３が生成した短背景画像の差分をとり、差分として抽出された部分を含むブロック画像におけるブロックを変化検出をしたブロックと判断する。
【０１４２】
〔ステップＳ８２〕継続検出部１２６は、入力された画像における継続検出をしたブロックメモリの内容を取得する。変化検出部１２５はブロックメモリ内からブロック画像を読み出して、変化検出部分があるかを判断する。
【０１４３】
具体的には、短背景生成部１２３が生成した短背景画像と、背景生成部１２４が生成した背景画像との差分をとり、差分として抽出された部分を含むブロック画像におけるブロックを継続検出したブロックと判断する。
【０１４４】
〔ステップＳ８３〕滞在者検出部１２２は、監視対象の活動状態判定処理を行う。つまり、監視対象である滞在者が不在、移動、動き、もしくは静止のいずれの状態であるかを判断する。
【０１４５】
〔ステップＳ８４〕滞在者検出部１２２は、監視対象の活動状態記録処理を行う。つまり、監視対象である滞在者の移動頻度や動き頻度などから滞在者の活動状況を算出し、各滞在者の活動状態として記録する。
【０１４６】
〔ステップＳ８６〕滞在者検出部１２２は、グラフ表示処理を行う。つまり、監視対象である滞在者の活動状況が一目でわかるように活動状況を表したグラフを生成し、表示する。
【０１４７】
以下、上述の画像処理中に含まれる各処理やグラフについてフローチャートや表示例を用いて具体的に説明する。
【０１４８】
図１９は、滞在者検出部による活動状態判定処理の手順を示すフローチャートである。以下、図１９に示す処理をステップ番号に沿って説明する。
【０１４９】
〔ステップＳ９１〕滞在者検出部１２２は、変化検出結果と、継続検出結果を合成する。各検出結果は、上述の通り撮像画像を６４×４０にブロック分けしたブロック画像となっており、各ブロックが「検出なし」、「変化」、「継続」、「変化と継続の両方を含む」の４つの状態のいずれかに属するかを各検出結果の合成結果から判断する。
【０１５０】
〔ステップＳ９２〕滞在者検出部１２２は、合成した検出結果の輪郭線を追跡し、少なくとも変化検出もしくは継続検出がされた部分を含むブロックの固まりを特定し、そのブロックの固まりを滞在者が撮像された部分と判断する。固まりの特定とは具体的には、少なくとも変化検出もしくは継続検出がされた部分の外周輪郭を追跡後、その輪郭に外接する長方形で囲み、たとえば右上と左下の座標を記憶する。なお、検出できる滞在者の最大数はたとえば１２８とする。
【０１５１】
〔ステップＳ９３〕滞在者検出部１２２は、滞在者と判断した各固まり内の状態を参照し、各監視対象である滞在者の状態を判断する。具体的には、各固まりの外接長方形内のブロックに変化検出はあるが、継続検出がないときは、その滞在者は移動者であると判断する。
【０１５２】
また、外接長方形内に変化検出と継続検出の両方があるときは、その滞在者は動きがある静止者であると判断し、外接長方形内に継続検出はあるが、変化検出がないときは、その滞在者は動きのない静止者であると判断する。
【０１５３】
〔ステップＳ９４〕滞在者検出部１２２は、前回の滞在者の活動状態検出結果と比較し、新規の滞在者の登録と、既存の滞在者の状態の更新と静止フラグをＯＮ／ＯＦＦする。具体的には、前回の外接長方形と、今回の外接長方形の座標をたとえば画面の右上にあるものから順に比較し、近くにあるものを既存の滞在者の変化後のものとし、前回はなかったものを新規の滞在者とし、前回はあったが今回なかった、もしくは今回は一定以下の大きさものを消滅した（撮影範囲から外れた）滞在者とする。さらに、前回消滅したと判断された滞在者の外接長方形が残っている場合、次の滞在者の状態は未登録とする。この未登録という状態については、継続検出ブロックのリセットをする処理とともに後述する。
【０１５４】
〔ステップＳ９５〕滞在者検出部１２２は、消滅した滞在者の外接長方形を元にブロック検出画像を作成する。このブロック検出画像は後述する継続検出リセット用に用いられる画像であって、継続検出をリセットしたいブロックを１として、それ以外のブロックを０とした画像であり、消滅と判定された滞在者の外接長方形を元に作成される。
【０１５５】
図２０は、滞在者検出部による活動状態記録処理の手順を示すフローチャートである。以下、図２０に示す処理をステップ番号に沿って説明する。
【０１５６】
〔ステップＳ１０１〕滞在者検出部１２２は、前回の記録から単位時間ｎ秒経過したかを判断する。前回の記録から単位時間ｎ秒経過したと判断したときは処理をステップＳ１０２へ進め、経過していないと判断したときは処理をステップＳ１０３へ進める。本実施の形態においては、単位時間ｎ秒を１秒であるとする。
【０１５７】
〔ステップＳ１０２〕滞在者検出部１２２は、単位時間ごとの通行量記録処理を行う。具体的には、たとえば単位時間ごとの入場者数、および退場者数を記録する。
【０１５８】
〔ステップＳ１０３〕滞在者検出部１２２は、前回の記録から集計時間ｍ分経過したかを判断する。前回の記録から集計時間ｍ分経過したと判断したときは、処理をステップＳ１０４へ進め、経過してないと判断したときは処理を終了する。本実施の形態においては、集計時間ｍ分を１分であるとする。
【０１５９】
〔ステップＳ１０４〕滞在者検出部１２２は、集計時間ごとの通行量記録処理を行う。具体的には、たとえば集計時間ごとの入場者数、および退場者数を記録する。
【０１６０】
以下、上述の活動状態記録処理中に含まれる各処理についてフローチャートを用いて具体的に説明する。
【０１６１】
図２１は、滞在者検出部による単位時間ごとの通行量記録処理の手順を示すフローチャートである。以下、図２１に示す処理をステップ番号に沿って説明する。
【０１６２】
〔ステップＳ１１１〕滞在者検出部１２２は、滞在者がいるか否かを判断する。滞在者がいると判断したときは処理をステップＳ１１２へ進め、滞在者がいないと判断したときは処理をステップＳ１１９へ進める。
【０１６３】
〔ステップＳ１１２〕滞在者検出部１２２は、最初の滞在者の記録を読み込む。この最初の滞在者とは、たとえば画面の一番右上にある外接長方形に関連づけられた滞在者を最初の滞在者とする。
【０１６４】
〔ステップＳ１１３〕滞在者検出部１２２は、滞在者が１秒間に１度でも新規登録された否かを判断する。１度でも新規登録されたときは、処理をステップＳ１１４へ進め、１度も新規登録されていないときは、処理をステップＳ１１５へ進める。
【０１６５】
〔ステップＳ１１４〕滞在者検出部１２２は、単位時間入場者数を１加算する。
〔ステップＳ１１５〕滞在者検出部１２２は、滞在者が１秒間に１度でも消滅登録されたか否かを判断する。１度でも消滅登録されたときは、処理をステップＳ１１６へ進め、１度も消滅登録されなかったときは、処理をステップＳ１１７へ進める。
【０１６６】
〔ステップＳ１１６〕滞在者検出部１２２は、単位時間退場者数を１加算する。
〔ステップＳ１１７〕滞在者検出部１２２は、他にも滞在者がいるか否かを判断する。他にも滞在者がいるときは処理をステップＳ１１８へ進め、他に滞在者がいないときは処理を１１９へ進める。
【０１６７】
〔ステップＳ１１８〕滞在者検出部１２２は、次の滞在者の記録を読み込む。
〔ステップＳ１１９〕滞在者検出部１２２は、単位時間入場者数、および単位時間退場者数を記録する。たとえば、集計時間が１分であって、単位時間が１秒であるときは６０個の単位時間の記録を集計することになる。記録はリングバッファになっており、バッファ内に記録がいっぱいになると一番古いものに現在の結果を上書きする。
【０１６８】
図２２は、滞在者検出部による集計時間ごとの通行量記録処理の手順を示すフローチャートである。以下、図２２に示す処理をステップ番号に沿って説明する。
【０１６９】
〔ステップＳ１２１〕滞在者検出部１２２は、現在の新規または既存状態の滞在者数を集計単位時間滞在者数とする。
【０１７０】
〔ステップＳ１２２〕滞在者検出部１２２は、現在の単位時間記録結果を読み込む。
〔ステップＳ１２３〕滞在者検出部１２２は、集計期間入場者数に単位時間入場者数を加算する。
【０１７１】
〔ステップＳ１２４〕滞在者検出部１２２は、集計期間退場者数に単位時間退場者数を加算する。
【０１７２】
〔ステップＳ１２５〕滞在者検出部１２２は、５９秒前までの集計を行ったか否かを判断する。５９秒前までの集計を行ったときは、処理をステップＳ１２７へ進め、５９秒前までは集計を行っていないときは、処理をステップＳ１２６へ進める。
【０１７３】
〔ステップＳ１２６〕滞在者検出部１２２は、集計を行った１秒前の単位時間記録結果を読み込む。
【０１７４】
〔ステップＳ１２７〕滞在者検出部１２２は、集計期間入場者数、および集計期間退場者数を記録する。本実施の形態のように単位時間が１秒で、集計時間が１分であって、グラフ表示範囲が２４時間であるときは、２４×６０＝１４４０個の単位時間の記録を集計することになる。グラフ表示範囲が２４時間であるときは、２４時間分の記録ができるリングバッファになっており、バッファ内に記録がいっぱいになると一番古いものに現在の結果を上書きする。
【０１７５】
図２３は、状態グラフを示す拡大図であり、図２３（Ａ）は、入場者数グラフを示す拡大図であり、図２３（Ｂ）は、退場者数グラフを示す拡大図であり、図２３（Ｃ）は、滞在者数グラフを示す拡大図であり、図２３（Ｄ）は、入場者数グラフ、退場者数グラフ、および滞在者数グラフを並べて表示したグラフを示す拡大図である。
【０１７６】
上述の処理を行うことにより、通行量を一目で判断することが可能となる。さらに、このグラフに加えて、たとえば小売店などの売り場の一部などに撮像範囲を指定するなどすれば、その売り場に対する顧客の寄りつき具合なども一目で把握することが可能となったり、その寄りつきが時間に依存するかなども把握することが可能となる。
【０１７７】
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、画像処理装置が有すべき機能の処理内容を記述した画像処理プログラムが提供される。その画像処理プログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述した画像処理プログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ＨＤＤ、ＦＤ、磁気テープなどがある。光ディスクには、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。光磁気記録装置には、ＭＯ（Magneto
Optical disk）などがある。
【０１７８】
画像処理プログラムを流通させる場合には、たとえば、その画像処理プログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにその画像処理プログラムを転送することもできる。
【０１７９】
画像処理プログラムを実行するコンピュータは、たとえば、可搬型記録媒体に記録された画像処理プログラムもしくはサーバコンピュータから転送された画像処理プログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置から画像処理プログラムを読み取り、画像処理プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接画像処理プログラムを読み取り、その画像処理プログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータから画像処理プログラムが転送される毎に、逐次、受け取った画像処理プログラムに従った処理を実行することもできる。
【０１８０】
なお、本発明は、上述の実施の形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更を加えることができる。
【０１８１】
上記については単に本発明の原理を示すものである。さらに、多数の変形、変更が当業者にとって可能であり、本発明は上記に示し、説明した正確な構成および応用例に限定されるものではなく、対応するすべての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。
【符号の説明】
【０１８２】
１００ 画像処理装置
１１０ セレクタ
１２０ 活動検出部
１２０ 棒グラフ
１２１ 検出部
１２２ 滞在者検出部
１２３ 短背景生成部
１２４ 背景生成部
１２５ 変化検出部
１２６ 継続検出部
１３０ モザイク・モノクロ部
１４０ メモリ
１５０ グラフ合成部
１６０ 接点入力・出力部
１６０ 接点入力・出力処理部
１７０ 背景メモリ部
１７１，１７２ 乗算器
１７３ 加算器
１７４ フレームメモリ
１７５ 整数化部
１８０ 更新速度制御部
１８１ フレームカウンタ
１８２ コンパレータ
１８３ 更新周期レジスタ
２１０ コンピュータ
２２０ 保存メモリ
２３０ カメラ
２４０ カメラ電源
２５０ ビデオモニタ
２６０ 録画装置
【技術分野】
【０００１】
本発明は、画像処理装置、方法、プログラム、および監視システムに関し、特に監視目的で設置されているカメラが撮像した撮像画像を用いて、監視対象者である滞在者の状態を検出し、一定時間の状態を表示するための画像処理装置、方法、プログラム、および監視システムに関する。
【背景技術】
【０００２】
従来から、様々な場面において人の動きが監視されている。
たとえば、介護施設や病院においては入院患者が発作を起こしたり徘徊してないかなどを監視する必要があり、また、人通りがある場所においては不審者がいないかや、混雑状況を監視する必要がある。
【０００３】
このようなときは監視する人員を配置すれば監視することができるが、広い範囲を監視する場合や、病室などのように見通しがきかない場所が多い場合は多数の人員を配置しなければならず現実的には監視コストの面などから実現性が乏しいことが多い。
【０００４】
また、一定人数に絞って人員を配置したとしても監視する人員が別の場所を監視している間の監視対象の状態はわからなくなってしまう。つまり、病院において、監視員が見ていない間に徘徊し、監視しているときには寝ている状態であるときは、当該監視対象者が徘徊していることに気がつかず、徘徊したという証拠も残らない。
【０００５】
このような場面での監視には監視したい場所に監視カメラを設置して監視を行っている。また、監視カメラだけとは限らず、監視カメラに警報スイッチなどの操作装置を組み合わせた監視システムも提案されている（たとえば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１−１５４２８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、監視カメラを設置して監視を行ったとしても、カメラの台数が多くなれば監視負担が増加し、結局カメラを監視する人員を増やす結果となり根本的な解決にはならない上に、監視の見落としを完全になくすことができるようになるわけではない。
【０００８】
たとえば、病室の監視において従来行われている、複数台のカメラで撮像された映像を一定台数のモニタに、映像を切り替えて映し出す映像を介した監視においては、一定の病室の監視が終わった後、再度の画面が切り替わるまでの間に発作等の異常を来したとしても、監視時に正常な状態であれば（映像を介した監視においては正常に見えれば）異常を来した事実には気がつかず、本来すべき対処ができないという問題がある。このような問題はカメラの台数が多くなるほどに顕著である。
【０００９】
また、警報スイッチなどの操作装置を組み合わせたとしても、監視対象者が操作できる状態であればいいが、重篤患者や、徘徊を監視する際には何の効果も発揮しないという問題もある。
【００１０】
さらに、人通りがある場所を監視する場合においては、一時的な混雑や、一時的な一定の場所への寄りつき具合などは常時監視においては見落としがちになるという問題がある。
【００１１】
つまり、人員によっても監視カメラにおいても常時監視には見落としのリスクは必ずつきものであり、いずれの場合においても後々録画された映像を再検討することによって確認するなどの対処を行う他はないという問題があった。このような完全に監視ができないという問題は、監視者に対する監視対象者が多いときの共通の問題である。
【００１２】
本発明はこのような点に鑑みてなされたものであり、監視対象者の一定時間の行動状態を把握することができる画像処理装置、方法、プログラム、および監視システムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明では上記問題を解決するために、監視目的で設置されているカメラが撮像した撮像画像を用いて、監視対象者である滞在者の状態を検出し、一定時間の状態を表示するための画像処理装置において、前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成する短背景生成手段と、前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成する背景生成手段と、前記短背景画像と前記撮像画像の差分から変化抽出画像を生成する変化抽出手段と、前記短背景画像と前記背景画像の差分から継続抽出画像を生成する継続抽出手段と、前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出する滞在者情報算出手段とを備えることを特徴とする画像処理装置が提供される。
【００１４】
これにより、短背景生成手段が、前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成し、背景生成手段が、前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成し、変化抽出手段が、前記短背景画像と前記撮像画像の差分から変化抽出画像を生成する。そして、継続抽出手段が、前記短背景画像と前記背景画像の差分から継続抽出画像を生成し、滞在者情報算出手段が、前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出する。
【００１５】
また、本発明では、監視目的で設置されているカメラが撮像した撮像画像を用いて、監視対象者である滞在者の状態を検出し、一定時間の状態を表示するための画像処理方法において、短背景生成手段が、前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成するステップと、背景生成手段が、前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成するステップと、変化抽出手段が、前記短背景画像と前記撮像画像の差分から変化抽出画像を生成するステップと、継続抽出手段が、前記短背景画像と前記背景画像の差分から継続抽出画像を生成するステップと、滞在者情報算出手段が、前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出するステップとを含むことを特徴とする画像処理方法が提供される。
【００１６】
これにより、短背景生成手段が、前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成し、背景生成手段が、前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成し、変化抽出手段が、前記短背景画像と前記撮像画像の差分から変化抽出画像を生成する。そして、継続抽出手段が、前記短背景画像と前記背景画像の差分から継続抽出画像を生成し、滞在者情報算出手段が、前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出する。
【００１７】
また、本発明では、監視目的で設置されているカメラが撮像した撮像画像を用いて、監視対象者である滞在者の状態を検出し、一定時間の状態を表示するための画像処理プログラムにおいて、コンピュータを、前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成する短背景生成手段、前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成する背景生成手段、前記短背景画像と前記撮像画像の差分から変化抽出画像を生成する変化抽出手段、前記短背景画像と前記背景画像の差分から継続抽出画像を生成する継続抽出手段、および前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出する滞在者情報算出手段として機能させることを特徴とする画像処理プログラムが提供される。
【００１８】
これにより、短背景生成手段が、前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成し、背景生成手段が、前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成し、変化抽出手段が、前記短背景画像と前記撮像画像の差分から変化抽出画像を生成する。そして、継続抽出手段が、前記短背景画像と前記背景画像の差分から継続抽出画像を生成し、滞在者情報算出手段が、前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出する。
【００１９】
さらに、本発明では、監視目的で設置されているカメラが撮像した撮像画像を用いて、監視対象者である滞在者の状態を検出し、一定時間の状態を表示するための画像処理装置を含む監視システムにおいて、前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成する短背景生成手段と、前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成する背景生成手段と、前記短背景画像と前記撮像画像の差分から変化抽出画像を生成する変化抽出手段と、前記短背景画像と前記背景画像の差分から継続抽出画像を生成する継続抽出手段と、前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出する滞在者情報算出手段とを備える画像処理装置と、前記画像処理装置が処理した画像を保存する画像保存手段と、前記画像に対してモザイク処理を施すモザイク処理手段とを備えることを特徴とする監視システムが提供される。
【００２０】
これにより、画像処理装置が、短背景生成手段が、前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成し、背景生成手段が、前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成し、変化抽出手段が、前記短背景画像と前記撮像画像の差分から変化抽出画像を生成する。そして、継続抽出手段が、前記短背景画像と前記背景画像の差分から継続抽出画像を生成し、滞在者情報算出手段が、前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出する。そして、画像保存手段が、前記画像処理装置が処理した画像を保存し、モザイク処理手段が、前記画像に対してモザイク処理を施す。
【発明の効果】
【００２１】
本発明の画像処理装置、方法、プログラム、および監視システムによれば、監視対象者の一定時間の行動状態を把握することができる
【図面の簡単な説明】
【００２２】
【図１】本実施の形態に係る発明の概念を示す図である。
【図２】活動検出部を詳細に示すブロック図である。
【図３】背景生成部の処理内容を示すブロック図である。
【図４】本実施の形態に係る画像処理装置を適用したシステムのシステム構成例を示す図である。
【図５】画像処理装置が行う監視対象者である滞在者の状態と継続検出および変化検出の関係を示す図である。
【図６】監視対象者である滞在者の状態遷移図である。
【図７】本実施の形態の画像処理装置による画像処理の手順を示すフローチャートである。
【図８】滞在者検出部による活動状態判定処理の手順を示すフローチャートである。
【図９】ブロック検出画像を説明する図である。
【図１０】滞在者検出部による活動状態記録処理の手順を示すフローチャートである。
【図１１】滞在者検出部による単位時間ごとの頻度記録処理の手順を示すフローチャートである。
【図１２】滞在者検出部による集計時間ごとの頻度記録処理の手順を示すフローチャートである。
【図１３】滞在者検出部によるアラーム処理の手順を示すフローチャートである。
【図１４】本実施の形態に係る画像処理装置で処理をしたときの画像表示例を示す図である。
【図１５】状態グラフを構成する棒グラフの拡大図である。
【図１６】状態グラフを示す拡大図である。
【図１７】重ね合わせグラフの下部にアラーム出力状況を示すグラフを表示したアラームグラフを示す拡大図である。
【図１８】本実施の形態の画像処理装置による画像処理の手順を示すフローチャートである。
【図１９】滞在者検出部による活動状態判定処理の手順を示すフローチャートである。
【図２０】滞在者検出部による活動状態記録処理の手順を示すフローチャートである。
【図２１】滞在者検出部による単位時間ごとの通行量記録処理の手順を示すフローチャートである。
【図２２】滞在者検出部による集計時間ごとの通行量記録処理の手順を示すフローチャートである。
【図２３】状態グラフを示す拡大図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
【００２４】
〔第１の実施の形態〕
図１は、本実施の形態に係る発明の概念を示す図である。
本実施の形態においては、老人ホームの居住スペースなどの監視をする場合を例にとって説明する。
【００２５】
図１に示すように、画像処理装置１００は、セレクタ１１０、活動検出部１２０、モザイク・モノクロ部１３０、メモリ１４０、グラフ合成部１５０、および接点入力・出力処理部１６０を備える。
【００２６】
セレクタ１１０は、活動検出部１２０の動き検出部１２１から出力される背景画像と、不図示のカメラから出力される画像を選択的にモザイク・モノクロ部１３０へ出力する。
【００２７】
活動検出部１２０は、動き検出部１２１および滞在者検出部１２２を備えている。活動検出部１２０の詳細に関しては図２を用いて詳しく説明する。
【００２８】
図２は、活動検出部を詳細に示すブロック図である。
図２に示すように、活動検出部１２０は、動き検出部１２１および滞在者検出部１２２を備えている。また、動き検出部１２１は、短背景生成部１２３、背景生成部１２４、変化検出部１２５、および継続検出部１２６を備えている。
【００２９】
短背景生成部１２３は、カメラが撮像した映像を構成する撮像画像のうち一定数間引きした撮像画像から短背景画像を生成する。具体的には、撮像画像の前後フレーム間で、移動者がその画像における同一位置にいない程度に間引きして一定フレームごとに抜き出した撮像画像を用いて短背景画像を生成する。
【００３０】
このような間引きを行うことにより、一定フレームごとに抜き出した撮像画像の差分をとって適宜加算して短背景画像を生成すると、一定フレーム間の撮像画像にはほとんど同じ位置には移動者が写っていないことから、共通部分としては抽出されず、背景と静止している滞在者のみが抽出されることになる。このような間引きは、たとえば、１〜４フレームごとに撮像画像を抽出し、短背景画像を生成する。
【００３１】
背景生成部１２４は、短背景画像を用いて背景画像を生成する。背景は日光等の影響や撮像範囲内の物が移動したときなど一定ではないため背景画像も更新をする必要がある。たとえば６４〜２５６フレームごとに抜き出した短背景画像を用いて背景画像を生成することにより、背景画像内に移動者や一旦静止したがその後動き出したような滞在者を含まないようにすることが可能となる。
【００３２】
変化検出部１２５は、短背景画像と撮像画像の差分から変化抽出画像を生成する。具体的には、短背景画像にはカメラから見て撮像対象者の位置的に変化していない部分と背景が映し出されていることから、撮像画像との差分をとることによりカメラから見て撮像対象者の位置的に変化した部分を抽出することができる。この位置的に変化した部分のみ抽出された画像が変化抽出画像である。
【００３３】
継続検出部１２６は、短背景画像と背景画像の差分から継続抽出画像を生成する。具体的には、短背景画像には撮像対象の位置的に変化していない部分と背景が映し出されていることから、背景画像との差分をとることにより位置的に変化していない部分、すなわちその場に立ち止まっているような滞在者など、継続して同一の場所にある部分を抽出することができる。たとえば監視対象が静止しているが腕を振っているときには、振っている腕以外の胴体部分などが継続して同一の場所にある部分にあたる。この継続部分のみ抽出した画像が継続抽出画像である。一方で、振っている腕の部分のみや、移動している滞在者全体はカメラから見て撮像対象者の位置的に変化した部分といえる。この変化部分のみ抽出した画像が変化抽出画像である。
【００３４】
滞在者検出部１２２は、変化検出部１２５が検出する変化検出結果、および継続検出部１２６が検出する継続検出結果から、移動頻度や動き頻度などの監視対象者である滞在者の情報を算出する。
以下、図１に戻って画像処理装置１００の説明を続ける。
【００３５】
モザイク・モノクロ部１３０は、入力された画像をモザイク処理、もしくは／およびモノクロ処理を行う。
【００３６】
グラフ合成部１５０は、モザイク・モノクロ部１３０から出力される画像、および活動検出部１２０からメモリ１４０を介して出力される画像を合成してモニタに出力する。
【００３７】
接点入力・出力処理部１６０は、メモリ１４０を介して監視対象の異常信号（アラーム出力）が出力されるとパトライトなどを点灯させるなどの異常を発報し、また、スイッチ操作などを受け付けて異常発報を停止させる処理を行う。
【００３８】
また、画像処理装置１００には、コンピュータ２１０と保存メモリ２２０が接続されている。
【００３９】
コンピュータ２１０は、ユーザからの入力を受け取り、画像処理装置１００の制御信号を出力する。また、画像処理装置１００から処理済みのデータを受け取る。処理済みのデータとは、たとえば監視対象のモニタリング結果などである。
【００４０】
保存メモリ２２０は、画像処理装置１００から処理済みのデータを受け取り格納する。また、コンピュータ２１０からの要求に応じて保存データを出力する。
【００４１】
図３は、背景生成部の処理内容を示すブロック図である。
図３に示すように、背景生成部１２４は、背景メモリ部１７０と更新速度制御部１８０を備えている。
【００４２】
背景メモリ部１７０は、乗算器１７１，１７２、加算器１７３、フレームメモリ１７４、および整数化部１７５を備え、更新速度制御部１８０は、フレームカウンタ１８１、コンパレータ１８２、および更新周期レジスタ１８３を備えている。
【００４３】
フレームカウンタ１８１は、入力される垂直同期信号をカウントアップし、フレームカウンタ１８１の値が更新周期レジスタ１８３に格納されている間引き数になると、コンパレータ１８２からフレームメモリ１７４に対して画像を保存するようにイネーブル信号を出力する。
【００４４】
一方、背景メモリ部１７０には、カメラから入力される入力画像に対して乗算器１７１で乗算した画像データと、フレームメモリ１７４に保存されている画像データに対して乗算器１７２で乗算した画像データとを、加算器１７３で加算してフレームメモリ１７４に格納する。そして、整数化部１７５で整数化して背景画像として出力する。
【００４５】
乗算器１７１で乗算される値をαとしたとき、乗算器１７２で乗算される値を１−αとする。このαの値を調整することにより何フレーム程度で背景画像がリフレッシュされるかを設定することができる。この図において背景生成部１２４の構成を説明したが、短背景生成部１２３も同様の構成である。
【００４６】
図４は、本実施の形態に係る画像処理装置を適用したシステムのシステム構成例を示す図であり、図４（Ａ）は、最小構成のシステム構成例を示した図であり、図４（Ｂ）は、セキュリティを重視した場合のシステム構成例を示す図であり、図４（Ｃ）は、プライバシーを重視した場合のシステム構成例を示す図である。
【００４７】
図４（Ａ）に示すように、画像処理装置１００にはカメラ電源２４０を介して４台のカメラ２３０が接続されており、カメラ２３０で撮影された撮影データが画像処理装置１００に入力される。また、画像処理装置１００から出力された処理済みの映像データがビデオモニタ２５０に出力されることにより表示される。
【００４８】
また、本システム構成例においてはアラーム出力が４系統と背景更新入力が４系統接続されている。
【００４９】
図４（Ｂ）は、カメラ電源２４０と画像処理装置１００の間に録画装置２６０が接続されている。これにより、カメラ２３０で撮像された映像が画像処理を施すことなく録画装置２６０に記憶され、記憶された映像データが画像処理装置１００に入力されることにより、画像処理が行われる。
【００５０】
これにより、図４（Ａ）に示す最小構成のシステムと同じ精度で監視対象のモニタリングをすることが可能である。
【００５１】
一方で、図４（Ｃ）は、画像処理装置１００とビデオモニタ２５０の間に録画装置２６０が接続されている。これにより、カメラ２３０で撮像された映像が、画像処理装置１００によって画像処理された後の映像データが録画装置２６０によって記憶される。
【００５２】
プライバシーを重視して画像処理装置１００によってモザイク処理を施すとき、図４（Ｂ）と比較して図４（Ｃ）の構成のときは録画装置２６０にはモザイク処理が施された映像データが記憶されることになる。
【００５３】
したがって、図４（Ｂ）に示す構成例の録画装置２６０に録画された映像データを見返すことによりわかる内容でも図４（Ｃ）に示す構成例の録画装置２６０に録画された映像データを見返しても、モザイク処理が施されていることによりわかりにくい動作がある。一方で、図４（Ｃ）に示す構成例の録画装置２６０に録画された映像データはモザイク処理した映像データのみが録画されることから、プライバシーに十分配慮したシステム構成であると言える。
【００５４】
図５は、画像処理装置が行う監視対象者である滞在者の状態と継続検出および変化検出の関係を示す図である。
【００５５】
図５に示すように、画像処理装置１００は、監視対象の継続検出と変化検出を行う。図５に示すように継続を検出したとき、変化を検出したとき、両方を検出するとき、および両方とも検出がないときの状態ができる。
【００５６】
具体的には、監視対象の継続検出も変化検出もされないとき（ベン図においては右上がりの斜線も左上がりの斜線も描かれていない部分）は監視対象は「不在」の状態であると判断でき、継続検出がされた部分と離れた位置で変化検出がされたとき、もしくは変化検出のみ検出されたとき（ベン図においては右上がりの斜線のみ描かれている部分）は監視対象が「移動者」の状態であると判断できる。
【００５７】
また、継続検出された部分およびその部分の周辺で変化検出がされたとき（ベン図においては右上がりの斜線と左上がりの斜線が両方描かれている部分）は監視対象が全体としては静止していながら体の一部が動いている「動き（動きのある静止者）」の状態であると判断でき、継続検出のみが検出されて変化検出がされないとき（ベン図においては左上がりの斜線のみ描かれている部分）は、監視対象が「静止（動きのない静止者）」の状態であると判断できる。
【００５８】
図６は、監視対象者である滞在者の状態遷移図である。
監視対象が撮像範囲に入ると、監視対象は「不在」の状態から「移動者」の状態になり、その監視対象が撮像範囲から外れると、監視対象は「移動者」の状態から「不在」の状態となる。
【００５９】
移動者が移動し続けているときは、監視対象は「移動者」の状態のままであり、その監視対象が静止したときは、原則的に「動きのない静止者」の状態となるが、静止したものの部分的に動きがあるときは「動きのある静止者」の状態となる。
【００６０】
動きのない静止者が静止し続けているときは、監視対象は「動きのない静止者」の状態のままであり、その監視対象が動いたときは、「動きのある静止者」の状態となる。動きのない静止者が移動し始めるときも「動きのある静止者」の状態を経由して「移動者」の状態となる。
【００６１】
動きのある静止者が静止した状態で腕などの身体の一部が動いている状態を続けているときは、監視対象は「動きのある静止者」の状態のままであり、その監視対象が完全に静止したときは、「動きのない静止者」の状態となる。一方で、動きのある静止者が動き始めたときは、「移動者」の状態となる。
【００６２】
本実施の形態に係る変化検出や継続検出は、撮像画像を横６４×縦４０のブロックに区切ったブロック画像に基づいて行う。もちろん撮像画像をそのまま用いて変化検出等をすることも可能であるが、ブロックに区切ることによって処理が格段に減るのでリソースが有効活用できる一方、監視対象である滞在者の状態を見誤らないからである。このブロックの区切り数は適用する場面に応じて適宜変更することができる。
【００６３】
図７は、本実施の形態の画像処理装置による画像処理の手順を示すフローチャートである。以下、図７に示す処理をステップ番号に沿って説明する。
【００６４】
〔ステップＳ１１〕変化検出部１２５は、入力された画像における変化検出をしたブロックメモリの内容を取得する。ブロックメモリはブロック画像が保存するメモリであって、変化検出部１２５はブロックメモリ内からブロック画像を読み出して、変化検出部分があるかを判断する。
【００６５】
具体的には、カメラ２３０で撮像された入力画像と、短背景生成部１２３が生成した短背景画像の差分をとり、差分として抽出された部分を含むブロック画像におけるブロックを変化検出をしたブロックと判断する。
【００６６】
〔ステップＳ１２〕継続検出部１２６は、入力された画像における継続検出をしたブロックメモリの内容を取得する。変化検出部１２５はブロックメモリ内からブロック画像を読み出して、変化検出部分があるかを判断する。
【００６７】
具体的には、短背景生成部１２３が生成した短背景画像と、背景生成部１２４が生成した背景画像との差分をとり、差分として抽出された部分を含むブロック画像におけるブロックを継続検出したブロックと判断する。
【００６８】
〔ステップＳ１３〕滞在者検出部１２２は、監視対象の活動状態判定処理を行う。つまり、監視対象である滞在者が不在、移動、動き、もしくは静止のいずれの状態であるかを判断する。この判断は図５の説明内容に基づく。
【００６９】
〔ステップＳ１４〕滞在者検出部１２２は、監視対象の活動状態記録処理を行う。つまり、監視対象である滞在者の移動頻度や動き頻度などから滞在者の活動状況を算出し、各滞在者の活動状態として記録する。
【００７０】
〔ステップＳ１５〕滞在者検出部１２２は、滞在者の活動状態に応じてアラーム処理を行う。つまり、監視対象である滞在者の活動状態が危険な状態であると判断するとアラームを出力する。
【００７１】
〔ステップＳ１６〕滞在者検出部１２２は、グラフ表示処理を行う。つまり、監視対象である滞在者の活動状況が一目でわかるように活動状況を表したグラフを生成し、表示する。
【００７２】
以下、上述の画像処理中に含まれる各処理やグラフについてフローチャートや表示例を用いて具体的に説明する。
【００７３】
図８は、滞在者検出部による活動状態判定処理の手順を示すフローチャートである。以下、図８に示す処理をステップ番号に沿って説明する。
【００７４】
〔ステップＳ２１〕滞在者検出部１２２は、変化検出結果と、継続検出結果を合成する。各検出結果は、上述の通り撮像画像を６４×４０にブロック分けしたブロック画像となっており、各ブロックが「検出なし」、「変化」、「継続」、「変化と継続の両方を含む」の４つの状態のいずれかに属するかを各検出結果の合成結果から判断する。
【００７５】
〔ステップＳ２２〕滞在者検出部１２２は、合成した検出結果の輪郭線を追跡し、少なくとも変化検出もしくは継続検出がされた部分を含むブロックの固まりを特定し、そのブロックの固まりを滞在者が撮像された部分と判断する。固まりの特定とは具体的には、少なくとも変化検出もしくは継続検出がされた部分の外周輪郭を追跡後、その輪郭に外接する長方形で囲み、たとえば右上と左下の座標を記憶する。なお、検出できる滞在者の最大数はたとえば１２８とする。
【００７６】
〔ステップＳ２３〕滞在者検出部１２２は、滞在者と判断した各固まり内の状態を参照し、各監視対象である滞在者の状態を判断する。具体的には、各固まりの外接長方形内のブロックに変化検出はあるが、継続検出がないときは、その滞在者は移動者であると判断する。
【００７７】
また、外接長方形内に変化検出と継続検出の両方があるときは、その滞在者は動きがある静止者であると判断し、外接長方形内に継続検出はあるが、変化検出がないときは、その滞在者は動きのない静止者であると判断する。
【００７８】
〔ステップＳ２４〕滞在者検出部１２２は、前回の滞在者の活動状態検出結果と比較し、新規の滞在者の登録と、既存の滞在者の状態の更新と静止フラグをＯＮ／ＯＦＦする。具体的には、前回の外接長方形と、今回の外接長方形の座標をたとえば画面の右上にあるものから順に比較し、近くにあるものを既存の滞在者の変化後のものとし、前回はなかったものを新規の滞在者とし、前回はあったが今回なかった、もしくは今回は一定以下の大きさものを消滅した（撮影範囲から外れた）滞在者とする。さらに、前回消滅したと判断された滞在者の外接長方形が残っている場合、次の滞在者の状態は未登録とする。この未登録という状態については、継続検出ブロックのリセットをする処理とともに後述する。
【００７９】
〔ステップＳ２５〕滞在者検出部１２２は、消滅した滞在者の外接長方形を元にブロック検出画像を作成する。このブロック検出画像は後述する継続検出リセット用に用いられる画像であって、継続検出をリセットしたいブロックを１として、それ以外のブロックを０とした画像であり、消滅と判定された滞在者の外接長方形を元に作成される。
【００８０】
図９は、ブロック検出画像を説明する図であり、図９（Ａ）は、継続検出リセット前を示す図であり、図９（Ｂ）は、継続検出リセット後を示す図である。
【００８１】
図９（Ａ）では、１フレーム前の表示例であって、外接長方形３１０内に現フレームの継続検出ブロックの固まり３２０が残っている状態を示している。現フレームの継続検出ブロックを囲う外接長方形が、あらかじめ設定された大きさより小さいと判断したとき、外接長方形３１０に関連づけられた滞在者は消滅したと判断する。本実施の形態に係る画像処理によると、滞在者が撮像範囲から外れたからといって必ずしもすぐに継続検出ブロックは消えずに一定時間残ってしまうからである。そして、継続検出ブロックが残っていると、その残った継続検出ブロックに基づいて、本来は撮像範囲内にはいない滞在者の移動検出、および動き検出が行われてしまうという不具合が生じるおそれがある。
【００８２】
つまり、消滅した滞在者の継続検出ブロックが撮像画像内に残っていると誤検出の原因となるので、当該継続検出ブロックは撮像画像内から消去（リセット）する。具体的には、現フレームの継続検出ブロックを囲う外接長方形があらかじめ設定された大きさより小さいとき、当該継続検出ブロックのブロック座標を記録する。
【００８３】
現フレームの継続検出ブロックを囲う外接長方形があらかじめ設定された大きさより小さいとする条件を満たすものが複数あるときは、すべてのブロック座標を記録する。この継続検出したブロックに１が設定され、継続検出がなかったブロックに０が設定されている画像をブロック検出画像とする。
【００８４】
なお、現フレームの継続検出ブロックを囲う外接長方形があらかじめ設定された大きさより小さいと判断されたとき現フレームの外接長方形は、次のフレームでは滞在者の状態として未登録と設定する。
【００８５】
図１０は、滞在者検出部による活動状態記録処理の手順を示すフローチャートである。以下、図１０に示す処理をステップ番号に沿って説明する。
【００８６】
〔ステップＳ３１〕滞在者検出部１２２は、前回の記録から単位時間ｎ秒経過したかを判断する。前回の記録から単位時間ｎ秒経過したと判断したときは処理をステップＳ３２へ進め、経過していないと判断したときは処理をステップＳ３３へ進める。本実施の形態においては、単位時間ｎ秒を１秒であるとする。
【００８７】
〔ステップＳ３２〕滞在者検出部１２２は、単位時間ごとの頻度記録処理を行う。具体的には、単位時間ごとの滞在者の移動頻度、動き頻度、および連続静止時間を記録する。
【００８８】
〔ステップＳ３３〕滞在者検出部１２２は、前回の記録から集計時間ｍ分経過したかを判断する。前回の記録から集計時間ｍ分経過したと判断したときは、処理をステップＳ３４へ進め、経過してないと判断したときは処理を終了する。本実施の形態においては、集計時間ｍ分を１分であるとする。
【００８９】
〔ステップＳ３４〕滞在者検出部１２２は、集計時間ごとの頻度記録処理を行う。具体的には、集計時間ごとの滞在者の移動頻度、および動き頻度を記録する。
【００９０】
以下、上述の活動状態記録処理中に含まれる各処理についてフローチャートを用いて具体的に説明する。
【００９１】
図１１は、滞在者検出部による単位時間ごとの頻度記録処理の手順を示すフローチャートである。以下、図１１に示す処理をステップ番号に沿って説明する。
【００９２】
〔ステップＳ４１〕滞在者検出部１２２は、滞在者がいるか否かを判断する。滞在者がいると判断したときは、処理をステップＳ４２へ進め、滞在者がいないと判断したときは処理をステップＳ４３へ進める。
【００９３】
〔ステップＳ４２〕滞在者検出部１２２は、滞在タイマをカウントアップし、最初の滞在者の記録を読み込む。この最初の滞在者とは、たとえば画面の一番右上にある外接長方形に関連づけられた滞在者を最初の滞在者とする。
【００９４】
〔ステップＳ４３〕滞在者検出部１２２は、滞在タイマをリセットする。つまり、滞在者が誰か１人でもいるときは滞在タイマがカウントアップされ続け（ステップＳ４２）、撮像範囲内に滞在者が１人もいなくなったときに初めて滞在タイマがリセットされる。
【００９５】
〔ステップＳ４４〕滞在者検出部１２２は、滞在者が１秒間に１度でも移動した否かを判断する。１度でも移動したときは、処理をステップＳ４５へ進め、移動していないときは、処理をステップＳ４６へ進める。
【００９６】
〔ステップＳ４５〕滞在者検出部１２２は、単位時間移動頻度を１加算する。
〔ステップＳ４６〕滞在者検出部１２２は、滞在者が１秒間に１度でも動きがあったか否かを判断する。１度でも動きがあったときは、処理をステップＳ４７へ進め、動きがなかったときは、処理をステップＳ４８へ進める。
【００９７】
〔ステップＳ４７〕滞在者検出部１２２は、単位時間動き頻度を１加算する。
〔ステップＳ４８〕滞在者検出部１２２は、判断対象の滞在者の静止フラグがＯＮになっているか否かを判断する。ＯＮになっているときは、処理をステップＳ４９へ進め、ＯＮになっていないときは処理をステップＳ５０へ進める。
【００９８】
〔ステップＳ４９〕滞在者検出部１２２は、静止タイマをカウントアップする。
〔ステップＳ５０〕滞在者検出部１２２は、他にも滞在者がいるか否かを判断する。他にも滞在者がいるときは処理をステップＳ５１へ進め、他に滞在者がいないときは処理を５２へ進める。
【００９９】
〔ステップＳ５１〕滞在者検出部１２２は、次の滞在者の記録を読み込む。
〔ステップＳ５２〕滞在者検出部１２２は、単位時間移動頻度、および単位時間動き頻度を記録する。たとえば、集計時間が１分であって、単位時間が１秒であるときは６０個の単位時間の記録を集計することになる。記録はリングバッファになっており、バッファ内に記録がいっぱいになると一番古いものに現在の結果を上書きする。
【０１００】
〔ステップＳ５３〕滞在者検出部１２２は、静止タイマをカウントアップしたか否かを判断する。カウントアップしたときは、処理をステップＳ５５へ進め、カウントアップしていないときは、処理をステップＳ５４へ進める。
【０１０１】
〔ステップＳ５４〕滞在者検出部１２２は、静止タイマをリセットする。ステップＳ５４に処理が流れてきたということは、静止タイマのカウントアップがされていないということである。静止タイマは１つだけなので、静止タイマがカウントアップされていないということは、すべての滞在者の静止フラグがＯＦＦとなっている、つまり滞在者は移動状態であるか、動きがある静止者であると判断されているということであるから、このタイミングが正しい静止タイマのリセットタイミングであるということになる。
【０１０２】
なお、静止タイマが１つであるのは、老人ホームの監視対象者は老人ホームに滞在しているご老人であって、静止し続けている場合は危険な状態である可能性が高いということに基づいている。
【０１０３】
〔ステップＳ５５〕滞在者検出部１２２は、静止タイマのカウント、および滞在タイマのカウントを滞在者の記録として当該滞在者に関連づけて記録する。
【０１０４】
図１２は、滞在者検出部による集計時間ごとの頻度記録処理の手順を示すフローチャートである。以下、図１２に示す処理をステップ番号に沿って説明する。
【０１０５】
〔ステップＳ６１〕滞在者検出部１２２は、現在の単位時間記録結果を読み込む。
〔ステップＳ６２〕滞在者検出部１２２は、読み込んだ現在の単位時間記録において、単位時間移動頻度が１以上であるか否かを判断する。１以上であるときは、処理をステップＳ６３へ進め、１未満であるときは、処理をステップＳ６４へ進める。
【０１０６】
〔ステップＳ６３〕滞在者検出部１２２は、集計期間移動頻度を１加算する。
〔ステップＳ６４〕滞在者検出部１２２は、読み込んだ現在の単位時間記録において、単位時間動き移動頻度が１以上であるか否かを判断する。１以上であるときは、処理をステップＳ６５へ進め、１未満であるときは、処理をステップＳ６６へ進める。
【０１０７】
〔ステップＳ６５〕滞在者検出部１２２は、集計期間動き頻度を１加算する。
〔ステップＳ６６〕滞在者検出部１２２は、５９秒前までの集計を行ったか否かを判断する。５９秒前までの集計を行ったときは、処理をステップＳ６８へ進め、５９秒前までは集計を行っていないときは、処理をステップＳ６７へ進める。
【０１０８】
〔ステップＳ６７〕滞在者検出部１２２は、集計を行った１秒前の単位時間記録結果を読み込む。
【０１０９】
〔ステップＳ６８〕滞在者検出部１２２は、集計期間移動頻度、および集計期間動き頻度を記録する。本実施の形態のように単位時間が１秒で、集計時間が１分であって、グラフ表示範囲が２４時間であるときは、２４×６０＝１４４０個の単位時間の記録を集計することになる。グラフ表示範囲が２４時間であるときは、２４時間分の記録ができるリングバッファになっており、バッファ内に記録がいっぱいになると一番古いものに現在の結果を上書きする。
【０１１０】
図１３は、滞在者検出部によるアラーム処理の手順を示すフローチャートである。以下、図１３に示す処理をステップ番号に沿って説明する。
【０１１１】
〔ステップＳ７１〕滞在者検出部１２２は、静止タイマのカウントを読み込む。
〔ステップＳ７２〕滞在者検出部１２２は、アラーム出力済みか否かを判断する。アラーム出力済みであるときは、処理をステップＳ７３へ進め、アラーム出力がされていないときは、処理をステップＳ７７へ進める。
【０１１２】
〔ステップＳ７３〕滞在者検出部１２２は、静止タイマのカウントが出力開始時間を超えているか否かを判断する。出力開始時間を超えているときは、処理をステップＳ７４へ進め、超えてないときは処理をステップＳ７５へ進める。なお、出力開始時間は滞在者が静止し続けている時間としては異常である可能性があると判断できる時間、つまり目視確認が必要であると判断できる時間であって監視対象や設置場所に応じて適宜設定される。
【０１１３】
〔ステップＳ７４〕滞在者検出部１２２は、アラーム停止信号入力があるか否かを判断する。アラーム停止信号入力があるときは、処理をステップＳ７５へ進め、アラーム停止信号入力がないときは、処理をステップＳ７９へ進める。
【０１１４】
〔ステップＳ７５〕滞在者検出部１２２は、アラーム出力フラグをＯＦＦに設定する。
〔ステップＳ７６〕滞在者検出部１２２は、静止タイマをリセットする。
【０１１５】
〔ステップＳ７７〕滞在者検出部１２２は、静止タイマのカウントが出力開始時間を超えているか否かを判断する。出力開始時間を超えているときは、処理をステップＳ７８へ進め、超えていないときは、処理をステップＳ７９へ進める。
【０１１６】
〔ステップＳ７８〕滞在者検出部１２２は、アラーム出力フラグをＯＮに設定する。
〔ステップＳ７９〕滞在者検出部１２２は、アラーム出力フラグのＯＮ／ＯＦＦと、静止タイマのカウントを記録する。
【０１１７】
〔ステップＳ８０〕滞在者検出部１２２は、アラーム出力フラグがＯＮに設定されているときは、アラーム出力を行い、アラーム出力フラグがＯＦＦに設定されているときは、アラーム出力をＯＦＦする。
【０１１８】
図１４は、本実施の形態に係る画像処理装置で処理をしたときの画像表示例を示す図である。
【０１１９】
図１４に示す例として、画像処理された画像は４分割された画面に４つのカメラ２３０で撮像され、画像処理された画像があるときを示している。各画像において変化検出および継続検出は半透明で表示され、背景画像と合成されて表示される。
【０１２０】
本実施の形態においては、右上がりの斜線で変化検出を示し、右下がりの斜線で継続検出を示している。つまり、左上の画像に示された滞在者は変化検出と継続検出がされているので動きのある静止者の状態であることが判断でき、右の上下の画像に示された滞在者は変化検出のみされているので移動者の状態であると判断でき、左下の画像に示された滞在者は継続検出のみされているので動きのない静止者の状態であると判断できる。
【０１２１】
また、各画像の下部にはグラフ（以下、状態グラフという。）が表示されている。この状態グラフは各画像で表示された撮像範囲における撮像対象の移動頻度、動き頻度をグラフ化したものが表示されている。
以下、この状態グラフについて詳細に説明する。
【０１２２】
図１５は、状態グラフを構成する棒グラフの拡大図である。
図１５に示すように、棒グラフは１０個のコマを複合して１本の棒グラフを構成している。棒グラフ１本で１２分（表示単位）であり、状態グラフ１つで２４時間を表すとすると、表示グラフは棒グラフ１２０本で構成されることになる。
【０１２３】
棒グラフは、表示単位（本実施の形態においては１２分）の間の移動頻度、動き頻度、および静止または不在を１０段階表示になるように正規化したものである。
【０１２４】
図１６は、状態グラフを示す拡大図であり、図１６（Ａ）は、移動頻度グラフを示す拡大図であり、図１６（Ｂ）は、動き頻度グラフを示す拡大図であり、図１６（Ｃ）は、移動頻度グラフと動き頻度グラフを重ねて表示した重ね合わせグラフを示す拡大図である。
【０１２５】
図１６（Ａ）、（Ｂ）は、それぞれ移動頻度、もしくは動き頻度のみを表示するグラフであって、図１６（Ｃ）は、移動頻度、および動き頻度を表示するグラフを重ね合わせた重ね合わせグラフである。
【０１２６】
図１６（Ａ），（Ｂ）に示すように、状態グラフを構成する棒グラフにおいて、移動頻度は右上がりの斜線で示され、動き頻度は右下がりの斜線で示されている。つまり、図１６（Ｃ）に示す重ね合わせグラフにおいては、移動頻度と動き頻度が重なる部分に関しては移動頻度を優先的に表示することとしている。
【０１２７】
本実施の形態において重ね合わせのときに移動頻度を優先的に表示するのは、通常は静止状態が長いほど滞在者に何か異常が起きている可能性が高いことに起因する。つまり、動き頻度を優先的に表示して、移動頻度が動き頻度に隠れて見えなくなると滞在者に起きた異常を見過ごす可能性が高くなるからである。
【０１２８】
図１７は、重ね合わせグラフの下部にアラーム出力状況を示すグラフを表示したアラームグラフを示す拡大図であり、図１７（Ａ）は、第１のアラームグラフを示す拡大図であり、図１７（Ｂ）は、第２のアラームグラフを示す拡大図である。
【０１２９】
図１７に示すように、重ね合わせグラフの下部にアラーム出力を示す出力状況グラフが表示させることができる。出力状況グラフは、たとえば滞在、静止、アラームの３段階であって、滞在期間を白抜きで、静止期間を右上がりの鎖線で、アラーム出力期間を右下がりの一点鎖線で示している。
【０１３０】
図１７（Ａ）に示す第１のアラームグラフの場合であって、重ね合わせグラフのみが表示されているときを考える。このとき、右側にある重ね合わせの山４１１と、左側にある重ね合わせの山４１２の間の移動も動きも検出されていない時間ｔは、滞在者が不在なために移動も動きも検出されていないのか、滞在者が長時間静止状態なのかが判別できない。
【０１３１】
そこで、重ね合わせグラフの下部に出力状況グラフを表示したアラームグラフを表示させることにより、滞在者が不在なために移動も動きも検出されていないのか、滞在者が長時間静止状態なのかを判別することができる。
【０１３２】
具体的には、滞在者が静止状態であると判断されたときである静止期間と、アラーム出力がされているときであるアラーム出力期間を表示することによって、重ね合わせグラフにおける移動も動きも検出されていない時間が不在によるものなのか、滞在者の長時間の静止によるものなのかを判別することができる。
【０１３３】
一方、図１７（Ｂ）に示す第２のアラームグラフの場合を考えると、第２のアラームグラフは、滞在者を２人検出し、１人ずつ退出した場合を表している。ここで、最初に退出した滞在者を滞在者Ａとし、次いで退出した滞在者を滞在者Ｂとして説明する。
【０１３４】
当初滞在者２人（滞在者Ａおよび滞在者Ｂ）を検出し、時間ｔ１に滞在者２人とも静止状態になる。そして、時間ｔ２に滞在者Ａが退出する。山４１３における動きと移動の検出は、静止していた滞在者Ａが静止状態から動き状態、移動状態となって退出したことを表している。
【０１３５】
このとき、依然として滞在者Ｂが静止状態であるときは、静止タイマはリセットされないので、このまま静止状態が続けばアラーム出力されるはずである。しかし、出力状況グラフにおいてアラーム出力がされている旨の表示がないので、山４１３において、滞在者Ｂも動いていたことがわかる。
【０１３６】
山４１２における動きと移動の検出は、静止していた滞在者Ａが静止状態から動き状態、移動状態となって退出したことを表している。
【０１３７】
このようにアラーム出力フラグにおいて、重ね合わせグラフのみならず出力状況グラフを合わせて表示することにより滞在者の状況を見誤ることなく一目で状況確認を行うことができるようになる。
【０１３８】
〔第２の実施の形態〕
次に、本発明の第２の実施の形態について説明する。本実施の形態の画像処理装置は、通行量や混雑度を計測するために用いることが異なる以外は、基本的な処理等については第１の実施の形態と同様である。このため、上記第１の実施の形態とほぼ同様の構成部分については同一の符号を付すなどして適宜その説明を省略する。
以下、本発明の実施の形態を図面を参照して詳細に説明する。
【０１３９】
図１８は、本実施の形態の画像処理装置による画像処理の手順を示すフローチャートである。以下、図１８に示す処理をステップ番号に沿って説明する。
【０１４０】
〔ステップＳ８１〕変化検出部１２５は、入力された画像における変化検出をしたブロックメモリの内容を取得する。ブロックメモリはブロック画像が保存するメモリであって、変化検出部１２５はブロックメモリ内からブロック画像を読み出して、変化検出部分があるかを判断する。
【０１４１】
具体的には、カメラ２３０で撮像された入力画像と、短背景生成部１２３が生成した短背景画像の差分をとり、差分として抽出された部分を含むブロック画像におけるブロックを変化検出をしたブロックと判断する。
【０１４２】
〔ステップＳ８２〕継続検出部１２６は、入力された画像における継続検出をしたブロックメモリの内容を取得する。変化検出部１２５はブロックメモリ内からブロック画像を読み出して、変化検出部分があるかを判断する。
【０１４３】
具体的には、短背景生成部１２３が生成した短背景画像と、背景生成部１２４が生成した背景画像との差分をとり、差分として抽出された部分を含むブロック画像におけるブロックを継続検出したブロックと判断する。
【０１４４】
〔ステップＳ８３〕滞在者検出部１２２は、監視対象の活動状態判定処理を行う。つまり、監視対象である滞在者が不在、移動、動き、もしくは静止のいずれの状態であるかを判断する。
【０１４５】
〔ステップＳ８４〕滞在者検出部１２２は、監視対象の活動状態記録処理を行う。つまり、監視対象である滞在者の移動頻度や動き頻度などから滞在者の活動状況を算出し、各滞在者の活動状態として記録する。
【０１４６】
〔ステップＳ８６〕滞在者検出部１２２は、グラフ表示処理を行う。つまり、監視対象である滞在者の活動状況が一目でわかるように活動状況を表したグラフを生成し、表示する。
【０１４７】
以下、上述の画像処理中に含まれる各処理やグラフについてフローチャートや表示例を用いて具体的に説明する。
【０１４８】
図１９は、滞在者検出部による活動状態判定処理の手順を示すフローチャートである。以下、図１９に示す処理をステップ番号に沿って説明する。
【０１４９】
〔ステップＳ９１〕滞在者検出部１２２は、変化検出結果と、継続検出結果を合成する。各検出結果は、上述の通り撮像画像を６４×４０にブロック分けしたブロック画像となっており、各ブロックが「検出なし」、「変化」、「継続」、「変化と継続の両方を含む」の４つの状態のいずれかに属するかを各検出結果の合成結果から判断する。
【０１５０】
〔ステップＳ９２〕滞在者検出部１２２は、合成した検出結果の輪郭線を追跡し、少なくとも変化検出もしくは継続検出がされた部分を含むブロックの固まりを特定し、そのブロックの固まりを滞在者が撮像された部分と判断する。固まりの特定とは具体的には、少なくとも変化検出もしくは継続検出がされた部分の外周輪郭を追跡後、その輪郭に外接する長方形で囲み、たとえば右上と左下の座標を記憶する。なお、検出できる滞在者の最大数はたとえば１２８とする。
【０１５１】
〔ステップＳ９３〕滞在者検出部１２２は、滞在者と判断した各固まり内の状態を参照し、各監視対象である滞在者の状態を判断する。具体的には、各固まりの外接長方形内のブロックに変化検出はあるが、継続検出がないときは、その滞在者は移動者であると判断する。
【０１５２】
また、外接長方形内に変化検出と継続検出の両方があるときは、その滞在者は動きがある静止者であると判断し、外接長方形内に継続検出はあるが、変化検出がないときは、その滞在者は動きのない静止者であると判断する。
【０１５３】
〔ステップＳ９４〕滞在者検出部１２２は、前回の滞在者の活動状態検出結果と比較し、新規の滞在者の登録と、既存の滞在者の状態の更新と静止フラグをＯＮ／ＯＦＦする。具体的には、前回の外接長方形と、今回の外接長方形の座標をたとえば画面の右上にあるものから順に比較し、近くにあるものを既存の滞在者の変化後のものとし、前回はなかったものを新規の滞在者とし、前回はあったが今回なかった、もしくは今回は一定以下の大きさものを消滅した（撮影範囲から外れた）滞在者とする。さらに、前回消滅したと判断された滞在者の外接長方形が残っている場合、次の滞在者の状態は未登録とする。この未登録という状態については、継続検出ブロックのリセットをする処理とともに後述する。
【０１５４】
〔ステップＳ９５〕滞在者検出部１２２は、消滅した滞在者の外接長方形を元にブロック検出画像を作成する。このブロック検出画像は後述する継続検出リセット用に用いられる画像であって、継続検出をリセットしたいブロックを１として、それ以外のブロックを０とした画像であり、消滅と判定された滞在者の外接長方形を元に作成される。
【０１５５】
図２０は、滞在者検出部による活動状態記録処理の手順を示すフローチャートである。以下、図２０に示す処理をステップ番号に沿って説明する。
【０１５６】
〔ステップＳ１０１〕滞在者検出部１２２は、前回の記録から単位時間ｎ秒経過したかを判断する。前回の記録から単位時間ｎ秒経過したと判断したときは処理をステップＳ１０２へ進め、経過していないと判断したときは処理をステップＳ１０３へ進める。本実施の形態においては、単位時間ｎ秒を１秒であるとする。
【０１５７】
〔ステップＳ１０２〕滞在者検出部１２２は、単位時間ごとの通行量記録処理を行う。具体的には、たとえば単位時間ごとの入場者数、および退場者数を記録する。
【０１５８】
〔ステップＳ１０３〕滞在者検出部１２２は、前回の記録から集計時間ｍ分経過したかを判断する。前回の記録から集計時間ｍ分経過したと判断したときは、処理をステップＳ１０４へ進め、経過してないと判断したときは処理を終了する。本実施の形態においては、集計時間ｍ分を１分であるとする。
【０１５９】
〔ステップＳ１０４〕滞在者検出部１２２は、集計時間ごとの通行量記録処理を行う。具体的には、たとえば集計時間ごとの入場者数、および退場者数を記録する。
【０１６０】
以下、上述の活動状態記録処理中に含まれる各処理についてフローチャートを用いて具体的に説明する。
【０１６１】
図２１は、滞在者検出部による単位時間ごとの通行量記録処理の手順を示すフローチャートである。以下、図２１に示す処理をステップ番号に沿って説明する。
【０１６２】
〔ステップＳ１１１〕滞在者検出部１２２は、滞在者がいるか否かを判断する。滞在者がいると判断したときは処理をステップＳ１１２へ進め、滞在者がいないと判断したときは処理をステップＳ１１９へ進める。
【０１６３】
〔ステップＳ１１２〕滞在者検出部１２２は、最初の滞在者の記録を読み込む。この最初の滞在者とは、たとえば画面の一番右上にある外接長方形に関連づけられた滞在者を最初の滞在者とする。
【０１６４】
〔ステップＳ１１３〕滞在者検出部１２２は、滞在者が１秒間に１度でも新規登録された否かを判断する。１度でも新規登録されたときは、処理をステップＳ１１４へ進め、１度も新規登録されていないときは、処理をステップＳ１１５へ進める。
【０１６５】
〔ステップＳ１１４〕滞在者検出部１２２は、単位時間入場者数を１加算する。
〔ステップＳ１１５〕滞在者検出部１２２は、滞在者が１秒間に１度でも消滅登録されたか否かを判断する。１度でも消滅登録されたときは、処理をステップＳ１１６へ進め、１度も消滅登録されなかったときは、処理をステップＳ１１７へ進める。
【０１６６】
〔ステップＳ１１６〕滞在者検出部１２２は、単位時間退場者数を１加算する。
〔ステップＳ１１７〕滞在者検出部１２２は、他にも滞在者がいるか否かを判断する。他にも滞在者がいるときは処理をステップＳ１１８へ進め、他に滞在者がいないときは処理を１１９へ進める。
【０１６７】
〔ステップＳ１１８〕滞在者検出部１２２は、次の滞在者の記録を読み込む。
〔ステップＳ１１９〕滞在者検出部１２２は、単位時間入場者数、および単位時間退場者数を記録する。たとえば、集計時間が１分であって、単位時間が１秒であるときは６０個の単位時間の記録を集計することになる。記録はリングバッファになっており、バッファ内に記録がいっぱいになると一番古いものに現在の結果を上書きする。
【０１６８】
図２２は、滞在者検出部による集計時間ごとの通行量記録処理の手順を示すフローチャートである。以下、図２２に示す処理をステップ番号に沿って説明する。
【０１６９】
〔ステップＳ１２１〕滞在者検出部１２２は、現在の新規または既存状態の滞在者数を集計単位時間滞在者数とする。
【０１７０】
〔ステップＳ１２２〕滞在者検出部１２２は、現在の単位時間記録結果を読み込む。
〔ステップＳ１２３〕滞在者検出部１２２は、集計期間入場者数に単位時間入場者数を加算する。
【０１７１】
〔ステップＳ１２４〕滞在者検出部１２２は、集計期間退場者数に単位時間退場者数を加算する。
【０１７２】
〔ステップＳ１２５〕滞在者検出部１２２は、５９秒前までの集計を行ったか否かを判断する。５９秒前までの集計を行ったときは、処理をステップＳ１２７へ進め、５９秒前までは集計を行っていないときは、処理をステップＳ１２６へ進める。
【０１７３】
〔ステップＳ１２６〕滞在者検出部１２２は、集計を行った１秒前の単位時間記録結果を読み込む。
【０１７４】
〔ステップＳ１２７〕滞在者検出部１２２は、集計期間入場者数、および集計期間退場者数を記録する。本実施の形態のように単位時間が１秒で、集計時間が１分であって、グラフ表示範囲が２４時間であるときは、２４×６０＝１４４０個の単位時間の記録を集計することになる。グラフ表示範囲が２４時間であるときは、２４時間分の記録ができるリングバッファになっており、バッファ内に記録がいっぱいになると一番古いものに現在の結果を上書きする。
【０１７５】
図２３は、状態グラフを示す拡大図であり、図２３（Ａ）は、入場者数グラフを示す拡大図であり、図２３（Ｂ）は、退場者数グラフを示す拡大図であり、図２３（Ｃ）は、滞在者数グラフを示す拡大図であり、図２３（Ｄ）は、入場者数グラフ、退場者数グラフ、および滞在者数グラフを並べて表示したグラフを示す拡大図である。
【０１７６】
上述の処理を行うことにより、通行量を一目で判断することが可能となる。さらに、このグラフに加えて、たとえば小売店などの売り場の一部などに撮像範囲を指定するなどすれば、その売り場に対する顧客の寄りつき具合なども一目で把握することが可能となったり、その寄りつきが時間に依存するかなども把握することが可能となる。
【０１７７】
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、画像処理装置が有すべき機能の処理内容を記述した画像処理プログラムが提供される。その画像処理プログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述した画像処理プログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ＨＤＤ、ＦＤ、磁気テープなどがある。光ディスクには、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。光磁気記録装置には、ＭＯ（Magneto
Optical disk）などがある。
【０１７８】
画像処理プログラムを流通させる場合には、たとえば、その画像処理プログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにその画像処理プログラムを転送することもできる。
【０１７９】
画像処理プログラムを実行するコンピュータは、たとえば、可搬型記録媒体に記録された画像処理プログラムもしくはサーバコンピュータから転送された画像処理プログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置から画像処理プログラムを読み取り、画像処理プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接画像処理プログラムを読み取り、その画像処理プログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータから画像処理プログラムが転送される毎に、逐次、受け取った画像処理プログラムに従った処理を実行することもできる。
【０１８０】
なお、本発明は、上述の実施の形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更を加えることができる。
【０１８１】
上記については単に本発明の原理を示すものである。さらに、多数の変形、変更が当業者にとって可能であり、本発明は上記に示し、説明した正確な構成および応用例に限定されるものではなく、対応するすべての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。
【符号の説明】
【０１８２】
１００ 画像処理装置
１１０ セレクタ
１２０ 活動検出部
１２０ 棒グラフ
１２１ 検出部
１２２ 滞在者検出部
１２３ 短背景生成部
１２４ 背景生成部
１２５ 変化検出部
１２６ 継続検出部
１３０ モザイク・モノクロ部
１４０ メモリ
１５０ グラフ合成部
１６０ 接点入力・出力部
１６０ 接点入力・出力処理部
１７０ 背景メモリ部
１７１，１７２ 乗算器
１７３ 加算器
１７４ フレームメモリ
１７５ 整数化部
１８０ 更新速度制御部
１８１ フレームカウンタ
１８２ コンパレータ
１８３ 更新周期レジスタ
２１０ コンピュータ
２２０ 保存メモリ
２３０ カメラ
２４０ カメラ電源
２５０ ビデオモニタ
２６０ 録画装置
【特許請求の範囲】
【請求項１】
監視目的で設置されているカメラが撮像した撮像画像を用いて、監視対象者である滞在者の状態を検出し、一定時間の状態を表示するための画像処理装置において、
前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成する短背景生成手段と、
前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成する背景生成手段と、
前記短背景画像と前記撮像画像の差分から変化抽出画像を生成する変化抽出手段と、
前記短背景画像と前記背景画像の差分から継続抽出画像を生成する継続抽出手段と、
前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出する滞在者情報算出手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記滞在者情報算出手段が算出した前記情報のうち一定時間のものを表示する表示手段を備えることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記表示手段は、
前記滞在者情報算出手段が算出した前記情報のうち一定時間のものを表示するグラフを生成し、そのグラフを表示することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記滞在者情報算出手段が、変化検出と継続検出の両方を検出したと判断したとき、
前記表示手段が、
前記継続検出に係る情報を優先して表示することを特徴とする請求項２記載の画像処理装置。
【請求項５】
前記滞在者情報算出手段が前記継続検出のみを一定時間以上検出したときアラームを出力するアラーム出力手段を備えることを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記アラーム出力手段は、
アラーム出力のログを保存することを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記滞在者情報算出手段が前記情報を時系列にグラフを生成し、
その生成したグラフの時系列に合わせて前記ログを表示することを特徴とする請求項６記載の画像処理装置。
【請求項８】
監視目的で設置されているカメラが撮像した撮像画像を用いて、監視対象者である滞在者の状態を検出し、一定時間の状態を表示するための画像処理方法において、
短背景生成手段が、前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成するステップと、
背景生成手段が、前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成するステップと、
変化抽出手段が、前記短背景画像と前記撮像画像の差分から変化抽出画像を生成するステップと、
継続抽出手段が、前記短背景画像と前記背景画像の差分から継続抽出画像を生成するステップと、
滞在者情報算出手段が、前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出するステップと、
を含むことを特徴とする画像処理方法。
【請求項９】
監視目的で設置されているカメラが撮像した撮像画像を用いて、監視対象者である滞在者の状態を検出し、一定時間の状態を表示するための画像処理プログラムにおいて、
コンピュータを、
前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成する短背景生成手段、
前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成する背景生成手段、
前記短背景画像と前記撮像画像の差分から変化抽出画像を生成する変化抽出手段、
前記短背景画像と前記背景画像の差分から継続抽出画像を生成する継続抽出手段、および
前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出する滞在者情報算出手段、
として機能させることを特徴とする画像処理プログラム。
【請求項１０】
監視目的で設置されているカメラが撮像した撮像画像を用いて、監視対象者である滞在者の状態を検出し、一定時間の状態を表示するための画像処理装置を含む監視システムにおいて、
前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成する短背景生成手段と、
前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成する背景生成手段と、
前記短背景画像と前記撮像画像の差分から変化抽出画像を生成する変化抽出手段と、
前記短背景画像と前記背景画像の差分から継続抽出画像を生成する継続抽出手段と、
前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出する滞在者情報算出手段と、
を備える画像処理装置と、
前記画像処理装置が処理した画像を保存する画像保存手段と、
前記画像に対してモザイク処理を施すモザイク処理手段と、
を備えることを特徴とする監視システム。
【請求項１１】
前記画像保存手段が、
前記モザイク処理手段が処理した画像を保存することを特徴とする請求項１０記載の監視システム。
【請求項１２】
前記モザイク処理手段が、
前記画像保存手段が保存した画像をモザイク処理することを特徴とする請求項１０記載の監視システム。
【請求項１】
監視目的で設置されているカメラが撮像した撮像画像を用いて、監視対象者である滞在者の状態を検出し、一定時間の状態を表示するための画像処理装置において、
前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成する短背景生成手段と、
前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成する背景生成手段と、
前記短背景画像と前記撮像画像の差分から変化抽出画像を生成する変化抽出手段と、
前記短背景画像と前記背景画像の差分から継続抽出画像を生成する継続抽出手段と、
前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出する滞在者情報算出手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記滞在者情報算出手段が算出した前記情報のうち一定時間のものを表示する表示手段を備えることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記表示手段は、
前記滞在者情報算出手段が算出した前記情報のうち一定時間のものを表示するグラフを生成し、そのグラフを表示することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記滞在者情報算出手段が、変化検出と継続検出の両方を検出したと判断したとき、
前記表示手段が、
前記継続検出に係る情報を優先して表示することを特徴とする請求項２記載の画像処理装置。
【請求項５】
前記滞在者情報算出手段が前記継続検出のみを一定時間以上検出したときアラームを出力するアラーム出力手段を備えることを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記アラーム出力手段は、
アラーム出力のログを保存することを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記滞在者情報算出手段が前記情報を時系列にグラフを生成し、
その生成したグラフの時系列に合わせて前記ログを表示することを特徴とする請求項６記載の画像処理装置。
【請求項８】
監視目的で設置されているカメラが撮像した撮像画像を用いて、監視対象者である滞在者の状態を検出し、一定時間の状態を表示するための画像処理方法において、
短背景生成手段が、前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成するステップと、
背景生成手段が、前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成するステップと、
変化抽出手段が、前記短背景画像と前記撮像画像の差分から変化抽出画像を生成するステップと、
継続抽出手段が、前記短背景画像と前記背景画像の差分から継続抽出画像を生成するステップと、
滞在者情報算出手段が、前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出するステップと、
を含むことを特徴とする画像処理方法。
【請求項９】
監視目的で設置されているカメラが撮像した撮像画像を用いて、監視対象者である滞在者の状態を検出し、一定時間の状態を表示するための画像処理プログラムにおいて、
コンピュータを、
前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成する短背景生成手段、
前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成する背景生成手段、
前記短背景画像と前記撮像画像の差分から変化抽出画像を生成する変化抽出手段、
前記短背景画像と前記背景画像の差分から継続抽出画像を生成する継続抽出手段、および
前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出する滞在者情報算出手段、
として機能させることを特徴とする画像処理プログラム。
【請求項１０】
監視目的で設置されているカメラが撮像した撮像画像を用いて、監視対象者である滞在者の状態を検出し、一定時間の状態を表示するための画像処理装置を含む監視システムにおいて、
前記滞在者が動くとき、前記滞在者の当該動いた部分がフレーム間で前記撮像画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記撮像画像から短背景画像を生成する短背景生成手段と、
前記滞在者がフレーム間で前記短背景画像における同一位置にいなくなるように設定されたフレーム数間引きした、複数フレームの前記短背景画像から背景画像を生成する背景生成手段と、
前記短背景画像と前記撮像画像の差分から変化抽出画像を生成する変化抽出手段と、
前記短背景画像と前記背景画像の差分から継続抽出画像を生成する継続抽出手段と、
前記変化抽出画像と、前記継続抽出画像から監視対象者である滞在者の状態を示す情報を算出する滞在者情報算出手段と、
を備える画像処理装置と、
前記画像処理装置が処理した画像を保存する画像保存手段と、
前記画像に対してモザイク処理を施すモザイク処理手段と、
を備えることを特徴とする監視システム。
【請求項１１】
前記画像保存手段が、
前記モザイク処理手段が処理した画像を保存することを特徴とする請求項１０記載の監視システム。
【請求項１２】
前記モザイク処理手段が、
前記画像保存手段が保存した画像をモザイク処理することを特徴とする請求項１０記載の監視システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２０１３−５８０６３（Ｐ２０１３−５８０６３Ａ）
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願番号】特願２０１１−１９５６９０（Ｐ２０１１−１９５６９０）
【出願日】平成２３年９月８日（２０１１．９．８）
【新規性喪失の例外の表示】特許法第３０条第３項適用申請有り 平成２３年３月８日〜１１日 日本経済新聞社主催の「ＳＥＣＵＲＩＴＹ ＳＨＯＷ ２０１１ （第１９回 セキュリティ・安全管理総合展）」に出品
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．パトライト
【出願人】（０００２１０９６４）中央電子株式会社 (81)
【Ｆターム（参考）】
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願日】平成２３年９月８日（２０１１．９．８）
【新規性喪失の例外の表示】特許法第３０条第３項適用申請有り 平成２３年３月８日〜１１日 日本経済新聞社主催の「ＳＥＣＵＲＩＴＹ ＳＨＯＷ ２０１１ （第１９回 セキュリティ・安全管理総合展）」に出品
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．パトライト
【出願人】（０００２１０９６４）中央電子株式会社 (81)
【Ｆターム（参考）】
[ Back to top ]