監視装置および挙動監視用プログラム
【課題】多数の利用者が個人単位で利用するプライバシーの保護を必要とする設備において、犯罪性をもつ、有責な行為や人的被害や物的被害などに対して、統合的かつ有効な監視が期待できる監視装置および挙動監視用プログラムを提供する。
【解決手段】人物を監視対象オブジェクトとして、当該監視対象オブジェクトの利用施設における利用エリアを撮影する単眼カメラ１１と、このカメラ１１で撮影したフレーム単位の画像をキャプチャするキャプチャ部１２と、このキャプチャ部１２でキャプチャした画像をもとに上記利用エリアに存在するオブジェクトの挙動（行動）を監視し、予め登録した特定の挙動パターンに該当する異常挙動の判定を行う画像処理部１３と、この画像処理部１３で異常挙動を判定したときアラームを出力するアラーム出力部１５とを具備する。
【解決手段】人物を監視対象オブジェクトとして、当該監視対象オブジェクトの利用施設における利用エリアを撮影する単眼カメラ１１と、このカメラ１１で撮影したフレーム単位の画像をキャプチャするキャプチャ部１２と、このキャプチャ部１２でキャプチャした画像をもとに上記利用エリアに存在するオブジェクトの挙動（行動）を監視し、予め登録した特定の挙動パターンに該当する異常挙動の判定を行う画像処理部１３と、この画像処理部１３で異常挙動を判定したときアラームを出力するアラーム出力部１５とを具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単眼の撮像カメラで撮影した画像をもとに監視対象オブジェクトの挙動を監視する、撮像カメラを利用者が個人単位で利用する施設のアラーム出力用センサーとして用いた監視装置および挙動監視用プログラムに関する。
【背景技術】
【０００２】
不特定多数若しくは利用目的を特定した多数の利用者が個人単位で利用する施設の設備（例えばトイレットルーム、バスルーム、各種のサービスルーム等）において、同設備における利用者の挙動監視は、個人情報保護の面から各種の制約を受け、例えば監視カメラの映像出力に対してはプライバシー保護の観点から厳しい規制並びに制約が求められる。このため、上記した各種設備の挙動監視にあたっては、撮像用の監視カメラに代わり、人感センサー、照度センサー、モーションセンサー、振動感知センサー等、各種の防犯センサーを用いた監視システムが広く適用されている。
【０００３】
しかしながら、この種、防犯センサーを用いた監視システムにおいては、例えば、犯罪性をもつ、有責な行為（例えば暴力行為）や人的被害（例えば殺傷被害）や物的被害（物損被害）などに対して、統合的かつ有効な監視が期待できないという問題があった。
【０００４】
撮像カメラを用いた挙動監視システムとして、従来では、アラームの発生機能に特徴をもつカメラシステムが存在した。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１９９３９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したように、多数の利用者が個人単位で利用する、プライバシーの保護を必要とする設備において、従来では、犯罪性をもつ、有責な行為や人的被害や物的被害などに対して、統合的かつ有効な監視が期待できないという問題があった。
【０００７】
本発明の実施形態は、多数の利用者が個人単位で利用するプライバシーの保護を必要とする設備において、犯罪性をもつ、有責な行為や人的被害や物的被害などに対して、統合的かつ有効な監視が期待できる監視装置および挙動監視用プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、撮像カメラを利用者が利用する施設のアラーム出力用センサーとして用いる監視装置であって、前記カメラから入力した時系列の複数のフレーム画像をもとにフレーム間差分処理画像を取得し、当該差分処理画像が予め登録された挙動パターンに該当するか否かを判定する処理手段と、前記処理手段により前記差分処理画像が前記挙動パターンに該当する判定をしたときアラームを発生する出力手段とを具備した、撮像カメラを利用者が利用する施設のアラーム出力用センサーとして用いる監視装置を提供する。
【発明の効果】
【０００９】
撮像カメラを多数の利用者が個人単位で利用する、プライバシーの保護を必要とする設備において、犯罪性をもつ、有責な行為や人的被害や物的被害などに対し、統合的かつ有効な監視が期待できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る監視装置の構成を示すブロック図。
【図２】上記実施形態に係る監視装置の動作概念を示す図。
【図３】上記実施形態に係る監視装置のより詳細な構成を示すブロック図。
【図４】上記実施形態に係る背景画像作成処理を説明するための図。
【図５】上記実施形態に係る背景画像作成処理を説明するための図。
【図６】上記実施形態に係る背景画像作成処理を説明するための図。
【図７】上記実施形態に係る監視装置の処理手順を示すフローチャート。
【図８】上記実施形態に係る監視装置の処理手順を示すフローチャート。
【図９】上記実施形態に係る挙動判定処理例を説明するための図。
【発明を実施するための形態】
【００１１】
以下図面を参照して本発明の実施形態を説明する。
【００１２】
本発明の実施形態に係る監視装置の全体構成を図１に示し、当該システムの動作概念を図２に示している。
【００１３】
上記実施形態に係る監視装置は、センサー型アラーム出力カメラを実現するもので、図１に示すように、人物を監視対象オブジェクトとして、当該監視対象オブジェクトの利用施設における利用エリアを撮影する単眼カメラ１１と、このカメラ１１で撮影したフレーム単位の画像をキャプチャするキャプチャ部１２と、このキャプチャ部１２でキャプチャした画像をもとに上記利用エリアに存在するオブジェクトの挙動（行動）を監視し、予め登録した特定の挙動パターンに該当する異常挙動の判定を行う画像処理部１３と、この画像処理部１３で異常挙動を判定したときアラームを出力するアラーム出力部１５とを具備して構成される。
【００１４】
カメラ１１は、不特定多数若しくは利用目的を特定した多数の利用者が個人単位で利用する施設の設備（例えばトイレットルーム、バスルーム、各種のサービスルーム等）において、当該利用設備の利用エリアを撮影可能に設置される。
【００１５】
画像処理部１３は、図２に示すように、カメラ１１からキャプチャ部１２を介して入力した画像をもとに、背景画像処理技術を用いて、上記利用エリアに入った人物（人体）を検知し、検知した人物の異常挙動（行動）を監視する。この異常挙動（異常行動）の監視は予め登録した挙動パターンの定義に従い実行するもので、図２に示す例では、挙動パターン１により定義された、人体に殆ど動きがない静止状態と、挙動パターン２により定義された、人体に殆ど動きがなく横たわっている（倒れている）横臥状態と、挙動パターン３により定義された、複数の人体を対象に、動きが速く激しい過激行動状態と、挙動パターン４により定義された、人体近辺での炎の検知による火焔検知状態とをそれぞれ登録したパターン毎に認識可能にしている。
【００１６】
この画像処理部１３における異常挙動の判定は背景画像処理技術を用いて実現されている。この実施形態では、カメラ１１で撮影した時系列の複数の画像から、変化画素を含む領域を抽出する動物体の検知機能（短期的な画面上の動きを検知する機能）に加え、この短期的な画面上の動き検知機能に対して、長時間に亘り静止している停止物（静止物）の検知機能（変動のない画素（背景）の変化を検知する機能）を実現している。
【００１７】
この実施形態では、動きの多い画像の画素は輝度値のバラツキ（分散）が大きく、動きのない画像の画素は輝度値のバラツキが小さく低輝度の狭い輝度範囲内に安定して収まっていることに着目し、入力した一定期間内の複数の画像を対象に、画素あたりの輝度分散値と標準偏差を算出し、この輝度分散値または標準偏差を閾値に利用して、輝度値の分散が大きいところの画素集合を動きの速さ（移動速度）に応じ段階的に区分して識別することにより、検出すべき動物体である人物の挙動（動き）の判定に利用している。
【００１８】
また上記閾値を利用して、輝度値の分散が大きいところの画素は棄て、低輝度の狭い輝度範囲内に安定して収まっている画素のみを背景画素と見做し抽出して画素集合による背景画像を作成している。ここでは、変動のない画素を背景画素と判断し、背景画素の輝度値を登録して背景画像を作成する。作成した背景画像と現在背景と思われる最新輝度との差分を実施し、背景変化画素の抽出を行う。抽出した背景変化画素は、動物体である人物の検知と同様に、領域化処理を実施し、追跡機能を利用して追跡を可能とする。必要に応じて本機能に必要な設定値は、外部パラメータにより変更可能とする。この検知機能により、停止物（静止状態と見做す人体）と動物体（動きがあると見做す人体）の区別を実施し、人物の挙動を監視することが可能となる。また、静止状態と見做す人体、および動きが速く激しい複数の人体の存在を認識し、その異常挙動を外部に通知することが可能となる。
【００１９】
この異常挙動の判定を行う画像処理部１３は、図３に示すように、画像バッファ１３１と、背景画像作成処理部１３２と、背景画像作成用バッファ１３３と、挙動判定用画素抽出処理部１３４と、領域化処理部１３５と、オブジェクトモデル登録部１３６と、オブジェクト検出処理部１３７と、追跡処理部１３８と、挙動パターン登録部１３９と、挙動判定処理部１４０とを具備して構成される。
【００２０】
画像バッファ１３１は、カメラ１１で撮影したフレーム単位の画像を一定時間毎に順次入力し、入力した現在画像と複数の過去画像とでなる一定期間内の複数の画像を現在画像が入力される毎に更新し記憶する。ここでは一例として３０フレーム分の画像（フレーム映像）をフレーム単位の画像入力の度に更新しながら記憶する。
【００２１】
背景画像作成処理部１３２は、上記画像バッファ１３１に記憶された一定期間内の複数の画像を対象に、差分処理を実施して前記利用エリアの背景画像を作成する処理機能を有している。背景画像作成処理部１３２は、カメラ１１で撮影した画像をキャプチャ部１２を介して順次入力し、入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、上記一定期間内の複数の画像の対応する画素を対象に、低輝度の一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像を作成する背景画像作成手段と、この背景画像作成手段が作成した背景画像と入力された現画像との画素毎の差分処理により背景変化画素を抽出し背景画像を更新する背景変化画素抽出手段とを具備して構成される。
【００２２】
この背景画像作成手段の処理機能と背景変化画素抽出手段の処理機能とにより、上記利用エリアに入った人物（人体）を検知し、検知した人物の挙動（行動）について、動きの緩やかな正常動態、動きが速く激しい異常動態、一定の時間内における動きが定量以内にある静止状態等に弁別し、これによって図２に示す登録された各種挙動パターンとの比較により、人体に動きがない静止状態、人体に殆ど動きがなく横たわっている（倒れている）横臥状態、複数の人体を対象に動きが速く激しい過激行動状態等をそれぞれ登録された挙動パターン毎に認識可能にしている。この背景画像作成処理部１３２の処理については図４乃至図６を参照して後述する。
【００２３】
背景画像作成用バッファ１３３は背景画像作成処理部１３２の背景画像作成処理に供される各種の記憶領域を提供する作業用のバッファであり、代表的な背景画像作成用のバッファ構造を図４に示している。
【００２４】
この背景画像作成用バッファ１３３には、図４に示すように、背景輝度総和（ΣＢｉ）を貯えるバッファ３２１、複数の背景画素の平均輝度である背景輝度（Ａｖｅ＿Ｂｉ）を貯えるバッファ３２２、３０画面分の画像の背景画像＝背景輝度（Ｂ０〜Ｂ２９）画素単位でを貯えるバッファ３２３、背景輝度バッファ番号（ＢｕｆＮｕｍ）を画素毎に貯えるバッファ３２４、背景輝度登録数（ＥｎｔｒｙＮｕｍ）を画素毎に貯えるバッファ３２５、背景輝度登録フレームカウンタ情報（ＥｎｔｒｙＦｒｍＣｔｒ）を画素毎に貯えるバッファ３２６等の各領域が設けられる。さらに、背景画像作成用バッファ１３２には、キャプチャ部１２から入力された１画面単位の画像データ（カラー）を貯える画像バッファメモリ、作成した背景画像を貯える背景画像バッファメモリ、背景画像作成用のデータを貯えるバッファの各領域を含む、入出力データ、演算途中の各種データ、内部パラメータ等を貯える領域、外部パラメータを貯える領域等が設けられる。この実施形態では複数枚の背景画素（平均輝度）の平均輝度を背景輝度として算出し利用するものとする（画素によって背景輝度の更新タイミングが異なるようになる）。この背景画像（平均輝度の平均）（Ａｖｅ＿Ｂｉ）と、背景輝度総和（ΣＢｉ）に加え、画素によって背景更新タイミングが異なることから、画素毎に背景輝度（Ｂ０〜２９）を作成するためのバッファ（３０枚）３２３と、背景輝度バッファ番号を貯えるバッファ３２４、背景輝度登録数（最大２９）を貯えるバッファ３２５、背景輝度登録フレームカウンタ情報（フレームカウント値）を貯えるバッファ３２６をそれぞれ準備する。背景輝度（Ｂ０〜２９）を作成するためのバッファ１５３には、背景画像作成処理部１４で抽出処理した低輝度の安定画素がバッファ番号、フレームカウンタ情報等の指定に従い１画素単位で登録され、画素集合による背景画像が生成される。
【００２５】
挙動判定用画素抽出処理部１３４は、背景画像作成処理部１３２で作成した、低輝度の安定画素の集合による背景画像を利用して停止物（静止状態にあると見做した画素の画素集合）の検知処理と、動物体（動きがあると見做した画素の画素集合）の検知処理とを実施する。
【００２６】
領域化処理部１３５は、挙動判定用画素抽出処理部１３４で処理した、静止状態にあると見做した画素の画素集合をもとに停止物の領域化処理を実施し、動きがあると見做した画素の画素集合をもとに動物体の領域化処理を実施する。この領域化処理部１３５は既知の技術（特許４４２７０５２）により実現可能であることから、ここでは、その説明を省略する。
【００２７】
オブジェクトモデル登録部１３６は、人物（人体）を監視対象オブジェクトとしたオブジェクト検出処理部１３７の処理に用いられるもので、このオブジェクトモデル登録部１３６には、上記カメラ１１で上記利用エリアを撮影した画面上で、上記利用施設における利用エリア内での人体像をオブジェクト領域（例えば矩形の領域）としてモデル化し、判定の許容範囲（許容する大きさ）を含めて予め登録される。例えば、監視対象オブジェクトとなる人物が利用する利用エリアにおいて、人体と見做す大きさの矩形の領域を横長と縦長で登録しておくことにより、横長のオブジェクトモデルを参照して利用エリア内における人体（監視対象オブジェクト）の横たわっている（倒れている）横臥状態を認識することが可能であり、縦長のオブジェクトモデルを参照して利用エリア内における人体（監視対象オブジェクト）の正常な利用状態（立位状態）を認識することが可能である。
【００２８】
オブジェクト検出処理部１３７は、背景画像作成処理部１３２が作成した背景画像と上記画像バッファ１３１に記憶した現在画像とをもとに上記オブジェクトモデル登録部１３６に登録されたオブジェクトモデルを用いて上記利用エリア内おける監視対象オブジェクトを個別に検出する処理機能を有している。この実施形態では、上記利用エリアにおいて、横臥状態にあるオブジェクトと、立位状態にある複数のオブジェクトとをそれぞれ監視対象オブジェクトとして検出する。
【００２９】
追跡処理部１３８は、オブジェクト検出処理部１３７が検出した各オブジェクトについて、その領域を追跡する追跡処理を実施する。この追跡処理部１３８は上記した領域化処理部１３５と同様に上記した既知の技術（特許４４２７０５２）により実現可能であることから、ここでは、その説明を省略する。
【００３０】
挙動パターン登録部１３９は、挙動判定処理部１４０の処理に用いられるもので、この挙動パターン登録部１３９には、上記利用エリア内の監視対象オブジェクトに対する特定の挙動を定義した単数若しくは複数の挙動パターンが登録される。この実施形態では、上記図２に示した監視判定用の複数の挙動パターン（挙動パターン１〜４）が予め登録される。この挙動パターンの登録データとして、例えばオブジェクトの状態遷移を示す上記画面上の位置情報と当該位置での時間情報がそれぞれ時系列にパラメータとして定義される。時間情報は入力映像のフレームを単位にフレーム数で与えることができる。
【００３１】
挙動判定処理部１４０は、オブジェクト検出処理部１３７が検出し、追跡処理部１３８が追跡しているオブジェクトについて、当該オブジェクトの挙動が上記挙動パターン登録部１３９に登録された挙動パターンに該当するか否かを判定する処理機能を有している。この処理手順については図７および図８に示すフローチャートと図９に示す挙動判定処理例を参照して後述する。
【００３２】
上記した背景画像作成処理部１３２の処理について図４乃至図６を参照して説明する。背景画像作成処理部１３２の機能ブロックを図５に示している。
【００３３】
背景画像作成処理部１３２は、図５に示すように、キャプチャ部１２から入力した画像を貯える画像バッファメモリ１３１と、標準偏差を用いた自動閾値算出機能をもつ変動画素抽出部３３２と、背景画素の更新処理を実施する背景画像更新部３３３と、背景画像更新部３３３の更新処理を制御する背景画像更新管理部３３４と、間隔の開いた背景画素をリフレッシュ処理する背景画像リフレッシュ部３３５と、背景画像作成用のデータを貯えるバッファ３３６と、作成した背景画像を貯える背景画像バッファメモリ３３１とを具備して構成される。
【００３４】
画像バッファメモリ１３１、背景画像作成用データバッファ３３６、背景画像バッファメモリ３３１等は図３に示す背景画像作成用バッファ１３３に置かれる。変動画素抽出部３３２には、低輝度の安定画素を抽出するための最低閾値（上下限値）、利用フレーム数等が外部パラメータとして入力される。
【００３５】
変動画素抽出部３３２は、画像バッファメモリ１３１から複数画面分の画像をリード（Ｒ）して、画素毎に、輝度平均、輝度分散、標準偏差の各値を算出する。背景画像更新管理部３３４は、現在フレームカウンタ情報に基づき、画素単位で、前回更新からの経過時間をチェックし、長時間にわたり更新されずに残っている画素について、背景画像リフレッシュ部３３５にリフレッシュを指示する。背景画像リフレッシュ部３３５はこの指示に従い、該当する背景画素をリフレッシュ処理する。一方、背景画像更新部３３３は、変動画素抽出部３３２から背景画素およびその輝度値と、輝度分散値若しくは標準偏差をリードし、当該背景画素（注目画素）の輝度分散値若しくは標準偏差が低輝度の安定画素であるか否かを判定し、低輝度の安定画素であると判定したとき、当該画素を背景画素と判定し、平均画像データを利用して、背景画像作成データの更新を実施し、更新処理した背景画像を背景画像バッファメモリ３３１に登録する。この背景画像バッファメモリ３３１への背景画像のバッファリングは、パラメータにより指定された間隔で実施される。
【００３６】
上記背景画像作成処理部１３２における動作概念を図６に示している。本出願人により実現された自動閾値設定技術（特開２００８−２５０８９２参照）は、入力した一定期間内の複数の画素を対象に、画素あたりの輝度平均値と標準偏差を算出し、算出した画素毎の標準偏差を変化画素を抽出するための、対応する画素の閾値に設定している。この自動閾値は、輝度の変動の大きい画素において高い閾値を自動的に設定し、変動の小さい画素＝背景と思われる画素においては、低く安定した閾値を設定する。
【００３７】
この特性を利用し、自動閾値が低い状態＝背景の変動がない＝背景画素と判断し、そのときの平均輝度を背景輝度として利用し、その集合にて平均画像を作成し、背景画像とする。そして、最新の登録背景輝度と現在の背景画像との差分処理を実施し、背景変化画素を抽出することを基本とする。この考え方により、動きのある画像中でも機能し、動物体検知している場所と同じ場所での停止物を高い認識率で認識可能にしている。
【００３８】
一方、輝度の変動時間が長い画素は、背景画素として判定された状態から更新されない期間が長い状態となり、現状との乖離が発生している可能性が考えられるため、その場合は、背景画像をリフレッシュする機能を具備する。なお、図６において、符号Ｔａは最低閾値、ＳＡは最低閾値（Ｔａ）以下の低輝度安定範囲である。
【００３９】
背景画像作成処理部１３２は、注目画素が最低閾値（Ｔａ）以下の低輝度安定範囲（ＳＡ）にあるか否かを判定し、最低閾値（Ｔａ）以下であるときに、背景画素の更新処理を実施する。
【００４０】
上記図１乃至図５に示した監視装置における画像処理部１３に設けられた挙動判定処理部１４０の処理手順の一例を図７および図８に示している。
【００４１】
カメラ１１は、人物を監視対象オブジェクトとして、当該監視対象オブジェクトの利用施設における利用エリアを撮影し、キャプチャ部１２はカメラ１１が撮影した画像（映像）をキャプチャし、フレーム単位で画像処理部１３に受け渡す。
【００４２】
画像処理部１３において、画像バッファ１３１は、カメラ１１で撮影したフレーム単位の画像を一定時間毎に順次入力し、入力した現在画像と複数の過去画像とでなる一定期間内の複数の画像（３０フレーム分の映像）を現在画像が入力される毎に更新し記憶する。
【００４３】
背景画像作成処理部１３２は、カメラ１１で撮影され、キャプチャ部１２を介して画像バッファ１３１に入力された画像（フレーム単位の映像）に対し、二値化変換（グレースケール変換）、ノイズ除去等、予め定められた前処理を行った後、背景画像作成用バッファ１３３を用いて、入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、上記一定期間内の複数の画像の対応する画素を対象に、低輝度の一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像を作成し、作成した背景画像と入力された現画像との画素毎の差分処理により背景変化画素を抽出し背景画像を更新する（ステップＡ１１〜Ａ１５）。
【００４４】
挙動判定用画素抽出処理部１３４は、背景画像作成処理部１３２で作成した背景画像をもとに、低輝度の安定画素の集合による背景画像を利用して停止物（静止状態と見做した画素の画素集合）の検知処理と、動物体（動きがあると見做した画素の画素集合）の検知処理とを実施し、領域化処理部１３５は静止状態と見做した画素の画素集合をもとに停止物の領域化処理を実施し、動きがあると見做した画素の画素集合をもとに動物体の領域化処理を実施し、オブジェクト検出処理部１３７はオブジェクトモデル登録部１３６に登録されたオブジェクトモデルを用いて上記利用エリア内おける監視対象オブジェクトを個別に検出し、単数または複数の監視対象オブジェクトが上記利用エリアに入ったことを検知する（ステップＡ１６〜Ａ１８）。
【００４５】
監視対象オブジェクトが上記利用エリアに入ったことが検知されると、挙動判定処理部１４０は、監視対象オブジェクトが単数（一人）であるか複数（二人以上）であるかを認識し、監視対象オブジェクトが単数（一人）であるときは、当該オブジェクトが存在する画面上の位置、および設定時間（Ｔａ）単位の動きを認識し、挙動パターン登録部１３９に登録された挙動パターンを参照して、当該オブジェクトが静止状態にあるか、動きの緩やかな正常動態にあるかを判定する（ステップＡ１９〜Ａ２０）。
【００４６】
ここで、上記オブジェクトが正常動態にあると判定した場合は、今回の入力映像に対する監視処理を終了する。また、上記オブジェクトが静止状態にあると判定した場合は、この状態を異常挙動の発生と捉え、アラーム出力部１５にその旨の出力指示を行う（ステップＡ２１）。
【００４７】
これにより、アラーム出力部１５が動作し、カメラ１１が監視している利用施設の利用エリアにおいて異常挙動が発生した旨を外部に報知する。
【００４８】
さらに挙動判定処理部１４０は上記静止状態にあるオブジェクトが横臥（倒れている）状態にあるか否かを判断し（ステップＡ２２）、横臥態にあるとき、この状態を重度の異常挙動の発生と捉え、アラーム出力部１５にその旨の出力指示を行う（ステップＡ２３）。
【００４９】
これにより、アラーム出力部１５が動作し、カメラ１１が監視している利用施設の利用エリアにおいて重度の異常挙動が発生した旨を外部に報知する。
【００５０】
また、監視対象オブジェクトが複数（二人以上）であるとき、挙動パターン登録部１３９に登録された挙動パターンを参照して、当該オブジェクトがそれぞれ動きの緩やかな正常動態にあるか、動きが速く激しい異常動態にあるかを判定する（ステップＡ３１〜Ａ３４）。
【００５１】
ここで、上記オブジェクトが正常動態にあると判定した場合は、今回の入力映像に対する監視処理を終了する。また、上記オブジェクトがん異常動態にあると判定した場合は、この状態を暴行行為等の異常挙動の発生と捉え、アラーム出力部１５にその旨の出力指示を行う（ステップＡ３５）。
【００５２】
これにより、アラーム出力部１５が動作し、カメラ１１が監視している利用施設の利用エリアにおいて過激な異常挙動が発生した旨を外部に報知する。
【００５３】
この暴行行為等の異常挙動の発生に伴う映像フレームのフレーム間特徴例を図９に示している。ここでは、監視対象オブジェクトにおける正常挙動、異常挙動、異常サンプルの各画素変動状態を、縦軸を変動画素の割合、横軸を時間（秒）で示している。
【００５４】
挙動判定処理部１４０は上記した図７に示す監視処理に加えて、図８に示す監視処理を実行する。
【００５５】
この処理では、上記した図７に示す処理と同様に、背景画像作成処理部１３２による背景画像の作成処理、挙動判定用画素抽出処理部１３４による静止状態と見做した画素の画素集合と動きがあると見做した画素の画素集合との検知処理、領域化処理部１３５による領域化処理、オブジェクト検出処理部１３７による監視対象オブジェクトの検出処理（ステップＢ１１〜Ｂ１７）を経て、監視対象オブジェクトの周辺画像を取得し、挙動パターン登録部１３９に登録された着火動作の挙動パターンを参照して、着火動作の挙動状態にあるか否かを判定し、着火動作の挙動状態にあるとき、この状態を火気を伴う異常挙動の発生と捉え、アラーム出力部１５にその旨の出力指示を行う（ステップＢ１８〜Ｂ２０）。
【００５６】
これにより、アラーム出力部１５が動作し、カメラ１１が監視している利用施設の利用エリアが火気厳禁である旨を当該利用エリアを使用している監視対象オブジェクト（利用者）に報知する。
【００５７】
さらに、挙動判定処理部１４０は、上記監視対象オブジェクトの周辺画像をＲＧＢカラー画像で取得し、挙動パターン登録部１３９に登録された着火動作の挙動パターンを参照して、火焔状態が設定時間、継続して発生しているか否かを判定し、火焔状態が継続しているとき、この状態を火焔を伴う異常挙動の発生と捉え、アラーム出力部１５にその旨の出力指示を行う（ステップＢ２１〜Ｂ２６）。
【００５８】
この指示に従いアラーム出力部１５が動作し、カメラ１１が監視している利用施設の利用エリアが火焔状態にある旨を外部に報知する。
【００５９】
このようにして、画像処理部１３に設けられた挙動判定処理部１４０は、オブジェクト検出処理部１３７が検出し、追跡処理部１３８が追跡しているオブジェクトについて、当該オブジェクトの挙動が上記挙動パターン登録部１３９に登録された挙動パターンに該当するか否かを判定する処理を実行し、異常挙動状態を検知して、その旨をアラーム出力部１５を介して外部に報知する。
【００６０】
上記した実施形態によれば、多数の利用者が個人単位で利用する設備を監視する挙動監視装置において、犯罪性をもつ、有責な行為や人的被害や物的被害などに対して、人感センサー、照度センサー、モーションセンサー、振動感知センサー等、各種の防犯センサーを用いることなく、単眼カメラをアラーム出力用センサーとして用いた経済的に有利な構成で、統合的かつ有効な監視が期待できる。
【００６１】
上記した実施形態において、背景画像作成処理部１３２、挙動判定用画素抽出処理部１３４、領域化処理部１３５、オブジェクト検出処理部１３７、追跡処理部１３８、および挙動判定処理部１４０はそれぞれソフトウェアモジュールにより実現可能である。
【００６２】
また、上記した実施形態においては、カメラ１１を、不特定多数若しくは利用目的を特定した多数の利用者が個人単位で利用する施設のトイレットルーム、バスルーム、各種のサービスルーム等の設備において当該利用設備の利用エリアを撮影し、画像処理部１３は、人体に殆ど動きがない静止状態と、人体に殆ど動きがなく横たわっている（倒れている）横臥状態と、複数の人体を対象に、動きが速く激しい過激行動状態と、人体近辺での炎の検知による火焔検知状態とをそれぞれ登録したパターン毎に認識可能としていたが、これに限らず、例えば、昼間および夜間において、特定の施設における器物の監視、動物体の侵入監視や、交通監視等、監視を必要とする各種の施設、設備に適用可能である。
【符号の説明】
【００６３】
１１…カメラ（単眼カメラ）、１２…キャプチャ部、１３…画像処理部、１５…アラーム出力部、１６…、１７…、１８…、１９…、１３１…画像バッファ、１３２…背景画像作成処理部、１３３…背景画像作成用バッファ、１３４…挙動判定用画素抽出処理部、１３５…領域化処理部、１３６…オブジェクトモデル登録部、１３７…オブジェクト検出処理部、１３８…追跡処理部、１３９…挙動パターン登録部、１４０…挙動判定処理部。
【技術分野】
【０００１】
本発明は、単眼の撮像カメラで撮影した画像をもとに監視対象オブジェクトの挙動を監視する、撮像カメラを利用者が個人単位で利用する施設のアラーム出力用センサーとして用いた監視装置および挙動監視用プログラムに関する。
【背景技術】
【０００２】
不特定多数若しくは利用目的を特定した多数の利用者が個人単位で利用する施設の設備（例えばトイレットルーム、バスルーム、各種のサービスルーム等）において、同設備における利用者の挙動監視は、個人情報保護の面から各種の制約を受け、例えば監視カメラの映像出力に対してはプライバシー保護の観点から厳しい規制並びに制約が求められる。このため、上記した各種設備の挙動監視にあたっては、撮像用の監視カメラに代わり、人感センサー、照度センサー、モーションセンサー、振動感知センサー等、各種の防犯センサーを用いた監視システムが広く適用されている。
【０００３】
しかしながら、この種、防犯センサーを用いた監視システムにおいては、例えば、犯罪性をもつ、有責な行為（例えば暴力行為）や人的被害（例えば殺傷被害）や物的被害（物損被害）などに対して、統合的かつ有効な監視が期待できないという問題があった。
【０００４】
撮像カメラを用いた挙動監視システムとして、従来では、アラームの発生機能に特徴をもつカメラシステムが存在した。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１９９３９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したように、多数の利用者が個人単位で利用する、プライバシーの保護を必要とする設備において、従来では、犯罪性をもつ、有責な行為や人的被害や物的被害などに対して、統合的かつ有効な監視が期待できないという問題があった。
【０００７】
本発明の実施形態は、多数の利用者が個人単位で利用するプライバシーの保護を必要とする設備において、犯罪性をもつ、有責な行為や人的被害や物的被害などに対して、統合的かつ有効な監視が期待できる監視装置および挙動監視用プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、撮像カメラを利用者が利用する施設のアラーム出力用センサーとして用いる監視装置であって、前記カメラから入力した時系列の複数のフレーム画像をもとにフレーム間差分処理画像を取得し、当該差分処理画像が予め登録された挙動パターンに該当するか否かを判定する処理手段と、前記処理手段により前記差分処理画像が前記挙動パターンに該当する判定をしたときアラームを発生する出力手段とを具備した、撮像カメラを利用者が利用する施設のアラーム出力用センサーとして用いる監視装置を提供する。
【発明の効果】
【０００９】
撮像カメラを多数の利用者が個人単位で利用する、プライバシーの保護を必要とする設備において、犯罪性をもつ、有責な行為や人的被害や物的被害などに対し、統合的かつ有効な監視が期待できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る監視装置の構成を示すブロック図。
【図２】上記実施形態に係る監視装置の動作概念を示す図。
【図３】上記実施形態に係る監視装置のより詳細な構成を示すブロック図。
【図４】上記実施形態に係る背景画像作成処理を説明するための図。
【図５】上記実施形態に係る背景画像作成処理を説明するための図。
【図６】上記実施形態に係る背景画像作成処理を説明するための図。
【図７】上記実施形態に係る監視装置の処理手順を示すフローチャート。
【図８】上記実施形態に係る監視装置の処理手順を示すフローチャート。
【図９】上記実施形態に係る挙動判定処理例を説明するための図。
【発明を実施するための形態】
【００１１】
以下図面を参照して本発明の実施形態を説明する。
【００１２】
本発明の実施形態に係る監視装置の全体構成を図１に示し、当該システムの動作概念を図２に示している。
【００１３】
上記実施形態に係る監視装置は、センサー型アラーム出力カメラを実現するもので、図１に示すように、人物を監視対象オブジェクトとして、当該監視対象オブジェクトの利用施設における利用エリアを撮影する単眼カメラ１１と、このカメラ１１で撮影したフレーム単位の画像をキャプチャするキャプチャ部１２と、このキャプチャ部１２でキャプチャした画像をもとに上記利用エリアに存在するオブジェクトの挙動（行動）を監視し、予め登録した特定の挙動パターンに該当する異常挙動の判定を行う画像処理部１３と、この画像処理部１３で異常挙動を判定したときアラームを出力するアラーム出力部１５とを具備して構成される。
【００１４】
カメラ１１は、不特定多数若しくは利用目的を特定した多数の利用者が個人単位で利用する施設の設備（例えばトイレットルーム、バスルーム、各種のサービスルーム等）において、当該利用設備の利用エリアを撮影可能に設置される。
【００１５】
画像処理部１３は、図２に示すように、カメラ１１からキャプチャ部１２を介して入力した画像をもとに、背景画像処理技術を用いて、上記利用エリアに入った人物（人体）を検知し、検知した人物の異常挙動（行動）を監視する。この異常挙動（異常行動）の監視は予め登録した挙動パターンの定義に従い実行するもので、図２に示す例では、挙動パターン１により定義された、人体に殆ど動きがない静止状態と、挙動パターン２により定義された、人体に殆ど動きがなく横たわっている（倒れている）横臥状態と、挙動パターン３により定義された、複数の人体を対象に、動きが速く激しい過激行動状態と、挙動パターン４により定義された、人体近辺での炎の検知による火焔検知状態とをそれぞれ登録したパターン毎に認識可能にしている。
【００１６】
この画像処理部１３における異常挙動の判定は背景画像処理技術を用いて実現されている。この実施形態では、カメラ１１で撮影した時系列の複数の画像から、変化画素を含む領域を抽出する動物体の検知機能（短期的な画面上の動きを検知する機能）に加え、この短期的な画面上の動き検知機能に対して、長時間に亘り静止している停止物（静止物）の検知機能（変動のない画素（背景）の変化を検知する機能）を実現している。
【００１７】
この実施形態では、動きの多い画像の画素は輝度値のバラツキ（分散）が大きく、動きのない画像の画素は輝度値のバラツキが小さく低輝度の狭い輝度範囲内に安定して収まっていることに着目し、入力した一定期間内の複数の画像を対象に、画素あたりの輝度分散値と標準偏差を算出し、この輝度分散値または標準偏差を閾値に利用して、輝度値の分散が大きいところの画素集合を動きの速さ（移動速度）に応じ段階的に区分して識別することにより、検出すべき動物体である人物の挙動（動き）の判定に利用している。
【００１８】
また上記閾値を利用して、輝度値の分散が大きいところの画素は棄て、低輝度の狭い輝度範囲内に安定して収まっている画素のみを背景画素と見做し抽出して画素集合による背景画像を作成している。ここでは、変動のない画素を背景画素と判断し、背景画素の輝度値を登録して背景画像を作成する。作成した背景画像と現在背景と思われる最新輝度との差分を実施し、背景変化画素の抽出を行う。抽出した背景変化画素は、動物体である人物の検知と同様に、領域化処理を実施し、追跡機能を利用して追跡を可能とする。必要に応じて本機能に必要な設定値は、外部パラメータにより変更可能とする。この検知機能により、停止物（静止状態と見做す人体）と動物体（動きがあると見做す人体）の区別を実施し、人物の挙動を監視することが可能となる。また、静止状態と見做す人体、および動きが速く激しい複数の人体の存在を認識し、その異常挙動を外部に通知することが可能となる。
【００１９】
この異常挙動の判定を行う画像処理部１３は、図３に示すように、画像バッファ１３１と、背景画像作成処理部１３２と、背景画像作成用バッファ１３３と、挙動判定用画素抽出処理部１３４と、領域化処理部１３５と、オブジェクトモデル登録部１３６と、オブジェクト検出処理部１３７と、追跡処理部１３８と、挙動パターン登録部１３９と、挙動判定処理部１４０とを具備して構成される。
【００２０】
画像バッファ１３１は、カメラ１１で撮影したフレーム単位の画像を一定時間毎に順次入力し、入力した現在画像と複数の過去画像とでなる一定期間内の複数の画像を現在画像が入力される毎に更新し記憶する。ここでは一例として３０フレーム分の画像（フレーム映像）をフレーム単位の画像入力の度に更新しながら記憶する。
【００２１】
背景画像作成処理部１３２は、上記画像バッファ１３１に記憶された一定期間内の複数の画像を対象に、差分処理を実施して前記利用エリアの背景画像を作成する処理機能を有している。背景画像作成処理部１３２は、カメラ１１で撮影した画像をキャプチャ部１２を介して順次入力し、入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、上記一定期間内の複数の画像の対応する画素を対象に、低輝度の一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像を作成する背景画像作成手段と、この背景画像作成手段が作成した背景画像と入力された現画像との画素毎の差分処理により背景変化画素を抽出し背景画像を更新する背景変化画素抽出手段とを具備して構成される。
【００２２】
この背景画像作成手段の処理機能と背景変化画素抽出手段の処理機能とにより、上記利用エリアに入った人物（人体）を検知し、検知した人物の挙動（行動）について、動きの緩やかな正常動態、動きが速く激しい異常動態、一定の時間内における動きが定量以内にある静止状態等に弁別し、これによって図２に示す登録された各種挙動パターンとの比較により、人体に動きがない静止状態、人体に殆ど動きがなく横たわっている（倒れている）横臥状態、複数の人体を対象に動きが速く激しい過激行動状態等をそれぞれ登録された挙動パターン毎に認識可能にしている。この背景画像作成処理部１３２の処理については図４乃至図６を参照して後述する。
【００２３】
背景画像作成用バッファ１３３は背景画像作成処理部１３２の背景画像作成処理に供される各種の記憶領域を提供する作業用のバッファであり、代表的な背景画像作成用のバッファ構造を図４に示している。
【００２４】
この背景画像作成用バッファ１３３には、図４に示すように、背景輝度総和（ΣＢｉ）を貯えるバッファ３２１、複数の背景画素の平均輝度である背景輝度（Ａｖｅ＿Ｂｉ）を貯えるバッファ３２２、３０画面分の画像の背景画像＝背景輝度（Ｂ０〜Ｂ２９）画素単位でを貯えるバッファ３２３、背景輝度バッファ番号（ＢｕｆＮｕｍ）を画素毎に貯えるバッファ３２４、背景輝度登録数（ＥｎｔｒｙＮｕｍ）を画素毎に貯えるバッファ３２５、背景輝度登録フレームカウンタ情報（ＥｎｔｒｙＦｒｍＣｔｒ）を画素毎に貯えるバッファ３２６等の各領域が設けられる。さらに、背景画像作成用バッファ１３２には、キャプチャ部１２から入力された１画面単位の画像データ（カラー）を貯える画像バッファメモリ、作成した背景画像を貯える背景画像バッファメモリ、背景画像作成用のデータを貯えるバッファの各領域を含む、入出力データ、演算途中の各種データ、内部パラメータ等を貯える領域、外部パラメータを貯える領域等が設けられる。この実施形態では複数枚の背景画素（平均輝度）の平均輝度を背景輝度として算出し利用するものとする（画素によって背景輝度の更新タイミングが異なるようになる）。この背景画像（平均輝度の平均）（Ａｖｅ＿Ｂｉ）と、背景輝度総和（ΣＢｉ）に加え、画素によって背景更新タイミングが異なることから、画素毎に背景輝度（Ｂ０〜２９）を作成するためのバッファ（３０枚）３２３と、背景輝度バッファ番号を貯えるバッファ３２４、背景輝度登録数（最大２９）を貯えるバッファ３２５、背景輝度登録フレームカウンタ情報（フレームカウント値）を貯えるバッファ３２６をそれぞれ準備する。背景輝度（Ｂ０〜２９）を作成するためのバッファ１５３には、背景画像作成処理部１４で抽出処理した低輝度の安定画素がバッファ番号、フレームカウンタ情報等の指定に従い１画素単位で登録され、画素集合による背景画像が生成される。
【００２５】
挙動判定用画素抽出処理部１３４は、背景画像作成処理部１３２で作成した、低輝度の安定画素の集合による背景画像を利用して停止物（静止状態にあると見做した画素の画素集合）の検知処理と、動物体（動きがあると見做した画素の画素集合）の検知処理とを実施する。
【００２６】
領域化処理部１３５は、挙動判定用画素抽出処理部１３４で処理した、静止状態にあると見做した画素の画素集合をもとに停止物の領域化処理を実施し、動きがあると見做した画素の画素集合をもとに動物体の領域化処理を実施する。この領域化処理部１３５は既知の技術（特許４４２７０５２）により実現可能であることから、ここでは、その説明を省略する。
【００２７】
オブジェクトモデル登録部１３６は、人物（人体）を監視対象オブジェクトとしたオブジェクト検出処理部１３７の処理に用いられるもので、このオブジェクトモデル登録部１３６には、上記カメラ１１で上記利用エリアを撮影した画面上で、上記利用施設における利用エリア内での人体像をオブジェクト領域（例えば矩形の領域）としてモデル化し、判定の許容範囲（許容する大きさ）を含めて予め登録される。例えば、監視対象オブジェクトとなる人物が利用する利用エリアにおいて、人体と見做す大きさの矩形の領域を横長と縦長で登録しておくことにより、横長のオブジェクトモデルを参照して利用エリア内における人体（監視対象オブジェクト）の横たわっている（倒れている）横臥状態を認識することが可能であり、縦長のオブジェクトモデルを参照して利用エリア内における人体（監視対象オブジェクト）の正常な利用状態（立位状態）を認識することが可能である。
【００２８】
オブジェクト検出処理部１３７は、背景画像作成処理部１３２が作成した背景画像と上記画像バッファ１３１に記憶した現在画像とをもとに上記オブジェクトモデル登録部１３６に登録されたオブジェクトモデルを用いて上記利用エリア内おける監視対象オブジェクトを個別に検出する処理機能を有している。この実施形態では、上記利用エリアにおいて、横臥状態にあるオブジェクトと、立位状態にある複数のオブジェクトとをそれぞれ監視対象オブジェクトとして検出する。
【００２９】
追跡処理部１３８は、オブジェクト検出処理部１３７が検出した各オブジェクトについて、その領域を追跡する追跡処理を実施する。この追跡処理部１３８は上記した領域化処理部１３５と同様に上記した既知の技術（特許４４２７０５２）により実現可能であることから、ここでは、その説明を省略する。
【００３０】
挙動パターン登録部１３９は、挙動判定処理部１４０の処理に用いられるもので、この挙動パターン登録部１３９には、上記利用エリア内の監視対象オブジェクトに対する特定の挙動を定義した単数若しくは複数の挙動パターンが登録される。この実施形態では、上記図２に示した監視判定用の複数の挙動パターン（挙動パターン１〜４）が予め登録される。この挙動パターンの登録データとして、例えばオブジェクトの状態遷移を示す上記画面上の位置情報と当該位置での時間情報がそれぞれ時系列にパラメータとして定義される。時間情報は入力映像のフレームを単位にフレーム数で与えることができる。
【００３１】
挙動判定処理部１４０は、オブジェクト検出処理部１３７が検出し、追跡処理部１３８が追跡しているオブジェクトについて、当該オブジェクトの挙動が上記挙動パターン登録部１３９に登録された挙動パターンに該当するか否かを判定する処理機能を有している。この処理手順については図７および図８に示すフローチャートと図９に示す挙動判定処理例を参照して後述する。
【００３２】
上記した背景画像作成処理部１３２の処理について図４乃至図６を参照して説明する。背景画像作成処理部１３２の機能ブロックを図５に示している。
【００３３】
背景画像作成処理部１３２は、図５に示すように、キャプチャ部１２から入力した画像を貯える画像バッファメモリ１３１と、標準偏差を用いた自動閾値算出機能をもつ変動画素抽出部３３２と、背景画素の更新処理を実施する背景画像更新部３３３と、背景画像更新部３３３の更新処理を制御する背景画像更新管理部３３４と、間隔の開いた背景画素をリフレッシュ処理する背景画像リフレッシュ部３３５と、背景画像作成用のデータを貯えるバッファ３３６と、作成した背景画像を貯える背景画像バッファメモリ３３１とを具備して構成される。
【００３４】
画像バッファメモリ１３１、背景画像作成用データバッファ３３６、背景画像バッファメモリ３３１等は図３に示す背景画像作成用バッファ１３３に置かれる。変動画素抽出部３３２には、低輝度の安定画素を抽出するための最低閾値（上下限値）、利用フレーム数等が外部パラメータとして入力される。
【００３５】
変動画素抽出部３３２は、画像バッファメモリ１３１から複数画面分の画像をリード（Ｒ）して、画素毎に、輝度平均、輝度分散、標準偏差の各値を算出する。背景画像更新管理部３３４は、現在フレームカウンタ情報に基づき、画素単位で、前回更新からの経過時間をチェックし、長時間にわたり更新されずに残っている画素について、背景画像リフレッシュ部３３５にリフレッシュを指示する。背景画像リフレッシュ部３３５はこの指示に従い、該当する背景画素をリフレッシュ処理する。一方、背景画像更新部３３３は、変動画素抽出部３３２から背景画素およびその輝度値と、輝度分散値若しくは標準偏差をリードし、当該背景画素（注目画素）の輝度分散値若しくは標準偏差が低輝度の安定画素であるか否かを判定し、低輝度の安定画素であると判定したとき、当該画素を背景画素と判定し、平均画像データを利用して、背景画像作成データの更新を実施し、更新処理した背景画像を背景画像バッファメモリ３３１に登録する。この背景画像バッファメモリ３３１への背景画像のバッファリングは、パラメータにより指定された間隔で実施される。
【００３６】
上記背景画像作成処理部１３２における動作概念を図６に示している。本出願人により実現された自動閾値設定技術（特開２００８−２５０８９２参照）は、入力した一定期間内の複数の画素を対象に、画素あたりの輝度平均値と標準偏差を算出し、算出した画素毎の標準偏差を変化画素を抽出するための、対応する画素の閾値に設定している。この自動閾値は、輝度の変動の大きい画素において高い閾値を自動的に設定し、変動の小さい画素＝背景と思われる画素においては、低く安定した閾値を設定する。
【００３７】
この特性を利用し、自動閾値が低い状態＝背景の変動がない＝背景画素と判断し、そのときの平均輝度を背景輝度として利用し、その集合にて平均画像を作成し、背景画像とする。そして、最新の登録背景輝度と現在の背景画像との差分処理を実施し、背景変化画素を抽出することを基本とする。この考え方により、動きのある画像中でも機能し、動物体検知している場所と同じ場所での停止物を高い認識率で認識可能にしている。
【００３８】
一方、輝度の変動時間が長い画素は、背景画素として判定された状態から更新されない期間が長い状態となり、現状との乖離が発生している可能性が考えられるため、その場合は、背景画像をリフレッシュする機能を具備する。なお、図６において、符号Ｔａは最低閾値、ＳＡは最低閾値（Ｔａ）以下の低輝度安定範囲である。
【００３９】
背景画像作成処理部１３２は、注目画素が最低閾値（Ｔａ）以下の低輝度安定範囲（ＳＡ）にあるか否かを判定し、最低閾値（Ｔａ）以下であるときに、背景画素の更新処理を実施する。
【００４０】
上記図１乃至図５に示した監視装置における画像処理部１３に設けられた挙動判定処理部１４０の処理手順の一例を図７および図８に示している。
【００４１】
カメラ１１は、人物を監視対象オブジェクトとして、当該監視対象オブジェクトの利用施設における利用エリアを撮影し、キャプチャ部１２はカメラ１１が撮影した画像（映像）をキャプチャし、フレーム単位で画像処理部１３に受け渡す。
【００４２】
画像処理部１３において、画像バッファ１３１は、カメラ１１で撮影したフレーム単位の画像を一定時間毎に順次入力し、入力した現在画像と複数の過去画像とでなる一定期間内の複数の画像（３０フレーム分の映像）を現在画像が入力される毎に更新し記憶する。
【００４３】
背景画像作成処理部１３２は、カメラ１１で撮影され、キャプチャ部１２を介して画像バッファ１３１に入力された画像（フレーム単位の映像）に対し、二値化変換（グレースケール変換）、ノイズ除去等、予め定められた前処理を行った後、背景画像作成用バッファ１３３を用いて、入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、上記一定期間内の複数の画像の対応する画素を対象に、低輝度の一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像を作成し、作成した背景画像と入力された現画像との画素毎の差分処理により背景変化画素を抽出し背景画像を更新する（ステップＡ１１〜Ａ１５）。
【００４４】
挙動判定用画素抽出処理部１３４は、背景画像作成処理部１３２で作成した背景画像をもとに、低輝度の安定画素の集合による背景画像を利用して停止物（静止状態と見做した画素の画素集合）の検知処理と、動物体（動きがあると見做した画素の画素集合）の検知処理とを実施し、領域化処理部１３５は静止状態と見做した画素の画素集合をもとに停止物の領域化処理を実施し、動きがあると見做した画素の画素集合をもとに動物体の領域化処理を実施し、オブジェクト検出処理部１３７はオブジェクトモデル登録部１３６に登録されたオブジェクトモデルを用いて上記利用エリア内おける監視対象オブジェクトを個別に検出し、単数または複数の監視対象オブジェクトが上記利用エリアに入ったことを検知する（ステップＡ１６〜Ａ１８）。
【００４５】
監視対象オブジェクトが上記利用エリアに入ったことが検知されると、挙動判定処理部１４０は、監視対象オブジェクトが単数（一人）であるか複数（二人以上）であるかを認識し、監視対象オブジェクトが単数（一人）であるときは、当該オブジェクトが存在する画面上の位置、および設定時間（Ｔａ）単位の動きを認識し、挙動パターン登録部１３９に登録された挙動パターンを参照して、当該オブジェクトが静止状態にあるか、動きの緩やかな正常動態にあるかを判定する（ステップＡ１９〜Ａ２０）。
【００４６】
ここで、上記オブジェクトが正常動態にあると判定した場合は、今回の入力映像に対する監視処理を終了する。また、上記オブジェクトが静止状態にあると判定した場合は、この状態を異常挙動の発生と捉え、アラーム出力部１５にその旨の出力指示を行う（ステップＡ２１）。
【００４７】
これにより、アラーム出力部１５が動作し、カメラ１１が監視している利用施設の利用エリアにおいて異常挙動が発生した旨を外部に報知する。
【００４８】
さらに挙動判定処理部１４０は上記静止状態にあるオブジェクトが横臥（倒れている）状態にあるか否かを判断し（ステップＡ２２）、横臥態にあるとき、この状態を重度の異常挙動の発生と捉え、アラーム出力部１５にその旨の出力指示を行う（ステップＡ２３）。
【００４９】
これにより、アラーム出力部１５が動作し、カメラ１１が監視している利用施設の利用エリアにおいて重度の異常挙動が発生した旨を外部に報知する。
【００５０】
また、監視対象オブジェクトが複数（二人以上）であるとき、挙動パターン登録部１３９に登録された挙動パターンを参照して、当該オブジェクトがそれぞれ動きの緩やかな正常動態にあるか、動きが速く激しい異常動態にあるかを判定する（ステップＡ３１〜Ａ３４）。
【００５１】
ここで、上記オブジェクトが正常動態にあると判定した場合は、今回の入力映像に対する監視処理を終了する。また、上記オブジェクトがん異常動態にあると判定した場合は、この状態を暴行行為等の異常挙動の発生と捉え、アラーム出力部１５にその旨の出力指示を行う（ステップＡ３５）。
【００５２】
これにより、アラーム出力部１５が動作し、カメラ１１が監視している利用施設の利用エリアにおいて過激な異常挙動が発生した旨を外部に報知する。
【００５３】
この暴行行為等の異常挙動の発生に伴う映像フレームのフレーム間特徴例を図９に示している。ここでは、監視対象オブジェクトにおける正常挙動、異常挙動、異常サンプルの各画素変動状態を、縦軸を変動画素の割合、横軸を時間（秒）で示している。
【００５４】
挙動判定処理部１４０は上記した図７に示す監視処理に加えて、図８に示す監視処理を実行する。
【００５５】
この処理では、上記した図７に示す処理と同様に、背景画像作成処理部１３２による背景画像の作成処理、挙動判定用画素抽出処理部１３４による静止状態と見做した画素の画素集合と動きがあると見做した画素の画素集合との検知処理、領域化処理部１３５による領域化処理、オブジェクト検出処理部１３７による監視対象オブジェクトの検出処理（ステップＢ１１〜Ｂ１７）を経て、監視対象オブジェクトの周辺画像を取得し、挙動パターン登録部１３９に登録された着火動作の挙動パターンを参照して、着火動作の挙動状態にあるか否かを判定し、着火動作の挙動状態にあるとき、この状態を火気を伴う異常挙動の発生と捉え、アラーム出力部１５にその旨の出力指示を行う（ステップＢ１８〜Ｂ２０）。
【００５６】
これにより、アラーム出力部１５が動作し、カメラ１１が監視している利用施設の利用エリアが火気厳禁である旨を当該利用エリアを使用している監視対象オブジェクト（利用者）に報知する。
【００５７】
さらに、挙動判定処理部１４０は、上記監視対象オブジェクトの周辺画像をＲＧＢカラー画像で取得し、挙動パターン登録部１３９に登録された着火動作の挙動パターンを参照して、火焔状態が設定時間、継続して発生しているか否かを判定し、火焔状態が継続しているとき、この状態を火焔を伴う異常挙動の発生と捉え、アラーム出力部１５にその旨の出力指示を行う（ステップＢ２１〜Ｂ２６）。
【００５８】
この指示に従いアラーム出力部１５が動作し、カメラ１１が監視している利用施設の利用エリアが火焔状態にある旨を外部に報知する。
【００５９】
このようにして、画像処理部１３に設けられた挙動判定処理部１４０は、オブジェクト検出処理部１３７が検出し、追跡処理部１３８が追跡しているオブジェクトについて、当該オブジェクトの挙動が上記挙動パターン登録部１３９に登録された挙動パターンに該当するか否かを判定する処理を実行し、異常挙動状態を検知して、その旨をアラーム出力部１５を介して外部に報知する。
【００６０】
上記した実施形態によれば、多数の利用者が個人単位で利用する設備を監視する挙動監視装置において、犯罪性をもつ、有責な行為や人的被害や物的被害などに対して、人感センサー、照度センサー、モーションセンサー、振動感知センサー等、各種の防犯センサーを用いることなく、単眼カメラをアラーム出力用センサーとして用いた経済的に有利な構成で、統合的かつ有効な監視が期待できる。
【００６１】
上記した実施形態において、背景画像作成処理部１３２、挙動判定用画素抽出処理部１３４、領域化処理部１３５、オブジェクト検出処理部１３７、追跡処理部１３８、および挙動判定処理部１４０はそれぞれソフトウェアモジュールにより実現可能である。
【００６２】
また、上記した実施形態においては、カメラ１１を、不特定多数若しくは利用目的を特定した多数の利用者が個人単位で利用する施設のトイレットルーム、バスルーム、各種のサービスルーム等の設備において当該利用設備の利用エリアを撮影し、画像処理部１３は、人体に殆ど動きがない静止状態と、人体に殆ど動きがなく横たわっている（倒れている）横臥状態と、複数の人体を対象に、動きが速く激しい過激行動状態と、人体近辺での炎の検知による火焔検知状態とをそれぞれ登録したパターン毎に認識可能としていたが、これに限らず、例えば、昼間および夜間において、特定の施設における器物の監視、動物体の侵入監視や、交通監視等、監視を必要とする各種の施設、設備に適用可能である。
【符号の説明】
【００６３】
１１…カメラ（単眼カメラ）、１２…キャプチャ部、１３…画像処理部、１５…アラーム出力部、１６…、１７…、１８…、１９…、１３１…画像バッファ、１３２…背景画像作成処理部、１３３…背景画像作成用バッファ、１３４…挙動判定用画素抽出処理部、１３５…領域化処理部、１３６…オブジェクトモデル登録部、１３７…オブジェクト検出処理部、１３８…追跡処理部、１３９…挙動パターン登録部、１４０…挙動判定処理部。
【特許請求の範囲】
【請求項１】
撮像カメラを利用者が利用する施設のアラーム出力用センサーとして用いる監視装置であって、
前記カメラから入力した時系列の複数のフレーム画像をもとにフレーム間差分処理画像を取得し、当該差分処理画像が予め登録された挙動パターンに該当するか否かを判定する処理手段と、
前記処理手段により前記差分処理画像が前記挙動パターンに該当する判定をしたときアラームを発生する出力手段と
を具備したことを特徴とする監視装置。
【請求項２】
人物を監視対象オブジェクトとして、当該監視対象オブジェクトの利用施設における利用エリアを撮影する単眼カメラと、
前記カメラで撮影したフレーム単位の画像を一定時間毎に順次入力し、入力した現在画像と複数の過去画像とでなる一定期間内の複数の画像を現在画像が入力される毎に更新し記憶する画像バッファと、
前記利用エリア内の監視対象オブジェクトに対する特定の挙動を定義した挙動パターンが登録される挙動パターン登録手段と、
前記画像バッファに記憶された一定期間内の複数の画像を対象に、差分処理を実施して前記利用エリアの背景画像を作成する背景画像作成処理手段と、
前記背景画像作成処理手段が作成した背景画像と前記画像バッファに記憶した現在画像とをもとに前記利用エリア内おける監視対象オブジェクトを個別に検出するオブジェクト検出処理手段と、
前記オブジェクト検出処理手段が検出したオブジェクトについて、当該オブジェクトの挙動が前記挙動パターン登録手段に登録された挙動パターンに該当するか否かを判定する判定処理手段と、
前記判定処理手段が前記挙動パターンに該当する判定をしたとき、前記利用エリア内で異常挙動が発生したことを外部に報知する出力処理手段と、
を具備したことを特徴とする監視装置。
【請求項３】
前記背景画像作成処理手段は、
前記画像バッファに記憶された一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、前記一定期間内の複数の画像の対応する画素を対象に、低輝度の一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像を作成する背景画像作成手段と、この背景画像作成手段が作成した背景画像と入力された現画像との画素毎の差分処理により背景変化画素を抽出し背景画像を更新する背景変化画素抽出手段とを具備したことを特徴とする請求項２に記載の監視装置。
【請求項４】
前記背景画像作成処理手段は、前記入力した一定期間内の複数の画素を対象に、画素あたりの輝度分散値と標準偏差を算出し、当該輝度分散値または標準偏差を閾値に利用して、輝度値の分散が大きいところの画素は棄て、低輝度の狭い輝度範囲内に安定して収まっている画素のみを背景画素と見做し抽出して画素集合による背景画像を作成する処理手段を具備したことを特徴とする請求項３に記載の監視装置。
【請求項５】
前記背景画像作成処理手段で作成した、低輝度の安定画素の集合による背景画像を利用して、静止状態にあると見做した画素の画素集合を停止物として検知する検知処理と、動きがあると見做した画素の画素集合を動物体として検知する検知処理とを実施する挙動判定用画素抽出処理手段と、
前記挙動判定用画素抽出処理手段で処理した、静止状態にあると見做した画素の画素集合をもとに停止物の領域化処理を実施し、動きがあると見做した画素の画素集合をもとに動物体の領域化処理を実施する領域化処理手段とをさらに具備したことを特徴とする請求項４に記載の監視装置。
【請求項６】
前記判定処理手段は、監視エリアに入った人物の挙動について、一定の時間内における動きが定量以内にある静止状態、動きの緩やかな正常動態、動きが速く激しい異常動態、に弁別する処理手段を具備したことを特徴とする請求項２に記載の監視装置。
【請求項７】
撮像カメラを利用者が利用する施設のアラーム出力用センサーとして用いる監視装置としてコンピュータを機能させるための監視用プログラムであって、
前記カメラから入力した時系列の複数のフレーム画像をもとにフレーム間差分処理画像を取得し、当該差分処理画像が予め登録された挙動パターンに該当するか否かを判定する処理機能と、
前記処理機能により前記差分処理画像が前記挙動パターンに該当する判定をしたときアラームを発生する出力機能と
をコンピュータに実現させることを特徴とする、撮像カメラを利用者が利用する施設のアラーム出力用センサーとして用いる監視装置の挙動監視用プログラム。
【請求項８】
人物を監視対象オブジェクトとして、当該監視対象オブジェクトの利用施設における利用エリアを撮影する単眼カメラと、前記カメラで撮影したフレーム単位の画像を一定時間毎に順次入力し、入力した現在画像と複数の過去画像とでなる一定期間内の複数の画像を現在画像が入力される毎に更新し記憶する画像バッファと、前記利用エリア内の監視対象オブジェクトに対する特定の挙動を定義した挙動パターンが登録される挙動パターン登録手段とを具備して、前記入力した現在画像と過去画像から前記監視対象オブジェクトの挙動を監視する装置を実現するコンピュータに、
前記画像バッファに記憶された一定期間内の複数の画像を対象に、差分処理を実施して前記利用エリアの背景画像を作成する背景画像作成処理機能と、
前記背景画像作成処理機能が作成した背景画像と前記画像バッファに記憶した現在画像とをもとに前記利用エリア内おける監視対象オブジェクトを個別に検出するオブジェクト検出処理機能と、
前記オブジェクト検出処理機能が検出したオブジェクトについて、当該オブジェクトの挙動が前記挙動パターン登録手段に登録された挙動パターンに該当するか否かを判定する判定処理機能と
を実現させることを特徴とした挙動監視用プログラム。
【請求項１】
撮像カメラを利用者が利用する施設のアラーム出力用センサーとして用いる監視装置であって、
前記カメラから入力した時系列の複数のフレーム画像をもとにフレーム間差分処理画像を取得し、当該差分処理画像が予め登録された挙動パターンに該当するか否かを判定する処理手段と、
前記処理手段により前記差分処理画像が前記挙動パターンに該当する判定をしたときアラームを発生する出力手段と
を具備したことを特徴とする監視装置。
【請求項２】
人物を監視対象オブジェクトとして、当該監視対象オブジェクトの利用施設における利用エリアを撮影する単眼カメラと、
前記カメラで撮影したフレーム単位の画像を一定時間毎に順次入力し、入力した現在画像と複数の過去画像とでなる一定期間内の複数の画像を現在画像が入力される毎に更新し記憶する画像バッファと、
前記利用エリア内の監視対象オブジェクトに対する特定の挙動を定義した挙動パターンが登録される挙動パターン登録手段と、
前記画像バッファに記憶された一定期間内の複数の画像を対象に、差分処理を実施して前記利用エリアの背景画像を作成する背景画像作成処理手段と、
前記背景画像作成処理手段が作成した背景画像と前記画像バッファに記憶した現在画像とをもとに前記利用エリア内おける監視対象オブジェクトを個別に検出するオブジェクト検出処理手段と、
前記オブジェクト検出処理手段が検出したオブジェクトについて、当該オブジェクトの挙動が前記挙動パターン登録手段に登録された挙動パターンに該当するか否かを判定する判定処理手段と、
前記判定処理手段が前記挙動パターンに該当する判定をしたとき、前記利用エリア内で異常挙動が発生したことを外部に報知する出力処理手段と、
を具備したことを特徴とする監視装置。
【請求項３】
前記背景画像作成処理手段は、
前記画像バッファに記憶された一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、前記一定期間内の複数の画像の対応する画素を対象に、低輝度の一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像を作成する背景画像作成手段と、この背景画像作成手段が作成した背景画像と入力された現画像との画素毎の差分処理により背景変化画素を抽出し背景画像を更新する背景変化画素抽出手段とを具備したことを特徴とする請求項２に記載の監視装置。
【請求項４】
前記背景画像作成処理手段は、前記入力した一定期間内の複数の画素を対象に、画素あたりの輝度分散値と標準偏差を算出し、当該輝度分散値または標準偏差を閾値に利用して、輝度値の分散が大きいところの画素は棄て、低輝度の狭い輝度範囲内に安定して収まっている画素のみを背景画素と見做し抽出して画素集合による背景画像を作成する処理手段を具備したことを特徴とする請求項３に記載の監視装置。
【請求項５】
前記背景画像作成処理手段で作成した、低輝度の安定画素の集合による背景画像を利用して、静止状態にあると見做した画素の画素集合を停止物として検知する検知処理と、動きがあると見做した画素の画素集合を動物体として検知する検知処理とを実施する挙動判定用画素抽出処理手段と、
前記挙動判定用画素抽出処理手段で処理した、静止状態にあると見做した画素の画素集合をもとに停止物の領域化処理を実施し、動きがあると見做した画素の画素集合をもとに動物体の領域化処理を実施する領域化処理手段とをさらに具備したことを特徴とする請求項４に記載の監視装置。
【請求項６】
前記判定処理手段は、監視エリアに入った人物の挙動について、一定の時間内における動きが定量以内にある静止状態、動きの緩やかな正常動態、動きが速く激しい異常動態、に弁別する処理手段を具備したことを特徴とする請求項２に記載の監視装置。
【請求項７】
撮像カメラを利用者が利用する施設のアラーム出力用センサーとして用いる監視装置としてコンピュータを機能させるための監視用プログラムであって、
前記カメラから入力した時系列の複数のフレーム画像をもとにフレーム間差分処理画像を取得し、当該差分処理画像が予め登録された挙動パターンに該当するか否かを判定する処理機能と、
前記処理機能により前記差分処理画像が前記挙動パターンに該当する判定をしたときアラームを発生する出力機能と
をコンピュータに実現させることを特徴とする、撮像カメラを利用者が利用する施設のアラーム出力用センサーとして用いる監視装置の挙動監視用プログラム。
【請求項８】
人物を監視対象オブジェクトとして、当該監視対象オブジェクトの利用施設における利用エリアを撮影する単眼カメラと、前記カメラで撮影したフレーム単位の画像を一定時間毎に順次入力し、入力した現在画像と複数の過去画像とでなる一定期間内の複数の画像を現在画像が入力される毎に更新し記憶する画像バッファと、前記利用エリア内の監視対象オブジェクトに対する特定の挙動を定義した挙動パターンが登録される挙動パターン登録手段とを具備して、前記入力した現在画像と過去画像から前記監視対象オブジェクトの挙動を監視する装置を実現するコンピュータに、
前記画像バッファに記憶された一定期間内の複数の画像を対象に、差分処理を実施して前記利用エリアの背景画像を作成する背景画像作成処理機能と、
前記背景画像作成処理機能が作成した背景画像と前記画像バッファに記憶した現在画像とをもとに前記利用エリア内おける監視対象オブジェクトを個別に検出するオブジェクト検出処理機能と、
前記オブジェクト検出処理機能が検出したオブジェクトについて、当該オブジェクトの挙動が前記挙動パターン登録手段に登録された挙動パターンに該当するか否かを判定する判定処理機能と
を実現させることを特徴とした挙動監視用プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−２３５６６（Ｐ２０１２−２３５６６Ａ）
【公開日】平成２４年２月２日（２０１２．２．２）
【国際特許分類】
【出願番号】特願２０１０−１６００１８（Ｐ２０１０−１６００１８）
【出願日】平成２２年７月１４日（２０１０．７．１４）
【出願人】（０００２２０６２０）東芝テリー株式会社 (116)
【Ｆターム（参考）】
【公開日】平成２４年２月２日（２０１２．２．２）
【国際特許分類】
【出願日】平成２２年７月１４日（２０１０．７．１４）
【出願人】（０００２２０６２０）東芝テリー株式会社 (116)
【Ｆターム（参考）】
[ Back to top ]