異常検知装置
【課題】行動者の取った行動により、権限が変化することがある。従って、変化した権限に合わせ、異常・正常行動の判断基準を変化させる必要がある。
【解決手段】行動者が取った行動に応じて、異常・正常行動の判断基準を変化させた行動権限情報を算出し、行動者が示す行動が異常か否かを検知し、異常を検知した場合には警報を出力する。
【解決手段】行動者が取った行動に応じて、異常・正常行動の判断基準を変化させた行動権限情報を算出し、行動者が示す行動が異常か否かを検知し、異常を検知した場合には警報を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、認証機器と監視機器で監視される行動者の異常行動の検知装置に関するものである。
【背景技術】
【０００２】
従来は認証情報と対応する行動権限に応じて、行動者の違反行動や禁止行動を検知する方法が多く提案されている。
【０００３】
上記の方法を実現する具体的な技術としては、例えば、特許文献１では、色情報，顔画像など認証情報により、行動者の行動権限を決定し、行動者の行動が行動権限を越えた場合に異常を判断する方法が開示されている。この技術により監視される行動者の行動を詳細に分析し、行動者に与えられた行動権限の範囲内であれば、警報を発することなしに、行動権限を越えた場合に異常行動を検知し警報を発することが可能である。
【０００４】
一方で、特許文献２では、行動者の行動や状況の特定のパターンを認識し、異常行動や状況を判断する方法が開示されている。例えば、解除可能時間内に３回のドア開閉があれば特定のパターンと一致したとしてセキュリティの警戒モードを解除し、３回以上のドア開閉があれば、特定のパターンと一致しないので異常事態であるとして警報を発する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第ＷＯ２００７／１３８８１１号
【特許文献２】特開２００６−６５７１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、通常の監視する場合は行動者の取った行動により、権限が変化することがある。従って、変化した権限に合わせ、正常や異常の判断基準を変化させる必要がある。例えば、店舗の場合は、客が物を取ったら、お金を払わないで、店を出ることができず、お金を払わなければならない。普通では、店を出る行動は正常であるが、物を取った行動が発生した場合は、権限が変わり、出る行動は異常行動になる。従って、変化した権限に合わせ、正常・異常の判断基準を変化させることが必要である。
【０００７】
特許文献１では、行動者の取った行動が正常や異常の判断に反映されないため、このことを考慮できないという問題がある。例えば、店舗の場合では、客に対しては、店に入る，店を出る，物を取る，物を買うなど様々な正常な行動がある。しかし、客は物を取ったら、買わないで、そのまま店を出ると異常と判断する必要がある。
【０００８】
特許文献２では、上記と同じ例を考えれば、物を取る，物を買う，店を出るが一連のパターンとして認識される場合は警報を発しないが、特定のパターンの何れにも該当しない場合には異常事態や異常行動と判断し、警報を発することが可能である。しかし、この技術では、判断可能なのは予め定められた特定のパターンに限られ、行動者の様々な行動に適応できず、行動者の取った行動が正常や異常の判断基準の変化に反映されないという問題があった。
【０００９】
本発明は、上記したような従来の問題点を改善するために、行動者の取った行動により行動権限を変更することで、状況に応じた異常判断が可能な異常検知装置を実現することを目的とする。
【００１０】
尚、上記した課題以外のその他の課題は、本願明細書全体の記載または図面から明らかにされる。
【課題を解決するための手段】
【００１１】
カメラにより行動者を撮影して動画像を画像情報として出力する画像情報入力手段と、行動者を認証して行動者の認証情報を出力する認証情報入力手段と連携し、行動者の異常行動を検知する異常検知装置であって、
前記画像情報入力手段からの動画像に含まれる行動者を検出し、行動者の行動を認識し、行動者の行動を抽出して行動者行動情報として出力する行動認識手段と、
前記認証情報入力手段からの認証情報に対応して、予め異常・正常行動を定義する行動権限リストと、
前記認証情報入力手段より入力された行動者の認証情報に応じて、前記行動権限リストを参照し、行動者の異常・正常行動情報を得て、行動権限情報リストとして出力する行動権限決定手段と、
前記行動認識手段から入力された行動者行動情報と前記行動権限決定手段から入力された行動権限情報リストによって、行動者の行動に応じて、行動者の行動権限を算出し、行動者の行動権限情報として出力する行動権限管理手段と、
前記行動権限管理手段から入力された行動権限情報を参照し、前記行動認識手段から入力された行動者行動情報が示す行動体の行動が異常か否かを検知し、異常であると判断した場合には警報情報を出力する異常判断手段と、
前記異常判断手段から警報情報が入力されると警報を出力する出力手段とを有する。
【００１２】
尚、上記した構成はあくまで一例であり、本発明は、技術思想を逸脱しない範囲内で適宜変更が可能である。また、上記した構成以外の本発明の構成の例は、本願明細書全体の記載または図面から明らかにされる。
【発明の効果】
【００１３】
本発明の異常検知装置は、行動者の取った行動により、正常・異常の判断基準を変化できるようになる。本発明のその他の効果については、明細書全体の記載から明らかにされる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施例による異常検知装置全体の機能構成図である。
【図２】異常検知装置の行動権限管理手段の内部構成である。
【図３】本発明の一実施例による異常検知装置のデータフローである。
【図４】本発明の一実施例による行動権限リストである。
【図５】本発明の一実施例による異常検知装置のフローチャートである。
【図６】本発明の一実施例による異常検知装置全体の機能構成図である。
【図７】異常検知装置の一実施例である異常作業検知装置の例を示す図である。
【図８】異常検知装置の一実施例である店舗の異常検知装置の例を示す図である。
【図９】異常検知装置の一実施例である不正立ち入り異常検知装置の例を示す図である。
【図１０】異常検知装置の一実施例である避難案内装置の例を示す図である。
【図１１】異常検知装置の一実施例である空港搭乗案内装置の例を示す図である。
【発明を実施するための形態】
【００１５】
本発明の実施例を、図面を参照しながら説明する。尚、各図および各実施例において、同一又は類似の構成要素には同じ符号を付し、説明を省略する。
【００１６】
本発明は、行動者の取った行動により行動権限を変更することにより、状況に応じた異常判断が可能な異常検知装置を実現した。
【００１７】
図１は、本発明の一実施例による異常検知装置全体の機能構成図である。本実施形態は、図示するように、画像情報入力手段１０，行動認識手段１１，認証情報入力手段１２，行動権限決定手段１３，行動権限リスト１４，行動権限管理手段１５，異常判断手段１６、及び出力手段１７から構成される。
【００１８】
画像情報入力手段１０は、ビデオカメラなどの撮影装置であり、撮影された画像のデータを取り込み、動画像を画像情報として行動認識手段１１へ出力する。
【００１９】
行動認識手段１１では、画像情報人力手段１０より入力された画像データに含まれる行動者を検出し、行動者の行動を認識し、行動者の行動情報を抽出して、行動者行動情報として行動権限管理手段１５と異常判断手段１６へ出力する。
【００２０】
認証情報入力手段１２では、例えば、暗証番号，監視カメラ，静脈，顔，指紋，虹彩，ＩＣカード，携帯などによって行動者を証明できる行動者のＩＤ，証明番号，顔画像，指紋画像などを認証情報として行動権限決定手段１３へ出力する。
【００２１】
行動権限決定手段１３では、認証情報人力手段１２より入力された行動者の認証情報に対応する行動権限情報を得るために、行動権限リスト１４にアクセスする。行動権限リスト１４により、その行動者に対応した、正常な行動や異常な行動、あるいは、許可されている行動や禁止されている行動を得て、行動権限情報リストとして、行動権限管理手段１５へ出力する。
【００２２】
行動権限リスト１４は、予め設定され、それぞれの行動者（行動者の認証情報）に対応して、正常な行動や異常な行動、あるいは、許可されている行動や禁止されている行動を定義するリストである。
【００２３】
行動権限管理手段１５では、行動認識手段１１より入力された行動者行動情報と行動権限決定手段１３により入力された行動者の行動権限情報リストによって、行動者の取った行動に応じて行動者の行動権限（行動者の行動によって変更後の行動権限）を算出し、行動者の行動権限情報として、異常判断手段１６へ出力する。
【００２４】
異常判断手段１６では、行動権限管理手段１５により入力された行動者の行動権限情報を参照し、行動認識手段１１により入力された行動情報が示す行動者の行動が正常行動や異常行動であることを判断し、異常行動や禁止行動であることを検知した場合は警報情報として出力手段１７へ出力する。
【００２５】
出力手段１７では、異常判断手段１６からの警報情報が入力されると、警報を出力する。
【００２６】
なお、行動認識手段１１では、画像や映像から行動者を検出し、検出した行動者の行動を認識し、行動情報を作成する。ここで、認識される行動者の行動は、監視領域により様々な種類がある。例えば、店舗では、物を取る，物を見る，お金を払う，店を出るなどの行動が挙げられる。工場のラインでは、位置情報を行動とみなし、行動情報を作成することも可能である。また、作業服の色や様子などの行動者の状態を行動とみなし、行動者の行動情報を作成することも可能である。行動権限リスト１４など、他の部分における「行動」の定義も、狭義の行動に限定されず、行動者の位置や状態を含むものとすることができる。
【００２７】
行動認識手段１１における、行動者の検出アルゴリズムと行動者の認識アルゴリズムと行動者の位置を求め、行動者を追跡するアルゴリズムは、例えば、“A System for Video Surveillance and Monitoring”tech. report CMU-RI-TR-00-12, Robotics Institute, Carnegie Mellon University, May, 2000．に記載の方法を用いることができる。また、センサを用いて、位置，振動，光など状態を示す情報を行動とみなした行動情報を作成することも可能である。
【００２８】
認証情報入力手段１２は、オフィスセキュリティの入退室管理装置（アクセスコントロール装置）と連携することも可能である。尚、同じ行動者に対して異常検知する場合に、最初の一回のみ認証情報入力手段１２で認証情報を作成し、行動権限決定手段１３へ出力するようにしてもよいし、入退室の度に、毎回、認証情報入力手段１２で認証情報を作成するようにしてもよい。
【００２９】
行動権限決定手段１３は、行動権限リスト１４によりリアルタイムで行動者の行動権限情報リストを取得することができる。認証情報入力手段１２により行動者の認証情報を入力される際、行動権限リスト１４にアクセスし、行動権限情報リストを作成する。尚、同じ行動者の異常を検知する場合は、最初一回のみ、行動権限リスト１４にアクセスし、正常・異常行動情報を得て、行動権限情報リストを作成するようにしてもよい。
【００３０】
行動権限リスト１４では、正常・異常行動の定義は、動的に変更することができる。例えば、監視領域，時間帯に応じて、正常・異常行動の定義を変更することができる。例えば、所定の時間になった場合や、行動者が所定の監視領域に入った場合に、定義を変更することができる。行動権限リスト１４の変更が発生する際、行動権限決定手段１３へ自動的に通報し、新しい行動権限情報リストを更新する。また、行動権限リスト１４は、同じ認証情報を持つ集団行動者に対して、行動権限を定義することもできる。例えば、同じ作業服を着用している作業員は集団行動者として、同じ行動権限を持ったものであるとみなして、異常検知することが可能である。
【００３１】
出力手段１７は、異常を検知した際は警報を出すものであり、伝統的な色，音，光などの警報方法が利用可能である。携帯電話や電子メールに配信することが可能であり、異常検知される行動者の実画像も転送することも可能である。異常行動の定義や緊急度に応じて、出力手段を変更することも可能である。
【００３２】
また、他の装置と連携し、例えば、ドアを開けたり，閉めたり、制御装置に対して異常防止などの制御をすることも可能である。ＰＤＡや携帯端末に異常行動の警報や正常行動の案内などを出力することも可能である。
【００３３】
図２は、本発明の一実施例による異常検知装置の行動権限管理手段の内部構成である。図示するように、行動権限管理手段１５は、行動状態捜索手段２２，行動権限抽出手段２３から構成される。
【００３４】
図１の行動認識手段１１により入力された行動者が取った行動情報２０と、図１の行動権限決定手段１３により入力された行動者の行動権限情報リスト２１とを、行動権限管理手段１５に入力する。行動状態捜索手段２２は、行動者の行動権限情報リスト２１を参照し、行動者が取った行動を捜索し、行動状態情報として行動権限抽出手段２３へ出力する。行動権限抽出手段２３は、入力された行動状態情報に応じて、行動者の正常・異常行動を抽出し、行動権限情報２４として出力する。この行動権限情報２４は、行動者の行動によって変更後の行動権限である。
【００３５】
図３は、本発明の一実施例による異常検知装置のデータフローを示す。カメラ装置など画像情報入力手段１０を用いて、行動者を含む画像情報３０を行動認識手段１１へ出力する。行動認識手段１１は、画像情報３０により、行動者の行動を認識し、行動情報３１を行動権限管理手段１５へ出力する。例えば、行動者の行動はＡと認識された場合は、Ａを出力する。
【００３６】
カードリーダなど認証情報入力手段１２を利用し、行動者が持つカードを読み込み、認証情報３３を行動権限決定手段１３へ出力する。例えば、行動者のＩＤは１であれば、ＩＤ＝１という認証情報を出力する。行動権限決定手段１３は、行動権限リスト１４にアクセスし、ＩＤ＝１に対して、正常・異常行動の定義リストを取り出し、行動権限情報リスト３４として行動権限管理手段１５へ出力する。
【００３７】
行動権限管理手段１５では、行動権限情報リスト３４と行動者の行動情報３１とが入力され、行動権限情報リスト３４を参照して、行動情報３１の行動に応じて、行動権限情報３５を抽出する。例えば、行動者がＡの行動を実行した場合は、正常な行動はＡ，Ｂ，Ｃ，Ｆであり、異常な行動はＤ，Ｅであるという行動権限情報３５を抽出し、異常判断手段１６へ出力する。この行動権限情報３５は、行動情報３１の行動に応じて正常・異常が変化した、変更後の行動権限である。
【００３８】
異常判断手段１６は行動権限情報３５を参照し、行動認識手段１１から入力された行動者の行動情報３２が正常か異常かを判断する。例えば、認識された行動情報がＥの場合は、行動権限情報３５ではＥが異常行動であるため、異常行動と判断する。異常行動と判断された場合、警報情報３６を出力手段１７へ出力する。
【００３９】
出力手段１７では、警報情報３６を受け、警報を出す。
【００４０】
図４は、本発明の行動権限リストの一例である。行動権限リスト１４は、行動者（行動者の認証情報）に対応して、予め正常行動と異常行動とを定義するものである。４０は行動者の行動及び行動順序を定義する行動リストである。例えば、Ａ−＞Ｂ−＞Ｄの意味は、行動者の行動はＡ，Ｂ，Ｄである。それらの行動順序は、Ａをした後でＢをし、Ｂをした後でＤをするという意味である。この行動リスト４０を参考し、行動マトリックス４１を作成する。この行動マトリックス４１の作成は、予め作成して行動権限リストに保存しておくか、行動権限決定手段１３，行動権限管理手段１５の何れかで作成すればよい。ここでは、予め作成されているものとして説明する。表の中で、１は正常行動、０は異常行動を示す。最左列，最下行は行動者の行動であり、各マトリックスの値は、最左列の行動があった後における、最下行の行動の正常・異常行動を定義するものである。例えば、第一行目の行動権限情報４２は、行動認識手段１１において行動権限管理手段に入力された行動がＡであった場合に対応し、行動Ａに応じて、最下行の各行動Ａ〜Ｆが、正常行動であるか異常行動であるかを定義している。すなわち、行動者が行動Ａを実行したら、その後の行動者の行動Ａ，Ｂ，Ｃ，Ｆは１であり、正常行動と定義する。同様に、行動者の行動Ｄ，Ｅは０であり、異常行動と定義する。Ａ−＞Ｂ−＞Ｄが正常行動であれば、この行動の順に行った場合に全て正常行動であると判定されるように、対応するマトリックスの値を１で埋めてゆく。たとえば、Ａ−＞Ｂは正常行動なので、最左列Ａ，最下列Ｂに対応する欄は１となり、その後のＢ−＞Ｄについても、最左列Ｂ，最下列Ｄに対応する欄を１とする。同様に、これを全ての行動リストの中の行動に対して行うことで、行動マトリックス４１を作成できる。
【００４１】
そして、例えば、行動権限決定手段１３は、行動権限リスト１４を参照して、認証情報３３（ＩＤ＝１）に対応する行動マトリックス４１を抽出し、行動権限情報リスト３４として行動権限管理手段１５に出力する。行動権限管理手段１５は、Ａの行動情報３１を入力されれば、行動マトリックス４１を参照して、第一行目の行動権限情報４２を行動権限情報として出力する。
【００４２】
また、認証情報入力手段１２において、行動者を認証できない場合は、行動者に最低権限であるＩＤを付け、行動権限決定手段１３は、行動権限リスト１４を参照して、予め設定した最低行動権限情報リストを行動権限情報リスト３４として出力する。例えば、この最低行動権限情報リストでは、各行動マトリックスの値は０を設定することができ、すべて行動に対して、異常と判断できる。この最低行動権限情報リストは、時間，監視領域などに応じて変更可能である。
【００４３】
図５は、本発明の一実施例による異常検知装置のフローチャートである。ステップ５０では、認証情報入力手段１２により、行動者のカードなどを読み込み、入退室管理入力を行う。ステップ５１では、認証されるか否かを判断する。認証されない場合は、不審行動者と判断し、警報を生成する。認証された場合は、ステップ５３を行い、認証情報が行動権限決定手段１３に入力され、行動者の認証情報（ＩＤなど）により、行動権限リストの参照を行うステップ５２を介して、行動権限情報リストを決定する。そして、ステップ５４では、カメラなどにより撮影された行動者の行動があるか否かを行動認識手段１１で判断する。行動が発生した場合は、ステップ５５で行動を認識する。ステップ５６では、発生した行動により、行動権限管理手段１５が行動権限を変更し、行動権限情報を算出する。また、ステップ５７では、カメラなどにより撮影された行動者の次の行動を行動認識手段１１が認識する。ステップ５８では、算出した行動権限情報を参照し、ステップ５７で認識された行動が異常か否かを異常判断手段にて判断する。ステップ５９では、異常の行動を判断した場合は、警報する。異常がない場合には、ステップ５４に戻る。
【００４４】
図６は、本発明の一実施例による異常検知装置である。本実施形態は、図示するように、画像情報入力手段６０，行動認識手段６１，認証情報入力手段６２，行動権限決定手段６３，行動権限リスト６４，行動権限管理手段６５，異常判断手段６６、及び出力手段６７から構成される。
【００４５】
本実施形態における各部の機能は、図１に示した画像情報入力手段１０，行動認識手段１１，認証情報入力手段１２，行動権限決定手段１３，行動権限リスト１４，行動権限管理手段１５，異常判断手段１６、及び出力手段１７と同様であるが、本実施形態における行動認識手段６１は、行動権限管理手段６５から行動者の行動権限情報が入力され、この行動権限情報に従って、行動者の異常行動に絞って認識を行う点が異なっている。
【００４６】
また、認証情報入力手段６２で最高行動情報権限を持つ行動者が認証された場合、あるいは、最高行動権限情報が行動権限管理手段６５に入力された場合は、行動権限管理手段６５は、行動認識手段６１へ信号を出力し、行動者の正常・異常行動を認識する必要がないと判断することが可能であり、警報情報を生成しない。尚、行動認識手段６１へ信号を出力する代わりに、異常判断手段６６に信号を出力してもよく、この場合も同様に、行動者の正常・異常行動を認識する必要がないと判断することが可能であり、警報情報を生成しない。
【００４７】
図７は、異常検知装置の一実施例である異常作業検知装置の例を示す図である。ここでは、図７に示すように、認証装置、例えばＩＣカードリーダなどの入退室管理装置７０，カメラ７１と連携し、作業員の異常作業を検知した場合に、警報情報を作成するような異常作業検知装置の場合を例に説明する。例えば、データセンターで作業員７２が認証され、入室する。この作業員７２には、行動権限リスト７４が与えられている。
【００４８】
作業員７２が入室する行動が発生した場合は、サーバの格納された棚のドア７３を開ける行動と部屋を出る行動が正常行動であり、閉める行動が異常である。作業員７２がドア７３を開ける行動が発生した場合は、異常・正常の行動権限基準を変化し、閉める行動が正常行動になり、部屋を出る行動が異常行動になる。例えば、作業員７２はドア７３を開けたら、ドア７３を閉めないで、部屋を出ることは異常であり、アラームなど警報を生成し、出力する。
【００４９】
ドア７３を開ける行動、閉める動作の認識はセンサ，画像処理で検出可能である。ドア７３を開ける行動と閉める行動は音が発生するため、音による認識でも検出可能である。また、検知する行動の定義は監視目的により、追加することも可能である。
【００５０】
図８は、異常検知装置の一実施例である店舗の異常検知装置の例を示す図である。ここでは、カメラ８０の映像情報を用いて、店舗の店長，店員、及び客の異常行動を検知した場合、警報情報を作成するような異常検知装置の場合を例に説明する。
【００５１】
例えば、カメラ８０より、客８１が認証された場合、行動権限リスト８４を与える。この行動権限リスト８４は、店に入る，物を取る，お金を払う，店を出るという各行動を定義する。この場合、客は店に入った場合は、取る，出る，払う行動がすべて正常である。客は物を取った行動が発生した場合は、行動権限が変化し、払う行動が正常行動になり、出る行動は異常行動になる。客は物を取った場合は、払わないで、直接出る行動が発生した場合は、異常行動と判断し、警報情報を生成する。通常の場合は、客はルート８３が示すように、店に入って、棚で物を取って、レジでお金を払って、店を出た場合は正常であると判断し、警報しない。
【００５２】
同じように、店員に行動権限情報リストを与えれば、正常・異常判断も可能である。また、店長８２が認証された場合、最高行動情報権限を与える。行動権限管理手段１５は、店長の最高行動情報権限に応じて、異常行動を認識する必要がないと判断し、行動認識手段１１または異常判断手段１６に信号を送り、異常判断や警報情報を生成しないようにする。
【００５３】
客，店員，店長の認証については、カメラ映像により、ユニフォーム，顔画像などを認証情報として利用可能である。
【００５４】
本発明では、位置情報を行動とみなして、行動者の異常行動を検知することも可能である。位置の計測方法は様々であるが、例えば、ＧＰＳから直接求めたり、ＲＦＩＤリーダを用いて、ＲＦＩＤの電波強度を三角測量して、位置を求めることが可能である。また、画像情報を用いて、実世界座標に変換し、位置を求めることも可能である。具体例に基づいて、詳細に説明する。
【００５５】
図９は、異常検知装置の一実施例である不正立ち入り異常検知装置の例を示す図である。ここでは、図９に示すように、入退室管理装置９０とカメラ９１と連携し、許可されないエリアに入る行動者を検知した場合、警報情報を作成するような異常検知装置の場合を例に説明する。
【００５６】
例えば、データセンターで許可されないエリアに不正立ち入りする行動者９２を検知したとする。行動者９２が例えば暗証番号による入退室管理装置９０で認証され、当人の行動権限リスト９８が図のように与えられているとする。この行動権限リスト９８を参照し、エリア９３からエリア９５へ移動すること、エリア９３内で移動すること、エリア９５からエリア９３へ移動すること、エリア９５内で移動することは正常行動であると分かった。行動者９２は、正常ルート９７が示すように、エリア９３からエリア９５へ移動してエリア９５で徘徊する行動は行動権限の範囲内であるため、警報を出す必要がないと判断する。一方、行動者９２は、異常ルート９６が示すように、エリア９３からエリア９４へ移動する、またはエリア９４内で移動することは行動権限の範囲外であるため、警報情報を生成する。
【００５７】
図９のような不正立ち入り検知装置は空港，工場ラインでも利用可能である。例えば、客が持つ航空券，パスポートなどの認証情報により、エリアなどの行動権限情報を決め、カメラで客の位置情報を得て、異常検知することが可能である。
【００５８】
また、本発明では、異常行動を検知すると同時に、正常行動を得て、行動者に案内することも可能である。具体例に基づいて、詳細に説明する。
【００５９】
例えば、図１０は、異常検知装置の一実施例である火事避難案内装置の例である。この例では、位置情報を行動とみなして行動情報を生成するものとして説明する。図１０に示すように、エリア５で火事が発生した場合は、カメラ１００が撮影した映像情報により、行動者１０１が認証され、行動権限リスト１０２を得る。行動者１０１がエリア７にいた行動に応じて、正しいルートを決め、エリア４を通って、エリア１の出口を案内することが可能である。具体的には、エリア５へ至る行動が異常行動となる。ここではさらに、エリア５から出る行動も異常行動とした。また、行動者１０１はエリア８を選択した場合は、エリア９を案内し、そして、エリア６，エリア３，エリア２を通って、エリア１の出口を案内することが可能である。
【００６０】
このルートの情報を出力することも可能である。例えば、行動者が持つ携帯機器（携帯電話，ＰＤＡなど）に正しルートを案内する情報を出力可能である。
【００６１】
この場合は、消防員は制服などにより、最高権限を持つ行動者と認識し、行動を認識することは必要がなく、どこのエリアにも入ることができる。
【００６２】
図１１は、図１０と同じ原理で考えられ、異常検知装置の一実施例である空港搭乗案内装置の例である。例えば、行動者１１８がパスポート等による認証を経て、出発ロビー１１９に入った場合を説明する。航空券から、飛行機便，時間，出発カウンター，行動権限リスト１１６，出発前行動権限リスト１１７を得た。行動権限リスト１１６に示すように、出発時間まで余裕がある場合は、トイレエリア１１２，ショップエリア１１３，案内所エリア１１４，動く歩道１１５の間で自由に移動する行動権限があり、移動しても警報を生成しない。そして、飛行機の出発時間が迫った場合は、行動権限リスト１１６から出発前行動権限リスト１１７に変更する。出発前行動権限リスト１１７に示すように、速やかに出発カウンター１１１に移動すると正常と判断し、警報情報を生成しない。行動者１１８は、出発カウンター１１１以外、行動権限がないエリアに移動した場合は、異常行動と判断し、警報情報を生成することが可能となる。その際は、乗務員に通報し、案内情報を流すことも可能である。また、行動者が持つ携帯機器に案内メールやメッセージを送ることも可能である。
【００６３】
尚、本発明における異常行動には、危険行動や禁止行動なども含まれる。
【００６４】
以上、本発明を実施例を用いて説明してきたが、これまでの各実施例で説明した構成はあくまで一例であり、本発明は、技術思想を逸脱しない範囲内で適宜変更が可能である。また、それぞれの実施例で説明した構成は、互いに矛盾しない限り、組み合わせて用いても良い。
【符号の説明】
【００６５】
１０，６０ 画像情報入力手段
１１，６１ 行動認識手段
１２，６２ 認証情報入力手段
１３，６３ 行動権限決定手段
１４，６４，７４，８４，９８，１０２，１１６ 行動権限リスト
１５，６５ 行動権限管理手段
１６，６６ 異常判断手段
１７，６７ 出力手段
２０ 行動者が取った行動情報
２１ 行動者の行動権限情報リスト
２２ 行動状態捜索手段
２３ 行動権限抽出手段
２４，３５，４２ 行動権限情報
３０ 画像情報
３１，３２ 行動情報
３３ 認証情報
３４ 行動権限情報リスト
３６ 警報情報
４０ 行動リスト
４１ 行動マトリックス
７０，９０ 入退室管理装置
７１，８０，９１，１００，１１０ カメラ
７２ 作業員
７３ ドア
８１ 客
８２ 店長
８３ ルート
９２，１０１，１１８ 行動者
９３，９４，９５ エリア
９６ 異常ルート
９７ 正常ルート
１１１ 出発カウンター
１１２ トイレエリア
１１３ ショップエリア
１１４ 案内所エリア
１１５ 動く歩道
１１７ 出発前行動権限リスト
１１９ 出発ロビー
【技術分野】
【０００１】
本発明は、認証機器と監視機器で監視される行動者の異常行動の検知装置に関するものである。
【背景技術】
【０００２】
従来は認証情報と対応する行動権限に応じて、行動者の違反行動や禁止行動を検知する方法が多く提案されている。
【０００３】
上記の方法を実現する具体的な技術としては、例えば、特許文献１では、色情報，顔画像など認証情報により、行動者の行動権限を決定し、行動者の行動が行動権限を越えた場合に異常を判断する方法が開示されている。この技術により監視される行動者の行動を詳細に分析し、行動者に与えられた行動権限の範囲内であれば、警報を発することなしに、行動権限を越えた場合に異常行動を検知し警報を発することが可能である。
【０００４】
一方で、特許文献２では、行動者の行動や状況の特定のパターンを認識し、異常行動や状況を判断する方法が開示されている。例えば、解除可能時間内に３回のドア開閉があれば特定のパターンと一致したとしてセキュリティの警戒モードを解除し、３回以上のドア開閉があれば、特定のパターンと一致しないので異常事態であるとして警報を発する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第ＷＯ２００７／１３８８１１号
【特許文献２】特開２００６−６５７１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、通常の監視する場合は行動者の取った行動により、権限が変化することがある。従って、変化した権限に合わせ、正常や異常の判断基準を変化させる必要がある。例えば、店舗の場合は、客が物を取ったら、お金を払わないで、店を出ることができず、お金を払わなければならない。普通では、店を出る行動は正常であるが、物を取った行動が発生した場合は、権限が変わり、出る行動は異常行動になる。従って、変化した権限に合わせ、正常・異常の判断基準を変化させることが必要である。
【０００７】
特許文献１では、行動者の取った行動が正常や異常の判断に反映されないため、このことを考慮できないという問題がある。例えば、店舗の場合では、客に対しては、店に入る，店を出る，物を取る，物を買うなど様々な正常な行動がある。しかし、客は物を取ったら、買わないで、そのまま店を出ると異常と判断する必要がある。
【０００８】
特許文献２では、上記と同じ例を考えれば、物を取る，物を買う，店を出るが一連のパターンとして認識される場合は警報を発しないが、特定のパターンの何れにも該当しない場合には異常事態や異常行動と判断し、警報を発することが可能である。しかし、この技術では、判断可能なのは予め定められた特定のパターンに限られ、行動者の様々な行動に適応できず、行動者の取った行動が正常や異常の判断基準の変化に反映されないという問題があった。
【０００９】
本発明は、上記したような従来の問題点を改善するために、行動者の取った行動により行動権限を変更することで、状況に応じた異常判断が可能な異常検知装置を実現することを目的とする。
【００１０】
尚、上記した課題以外のその他の課題は、本願明細書全体の記載または図面から明らかにされる。
【課題を解決するための手段】
【００１１】
カメラにより行動者を撮影して動画像を画像情報として出力する画像情報入力手段と、行動者を認証して行動者の認証情報を出力する認証情報入力手段と連携し、行動者の異常行動を検知する異常検知装置であって、
前記画像情報入力手段からの動画像に含まれる行動者を検出し、行動者の行動を認識し、行動者の行動を抽出して行動者行動情報として出力する行動認識手段と、
前記認証情報入力手段からの認証情報に対応して、予め異常・正常行動を定義する行動権限リストと、
前記認証情報入力手段より入力された行動者の認証情報に応じて、前記行動権限リストを参照し、行動者の異常・正常行動情報を得て、行動権限情報リストとして出力する行動権限決定手段と、
前記行動認識手段から入力された行動者行動情報と前記行動権限決定手段から入力された行動権限情報リストによって、行動者の行動に応じて、行動者の行動権限を算出し、行動者の行動権限情報として出力する行動権限管理手段と、
前記行動権限管理手段から入力された行動権限情報を参照し、前記行動認識手段から入力された行動者行動情報が示す行動体の行動が異常か否かを検知し、異常であると判断した場合には警報情報を出力する異常判断手段と、
前記異常判断手段から警報情報が入力されると警報を出力する出力手段とを有する。
【００１２】
尚、上記した構成はあくまで一例であり、本発明は、技術思想を逸脱しない範囲内で適宜変更が可能である。また、上記した構成以外の本発明の構成の例は、本願明細書全体の記載または図面から明らかにされる。
【発明の効果】
【００１３】
本発明の異常検知装置は、行動者の取った行動により、正常・異常の判断基準を変化できるようになる。本発明のその他の効果については、明細書全体の記載から明らかにされる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施例による異常検知装置全体の機能構成図である。
【図２】異常検知装置の行動権限管理手段の内部構成である。
【図３】本発明の一実施例による異常検知装置のデータフローである。
【図４】本発明の一実施例による行動権限リストである。
【図５】本発明の一実施例による異常検知装置のフローチャートである。
【図６】本発明の一実施例による異常検知装置全体の機能構成図である。
【図７】異常検知装置の一実施例である異常作業検知装置の例を示す図である。
【図８】異常検知装置の一実施例である店舗の異常検知装置の例を示す図である。
【図９】異常検知装置の一実施例である不正立ち入り異常検知装置の例を示す図である。
【図１０】異常検知装置の一実施例である避難案内装置の例を示す図である。
【図１１】異常検知装置の一実施例である空港搭乗案内装置の例を示す図である。
【発明を実施するための形態】
【００１５】
本発明の実施例を、図面を参照しながら説明する。尚、各図および各実施例において、同一又は類似の構成要素には同じ符号を付し、説明を省略する。
【００１６】
本発明は、行動者の取った行動により行動権限を変更することにより、状況に応じた異常判断が可能な異常検知装置を実現した。
【００１７】
図１は、本発明の一実施例による異常検知装置全体の機能構成図である。本実施形態は、図示するように、画像情報入力手段１０，行動認識手段１１，認証情報入力手段１２，行動権限決定手段１３，行動権限リスト１４，行動権限管理手段１５，異常判断手段１６、及び出力手段１７から構成される。
【００１８】
画像情報入力手段１０は、ビデオカメラなどの撮影装置であり、撮影された画像のデータを取り込み、動画像を画像情報として行動認識手段１１へ出力する。
【００１９】
行動認識手段１１では、画像情報人力手段１０より入力された画像データに含まれる行動者を検出し、行動者の行動を認識し、行動者の行動情報を抽出して、行動者行動情報として行動権限管理手段１５と異常判断手段１６へ出力する。
【００２０】
認証情報入力手段１２では、例えば、暗証番号，監視カメラ，静脈，顔，指紋，虹彩，ＩＣカード，携帯などによって行動者を証明できる行動者のＩＤ，証明番号，顔画像，指紋画像などを認証情報として行動権限決定手段１３へ出力する。
【００２１】
行動権限決定手段１３では、認証情報人力手段１２より入力された行動者の認証情報に対応する行動権限情報を得るために、行動権限リスト１４にアクセスする。行動権限リスト１４により、その行動者に対応した、正常な行動や異常な行動、あるいは、許可されている行動や禁止されている行動を得て、行動権限情報リストとして、行動権限管理手段１５へ出力する。
【００２２】
行動権限リスト１４は、予め設定され、それぞれの行動者（行動者の認証情報）に対応して、正常な行動や異常な行動、あるいは、許可されている行動や禁止されている行動を定義するリストである。
【００２３】
行動権限管理手段１５では、行動認識手段１１より入力された行動者行動情報と行動権限決定手段１３により入力された行動者の行動権限情報リストによって、行動者の取った行動に応じて行動者の行動権限（行動者の行動によって変更後の行動権限）を算出し、行動者の行動権限情報として、異常判断手段１６へ出力する。
【００２４】
異常判断手段１６では、行動権限管理手段１５により入力された行動者の行動権限情報を参照し、行動認識手段１１により入力された行動情報が示す行動者の行動が正常行動や異常行動であることを判断し、異常行動や禁止行動であることを検知した場合は警報情報として出力手段１７へ出力する。
【００２５】
出力手段１７では、異常判断手段１６からの警報情報が入力されると、警報を出力する。
【００２６】
なお、行動認識手段１１では、画像や映像から行動者を検出し、検出した行動者の行動を認識し、行動情報を作成する。ここで、認識される行動者の行動は、監視領域により様々な種類がある。例えば、店舗では、物を取る，物を見る，お金を払う，店を出るなどの行動が挙げられる。工場のラインでは、位置情報を行動とみなし、行動情報を作成することも可能である。また、作業服の色や様子などの行動者の状態を行動とみなし、行動者の行動情報を作成することも可能である。行動権限リスト１４など、他の部分における「行動」の定義も、狭義の行動に限定されず、行動者の位置や状態を含むものとすることができる。
【００２７】
行動認識手段１１における、行動者の検出アルゴリズムと行動者の認識アルゴリズムと行動者の位置を求め、行動者を追跡するアルゴリズムは、例えば、“A System for Video Surveillance and Monitoring”tech. report CMU-RI-TR-00-12, Robotics Institute, Carnegie Mellon University, May, 2000．に記載の方法を用いることができる。また、センサを用いて、位置，振動，光など状態を示す情報を行動とみなした行動情報を作成することも可能である。
【００２８】
認証情報入力手段１２は、オフィスセキュリティの入退室管理装置（アクセスコントロール装置）と連携することも可能である。尚、同じ行動者に対して異常検知する場合に、最初の一回のみ認証情報入力手段１２で認証情報を作成し、行動権限決定手段１３へ出力するようにしてもよいし、入退室の度に、毎回、認証情報入力手段１２で認証情報を作成するようにしてもよい。
【００２９】
行動権限決定手段１３は、行動権限リスト１４によりリアルタイムで行動者の行動権限情報リストを取得することができる。認証情報入力手段１２により行動者の認証情報を入力される際、行動権限リスト１４にアクセスし、行動権限情報リストを作成する。尚、同じ行動者の異常を検知する場合は、最初一回のみ、行動権限リスト１４にアクセスし、正常・異常行動情報を得て、行動権限情報リストを作成するようにしてもよい。
【００３０】
行動権限リスト１４では、正常・異常行動の定義は、動的に変更することができる。例えば、監視領域，時間帯に応じて、正常・異常行動の定義を変更することができる。例えば、所定の時間になった場合や、行動者が所定の監視領域に入った場合に、定義を変更することができる。行動権限リスト１４の変更が発生する際、行動権限決定手段１３へ自動的に通報し、新しい行動権限情報リストを更新する。また、行動権限リスト１４は、同じ認証情報を持つ集団行動者に対して、行動権限を定義することもできる。例えば、同じ作業服を着用している作業員は集団行動者として、同じ行動権限を持ったものであるとみなして、異常検知することが可能である。
【００３１】
出力手段１７は、異常を検知した際は警報を出すものであり、伝統的な色，音，光などの警報方法が利用可能である。携帯電話や電子メールに配信することが可能であり、異常検知される行動者の実画像も転送することも可能である。異常行動の定義や緊急度に応じて、出力手段を変更することも可能である。
【００３２】
また、他の装置と連携し、例えば、ドアを開けたり，閉めたり、制御装置に対して異常防止などの制御をすることも可能である。ＰＤＡや携帯端末に異常行動の警報や正常行動の案内などを出力することも可能である。
【００３３】
図２は、本発明の一実施例による異常検知装置の行動権限管理手段の内部構成である。図示するように、行動権限管理手段１５は、行動状態捜索手段２２，行動権限抽出手段２３から構成される。
【００３４】
図１の行動認識手段１１により入力された行動者が取った行動情報２０と、図１の行動権限決定手段１３により入力された行動者の行動権限情報リスト２１とを、行動権限管理手段１５に入力する。行動状態捜索手段２２は、行動者の行動権限情報リスト２１を参照し、行動者が取った行動を捜索し、行動状態情報として行動権限抽出手段２３へ出力する。行動権限抽出手段２３は、入力された行動状態情報に応じて、行動者の正常・異常行動を抽出し、行動権限情報２４として出力する。この行動権限情報２４は、行動者の行動によって変更後の行動権限である。
【００３５】
図３は、本発明の一実施例による異常検知装置のデータフローを示す。カメラ装置など画像情報入力手段１０を用いて、行動者を含む画像情報３０を行動認識手段１１へ出力する。行動認識手段１１は、画像情報３０により、行動者の行動を認識し、行動情報３１を行動権限管理手段１５へ出力する。例えば、行動者の行動はＡと認識された場合は、Ａを出力する。
【００３６】
カードリーダなど認証情報入力手段１２を利用し、行動者が持つカードを読み込み、認証情報３３を行動権限決定手段１３へ出力する。例えば、行動者のＩＤは１であれば、ＩＤ＝１という認証情報を出力する。行動権限決定手段１３は、行動権限リスト１４にアクセスし、ＩＤ＝１に対して、正常・異常行動の定義リストを取り出し、行動権限情報リスト３４として行動権限管理手段１５へ出力する。
【００３７】
行動権限管理手段１５では、行動権限情報リスト３４と行動者の行動情報３１とが入力され、行動権限情報リスト３４を参照して、行動情報３１の行動に応じて、行動権限情報３５を抽出する。例えば、行動者がＡの行動を実行した場合は、正常な行動はＡ，Ｂ，Ｃ，Ｆであり、異常な行動はＤ，Ｅであるという行動権限情報３５を抽出し、異常判断手段１６へ出力する。この行動権限情報３５は、行動情報３１の行動に応じて正常・異常が変化した、変更後の行動権限である。
【００３８】
異常判断手段１６は行動権限情報３５を参照し、行動認識手段１１から入力された行動者の行動情報３２が正常か異常かを判断する。例えば、認識された行動情報がＥの場合は、行動権限情報３５ではＥが異常行動であるため、異常行動と判断する。異常行動と判断された場合、警報情報３６を出力手段１７へ出力する。
【００３９】
出力手段１７では、警報情報３６を受け、警報を出す。
【００４０】
図４は、本発明の行動権限リストの一例である。行動権限リスト１４は、行動者（行動者の認証情報）に対応して、予め正常行動と異常行動とを定義するものである。４０は行動者の行動及び行動順序を定義する行動リストである。例えば、Ａ−＞Ｂ−＞Ｄの意味は、行動者の行動はＡ，Ｂ，Ｄである。それらの行動順序は、Ａをした後でＢをし、Ｂをした後でＤをするという意味である。この行動リスト４０を参考し、行動マトリックス４１を作成する。この行動マトリックス４１の作成は、予め作成して行動権限リストに保存しておくか、行動権限決定手段１３，行動権限管理手段１５の何れかで作成すればよい。ここでは、予め作成されているものとして説明する。表の中で、１は正常行動、０は異常行動を示す。最左列，最下行は行動者の行動であり、各マトリックスの値は、最左列の行動があった後における、最下行の行動の正常・異常行動を定義するものである。例えば、第一行目の行動権限情報４２は、行動認識手段１１において行動権限管理手段に入力された行動がＡであった場合に対応し、行動Ａに応じて、最下行の各行動Ａ〜Ｆが、正常行動であるか異常行動であるかを定義している。すなわち、行動者が行動Ａを実行したら、その後の行動者の行動Ａ，Ｂ，Ｃ，Ｆは１であり、正常行動と定義する。同様に、行動者の行動Ｄ，Ｅは０であり、異常行動と定義する。Ａ−＞Ｂ−＞Ｄが正常行動であれば、この行動の順に行った場合に全て正常行動であると判定されるように、対応するマトリックスの値を１で埋めてゆく。たとえば、Ａ−＞Ｂは正常行動なので、最左列Ａ，最下列Ｂに対応する欄は１となり、その後のＢ−＞Ｄについても、最左列Ｂ，最下列Ｄに対応する欄を１とする。同様に、これを全ての行動リストの中の行動に対して行うことで、行動マトリックス４１を作成できる。
【００４１】
そして、例えば、行動権限決定手段１３は、行動権限リスト１４を参照して、認証情報３３（ＩＤ＝１）に対応する行動マトリックス４１を抽出し、行動権限情報リスト３４として行動権限管理手段１５に出力する。行動権限管理手段１５は、Ａの行動情報３１を入力されれば、行動マトリックス４１を参照して、第一行目の行動権限情報４２を行動権限情報として出力する。
【００４２】
また、認証情報入力手段１２において、行動者を認証できない場合は、行動者に最低権限であるＩＤを付け、行動権限決定手段１３は、行動権限リスト１４を参照して、予め設定した最低行動権限情報リストを行動権限情報リスト３４として出力する。例えば、この最低行動権限情報リストでは、各行動マトリックスの値は０を設定することができ、すべて行動に対して、異常と判断できる。この最低行動権限情報リストは、時間，監視領域などに応じて変更可能である。
【００４３】
図５は、本発明の一実施例による異常検知装置のフローチャートである。ステップ５０では、認証情報入力手段１２により、行動者のカードなどを読み込み、入退室管理入力を行う。ステップ５１では、認証されるか否かを判断する。認証されない場合は、不審行動者と判断し、警報を生成する。認証された場合は、ステップ５３を行い、認証情報が行動権限決定手段１３に入力され、行動者の認証情報（ＩＤなど）により、行動権限リストの参照を行うステップ５２を介して、行動権限情報リストを決定する。そして、ステップ５４では、カメラなどにより撮影された行動者の行動があるか否かを行動認識手段１１で判断する。行動が発生した場合は、ステップ５５で行動を認識する。ステップ５６では、発生した行動により、行動権限管理手段１５が行動権限を変更し、行動権限情報を算出する。また、ステップ５７では、カメラなどにより撮影された行動者の次の行動を行動認識手段１１が認識する。ステップ５８では、算出した行動権限情報を参照し、ステップ５７で認識された行動が異常か否かを異常判断手段にて判断する。ステップ５９では、異常の行動を判断した場合は、警報する。異常がない場合には、ステップ５４に戻る。
【００４４】
図６は、本発明の一実施例による異常検知装置である。本実施形態は、図示するように、画像情報入力手段６０，行動認識手段６１，認証情報入力手段６２，行動権限決定手段６３，行動権限リスト６４，行動権限管理手段６５，異常判断手段６６、及び出力手段６７から構成される。
【００４５】
本実施形態における各部の機能は、図１に示した画像情報入力手段１０，行動認識手段１１，認証情報入力手段１２，行動権限決定手段１３，行動権限リスト１４，行動権限管理手段１５，異常判断手段１６、及び出力手段１７と同様であるが、本実施形態における行動認識手段６１は、行動権限管理手段６５から行動者の行動権限情報が入力され、この行動権限情報に従って、行動者の異常行動に絞って認識を行う点が異なっている。
【００４６】
また、認証情報入力手段６２で最高行動情報権限を持つ行動者が認証された場合、あるいは、最高行動権限情報が行動権限管理手段６５に入力された場合は、行動権限管理手段６５は、行動認識手段６１へ信号を出力し、行動者の正常・異常行動を認識する必要がないと判断することが可能であり、警報情報を生成しない。尚、行動認識手段６１へ信号を出力する代わりに、異常判断手段６６に信号を出力してもよく、この場合も同様に、行動者の正常・異常行動を認識する必要がないと判断することが可能であり、警報情報を生成しない。
【００４７】
図７は、異常検知装置の一実施例である異常作業検知装置の例を示す図である。ここでは、図７に示すように、認証装置、例えばＩＣカードリーダなどの入退室管理装置７０，カメラ７１と連携し、作業員の異常作業を検知した場合に、警報情報を作成するような異常作業検知装置の場合を例に説明する。例えば、データセンターで作業員７２が認証され、入室する。この作業員７２には、行動権限リスト７４が与えられている。
【００４８】
作業員７２が入室する行動が発生した場合は、サーバの格納された棚のドア７３を開ける行動と部屋を出る行動が正常行動であり、閉める行動が異常である。作業員７２がドア７３を開ける行動が発生した場合は、異常・正常の行動権限基準を変化し、閉める行動が正常行動になり、部屋を出る行動が異常行動になる。例えば、作業員７２はドア７３を開けたら、ドア７３を閉めないで、部屋を出ることは異常であり、アラームなど警報を生成し、出力する。
【００４９】
ドア７３を開ける行動、閉める動作の認識はセンサ，画像処理で検出可能である。ドア７３を開ける行動と閉める行動は音が発生するため、音による認識でも検出可能である。また、検知する行動の定義は監視目的により、追加することも可能である。
【００５０】
図８は、異常検知装置の一実施例である店舗の異常検知装置の例を示す図である。ここでは、カメラ８０の映像情報を用いて、店舗の店長，店員、及び客の異常行動を検知した場合、警報情報を作成するような異常検知装置の場合を例に説明する。
【００５１】
例えば、カメラ８０より、客８１が認証された場合、行動権限リスト８４を与える。この行動権限リスト８４は、店に入る，物を取る，お金を払う，店を出るという各行動を定義する。この場合、客は店に入った場合は、取る，出る，払う行動がすべて正常である。客は物を取った行動が発生した場合は、行動権限が変化し、払う行動が正常行動になり、出る行動は異常行動になる。客は物を取った場合は、払わないで、直接出る行動が発生した場合は、異常行動と判断し、警報情報を生成する。通常の場合は、客はルート８３が示すように、店に入って、棚で物を取って、レジでお金を払って、店を出た場合は正常であると判断し、警報しない。
【００５２】
同じように、店員に行動権限情報リストを与えれば、正常・異常判断も可能である。また、店長８２が認証された場合、最高行動情報権限を与える。行動権限管理手段１５は、店長の最高行動情報権限に応じて、異常行動を認識する必要がないと判断し、行動認識手段１１または異常判断手段１６に信号を送り、異常判断や警報情報を生成しないようにする。
【００５３】
客，店員，店長の認証については、カメラ映像により、ユニフォーム，顔画像などを認証情報として利用可能である。
【００５４】
本発明では、位置情報を行動とみなして、行動者の異常行動を検知することも可能である。位置の計測方法は様々であるが、例えば、ＧＰＳから直接求めたり、ＲＦＩＤリーダを用いて、ＲＦＩＤの電波強度を三角測量して、位置を求めることが可能である。また、画像情報を用いて、実世界座標に変換し、位置を求めることも可能である。具体例に基づいて、詳細に説明する。
【００５５】
図９は、異常検知装置の一実施例である不正立ち入り異常検知装置の例を示す図である。ここでは、図９に示すように、入退室管理装置９０とカメラ９１と連携し、許可されないエリアに入る行動者を検知した場合、警報情報を作成するような異常検知装置の場合を例に説明する。
【００５６】
例えば、データセンターで許可されないエリアに不正立ち入りする行動者９２を検知したとする。行動者９２が例えば暗証番号による入退室管理装置９０で認証され、当人の行動権限リスト９８が図のように与えられているとする。この行動権限リスト９８を参照し、エリア９３からエリア９５へ移動すること、エリア９３内で移動すること、エリア９５からエリア９３へ移動すること、エリア９５内で移動することは正常行動であると分かった。行動者９２は、正常ルート９７が示すように、エリア９３からエリア９５へ移動してエリア９５で徘徊する行動は行動権限の範囲内であるため、警報を出す必要がないと判断する。一方、行動者９２は、異常ルート９６が示すように、エリア９３からエリア９４へ移動する、またはエリア９４内で移動することは行動権限の範囲外であるため、警報情報を生成する。
【００５７】
図９のような不正立ち入り検知装置は空港，工場ラインでも利用可能である。例えば、客が持つ航空券，パスポートなどの認証情報により、エリアなどの行動権限情報を決め、カメラで客の位置情報を得て、異常検知することが可能である。
【００５８】
また、本発明では、異常行動を検知すると同時に、正常行動を得て、行動者に案内することも可能である。具体例に基づいて、詳細に説明する。
【００５９】
例えば、図１０は、異常検知装置の一実施例である火事避難案内装置の例である。この例では、位置情報を行動とみなして行動情報を生成するものとして説明する。図１０に示すように、エリア５で火事が発生した場合は、カメラ１００が撮影した映像情報により、行動者１０１が認証され、行動権限リスト１０２を得る。行動者１０１がエリア７にいた行動に応じて、正しいルートを決め、エリア４を通って、エリア１の出口を案内することが可能である。具体的には、エリア５へ至る行動が異常行動となる。ここではさらに、エリア５から出る行動も異常行動とした。また、行動者１０１はエリア８を選択した場合は、エリア９を案内し、そして、エリア６，エリア３，エリア２を通って、エリア１の出口を案内することが可能である。
【００６０】
このルートの情報を出力することも可能である。例えば、行動者が持つ携帯機器（携帯電話，ＰＤＡなど）に正しルートを案内する情報を出力可能である。
【００６１】
この場合は、消防員は制服などにより、最高権限を持つ行動者と認識し、行動を認識することは必要がなく、どこのエリアにも入ることができる。
【００６２】
図１１は、図１０と同じ原理で考えられ、異常検知装置の一実施例である空港搭乗案内装置の例である。例えば、行動者１１８がパスポート等による認証を経て、出発ロビー１１９に入った場合を説明する。航空券から、飛行機便，時間，出発カウンター，行動権限リスト１１６，出発前行動権限リスト１１７を得た。行動権限リスト１１６に示すように、出発時間まで余裕がある場合は、トイレエリア１１２，ショップエリア１１３，案内所エリア１１４，動く歩道１１５の間で自由に移動する行動権限があり、移動しても警報を生成しない。そして、飛行機の出発時間が迫った場合は、行動権限リスト１１６から出発前行動権限リスト１１７に変更する。出発前行動権限リスト１１７に示すように、速やかに出発カウンター１１１に移動すると正常と判断し、警報情報を生成しない。行動者１１８は、出発カウンター１１１以外、行動権限がないエリアに移動した場合は、異常行動と判断し、警報情報を生成することが可能となる。その際は、乗務員に通報し、案内情報を流すことも可能である。また、行動者が持つ携帯機器に案内メールやメッセージを送ることも可能である。
【００６３】
尚、本発明における異常行動には、危険行動や禁止行動なども含まれる。
【００６４】
以上、本発明を実施例を用いて説明してきたが、これまでの各実施例で説明した構成はあくまで一例であり、本発明は、技術思想を逸脱しない範囲内で適宜変更が可能である。また、それぞれの実施例で説明した構成は、互いに矛盾しない限り、組み合わせて用いても良い。
【符号の説明】
【００６５】
１０，６０ 画像情報入力手段
１１，６１ 行動認識手段
１２，６２ 認証情報入力手段
１３，６３ 行動権限決定手段
１４，６４，７４，８４，９８，１０２，１１６ 行動権限リスト
１５，６５ 行動権限管理手段
１６，６６ 異常判断手段
１７，６７ 出力手段
２０ 行動者が取った行動情報
２１ 行動者の行動権限情報リスト
２２ 行動状態捜索手段
２３ 行動権限抽出手段
２４，３５，４２ 行動権限情報
３０ 画像情報
３１，３２ 行動情報
３３ 認証情報
３４ 行動権限情報リスト
３６ 警報情報
４０ 行動リスト
４１ 行動マトリックス
７０，９０ 入退室管理装置
７１，８０，９１，１００，１１０ カメラ
７２ 作業員
７３ ドア
８１ 客
８２ 店長
８３ ルート
９２，１０１，１１８ 行動者
９３，９４，９５ エリア
９６ 異常ルート
９７ 正常ルート
１１１ 出発カウンター
１１２ トイレエリア
１１３ ショップエリア
１１４ 案内所エリア
１１５ 動く歩道
１１７ 出発前行動権限リスト
１１９ 出発ロビー
【特許請求の範囲】
【請求項１】
カメラにより行動者を撮影して動画像を画像情報として出力する画像情報入力手段と、行動者を認証して行動者の認証情報を出力する認証情報入力手段と連携し、行動者の異常行動を検知する異常検知装置であって、
前記画像情報入力手段からの動画像に含まれる行動者を検出し、行動者の行動を認識し、行動者の行動を抽出して行動者行動情報として出力する行動認識手段と、
前記認証情報入力手段からの認証情報に対応して、予め異常・正常行動を定義する行動権限リストと、
前記認証情報入力手段より入力された行動者の認証情報に応じて、前記行動権限リストを参照し、行動者の異常・正常行動情報を得て、行動権限情報リストとして出力する行動権限決定手段と、
前記行動認識手段から入力された行動者行動情報と前記行動権限決定手段から入力された行動権限情報リストによって、行動者の行動に応じて、行動者の行動権限を算出し、行動者の行動権限情報として出力する行動権限管理手段と、
前記行動権限管理手段から入力された行動権限情報を参照し、前記行動認識手段から入力された行動者行動情報が示す行動者の行動が異常か否かを検知し、異常であると判断した場合には警報情報を出力する異常判断手段と、
前記異常判断手段から警報情報が入力されると警報を出力する出力手段とを有することを特徴とする異常検知装置。
【請求項２】
請求項１に記載の異常検知装置において、
前記認証情報入力手段で最高行動情報権限を持つ行動者が認証された場合、あるいは、最高行動権限情報が前記行動権限管理手段に入力された場合は、前記行動権限管理手段は、前記行動認識手段または前記異常判断手段へ信号を出力し、行動者の異常・正常行動を認識する必要がないと判断し、警報情報を生成しないことを特徴とする異常検知装置。
【請求項３】
請求項１または２に記載の異常検知装置において、
前記認証情報入力手段は、行動者の認証情報を認証できない場合は、行動者に最低権限である認証情報を付けて出力し、前記行動権限決定手段は、前記認証情報を用いて、前記行動権限リストを参照して、予め設定した最低行動権限リストを行動権限情報リストとして出力することを特徴とする異常検知装置。
【請求項４】
請求項１から３の何れかに記載の異常検知装置において、
前記行動権限リストは、行動者の認証情報に対応して、異常・正常行動を定義し、行動者の行動及び行動順序を表すデータを備えることを特徴とする異常検知装置。
【請求項５】
請求項１から４の何れかに記載の異常検知装置において、
前記行動権限リストは、時間または監視領域に応じて変更されることを特徴とする異常検知装置。
【請求項１】
カメラにより行動者を撮影して動画像を画像情報として出力する画像情報入力手段と、行動者を認証して行動者の認証情報を出力する認証情報入力手段と連携し、行動者の異常行動を検知する異常検知装置であって、
前記画像情報入力手段からの動画像に含まれる行動者を検出し、行動者の行動を認識し、行動者の行動を抽出して行動者行動情報として出力する行動認識手段と、
前記認証情報入力手段からの認証情報に対応して、予め異常・正常行動を定義する行動権限リストと、
前記認証情報入力手段より入力された行動者の認証情報に応じて、前記行動権限リストを参照し、行動者の異常・正常行動情報を得て、行動権限情報リストとして出力する行動権限決定手段と、
前記行動認識手段から入力された行動者行動情報と前記行動権限決定手段から入力された行動権限情報リストによって、行動者の行動に応じて、行動者の行動権限を算出し、行動者の行動権限情報として出力する行動権限管理手段と、
前記行動権限管理手段から入力された行動権限情報を参照し、前記行動認識手段から入力された行動者行動情報が示す行動者の行動が異常か否かを検知し、異常であると判断した場合には警報情報を出力する異常判断手段と、
前記異常判断手段から警報情報が入力されると警報を出力する出力手段とを有することを特徴とする異常検知装置。
【請求項２】
請求項１に記載の異常検知装置において、
前記認証情報入力手段で最高行動情報権限を持つ行動者が認証された場合、あるいは、最高行動権限情報が前記行動権限管理手段に入力された場合は、前記行動権限管理手段は、前記行動認識手段または前記異常判断手段へ信号を出力し、行動者の異常・正常行動を認識する必要がないと判断し、警報情報を生成しないことを特徴とする異常検知装置。
【請求項３】
請求項１または２に記載の異常検知装置において、
前記認証情報入力手段は、行動者の認証情報を認証できない場合は、行動者に最低権限である認証情報を付けて出力し、前記行動権限決定手段は、前記認証情報を用いて、前記行動権限リストを参照して、予め設定した最低行動権限リストを行動権限情報リストとして出力することを特徴とする異常検知装置。
【請求項４】
請求項１から３の何れかに記載の異常検知装置において、
前記行動権限リストは、行動者の認証情報に対応して、異常・正常行動を定義し、行動者の行動及び行動順序を表すデータを備えることを特徴とする異常検知装置。
【請求項５】
請求項１から４の何れかに記載の異常検知装置において、
前記行動権限リストは、時間または監視領域に応じて変更されることを特徴とする異常検知装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−６９０２３（Ｐ２０１２−６９０２３Ａ）
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願番号】特願２０１０−２１４６６３（Ｐ２０１０−２１４６６３）
【出願日】平成２２年９月２７日（２０１０．９．２７）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願日】平成２２年９月２７日（２０１０．９．２７）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]