セキュリティーシステム
【課題】ズームアップ用のカメラなどを必要することなく、安価なカメラシステムによって構築可能なセキュリティーシステムを提供する。
【解決手段】本発明のセキュリティーシステムは、セキュリティー確保の対象となる空間での滞在を許容された人物それぞれに付与されたＩＤを記憶すると共に、当該ＩＤに応じた人物の姿勢情報に関わる姿勢情報モデルデータを記憶するモデルデータ記憶部１２０と、前記空間を撮像し撮像データを取得する撮像装置１１０と、前記撮像手段によって取得された撮像データから人物の動きを抽出し当該人物の姿勢情報を推定する姿勢情報推定手段と、前記姿勢推定手段によって推定された姿勢情報と前記記憶手段に記憶される姿勢情報モデルデータとから、当該人物がＩＤを付与された人物である確率を算出する確率算出手段と、前記確率算出手段によって算出された確率に基づいて、当該人物がＩＤを付与された人物であるか否かを判定する第１判定手段と、を有することを特徴とする。
【解決手段】本発明のセキュリティーシステムは、セキュリティー確保の対象となる空間での滞在を許容された人物それぞれに付与されたＩＤを記憶すると共に、当該ＩＤに応じた人物の姿勢情報に関わる姿勢情報モデルデータを記憶するモデルデータ記憶部１２０と、前記空間を撮像し撮像データを取得する撮像装置１１０と、前記撮像手段によって取得された撮像データから人物の動きを抽出し当該人物の姿勢情報を推定する姿勢情報推定手段と、前記姿勢推定手段によって推定された姿勢情報と前記記憶手段に記憶される姿勢情報モデルデータとから、当該人物がＩＤを付与された人物である確率を算出する確率算出手段と、前記確率算出手段によって算出された確率に基づいて、当該人物がＩＤを付与された人物であるか否かを判定する第１判定手段と、を有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、セキュリティーを確保したい空間における監視を自動的に行うセキュリティーシステムに関する。
【背景技術】
【０００２】
従来よりセキュリティーを確保したい空間において、当該空間を無人で監視するセキュリティーシステムが種々提案されている。例えば、特許文献１（特開２００５−２９５４６９号公報）には、所定領域を監視するシステムにおいて、侵入者を的確に検知し、無人監視状態であっても、的確なアングル制御やズーミング制御を行ない、侵入者の的確な映像の録画や、低い誤報率で警報を発することの可能な監視システムが開示されている。
【特許文献１】特開２００５−２９５４６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に記載のセキュリティーシステムでは、ズームアップ用のカメラなどが必要となり、セキュリティーシステムを構築する際に大きなコストが必要となる、という問題があった。
【課題を解決するための手段】
【０００４】
上記問題点を解決するために、請求項１に係る発明は、セキュリティー確保の対象となる空間での滞在を許容された人物それぞれに付与されたＩＤを記憶すると共に、当該ＩＤに応じた人物の姿勢情報に関わる姿勢情報モデルデータを記憶する記憶手段と、前記空間を撮像し撮像データを取得する撮像手段と、前記撮像手段によって取得された撮像データから人物の動きを抽出し当該人物の姿勢情報を推定する姿勢情報推定手段と、前記姿勢推定手段によって推定された姿勢情報と前記記憶手段に記憶される姿勢情報モデルデータとから、当該人物がＩＤを付与された人物である確率を算出する確率算出手段と、前記確率算出手段によって算出された確率に基づいて、当該人物がＩＤを付与された人物であるか否かを判定する第１判定手段と、を有することを特徴とするセキュリティーシステムである。
【０００５】
また、請求項２に係る発明は、請求項１に記載のセキュリティーシステムにおいて、前記第１判定手段によって、当該人物がＩＤを付与された人物でないと判断されたとき、前記前記第１判定手段による判定方法と異なる方法によって、当該人物がＩＤを付与された人物であるか否かを判定する第２判定手段を有する。
【発明の効果】
【０００６】
本発明の請求項１に記載のセキュリティーシステムによれば、ズームアップ用のカメラなどを必要することなく、安価なカメラシステムによってセキュリティーシステムを構築することが可能となる。
【０００７】
また、本発明の請求項１に記載のセキュリティーシステムによれば、特定しようとする人物がサングラスなどをかけた場合においても、セキュリティーシステムが不能とならない。
【０００８】
また、本発明の請求項２に記載のセキュリティーシステムによれば、前記第１判定手段による判定方法と異なる方法によって、当該人物がＩＤを付与された人物であるか否かを判定する第２判定手段を有するので、第１判定手段をバックアップすることが可能となる
。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係るセキュリティーシステムの概念を説明する図である。
【図２】本発明の実施形態に係るセキュリティーシステムの概要のブロック図である。
【図３】本発明の実施形態に係るセキュリティーシステムで用いられるベイジアンネットワークの概念を示す図である。
【図４】本発明の実施形態に係るセキュリティーシステムの撮像装置によって取得されるデータを示す図である。
【図５】本発明の実施形態に係るセキュリティーシステムの撮像データなどから認識される動作データの構造を示す図である。
【図６】本発明の実施形態に係るセキュリティーシステムのモデルデータ記憶部に記憶されるデータを説明する図である。
【図７】本発明の実施形態に係るセキュリティーシステムにおける姿勢情報モデルデータのデータ構造を示す図である。
【図８】本発明の実施形態に係るセキュリティーシステムの登録データ記憶部に記憶されるデータを説明する図である。
【図９】本発明の実施の形態に係るセキュリティーシステムで用いる姿勢情報モデルのネットワーク構造を示す図である。
【図１０】ベイジアンネットワーク構造における生理状態Ｐｈ（５）がとる状態を示す図である。
【図１１】本発明の実施形態に係るセキュリティーシステムによる処理のフローチャートを示す図である。
【図１２】本発明の実施形態に係るセキュリティーシステムにおける第１人物判定処理サブルーチンのフローチャートを示す図である。
【図１３】本発明の実施形態に係るセキュリティーシステムにおける姿勢認識処理サブルーチンのフローチャートを示す図である。
【図１４】本発明の実施形態に係るセキュリティーシステムにおける確率Ｐid計算処理サブルーチンのフローチャートを示す図である。
【図１５】本発明の実施形態に係るセキュリティーシステムにおける第２人物判定処理サブルーチンのフローチャートを示す図である。
【図１６】本発明の実施形態に係るセキュリティーシステムにおける学習処理サブルーチンのフローチャートを示す図である。
【図１７】本発明の実施形態に係るセキュリティーシステムにおける個人モデルデータの学習処理のサブルーチンのフローチャートを示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明のセキュリティーシステムにおける好適な実施の形態について、図面を参照しつつ説明する。図１は本発明の実施形態に係るセキュリティーシステムの概念を説明する図であり、図２は本発明の実施形態に係るセキュリティーシステムの概要のブロック図である。図１において、Ｒは本システムでのセキュリティー確保の対象となる空間であり、Ａ、Ｂ、Ｃ、Ｄはそのような空間Ｒに滞在している人物を表している。また、図１及び図２において、１００は主制御部、１１０は撮像装置、１２０はモデルデータ記憶部、１３０は登録データ記憶部、１４０は通信部、２００はセキュリティー管理センターをそれぞれ示している。
【００１１】
本実施形態に係るセキュリティーシステムは、図１における空間Ｒのセキュリティーを確保するために、当該空間Ｒに滞在しているそれぞれの人物を特定するように動作するも
のである。ここで、空間Ｒに滞在を許容された人物については、あらかじめそれぞれ固有のＩＤ番号などを付与して登録する。さらに、このＩＤに対応した人物毎の動き方（動作）のクセをデータ化することによって、システムが人物判定を行うようになっている。なお、人物毎の動き方のクセに基づいて、システムが人物判定を行う判定を、本実施形態では第１の人物判定とている。また、動き方のクセなどを記録したデータは、本実施形態においては、姿勢情報に関わる姿勢情報モデルデータと称し、このデータを後述するようなベイジアンネットワークによるモデルに基づいて作成する。本実施形態に係るセキュリティーシステムは、姿勢情報モデルデータに基づかずに、人物判定を行う第２の人物判定手段を有している。この第２の人物判定手段については、本実施形態では、人物毎に予め登録してある顔画像データと、撮像した撮像データとを画像処理的に比較することで判定する例に基づいて説明するが、本発明のセキュリティーシステムでは、第２人物判定手段としては、その他の手法のものを用いることができる。
【００１２】
ここで、本発明のセキュリティーシステムで姿勢情報モデルデータに基づく人物判定に用いるベイジアンネットワークの概要について説明する。図３は本発明の実施形態に係るセキュリティーシステムで用いられるベイジアンネットワークの概念を示す図である。ベイジアンネットワークとは、確率的な因果関係をグラフ構造で表現したモデルである。図３に示す各ノードＸ１、Ｘ２、Ｘ３、Ｘ４は確率変数を表し、それらの間の因果関係の有無を有向グラフで、また、確率変数の取りうる値のノード間での因果関係を条件付確率で表す。ノードＸ１とノードＸ２とは確率的な関係があることを、ノードＸ１からノードＸ２への矢印によって示している。ノードＸ２はノードＸ１、Ｘ３からの影響を、また、ノードＸ４はノードＸ３の影響を受ける関係となっており、このような因果関係を加味した確率テーブルが、図３中に示す条件付き確率テーブルである。これに対して、ノードＸ１、Ｘ３はどのノードからの影響も受けない親ノードであり、このときの確率テーブルは図中に示す事前確率テーブルのようになる。図３示すものの場合、そのグラフの構造より、全ての確率変数の結合確率はＰ（Ｘ１，Ｘ２，Ｘ３，Ｘ４）＝Ｐ（Ｘ１）Ｐ（Ｘ２｜Ｘ１，Ｘ３）Ｐ（Ｘ３）Ｐ（Ｘ４｜Ｘ３）となる。ベイジアンネットワークを利用した推論においては、この結合確率の周辺化により、周辺事後確率を求めることにより行われる。このようなベイジアンネットワークに基づく確率算出の手法については、発明者らによる出願番号２００８−９０７５５号（発明の名称「セキュリティーシステム」）、出願番号２００８−９０７７７号（発明の名称「セキュリティーシステム及び運転支援方法」）に詳しく記載されているので、本明細書においてもこれら出願の内容を援用するものとする。
【００１３】
さて、本実施形態に係るセキュリティーシステムは、空間Ｒのセキュリティーを確保するために、当該空間Ｒに滞在しているそれぞれの人物を特定するように動作するが、そのために空間Ｒの動画を撮影するための撮像装置１１０が設けられている。図１においては、この撮像装置１１０が４台設けられる例について示しているが、このような撮像装置１１０の設置台数はこれに限定されるものではない。したがって、本発明のセキュリティーシステムでは、２以上のｎ台の撮像装置１１０を用いて、これらｎ台の撮像装置１１０からのｎの撮像データを取得することができる。図４は本発明の実施形態に係るセキュリティーシステムの撮像装置によって取得されるデータを示す図である。
【００１４】
図４に示すようなｎ台の撮像装置１１０によって取得された撮像データからは、人物の動き方に係る情報（位置情報なども含む姿勢情報）を抽出・推定して、人物毎の動き方のクセなどのデータである姿勢情報に関わる姿勢情報モデルデータを作成したり、或いは、前記抽出・推定した情報と、予め登録されている姿勢情報モデルデータとに基づいて、撮像データによって認識された人物を特定したりするようにしている。
【００１５】
図５は本発明の実施形態に係るセキュリティーシステムの撮像データなどから認識される動作データの構造を示す図である。図５に示すよう個人の動作データの内訳としては「
位置情報」、「姿勢情報」、「非顕在情報」に大別することができる。これらのデータのうち、「位置情報」、「姿勢情報」については、撮像装置１１０によって取得された撮像データからの推定が行われる。「位置情報」は対象となる人物の存在位置に関する情報であり、これは撮像データから求められる。また、「姿勢情報」の下には、「右手の位置」、「左手の位置」、「右ひじ位置」、「左ひじ位置」、「顔の向き」、「右足の位置」、「左足の位置」、「右ひざの位置」、「左ひざの位置」、「腰の位置」、「体の向き」などのデータがあり、これらは撮像データからの推定が行われる。また、「非顕在情報」には「心理状態」、「行動変数」は、撮像データなどから認識することができない情報であり、本実施形態では「心理状態」は「平静」、「緊張」、「疲労」、「興奮」、「その他」の５状態をとる分散量データであり、「行動変数」は当該人物の行動パターンを数値化した連続量データである。
【００１６】
主制御部１００は、ＣＰＵとＣＰＵ上で動作するプログラムを保持するＲＯＭとＣＰＵのワークエリアであるＲＡＭなどからなる汎用の情報処理機構である。主制御部１００は、ブロック図中に示されている主制御部１００と接続される各構成と協働・動作する。また、主制御部１００は、本発明のセキュリティーシステムにおける種々の制御処理は、主制御部１００内のＲＯＭなどの記憶手段に記憶保持されるプログラムやデータに基づいて実行されるものである。
【００１７】
上記のような主制御部１００には、モデルデータ記憶部１２０が接続されており、主制御部１００は、モデルデータ記憶部１２０に登録、記録されている個々の人物の姿勢情報モデルデータを参照したり、或いは、新規に姿勢情報モデルデータを登録したり、既に登録されている姿勢情報モデルデータを更新したりする。
【００１８】
次に、このようなモデルデータ記憶部１２０に記憶されているデータについて説明する。図６は本発明の実施形態に係るセキュリティーシステムのモデルデータ記憶部に記憶されるデータを説明する図であり、図７は本発明の実施形態に係るセキュリティーシステムにおける姿勢情報モデルデータのデータ構造を示す図である。図６に示すように、モデルデータ記憶部１２０は、セキュリティーを確保すべき対象となる空間Ｒにおける滞在を許可された人物それぞれに付与された固有の登録ＩＤ（ｉｄ＝１，２，３，・・・，Ｍ）と、その登録ＩＤに対応したそれぞれの人物の姿勢情報モデルデータを記憶している。図７は個々の姿勢情報モデルデータのデータ構造をより詳しく説明する図である。図７に示すように、姿勢情報モデルデータ中のデータは、概略、離散データ、連続データの２種類のデータに分類することができる。前者には「心理状態」のデータが属し、このデータは条件付き確率テーブルの形式で保有される。また、後者には「現在位置」、「右手の位置」、「左手の位置」、「右ひじ位置」、「左ひじ位置」、「頭の位置」、「顔の向き」、「右足の位置」、「左足の位置」、「右ひざの位置」、「左ひざの位置」、「腰の位置」、「体の向き」、「行動変数」の各データが属し、これらのデータはガウス分布の平均・分散・重みの形式で保有される。
【００１９】
また、主制御部１００には、登録データ記憶部１３０が接続されており、主制御部１００は、登録データ記憶部１３０に登録、記録されている個々の人物のマッチング用の顔画像データを参照したり、或いは、マッチング用の顔画像データを新規登録したり、既に登録されている顔画像データを更新したりする。図８は本発明の実施形態に係るセキュリティーシステムの登録データ記憶部に記憶されるデータを説明する図である。図８に示すように、登録データ記憶部１３０は、セキュリティーを確保すべき対象となる空間Ｒにおける滞在を許可された人物それぞれに付与された固有の登録ＩＤ（ｉｄ＝１，２，３，・・・，Ｍ）と、その登録ＩＤに対応したそれぞれの人物の顔を撮影した顔画像データを記憶している。このような登録データ記憶部１３０に記憶されている顔画像データは、姿勢情報モデルデータに基づかない人物判定である第２人物判定手段を実行するときに用いられ
る。
【００２０】
主制御部１００には通信部１４０が接続されており、例えば、空間Ｒにおける滞在を許可されていない人物が滞在しているものと判定されたときは、この通信部１４０を介してセキュリティー管理センター２００などに通知・通報などがなされる。なお、このような通信部１４０を設けて通報を行うようにすることは必ずしも必須の構成ではなく、例えば単にアラート表示部を設けて、空間Ｒにおける滞在を許可されていない人物が滞在しているものと判定されたときは、当該表示部によってアラート表示を行うようにするだけでもよい。
【００２１】
次に、本発明のセキュリティーシステムで用いる姿勢情報モデルの具体的な構成について説明する。図９は本発明の実施の形態に係るセキュリティーシステムで用いる姿勢情報モデルのネットワーク構造を示す図である。本発明のセキュリティーシステムで用いる姿勢情報モデルは、（ａ）図９に示すベイジアンネットワークの構造、（ｂ）条件付き確率テーブル（図７の心理状態のデータ）、事前確率テーブル、（ｃ）ガウス分布のパラメーター（図７における連続データに属する各項目のデータ）から構成されるものである。これらの３つのうち（ａ）のベイジアンネットワークの構造は全ての登録ＩＤの人物に共通で用いられる。これに対して、（ｂ）、（ｃ）は学習によって登録ＩＤ個人毎のモデルデータとして記憶されたり、適宜更新されたりするようになっている。
【００２２】
図９のベイジアンネットワークの構造において、□は離散ノードを、○は連続ノードを示しており、離散ノード内の数字は各ノードが取る状態の数を示している。例えば、「生理状態Ｐｈ（５）」は、Ｐｈ＝０（平常）、Ｐｈ＝１（緊張）、Ｐｈ＝２（疲労）、Ｐｈ＝３（興奮）、Ｐｈ＝４（その他）、の５つの状態をとるものである。
【００２３】
図９のネットワーク構造においては、上段に示されている現在位置（ＰＯ）、右手の位置（ＲＨ）、・・・顔の向き（ＦＡ）の各ノード及び下段に示されている右足の位置（ＲＦ）、右足の位置（ＬＦ）、・・・体の向き（ＢＤ）の各ノードが親ノードであり、これらのノードが生理状態Ｐｈ（２）のノード、行動変数ＤＢのノードに影響を与えているものと考える。また、ネットワーク構造において、生理状態Ｐｈ（２）のノードが行動変数ＤＢのノードに影響を与えているものと考える。すなわち、生理状態データは、人物の位置情報データ、右手の位置などの姿勢情報データから影響を受けるノードであって、行動変数は、位置情報データ、姿勢情報データ及び生理状態データから影響を受けるノードとなるネットワーク構造となっており、このネットワーク構造の因果関係は、ベイジアンネットワークによって定められている。
【００２４】
ここで、ネットワーク構造で上段に示されている現在位置（ＰＯ）、右手の位置（ＲＨ）、・・・顔の向き（ＦＡ）の各ノード及び下段に示されている右足の位置（ＲＦ）、左足の位置（ＬＦ）、・・・・体の向き（ＢＤ）の各ノードは図７に示されているようにセキュリティーシステムで記憶される姿勢情報モデルデータと対応している。これらの連続データは、ガウス分布の「離散」、「平均」、「分散」の形で保有しておき、これを所定の確率に置き換える。
【００２５】
図９における生理状態Ｐｈ（５）ノードは、一種の裕度として働くものであり、このノードが存在しない場合、本発明のセキュリティーシステムが有効に動作しないことがあることが分かっている。これは、現在位置（ＰＯ）、右手の位置（ＲＨ）、・・・体の向き（ＢＤ）の各ノードの状態（運転状況の状態）が一意的に決定したとしても、行動変数ＤＢが一意的に決まるわけではないことに起因している。本発明のセキュリティーシステムでは、生理状態Ｐｈ（５）ノードを導入することによって、不確定要素を含んだ因果律を扱うことができるようになる。また、生理状態Ｐｈ（５）ノードは、本発明のセキュリテ
ィーシステムをコンピュータプログラムで実行する上で非常に重要となる。
【００２６】
図１０はベイジアンネットワーク構造における生理状態Ｐｈ（５）がとる状態を示す図である。図１０に示すように、本実施形態においては、生理状態Ｐｈ（５）は、Ｐｈ＝０（平常）、Ｐｈ＝１（緊張）、Ｐｈ＝２（疲労）、Ｐｈ＝３（興奮）、Ｐｈ＝４（その他）の５つの状態をとるものであるとしたが、本発明のセキュリティーシステムでは、生理状態Ｐｈを５以上の自然数の適当なものに設定することができる。
【００２７】
次に、本発明のセキュリティーシステムによる監視処理や学習処理などのフローの概略について説明する。図１１は本発明の実施形態に係るセキュリティーシステムによる処理のフローチャートを示す図である。なお、このようなフローチャートは、セキュリティーを確保すべき対象となる空間Ｒへの人物の進入が確認されたことを契機に動作するものである。
【００２８】
図１１において、ステップＳ１００で本発明のセキュリティーシステムによる処理が開始されると、続いてステップＳ１０１に進み、第１人物判定処理のサブルーチンが実行される。この第１人物判定処理のサブルーチンは、姿勢情報モデルデータに基づく人物の判定処理を行うものである。
【００２９】
ここで、第１人物判定処理のサブルーチンについて説明する。図１２は本発明の実施形態に係るセキュリティーシステムにおける第１人物判定処理サブルーチンのフローチャートを示す図である。ステップＳ２００で、第１人物判定処理のサブルーチンが開始されると、次にステップＳ２０１に進み、姿勢認識処理のサブルーチンが実行される。このサブルーチンは撮像された人物の姿勢を推定するためのものである。
【００３０】
ここで、この姿勢認識処理のサブルーチンについて説明する。図１３は本発明の実施形態に係るセキュリティーシステムにおける姿勢認識処理サブルーチンのフローチャートを示す図である。図１３において、ステップＳ３００で姿勢認識処理のサブルーチンが開始されると、次にステップＳ３０１に進み、予め用意しておく動きがないときの画像データ（背景画像データ）の読み込みを行う。このような背景画像データは、画像に所定時間変動がない瞬間などに取り込んで予め用意しておくものである。ステップＳ３０２では、撮像装置１１０による現在の撮像データの読み込みが行われる。次のステップＳ３０３では、撮像データと背景画像データの差分が作成され、ステップＳ３０４において、複数の撮像装置１１０からの差分情報より非背景物体（すなわち、人物）の空間内の位置（現在位置）の推定が行われる。そして、ステップＳ３０５では、姿勢推定が行われ、姿勢情報（右手の位置、左手の位置、右ひじ位置、…）の取得が行われる。ここで、姿勢推定のための手法としては、例えば、村上智基ら「自己オクルージョンを含む人物姿勢の距離画像による推定」情報処理学会第６５回全国大会に開示されている技術を用いることができる。ステップＳ３０６で、元のルーチンにリターンする。
【００３１】
図１２に戻って、ステップＳ２０２乃至ステップＳ２０５は登録ＩＤのｉｄ毎に確率の計算を行うループである。このループからは、全てのｉｄにつき計算が終わると、抜けて次のステップに進むことができる。このループ中で、ステップＳ２０３では、モデルデータ記憶部１２０より、該当ｉｄに対応する姿勢情報モデルデータの読み込みが行われ、ステップＳ２０４では、姿勢情報モデルデータにより確率Ｐidを計算するサブルーチンが実行される。前記のループを抜けると、ステップＳ２０６の中のＰ1〜ＰMの中で最大のものをＰmaxとする。ステップＳ２０７では、Ｐmaxが所定値以上であるか否かが判定され、判定結果がＹＥＳであるときにはステップＳ２０８に進み、Ｐmaxに対応する登録ＩＤを戻
り値にセットし、判定結果がＮＯであるときにはステップＳ２０９に進み、戻り値に該当なしをセットする。ステップＳ２１０では、メインのルーチンにリターンする。
【００３２】
ここで、姿勢情報モデルデータにより確率Ｐidを計算するサブルーチンについて説明する。図１４は本発明の実施形態に係るセキュリティーシステムにおける確率Ｐid計算処理サブルーチンのフローチャートを示す図である。図１４において、ステップＳ４００で確率Ｐid計算処理のサブルーチンが開始されると、続いてステップＳ４０１に進み、ＩＤ＝ｉｄの姿勢情報モデルデータが取得され、ステップＳ４０２では、このモデルデータから一致確率演算Ｐidが下記の式（１）によって計算される。
【００３３】
【数１】
なお、ＲＨはノードを示し、ｒｈはノードの値を示す。また、Ｐ（ＩＤ＝ｉｄ｜ＲＨ＝ｒｈ）とは、ノードＲＨがｒｈであるときの事後確率といい、ノードＲＨのパラメーターがｒｈであるときに、ＩＤがｉｄである確率を示すものである。また、ＰDBは式（２）によって求められるものである。
【００３４】
【数２】
また、ノードＰＯ、ＲＨ、・・・ＢＤ、ＤＢは連続ノードであり、これらに係る量は正規分布関数Ｎの平均μ、分散Σ、重みから式（３）のように求めることができる。
【００３５】
【数３】
ここで、Ｐa（ＰＯ）はＰＯの親ノードを示す。ステップＳ４０２に続く、ステップＳ４
０３では、元のルーチンにリターンする。
【００３６】
なお、ベイジアンネットワークにより所定の確率を導く方法については、より詳しくは、
○Ｊｅｎｓｅｎ， Ｆ． Ｖ．， “Ｂａｙｅｓｉａｎ ｎｅｔｗｏｒｋｓ ａｎｄ ｄｅｃｉｓｉｏｎ ｇｒａｐｈｓ”， Ｓｐｒｉｎｇｅｒ， ２００１．
○ Ｄａｖｉｄ Ｃ． ＭａｃＫａｙ， “Ｉｎｆｏｒｍａｔｉｏｎ Ｔｈｅｏｒｙ， Ｉｎｆｅｒｅｎｃｅ ａｎｄ Ｌｅａｒｎｉｎｇ Ａｌｇｏｒｉｔｈｍｓ”， Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ， ２００３．
などの記載を参照して援用するものとする。
【００３７】
さて、図１１に示すメインフローチャートに戻り、ステップＳ１０２では、戻り値として登録ＩＤがあるか否かが判定される。ステップＳ１０２の判定結果がＹＥＳであるときには、登録ＩＤを有する人物が空間Ｒに存在することが判明するので、ステップＳ１０９に進み処理を終了する。ステップＳ１０２の判定結果がＮＯであるときにはステップＳ１０３に進み、ステップＳ１０３において、第２人物判定処理のサブルーチンを実行する。このサブルーチンでは、第１判定処理による判定方法と異なる方法によって、当該人物がＩＤを付与された人物であるか否かを判定するものである。このような第２判定処理は、第１判定処理のバックアップのような役割を果たす。また、第２判定処理で、対象人物が登録ＩＤを有する者であるものと判定されると、姿勢情報モデルデータの学習を行う契機ともなり得る。
【００３８】
上記に示したように第１判定処理に係るステップＳ１０１、ステップＳ１０２などの処理によれば、対象となる人物の位置情報や姿勢情報を取得することができればよく、このための用途には、ズームカメラや高解像度カメラなどの高価は必要とならないので、安価によってセキュリティーシステムを構築することが可能となる。また、これまで説明したように第１判定処理は、人物の動作のクセをデータ化した姿勢情報モデルデータに基づいて人物判定を行うので、例えば、特定しようとする人物がサングラスなどをかけた場合においても、セキュリティーシステムが不能となることがない。
【００３９】
ここで、第２人物判定処理のサブルーチンについて説明する。図１５は本発明の実施形態に係るセキュリティーシステムにおける第２人物判定処理サブルーチンのフローチャートを示す図である。図１５において、ステップＳ５００で、第２人物判定処理サブルーチンが開始されると、続いてステップＳ５０１で、対象人物の顔の撮像データを撮像装置により取得する。なお、このとき、複数の撮像装置のうちでも高精度なもので取得した撮像データを用いることが好ましい。ステップＳ５０２乃至ステップＳ５０５は、登録ＩＤ毎の判定を行うためのループであり、ｉｄ＝１からｉｄ＝Ｍまでの全登録ＩＤのチェックの終了によりループを抜けるようになっている。当該ループ中のステップＳ５０３では、登録データ記憶部１３０から顔画像データの読み込みを行いステップＳ５０４で、顔画像データと撮像データとのマッチング処理を行う。このステップＳ５０４では、一般的なテンプレートマッチング等による顔認証処理技術を用いることができる。ステップＳ５０５でチェックループを抜けると、ステップＳ５０６に進み、マッチングした場合には、登録ＩＤを戻り値に設定し、マッチングしなかった場合には、登録ＩＤなしを戻り値に設定する。ステップＳ５０７では、もとのルーチンにリターンする。
【００４０】
図１１に示すメインフローチャートに戻り、ステップＳ１０４では、戻り値として登録ＩＤがあるか否かが判定される。ステップＳ１０４の判定結果がＮＯであるときには、２種類の人物判定処理によっても、人物の特定ができなかったこととなるので、ステップＳ１０７に進み、通信部１４０を介して、セキュリティー管理センター２００に通報するなどの、予め事前に設定されたい措置をとる。このステップで抽出される人物は、図１におけるＣなどの人物である。
【００４１】
ステップＳ１０４の判定結果がＹＥＳであるときには、登録ＩＤを有する人物が空間Ｒに存在することが判明したこととなるので、通報するような措置はとらず、姿勢情報モデルデータによる人物判定処理（第１の判定処理）の失敗の原因を特定するためにステップＳ１０５に進む。
【００４２】
ステップＳ１０５では、該当登録ＩＤのデータがモデルデータ記憶部１２０に存在するか否かが判定される。ステップＳ１０５の判定がＮＯであれば、システム側が当該ＩＤに対応する姿勢情報モデルデータをまだ学習していない（ステップＳ１０８）こととなるので、ステップＳ１０６においてモデルデータの学習処理を行う。このステップで抽出される人物は、図１におけるＤなどの人物である。
【００４３】
また、ステップＳ１０５の判定がＹＥＳであれば、例えば、ケガなどにより当該ＩＤの人物の所作が変わったことが考えられるので、ステップＳ１０６に進みモデルデータの学習処理を行い、モデルデータ記憶部１２０のデータを更新する。ステップＳ１０６では、学習処理サブルーチンが実行され、ステップＳ１０９では処理を終了する。
【００４４】
次に、学習処理サブルーチンについて説明する。図１６は本発明の実施形態に係るセキュリティーシステムにおける学習処理サブルーチンのフローチャートを示す図である。ステップＳ６００で、学習処理サブルーチンが開始されると、ステップＳ６０１で姿勢認識処理サブルーチンが実行されて、位置情報、姿勢情報などの取得が行われる。そして、続くステップＳ６０２で、個人モデルデータの学習処理のサブルーチンが実行され、位置情報、姿勢情報から姿勢情報モデルデータを演算し、ステップＳ６０３でリターンする。
【００４５】
次に、個人モデルデータの学習処理のサブルーチンについて説明する。図１７は本発明の実施形態に係るセキュリティーシステムにおける個人モデルデータの学習処理のサブルーチンのフローチャートを示す図である。図１７で、ステップＳ７００において個人モデルデータの学習処理サブルーチンがスタートすると、次にステップＳ７０１に進み、存在すれば、ＩＤに対応する人物のモデルデータの取り込みを行い、ステップＳ７０２で、位置情報及び姿勢情報から混合正規分布確率を演算することによってモデルデータを求める。なお、このモデルデータの作成のためには、Ａｒｔｈｕｒ Ｄｅｍｐｓｔｅｒ， Ｎａｎ Ｌａｉｒｄ， ａｎｄ Ｄｏｎａｌｄ Ｒｕｂｉｎ． “Ｍａｘｉｍｕｍ ｌｉｋｅｌｉｈｏｏｄ ｆｒｏｍ ｉｎｃｏｍｐｌｅｔｅ ｄ
ａｔａ ｖｉａ ｔｈｅ ＥＭ ａｌｇｏｒｉｔｈｍ”． Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｒｏｙａｌ Ｓｔａｔｉｓｔｉｃａｌ Ｓｏｃｉｅｔｙ， Ｓｅｒｉｅｓ Ｂ， ３９（１）：１−３８， １９７７．などに示されているＥＭアルゴリズムを用いるものとする。
【００４６】
ステップＳ７０３では、モデルデータ記憶部１２０に新しい姿勢情報モデルデータを記憶し、ステップＳ７０４でリターンして元のルーチンへと戻る。
【００４７】
以上のような構成のセキュリティーシステムによれば、ズームアップ用のカメラなどを必要することなく、安価なカメラシステムによってセキュリティーシステムを構築することが可能となる。
【００４８】
また、上記のような構成のセキュリティーシステムによれば、特定しようとする人物がサングラスなどをかけた場合においても、セキュリティーシステムが不能とならない。
【００４９】
また、上記のような構成のセキュリティーシステムによれば、第１判定手段による判定方法と異なる方法によって、当該人物がＩＤを付与された人物であるか否かを判定する第２判定手段を有するので、第１判定手段をバックアップすることが可能となる。
【符号の説明】
【００５０】
１００・・・主制御部
１１０・・・撮像装置
１２０・・・モデルデータ記憶部
１３０・・・登録データ記憶部
１４０・・・通信部
２００・・・セキュリティー管理センター
【技術分野】
【０００１】
本発明は、セキュリティーを確保したい空間における監視を自動的に行うセキュリティーシステムに関する。
【背景技術】
【０００２】
従来よりセキュリティーを確保したい空間において、当該空間を無人で監視するセキュリティーシステムが種々提案されている。例えば、特許文献１（特開２００５−２９５４６９号公報）には、所定領域を監視するシステムにおいて、侵入者を的確に検知し、無人監視状態であっても、的確なアングル制御やズーミング制御を行ない、侵入者の的確な映像の録画や、低い誤報率で警報を発することの可能な監視システムが開示されている。
【特許文献１】特開２００５−２９５４６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に記載のセキュリティーシステムでは、ズームアップ用のカメラなどが必要となり、セキュリティーシステムを構築する際に大きなコストが必要となる、という問題があった。
【課題を解決するための手段】
【０００４】
上記問題点を解決するために、請求項１に係る発明は、セキュリティー確保の対象となる空間での滞在を許容された人物それぞれに付与されたＩＤを記憶すると共に、当該ＩＤに応じた人物の姿勢情報に関わる姿勢情報モデルデータを記憶する記憶手段と、前記空間を撮像し撮像データを取得する撮像手段と、前記撮像手段によって取得された撮像データから人物の動きを抽出し当該人物の姿勢情報を推定する姿勢情報推定手段と、前記姿勢推定手段によって推定された姿勢情報と前記記憶手段に記憶される姿勢情報モデルデータとから、当該人物がＩＤを付与された人物である確率を算出する確率算出手段と、前記確率算出手段によって算出された確率に基づいて、当該人物がＩＤを付与された人物であるか否かを判定する第１判定手段と、を有することを特徴とするセキュリティーシステムである。
【０００５】
また、請求項２に係る発明は、請求項１に記載のセキュリティーシステムにおいて、前記第１判定手段によって、当該人物がＩＤを付与された人物でないと判断されたとき、前記前記第１判定手段による判定方法と異なる方法によって、当該人物がＩＤを付与された人物であるか否かを判定する第２判定手段を有する。
【発明の効果】
【０００６】
本発明の請求項１に記載のセキュリティーシステムによれば、ズームアップ用のカメラなどを必要することなく、安価なカメラシステムによってセキュリティーシステムを構築することが可能となる。
【０００７】
また、本発明の請求項１に記載のセキュリティーシステムによれば、特定しようとする人物がサングラスなどをかけた場合においても、セキュリティーシステムが不能とならない。
【０００８】
また、本発明の請求項２に記載のセキュリティーシステムによれば、前記第１判定手段による判定方法と異なる方法によって、当該人物がＩＤを付与された人物であるか否かを判定する第２判定手段を有するので、第１判定手段をバックアップすることが可能となる
。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係るセキュリティーシステムの概念を説明する図である。
【図２】本発明の実施形態に係るセキュリティーシステムの概要のブロック図である。
【図３】本発明の実施形態に係るセキュリティーシステムで用いられるベイジアンネットワークの概念を示す図である。
【図４】本発明の実施形態に係るセキュリティーシステムの撮像装置によって取得されるデータを示す図である。
【図５】本発明の実施形態に係るセキュリティーシステムの撮像データなどから認識される動作データの構造を示す図である。
【図６】本発明の実施形態に係るセキュリティーシステムのモデルデータ記憶部に記憶されるデータを説明する図である。
【図７】本発明の実施形態に係るセキュリティーシステムにおける姿勢情報モデルデータのデータ構造を示す図である。
【図８】本発明の実施形態に係るセキュリティーシステムの登録データ記憶部に記憶されるデータを説明する図である。
【図９】本発明の実施の形態に係るセキュリティーシステムで用いる姿勢情報モデルのネットワーク構造を示す図である。
【図１０】ベイジアンネットワーク構造における生理状態Ｐｈ（５）がとる状態を示す図である。
【図１１】本発明の実施形態に係るセキュリティーシステムによる処理のフローチャートを示す図である。
【図１２】本発明の実施形態に係るセキュリティーシステムにおける第１人物判定処理サブルーチンのフローチャートを示す図である。
【図１３】本発明の実施形態に係るセキュリティーシステムにおける姿勢認識処理サブルーチンのフローチャートを示す図である。
【図１４】本発明の実施形態に係るセキュリティーシステムにおける確率Ｐid計算処理サブルーチンのフローチャートを示す図である。
【図１５】本発明の実施形態に係るセキュリティーシステムにおける第２人物判定処理サブルーチンのフローチャートを示す図である。
【図１６】本発明の実施形態に係るセキュリティーシステムにおける学習処理サブルーチンのフローチャートを示す図である。
【図１７】本発明の実施形態に係るセキュリティーシステムにおける個人モデルデータの学習処理のサブルーチンのフローチャートを示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明のセキュリティーシステムにおける好適な実施の形態について、図面を参照しつつ説明する。図１は本発明の実施形態に係るセキュリティーシステムの概念を説明する図であり、図２は本発明の実施形態に係るセキュリティーシステムの概要のブロック図である。図１において、Ｒは本システムでのセキュリティー確保の対象となる空間であり、Ａ、Ｂ、Ｃ、Ｄはそのような空間Ｒに滞在している人物を表している。また、図１及び図２において、１００は主制御部、１１０は撮像装置、１２０はモデルデータ記憶部、１３０は登録データ記憶部、１４０は通信部、２００はセキュリティー管理センターをそれぞれ示している。
【００１１】
本実施形態に係るセキュリティーシステムは、図１における空間Ｒのセキュリティーを確保するために、当該空間Ｒに滞在しているそれぞれの人物を特定するように動作するも
のである。ここで、空間Ｒに滞在を許容された人物については、あらかじめそれぞれ固有のＩＤ番号などを付与して登録する。さらに、このＩＤに対応した人物毎の動き方（動作）のクセをデータ化することによって、システムが人物判定を行うようになっている。なお、人物毎の動き方のクセに基づいて、システムが人物判定を行う判定を、本実施形態では第１の人物判定とている。また、動き方のクセなどを記録したデータは、本実施形態においては、姿勢情報に関わる姿勢情報モデルデータと称し、このデータを後述するようなベイジアンネットワークによるモデルに基づいて作成する。本実施形態に係るセキュリティーシステムは、姿勢情報モデルデータに基づかずに、人物判定を行う第２の人物判定手段を有している。この第２の人物判定手段については、本実施形態では、人物毎に予め登録してある顔画像データと、撮像した撮像データとを画像処理的に比較することで判定する例に基づいて説明するが、本発明のセキュリティーシステムでは、第２人物判定手段としては、その他の手法のものを用いることができる。
【００１２】
ここで、本発明のセキュリティーシステムで姿勢情報モデルデータに基づく人物判定に用いるベイジアンネットワークの概要について説明する。図３は本発明の実施形態に係るセキュリティーシステムで用いられるベイジアンネットワークの概念を示す図である。ベイジアンネットワークとは、確率的な因果関係をグラフ構造で表現したモデルである。図３に示す各ノードＸ１、Ｘ２、Ｘ３、Ｘ４は確率変数を表し、それらの間の因果関係の有無を有向グラフで、また、確率変数の取りうる値のノード間での因果関係を条件付確率で表す。ノードＸ１とノードＸ２とは確率的な関係があることを、ノードＸ１からノードＸ２への矢印によって示している。ノードＸ２はノードＸ１、Ｘ３からの影響を、また、ノードＸ４はノードＸ３の影響を受ける関係となっており、このような因果関係を加味した確率テーブルが、図３中に示す条件付き確率テーブルである。これに対して、ノードＸ１、Ｘ３はどのノードからの影響も受けない親ノードであり、このときの確率テーブルは図中に示す事前確率テーブルのようになる。図３示すものの場合、そのグラフの構造より、全ての確率変数の結合確率はＰ（Ｘ１，Ｘ２，Ｘ３，Ｘ４）＝Ｐ（Ｘ１）Ｐ（Ｘ２｜Ｘ１，Ｘ３）Ｐ（Ｘ３）Ｐ（Ｘ４｜Ｘ３）となる。ベイジアンネットワークを利用した推論においては、この結合確率の周辺化により、周辺事後確率を求めることにより行われる。このようなベイジアンネットワークに基づく確率算出の手法については、発明者らによる出願番号２００８−９０７５５号（発明の名称「セキュリティーシステム」）、出願番号２００８−９０７７７号（発明の名称「セキュリティーシステム及び運転支援方法」）に詳しく記載されているので、本明細書においてもこれら出願の内容を援用するものとする。
【００１３】
さて、本実施形態に係るセキュリティーシステムは、空間Ｒのセキュリティーを確保するために、当該空間Ｒに滞在しているそれぞれの人物を特定するように動作するが、そのために空間Ｒの動画を撮影するための撮像装置１１０が設けられている。図１においては、この撮像装置１１０が４台設けられる例について示しているが、このような撮像装置１１０の設置台数はこれに限定されるものではない。したがって、本発明のセキュリティーシステムでは、２以上のｎ台の撮像装置１１０を用いて、これらｎ台の撮像装置１１０からのｎの撮像データを取得することができる。図４は本発明の実施形態に係るセキュリティーシステムの撮像装置によって取得されるデータを示す図である。
【００１４】
図４に示すようなｎ台の撮像装置１１０によって取得された撮像データからは、人物の動き方に係る情報（位置情報なども含む姿勢情報）を抽出・推定して、人物毎の動き方のクセなどのデータである姿勢情報に関わる姿勢情報モデルデータを作成したり、或いは、前記抽出・推定した情報と、予め登録されている姿勢情報モデルデータとに基づいて、撮像データによって認識された人物を特定したりするようにしている。
【００１５】
図５は本発明の実施形態に係るセキュリティーシステムの撮像データなどから認識される動作データの構造を示す図である。図５に示すよう個人の動作データの内訳としては「
位置情報」、「姿勢情報」、「非顕在情報」に大別することができる。これらのデータのうち、「位置情報」、「姿勢情報」については、撮像装置１１０によって取得された撮像データからの推定が行われる。「位置情報」は対象となる人物の存在位置に関する情報であり、これは撮像データから求められる。また、「姿勢情報」の下には、「右手の位置」、「左手の位置」、「右ひじ位置」、「左ひじ位置」、「顔の向き」、「右足の位置」、「左足の位置」、「右ひざの位置」、「左ひざの位置」、「腰の位置」、「体の向き」などのデータがあり、これらは撮像データからの推定が行われる。また、「非顕在情報」には「心理状態」、「行動変数」は、撮像データなどから認識することができない情報であり、本実施形態では「心理状態」は「平静」、「緊張」、「疲労」、「興奮」、「その他」の５状態をとる分散量データであり、「行動変数」は当該人物の行動パターンを数値化した連続量データである。
【００１６】
主制御部１００は、ＣＰＵとＣＰＵ上で動作するプログラムを保持するＲＯＭとＣＰＵのワークエリアであるＲＡＭなどからなる汎用の情報処理機構である。主制御部１００は、ブロック図中に示されている主制御部１００と接続される各構成と協働・動作する。また、主制御部１００は、本発明のセキュリティーシステムにおける種々の制御処理は、主制御部１００内のＲＯＭなどの記憶手段に記憶保持されるプログラムやデータに基づいて実行されるものである。
【００１７】
上記のような主制御部１００には、モデルデータ記憶部１２０が接続されており、主制御部１００は、モデルデータ記憶部１２０に登録、記録されている個々の人物の姿勢情報モデルデータを参照したり、或いは、新規に姿勢情報モデルデータを登録したり、既に登録されている姿勢情報モデルデータを更新したりする。
【００１８】
次に、このようなモデルデータ記憶部１２０に記憶されているデータについて説明する。図６は本発明の実施形態に係るセキュリティーシステムのモデルデータ記憶部に記憶されるデータを説明する図であり、図７は本発明の実施形態に係るセキュリティーシステムにおける姿勢情報モデルデータのデータ構造を示す図である。図６に示すように、モデルデータ記憶部１２０は、セキュリティーを確保すべき対象となる空間Ｒにおける滞在を許可された人物それぞれに付与された固有の登録ＩＤ（ｉｄ＝１，２，３，・・・，Ｍ）と、その登録ＩＤに対応したそれぞれの人物の姿勢情報モデルデータを記憶している。図７は個々の姿勢情報モデルデータのデータ構造をより詳しく説明する図である。図７に示すように、姿勢情報モデルデータ中のデータは、概略、離散データ、連続データの２種類のデータに分類することができる。前者には「心理状態」のデータが属し、このデータは条件付き確率テーブルの形式で保有される。また、後者には「現在位置」、「右手の位置」、「左手の位置」、「右ひじ位置」、「左ひじ位置」、「頭の位置」、「顔の向き」、「右足の位置」、「左足の位置」、「右ひざの位置」、「左ひざの位置」、「腰の位置」、「体の向き」、「行動変数」の各データが属し、これらのデータはガウス分布の平均・分散・重みの形式で保有される。
【００１９】
また、主制御部１００には、登録データ記憶部１３０が接続されており、主制御部１００は、登録データ記憶部１３０に登録、記録されている個々の人物のマッチング用の顔画像データを参照したり、或いは、マッチング用の顔画像データを新規登録したり、既に登録されている顔画像データを更新したりする。図８は本発明の実施形態に係るセキュリティーシステムの登録データ記憶部に記憶されるデータを説明する図である。図８に示すように、登録データ記憶部１３０は、セキュリティーを確保すべき対象となる空間Ｒにおける滞在を許可された人物それぞれに付与された固有の登録ＩＤ（ｉｄ＝１，２，３，・・・，Ｍ）と、その登録ＩＤに対応したそれぞれの人物の顔を撮影した顔画像データを記憶している。このような登録データ記憶部１３０に記憶されている顔画像データは、姿勢情報モデルデータに基づかない人物判定である第２人物判定手段を実行するときに用いられ
る。
【００２０】
主制御部１００には通信部１４０が接続されており、例えば、空間Ｒにおける滞在を許可されていない人物が滞在しているものと判定されたときは、この通信部１４０を介してセキュリティー管理センター２００などに通知・通報などがなされる。なお、このような通信部１４０を設けて通報を行うようにすることは必ずしも必須の構成ではなく、例えば単にアラート表示部を設けて、空間Ｒにおける滞在を許可されていない人物が滞在しているものと判定されたときは、当該表示部によってアラート表示を行うようにするだけでもよい。
【００２１】
次に、本発明のセキュリティーシステムで用いる姿勢情報モデルの具体的な構成について説明する。図９は本発明の実施の形態に係るセキュリティーシステムで用いる姿勢情報モデルのネットワーク構造を示す図である。本発明のセキュリティーシステムで用いる姿勢情報モデルは、（ａ）図９に示すベイジアンネットワークの構造、（ｂ）条件付き確率テーブル（図７の心理状態のデータ）、事前確率テーブル、（ｃ）ガウス分布のパラメーター（図７における連続データに属する各項目のデータ）から構成されるものである。これらの３つのうち（ａ）のベイジアンネットワークの構造は全ての登録ＩＤの人物に共通で用いられる。これに対して、（ｂ）、（ｃ）は学習によって登録ＩＤ個人毎のモデルデータとして記憶されたり、適宜更新されたりするようになっている。
【００２２】
図９のベイジアンネットワークの構造において、□は離散ノードを、○は連続ノードを示しており、離散ノード内の数字は各ノードが取る状態の数を示している。例えば、「生理状態Ｐｈ（５）」は、Ｐｈ＝０（平常）、Ｐｈ＝１（緊張）、Ｐｈ＝２（疲労）、Ｐｈ＝３（興奮）、Ｐｈ＝４（その他）、の５つの状態をとるものである。
【００２３】
図９のネットワーク構造においては、上段に示されている現在位置（ＰＯ）、右手の位置（ＲＨ）、・・・顔の向き（ＦＡ）の各ノード及び下段に示されている右足の位置（ＲＦ）、右足の位置（ＬＦ）、・・・体の向き（ＢＤ）の各ノードが親ノードであり、これらのノードが生理状態Ｐｈ（２）のノード、行動変数ＤＢのノードに影響を与えているものと考える。また、ネットワーク構造において、生理状態Ｐｈ（２）のノードが行動変数ＤＢのノードに影響を与えているものと考える。すなわち、生理状態データは、人物の位置情報データ、右手の位置などの姿勢情報データから影響を受けるノードであって、行動変数は、位置情報データ、姿勢情報データ及び生理状態データから影響を受けるノードとなるネットワーク構造となっており、このネットワーク構造の因果関係は、ベイジアンネットワークによって定められている。
【００２４】
ここで、ネットワーク構造で上段に示されている現在位置（ＰＯ）、右手の位置（ＲＨ）、・・・顔の向き（ＦＡ）の各ノード及び下段に示されている右足の位置（ＲＦ）、左足の位置（ＬＦ）、・・・・体の向き（ＢＤ）の各ノードは図７に示されているようにセキュリティーシステムで記憶される姿勢情報モデルデータと対応している。これらの連続データは、ガウス分布の「離散」、「平均」、「分散」の形で保有しておき、これを所定の確率に置き換える。
【００２５】
図９における生理状態Ｐｈ（５）ノードは、一種の裕度として働くものであり、このノードが存在しない場合、本発明のセキュリティーシステムが有効に動作しないことがあることが分かっている。これは、現在位置（ＰＯ）、右手の位置（ＲＨ）、・・・体の向き（ＢＤ）の各ノードの状態（運転状況の状態）が一意的に決定したとしても、行動変数ＤＢが一意的に決まるわけではないことに起因している。本発明のセキュリティーシステムでは、生理状態Ｐｈ（５）ノードを導入することによって、不確定要素を含んだ因果律を扱うことができるようになる。また、生理状態Ｐｈ（５）ノードは、本発明のセキュリテ
ィーシステムをコンピュータプログラムで実行する上で非常に重要となる。
【００２６】
図１０はベイジアンネットワーク構造における生理状態Ｐｈ（５）がとる状態を示す図である。図１０に示すように、本実施形態においては、生理状態Ｐｈ（５）は、Ｐｈ＝０（平常）、Ｐｈ＝１（緊張）、Ｐｈ＝２（疲労）、Ｐｈ＝３（興奮）、Ｐｈ＝４（その他）の５つの状態をとるものであるとしたが、本発明のセキュリティーシステムでは、生理状態Ｐｈを５以上の自然数の適当なものに設定することができる。
【００２７】
次に、本発明のセキュリティーシステムによる監視処理や学習処理などのフローの概略について説明する。図１１は本発明の実施形態に係るセキュリティーシステムによる処理のフローチャートを示す図である。なお、このようなフローチャートは、セキュリティーを確保すべき対象となる空間Ｒへの人物の進入が確認されたことを契機に動作するものである。
【００２８】
図１１において、ステップＳ１００で本発明のセキュリティーシステムによる処理が開始されると、続いてステップＳ１０１に進み、第１人物判定処理のサブルーチンが実行される。この第１人物判定処理のサブルーチンは、姿勢情報モデルデータに基づく人物の判定処理を行うものである。
【００２９】
ここで、第１人物判定処理のサブルーチンについて説明する。図１２は本発明の実施形態に係るセキュリティーシステムにおける第１人物判定処理サブルーチンのフローチャートを示す図である。ステップＳ２００で、第１人物判定処理のサブルーチンが開始されると、次にステップＳ２０１に進み、姿勢認識処理のサブルーチンが実行される。このサブルーチンは撮像された人物の姿勢を推定するためのものである。
【００３０】
ここで、この姿勢認識処理のサブルーチンについて説明する。図１３は本発明の実施形態に係るセキュリティーシステムにおける姿勢認識処理サブルーチンのフローチャートを示す図である。図１３において、ステップＳ３００で姿勢認識処理のサブルーチンが開始されると、次にステップＳ３０１に進み、予め用意しておく動きがないときの画像データ（背景画像データ）の読み込みを行う。このような背景画像データは、画像に所定時間変動がない瞬間などに取り込んで予め用意しておくものである。ステップＳ３０２では、撮像装置１１０による現在の撮像データの読み込みが行われる。次のステップＳ３０３では、撮像データと背景画像データの差分が作成され、ステップＳ３０４において、複数の撮像装置１１０からの差分情報より非背景物体（すなわち、人物）の空間内の位置（現在位置）の推定が行われる。そして、ステップＳ３０５では、姿勢推定が行われ、姿勢情報（右手の位置、左手の位置、右ひじ位置、…）の取得が行われる。ここで、姿勢推定のための手法としては、例えば、村上智基ら「自己オクルージョンを含む人物姿勢の距離画像による推定」情報処理学会第６５回全国大会に開示されている技術を用いることができる。ステップＳ３０６で、元のルーチンにリターンする。
【００３１】
図１２に戻って、ステップＳ２０２乃至ステップＳ２０５は登録ＩＤのｉｄ毎に確率の計算を行うループである。このループからは、全てのｉｄにつき計算が終わると、抜けて次のステップに進むことができる。このループ中で、ステップＳ２０３では、モデルデータ記憶部１２０より、該当ｉｄに対応する姿勢情報モデルデータの読み込みが行われ、ステップＳ２０４では、姿勢情報モデルデータにより確率Ｐidを計算するサブルーチンが実行される。前記のループを抜けると、ステップＳ２０６の中のＰ1〜ＰMの中で最大のものをＰmaxとする。ステップＳ２０７では、Ｐmaxが所定値以上であるか否かが判定され、判定結果がＹＥＳであるときにはステップＳ２０８に進み、Ｐmaxに対応する登録ＩＤを戻
り値にセットし、判定結果がＮＯであるときにはステップＳ２０９に進み、戻り値に該当なしをセットする。ステップＳ２１０では、メインのルーチンにリターンする。
【００３２】
ここで、姿勢情報モデルデータにより確率Ｐidを計算するサブルーチンについて説明する。図１４は本発明の実施形態に係るセキュリティーシステムにおける確率Ｐid計算処理サブルーチンのフローチャートを示す図である。図１４において、ステップＳ４００で確率Ｐid計算処理のサブルーチンが開始されると、続いてステップＳ４０１に進み、ＩＤ＝ｉｄの姿勢情報モデルデータが取得され、ステップＳ４０２では、このモデルデータから一致確率演算Ｐidが下記の式（１）によって計算される。
【００３３】
【数１】
なお、ＲＨはノードを示し、ｒｈはノードの値を示す。また、Ｐ（ＩＤ＝ｉｄ｜ＲＨ＝ｒｈ）とは、ノードＲＨがｒｈであるときの事後確率といい、ノードＲＨのパラメーターがｒｈであるときに、ＩＤがｉｄである確率を示すものである。また、ＰDBは式（２）によって求められるものである。
【００３４】
【数２】
また、ノードＰＯ、ＲＨ、・・・ＢＤ、ＤＢは連続ノードであり、これらに係る量は正規分布関数Ｎの平均μ、分散Σ、重みから式（３）のように求めることができる。
【００３５】
【数３】
ここで、Ｐa（ＰＯ）はＰＯの親ノードを示す。ステップＳ４０２に続く、ステップＳ４
０３では、元のルーチンにリターンする。
【００３６】
なお、ベイジアンネットワークにより所定の確率を導く方法については、より詳しくは、
○Ｊｅｎｓｅｎ， Ｆ． Ｖ．， “Ｂａｙｅｓｉａｎ ｎｅｔｗｏｒｋｓ ａｎｄ ｄｅｃｉｓｉｏｎ ｇｒａｐｈｓ”， Ｓｐｒｉｎｇｅｒ， ２００１．
○ Ｄａｖｉｄ Ｃ． ＭａｃＫａｙ， “Ｉｎｆｏｒｍａｔｉｏｎ Ｔｈｅｏｒｙ， Ｉｎｆｅｒｅｎｃｅ ａｎｄ Ｌｅａｒｎｉｎｇ Ａｌｇｏｒｉｔｈｍｓ”， Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ， ２００３．
などの記載を参照して援用するものとする。
【００３７】
さて、図１１に示すメインフローチャートに戻り、ステップＳ１０２では、戻り値として登録ＩＤがあるか否かが判定される。ステップＳ１０２の判定結果がＹＥＳであるときには、登録ＩＤを有する人物が空間Ｒに存在することが判明するので、ステップＳ１０９に進み処理を終了する。ステップＳ１０２の判定結果がＮＯであるときにはステップＳ１０３に進み、ステップＳ１０３において、第２人物判定処理のサブルーチンを実行する。このサブルーチンでは、第１判定処理による判定方法と異なる方法によって、当該人物がＩＤを付与された人物であるか否かを判定するものである。このような第２判定処理は、第１判定処理のバックアップのような役割を果たす。また、第２判定処理で、対象人物が登録ＩＤを有する者であるものと判定されると、姿勢情報モデルデータの学習を行う契機ともなり得る。
【００３８】
上記に示したように第１判定処理に係るステップＳ１０１、ステップＳ１０２などの処理によれば、対象となる人物の位置情報や姿勢情報を取得することができればよく、このための用途には、ズームカメラや高解像度カメラなどの高価は必要とならないので、安価によってセキュリティーシステムを構築することが可能となる。また、これまで説明したように第１判定処理は、人物の動作のクセをデータ化した姿勢情報モデルデータに基づいて人物判定を行うので、例えば、特定しようとする人物がサングラスなどをかけた場合においても、セキュリティーシステムが不能となることがない。
【００３９】
ここで、第２人物判定処理のサブルーチンについて説明する。図１５は本発明の実施形態に係るセキュリティーシステムにおける第２人物判定処理サブルーチンのフローチャートを示す図である。図１５において、ステップＳ５００で、第２人物判定処理サブルーチンが開始されると、続いてステップＳ５０１で、対象人物の顔の撮像データを撮像装置により取得する。なお、このとき、複数の撮像装置のうちでも高精度なもので取得した撮像データを用いることが好ましい。ステップＳ５０２乃至ステップＳ５０５は、登録ＩＤ毎の判定を行うためのループであり、ｉｄ＝１からｉｄ＝Ｍまでの全登録ＩＤのチェックの終了によりループを抜けるようになっている。当該ループ中のステップＳ５０３では、登録データ記憶部１３０から顔画像データの読み込みを行いステップＳ５０４で、顔画像データと撮像データとのマッチング処理を行う。このステップＳ５０４では、一般的なテンプレートマッチング等による顔認証処理技術を用いることができる。ステップＳ５０５でチェックループを抜けると、ステップＳ５０６に進み、マッチングした場合には、登録ＩＤを戻り値に設定し、マッチングしなかった場合には、登録ＩＤなしを戻り値に設定する。ステップＳ５０７では、もとのルーチンにリターンする。
【００４０】
図１１に示すメインフローチャートに戻り、ステップＳ１０４では、戻り値として登録ＩＤがあるか否かが判定される。ステップＳ１０４の判定結果がＮＯであるときには、２種類の人物判定処理によっても、人物の特定ができなかったこととなるので、ステップＳ１０７に進み、通信部１４０を介して、セキュリティー管理センター２００に通報するなどの、予め事前に設定されたい措置をとる。このステップで抽出される人物は、図１におけるＣなどの人物である。
【００４１】
ステップＳ１０４の判定結果がＹＥＳであるときには、登録ＩＤを有する人物が空間Ｒに存在することが判明したこととなるので、通報するような措置はとらず、姿勢情報モデルデータによる人物判定処理（第１の判定処理）の失敗の原因を特定するためにステップＳ１０５に進む。
【００４２】
ステップＳ１０５では、該当登録ＩＤのデータがモデルデータ記憶部１２０に存在するか否かが判定される。ステップＳ１０５の判定がＮＯであれば、システム側が当該ＩＤに対応する姿勢情報モデルデータをまだ学習していない（ステップＳ１０８）こととなるので、ステップＳ１０６においてモデルデータの学習処理を行う。このステップで抽出される人物は、図１におけるＤなどの人物である。
【００４３】
また、ステップＳ１０５の判定がＹＥＳであれば、例えば、ケガなどにより当該ＩＤの人物の所作が変わったことが考えられるので、ステップＳ１０６に進みモデルデータの学習処理を行い、モデルデータ記憶部１２０のデータを更新する。ステップＳ１０６では、学習処理サブルーチンが実行され、ステップＳ１０９では処理を終了する。
【００４４】
次に、学習処理サブルーチンについて説明する。図１６は本発明の実施形態に係るセキュリティーシステムにおける学習処理サブルーチンのフローチャートを示す図である。ステップＳ６００で、学習処理サブルーチンが開始されると、ステップＳ６０１で姿勢認識処理サブルーチンが実行されて、位置情報、姿勢情報などの取得が行われる。そして、続くステップＳ６０２で、個人モデルデータの学習処理のサブルーチンが実行され、位置情報、姿勢情報から姿勢情報モデルデータを演算し、ステップＳ６０３でリターンする。
【００４５】
次に、個人モデルデータの学習処理のサブルーチンについて説明する。図１７は本発明の実施形態に係るセキュリティーシステムにおける個人モデルデータの学習処理のサブルーチンのフローチャートを示す図である。図１７で、ステップＳ７００において個人モデルデータの学習処理サブルーチンがスタートすると、次にステップＳ７０１に進み、存在すれば、ＩＤに対応する人物のモデルデータの取り込みを行い、ステップＳ７０２で、位置情報及び姿勢情報から混合正規分布確率を演算することによってモデルデータを求める。なお、このモデルデータの作成のためには、Ａｒｔｈｕｒ Ｄｅｍｐｓｔｅｒ， Ｎａｎ Ｌａｉｒｄ， ａｎｄ Ｄｏｎａｌｄ Ｒｕｂｉｎ． “Ｍａｘｉｍｕｍ ｌｉｋｅｌｉｈｏｏｄ ｆｒｏｍ ｉｎｃｏｍｐｌｅｔｅ ｄ
ａｔａ ｖｉａ ｔｈｅ ＥＭ ａｌｇｏｒｉｔｈｍ”． Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｒｏｙａｌ Ｓｔａｔｉｓｔｉｃａｌ Ｓｏｃｉｅｔｙ， Ｓｅｒｉｅｓ Ｂ， ３９（１）：１−３８， １９７７．などに示されているＥＭアルゴリズムを用いるものとする。
【００４６】
ステップＳ７０３では、モデルデータ記憶部１２０に新しい姿勢情報モデルデータを記憶し、ステップＳ７０４でリターンして元のルーチンへと戻る。
【００４７】
以上のような構成のセキュリティーシステムによれば、ズームアップ用のカメラなどを必要することなく、安価なカメラシステムによってセキュリティーシステムを構築することが可能となる。
【００４８】
また、上記のような構成のセキュリティーシステムによれば、特定しようとする人物がサングラスなどをかけた場合においても、セキュリティーシステムが不能とならない。
【００４９】
また、上記のような構成のセキュリティーシステムによれば、第１判定手段による判定方法と異なる方法によって、当該人物がＩＤを付与された人物であるか否かを判定する第２判定手段を有するので、第１判定手段をバックアップすることが可能となる。
【符号の説明】
【００５０】
１００・・・主制御部
１１０・・・撮像装置
１２０・・・モデルデータ記憶部
１３０・・・登録データ記憶部
１４０・・・通信部
２００・・・セキュリティー管理センター
【特許請求の範囲】
【請求項１】
セキュリティー確保の対象となる空間での滞在を許容された人物それぞれに付与されたＩＤを記憶すると共に、当該ＩＤに応じた人物の姿勢情報に関わる姿勢情報モデルデータを記憶する記憶手段と、
前記空間を撮像し撮像データを取得する撮像手段と、
前記撮像手段によって取得された撮像データから人物の動きを抽出し当該人物の姿勢情報を推定する姿勢情報推定手段と、
前記姿勢推定手段によって推定された姿勢情報と前記記憶手段に記憶される姿勢情報モデルデータとから、当該人物がＩＤを付与された人物である確率を算出する確率算出手段と、
前記確率算出手段によって算出された確率に基づいて、当該人物がＩＤを付与された人物であるか否かを判定する第１判定手段と、を有することを特徴とするセキュリティーシステム。
【請求項２】
前記第１判定手段によって、当該人物がＩＤを付与された人物でないと判断されたとき、前記前記第１判定手段による判定方法と異なる方法によって、当該人物がＩＤを付与された人物であるか否かを判定する第２判定手段を有する請求項１に記載のセキュリティーシステム。
【請求項１】
セキュリティー確保の対象となる空間での滞在を許容された人物それぞれに付与されたＩＤを記憶すると共に、当該ＩＤに応じた人物の姿勢情報に関わる姿勢情報モデルデータを記憶する記憶手段と、
前記空間を撮像し撮像データを取得する撮像手段と、
前記撮像手段によって取得された撮像データから人物の動きを抽出し当該人物の姿勢情報を推定する姿勢情報推定手段と、
前記姿勢推定手段によって推定された姿勢情報と前記記憶手段に記憶される姿勢情報モデルデータとから、当該人物がＩＤを付与された人物である確率を算出する確率算出手段と、
前記確率算出手段によって算出された確率に基づいて、当該人物がＩＤを付与された人物であるか否かを判定する第１判定手段と、を有することを特徴とするセキュリティーシステム。
【請求項２】
前記第１判定手段によって、当該人物がＩＤを付与された人物でないと判断されたとき、前記前記第１判定手段による判定方法と異なる方法によって、当該人物がＩＤを付与された人物であるか否かを判定する第２判定手段を有する請求項１に記載のセキュリティーシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１０−１７６５６１（Ｐ２０１０−１７６５６１Ａ）
【公開日】平成２２年８月１２日（２０１０．８．１２）
【国際特許分類】
【出願番号】特願２００９−２０６２３（Ｐ２００９−２０６２３）
【出願日】平成２１年１月３０日（２００９．１．３０）
【出願人】（５９１２６１５０９）株式会社エクォス・リサーチ (1,360)
【Ｆターム（参考）】
【公開日】平成２２年８月１２日（２０１０．８．１２）
【国際特許分類】
【出願日】平成２１年１月３０日（２００９．１．３０）
【出願人】（５９１２６１５０９）株式会社エクォス・リサーチ (1,360)
【Ｆターム（参考）】
[ Back to top ]