不審行動検知システム及び方法
【課題】異常な行動をしている不審者を特定して識別できる不審行動検知システムを提供することにある。
【解決手段】ステレオカメラ１０の映像を利用して、監視対象の不審行動を検知する不審行動検知システム１において、監視対象の移動軌跡情報を取得する移動軌跡取得部２１と、移動軌跡情報に基づいて監視対象の行動状態を識別して、監視対象の不審行動を自動で判定する行動識別部２２とを備えた構成である。
【解決手段】ステレオカメラ１０の映像を利用して、監視対象の不審行動を検知する不審行動検知システム１において、監視対象の移動軌跡情報を取得する移動軌跡取得部２１と、移動軌跡情報に基づいて監視対象の行動状態を識別して、監視対象の不審行動を自動で判定する行動識別部２２とを備えた構成である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、特にカメラなどの光学系センサを使用する不審行動検知システムに関する。
【背景技術】
【０００２】
近年、ビデオカメラにより撮影された映像（動画像）を利用して、不審者などを監視するための監視システムが開発されている。監視システムには、各種の方式が提案されているが、例えば立体高次局所自己相関による特徴量を使用する方式のシステムが提案されている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−７９２７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前述のように監視システムは、ビデオカメラにより撮影された画面内で、異常動作を検出することが可能であるが、複数人の中から異常な行動をしている不審者を特定して識別することはできない。
【０００５】
そこで、本発明の目的は、異常な行動をしている不審者を特定して識別できる不審行動検知システムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明の観点に従った不審行動検知システムは、監視対象の移動位置を検知するためのセンサ手段と、前記センサ手段の出力に基づいて前記監視対象の移動軌跡情報を取得する移動軌跡取得手段と、移動軌跡に応じた行動を学習して取得した学習情報を使用し、前記移動軌跡取得手段により取得された移動軌跡情報に基づいて前記監視対象の行動状態を識別する行動識別手段と、前記行動識別手段により識別された行動状態に基づいて、前記監視対象の不審行動を自動でリアルタイムに判定する判定手段とを備えた構成である。
【図面の簡単な説明】
【０００７】
【図１】実施形態に関する不審行動検知システムの要部を示すブロック図。
【図２】実施形態に関するシステムの具体的構成を説明するための図。
【図３】実施形態に関する移動軌跡統合部及び行動識別部の具体的構成を説明するためのブロック図。
【図４】実施形態に関する行動識別部での学習方法を説明するための図。
【図５】実施形態に関する行動識別部での学習方法を説明するための図。
【図６】実施形態に関する行動識別部での歩行軌跡の指定方法を説明するための図。
【図７】実施形態に関する不審行動検知システムの処理手順を説明するためのフローチャート。
【発明を実施するための形態】
【０００８】
以下図面を参照して、実施形態を説明する。
【０００９】
以下図面を参照して、本発明の実施形態を説明する。
【００１０】
（システムの基本的構成）
図１は、本実施形態に関する不審行動検知システムの要部を示すブロック図である。
【００１１】
図１に示すように、システム１は、複数台のステレオカメラ１０と、不審行動検知装置２０とから構成されている。ステレオカメラ１０は、監視対象である人の移動位置を検知するためのセンサとして動作する。ステレオカメラ１０は、左右又は上下を含む異なる視点に配置された複数のカメラを組み合わせた構成であり、撮影した映像を不審行動検知装置２０に伝送する。複数のカメラとは、離れた位置に配置された２台のカメラでもよい。
【００１２】
なお、センサとしては、ステレオカメラ１０以外に、赤外線センサ１１やレーザセンサ１２などの光学系センサを使用してもよい。
【００１３】
不審行動検知装置２０は、コンピュータシステムから構成されており、ＣＰＵ及びソフトウェアにより実現される移動軌跡取得部２１及び行動識別部２２の機能要素を有する。移動軌跡取得部２１は、ステレオカメラ１０から伝送される映像を画像処理（ステレオ画像処理）する機能を有し、この画像処理結果から監視対象である人の移動軌跡を示す移動軌跡情報を生成する。ここで、人の移動軌跡は、後述するように、人が歩いて移動するときの歩行軌跡に相当する。
【００１４】
移動軌跡取得部２１は、複数のステレオカメラ１０から伝送される映像に基づいて、ステレオカメラ１０の撮影範囲（監視領域）に対応する各移動軌跡を、統合した移動軌跡情報を生成する。この統合した移動軌跡情報には、後述するように、各監視領域及び非監視領域を連結（接続）した移動軌跡を示す情報も含む。
【００１５】
行動識別部２２は、事前に移動軌跡に応じて学習して取得された学習情報を記憶しており、この学習情報を使用し、移動軌跡取得部２１から送られる移動軌跡情報に基づいて監視対象の人の不審行動を判定する。
【００１６】
（システムの具体的構成及び作用効果）
図２は、本実施形態のシステムを適用する具体例を説明するための図である。
【００１７】
ここでは、建物内の通路を監視する監視システムに対して、本実施形態の不審行動検知システム１を適用する場合を想定する。このシステムでは、図２に示すように、通路を、例えば４台のステレオカメラ１０-1〜１０-4により監視する監視領域２００，２１０，２２０，２３０が設定されている。
【００１８】
また、通路はエリアＡとエリアＢに分割されて、各エリアを連結する非監視領域２４０が存在する。この非監視領域２４０の取り扱いについては、後述する。なお、前述したように、センサとしてステレオカメラ１０以外に、赤外センサ１１やレーザセンサ１２を使用することが可能であり、かつ、同一のエリアＡ，Ｂを複数種別のセンサにより監視するなどのバリエーションをとることが可能である。但し、本実施形態では、４台のステレオカメラ１０-1〜１０-4により監視する方法の場合について説明する。
【００１９】
図３は、不審行動検知装置２０に含まれる移動軌跡取得部２１及び行動識別部２２の具体的機能要素を説明するためのブロック図である。
【００２０】
移動軌跡取得部２１は、各ステレオカメラ１０-1〜１０-4からの映像をステレオ画像処理して、監視対象の人の歩行軌跡を示す歩行軌跡情報を獲得するための複数の歩行軌跡獲得部３０を有する。さらに、移動軌跡取得部２１は、複数の歩行軌跡獲得部３０により獲得された歩行軌跡情報を統合したり、非監視領域の歩行軌跡を前後の歩行軌跡から補完する補完処理を実行する歩行軌跡統合部３１を有する。なお、歩行軌跡統合部３１は、複数の監視領域からの歩行軌跡情報の統合、及び同一監視領域での複数種別のセンサ（例えば、ステレオカメラと赤外線センサなど）により獲得された歩行軌跡情報の統合のいずれも実行する。
【００２１】
行動識別部２２は、複数の識別器を含み、最終的な出力結果としてそれらを総合した識別結果（判定結果）を出力する行動統合部４５を有する。行動統合部４５は、例えば多数決や論理積などの方法や、前処理としてルールによる判別処理を実行して、その結果に過不足があった場合に学習機械による識別処理を実行する方法で、識別結果（判定結果）を出力する。
【００２２】
具体的には、行動識別部２２は、例えばＳＶＭ(Support Vector Machine)のようなパターン認識方法を適用して構築されており、監視対象の歩行軌跡情報（移動軌跡データ）の特性を数学的に分析する。これにより、人間系での正常パターン、異常パターンを学習により教示することで不審行動の判別を行なう。
【００２３】
複数の識別器としては、性別識別器４０、年代識別器４１、正常／異常識別器４２、滞留／走行識別器４３、及びうろうろ識別器４４などが設けられている。各識別器は、事前に歩行（移動）軌跡に応じた学習により取得した学習情報を記憶し、当該学習情報を使用して識別処理を実行する。
【００２４】
具体的には、例えば年代識別器４１は、人間の属性情報に含まれる年代情報と、ふらふらと歩行するような歩行軌跡を示す情報とを学習情報として記憶し、移動軌跡取得部２１からの歩行軌跡情報に基づいて、ふらふらと歩行している年代が高齢者であれば、徘徊老人と識別する。また、年代識別器４１は、年代が子供であれば、迷子と識別する。ここで、学習情報には、例えば年代別の背の高さ、歩速や歩調等の情報が含まれる。
【００２５】
また、例えば滞留／走行識別器４３は、通常歩行者の歩行軌跡に基づいて、どのような歩行軌跡が滞留といえるか、またどのような歩行軌跡が走行といえるかを学習情報として記憶している。さらに、正常／異常識別器４２は、例えば通路での歩行者の歩行軌跡に基づいて、正常と判定される歩行軌跡（直進や旋回など）を示す情報や、例えばドアの前などの位置で、不安定な歩行で異常と判定される歩行軌跡（方向が不定、ある時間以上の停止など）を示す情報を学習情報として記憶している。
【００２６】
なお、行動統合部４５は、各識別器からの識別結果に対して、敏感／鈍感の選定処理を実行してもよい。例えば、正常／異常識別器４２に対して、夜間は敏感な処理を実行して相対的に厳密に正常と異常の識別を行なうように設定したり、昼間は鈍感な処理を実行して正常と異常の判断基準を緩和させるように設定する。
【００２７】
以下、図４から図７を参照して、本実施形態のシステムの作用効果を説明する。図７は、図２に示す通路に適用した場合の不審行動検知システムの処理手順を示すフローチャートである。
【００２８】
まず、システムは、図２に示すように、通路に配置された各ステレオカメラ１０-1〜１０-4により撮影された映像を入力する（ステップＳ１）。移動軌跡取得部２１の各歩行軌跡獲得部３０は、ステレオ画像処理を実行した後に、該当する監視領域２００，２１０，２２０，２３０での歩行軌跡情報（移動軌跡情報）を獲得する（ステップＳ２，Ｓ３）。歩行軌跡情報は、具体的には、図４（Ａ）に示すような各種の歩行軌跡を示す情報である。
【００２９】
ここで、歩行軌跡統合部３１は、該当する監視領域２００，２１０，２２０，２３０からの歩行軌跡情報を統合して出力する。また、歩行軌跡統合部３１は、後述するように、各ステレオカメラ１０-1〜１０-4を連携させて、非監視領域２４０の歩行軌跡を前後の歩行軌跡から補完する補完処理を実行する。
【００３０】
行動識別部２２は、移動軌跡取得部２１から出力された歩行軌跡情報に基づいて、監視対象である通路を歩行中の人１００の行動を識別する（ステップＳ４）。具体的には、前述したように、各識別器４０〜４４により行動を識別する処理を実行する。
【００３１】
ここでは、正常／異常識別器４２について具体的に説明する。
【００３２】
各識別器４０〜４４は、学習処理により取得した学習情報を使用して、行動を識別する処理を実行する。ここで、学習方法としては、図４に示すような教師なし学習方法と、図５に示すような教師あり学習方法に大別される。教師なし学習では、図４（Ｂ），（Ｃ）に示すように、歩行軌跡を様々なクラスにクラスタリングを実行して、各歩行クラスに正常／異常のラベル付けをした学習情報が得られる。
【００３３】
正常／異常識別器４２は、歩行軌跡統合部３１からの歩行軌跡情報に基づいて、当該学習情報を使用して、獲得した歩行軌跡を歩行クラスに識別して、貼り付けられたラベルに従って正常／異常を識別する。具体的には、正常／異常識別器４２は、図４（Ｂ），（Ｃ）に示す学習情報から、図２に示す監視領域２００での歩行軌跡に対して異常であると識別する。
【００３４】
また、図５（Ａ），（Ｂ）に示す教師あり学習では、人間系で歩行軌跡に正常／異常をラベル５０，５１付けした学習情報が得られる。正常／異常識別器４２は、歩行軌跡統合部３１からの歩行軌跡情報に基づいて、当該学習情報を使用して、獲得した歩行軌跡が正常歩行軌跡または異常歩行軌跡にいずれに該当するかを判定し、図２に示す監視領域２００での歩行軌跡に対して異常であると識別する。
【００３５】
図６は、学習に用いる歩行軌跡データの指定・選定方法を説明するための図である。即ち、各識別器４０〜４４は、各種条件を指定することにより、蓄積された歩行軌跡情報から該当する軌跡６０〜６２を検索する。例えば、場所の指定とは、ある領域を通過した人、ある場所からある場所へ移動した人等の指定である。時間の指定とは、特異日に通過した人や、特定の時間に通過した人等の指定である。軌跡の指定とは、画面上（ＧＵＩ）で軌跡を描くことによる軌跡の指定である。学習に用いる歩行軌跡としては、連続した位置座標、速度や方向転換回数等の抽象化された特徴量、歩行軌跡を獲得した連続画像、及び連続画像から獲得できる特徴量が用いられる。
【００３６】
即ち、各識別器４０〜４４は、いわゆる逐次学習方法を適用して、逐次学習の際に使用する歩行軌跡情報（移動軌跡データ）を、蓄積された歩行軌跡情報のデータ群の中から任意の条件(時間帯、場所、人間の属性情報)に基づいて定期的かつ自動的に選定する。また、オペレータが端末から任意の歩行軌跡情報（移動軌跡データ）を指定または選定する方法でもよい。
【００３７】
行動識別部２２の行動統合部４５は、正常／異常識別器４２の識別結果や、他の識別器の識別結果を統合して、最終的に不審な行動をしている人を判定する（ステップＳ５）。ここでは、行動統合部４５は、監視領域２００において、通常の歩行軌跡とは異なる歩行軌跡を取り、正常／異常識別器４２により異常であると識別された場合に、該当する人１１０の行動は不審であると判定する（ステップＳ５のＹＥＳ）。
【００３８】
システムは、行動識別部２２から不審であるとの判定結果が出力された場合には、例えば不審な行動をしている人１１０が存在することを発報する処理を実行する（ステップＳ６）。
【００３９】
ところで、広域な通路の場合には、各監視領域での不審であるか否かの判定処理ができない場合がある（ステップＳ５のＮＯ）。このような場合、システムの歩行軌跡統合部３１は、前述したように、各ステレオカメラ１０-1〜１０-4を連携させて、監視領域２００，２１０，２２０，２３０の歩行軌跡を連結する（ステップＳ７のＹＥＳ，Ｓ８）。また、システムは、非監視領域２４０についても、歩行軌跡を前後の歩行軌跡から補完する補完処理を実行して、全ての歩行軌跡を連結して統合した歩行軌跡情報を出力する。
【００４０】
行動識別部２２は、広域な通路においても、全ての歩行軌跡を連結して統合した歩行軌跡情報に基づいて、異常な歩行軌跡を示す人が、最終的に不審な行動をしているか否かを判定することができる。
【００４１】
なお、本実施形態のシステムにおいて、行動識別部２２の行動統合部４５が最終的に不審な行動をしている人を判定した場合に、設置されたカメラ１０-1〜１０-4の追尾／ズーム撮像機能を制御して、当該不審者を画面上でクローズアップする装置を含む構成でもよい。
【００４２】
以上のようにして本実施形態によれば、監視対象である人の歩行軌跡（移動軌跡）に基づいて、学習情報を使用することで行動を識別し、最終的に異常な行動をしている不審者を判定することができる。従って、本実施形態のシステムを、例えば建物内の監視システムなどに適用すれば、不審者の特定を自動的に行なうことができるため有効な監視機能を実現することができる。
【００４３】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００４４】
１…不審行動検知システム、１０，１０-1〜１０-4…ステレオカメラ、
１１…赤外線センサ、１２…レーザセンサ、２０…不審行動検知装置、
２１…移動軌跡取得部、２２…行動識別部、３０…歩行軌跡獲得部、
３１…歩行軌跡統合部、４０…性別識別器、４１…年代識別器、
４２…正常／異常識別器、４３…滞留／走行識別器、４４…うろうろ識別器、
４５…行動統合部、２００，２１０，２２０，２３０…監視領域、
２４０…非監視領域。
【技術分野】
【０００１】
本発明の実施形態は、特にカメラなどの光学系センサを使用する不審行動検知システムに関する。
【背景技術】
【０００２】
近年、ビデオカメラにより撮影された映像（動画像）を利用して、不審者などを監視するための監視システムが開発されている。監視システムには、各種の方式が提案されているが、例えば立体高次局所自己相関による特徴量を使用する方式のシステムが提案されている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−７９２７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前述のように監視システムは、ビデオカメラにより撮影された画面内で、異常動作を検出することが可能であるが、複数人の中から異常な行動をしている不審者を特定して識別することはできない。
【０００５】
そこで、本発明の目的は、異常な行動をしている不審者を特定して識別できる不審行動検知システムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明の観点に従った不審行動検知システムは、監視対象の移動位置を検知するためのセンサ手段と、前記センサ手段の出力に基づいて前記監視対象の移動軌跡情報を取得する移動軌跡取得手段と、移動軌跡に応じた行動を学習して取得した学習情報を使用し、前記移動軌跡取得手段により取得された移動軌跡情報に基づいて前記監視対象の行動状態を識別する行動識別手段と、前記行動識別手段により識別された行動状態に基づいて、前記監視対象の不審行動を自動でリアルタイムに判定する判定手段とを備えた構成である。
【図面の簡単な説明】
【０００７】
【図１】実施形態に関する不審行動検知システムの要部を示すブロック図。
【図２】実施形態に関するシステムの具体的構成を説明するための図。
【図３】実施形態に関する移動軌跡統合部及び行動識別部の具体的構成を説明するためのブロック図。
【図４】実施形態に関する行動識別部での学習方法を説明するための図。
【図５】実施形態に関する行動識別部での学習方法を説明するための図。
【図６】実施形態に関する行動識別部での歩行軌跡の指定方法を説明するための図。
【図７】実施形態に関する不審行動検知システムの処理手順を説明するためのフローチャート。
【発明を実施するための形態】
【０００８】
以下図面を参照して、実施形態を説明する。
【０００９】
以下図面を参照して、本発明の実施形態を説明する。
【００１０】
（システムの基本的構成）
図１は、本実施形態に関する不審行動検知システムの要部を示すブロック図である。
【００１１】
図１に示すように、システム１は、複数台のステレオカメラ１０と、不審行動検知装置２０とから構成されている。ステレオカメラ１０は、監視対象である人の移動位置を検知するためのセンサとして動作する。ステレオカメラ１０は、左右又は上下を含む異なる視点に配置された複数のカメラを組み合わせた構成であり、撮影した映像を不審行動検知装置２０に伝送する。複数のカメラとは、離れた位置に配置された２台のカメラでもよい。
【００１２】
なお、センサとしては、ステレオカメラ１０以外に、赤外線センサ１１やレーザセンサ１２などの光学系センサを使用してもよい。
【００１３】
不審行動検知装置２０は、コンピュータシステムから構成されており、ＣＰＵ及びソフトウェアにより実現される移動軌跡取得部２１及び行動識別部２２の機能要素を有する。移動軌跡取得部２１は、ステレオカメラ１０から伝送される映像を画像処理（ステレオ画像処理）する機能を有し、この画像処理結果から監視対象である人の移動軌跡を示す移動軌跡情報を生成する。ここで、人の移動軌跡は、後述するように、人が歩いて移動するときの歩行軌跡に相当する。
【００１４】
移動軌跡取得部２１は、複数のステレオカメラ１０から伝送される映像に基づいて、ステレオカメラ１０の撮影範囲（監視領域）に対応する各移動軌跡を、統合した移動軌跡情報を生成する。この統合した移動軌跡情報には、後述するように、各監視領域及び非監視領域を連結（接続）した移動軌跡を示す情報も含む。
【００１５】
行動識別部２２は、事前に移動軌跡に応じて学習して取得された学習情報を記憶しており、この学習情報を使用し、移動軌跡取得部２１から送られる移動軌跡情報に基づいて監視対象の人の不審行動を判定する。
【００１６】
（システムの具体的構成及び作用効果）
図２は、本実施形態のシステムを適用する具体例を説明するための図である。
【００１７】
ここでは、建物内の通路を監視する監視システムに対して、本実施形態の不審行動検知システム１を適用する場合を想定する。このシステムでは、図２に示すように、通路を、例えば４台のステレオカメラ１０-1〜１０-4により監視する監視領域２００，２１０，２２０，２３０が設定されている。
【００１８】
また、通路はエリアＡとエリアＢに分割されて、各エリアを連結する非監視領域２４０が存在する。この非監視領域２４０の取り扱いについては、後述する。なお、前述したように、センサとしてステレオカメラ１０以外に、赤外センサ１１やレーザセンサ１２を使用することが可能であり、かつ、同一のエリアＡ，Ｂを複数種別のセンサにより監視するなどのバリエーションをとることが可能である。但し、本実施形態では、４台のステレオカメラ１０-1〜１０-4により監視する方法の場合について説明する。
【００１９】
図３は、不審行動検知装置２０に含まれる移動軌跡取得部２１及び行動識別部２２の具体的機能要素を説明するためのブロック図である。
【００２０】
移動軌跡取得部２１は、各ステレオカメラ１０-1〜１０-4からの映像をステレオ画像処理して、監視対象の人の歩行軌跡を示す歩行軌跡情報を獲得するための複数の歩行軌跡獲得部３０を有する。さらに、移動軌跡取得部２１は、複数の歩行軌跡獲得部３０により獲得された歩行軌跡情報を統合したり、非監視領域の歩行軌跡を前後の歩行軌跡から補完する補完処理を実行する歩行軌跡統合部３１を有する。なお、歩行軌跡統合部３１は、複数の監視領域からの歩行軌跡情報の統合、及び同一監視領域での複数種別のセンサ（例えば、ステレオカメラと赤外線センサなど）により獲得された歩行軌跡情報の統合のいずれも実行する。
【００２１】
行動識別部２２は、複数の識別器を含み、最終的な出力結果としてそれらを総合した識別結果（判定結果）を出力する行動統合部４５を有する。行動統合部４５は、例えば多数決や論理積などの方法や、前処理としてルールによる判別処理を実行して、その結果に過不足があった場合に学習機械による識別処理を実行する方法で、識別結果（判定結果）を出力する。
【００２２】
具体的には、行動識別部２２は、例えばＳＶＭ(Support Vector Machine)のようなパターン認識方法を適用して構築されており、監視対象の歩行軌跡情報（移動軌跡データ）の特性を数学的に分析する。これにより、人間系での正常パターン、異常パターンを学習により教示することで不審行動の判別を行なう。
【００２３】
複数の識別器としては、性別識別器４０、年代識別器４１、正常／異常識別器４２、滞留／走行識別器４３、及びうろうろ識別器４４などが設けられている。各識別器は、事前に歩行（移動）軌跡に応じた学習により取得した学習情報を記憶し、当該学習情報を使用して識別処理を実行する。
【００２４】
具体的には、例えば年代識別器４１は、人間の属性情報に含まれる年代情報と、ふらふらと歩行するような歩行軌跡を示す情報とを学習情報として記憶し、移動軌跡取得部２１からの歩行軌跡情報に基づいて、ふらふらと歩行している年代が高齢者であれば、徘徊老人と識別する。また、年代識別器４１は、年代が子供であれば、迷子と識別する。ここで、学習情報には、例えば年代別の背の高さ、歩速や歩調等の情報が含まれる。
【００２５】
また、例えば滞留／走行識別器４３は、通常歩行者の歩行軌跡に基づいて、どのような歩行軌跡が滞留といえるか、またどのような歩行軌跡が走行といえるかを学習情報として記憶している。さらに、正常／異常識別器４２は、例えば通路での歩行者の歩行軌跡に基づいて、正常と判定される歩行軌跡（直進や旋回など）を示す情報や、例えばドアの前などの位置で、不安定な歩行で異常と判定される歩行軌跡（方向が不定、ある時間以上の停止など）を示す情報を学習情報として記憶している。
【００２６】
なお、行動統合部４５は、各識別器からの識別結果に対して、敏感／鈍感の選定処理を実行してもよい。例えば、正常／異常識別器４２に対して、夜間は敏感な処理を実行して相対的に厳密に正常と異常の識別を行なうように設定したり、昼間は鈍感な処理を実行して正常と異常の判断基準を緩和させるように設定する。
【００２７】
以下、図４から図７を参照して、本実施形態のシステムの作用効果を説明する。図７は、図２に示す通路に適用した場合の不審行動検知システムの処理手順を示すフローチャートである。
【００２８】
まず、システムは、図２に示すように、通路に配置された各ステレオカメラ１０-1〜１０-4により撮影された映像を入力する（ステップＳ１）。移動軌跡取得部２１の各歩行軌跡獲得部３０は、ステレオ画像処理を実行した後に、該当する監視領域２００，２１０，２２０，２３０での歩行軌跡情報（移動軌跡情報）を獲得する（ステップＳ２，Ｓ３）。歩行軌跡情報は、具体的には、図４（Ａ）に示すような各種の歩行軌跡を示す情報である。
【００２９】
ここで、歩行軌跡統合部３１は、該当する監視領域２００，２１０，２２０，２３０からの歩行軌跡情報を統合して出力する。また、歩行軌跡統合部３１は、後述するように、各ステレオカメラ１０-1〜１０-4を連携させて、非監視領域２４０の歩行軌跡を前後の歩行軌跡から補完する補完処理を実行する。
【００３０】
行動識別部２２は、移動軌跡取得部２１から出力された歩行軌跡情報に基づいて、監視対象である通路を歩行中の人１００の行動を識別する（ステップＳ４）。具体的には、前述したように、各識別器４０〜４４により行動を識別する処理を実行する。
【００３１】
ここでは、正常／異常識別器４２について具体的に説明する。
【００３２】
各識別器４０〜４４は、学習処理により取得した学習情報を使用して、行動を識別する処理を実行する。ここで、学習方法としては、図４に示すような教師なし学習方法と、図５に示すような教師あり学習方法に大別される。教師なし学習では、図４（Ｂ），（Ｃ）に示すように、歩行軌跡を様々なクラスにクラスタリングを実行して、各歩行クラスに正常／異常のラベル付けをした学習情報が得られる。
【００３３】
正常／異常識別器４２は、歩行軌跡統合部３１からの歩行軌跡情報に基づいて、当該学習情報を使用して、獲得した歩行軌跡を歩行クラスに識別して、貼り付けられたラベルに従って正常／異常を識別する。具体的には、正常／異常識別器４２は、図４（Ｂ），（Ｃ）に示す学習情報から、図２に示す監視領域２００での歩行軌跡に対して異常であると識別する。
【００３４】
また、図５（Ａ），（Ｂ）に示す教師あり学習では、人間系で歩行軌跡に正常／異常をラベル５０，５１付けした学習情報が得られる。正常／異常識別器４２は、歩行軌跡統合部３１からの歩行軌跡情報に基づいて、当該学習情報を使用して、獲得した歩行軌跡が正常歩行軌跡または異常歩行軌跡にいずれに該当するかを判定し、図２に示す監視領域２００での歩行軌跡に対して異常であると識別する。
【００３５】
図６は、学習に用いる歩行軌跡データの指定・選定方法を説明するための図である。即ち、各識別器４０〜４４は、各種条件を指定することにより、蓄積された歩行軌跡情報から該当する軌跡６０〜６２を検索する。例えば、場所の指定とは、ある領域を通過した人、ある場所からある場所へ移動した人等の指定である。時間の指定とは、特異日に通過した人や、特定の時間に通過した人等の指定である。軌跡の指定とは、画面上（ＧＵＩ）で軌跡を描くことによる軌跡の指定である。学習に用いる歩行軌跡としては、連続した位置座標、速度や方向転換回数等の抽象化された特徴量、歩行軌跡を獲得した連続画像、及び連続画像から獲得できる特徴量が用いられる。
【００３６】
即ち、各識別器４０〜４４は、いわゆる逐次学習方法を適用して、逐次学習の際に使用する歩行軌跡情報（移動軌跡データ）を、蓄積された歩行軌跡情報のデータ群の中から任意の条件(時間帯、場所、人間の属性情報)に基づいて定期的かつ自動的に選定する。また、オペレータが端末から任意の歩行軌跡情報（移動軌跡データ）を指定または選定する方法でもよい。
【００３７】
行動識別部２２の行動統合部４５は、正常／異常識別器４２の識別結果や、他の識別器の識別結果を統合して、最終的に不審な行動をしている人を判定する（ステップＳ５）。ここでは、行動統合部４５は、監視領域２００において、通常の歩行軌跡とは異なる歩行軌跡を取り、正常／異常識別器４２により異常であると識別された場合に、該当する人１１０の行動は不審であると判定する（ステップＳ５のＹＥＳ）。
【００３８】
システムは、行動識別部２２から不審であるとの判定結果が出力された場合には、例えば不審な行動をしている人１１０が存在することを発報する処理を実行する（ステップＳ６）。
【００３９】
ところで、広域な通路の場合には、各監視領域での不審であるか否かの判定処理ができない場合がある（ステップＳ５のＮＯ）。このような場合、システムの歩行軌跡統合部３１は、前述したように、各ステレオカメラ１０-1〜１０-4を連携させて、監視領域２００，２１０，２２０，２３０の歩行軌跡を連結する（ステップＳ７のＹＥＳ，Ｓ８）。また、システムは、非監視領域２４０についても、歩行軌跡を前後の歩行軌跡から補完する補完処理を実行して、全ての歩行軌跡を連結して統合した歩行軌跡情報を出力する。
【００４０】
行動識別部２２は、広域な通路においても、全ての歩行軌跡を連結して統合した歩行軌跡情報に基づいて、異常な歩行軌跡を示す人が、最終的に不審な行動をしているか否かを判定することができる。
【００４１】
なお、本実施形態のシステムにおいて、行動識別部２２の行動統合部４５が最終的に不審な行動をしている人を判定した場合に、設置されたカメラ１０-1〜１０-4の追尾／ズーム撮像機能を制御して、当該不審者を画面上でクローズアップする装置を含む構成でもよい。
【００４２】
以上のようにして本実施形態によれば、監視対象である人の歩行軌跡（移動軌跡）に基づいて、学習情報を使用することで行動を識別し、最終的に異常な行動をしている不審者を判定することができる。従って、本実施形態のシステムを、例えば建物内の監視システムなどに適用すれば、不審者の特定を自動的に行なうことができるため有効な監視機能を実現することができる。
【００４３】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００４４】
１…不審行動検知システム、１０，１０-1〜１０-4…ステレオカメラ、
１１…赤外線センサ、１２…レーザセンサ、２０…不審行動検知装置、
２１…移動軌跡取得部、２２…行動識別部、３０…歩行軌跡獲得部、
３１…歩行軌跡統合部、４０…性別識別器、４１…年代識別器、
４２…正常／異常識別器、４３…滞留／走行識別器、４４…うろうろ識別器、
４５…行動統合部、２００，２１０，２２０，２３０…監視領域、
２４０…非監視領域。
【特許請求の範囲】
【請求項１】
監視対象の移動位置を検知するためのセンサ手段と、
前記センサ手段の出力に基づいて、前記監視対象の移動軌跡情報を取得する移動軌跡取得手段と、
移動軌跡に応じた行動を学習して取得した学習情報を使用し、前記移動軌跡取得手段により取得された移動軌跡情報に基づいて前記監視対象の行動状態を識別する行動識別手段と、
前記行動識別手段により識別された行動状態に基づいて、前記監視対象の不審行動を判定する判定手段とを具備し、
前記行動識別手段は、
前記学習情報として人間の属性情報を使用して、前記移動軌跡情報で示す前記監視対象の移動軌跡が正常または異常のいずれかを識別する識別手段を含むことを特徴とする不審行動検知システム。
【請求項２】
前記センサ手段は、ステレオカメラ、単眼カメラ、又はそれ以外の光学系センサのいずれかを含むことを特徴とする請求項１に記載の不審行動検知システム。
【請求項３】
前記センサ手段は、
前記監視対象を撮影するステレオカメラと、
前記ステレオカメラから出力される映像信号を処理する画像処理手段と
を有することを特徴とする請求項１に記載の不審行動検知システム。
【請求項４】
前記移動軌跡取得手段は、
複数のカメラを有し、当該各カメラの撮影範囲に対応する複数の監視領域で、前記監視対象の移動位置を検知するためのセンサ手段と、
前記センサ手段の出力を統合して、前記複数の監視領域に渡る前記監視対象の移動軌跡を示す統合した移動軌跡情報を生成する生成手段とを有することを特徴とする請求項１に記載の不審行動検知システム。
【請求項５】
前記センサ手段は、複数のカメラとして、ステレオカメラ、単眼カメラ、又はそれ以外の光学系センサのいずれかを含むことを特徴とする請求項４に記載の不審行動検知システム。
【請求項６】
前記移動軌跡取得手段は、
各カメラの撮影範囲に含まれない非監視領域において、前記センサ手段の出力に基づいて前記監視対象の移動軌跡を連結する補完処理を実行して、前記非監視領域を含む前記移動軌跡情報を生成する補完手段を有することを特徴とする請求項４に記載の不審行動検知システム。
【請求項７】
前記補完手段は、
前記監視対象の高さ、模様の特徴量を含む属性情報に基づいて前記補完処理を実行するように構成されていることを特徴とする請求項６に記載の不審行動検知システム。
【請求項８】
前記行動識別手段は、パターン認識方法により構築されており、監視対象の前記移動軌跡情報の特性を数学的に分析し、正常パターン及び異常パターンのいずれか、または両方を学習情報として教示することで不審行動の判別を行なうための情報を出力するように構成されていることを特徴とする請求項１に記載の不審行動検知システム。
【請求項９】
前記行動識別手段は、前記学習情報を取得する方法として、蓄積された移動軌跡情報のデータ群の中から任意の条件(時間帯、場所、人間の属性情報など)に基づいて、定期的かつ自動的に選定する逐次学習動作を実行する手段を有することを特徴とする請求項１に記載の不審行動検知システム。
【請求項１０】
前記行動識別手段は、前記学習情報として特性の異なる学習情報を使用して、前記移動軌跡取得手段により取得された移動軌跡情報に基づいて特性の異なる行動状態を識別する複数種の行動識別手段を含むことを特徴とする請求項１に記載の不審行動検知システム。
【請求項１１】
前記センサ手段に含まれるカメラの追尾／ズーム撮像機能を制御して、前記判定手段により不審行動と判定された監視対象をクローズアップする手段を備えていることを特徴とする請求項１に記載の不審行動検知システム。
【請求項１２】
前記行動識別手段は、
前記識別手段の識別処理の感度を昼間または夜間に応じて変更し、夜間では前記感度を相対的に敏感に設定し、昼間では前記感度を相対的に鈍感に設定する手段を含むことを特徴とする請求項１に記載の不審行動検知システム。
【請求項１３】
監視対象の移動位置を検知するためのセンサ手段を使用する不審行動検知システムに適用する不審行動検知方法であって、
前記センサ手段の出力に基づいて、前記監視対象の移動軌跡情報を取得するステップと、
移動軌跡に応じた行動を学習して取得した学習情報を使用し、前記移動軌跡情報に基づいて前記監視対象の行動状態を識別するステップと、
前記ステップにより識別された行動状態に基づいて、前記監視対象の不審行動を判定するステップとを有し、
前記行動識別ステップは、
前記学習情報として人間の属性情報を使用して、前記移動軌跡情報で示す前記監視対象の移動軌跡が正常または異常のいずれかを識別することを特徴とする不審行動検知方法。
【請求項１】
監視対象の移動位置を検知するためのセンサ手段と、
前記センサ手段の出力に基づいて、前記監視対象の移動軌跡情報を取得する移動軌跡取得手段と、
移動軌跡に応じた行動を学習して取得した学習情報を使用し、前記移動軌跡取得手段により取得された移動軌跡情報に基づいて前記監視対象の行動状態を識別する行動識別手段と、
前記行動識別手段により識別された行動状態に基づいて、前記監視対象の不審行動を判定する判定手段とを具備し、
前記行動識別手段は、
前記学習情報として人間の属性情報を使用して、前記移動軌跡情報で示す前記監視対象の移動軌跡が正常または異常のいずれかを識別する識別手段を含むことを特徴とする不審行動検知システム。
【請求項２】
前記センサ手段は、ステレオカメラ、単眼カメラ、又はそれ以外の光学系センサのいずれかを含むことを特徴とする請求項１に記載の不審行動検知システム。
【請求項３】
前記センサ手段は、
前記監視対象を撮影するステレオカメラと、
前記ステレオカメラから出力される映像信号を処理する画像処理手段と
を有することを特徴とする請求項１に記載の不審行動検知システム。
【請求項４】
前記移動軌跡取得手段は、
複数のカメラを有し、当該各カメラの撮影範囲に対応する複数の監視領域で、前記監視対象の移動位置を検知するためのセンサ手段と、
前記センサ手段の出力を統合して、前記複数の監視領域に渡る前記監視対象の移動軌跡を示す統合した移動軌跡情報を生成する生成手段とを有することを特徴とする請求項１に記載の不審行動検知システム。
【請求項５】
前記センサ手段は、複数のカメラとして、ステレオカメラ、単眼カメラ、又はそれ以外の光学系センサのいずれかを含むことを特徴とする請求項４に記載の不審行動検知システム。
【請求項６】
前記移動軌跡取得手段は、
各カメラの撮影範囲に含まれない非監視領域において、前記センサ手段の出力に基づいて前記監視対象の移動軌跡を連結する補完処理を実行して、前記非監視領域を含む前記移動軌跡情報を生成する補完手段を有することを特徴とする請求項４に記載の不審行動検知システム。
【請求項７】
前記補完手段は、
前記監視対象の高さ、模様の特徴量を含む属性情報に基づいて前記補完処理を実行するように構成されていることを特徴とする請求項６に記載の不審行動検知システム。
【請求項８】
前記行動識別手段は、パターン認識方法により構築されており、監視対象の前記移動軌跡情報の特性を数学的に分析し、正常パターン及び異常パターンのいずれか、または両方を学習情報として教示することで不審行動の判別を行なうための情報を出力するように構成されていることを特徴とする請求項１に記載の不審行動検知システム。
【請求項９】
前記行動識別手段は、前記学習情報を取得する方法として、蓄積された移動軌跡情報のデータ群の中から任意の条件(時間帯、場所、人間の属性情報など)に基づいて、定期的かつ自動的に選定する逐次学習動作を実行する手段を有することを特徴とする請求項１に記載の不審行動検知システム。
【請求項１０】
前記行動識別手段は、前記学習情報として特性の異なる学習情報を使用して、前記移動軌跡取得手段により取得された移動軌跡情報に基づいて特性の異なる行動状態を識別する複数種の行動識別手段を含むことを特徴とする請求項１に記載の不審行動検知システム。
【請求項１１】
前記センサ手段に含まれるカメラの追尾／ズーム撮像機能を制御して、前記判定手段により不審行動と判定された監視対象をクローズアップする手段を備えていることを特徴とする請求項１に記載の不審行動検知システム。
【請求項１２】
前記行動識別手段は、
前記識別手段の識別処理の感度を昼間または夜間に応じて変更し、夜間では前記感度を相対的に敏感に設定し、昼間では前記感度を相対的に鈍感に設定する手段を含むことを特徴とする請求項１に記載の不審行動検知システム。
【請求項１３】
監視対象の移動位置を検知するためのセンサ手段を使用する不審行動検知システムに適用する不審行動検知方法であって、
前記センサ手段の出力に基づいて、前記監視対象の移動軌跡情報を取得するステップと、
移動軌跡に応じた行動を学習して取得した学習情報を使用し、前記移動軌跡情報に基づいて前記監視対象の行動状態を識別するステップと、
前記ステップにより識別された行動状態に基づいて、前記監視対象の不審行動を判定するステップとを有し、
前記行動識別ステップは、
前記学習情報として人間の属性情報を使用して、前記移動軌跡情報で示す前記監視対象の移動軌跡が正常または異常のいずれかを識別することを特徴とする不審行動検知方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１２８８７７（Ｐ２０１２−１２８８７７Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１２−６２３３０（Ｐ２０１２−６２３３０）
【出願日】平成２４年３月１９日（２０１２．３．１９）
【分割の表示】特願２００７−５６１８６（Ｐ２００７−５６１８６）の分割
【原出願日】平成１９年３月６日（２００７．３．６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２４年３月１９日（２０１２．３．１９）
【分割の表示】特願２００７−５６１８６（Ｐ２００７−５６１８６）の分割
【原出願日】平成１９年３月６日（２００７．３．６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]