異常事象抽出装置、異常事象抽出方法、この方法のプログラム及びこのプログラムを記録した記録媒体
【課題】画像情報処理によって映像中から異常な事象を抽出し、抽出された原因が人であるか否かの判断、人であると判断したときの人の顔確認、及び異常の度合いを的確に求める。
【解決手段】シーケンス抽出部１０３は映像データベース１０２の映像を予め定められた基準に基づいてシーケンスに分割する。特徴ベクトル抽出部１０５は分割されたシーケンスから特徴ベクトルを抽出する。顔領域検出部１０６は分割されたシーケンス中の人の顔を検出し、特徴ベクトルとする。クラスタ厚生部１０８はベクトル抽出部及び顔領域検出部において抽出された複数の特徴ベクトルが構成する特徴空間においてクラスタを構成すると共に、各特徴ベクトルに対してクラスタから外れている程度の指標を表す評価値を算出する。
【解決手段】シーケンス抽出部１０３は映像データベース１０２の映像を予め定められた基準に基づいてシーケンスに分割する。特徴ベクトル抽出部１０５は分割されたシーケンスから特徴ベクトルを抽出する。顔領域検出部１０６は分割されたシーケンス中の人の顔を検出し、特徴ベクトルとする。クラスタ厚生部１０８はベクトル抽出部及び顔領域検出部において抽出された複数の特徴ベクトルが構成する特徴空間においてクラスタを構成すると共に、各特徴ベクトルに対してクラスタから外れている程度の指標を表す評価値を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像中から異常と思われる事象を抽出する異常事象抽出装置及び抽出方法に係り、特に異常な事象として抽出された原因が人であるか否かを判断し、人であると判断したときに人の顔検出によって異常の度合いを算出する装置及び方法に関する。
【背景技術】
【０００２】
従来から、映像中から異常な状態を自動的に検出する技術としては、モニタリング映像から異常状態を検出する手法がある（例えば、非特許文献１参照）。
【０００３】
非特許文献１では、映像中のイベントをシーケンス（部分映像）として抽出し、シーケンス中の動き物体の軌跡等を特徴量として、特徴空間で１つのクラスを生成する。生成されたクラスを正常な事象のクラスとして、クラスからの距離を異常度合いとすることで、事象に異常、正常の状態を定義することなく、異常な映像を抽出することができる。しかし、異常な事象を引き起こしたのが人であるか否か、人である場合には該人を確認する作業を、人手によって行わなければならない。
【非特許文献１】数藤，大澤，若林，安野，“映像時空間内での変化領域を特徴量とする監視映像からの非定常度推定，”電子情報通信学会 技術研究報告，ＰＲＭＵ２００６−２８，ＭＩ２００６−２８（２００６−５）。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前記のように、従来から映像中から異常な状態を自動的に検出する技術が提案されている。
【０００５】
しかし、異常な状態として抽出された事象の原因が人か否か、また人である場合に、人の顔を確認する作業は、抽出された全ての映像を確認者が時間を追って確認しなければならず、時間的コストや人的負担が大きい。
【０００６】
本発明の目的は、画像情報処理によって映像中から異常な事象を抽出し、抽出された原因が人であるか否かの判断、人であると判断したときの人の顔確認、及び異常の度合いを的確に求めることができる異常事象抽出装置、異常事象抽出方法、この方法のプログラム及びこのプログラムを記録した記録媒体を提供することにある。
【課題を解決するための手段】
【０００７】
本発明では、前記の課題を解決するため、映像を複数のシーケンスに分割し、分割されたシーケンスから特徴ベクトルを抽出し、さらに同シーケンスから人の顔を検出して特徴ベクトルとし、抽出された複数の特徴ベクトルが構成する特徴空間においてクラスタを構成し、各特徴ベクトルに対してクラスタから外れている程度の指標を表す評価値を算出するようにしたもので、以下の装置、方法、プログラム及び記録媒体を特徴とする。
【０００８】
（装置の発明）
（１）画像情報処理によって、映像中から異常と思われる事象を抽出する異常事象抽出装置であって、
前記映像を予め定められた基準に基づいてシーケンスに分割するシーケンス抽出部と、
前記シーケンス抽出部において分割されたシーケンスから特徴ベクトルを抽出する特徴ベクトル抽出部と、
前記シーケンス抽出部において分割されたシーケンス中の人の顔を検出し、特徴ベクトルとする顔領域検出部と、
前記ベクトル抽出部及び顔領域検出部において抽出された複数の特徴ベクトルが構成する特徴空間においてクラスタを構成すると共に、各特徴ベクトルに対してクラスタから外れている程度の指標を表す評価値を算出するクラスタ構成部と、
を備えたことを特徴とする。
【０００９】
（２）前記顔領域検出部は、
前記シーケンス画像のスケール変換を行い、各スケールの画像中から部分領域を切り出して空間周波数分析を行うことによって、該画像中から顔である可能性が高い領域を顔領域候補として抽出する顔領域候補抽出部と、
前記顔領域候補となった領域で詳細な顔検出を行い、顔領域候補内の一部を部分領域として切り出し、顔度を算出することによって、該領域内の顔の有無を判定する顔領域判定部と、
を備えたことを特徴とする。
【００１０】
（３）前記顔領域判定部は、入力される顔領域候補の顔の半面を使用して作成した顔度算出辞書を参照して、正面または横向きの顔の有無を判定することを特徴とする。
【００１１】
（４）前記クラスタ構成部は、
特徴ベクトル抽出部及び顔領域検出部において抽出された特徴ベクトルと、そのうちの代表ベクトルを特徴空間へ写像し、原点からの距離を前記評価値とするクラスタリング部と、
前記特徴ベクトルが新たに抽出されるごとに、前記クラスタリングしたクラスタの分布を代表する特徴ベクトルを代表ベクトルとして選択する代表ベクトル選択部と、
前記選択された代表ベクトルを記憶する代表ベクトル記憶部と、
を備えたことを特徴とする。
【００１２】
（方法の発明）
（５）画像情報処理によって、映像中から異常と思われる事象を抽出する異常事象抽出方法であって、
前記映像を予め定められた基準に基づいてシーケンスに分割するシーケンス抽出ステップと、
前記シーケンス抽出ステップにおいて分割されたシーケンスから特徴ベクトルを抽出する特徴ベクトル抽出ステップと、
前記シーケンス抽出ステップにおいて分割されたシーケンス中の人の顔を検出し、特徴ベクトルとする顔領域検出ステップと、
前記ベクトル抽出ステップ及び顔領域検出ステップにおいて抽出された複数の特徴ベクトルが構成する特徴空間においてクラスタを構成すると共に、各特徴ベクトルに対してクラスタから外れている程度の指標を表す評価値を算出するクラスタ構成ステップと、
からなることを特徴とする。
【００１３】
（６）前記顔領域検出ステップは、
前記シーケンス画像のスケール変換を行い、各スケールの画像中から部分領域を切り出して空間周波数分析を行うことによって、該画像中から顔である可能性が高い領域を顔領域候補として抽出する顔領域候補抽出ステップと、
前記顔領域候補となった領域で詳細な顔検出を行い、顔領域候補内の一部を部分領域として切り出し、顔度を算出することによって、該領域内の顔の有無を判定する顔領域判定ステップと、
からなることを特徴とする。
【００１４】
（７）前記顔領域判定ステップは、入力される顔領域候補の顔の半面を使用して作成した顔度算出辞書を参照して、正面または横向きの顔の有無を判定することを特徴とする。
【００１５】
（８）前記クラスタ構成ステップは、
特徴ベクトル抽出ステップ及び顔領域検出ステップにおいて抽出された特徴ベクトルと、そのうちの代表ベクトルを特徴空間へ写像し、原点からの距離を前記評価値とするクラスタリングステップと、
前記特徴ベクトルが新たに抽出されるごとに、前記クラスタリングしたクラスタの分布を代表する特徴ベクトルを代表ベクトルとして選択する代表ベクトル選択ステップと、
前記選択された代表ベクトルを記憶する代表ベクトル記憶ステップと、
からなることを特徴とする。
【００１６】
（プログラムの発明）
（９）上記（５）〜（８）の各ステップの一部または全部を、コンピュータに読み込むプログラムで実行可能にしたことを特徴とする。
【００１７】
（記録媒体の発明）
（１０）上記（９）のプログラムをコンピュータが読み取り可能に記録したことを特徴とする。
【発明の効果】
【００１８】
本発明によれば、映像を複数のシーケンスに分割し、分割されたシーケンスから特徴ベクトルを抽出し、さらに同シーケンスから人の顔を検出して特徴ベクトルとし、抽出された複数の特徴ベクトルが構成する特徴空間においてクラスタを構成し、各特徴ベクトルに対してクラスタから外れている程度の指標を表す評価値を算出するため、映像中から異常な事象を抽出し、抽出された原因が人であるか否かの判断、人であると判断したときの人の顔確認、及び異常の度合いを的確に求めることができる。
【００１９】
また、抽出された複数のシーケンスを算出された評価値に基づいて順位付けを行い、確認することが可能となる。
【００２０】
さらに、異常とされた事象の映像からの顔の検出により、異常な事象の原因となった人の顔を、シーケンスの代表画像として提示したり、人の顔を検出して得られる特徴を異常度合いに反映させ、人の顔が検出される状態を、異常度合いを特に高く（あるいは低く）したり、反対に、人の顔が検出されない状態を、異常度合いを特に高く（あるいは低く）したりする設定が可能となる。
【発明を実施するための最良の形態】
【００２１】
図１は、本発明の実施形態を示す異常事象抽出装置の基本構成図である。なお、各部の機能はコンピュータのハードウェア資源と、コンピュータに搭載するソフトウェアで実現される。
【００２２】
映像入力部１０１では、カメラ等から入力される映像を取得し、映像データベース１０２に記録する。
【００２３】
シーケンス抽出部１０３では、映像データベース１０２の映像から、連続したフレームをシーケンスとして抽出し、検出された順に番号を１から順に付与し、シーケンス番号とする。このシーケンス番号は、シーケンス蓄積部１０４に記憶する。
【００２４】
特徴ベクトル抽出部１０５は、シーケンス蓄積部１０４に記憶する各シーケンスの画像毎に特徴ベクトルを抽出し、抽出元であるシーケンスのシーケンス番号とともに特徴ベクトル蓄積部１０７に記憶する。
【００２５】
顔領域検出部１０６では、各シーケンスの画像毎に人の顔を検出する。検出された顔領域に関する情報は、抽出元であるシーケンスのシーケンス番号とともに特徴ベクトル蓄積部１０７に記憶される。
【００２６】
クラスタ構成部１０８は、特徴ベクトル抽出部１０５ならびに顔領域検出部１０６において抽出され、抽出元であるシーケンスのシーケンス番号とともに特徴ベクトル蓄積部１０７に蓄積されている特徴ベクトルの分布に基づいて、シーケンス毎にクラスタを構成すると共に、各特徴ベクトルのクラスタからの距離（離れ具合）等を表す評価値を算出する。
【００２７】
図２は、シーケンス抽出部１０３と特徴ベクトル抽出部１０５の抽出処理の一例を示す図である。
【００２８】
シーケンス抽出処理は、図２（ａ）に示すように、入力映像から連続した複数のフレームの組を抽出し、シーケンス１，２，…とする。１つのシーケンスは、例えば、ひとつの動き物体が映像中に出現してから消失するまでという判定結果から抽出する。判定には、外部センサ１１１による信号をトリガとして用いてもよいし、画像の背景差分や２フレーム差分による動き物体検出などの手法を用いてもよい。外部センサ１１１を用いた動き物体の有無判定の方法としては、例えば、赤外センサや超音波センサにより物体の有無を検知する方法、マイクによって物体の通過音などを検知する方法、圧力センサなど接触型のセンサにより物体の有無を検知する方法などを利用できる。
【００２９】
特徴ベクトル抽出部１０５は、動き物体の情報、例えば、画像中での動き領域の位置の時間変化を利用し、主成分分析等により次元圧縮したもの等をもとに特徴ベクトルを作成する。また、例えば動き領域の重心の時間変化などをもとに特徴ベクトルを作成してもよい。求められた特徴ベクトルには、特徴ベクトルを抽出した元のシーケンスのシーケンス番号を付与しておく。
【００３０】
シーケンス中の動き物体の画像中での位置の時間変化を用いる場合を図２（ｂ）を用いて説明する。ここで、背景画像との差分により、入力映像中のシーケンス２として図２（ｂ）の（１）として示す４コマ画像が抽出された場合、図２（ｂ）の（２）に背景との差分となる領域が動き領域として抽出される。ここで、背景と動き領域の２値化処理を行ってベクトルとし、シーケンス中の他の画像にも同様の処理を行ったものと合わせて、主成分分析により次元圧縮した特徴ベクトルを生成する。例えば、動き物体の画素を１、それ以外を０とする２値の画像の並び（画像の横×縦サイズ）をベクトルとし、構成画像数と同数のベクトルを主成分分析により次元圧縮して、特徴ベクトルとする。
【００３１】
ここで、顔領域検出部１０６により顔領域が検出された場合には、動き領域と動き領域以外に加え、図２（ｂ）の（３）として示すように、画像中の顔領域（例えば画素を２とする）を含めた、３値のベクトルを生成し、同様の処理を行ってもよいし、顔の向き（例えば画素を３とする）等を含めた複数値のベクトルとして処理してもよい。また、顔に関する情報を動き領域による特徴ベクトルとは統合せずに特徴ベクトル蓄積部１０７に記憶しておき、動き領域による特徴ベクトルとは別に異常度合いをはかる評価値を算出する際に、異常度合いの重み付けに使用してもよい。さらには、事前登録された人との照合による顔認識を行い、照合結果を異常度合いの算出に利用できるようにしてもよい。
【００３２】
次に、図３〜図７を用いて、顔領域検出部１０６での顔検出について説明する。
顔検出の手法に関しては、ここでは、特開２００６−２９３７２０号公報による手法、ＡｄａＢｏｏｓｔ学習手法とカスケード検出器構造をもつＨａａｒ型の特徴量検出による手法（例えば、文献２「Ｐ．Ｖｉｏｌａ，Ｍ．Ｊｏｎｅｓ，“Ｒａｐｉｄ ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ”，Ｉｎ Ｐｒｏｃ．ＩＥＥＥ Ｃｏｎｆ．ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，Ｋａｕａｉ，ＵＳＡ，２００１」）による顔候補領域絞込みを行い、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）により顔と非顔を学習して顔を識別する手法（例えば文献３「数理化学 ＮＯ．４４４，ＪＵＮＥ ２０００ 赤穂ら」）を用いて顔候補領域からさらに詳細な顔検出を行う手法を説明する。
【００３３】
顔検出を行う手法は、人の顔が検出できるものであればよく、例えば、テンプレートマッチングによる手法でもよいし、ＳＶＭにより顔と非顔を学習して顔を識別する手法を単独で用いてもよいし、ＡｄａＢｏｏｓｔ学習手法とカスケード検出器構造をもつ、Ｈａａｒ型の特徴量検出による手法を単独で用いてもよい。
【００３４】
図３は、上記顔検出手法を用いた顔領域検出部１０６の構成例を示す図であり、図３（ａ）は、顔領域検出部１０６の全体の構成を示す図である。顔領域候補抽出部２０１では、シーケンス画像のスケール変換を行い、各スケールの画像中から部分領域を切り出して空間周波数分析を行うことによって、該画像中から顔である可能性が高い領域を顔領域候補として抽出する。顔領域判定部２０２では、顔領域候補となった領域で詳細な顔検出を行い、顔領域候補内の一部を部分領域として切り出し、顔度を算出することによって、該領域内の顔の有無判定を行う。
【００３５】
図３（ｂ）は、顔領域候補抽出部２０１の構成を示す図である。顔領域候補抽出部２０１は、画像スケール変換部３０１と、検出対象領域切出部３０２と、空間周波数分析部３０３と、顔候補判定部３０４と、顔領域候補情報記憶部３０５とから構成される。
【００３６】
画像スケール変換部３０１では、入力された画像のスケール変換を行う。ここで、最小画像サイズおよび、スケール変換幅はあらかじめ設定されているものとする。スケール毎に顔領域候補を探索し、全てのスケールでの探索終了時に顔領域候補抽出処理が終了となる。
【００３７】
検出対象領域切出部３０２では、スケール変換された画像から既定のサイズの領域の切り出しを行う。ただし、ここで扱う領域の形状は、任意形状であってよいものとする。ここでは、図４（ａ）に例を示すように顔領域の形状を矩形として切り出す場合で説明する。
【００３８】
空間周波数分析部３０３では、該領域に対し空間周波数フィルタリングを行うことができる。例えば、ＡｄａＢｏｏｓｔ学習手法とカスケード検出器構造をもつＨａａｒ型の特徴量検出による手法を用いる。ただし、空間周波数フィルタリングの方法はＨａａｒ型の特徴量検出による手法に限るものではない。
【００３９】
顔候補判定部３０４では、空間周波数分析部３０３の出力値をもとに、該領域が顔領域候補となり得るか否かを判定する。顔領域候補情報記憶部３０５では、顔領域候補及び候補検出時のスケールを記憶する。
【００４０】
図３（ｃ）は、顔領域判定部２０２の構成図である。顔領域判定部２０２は、顔領域候補情報入力部４０１と、顔度算出辞書４０２と、辞書読込部４０３と、対象領域切出部４０４と、顔度算出部４０５と、顔／非顔判定部４０６と、判定結果記憶部４０７から構成される。
【００４１】
顔領域候補情報入力部４０１では、入力画像及び顔領域候補抽出部２０１で算出された顔領域候補情報を取得する。
【００４２】
顔情報の詳細を見るための顔度算出辞書４０２は、あらかじめ作成してあるものとする。顔度算出辞書４０２は、作成時に一例として学習判別手法としてＳＶＭを用い、既定のサイズの領域に限定した顔（以下、部分顔と記載）と非顔を学習し、作成するものとする。ただし、使用できる学習判別手法は、ＳＶＭに限らない。
【００４３】
顔度算出辞書４０２内には、顔度算出部４０５で使用するパラメータが含まれるものとし、顔と非顔を判別する顔度を算出するのに必要な情報を含むものとする。すなわち、学習データをもとに、特徴空間において算出される顔クラスと非顔クラスの識別面を定義する式の係数を含むものとし、顔度は、識別面を定義する式により表される識別面からの距離により算出する。
【００４４】
辞書読込部４０３は、顔度算出辞書４０２を読み込み、顔度算出部４０５で用いることができるようにする。
【００４５】
対象領域切出部４０４では、顔領域候補抽出部２０１から取得した顔領域候補情報に基づき、入力画像から対象とする部分領域の切り出しを行う。
【００４６】
顔度算出部４０５は、辞書読込部４０３で読み込まれた顔度算出辞書４０２を参照し、対象領域切出部４０４で対象とした領域の顔度を算出する。
【００４７】
顔／非顔判定部４０６では、顔度算出部４０５により算出された顔度が顔に相当するものであるか、非顔に相当するものであるかを判定する。判定結果記憶部４０７では、顔／非顔判定部４０６で算出された判定情報を記憶する。
【００４８】
図４は、顔領域判定部２０２による顔領域判定の際に、対象領域とする部分顔の例を示す図である。図４の（ａ）には画像中において顔領域判定部２０２において、顔領域候補抽出部２０１から顔領域候補として入力される、人の顔候補領域の例を示す図である。
【００４９】
部分顔として、正面向きの顔の全領域を使用して顔度算出辞書４０２を作成した例を図４の（ｂ）に示す。正面向きの顔の全領域を使用して辞書を作成した場合、検出される顔の向きは正面のみになり、横向き、上下向きの顔は検出されない。
【００５０】
部分顔として、顔の半面を使用して顔度算出辞書４０２を作成した例を図４の（ｃ）に示す。顔の半面を使用して辞書を作成した場合、検出される顔の向きは正面または横向きとなり、広い角度範囲の顔が検出できる。また、左右どちらの顔半面を使用したかによって、顔向きを判定できる。
【００５１】
以上のように、検出したい顔向き範囲にあわせて顔度算出辞書４０２を作成し、検出に使用してもよい。また、顔度算出辞書４０２は単独で使用してもよいし、複数の顔度算出辞書４０２をあわせもち、統合して使用したり、向きの判定の要不要など用途に合わせて選択できるようにしたりしてもよい。
【００５２】
顔度算出辞書４０２には、上記顔領域が学習され、顔と顔以外のものを識別する識別式が記憶されており、識別式によって得られる値を顔と顔以外のものに識別する閾値もあわせて記憶されているものとする。ただし、学習識別手法により、顔以外に顔領域と同じ大きさの非顔が学習されていてもよいものとする。
【００５３】
図５は、顔領域検出部１０６における顔領域候補抽出処理の流れの一例を示す図である。具体的なステップは以下の通りである。
【００５４】
ステップ１：シーケンスを構成する１画像を入力画像として取得する。
【００５５】
ステップ２：画像の縮小処理を行うスケールパラメータを初期化する。
【００５６】
ステップ３：入力画像から対象領域の切り出しを行う。このステップ３以降の処理は、画像をスケールパラメータにしたがって縮小しながらの繰り返し処理となる。ここで、スケールパラメータの繰り返し処理ごとの更新は、あらかじめ規定された最小スケールまで、規定のステップ幅で行われるものとする。
【００５７】
ステップ４：対象領域の空間周波数フィルタリングを行う。
【００５８】
ステップ５：ステップ４の結果として得られる数値が、規定の顔領域候補となり得る閾値以上の値であれば顔領域候補と判断、閾値以下の値であれば顔領域候補外とする。該領域が顔領域候補である場合にはステップ６へ、それ以外はステップ７へ遷移する。
【００５９】
ステップ６：対象領域を顔領域候補として、画像中における位置、スケールを判定結果記憶部４０７に記憶する。
【００６０】
ステップ７：画像中の全領域を対象領域として探索したか否かを判断する。全領域を対象領域として探索を終了した場合はステップ８へ、それ以外はステップ３に戻り、走査式で次の領域を対象領域とする。
【００６１】
ステップ８：現在処理しているスケールが、入力画像に対し最小スケールとなるものであるか否かを判断する。最小スケールであれば終了、それ以外はステップ９へ遷移する。
【００６２】
ステップ９：指定ステップ幅で入力画像を縮小（スケール変換）する。
【００６３】
図６は、顔領域検出部１０６における顔領域判定処理の流れの一例を示す図である。具体的なステップは以下の通りである。
【００６４】
ステップ１：顔度算出辞書４０２の読み込みを行う。
【００６５】
ステップ２：顔領域候補抽出部２０１で記憶された顔領域候補の読み込みを行う。一度に読み込む顔領域候補の情報は１つとし、ステップ３以下の各ステップは領域候補数分、繰り返し処理を行う。
【００６６】
ステップ３：顔候補領域から対象領域を切り出し、顔領域候補抽出部２０１で顔候補領域を抽出したスケールに変換する。
【００６７】
ステップ４：スケール変換された対象領域の顔度を算出する。
【００６８】
ステップ５：該領域が顔領域であるかを判定する。ステップ４で算出された顔領域の顔度と、あらかじめ設定された顔度の数値の大小を比較し、算出された顔領域の顔度の方が大きい場合は顔と判定、小さい場合は非顔と判定する。顔と判定された場合はステップ６へ、それ以外はステップ９へ遷移する。
【００６９】
ステップ６：候補領域が顔として記憶されている領域（記憶のステップはステップ７及び８、１０）と重なりがあるか否かを判断する。重なりがある場合にはステップ７へ、それ以外はステップ８へ遷移する。
【００７０】
ステップ７：重なりがある場合には、両領域の顔度を比較し、同時に顔度の低い方の領域の情報を削除し、顔度の大きい方の領域を顔として判定結果記憶部４０７に記憶する（記憶情報は、ステップ６、１０でも使用する）。
【００７１】
ステップ８：候補領域を顔とし、判定結果記憶部４０７に記憶する（記憶情報は、ステップ６、１０でも使用する）。
【００７２】
ステップ９：全候補領域を探索したか否かを判断する。探索し終えた場合はステップ１０へ、それ以外はステップ２へ遷移する。
【００７３】
ステップ１０：顔度算出辞書４０２の異なる検出を既に行っている場合、既検出の顔度値と比較し、辞書４０２で検出された顔度値の大きい顔情報を記憶し、顔度の小さい方の情報を削除する。
【００７４】
ステップ１１：顔度算出辞書４０２の全ての読み込み処理が完了したか否かを判断する。完了した場合には処理を終了し、それ以外はステップ１へ遷移する。
【００７５】
図７は、顔領域検出部１０６における顔検出処理の具体例を示す図である。顔領域検出部１０６では、シーケンスを構成する各画像を入力画像として、スケール変換を繰り返しながら、画像中から対象領域を切り出して対象領域が顔領域候補であるかを識別し、対象領域を走査しながら、画像中の顔領域候補を探索する。顔候補領域を矩形とした場合、顔領域候補が存在した場合には、検出時のスケール及び入力画像中での座標、幅、高さを、顔領域候補情報記憶部３０５に記憶する。ここで、顔候補領域は矩形でなく、楕円や円形であってもよいものとする。
【００７６】
次に、顔領域候補が存在した場合には、顔領域候補中から詳細検出を行うため、顔度算出辞書４０２を読み込み、顔領域候補中の検出対象領域を切り出し、対象領域の顔度を算出し、顔度により顔と非顔を判別する。顔度は顔度算出辞書４０２に登録されている顔クラスと非顔クラスの識別式により算出され、算出された数値が予め顔度算出辞書４０２に登録された閾値より顔クラスに近い数値であれば顔として判別する。例えば、顔と非顔を判別する閾値を０とすると、顔度が正の値であれば顔、負であれば非顔となる。ただし、閾値は識別式により異なるものであり、識別式は、顔度算出辞書４０２に登録されている顔、非顔のデータにより異なるものである。
【００７７】
顔と判別された領域は、顔領域候補情報と顔度算出辞書４０２により決定される顔向き等の情報を判定結果記憶部４０７に記憶する。ここで、顔領域候補に大きな重なりがある場合、すなわち、記憶しようとした顔領域がすでに記憶された領域と大きな重なりをもつ場合には、両領域の顔度の大きい方を顔領域として更新記憶する。さらに、記憶しようとした顔領域が、すでに他の辞書４０２によって記憶された領域である場合には、顔度値の大きな値が得られた顔度算出辞書４０２による情報を該領域の顔情報として記憶する。顔領域候補が存在しない場合には、入力画像中に顔はないものとする。
【００７８】
シーケンスを構成する全ての画像において顔検出処理が終わった場合、検出された顔情報を特徴ベクトルとして特徴ベクトル蓄積部１０７に記憶する。例えば、顔領域の時間変化、顔領域の重心の軌跡、顔向きの推移、顔度の推移、顔領域の有無等を顔情報による特徴ベクトルとする。
【００７９】
以上、抽出された特徴ベクトルを用いて、クラスタの構成を行う。図８は、クラスタ構成部１０８の構成例を示す図である。クラスタ構成部１０８は、入力された特徴ベクトルをクラスタリングするクラスタリング部６０１と、クラスタの分布を代表するようなサンプルを選択する代表ベクトル選択部６０３と、選択された代表ベクトルを記憶する代表ベクトル記憶部６０２とからなる。
【００８０】
クラスタリング部６０１には、特徴ベクトル抽出部１０５及び顔領域検出部１０６において抽出された特徴ベクトルが入力される。この特徴ベクトルのうち、特徴空間で距離が近いもののまとまりをクラスタとみなし、クラスタから遠いものほど入力映像の中で異常度合いの高いシーケンスであるとみなす。新たな特徴ベクトルが加わるごとに、特徴空間における分布の方よりは変化するため、クラスタの再構成が必要である。再構成は、特徴ベクトルの数が予め定めた所定値を超えるごとに行うか、または、クラスタ構成部１０８に対して、ユーザの指示による再構成のリクエストが入力された場合に行うようにすればよい。
【００８１】
クラスタの構成の仕方には、１クラスＳＶＭを用いる方法、クラスタ分析の手法、自己組織化マップを用いる方法、ｋ−ｍｅａｎｓ法を用いる方法などがある。ここでは、例として、１クラスＳＶＭを用いる場合について図９を参照して説明する。
【００８２】
図９は、クラスタ構成部１０８で構成するクラスタの概念図である。クラスタリング部６０１では、ガウシャンカーネルを用いて、代表ベクトル記憶部６０２に記憶されている代表ベクトル、及び入力された特徴ベクトル、全ての特徴ベクトルを特徴空間へ写像し、原点からの距離を計算し評価値とする。次に、代表ベクトル選択部６０３は、サポートベクタを代表ベクトルとして選択し、代表ベクトル記憶部６０２に記憶する。以上の操作は、クラスタの再構成のたびに行う。
【００８３】
さらに、クラスタリングと各特徴ベクトルに対応する評価値を算出し、代表ベクトルの選択を行った後、クラスタリング部６０１は特徴ベクトルに付与されたシーケンス番号と当該特徴ベクトルの評価値を対応付けて出力する。
【００８４】
クラスタ構成部１０８から出力される評価値は、特徴ベクトルがクラスタから外れている度合いの指標となる。例えば、クラスタ構成部１０８において、前述のように１クラスＳＶＭを用いた場合には、評価値の小さい順に特徴ベクトルのシーケンス番号をソートし、対応するシーケンスを順番に出力することで、正常状態と異なる異常度合いの高い順にシーケンスを提示することができる。このとき、特徴ベクトル蓄積部に蓄積された特徴ベクトルのうち、顔情報による特徴ベクトルを用いて、例えば、顔度の推移のベクトルから顔度の最も高い顔領域が検出された画像を選択し、該シーケンスの代表画像として提示してもよい。
【００８５】
図１０は、異常事象抽出処理の流れの一例を示す図である。ステップ１は入力映像に対し、映像から、あるいは外部センサ１１１により動き物体の検知がなされたことをトリガ入力とする。ステップ２はトリガ入力で入力映像を予め定められた基準に基づいてシーケンスに分割するシーケンス抽出処理を行う。ステップ３はシーケンス抽出において分割されたシーケンスから特徴ベクトルを抽出する。ステップ４はシーケンス抽出において分割されたシーケンスを構成する画像から人の顔領域を検出する。ステップ５は特徴ベクトル抽出処理で抽出された複数の特徴ベクトルが構成する特徴空間においてクラスタを構成する。ステップ６は各特徴ベクトルに対してクラスタから外れている程度の指標を表す評価値を算出する。
【００８６】
図１１は、異常事象抽出装置を利用した異常事象抽出例を示す図である。ここで、入退出の監視カメラによる映像を入力とする。シーケンスとして抽出されるパターンとしては、（ア）既知の人による決められた行為、（イ）不審者による決められた行為、（ウ）既知の人による不審行為、（エ）不審者による不審行為、（オ）既知の人による禁止行為、（カ）不審者による禁止行為などが考えられ、（イ）〜（カ）の事象を分類、抽出することが求められる。
【００８７】
入力映像が図１１中の（ａ）通常の行為、（ｂ）禁止行為、（ｃ）不審な行為であった場合、システムは、行動パターンをクラスタリングすることにより、通常の行為と異常な行為を識別し、（ｂ）（ｃ）を、（ウ）〜（カ）として抽出する。さらに、顔検出により、上記の事象を起こした人の顔画像を提示することができる。
【００８８】
さらに、検出した顔画像を、予め登録してある人の顔画像と照合する等、顔認識を行うことで、既知の人と未知の人に分類し、（ａ）〜（ｃ）の行為が既知の人によってなされたのか、不審者によってなされたのかを判断する。以上により、（イ）〜（カ）の分類、抽出を行う。
【００８９】
また、システムのユーザは、予め、行動パターンによる異常度合いと、事象を起こした人の既知／未知による異常度合いの、どちらをより異常と判断するかを設定することにより、ユーザが確認したいシーケンスを優先的に提示させることができる。
【００９０】
以上、本実施形態による処理は、同じシーケンス中に複数の人が写っている場合にも同様の処理が可能であり、人数により異常度合いの算出方法を設定することもできる。また、社員データベース等を利用し、個人の認識技術と組み合わせることで、警備員による通常行為はもちろん、通常とは異なる行為も除外することができ、真に不審者の行為で通常に似た行為、また通常とは異なる行為をレベル分けして検出することもできる。さらには、そうしたデータベースを検出される人の顔を記録していくことで作成し、検出回数の多い人を既知の人とすることも可能である。
【００９１】
また、顔だけでなく、人の動作、人体の特徴、個人の特徴等を検出し、特徴量とすることで、人の動作や後姿、歩き方による不審者、異常状態の抽出を行うこともできる。
【００９２】
なお、本発明は、図１０等に示す方法の一部または全部の処理ステップを、コンピュータに読み込むプログラムで実行させることができる。また、該プログラムをコンピュータが読み取り可能に記録媒体に記録することも、ネットワークを介して提供することも可能である。
【図面の簡単な説明】
【００９３】
【図１】本発明の実施形態を示す異常事象抽出装置の基本構成図。
【図２】シーケンス抽出部１０３と特徴ベクトル抽出部１０５の抽出処理の一例を示す図。
【図３】顔領域検出部１０６の構成の一例を示す図。
【図４】顔領域判定部２０２による顔領域判定の際に対象領域とする部分顔の例を示す図。
【図５】顔領域検出部１０６における顔領域候補抽出処理の流れの一例を示す図。
【図６】顔領域検出部１０６における顔領域判定処理の流れの一例を示す図。
【図７】顔領域検出部１０６における顔検出処理の具体例を示す図。
【図８】クラスタ構成部１０８の構成例を示す図。
【図９】クラスタ構成部１０８で構成するクラスタの概念図。
【図１０】本発明による異常事象抽出処理の流れの一例を示す図。
【図１１】本発明による異常事象抽出を利用した異常事象抽出例を示す図。
【符号の説明】
【００９４】
１０１ 映像入力部
１０２ 映像データベース
１０３ シーケンス抽出部
１０４ シーケンス蓄積部
１０５ 特徴ベクトル抽出部
１０６ 顔領域検出部
１０７ 特徴ベクトル蓄積部
１０８ クラスタ構成部
１１１ 外部センサ
【技術分野】
【０００１】
本発明は、映像中から異常と思われる事象を抽出する異常事象抽出装置及び抽出方法に係り、特に異常な事象として抽出された原因が人であるか否かを判断し、人であると判断したときに人の顔検出によって異常の度合いを算出する装置及び方法に関する。
【背景技術】
【０００２】
従来から、映像中から異常な状態を自動的に検出する技術としては、モニタリング映像から異常状態を検出する手法がある（例えば、非特許文献１参照）。
【０００３】
非特許文献１では、映像中のイベントをシーケンス（部分映像）として抽出し、シーケンス中の動き物体の軌跡等を特徴量として、特徴空間で１つのクラスを生成する。生成されたクラスを正常な事象のクラスとして、クラスからの距離を異常度合いとすることで、事象に異常、正常の状態を定義することなく、異常な映像を抽出することができる。しかし、異常な事象を引き起こしたのが人であるか否か、人である場合には該人を確認する作業を、人手によって行わなければならない。
【非特許文献１】数藤，大澤，若林，安野，“映像時空間内での変化領域を特徴量とする監視映像からの非定常度推定，”電子情報通信学会 技術研究報告，ＰＲＭＵ２００６−２８，ＭＩ２００６−２８（２００６−５）。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前記のように、従来から映像中から異常な状態を自動的に検出する技術が提案されている。
【０００５】
しかし、異常な状態として抽出された事象の原因が人か否か、また人である場合に、人の顔を確認する作業は、抽出された全ての映像を確認者が時間を追って確認しなければならず、時間的コストや人的負担が大きい。
【０００６】
本発明の目的は、画像情報処理によって映像中から異常な事象を抽出し、抽出された原因が人であるか否かの判断、人であると判断したときの人の顔確認、及び異常の度合いを的確に求めることができる異常事象抽出装置、異常事象抽出方法、この方法のプログラム及びこのプログラムを記録した記録媒体を提供することにある。
【課題を解決するための手段】
【０００７】
本発明では、前記の課題を解決するため、映像を複数のシーケンスに分割し、分割されたシーケンスから特徴ベクトルを抽出し、さらに同シーケンスから人の顔を検出して特徴ベクトルとし、抽出された複数の特徴ベクトルが構成する特徴空間においてクラスタを構成し、各特徴ベクトルに対してクラスタから外れている程度の指標を表す評価値を算出するようにしたもので、以下の装置、方法、プログラム及び記録媒体を特徴とする。
【０００８】
（装置の発明）
（１）画像情報処理によって、映像中から異常と思われる事象を抽出する異常事象抽出装置であって、
前記映像を予め定められた基準に基づいてシーケンスに分割するシーケンス抽出部と、
前記シーケンス抽出部において分割されたシーケンスから特徴ベクトルを抽出する特徴ベクトル抽出部と、
前記シーケンス抽出部において分割されたシーケンス中の人の顔を検出し、特徴ベクトルとする顔領域検出部と、
前記ベクトル抽出部及び顔領域検出部において抽出された複数の特徴ベクトルが構成する特徴空間においてクラスタを構成すると共に、各特徴ベクトルに対してクラスタから外れている程度の指標を表す評価値を算出するクラスタ構成部と、
を備えたことを特徴とする。
【０００９】
（２）前記顔領域検出部は、
前記シーケンス画像のスケール変換を行い、各スケールの画像中から部分領域を切り出して空間周波数分析を行うことによって、該画像中から顔である可能性が高い領域を顔領域候補として抽出する顔領域候補抽出部と、
前記顔領域候補となった領域で詳細な顔検出を行い、顔領域候補内の一部を部分領域として切り出し、顔度を算出することによって、該領域内の顔の有無を判定する顔領域判定部と、
を備えたことを特徴とする。
【００１０】
（３）前記顔領域判定部は、入力される顔領域候補の顔の半面を使用して作成した顔度算出辞書を参照して、正面または横向きの顔の有無を判定することを特徴とする。
【００１１】
（４）前記クラスタ構成部は、
特徴ベクトル抽出部及び顔領域検出部において抽出された特徴ベクトルと、そのうちの代表ベクトルを特徴空間へ写像し、原点からの距離を前記評価値とするクラスタリング部と、
前記特徴ベクトルが新たに抽出されるごとに、前記クラスタリングしたクラスタの分布を代表する特徴ベクトルを代表ベクトルとして選択する代表ベクトル選択部と、
前記選択された代表ベクトルを記憶する代表ベクトル記憶部と、
を備えたことを特徴とする。
【００１２】
（方法の発明）
（５）画像情報処理によって、映像中から異常と思われる事象を抽出する異常事象抽出方法であって、
前記映像を予め定められた基準に基づいてシーケンスに分割するシーケンス抽出ステップと、
前記シーケンス抽出ステップにおいて分割されたシーケンスから特徴ベクトルを抽出する特徴ベクトル抽出ステップと、
前記シーケンス抽出ステップにおいて分割されたシーケンス中の人の顔を検出し、特徴ベクトルとする顔領域検出ステップと、
前記ベクトル抽出ステップ及び顔領域検出ステップにおいて抽出された複数の特徴ベクトルが構成する特徴空間においてクラスタを構成すると共に、各特徴ベクトルに対してクラスタから外れている程度の指標を表す評価値を算出するクラスタ構成ステップと、
からなることを特徴とする。
【００１３】
（６）前記顔領域検出ステップは、
前記シーケンス画像のスケール変換を行い、各スケールの画像中から部分領域を切り出して空間周波数分析を行うことによって、該画像中から顔である可能性が高い領域を顔領域候補として抽出する顔領域候補抽出ステップと、
前記顔領域候補となった領域で詳細な顔検出を行い、顔領域候補内の一部を部分領域として切り出し、顔度を算出することによって、該領域内の顔の有無を判定する顔領域判定ステップと、
からなることを特徴とする。
【００１４】
（７）前記顔領域判定ステップは、入力される顔領域候補の顔の半面を使用して作成した顔度算出辞書を参照して、正面または横向きの顔の有無を判定することを特徴とする。
【００１５】
（８）前記クラスタ構成ステップは、
特徴ベクトル抽出ステップ及び顔領域検出ステップにおいて抽出された特徴ベクトルと、そのうちの代表ベクトルを特徴空間へ写像し、原点からの距離を前記評価値とするクラスタリングステップと、
前記特徴ベクトルが新たに抽出されるごとに、前記クラスタリングしたクラスタの分布を代表する特徴ベクトルを代表ベクトルとして選択する代表ベクトル選択ステップと、
前記選択された代表ベクトルを記憶する代表ベクトル記憶ステップと、
からなることを特徴とする。
【００１６】
（プログラムの発明）
（９）上記（５）〜（８）の各ステップの一部または全部を、コンピュータに読み込むプログラムで実行可能にしたことを特徴とする。
【００１７】
（記録媒体の発明）
（１０）上記（９）のプログラムをコンピュータが読み取り可能に記録したことを特徴とする。
【発明の効果】
【００１８】
本発明によれば、映像を複数のシーケンスに分割し、分割されたシーケンスから特徴ベクトルを抽出し、さらに同シーケンスから人の顔を検出して特徴ベクトルとし、抽出された複数の特徴ベクトルが構成する特徴空間においてクラスタを構成し、各特徴ベクトルに対してクラスタから外れている程度の指標を表す評価値を算出するため、映像中から異常な事象を抽出し、抽出された原因が人であるか否かの判断、人であると判断したときの人の顔確認、及び異常の度合いを的確に求めることができる。
【００１９】
また、抽出された複数のシーケンスを算出された評価値に基づいて順位付けを行い、確認することが可能となる。
【００２０】
さらに、異常とされた事象の映像からの顔の検出により、異常な事象の原因となった人の顔を、シーケンスの代表画像として提示したり、人の顔を検出して得られる特徴を異常度合いに反映させ、人の顔が検出される状態を、異常度合いを特に高く（あるいは低く）したり、反対に、人の顔が検出されない状態を、異常度合いを特に高く（あるいは低く）したりする設定が可能となる。
【発明を実施するための最良の形態】
【００２１】
図１は、本発明の実施形態を示す異常事象抽出装置の基本構成図である。なお、各部の機能はコンピュータのハードウェア資源と、コンピュータに搭載するソフトウェアで実現される。
【００２２】
映像入力部１０１では、カメラ等から入力される映像を取得し、映像データベース１０２に記録する。
【００２３】
シーケンス抽出部１０３では、映像データベース１０２の映像から、連続したフレームをシーケンスとして抽出し、検出された順に番号を１から順に付与し、シーケンス番号とする。このシーケンス番号は、シーケンス蓄積部１０４に記憶する。
【００２４】
特徴ベクトル抽出部１０５は、シーケンス蓄積部１０４に記憶する各シーケンスの画像毎に特徴ベクトルを抽出し、抽出元であるシーケンスのシーケンス番号とともに特徴ベクトル蓄積部１０７に記憶する。
【００２５】
顔領域検出部１０６では、各シーケンスの画像毎に人の顔を検出する。検出された顔領域に関する情報は、抽出元であるシーケンスのシーケンス番号とともに特徴ベクトル蓄積部１０７に記憶される。
【００２６】
クラスタ構成部１０８は、特徴ベクトル抽出部１０５ならびに顔領域検出部１０６において抽出され、抽出元であるシーケンスのシーケンス番号とともに特徴ベクトル蓄積部１０７に蓄積されている特徴ベクトルの分布に基づいて、シーケンス毎にクラスタを構成すると共に、各特徴ベクトルのクラスタからの距離（離れ具合）等を表す評価値を算出する。
【００２７】
図２は、シーケンス抽出部１０３と特徴ベクトル抽出部１０５の抽出処理の一例を示す図である。
【００２８】
シーケンス抽出処理は、図２（ａ）に示すように、入力映像から連続した複数のフレームの組を抽出し、シーケンス１，２，…とする。１つのシーケンスは、例えば、ひとつの動き物体が映像中に出現してから消失するまでという判定結果から抽出する。判定には、外部センサ１１１による信号をトリガとして用いてもよいし、画像の背景差分や２フレーム差分による動き物体検出などの手法を用いてもよい。外部センサ１１１を用いた動き物体の有無判定の方法としては、例えば、赤外センサや超音波センサにより物体の有無を検知する方法、マイクによって物体の通過音などを検知する方法、圧力センサなど接触型のセンサにより物体の有無を検知する方法などを利用できる。
【００２９】
特徴ベクトル抽出部１０５は、動き物体の情報、例えば、画像中での動き領域の位置の時間変化を利用し、主成分分析等により次元圧縮したもの等をもとに特徴ベクトルを作成する。また、例えば動き領域の重心の時間変化などをもとに特徴ベクトルを作成してもよい。求められた特徴ベクトルには、特徴ベクトルを抽出した元のシーケンスのシーケンス番号を付与しておく。
【００３０】
シーケンス中の動き物体の画像中での位置の時間変化を用いる場合を図２（ｂ）を用いて説明する。ここで、背景画像との差分により、入力映像中のシーケンス２として図２（ｂ）の（１）として示す４コマ画像が抽出された場合、図２（ｂ）の（２）に背景との差分となる領域が動き領域として抽出される。ここで、背景と動き領域の２値化処理を行ってベクトルとし、シーケンス中の他の画像にも同様の処理を行ったものと合わせて、主成分分析により次元圧縮した特徴ベクトルを生成する。例えば、動き物体の画素を１、それ以外を０とする２値の画像の並び（画像の横×縦サイズ）をベクトルとし、構成画像数と同数のベクトルを主成分分析により次元圧縮して、特徴ベクトルとする。
【００３１】
ここで、顔領域検出部１０６により顔領域が検出された場合には、動き領域と動き領域以外に加え、図２（ｂ）の（３）として示すように、画像中の顔領域（例えば画素を２とする）を含めた、３値のベクトルを生成し、同様の処理を行ってもよいし、顔の向き（例えば画素を３とする）等を含めた複数値のベクトルとして処理してもよい。また、顔に関する情報を動き領域による特徴ベクトルとは統合せずに特徴ベクトル蓄積部１０７に記憶しておき、動き領域による特徴ベクトルとは別に異常度合いをはかる評価値を算出する際に、異常度合いの重み付けに使用してもよい。さらには、事前登録された人との照合による顔認識を行い、照合結果を異常度合いの算出に利用できるようにしてもよい。
【００３２】
次に、図３〜図７を用いて、顔領域検出部１０６での顔検出について説明する。
顔検出の手法に関しては、ここでは、特開２００６−２９３７２０号公報による手法、ＡｄａＢｏｏｓｔ学習手法とカスケード検出器構造をもつＨａａｒ型の特徴量検出による手法（例えば、文献２「Ｐ．Ｖｉｏｌａ，Ｍ．Ｊｏｎｅｓ，“Ｒａｐｉｄ ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ”，Ｉｎ Ｐｒｏｃ．ＩＥＥＥ Ｃｏｎｆ．ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，Ｋａｕａｉ，ＵＳＡ，２００１」）による顔候補領域絞込みを行い、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）により顔と非顔を学習して顔を識別する手法（例えば文献３「数理化学 ＮＯ．４４４，ＪＵＮＥ ２０００ 赤穂ら」）を用いて顔候補領域からさらに詳細な顔検出を行う手法を説明する。
【００３３】
顔検出を行う手法は、人の顔が検出できるものであればよく、例えば、テンプレートマッチングによる手法でもよいし、ＳＶＭにより顔と非顔を学習して顔を識別する手法を単独で用いてもよいし、ＡｄａＢｏｏｓｔ学習手法とカスケード検出器構造をもつ、Ｈａａｒ型の特徴量検出による手法を単独で用いてもよい。
【００３４】
図３は、上記顔検出手法を用いた顔領域検出部１０６の構成例を示す図であり、図３（ａ）は、顔領域検出部１０６の全体の構成を示す図である。顔領域候補抽出部２０１では、シーケンス画像のスケール変換を行い、各スケールの画像中から部分領域を切り出して空間周波数分析を行うことによって、該画像中から顔である可能性が高い領域を顔領域候補として抽出する。顔領域判定部２０２では、顔領域候補となった領域で詳細な顔検出を行い、顔領域候補内の一部を部分領域として切り出し、顔度を算出することによって、該領域内の顔の有無判定を行う。
【００３５】
図３（ｂ）は、顔領域候補抽出部２０１の構成を示す図である。顔領域候補抽出部２０１は、画像スケール変換部３０１と、検出対象領域切出部３０２と、空間周波数分析部３０３と、顔候補判定部３０４と、顔領域候補情報記憶部３０５とから構成される。
【００３６】
画像スケール変換部３０１では、入力された画像のスケール変換を行う。ここで、最小画像サイズおよび、スケール変換幅はあらかじめ設定されているものとする。スケール毎に顔領域候補を探索し、全てのスケールでの探索終了時に顔領域候補抽出処理が終了となる。
【００３７】
検出対象領域切出部３０２では、スケール変換された画像から既定のサイズの領域の切り出しを行う。ただし、ここで扱う領域の形状は、任意形状であってよいものとする。ここでは、図４（ａ）に例を示すように顔領域の形状を矩形として切り出す場合で説明する。
【００３８】
空間周波数分析部３０３では、該領域に対し空間周波数フィルタリングを行うことができる。例えば、ＡｄａＢｏｏｓｔ学習手法とカスケード検出器構造をもつＨａａｒ型の特徴量検出による手法を用いる。ただし、空間周波数フィルタリングの方法はＨａａｒ型の特徴量検出による手法に限るものではない。
【００３９】
顔候補判定部３０４では、空間周波数分析部３０３の出力値をもとに、該領域が顔領域候補となり得るか否かを判定する。顔領域候補情報記憶部３０５では、顔領域候補及び候補検出時のスケールを記憶する。
【００４０】
図３（ｃ）は、顔領域判定部２０２の構成図である。顔領域判定部２０２は、顔領域候補情報入力部４０１と、顔度算出辞書４０２と、辞書読込部４０３と、対象領域切出部４０４と、顔度算出部４０５と、顔／非顔判定部４０６と、判定結果記憶部４０７から構成される。
【００４１】
顔領域候補情報入力部４０１では、入力画像及び顔領域候補抽出部２０１で算出された顔領域候補情報を取得する。
【００４２】
顔情報の詳細を見るための顔度算出辞書４０２は、あらかじめ作成してあるものとする。顔度算出辞書４０２は、作成時に一例として学習判別手法としてＳＶＭを用い、既定のサイズの領域に限定した顔（以下、部分顔と記載）と非顔を学習し、作成するものとする。ただし、使用できる学習判別手法は、ＳＶＭに限らない。
【００４３】
顔度算出辞書４０２内には、顔度算出部４０５で使用するパラメータが含まれるものとし、顔と非顔を判別する顔度を算出するのに必要な情報を含むものとする。すなわち、学習データをもとに、特徴空間において算出される顔クラスと非顔クラスの識別面を定義する式の係数を含むものとし、顔度は、識別面を定義する式により表される識別面からの距離により算出する。
【００４４】
辞書読込部４０３は、顔度算出辞書４０２を読み込み、顔度算出部４０５で用いることができるようにする。
【００４５】
対象領域切出部４０４では、顔領域候補抽出部２０１から取得した顔領域候補情報に基づき、入力画像から対象とする部分領域の切り出しを行う。
【００４６】
顔度算出部４０５は、辞書読込部４０３で読み込まれた顔度算出辞書４０２を参照し、対象領域切出部４０４で対象とした領域の顔度を算出する。
【００４７】
顔／非顔判定部４０６では、顔度算出部４０５により算出された顔度が顔に相当するものであるか、非顔に相当するものであるかを判定する。判定結果記憶部４０７では、顔／非顔判定部４０６で算出された判定情報を記憶する。
【００４８】
図４は、顔領域判定部２０２による顔領域判定の際に、対象領域とする部分顔の例を示す図である。図４の（ａ）には画像中において顔領域判定部２０２において、顔領域候補抽出部２０１から顔領域候補として入力される、人の顔候補領域の例を示す図である。
【００４９】
部分顔として、正面向きの顔の全領域を使用して顔度算出辞書４０２を作成した例を図４の（ｂ）に示す。正面向きの顔の全領域を使用して辞書を作成した場合、検出される顔の向きは正面のみになり、横向き、上下向きの顔は検出されない。
【００５０】
部分顔として、顔の半面を使用して顔度算出辞書４０２を作成した例を図４の（ｃ）に示す。顔の半面を使用して辞書を作成した場合、検出される顔の向きは正面または横向きとなり、広い角度範囲の顔が検出できる。また、左右どちらの顔半面を使用したかによって、顔向きを判定できる。
【００５１】
以上のように、検出したい顔向き範囲にあわせて顔度算出辞書４０２を作成し、検出に使用してもよい。また、顔度算出辞書４０２は単独で使用してもよいし、複数の顔度算出辞書４０２をあわせもち、統合して使用したり、向きの判定の要不要など用途に合わせて選択できるようにしたりしてもよい。
【００５２】
顔度算出辞書４０２には、上記顔領域が学習され、顔と顔以外のものを識別する識別式が記憶されており、識別式によって得られる値を顔と顔以外のものに識別する閾値もあわせて記憶されているものとする。ただし、学習識別手法により、顔以外に顔領域と同じ大きさの非顔が学習されていてもよいものとする。
【００５３】
図５は、顔領域検出部１０６における顔領域候補抽出処理の流れの一例を示す図である。具体的なステップは以下の通りである。
【００５４】
ステップ１：シーケンスを構成する１画像を入力画像として取得する。
【００５５】
ステップ２：画像の縮小処理を行うスケールパラメータを初期化する。
【００５６】
ステップ３：入力画像から対象領域の切り出しを行う。このステップ３以降の処理は、画像をスケールパラメータにしたがって縮小しながらの繰り返し処理となる。ここで、スケールパラメータの繰り返し処理ごとの更新は、あらかじめ規定された最小スケールまで、規定のステップ幅で行われるものとする。
【００５７】
ステップ４：対象領域の空間周波数フィルタリングを行う。
【００５８】
ステップ５：ステップ４の結果として得られる数値が、規定の顔領域候補となり得る閾値以上の値であれば顔領域候補と判断、閾値以下の値であれば顔領域候補外とする。該領域が顔領域候補である場合にはステップ６へ、それ以外はステップ７へ遷移する。
【００５９】
ステップ６：対象領域を顔領域候補として、画像中における位置、スケールを判定結果記憶部４０７に記憶する。
【００６０】
ステップ７：画像中の全領域を対象領域として探索したか否かを判断する。全領域を対象領域として探索を終了した場合はステップ８へ、それ以外はステップ３に戻り、走査式で次の領域を対象領域とする。
【００６１】
ステップ８：現在処理しているスケールが、入力画像に対し最小スケールとなるものであるか否かを判断する。最小スケールであれば終了、それ以外はステップ９へ遷移する。
【００６２】
ステップ９：指定ステップ幅で入力画像を縮小（スケール変換）する。
【００６３】
図６は、顔領域検出部１０６における顔領域判定処理の流れの一例を示す図である。具体的なステップは以下の通りである。
【００６４】
ステップ１：顔度算出辞書４０２の読み込みを行う。
【００６５】
ステップ２：顔領域候補抽出部２０１で記憶された顔領域候補の読み込みを行う。一度に読み込む顔領域候補の情報は１つとし、ステップ３以下の各ステップは領域候補数分、繰り返し処理を行う。
【００６６】
ステップ３：顔候補領域から対象領域を切り出し、顔領域候補抽出部２０１で顔候補領域を抽出したスケールに変換する。
【００６７】
ステップ４：スケール変換された対象領域の顔度を算出する。
【００６８】
ステップ５：該領域が顔領域であるかを判定する。ステップ４で算出された顔領域の顔度と、あらかじめ設定された顔度の数値の大小を比較し、算出された顔領域の顔度の方が大きい場合は顔と判定、小さい場合は非顔と判定する。顔と判定された場合はステップ６へ、それ以外はステップ９へ遷移する。
【００６９】
ステップ６：候補領域が顔として記憶されている領域（記憶のステップはステップ７及び８、１０）と重なりがあるか否かを判断する。重なりがある場合にはステップ７へ、それ以外はステップ８へ遷移する。
【００７０】
ステップ７：重なりがある場合には、両領域の顔度を比較し、同時に顔度の低い方の領域の情報を削除し、顔度の大きい方の領域を顔として判定結果記憶部４０７に記憶する（記憶情報は、ステップ６、１０でも使用する）。
【００７１】
ステップ８：候補領域を顔とし、判定結果記憶部４０７に記憶する（記憶情報は、ステップ６、１０でも使用する）。
【００７２】
ステップ９：全候補領域を探索したか否かを判断する。探索し終えた場合はステップ１０へ、それ以外はステップ２へ遷移する。
【００７３】
ステップ１０：顔度算出辞書４０２の異なる検出を既に行っている場合、既検出の顔度値と比較し、辞書４０２で検出された顔度値の大きい顔情報を記憶し、顔度の小さい方の情報を削除する。
【００７４】
ステップ１１：顔度算出辞書４０２の全ての読み込み処理が完了したか否かを判断する。完了した場合には処理を終了し、それ以外はステップ１へ遷移する。
【００７５】
図７は、顔領域検出部１０６における顔検出処理の具体例を示す図である。顔領域検出部１０６では、シーケンスを構成する各画像を入力画像として、スケール変換を繰り返しながら、画像中から対象領域を切り出して対象領域が顔領域候補であるかを識別し、対象領域を走査しながら、画像中の顔領域候補を探索する。顔候補領域を矩形とした場合、顔領域候補が存在した場合には、検出時のスケール及び入力画像中での座標、幅、高さを、顔領域候補情報記憶部３０５に記憶する。ここで、顔候補領域は矩形でなく、楕円や円形であってもよいものとする。
【００７６】
次に、顔領域候補が存在した場合には、顔領域候補中から詳細検出を行うため、顔度算出辞書４０２を読み込み、顔領域候補中の検出対象領域を切り出し、対象領域の顔度を算出し、顔度により顔と非顔を判別する。顔度は顔度算出辞書４０２に登録されている顔クラスと非顔クラスの識別式により算出され、算出された数値が予め顔度算出辞書４０２に登録された閾値より顔クラスに近い数値であれば顔として判別する。例えば、顔と非顔を判別する閾値を０とすると、顔度が正の値であれば顔、負であれば非顔となる。ただし、閾値は識別式により異なるものであり、識別式は、顔度算出辞書４０２に登録されている顔、非顔のデータにより異なるものである。
【００７７】
顔と判別された領域は、顔領域候補情報と顔度算出辞書４０２により決定される顔向き等の情報を判定結果記憶部４０７に記憶する。ここで、顔領域候補に大きな重なりがある場合、すなわち、記憶しようとした顔領域がすでに記憶された領域と大きな重なりをもつ場合には、両領域の顔度の大きい方を顔領域として更新記憶する。さらに、記憶しようとした顔領域が、すでに他の辞書４０２によって記憶された領域である場合には、顔度値の大きな値が得られた顔度算出辞書４０２による情報を該領域の顔情報として記憶する。顔領域候補が存在しない場合には、入力画像中に顔はないものとする。
【００７８】
シーケンスを構成する全ての画像において顔検出処理が終わった場合、検出された顔情報を特徴ベクトルとして特徴ベクトル蓄積部１０７に記憶する。例えば、顔領域の時間変化、顔領域の重心の軌跡、顔向きの推移、顔度の推移、顔領域の有無等を顔情報による特徴ベクトルとする。
【００７９】
以上、抽出された特徴ベクトルを用いて、クラスタの構成を行う。図８は、クラスタ構成部１０８の構成例を示す図である。クラスタ構成部１０８は、入力された特徴ベクトルをクラスタリングするクラスタリング部６０１と、クラスタの分布を代表するようなサンプルを選択する代表ベクトル選択部６０３と、選択された代表ベクトルを記憶する代表ベクトル記憶部６０２とからなる。
【００８０】
クラスタリング部６０１には、特徴ベクトル抽出部１０５及び顔領域検出部１０６において抽出された特徴ベクトルが入力される。この特徴ベクトルのうち、特徴空間で距離が近いもののまとまりをクラスタとみなし、クラスタから遠いものほど入力映像の中で異常度合いの高いシーケンスであるとみなす。新たな特徴ベクトルが加わるごとに、特徴空間における分布の方よりは変化するため、クラスタの再構成が必要である。再構成は、特徴ベクトルの数が予め定めた所定値を超えるごとに行うか、または、クラスタ構成部１０８に対して、ユーザの指示による再構成のリクエストが入力された場合に行うようにすればよい。
【００８１】
クラスタの構成の仕方には、１クラスＳＶＭを用いる方法、クラスタ分析の手法、自己組織化マップを用いる方法、ｋ−ｍｅａｎｓ法を用いる方法などがある。ここでは、例として、１クラスＳＶＭを用いる場合について図９を参照して説明する。
【００８２】
図９は、クラスタ構成部１０８で構成するクラスタの概念図である。クラスタリング部６０１では、ガウシャンカーネルを用いて、代表ベクトル記憶部６０２に記憶されている代表ベクトル、及び入力された特徴ベクトル、全ての特徴ベクトルを特徴空間へ写像し、原点からの距離を計算し評価値とする。次に、代表ベクトル選択部６０３は、サポートベクタを代表ベクトルとして選択し、代表ベクトル記憶部６０２に記憶する。以上の操作は、クラスタの再構成のたびに行う。
【００８３】
さらに、クラスタリングと各特徴ベクトルに対応する評価値を算出し、代表ベクトルの選択を行った後、クラスタリング部６０１は特徴ベクトルに付与されたシーケンス番号と当該特徴ベクトルの評価値を対応付けて出力する。
【００８４】
クラスタ構成部１０８から出力される評価値は、特徴ベクトルがクラスタから外れている度合いの指標となる。例えば、クラスタ構成部１０８において、前述のように１クラスＳＶＭを用いた場合には、評価値の小さい順に特徴ベクトルのシーケンス番号をソートし、対応するシーケンスを順番に出力することで、正常状態と異なる異常度合いの高い順にシーケンスを提示することができる。このとき、特徴ベクトル蓄積部に蓄積された特徴ベクトルのうち、顔情報による特徴ベクトルを用いて、例えば、顔度の推移のベクトルから顔度の最も高い顔領域が検出された画像を選択し、該シーケンスの代表画像として提示してもよい。
【００８５】
図１０は、異常事象抽出処理の流れの一例を示す図である。ステップ１は入力映像に対し、映像から、あるいは外部センサ１１１により動き物体の検知がなされたことをトリガ入力とする。ステップ２はトリガ入力で入力映像を予め定められた基準に基づいてシーケンスに分割するシーケンス抽出処理を行う。ステップ３はシーケンス抽出において分割されたシーケンスから特徴ベクトルを抽出する。ステップ４はシーケンス抽出において分割されたシーケンスを構成する画像から人の顔領域を検出する。ステップ５は特徴ベクトル抽出処理で抽出された複数の特徴ベクトルが構成する特徴空間においてクラスタを構成する。ステップ６は各特徴ベクトルに対してクラスタから外れている程度の指標を表す評価値を算出する。
【００８６】
図１１は、異常事象抽出装置を利用した異常事象抽出例を示す図である。ここで、入退出の監視カメラによる映像を入力とする。シーケンスとして抽出されるパターンとしては、（ア）既知の人による決められた行為、（イ）不審者による決められた行為、（ウ）既知の人による不審行為、（エ）不審者による不審行為、（オ）既知の人による禁止行為、（カ）不審者による禁止行為などが考えられ、（イ）〜（カ）の事象を分類、抽出することが求められる。
【００８７】
入力映像が図１１中の（ａ）通常の行為、（ｂ）禁止行為、（ｃ）不審な行為であった場合、システムは、行動パターンをクラスタリングすることにより、通常の行為と異常な行為を識別し、（ｂ）（ｃ）を、（ウ）〜（カ）として抽出する。さらに、顔検出により、上記の事象を起こした人の顔画像を提示することができる。
【００８８】
さらに、検出した顔画像を、予め登録してある人の顔画像と照合する等、顔認識を行うことで、既知の人と未知の人に分類し、（ａ）〜（ｃ）の行為が既知の人によってなされたのか、不審者によってなされたのかを判断する。以上により、（イ）〜（カ）の分類、抽出を行う。
【００８９】
また、システムのユーザは、予め、行動パターンによる異常度合いと、事象を起こした人の既知／未知による異常度合いの、どちらをより異常と判断するかを設定することにより、ユーザが確認したいシーケンスを優先的に提示させることができる。
【００９０】
以上、本実施形態による処理は、同じシーケンス中に複数の人が写っている場合にも同様の処理が可能であり、人数により異常度合いの算出方法を設定することもできる。また、社員データベース等を利用し、個人の認識技術と組み合わせることで、警備員による通常行為はもちろん、通常とは異なる行為も除外することができ、真に不審者の行為で通常に似た行為、また通常とは異なる行為をレベル分けして検出することもできる。さらには、そうしたデータベースを検出される人の顔を記録していくことで作成し、検出回数の多い人を既知の人とすることも可能である。
【００９１】
また、顔だけでなく、人の動作、人体の特徴、個人の特徴等を検出し、特徴量とすることで、人の動作や後姿、歩き方による不審者、異常状態の抽出を行うこともできる。
【００９２】
なお、本発明は、図１０等に示す方法の一部または全部の処理ステップを、コンピュータに読み込むプログラムで実行させることができる。また、該プログラムをコンピュータが読み取り可能に記録媒体に記録することも、ネットワークを介して提供することも可能である。
【図面の簡単な説明】
【００９３】
【図１】本発明の実施形態を示す異常事象抽出装置の基本構成図。
【図２】シーケンス抽出部１０３と特徴ベクトル抽出部１０５の抽出処理の一例を示す図。
【図３】顔領域検出部１０６の構成の一例を示す図。
【図４】顔領域判定部２０２による顔領域判定の際に対象領域とする部分顔の例を示す図。
【図５】顔領域検出部１０６における顔領域候補抽出処理の流れの一例を示す図。
【図６】顔領域検出部１０６における顔領域判定処理の流れの一例を示す図。
【図７】顔領域検出部１０６における顔検出処理の具体例を示す図。
【図８】クラスタ構成部１０８の構成例を示す図。
【図９】クラスタ構成部１０８で構成するクラスタの概念図。
【図１０】本発明による異常事象抽出処理の流れの一例を示す図。
【図１１】本発明による異常事象抽出を利用した異常事象抽出例を示す図。
【符号の説明】
【００９４】
１０１ 映像入力部
１０２ 映像データベース
１０３ シーケンス抽出部
１０４ シーケンス蓄積部
１０５ 特徴ベクトル抽出部
１０６ 顔領域検出部
１０７ 特徴ベクトル蓄積部
１０８ クラスタ構成部
１１１ 外部センサ
【特許請求の範囲】
【請求項１】
画像情報処理によって、映像中から異常と思われる事象を抽出する異常事象抽出装置であって、
前記映像を予め定められた基準に基づいてシーケンスに分割するシーケンス抽出部と、
前記シーケンス抽出部において分割されたシーケンスから特徴ベクトルを抽出する特徴ベクトル抽出部と、
前記シーケンス抽出部において分割されたシーケンス中の人の顔を検出し、特徴ベクトルとする顔領域検出部と、
前記ベクトル抽出部及び顔領域検出部において抽出された複数の特徴ベクトルが構成する特徴空間においてクラスタを構成すると共に、各特徴ベクトルに対してクラスタから外れている程度の指標を表す評価値を算出するクラスタ構成部と、
を備えたことを特徴とする異常事象抽出装置。
【請求項２】
前記顔領域検出部は、
前記シーケンス画像のスケール変換を行い、各スケールの画像中から部分領域を切り出して空間周波数分析を行うことによって、該画像中から顔である可能性が高い領域を顔領域候補として抽出する顔領域候補抽出部と、
前記顔領域候補となった領域で詳細な顔検出を行い、顔領域候補内の一部を部分領域として切り出し、顔度を算出することによって、該領域内の顔の有無を判定する顔領域判定部と、
を備えたことを特徴とする請求項１に記載の異常事象抽出装置。
【請求項３】
前記顔領域判定部は、入力される顔領域候補の顔の半面を使用して作成した顔度算出辞書を参照して、正面または横向きの顔の有無を判定することを特徴とする請求項１または２に記載の異常事象抽出装置。
【請求項４】
前記クラスタ構成部は、
特徴ベクトル抽出部及び顔領域検出部において抽出された特徴ベクトルと、そのうちの代表ベクトルを特徴空間へ写像し、原点からの距離を前記評価値とするクラスタリング部と、
前記特徴ベクトルが新たに抽出されるごとに、前記クラスタリングしたクラスタの分布を代表する特徴ベクトルを代表ベクトルとして選択する代表ベクトル選択部と、
前記選択された代表ベクトルを記憶する代表ベクトル記憶部と、
を備えたことを特徴とする請求項１に記載の異常事象抽出装置。
【請求項５】
画像情報処理によって、映像中から異常と思われる事象を抽出する異常事象抽出方法であって、
前記映像を予め定められた基準に基づいてシーケンスに分割するシーケンス抽出ステップと、
前記シーケンス抽出ステップにおいて分割されたシーケンスから特徴ベクトルを抽出する特徴ベクトル抽出ステップと、
前記シーケンス抽出ステップにおいて分割されたシーケンス中の人の顔を検出し、特徴ベクトルとする顔領域検出ステップと、
前記ベクトル抽出ステップ及び顔領域検出ステップにおいて抽出された複数の特徴ベクトルが構成する特徴空間においてクラスタを構成すると共に、各特徴ベクトルに対してクラスタから外れている程度の指標を表す評価値を算出するクラスタ構成ステップと、
からなることを特徴とする異常事象抽出方法。
【請求項６】
前記顔領域検出ステップは、
前記シーケンス画像のスケール変換を行い、各スケールの画像中から部分領域を切り出して空間周波数分析を行うことによって、該画像中から顔である可能性が高い領域を顔領域候補として抽出する顔領域候補抽出ステップと、
前記顔領域候補となった領域で詳細な顔検出を行い、顔領域候補内の一部を部分領域として切り出し、顔度を算出することによって、該領域内の顔の有無を判定する顔領域判定ステップと、
からなることを特徴とする請求項５に記載の異常事象抽出方法。
【請求項７】
前記顔領域判定ステップは、入力される顔領域候補の顔の半面を使用して作成した顔度算出辞書を参照して、正面または横向きの顔の有無を判定することを特徴とする請求項５または６に記載の異常事象抽出方法。
【請求項８】
前記クラスタ構成ステップは、
特徴ベクトル抽出ステップ及び顔領域検出ステップにおいて抽出された特徴ベクトルと、そのうちの代表ベクトルを特徴空間へ写像し、原点からの距離を前記評価値とするクラスタリングステップと、
前記特徴ベクトルが新たに抽出されるごとに、前記クラスタリングしたクラスタの分布を代表する特徴ベクトルを代表ベクトルとして選択する代表ベクトル選択ステップと、
前記選択された代表ベクトルを記憶する代表ベクトル記憶ステップと、
からなることを特徴とする請求項５に記載の異常事象抽出方法。
【請求項９】
請求項５〜８の各ステップの一部または全部を、コンピュータに読み込むプログラムで実行可能にしたことを特徴とするプログラム。
【請求項１０】
請求項９のプログラムをコンピュータが読み取り可能に記録したことを特徴とする記録媒体。
【請求項１】
画像情報処理によって、映像中から異常と思われる事象を抽出する異常事象抽出装置であって、
前記映像を予め定められた基準に基づいてシーケンスに分割するシーケンス抽出部と、
前記シーケンス抽出部において分割されたシーケンスから特徴ベクトルを抽出する特徴ベクトル抽出部と、
前記シーケンス抽出部において分割されたシーケンス中の人の顔を検出し、特徴ベクトルとする顔領域検出部と、
前記ベクトル抽出部及び顔領域検出部において抽出された複数の特徴ベクトルが構成する特徴空間においてクラスタを構成すると共に、各特徴ベクトルに対してクラスタから外れている程度の指標を表す評価値を算出するクラスタ構成部と、
を備えたことを特徴とする異常事象抽出装置。
【請求項２】
前記顔領域検出部は、
前記シーケンス画像のスケール変換を行い、各スケールの画像中から部分領域を切り出して空間周波数分析を行うことによって、該画像中から顔である可能性が高い領域を顔領域候補として抽出する顔領域候補抽出部と、
前記顔領域候補となった領域で詳細な顔検出を行い、顔領域候補内の一部を部分領域として切り出し、顔度を算出することによって、該領域内の顔の有無を判定する顔領域判定部と、
を備えたことを特徴とする請求項１に記載の異常事象抽出装置。
【請求項３】
前記顔領域判定部は、入力される顔領域候補の顔の半面を使用して作成した顔度算出辞書を参照して、正面または横向きの顔の有無を判定することを特徴とする請求項１または２に記載の異常事象抽出装置。
【請求項４】
前記クラスタ構成部は、
特徴ベクトル抽出部及び顔領域検出部において抽出された特徴ベクトルと、そのうちの代表ベクトルを特徴空間へ写像し、原点からの距離を前記評価値とするクラスタリング部と、
前記特徴ベクトルが新たに抽出されるごとに、前記クラスタリングしたクラスタの分布を代表する特徴ベクトルを代表ベクトルとして選択する代表ベクトル選択部と、
前記選択された代表ベクトルを記憶する代表ベクトル記憶部と、
を備えたことを特徴とする請求項１に記載の異常事象抽出装置。
【請求項５】
画像情報処理によって、映像中から異常と思われる事象を抽出する異常事象抽出方法であって、
前記映像を予め定められた基準に基づいてシーケンスに分割するシーケンス抽出ステップと、
前記シーケンス抽出ステップにおいて分割されたシーケンスから特徴ベクトルを抽出する特徴ベクトル抽出ステップと、
前記シーケンス抽出ステップにおいて分割されたシーケンス中の人の顔を検出し、特徴ベクトルとする顔領域検出ステップと、
前記ベクトル抽出ステップ及び顔領域検出ステップにおいて抽出された複数の特徴ベクトルが構成する特徴空間においてクラスタを構成すると共に、各特徴ベクトルに対してクラスタから外れている程度の指標を表す評価値を算出するクラスタ構成ステップと、
からなることを特徴とする異常事象抽出方法。
【請求項６】
前記顔領域検出ステップは、
前記シーケンス画像のスケール変換を行い、各スケールの画像中から部分領域を切り出して空間周波数分析を行うことによって、該画像中から顔である可能性が高い領域を顔領域候補として抽出する顔領域候補抽出ステップと、
前記顔領域候補となった領域で詳細な顔検出を行い、顔領域候補内の一部を部分領域として切り出し、顔度を算出することによって、該領域内の顔の有無を判定する顔領域判定ステップと、
からなることを特徴とする請求項５に記載の異常事象抽出方法。
【請求項７】
前記顔領域判定ステップは、入力される顔領域候補の顔の半面を使用して作成した顔度算出辞書を参照して、正面または横向きの顔の有無を判定することを特徴とする請求項５または６に記載の異常事象抽出方法。
【請求項８】
前記クラスタ構成ステップは、
特徴ベクトル抽出ステップ及び顔領域検出ステップにおいて抽出された特徴ベクトルと、そのうちの代表ベクトルを特徴空間へ写像し、原点からの距離を前記評価値とするクラスタリングステップと、
前記特徴ベクトルが新たに抽出されるごとに、前記クラスタリングしたクラスタの分布を代表する特徴ベクトルを代表ベクトルとして選択する代表ベクトル選択ステップと、
前記選択された代表ベクトルを記憶する代表ベクトル記憶ステップと、
からなることを特徴とする請求項５に記載の異常事象抽出方法。
【請求項９】
請求項５〜８の各ステップの一部または全部を、コンピュータに読み込むプログラムで実行可能にしたことを特徴とするプログラム。
【請求項１０】
請求項９のプログラムをコンピュータが読み取り可能に記録したことを特徴とする記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００８−１４００９３（Ｐ２００８−１４００９３Ａ）
【公開日】平成２０年６月１９日（２００８．６．１９）
【国際特許分類】
【出願番号】特願２００６−３２５１１７（Ｐ２００６−３２５１１７）
【出願日】平成１８年１２月１日（２００６．１２．１）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２０年６月１９日（２００８．６．１９）
【国際特許分類】
【出願日】平成１８年１２月１日（２００６．１２．１）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]