映像処理装置
【課題】監視映像の各フレームに対して注視すべき度合いを的確に付与する。
【解決手段】物体追跡部３３は、監視映像２２の各フレームに現れる移動物体を追跡し、追跡フレームにおける移動物体の物体像を検出する。物体特徴抽出部３４は物体像からその特徴量を抽出する。重要度算出部３５は移動物体の特異さの監視に関して、移動物体ごとに、追跡フレームそれぞれから得られた特徴量を統計分析して当該特徴量を代表する個別代表量を求め、追跡フレームごとに移動物体それぞれの特徴量と当該移動物体の個別代表量との距離に応じた当該追跡フレームの重要度を算出する。
【解決手段】物体追跡部３３は、監視映像２２の各フレームに現れる移動物体を追跡し、追跡フレームにおける移動物体の物体像を検出する。物体特徴抽出部３４は物体像からその特徴量を抽出する。重要度算出部３５は移動物体の特異さの監視に関して、移動物体ごとに、追跡フレームそれぞれから得られた特徴量を統計分析して当該特徴量を代表する個別代表量を求め、追跡フレームごとに移動物体それぞれの特徴量と当該移動物体の個別代表量との距離に応じた当該追跡フレームの重要度を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視映像の各フレームに対して注視すべき度合いを付与する映像処理装置に関する。
【背景技術】
【０００２】
従来、監視映像中から人物の不審な行動を検出する処理は、各人物に共通の比較基準を用いて行われていた。
【０００３】
特許文献１に記載の侵入物体監視装置では、監視映像中の侵入物体を検知してその移動量を算出し、移動量が所定量を超えた場合の入力画像をダイジェスト映像として記録する。
【０００４】
また、特許文献２に記載の異常行動検知装置では、複数の移動物体の正常行動パターンを学習することで比較基準を作成する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２５４１４１号公報
【特許文献２】特開２０１０−７２７８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来技術では、特定人物が一時的にとった不審な動きが大多数の人物がとる動きと似ているとそれを重要シーンと判定できないことがあった。例えば、大多数の人が歩いている中で小走りしていた特定人物が一時的に速度を落としたシーンが重要シーンと判定できなかった。
【０００７】
またこのとき、特定人物が一時的にとった減速を不審な動きとして特に注視すべき重要シーンとする一方で、当該特定人物が走っているという、大多数の人とは異なる動きも次に注視すべき重要シーンと判定することが望まれる。
【０００８】
本発明は上記課題を鑑みてなされたものであり、監視にあたり注視すべき重要シーンを好適に判別できる映像処理装置を提供することを目的とする。また、重要シーンを判別できることに基づいて、元の監視映像よりも短い要約映像を作成可能とする。
【課題を解決するための手段】
【０００９】
本発明に係る映像処理装置は、複数フレームからなる監視映像において注視すべきフレームの情報を生成するものであって、前記監視映像を記憶する記憶部と、画像解析により前記監視映像中の移動物体の物体像を追跡し、前記移動物体が追跡された追跡フレームと当該移動物体の前記物体像の対応情報を生成する物体追跡部と、前記物体像から前記移動物体の動き又は／及び外見の特徴量を抽出する物体特徴抽出部と、前記特徴量を前記移動物体ごとに統計分析して当該特徴量の分布を代表する個別代表量を求め、前記各移動物体の前記個別代表量と当該移動物体の前記追跡フレームごとの前記特徴量との距離である第１距離を算出して当該第１距離が大きな前記追跡フレームほど高い監視価値を算出する監視価値算出部と、を備える。
【００１０】
他の本発明に係る映像処理装置においては、前記監視価値算出部は、前記物体追跡部により追跡された複数の前記移動物体の前記特徴量を統計分析して当該特徴量を代表する集団代表量を求め、前記集団代表量と前記各移動物体の前記個別代表量との距離である第２距離を算出して、前記各追跡フレームにおける前記移動物体の前記第１距離及び当該追跡フレームにて追跡された移動物体の前記第２距離に応じて前記監視価値を算出する。
【００１１】
また他の本発明に係る映像処理装置は、さらに、前記監視映像から前記監視価値が高い前記追跡フレームほど優先して選出することにより当該監視映像を間引いて、当該監視映像の総フレーム数より少なく設定されたフレーム数の要約映像を作成する要約映像作成部を有する。
【００１２】
別の本発明に係る映像処理装置においては、前記要約映像作成部は、前記各移動物体の一連の前記追跡フレームのうち始端フレームと終端フレームとの予め定められた少なくとも一方をそれらの前記監視価値に関係なく選出する。
【００１３】
さらに別の本発明に係る映像処理装置においては、前記要約映像作成部は、動的計画法を用い、前記要約映像を構成する前記追跡フレームの前記監視価値の総和を最大化する。
【発明の効果】
【００１４】
本発明によれば、監視にあたり注視すべき重要シーンを好適に判別することが可能となる。また本発明は、監視映像から重要なシーンを優先的に選択して、元の監視映像よりも短い要約映像を作成することを可能とする。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る映像処理装置のブロック構成図である。
【図２】監視画像にて追跡された移動物体に関する物体情報の構成を示す模式図である。
【図３】物体特徴量の構成を示すテーブルである。
【図４】物体内逸脱度の算出処理の一例を示す模式図である。
【図５】物体内逸脱度、物体間逸脱度及び重要度の一例を示す説明図である。
【図６】最大スキップ数が２フレームに設定されるときの傾斜制限を示す模式図である。
【図７】動的計画法が選択し得る格子点と局所パスの例を示すグラフである。
【図８】映像要約装置の動作を説明する概略のフロー図である。
【図９】重要度算出部による処理の概略のフロー図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について、図面に基づいて説明する。本実施形態は、監視空間を長時間に亘り撮像した監視映像の重要シーンを効率的に確認できる映像処理装置である。例えば、監視映像は店舗等の監視空間を撮像したものであり、当該監視空間内には監視対象として移動する人物が存在する。本映像処理装置１は、その長時間の監視映像を効率的に早見するために重要シーンを撮像速度で又は低速で再生し、重要シーン以外を高速で再生する。特に、映像処理装置１は、通常行動から逸脱した不審な人物行動が撮影されているシーンを重要シーンとして検出して早見可能にする。
【００１７】
図１は実施形態に係る映像処理装置１のブロック構成図である。映像処理装置１は、映像記録装置２、映像要約装置３及び表示装置４を含んで構成される。映像記録装置２及び表示装置４は映像要約装置３に接続される。
【００１８】
映像記録装置２は、撮像部２０及び録画部２１を含んで構成される。
【００１９】
撮像部２０はいわゆる監視カメラであり、録画部２１に接続される。撮像部２０は監視空間を所定の時間間隔で撮像し、撮影した画像を順次、録画部２１へ出力する。撮像の時間間隔は例えば１／５秒である。以下、この時間間隔で撮像される各画像をフレーム、また、この時間間隔をフレーム間隔と呼ぶ。
【００２０】
録画部２１は、例えば、ハードディスクドライブ（ＨＤＤ）等の大容量記録媒体を備えたディジタルビデオレコーダー（ＤＶＲ）等で構成される。録画部２１は、数日、数週間あるいは数ヶ月という長時間に亘り撮像される時系列の画像を撮像部２０から入力され、監視映像２２として大容量記録媒体に記録することができる。監視映像２２は複数のフレームが撮像順に並んだデータである。録画部２１は映像要約装置３にも接続され、映像要約装置３へ監視映像２２を出力する。
【００２１】
映像要約装置３は、設定入力部３０、記憶部３１及び信号処理部３２を含んで構成され、設定入力部３０及び記憶部３１は信号処理部３２に接続される。映像要約装置３は録画部２１及び表示装置４と接続され、監視映像２２から重要シーンを検出して重要シーン以外のフレームを間引いた要約映像を作成し、作成した要約映像を表示装置４へ出力する。映像要約装置３は例えば、パーソナルコンピュータ（ＰＣ）等を用いて構成することができる。
【００２２】
設定入力部３０はキーボード、マウス等のユーザーインターフェース装置であり、要約映像を見て監視空間における不審行動等を確認する店舗管理者や監視員等のユーザーにより操作され、各種設定を入力するために用いられる。ここで、上記設定には、要約映像の元映像としてユーザーに指定される監視映像２２中の任意区間や、ユーザーに指定される要約映像のフレーム数（指定フレーム数）などがある。以下、要約処理の対象に指定された元映像を単に監視映像２２と称する。指定フレーム数は少なくとも監視映像２２の総フレーム数よりも小さい。なお、指定フレーム数をユーザーに直接入力させる代わりに要約映像の再生時間を設定入力部３０から入力させ、信号処理部３２にて再生時間をフレーム間隔で除してフレーム数に換算してもよい。
【００２３】
記憶部３１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の記憶装置である。記憶部３１は各種プログラムや各種データを記憶し、信号処理部３２との間でこれらの情報を入出力する。各種データには物体情報３１０及び重要度データ３１１が含まれる。
【００２４】
物体情報３１０は、監視映像２２中の各物体像の領域情報と各物体像から抽出された動き及び外見の少なくとも一方に関する特徴量を移動物体の識別子及びフレーム番号と対応付けた情報である。フレーム番号は監視映像２２を構成する各フレームに対して撮像順に付与された番号である。図２は物体情報３１０の構成を示す模式図である。「物体ＩＤ」は移動物体の識別子であり、各移動物体を一意に識別する番号である。「追跡フレーム数」は各移動物体の物体像が検出され、追跡されたフレーム（追跡フレーム）の総数である。「追跡フレーム番号」は追跡フレームのフレーム番号である。また、各移動物体と対応付けられた追跡フレーム番号の始端から終端までが監視映像２２における当該移動物体の出現区間を表す。「物体特徴量」は各移動物体の追跡フレームにおいて当該移動物体の物体像から抽出された動きの特徴量及び外見の特徴量のいずれか又は両方であり、移動物体ｕの追跡フレームｔにおける特徴量をｆｔ，ｕと表記する。「物体領域」は各移動物体の追跡フレームにおいて当該移動物体の物体像が検出された領域であり、当該領域から物体像が特定できる。移動物体ｕの追跡フレームｔにおける物体領域をＩｔ，ｕと表記する。
【００２５】
図３は物体特徴量の構成を示すテーブルである。本実施形態の物体特徴量は外見の特徴量及び動きの特徴量のベクトルを並べた２７次元ベクトルである。「全身エッジ特徴」、「上半分エッジ特徴」及び「下半分エッジ特徴」は物体像の全体、物体像をＹ方向に二分した上半分、及び下半分をそれぞれ抽出範囲とする外見特徴量であり、それぞれ抽出範囲の全画素から抽出されたエッジを４方向に量子化し、当該エッジ方向ごとにエッジ強度をヒストグラム分析して得られる４次元ベクトルである。
【００２６】
「全身色特徴」、「上半分色特徴」及び「下半分色特徴」も物体像の全体、物体像の上半分、及び下半分をそれぞれ抽出範囲とする外見特徴量である。本実施形態ではＬｕｖ表色系を採用し、それぞれ全身、上半分及び下半分を抽出範囲とする色特徴は抽出範囲の全画素から算出されたＬ成分平均値、Ｕ成分平均値、Ｖ成分平均値を並べた３次元ベクトルで表される。
【００２７】
「物体サイズ」も外見特徴量の１つであり、物体像の外接矩形の幅と高さを並べた２次元ベクトルである。
【００２８】
「物体位置」は動き特徴量の１つであり、物体像の重心位置のＸ座標とＹ座標とを並べた２次元ベクトルである。「物体速度」も動き特徴量の１つであり、前後する追跡フレーム間での物体位置のＸ座標変化量及びＹ座標変化量からなる２次元ベクトルである。
【００２９】
各移動物体ｕの追跡フレームｔにおける物体特徴量ｆｔ，ｕは、単純に１フレームごとの特徴量とすることもできるが、移動平均とすることもできる。すなわち物体特徴量ｆｔ，ｕは各追跡フレームｔを中心とする前後ｐフレーム、合計（２ｐ＋１）フレームの特徴量を成分ごとに平均した２７次元ベクトルとすることができる。ｐには予め見積もった出現区間の最短長の１／２より小さい自然数を設定しておく。移動平均を用いると平滑化により領域抽出の誤差の影響が軽減され、不審行動の誤検出が少なくなる。
【００３０】
さらに物体特徴量ｆｔ，ｕは、追跡フレームｔを含む複数フレームからなる小区間の分布とすることもできる。具体的には、小区間として注目フレームｔを中心とする（２ｐ＋１）フレームを設定し、当該小区間の特徴量の分布を正規分布でモデル化する。物体特徴量ｆｔ，ｕは当該小区間の特徴量の成分ごとに平均した２７次元ベクトル及び、当該平均ベクトルを用いて生成される２７×２７次元の共分散行列となる。ここでのｐも予め見積もった出現区間の最短長の１／２より小さい自然数に設定される。小区間の分布を用いると領域抽出誤差の軽減による不審行動の誤検出低減効果に加え、外見特徴量の瞬時的な変化をも物体特徴量ｆｔ，ｕで表すことができるのでより多くの不審行動が検出されやすくなる。本実施形態では、この小区間の分布を物体特徴量ｆｔ，ｕとして抽出し、追跡フレームごとの後述する重要度の算出に用いる。
【００３１】
重要度データ３１１は追跡フレームと当該追跡フレームの監視上の価値（監視価値）である。重要度とを対応付けた情報である。なお、追跡フレーム以外の監視映像２２のフレームについて明示的にこれらのフレームと重要度の最低値（例えば０）とを対応付けた情報を重要度データ３１１に含ませてもよい。
【００３２】
信号処理部３２は、ＣＰＵ(Central Processing Unit)、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、物体追跡部３３、物体特徴抽出部３４、重要度算出部３５及び要約映像作成部３６等の動作が記述されたプログラムを記憶部３１から読み出して実行することにより各手段として動作する。信号処理部３２は録画部２１より入力される監視映像２２から要約映像を作成し、作成した要約映像を表示装置４へ出力する。
【００３３】
物体追跡部３３は相前後するフレームを比較して監視映像２２に撮像された移動物体の物体像を移動物体ごとに追跡し、追跡結果を記憶部３１の物体情報３１０に記憶させる。物体情報３１０の追跡結果は物体特徴抽出部３４により参照される。追跡処理は背景差分処理により各フレームから物体領域を抽出し、前後するフレームにて抽出された物体領域のうち同一物体による物体領域をテンプレートマッチングまたはパーティクルフィルタにより対応付けるなどの公知の方法で行われる。追跡結果として、物体ＩＤ、追跡フレーム数、追跡フレームの番号、物体領域、及び物体特徴量のうちの物体位置が得られる。
【００３４】
物体特徴抽出部３４は追跡結果及び監視映像２２を参照して物体特徴量を抽出する。具体的には、物体特徴量のうち、全身エッジ特徴、上半分エッジ特徴、下半分エッジ特徴、全身色特徴、上半分色特徴、下半分色特徴、物体速度、及び物体サイズを抽出する。
【００３５】
重要度算出部３５は、監視映像２２から重要度データ３１１を生成して記憶部３１に記憶させる。重要度算出部３５は、ユーザーが監視空間における不審行動等の移動物体の動きや外見の特異さを監視する本装置の用途に対応して、各追跡フレームの監視価値を算出する監視価値算出部である。
【００３６】
具体的には、重要度算出部３５は、物体特徴量を移動物体ごとに統計分析して、当該移動物体の物体特徴量を代表する個別代表量を求め、当該移動物体の各追跡フレームにおける物体特徴量それぞれと個別代表量との距離（物体内逸脱度）を算出して当該距離が大きな追跡フレームほど高い重要度を算出する。重要度算出部３５はさらに、複数の移動物体の物体特徴量を統計分析して、複数の移動物体の物体特徴量を代表する集団代表量を求め、移動物体の個別代表量それぞれと集団代表量との距離（物体間逸脱度）を算出して当該距離が大きな移動物体の追跡フレームほど重要度を高く算出する。そして、算出された重要度を追跡フレーム番号と対応付けて記憶部３１に記憶させる。ちなみに、個別代表量や集団代表量は、統計対象とする一群の特徴量に関する代表量として例えば、平均ベクトルを含む。この他、中央値、最頻値などに相当する特徴量のベクトルも代表量として用いることもできる。また、個別代表量や集団代表量は分散に関する情報などを含むことができ、逸脱度や重要度の算出の基礎となる多次元の特徴量空間内での距離の定義として、当該分散等を考慮したものを採用することができる。
【００３７】
このように算出される各フレームの重要度は、監視対象である移動物体の動きまたは外見が特異な変化を示したフレームまたは特異であるフレームであるほど高くなり、当該フレームが監視において注視すべきフレームである度合いを表す尺度として用いることができる。
【００３８】
重要度算出部３５は、物体内逸脱度を算出する物体内逸脱度算出部３５０と、物体間逸脱度を算出する物体間逸脱度算出部３５１と、物体内逸脱度と物体間逸脱度とを合成して重要度を算出する逸脱度合成部３５２を含んでなる。以下、これらの各部について説明する。
【００３９】
物体内逸脱度算出部３５０は、追跡された物体ｕごとにその出現区間における物体特徴量ｆｔ，ｕを統計分析して個別代表量Ａｕを算出し、各フレームｔにおける物体ｕごとの物体特徴量ｆｔ，ｕの当該物体ｕの個別代表量Ａｕからの距離ａｔ，ｕを物体内逸脱度として算出する。物体内逸脱度の算出に２７次元の物体特徴量をそのまま用いることもできるが、本実施形態ではそのうち図３に示す第１０〜２７次成分を用いる。第１２〜２７次成分である物体サイズ、上半分エッジ特徴、下半分エッジ特徴、上半分色特徴及び下半分色特徴は、手を挙げる、立っている状態から屈む、或いは屈んでいる状態から立つといった姿勢変化を伴う人の行動、あるいは荷物や台車を放置する・持ち去るといった物品への関与を伴う人の行動によって変化するため、人の不審行動をフレーム単位で検出するための特徴量として適している。また、第１０，１１次成分である物体速度は一時停止、加速、減速といった移動物体の行動に伴って変化するため、移動物体の不審行動をフレーム単位で検出するための特徴量として適している。
【００４０】
物体ｕの個別代表量Ａｕは当該物体ｕの出現区間における物体特徴量ｆｔ，ｕの分布を近似した分布関数とすることができる。具体的には、分布関数として正規分布関数を用いる。当該物体ｕの出現区間における物体特徴量ｆｔ，ｕの平均ベクトルμｕと共分散行列Σｕを下記（１）式、（２）式で算出し、これらを正規分布関数に適用して個別代表量Ａｕ＝Ｎ（μｕ，Σｕ）を算出する。なお、（１）式、（２）式において、Ｔｕは当該物体ｕの追跡フレーム数であり、ｔは当該物体ｕの出現区間の始端フレームを１、終端フレームをＴｕとした相対的なフレーム番号である。
【００４１】
【数１】
【００４２】
【数２】
【００４３】
物体特徴量ｆｔ，ｕをフレームｔとその前後各ｐフレームからなる小区間の分布とする本実施形態において、物体内逸脱度ａｔ，ｕは次式により個別代表量Ａｕと物体特徴量ｆｔ，ｕとのバタチャリヤ距離として算出できる。
【００４４】
【数３】
【００４５】
（３）式において、μｔ，ｕはフレームｔに対応する小区間（以下、小区間ｔと表記する）における物体ｕの特徴量の平均であり、Σｔ，ｕは小区間ｔにおける物体ｕの特徴量の共分散である。
【００４６】
なお、バタチャリヤ距離に代えてカルバックライブラー距離、Hellinger距離など公知の各種分布間距離尺度を用いることができる。また、物体特徴量ｆｔ，ｕを移動平均または１フレームの特徴量とする別の実施形態において、物体内逸脱度ａｔ，ｕは次式により個別代表量Ａｕと物体特徴量ｆｔ，ｕとのマハラノビス距離として算出できる。（４）式による距離は重要度の算出処理速度を優先したい場合に有効である。
【００４７】
【数４】
【００４８】
図４は物体内逸脱度の算出処理の一例を示す模式図であり、第５８フレームにおける物体＃１の物体内逸脱度ａ５８，１を算出する処理をイメージ的に示している。ここでは特徴量空間を２次元で簡略表示している。図において、白丸は１フレームの特徴量、黒三角は物体＃１の個別代表量Ａ１を構成する平均ベクトルμ１であり、点線は当該個別代表量Ａ１を構成する共分散行列Σ１により得られる、平均ベクトルμ１から３シグマの範囲を示している。また、白抜き矢印は物体内逸脱度ａ５８，１に対応する。白三角はｐ＝１としたときの第５８小区間における物体＃１の特徴量の平均ベクトルμ５８，１であり、一点鎖線は当該第５８小区間における物体＃１の特徴量の共分散行列Σ５８，１により得られる、平均ベクトルμ５８，１から３シグマの範囲を示している。
【００４９】
図４（ａ）は物体特徴量ｆｔ，ｕを１フレームの特徴量とした場合の例であり、Ｎ（μ１，Σ１）と白丸の間のマハラノビス距離（実際には共分散行列Σ１で正規化されている）が物体内逸脱度ａ５８，１となる。
【００５０】
図４（ｂ）は物体特徴量ｆｔ，ｕを移動平均とした場合の例であり、ｆ５８，１＝μ５８，１である。Ｎ（μ１，Σ１）とμ５８，１の間のマハラノビス距離（実際には共分散行列Σ１で正規化されている）が物体内逸脱度ａ５８，１となる。
【００５１】
図４（ｃ）は物体特徴量ｆｔ，ｕを小区間の分布とした場合の例であり、ｆ５８，１＝Ｎ（μ５８，１，Σ５８，１）である。Ｎ（μ１，Σ１）とＮ（μ５８，１，Σ５８，１）の間のバタチャリヤ距離（実際には共分散行列Σ１及びΣ５８，１で正規化されている）が物体内逸脱度ａ５８，１となる。
【００５２】
さらに処理速度を優先する別の実施形態においては、分散による正規化を省くこともできる。この場合、物体ｕの個別代表量Ａｕを当該物体ｕの出現区間における物体特徴量ｆｔ，ｕの平均値とし、当該物体ｕの各物体特徴量ｆｔ，ｕとその平均値との間のユークリッド距離を物体内逸脱度ａｔ，ｕとして算出する。なお上述したように、平均値の代わりに最頻値または中央値などを用いることもできる。
【００５３】
また別の実施形態においては物体特徴量ｆｔ，ｕを小区間における特徴量の分散、個別代表量Ａｕを出現区間における特徴量の分散とし、これらの分散の間の距離を物体内逸脱度ａｔ，ｕとして算出することもできる。
【００５４】
このように算出される物体内逸脱度は物体ごとに算出される代表特徴量を基準としているため、各物体の動きや外見が一時的に変化したフレームにおいて高い物体内逸脱度が算出され、当該物体が専らとっていた動きや外見が現れているフレームには低い物体内逸脱度が算出される。例えば、大多数の人物が歩いている中で小走りしていた特定人物が一時的に速度を落とすという監視映像２２においては、特定人物が一時的に速度を落としたフレームに高い物体内逸脱度が算出され、小走りしていたフレームには低い物体内逸脱度が算出される。
【００５５】
物体間逸脱度算出部３５１は、監視映像２２内で追跡された複数の移動物体の物体特徴量ｆｔ，ｕを統計分析して集団代表量Ｂを算出し、物体ｕごとの個別代表量Ａｕの集団代表量Ｂからの距離ｂｕを物体間逸脱度として算出する。物体間逸脱度の算出に２７次元の物体特徴量をそのまま用いることもできるが、本実施形態ではそのうち図３に示す第１〜１１次成分を物体間逸脱度の算出に用いる。エッジ特徴や色特徴を大局的に分析した全身エッジ特徴、全身色特徴はフレーム単位の細かな変化に左右されにくい一方で、特異な服装など人物間の違いを比較しやすいため物体間逸脱度の元データとして適している。また、物体位置は特異な位置からの入場・退場、特異なエリアへの移動など人物間の違いを比較しやすいため物体間逸脱度の元データとして適している。
【００５６】
集団代表量Ｂは追跡された全物体の物体特徴量ｆｔ，ｕの分布を近似した分布関数とすることができる。具体的には、分布関数として正規分布関数を用いる。全物体の物体特徴量ｆｔ，ｕの平均ベクトルμと共分散行列Σを算出し、これらを正規分布関数に適用して集団代表量ＢをＢ＝Ｎ（μ，Σ）と定める。物体間逸脱度の算出に用いる個別代表量Ａｕは物体内逸脱度算出部３５０における処理と同様にして算出する。但し、算出対象が第１〜１１次成分である点が物体内逸脱度の算出の場合と異なる。
【００５７】
物体ｕの物体間逸脱度ｂｕは集団代表量Ｂと当該物体の個別代表量Ａｕとのバタチャリヤ距離として算出できる。なお、バタチャリヤ距離に代えてカルバックライブラー距離、Hellinger距離など公知の各種分布間距離尺度を用いることも可能である。
【００５８】
重要度の算出処理速度を優先する別の実施形態においては、個別代表量Ａｕを上記平均ベクトルμｕで代表させ、物体ｕの物体間逸脱度ｂｕを集団代表量Ｂと当該物体の個別代表量Ａｕとのマハラノビス距離として算出する。
【００５９】
さらに処理速度を優先する別の実施形態においては、分散による正規化を省くこともできる。この場合、集団代表量Ｂを全物体特徴量ｆｔ，ｕの平均ベクトルμ、物体ｕの個別代表量Ａｕを当該物体ｕの出現区間における物体特徴量ｆｔ，ｕの平均ベクトルμｕとし、全物体特徴量ｆｔ，ｕの平均ベクトルμと各物体ｕの各物体特徴量ｆｔ，ｕの平均ベクトルμｕとの間のユークリッド距離を当該物体ｕの物体間逸脱度ｂｕとして算出する。なお平均値の代わりに最頻値または中央値などを用いることもできる。
【００６０】
また別の実施形態においては、集団代表量Ｂを上記分散Σ、個別代表量Ａｕを上記分散Σｕとし、これら分散の間の距離を物体間逸脱度ｂｕとして算出することもできる。
【００６１】
このように算出される物体間逸脱度は監視映像２２全体から算出される集団代表量を基準としているため、大多数の物体とは動きや外見が異なる物体に対して高い物体間逸脱度が算出され、大多数の物体と動きや外見が似ている物体に対して低い物体間逸脱度が算出される。例えば、大多数の人物が歩いている中で小走りしていた特定人物が一時的に速度を落とす上述の例では、小走りしていたこの特定人物に対して高い物体間逸脱度が算出され、歩いている大多数の人物には低い物体間逸脱度が算出される。
【００６２】
逸脱度合成部３５２はフレームごとに物体内逸脱度と物体間逸脱度とに応じて当該フレームの重要度を算出する。具体的には次式に基づいて、フレームｔごとに物体内逸脱度ａｔ，ｕと物体間逸脱度ｂｕを重み付け加算して当該フレームの重要度ｃｔを算出する。なお（５）式の総和演算ではフレームｔ内の移動物体の集合Ｕ（ｔ）に属する全ての移動物体ｕについての逸脱度が合算される。
【００６３】
【数５】
【００６４】
ここでλは物体内逸脱度と物体間逸脱度との重み調整用のパラメータであり、０≦λ≦１なる範囲で設定される。例えば０．５に設定すればよい。
【００６５】
別の実施形態において逸脱度合成部３５２はフレームｔごとに当該フレーム内の全ての移動物体の物体内逸脱度ａｔ，ｕ及び物体間逸脱度ｂｕのうちの最大値を当該フレームの重要度ｃｔとして算出してもよい。この場合の重要度ｃｔは次式で表される。（６）式の重要度ｃｔは（５）式と異なりフレーム内の移動物体の数に影響されないので、人数が少ないシーンでも追跡物体内のフレームごとの逸脱度合が高い箇所が優先的に選択されることになる。
【００６６】
【数６】
【００６７】
図５は物体内逸脱度、物体間逸脱度及び重要度の一例を示す説明図であり、図２に示した例に対応しており、監視映像２２にて３つの物体＃１〜＃３について追跡フレームが存在する。データ６０１は物体＃１〜＃３について算出された物体内逸脱度の例であり、物体＃１の物体内逸脱度はその出現区間である第５６フレーム〜第６１フレームに対して算出され、その値は１．０，１．５，５．６，２．０，１．８，１．０である。物体＃２の物体内逸脱度はその出現区間である第５８フレーム〜第６５フレームにおいて算出され、その値は１．２，３．４，３．０，４．５，５．２，２．６，２．０，１．７である。また、物体＃３の物体内逸脱度はその出現区間である第１１２フレーム〜第１１６フレームに対して算出され、その値は１．１，１．５，１．７，１．５，１．２である。なお、物体が検出されなかった第６６フレーム〜第１１１フレームに対しては物体内逸脱度が算出されない。
【００６８】
データ６０２は物体＃１〜＃３について算出された物体間逸脱度の例であり、物体＃１の物体間逸脱度は２．０、物体＃２の物体間逸脱度は２．２、物体＃３の物体間逸脱度は４．９である。
【００６９】
データ６０３は（５）式によりデータ６０１の物体内逸脱度とデータ６０２の物体間逸脱度を合成した重要度の例である。第５６フレーム〜第６５フレームに対する重要度は１．５，１．７５，５．５，４．８，４．５，４．８５，３．７，２．４，２．１，１．９５と算出され、第１１２フレーム〜第１１６フレームに対する重要度は３．０，３．２，３．３，３．２，３．０５と算出された。
【００７０】
例えば第５８フレームに関しては、ａ５８，１＝５．６，ｂ１＝２．０，ａ５８，２＝１．２，ｂ２＝２．２であり、これらをλ＝０．５とした（５）式に適用して、ｃ５８＝｛（１−０．５）×５．６＋０．５×２．０＋（１−０．５）×１．２＋０．５×２．２｝＝５．５と算出される。また、（５）式に代えて（６）式を用いた場合はｃ５８＝ｍａｘ｛５．６，２．０，１．２，２．２｝＝５．６となる。
【００７１】
図５に示す例において、物体＃１，＃２の物体間逸脱度は低めであるため、これらの物体の出現区間全体が特異なシーンであるとは判定できない。しかし、物体＃１の物体内逸脱度は第５８フレームで高くなっており、また物体＃２の物体内逸脱度は第５９フレーム〜第６２フレームで高くなっている。このことから、それぞれの物体の出現区間を構成する幾つかのフレームに対して特異なシーンを判定できることが分かる。つまり物体＃１，＃２に対しては物体内逸脱度が重要シーンを判定するために有効であることが分かる。
【００７２】
一方、物体＃３の物体内逸脱度は第１１２フレーム〜第１１６フレームのいずれにおいても低めであるが、物体間逸脱度は高くなっている。このことから、物体＃３の出現区間を他の物体の出現区間に照らせば物体＃３の出現区間全体を特異なシーンと判定できることが分かる。つまり物体＃３に対しては物体間逸脱度が重要シーンを判定するために有効であることが分かる。
【００７３】
そして物体内逸脱度と物体間逸脱度を合成した重要度では、物体＃１が特異である第５８フレーム、物体＃２が特異である第５９フレーム〜第６２フレーム、及び物体＃３が特異である第１１２フレーム〜第１１６フレームのそれぞれに高めの値が算出されており、物体間逸脱度による大局的な観点と物体内逸脱度による局所的な観点との両方により漏れの少ない重要シーン判定が可能になる。
【００７４】
逸脱度合成部３５２が生成する、追跡フレーム番号と重要度とを対応付けたデータ６０３は記憶部３１に重要度データ３１１として格納される。
【００７５】
要約映像作成部３６は重要度データ３１１を参照し、監視映像２２の中から重要度が高いフレームを優先して指定フレーム数のフレームを選出することにより当該監視映像を間引いて、当該監視映像の総フレーム数より少なく設定されたフレーム数の要約映像を作成する。そして、作成した要約映像を表示装置４に出力する。ここで、要約映像を撮像時と同じフレーム間隔で順次出力することで、重要度の高い重要シーンは撮像時と同じフレーム間隔で再生され、それ以外のシーンは間引かれているため高速再生される。
【００７６】
具体的には要約映像作成部３６は動的計画法（ＤＰ；Dynamic Programming）を用い、監視映像２２の中から所定範囲内のスキップ数でその重要度の総和が最大となるフレームを選出する。要約映像作成部３６は監視映像２２のうち物体が検出されていないフレームを除き、追跡フレームのみからなる部分に動的計画法を適用する。例えば、図５に例示した第５６フレーム〜第１１６フレームを要約対象の監視映像とすると、これら６１フレームのうち物体が検出されていない第６６フレーム〜第１１１フレームを除いた残り１５フレームに動的計画法が適用される。
【００７７】
その適用に際しては、最小スキップ数は０、一方、最大スキップ数は（総追跡フレーム数÷指定フレーム数×α−１）に設定することができる。αは全ての選択が最大スキップ数で行なわれないようにするための調整値でα＞１である。例えばα＝２とすることができる。例えば、上述した総追跡フレーム数が１５フレームの例で指定フレーム数を１０フレームとした場合、最大スキップ数は１５÷１０×２−１＝２フレームとなる。
【００７８】
スキップ数の選択範囲は、動的計画法における傾斜制限として規定できる。図６は上述した最大スキップ数が２フレームに設定されるときの傾斜制限を示す模式図であり、横軸が要約映像のフレーム番号に対応し、縦軸が監視映像のフレーム番号に対応している。図６において、白丸は要約映像のフレームと監視映像のフレームの格子点であり、２つの格子点を結ぶ実線は局所パスを表している。スキップ数の選択範囲が０，１，２となることに対応し、要約映像のフレーム番号が１増加するときに監視映像２２のフレーム番号の増加数が１，２，３である局所パスが設定される。
【００７９】
局所パスにより接続される格子点に対応する監視映像２２のフレームの重要度が当該局所パスを選択するときのコストに相当する。要約映像作成部３６は動的計画法により選択された局所パスと対応してそのコストを累積する。指定フレーム数の各格子点を結ぶパスに沿って累積されたコストが重要度の総和であり、要約映像作成部３６はそれぞれが局所パスを組み合わせてなる複数のパスのうち、当該コストの累積値を最大にするパスを求める。
【００８０】
ここで、要約映像において移動物体が画像内の様々な位置から登場したり消失したりするとこれを目で追う監視員に大きなストレスがかかる。そこで、各物体の出現区間の始端フレーム及び終端フレームをその重要度とは関係なく強制選択して要約映像を作成する。動的計画法を用いる場合、各物体の出現区間の始端フレーム及び終端フレームをまたぐ局所パスの選択を禁止することでこの制御を実現できる。こうすることで要約映像中において各移動物体が実際の出現位置から登場し実際の退場位置から消失するので、監視員のストレスを軽減することができる。
【００８１】
図７は上述した監視映像２２の例及び動的計画法の設定例のもとで動的計画法が選択し得る格子点と局所パスを示すグラフである。縦軸は監視映像２２における追跡フレーム番号、横軸は作成する要約映像のフレーム番号に当たる。白丸及び黒丸は選択し得る格子点であり、そのうち黒丸は強制選択される格子点である。また、丸と丸を結ぶ線は図６の傾斜制限と強制選択の拘束条件のもとで選択し得る局所パスである。さらにコストが最大となるという条件を課すことにより、この例では、図７にて太線で示すパスが選択され、要約映像の第１〜１０フレームとして監視映像２２の第５６，５８，５９，６０，６１，６３，６５，１１２，１１４，１１６フレームがそれぞれ選出される。
【００８２】
動的計画法を用いると最大フレーム間隔以内で連続性のある要約映像が作成され、重要度が高いフレームのみならずその間の「つなぎ」のフレームが適度に選択されるので、要約映像中に次々と登場する移動物体を目で追う監視員へのストレスを軽減可能な要約映像を作成することができる。
【００８３】
表示装置４は信号処理部３２から入力される要約映像を表示する液晶ディスプレイ又はＣＲＴ（Cathode Ray Tube）ディスプレイ等である。ユーザーは表示装置４に再生表示される要約映像を見ることにより監視映像２２を早見することができる。
【００８４】
次に映像処理装置１の動作について映像要約装置３の動作を中心に説明する。撮像部２０は予め設定されたフレーム間隔で監視空間を撮像して、監視映像２２を録画部２１へ出力する。録画部２１は監視映像２２を記録する。図８は映像要約装置３の動作を説明する概略のフロー図である。ユーザーは設定入力部３０を用いて要約対象とする監視映像２２を指定し、また指定フレーム数を入力する（Ｓ１）。
【００８５】
信号処理部３２はステップＳ１にて指定された監視映像２２を録画部２１から読み出す（Ｓ２）。信号処理部３２の物体追跡部３３は、読み出された監視映像２２を処理して当該監視映像２２に撮像されている物体を個々に追跡し、追跡結果を記憶部３１の物体情報３１０に記憶させる（Ｓ３）。また、信号処理部３２の物体特徴抽出部３４は、各物体の追跡フレームそれぞれから当該物体の特徴量を抽出し、抽出された各特徴量を記憶部３１の物体情報３１０に記憶させる（Ｓ４）。そして、信号処理部３２の重要度算出部３５は、物体情報３１０を参照して各追跡フレームに対し、当該フレームに撮像されている物体の行動の特異性を表す重要度を算出する（Ｓ５）。
【００８６】
図９は重要度算出部３５による処理の概略のフロー図である。物体内逸脱度算出部３５０及び物体間逸脱度算出部３５１は、物体ごとにその全追跡フレームの物体特徴量を統計分析することにより各物体の個別代表量を算出し記憶部３１に記憶させる（Ｓ５０）。そして、物体内逸脱度算出部３５０は各物体の追跡フレームごとに、当該追跡フレームにおける当該物体の物体特徴量と当該物体の個別代表量との間の距離を物体内逸脱度として算出し記憶部３１に記憶させる（Ｓ５１）。一方、物体間逸脱度算出部３５１は図８のステップＳ４にて抽出された全ての物体特徴量を統計分析することにより集団代表量を算出する（Ｓ５２）。そして、物体間逸脱度算出部３５１はステップＳ５０にて算出された各物体の個別代表量と集団代表量との間の距離を当該物体の物体間逸脱度として算出し記憶部３１に記憶させる（Ｓ５３）。
【００８７】
逸脱度合成部３５２はステップＳ５１にて算出された物体内逸脱度とステップＳ５３にて算出された物体間逸脱度とを追跡フレームごとに合成して重要度を算出する。重要度算出部３５は算出された重要度を追跡フレーム番号と対応付けて、記憶部３１に重要度データ３１１として記憶させる。なお、このとき重要度算出部３５は追跡フレーム以外のフレームのフレーム番号と重要度の最低値０を対応付けた情報を重要度データ３１１に加えてもよい。
【００８８】
図９に示す重要度算出部３５による処理が終わると処理は再び図８に戻り、信号処理部３２の要約映像作成部３６が、動的計画法を用いて重要度を最大化する指定フレーム数の要約映像を作成する（Ｓ６）。具体的には、要約映像作成部３６は、まず総追跡フレーム数を算出し、総追跡フレーム数と指定フレーム数とから最大スキップ数を求めて動的計画法の傾斜制限を設定する。次に要約映像作成部３６は重要度データ３１１に基づいて追跡フレームのフレーム番号系列を作成し、動的計画法を用いて当該系列中のフレームから傾斜制限の範囲内で指定フレーム数と同数の部分系列を作成して、系列を構成する追跡フレームの重要度の総和が最大となるような部分系列を選び出す。ただし部分系列の作成にあたり、各物体の出現区間の始端フレーム及び終端フレームは強制的に部分系列に組み込む。重要度の総和が最大となるような選び出された部分系列は要約映像を構成するフレームが監視映像２２のフレーム番号で表現されたものとなっている。要約映像作成部３６は選び出された部分系列が示すフレームを監視映像２２から抜き出して時系列順に並べることで要約映像を作成し、記憶部３１に記憶させる。
【００８９】
要約映像作成部３６は、記憶部３１に記憶させた要約映像を撮像時のフレーム間隔で順次表示装置４に出力することで要約映像を再生する（Ｓ７）。
【００９０】
上述の実施形態では重要度算出部３５は物体内逸脱度と物体間逸脱度から重要度を定めたが、物体内逸脱度のみから重要度を算出してもよい。また、物体内逸脱度と物体間逸脱度とを合成した重要度と物体内逸脱度のみから算出した重要度とのいずれかをユーザーに選択させて、選択された方法で重要度を算出してもよい。
【００９１】
要約映像作成部３６は監視映像２２の先頭フレームから順次重要度を累積して累積値が閾値Ｔ２に達したときのフレームを要約映像のフレームとして選択し、１つのフレームが選択されると累積値を閾値Ｔ２だけ減じる処理または累積値を０リセットする処理をした後、同様の重要度累積を開始して次のフレームを選択するという処理を、監視映像２２の終端フレームまで繰り返すことにより要約映像を作成してもよい。このときの閾値Ｔ２は（監視映像２２の全フレームに対する重要度の和÷指定フレーム数）と設定することができる。この処理方法によれば、動的計画法を用いる場合と比べて計算量が削減される。
【００９２】
また、各物体の出現区間の始端フレーム及び終端フレームのいずれか一方のみを強制的に要約映像に組み込む構成としてもよい。
【００９３】
また、要約映像作成部３６は重要度が高い順に指定フレーム数と同数のフレームを選出して選出したフレームをフレーム番号順に並べることにより要約映像を作成してもよい。または、各フレームの重要度に対して一律の閾値Ｔ３を適用して重要度が閾値Ｔ３を超えたフレームを並べることにより要約映像を作成することもできる。この場合、閾値Ｔ３を順次増加または減少させて指定フレーム数の要約映像となるよう調整することができる。なお、これらの構成では、いずれも要約映像に「つなぎ」が入らない分、要約映像における重要シーンの密度が高くなる。この点で、熟練ユーザーに好適であると言える。
【００９４】
上記映像処理装置１は監視映像２２から作成された要約映像で録画部２１に記憶されている当該監視映像を置き換えることもできる。こうすることで監視価値の高いフレームを残し監視価値の低いフレームが削除されるので監視映像２２の監視価値を一定に保ちながら、録画部２１のデータ量を削減できる。
【００９５】
また、上記実施形態において重要度算出部３５は移動物体それぞれの出現区間全体を統計分析して個別特徴量を算出したが、出現区間の一部区間を統計分析してもよい。例えば、監視映像２２内に予め設定したエリア内にて追跡された区間だけを統計分析の対象とすることができる。
【００９６】
また、上記実施形態において重要度算出部３５は全移動物体を統計分析して集団特徴量を算出したが、一部の移動物体を統計分析してもよい。例えば、監視映像２２の撮像時間帯を分けて各時間帯に追跡された移動物体だけを統計分析の対象とすることができる。
【符号の説明】
【００９７】
１ 映像処理装置、２ 映像記録装置、３ 映像要約装置、４ 表示装置、２０ 撮像部、２１ 録画部、３０ 設定入力部、３１ 記憶部、３２ 信号処理部、３３ 物体追跡部、３４ 物体特徴抽出部、３５ 重要度算出部、３６ 要約映像作成部、３１０ 物体情報、３１１ 重要度データ、３５０ 物体内逸脱度算出部、３５１ 物体間逸脱度算出部、３５２ 逸脱度合成部。
【技術分野】
【０００１】
本発明は、監視映像の各フレームに対して注視すべき度合いを付与する映像処理装置に関する。
【背景技術】
【０００２】
従来、監視映像中から人物の不審な行動を検出する処理は、各人物に共通の比較基準を用いて行われていた。
【０００３】
特許文献１に記載の侵入物体監視装置では、監視映像中の侵入物体を検知してその移動量を算出し、移動量が所定量を超えた場合の入力画像をダイジェスト映像として記録する。
【０００４】
また、特許文献２に記載の異常行動検知装置では、複数の移動物体の正常行動パターンを学習することで比較基準を作成する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２５４１４１号公報
【特許文献２】特開２０１０−７２７８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来技術では、特定人物が一時的にとった不審な動きが大多数の人物がとる動きと似ているとそれを重要シーンと判定できないことがあった。例えば、大多数の人が歩いている中で小走りしていた特定人物が一時的に速度を落としたシーンが重要シーンと判定できなかった。
【０００７】
またこのとき、特定人物が一時的にとった減速を不審な動きとして特に注視すべき重要シーンとする一方で、当該特定人物が走っているという、大多数の人とは異なる動きも次に注視すべき重要シーンと判定することが望まれる。
【０００８】
本発明は上記課題を鑑みてなされたものであり、監視にあたり注視すべき重要シーンを好適に判別できる映像処理装置を提供することを目的とする。また、重要シーンを判別できることに基づいて、元の監視映像よりも短い要約映像を作成可能とする。
【課題を解決するための手段】
【０００９】
本発明に係る映像処理装置は、複数フレームからなる監視映像において注視すべきフレームの情報を生成するものであって、前記監視映像を記憶する記憶部と、画像解析により前記監視映像中の移動物体の物体像を追跡し、前記移動物体が追跡された追跡フレームと当該移動物体の前記物体像の対応情報を生成する物体追跡部と、前記物体像から前記移動物体の動き又は／及び外見の特徴量を抽出する物体特徴抽出部と、前記特徴量を前記移動物体ごとに統計分析して当該特徴量の分布を代表する個別代表量を求め、前記各移動物体の前記個別代表量と当該移動物体の前記追跡フレームごとの前記特徴量との距離である第１距離を算出して当該第１距離が大きな前記追跡フレームほど高い監視価値を算出する監視価値算出部と、を備える。
【００１０】
他の本発明に係る映像処理装置においては、前記監視価値算出部は、前記物体追跡部により追跡された複数の前記移動物体の前記特徴量を統計分析して当該特徴量を代表する集団代表量を求め、前記集団代表量と前記各移動物体の前記個別代表量との距離である第２距離を算出して、前記各追跡フレームにおける前記移動物体の前記第１距離及び当該追跡フレームにて追跡された移動物体の前記第２距離に応じて前記監視価値を算出する。
【００１１】
また他の本発明に係る映像処理装置は、さらに、前記監視映像から前記監視価値が高い前記追跡フレームほど優先して選出することにより当該監視映像を間引いて、当該監視映像の総フレーム数より少なく設定されたフレーム数の要約映像を作成する要約映像作成部を有する。
【００１２】
別の本発明に係る映像処理装置においては、前記要約映像作成部は、前記各移動物体の一連の前記追跡フレームのうち始端フレームと終端フレームとの予め定められた少なくとも一方をそれらの前記監視価値に関係なく選出する。
【００１３】
さらに別の本発明に係る映像処理装置においては、前記要約映像作成部は、動的計画法を用い、前記要約映像を構成する前記追跡フレームの前記監視価値の総和を最大化する。
【発明の効果】
【００１４】
本発明によれば、監視にあたり注視すべき重要シーンを好適に判別することが可能となる。また本発明は、監視映像から重要なシーンを優先的に選択して、元の監視映像よりも短い要約映像を作成することを可能とする。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る映像処理装置のブロック構成図である。
【図２】監視画像にて追跡された移動物体に関する物体情報の構成を示す模式図である。
【図３】物体特徴量の構成を示すテーブルである。
【図４】物体内逸脱度の算出処理の一例を示す模式図である。
【図５】物体内逸脱度、物体間逸脱度及び重要度の一例を示す説明図である。
【図６】最大スキップ数が２フレームに設定されるときの傾斜制限を示す模式図である。
【図７】動的計画法が選択し得る格子点と局所パスの例を示すグラフである。
【図８】映像要約装置の動作を説明する概略のフロー図である。
【図９】重要度算出部による処理の概略のフロー図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について、図面に基づいて説明する。本実施形態は、監視空間を長時間に亘り撮像した監視映像の重要シーンを効率的に確認できる映像処理装置である。例えば、監視映像は店舗等の監視空間を撮像したものであり、当該監視空間内には監視対象として移動する人物が存在する。本映像処理装置１は、その長時間の監視映像を効率的に早見するために重要シーンを撮像速度で又は低速で再生し、重要シーン以外を高速で再生する。特に、映像処理装置１は、通常行動から逸脱した不審な人物行動が撮影されているシーンを重要シーンとして検出して早見可能にする。
【００１７】
図１は実施形態に係る映像処理装置１のブロック構成図である。映像処理装置１は、映像記録装置２、映像要約装置３及び表示装置４を含んで構成される。映像記録装置２及び表示装置４は映像要約装置３に接続される。
【００１８】
映像記録装置２は、撮像部２０及び録画部２１を含んで構成される。
【００１９】
撮像部２０はいわゆる監視カメラであり、録画部２１に接続される。撮像部２０は監視空間を所定の時間間隔で撮像し、撮影した画像を順次、録画部２１へ出力する。撮像の時間間隔は例えば１／５秒である。以下、この時間間隔で撮像される各画像をフレーム、また、この時間間隔をフレーム間隔と呼ぶ。
【００２０】
録画部２１は、例えば、ハードディスクドライブ（ＨＤＤ）等の大容量記録媒体を備えたディジタルビデオレコーダー（ＤＶＲ）等で構成される。録画部２１は、数日、数週間あるいは数ヶ月という長時間に亘り撮像される時系列の画像を撮像部２０から入力され、監視映像２２として大容量記録媒体に記録することができる。監視映像２２は複数のフレームが撮像順に並んだデータである。録画部２１は映像要約装置３にも接続され、映像要約装置３へ監視映像２２を出力する。
【００２１】
映像要約装置３は、設定入力部３０、記憶部３１及び信号処理部３２を含んで構成され、設定入力部３０及び記憶部３１は信号処理部３２に接続される。映像要約装置３は録画部２１及び表示装置４と接続され、監視映像２２から重要シーンを検出して重要シーン以外のフレームを間引いた要約映像を作成し、作成した要約映像を表示装置４へ出力する。映像要約装置３は例えば、パーソナルコンピュータ（ＰＣ）等を用いて構成することができる。
【００２２】
設定入力部３０はキーボード、マウス等のユーザーインターフェース装置であり、要約映像を見て監視空間における不審行動等を確認する店舗管理者や監視員等のユーザーにより操作され、各種設定を入力するために用いられる。ここで、上記設定には、要約映像の元映像としてユーザーに指定される監視映像２２中の任意区間や、ユーザーに指定される要約映像のフレーム数（指定フレーム数）などがある。以下、要約処理の対象に指定された元映像を単に監視映像２２と称する。指定フレーム数は少なくとも監視映像２２の総フレーム数よりも小さい。なお、指定フレーム数をユーザーに直接入力させる代わりに要約映像の再生時間を設定入力部３０から入力させ、信号処理部３２にて再生時間をフレーム間隔で除してフレーム数に換算してもよい。
【００２３】
記憶部３１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の記憶装置である。記憶部３１は各種プログラムや各種データを記憶し、信号処理部３２との間でこれらの情報を入出力する。各種データには物体情報３１０及び重要度データ３１１が含まれる。
【００２４】
物体情報３１０は、監視映像２２中の各物体像の領域情報と各物体像から抽出された動き及び外見の少なくとも一方に関する特徴量を移動物体の識別子及びフレーム番号と対応付けた情報である。フレーム番号は監視映像２２を構成する各フレームに対して撮像順に付与された番号である。図２は物体情報３１０の構成を示す模式図である。「物体ＩＤ」は移動物体の識別子であり、各移動物体を一意に識別する番号である。「追跡フレーム数」は各移動物体の物体像が検出され、追跡されたフレーム（追跡フレーム）の総数である。「追跡フレーム番号」は追跡フレームのフレーム番号である。また、各移動物体と対応付けられた追跡フレーム番号の始端から終端までが監視映像２２における当該移動物体の出現区間を表す。「物体特徴量」は各移動物体の追跡フレームにおいて当該移動物体の物体像から抽出された動きの特徴量及び外見の特徴量のいずれか又は両方であり、移動物体ｕの追跡フレームｔにおける特徴量をｆｔ，ｕと表記する。「物体領域」は各移動物体の追跡フレームにおいて当該移動物体の物体像が検出された領域であり、当該領域から物体像が特定できる。移動物体ｕの追跡フレームｔにおける物体領域をＩｔ，ｕと表記する。
【００２５】
図３は物体特徴量の構成を示すテーブルである。本実施形態の物体特徴量は外見の特徴量及び動きの特徴量のベクトルを並べた２７次元ベクトルである。「全身エッジ特徴」、「上半分エッジ特徴」及び「下半分エッジ特徴」は物体像の全体、物体像をＹ方向に二分した上半分、及び下半分をそれぞれ抽出範囲とする外見特徴量であり、それぞれ抽出範囲の全画素から抽出されたエッジを４方向に量子化し、当該エッジ方向ごとにエッジ強度をヒストグラム分析して得られる４次元ベクトルである。
【００２６】
「全身色特徴」、「上半分色特徴」及び「下半分色特徴」も物体像の全体、物体像の上半分、及び下半分をそれぞれ抽出範囲とする外見特徴量である。本実施形態ではＬｕｖ表色系を採用し、それぞれ全身、上半分及び下半分を抽出範囲とする色特徴は抽出範囲の全画素から算出されたＬ成分平均値、Ｕ成分平均値、Ｖ成分平均値を並べた３次元ベクトルで表される。
【００２７】
「物体サイズ」も外見特徴量の１つであり、物体像の外接矩形の幅と高さを並べた２次元ベクトルである。
【００２８】
「物体位置」は動き特徴量の１つであり、物体像の重心位置のＸ座標とＹ座標とを並べた２次元ベクトルである。「物体速度」も動き特徴量の１つであり、前後する追跡フレーム間での物体位置のＸ座標変化量及びＹ座標変化量からなる２次元ベクトルである。
【００２９】
各移動物体ｕの追跡フレームｔにおける物体特徴量ｆｔ，ｕは、単純に１フレームごとの特徴量とすることもできるが、移動平均とすることもできる。すなわち物体特徴量ｆｔ，ｕは各追跡フレームｔを中心とする前後ｐフレーム、合計（２ｐ＋１）フレームの特徴量を成分ごとに平均した２７次元ベクトルとすることができる。ｐには予め見積もった出現区間の最短長の１／２より小さい自然数を設定しておく。移動平均を用いると平滑化により領域抽出の誤差の影響が軽減され、不審行動の誤検出が少なくなる。
【００３０】
さらに物体特徴量ｆｔ，ｕは、追跡フレームｔを含む複数フレームからなる小区間の分布とすることもできる。具体的には、小区間として注目フレームｔを中心とする（２ｐ＋１）フレームを設定し、当該小区間の特徴量の分布を正規分布でモデル化する。物体特徴量ｆｔ，ｕは当該小区間の特徴量の成分ごとに平均した２７次元ベクトル及び、当該平均ベクトルを用いて生成される２７×２７次元の共分散行列となる。ここでのｐも予め見積もった出現区間の最短長の１／２より小さい自然数に設定される。小区間の分布を用いると領域抽出誤差の軽減による不審行動の誤検出低減効果に加え、外見特徴量の瞬時的な変化をも物体特徴量ｆｔ，ｕで表すことができるのでより多くの不審行動が検出されやすくなる。本実施形態では、この小区間の分布を物体特徴量ｆｔ，ｕとして抽出し、追跡フレームごとの後述する重要度の算出に用いる。
【００３１】
重要度データ３１１は追跡フレームと当該追跡フレームの監視上の価値（監視価値）である。重要度とを対応付けた情報である。なお、追跡フレーム以外の監視映像２２のフレームについて明示的にこれらのフレームと重要度の最低値（例えば０）とを対応付けた情報を重要度データ３１１に含ませてもよい。
【００３２】
信号処理部３２は、ＣＰＵ(Central Processing Unit)、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、物体追跡部３３、物体特徴抽出部３４、重要度算出部３５及び要約映像作成部３６等の動作が記述されたプログラムを記憶部３１から読み出して実行することにより各手段として動作する。信号処理部３２は録画部２１より入力される監視映像２２から要約映像を作成し、作成した要約映像を表示装置４へ出力する。
【００３３】
物体追跡部３３は相前後するフレームを比較して監視映像２２に撮像された移動物体の物体像を移動物体ごとに追跡し、追跡結果を記憶部３１の物体情報３１０に記憶させる。物体情報３１０の追跡結果は物体特徴抽出部３４により参照される。追跡処理は背景差分処理により各フレームから物体領域を抽出し、前後するフレームにて抽出された物体領域のうち同一物体による物体領域をテンプレートマッチングまたはパーティクルフィルタにより対応付けるなどの公知の方法で行われる。追跡結果として、物体ＩＤ、追跡フレーム数、追跡フレームの番号、物体領域、及び物体特徴量のうちの物体位置が得られる。
【００３４】
物体特徴抽出部３４は追跡結果及び監視映像２２を参照して物体特徴量を抽出する。具体的には、物体特徴量のうち、全身エッジ特徴、上半分エッジ特徴、下半分エッジ特徴、全身色特徴、上半分色特徴、下半分色特徴、物体速度、及び物体サイズを抽出する。
【００３５】
重要度算出部３５は、監視映像２２から重要度データ３１１を生成して記憶部３１に記憶させる。重要度算出部３５は、ユーザーが監視空間における不審行動等の移動物体の動きや外見の特異さを監視する本装置の用途に対応して、各追跡フレームの監視価値を算出する監視価値算出部である。
【００３６】
具体的には、重要度算出部３５は、物体特徴量を移動物体ごとに統計分析して、当該移動物体の物体特徴量を代表する個別代表量を求め、当該移動物体の各追跡フレームにおける物体特徴量それぞれと個別代表量との距離（物体内逸脱度）を算出して当該距離が大きな追跡フレームほど高い重要度を算出する。重要度算出部３５はさらに、複数の移動物体の物体特徴量を統計分析して、複数の移動物体の物体特徴量を代表する集団代表量を求め、移動物体の個別代表量それぞれと集団代表量との距離（物体間逸脱度）を算出して当該距離が大きな移動物体の追跡フレームほど重要度を高く算出する。そして、算出された重要度を追跡フレーム番号と対応付けて記憶部３１に記憶させる。ちなみに、個別代表量や集団代表量は、統計対象とする一群の特徴量に関する代表量として例えば、平均ベクトルを含む。この他、中央値、最頻値などに相当する特徴量のベクトルも代表量として用いることもできる。また、個別代表量や集団代表量は分散に関する情報などを含むことができ、逸脱度や重要度の算出の基礎となる多次元の特徴量空間内での距離の定義として、当該分散等を考慮したものを採用することができる。
【００３７】
このように算出される各フレームの重要度は、監視対象である移動物体の動きまたは外見が特異な変化を示したフレームまたは特異であるフレームであるほど高くなり、当該フレームが監視において注視すべきフレームである度合いを表す尺度として用いることができる。
【００３８】
重要度算出部３５は、物体内逸脱度を算出する物体内逸脱度算出部３５０と、物体間逸脱度を算出する物体間逸脱度算出部３５１と、物体内逸脱度と物体間逸脱度とを合成して重要度を算出する逸脱度合成部３５２を含んでなる。以下、これらの各部について説明する。
【００３９】
物体内逸脱度算出部３５０は、追跡された物体ｕごとにその出現区間における物体特徴量ｆｔ，ｕを統計分析して個別代表量Ａｕを算出し、各フレームｔにおける物体ｕごとの物体特徴量ｆｔ，ｕの当該物体ｕの個別代表量Ａｕからの距離ａｔ，ｕを物体内逸脱度として算出する。物体内逸脱度の算出に２７次元の物体特徴量をそのまま用いることもできるが、本実施形態ではそのうち図３に示す第１０〜２７次成分を用いる。第１２〜２７次成分である物体サイズ、上半分エッジ特徴、下半分エッジ特徴、上半分色特徴及び下半分色特徴は、手を挙げる、立っている状態から屈む、或いは屈んでいる状態から立つといった姿勢変化を伴う人の行動、あるいは荷物や台車を放置する・持ち去るといった物品への関与を伴う人の行動によって変化するため、人の不審行動をフレーム単位で検出するための特徴量として適している。また、第１０，１１次成分である物体速度は一時停止、加速、減速といった移動物体の行動に伴って変化するため、移動物体の不審行動をフレーム単位で検出するための特徴量として適している。
【００４０】
物体ｕの個別代表量Ａｕは当該物体ｕの出現区間における物体特徴量ｆｔ，ｕの分布を近似した分布関数とすることができる。具体的には、分布関数として正規分布関数を用いる。当該物体ｕの出現区間における物体特徴量ｆｔ，ｕの平均ベクトルμｕと共分散行列Σｕを下記（１）式、（２）式で算出し、これらを正規分布関数に適用して個別代表量Ａｕ＝Ｎ（μｕ，Σｕ）を算出する。なお、（１）式、（２）式において、Ｔｕは当該物体ｕの追跡フレーム数であり、ｔは当該物体ｕの出現区間の始端フレームを１、終端フレームをＴｕとした相対的なフレーム番号である。
【００４１】
【数１】
【００４２】
【数２】
【００４３】
物体特徴量ｆｔ，ｕをフレームｔとその前後各ｐフレームからなる小区間の分布とする本実施形態において、物体内逸脱度ａｔ，ｕは次式により個別代表量Ａｕと物体特徴量ｆｔ，ｕとのバタチャリヤ距離として算出できる。
【００４４】
【数３】
【００４５】
（３）式において、μｔ，ｕはフレームｔに対応する小区間（以下、小区間ｔと表記する）における物体ｕの特徴量の平均であり、Σｔ，ｕは小区間ｔにおける物体ｕの特徴量の共分散である。
【００４６】
なお、バタチャリヤ距離に代えてカルバックライブラー距離、Hellinger距離など公知の各種分布間距離尺度を用いることができる。また、物体特徴量ｆｔ，ｕを移動平均または１フレームの特徴量とする別の実施形態において、物体内逸脱度ａｔ，ｕは次式により個別代表量Ａｕと物体特徴量ｆｔ，ｕとのマハラノビス距離として算出できる。（４）式による距離は重要度の算出処理速度を優先したい場合に有効である。
【００４７】
【数４】
【００４８】
図４は物体内逸脱度の算出処理の一例を示す模式図であり、第５８フレームにおける物体＃１の物体内逸脱度ａ５８，１を算出する処理をイメージ的に示している。ここでは特徴量空間を２次元で簡略表示している。図において、白丸は１フレームの特徴量、黒三角は物体＃１の個別代表量Ａ１を構成する平均ベクトルμ１であり、点線は当該個別代表量Ａ１を構成する共分散行列Σ１により得られる、平均ベクトルμ１から３シグマの範囲を示している。また、白抜き矢印は物体内逸脱度ａ５８，１に対応する。白三角はｐ＝１としたときの第５８小区間における物体＃１の特徴量の平均ベクトルμ５８，１であり、一点鎖線は当該第５８小区間における物体＃１の特徴量の共分散行列Σ５８，１により得られる、平均ベクトルμ５８，１から３シグマの範囲を示している。
【００４９】
図４（ａ）は物体特徴量ｆｔ，ｕを１フレームの特徴量とした場合の例であり、Ｎ（μ１，Σ１）と白丸の間のマハラノビス距離（実際には共分散行列Σ１で正規化されている）が物体内逸脱度ａ５８，１となる。
【００５０】
図４（ｂ）は物体特徴量ｆｔ，ｕを移動平均とした場合の例であり、ｆ５８，１＝μ５８，１である。Ｎ（μ１，Σ１）とμ５８，１の間のマハラノビス距離（実際には共分散行列Σ１で正規化されている）が物体内逸脱度ａ５８，１となる。
【００５１】
図４（ｃ）は物体特徴量ｆｔ，ｕを小区間の分布とした場合の例であり、ｆ５８，１＝Ｎ（μ５８，１，Σ５８，１）である。Ｎ（μ１，Σ１）とＮ（μ５８，１，Σ５８，１）の間のバタチャリヤ距離（実際には共分散行列Σ１及びΣ５８，１で正規化されている）が物体内逸脱度ａ５８，１となる。
【００５２】
さらに処理速度を優先する別の実施形態においては、分散による正規化を省くこともできる。この場合、物体ｕの個別代表量Ａｕを当該物体ｕの出現区間における物体特徴量ｆｔ，ｕの平均値とし、当該物体ｕの各物体特徴量ｆｔ，ｕとその平均値との間のユークリッド距離を物体内逸脱度ａｔ，ｕとして算出する。なお上述したように、平均値の代わりに最頻値または中央値などを用いることもできる。
【００５３】
また別の実施形態においては物体特徴量ｆｔ，ｕを小区間における特徴量の分散、個別代表量Ａｕを出現区間における特徴量の分散とし、これらの分散の間の距離を物体内逸脱度ａｔ，ｕとして算出することもできる。
【００５４】
このように算出される物体内逸脱度は物体ごとに算出される代表特徴量を基準としているため、各物体の動きや外見が一時的に変化したフレームにおいて高い物体内逸脱度が算出され、当該物体が専らとっていた動きや外見が現れているフレームには低い物体内逸脱度が算出される。例えば、大多数の人物が歩いている中で小走りしていた特定人物が一時的に速度を落とすという監視映像２２においては、特定人物が一時的に速度を落としたフレームに高い物体内逸脱度が算出され、小走りしていたフレームには低い物体内逸脱度が算出される。
【００５５】
物体間逸脱度算出部３５１は、監視映像２２内で追跡された複数の移動物体の物体特徴量ｆｔ，ｕを統計分析して集団代表量Ｂを算出し、物体ｕごとの個別代表量Ａｕの集団代表量Ｂからの距離ｂｕを物体間逸脱度として算出する。物体間逸脱度の算出に２７次元の物体特徴量をそのまま用いることもできるが、本実施形態ではそのうち図３に示す第１〜１１次成分を物体間逸脱度の算出に用いる。エッジ特徴や色特徴を大局的に分析した全身エッジ特徴、全身色特徴はフレーム単位の細かな変化に左右されにくい一方で、特異な服装など人物間の違いを比較しやすいため物体間逸脱度の元データとして適している。また、物体位置は特異な位置からの入場・退場、特異なエリアへの移動など人物間の違いを比較しやすいため物体間逸脱度の元データとして適している。
【００５６】
集団代表量Ｂは追跡された全物体の物体特徴量ｆｔ，ｕの分布を近似した分布関数とすることができる。具体的には、分布関数として正規分布関数を用いる。全物体の物体特徴量ｆｔ，ｕの平均ベクトルμと共分散行列Σを算出し、これらを正規分布関数に適用して集団代表量ＢをＢ＝Ｎ（μ，Σ）と定める。物体間逸脱度の算出に用いる個別代表量Ａｕは物体内逸脱度算出部３５０における処理と同様にして算出する。但し、算出対象が第１〜１１次成分である点が物体内逸脱度の算出の場合と異なる。
【００５７】
物体ｕの物体間逸脱度ｂｕは集団代表量Ｂと当該物体の個別代表量Ａｕとのバタチャリヤ距離として算出できる。なお、バタチャリヤ距離に代えてカルバックライブラー距離、Hellinger距離など公知の各種分布間距離尺度を用いることも可能である。
【００５８】
重要度の算出処理速度を優先する別の実施形態においては、個別代表量Ａｕを上記平均ベクトルμｕで代表させ、物体ｕの物体間逸脱度ｂｕを集団代表量Ｂと当該物体の個別代表量Ａｕとのマハラノビス距離として算出する。
【００５９】
さらに処理速度を優先する別の実施形態においては、分散による正規化を省くこともできる。この場合、集団代表量Ｂを全物体特徴量ｆｔ，ｕの平均ベクトルμ、物体ｕの個別代表量Ａｕを当該物体ｕの出現区間における物体特徴量ｆｔ，ｕの平均ベクトルμｕとし、全物体特徴量ｆｔ，ｕの平均ベクトルμと各物体ｕの各物体特徴量ｆｔ，ｕの平均ベクトルμｕとの間のユークリッド距離を当該物体ｕの物体間逸脱度ｂｕとして算出する。なお平均値の代わりに最頻値または中央値などを用いることもできる。
【００６０】
また別の実施形態においては、集団代表量Ｂを上記分散Σ、個別代表量Ａｕを上記分散Σｕとし、これら分散の間の距離を物体間逸脱度ｂｕとして算出することもできる。
【００６１】
このように算出される物体間逸脱度は監視映像２２全体から算出される集団代表量を基準としているため、大多数の物体とは動きや外見が異なる物体に対して高い物体間逸脱度が算出され、大多数の物体と動きや外見が似ている物体に対して低い物体間逸脱度が算出される。例えば、大多数の人物が歩いている中で小走りしていた特定人物が一時的に速度を落とす上述の例では、小走りしていたこの特定人物に対して高い物体間逸脱度が算出され、歩いている大多数の人物には低い物体間逸脱度が算出される。
【００６２】
逸脱度合成部３５２はフレームごとに物体内逸脱度と物体間逸脱度とに応じて当該フレームの重要度を算出する。具体的には次式に基づいて、フレームｔごとに物体内逸脱度ａｔ，ｕと物体間逸脱度ｂｕを重み付け加算して当該フレームの重要度ｃｔを算出する。なお（５）式の総和演算ではフレームｔ内の移動物体の集合Ｕ（ｔ）に属する全ての移動物体ｕについての逸脱度が合算される。
【００６３】
【数５】
【００６４】
ここでλは物体内逸脱度と物体間逸脱度との重み調整用のパラメータであり、０≦λ≦１なる範囲で設定される。例えば０．５に設定すればよい。
【００６５】
別の実施形態において逸脱度合成部３５２はフレームｔごとに当該フレーム内の全ての移動物体の物体内逸脱度ａｔ，ｕ及び物体間逸脱度ｂｕのうちの最大値を当該フレームの重要度ｃｔとして算出してもよい。この場合の重要度ｃｔは次式で表される。（６）式の重要度ｃｔは（５）式と異なりフレーム内の移動物体の数に影響されないので、人数が少ないシーンでも追跡物体内のフレームごとの逸脱度合が高い箇所が優先的に選択されることになる。
【００６６】
【数６】
【００６７】
図５は物体内逸脱度、物体間逸脱度及び重要度の一例を示す説明図であり、図２に示した例に対応しており、監視映像２２にて３つの物体＃１〜＃３について追跡フレームが存在する。データ６０１は物体＃１〜＃３について算出された物体内逸脱度の例であり、物体＃１の物体内逸脱度はその出現区間である第５６フレーム〜第６１フレームに対して算出され、その値は１．０，１．５，５．６，２．０，１．８，１．０である。物体＃２の物体内逸脱度はその出現区間である第５８フレーム〜第６５フレームにおいて算出され、その値は１．２，３．４，３．０，４．５，５．２，２．６，２．０，１．７である。また、物体＃３の物体内逸脱度はその出現区間である第１１２フレーム〜第１１６フレームに対して算出され、その値は１．１，１．５，１．７，１．５，１．２である。なお、物体が検出されなかった第６６フレーム〜第１１１フレームに対しては物体内逸脱度が算出されない。
【００６８】
データ６０２は物体＃１〜＃３について算出された物体間逸脱度の例であり、物体＃１の物体間逸脱度は２．０、物体＃２の物体間逸脱度は２．２、物体＃３の物体間逸脱度は４．９である。
【００６９】
データ６０３は（５）式によりデータ６０１の物体内逸脱度とデータ６０２の物体間逸脱度を合成した重要度の例である。第５６フレーム〜第６５フレームに対する重要度は１．５，１．７５，５．５，４．８，４．５，４．８５，３．７，２．４，２．１，１．９５と算出され、第１１２フレーム〜第１１６フレームに対する重要度は３．０，３．２，３．３，３．２，３．０５と算出された。
【００７０】
例えば第５８フレームに関しては、ａ５８，１＝５．６，ｂ１＝２．０，ａ５８，２＝１．２，ｂ２＝２．２であり、これらをλ＝０．５とした（５）式に適用して、ｃ５８＝｛（１−０．５）×５．６＋０．５×２．０＋（１−０．５）×１．２＋０．５×２．２｝＝５．５と算出される。また、（５）式に代えて（６）式を用いた場合はｃ５８＝ｍａｘ｛５．６，２．０，１．２，２．２｝＝５．６となる。
【００７１】
図５に示す例において、物体＃１，＃２の物体間逸脱度は低めであるため、これらの物体の出現区間全体が特異なシーンであるとは判定できない。しかし、物体＃１の物体内逸脱度は第５８フレームで高くなっており、また物体＃２の物体内逸脱度は第５９フレーム〜第６２フレームで高くなっている。このことから、それぞれの物体の出現区間を構成する幾つかのフレームに対して特異なシーンを判定できることが分かる。つまり物体＃１，＃２に対しては物体内逸脱度が重要シーンを判定するために有効であることが分かる。
【００７２】
一方、物体＃３の物体内逸脱度は第１１２フレーム〜第１１６フレームのいずれにおいても低めであるが、物体間逸脱度は高くなっている。このことから、物体＃３の出現区間を他の物体の出現区間に照らせば物体＃３の出現区間全体を特異なシーンと判定できることが分かる。つまり物体＃３に対しては物体間逸脱度が重要シーンを判定するために有効であることが分かる。
【００７３】
そして物体内逸脱度と物体間逸脱度を合成した重要度では、物体＃１が特異である第５８フレーム、物体＃２が特異である第５９フレーム〜第６２フレーム、及び物体＃３が特異である第１１２フレーム〜第１１６フレームのそれぞれに高めの値が算出されており、物体間逸脱度による大局的な観点と物体内逸脱度による局所的な観点との両方により漏れの少ない重要シーン判定が可能になる。
【００７４】
逸脱度合成部３５２が生成する、追跡フレーム番号と重要度とを対応付けたデータ６０３は記憶部３１に重要度データ３１１として格納される。
【００７５】
要約映像作成部３６は重要度データ３１１を参照し、監視映像２２の中から重要度が高いフレームを優先して指定フレーム数のフレームを選出することにより当該監視映像を間引いて、当該監視映像の総フレーム数より少なく設定されたフレーム数の要約映像を作成する。そして、作成した要約映像を表示装置４に出力する。ここで、要約映像を撮像時と同じフレーム間隔で順次出力することで、重要度の高い重要シーンは撮像時と同じフレーム間隔で再生され、それ以外のシーンは間引かれているため高速再生される。
【００７６】
具体的には要約映像作成部３６は動的計画法（ＤＰ；Dynamic Programming）を用い、監視映像２２の中から所定範囲内のスキップ数でその重要度の総和が最大となるフレームを選出する。要約映像作成部３６は監視映像２２のうち物体が検出されていないフレームを除き、追跡フレームのみからなる部分に動的計画法を適用する。例えば、図５に例示した第５６フレーム〜第１１６フレームを要約対象の監視映像とすると、これら６１フレームのうち物体が検出されていない第６６フレーム〜第１１１フレームを除いた残り１５フレームに動的計画法が適用される。
【００７７】
その適用に際しては、最小スキップ数は０、一方、最大スキップ数は（総追跡フレーム数÷指定フレーム数×α−１）に設定することができる。αは全ての選択が最大スキップ数で行なわれないようにするための調整値でα＞１である。例えばα＝２とすることができる。例えば、上述した総追跡フレーム数が１５フレームの例で指定フレーム数を１０フレームとした場合、最大スキップ数は１５÷１０×２−１＝２フレームとなる。
【００７８】
スキップ数の選択範囲は、動的計画法における傾斜制限として規定できる。図６は上述した最大スキップ数が２フレームに設定されるときの傾斜制限を示す模式図であり、横軸が要約映像のフレーム番号に対応し、縦軸が監視映像のフレーム番号に対応している。図６において、白丸は要約映像のフレームと監視映像のフレームの格子点であり、２つの格子点を結ぶ実線は局所パスを表している。スキップ数の選択範囲が０，１，２となることに対応し、要約映像のフレーム番号が１増加するときに監視映像２２のフレーム番号の増加数が１，２，３である局所パスが設定される。
【００７９】
局所パスにより接続される格子点に対応する監視映像２２のフレームの重要度が当該局所パスを選択するときのコストに相当する。要約映像作成部３６は動的計画法により選択された局所パスと対応してそのコストを累積する。指定フレーム数の各格子点を結ぶパスに沿って累積されたコストが重要度の総和であり、要約映像作成部３６はそれぞれが局所パスを組み合わせてなる複数のパスのうち、当該コストの累積値を最大にするパスを求める。
【００８０】
ここで、要約映像において移動物体が画像内の様々な位置から登場したり消失したりするとこれを目で追う監視員に大きなストレスがかかる。そこで、各物体の出現区間の始端フレーム及び終端フレームをその重要度とは関係なく強制選択して要約映像を作成する。動的計画法を用いる場合、各物体の出現区間の始端フレーム及び終端フレームをまたぐ局所パスの選択を禁止することでこの制御を実現できる。こうすることで要約映像中において各移動物体が実際の出現位置から登場し実際の退場位置から消失するので、監視員のストレスを軽減することができる。
【００８１】
図７は上述した監視映像２２の例及び動的計画法の設定例のもとで動的計画法が選択し得る格子点と局所パスを示すグラフである。縦軸は監視映像２２における追跡フレーム番号、横軸は作成する要約映像のフレーム番号に当たる。白丸及び黒丸は選択し得る格子点であり、そのうち黒丸は強制選択される格子点である。また、丸と丸を結ぶ線は図６の傾斜制限と強制選択の拘束条件のもとで選択し得る局所パスである。さらにコストが最大となるという条件を課すことにより、この例では、図７にて太線で示すパスが選択され、要約映像の第１〜１０フレームとして監視映像２２の第５６，５８，５９，６０，６１，６３，６５，１１２，１１４，１１６フレームがそれぞれ選出される。
【００８２】
動的計画法を用いると最大フレーム間隔以内で連続性のある要約映像が作成され、重要度が高いフレームのみならずその間の「つなぎ」のフレームが適度に選択されるので、要約映像中に次々と登場する移動物体を目で追う監視員へのストレスを軽減可能な要約映像を作成することができる。
【００８３】
表示装置４は信号処理部３２から入力される要約映像を表示する液晶ディスプレイ又はＣＲＴ（Cathode Ray Tube）ディスプレイ等である。ユーザーは表示装置４に再生表示される要約映像を見ることにより監視映像２２を早見することができる。
【００８４】
次に映像処理装置１の動作について映像要約装置３の動作を中心に説明する。撮像部２０は予め設定されたフレーム間隔で監視空間を撮像して、監視映像２２を録画部２１へ出力する。録画部２１は監視映像２２を記録する。図８は映像要約装置３の動作を説明する概略のフロー図である。ユーザーは設定入力部３０を用いて要約対象とする監視映像２２を指定し、また指定フレーム数を入力する（Ｓ１）。
【００８５】
信号処理部３２はステップＳ１にて指定された監視映像２２を録画部２１から読み出す（Ｓ２）。信号処理部３２の物体追跡部３３は、読み出された監視映像２２を処理して当該監視映像２２に撮像されている物体を個々に追跡し、追跡結果を記憶部３１の物体情報３１０に記憶させる（Ｓ３）。また、信号処理部３２の物体特徴抽出部３４は、各物体の追跡フレームそれぞれから当該物体の特徴量を抽出し、抽出された各特徴量を記憶部３１の物体情報３１０に記憶させる（Ｓ４）。そして、信号処理部３２の重要度算出部３５は、物体情報３１０を参照して各追跡フレームに対し、当該フレームに撮像されている物体の行動の特異性を表す重要度を算出する（Ｓ５）。
【００８６】
図９は重要度算出部３５による処理の概略のフロー図である。物体内逸脱度算出部３５０及び物体間逸脱度算出部３５１は、物体ごとにその全追跡フレームの物体特徴量を統計分析することにより各物体の個別代表量を算出し記憶部３１に記憶させる（Ｓ５０）。そして、物体内逸脱度算出部３５０は各物体の追跡フレームごとに、当該追跡フレームにおける当該物体の物体特徴量と当該物体の個別代表量との間の距離を物体内逸脱度として算出し記憶部３１に記憶させる（Ｓ５１）。一方、物体間逸脱度算出部３５１は図８のステップＳ４にて抽出された全ての物体特徴量を統計分析することにより集団代表量を算出する（Ｓ５２）。そして、物体間逸脱度算出部３５１はステップＳ５０にて算出された各物体の個別代表量と集団代表量との間の距離を当該物体の物体間逸脱度として算出し記憶部３１に記憶させる（Ｓ５３）。
【００８７】
逸脱度合成部３５２はステップＳ５１にて算出された物体内逸脱度とステップＳ５３にて算出された物体間逸脱度とを追跡フレームごとに合成して重要度を算出する。重要度算出部３５は算出された重要度を追跡フレーム番号と対応付けて、記憶部３１に重要度データ３１１として記憶させる。なお、このとき重要度算出部３５は追跡フレーム以外のフレームのフレーム番号と重要度の最低値０を対応付けた情報を重要度データ３１１に加えてもよい。
【００８８】
図９に示す重要度算出部３５による処理が終わると処理は再び図８に戻り、信号処理部３２の要約映像作成部３６が、動的計画法を用いて重要度を最大化する指定フレーム数の要約映像を作成する（Ｓ６）。具体的には、要約映像作成部３６は、まず総追跡フレーム数を算出し、総追跡フレーム数と指定フレーム数とから最大スキップ数を求めて動的計画法の傾斜制限を設定する。次に要約映像作成部３６は重要度データ３１１に基づいて追跡フレームのフレーム番号系列を作成し、動的計画法を用いて当該系列中のフレームから傾斜制限の範囲内で指定フレーム数と同数の部分系列を作成して、系列を構成する追跡フレームの重要度の総和が最大となるような部分系列を選び出す。ただし部分系列の作成にあたり、各物体の出現区間の始端フレーム及び終端フレームは強制的に部分系列に組み込む。重要度の総和が最大となるような選び出された部分系列は要約映像を構成するフレームが監視映像２２のフレーム番号で表現されたものとなっている。要約映像作成部３６は選び出された部分系列が示すフレームを監視映像２２から抜き出して時系列順に並べることで要約映像を作成し、記憶部３１に記憶させる。
【００８９】
要約映像作成部３６は、記憶部３１に記憶させた要約映像を撮像時のフレーム間隔で順次表示装置４に出力することで要約映像を再生する（Ｓ７）。
【００９０】
上述の実施形態では重要度算出部３５は物体内逸脱度と物体間逸脱度から重要度を定めたが、物体内逸脱度のみから重要度を算出してもよい。また、物体内逸脱度と物体間逸脱度とを合成した重要度と物体内逸脱度のみから算出した重要度とのいずれかをユーザーに選択させて、選択された方法で重要度を算出してもよい。
【００９１】
要約映像作成部３６は監視映像２２の先頭フレームから順次重要度を累積して累積値が閾値Ｔ２に達したときのフレームを要約映像のフレームとして選択し、１つのフレームが選択されると累積値を閾値Ｔ２だけ減じる処理または累積値を０リセットする処理をした後、同様の重要度累積を開始して次のフレームを選択するという処理を、監視映像２２の終端フレームまで繰り返すことにより要約映像を作成してもよい。このときの閾値Ｔ２は（監視映像２２の全フレームに対する重要度の和÷指定フレーム数）と設定することができる。この処理方法によれば、動的計画法を用いる場合と比べて計算量が削減される。
【００９２】
また、各物体の出現区間の始端フレーム及び終端フレームのいずれか一方のみを強制的に要約映像に組み込む構成としてもよい。
【００９３】
また、要約映像作成部３６は重要度が高い順に指定フレーム数と同数のフレームを選出して選出したフレームをフレーム番号順に並べることにより要約映像を作成してもよい。または、各フレームの重要度に対して一律の閾値Ｔ３を適用して重要度が閾値Ｔ３を超えたフレームを並べることにより要約映像を作成することもできる。この場合、閾値Ｔ３を順次増加または減少させて指定フレーム数の要約映像となるよう調整することができる。なお、これらの構成では、いずれも要約映像に「つなぎ」が入らない分、要約映像における重要シーンの密度が高くなる。この点で、熟練ユーザーに好適であると言える。
【００９４】
上記映像処理装置１は監視映像２２から作成された要約映像で録画部２１に記憶されている当該監視映像を置き換えることもできる。こうすることで監視価値の高いフレームを残し監視価値の低いフレームが削除されるので監視映像２２の監視価値を一定に保ちながら、録画部２１のデータ量を削減できる。
【００９５】
また、上記実施形態において重要度算出部３５は移動物体それぞれの出現区間全体を統計分析して個別特徴量を算出したが、出現区間の一部区間を統計分析してもよい。例えば、監視映像２２内に予め設定したエリア内にて追跡された区間だけを統計分析の対象とすることができる。
【００９６】
また、上記実施形態において重要度算出部３５は全移動物体を統計分析して集団特徴量を算出したが、一部の移動物体を統計分析してもよい。例えば、監視映像２２の撮像時間帯を分けて各時間帯に追跡された移動物体だけを統計分析の対象とすることができる。
【符号の説明】
【００９７】
１ 映像処理装置、２ 映像記録装置、３ 映像要約装置、４ 表示装置、２０ 撮像部、２１ 録画部、３０ 設定入力部、３１ 記憶部、３２ 信号処理部、３３ 物体追跡部、３４ 物体特徴抽出部、３５ 重要度算出部、３６ 要約映像作成部、３１０ 物体情報、３１１ 重要度データ、３５０ 物体内逸脱度算出部、３５１ 物体間逸脱度算出部、３５２ 逸脱度合成部。
【特許請求の範囲】
【請求項１】
複数フレームからなる監視映像において注視すべきフレームの情報を生成する映像処理装置であって、
前記監視映像を記憶する記憶部と、
画像解析により前記監視映像中の移動物体の物体像を追跡し、前記移動物体が追跡された追跡フレームと当該移動物体の前記物体像の対応情報を生成する物体追跡部と、
前記物体像から前記移動物体の動き又は／及び外見の特徴量を抽出する物体特徴抽出部と、
前記特徴量を前記移動物体ごとに統計分析して当該特徴量の分布を代表する個別代表量を求め、前記各移動物体の前記個別代表量と当該移動物体の前記追跡フレームごとの前記特徴量との距離である第１距離を算出して当該第１距離が大きな前記追跡フレームほど高い監視価値を算出する監視価値算出部と、
を備えたことを特徴とする映像処理装置。
【請求項２】
請求項１に記載の映像処理装置において、
前記監視価値算出部は、前記物体追跡部により追跡された複数の前記移動物体の前記特徴量を統計分析して当該特徴量を代表する集団代表量を求め、前記集団代表量と前記各移動物体の前記個別代表量との距離である第２距離を算出して、前記各追跡フレームにおける前記移動物体の前記第１距離及び当該追跡フレームにて追跡された移動物体の前記第２距離に応じて前記監視価値を算出すること、を特徴とする映像処理装置。
【請求項３】
請求項１又は請求項２に記載の映像処理装置において、さらに、
前記監視映像から前記監視価値が高い前記追跡フレームほど優先して選出することにより当該監視映像を間引いて、当該監視映像の総フレーム数より少なく設定されたフレーム数の要約映像を作成する要約映像作成部を有すること、を特徴とする映像処理装置。
【請求項４】
請求項３に記載の映像処理装置において、
前記要約映像作成部は、前記各移動物体の一連の前記追跡フレームのうち始端フレームと終端フレームとの予め定められた少なくとも一方をそれらの前記監視価値に関係なく選出すること、を特徴とする映像処理装置。
【請求項５】
請求項３又は請求項４に記載の映像処理装置において、
前記要約映像作成部は、動的計画法を用い、前記要約映像を構成する前記追跡フレームの前記監視価値の総和を最大化すること、を特徴とする映像処理装置。
【請求項１】
複数フレームからなる監視映像において注視すべきフレームの情報を生成する映像処理装置であって、
前記監視映像を記憶する記憶部と、
画像解析により前記監視映像中の移動物体の物体像を追跡し、前記移動物体が追跡された追跡フレームと当該移動物体の前記物体像の対応情報を生成する物体追跡部と、
前記物体像から前記移動物体の動き又は／及び外見の特徴量を抽出する物体特徴抽出部と、
前記特徴量を前記移動物体ごとに統計分析して当該特徴量の分布を代表する個別代表量を求め、前記各移動物体の前記個別代表量と当該移動物体の前記追跡フレームごとの前記特徴量との距離である第１距離を算出して当該第１距離が大きな前記追跡フレームほど高い監視価値を算出する監視価値算出部と、
を備えたことを特徴とする映像処理装置。
【請求項２】
請求項１に記載の映像処理装置において、
前記監視価値算出部は、前記物体追跡部により追跡された複数の前記移動物体の前記特徴量を統計分析して当該特徴量を代表する集団代表量を求め、前記集団代表量と前記各移動物体の前記個別代表量との距離である第２距離を算出して、前記各追跡フレームにおける前記移動物体の前記第１距離及び当該追跡フレームにて追跡された移動物体の前記第２距離に応じて前記監視価値を算出すること、を特徴とする映像処理装置。
【請求項３】
請求項１又は請求項２に記載の映像処理装置において、さらに、
前記監視映像から前記監視価値が高い前記追跡フレームほど優先して選出することにより当該監視映像を間引いて、当該監視映像の総フレーム数より少なく設定されたフレーム数の要約映像を作成する要約映像作成部を有すること、を特徴とする映像処理装置。
【請求項４】
請求項３に記載の映像処理装置において、
前記要約映像作成部は、前記各移動物体の一連の前記追跡フレームのうち始端フレームと終端フレームとの予め定められた少なくとも一方をそれらの前記監視価値に関係なく選出すること、を特徴とする映像処理装置。
【請求項５】
請求項３又は請求項４に記載の映像処理装置において、
前記要約映像作成部は、動的計画法を用い、前記要約映像を構成する前記追跡フレームの前記監視価値の総和を最大化すること、を特徴とする映像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−２０５０９７（Ｐ２０１２−２０５０９７Ａ）
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願番号】特願２０１１−６８１０３（Ｐ２０１１−６８１０３）
【出願日】平成２３年３月２５日（２０１１．３．２５）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願日】平成２３年３月２５日（２０１１．３．２５）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
[ Back to top ]