監視記録装置及び監視記録方法
【課題】常に正面顔が検出できない場合でも正確に人物を追跡して登場人物の人数を高精度に検出することのできる監視記録装置及び監視記録方法を提供する。
【解決手段】撮影された映像から人物２１の動き領域を検出し、該動き領域から人物２１の輪郭を検出して楕円形の輪郭を検出すると共に、動き領域から顔候補を検出し、楕円形の輪郭位置と顔候補位置とを統合して顔検出の位置とし、該顔検出の位置情報を用いて連続検出した顔画像が同一人物であれば時系列の顔画像群から顔サイズの変化量を検出し、該変化量が不連続な変化の場合には同一人物判定で検出した時系列の顔画像群を複数人に分類し、その顔画像群に対して保存に適している顔画像をベストショットとして選択し、ベストショット選択顔画像と、動き領域と、顔候補位置と、同一人物の顔画像群を夫々記録媒体１４に保存し、保存した各種情報を検索キーとして人物検索を行う。
【解決手段】撮影された映像から人物２１の動き領域を検出し、該動き領域から人物２１の輪郭を検出して楕円形の輪郭を検出すると共に、動き領域から顔候補を検出し、楕円形の輪郭位置と顔候補位置とを統合して顔検出の位置とし、該顔検出の位置情報を用いて連続検出した顔画像が同一人物であれば時系列の顔画像群から顔サイズの変化量を検出し、該変化量が不連続な変化の場合には同一人物判定で検出した時系列の顔画像群を複数人に分類し、その顔画像群に対して保存に適している顔画像をベストショットとして選択し、ベストショット選択顔画像と、動き領域と、顔候補位置と、同一人物の顔画像群を夫々記録媒体１４に保存し、保存した各種情報を検索キーとして人物検索を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオカメラ等の映像入力機器を用いて動画映像から人物の動作を監視する監視記録装置及び監視記録方法に関する。
【背景技術】
【０００２】
従来の監視記録装置は、監視映像から人物の顔を検出する場合に標準的な正面顔のテンプレートとのマッチングをとり、最大のマッチングとなったショットの顔画像を保存に適した画像として選択している（例えば、特許文献１参照）。また、別の顔画像の選択方法として、色空間において肌色領域にある画素数の数が最大のものを保存に適した画像として選択している。
【０００３】
【特許文献１】特開２００３−４６９１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の監視記録装置においては、次のような問題がある。すなわち、正面顔のテンプレートのマッチングによる顔検出方法では、人物が常に正面を向いて歩行している場合は問題ないが、横を向いたり、下を向いたりした場合に顔検出が失敗し、顔検出の連続性が途切れてしまう。そして、連続性が途切れると、人物の顔の追跡に失敗して再度正面顔が検出されたときには、新たな人物が登場したものと誤判定してしまい、正確な人物の追跡が困難である。
【０００５】
本発明は、かかる点に鑑みてなされたものであり、人物が常に正面を向いて歩行していない場合でも正確に人物の顔位置を特定して追跡を行い、監視映像に登場した登場人物の人数を正確に検出することのできる監視記録装置及び監視記録方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的は下記構成又は方法により達成される。
（１） 監視記録装置において、対象空間を撮影する撮影手段と、前記撮影手段で撮影された映像から物体の動いている領域を検出する動き領域検出手段と、前記動き領域検出手段で検出された物体の動き領域から該物体の輪郭を検出して楕円形の輪郭を検出する輪郭検出手段と、前記動き領域検出手段で検出された物体の動き領域から顔候補を検出する顔候補検出手段と、前記輪郭検出手段で検出された楕円形の輪郭位置と前記顔候補検出手段で検出された顔候補位置とを統合して顔検出の位置とする輪郭・顔検出結果統合手段と、前記輪郭・顔検出結果統合手段で求めた顔検出の位置の情報を用いて連続検出した顔画像が同一人物か否かを判定する同一人物判定手段と、前記同一人物判定手段で同一人物と判定された時系列の顔画像群から顔サイズの変化量を検出する顔サイズ変化検出手段と、前記顔サイズ変化検出手段で検出された顔サイズの変化量が一定ではなく不連続な変化の場合に前記同一人物判定手段で検出された時系列の顔画像群を複数人に分類する顔画像分類手段と、前記顔画像分類手段で分類された同一人物の顔画像群に対して保存に適している顔画像を選択するベストショット選択手段と、少なくとも前記動き領域検出手段、前記輪郭・顔検出結果統合手段、前記顔画像分類手段及び前記ベストショット選択手段夫々により得られる人物の特徴を表す情報を記録媒体に保存する人物特徴記録手段と、前記人物特徴記録手段で保存された各種人物特徴情報を検索キーとして録画監視映像から人物を検索する人物検索手段と、を備える。
【０００７】
この構成により、監視映像から人物の映っている目的のシーンを高速に検索することができる。また、人物が常に正面を向いて歩行していない場合でも正確に人物の顔位置を特定して追跡を行い、登場人物の人数を正確に検出することができる。
【０００８】
（２） 上記（１）に記載の監視記録装置において、前記顔画像分類手段は、前記顔サイズ変化検出手段で検出された顔サイズ変化量と時系列の顔画像群の時間経過とから前記同一人物判定手段で検出された時系列の顔画像群を複数人に分類する。
【０００９】
この構成により、カメラ正面に向かって人物が近づいてくる場合でも、正確に人物の顔位置を特定して追跡を行い、登場人物の人数を正確に検出することができる。
【００１０】
（３） 上記（１）又は（２）に記載の監視記録装置において、前記人物特徴記録手段は、前記同一人物判定手段と前記顔画像分類手段の結果から監視映像に登場した人物の人数を自動集計して前記記録媒体に保存する。
【００１１】
この構成により、監視映像に登場した人物の人数を自動集計して記録媒体に保存するので、容易に且つ高速に登場人物の人数検索が可能となる。
【００１２】
（４） 監視記録方法において、対象空間を撮影するカメラで撮影された映像から物体の動いている領域である動き領域を検出し、検出した動き領域から前記物体の輪郭を検出して楕円形の輪郭位置を検出すると共に、前記物体の動き領域から顔候補位置を検出し、検出した顔候補位置と前記楕円形の輪郭位置から双方の位置を統合して顔検出の位置を決定し、決定した顔検出の位置を用いて連続検出した顔画像が同一人物か否かを判定し、同一人物である場合には時系列の顔画像群から顔サイズの変化量を検出し、検出した顔サイズの変化量が一定ではなく不連続な変化の場合には前記同一人物判定で検出した時系列の顔画像群を複数人に分類し、分類した同一人物の顔画像群に対して保存に適している顔画像をベストショットとして選択し、さらに、少なくともベストショットで選択した顔画像と、前記動き領域と、前記顔候補位置と、前記同一人物の顔画像群をそれぞれ記録媒体に保存し、保存した各種情報を検索キーとして録画監視映像から人物検索を可能とする。
【００１３】
この方法により、監視映像から人物の映っている目的のシーンを高速に検索することができる。また、人物が常に正面を向いて歩行していない場合でも正確に人物の顔位置を特定して追跡を行い、登場人物の人数を正確に検出することができる。
【発明の効果】
【００１４】
本発明の監視記録装置によれば、監視映像から人物の映っている目的のシーンを高速に検索することができる。また、人物が常に正面を向いて歩行していない場合でも正確に人物の顔位置を特定して追跡を行い、登場人物の人数を正確に検出することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００１６】
（実施の形態１）
図１は、本発明の実施の形態１に係る監視記録装置の概略構成を示すブロック図である。この図において、本実施の形態に係る監視記録装置１は、映像入力部２と、制御部３と、動き領域検出部４と、輪郭検出部５と、顔候補検出部６と、輪郭・顔検出結果統合部７と、同一人物判定部８と、顔サイズ変化検出部９と、顔画像分類部１０と、ベストショット選択部１１と、人物特徴記録部１２と、人物検索部１３と、記録媒体１４とを備えている。
【００１７】
映像入力部２は、対象空間を撮影するビデオカメラ等の映像入力機器である。制御部３は、映像入力部２から入力された映像を各処理部に受け渡し、各処理の制御を行う。動き領域検出部４は、制御部３から受け渡された映像を取り込み、物体の動いている領域を検出する。輪郭検出部５は、動き領域検出部４で検出された物体の動いている領域から、該物体の輪郭を検出して楕円形の輪郭を検出する。顔候補検出部６は、動き領域検出部４で検出された物体の動いている領域から顔候補を検出する。輪郭・顔検出結果統合部７は、輪郭検出部５で検出された楕円形の輪郭位置と顔候補検出部６で検出された顔候補位置とから両方の位置を統合して顔検出の位置を決定する。同一人物判定部８は、輪郭・顔検出結果統合部７で検出された顔検出の位置情報を用いて、連続検出された顔画像が同一人物か他人かを判定する。
【００１８】
顔サイズ変化検出部９は、同一人物判定部８で同一人物と判定された時系列の顔画像群から顔サイズの変化量を検出する。顔画像分類部１０は、顔サイズ変化検出部９で検出された顔サイズの変化量が一定ではなく不連続な変化の場合に、同一人物判定部８で検出された時系列の顔画像群を複数人に分類する。ベストショット選択部１１は、顔画像分類部１０で決定された同一人物の顔画像群に対して、保存に適している顔画像を選択する。人物特徴記録部１２は、動き領域検出部４、輪郭・顔検出結果統合部７、同一人物判定部８、顔画像分類部１０、ベストショット選択部１１夫々から出力された情報を記録媒体１４に保存する。人物検索部１３は、人物特徴記録部１２で保存処理された各種人物特徴情報を検索キーとして録画監視映像から人物を検索する。
【００１９】
以上のように構成された監視記録装置について、図２〜図９を用いてその動作を説明する。最初に、映像入力部２で撮影された監視映像が制御部３に入力される。制御部３は、現在入力された監視画像と微小時間前に入力された監視画像及び時刻情報を動き領域検出部４に転送する。図２は、監視映像から顔画像候補を検出する動作を説明するための図である。この図において、動き領域検出部４は、微小時間前に入力された監視画像と現在入力された監視画像とで対応する画素同士差分をとり、差分画像を作成する（フレーム間差分）。なお、この差分画像の作成方法はこの他にも背景画像から差分を取って作成（背景差分）してもよいし、フレーム間差分と背景差分を組合せて作成してもよい。この差分画像の存在範囲をラベリングや垂直方向及び水平方向に投影したヒストグラム算出等の手法から検出を行い、図２の監視映像画面２０中から人物２１の動いている領域である動き領域２２を検出する。
【００２０】
輪郭検出部５は、図３（輪郭画像を説明するための図）に示すように、差分画像に対して細線化を行い、動いている人物の輪郭３０を抽出して輪郭画像３１を作成する。そして、作成した輪郭画像３１から顔（頭部）の輪郭候補を検出する。顔（頭部）の輪郭は一般的に楕円形をしているため、楕円ハフ検出方法を用いて輪郭画像３１から予め設定した顔（頭部）のサイズの楕円位置を特定して、顔（頭部）検出領域２３（図２参照）を検出する。顔候補検出部６は、動き領域２２から一般的な顔特徴による顔検出を行う。具体的には、目、鼻、口といった顔パーツのテンプレートマッチングによる顔検出や、様々な濃淡特徴の強・弱分類器によって顔候補を絞り込んで行くブースティング（Boosting）顔検出等の手法を用いて顔候補を検出する。人物２１が比較的正面を向いている場合は、顔候補検出部６からも顔検出領域２３が検出される。
【００２１】
輪郭・顔検出結果統合部７は、輪郭検出部５で検出された顔（頭部）の輪郭候補と顔候補検出部６で検出された顔候補の検出結果を統合して最終的な顔検出候補を出力する。輪郭検出部５で検出された顔（頭部）の輪郭候補は、横向き・後向きの頭部も検出できる特徴があり、顔候補検出部６で検出された顔候補は検出位置精度が高く、縦方向に人が重なっている場合でも同時に顔を検出できるという特徴がある。そこで、この両者の特徴を引き出すため、次の４通りの出力方法を行う。
【００２２】
（１）輪郭候補のみ検出の場合
図４の顔（頭部）の輪郭候補領域４０は、輪郭検出部５で顔（頭部）４１の輪郭候補を出力した結果である。この場合は、顔（頭部）の輪郭候補領域４０を最終出力として出力する。
【００２３】
（２）顔候補のみ検出の場合
図５に示す顔候補領域５０は、顔候補検出部６で顔５１の顔候補を出力した結果である。この場合は、顔候補領域５０を最終出力として出力する。
【００２４】
（３）輪郭候補及び顔候補共に検出且つ輪郭候補領域と顔候補領域が互いに重なり合わない場合
図６に示す顔（頭部）の輪郭候補領域６０は、輪郭検出部５で顔（頭部）６１の輪郭候補を出力した結果である。顔候補領域６２は、顔候補検出部６で顔６３の顔候補を出力した結果である。この場合は、顔（頭部）の輪郭候補領域６０と顔候補領域６２を最終出力として出力する。
【００２５】
（４）輪郭候補及び顔候補共に検出且つ輪郭候補領域と顔候補領域が互いに重なり合う場合
図７に示す顔（頭部）の輪郭候補領域７０は、輪郭検出部５で顔７２の輪郭候補を出力した結果である。顔候補領域７１は、顔候補検出部６で顔７２の顔候補を出力した結果である。この場合は、顔候補領域７１を最終出力として出力する。
【００２６】
上記出力方法により、人物の顔が正面を向いていない場合でも、（１）又は（３）の出力方法で顔検出位置が特定されるため、途中で途切れることが少なく、高精度の顔追跡が可能になる。
【００２７】
次に、同一人物判定部８は、輪郭・顔検出結果統合部７で検出された現在の顔候補領域と微小時間Δｔ前に検出した顔候補領域の位置の対応をとり、現在検出した顔画像と微小時間Δｔ前に検出した顔画像とが同一人物の顔画像であるかそれとも他人であるかを判定する。具体的に図８を用いて説明する。時刻Ｔ＋Δｔの顔候補領域８１と時刻Ｔの顔候補領域８０は、顔候補領域の中心位置間の距離も小さく、領域同士の重複度合いも高いため、同一人物であると判定する。同様に時刻Ｔ＋２Δｔの顔候補領域８２と時刻Ｔ＋Δｔの顔候補領域８１、時刻Ｔ＋３Δｔの顔候補領域８３と時刻Ｔ＋２Δｔの顔候補領域８２、時刻Ｔ＋４Δｔの顔候補領域８４と時刻Ｔ＋３Δｔの顔候補領域８３、時刻Ｔ＋５Δｔの顔候補領域８５と時刻Ｔ＋４Δｔの顔候補領域８４が同一人物と判定され、８０〜８５までの顔候補領域が同一人物の顔画像群８７として出力する。
【００２８】
顔サイズ変化検出部９は、同一人物判定部８で同一人物に分類された顔検出画像について、顔サイズの時間方向変化を検出する。人物が移動する場合、微小時間Δｔの間に顔サイズが著しく変動することは極めて稀なため、大きな変動を検出した場合、画面上に新たな人物が登場したと判断する。特にカメラ正面に向かって人物が近づいてくる場合は、微小時間の顔中心位置の変化が小さく、顔中心位置のみの追跡では、同一人物の判定を誤る危険性がある。このため、顔画像分類部１０は、微小時間Δｔの間に顔サイズが著しく変動した場合に、その前後において同一人物判定部８が出力した同一人物の顔画像群８７を分割して２人の顔画像群にする。具体的に図９を用いて説明する。同一人物判定部８では、時刻Ｔの顔候補領域９０から時刻Ｔ＋５Δｔの顔候補領域９５までの顔画像群９８が出力される。しかし、時刻Ｔ＋３Δｔまでの顔候補領域の顔サイズ変化は緩やかに増加しているのに対して、時刻Ｔ＋３Δｔの顔候補領域と時刻Ｔ＋４Δｔの顔候補領域の顔サイズ変化が急激に減少に転じている。このため、時刻Ｔ＋３Δｔの人物と時刻Ｔ＋４Δｔの人物は同一人物ではないと判定し、９０〜９３を人物Ａ９６の顔画像群９９−ａ、９４〜９５を人物Ｂ９７の顔画像群９９−ｂとする。これにより、２人を１人と誤判定して人物の検出漏れの発生を回避できる。
【００２９】
ベストショット選択部１１は、顔画像分類部１０が出力した同一人物の顔画像群の顔画像を比較して、顔画像のサイズ、コントラスト、顔の向き等を考慮して条件のよいものを検出し、最終的に最も保存に適した顔画像１枚を選択する。人物特徴記録部１２は、随時出力される情報、例えば動き領域検出部４で出力される動き領域（図２の２２）の矩形位置情報、輪郭・顔検出結果統合部７で出力される顔候補領域（図４の４０、図５の５０、図６の６０及び６２、図７の７１）の矩形位置情報、顔画像分類部１０で出力される同一人物の顔画像群（図８の８７）、ベストショット選択部１１で検出された保存に適した顔画像、図２の人物２１の監視映像画面２０への登場時刻及び退場時刻、人物２１の移動方向等を記録媒体１４に保存する。
【００３０】
人物検索部１３は、人物特徴記録部１２で録画中に記録された各種情報を用いて、録画後又は録画中に監視映像に登場した人物の検索を行う。例えばベストショット選択部１１では同一人物に対して１枚保存に適した画像を記録しているので、ベストショット顔画像の一覧を表示することで容易に且つ高速に人物の検索が可能になる。また、時刻による検索、移動方向による検索等の条件を絞った検索も可能になる。
【００３１】
このように、本実施の形態に係る監視記録装置によれば、映像入力部２で撮影された映像から人物２１の動き領域を検出し、検出した動き領域から人物２１の輪郭を検出して楕円形の輪郭を検出すると共に動き領域から顔候補を検出し、楕円形の輪郭位置と顔候補位置とから双方の位置を統合して顔検出の位置を決定し、決定した顔検出の位置情報を用いて連続検出した顔画像が同一人物か否かを判定し、同一人物であれば時系列の顔画像群から顔サイズの変化量を検出し、該変化量が不連続な変化の場合には同一人物判定で検出した時系列の顔画像群を複数人に分類し、分類した同一人物の顔画像群に対して保存に適している顔画像をベストショットとして選択し、このベストショットで選択した顔画像と、動き領域と、顔候補位置と、同一人物の顔画像群をそれぞれ記録媒体に保存し、保存した各種情報を検索キーとして録画監視映像から人物検索を可能としたので、監視映像から人物２１の映っている目的のシーンを高速に検索することができる。また、人物が常に正面を向いて歩行していない場合でも正確に人物の顔位置を特定して追跡を行い、登場人物の人数を正確に検出することができる。
【００３２】
（実施の形態２）
次に、本発明の実施の形態２に係る監視記録装置について説明する。本実施の形態の監視記録装置は、上述した実施の形態１の監視記録装置と同様の構成を採るので図１を援用する。また、動作については顔画像分類部１０における判定に違いがある以外は実施の形態１の監視記録装置と同様であるので、その違いについてのみ説明することとする。
【００３３】
図１０を参照して顔画像分類部１０における判定方法について説明する。顔画像分類部１０は、顔サイズの変化と経過時間から同一人物判定部８が出力した同一人物の顔画像群８７を分割して２人の顔画像群にする。同一人物判定部８では、時刻Ｔ０で顔サイズＬ０の顔候補領域１００から時刻Ｔ５で顔サイズＬ５の顔候補領域１０５までの顔画像群１０８を出力する。ここで、評価値Ｖiを式（１）で定義する。
Ｖi ＝ (Ｌi+1−Ｌi)×(Ｔi+1−Ｔi) ・・・（１）
但し、i = 0, 1, 2,…
【００３４】
この評価値Ｖiは、隣り合う顔候補領域の顔サイズの変化量が大きく、且つ、隣り合う顔候補領域の検出時刻の間隔が大きい場合に絶対値が大きくなる。顔サイズが急激に変化した場合や隣り合う検出時刻の間隔が大きい場合は、同一人物の可能性が低下する。そこで、この評価値Ｖiの絶対値が予め定めた閾値よりも大きい場合に同一人物ではないと判定し、０からｉまでの顔画像群とｉ＋１以降の顔画像群に分類を行う。図１０の場合は、Ｔ４−Ｔ３＞Ｔ３−Ｔ２, Ｔ４−Ｔ３＞Ｔ５−Ｔ４という条件の場合、顔候補領域１０３と顔候補領域１０４の顔サイズ変化量が大きいので、式（１）の評価値Ｖ(i=3)の絶対値が大きくなり、１００〜１０３の顔候補領域を人物Ａ１０６の顔画像群１０９−ａ、１０４〜１０５の顔候補領域を人物Ｂ１０７の顔画像群１０９−ｂに分類する。
【００３５】
このように、本実施の形態に係る監視記録装置によれば、顔画像分類部１０が、顔サイズ変化検出部９で検出された顔サイズ変化量と時系列の顔画像群の時間経過から同一人物判定部８で検出された時系列の顔画像群を複数人に分類するので、カメラ正面に向かって人物が近づいてくる場合でも正確に人物の顔位置を特定して追跡を行い、登場人物の人数を正確に検出することができる。
【産業上の利用可能性】
【００３６】
本発明は、人物が常に正面を向いて歩行していない場合でも正確に人物の顔位置を特定して追跡を行い、登場人物の人数を正確に検出することができるといった効果を有し、カメラを用いた監視記録システムなどへの適用が可能である。
【図面の簡単な説明】
【００３７】
【図１】本発明の実施の形態１に係る監視記録装置の概略構成を示すブロック図
【図２】本発明の実施の形態１に係る監視記録装置における監視映像から顔画像候補を検出する動作を説明するための図
【図３】本発明の実施の形態１に係る監視記録装置の輪郭検出部において検出される輪郭画像を説明するための図
【図４】本発明の実施の形態１に係る監視記録装置の輪郭・顔検出結果統合部における輪郭候補のみ検出した場合の統合結果出力方法を説明するための図
【図５】本発明の実施の形態１に係る監視記録装置の輪郭・顔検出結果統合部における顔候補のみ検出した場合の統合結果出力方法を説明するための図
【図６】本発明の実施の形態１に係る監視記録装置の輪郭・顔検出結果統合部における輪郭候補領域と顔候補領域が互いに重なり合わない場合の統合結果出力方法を説明するための図
【図７】本発明の実施の形態１に係る監視記録装置の輪郭・顔検出結果統合部における輪郭候補領域と顔候補領域が互いに重なり合う場合の統合結果出力方法を説明するための図
【図８】本発明の実施の形態１に係る監視記録装置の同一人物判定部における同一人物の顔画像群を説明するための図
【図９】本発明の実施の形態１に係る監視記録装置の顔画像分類部における顔サイズ変化から顔画像群の分類を行う方法を説明するための図
【図１０】本発明の実施の形態２に係る監視記録装置の顔画像分類部における顔サイズ変化と時間経過から顔画像群の分類を行う方法を説明するための図
【符号の説明】
【００３８】
１ 監視記録装置
２ 映像入力部
３ 制御部
４ 動き領域検出部
５ 輪郭検出部
６ 顔候補検出部
７ 輪郭・顔検出結果統合部
８ 同一人物判定部
９ 顔サイズ変化検出部
１０ 顔画像分類
１１ ベストショット選択部
１２ 人物特徴記録部
１３ 人物検索部
１４ 記録媒体
【技術分野】
【０００１】
本発明は、ビデオカメラ等の映像入力機器を用いて動画映像から人物の動作を監視する監視記録装置及び監視記録方法に関する。
【背景技術】
【０００２】
従来の監視記録装置は、監視映像から人物の顔を検出する場合に標準的な正面顔のテンプレートとのマッチングをとり、最大のマッチングとなったショットの顔画像を保存に適した画像として選択している（例えば、特許文献１参照）。また、別の顔画像の選択方法として、色空間において肌色領域にある画素数の数が最大のものを保存に適した画像として選択している。
【０００３】
【特許文献１】特開２００３−４６９１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の監視記録装置においては、次のような問題がある。すなわち、正面顔のテンプレートのマッチングによる顔検出方法では、人物が常に正面を向いて歩行している場合は問題ないが、横を向いたり、下を向いたりした場合に顔検出が失敗し、顔検出の連続性が途切れてしまう。そして、連続性が途切れると、人物の顔の追跡に失敗して再度正面顔が検出されたときには、新たな人物が登場したものと誤判定してしまい、正確な人物の追跡が困難である。
【０００５】
本発明は、かかる点に鑑みてなされたものであり、人物が常に正面を向いて歩行していない場合でも正確に人物の顔位置を特定して追跡を行い、監視映像に登場した登場人物の人数を正確に検出することのできる監視記録装置及び監視記録方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的は下記構成又は方法により達成される。
（１） 監視記録装置において、対象空間を撮影する撮影手段と、前記撮影手段で撮影された映像から物体の動いている領域を検出する動き領域検出手段と、前記動き領域検出手段で検出された物体の動き領域から該物体の輪郭を検出して楕円形の輪郭を検出する輪郭検出手段と、前記動き領域検出手段で検出された物体の動き領域から顔候補を検出する顔候補検出手段と、前記輪郭検出手段で検出された楕円形の輪郭位置と前記顔候補検出手段で検出された顔候補位置とを統合して顔検出の位置とする輪郭・顔検出結果統合手段と、前記輪郭・顔検出結果統合手段で求めた顔検出の位置の情報を用いて連続検出した顔画像が同一人物か否かを判定する同一人物判定手段と、前記同一人物判定手段で同一人物と判定された時系列の顔画像群から顔サイズの変化量を検出する顔サイズ変化検出手段と、前記顔サイズ変化検出手段で検出された顔サイズの変化量が一定ではなく不連続な変化の場合に前記同一人物判定手段で検出された時系列の顔画像群を複数人に分類する顔画像分類手段と、前記顔画像分類手段で分類された同一人物の顔画像群に対して保存に適している顔画像を選択するベストショット選択手段と、少なくとも前記動き領域検出手段、前記輪郭・顔検出結果統合手段、前記顔画像分類手段及び前記ベストショット選択手段夫々により得られる人物の特徴を表す情報を記録媒体に保存する人物特徴記録手段と、前記人物特徴記録手段で保存された各種人物特徴情報を検索キーとして録画監視映像から人物を検索する人物検索手段と、を備える。
【０００７】
この構成により、監視映像から人物の映っている目的のシーンを高速に検索することができる。また、人物が常に正面を向いて歩行していない場合でも正確に人物の顔位置を特定して追跡を行い、登場人物の人数を正確に検出することができる。
【０００８】
（２） 上記（１）に記載の監視記録装置において、前記顔画像分類手段は、前記顔サイズ変化検出手段で検出された顔サイズ変化量と時系列の顔画像群の時間経過とから前記同一人物判定手段で検出された時系列の顔画像群を複数人に分類する。
【０００９】
この構成により、カメラ正面に向かって人物が近づいてくる場合でも、正確に人物の顔位置を特定して追跡を行い、登場人物の人数を正確に検出することができる。
【００１０】
（３） 上記（１）又は（２）に記載の監視記録装置において、前記人物特徴記録手段は、前記同一人物判定手段と前記顔画像分類手段の結果から監視映像に登場した人物の人数を自動集計して前記記録媒体に保存する。
【００１１】
この構成により、監視映像に登場した人物の人数を自動集計して記録媒体に保存するので、容易に且つ高速に登場人物の人数検索が可能となる。
【００１２】
（４） 監視記録方法において、対象空間を撮影するカメラで撮影された映像から物体の動いている領域である動き領域を検出し、検出した動き領域から前記物体の輪郭を検出して楕円形の輪郭位置を検出すると共に、前記物体の動き領域から顔候補位置を検出し、検出した顔候補位置と前記楕円形の輪郭位置から双方の位置を統合して顔検出の位置を決定し、決定した顔検出の位置を用いて連続検出した顔画像が同一人物か否かを判定し、同一人物である場合には時系列の顔画像群から顔サイズの変化量を検出し、検出した顔サイズの変化量が一定ではなく不連続な変化の場合には前記同一人物判定で検出した時系列の顔画像群を複数人に分類し、分類した同一人物の顔画像群に対して保存に適している顔画像をベストショットとして選択し、さらに、少なくともベストショットで選択した顔画像と、前記動き領域と、前記顔候補位置と、前記同一人物の顔画像群をそれぞれ記録媒体に保存し、保存した各種情報を検索キーとして録画監視映像から人物検索を可能とする。
【００１３】
この方法により、監視映像から人物の映っている目的のシーンを高速に検索することができる。また、人物が常に正面を向いて歩行していない場合でも正確に人物の顔位置を特定して追跡を行い、登場人物の人数を正確に検出することができる。
【発明の効果】
【００１４】
本発明の監視記録装置によれば、監視映像から人物の映っている目的のシーンを高速に検索することができる。また、人物が常に正面を向いて歩行していない場合でも正確に人物の顔位置を特定して追跡を行い、登場人物の人数を正確に検出することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００１６】
（実施の形態１）
図１は、本発明の実施の形態１に係る監視記録装置の概略構成を示すブロック図である。この図において、本実施の形態に係る監視記録装置１は、映像入力部２と、制御部３と、動き領域検出部４と、輪郭検出部５と、顔候補検出部６と、輪郭・顔検出結果統合部７と、同一人物判定部８と、顔サイズ変化検出部９と、顔画像分類部１０と、ベストショット選択部１１と、人物特徴記録部１２と、人物検索部１３と、記録媒体１４とを備えている。
【００１７】
映像入力部２は、対象空間を撮影するビデオカメラ等の映像入力機器である。制御部３は、映像入力部２から入力された映像を各処理部に受け渡し、各処理の制御を行う。動き領域検出部４は、制御部３から受け渡された映像を取り込み、物体の動いている領域を検出する。輪郭検出部５は、動き領域検出部４で検出された物体の動いている領域から、該物体の輪郭を検出して楕円形の輪郭を検出する。顔候補検出部６は、動き領域検出部４で検出された物体の動いている領域から顔候補を検出する。輪郭・顔検出結果統合部７は、輪郭検出部５で検出された楕円形の輪郭位置と顔候補検出部６で検出された顔候補位置とから両方の位置を統合して顔検出の位置を決定する。同一人物判定部８は、輪郭・顔検出結果統合部７で検出された顔検出の位置情報を用いて、連続検出された顔画像が同一人物か他人かを判定する。
【００１８】
顔サイズ変化検出部９は、同一人物判定部８で同一人物と判定された時系列の顔画像群から顔サイズの変化量を検出する。顔画像分類部１０は、顔サイズ変化検出部９で検出された顔サイズの変化量が一定ではなく不連続な変化の場合に、同一人物判定部８で検出された時系列の顔画像群を複数人に分類する。ベストショット選択部１１は、顔画像分類部１０で決定された同一人物の顔画像群に対して、保存に適している顔画像を選択する。人物特徴記録部１２は、動き領域検出部４、輪郭・顔検出結果統合部７、同一人物判定部８、顔画像分類部１０、ベストショット選択部１１夫々から出力された情報を記録媒体１４に保存する。人物検索部１３は、人物特徴記録部１２で保存処理された各種人物特徴情報を検索キーとして録画監視映像から人物を検索する。
【００１９】
以上のように構成された監視記録装置について、図２〜図９を用いてその動作を説明する。最初に、映像入力部２で撮影された監視映像が制御部３に入力される。制御部３は、現在入力された監視画像と微小時間前に入力された監視画像及び時刻情報を動き領域検出部４に転送する。図２は、監視映像から顔画像候補を検出する動作を説明するための図である。この図において、動き領域検出部４は、微小時間前に入力された監視画像と現在入力された監視画像とで対応する画素同士差分をとり、差分画像を作成する（フレーム間差分）。なお、この差分画像の作成方法はこの他にも背景画像から差分を取って作成（背景差分）してもよいし、フレーム間差分と背景差分を組合せて作成してもよい。この差分画像の存在範囲をラベリングや垂直方向及び水平方向に投影したヒストグラム算出等の手法から検出を行い、図２の監視映像画面２０中から人物２１の動いている領域である動き領域２２を検出する。
【００２０】
輪郭検出部５は、図３（輪郭画像を説明するための図）に示すように、差分画像に対して細線化を行い、動いている人物の輪郭３０を抽出して輪郭画像３１を作成する。そして、作成した輪郭画像３１から顔（頭部）の輪郭候補を検出する。顔（頭部）の輪郭は一般的に楕円形をしているため、楕円ハフ検出方法を用いて輪郭画像３１から予め設定した顔（頭部）のサイズの楕円位置を特定して、顔（頭部）検出領域２３（図２参照）を検出する。顔候補検出部６は、動き領域２２から一般的な顔特徴による顔検出を行う。具体的には、目、鼻、口といった顔パーツのテンプレートマッチングによる顔検出や、様々な濃淡特徴の強・弱分類器によって顔候補を絞り込んで行くブースティング（Boosting）顔検出等の手法を用いて顔候補を検出する。人物２１が比較的正面を向いている場合は、顔候補検出部６からも顔検出領域２３が検出される。
【００２１】
輪郭・顔検出結果統合部７は、輪郭検出部５で検出された顔（頭部）の輪郭候補と顔候補検出部６で検出された顔候補の検出結果を統合して最終的な顔検出候補を出力する。輪郭検出部５で検出された顔（頭部）の輪郭候補は、横向き・後向きの頭部も検出できる特徴があり、顔候補検出部６で検出された顔候補は検出位置精度が高く、縦方向に人が重なっている場合でも同時に顔を検出できるという特徴がある。そこで、この両者の特徴を引き出すため、次の４通りの出力方法を行う。
【００２２】
（１）輪郭候補のみ検出の場合
図４の顔（頭部）の輪郭候補領域４０は、輪郭検出部５で顔（頭部）４１の輪郭候補を出力した結果である。この場合は、顔（頭部）の輪郭候補領域４０を最終出力として出力する。
【００２３】
（２）顔候補のみ検出の場合
図５に示す顔候補領域５０は、顔候補検出部６で顔５１の顔候補を出力した結果である。この場合は、顔候補領域５０を最終出力として出力する。
【００２４】
（３）輪郭候補及び顔候補共に検出且つ輪郭候補領域と顔候補領域が互いに重なり合わない場合
図６に示す顔（頭部）の輪郭候補領域６０は、輪郭検出部５で顔（頭部）６１の輪郭候補を出力した結果である。顔候補領域６２は、顔候補検出部６で顔６３の顔候補を出力した結果である。この場合は、顔（頭部）の輪郭候補領域６０と顔候補領域６２を最終出力として出力する。
【００２５】
（４）輪郭候補及び顔候補共に検出且つ輪郭候補領域と顔候補領域が互いに重なり合う場合
図７に示す顔（頭部）の輪郭候補領域７０は、輪郭検出部５で顔７２の輪郭候補を出力した結果である。顔候補領域７１は、顔候補検出部６で顔７２の顔候補を出力した結果である。この場合は、顔候補領域７１を最終出力として出力する。
【００２６】
上記出力方法により、人物の顔が正面を向いていない場合でも、（１）又は（３）の出力方法で顔検出位置が特定されるため、途中で途切れることが少なく、高精度の顔追跡が可能になる。
【００２７】
次に、同一人物判定部８は、輪郭・顔検出結果統合部７で検出された現在の顔候補領域と微小時間Δｔ前に検出した顔候補領域の位置の対応をとり、現在検出した顔画像と微小時間Δｔ前に検出した顔画像とが同一人物の顔画像であるかそれとも他人であるかを判定する。具体的に図８を用いて説明する。時刻Ｔ＋Δｔの顔候補領域８１と時刻Ｔの顔候補領域８０は、顔候補領域の中心位置間の距離も小さく、領域同士の重複度合いも高いため、同一人物であると判定する。同様に時刻Ｔ＋２Δｔの顔候補領域８２と時刻Ｔ＋Δｔの顔候補領域８１、時刻Ｔ＋３Δｔの顔候補領域８３と時刻Ｔ＋２Δｔの顔候補領域８２、時刻Ｔ＋４Δｔの顔候補領域８４と時刻Ｔ＋３Δｔの顔候補領域８３、時刻Ｔ＋５Δｔの顔候補領域８５と時刻Ｔ＋４Δｔの顔候補領域８４が同一人物と判定され、８０〜８５までの顔候補領域が同一人物の顔画像群８７として出力する。
【００２８】
顔サイズ変化検出部９は、同一人物判定部８で同一人物に分類された顔検出画像について、顔サイズの時間方向変化を検出する。人物が移動する場合、微小時間Δｔの間に顔サイズが著しく変動することは極めて稀なため、大きな変動を検出した場合、画面上に新たな人物が登場したと判断する。特にカメラ正面に向かって人物が近づいてくる場合は、微小時間の顔中心位置の変化が小さく、顔中心位置のみの追跡では、同一人物の判定を誤る危険性がある。このため、顔画像分類部１０は、微小時間Δｔの間に顔サイズが著しく変動した場合に、その前後において同一人物判定部８が出力した同一人物の顔画像群８７を分割して２人の顔画像群にする。具体的に図９を用いて説明する。同一人物判定部８では、時刻Ｔの顔候補領域９０から時刻Ｔ＋５Δｔの顔候補領域９５までの顔画像群９８が出力される。しかし、時刻Ｔ＋３Δｔまでの顔候補領域の顔サイズ変化は緩やかに増加しているのに対して、時刻Ｔ＋３Δｔの顔候補領域と時刻Ｔ＋４Δｔの顔候補領域の顔サイズ変化が急激に減少に転じている。このため、時刻Ｔ＋３Δｔの人物と時刻Ｔ＋４Δｔの人物は同一人物ではないと判定し、９０〜９３を人物Ａ９６の顔画像群９９−ａ、９４〜９５を人物Ｂ９７の顔画像群９９−ｂとする。これにより、２人を１人と誤判定して人物の検出漏れの発生を回避できる。
【００２９】
ベストショット選択部１１は、顔画像分類部１０が出力した同一人物の顔画像群の顔画像を比較して、顔画像のサイズ、コントラスト、顔の向き等を考慮して条件のよいものを検出し、最終的に最も保存に適した顔画像１枚を選択する。人物特徴記録部１２は、随時出力される情報、例えば動き領域検出部４で出力される動き領域（図２の２２）の矩形位置情報、輪郭・顔検出結果統合部７で出力される顔候補領域（図４の４０、図５の５０、図６の６０及び６２、図７の７１）の矩形位置情報、顔画像分類部１０で出力される同一人物の顔画像群（図８の８７）、ベストショット選択部１１で検出された保存に適した顔画像、図２の人物２１の監視映像画面２０への登場時刻及び退場時刻、人物２１の移動方向等を記録媒体１４に保存する。
【００３０】
人物検索部１３は、人物特徴記録部１２で録画中に記録された各種情報を用いて、録画後又は録画中に監視映像に登場した人物の検索を行う。例えばベストショット選択部１１では同一人物に対して１枚保存に適した画像を記録しているので、ベストショット顔画像の一覧を表示することで容易に且つ高速に人物の検索が可能になる。また、時刻による検索、移動方向による検索等の条件を絞った検索も可能になる。
【００３１】
このように、本実施の形態に係る監視記録装置によれば、映像入力部２で撮影された映像から人物２１の動き領域を検出し、検出した動き領域から人物２１の輪郭を検出して楕円形の輪郭を検出すると共に動き領域から顔候補を検出し、楕円形の輪郭位置と顔候補位置とから双方の位置を統合して顔検出の位置を決定し、決定した顔検出の位置情報を用いて連続検出した顔画像が同一人物か否かを判定し、同一人物であれば時系列の顔画像群から顔サイズの変化量を検出し、該変化量が不連続な変化の場合には同一人物判定で検出した時系列の顔画像群を複数人に分類し、分類した同一人物の顔画像群に対して保存に適している顔画像をベストショットとして選択し、このベストショットで選択した顔画像と、動き領域と、顔候補位置と、同一人物の顔画像群をそれぞれ記録媒体に保存し、保存した各種情報を検索キーとして録画監視映像から人物検索を可能としたので、監視映像から人物２１の映っている目的のシーンを高速に検索することができる。また、人物が常に正面を向いて歩行していない場合でも正確に人物の顔位置を特定して追跡を行い、登場人物の人数を正確に検出することができる。
【００３２】
（実施の形態２）
次に、本発明の実施の形態２に係る監視記録装置について説明する。本実施の形態の監視記録装置は、上述した実施の形態１の監視記録装置と同様の構成を採るので図１を援用する。また、動作については顔画像分類部１０における判定に違いがある以外は実施の形態１の監視記録装置と同様であるので、その違いについてのみ説明することとする。
【００３３】
図１０を参照して顔画像分類部１０における判定方法について説明する。顔画像分類部１０は、顔サイズの変化と経過時間から同一人物判定部８が出力した同一人物の顔画像群８７を分割して２人の顔画像群にする。同一人物判定部８では、時刻Ｔ０で顔サイズＬ０の顔候補領域１００から時刻Ｔ５で顔サイズＬ５の顔候補領域１０５までの顔画像群１０８を出力する。ここで、評価値Ｖiを式（１）で定義する。
Ｖi ＝ (Ｌi+1−Ｌi)×(Ｔi+1−Ｔi) ・・・（１）
但し、i = 0, 1, 2,…
【００３４】
この評価値Ｖiは、隣り合う顔候補領域の顔サイズの変化量が大きく、且つ、隣り合う顔候補領域の検出時刻の間隔が大きい場合に絶対値が大きくなる。顔サイズが急激に変化した場合や隣り合う検出時刻の間隔が大きい場合は、同一人物の可能性が低下する。そこで、この評価値Ｖiの絶対値が予め定めた閾値よりも大きい場合に同一人物ではないと判定し、０からｉまでの顔画像群とｉ＋１以降の顔画像群に分類を行う。図１０の場合は、Ｔ４−Ｔ３＞Ｔ３−Ｔ２, Ｔ４−Ｔ３＞Ｔ５−Ｔ４という条件の場合、顔候補領域１０３と顔候補領域１０４の顔サイズ変化量が大きいので、式（１）の評価値Ｖ(i=3)の絶対値が大きくなり、１００〜１０３の顔候補領域を人物Ａ１０６の顔画像群１０９−ａ、１０４〜１０５の顔候補領域を人物Ｂ１０７の顔画像群１０９−ｂに分類する。
【００３５】
このように、本実施の形態に係る監視記録装置によれば、顔画像分類部１０が、顔サイズ変化検出部９で検出された顔サイズ変化量と時系列の顔画像群の時間経過から同一人物判定部８で検出された時系列の顔画像群を複数人に分類するので、カメラ正面に向かって人物が近づいてくる場合でも正確に人物の顔位置を特定して追跡を行い、登場人物の人数を正確に検出することができる。
【産業上の利用可能性】
【００３６】
本発明は、人物が常に正面を向いて歩行していない場合でも正確に人物の顔位置を特定して追跡を行い、登場人物の人数を正確に検出することができるといった効果を有し、カメラを用いた監視記録システムなどへの適用が可能である。
【図面の簡単な説明】
【００３７】
【図１】本発明の実施の形態１に係る監視記録装置の概略構成を示すブロック図
【図２】本発明の実施の形態１に係る監視記録装置における監視映像から顔画像候補を検出する動作を説明するための図
【図３】本発明の実施の形態１に係る監視記録装置の輪郭検出部において検出される輪郭画像を説明するための図
【図４】本発明の実施の形態１に係る監視記録装置の輪郭・顔検出結果統合部における輪郭候補のみ検出した場合の統合結果出力方法を説明するための図
【図５】本発明の実施の形態１に係る監視記録装置の輪郭・顔検出結果統合部における顔候補のみ検出した場合の統合結果出力方法を説明するための図
【図６】本発明の実施の形態１に係る監視記録装置の輪郭・顔検出結果統合部における輪郭候補領域と顔候補領域が互いに重なり合わない場合の統合結果出力方法を説明するための図
【図７】本発明の実施の形態１に係る監視記録装置の輪郭・顔検出結果統合部における輪郭候補領域と顔候補領域が互いに重なり合う場合の統合結果出力方法を説明するための図
【図８】本発明の実施の形態１に係る監視記録装置の同一人物判定部における同一人物の顔画像群を説明するための図
【図９】本発明の実施の形態１に係る監視記録装置の顔画像分類部における顔サイズ変化から顔画像群の分類を行う方法を説明するための図
【図１０】本発明の実施の形態２に係る監視記録装置の顔画像分類部における顔サイズ変化と時間経過から顔画像群の分類を行う方法を説明するための図
【符号の説明】
【００３８】
１ 監視記録装置
２ 映像入力部
３ 制御部
４ 動き領域検出部
５ 輪郭検出部
６ 顔候補検出部
７ 輪郭・顔検出結果統合部
８ 同一人物判定部
９ 顔サイズ変化検出部
１０ 顔画像分類
１１ ベストショット選択部
１２ 人物特徴記録部
１３ 人物検索部
１４ 記録媒体
【特許請求の範囲】
【請求項１】
対象空間を撮影する撮影手段と、
前記撮影手段で撮影された映像から物体の動いている領域を検出する動き領域検出手段と、
前記動き領域検出手段で検出された物体の動き領域から該物体の輪郭を検出して楕円形の輪郭を検出する輪郭検出手段と、
前記動き領域検出手段で検出された物体の動き領域から顔候補を検出する顔候補検出手段と、
前記輪郭検出手段で検出された楕円形の輪郭位置と前記顔候補検出手段で検出された顔候補位置とを統合して顔検出の位置とする輪郭・顔検出結果統合手段と、
前記輪郭・顔検出結果統合手段で求めた顔検出の位置の情報を用いて連続検出した顔画像が同一人物か否かを判定する同一人物判定手段と、
前記同一人物判定手段で同一人物と判定された時系列の顔画像群から顔サイズの変化量を検出する顔サイズ変化検出手段と、
前記顔サイズ変化検出手段で検出された顔サイズの変化量が一定ではなく不連続な変化の場合に前記同一人物判定手段で検出された時系列の顔画像群を複数人に分類する顔画像分類手段と、
前記顔画像分類手段で分類された同一人物の顔画像群に対して保存に適している顔画像を選択するベストショット選択手段と、
少なくとも前記動き領域検出手段、前記輪郭・顔検出結果統合手段、前記顔画像分類手段及び前記ベストショット選択手段夫々により得られる人物の特徴を表す情報を記録媒体に保存する人物特徴記録手段と、
前記人物特徴記録手段で保存された各種人物特徴情報を検索キーとして録画監視映像から人物を検索する人物検索手段と、
を備える監視記録装置。
【請求項２】
前記顔画像分類手段は、前記顔サイズ変化検出手段で検出された顔サイズ変化量と時系列の顔画像群の時間経過とから前記同一人物判定手段で検出された時系列の顔画像群を複数人に分類する請求項１に記載の監視記録装置。
【請求項３】
前記人物特徴記録手段は、前記同一人物判定手段と前記顔画像分類手段の結果から監視映像に登場した人物の人数を自動集計して前記記録媒体に保存する請求項１又は請求項２に記載の監視記録装置。
【請求項４】
対象空間を撮影するカメラで撮影された映像から物体の動いている領域である動き領域を検出し、検出した動き領域から前記物体の輪郭を検出して楕円形の輪郭位置を検出すると共に、前記物体の動き領域から顔候補位置を検出し、検出した顔候補位置と前記楕円形の輪郭位置から双方の位置を統合して顔検出の位置を決定し、決定した顔検出の位置を用いて連続検出した顔画像が同一人物か否かを判定し、同一人物である場合には時系列の顔画像群から顔サイズの変化量を検出し、検出した顔サイズの変化量が一定ではなく不連続な変化の場合には前記同一人物判定で検出した時系列の顔画像群を複数人に分類し、分類した同一人物の顔画像群に対して保存に適している顔画像をベストショットとして選択し、さらに、少なくともベストショットで選択した顔画像と、前記動き領域と、前記顔候補位置と、前記同一人物の顔画像群をそれぞれ記録媒体に保存し、保存した各種情報を検索キーとして録画監視映像から人物検索を可能とする監視記録方法。
【請求項１】
対象空間を撮影する撮影手段と、
前記撮影手段で撮影された映像から物体の動いている領域を検出する動き領域検出手段と、
前記動き領域検出手段で検出された物体の動き領域から該物体の輪郭を検出して楕円形の輪郭を検出する輪郭検出手段と、
前記動き領域検出手段で検出された物体の動き領域から顔候補を検出する顔候補検出手段と、
前記輪郭検出手段で検出された楕円形の輪郭位置と前記顔候補検出手段で検出された顔候補位置とを統合して顔検出の位置とする輪郭・顔検出結果統合手段と、
前記輪郭・顔検出結果統合手段で求めた顔検出の位置の情報を用いて連続検出した顔画像が同一人物か否かを判定する同一人物判定手段と、
前記同一人物判定手段で同一人物と判定された時系列の顔画像群から顔サイズの変化量を検出する顔サイズ変化検出手段と、
前記顔サイズ変化検出手段で検出された顔サイズの変化量が一定ではなく不連続な変化の場合に前記同一人物判定手段で検出された時系列の顔画像群を複数人に分類する顔画像分類手段と、
前記顔画像分類手段で分類された同一人物の顔画像群に対して保存に適している顔画像を選択するベストショット選択手段と、
少なくとも前記動き領域検出手段、前記輪郭・顔検出結果統合手段、前記顔画像分類手段及び前記ベストショット選択手段夫々により得られる人物の特徴を表す情報を記録媒体に保存する人物特徴記録手段と、
前記人物特徴記録手段で保存された各種人物特徴情報を検索キーとして録画監視映像から人物を検索する人物検索手段と、
を備える監視記録装置。
【請求項２】
前記顔画像分類手段は、前記顔サイズ変化検出手段で検出された顔サイズ変化量と時系列の顔画像群の時間経過とから前記同一人物判定手段で検出された時系列の顔画像群を複数人に分類する請求項１に記載の監視記録装置。
【請求項３】
前記人物特徴記録手段は、前記同一人物判定手段と前記顔画像分類手段の結果から監視映像に登場した人物の人数を自動集計して前記記録媒体に保存する請求項１又は請求項２に記載の監視記録装置。
【請求項４】
対象空間を撮影するカメラで撮影された映像から物体の動いている領域である動き領域を検出し、検出した動き領域から前記物体の輪郭を検出して楕円形の輪郭位置を検出すると共に、前記物体の動き領域から顔候補位置を検出し、検出した顔候補位置と前記楕円形の輪郭位置から双方の位置を統合して顔検出の位置を決定し、決定した顔検出の位置を用いて連続検出した顔画像が同一人物か否かを判定し、同一人物である場合には時系列の顔画像群から顔サイズの変化量を検出し、検出した顔サイズの変化量が一定ではなく不連続な変化の場合には前記同一人物判定で検出した時系列の顔画像群を複数人に分類し、分類した同一人物の顔画像群に対して保存に適している顔画像をベストショットとして選択し、さらに、少なくともベストショットで選択した顔画像と、前記動き領域と、前記顔候補位置と、前記同一人物の顔画像群をそれぞれ記録媒体に保存し、保存した各種情報を検索キーとして録画監視映像から人物検索を可能とする監視記録方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００７−６３２４（Ｐ２００７−６３２４Ａ）
【公開日】平成１９年１月１１日（２００７．１．１１）
【国際特許分類】
【出願番号】特願２００５−１８６３８０（Ｐ２００５−１８６３８０）
【出願日】平成１７年６月２７日（２００５．６．２７）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１９年１月１１日（２００７．１．１１）
【国際特許分類】
【出願日】平成１７年６月２７日（２００５．６．２７）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]