【課題】複数動体が交差しても、効率的かつ正確に動体追跡する。
【解決手段】時系列の連続原画像Ｐ（ｉ）からなる動画を画像入力部１１０で入力し、動体識別画像生成部１３０により、背景画像との差分をとり、背景と前景を区別する動体識別画像Ｍ（ｉ）を生成する。トラッカー格納部１５０は、個々の動体の輪郭に外接するブロッブ包摂図形を、時系列で格納する。マスキング処理部１４０は、トラッカー格納部１５０内の時刻ｔ（ｉ−１）の着目動体Ｔｊ以外の動体のブロッブ包摂図形を利用して、動体識別画像Ｍ（ｉ）の前景領域をマスキングする。ブロッブ包摂図形抽出部１７０は、マスキング部分を除く前景領域の輪郭を候補ブロッブ包摂図形として抽出する。トラッカー登録部１６０は、着目動体Ｔｊの先行ブロッブ包摂図形Ｂｊ（ｉ−１）に対する後続ブロッブ包摂図形Ｂｊ（ｉ）を候補ブロッブ包摂図形の中から選択し、トラッカー格納部１５０に登録する。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時系列で連続して与えられる静止画像の集合からなる動画について、複数の動体を検出し、これを画面上で追跡する動体追跡装置に関する。
【背景技術】
【０００２】
ビデオカメラを用いた監視システムなどでは、監視領域内に存在する動体（移動物体）を自動的に検出し、これを追跡する技術が重要になってきている。動体の自動検出が可能になれば、当該物体が車両であるのか、人間であるのか、といった識別を行う処理に利用することができる。更に、検出した動体を追跡することができれば、所望の動体をズームアップして追尾することも可能になり、不審者などを監視する用途に利用できる。
【０００３】
動体検出に利用されている最も一般的な手法は、時系列で連続的に与えられるフレーム単位の原画像を、予め用意した背景画像と比較し、両者の差分を求めることにより、時間的に変化している領域を認識する方法である。たとえば、下記の非特許文献１には、原画像と背景画像とを画素単位で比較して、当該画素が動体を構成する画素であるか否かを判定する手法が開示されている。具体的には、比較対象となる両画素の画素値が類似している場合、当該画素は背景を構成する画素であるとし、類似していない場合、当該画素は動体を構成する画素であるとする判定が行われる。このとき、画素の類否判定は、カラー画像の場合、三次元の色空間上で、双方の画素値に対応する座標点をプロットし、一方の座標点が他方の座標点の近傍領域に入っているか否かを調べることにより行われる。
【０００４】
また、下記の特許文献１には、フレーム単位の入力画像をブロックに分割し、個々のブロックごとに画素値の平均値を求め、背景画像の画素値平均と比較することにより、当該ブロックが移動物体を含むか否かを判定する手法が開示されており、特許文献２には、背景画像との差分を求める手法と、テンプレートマッチングを行う手法とを適宜切り替えることにより、照明変動が生じても正確な動体検出を行う方法が提案されている。一方、特許文献３には、複数のカメラを用いた撮影を行うことにより、動体追跡を行う装置が提案されている。
【０００５】
更に、特許文献４には、検出した動体の色特徴量を算出し、この色特徴量を用いて動体追跡を行う方法が開示されており、特許文献５には、原画像をサブ区画に分割し、隣接するサブ区画同士の関係度の近似性に基づいて動体追跡を行う方法が開示されている。また、特許文献６には、過去の複数フレームにおける動体の位置から現時点の動体の位置を予測し、予測位置に最も近い動体候補を追跡対象とする方法が開示され、特許文献７には、複数の動体の移動経路が交差した場合にも、これら複数の動体を支障なく追跡する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平７−３０２３２８号公報
【特許文献２】特開２０１１−６０１６７号公報
【特許文献３】特開２００７−１４２５２７号公報
【特許文献４】特開２０００−４８２１１号公報
【特許文献５】特開２００７−２８７００６号公報
【特許文献６】特開２００４−４６６４７号公報
【特許文献７】特開２０１０−３９５８０号公報
【非特許文献】
【０００７】
【非特許文献１】Kim K, Chalidabhongse T H, Harwood D, Davis L S. "Background Modeling and Subtraction by Codebook Construction" Proceedings of International Conference on Image Processing, Singapore. IEEE, 2004. 5: 3061-3064
【発明の概要】
【発明が解決しようとする課題】
【０００８】
監視システムなどの撮影視野内には、複数の動体が同時に存在することが少なくない。しかも、これら複数の動体はそれぞれが任意の方向に移動しているため、移動経路が画面上で交差する場合がある。従来提案されている動体追跡装置の多くは、このように複数の動体が交差した場合に、正確な追跡を行うことができない。これは、複数の物体の移動経路が交差すると、画面上では、交差時点で複数の物体が、ひとかたまりの物体に融合し、その後、元通りの複数の物体に分離することになるため、個々の物体を正しく認識することができなくなるためである。
【０００９】
前掲の特許文献７には、玄関に設置されたカメラ付きインターホンの撮影画像において、人や車などの動体が重なって写った場合にも、個々の動体を適切に追跡する技術が開示されている。この技術では、複数の動体を追跡する際に、動体同士が交差しているか否かの判定を行い、交差していると判定された場合には、重なり合った複数の動体の奥行き関係を認識して、正しい追跡を行う手法が採られる。しかしながら、動体同士の交差を判定する処理や、奥行き関係を把握する処理のために、複雑なプロセスが必要になり、また、様々な状況において常に正確な処理を行うことは困難である。
【００１０】
そこで本発明は、複数の動体が交差した場合にも、効率的かつ正確に個々の動体を追跡することが可能な動体追跡装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
(1) 本発明の第１の態様は、動画画像について動体を検出し、これを追跡する動体追跡装置において、
時系列で連続する複数の原画像Ｐ（ｉ）（但し、ｉは時系列の順序を示す自然数）からなる動画画像を入力する画像入力部と、
動画画像の背景を構成する背景画像を提供する背景画像提供部と、
第ｉ番目の原画像Ｐ（ｉ）と背景画像とを比較して、背景領域と前景領域とを区別する第ｉ番目の動体識別画像Ｍ（ｉ）を生成する動体識別画像生成部と、
第ｉ番目の動体識別画像Ｍ（ｉ）に基づいて、前景領域を構成するひとまとまりの画素集団を動体と認識し、当該画素集団の包摂図形を第ｉ番目の時系列に所属するブロッブ包摂図形Ｂ（ｉ）として抽出するブロッブ包摂図形抽出部と、
同一の動体に基づいて抽出されたと推定される複数のブロッブ包摂図形を先頭ブロッブ包摂図形から末尾ブロッブ包摂図形に至るまで時系列で並べることにより構成されるトラッカーの情報を、個々の動体ごとに格納するトラッカー格納部と、
ブロッブ包摂図形抽出部によって抽出された第ｉ番目の時系列に所属するブロッブ包摂図形Ｂ（ｉ）を、第ｊ番目のトラッカーＴｊ（但し、ｊはトラッカーの番号を示す自然数）の第ｉ番目の時系列に所属するメンバーとして、トラッカー格納部に登録するトラッカー登録部と、
動体識別画像生成部が生成した動体識別画像の前景領域に対して、トラッカー格納部に格納されている特定のブロッブ包摂図形を利用したマスキングを行うマスキング処理部と、
を設け、
マスキング処理部は、トラッカー格納部に格納されている第ｊ番目のトラッカーＴｊを着目トラッカーとして、着目外トラッカーの第（ｉ−１）番目の時系列に所属するブロッブ包摂図形Ｂ（ｉ−１）を利用して、第ｉ番目の動体識別画像Ｍ（ｉ）についてのマスキングを行うことにより、着目トラッカーＴｊ用の個別動体識別画像Ｍ（ｉ，ｊ）を生成し、これをブロッブ包摂図形抽出部に提供するようにし、
ブロッブ包摂図形抽出部には、動体識別画像Ｍ（ｉ）に基づいてブロッブ包摂図形Ｂ（ｉ）を抽出する機能に加えて、個別動体識別画像Ｍ（ｉ，ｊ）について、マスキングされた部分を除いた前景領域を構成するひとまとまりの画素集団を動体と認識し、動体と認識した画素集団の包摂図形を第ｉ番目の時系列に所属させるべき第ｊ番目のトラッカー用の候補ブロッブ包摂図形として抽出する機能を付加し、
トラッカー登録部が、
(a) 第ｊ番目のトラッカーＴｊの第（ｉ−１）番目の時系列に末尾ブロッブ包摂図形ではないブロッブ包摂図形が登録されている場合に、当該ブロッブ包摂図形を先行ブロッブ包摂図形として、これに後続させるのに適したブロッブ包摂図形が第ｊ番目のトラッカー用の候補ブロッブ包摂図形内に存在するか否かを判定し、存在するときには、当該候補ブロッブ包摂図形を第ｉ番目の時系列に所属する後続ブロッブ包摂図形として登録する処理を行い、存在しないときには、先行ブロッブ包摂図形が末尾ブロッブ包摂図形となったことを示す処理を行う後続ブロッブ包摂図形登録処理と、
(b) 後続ブロッブ包摂図形登録処理を各トラッカーについて行った後、動体識別画像Ｍ（ｉ）に基づいて抽出されたブロッブ包摂図形Ｂ（ｉ）の中に、後続ブロッブ包摂図形登録処理によって登録された後続ブロッブ包摂図形に対応しない新参ブロッブ包摂図形が存在する場合に、当該新参ブロッブ包摂図形を第ｉ番目の時系列が未登録状態のトラッカーに先頭ブロッブ包摂図形として登録する新参ブロッブ包摂図形登録処理と、
を行うようにしたものである。
【００１２】
(2) 本発明の第２の態様は、上述した第１の態様に係る動体追跡装置において、
背景画像提供部が、外部から与えられた静止画像を取り込んで保存する機能を有し、静止画像を背景画像として提供するようにしたものである。
【００１３】
(3) 本発明の第３の態様は、上述した第１の態様に係る動体追跡装置において、
背景画像提供部が、画像入力部が過去の所定期間にわたって入力した原画像の単純平均もしくは重みづけ平均を求める機能を有し、求めた平均画像を背景画像として提供するようにしたものである。
【００１４】
(4) 本発明の第４の態様は、上述した第１〜第３の態様に係る動体追跡装置において、
動体識別画像生成部が、原画像Ｐ（ｉ）上の特定位置にある画素の色と、背景画像上の上記特定位置にある画素の色とを比較し、両画素の色の近似度が所定条件を満たす場合には当該特定位置にある画素を背景領域の画素とし、所定条件を満たさない場合には当該特定位置にある画素を前景領域の画素とすることにより、動体識別画像Ｍ（ｉ）を生成するようにしたものである。
【００１５】
(5) 本発明の第５の態様は、上述した第１〜第４の態様に係る動体追跡装置において、
ブロッブ包摂図形抽出部が、面積が所定の基準に満たない画素集団については、動体と認識せず、ブロッブ包摂図形の抽出を行わないようにしたものである。
【００１６】
(6) 本発明の第６の態様は、上述した第１〜第５の態様に係る動体追跡装置において、
ブロッブ包摂図形抽出部が、画素集団の外接矩形をその包摂図形として用いるようにしたものである。
【００１７】
(7) 本発明の第７の態様は、上述した第６の態様に係る動体追跡装置において、
ブロッブ包摂図形抽出部が、動体識別画像Ｍ（ｉ）を構成する個々の画素に順に着目し、各着目画素について、
(a) 着目画素が前景画素であり、かつ、所定近傍範囲に登録矩形が存在しない場合には、当該着目画素の輪郭を構成する矩形を登録する処理を行い、
(b) 着目画素が前景画素であり、かつ、所定近傍範囲に登録された矩形が存在する場合には、当該登録矩形の領域を着目画素を含む外接矩形に拡張して登録する処理を行い、
最終的に登録された矩形に基づいてブロッブ包摂図形の抽出を行うようにしたものである。
【００１８】
(8) 本発明の第８の態様は、上述した第６または第７の態様に係る動体追跡装置において、
トラッカー格納部が、外接矩形の対角に位置する２頂点の座標値をトラッカーの情報として格納するようにしたものである。
【００１９】
(9) 本発明の第９の態様は、上述した第１〜第８の態様に係る動体追跡装置において、
マスキング処理部が、個別動体識別画像Ｍ（ｉ，ｊ）を生成する際に、着目外トラッカーの第（ｉ−１）番目の時系列に登録されているブロッブ包摂図形のうち、着目トラッカーの第（ｉ−１）番目の時系列に登録されているブロッブ包摂図形の所定の近傍範囲内に位置するブロッブ包摂図形のみを用いて、マスキングを行うようにしたものである。
【００２０】
(10) 本発明の第１０の態様は、上述した第１〜第９の態様に係る動体追跡装置において、
マスキング処理部が、各トラッカーに格納されている第（ｉ−１）番目以前の連続した時系列に所属するブロッブ包摂図形の位置の変遷に基づいて、第ｉ番目の時系列に所属するブロッブ包摂図形の予測位置を求める機能を有し、個別動体識別画像Ｍ（ｉ，ｊ）を生成する際に、着目外トラッカーの第（ｉ−１）番目の時系列に所属するブロッブ包摂図形Ｂ（ｉ−１）に対して、予測位置への位置修正を施し、位置修正後の包摂図形を利用して、第ｉ番目の動体識別画像Ｍ（ｉ）についてのマスキングを行うようにしたものである。
【００２１】
(11) 本発明の第１１の態様は、上述した第１０の態様に係る動体追跡装置において、
マスキング処理部が、第（ｉ−Ｌ）番目（Ｌは２以上の整数）の時系列に所属するブロッブ包摂図形Ｂ（ｉ−Ｌ）の位置の基準点から、第（ｉ−１）番目の時系列に所属するブロッブ包摂図形Ｂ（ｉ−１）の位置の基準点へ向かうベクトルに対して、その長さを（Ｌ／（Ｌ−１））倍に伸ばすことにより得られるベクトルの先端を予測位置の基準点とするようにしたものである。
【００２２】
(12) 本発明の第１２の態様は、上述した第１０の態様に係る動体追跡装置において、
マスキング処理部が、第（ｉ−Ｌ）番目（Ｌは３以上の整数）の時系列に所属するブロッブ包摂図形Ｂ（ｉ−Ｌ）から、第（ｉ−１）番目の時系列に所属するブロッブ包摂図形Ｂ（ｉ−１）まで、合計Ｌ個のブロッブ包摂図形の各位置の基準点を近似的に通る二次曲線を求め、この二次曲線上の点を予測位置の基準点とするようにしたものである。
【００２３】
(13) 本発明の第１３の態様は、上述した第１〜第１２の態様に係る動体追跡装置において、
マスキング処理部が、個別動体識別画像Ｍ（ｉ，ｊ）を生成する際に、着目外トラッカーの第（ｉ−１）番目の時系列に所属するブロッブ包摂図形Ｂ（ｉ−１）に対して、輪郭線を所定量だけ外方へ拡張する修正を施し、拡張修正後の包摂図形を利用して、第ｉ番目の動体識別画像Ｍ（ｉ）についてのマスキングを行うようにしたものである。
【００２４】
(14) 本発明の第１４の態様は、上述した第１〜第１３の態様に係る動体追跡装置において、
トラッカー登録部が、後続ブロッブ包摂図形登録処理を行う際に、第ｊ番目のトラッカーＴｊの第（ｉ−１）番目の時系列に登録されている先行ブロッブ包摂図形に対して、第ｊ番目のトラッカー用として抽出された個々の候補ブロッブ包摂図形の適合性評価を行い、所定の基準以上の評価、かつ、最も高い評価を得た候補ブロッブ包摂図形を、先行ブロッブ包摂図形に後続させるのに適したブロッブ包摂図形と判定し、これを後続ブロッブ包摂図形として登録するようにしたものである。
【００２５】
(15) 本発明の第１５の態様は、上述した第１４の態様に係る動体追跡装置において、
トラッカー登録部が、判定対象となる先行ブロッブ包摂図形と候補ブロッブ包摂図形とを、位置、面積、形状のいずれか１つもしくは複数の組み合わせに関して比較し、その類似性に基づいて適合性評価を行うようにしたものである。
【００２６】
(16) 本発明の第１６の態様は、上述した第１〜第１５の態様に係る動体追跡装置において、
トラッカー登録部が、後続ブロッブ包摂図形登録処理で、第ｊ番目のトラッカーＴｊについての後続ブロッブ包摂図形を登録する際に、当該後続ブロッブ包摂図形の大きさが、連続して先行登録されている所定数のブロッブ包摂図形の平均サイズとなるように、当該後続ブロッブ包摂図形の大きさに対する修正を行うようにしたものである。
【００２７】
(17) 本発明の第１７の態様は、上述した第１〜第１６の態様に係る動体追跡装置において、
トラッカー登録部が、後続ブロッブ包摂図形登録処理において、第ｊ番目のトラッカーＴｊの第（ｉ−１）番目の時系列に登録されている先行ブロッブ包摂図形に後続させるのに適したブロッブ包摂図形が、第ｊ番目のトラッカー用の候補ブロッブ包摂図形内に存在しない場合に、第ｊ番目のトラッカーＴｊの第ｉ番目の時系列を無登録状態とする処理を行うことにより、先行ブロッブ包摂図形が末尾ブロッブ包摂図形となったことを示すようにしたものである。
【００２８】
(18) 本発明の第１８の態様は、上述した第１〜第１７の態様に係る動体追跡装置において、
トラッカー登録部が、新参ブロッブ包摂図形登録処理を行う際に、動体識別画像Ｍ（ｉ）に基づいて抽出されたブロッブ包摂図形Ｂ（ｉ）と、後続ブロッブ包摂図形登録処理によって第ｉ番目の時系列に登録された後続ブロッブ包摂図形とを比較し、両者が一致するか、もしくは、一方が他方を包含する関係になっているものを互いに対応するブロッブ包摂図形と認識し、ブロッブ包摂図形Ｂ（ｉ）の中で対応関係が認識できないブロッブ包摂図形を新参ブロッブ包摂図形とするようにしたものである。
【００２９】
(19) 本発明の第１９の態様は、動画画像について動体を検出し、これを追跡する動体追跡装置において、
時系列で連続する複数の原画像Ｐ（ｉ）（但し、ｉは時系列の順序を示す自然数）からなる動画画像を入力する画像入力部と、
動画画像の背景を構成する背景画像を提供する背景画像提供部と、
第ｉ番目の原画像Ｐ（ｉ）と背景画像とを比較して、背景領域と前景領域とを区別する第ｉ番目の動体識別画像Ｍ（ｉ）を生成する動体識別画像生成部と、
同一の動体と推定される画素集団の包摂図形からなるブロッブ包摂図形を、先頭ブロッブ包摂図形から末尾ブロッブ包摂図形に至るまで時系列で並べることにより構成されるトラッカーの情報を、個々の動体ごとに格納するトラッカー格納部と、
トラッカー格納部に格納されている、第（ｉ−１）番目の原画像Ｐ（ｉ−１）内に含まれる着目動体以外の動体を示すブロッブ包摂図形を利用して、動体識別画像Ｍ（ｉ）の前景領域に対してマスキング処理を行うマスキング処理部と、
マスキング処理前後の動体識別画像Ｍ（ｉ）について、マスキングされた部分を除いた前景領域を構成するひとまとまりの画素集団を動体と認識し、当該画素集団の包摂図形をブロッブ包摂図形として抽出するブロッブ包摂図形抽出部と、
トラッカー格納部に格納されている、第（ｉ−１）番目の原画像Ｐ（ｉ−１）内に含まれる着目動体を示す先行ブロッブ包摂図形に対して、第ｉ番目の原画像Ｐ（ｉ）内に含まれる、着目動体と同一と推定される動体を示すブロッブ包摂図形を、着目動体以外の動体を示すブロッブ包摂図形を利用してマスキング処理された動体識別画像Ｍ（ｉ）から抽出された候補ブロッブ包摂図形の中から選択し、これをトラッカー格納部に、先行ブロッブ包摂図形に後続する第ｉ番目の時系列の後続ブロッブ包摂図形として登録するとともに、マスキング処理前の動体識別画像Ｍ（ｉ）から抽出されたブロッブ包摂図形のうち、対応する後続ブロッブ包摂図形の登録が行われていない新参ブロッブ包摂図形を、第ｉ番目の時系列が未登録状態のトラッカーに、先頭ブロッブ包摂図形として登録するトラッカー登録部と、
を設けたものである。
【００３０】
(20) 本発明の第２０の態様は、上述した第１９の態様に係る動体追跡装置において、
トラッカー登録部が、
先行ブロッブ包摂図形と各候補ブロッブ包摂図形とを、位置、面積、形状のいずれか１つもしくは複数の組み合わせに関して比較し、その類似性に基づいて後続ブロッブ包摂図形の選択を行い、
マスキング処理前の動体識別画像Ｍ（ｉ）から抽出された個々のブロッブ包摂図形のうち、第ｉ番目の時系列の後続ブロッブ包摂図形として登録されているブロッブ包摂図形と一致もしくは包含する関係になっていないブロッブ包摂図形を新参ブロッブ包摂図形とするようにしたものである。
【００３１】
(21) 本発明の第２１の態様は、上述した第１〜第２０の態様に係る動体追跡装置を、コンピュータに専用のプログラムを組み込むことにより構成したものである。
【００３２】
(22) 本発明の第２２の態様は、上述した第１〜第２０の態様に係る動体追跡装置に加えて、更に、
動画画像を撮影して画像入力部に与えるビデオカメラと、
トラッカー格納部から、１つの選択トラッカーに連続して登録されているブロッブ包摂図形Ｂ（ｉ）を順次取り出し、画像入力部が入力した原画像Ｐ（ｉ）からブロッブ包摂図形Ｂ（ｉ）の内部の画像を切出して表示することにより、特定の動体を追跡した部分動画画像を提示する部分動画提示部と、
を設けることにより、監視システムを構成したものである。
【００３３】
(23) 本発明の第２３の態様は、上述した第２２の態様に係る監視システムにおいて、
部分動画提示部が、ブロッブ包摂図形Ｂ（ｉ）を所定量だけ外方へ拡張し、拡張された包摂図形の内部の画像を切出して表示するようにしたものである。
【００３４】
(24) 本発明の第２４の態様は、動画画像について動体を検出し、これを追跡する動体追跡方法において、
コンピュータが、時系列で連続する複数の原画像Ｐ（ｉ）（但し、ｉは時系列の順序を示す自然数）からなる動画画像を入力する画像入力段階と、
コンピュータが、動画画像の背景を構成する背景画像と、第ｉ番目の原画像Ｐ（ｉ）とを比較して、背景領域と前景領域とを区別する第ｉ番目の動体識別画像Ｍ（ｉ）を生成する動体識別画像生成段階と、
コンピュータが、第（ｉ−１）番目の原画像Ｐ（ｉ−１）内に含まれる着目動体の輪郭を包摂する先行ブロッブ包摂図形に対して、第ｉ番目の原画像Ｐ（ｉ）内に含まれる、着目動体と同一と推定される動体の輪郭を包摂する後続ブロッブ包摂図形を認識するとともに、第ｉ番目の原画像Ｐ（ｉ）において新たに出現した動体の輪郭を包摂する新参ブロッブ包摂図形を認識する後続／新参ブロッブ包摂図形認識段階と、
を行い、
後続／新参ブロッブ包摂図形認識段階では、
第（ｉ−１）番目の原画像Ｐ（ｉ−１）内に含まれる着目動体以外の動体の輪郭を包摂するブロッブ包摂図形を利用して、動体識別画像Ｍ（ｉ）の前景領域に対してマスキング処理を行うマスキング処理ステップと、
マスキング処理前後の動体識別画像Ｍ（ｉ）について、マスキングされた部分を除いた前景領域を構成するひとまとまりの画素集団を動体と認識し、当該画素集団の輪郭を包摂する図形をブロッブ包摂図形として抽出するブロッブ包摂図形抽出ステップと、
着目動体以外の動体を包摂するブロッブ包摂図形を利用してマスキング処理された動体識別画像Ｍ（ｉ）から抽出された候補ブロッブ包摂図形の中から、着目動体の輪郭を包摂する先行ブロッブ包摂図形に後続させるのに適したブロッブ包摂図形を後続ブロッブ包摂図形として選択する後続ブロッブ包摂図形選択ステップと、
マスキング処理前の動体識別画像Ｍ（ｉ）から抽出されたブロッブ包摂図形のうち、対応する後続ブロッブ包摂図形が認識されていない新参ブロッブ包摂図形を、新たな動体の輪郭を包摂する新参ブロッブ包摂図形として認識する新参ブロッブ包摂図形認識ステップと、
を行うようにしたものである。
【００３５】
(25) 本発明の第２５の態様は、上述した第２４の態様に係る動体追跡方法において、
後続ブロッブ包摂図形選択ステップで、先行ブロッブ包摂図形と各候補ブロッブ包摂図形とを、位置、面積、形状のいずれか１つもしくは複数の組み合わせに関して比較し、その類似性に基づいて後続ブロッブ包摂図形の選択を行い、
新参ブロッブ包摂図形認識ステップで、マスキング処理前の動体識別画像Ｍ（ｉ）から抽出された個々のブロッブ包摂図形のうち、後続ブロッブ包摂図形として認識されているブロッブ包摂図形と一致もしくは包含する関係になっていないブロッブ包摂図形を新参ブロッブ包摂図形とするようにしたものである。
【発明の効果】
【００３６】
本発明に係る動体追跡装置では、複数の動体のうち、ある１つの着目動体を時間軸上で継承する動体を検出する際に、当該着目動体以外の動体が存在していた領域をマスキングする方法を採るようにしたため、複数の動体が交差した場合にも、効率的かつ正確に個々の動体を追跡することが可能になる。
【図面の簡単な説明】
【００３７】
【図１】動画画像についての動体の検出例を示す平面図である。
【図２】一般的な動体検出の基本原理を示す図である。
【図３】背景を示す画像として用いられる平均画像の作成方法の一例を示す図である。
【図４】図３に示す方法に基づいて作成される平均画像上の１画素の画素値変遷プロセスを示す図である。
【図５】一般的な動体識別画像Ｍ（ｉ）の画素値決定プロセスを示す図である。
【図６】図１に示す動体識別画像Ｍ３０およびＭ４０に基づいて、ブロッブ包摂図形Ｂ３０，Ｂ４０を抽出した例を示す平面図である。
【図７】図６に示すブロッブ包摂図形Ｂ３０，Ｂ４０を利用して、部分画像ｆ３０，ｆ４０を切出した状態を示す平面図である。
【図８】複数の動体が存在する原画像Ｐ１０を示す平面図である（背景は省略）。
【図９】図８に示す原画像Ｐ１０から作成された動体識別画像Ｍ１０を示す平面図である。
【図１０】時間軸上の時刻ｔ１０，ｔ２０，ｔ４０における原画像Ｐ１０，Ｐ２０，Ｐ４０を示す平面図である。
【図１１】図１０に示す原画像Ｐ１０，Ｐ２０，Ｐ４０から作成された動体識別画像Ｍ１０，Ｍ２０，Ｍ４０およびこれらから抽出されたブロッブ包摂図形を示す平面図である。
【図１２】図１１に示す動体識別画像Ｍ１０，Ｍ２０，Ｍ４０に基づいて作成されたトラッカーの一例を示す図である。
【図１３】ブロッブ包摂図形Ｂの実体データを示す平面図である。
【図１４】時系列上の時刻ｔ２０，ｔ３０，ｔ４０における原画像Ｐ２０，Ｐ３０，Ｐ４０を示す平面図である。
【図１５】図１４に示す原画像Ｐ２０，Ｐ３０，Ｐ４０から作成された動体識別画像Ｍ２０，Ｍ３０，Ｍ４０およびこれらから抽出されたブロッブ包摂図形を示す平面図である。
【図１６】図１５に示す動体識別画像Ｍ２０，Ｍ３０，Ｍ４０に基づいて作成されたトラッカーの一例を示す図である。
【図１７】図１５に示す動体識別画像Ｍ２０，Ｍ３０，Ｍ４０に基づいて作成されたトラッカーの別な一例を示す図である。
【図１８】時系列上の時刻ｔ２９，ｔ３０における原画像Ｐ２９，Ｐ３０を示す平面図である。
【図１９】図１８に示す原画像Ｐ２９，Ｐ３０から作成された動体識別画像Ｍ２９，Ｍ３０およびこれらから抽出されたブロッブ包摂図形を示す平面図である。
【図２０】図１９(a) に示すブロッブ包摂図形Ｂ２９ａ以外のブロッブ包摂図形によるマスキング処理を行うことにより得られた個別動体識別画像Ｍ（３０，１）を示す平面図（図(a) ）およびこれから抽出された候補ブロッブ包摂図形Ｂ３０ａを示す平面図（図(b) ）である。
【図２１】図１９(a) に示すブロッブ包摂図形Ｂ２９ｂ以外のブロッブ包摂図形によるマスキング処理を行うことにより得られた個別動体識別画像Ｍ（３０，２）を示す平面図（図(a) ）およびこれから抽出された候補ブロッブ包摂図形Ｂ３０ｂを示す平面図（図(b) ）である。
【図２２】図１９(a) に示すブロッブ包摂図形Ｂ２９ｃ以外のブロッブ包摂図形によるマスキング処理を行うことにより得られた個別動体識別画像Ｍ（３０，３）を示す平面図（図(a) ）およびこれから抽出された候補ブロッブ包摂図形Ｂ３０ｃを示す平面図（図(b) ）である。
【図２３】図１９(a) に示すブロッブ包摂図形Ｂ２９ｄ以外のブロッブ包摂図形によるマスキング処理を行うことにより得られた個別動体識別画像Ｍ（３０，４）を示す平面図（図(a) ）およびこれから抽出された候補ブロッブ包摂図形Ｂ３０ｄを示す平面図（図(b) ）である。
【図２４】図２０〜図２３に示す候補ブロッブ包摂図形に基づいて、各トラッカーに後続ブロッブ包摂図形の登録を行った状態を示す図である。
【図２５】各トラッカーＴ１〜Ｔ４について認識された後続ブロッブ包摂図形を動体識別画像Ｍ３０に重ねた状態を示す平面図である。
【図２６】図２０に示すマスキング処理では完全なマスキングがなされなかった状態を示す平面図（図(a) ）およびこの状態から抽出された候補ブロッブ包摂図形を示す平面図（図(b) ）である。
【図２７】時系列上の時刻ｔ３９，ｔ４０における原画像Ｐ３９，Ｐ４０を示す平面図である。
【図２８】図２７に示す原画像Ｐ３９，Ｐ４０から作成された動体識別画像Ｍ３９，Ｍ４０およびこれらから抽出されたブロッブ包摂図形を示す平面図である。
【図２９】図２８に示すブロッブ包摂図形に基づいて作成されたトラッカーを示す図である。
【図３０】図２４の表の時刻ｔ３０の欄に登録された後続ブロッブ包摂図形と、図１９(b) に示す動体識別画像Ｍ３０上のブロッブ包摂図形と、の対応関係を示すテーブルである。
【図３１】本発明の基本的な実施形態に係る動体追跡装置の構成を示すブロック図である。
【図３２】図３１に示す動体追跡装置におけるブロッブ包摂図形抽出部１７０によるブロッブ包摂図形抽出処理の手順の一例を示す流れ図である。
【図３３】図３２に示すブロッブ包摂図形抽出処理の処理対象となる画像の一例を示す平面図である。
【図３４】図３３に示す画像に対して、図３２に示すブロッブ包摂図形抽出処理の手順を施したプロセスの各段階を示す平面図である。
【図３５】図３１に示す動体追跡装置におけるトラッカー登録部１６０による後続ブロッブ包摂図形の適合性評価の方法を示す平面図である。
【図３６】図３１に示す動体追跡装置におけるマスキング処理部１４０によって、マスクとして機能するブロッブ包摂図形に対する予測位置を求める方法の一例を示す平面図である。
【図３７】図３１に示す動体追跡装置におけるマスキング処理部１４０によって、マスクとして機能するブロッブ包摂図形に対する予測位置を求める方法の別な一例を示す平面図である。
【図３８】図３１に示す動体追跡装置におけるマスキング処理部１４０によるブロッブ包摂図形に対する拡張修正の一例を示す平面図である。
【図３９】図３１に示す動体追跡装置におけるトラッカー登録部１６０によるブロッブ包摂図形に対する大きさ修正の一例を示す平面図である。
【図４０】本発明の基本概念に基づく動体追跡方法の手順を示す流れ図である。
【図４１】本発明に係る動体追跡装置を利用して構成された監視システムの一例を示すブロック図である。
【発明を実施するための形態】
【００３８】
以下、本発明を図示する実施形態に基づいて説明する。
【００３９】
＜＜＜ §１．一般的な動体検出の基本原理 ＞＞＞
はじめに、一般的な動体検出の基本原理を説明する。この基本原理は、動画画像について動体（移動物体）を検出するためのものであり、ここでは、三原色の各画素値を有する画素の集合体として、時系列で連続的にフレーム単位のカラー原画像が与えられた場合を例にとって説明する。
【００４０】
いま、図１の左側に示すように、フレーム単位の原画像Ｐ１０，Ｐ２０，Ｐ３０，Ｐ４０がこの順番で与えられたものとしよう。図示の例は、街頭に設置された定点ビデオカメラによる撮影画像を示すものであり、右から左へと１台の車両（動体）が通過する状態が示されている。なお、一般的なビデオカメラの場合、１秒間に３０フレーム程度の周期で連続して撮影画像が出力されるので、実際には、より細かな時間間隔で多数のフレーム画像が得られることになるが、ここでは、説明の便宜上、図示のとおり、４枚の原画像Ｐ１０，Ｐ２０，Ｐ３０，Ｐ４０が順番に与えられた場合を考える。
【００４１】
これら４枚の原画像を見ると、原画像Ｐ１０は街の背景のみであるが、原画像Ｐ２０では、右側に車両の一部が侵入したため、背景上に車両の一部が重なった画像になっている。同様に、原画像Ｐ３０，Ｐ４０も、背景上に車両が重なった画像になっている。背景は静止しているため、原画像Ｐ１０〜Ｐ４０について共通になるが、車両は動体であるため、原画像Ｐ１０〜Ｐ４０では異なる。ここでは、各画像上において、背景を構成する領域を背景領域Ｋ、車両（動体）を構成する領域を前景領域Ｆと呼ぶことにする。
【００４２】
ここで行う動体検出の目的は、与えられた各原画像Ｐ１０〜Ｐ４０について、それぞれ背景領域Ｋと前景領域Ｆとを区別することにある。図１の右側に示す各画像Ｍ１０〜Ｍ４０は、それぞれ左側に示す各原画像Ｐ１０〜Ｐ４０について、背景領域Ｋと前景領域Ｆとの区別を示す画像であり、ここでは、動体識別画像Ｍ１０〜Ｍ４０と呼ぶことにする。この動体識別画像Ｍ１０〜Ｍ４０では、図にハッチングを施した領域が前景領域Ｆ（Ｆ２０，Ｆ３０，Ｆ４０）であり、白地の領域が背景領域Ｋ（Ｋ１０〜Ｋ４０）である。これらの動体識別画像Ｍ１０〜Ｍ４０は、２つの領域を識別できればよいので、二値画像として与えられる。たとえば、前景領域Ｆに所属する画素には画素値「１」を与え、背景領域Ｋに所属する画素には画素値「０」を与えることにすれば、動体識別画像Ｍ１０〜Ｍ４０は、１ビットの画素値をもった画素の集合体からなる画像データとして用意することができる。
【００４３】
後述する手法を採れば、与えられた個々のフレーム単位の原画像Ｐのそれぞれについて、対応する動体識別画像Ｍを二値画像として得ることができる。結局、ここで述べる動体検出処理の本質は、時系列で連続的に与えられた個々の原画像Ｐについて、それぞれ背景領域Ｋと前景領域Ｆとの区別を示す二値画像（動体識別画像Ｍ）を作成する処理ということができる。
【００４４】
図１に示す例では、各原画像Ｐ１０〜Ｐ４０のそれぞれについて、動体識別画像Ｍ１０〜Ｍ４０が作成された例が示されている。これら動体識別画像を利用すれば、原画像上のどの領域が動体であるかを認識できるので、動体の形状やサイズを把握したり、動体の部分をズームアップして、車両のナンバーを確認したり、人物を特定したりする処理を行うことが可能になる。また、画面上で動体をズームアップしたまま追跡したり、移動経路を把握したりすることも可能になる。
【００４５】
もちろん、このような動体識別画像の作成を、１枚の原画像のみから行うことは困難である。たとえば、図示の原画像Ｐ２０のみが静止画像として与えられた場合、人間の脳は様々な情報から車両の存在を認識することができるが、この１枚の静止画像のみから、コンピュータに車両の存在を認識させるには、複雑なアルゴリズムに基づく処理が必要となる。そこで、一般的な動体検出アルゴリズムでは、既に述べたとおり、原画像と背景画像との差を求めることにより、当該差の領域を動体の領域（前景領域Ｆ）と判断する手法が採られる。
【００４６】
たとえば、予め原画像Ｐ１０を背景画像として指定しておけば、原画像Ｐ２０が入力された時点で両者を比較することにより、差の領域（異なる領域）を前景領域Ｆと認識し、図示のような動体識別画像Ｍ２０（背景領域Ｋ２０と前景領域Ｆ２０とを区別する画像）を作成することが可能になる。差の領域を認識するには、原画像と背景画像とを画素単位で比較して、両画素の画素値が類似している場合、当該画素は背景領域Ｋを構成する画素であるとし、類似していない場合、当該画素は前景領域Ｆを構成する画素であるとする方法が最も簡便な方法である。
【００４７】
背景画像としては、予め動体が存在しない状態（たとえば、原画像Ｐ１０に示す状態）で撮影した静止画像を利用することも可能であるが、屋外の場合、天候や時刻などの要因により、照明環境は時々刻々と変化してゆくものであり、ある特定の時点で撮影した静止画像をそのまま背景画像として継続して利用するのは不適切である。そこで、通常は、過去に入力された複数の原画像に基づいて、これら原画像の平均的な特徴を有する平均画像を作成し、この平均画像を背景画像として利用する手法が採られる。平均画像は新たな画像が入力されるたびに逐次更新されるので、天候や時刻などの要因により、照明環境が変化したとしても、当該変化に追随した適切な背景画像として機能する。
【００４８】
図２は、一般的な動体検出の基本原理を示す図である。ここで、図の上段に示す原画像Ｐ（１），Ｐ（２），... ，Ｐ（ｉ−２），Ｐ（ｉ−１）は、時系列で連続的に与えられるフレーム単位の原画像であり、これまでに第１番目の原画像Ｐ（１）から第（ｉ−１）番目の原画像Ｐ（ｉ−１）まで、（ｉ−１）フレーム分の画像が与えられた状態が示されている。一方、図の中段左に示す画像Ｐ（ｉ）は、新たに与えられた第ｉ番目の原画像であり、図の中段右に示す画像Ａ（ｉ−１）は、図の上段に示す過去に与えられた（ｉ−１）フレーム分の原画像Ｐ（１）〜Ｐ（ｉ−１）の平均的な特徴を有する平均画像である。
【００４９】
新たに入力された原画像Ｐ（ｉ）についての動体識別画像Ｍ（ｉ）は、当該原画像Ｐ（ｉ）と平均画像Ａ（ｉ−１）とを比較することによって作成される。図２の下段は、このようにして作成された動体識別画像Ｍ（ｉ）を示すものである。具体的には、原画像Ｐ（ｉ）上の各画素の画素値を、平均画像Ａ（ｉ−１）上の対応する画素の画素値と比較し、類似範囲内と判定された画素については背景領域Ｋ（ｉ）を示す画素値（たとえば、「０」）を与え、類似範囲外と判定された画素については前景領域Ｆ（ｉ）を示す画素値（たとえば、「１」）を与えることにより、二値画像からなる動体識別画像Ｍ（ｉ）を作成すればよい。
【００５０】
続いて、第（ｉ＋１）番目の原画像Ｐ（ｉ＋１）が入力されたときには、過去に入力された第ｉ番目の原画像Ｐ（ｉ）までの平均的な特徴を有する平均画像Ａ（ｉ）が新たに作成され、原画像Ｐ（ｉ＋１）と平均画像Ａ（ｉ）とを比較することにより、動体識別画像Ｍ（ｉ＋１）が作成される。このように、平均画像は逐次更新されてゆくため、天候や時刻などの要因により、照明環境が変化した場合でも、各時点に適した背景画像としての機能を果たすことができる。
【００５１】
なお、平均画像を作成する際には、時系列に沿った重みづけを行うようにし、最新の原画像の情報に重みをおいた加重平均を求めるようにするのが好ましい。たとえば、過去１０分間に入力された原画像について重み１、それ以前に入力された原画像について重み０を与えて平均を求めれば、常に、最新１０分間に得られた原画像についての平均画像を得ることができ、照明環境が変化した場合にも対応することができる。もちろん、常に最新の原画像ほど重みづけが大きくなるように、重みづけをきめ細かく設定することもできる。
【００５２】
結局、この図２に示す例の場合、平均画像Ａ（ｉ−１）を得るには、第１番目の原画像Ｐ（１）から第（ｉ−１）番目の原画像Ｐ（ｉ−１）について（ｉ＝１，２，...）、それぞれ対応する位置の画素の各色別の画素値の重みづけ平均値を算出し、当該平均値をもつ画素の集合体からなる画像を作成すればよい。そして、第ｉ番目の原画像Ｐ（ｉ）が入力されたときには、第ｉ番目の動体識別画像Ｍ（ｉ）を作成するために、原画像Ｐ（ｉ）と平均画像Ａ（ｉ−１）とを比較すればよい。
【００５３】
ただ、１秒間に３０フレームという一般的なフレームレートで動画画像が入力された場合、過去１０分間の原画像であっても、その画像データをすべて蓄積しておくには、画像データのバッファにかなりの記憶容量が必要になる。そこで、実用上は、第ｉ番目の原画像Ｐ（ｉ）が与えられたときに、第（ｉ−１）番目の平均画像Ａ（ｉ−１）と、当該第ｉ番目の原画像Ｐ（ｉ）との２枚の画像に基づいて、第ｉ番目の平均画像Ａ（ｉ）を作成する手法が採られる。図３は、このような手法に基づく平均画像の作成方法の一例を示す図である。
【００５４】
まず、最初の原画像Ｐ（１）が与えられたときには、当該原画像Ｐ（１）をそのまま最初の平均画像Ａ（１）とする処理を行う。そして、以後、図３の上段右に示す第ｉ番目の原画像Ｐ（ｉ）が入力されるたびに（ｉ＝２，３，...）、図３の上段左に示す第（ｉ−１）番目の平均画像Ａ（ｉ−１）を利用して、図３の中段に示す第ｉ番目の平均画像Ａ（ｉ）を、図３の下段に示す
ａ（ｉ）＝（１−ｗ）・ａ（ｉ−１）＋ｗ・ｐ（ｉ） 式（１）
なる演算式を用いて作成すればよい。ここで、ａ（ｉ）は、平均画像Ａ（ｉ）の所定位置の画素の所定色の画素値、ａ（ｉ−１）は、平均画像Ａ（ｉ−１）の前記所定位置の画素の前記所定色の画素値、ｐ（ｉ）は、原画像Ｐ（ｉ）の前記所定位置の画素の前記所定色の画素値、ｗは、所定の重みを示すパラメータ（ｗ＜１）である。
【００５５】
要するに、直前に与えられた原画像Ｐ（ｉ−１）までの原画像について算出された第（ｉ−１）番目の平均画像Ａ（ｉ−１）の画素値ａ（ｉ−１）と、新たに与えられた第ｉ番目の原画像Ｐ（ｉ）の画素値ｐ（ｉ）とについて、重みｗを考慮した平均値が算出され、当該算出値を第ｉ番目の平均画像Ａ（ｉ）の画素値ａ（ｉ）とする処理が行われることになる。このように、新たな原画像Ｐ（ｉ）が入力されるたびに、平均画像Ａ（ｉ）を更新してゆき、しかも更新には直前の平均画像Ａ（ｉ−１）のみを用いるようにすれば、過去の原画像データを何フレーム分にもわたって蓄積保持しておく必要がないので、処理を行うために必要なバッファの容量を大幅に節約することができる。
【００５６】
図３に示すとおり、重みｗの値を大きくすればするほど、最新の原画像Ｐ（ｉ）の画素値が平均画像Ａ（ｉ）の画素値に大きな影響を与えることになる。図４は、図３に示す方法に基づいて作成される平均画像上の１画素の画素値変遷プロセスを示す図である。この例では、重みｗ＝０．０１に設定した具体例が示されている。
【００５７】
たとえば、第１番目（ｉ＝１）の原画像Ｐ（１）の特定位置の画素の画素値がｐ（１）＝１００であったとすると、第１番目の平均画像Ａ（１）の当該特定位置の画素の画素値ａ（１）は、そのままａ（１）＝１００となる。続いて、第２番目の原画像Ｐ（２）の当該特定位置の画素の画素値がｐ（２）＝１００であったとすると、第２番目の平均画像Ａ（２）の当該特定位置の画素の画素値ａ（２）は、ａ（１）とｐ（２）との重みつき平均「０．９９×１００＋０．０１×１００」を計算することにより、ａ（２）＝１００になる。
【００５８】
図示の例では、原画像の当該特定位置の画素値は、ｐ（１）〜ｐ（４）まで１００のまま変化しないため、平均画像の当該特定位置の画素値も、ａ（１）〜ａ（４）まで１００を維持する。ところが、第５番目の原画像Ｐ（５）では、画素値ｐ（５）＝２００に急変したため、第５番目の平均画像Ａ（５）の画素値ａ（５）は、図４の下段の式に示すとおり、ａ（４）とｐ（５）との重みつき平均「０．９９×１００＋０．０１×２００」を計算することにより、ａ（５）＝１０１になる。更に、第６番目の原画像Ｐ（６）および第７番目の原画像Ｐ（７）では、画素値ｐ（６）＝ｐ（７）＝２００が維持されているため、図４の下段の式に示すとおり、第６番目の平均画像Ａ（６）および第７番目の平均画像Ａ（７）では、画素値ａ（６）＝１０２、画素値ａ（７）＝１０３、と徐々に増加している。
【００５９】
この例のように、重みｗを０．０１程度の値に設定すると、原画像の画素値が急激に変化しても、平均画像の画素値は直ちに変化することはなく、原画像の画素値にゆっくりと近づいてゆくことになる。したがって、図１に示す例のように、車両が通過する動画が与えられたとしても、一過性の画素値変化は、平均画像の画素値に大きな変化をもたらすことはなく、平均画像は背景画像としての機能を果たすことができる。一方、時刻が日中から夕暮れに変わった場合など、照明環境に変化が生じた場合、当該変化は多数のフレーム画像にわたって持続するため、平均画像の画素値も当該変化に追従して変化することになる。したがって、日中には日中の背景画像に適した平均画像が得られ、夕暮れには夕暮れの背景画像に適した平均画像が得られることになる。
【００６０】
動体の領域を示す動体識別画像Ｍは、このような方法で作成された平均画像を背景画像として、個々の原画像を比較することによって作成することができる。図５は、このようにして作成される動体識別画像Ｍの画素値決定プロセスを示す図である。第ｉ番目の原画像Ｐ（ｉ）についての動体識別画像Ｍ（ｉ）は、次のような方法で決定される画素値をもつ画素の集合体からなる二値画像である。すなわち、動体識別画像Ｍ（ｉ）の特定位置の画素の画素値ｍ（ｉ）は、原画像Ｐ（ｉ）の当該特定位置の画素の画素値ｐ（ｉ）と、平均画像Ａ（ｉ−１）の当該特定位置の画素の画素値ａ（ｉ−１）との比較によって決定され、両画素値が類似範囲内であれば、背景領域Ｋ内の画素であることを示す画素値（たとえば、「０」）が与えられ、両画素値が類似範囲外であれば、前景領域Ｆ内の画素であることを示す画素値（たとえば、「１」）が与えられる。
【００６１】
なお、原画像が三原色の各画素値（たとえば、ＲＧＢ表色系の場合、Ｒ，Ｇ，Ｂの３色の画素値）をもったカラー画像である場合は、原画像Ｐ（ｉ）を構成する各画素の画素値ｐ（ｉ）や、平均画像Ａ（ｉ）を構成する各画素の画素値ａ（ｉ）は、いずれも色ごとに独立した３つの値から構成されていることになる。そして、式（１）の演算は、個々の色ごとにそれぞれ独立して実行されることになる。たとえば、平均画像Ａ（ｉ）上の特定位置の画素の画素値ａ（ｉ）は、Ｒ色の画素値、Ｇ色の画素値、Ｂ色の画素値という３組の画素値によって構成され、Ｒ色の画素値は、過去の原画像のＲ色の画素値の重みつき平均として得られた値になる。
【００６２】
したがって、図５における画素値ｐ（ｉ）と画素値ａ（ｉ−１）との比較は、単なる２つの値の比較ではなく、３組の画素値と３組の画素値との比較ということになる。当然ながら、画素の類否判定は、この３組の画素値の組み合わせからなる色同士が類似するか否かを判定する処理ということになる。このような２つの色の類否判定は、たとえば、色空間上でのユークリッド距離の大小に基づいて行うことができる。すなわち、画素値Ｒ，Ｇ，Ｂをそれぞれ座標軸にとった色空間上に、比較対象となる２つの色を点としてプロットし、２つの点のユークリッド距離が所定の基準値以下である場合には類似、基準値を越える場合には非類似とすればよい。
【００６３】
＜＜＜ §２．ブロッブ包摂図形を用いた動体追跡の手法 ＞＞＞
さて、§１では、一般的な動体検出の基本原理を述べた。ここでは、こうして検出された動体を追跡する手法を説明する。動体の追跡とは、個々のフレーム単位で検出された動体を時系列的に追ってゆくことである。たとえば、図１に示す例の場合、動体識別画像Ｍ２０，Ｍ３０，Ｍ４０を個々に見ると、それぞれ前景領域Ｆ２０，Ｆ３０，Ｆ４０を動体として認識することができるが、動体追跡とは、これら前景領域Ｆ２０，Ｆ３０，Ｆ４０を、同一の動体の時系列情報として把握することである。一般に、動体に対応する個々の前景領域Ｆ２０，Ｆ３０，Ｆ４０を構成するひとまとまりの画素集団は、ブロッブ（blob）と呼ばれており、動体追跡とは、同一の動体を示すブロッブを時系列に並べて把握することである。
【００６４】
ある１フレームの原画像に含まれるブロッブは、その輪郭線によって規定することができる。たとえば、図１の動体識別画像Ｍ３０に含まれている前景領域Ｆ３０は、原画像Ｐ３０内の動体（車両）の領域を示すブロッブであり、このブロッブの輪郭線の情報さえあれば、原画像Ｐ３０から動体（車両）の部分のみを切出すことが可能である。したがって、動体追跡の結果は、ブロッブの輪郭線の情報を時系列で並べることによって示すことができる。
【００６５】
ただ、実際には、ブロッブの輪郭線は非常に複雑な図形であり、このような輪郭線の情報を個々のフレーム単位で保存するには、かなり大きな記憶容量が必要になる。また、一般的な用途では、そのような複雑な輪郭線の情報が必要になることは少ない。そこで、実用上は、このブロッブの外接図形によって、動体の位置、形状、大きさを代表させる手法が採られる。本願では、このような外接図形を「ブロッブ包摂図形」と呼ぶことにする。外接図形としては、どのような図形を採用してもよいが、通常、四角形が利用される。したがって、以下に述べる基本的な実施形態においても、ブロッブの外接矩形を「ブロッブ包摂図形」と定義し、このブロッブ包摂図形によって、動体の位置、形状、大きさを代表させるものとする。
【００６６】
図６(a) および(b) は、図１に示す動体識別画像Ｍ３０およびＭ４０に基づいて、それぞれブロッブ包摂図形Ｂ３０およびＢ４０（太線で示す矩形）を抽出した例を示す平面図である。図６(a) に示すブロッブ包摂図形Ｂ３０は、動体識別画像Ｍ３０に含まれる前景領域Ｆ３０（ブロッブ）の外接矩形であり、図６(b) に示すブロッブ包摂図形Ｂ４０は、動体識別画像Ｍ４０に含まれる前景領域Ｆ４０（ブロッブ）の外接矩形である。このような外接矩形からなるブロッブ包摂図形Ｂ３０，Ｂ４０は、単純な幾何学図形であるため、極めて小さな情報量で表現することができ、しかも、動体の位置、形状、大きさを大まかに示すことができる。もちろん、ブロッブの輪郭線の情報に比べれば、ブロッブ包摂図形の情報は精度が低く、特に形状に関しては、大まかな縦横比しか示すことはできない。しかしながら、実用上は、このような大まかな情報をもったブロッブ包摂図形により動体追跡が行われれば十分である。
【００６７】
たとえば、図６(a) から(b) へのブロッブ包摂図形の変遷を見ると、横長の矩形のブロッブ包摂図形が画面の下方を右から左へと移動していることが認識できる。これを図１の原画像Ｐ３０からＰ４０への変遷と照らし合わせれば、車両を動体として追跡することが可能である。図７(a) ，(b) は、図６(a) ，(b) に示すブロッブ包摂図形Ｂ３０，Ｂ４０を利用して、原画像Ｐ３０，Ｐ４０から、それぞれ部分画像ｆ３０，ｆ４０を切出した状態を示す平面図である。図の下段に示す図は、切出した部分画像ｆ３０，ｆ４０をディスプレイの画面一杯に拡大表示した状態を示している。
【００６８】
ディスプレイ画面の縦横比（アスペクト比）は、通常、固定されているのに対して、ブロッブ包摂図形を構成する矩形の縦横比は動体の形状に応じて任意になるので、ブロッブ包摂図形Ｂ３０，Ｂ４０を構成する矩形と部分画像ｆ３０，ｆ４０の外枠とは正確には一致しないが、ブロッブ包摂図形Ｂ３０，Ｂ４０をほぼ画面一杯に表示するような切出しを行うことにより、常に動体（車両）をズームアップした状態で追跡するような動画提示を行うことができるようになる。したがって、監視システムなどで、検出した動体をズームアップした状態で追跡して表示させるような用途の場合、動体の外接矩形からなるブロッブ包摂図形を時系列に並べた情報が得られれば、当該情報は、動体追跡の結果を示す情報として十分に利用価値がある。
【００６９】
ここで述べる基本的な実施形態に係る動体追跡装置の目的は、このようなブロッブ包摂図形を時間軸上に並べた情報（後述するように、当該情報をトラッカーと呼ぶ）を得ることにある。ただ、図１に示す例は、単一の動体（車両）が画面を横切る単純な動画画像の例であるが、実際には、同じ画面上に複数の動体が同時に存在することも少なくない。このように１フレームの原画像上に複数の動体が存在する場合、ブロッブ包摂図形も複数抽出されることになるので、同一の動体に基づいて抽出されたブロッブ包摂図形を一連の連続ブロッブ包摂図形として時間軸上に並べる必要がある。
【００７０】
図８は、複数の動体が存在する原画像Ｐ１０を示す平面図である。この例は、あまり現実的な景色ではないが、説明の便宜上、動体Ｏ１（馬）、動体Ｏ２（人）、動体Ｏ３（車）、動体Ｏ４（鳥）という４種類の動体が同時に存在する例になっている。ここで、馬Ｏ１と人Ｏ２は画面の左から右へ移動しており、車Ｏ３と鳥Ｏ４は画面の右から左へ移動しているものとする。なお、実際には、これら４種類の動体Ｏ１〜Ｏ４の奥には、背景画像（街の景色）が写っているが、図が繁雑になるため、以下に示す各原画像では、背景画像の描画は省略する。
【００７１】
図９は、図８に示す原画像Ｐ１０から作成された動体識別画像Ｍ１０を示す平面図である。この動体識別画像Ｍ１０は、§１で述べたとおり、原画像Ｐ１０と背景画像との差分画像として作成される二値画像であり、背景領域Ｋ１０と前景領域Ｆ１０ａ，Ｆ１０ｂ，Ｆ１０ｃ，Ｆ１０ｄによって構成される。
【００７２】
ここでは、時間軸上に時刻ｔ１，ｔ２，ｔ３，...，を定義し、これらの各時刻に得られた原画像をそれぞれ原画像Ｐ１，Ｐ２，Ｐ３，...，と呼ぶことにしよう。図８に示す原画像Ｐ１０は、時刻ｔ１０において得られた原画像ということになる。図１０は、時間軸上の時刻ｔ１０，ｔ２０，ｔ４０における原画像Ｐ１０，Ｐ２０，Ｐ４０を示す平面図である。すなわち、図１０(a) に示す原画像Ｐ１０は、時刻ｔ１０において得られた原画像であり、上述したとおり、馬Ｏ１と人Ｏ２が右へ移動し、車Ｏ３と鳥Ｏ４が左へ移動している。また、図１０(b) に示す原画像Ｐ２０は、時刻ｔ２０において得られた原画像であり、各動体が進行方向に向かって更に移動を続けた状態になっている。そして、図１０(c) に示す原画像Ｐ４０は、時刻ｔ４０において得られた原画像であり、馬Ｏ１，人Ｏ２，車Ｏ３はそれぞれ進行方向に向かって移動を続け、鳥Ｏ４は既に画面左方向へ飛び去り、新たな動体として犬Ｏ５が出現した状態になっている。
【００７３】
図１１(a) 〜(c) は、図１０(a) 〜(c) に示す原画像Ｐ１０，Ｐ２０，Ｐ４０から作成された動体識別画像Ｍ１０，Ｍ２０，Ｍ４０およびこれらから抽出されたブロッブ包摂図形を示す平面図である。ここで、Ｋ１０，Ｋ２０，Ｋ４０は、各動体識別画像Ｍ１０，Ｍ２０，Ｍ４０内の背景領域である。また、文字Ｆが先頭に付された符号で示すハッチング領域は前景領域であり、文字Ｆに後続する２桁の数字は時刻を示し、末尾の小文字のアルファベットは動体を区別するための記号である。一方、文字Ｂが先頭に付された符号で示す太線の矩形は、文字Ｂを文字Ｆに置き換えた前景領域（ブロッブ）の外接矩形として抽出されたブロッブ包摂図形である。
【００７４】
たとえば、図１１(a) の動体識別画像Ｍ１０の左下に示されているハッチング領域Ｆ１０ａは、図１０(a) に示す原画像Ｐ１０上の動体Ｏ１（馬）に対応する前景領域（ブロッブ）であり、太線の矩形で示されたブロッブ包摂図形Ｂ１０ａは、この前景領域Ｆ１０ａの外接矩形として抽出されたブロッブ包摂図形である。結局、図１１(a) に示す動体識別画像Ｍ１０上では、合計４つのブロッブ包摂図形Ｂ１０ａ〜Ｂ１０ｄが抽出され、図１１(b) に示す動体識別画像Ｍ２０上では、合計４つのブロッブ包摂図形Ｂ２０ａ〜Ｂ２０ｄが抽出され、図１１(c) に示す動体識別画像Ｍ４０上では、合計４つのブロッブ包摂図形Ｂ４０ａ〜Ｂ４０ｃ，Ｂ４０ｅが抽出されることになる。
【００７５】
このように、同一画面上に複数の動体が存在し、複数のブロッブ包摂図形が抽出される場合、同一の動体に基づいて抽出されたブロッブ包摂図形を一連の連続するブロッブ包摂図形として時系列で並べることが重要である。このような一連の連続するブロッブ包摂図形の並びは、一般に、トラッカー（Tracker）と呼ばれている。図１２は、図１１に示す動体識別画像Ｍ１０，Ｍ２０，Ｍ４０に基づいて作成されたトラッカーの一例を示す図である。この図は、横方向に時間軸をとり、縦方向に６個のトラッカーを並べた表によって構成されている。表の１行目には対応する時刻ｔ１〜ｔ４０が示されており、表の２行目には各時刻に得られた原画像Ｐ１〜Ｐ４０が示されている。一方、左端の列に記載されたＴ１〜Ｔ６は、個々のトラッカーの名称であり、各トラッカーの実体は、表の横方向に記載されたブロッブ包摂図形の並びの情報である。
【００７６】
たとえば、第１番目のトラッカーＴ１の実体は、...，Ｂ１０ａ，...，Ｂ２０ａ，...，Ｂ４０ａといったブロッブ包摂図形の並びを示す情報である。ここで、ブロッブ包摂図形Ｂ１０ａは、図１１(a) に示すように、時刻ｔ１０における馬の輪郭に対する外接矩形であり、ブロッブ包摂図形Ｂ２０ａは、図１１(b) に示すように、時刻ｔ２０における馬の輪郭に対する外接矩形であり、ブロッブ包摂図形Ｂ４０ａは、図１１(c) に示すように、時刻ｔ４０における馬の輪郭に対する外接矩形である。結局、トラッカーＴ１は、馬を示すブロッブ包摂図形を時系列的に並べたものになる。同様に、トラッカーＴ２は人、Ｔ３は車，Ｔ４は鳥、Ｔ５は犬を示すブロッブ包摂図形を、それぞれ時系列的に並べたものになる。
【００７７】
なお、図１２に示す表では、図示の便宜上、時刻ｔ１０，ｔ２０，ｔ４０以外の時刻についてのブロッブ包摂図形は掲載が省略されているが、もちろん、各フレームの原画像について、それぞれブロッブ包摂図形が抽出され、所定のトラッカー上に並べられることになる。たとえば、１秒間に３０フレームの撮影画像からなる動画の場合、１／３０秒ごとの各時刻に得られた各原画像のそれぞれについて、ブロッブ包摂図形が抽出され、トラッカー上に並べられる。
【００７８】
この図１２に例示するようなトラッカーの情報は、動体追跡の結果を示す情報に他ならない。たとえば、トラッカーＴ１は、馬を追跡した結果であり、表の左側から右側へと、各ブロッブ包摂図形...，Ｂ１０ａ，...，Ｂ２０ａ，...，Ｂ４０ａを追ってゆけば、動画上で馬を追跡することができる。具体的には、原画像Ｐ１０，...，Ｐ２０，...，Ｐ４０，...から、各ブロッブ包摂図形Ｂ１０ａ，...，Ｂ２０ａ，...，Ｂ４０ａ...を構成する矩形内部を切出して拡大表示すれば、馬をズームアップした状態で追跡することができる。
【００７９】
ここに示す実施形態の場合、１つのブロッブ包摂図形は動体の輪郭線の外接矩形を示すものであり、ブロッブ包摂図形を示すデータの実体は、当該外接矩形の対角に位置する２頂点の座標値によって構成される。図１３は、ブロッブ包摂図形Ｂの実体データを示す平面図である。図示の例は動体Ｏ３（車）に対応する前景領域Ｆ（ブロッブ）の外接矩形としてブロッブ包摂図形Ｂが抽出された例であり、このブロッブ包摂図形Ｂは、原画像Ｐ上に定義されたＸＹ座標系を用いて、左上の頂点Ｑ１（ｘ１，ｙ１）の座標値（ｘ１，ｙ１）と、右下の頂点Ｑ２（ｘ２，ｙ２）の座標値（ｘ２，ｙ２）とによって定義することができる（もちろん、左下の頂点と右上の頂点とによって定義してもよい）。したがって、図１２に示すトラッカーの各欄には、実際には、「ｘ１，ｙ１，ｘ２，ｙ２」のような座標値を示すデータが収容されていることになる。
【００８０】
図１０に例示する動画の場合、馬Ｏ１，人Ｏ２，車Ｏ３は原画像Ｐ１０からＰ４０を経ても画面上に留まっているが、鳥Ｏ４は原画像Ｐ４０に至る前に画面外へ去っており、犬は原画像Ｐ４０において出現している。そのため、図１２に示す動体追跡の結果では、トラッカーＴ１（馬），トラッカーＴ２（人），トラッカーＴ３（車）上には、時刻ｔ１０からｔ４０を経てもなお、連続したブロッブ包摂図形の並びが存在しているが、トラッカーＴ４（鳥）上では、時刻ｔ４０の直前で連続したブロッブ包摂図形の並びが消滅しており、トラッカーＴ５（犬）上では、時刻ｔ４０から連続したブロッブ包摂図形の並びが始まっている。図の各トラッカー欄に示す太線の細長い楕円は、このような時系列に沿った一連の連続したブロッブ包摂図形の並びを示している。また、×印の欄は、当該時刻にはブロッブ包摂図形が登録されていないことを示している。別言すれば、×印の欄の存在により、一連の連続したブロッブ包摂図形の並び（すなわち、ある１つの動体についての追跡）が終焉することになる。
【００８１】
図１１に示す各ブロッブ包摂図形を、図１２に示すトラッカー上に登録する際には、同一の動体に基づいて抽出されたと推定されるブロッブ包摂図形が同一のトラッカー上に登録されるようにする必要がある。たとえば、図１１(a) に示すブロッブ包摂図形Ｂ１０ａ（馬）が、図１２に示すようにトラッカーＴ１の時刻ｔ１０欄に登録された場合、図１１(b) に示すブロッブ包摂図形Ｂ２０ａ（馬）も、図１２に示すように同じトラッカーＴ１の時刻ｔ２０欄に登録されるようにし、図１１(c) に示すブロッブ包摂図形Ｂ４０ａ（馬）も、図１２に示すように同じトラッカーＴ１の時刻ｔ４０欄に登録されるようにしなければならない。
【００８２】
ここで、人間が目視すれば、ブロッブ包摂図形Ｂ１０ａ，Ｂ２０ａ，Ｂ４０ａ内の各原画像には、馬という同一の動体が含まれていることが認識できるが、コンピュータにそのような認識をさせるためには、複雑なアルゴリズムによる動体の特徴解析を行う必要がある。そこで、通常は、ブロッブ包摂図形の位置、面積、形状といった情報を手掛かりに、同一の動体が含まれているブロッブ包摂図形を推定する手法を採り、同一の動体に基づいて抽出されたと推定されるブロッブ包摂図形を同一のトラッカー上に登録する処理を行う。
【００８３】
たとえば、原画像Ｐ１０に基づいて、図１２に示すように、トラッカーＴ１，Ｔ２，Ｔ３，Ｔ４にそれぞれブロッブ包摂図形Ｂ１０ａ，Ｂ１０ｂ，Ｂ１０ｃ，Ｂ１０ｄが登録された状態において、これらのブロッブ包摂図形に後続して、原画像Ｐ２０に基づいて、ブロッブ包摂図形Ｂ２０ａ，Ｂ２０ｂ，Ｂ２０ｃ，Ｂ２０ｄをいずれかのトラッカーに登録する処理を例にとって考えてみる（実際には、その間に、原画像Ｐ１１〜Ｐ１９に基づくブロッブ包摂図形が登録される）。この場合、図１１(a) に示すブロッブ包摂図形Ｂ１０ａに後続してトラッカーＴ１に登録するのに最も適したブロッブ包摂図形として、図１１(b) に示す４つの候補ブロッブ包摂図形の中から、位置、面積、形状が最も類似しているブロッブ包摂図形Ｂ２０ａが選択されることになる。かくして、図１２に示すように、トラッカーＴ１の時刻ｔ２０欄には、ブロッブ包摂図形Ｂ２０ａが登録される。
【００８４】
要するに、ブロッブ包摂図形の実体が単純な矩形図形であったとしても、位置、面積、形状が類似するブロッブ包摂図形を時系列的に追跡してゆき、これを同一トラッカー上に登録してゆくという簡便な手法を採ることにより、図１２に示すように、正しい動体追跡の結果が得られるのである。このような手法では、馬，人，車，鳥といった個別の動体の特徴を解析する複雑な処理を行う必要はない。
【００８５】
＜＜＜ §３．複数の動体が交差した場合の問題点 ＞＞＞
上述したとおり、ブロッブ包摂図形（ここに示す実施形態では外接矩形）を時系列的に追跡してゆく手法を採れば、個別の動体の特徴を解析する複雑な処理を行うことなしに動体追跡が可能になる。実際、２つの矩形の位置、面積、形状の類似度を定量的に評価する処理は比較的単純な算術演算処理によって行うことができるので、ブロッブ包摂図形を時系列的に追跡してゆく処理の演算負担は小さい。これがブロッブ包摂図形を用いた動体追跡の手法の利点である。
【００８６】
しかしながら、同一画面内に存在する複数の動体は、それぞれが任意の方向に移動しているため、移動経路が画面上で交差する場合がある。図１０(a) ，(b) ，(c) に示す３つの原画像Ｐ１０，Ｐ２０，Ｐ４０は、説明の便宜上、複数の動体が交差した状態を避けたものであり、いずれの動体も画面上で重なり合っていないが、実際には、これらの中間時点において、複数の動体が画面上で重なり合う状態が生じる。
【００８７】
図１４(a) ，(b) ，(c) は、時系列上の時刻ｔ２０，ｔ３０，ｔ４０における原画像Ｐ２０，Ｐ３０，Ｐ４０を示す平面図である。ここで、原画像Ｐ２０およびＰ４０は、図１０に示す原画像Ｐ２０およびＰ４０と全く同じものであるが、原画像Ｐ３０は、その中間時点の状態を示すものである。この原画像Ｐ３０では、馬Ｏ１，人Ｏ２，車Ｏ３が部分的に重なり合っており、鳥Ｏ４だけが重なりを免れている。
【００８８】
§２で述べた手法では、このように複数の動体の移動経路の交差により、動体同士に重なり合いが生じると、正確な追跡を行うことができない。これは、図１４(b) に原画像Ｐ３０として示すように、交差時点で複数の物体が、ひとかたまりの物体に融合し、その後、元通りの複数の物体に分離することになるためである。もちろん、人間が原画像Ｐ３０を観察すれば、依然として、馬Ｏ１，人Ｏ２，車Ｏ３という動体を個別の動体として把握することが可能であるが、§２で述べたブロッブ包摂図形を用いた動体追跡の手法を採ると、馬Ｏ１，人Ｏ２，車Ｏ３が融合した状態でブロッブ包摂図形を構成することになるため、個々の動体を個別に認識することができなくなるのである。
【００８９】
図１５(a) ，(b) ，(c) は、図１４(a) ，(b) ，(c) に示す原画像Ｐ２０，Ｐ３０，Ｐ４０から作成された動体識別画像Ｍ２０，Ｍ３０，Ｍ４０およびこれらから抽出されたブロッブ包摂図形を示す平面図である。ここで、動体識別画像Ｍ２０およびＭ４０は、図１１に示す動体識別画像Ｍ２０およびＭ４０と全く同じものである。これに対して、動体識別画像Ｍ３０は、その中間時点の状態を示すものであり、図１４(b) に示す原画像Ｐ３０に基づいて作成されたものである。図示のとおり、動体識別画像Ｍ３０からは、２つのブロッブ包摂図形Ｂ３０ｄ，Ｂ３０ｇが抽出されるだけである。ここで、ブロッブ包摂図形Ｂ３０ｄは、鳥Ｏ４の輪郭を包摂するものであるが、ブロッブ包摂図形Ｂ３０ｇは、馬Ｏ１，人Ｏ２，車Ｏ３の融合体の輪郭を包摂するものになっている。
【００９０】
§２で述べた動体追跡の手法では、ブロッブ包摂図形Ｂ３０ｇが、馬Ｏ１，人Ｏ２，車Ｏ３の融合体の輪郭を包摂するものと認識することはできないので、トラッカーに登録するプロセスにおいて、誤認識が生じることになり、正しい動体追跡を行うことができなくなる。どのような誤認識が生じるかは、ブロッブ包摂図形の位置、面積、形状といった情報を手掛かりに、同一の動体が含まれているブロッブ包摂図形を推定するために採用した具体的な方法によって様々である。
【００９１】
図１６は、図１５に示す動体識別画像Ｍ２０，Ｍ３０，Ｍ４０に基づいて作成されたトラッカーの一例を示す図である。この例は、ブロッブ包摂図形Ｂ３０ｇ（人車馬）を車と誤認識した例である。すなわち、図１５(b) に示すブロッブ包摂図形Ｂ３０ｇ（人車馬）が、図１５(a) に示すブロッブ包摂図形Ｂ２０ｃ（車）の後続ブロッブ包摂図形として適している（すなわち、位置、面積、形状が類似している）と判断し、ブロッブ包摂図形Ｂ３０ｇ（人車馬）をトラッカーＴ３の時刻ｔ３０欄に登録している。一方、図１５(b) に示すブロッブ包摂図形Ｂ３０ｄ（鳥）については、図１５(a) に示すブロッブ包摂図形Ｂ２０ｄ（鳥）の後続ブロッブ包摂図形として適していると判断し（この判断は正しい）、ブロッブ包摂図形Ｂ３０ｄ（鳥）をトラッカーＴ４の時刻ｔ３０欄に登録している。動体識別画像Ｍ３０には、その他のブロッブ包摂図形はないので、トラッカーＴ１，Ｔ２，Ｔ５，Ｔ６の時刻ｔ３０欄に登録するブロッブ包摂図形は存在せず、これらの欄は無登録状態（×印）となっている。
【００９２】
一方、時刻ｔ４０になると、馬Ｏ１，人Ｏ２，車Ｏ３の融合状態は解消する。このため、動体識別画像Ｍ４０からは、４つのブロッブ包摂図形Ｂ４０ａ，Ｂ４０ｂ，Ｂ４０ｃ，Ｂ４０ｅが抽出される。図１６に示す例の場合、こうして抽出された４つのブロッブ包摂図形のうち、ブロッブ包摂図形Ｂ４０ｂ（人）がブロッブ包摂図形Ｂ３０ｇ（人車馬）の後続ブロッブ包摂図形として適している（すなわち、位置、面積、形状が類似している）と判断され、ブロッブ包摂図形Ｂ４０ｂ（人）がトラッカーＴ３の時刻ｔ４０欄に登録されている。また、鳥Ｏ４は画面から去ってしまっているので、トラッカーＴ４の時刻ｔ４０欄は無登録状態（×印）となっている。
【００９３】
残りの３つのブロッブ包摂図形Ｂ４０ａ（馬），Ｂ４０ｃ（車），Ｂ４０ｅ（犬）は、時刻ｔ４０になって出現した新参ブロッブ包摂図形（時刻ｔ４０になって初めて出現した新参動体についてのブロッブ包摂図形）と認識され、それぞれ空き状態のトラッカーＴ１，Ｔ２，Ｔ５の時刻ｔ４０欄に登録されている。ここで、ブロッブ包摂図形Ｂ４０ｅ（犬）が、新参ブロッブ包摂図形であるとの認識は正しいものであるが、ブロッブ包摂図形Ｂ４０ａ（馬），Ｂ４０ｃ（車）が、新参ブロッブ包摂図形であるとの認識は誤りである。
【００９４】
この図１６に示すような誤った動体追跡結果が得られると、特定の動体をズームアップした状態で追跡表示させるような処理を正しく行うことができない。たとえば、車Ｏ３をズームアップして追跡表示させるために、トラッカーＴ３に並べられたブロッブ包摂図形Ｂ２０ｃ（車），...，Ｂ３０ｇ（人車馬），...，Ｂ４０ｂ（人）...を構成する矩形内部を切出して拡大表示すると、拡大表示される追跡対象が車から人に途中で取り違えられてしまうことになる。また、トラッカーＴ１に基づいて馬Ｏ１を追跡した場合や、トラッカーＴ２に基づいて人Ｏ２を追跡した場合、時刻ｔ３０の直前で追跡は終了してしまう。
【００９５】
図１７は、図１５に示す動体識別画像Ｍ２０，Ｍ３０，Ｍ４０に基づいて作成されたトラッカーの別な一例を示す図である。この例は、ブロッブ包摂図形Ｂ３０ｇ（人車馬）を新参動体と誤認識した例である。すなわち、図１５(b) に示すブロッブ包摂図形Ｂ３０ｇ（人車馬）が、図１５(a) に示すブロッブ包摂図形Ｂ２０ａ（馬），Ｂ２０ｂ（人），Ｂ２０ｃ（車），Ｂ２０ｄ（鳥）のいずれの後続ブロッブ包摂図形としても適していない（すなわち、位置、面積、形状が類似していない）と判断し、ブロッブ包摂図形Ｂ３０ｇ（人車馬）をトラッカーＴ５の時刻ｔ３０欄に登録している。別言すれば、ブロッブ包摂図形Ｂ３０ｇ（人車馬）は、馬，人，車，鳥のいずれでもない新参動体と判断されたことになる。一方、図１５(b) に示すブロッブ包摂図形Ｂ３０ｄ（鳥）については、図１５(a) に示すブロッブ包摂図形Ｂ２０ｄ（鳥）の後続ブロッブ包摂図形として適していると判断し（この判断は正しい）、ブロッブ包摂図形Ｂ３０ｄ（鳥）をトラッカーＴ４の時刻ｔ３０欄に登録している。動体識別画像Ｍ３０には、その他のブロッブ包摂図形はないので、トラッカーＴ１，Ｔ２，Ｔ３，Ｔ６の時刻ｔ３０欄に登録するブロッブ包摂図形は存在せず、これらの欄は無登録状態（×印）となっている。
【００９６】
一方、時刻ｔ４０になると、馬Ｏ１，人Ｏ２，車Ｏ３の融合状態は解消する。このため、動体識別画像Ｍ４０からは、４つのブロッブ包摂図形Ｂ４０ａ，Ｂ４０ｂ，Ｂ４０ｃ，Ｂ４０ｅが抽出される。図１７に示す例の場合、こうして抽出された４つのブロッブ包摂図形は、いずれも時刻ｔ４０になって出現した新参ブロッブ包摂図形と認識され、それぞれ空き状態のトラッカーＴ１，Ｔ２，Ｔ３，Ｔ６の時刻ｔ４０欄に登録されている。ここで、ブロッブ包摂図形Ｂ４０ｅ（犬）が、新参ブロッブ包摂図形であるとの認識は正しいものであるが、ブロッブ包摂図形Ｂ４０ａ（馬），Ｂ４０ｂ（人），Ｂ４０ｃ（車）が、新参ブロッブ包摂図形であるとの認識は誤りである。
【００９７】
この図１７に示すような誤った動体追跡結果が得られると、やはり特定の動体をズームアップした状態で追跡表示させるような処理を正しく行うことができない。たとえば、トラッカーＴ１に基づいて馬Ｏ１を追跡した場合、トラッカーＴ２に基づいて人Ｏ２を追跡した場合、トラッカーＴ３に基づいて車Ｏ３を追跡した場合、いずれも時刻ｔ３０の直前で追跡は終了してしまう。
【００９８】
前掲の特許文献７には、このような問題を解決するための一手法として、複数の動体を追跡する際に、動体同士が交差しているか否かの判定を行い、交差していると判定された場合には、重なり合った複数の動体の奥行き関係を認識して、正しい追跡を行う方法が開示されている。しかしながら、動体同士の交差を判定する処理や、奥行き関係を把握する処理のために、複雑なプロセスが必要になり、また、様々な状況において常に正確な処理を行うことは困難である。本発明は、複数の動体が交差した場合にも、効率的かつ正確に個々の動体を追跡することが可能な新しいアプローチを提案するものである。以下、本発明に係るこの新しいアプローチを詳述する。
【００９９】
＜＜＜ §４．本発明に係る後続ブロッブ包摂図形の認識法 ＞＞＞
この§４では、§３でも説明した図１４に示す事例について、本発明に係る後続ブロッブ包摂図形の認識法を適用した場合を説明する。この事例の問題点は、図１４(b) に示すように、時刻ｔ３０における原画像Ｐ３０上で複数の動体が交差しているため、図１５(b) に示すように、動体識別画像Ｍ３０から複数の動体の融合体についてのブロッブ包摂図形Ｂ３０ｇが抽出されてしまう点である。本発明に係る後続ブロッブ包摂図形の認識法では、原画像Ｐ３０のように、複数の動体が交差した場合でも、個々の動体について別個独立したブロッブ包摂図形を抽出することが可能になる。
【０１００】
そこで、以下、図１８に示すように、時刻ｔ２９における原画像Ｐ２９から、時刻ｔ３０における原画像Ｐ３０への変遷が生じた場合に、原画像Ｐ２９から抽出されたブロッブ包摂図形に対する後続ブロッブ包摂図形を、原画像Ｐ３０から認識する方法を説明しよう。ただ、ここでは説明の便宜上、まず、次の２つの点を前提とした仮想的な例を考えてみる。
【０１０１】
第１の前提は、図１８(a) に示す原画像Ｐ２９から、既に、４つの動体Ｏ１〜Ｏ４のそれぞれについて別個独立したブロッブ包摂図形が抽出されている、という前提である。図示のとおり、この原画像Ｐ２９上でも、既に動体Ｏ１〜Ｏ３が重なりを生じているため、§３で述べた方法では、動体Ｏ１〜Ｏ３の融合体について１つの合成ブロッブ包摂図形が抽出されてしまうが、ここでは、何らかの手法により、４つの動体Ｏ１〜Ｏ４のそれぞれについて、別個独立したブロッブ包摂図形が抽出されており、４つの異なるトラッカーの時刻ｔ２９欄に、これらのブロッブ包摂図形がそれぞれ登録されているものと仮定する。
【０１０２】
第２の前提は、図１８(a) に示す原画像Ｐ２９と図１８(b) に示す原画像Ｐ３０とが、全く同じ画像である、という前提である。実際には、時刻ｔ２９と時刻ｔ３０との間にはわずかながら時間差があり、各動体はそれぞれの進行方向に当該時間差に相当する距離だけ移動している。したがって、原画像Ｐ２９と原画像Ｐ３０とは若干異なる画像ということになる。ただ、ここでは、時刻ｔ２９と時刻ｔ３０との間において各動体の移動がなく、両画像が全く同じ画像であると仮定する。
【０１０３】
図１９(a) ，(b) は、図１８(a) ，(b) に示す原画像Ｐ２９，Ｐ３０から作成された動体識別画像Ｍ２９，Ｍ３０およびこれらから抽出されたブロッブ包摂図形を示す平面図である。図１９(a) に示すように、動体識別画像Ｍ２９からは、Ｂ２９ａ（馬），Ｂ２９ｂ（人），Ｂ２９ｃ（車），Ｂ２９ｄ（鳥）という４つの独立したブロッブ包摂図形が抽出されており、これらのブロッブ包摂図形は、それぞれトラッカーＴ１，Ｔ２，Ｔ３，Ｔ４の時刻ｔ２９欄に登録されている。人・馬・車が重なり合って融合体を形成しているにもかかわらず、それぞれ独立したブロッブ包摂図形が抽出されているのは、上述した第１の前提に基づくものである。
【０１０４】
これに対して、図１９(b) には、動体識別画像Ｍ３０から、§３で述べた方法により、ブロッブ包摂図形Ｂ３０ｄ，Ｂ３０ｇが抽出された状態（図１５(b) と同じ状態）が示されている。この状態で、トラッカーＴ１，Ｔ２，Ｔ３，Ｔ４の時刻ｔ２９欄に登録されている各ブロッブ包摂図形Ｂ２９ａ（馬），Ｂ２９ｂ（人），Ｂ２９ｃ（車），Ｂ２９ｄ（鳥）の後続ブロッブ包摂図形（時刻ｔ３０欄に登録すべきブロッブ包摂図形）を認識しようとしても、既に述べたとおり、正しい認識を行うことはできない。その理由は、トラッカーＴ１，Ｔ２，Ｔ３の時刻ｔ２９欄に登録されている各ブロッブ包摂図形Ｂ２９ａ（馬），Ｂ２９ｂ（人），Ｂ２９ｃ（車）に後続すべきブロッブ包摂図形が、１つのブロッブ包摂図形Ｂ３０ｇとして融合してしまっているためである。したがって、トラッカーＴ４に登録されているブロッブ包摂図形Ｂ２９ｄ（鳥）に対しては、ブロッブ包摂図形Ｂ３０ｄ（鳥）という後続ブロッブ包摂図形を登録することができるが、他のブロッブ包摂図形については、後続ブロッブ包摂図形の登録に失敗することになる。
【０１０５】
そこで、本発明では、複数の動体のうち、ある１つの動体に着目し、この着目動体のブロッブ包摂図形についての後続ブロッブ包摂図形を認識する際に、当該着目動体以外の動体についての先行ブロッブ包摂図形の領域をマスキングした動体識別画像を用いる、という手法を採る。ここでは、まず、動体Ｏ１（馬）を着目動体として、その後続ブロッブ包摂図形を認識する処理手順を説明しよう。別言すれば、図１９(a) に示すブロッブ包摂図形Ｂ２９ａ（馬）がトラッカーＴ１の時刻ｔ２９欄に登録されている状態において、トラッカーＴ１の時刻ｔ３０欄に登録すべき後続ブロッブ包摂図形を認識する処理を行うことになる。
【０１０６】
そのために、まず、図１９(b) に示す動体識別画像Ｍ３０に対して、マスキング処理を施す。図２０(a) は、このようなマスキング処理を行うことにより得られた動体識別画像を示す平面図である。ここでは、このようなマスキング後の動体識別画像を個別動体識別画像Ｍ（３０，１）と呼ぶことにする。図において、二重斜線によるハッチングを施して示されている領域は、各ブロッブ包摂図形に対応する矩形領域であり、これらの矩形領域によるマスキングを行うことにより、着目動体Ｏ１（馬）以外の動体が隠蔽されることになる。すなわち、トラッカーＴ２の時刻ｔ２９欄に登録されていたブロッブ包摂図形Ｂ２９ｂにより動体Ｏ２（人）が隠蔽され、トラッカーＴ３の時刻ｔ２９欄に登録されていたブロッブ包摂図形Ｂ２９ｃにより動体Ｏ３（車）が隠蔽され、トラッカーＴ４の時刻ｔ２９欄に登録されていたブロッブ包摂図形Ｂ２９ｄにより動体Ｏ４（鳥）が隠蔽される。結局、このマスキング処理によって得られた個別動体識別画像Ｍ（３０，１）には、着目動体Ｏ１（馬）のみが残ることになる。
【０１０７】
なお、図２０(a) では、説明の便宜上、二重斜線によるハッチングを施した矩形領域として、マスク領域（マスキング処理によって隠蔽される領域）を明示してあるが、実際には、このマスク領域は、背景領域の一部を構成することになるので、本来は、白地の領域として示すべき領域である。後述する図２１以降においても、説明の便宜上、マスク領域を二重斜線によるハッチング領域として明示するが、実際には、いずれも背景領域の一部を構成する領域となるので、本来は、白地の領域として示すべき領域である。
【０１０８】
図２０(b) は、図２０(a) に示す個別動体識別画像Ｍ（３０，１）から抽出されたブロッブ包摂図形Ｂ３０ａ（太線の矩形）を示す平面図である。前述したとおり、ここで述べる基本的実施形態では、前景領域の外接矩形をブロッブ包摂図形として抽出するため、ブロッブ包摂図形Ｂ３０ａは、着目動体Ｏ１（馬）の輪郭線の外接矩形となっている。このブロッブ包摂図形Ｂ３０ａは、トラッカーＴ１の時刻ｔ３０欄に登録すべき候補となるため、ここでは、候補ブロッブ包摂図形と呼ぶことにする。この例では、個別動体識別画像Ｍ（３０，１）から抽出された候補ブロッブ包摂図形が、図２０(b) に示す候補ブロッブ包摂図形Ｂ３０ａのみであるため、トラッカーＴ１の時刻ｔ３０欄には、この候補ブロッブ包摂図形Ｂ３０ａが後続ブロッブ包摂図形として登録されることになる。候補ブロッブ包摂図形が複数存在する場合には、§２で述べたとおり、候補ブロッブ包摂図形の中から、位置、面積、形状が最も類似しているものが後続ブロッブ包摂図形として選択される。
【０１０９】
なお、上述したマスキング処理により、個別動体識別画像Ｍ（３０，１）上では、着目動体Ｏ１（馬）の一部分が欠けた状態になっている。図示の例では、たまたま馬の首の部分の一部が欠けたため、ブロッブ包摂図形Ｂ３０ａは、依然として、着目動体Ｏ１（馬）の輪郭線の外接矩形となっているが、たとえば、馬の鼻の部分が欠けると、本来の外接矩形よりも横幅が若干小さい矩形がブロッブ包摂図形として抽出されることになる。このように、マスキング処理後の個別動体識別画像から抽出したブロッブ包摂図形は、本来の着目動体の輪郭線の外接矩形とは若干異なる可能性があるが、トラッカーに登録して動体追跡を行う上では支障は生じない。
【０１１０】
動体Ｏ２（人）を着目動体として、その後続ブロッブ包摂図形を認識する処理、すなわち、図１９(a) に示すブロッブ包摂図形Ｂ２９ｂ（人）がトラッカーＴ２の時刻ｔ２９欄に登録されている状態において、時刻ｔ３０欄に登録すべき後続ブロッブ包摂図形を認識する処理も同様に行うことができる。具体的には、図１９(b) に示す動体識別画像Ｍ３０に対して、着目動体（人）以外のブロッブ包摂図形を用いたマスキング処理を行えばよい。図２１(a) は、このようなマスキング処理を行うことにより得られた個別動体識別画像Ｍ（３０，２）を示す平面図である。図示のとおり、トラッカーＴ１の時刻ｔ２９欄に登録されていたブロッブ包摂図形Ｂ２９ａにより動体Ｏ１（馬）が隠蔽され、トラッカーＴ３の時刻ｔ２９欄に登録されていたブロッブ包摂図形Ｂ２９ｃにより動体Ｏ３（車）が隠蔽され、トラッカーＴ４の時刻ｔ２９欄に登録されていたブロッブ包摂図形Ｂ２９ｄにより動体Ｏ４（鳥）が隠蔽され、個別動体識別画像Ｍ（３０，２）には、着目動体Ｏ２（人）のみが残ることになる。
【０１１１】
図２１(b) は、図２１(a) に示す個別動体識別画像Ｍ（３０，２）から抽出された候補ブロッブ包摂図形Ｂ３０ｂ（太線の矩形）を示す平面図である。トラッカーＴ２の時刻ｔ３０欄には、この候補ブロッブ包摂図形Ｂ３０ｂが後続ブロッブ包摂図形として登録されることになる。ここでも、マスキング処理により、個別動体識別画像Ｍ（３０，２）上では、着目動体Ｏ２（人）の一部分が欠けた状態になっている。具体的には、着目動体Ｏ２（人）の下半身が欠けてしまっているため、ブロッブ包摂図形Ｂ３０ｂは、上半身の輪郭線の外接矩形となっている。ただ、図１８(b) に示す原画像Ｐ３０を見ればわかるとおり、もともと原画像Ｐ３０上においても動体Ｏ２（人）の下半身の画像情報は欠落しているので、ブロッブ包摂図形Ｂ３０ｂが上半身のみを示すものであっても支障は生じない。
【０１１２】
同様に、動体Ｏ３（車）を着目動体として、その後続ブロッブ包摂図形を認識する処理を行う場合は、図１９(b) に示す動体識別画像Ｍ３０に対して、着目動体（車）以外のブロッブ包摂図形を用いたマスキング処理を行えばよい。図２２(a) は、このようなマスキング処理を行うことにより得られた個別動体識別画像Ｍ（３０，３）を示す平面図である。図示のとおり、トラッカーＴ１の時刻ｔ２９欄に登録されていたブロッブ包摂図形Ｂ２９ａにより動体Ｏ１（馬）が隠蔽され、トラッカーＴ２の時刻ｔ２９欄に登録されていたブロッブ包摂図形Ｂ２９ｂにより動体Ｏ２（人）が隠蔽され、トラッカーＴ４の時刻ｔ２９欄に登録されていたブロッブ包摂図形Ｂ２９ｄにより動体Ｏ４（鳥）が隠蔽され、個別動体識別画像Ｍ（３０，３）には、着目動体Ｏ３（車）のみが残ることになる。
【０１１３】
図２２(b) は、図２２(a) に示す個別動体識別画像Ｍ（３０，３）から抽出された候補ブロッブ包摂図形Ｂ３０ｃ（太線の矩形）を示す平面図である。トラッカーＴ３の時刻ｔ３０欄には、この候補ブロッブ包摂図形Ｂ３０ｃが後続ブロッブ包摂図形として登録されることになる。ここでも、マスキング処理により、個別動体識別画像Ｍ（３０，３）上では、着目動体Ｏ３（車）の一部分が欠けた状態になっているが、動体追跡を行う上で支障は生じない。
【０１１４】
最後に、動体Ｏ４（鳥）を着目動体として、その後続ブロッブ包摂図形を認識する処理が行われる。動体Ｏ４（鳥）は、他の動体と融合することなしに、常に、独立を維持した動体であるが、後続ブロッブ包摂図形を認識する処理を行う上では、これまで述べてきた他の動体と全く同じ手法が採られる。すなわち、図１９(b) に示す動体識別画像Ｍ３０に対して、着目動体（鳥）以外のブロッブ包摂図形を用いたマスキング処理を行うことにより、図２３(a) に示すような個別動体識別画像Ｍ（３０，４）を得る。図示のとおり、トラッカーＴ１の時刻ｔ２９欄に登録されていたブロッブ包摂図形Ｂ２９ａにより動体Ｏ１（馬）が隠蔽され、トラッカーＴ２の時刻ｔ２９欄に登録されていたブロッブ包摂図形Ｂ２９ｂにより動体Ｏ２（人）が隠蔽され、トラッカーＴ３の時刻ｔ２９欄に登録されていたブロッブ包摂図形Ｂ２９ｃにより動体Ｏ３（車）が隠蔽され、個別動体識別画像Ｍ（３０，４）には、着目動体Ｏ４（鳥）のみが残ることになる。
【０１１５】
図２３(b) は、図２３(a) に示す個別動体識別画像Ｍ（３０，４）から抽出された候補ブロッブ包摂図形Ｂ３０ｄ（太線の矩形）を示す平面図である。トラッカーＴ４の時刻ｔ３０欄には、この候補ブロッブ包摂図形Ｂ３０ｄが後続ブロッブ包摂図形として登録されることになる。
【０１１６】
図２４は、図２０〜図２３に示す候補ブロッブ包摂図形に基づいて、各トラッカーの時刻ｔ３０欄以降に後続ブロッブ包摂図形の登録を行った状態を示す図である。ここで、時刻ｔ２９欄に登録されているブロッブ包摂図形は、図１９(a) に示す各ブロッブ包摂図形Ｂ２９ａ〜Ｂ２０ｄであり、時刻ｔ３０欄に登録されているブロッブ包摂図形は、前述した方法によって認識された後続ブロッブ包摂図形である。
【０１１７】
すなわち、トラッカーＴ１について、ブロッブ包摂図形Ｂ２９ａ（馬）に対する後続ブロッブ包摂図形（時刻ｔ３０欄に登録すべきブロッブ包摂図形）を認識する際には、トラッカーＴ１を着目トラッカーとして（すなわち、馬を着目動体として）、着目外トラッカーＴ２，Ｔ３，Ｔ４の時刻ｔ２９欄に登録されているブロッブ包摂図形Ｂ２９ｂ（人），Ｂ２９ｃ（車），Ｂ２９ｄ（鳥）を用いて、動体識別画像Ｍ３０に対するマスキング処理を行い、図２０(a) に示すような個別動体識別画像Ｍ（３０，１）を生成し、図２０(b) に示すような候補ブロッブ包摂図形Ｂ３０ａ（馬）を抽出し、これを後続ブロッブ包摂図形として認識することになる。図２４には、こうして後続ブロッブ包摂図形として認識された候補ブロッブ包摂図形Ｂ３０ａ（馬）が着目トラッカーＴ１の時刻ｔ３０欄に登録された状態が示されている。
【０１１８】
また、トラッカーＴ２について、ブロッブ包摂図形Ｂ２９ｂ（人）に対する後続ブロッブ包摂図形を認識する際には、今度はトラッカーＴ２を着目トラッカーとして（すなわち、人を着目動体として）、着目外トラッカーＴ１，Ｔ３，Ｔ４の時刻ｔ２９欄に登録されているブロッブ包摂図形Ｂ２９ａ（馬），Ｂ２９ｃ（車），Ｂ２９ｄ（鳥）を用いて、動体識別画像Ｍ３０に対するマスキング処理を行い、図２１(a) に示すような個別動体識別画像Ｍ（３０，２）を生成し、図２１(b) に示すような候補ブロッブ包摂図形Ｂ３０ｂ（人）を抽出し、これを後続ブロッブ包摂図形として認識することになる。トラッカーＴ３，Ｔ４についての後続ブロッブ包摂図形認識処理も全く同様である。
【０１１９】
図２５は、こうして、各トラッカーＴ１〜Ｔ４について認識された後続ブロッブ包摂図形Ｂ３０ａ〜Ｂ３０ｄを、動体識別画像Ｍ３０に重ねた状態を示す平面図である。結局、本発明に係る後続ブロッブ包摂図形の認識法を採用すると、動体識別画像Ｍ３０から、図１９(b) に示すブロッブ包摂図形Ｂ３０ｄ，Ｂ３０ｇが抽出される代わりに、図２５に示すようなブロッブ包摂図形Ｂ３０ａ〜Ｂ３０ｄが抽出されることになる。別言すれば、複数の動体が交差したために原画像Ｐ３０上で融合体が形成されていたとしても、この融合体の輪郭を包摂するブロッブ包摂図形Ｂ３０ｇではなく、個々の動体の輪郭を包摂するブロッブ包摂図形Ｂ３０ａ，Ｂ３０ｂ，Ｂ３０ｃが個別に抽出され、それぞれのトラッカーの後続ブロッブ包摂図形として登録されることになる。
【０１２０】
以上、時刻ｔ２９から時刻ｔ３０への変遷を例にとって、各トラッカーの時刻ｔ３０欄に登録する後続ブロッブ包摂図形を認識する手順を説明したが、同様の手順がすべての時刻欄について実行されることになる。その結果、図２４に示すとおり、トラッカーＴ１には、動体Ｏ１（馬）についてのブロッブ包摂図形を時系列に並べた情報が記録され、トラッカーＴ２には、動体Ｏ２（人）についてのブロッブ包摂図形を時系列に並べた情報が記録され、トラッカーＴ３には、動体Ｏ３（車）についてのブロッブ包摂図形を時系列に並べた情報が記録される。実際には、時刻ｔ３０の前後において、これら３つの動体は重なりを生じているが、上述した手順によれば、このような重なりを生じている期間であっても、個々の動体についてのブロッブ包摂図形が個別に抽出され、正しいトラッカーに登録されることになる。
【０１２１】
図２４の表を、図１６，図１７の表と比較すれば、正しい動体追跡が行われていることが容易に理解できよう。たとえば、車Ｏ３をズームアップして追跡表示させるために、トラッカーＴ３に並べられたブロッブ包摂図形を構成する矩形内部を切出して拡大表示すれば、常に、車Ｏ３を追跡する正しい結果が得られる。
【０１２２】
このように、本発明に係る後続ブロッブ包摂図形の認識法によって各トラッカーに後続ブロッブ包摂図形の登録を行うと、良好な動体追跡の結果が得られる理由は、個々のトラッカーごとに、それぞれ異なる個別動体識別画像（他のトラッカーの先行ブロッブ包摂図形を利用してマスキングした画像）を用意し、この個別動体識別画像から候補ブロッブ包摂図形を抽出するようにしたためである。
【０１２３】
すなわち、§２，§３で述べた方法では、図１９(b) に示すような共通の動体識別画像Ｍ３０から候補ブロッブ包摂図形Ｂ３０ｄ，Ｂ３０ｇを抽出していたため、正しい後続ブロッブ包摂図形の認識を行うことができなかった。これに対して、本発明に係る方法では、トラッカーＴ１の後続ブロッブ包摂図形は、図２０(a) に示すようなマスキングされた個別動体識別画像Ｍ（３０，１）から抽出し、トラッカーＴ２の後続ブロッブ包摂図形は、図２１(a) に示すようなマスキングされた個別動体識別画像Ｍ（３０，２）から抽出し、トラッカーＴ３の後続ブロッブ包摂図形は、図２２(a) に示すようなマスキングされた個別動体識別画像Ｍ（３０，３）から抽出し、トラッカーＴ４の後続ブロッブ包摂図形は、図２３(a) に示すようなマスキングされた個別動体識別画像Ｍ（３０，４）から抽出する、という手法を採るため、正しい後続ブロッブ包摂図形の認識を行うことが可能になる。
【０１２４】
なお、これまでの説明に用いた実例は、前述したとおり、２つの前提を仮定した実例である。まず、第１の前提として、図１９(a) に示すように、時刻ｔ２９において、一部の動体が重なり合っているにもかかわらず、何らかの手法により、４つの動体Ｏ１〜Ｏ４のそれぞれについて、別個独立したブロッブ包摂図形が抽出されており、４つの異なるトラッカーの時刻ｔ２９欄に、これらのブロッブ包摂図形がそれぞれ登録されているものと仮定する前提をおいた。しかしながら、当該前提は、特別な前提条件ではなく、本発明に係る後続ブロッブ包摂図形の認識法を採用すれば、必然的に満たされる前提条件になる。
【０１２５】
すなわち、初期時刻ｔ１において、各動体に重なりが生じていないものとすれば、その後に動体の重なりが生じたとしても、上述した手順で後続ブロッブ包摂図形の認識を行う限り、個々の動体は別個独立したブロッブ包摂図形として登録されることになる。たとえば、図１４に示す実例の場合、時刻ｔ２０における原画像Ｐ２０では動体の重なりは生じていないので、その後、時刻ｔ３０に至る過程で、動体の重なりが生じたとしても、個々の動体は別個独立したブロッブ包摂図形として登録されるので、図１９(a) に示す時刻ｔ２９においても、４つの動体Ｏ１〜Ｏ４のそれぞれについて、別個独立したブロッブ包摂図形が登録されている、という前提が成り立つことになる。したがって、この第１の前提は、特別な前提ではなく、上記手順を採用すれば当然満たされる前提である。
【０１２６】
次に、第２の前提として、図１８(a) に示す原画像Ｐ２９と図１８(b) に示す原画像Ｐ３０とが、全く同じ画像である、という前提をおいた。これは、時刻ｔ２９からｔ３０に至る期間、すべての動体Ｏ１〜Ｏ４が静止していた、という前提であるから、現実的には成立しない前提である。このような前提を置いたのは、本発明の基本原理の説明を容易にするための便宜に他ならない。
【０１２７】
図２０(a) に示すマスキング処理後の個別動体識別画像Ｍ（３０，１）上で、着目動体である馬以外の動体（人，車，鳥）が、ブロッブ包摂図形Ｂ２９ｂ，Ｂ２９ｃ，Ｂ２９ｄによって完全に隠蔽されているのは、上記前提を置いたためである。すなわち、ブロッブ包摂図形Ｂ２９ｂ，Ｂ２９ｃ，Ｂ２９ｄは、時刻ｔ２９における人，車，鳥の位置に基づいて抽出された外接矩形であるから、時刻ｔ２９における動体識別画像Ｍ２９に対するマスキング処理を行えば、図２０(a) に示す例のように、人，車，鳥を完全に隠蔽することが可能である。ところが、実際には、図２０(a) に示す例は、時刻ｔ３０における動体識別画像Ｍ３０に対するマスキング処理を行った結果であるから、上記前提がなければ、人，車，鳥を完全に隠蔽することはできない。
【０１２８】
図２６は、図２０に示すマスキング処理では完全なマスキングがなされなかった状態を示す平面図（図(a) ）およびこの状態から抽出された候補ブロッブ包摂図形を示す平面図（図(b) ）である。実際には、時刻ｔ２９からｔ３０に至る期間も、各動体Ｏ１〜Ｏ４は移動しているので、図２６(a) に示す例のように、動体の一部がマスクから食み出すことになり前景領域の一部を構成する。その結果、この個別動体識別画像Ｍ（３０，１）からは、図２６(b) に示すように、４つの候補ブロッブ包摂図形Ｂ３０ａ−１〜Ｂ３０ａ−４が抽出されることになる。
【０１２９】
ただ、このように複数の候補ブロッブ包摂図形が抽出された場合でも、その中から後続ブロッブ包摂図形として最適な候補ブロッブ包摂図形を選択すれば、結局、候補ブロッブ包摂図形Ｂ３０ａ−１が後続ブロッブ包摂図形として選択され、トラッカーＴ１の時刻ｔ３０欄に登録されることになる。具体的には、図１９(a) に示す先行ブロッブ包摂図形Ｂ２９ａに対して、位置、面積、形状が最も類似している候補ブロッブ包摂図形を後続ブロッブ包摂図形として選択する作業を行えばよい。選択されなかった候補ブロッブ包摂図形Ｂ３０ａ−２〜Ｂ３０ａ−４は、トラッカーに登録されることなく捨てられる。
【０１３０】
このように、上述した第２の前提は、説明の便宜のために意図的に設けた前提であり、本発明に係る後続ブロッブ包摂図形の認識法を実行する上で必須の前提条件ではない。したがって、本発明を実行する上で、特別な前提条件は必要ない。
【０１３１】
＜＜＜ §５．本発明に係る新参ブロッブ包摂図形の認識法 ＞＞＞
さて、§４では、本発明に係る後続ブロッブ包摂図形の認識法の基本原理を説明した。この後続ブロッブ包摂図形の認識処理は、既に登録されている先行ブロッブ包摂図形に後続して、新たなブロッブ包摂図形を追加する処理を行うための処理であり、画面上を継続して移動中の動体についての追跡を続行するための処理と言うことができる。
【０１３２】
しかしながら、通常、画面上に存在する動体はやがて消え去り、一方で、新たな動体が画面上に出現する、という現象が繰り返される。したがって、実際には、画面上を移動中の動体を追跡する処理に加えて、既存動体が消滅した場合の処理と、新参動体が出現した場合の処理を行う必要がある。図１４に示す実例の場合も、時刻ｔ４０で得られる原画像Ｐ４０には、もはや動体Ｏ４（鳥）は存在せず、その代わりに新参者の動体Ｏ５（犬）が出現している。その結果、図２４に示す表では、トラッカーＴ４の鳥についての一連のブロッブ包摂図形群は時刻ｔ４０に至るまでの途中で終焉を迎えており、時刻ｔ４０欄は無登録状態（×印）になっている。一方で、トラッカーＴ５の時刻ｔ４０欄には、新参者の動体Ｏ５（犬）についてのブロッブ包摂図形Ｂ４０ｅが新参ブロッブ包摂図形として登録されている。
【０１３３】
ここで、既存動体が消滅した場合の処理は、§４で述べた手順において、後続ブロッブ包摂図形が認識できなかった場合の処理として実行することができる。たとえば、動体Ｏ４（鳥）が、時刻ｔ３８までは存在したが（画面の枠の近くに一部だけ存在した場合も含む）、時刻ｔ３９において画面外へ飛び去った、という場合を考えてみる。この場合、トラッカーＴ４の時刻ｔ３９欄に登録すべき後続ブロッブ包摂図形を認識する処理を行っても、後続ブロッブ包摂図形に適した候補ブロッブ包摂図形が認識できないことになり、結局、時刻ｔ３９欄は無登録状態（×印）になる。これは、動体Ｏ４（鳥）が消滅した場合の処理に他ならない。すなわち、トラッカーＴ４上では、時系列的に連続して登録されてきた一連のブロッブ包摂図形群が、時刻ｔ３８欄の末尾ブロッブ包摂図形をもって途絶えることになり、これにより、動体Ｏ４（鳥）が消滅したという情報が記録されることになる。
【０１３４】
なお、動体が消滅するのは、必ずしも画面外に移動した場合に限られるわけではない。たとえば、人が建物に入った場合、車が地下駐車場へ降りた場合などでは、画面の中央付近で動体が消滅することも起こりうる。ただ、動体がどこで消滅しようと、トラッカー上では、後続ブロッブ包摂図形が認識できない、という状態に変わりはなく、無登録状態（×印）として記録されることになる。
【０１３５】
これに対して、新参動体が出現した場合は、新参ブロッブ包摂図形を認識した上で、これを所定のトラッカー（空き状態の任意のトラッカー）に新規登録する処理を行う必要がある。そこで、以下、図２７に示すように、時刻ｔ３９における原画像Ｐ３９から、時刻ｔ４０における原画像Ｐ４０への変遷が生じた場合に、原画像Ｐ４０に突然出現した新参動体Ｏ５についての新参ブロッブ包摂図形を、トラッカー上に登録する処理の手順を説明する。
【０１３６】
図２８(a) ，(b) は、図２７(a) ，(b) に示す原画像Ｐ３９，Ｐ４０から作成された動体識別画像Ｍ３９，Ｍ４０およびこれらから抽出されたブロッブ包摂図形を示す平面図である。ここでは、図２８(a) に示す動体識別画像Ｍ３９に基づいて、ブロッブ包摂図形Ｂ３９ａ（馬），Ｂ３９ｂ（人），Ｂ３９ｃ（車）が、既にトラッカーに登録されている状態において、図２８(b) に示す動体識別画像Ｍ４０に基づいて、時刻ｔ４０欄に新たなブロッブ包摂図形を登録する作業を述べる。
【０１３７】
図２９は、図２８に示すブロッブ包摂図形に基づいて作成されたトラッカーを示す図である。時刻ｔ３９欄には、既に、ブロッブ包摂図形Ｂ３９ａ（馬），Ｂ３９ｂ（人），Ｂ３９ｃ（車）が、それぞれトラッカーＴ１，Ｔ２，Ｔ３に登録されているものとする。一方、時刻ｔ４０欄については、まず、§４で述べた後続ブロッブ包摂図形の認識法を適用して、ブロッブ包摂図形Ｂ４０ａ（馬），Ｂ４０ｂ（人），Ｂ４０ｃ（車）の登録が行われる。当該登録は、図２８(b) に示す動体識別画像Ｍ４０に対してマスキング処理を施すことにより得られた個別動体識別画像Ｍ（４０，１），Ｍ（４０，２），Ｍ（４０，３）を利用して行われる。
【０１３８】
具体的には、動体識別画像Ｍ４０に対して、ブロッブ包摂図形Ｂ３９ｂ（人），Ｂ３９ｃ（車）を用いたマスキング処理により個別動体識別画像Ｍ（４０，１）が得られ、ここから抽出されたブロッブ包摂図形Ｂ４０ａ（馬）がトラッカーＴ１に登録される。同様に、ブロッブ包摂図形Ｂ３９ａ（馬），Ｂ３９ｃ（車）を用いたマスキング処理により得られた個別動体識別画像Ｍ（４０，２）から抽出されたブロッブ包摂図形Ｂ４０ｂ（人）がトラッカーＴ２に登録され、ブロッブ包摂図形Ｂ３９ａ（馬），Ｂ３９ｂ（人）を用いたマスキング処理により得られた個別動体識別画像Ｍ（４０，３）から抽出されたブロッブ包摂図形Ｂ４０ｃ（車）がトラッカーＴ３に登録される。図２９には、これらの後続ブロッブ包摂図形の登録が完了した状態が示されている。
【０１３９】
図２７(b) に示す原画像Ｐ４０から新参動体を認識して、これをトラッカーに登録する処理は、このような後続ブロッブ包摂図形の登録が完了した後に行われる。その基本原理は、図２８(b) に示す動体識別画像Ｍ４０から抽出されたブロッブ包摂図形Ｂ４０ａ（馬），Ｂ４０ｂ（人），Ｂ４０ｃ（車），Ｂ４０ｅ（犬）の中に、上記処理によって登録された後続ブロッブ包摂図形に対応しないブロッブ包摂図形が存在するか否かを判断し、そのようなブロッブ包摂図形が存在する場合には、これを新参ブロッブ包摂図形と認識し、時刻ｔ４０欄が未登録状態のトラッカーに先頭ブロッブ包摂図形として登録するというものである。
【０１４０】
具体的には、上例の場合、図２９に示すとおり、トラッカーＴ１，Ｔ２，Ｔ３には、既に後続ブロッブ包摂図形Ｂ４０ａ（馬），Ｂ４０ｂ（人），Ｂ４０ｃ（車）が登録されているので、図２８(b) に示す動体識別画像Ｍ４０から抽出された４つのブロッブ包摂図形のうち、既に登録された後続ブロッブ包摂図形に対応しないブロッブ包摂図形は、ブロッブ包摂図形Ｂ４０ｅ（犬）のみである。よって、このブロッブ包摂図形Ｂ４０ｅ（犬）が、新参ブロッブ包摂図形と判断され、時刻ｔ４０欄が未登録状態（空欄状態）のトラッカーに先頭ブロッブ包摂図形として登録される。もちろん、新参ブロッブ包摂図形が複数存在する場合には、それぞれが異なるトラッカーに登録されることになる。
【０１４１】
図２９に示す例の場合、トラッカーＴ４，Ｔ５，Ｔ６は、いずれも時刻ｔ４０欄が未登録状態であるので、新参ブロッブ包摂図形Ｂ４０ｅ（犬）は、これらのいずれに登録してもかまわない。図２４に示す例は、この新参ブロッブ包摂図形Ｂ４０ｅ（犬）を、トラッカーＴ５に登録した例である。残りのトラッカーＴ４，Ｔ６の時刻ｔ４０欄は、登録すべきブロッブ包摂図形がないため、無登録状態（×印）となっている。こうして登録された新参ブロッブ包摂図形Ｂ４０ｅ（犬）は、先頭ブロッブ包摂図形として機能し、トラッカーＴ５には、以後、動体Ｏ５（犬）が消滅するまで、後続ブロッブ包摂図形が並べられることになる。
【０１４２】
図２７(b) に示すとおり、原画像Ｐ４０上には、互いに重なり合う動体が存在しないため、図２８(b) に示す動体識別画像Ｍ４０から抽出されたブロッブ包摂図形Ｂ４０ａ（馬），Ｂ４０ｂ（人），Ｂ４０ｃ（車）と、図２９に示す表における時刻ｔ４０欄に登録されている後続ブロッブ包摂図形Ｂ４０ａ（馬），Ｂ４０ｂ（人），Ｂ４０ｃ（車）とは、互いに１対１に対応する。たとえば、図２９のトラッカーＴ１の時刻ｔ４０欄に登録されているブロッブ包摂図形Ｂ４０ａ（馬）は、図２８(b) に示す動体識別画像Ｍ４０に対するマスキング処理後の個別動体識別画像Ｍ（４０，１）から抽出されたブロッブ包摂図形であるから、もともと動体識別画像Ｍ４０に含まれていたブロッブ包摂図形Ｂ４０ａ（馬）に一致する。ところが、図２８(b) に示す動体識別画像Ｍ４０から抽出されたブロッブ包摂図形Ｂ４０ｅ（犬）は、図２９に示すいずれのトラッカー上にも対応する後続ブロッブ包摂図形が存在しない。このため、当該ブロッブ包摂図形Ｂ４０ｅ（犬）を、新参ブロッブ包摂図形と認識することができる。
【０１４３】
なお、原画像上に互いに重なり合う動体が存在する場合は、上例のような単純な１対１の対応にはならない。たとえば、図１８(b) に示す原画像Ｐ３０上では、３つの動体Ｏ１，Ｏ２，Ｏ３が重なり合っているため、動体識別画像Ｍ３０からは、図１９(b) に示すような２つのブロッブ包摂図形Ｂ３０ｄ（鳥），Ｂ３０ｇ（人車馬）が抽出される。一方、図２４に示す表において、トラッカーＴ１，Ｔ２，Ｔ３の時刻ｔ３０欄に登録されている後続ブロッブ包摂図形Ｂ３０ａ（馬），Ｂ３０ｂ（人），Ｂ３０ｃ（車）は、それぞれマスキング処理後の個別動体識別画像Ｍ（３０，１），Ｍ（３０，２），Ｍ（３０，３）から抽出されたものであるため、図１９(b) に示すブロッブ包摂図形Ｂ３０ｇ（人車馬）とは１対１に対応するわけではない。
【０１４４】
このように、複数ｎ個の動体が互いに重なり合っている場合は、動体識別画像Ｍ上において、複数ｎ個の動体の融合体に対して１つのブロッブ包摂図形が抽出されることになるので、トラッカーに登録されている後続ブロッブ包摂図形に対して１対１の対応は得られないが、その代わりに、１対ｎの対応が得られることになる。すなわち、上例の場合、図１９(b) に示されているブロッブ包摂図形Ｂ３０ｇ（人車馬）に対して、図２９の表の時刻ｔ３０欄に登録されている３つの後続ブロッブ包摂図形Ｂ３０ａ（馬），Ｂ３０ｂ（人），Ｂ３０ｃ（車）が対応するという１対３の対応関係が得られることになる。一方、図１９(b) のブロッブ包摂図形Ｂ３０ｄ（鳥）については、図２９の表の時刻ｔ３０欄に登録されている後続ブロッブ包摂図形Ｂ３０ｄ（鳥）に対して１対１の対応が得られる。
【０１４５】
このように、原画像上に互いに重なり合う動体が存在する場合でも、動体識別画像Ｍから抽出した各ブロッブ包摂図形と、トラッカー上に登録されている後続ブロッブ包摂図形との間には、１対１もしくは１対ｎの対応関係が得られる。したがって、上述したとおり、対応する後続ブロッブ包摂図形がトラッカー上に登録されていないブロッブ包摂図形を新参ブロッブ包摂図形と認識し、これを新たにトラッカー上に登録することが可能である。図１９(b) に示す動体識別画像Ｍ３０の場合、抽出されたブロッブ包摂図形Ｂ３０ｇ（人車馬）は、３つの後続ブロッブ包摂図形Ｂ３０ａ（馬），Ｂ３０ｂ（人），Ｂ３０ｃ（車）に対応し、抽出されたブロッブ包摂図形Ｂ３０ｄ（鳥）は単一の後続ブロッブ包摂図形Ｂ３０ｄ（鳥）に対応することになるので、動体識別画像Ｍ３０上には新参ブロッブ包摂図形は存在しない、との判断を行うことができる。
【０１４６】
なお、このような新参ブロッブ包摂図形の有無を判断する用途に資するため、実用上は、トラッカー上に後続ブロッブ包摂図形を登録する際に、当該後続ブロッブ包摂図形と、当該後続ブロッブ包摂図形を抽出する元になった動体識別画像Ｍ上のブロッブ包摂図形と、の対応関係を示すテーブルを作成しておくのが好ましい。図３０に、このようなテーブルの一例を示す。この例は、図２４の表の時刻ｔ３０の欄に登録された後続ブロッブ包摂図形と、図１９(b) に示す動体識別画像Ｍ３０上のブロッブ包摂図形と、の対応関係を示すテーブルであり、トラッカー上に各後続ブロッブ包摂図形を登録する作業を行う際に作成することができる。
【０１４７】
たとえば、図２４の表のトラッカーＴ１の時刻ｔ３０欄に、図２０(b) に示す個別動体識別画像Ｍ（３０，１）から抽出された後続ブロッブ包摂図形Ｂ３０ａ（馬）を登録する場合を考えよう。この場合、この図２０(b) に示す後続ブロッブ包摂図形Ｂ３０ａ（馬）と、図１９(b) に示すブロッブ包摂図形Ｂ３０ｇ（人車馬）とは、後者が前者を包含する関係になっていることがわかる。このように、一方が他方を包含する関係になっているブロッブ包摂図形については、互いに対応するブロッブ包摂図形と認識し、テーブル上に当該対応関係を記録しておくようにする。図３０に示すテーブルの１行目に記録された対応関係は、このようにして記録されたものである。
【０１４８】
同様に、図２４の表のトラッカーＴ２の時刻ｔ３０欄に、図２１(b) に示す個別動体識別画像Ｍ（３０，２）から抽出された後続ブロッブ包摂図形Ｂ３０ｂ（人）を登録する場合や、図２４の表のトラッカーＴ３の時刻ｔ３０欄に、図２２(b) に示す個別動体識別画像Ｍ（３０，３）から抽出された後続ブロッブ包摂図形Ｂ３０ｃ（車）を登録する場合にも、包含関係にあるブロッブ包摂図形Ｂ３０ｇ（人車馬）との対応関係が記録される。図３０に示すテーブルの２行目および３行目に記録された対応関係は、このようにして記録されたものである。
【０１４９】
また、図２４の表のトラッカーＴ４の時刻ｔ３０欄に、図２３(b) に示す個別動体識別画像Ｍ（３０，４）から抽出された後続ブロッブ包摂図形Ｂ３０ｄ（鳥）を登録する場合は、当該後続ブロッブ包摂図形Ｂ３０ｄ（鳥）と図１９(b) に示すブロッブ包摂図形Ｂ３０ｄ（鳥）とが一致する関係（１対１の対応関係）になっているので、やはり両者が互いに対応するブロッブ包摂図形と認識し、テーブル上に当該対応関係を記録しておくようにする。図３０に示すテーブルの４行目に記録された対応関係は、このようにして記録されたものである。
【０１５０】
要するに、トラッカー上に個々の後続ブロッブ包摂図形を登録する処理を行う際に、登録対象となる後続ブロッブ包摂図形と動体識別画像Ｍ上の各ブロッブ包摂図形とを比較し、両者が一致するか、もしくは、一方が他方を包含する関係になっているものを互いに対応するブロッブ包摂図形と認識し、当該対応関係をテーブルに記録しておくようにすればよい。このようなテーブルを用意しておけば、前述したように、動体識別画像Ｍ上に新参ブロッブ包摂図形が存在するか否かの判断を容易に行うことが可能になる。すなわち、動体識別画像Ｍ上の個々のブロッブ包摂図形のうち、後続ブロッブ包摂図形との対応関係が記録されていないブロッブ包摂図形を新参ブロッブ包摂図形と認識することができる。
【０１５１】
＜＜＜ §６．基本的実施形態に係る動体追跡装置 ＞＞＞
本発明に係る動体追跡装置は、§４で述べた後続ブロッブ包摂図形の認識法と、§５で述べた新参ブロッブ包摂図形の認識法とを採用し、トラッカー上に新参ブロッブ包摂図形の登録および後続ブロッブ包摂図形の登録を行い、個々の動体を追跡する処理を行うものである。以下、図３１のブロック図を参照しながら、本発明の基本的な実施形態に係る動体追跡装置の構成および動作を説明する。
【０１５２】
この動体追跡装置は、入力した動画画像について動体を検出し、これを追跡する処理を行う装置であり、その基本的な役割は、これまで述べてきたトラッカーの情報を作成し、保持することにある。図示のとおり、この装置の基本的な構成要素は、画像入力部１１０，背景画像提供部１２０，動体識別画像生成部１３０，マスキング処理部１４０，トラッカー格納部１５０，トラッカー登録部１６０，ブロッブ包摂図形抽出部１７０である。以下、これらの構成要素の機能を順に説明する。
【０１５３】
＜６−１：画像入力部１１０＞
画像入力部１１０は、時系列で連続する複数の原画像Ｐ（ｉ）からなる動画画像を入力し、これを動体識別画像生成部１３０に提供する構成要素である。ここで、ｉは時系列の順序を示す自然数（ｉ＝１，２，３，... ）である。§３では、図１４(a) ，(b) ，(c) に示すように、時刻ｔ２０，ｔ３０，ｔ４０において原画像Ｐ２０，Ｐ３０，Ｐ４０が入力された実例を用いた説明を行ったが、ここでは、画像入力部１１０に対して、時刻ｔ（１）において原画像Ｐ（１）が与えられ、次の時刻ｔ（２）において原画像Ｐ（２）が与えられ、... 、時刻ｔ（ｉ）において原画像Ｐ（ｉ）が与えられたものとする。こうして与えられた時系列で連続する複数の原画像Ｐ（ｉ）は動画画像を構成する。たとえば、３０フレーム／秒の動画画像の場合は、原画像Ｐ（ｉ＋１）は原画像（ｉ）の１／３０秒後のフレームということになる。
【０１５４】
なお、画像入力部１１０を、ハードディスク装置などの記憶装置によって構成しておけば、入力した複数の原画像Ｐ（ｉ）からなる動画画像を動画データとして蓄積することができ、必要に応じて、必要なフレームの原画像を動体識別画像生成部１３０に提供することができる。したがって、動画の任意のパートについての動体追跡処理を随時行うことが可能になる。また、動体識別画像生成部１３０に対して、時系列を遡るように逆順で原画像を提供するようにすれば、動画を逆送りしながら動体追跡を行うことも可能になる。もちろん、リアルタイムで撮影された動画に基づいて、その場で動体追跡を行う用途に利用する場合には、画像入力部１１０に動画画像を蓄積保存する機能を設けておく必要はない。
【０１５５】
＜６−２：背景画像提供部１２０＞
背景画像提供部１２０は、こうして画像入力部１１０に与えられた動画画像の背景を構成する背景画像を、動体識別画像生成部１３０に対して提供する機能をもった構成要素である。たとえば、背景画像提供部１２０に、外部から与えられた静止画像を取り込んで保存する機能をもたせておき、予め所定の静止画像を背景画像として与えておくようにすれば、背景画像提供部１２０は、当該静止画像をそのまま背景画像として提供することができる。このような方法で背景画像を提供するのであれば、背景画像提供部１２０を、静止画像のデータを記憶する単純なデータ記憶装置によって構成することができる。
【０１５６】
もっとも、照明環境に変化のない室内を定点カメラで撮影した動画画像を取り扱う場合であれば、上述のように、単純なデータ記憶装置によって背景画像提供部１２０を構成することも可能であるが、外光により照明環境が時々刻々と変化してゆく室内や、屋外を撮影した動画画像を取り扱う場合は、当然、背景画像も時間とともに変化させる必要がある。すなわち、定点カメラで撮影した動画画像であっても、朝、昼、晩といった時間経過により背景画像は変化し、また、雲の動き、日照状態の変化などの天候によっても背景画像は変化する。また、定点カメラの設置場所や撮影方向を変更した場合にも背景画像は変化する。
【０１５７】
このような背景画像の変化にも対応できるようにするためには、背景画像提供部１２０に、画像入力部１１０が過去の所定期間にわたって入力した原画像の単純平均もしくは重みづけ平均を求める機能をもたせておき、求めた平均画像を背景画像として提供するようにすればよい。平均画像は、動体の情報が希釈されているため、背景画像として利用するのに適している。図３１に示す実施形態の背景画像提供部１２０は、このような機能をもった構成要素である。すなわち、画像入力部１１０が入力した原画像Ｐ（ｉ）は、逐次、背景画像提供部１２０に与えられる。背景画像提供部１２０は、こうして与えられた原画像Ｐ（ｉ）に基づいて平均画像を作成し、この平均画像を背景画像として動体識別画像生成部１３０に提供する機能を果たす。
【０１５８】
過去の原画像の平均をとることにより背景画像を作成する具体的な方法は、§１でいくつか述べたとおりである。たとえば、過去１０分間に得られた原画像の単純平均を示す画像（個々の画素ごとの画素値の単純平均を求めた画像）を背景画像とするのであれば、背景画像提供部１２０には、常に、現時点から１０分間だけ遡った分の原画像を蓄積するデータ記憶場所と、画素値の平均演算を行う演算機能と、を組み込んでおけばよい。もちろん、現時点に近い原画像の画素ほど大きな重みをつけるような重みづけ平均を求めることも可能である。
【０１５９】
ただ、３０フレーム／秒程度の動画の１０分間の画像データを蓄積するには、かなりの記憶容量が必要になるので、実用上は、§１で述べたとおり、第ｉ番目の原画像Ｐ（ｉ）が与えられたときに、第（ｉ−１）番目の平均画像Ａ（ｉ−１）と、当該第ｉ番目の原画像Ｐ（ｉ）との２枚の画像に基づいて、第ｉ番目の平均画像Ａ（ｉ）を作成する手法を採るのが好ましい。その具体的な手法は、図３で説明したとおりである。
【０１６０】
＜６−３：動体識別画像生成部１３０＞
動体識別画像生成部１３０は、画像入力部１１０から提供された第ｉ番目の原画像Ｐ（ｉ）と、背景画像提供部１２０から提供された背景画像とを比較して、背景領域と前景領域とを区別する第ｉ番目の動体識別画像Ｍ（ｉ）を生成する構成要素である。ここに示す実施形態の場合、図２で説明したように、第ｉ番目の原画像Ｐ（ｉ）と、第（ｉ−１）番目の平均画像（すなわち背景画像）Ａ（ｉ−１）と、を比較することにより、第ｉ番目の動体識別画像Ｍ（ｉ）の生成が行われる。この動体識別画像Ｍ（ｉ）は、背景領域Ｋ（ｉ）と前景領域Ｆ（ｉ）とを区別する二値画像である。
【０１６１】
ここで、動体識別画像Ｍ（ｉ）を生成するには、図５で説明したとおり、原画像Ｐ（ｉ）上の特定位置にある画素ｐ（ｉ）の色と、背景画像Ａ（ｉ−１）上の前記特定位置にある画素ａ（ｉ−１）の色とを比較し、両画素の色の近似度が所定条件を満たす場合には当該特定位置にある画素ｍ（ｉ）を背景領域Ｋの画素とし、所定条件を満たさない場合には当該特定位置にある画素ｍ（ｉ）を前景領域Ｆの画素とすればよい。近似度の所定条件としては、たとえば、§１で述べたように、色空間上でのユークリッド距離を設定することができる。
【０１６２】
＜６−４：トラッカー格納部１５０＞
トラッカー格納部１５０は、トラッカーの情報を個々の動体ごとに格納する構成要素であり、具体的には、図２４や図２９に例示したような表の情報を格納する機能を果たす。ここで、トラッカーとは、既に説明したとおり、同一の動体に基づいて抽出されたと推定される複数のブロッブ包摂図形を先頭ブロッブ包摂図形から末尾ブロッブ包摂図形に至るまで時系列で並べた情報である。
【０１６３】
図３１のトラッカー格納部１５０のブロック内には、横方向に時系列をとったトラッカーを縦方向に複数並べた表が例示されている。ここで、Ｔ１，Ｔ２，... ，Ｔｊ，... は、個々のトラッカーの名称であり、各トラッカーには、それぞれ特定の時刻に対応する欄が設けられており、特定のブロッブ包摂図形を示す情報が登録される。たとえば、第ｊ番目のトラッカーＴｊの欄を見ると、時刻ｔ（ｉ−１）の欄にはブロッブ包摂図形Ｂｊ（ｉ−１）が登録されており、時刻ｔ（ｉ）の欄にはブロッブ包摂図形Ｂｊ（ｉ）が登録されている。もちろん、まだブロッブ包摂図形の登録が行われていない未登録状態の欄もあれば、登録すべきブロッブ包摂図形がないことを示す無登録状態の欄もある。
【０１６４】
なお、ここに示す実施形態の場合、図１３に示すように、個々のブロッブ包摂図形Ｂは動体の外接矩形によって構成されており、その実体は、２頂点Ｑ１（ｘ１，ｙ１），Ｑ２（ｘ２，ｙ２）の座標値である。したがって、トラッカー格納部１５０の各欄に格納される情報の実体は、（ｘ１，ｙ１，ｘ２，ｙ２）のような外接矩形の２頂点を示す座標値のデータということになる。すなわち、トラッカー格納部１５０は、外接矩形の対角に位置する２頂点の座標値をトラッカーの情報として格納することになる。
【０１６５】
もちろん、トラッカー格納部１５０は、一連のブロッブ包摂図形を時系列で並べた情報を示すトラッカーを複数格納する機能をもっていれば足り、個々のブロッブ包摂図形をどのようなデータで表現し、時系列の並びの情報をどのような形態で記録するかは任意である。したがって、トラッカー格納部１５０内に格納される具体的なデータ構造は、ここに例示した形態に限定されるものではない。
【０１６６】
＜６−５：マスキング処理部１４０＞
マスキング処理部１４０は、動体識別画像生成部１３０が生成した動体識別画像Ｍの前景領域Ｆに対して、トラッカー格納部１５０に格納されている特定のブロッブ包摂図形を利用したマスキングを行う構成要素である。より具体的には、トラッカー格納部１５０に格納されている第ｊ番目のトラッカーＴｊを着目トラッカーとして、着目外トラッカー（Ｔｊ以外のトラッカー）の第（ｉ−１）番目の時系列に所属するブロッブ包摂図形Ｂ（ｉ−１）となる矩形を利用して、第ｉ番目の動体識別画像Ｍ（ｉ）についてのマスキングを行うことにより、着目トラッカーＴｊ用の個別動体識別画像Ｍ（ｉ，ｊ）を生成し、これをブロッブ包摂図形抽出部に提供する。
【０１６７】
たとえば、ｊ＝１とすれば、トラッカーＴ１が着目トラッカーになり、トラッカーＴ２以降の全トラッカーが着目外トラッカーになる。そして、動体識別画像Ｍ（ｉ）に対して、各着目外トラッカーの第（ｉ−１）番目の時系列に所属するブロッブ包摂図形Ｂ（ｉ−１）となる矩形を利用したマスキング処理を行うことにより、着目トラッカーＴ１用の個別動体識別画像Ｍ（ｉ，１）が生成される。同様に、Ｊ＝２とすれば、着目トラッカーＴ２用の個別動体識別画像Ｍ（ｉ，２）が生成され、Ｊ＝３とすれば、着目トラッカーＴ３用の個別動体識別画像Ｍ（ｉ，３）が生成される。
【０１６８】
図２０(b) ，図２１(b) ，図２２(b) ，図２３(b) に示されている個別動体識別画像Ｍ（３０，１），Ｍ（３０，２），Ｍ（３０，３），Ｍ（３０，４）は、こうして作成された個別動体識別画像の実例である。なお、これらの個別動体識別画像は、トラッカー登録部１６０における後続ブロッブ包摂図形登録処理に利用されるものであるので、後続ブロッブ包摂図形をみつける必要のないトラッカーについては作成する必要はない。
【０１６９】
たとえば、図２４に示す例の場合、トラッカーＴ１〜Ｔ４については、時刻ｔ２９欄にブロッブ包摂図形が登録されており、時刻ｔ３０欄に登録すべき後続ブロッブ包摂図形をみつける必要があるので、トラッカーＴ１〜Ｔ４をそれぞれ着目トラッカーとして、個別動体識別画像Ｍ（３０，１），Ｍ（３０，２），Ｍ（３０，３），Ｍ（３０，４）を作成する必要があるが、トラッカーＴ５，Ｔ６については、時刻ｔ２９欄が無登録状態（×印）であるため、時刻ｔ３０欄に登録すべき後続ブロッブ包摂図形は存在しない。したがって、トラッカーＴ５，Ｔ６を着目トラッカーとして、個別動体識別画像Ｍ（３０，５），Ｍ（３０，６）を作成する必要はない。結局、マスキング処理部１４０は、第（ｉ−１）番目の時系列にブロッブ包摂図形Ｂ（ｉ−１）が登録されているトラッカーについてのみ個別動体識別画像Ｍ（ｉ，ｊ）を生成すれば足りる。
【０１７０】
＜６−６：ブロッブ包摂図形抽出部１７０＞
ブロッブ包摂図形抽出部１７０は、動体識別画像生成部１３０が生成した第ｉ番目の動体識別画像Ｍ（ｉ）に基づいて、前景領域Ｆを構成するひとまとまりの画素集団（ブロッブ）を動体と認識し、当該画素集団の外接矩形を第ｉ番目の時系列に所属するブロッブ包摂図形Ｂ（ｉ）として抽出する機能と、マスキング処理部１４０が生成した個別動体識別画像Ｍ（ｉ，ｊ）について、マスキングされた部分を除いた前景領域Ｆを構成するひとまとまりの画素集団（ブロッブ）を動体と認識し、動体と認識した画素集団の外接矩形を第ｉ番目の時系列に所属させるべき第ｊ番目のトラッカー用の候補ブロッブ包摂図形として抽出する機能と、を有する構成要素である。
【０１７１】
具体的には、図１９(b) に示すブロッブ包摂図形Ｂ３０ｇ，Ｂ３０ｄ（太線で示す矩形）が、動体識別画像Ｍ３０から抽出されたブロッブ包摂図形であり、図２０(b) ，図２１(b) ，図２２(b) ，図２３(b) に示すブロッブ包摂図形Ｂ３０ａ，Ｂ３０ｂ，Ｂ３０ｃ，Ｂ３０ｄが、それぞれ個別動体識別画像Ｍ（３０，１），Ｍ（３０，２），Ｍ（３０，３），Ｍ（３０，４）から抽出されたブロッブ包摂図形である。
【０１７２】
なお、動体識別画像Ｍ上の前景領域Ｆを構成するひとまとまりの画素集団から、その外接矩形をブロッブ包摂図形として抽出する方法には、いくつかの具体的な方法が知られている。ここでは、動体識別画像Ｍが、小さな矩形状の画素を縦横に行列状に並べた画素配列から構成される一般的な画像であった場合を例にとって、比較的単純なアルゴリズムに基づく方法を以下に例示しておく。図３２は、このブロッブ包摂図形抽出処理の手順の一例を示す流れ図である。
【０１７３】
まず、ステップＳ１において、動体識別画像Ｍ上に初期着目画素を設定する。動体識別画像Ｍが、縦横の画素配列をもつ一般的な画像であった場合、たとえば、左上の画素（１行１列目の画素）を初期着目画素に設定すればよい。続くステップＳ２では、着目画素が前景画素か否かの判定を行う。たとえば、図５に示す方法で作成された動体識別画像Ｍの場合、画素値＝１であれば前景画素ということになる。
【０１７４】
このステップＳ２において、前景画素との判定がなされた場合には、ステップＳ３において、当該着目画素のｎ画素以内の距離に登録矩形が存在するか否かの判定がなされる。ここで、登録矩形とは、後述するように、ステップＳ４で登録された矩形、もしくは、当該矩形に基づいてステップＳ５により拡張された矩形である。一方、ステップＳ２において、前景画素との判定がなされなかった場合（すなわち、着目画素が背景画素であった場合）には、ステップＳ６へと進むことになる。
【０１７５】
続いて、ステップＳ３の判定結果に基づく分岐を説明しよう。まず、ステップＳ３において、着目画素のｎ画素以内の距離に登録矩形が存在しないと判定された場合には、ステップＳ４において、当該着目画素自身の輪郭矩形を登録する処理が行われる。一方、ステップＳ３において、着目画素のｎ画素以内の距離に登録矩形が存在すると判定された場合には、ステップＳ５において、当該登録矩形の領域を、当該着目画素を含む外接矩形にまで拡張する処理が行われる。
【０１７６】
このような処理を、ステップＳ６，Ｓ７を経て、全画素について着目するまで繰り返し実行すれば、すなわち、全画素を着目画素とする走査を行えば、このブロッブ包摂図形抽出処理は完了である。完了時点で登録されていた矩形が、ブロッブ包摂図形として抽出すべき外接矩形になる。
【０１７７】
ここでは、図３３に示すような具体的な画像を処理対象として、図３２に示すブロッブ包摂図形抽出処理を施した場合のプロセスを簡単に説明しておこう。図３４は、このブロッブ包摂図形抽出処理の手順を施したプロセスの各段階を示す平面図である。
【０１７８】
図３３に例示する画像は、６行１２列に配列された合計７２個の画素からなる単純な画像である。ここでは、ハッチングを施した画素が前景画素、白地の画素が背景画素であるものとする。図示のとおり、この画像には、前景領域を構成するひとまとまりの画素集団（ハッチングを施した前景画素の集団：すなわちブロッブ）が２組含まれており、正しいブロッブ包摂図形抽出処理が実行されれば、これら２組の画素集団（ブロッブ）についての外接矩形が、それぞれブロッブ包摂図形として抽出されるはずである。なお、着目画素の走査は、同一行に含まれる左側の画素から右側の画素へと順に行い、１行の走査が完了したら、次の行の走査に移ることにする。
【０１７９】
まず、ステップＳ１において、１行１列目の画素が初期着目画素として設定される。この初期着目画素は前景画素ではないので、ステップＳ２からステップＳ６，Ｓ７を経て、１行２列目の画素が次の着目画素になる。当該着目画素も前景画素ではないので、１行３列目の画素が次の着目画素になる。図３３に示す例の場合、１行目には前景画素が存在しないので、２行目の画素について着目する処理が続行される。
【０１８０】
そうすると、２行２列目の画素が着目画素となった段階で、はじめて着目画素が前景画素になる。そこで、ステップＳ３の判定が行われるが、この時点では、まだ登録された矩形は存在しないので、ステップＳ４に進み、当該着目画素自身の輪郭矩形が登録矩形として登録されることになる。図３４(a) は、このような登録がなされた状態を示している。図に太線で示す矩形が登録矩形である。続いて、ステップＳ６，Ｓ７を経て、２行３列目の画素が次の着目画素になるが、２行目には、以降、前景画素が存在しないので、３行目の画素について着目する処理が続行される。
【０１８１】
すると、３行２列目の画素が着目画素となった段階で、再び着目画素が前景画素になる。そこで、ステップＳ３の判定が行われる。ここでは、説明の便宜上、ｎ＝３に設定した場合を考えてみよう（実用上は、より大きなｎを設定するのが一般的である）。すると、図３４(a) に示すとおり、３行２列目の着目画素に対して、３画素以内の距離に登録矩形（太線の矩形）が存在するので、ステップＳ５へと進み、当該登録矩形の領域を、当該着目画素を含む外接矩形に拡張する処理が行われる。図３４(b) は、このような拡張がなされた状態を示している。これまで１画素分の大きさしかなかった登録矩形が、縦長の２画素分の登録矩形に拡張されている。
【０１８２】
続いて、ステップＳ６，Ｓ７を経て、３行３列目の画素が次の着目画素になるが、この画素も前景画素である。そこで、ステップＳ３の判定を行うと、図３４(b) に示すとおり、３行３列目の着目画素に対して、３画素以内の距離に登録矩形（太線の矩形）が存在するので、ステップＳ５へと進み、当該登録矩形の領域を、当該着目画素を含む外接矩形に拡張する処理が行われる。図３４(c) は、このような拡張がなされた状態を示している。これまで２画素分の大きさしかなかった登録矩形が、４画素分の登録矩形に拡張されている。
【０１８３】
続いて、ステップＳ６，Ｓ７を経て、３行４列目の画素が次の着目画素になるが、この画素は前景画素ではない。そこで、ステップＳ６，Ｓ７を経て、３行５列目の画素が次の着目画素になるが、この画素は前景画素である。そこで、ステップＳ３の判定を行うと、図３４(c) に示すとおり、３行５列目の着目画素に対して、３画素以内の距離に登録矩形（太線の矩形）が存在するので、ステップＳ５へと進み、当該登録矩形の領域を、当該着目画素を含む外接矩形に拡張する処理が行われる。図３４(d) は、このような拡張がなされた状態を示している。これまで４画素分の大きさしかなかった登録矩形が、８画素分の登録矩形に拡張されている。
【０１８４】
再び前景画素が着目画素となるのは、３行１０列目である。この３行１０列目の画素を着目画素として、ステップＳ３の判定を行うと、図３４(d) に示すとおり、登録矩形（太線の矩形）は存在するものの、５画素分だけ離れているため、着目画素に対して３画素以内の距離の登録矩形は存在しない。そこで、ステップＳ４に進み、当該着目画素自身の輪郭矩形が登録矩形として登録されることになる。図３４(e) は、このような登録がなされた状態を示している。これにより、第２の登録矩形が生成されたことになる。
【０１８５】
続いて、３行１１列目の画素が着目画素になる。当該着目画素は前景画素であり、左隣に登録矩形が存在するので、当該登録矩形の領域を、当該着目画素を含む外接矩形に拡張する処理が行われる。図３４(f) は、このような拡張がなされた状態を示している。これまで１画素分の大きさしかなかった第２の登録矩形が、２画素分の登録矩形に拡張されている。
【０１８６】
次に、４行２列目の画素が着目画素になると、図３４(f) に示すとおり、上隣に第１の登録矩形が存在するので、当該登録矩形の領域を、当該着目画素を含む外接矩形に拡張する処理が行われる。図３４(g) は、このような拡張がなされた状態を示している。これまで８画素分の大きさしかなかった第１の登録矩形が、１２画素分の登録矩形に拡張されている。
【０１８７】
続いて、４行３列目〜５列目の画素が着目画素になった場合、当該着目画素自身が登録矩形内の画素になるため、当然、３画素以内の距離に登録矩形が存在するため、ステップＳ５へ進むが、既に当該登録矩形は当該着目画素を含む外接矩形に拡張されているため、実質的な登録矩形の拡張は行われない。ただ、４行６列目の画素が着目画素になると、左隣に第１の登録矩形が存在するので、当該登録矩形の領域を、当該着目画素を含む外接矩形に拡張する処理が行われる。図３４(h) は、このような拡張がなされた状態を示している。これまで１２画素分の大きさしかなかった第１の登録矩形が、１５画素分の登録矩形に拡張されている。
【０１８８】
続いて、４行１１列目の前景画素が着目画素になると、図３４(h) に示すとおり、上隣に第２の登録矩形が存在するので、当該登録矩形の領域を、当該着目画素を含む外接矩形に拡張する処理が行われる。図３５(i) は、このような拡張がなされた状態を示している。これまで２画素分の大きさしかなかった第２の登録矩形が、４画素分の登録矩形に拡張されている。
【０１８９】
歳後に、５行１１列目の前景画素が着目画素になると、図３４(i) に示すとおり、上隣に第２の登録矩形が存在するので、当該登録矩形の領域を、当該着目画素を含む外接矩形に拡張する処理が行われる。図３５(j) は、このような拡張がなされた状態を示している。これまで４画素分の大きさしかなかった第２の登録矩形が、６画素分の登録矩形に拡張されている。かくして、１５画素分の画素の輪郭を包摂する第１の登録矩形と、６画素分の画素の輪郭を包摂する第２の登録矩形とが、それぞれブロッブ包摂図形として抽出されることになる。
【０１９０】
結局、ブロッブ包摂図形抽出部１７０が、上述した方法でブロッブ包摂図形抽出を行うには、動体識別画像Ｍを構成する個々の画素に順に着目し、各着目画素について、(a) 着目画素が前景画素であり、かつ、所定近傍範囲（上例の場合、３画素以内の距離）に登録矩形が存在しない場合には、当該着目画素の輪郭を構成する矩形を登録する処理を行い、(b) 着目画素が前景画素であり、かつ、所定近傍範囲に登録された矩形が存在する場合には、当該登録矩形の領域を着目画素を含む外接矩形に拡張して登録する処理を行い、最終的に登録された矩形に基づいてブロッブ包摂図形の抽出を行うようにすればよい。
【０１９１】
もちろん、上述したブロッブ包摂図形抽出処理の方法は、一例を示すものであり、図３１に示すブロッブ包摂図形抽出部１７０によるブロッブ包摂図形抽出処理の方法は、上述した方法に限定されるものではない。
【０１９２】
＜６−７：トラッカー登録部１６０＞
トラッカー登録部１６０の基本機能は、ブロッブ包摂図形抽出部１７０によって抽出された第ｉ番目の時系列に所属するブロッブ包摂図形Ｂ（ｉ）を、第ｊ番目のトラッカーＴｊの第ｉ番目の時系列に所属するメンバーとして、トラッカー格納部１５０に登録することである。実際には、このトラッカー登録部１６０によって実行される処理は、後続ブロッブ包摂図形登録処理と新参ブロッブ包摂図形登録処理とに分けて行われる。ここで、後続ブロッブ包摂図形登録処理は先行して行われる前半段階の処理であり、新参ブロッブ包摂図形登録処理は、後続ブロッブ包摂図形登録処理が実行された後に行われる後半段階の処理である。
【０１９３】
まず、後続ブロッブ包摂図形登録処理は、トラッカーの第（ｉ−１）番目の時系列に登録されている先行ブロッブ包摂図形（末尾ブロッブ包摂図形ではないブロッブ包摂図形）に対して、第ｉ番目の時系列として後続ブロッブ包摂図形を登録するための処理である。ここで、後続ブロッブ包摂図形の登録は必ず行われるわけではなく、後続ブロッブ包摂図形に適したブロッブ包摂図形が存在しない場合には、登録は行われず、当該先行ブロッブ包摂図形は末尾ブロッブ包摂図形となり、ブロッブ包摂図形の継続性は絶たれる。この後続ブロッブ包摂図形登録処理の具体的な手法は、既に、§４において、後続ブロッブ包摂図形の認識法として説明したとおりである。
【０１９４】
すなわち、この後続ブロッブ包摂図形登録処理は、第ｊ番目のトラッカーＴｊの第（ｉ−１）番目の時系列に末尾ブロッブ包摂図形ではないブロッブ包摂図形が登録されている場合に、当該ブロッブ包摂図形を先行ブロッブ包摂図形として、これに後続させるのに適したブロッブ包摂図形が、ブロッブ包摂図形抽出部１７０から与えられた第ｊ番目のトラッカー用の候補ブロッブ包摂図形内に存在するか否かを判定し、存在するときには、当該候補ブロッブ包摂図形を第ｉ番目の時系列に所属する後続ブロッブ包摂図形として登録する処理を行い、存在しないときには、前記先行ブロッブ包摂図形が末尾ブロッブ包摂図形となったことを示す処理を行うことによって構成される。
【０１９５】
たとえば、図２４に示す例の場合、トラッカーＴ１の第２９番目の時系列（時刻ｔ２９欄）には、末尾ブロッブ包摂図形ではないブロッブ包摂図形Ｂ２９ａ（馬）が登録されているので、当該ブロッブ包摂図形を先行ブロッブ包摂図形として、第３０番目の時系列（時刻ｔ３０欄）に登録するのに適した後続ブロッブ包摂図形の認識が行われる。既に述べたとおり、後続ブロッブ包摂図形は、たとえば、図２６(b) に示すような４つの候補ブロッブ包摂図形Ｂ３０ａ−１，Ｂ３０ａ−２，Ｂ３０ａ−３，Ｂ３０ａ−４の中から選択される。もちろん、この４つの候補の中に、後続ブロッブ包摂図形として適したブロッブ包摂図形が存在しない場合には、後続ブロッブ包摂図形の登録は行われない。
【０１９６】
このため、トラッカー登録部１６０は、後続ブロッブ包摂図形登録処理を行う際に、第ｊ番目のトラッカーＴｊの第（ｉ−１）番目の時系列に登録されている先行ブロッブ包摂図形に対して、第ｊ番目のトラッカー用として抽出された個々の候補ブロッブ包摂図形の適合性評価を行い、所定の基準以上の評価、かつ、最も高い評価を得た候補ブロッブ包摂図形を、先行ブロッブ包摂図形に後続させるのに適したブロッブ包摂図形と判定し、これを後続ブロッブ包摂図形として登録する処理を行う。上例の場合、図１９(a) に示す先行ブロッブ包摂図形Ｂ２９ａ（馬）に対して、図２６(b) に示す４つの候補ブロッブ包摂図形Ｂ３０ａ−１，Ｂ３０ａ−２，Ｂ３０ａ−３，Ｂ３０ａ−４の適合性評価が行われ、最も高い評価を得たブロッブ包摂図形が、所定の基準以上の評価であれば、これを後続ブロッブ包摂図形として登録することになる。
【０１９７】
たとえば、図２６(b) に示す例の場合、既に述べたように、候補ブロッブ包摂図形Ｂ３０ａ−１が、最も高い評価、かつ、所定の基準以上の評価を得ることになるため、先行ブロッブ包摂図形Ｂ２９ａ（馬）に後続する後続ブロッブ包摂図形として、トラッカーＴ１の時刻ｔ３０欄に登録されることになる。なお、最も高い評価を得た候補でも、所定の基準に満たない場合には、後続ブロッブ包摂図形として登録されることはない。たとえば、図２６(b) において、候補ブロッブ包摂図形Ｂ３０ａ−１が存在しなかった場合、たとえ、候補ブロッブ包摂図形Ｂ３０ａ−３が最も高い評価を得たとしても、当該評価が所定の基準に満たない場合には、候補ブロッブ包摂図形Ｂ３０ａ−３が後続ブロッブ包摂図形として登録されることはない。
【０１９８】
後続ブロッブ包摂図形としての適合性評価は、判定対象となる先行ブロッブ包摂図形と候補ブロッブ包摂図形との位置、面積、形状の類似性に基づいて行うようにすればよい。図３５は、このような後続ブロッブ包摂図形の適合性評価の方法を示す平面図である。
【０１９９】
図３５(a) は、位置の類似性に基づく適合性評価の方法を示している。ここで、太線の矩形は、先行ブロッブ包摂図形Ｂ（ｉ−１）であり、他の３つの矩形は、比較対象となる候補ブロッブ包摂図形Ｂ（ｉ）ａ，Ｂ（ｉ）ｂ，Ｂ（ｉ）ｃである。ここに示す例では、各ブロッブ包摂図形を構成する矩形の中心点Ｑ，Ｑａ，Ｑｂ，Ｑｃを、各ブロッブ包摂図形の位置と定義し、中心点間の距離が小さいほど、類似性に関して高い評価値を与えるようにしている。たとえば、２点Ｑ／Ｑａ間の距離、２点Ｑ／Ｑｂ間の距離、２点Ｑ／Ｑｃ間の距離を求め、これらの距離の逆数を位置の類似性を示す評価値とすれば、類似性を定量的に示す評価値を得ることができる。図示の例の場合、先行ブロッブ包摂図形Ｂ（ｉ−１）に最も近い位置にある候補ブロッブ包摂図形Ｂ（ｉ）ｂが、最高の評価値を得ることになる。
【０２００】
このような評価は、同一の動体が短時間に移動した場合、別な動体の位置よりも近い位置に存在する可能性が高いであろう、という推定に基づくものである。
【０２０１】
なお、位置の類似性の評価材料としては、必ずしも距離を用いる必要はなく、重なり部分の面積を評価材料として用いることも可能である。たとえば、３０フレーム／秒といったレートで撮影された動画画像の場合、動体のフレーム単位の移動時間はわずか１／３０秒であるから、原画像Ｐ（ｉ−１）上の動体の位置と、原画像Ｐ（ｉ）上の動体の位置とに大きな差はなく、動体の輪郭を包摂するブロッブ包摂図形は、互いに重なりを生じているのが一般的である。そして、この重なり部分の面積が大きいほど、位置の類似性も高いことになるので、やはり位置の類似性を定量的に示す評価値を得ることができる。
【０２０２】
図３５(a) に示す例の場合、重なり部分の面積を求めると、Ｂ（ｉ−１）とＢ（ｉ）ａとは重なっていないので面積は０になり、Ｂ（ｉ−１）とＢ（ｉ）ｂとは、図にハッチングを施した部分の面積となり、Ｂ（ｉ−１）とＢ（ｉ）ｃとは重なっていないので面積は０になる。したがって、重なり部分の面積を評価値として利用すれば、やはり候補ブロッブ包摂図形Ｂ（ｉ）ｂが、最高の評価値を得ることになる。
【０２０３】
一方、図３５(b) は、面積の類似性に基づく適合性評価の方法を示している。すなわち、先行ブロッブ包摂図形Ｂ（ｉ−１）の面積をＡとして、候補ブロッブ包摂図形Ｂ（ｉ）ａ，Ｂ（ｉ）ｂ，Ｂ（ｉ）ｃの面積をそれぞれＡａ，Ａｂ，Ａｃとすれば、面積の類似性を示す評価値を得ることができる。たとえば、比較対象となる２つの矩形のうち、大きい方の面積をα、小さい方の面積をβとすれば、β／αが面積の類似性を定量的に示す評価値になる。評価値β／αの最大値は１であり、評価値が１に近いほど、面積の類似性が高いことになる。
【０２０４】
このような評価は、同一の動体が短時間に移動した場合、原画像上での大きさが急激に変化することはないであろう、という推定に基づくものである。もちろん、人が手足を動かして歩行した場合、原画像上での大きさは若干変化するであろう。また、動体がカメラに近づいたり、遠ざかったりする動きをした場合も、大きさは若干変化するであろう。しかしながら、１／３０秒程度の移動時間では、動体の大きさに、それほど大きな変化は生じないであろう。したがって、面積の類似性に基づく適合性評価は、上述した位置の類似性に基づく適合性評価と同様に、合理的な評価方法である。
【０２０５】
そして、図３５(c) は、形状の類似性に基づく適合性評価の方法を示している。ここに示す実施形態の場合、各ブロッブ包摂図形は矩形によって構成されているので、形状は、縦横比（アスペクト比）として定量化することができる。すなわち、先行ブロッブ包摂図形Ｂ（ｉ−１）の形状は、アスペクト比ｖ／ｈで表現することができ、候補ブロッブ包摂図形Ｂ（ｉ）ａ，Ｂ（ｉ）ｂ，Ｂ（ｉ）ｃの形状も、それぞれアスペクト比ｖａ／ｈａ，ｖｂ／ｈｂ，ｖｃ／ｈｃで表現することができる。したがって、たとえば、比較対象となる２つの矩形のアスペクト比のうち、大きい方のアスペクト比をα、小さい方のアスペクト比をβとすれば、面積を比較する場合と同様に、β／αが形状の類似性を定量的に示す評価値になる。評価値β／αの最大値は１であり、評価値が１に近いほど、形状の類似性が高いことになる。
【０２０６】
このような評価は、同一の動体が短時間に移動した場合、原画像上での形状が急激に変化することはないであろう、という推定に基づくものである。やはり、人が手足を動かして歩行した場合、原画像上での形状は若干変化するであろうが、同一の動体であれば、形状にそれほど大きな変化は生じないであろう。したがって、形状の類似性に基づく適合性評価は、上述した位置や面積の類似性に基づく適合性評価と同様に、合理的な評価方法である。
【０２０７】
結局、後続ブロッブ包摂図形としての適合性評価は、判定対象となる先行ブロッブ包摂図形と候補ブロッブ包摂図形とを、位置、面積、形状のいずれか１つもしくは複数の組み合わせに関して比較し、その類似性に基づいて行うようにすればよい。複数の評価値を組み合わせて類似性の評価を行う場合は、上述したような方法で定量的に求めた各評価値に、それぞれ所定の重み係数を乗じ、これを積算して総合評価値を求めるようにすればよい。
【０２０８】
こうして求めた評価値が所定の基準値以上となるブロッブ包摂図形が、候補ブロッブ包摂図形の中に存在しない場合には、後続ブロッブ包摂図形として登録するのに適したブロッブ包摂図形が存在しないことになる。このように、後続ブロッブ包摂図形登録処理において、第ｊ番目のトラッカーＴｊの第（ｉ−１）番目の時系列に登録されている先行ブロッブ包摂図形Ｂ（ｉ−１）に後続させるのに適したブロッブ包摂図形が、第ｊ番目のトラッカー用の候補ブロッブ包摂図形内に存在しない場合には、先行ブロッブ包摂図形Ｂ（ｉ−１）に後続する後続ブロッブ包摂図形の登録を行わずに、当該先行ブロッブ包摂図形Ｂ（ｉ−１）が末尾ブロッブ包摂図形となったことを示す処理を行う。
【０２０９】
ここで、第ｊ番目のトラッカーＴｊの先行ブロッブ包摂図形Ｂ（ｉ−１）が末尾ブロッブ包摂図形となったことを示す処理としては、第ｊ番目のトラッカーＴｊの第ｉ番目の時系列を無登録状態とする処理を行えばよい。ここで、無登録状態とは、登録すべきブロッブ包摂図形が存在しないことを示す状態であり、まだ登録が行われていない未登録状態とは意味合いが異なっている。たとえば、図２９に示す例の場合、トラッカー上の×印欄は無登録状態を示し、空白欄は未登録状態を示している。
【０２１０】
もっとも、実用上は、無登録状態を示すデータと未登録状態を示すデータとを、必ずしも区別する必要はない。たとえば、図２９に示すトラッカーＴ４，Ｔ５，Ｔ６の時刻ｔ４０欄は空白欄（未登録状態）になっているが、トラッカー登録部１６０による時刻ｔ４０に関する処理（後続ブロッブ包摂図形登録処理および新参ブロッブ包摂図形登録処理）が完了した時点では、これらの空白欄は×印欄と把握されることになる。もちろん、無登録状態と未登録状態とを明確に区別したい場合は、無登録状態を示すデータ（×印に対応するデータ）を積極的に書き込む処理を行うようにしてもよい。
【０２１１】
このように、これまで述べてきた実施形態の場合、第ｊ番目のトラッカーＴｊの先行ブロッブ包摂図形Ｂ（ｉ−１）が末尾ブロッブ包摂図形となったことを示すための処理として、第ｉ番目の時系列を無登録状態とする処理が行われている。たとえば、図２９に示す例は、§５で述べたとおり、動体Ｏ４（鳥）が、時刻ｔ３８までは存在したが、時刻ｔ３９において画面外へ飛び去った、という場合の例である。この場合、トラッカーＴ４の時刻ｔ３９欄に登録すべき後続ブロッブ包摂図形を認識する処理を行っても、後続ブロッブ包摂図形に適した候補ブロッブ包摂図形が存在しなかったため、時刻ｔ３９欄を無登録状態（×印）とする処理が行われている。別言すれば、時刻ｔ３９欄が無登録状態（×印）となっていることにより、間接的に、時刻ｔ３８欄のブロッブ包摂図形Ｂ３８ｄ（鳥）が末尾ブロッブ包摂図形であることが示されている。
【０２１２】
要するに、これまで述べてきた実施形態の場合、無登録状態（×印）の欄が、時系列で連続する一連のブロッブ包摂図形群の区切りとして機能し、何らかのブロッブ包摂図形が登録されている欄の左側の欄が無登録状態（×印）である場合には、当該ブロッブ包摂図形は先頭ブロッブ包摂図形ということになり、何らかのブロッブ包摂図形が登録されている欄の右側の欄が無登録状態（×印）である場合には、当該ブロッブ包摂図形は末尾ブロッブ包摂図形ということになる。このように、無登録状態（×印）の欄を、一連のブロッブ包摂図形群の区切りとして利用すれば、無登録状態（×印）の欄で挟まれた一連のブロッブ包摂図形群を、先頭ブロッブ包摂図形から末尾ブロッブ包摂図形に至るまで時系列で並べられた同一の動体の追跡結果として把握することができる。
【０２１３】
ただ、一連のブロッブ包摂図形群の区切りを示す方法は、このような無登録状態（×印）の欄を設ける方法に限定されるものではない。たとえば、先頭ブロッブ包摂図形には、当該ブロッブ包摂図形が先頭ブロッブ包摂図形であることを示す識別コードを付してトラッカー上の該当欄に格納するようにし、末尾ブロッブ包摂図形には、当該ブロッブ包摂図形が末尾ブロッブ包摂図形であることを示す識別コードを付してトラッカー上の該当欄に格納するようにすれば、無登録状態（×印）の欄を設けなくても、上記識別コードに基づいて、個々のブロッブ包摂図形が先頭ブロッブ包摂図形であるのか、末尾ブロッブ包摂図形であるのか、あるいはこれらの間に挟まれた中間ブロッブ包摂図形であるのか、を判別することができる。
【０２１４】
このように、識別コードにより先頭ブロッブ包摂図形や末尾ブロッブ包摂図形の判別を行う方法を採用した場合、無登録状態（×印）の欄による区切りは不要になるので、末尾ブロッブ包摂図形に後続させて、別な動体（新参動体）についての先頭ブロッブ包摂図形を格納することが可能になる。たとえば、図２９に示す例の場合、もし時刻ｔ３９に新参動体が出現した場合、当該新参動体についての新参ブロッブ包摂図形を、トラッカーＴ４の時刻ｔ３９欄に先頭ブロッブ包摂図形として登録することができる。この場合、トラッカーＴ４の時刻ｔ３８欄にはブロッブ包摂図形Ｂ３８ｄ（鳥）が登録されているが、当該ブロッブ包摂図形には、末尾ブロッブ包摂図形である識別コードが付されており、時刻ｔ３９欄に登録された新参ブロッブ包摂図形には、先頭ブロッブ包摂図形である識別コードが付されているので、無登録状態（×印）の欄による区切りがなくても支障は生じない。
【０２１５】
上例の場合、トラッカーＴ４の時刻ｔ３８欄のブロッブ包摂図形Ｂ３８ｄ（鳥）が末尾ブロッブ包摂図形となったことを示すための処理として、時刻ｔ３９欄を無登録状態（×印）とする処理を行う代わりに、時刻ｔ３８欄のブロッブ包摂図形Ｂ３８ｄ（鳥）に、当該ブロッブ包摂図形が末尾ブロッブ包摂図形であることを示す識別コードを書き込む処理を行うことになる。
【０２１６】
以上、トラッカー登録部１６０が前半段階の処理として行う後続ブロッブ包摂図形登録処理を説明した。続いて、後半段階の処理として行う新参ブロッブ包摂図形登録処理について説明しよう。この新参ブロッブ包摂図形登録処理は、第ｉ番目の時系列の原画像Ｐ（ｉ）で新たに出現した新参動体を、先頭ブロッブ包摂図形としてトラッカーに登録する処理であり、その具体的な手法は、既に、§５において、新参ブロッブ包摂図形の認識法として説明したとおりである。
【０２１７】
すなわち、この新参ブロッブ包摂図形登録処理は、後続ブロッブ包摂図形登録処理を各トラッカーについて行った後、動体識別画像Ｍ（ｉ）に基づいて抽出されたブロッブ包摂図形Ｂ（ｉ）の中に、後続ブロッブ包摂図形登録処理によって登録された後続ブロッブ包摂図形に対応しない新参ブロッブ包摂図形が存在する場合に、当該新参ブロッブ包摂図形を第ｉ番目の時系列が未登録状態のトラッカーに先頭ブロッブ包摂図形として登録する処理である。
【０２１８】
たとえば、図２４に示す例の場合、前半段階の後続ブロッブ包摂図形登録処理により、トラッカーＴ１，Ｔ２，Ｔ３の時刻ｔ４０欄に、それぞれブロッブ包摂図形Ｂ４０ａ（馬），Ｂ４０ｂ（人），Ｂ４０ｃ（車）が登録されている。そこで、後半段階の新参ブロッブ包摂図形登録処理では、図２８(b) に示すように、動体識別画像Ｍ４０に基づいて抽出された４つのブロッブ包摂図形Ｂ４０ａ，Ｂ４０ｂ，Ｂ４０ｃ，Ｂ４０ｅについて、図２４に示す時刻ｔ４０欄に登録されているブロッブ包摂図形Ｂ４０ａ（馬），Ｂ４０ｂ（人），Ｂ４０ｃ（車）に対応しない新参ブロッブ包摂図形が存在するか否かが判定される。その結果、ブロッブ包摂図形Ｂ４０ｅ（犬）については、対応する後続ブロッブ包摂図形が登録されていないことが判明するので、このブロッブ包摂図形Ｂ４０ｅ（犬）を新参ブロッブ包摂図形として、時刻ｔ４０欄が未登録状態となっている任意のトラッカーに先頭ブロッブ包摂図形として登録する処理が行われる。
【０２１９】
なお、§５で述べたとおり、原画像上に互いに重なり合う動体が存在する場合は、動体識別画像に基づいて抽出されたブロッブ包摂図形と、前半段階の後続ブロッブ包摂図形登録処理により登録された後続ブロッブ包摂図形との間の対応関係は、１対１ではなく、１対ｎ（ｎ≧２）になる。すなわち、２つのブロッブ包摂図形を構成する矩形が完全に一致する対応関係ではなく、一方のブロッブ包摂図形を構成する矩形が他方のブロッブ包摂図形を構成する矩形を包含する対応関係になる。この場合でも、図３０に示すようなテーブルを作成しておけば、両者の対応関係を認識することができるので、対応する後続ブロッブ包摂図形の有無の判定を行うことができ、新参ブロッブ包摂図形の存在を認識することができる。
【０２２０】
結局、トラッカー登録部１６０は、後半段階の新参ブロッブ包摂図形登録処理を行う際に、動体識別画像Ｍ（ｉ）に基づいて抽出されたブロッブ包摂図形Ｂ（ｉ）と、前半段階の後続ブロッブ包摂図形登録処理によって第ｉ番目の時系列に登録された後続ブロッブ包摂図形とを比較し、両者が一致するか、もしくは、一方が他方を包含する関係になっているものを互いに対応するブロッブ包摂図形と認識し、前記ブロッブ包摂図形Ｂ（ｉ）の中で対応関係が認識できないブロッブ包摂図形を新参ブロッブ包摂図形と認識すればよい。
【０２２１】
＜６−８：コンピュータを用いた構成＞
以上、図３１に示すブロック図を参照しながら、本発明の基本的な実施形態に係る動体追跡装置の構成および動作を説明したが、実際には、この装置は、コンピュータに専用のプログラムを組み込むことにより構成することができる。たとえば、トラッカー格納部１５０は、コンピュータの記憶装置によって実現することができ、画像入力部１１０は、コンピュータの入出力インターフェイスによって実現することができ、その余の構成要素は、コンピュータがプログラムと協働して実行する機能として実現することができる。
【０２２２】
＜＜＜ §７．いくつかの変形例 ＞＞＞
続いて、ここでは、§６で述べた基本的な実施形態に係る動体追跡装置の変形例をいくつか述べておく。
【０２２３】
＜７−１：マスキング処理時のブロッブ包摂図形の位置修正＞
§６で述べたとおり、マスキング処理部１４０は、第（ｉ−１）番目の時系列に所属するブロッブ包摂図形Ｂ（ｉ−１）を利用して、第ｉ番目の時系列の動体識別画像Ｍ（ｉ）についてのマスキングを行うため、マスクと動体との間に若干の時差が生じる。このような時差の存在により、たとえば、図２６(a) に例示する個別動体識別画像Ｍ（３０，１）の場合、マスクとなるブロッブ包摂図形Ｂ２９ｂ，Ｂ２９ｃ，Ｂ２９ｄから動体の一部が食み出してしまっている。その結果、個別動体識別画像Ｍ（３０，１）からは、図２６(b) に示すように、合計４組の候補ブロッブ包摂図形Ｂ３０ａ−１，Ｂ３０ａ−２，Ｂ３０ａ−３，Ｂ３０ａ−４が抽出されることになる。
【０２２４】
これら４組の候補ブロッブ包摂図形のうち、先行ブロッブ包摂図形Ｂ２９ａ（馬）に後続させるべきブロッブ包摂図形は、候補ブロッブ包摂図形Ｂ３０ａ−１であり、残りの３つの候補ブロッブ包摂図形は、いわばノイズブロッブ包摂図形というべき無用なブロッブ包摂図形である。もちろん、このようなノイズブロッブ包摂図形が混入していたとしても、トラッカー登録部１６０は、位置、面積、形状に関する類似性を評価し、先行ブロッブ包摂図形Ｂ２９ａ（馬）に最も類似している候補ブロッブ包摂図形Ｂ３０ａ−１を後続ブロッブ包摂図形として選択するので問題は生じない。しかしながら、このようなノイズブロッブ包摂図形の存在は、誤った選択を誘発する要因になるため、できるだけ避けるのが好ましい。すなわち、理想的には、図２６(b) に示す個別動体識別画像Ｍ（３０，１）ではなく、図２０(b) に示す個別動体識別画像Ｍ（３０，１）が得られるのが好ましい。
【０２２５】
そのためには、マスキング処理時に、マスクとして機能するブロッブ包摂図形の位置を修正すればよい。たとえば、図２６(a) において、動体Ｏ２（人）を隠蔽する役割を果たしているブロッブ包摂図形Ｂ２９ｂは、図１９(a) に示すように、時刻ｔ２９の時点における動体Ｏ２（人）の位置を示すものである。ところが、動体Ｏ２（人）は画面の右方向へ移動しているため、時刻ｔ３０の時点では、図２６(a) に示すように、動体Ｏ２（人）の一部がマスクとなるブロッブ包摂図形Ｂ２９ｂの右側に食み出してしまっている。このような食み出しを防止するには、ブロッブ包摂図形Ｂ２９ｂが動体Ｏ２（人）の移動とともに画面の右方向へ移動していったものと推定して、時刻ｔ３０の時点におけるブロッブ包摂図形Ｂ２９ｂの予測位置を求め、マスクとなるブロッブ包摂図形Ｂ２９ｂに対して、当該予測位置への位置修正を施すようにすればよい。
【０２２６】
図２６(a) に示す例の場合、右方向に移動中の動体Ｏ２（人）のマスクとして機能するブロッブ包摂図形Ｂ２９ｂは若干右方向に位置修正し、左方向に移動中の動体Ｏ３（車）および動体Ｏ４（鳥）のマスクとして機能するブロッブ包摂図形Ｂ２９ｃ，Ｂ２９ｄは若干左方向に位置修正すればよい。もちろん、このような位置修正は、あくまでも予想位置への修正であるため、実際には、位置修正後のマスクによっても、各動体を完全に隠蔽することはできないかもしれないが、少なくとも、食み出しの程度を低減することができるので、上述したノイズブロッブ包摂図形の面積を低減させる効果は得られる。
【０２２７】
このように、マスキング処理時にマスクとして機能するブロッブ包摂図形の位置修正を行うには、マスキング処理部１４０に、各トラッカーに格納されている第（ｉ−１）番目以前の連続した時系列に所属するブロッブ包摂図形の位置の変遷に基づいて、第ｉ番目の時系列に所属するブロッブ包摂図形の予測位置を求める機能を付加しておき、個別動体識別画像Ｍ（ｉ，ｊ）を生成する際に、着目外トラッカーの第（ｉ−１）番目の時系列に所属するブロッブ包摂図形Ｂ（ｉ−１）となる矩形に対して、前記予測位置への位置修正を施し、位置修正後の外接矩形を利用して、第ｉ番目の動体識別画像Ｍ（ｉ）についてのマスキングを行うようにすればよい。
【０２２８】
たとえば、図２６(a) に示す例において、動体Ｏ２（人）のマスクとして機能するブロッブ包摂図形Ｂ２９ｂについての時刻ｔ３０の時点での予測位置は、図２４に示すトラッカーＴ２の時刻ｔ２９以前の欄に格納されているブロッブ包摂図形の位置の変遷に基づいて求めることができる。以下、このような過去の位置（時刻ｔ（ｉ−１）以前の位置）の変遷に基づいて、次の時点（時刻ｔ（ｉ）の時点）の予測位置を求める具体的な方法を２例だけ述べておく。
【０２２９】
図３６は、このような予測位置を求めるための第１の具体的な方法を示す平面図である。ここでは、同一のトラッカーの時刻ｔ（ｉ−４），ｔ（ｉ−３），ｔ（ｉ−２），ｔ（ｉ−１）の各欄に、それぞれ図示のようなブロッブ包摂図形Ｂ（ｉ−４），Ｂ（ｉ−３），Ｂ（ｉ−２），Ｂ（ｉ−１）が登録されている状態において、この一連のブロッブ包摂図形の時刻ｔ（ｉ）の時点での予測位置を示すブロッブ包摂図形Ｂ（ｉ）′を求める具体的な方法を説明しよう。ここでは、各ブロッブ包摂図形を構成する矩形の中心点を、当該ブロッブ包摂図形の位置の基準点Ｒ０〜Ｒ４と定義することにする。もちろん、各ブロッブ包摂図形の位置の基準点は、必ずしも矩形の中心点に定義する必要はなく、たとえば、矩形の左上隅点などに定義してもかまわない。あるいは、ブロッブ包摂図形の抽出時に前景領域Ｆの重心点を求めておき、この重心点をブロッブ包摂図形の位置の基準点としてもよい。
【０２３０】
この第１の具体的な方法の要点は、第（ｉ−Ｌ）番目（Ｌは２以上の整数）の時系列に所属するブロッブ包摂図形Ｂ（ｉ−Ｌ）の位置の基準点から、第（ｉ−１）番目の時系列に所属するブロッブ包摂図形Ｂ（ｉ−１）の位置の基準点へ向かうベクトルに対して、その長さを（Ｌ／（Ｌ−１））倍に伸ばすことにより得られるベクトルの先端を予測位置の基準点とすることにある。
【０２３１】
図３６に示す例は、Ｌ＝４の場合であり、時刻ｔ（ｉ−４）欄に登録されているブロッブ包摂図形Ｂ（ｉ−４）の位置の基準点Ｒ４から、時刻ｔ（ｉ−１）欄に登録されているブロッブ包摂図形Ｂ（ｉ−１）の位置の基準点Ｒ１へ向かうベクトル「Ｒ４→Ｒ１」に対して、その長さを（４／（４−１））倍に伸ばすことにより得られるベクトル「Ｒ４→Ｒ０」の先端の点Ｒ０が、予測位置の基準点として求められることになる。
【０２３２】
一方、図３７は、予測位置を求めるための第２の具体的な方法を示す平面図である。この第２の具体的な方法の要点は、第（ｉ−Ｌ）番目（Ｌは３以上の整数）の時系列に所属するブロッブ包摂図形Ｂ（ｉ−Ｌ）から、第（ｉ−１）番目の時系列に所属するブロッブ包摂図形Ｂ（ｉ−１）まで、合計Ｌ個のブロッブ包摂図形の各位置の基準点を近似的に通る二次曲線Ｃを求め、この二次曲線Ｃ上の点を予測位置の基準点とすることにある。このような二次曲線Ｃを求める具体的な方法は、種々のアルゴリズムに基づく方法が公知であるため、ここでは詳しい説明は省略する。
【０２３３】
図３７に示す例は、Ｌ＝４の場合であり、時刻ｔ（ｉ−４）欄に登録されているブロッブ包摂図形Ｂ（ｉ−４）から、時刻ｔ（ｉ−１）欄に登録されているブロッブ包摂図形Ｂ（ｉ−１）まで、合計４個のブロッブ包摂図形の各位置の基準点Ｒ４，Ｒ３，Ｒ２，Ｒ１を近似的に通る二次曲線Ｃを求め、この二次曲線Ｃ上の点Ｒ０が、予測位置の基準点として求められることになる。二次曲線Ｃ上に点Ｒ０を求めるには、たとえば、２点Ｒ４／Ｒ３間、Ｒ３／Ｒ２間、Ｒ２／Ｒ１間の二次曲線Ｃに沿った距離を求め、これらの距離の平均だけ点Ｒ１から隔たった二次曲線Ｃ上の点を、点Ｒ０とすればよい。
【０２３４】
図３６に例示する方法はいわゆる一次補間によって予測位置の基準点Ｒ０を決定する方法であり、図３７に例示する方法はいわゆる二次補間によって予測位置の基準点Ｒ０を決定する方法である。一般に、後者の方法の方が、より正確な予測ができるものとされている。いずれの場合も、ブロッブ包摂図形Ｂ（ｉ−１）の位置が、ブロッブ包摂図形Ｂ（ｉ）′の位置に修正された上で、マスキングが行われることになる。もちろん、ブロッブ包摂図形Ｂ（ｉ）′は、あくまでも予測によって位置修正されたマスクの位置を示すものであり、トラッカーの時刻ｔ（ｉ）欄に実際に登録されるブロッブ包摂図形Ｂ（ｉ）とは異なるものである。
【０２３５】
＜７−２：マスキング処理時のブロッブ包摂図形の拡張修正＞
上述した§７−１では、ノイズブロッブ包摂図形を低減させるために、マスキング処理時にブロッブ包摂図形の位置を修正する方法を述べたが、ここで述べる方法は、同じ目的のために、ブロッブ包摂図形の大きさを拡張修正する方法である。
【０２３６】
この方法を採用する場合、マスキング処理部１４０は、個別動体識別画像Ｍ（ｉ，ｊ）を生成する際に、着目外トラッカーの第（ｉ−１）番目の時系列に所属するブロッブ包摂図形Ｂ（ｉ−１）となる矩形に対して、輪郭線を所定量だけ外方へ拡張する修正を施し、拡張修正後の図形を利用して、第ｉ番目の動体識別画像Ｍ（ｉ）についてのマスキングを行うようにすればよい。
【０２３７】
図３８は、このような拡張修正の具体例を示す平面図である。図３８(a) は、図２６(a) と同様に、個別動体識別画像Ｍ（３０，１）を示す平面図である。ここで、ブロッブ包摂図形Ｂ２９ｂ，Ｂ２９ｃ，Ｂ２９ｄは、マスクとなるブロッブ包摂図形であり、前述したとおり、これらのマスクから動体の一部が食み出した状態となっている。上述した§７−１では、マスクの位置を修正することにより、この食み出し状態を解消するアプローチが採られたが、ここでは、マスクを広げることにより、食み出し部分まで隠蔽するアプローチが採られる。すなわち、図に破線で示す矩形Ｂ２９ｂ′，Ｂ２９ｃ′，Ｂ２９ｄ′は、ブロッブ包摂図形Ｂ２９ｂ，Ｂ２９ｃ，Ｂ２９ｄとなる矩形に対して、輪郭線を所定量だけ外方へ拡張する修正を施して得られる拡張修正後のマスク図形である。
【０２３８】
このような拡張修正後のマスク図形を用いたマスキング処理が施された個別動体識別画像Ｍ（３０，１）からブロッブ包摂図形抽出処理を行うと、図３８(b) に示すように、合計３組の候補ブロッブ包摂図形Ｂ３０ａ−１，Ｂ３０ａ−３，Ｂ３０ａ−４が抽出される。この図３８(b) を図２６(b) と比較すると、候補ブロッブ包摂図形Ｂ３０ａ−２は消滅し、候補ブロッブ包摂図形Ｂ３０ａ−３，Ｂ３０ａ−４の面積は縮小していることがわかる。すなわち、ノイズブロッブ包摂図形を低減する効果が得られたことになる。もちろん、このような拡張修正と、§７−１で述べた位置修正とを併用してもよい。
【０２３９】
＜７−３：マスキング処理時のブロッブ包摂図形の取捨選択＞
本発明において、マスキング処理部１４０によるマスキング処理により、個別動体識別画像を作成する理由は、複数の動体が交差した場合の問題を解決するためである。したがって、他の動体と重なりを生じていない動体については、必ずしもマスキングによる隠蔽を行う必要はない。
【０２４０】
たとえば、図２６(a) に示す例の場合、動体Ｏ１（馬）についてのブロッブ包摂図形が登録されている着目トラッカーＴ１用の個別動体識別画像Ｍ（３０，１）を生成するために、ブロッブ包摂図形Ｂ２９ｂ（人），ブロッブ包摂図形Ｂ２９ｃ（車），ブロッブ包摂図形Ｂ２９ｄ（鳥）を用いたマスキングを行っている。しかしながら、この例の場合、時刻ｔ３０において、動体Ｏ１（馬），動体Ｏ２（人），動体Ｏ３（車）は重なりを生じているが、動体Ｏ４（鳥）は重なりを生じていない。したがって、動体Ｏ４（鳥）については、ブロッブ包摂図形Ｂ２９ｄ（鳥）を用いたマスキング処理による隠蔽を行わなくても支障は生じない。すなわち、図２６(b) に示す例において、ブロッブ包摂図形Ｂ３０ａ−４の代わりに、動体Ｏ４（鳥）の全体に対応するブロッブ包摂図形が候補ブロッブ包摂図形として残っていたとしても、後続ブロッブ包摂図形として選択される候補がブロッブ包摂図形Ｂ３０ａ−１（馬）であることに変わりはない。
【０２４１】
このような点を考慮すれば、マスキング処理部１４０によるマスキング処理には、必ずしも着目外トラッカーに登録されているすべてのブロッブ包摂図形を用いる必要はないことがわかる。たとえば、マスキング処理部１４０が、個別動体識別画像Ｍ（ｉ，ｊ）を生成する際に、着目外トラッカーの第（ｉ−１）番目の時系列に登録されているブロッブ包摂図形のうち、着目トラッカーの第（ｉ−１）番目の時系列に登録されているブロッブ包摂図形の所定の近傍範囲内に位置するブロッブ包摂図形のみを用いて、マスキングを行うようにしてもかまわない。
【０２４２】
図２６(a) に示す例の場合、動体Ｏ１（馬）についてのブロッブ包摂図形が登録されている着目トラッカーＴ１用の個別動体識別画像Ｍ（３０，１）を生成する際に、着目外トラッカーＴ２〜Ｔ４の時刻ｔ２９欄に登録されているブロッブ包摂図形のうち、着目トラッカーＴ１の時刻ｔ２９欄に登録されているブロッブ包摂図形Ｂ２９ａ（馬）の所定の近傍範囲内に位置するブロッブ包摂図形Ｂ２９ｂ（人）およびＢ２９ｃ（車）のみを用いて、マスキングを行うようにしてもかまわない。この場合、ブロッブ包摂図形Ｂ２９ｄ（鳥）によるマスキングは行われないことになる。
【０２４３】
＜７−４：後続ブロッブ包摂図形登録時の大きさ修正＞
一般に、同一の動体に基づいて抽出されたブロッブ包摂図形は、その大きさが急激に、あるいは極端に変化することはないと考えられる。図３６や図３７に例示したブロッブ包摂図形の変遷において、個々のブロッブ包摂図形が同一サイズの矩形で示されているのは、このような考え方に基づくものである。
【０２４４】
しかしながら、人，馬，鳥のような動物は、絶えず形態を変えながら移動する動体であるから、抽出したブロッブ包摂図形を時系列的に並べれば、少なからず大きさの変化が生じることになる。また、車のような動体であっても、向きを変えたり、カメラに対して近付いたり遠ざかったりすれば、ブロッブ包摂図形に大きさの変化が生じることになる。
【０２４５】
図３９(a) は、同一の動体から抽出したブロッブ包摂図形を時系列的に並べた結果、大きさの変化が生じた例を示した平面図である。ここでは、動体の移動経路が破線で示すとおり直線であるものとし、各ブロッブ包摂図形の中心点が、この破線に沿って左から右へと移動するものとしよう。図示のブロッブ包摂図形Ｂ１〜Ｂ７は、同一の動体に基づいて、それぞれ時刻ｔ１〜ｔ７の時点で抽出されたブロッブ包摂図形であり、説明の便宜上、大きさの時間的な変化を誇張して描いてある。
【０２４６】
このようなブロッブ包摂図形Ｂ１〜Ｂ７は、同一の動体の外接矩形として抽出されたものであるから、当該動体の画像上に示す領域を示す情報としては正しい情報になる。しかしながら、トラッカー上にこのようなブロッブ包摂図形Ｂ１〜Ｂ７の並びが登録された場合、これらのブロッブ包摂図形に基づいて、各原画像上から部分画像を切出して、当該動体をズームアップした状態で追跡する動画提示を行うと、ズームアップの倍率がブロッブ包摂図形Ｂ１〜Ｂ７の大きさの変動に応じて変動するという弊害が生じる。
【０２４７】
たとえば、図７の下段に示すズームアップ画像では、ブロッブ包摂図形Ｂ３０とブロッブ包摂図形Ｂ４０の大きさが等しいため、ズームアップの倍率は一定になる。したがって、動体（車）をズームアップした状態で追跡するような動画提示を行っても違和感は生じない。ところが、図３９(a) に示すように、大きさが変動するブロッブ包摂図形Ｂ１〜Ｂ７に基づいて、動体をズームアップした追跡を行うと、画面上で動体のサイズが変動することになり、非常に見にくい動画にならざるを得ない。
【０２４８】
このような問題を解決するには、図３９(a) に示すブロッブ包摂図形Ｂ１〜Ｂ９を、トラッカーに後続ブロッブ包摂図形として登録する際に、大きさについての修正を施して、たとえば図３９(b) に示すようなブロッブ包摂図形Ｂ１′〜Ｂ９′とし、これら修正後のブロッブ包摂図形をトラッカー上に登録するようにすればよい。
【０２４９】
具体的には、トラッカー登録部１６０が、後続ブロッブ包摂図形登録処理において第ｊ番目のトラッカーＴｊについての後続ブロッブ包摂図形を登録する際に、当該後続ブロッブ包摂図形の大きさが、連続して先行登録されている所定数のブロッブ包摂図形の平均サイズとなるように、当該後続ブロッブ包摂図形の大きさに対する修正を行うようにすればよい。たとえば、ブロッブ包摂図形Ｂ１が先頭ブロッブ包摂図形（新参ブロッブ包摂図形）の場合、ブロッブ包摂図形Ｂ１についてはそのままの大きさで登録し、これに続く後続ブロッブ包摂図形Ｂ２については、ブロッブ包摂図形Ｂ１，Ｂ２の平均サイズとなるような修正を加えて登録し、更に続く後続ブロッブ包摂図形Ｂ３については、ブロッブ包摂図形Ｂ１〜Ｂ３の平均サイズとなるような修正を加えて登録する、と言った具合である。予め、過去ｎ個分のブロッブ包摂図形の平均サイズとなるような修正を加える、というように定めておけば、動体の緩やかな大きさ変動には追従することができる。なお、図３９(b) に示すブロッブ包摂図形Ｂ１′〜Ｂ９′は、いずれも同じ大きさになっており、上記方法で得られたブロッブ包摂図形を示すものではない。
【０２５０】
＜７−５：ブロッブ包摂図形抽出部の動体認識＞
ブロッブ包摂図形抽出部１７０によるブロッブ包摂図形抽出処理の具体な方法は、図３２の流れ図を参照しながら説明したとおりであり、図３４には、当該方法によるブロッブ包摂図形抽出のプロセスの実例を示した。このブロッブ包摂図形抽出処理は、動体識別画像Ｍに基づいて、前景領域Ｆを構成するひとまとまりの画素集団（ブロッブ）を動体と認識し、当該画素集団の外接矩形を抽出する処理であるが、実際には、動体識別画像Ｍ上の前景領域Ｆが、必ずしも動体が存在する領域であるとは限らない。
【０２５１】
動体識別画像Ｍは、図５に示すように、原画像Ｐ（ｉ）上の画素と背景画像Ａ（ｉ−１）上の画素との類否判定によって生成される画像であるため、本来は背景領域Ｋに所属する画素であっても、何らかの要因によって非類似と判定されると、前景領域Ｆに所属する画素になってしまう。たとえば、樹木の葉などに風が作用すると、光の反射状態が変動するため、前景領域Ｆと判定される可能性がある。また、海，川，池などを含む背景では、水面の変動が前景領域Ｆと判定される可能性もある。
【０２５２】
そこで、実用上は、ブロッブ包摂図形抽出部１７０が、面積が所定の基準に満たない画素集団については、動体と認識せず、ブロッブ包摂図形の抽出を行わないようにするのが好ましい。一般に、画面上で動体として認識して追跡対象にしたい物体は、画面上である程度の大きさをもっている物と考えられるので、面積が所定の基準に満たない画素集団については、動体と認識しなくても支障は生じない。そして、このように小面積の画素集団をブロッブ包摂図形として抽出しないことにより、候補ブロッブ包摂図形の数を低減し、演算負担を軽減することができるようになる。
【０２５３】
＜７−６：ブロッブ包摂図形を構成する図形のバリエーション＞
これまで述べてきた実施形態では、ブロッブ包摂図形抽出部１７０が、前景領域Ｆを構成するひとまとまりの画素集団（ブロッブ）の外接矩形をブロッブ包摂図形として抽出しているが、ブロッブ包摂図形は、必ずしもブロッブの外接矩形である必要はない。たとえば、外接円や外接三角形など、任意形状の外接図形をブロッブ包摂図形として抽出してもかまわない。また、これまで述べてきた実施形態では、外接矩形として、画素配列の縦横方向に平行な四辺をもった矩形（いわゆる正則な四角形）を用いているが、もちろん、ブロッブ包摂図形として抽出する矩形は、必ずしも正則な四角形である必要はない。
【０２５４】
また、ブロッブ包摂図形として抽出する図形は、必ずしも前景領域Ｆ（ブロッブ）に接する図形（外接図形）である必要はない。たとえば、外接図形をひとまわり大きくした図形をブロッブ包摂図形として抽出するようにしてもかまわない。もちろん、前景領域Ｆ（ブロッブ）の細かな輪郭形状をそのまま示す図形をブロッブ包摂図形として抽出してもよい。要するに、本発明を実施するにあたり、ブロッブ包摂図形は、前景領域Ｆを構成するひとまとまりの画素集団（ブロッブ）の大まかな輪郭を示すものであれば、任意の図形によって構成することができる。
【０２５５】
要するに、本願にいう「ブロッブ包摂図形」には、様々な形状をもった図形を用いることができ、前景領域Ｆを構成するひとまとまりの画素集団（ブロッブ）に外接する任意形状の図形や、これらの図形を外方に拡張して得られる任意形状の図形 などを広く利用することができる。ただ、実用上は、これまで述べてきた実施形態のように、正則な四角形からなる外接矩形を「ブロッブ包摂図形」として用いるのが好ましい。正則な四角形からなる外接矩形をブロッブ包摂図形として利用すれば、図１３に示すように、対角２頂点の座標値によってのみ定義することができ、また、内部の画像を切出すような演算負担も軽くなる。
【０２５６】
＜＜＜ §８．本発明の基本的な技術思想 ＞＞＞
これまで本発明を基本的な実施形態およびその変形例について説明してきたが、ここでは、本発明の基本的な技術思想をまとめておく。
【０２５７】
まず、本発明に係る動体追跡装置は、動画画像について動体を検出し、これを追跡する機能をもった装置であり、その基本構成は、図３１のブロック図に示すとおりである。
【０２５８】
すなわち、この動体追跡装置は、時系列で連続する複数の原画像Ｐ（ｉ）からなる動画画像を入力する画像入力部１１０と、動画画像の背景を構成する背景画像を提供する背景画像提供部１２０と、第ｉ番目の原画像Ｐ（ｉ）と背景画像とを比較して、背景領域と前景領域とを区別する第ｉ番目の動体識別画像Ｍ（ｉ）を生成する動体識別画像生成部１３０と、同一の動体と推定される画素集団の包摂図形からなるブロッブ包摂図形を、先頭ブロッブ包摂図形から末尾ブロッブ包摂図形に至るまで時系列で並べることにより構成されるトラッカーの情報を、個々の動体ごとに格納するトラッカー格納部１５０と、このトラッカー格納部１５０に格納されている、第（ｉ−１）番目の原画像Ｐ（ｉ−１）内に含まれる着目動体以外の動体を示すブロッブ包摂図形を利用して、動体識別画像Ｍ（ｉ）の前景領域に対してマスキング処理を行うマスキング処理部１４０と、マスキング処理前後の動体識別画像Ｍ（ｉ）について、マスキングされた部分を除いた前景領域を構成するひとまとまりの画素集団を動体と認識し、当該画素集団の包摂図形をブロッブ包摂図形として抽出するブロッブ包摂図形抽出部１７０と、トラッカー格納部１５０に格納されている、第（ｉ−１）番目の原画像Ｐ（ｉ−１）内に含まれる着目動体を示す先行ブロッブ包摂図形に対して、第ｉ番目の原画像Ｐ（ｉ）内に含まれる、着目動体と同一と推定される動体を示すブロッブ包摂図形を、着目動体以外の動体を示すブロッブ包摂図形を利用してマスキング処理された動体識別画像Ｍ（ｉ）から抽出された候補ブロッブ包摂図形の中から選択し、これをトラッカー格納部１５０に、先行ブロッブ包摂図形に後続する第ｉ番目の時系列の後続ブロッブ包摂図形として登録するとともに、マスキング処理前の動体識別画像Ｍ（ｉ）から抽出されたブロッブ包摂図形のうち、対応する後続ブロッブ包摂図形の登録が行われていない新参ブロッブ包摂図形を、第ｉ番目の時系列が未登録状態のトラッカーに、先頭ブロッブ包摂図形として登録するトラッカー登録部と、によって構成されることになる。
【０２５９】
ここで、トラッカー登録部１６０は、先行ブロッブ包摂図形と各候補ブロッブ包摂図形とを、位置、面積、形状のいずれか１つもしくは複数の組み合わせに関して比較し、その類似性に基づいて後続ブロッブ包摂図形の選択を行い、マスキング処理前の動体識別画像Ｍ（ｉ）から抽出された個々のブロッブ包摂図形のうち、第ｉ番目の時系列の後続ブロッブ包摂図形として登録されているブロッブ包摂図形と一致もしくは包含する関係になっていないブロッブ包摂図形を新参ブロッブ包摂図形とする。
【０２６０】
一方、本発明は、動画画像について動体を検出し、これを追跡する動体追跡方法として把握することも可能である。図４０は、この動体追跡方法の手順を示す流れ図である。
【０２６１】
図示のとおり、この動体追跡方法は、コンピュータが、時系列で連続する複数の原画像Ｐ（ｉ）からなる動画画像を入力する画像入力段階Ｓ１０と、コンピュータが、動画画像の背景を構成する背景画像と、第ｉ番目の原画像Ｐ（ｉ）とを比較して、背景領域と前景領域とを区別する第ｉ番目の動体識別画像Ｍ（ｉ）を生成する動体識別画像生成段階Ｓ２０と、コンピュータが、第（ｉ−１）番目の原画像Ｐ（ｉ−１）内に含まれる着目動体の輪郭を包摂する先行ブロッブ包摂図形に対して、第ｉ番目の原画像Ｐ（ｉ）内に含まれる、着目動体と同一と推定される動体の輪郭を包摂する後続ブロッブ包摂図形を認識するとともに、第ｉ番目の原画像Ｐ（ｉ）において新たに出現した動体の輪郭を包摂する新参ブロッブ包摂図形を認識する後続／新参ブロッブ包摂図形認識段階Ｓ３０と、を有している。
【０２６２】
ここで、後続／新参ブロッブ包摂図形認識段階Ｓ３０は、第（ｉ−１）番目の原画像Ｐ（ｉ−１）内に含まれる着目動体以外の動体の輪郭を包摂するブロッブ包摂図形を利用して、動体識別画像Ｍ（ｉ）の前景領域に対してマスキング処理を行うマスキング処理ステップＳ３１と、マスキング処理前後の動体識別画像Ｍ（ｉ）について、マスキングされた部分を除いた前景領域を構成するひとまとまりの画素集団を動体と認識し、当該画素集団の輪郭を包摂する図形をブロッブ包摂図形として抽出するブロッブ包摂図形抽出ステップＳ３２と、着目動体以外の動体を包摂するブロッブ包摂図形を利用してマスキング処理された動体識別画像Ｍ（ｉ）から抽出された候補ブロッブ包摂図形の中から、着目動体の輪郭を包摂する先行ブロッブ包摂図形に後続させるのに適したブロッブ包摂図形を後続ブロッブ包摂図形として選択する後続ブロッブ包摂図形選択ステップＳ３３と、マスキング処理前の動体識別画像Ｍ（ｉ）から抽出されたブロッブ包摂図形のうち、対応する後続ブロッブ包摂図形が認識されていない新参ブロッブ包摂図形を、新たな動体の輪郭を包摂する新参ブロッブ包摂図形として認識する新参ブロッブ包摂図形認識ステップＳ３４と、によって構成されている。
【０２６３】
また、後続ブロッブ包摂図形選択ステップＳ３３では、先行ブロッブ包摂図形と各候補ブロッブ包摂図形とを、位置、面積、形状のいずれか１つもしくは複数の組み合わせに関して比較し、その類似性に基づいて後続ブロッブ包摂図形を選択する処理が行われ、新参ブロッブ包摂図形認識ステップＳ３４では、マスキング処理前の動体識別画像Ｍ（ｉ）から抽出された個々のブロッブ包摂図形のうち、後続ブロッブ包摂図形として認識されているブロッブ包摂図形と一致もしくは包含する関係になっていないブロッブ包摂図形を新参ブロッブ包摂図形とする処理が行われる。
【０２６４】
＜＜＜ §９．監視システムへの応用 ＞＞＞
最後に、本発明に係る動体追跡装置を監視システムに応用した実施形態を、図４１に示すブロック図を参照しながら説明する。この監視システムは、図３１に示す動体追跡装置に、ビデオカメラ２１０と部分動画提示部２２０とを付加したものである。
【０２６５】
ここで、ビデオカメラ２１０は、定点に設置され、周囲の動画画像を撮影して画像入力部１１０に与える構成要素である。一方、部分動画提示部２２０は、トラッカー格納部１５０から、１つの選択トラッカーに連続して登録されているブロッブ包摂図形Ｂ（ｉ）を順次取り出し、画像入力部１１０が入力した原画像Ｐ（ｉ）から、取り出したブロッブ包摂図形Ｂ（ｉ）の内部の画像を切出して表示することにより、特定の動体を追跡した部分動画画像を提示する構成要素である。
【０２６６】
たとえば、図２４に示すようなトラッカー情報がトラッカー格納部１５０に格納されている場合に、ユーザが、部分動画提示部２２０に対して、トラッカーＴ１を選択する指示を与えると、部分動画提示部２２０は、トラッカーＴ１の先頭から、ブロッブ包摂図形Ｂ１ａ，Ｂ２ａ，Ｂ３ａ，... ，Ｂ４０ａを順次取り出し、これらのブロッブ包摂図形に基づいて、それぞれ原画像Ｐ１，Ｐ２，Ｐ３，... ，Ｐ４０から各ブロッブ包摂図形内を含む部分画像の切出しを行い提示する処理を行う。その結果、画面上には、動体Ｏ１（馬）をズームアップして追跡する動画が表示されることになる。
【０２６７】
もちろん、ビデオカメラ２１０がリアルタイムで撮影した動画画像に基づいて、所定の動体追跡を行うことも可能である。この場合、トラッカー格納部１５０内には、リアルタイムで各時刻欄のブロッブ包摂図形が登録されてゆくので、部分動画提示部２２０は、選択トラッカーについてブロッブ包摂図形の登録が行われたその時点で、当該ブロッブ包摂図形を取り出して部分画像の切出処理を行うことになる。
【０２６８】
なお、通常は、画像を表示するディスプレイ画面のアスペクト比とブロッブ包摂図形のアスペクト比とは異なっているため、部分動画提示部２２０は、ブロッブ包摂図形Ｂ（ｉ）を所定量だけ外方へ拡張し、拡張された包摂図形の内部の画像を切出して表示するようにすればよい。たとえば、図７に示す例の場合、ブロッブ包摂図形Ｂ３０，Ｂ４０を構成する矩形（太線で示す矩形）のアスペクト比と、表示画面のアスペクト比とが異なっているため、ブロッブ包摂図形Ｂ３０，Ｂ４０を構成する矩形を所定量だけ外方へ拡張し、拡張された矩形（部分画像ｆ３０，ｆ４０の輪郭）の内部の画像が切出されている。こうすることにより、追跡対象となる動体が、画面内に常に正しく表示された状態でのズームアップ表示が可能になる。
【符号の説明】
【０２６９】
１１０：画像入力部
１２０：背景画像提供部
１３０：動体識別画像生成部
１４０：マスキング処理部
１５０：トラッカー格納部
１６０：トラッカー登録部
１７０：ブロッブ包摂図形抽出部
２１０：ビデオカメラ
２２０：部分動画提示部
Ａ，Ａａ，Ａｂ，Ａｃ：ブロッブ包摂図形の面積
Ａ（ｉ−１），Ａ（ｉ）：背景画像（平均画像）
ａ（ｉ−１），ａ（ｉ）：背景画像を構成する１つの画素もしくはその画素値
Ｂ，Ｂ１〜Ｂ７，Ｂ１′〜Ｂ７′：ブロッブ包摂図形
Ｂ３０〜Ｂ４０：ブロッブ包摂図形
Ｂ１０ａ〜Ｂ１０ｄ：ブロッブ包摂図形
Ｂ２０ａ〜Ｂ２０ｄ：ブロッブ包摂図形
Ｂ２９ａ〜Ｂ２９ｄ：ブロッブ包摂図形
Ｂ３０ａ〜Ｂ３０g：ブロッブ包摂図形
Ｂ３０ａ−１〜Ｂ３０ａ−５：ブロッブ包摂図形
Ｂ４０ａ〜Ｂ４０ｅ：ブロッブ包摂図形
Ｂ（ｉ−４）〜Ｂ（ｉ−１）：ブロッブ包摂図形
Ｂ１（ｉ−１）〜Ｂｊ（ｉ−１）：ブロッブ包摂図形
Ｂ１（ｉ）〜Ｂｊ（ｉ）：ブロッブ包摂図形
Ｂ（ｉ）ａ，Ｂ（ｉ）ｂ，Ｂ（ｉ）ｃ：ブロッブ包摂図形
Ｂ（ｉ）′：ブロッブ包摂図形の予測位置
Ｂ２９ｂ′，Ｂ２９ｃ′，Ｂ２９ｄ′：拡張修正後のマスク図形
Ｃ：二次曲線
Ｆ，Ｆ２０〜Ｆ４０，Ｆ（ｉ）：前景領域
Ｆ１０ａ〜Ｆ１０ｄ：前景領域
Ｆ２０ａ〜Ｆ２０ｄ：前景領域
Ｆ３０ａ〜Ｆ３０ｄ：前景領域
Ｆ４０ａ〜Ｆ４０ｅ：前景領域
ｆ３０，ｆ４０：部分画像
ｈ，ｈａ，ｈｂ，ｈｃ：ブロッブ包摂図形の横寸法
Ｋ，Ｋ１０〜Ｋ４０，Ｋ（ｉ）：背景領域
Ｍ１０〜Ｍ４０，Ｍ（ｉ）：動体識別画像
Ｍ（ｉ，ｊ），Ｍ３０ａ〜Ｍ３０ｄ：個別動体識別画像
ｍ（ｉ）：動体識別画像を構成する１つの画素もしくはその画素値
Ｏ１〜Ｏ５：動体
Ｐ（１）〜Ｐ（ｉ）：原画像（動画を構成する個々の静止画像）
Ｐ１０〜Ｐ４０：原画像（動画を構成する個々の静止画像）
ｐ（ｉ）：原画像を構成する１つの画素もしくはその画素値
Ｑ１（ｘ１，ｙ１），Ｑ２（ｘ２，ｙ２）：矩形の頂点座標
Ｑ，Ｑａ〜Ｑｃ：ブロッブ包摂図形の位置の基準点
Ｒ０〜Ｒ４：ブロッブ包摂図形の位置の基準点
Ｓ１〜Ｓ７，Ｓ１０〜Ｓ３３：流れ図のステップ
Ｔ１〜Ｔ６，Ｔｊ：トラッカー
ｔ１０〜ｔ４０，ｔ（ｉ−１），ｔ（ｉ）：時刻
ｖ，ｖａ，ｖｂ，ｖｃ：ブロッブ包摂図形の縦寸法
ｗ：重みを示すパラメータ

【特許請求の範囲】
【請求項１】
動画画像について動体を検出し、これを追跡する動体追跡装置であって、
時系列で連続する複数の原画像Ｐ（ｉ）（但し、ｉは時系列の順序を示す自然数）からなる動画画像を入力する画像入力部と、
前記動画画像の背景を構成する背景画像を提供する背景画像提供部と、
第ｉ番目の原画像Ｐ（ｉ）と前記背景画像とを比較して、背景領域と前景領域とを区別する第ｉ番目の動体識別画像Ｍ（ｉ）を生成する動体識別画像生成部と、
前記第ｉ番目の動体識別画像Ｍ（ｉ）に基づいて、前景領域を構成するひとまとまりの画素集団を動体と認識し、当該画素集団の包摂図形を第ｉ番目の時系列に所属するブロッブ包摂図形Ｂ（ｉ）として抽出するブロッブ包摂図形抽出部と、
同一の動体に基づいて抽出されたと推定される複数のブロッブ包摂図形を先頭ブロッブ包摂図形から末尾ブロッブ包摂図形に至るまで時系列で並べることにより構成されるトラッカーの情報を、個々の動体ごとに格納するトラッカー格納部と、
前記ブロッブ包摂図形抽出部によって抽出された第ｉ番目の時系列に所属するブロッブ包摂図形Ｂ（ｉ）を、第ｊ番目のトラッカーＴｊ（但し、ｊはトラッカーの番号を示す自然数）の第ｉ番目の時系列に所属するメンバーとして、前記トラッカー格納部に登録するトラッカー登録部と、
前記動体識別画像生成部が生成した動体識別画像の前景領域に対して、前記トラッカー格納部に格納されている特定のブロッブ包摂図形を利用したマスキングを行うマスキング処理部と、
を備え、
前記マスキング処理部は、前記トラッカー格納部に格納されている第ｊ番目のトラッカーＴｊを着目トラッカーとして、着目外トラッカーの第（ｉ−１）番目の時系列に所属するブロッブ包摂図形Ｂ（ｉ−１）を利用して、第ｉ番目の動体識別画像Ｍ（ｉ）についてのマスキングを行うことにより、前記着目トラッカーＴｊ用の個別動体識別画像Ｍ（ｉ，ｊ）を生成し、これを前記ブロッブ包摂図形抽出部に提供し、
前記ブロッブ包摂図形抽出部は、前記動体識別画像Ｍ（ｉ）に基づいて前記ブロッブ包摂図形Ｂ（ｉ）を抽出する機能に加えて、前記個別動体識別画像Ｍ（ｉ，ｊ）について、マスキングされた部分を除いた前景領域を構成するひとまとまりの画素集団を動体と認識し、動体と認識した画素集団の包摂図形を第ｉ番目の時系列に所属させるべき第ｊ番目のトラッカー用の候補ブロッブ包摂図形として抽出する機能を有し、
前記トラッカー登録部は、
(a) 第ｊ番目のトラッカーＴｊの第（ｉ−１）番目の時系列に末尾ブロッブ包摂図形ではないブロッブ包摂図形が登録されている場合に、当該ブロッブ包摂図形を先行ブロッブ包摂図形として、これに後続させるのに適したブロッブ包摂図形が前記第ｊ番目のトラッカー用の候補ブロッブ包摂図形内に存在するか否かを判定し、存在するときには、当該候補ブロッブ包摂図形を第ｉ番目の時系列に所属する後続ブロッブ包摂図形として登録する処理を行い、存在しないときには、前記先行ブロッブ包摂図形が末尾ブロッブ包摂図形となったことを示す処理を行う後続ブロッブ包摂図形登録処理と、
(b) 前記後続ブロッブ包摂図形登録処理を各トラッカーについて行った後、前記動体識別画像Ｍ（ｉ）に基づいて抽出された前記ブロッブ包摂図形Ｂ（ｉ）の中に、前記後続ブロッブ包摂図形登録処理によって登録された後続ブロッブ包摂図形に対応しない新参ブロッブ包摂図形が存在する場合に、当該新参ブロッブ包摂図形を第ｉ番目の時系列が未登録状態のトラッカーに先頭ブロッブ包摂図形として登録する新参ブロッブ包摂図形登録処理と、
を行うことを特徴とする動体追跡装置。
【請求項２】
請求項１に記載の動体追跡装置において、
背景画像提供部が、外部から与えられた静止画像を取り込んで保存する機能を有し、前記静止画像を背景画像として提供することを特徴とする動体追跡装置。
【請求項３】
請求項１に記載の動体追跡装置において、
背景画像提供部が、画像入力部が過去の所定期間にわたって入力した原画像の単純平均もしくは重みづけ平均を求める機能を有し、求めた平均画像を背景画像として提供することを特徴とする動体追跡装置。
【請求項４】
請求項１〜３のいずれかに記載の動体追跡装置において、
動体識別画像生成部が、原画像Ｐ（ｉ）上の特定位置にある画素の色と、背景画像上の前記特定位置にある画素の色とを比較し、両画素の色の近似度が所定条件を満たす場合には当該特定位置にある画素を背景領域の画素とし、前記所定条件を満たさない場合には当該特定位置にある画素を前景領域の画素とすることにより、動体識別画像Ｍ（ｉ）を生成することを特徴とする動体追跡装置。
【請求項５】
請求項１〜４のいずれかに記載の動体追跡装置において、
ブロッブ包摂図形抽出部が、面積が所定の基準に満たない画素集団については、動体と認識せず、ブロッブ包摂図形の抽出を行わないことを特徴とする動体追跡装置。
【請求項６】
請求項１〜５のいずれかに記載の動体追跡装置において、
ブロッブ包摂図形抽出部が、画素集団の外接矩形をその包摂図形として用いることを特徴とする動体追跡装置。
【請求項７】
請求項６に記載の動体追跡装置において、
ブロッブ包摂図形抽出部が、動体識別画像Ｍ（ｉ）を構成する個々の画素に順に着目し、各着目画素について、
(a) 着目画素が前景画素であり、かつ、所定近傍範囲に登録矩形が存在しない場合には、当該着目画素の輪郭を構成する矩形を登録する処理を行い、
(b) 着目画素が前景画素であり、かつ、所定近傍範囲に登録された矩形が存在する場合には、当該登録矩形の領域を着目画素を含む外接矩形に拡張して登録する処理を行い、
最終的に登録された矩形に基づいてブロッブ包摂図形の抽出を行うことを特徴とする動体追跡装置。
【請求項８】
請求項６または７に記載の動体追跡装置において、
トラッカー格納部が、外接矩形の対角に位置する２頂点の座標値をトラッカーの情報として格納することを特徴とする動体追跡装置。
【請求項９】
請求項１〜８のいずれかに記載の動体追跡装置において、
マスキング処理部が、個別動体識別画像Ｍ（ｉ，ｊ）を生成する際に、着目外トラッカーの第（ｉ−１）番目の時系列に登録されているブロッブ包摂図形のうち、着目トラッカーの第（ｉ−１）番目の時系列に登録されているブロッブ包摂図形の所定の近傍範囲内に位置するブロッブ包摂図形のみを用いて、マスキングを行うことを特徴とする動体追跡装置。
【請求項１０】
請求項１〜９のいずれかに記載の動体追跡装置において、
マスキング処理部が、各トラッカーに格納されている第（ｉ−１）番目以前の連続した時系列に所属するブロッブ包摂図形の位置の変遷に基づいて、第ｉ番目の時系列に所属するブロッブ包摂図形の予測位置を求める機能を有し、個別動体識別画像Ｍ（ｉ，ｊ）を生成する際に、着目外トラッカーの第（ｉ−１）番目の時系列に所属するブロッブ包摂図形Ｂ（ｉ−１）に対して、前記予測位置への位置修正を施し、位置修正後の包摂図形を利用して、第ｉ番目の動体識別画像Ｍ（ｉ）についてのマスキングを行うことを特徴とする動体追跡装置。
【請求項１１】
請求項１０に記載の動体追跡装置において、
マスキング処理部が、第（ｉ−Ｌ）番目（Ｌは２以上の整数）の時系列に所属するブロッブ包摂図形Ｂ（ｉ−Ｌ）の位置の基準点から、第（ｉ−１）番目の時系列に所属するブロッブ包摂図形Ｂ（ｉ−１）の位置の基準点へ向かうベクトルに対して、その長さを（Ｌ／（Ｌ−１））倍に伸ばすことにより得られるベクトルの先端を予測位置の基準点とすることを特徴とする動体追跡装置。
【請求項１２】
請求項１０に記載の動体追跡装置において、
マスキング処理部が、第（ｉ−Ｌ）番目（Ｌは３以上の整数）の時系列に所属するブロッブ包摂図形Ｂ（ｉ−Ｌ）から、第（ｉ−１）番目の時系列に所属するブロッブ包摂図形Ｂ（ｉ−１）まで、合計Ｌ個のブロッブ包摂図形の各位置の基準点を近似的に通る二次曲線を求め、この二次曲線上の点を予測位置の基準点とすることを特徴とする動体追跡装置。
【請求項１３】
請求項１〜１２のいずれかに記載の動体追跡装置において、
マスキング処理部が、個別動体識別画像Ｍ（ｉ，ｊ）を生成する際に、着目外トラッカーの第（ｉ−１）番目の時系列に所属するブロッブ包摂図形Ｂ（ｉ−１）に対して、輪郭線を所定量だけ外方へ拡張する修正を施し、拡張修正後の包摂図形を利用して、第ｉ番目の動体識別画像Ｍ（ｉ）についてのマスキングを行うことを特徴とする動体追跡装置。
【請求項１４】
請求項１〜１３のいずれかに記載の動体追跡装置において、
トラッカー登録部が、後続ブロッブ包摂図形登録処理を行う際に、第ｊ番目のトラッカーＴｊの第（ｉ−１）番目の時系列に登録されている先行ブロッブ包摂図形に対して、第ｊ番目のトラッカー用として抽出された個々の候補ブロッブ包摂図形の適合性評価を行い、所定の基準以上の評価、かつ、最も高い評価を得た候補ブロッブ包摂図形を、前記先行ブロッブ包摂図形に後続させるのに適したブロッブ包摂図形と判定し、これを後続ブロッブ包摂図形として登録することを特徴とする動体追跡装置。
【請求項１５】
請求項１４に記載の動体追跡装置において、
トラッカー登録部が、判定対象となる先行ブロッブ包摂図形と候補ブロッブ包摂図形とを、位置、面積、形状のいずれか１つもしくは複数の組み合わせに関して比較し、その類似性に基づいて適合性評価を行うことを特徴とする動体追跡装置。
【請求項１６】
請求項１〜１５のいずれかに記載の動体追跡装置において、
トラッカー登録部が、後続ブロッブ包摂図形登録処理で、第ｊ番目のトラッカーＴｊについての後続ブロッブ包摂図形を登録する際に、当該後続ブロッブ包摂図形の大きさが、連続して先行登録されている所定数のブロッブ包摂図形の平均サイズとなるように、当該後続ブロッブ包摂図形の大きさに対する修正を行うことを特徴とする動体追跡装置。
【請求項１７】
請求項１〜１６のいずれかに記載の動体追跡装置において、
トラッカー登録部が、後続ブロッブ包摂図形登録処理において、第ｊ番目のトラッカーＴｊの第（ｉ−１）番目の時系列に登録されている先行ブロッブ包摂図形に後続させるのに適したブロッブ包摂図形が、第ｊ番目のトラッカー用の候補ブロッブ包摂図形内に存在しない場合に、第ｊ番目のトラッカーＴｊの第ｉ番目の時系列を無登録状態とする処理を行うことにより、前記先行ブロッブ包摂図形が末尾ブロッブ包摂図形となったことを示すことを特徴とする動体追跡装置。
【請求項１８】
請求項１〜１７のいずれかに記載の動体追跡装置において、
トラッカー登録部が、新参ブロッブ包摂図形登録処理を行う際に、動体識別画像Ｍ（ｉ）に基づいて抽出されたブロッブ包摂図形Ｂ（ｉ）と、後続ブロッブ包摂図形登録処理によって第ｉ番目の時系列に登録された後続ブロッブ包摂図形とを比較し、両者が一致するか、もしくは、一方が他方を包含する関係になっているものを互いに対応するブロッブ包摂図形と認識し、前記ブロッブ包摂図形Ｂ（ｉ）の中で対応関係が認識できないブロッブ包摂図形を新参ブロッブ包摂図形とすることを特徴とする動体追跡装置。
【請求項１９】
動画画像について動体を検出し、これを追跡する動体追跡装置であって、
時系列で連続する複数の原画像Ｐ（ｉ）（但し、ｉは時系列の順序を示す自然数）からなる動画画像を入力する画像入力部と、
前記動画画像の背景を構成する背景画像を提供する背景画像提供部と、
第ｉ番目の原画像Ｐ（ｉ）と前記背景画像とを比較して、背景領域と前景領域とを区別する第ｉ番目の動体識別画像Ｍ（ｉ）を生成する動体識別画像生成部と、
同一の動体と推定される画素集団の包摂図形からなるブロッブ包摂図形を、先頭ブロッブ包摂図形から末尾ブロッブ包摂図形に至るまで時系列で並べることにより構成されるトラッカーの情報を、個々の動体ごとに格納するトラッカー格納部と、
前記トラッカー格納部に格納されている、第（ｉ−１）番目の原画像Ｐ（ｉ−１）内に含まれる着目動体以外の動体を示すブロッブ包摂図形を利用して、前記動体識別画像Ｍ（ｉ）の前景領域に対してマスキング処理を行うマスキング処理部と、
マスキング処理前後の動体識別画像Ｍ（ｉ）について、マスキングされた部分を除いた前景領域を構成するひとまとまりの画素集団を動体と認識し、当該画素集団の包摂図形をブロッブ包摂図形として抽出するブロッブ包摂図形抽出部と、
前記トラッカー格納部に格納されている、第（ｉ−１）番目の原画像Ｐ（ｉ−１）内に含まれる着目動体を示す先行ブロッブ包摂図形に対して、第ｉ番目の原画像Ｐ（ｉ）内に含まれる前記着目動体と同一と推定される動体を示すブロッブ包摂図形を、前記着目動体以外の動体を示すブロッブ包摂図形を利用してマスキング処理された動体識別画像Ｍ（ｉ）から抽出された候補ブロッブ包摂図形の中から選択し、これを前記トラッカー格納部に、前記先行ブロッブ包摂図形に後続する第ｉ番目の時系列の後続ブロッブ包摂図形として登録するとともに、マスキング処理前の動体識別画像Ｍ（ｉ）から抽出されたブロッブ包摂図形のうち、対応する後続ブロッブ包摂図形の登録が行われていない新参ブロッブ包摂図形を、第ｉ番目の時系列が未登録状態のトラッカーに、先頭ブロッブ包摂図形として登録するトラッカー登録部と、
を備えることを特徴とする動体追跡装置。
【請求項２０】
請求項１９に記載の動体追跡装置において、
トラッカー登録部が、
先行ブロッブ包摂図形と各候補ブロッブ包摂図形とを、位置、面積、形状のいずれか１つもしくは複数の組み合わせに関して比較し、その類似性に基づいて後続ブロッブ包摂図形の選択を行い、
マスキング処理前の動体識別画像Ｍ（ｉ）から抽出された個々のブロッブ包摂図形のうち、第ｉ番目の時系列の後続ブロッブ包摂図形として登録されているブロッブ包摂図形と一致もしくは包含する関係になっていないブロッブ包摂図形を新参ブロッブ包摂図形とすることを特徴とする動体追跡装置。
【請求項２１】
請求項１〜２０のいずれかに記載の動体追跡装置としてコンピュータを機能させるプログラム。
【請求項２２】
請求項１〜２０のいずれかに記載の動体追跡装置に加えて、更に、
動画画像を撮影して画像入力部に与えるビデオカメラと、
トラッカー格納部から、１つの選択トラッカーに連続して登録されているブロッブ包摂図形Ｂ（ｉ）を順次取り出し、前記画像入力部が入力した原画像Ｐ（ｉ）から前記ブロッブ包摂図形Ｂ（ｉ）の内部の画像を切出して表示することにより、特定の動体を追跡した部分動画画像を提示する部分動画提示部と、
を備えることを特徴とする監視システム。
【請求項２３】
請求項２２に記載の監視システムにおいて、
部分動画提示部が、ブロッブ包摂図形Ｂ（ｉ）を所定量だけ外方へ拡張し、拡張された包摂図形の内部の画像を切出して表示することを特徴とする監視システム。
【請求項２４】
動画画像について動体を検出し、これを追跡する動体追跡方法であって、
コンピュータが、時系列で連続する複数の原画像Ｐ（ｉ）（但し、ｉは時系列の順序を示す自然数）からなる動画画像を入力する画像入力段階と、
コンピュータが、前記動画画像の背景を構成する背景画像と、第ｉ番目の原画像Ｐ（ｉ）とを比較して、背景領域と前景領域とを区別する第ｉ番目の動体識別画像Ｍ（ｉ）を生成する動体識別画像生成段階と、
コンピュータが、第（ｉ−１）番目の原画像Ｐ（ｉ−１）内に含まれる着目動体の輪郭を包摂する先行ブロッブ包摂図形に対して、第ｉ番目の原画像Ｐ（ｉ）内に含まれる前記着目動体と同一と推定される動体の輪郭を包摂する後続ブロッブ包摂図形を認識するとともに、第ｉ番目の原画像Ｐ（ｉ）において新たに出現した動体の輪郭を包摂する新参ブロッブ包摂図形を認識する後続／新参ブロッブ包摂図形認識段階と、
を有し、
前記後続／新参ブロッブ包摂図形認識段階は、
第（ｉ−１）番目の原画像Ｐ（ｉ−１）内に含まれる着目動体以外の動体の輪郭を包摂するロッブ包摂図形を利用して、前記動体識別画像Ｍ（ｉ）の前景領域に対してマスキング処理を行うマスキング処理ステップと、
マスキング処理前後の動体識別画像Ｍ（ｉ）について、マスキングされた部分を除いた前景領域を構成するひとまとまりの画素集団を動体と認識し、当該画素集団の輪郭を包摂する図形をブロッブ包摂図形として抽出するブロッブ包摂図形抽出ステップと、
前記着目動体以外の動体を包摂するブロッブ包摂図形を利用してマスキング処理された動体識別画像Ｍ（ｉ）から抽出された候補ブロッブ包摂図形の中から、前記着目動体の輪郭を包摂する先行ブロッブ包摂図形に後続させるのに適したブロッブ包摂図形を後続ブロッブ包摂図形として選択する後続ブロッブ包摂図形選択ステップと、
マスキング処理前の動体識別画像Ｍ（ｉ）から抽出されたブロッブ包摂図形のうち、対応する後続ブロッブ包摂図形が認識されていない新参ブロッブ包摂図形を、新たな動体の輪郭を包摂する新参ブロッブ包摂図形として認識する新参ブロッブ包摂図形認識ステップと、
を有することを特徴とする動体追跡方法。
【請求項２５】
請求項２４に記載の動体追跡方法において、
後続ブロッブ包摂図形選択ステップで、先行ブロッブ包摂図形と各候補ブロッブ包摂図形とを、位置、面積、形状のいずれか１つもしくは複数の組み合わせに関して比較し、その類似性に基づいて後続ブロッブ包摂図形の選択を行い、
新参ブロッブ包摂図形認識ステップで、マスキング処理前の動体識別画像Ｍ（ｉ）から抽出された個々のブロッブ包摂図形のうち、後続ブロッブ包摂図形として認識されているブロッブ包摂図形と一致もしくは包含する関係になっていないブロッブ包摂図形を新参ブロッブ包摂図形とすることを特徴とする動体追跡方法。

【図１】

【図２】

【図３】

【図４】

【図５】

【図６】

【図７】

【図８】

【図９】

【図１０】

【図１１】

【図１２】

【図１３】

【図１４】

【図１５】

【図１６】

【図１７】

【図１８】

【図１９】

【図２０】

【図２１】

【図２２】

【図２３】

【図２４】

【図２５】

【図２６】

【図２７】

【図２８】

【図２９】

【図３０】

【図３１】

【図３２】

【図３３】

【図３４】

【図３５】

【図３６】

【図３７】

【図３８】

【図３９】

【図４０】

【図４１】

【公開番号】特開２０１３−４５１５２（Ｐ２０１３−４５１５２Ａ）
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願番号】特願２０１１−１８０５５９（Ｐ２０１１−１８０５５９）
【出願日】平成２３年８月２２日（２０１１．８．２２）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】