物体追跡方法、物体追跡方法のプログラム、物体追跡方法のプログラムを記録した記録媒体及び物体追跡装置
【課題】 本発明は、物体追跡方法、物体追跡方法のプログラム、物体追跡方法のプログラムを記録した記録媒体及び物体追跡装置に関し、例えば監視装置に適用して、ノイズによる検出精度の劣化を防止する。
【解決手段】 本発明は、追跡対象物体上に存在する特徴点の確からしさを示す信頼度を検出し、この信頼度により信頼性の高い動きベクトル程、処理結果に反映させるように動きベクトルを処理して移動体の移動ベクトルを検出する。
【解決手段】 本発明は、追跡対象物体上に存在する特徴点の確からしさを示す信頼度を検出し、この信頼度により信頼性の高い動きベクトル程、処理結果に反映させるように動きベクトルを処理して移動体の移動ベクトルを検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体追跡方法、物体追跡方法のプログラム、物体追跡方法のプログラムを記録した記録媒体及び物体追跡装置に関し、例えば監視装置に適用することができる。本発明は、追跡対象物体上に存在する特徴点の確からしさを示す信頼度を検出し、この信頼度により信頼性の低い動きベクトルを処理結果に反映しないように動きベクトルを処理して移動体の移動ベクトルを検出することにより、ノイズによる検出精度の劣化を防止する。
【背景技術】
【０００２】
従来、監視装置等に関して、処理対象フレームと次フレームとの比較により、移動体を追跡する方法が提案されており、この方法にあっては、この処理対象フレームと次フレームとの比較方法により、パターンマッチングの手法と特徴点の動きベクトル検出による手法とに大別される。
【０００３】
ここでパターンマッチングの手法による移動体の追跡は、例えば特開平５−２９８５９１号公報等に提案されているように、動画の各フレームで、追跡対象に相当するパターンを用いて相関値を計算し、最も相関の高い箇所を検出する方法であり、動きを予測してこのような相関値を計算する範囲を設定する。しかしながら実際の動画では追跡する移動体の形状が時々刻々変化し、これによりこの方法では、この移動体の検出に供するパターンを高速に更新することが必要になる。また相関値の計算自体、煩雑な処理を実行することが必要であり、これらにより高速度に処理できない欠点がある。
【０００４】
これに対して特徴点の動きベクトル検出による移動体の追跡は、例えば特開２００３−４４８６０号公報等に開示されているように、動画の各フレームで特徴的な箇所である特徴点を検出し、この特徴点の動きベクトル検出により移動体を追跡するものである。
【０００５】
この方法では追跡対象領域を設定し、この追跡対象領域で複数の特徴点を検出する。またこの複数の特徴点でそれぞれ動きベクトルを検出し、この検出した動きベクトルの平均値により追跡対象領域を移動させ、これらにより移動体を追跡する。
【０００６】
しかしながらこの方法では、追跡対象領域に背景が含まれる場合もあり、この背景で検出される特徴点の動きベクトルが検出精度を劣化させることになる。また追跡対象が人物のような場合、体の動きに対して四肢の動きが異なる場合もあり、この場合には、四肢の動きが検出精度を劣化させることになる。以下、このように検出精度を劣化させる特徴点、この特徴点に係る動きベクトルを、適宜、ノイズと呼ぶ。
【０００７】
これによりこのようなノイズによる検出精度の劣化を防止することが求められる。
【特許文献１】特開平５−２９８５９１号公報
【特許文献２】特開２００３−４４８６０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は以上の点を考慮してなされたもので、ノイズによる検出精度の劣化を防止することができる物体追跡方法、物体追跡方法のプログラム、物体追跡方法のプログラムを記録した記録媒体及び物体追跡装置を提案しようとするものである。
【課題を解決するための手段】
【０００９】
かかる課題を解決するため請求項１の発明は、動画の各フレームで特徴点を検出し、この特徴点の動きベクトル検出により移動体を追跡する物体追跡方法に適用して、処理対象フレームの前記移動体が撮像された領域に設定された追跡対象領域に、所定個数の前記特徴点を設定する特徴点設定のステップと、前記特徴点設定のステップにより設定された特徴点に基づいて、各フレームの画像データを順次処理する繰り返し処理ステップとを有し、前記繰り返し処理ステップは、前記移動体上に存在する前記特徴点の確からしさを示す信頼度を前記特徴点毎に検出する信頼度検出ステップと、前記特徴点の次フレームへの前記動きベクトルをそれぞれ検出する動きベクトル検出ステップと、前記動きベクトルに基づいて、前記移動体の前記次フレームへの移動ベクトルを検出する移動ベクトル検出ステップと、前記移動ベクトル検出ステップで検出される前記移動ベクトルにより、前記追跡対象領域を移動させて、前記次フレームに前記追跡対象領域を設定すると共に、前記次フレームを続く繰り返しの処理における前記処理対象フレームに設定する追跡対象領域移動ステップとを有し、前記移動ベクトル検出ステップは、前記信頼度に応じて、信頼性の低い前記動きベクトルを処理結果に反映しないように前記動きベクトルを処理して、前記移動ベクトルを検出する。
【００１０】
また請求項１１の発明は、動画の各フレームで特徴点を検出し、この特徴点の動きベクトル検出により移動体を追跡する物体追跡方法のプログラムに適用して、処理対象フレームの前記移動体が撮像された領域に設定された追跡対象領域に、所定個数の前記特徴点を設定する特徴点設定のステップと、前記特徴点設定のステップにより設定された特徴点に基づいて、各フレームの画像データを順次処理する繰り返し処理ステップとを有し、前記繰り返し処理ステップは、前記移動体上に存在する前記特徴点の確からしさを示す信頼度を前記特徴点毎に検出する信頼度検出ステップと、前記特徴点の次フレームへの前記動きベクトルをそれぞれ検出する動きベクトル検出ステップと、前記動きベクトルに基づいて、前記移動体の前記次フレームへの移動ベクトルを検出する移動ベクトル検出ステップと、前記移動ベクトル検出ステップで検出される前記移動ベクトルにより、前記追跡対象領域を移動させて、前記次フレームに前記追跡対象領域を設定すると共に、前記次フレームを続く繰り返しの処理における前記処理対象フレームに設定する追跡対象領域移動ステップとを有し、前記移動ベクトル検出ステップは、前記信頼度に応じて、信頼性の低い前記動きベクトルを処理結果に反映しないように前記動きベクトルを処理して、前記移動ベクトルを検出する。
【００１１】
また請求項１２の発明は、動画の各フレームで特徴点を検出し、この特徴点の動きベクトル検出により移動体を追跡する物体追跡方法のプログラムを記録した記録媒体に適用して、前記物体追跡のプログラムは、処理対象フレームの前記移動体が撮像された領域に設定された追跡対象領域に、所定個数の前記特徴点を設定する特徴点設定のステップと、前記特徴点設定のステップにより設定された特徴点に基づいて、各フレームの画像データを順次処理する繰り返し処理ステップとを有し、前記繰り返し処理ステップは、前記移動体上に存在する前記特徴点の確からしさを示す信頼度を前記特徴点毎に検出する信頼度検出ステップと、前記特徴点の次フレームへの前記動きベクトルをそれぞれ検出する動きベクトル検出ステップと、前記動きベクトルに基づいて、前記移動体の前記次フレームへの移動ベクトルを検出する移動ベクトル検出ステップと、前記移動ベクトル検出ステップで検出される前記移動ベクトルにより、前記追跡対象領域を移動させて、前記次フレームに前記追跡対象領域を設定すると共に、前記次フレームを続く繰り返しの処理における前記処理対象フレームに設定する追跡対象領域移動ステップとを有し、前記移動ベクトル検出ステップは、前記信頼度に応じて、信頼性の低い前記動きベクトルを処理結果に反映しないように前記動きベクトルを処理して、前記移動ベクトルを検出する。
【００１２】
また請求項１３の発明は、所定の繰り返し処理を繰り返すことにより、動画の各フレームで特徴点を検出し、この特徴点の動きベクトル検出により移動体を追跡する物体追跡に適用して、処理対象フレームの前記移動体が撮像された領域に設定された追跡対象領域に、所定個数の前記特徴点を設定する特徴点設定手段と、前記移動体上に存在する前記特徴点の確からしさを示す信頼度を前記特徴点毎に検出する信頼度検出手段と、前記特徴点の次フレームへの前記動きベクトルをそれぞれ検出する動きベクトル検出手段と、前記動きベクトルに基づいて、前記移動体の前記次フレームへの移動ベクトルを検出する移動ベクトル検出手段と、前記移動ベクトル検出手段で検出される前記移動ベクトルにより、前記追跡対象領域を移動させて、前記次フレームに前記追跡対象領域を設定すると共に、前記次フレームを続く繰り返しの処理における前記処理対象フレームに設定する追跡対象領域移動手段とを有し、前記移動ベクトル検出手段は、前記信頼度に応じて、信頼性の低い前記動きベクトルを処理結果に反映しないように前記動きベクトルを処理して、前記移動ベクトルを検出する。
【００１３】
請求項１の構成により、動画の各フレームで特徴点を検出し、この特徴点の動きベクトル検出により移動体を追跡する物体追跡方法に適用して、処理対象フレームの前記移動体が撮像された領域に設定された追跡対象領域に、所定個数の前記特徴点を設定する特徴点設定のステップと、前記特徴点設定のステップにより設定された特徴点に基づいて、各フレームの画像データを順次処理する繰り返し処理ステップとを有し、前記繰り返し処理ステップは、前記移動体上に存在する前記特徴点の確からしさを示す信頼度を前記特徴点毎に検出する信頼度検出ステップと、前記特徴点の次フレームへの前記動きベクトルをそれぞれ検出する動きベクトル検出ステップと、前記動きベクトルに基づいて、前記移動体の前記次フレームへの移動ベクトルを検出する移動ベクトル検出ステップと、前記移動ベクトル検出ステップで検出される前記移動ベクトルにより、前記追跡対象領域を移動させて、前記次フレームに前記追跡対象領域を設定すると共に、前記次フレームを続く繰り返しの処理における前記処理対象フレームに設定する追跡対象領域移動ステップとを有し、前記移動ベクトル検出ステップは、前記信頼度に応じて、信頼性の低い前記動きベクトルを処理結果に反映しないように前記動きベクトルを処理して、前記移動ベクトルを検出すれば、背景等によるノイズについては、移動ベクトルに反映させないようにすることができる。これによりノイズによる検出精度の劣化を防止することができる。
【００１４】
またこれにより請求項１１、請求項１２、請求項１３の構成によれば、ノイズによる検出精度の劣化を防止することができる物体追跡方法のプログラム、物体追跡方法のプログラムを記録した記録媒体及び物体追跡装置を提供することができる。
【発明の効果】
【００１５】
本発明によれば、ノイズによる検出精度の劣化を防止することができる。
【発明を実施するための最良の形態】
【００１６】
以下、適宜図面を参照しながら本発明の実施例を詳述する。
【実施例１】
【００１７】
（１）実施例の構成
（１−１）全体構成
図１は、本発明の実施例１に係る物体追跡システムを示すブロック図である。この物体追跡システム１において、信号源２は、処理対象の画像データＳＶを出力する各種装置であり、例えば撮像結果を画像データＳＶにより出力する撮像装置、撮像装置による撮像結果を記録して画像データＳＶにより出力する記録再生装置等により構成される。
【００１８】
物体追跡装置３は、例えばコンピュータ、ハードウエア構成による専用装置等により構成され、この信号源２からの画像データＳＶを処理して移動体を追跡し、追跡結果Ｓ１を出力する。すなわち物体追跡装置３は、コンピュータにより構成される場合、リードオンリメモリ（ＲＯＭ）４の記録に従ってランダムアクセスメモリ（ＲＡＭ）５にワークエリアを確保して動作を立ち上げ、中央処理ユニット（ＣＰＵ）６によりハードディスク装置（ＨＤＤ）７に記録した物体追跡に係る処理プログラムを実行する。物体追跡装置３は、これによりインターフェース（Ｉ／Ｆ）８を介して入力される画像データＳＶをリアルタイムにより処理して、又はハードディスク装置７に一旦記録した後、処理して、物体追跡に係る一連の処理を実行し、追跡結果Ｓ１を出力する。また必要に応じて処理過程の画像等をモニタ９により表示する。なおこの実施例において、この物体追跡に係る処理プログラムは、この物体追跡装置３に事前にインストールされて提供されるものの、このような事前のインストールに代えて、インターネット等のネットワークを介したダウンロードにより提供するようにしてもよく、光ディスク、磁気ディスク、メモリカード等の各種記録媒体に記録して提供するようにしてもよい。
【００１９】
処理装置１０は、この追跡結果Ｓ１により、この物体追跡システム１に係る各種の処理を実行する。なおこの処理にあっては、この物体追跡システム１が適用されているシステムに応じた処理であり、例えばこの追跡結果Ｓ１により移動体を追跡するように撮像装置をパン、チルト、ズームさせる処理、この追跡結果により追跡対象の移動体が撮像されている領域がジャストフォーカスするようにフォーカス制御する処理、この追跡結果により追跡対象の移動体が撮像されている領域を切り出す等の処理である。
【００２０】
図２は、物体追跡装置３において、物体追跡に係る処理プログラムによる中央処理ユニット６の処理手順を示すフローチャートである。中央処理ユニット６は、オペレータによる指示等によりこの処理プログラムの実行が指示されると、この処理手順を開始してステップＳＰ１からステップＳＰ２に移る。
【００２１】
ここで中央処理ユニット６は、現フレーム及び前フレームの画像データＳＶを取得し、この現フレームの画像データＳＶと前フレームの画像データＳＶとの比較により、追跡対象である移動体を検出する。なおここで前フレームは、この実施例では処理対象のフレームであり、現フレームは、この前フレームに続くフレームである。またこの移動体の検出手法にあっては、種々の手法を適用することができ、この実施例では背景差分法を適用した。なおここで背景差分法による処理は、各画素毎に、又は所定画素毎に、さらには所定画素によるブロック毎に、現フレームと前フレームとの間でフレーム間差分値を計算してしきい値で判定することにより、動きのある画素、ブロックを検出して移動体が撮像された領域を検出する処理である。
【００２２】
このようにして移動体を検出すると、中央処理ユニット６は、ステップＳＰ３に移り、初期化処理により追跡対象領域の設定処理、特徴点の設定処理を実行する。中央処理ユニット６は、この追跡対象領域の設定処理により、ステップＳＰ２で検出した移動体を追跡する追跡対象領域を前フレームに設定する。この実施例では、図３に示すように、ステップＳＰ２で検出された領域の位置情報により、移動体を囲むように長方形形状の枠Ｗを設定することにより、この枠Ｗで囲まれる領域を追跡対象領域に設定する。この処理において、中央処理ユニット６は、ステップＳＰ２で検出された移動体毎に枠Ｗを設定し、各移動体毎にそれぞれ追跡対象領域を設定する。なおこの追跡対象領域の設定にあっては、長方形形状により設定する場合に限らず、楕円形形状、三角形形状等、追跡する移動体の形状、中央処理ユニット６の演算処理能力等に応じて、種々の形状により設定することができる。なおこのような移動体の自動検出による追跡対象領域の設定に代えて、オペレータによる入力により追跡対象領域を設定するようにしてもよい。
【００２３】
また中央処理ユニット６は、このステップＳＰ３における特徴点の設定処理により、各追跡対象領域に、それぞれ所定個数の特徴点を検出する。ここでこの特徴点の設定処理は、ＫＬＴ（Kanade−Lucas Track ）法、ＳＵＳＡＮ法、Ｈａｒｒｉｓ作用素法等、種々の手法を適用することができる。なおこの実施例では、ＫＬＴ法を使用して特徴点を設定し、これにより続くステップＳＰ４における特徴点の追跡処理も併せて実行した。因みに、ＫＬＴ法は、特徴点を検出して設定した後、勾配法により検出した特徴点の動きを検出する方法である。
【００２４】
続いて中央処理ユニット６は、ステップＳＰ４に移り、ステップＳＰ３で設定した追跡対象領域の１つを選択し、この選択した追跡対象領域に含まれる特徴点毎に、前フレームの位置座標から現フレームの対応する位置座標をそれぞれ検出することにより、各特徴点の動きを検出する。具体的に、中央処理ユニット６は、（１）式により示す前フレームｎのｋ番目の特徴点の位置座標に対して、（２）式により示す現フレームｎ＋１の対応するｋ番目の特徴点の位置座標を検出する。
【００２５】
【数１】
【００２６】
【数２】
【００２７】
続いて中央処理ユニット６は、次式により示すように、これら前フレーム及び現フレームで検出される対応する特徴点の位置座標の差分値を計算し、これにより各特徴点の動きベクトルＶFPkを計算する。なおこのような動きベクトルＶFPkの検出にあっては、ブロックマッチング法等、種々の手法を広く適用することができる。
【００２８】
【数３】
【００２９】
中央処理ユニット６は、続くステップＳＰ５において、このようにして検出した各特徴点の動きベクトルから移動体の動きを示すベクトルである移動ベクトルを検出する。このとき中央処理ユニット６は、ノイズ対策処理を実行し、これによりノイズによる検出精度の低下を防止する。
【００３０】
すなわち図４に示すように、このようにしてステップＳＰ３で設定される追跡対象領域には、追跡対象の移動体だけでなく、静止物体等の前景、揺れる木等の背景も含まれる。これによりこのステップＳＰ４で検出される動きベクトルにあっては、移動体の特徴点Ｐのみならず、前景、背景における特徴点Ｐの動きベクトルも含まれることになる。これによりこれら前景、背景の特徴点による動きベクトルは、移動体の動きを計算する際のノイズとなる。また追跡対象が人物のような場合、体の動きに対して四肢の動きが異なる場合もあり、この場合には、四肢に設定された特徴点の動きベクトルが、移動体の動きを計算する際のノイズとなる。
【００３１】
このため中央処理ユニット６は、このようなノイズである可能性を、追跡対象物体上に存在する特徴点の確からしさを示す信頼度により検出し、この信頼度により信頼性の低い動きベクトルを処理結果に反映しないように各特徴点の動きベクトルを処理して移動ベクトルを検出する。また信頼性の低い動きベクトルについては、続くフレームにおける処理から特徴点を除外する。なおこの実施例にあっては、このような追跡対象物体上に存在する特徴点の確からしさを、後述するようにこの物体上に特徴点が存在する確からしさと、特徴点自体の確からしさとにより検出する。
【００３２】
続いて中央処理ユニット６は、ステップＳＰ６に移り、遮蔽対策処理を実行する。すなわち実際に人物等を追跡する場合、手前側の構造物、人物等により追跡対象の全部又は一部が遮蔽されてしまう場合がある。この場合、従来の追跡手法によっては、追跡対象の動きを正しく検出できなくなる。このため中央処理ユニット６は、このステップＳＰ６において、追跡対象が遮蔽されている程度を示す遮蔽度を検出し、この検出結果によりステップＳＰ５で求めた移動ベクトルを過去のフレームで検出した移動ベクトルを参考にして補正し、これにより遮蔽による影響を防止して移動体の動きを検出する。
【００３３】
中央処理ユニット６は、続くステップＳＰ７において、移動体に対する移動ベクトルのずれを補正する。すなわち特徴点による動きベクトル検出は、局所的な動きについては、正確に動きを追跡できるものの、必ずしも追跡対象の動きを正しく反映するものではない。これによりこの実施例のように複数の特徴点で検出される動きベクトルを統計的に処理して追跡対象領域を移動させて移動体を追跡する場合、移動体の動きに対してこの追跡対象領域の移動が誤差を有するものとなり、この誤差の累積により移動体に対して追跡対象領域が徐々にずれてしまう場合がある。
【００３４】
これにより中央処理ユニット６は、このステップＳＰ７において、複数の特徴点より求めた移動ベクトルについて、移動体に対するずれを補正し、これにより確実に移動体を追跡できるようにする。
【００３５】
中央処理ユニット６は、続くステップＳＰ８において、このずれ補正した移動ベクトルにより前フレームに設定した枠Ｗを移動させ、これにより現フレームに追跡対象領域を設定する。またこの現フレームに設定した追跡対象領域の位置情報を追跡結果Ｓ１として続く処理装置１０に出力する。またこのとき追跡対象領域に含まれないことになった特徴点を削除する。
【００３６】
中央処理ユニット６は、続くステップＳＰ９において、ステップＳＰ８で設定した追跡対象領域について、ステップＳＰ５、ステップＳＰ８で削除した特徴点の分だけ、特徴点を追加設定し、これによりこの追跡対象領域に設定された特徴点の数をステップＳＰ３で設定した当初の個数に設定する。
【００３７】
中央処理ユニット６は、これにより１つの追跡対象領域についての前フレームの処理を完了し、続くステップＳＰ１０において、この前フレームに設定された全ての追跡対象領域について処理を完了したか否か判断する。ここで否定結果が得られると、中央処理ユニット６は、ステップＳＰ１０からステップＳＰ１１に移り、この前フレームに設定された他の追跡対象領域に処理対象を切り換えた後、ステップＳＰ４に戻る。これにより中央処理ユニット６は、前フレームに設定された追跡対象領域毎に、ステップＳＰ４−ＳＰ５−ＳＰ６−ＳＰ７−ＳＰ８−ＳＰ９−ＳＰ１０−ＳＰ１１−ＳＰ４の処理手順を繰り返し、前フレームに設定された追跡対象領域の全てについて、この一連の処理を完了すると、ステップＳＰ１０で肯定結果が得られることにより、ステップＳＰ１０からステップＳＰ１２に移る。
【００３８】
このステップＳＰ１２において、中央処理ユニット６は、次フレームの有無を判定し、ここで処理対象の画像データＳＶに次フレームが存在する場合、ステップＳＰ１２からステップＳＰ１３に移り、それまでの現フレームを前フレームに設定すると共に、この次フレームの画像データＳＶを取得して現フレームに設定し、ステップＳＰ４に戻る。これにより中央処理ユニット６は、画像データＳＶによる各フレーム毎に、この処理手順を繰り返し、全てのフレームについて処理を完了すると、ステップＳＰ１２で否定結果が得られることにより、ステップＳＰ１２からステップＳＰ１４に移ってこの処理手順を終了する。
【００３９】
（１−２）移動ベクトル計算処理（ノイズ対策処理）
図５は、図２のステップＳＰ５に係る移動ベクトル計算処理を詳細に示すフローチャートである。中央処理ユニット６は、この処理手順を開始すると、ステップＳＰ２１からステップＳＰ２２に移り、各特徴点の信頼度Ｃｋを計算する。
【００４０】
ここで信頼度Ｃｋは、追跡対象の移動体上に存在する特徴点ｋの確からしさを示す値であり、次式により表される。これにより信頼度Ｃｋは、値１に近い程、追跡対象の移動体に設定されている可能性が高いことを示し、値０の場合、この特徴点は、背景等に設定されている特徴点であることを示すように設定される。
【００４１】
【数４】
【００４２】
中央処理ユニット６は、このステップＳＰ２２において、異なる検出原理により各特徴点毎にそれぞれ複数種類の信頼度を計算し、続くステップＳＰ２３において、信頼度の低い特徴点を削除することにより、この信頼度の低い特徴点を移動ベクトルの計算対象、以降のフレームの処理から除外する。これにより中央処理ユニット６は、処理に供する特徴点数を削減して処理を簡略化する。また中央処理ユニット６は、続くステップＳＰ２４において、残る特徴点の動きベクトルを複数種類の信頼度を用いて処理することにより、移動体の移動ベクトルを計算し、続いてステップＳＰ２５に移って元の処理手順に戻る。これにより中央処理ユニット６は、ノイズによる影響を防止して検出精度の劣化を防止する。
【００４３】
このステップＳＰ２２における処理において、中央処理ユニット６は、始めにステップＳＰ２２−１において、追跡回数により信頼度Ｃｋを計算する。ここでこの実施例においては、この移動ベクトル計算処理のステップＳＰ２３の削除の処理により、さらにはステップＳＰ８の処理により特徴点を削除すると共に、特徴点を削除した分、ステップＳＰ９において特徴点を追加設定しながら、フレーム毎に、一連の処理手順を繰り返すことにより、移動体に正しく設定された特徴点であって、遮蔽等を受けることのない特徴点にあっては、連続するフレームで連続して動きベクトルが検出され、繰り返し移動体の移動ベクトルの検出に用いられることになる。すなわちこのような特徴点にあっては、連続するフレームで連続して追跡されることになる。
【００４４】
これによりこのようにして連続して何回も追跡されている特徴点にあっては、移動体上に存在する確からしさが高いと言える。これによりこの実施例において、中央処理ユニット６は、この一連の処理における繰り返しの追跡回数を示すカウント値を各特徴点毎に設定し、ステップＳＰ２における特徴点の設定により、またステップＳＰ９における追加設定により、対応する特徴点のカウント値を初期設定によるカウント値（値０）に設定する。またステップＳＰ９の追跡対象領域を移動させた後においても削除されていない特徴点については、このカウント値を値１だけインクリメントする。
【００４５】
このようにカウント値を初期化、インクリメントするようにして、中央処理ユニット６は、このステップＳＰ２２−１の処理において、このカウント値に応じて図６に示すように、カウント値が大きくなるに従って値が増大するように、追跡回数による信頼度ωc を設定する。
【００４６】
なおこの実施例では、カウント値が値０近傍の、所定のしきい値ｔ１より小さい場合には、追跡回数による信頼度ωc を値０に設定し、カウント値が十分に値の大きな、所定のしきい値ｔ２より大きい場合には、追跡回数による信頼度ωc を値１に設定した。またこのしきい値ｔ１からｔ２の範囲では、カウント値の増大により値が増大するように一次関数を用いた線型補間により追跡回数による信頼度ωc を設定した。
【００４７】
続いて中央処理ユニット６は、ステップＳＰ２２−２に移り、時間的信頼度を計算する。ここで時間的信頼度は、過去のフレームで検出された移動体の移動ベクトルと、ステップＳＰ４で検出した動きベクトルとの差分ベクトルの判定により、移動体上に特徴点が存在する確からしさを示すものである。この実施例では、この過去のフレームで検出された移動体の移動ベクトルに直前フレームで検出された移動ベクトルが適用される。
【００４８】
すなわち動きベクトルのｘ方向成分Ｖｘ及びｙ方向成分Ｖｙを２次元の座標軸に設定し、この座標軸による座標空間に各特徴点で検出される動きベクトルを表すと、図７に示すように、各特徴点で検出される動きベクトルは、グループを形成することになる。ここでｘ方向成分Ｖｘ及びｙ方向成分Ｖｙが共に値０近傍である特徴点のグループＧ１にあっては、背景等の静止物体（図４では障害物が相当する）に設定された特徴点の動きベクトルであると判断される。これに対してこのようにｘ方向成分Ｖｘ及びｙ方向成分Ｖｙが共に値０近傍では無く、他に比して数の多いグループＧ２は、移動体に設定された特徴点の動きベクトルであると判断され、同様に、ｘ方向成分Ｖｘ及びｙ方向成分Ｖｙが共に値０近傍では無く、グループＧ２に比して数の少ないグループＧ３は、追跡対象領域に含まれた他の移動体（図４では、揺れる木が相当する）に設定された特徴点の動きベクトルであると判断される。
【００４９】
このような分布において、実際に移動体を撮像した場合、移動体にあっては連続するフレームで連続して移動していることにより、移動体上に存在する動きベクトルにあっては、時間軸方向の変化が連続的に変化していると判断することができる。これにより１フレーム前の移動体の移動ベクトルに対して大きく異なる動きベクトルにあっては、移動体上に存在する可能性が低いと判断することができる。
【００５０】
すなわち前フレームｎで求められる各特徴点の動きベクトルをＶFRk〔ｎ〕とおき、１つ前のフレームｎ−１で求められる移動体慣性移動ベクトルをＶobj〔ｎ−１〕とおいたとき、移動体にこの特徴点が設定されている場合、慣性移動ベクトルＶobj〔ｎ−１〕に対して動きベクトルＶFRk〔ｎ〕は、似通った値となるはずである。なおここで移動体慣性移動ベクトルをＶobjは、後述する遮蔽処理により求められる移動ベクトルであり、移動体が遮蔽されていない場合等には、直前のフレームで検出された移動ベクトルＶpres〔ｎ−１〕と一致する。
【００５１】
これにより図７においてグループＧ３により示すように、移動体に設定された特徴点の動きベクトルＶFRk〔ｎ〕は、直前のフレームで検出された移動体慣性移動ベクトルＶobj〔ｎ−１〕による点Ｐ１をほぼ中心にして分布していると言える。
【００５２】
これにより図８に示すように、中央処理ユニット６は、この直前のフレームで検出された慣性移動ベクトルＶobj〔ｎ−１〕を基準にして、このｘ方向成分Ｖｘ及びｙ方向成分Ｖｙによる２次元空間において、移動体慣性移動ベクトルＶobj〔ｎ−１〕による点Ｐ１からの距離ｒに応じて時間的信頼度ωｔを設定する。
【００５３】
この実施例では、この距離ｒを３つのしきい値ｔｈ１、ｔｈ２、ｔｈ３により判定し、最も値の小さなしきい値ｔｈ１より距離ｒが小さい場合、すなわち１フレーム前で検出された移動体慣性移動ベクトルＶobj〔ｎ−１〕と、特徴点で検出される動きベクトルＶFPkとの間で、次式の関係式が成立する場合、時間的信頼度ωｔを値１に設定する。
【００５４】
【数５】
【００５５】
また最も値の大きなしきい値ｔｈ３より距離ｒが大きい場合、すなわち１フレーム前で検出された移動体慣性移動ベクトルＶobj〔ｎ−１〕と、特徴点で検出される動きベクトルＶFPkとの間で、次式の関係式が成立する場合、この特徴点を削除対象に設定し、この特徴点を移動ベクトルの計算に使用しないようにし、また続くフレームの処理から除外する。
【００５６】
【数６】
【００５７】
これに対して続いて値の大きなしきい値ｔｈ２より距離ｒが大きく、かつ値の大きなしきい値ｔｈ３より距離ｒが小さい場合、すなわち１フレーム前で検出された移動体慣性移動ベクトルＶobj〔ｎ−１〕と、特徴点で検出される動きベクトルＶFPkとの間で、次式の関係式が成立する場合、時間的信頼度ωｔを値０に設定する。
【００５８】
【数７】
【００５９】
これに対して最も値の小さなしきい値ｔｈ１より距離ｒが大きく、続いて値の小さなしきい値ｔｈ２より距離ｒが小さい場合、すなわち１フレーム前で検出された移動体慣性移動ベクトルＶobj〔ｎ−１〕と、特徴点で検出される動きベクトルＶFPkとの間で、次式の関係式が成立する場合、一次関数を用いた線型補間により距離ｒの増大により徐々に値１から値０に減少するように、時間的信頼度ωｔを設定する。
【００６０】
【数８】
【００６１】
これによりｙ方向成分Ｖｙが値０の場合の特徴点についての時間的信頼度ωｔの設定を示すと、中央処理ユニット６は、図９に示すような特性により時間的信頼度ωｔを設定することになる。なおこのような距離ｒによる動きベクトルの判定にあっては、移動体における移動の特性により、図８に示すような円による判定に代えて、例えば水平方向が長軸である楕円形により、１フレーム前で検出された移動体の移動体慣性移動ベクトルＶobj〔ｎ−１〕に対する分布を判定して実行するようにしてもよい。具体的に、例えば人物を追跡する場合にあっては、水平方向に移動する場合が殆どであることにより、この場合、水平方向が長軸である楕円形により判定するようにして、水平方向に比して垂直方向の判定基準を厳しいものとして信頼度の設定精度を向上することができる。
【００６２】
また直前フレームで検出される移動ベクトルに代えて、直前の複数フレームで検出される移動ベクトルの平均値を適用する場合、さらには２フレーム前で検出された移動ベクトルを適用する場合等、差分値の生成に供する移動ベクトルにあっては、必要に応じて過去に検出した種々の移動ベクトルを適用することができる。
【００６３】
なお図１０は、この時間的信頼度ωｔの設定に係る中央処理ユニット６の一連の処理手順を示す図である。中央処理ユニット６は、この実施例では、オペレータによる事前の設定により、これらしきい値ｔｈ１〜ｔｈ３の設定を受け付ける。なおこのような設定の受け付けにあっては、例えば標準のしきい値の設定によりこの一連の処理を事前に実行して追跡対象領域（枠ｗ）の変化を表示し、オペレータによる設定の変更を受け付ける場合等が考えられる。
【００６４】
このようにして時間的信頼度ωｔを計算すると、中央処理ユニット６は、続くステップＳＰ２２−３において、他の特徴点との間の距離の変化を判定し、その判定結果を集計することにより空間的信頼度ωｓを計算する。
【００６５】
ここで図１１（Ａ１）及び（Ａ２）に示すように、ｎフレームで検出される特徴点ＦＰ１〜ＦＰ５がそれぞれ動きベクトルＶ１〜Ｖ５により続くｎ＋１フレームの位置に移動した場合にあって、１つの特徴点ＦＰ１が残りの他の特徴点ＦＰ２〜ＦＰ５とは異なる動きを示した場合、この１つの特徴点ＦＰ１は、追跡対象の移動体に設定されたものでは無い可能性が高い。
【００６６】
これに対して図１１（Ｂ１）及び（Ｂ２）に示すように、このように１つの特徴点ＦＰ１が残りの他の特徴点ＦＰ２〜ＦＰ５とは異なる動きを示した場合であっても、この１つの特徴点ＦＰ１が残りの他の特徴点ＦＰ２〜ＦＰ５と関連した動きである場合、これらの特徴点ＦＰ１〜ＦＰ５にあっては、同一の移動体に設定されたものである可能性が高い。ちなみに、この図１１（Ｂ１）及び（Ｂ２）は、特徴点ＦＰ１〜ＦＰ５の相互の間隔が広がった場合であって、他の特徴点ＦＰ２〜ＦＰ５間の間隔に比して、１つの特徴点ＦＰ１との間の間隔が大きく開きつつ、これら５つの特徴点ＦＰ１〜ＦＰ５が同一方向に移動した場合であり、例えば追跡対象の移動体が人物である場合に、この人物が移動しながら背伸びをしたような場合が相当する。
【００６７】
これに対して図１１（Ｃ１）及び（Ｃ２）に示すように、このように１つの特徴点ＦＰ１が残りの他の特徴点ＦＰ２〜ＦＰ５とは異なる動きを示した場合であって、他の特徴点ＦＰ２〜ＦＰ５との間で相対的な位置関係が保持されていない場合、この１つの特徴点ＦＰ１は、追跡対象の移動体に設定されたものでは無い可能性が高い。
【００６８】
しかしながらこれら図１１（Ａ１）及び（Ｃ２）の例において、他の特徴点ＦＰ２〜ＦＰ５は、相互の位置関係を保持して移動していることにより、追跡対象の移動体に設定されたものである可能性が高い。
【００６９】
これにより中央処理ユニット６は、次式により示すように、このように１つの特徴点毎に、他の特徴点まで距離の変化を所定のしきい値ｔｈΔにより判定し、このしきい値ｔｈΔ以上に変化の大きな特徴点数を、各特徴点でカウントする。また全ての特徴点数から処理対象の特徴点数（値１）を減算した減算値により、このようにして計算したカウント値を割り算して正規化し、これによりｋ番目の特徴点の弾性インデックスｋを計算する。なおここで（９）式において、ＦＰ１、ＦＰｋは、それぞれ処理対象の特徴点、他の特徴点の座標値であり、添え字により示すｎ−１、ｎは、それぞれ前フレーム及び現フレームを示し、また＃は、カウント値を示す。
【００７０】
【数９】
【００７１】
なおこのしきい値ｔｈΔは、この実施例では定数を設定したが、処理対象の特徴点における動きベクトルの大きさ、ステップＳＰ２２−１、ＳＰ２２−２における処理結果等により、特徴点毎に値を変更するようにしてもよい。
【００７２】
具体的に、図１１（Ｂ１）及び（Ｂ２）における１番目の特徴点ＦＰ１と５番目の特徴点ＦＰ５との関係について説明すると、ｎフレーム目における１番目の特徴点ＦＰ１から５番目の特徴点ＦＰ５までの距離δn,1（５）と、ｎフレーム目における５番目の特徴点ＦＰ５から１番目の特徴点ＦＰ１までの距離δn,5（１）との間では、δn,1（５）＝δn,5（１）の関係式が成立し、続くｎ＋１フレーム目における１番目の特徴点ＦＰ１から５番目の特徴点ＦＰ５までの距離δn+1,1（５）と、これら距離δn,1（５）又はδn,5（１）とを比較すると、この場合、距離δn+1,1（５）が伸びていることがわかる。
【００７３】
中央処理ユニット６は、これによりこの場合、次式により示すように、これら距離δn+1,1 （５）とδn,1（５）との差分値がしきい値ｔｈΔより大きい場合、この特徴点ＦＰ１に係るカウント値ｃｏｕｎｔｅｒＦＰ１をアップカウントする。
【００７４】
【数１０】
【００７５】
またこのようにして残りの特徴点ＦＰ２〜ＦＰ４との間で同様にして距離の差分値をしきい値ｔｈΔより判定してカウント値を更新し、この図１１の例では、全ての特徴点数５より値１を減じた値４によりカウント値を割り算して弾性インデックスｋを計算する。またさらに次式により示すように、この弾性インデックスｋを値１から減算し、これにより空間的信頼度ωｓを計算する。
【００７６】
【数１１】
【００７７】
なお図１２は、この空間的信頼度ωｓの設定に係る中央処理ユニット６の一連の処理手順を示す図である。中央処理ユニット６は、これにより直前フレームで検出された各特徴点間の距離の情報をメモリに記録して保持し、このメモリの記録と、この前フレームで検出される距離の情報とにより弾性インデックスを計算した後、空間的信頼度ωｓを各特徴点毎に計算する。
【００７８】
このようにして空間的信頼度ωｓを計算すると、中央処理ユニット６は、続くステップＳＰ２２−４において、静止点の検出処理を実行する。ここで図１３は、この静止点の検出処理における中央処理ユニット６の処理手順を示すフローチャートである。中央処理ユニット６は、この処理手順を開始すると、ステップＳＰ３１からステップＳＰ３２に移る。ここで中央処理ユニット６は、移動体が静止しているか否か判断し、ここで静止していると判断される場合、ステップＳＰ３２からステップＳＰ３３に移ってこの処理手順を終了する。なおここでこの移動体が静止しているか否かの判断にあっては、ステップＳＰ２２−１〜ステップＳＰ２２−４で検出した各種信頼度により、又はこれらの信頼度の組み合わせにより、移動ベクトルを計算して判定する場合等、種々の判定手法を広く適用することができる。なお中央処理ユニット６は、このようにステップＳＰ３２からステップＳＰ３３に移って処理を完了する場合、この追跡対象領域の各特徴点に係る静止画カウンタ（後述する）については、カウント値を値０にリセットする。
【００７９】
これに対して移動体が静止していないとの判定結果が得られると、中央処理ユニット６は、ステップＳＰ３２からステップＳＰ３４に移る。ここで中央処理ユニット６は、処理対象の追跡対象領域に設定された１つの特徴点を選択し、この特徴点について、１フレーム前と同じ位置に位置するか否か判断する。なおここでこの判定にあっては、１フレーム前で検出された位置（ｘｋ，ｙｋ）ｎと、前フレームである処理対象のフレームで検出された位置（ｘｋ，ｙｋ）ｎ＋１との差分値を所定のしきい値により判定し、このしきい値より差分値が小さい場合に、同一位置と判定する。
【００８０】
中央処理ユニット６は、ここで同一位置であるとの判定結果が得られない場合、ステップＳＰ３４からステップＳＰ３５に移る。ここで中央処理ユニット６は、静止していたフレーム数を示す静止カウンタｋを値０にリセットした後、ステップＳＰ３６に移る。ここで中央処理ユニット６は、この追跡対象領域の全ての特徴点について処理を完了したか否か判断し、ここで否定結果が得られると、ステップＳＰ３６からステップＳＰ３７に移り、処理対象を次の特徴点に切り換えてステップＳＰ３４に戻る。
【００８１】
これに対してステップＳＰ３４で肯定結果が得られると、中央処理ユニット６は、ステップＳＰ３４からステップＳＰ３８に移る。ここで中央処理ユニット６は、静止カウンタｋを値１だけインクリメントした後、続くステップＳＰ３９において、この静止カウンタｋのカウント値が所定のしきい値ｔｈ５と一致するか否か判断する。
【００８２】
ここで肯定結果が得られると、この場合、移動体が移動している場合にも係わらず、この処理対象の特徴点にあっては、このしきい値ｔｈ５に対応する連続するフレームで同一の位置に位置することより、中央処理ユニット６は、この場合、ステップＳＰ３９からステップＳＰ４０に移り、この特徴点を静止点に設定する。また続いてステップＳＰ３６に移り、ここでこの追跡対象領域の全ての特徴点について処理を完了したか否か判断し、ここで否定結果が得られると、ステップＳＰ３６からステップＳＰ３７に移り、処理対象を次の特徴点に切り換えてステップＳＰ３４に戻る。
【００８３】
これに対してステップＳＰ３９で否定結果が得られると、中央処理ユニット６は、ステップＳＰ３９からステップＳＰ４１に移る。ここで中央処理ユニット６は、ステップＳＰ２２−３で検出したこの特徴点に係る空間的信頼度ωｓが所定のしきい値ｔｈ６より小さいか否か、すなわち他の多くの特徴点に対して空間的に異なる動きを呈した程度が大きいか否か判断する。
【００８４】
ここで肯定結果が得られると、中央処理ユニット６は、ステップＳＰ４１からステップＳＰ４０に移り、この特徴点を静止点に設定した後、ステップＳＰ３６に移る。これに対してステップＳＰ４１で否定結果が得られると、ステップＳＰ４１から直接ステップＳＰ３６に移る。
【００８５】
これらにより中央処理ユニット６は、繰り返し検出される特徴点の位置座標の判定により、移動体上に特徴点が存在する確からしさを、それまで繰り返し静止していた回数により示す静止点信頼度を検出する。
【００８６】
中央処理ユニット６は、このようにして静止点を検出すると、続くステップＳＰ２２−５において、平滑ブロック処理を実行する。ここで中央処理ユニット６は、各特徴点毎に、周囲のサンプリング点との間でサンプリング値の差分値を計算する。ここでこの差分値が小さい場合には、この特徴点は、特徴点としての信頼度が低いことになる。これにより中央処理ユニット６は、この差分値が一定値以下の特徴点を検出する。なおこの処理においては、例えば特徴点に係るサンプリング点と、このサンプリング点の水平方向及び垂直方向に隣接するサンプリング点との間で、サンプリング値の差分絶対値和を計算し、この差分値絶対値和をしきい値により判定して実行される。なおこのような水平方向及び垂直方向に隣接すサンプリング点との間の処理に代えて、周囲８サンプリング点との間で処理する場合等、この判定に供する範囲にあっては、必要に応じて種々に設定することができる。
【００８７】
これにより中央処理ユニット６は、各特徴点毎に、周囲のサンプリング点との間でサンプリング値の差分値を判定することにより、移動体上に存在する特徴点の確からしさを、周囲のサンプリング点との比較により示す平滑度信頼度を検出する。
【００８８】
これらにより中央処理ユニット６は、続くステップＳＰ２３において、このように異なる検出原理で検出した複数種類の信頼度のうちの一部を用いて、信頼度の低い特徴点を削除し、この信頼度の低い特徴点については、移動ベクトルの計算に使用しないようにし、また以降のフレームの処理対象から除外する。またこのようにして特徴点を削除した分、上述のステップＳＰ９において特徴点を追加設定する。これにより中央処理ユニット６は、後述する重み平均の処理の他に、この特徴点の削除処理によっても、信頼性の低い動きベクトルを処理結果に反映しないようにして移動ベクトルを検出し、さらにはこの移動ベクトルの検出に係る処理を簡略化する。
【００８９】
具体的に、中央処理ユニット６は、処理対象である追跡対象領域の特徴点から、ステップＳＰ２２で削除対象に設定された特徴点、ステップＳＰ２２−４で検出された静止点、ステップＳＰ２２−５で検出された平滑度信頼度の低い特徴点を削除する。
【００９０】
この特徴点の削除にあっては、これら静止点、平滑度信頼度等により削除する場合に限らず、これらに代えて、又はこれらに加えて、他の信頼度により削除するようにしてもよく、またさらにはこのように異なる検出原理で検出した複数種類の信頼度の全てを用いて削除するようにしてもよい。また削除の処理に使用する信頼度毎に、各信頼度を計算した直後に該当する特徴点を削除するようにして、続く信頼度検出の処理を簡略化することができる。
【００９１】
また中央処理ユニット６は、続くステップＳＰ２４における移動ベクトルの計算において、このように異なる検出原理で検出した複数種類の信頼度のうちの一部を用いた重み付け処理により移動ベクトルを計算する。この実施例では、この一部の信頼度に、追跡回数信頼度ωｃ、時間的信頼度ωｔ、空間的信頼度ωｓが適用される。またこの重み付け処理には、重み付け平均の処理が適用される。
【００９２】
これにより中央処理ユニット６は、このステップＳＰ２４において、次式により示すように、追跡回数信頼度ωｃ、時間的信頼度ωｔ、空間的信頼度ωｓを乗算して総合の信頼度ωを計算する。
【００９３】
【数１２】
【００９４】
さらにこの計算した総合の信頼度ωを用いた重み付け平均値を計算し、これによりこの処理対象である追跡対象領域における移動体の動きベクトルを計算する。これらによりこの実施例では、ノイズによる影響を防止して検出精度の劣化を防止する。
【００９５】
なお中央処理ユニット６は、このようにして求めた移動ベクトルをステップＳＰ６により遮蔽対策処理し、ステップＳＰ７によりずれ補正処理した後、ステップＳＰ８で枠Ｗを移動させて現フレームに追跡対象領域を設定する。このときこの追跡対象領域に含まれない特徴点をさらに削除する。またこのステップＳＰ８で削除した分についても、ステップＳＰ９において特徴点を追加設定する。
【００９６】
なお上述のステップＳＰ３２における判定は、この一連の処理を繰り返して検出される移動ベクトルにより、それまで連続してこの移動ベクトルが所定値以下の場合、移動体が静止していると判断する。
【００９７】
（１−３）遮蔽処理
図１４は、遮蔽の説明に供する略線図である。遮蔽は、移動体Ｍが遮蔽物Ｎの後方を横切ることにより発生し、これによりこの図１４の例では、連続するｎフレームからｎ＋５フレームにおいて、移動体に設定される特徴点（黒丸により示す）の数が、遮蔽物Ｎと移動体Ｍとの重なり合いの程度によって順次変化することになる。
【００９８】
これにより図１５（Ａ）に示すように、移動体に設定された特徴点数にあっては、遮蔽の開始により徐々に数が低下した後、遮蔽の終了に近づくに従って徐々に数が増大して遮蔽前の値に戻ることになる。すなわちこの場合、上述した追跡回数の信頼度ωｃの検出処理において、追跡回数がしきい値ｔ１以下の、追跡回数信頼度ωｃの低い特徴点が増大し、これとは逆に追跡回数がしきい値ｔ２以上の、追跡回数信頼度ωｃの高い特徴点が減少する。
【００９９】
これにより追跡対象領域の特徴点の数に対して、所定回数以上連続して追跡に成功している特徴点数の比率を求めることにより、遮蔽の程度を示す遮蔽度を検出することができる。なおこの実施例では、繰り返しのフレームの処理で信頼度の低い特徴点を削除すると共に、削除した分、特徴点を追加設定していることにより、このように所定回数以上連続して追跡に成功している特徴点は、この所定回数以上の繰り返し処理で、追加設定されなかった特徴点となる。
【０１００】
これにより中央処理ユニット６は、この遮蔽度に応じてステップＳＰ５で検出される移動ベクトルと、過去の繰り返し処理で検出された移動ベクトルとを演算処理することにより、このステップＳＰ５で検出される移動ベクトルを補正し、遮蔽中の移動体を追跡する。
【０１０１】
すなわち図１６は、この遮蔽対策に係る中央処理ユニット６の処理手順を示すフローチャートである。中央処理ユニット６は、この処理手順を開始すると、ステップＳＰ５１からステップＳＰ５２に移り、遮蔽度を検出する。ここで中央処理ユニット６は、次式により示すように、追跡回数が所定回数以上の特徴点数を計算し、この計算した特徴点数を所定の基準値ｔｈ７から減算し（図１５（Ｂ））、その結果得られる減算値を基準値ｔｈ７により割り算して正規化し（図１５（Ｃ））、遮蔽度を検出する。なおここでＶ４．０は、追跡回数が所定回数以上の特徴点数である。なお追跡回数が所定回数以上の特徴点数に代えて、追跡回数信頼度ωｃが所定値以上の特徴点数を検出して遮蔽度を検出するようにしてもよい。なおこの実施例では、この基準値ｔｈ７を、追跡対象領域に設定されている特徴点の数の１／２の値に設定した。
【０１０２】
【数１３】
【０１０３】
これにより中央処理ユニット６は、図１５（Ｃ）に示すように、追跡回数が所定回数以上の特徴点数が、追跡対象領域に削除されてないで保持されている特徴点数の１／２以上の範囲では、値０に保持されるように、またこの追跡回数が所定回数以上の特徴点数が、追跡対象領域に削除されてないで保持されている特徴点数の１／２以下となると、この追跡回数が所定回数以上の特徴点数の減少により徐々に値が値０から増大するように、また追跡回数が所定回数以上の特徴点数が０個となる値１となるように、遮蔽度を計算する。
【０１０４】
続いて中央処理ユニット６は、ステップＳＰ５３において、この遮蔽度を用いた移動体慣性移動ベクトルを計算する。ここで移動体慣性移動ベクトルは、移動体が慣性により移動している場合の、この移動体の動きを示す動きベクトルであり、次式の演算処理により計算される。なおここで移動ベクトルは、ステップＳＰ５で計算した移動ベクトルである。また過去移動ベクトルは、移動体の過去のフレームで検出される移動ベクトルであり、例えば、１フレーム前で検出された移動体の動きベクトル、１０フレーム前で検出された移動体の動きベクトル等が適用される。またαは、帰還率を抑制するパラメータであり、この実施例では遮蔽度が代入される。これにより中央処理ユニット６は、重み付け係数を遮蔽度に応じて可変して、ステップＳＰ５で検出した移動ベクトルと、過去の繰り返し処理で検出された移動ベクトルとの重み平均処理により、ステップＳＰ５で検出した移動ベクトルを補正する。
【０１０５】
【数１４】
【０１０６】
なお（１４）式により明らかなように、この実施例では、特徴点による移動体の動きベクトルと、過去の１フレームで検出された移動体の動きベクトルとを用いた一次関数の演算処理により遮蔽された移動体の動きを計算する場合について述べたが、二次関数等の演算処理により過去の複数フレームで計算された動きベクトルにより移動体の動きを計算するようにしてもよい。
【０１０７】
これにより中央処理ユニット６は、移動体が一定値以上遮蔽されるまでの間、特徴点の動きベクトルで検出される移動ベクトルにより移動体を追跡し、一定値以上遮蔽されると、（１−α）の帰還率により過去に検出した移動ベクトルを用いて動きベクトルで検出される移動ベクトルを補正する。しかして中央処理ユニット６は、この移動体慣性移動ベクトルを移動体の動きベクトルに設定した後、ステップＳＰ５４に移ってこの処理手順を終了する。
【０１０８】
（１−４）ずれ補正処理
ところで各特徴点の動きベクトル検出は、局所的な動きについては、正確に動きを追跡できるものの、必ずしも追跡対象の動きを正しく反映するものではない。これによりこの実施例のように複数の特徴点で検出される動きベクトルを統計的に処理して追跡対象領域を移動させる場合、移動体の動きに対してこの追跡対象領域の移動が誤差を有するものとなり、図１７において、連続するＮフレームにおける移動体と枠Ｗによる追跡対象領域との関係を示すように、この誤差の累積により移動体に対して追跡対象領域が徐々にずれてしまう場合があり、これにより徐々に追跡精度が低下することになる。
【０１０９】
このため中央処理ユニット６は、図１８に示すずれ補正処理により、このようなずれを補正する。すなわち中央処理ユニット６は、この処理手順を開始すると、ステップＳＰ６１からステップＳＰ６２に移る。ここで中央処理ユニット６は、上述した遮蔽処理における遮蔽度の判定により、処理対象のフレームが遮蔽中であるか否か判断する。ここで肯定結果が得られると、中央処理ユニット６は、ステップＳＰ６２からステップＳＰ６３に移り、この場合、何ら補正処理することなく元の処理手順に戻る。これにより中央処理ユニット６は、遮蔽中の場合には、何ら移動ベクトルをずれ補正することなくこの処理手順を終了する。なおここでこの実施例における遮蔽中か否かの判断にあっては、遮蔽度の値０からの立ち上がりによりフラグを設定するようにして、このフラグの判定により実行される。
【０１１０】
これに対してステップＳＰ６２で否定結果が得られると、中央処理ユニット６は、ステップＳＰ６２からステップＳＰ６４に移り、ここで処理対象のフレームが遮蔽を終了した直後のフレームであるか否か判断する。なおここで遮蔽が終了した後、所定フレーム数Ｎだけ経過するまでの間にあっては、遮蔽を終了した直後のフレームであると判断する。またこれら遮蔽中であるか否かの判断にあっては、上述の遮蔽度の判定に限らず、遮蔽処理とは別に判定するようにしてもよい。
【０１１１】
ここで否定結果が得られると、中央処理ユニット６は、ステップＳＰ６４からステップＳＰ６５に移る。ここで中央処理ユニット６は、既に移動ベクトルを検出したフレームであって、移動体が遮蔽されていないフレームの画像データＳＶより固定パターンを作成する（図１７（Ａ））。具体的に、この実施例では、Ｎフレームだけ前に処理した画像データＳＶを使用してこの固定パターンを作成し、これにより図１８において時点ｔ１により示す処理対象フレームから上述の所定フレーム数Ｎだけ時間軸を逆上った時点ｔ１−Ｎにより示すフレームにおいて、同一の追跡対象領域の画像データＳＶより固定パターンを作成する（図１７（Ａ））。これにより中央処理ユニット６は、遮蔽中のフレームにあっては、ずれ補正処理に使用しないようにする。
【０１１２】
ここでこの固定パターンは、相関検出用のテンプレートであり、追跡対象領域の画像データを切り出して作成される。なお固定パターンは、このようにＮフレーム前の画像データＳＶにより作成する場合に限らず、Ｎフレーム前からさらに逆上ったＫ個のフレームの画像データＳＶの平均値により作成する場合、さらにはこれらＫ個のフレームによる画像データの重み付け平均値により作成する場合、さらには帰還フィルタの手法により作成する場合等、既に移動ベクトルを検出したフレームであって、移動体が遮蔽されていないフレームの画像データより種々の方法で作成することができる。
【０１１３】
中央処理ユニット６は、このようにして作成した固定パターンに対して、重み係数を設定した重みパターンをさらに作成する。ここでこの重みパターンは、この固定パターンに係る追跡対象領域に設定された特徴点について、それぞれ特徴点のサンプリング点と、このサンプリング点近傍のサンプリング点とに、各特徴点の信頼度の値による重み係数を設定し、残りのサンプリング点に値０の重み係数を設定して作成される。またこの信頼度にあっては、上述したノイズ除去処理に係る総合の信頼度、又は総合の信頼度の算出に供された各信頼度の何れかを適用することができる。またこのように信頼度の値による重み係数を設定する特徴点近傍のサンプリング点にあっては、必要に応じて種々に設定することができ、また移動体に応じて水平方向と垂直方向とでサンプリング点の数を異ならせるようにしてもよい。
【０１１４】
中央処理ユニット６は、続いてステップＳＰ６６に移り、この固定パターン、重みパターンを用いたブロックマッチングにより最も相関の高い位置を検出する。具体的に、中央処理ユニット６は、この固定パターンを追跡対象領域に重ね合わせた位置を中心にして、垂直方向及び水平方向にそれぞれ±Ｓ画素の範囲をサーチ範囲に設定し、処理対象のフレームに係る画像に対して、このサーチ範囲で順次、固定パターンを移動させる。また各移動位置毎に、固定パターンと処理対象フレームの画像との間で、重なり合うサンプリング点間で画素値の差分値を計算し、さらに重みパターンによる対応する重み係数により各差分値を乗算する。中央処理ユニット６は、この乗算値の絶対値和を計算し、これにより相関値を計算する。また各位置で検出される相関値より最も値の小さな相関値の位置を検出する。なおこれにより図１７及び図１９において示すサーチ範囲は、固定パターンの１つのサンプリング点についてのサーチ範囲である。またこの相関値の検出にあっては、追跡対象領域の全サンプリング点による固定パターンにより実行する場合に限らず、サンプリング点を間引きした低解像度の固定パターンにより実行する場合等、種々のパターンマッチング手法を広く適用することができる。
【０１１５】
中央処理ユニット６は、これにより処理対象フレームより過去のフレームに設定された追跡対象領域と、次フレームとのパターンマッチングにより、過去のフレームに設定された追跡対象領域と次フレームとの間で最も相関の高い位置を検出し、これによりパターンマッチング法により処理対象フレームにおける移動体の位置を検出する。
【０１１６】
中央処理ユニット６は、続いてステップＳＰ６７に移り、処理対象フレームの対応する追跡対象領域の中心位置から、このようにして検出した最も相関の高い位置までのベクトルを検出し、これにより移動体に対する追跡対象領域のずれを検出する。中央処理ユニット６は、この検出したベクトルをずれ修正用のベクトルとして用いて、続くステップＳＰ６８において、この処理対象フレームで検出した移動ベクトルにこの修正ベクトルを加算して移動ベクトルを補正し、これにより移動体に対する追跡対象領域のずれを補正した後、ステップＳＰ６３に移ってこの処理手順を終了する。
【０１１７】
これに対してステップＳＰ６４で肯定結果が得られると、中央処理ユニット６は、ステップＳＰ６４からステップＳＰ６９に移る。ここで中央処理ユニット６は、遮蔽されていたフレームの分だけさらに逆上ったフレームにより固定パターンを作成する。これにより図１９に示す例において、時点ｔ３によるフレームにあっては、遮蔽を開始した時点ｔ２よりＮフレーム分だけ逆上った時点ｔ２−Ｎによるフレームを用いて、固定パターンを作成し、さらに重みパターンを作成し、これによっても遮蔽中のフレームを処理に使用しないようにする。
【０１１８】
また続くステップＳＰ６５において、中央処理ユニット６は、上述したと同様にして、この固定パターン、重みパターンにより重み相関値を計算する。この処理において、中央処理ユニット６は、このように遮蔽終了直後においては、何ら遮蔽されていなかった場合に比して、サーチ範囲を拡大して相関値を計算する。これにより中央処理ユニット６は、遮蔽終了直後にあっても、確実にずれを補正する。なおこのサーチ範囲の拡大にあっては、遮蔽により位置ずれ補正を中止したフレーム数に応じて設定され、例えばこのフレーム数に比例してサーチ範囲が拡大するように設定される。
【０１１９】
図２０は、これら一連の中央処理ユニット６の処理により構成されるこの物体追跡装置３の機能ブロック図である。この物体追跡装置３において、特徴点処理部１１は、前フレームに追跡対象領域を設定して特徴点を設定し、また一連の処理により削除された分、特徴点を追加設定する特徴点選択部１２を構成すると共に、この特徴点選択部１２による特徴点の現フレームへの動きベクトルを検出して特徴点を追跡する特徴点追跡部１３を構成する。これに対して動き解析部１４は、特徴点処理部１１で検出される動きベクトルにより移動ベクトルを検出する。すなわち動き解析部１４において、ノイズ削減、削除部１５は、信頼度を検出して特徴点を削除することによりノイズの影響を低減し、また現フレームの動き算出部１６は、残った特徴点の動きベクトルにより移動ベクトルを計算する。これに対して遮蔽対策部１７は、この移動ベクトルを遮蔽対策処理し、遮蔽検出部１８において、移動体の遮蔽度を検出する。またこの検出した遮蔽度により、過去の動き情報１９を用いて慣性部２０により移動体慣性移動ベクトルを検出し、この移動体慣性移動ベクトルにより移動体の移動ベクトルを出力する。これに対してズレ対策部２１は、移動体に対するこの移動ベクトルのずれを補正する。すなわちズレ対策部２１において、遮蔽直後対策部２２は、遮蔽直後のフレームを検出し、ズレ補正部２３は、この遮蔽直後対策部２２の検出結果を参考にして、次フレームに設定する追跡対象領域の位置を補正し、この追跡対象領域の位置情報を物体追跡結果Ｓ１として出力する。
【０１２０】
（２）実施例の動作
以上の構成において、この物体追跡装置３は（図１及び図２）、画像データＳＶにより処理対象フレームの処理により、この処理対象フレームに移動体の領域を示す追跡対象領域が設定され、この追跡対象領域と次フレームの画像データＳＶの比較により、移動体の移動ベクトルが検出される。またこの移動体の移動ベクトルにより、この次フレームに追跡対象領域が設定され、この次フレームが続く処理の処理対象フレームに設定されて同様の処理が繰り返される。これによりこの物体追跡装置３は、連続するフレームで順次移動体の移動に追従するように追跡対象領域を移動させて移動物体を追跡する。
【０１２１】
物体追跡装置３は、このような追跡対象領域と次フレームの画像データＳＶを比較して移動ベクトルを検出する処理が、特徴点で検出される動きベクトルの処理により実行される。すなわち物体追跡装置３では、前フレームによる処理対象フレームから動きのある領域が検出され、この領域を囲むように長方形形状による枠Ｗが設定されて追跡対象領域が設定され、この追跡対象領域で特徴点が所定個数検出される（図３）。物体追跡装置３では、この特徴点の次フレームへの動きベクトルが検出され、この動きベクトルの統計的な処理により移動体の次フレームへの動きを示す移動ベクトルが検出される。
【０１２２】
しかしながらこのようにして検出される追跡対象領域には（図４）、移動体以外の背景、前提等に特徴点が設定される場合もあり、これによりこのような特徴点にあっては移動体の動きを正しく反映していないことになり、移動ベクトル検出のノイズとなる。また例えば歩行する人物の四肢のように、移動体の一部ではあるものの、移動体とは異なる動きを呈する特徴点も存在し、このような特徴点の動きベクトルも移動ベクトル検出のノイズとなる。このようなノイズの存在にあっては、移動ベクトルの検出精度を劣化させることになる。
【０１２３】
これによりこの実施例では、移動体上に存在する特徴点の確からしさを示す信頼度が各特徴点で検出され、この信頼度により、信頼度の低い特徴点で検出される動きベクトルを処理結果に反映しないように動きベクトルが処理されて移動ベクトルが検出される。これによりこの実施例では、背景、前景の特徴点、移動体自身の動きに対して動きが大きく異なる四肢等の特徴点については、移動ベクトルに反映させないようにすることができ、これによりノイズによる検出精度の劣化が防止される。
【０１２４】
またこのように移動ベクトルを検出するようにして、信頼度の低い特徴点が削除され、この特徴点の動きベクトルが移動ベクトルの検出に使用しないように設定されると共に、この削除した分だけ続く繰り返しの処理における追跡対象領域に特徴点が設定され、これにより移動ベクトルの算出処理に供する動きベクトルの数を少なくして、信頼性の低い動きベクトルを移動ベクトルに反映しないように設定され、これにより簡易な処理によりノイズによる検出精度の劣化が防止される。
【０１２５】
また信頼度を用いた動きベクトルの重み付け処理により移動ベクトルが検出され、これによっても信頼性の低い動きベクトルを移動ベクトルに反映しないように設定され、これによっても確実にノイズによる検出精度の劣化が防止される。
【０１２６】
より具体的に、この実施例では、異なる検出手法により複数種類の信頼度が検出される（図５）。すなわちこのような信頼度により特徴点を削除、設定して処理を繰り返すようにして、特徴点毎に、繰り返し処理における追跡回数により追跡回数信頼度が検出され（図６）、これにより追跡することが困難となった、例えば移動体の遮蔽を開示した直後のこの遮蔽に係る遮蔽物に設定された特徴点、それまで隠れていた移動体の特徴点等が低い信頼度により検出され、これらの特徴点による動きベクトルが移動ベクトルに反映されないように設定されてノイズによる検出精度の劣化が防止される。
【０１２７】
また直前で検出された移動ベクトルと動きベクトルとの差分ベクトルが判定されて時間的信頼度が検出され（図７〜図１０）、これにより時間軸上の変化により観察して移動体と異なる動き呈する背景、前景等の特徴点については、移動ベクトルに動きベクトルが反映されないように設定され、これによってもノイズによる検出精度の劣化が防止される。
【０１２８】
また弾性インデックスを用いて、他の特徴点との間の距離の変化が判定され、この判定結果の集計により空間的信頼度が検出される（図１１及び図１２）。これにより例えば移動する人体の四肢に設定された特徴点あって、人体の移動に対して大きく動きが異なる特徴点、さらには背景、前景等の特徴点については、動きベクトルが移動ベクトルに反映されないように設定され、これによってもノイズによる検出精度の劣化が防止される。
【０１２９】
また移動体が移動していることを条件に、特徴点の位置座標の判定により、それまで繰り返し静止していた回数によって信頼度を示す静止点信頼度が検出され、これによっても静止した背景、前景等による特徴点の動きベクトルが移動ベクトルに反映されないように設定され、これによってもノイズによる検出精度の劣化が防止される（図５）。
【０１３０】
また各特徴点毎に、周囲のサンプリング点との間でサンプリング値の差分値が判定され、これにより周囲のサンプリング点との比較により信頼度を示す平滑度信頼度が検出され、これにより特徴点自体の信頼度が低いものについては、動きベクトルが移動ベクトルに反映されないように設定され、これによってもノイズによる検出精度の劣化が防止される（図５）。
【０１３１】
この実施例では、このようにして検出される複数種類の信頼度のうちの一部の信頼度である追跡回数信頼度、時間的信頼度、空間的信頼度の乗算処理により総合の信頼度が検出される。またこの総合の信頼度を用いた動きベクトルの重み付け処理の１つである重み付け平均により、移動ベクトルが検出される。これによりこの実施例では、１つの手法によって検出される信頼度を用いた処理によっては、ノイズの影響を除去できない場合でも、他の手法によって検出される信頼度によりノイズの影響を除去することができ、一段と確実にノイズによる検出精度の劣化が防止される。
【０１３２】
また同様にしてこのようにして検出される複数種類の信頼度のうちの一部の信頼度である時間的信頼度、静止点信頼度、平滑度信頼度により特徴点が削除され、これにより１つの手法によって検出される信頼度を用いた処理によっては、削除困難なノイズに係る特徴点についても、他の手法によって検出される信頼度により削除することができ、これによっても一段と確実にノイズによる検出精度の劣化が防止される。
【０１３３】
しかしながらこのようにノイズにより影響を解消するようにしても、移動体が遮蔽物により遮蔽された場合には、移動体を追跡することが困難になる。また複数フレームに渡って追跡すると、移動体に対して、徐々に追跡対象枠がずれるようになり、これにより検出精度が劣化することになる。
【０１３４】
このためこの実施例では、移動体の遮蔽の程度を示す遮蔽度が検出され、動きベクトルより検出される移動ベクトルと、過去の繰り返し処理で検出された移動ベクトルとによるこの遮蔽度に応じた演算処理により、動きベクトルにより検出された移動ベクトルが補正される（図１４〜図１６）。これによりこの実施例では、遮蔽された場合でも、移動体を追跡することが可能となる。
【０１３５】
また処理対象フレームより過去のフレームにおける追跡対象領域を用いたブロックマッチングにより、次フレームにおける追跡対象領域の移動体に対するずれが補正される（図１７〜図１９）。これによりこの実施例では、位置ずれが防止されて検出精度が向上される。
【０１３６】
この実施例では、これらの処理のうち、遮蔽に係る処理が、重み付け係数を遮蔽度に応じて可変した、動きベクトルによる移動ベクトルと、過去の繰り返し処理で検出された移動ベクトルとの重み平均処理により実行される。これにより何ら移動体が遮蔽されていない場合と移動体が遮蔽された場合とで処理を切り換えることなく、移動ベクトルを処理することができ、その分、処理が簡略化される。また遮蔽の程度が小さい場合には、動きベクトルによる移動ベクトルを優先的に使用して移動ベクトルを求め、遮蔽の程度が大きくなるに従って過去の繰り返し処理で検出された移動ベクトルによる補正量を増大させて移動ベクトルを検出することができ、これにより例えば移動体の移動速度が変化している過程で遮蔽されたような場合の、追跡の失敗が防止される。
【０１３７】
またこのような移動ベクトルの補正に使用する繰り返し処理で検出された移動ベクトルにあっては、処理対象フレームの所定フレーム数だけ前のフレームで検出された移動ベクトルが適用され、これによりこのほぼ一定の速度により移動する移動体と、動きの変化が激しい移動体とで、この所定フレーム数を適宜設定することにより、遮蔽された移動体を正しく追跡することができる。またこの移動ベクトルには、処理対象フレームより前の複数フレームで検出された移動ベクトルの平均値による移動ベクトルを適用するようにしてもよく、この場合には、ほぼ一定の速度により移動する移動体に関して、検出された移動ベクトルのばらつきによる影響を低減して、遮蔽された移動体を正しく追跡することができる。
【０１３８】
これに対してこの遮蔽度の計算にあっては、上述した追跡回数信頼度の検出に係る連続して追跡される特徴点、すなわち所定回数以上の繰り返し処理で追加設定されていない特徴点の数が検出され、追跡対象領域の特徴点の数に対するこの特徴点の数の比率により遮蔽度が検出される。これにより特徴点による動きベクトルを用いて移動体を追跡する構成を有効に利用して遮蔽率が計算され、その分、全体の処理が簡略化される。またこの実施例では、追跡回数信頼度の検出処理を利用して、遮蔽率を計算することができ、これによっても全体の処理が簡略化される。
【０１３９】
これに対して位置ずれにあっては、過去のフレームに設定された追跡対象領域の各サンプリング点のサンプリング値により固定パターンが作成され、またこの固定パターンに対応する各サンプリング点について、信頼度に応じた重み付け係数が設定されて重みパターンが生成される。また固定パターンを走査させて、各走査位置で重なり合うサンプリング点間でサンプリング値の差分値を重みパターンの対応する重み係数により重み付けして集計することにより、各走査位置における相関値が検出される。またこの相関値を判定して最も相関の高い位置が検出されて位置ずれが補正される。
【０１４０】
これによりこの実施例では、信頼度の低い箇所については、固定パターンにより相関値の検出に使用しないようにして検出精度の劣化が防止され、正しく位置ずれが防止される。
【０１４１】
また次フレームの追跡対象領域の中心を基準とした所定のサーチ範囲でサーチしてこのような相関値が検出され、これにより不必要な相関値検出の処理を省略して処理が簡略化される。
【０１４２】
また遮蔽中には、このような処理が中止され、これにより誤った位置ずれ防止処理が防止される。
【０１４３】
また遮蔽の開始から遮蔽の終了までの間の処理対象フレームについては、過去のフレームに設定しないように設定され、これによっても誤った位置ずれ防止処理が防止される。
【０１４４】
また遮蔽の終了直後にあっては、遮蔽の開始直前に比してサーチ範囲が拡大され、これにより遮蔽の期間の複数フレームにより位置ずれが累積する場合でも、確実に位置ずれが防止される。
【０１４５】
（３）実施例の効果
以上の構成によれば、追跡対象物体上に存在する特徴点の確からしさを示す信頼度を検出し、この信頼度により信頼性の低い動きベクトルを処理結果に反映しないように動きベクトルを処理して移動体の移動ベクトルを検出することにより、ノイズによる検出精度の劣化を防止することができる。
【０１４６】
すなわち信頼度の低い特徴点については、削除して、移動ベクトルの計算に使用しないように、また続くフレームの処理に使用しないようにすることにより、信頼性の低い動きベクトルを処理結果に反映しないように動きベクトルを処理して移動体の移動ベクトルを検出することができ、ノイズによる検出精度の劣化を防止することができる。
【０１４７】
またこのような信頼度を用いた動きベクトルの重み付け処理により移動ベクトルを検出することによっても、信頼性の低い動きベクトルを処理結果に反映しないように動きベクトルを処理して移動体の移動ベクトルを検出することができ、ノイズによる検出精度の劣化を防止することができる。
【０１４８】
またこの信頼度が、連続した処理回数により表される特徴点の追跡回数による追跡回数信頼度であることにより、例えば移動体の遮蔽を開示した直後のこの遮蔽に係る遮蔽物に設定された特徴点、それまで隠れていた移動体の特徴点等による動きベクトルを移動ベクトルに反映させないようにして、ノイズによる検出精度の劣化を防止することができる。
【０１４９】
また信頼度が、それまでに検出された移動ベクトルと、動きベクトルとの間の差分ベクトルの判定による時間的信頼度であることにより、時間軸上の変化により観察して移動体と異なる動き呈する背景、前景等の特徴点については、移動ベクトルに動きベクトルが反映させないようにすることができ、これによってもノイズによる検出精度の劣化を防止することができる。
【０１５０】
また信頼度が、他の特徴点との間の距離の変化を判定し、該判定結果を集計した空間的信頼度であることにより、例えば移動する人体の四肢に設定された特徴点であって、人体の移動に対して大きく動きが異なる特徴点、さらには背景、前景等の特徴点については、動きベクトルが移動ベクトルに反映されないように設定することができ、これによってもノイズによる検出精度の劣化を防止することができる。
【０１５１】
また信頼度が、特徴点の位置座標の判定による繰り返し静止していた回数による静止点信頼度であることにより、静止した背景、前景等による特徴点の動きベクトルを移動ベクトルに反映しないように設定することができ、これによってもノイズによる検出精度の劣化を防止することができる。
【０１５２】
また信頼度が、特徴点のサンプリング値と、特徴点の周囲のサンプリング点との間でサンプリング値の差分値を判定して検出される平滑度信頼度であることにより、特徴点自体の信頼度が低いものについては、移動ベクトルに反映させないように設定することができ、これによってもノイズによる検出精度の劣化を防止することができる。
【０１５３】
またこのような追跡回数信頼度、時間的信頼度、空間的信頼度、静止点信頼度、平滑度信頼度の全部又は一部により総合の信頼度を計算し、この総合の信頼度により移動ベクトルを求めることにより、１つの手法によって検出される信頼度を用いた処理によっては、ノイズの影響を除去できない場合でも、他の手法によって検出される信頼度によりノイズの影響を除去することができ、一段と確実にノイズによる検出精度の劣化を防止することができる。
【０１５４】
またこのようにしてノイズによる検出精度の劣化を防止する構成を前提に、遮蔽度の検出により、動きベクトルより検出される移動ベクトルと、過去に検出された移動ベクトルとを演算処理して動きベクトルより検出される移動ベクトルを補正することにより、また処理対象フレームより過去のフレームの追跡対象領域を用いたパターンマッチングにより、次フレームにおける追跡対象領域の移動体に対するずれ検出して修正することにより、一段と確実に移動体を追跡することができる。
【実施例２】
【０１５５】
なお上述の実施例においては、追跡回数信頼度、時間的信頼度、空間的信頼度、静止点信頼度、平滑度信頼度の一部により信頼性の低い特徴点を削除し、また総合の信頼度を求めて動きベクトルを重み付け平均する場合について述べたが、本発明はこれに限らず、例えばこれらの信頼度の全部により信頼性の低い特徴点を削除し、また総合の信頼度を求めて動きベクトルを重み付け平均する場合等、各信頼度の各処理への適用にあっては、種々に設定することができる。またこれら以外の信頼度をこれらの信頼度に加えて、またはこれらの信頼度に代えて使用するようにしてもよい。
【０１５６】
また上述の実施例においては、信頼度により特徴点を削除する処理と、動きベクトルを重み付け平均化する処理とにより、信頼度の低い動きベクトルを処理結果に反映しないようにする場合について述べたが、本発明はこれに限らず、実用上十分な特性を確保できる場合には、これらの処理の一方のみを採用して移動ベクトルを求めるようにしてもよい。
【０１５７】
また上述の実施例においては、追跡回数より遮蔽度を計算する場合について述べたが、本発明はこれに限らず、位置ずれ補正について上述した相関値の値により遮蔽率を計算する場合等、遮蔽率の計算方法にあっては、種々の手法を広く適用することができる。
【産業上の利用可能性】
【０１５８】
本発明は、物体追跡方法、物体追跡方法のプログラム、物体追跡方法のプログラムを記録した記録媒体及び物体追跡装置に関し、例えば監視装置に適用することができる。
【図面の簡単な説明】
【０１５９】
【図１】本発明の実施例に係る物体追跡システムを示すブロック図である。
【図２】図１の物体追跡装置における中央処理ユニットの処理手順を示すフローチャートである。
【図３】追跡対象領域を示す略線図である。
【図４】ノイズの説明に供する略線図である。
【図５】図２の移動ベクトル計算処理を詳細に示すフローチャートである。
【図６】追跡回数信頼度を示す特性曲線図である。
【図７】動きベクトルの分布を示す特性曲線図である。
【図８】過去に検出された移動ベクトルとの関係により動きベクトルの分布を示す特性曲線図である。
【図９】時間的信頼度の説明に供する特性曲線図である。
【図１０】時間的信頼度の処理に供するフローチャートである。
【図１１】特徴点の変化の説明に供する特性曲線図である。
【図１２】空間的信頼度の処理に供するフローチャートである。
【図１３】静止点検出処理を示すフローチャートである。
【図１４】遮蔽の説明に供する略線図である。
【図１５】遮蔽度の説明に供する特性曲線図である。
【図１６】遮蔽対策処理を示すフローチャートである。
【図１７】位置ずれの説明に供する略線図である。
【図１８】ズレ補正処理を示すフローチャートである。
【図１９】ズレ補正処理の説明に供する略線図である。
【図２０】物体追跡装置の機能ブロック図である。
【符号の説明】
【０１６０】
１……物体追跡システム、２……信号源、３……物体追跡装置、６……中央処理ユニット、１０……処理装置
【技術分野】
【０００１】
本発明は、物体追跡方法、物体追跡方法のプログラム、物体追跡方法のプログラムを記録した記録媒体及び物体追跡装置に関し、例えば監視装置に適用することができる。本発明は、追跡対象物体上に存在する特徴点の確からしさを示す信頼度を検出し、この信頼度により信頼性の低い動きベクトルを処理結果に反映しないように動きベクトルを処理して移動体の移動ベクトルを検出することにより、ノイズによる検出精度の劣化を防止する。
【背景技術】
【０００２】
従来、監視装置等に関して、処理対象フレームと次フレームとの比較により、移動体を追跡する方法が提案されており、この方法にあっては、この処理対象フレームと次フレームとの比較方法により、パターンマッチングの手法と特徴点の動きベクトル検出による手法とに大別される。
【０００３】
ここでパターンマッチングの手法による移動体の追跡は、例えば特開平５−２９８５９１号公報等に提案されているように、動画の各フレームで、追跡対象に相当するパターンを用いて相関値を計算し、最も相関の高い箇所を検出する方法であり、動きを予測してこのような相関値を計算する範囲を設定する。しかしながら実際の動画では追跡する移動体の形状が時々刻々変化し、これによりこの方法では、この移動体の検出に供するパターンを高速に更新することが必要になる。また相関値の計算自体、煩雑な処理を実行することが必要であり、これらにより高速度に処理できない欠点がある。
【０００４】
これに対して特徴点の動きベクトル検出による移動体の追跡は、例えば特開２００３−４４８６０号公報等に開示されているように、動画の各フレームで特徴的な箇所である特徴点を検出し、この特徴点の動きベクトル検出により移動体を追跡するものである。
【０００５】
この方法では追跡対象領域を設定し、この追跡対象領域で複数の特徴点を検出する。またこの複数の特徴点でそれぞれ動きベクトルを検出し、この検出した動きベクトルの平均値により追跡対象領域を移動させ、これらにより移動体を追跡する。
【０００６】
しかしながらこの方法では、追跡対象領域に背景が含まれる場合もあり、この背景で検出される特徴点の動きベクトルが検出精度を劣化させることになる。また追跡対象が人物のような場合、体の動きに対して四肢の動きが異なる場合もあり、この場合には、四肢の動きが検出精度を劣化させることになる。以下、このように検出精度を劣化させる特徴点、この特徴点に係る動きベクトルを、適宜、ノイズと呼ぶ。
【０００７】
これによりこのようなノイズによる検出精度の劣化を防止することが求められる。
【特許文献１】特開平５−２９８５９１号公報
【特許文献２】特開２００３−４４８６０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は以上の点を考慮してなされたもので、ノイズによる検出精度の劣化を防止することができる物体追跡方法、物体追跡方法のプログラム、物体追跡方法のプログラムを記録した記録媒体及び物体追跡装置を提案しようとするものである。
【課題を解決するための手段】
【０００９】
かかる課題を解決するため請求項１の発明は、動画の各フレームで特徴点を検出し、この特徴点の動きベクトル検出により移動体を追跡する物体追跡方法に適用して、処理対象フレームの前記移動体が撮像された領域に設定された追跡対象領域に、所定個数の前記特徴点を設定する特徴点設定のステップと、前記特徴点設定のステップにより設定された特徴点に基づいて、各フレームの画像データを順次処理する繰り返し処理ステップとを有し、前記繰り返し処理ステップは、前記移動体上に存在する前記特徴点の確からしさを示す信頼度を前記特徴点毎に検出する信頼度検出ステップと、前記特徴点の次フレームへの前記動きベクトルをそれぞれ検出する動きベクトル検出ステップと、前記動きベクトルに基づいて、前記移動体の前記次フレームへの移動ベクトルを検出する移動ベクトル検出ステップと、前記移動ベクトル検出ステップで検出される前記移動ベクトルにより、前記追跡対象領域を移動させて、前記次フレームに前記追跡対象領域を設定すると共に、前記次フレームを続く繰り返しの処理における前記処理対象フレームに設定する追跡対象領域移動ステップとを有し、前記移動ベクトル検出ステップは、前記信頼度に応じて、信頼性の低い前記動きベクトルを処理結果に反映しないように前記動きベクトルを処理して、前記移動ベクトルを検出する。
【００１０】
また請求項１１の発明は、動画の各フレームで特徴点を検出し、この特徴点の動きベクトル検出により移動体を追跡する物体追跡方法のプログラムに適用して、処理対象フレームの前記移動体が撮像された領域に設定された追跡対象領域に、所定個数の前記特徴点を設定する特徴点設定のステップと、前記特徴点設定のステップにより設定された特徴点に基づいて、各フレームの画像データを順次処理する繰り返し処理ステップとを有し、前記繰り返し処理ステップは、前記移動体上に存在する前記特徴点の確からしさを示す信頼度を前記特徴点毎に検出する信頼度検出ステップと、前記特徴点の次フレームへの前記動きベクトルをそれぞれ検出する動きベクトル検出ステップと、前記動きベクトルに基づいて、前記移動体の前記次フレームへの移動ベクトルを検出する移動ベクトル検出ステップと、前記移動ベクトル検出ステップで検出される前記移動ベクトルにより、前記追跡対象領域を移動させて、前記次フレームに前記追跡対象領域を設定すると共に、前記次フレームを続く繰り返しの処理における前記処理対象フレームに設定する追跡対象領域移動ステップとを有し、前記移動ベクトル検出ステップは、前記信頼度に応じて、信頼性の低い前記動きベクトルを処理結果に反映しないように前記動きベクトルを処理して、前記移動ベクトルを検出する。
【００１１】
また請求項１２の発明は、動画の各フレームで特徴点を検出し、この特徴点の動きベクトル検出により移動体を追跡する物体追跡方法のプログラムを記録した記録媒体に適用して、前記物体追跡のプログラムは、処理対象フレームの前記移動体が撮像された領域に設定された追跡対象領域に、所定個数の前記特徴点を設定する特徴点設定のステップと、前記特徴点設定のステップにより設定された特徴点に基づいて、各フレームの画像データを順次処理する繰り返し処理ステップとを有し、前記繰り返し処理ステップは、前記移動体上に存在する前記特徴点の確からしさを示す信頼度を前記特徴点毎に検出する信頼度検出ステップと、前記特徴点の次フレームへの前記動きベクトルをそれぞれ検出する動きベクトル検出ステップと、前記動きベクトルに基づいて、前記移動体の前記次フレームへの移動ベクトルを検出する移動ベクトル検出ステップと、前記移動ベクトル検出ステップで検出される前記移動ベクトルにより、前記追跡対象領域を移動させて、前記次フレームに前記追跡対象領域を設定すると共に、前記次フレームを続く繰り返しの処理における前記処理対象フレームに設定する追跡対象領域移動ステップとを有し、前記移動ベクトル検出ステップは、前記信頼度に応じて、信頼性の低い前記動きベクトルを処理結果に反映しないように前記動きベクトルを処理して、前記移動ベクトルを検出する。
【００１２】
また請求項１３の発明は、所定の繰り返し処理を繰り返すことにより、動画の各フレームで特徴点を検出し、この特徴点の動きベクトル検出により移動体を追跡する物体追跡に適用して、処理対象フレームの前記移動体が撮像された領域に設定された追跡対象領域に、所定個数の前記特徴点を設定する特徴点設定手段と、前記移動体上に存在する前記特徴点の確からしさを示す信頼度を前記特徴点毎に検出する信頼度検出手段と、前記特徴点の次フレームへの前記動きベクトルをそれぞれ検出する動きベクトル検出手段と、前記動きベクトルに基づいて、前記移動体の前記次フレームへの移動ベクトルを検出する移動ベクトル検出手段と、前記移動ベクトル検出手段で検出される前記移動ベクトルにより、前記追跡対象領域を移動させて、前記次フレームに前記追跡対象領域を設定すると共に、前記次フレームを続く繰り返しの処理における前記処理対象フレームに設定する追跡対象領域移動手段とを有し、前記移動ベクトル検出手段は、前記信頼度に応じて、信頼性の低い前記動きベクトルを処理結果に反映しないように前記動きベクトルを処理して、前記移動ベクトルを検出する。
【００１３】
請求項１の構成により、動画の各フレームで特徴点を検出し、この特徴点の動きベクトル検出により移動体を追跡する物体追跡方法に適用して、処理対象フレームの前記移動体が撮像された領域に設定された追跡対象領域に、所定個数の前記特徴点を設定する特徴点設定のステップと、前記特徴点設定のステップにより設定された特徴点に基づいて、各フレームの画像データを順次処理する繰り返し処理ステップとを有し、前記繰り返し処理ステップは、前記移動体上に存在する前記特徴点の確からしさを示す信頼度を前記特徴点毎に検出する信頼度検出ステップと、前記特徴点の次フレームへの前記動きベクトルをそれぞれ検出する動きベクトル検出ステップと、前記動きベクトルに基づいて、前記移動体の前記次フレームへの移動ベクトルを検出する移動ベクトル検出ステップと、前記移動ベクトル検出ステップで検出される前記移動ベクトルにより、前記追跡対象領域を移動させて、前記次フレームに前記追跡対象領域を設定すると共に、前記次フレームを続く繰り返しの処理における前記処理対象フレームに設定する追跡対象領域移動ステップとを有し、前記移動ベクトル検出ステップは、前記信頼度に応じて、信頼性の低い前記動きベクトルを処理結果に反映しないように前記動きベクトルを処理して、前記移動ベクトルを検出すれば、背景等によるノイズについては、移動ベクトルに反映させないようにすることができる。これによりノイズによる検出精度の劣化を防止することができる。
【００１４】
またこれにより請求項１１、請求項１２、請求項１３の構成によれば、ノイズによる検出精度の劣化を防止することができる物体追跡方法のプログラム、物体追跡方法のプログラムを記録した記録媒体及び物体追跡装置を提供することができる。
【発明の効果】
【００１５】
本発明によれば、ノイズによる検出精度の劣化を防止することができる。
【発明を実施するための最良の形態】
【００１６】
以下、適宜図面を参照しながら本発明の実施例を詳述する。
【実施例１】
【００１７】
（１）実施例の構成
（１−１）全体構成
図１は、本発明の実施例１に係る物体追跡システムを示すブロック図である。この物体追跡システム１において、信号源２は、処理対象の画像データＳＶを出力する各種装置であり、例えば撮像結果を画像データＳＶにより出力する撮像装置、撮像装置による撮像結果を記録して画像データＳＶにより出力する記録再生装置等により構成される。
【００１８】
物体追跡装置３は、例えばコンピュータ、ハードウエア構成による専用装置等により構成され、この信号源２からの画像データＳＶを処理して移動体を追跡し、追跡結果Ｓ１を出力する。すなわち物体追跡装置３は、コンピュータにより構成される場合、リードオンリメモリ（ＲＯＭ）４の記録に従ってランダムアクセスメモリ（ＲＡＭ）５にワークエリアを確保して動作を立ち上げ、中央処理ユニット（ＣＰＵ）６によりハードディスク装置（ＨＤＤ）７に記録した物体追跡に係る処理プログラムを実行する。物体追跡装置３は、これによりインターフェース（Ｉ／Ｆ）８を介して入力される画像データＳＶをリアルタイムにより処理して、又はハードディスク装置７に一旦記録した後、処理して、物体追跡に係る一連の処理を実行し、追跡結果Ｓ１を出力する。また必要に応じて処理過程の画像等をモニタ９により表示する。なおこの実施例において、この物体追跡に係る処理プログラムは、この物体追跡装置３に事前にインストールされて提供されるものの、このような事前のインストールに代えて、インターネット等のネットワークを介したダウンロードにより提供するようにしてもよく、光ディスク、磁気ディスク、メモリカード等の各種記録媒体に記録して提供するようにしてもよい。
【００１９】
処理装置１０は、この追跡結果Ｓ１により、この物体追跡システム１に係る各種の処理を実行する。なおこの処理にあっては、この物体追跡システム１が適用されているシステムに応じた処理であり、例えばこの追跡結果Ｓ１により移動体を追跡するように撮像装置をパン、チルト、ズームさせる処理、この追跡結果により追跡対象の移動体が撮像されている領域がジャストフォーカスするようにフォーカス制御する処理、この追跡結果により追跡対象の移動体が撮像されている領域を切り出す等の処理である。
【００２０】
図２は、物体追跡装置３において、物体追跡に係る処理プログラムによる中央処理ユニット６の処理手順を示すフローチャートである。中央処理ユニット６は、オペレータによる指示等によりこの処理プログラムの実行が指示されると、この処理手順を開始してステップＳＰ１からステップＳＰ２に移る。
【００２１】
ここで中央処理ユニット６は、現フレーム及び前フレームの画像データＳＶを取得し、この現フレームの画像データＳＶと前フレームの画像データＳＶとの比較により、追跡対象である移動体を検出する。なおここで前フレームは、この実施例では処理対象のフレームであり、現フレームは、この前フレームに続くフレームである。またこの移動体の検出手法にあっては、種々の手法を適用することができ、この実施例では背景差分法を適用した。なおここで背景差分法による処理は、各画素毎に、又は所定画素毎に、さらには所定画素によるブロック毎に、現フレームと前フレームとの間でフレーム間差分値を計算してしきい値で判定することにより、動きのある画素、ブロックを検出して移動体が撮像された領域を検出する処理である。
【００２２】
このようにして移動体を検出すると、中央処理ユニット６は、ステップＳＰ３に移り、初期化処理により追跡対象領域の設定処理、特徴点の設定処理を実行する。中央処理ユニット６は、この追跡対象領域の設定処理により、ステップＳＰ２で検出した移動体を追跡する追跡対象領域を前フレームに設定する。この実施例では、図３に示すように、ステップＳＰ２で検出された領域の位置情報により、移動体を囲むように長方形形状の枠Ｗを設定することにより、この枠Ｗで囲まれる領域を追跡対象領域に設定する。この処理において、中央処理ユニット６は、ステップＳＰ２で検出された移動体毎に枠Ｗを設定し、各移動体毎にそれぞれ追跡対象領域を設定する。なおこの追跡対象領域の設定にあっては、長方形形状により設定する場合に限らず、楕円形形状、三角形形状等、追跡する移動体の形状、中央処理ユニット６の演算処理能力等に応じて、種々の形状により設定することができる。なおこのような移動体の自動検出による追跡対象領域の設定に代えて、オペレータによる入力により追跡対象領域を設定するようにしてもよい。
【００２３】
また中央処理ユニット６は、このステップＳＰ３における特徴点の設定処理により、各追跡対象領域に、それぞれ所定個数の特徴点を検出する。ここでこの特徴点の設定処理は、ＫＬＴ（Kanade−Lucas Track ）法、ＳＵＳＡＮ法、Ｈａｒｒｉｓ作用素法等、種々の手法を適用することができる。なおこの実施例では、ＫＬＴ法を使用して特徴点を設定し、これにより続くステップＳＰ４における特徴点の追跡処理も併せて実行した。因みに、ＫＬＴ法は、特徴点を検出して設定した後、勾配法により検出した特徴点の動きを検出する方法である。
【００２４】
続いて中央処理ユニット６は、ステップＳＰ４に移り、ステップＳＰ３で設定した追跡対象領域の１つを選択し、この選択した追跡対象領域に含まれる特徴点毎に、前フレームの位置座標から現フレームの対応する位置座標をそれぞれ検出することにより、各特徴点の動きを検出する。具体的に、中央処理ユニット６は、（１）式により示す前フレームｎのｋ番目の特徴点の位置座標に対して、（２）式により示す現フレームｎ＋１の対応するｋ番目の特徴点の位置座標を検出する。
【００２５】
【数１】
【００２６】
【数２】
【００２７】
続いて中央処理ユニット６は、次式により示すように、これら前フレーム及び現フレームで検出される対応する特徴点の位置座標の差分値を計算し、これにより各特徴点の動きベクトルＶFPkを計算する。なおこのような動きベクトルＶFPkの検出にあっては、ブロックマッチング法等、種々の手法を広く適用することができる。
【００２８】
【数３】
【００２９】
中央処理ユニット６は、続くステップＳＰ５において、このようにして検出した各特徴点の動きベクトルから移動体の動きを示すベクトルである移動ベクトルを検出する。このとき中央処理ユニット６は、ノイズ対策処理を実行し、これによりノイズによる検出精度の低下を防止する。
【００３０】
すなわち図４に示すように、このようにしてステップＳＰ３で設定される追跡対象領域には、追跡対象の移動体だけでなく、静止物体等の前景、揺れる木等の背景も含まれる。これによりこのステップＳＰ４で検出される動きベクトルにあっては、移動体の特徴点Ｐのみならず、前景、背景における特徴点Ｐの動きベクトルも含まれることになる。これによりこれら前景、背景の特徴点による動きベクトルは、移動体の動きを計算する際のノイズとなる。また追跡対象が人物のような場合、体の動きに対して四肢の動きが異なる場合もあり、この場合には、四肢に設定された特徴点の動きベクトルが、移動体の動きを計算する際のノイズとなる。
【００３１】
このため中央処理ユニット６は、このようなノイズである可能性を、追跡対象物体上に存在する特徴点の確からしさを示す信頼度により検出し、この信頼度により信頼性の低い動きベクトルを処理結果に反映しないように各特徴点の動きベクトルを処理して移動ベクトルを検出する。また信頼性の低い動きベクトルについては、続くフレームにおける処理から特徴点を除外する。なおこの実施例にあっては、このような追跡対象物体上に存在する特徴点の確からしさを、後述するようにこの物体上に特徴点が存在する確からしさと、特徴点自体の確からしさとにより検出する。
【００３２】
続いて中央処理ユニット６は、ステップＳＰ６に移り、遮蔽対策処理を実行する。すなわち実際に人物等を追跡する場合、手前側の構造物、人物等により追跡対象の全部又は一部が遮蔽されてしまう場合がある。この場合、従来の追跡手法によっては、追跡対象の動きを正しく検出できなくなる。このため中央処理ユニット６は、このステップＳＰ６において、追跡対象が遮蔽されている程度を示す遮蔽度を検出し、この検出結果によりステップＳＰ５で求めた移動ベクトルを過去のフレームで検出した移動ベクトルを参考にして補正し、これにより遮蔽による影響を防止して移動体の動きを検出する。
【００３３】
中央処理ユニット６は、続くステップＳＰ７において、移動体に対する移動ベクトルのずれを補正する。すなわち特徴点による動きベクトル検出は、局所的な動きについては、正確に動きを追跡できるものの、必ずしも追跡対象の動きを正しく反映するものではない。これによりこの実施例のように複数の特徴点で検出される動きベクトルを統計的に処理して追跡対象領域を移動させて移動体を追跡する場合、移動体の動きに対してこの追跡対象領域の移動が誤差を有するものとなり、この誤差の累積により移動体に対して追跡対象領域が徐々にずれてしまう場合がある。
【００３４】
これにより中央処理ユニット６は、このステップＳＰ７において、複数の特徴点より求めた移動ベクトルについて、移動体に対するずれを補正し、これにより確実に移動体を追跡できるようにする。
【００３５】
中央処理ユニット６は、続くステップＳＰ８において、このずれ補正した移動ベクトルにより前フレームに設定した枠Ｗを移動させ、これにより現フレームに追跡対象領域を設定する。またこの現フレームに設定した追跡対象領域の位置情報を追跡結果Ｓ１として続く処理装置１０に出力する。またこのとき追跡対象領域に含まれないことになった特徴点を削除する。
【００３６】
中央処理ユニット６は、続くステップＳＰ９において、ステップＳＰ８で設定した追跡対象領域について、ステップＳＰ５、ステップＳＰ８で削除した特徴点の分だけ、特徴点を追加設定し、これによりこの追跡対象領域に設定された特徴点の数をステップＳＰ３で設定した当初の個数に設定する。
【００３７】
中央処理ユニット６は、これにより１つの追跡対象領域についての前フレームの処理を完了し、続くステップＳＰ１０において、この前フレームに設定された全ての追跡対象領域について処理を完了したか否か判断する。ここで否定結果が得られると、中央処理ユニット６は、ステップＳＰ１０からステップＳＰ１１に移り、この前フレームに設定された他の追跡対象領域に処理対象を切り換えた後、ステップＳＰ４に戻る。これにより中央処理ユニット６は、前フレームに設定された追跡対象領域毎に、ステップＳＰ４−ＳＰ５−ＳＰ６−ＳＰ７−ＳＰ８−ＳＰ９−ＳＰ１０−ＳＰ１１−ＳＰ４の処理手順を繰り返し、前フレームに設定された追跡対象領域の全てについて、この一連の処理を完了すると、ステップＳＰ１０で肯定結果が得られることにより、ステップＳＰ１０からステップＳＰ１２に移る。
【００３８】
このステップＳＰ１２において、中央処理ユニット６は、次フレームの有無を判定し、ここで処理対象の画像データＳＶに次フレームが存在する場合、ステップＳＰ１２からステップＳＰ１３に移り、それまでの現フレームを前フレームに設定すると共に、この次フレームの画像データＳＶを取得して現フレームに設定し、ステップＳＰ４に戻る。これにより中央処理ユニット６は、画像データＳＶによる各フレーム毎に、この処理手順を繰り返し、全てのフレームについて処理を完了すると、ステップＳＰ１２で否定結果が得られることにより、ステップＳＰ１２からステップＳＰ１４に移ってこの処理手順を終了する。
【００３９】
（１−２）移動ベクトル計算処理（ノイズ対策処理）
図５は、図２のステップＳＰ５に係る移動ベクトル計算処理を詳細に示すフローチャートである。中央処理ユニット６は、この処理手順を開始すると、ステップＳＰ２１からステップＳＰ２２に移り、各特徴点の信頼度Ｃｋを計算する。
【００４０】
ここで信頼度Ｃｋは、追跡対象の移動体上に存在する特徴点ｋの確からしさを示す値であり、次式により表される。これにより信頼度Ｃｋは、値１に近い程、追跡対象の移動体に設定されている可能性が高いことを示し、値０の場合、この特徴点は、背景等に設定されている特徴点であることを示すように設定される。
【００４１】
【数４】
【００４２】
中央処理ユニット６は、このステップＳＰ２２において、異なる検出原理により各特徴点毎にそれぞれ複数種類の信頼度を計算し、続くステップＳＰ２３において、信頼度の低い特徴点を削除することにより、この信頼度の低い特徴点を移動ベクトルの計算対象、以降のフレームの処理から除外する。これにより中央処理ユニット６は、処理に供する特徴点数を削減して処理を簡略化する。また中央処理ユニット６は、続くステップＳＰ２４において、残る特徴点の動きベクトルを複数種類の信頼度を用いて処理することにより、移動体の移動ベクトルを計算し、続いてステップＳＰ２５に移って元の処理手順に戻る。これにより中央処理ユニット６は、ノイズによる影響を防止して検出精度の劣化を防止する。
【００４３】
このステップＳＰ２２における処理において、中央処理ユニット６は、始めにステップＳＰ２２−１において、追跡回数により信頼度Ｃｋを計算する。ここでこの実施例においては、この移動ベクトル計算処理のステップＳＰ２３の削除の処理により、さらにはステップＳＰ８の処理により特徴点を削除すると共に、特徴点を削除した分、ステップＳＰ９において特徴点を追加設定しながら、フレーム毎に、一連の処理手順を繰り返すことにより、移動体に正しく設定された特徴点であって、遮蔽等を受けることのない特徴点にあっては、連続するフレームで連続して動きベクトルが検出され、繰り返し移動体の移動ベクトルの検出に用いられることになる。すなわちこのような特徴点にあっては、連続するフレームで連続して追跡されることになる。
【００４４】
これによりこのようにして連続して何回も追跡されている特徴点にあっては、移動体上に存在する確からしさが高いと言える。これによりこの実施例において、中央処理ユニット６は、この一連の処理における繰り返しの追跡回数を示すカウント値を各特徴点毎に設定し、ステップＳＰ２における特徴点の設定により、またステップＳＰ９における追加設定により、対応する特徴点のカウント値を初期設定によるカウント値（値０）に設定する。またステップＳＰ９の追跡対象領域を移動させた後においても削除されていない特徴点については、このカウント値を値１だけインクリメントする。
【００４５】
このようにカウント値を初期化、インクリメントするようにして、中央処理ユニット６は、このステップＳＰ２２−１の処理において、このカウント値に応じて図６に示すように、カウント値が大きくなるに従って値が増大するように、追跡回数による信頼度ωc を設定する。
【００４６】
なおこの実施例では、カウント値が値０近傍の、所定のしきい値ｔ１より小さい場合には、追跡回数による信頼度ωc を値０に設定し、カウント値が十分に値の大きな、所定のしきい値ｔ２より大きい場合には、追跡回数による信頼度ωc を値１に設定した。またこのしきい値ｔ１からｔ２の範囲では、カウント値の増大により値が増大するように一次関数を用いた線型補間により追跡回数による信頼度ωc を設定した。
【００４７】
続いて中央処理ユニット６は、ステップＳＰ２２−２に移り、時間的信頼度を計算する。ここで時間的信頼度は、過去のフレームで検出された移動体の移動ベクトルと、ステップＳＰ４で検出した動きベクトルとの差分ベクトルの判定により、移動体上に特徴点が存在する確からしさを示すものである。この実施例では、この過去のフレームで検出された移動体の移動ベクトルに直前フレームで検出された移動ベクトルが適用される。
【００４８】
すなわち動きベクトルのｘ方向成分Ｖｘ及びｙ方向成分Ｖｙを２次元の座標軸に設定し、この座標軸による座標空間に各特徴点で検出される動きベクトルを表すと、図７に示すように、各特徴点で検出される動きベクトルは、グループを形成することになる。ここでｘ方向成分Ｖｘ及びｙ方向成分Ｖｙが共に値０近傍である特徴点のグループＧ１にあっては、背景等の静止物体（図４では障害物が相当する）に設定された特徴点の動きベクトルであると判断される。これに対してこのようにｘ方向成分Ｖｘ及びｙ方向成分Ｖｙが共に値０近傍では無く、他に比して数の多いグループＧ２は、移動体に設定された特徴点の動きベクトルであると判断され、同様に、ｘ方向成分Ｖｘ及びｙ方向成分Ｖｙが共に値０近傍では無く、グループＧ２に比して数の少ないグループＧ３は、追跡対象領域に含まれた他の移動体（図４では、揺れる木が相当する）に設定された特徴点の動きベクトルであると判断される。
【００４９】
このような分布において、実際に移動体を撮像した場合、移動体にあっては連続するフレームで連続して移動していることにより、移動体上に存在する動きベクトルにあっては、時間軸方向の変化が連続的に変化していると判断することができる。これにより１フレーム前の移動体の移動ベクトルに対して大きく異なる動きベクトルにあっては、移動体上に存在する可能性が低いと判断することができる。
【００５０】
すなわち前フレームｎで求められる各特徴点の動きベクトルをＶFRk〔ｎ〕とおき、１つ前のフレームｎ−１で求められる移動体慣性移動ベクトルをＶobj〔ｎ−１〕とおいたとき、移動体にこの特徴点が設定されている場合、慣性移動ベクトルＶobj〔ｎ−１〕に対して動きベクトルＶFRk〔ｎ〕は、似通った値となるはずである。なおここで移動体慣性移動ベクトルをＶobjは、後述する遮蔽処理により求められる移動ベクトルであり、移動体が遮蔽されていない場合等には、直前のフレームで検出された移動ベクトルＶpres〔ｎ−１〕と一致する。
【００５１】
これにより図７においてグループＧ３により示すように、移動体に設定された特徴点の動きベクトルＶFRk〔ｎ〕は、直前のフレームで検出された移動体慣性移動ベクトルＶobj〔ｎ−１〕による点Ｐ１をほぼ中心にして分布していると言える。
【００５２】
これにより図８に示すように、中央処理ユニット６は、この直前のフレームで検出された慣性移動ベクトルＶobj〔ｎ−１〕を基準にして、このｘ方向成分Ｖｘ及びｙ方向成分Ｖｙによる２次元空間において、移動体慣性移動ベクトルＶobj〔ｎ−１〕による点Ｐ１からの距離ｒに応じて時間的信頼度ωｔを設定する。
【００５３】
この実施例では、この距離ｒを３つのしきい値ｔｈ１、ｔｈ２、ｔｈ３により判定し、最も値の小さなしきい値ｔｈ１より距離ｒが小さい場合、すなわち１フレーム前で検出された移動体慣性移動ベクトルＶobj〔ｎ−１〕と、特徴点で検出される動きベクトルＶFPkとの間で、次式の関係式が成立する場合、時間的信頼度ωｔを値１に設定する。
【００５４】
【数５】
【００５５】
また最も値の大きなしきい値ｔｈ３より距離ｒが大きい場合、すなわち１フレーム前で検出された移動体慣性移動ベクトルＶobj〔ｎ−１〕と、特徴点で検出される動きベクトルＶFPkとの間で、次式の関係式が成立する場合、この特徴点を削除対象に設定し、この特徴点を移動ベクトルの計算に使用しないようにし、また続くフレームの処理から除外する。
【００５６】
【数６】
【００５７】
これに対して続いて値の大きなしきい値ｔｈ２より距離ｒが大きく、かつ値の大きなしきい値ｔｈ３より距離ｒが小さい場合、すなわち１フレーム前で検出された移動体慣性移動ベクトルＶobj〔ｎ−１〕と、特徴点で検出される動きベクトルＶFPkとの間で、次式の関係式が成立する場合、時間的信頼度ωｔを値０に設定する。
【００５８】
【数７】
【００５９】
これに対して最も値の小さなしきい値ｔｈ１より距離ｒが大きく、続いて値の小さなしきい値ｔｈ２より距離ｒが小さい場合、すなわち１フレーム前で検出された移動体慣性移動ベクトルＶobj〔ｎ−１〕と、特徴点で検出される動きベクトルＶFPkとの間で、次式の関係式が成立する場合、一次関数を用いた線型補間により距離ｒの増大により徐々に値１から値０に減少するように、時間的信頼度ωｔを設定する。
【００６０】
【数８】
【００６１】
これによりｙ方向成分Ｖｙが値０の場合の特徴点についての時間的信頼度ωｔの設定を示すと、中央処理ユニット６は、図９に示すような特性により時間的信頼度ωｔを設定することになる。なおこのような距離ｒによる動きベクトルの判定にあっては、移動体における移動の特性により、図８に示すような円による判定に代えて、例えば水平方向が長軸である楕円形により、１フレーム前で検出された移動体の移動体慣性移動ベクトルＶobj〔ｎ−１〕に対する分布を判定して実行するようにしてもよい。具体的に、例えば人物を追跡する場合にあっては、水平方向に移動する場合が殆どであることにより、この場合、水平方向が長軸である楕円形により判定するようにして、水平方向に比して垂直方向の判定基準を厳しいものとして信頼度の設定精度を向上することができる。
【００６２】
また直前フレームで検出される移動ベクトルに代えて、直前の複数フレームで検出される移動ベクトルの平均値を適用する場合、さらには２フレーム前で検出された移動ベクトルを適用する場合等、差分値の生成に供する移動ベクトルにあっては、必要に応じて過去に検出した種々の移動ベクトルを適用することができる。
【００６３】
なお図１０は、この時間的信頼度ωｔの設定に係る中央処理ユニット６の一連の処理手順を示す図である。中央処理ユニット６は、この実施例では、オペレータによる事前の設定により、これらしきい値ｔｈ１〜ｔｈ３の設定を受け付ける。なおこのような設定の受け付けにあっては、例えば標準のしきい値の設定によりこの一連の処理を事前に実行して追跡対象領域（枠ｗ）の変化を表示し、オペレータによる設定の変更を受け付ける場合等が考えられる。
【００６４】
このようにして時間的信頼度ωｔを計算すると、中央処理ユニット６は、続くステップＳＰ２２−３において、他の特徴点との間の距離の変化を判定し、その判定結果を集計することにより空間的信頼度ωｓを計算する。
【００６５】
ここで図１１（Ａ１）及び（Ａ２）に示すように、ｎフレームで検出される特徴点ＦＰ１〜ＦＰ５がそれぞれ動きベクトルＶ１〜Ｖ５により続くｎ＋１フレームの位置に移動した場合にあって、１つの特徴点ＦＰ１が残りの他の特徴点ＦＰ２〜ＦＰ５とは異なる動きを示した場合、この１つの特徴点ＦＰ１は、追跡対象の移動体に設定されたものでは無い可能性が高い。
【００６６】
これに対して図１１（Ｂ１）及び（Ｂ２）に示すように、このように１つの特徴点ＦＰ１が残りの他の特徴点ＦＰ２〜ＦＰ５とは異なる動きを示した場合であっても、この１つの特徴点ＦＰ１が残りの他の特徴点ＦＰ２〜ＦＰ５と関連した動きである場合、これらの特徴点ＦＰ１〜ＦＰ５にあっては、同一の移動体に設定されたものである可能性が高い。ちなみに、この図１１（Ｂ１）及び（Ｂ２）は、特徴点ＦＰ１〜ＦＰ５の相互の間隔が広がった場合であって、他の特徴点ＦＰ２〜ＦＰ５間の間隔に比して、１つの特徴点ＦＰ１との間の間隔が大きく開きつつ、これら５つの特徴点ＦＰ１〜ＦＰ５が同一方向に移動した場合であり、例えば追跡対象の移動体が人物である場合に、この人物が移動しながら背伸びをしたような場合が相当する。
【００６７】
これに対して図１１（Ｃ１）及び（Ｃ２）に示すように、このように１つの特徴点ＦＰ１が残りの他の特徴点ＦＰ２〜ＦＰ５とは異なる動きを示した場合であって、他の特徴点ＦＰ２〜ＦＰ５との間で相対的な位置関係が保持されていない場合、この１つの特徴点ＦＰ１は、追跡対象の移動体に設定されたものでは無い可能性が高い。
【００６８】
しかしながらこれら図１１（Ａ１）及び（Ｃ２）の例において、他の特徴点ＦＰ２〜ＦＰ５は、相互の位置関係を保持して移動していることにより、追跡対象の移動体に設定されたものである可能性が高い。
【００６９】
これにより中央処理ユニット６は、次式により示すように、このように１つの特徴点毎に、他の特徴点まで距離の変化を所定のしきい値ｔｈΔにより判定し、このしきい値ｔｈΔ以上に変化の大きな特徴点数を、各特徴点でカウントする。また全ての特徴点数から処理対象の特徴点数（値１）を減算した減算値により、このようにして計算したカウント値を割り算して正規化し、これによりｋ番目の特徴点の弾性インデックスｋを計算する。なおここで（９）式において、ＦＰ１、ＦＰｋは、それぞれ処理対象の特徴点、他の特徴点の座標値であり、添え字により示すｎ−１、ｎは、それぞれ前フレーム及び現フレームを示し、また＃は、カウント値を示す。
【００７０】
【数９】
【００７１】
なおこのしきい値ｔｈΔは、この実施例では定数を設定したが、処理対象の特徴点における動きベクトルの大きさ、ステップＳＰ２２−１、ＳＰ２２−２における処理結果等により、特徴点毎に値を変更するようにしてもよい。
【００７２】
具体的に、図１１（Ｂ１）及び（Ｂ２）における１番目の特徴点ＦＰ１と５番目の特徴点ＦＰ５との関係について説明すると、ｎフレーム目における１番目の特徴点ＦＰ１から５番目の特徴点ＦＰ５までの距離δn,1（５）と、ｎフレーム目における５番目の特徴点ＦＰ５から１番目の特徴点ＦＰ１までの距離δn,5（１）との間では、δn,1（５）＝δn,5（１）の関係式が成立し、続くｎ＋１フレーム目における１番目の特徴点ＦＰ１から５番目の特徴点ＦＰ５までの距離δn+1,1（５）と、これら距離δn,1（５）又はδn,5（１）とを比較すると、この場合、距離δn+1,1（５）が伸びていることがわかる。
【００７３】
中央処理ユニット６は、これによりこの場合、次式により示すように、これら距離δn+1,1 （５）とδn,1（５）との差分値がしきい値ｔｈΔより大きい場合、この特徴点ＦＰ１に係るカウント値ｃｏｕｎｔｅｒＦＰ１をアップカウントする。
【００７４】
【数１０】
【００７５】
またこのようにして残りの特徴点ＦＰ２〜ＦＰ４との間で同様にして距離の差分値をしきい値ｔｈΔより判定してカウント値を更新し、この図１１の例では、全ての特徴点数５より値１を減じた値４によりカウント値を割り算して弾性インデックスｋを計算する。またさらに次式により示すように、この弾性インデックスｋを値１から減算し、これにより空間的信頼度ωｓを計算する。
【００７６】
【数１１】
【００７７】
なお図１２は、この空間的信頼度ωｓの設定に係る中央処理ユニット６の一連の処理手順を示す図である。中央処理ユニット６は、これにより直前フレームで検出された各特徴点間の距離の情報をメモリに記録して保持し、このメモリの記録と、この前フレームで検出される距離の情報とにより弾性インデックスを計算した後、空間的信頼度ωｓを各特徴点毎に計算する。
【００７８】
このようにして空間的信頼度ωｓを計算すると、中央処理ユニット６は、続くステップＳＰ２２−４において、静止点の検出処理を実行する。ここで図１３は、この静止点の検出処理における中央処理ユニット６の処理手順を示すフローチャートである。中央処理ユニット６は、この処理手順を開始すると、ステップＳＰ３１からステップＳＰ３２に移る。ここで中央処理ユニット６は、移動体が静止しているか否か判断し、ここで静止していると判断される場合、ステップＳＰ３２からステップＳＰ３３に移ってこの処理手順を終了する。なおここでこの移動体が静止しているか否かの判断にあっては、ステップＳＰ２２−１〜ステップＳＰ２２−４で検出した各種信頼度により、又はこれらの信頼度の組み合わせにより、移動ベクトルを計算して判定する場合等、種々の判定手法を広く適用することができる。なお中央処理ユニット６は、このようにステップＳＰ３２からステップＳＰ３３に移って処理を完了する場合、この追跡対象領域の各特徴点に係る静止画カウンタ（後述する）については、カウント値を値０にリセットする。
【００７９】
これに対して移動体が静止していないとの判定結果が得られると、中央処理ユニット６は、ステップＳＰ３２からステップＳＰ３４に移る。ここで中央処理ユニット６は、処理対象の追跡対象領域に設定された１つの特徴点を選択し、この特徴点について、１フレーム前と同じ位置に位置するか否か判断する。なおここでこの判定にあっては、１フレーム前で検出された位置（ｘｋ，ｙｋ）ｎと、前フレームである処理対象のフレームで検出された位置（ｘｋ，ｙｋ）ｎ＋１との差分値を所定のしきい値により判定し、このしきい値より差分値が小さい場合に、同一位置と判定する。
【００８０】
中央処理ユニット６は、ここで同一位置であるとの判定結果が得られない場合、ステップＳＰ３４からステップＳＰ３５に移る。ここで中央処理ユニット６は、静止していたフレーム数を示す静止カウンタｋを値０にリセットした後、ステップＳＰ３６に移る。ここで中央処理ユニット６は、この追跡対象領域の全ての特徴点について処理を完了したか否か判断し、ここで否定結果が得られると、ステップＳＰ３６からステップＳＰ３７に移り、処理対象を次の特徴点に切り換えてステップＳＰ３４に戻る。
【００８１】
これに対してステップＳＰ３４で肯定結果が得られると、中央処理ユニット６は、ステップＳＰ３４からステップＳＰ３８に移る。ここで中央処理ユニット６は、静止カウンタｋを値１だけインクリメントした後、続くステップＳＰ３９において、この静止カウンタｋのカウント値が所定のしきい値ｔｈ５と一致するか否か判断する。
【００８２】
ここで肯定結果が得られると、この場合、移動体が移動している場合にも係わらず、この処理対象の特徴点にあっては、このしきい値ｔｈ５に対応する連続するフレームで同一の位置に位置することより、中央処理ユニット６は、この場合、ステップＳＰ３９からステップＳＰ４０に移り、この特徴点を静止点に設定する。また続いてステップＳＰ３６に移り、ここでこの追跡対象領域の全ての特徴点について処理を完了したか否か判断し、ここで否定結果が得られると、ステップＳＰ３６からステップＳＰ３７に移り、処理対象を次の特徴点に切り換えてステップＳＰ３４に戻る。
【００８３】
これに対してステップＳＰ３９で否定結果が得られると、中央処理ユニット６は、ステップＳＰ３９からステップＳＰ４１に移る。ここで中央処理ユニット６は、ステップＳＰ２２−３で検出したこの特徴点に係る空間的信頼度ωｓが所定のしきい値ｔｈ６より小さいか否か、すなわち他の多くの特徴点に対して空間的に異なる動きを呈した程度が大きいか否か判断する。
【００８４】
ここで肯定結果が得られると、中央処理ユニット６は、ステップＳＰ４１からステップＳＰ４０に移り、この特徴点を静止点に設定した後、ステップＳＰ３６に移る。これに対してステップＳＰ４１で否定結果が得られると、ステップＳＰ４１から直接ステップＳＰ３６に移る。
【００８５】
これらにより中央処理ユニット６は、繰り返し検出される特徴点の位置座標の判定により、移動体上に特徴点が存在する確からしさを、それまで繰り返し静止していた回数により示す静止点信頼度を検出する。
【００８６】
中央処理ユニット６は、このようにして静止点を検出すると、続くステップＳＰ２２−５において、平滑ブロック処理を実行する。ここで中央処理ユニット６は、各特徴点毎に、周囲のサンプリング点との間でサンプリング値の差分値を計算する。ここでこの差分値が小さい場合には、この特徴点は、特徴点としての信頼度が低いことになる。これにより中央処理ユニット６は、この差分値が一定値以下の特徴点を検出する。なおこの処理においては、例えば特徴点に係るサンプリング点と、このサンプリング点の水平方向及び垂直方向に隣接するサンプリング点との間で、サンプリング値の差分絶対値和を計算し、この差分値絶対値和をしきい値により判定して実行される。なおこのような水平方向及び垂直方向に隣接すサンプリング点との間の処理に代えて、周囲８サンプリング点との間で処理する場合等、この判定に供する範囲にあっては、必要に応じて種々に設定することができる。
【００８７】
これにより中央処理ユニット６は、各特徴点毎に、周囲のサンプリング点との間でサンプリング値の差分値を判定することにより、移動体上に存在する特徴点の確からしさを、周囲のサンプリング点との比較により示す平滑度信頼度を検出する。
【００８８】
これらにより中央処理ユニット６は、続くステップＳＰ２３において、このように異なる検出原理で検出した複数種類の信頼度のうちの一部を用いて、信頼度の低い特徴点を削除し、この信頼度の低い特徴点については、移動ベクトルの計算に使用しないようにし、また以降のフレームの処理対象から除外する。またこのようにして特徴点を削除した分、上述のステップＳＰ９において特徴点を追加設定する。これにより中央処理ユニット６は、後述する重み平均の処理の他に、この特徴点の削除処理によっても、信頼性の低い動きベクトルを処理結果に反映しないようにして移動ベクトルを検出し、さらにはこの移動ベクトルの検出に係る処理を簡略化する。
【００８９】
具体的に、中央処理ユニット６は、処理対象である追跡対象領域の特徴点から、ステップＳＰ２２で削除対象に設定された特徴点、ステップＳＰ２２−４で検出された静止点、ステップＳＰ２２−５で検出された平滑度信頼度の低い特徴点を削除する。
【００９０】
この特徴点の削除にあっては、これら静止点、平滑度信頼度等により削除する場合に限らず、これらに代えて、又はこれらに加えて、他の信頼度により削除するようにしてもよく、またさらにはこのように異なる検出原理で検出した複数種類の信頼度の全てを用いて削除するようにしてもよい。また削除の処理に使用する信頼度毎に、各信頼度を計算した直後に該当する特徴点を削除するようにして、続く信頼度検出の処理を簡略化することができる。
【００９１】
また中央処理ユニット６は、続くステップＳＰ２４における移動ベクトルの計算において、このように異なる検出原理で検出した複数種類の信頼度のうちの一部を用いた重み付け処理により移動ベクトルを計算する。この実施例では、この一部の信頼度に、追跡回数信頼度ωｃ、時間的信頼度ωｔ、空間的信頼度ωｓが適用される。またこの重み付け処理には、重み付け平均の処理が適用される。
【００９２】
これにより中央処理ユニット６は、このステップＳＰ２４において、次式により示すように、追跡回数信頼度ωｃ、時間的信頼度ωｔ、空間的信頼度ωｓを乗算して総合の信頼度ωを計算する。
【００９３】
【数１２】
【００９４】
さらにこの計算した総合の信頼度ωを用いた重み付け平均値を計算し、これによりこの処理対象である追跡対象領域における移動体の動きベクトルを計算する。これらによりこの実施例では、ノイズによる影響を防止して検出精度の劣化を防止する。
【００９５】
なお中央処理ユニット６は、このようにして求めた移動ベクトルをステップＳＰ６により遮蔽対策処理し、ステップＳＰ７によりずれ補正処理した後、ステップＳＰ８で枠Ｗを移動させて現フレームに追跡対象領域を設定する。このときこの追跡対象領域に含まれない特徴点をさらに削除する。またこのステップＳＰ８で削除した分についても、ステップＳＰ９において特徴点を追加設定する。
【００９６】
なお上述のステップＳＰ３２における判定は、この一連の処理を繰り返して検出される移動ベクトルにより、それまで連続してこの移動ベクトルが所定値以下の場合、移動体が静止していると判断する。
【００９７】
（１−３）遮蔽処理
図１４は、遮蔽の説明に供する略線図である。遮蔽は、移動体Ｍが遮蔽物Ｎの後方を横切ることにより発生し、これによりこの図１４の例では、連続するｎフレームからｎ＋５フレームにおいて、移動体に設定される特徴点（黒丸により示す）の数が、遮蔽物Ｎと移動体Ｍとの重なり合いの程度によって順次変化することになる。
【００９８】
これにより図１５（Ａ）に示すように、移動体に設定された特徴点数にあっては、遮蔽の開始により徐々に数が低下した後、遮蔽の終了に近づくに従って徐々に数が増大して遮蔽前の値に戻ることになる。すなわちこの場合、上述した追跡回数の信頼度ωｃの検出処理において、追跡回数がしきい値ｔ１以下の、追跡回数信頼度ωｃの低い特徴点が増大し、これとは逆に追跡回数がしきい値ｔ２以上の、追跡回数信頼度ωｃの高い特徴点が減少する。
【００９９】
これにより追跡対象領域の特徴点の数に対して、所定回数以上連続して追跡に成功している特徴点数の比率を求めることにより、遮蔽の程度を示す遮蔽度を検出することができる。なおこの実施例では、繰り返しのフレームの処理で信頼度の低い特徴点を削除すると共に、削除した分、特徴点を追加設定していることにより、このように所定回数以上連続して追跡に成功している特徴点は、この所定回数以上の繰り返し処理で、追加設定されなかった特徴点となる。
【０１００】
これにより中央処理ユニット６は、この遮蔽度に応じてステップＳＰ５で検出される移動ベクトルと、過去の繰り返し処理で検出された移動ベクトルとを演算処理することにより、このステップＳＰ５で検出される移動ベクトルを補正し、遮蔽中の移動体を追跡する。
【０１０１】
すなわち図１６は、この遮蔽対策に係る中央処理ユニット６の処理手順を示すフローチャートである。中央処理ユニット６は、この処理手順を開始すると、ステップＳＰ５１からステップＳＰ５２に移り、遮蔽度を検出する。ここで中央処理ユニット６は、次式により示すように、追跡回数が所定回数以上の特徴点数を計算し、この計算した特徴点数を所定の基準値ｔｈ７から減算し（図１５（Ｂ））、その結果得られる減算値を基準値ｔｈ７により割り算して正規化し（図１５（Ｃ））、遮蔽度を検出する。なおここでＶ４．０は、追跡回数が所定回数以上の特徴点数である。なお追跡回数が所定回数以上の特徴点数に代えて、追跡回数信頼度ωｃが所定値以上の特徴点数を検出して遮蔽度を検出するようにしてもよい。なおこの実施例では、この基準値ｔｈ７を、追跡対象領域に設定されている特徴点の数の１／２の値に設定した。
【０１０２】
【数１３】
【０１０３】
これにより中央処理ユニット６は、図１５（Ｃ）に示すように、追跡回数が所定回数以上の特徴点数が、追跡対象領域に削除されてないで保持されている特徴点数の１／２以上の範囲では、値０に保持されるように、またこの追跡回数が所定回数以上の特徴点数が、追跡対象領域に削除されてないで保持されている特徴点数の１／２以下となると、この追跡回数が所定回数以上の特徴点数の減少により徐々に値が値０から増大するように、また追跡回数が所定回数以上の特徴点数が０個となる値１となるように、遮蔽度を計算する。
【０１０４】
続いて中央処理ユニット６は、ステップＳＰ５３において、この遮蔽度を用いた移動体慣性移動ベクトルを計算する。ここで移動体慣性移動ベクトルは、移動体が慣性により移動している場合の、この移動体の動きを示す動きベクトルであり、次式の演算処理により計算される。なおここで移動ベクトルは、ステップＳＰ５で計算した移動ベクトルである。また過去移動ベクトルは、移動体の過去のフレームで検出される移動ベクトルであり、例えば、１フレーム前で検出された移動体の動きベクトル、１０フレーム前で検出された移動体の動きベクトル等が適用される。またαは、帰還率を抑制するパラメータであり、この実施例では遮蔽度が代入される。これにより中央処理ユニット６は、重み付け係数を遮蔽度に応じて可変して、ステップＳＰ５で検出した移動ベクトルと、過去の繰り返し処理で検出された移動ベクトルとの重み平均処理により、ステップＳＰ５で検出した移動ベクトルを補正する。
【０１０５】
【数１４】
【０１０６】
なお（１４）式により明らかなように、この実施例では、特徴点による移動体の動きベクトルと、過去の１フレームで検出された移動体の動きベクトルとを用いた一次関数の演算処理により遮蔽された移動体の動きを計算する場合について述べたが、二次関数等の演算処理により過去の複数フレームで計算された動きベクトルにより移動体の動きを計算するようにしてもよい。
【０１０７】
これにより中央処理ユニット６は、移動体が一定値以上遮蔽されるまでの間、特徴点の動きベクトルで検出される移動ベクトルにより移動体を追跡し、一定値以上遮蔽されると、（１−α）の帰還率により過去に検出した移動ベクトルを用いて動きベクトルで検出される移動ベクトルを補正する。しかして中央処理ユニット６は、この移動体慣性移動ベクトルを移動体の動きベクトルに設定した後、ステップＳＰ５４に移ってこの処理手順を終了する。
【０１０８】
（１−４）ずれ補正処理
ところで各特徴点の動きベクトル検出は、局所的な動きについては、正確に動きを追跡できるものの、必ずしも追跡対象の動きを正しく反映するものではない。これによりこの実施例のように複数の特徴点で検出される動きベクトルを統計的に処理して追跡対象領域を移動させる場合、移動体の動きに対してこの追跡対象領域の移動が誤差を有するものとなり、図１７において、連続するＮフレームにおける移動体と枠Ｗによる追跡対象領域との関係を示すように、この誤差の累積により移動体に対して追跡対象領域が徐々にずれてしまう場合があり、これにより徐々に追跡精度が低下することになる。
【０１０９】
このため中央処理ユニット６は、図１８に示すずれ補正処理により、このようなずれを補正する。すなわち中央処理ユニット６は、この処理手順を開始すると、ステップＳＰ６１からステップＳＰ６２に移る。ここで中央処理ユニット６は、上述した遮蔽処理における遮蔽度の判定により、処理対象のフレームが遮蔽中であるか否か判断する。ここで肯定結果が得られると、中央処理ユニット６は、ステップＳＰ６２からステップＳＰ６３に移り、この場合、何ら補正処理することなく元の処理手順に戻る。これにより中央処理ユニット６は、遮蔽中の場合には、何ら移動ベクトルをずれ補正することなくこの処理手順を終了する。なおここでこの実施例における遮蔽中か否かの判断にあっては、遮蔽度の値０からの立ち上がりによりフラグを設定するようにして、このフラグの判定により実行される。
【０１１０】
これに対してステップＳＰ６２で否定結果が得られると、中央処理ユニット６は、ステップＳＰ６２からステップＳＰ６４に移り、ここで処理対象のフレームが遮蔽を終了した直後のフレームであるか否か判断する。なおここで遮蔽が終了した後、所定フレーム数Ｎだけ経過するまでの間にあっては、遮蔽を終了した直後のフレームであると判断する。またこれら遮蔽中であるか否かの判断にあっては、上述の遮蔽度の判定に限らず、遮蔽処理とは別に判定するようにしてもよい。
【０１１１】
ここで否定結果が得られると、中央処理ユニット６は、ステップＳＰ６４からステップＳＰ６５に移る。ここで中央処理ユニット６は、既に移動ベクトルを検出したフレームであって、移動体が遮蔽されていないフレームの画像データＳＶより固定パターンを作成する（図１７（Ａ））。具体的に、この実施例では、Ｎフレームだけ前に処理した画像データＳＶを使用してこの固定パターンを作成し、これにより図１８において時点ｔ１により示す処理対象フレームから上述の所定フレーム数Ｎだけ時間軸を逆上った時点ｔ１−Ｎにより示すフレームにおいて、同一の追跡対象領域の画像データＳＶより固定パターンを作成する（図１７（Ａ））。これにより中央処理ユニット６は、遮蔽中のフレームにあっては、ずれ補正処理に使用しないようにする。
【０１１２】
ここでこの固定パターンは、相関検出用のテンプレートであり、追跡対象領域の画像データを切り出して作成される。なお固定パターンは、このようにＮフレーム前の画像データＳＶにより作成する場合に限らず、Ｎフレーム前からさらに逆上ったＫ個のフレームの画像データＳＶの平均値により作成する場合、さらにはこれらＫ個のフレームによる画像データの重み付け平均値により作成する場合、さらには帰還フィルタの手法により作成する場合等、既に移動ベクトルを検出したフレームであって、移動体が遮蔽されていないフレームの画像データより種々の方法で作成することができる。
【０１１３】
中央処理ユニット６は、このようにして作成した固定パターンに対して、重み係数を設定した重みパターンをさらに作成する。ここでこの重みパターンは、この固定パターンに係る追跡対象領域に設定された特徴点について、それぞれ特徴点のサンプリング点と、このサンプリング点近傍のサンプリング点とに、各特徴点の信頼度の値による重み係数を設定し、残りのサンプリング点に値０の重み係数を設定して作成される。またこの信頼度にあっては、上述したノイズ除去処理に係る総合の信頼度、又は総合の信頼度の算出に供された各信頼度の何れかを適用することができる。またこのように信頼度の値による重み係数を設定する特徴点近傍のサンプリング点にあっては、必要に応じて種々に設定することができ、また移動体に応じて水平方向と垂直方向とでサンプリング点の数を異ならせるようにしてもよい。
【０１１４】
中央処理ユニット６は、続いてステップＳＰ６６に移り、この固定パターン、重みパターンを用いたブロックマッチングにより最も相関の高い位置を検出する。具体的に、中央処理ユニット６は、この固定パターンを追跡対象領域に重ね合わせた位置を中心にして、垂直方向及び水平方向にそれぞれ±Ｓ画素の範囲をサーチ範囲に設定し、処理対象のフレームに係る画像に対して、このサーチ範囲で順次、固定パターンを移動させる。また各移動位置毎に、固定パターンと処理対象フレームの画像との間で、重なり合うサンプリング点間で画素値の差分値を計算し、さらに重みパターンによる対応する重み係数により各差分値を乗算する。中央処理ユニット６は、この乗算値の絶対値和を計算し、これにより相関値を計算する。また各位置で検出される相関値より最も値の小さな相関値の位置を検出する。なおこれにより図１７及び図１９において示すサーチ範囲は、固定パターンの１つのサンプリング点についてのサーチ範囲である。またこの相関値の検出にあっては、追跡対象領域の全サンプリング点による固定パターンにより実行する場合に限らず、サンプリング点を間引きした低解像度の固定パターンにより実行する場合等、種々のパターンマッチング手法を広く適用することができる。
【０１１５】
中央処理ユニット６は、これにより処理対象フレームより過去のフレームに設定された追跡対象領域と、次フレームとのパターンマッチングにより、過去のフレームに設定された追跡対象領域と次フレームとの間で最も相関の高い位置を検出し、これによりパターンマッチング法により処理対象フレームにおける移動体の位置を検出する。
【０１１６】
中央処理ユニット６は、続いてステップＳＰ６７に移り、処理対象フレームの対応する追跡対象領域の中心位置から、このようにして検出した最も相関の高い位置までのベクトルを検出し、これにより移動体に対する追跡対象領域のずれを検出する。中央処理ユニット６は、この検出したベクトルをずれ修正用のベクトルとして用いて、続くステップＳＰ６８において、この処理対象フレームで検出した移動ベクトルにこの修正ベクトルを加算して移動ベクトルを補正し、これにより移動体に対する追跡対象領域のずれを補正した後、ステップＳＰ６３に移ってこの処理手順を終了する。
【０１１７】
これに対してステップＳＰ６４で肯定結果が得られると、中央処理ユニット６は、ステップＳＰ６４からステップＳＰ６９に移る。ここで中央処理ユニット６は、遮蔽されていたフレームの分だけさらに逆上ったフレームにより固定パターンを作成する。これにより図１９に示す例において、時点ｔ３によるフレームにあっては、遮蔽を開始した時点ｔ２よりＮフレーム分だけ逆上った時点ｔ２−Ｎによるフレームを用いて、固定パターンを作成し、さらに重みパターンを作成し、これによっても遮蔽中のフレームを処理に使用しないようにする。
【０１１８】
また続くステップＳＰ６５において、中央処理ユニット６は、上述したと同様にして、この固定パターン、重みパターンにより重み相関値を計算する。この処理において、中央処理ユニット６は、このように遮蔽終了直後においては、何ら遮蔽されていなかった場合に比して、サーチ範囲を拡大して相関値を計算する。これにより中央処理ユニット６は、遮蔽終了直後にあっても、確実にずれを補正する。なおこのサーチ範囲の拡大にあっては、遮蔽により位置ずれ補正を中止したフレーム数に応じて設定され、例えばこのフレーム数に比例してサーチ範囲が拡大するように設定される。
【０１１９】
図２０は、これら一連の中央処理ユニット６の処理により構成されるこの物体追跡装置３の機能ブロック図である。この物体追跡装置３において、特徴点処理部１１は、前フレームに追跡対象領域を設定して特徴点を設定し、また一連の処理により削除された分、特徴点を追加設定する特徴点選択部１２を構成すると共に、この特徴点選択部１２による特徴点の現フレームへの動きベクトルを検出して特徴点を追跡する特徴点追跡部１３を構成する。これに対して動き解析部１４は、特徴点処理部１１で検出される動きベクトルにより移動ベクトルを検出する。すなわち動き解析部１４において、ノイズ削減、削除部１５は、信頼度を検出して特徴点を削除することによりノイズの影響を低減し、また現フレームの動き算出部１６は、残った特徴点の動きベクトルにより移動ベクトルを計算する。これに対して遮蔽対策部１７は、この移動ベクトルを遮蔽対策処理し、遮蔽検出部１８において、移動体の遮蔽度を検出する。またこの検出した遮蔽度により、過去の動き情報１９を用いて慣性部２０により移動体慣性移動ベクトルを検出し、この移動体慣性移動ベクトルにより移動体の移動ベクトルを出力する。これに対してズレ対策部２１は、移動体に対するこの移動ベクトルのずれを補正する。すなわちズレ対策部２１において、遮蔽直後対策部２２は、遮蔽直後のフレームを検出し、ズレ補正部２３は、この遮蔽直後対策部２２の検出結果を参考にして、次フレームに設定する追跡対象領域の位置を補正し、この追跡対象領域の位置情報を物体追跡結果Ｓ１として出力する。
【０１２０】
（２）実施例の動作
以上の構成において、この物体追跡装置３は（図１及び図２）、画像データＳＶにより処理対象フレームの処理により、この処理対象フレームに移動体の領域を示す追跡対象領域が設定され、この追跡対象領域と次フレームの画像データＳＶの比較により、移動体の移動ベクトルが検出される。またこの移動体の移動ベクトルにより、この次フレームに追跡対象領域が設定され、この次フレームが続く処理の処理対象フレームに設定されて同様の処理が繰り返される。これによりこの物体追跡装置３は、連続するフレームで順次移動体の移動に追従するように追跡対象領域を移動させて移動物体を追跡する。
【０１２１】
物体追跡装置３は、このような追跡対象領域と次フレームの画像データＳＶを比較して移動ベクトルを検出する処理が、特徴点で検出される動きベクトルの処理により実行される。すなわち物体追跡装置３では、前フレームによる処理対象フレームから動きのある領域が検出され、この領域を囲むように長方形形状による枠Ｗが設定されて追跡対象領域が設定され、この追跡対象領域で特徴点が所定個数検出される（図３）。物体追跡装置３では、この特徴点の次フレームへの動きベクトルが検出され、この動きベクトルの統計的な処理により移動体の次フレームへの動きを示す移動ベクトルが検出される。
【０１２２】
しかしながらこのようにして検出される追跡対象領域には（図４）、移動体以外の背景、前提等に特徴点が設定される場合もあり、これによりこのような特徴点にあっては移動体の動きを正しく反映していないことになり、移動ベクトル検出のノイズとなる。また例えば歩行する人物の四肢のように、移動体の一部ではあるものの、移動体とは異なる動きを呈する特徴点も存在し、このような特徴点の動きベクトルも移動ベクトル検出のノイズとなる。このようなノイズの存在にあっては、移動ベクトルの検出精度を劣化させることになる。
【０１２３】
これによりこの実施例では、移動体上に存在する特徴点の確からしさを示す信頼度が各特徴点で検出され、この信頼度により、信頼度の低い特徴点で検出される動きベクトルを処理結果に反映しないように動きベクトルが処理されて移動ベクトルが検出される。これによりこの実施例では、背景、前景の特徴点、移動体自身の動きに対して動きが大きく異なる四肢等の特徴点については、移動ベクトルに反映させないようにすることができ、これによりノイズによる検出精度の劣化が防止される。
【０１２４】
またこのように移動ベクトルを検出するようにして、信頼度の低い特徴点が削除され、この特徴点の動きベクトルが移動ベクトルの検出に使用しないように設定されると共に、この削除した分だけ続く繰り返しの処理における追跡対象領域に特徴点が設定され、これにより移動ベクトルの算出処理に供する動きベクトルの数を少なくして、信頼性の低い動きベクトルを移動ベクトルに反映しないように設定され、これにより簡易な処理によりノイズによる検出精度の劣化が防止される。
【０１２５】
また信頼度を用いた動きベクトルの重み付け処理により移動ベクトルが検出され、これによっても信頼性の低い動きベクトルを移動ベクトルに反映しないように設定され、これによっても確実にノイズによる検出精度の劣化が防止される。
【０１２６】
より具体的に、この実施例では、異なる検出手法により複数種類の信頼度が検出される（図５）。すなわちこのような信頼度により特徴点を削除、設定して処理を繰り返すようにして、特徴点毎に、繰り返し処理における追跡回数により追跡回数信頼度が検出され（図６）、これにより追跡することが困難となった、例えば移動体の遮蔽を開示した直後のこの遮蔽に係る遮蔽物に設定された特徴点、それまで隠れていた移動体の特徴点等が低い信頼度により検出され、これらの特徴点による動きベクトルが移動ベクトルに反映されないように設定されてノイズによる検出精度の劣化が防止される。
【０１２７】
また直前で検出された移動ベクトルと動きベクトルとの差分ベクトルが判定されて時間的信頼度が検出され（図７〜図１０）、これにより時間軸上の変化により観察して移動体と異なる動き呈する背景、前景等の特徴点については、移動ベクトルに動きベクトルが反映されないように設定され、これによってもノイズによる検出精度の劣化が防止される。
【０１２８】
また弾性インデックスを用いて、他の特徴点との間の距離の変化が判定され、この判定結果の集計により空間的信頼度が検出される（図１１及び図１２）。これにより例えば移動する人体の四肢に設定された特徴点あって、人体の移動に対して大きく動きが異なる特徴点、さらには背景、前景等の特徴点については、動きベクトルが移動ベクトルに反映されないように設定され、これによってもノイズによる検出精度の劣化が防止される。
【０１２９】
また移動体が移動していることを条件に、特徴点の位置座標の判定により、それまで繰り返し静止していた回数によって信頼度を示す静止点信頼度が検出され、これによっても静止した背景、前景等による特徴点の動きベクトルが移動ベクトルに反映されないように設定され、これによってもノイズによる検出精度の劣化が防止される（図５）。
【０１３０】
また各特徴点毎に、周囲のサンプリング点との間でサンプリング値の差分値が判定され、これにより周囲のサンプリング点との比較により信頼度を示す平滑度信頼度が検出され、これにより特徴点自体の信頼度が低いものについては、動きベクトルが移動ベクトルに反映されないように設定され、これによってもノイズによる検出精度の劣化が防止される（図５）。
【０１３１】
この実施例では、このようにして検出される複数種類の信頼度のうちの一部の信頼度である追跡回数信頼度、時間的信頼度、空間的信頼度の乗算処理により総合の信頼度が検出される。またこの総合の信頼度を用いた動きベクトルの重み付け処理の１つである重み付け平均により、移動ベクトルが検出される。これによりこの実施例では、１つの手法によって検出される信頼度を用いた処理によっては、ノイズの影響を除去できない場合でも、他の手法によって検出される信頼度によりノイズの影響を除去することができ、一段と確実にノイズによる検出精度の劣化が防止される。
【０１３２】
また同様にしてこのようにして検出される複数種類の信頼度のうちの一部の信頼度である時間的信頼度、静止点信頼度、平滑度信頼度により特徴点が削除され、これにより１つの手法によって検出される信頼度を用いた処理によっては、削除困難なノイズに係る特徴点についても、他の手法によって検出される信頼度により削除することができ、これによっても一段と確実にノイズによる検出精度の劣化が防止される。
【０１３３】
しかしながらこのようにノイズにより影響を解消するようにしても、移動体が遮蔽物により遮蔽された場合には、移動体を追跡することが困難になる。また複数フレームに渡って追跡すると、移動体に対して、徐々に追跡対象枠がずれるようになり、これにより検出精度が劣化することになる。
【０１３４】
このためこの実施例では、移動体の遮蔽の程度を示す遮蔽度が検出され、動きベクトルより検出される移動ベクトルと、過去の繰り返し処理で検出された移動ベクトルとによるこの遮蔽度に応じた演算処理により、動きベクトルにより検出された移動ベクトルが補正される（図１４〜図１６）。これによりこの実施例では、遮蔽された場合でも、移動体を追跡することが可能となる。
【０１３５】
また処理対象フレームより過去のフレームにおける追跡対象領域を用いたブロックマッチングにより、次フレームにおける追跡対象領域の移動体に対するずれが補正される（図１７〜図１９）。これによりこの実施例では、位置ずれが防止されて検出精度が向上される。
【０１３６】
この実施例では、これらの処理のうち、遮蔽に係る処理が、重み付け係数を遮蔽度に応じて可変した、動きベクトルによる移動ベクトルと、過去の繰り返し処理で検出された移動ベクトルとの重み平均処理により実行される。これにより何ら移動体が遮蔽されていない場合と移動体が遮蔽された場合とで処理を切り換えることなく、移動ベクトルを処理することができ、その分、処理が簡略化される。また遮蔽の程度が小さい場合には、動きベクトルによる移動ベクトルを優先的に使用して移動ベクトルを求め、遮蔽の程度が大きくなるに従って過去の繰り返し処理で検出された移動ベクトルによる補正量を増大させて移動ベクトルを検出することができ、これにより例えば移動体の移動速度が変化している過程で遮蔽されたような場合の、追跡の失敗が防止される。
【０１３７】
またこのような移動ベクトルの補正に使用する繰り返し処理で検出された移動ベクトルにあっては、処理対象フレームの所定フレーム数だけ前のフレームで検出された移動ベクトルが適用され、これによりこのほぼ一定の速度により移動する移動体と、動きの変化が激しい移動体とで、この所定フレーム数を適宜設定することにより、遮蔽された移動体を正しく追跡することができる。またこの移動ベクトルには、処理対象フレームより前の複数フレームで検出された移動ベクトルの平均値による移動ベクトルを適用するようにしてもよく、この場合には、ほぼ一定の速度により移動する移動体に関して、検出された移動ベクトルのばらつきによる影響を低減して、遮蔽された移動体を正しく追跡することができる。
【０１３８】
これに対してこの遮蔽度の計算にあっては、上述した追跡回数信頼度の検出に係る連続して追跡される特徴点、すなわち所定回数以上の繰り返し処理で追加設定されていない特徴点の数が検出され、追跡対象領域の特徴点の数に対するこの特徴点の数の比率により遮蔽度が検出される。これにより特徴点による動きベクトルを用いて移動体を追跡する構成を有効に利用して遮蔽率が計算され、その分、全体の処理が簡略化される。またこの実施例では、追跡回数信頼度の検出処理を利用して、遮蔽率を計算することができ、これによっても全体の処理が簡略化される。
【０１３９】
これに対して位置ずれにあっては、過去のフレームに設定された追跡対象領域の各サンプリング点のサンプリング値により固定パターンが作成され、またこの固定パターンに対応する各サンプリング点について、信頼度に応じた重み付け係数が設定されて重みパターンが生成される。また固定パターンを走査させて、各走査位置で重なり合うサンプリング点間でサンプリング値の差分値を重みパターンの対応する重み係数により重み付けして集計することにより、各走査位置における相関値が検出される。またこの相関値を判定して最も相関の高い位置が検出されて位置ずれが補正される。
【０１４０】
これによりこの実施例では、信頼度の低い箇所については、固定パターンにより相関値の検出に使用しないようにして検出精度の劣化が防止され、正しく位置ずれが防止される。
【０１４１】
また次フレームの追跡対象領域の中心を基準とした所定のサーチ範囲でサーチしてこのような相関値が検出され、これにより不必要な相関値検出の処理を省略して処理が簡略化される。
【０１４２】
また遮蔽中には、このような処理が中止され、これにより誤った位置ずれ防止処理が防止される。
【０１４３】
また遮蔽の開始から遮蔽の終了までの間の処理対象フレームについては、過去のフレームに設定しないように設定され、これによっても誤った位置ずれ防止処理が防止される。
【０１４４】
また遮蔽の終了直後にあっては、遮蔽の開始直前に比してサーチ範囲が拡大され、これにより遮蔽の期間の複数フレームにより位置ずれが累積する場合でも、確実に位置ずれが防止される。
【０１４５】
（３）実施例の効果
以上の構成によれば、追跡対象物体上に存在する特徴点の確からしさを示す信頼度を検出し、この信頼度により信頼性の低い動きベクトルを処理結果に反映しないように動きベクトルを処理して移動体の移動ベクトルを検出することにより、ノイズによる検出精度の劣化を防止することができる。
【０１４６】
すなわち信頼度の低い特徴点については、削除して、移動ベクトルの計算に使用しないように、また続くフレームの処理に使用しないようにすることにより、信頼性の低い動きベクトルを処理結果に反映しないように動きベクトルを処理して移動体の移動ベクトルを検出することができ、ノイズによる検出精度の劣化を防止することができる。
【０１４７】
またこのような信頼度を用いた動きベクトルの重み付け処理により移動ベクトルを検出することによっても、信頼性の低い動きベクトルを処理結果に反映しないように動きベクトルを処理して移動体の移動ベクトルを検出することができ、ノイズによる検出精度の劣化を防止することができる。
【０１４８】
またこの信頼度が、連続した処理回数により表される特徴点の追跡回数による追跡回数信頼度であることにより、例えば移動体の遮蔽を開示した直後のこの遮蔽に係る遮蔽物に設定された特徴点、それまで隠れていた移動体の特徴点等による動きベクトルを移動ベクトルに反映させないようにして、ノイズによる検出精度の劣化を防止することができる。
【０１４９】
また信頼度が、それまでに検出された移動ベクトルと、動きベクトルとの間の差分ベクトルの判定による時間的信頼度であることにより、時間軸上の変化により観察して移動体と異なる動き呈する背景、前景等の特徴点については、移動ベクトルに動きベクトルが反映させないようにすることができ、これによってもノイズによる検出精度の劣化を防止することができる。
【０１５０】
また信頼度が、他の特徴点との間の距離の変化を判定し、該判定結果を集計した空間的信頼度であることにより、例えば移動する人体の四肢に設定された特徴点であって、人体の移動に対して大きく動きが異なる特徴点、さらには背景、前景等の特徴点については、動きベクトルが移動ベクトルに反映されないように設定することができ、これによってもノイズによる検出精度の劣化を防止することができる。
【０１５１】
また信頼度が、特徴点の位置座標の判定による繰り返し静止していた回数による静止点信頼度であることにより、静止した背景、前景等による特徴点の動きベクトルを移動ベクトルに反映しないように設定することができ、これによってもノイズによる検出精度の劣化を防止することができる。
【０１５２】
また信頼度が、特徴点のサンプリング値と、特徴点の周囲のサンプリング点との間でサンプリング値の差分値を判定して検出される平滑度信頼度であることにより、特徴点自体の信頼度が低いものについては、移動ベクトルに反映させないように設定することができ、これによってもノイズによる検出精度の劣化を防止することができる。
【０１５３】
またこのような追跡回数信頼度、時間的信頼度、空間的信頼度、静止点信頼度、平滑度信頼度の全部又は一部により総合の信頼度を計算し、この総合の信頼度により移動ベクトルを求めることにより、１つの手法によって検出される信頼度を用いた処理によっては、ノイズの影響を除去できない場合でも、他の手法によって検出される信頼度によりノイズの影響を除去することができ、一段と確実にノイズによる検出精度の劣化を防止することができる。
【０１５４】
またこのようにしてノイズによる検出精度の劣化を防止する構成を前提に、遮蔽度の検出により、動きベクトルより検出される移動ベクトルと、過去に検出された移動ベクトルとを演算処理して動きベクトルより検出される移動ベクトルを補正することにより、また処理対象フレームより過去のフレームの追跡対象領域を用いたパターンマッチングにより、次フレームにおける追跡対象領域の移動体に対するずれ検出して修正することにより、一段と確実に移動体を追跡することができる。
【実施例２】
【０１５５】
なお上述の実施例においては、追跡回数信頼度、時間的信頼度、空間的信頼度、静止点信頼度、平滑度信頼度の一部により信頼性の低い特徴点を削除し、また総合の信頼度を求めて動きベクトルを重み付け平均する場合について述べたが、本発明はこれに限らず、例えばこれらの信頼度の全部により信頼性の低い特徴点を削除し、また総合の信頼度を求めて動きベクトルを重み付け平均する場合等、各信頼度の各処理への適用にあっては、種々に設定することができる。またこれら以外の信頼度をこれらの信頼度に加えて、またはこれらの信頼度に代えて使用するようにしてもよい。
【０１５６】
また上述の実施例においては、信頼度により特徴点を削除する処理と、動きベクトルを重み付け平均化する処理とにより、信頼度の低い動きベクトルを処理結果に反映しないようにする場合について述べたが、本発明はこれに限らず、実用上十分な特性を確保できる場合には、これらの処理の一方のみを採用して移動ベクトルを求めるようにしてもよい。
【０１５７】
また上述の実施例においては、追跡回数より遮蔽度を計算する場合について述べたが、本発明はこれに限らず、位置ずれ補正について上述した相関値の値により遮蔽率を計算する場合等、遮蔽率の計算方法にあっては、種々の手法を広く適用することができる。
【産業上の利用可能性】
【０１５８】
本発明は、物体追跡方法、物体追跡方法のプログラム、物体追跡方法のプログラムを記録した記録媒体及び物体追跡装置に関し、例えば監視装置に適用することができる。
【図面の簡単な説明】
【０１５９】
【図１】本発明の実施例に係る物体追跡システムを示すブロック図である。
【図２】図１の物体追跡装置における中央処理ユニットの処理手順を示すフローチャートである。
【図３】追跡対象領域を示す略線図である。
【図４】ノイズの説明に供する略線図である。
【図５】図２の移動ベクトル計算処理を詳細に示すフローチャートである。
【図６】追跡回数信頼度を示す特性曲線図である。
【図７】動きベクトルの分布を示す特性曲線図である。
【図８】過去に検出された移動ベクトルとの関係により動きベクトルの分布を示す特性曲線図である。
【図９】時間的信頼度の説明に供する特性曲線図である。
【図１０】時間的信頼度の処理に供するフローチャートである。
【図１１】特徴点の変化の説明に供する特性曲線図である。
【図１２】空間的信頼度の処理に供するフローチャートである。
【図１３】静止点検出処理を示すフローチャートである。
【図１４】遮蔽の説明に供する略線図である。
【図１５】遮蔽度の説明に供する特性曲線図である。
【図１６】遮蔽対策処理を示すフローチャートである。
【図１７】位置ずれの説明に供する略線図である。
【図１８】ズレ補正処理を示すフローチャートである。
【図１９】ズレ補正処理の説明に供する略線図である。
【図２０】物体追跡装置の機能ブロック図である。
【符号の説明】
【０１６０】
１……物体追跡システム、２……信号源、３……物体追跡装置、６……中央処理ユニット、１０……処理装置
【特許請求の範囲】
【請求項１】
動画の各フレームで特徴点を検出し、この特徴点の動きベクトル検出により移動体を追跡する物体追跡方法において、
処理対象フレームの前記移動体が撮像された領域に設定された追跡対象領域に、所定個数の前記特徴点を設定する特徴点設定のステップと、
前記特徴点設定のステップにより設定された特徴点に基づいて、各フレームの画像データを順次処理する繰り返し処理ステップとを有し、
前記繰り返し処理ステップは、
前記移動体上に存在する前記特徴点の確からしさを示す信頼度を前記特徴点毎に検出する信頼度検出ステップと、
前記特徴点の次フレームへの前記動きベクトルをそれぞれ検出する動きベクトル検出ステップと、
前記動きベクトルに基づいて、前記移動体の前記次フレームへの移動ベクトルを検出する移動ベクトル検出ステップと、
前記移動ベクトル検出ステップで検出される前記移動ベクトルにより、前記追跡対象領域を移動させて、前記次フレームに前記追跡対象領域を設定すると共に、前記次フレームを続く前記繰り返し処理ステップにおける前記処理対象フレームに設定する追跡対象領域移動ステップとを有し、
前記移動ベクトル検出ステップは、
前記信頼度に応じて、信頼性の低い前記動きベクトルを処理結果に反映しないように前記動きベクトルを処理して、前記移動ベクトルを検出する
ことを特徴とする物体追跡方法。
【請求項２】
前記移動ベクトル検出ステップは、
前記信頼度の低い特徴点を削除して、該特徴点の動きベクトルを前記移動ベクトルの検出に使用しないように設定する特徴点削除ステップと、
前記特徴点削除ステップにより削除した特徴点の数だけ、続く前記繰り返し処理ステップにおける前記処理対象フレームの追跡対象領域に、前記特徴点を設定する特徴点追加設定のステップとを有する
ことを特徴とする請求項１に記載の物体追跡方法。
【請求項３】
前記移動ベクトル検出ステップは、
前記信頼度を用いた前記動きベクトルの重み付け処理により、前記移動ベクトルを検出する
ことを特徴とする請求項１に記載の物体追跡方法。
【請求項４】
前記移動ベクトル検出ステップは、
前記信頼度の低い特徴点を削除して、該特徴点の動きベクトルを前記移動ベクトルの検出に使用しないように設定する特徴点削除ステップと、
前記特徴点削除ステップにより削除した特徴点の数だけ、続く前記繰り返し処理ステップにおける前記処理対象フレームの追跡対象領域に、前記特徴点を設定する特徴点追加設定のステップとを有し、
前記信頼度が、
前記繰り返し処理ステップにおける連続した処理回数により表される特徴点の追跡回数による追跡回数信頼度である
ことを特徴とする請求項１に記載の物体追跡方法。
【請求項５】
前記信頼度が、
それまでの前記繰り返し処理ステップで検出された前記移動ベクトルと、前記動きベクトルとの間の差分ベクトルの判定による時間的信頼度である
ことを特徴とする請求項１に記載の物体追跡方法。
【請求項６】
前記信頼度が、
他の特徴点との間の距離の変化を判定し、該判定結果を集計した空間的信頼度である
ことを特徴とする請求項１に記載の物体追跡方法。
【請求項７】
前記信頼度が、
前記特徴点の位置座標の判定による、それまで繰り返し静止していた回数による静止点信頼度である
ことを特徴とする請求項１に記載の物体追跡方法。
【請求項８】
前記信頼度が、
前記特徴点のサンプリング点と、前記特徴点の近傍のサンプリング点との間でサンプリング値の差分値を判定して検出される平滑度信頼度である
ことを特徴とする請求項１に記載の物体追跡方法。
【請求項９】
前記移動ベクトル検出ステップは、
前記信頼度の低い特徴点を削除して、該特徴点の動きベクトルを前記移動ベクトルの検出に使用しないように設定する特徴点削除ステップと、
前記特徴点削除ステップにより削除した特徴点の数だけ、続く前記繰り返し処理ステップにおける前記処理対象フレームの追跡対象領域に、前記特徴点を設定する特徴点追加設定のステップとを有し、
前記信頼度検出ステップは、
前記繰り返し処理ステップにおける連続した処理回数により表される特徴点の追跡回数による追跡回数信頼度と、
それまでの前記繰り返し処理ステップで検出された前記移動ベクトルと、前記動きベクトルとの間の差分ベクトルの判定による時間的信頼度と、
他の特徴点との間の距離の変化を判定し、該判定結果を集計した空間的信頼度と、
前記特徴点の位置座標の判定による、それまで繰り返し静止していた回数による静止点信頼度と、
前記特徴点のサンプリング点と、前記特徴点の周囲のサンプリング点との間でサンプリング値の差分値を判定して検出される平滑度信頼度との全部又は一部の処理により総合の信頼度を計算し、
前記移動ベクトル検出ステップで前記移動ベクトルの検出に供する信頼度が、前記総合の信頼度である
ことを特徴とする請求項１に記載の物体追跡方法。
【請求項１０】
前記移動ベクトル検出ステップは、
前記移動体の遮蔽の程度を示す遮蔽度を検出する遮蔽度検出ステップと、
前記遮蔽度に応じた前記動きベクトルから求められる前記移動ベクトルと、過去の前記繰り返し処理ステップで検出された前記移動ベクトルとによる演算処理により、前記動きベクトルから求められる前記移動ベクトルを補正する遮蔽処理ステップとを有し、
前記繰り返し処理のステップは、
前記処理対象フレームから複数フレームだけ逆上ったフレームにおける前記追跡対象領域を用いたパターンマッチングにより、前記追跡対象領域移動ステップで設定された前記次フレームにおける前記追跡対象領域の前記移動体に対するずれを示す修正ベクトルを検出する修正ベクトル検出ステップと、
前記修正ベクトルにより、前記ずれを補正する補正ステップとを有する
ことを特徴とする請求項１に記載の物体追跡方法。
【請求項１１】
動画の各フレームで特徴点を検出し、この特徴点の動きベクトル検出により移動体を追跡する物体追跡方法のプログラムにおいて、
処理対象フレームの前記移動体が撮像された領域に設定された追跡対象領域に、所定個数の前記特徴点を設定する特徴点設定のステップと、
前記特徴点設定のステップにより設定された特徴点に基づいて、各フレームの画像データを順次処理する繰り返し処理ステップとを有し、
前記繰り返し処理ステップは、
前記移動体上に存在する前記特徴点の確からしさを示す信頼度を前記特徴点毎に検出する信頼度検出ステップと、
前記特徴点の次フレームへの前記動きベクトルをそれぞれ検出する動きベクトル検出ステップと、
前記動きベクトルに基づいて、前記移動体の前記次フレームへの移動ベクトルを検出する移動ベクトル検出ステップと、
前記移動ベクトル検出ステップで検出される前記移動ベクトルにより、前記追跡対象領域を移動させて、前記次フレームに前記追跡対象領域を設定すると共に、前記次フレームを続く前記繰り返しの処理ステップにおける前記処理対象フレームに設定する追跡対象領域移動ステップとを有し、
前記移動ベクトル検出ステップは、
前記信頼度に応じて、信頼性の低い前記動きベクトルを処理結果に反映しないように前記動きベクトルを処理して、前記移動ベクトルを検出する
ことを特徴とする物体追跡方法のプログラム。
【請求項１２】
動画の各フレームで特徴点を検出し、この特徴点の動きベクトル検出により移動体を追跡する物体追跡方法のプログラムを記録した記録媒体において、
前記物体追跡のプログラムは、
処理対象フレームの前記移動体が撮像された領域に設定された追跡対象領域に、所定個数の前記特徴点を設定する特徴点設定のステップと、
前記特徴点設定のステップにより設定された特徴点に基づいて、各フレームの画像データを順次処理する繰り返し処理ステップとを有し、
前記繰り返し処理ステップは、
前記移動体上に存在する前記特徴点の確からしさを示す信頼度を前記特徴点毎に検出する信頼度検出ステップと、
前記特徴点の次フレームへの前記動きベクトルをそれぞれ検出する動きベクトル検出ステップと、
前記動きベクトルに基づいて、前記移動体の前記次フレームへの移動ベクトルを検出する移動ベクトル検出ステップと、
前記移動ベクトル検出ステップで検出される前記移動ベクトルにより、前記追跡対象領域を移動させて、前記次フレームに前記追跡対象領域を設定すると共に、前記次フレームを続く前記繰り返しの処理ステップにおける前記処理対象フレームに設定する追跡対象領域移動ステップとを有し、
前記移動ベクトル検出ステップは、
前記信頼度に応じて、信頼性の低い前記動きベクトルを処理結果に反映しないように前記動きベクトルを処理して、前記移動ベクトルを検出する
ことを特徴とする物体追跡方法のプログラムを記録した記録媒体。
【請求項１３】
所定の繰り返し処理を繰り返すことにより、動画の各フレームで特徴的な箇所である特徴点を検出し、この特徴点の動きベクトル検出により移動体を追跡する物体追跡装置において、
処理対象フレームの前記移動体が撮像された領域に設定された追跡対象領域に、所定個数の前記特徴点を設定する特徴点設定手段と、
前記移動体上に存在する前記特徴点の確からしさを示す信頼度を前記特徴点毎に検出する信頼度検出手段と、
前記特徴点の次フレームへの前記動きベクトルをそれぞれ検出する動きベクトル検出手段と、
前記動きベクトルに基づいて、前記移動体の前記次フレームへの移動ベクトルを検出する移動ベクトル検出手段と、
前記移動ベクトル検出手段で検出される前記移動ベクトルにより、前記追跡対象領域を移動させて、前記次フレームに前記追跡対象領域を設定すると共に、前記次フレームを続く繰り返しの処理における前記処理対象フレームに設定する追跡対象領域移動手段とを有し、
前記移動ベクトル検出手段は、
前記信頼度に応じて、信頼性の低い前記動きベクトルを処理結果に反映しないように前記動きベクトルを処理して、前記移動ベクトルを検出する
ことを特徴とする物体追跡装置。
【請求項１】
動画の各フレームで特徴点を検出し、この特徴点の動きベクトル検出により移動体を追跡する物体追跡方法において、
処理対象フレームの前記移動体が撮像された領域に設定された追跡対象領域に、所定個数の前記特徴点を設定する特徴点設定のステップと、
前記特徴点設定のステップにより設定された特徴点に基づいて、各フレームの画像データを順次処理する繰り返し処理ステップとを有し、
前記繰り返し処理ステップは、
前記移動体上に存在する前記特徴点の確からしさを示す信頼度を前記特徴点毎に検出する信頼度検出ステップと、
前記特徴点の次フレームへの前記動きベクトルをそれぞれ検出する動きベクトル検出ステップと、
前記動きベクトルに基づいて、前記移動体の前記次フレームへの移動ベクトルを検出する移動ベクトル検出ステップと、
前記移動ベクトル検出ステップで検出される前記移動ベクトルにより、前記追跡対象領域を移動させて、前記次フレームに前記追跡対象領域を設定すると共に、前記次フレームを続く前記繰り返し処理ステップにおける前記処理対象フレームに設定する追跡対象領域移動ステップとを有し、
前記移動ベクトル検出ステップは、
前記信頼度に応じて、信頼性の低い前記動きベクトルを処理結果に反映しないように前記動きベクトルを処理して、前記移動ベクトルを検出する
ことを特徴とする物体追跡方法。
【請求項２】
前記移動ベクトル検出ステップは、
前記信頼度の低い特徴点を削除して、該特徴点の動きベクトルを前記移動ベクトルの検出に使用しないように設定する特徴点削除ステップと、
前記特徴点削除ステップにより削除した特徴点の数だけ、続く前記繰り返し処理ステップにおける前記処理対象フレームの追跡対象領域に、前記特徴点を設定する特徴点追加設定のステップとを有する
ことを特徴とする請求項１に記載の物体追跡方法。
【請求項３】
前記移動ベクトル検出ステップは、
前記信頼度を用いた前記動きベクトルの重み付け処理により、前記移動ベクトルを検出する
ことを特徴とする請求項１に記載の物体追跡方法。
【請求項４】
前記移動ベクトル検出ステップは、
前記信頼度の低い特徴点を削除して、該特徴点の動きベクトルを前記移動ベクトルの検出に使用しないように設定する特徴点削除ステップと、
前記特徴点削除ステップにより削除した特徴点の数だけ、続く前記繰り返し処理ステップにおける前記処理対象フレームの追跡対象領域に、前記特徴点を設定する特徴点追加設定のステップとを有し、
前記信頼度が、
前記繰り返し処理ステップにおける連続した処理回数により表される特徴点の追跡回数による追跡回数信頼度である
ことを特徴とする請求項１に記載の物体追跡方法。
【請求項５】
前記信頼度が、
それまでの前記繰り返し処理ステップで検出された前記移動ベクトルと、前記動きベクトルとの間の差分ベクトルの判定による時間的信頼度である
ことを特徴とする請求項１に記載の物体追跡方法。
【請求項６】
前記信頼度が、
他の特徴点との間の距離の変化を判定し、該判定結果を集計した空間的信頼度である
ことを特徴とする請求項１に記載の物体追跡方法。
【請求項７】
前記信頼度が、
前記特徴点の位置座標の判定による、それまで繰り返し静止していた回数による静止点信頼度である
ことを特徴とする請求項１に記載の物体追跡方法。
【請求項８】
前記信頼度が、
前記特徴点のサンプリング点と、前記特徴点の近傍のサンプリング点との間でサンプリング値の差分値を判定して検出される平滑度信頼度である
ことを特徴とする請求項１に記載の物体追跡方法。
【請求項９】
前記移動ベクトル検出ステップは、
前記信頼度の低い特徴点を削除して、該特徴点の動きベクトルを前記移動ベクトルの検出に使用しないように設定する特徴点削除ステップと、
前記特徴点削除ステップにより削除した特徴点の数だけ、続く前記繰り返し処理ステップにおける前記処理対象フレームの追跡対象領域に、前記特徴点を設定する特徴点追加設定のステップとを有し、
前記信頼度検出ステップは、
前記繰り返し処理ステップにおける連続した処理回数により表される特徴点の追跡回数による追跡回数信頼度と、
それまでの前記繰り返し処理ステップで検出された前記移動ベクトルと、前記動きベクトルとの間の差分ベクトルの判定による時間的信頼度と、
他の特徴点との間の距離の変化を判定し、該判定結果を集計した空間的信頼度と、
前記特徴点の位置座標の判定による、それまで繰り返し静止していた回数による静止点信頼度と、
前記特徴点のサンプリング点と、前記特徴点の周囲のサンプリング点との間でサンプリング値の差分値を判定して検出される平滑度信頼度との全部又は一部の処理により総合の信頼度を計算し、
前記移動ベクトル検出ステップで前記移動ベクトルの検出に供する信頼度が、前記総合の信頼度である
ことを特徴とする請求項１に記載の物体追跡方法。
【請求項１０】
前記移動ベクトル検出ステップは、
前記移動体の遮蔽の程度を示す遮蔽度を検出する遮蔽度検出ステップと、
前記遮蔽度に応じた前記動きベクトルから求められる前記移動ベクトルと、過去の前記繰り返し処理ステップで検出された前記移動ベクトルとによる演算処理により、前記動きベクトルから求められる前記移動ベクトルを補正する遮蔽処理ステップとを有し、
前記繰り返し処理のステップは、
前記処理対象フレームから複数フレームだけ逆上ったフレームにおける前記追跡対象領域を用いたパターンマッチングにより、前記追跡対象領域移動ステップで設定された前記次フレームにおける前記追跡対象領域の前記移動体に対するずれを示す修正ベクトルを検出する修正ベクトル検出ステップと、
前記修正ベクトルにより、前記ずれを補正する補正ステップとを有する
ことを特徴とする請求項１に記載の物体追跡方法。
【請求項１１】
動画の各フレームで特徴点を検出し、この特徴点の動きベクトル検出により移動体を追跡する物体追跡方法のプログラムにおいて、
処理対象フレームの前記移動体が撮像された領域に設定された追跡対象領域に、所定個数の前記特徴点を設定する特徴点設定のステップと、
前記特徴点設定のステップにより設定された特徴点に基づいて、各フレームの画像データを順次処理する繰り返し処理ステップとを有し、
前記繰り返し処理ステップは、
前記移動体上に存在する前記特徴点の確からしさを示す信頼度を前記特徴点毎に検出する信頼度検出ステップと、
前記特徴点の次フレームへの前記動きベクトルをそれぞれ検出する動きベクトル検出ステップと、
前記動きベクトルに基づいて、前記移動体の前記次フレームへの移動ベクトルを検出する移動ベクトル検出ステップと、
前記移動ベクトル検出ステップで検出される前記移動ベクトルにより、前記追跡対象領域を移動させて、前記次フレームに前記追跡対象領域を設定すると共に、前記次フレームを続く前記繰り返しの処理ステップにおける前記処理対象フレームに設定する追跡対象領域移動ステップとを有し、
前記移動ベクトル検出ステップは、
前記信頼度に応じて、信頼性の低い前記動きベクトルを処理結果に反映しないように前記動きベクトルを処理して、前記移動ベクトルを検出する
ことを特徴とする物体追跡方法のプログラム。
【請求項１２】
動画の各フレームで特徴点を検出し、この特徴点の動きベクトル検出により移動体を追跡する物体追跡方法のプログラムを記録した記録媒体において、
前記物体追跡のプログラムは、
処理対象フレームの前記移動体が撮像された領域に設定された追跡対象領域に、所定個数の前記特徴点を設定する特徴点設定のステップと、
前記特徴点設定のステップにより設定された特徴点に基づいて、各フレームの画像データを順次処理する繰り返し処理ステップとを有し、
前記繰り返し処理ステップは、
前記移動体上に存在する前記特徴点の確からしさを示す信頼度を前記特徴点毎に検出する信頼度検出ステップと、
前記特徴点の次フレームへの前記動きベクトルをそれぞれ検出する動きベクトル検出ステップと、
前記動きベクトルに基づいて、前記移動体の前記次フレームへの移動ベクトルを検出する移動ベクトル検出ステップと、
前記移動ベクトル検出ステップで検出される前記移動ベクトルにより、前記追跡対象領域を移動させて、前記次フレームに前記追跡対象領域を設定すると共に、前記次フレームを続く前記繰り返しの処理ステップにおける前記処理対象フレームに設定する追跡対象領域移動ステップとを有し、
前記移動ベクトル検出ステップは、
前記信頼度に応じて、信頼性の低い前記動きベクトルを処理結果に反映しないように前記動きベクトルを処理して、前記移動ベクトルを検出する
ことを特徴とする物体追跡方法のプログラムを記録した記録媒体。
【請求項１３】
所定の繰り返し処理を繰り返すことにより、動画の各フレームで特徴的な箇所である特徴点を検出し、この特徴点の動きベクトル検出により移動体を追跡する物体追跡装置において、
処理対象フレームの前記移動体が撮像された領域に設定された追跡対象領域に、所定個数の前記特徴点を設定する特徴点設定手段と、
前記移動体上に存在する前記特徴点の確からしさを示す信頼度を前記特徴点毎に検出する信頼度検出手段と、
前記特徴点の次フレームへの前記動きベクトルをそれぞれ検出する動きベクトル検出手段と、
前記動きベクトルに基づいて、前記移動体の前記次フレームへの移動ベクトルを検出する移動ベクトル検出手段と、
前記移動ベクトル検出手段で検出される前記移動ベクトルにより、前記追跡対象領域を移動させて、前記次フレームに前記追跡対象領域を設定すると共に、前記次フレームを続く繰り返しの処理における前記処理対象フレームに設定する追跡対象領域移動手段とを有し、
前記移動ベクトル検出手段は、
前記信頼度に応じて、信頼性の低い前記動きベクトルを処理結果に反映しないように前記動きベクトルを処理して、前記移動ベクトルを検出する
ことを特徴とする物体追跡装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２００６−３１８３４５（Ｐ２００６−３１８３４５Ａ）
【公開日】平成１８年１１月２４日（２００６．１１．２４）
【国際特許分類】
【出願番号】特願２００５−１４２２７２（Ｐ２００５−１４２２７２）
【出願日】平成１７年５月１６日（２００５．５．１６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１８年１１月２４日（２００６．１１．２４）
【国際特許分類】
【出願日】平成１７年５月１６日（２００５．５．１６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]