自動追尾装置
【課題】追尾対象をより精度良く追尾して撮像する。
【解決手段】処理部２は、カメラ１により撮像された画像に基づいて追尾対象を追跡する追跡処理を行う追跡処理手段と、その追跡処理の結果に応じてカメラ１が追尾対象を追尾するように、カメラ１のパン、チルト及びズームを制御する制御手段と、を含む。前記追跡処理手段は、カメラ１により撮像された画像に基づいて、画素の位置を状態とした複数のパーティクルによるパーティクルフィルタによって、前記追尾対象の位置を推定する位置推定手段を含む。前記パーティクルフィルタは、前記各パーティクルに関して、画素に関する１つ以上の特徴量に基づいて当該画素が追尾対象画素であるか背景画素であるかを識別するように構築されたAdaBoost識別器の応答値であって、当該パーティクルの位置の画素に関する前記特徴量による応答値から、算出した尤度を用いる。
【解決手段】処理部２は、カメラ１により撮像された画像に基づいて追尾対象を追跡する追跡処理を行う追跡処理手段と、その追跡処理の結果に応じてカメラ１が追尾対象を追尾するように、カメラ１のパン、チルト及びズームを制御する制御手段と、を含む。前記追跡処理手段は、カメラ１により撮像された画像に基づいて、画素の位置を状態とした複数のパーティクルによるパーティクルフィルタによって、前記追尾対象の位置を推定する位置推定手段を含む。前記パーティクルフィルタは、前記各パーティクルに関して、画素に関する１つ以上の特徴量に基づいて当該画素が追尾対象画素であるか背景画素であるかを識別するように構築されたAdaBoost識別器の応答値であって、当該パーティクルの位置の画素に関する前記特徴量による応答値から、算出した尤度を用いる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パン、チルト及びズームの制御が可能なカメラを用いて、追尾対象を自動追尾して撮像する自動追尾装置に関するものである。
【背景技術】
【０００２】
従来から、このような自動追尾装置として、例えば、下記特許文献１に開示されている自動追尾装置が提案されている。この自動追尾装置は、テレビジョンカメラからの映像信号を入力すると共に映像信号を表示部に出力する画像入出力部と、画像入出力部よりの映像信号の前処理を行う画像処理部と、画像処理部を介し入力される参照画像データ及び探索画像データの相関値を求め探索画像上で最も相関性の高い位置を検出する相関演算部と、相関演算部よりの信号に基づいて前記テレビジョンカメラの旋回装置及びズームレンズを駆動制御すると共に前記各部を制御する中央演算処理部とからなるものである。
【特許文献１】特開平１１−１８７３８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、前記従来の自動追尾装置では、相関演算を用いて追尾対象の位置を求めているので、追尾対象の大きさや形状の変化に弱く、オクルージョン（隠蔽）の影響やカメラ制御による画像変動の影響も受け易く、このため、追尾対象を精度良く追尾することができなかった。
【０００４】
本発明は、このような事情に鑑みてなされたもので、追尾対象をより精度良く追尾して撮像することができる自動追尾装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記課題を解決するための手段として、以下の各態様を提示する。第１の態様による自動追尾装置は、パン、チルト及びズームの制御が可能なカメラと、前記カメラにより撮像された画像に基づいて、追尾対象を追跡する追跡処理を行う追跡処理手段と、前記追跡処理手段による前記追跡処理の結果に応じて前記カメラが前記追尾対象を追尾して撮像するように、前記カメラのパン、チルト及びズームを制御する制御手段と、を備えたものである。前記追跡処理手段は、前記カメラにより撮像された画像に基づいて、画素の位置を状態とした複数のパーティクルによるパーティクルフィルタによって、追跡結果の一部として前記追尾対象の位置を推定する位置推定手段を含む。そして、前記パーティクルフィルタは、前記各パーティクルに関して、画素に関する１つ以上の特徴量に基づいて当該画素が追尾対象画素であるか背景画素であるかを識別するように構築されたAdaBoost識別器の応答値であって、当該パーティクルの位置の画素に関する前記１つ以上の特徴量による応答値から、算出した尤度を用いるものである。
【０００６】
この第１の態様によれば、前記パーティクルフィルタにより追尾対象の位置を推定するので、相関演算とは異なり、複数の解の候補（複数のパーティクル）を持つので追跡失敗から回復する可能性が高くなり、オクルージョンや複雑な背景などに対して強く、より精度良く追跡処理を行うことができ、ひいては、追尾対象をより精度良く追尾して撮像することができる。なお、決定論的手法（例えば、テンプレートマッチングなど）では、解を一意に決定するため追跡失敗から回復できない。また、前記第１の態様によれば、AdaBoost識別器により追尾対象画素と背景画素とが識別され、前記パーティクルフィルタがAdaBoost識別器の応答値から算出した尤度を用いるものであるため、追尾対象以外の背景の形状や大きさや色や明暗変化などの背景の変化の影響を受け難くなり、この点からも、より一層精度良く追跡処理を行うことができ、ひいては、追尾対象をより一層精度良く追尾して撮像することができる。
【０００７】
第２の態様による自動追尾装置は、前記第１の態様において、前記位置推定手段は、前記追尾対象の位置を、前記複数のパーティクルの状態である画素位置の、前記尤度を用いた重み付け平均値として推定するものである。この第２の態様は、追尾対象の位置の推定の具体的な手法の例を挙げたものである。
【０００８】
第３の態様による自動追尾装置は、前記第１又は第２の態様において、前記追跡処理手段は、前記複数のパーティクルのうち前記AdaBoost識別器により追尾対象画素であると識別された画素に応じたパーティクルに基づいて、追跡結果の他の一部として前記追尾対象の大きさを推定する大きさ推定手段を含むものである。
【０００９】
この第３の態様によれば、前記AdaBoost識別器により追尾対象画素であると識別された画素に応じたパーティクルに基づいて追尾対象の大きさを推定するので、追尾対象の大きさについても、オクルージョンや複雑な背景などに対して強く、より精度良く追跡処理を行うことができ、ひいては、追尾対象をより精度良く追尾して撮像することができる。
【００１０】
第４の態様による自動追尾装置は、前記第１乃至第３のいずれかの態様において、前記追跡処理手段は、前記複数のパーティクルのうち前記AdaBoost識別器により追尾対象画素であると識別された画素に応じたパーティクルのうちの、前記位置推定手段により推定された前記追尾対象の位置に対する当該パーティクルの前記尤度によって重み付けされた共分散行列を用いたマハラノビス距離が所定値以下であるパーティクルの分布状況に基づいて、前記追尾対象の大きさを推定する大きさ推定手段を、含むものである。この第４の態様は、追尾対象の大きさの推定の具体的な手法の例を挙げたものである。
【００１１】
第５の態様による自動追尾装置は、前記第１乃至第４のいずれかの態様において、前記１つ以上の特徴量は、（i）当該画素を含む局所領域の画素の所定色空間の第１乃至第３の値のうちの前記第１の値の平均値、（ii）当該画素を含む局所領域の画素の前記第１の値の分散値、（iii）当該画素を含む局所領域の画素の前記第２の値の平均値、（iv）当該画素を含む局所領域の画素の前記第２の値の分散値、（v）当該画素を含む局所領域の画素の前記第３の値の平均値、（vi）当該画素を含む局所領域の画素の前記第３の値の分散値、（vii）当該画素を含む局所領域におけるエッジ方向ヒストグラム、及び、（viii）当該画素を含む局所領域におけるローカルバイナリーパターンのヒストグラム、のうちの少なくとも１つを含むものである。なお、前記所定色空間としては、ＣＩＥ１９７６Ｌ＊ｕ＊ｖ＊色空間を挙げることができるが、必ずしもこれに限定されるものではない。
【００１２】
この第５の態様は、特徴量の具体例を挙げたものである。例えば、前記１つ以上の特徴量として、（i）〜（vi）のみを採用してもよいが、その場合に比べて、（i）〜（vii）のみを採用する場合や、（i）〜（vi），（viii）のみを採用する場合や、（i）〜（viii）を採用する場合の方が、追跡性能が高まるので、好ましい。特に、それらの場合のうち、前記１つ以上の特徴量として（i）〜（viii）を採用する場合には、最も追跡性能が高まることが実験的に確認された。
【００１３】
第６の態様による自動追尾装置は、前記第１乃至第５のいずれかの態様において、前記複数のパーティクルのうちの所定のパーティクルを追尾対象画素用の学習サンプルとするとともに、前記複数のパーティクルのうちの他の所定のパーティクルを背景画素用の学習サンプルとして、前記AdaBoost識別器を更新させる更新手段を備えたものである。
【００１４】
この第６の態様によれば、AdaBoost識別器を更新させるので、追尾対象の見え方の変化や環境（照明及び日照条件など）の変化に対応することができ、これにより、AdaBoost識別器による追尾対象画素であるか背景画素であるかの識別の精度が高まる。したがって、この第６の態様によれば、より一層精度良く追跡処理を行うことができ、ひいては、追尾対象をより一層精度良く追尾して撮像することができる。
【００１５】
第７の態様による自動追尾装置は、前記第１乃至第６のいずれかの態様において、前記複数のパーティクルの前記尤度の空間的な重み付け平均値を算出する算出手段と、前記空間的な重み付け平均値が所定値以上であるか否かを判定する判定手段とを備えたものである。
【００１６】
前記空間的な重み付け平均値は、追跡結果の信頼度を示すものとなり得る。前記空間的な重み付け平均値が大きければ、追跡結果の信頼度が高い一方、追跡結果の信頼度が低いと考えられる。前記第７の態様によれば、前記空間的な重み付け平均値を算出し、その値が所定値以上であるか否かを判定しているので、結局、追跡が成功しているか失敗したかを判定することができる。したがって、その判定結果を利用することで、追跡に失敗しているのにその誤った追跡結果に基づいてカメラの制御が継続されてしまうような事態を、回避することができる。
【００１７】
第８の態様による自動追尾装置は、前記第１乃至第７のいずれかの態様において、前記制御手段は、前記追跡処理手段による前記追跡処理の結果に基づいて現在から所定時間経過後の追尾対象の位置及び大きさを予測する予測手段を含み、前記制御手段は、前記予測手段による予測結果に応じて、前記カメラに対する現在のパン、チルト及びズームの制御状態を修正して前記カメラのパン、チルト及びズームを制御するものである。
【００１８】
この第８の態様によれば、予測制御が導入されているので、例えば、カメラが制御指令に対して応答してその指令状態になるまでの動作時間が画像処理時間に比べて長い場合であっても、追尾対象の急な動きの変化などにも対応することができ、追尾対象をより精度良く追尾して撮像することができる。なお、カメラのパン、チルト、ズームの制御速度があまりに速過ぎると、追尾対象を監視者が目で追う際に、カメラのパン、チルト、ズームの変化があまりに急激になってしまい、監視者に不快感を与えてしまい監視に適さなくなってしまうが、カメラとして制御速度が比較的遅いものを使用することができるので、カメラのパン、チルト、ズームの変化をスムーズにして監視により適した追尾を実現することができる。
【００１９】
第９の態様による自動追尾装置は、前記第８の態様において、前記予測手段は、カルマンフィルタにより、現在から所定時間経過後の追尾対象の位置及び大きさを予測するものである。この第９の態様では、カルマンフィルタが用いられているので、追尾対象の位置及び大きさを精度良く予測することができ、ひいては、追尾対象をより精度良く追尾して撮像することができる。もっとも、前記第８の態様では、予測手段はカルマンフィルタを用いたものに限定されるものではない。
【発明の効果】
【００２０】
本発明によれば、追尾対象をより精度良く追尾して撮像することができる自動追尾装置を提供することができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明による自動追尾装置について、図面を参照して説明する。
【００２２】
図１は、本発明の一実施の形態による自動追尾装置を模式的に示すブロック図である。本実施の形態による自動追尾装置は、図１に示すように、パン、チルト及びズームの制御が可能なカメラ１と、処理部２と、分配器３と、表示・記録制御部４と、液晶パネル等の表示部５と、記録部６とを備えている。
【００２３】
カメラ１は、カメラ本体１ａと、カメラ本体１ａに装着され処理部２からのズームを制御する制御信号に応じて倍率を設定するズームレンズ１ｂと、カメラ本体１ａが搭載され処理部２からのパン及びチルトを制御する制御信号に応じてカメラ本体１ａのパン及びチルトを設定する回転台１ｃとを有している。
【００２４】
分配器３は、カメラ１からの画像信号を、処理部２と表示・記録制御部４とに分配して供給する。画像処理部２は、分配器３を介して供給されたカメラからの画像信号に基づいて、カメラ１により撮像された画像を処理して、カメラ１が侵入者又は侵入物体等の追尾対象１０（後述する図２参照）を自動追尾して撮像するように、カメラ１のパン、チルト及びズームを制御する。表示・記録制御部４は、分配器３を介して供給されたカメラからの画像信号が示す画像を、表示部５に表示させたり記録部６に記録させたりする。監視者は、表示部５に表示された画像を監視することができる。なお、監視者が画像を監視しないような場合は、分配器３を設けずに、カメラ１からの画像信号を処理部２に直接入力させてもよい。
【００２５】
図２は、カメラ１による追尾対象１０の追尾の様子の例を模式的に示す図である。図２では、侵入者等の追尾対象１０を追尾して、カメラ１の視野が変化している様子を示している。なお、実際には、追尾対象１０の移動に伴い、回転台１ｃのパン及びチルトが変化することでカメラ１の視野の向きが変化するとともにズームレンズ１ｂが作動することでカメラ１の視野が拡大・縮小するが、図２では、カメラ１の各部の図示は省略しカメラ１の視野のみを模式的に示している。
【００２６】
次に、本実施の形態による自動追尾装置の処理部２の動作の一例について、図３乃至図１５を参照して説明する。図３は、処理部２の動作の一例を示す概略フローチャートである。図４は、図３中の追尾対象検知処理（ステップＳ２）を詳細に示すフローチャートである。図８は、図３中の追跡処理（ステップＳ５）を詳細に示すフローチャートである。図１１は、図８中の識別器の更新処理（ステップＳ２１８）を詳細に示すフローチャートである。図１２乃至図１５は、図３中のカメラ制御処理（ステップ７）を詳細に示すフローチャートである。なお、図５乃至図７、図９及び図１０については、後に説明する。
【００２７】
図３に示すように、処理部２は、動作を開始すると、まず、カメラ１をプリセット状態にする（ステップＳ１）。すなわち、処理部２は、カメラ１のパン、チルト及びズームを予め定められたパン、チルト及びズームにする。
【００２８】
次に、処理部２は、プリセットされた状態、つまり、カメラ１のパン、チルト、ズームが固定の状態で、追尾対象を検知（動体検知）する追尾対象検知処理を行う（ステップＳ２）。この検知は、一般的に用いられている手法（図４中のＳ１０１〜Ｓ１１２）を適用する他に、レーザーレーダなどの他のセンシングデバイスによって行ってもよいし、画面上に表示された人物を監視者が指定手段としてのマウス等のポインティングデバイスによって指定することによって行ってもよい。
【００２９】
ここで、図４を参照して、追尾対象検知処理（ステップＳ２）の一例について説明する。なお、図３中の追尾対象検知処理（ステップＳ２）は、図４に示す例に限定されるものではない。
【００３０】
追尾対象検知処理（ステップＳ２）を開始すると、図４に示すように、処理部２は、まず、カメラ１が撮像した２枚の連続する画像をサンプリングし（ステップＳ１０１，Ｓ１０２）、それらの画像の差分画像（フレーム間差分画像）を生成する（ステップＳ１０３）。
【００３１】
次いで、処理部２は、ステップＳ１０３で生成した差分画像を２値化する（ステップＳ１０４）。この２値化に用いる閾値は、固定閾値でもよいし、判別分析法に代表されるような可変閾値でもよい。
【００３２】
引き続いて、処理部２は、ステップＳ１０４で２値化された画像をラベリングする（ステップＳ１０５）。そして、処理部２は、ラベリングされたものがあるか否かを判定し（ステップＳ１０６）、ラベリングされたものがなければステップＳ１１２へ移行する一方、ラベリングされたものがあれば、ステップＳ１０７へ移行する。
【００３３】
ステップＳ１０７において、処理部２は、ラベリングされたもの全てについてそれぞれ特徴量を取得する（ステップＳ１０７，Ｓ１０８）。ここでいう特徴量は、例えば面積や円形度など、追尾対象１０を正確に検出するために必要なものである。
【００３４】
その後、処理部２は、ステップＳ１０７で取得した全てのラベルの特徴量から、追尾対象１０の候補となるものが存在するか否かを判定する（ステップＳ１０９）。存在しなければステップＳ１１２へ移行する一方、存在すればステップＳ１１０へ移行する。
【００３５】
ステップＳ１１０において、処理部２は、追尾対象１０の候補のうちから追尾対象１０を決定する。このとき、追尾対象１０の候補が１つであればそれを追尾対象１０として決定し、追尾対象１０の候補が複数存在すれば、所定の判断基準によって１つに絞り込んで、それを追尾対象１０として決定する。
【００３６】
ステップＳ１１１の後に、処理部２は、追尾対象１０が検知されたか否かを示す追尾対象検知フラグを１（１は、追尾対象１０が検知されたこと示す。）にセットし（ステップＳ１１１）、追尾対象検知処理（ステップＳ２）を終了して、図３中のステップＳ３へ移行する。
【００３７】
ステップＳ１１２において、処理部２は、追尾対象検知フラグを０（０は、追尾対象１０が検知されなかったこと示す。）にセットする。その後、追尾対象検知処理（ステップＳ２）を終了して、図３中のステップＳ３へ移行する。
【００３８】
再び図３を参照すると、ステップＳ３において、処理部２は、ステップＳ２で追尾対象１０が検知されたか否かを判定する。この判定は、前記追尾対象検知フラグが１であるか０であるかによって行う。追尾対象１０が検知された場合（追尾対象検知フラグが１の場合）は、ステップＳ４へ移行する一方、追尾対象１０が検知されなかった場合（追尾対象検知フラグが０の場合）は、ステップＳ２へ戻り、追尾対象検知処理（ステップＳ２）を繰り返す。
【００３９】
図５は、カメラ１により撮像された画像、その画像から追尾対象検知処理（ステップＳ２）により検出された（あるいは、監視者がポインティングデバイスによって指定された）追尾対象領域（追尾対象１０の領域）、及び、その追尾対象領域に応じて設定された背景領域の例を、示す図である。図５に示す例では、人物の全身をちょうど囲む内側の矩形の領域が追尾対象領域となっている。内側の矩形と外側の矩形との間の領域が後述するステップＳ４で着目する背景領域である。背景領域の外形（外側の矩形）は、例えば、追尾対象領域の外形（内側の矩形）と同心でかつ追尾対象領域の外形（内側の矩形）を横方向（ｘ方向）及び縦方向（ｙ方向）にそれぞれ所定倍率で拡大したものとして、設定される。
【００４０】
ステップＳ４において、処理部２は、AdaBoost識別器を構築する処理（初期学習）を、初期化処理として行う。この初期化処理では、処理部２は、追尾対象検知処理（ステップＳ２）により検出された図５に示すような追尾対象領域及び背景領域に基づいて、AdaBoost識別器を、画素に関する１つ以上の特徴量としての特徴ベクトルｖに基づいて当該画素が追尾対象画素であるか背景画素であるかを識別するように構築する処理を行う。以下の説明では、追尾対象領域の符号をＲｔａｒｇｅｔとし、背景領域の符号をＲｂａｃｋとする。
【００４１】
この初期化処理（ステップＳ４）では、追尾対象領域Ｒｔａｒｇｅｔと背景領域Ｒｂａｃｋから、追尾対象を表すポジティブサンプル及び背景を表すネガティブサンプルを以下のように取得する。
【００４２】
【数１】
【００４３】
ただし、数１において、ｘ１（ｉ）は位置（ｘ，ｙ）、ｌ１（ｉ）はクラスラベルである。クラスラベルｌ１（ｉ）と特徴ベクトルｖで構成される初期学習サンプル（ｖ（ｘ１（ｉ）），ｌ１（ｉ））を用いて初期のAdaBoost識別器を構築する。ここで、特徴ベクトルｖは、後で記すＬｕｖ画素値の平均値・分散値、ＥＯＨ、ＬＢＰのヒストグラムをすべて用いた特徴ベクトルとする。また、本実施の形態では、AdaBoost識別器の学習アルゴリズムは、Gentle AdaBoostアルゴリズムを用いる。もっとも、本発明では、AdaBoost識別器の学習アルゴリズムは、Gentle AdaBoostアルゴリズムに限定されるものではない。
【００４４】
Gentle AdaBoostアルゴリズムは、文献『J. Friedman, T. Hastie, and R. Tibshirani, “Additive Logistic Regression: a Statistical View of Boosting”, technical report, Department of Statistics, Stanford University, 1998』に記載されているように公知であり、以下の通りである。なお、Ｎはサンプルの個数、Ｍは弱識別器の個数である。
【００４５】
（１）下記の数２による学習サンプル重みｗｉの初期化、強識別器Ｆ（ｘ）の初期化
【数２】
（２）繰り返し処理（ｍ＝１，２，…，Ｍ）
（ａ）重み付き学習サンプルを用いて弱識別器ｆｍ（ｘ）の学習（重み付き最小二乗法）
（ｂ）下記の数３による弱識別器ｆｍ（ｘ）の値設定
【数３】
数３において、＾を付したＰｗは学習サンプル重みを利用した重み付き識別率を示す。
（ｃ）下記の数４による識別器の更新
【数４】
（ｄ）下記の数５による学習サンプル重みの更新
【数５】
（３）下記の数６による識別器の構築
【数６】
【００４６】
ここで、本実施の形態において、AdaBoost識別器に用いる特徴ベクトルｖについて説明する。AdaBoost識別器には、他種類の特徴量を入力することが可能である。本実施の形態では、画素に関する特徴量（特徴ベクトルｖの要素）として、Ｌｕｖの平均値及び分散値、エッジ方向ヒストグラム（ＥＯＨ、Edge Orientation Histogram）、ローカルバイナリーパターン（ＬＢＰ、Local Binary Pattern）のヒストグラムを用いる。
【００４７】
まず、Ｌｕｖの平均値及び分散値について説明する。ここでは、画素のＣＩＥ１９７６Ｌ＊ｕ＊ｖ＊色空間の３つの値であるＬ，ｕ，ｖを用いる。着目画素の特徴量の１つであるＬの平均値は、着目画素を中心に含む局所領域Ｗ（例えば、５×５画素）のＬの平均値である。着目画素の特徴量の１つであるＬの分散値は、着目画素を中心に含む局所領域Ｗ（例えば、５×５画素）のＬの分散値である。着目画素の特徴量の１つであるｕの平均値は、着目画素を中心に含む局所領域Ｗ（例えば、５×５画素）のｕの平均値である。着目画素の特徴量の１つであるｕの分散値は、着目画素を中心に含む局所領域Ｗ（例えば、５×５画素）のｕの分散値である。着目画素の特徴量の１つであるｖの平均値は、着目画素を中心に含む局所領域Ｗ（例えば、５×５画素）のｖの平均値である。着目画素の特徴量の１つであるｖの分散値は、着目画素を中心に含む局所領域Ｗ（例えば、５×５画素）のｖの分散値である。これらを数式を用いて表現すると、下記の数７及び数８のようになる。数７及び数８において、局所領域Ｗ内のＬｕｖ画素値をＩ＝（Ｌ，ｕ，ｖ）とし、その平均値を￣Ｉ＝（￣Ｌ，￣ｕ，￣ｖ）、その分散値をσｆ＝（σｌ，σｕ，σｖ）とし、Ａを局所領域Ｗ内の画素数としている。ここで、￣Ｉは上バー付きのＩを示し、￣Ｌ，￣ｕ，￣ｖも同様に上バー付きのＬ，ｕ，ｖをそれぞれ示す。
【００４８】
【数７】
【００４９】
【数８】
【００５０】
次に、エッジ方向ヒストグラム（ＥＯＨ）について説明する。着目画素の特徴量の１つであるエッジ方向ヒストグラムは、着目画素を中心に含む局所領域（例えば、５×５画素）内のエッジの方向をエッジの強度で重み付けしたヒストグラムである。局所領域内の濃淡画像をＩとしたとき、座標（ｘ，ｙ）での勾配（エッジ）画像Ｇｘ，Ｇｙは下記の数９及び数１０のように表現できる。
【００５１】
【数９】
【００５２】
【数１０】
【００５３】
数９及び数１０において、SobelｘとSobelｙはそれぞれｘ，ｙ方向のエッジを計算するための演算子である。数９及び数１０より、着目している座標（ｘ，ｙ）での勾配（エッジ）強度Ｇ（ｘ，ｙ）及びエッジの方向角θ（ｘ，ｙ）は、下記の数１１及び数１２で示す通りとなる。
【００５４】
【数１１】
【００５５】
【数１２】
【００５６】
このエッジ強度Ｇと方向角θを用いて、Ｋ個の階級数のヒストグラムを作成する。このヒストグラムがエッジ方向ヒストグラム（ＥＯＨ）である。図６は、エッジ方向ヒストグラムを示す概略図である。図６（ａ）は、局所領域（５×５画素）におけるエッジのベクトル（エッジ強度と方向角）の分布を示している。図６（ｂ）は、図６（ａ）の分布から作成した８階級のエッジ方向ヒストグラムを示している。
【００５７】
次に、ローカルバイナリーパターン（ＬＢＰ）のヒストグラムについて説明する。ローカルバイナリーパターンは、注目画素近傍での画素値の大小関係を２値パターンとしたものである。濃淡画像Ｉとして、図７のような注目画素（ｘ，ｙ）の４近傍のＬＢＰは、下記の数１３のようになる。図７は、ローカルバイナリーパターンの説明図である。
【００５８】
【数１３】
【００５９】
このＬＢＰを局所領域内で計算しヒストグラムとする。４近傍のＬＢＰは０から１５の１６種類の値をとるため１６階級のヒストグラムを作成する。本実施の形態では、着目画素の特徴量の１つであるローカルバイナリーパターンのヒストグラムは、着目画素を中心に含む局所領域内で計算したローカルバイナリーパターンのヒストグラムである。
【００６０】
以上、本実施の形態においてAdaBoost識別器で用いる画素に関する特徴量（特徴ベクトルｖの要素）について、説明した。しかしながら、本発明で用いる特徴量は、前述した特徴ベクトルｖの例に限定されるものではない。
【００６１】
再び図３を参照すると、AdaBoost識別器が構築されて初期化処理（ステップＳ４）が終了すると、ステップＳ５へ移行する。ステップＳ５において、処理部２は、カメラ１により撮像された画像に基づいて、追尾対象を追跡する追跡処理を行う。本実施の形態では、追跡処理（ステップＳ５）において、処理部２は、カメラ１により撮像された画像に基づいて、画素の位置を状態とした複数のパーティクルによるパーティクルフィルタによって、追跡結果の一部として前記追尾対象の位置を推定する。前記パーティクルフィルタは、前記各パーティクルに関して、画素に関する１つ以上の特徴量（特徴ベクトルｖ）に基づいて当該画素が追尾対象画素であるか背景画素であるかを識別するように構築された前記AdaBoost識別器の応答値であって、当該パーティクルの位置の画素に関する前記１つ以上の特徴量（特徴ベクトルｖ）による応答値から、算出した尤度を用いるものである。処理部２は、前記複数のパーティクルのうち前記AdaBoost識別器により追尾対象画素であると識別された画素に応じたパーティクルに基づいて、追跡結果の他の一部として前記追尾対象の大きさを推定する。なお、パーティクルを粒子と呼ぶ場合がある。
【００６２】
ここで、図８を参照して、追跡処理（ステップＳ５）の一例について説明する。なお、図３中の追跡処理（ステップＳ５）は、図８に示す例に限定されるものではない。
【００６３】
追跡処理（ステップＳ５）を開始すると、図８に示すように、処理部２は、まず、現在の画像をサンプリングする（ステップＳ２０１）。
【００６４】
次に、処理部２は、パーティクルフィルタの選択・予測（粒子群の選択・予測）を行う（ステップＳ２０２）。ここで、ある時刻ｔの状態ｘを持つＮ個の粒子群（パーティクル群）を｛ｓｔ（ｉ）｝ｉ＝１，…，Ｎとする。ただし、各粒子の状態ｘは、位置（ｘ，ｙ）（すなわち、画素の位置）とする。また、各粒子の尤度を｛πｔ（ｉ）｝ｉ＝１，…，Ｎとする。
【００６５】
ステップＳ２０２において、処理部２は、パーティクルフィルタの選択処理として、リサンプリング手法に基づき、前の時刻ｔ−１での（前のフレームでの）粒子群｛ｓｔ−１（ｉ）｝ｉ＝１，…，Ｎの尤度｛πｔ−１（ｉ）｝ｉ＝１，…，Ｎを用いて、新たな粒子群｛ｓ’ｔ−１（ｉ）｝ｉ＝１，…，Ｎを選択する。尤度が大きい粒子を増やし（分裂）、尤度の小さい粒子を減らす（消滅）させることにより、追尾対象のいる位置確率分布を限られた粒子数で近似することを可能にする。粒子の消滅のため粒子数が予め設定した個数Ｎに満たない場合は、対象領域及び背景領域内に新たな粒子を追加する。このステップは、追跡処理開始直後の場合（ステップＳ４からステップＳ５へ移行した場合）には、粒子の尤度が得られていないため、このプロセスは省略される。
【００６６】
ステップＳ２０２において、処理部２は、パーティクルフィルタの予測処理として、運動モデルに従って時刻ｔ−１の各粒子ｓ’ｔ−１（ｉ）を状態遷移させ時刻ｔの粒子ｓｔ（ｉ）を予測する。本実施の形態では、運動モデルとしてランダムウォークモデルを用いる。なぜなら、ここでは多くの環境を想定しており、特にパン、チルト及びズームの制御が可能なカメラ１で追尾対象を追跡する際は、追尾対象の動きを等速直線運動などで近似するのは困難なためである。下記の数１４に、ランダムウォークモデルの式を示す。
【００６７】
【数１４】
【００６８】
ただし、ｗｔ−１は、ガウスノイズである。ｗｔ−１は、ガウスイメージに従った乱数イメージとして良い。つまり、時刻ｔ−１の位置に乱数が加わって時刻ｔの位置が決まることになる。
【００６９】
なお、追跡処理開始直後の場合（ステップＳ４からステップＳ５へ移行した場合）、ステップＳ４で学習に使用したデータを数１４の時刻ｔ−１のデータとして扱い、状態を遷移させる。
【００７０】
ステップＳ２０２の後に、処理部２は、パーティクル（粒子）の番号ｎの値を１に設定する（ステップＳ２０３）。
【００７１】
次いで、処理部２は、ｎ番目の粒子の位置の画素を着目画素とし、その着目画素に関するＬｕｖ画素値の平均値・分散値を算出する（ステップＳ２０４）。その算出手法は、前述した通りである。
【００７２】
引き続いて、処理部２は、ｎ番目の粒子の位置の画素を着目画素とし、その着目画素に関するエッジ方向ヒストグラム（ＥＯＨ）を取得する（ステップＳ２０５）。その取得手法は、前述した通りである。
【００７３】
その後、処理部２は、ｎ番目の粒子の位置の画素を着目画素とし、その着目画素に関するローカルバイナリーパターン（ＬＢＰ）のヒストグラム取得する（ステップＳ２０６）。その取得手法は、前述した通りである。
【００７４】
次に、処理部２は、ｎ番目の粒子に関してステップＳ２０４〜Ｓ２０６で取得した特徴量を要素とする特徴ベクトルｖによる前記AdaBoost識別器の応答値Ｆを、下記の数１５に従って算出する（ステップＳ２０７）。応答値Ｆが正であれば、ｎ番目の粒子の位置の画素が追尾対象画素であると識別されたことを意味し、応答値Ｆが負であれば、ｎ番目の粒子の位置の画素が背景画素であると識別されたことを意味する。
【００７５】
【数１５】
【００７６】
次いで、処理部２は、ステップＳ２０７で算出された応答値Ｆから、下記の数１６に従って、ｎ番目の粒子の尤度πｔ（ｉ）を算出する（ステップＳ２０８）。数１６において、ａは定数である。この処理は、パーティクルフィルタの観測に相当している。
【００７７】
【数１６】
【００７８】
なお、尤度πｔ（ｉ）の算出式は数１６に限定されるものではない。その算出式は、応答値Ｆは−１から＋１までの値を取ることから、この区間で単調増加となる関数の式であれば良い。
【００７９】
引き続いて、処理部２は、全てのパーティクルについてステップＳ２０４〜Ｓ２０８を行って尤度πｔ（ｉ）を算出したか否かを判定する（ステップＳ２０９）。全てのパーティクルフィルタについて算出が終了していればＳ２１１へ移行する。一方、終了していなければ、粒子の番号ｎの値を１だけインクリメントした（ステップＳ２１０）後に、ステップＳ２０４へ戻る。
【００８０】
ステップＳ２１１において、処理部２は、各粒子の状態である画素位置の、ステップＳ２０８で算出した各粒子の尤度πｔ（ｉ）を用いた重み付け平均値Ｅ［Ｓｔ］を、下記の数１７に従って、状態の推定結果である追尾対象の位置（ここでは、重心位置）の推定結果（追跡結果の一部）として算出する。
【００８１】
【数１７】
【００８２】
次に、処理部２は、各パーティクル（粒子）ｓｔ（ｉ）について、ステップＳ２１１で推定結果として得た追尾対象の重心位置（￣ｘ，￣ｙ）に対する当該パーティクルｓｔ（ｉ）の前記尤度πｔ（ｉ）によって重み付けされた共分散行列を用いたマハラノビス距離Ｄｔ（ｉ）を、下記の数２２に従って算出する（ステップＳ２１２）。なお、￣ｘは上バー付きのｘを示し、￣ｙは上バー付きのｙを示している。
【００８３】
下記の数１８〜数２１に、各粒子ｓｔ（ｉ）＝ｘｔ（ｉ）＝（ｘｔ（ｉ），ｙｔ（ｉ））の重み付き共分散行列Σｔ’を示す。
【００８４】
【数１８】
【００８５】
【数１９】
【００８６】
【数２０】
【００８７】
【数２１】
【００８８】
各粒子ｓｔ（ｉ）の追尾対象の重心位置（￣ｘ，￣ｙ）に対するマハラノビス距離Ｄｔ（ｉ）は、下記の数２２のようになる。数２２において、￣ｓｔ＝￣ｘｔ＝（￣ｘｔ，￣ｙｔ）、Σｔ'-1はΣｔ’の逆行列である。
【００８９】
【数２２】
【００９０】
マハラノビス距離の等しい点を結ぶと楕円を描く。マハラノビス距離は、あるサンプルが正規分布に従うと仮定した場合，そのサンプルの信頼区間を表わすものと考えることができる．本実施の形態では、例えば、経験的にサンプルつまり重み付き粒子群を約80％含むようにマハラノビス距離Ｄ≒１．４０とする。このマハラノビス距離を用いて描いた楕円（内側の楕円）を対象楕円として、図９中に示している。図９において、外側の楕円は、全てのすべての粒子部群を含むようにマハラノビス距離Ｄ＝１０として描いたものであり、背景楕円である、図９において、白点はAdaBoost識別器の応答値Ｆが正（つまり、追尾対象と識別された）の粒子、黒点は応答値Ｆが負（つまり、背景と識別された）の粒子を表す。
【００９１】
ステップＳ２１２において各粒子ｓｔ（ｉ）についてマハラノビス距離Ｄｔ（ｉ）を算出した後、処理部２は、すべてのパーティクルｓｔ（ｉ）のうちAdaBoost識別器により追尾対象画素であると識別された画素に応じたパーティクル（すなわち、応答値Ｆが正のパーティクル）に基づいて、追尾対象の大きさを推定する（ステップＳ２１３）。本実施の形態では、処理部２は、応答値Ｆが正のパーティクルのうちの、ステップＳ２１２で算出されたマハラノビス距離Ｄｔ（ｉ）が所定値（例えば、１．４０）以下であるパーティクルの分布状況に基づいて、追尾対象の大きさを推定する。
【００９２】
本実施の形態では、具体的には、ステップＳ２１３において、処理部２は、応答値Ｆが正でかつマハラノビス距離Ｄｔ（ｉ）が所定値（例えば、１．４０）以下の粒子に絞り込む。そして、処理部は、その絞り込まれた粒子の位置（当該粒子の状態である画素位置）のｘ座標及びｙ座標について、それぞれ最大値と最小値を求める。このとき、ｘ座標の最小値をｘｓ、ｘ座標の最大値をｘｅ、ｙ座標の最小値をｙｓ、ｙ座標の最大値をｙｅ、とする。その結果から、処理部２は、追尾対象となる領域の矩形の領域を、始点が（ｘｓ，ｙｓ）で終点が（ｘｅ，ｙｅ）の矩形領域として、この領域の大きさであるとして追尾対象領域の大きさを推定する。図３中のカメラ制御処理（ステップＳ７）においてカメラ１のズームを制御する場合には、この矩形領域を示すデータを使用する。
【００９３】
次に、処理部２は、追跡結果（ステップＳ２１１で推定された追尾対象の位置とステップＳ２１３で推定された追尾対象の大きさ）の信頼度ｃｔとして、下記の数２３及び数２４に従って、全粒子の尤度の空間的な重み付け平均値を算出する（ステップＳ２１４）。ただし、数２５が成立する。数２３〜数２５において、Ｎは粒子の数、ｗｔ（ｉ）は各粒子の空間的な重み、Ｄｔ（ｉ）は各粒子の前記数２２のマハラノビス距離である。
【００９４】
【数２３】
【００９５】
【数２４】
【００９６】
【数２５】
【００９７】
前述したパーティクルフィルタでは、画像上の位置（ｘ、ｙ）を状態として扱い、その尤度は各粒子が追尾対象か背景かの確率を示すものとなっている。追尾対象は点の集合であることから、各位置の尤度の平均値を追尾対象の信頼度として扱うことも可能ではあるが、より確かな値として扱うために数２３で示される信頼度ｃｔを算出している。
【００９８】
ここでは、追尾対象の粒子は集中していると仮定をし、尤度に対して単なる平均値を算出するのではなく、数２３に示すように、空間的な重み付け平均値を算出することで信頼度ｃｔとしている。図１０はその説明図である。図１０（ａ）は、画像の左上を原点とし粒子の分布を表すものである。図１０（ｂ）は各粒子の尤度である。図１０（ｃ）は上述した空間的な重み付けであり、数２４のｗｔ（ｉ）に相当する。この図１０（ｂ）の尤度に図１０（ｃ）の各粒子の空間的重みを乗算すると、図１０（ｄ）のようになり、この積和演算の結果が今回用いている信頼度ｃｔとなる。
【００９９】
ステップＳ２１４の後、処理部２は、ステップＳ２１４において算出した信頼度ｃｔが、予め設定した閾値よりも高いか否かを判定する（ステップＳ２１５）。高ければステップＳ２１６へ移行し、高くなければステップＳ２１７へ移行する。
【０１００】
ステップＳ２１６において、処理部２は、信頼度ｃｔが閾値よりも高かった場合は、追尾が成功したと判定し、追尾結果フラグを１とする。その後、ステップＳ２１８へ移行する。
【０１０１】
ステップＳ２１７において、処理部２は、信頼度ｃｔが閾値よりも高くなかった場合は、追尾が失敗したと判定し、追尾結果フラグを０とする。その後、ステップＳ２１８へ移行する。
【０１０２】
ステップＳ２１８において、処理部２は、前記AdaBoost識別器を更新させる更新処理を行う。処理部２は、この更新処理において、ステップＳ２０２において状態が遷移され予測された時刻ｔの粒子ｓｔ（ｉ）のうちの所定のパーティクルを追尾対象画素用の学習サンプルとするとともに、時刻ｔの粒子ｓｔ（ｉ）のうちの他の所定のパーティクルを背景画素用の学習サンプルとして、前記AdaBoost識別器を更新させる。
【０１０３】
ここで、図１１を参照して、AdaBoost識別器の更新処理（ステップＳ２１８）の一例について説明する。なお、図８中のAdaBoost識別器の更新処理（ステップＳ２１８）は、図１１に示す例に限定されるものではない。
【０１０４】
AdaBoost識別器の更新処理（ステップＳ２１８）を開始すると、図１１に示すように、処理部２は、まず、追尾対象の学習サンプルと背景の学習サンプルの分類を行う（ステップＳ３０１）。具体的には、処理部２は、前述した図９に示す対象楕円（内側の楕円、マハラノビス距離Ｄ≒１．４０とした楕円）内の領域を追跡対象領域Ｒｔａｒｇｅｔとし、図９に示す背景楕円（外側の楕円、マハラノビス距離Ｄ＝１０とした楕円）と対象楕円との間の領域を背景領域Ｒｂａｃｋとする。そして、処理部２は、追跡対象領域Ｒｔａｒｇｅｔ中で、AdaBoost識別器の応答値Ｆが正の粒子を対象の学習に使用するポジティブサンプル、背景領域Ｒｂａｃｋの中のすべての粒子を背景の学習に使用するネガティブサンプルとする。これを数式で表現すると、下記の数２６の上段がポジティブサンプル、下段がネガティブサンプルとなる。
【０１０５】
【数２６】
【０１０６】
次に、処理部２は、ステップＳ３０１で分類された各サンプルについて、学習サンプルの重みを算出する（ステップＳ３０２）。このとき、ポジティブサンプルの重みは下記の数２７の上段によって算出し、ネガティブサンプルの重みは下記の数２７の下段によって算出する。
【０１０７】
【数２７】
【０１０８】
数２７において、Ｆ(ｖ(ｓｔ（ｉ）))は粒子ｓｔ（ｉ）に対するAdaBoost識別器の応答値、Ｄｔ（ｉ）は各粒子の前記数２２のマハラノビス距離である。
【０１０９】
引き続いて、処理部２は、全てのサンプルについて重みを算出したかを否かを判定する（ステップＳ３０３）。算出されていればステップＳ３０４へ移行し、算出されていなければＳ３０２へ戻る。
【０１１０】
ステップＳ３０４において、処理部２は、ステップＳ３０２で新たに算出された重みを使い、ステップＳ４と同様の学習（再学習）を行い、識別器を作成する。
【０１１１】
次に、処理部２は、新たに学習した識別器と既存の識別器とを統合することにより識別器を更新する（ステップＳ３０５）。過剰更新を防ぐため、本実施の形態では、初期化時ｔ＝１に学習された強識別器Ｆ１（ｖ）と、ｔ＞１において逐次更新により学習された識別器Ｆｔ（ｖ）とを統合する。下記の数２８及び数２９に、Ｆ１（ｖ）、Ｆｔ（ｖ）の式を示す。
【０１１２】
【数２８】
【０１１３】
【数２９】
【０１１４】
ただし、ｆ１，ｍ（ｖ）はｔ＝１における弱識別器、Ｍは弱識別器の数、ｆｔ（ｖ）はｔ＞１における弱識別器、Ｔは更新弱識別器の履歴数、Ｋは更新する弱識別器の数、ｃｔは追尾対象の信頼度である。初期化時の識別器Ｆ１（ｖ）、追加学習により得られた識別器Ｆｔ（ｖ）を下記の数３０のように統合し識別器Ｆ（ｖ）を更新する。
【０１１５】
【数３０】
【０１１６】
ただし、β１，βｔはそれぞれ初期識別器Ｆ１（ｖ）と、追加学習された識別器Ｆｔ（ｖ）の学習サンプルにおける誤識別率に基づく重みであり、下記の数３１〜数３３のように定義する。
【０１１７】
【数３１】
【０１１８】
【数３２】
【０１１９】
【数３３】
【０１２０】
ここで、ｅ１，ｅｔは、それぞれ初期化時ｔ＝１の識別器Ｆ１（ｖ）とｔ＞１で追加学習された識別器Ｆｔ（ｖ）の学習サンプルに対する重み付き誤識別率である。つまり、ｅｔはステップＳ３０５で算出された値となる。
【０１２１】
ステップＳ３０５が終了すると、図８中の識別器の更新処理（ステップＳ２１８）が終了し、図３中のステップＳ６へ移行する。
【０１２２】
再び図３を参照すると、ステップＳ６において、処理部２は、現在の追跡結果フラグが１であるか否かを判定することで、ステップＳ５の追跡処理による追跡が成功したか否かを判定する。追跡が成功であれば（追跡結果フラグが１であれば）、ステップＳ７へ移行する。一方、追跡が失敗であれば（追跡結果フラグが０であれば）、ステップＳ８へ移行する。ステップＳ８において、処理部２は、追追跡の失敗の状態が一定時間継続しているか否かを判定する。一定時間継続していない場合は、追跡処理（ステップＳ５）に戻り、その処理を繰り返す。一定時間継続している場合は、追跡処理が成功する見込みがないものとみなして、ステップＳ１（プリセット状態）に戻る。
【０１２３】
ステップＳ６において追跡が成功である（追跡結果フラグが１である）と判定されると、処理部２は、追跡処理（ステップＳ５）で得た追跡結果、すなわち、図８中のステップＳ２１１で推定された追尾対象の位置及び図８中のステップＳ２１３で推定された追尾対象の大きさに応じて、カメラ１が追尾対象を追尾するように、カメラ１のパン、チルト及びズームを制御するカメラ制御処理を行う。このカメラ制御処理において、処理部２は、前記追跡結果に基づいて現在から所定時間経過後（ｎｆフレーム後）の追尾対象の位置及び大きさを予測し、その予測結果に応じて、カメラ１に対する現在のパン、チルト及びズームの制御状態を修正してカメラ１のパン、チルト及びズームを制御する。ここで、本実施の形態では、追尾対象の位置及び大きさを予測は、カルマンフィルタにより行う。
【０１２４】
ここで、図１２乃至図１５を参照して、カメラ制御処理（ステップＳ７）の一例について説明する。なお、図３中のカメラ制御処理（ステップＳ７）は、図１２乃至図１５に示す例に限定されるものではない。
【０１２５】
カメラ制御処理（ステップＳ７）を開始すると、図１２に示すように、処理部２は、まず、処理部２は、カメラ制御処理において用いる情報として、追跡結果（図８中のステップＳ２１１で推定された追尾対象の位置及び図８中のステップＳ２１３で推定された追尾対象の大きさ）を取得する（ステップＳ５０１）。なお、この追跡結果は処理部２がそもそも有しているので、本来はその取得動作は不要であるが、ここでは理解を容易にするため、このステップＳ５０１を挿入している。
【０１２６】
次に、処理部２は、現在のカメラ１のパン、チルト、ズームのそれぞれの制御状態を示す情報として、パン制御フラグ、チルト制御フラグ、ズーム制御フラグを取得する（ステップＳ５０２）。本実施の形態では、カメラ１は、パン、チルト、ズームのそれぞれについて、処理部２から制御指令受けてからその制御動作を行ってその制御動作が完了すると制御完了信号を処理部２に返すようになっている。処理部２は、カメラ１にパン制御指令を与えるときにパン制御フラグを１にセットし、カメラ１からパン制御完了信号を受けたときに割り込み処理でパン制御フラグを０にリセットする。また、処理部２は、カメラ１にチルト制御指令を与えるときにチルト制御フラグを１にセットし、カメラ１からチルト制御完了信号を受けたときに割り込み処理でチルト制御フラグを０にリセットする。さらに、処理部２は、カメラ１にズーム制御指令を与えるときにズーム制御フラグを１にセットし、カメラ１からズーム制御完了信号を受けたときに割り込み処理でズーム制御フラグを０にリセットする。このように、パン、チルト、ズームのそれぞれの制御フラグは、１であれば対応する動作が制御中であることを示し、０であれば対応する動作が停止中であることを示す。以上の説明からわかるように、パン制御フラグ、チルト制御フラグ、ズーム制御フラグは処理部２がそもそも有しているので、本来はその取得動作は不要であるが、ここでは理解を容易にするため、このステップＳ５０２を挿入している。
【０１２７】
次に、処理部２は、全ての制御フラグ（パン制御フラグ、チルト制御フラグ、ズーム制御フラグ）が０であるか否かを判定し（ステップＳ５０３）、全ての制御フラグが０であればステップＳ５１９へ移行し、いずれか１つ以上の制御フラグが１であればステップＳ５０４へ移行する。
【０１２８】
ステップＳ５０４において、処理部２は、ステップＳ５０１で取得した追跡結果（特に、追尾対象の位置）が、前のフレームで取得した追跡結果（特に、追尾対象の位置）に比較して、画像中央から遠ざかっているかどうかを判定する。遠ざかっている場合はステップＳ５０６へ移行し、近づいている場合はステップＳ５０５へ移行する。
【０１２９】
画像中央から遠ざかっている場合は、前のフレームからの制御が適していないと判断し、処理部２は、ステップＳ５０６においてパン、チルト、ズームいずれの制御フラグも０にリセットし、さらに、カメラ制御を停止させる（ステップＳ５０７）。
【０１３０】
ステップＳ５０５において、処理部２は、ステップＳ５０１で取得した追跡結果に基づいて、それまでの追尾対象の進行方向や大きさの変化の方向（だんだん拡大していくのか、だんだん縮小していくのか）が変わってしまったかどうかを判定する。進行方向及び大きさの変化共に変化がなければステップＳ５０８へ移行し、いずれかが変化している場合はステップＳ５０６へ移行する。
【０１３１】
ステップＳ５０８において、処理部２は、ズーム制御フラグが１であるか否かを判定することで、現在、ズーム制御の途中であるか否かを判定する。ズーム制御中であればステップＳ５０９へ移行し、ズーム制御中でなければステップＳ５１１に移行する。
【０１３２】
ステップＳ５０９において、処理部２は、ステップＳ５０１で取得した追跡結果が、既に予め設定しておいた目標とする大きさの範囲に達しているかどうかを判定する。達している場合はＳ５１０へ移行し、達していない場合はステップＳ５１１へ移行する。
【０１３３】
ステップＳ５１０において、処理部２は、ズームの制御フラグを０にする。これは、予め設定しておいた目標とする大きさの範囲に達しているため、その時点でズーム制御をストップさせることが好ましいためである。
【０１３４】
ステップＳ５１１において、処理部２は、パン制御フラグが１であるか否かを判定することで、現在、パン制御の途中であるか否かを判定する。パン制御中であればステップＳ５１２へ移行し、パン制御中でなければステップＳ５１４へ移行する。
【０１３５】
ステップＳ５１２において、処理部２は、ステップＳ５０１で取得した追跡結果が、既に予め設定しておいた目標とする水平方向の位置の範囲に達しているか否かを判定する。達している場合はステップＳ５１３へ移行し、達していない場合はＳ５１４へ移行する。
【０１３６】
ステップＳ５１３において、処理部２は、パンの制御フラグを０にする。これは、予め設定しておいた目標とする水平方向の位置の範囲に達しているため、その時点でパン制御をストップさせることが好ましいためである。
【０１３７】
ステップＳ５１４において、チルト制御フラグが１であるか否かを判定することで、現在、チルト制御の途中であるか否かを判定する。チルト制御中であればステップＳ５１５へ移行し、チルト制御中でなければＳ５１７へ移行する。
【０１３８】
ステップＳ５１５において、処理部２は、Ｓ５０１で取得した追跡結果が、既に予め設定しておいた目標とする垂直方向の位置の範囲に達しているか否かを判定する。達している場合はＳ５１６へ移行し、達していない場合はＳ５１７へ移行する。
【０１３９】
ステップＳ５１６において、処理部２は、チルトの制御フラグを０にする。これは、予め設定しておいた目標とする垂直方向の位置の範囲に達しているため、その時点でチルト制御をストップさせることが好ましいためである。
【０１４０】
ステップＳ５１７において、処理部２は、パン制御フラグ、チルト制御フラグ、ズーム制御フラグのいずれかに変更があったか否かを判定する。ステップＳ５１０、Ｓ５１３、Ｓ５１６のいずれかを行った場合はＳ５１８へ移行し、いずれも行わなかった場合はそのまま制御を続行させるためＳ５１９へ移行する。
【０１４１】
ステップＳ５１８において、処理部２は、制御を変更する。これは、ステップＳ５１８に到達するということは、その前の予測によるカメラ１のパン、チルト、ズームの制御と実際の追尾対象の動きに違いが生じていることを示すことになるためである。
【０１４２】
ステップＳ５１９において、処理部２は、カメラ１から、現在のカメラ１の姿勢（パン、チルト、ズームの位置）を取得する。
【０１４３】
次に、処理部２は、ステップＳ５０１で取得した追跡結果と、その前の追跡処理の結果から、ｎｆフレーム後の追尾対象の位置と大きさを予測する（ステップＳ５２０）。ｎｆフレーム後とは、例えば、ＮＴＳＣの信号の場合、（ｎｆ／３０）秒後に相当する。
【０１４４】
ここでは、ｎｆフレーム後の追尾対象の位置と大きさを予測するため、カルマンフィルタを用いる。
【０１４５】
ここでは、追尾対象の位置及び大きさの変化が等速であり、かつその変化が滑らかであると仮定して、カルマンフィルタを構成する。カルマンフィルタでは、追尾対象の状態の変化が設定したモデルに厳密に当てはまらないとしても、誤差項があるので近似的に適用できる場合が多い。
【０１４６】
時刻ｋの状態変数ベクトルｘｋを下記の数３４のように定義する。
【０１４７】
【数３４】
【０１４８】
ここで、ｘｋと上にドットを付したｘｋは画像における対象矩形の中心の水平座標と速度、ｙｋと上にドットを付したｙｋは垂直座標と速度、ｓｋと上にドットを付したｓｋは大きさ（矩形の横幅と縦幅の積）とその変化を表す。
【０１４９】
この状態ベクトルとカメラ１の制御、誤差を考慮したシステム方程式は、下記の数３５で定義される。
【０１５０】
【数３５】
【０１５１】
数３５において、Ａは下記の数３６に示す定数行列である。
【０１５２】
【数３６】
【０１５３】
入力画像の横幅をＷｓｒｃ、縦幅をＨｓｒｃ、時刻ｋにおける水平画角をθｋ、垂直画角をφｋ、カメラのパン角速度を上にドットを付したＰｋ、チルト角速度を上のドットを付したＴｋとすると、各時刻でパン・チルト制御による画素の水平・垂直方向の変化量は下記の数３７及び数３８でそれぞれで表される。
【０１５４】
【数３７】
【０１５５】
【数３８】
【０１５６】
なお、ズーム操作による画角の変化をλとすると、λは下記の数３９で表すことができる。
【０１５７】
【数３９】
【０１５８】
以上の要素から、制御ベクトルｕｋは下記の数４０で与えられる。ｕｋはカメラ制御による画像の変動を表す制御ベクトルである。
【０１５９】
【数４０】
【０１６０】
ｗｋはシステム誤差であり、下記の数４１で示すように、共分散行列Ｑｋかつ平均０の正規白色過程に従う。
【０１６１】
【数４１】
【０１６２】
ここでは、先に述べた追跡処理から得た、追尾対象を囲む矩形の位置と大きさを観測値とし、時刻ｋの観測ベクトルを下記の数４２のように定義する。
【０１６３】
【数４２】
【０１６４】
観測方程式は、下記の数４３で表される。
【０１６５】
【数４３】
【０１６６】
ここでＨは下記の数４４に示す定数行列である。また、数４５で示すように、観測誤差ｖｋは共分散行列Ｒｋかつ平均０の正規白色過程に従う。
【０１６７】
【数４４】
【０１６８】
【数４５】
【０１６９】
カルマンフィルタでは、現在時刻の観測量と１期前の状態量を用いて、現在時刻の推定量を推定する。システムの現在時刻ｋの状態は下記の数４６で示す２つの変数で表される。なお、本明細書において、記号の上に付した符号＾は、推定値を意味している。
【０１７０】
【数４６】
【０１７１】
カルマンフィルタは、時間ステップをひとつ進めるために予測と更新の二つの手続きを行う。予測の手続きでは、前の時刻の推定状態から、現在時刻の推定状態を計算する。更新では、今の時刻の観測を用い、推定値を補正することで、より正確な状態を推定する。
【０１７２】
予測に関し、現在時刻の推定値は下記の数４７で表され、現在時刻の誤差の共分散行列は下記の数４８で表される。
【０１７３】
【数４７】
【０１７４】
【数４８】
【０１７５】
更新に関し、カルマンフィルタは、更新後の誤差の推定値を最小にするカルマンゲインを下記の数４９〜数５３により計算し、状態を更新していく。
【０１７６】
【数４９】
【０１７７】
【数５０】
【０１７８】
【数５１】
【０１７９】
【数５２】
【０１８０】
【数５３】
【０１８１】
以上の計算により、誤差を考慮した現在時刻の状態量を推定することができる。
【０１８２】
ここで、カルマンフィルタの初期条件の設定について説明する。追跡開始の際の追尾対象矩形の中心座標を（ｘ０，ｙ０）、大きさをｓ０とすると、状態の初期値は下記の数５４のようになる。ここで、速度は０としている。
【０１８３】
【数５４】
【０１８４】
初期条件に誤差があるなら、誤差の共分散行列を下記の数５５のように与える。
【０１８５】
【数５５】
【０１８６】
フィルタの特性はシステム誤差と観測誤差の分散比であり、この分散比が大きいほどフィルタ処理後の推定値は元の観測値に忠実となるが誤差に敏感となり、小さいほど平滑化されるがデータに対する追従性が落ちる。本実施の形態では、対象人物の移動方向の変化、立ち止まりなどに迅速に対応できるが、追跡結果に含まれる誤差には影響を受けにくい程度の分散比を経験的に用いる。
【０１８７】
以上、図１３中のステップＳ５２０の処理で用いるカルマンフィルタについて説明した。
【０１８８】
ステップＳ５２０の後に、処理部２は、ステップＳ５２０の予測によって得られたｎｆフレーム後の追尾対象の大きさと目標とすべき追尾対象の大きさｓｉから、ｎｆフレーム後の水平画角または垂直画角を算出する（ステップＳ５２１）。ただし、下記の数５６は水平画角を算出するものである。
【０１８９】
【数５６】
【０１９０】
次に、処理部２は、ステップＳ５２１で算出された水平画角がズームの限界に達しているか否かを判定する（ステップＳ５２２）。ズームの限界に達している場合はステップＳ５４９へ移行する。ただし、ズームアウトで限界に達している場合はステップＳ５２３へ移行する。ズームイン、ズームアウトのいずれも限界に達していない場合はステップＳ５２３へ移行する。
【０１９１】
ステップＳ５２３において、処理部２は、Ｓ５２１で得られた結果から現在の水平画角と比較し、ズームの制御量は所定値より小さいか否かを判定する。小さければＳ５２４へ移行し、大きければＳ５２６へ移行する。
【０１９２】
ステップＳ５２４において、処理部２は、ズーム制御速度を０にセットする。引き続いて、処理部２は、ズーム制御フラグを０にセットし（ステップＳ５２５）、ステップＳ５３０へ移行する。これらにより、ズームの制御を行わない。このように、ズームの制御量が小さい場合は、ズームの制御を行わない。ズームの制御量が小さい場合、ズームの制御を行うと、細かい動きをすることになるので、表示部５を監視する監視者に不快感を与える可能性があるためである。
【０１９３】
ステップＳ５２６において、ズームの制御速度Ｚｓｐｅｅｄを下記の数５７により算出する。ここで、ｆｒはフレームレート（ＮＴＳＣの場合はｆｒ＝３０）を示す。また、Ｚｐｔは水平画角が時刻ｔのときのズームポジションである。
【０１９４】
【数５７】
【０１９５】
その後、処理部２は、ステップＳ５２６で算出されたズームの制御速度Ｚｓｐｅｅｄと現在制御中の速度との間の差が所定値より大きいか否かを判定する（ステップＳ５２７）。差が大きければステップＳ５２８へ移行し、差が小さければステップＳ５２９へ移行する。ここでも、差が一定値以上大きくなければズームの制御速度の変更を行わないのは、表示部５を目視監視する監視者にとってズームの制御速度が頻繁に変化することは不快感につながる可能性があるので、これを回避するためである。また、追尾対象は画像中の真ん中近くにあればよく、画像中心と全くずれがない状態を維持することが目的ではない。
【０１９６】
ステップＳ５２８において、処理部２は、ステップＳ５２６で算出されたズームの制御速度の値に変更する。その後、ステップＳ５２９へ移行する。
【０１９７】
ステップＳ５２９において、処理部２は、ズーム制御フラグを１に設定する。その後、ステップＳ５３０へ移行する。
【０１９８】
ステップＳ５３０において、処理部２は、ステップＳ５２０の予測で得られた結果から、パンの制御量は所定値より小さいか否かを判定する。小さければステップＳ５３１へ移行し、大きければステップＳ５３３へ移行する。
【０１９９】
ステップＳ５３１において、処理部２は、パンの制御速度を０にセットする。引き続いて、処理部２は、パン制御フラグを０にセットし（ステップＳ５３２）、ステップＳ５３８へ移行する。これらにより、パンの制御を行わない。このように、パンの制御量が小さい場合は、パンの制御を行わない。パンの制御量が小さい場合、パンの制御を行うと、細かい動きをすることになるので、表示部５を監視する監視者に不快感を与える可能性があるためである。
【０２００】
ステップＳ５３３において、処理部２は、パンの制御速度Ｐｓｐｅｅｄを下記の数５８により算出する。ここでＷｓｒｃは入力画像の横幅である。
【０２０１】
【数５８】
【０２０２】
その後、処理部２は、ステップＳ５３３で算出されたパンの制御速度Ｐｓｐｅｅｄでパンを制御した仮定した場合において、ｎｆフレーム分時間が経過したとき（ｎｆ／ｆｒ秒後）のパンの位置を計算し、その値がパンの限界に達するか又はパンの限界を超えた値となるか否かを判定する（ステップＳ５３４）。その値がパンの限界に達するか又はパンの限界を超えた値となる場合は、ステップＳ５４９へ移行し、そうではない場合はステップＳ５３５へ移行する。
【０２０３】
ステップＳ５３５において、処理部２は、ステップＳ５３３で算出されたパンの制御速度Ｐｓｐｅｅｄと現在制御中の速度との差が所定値より大きいか否かを判定する。差が大きければステップＳ５３６へ移行し、差が小さければステップＳ５３７へ移行する。
【０２０４】
ステップＳ５３６において、処理部２は、ステップＳ５３６で算出されたパンの制御速度の値に変更する。その後ステップＳ５３７へ移行する。
【０２０５】
ステップＳ５３７において、処理部２は、パン制御フラグを１に設定する。その後、ステップＳ５３８へ移行する。
【０２０６】
ステップＳ５３８において、処理部２は、ステップＳ５２０の予測で得られた結果から、チルトの制御量は所定値より小さいかどうかを判定する。小さければステップＳ５３９へ移行し、大きければステップＳ５４１へ移行する。
【０２０７】
ステップＳ５３９において、処理部２は、チルトの制御速度を０にセットする。引き続いて、処理部２は、チルト制御フラグを０にセットし（ステップＳ５４０）、ステップＳ５４６へ移行する。これらにより、チルトの制御を行わない。このように、チルトの制御量が小さい場合は、チルトの制御を行わない。チルトの制御量が小さい場合、チルトの制御を行うと、細かい動きをすることになるため表示部５を監視する監視者に不快感を与える可能性があるためである。
【０２０８】
ステップＳ５４１において、処理部２は、チルトの制御速度Ｔｓｐｅｅｄを下記の数５９により算出する。ここでＨｓｒｃは入力画像の高さ（縦方向の長さ）である。
【０２０９】
【数５９】
【０２１０】
その後、処理部２は、Ｓ５４１で算出されたチルトの制御速度Ｔｓｐｅｅｄでチルトを制御したと仮定した場合において、ｎｆフレーム分時間が経過したとき（ｎｆ／ｆｒ秒後）のチルトの位置を計算し、その値がチルトの限界に達するか又はチルトの限界を超えた値となる否かを判定する（ステップＳ５４２）。その値がチルトの限界に達するか又はチルトの限界を超えた値となる場合は、ステップＳ５４９へ移行し、そうではない場合はステップＳ５４３へ移行する。
【０２１１】
ステップＳ５４３において、処理部２は、ステップＳ５４１で算出されたチルトの制御速度Ｔｓｐｅｅｄと現在制御中の速度との差が所定値より大きいか否かを判定する。差が大きければＳ５４４へ移行し、差が小さければＳ５４５へ移行する。
【０２１２】
ステップＳ５４４において、処理部２は、ステップＳ５４１で算出されたチルトの制御速度の値に変更する。その後ステップＳ５４５へ移行する。
【０２１３】
ステップＳ５４５において、処理部２は、チルト制御フラグを１に設定する。その後、ステップＳ５４６へ移行する。
【０２１４】
ステップＳ５４６において、処理部２は、全ての制御フラグ（パン制御フラグ、チルト制御フラグ、ズーム制御フラグ）が０であるか否かを判定する。全ての制御フラグが０であれば、制御しないことになるため、ステップＳ５４７を経ることなくステップＳ５４８へ移行する。いずれか１つ以上の制御フラグが１であれば、ステップＳ５４７へ移行する。
【０２１５】
ステップＳ５４７において、処理部２は、１になっている制御フラグ及びこれに対応する制御速度に応じた制御を行うようにカメラ１に制御指令を与える。その制御は、その速度に応じてｎｆ／ｆｒ秒間行うが、このループを出てステップＳ５４８へ移行するのは制御が完了するのを待たないでよい。なお、本実施の形態では、制御フラグ自体によって制御指令がカメラ１に与えられるわけではなく、ステップＳ５４７のような動作によって制御フラグ及び制御速度に応じた制御指令がカメラ１に与えられるようになっている。
【０２１６】
ステップＳ５４８において、処理部２は、追尾限界フラグを０（０は、パン、チルト、ズームのいずれもが限界に達する可能性がないことを示す）にする。これは、パン、チルト、ズームのいずれもが限界に達する可能性がない場合に、ステップＳ５４８に到達するためである。ステップＳ５４８の後、カメラ制御処理（ステップＳ７）を終了して、図３中のステップＳ９へ移行する。
【０２１７】
ステップＳ５４９において、処理部２は、追尾限界フラグを１（１は、パン、チルト、ズームのいずれかが限界に達する可能性があることを示す）にする。これは、パン、チルト、ズームの少なくともひとつが限界に達する可能性がある場合に、ステップＳ５４９に到達するためである。ステップＳ５４９の後、ステップＳ５５０において、処理部２は、カメラ１の姿勢制御中であれば、その制御を停止する。ステップＳ５５０の後、カメラ制御処理（ステップＳ７）を終了して、図３中のステップＳ９へ移行する。
【０２１８】
再び図３を参照すると、ステップＳ９において、処理部２は、追尾限界フラグが１であるか否かを判定する。追尾限界フラグが１であれば、追尾対象の追尾の継続が困難であると判断し、ステップＳ１（プリセット状態）に戻る。追尾限界フラグが０であれば、追尾対象の追尾の継続が可能であるので、ステップＳ５へ戻って、追尾対象の追尾を継続する。
【０２１９】
本実施の形態によれば、前記パーティクルフィルタにより追尾対象の位置を推定する（図８中のステップＳ２１１）ので、相関演算とは異なり、複数の解の候補（複数のパーティクル）を持つので追跡失敗から回復する可能性が高くなり、オクルージョンや複雑な背景などに対して強く、より精度良く追跡処理を行うことができ、ひいては、追尾対象をより精度良く追尾して撮像することができる。また、本実施の形態によれば、AdaBoost識別器により追尾対象画素と背景画素とが識別され、前記パーティクルフィルタがAdaBoost識別器の応答値から算出した尤度を用いるものであるため、追尾対象以外の背景の形状や大きさや色や明暗変化などの背景の変化の影響を受け難くなり、この点からも、より一層精度良く追跡処理を行うことができ、ひいては、追尾対象をより一層精度良く追尾して撮像することができる。
【０２２０】
また、本実施の形態によれば、前記AdaBoost識別器により追尾対象画素であると識別された画素に応じたパーティクルに基づいて追尾対象の大きさを推定する（図８中のステップＳ２１３）ので、追尾対象の大きさについても、オクルージョンや複雑な背景などに対して強く、より精度良く追跡処理を行うことができ、ひいては、追尾対象をより精度良く追尾して撮像することができる。
【０２２１】
さらに、本実施の形態によれば、AdaBoost識別器を更新させるので、追尾対象の見え方の変化や環境（照明及び日照条件など）の変化に対応することができ、これにより、AdaBoost識別器による追尾対象画素であるか背景画素であるかの識別の精度が高まる。したがって、本実施の形態によれば、より一層精度良く追跡処理を行うことができ、ひいては、追尾対象をより一層精度良く追尾して撮像することができる。
【０２２２】
本実施の形態によれば、追尾対象の信頼度信頼度ｃｔとして、全粒子の尤度の空間的な重み付け平均値を算出し（ステップＳ２１４）、その値が所定値以上であるか否かを判定している（ステップＳ１１１，Ｓ１１２，Ｓ６）ので、結局、追跡が成功しているか失敗したかを判定することができる。したがって、本実施の形態では、ステップＳ６でＮＯでかつステップＳ８でＹＥＳの場合、ステップＳ１へ戻るので、追跡に失敗しているのにその誤った追跡結果に基づいてカメラの制御が継続されてしまうような事態を、回避することができる。
【０２２３】
また、本実施の形態によれば、カメラ制御処理において予測制御が導入されているので、例えば、カメラ１が制御指令に対して応答してその指令状態になるまでの動作時間が画像処理時間に比べて長い場合であっても、追尾対象の急な動きの変化などにも対応することができ、追尾対象をより精度良く追尾して撮像することができる。なお、カメラのパン、チルト、ズームの制御速度があまりに速過ぎると、追尾対象を監視者が目で追う際に、カメラのパン、チルト、ズームの変化があまりに急激になってしまい、監視者に不快感を与えてしまい監視に適さなくなってしまうが、カメラ１として制御速度が比較的遅いものを使用することができるので、カメラ１のパン、チルト、ズームの変化をスムーズにして監視により適した追尾を実現することができる。
【０２２４】
さらに、本実施の形態によれば、このような予測にカルマンフィルタが用いられているので、追尾対象領域の位置及び大きさを精度良く予測することができ、ひいては、追尾対象をより精度良く追尾して撮像することができる。
【０２２５】
以上、本発明の一実施の形態について説明したが、本発明はこの実施の形態に限定されるものではない。
【図面の簡単な説明】
【０２２６】
【図１】本発明の一実施の形態による自動追尾装置を模式的に示すブロック図である。
【図２】カメラによる追尾対象の追尾の様子の例を模式的に示す図である。
【図３】図１中の処理部の動作の一例を示す概略フローチャートである。
【図４】図３中の追尾対象検知処理（ステップＳ２）を詳細に示すフローチャートである。
【図５】カメラにより撮像された画像、追尾対象領域及び背景領域の例を示す図である。
【図６】エッジ方向ヒストグラムを示す概略図である。
【図７】ローカルバイナリーパターンの説明図である。
【図８】図３中の追跡処理（ステップＳ５）を詳細に示すフローチャートである。
【図９】対象楕円と背景楕円の例を示す図である。
【図１０】信頼度の説明図である。
【図１１】図８中の識別器の更新処理（ステップＳ２１８）を詳細に示すフローチャートである。
【図１２】図３中のカメラ制御処理（ステップ７）を詳細に示すフローチャートである。
【図１３】図１２に引き続くフローチャートである。
【図１４】図１３に引き続くフローチャートである。
【図１５】図１４に引き続くフローチャートである。
【符号の説明】
【０２２７】
１ カメラ
１ａ カメラ本体
１ｂ ズームレンズ
１ｃ 回転台
２ 処理部
【技術分野】
【０００１】
本発明は、パン、チルト及びズームの制御が可能なカメラを用いて、追尾対象を自動追尾して撮像する自動追尾装置に関するものである。
【背景技術】
【０００２】
従来から、このような自動追尾装置として、例えば、下記特許文献１に開示されている自動追尾装置が提案されている。この自動追尾装置は、テレビジョンカメラからの映像信号を入力すると共に映像信号を表示部に出力する画像入出力部と、画像入出力部よりの映像信号の前処理を行う画像処理部と、画像処理部を介し入力される参照画像データ及び探索画像データの相関値を求め探索画像上で最も相関性の高い位置を検出する相関演算部と、相関演算部よりの信号に基づいて前記テレビジョンカメラの旋回装置及びズームレンズを駆動制御すると共に前記各部を制御する中央演算処理部とからなるものである。
【特許文献１】特開平１１−１８７３８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、前記従来の自動追尾装置では、相関演算を用いて追尾対象の位置を求めているので、追尾対象の大きさや形状の変化に弱く、オクルージョン（隠蔽）の影響やカメラ制御による画像変動の影響も受け易く、このため、追尾対象を精度良く追尾することができなかった。
【０００４】
本発明は、このような事情に鑑みてなされたもので、追尾対象をより精度良く追尾して撮像することができる自動追尾装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記課題を解決するための手段として、以下の各態様を提示する。第１の態様による自動追尾装置は、パン、チルト及びズームの制御が可能なカメラと、前記カメラにより撮像された画像に基づいて、追尾対象を追跡する追跡処理を行う追跡処理手段と、前記追跡処理手段による前記追跡処理の結果に応じて前記カメラが前記追尾対象を追尾して撮像するように、前記カメラのパン、チルト及びズームを制御する制御手段と、を備えたものである。前記追跡処理手段は、前記カメラにより撮像された画像に基づいて、画素の位置を状態とした複数のパーティクルによるパーティクルフィルタによって、追跡結果の一部として前記追尾対象の位置を推定する位置推定手段を含む。そして、前記パーティクルフィルタは、前記各パーティクルに関して、画素に関する１つ以上の特徴量に基づいて当該画素が追尾対象画素であるか背景画素であるかを識別するように構築されたAdaBoost識別器の応答値であって、当該パーティクルの位置の画素に関する前記１つ以上の特徴量による応答値から、算出した尤度を用いるものである。
【０００６】
この第１の態様によれば、前記パーティクルフィルタにより追尾対象の位置を推定するので、相関演算とは異なり、複数の解の候補（複数のパーティクル）を持つので追跡失敗から回復する可能性が高くなり、オクルージョンや複雑な背景などに対して強く、より精度良く追跡処理を行うことができ、ひいては、追尾対象をより精度良く追尾して撮像することができる。なお、決定論的手法（例えば、テンプレートマッチングなど）では、解を一意に決定するため追跡失敗から回復できない。また、前記第１の態様によれば、AdaBoost識別器により追尾対象画素と背景画素とが識別され、前記パーティクルフィルタがAdaBoost識別器の応答値から算出した尤度を用いるものであるため、追尾対象以外の背景の形状や大きさや色や明暗変化などの背景の変化の影響を受け難くなり、この点からも、より一層精度良く追跡処理を行うことができ、ひいては、追尾対象をより一層精度良く追尾して撮像することができる。
【０００７】
第２の態様による自動追尾装置は、前記第１の態様において、前記位置推定手段は、前記追尾対象の位置を、前記複数のパーティクルの状態である画素位置の、前記尤度を用いた重み付け平均値として推定するものである。この第２の態様は、追尾対象の位置の推定の具体的な手法の例を挙げたものである。
【０００８】
第３の態様による自動追尾装置は、前記第１又は第２の態様において、前記追跡処理手段は、前記複数のパーティクルのうち前記AdaBoost識別器により追尾対象画素であると識別された画素に応じたパーティクルに基づいて、追跡結果の他の一部として前記追尾対象の大きさを推定する大きさ推定手段を含むものである。
【０００９】
この第３の態様によれば、前記AdaBoost識別器により追尾対象画素であると識別された画素に応じたパーティクルに基づいて追尾対象の大きさを推定するので、追尾対象の大きさについても、オクルージョンや複雑な背景などに対して強く、より精度良く追跡処理を行うことができ、ひいては、追尾対象をより精度良く追尾して撮像することができる。
【００１０】
第４の態様による自動追尾装置は、前記第１乃至第３のいずれかの態様において、前記追跡処理手段は、前記複数のパーティクルのうち前記AdaBoost識別器により追尾対象画素であると識別された画素に応じたパーティクルのうちの、前記位置推定手段により推定された前記追尾対象の位置に対する当該パーティクルの前記尤度によって重み付けされた共分散行列を用いたマハラノビス距離が所定値以下であるパーティクルの分布状況に基づいて、前記追尾対象の大きさを推定する大きさ推定手段を、含むものである。この第４の態様は、追尾対象の大きさの推定の具体的な手法の例を挙げたものである。
【００１１】
第５の態様による自動追尾装置は、前記第１乃至第４のいずれかの態様において、前記１つ以上の特徴量は、（i）当該画素を含む局所領域の画素の所定色空間の第１乃至第３の値のうちの前記第１の値の平均値、（ii）当該画素を含む局所領域の画素の前記第１の値の分散値、（iii）当該画素を含む局所領域の画素の前記第２の値の平均値、（iv）当該画素を含む局所領域の画素の前記第２の値の分散値、（v）当該画素を含む局所領域の画素の前記第３の値の平均値、（vi）当該画素を含む局所領域の画素の前記第３の値の分散値、（vii）当該画素を含む局所領域におけるエッジ方向ヒストグラム、及び、（viii）当該画素を含む局所領域におけるローカルバイナリーパターンのヒストグラム、のうちの少なくとも１つを含むものである。なお、前記所定色空間としては、ＣＩＥ１９７６Ｌ＊ｕ＊ｖ＊色空間を挙げることができるが、必ずしもこれに限定されるものではない。
【００１２】
この第５の態様は、特徴量の具体例を挙げたものである。例えば、前記１つ以上の特徴量として、（i）〜（vi）のみを採用してもよいが、その場合に比べて、（i）〜（vii）のみを採用する場合や、（i）〜（vi），（viii）のみを採用する場合や、（i）〜（viii）を採用する場合の方が、追跡性能が高まるので、好ましい。特に、それらの場合のうち、前記１つ以上の特徴量として（i）〜（viii）を採用する場合には、最も追跡性能が高まることが実験的に確認された。
【００１３】
第６の態様による自動追尾装置は、前記第１乃至第５のいずれかの態様において、前記複数のパーティクルのうちの所定のパーティクルを追尾対象画素用の学習サンプルとするとともに、前記複数のパーティクルのうちの他の所定のパーティクルを背景画素用の学習サンプルとして、前記AdaBoost識別器を更新させる更新手段を備えたものである。
【００１４】
この第６の態様によれば、AdaBoost識別器を更新させるので、追尾対象の見え方の変化や環境（照明及び日照条件など）の変化に対応することができ、これにより、AdaBoost識別器による追尾対象画素であるか背景画素であるかの識別の精度が高まる。したがって、この第６の態様によれば、より一層精度良く追跡処理を行うことができ、ひいては、追尾対象をより一層精度良く追尾して撮像することができる。
【００１５】
第７の態様による自動追尾装置は、前記第１乃至第６のいずれかの態様において、前記複数のパーティクルの前記尤度の空間的な重み付け平均値を算出する算出手段と、前記空間的な重み付け平均値が所定値以上であるか否かを判定する判定手段とを備えたものである。
【００１６】
前記空間的な重み付け平均値は、追跡結果の信頼度を示すものとなり得る。前記空間的な重み付け平均値が大きければ、追跡結果の信頼度が高い一方、追跡結果の信頼度が低いと考えられる。前記第７の態様によれば、前記空間的な重み付け平均値を算出し、その値が所定値以上であるか否かを判定しているので、結局、追跡が成功しているか失敗したかを判定することができる。したがって、その判定結果を利用することで、追跡に失敗しているのにその誤った追跡結果に基づいてカメラの制御が継続されてしまうような事態を、回避することができる。
【００１７】
第８の態様による自動追尾装置は、前記第１乃至第７のいずれかの態様において、前記制御手段は、前記追跡処理手段による前記追跡処理の結果に基づいて現在から所定時間経過後の追尾対象の位置及び大きさを予測する予測手段を含み、前記制御手段は、前記予測手段による予測結果に応じて、前記カメラに対する現在のパン、チルト及びズームの制御状態を修正して前記カメラのパン、チルト及びズームを制御するものである。
【００１８】
この第８の態様によれば、予測制御が導入されているので、例えば、カメラが制御指令に対して応答してその指令状態になるまでの動作時間が画像処理時間に比べて長い場合であっても、追尾対象の急な動きの変化などにも対応することができ、追尾対象をより精度良く追尾して撮像することができる。なお、カメラのパン、チルト、ズームの制御速度があまりに速過ぎると、追尾対象を監視者が目で追う際に、カメラのパン、チルト、ズームの変化があまりに急激になってしまい、監視者に不快感を与えてしまい監視に適さなくなってしまうが、カメラとして制御速度が比較的遅いものを使用することができるので、カメラのパン、チルト、ズームの変化をスムーズにして監視により適した追尾を実現することができる。
【００１９】
第９の態様による自動追尾装置は、前記第８の態様において、前記予測手段は、カルマンフィルタにより、現在から所定時間経過後の追尾対象の位置及び大きさを予測するものである。この第９の態様では、カルマンフィルタが用いられているので、追尾対象の位置及び大きさを精度良く予測することができ、ひいては、追尾対象をより精度良く追尾して撮像することができる。もっとも、前記第８の態様では、予測手段はカルマンフィルタを用いたものに限定されるものではない。
【発明の効果】
【００２０】
本発明によれば、追尾対象をより精度良く追尾して撮像することができる自動追尾装置を提供することができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明による自動追尾装置について、図面を参照して説明する。
【００２２】
図１は、本発明の一実施の形態による自動追尾装置を模式的に示すブロック図である。本実施の形態による自動追尾装置は、図１に示すように、パン、チルト及びズームの制御が可能なカメラ１と、処理部２と、分配器３と、表示・記録制御部４と、液晶パネル等の表示部５と、記録部６とを備えている。
【００２３】
カメラ１は、カメラ本体１ａと、カメラ本体１ａに装着され処理部２からのズームを制御する制御信号に応じて倍率を設定するズームレンズ１ｂと、カメラ本体１ａが搭載され処理部２からのパン及びチルトを制御する制御信号に応じてカメラ本体１ａのパン及びチルトを設定する回転台１ｃとを有している。
【００２４】
分配器３は、カメラ１からの画像信号を、処理部２と表示・記録制御部４とに分配して供給する。画像処理部２は、分配器３を介して供給されたカメラからの画像信号に基づいて、カメラ１により撮像された画像を処理して、カメラ１が侵入者又は侵入物体等の追尾対象１０（後述する図２参照）を自動追尾して撮像するように、カメラ１のパン、チルト及びズームを制御する。表示・記録制御部４は、分配器３を介して供給されたカメラからの画像信号が示す画像を、表示部５に表示させたり記録部６に記録させたりする。監視者は、表示部５に表示された画像を監視することができる。なお、監視者が画像を監視しないような場合は、分配器３を設けずに、カメラ１からの画像信号を処理部２に直接入力させてもよい。
【００２５】
図２は、カメラ１による追尾対象１０の追尾の様子の例を模式的に示す図である。図２では、侵入者等の追尾対象１０を追尾して、カメラ１の視野が変化している様子を示している。なお、実際には、追尾対象１０の移動に伴い、回転台１ｃのパン及びチルトが変化することでカメラ１の視野の向きが変化するとともにズームレンズ１ｂが作動することでカメラ１の視野が拡大・縮小するが、図２では、カメラ１の各部の図示は省略しカメラ１の視野のみを模式的に示している。
【００２６】
次に、本実施の形態による自動追尾装置の処理部２の動作の一例について、図３乃至図１５を参照して説明する。図３は、処理部２の動作の一例を示す概略フローチャートである。図４は、図３中の追尾対象検知処理（ステップＳ２）を詳細に示すフローチャートである。図８は、図３中の追跡処理（ステップＳ５）を詳細に示すフローチャートである。図１１は、図８中の識別器の更新処理（ステップＳ２１８）を詳細に示すフローチャートである。図１２乃至図１５は、図３中のカメラ制御処理（ステップ７）を詳細に示すフローチャートである。なお、図５乃至図７、図９及び図１０については、後に説明する。
【００２７】
図３に示すように、処理部２は、動作を開始すると、まず、カメラ１をプリセット状態にする（ステップＳ１）。すなわち、処理部２は、カメラ１のパン、チルト及びズームを予め定められたパン、チルト及びズームにする。
【００２８】
次に、処理部２は、プリセットされた状態、つまり、カメラ１のパン、チルト、ズームが固定の状態で、追尾対象を検知（動体検知）する追尾対象検知処理を行う（ステップＳ２）。この検知は、一般的に用いられている手法（図４中のＳ１０１〜Ｓ１１２）を適用する他に、レーザーレーダなどの他のセンシングデバイスによって行ってもよいし、画面上に表示された人物を監視者が指定手段としてのマウス等のポインティングデバイスによって指定することによって行ってもよい。
【００２９】
ここで、図４を参照して、追尾対象検知処理（ステップＳ２）の一例について説明する。なお、図３中の追尾対象検知処理（ステップＳ２）は、図４に示す例に限定されるものではない。
【００３０】
追尾対象検知処理（ステップＳ２）を開始すると、図４に示すように、処理部２は、まず、カメラ１が撮像した２枚の連続する画像をサンプリングし（ステップＳ１０１，Ｓ１０２）、それらの画像の差分画像（フレーム間差分画像）を生成する（ステップＳ１０３）。
【００３１】
次いで、処理部２は、ステップＳ１０３で生成した差分画像を２値化する（ステップＳ１０４）。この２値化に用いる閾値は、固定閾値でもよいし、判別分析法に代表されるような可変閾値でもよい。
【００３２】
引き続いて、処理部２は、ステップＳ１０４で２値化された画像をラベリングする（ステップＳ１０５）。そして、処理部２は、ラベリングされたものがあるか否かを判定し（ステップＳ１０６）、ラベリングされたものがなければステップＳ１１２へ移行する一方、ラベリングされたものがあれば、ステップＳ１０７へ移行する。
【００３３】
ステップＳ１０７において、処理部２は、ラベリングされたもの全てについてそれぞれ特徴量を取得する（ステップＳ１０７，Ｓ１０８）。ここでいう特徴量は、例えば面積や円形度など、追尾対象１０を正確に検出するために必要なものである。
【００３４】
その後、処理部２は、ステップＳ１０７で取得した全てのラベルの特徴量から、追尾対象１０の候補となるものが存在するか否かを判定する（ステップＳ１０９）。存在しなければステップＳ１１２へ移行する一方、存在すればステップＳ１１０へ移行する。
【００３５】
ステップＳ１１０において、処理部２は、追尾対象１０の候補のうちから追尾対象１０を決定する。このとき、追尾対象１０の候補が１つであればそれを追尾対象１０として決定し、追尾対象１０の候補が複数存在すれば、所定の判断基準によって１つに絞り込んで、それを追尾対象１０として決定する。
【００３６】
ステップＳ１１１の後に、処理部２は、追尾対象１０が検知されたか否かを示す追尾対象検知フラグを１（１は、追尾対象１０が検知されたこと示す。）にセットし（ステップＳ１１１）、追尾対象検知処理（ステップＳ２）を終了して、図３中のステップＳ３へ移行する。
【００３７】
ステップＳ１１２において、処理部２は、追尾対象検知フラグを０（０は、追尾対象１０が検知されなかったこと示す。）にセットする。その後、追尾対象検知処理（ステップＳ２）を終了して、図３中のステップＳ３へ移行する。
【００３８】
再び図３を参照すると、ステップＳ３において、処理部２は、ステップＳ２で追尾対象１０が検知されたか否かを判定する。この判定は、前記追尾対象検知フラグが１であるか０であるかによって行う。追尾対象１０が検知された場合（追尾対象検知フラグが１の場合）は、ステップＳ４へ移行する一方、追尾対象１０が検知されなかった場合（追尾対象検知フラグが０の場合）は、ステップＳ２へ戻り、追尾対象検知処理（ステップＳ２）を繰り返す。
【００３９】
図５は、カメラ１により撮像された画像、その画像から追尾対象検知処理（ステップＳ２）により検出された（あるいは、監視者がポインティングデバイスによって指定された）追尾対象領域（追尾対象１０の領域）、及び、その追尾対象領域に応じて設定された背景領域の例を、示す図である。図５に示す例では、人物の全身をちょうど囲む内側の矩形の領域が追尾対象領域となっている。内側の矩形と外側の矩形との間の領域が後述するステップＳ４で着目する背景領域である。背景領域の外形（外側の矩形）は、例えば、追尾対象領域の外形（内側の矩形）と同心でかつ追尾対象領域の外形（内側の矩形）を横方向（ｘ方向）及び縦方向（ｙ方向）にそれぞれ所定倍率で拡大したものとして、設定される。
【００４０】
ステップＳ４において、処理部２は、AdaBoost識別器を構築する処理（初期学習）を、初期化処理として行う。この初期化処理では、処理部２は、追尾対象検知処理（ステップＳ２）により検出された図５に示すような追尾対象領域及び背景領域に基づいて、AdaBoost識別器を、画素に関する１つ以上の特徴量としての特徴ベクトルｖに基づいて当該画素が追尾対象画素であるか背景画素であるかを識別するように構築する処理を行う。以下の説明では、追尾対象領域の符号をＲｔａｒｇｅｔとし、背景領域の符号をＲｂａｃｋとする。
【００４１】
この初期化処理（ステップＳ４）では、追尾対象領域Ｒｔａｒｇｅｔと背景領域Ｒｂａｃｋから、追尾対象を表すポジティブサンプル及び背景を表すネガティブサンプルを以下のように取得する。
【００４２】
【数１】
【００４３】
ただし、数１において、ｘ１（ｉ）は位置（ｘ，ｙ）、ｌ１（ｉ）はクラスラベルである。クラスラベルｌ１（ｉ）と特徴ベクトルｖで構成される初期学習サンプル（ｖ（ｘ１（ｉ）），ｌ１（ｉ））を用いて初期のAdaBoost識別器を構築する。ここで、特徴ベクトルｖは、後で記すＬｕｖ画素値の平均値・分散値、ＥＯＨ、ＬＢＰのヒストグラムをすべて用いた特徴ベクトルとする。また、本実施の形態では、AdaBoost識別器の学習アルゴリズムは、Gentle AdaBoostアルゴリズムを用いる。もっとも、本発明では、AdaBoost識別器の学習アルゴリズムは、Gentle AdaBoostアルゴリズムに限定されるものではない。
【００４４】
Gentle AdaBoostアルゴリズムは、文献『J. Friedman, T. Hastie, and R. Tibshirani, “Additive Logistic Regression: a Statistical View of Boosting”, technical report, Department of Statistics, Stanford University, 1998』に記載されているように公知であり、以下の通りである。なお、Ｎはサンプルの個数、Ｍは弱識別器の個数である。
【００４５】
（１）下記の数２による学習サンプル重みｗｉの初期化、強識別器Ｆ（ｘ）の初期化
【数２】
（２）繰り返し処理（ｍ＝１，２，…，Ｍ）
（ａ）重み付き学習サンプルを用いて弱識別器ｆｍ（ｘ）の学習（重み付き最小二乗法）
（ｂ）下記の数３による弱識別器ｆｍ（ｘ）の値設定
【数３】
数３において、＾を付したＰｗは学習サンプル重みを利用した重み付き識別率を示す。
（ｃ）下記の数４による識別器の更新
【数４】
（ｄ）下記の数５による学習サンプル重みの更新
【数５】
（３）下記の数６による識別器の構築
【数６】
【００４６】
ここで、本実施の形態において、AdaBoost識別器に用いる特徴ベクトルｖについて説明する。AdaBoost識別器には、他種類の特徴量を入力することが可能である。本実施の形態では、画素に関する特徴量（特徴ベクトルｖの要素）として、Ｌｕｖの平均値及び分散値、エッジ方向ヒストグラム（ＥＯＨ、Edge Orientation Histogram）、ローカルバイナリーパターン（ＬＢＰ、Local Binary Pattern）のヒストグラムを用いる。
【００４７】
まず、Ｌｕｖの平均値及び分散値について説明する。ここでは、画素のＣＩＥ１９７６Ｌ＊ｕ＊ｖ＊色空間の３つの値であるＬ，ｕ，ｖを用いる。着目画素の特徴量の１つであるＬの平均値は、着目画素を中心に含む局所領域Ｗ（例えば、５×５画素）のＬの平均値である。着目画素の特徴量の１つであるＬの分散値は、着目画素を中心に含む局所領域Ｗ（例えば、５×５画素）のＬの分散値である。着目画素の特徴量の１つであるｕの平均値は、着目画素を中心に含む局所領域Ｗ（例えば、５×５画素）のｕの平均値である。着目画素の特徴量の１つであるｕの分散値は、着目画素を中心に含む局所領域Ｗ（例えば、５×５画素）のｕの分散値である。着目画素の特徴量の１つであるｖの平均値は、着目画素を中心に含む局所領域Ｗ（例えば、５×５画素）のｖの平均値である。着目画素の特徴量の１つであるｖの分散値は、着目画素を中心に含む局所領域Ｗ（例えば、５×５画素）のｖの分散値である。これらを数式を用いて表現すると、下記の数７及び数８のようになる。数７及び数８において、局所領域Ｗ内のＬｕｖ画素値をＩ＝（Ｌ，ｕ，ｖ）とし、その平均値を￣Ｉ＝（￣Ｌ，￣ｕ，￣ｖ）、その分散値をσｆ＝（σｌ，σｕ，σｖ）とし、Ａを局所領域Ｗ内の画素数としている。ここで、￣Ｉは上バー付きのＩを示し、￣Ｌ，￣ｕ，￣ｖも同様に上バー付きのＬ，ｕ，ｖをそれぞれ示す。
【００４８】
【数７】
【００４９】
【数８】
【００５０】
次に、エッジ方向ヒストグラム（ＥＯＨ）について説明する。着目画素の特徴量の１つであるエッジ方向ヒストグラムは、着目画素を中心に含む局所領域（例えば、５×５画素）内のエッジの方向をエッジの強度で重み付けしたヒストグラムである。局所領域内の濃淡画像をＩとしたとき、座標（ｘ，ｙ）での勾配（エッジ）画像Ｇｘ，Ｇｙは下記の数９及び数１０のように表現できる。
【００５１】
【数９】
【００５２】
【数１０】
【００５３】
数９及び数１０において、SobelｘとSobelｙはそれぞれｘ，ｙ方向のエッジを計算するための演算子である。数９及び数１０より、着目している座標（ｘ，ｙ）での勾配（エッジ）強度Ｇ（ｘ，ｙ）及びエッジの方向角θ（ｘ，ｙ）は、下記の数１１及び数１２で示す通りとなる。
【００５４】
【数１１】
【００５５】
【数１２】
【００５６】
このエッジ強度Ｇと方向角θを用いて、Ｋ個の階級数のヒストグラムを作成する。このヒストグラムがエッジ方向ヒストグラム（ＥＯＨ）である。図６は、エッジ方向ヒストグラムを示す概略図である。図６（ａ）は、局所領域（５×５画素）におけるエッジのベクトル（エッジ強度と方向角）の分布を示している。図６（ｂ）は、図６（ａ）の分布から作成した８階級のエッジ方向ヒストグラムを示している。
【００５７】
次に、ローカルバイナリーパターン（ＬＢＰ）のヒストグラムについて説明する。ローカルバイナリーパターンは、注目画素近傍での画素値の大小関係を２値パターンとしたものである。濃淡画像Ｉとして、図７のような注目画素（ｘ，ｙ）の４近傍のＬＢＰは、下記の数１３のようになる。図７は、ローカルバイナリーパターンの説明図である。
【００５８】
【数１３】
【００５９】
このＬＢＰを局所領域内で計算しヒストグラムとする。４近傍のＬＢＰは０から１５の１６種類の値をとるため１６階級のヒストグラムを作成する。本実施の形態では、着目画素の特徴量の１つであるローカルバイナリーパターンのヒストグラムは、着目画素を中心に含む局所領域内で計算したローカルバイナリーパターンのヒストグラムである。
【００６０】
以上、本実施の形態においてAdaBoost識別器で用いる画素に関する特徴量（特徴ベクトルｖの要素）について、説明した。しかしながら、本発明で用いる特徴量は、前述した特徴ベクトルｖの例に限定されるものではない。
【００６１】
再び図３を参照すると、AdaBoost識別器が構築されて初期化処理（ステップＳ４）が終了すると、ステップＳ５へ移行する。ステップＳ５において、処理部２は、カメラ１により撮像された画像に基づいて、追尾対象を追跡する追跡処理を行う。本実施の形態では、追跡処理（ステップＳ５）において、処理部２は、カメラ１により撮像された画像に基づいて、画素の位置を状態とした複数のパーティクルによるパーティクルフィルタによって、追跡結果の一部として前記追尾対象の位置を推定する。前記パーティクルフィルタは、前記各パーティクルに関して、画素に関する１つ以上の特徴量（特徴ベクトルｖ）に基づいて当該画素が追尾対象画素であるか背景画素であるかを識別するように構築された前記AdaBoost識別器の応答値であって、当該パーティクルの位置の画素に関する前記１つ以上の特徴量（特徴ベクトルｖ）による応答値から、算出した尤度を用いるものである。処理部２は、前記複数のパーティクルのうち前記AdaBoost識別器により追尾対象画素であると識別された画素に応じたパーティクルに基づいて、追跡結果の他の一部として前記追尾対象の大きさを推定する。なお、パーティクルを粒子と呼ぶ場合がある。
【００６２】
ここで、図８を参照して、追跡処理（ステップＳ５）の一例について説明する。なお、図３中の追跡処理（ステップＳ５）は、図８に示す例に限定されるものではない。
【００６３】
追跡処理（ステップＳ５）を開始すると、図８に示すように、処理部２は、まず、現在の画像をサンプリングする（ステップＳ２０１）。
【００６４】
次に、処理部２は、パーティクルフィルタの選択・予測（粒子群の選択・予測）を行う（ステップＳ２０２）。ここで、ある時刻ｔの状態ｘを持つＮ個の粒子群（パーティクル群）を｛ｓｔ（ｉ）｝ｉ＝１，…，Ｎとする。ただし、各粒子の状態ｘは、位置（ｘ，ｙ）（すなわち、画素の位置）とする。また、各粒子の尤度を｛πｔ（ｉ）｝ｉ＝１，…，Ｎとする。
【００６５】
ステップＳ２０２において、処理部２は、パーティクルフィルタの選択処理として、リサンプリング手法に基づき、前の時刻ｔ−１での（前のフレームでの）粒子群｛ｓｔ−１（ｉ）｝ｉ＝１，…，Ｎの尤度｛πｔ−１（ｉ）｝ｉ＝１，…，Ｎを用いて、新たな粒子群｛ｓ’ｔ−１（ｉ）｝ｉ＝１，…，Ｎを選択する。尤度が大きい粒子を増やし（分裂）、尤度の小さい粒子を減らす（消滅）させることにより、追尾対象のいる位置確率分布を限られた粒子数で近似することを可能にする。粒子の消滅のため粒子数が予め設定した個数Ｎに満たない場合は、対象領域及び背景領域内に新たな粒子を追加する。このステップは、追跡処理開始直後の場合（ステップＳ４からステップＳ５へ移行した場合）には、粒子の尤度が得られていないため、このプロセスは省略される。
【００６６】
ステップＳ２０２において、処理部２は、パーティクルフィルタの予測処理として、運動モデルに従って時刻ｔ−１の各粒子ｓ’ｔ−１（ｉ）を状態遷移させ時刻ｔの粒子ｓｔ（ｉ）を予測する。本実施の形態では、運動モデルとしてランダムウォークモデルを用いる。なぜなら、ここでは多くの環境を想定しており、特にパン、チルト及びズームの制御が可能なカメラ１で追尾対象を追跡する際は、追尾対象の動きを等速直線運動などで近似するのは困難なためである。下記の数１４に、ランダムウォークモデルの式を示す。
【００６７】
【数１４】
【００６８】
ただし、ｗｔ−１は、ガウスノイズである。ｗｔ−１は、ガウスイメージに従った乱数イメージとして良い。つまり、時刻ｔ−１の位置に乱数が加わって時刻ｔの位置が決まることになる。
【００６９】
なお、追跡処理開始直後の場合（ステップＳ４からステップＳ５へ移行した場合）、ステップＳ４で学習に使用したデータを数１４の時刻ｔ−１のデータとして扱い、状態を遷移させる。
【００７０】
ステップＳ２０２の後に、処理部２は、パーティクル（粒子）の番号ｎの値を１に設定する（ステップＳ２０３）。
【００７１】
次いで、処理部２は、ｎ番目の粒子の位置の画素を着目画素とし、その着目画素に関するＬｕｖ画素値の平均値・分散値を算出する（ステップＳ２０４）。その算出手法は、前述した通りである。
【００７２】
引き続いて、処理部２は、ｎ番目の粒子の位置の画素を着目画素とし、その着目画素に関するエッジ方向ヒストグラム（ＥＯＨ）を取得する（ステップＳ２０５）。その取得手法は、前述した通りである。
【００７３】
その後、処理部２は、ｎ番目の粒子の位置の画素を着目画素とし、その着目画素に関するローカルバイナリーパターン（ＬＢＰ）のヒストグラム取得する（ステップＳ２０６）。その取得手法は、前述した通りである。
【００７４】
次に、処理部２は、ｎ番目の粒子に関してステップＳ２０４〜Ｓ２０６で取得した特徴量を要素とする特徴ベクトルｖによる前記AdaBoost識別器の応答値Ｆを、下記の数１５に従って算出する（ステップＳ２０７）。応答値Ｆが正であれば、ｎ番目の粒子の位置の画素が追尾対象画素であると識別されたことを意味し、応答値Ｆが負であれば、ｎ番目の粒子の位置の画素が背景画素であると識別されたことを意味する。
【００７５】
【数１５】
【００７６】
次いで、処理部２は、ステップＳ２０７で算出された応答値Ｆから、下記の数１６に従って、ｎ番目の粒子の尤度πｔ（ｉ）を算出する（ステップＳ２０８）。数１６において、ａは定数である。この処理は、パーティクルフィルタの観測に相当している。
【００７７】
【数１６】
【００７８】
なお、尤度πｔ（ｉ）の算出式は数１６に限定されるものではない。その算出式は、応答値Ｆは−１から＋１までの値を取ることから、この区間で単調増加となる関数の式であれば良い。
【００７９】
引き続いて、処理部２は、全てのパーティクルについてステップＳ２０４〜Ｓ２０８を行って尤度πｔ（ｉ）を算出したか否かを判定する（ステップＳ２０９）。全てのパーティクルフィルタについて算出が終了していればＳ２１１へ移行する。一方、終了していなければ、粒子の番号ｎの値を１だけインクリメントした（ステップＳ２１０）後に、ステップＳ２０４へ戻る。
【００８０】
ステップＳ２１１において、処理部２は、各粒子の状態である画素位置の、ステップＳ２０８で算出した各粒子の尤度πｔ（ｉ）を用いた重み付け平均値Ｅ［Ｓｔ］を、下記の数１７に従って、状態の推定結果である追尾対象の位置（ここでは、重心位置）の推定結果（追跡結果の一部）として算出する。
【００８１】
【数１７】
【００８２】
次に、処理部２は、各パーティクル（粒子）ｓｔ（ｉ）について、ステップＳ２１１で推定結果として得た追尾対象の重心位置（￣ｘ，￣ｙ）に対する当該パーティクルｓｔ（ｉ）の前記尤度πｔ（ｉ）によって重み付けされた共分散行列を用いたマハラノビス距離Ｄｔ（ｉ）を、下記の数２２に従って算出する（ステップＳ２１２）。なお、￣ｘは上バー付きのｘを示し、￣ｙは上バー付きのｙを示している。
【００８３】
下記の数１８〜数２１に、各粒子ｓｔ（ｉ）＝ｘｔ（ｉ）＝（ｘｔ（ｉ），ｙｔ（ｉ））の重み付き共分散行列Σｔ’を示す。
【００８４】
【数１８】
【００８５】
【数１９】
【００８６】
【数２０】
【００８７】
【数２１】
【００８８】
各粒子ｓｔ（ｉ）の追尾対象の重心位置（￣ｘ，￣ｙ）に対するマハラノビス距離Ｄｔ（ｉ）は、下記の数２２のようになる。数２２において、￣ｓｔ＝￣ｘｔ＝（￣ｘｔ，￣ｙｔ）、Σｔ'-1はΣｔ’の逆行列である。
【００８９】
【数２２】
【００９０】
マハラノビス距離の等しい点を結ぶと楕円を描く。マハラノビス距離は、あるサンプルが正規分布に従うと仮定した場合，そのサンプルの信頼区間を表わすものと考えることができる．本実施の形態では、例えば、経験的にサンプルつまり重み付き粒子群を約80％含むようにマハラノビス距離Ｄ≒１．４０とする。このマハラノビス距離を用いて描いた楕円（内側の楕円）を対象楕円として、図９中に示している。図９において、外側の楕円は、全てのすべての粒子部群を含むようにマハラノビス距離Ｄ＝１０として描いたものであり、背景楕円である、図９において、白点はAdaBoost識別器の応答値Ｆが正（つまり、追尾対象と識別された）の粒子、黒点は応答値Ｆが負（つまり、背景と識別された）の粒子を表す。
【００９１】
ステップＳ２１２において各粒子ｓｔ（ｉ）についてマハラノビス距離Ｄｔ（ｉ）を算出した後、処理部２は、すべてのパーティクルｓｔ（ｉ）のうちAdaBoost識別器により追尾対象画素であると識別された画素に応じたパーティクル（すなわち、応答値Ｆが正のパーティクル）に基づいて、追尾対象の大きさを推定する（ステップＳ２１３）。本実施の形態では、処理部２は、応答値Ｆが正のパーティクルのうちの、ステップＳ２１２で算出されたマハラノビス距離Ｄｔ（ｉ）が所定値（例えば、１．４０）以下であるパーティクルの分布状況に基づいて、追尾対象の大きさを推定する。
【００９２】
本実施の形態では、具体的には、ステップＳ２１３において、処理部２は、応答値Ｆが正でかつマハラノビス距離Ｄｔ（ｉ）が所定値（例えば、１．４０）以下の粒子に絞り込む。そして、処理部は、その絞り込まれた粒子の位置（当該粒子の状態である画素位置）のｘ座標及びｙ座標について、それぞれ最大値と最小値を求める。このとき、ｘ座標の最小値をｘｓ、ｘ座標の最大値をｘｅ、ｙ座標の最小値をｙｓ、ｙ座標の最大値をｙｅ、とする。その結果から、処理部２は、追尾対象となる領域の矩形の領域を、始点が（ｘｓ，ｙｓ）で終点が（ｘｅ，ｙｅ）の矩形領域として、この領域の大きさであるとして追尾対象領域の大きさを推定する。図３中のカメラ制御処理（ステップＳ７）においてカメラ１のズームを制御する場合には、この矩形領域を示すデータを使用する。
【００９３】
次に、処理部２は、追跡結果（ステップＳ２１１で推定された追尾対象の位置とステップＳ２１３で推定された追尾対象の大きさ）の信頼度ｃｔとして、下記の数２３及び数２４に従って、全粒子の尤度の空間的な重み付け平均値を算出する（ステップＳ２１４）。ただし、数２５が成立する。数２３〜数２５において、Ｎは粒子の数、ｗｔ（ｉ）は各粒子の空間的な重み、Ｄｔ（ｉ）は各粒子の前記数２２のマハラノビス距離である。
【００９４】
【数２３】
【００９５】
【数２４】
【００９６】
【数２５】
【００９７】
前述したパーティクルフィルタでは、画像上の位置（ｘ、ｙ）を状態として扱い、その尤度は各粒子が追尾対象か背景かの確率を示すものとなっている。追尾対象は点の集合であることから、各位置の尤度の平均値を追尾対象の信頼度として扱うことも可能ではあるが、より確かな値として扱うために数２３で示される信頼度ｃｔを算出している。
【００９８】
ここでは、追尾対象の粒子は集中していると仮定をし、尤度に対して単なる平均値を算出するのではなく、数２３に示すように、空間的な重み付け平均値を算出することで信頼度ｃｔとしている。図１０はその説明図である。図１０（ａ）は、画像の左上を原点とし粒子の分布を表すものである。図１０（ｂ）は各粒子の尤度である。図１０（ｃ）は上述した空間的な重み付けであり、数２４のｗｔ（ｉ）に相当する。この図１０（ｂ）の尤度に図１０（ｃ）の各粒子の空間的重みを乗算すると、図１０（ｄ）のようになり、この積和演算の結果が今回用いている信頼度ｃｔとなる。
【００９９】
ステップＳ２１４の後、処理部２は、ステップＳ２１４において算出した信頼度ｃｔが、予め設定した閾値よりも高いか否かを判定する（ステップＳ２１５）。高ければステップＳ２１６へ移行し、高くなければステップＳ２１７へ移行する。
【０１００】
ステップＳ２１６において、処理部２は、信頼度ｃｔが閾値よりも高かった場合は、追尾が成功したと判定し、追尾結果フラグを１とする。その後、ステップＳ２１８へ移行する。
【０１０１】
ステップＳ２１７において、処理部２は、信頼度ｃｔが閾値よりも高くなかった場合は、追尾が失敗したと判定し、追尾結果フラグを０とする。その後、ステップＳ２１８へ移行する。
【０１０２】
ステップＳ２１８において、処理部２は、前記AdaBoost識別器を更新させる更新処理を行う。処理部２は、この更新処理において、ステップＳ２０２において状態が遷移され予測された時刻ｔの粒子ｓｔ（ｉ）のうちの所定のパーティクルを追尾対象画素用の学習サンプルとするとともに、時刻ｔの粒子ｓｔ（ｉ）のうちの他の所定のパーティクルを背景画素用の学習サンプルとして、前記AdaBoost識別器を更新させる。
【０１０３】
ここで、図１１を参照して、AdaBoost識別器の更新処理（ステップＳ２１８）の一例について説明する。なお、図８中のAdaBoost識別器の更新処理（ステップＳ２１８）は、図１１に示す例に限定されるものではない。
【０１０４】
AdaBoost識別器の更新処理（ステップＳ２１８）を開始すると、図１１に示すように、処理部２は、まず、追尾対象の学習サンプルと背景の学習サンプルの分類を行う（ステップＳ３０１）。具体的には、処理部２は、前述した図９に示す対象楕円（内側の楕円、マハラノビス距離Ｄ≒１．４０とした楕円）内の領域を追跡対象領域Ｒｔａｒｇｅｔとし、図９に示す背景楕円（外側の楕円、マハラノビス距離Ｄ＝１０とした楕円）と対象楕円との間の領域を背景領域Ｒｂａｃｋとする。そして、処理部２は、追跡対象領域Ｒｔａｒｇｅｔ中で、AdaBoost識別器の応答値Ｆが正の粒子を対象の学習に使用するポジティブサンプル、背景領域Ｒｂａｃｋの中のすべての粒子を背景の学習に使用するネガティブサンプルとする。これを数式で表現すると、下記の数２６の上段がポジティブサンプル、下段がネガティブサンプルとなる。
【０１０５】
【数２６】
【０１０６】
次に、処理部２は、ステップＳ３０１で分類された各サンプルについて、学習サンプルの重みを算出する（ステップＳ３０２）。このとき、ポジティブサンプルの重みは下記の数２７の上段によって算出し、ネガティブサンプルの重みは下記の数２７の下段によって算出する。
【０１０７】
【数２７】
【０１０８】
数２７において、Ｆ(ｖ(ｓｔ（ｉ）))は粒子ｓｔ（ｉ）に対するAdaBoost識別器の応答値、Ｄｔ（ｉ）は各粒子の前記数２２のマハラノビス距離である。
【０１０９】
引き続いて、処理部２は、全てのサンプルについて重みを算出したかを否かを判定する（ステップＳ３０３）。算出されていればステップＳ３０４へ移行し、算出されていなければＳ３０２へ戻る。
【０１１０】
ステップＳ３０４において、処理部２は、ステップＳ３０２で新たに算出された重みを使い、ステップＳ４と同様の学習（再学習）を行い、識別器を作成する。
【０１１１】
次に、処理部２は、新たに学習した識別器と既存の識別器とを統合することにより識別器を更新する（ステップＳ３０５）。過剰更新を防ぐため、本実施の形態では、初期化時ｔ＝１に学習された強識別器Ｆ１（ｖ）と、ｔ＞１において逐次更新により学習された識別器Ｆｔ（ｖ）とを統合する。下記の数２８及び数２９に、Ｆ１（ｖ）、Ｆｔ（ｖ）の式を示す。
【０１１２】
【数２８】
【０１１３】
【数２９】
【０１１４】
ただし、ｆ１，ｍ（ｖ）はｔ＝１における弱識別器、Ｍは弱識別器の数、ｆｔ（ｖ）はｔ＞１における弱識別器、Ｔは更新弱識別器の履歴数、Ｋは更新する弱識別器の数、ｃｔは追尾対象の信頼度である。初期化時の識別器Ｆ１（ｖ）、追加学習により得られた識別器Ｆｔ（ｖ）を下記の数３０のように統合し識別器Ｆ（ｖ）を更新する。
【０１１５】
【数３０】
【０１１６】
ただし、β１，βｔはそれぞれ初期識別器Ｆ１（ｖ）と、追加学習された識別器Ｆｔ（ｖ）の学習サンプルにおける誤識別率に基づく重みであり、下記の数３１〜数３３のように定義する。
【０１１７】
【数３１】
【０１１８】
【数３２】
【０１１９】
【数３３】
【０１２０】
ここで、ｅ１，ｅｔは、それぞれ初期化時ｔ＝１の識別器Ｆ１（ｖ）とｔ＞１で追加学習された識別器Ｆｔ（ｖ）の学習サンプルに対する重み付き誤識別率である。つまり、ｅｔはステップＳ３０５で算出された値となる。
【０１２１】
ステップＳ３０５が終了すると、図８中の識別器の更新処理（ステップＳ２１８）が終了し、図３中のステップＳ６へ移行する。
【０１２２】
再び図３を参照すると、ステップＳ６において、処理部２は、現在の追跡結果フラグが１であるか否かを判定することで、ステップＳ５の追跡処理による追跡が成功したか否かを判定する。追跡が成功であれば（追跡結果フラグが１であれば）、ステップＳ７へ移行する。一方、追跡が失敗であれば（追跡結果フラグが０であれば）、ステップＳ８へ移行する。ステップＳ８において、処理部２は、追追跡の失敗の状態が一定時間継続しているか否かを判定する。一定時間継続していない場合は、追跡処理（ステップＳ５）に戻り、その処理を繰り返す。一定時間継続している場合は、追跡処理が成功する見込みがないものとみなして、ステップＳ１（プリセット状態）に戻る。
【０１２３】
ステップＳ６において追跡が成功である（追跡結果フラグが１である）と判定されると、処理部２は、追跡処理（ステップＳ５）で得た追跡結果、すなわち、図８中のステップＳ２１１で推定された追尾対象の位置及び図８中のステップＳ２１３で推定された追尾対象の大きさに応じて、カメラ１が追尾対象を追尾するように、カメラ１のパン、チルト及びズームを制御するカメラ制御処理を行う。このカメラ制御処理において、処理部２は、前記追跡結果に基づいて現在から所定時間経過後（ｎｆフレーム後）の追尾対象の位置及び大きさを予測し、その予測結果に応じて、カメラ１に対する現在のパン、チルト及びズームの制御状態を修正してカメラ１のパン、チルト及びズームを制御する。ここで、本実施の形態では、追尾対象の位置及び大きさを予測は、カルマンフィルタにより行う。
【０１２４】
ここで、図１２乃至図１５を参照して、カメラ制御処理（ステップＳ７）の一例について説明する。なお、図３中のカメラ制御処理（ステップＳ７）は、図１２乃至図１５に示す例に限定されるものではない。
【０１２５】
カメラ制御処理（ステップＳ７）を開始すると、図１２に示すように、処理部２は、まず、処理部２は、カメラ制御処理において用いる情報として、追跡結果（図８中のステップＳ２１１で推定された追尾対象の位置及び図８中のステップＳ２１３で推定された追尾対象の大きさ）を取得する（ステップＳ５０１）。なお、この追跡結果は処理部２がそもそも有しているので、本来はその取得動作は不要であるが、ここでは理解を容易にするため、このステップＳ５０１を挿入している。
【０１２６】
次に、処理部２は、現在のカメラ１のパン、チルト、ズームのそれぞれの制御状態を示す情報として、パン制御フラグ、チルト制御フラグ、ズーム制御フラグを取得する（ステップＳ５０２）。本実施の形態では、カメラ１は、パン、チルト、ズームのそれぞれについて、処理部２から制御指令受けてからその制御動作を行ってその制御動作が完了すると制御完了信号を処理部２に返すようになっている。処理部２は、カメラ１にパン制御指令を与えるときにパン制御フラグを１にセットし、カメラ１からパン制御完了信号を受けたときに割り込み処理でパン制御フラグを０にリセットする。また、処理部２は、カメラ１にチルト制御指令を与えるときにチルト制御フラグを１にセットし、カメラ１からチルト制御完了信号を受けたときに割り込み処理でチルト制御フラグを０にリセットする。さらに、処理部２は、カメラ１にズーム制御指令を与えるときにズーム制御フラグを１にセットし、カメラ１からズーム制御完了信号を受けたときに割り込み処理でズーム制御フラグを０にリセットする。このように、パン、チルト、ズームのそれぞれの制御フラグは、１であれば対応する動作が制御中であることを示し、０であれば対応する動作が停止中であることを示す。以上の説明からわかるように、パン制御フラグ、チルト制御フラグ、ズーム制御フラグは処理部２がそもそも有しているので、本来はその取得動作は不要であるが、ここでは理解を容易にするため、このステップＳ５０２を挿入している。
【０１２７】
次に、処理部２は、全ての制御フラグ（パン制御フラグ、チルト制御フラグ、ズーム制御フラグ）が０であるか否かを判定し（ステップＳ５０３）、全ての制御フラグが０であればステップＳ５１９へ移行し、いずれか１つ以上の制御フラグが１であればステップＳ５０４へ移行する。
【０１２８】
ステップＳ５０４において、処理部２は、ステップＳ５０１で取得した追跡結果（特に、追尾対象の位置）が、前のフレームで取得した追跡結果（特に、追尾対象の位置）に比較して、画像中央から遠ざかっているかどうかを判定する。遠ざかっている場合はステップＳ５０６へ移行し、近づいている場合はステップＳ５０５へ移行する。
【０１２９】
画像中央から遠ざかっている場合は、前のフレームからの制御が適していないと判断し、処理部２は、ステップＳ５０６においてパン、チルト、ズームいずれの制御フラグも０にリセットし、さらに、カメラ制御を停止させる（ステップＳ５０７）。
【０１３０】
ステップＳ５０５において、処理部２は、ステップＳ５０１で取得した追跡結果に基づいて、それまでの追尾対象の進行方向や大きさの変化の方向（だんだん拡大していくのか、だんだん縮小していくのか）が変わってしまったかどうかを判定する。進行方向及び大きさの変化共に変化がなければステップＳ５０８へ移行し、いずれかが変化している場合はステップＳ５０６へ移行する。
【０１３１】
ステップＳ５０８において、処理部２は、ズーム制御フラグが１であるか否かを判定することで、現在、ズーム制御の途中であるか否かを判定する。ズーム制御中であればステップＳ５０９へ移行し、ズーム制御中でなければステップＳ５１１に移行する。
【０１３２】
ステップＳ５０９において、処理部２は、ステップＳ５０１で取得した追跡結果が、既に予め設定しておいた目標とする大きさの範囲に達しているかどうかを判定する。達している場合はＳ５１０へ移行し、達していない場合はステップＳ５１１へ移行する。
【０１３３】
ステップＳ５１０において、処理部２は、ズームの制御フラグを０にする。これは、予め設定しておいた目標とする大きさの範囲に達しているため、その時点でズーム制御をストップさせることが好ましいためである。
【０１３４】
ステップＳ５１１において、処理部２は、パン制御フラグが１であるか否かを判定することで、現在、パン制御の途中であるか否かを判定する。パン制御中であればステップＳ５１２へ移行し、パン制御中でなければステップＳ５１４へ移行する。
【０１３５】
ステップＳ５１２において、処理部２は、ステップＳ５０１で取得した追跡結果が、既に予め設定しておいた目標とする水平方向の位置の範囲に達しているか否かを判定する。達している場合はステップＳ５１３へ移行し、達していない場合はＳ５１４へ移行する。
【０１３６】
ステップＳ５１３において、処理部２は、パンの制御フラグを０にする。これは、予め設定しておいた目標とする水平方向の位置の範囲に達しているため、その時点でパン制御をストップさせることが好ましいためである。
【０１３７】
ステップＳ５１４において、チルト制御フラグが１であるか否かを判定することで、現在、チルト制御の途中であるか否かを判定する。チルト制御中であればステップＳ５１５へ移行し、チルト制御中でなければＳ５１７へ移行する。
【０１３８】
ステップＳ５１５において、処理部２は、Ｓ５０１で取得した追跡結果が、既に予め設定しておいた目標とする垂直方向の位置の範囲に達しているか否かを判定する。達している場合はＳ５１６へ移行し、達していない場合はＳ５１７へ移行する。
【０１３９】
ステップＳ５１６において、処理部２は、チルトの制御フラグを０にする。これは、予め設定しておいた目標とする垂直方向の位置の範囲に達しているため、その時点でチルト制御をストップさせることが好ましいためである。
【０１４０】
ステップＳ５１７において、処理部２は、パン制御フラグ、チルト制御フラグ、ズーム制御フラグのいずれかに変更があったか否かを判定する。ステップＳ５１０、Ｓ５１３、Ｓ５１６のいずれかを行った場合はＳ５１８へ移行し、いずれも行わなかった場合はそのまま制御を続行させるためＳ５１９へ移行する。
【０１４１】
ステップＳ５１８において、処理部２は、制御を変更する。これは、ステップＳ５１８に到達するということは、その前の予測によるカメラ１のパン、チルト、ズームの制御と実際の追尾対象の動きに違いが生じていることを示すことになるためである。
【０１４２】
ステップＳ５１９において、処理部２は、カメラ１から、現在のカメラ１の姿勢（パン、チルト、ズームの位置）を取得する。
【０１４３】
次に、処理部２は、ステップＳ５０１で取得した追跡結果と、その前の追跡処理の結果から、ｎｆフレーム後の追尾対象の位置と大きさを予測する（ステップＳ５２０）。ｎｆフレーム後とは、例えば、ＮＴＳＣの信号の場合、（ｎｆ／３０）秒後に相当する。
【０１４４】
ここでは、ｎｆフレーム後の追尾対象の位置と大きさを予測するため、カルマンフィルタを用いる。
【０１４５】
ここでは、追尾対象の位置及び大きさの変化が等速であり、かつその変化が滑らかであると仮定して、カルマンフィルタを構成する。カルマンフィルタでは、追尾対象の状態の変化が設定したモデルに厳密に当てはまらないとしても、誤差項があるので近似的に適用できる場合が多い。
【０１４６】
時刻ｋの状態変数ベクトルｘｋを下記の数３４のように定義する。
【０１４７】
【数３４】
【０１４８】
ここで、ｘｋと上にドットを付したｘｋは画像における対象矩形の中心の水平座標と速度、ｙｋと上にドットを付したｙｋは垂直座標と速度、ｓｋと上にドットを付したｓｋは大きさ（矩形の横幅と縦幅の積）とその変化を表す。
【０１４９】
この状態ベクトルとカメラ１の制御、誤差を考慮したシステム方程式は、下記の数３５で定義される。
【０１５０】
【数３５】
【０１５１】
数３５において、Ａは下記の数３６に示す定数行列である。
【０１５２】
【数３６】
【０１５３】
入力画像の横幅をＷｓｒｃ、縦幅をＨｓｒｃ、時刻ｋにおける水平画角をθｋ、垂直画角をφｋ、カメラのパン角速度を上にドットを付したＰｋ、チルト角速度を上のドットを付したＴｋとすると、各時刻でパン・チルト制御による画素の水平・垂直方向の変化量は下記の数３７及び数３８でそれぞれで表される。
【０１５４】
【数３７】
【０１５５】
【数３８】
【０１５６】
なお、ズーム操作による画角の変化をλとすると、λは下記の数３９で表すことができる。
【０１５７】
【数３９】
【０１５８】
以上の要素から、制御ベクトルｕｋは下記の数４０で与えられる。ｕｋはカメラ制御による画像の変動を表す制御ベクトルである。
【０１５９】
【数４０】
【０１６０】
ｗｋはシステム誤差であり、下記の数４１で示すように、共分散行列Ｑｋかつ平均０の正規白色過程に従う。
【０１６１】
【数４１】
【０１６２】
ここでは、先に述べた追跡処理から得た、追尾対象を囲む矩形の位置と大きさを観測値とし、時刻ｋの観測ベクトルを下記の数４２のように定義する。
【０１６３】
【数４２】
【０１６４】
観測方程式は、下記の数４３で表される。
【０１６５】
【数４３】
【０１６６】
ここでＨは下記の数４４に示す定数行列である。また、数４５で示すように、観測誤差ｖｋは共分散行列Ｒｋかつ平均０の正規白色過程に従う。
【０１６７】
【数４４】
【０１６８】
【数４５】
【０１６９】
カルマンフィルタでは、現在時刻の観測量と１期前の状態量を用いて、現在時刻の推定量を推定する。システムの現在時刻ｋの状態は下記の数４６で示す２つの変数で表される。なお、本明細書において、記号の上に付した符号＾は、推定値を意味している。
【０１７０】
【数４６】
【０１７１】
カルマンフィルタは、時間ステップをひとつ進めるために予測と更新の二つの手続きを行う。予測の手続きでは、前の時刻の推定状態から、現在時刻の推定状態を計算する。更新では、今の時刻の観測を用い、推定値を補正することで、より正確な状態を推定する。
【０１７２】
予測に関し、現在時刻の推定値は下記の数４７で表され、現在時刻の誤差の共分散行列は下記の数４８で表される。
【０１７３】
【数４７】
【０１７４】
【数４８】
【０１７５】
更新に関し、カルマンフィルタは、更新後の誤差の推定値を最小にするカルマンゲインを下記の数４９〜数５３により計算し、状態を更新していく。
【０１７６】
【数４９】
【０１７７】
【数５０】
【０１７８】
【数５１】
【０１７９】
【数５２】
【０１８０】
【数５３】
【０１８１】
以上の計算により、誤差を考慮した現在時刻の状態量を推定することができる。
【０１８２】
ここで、カルマンフィルタの初期条件の設定について説明する。追跡開始の際の追尾対象矩形の中心座標を（ｘ０，ｙ０）、大きさをｓ０とすると、状態の初期値は下記の数５４のようになる。ここで、速度は０としている。
【０１８３】
【数５４】
【０１８４】
初期条件に誤差があるなら、誤差の共分散行列を下記の数５５のように与える。
【０１８５】
【数５５】
【０１８６】
フィルタの特性はシステム誤差と観測誤差の分散比であり、この分散比が大きいほどフィルタ処理後の推定値は元の観測値に忠実となるが誤差に敏感となり、小さいほど平滑化されるがデータに対する追従性が落ちる。本実施の形態では、対象人物の移動方向の変化、立ち止まりなどに迅速に対応できるが、追跡結果に含まれる誤差には影響を受けにくい程度の分散比を経験的に用いる。
【０１８７】
以上、図１３中のステップＳ５２０の処理で用いるカルマンフィルタについて説明した。
【０１８８】
ステップＳ５２０の後に、処理部２は、ステップＳ５２０の予測によって得られたｎｆフレーム後の追尾対象の大きさと目標とすべき追尾対象の大きさｓｉから、ｎｆフレーム後の水平画角または垂直画角を算出する（ステップＳ５２１）。ただし、下記の数５６は水平画角を算出するものである。
【０１８９】
【数５６】
【０１９０】
次に、処理部２は、ステップＳ５２１で算出された水平画角がズームの限界に達しているか否かを判定する（ステップＳ５２２）。ズームの限界に達している場合はステップＳ５４９へ移行する。ただし、ズームアウトで限界に達している場合はステップＳ５２３へ移行する。ズームイン、ズームアウトのいずれも限界に達していない場合はステップＳ５２３へ移行する。
【０１９１】
ステップＳ５２３において、処理部２は、Ｓ５２１で得られた結果から現在の水平画角と比較し、ズームの制御量は所定値より小さいか否かを判定する。小さければＳ５２４へ移行し、大きければＳ５２６へ移行する。
【０１９２】
ステップＳ５２４において、処理部２は、ズーム制御速度を０にセットする。引き続いて、処理部２は、ズーム制御フラグを０にセットし（ステップＳ５２５）、ステップＳ５３０へ移行する。これらにより、ズームの制御を行わない。このように、ズームの制御量が小さい場合は、ズームの制御を行わない。ズームの制御量が小さい場合、ズームの制御を行うと、細かい動きをすることになるので、表示部５を監視する監視者に不快感を与える可能性があるためである。
【０１９３】
ステップＳ５２６において、ズームの制御速度Ｚｓｐｅｅｄを下記の数５７により算出する。ここで、ｆｒはフレームレート（ＮＴＳＣの場合はｆｒ＝３０）を示す。また、Ｚｐｔは水平画角が時刻ｔのときのズームポジションである。
【０１９４】
【数５７】
【０１９５】
その後、処理部２は、ステップＳ５２６で算出されたズームの制御速度Ｚｓｐｅｅｄと現在制御中の速度との間の差が所定値より大きいか否かを判定する（ステップＳ５２７）。差が大きければステップＳ５２８へ移行し、差が小さければステップＳ５２９へ移行する。ここでも、差が一定値以上大きくなければズームの制御速度の変更を行わないのは、表示部５を目視監視する監視者にとってズームの制御速度が頻繁に変化することは不快感につながる可能性があるので、これを回避するためである。また、追尾対象は画像中の真ん中近くにあればよく、画像中心と全くずれがない状態を維持することが目的ではない。
【０１９６】
ステップＳ５２８において、処理部２は、ステップＳ５２６で算出されたズームの制御速度の値に変更する。その後、ステップＳ５２９へ移行する。
【０１９７】
ステップＳ５２９において、処理部２は、ズーム制御フラグを１に設定する。その後、ステップＳ５３０へ移行する。
【０１９８】
ステップＳ５３０において、処理部２は、ステップＳ５２０の予測で得られた結果から、パンの制御量は所定値より小さいか否かを判定する。小さければステップＳ５３１へ移行し、大きければステップＳ５３３へ移行する。
【０１９９】
ステップＳ５３１において、処理部２は、パンの制御速度を０にセットする。引き続いて、処理部２は、パン制御フラグを０にセットし（ステップＳ５３２）、ステップＳ５３８へ移行する。これらにより、パンの制御を行わない。このように、パンの制御量が小さい場合は、パンの制御を行わない。パンの制御量が小さい場合、パンの制御を行うと、細かい動きをすることになるので、表示部５を監視する監視者に不快感を与える可能性があるためである。
【０２００】
ステップＳ５３３において、処理部２は、パンの制御速度Ｐｓｐｅｅｄを下記の数５８により算出する。ここでＷｓｒｃは入力画像の横幅である。
【０２０１】
【数５８】
【０２０２】
その後、処理部２は、ステップＳ５３３で算出されたパンの制御速度Ｐｓｐｅｅｄでパンを制御した仮定した場合において、ｎｆフレーム分時間が経過したとき（ｎｆ／ｆｒ秒後）のパンの位置を計算し、その値がパンの限界に達するか又はパンの限界を超えた値となるか否かを判定する（ステップＳ５３４）。その値がパンの限界に達するか又はパンの限界を超えた値となる場合は、ステップＳ５４９へ移行し、そうではない場合はステップＳ５３５へ移行する。
【０２０３】
ステップＳ５３５において、処理部２は、ステップＳ５３３で算出されたパンの制御速度Ｐｓｐｅｅｄと現在制御中の速度との差が所定値より大きいか否かを判定する。差が大きければステップＳ５３６へ移行し、差が小さければステップＳ５３７へ移行する。
【０２０４】
ステップＳ５３６において、処理部２は、ステップＳ５３６で算出されたパンの制御速度の値に変更する。その後ステップＳ５３７へ移行する。
【０２０５】
ステップＳ５３７において、処理部２は、パン制御フラグを１に設定する。その後、ステップＳ５３８へ移行する。
【０２０６】
ステップＳ５３８において、処理部２は、ステップＳ５２０の予測で得られた結果から、チルトの制御量は所定値より小さいかどうかを判定する。小さければステップＳ５３９へ移行し、大きければステップＳ５４１へ移行する。
【０２０７】
ステップＳ５３９において、処理部２は、チルトの制御速度を０にセットする。引き続いて、処理部２は、チルト制御フラグを０にセットし（ステップＳ５４０）、ステップＳ５４６へ移行する。これらにより、チルトの制御を行わない。このように、チルトの制御量が小さい場合は、チルトの制御を行わない。チルトの制御量が小さい場合、チルトの制御を行うと、細かい動きをすることになるため表示部５を監視する監視者に不快感を与える可能性があるためである。
【０２０８】
ステップＳ５４１において、処理部２は、チルトの制御速度Ｔｓｐｅｅｄを下記の数５９により算出する。ここでＨｓｒｃは入力画像の高さ（縦方向の長さ）である。
【０２０９】
【数５９】
【０２１０】
その後、処理部２は、Ｓ５４１で算出されたチルトの制御速度Ｔｓｐｅｅｄでチルトを制御したと仮定した場合において、ｎｆフレーム分時間が経過したとき（ｎｆ／ｆｒ秒後）のチルトの位置を計算し、その値がチルトの限界に達するか又はチルトの限界を超えた値となる否かを判定する（ステップＳ５４２）。その値がチルトの限界に達するか又はチルトの限界を超えた値となる場合は、ステップＳ５４９へ移行し、そうではない場合はステップＳ５４３へ移行する。
【０２１１】
ステップＳ５４３において、処理部２は、ステップＳ５４１で算出されたチルトの制御速度Ｔｓｐｅｅｄと現在制御中の速度との差が所定値より大きいか否かを判定する。差が大きければＳ５４４へ移行し、差が小さければＳ５４５へ移行する。
【０２１２】
ステップＳ５４４において、処理部２は、ステップＳ５４１で算出されたチルトの制御速度の値に変更する。その後ステップＳ５４５へ移行する。
【０２１３】
ステップＳ５４５において、処理部２は、チルト制御フラグを１に設定する。その後、ステップＳ５４６へ移行する。
【０２１４】
ステップＳ５４６において、処理部２は、全ての制御フラグ（パン制御フラグ、チルト制御フラグ、ズーム制御フラグ）が０であるか否かを判定する。全ての制御フラグが０であれば、制御しないことになるため、ステップＳ５４７を経ることなくステップＳ５４８へ移行する。いずれか１つ以上の制御フラグが１であれば、ステップＳ５４７へ移行する。
【０２１５】
ステップＳ５４７において、処理部２は、１になっている制御フラグ及びこれに対応する制御速度に応じた制御を行うようにカメラ１に制御指令を与える。その制御は、その速度に応じてｎｆ／ｆｒ秒間行うが、このループを出てステップＳ５４８へ移行するのは制御が完了するのを待たないでよい。なお、本実施の形態では、制御フラグ自体によって制御指令がカメラ１に与えられるわけではなく、ステップＳ５４７のような動作によって制御フラグ及び制御速度に応じた制御指令がカメラ１に与えられるようになっている。
【０２１６】
ステップＳ５４８において、処理部２は、追尾限界フラグを０（０は、パン、チルト、ズームのいずれもが限界に達する可能性がないことを示す）にする。これは、パン、チルト、ズームのいずれもが限界に達する可能性がない場合に、ステップＳ５４８に到達するためである。ステップＳ５４８の後、カメラ制御処理（ステップＳ７）を終了して、図３中のステップＳ９へ移行する。
【０２１７】
ステップＳ５４９において、処理部２は、追尾限界フラグを１（１は、パン、チルト、ズームのいずれかが限界に達する可能性があることを示す）にする。これは、パン、チルト、ズームの少なくともひとつが限界に達する可能性がある場合に、ステップＳ５４９に到達するためである。ステップＳ５４９の後、ステップＳ５５０において、処理部２は、カメラ１の姿勢制御中であれば、その制御を停止する。ステップＳ５５０の後、カメラ制御処理（ステップＳ７）を終了して、図３中のステップＳ９へ移行する。
【０２１８】
再び図３を参照すると、ステップＳ９において、処理部２は、追尾限界フラグが１であるか否かを判定する。追尾限界フラグが１であれば、追尾対象の追尾の継続が困難であると判断し、ステップＳ１（プリセット状態）に戻る。追尾限界フラグが０であれば、追尾対象の追尾の継続が可能であるので、ステップＳ５へ戻って、追尾対象の追尾を継続する。
【０２１９】
本実施の形態によれば、前記パーティクルフィルタにより追尾対象の位置を推定する（図８中のステップＳ２１１）ので、相関演算とは異なり、複数の解の候補（複数のパーティクル）を持つので追跡失敗から回復する可能性が高くなり、オクルージョンや複雑な背景などに対して強く、より精度良く追跡処理を行うことができ、ひいては、追尾対象をより精度良く追尾して撮像することができる。また、本実施の形態によれば、AdaBoost識別器により追尾対象画素と背景画素とが識別され、前記パーティクルフィルタがAdaBoost識別器の応答値から算出した尤度を用いるものであるため、追尾対象以外の背景の形状や大きさや色や明暗変化などの背景の変化の影響を受け難くなり、この点からも、より一層精度良く追跡処理を行うことができ、ひいては、追尾対象をより一層精度良く追尾して撮像することができる。
【０２２０】
また、本実施の形態によれば、前記AdaBoost識別器により追尾対象画素であると識別された画素に応じたパーティクルに基づいて追尾対象の大きさを推定する（図８中のステップＳ２１３）ので、追尾対象の大きさについても、オクルージョンや複雑な背景などに対して強く、より精度良く追跡処理を行うことができ、ひいては、追尾対象をより精度良く追尾して撮像することができる。
【０２２１】
さらに、本実施の形態によれば、AdaBoost識別器を更新させるので、追尾対象の見え方の変化や環境（照明及び日照条件など）の変化に対応することができ、これにより、AdaBoost識別器による追尾対象画素であるか背景画素であるかの識別の精度が高まる。したがって、本実施の形態によれば、より一層精度良く追跡処理を行うことができ、ひいては、追尾対象をより一層精度良く追尾して撮像することができる。
【０２２２】
本実施の形態によれば、追尾対象の信頼度信頼度ｃｔとして、全粒子の尤度の空間的な重み付け平均値を算出し（ステップＳ２１４）、その値が所定値以上であるか否かを判定している（ステップＳ１１１，Ｓ１１２，Ｓ６）ので、結局、追跡が成功しているか失敗したかを判定することができる。したがって、本実施の形態では、ステップＳ６でＮＯでかつステップＳ８でＹＥＳの場合、ステップＳ１へ戻るので、追跡に失敗しているのにその誤った追跡結果に基づいてカメラの制御が継続されてしまうような事態を、回避することができる。
【０２２３】
また、本実施の形態によれば、カメラ制御処理において予測制御が導入されているので、例えば、カメラ１が制御指令に対して応答してその指令状態になるまでの動作時間が画像処理時間に比べて長い場合であっても、追尾対象の急な動きの変化などにも対応することができ、追尾対象をより精度良く追尾して撮像することができる。なお、カメラのパン、チルト、ズームの制御速度があまりに速過ぎると、追尾対象を監視者が目で追う際に、カメラのパン、チルト、ズームの変化があまりに急激になってしまい、監視者に不快感を与えてしまい監視に適さなくなってしまうが、カメラ１として制御速度が比較的遅いものを使用することができるので、カメラ１のパン、チルト、ズームの変化をスムーズにして監視により適した追尾を実現することができる。
【０２２４】
さらに、本実施の形態によれば、このような予測にカルマンフィルタが用いられているので、追尾対象領域の位置及び大きさを精度良く予測することができ、ひいては、追尾対象をより精度良く追尾して撮像することができる。
【０２２５】
以上、本発明の一実施の形態について説明したが、本発明はこの実施の形態に限定されるものではない。
【図面の簡単な説明】
【０２２６】
【図１】本発明の一実施の形態による自動追尾装置を模式的に示すブロック図である。
【図２】カメラによる追尾対象の追尾の様子の例を模式的に示す図である。
【図３】図１中の処理部の動作の一例を示す概略フローチャートである。
【図４】図３中の追尾対象検知処理（ステップＳ２）を詳細に示すフローチャートである。
【図５】カメラにより撮像された画像、追尾対象領域及び背景領域の例を示す図である。
【図６】エッジ方向ヒストグラムを示す概略図である。
【図７】ローカルバイナリーパターンの説明図である。
【図８】図３中の追跡処理（ステップＳ５）を詳細に示すフローチャートである。
【図９】対象楕円と背景楕円の例を示す図である。
【図１０】信頼度の説明図である。
【図１１】図８中の識別器の更新処理（ステップＳ２１８）を詳細に示すフローチャートである。
【図１２】図３中のカメラ制御処理（ステップ７）を詳細に示すフローチャートである。
【図１３】図１２に引き続くフローチャートである。
【図１４】図１３に引き続くフローチャートである。
【図１５】図１４に引き続くフローチャートである。
【符号の説明】
【０２２７】
１ カメラ
１ａ カメラ本体
１ｂ ズームレンズ
１ｃ 回転台
２ 処理部
【特許請求の範囲】
【請求項１】
パン、チルト及びズームの制御が可能なカメラと、
前記カメラにより撮像された画像に基づいて、追尾対象を追跡する追跡処理を行う追跡処理手段と、
前記追跡処理手段による前記追跡処理の結果に応じて前記カメラが前記追尾対象を追尾して撮像するように、前記カメラのパン、チルト及びズームを制御する制御手段と、
を備え、
前記追跡処理手段は、前記カメラにより撮像された画像に基づいて、画素の位置を状態とした複数のパーティクルによるパーティクルフィルタによって、追跡結果の一部として前記追尾対象の位置を推定する位置推定手段を含み、
前記パーティクルフィルタは、前記各パーティクルに関して、画素に関する１つ以上の特徴量に基づいて当該画素が追尾対象画素であるか背景画素であるかを識別するように構築されたAdaBoost識別器の応答値であって、当該パーティクルの位置の画素に関する前記１つ以上の特徴量による応答値から、算出した尤度を用いるものである、
ことを特徴とする自動追尾装置。
【請求項２】
前記位置推定手段は、前記追尾対象の位置を、前記複数のパーティクルの状態である画素位置の、前記尤度を用いた重み付け平均値として推定することを特徴とする請求項１記載の自動追尾装置。
【請求項３】
前記追跡処理手段は、前記複数のパーティクルのうち前記AdaBoost識別器により追尾対象画素であると識別された画素に応じたパーティクルに基づいて、追跡結果の他の一部として前記追尾対象の大きさを推定する大きさ推定手段を含む、ことを特徴とする請求項１又は２記載の自動追尾装置。
【請求項４】
前記追跡処理手段は、前記複数のパーティクルのうち前記AdaBoost識別器により追尾対象画素であると識別された画素に応じたパーティクルのうちの、前記位置推定手段により推定された前記追尾対象の位置に対する当該パーティクルの前記尤度によって重み付けされた共分散行列を用いたマハラノビス距離が所定値以下であるパーティクルの分布状況に基づいて、前記追尾対象の大きさを推定する大きさ推定手段を、含む、ことを特徴とする請求項１乃至３のいずれかに記載の自動追尾装置。
【請求項５】
前記１つ以上の特徴量は、当該画素を含む局所領域の画素の所定色空間の第１乃至第３の値のうちの前記第１の値の平均値、当該画素を含む局所領域の画素の前記第１の値の分散値、当該画素を含む局所領域の画素の前記第２の値の平均値、当該画素を含む局所領域の画素の前記第２の値の分散値、当該画素を含む局所領域の画素の前記第３の値の平均値、当該画素を含む局所領域の画素の前記第３の値の分散値、当該画素を含む局所領域におけるエッジ方向ヒストグラム、及び、当該画素を含む局所領域におけるローカルバイナリーパターンのヒストグラム、のうちの少なくとも１つを含むことを特徴とする請求項１乃至４のいずれかに記載の自動追尾装置。
【請求項６】
前記複数のパーティクルのうちの所定のパーティクルを追尾対象画素用の学習サンプルとするとともに、前記複数のパーティクルのうちの他の所定のパーティクルを背景画素用の学習サンプルとして、前記AdaBoost識別器を更新させる更新手段を備えたことを特徴とする請求項１乃至５のいずれかに記載の自動追尾装置。
【請求項７】
前記複数のパーティクルの前記尤度の空間的な重み付け平均値を算出する算出手段と、前記空間的な重み付け平均値が所定値以上であるか否かを判定する判定手段とを備えたことを特徴とする請求項１乃至６のいずれかに記載の自動追尾装置。
【請求項８】
前記制御手段は、前記追跡処理手段による前記追跡処理の結果に基づいて現在から所定時間経過後の追尾対象の位置及び大きさを予測する予測手段を含み、
前記制御手段は、前記予測手段による予測結果に応じて、前記カメラに対する現在のパン、チルト及びズームの制御状態を修正して前記カメラのパン、チルト及びズームを制御する、
ことを特徴とする請求項１乃至７のいずれかに記載の自動追尾装置。
【請求項９】
前記予測手段は、カルマンフィルタにより、現在から所定時間経過後の追尾対象の位置及び大きさを予測することを特徴とする請求項８記載の自動追尾装置。
【請求項１】
パン、チルト及びズームの制御が可能なカメラと、
前記カメラにより撮像された画像に基づいて、追尾対象を追跡する追跡処理を行う追跡処理手段と、
前記追跡処理手段による前記追跡処理の結果に応じて前記カメラが前記追尾対象を追尾して撮像するように、前記カメラのパン、チルト及びズームを制御する制御手段と、
を備え、
前記追跡処理手段は、前記カメラにより撮像された画像に基づいて、画素の位置を状態とした複数のパーティクルによるパーティクルフィルタによって、追跡結果の一部として前記追尾対象の位置を推定する位置推定手段を含み、
前記パーティクルフィルタは、前記各パーティクルに関して、画素に関する１つ以上の特徴量に基づいて当該画素が追尾対象画素であるか背景画素であるかを識別するように構築されたAdaBoost識別器の応答値であって、当該パーティクルの位置の画素に関する前記１つ以上の特徴量による応答値から、算出した尤度を用いるものである、
ことを特徴とする自動追尾装置。
【請求項２】
前記位置推定手段は、前記追尾対象の位置を、前記複数のパーティクルの状態である画素位置の、前記尤度を用いた重み付け平均値として推定することを特徴とする請求項１記載の自動追尾装置。
【請求項３】
前記追跡処理手段は、前記複数のパーティクルのうち前記AdaBoost識別器により追尾対象画素であると識別された画素に応じたパーティクルに基づいて、追跡結果の他の一部として前記追尾対象の大きさを推定する大きさ推定手段を含む、ことを特徴とする請求項１又は２記載の自動追尾装置。
【請求項４】
前記追跡処理手段は、前記複数のパーティクルのうち前記AdaBoost識別器により追尾対象画素であると識別された画素に応じたパーティクルのうちの、前記位置推定手段により推定された前記追尾対象の位置に対する当該パーティクルの前記尤度によって重み付けされた共分散行列を用いたマハラノビス距離が所定値以下であるパーティクルの分布状況に基づいて、前記追尾対象の大きさを推定する大きさ推定手段を、含む、ことを特徴とする請求項１乃至３のいずれかに記載の自動追尾装置。
【請求項５】
前記１つ以上の特徴量は、当該画素を含む局所領域の画素の所定色空間の第１乃至第３の値のうちの前記第１の値の平均値、当該画素を含む局所領域の画素の前記第１の値の分散値、当該画素を含む局所領域の画素の前記第２の値の平均値、当該画素を含む局所領域の画素の前記第２の値の分散値、当該画素を含む局所領域の画素の前記第３の値の平均値、当該画素を含む局所領域の画素の前記第３の値の分散値、当該画素を含む局所領域におけるエッジ方向ヒストグラム、及び、当該画素を含む局所領域におけるローカルバイナリーパターンのヒストグラム、のうちの少なくとも１つを含むことを特徴とする請求項１乃至４のいずれかに記載の自動追尾装置。
【請求項６】
前記複数のパーティクルのうちの所定のパーティクルを追尾対象画素用の学習サンプルとするとともに、前記複数のパーティクルのうちの他の所定のパーティクルを背景画素用の学習サンプルとして、前記AdaBoost識別器を更新させる更新手段を備えたことを特徴とする請求項１乃至５のいずれかに記載の自動追尾装置。
【請求項７】
前記複数のパーティクルの前記尤度の空間的な重み付け平均値を算出する算出手段と、前記空間的な重み付け平均値が所定値以上であるか否かを判定する判定手段とを備えたことを特徴とする請求項１乃至６のいずれかに記載の自動追尾装置。
【請求項８】
前記制御手段は、前記追跡処理手段による前記追跡処理の結果に基づいて現在から所定時間経過後の追尾対象の位置及び大きさを予測する予測手段を含み、
前記制御手段は、前記予測手段による予測結果に応じて、前記カメラに対する現在のパン、チルト及びズームの制御状態を修正して前記カメラのパン、チルト及びズームを制御する、
ことを特徴とする請求項１乃至７のいずれかに記載の自動追尾装置。
【請求項９】
前記予測手段は、カルマンフィルタにより、現在から所定時間経過後の追尾対象の位置及び大きさを予測することを特徴とする請求項８記載の自動追尾装置。
【図１】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図５】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図５】
【図９】
【図１０】
【公開番号】特開２０１０−４１５２６（Ｐ２０１０−４１５２６Ａ）
【公開日】平成２２年２月１８日（２０１０．２．１８）
【国際特許分類】
【出願番号】特願２００８−２０３６５９（Ｐ２００８−２０３６５９）
【出願日】平成２０年８月７日（２００８．８．７）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り （１）研究集会名 電子情報システム専攻 修士論文発表会 主催者名 国立大学法人 千葉大学 開催日 平成２０年２月７日 （２）研究集会名 電子情報システム専攻 修士論文発表会 主催者名 国立大学法人 千葉大学 開催日 平成２０年２月７日 （３）刊行物名 電子情報通信学会技術研究報告 信学技報Ｖｏｌ．１０７ Ｎｏ．５３８ 発行日 平成２０年３月３日 発行所 社団法人 電子情報通信学会
【出願人】（３０４０２１８３１）国立大学法人 千葉大学 (601)
【出願人】（３９００１００５４）小糸工業株式会社 (136)
【Ｆターム（参考）】
【公開日】平成２２年２月１８日（２０１０．２．１８）
【国際特許分類】
【出願日】平成２０年８月７日（２００８．８．７）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り （１）研究集会名 電子情報システム専攻 修士論文発表会 主催者名 国立大学法人 千葉大学 開催日 平成２０年２月７日 （２）研究集会名 電子情報システム専攻 修士論文発表会 主催者名 国立大学法人 千葉大学 開催日 平成２０年２月７日 （３）刊行物名 電子情報通信学会技術研究報告 信学技報Ｖｏｌ．１０７ Ｎｏ．５３８ 発行日 平成２０年３月３日 発行所 社団法人 電子情報通信学会
【出願人】（３０４０２１８３１）国立大学法人 千葉大学 (601)
【出願人】（３９００１００５４）小糸工業株式会社 (136)
【Ｆターム（参考）】
[ Back to top ]