動画オブジェクト検出装置、方法、及びプログラム
【課題】オブジェクトの誤検出と検出漏れとの双方を抑制する。
【解決手段】オブジェクト検出手段１２は、動画像のフレーム画像からオブジェクトを検出し、検出したオブジェクトの位置をオブジェクトリスト記憶部１４に記憶する。オブジェクト追跡処理手段１３は、オブジェクトリスト記憶部１４に記憶されたオブジェクトの位置を、そのオブジェクトが検出された時刻以後、複数フレーム間で追跡し、オブジェクトリスト記憶部１４に記憶する。また、オブジェクト追跡処理手段１３は、オブジェクト検出手段１２でオブジェクトが新たに検出されたとき、その新たに検出されたオブジェクトの位置を、オブジェクトが検出されたフレーム画像の時刻よりも前の時刻に遡って複数フレーム間で追跡し、オブジェクトリスト記憶部１４に記憶する。
【解決手段】オブジェクト検出手段１２は、動画像のフレーム画像からオブジェクトを検出し、検出したオブジェクトの位置をオブジェクトリスト記憶部１４に記憶する。オブジェクト追跡処理手段１３は、オブジェクトリスト記憶部１４に記憶されたオブジェクトの位置を、そのオブジェクトが検出された時刻以後、複数フレーム間で追跡し、オブジェクトリスト記憶部１４に記憶する。また、オブジェクト追跡処理手段１３は、オブジェクト検出手段１２でオブジェクトが新たに検出されたとき、その新たに検出されたオブジェクトの位置を、オブジェクトが検出されたフレーム画像の時刻よりも前の時刻に遡って複数フレーム間で追跡し、オブジェクトリスト記憶部１４に記憶する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画オブジェクト検出装置、方法、及びプログラムに関し、更に詳しくは、複数フレームの動画像からオブジェクトを検出する動画オブジェクト検出装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
複数フレームの動画像からオブジェクトを検出する技術が知られている。また、あるフレームで検出されたオブジェクトを追跡対象として設定し、後続するフレームにおいてオブジェクトを追跡する技術も知られている。例えば特許文献１には、顔を検出し、検出した顔の領域を追跡することが記載されている。特許文献１では、顔領域検出部は、顔検出アルゴリズムを用いてフレーム単位で顔領域を検出する。トラッキング部は、顔領域履歴記憶部に記録されたフレーム単位の顔領域の検出履歴を参照して、検出された顔領域を連続する複数のフレームにわたって追跡する。トラッキング部は、あるフレームにて顔領域が検出されたときでも、そのフレーム以降の所定数以上の連続するフレームにて当該顔領域が検出されないときは、検出された顔領域を無効と判断する。
【０００３】
また、特許文献２には、時系列の動画像を処理し、画像上で重なった移動物体同士を分割して認識する方法が記載されている。特許文献２では、画像処理部は、複数の時系列画像の各画像について、背景画像と比較することで移動物体を認識し、認識された移動物体に識別符号を付与する。画像処理部は、時刻ｔの画像に含まれる各移動物体の動きベクトルを求める。画像処理部は、時刻ｔ−１の画像に含まれる移動物体上の領域が同じ識別符号を持っていると仮定して、その領域に対応した時刻ｔでの画像上の領域を動きベクトルに基づいて推定し、両領域間の相関度を求める。画像処理部は、複数の識別符号の各々について求めた相関度の大小関係に基づいて各領域に付与すべき識別符号を決定することで、時刻ｔ−１の画像に含まれている非分離移動物体を分割する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−５２３９号公報
【特許文献２】特開２００２−１３３４２１号公報
【特許文献３】特開２０１０−７２７２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１では、顔領域の検出後、その顔領域を未来方向に追跡している。しかし、特許文献１では、画像中に顔が現れたとしても、その顔の領域の追跡が直ちに開始されるとは限らない。例えば顔が隠れたり、正面を向いていなかったり、顔が小さかったりすると、顔を検出することができず、新たな追跡対象が動画像に現れたことを装置が認識することができないことがある。そのような場合、その人物の顔がはっきりと認識されるようになってはじめて追跡処理がスタートすることになり、その人物の登場から顔検出に成功するまでの間の動き情報を捉えることができない。特に、多数の人物が写る画像では、顔の隠れが起こる可能性が高く、検出したい顔領域の検出漏れ顕著になる。
【０００６】
特許文献１において、顔検出の判定を甘くすれば、ある程度早い段階から顔を検出することが可能になる。しかしながら、その場合には検出漏れは抑制できるものの誤検出が増加し、装置自体の信頼性が低下するという弊害が生じる。つまり、特許文献１では、誤検出と検出漏れの双方を抑制することはできない。また、特許文献２は、ある時刻までは複数の移動物体同士が画像上で重なっていることで複数の移動物体を分離して検出することができず、ある時刻で画像上の重なりがなくなって複数の移動物体を分離して検出できたときに、過去フレームにおいて重なって検出された移動物体を分離するというものに過ぎない。従って、特許文献２においても、誤検出と検出漏れとの双方を抑制することはできない。
【０００７】
上記課題の解決を図る技術として、特許文献３が知られている。特許文献３では、検出手段は、順次に入力される各フレームの画像から、人物と、人物か否か確定できない対象である候補とを検出する。人物追跡手段は、人物を追跡対象とする追跡処理を実行し、追跡対象とされた人物の位置情報を追跡情報として記録する。候補追跡手段は、候補を対象とする追跡処理を実行し、追跡対象とされた候補の位置情報を追跡情報として記録する。変更手段は、検出手段が検出した人物のなかに、候補追跡手段により追跡対象とされている候補と同一の対象と評価される人物が存在すると、候補の位置情報として記録されていた追跡情報を、人物の追跡情報へと変更する。
【０００８】
特許文献３では、人物か否かが確定できない対象を“候補”として追跡し、“人物”として検出された対象が、“候補”として追跡されていた対象と同じ対象のとき、候補の追跡情報を人物の追跡情報へと変更する。このようにすることで、誤検出と検出漏れとの双方を抑制できる。しかし、特許文献３では、人物のみならず、人物か否かが確定できない対象も、人物と同様に追跡する必要があり、処理負荷が高いという問題が生じる。特に、人物検出において、人物か否かが確定できない対象の判定基準を甘めに設定すると、本当は人物でない多数の対象を“候補”として追跡する必要が生じ、無駄に追跡処理を行う必要がある分だけ追跡処理の処理負荷が無駄に高くなる。
【０００９】
本発明は、上記に鑑み、処理負荷を無駄に上げることなく、オブジェクトの誤検出と検出漏れとの双方を抑制できる動画像オブジェクト検出装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明は、複数フレームから成る動画像のフレーム画像からオブジェクトを検出し、該検出したオブジェクトの位置をオブジェクトリスト記憶部に記憶するオブジェクト検出手段と、前記オブジェクトリスト記憶部に記憶されたオブジェクトの位置を、当該オブジェクトが検出された時刻以後、複数フレーム間で追跡し、該追跡したオブジェクトの位置をオブジェクトリスト記憶部に記憶する第１の追跡手段と、前記オブジェクト検出手段でオブジェクトが新たに検出されたとき、該新たに検出されたオブジェクトの位置を、当該オブジェクトが検出されたフレーム画像の時刻よりも前の時刻に遡って複数フレーム間で追跡し、該追跡したオブジェクトの位置を前記オブジェクトリスト記憶部に記憶する第２の追跡手段とを含む手段オブジェクト追跡処理手段とを備えたことを特徴とする動画オブジェクト検出装置を提供する。
【００１１】
前記オブジェクト検出手段が、１つのフレーム画像に含まれると想定されるオブジェクト数を示す想定登場数をｎ、１つのオブジェクトが何フレーム分撮影されるかを示す想定有効ショット数をＳ、オブジェクトの検出確率をＰ（％）として、１つのフレーム画像から、下記式、
Ｎ＝（ｎ／Ｓ）×（１００／Ｐ）
で求まるＮを整数化した個数だけオブジェクトを検出する構成を採用することができる。
【００１２】
上記に代えて、前記オブジェクト検出手段が、１つのフレーム画像から１つのオブジェクトを検出する構成でもよい。
【００１３】
前記オブジェクト追跡処理手段が、前記フレーム画像を順次に入力し、現在処理対象とするフレーム画像と、該フレーム画像よりも前の時刻のフレーム画像とに基づいて動きベクトル場を求める動きベクトル場計測手段を更に含み、前記第１の追跡手段が、前記動きベクトル場計測手段で求められた動きベクトル場と、前記オブジェクトリスト記憶部に記憶されたオブジェクトの位置とに基づいて、複数のフレーム間でオブジェクトの位置を追跡し、前記第２の追跡手段が、前記動きベクトル場計測手段で求められた動きベクトル場と、前記オブジェクト検出手段で新たに検出されたオブジェクトの位置とに基づいて、前の時刻に遡ってオブジェクトの位置を追跡する構成を採用することができる。
【００１４】
前記動きベクトル場計測手段が、対象フレーム上の動きベクトル計測の対象となる対象画素について、参照フレームを対象フレームに対して動きベクトル検出空間に対応する所定範囲内でずらしつつ、各ずらし量に対して、前記対象画素と該対象画素に対応する参照フレームの画素との相関を表わすスコアの分布である動きベクトル分布を算出する動きベクトル分布算出手段と、前記動きベクトル分布に基づいて、前記対象画素における動きベクトルを検出する動きベクトル検出手段と、前記動きベクトル分布に基づいて、前記検出された動きベクトルが誤計測であるか否かを判定する誤計測判定手段とを含む構成を採用してもよい。
【００１５】
前記誤計測判定手段は、前記動きベクトル検出空間の中心位置に対応するずらし量に対して算出された動きベクトル分布におけるスコアと、前記検出された動きベクトルの位置に対応するずらし量に対して算出された動きベクトル分布におけるスコアとが所定の関係を満たすか否かに基づいて、前記検出された動きベクトルが誤計測であるか否かを判定してもよい。誤計測判定手段は、例えばスコア間の差分が所定のしきい値以上であるか否かに基づいて、スコアが所定の関係を満たすか否かを判定することができる。あるいは誤計測判定手段は、スコア間の比率が所定のしきい値以上であるか否かに基づいて、スコアが所定の関係を満たすか否かを判定してもよい。
【００１６】
前記誤計測判定手段が、検出された動きベクトルが真の動きベクトルであるときの、前記各ずらし量に対して算出された動きベクトル分布における前記対象画素のスコアを並べたデータを正の教師データとし、検出された動きベクトルが真の動きベクトルではないときの、前記各ずらし量に対して算出された動きベクトル分布における対象画素のスコアを並べたデータを負の教師データとして機械学習を用いて生成された判別器を用い、各ずらし量に対して算出された動きベクトル分布における前記対象画素のスコアを並べたデータを前記判別器に入力したときの該判別器の出力に基づいて誤計測か否かを判定する構成でもよい。
【００１７】
前記動きベクトル分布算出手段が、更に、参照フレーム上の前記対象画素に対応する画素について、対象フレームを参照フレームに対して動きベクトル検出空間に対応する所定範囲内でずらしつつ、各ずらし量に対して、前記参照フレーム上の前記対象画素に対応する画素と前記対応画素との相関を表わすスコアの分布である別の動きベクトル分布を算出し、前記動きベクトル検出手段が、更に、前記別の動きベクトル分布に基づいて、前記参照フレーム上の前記対象画素に対応する画素における別の動きベクトルを検出し、前記誤計測判定手段が、前記動きベクトル分布に基づいて前記検出された動きベクトルが誤計測であるか否かを判定するのに代えて、又はこれに加えて、前記動きベクトルと前記別の動きベクトルとの関係に基づいて誤計測であるか否を判定する構成を採用できる。
【００１８】
上記の場合、前記誤計測判定手段は、前記動きベクトルと前記別の動きベクトルとが逆ベクトルの関係にないとき、前記検出された動きベクトルが誤計測であると判定してもよい。
【００１９】
前記動きベクトル分布算出手段が、更に、前記対象画素について、前記対象フレームを前記対象フレーム自身に対して動きベクトル検出空間に対応する所定範囲内でずらしつつ、各ずらし量に対して、前記対象画素自身の相関を表すスコアの分布である自己動きベクトル分布を更に算出し、前記誤計測判定手段が、前記動きベクトル分布に基づいて前記検出された動きベクトルが誤計測であるか否かを判定するのに代えて、又はこれに加えて、前記検出された動きベクトルの位置に対応するずらし量に対して算出された自己動きベクトル分布におけるスコアに基づいて誤計測であるか否かを判定する構成を採用できる。
【００２０】
上記の場合、前記誤計測判定手段は、前記自己動きベクトル分布におけるスコアを所定のしきい値でしきい値処理し、誤計測であるか否かを判定してもよい。
【００２１】
前記オブジェクト検出手段が、検出すべきオブジェクトの輪郭形状に対応したフィルタ特性を有する平滑化フィルタを画像に畳み込む処理を繰り返し行うことにより、前記フレーム画像からスケールが異なる複数枚の平滑化画像を生成する平滑化処理手段と、前記複数枚の平滑化画像のうち、スケールが互いに異なる２枚の平滑化画像間の差分画像を、スケールを変えつつ複数枚生成する差分画像生成手段と、前記複数枚の差分画像を合算し合算画像を生成する合算手段と、前記合算画像における画素値に基づいて検出すべきオブジェクトの位置を推定する位置推定手段と、前記フレーム画像から、前記推定された位置の周辺でオブジェクトを検出する照合手段とを含む構成を採用してもよい。
【００２２】
前記オブジェクト検出手段が検出すべきオブジェクトの数をＭとしたとき、前記位置推定手段が、前記合算画像の画素値を大きい順に並べたときの上位Ｍ個又は下位Ｍ個の画素の画素位置を、前記オブジェクトの位置として推定してもよい。
【００２３】
前記オブジェクト検出手段が、前記複数枚の差分画像の画素値を比較し、最大又は最小の画素値を有する差分画像のスケールに基づいて、検出すべきオブジェクトのサイズを推定するサイズ推定手段を更に備える構成を採用することもできる。
【００２４】
前記サイズ推定手段は、前記位置推定手段が推定したオブジェクトの位置の周辺で前記差分画像の画素値を比較してもよい。
【００２５】
前記サイズ推定手段が、前記最大又は最小の画素値を有する差分画像の生成元となった２枚の平滑化画像のうちのスケールが小さい方の平滑化画像内のスケールに基づいて前記オブジェクトのサイズを推定する構成でもよい。
【００２６】
前記平滑化処理手段がスケールσ１からσａ×ｋ（ａ及びｋは２以上の整数）までのａ×ｋ枚の平滑化画像Ｌ（ｘ，ｙ，σｉ）（ｉ＝１〜ａ×ｋ）を生成し、前記差分画像生成手段が、スケールσ１からσｋまでのｋ枚の差分画像Ｇ（ｘ，ｙ，σｊ）（ｊ＝１〜ｋ）を、それぞれスケールσｊの平滑化画像Ｌ（ｘ，ｙ，σｊ）とスケールσｊ×ａの平滑化画像Ｌ（ｘ，ｙ，σｊ×ａ）との差分に基づいて生成してもよい。この場合、前記差分画像生成手段は、下記式、
Ｇ（ｘ，ｙ，σｊ）＝Ｌ（ｘ，ｙ，σｊ）−Ｌ（ｘ，ｙ，σｊ×ａ）
を用いて差分画像Ｇ（ｘ，ｙ，σｊ）を生成してもよい。
【００２７】
上記に代えて、前記平滑化処理手段がスケールσ１からσｒ（ｒは３以上の整数）までのｒ枚の平滑化画像Ｌ（ｘ，ｙ，σｉ）（ｉ＝１〜ｒ）を生成し、前記差分画像生成手段が、スケールσ１からσｋ−ｐ（ｐは１以上の整数）までのｋ−ｐ枚の差分画像Ｇ（ｘ，ｙ，σｊ）（ｊ＝１〜ｋ−ｐ）を、それぞれスケールσｊの平滑化画像Ｌ（ｘ，ｙ，σｊ）とスケールσｊ＋ｐの平滑化画像Ｌ（ｘ，ｙ，σｊ＋ｐ）との差分に基づいて生成してもよい。この場合、前記差分画像生成手段が、下記式、
Ｇ（ｘ，ｙ，σｊ）＝Ｌ（ｘ，ｙ，σｊ）−Ｌ（ｘ，ｙ，σｊ＋ｐ）
を用いて差分画像Ｇ（ｘ，ｙ，σｊ）を生成してもよい。
【００２８】
前記オブジェクト検出手段が、前記フレーム画像から動き領域を抽出し動き領域抽出画像を生成する動き領域抽出手段を更に備え、前記平滑化画像生成手段が、前記動き領域抽出画像に対して前記平滑化フィルタを畳み込む構成を採用することもできる。この場合、前記動き領域抽出手段は、各画素が、前記フレーム画像から抽出した動きの量に応じた階調値を有するグレースケール画像を前記動き領域抽出画像として生成してもよい。更に、前記動き領域抽出手段は、前記グレースケール画像に対して所定のコントラスト低減処理を施してもよい。
【００２９】
本発明は、また、複数フレームから成る動画像のフレーム画像からオブジェクトを検出し、該検出したオブジェクトの位置をオブジェクトリスト記憶部に記憶するステップと、前記オブジェクトリスト記憶部に記憶されたオブジェクトの位置を、当該オブジェクトが検出された時刻以後、複数フレーム間で追跡し、該追跡したオブジェクトの位置をオブジェクトリスト記憶部に記憶するステップと、前記オブジェクト検出手段でオブジェクトが新たに検出されたとき、該新たに検出されたオブジェクトの位置を、当該オブジェクトが検出されたフレーム画像の時刻よりも前の時刻に遡って複数フレーム間で追跡し、該追跡したオブジェクトの位置を前記オブジェクトリスト記憶部に記憶するステップとを有することを特徴とする動画オブジェクト検出方法を提供する。
【００３０】
更に本発明は、コンピュータに、複数フレームから成る動画像のフレーム画像からオブジェクトを検出し、該検出したオブジェクトの位置をオブジェクトリスト記憶部に記憶するステップと、前記オブジェクトリスト記憶部に記憶されたオブジェクトの位置を、当該オブジェクトが検出された時刻以後、複数フレーム間で追跡し、該追跡したオブジェクトの位置をオブジェクトリスト記憶部に記憶するステップと、前記オブジェクト検出手段でオブジェクトが新たに検出されたとき、該新たに検出されたオブジェクトの位置を、当該オブジェクトが検出されたフレーム画像の時刻よりも前の時刻に遡って複数フレーム間で追跡し、該追跡したオブジェクトの位置を前記オブジェクトリスト記憶部に記憶するステップとを実行させるためのプログラムを提供する。
【発明の効果】
【００３１】
本発明の動画オブジェクト検出装置、方法、及びプログラムでは、ある時刻のフレーム画像においてオブジェクトが検出されると、検出された時刻よりも後の時刻においてオブジェクトの位置を複数フレーム間で追跡すると共に、オブジェクトが検出された時刻よりも前の時刻に遡って複数フレーム間でオブジェクトの位置を追跡する。オブジェクト検出においてオブジェクトの検出条件を厳しく設定し、オブジェクトらしさが低いオブジェクトはオブジェクトとして検出しないことで、オブジェクトの誤検出を抑制できる。一方で、オブジェクトが検出されたときに、過去フレーム方向にオブジェクトを追跡するため、過去フレームにおいて検出できなかったオブジェクトの位置を推定でき、過去フレーム画像におけるオブジェクトの検出漏れを抑制できる。つまり、本発明においては、オブジェクトの誤検出の抑制と、検出漏れの抑制との双方を実現できる。また、本発明では、特許文献３とは異なり、オブジェクトとは別にオブジェクトの候補を検出し、そのオブジェクトの候補を追跡する必要がないため、処理負荷が無駄に高くなることはない。
【図面の簡単な説明】
【００３２】
【図１】本発明の一実施形態の動画オブジェクト検出装置を示すブロック図。
【図２】オブジェクト追跡処理手段を示すブロック図。
【図３】動きベクトル場計測手段の構成例を示すブロック図。
【図４】動きベクトル場計測手段の動作手順を示すフローチャート。
【図５】オブジェクト検出手段の構成例を示すブロック図。
【図６】オブジェクト検出手段の動作手順を示すフローチャート。
【図７】動画オブジェクト検出装置の動作手順を示すフローチャート。
【図８】具体的な処理例を示す図。
【発明を実施するための形態】
【００３３】
以下、図面を参照し、本発明の実施の形態を詳細に説明する。図１は、本発明の一実施形態の動画オブジェクト検出装置を示す。動画オブジェクト検出装置１０は、フレームメモリ１１、オブジェクト検出手段１２、オブジェクト追跡処理手段１３、及びオブジェクトリスト記憶部１４を有する。動画オブジェクト検出装置１０は、動画像を構成するフレーム画像を順次に処理し、動画像に含まれるオブジェクトを検出する。動画オブジェクト検出装置１０内の各部の機能は、コンピュータシステムが所定のプログラムに従って動作することで実現することができる。あるいは各部の機能は、ＩＣ（Integrated Circuit）などで実現することもできる。
【００３４】
フレームメモリ１１は、動画オブジェクト検出装置１０に入力された複数フレームから成る動画像のうちの少なくとも数フレーム分のフレーム画像（フレームデータ）を記憶する。オブジェクト検出手段１２は、フレームメモリ１１を参照し、フレーム画像からオブジェクトを検出する。オブジェクト検出手段１２は、オブジェクトが存在する領域をＲＯＩ領域（Region of Interest:関心領域）として検出する。
【００３５】
オブジェクト検出手段１２は、例えばフレーム画像から所定個数のオブジェクトを検出する。オブジェクト検出手段１２は、例えば１つのフレーム画像に含まれると想定されるオブジェクト数を示す想定登場数をｎ、オブジェクトが隠れによる撮影不良フレームを除いて１つのオブジェクトが何フレーム分撮影されるかを示す想定有効ショット数をＳ、オブジェクトの検出確率をＰ（％）として、１つのフレーム画像から、下記式、
Ｎ＝（ｎ／Ｓ）×（１００／Ｐ）
で求まるＮを整数化した個数だけオブジェクトを検出する。オブジェクト検出手段１２は、例えば上記で計算されたＮの小数点以下を切り上げることで整数化を行う。例えば想定登場数ｎが４、想定有効ショット数Ｓが数十回、検出確率Ｐが５０％であるとすると、オブジェクト検出手段１２は、１つのフレーム画像から１つのオブジェクトを検出すればよい。上記式を用いてＮを計算せずに、オブジェクト検出手段１２におけるオブジェクトの検出個数を１つと決めてもよい。
【００３６】
オブジェクト検出手段１２におけるオブジェクトの検出手法は特に問わない。オブジェクト検出手段１２は、例えば各フレーム画像に対してテンプレートマッチングを行い、人物や顔（人物の頭部）などの検出対象のオブジェクトを検出する。また、オブジェクト検出手段１２は、例えば機械学習により生成された識別器を用いて各フレーム画像から検出対象のオブジェクトを検出してもよい。あるいはオブジェクト検出手段１２は、背景画像とフレーム画像との差分からオブジェクトを検出してもよい。オブジェクト検出手段１２は、例えば入口ゲートなど、オブジェクトが画像中に登場する際の位置が決まっている場合は、その部分の近傍でのみでオブジェクト検出を行ってもよい。
【００３７】
オブジェクトリスト記憶部１４は、検出されたオブジェクトについて、どのフレームのどの位置で検出されたかを示す情報を記憶する。オブジェクトリスト記憶部１４は、例えばオブジェクトの識別情報（オブジェクトＩＤ）と、オブジェクトが検出されたフレーム画像を識別する情報（フレームＩＤ）と、画像中のオブジェクトの位置とを対応付けて記憶する。フレームＩＤには、例えば動画像の開始時刻からの経過時間やフレーム番号などを用いることができる。オブジェクトの位置は、例えばオブジェクトの検出領域を矩形で表わしたときの矩形の始点（左上の頂点）と終点（右下の頂点）との組で表わすことができる。
【００３８】
オブジェクト検出手段１２は、現在フレームにおいてオブジェクトを検出すると、検出したオブジェクトの位置をオブジェクトリスト記憶部１４に記憶する。オブジェクト検出手段１２は、例えば検出したオブジェクトに対して識別情報（オブジェクトＩＤ）を付与し、付与したオブジェクトＩＤとフレームＩＤと画像中のオブジェクトの位置とをオブジェクトリスト記憶部１４に追加記憶する。また、新たなオブジェクトが検出された旨を、オブジェクト追跡処理手段１３に通知する。
【００３９】
オブジェクト追跡処理手段１３は、検出済みのオブジェクト、すなわち過去フレームにおいて検出され、オブジェクトリスト記憶部１４に記憶されたオブジェクトを、オブジェクトが検出された時刻以後、複数フレーム間で追跡し、現在フレームにおけるオブジェクトの位置を推定する。オブジェクト追跡処理手段１３は、推定したオブジェクトの位置をオブジェクトリスト記憶部１４に記憶する。また、オブジェクト追跡処理手段１３は、新たなオブジェクトが検出された旨の通知を受けると、その新たに検出されたオブジェクトを過去フレーム方向に追跡し、現在フレームよりも前の時刻のフレーム画像におけるオブジェクトの位置を推定する。オブジェクト追跡処理手段１３は、推定した過去のフレーム画像におけるオブジェクトの位置をオブジェクトリスト記憶部１４に記憶する。
【００４０】
図２は、オブジェクト追跡処理手段１３を示す。オブジェクト追跡処理手段１３は、動きベクトル場計測手段３１、第１の追跡手段３２、及び第２の追跡手段３３を有する。動きベクトル場計測手段３１は、フレーム画像を順次に入力し、現在フレーム画像と、現在フレームよりも１つ以上前の過去フレーム画像とに基づいて、動きベクトル場を計測する。動きベクトル場計測手段３１は、複数の画素位置で動きベクトルを求める。動きベクトル場計測手段３１は、例えばフレーム画像を構成する全ての画素に対して動きベクトルを求める。動きベクトル場計測手段３１は、画像を構成する各画素を隣接する複数の画素ずつ複数のブロックに分割し、ブロック単位で動きベクトルを求めてもよい。
【００４１】
第１の追跡手段３２は、オブジェクトリスト記憶部１４に記憶された、過去フレーム画像において検出済みのオブジェクトのそれぞれに対し、現在フレームでのオブジェクトの位置を推定する。第１の追跡手段３２は、過去フレーム画像、例えば現在フレームよりも１フレーム前のフレーム画像におけるオブジェクトの位置と、動きベクトル場計測手段３１が計測した動きベクトル場とに基づいて、現在フレーム画像におけるオブジェクトの位置を推定する。第１の追跡手段３２は、例えば１つ前のフレーム画像におけるオブジェクトの位置に対応する領域内の動きベクトルを平均化し、１つ前のフレーム画像におけるオブジェクトの領域を動きベクトルの平均値だけずらした領域を、現在フレーム画像におけるオブジェクトの位置として推定する。第１の追跡手段３２は、推定したオブジェクトの位置をオブジェクトＩＤ及びフレームＩＤと共にオブジェクトリスト記憶部１４に記憶する。
【００４２】
第２の追跡手段３２は、オブジェクト検出手段１２が新たに検出したオブジェクトに対し、現在フレームよりも過去のフレーム画像におけるオブジェクトの位置を推定する。第２の追跡手段３２は、現在フレームにおいて検出されたオブジェクトの位置と、動きベクトル場計測手段３１が計測した動きベクトル場とに基づいて、例えば現在フレームよりも１つ前の過去フレームにおけるオブジェクトの位置を推定する。第２の追跡手段３２は、例えば動きベクトルに基づいて、過去フレームにおける各画素のうちで移動先が現在フレーム画像におけるオブジェクトの位置に対応する領域に入る画素位置を特定する。第２の追跡手段３２は、特定した過去フレームにおける画素位置の動きベクトルの平均を求め、その平均ベクトルの逆ベクトルを用いて、過去フレームにおけるオブジェクトの位置を推定する。第２の追跡手段３２は、推定したオブジェクトの位置をオブジェクトＩＤ及びフレームＩＤと共にオブジェクトリスト記憶部１４に記憶する。
【００４３】
動きベクトル場計測手段３１の具体的な構成例を説明する。図３は、動きベクトル場計測手段３１の構成例を示す。動きベクトル場計測手段３１は、解像度変換手段４０、動きベクトル分布算出手段４１、平均化処理手段４２、動きベクトル検出手段４３、及び誤計測判定手段４４を有する。解像度変換手段４０は、フレームメモリ１１（図１）に記憶されたフレーム画像を、フレーム画像の解像度よりも低い低解像度の画像に変換する。解像度変換手段４０は、ある時刻のフレーム画像に対しては１度だけ解像度変換を行えばよい。言い換えれば、解像度変換手段４０は、同一フレーム画像に対して解像度変換を複数回行う必要はない。
【００４４】
解像度変換には、種々の手法を用いることができる。解像度変換手段４０は、例えば解像度変換前のフレーム画像の画素を所定の割合いで間引くことで、画像の解像度を低下させる。あるいは解像度変換手段４０は、変換前のフレーム画像の所定画素数分の画素値の平均を求め、求めた平均値を解像度変換後の画像における各画素の画素値とすることで、解像度を低解像度化してもよい。解像度変換手段４０は、低解像度化の処理を複数回繰り返して、画像を所望の解像度まで低下させてもよい。例えば解像度を１／２にする処理を３回行って、解像度を１／８まで低下させてもよい。
【００４５】
動きベクトル場計測手段３１は、解像度変換手段４０が変換した画像を用いて動きベクトル場の計測を行う。より詳細には、動きベクトル場計測手段３１は、現在時刻のフレーム画像を低解像度化した画像を対象フレームとし、過去フレームの画像を低解像度化した画像を参照フレームとして動きベクトル場の計測を行う。低解像度化した画像を用いて動きベクトル場を計測することで、処理を高速化できる。ただし、低解像度化したことで、処理の高速化と引き換えに動きベクトル場の計測精度は低下する。解像度変換手段４０がフレーム画像をどの程度低解像度化するかは、必要とされる演算時間と計測精度とに応じて適宜設定すればよい。画像の低解像度化は必須ではなく、動きベクトル場の計測を、フレーム画像を低解像度化せずに行うことも可能である。つまりフレーム画像の本来の解像度のまま動きベクトル場の計測を行うことも可能である。
【００４６】
動きベクトル分布算出手段４１は、対象フレームと参照フレームとに基づいて、両者の画素間の相関（類似度）を示す値（スコア）を算出する。動きベクトル分布算出手段４１は、対象フレーム上の動きベクトル計測の対象となる対象画素について、参照フレームを対象フレームに対して動きベクトル検出空間に対応する所定範囲内でずらしつつ、各ずらし量に対してスコアを算出する。動きベクトル分布算出手段４１は、例えば対象フレームの着目画素（ｘ，ｙ）の周囲に所定ブロックサイズのブロックを設定すると共に、所定範囲でずらした各ずれ量の参照フレームの対応画素（ｘ，ｙ）の周囲に所定ブロックサイズのブロックを設定し、ブロック内の各画素がどの程度一致するかを示すスコアＣ０を算出する。
【００４７】
上記ブロックサイズは、例えば３×３のサイズとすることができる。その場合、動きベクトル分布算出手段４１は、着目画素の位置を（ｘ，ｙ）として、対象フレームの（ｘ−１，ｙ−１）から（ｘ＋１，ｙ＋１）までの各位置の画素と、対象フレームに対してずらした参照画像の（ｘ−１，ｙ−１）から（ｘ＋１，ｙ＋１）までの各位置の画素とに基づいてスコアＣ０を算出する。スコアＣ０は、ブロック内の画素同士の差分絶対値の和（平均絶対値誤差）とすることができる。具体的には、対象フレームの各位置での画素値（階調値）をｆ（ｘ，ｙ）とし、参照フレームをずらした画像の各位置での画素値をｇ（ｘ，ｙ）として、下記式１で定義される値をスコアＣ０とすることができる。
Ｃ０＝ΣｐΣｑ｜ｆ（ｘ＋ｐ，ｙ＋ｑ）−ｇ（ｘ＋ｐ，ｙ＋ｑ）｜ …(1)
差分絶対値の和に代えて、平均二乗誤差を用いてもよい。
【００４８】
ここで、対象フレームと参照フレームとでは、動画像の撮影時における露出値の変動や、予期しない明るさの変更が生じることも考えられる。そのような場合に、上記式１を用いて画素値の差分の絶対値を求めると、本来差分絶対値が０になるような場合でも、明るさの変動に伴って差分絶対値が０にならないことが考えられる。そのような場合に備えて、対象フレームと参照フレームとにおける明るさの差を補正した上で、スコアＣ０を計算するようにしてもよい。具体的には、対象フレームにおけるブロック内の画素値の平均ｆｍと、参照フレームをずらした画像におけるブロック内の画素値の平均値ｇｍとを算出し、それらを用いて下記式２でスコアＣ０を算出してもよい。
Ｃ０＝ΣｐΣｑ｜ｆ（ｘ＋ｐ，ｙ＋ｑ）−ｆｍ−ｇ（ｘ＋ｐ，ｙ＋ｑ）−ｇｍ｜ …(2)
【００４９】
上記の式１又は式２で算出されるスコアＣ０は、画素同士の相関が高いほど値が小さくなる。これに代えて、画素同士の相関が高いほど値が大きくなるようなスコアを用いてもよい。例えば動きベクトル分布算出手段４１は、画素値の最大値（最大階調値）からスコアＣ０を減算した値をスコアＣ１として算出してもよい。具体的には、画素値が８ビットの階調値で表わされる場合、スコア分布算出部４１は、下記式でスコアＣ１を算出してもよい。
Ｃ１＝２５５−Ｃ０
以降の説明では、主にベクトル分布算出部４１がスコアＣ１を算出する例を用いて説明するものとする。スコアＣ０を用いる場合は、以下の説明において、スコアの大小関係を適宜読み替えればよい。
【００５０】
動きベクトル分布算出手段４１は、動きベクトル検出範囲（探索範囲）に相当する範囲で、水平方向及び垂直方向に参照フレームを対象フレームに対して１画素ずつずらしつつ、ずらし量ごとに、対象フレームの各画素位置に対してスコアＣ１を算出する。例えば（−２，−２）から（＋２，＋２）の範囲で動きベクトルを検出するとした場合、動きベクトル分布算出手段４１は、参照フレームを水平方向及び垂直方向にそれぞれ±２画素の範囲で１画素ずつずらして、対象フレームの各画素位置に対してスコアＣ１を算出する。
【００５１】
参照フレームを対象フレームに対してずらすための水平方向の座標をｈとし、垂直方向の座標をｖをとすると、対象フレームに対する参照フレームの画素のずらし量は（ｈ，ｖ）＝（ｋ，ｌ）（ｋ，ｌ＝−２〜＋２の整数）と表わすことができる。ずらし量（ｈ，ｖ）は、２５通りの値を持つ。ずらし量（０，０）は、対象フレームと参照フレームとを一致させた場合に対応し、ずらし量（１，０）は、参照フレームを対象フレームに対して水平方向にのみ１画素正の方向にずらした場合に対応する。
【００５２】
ここで、各ずらし量（ｈ，ｖ）は、動きベクトル検出空間における動きベクトルとみなすことができる。以下では、ずらし量ごとに求まるスコアＣ１の分布を、動きベクトル分布Ｄと呼ぶ。水平方向及び垂直方向にそれぞれ−２から＋２の範囲を動きベクトル検出範囲とする場合、２５通りの動きベクトル分布Ｄ（ｋ，ｌ）が算出されることになる。２５通りの動きベクトル分布Ｄが得られているということは、対象フレームの各画素位置に対して、各ずらし量に対応した２５個のスコアＣ１が算出されているのと等価である。
【００５３】
平均化処理手段４２は、動きベクトル分布Ｄ（ｋ，ｌ）からノイズ成分を除去する。平均化処理手段４２は、例えば動きベクトル分布Ｄ（ｋ，ｌ）に対して空間的な平均化フィルタ処理を行い、平均化された動きベクトル分布Ｄｍ（ｋ，ｌ）を算出する。平均化フィルタのサイズは、例えば３×３のサイズとすることができる。平均化フィルタのサイズは、得たいノイズ除去の程度に応じて適宜設定すればよい。平均化処理手段４２が使用するフィルタは平均化フィルタには限定されない。平均化フィルタに代えて、空間的なメディアンフィルタを用いてもよい。
【００５４】
動きベクトル検出手段４３は、ずらし量の数に対応する数の動きベクトル分布、例えば２５通りの動きベクトル分布（平均化された動きベクトル分布Ｄｍ（ｋ，ｌ））に基づいて、対象フレームの各画素位置における動きベクトルを検出する。動きベクトル検出手段４３は、例えば対象フレームにおける着目画素の位置を（ｘ，ｙ）としたとき、２５通りの平均化された動きベクトル分布Ｄｍ（ｋ，ｌ）のそれぞれにおける画素位置（ｘ，ｙ）のスコアＣ１を相互に比較する。動きベクトル検出手段４３は、スコアＣ１が最大となるずらし量（ｈ，ｖ）を求め、そのずらし量を動きベクトルとして検出する。
【００５５】
動くベクトル検出手段４３は、例えばある画素位置に対して、２５通りの平均化された動きベクトル分布Ｄｍの中から、スコアＣ１が最大となる動きベクトル分布Ｄｍを探す。平均化された動きベクトル分布Ｄｍ（−２，２）〜（２，２）のうち、平均化された動きベクトル分布Ｄｍ（２，２）におけるスコアＣ１が最大であったとする。この場合、動きベクトル検出手段４３は、そのずらし量に対応する動きベクトル（２，２）を検出する。動きベクトルの検出を、平均化された動きベクトル分布Ｄｍ（ｋ，ｌ）を用いて行うことで、ノイズの影響を低減した動きベクトルの検出が可能になる。
【００５６】
なお、動きベクトル検出手段４３は、解像度変換手段４０で変換された画像の解像度に応じて、検出した動きベクトルの大きさを修正する。例えば解像度変換手段４０で解像度が１／８に変換されていたときは、検出した動きベクトルの大きさを８倍する。また、動きベクトル検出手段４３は、対象フレームと参照フレームとの間の時間差（フレーム間隔）が１でないときは、そのフレーム間隔に応じて検出した動きベクトルの大きさを補正する。例えばフレーム間隔が３のときは、検出した動きベクトルの大きさを１／３倍に修正する。
【００５７】
誤計測判定手段４４は、動きベクトル分布に基づいて、動きベクトル検出手段４３が対象フレームの各画素位置に対して検出した動きベクトルが誤計測であるか否かを判定する。誤計測判定手段４４は、例えば動きベクトル検出空間の中央（ずらし量（０，０））に対応する平均化された動きベクトル分布Ｄｍ（０，０）におけるスコアＣ１（以下、スコアＣ１ｓとも呼ぶ）と、検出された動きベクトル（そのずらし量）に対応する平均化された動きベクトル分布ＤｍにおけるスコアＣ１（以下、スコアＣ１ｅとも呼ぶ）とが所定の関係を満たすか否かに基づいて、検出された動きベクトルが誤計測であるか否かを判定する。
【００５８】
誤計測判定手段４４は、例えばスコアＣ１ｓとスコアＣ１ｅとの差分をしきい値判定し、差分がしきい値よりも小さいとき、動きベクトル検出手段４３において動きベクトルが誤計測されたと判定する。あるいは誤計測判定手段４４は、スコアＣ１ｓとスコアＣ１ｅとの比が所定の関係にあるときに、動きベクトル検出手段４３において動きベクトルが誤計測されたと判定してもよい。より詳細には、誤計測判定手段４４は、αを１より小さい所定の係数として、スコアＣ１ｓとスコアＣ１ｅとが下記式を満たすとき、誤計測であると判定してもよい。
Ｃ１ｓ＞Ｃ１ｅ×α
上記式における係数αは、要求される計測精度に応じて適宜設定すればよい。
【００５９】
誤計測判定手段４４が、上記の差分又は比率の関係に基づいて検出された動きベクトルが誤計測であるか否かを判定するのは、次のような理論に基づく。すなわち、スコアＣ１の算出に際して３×３のような小さなブロックサイズを用いると、フレーム中のノイズにより偶然に現れた動きベクトル検出する可能性が生じる。また、対象フレームにおける着目画素が移動する物体を構成する画素ではなく、その物体の背景に対応する画素である場合、動きベクトルがランダムな方向に発生することがある。そのような場合、検出された動きベクトルの始点位置に相当するずらし量（０，０）のスコアＣ１と、最大スコアを与えるずらし量のスコアＣ１との差分はそれほど大きくならない。従って、差分をしきい値処理すること、或いは比率が所定の関係を満たすか否かを判断することで、誤計測か否かの判定を行うことができる。
【００６０】
誤計測判定手段４４は、誤計測でないと判定したときは、動きベクトル検出手段４３が検出した動きベクトルを出力する。誤計測判定手段４４は、誤計測と判定すると、その旨を出力する。あるいは誤計測判定手段４４は、誤計測と判定したときに、動きベクトル検出手段４３で検出された動きベクトルに代えて、動きベクトル（０，０）を出力してもよい。
【００６１】
図４は、動きベクトル場計測手段３１の動作手順を示している。解像度変換手段４０は、フレーム画像を低解像度の画像に変換する（ステップＳ１１）。解像度変換手段４０は、例えば対象フレームとして用いる現在フレームの画像が入力されるたびに、そのフレーム画像を低解像度の画像に変換する。参照フレームとして用いる過去フレームの画像については、その過去フレームの画像を対象フレームとして動きベクトルを検出する際に低解像度化した画像を利用すればよい。
【００６２】
動きベクトル分布算出手段４１は、現在フレームの画像を対象フレーム、過去フレームの画像を参照フレームとして、対象フレームと参照フレームとのずらし量を初期値に設定する（ステップＳ１２）。動きベクトル分布算出手段４１は、例えばずらし量（ｈ，ｖ）＝（０，０）を初期ずらし量として設定する。動きベクトル分布算出手段４１は、対象フレームと参照フレームとを設定したずらし量だけずらし、対象フレームにおける各画素に対してスコアＣ１を算出する（ステップＳ１３）。言い換えれば、設定したずらし量に対する動きベクトル分布Ｄを算出する。
【００６３】
動きベクトル分布算出手段４１は、全てのずらし量に対して動きベクトル分布Ｄを算出したか否かを判断する（ステップＳ１４）。動きベクトル分布算出手段４１は、全てのずらし量に対して動きベクトル分布Ｄを算出していないと判断すると、ずらし量を変更する（ステップＳ１５）。動きベクトル分布算出手段４１は、ずらし量を変更した後にステップＳ１３に戻り、変更したずらし量に対して動きベクトル分布Ｄを算出する。動きベクトル分布算出手段４１は、ステップＳ１４で全てのずらし量に対して動きベクトル分布Ｄを算出したと判断するまでステップＳ１３〜Ｓ１５を繰り返し実行し、動きベクトル検出範囲内の各ずらし量に対して動きベクトル分布Ｄを算出する。
【００６４】
平均化処理手段４２は、動きベクトル算出部４１が算出した各ずらし量に対する動きベクトル分布Ｄに対して平均化処理を施し、平均化された動きベクトル分布Ｄｍを生成する（ステップＳ１６）。この平均化の処理は省略してもよい。動きベクトル検出手段４３は、平均化された動きベクトル分布Ｄｍを用い、対象フレームにおける各画素に対して動きベクトルを検出する（ステップＳ１７）。誤計測判定手段４４は、検出された動きベクトルが誤計測であるか否かを判定する（ステップＳ１８）。動きベクトル場計測手段３１は、動きベクトル計測結果を出力する（ステップＳ１９）。動きベクトル場計測手段３１は、誤計測でないと判定された画素については検出された動きベクトルを出力し、誤計測であると判定された画素については動きベクトルが計測されなかった旨、又は大きさが０の動きベクトルを出力する。
【００６５】
ここで、ブロックマッチング法により動きベクトルを検出する際に、ブロックサイズを３×３のように小さくすると、ノイズの影響などにより動きベクトルの誤計測が発生しやすくなる。図３に示す構成の動きベクトル場計測手段３１では、誤計測判定手段４４が、検出された動きベクトルが誤計測であるか否かを判定する。この誤計測判定手段４４を用いることで、動きベクトル検出の際のブロックサイズを例えば３×３のように小さくしても、誤計測の影響を低減することができ、動きベクトルを精度よく検出できる。また、ブロックサイズを小さくした分だけ演算量を低減することができ、その結果、動きベクトルを高速に検出することができる。つまり、動きベクトル検出の精度を落とさずに、処理を高速化することができる。
【００６６】
なお、動きベクトル場計測手段３１は、各画素位置の周辺の画素位置での動きベクトルの平均を求め、その平均ベクトルを各画素位置の動きベクトルとして出力してもよい。例えば動きベクトル場計測手段３１は、ある画素位置について、その画素位置で検出された動きベクトルと、その周辺の画素位置で検出された動きベクトルとの平均を求める。ベクトル場計測手段３１は求めた平均ベクトルを、当該画素位置で検出された動きベクトルとして出力することができる。このように複数の画素位置で検出された動きベクトルを平均化する場合、動きベクトルのばらつきを抑えて、より精度よく動きベクトルを計測することができる。
【００６７】
また誤計測判定手段４４は、スコアＣ１の差分に基づいて誤計測であるか否かを判定するのに代えて、別の判断基準で誤計測であるか否かを判定してもよい。例えば、動きベクトル分布算出手段４１が、上記した動きベクトル分布（第１の動きベクトル分布）に加えて、対象フレームと参照フレームとを入れ替え、過去フレームを対象フレームとし、現在フレームを参照フレームとして別の動きベクトル分布(第２の動きベクトル分布)を算出する。動くベクトル検出手段４３は、第１の動きベクトル分布に基づく動きベクトル（第１の動きベクトル）の検出に加えて、第２の動きベクトル分布に基づいて別の動きベクトル（第２の動きベクトル）を検出する。誤計測判定手段４４は、第１の動きベクトルと第２の動きベクトルとの関係に基づいて、検出された動きベクトルが誤計測であるか否かを判定してもよい。
【００６８】
仮に、第１の動きベクトルが誤計測されたものでないと仮定すると、第１の動きベクトルと第２の動きベクトルとの大きさは同じで、方向は反対方向となると考えられる。つまり、第２の動きベクトルは、第１の動きベクトルの逆ベクトルになると考えられる。誤計測判定手段４４は、第１の動きベクトルと第２の動きベクトルとが逆ベクトルの関係にあるか否かを判断し、逆ベクトルの関係にあるときに誤計測ではないと判定する。逆ベクトルの関係にないときは、誤計測と判定する。誤計測判定手段４４は、第１の動きベクトルの大きさと第２の動きベクトルの大きさとの差が所定のしきい値以内で、かつ、第１の動きベクトルの方向と、第２の動きベクトルの方向を反転させた方向との差が所定のしきい値以内のときに、両者は逆ベクトルの関係にあると判断することができる。
【００６９】
誤計測判定手段４４は、上記に代えて、対象フレームの自己相関を求め、求めた自己相関を用いて誤計測か否かを判定してもよい。例えば動きベクトル分布算出手段４１は、対象フレームに対して参照フレームをずらしつつ動きベクトル分布を算出するのに加えて、対象フレームに対して対象フレーム自身をずらしつつ動きベクトル分布を算出する。この動きベクトル分布を自己動きベクトル分布と呼ぶこととする。誤計測判定手段４４は、動きベクトル検出手段４３が動きベクトルを検出すると、検出された動きベクトル（ずらし量）に対応する自己動きベクトル分布のスコアを参照し、そのスコアに基づいて誤計測か否かを判定してもよい。例えばある画素位置に対して検出された動きベクトルが（２，２）のとき、誤計測判定手段４４は、ずらし量（２，２）に対応する自己動きベクトル分布における当該座標位置のスコアを参照する。誤計測判定手段４４は、例えば自己動きベクトル分布におけるスコアをしきい値処理し、スコアがしきい値以下であれば誤計測ではないと判定し、スコアがしきい値より大きいとき誤計測であると判定する。
【００７０】
自己動きベクトル分布を用いた誤計測の判定は、以下の理論に基づく。すなわち、対象フレームのある画素に着目すると、ずらし量０では同一画素間の相関を求めることになるため、自己動きベクトル分布におけるスコアＣ１の値は大きくなる。一方、着目画素が移動物体などに該当する画素である場合に、対象フレームに対して対象フレーム自身をずらしてスコアを算出すると、両者の間で物体の位置がずれることからスコアＣ１の値は小さくなると考えられる。つまり、移動物体などに該当する着目画素に対して算出されるスコアＣ１は、ずらし量０が最大で、ずらし量が大きくなるほどスコアＣ１の値は小さくなると考えられる。
【００７１】
一方、着目画素が背景部分などの単調な部分に対応する場合は、上記とは異なり、ずらし量０で算出されたスコアＣ１と、対象フレーム自身をずらして算出されたスコアＣ１とは、それほど差がつかないと考えられる。つまり、単調背景などに該当する着目画素に対して算出されるスコアＣ１は、ずらし量に依存せず、比較的大きな値を取ると考えられる。自己動きベクトル分布において、ずらし量０以外のずらし量においてスコアＣ１の値が大きくなるということは、その大きなスコアとなったずらし量において誤計測が起こっている可能性が高いことを意味すると考えられる。そこで、誤計測判定手段４４は、検出された動きベクトルに対応するずらし量の自己動きベクトル分布のスコアＣ１をしきい値処理し、スコアＣ１の値がしきい値よりも大きいときに、誤計測であると判定できる。
【００７２】
別例として、誤計測判定手段４４は、機械学習を用いて生成された判別器を用いて誤計測か否かを判定してもよい。誤計測判定手段４４は、例えば２５通りの動きベクトル分布における各画素位置のスコアを並べたデータ（動きベクトル検出空間のスコア分布）をベクトルデータとして判別器に入力する。判別器は、入力されたデータに対して、誤計測であるか否かを示す信号を出力する。判別器は、動きベクトルが真の動きベクトルであるときの動きベクトル検出空間のスコア分布を正の教師データとし、動きベクトルが誤検出であるときの動きベクトル検出空間のスコア分布を負の教師データとして、正負の教師データを学習することで生成することができる。誤計測判定手段４４は、判別器の出力に基づいて、誤計測か否かを判定することができる。
【００７３】
上記した誤計測判定の手法は組み合わせて用いてもよい。例えば、スコアの差分に基づいて誤計測か否かを判定する手法と、第１の動きベクトルと第２の動きベクトルとの関係に基づいて誤計測か否かを判定する手法とを組み合わせてもよい。その場合、誤計測判定手段４４は、双方の条件がそろったとき、すなわちスコアの差分がしきい値よりも小さく、かつ、第１の動きベクトルと第２の動きベクトルとが逆ベクトルの関係にないときに誤計測と判定してもよい。あるいは、これに代えて、何れか一方の条件が成立したとき、すなわちスコアの差分がしきい値よりも小さいか、又は第１の動きベクトルと第２の動きベクトルとが逆ベクトルの関係にないときに誤計測と判定してもよい。
【００７４】
続いて、オブジェクト検出手段１２の具体的な構成例を説明する。図５は、オブジェクト検出手段１２の構成例を示す。オブジェクト検出手段１２は、前処理手段２１、平滑化処理手段２２、差分画像生成手段２３、合算手段２４、位置推定手段２５、サイズ推定手段２６、及び、照合手段２７を有する。オブジェクト検出手段１２は、動画像内の特定パターン、例えば人物の頭部をオブジェクトとして検出する。以下では、オブジェクト検出手段１２が、動画像からオブジェクトを１つ検出するものとして説明を行う。
【００７５】
前処理手段２１は、解像度変換手段５１と動き領域抽出手段５２とを有する。解像度変換手段５１は、動画像を構成するフレーム画像を所定の解像度に低解像度化する。解像度変換手段５１は、例えば画像の解像度を縦横それぞれ１／８倍に変換する。解像度変換手段５１が変換する画像の解像度は、動きベクトル場計測手段３１（図３）における解像度変換手段４０が変換する画像の解像度と同一でもよい。なお、オブジェクト検出手段１２と動きベクトル場計測手段３１とが別個に解像度変換手段を有している必要はない。両者に共通の解像度変換手段から低解像度化した画像を提供するようにしてもよい。
【００７６】
動き領域抽出手段５２は、動画像を構成するフレーム画像から動き領域を抽出し動き領域抽出画像を生成する。動き領域の抽出には、例えば背景画像やフレーム間画像の差分を算出するなど任意の手法を用いることができる。動き領域抽出手段５２は、抽出された動きの量に応じて、動きがある領域ほど白く（階調値が高く）、動きが少ない領域ほど黒く（階調値が低く）なるようなグレースケール画像を動き領域抽出画像として生成する。動き領域抽出手段５２は、例えば階調数２５６のグレースケール画像に対して所定の関数に従って階調を変換し、白から黒までの階調数を減少させるコントラスト低減処理を実施してもよい。動き領域抽出手段１２は、グレースケール画像に代えて、動き領域を白、背景領域を黒にするような２値化画像を動き領域抽出画像として生成してもよい。
【００７７】
平滑化処理手段２２には、前処理手段２１で前処理された画像Ｐ（ｘ，ｙ）、すなわち解像度が低解像度化され、動き領域が抽出された画像が入力される。平滑化処理手段２２は、平滑化フィルタを画像に畳み込む処理を繰り返し行うことにより、スケールが異なる複数枚の平滑化画像Ｌ（ｘ，ｙ，σｉ）を生成する。
【００７８】
平滑化処理手段２２は、まず画像Ｐ（ｘ，ｙ）に平滑化フィルタを畳み込むことで平滑化画像Ｌ（ｘ，ｙ，σ１）を生成し、その平滑化画像Ｌ（ｘ，ｙ，σ１）に更に平滑化フィルタを畳み込むことでスケールσ２の平滑化画像＋（ｘ，ｙ，σ２）を生成する。平滑化処理手段２２は、以降同様に平滑化フィルタの畳み込みを繰り返し行い、任意のスケールσｑの平滑化画像Ｌ（ｘ，ｙ，σｑ）から次のスケールσｑ＋１の平滑化画像Ｌ（ｘ，ｙ，σｑ＋１）を生成する。
【００７９】
平滑化画像Ｌ（ｘ，ｙ，σｉ）におけるスケール番号ｉは、平滑化フィルタを畳み込んだ回数に相当する。平滑化処理手段２２は、例えばスケールが異なるａ×ｋ枚（ａ及びｋはそれぞれ２以上の整数）の平滑化画像Ｌ（ｘ，ｙ，σ１）〜Ｌ（ｘ，ｙ，σａ×ｋ）を生成する。平滑化処理手段２２は、例えばａ＝２、ｋ＝３０とすれば２×３０＝６０枚の平滑化画像Ｌ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σ６０）を生成する。
【００８０】
平滑化フィルタには、例えばガウシアンフィルタを用いることができる。平滑化フィルタは、例えば検出対象であるオブジェクトの輪郭形状に合わせたフィルタ特性となる３×３オペレータから成る。例えばオブジェクト検出手段１２で検出対象とするオブジェクトが人物の頭部であれば、平滑化フィルタとして、人物の頭部の輪郭形状に沿って下側のフィルタ係数が小さくなる特性（オメガ形状）を有するフィルタを用いる。このような平滑化フィルタを用いることで、人物の頭部の輪郭形状を有する領域を強調し、それ以外の領域は抑制された平滑化処理を実現できる。
【００８１】
なお、フィルタの形状はオメガ形状には限定されず、例えば特開２００３−２４８８２４号公報等に記載されたものなど、他の公知技術を適用することも可能である。例えば検出対象のオブジェクトの形状が円形、三角形、四角形などの場合には、それぞれのオブジェクト形状に合わせたフィルタ特性を有する平滑化フィルタを用いて平滑化処理を施せばよい。
【００８２】
差分画像生成手段２３は、平滑化処理手段２２が生成した複数枚の平滑化画像Ｌ（ｘ，ｙ，σｉ）を入力し、スケールが互いに異なる２つの平滑化画像間の差分画像Ｇ（ｘ，ｙ，σｊ）を、スケールを変えつつ複数枚生成する。ここで、差分画像Ｇ（ｘ，ｙ，σｊ）におけるスケール番号ｊの最大値は、平滑化画像Ｌにおけるスケールσｉの最大値（例えばａ×ｋ）よりは小さい。差分画像生成手段２３は、例えばスケール番号ｊに応じたスケールだけ離れた平滑化画像間の差分画像を生成する。具体的には、差分画像生成手段２３は、例えば下記式３を用いて差分画像Ｇ（ｘ，ｙ，σｊ）を生成することができる。
Ｇ（ｘ，ｙ，σｊ）＝Ｌ（ｘ，ｙ，σｊ）−Ｌ（ｘ，ｙ，σｊ×ａ）・・・（３）
差分画像は、差分値の絶対値であってもよい。
【００８３】
上記の式３の定義からわかるように、差分画像Ｇ（ｘ，ｙ，σｊ）は、スケールσｊの平滑化画像と、スケールσｊ×ａの平滑化画像との差分として定義される。例えばａ＝２、ｋ＝３０とすると、差分画像生成手段２３は、スケールσ１とσ２、スケールσ２とσ４、スケールσ３とσ６、・・・、スケールσ３０とσ６０の組み合わせからなる３０枚の差分画像Ｇ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σ３０）を生成する。式３に従って差分画像Ｇ（ｘ，ｙ，σｊ）を生成する場合、ｊは１〜ｋの値を取る。すなわち、差分画像生成手段２３は、ｋ枚の差分画像Ｇ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σｋ）を生成する。
【００８４】
差分画像生成手段２３は、上記に代えて、一定のスケールだけ離れた平滑化画像間の差分を差分画像として生成してもよい。差分画像生成手段２３は、例えばスケールσｊの平滑化画像と、スケールσｊ＋ｐの平滑化画像（ｐは１以上の整数）との差分を差分画像（ｘ，ｙ，σｊ）として生成してもよい。具体的には、差分画像生成手段２３は、下記式４を用いて差分画像Ｇ（ｘ，ｙ，σｊ）を生成してもよい。
Ｇ（ｘ，ｙ，σｊ）＝Ｌ（ｘ，ｙ，σｊ）−Ｌ（ｘ，ｙ，σｊ＋ｐ）・・・（４）
この場合、平滑化画像の枚数をｒ（ｒ：３以上の整数）枚とすると、ｊは１〜ｒ−ｐの値を取る。すなわち差分画像生成手段２３は、ｒ−ｐ枚の差分画像Ｇ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σｒ−ｐ）を生成する。具体的には、ｒ＝６０で、ｐ＝３０の場合、差分画像生成手段２３は、スケールσ１とσ３１、スケールσ２とσ３２、スケールσ３とσ３３、・・・、スケールσ３０とσ６０の組み合わせからなる３０枚の差分画像Ｇ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σ３０）を生成する。
【００８５】
合算手段２４は、差分画像生成手段２３が生成した複数枚の差分画像Ｇ（ｘ，ｙ，σｊ）を合算し、合算画像ＡＰ（ｘ，ｙ）を生成する。位置推定手段５０は、合算画像ＡＰ（ｘ，ｙ）における画素値に基づいてオブジェクトの位置を推定する。位置推定手段２５は、例えば合算画像ＡＰ（ｘ，ｙ）において画素値（差分値を合計した値）が最も大きくなる位置を調べ、その位置をオブジェクトの位置として推定する。
【００８６】
サイズ推定手段２６は、複数枚の差分画像Ｇ（ｘ，ｙ，σｊ）の画素値を比較し、最大の画素値を有する差分画像のスケールに基づいて、検出すべきオブジェクトのサイズを推定する。サイズ推定手段２６は、例えば最大の画素値（差分値）を有する差分画像の生成元となった２枚の平滑化画像のうちのスケールが小さい方の平滑化画像内のスケールに基づいてオブジェクトのサイズを推定する。すなわちサイズ推定手段２６は、式３又は式４に従って生成される複数枚の差分画像Ｇ（ｘ，ｙ，σｊ）のうちで、最大の差分値を有するスケールσｊを求め、求めたスケールσｊに基づいてオブジェクトの位置を推定する。
【００８７】
上記のオブジェクトの位置及びサイズの推定について説明する。平滑化処理手段２２は、オブジェクト形状に合わせたフィルタ特性を有する平滑化フィルタを用いて平滑化画像Ｌ（ｘ，ｙ，σｉ）を生成しており、この平滑化画像Ｌ（ｘ，ｙ，σｉ）は、特定の形状を持つ領域が強調され、他の領域が抑制された画像となる。例えば平滑化処理を数十回行ったときでも平滑化画像内にオブジェクトの輪郭成分が残るが、スケールσｉが大きくなるほど、オブジェクトの領域はボケていくと共に広がっていく。
【００８８】
平滑化画像Ｌ（ｘ，ｙ，σｉ）におけるオブジェクトの形状及びサイズは、入力画像内のオブジェクトの形状及びサイズとそれぞれ一致していると仮定する。この平滑化画像Ｌ（ｘ，ｙ，σｉ）でのオブジェクト形状及びサイズの顕著性を算出するために、あるスケールの平滑化画像に対して、そのスケールよりもスケールが大きい平滑化画像を背景として設定する。すなわちスケールσｊの平滑化画像Ｌ（ｘ，ｙ，σｊ）対して、式３ではスケールσｊ×ａの平滑化画像Ｌ（ｘ，ｙ，σｊ×ａ）を背景画像として設定し、式４ではスケールσｊ＋ｐの平滑化画像Ｌ（ｘ，ｙ，σｊ＋ｐ）を背景として設定する。そして、式３又は式４に従って、スケールσｊの平滑化画像と背景画像として設定する平滑化画像との差分画像Ｇ（ｘ，ｙ，σｊ）が、スケールσｊの平滑化画像Ｌ（ｘ，ｙ，σｊ）におけるオブジェクトの顕著性として算出される。このように差分画像生成手段２３においてオブジェクトの顕著性を数値化し、位置推定手段２５及びサイズ推定手段２６において、差分画像生成手段２３において数値化されたオブジェクトの顕著性に基づいて、オブジェクトの位置及びサイズをそれぞれ推定する。
【００８９】
ここで、画像内においてオブジェクトが理想形状、すなわちフィルタ特性に最も合致した形状であって、かつ背景にノイズがない差分画像が、他の差分画像に比べて最大の信号を有する。言い換えれば、前処理済みの画像Ｐ（ｘ，ｙ）内のオブジェクトを構成する各画素の成分がオブジェクトの領域にほぼ等しくなるまで広がったとき、差分画像Ｇ（ｘ，ｙ，σｊ）内の差分値は最大となる。例えば画像Ｐ（ｘ，ｙ）内のオブジェクトが直径１０画素の円形画素から構成される場合、複数の差分画像のうちで、ｊ＝１０の差分画像Ｇ（ｘ，ｙ，σ１０）（式３ではＬ（ｘ，ｙ，σ１０）−Ｌ（ｘ，ｙ，σａ×１０）、式４ではＬ（ｘ，ｙ，σ１０）−Ｌ（ｘ，ｙ，σ１０＋ｐ））における差分値が、他の差分画像における差分値に比べて大きな値を有することになる。
【００９０】
一方で、実際に画像内に映し出されるオブジェクトは、カメラとオブジェクトの位置関係や個体差などに応じて映り方が異なり、オブジェクトの輪郭形状及びサイズは理想形状になるとは限らない。つまり、オブジェクトの輪郭形状及びサイズは変動する。そこで、位置推定手段５０は、複数の差分画像Ｇ（ｘ，ｙ，σｊ）を合算した合算画像ＡＰ（ｘ，ｙ）を用いてオブジェクトの位置を推定する。このようにすることで、オブジェクトの変動を吸収しながらオブジェクトの位置を推定できる。つまり、サイズが小さいオブジェクトからサイズが大きいオブジェクトに含まれる様々な輪郭形状の変動を持つオブジェクトに対して、平滑化画像を加算した合算画像ＡＰ（ｘ，ｙ）から最大値を検出することにより、変動を吸収しながら位置推定を行うことができる。
【００９１】
また、上述したように、式３、４におけるスケール番号ｊは、画像Ｐ（ｘ，ｙ）内における検出対象のオブジェクトのサイズに対応するパラメータである。オブジェクトのサイズが小さい場合にはスケール番号ｊが小さい差分画像Ｇ（ｘ，ｙ，σｊ）から最大値が検出され、オブジェクトのサイズが大きい場合にはスケール番号ｊが大きい差分画像Ｇ（ｘ，ｙ，σｊ）から最大値が検出される。サイズ推定手段６０は、この性質を利用し、複数の差分画像の間で差分値同士を比較し、最大の差分値となる差分画像のスケール番号、すなわち平滑化処理の繰り返し回数からオブジェクトのサイズを推定する。
【００９２】
照合手段２７は、位置推定手段２５から推定されたオブジェクトの位置を入力し、サイズ推定手段２６から推定されたオブジェクトのサイズを入力する。照合手段２７は、入力されたオブジェクトの位置及びサイズの情報を用いて、入力画像（フレーム画像）からオブジェクトを検出する。より詳細には、照合手段２７は、推定された位置の周辺領域をオブジェクトが存在する確率が高い領域として、その周辺領域からオブジェクトを検出する。このとき照合手段２７は、サイズ推定手段２６で推定されたサイズのオブジェクトを検出する。照合手段２７が行うオブジェクト検出には、パターンマッチングやニューラルネットワークを用いたオブジェクト検出など、任意のオブジェクト検出手法を用いることができる。
【００９３】
図６は、オブジェクト検出手段１２の動作手順を示す。前処理手段２１は、フレームメモリ１１（図１）からフレーム画像を読み出し、フレーム画像に対して前処理を行う（ステップＳ２１）。すなわち、解像度変換手段５１がフレーム画像を所定の解像度にまで低解像度化し、動き領域抽出手段５２が低解像度化されたフレーム画像から動き領域を抽出する。前処理手段２１は、前処理後の画像、すなわち解像度が低解像度化され、動き領域が白で背景領域が黒となるようにグレースケール化された画像Ｐ（ｘ，ｙ）を平滑化処理手段２２に入力する。なお、前処理手段２１における解像度変換及び動き領域抽出の何れか一方、又は双方を省略しても構わない。双方を省略する場合、フレーム画像を平滑化処理手段２２に入力すればよい。
【００９４】
平滑化処理手段２３は、画像Ｐ（ｘ，ｙ）を入力し、画像Ｐ（ｘ，ｙ）に平滑化フィルタを畳み込む処理を繰り返すことで、スケールが異なる複数の平滑化画像Ｌ（ｘ，ｙ，σｉ）を生成する（ステップＳ２２）。平滑化処理手段２３は、フレーム画像そのものに対して平滑化フィルタを畳み込んでもよい。差分画像生成手段２３は、スケールが異なる２つの平滑化画像間の差分を計算し、差分画像Ｇ（ｘ，ｙ，σｊ）を生成する（ステップＳ２３）。差分画像生成手段２３は、例えば式３を用いて、ａ×ｋ枚の平滑化画像Ｌ（ｘ，ｙ，σｉ）からスケール番号１〜ｋのｋ枚の差分画像Ｇ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σｋ）を生成する。あるいは差分画像生成手段２３は、式４を用いて、ｒ枚の平滑化画像Ｌ（ｘ，ｙ，σｉ）からスケール番号１〜ｒ−ｐのｒ−ｐ枚の差分画像Ｇ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σｒ−ｐ）を生成する。
【００９５】
合算手段２４は、差分画像生成手段２３が生成した複数の差分画像を合算し、合算画像ＡＰ（ｘ，ｙ）を生成する（ステップＳ２４）。合算手段２４は、例えば差分画像生成手段２３で生成されたｋ枚の差分画像Ｇ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σｋ）の各画素値を全て加算する。位置推定手段２５は、合算画像ＡＰ（ｘ，ｙ）に基づいて、オブジェクトが存在する位置を推定する（ステップＳ２５）。位置推定手段２５は、例えば合算画像ＡＰ（ｘ，ｙ）を構成する各画素位置の画素値（差分の合算値）を比較し、合算画像において最大の画素値を有する画素位置をオブジェクトの位置として推定する。
【００９６】
なお、合算手段２４は、全ての差分画像を合算する必要はない。合算手段２４は、例えば全ｋ枚の差分画像のうちの任意数、及び任意のスケール番号の差分画像を合算してもよい。合算手段２４は、例えば吸収したいサイズ変動幅に応じて、加算処理に用いる差分画像の数（合算する差分画像のスケール）を変更してもよい。例えば、検出対象のオブジェクトの種類に応じて吸収したいサイズ変動幅を設定しておき、あるオブジェクトについては、スケール番号が小さい、具体的にはスケール番号１、２の差分画像Ｇ（ｘ，ｙ，σ１）、（ｘ，ｙ，σ２）を合算から除外して、スケール番号３〜ｋの差分画像Ｇ（ｘ，ｙ，σ３）〜（ｘ，ｙ，σｋ）を合算してもよい。また、合算手段２４が、スケール番号１から、ｋよりも小さい任意のスケール番号までの差分画像（ｘ，ｙ，σｊ）を合算してもよい。
【００９７】
サイズ推定手段２６は、複数の差分画像Ｇ（ｘ，ｙ，σｊ）に基づいて、オブジェクトのサイズを推定する（ステップＳ２６）。サイズ推定手段２６は、例えばｋ枚の差分画像間で、位置推定手段２５で推定されたオブジェクトの位置の周辺の画素の画素値（差分値）を比較する。サイズ推定手段２６は、最大の画素値を与える差分画像のスケールを特定する。あるいはサイズ推定手段２６は、推定されたオブジェクトの位置の周辺だけではなく、差分画像の全画素の画素値を比較し、最大の画素値を与える差分画像のスケールを特定してもよい。平滑化処理を行うことで画像内の像はどの程度広がるか（ボケるか）は既知であるため、差分最大を与えるスケールが判明すれば、そのスケール番号に基づいてオブジェクトのサイズが推定できる。また、上述のように検出対象であるオブジェクトは変動するため、サイズ推定手段２６は、最も大きい差分値を有する差分画像から推定したサイズ±α（αは所定の値）をオブジェクトのサイズとして推定するようにしてもよい。
【００９８】
照合手段２７は、推定されたオブジェクトの位置及びサイズを利用して、フレーム画像からオブジェクトを検出する（ステップＳ２７）。例えば照合手段２７がパターンマッチングを用いてオブジェクトの検出を行う場合、照合手段２７は、推定されたオブジェクトの位置の周辺領域でパターンマッチングを行う。その際、照合手段２７は、推定されたオブジェクトのサイズに適合するサイズのパターンを用いてパターンマッチングを行う。照合手段２７が、推定されたオブジェクトの位置の周辺で、推定されたサイズのオブジェクトを検出することで、効率のよいオブジェクト検出が可能となる。
【００９９】
比較例としてＤＯＧ画像を用いたオブジェクト検出を考えると、ＤＯＧ画像を用いたオブジェクト検出では隣接するスケールの平滑化画像間の差分を全て求める必要があり、生成する必要がある差分画像の枚数が多くなる。図５に示すオブジェクト検出手段１２を用いる場合、あるスケールの平滑化画像と、そのスケールから所定スケールだけ離れたスケールの平滑化画像との差分を差分画像として生成すればよく、ＤＯＧ画像を用いたオブジェクト検出に比して、差分画像の生成枚数を少なくすることができる。このため、効率的に精度良くオブジェクトの位置を推定することができる。また、図５に示す構成のオブジェクト検出手段１２では、多重解像度画像を生成しなくてもオブジェクトのサイズの推定することができ、効率的にオブジェクトのサイズを推定することができる。
【０１００】
特に、平滑化処理手段２２においてａ×ｋ枚の平滑化画像Ｌ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σａ×ｋ）を生成し、差分画像生成手段２３において、式３を用いて、スケールσｊの平滑化画像Ｌ（ｘ，ｙ，σｊ）とスケールσａ×ｊの平滑化画像Ｌ（ｘ，ｙ，σａ×ｊ）との差分を差分画像Ｇ（ｘ，ｙ，σｊ）として求める場合、オブジェクトのサイズの様々な変動に合わせて、オブジェクトの位置を精度よく推定することができる。また、オブジェクトのサイズの推定を精度よく行うことができる。
【０１０１】
なお、上記の説明では、動き領域抽出手段５２が動き領域（オブジェクト）を白、背景領域を黒とするようなグレースケール化処理又は２値化処理を行うものとして説明したが、動き領域抽出手段５２の動作はこれには限定されない。例えば動き領域抽出手段５２は、動き領域を黒、背景領域を白とするようなグレースケール化処理又は２値化処理を行ってもよい。その場合には、位置推定手段２５は、合算画像ＡＰ（ｘ，ｙ）において、画素値が最小となる画素位置を、オブジェクトの位置として推定すればよい。また、サイズ推定手段２６は、複数の差分画像のうちで最小の画素値（差分値）を与える差分画像のスケールに基づいて、オブジェクトのサイズを推定すればよい。
【０１０２】
また、上記の説明では、オブジェクト検出手段１２が動画像からオブジェクトを１つ検出する例を説明したが、オブジェクト検出手段１２において複数のオブジェクトを検出してもよい。例えばオブジェクト検出手段１２が検出すべきオブジェクトの数をＭとする。その場合、位置推定手段２５は、合算画像ＡＰ（ｘ，ｙ）の画素値を大きい順に並べ、上位Ｍ個の画素位置を、各オブジェクトの位置として推定すればよい。つまり、合算画像ＡＰ（ｘ，ｙ）において画素値が大きい順にＭ個の画素位置をオブジェクトの位置として推定すればよい。サイズ推定手段２６は、推定されたＭ個のオブジェクトの位置の周辺において、最大の画素値を与える差分画像のスケールに基づいて、各オブジェクトのサイズを推定すればよい。
【０１０３】
オブジェクト検出手段１２は、オブジェクト追跡処理手段１３の第１の追跡手段３２が追跡しているオブジェクトは検出対象から除外する。例えばオブジェクト検出手段１２は、第１の追跡処理部３２から追跡中のオブジェクトの現在フレームにおける位置を受け取り、追跡中のオブジェクトの位置の画素値を“０”とし、それ以外の位置の画素値を“１”とするマスク画像を生成する。位置推定手手段２５は、合算画像ＡＰ（ｘ，ｙ）とマスク画像との積を取り、その積を取った画像において画素値が最大となる位置をオブジェクトの位置として推定すればよい。また、サイズ推定手段２６は、各差分画像Ｇ（ｘ，ｙ，σｊ）とマスク画像との積を取り、その積を取った各画像において最大の画素値を与えるスケールに基づいてオブジェクトのサイズを推定すればよい。追跡中のオブジェクトの位置をオブジェクト検出の対象から除外する手法は、マスク画像を用いる手法には限定されず、任意の手法でよい。
【０１０４】
引き続き、動画オブジェクト検出装置１０（図１）の全体的な動作手順いついて説明する。図７は、動画オブジェクト検出装置１０の動作手順を示す。フレームメモリ１１は、順次に入力されるフレーム画像を記憶する（ステップＳ３１）。動きベクトル場計測手段３１（図３）は、現在フレーム画像と過去のフレーム画像とに基づいて動きベクトル場を計測する（ステップＳ３２）。動きベクトル場計測手段３１は、例えば図４に示す手順に従って動きベクトル場を計測する。
【０１０５】
第１の追跡手段３２は、オブジェクトリスト記憶部１４から処理対象のオブジェクトの過去フレーム画像における位置を取得する（ステップＳ３３）。第１の追跡手段３２は、過去フレーム画像から現在フレーム画像方向にオブジェクトを追跡し、処理対象のオブジェクトの現在フレーム画像における位置を推定する（ステップＳ３４）。第１の追跡手段３２は、ステップＳ３２で求められた動きベクトル場と過去フレーム画像におけるオブジェクトの位置とに基づいて、現在フレームにおけるオブジェクトの位置を推定する。
【０１０６】
第１の追跡手段３２は、推定した現在フレーム画像におけるオブジェクトの位置を、オブジェクトリスト記憶部１４に記憶する。第１の追跡手段３２は、例えば処理対象のオブジェクトのＩＤと、現在フレーム画像のフレームＩＤと、推定したオブジェクトの位置とを関連付けてオブジェクトリスト記憶部１４に記憶する。
【０１０７】
第１の追跡手段３２は、オブジェクトリスト記憶部１４に未処理のオブジェクトが存在するか否かを判断する（ステップＳ３５）。第１の追跡手段３２は、未処理のオブジェクトが存在するときはステップＳ３３に戻り、未処理のオブジェクトの中から１つを選択し、選択したオブジェクトの位置を取得する。
【０１０８】
第１の追跡手段３２は、未処理のオブジェクトがなくなるまでステップＳ３３からステップＳ３５を繰り返し実行し、オブジェクトリスト記憶部１４に記憶された各オブジェクトについて、現在フレームにおけるオブジェクトの位置を推定し、推定したオブジェクトリスト記憶部１４に記憶する。未処理のオブジェクトがなくなると、過去フレーム画像から現在フレーム画像方向へのオブジェクトの追跡処理が終了する。なお、オブジェクトリスト記憶部１４に記憶されたオブジェクトが１つも存在しないときは、ステップＳ３３からステップＳ３５をスキップすればよい。
【０１０９】
オブジェクト検出手段１２は、現在フレーム画像からオブジェクトを所定個数、例えば１つ検出する（ステップＳ３６）。オブジェクト検出手段１２は、例えば図６に示す手順に従ってオブジェクトを検出する。オブジェクト検出部１２は、オブジェクトを検出したか否かを判断する（ステップＳ３７）。オブジェクト検出部１２において、現在フレーム画像からオブジェクトができなかったときは、現在フレーム画像に対する処理を終了する。
【０１１０】
オブジェクト検出手段１２は、オブジェクトを検出すると、その検出したオブジェクトの位置をオブジェクトリスト記憶部１４に記憶する（ステップＳ３８）。オブジェクト検出手段１２は、例えば現在フレーム画像から検出したオブジェクトに新規オブジェクトＩＤを割り当て、割り当てたオブジェクトＩＤと、現在フレーム画像のフレームＩＤと、検出したオブジェクトの位置とを対応付けてオブジェクトリスト記憶部１４に記憶する。
【０１１１】
オブジェクト検出手段１２は、現在フレーム画像において新たなオブジェクトが検出された旨を第２の追跡手段３３に通知する。第２の追跡手段３３は、現在フレーム画像の時刻よりも以前の時刻に遡ってオブジェクトを追跡し、過去フレームにおけるオブジェクトの位置を推定する（ステップＳ３９）。第２の追跡手段３３は、ステップＳ３２で求められた動きベクトル場と現在フレームにおいて検出されたオブジェクトの位置とに基づいて、過去フレームにおけるオブジェクトの位置を推定する。第２の追跡手段３３は、例えば所定フレーム数だけ過去方向に遡ってオブジェクトを追跡する。あるいはオブジェクトが追跡できなくなるまで、過去方向に遡ってオブジェクトを追跡してもよい。
【０１１２】
ところで、仮にステップＳ３２における動きベクトル場の計測を、追跡すべきオブジェクト（追跡中のオブジェクト）の周辺のみで行うものとした場合、過去方向にオブジェクトを追跡するためには、動きベクトル場の再計測が必要になる。この場合、１つのフレーム画像に対する処理を一定の時間以内で終わらせることが困難になると考えられる。動きベクトル場の計測を、追跡中のオブジェクトの周辺のみで行うのではなく、フレーム画像の全体に対して動きベクトル場を計測しけば、動きベクトル場の再計測は不要であり、第２の追跡手段３３の追跡処理を余計な時間をかけずに行うことができる。
【０１１３】
第２の追跡手段３３は、推定した過去フレーム画像におけるオブジェクトの位置を、オブジェクトリスト記憶部１４に記憶する。第２の追跡手段３３は、例えば検出されたオブジェクトのＩＤと、位置が推定された過去フレーム画像のフレームＩＤと、推定したオブジェクトの位置とを関連付けてオブジェクトリスト記憶部１４に記憶する。第２の追跡手段３３は、ステップＳ３６で検出されたオブジェクトが複数あるときは、そのそれぞれに対して過去フレーム画像におけるオブジェクトの位置を推定する。過去方向へのオブジェクトの追跡が終了すると、現在フレーム画像に対する処理が終了する。
【０１１４】
本実施形態では、ある時刻のフレーム画像においてオブジェクトが検出されると、第１の追跡手段３２（図２）がオブジェクトの検出時刻よりも後の時刻のフレーム画像におけるオブジェクトの位置を複数フレーム間で追跡すると共に、第２の追跡手段３３が、オブジェクトが検出された時刻よりも前の時刻に遡って複数フレーム間でオブジェクトの位置を追跡する。本実施形態では、ある時刻のフレーム画像において、オブジェクトが例えば画像上で他のオブジェクトや何らかの物体と重なることにより、そのオブジェクトが検出できなかったとしても、その後のフレーム画像においてオブジェクトが検出されたときに、第２の追跡手段３３が時間を遡ってオブジェクトを追跡する。このため、ある時刻においてオブジェクトの検出漏れがあったとしても、そのある時刻におけるオブジェクトの位置を後の時刻において推定することができる。
【０１１５】
本実施形態では、オブジェクトが検出されたときに、そのオブジェクトの過去フレーム画像における位置を時間を遡って追跡するため、各時刻において無理にオブジェクトを検出する必要がない。言い換えれば、各時刻においてオブジェクトの検出漏れが許容される。本実施形態では、各時刻においてオブジェクトの検出漏れを許容することができるため、オブジェクト検出においてオブジェクトの検出条件を厳しく設定することができる。例えば、現在フレーム画像に複数のオブジェクトが存在する場合でも、オブジェクト検出手段１２において検出するオブジェクトの数を１つに制限することができる。オブジェクトの検出条件を厳しく設定し、オブジェクトらしさが低いオブジェクトはオブジェクトとして検出しないようにすることで、誤検出を抑制できる。
【０１１６】
単にオブジェクトの検出条件を厳しく設定するだけであれば、誤検出は抑制できるものの、検出漏れが発生することになる。この検出漏れの発生に対し、本実施形態では、オブジェクト検出時に過去方向にオブジェクトを追跡する第２の追跡手段３３を用いる。第２の追跡手段３３が、オブジェクトが検出されたときに、過去フレーム方向にオブジェクトを追跡することで、過去フレームにおいて検出できなかったオブジェクトの位置を推定することができる。これにより、過去フレーム画像におけるオブジェクトの検出漏れを補償できる。従って、本実施形態では、オブジェクトの誤検出の抑制と、検出漏れの抑制との双方を実現できる。また、本実施形態では、特許文献３とは異なり、オブジェクトとは別にオブジェクトの候補を検出し、そのオブジェクトの候補を追跡する必要がないため、処理負荷が無駄に高くなることはない。
【０１１７】
図８は、具体的な処理例を示す。時刻ｔ以前に検出され、オブジェクトリスト記憶部１４に記憶されたオブジェクトは存在しないものとする。時刻ｔのフレーム画像が入力されると、オブジェクト検出手段１２は、図７のステップＳ３６でオブジェクトを１つ検出する。時刻ｔのフレーム画像には２つのオブジェクトが登場している。しかし、紙面向かって左側のオブジェクトは柱に隠れており、オブジェクトらしさを示すオブジェクトの信頼度が低い。オブジェクト検出手段１２は、ステップＳ３６において紙面向かった右側のオブジェクトを検出する。このオブジェクトをオブジェクトＡとする。
【０１１８】
オブジェクト検出手段１２は、ステップＳ３８でオブジェクトＡのオブジェクトＩＤと、時刻ｔのフレーム画像のフレームＩＤと、オブジェクトＡの位置とをオブジェクトリスト記憶部１４に記憶する。オブジェクト検出手段１２はオブジェクトＡが検出された旨を第２の追跡手段３３に通知する。オブジェクトＡは、時刻ｔのフレーム画像において初めて登場したオブジェクトであり、第２の追跡手段３３がステップＳ３９において過去フレーム画像方向へオブジェクトを追跡しても、時刻ｔ以前のフレーム画像にオブジェクトＡに対応するオブジェクトは存在しないものとする。
【０１１９】
時刻ｔ＋１のオブジェクト画像が入力されると、動きベクトル場計測手段３１は、ステップＳ３２で時刻ｔのフレーム画像と時刻ｔ＋１のフレーム画像とから動きベクトル場を計測する。第１の追跡手段３２は、ステップＳ３３で、オブジェクトリスト記憶部１４からオブジェクトＡの時刻ｔのフレーム画像における位置を取得する。第１の追跡手段３２は、ステップＳ３４で、動きベクトル場におけるオブジェクトＡの位置の動きベクトルに基づいて時刻ｔにおけるオブジェクトＡの位置を移動し、時刻ｔ＋１におけるオブジェクトＡの位置を推定する。オブジェクトリスト記憶部１４にはオブジェクトＡしか記憶されていないため、オブジェクトＡの現在フレームにおける位置の推定が終わると、ステップＳ３６のオブジェクトの検出へと進む。
【０１２０】
オブジェクト検出手段１２は、ステップＳ３６において、時刻ｔ＋１のフレーム画像のオブジェクトＡの位置として推定された位置を除く部分からオブジェクトの検出を試みる。時刻ｔ＋１のフレーム画像には、時刻ｔのフレーム画像にも含まれていた柱に隠れていたオブジェクトに加えて、柱の前を横切るオブジェクトが登場している。しかし、これらオブジェクトは画像上で柱と重なっていることからオブジェクトの信頼度が低く、オブジェクト検出手段１２は、時刻ｔ＋１のフレーム画像からはオブジェクトを検出しない。
【０１２１】
時刻ｔ＋２のフレーム画像が入力されると、動きベクトル場計測手段３１は、ステップＳ３２で時刻ｔ＋１のフレーム画像と時刻ｔ＋２のフレーム画像とから動きベクトル場を計測する。第１の追跡手段３２は、ステップＳ３３で、オブジェクトリスト記憶部１４からオブジェクトＡの時刻ｔ＋１のフレーム画像における位置を取得する。第１の追跡手段３２は、ステップＳ３４で、動きベクトル場におけるオブジェクトＡの位置の動きベクトルに基づいて時刻ｔ＋１におけるオブジェクトＡの位置を移動し、時刻ｔ＋２におけるオブジェクトＡの位置を推定する。オブジェクトリスト記憶部１４にはオブジェクトＡしか記憶されていないため、オブジェクトＡの現在フレームにおける位置の推定が終わると、ステップＳ３６のオブジェクトの検出へと進む。
【０１２２】
オブジェクト検出手段１２は、ステップＳ３６において、時刻ｔ＋２のフレーム画像のオブジェクトＡの位置として推定された位置を除く部分からオブジェクトの検出を試みる。時刻ｔ＋２のフレーム画像には、時刻ｔ＋１のフレーム画像において画像上で柱と重なっていた２つのオブジェクトが柱から離れた位置に存在する。オブジェクト検出手段１２は、これら２つのオブジェクトのうちでオブジェクトの信頼度が高い方を検出する。オブジェクト検出手段１２は、例えば紙面向かって下側のオブジェクトを検出する。このオブジェクトをオブジェクトＢとする。
【０１２３】
オブジェクト検出手段１２は、ステップＳ３８でオブジェクトＢのオブジェクトＩＤと、時刻ｔ＋２のフレーム画像のフレームＩＤと、オブジェクトＢの位置とをオブジェクトリスト記憶部１４に記憶する。オブジェクト検出手段１２はオブジェクトＢが検出された旨を第２の追跡手段３３に通知する。第２の追跡手段３３は、時刻ｔ＋２におけるオブジェクトＢの位置をステップＳ３２で求められた動きベクトル場に基づいて移動させ、時刻ｔ＋１におけるオブジェクトＢの位置を推定する。このようにすることで、時刻ｔ＋１においてオブジェクト検出手段１２で検出できなかった、画像上で柱と重なるオブジェクトＢの位置を、オブジェクトリスト記憶部１４に記憶することができる。
【０１２４】
時刻ｔ＋３のフレーム画像が入力されると、動きベクトル場計測手段３１は、ステップＳ３２で時刻ｔ＋２のフレーム画像と時刻ｔ＋３のフレーム画像とから動きベクトル場を計測する。第１の追跡手段３２は、ステップＳ３３で、オブジェクトリスト記憶部１４からオブジェクトＡの時刻ｔ＋２のフレーム画像における位置を取得する。第１の追跡手段３２は、ステップＳ３４で、動きベクトル場におけるオブジェクトＡの位置の動きベクトルに基づいて時刻ｔ＋２におけるオブジェクトＡの位置を移動し、時刻ｔ＋３におけるオブジェクトＡの位置を推定する。
【０１２５】
第１の追跡手段３２は、オブジェクトリスト記憶部１４にはオブジェクトＢが未処理のオブジェクトとして残っているため、ステップＳ３５からステップＳ３３に戻り、時刻ｔ＋２のフレーム画像におけるオブジェクトＢの位置を取得する。第１の追跡手段３２は、ステップＳ３４で、動きベクトル場におけるオブジェクＢの位置の動きベクトルに基づいて時刻ｔ＋２におけるオブジェクトＢの位置を移動し、時刻ｔ＋３におけるオブジェクトＢの位置を推定する。オブジェクトＢに対する処理が終わると、オブジェクトリスト記憶部１４には未処理のオブジェクトが存在しないため、ステップＳ３６のオブジェクトの検出へと進む。
【０１２６】
オブジェクト検出手段１２は、ステップＳ３６において、時刻ｔ＋３のフレーム画像のオブジェクトＡ及びＢの位置として推定された位置を除く部分からオブジェクトの検出を試みる。オブジェクト検出手段１２は、時刻ｔ＋３のフレーム画像のオブジェクトの信頼度が最も高い位置からオブジェクトを検出する。このオブジェクトをオブジェクトＣとする。
【０１２７】
オブジェクト検出手段１２は、ステップＳ３８でオブジェクトＣのオブジェクトＩＤと、時刻ｔ＋３のフレーム画像のフレームＩＤと、オブジェクトＣの位置とをオブジェクトリスト記憶部１４に記憶する。オブジェクト検出手段１２はオブジェクトＣが検出された旨を第２の追跡手段３３に通知する。第２の追跡手段３３は、時刻ｔ＋３におけるオブジェクトＣの位置をステップＳ３２で求められた動きベクトル場に基づいて移動させ、時刻ｔ＋２におけるオブジェクトＣの位置を推定する。第２の追跡手段３３は、更に時刻ｔ−１、時刻ｔへと遡って、遡った時刻のフレーム画像におけるオブジェクトＣの位置を推定してもよい。
【０１２８】
オブジェクトリスト記憶部１４には、オブジェクトＡに対して、時刻ｔ、時刻ｔ＋１、時刻ｔ＋２、及び時刻ｔ＋３の各フレーム画像における位置が記憶される。オブジェクトＢに対しては、時刻ｔ＋１、時刻ｔ＋２、及び時刻ｔ＋３の各フレーム画像における位置が記憶される。また、オブジェクトＣに対しては、時刻ｔ＋２及び時刻ｔ＋３の各フレーム画像における位置が記憶される。オブジェクトＢについては、その検出時刻は時刻ｔ＋２であるものの、未来方向だけでなく過去方向への追跡も行うことで、検出時刻よりも前の時刻ｔ−１におけるオブジェクトＢの位置をオブジェクトリスト記憶部１４に記憶することができる。また、オブジェクトＣについては、その検出時刻ｔ＋３よりも前の時刻ｔ＋２におけるオブジェクトＣの位置をオブジェクトリスト記憶部１４に記憶することができる。このように、誤検出の抑制を目的にオブジェクト検出条件を厳しく設定しても、オブジェクトの検出漏れを抑制できる効果がある。
【０１２９】
なお、上記実施形態では、動きベクトル場計測手段３１が対象フレーム画像の全体に対して動きベクトル場を計測するものとして説明したが、これには限定されない。例えばフレーム画像においてオブジェクトが検出されないことが明らかな領域があるような場合には、その領域を動きベクトル場の計測から除外してもよい。また、図７に示す動作手順は例示であり、必ずしもその手順に限定されるわけではない。例えばオブジェクトの追跡に関する処理（ステップＳ３２〜Ｓ３５）と、オブジェクトの検出（ステップＳ３６）の一部とを並列に行うことも可能である。具体的には、図４における各ステップと、図６におけるステップＳ２４までの処理とを並列に行うことができる。図６のオブジェクトの位置推定（ステップＳ２５）以降の処理については、現在時刻のフレーム画像における追跡中のオブジェクトの位置が求まった後に行えばよい。
【０１３０】
本実施形態の動画オブジェクト検出装置１０は、例えば商店やイベント会場などに設置されたカメラから動画像を入力し、客やイベント参加者などがどのように売り場やイベント会場内を動いたかを記録する用途に適用できる。また、動画像の圧縮において、特定のオブジェクト部分とそれ以外の部分とで圧縮のパラメータを変更して圧縮を行うといった用途に適用することができる。例えばオブジェクトリスト記憶部１４に記憶されたオブジェクトの位置に相当する領域の圧縮率を、その他の領域よりも低く設定して圧縮を行うことで、画像全体の圧縮率を上げてファイルサイズを小さく抑えつつも、オブジェクトの領域の情報の欠落を抑えることが可能になる。
【０１３１】
以上、本発明をその好適な実施形態に基づいて説明したが、本発明の動画オブジェクト検出装置、方法、及びプログラムは、上記実施形態にのみ限定されるものではなく、上記実施形態の構成から種々の修正及び変更を施したものも、本発明の範囲に含まれる。
【符号の説明】
【０１３２】
１０：動画オブジェクト検出装置
１１：フレームメモリ
１２：オブジェクト検出手段
１３：オブジェクト追跡処理手段
２１：前処理手段
２２：平滑化処理手段
２３：差分画像生成手段
２４：合算手段
２５：位置推定手段
２６：サイズ推定手段
２７：照合手段
３１：動きベクトル場計測手段
３２：第１の追跡手段
３３：第２の追跡手段
４０：解像度変換手段
４１：動きベクトル分布算出手段
４２：平均化処理手段
４３：動きベクトル検出手段
４４：誤計測判定手段４４
５１：解像度変換手段
５２：動き領域抽出手段
【技術分野】
【０００１】
本発明は、動画オブジェクト検出装置、方法、及びプログラムに関し、更に詳しくは、複数フレームの動画像からオブジェクトを検出する動画オブジェクト検出装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
複数フレームの動画像からオブジェクトを検出する技術が知られている。また、あるフレームで検出されたオブジェクトを追跡対象として設定し、後続するフレームにおいてオブジェクトを追跡する技術も知られている。例えば特許文献１には、顔を検出し、検出した顔の領域を追跡することが記載されている。特許文献１では、顔領域検出部は、顔検出アルゴリズムを用いてフレーム単位で顔領域を検出する。トラッキング部は、顔領域履歴記憶部に記録されたフレーム単位の顔領域の検出履歴を参照して、検出された顔領域を連続する複数のフレームにわたって追跡する。トラッキング部は、あるフレームにて顔領域が検出されたときでも、そのフレーム以降の所定数以上の連続するフレームにて当該顔領域が検出されないときは、検出された顔領域を無効と判断する。
【０００３】
また、特許文献２には、時系列の動画像を処理し、画像上で重なった移動物体同士を分割して認識する方法が記載されている。特許文献２では、画像処理部は、複数の時系列画像の各画像について、背景画像と比較することで移動物体を認識し、認識された移動物体に識別符号を付与する。画像処理部は、時刻ｔの画像に含まれる各移動物体の動きベクトルを求める。画像処理部は、時刻ｔ−１の画像に含まれる移動物体上の領域が同じ識別符号を持っていると仮定して、その領域に対応した時刻ｔでの画像上の領域を動きベクトルに基づいて推定し、両領域間の相関度を求める。画像処理部は、複数の識別符号の各々について求めた相関度の大小関係に基づいて各領域に付与すべき識別符号を決定することで、時刻ｔ−１の画像に含まれている非分離移動物体を分割する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−５２３９号公報
【特許文献２】特開２００２−１３３４２１号公報
【特許文献３】特開２０１０−７２７２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１では、顔領域の検出後、その顔領域を未来方向に追跡している。しかし、特許文献１では、画像中に顔が現れたとしても、その顔の領域の追跡が直ちに開始されるとは限らない。例えば顔が隠れたり、正面を向いていなかったり、顔が小さかったりすると、顔を検出することができず、新たな追跡対象が動画像に現れたことを装置が認識することができないことがある。そのような場合、その人物の顔がはっきりと認識されるようになってはじめて追跡処理がスタートすることになり、その人物の登場から顔検出に成功するまでの間の動き情報を捉えることができない。特に、多数の人物が写る画像では、顔の隠れが起こる可能性が高く、検出したい顔領域の検出漏れ顕著になる。
【０００６】
特許文献１において、顔検出の判定を甘くすれば、ある程度早い段階から顔を検出することが可能になる。しかしながら、その場合には検出漏れは抑制できるものの誤検出が増加し、装置自体の信頼性が低下するという弊害が生じる。つまり、特許文献１では、誤検出と検出漏れの双方を抑制することはできない。また、特許文献２は、ある時刻までは複数の移動物体同士が画像上で重なっていることで複数の移動物体を分離して検出することができず、ある時刻で画像上の重なりがなくなって複数の移動物体を分離して検出できたときに、過去フレームにおいて重なって検出された移動物体を分離するというものに過ぎない。従って、特許文献２においても、誤検出と検出漏れとの双方を抑制することはできない。
【０００７】
上記課題の解決を図る技術として、特許文献３が知られている。特許文献３では、検出手段は、順次に入力される各フレームの画像から、人物と、人物か否か確定できない対象である候補とを検出する。人物追跡手段は、人物を追跡対象とする追跡処理を実行し、追跡対象とされた人物の位置情報を追跡情報として記録する。候補追跡手段は、候補を対象とする追跡処理を実行し、追跡対象とされた候補の位置情報を追跡情報として記録する。変更手段は、検出手段が検出した人物のなかに、候補追跡手段により追跡対象とされている候補と同一の対象と評価される人物が存在すると、候補の位置情報として記録されていた追跡情報を、人物の追跡情報へと変更する。
【０００８】
特許文献３では、人物か否かが確定できない対象を“候補”として追跡し、“人物”として検出された対象が、“候補”として追跡されていた対象と同じ対象のとき、候補の追跡情報を人物の追跡情報へと変更する。このようにすることで、誤検出と検出漏れとの双方を抑制できる。しかし、特許文献３では、人物のみならず、人物か否かが確定できない対象も、人物と同様に追跡する必要があり、処理負荷が高いという問題が生じる。特に、人物検出において、人物か否かが確定できない対象の判定基準を甘めに設定すると、本当は人物でない多数の対象を“候補”として追跡する必要が生じ、無駄に追跡処理を行う必要がある分だけ追跡処理の処理負荷が無駄に高くなる。
【０００９】
本発明は、上記に鑑み、処理負荷を無駄に上げることなく、オブジェクトの誤検出と検出漏れとの双方を抑制できる動画像オブジェクト検出装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明は、複数フレームから成る動画像のフレーム画像からオブジェクトを検出し、該検出したオブジェクトの位置をオブジェクトリスト記憶部に記憶するオブジェクト検出手段と、前記オブジェクトリスト記憶部に記憶されたオブジェクトの位置を、当該オブジェクトが検出された時刻以後、複数フレーム間で追跡し、該追跡したオブジェクトの位置をオブジェクトリスト記憶部に記憶する第１の追跡手段と、前記オブジェクト検出手段でオブジェクトが新たに検出されたとき、該新たに検出されたオブジェクトの位置を、当該オブジェクトが検出されたフレーム画像の時刻よりも前の時刻に遡って複数フレーム間で追跡し、該追跡したオブジェクトの位置を前記オブジェクトリスト記憶部に記憶する第２の追跡手段とを含む手段オブジェクト追跡処理手段とを備えたことを特徴とする動画オブジェクト検出装置を提供する。
【００１１】
前記オブジェクト検出手段が、１つのフレーム画像に含まれると想定されるオブジェクト数を示す想定登場数をｎ、１つのオブジェクトが何フレーム分撮影されるかを示す想定有効ショット数をＳ、オブジェクトの検出確率をＰ（％）として、１つのフレーム画像から、下記式、
Ｎ＝（ｎ／Ｓ）×（１００／Ｐ）
で求まるＮを整数化した個数だけオブジェクトを検出する構成を採用することができる。
【００１２】
上記に代えて、前記オブジェクト検出手段が、１つのフレーム画像から１つのオブジェクトを検出する構成でもよい。
【００１３】
前記オブジェクト追跡処理手段が、前記フレーム画像を順次に入力し、現在処理対象とするフレーム画像と、該フレーム画像よりも前の時刻のフレーム画像とに基づいて動きベクトル場を求める動きベクトル場計測手段を更に含み、前記第１の追跡手段が、前記動きベクトル場計測手段で求められた動きベクトル場と、前記オブジェクトリスト記憶部に記憶されたオブジェクトの位置とに基づいて、複数のフレーム間でオブジェクトの位置を追跡し、前記第２の追跡手段が、前記動きベクトル場計測手段で求められた動きベクトル場と、前記オブジェクト検出手段で新たに検出されたオブジェクトの位置とに基づいて、前の時刻に遡ってオブジェクトの位置を追跡する構成を採用することができる。
【００１４】
前記動きベクトル場計測手段が、対象フレーム上の動きベクトル計測の対象となる対象画素について、参照フレームを対象フレームに対して動きベクトル検出空間に対応する所定範囲内でずらしつつ、各ずらし量に対して、前記対象画素と該対象画素に対応する参照フレームの画素との相関を表わすスコアの分布である動きベクトル分布を算出する動きベクトル分布算出手段と、前記動きベクトル分布に基づいて、前記対象画素における動きベクトルを検出する動きベクトル検出手段と、前記動きベクトル分布に基づいて、前記検出された動きベクトルが誤計測であるか否かを判定する誤計測判定手段とを含む構成を採用してもよい。
【００１５】
前記誤計測判定手段は、前記動きベクトル検出空間の中心位置に対応するずらし量に対して算出された動きベクトル分布におけるスコアと、前記検出された動きベクトルの位置に対応するずらし量に対して算出された動きベクトル分布におけるスコアとが所定の関係を満たすか否かに基づいて、前記検出された動きベクトルが誤計測であるか否かを判定してもよい。誤計測判定手段は、例えばスコア間の差分が所定のしきい値以上であるか否かに基づいて、スコアが所定の関係を満たすか否かを判定することができる。あるいは誤計測判定手段は、スコア間の比率が所定のしきい値以上であるか否かに基づいて、スコアが所定の関係を満たすか否かを判定してもよい。
【００１６】
前記誤計測判定手段が、検出された動きベクトルが真の動きベクトルであるときの、前記各ずらし量に対して算出された動きベクトル分布における前記対象画素のスコアを並べたデータを正の教師データとし、検出された動きベクトルが真の動きベクトルではないときの、前記各ずらし量に対して算出された動きベクトル分布における対象画素のスコアを並べたデータを負の教師データとして機械学習を用いて生成された判別器を用い、各ずらし量に対して算出された動きベクトル分布における前記対象画素のスコアを並べたデータを前記判別器に入力したときの該判別器の出力に基づいて誤計測か否かを判定する構成でもよい。
【００１７】
前記動きベクトル分布算出手段が、更に、参照フレーム上の前記対象画素に対応する画素について、対象フレームを参照フレームに対して動きベクトル検出空間に対応する所定範囲内でずらしつつ、各ずらし量に対して、前記参照フレーム上の前記対象画素に対応する画素と前記対応画素との相関を表わすスコアの分布である別の動きベクトル分布を算出し、前記動きベクトル検出手段が、更に、前記別の動きベクトル分布に基づいて、前記参照フレーム上の前記対象画素に対応する画素における別の動きベクトルを検出し、前記誤計測判定手段が、前記動きベクトル分布に基づいて前記検出された動きベクトルが誤計測であるか否かを判定するのに代えて、又はこれに加えて、前記動きベクトルと前記別の動きベクトルとの関係に基づいて誤計測であるか否を判定する構成を採用できる。
【００１８】
上記の場合、前記誤計測判定手段は、前記動きベクトルと前記別の動きベクトルとが逆ベクトルの関係にないとき、前記検出された動きベクトルが誤計測であると判定してもよい。
【００１９】
前記動きベクトル分布算出手段が、更に、前記対象画素について、前記対象フレームを前記対象フレーム自身に対して動きベクトル検出空間に対応する所定範囲内でずらしつつ、各ずらし量に対して、前記対象画素自身の相関を表すスコアの分布である自己動きベクトル分布を更に算出し、前記誤計測判定手段が、前記動きベクトル分布に基づいて前記検出された動きベクトルが誤計測であるか否かを判定するのに代えて、又はこれに加えて、前記検出された動きベクトルの位置に対応するずらし量に対して算出された自己動きベクトル分布におけるスコアに基づいて誤計測であるか否かを判定する構成を採用できる。
【００２０】
上記の場合、前記誤計測判定手段は、前記自己動きベクトル分布におけるスコアを所定のしきい値でしきい値処理し、誤計測であるか否かを判定してもよい。
【００２１】
前記オブジェクト検出手段が、検出すべきオブジェクトの輪郭形状に対応したフィルタ特性を有する平滑化フィルタを画像に畳み込む処理を繰り返し行うことにより、前記フレーム画像からスケールが異なる複数枚の平滑化画像を生成する平滑化処理手段と、前記複数枚の平滑化画像のうち、スケールが互いに異なる２枚の平滑化画像間の差分画像を、スケールを変えつつ複数枚生成する差分画像生成手段と、前記複数枚の差分画像を合算し合算画像を生成する合算手段と、前記合算画像における画素値に基づいて検出すべきオブジェクトの位置を推定する位置推定手段と、前記フレーム画像から、前記推定された位置の周辺でオブジェクトを検出する照合手段とを含む構成を採用してもよい。
【００２２】
前記オブジェクト検出手段が検出すべきオブジェクトの数をＭとしたとき、前記位置推定手段が、前記合算画像の画素値を大きい順に並べたときの上位Ｍ個又は下位Ｍ個の画素の画素位置を、前記オブジェクトの位置として推定してもよい。
【００２３】
前記オブジェクト検出手段が、前記複数枚の差分画像の画素値を比較し、最大又は最小の画素値を有する差分画像のスケールに基づいて、検出すべきオブジェクトのサイズを推定するサイズ推定手段を更に備える構成を採用することもできる。
【００２４】
前記サイズ推定手段は、前記位置推定手段が推定したオブジェクトの位置の周辺で前記差分画像の画素値を比較してもよい。
【００２５】
前記サイズ推定手段が、前記最大又は最小の画素値を有する差分画像の生成元となった２枚の平滑化画像のうちのスケールが小さい方の平滑化画像内のスケールに基づいて前記オブジェクトのサイズを推定する構成でもよい。
【００２６】
前記平滑化処理手段がスケールσ１からσａ×ｋ（ａ及びｋは２以上の整数）までのａ×ｋ枚の平滑化画像Ｌ（ｘ，ｙ，σｉ）（ｉ＝１〜ａ×ｋ）を生成し、前記差分画像生成手段が、スケールσ１からσｋまでのｋ枚の差分画像Ｇ（ｘ，ｙ，σｊ）（ｊ＝１〜ｋ）を、それぞれスケールσｊの平滑化画像Ｌ（ｘ，ｙ，σｊ）とスケールσｊ×ａの平滑化画像Ｌ（ｘ，ｙ，σｊ×ａ）との差分に基づいて生成してもよい。この場合、前記差分画像生成手段は、下記式、
Ｇ（ｘ，ｙ，σｊ）＝Ｌ（ｘ，ｙ，σｊ）−Ｌ（ｘ，ｙ，σｊ×ａ）
を用いて差分画像Ｇ（ｘ，ｙ，σｊ）を生成してもよい。
【００２７】
上記に代えて、前記平滑化処理手段がスケールσ１からσｒ（ｒは３以上の整数）までのｒ枚の平滑化画像Ｌ（ｘ，ｙ，σｉ）（ｉ＝１〜ｒ）を生成し、前記差分画像生成手段が、スケールσ１からσｋ−ｐ（ｐは１以上の整数）までのｋ−ｐ枚の差分画像Ｇ（ｘ，ｙ，σｊ）（ｊ＝１〜ｋ−ｐ）を、それぞれスケールσｊの平滑化画像Ｌ（ｘ，ｙ，σｊ）とスケールσｊ＋ｐの平滑化画像Ｌ（ｘ，ｙ，σｊ＋ｐ）との差分に基づいて生成してもよい。この場合、前記差分画像生成手段が、下記式、
Ｇ（ｘ，ｙ，σｊ）＝Ｌ（ｘ，ｙ，σｊ）−Ｌ（ｘ，ｙ，σｊ＋ｐ）
を用いて差分画像Ｇ（ｘ，ｙ，σｊ）を生成してもよい。
【００２８】
前記オブジェクト検出手段が、前記フレーム画像から動き領域を抽出し動き領域抽出画像を生成する動き領域抽出手段を更に備え、前記平滑化画像生成手段が、前記動き領域抽出画像に対して前記平滑化フィルタを畳み込む構成を採用することもできる。この場合、前記動き領域抽出手段は、各画素が、前記フレーム画像から抽出した動きの量に応じた階調値を有するグレースケール画像を前記動き領域抽出画像として生成してもよい。更に、前記動き領域抽出手段は、前記グレースケール画像に対して所定のコントラスト低減処理を施してもよい。
【００２９】
本発明は、また、複数フレームから成る動画像のフレーム画像からオブジェクトを検出し、該検出したオブジェクトの位置をオブジェクトリスト記憶部に記憶するステップと、前記オブジェクトリスト記憶部に記憶されたオブジェクトの位置を、当該オブジェクトが検出された時刻以後、複数フレーム間で追跡し、該追跡したオブジェクトの位置をオブジェクトリスト記憶部に記憶するステップと、前記オブジェクト検出手段でオブジェクトが新たに検出されたとき、該新たに検出されたオブジェクトの位置を、当該オブジェクトが検出されたフレーム画像の時刻よりも前の時刻に遡って複数フレーム間で追跡し、該追跡したオブジェクトの位置を前記オブジェクトリスト記憶部に記憶するステップとを有することを特徴とする動画オブジェクト検出方法を提供する。
【００３０】
更に本発明は、コンピュータに、複数フレームから成る動画像のフレーム画像からオブジェクトを検出し、該検出したオブジェクトの位置をオブジェクトリスト記憶部に記憶するステップと、前記オブジェクトリスト記憶部に記憶されたオブジェクトの位置を、当該オブジェクトが検出された時刻以後、複数フレーム間で追跡し、該追跡したオブジェクトの位置をオブジェクトリスト記憶部に記憶するステップと、前記オブジェクト検出手段でオブジェクトが新たに検出されたとき、該新たに検出されたオブジェクトの位置を、当該オブジェクトが検出されたフレーム画像の時刻よりも前の時刻に遡って複数フレーム間で追跡し、該追跡したオブジェクトの位置を前記オブジェクトリスト記憶部に記憶するステップとを実行させるためのプログラムを提供する。
【発明の効果】
【００３１】
本発明の動画オブジェクト検出装置、方法、及びプログラムでは、ある時刻のフレーム画像においてオブジェクトが検出されると、検出された時刻よりも後の時刻においてオブジェクトの位置を複数フレーム間で追跡すると共に、オブジェクトが検出された時刻よりも前の時刻に遡って複数フレーム間でオブジェクトの位置を追跡する。オブジェクト検出においてオブジェクトの検出条件を厳しく設定し、オブジェクトらしさが低いオブジェクトはオブジェクトとして検出しないことで、オブジェクトの誤検出を抑制できる。一方で、オブジェクトが検出されたときに、過去フレーム方向にオブジェクトを追跡するため、過去フレームにおいて検出できなかったオブジェクトの位置を推定でき、過去フレーム画像におけるオブジェクトの検出漏れを抑制できる。つまり、本発明においては、オブジェクトの誤検出の抑制と、検出漏れの抑制との双方を実現できる。また、本発明では、特許文献３とは異なり、オブジェクトとは別にオブジェクトの候補を検出し、そのオブジェクトの候補を追跡する必要がないため、処理負荷が無駄に高くなることはない。
【図面の簡単な説明】
【００３２】
【図１】本発明の一実施形態の動画オブジェクト検出装置を示すブロック図。
【図２】オブジェクト追跡処理手段を示すブロック図。
【図３】動きベクトル場計測手段の構成例を示すブロック図。
【図４】動きベクトル場計測手段の動作手順を示すフローチャート。
【図５】オブジェクト検出手段の構成例を示すブロック図。
【図６】オブジェクト検出手段の動作手順を示すフローチャート。
【図７】動画オブジェクト検出装置の動作手順を示すフローチャート。
【図８】具体的な処理例を示す図。
【発明を実施するための形態】
【００３３】
以下、図面を参照し、本発明の実施の形態を詳細に説明する。図１は、本発明の一実施形態の動画オブジェクト検出装置を示す。動画オブジェクト検出装置１０は、フレームメモリ１１、オブジェクト検出手段１２、オブジェクト追跡処理手段１３、及びオブジェクトリスト記憶部１４を有する。動画オブジェクト検出装置１０は、動画像を構成するフレーム画像を順次に処理し、動画像に含まれるオブジェクトを検出する。動画オブジェクト検出装置１０内の各部の機能は、コンピュータシステムが所定のプログラムに従って動作することで実現することができる。あるいは各部の機能は、ＩＣ（Integrated Circuit）などで実現することもできる。
【００３４】
フレームメモリ１１は、動画オブジェクト検出装置１０に入力された複数フレームから成る動画像のうちの少なくとも数フレーム分のフレーム画像（フレームデータ）を記憶する。オブジェクト検出手段１２は、フレームメモリ１１を参照し、フレーム画像からオブジェクトを検出する。オブジェクト検出手段１２は、オブジェクトが存在する領域をＲＯＩ領域（Region of Interest:関心領域）として検出する。
【００３５】
オブジェクト検出手段１２は、例えばフレーム画像から所定個数のオブジェクトを検出する。オブジェクト検出手段１２は、例えば１つのフレーム画像に含まれると想定されるオブジェクト数を示す想定登場数をｎ、オブジェクトが隠れによる撮影不良フレームを除いて１つのオブジェクトが何フレーム分撮影されるかを示す想定有効ショット数をＳ、オブジェクトの検出確率をＰ（％）として、１つのフレーム画像から、下記式、
Ｎ＝（ｎ／Ｓ）×（１００／Ｐ）
で求まるＮを整数化した個数だけオブジェクトを検出する。オブジェクト検出手段１２は、例えば上記で計算されたＮの小数点以下を切り上げることで整数化を行う。例えば想定登場数ｎが４、想定有効ショット数Ｓが数十回、検出確率Ｐが５０％であるとすると、オブジェクト検出手段１２は、１つのフレーム画像から１つのオブジェクトを検出すればよい。上記式を用いてＮを計算せずに、オブジェクト検出手段１２におけるオブジェクトの検出個数を１つと決めてもよい。
【００３６】
オブジェクト検出手段１２におけるオブジェクトの検出手法は特に問わない。オブジェクト検出手段１２は、例えば各フレーム画像に対してテンプレートマッチングを行い、人物や顔（人物の頭部）などの検出対象のオブジェクトを検出する。また、オブジェクト検出手段１２は、例えば機械学習により生成された識別器を用いて各フレーム画像から検出対象のオブジェクトを検出してもよい。あるいはオブジェクト検出手段１２は、背景画像とフレーム画像との差分からオブジェクトを検出してもよい。オブジェクト検出手段１２は、例えば入口ゲートなど、オブジェクトが画像中に登場する際の位置が決まっている場合は、その部分の近傍でのみでオブジェクト検出を行ってもよい。
【００３７】
オブジェクトリスト記憶部１４は、検出されたオブジェクトについて、どのフレームのどの位置で検出されたかを示す情報を記憶する。オブジェクトリスト記憶部１４は、例えばオブジェクトの識別情報（オブジェクトＩＤ）と、オブジェクトが検出されたフレーム画像を識別する情報（フレームＩＤ）と、画像中のオブジェクトの位置とを対応付けて記憶する。フレームＩＤには、例えば動画像の開始時刻からの経過時間やフレーム番号などを用いることができる。オブジェクトの位置は、例えばオブジェクトの検出領域を矩形で表わしたときの矩形の始点（左上の頂点）と終点（右下の頂点）との組で表わすことができる。
【００３８】
オブジェクト検出手段１２は、現在フレームにおいてオブジェクトを検出すると、検出したオブジェクトの位置をオブジェクトリスト記憶部１４に記憶する。オブジェクト検出手段１２は、例えば検出したオブジェクトに対して識別情報（オブジェクトＩＤ）を付与し、付与したオブジェクトＩＤとフレームＩＤと画像中のオブジェクトの位置とをオブジェクトリスト記憶部１４に追加記憶する。また、新たなオブジェクトが検出された旨を、オブジェクト追跡処理手段１３に通知する。
【００３９】
オブジェクト追跡処理手段１３は、検出済みのオブジェクト、すなわち過去フレームにおいて検出され、オブジェクトリスト記憶部１４に記憶されたオブジェクトを、オブジェクトが検出された時刻以後、複数フレーム間で追跡し、現在フレームにおけるオブジェクトの位置を推定する。オブジェクト追跡処理手段１３は、推定したオブジェクトの位置をオブジェクトリスト記憶部１４に記憶する。また、オブジェクト追跡処理手段１３は、新たなオブジェクトが検出された旨の通知を受けると、その新たに検出されたオブジェクトを過去フレーム方向に追跡し、現在フレームよりも前の時刻のフレーム画像におけるオブジェクトの位置を推定する。オブジェクト追跡処理手段１３は、推定した過去のフレーム画像におけるオブジェクトの位置をオブジェクトリスト記憶部１４に記憶する。
【００４０】
図２は、オブジェクト追跡処理手段１３を示す。オブジェクト追跡処理手段１３は、動きベクトル場計測手段３１、第１の追跡手段３２、及び第２の追跡手段３３を有する。動きベクトル場計測手段３１は、フレーム画像を順次に入力し、現在フレーム画像と、現在フレームよりも１つ以上前の過去フレーム画像とに基づいて、動きベクトル場を計測する。動きベクトル場計測手段３１は、複数の画素位置で動きベクトルを求める。動きベクトル場計測手段３１は、例えばフレーム画像を構成する全ての画素に対して動きベクトルを求める。動きベクトル場計測手段３１は、画像を構成する各画素を隣接する複数の画素ずつ複数のブロックに分割し、ブロック単位で動きベクトルを求めてもよい。
【００４１】
第１の追跡手段３２は、オブジェクトリスト記憶部１４に記憶された、過去フレーム画像において検出済みのオブジェクトのそれぞれに対し、現在フレームでのオブジェクトの位置を推定する。第１の追跡手段３２は、過去フレーム画像、例えば現在フレームよりも１フレーム前のフレーム画像におけるオブジェクトの位置と、動きベクトル場計測手段３１が計測した動きベクトル場とに基づいて、現在フレーム画像におけるオブジェクトの位置を推定する。第１の追跡手段３２は、例えば１つ前のフレーム画像におけるオブジェクトの位置に対応する領域内の動きベクトルを平均化し、１つ前のフレーム画像におけるオブジェクトの領域を動きベクトルの平均値だけずらした領域を、現在フレーム画像におけるオブジェクトの位置として推定する。第１の追跡手段３２は、推定したオブジェクトの位置をオブジェクトＩＤ及びフレームＩＤと共にオブジェクトリスト記憶部１４に記憶する。
【００４２】
第２の追跡手段３２は、オブジェクト検出手段１２が新たに検出したオブジェクトに対し、現在フレームよりも過去のフレーム画像におけるオブジェクトの位置を推定する。第２の追跡手段３２は、現在フレームにおいて検出されたオブジェクトの位置と、動きベクトル場計測手段３１が計測した動きベクトル場とに基づいて、例えば現在フレームよりも１つ前の過去フレームにおけるオブジェクトの位置を推定する。第２の追跡手段３２は、例えば動きベクトルに基づいて、過去フレームにおける各画素のうちで移動先が現在フレーム画像におけるオブジェクトの位置に対応する領域に入る画素位置を特定する。第２の追跡手段３２は、特定した過去フレームにおける画素位置の動きベクトルの平均を求め、その平均ベクトルの逆ベクトルを用いて、過去フレームにおけるオブジェクトの位置を推定する。第２の追跡手段３２は、推定したオブジェクトの位置をオブジェクトＩＤ及びフレームＩＤと共にオブジェクトリスト記憶部１４に記憶する。
【００４３】
動きベクトル場計測手段３１の具体的な構成例を説明する。図３は、動きベクトル場計測手段３１の構成例を示す。動きベクトル場計測手段３１は、解像度変換手段４０、動きベクトル分布算出手段４１、平均化処理手段４２、動きベクトル検出手段４３、及び誤計測判定手段４４を有する。解像度変換手段４０は、フレームメモリ１１（図１）に記憶されたフレーム画像を、フレーム画像の解像度よりも低い低解像度の画像に変換する。解像度変換手段４０は、ある時刻のフレーム画像に対しては１度だけ解像度変換を行えばよい。言い換えれば、解像度変換手段４０は、同一フレーム画像に対して解像度変換を複数回行う必要はない。
【００４４】
解像度変換には、種々の手法を用いることができる。解像度変換手段４０は、例えば解像度変換前のフレーム画像の画素を所定の割合いで間引くことで、画像の解像度を低下させる。あるいは解像度変換手段４０は、変換前のフレーム画像の所定画素数分の画素値の平均を求め、求めた平均値を解像度変換後の画像における各画素の画素値とすることで、解像度を低解像度化してもよい。解像度変換手段４０は、低解像度化の処理を複数回繰り返して、画像を所望の解像度まで低下させてもよい。例えば解像度を１／２にする処理を３回行って、解像度を１／８まで低下させてもよい。
【００４５】
動きベクトル場計測手段３１は、解像度変換手段４０が変換した画像を用いて動きベクトル場の計測を行う。より詳細には、動きベクトル場計測手段３１は、現在時刻のフレーム画像を低解像度化した画像を対象フレームとし、過去フレームの画像を低解像度化した画像を参照フレームとして動きベクトル場の計測を行う。低解像度化した画像を用いて動きベクトル場を計測することで、処理を高速化できる。ただし、低解像度化したことで、処理の高速化と引き換えに動きベクトル場の計測精度は低下する。解像度変換手段４０がフレーム画像をどの程度低解像度化するかは、必要とされる演算時間と計測精度とに応じて適宜設定すればよい。画像の低解像度化は必須ではなく、動きベクトル場の計測を、フレーム画像を低解像度化せずに行うことも可能である。つまりフレーム画像の本来の解像度のまま動きベクトル場の計測を行うことも可能である。
【００４６】
動きベクトル分布算出手段４１は、対象フレームと参照フレームとに基づいて、両者の画素間の相関（類似度）を示す値（スコア）を算出する。動きベクトル分布算出手段４１は、対象フレーム上の動きベクトル計測の対象となる対象画素について、参照フレームを対象フレームに対して動きベクトル検出空間に対応する所定範囲内でずらしつつ、各ずらし量に対してスコアを算出する。動きベクトル分布算出手段４１は、例えば対象フレームの着目画素（ｘ，ｙ）の周囲に所定ブロックサイズのブロックを設定すると共に、所定範囲でずらした各ずれ量の参照フレームの対応画素（ｘ，ｙ）の周囲に所定ブロックサイズのブロックを設定し、ブロック内の各画素がどの程度一致するかを示すスコアＣ０を算出する。
【００４７】
上記ブロックサイズは、例えば３×３のサイズとすることができる。その場合、動きベクトル分布算出手段４１は、着目画素の位置を（ｘ，ｙ）として、対象フレームの（ｘ−１，ｙ−１）から（ｘ＋１，ｙ＋１）までの各位置の画素と、対象フレームに対してずらした参照画像の（ｘ−１，ｙ−１）から（ｘ＋１，ｙ＋１）までの各位置の画素とに基づいてスコアＣ０を算出する。スコアＣ０は、ブロック内の画素同士の差分絶対値の和（平均絶対値誤差）とすることができる。具体的には、対象フレームの各位置での画素値（階調値）をｆ（ｘ，ｙ）とし、参照フレームをずらした画像の各位置での画素値をｇ（ｘ，ｙ）として、下記式１で定義される値をスコアＣ０とすることができる。
Ｃ０＝ΣｐΣｑ｜ｆ（ｘ＋ｐ，ｙ＋ｑ）−ｇ（ｘ＋ｐ，ｙ＋ｑ）｜ …(1)
差分絶対値の和に代えて、平均二乗誤差を用いてもよい。
【００４８】
ここで、対象フレームと参照フレームとでは、動画像の撮影時における露出値の変動や、予期しない明るさの変更が生じることも考えられる。そのような場合に、上記式１を用いて画素値の差分の絶対値を求めると、本来差分絶対値が０になるような場合でも、明るさの変動に伴って差分絶対値が０にならないことが考えられる。そのような場合に備えて、対象フレームと参照フレームとにおける明るさの差を補正した上で、スコアＣ０を計算するようにしてもよい。具体的には、対象フレームにおけるブロック内の画素値の平均ｆｍと、参照フレームをずらした画像におけるブロック内の画素値の平均値ｇｍとを算出し、それらを用いて下記式２でスコアＣ０を算出してもよい。
Ｃ０＝ΣｐΣｑ｜ｆ（ｘ＋ｐ，ｙ＋ｑ）−ｆｍ−ｇ（ｘ＋ｐ，ｙ＋ｑ）−ｇｍ｜ …(2)
【００４９】
上記の式１又は式２で算出されるスコアＣ０は、画素同士の相関が高いほど値が小さくなる。これに代えて、画素同士の相関が高いほど値が大きくなるようなスコアを用いてもよい。例えば動きベクトル分布算出手段４１は、画素値の最大値（最大階調値）からスコアＣ０を減算した値をスコアＣ１として算出してもよい。具体的には、画素値が８ビットの階調値で表わされる場合、スコア分布算出部４１は、下記式でスコアＣ１を算出してもよい。
Ｃ１＝２５５−Ｃ０
以降の説明では、主にベクトル分布算出部４１がスコアＣ１を算出する例を用いて説明するものとする。スコアＣ０を用いる場合は、以下の説明において、スコアの大小関係を適宜読み替えればよい。
【００５０】
動きベクトル分布算出手段４１は、動きベクトル検出範囲（探索範囲）に相当する範囲で、水平方向及び垂直方向に参照フレームを対象フレームに対して１画素ずつずらしつつ、ずらし量ごとに、対象フレームの各画素位置に対してスコアＣ１を算出する。例えば（−２，−２）から（＋２，＋２）の範囲で動きベクトルを検出するとした場合、動きベクトル分布算出手段４１は、参照フレームを水平方向及び垂直方向にそれぞれ±２画素の範囲で１画素ずつずらして、対象フレームの各画素位置に対してスコアＣ１を算出する。
【００５１】
参照フレームを対象フレームに対してずらすための水平方向の座標をｈとし、垂直方向の座標をｖをとすると、対象フレームに対する参照フレームの画素のずらし量は（ｈ，ｖ）＝（ｋ，ｌ）（ｋ，ｌ＝−２〜＋２の整数）と表わすことができる。ずらし量（ｈ，ｖ）は、２５通りの値を持つ。ずらし量（０，０）は、対象フレームと参照フレームとを一致させた場合に対応し、ずらし量（１，０）は、参照フレームを対象フレームに対して水平方向にのみ１画素正の方向にずらした場合に対応する。
【００５２】
ここで、各ずらし量（ｈ，ｖ）は、動きベクトル検出空間における動きベクトルとみなすことができる。以下では、ずらし量ごとに求まるスコアＣ１の分布を、動きベクトル分布Ｄと呼ぶ。水平方向及び垂直方向にそれぞれ−２から＋２の範囲を動きベクトル検出範囲とする場合、２５通りの動きベクトル分布Ｄ（ｋ，ｌ）が算出されることになる。２５通りの動きベクトル分布Ｄが得られているということは、対象フレームの各画素位置に対して、各ずらし量に対応した２５個のスコアＣ１が算出されているのと等価である。
【００５３】
平均化処理手段４２は、動きベクトル分布Ｄ（ｋ，ｌ）からノイズ成分を除去する。平均化処理手段４２は、例えば動きベクトル分布Ｄ（ｋ，ｌ）に対して空間的な平均化フィルタ処理を行い、平均化された動きベクトル分布Ｄｍ（ｋ，ｌ）を算出する。平均化フィルタのサイズは、例えば３×３のサイズとすることができる。平均化フィルタのサイズは、得たいノイズ除去の程度に応じて適宜設定すればよい。平均化処理手段４２が使用するフィルタは平均化フィルタには限定されない。平均化フィルタに代えて、空間的なメディアンフィルタを用いてもよい。
【００５４】
動きベクトル検出手段４３は、ずらし量の数に対応する数の動きベクトル分布、例えば２５通りの動きベクトル分布（平均化された動きベクトル分布Ｄｍ（ｋ，ｌ））に基づいて、対象フレームの各画素位置における動きベクトルを検出する。動きベクトル検出手段４３は、例えば対象フレームにおける着目画素の位置を（ｘ，ｙ）としたとき、２５通りの平均化された動きベクトル分布Ｄｍ（ｋ，ｌ）のそれぞれにおける画素位置（ｘ，ｙ）のスコアＣ１を相互に比較する。動きベクトル検出手段４３は、スコアＣ１が最大となるずらし量（ｈ，ｖ）を求め、そのずらし量を動きベクトルとして検出する。
【００５５】
動くベクトル検出手段４３は、例えばある画素位置に対して、２５通りの平均化された動きベクトル分布Ｄｍの中から、スコアＣ１が最大となる動きベクトル分布Ｄｍを探す。平均化された動きベクトル分布Ｄｍ（−２，２）〜（２，２）のうち、平均化された動きベクトル分布Ｄｍ（２，２）におけるスコアＣ１が最大であったとする。この場合、動きベクトル検出手段４３は、そのずらし量に対応する動きベクトル（２，２）を検出する。動きベクトルの検出を、平均化された動きベクトル分布Ｄｍ（ｋ，ｌ）を用いて行うことで、ノイズの影響を低減した動きベクトルの検出が可能になる。
【００５６】
なお、動きベクトル検出手段４３は、解像度変換手段４０で変換された画像の解像度に応じて、検出した動きベクトルの大きさを修正する。例えば解像度変換手段４０で解像度が１／８に変換されていたときは、検出した動きベクトルの大きさを８倍する。また、動きベクトル検出手段４３は、対象フレームと参照フレームとの間の時間差（フレーム間隔）が１でないときは、そのフレーム間隔に応じて検出した動きベクトルの大きさを補正する。例えばフレーム間隔が３のときは、検出した動きベクトルの大きさを１／３倍に修正する。
【００５７】
誤計測判定手段４４は、動きベクトル分布に基づいて、動きベクトル検出手段４３が対象フレームの各画素位置に対して検出した動きベクトルが誤計測であるか否かを判定する。誤計測判定手段４４は、例えば動きベクトル検出空間の中央（ずらし量（０，０））に対応する平均化された動きベクトル分布Ｄｍ（０，０）におけるスコアＣ１（以下、スコアＣ１ｓとも呼ぶ）と、検出された動きベクトル（そのずらし量）に対応する平均化された動きベクトル分布ＤｍにおけるスコアＣ１（以下、スコアＣ１ｅとも呼ぶ）とが所定の関係を満たすか否かに基づいて、検出された動きベクトルが誤計測であるか否かを判定する。
【００５８】
誤計測判定手段４４は、例えばスコアＣ１ｓとスコアＣ１ｅとの差分をしきい値判定し、差分がしきい値よりも小さいとき、動きベクトル検出手段４３において動きベクトルが誤計測されたと判定する。あるいは誤計測判定手段４４は、スコアＣ１ｓとスコアＣ１ｅとの比が所定の関係にあるときに、動きベクトル検出手段４３において動きベクトルが誤計測されたと判定してもよい。より詳細には、誤計測判定手段４４は、αを１より小さい所定の係数として、スコアＣ１ｓとスコアＣ１ｅとが下記式を満たすとき、誤計測であると判定してもよい。
Ｃ１ｓ＞Ｃ１ｅ×α
上記式における係数αは、要求される計測精度に応じて適宜設定すればよい。
【００５９】
誤計測判定手段４４が、上記の差分又は比率の関係に基づいて検出された動きベクトルが誤計測であるか否かを判定するのは、次のような理論に基づく。すなわち、スコアＣ１の算出に際して３×３のような小さなブロックサイズを用いると、フレーム中のノイズにより偶然に現れた動きベクトル検出する可能性が生じる。また、対象フレームにおける着目画素が移動する物体を構成する画素ではなく、その物体の背景に対応する画素である場合、動きベクトルがランダムな方向に発生することがある。そのような場合、検出された動きベクトルの始点位置に相当するずらし量（０，０）のスコアＣ１と、最大スコアを与えるずらし量のスコアＣ１との差分はそれほど大きくならない。従って、差分をしきい値処理すること、或いは比率が所定の関係を満たすか否かを判断することで、誤計測か否かの判定を行うことができる。
【００６０】
誤計測判定手段４４は、誤計測でないと判定したときは、動きベクトル検出手段４３が検出した動きベクトルを出力する。誤計測判定手段４４は、誤計測と判定すると、その旨を出力する。あるいは誤計測判定手段４４は、誤計測と判定したときに、動きベクトル検出手段４３で検出された動きベクトルに代えて、動きベクトル（０，０）を出力してもよい。
【００６１】
図４は、動きベクトル場計測手段３１の動作手順を示している。解像度変換手段４０は、フレーム画像を低解像度の画像に変換する（ステップＳ１１）。解像度変換手段４０は、例えば対象フレームとして用いる現在フレームの画像が入力されるたびに、そのフレーム画像を低解像度の画像に変換する。参照フレームとして用いる過去フレームの画像については、その過去フレームの画像を対象フレームとして動きベクトルを検出する際に低解像度化した画像を利用すればよい。
【００６２】
動きベクトル分布算出手段４１は、現在フレームの画像を対象フレーム、過去フレームの画像を参照フレームとして、対象フレームと参照フレームとのずらし量を初期値に設定する（ステップＳ１２）。動きベクトル分布算出手段４１は、例えばずらし量（ｈ，ｖ）＝（０，０）を初期ずらし量として設定する。動きベクトル分布算出手段４１は、対象フレームと参照フレームとを設定したずらし量だけずらし、対象フレームにおける各画素に対してスコアＣ１を算出する（ステップＳ１３）。言い換えれば、設定したずらし量に対する動きベクトル分布Ｄを算出する。
【００６３】
動きベクトル分布算出手段４１は、全てのずらし量に対して動きベクトル分布Ｄを算出したか否かを判断する（ステップＳ１４）。動きベクトル分布算出手段４１は、全てのずらし量に対して動きベクトル分布Ｄを算出していないと判断すると、ずらし量を変更する（ステップＳ１５）。動きベクトル分布算出手段４１は、ずらし量を変更した後にステップＳ１３に戻り、変更したずらし量に対して動きベクトル分布Ｄを算出する。動きベクトル分布算出手段４１は、ステップＳ１４で全てのずらし量に対して動きベクトル分布Ｄを算出したと判断するまでステップＳ１３〜Ｓ１５を繰り返し実行し、動きベクトル検出範囲内の各ずらし量に対して動きベクトル分布Ｄを算出する。
【００６４】
平均化処理手段４２は、動きベクトル算出部４１が算出した各ずらし量に対する動きベクトル分布Ｄに対して平均化処理を施し、平均化された動きベクトル分布Ｄｍを生成する（ステップＳ１６）。この平均化の処理は省略してもよい。動きベクトル検出手段４３は、平均化された動きベクトル分布Ｄｍを用い、対象フレームにおける各画素に対して動きベクトルを検出する（ステップＳ１７）。誤計測判定手段４４は、検出された動きベクトルが誤計測であるか否かを判定する（ステップＳ１８）。動きベクトル場計測手段３１は、動きベクトル計測結果を出力する（ステップＳ１９）。動きベクトル場計測手段３１は、誤計測でないと判定された画素については検出された動きベクトルを出力し、誤計測であると判定された画素については動きベクトルが計測されなかった旨、又は大きさが０の動きベクトルを出力する。
【００６５】
ここで、ブロックマッチング法により動きベクトルを検出する際に、ブロックサイズを３×３のように小さくすると、ノイズの影響などにより動きベクトルの誤計測が発生しやすくなる。図３に示す構成の動きベクトル場計測手段３１では、誤計測判定手段４４が、検出された動きベクトルが誤計測であるか否かを判定する。この誤計測判定手段４４を用いることで、動きベクトル検出の際のブロックサイズを例えば３×３のように小さくしても、誤計測の影響を低減することができ、動きベクトルを精度よく検出できる。また、ブロックサイズを小さくした分だけ演算量を低減することができ、その結果、動きベクトルを高速に検出することができる。つまり、動きベクトル検出の精度を落とさずに、処理を高速化することができる。
【００６６】
なお、動きベクトル場計測手段３１は、各画素位置の周辺の画素位置での動きベクトルの平均を求め、その平均ベクトルを各画素位置の動きベクトルとして出力してもよい。例えば動きベクトル場計測手段３１は、ある画素位置について、その画素位置で検出された動きベクトルと、その周辺の画素位置で検出された動きベクトルとの平均を求める。ベクトル場計測手段３１は求めた平均ベクトルを、当該画素位置で検出された動きベクトルとして出力することができる。このように複数の画素位置で検出された動きベクトルを平均化する場合、動きベクトルのばらつきを抑えて、より精度よく動きベクトルを計測することができる。
【００６７】
また誤計測判定手段４４は、スコアＣ１の差分に基づいて誤計測であるか否かを判定するのに代えて、別の判断基準で誤計測であるか否かを判定してもよい。例えば、動きベクトル分布算出手段４１が、上記した動きベクトル分布（第１の動きベクトル分布）に加えて、対象フレームと参照フレームとを入れ替え、過去フレームを対象フレームとし、現在フレームを参照フレームとして別の動きベクトル分布(第２の動きベクトル分布)を算出する。動くベクトル検出手段４３は、第１の動きベクトル分布に基づく動きベクトル（第１の動きベクトル）の検出に加えて、第２の動きベクトル分布に基づいて別の動きベクトル（第２の動きベクトル）を検出する。誤計測判定手段４４は、第１の動きベクトルと第２の動きベクトルとの関係に基づいて、検出された動きベクトルが誤計測であるか否かを判定してもよい。
【００６８】
仮に、第１の動きベクトルが誤計測されたものでないと仮定すると、第１の動きベクトルと第２の動きベクトルとの大きさは同じで、方向は反対方向となると考えられる。つまり、第２の動きベクトルは、第１の動きベクトルの逆ベクトルになると考えられる。誤計測判定手段４４は、第１の動きベクトルと第２の動きベクトルとが逆ベクトルの関係にあるか否かを判断し、逆ベクトルの関係にあるときに誤計測ではないと判定する。逆ベクトルの関係にないときは、誤計測と判定する。誤計測判定手段４４は、第１の動きベクトルの大きさと第２の動きベクトルの大きさとの差が所定のしきい値以内で、かつ、第１の動きベクトルの方向と、第２の動きベクトルの方向を反転させた方向との差が所定のしきい値以内のときに、両者は逆ベクトルの関係にあると判断することができる。
【００６９】
誤計測判定手段４４は、上記に代えて、対象フレームの自己相関を求め、求めた自己相関を用いて誤計測か否かを判定してもよい。例えば動きベクトル分布算出手段４１は、対象フレームに対して参照フレームをずらしつつ動きベクトル分布を算出するのに加えて、対象フレームに対して対象フレーム自身をずらしつつ動きベクトル分布を算出する。この動きベクトル分布を自己動きベクトル分布と呼ぶこととする。誤計測判定手段４４は、動きベクトル検出手段４３が動きベクトルを検出すると、検出された動きベクトル（ずらし量）に対応する自己動きベクトル分布のスコアを参照し、そのスコアに基づいて誤計測か否かを判定してもよい。例えばある画素位置に対して検出された動きベクトルが（２，２）のとき、誤計測判定手段４４は、ずらし量（２，２）に対応する自己動きベクトル分布における当該座標位置のスコアを参照する。誤計測判定手段４４は、例えば自己動きベクトル分布におけるスコアをしきい値処理し、スコアがしきい値以下であれば誤計測ではないと判定し、スコアがしきい値より大きいとき誤計測であると判定する。
【００７０】
自己動きベクトル分布を用いた誤計測の判定は、以下の理論に基づく。すなわち、対象フレームのある画素に着目すると、ずらし量０では同一画素間の相関を求めることになるため、自己動きベクトル分布におけるスコアＣ１の値は大きくなる。一方、着目画素が移動物体などに該当する画素である場合に、対象フレームに対して対象フレーム自身をずらしてスコアを算出すると、両者の間で物体の位置がずれることからスコアＣ１の値は小さくなると考えられる。つまり、移動物体などに該当する着目画素に対して算出されるスコアＣ１は、ずらし量０が最大で、ずらし量が大きくなるほどスコアＣ１の値は小さくなると考えられる。
【００７１】
一方、着目画素が背景部分などの単調な部分に対応する場合は、上記とは異なり、ずらし量０で算出されたスコアＣ１と、対象フレーム自身をずらして算出されたスコアＣ１とは、それほど差がつかないと考えられる。つまり、単調背景などに該当する着目画素に対して算出されるスコアＣ１は、ずらし量に依存せず、比較的大きな値を取ると考えられる。自己動きベクトル分布において、ずらし量０以外のずらし量においてスコアＣ１の値が大きくなるということは、その大きなスコアとなったずらし量において誤計測が起こっている可能性が高いことを意味すると考えられる。そこで、誤計測判定手段４４は、検出された動きベクトルに対応するずらし量の自己動きベクトル分布のスコアＣ１をしきい値処理し、スコアＣ１の値がしきい値よりも大きいときに、誤計測であると判定できる。
【００７２】
別例として、誤計測判定手段４４は、機械学習を用いて生成された判別器を用いて誤計測か否かを判定してもよい。誤計測判定手段４４は、例えば２５通りの動きベクトル分布における各画素位置のスコアを並べたデータ（動きベクトル検出空間のスコア分布）をベクトルデータとして判別器に入力する。判別器は、入力されたデータに対して、誤計測であるか否かを示す信号を出力する。判別器は、動きベクトルが真の動きベクトルであるときの動きベクトル検出空間のスコア分布を正の教師データとし、動きベクトルが誤検出であるときの動きベクトル検出空間のスコア分布を負の教師データとして、正負の教師データを学習することで生成することができる。誤計測判定手段４４は、判別器の出力に基づいて、誤計測か否かを判定することができる。
【００７３】
上記した誤計測判定の手法は組み合わせて用いてもよい。例えば、スコアの差分に基づいて誤計測か否かを判定する手法と、第１の動きベクトルと第２の動きベクトルとの関係に基づいて誤計測か否かを判定する手法とを組み合わせてもよい。その場合、誤計測判定手段４４は、双方の条件がそろったとき、すなわちスコアの差分がしきい値よりも小さく、かつ、第１の動きベクトルと第２の動きベクトルとが逆ベクトルの関係にないときに誤計測と判定してもよい。あるいは、これに代えて、何れか一方の条件が成立したとき、すなわちスコアの差分がしきい値よりも小さいか、又は第１の動きベクトルと第２の動きベクトルとが逆ベクトルの関係にないときに誤計測と判定してもよい。
【００７４】
続いて、オブジェクト検出手段１２の具体的な構成例を説明する。図５は、オブジェクト検出手段１２の構成例を示す。オブジェクト検出手段１２は、前処理手段２１、平滑化処理手段２２、差分画像生成手段２３、合算手段２４、位置推定手段２５、サイズ推定手段２６、及び、照合手段２７を有する。オブジェクト検出手段１２は、動画像内の特定パターン、例えば人物の頭部をオブジェクトとして検出する。以下では、オブジェクト検出手段１２が、動画像からオブジェクトを１つ検出するものとして説明を行う。
【００７５】
前処理手段２１は、解像度変換手段５１と動き領域抽出手段５２とを有する。解像度変換手段５１は、動画像を構成するフレーム画像を所定の解像度に低解像度化する。解像度変換手段５１は、例えば画像の解像度を縦横それぞれ１／８倍に変換する。解像度変換手段５１が変換する画像の解像度は、動きベクトル場計測手段３１（図３）における解像度変換手段４０が変換する画像の解像度と同一でもよい。なお、オブジェクト検出手段１２と動きベクトル場計測手段３１とが別個に解像度変換手段を有している必要はない。両者に共通の解像度変換手段から低解像度化した画像を提供するようにしてもよい。
【００７６】
動き領域抽出手段５２は、動画像を構成するフレーム画像から動き領域を抽出し動き領域抽出画像を生成する。動き領域の抽出には、例えば背景画像やフレーム間画像の差分を算出するなど任意の手法を用いることができる。動き領域抽出手段５２は、抽出された動きの量に応じて、動きがある領域ほど白く（階調値が高く）、動きが少ない領域ほど黒く（階調値が低く）なるようなグレースケール画像を動き領域抽出画像として生成する。動き領域抽出手段５２は、例えば階調数２５６のグレースケール画像に対して所定の関数に従って階調を変換し、白から黒までの階調数を減少させるコントラスト低減処理を実施してもよい。動き領域抽出手段１２は、グレースケール画像に代えて、動き領域を白、背景領域を黒にするような２値化画像を動き領域抽出画像として生成してもよい。
【００７７】
平滑化処理手段２２には、前処理手段２１で前処理された画像Ｐ（ｘ，ｙ）、すなわち解像度が低解像度化され、動き領域が抽出された画像が入力される。平滑化処理手段２２は、平滑化フィルタを画像に畳み込む処理を繰り返し行うことにより、スケールが異なる複数枚の平滑化画像Ｌ（ｘ，ｙ，σｉ）を生成する。
【００７８】
平滑化処理手段２２は、まず画像Ｐ（ｘ，ｙ）に平滑化フィルタを畳み込むことで平滑化画像Ｌ（ｘ，ｙ，σ１）を生成し、その平滑化画像Ｌ（ｘ，ｙ，σ１）に更に平滑化フィルタを畳み込むことでスケールσ２の平滑化画像＋（ｘ，ｙ，σ２）を生成する。平滑化処理手段２２は、以降同様に平滑化フィルタの畳み込みを繰り返し行い、任意のスケールσｑの平滑化画像Ｌ（ｘ，ｙ，σｑ）から次のスケールσｑ＋１の平滑化画像Ｌ（ｘ，ｙ，σｑ＋１）を生成する。
【００７９】
平滑化画像Ｌ（ｘ，ｙ，σｉ）におけるスケール番号ｉは、平滑化フィルタを畳み込んだ回数に相当する。平滑化処理手段２２は、例えばスケールが異なるａ×ｋ枚（ａ及びｋはそれぞれ２以上の整数）の平滑化画像Ｌ（ｘ，ｙ，σ１）〜Ｌ（ｘ，ｙ，σａ×ｋ）を生成する。平滑化処理手段２２は、例えばａ＝２、ｋ＝３０とすれば２×３０＝６０枚の平滑化画像Ｌ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σ６０）を生成する。
【００８０】
平滑化フィルタには、例えばガウシアンフィルタを用いることができる。平滑化フィルタは、例えば検出対象であるオブジェクトの輪郭形状に合わせたフィルタ特性となる３×３オペレータから成る。例えばオブジェクト検出手段１２で検出対象とするオブジェクトが人物の頭部であれば、平滑化フィルタとして、人物の頭部の輪郭形状に沿って下側のフィルタ係数が小さくなる特性（オメガ形状）を有するフィルタを用いる。このような平滑化フィルタを用いることで、人物の頭部の輪郭形状を有する領域を強調し、それ以外の領域は抑制された平滑化処理を実現できる。
【００８１】
なお、フィルタの形状はオメガ形状には限定されず、例えば特開２００３−２４８８２４号公報等に記載されたものなど、他の公知技術を適用することも可能である。例えば検出対象のオブジェクトの形状が円形、三角形、四角形などの場合には、それぞれのオブジェクト形状に合わせたフィルタ特性を有する平滑化フィルタを用いて平滑化処理を施せばよい。
【００８２】
差分画像生成手段２３は、平滑化処理手段２２が生成した複数枚の平滑化画像Ｌ（ｘ，ｙ，σｉ）を入力し、スケールが互いに異なる２つの平滑化画像間の差分画像Ｇ（ｘ，ｙ，σｊ）を、スケールを変えつつ複数枚生成する。ここで、差分画像Ｇ（ｘ，ｙ，σｊ）におけるスケール番号ｊの最大値は、平滑化画像Ｌにおけるスケールσｉの最大値（例えばａ×ｋ）よりは小さい。差分画像生成手段２３は、例えばスケール番号ｊに応じたスケールだけ離れた平滑化画像間の差分画像を生成する。具体的には、差分画像生成手段２３は、例えば下記式３を用いて差分画像Ｇ（ｘ，ｙ，σｊ）を生成することができる。
Ｇ（ｘ，ｙ，σｊ）＝Ｌ（ｘ，ｙ，σｊ）−Ｌ（ｘ，ｙ，σｊ×ａ）・・・（３）
差分画像は、差分値の絶対値であってもよい。
【００８３】
上記の式３の定義からわかるように、差分画像Ｇ（ｘ，ｙ，σｊ）は、スケールσｊの平滑化画像と、スケールσｊ×ａの平滑化画像との差分として定義される。例えばａ＝２、ｋ＝３０とすると、差分画像生成手段２３は、スケールσ１とσ２、スケールσ２とσ４、スケールσ３とσ６、・・・、スケールσ３０とσ６０の組み合わせからなる３０枚の差分画像Ｇ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σ３０）を生成する。式３に従って差分画像Ｇ（ｘ，ｙ，σｊ）を生成する場合、ｊは１〜ｋの値を取る。すなわち、差分画像生成手段２３は、ｋ枚の差分画像Ｇ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σｋ）を生成する。
【００８４】
差分画像生成手段２３は、上記に代えて、一定のスケールだけ離れた平滑化画像間の差分を差分画像として生成してもよい。差分画像生成手段２３は、例えばスケールσｊの平滑化画像と、スケールσｊ＋ｐの平滑化画像（ｐは１以上の整数）との差分を差分画像（ｘ，ｙ，σｊ）として生成してもよい。具体的には、差分画像生成手段２３は、下記式４を用いて差分画像Ｇ（ｘ，ｙ，σｊ）を生成してもよい。
Ｇ（ｘ，ｙ，σｊ）＝Ｌ（ｘ，ｙ，σｊ）−Ｌ（ｘ，ｙ，σｊ＋ｐ）・・・（４）
この場合、平滑化画像の枚数をｒ（ｒ：３以上の整数）枚とすると、ｊは１〜ｒ−ｐの値を取る。すなわち差分画像生成手段２３は、ｒ−ｐ枚の差分画像Ｇ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σｒ−ｐ）を生成する。具体的には、ｒ＝６０で、ｐ＝３０の場合、差分画像生成手段２３は、スケールσ１とσ３１、スケールσ２とσ３２、スケールσ３とσ３３、・・・、スケールσ３０とσ６０の組み合わせからなる３０枚の差分画像Ｇ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σ３０）を生成する。
【００８５】
合算手段２４は、差分画像生成手段２３が生成した複数枚の差分画像Ｇ（ｘ，ｙ，σｊ）を合算し、合算画像ＡＰ（ｘ，ｙ）を生成する。位置推定手段５０は、合算画像ＡＰ（ｘ，ｙ）における画素値に基づいてオブジェクトの位置を推定する。位置推定手段２５は、例えば合算画像ＡＰ（ｘ，ｙ）において画素値（差分値を合計した値）が最も大きくなる位置を調べ、その位置をオブジェクトの位置として推定する。
【００８６】
サイズ推定手段２６は、複数枚の差分画像Ｇ（ｘ，ｙ，σｊ）の画素値を比較し、最大の画素値を有する差分画像のスケールに基づいて、検出すべきオブジェクトのサイズを推定する。サイズ推定手段２６は、例えば最大の画素値（差分値）を有する差分画像の生成元となった２枚の平滑化画像のうちのスケールが小さい方の平滑化画像内のスケールに基づいてオブジェクトのサイズを推定する。すなわちサイズ推定手段２６は、式３又は式４に従って生成される複数枚の差分画像Ｇ（ｘ，ｙ，σｊ）のうちで、最大の差分値を有するスケールσｊを求め、求めたスケールσｊに基づいてオブジェクトの位置を推定する。
【００８７】
上記のオブジェクトの位置及びサイズの推定について説明する。平滑化処理手段２２は、オブジェクト形状に合わせたフィルタ特性を有する平滑化フィルタを用いて平滑化画像Ｌ（ｘ，ｙ，σｉ）を生成しており、この平滑化画像Ｌ（ｘ，ｙ，σｉ）は、特定の形状を持つ領域が強調され、他の領域が抑制された画像となる。例えば平滑化処理を数十回行ったときでも平滑化画像内にオブジェクトの輪郭成分が残るが、スケールσｉが大きくなるほど、オブジェクトの領域はボケていくと共に広がっていく。
【００８８】
平滑化画像Ｌ（ｘ，ｙ，σｉ）におけるオブジェクトの形状及びサイズは、入力画像内のオブジェクトの形状及びサイズとそれぞれ一致していると仮定する。この平滑化画像Ｌ（ｘ，ｙ，σｉ）でのオブジェクト形状及びサイズの顕著性を算出するために、あるスケールの平滑化画像に対して、そのスケールよりもスケールが大きい平滑化画像を背景として設定する。すなわちスケールσｊの平滑化画像Ｌ（ｘ，ｙ，σｊ）対して、式３ではスケールσｊ×ａの平滑化画像Ｌ（ｘ，ｙ，σｊ×ａ）を背景画像として設定し、式４ではスケールσｊ＋ｐの平滑化画像Ｌ（ｘ，ｙ，σｊ＋ｐ）を背景として設定する。そして、式３又は式４に従って、スケールσｊの平滑化画像と背景画像として設定する平滑化画像との差分画像Ｇ（ｘ，ｙ，σｊ）が、スケールσｊの平滑化画像Ｌ（ｘ，ｙ，σｊ）におけるオブジェクトの顕著性として算出される。このように差分画像生成手段２３においてオブジェクトの顕著性を数値化し、位置推定手段２５及びサイズ推定手段２６において、差分画像生成手段２３において数値化されたオブジェクトの顕著性に基づいて、オブジェクトの位置及びサイズをそれぞれ推定する。
【００８９】
ここで、画像内においてオブジェクトが理想形状、すなわちフィルタ特性に最も合致した形状であって、かつ背景にノイズがない差分画像が、他の差分画像に比べて最大の信号を有する。言い換えれば、前処理済みの画像Ｐ（ｘ，ｙ）内のオブジェクトを構成する各画素の成分がオブジェクトの領域にほぼ等しくなるまで広がったとき、差分画像Ｇ（ｘ，ｙ，σｊ）内の差分値は最大となる。例えば画像Ｐ（ｘ，ｙ）内のオブジェクトが直径１０画素の円形画素から構成される場合、複数の差分画像のうちで、ｊ＝１０の差分画像Ｇ（ｘ，ｙ，σ１０）（式３ではＬ（ｘ，ｙ，σ１０）−Ｌ（ｘ，ｙ，σａ×１０）、式４ではＬ（ｘ，ｙ，σ１０）−Ｌ（ｘ，ｙ，σ１０＋ｐ））における差分値が、他の差分画像における差分値に比べて大きな値を有することになる。
【００９０】
一方で、実際に画像内に映し出されるオブジェクトは、カメラとオブジェクトの位置関係や個体差などに応じて映り方が異なり、オブジェクトの輪郭形状及びサイズは理想形状になるとは限らない。つまり、オブジェクトの輪郭形状及びサイズは変動する。そこで、位置推定手段５０は、複数の差分画像Ｇ（ｘ，ｙ，σｊ）を合算した合算画像ＡＰ（ｘ，ｙ）を用いてオブジェクトの位置を推定する。このようにすることで、オブジェクトの変動を吸収しながらオブジェクトの位置を推定できる。つまり、サイズが小さいオブジェクトからサイズが大きいオブジェクトに含まれる様々な輪郭形状の変動を持つオブジェクトに対して、平滑化画像を加算した合算画像ＡＰ（ｘ，ｙ）から最大値を検出することにより、変動を吸収しながら位置推定を行うことができる。
【００９１】
また、上述したように、式３、４におけるスケール番号ｊは、画像Ｐ（ｘ，ｙ）内における検出対象のオブジェクトのサイズに対応するパラメータである。オブジェクトのサイズが小さい場合にはスケール番号ｊが小さい差分画像Ｇ（ｘ，ｙ，σｊ）から最大値が検出され、オブジェクトのサイズが大きい場合にはスケール番号ｊが大きい差分画像Ｇ（ｘ，ｙ，σｊ）から最大値が検出される。サイズ推定手段６０は、この性質を利用し、複数の差分画像の間で差分値同士を比較し、最大の差分値となる差分画像のスケール番号、すなわち平滑化処理の繰り返し回数からオブジェクトのサイズを推定する。
【００９２】
照合手段２７は、位置推定手段２５から推定されたオブジェクトの位置を入力し、サイズ推定手段２６から推定されたオブジェクトのサイズを入力する。照合手段２７は、入力されたオブジェクトの位置及びサイズの情報を用いて、入力画像（フレーム画像）からオブジェクトを検出する。より詳細には、照合手段２７は、推定された位置の周辺領域をオブジェクトが存在する確率が高い領域として、その周辺領域からオブジェクトを検出する。このとき照合手段２７は、サイズ推定手段２６で推定されたサイズのオブジェクトを検出する。照合手段２７が行うオブジェクト検出には、パターンマッチングやニューラルネットワークを用いたオブジェクト検出など、任意のオブジェクト検出手法を用いることができる。
【００９３】
図６は、オブジェクト検出手段１２の動作手順を示す。前処理手段２１は、フレームメモリ１１（図１）からフレーム画像を読み出し、フレーム画像に対して前処理を行う（ステップＳ２１）。すなわち、解像度変換手段５１がフレーム画像を所定の解像度にまで低解像度化し、動き領域抽出手段５２が低解像度化されたフレーム画像から動き領域を抽出する。前処理手段２１は、前処理後の画像、すなわち解像度が低解像度化され、動き領域が白で背景領域が黒となるようにグレースケール化された画像Ｐ（ｘ，ｙ）を平滑化処理手段２２に入力する。なお、前処理手段２１における解像度変換及び動き領域抽出の何れか一方、又は双方を省略しても構わない。双方を省略する場合、フレーム画像を平滑化処理手段２２に入力すればよい。
【００９４】
平滑化処理手段２３は、画像Ｐ（ｘ，ｙ）を入力し、画像Ｐ（ｘ，ｙ）に平滑化フィルタを畳み込む処理を繰り返すことで、スケールが異なる複数の平滑化画像Ｌ（ｘ，ｙ，σｉ）を生成する（ステップＳ２２）。平滑化処理手段２３は、フレーム画像そのものに対して平滑化フィルタを畳み込んでもよい。差分画像生成手段２３は、スケールが異なる２つの平滑化画像間の差分を計算し、差分画像Ｇ（ｘ，ｙ，σｊ）を生成する（ステップＳ２３）。差分画像生成手段２３は、例えば式３を用いて、ａ×ｋ枚の平滑化画像Ｌ（ｘ，ｙ，σｉ）からスケール番号１〜ｋのｋ枚の差分画像Ｇ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σｋ）を生成する。あるいは差分画像生成手段２３は、式４を用いて、ｒ枚の平滑化画像Ｌ（ｘ，ｙ，σｉ）からスケール番号１〜ｒ−ｐのｒ−ｐ枚の差分画像Ｇ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σｒ−ｐ）を生成する。
【００９５】
合算手段２４は、差分画像生成手段２３が生成した複数の差分画像を合算し、合算画像ＡＰ（ｘ，ｙ）を生成する（ステップＳ２４）。合算手段２４は、例えば差分画像生成手段２３で生成されたｋ枚の差分画像Ｇ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σｋ）の各画素値を全て加算する。位置推定手段２５は、合算画像ＡＰ（ｘ，ｙ）に基づいて、オブジェクトが存在する位置を推定する（ステップＳ２５）。位置推定手段２５は、例えば合算画像ＡＰ（ｘ，ｙ）を構成する各画素位置の画素値（差分の合算値）を比較し、合算画像において最大の画素値を有する画素位置をオブジェクトの位置として推定する。
【００９６】
なお、合算手段２４は、全ての差分画像を合算する必要はない。合算手段２４は、例えば全ｋ枚の差分画像のうちの任意数、及び任意のスケール番号の差分画像を合算してもよい。合算手段２４は、例えば吸収したいサイズ変動幅に応じて、加算処理に用いる差分画像の数（合算する差分画像のスケール）を変更してもよい。例えば、検出対象のオブジェクトの種類に応じて吸収したいサイズ変動幅を設定しておき、あるオブジェクトについては、スケール番号が小さい、具体的にはスケール番号１、２の差分画像Ｇ（ｘ，ｙ，σ１）、（ｘ，ｙ，σ２）を合算から除外して、スケール番号３〜ｋの差分画像Ｇ（ｘ，ｙ，σ３）〜（ｘ，ｙ，σｋ）を合算してもよい。また、合算手段２４が、スケール番号１から、ｋよりも小さい任意のスケール番号までの差分画像（ｘ，ｙ，σｊ）を合算してもよい。
【００９７】
サイズ推定手段２６は、複数の差分画像Ｇ（ｘ，ｙ，σｊ）に基づいて、オブジェクトのサイズを推定する（ステップＳ２６）。サイズ推定手段２６は、例えばｋ枚の差分画像間で、位置推定手段２５で推定されたオブジェクトの位置の周辺の画素の画素値（差分値）を比較する。サイズ推定手段２６は、最大の画素値を与える差分画像のスケールを特定する。あるいはサイズ推定手段２６は、推定されたオブジェクトの位置の周辺だけではなく、差分画像の全画素の画素値を比較し、最大の画素値を与える差分画像のスケールを特定してもよい。平滑化処理を行うことで画像内の像はどの程度広がるか（ボケるか）は既知であるため、差分最大を与えるスケールが判明すれば、そのスケール番号に基づいてオブジェクトのサイズが推定できる。また、上述のように検出対象であるオブジェクトは変動するため、サイズ推定手段２６は、最も大きい差分値を有する差分画像から推定したサイズ±α（αは所定の値）をオブジェクトのサイズとして推定するようにしてもよい。
【００９８】
照合手段２７は、推定されたオブジェクトの位置及びサイズを利用して、フレーム画像からオブジェクトを検出する（ステップＳ２７）。例えば照合手段２７がパターンマッチングを用いてオブジェクトの検出を行う場合、照合手段２７は、推定されたオブジェクトの位置の周辺領域でパターンマッチングを行う。その際、照合手段２７は、推定されたオブジェクトのサイズに適合するサイズのパターンを用いてパターンマッチングを行う。照合手段２７が、推定されたオブジェクトの位置の周辺で、推定されたサイズのオブジェクトを検出することで、効率のよいオブジェクト検出が可能となる。
【００９９】
比較例としてＤＯＧ画像を用いたオブジェクト検出を考えると、ＤＯＧ画像を用いたオブジェクト検出では隣接するスケールの平滑化画像間の差分を全て求める必要があり、生成する必要がある差分画像の枚数が多くなる。図５に示すオブジェクト検出手段１２を用いる場合、あるスケールの平滑化画像と、そのスケールから所定スケールだけ離れたスケールの平滑化画像との差分を差分画像として生成すればよく、ＤＯＧ画像を用いたオブジェクト検出に比して、差分画像の生成枚数を少なくすることができる。このため、効率的に精度良くオブジェクトの位置を推定することができる。また、図５に示す構成のオブジェクト検出手段１２では、多重解像度画像を生成しなくてもオブジェクトのサイズの推定することができ、効率的にオブジェクトのサイズを推定することができる。
【０１００】
特に、平滑化処理手段２２においてａ×ｋ枚の平滑化画像Ｌ（ｘ，ｙ，σ１）〜（ｘ，ｙ，σａ×ｋ）を生成し、差分画像生成手段２３において、式３を用いて、スケールσｊの平滑化画像Ｌ（ｘ，ｙ，σｊ）とスケールσａ×ｊの平滑化画像Ｌ（ｘ，ｙ，σａ×ｊ）との差分を差分画像Ｇ（ｘ，ｙ，σｊ）として求める場合、オブジェクトのサイズの様々な変動に合わせて、オブジェクトの位置を精度よく推定することができる。また、オブジェクトのサイズの推定を精度よく行うことができる。
【０１０１】
なお、上記の説明では、動き領域抽出手段５２が動き領域（オブジェクト）を白、背景領域を黒とするようなグレースケール化処理又は２値化処理を行うものとして説明したが、動き領域抽出手段５２の動作はこれには限定されない。例えば動き領域抽出手段５２は、動き領域を黒、背景領域を白とするようなグレースケール化処理又は２値化処理を行ってもよい。その場合には、位置推定手段２５は、合算画像ＡＰ（ｘ，ｙ）において、画素値が最小となる画素位置を、オブジェクトの位置として推定すればよい。また、サイズ推定手段２６は、複数の差分画像のうちで最小の画素値（差分値）を与える差分画像のスケールに基づいて、オブジェクトのサイズを推定すればよい。
【０１０２】
また、上記の説明では、オブジェクト検出手段１２が動画像からオブジェクトを１つ検出する例を説明したが、オブジェクト検出手段１２において複数のオブジェクトを検出してもよい。例えばオブジェクト検出手段１２が検出すべきオブジェクトの数をＭとする。その場合、位置推定手段２５は、合算画像ＡＰ（ｘ，ｙ）の画素値を大きい順に並べ、上位Ｍ個の画素位置を、各オブジェクトの位置として推定すればよい。つまり、合算画像ＡＰ（ｘ，ｙ）において画素値が大きい順にＭ個の画素位置をオブジェクトの位置として推定すればよい。サイズ推定手段２６は、推定されたＭ個のオブジェクトの位置の周辺において、最大の画素値を与える差分画像のスケールに基づいて、各オブジェクトのサイズを推定すればよい。
【０１０３】
オブジェクト検出手段１２は、オブジェクト追跡処理手段１３の第１の追跡手段３２が追跡しているオブジェクトは検出対象から除外する。例えばオブジェクト検出手段１２は、第１の追跡処理部３２から追跡中のオブジェクトの現在フレームにおける位置を受け取り、追跡中のオブジェクトの位置の画素値を“０”とし、それ以外の位置の画素値を“１”とするマスク画像を生成する。位置推定手手段２５は、合算画像ＡＰ（ｘ，ｙ）とマスク画像との積を取り、その積を取った画像において画素値が最大となる位置をオブジェクトの位置として推定すればよい。また、サイズ推定手段２６は、各差分画像Ｇ（ｘ，ｙ，σｊ）とマスク画像との積を取り、その積を取った各画像において最大の画素値を与えるスケールに基づいてオブジェクトのサイズを推定すればよい。追跡中のオブジェクトの位置をオブジェクト検出の対象から除外する手法は、マスク画像を用いる手法には限定されず、任意の手法でよい。
【０１０４】
引き続き、動画オブジェクト検出装置１０（図１）の全体的な動作手順いついて説明する。図７は、動画オブジェクト検出装置１０の動作手順を示す。フレームメモリ１１は、順次に入力されるフレーム画像を記憶する（ステップＳ３１）。動きベクトル場計測手段３１（図３）は、現在フレーム画像と過去のフレーム画像とに基づいて動きベクトル場を計測する（ステップＳ３２）。動きベクトル場計測手段３１は、例えば図４に示す手順に従って動きベクトル場を計測する。
【０１０５】
第１の追跡手段３２は、オブジェクトリスト記憶部１４から処理対象のオブジェクトの過去フレーム画像における位置を取得する（ステップＳ３３）。第１の追跡手段３２は、過去フレーム画像から現在フレーム画像方向にオブジェクトを追跡し、処理対象のオブジェクトの現在フレーム画像における位置を推定する（ステップＳ３４）。第１の追跡手段３２は、ステップＳ３２で求められた動きベクトル場と過去フレーム画像におけるオブジェクトの位置とに基づいて、現在フレームにおけるオブジェクトの位置を推定する。
【０１０６】
第１の追跡手段３２は、推定した現在フレーム画像におけるオブジェクトの位置を、オブジェクトリスト記憶部１４に記憶する。第１の追跡手段３２は、例えば処理対象のオブジェクトのＩＤと、現在フレーム画像のフレームＩＤと、推定したオブジェクトの位置とを関連付けてオブジェクトリスト記憶部１４に記憶する。
【０１０７】
第１の追跡手段３２は、オブジェクトリスト記憶部１４に未処理のオブジェクトが存在するか否かを判断する（ステップＳ３５）。第１の追跡手段３２は、未処理のオブジェクトが存在するときはステップＳ３３に戻り、未処理のオブジェクトの中から１つを選択し、選択したオブジェクトの位置を取得する。
【０１０８】
第１の追跡手段３２は、未処理のオブジェクトがなくなるまでステップＳ３３からステップＳ３５を繰り返し実行し、オブジェクトリスト記憶部１４に記憶された各オブジェクトについて、現在フレームにおけるオブジェクトの位置を推定し、推定したオブジェクトリスト記憶部１４に記憶する。未処理のオブジェクトがなくなると、過去フレーム画像から現在フレーム画像方向へのオブジェクトの追跡処理が終了する。なお、オブジェクトリスト記憶部１４に記憶されたオブジェクトが１つも存在しないときは、ステップＳ３３からステップＳ３５をスキップすればよい。
【０１０９】
オブジェクト検出手段１２は、現在フレーム画像からオブジェクトを所定個数、例えば１つ検出する（ステップＳ３６）。オブジェクト検出手段１２は、例えば図６に示す手順に従ってオブジェクトを検出する。オブジェクト検出部１２は、オブジェクトを検出したか否かを判断する（ステップＳ３７）。オブジェクト検出部１２において、現在フレーム画像からオブジェクトができなかったときは、現在フレーム画像に対する処理を終了する。
【０１１０】
オブジェクト検出手段１２は、オブジェクトを検出すると、その検出したオブジェクトの位置をオブジェクトリスト記憶部１４に記憶する（ステップＳ３８）。オブジェクト検出手段１２は、例えば現在フレーム画像から検出したオブジェクトに新規オブジェクトＩＤを割り当て、割り当てたオブジェクトＩＤと、現在フレーム画像のフレームＩＤと、検出したオブジェクトの位置とを対応付けてオブジェクトリスト記憶部１４に記憶する。
【０１１１】
オブジェクト検出手段１２は、現在フレーム画像において新たなオブジェクトが検出された旨を第２の追跡手段３３に通知する。第２の追跡手段３３は、現在フレーム画像の時刻よりも以前の時刻に遡ってオブジェクトを追跡し、過去フレームにおけるオブジェクトの位置を推定する（ステップＳ３９）。第２の追跡手段３３は、ステップＳ３２で求められた動きベクトル場と現在フレームにおいて検出されたオブジェクトの位置とに基づいて、過去フレームにおけるオブジェクトの位置を推定する。第２の追跡手段３３は、例えば所定フレーム数だけ過去方向に遡ってオブジェクトを追跡する。あるいはオブジェクトが追跡できなくなるまで、過去方向に遡ってオブジェクトを追跡してもよい。
【０１１２】
ところで、仮にステップＳ３２における動きベクトル場の計測を、追跡すべきオブジェクト（追跡中のオブジェクト）の周辺のみで行うものとした場合、過去方向にオブジェクトを追跡するためには、動きベクトル場の再計測が必要になる。この場合、１つのフレーム画像に対する処理を一定の時間以内で終わらせることが困難になると考えられる。動きベクトル場の計測を、追跡中のオブジェクトの周辺のみで行うのではなく、フレーム画像の全体に対して動きベクトル場を計測しけば、動きベクトル場の再計測は不要であり、第２の追跡手段３３の追跡処理を余計な時間をかけずに行うことができる。
【０１１３】
第２の追跡手段３３は、推定した過去フレーム画像におけるオブジェクトの位置を、オブジェクトリスト記憶部１４に記憶する。第２の追跡手段３３は、例えば検出されたオブジェクトのＩＤと、位置が推定された過去フレーム画像のフレームＩＤと、推定したオブジェクトの位置とを関連付けてオブジェクトリスト記憶部１４に記憶する。第２の追跡手段３３は、ステップＳ３６で検出されたオブジェクトが複数あるときは、そのそれぞれに対して過去フレーム画像におけるオブジェクトの位置を推定する。過去方向へのオブジェクトの追跡が終了すると、現在フレーム画像に対する処理が終了する。
【０１１４】
本実施形態では、ある時刻のフレーム画像においてオブジェクトが検出されると、第１の追跡手段３２（図２）がオブジェクトの検出時刻よりも後の時刻のフレーム画像におけるオブジェクトの位置を複数フレーム間で追跡すると共に、第２の追跡手段３３が、オブジェクトが検出された時刻よりも前の時刻に遡って複数フレーム間でオブジェクトの位置を追跡する。本実施形態では、ある時刻のフレーム画像において、オブジェクトが例えば画像上で他のオブジェクトや何らかの物体と重なることにより、そのオブジェクトが検出できなかったとしても、その後のフレーム画像においてオブジェクトが検出されたときに、第２の追跡手段３３が時間を遡ってオブジェクトを追跡する。このため、ある時刻においてオブジェクトの検出漏れがあったとしても、そのある時刻におけるオブジェクトの位置を後の時刻において推定することができる。
【０１１５】
本実施形態では、オブジェクトが検出されたときに、そのオブジェクトの過去フレーム画像における位置を時間を遡って追跡するため、各時刻において無理にオブジェクトを検出する必要がない。言い換えれば、各時刻においてオブジェクトの検出漏れが許容される。本実施形態では、各時刻においてオブジェクトの検出漏れを許容することができるため、オブジェクト検出においてオブジェクトの検出条件を厳しく設定することができる。例えば、現在フレーム画像に複数のオブジェクトが存在する場合でも、オブジェクト検出手段１２において検出するオブジェクトの数を１つに制限することができる。オブジェクトの検出条件を厳しく設定し、オブジェクトらしさが低いオブジェクトはオブジェクトとして検出しないようにすることで、誤検出を抑制できる。
【０１１６】
単にオブジェクトの検出条件を厳しく設定するだけであれば、誤検出は抑制できるものの、検出漏れが発生することになる。この検出漏れの発生に対し、本実施形態では、オブジェクト検出時に過去方向にオブジェクトを追跡する第２の追跡手段３３を用いる。第２の追跡手段３３が、オブジェクトが検出されたときに、過去フレーム方向にオブジェクトを追跡することで、過去フレームにおいて検出できなかったオブジェクトの位置を推定することができる。これにより、過去フレーム画像におけるオブジェクトの検出漏れを補償できる。従って、本実施形態では、オブジェクトの誤検出の抑制と、検出漏れの抑制との双方を実現できる。また、本実施形態では、特許文献３とは異なり、オブジェクトとは別にオブジェクトの候補を検出し、そのオブジェクトの候補を追跡する必要がないため、処理負荷が無駄に高くなることはない。
【０１１７】
図８は、具体的な処理例を示す。時刻ｔ以前に検出され、オブジェクトリスト記憶部１４に記憶されたオブジェクトは存在しないものとする。時刻ｔのフレーム画像が入力されると、オブジェクト検出手段１２は、図７のステップＳ３６でオブジェクトを１つ検出する。時刻ｔのフレーム画像には２つのオブジェクトが登場している。しかし、紙面向かって左側のオブジェクトは柱に隠れており、オブジェクトらしさを示すオブジェクトの信頼度が低い。オブジェクト検出手段１２は、ステップＳ３６において紙面向かった右側のオブジェクトを検出する。このオブジェクトをオブジェクトＡとする。
【０１１８】
オブジェクト検出手段１２は、ステップＳ３８でオブジェクトＡのオブジェクトＩＤと、時刻ｔのフレーム画像のフレームＩＤと、オブジェクトＡの位置とをオブジェクトリスト記憶部１４に記憶する。オブジェクト検出手段１２はオブジェクトＡが検出された旨を第２の追跡手段３３に通知する。オブジェクトＡは、時刻ｔのフレーム画像において初めて登場したオブジェクトであり、第２の追跡手段３３がステップＳ３９において過去フレーム画像方向へオブジェクトを追跡しても、時刻ｔ以前のフレーム画像にオブジェクトＡに対応するオブジェクトは存在しないものとする。
【０１１９】
時刻ｔ＋１のオブジェクト画像が入力されると、動きベクトル場計測手段３１は、ステップＳ３２で時刻ｔのフレーム画像と時刻ｔ＋１のフレーム画像とから動きベクトル場を計測する。第１の追跡手段３２は、ステップＳ３３で、オブジェクトリスト記憶部１４からオブジェクトＡの時刻ｔのフレーム画像における位置を取得する。第１の追跡手段３２は、ステップＳ３４で、動きベクトル場におけるオブジェクトＡの位置の動きベクトルに基づいて時刻ｔにおけるオブジェクトＡの位置を移動し、時刻ｔ＋１におけるオブジェクトＡの位置を推定する。オブジェクトリスト記憶部１４にはオブジェクトＡしか記憶されていないため、オブジェクトＡの現在フレームにおける位置の推定が終わると、ステップＳ３６のオブジェクトの検出へと進む。
【０１２０】
オブジェクト検出手段１２は、ステップＳ３６において、時刻ｔ＋１のフレーム画像のオブジェクトＡの位置として推定された位置を除く部分からオブジェクトの検出を試みる。時刻ｔ＋１のフレーム画像には、時刻ｔのフレーム画像にも含まれていた柱に隠れていたオブジェクトに加えて、柱の前を横切るオブジェクトが登場している。しかし、これらオブジェクトは画像上で柱と重なっていることからオブジェクトの信頼度が低く、オブジェクト検出手段１２は、時刻ｔ＋１のフレーム画像からはオブジェクトを検出しない。
【０１２１】
時刻ｔ＋２のフレーム画像が入力されると、動きベクトル場計測手段３１は、ステップＳ３２で時刻ｔ＋１のフレーム画像と時刻ｔ＋２のフレーム画像とから動きベクトル場を計測する。第１の追跡手段３２は、ステップＳ３３で、オブジェクトリスト記憶部１４からオブジェクトＡの時刻ｔ＋１のフレーム画像における位置を取得する。第１の追跡手段３２は、ステップＳ３４で、動きベクトル場におけるオブジェクトＡの位置の動きベクトルに基づいて時刻ｔ＋１におけるオブジェクトＡの位置を移動し、時刻ｔ＋２におけるオブジェクトＡの位置を推定する。オブジェクトリスト記憶部１４にはオブジェクトＡしか記憶されていないため、オブジェクトＡの現在フレームにおける位置の推定が終わると、ステップＳ３６のオブジェクトの検出へと進む。
【０１２２】
オブジェクト検出手段１２は、ステップＳ３６において、時刻ｔ＋２のフレーム画像のオブジェクトＡの位置として推定された位置を除く部分からオブジェクトの検出を試みる。時刻ｔ＋２のフレーム画像には、時刻ｔ＋１のフレーム画像において画像上で柱と重なっていた２つのオブジェクトが柱から離れた位置に存在する。オブジェクト検出手段１２は、これら２つのオブジェクトのうちでオブジェクトの信頼度が高い方を検出する。オブジェクト検出手段１２は、例えば紙面向かって下側のオブジェクトを検出する。このオブジェクトをオブジェクトＢとする。
【０１２３】
オブジェクト検出手段１２は、ステップＳ３８でオブジェクトＢのオブジェクトＩＤと、時刻ｔ＋２のフレーム画像のフレームＩＤと、オブジェクトＢの位置とをオブジェクトリスト記憶部１４に記憶する。オブジェクト検出手段１２はオブジェクトＢが検出された旨を第２の追跡手段３３に通知する。第２の追跡手段３３は、時刻ｔ＋２におけるオブジェクトＢの位置をステップＳ３２で求められた動きベクトル場に基づいて移動させ、時刻ｔ＋１におけるオブジェクトＢの位置を推定する。このようにすることで、時刻ｔ＋１においてオブジェクト検出手段１２で検出できなかった、画像上で柱と重なるオブジェクトＢの位置を、オブジェクトリスト記憶部１４に記憶することができる。
【０１２４】
時刻ｔ＋３のフレーム画像が入力されると、動きベクトル場計測手段３１は、ステップＳ３２で時刻ｔ＋２のフレーム画像と時刻ｔ＋３のフレーム画像とから動きベクトル場を計測する。第１の追跡手段３２は、ステップＳ３３で、オブジェクトリスト記憶部１４からオブジェクトＡの時刻ｔ＋２のフレーム画像における位置を取得する。第１の追跡手段３２は、ステップＳ３４で、動きベクトル場におけるオブジェクトＡの位置の動きベクトルに基づいて時刻ｔ＋２におけるオブジェクトＡの位置を移動し、時刻ｔ＋３におけるオブジェクトＡの位置を推定する。
【０１２５】
第１の追跡手段３２は、オブジェクトリスト記憶部１４にはオブジェクトＢが未処理のオブジェクトとして残っているため、ステップＳ３５からステップＳ３３に戻り、時刻ｔ＋２のフレーム画像におけるオブジェクトＢの位置を取得する。第１の追跡手段３２は、ステップＳ３４で、動きベクトル場におけるオブジェクＢの位置の動きベクトルに基づいて時刻ｔ＋２におけるオブジェクトＢの位置を移動し、時刻ｔ＋３におけるオブジェクトＢの位置を推定する。オブジェクトＢに対する処理が終わると、オブジェクトリスト記憶部１４には未処理のオブジェクトが存在しないため、ステップＳ３６のオブジェクトの検出へと進む。
【０１２６】
オブジェクト検出手段１２は、ステップＳ３６において、時刻ｔ＋３のフレーム画像のオブジェクトＡ及びＢの位置として推定された位置を除く部分からオブジェクトの検出を試みる。オブジェクト検出手段１２は、時刻ｔ＋３のフレーム画像のオブジェクトの信頼度が最も高い位置からオブジェクトを検出する。このオブジェクトをオブジェクトＣとする。
【０１２７】
オブジェクト検出手段１２は、ステップＳ３８でオブジェクトＣのオブジェクトＩＤと、時刻ｔ＋３のフレーム画像のフレームＩＤと、オブジェクトＣの位置とをオブジェクトリスト記憶部１４に記憶する。オブジェクト検出手段１２はオブジェクトＣが検出された旨を第２の追跡手段３３に通知する。第２の追跡手段３３は、時刻ｔ＋３におけるオブジェクトＣの位置をステップＳ３２で求められた動きベクトル場に基づいて移動させ、時刻ｔ＋２におけるオブジェクトＣの位置を推定する。第２の追跡手段３３は、更に時刻ｔ−１、時刻ｔへと遡って、遡った時刻のフレーム画像におけるオブジェクトＣの位置を推定してもよい。
【０１２８】
オブジェクトリスト記憶部１４には、オブジェクトＡに対して、時刻ｔ、時刻ｔ＋１、時刻ｔ＋２、及び時刻ｔ＋３の各フレーム画像における位置が記憶される。オブジェクトＢに対しては、時刻ｔ＋１、時刻ｔ＋２、及び時刻ｔ＋３の各フレーム画像における位置が記憶される。また、オブジェクトＣに対しては、時刻ｔ＋２及び時刻ｔ＋３の各フレーム画像における位置が記憶される。オブジェクトＢについては、その検出時刻は時刻ｔ＋２であるものの、未来方向だけでなく過去方向への追跡も行うことで、検出時刻よりも前の時刻ｔ−１におけるオブジェクトＢの位置をオブジェクトリスト記憶部１４に記憶することができる。また、オブジェクトＣについては、その検出時刻ｔ＋３よりも前の時刻ｔ＋２におけるオブジェクトＣの位置をオブジェクトリスト記憶部１４に記憶することができる。このように、誤検出の抑制を目的にオブジェクト検出条件を厳しく設定しても、オブジェクトの検出漏れを抑制できる効果がある。
【０１２９】
なお、上記実施形態では、動きベクトル場計測手段３１が対象フレーム画像の全体に対して動きベクトル場を計測するものとして説明したが、これには限定されない。例えばフレーム画像においてオブジェクトが検出されないことが明らかな領域があるような場合には、その領域を動きベクトル場の計測から除外してもよい。また、図７に示す動作手順は例示であり、必ずしもその手順に限定されるわけではない。例えばオブジェクトの追跡に関する処理（ステップＳ３２〜Ｓ３５）と、オブジェクトの検出（ステップＳ３６）の一部とを並列に行うことも可能である。具体的には、図４における各ステップと、図６におけるステップＳ２４までの処理とを並列に行うことができる。図６のオブジェクトの位置推定（ステップＳ２５）以降の処理については、現在時刻のフレーム画像における追跡中のオブジェクトの位置が求まった後に行えばよい。
【０１３０】
本実施形態の動画オブジェクト検出装置１０は、例えば商店やイベント会場などに設置されたカメラから動画像を入力し、客やイベント参加者などがどのように売り場やイベント会場内を動いたかを記録する用途に適用できる。また、動画像の圧縮において、特定のオブジェクト部分とそれ以外の部分とで圧縮のパラメータを変更して圧縮を行うといった用途に適用することができる。例えばオブジェクトリスト記憶部１４に記憶されたオブジェクトの位置に相当する領域の圧縮率を、その他の領域よりも低く設定して圧縮を行うことで、画像全体の圧縮率を上げてファイルサイズを小さく抑えつつも、オブジェクトの領域の情報の欠落を抑えることが可能になる。
【０１３１】
以上、本発明をその好適な実施形態に基づいて説明したが、本発明の動画オブジェクト検出装置、方法、及びプログラムは、上記実施形態にのみ限定されるものではなく、上記実施形態の構成から種々の修正及び変更を施したものも、本発明の範囲に含まれる。
【符号の説明】
【０１３２】
１０：動画オブジェクト検出装置
１１：フレームメモリ
１２：オブジェクト検出手段
１３：オブジェクト追跡処理手段
２１：前処理手段
２２：平滑化処理手段
２３：差分画像生成手段
２４：合算手段
２５：位置推定手段
２６：サイズ推定手段
２７：照合手段
３１：動きベクトル場計測手段
３２：第１の追跡手段
３３：第２の追跡手段
４０：解像度変換手段
４１：動きベクトル分布算出手段
４２：平均化処理手段
４３：動きベクトル検出手段
４４：誤計測判定手段４４
５１：解像度変換手段
５２：動き領域抽出手段
【特許請求の範囲】
【請求項１】
複数フレームから成る動画像のフレーム画像からオブジェクトを検出し、該検出したオブジェクトの位置をオブジェクトリスト記憶部に記憶するオブジェクト検出手段と、
前記オブジェクトリスト記憶部に記憶されたオブジェクトの位置を、当該オブジェクトが検出された時刻以後、複数フレーム間で追跡し、該追跡したオブジェクトの位置をオブジェクトリスト記憶部に記憶する第１の追跡手段と、前記オブジェクト検出手段でオブジェクトが新たに検出されたとき、該新たに検出されたオブジェクトの位置を、当該オブジェクトが検出されたフレーム画像の時刻よりも前の時刻に遡って複数フレーム間で追跡し、該追跡したオブジェクトの位置を前記オブジェクトリスト記憶部に記憶する第２の追跡手段とを含む手段オブジェクト追跡処理手段とを備えたことを特徴とする動画オブジェクト検出装置。
【請求項２】
前記オブジェクト検出手段が、１つのフレーム画像に含まれると想定されるオブジェクト数を示す想定登場数をｎ、１つのオブジェクトが何フレーム分撮影されるかを示す想定有効ショット数をＳ、オブジェクトの検出確率をＰ（％）として、１つのフレーム画像から、下記式、
Ｎ＝（ｎ／Ｓ）×（１００／Ｐ）
で求まるＮを整数化した個数だけオブジェクトを検出するものであることを特徴とする請求項１に記載の動画オブジェクト検出装置。
【請求項３】
前記オブジェクト検出手段が、１つのフレーム画像から１つのオブジェクトを検出するものであることを特徴とする請求項１に記載の動画オブジェクト検出装置。
【請求項４】
前記オブジェクト追跡処理手段が、前記フレーム画像を順次に入力し、現在処理対象とするフレーム画像と、該フレーム画像よりも前の時刻のフレーム画像とに基づいて動きベクトル場を求める動きベクトル場計測手段を更に含み、
前記第１の追跡手段が、前記動きベクトル場計測手段で求められた動きベクトル場と、前記オブジェクトリスト記憶部に記憶されたオブジェクトの位置とに基づいて、複数のフレーム間でオブジェクトの位置を追跡し、前記第２の追跡手段が、前記動きベクトル場計測手段で求められた動きベクトル場と、前記オブジェクト検出手段で新たに検出されたオブジェクトの位置とに基づいて、前の時刻に遡ってオブジェクトの位置を追跡するものであることを特徴とする請求項１から３何れかに記載の動画オブジェクト検出装置。
【請求項５】
前記動きベクトル場計測手段が、
対象フレーム上の動きベクトル計測の対象となる対象画素について、参照フレームを対象フレームに対して動きベクトル検出空間に対応する所定範囲内でずらしつつ、各ずらし量に対して、前記対象画素と該対象画素に対応する参照フレームの画素との相関を表わすスコアの分布である動きベクトル分布を算出する動きベクトル分布算出手段と、
前記動きベクトル分布に基づいて、前記対象画素における動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトル分布に基づいて、前記検出された動きベクトルが誤計測であるか否かを判定する誤計測判定手段とを含むことを特徴とする請求項４に記載のオブジェクト検出装置。
【請求項６】
前記誤計測判定手段が、前記動きベクトル検出空間の中心位置に対応するずらし量に対して算出された動きベクトル分布におけるスコアと、前記検出された動きベクトルの位置に対応するずらし量に対して算出された動きベクトル分布におけるスコアとが所定の関係を満たすか否かに基づいて、前記検出された動きベクトルが誤計測であるか否かを判定するものであることを特徴とする請求項５に記載のオブジェクト検出装置。
【請求項７】
前記誤計測判定手段が、検出された動きベクトルが真の動きベクトルであるときの、前記各ずらし量に対して算出された動きベクトル分布における前記対象画素のスコアを並べたデータを正の教師データとし、検出された動きベクトルが真の動きベクトルではないときの、前記各ずらし量に対して算出された動きベクトル分布における対象画素のスコアを並べたデータを負の教師データとして機械学習を用いて生成された判別器を用い、各ずらし量に対して算出された動きベクトル分布における前記対象画素のスコアを並べたデータを前記判別器に入力したときの該判別器の出力に基づいて誤計測か否かを判定するものであることを特徴とする請求項５に記載のオブジェクト検出装置。
【請求項８】
前記動きベクトル分布算出手段が、更に、参照フレーム上の前記対象画素に対応する画素について、対象フレームを参照フレームに対して動きベクトル検出空間に対応する所定範囲内でずらしつつ、各ずらし量に対して、前記参照フレーム上の前記対象画素に対応する画素と前記対応画素との相関を表わすスコアの分布である別の動きベクトル分布を算出し、
前記動きベクトル検出手段が、更に、前記別の動きベクトル分布に基づいて、前記参照フレーム上の前記対象画素に対応する画素における別の動きベクトルを検出し、
前記誤計測判定手段が、前記動きベクトル分布に基づいて前記検出された動きベクトルが誤計測であるか否かを判定するのに代えて、又はこれに加えて、前記動きベクトルと前記別の動きベクトルとの関係に基づいて誤計測であるか否を判定するものであることを特徴とする請求項５から７何れかに記載のオブジェクト検出装置。
【請求項９】
前記誤計測判定手段が、前記動きベクトルと前記別の動きベクトルとが逆ベクトルの関係にないとき、前記検出された動きベクトルが誤計測であると判定するものであることを特徴とする請求項８に記載のオブジェクト検出装置。
【請求項１０】
前記動きベクトル分布算出手段が、更に、前記対象画素について、前記対象フレームを前記対象フレーム自身に対して動きベクトル検出空間に対応する所定範囲内でずらしつつ、各ずらし量に対して、前記対象画素自身の相関を表すスコアの分布である自己動きベクトル分布を更に算出し、
前記誤計測判定手段が、前記動きベクトル分布に基づいて前記検出された動きベクトルが誤計測であるか否かを判定するのに代えて、又はこれに加えて、前記検出された動きベクトルの位置に対応するずらし量に対して算出された自己動きベクトル分布におけるスコアに基づいて誤計測であるか否かを判定するものであることを特徴とする請求項５から９何れかに記載のオブジェクト検出装置。
【請求項１１】
前記誤計測判定手段が、前記自己動きベクトル分布におけるスコアを所定のしきい値でしきい値処理し、誤計測であるか否かを判定するものであることを特徴とする請求項１０に記載のオブジェクト検出装置。
【請求項１２】
前記オブジェクト検出手段が、
検出すべきオブジェクトの輪郭形状に対応したフィルタ特性を有する平滑化フィルタを画像に畳み込む処理を繰り返し行うことにより、前記フレーム画像からスケールが異なる複数枚の平滑化画像を生成する平滑化処理手段と、
前記複数枚の平滑化画像のうち、スケールが互いに異なる２枚の平滑化画像間の差分画像を、スケールを変えつつ複数枚生成する差分画像生成手段と、
前記複数枚の差分画像を合算し合算画像を生成する合算手段と、
前記合算画像における画素値に基づいて検出すべきオブジェクトの位置を推定する位置推定手段と、
前記フレーム画像から、前記推定された位置の周辺でオブジェクトを検出する照合手段とを含むものであること特徴とする請求項１から１１何れかに記載の動画オブジェクト検出装置。
【請求項１３】
前記オブジェクト検出手段が検出すべきオブジェクトの数をＭとしたとき、前記位置推定手段が、前記合算画像の画素値を大きい順に並べたときの上位Ｍ個又は下位Ｍ個の画素の画素位置を、前記オブジェクトの位置として推定するものであることを特徴とする請求項１２に記載の動画オブジェクト検出装置。
【請求項１４】
前記オブジェクト検出手段が、前記複数枚の差分画像の画素値を比較し、最大又は最小の画素値を有する差分画像のスケールに基づいて、検出すべきオブジェクトのサイズを推定するサイズ推定手段を更に備えたことを特徴とする請求項１２又は１３に記載の動画オブジェクト検出装置。
【請求項１５】
前記サイズ推定手段が、前記位置推定手段が推定したオブジェクトの位置の周辺で前記差分画像の画素値を比較するものであることを特徴とする請求項１４に記載の動画オブジェクト検出装置。
【請求項１６】
前記サイズ推定手段が、前記最大又は最小の画素値を有する差分画像の生成元となった２枚の平滑化画像のうちのスケールが小さい方の平滑化画像内のスケールに基づいて前記オブジェクトのサイズを推定するものであることを特徴とする請求項１４又は１５に記載の動画オブジェクト検出装置。
【請求項１７】
前記平滑化処理手段がスケールσ１からσａ×ｋ（ａ及びｋは２以上の整数）までのａ×ｋ枚の平滑化画像Ｌ（ｘ，ｙ，σｉ）（ｉ＝１〜ａ×ｋ）を生成し、前記差分画像生成手段が、スケールσ１からσｋまでのｋ枚の差分画像Ｇ（ｘ，ｙ，σｊ）（ｊ＝１〜ｋ）を、それぞれスケールσｊの平滑化画像Ｌ（ｘ，ｙ，σｊ）とスケールσｊ×ａの平滑化画像Ｌ（ｘ，ｙ，σｊ×ａ）との差分に基づいて生成するものであることを特徴とする請求項１２から１６何れかに記載の動画オブジェクト検出装置。
【請求項１８】
前記差分画像生成手段が、下記式、
Ｇ（ｘ，ｙ，σｊ）＝Ｌ（ｘ，ｙ，σｊ）−Ｌ（ｘ，ｙ，σｊ×ａ）
を用いて差分画像Ｇ（ｘ，ｙ，σｊ）を生成するものであることを特徴とする請求項１７に記載の動画オブジェクト検出装置。
【請求項１９】
前記平滑化処理手段がスケールσ１からσｒ（ｒは３以上の整数）までのｒ枚の平滑化画像Ｌ（ｘ，ｙ，σｉ）（ｉ＝１〜ｒ）を生成し、前記差分画像生成手段が、スケールσ１からσｋ−ｐ（ｐは１以上の整数）までのｋ−ｐ枚の差分画像Ｇ（ｘ，ｙ，σｊ）（ｊ＝１〜ｋ−ｐ）を、それぞれスケールσｊの平滑化画像Ｌ（ｘ，ｙ，σｊ）とスケールσｊ＋ｐの平滑化画像Ｌ（ｘ，ｙ，σｊ＋ｐ）との差分に基づいて生成するものであることを特徴とする請求項１２から１６何れかに記載の動画オブジェクト検出装置。
【請求項２０】
前記差分画像生成手段が、下記式、
Ｇ（ｘ，ｙ，σｊ）＝Ｌ（ｘ，ｙ，σｊ）−Ｌ（ｘ，ｙ，σｊ＋ｐ）
を用いて差分画像Ｇ（ｘ，ｙ，σｊ）を生成するものであることを特徴とする請求項１９に記載の動画オブジェクト検出装置。
【請求項２１】
前記オブジェクト検出手段が、前記フレーム画像から動き領域を抽出し動き領域抽出画像を生成する動き領域抽出手段を更に備え、
前記平滑化画像生成手段が、前記動き領域抽出画像に対して前記平滑化フィルタを畳み込むものであることを特徴とする請求項１２から２０何れかに記載の動画オブジェクト検出装置。
【請求項２２】
前記動き領域抽出手段が、各画素が、前記フレーム画像から抽出した動きの量に応じた階調値を有するグレースケール画像を前記動き領域抽出画像として生成するものであることを特徴とする請求項２１に記載の動画オブジェクト検出装置。
【請求項２３】
前記動き領域抽出手段が、前記グレースケール画像に対して所定のコントラスト低減処理を施すものであることを特徴とする請求項２２に記載の動画オブジェクト検出装置。
【請求項２４】
複数フレームから成る動画像のフレーム画像からオブジェクトを検出し、該検出したオブジェクトの位置をオブジェクトリスト記憶部に記憶するステップと、
前記オブジェクトリスト記憶部に記憶されたオブジェクトの位置を、当該オブジェクトが検出された時刻以後、複数フレーム間で追跡し、該追跡したオブジェクトの位置をオブジェクトリスト記憶部に記憶するステップと、
前記オブジェクト検出手段でオブジェクトが新たに検出されたとき、該新たに検出されたオブジェクトの位置を、当該オブジェクトが検出されたフレーム画像の時刻よりも前の時刻に遡って複数フレーム間で追跡し、該追跡したオブジェクトの位置を前記オブジェクトリスト記憶部に記憶するステップとを有することを特徴とする動画オブジェクト検出方法。
【請求項２５】
コンピュータに、
複数フレームから成る動画像のフレーム画像からオブジェクトを検出し、該検出したオブジェクトの位置をオブジェクトリスト記憶部に記憶するステップと、
前記オブジェクトリスト記憶部に記憶されたオブジェクトの位置を、当該オブジェクトが検出された時刻以後、複数フレーム間で追跡し、該追跡したオブジェクトの位置をオブジェクトリスト記憶部に記憶するステップと、
前記オブジェクト検出手段でオブジェクトが新たに検出されたとき、該新たに検出されたオブジェクトの位置を、当該オブジェクトが検出されたフレーム画像の時刻よりも前の時刻に遡って複数フレーム間で追跡し、該追跡したオブジェクトの位置を前記オブジェクトリスト記憶部に記憶するステップとを実行させるためのプログラム。
【請求項１】
複数フレームから成る動画像のフレーム画像からオブジェクトを検出し、該検出したオブジェクトの位置をオブジェクトリスト記憶部に記憶するオブジェクト検出手段と、
前記オブジェクトリスト記憶部に記憶されたオブジェクトの位置を、当該オブジェクトが検出された時刻以後、複数フレーム間で追跡し、該追跡したオブジェクトの位置をオブジェクトリスト記憶部に記憶する第１の追跡手段と、前記オブジェクト検出手段でオブジェクトが新たに検出されたとき、該新たに検出されたオブジェクトの位置を、当該オブジェクトが検出されたフレーム画像の時刻よりも前の時刻に遡って複数フレーム間で追跡し、該追跡したオブジェクトの位置を前記オブジェクトリスト記憶部に記憶する第２の追跡手段とを含む手段オブジェクト追跡処理手段とを備えたことを特徴とする動画オブジェクト検出装置。
【請求項２】
前記オブジェクト検出手段が、１つのフレーム画像に含まれると想定されるオブジェクト数を示す想定登場数をｎ、１つのオブジェクトが何フレーム分撮影されるかを示す想定有効ショット数をＳ、オブジェクトの検出確率をＰ（％）として、１つのフレーム画像から、下記式、
Ｎ＝（ｎ／Ｓ）×（１００／Ｐ）
で求まるＮを整数化した個数だけオブジェクトを検出するものであることを特徴とする請求項１に記載の動画オブジェクト検出装置。
【請求項３】
前記オブジェクト検出手段が、１つのフレーム画像から１つのオブジェクトを検出するものであることを特徴とする請求項１に記載の動画オブジェクト検出装置。
【請求項４】
前記オブジェクト追跡処理手段が、前記フレーム画像を順次に入力し、現在処理対象とするフレーム画像と、該フレーム画像よりも前の時刻のフレーム画像とに基づいて動きベクトル場を求める動きベクトル場計測手段を更に含み、
前記第１の追跡手段が、前記動きベクトル場計測手段で求められた動きベクトル場と、前記オブジェクトリスト記憶部に記憶されたオブジェクトの位置とに基づいて、複数のフレーム間でオブジェクトの位置を追跡し、前記第２の追跡手段が、前記動きベクトル場計測手段で求められた動きベクトル場と、前記オブジェクト検出手段で新たに検出されたオブジェクトの位置とに基づいて、前の時刻に遡ってオブジェクトの位置を追跡するものであることを特徴とする請求項１から３何れかに記載の動画オブジェクト検出装置。
【請求項５】
前記動きベクトル場計測手段が、
対象フレーム上の動きベクトル計測の対象となる対象画素について、参照フレームを対象フレームに対して動きベクトル検出空間に対応する所定範囲内でずらしつつ、各ずらし量に対して、前記対象画素と該対象画素に対応する参照フレームの画素との相関を表わすスコアの分布である動きベクトル分布を算出する動きベクトル分布算出手段と、
前記動きベクトル分布に基づいて、前記対象画素における動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトル分布に基づいて、前記検出された動きベクトルが誤計測であるか否かを判定する誤計測判定手段とを含むことを特徴とする請求項４に記載のオブジェクト検出装置。
【請求項６】
前記誤計測判定手段が、前記動きベクトル検出空間の中心位置に対応するずらし量に対して算出された動きベクトル分布におけるスコアと、前記検出された動きベクトルの位置に対応するずらし量に対して算出された動きベクトル分布におけるスコアとが所定の関係を満たすか否かに基づいて、前記検出された動きベクトルが誤計測であるか否かを判定するものであることを特徴とする請求項５に記載のオブジェクト検出装置。
【請求項７】
前記誤計測判定手段が、検出された動きベクトルが真の動きベクトルであるときの、前記各ずらし量に対して算出された動きベクトル分布における前記対象画素のスコアを並べたデータを正の教師データとし、検出された動きベクトルが真の動きベクトルではないときの、前記各ずらし量に対して算出された動きベクトル分布における対象画素のスコアを並べたデータを負の教師データとして機械学習を用いて生成された判別器を用い、各ずらし量に対して算出された動きベクトル分布における前記対象画素のスコアを並べたデータを前記判別器に入力したときの該判別器の出力に基づいて誤計測か否かを判定するものであることを特徴とする請求項５に記載のオブジェクト検出装置。
【請求項８】
前記動きベクトル分布算出手段が、更に、参照フレーム上の前記対象画素に対応する画素について、対象フレームを参照フレームに対して動きベクトル検出空間に対応する所定範囲内でずらしつつ、各ずらし量に対して、前記参照フレーム上の前記対象画素に対応する画素と前記対応画素との相関を表わすスコアの分布である別の動きベクトル分布を算出し、
前記動きベクトル検出手段が、更に、前記別の動きベクトル分布に基づいて、前記参照フレーム上の前記対象画素に対応する画素における別の動きベクトルを検出し、
前記誤計測判定手段が、前記動きベクトル分布に基づいて前記検出された動きベクトルが誤計測であるか否かを判定するのに代えて、又はこれに加えて、前記動きベクトルと前記別の動きベクトルとの関係に基づいて誤計測であるか否を判定するものであることを特徴とする請求項５から７何れかに記載のオブジェクト検出装置。
【請求項９】
前記誤計測判定手段が、前記動きベクトルと前記別の動きベクトルとが逆ベクトルの関係にないとき、前記検出された動きベクトルが誤計測であると判定するものであることを特徴とする請求項８に記載のオブジェクト検出装置。
【請求項１０】
前記動きベクトル分布算出手段が、更に、前記対象画素について、前記対象フレームを前記対象フレーム自身に対して動きベクトル検出空間に対応する所定範囲内でずらしつつ、各ずらし量に対して、前記対象画素自身の相関を表すスコアの分布である自己動きベクトル分布を更に算出し、
前記誤計測判定手段が、前記動きベクトル分布に基づいて前記検出された動きベクトルが誤計測であるか否かを判定するのに代えて、又はこれに加えて、前記検出された動きベクトルの位置に対応するずらし量に対して算出された自己動きベクトル分布におけるスコアに基づいて誤計測であるか否かを判定するものであることを特徴とする請求項５から９何れかに記載のオブジェクト検出装置。
【請求項１１】
前記誤計測判定手段が、前記自己動きベクトル分布におけるスコアを所定のしきい値でしきい値処理し、誤計測であるか否かを判定するものであることを特徴とする請求項１０に記載のオブジェクト検出装置。
【請求項１２】
前記オブジェクト検出手段が、
検出すべきオブジェクトの輪郭形状に対応したフィルタ特性を有する平滑化フィルタを画像に畳み込む処理を繰り返し行うことにより、前記フレーム画像からスケールが異なる複数枚の平滑化画像を生成する平滑化処理手段と、
前記複数枚の平滑化画像のうち、スケールが互いに異なる２枚の平滑化画像間の差分画像を、スケールを変えつつ複数枚生成する差分画像生成手段と、
前記複数枚の差分画像を合算し合算画像を生成する合算手段と、
前記合算画像における画素値に基づいて検出すべきオブジェクトの位置を推定する位置推定手段と、
前記フレーム画像から、前記推定された位置の周辺でオブジェクトを検出する照合手段とを含むものであること特徴とする請求項１から１１何れかに記載の動画オブジェクト検出装置。
【請求項１３】
前記オブジェクト検出手段が検出すべきオブジェクトの数をＭとしたとき、前記位置推定手段が、前記合算画像の画素値を大きい順に並べたときの上位Ｍ個又は下位Ｍ個の画素の画素位置を、前記オブジェクトの位置として推定するものであることを特徴とする請求項１２に記載の動画オブジェクト検出装置。
【請求項１４】
前記オブジェクト検出手段が、前記複数枚の差分画像の画素値を比較し、最大又は最小の画素値を有する差分画像のスケールに基づいて、検出すべきオブジェクトのサイズを推定するサイズ推定手段を更に備えたことを特徴とする請求項１２又は１３に記載の動画オブジェクト検出装置。
【請求項１５】
前記サイズ推定手段が、前記位置推定手段が推定したオブジェクトの位置の周辺で前記差分画像の画素値を比較するものであることを特徴とする請求項１４に記載の動画オブジェクト検出装置。
【請求項１６】
前記サイズ推定手段が、前記最大又は最小の画素値を有する差分画像の生成元となった２枚の平滑化画像のうちのスケールが小さい方の平滑化画像内のスケールに基づいて前記オブジェクトのサイズを推定するものであることを特徴とする請求項１４又は１５に記載の動画オブジェクト検出装置。
【請求項１７】
前記平滑化処理手段がスケールσ１からσａ×ｋ（ａ及びｋは２以上の整数）までのａ×ｋ枚の平滑化画像Ｌ（ｘ，ｙ，σｉ）（ｉ＝１〜ａ×ｋ）を生成し、前記差分画像生成手段が、スケールσ１からσｋまでのｋ枚の差分画像Ｇ（ｘ，ｙ，σｊ）（ｊ＝１〜ｋ）を、それぞれスケールσｊの平滑化画像Ｌ（ｘ，ｙ，σｊ）とスケールσｊ×ａの平滑化画像Ｌ（ｘ，ｙ，σｊ×ａ）との差分に基づいて生成するものであることを特徴とする請求項１２から１６何れかに記載の動画オブジェクト検出装置。
【請求項１８】
前記差分画像生成手段が、下記式、
Ｇ（ｘ，ｙ，σｊ）＝Ｌ（ｘ，ｙ，σｊ）−Ｌ（ｘ，ｙ，σｊ×ａ）
を用いて差分画像Ｇ（ｘ，ｙ，σｊ）を生成するものであることを特徴とする請求項１７に記載の動画オブジェクト検出装置。
【請求項１９】
前記平滑化処理手段がスケールσ１からσｒ（ｒは３以上の整数）までのｒ枚の平滑化画像Ｌ（ｘ，ｙ，σｉ）（ｉ＝１〜ｒ）を生成し、前記差分画像生成手段が、スケールσ１からσｋ−ｐ（ｐは１以上の整数）までのｋ−ｐ枚の差分画像Ｇ（ｘ，ｙ，σｊ）（ｊ＝１〜ｋ−ｐ）を、それぞれスケールσｊの平滑化画像Ｌ（ｘ，ｙ，σｊ）とスケールσｊ＋ｐの平滑化画像Ｌ（ｘ，ｙ，σｊ＋ｐ）との差分に基づいて生成するものであることを特徴とする請求項１２から１６何れかに記載の動画オブジェクト検出装置。
【請求項２０】
前記差分画像生成手段が、下記式、
Ｇ（ｘ，ｙ，σｊ）＝Ｌ（ｘ，ｙ，σｊ）−Ｌ（ｘ，ｙ，σｊ＋ｐ）
を用いて差分画像Ｇ（ｘ，ｙ，σｊ）を生成するものであることを特徴とする請求項１９に記載の動画オブジェクト検出装置。
【請求項２１】
前記オブジェクト検出手段が、前記フレーム画像から動き領域を抽出し動き領域抽出画像を生成する動き領域抽出手段を更に備え、
前記平滑化画像生成手段が、前記動き領域抽出画像に対して前記平滑化フィルタを畳み込むものであることを特徴とする請求項１２から２０何れかに記載の動画オブジェクト検出装置。
【請求項２２】
前記動き領域抽出手段が、各画素が、前記フレーム画像から抽出した動きの量に応じた階調値を有するグレースケール画像を前記動き領域抽出画像として生成するものであることを特徴とする請求項２１に記載の動画オブジェクト検出装置。
【請求項２３】
前記動き領域抽出手段が、前記グレースケール画像に対して所定のコントラスト低減処理を施すものであることを特徴とする請求項２２に記載の動画オブジェクト検出装置。
【請求項２４】
複数フレームから成る動画像のフレーム画像からオブジェクトを検出し、該検出したオブジェクトの位置をオブジェクトリスト記憶部に記憶するステップと、
前記オブジェクトリスト記憶部に記憶されたオブジェクトの位置を、当該オブジェクトが検出された時刻以後、複数フレーム間で追跡し、該追跡したオブジェクトの位置をオブジェクトリスト記憶部に記憶するステップと、
前記オブジェクト検出手段でオブジェクトが新たに検出されたとき、該新たに検出されたオブジェクトの位置を、当該オブジェクトが検出されたフレーム画像の時刻よりも前の時刻に遡って複数フレーム間で追跡し、該追跡したオブジェクトの位置を前記オブジェクトリスト記憶部に記憶するステップとを有することを特徴とする動画オブジェクト検出方法。
【請求項２５】
コンピュータに、
複数フレームから成る動画像のフレーム画像からオブジェクトを検出し、該検出したオブジェクトの位置をオブジェクトリスト記憶部に記憶するステップと、
前記オブジェクトリスト記憶部に記憶されたオブジェクトの位置を、当該オブジェクトが検出された時刻以後、複数フレーム間で追跡し、該追跡したオブジェクトの位置をオブジェクトリスト記憶部に記憶するステップと、
前記オブジェクト検出手段でオブジェクトが新たに検出されたとき、該新たに検出されたオブジェクトの位置を、当該オブジェクトが検出されたフレーム画像の時刻よりも前の時刻に遡って複数フレーム間で追跡し、該追跡したオブジェクトの位置を前記オブジェクトリスト記憶部に記憶するステップとを実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−７３９７１（Ｐ２０１２−７３９７１Ａ）
【公開日】平成２４年４月１２日（２０１２．４．１２）
【国際特許分類】
【出願番号】特願２０１０−２２０１９０（Ｐ２０１０−２２０１９０）
【出願日】平成２２年９月３０日（２０１０．９．３０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２４年４月１２日（２０１２．４．１２）
【国際特許分類】
【出願日】平成２２年９月３０日（２０１０．９．３０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]