人物追跡方法、人物追跡装置および人物追跡プログラム
【課題】本発明は、カメラで捉えた人物の動きを追跡する人物追跡方法に関し、カルメンフィルタなどを用いた追跡処理と比べ軽い処理で人物を追跡する。
【解決手段】各フレーム画像上の頭部を検出し、各フレーム画像上に頭部が検出された人物を特徴づける特徴量を、該各フレーム画像ごとおよび各頭部ごとに算出し、過去のフレーム画像上に頭部が検出された各人物の過去のフレーム画像上の各特徴量と、今回のフレーム画像上に頭部が検出された各人物の今回のフレーム画像上の各特徴量との間の、特徴量どうしの一致の程度を表わす関連度を算出し、各関連度のうちの閾値以上の一致の程度を表わす関連度であってかつ最大の一致の程度を表わす関連度の算出の基になった頭部を同一の人物の頭部である旨、判別する。
【解決手段】各フレーム画像上の頭部を検出し、各フレーム画像上に頭部が検出された人物を特徴づける特徴量を、該各フレーム画像ごとおよび各頭部ごとに算出し、過去のフレーム画像上に頭部が検出された各人物の過去のフレーム画像上の各特徴量と、今回のフレーム画像上に頭部が検出された各人物の今回のフレーム画像上の各特徴量との間の、特徴量どうしの一致の程度を表わす関連度を算出し、各関連度のうちの閾値以上の一致の程度を表わす関連度であってかつ最大の一致の程度を表わす関連度の算出の基になった頭部を同一の人物の頭部である旨、判別する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで捉えた人物の動きを追跡する人物追跡方法、人物追跡装置および人物追跡プログラムに関する。
【背景技術】
【０００２】
人物追跡方法は、追跡開始のための人物検出処理と検出された人物の特徴に着目してその人物を追跡していく処理との２つの処理により構成される。人物検出処理では、背景との差分や時間的な差分を検出したり（特許文献１，２参照）、あるいは人物のある特徴に着目してその特徴が存在するか否かにより人物の検出が行なわれる。また、人物追跡処理では、カルメンフィルタなどを用いた追跡処理が一般的である。このような従来手法の場合、以下の問題点がある。
【０００３】
背景差分や時間差分などの差分演算により人物を検出する方法は、その背景や画像の時間変化等に依存し、複雑な背景等の場合は正しい背景画像等が作られず検出能力が低下するおそれがある。
【０００４】
また、カルメンフィルタなどを用いた追跡処理は計算量が多く、処理に時間を要する。また、カルメンフィルタなどを正しく作用させるには高いフレームレートが必要であり、このことが処理を一層重くしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−１０５８３５号公報
【特許文献２】特開２００２−３４２７６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、上記事情に鑑み、カルメンフィルタなどを用いた追跡処理と比べ軽い処理で人物を追跡することのできる人物追跡方法、人物追跡装置および人物追跡プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成する本発明の人物追跡方法は、
被計測空間をカメラで撮影することにより生成された所定のフレームレートの動画像を表わす画像データに基づいて、その動画像を構成する複数のフレーム画像のうちの複数の計測対象フレーム画像それぞれについて、各計測対象フレーム画像上の頭部を検出する頭部検出ステップと、
上記画像データに基づいて、各計測対象フレーム画像上に頭部が検出された人物を特徴づける特徴量を、各計測対象フレーム画像ごとおよび各頭部ごとに算出する特徴量算出ステップと、
過去の計測対象フレーム画像上に頭部が検出された各人物の過去の計測対象フレーム画像上の各特徴量と、今回の計測対象フレーム画像上に頭部が検出された各人物の今回の計測対象フレーム画像上の各特徴量との間の、特徴量どうしの一致の程度を表わす関連度を算出する関連度算出ステップと、
今回の計測対象フレーム画像上に検出された頭部のうちの、過去の計測対象フレーム画像上に検出された頭部のうちの第１の頭部を持つ人物の過去の計測対象フレーム画像上の特徴量と今回の計測対象フレーム画像上に検出された各頭部を持つ各人物の該今回の計測対象フレーム画像上の各特徴量との間の各関連度のうちの第１の閾値以上の一致の程度を表わす関連度であってかつ最大の一致の程度を表わす関連度の算出の基になった頭部を、上記第１の頭部を持つ人物と同一の人物の頭部である旨、判別する同一人物判別ステップとを有することを特徴とする。
【０００８】
本発明の人物追跡方法は、複数の計測対象フレーム画像それぞれについて頭部を検出し、頭部が検出された人物を特徴づける特徴量と特徴量どうしの関連度とに基づいて複数の計測対象フレーム画像に跨る頭部どうしを対応づける処理を実行するものであり、カルメンフィルタ等を用いるよりも軽い処理で人物を追跡することができる。
【０００９】
ここで、本発明の人物追跡方法において、連続する複数の第１の計測対象フレーム画像に亘って互いに同一の第１の人物に属することが判別された頭部が検出され、その第１の人物に属する頭部が途中の１つ又は第２の閾値以下の数だけ連続する複数の計測対象フレーム画像では途切れ、その後、連続する複数の第２の計測対象フレーム画像に亘って同一の第２の人物に属することが判別された頭部が検出された場合に、
上記特徴量算出ステップは、上記複数の第１の計測対象フレーム画像における上記第１の人物の平均的な第１の平均特徴量と、上記複数の第２の計測対象フレーム画像における上記第２の人物の平均的な第２の平均特徴量とを算出するものであり、
上記関連度算出ステップは、上記第１の平均特徴量と上記第２の平均特徴量との間の関連度を算出するものであり、
上記同一人物判別ステップは、上記第１の平均特徴量と上記第２の平均特徴量との間の関連度が第２の閾値以上の一致の程度を表わす関連度である場合に、上記第１の人物と上記第２の人物が同一人物である旨、判別するものであることが好ましい。
【００１０】
こうすることにより、頭部の検出漏れや人物が一時的に何かの背後に移動したりなど、計測対象フレーム画像上から一旦消えた場合であっても追跡が可能となる。
【００１１】
また、本発明の人物追跡方法において、１つ又は第３の閾値以下の数だけ連続する複数の計測対象フレーム画像にのみ第３の人物の頭部として検出され前後の計測対象フレーム画像にはその頭部に対応する第３の人物の頭部が検出されない場合に、その頭部を、検出された頭部から削除する断片削除ステップをさらに有することが好ましい。
【００１２】
この断片削除ステップを設けると、検出された頭部が削除され、一層高精度な追跡が可能となる。
【００１３】
ここで、上記特徴量算出ステップは、計測対象フレーム画像上に検出された頭部の画素値のヒストグラムを上記特徴量の１つとして算出するステップであってもよく、また、上記特徴量算出ステップは、計測対象フレーム画像上の頭部が検出された人物の胴体部分の画素値のヒストグラムを上記特徴量の１つとして算出するステップであってもよい。さらに、上記特徴量算出ステップは、今回の計測対象フレーム画像上に検出された頭部の今回の計測対象フレーム画像上の出現位置を変数とする、過去の複数の計測対象フレーム画像上の同一人物の頭部の動きに基づく関数値を上記特徴量の１つとして算出するステップであってもよい。
【００１４】
本発明では、このような各種の特徴量を採用することができる。
【００１５】
また、本発明の人物追跡装置は、
被計測空間をカメラで撮影することにより生成された所定のフレームレートの動画像を表わす画像データに基づいて、上記動画像を構成する複数のフレーム画像のうちの複数の計測対象フレーム画像それぞれについて、各計測対象フレーム画像上の頭部を検出する頭部検出部と、
上記画像データに基づいて、各計測対象フレーム画像上に頭部が検出された人物を特徴づける特徴量を、各計測対象フレーム画像ごとおよび各頭部ごとに算出する特徴量算出部と、
過去の計測対象フレーム画像上に頭部が検出された各人物の過去の計測対象フレーム画像上の各特徴量と、今回の計測対象フレーム画像上に頭部が検出された各人物の今回の計測対象フレーム画像上の各特徴量との間の、特徴量どうしの一致の程度を表わす関連度を算出する関連度算出部と、
今回の計測対象フレーム画像上に検出された頭部のうちの、過去の計測対象フレーム画像上に検出された頭部のうちの第１の頭部を持つ人物の過去の計測対象フレーム画像上の特徴量と今回の計測対象フレーム画像上に検出された各頭部を持つ各人物の今回の計測対象フレーム画像上の各特徴量との間の各関連度のうちの第１の閾値以上の一致の程度を表わす関連度であってかつ最大の一致の程度を表わす関連度の算出の基になった頭部を、上記第１の頭部を持つ人物と同一の人物の頭部である旨、判別する同一人物判別部とを備えたことを特徴とする。
【００１６】
ここで、本発明の人物追跡装置において、連続する複数の第１の計測対象フレーム画像に亘って互いに同一の第１の人物に属することが判別された頭部が検出され、その第１の人物に属する頭部が途中の１つ又は第２の閾値以下の数だけ連続する複数の計測対象フレーム画像では途切れ、その後、連続する複数の第２の計測対象フレーム画像に亘って同一の第２の人物に属することが判別された頭部が検出された場合に、
上記特徴量算出部は、上記複数の第１の計測対象フレーム画像における上記第１の人物の平均的な第１の平均特徴量と、上記複数の第２の計測対象フレーム画像における前記第２の人物の平均的な第２の平均特徴量とを算出するものであり、
上記関連度算出部は、上記第１の平均特徴量と上記第２の平均特徴量との間の関連度を算出するものであり、
上記同一人物判別部が、上記第１の平均特徴量と上記第２の平均特徴量との間の関連度が第２の閾値以上の一致の程度を表わす関連度である場合に、上記第１の人物と上記第２の人物が同一人物である旨、判別するものであることが好ましい。
【００１７】
さらに、本発明の人物追跡装置において、１つ又は第３の閾値以下の数だけ連続する複数の計測対象フレーム画像にのみ第３の人物の頭部が検出され前後の計測対象フレーム画像にはその頭部に対応する第３の人物の頭部が検出されない場合に、その頭部を、検出された頭部から削除する断片削除部をさらに備えることが好ましい。
【００１８】
ここで、上記特徴量算出部は、計測対象フレーム画像上に検出された頭部の画素値のヒストグラムを上記特徴量の１つとして算出するものであってもよく、また、上記特徴量算出部は、計測対象フレーム画像上の頭部が検出された人物の胴体部分の画素値のヒストグラムを上記特徴量の１つとして算出するものであってもよい。さらに、上記特徴量算出部は、今回の計測対象フレーム画像上に検出された頭部の今回の計測対象フレーム画像上の出現位置を変数とする、過去の複数の計測対象フレーム画像上の同一人物の頭部の動きに基づく関数値を上記特徴量の１つとして算出するものであってもよい。
【００１９】
さらに、本発明の人物追跡プログラムは、プログラムを実行する演算装置内で実行され、その演算装置を、
被計測空間をカメラで撮影することにより生成された所定のフレームレートの動画像を表わす画像データに基づいて、上記動画像を構成する複数のフレーム画像のうちの複数の計測対象フレーム画像それぞれについて、各計測対象フレーム画像上の頭部を検出する頭部検出部と、
上記画像データに基づいて、各計測対象フレーム画像上に頭部が検出された人物を特徴づける特徴量を、各計測対象フレーム画像ごとおよび各頭部ごとに算出する特徴量算出部と、
過去の計測対象フレーム画像上に頭部が検出された各人物の過去の計測対象フレーム画像上の各特徴量と、今回の計測対象フレーム画像上に頭部が検出された各人物の今回の計測対象フレーム画像上の各特徴量との間の、特徴量どうしの一致の程度を表わす関連度を算出する関連度算出部と、
今回の計測対象フレーム画像上に検出された頭部のうちの、過去の計測対象フレーム画像上に検出された頭部のうちの第１の頭部を持つ人物の過去の計測対象フレーム画像上の特徴量と今回の計測対象フレーム画像上に検出された各頭部を持つ各人物の今回の計測対象フレーム画像上の各特徴量との間の各関連度のうちの第１の閾値以上の一致の程度を表わす関連度であってかつ最大の一致の程度を表わす関連度の算出の基になった頭部を、上記第１の頭部を持つ人物と同一の人物の頭部である旨、判別する同一人物判別部とを備えた人物追跡装置として動作させることを特徴とする。
【００２０】
ここで、本発明の人物追跡プログラムにおいて、連続する複数の第１の計測対象フレーム画像に亘って互いに同一の第１の人物に属することが判別された頭部が検出され、その第１の人物に属する頭部が途中の１つ又は第２の閾値以下の数だけ連続する複数の計測対象フレーム画像では途切れ、その後、連続する複数の第２の計測対象フレーム画像に亘って同一の第２の人物に属することが判別された頭部が検出された場合に、
上記特徴量算出部は、上記複数の第１の計測対象フレーム画像における上記第１の人物の平均的な第１の平均特徴量と、上記複数の第２の計測対象フレーム画像における前記第２の人物の平均的な第２の平均特徴量とを算出するものであり、
上記関連度算出部は、上記第１の平均特徴量と上記第２の平均特徴量との間の関連度を算出するものであり、
上記同一人物判別部が、上記第１の平均特徴量と上記第２の平均特徴量との間の関連度が第２の閾値以上の一致の程度を表わす関連度である場合に、上記第１の人物と上記第２の人物が同一人物である旨、判別するものであることが好ましい。
【００２１】
さらに、本発明の人物追跡プログラムにおいて、上記演算装置を、１つ又は第３の閾値以下の数だけ連続する複数の計測対象フレーム画像にのみ第３の人物の頭部が検出され前後の計測対象フレーム画像にはその頭部に対応する第３の人物の頭部が検出されない場合に、その頭部を、検出された頭部から削除する断片削除部をさらに有する人物追跡装置として動作させることが好ましい。
【００２２】
ここで、上記特徴量算出ステップは、計測対象フレーム画像上に検出された頭部の画素値のヒストグラムを上記特徴量の１つとして算出するステップであってもよく、また、上記特徴量算出ステップは、計測対象フレーム画像上の頭部が検出された人物の胴体部分の画素値のヒストグラムを上記特徴量の１つとして算出するステップであってもよい。さらに、上記特徴量算出ステップは、今回の計測対象フレーム画像上に検出された頭部の今回の計測対象フレーム画像上の出現位置を変数とする、過去の複数の計測対象フレーム画像上の同一人物の頭部の動きに基づく関数値を上記特徴量の１つとして算出するステップであってもよい。
【発明の効果】
【００２３】
以上の本発明によれば、カルメンフィルタなどを用いた追跡処理と比べ軽い処理で人物を追跡することができる。
【図面の簡単な説明】
【００２４】
【図１】被計測空間をカメラで撮影している様子を示す模式図である。
【図２】撮影により得られた動画像を構成する複数のフレーム画像を示す図である。
【図３】各フレーム画像上に検出された頭部を丸印で模式的に示した図である。
【図４】各頭部を持つ人物の特徴量を示す図である。
【図５】近似した特徴量による頭部どうしの対応づけを示した図である。
【図６】前後分断対応づけ処理の概念図である。
【図７】前後分断対応づけ処理の処理結果を示す概念図である。
【図８】最終的に得られた、各フレーム画像上の頭部とそれらの頭部どうしの対応づけを示す図である。
【図９】本発明の一実施形態が組み込まれた監視カメラシステムの概略構成図である。
【図１０】図９に１つのブロックで示すパーソナルコンピュータの外観斜視図である。
【図１１】パーソナルコンピュータのハードウエア構成図である。
【図１２】人物追跡方法の一例を示すフローチャートである。
【図１３】人物追跡装置の一例を示すブロック図である。
【図１４】本実施形態で採用している特徴量一覧を示す図である。
【図１５】「頭部」および「胴体」の説明図である。
【図１６】ヒストグラムの概念図である。
【図１７】ある店舗内の様子を撮影した画像（Ａ）と、頭部の寸法の分布（Ｂ）を示した図である。
【図１８】撮影画像上の頭部の動き（図１８（Ａ））と、頭部寸法（Ｓｉｚｅ）と画像高さ（Ｙ）との間の近似直線（図１８（Ｂ））とを示す図である。
【図１９】トップビューにおける、水平方向（Ｘ方向）に移動したときの（９）式に従って描いた曲線と、円を描いた図である。
【図２０】トップビューにおける、垂直方向（Ｙ方向）に移動したときの（９）式に従って描いた曲線と、円を描いた図である。
【図２１】Ｘ方向に等速直線運動をしたときの正規化均等移動距離を示す曲線と、トップビューでの円形（図１９参照）を撮影画像上に写像した曲線を示した図である。
【図２２】Ｙ方向に等速直線運動をしたときの正規化均等移動距離を示す曲線と、トップビューでの円形（図２０参照）を撮影画像上に写像した曲線を示す図である。
【図２３】時刻ｔ＋１のフレーム画像上に検出された頭部と正規化均等移動距離を示す曲線を示した図である。
【図２４】（１２）式で求められる比率Ｒと運動特徴量との関係を示す図である。
【図２５】頭部検出ステップの詳細を含む頭部検出方法のフローチャートである。
【図２６】図１３に１つのブロックで示す頭部検出部の詳細ブロック図である。
【図２７】図２５に示す頭部検出方法の学習ステップＳ１０の詳細フロー図である。
【図２８】多重解像度展開処理の説明図である。
【図２９】動画像の差分処理の説明図である。
【図３０】フィルタの構造の説明図である。
【図３１】各種のフィルタを図解して例示した図である。
【図３２】機械学習の概念図である。
【図３３】教師画像の概念図である。
【図３４】各種フィルタとそれらのフィルタの学習結果を示す概念図である。
【図３５】教師画像の重み付けを示す説明図である。
【図３６】８×８画素用のフィルタの抽出が終了し、１６×１６画素のフィルタの学習への移行時の重み付け方法の説明図である。
【図３７】画像群生成部の処理を示す模式図である。
【図３８】領域統合部における領域統合処理の説明図である。
【発明を実施するための形態】
【００２５】
以下、本発明の実施形態について説明する。
【００２６】
以下では先ず、本実施形態での処理の概要を説明する。
【００２７】
図１は、被計測空間をカメラで撮影している様子を示す模式図である。
【００２８】
ここには、被計測空間１０に３人の人物１１，１２，１３が存在し、自由に移動している。この被計測空間１０は、例えばある１つの店舗内である。また、ここには、この被計測空間１０を斜めに見下す位置にカメラ２０が設置されている。このカメラ２０は、この被計測空間１０を撮影して所定のフレームレートの動画像を表わす画像データを生成するカメラである。この被計測空間１０に存在する３人の人物１１，１２，１３は、カメラ２０により撮影され、そのカメラ２０での撮影により得られた画像データに基づいて、各人物１１，１２，１３の頭部１１ａ，１２ａ，１３ａが写し込まれている、撮影画像上の領域が抽出される。ここではこれを、頭部が検出される、と称する。カメラ２０による動画像上での３人の人物１１，１２，１３の位置は刻々と変化し、この被計測空間１０内に新たな人物が入り込んだり、あるいはこの被計測空間１０内に居た人物がこの被計測空間１０外に立ち去ることもある。
【００２９】
ここでは、このような環境下で、カメラ２０での撮影により得られた画像データに基づいて、人物の頭部の検出、人物の特徴量の算出、特徴量どうしの関連度の算出、等が行なわれ、さらに異なるフレーム画像内に検出された頭部が同一人物に属する頭部であるか否かの判別が行なわれて、被計測空間１０内の各人物の動きが追跡される。
【００３０】
図２は、カメラでの撮影により得られた動画像を構成する複数のフレーム画像を示す図である。ここには、…，ｔ−４，ｔ−３，ｔ−２，ｔ−１，ｔ，…の各時刻に撮影されたフレーム画像が、それぞれ細長い縦枠で模式的に示されている。
【００３１】
尚、ここに示す各フレーム画像は、カメラ２０のフレームレートに従ったフレーム画像であってもよく、あるいは、ここでの人物追跡の目的、演算処理量、必要な精度等に応じて、フレームレートに従ったフレーム画像を間引いたものであってもよい、例えば、カメラ２０が１秒あたり３０枚のフレーム画像を生成するカメラである場合において、図２に縦枠で示すフレーム画像は、９枚おきのフレーム画像、すなわち、１秒あたり３枚のフレーム画像にまで間引いたものであってもよい。
【００３２】
図３は、各フレーム画像上に検出された頭部を丸印で模式的に示した図である。
【００３３】
例えばｔ−４の時刻のフレーム画像上には頭部が４つ検出され、ｔ−３の時刻のフレーム画像上には頭部が５つ検出されている。他のフレーム画像についても同様である。
【００３４】
図４は、各頭部が持つ人物の特徴量を示す図である。特徴量の求め方については後述する。
【００３５】
頭部を表わす各丸印内の模様は、求められた特徴量を模式的に示しており、同一の模様は互いに近似した特徴量が求められたことを示している。
【００３６】
図５は、近似した特徴量による頭部どうしの対応づけを示した図である。
【００３７】
ここでは、例えばｔ−４のフレーム画像上の頭部ａ１の特徴量と、ｔ−３のフレーム画像上の各頭部ｂ１，ｂ２，ｂ３，ｂ４，ｂ５の各特徴量との間で、特徴量どうしの一致の程度を表わす各関連度が求められ、それらの関連度に基づいて、頭部ｂ１，ｂ２，ｂ３，ｂ４，ｂ５の各人物のうちのどの人物が頭部ａ１の人物と同一の人物であるかが判別され、同一人物であると判別された頭部どうしが対応づけられる。
【００３８】
ここで頭部ｂ１，ｂ２，…，ｂ５のうちの頭部ａ１に対応づけられる頭部は、各２つの頭部のペアａ１−ｂ１，ａ１−ｂ２，ａ１−ｂ３，ａ１−ｂ４，ａ１−ｂ５に関する５つの関連度のうちの、特徴量どうしの一致の程度が最高の関連度を持つ頭部である。さらに、最高の関連度であるだけでは不充分であり、一致の程度がある第１の閾値を越えている必要がある。なぜなら、ｔ−３のフレーム画像上に頭部が１つしか検出されない場合、頭部ａ１とｔ−３のフレーム画像上に検出された１つの頭部との関連度が最高ということになるが、ｔ−３のフレーム画像上に検出された１つの頭部はノイズを頭部と誤検出したものである可能性もあるからである。
【００３９】
ここでは、ｔ−３のフレーム画像上の５つの頭部ｂ１，ｂ２，…，ｂ５のうちの頭部ｂ２が上記の条件を満足し、頭部ａ１と対応づけられている。他の頭部どうしの対応づけも同様である。
【００４０】
図６は、前後分断対応づけ処理の概念図である。
【００４１】
図５を参照して説明したようにして、頭部ａ２と頭部ｂ３とが対応づけられ、かつ頭部ｄ３と頭部ｅ３が対応づけられたものとする。ただしｔ−２のフレーム画像上には、ａ２−ｂ３，ｄ３−ｅ３のいずれにも対応づけられる頭部は検出されていない。このような状況下では、頭部ａ２に関する特徴量と頭部ｂ３に関する特徴量との平均的な第１の特徴量が算出され、これと同様に頭部ｄ３に関する特徴量と頭部ｅ３に関する特徴量との平均的な第２の平均特徴量が算出され、第１の平均特徴量と第２の平均特徴量との間の関連度が算出され、その関連度がある第３の閾値以上である場合に頭部ａ２−ｂ３と頭部ｄ３−ｅ３が、同一人物に属する頭部であると判定され、ｔ−２のフレーム画像上の、頭部ａ２−ｂ３，頭部ｄ３―ｅ３を滑らかに結ぶ線分上にその同一人物に属する頭部ｃ３が存在するものとして頭部ｃ３が追加される。
【００４２】
ここで、第３の閾値は、上記の第１の閾値と同じである必要はなく、この状況にふさわしい閾値が定められている。
【００４３】
尚、平均特徴量を求めるにあたって前後いくつずつのフレーム画像についての特徴量の平均的な値を求めるか、又は、いくつ連続するフレーム画像まで欠けていた頭部を修復するかは、特に限定されるものではなく、人物追跡の目的や必要な精度等に応じて決められるものである。
【００４４】
図７は、前後分断対応づけ処理の処理結果を示す概念図である。
【００４５】
ここでは、図６を参照して説明した処理によりｔ−２のフレーム画像上に頭部ｃ３が存在することが追加され、その頭部ｃ３がその前後のフレーム画像上の頭部ａ２−ｂ３，ｄ３−ｅ３と同一人物に属する頭部であることの対応づけがなされている。ただし、頭部ｂ５，ｄ５，ｅ１については、他の頭部と対応づけられることなく、単独で存在している。また、頭部ｂ１−ｃ１−ｄ１は、ｔ−３，ｔ−２，ｔ−１の３枚のフレーム画像でのみ対応づけられていて、その前後のフレーム画像には対応づけられていない。ここでは、このような単独に存在する頭部や、連続する一部のフレーム画像にのみ対応づけられている頭部は何らかのノイズ等による誤検出とみなして削除する。
【００４６】
図８は、最終的に得られた各フレーム画像上の頭部とそれらの頭部どうしの対応づけを示す図である。
【００４７】
ここでは、この図に示すように３人の人物の動きが正確に追跡されている。
【００４８】
以上の概要を踏まえ、本発明の実施形態についてさらに説明する。
【００４９】
図９は、本発明の一実施形態が組み込まれた監視カメラシステムの概略構成図である。
【００５０】
図９に示す監視カメラシステム１の概略構成図には、監視カメラ２０と、本発明にいう人物追跡装置の一実施形態として動作するパーソナルコンピュータ３０とが示されている。
【００５１】
監視カメラ２０は、例えばある店舗内を見下すように設置されたものであって、店内の様子を撮影するものである。この監視カメラ２０は、パーソナルコンピュータ３０に接続されており、動画像を表す画像データをパーソナルコンピュータ３０に向けて送信する。尚、以下では、データ上の画像も単に「画像」と称する。
【００５２】
パーソナルコンピュータ３０は、監視カメラ２０から送信されてきた動画像を受け取る。
【００５３】
監視カメラ２０は本発明の主題ではないため詳細な説明を省略し、以下では、本発明の一実施形態の頭部検出装置として動作するパーソナルコンピュータ３０についてさらに説明する。
【００５４】
図１０は、図９に１つのブロックで示すパーソナルコンピュータ３０の外観斜視図、図１１は、そのパーソナルコンピュータ３０のハードウエア構成図である。
【００５５】
ここでは、このパーソナルコンピュータ３０のハードウエアおよびＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）と、このパーソナルコンピュータ３０にインストールされて実行される人物追跡プログラムとにより、本発明の一実施形態としての人物追跡装置が構成されている。
【００５６】
このパーソナルコンピュータ３０は、外観構成上、本体装置３１、その本体装置３１からの指示に応じて表示画面３２ａ上に画像を表示する画像表示装置３２、本体装置３１に、キー操作に応じた各種の情報を入力するキーボード３３、および、表示画面３２ａ上の任意の位置を指定することにより、その指定時にその位置に表示されていた、例えばアイコン等に応じた指示を入力するマウス３４を備えている。この本体装置３１は、外観上、光磁気ディスク（ＭＯ）を装填するためのＭＯ装填口３１ａ、およびＣＤやＤＶＤを装填するためのＣＤ／ＤＶＤ装填口３１ｂを有する。
【００５７】
本体装置３１の内部には、図１１に示すように、各種プログラムを実行するＣＰＵ３０１、ハードディスク装置３０３に格納されたプログラムが読み出されＣＰＵ３０１での実行のために展開される主メモリ３０２、各種プログラムやデータ等が保存されたハードディスク装置３０３、ＭＯ３３１が装填されてその装填されたＭＯ３３１をアクセスするＭＯドライブ３０４、ＣＤやＤＶＤ（ここでは区別せずにＣＤ／ＤＶＤと称する）が装填され、その装填されたＣＤ／ＤＶＤ３３２をアクセスするＣＤ／ＤＶＤドライブ３０５、および監視カメラ２０での撮影により得られた画像データを受信するインターフェース３０６が内蔵されている。これらの各種要素と、さらに図２にも示す画像表示装置３２、キーボード３３、およびマウス３４は、バス３０７を介して相互に接続されている。
【００５８】
ここで、ＣＤ／ＤＶＤ３３２には、このパーソナルコンピュータを人物追跡装置として動作させるための人物追跡プログラムが記憶されており、そのＣＤ／ＤＶＤ３３２は、ＣＤ／ＤＶＤドライブ３０５に装填され、そのＣＤ／ＤＶＤ３３２に記憶された人物追跡プログラムがこのパーソナルコンピュータ３０にアップロードされてハードディスク３０３に格納される。このハードディスク装置３０３に格納された人物追跡プログラムは、このハードディスク装置３０３から読み出され主メモリ３０２上に展開されてＣＰＵ３０１で実行されることにより、このパーソナルコンピュータ３０が人物追跡装置として動作する。
【００５９】
また、ハードディスク装置３０３には、人物追跡プログラムの他にも、カメラ２０による撮影画像に写し込まれた人物頭部の寸法と操作画像上の高さ位置との間の、統計的に平均的な対応関係を算出する処理を実行するためのプログラムや、画像表示装置３２の表示画面３２ａの上に画像を表示し、オペレータの操作に応じて、その画像を縦横独立に変倍したり回転したり一部を切り出したりなど、その画像に様々な画像処理を施すための画像処理プログラムや、後述するような機械学習を行なってフィルタを抽出するためプログラムなど、後述する処理を実現するための各種の支援プログラムも格納されている。
【００６０】
図１２は、図９〜図１１に示すパーソナルコンピュータ３０を利用して実施される人物追跡方法の一例を示すフローチャートである。
【００６１】
この人物追跡方法は、頭部検出ステップ（Ｓ０１）、特徴量算出ステップ（Ｓ０２）、関連度算出ステップ（Ｓ０３）、同一人物判別ステップ（Ｓ０４）、および断片削除ステップ（Ｓ０６）を有し、さらに同一人物判別ステップ（Ｓ０４）と断片削除ステップ（Ｓ０６）との間には、前述の図６を参照して説明した処理を実行する状況にあるか否かを判定する判定ステップ（Ｓ０５）が置かれている。各ステップの詳細説明は後に譲る。
【００６２】
図１３は、人物追跡装置の一例を示すブロック図である。この人物追跡装置４０は、図９〜図１１に示すパーソナルコンピュータ３０内にアップロードされた人物追跡プログラムがパーソナルコンピュータ３０内で実行されることによりそのパーソナルコンピュータ３０内に実現されるアルゴリズムであり、頭部検出部４１、特徴量算出部４２、関連度算出部４３、同一人物判別部４４、および断片削除部４５を有する。
【００６３】
図１２に示す人物追跡方法との対比では、頭部検出部４１、特徴量算出部４２、関連度算出部４３、同一人物判別部４４、および断片削除部４５が、それぞれ、図１２に示す頭部検出ステップ（Ｓ０１）、特徴量算出ステップ（Ｓ０２）、関連度算出ステップ（Ｓ０３）、同一人物判別ステップ（Ｓ０４）、および断片削除ステップ（Ｓ０６）に相当し、制御部４６が、判定ステップ（Ｓ０５）に相当する。
【００６４】
尚、パーソナルコンピュータ３０内で人物追跡プログラムが実行されたときの人物追跡プログラムの作用は、図１３に示す人物追跡装置４０の作用と同一であり、ここでは人物追跡プログラムを取り上げての図示および説明は省略する。
【００６５】
以下では、図１３に示す人物追跡装置４０の各部の作用について概括的に説明する。この説明により人物追跡プログラムおよび図１２に示す人物追跡方法の各ステップの説明を兼ねるものとする。
【００６６】
図１３に示す人物追跡装置４０を構成する頭部検出部４１は、被計測空間をカメラで撮影することにより生成された所定のフレームレートの動画像を表わす画像データに基づいて、その動画像を構成する複数のフレーム画像のうちの複数の計測対象フレーム画像それぞれについて、各計測フレーム画像上の頭部を検出する役割りを担っている。ここでは、頭部の、計測対象フレーム画像上の二次元的な位置と、その頭部の縦横の寸法が検出される。ここで用いているカメラは、図１に示すように、被計測空間を斜めに見下す位置に設置されてその被計測空間を撮影するカメラである。ここでは、「フレーム画像」と「計測対象フレーム画像」とを分けた概念として説明しているが、前述した通り、計測対象フレーム画像はカメラでの撮影で得られた動画像を構成するフレーム画像そのものであってもよく、そのフレーム画像を、例えば３枚おき、１０枚おき、３０枚おき、等に間引いたものであってもよい。以下では、これらを区別せずに単に「フレーム画像」と称することがある。頭部検出部４１における頭部検出処理の詳細説明は後に譲る。
【００６７】
また、特徴量算出部４２では、上記の画像データに基づいて、フレーム画像上に頭部が検出された人物を特徴づける特徴量が、各フレーム画像ごとおよび各頭部ごとに算出される。
【００６８】
また、関連度算出部４３では、過去のフレーム画像上に頭部が検出された各人物の過去のフレーム画像上の各特徴量と、今回のフレーム画像上に頭部が検出された各人物の今回のフレーム画像上の各特徴量との間の、特徴量どうしの一致の程度を表わす関連度が算出される。ここで、関連度算出のための「過去のフレーム画像」としては、典型的には、「今回フレーム画像」の「直近の」「過去のフレーム画像」が採用される。但し、「過去のフレーム画像」として、同一人物の頭部であることが判明している場合には、複数の過去のフレーム画像から求めた平均的な特徴量を採用してもよい。
【００６９】
また、同一人物判別部４４では、今回のフレーム画像上に検出された頭部のうちの、過去のフレーム画像上に検出された頭部のうちの第１の頭部を持つ人物の過去のフレーム画像上の特徴量と今回のフレーム画像上に検出された各頭部を持つ各人物の今回のフレーム画像上の各特徴量との間の各関連度のうちの第１の閾値以上の一致の程度を表わす関連度であってかつ最大の一致の程度を表わす関連度の算出の基になった頭部が、上記の第１の頭部を持つ人物と同一の人物の頭部である旨、判別される。
【００７０】
２つの頭部が同一人物の頭部であると判別するにあたっては、前述したように、ノイズ除去等のために、関連度はある閾値（ここでは第１の閾値と表現している）以上の一致の程度を表わしている必要があり、かつ、今回のフレーム画像内に複数の頭部が検出された場合などには、最高の関連度である必要がある。
【００７１】
また、断片削除部４５では、１つ又は第４の閾値以下の数だけ連続する複数のフレーム画像にのみ第３の人物の頭部が検出され前後のフレーム画像にはその頭部に対応する第３の人物の頭部が検出されない場合に、その頭部が、検出された頭部から削除される。これにより、誤検出された頭部が削除されることになる。尚、ここでは、明細書全体での統一を図るため、ここでの閾値を「第４の閾値」と称している。第４の閾値をどのように設定するかは、本実施形態に沿った人物追跡装置の実際の設計時に、その人物追跡装置の用途等に応じて適宜定められる。
【００７２】
さらに、制御部４６は、各部の制御を担うほか、「連続する複数の第１のフレーム画像に亘って互いに同一の第１の人物に属することが判別された頭部が検出され、その第１の人物に属する頭部が途中の１つ又は第２の閾値以下の数だけ連続する複数のフレーム画像では途切れ、その後、連続する複数の第２のフレーム画像に亘って同一の第２の人物に属することが判別された頭部が検出される」という条件を満足したか否かを判定する。そしてこの制御部４６は、この条件を満足したと判定した場合に、特徴量算出部４２、関連度算出部４３、および同一人物判別部４４に、それぞれ以下の処理を実行させる。
【００７３】
すなわち、上記の条件を満足した場合、特徴量算出部４２は、上記の複数の第１のフレーム画像における第１の人物の平均的な第１の平均特徴量と、上記複数の第２のフレーム画像における第２の人物の平均的な第２の平均特徴量とを算出する。また、関連度算出部４３は、上記の第１の平均特徴量と上記の第２の平均特徴量との間の関連度を算出する。さらに、同一人物判別部４４は、上記の第１の平均特徴量と上記の第２の平均特徴量との間の関連度が第３の閾値以上の一致の程度を表わす関連度である場合に、上記第１の人物と上記第２の人物が同一人物である旨、判別する。
【００７４】
制御部４６は、この判別結果を受けて、対応する頭部が欠落していたフレーム画像上のその頭部の前後の動きに適合する位置に頭部が存在するものとして取扱うよう各部を制御する。こうすることにより、頭部の検出漏れ等があっても回復することができる。
【００７５】
また制御部４６には、記憶部４６１が含まれており、この記憶部４６１には、この人物追跡装置４０を動作させるための準備段階で取得した各種データが記憶されている。詳細は後述する。
【００７６】
図１４は、本実施形態で採用している特徴量一覧を示す図である。
【００７７】
図１３に示す特徴量算出部４２では、フレーム画像上に頭部が検出された人物を特徴づける特徴量が算出されるが、本実施形態では、この特徴量算出部４２で算出される特徴量として、「アピアランス特徴量」と「運動特徴量」とを採用している。「アピアランス特徴量」は、１枚１枚のフレーム画像上の特徴を表わすものであり、ここでは、「アピアランス特徴量」として、「頭部ヒストグラム」と「胴体ヒストグラム」を採用している。以下、「頭部ヒストグラム」と「胴体ヒストグラム」および「運動特徴量」について順に説明する。
【００７８】
図１５は、「頭部」および「胴体」の説明図である。
【００７９】
前術したように、図１３に示す人物追跡装置４０の頭部検出部４１では、フレーム画像上の頭部の二次元的な位置と、その頭部の寸法が検出される。
【００８０】
そこで、特徴量算出部４２では、頭部検出部４１で検出した頭部の位置および寸法から頭部の領域が設定される。ここでは、図１５に示すように、頭部として幅ｗ×高さｈの領域が設定されたものとする。
【００８１】
次に、頭部領域の下端からさらに頭部の高さ寸法ｈの１／３だけ下がった点を上端とし、頭部と上下に並び、かつ頭部と同じ寸法ｗ×ｈの領域を胴体の領域として設定する。次いで、その頭部の領域内の多数の画素値のヒストグラムからなる「頭部ヒストグラム」および「胴体の領域内の多数の画素の画素値のヒストグラムからなる「胴体ヒストグラム」が算出される。
【００８２】
各画素の画素値は、Ｒ，Ｇ，Ｂからなる３原色の画素値の組合せで構成されており、ここではヒストグラムの算出に先立って、カメラ２０（図１参照）により撮影される被計測空間１０の照明変化に起因する影響を低減するために、下記の（１）式に基づいて正規化ｒｇｂが求められる。
【００８３】
【数１】
【００８４】
ここで、Ｒ，Ｇ，Ｂは、その画素の、Ｒ，Ｇ，Ｂの各色の画素値である。
【００８５】
次に、正規化ｒｇｂを使って、Ｒ，Ｇ，Ｂの各色ごとにヒストグラムが作成される。
【００８６】
図１６は、ヒストグラムの概念図である。
【００８７】
この図１６は、Ｒ，Ｇ，Ｂの３色のうちの１色、および頭部領域と胴体領域のうちの一方のヒストグラムを代表的に示したものである。ここでは、頭部領域のＲのヒストグラムとして説明する。
【００８８】
この図１６の横軸のｍ（ｍ＝１，２，…，Ｍ）は、Ｒ色の、（１）式で規格化された値ｒをさらに量子化した値を示している。例えばｒは、０〜２５５の範囲内の値であり、０〜７をｍ＝１，８〜１６をｍ＝２，……，２４６〜２５５をｍ＝Ｍとしたものである。縦軸は、各ｍの値の出現数（頻度）ｑを示したものである。ここでは、値ｍの出現数ｑをｑｍと表記する。
【００８９】
ここでは、頭部領域と胴体領域のそれぞれについて、かつＲ，Ｇ，Ｂの３色それぞれについて、特徴量としてのヒストグラムが算出される。
【００９０】
次に運動特徴量について説明する。
【００９１】
図１７は、被計測空間の一例である、ある店舗内の様子を撮影した画像（Ａ）と、頭部の寸法の分布（Ｂ）を示した図である。
【００９２】
図１７（Ａ）に示す店舗には、斜め上から店舗内を見下す位置にカメラが設置されており（図１参照）、そのカメラで、店舗内の、時々刻々変化する人の動きが撮影される。図１７（Ａ）はそのうちのひと駒の撮影画像である。この撮影画像上に写し出されている人物の頭部は、円形にハッチングを付して示してある。
【００９３】
店舗内を斜め上から撮影すると、図１７（Ａ）に示すように、カメラに近い場所に居る人物は撮影画像上の下側に、頭部が大きく写し出される。一方、カメラから離れた場所に居る人物は撮影画像上の上側に、頭部が小さく写し出される。
【００９４】
図１７（Ｂ）には、この設置されたカメラで店舗内の多数の場面を撮影して得られた、頭部寸法と撮影画像内の高さ位置との関係が示されている。この図１７（Ｂ）に示すように、統計的に、寸法の大きな頭部は、撮影画像内の下側に写し出され、寸法の小さな頭部は撮影画像内の上側に写し出される。
【００９５】
ここでは、図１７（Ｂ）に示すように頭部の寸法分布を調査し、その寸法分布を直線で近似し、図中に示すように、近似直線
【００９６】
【数２】
【００９７】
の傾きＫおよびＹ切片Ｄを算出しておく。
【００９８】
人物が店舗内で、ある一定距離（例えば１．０ｍ）移動したとき、撮影画像内のカメラに近い位置に居る人物は撮影画像上では大きく移動し、カメラから離れた位置に居る人物は同じ１．０ｍ移動しても撮影画像上の移動距離は小さい。そこで、ここでは、頭部の寸法の統計量（（２）式）に基づいて、撮影画像上の移動方向および距離と店舗内での実際の移動方向および距離を対応づけている。
【００９９】
ここで、後述する頭部検出処理では、人物の頭部を囲う短形の撮影画像上の位置と、その短形の縦と横の寸法が検出される。この図１７（Ｂ）に示す横軸の「Ｓｉｚｅ」は、その短形の面積、縦軸はその短形の中心点の撮影画像上の高さ位置を示している。ただし、その短形に内接する円（又は楕円）の面積を「Ｓｉｚｅ」としてもよく、あるいは、その短形の縦寸法あるいは横寸法を「Ｓｉｚｅ」としてもよい。また、縦軸の高さ位置Ｙも、その短形の中心点に限らず、その短形の１つの角など、その短形の撮影画像上の位置を代表する点であればよい。
【０１００】
カメラの設置高さ、撮影光軸の方向、撮影レンズの焦点距離等の各種の情報が入手できれば、撮影画像上の位置と店舗内の実際の位置との対応関係を計算することは可能であるが、そのためには、店舗等の被計測空間ごとにカメラの設置高さや撮影方向等を正確に測定して入力する必要があり、カメラを設置するユーザ側に作業負担を強いることとなり、また、正確な測定値が入力される保証もない。そこで、ここでは、上記の通り、撮影画像上の頭部寸法と撮影画像上の高さとの統計的な関係（（２）式）を求めて、それを利用することとしたものである。
【０１０１】
この統計的な関係の求め方は、特に限定されるものではないが、例えば後述する頭部検出処理を使えば、カメラ設置後自動的に求めることができる。また、カメラの設置高さや撮影の向きが変更されたときは、自動的に求め直すことができる。また、一旦求めた後も、頭部のデータ数を増やして精度を更に高めていくことも可能である。
【０１０２】
本実施形態では、上記の（２）式（図１７（Ｂ）参照）を算出しておき、さらに以下の演算式に基づいて運動特徴量が算出される。
【０１０３】
図１８は、撮影画像上の頭部の動き（図１８（Ａ））と、頭部寸法（Ｓｉｚｅ）と画像高さ（Ｙ）との間の近似直線（図１８（Ｂ））とを示す図である。
【０１０４】
ここでは、時刻ｔ−１と時刻ｔとの間の人物頭部の移動をそのまま継続して時刻ｔ＋１に至るものと一旦仮定し、時刻ｔ＋１の時点の撮影画像上の頭部位置を予測する。時刻ｔ−１，ｔにそれぞれ得られた各フレーム画像上の頭部の寸法を、それぞれＳｉｚｅ（ｔ−１），Ｓｉｚｅ（ｔ）としたとき、時刻ｔ＋１に得られるフレーム画像上の頭部の寸法Ｓｉｚｅ（ｔ＋１）を、下記の（３）式に基づいて近似する。
【０１０５】
【数３】
【０１０６】
次に、撮影画像上での時刻ｔ＋１における頭部の位置を、水平方向の位置Ｘ（ｔ＋１）と垂直方向の位置Ｙ（ｔ＋１）とに分けて算出する。時刻ｔ＋１における水平方向の位置Ｘ（ｔ＋１）は、時刻ｔ−１と時刻ｔの各フレーム画像上に検出された頭部の水平方向の位置Ｘ（ｔ−１），Ｘ（ｔ）と頭部のサイズＳｉｚｅ（ｔ−１），Ｓｉｚｅ（ｔ）を用い、以下の（４）式により求められる。
【０１０７】
【数４】
【０１０８】
ここで、図１８（Ａ）に示すように、Ｓｉｚｅ（ａ）は、時刻ｔ−１の頭部サイズＳｉｚｅ（ｔ−１）と時刻ｔの頭部サイズＳｉｚｅ（ｔ）との間の中間の頭部サイズであり、Ｓｉｚｅ（ｂ）は、時刻ｔの頭部サイズＳｉｚｅ（ｔ）と（３）式で算出された時刻ｔ＋１の頭部サイズＳｉｚｅ（ｔ＋１）との中間の頭部サイズである。
【０１０９】
【数５】
【０１１０】
【数６】
【０１１１】
また、時刻ｔ＋１における垂直方向の位置は、（２）式，（３）式を用い、以下の（７）式で求められる。
【０１１２】
【数７】
【０１１３】
次に、時刻ｔと時刻ｔ＋１との間における頭部の移動方向から画面上の移動角度Ｄが下記（８）式で求められる。
【０１１４】
【数８】
【０１１５】
この移動角度Ｄは、撮影画像上の人物が実際の店舗内で時刻ｔ−１と時刻ｔとの間の移動をそのまま時刻ｔ＋１まで継続したとき、すなわち等速直線運動のときの撮影画像上での移動方向を示している。前述した通り、撮影画像内の下側に写っている人物は例えば１．０ｍ移動したとき撮影画像上で大きく移動し、撮影画像内の上側に写っている人物は同じ１．０ｍ移動しても撮影画像上では小さくしか移動しない。したがって、（８）式によって求めた、移動方向は、等速直線運動を行なったときの店舗内での移動方向ではなく、撮影画像上の移動方向である。
【０１１６】
ここで、店舗を真上から眺めたトップビューについて考える。ここでは、このトップビューにおける、下記（９）式を考慮する。
【０１１７】
【数９】
【０１１８】
ここで、‘Ａｎｇｌｅ’は、等速直線運動を仮定したときの移動方向との成す角度であり、Ｄｉｓｔ（Ａｎｇｌｅ）は、時刻ｔにおける頭部位置を原点としたときの角度Ａｎｇｌｅの方向の原点からの距離である。ここでは、このＤｉｓｔ（Ａｎｇｌｅ）をＡｎｇｌｅ方向の「均等移動距離」と称する。また、Ｄｉｓｔ（ｔ−１，ｔ）は、下記（１０）式で算出される、時刻ｔ−１と時刻ｔとの間における頭部の移動距離である。また、ｓｉｇｎ｛ｃｏｓ（Ａｎｇｌｅ）｝は、ｃｏｓ（Ａｎｇｌｅ）が正又は０のときに＋１、負のときに−１の値を取る関数である。また、α，Ａ，Ｂ，Ｃは各定数であり、例えばα=１．２５，Ａ＝３，Ｂ＝２，Ｃ＝２を採用することができる。
【０１１９】
【数１０】
【０１２０】
ここで、均等移動距離は、時刻ｔ−１と時刻ｔとの間での移動方向および移動距離から算出された、時刻ｔ＋１の時点での移動推定範囲をあらわしている。この移動推定範囲は、そのまま等速直線運動を続ける場合、同一方向に移動速度を少し速めた場合、移動方向を左右に変更した場合、急に立ち止まったり、あるいは急に逆方向に移動した場合などを含む範囲である。
【０１２１】
図１９は、トップビューにおける、水平方向（Ｘ方向）に移動したときの（９）式に従って描いた曲線と、後述する‘拉げ方’を分かり易く示すための円を描いた図である。また図２０は、垂直方向（Ｙ方向）に移動したときの同様の図である。
【０１２２】
図１９，図２０に示したｔ，ｔ＋１のポイントは、等速直線運動のときの、それぞれ時刻ｔ，ｔ＋１における頭部位置、‘Ａｎｇｌｅ’は、（９）式に示す、等速直線運動の進行方向との成す角度である。また、時刻ｔの頭部位置から‘Ａｎｇｌｅ’の方向に（９）式で算出されるＤｉｓｔ（Ａｎｇｌｅ）（均等移動距離）だけ進んだ点の座標を（Ｘ１，Ｙ１）とする。
【０１２３】
次に、（１１）式に基づいて、撮影画像上の均等移動距離、すなわち正規化された均等移動距離、ｎｏｒｍＤｉｓｔ（Ａｎｇｌｅ）を求める。
【０１２４】
【数１１】
【０１２５】
ここで、Ｄｉｓｔ（Ａｎｇｌｅ）は、（９）式で求められる値である。またＳｉｚｅ（Ｙ１）は、トップビューのときの、図１９，図２０に示す、原点からＡｎｇｌｅ方向に均等移動距離Ｄｉｓｔ（Ａｎｇｌｅ）だけ進んだ点（Ｘ１，Ｙ１）の高さ方向（Ｙ方向）の座標位置における、（２）式から算出される頭部のサイズである。さらに、Ｓｉｚｅ（ｔ）は時刻ｔにおける頭部のサイズである。
【０１２６】
図２１は、Ｘ方向に等速直線運動をしたときの（１１）式で算出される正規化された均等移動距離ｎｏｒｍＤｉｓｔ（Ａｎｇｌｅ）を示す曲線と、トップビューでの円形（図１９参照）を、（１１）式に倣って変形した曲線を示した図である。また、図２２は、Ｙ方向に等速直線運動をしたときの、（１１）式で算出される正規化された均等移動距離ｎｏｒｍＤｉｓｔ（Ａｎｇｌｅ）を示す曲線と、トップビューでの円形（図２０参照）を（１１）式に倣って変形した曲線を示す図である。
【０１２７】
撮影画像上では、トップビューでの均等移動距離や円形は、撮影画像上に写像すると、図２１，図２２のように‘拉げた’形状の曲線となる。
【０１２８】
尚、ここでは、横方向（Ｘ方向）と縦方向（Ｙ方向）に等速直線移動する場合を例に挙げて説明したが、実際には、ＸとＹの二次元平面内の任意の方向への等速直線運動が考慮される。
【０１２９】
図２３は、時刻ｔ＋１のフレーム画像上に検出された頭部と正規化された（図２１のように撮影画像上に写像された）均等移動距離を繋いだ曲線を示した図である。
【０１３０】
時刻ｔ＋１のフレーム画像上には、３つの頭部Ａ，Ｂ，Ｃが検出されたものとする。ここでは、これら３つの頭部Ａ，Ｂ，Ｃのそれぞれについて、時刻ｔのフレーム画像上の頭部（図２３に‘ｔ’の文字を付した原点にある頭部）との結びつきの強さを求めるために、下記の（１２）式に従って比率を算出する。ここでは、例示的に頭部Ａを取り上げて説明する。頭部Ａについての比率ＲＡは、
【０１３１】
【数１２】
【０１３２】
となる。
【０１３３】
ここで、Ｄｉｓｔ（Ａ）は、原点（時刻ｔにおける頭部位置）と頭部Ａとの間の距離であり、ｎｏｒｍＤｉｓｔ（Ａｎｇｌｅ Ａ）は、原点から見た頭部Ａの方向（Ａｎｇｌｅ Ａ）の正規化均等移動距離である。
【０１３４】
尚、実際の演算にあたっては、図１９〜図２３に示す均等移動距離（又は正規化均等移動距離）を示す曲線を一周に渡って算出する必要はなく、時刻ｔ＋１のフレーム画像上で検出された頭部の方向（図２３に示す例では頭部Ａ，Ｂ，Ｃの３方向）についてのみ演算が行なわれる。
【０１３５】
図２４は、（１２）式で求められる比率Ｒと運動特徴量との関係を示す図である。この図２４に示す例では、比率ＲがＲ≦１（図２３に示す曲線の内側）のときは、運動特徴量は‘１’であり、Ｒ≧１．８のときはほとんど‘０’に近く、１＜Ｒ＜１．８の間は運動特徴量の値はＲの値が大きくなるにつれて徐々に低下している。
【０１３６】
ここでは、等速直線運動を前提にして均等移動距離や正規化均等移動距離を算出しているが、時刻ｔ−１と時刻ｔとの間で頭部が停止しているとき、あるいはある閾値以下しか移動していないときは、（９）式で算出される曲線に代えて、時刻ｔにおける頭部位置を中心とする円形の均等移動距離が採用される。これは、停止している頭部については、次の時刻ｔ＋１にどの方向へ進むか分らず、全方向を平等に取り扱うためである。追跡を開始すべき人物の頭部がフレーム画像上に最初に検出された場合も、その人物（頭部）の過去の動きが不明のため、円形の均等移動距離が採用される。ただし、円形の均等移動距離を採用した場合であっても、（１１）式で算出される正規化均等移動距離は円形にはならずに‘拉げた’曲線となる。
【０１３７】
以上で運動特徴量の算出方法の説明を終了する。
【０１３８】
本実施形態では、以上のようにして、頭部ヒストグラム、胴体ヒストグラム、および運動特徴量の３つの特徴量が求められる。
【０１３９】
図１３に示す人物追跡装置４０の特徴量算出部４２において、上記のようにして３つの特徴量が求められると、関連度算出部４３では、それら３つの特徴量を基に、時刻ｔのフレーム画像上の頭部ｉと、時刻ｔ＋１のフレーム画像上の頭部ｊとの間の、特徴量どうしの一致の程度を表わす関連度が求められる。
【０１４０】
頭部ｉのヒストグラムの各ヒストグラムビン（ｂｉｎ）ｍ（図１６の横軸の各区切りｍ，ｍ＝１，２，…，Ｍ）のそれぞれの出現数ｑ（縦軸）をｑｉｍとし、頭部ｊのヒストグラムの各ヒストグラムビンｍの出現数ｑをｑｊｍとすると、規格化された３色ｒ，ｇ，ｂの３色分のヒストグラムを用いて、
【０１４１】
【数１３】
【０１４２】
が算出される。
【０１４３】
ここで、Ｐｉｊ１の‘ｉｊ’は、時刻ｔのフレーム画像上のｉ番目の頭部と時刻ｔ＋１のフレーム画像上のｊ番目の頭部との間の演算であることを表わしており、‘１’は、頭部ヒストグラムと胴体ヒストグラムとを区別し、ここでは頭部ヒストグラムに関する演算であることを表わしている。したがってＰｉｊ１は、頭部ｉと頭部ｊとの間の、頭部ヒストグラム単独での関連度を表わしている。
【０１４４】
胴体ヒストグラムについても下記（１４）式に従って、頭部ｉの人物の胴体のヒストグラムと頭部ｊの人物の胴体のヒストグラムとの間の、胴体ヒストグラム単独での関連度を求める。
【０１４５】
【数１４】
【０１４６】
この（１４）式中のｑｉｍは、頭部ｉの人物の胴体のヒストグラムビンｍの出現数ｑであり、ｑｊｍは頭部ｊの人物の胴体ヒストグラムの出現数ｑである。
【０１４７】
また、ここでは、時刻ｔのフレーム画像上に検出された頭部のうちのｉ番目の頭部である頭部ｉと、時刻ｔ＋１のフレーム画像上に検出された頭部のうちのｊ番目の頭部である頭部ｊとの間の運動特徴量の値（図２４参照）を、Ｐｉｊ３と表記する。この運動特徴量は、時刻ｔのフレーム画像上の頭部ｉと時刻ｔ＋１のフレーム画像上の頭部ｊとの間の、運動に関する単独の関連度を表わしている。
【０１４８】
次に、下記の（１５）式に従って頭部ｉと頭部ｊとの間の総合の関連度Ｐｉｊを算出する。
【０１４９】
【数１５】
【０１５０】
ここで、Ｋは、単独の関連度の数であって、ここに示す例ではＫ＝３である。
【０１５１】
また、ＷＫは、各単独の関連度の重みを表わしている。重みＷＫは、被計測空間の性質等、すなわち、混雑が予想されるか否か、高速に移動可能か否か等に応じて決定される。
【０１５２】
時刻ｔのフレーム画像上の頭部ｉと、時刻ｔ＋１のフレーム画像上の全ての頭部ｊ＝１，２，３，…のそれぞれとについて（１５）式に従って関連度Ｐｉｊを算出する。図１３に示す同一人物判別部では、ｊ＝１，２，３，…のうちの最大の関連度Ｐｉｊを持つ頭部ｊを特定し、その特定した頭部ｊに関する関連度Ｐｉｊがあらかじめ定めておいたある閾値を越える値を有するときに、時刻ｔのフレーム画像上の頭部ｉと時刻ｔ＋１のフレーム画像上の頭部ｊが同一人物の頭部である旨、判別する。
【０１５３】
以上の処理が、時刻ｔのフレーム画像上の各頭部ｉ＝１，２，３，…のそれぞれについて繰り返され、時刻ｔのフレーム画像上の各頭部ｉ＝１，２，３，…と時刻ｔ＋１のフレーム画像上の各頭部ｊ＝１，２，３，…との間の同一人物の頭部どうしの対応づけが行なわれる。
【０１５４】
以上の処理が、…，ｔ−２，ｔ−１，ｔ，ｔ＋１，ｔ＋２，…の各時刻のフレーム画像について繰り返されることにより人物追跡が行なわれる。
【０１５５】
制御部４６の記憶部４６１には、図１７（Ｂ）に示す頭部サイズの分布や近似直線Ｙ＝Ｋ・Ｓｉｚｅ＋Ｄが格納されており、上記の演算中、関連度算出部４３で参照される。
【０１５６】
また、制御部４６では、あらかじめ定められた枚数の複数の第１のフレーム画像上に第１の人物の頭部が検出され、あらかじめ定められたある枚数以下のフレーム画像については、その人物の頭部が途切れ、それに続く、あらかじめ定められた複数の第２の複数のフレーム画像上に第２の人物の頭部が写っていたときは、特徴量算出部４２に、複数の第１のフレーム画像上の第１の人物についての平均的な特徴量（ここでは平均的な頭部ヒストグラムと平均的な胴体ヒストグラム）と、複数の第２のフレーム画像上の第２の人物についての平均的な特徴量（ここでは平均的な頭部ヒストグラムと平均的な胴体ヒストグラム）を算出させ、関連度算出部４３に、それらの平均的な特徴量どうしの関連度を求めさせ、同一人物判別部４４に、その関連度がある閾値を越えるか否かを判定させる。閾値を越えたときは、第１の人物と第２の人物は同一人物である旨判別され、頭部が途切れたフレーム画像上の、その前後のフレーム画像上の頭部位置と矛盾しない位置に頭部が存在するものとして、頭部のデータを追加する。
【０１５７】
また、断片削除部４５は、あらかじめ定められた枚数以下の連続するフレーム画像上にのみ出現し、前後のフレーム画像上にはあらわれない人物の頭部を削除する。
【０１５８】
こうすることにより、人物追跡の精度を向上させることができる。
【０１５９】
次に、頭部検出処理の一例を説明する。
【０１６０】
図２５は、図１２に１つのブロックで示す頭部検出ステップ（Ｓ０１）の詳細を含む頭部検出方法のフローチャートである。
【０１６１】
この図２５に示す頭部検出方法は、学習ステップＳ１０と、この学習ステップＳ１０を除いた他のステップＳ２１〜Ｓ２５の集合からなる検出ステップＳ２０とを有する。これら学習ステップＳ１０と検出ステップＳ２０とのうち、検出ステップＳ２０が、図１２に示す頭部検出ステップＳ０１に相当する。学習ステップＳ１０は検出ステップＳ２０のための準備のステップである。この学習ステップＳ１０では、厖大な数の画像を使っの機械学習（例えばＡｂａ Ｂｏｏｓｔｉｎｇのアルゴリズムを用いた学習）を行なって、検出ステップＳ２０での頭部検出対象の原画像に作用させる各種のフィルタを抽出するための処理が行なわれる。詳細は後述する。
【０１６２】
また、検出ステップＳ２０は、学習ステップＳ１０で抽出された各種のフィルタを使って、検出対象の原画像から人物頭部を自動検出するステップであり、画像群生成ステップＳ２１、輝度補正ステップＳ２２、差分画像作成ステップＳ２３、段階的検出ステップＳ２４、および領域統合ステップＳ２５から構成され、段階的検出ステップＳ２４は、さらに、一次評価値算出ステップＳ２４１、二次評価値算出ステップＳ２４２、および領域抽出ステップＳ２４３と、それらの各ステップＳ２４１，Ｓ２４２，Ｓ２４３の繰り返しが終了したか否かを判定する判定ステップＳ２４４とから構成されている。検出ステップＳ２０を構成する各ステップについても詳細説明は後に譲る。
【０１６３】
図２６は、図１３に１つのブロックで示す頭部検出部の詳細ブロック図である。
【０１６４】
この頭部検出部４１は、図９〜図１１に示すパーソナルコンピュータ３０内にアップロードされた人物追跡プログラムのプログラム部品の１つである頭部検出プログラムがパーソナルコンピュータ３０内で実行されることによりそのパーソナルコンピュータ３０内に実現されるアルゴリズムであり、画像群生成部１１０、輝度補正部１２０、差分画像作成部１３０、段階的検出部１４０、領域統合部１５０、フィルタ記憶部１６０、および領域抽出演算制御部１７０を有する。このうちの段階的検出部１４０は、さらに、一次評価値算出部１４１、二次評価値算出部１４２、および領域抽出部１４３から構成されている。
【０１６５】
図２５に示す頭部検出方法との対比では、図２６の頭部検出部４１の全体が図２５の頭部検出方法における検出ステップＳ２０に相当し、画像群生成部１１０が画像群生成ステップＳ２１に相当し、輝度補正部１２０が輝度補正ステップＳ２２に相当し、差分画像作成部１３０が差分画像作成ステップＳ２３に相当し、段階的検出部１４０と領域抽出演算制御部１７０とを合わせた構成が段階的検出ステップＳ２４に相当し、領域統合部１５０が領域統合ステップＳ２５に相当する。また、記憶部４６１は、学習ステップＳ１０で抽出された各種のフィルタ（後述する）を格納しておく、図１３，図２５にも示す記憶部４６１である。
【０１６６】
また、段階的検出部１４０を構成する一次評価値算出部１４１、二次評価値算出部１４２、および領域抽出部１４３は、それぞれ図２５に示す頭部検出方法のうちの段階的検出ステップＳ２４を構成する一次評価値算出ステップＳ２４１、二次評価値算出ステップＳ２４２、および領域抽出ステップＳ２４３に相当し、領域抽出演算制御部１７０は、段階的検出ステップＳ２４を構成する判定ステップＳ２４４に相当する。
【０１６７】
尚、パーソナルコンピュータ３０内で頭部検出プログラムが実行されたときの頭部検出プログラムの作用は、図２６に示す頭部検出装置の作用と同一であり、ここでは、頭部検出プログラムを取り上げての図示および説明は省略する。
【０１６８】
以下では、図２６に示す頭部検出部４１を構成する各部の作用について概括的に説明する。この説明により頭部検出プログラムおよび図２５に示す頭部検出方法の検出ステップＳ２０を構成する各ステップの説明を兼ねるものとする。その後、図２５に示す頭部検出方法の学習ステップＳ１０の具体的な詳細説明、および頭部検出部４１の具体的な詳細説明を行なう。
【０１６９】
図２６に示す頭部検出部４１では、二次元的に配列された画素で表現された画像から人物頭部が検出される。
【０１７０】
記憶部４６１には、図２５に示す頭部検出方法の学習ステップＳ１０で抽出された多数のフィルタが格納されている。これらのフィルタは、画像上の二次元的に広がる所定の広さの領域に作用し人物頭部の輪郭および内部のうちの互いに異なるいずれかの特徴量を算出するフィルタであり、これらのフィルタは、それらのフィルタそれぞれにより算出される各特徴量と人物頭部である確率を表わす一次評価値との対応関係に対応づけられて記憶部４６１に格納されている。さらにこれらのフィルタは、画像上の領域の広さに対応する画素数が縦横それぞれ１／２の比率で段階的に異なる、複数（ここでは画素数で３２×３２、１６×１６、および８×８）の広さの領域にそれぞれ作用する、１つの広さごとに複数のフィルタから構成されている。
【０１７１】
画像群生成部１１０では、入力されてきた原画像（フレーム画像）を構成する画素が縦横それぞれ１／２の比率で段階的に間引かれ、原画像と何枚かの間引画像とからなる画像群が生成される。さらに、この画像群生成部１１０では、１／２の比率で原画像を間引いて生成した画像群のほか、さらに、その原画像に補間演算を施すことにより、その原画像を含む画像群を構成する、その原画像を縦横１／２の比率で間引いて得られた間引画像（画素数は原画像の１／４（縦横それぞれ１／２））の画素数よりも多く、かつ原画像の画素数よりも少ない画素数の範囲内の補間画像が生成され、生成された補間画像について、その補間画像を構成する画素を上記の縦横１／２の比率で段階的に間引くことにより、その補間画像とその補間画像の画素を間引いて得られた間引画像とからなる新たな画像群が生成される。
【０１７２】
また、輝度補正部１２０は、画像上の１つの画素を注目画素としたとき、その注目画素を含むある領域内に存在する複数の画素の画素値（輝度値）の平均値と分散を用いてその注目画素の画素値（輝度値）を補正する輝度補正処理を、画像上の各画素をそれぞれ注目画素として画像全体に亘って行なうものである。この輝度補正処理は、画像群生成部１１０から受け取った画像群を構成する各画像それぞれについて行なわれる。
【０１７３】
この輝度補正部１２０における輝度補正処理は、画素によって輝度が大きくばらつく画像を頭部検出対象の画像とする場合に、頭部検出精度の向上に役立つものであり、本実施形態はこの輝度補正部１２０を備えているが、必ずしも必要な処理ではない。
【０１７４】
また差分画像作成部１３０は、図１に示す監視カメラ２０からの動画像を入力し、隣接するフレームの差分画像を作成して、その差分画像を、段階的検出部１３０に渡す役割りを担っている。
【０１７５】
ここで、段階的検出部１４０には、輝度補正部１２０で輝度補正された後の画像が直接に入力されるとともに、さらに、輝度補正部１２０で輝度補正された画像が差分画像作成部１３０に入力され、その差分画像作成部１３０で作成された差分画像も入力される。これは、頭部検出対象の画像として、１枚１枚の静止画像を利用するとともに、差分画像を利用することによって人物頭部の動きの情報も利用して、高精度な頭部検出を行なうためである。
【０１７６】
段階的検出部１４０では、先ず一次評価値算出部１４１により、頭部検出対象の画像上の各領域に複数のフィルタを作用させて複数の特徴量を算出し各フィルタに対応づけられている上述の対応関係（フィルタにより算出される特徴量と人物頭部である確率を表わす一次評価値との対応関係）に基づいて、各特徴量に対応する各一次評価値が求められる。次に、二次評価値算出部１４２により、一次評価値算出部１４１で求められた、複数のフィルタに対応する複数の一次評価値を、例えば加算、平均値算出等の演算を用いて総合することにより、その領域に人物頭部が存在する確率を表わす二次評価値が求められる。次いで領域抽出部１４３では、二次評価値算出部１４２で求められた二次評価値と閾値とが比較され、閾値を越えて人物頭部が存在する確率が高い領域が抽出される。図２６に示す頭部検出部４１では、領域抽出部１４３で領域が抽出されることをもって、人物頭部が検出されることになる。
【０１７７】
この段階的検出部１４０では、領域抽出演算制御部１７０のシーケンス制御を受けて、一次評価値算出部１４１、二次評価値算出部１４２、および領域抽出部１４３が繰り返し動作し、最終的に極めて高い確率で人物頭部が写し出された領域が抽出される。領域抽出演算制御部１７０は、段階的検出部１４０を構成する一次評価値算出部１４１、二次評価値算出部１４２、および領域抽出部１４３の動作を以下のように制御する。
【０１７８】
領域抽出演算制御部１７０は、先ず、一次評価値算出部１４１に、画像群生成部１１０により生成された画像群のうちの相対的に小さい第１の画像に記憶部１６０に記憶された多数のフィルタのうちの相対的に狭い領域に作用する複数の第１のフィルタを作用させて複数の特徴量を算出させ、前述した対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、二次評価値算出部１４２に、一次評価値算出部１４１で求められた、複数の第１のフィルタに対応する複数の一次評価値を総合させることにより、その領域に人物頭部が存在する確率を表わす二次評価値を求めさせ、領域抽出部１４３に、二次評価値算出部１４２で求められた二次評価値と第１の閾値とを比較させてその第１の閾値を越えて人物頭部が存在する確率が高い一次候補領域を抽出させる第１の抽出過程を実行させる。
【０１７９】
次に、再び一次評価値算出部１４１に、画像群生成部１１０により生成された画像群のうちの上記の第１の画像よりも画素数が一段階多い第２の画像の、一次候補領域に相当する領域にフィルタ記憶部１６０に記憶されたフィルタ群のうちの上記の複数の第１のフィルタよりも一段広い領域に作用する複数の第２のフィルタを作用させて複数の特徴量を算出させ、前述した対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、再び二次評価値算出部１４２に、一次評価値算出部１４１で求められた、複数の第２のフィルタに対応する複数の一次評価値を総合させることにより、当該一次候補領域に人物頭部が存在する確率を表わす二次評価値を求めさせ、再び領域抽出部１４３に、二次評価値算出部１４２で求められた二次評価値と第２の閾値とを比較させて第２の閾値を越えて人物頭部が存在する確率が高い二次候補領域を抽出させる第２の抽出過程を実行させる。
【０１８０】
領域抽出演算制御部１７０は、以上のような第１の抽出過程および第２の抽出過程を含む複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、一次評価値算出部１４１、二次評価値算出部１４２、および領域抽出部１４３に繰り返させる。
【０１８１】
図２６の頭部検出部４１は、この繰り返しにより領域抽出部１４３で最終的に領域が抽出されることにより人物頭部が高精度に検出される。
【０１８２】
ここで、前述したように、画像群生成部１１０では、補間演算と間引演算とにより１枚の原画像から複数の画像群が生成されるが、領域抽出演算制御部１７０は、画像群生成部１１０で生成された複数の画像群（差分画像作成部１３０では差分画像の画像群が作成されるが、この差分画像作成部１３０で作成された差分画像の画像群を含む）それぞれに関し、上記の複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、一次評価算出部１４１、二次評価算出部１４２、および領域抽出部１４３に繰り返させる。
【０１８３】
これにより、様々の寸法の人物頭部を検出することができる。
【０１８４】
ここで、領域抽出部１４３からは、例えば、画像上の人物の顔をほぼ中心に含む第１の領域と、同じ画像上の同じ人物の、髪を含んだ頭部をほぼ中心に含む、上記の第１の領域と比べると一部が重なり一部が外れた第２の領域との双方が人物頭部の領域として抽出されることがある。そこで、図２６の頭部検出装置１００は、領域統合部１５０を備え、このような場合に１つの領域に統合する処理を行なっている。具体的には、領域抽出部１４３で複数の領域が検出された場合におけるそれら複数の領域を、それら複数の領域どうしの重なりの程度に応じて、１つの領域に統合する。更なる詳細については後述する。
【０１８５】
次に、頭部検出処理に関する実施形態をさらに具体的に説明する。
【０１８６】
図２７は、図２５に示す頭部検出方法の学習ステップＳ１０の詳細フロー図である。
【０１８７】
この図２７は、上下２段に示されており、上段は差分をとる前の静止画像１枚１枚を取り扱うフローであり、下段は、差分画像を取り扱うフローである。
【０１８８】
ここでは先ず教師画像を作成するための多数の画像２００が用意される。これらの多数の画像２００は、多数枚の静止画像２０１と、差分画像作成のための動画像２０２からなる。動画像２０２の１枚１枚を静止画像２０１として利用してもよい。これらの画像２００は、頭部検出用の原画像の撮影を行なう監視カメラ２０（図１参照）での撮影により得ることが好ましいが、それに限られるものではなく、監視カメラ２０による撮影とは別に、人物が存在する様々なシーン、および人物が存在しない様々なシーンの画像を収集したものであってもよい。
【０１８９】
これらの画像２００には、アフィン（Ａｆｆｉｎｅ）変換処理２１０、多重解像度展開処理２２０、輝度補正処理２３０がこの順に施され、動画像２０２からは差分演算処理２４０により差分画像が生成され、その後、切出し処理２５０により教師画像２５１が生成される。この教師画像２５１は、１つのシーンにつき、３２×３２画素の教師画像と、１６×１６画素の教師画像と、８×８画素の教師画像とからなる教師画像群からなり、多数のシーンについてそれぞれ教師画像群が生成される。
【０１９０】
以下、先ず、ここまでの各処理について説明する。
【０１９１】
アフィン変換処理２１０は、極めて多数の画像を収集することに代えて、１枚の画像を少しずつ変形して多数枚の画像を生成し、これにより、教師画像の基になる画像の数を増やす処理である。ここでは、元々の１枚の画像を−１２°、−６°、０°、＋６°、＋１２°だけそれぞれ傾けた画像を作成し、さらに縦方向に１．２倍、１．０倍、０．８倍に伸縮した画像、さらに横方向に１．２倍、１．０倍、０．８倍に伸縮した画像を作成する。これらのうち、傾き０°、縦方向１．０倍、かつ横方向１．０倍の画像は元々の画像そのものである。これらの傾きや伸縮を組み合わせ、元々の１枚の画像から元々の１枚の画像を含め、５×３×３＝４５枚の画像が作成される。こうすることにより極めて多数の教師画像が作成され、高精度な学習が可能となる。
【０１９２】
次に多重解像度展開処理２２０について説明する。
【０１９３】
図２８は、多重解像度展開処理の説明図である。
【０１９４】
ここには、人物の頭部が写し出されており、既に教師画像のイメージとなっているが、図２７の多重解像度展開処理２２０では教師画像として切り出す前の画像全体について以下に説明する処理が行なわれる。
【０１９５】
すなわち、図２８（Ａ）に示す元の１枚の画像全体をＬ０とし、その画像Ｌ０から縦横それぞれ１つおきに画素を間引くことにより縦横それぞれ１／２（面積で１／４）に縮小された画像Ｌ１を作成し、これと同様に、画像Ｌ１から縦横それぞれ１つおきに画素を間引くことにより縦横それぞれについてさらに１／２（面積でさらに１／４）に縮小された画像Ｌ２を作成する。図２８（Ｂ）には、このようにして作成された、元々の画像Ｌ０を含む３枚の画像Ｌ０，Ｌ１，Ｌ２からなる画像群が逆ピラミッド構造で示されている。
【０１９６】
次に、輝度補正処理２３０が行なわれる。
【０１９７】
この輝度補正処理２３０では、補正前の画素Ｘの画素値（輝度値）をＸｏｒｇ、補正後の輝度をＸｃｏｒとしたとき、
【０１９８】
【数１６】
【０１９９】
但し、Ｅ（Ｘｏｒｇ）、σ（Ｘｏｒｇ）は、画素Ｘの近傍（例えば９×９画素）の画素値（輝度値）の、それぞれ平均値と分散である。
に従って補正後の画素値（輝度値）が求められ、この処理を画像全域について行なうことにより輝度補正が行なわれる。
【０２００】
この輝度補正は、図２８（Ｂ）に示す３層の画像Ｌ０，Ｌ１，Ｌ２のそれぞれについて行なわれる。すなわち、下層の画像Ｌ２側の画像ほど、元々の画像のシーンからすると広い領域のシーンを利用した輝度補正が行なわれることになる。
【０２０１】
次に、動画像について差分処理２４０が行なわれる。
【０２０２】
図２９は、動画像の差分処理の説明図である。
【０２０３】
図２９（Ａ）には、動画像のうちの隣接する２つのフレームの画像が示されており、これら２枚の画像からは、多重解像度展開処理２２０により、それぞれが３枚の画像Ｌ０，Ｌ１，Ｌ２；Ｌ０′，Ｌ１′，Ｌ２′からなる２つの画像群が作成される（図２９（Ｂ））。
【０２０４】
これら２つの画像群を構成する各画像Ｌ０，Ｌ１，Ｌ２；Ｌ０′，Ｌ１′，Ｌ２′には、輝度補正処理２３０が施された後、差分処理２４０が行なわれる。
【０２０５】
この差分処理２４０では、同じ寸法の画像について、対応する画素ごとの差分値の絶対値が求められ（｜Ｌｉ′−Ｌｉ｜、ｉ＝０，１，２）、図２９（Ｃ）に示す３枚の差分画像からなる逆ピラミッド型の画像群が作成される。
【０２０６】
次に切出処理２５０が行なわれる。
【０２０７】
この切出処理２５０は、図２８（Ｂ）や図２９（Ｃ）に示すような３層構造の画像から、様々な形態の人物頭部が写し出された領域や人物頭部以外のものが写し出された領域が切り出され、人物頭部が写し出されている領域からは人物頭部が存在する、という教師画像、人物頭部以外のものが写し出されている領域からは人物頭部は存在しない、という教師画像が作成される。
【０２０８】
教師画像を切り出すにあたっては、図２８（Ｂ）あるいは図２９（Ｃ）に示す三層構造の画像のうちの最上層の画像から３２×３２画素の領域が教師画像として切り出され、これを受けて二層目の画像からは同一部分の１６×１６画素の領域が切り出され、三層目の画像からは同一部分の８×８画素の領域が切り出される。これら切り出された三層の教師画像は、画像の寸法が異なることにより分解能は異なるものの、画像上の同一部分が切り出されたものである。したがって、教師画像も、図２８（Ｂ）や図２９（Ｃ）に示すような、三層構造の逆ピラミッド型の教師画像群となる。
【０２０９】
ここでは、このような三層構造の教師画像群２５１が多数作成され、学習に用いられる。
【０２１０】
次に、それらの教師画像により学習される側のフィルタについて説明する。
【０２１１】
図３０は、フィルタの構造の説明図、図３１は各種のフィルタを図解して例示した図である。
【０２１２】
ここには多数種類のフィルタが用意される。これらのフィルタは、画像上の３２×３２画素の領域に作用するフィルタと、画像上の１６×１６画素の領域に作用するフィルタと、画像上の８×８画素の領域に作用するフィルタとに分けられる。これらのフィルタは、学習により抽出されるまでは頭部検出に用いるためのフィルタの候補の地位にある。これらのフィルタ候補のうちの３２×３２画素の領域に作用するフィルタ候補は図３０（Ａ）に示す三層構造の教師画像群のうちの３２×３２画素の教師画像による学習で選別されて頭部検出に採用すべきフイルタが抽出され、これと同様に、多数のフィルタ候補のうちの１６×１６画素の領域に作用するフィルタ候補は三層構造の教師画像群のうちの１６×１６画素の教師画像による学習で選別されて頭部検出に採用すべきフィルタが抽出され、さらに、多数のフィルタ候補のうちの８×８画素の領域に作用するフィルタ候補は、三層構造の教師画像群のうちの８×８画素の教師画像により選択されて頭部検出に採用すべきフィルタが抽出される。
【０２１３】
図３０（Ｂ）に示すように、１つのフィルタは、タイプと、層と、６つの画素座標｛ｐｔ０，ｐｔ１，ｐｔ２，ｐｔ３，ｐｔ４，ｐｔ５｝の属性を持ち、それら６つの画素座標にある画素の画素値（輝度値）をそれぞれ、Ｘｐｔ０，Ｘｐｔ１，Ｘｐｔ２，Ｘｐｔ３，Ｘｐｔ４，Ｘｐｔ５としたとき、
【０２１４】
【数１７】
【０２１５】
なる演算により、３つの差分値のベクトルが算出される。
【０２１６】
「タイプ」は、図３１にタイプ０〜タイプ８を示すような、大分類を表わしている。例えば、図３１左上のタイプ０は、横方向（θ＝０°）の方向の差分をとるフィルタであることを表わしており、タイプ１は、縦方向（θ＝±９０°）の方向の差分をとるフィルタであることを表わしており、タイプ２〜４は、そのタイプごとの方向の差分をとるフィルタであることを表わしている。タイプ５〜８は、図示のような差分演算により各曲線のエッジを検出するフィルタであることを表わしている。また、「層」は、３２×３２画素の領域に作用するフィルタであるか、１６×１６画素の領域に作用するフィルタであるか、８×８画素の領域に作用するフィルタであるかの識別標識である。
【０２１７】
さらに、６つの画素座標｛ｐｔ０，ｐｔ１，ｐｔ２，ｐｔ３，ｐｔ４，ｐｔ５｝は、例えば８×８画素の領域に作用する場合の８×８＝６４画素のうちの６つの画素の座標を指定するものである。１６×１６画素の領域に作用するフィルタ、３２×３２画素の領域に作用する画素の場合も同様である。
【０２１８】
上記（１７）式による演算は、６つの画素座標｛ｐｔ０，ｐｔ１，ｐｔ２，ｐｔ３，ｐｔ４，ｐｔ５｝で指定される６つの画素について行なわれ、例えば、図３１の左上のタイプ０のうちのさらに最上段のフィルタの場合は、数値０を付した画素の輝度値をＸ０、数値１を付した画素の輝度値をＸ１、数値２を付した画素（ここでは、数値２を付した画素は数値１を付した画素と同一の画素である）の輝度値をＸ２（＝Ｘ１）、数値３を付した画素の輝度値をＸ３、数値４を付した画素（ここでは数値４を付した画素は数値１を付した画素と同一である）の輝度値をＸ４（＝Ｘ３）、数値５を付した画素の輝度値をＸ５としたとき、
【０２１９】
【数１８】
【０２２０】
となる。
【０２２１】
タイプ５の左側のフィルタにも数値０〜５を付してあり、（１８）式と同じ演算が行なわれる。
【０２２２】
これらは例示であり、図３１に示す各種のフィルタは、これらの例示と同様の演算を行なうフィルタである。
【０２２３】
図２７に示すように、教師画像群２５１が作成されると機械学習により、多数のフィルタ候補の中から、頭部検出に採用されるフィルタ２７０が抽出される。
【０２２４】
次に、機械学習について説明する。
【０２２５】
図３２は、機械学習の概念図である。
【０２２６】
これまで説明してきたようにして、多数の教師画像群２５１が用意されるとともに、多数のフィルタ候補２６０が用意され、先ずは、それらの教師画像群２５１のうちの８×８画素の多数の教師画像２５１Ａを使って８×８画素の領域に作用するフィルタ候補２６０Ａの中から頭部検出に用いられるフィルタ２７０Ａが抽出され、次にその抽出結果を反映させながら、１６×１６画素の多数の教師画像２５１Ｂを使って１６×１６画素の領域に作用するフィルタ候補２６０Ｂの中から頭部検出に用いられるフィルタ２７０Ｂが抽出され、さらに、その抽出結果を反映させながら、３２×３２画素の多数の教師画像２５１Ｃを使って、３２×３２画素の領域に作用するフィルタ候補２６０Ｃの中から頭部検出に用いられるフィルタ２７０Ｃが抽出される。
【０２２７】
ここでは、機械学習の一例としてＡｂａ Ｂｏｏｓｔアルゴリズムが採用されている。このアルゴリズムは既に広範な分野で採用されているものであり、以下では簡単に説明する。
【０２２８】
図３３は、教師画像の概念図である。
【０２２９】
ここでは、８×８画素の多数枚の教師画像ａ０，ｂ０，ｃ０，…，ｍ０が用意されているものとする。これらの教師画像には、頭部である教師画像と、頭部ではない教師画像が含まれている。
【０２３０】
図３４は、各種フィルタとそれらのフィルタの学習結果を示す概念図である。
【０２３１】
ここでは、８×８画素の領域に作用する多数種類のフィルタ（この段階ではフィルタ候補）ａ，ｂ，…，ｎが用意され、図３３に示す多数枚の教師画像を用いて各フィルタａ，ｂ，…，ｎについてそれぞれ学習が行なわれる。
【０２３２】
図３４に示す各グラフは、各フィルタについての学習結果を示している。
【０２３３】
各フィルタでは、（１７）式に示すような三次元ベクトルからなる特徴量が算出されるが、ここでは簡単のため一次元の特徴量として示している。
【０２３４】
各グラフの横軸は、そのフィルタを使って多数枚の教師画像それぞれについて求めた特徴量の値、縦軸は、そのフィルタを使ったときの頭部である、という正答率を表わしている。この確率は前述した一次評価値として利用される。
【０２３５】
ここでは、各フィルタａ，ｂ，…，ｎについてそれぞれ一回目の学習を行なった結果、図３４に示すような学習結果が表われ、フィルタｎを使ったときの正答率が最高であったとする。この場合、先ずはフィルタｎを頭部検出用のフィルタとして採用し、２回目の学習はフィルタｎを除く他のフィルフタａ，ｂ，…について行なわれる。
【０２３６】
図３４（Ｃ）に示すように、各教師画像ａ０，ｂ０，ｃ０，…，ｍ０についての一次評価値がｘ，ｙ，ｚ，ｚであったとする。
【０２３７】
図３５は、教師画像の重み付けを示す説明図である。
【０２３８】
一回目の学習では、全ての教師画像ａ０，ｂ０，ｃ０，…，ｍ０について同一の重み１．０で学習が行なわれるが、２回目の学習では、各教師画像ａ０，ｂ０，ｃ０，…，ｍ０は１回目の学習で最高の正答率を得たフィルタｎによる各教師画像ごとの確率ｘ，ｙ，ｚ，ｚが加味され、正しく判定される確率が高い教師画像ほど重みを下げ、誤って判定される確率の高い教師画像ほど大きな重みが与えられる。この重みは、二回目の学習の各教師画像ごとの正答率に反映される。すなわち、この重みは２回目の学習において、各教師画像をその重みの回数だけ繰り返して学習に利用することと同じである。このようにして２回目の学習を行ない、２回目の学習で最高の正答率を得たフィルタ候補が頭部検出用のフィルタとして抽出される。さらに、その抽出されたフィルタの特徴量の正答率のグラフを利用して各教師画像ａ０，ｂ０，ｃ０，…，ｍ０についての重みが再度修正され、今回抽出されたフィルタを除く、さらに残ったフィルタについて学習が行なわれる。以上が繰り返されて、頭部検出用の、８×８画素の領域に作用する多数のフィルタ２７０Ａ（図３２参照）が抽出される。
【０２３９】
図３６は、８×８画素用のフィルタの抽出が終了し、１６×１６画素のフィルタの学習への移行時の重み付け方法の説明図である。
【０２４０】
８×８画素のフィルタの抽出が終了した後、それらのフィルタと、それらのフィルタを１つずつ独立に使ったときの、特徴量と一次評価値との対応関係（例えば図３４に示すグラフ）が求められ、１つ１つの教師画像（例えば教師画像ａ０）について８×８画素用の多数のフィルタで得た特徴量から得られる各フィルタごとの一次評価値が加算されて二次評価値が求められる。ここでは、図３６に示すように、各教師画像ａ０，ｂ０，ｃ０，…，ｍ０について、各二次評価値Ａ，Ｂ，Ｃ，…，Ｍが求められたものとする。このとき、８×８画素の教師画像ａ０，ｂ０，ｃ０，…，ｍ０のそれぞれに対応する１６×１６画素の教師画像ａ１，ｂ１，ｃ１，…，ｍ１の重みが、各二次評価値Ａ，Ｂ，Ｃ，…，Ｍを使って、全ての画像について平等な１．０から変更され、１６×１６画素の領域に作用するフィルタの抽出のための学習に利用される。
【０２４１】
これ以降の１６×１６画素の領域のフィルタの抽出アルゴリズム、重み付け変更アルゴリズム、３２×３２画素の領域のフィルタの抽出への移行のアルゴリズム等は全て同様であり、説明は割愛する。
【０２４２】
以上のようにして、８×８画素の領域に作用する多数のフィルタ２７０Ａ、１６×１６画素の領域に作用する多数のフィルタ２７０Ｂ、および３２×３２の領域に作用する多数のフィルタ２７０Ｃからなるフィルタ群２７０が抽出されるとともに、各フィルタについての特徴量（前述した（１７）式のベクトル）と一次評価値との対応関係（グラフ、表、関数式などのいずれでもよい）が求められ、図２５、図２６に示す記憶部４６１に格納される。
【０２４３】
次に、以上のようにして記憶部４６１に格納されたフィルタを利用した頭部検出処理について説明する。
【０２４４】
図２６に示す画像群生成部１１０、輝度補正部１２０、および差分画像作成部１３０では、学習時における、図２７に示す多重解像度展開処理２２０、輝度補正処理２３０、差分演算処理２４０とそれぞれ同様の処理が行なわれる。ただし、画像群生成部１１０における処理は、前述の多重解像度展開処理２２０とは多少異なっており、以下において説明する。
【０２４５】
図３７は、図２６に示す画像群生成部１１０の処理を示す模式図である。
【０２４６】
この画像群生成部１１０には、図１に示す監視カメラ２０での撮影により得られた動画像が入力され、その動画像を構成する１枚１枚の画像について図３７に示す処理が行なわれる。
【０２４７】
ここでは、入力画像である原画像に補間演算処理が施されて、その原画像よりもサイズが少しだけ小さい補間画像１が求められ、さらにその補間画像１よりもサイズが少しだけ小さい補間画像２が求められ、同様にして補間画像３も求められる。
【０２４８】
原画像と補間画像１との間の画像サイズの比率Ｓσは、縦横それぞれについて
【０２４９】
【数１９】
【０２５０】
但し、Ｎは、原画像を含む補間画像の数（図３７に示す例ではＮ＝４）である。
の比率である。
【０２５１】
このようにして補間画像（図３７に示す例では補間画像１，２，３）を作成した後、原画像および補間画像のそれぞれについて縦横それぞれについて１画素おきに間引くことにより縦横それぞれについて１／２のサイズの画像が作成され、縦横それぞれについてさらに１／２のサイズの画像が作成され、もう１つさらに１／２のサイズの画像が作成され、これにより図３７に示す例では、１枚の原画像から４層の逆ピラミッド型の画像群が４つ作成される。
【０２５２】
このようにして多数のサイズの画像を作成することにより、様々なサイズの頭部を抽出することができる。
【０２５３】
図２６の輝度補正部１２０および差分画像作成部１３０の処理は、図２７を参照して説明した、輝度補正処理２３０および差分演算処理２４０と同じであり、重複説明は省略する。
【０２５４】
図３７に示す逆ピラミッド型の画像群は、輝度補正部１２０における輝度補正処理を受けた後、さらには、差分画像作成部１３０で差分画像の逆ピラミッド型の画像群に変換された後、段階的検出部１４０に入力される。この段階的検出部１４０では、領域抽出演算制御部１７０によるシーケンス制御を受けながら以下の演算処理が行なわれる。
【０２５５】
先ず、一次評価値算出部１４１において、記憶部４６１から８×８画素の領域に作用する多数のフィルタが読み出され、図３７に示す逆ピラミッド型の４層の画像群を構成する各４枚の画像のうちの、サイズが最も小さい画像、および２番目に小さい画像が８×８画素の各フィルタでラスタスキャンされて、順次移動する各領域ごとに特徴量を表わすベクトル（（１７）式参照）が求められ、各フィルタごとの、特徴量と一次評価値との対応関係（図３４参照）が参照されて、その特徴量が一次評価値に換算される。
【０２５６】
二次評価値算出部１４２では、８×８画素の領域に作用する多数のフィルタによる多数の一次評価値が互いに加算されて二次評価値が求められ、領域抽出部１４３ではその二次評価値が所定の第１の閾値以上である（頭部が写されている可能性が高い）一次抽出領域が抽出される。
【０２５７】
次にその一次抽出領域の位置情報が一次評価値算出部１４１に伝達され、一次評価値算出部１４１では、今度は、記憶部４６１から１６×１６画素の領域に作用する多数のフィルタが読み出されて、図３７に示す逆ピラミッド型の４つの画像群それぞれについて、小さい方から２番目の画像と３番目（大きい方から２番目）の画像上の、領域抽出部１４３で抽出された一次抽出領域に対応する領域に１６×１６の画素の領域に作用する各フィルタを作用させて特徴量を算出し、その特徴量を一次評価値に換算する。それらの、１６×１６画素の領域に作用する多数のフィルタによる多数の一次評価値は二次評価値算出部１４２において互いに加算されて二次評価値が求められ、その求められた二次評価値が領域抽出部１４３において第２の閾値と比較されて、上述の一次抽出領域に対応する領域の中から頭部が写されている可能性がさらに高い二次抽出領域が抽出される。この二次抽出領域の位置情報は一次評価値算出部１４１に伝達され、今度は、その一次評価値算出部１４１では、記憶部４６１から３２×３２画素の領域に作用する多数のフィルタが読み出されて、図３７に示す逆ピラミッド型の４つの画像群それぞれを構成する大きい方から２番目の画像と最も大きい画像上の、領域抽出部１４３で抽出された二次抽出領域に対応する領域に、３６×３６画素の領域に作用する各フィルタを作用させて特徴量が抽出され、その特徴量が一次評価値に換算される。それらの３２×３２画素の領域に作用する多数のフィルタによる多数の一次評価値は二次評価値算出部１４２において互いに加算されて二次評価値が求められ、その求められた二次評価値が領域抽出部１４３において第３の閾値と比較されて、二次抽出領域に対応する領域の中から頭部が写し込まれていると確信できるレベルの三次抽出領域が抽出される。この三次抽出領域の情報、すなわち、その領域の画像上の位置ｐｏｓ（領域の左上隅の座標（ｌ，ｔ）と右下隅の座標（ｒ，ｂ）と最終的な二次評価値ｌｉｋｅｎｅｓｓが、図２６に示す領域統合部１５０に入力される。
【０２５８】
図３８は領域統合部１５０における領域統合処理の説明図である。
【０２５９】
この領域統合部１５０は複数の頭部領域（三次抽出領域）Ｈｉ（ｉ＝１，…，Ｍ）の情報Ｈｉ（ｐｏｓ，ｌｉｋｅｎｅｓｓ）が入力されると、その領域統合部１５０では、それらの頭部領域情報Ｈｉが二次評価値ｌｉｋｅｎｅｓｓの順に並べ替えられる。ここでは、２つの領域Ｈｒｅｆ，Ｈｘについて互いの領域の一部の重なりが認められるものとし、領域
Ｈｒｅｆの方が領域Ｈｘよりも二次評価値ｌｉｋｅｎｅｓｓが高いものとする。
【０２６０】
領域Ｈｒｅｆの面積をＳＨｒｅｆ，領域Ｈｘの面積をＳＨｘ、相互に重なった部分の面積をＳｃｒｏｓｓとしたとき、重なりの比率
【０２６１】
【数２０】
【０２６２】
が算出され、この比率ρが閾値ρｌｏｗ以上であったときに、領域統合演算が行なわれる。すなわち、領域Ｈｒｅｆの４隅の座標と領域Ｈｘの４隅の座標のうちの対応する座標にその領域のｌｉｋｅｎｅｓｓによる重みが付されて、１つに統合される。
【０２６３】
例えば、各領域Ｈｒｅｆ，Ｈｘの左上隅の左右方向の座標ｌｒｅｆ，ｌｘが、各領域Ｈｒｅｆ，Ｈｘの各ｌｉｋｅｎｅｓｓであるｌｉｋｅｎｅｓｓ（ｒｅｆ），ｌｉｋｅｎｅｓｓ（ｘ）を用いて、統合された座標
【０２６４】
【数２１】
【０２６５】
に変換される。このような演算が位置ｐｏｓを表わす４つの座標
ｐｏｓ＝（ｌ，ｔ，ｒ，ｂ）ｔ
のそれぞれについて行なわれ、２つの領域Ｈｒｅｆ，Ｈｘが１つの領域に統合される。
【０２６６】
３つ以上の領域が重なっている場合も同様である。
【０２６７】
本実施形態では、以上の処理により、人物頭部が写されている領域が高精度かつ高速に抽出される。
【０２６８】
尚、ここで説明した頭部検出処理は、頭部の検出に限らず、例えば顔検出や、その他画像上に多様な形状で写し出されるオブジェクトを検出する場合に共通に利用できる処理である。
【０２６９】
以下、この頭部検出処理の各種の態様を、オブジェクト検出処理として一般化した表現で、記述しておく。
【０２７０】
（１）二次元的に配列された画素で表現された画像から特定種類のオブジェクトを検出するオブジェクト検出方法であって、
画像との二次元的に広がる所定の広さの領域に作用し特定種類のオブジェクトの輪郭および内部のうちの互いに異なるいずれかの特徴量を算出する複数のフィルタであって、該複数のフィルタそれぞれにより算出される各特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係に対応づけられてなる複数のフィルタを、オブジェクト検出対象の画像上の前記所定の広さの領域に作用させて複数の特徴量を算出し、前記対応関係に基づいて各特徴量に対応する各一次評価値を求める一次評価値算出ステップと、
前記一次評価値算出ステップで求められた、前記複数のフィルタに対応する複数の一次評価値を総合することにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める二次評価値算出ステップと、
前記二次評価値算出ステップで求められた二次評価値と閾値とを比較して、該閾値を越えて特定種類のオブジェクトが存在する確率が高い領域を抽出する領域抽出ステップとを有し、該領域抽出ステップで領域を抽出することにより特定種類のオブジェクトを検出することを特徴とするオブジェクト検出方法。
【０２７１】
（２）前記複数のフィルタが、画素数が所定比率で異なる、又は所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する、１つの広さごとに複数のフィルタからなり、各フィルタそれぞれが、該各フィルタそれぞれに応じた前記対応関係に対応づけられてなるものであり、
オブジェクト検出対象の原画像を構成する画素を前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、原画像と一枚以上の間引画像とからなる画像群を生成する画像群生成ステップを有し、
前記一次評価値算出ステップが、前記画像群生成ステップにより生成された画像群のうちの相対的に小さい第１の画像に相対的に狭い領域に作用する複数の第１のフィルタを作用させて複数の特徴量を算出し、該複数の第１のフィルタそれぞれに対応する前記対応関係に基づいて各特徴量に対応する各一次評価値を求め、前記二次評価値算出ステップが、前記一次評価値算出ステップで求められた、前記複数の第１のフィルタに対応する複数の一次評価値を総合することにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求め、前記領域抽出ステップが、前記二次評価値算出ステップで求められた二次評価値と第１の閾値とを比較して該第１の閾値を越えて特定種類のオブジェクトが存在する確率が高い一次候補領域を抽出する第１の抽出過程と、
前記一次評価値算出ステップが、前記画像群生成ステップにより生成された画像群のうちの前記第１の画像よりも画素数が一段階多い第２の画像の、前記一次候補領域に相当する領域に前記複数の第１のフィルタよりも一段広い領域に作用する複数の第２のフィルタを作用させて複数の特徴量を算出させ、該複数の第２のフィルタそれぞれに対応する前記対応関係に基づいて各特徴量に対応する各一次評価値を求め、前記二次評価値算出ステップが、前記一次評価値算出ステップで求められた、前記複数の第２のフィルタに対応する複数の一次評価値を総合することにより、当該一次候補領域に相当する領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求め、前記領域抽出ステップが、前記二次評価値算出ステップで求められた二次評価値と第２の閾値とを比較して該第２の閾値を越えて特定種類のオブジェクトが存在する確率が高い二次候補領域を抽出する第２の抽出過程と
を含む複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返し、前記領域抽出ステップで最終的に領域を抽出することにより特定種類のオブジェクトを検出することを特徴とする（１）記載のオブジェクト検出方法。
【０２７２】
（３）前記画像群生成ステップが、前記画像群の生成に加え、さらに、前記原画像に補間演算を施すことにより、前記画像群を構成する、該原画像を前記所定比率で間引いて得られた間引画像の画素数よりも多く、かつ該原画像の画素数よりも少ない画素数の範囲内の１つの補間画像、又は該範囲内で画素数が互いに異なる複数の補間画像を生成し、生成した１つ以上の補間画像それぞれについて、当該補間画像を構成する画素を前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、当該補間画像と当該補間画像の画素を間引いて得られた一枚以上の間引画像とからなる新たな画像群を生成するステップであり、
前記一次評価値算出ステップ、前記二次評価値算出ステップ、および領域抽出ステップが、前記画像群生成ステップで生成された複数の画像群それぞれに関し、前記複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返すことを特徴とする（２）記載のオブジェクト検出方法。
【０２７３】
（４）特定種類のオブジェクトが写し出された所定寸法の複数の画像および特定種類のオブジェクト以外のものが写し出された該所定寸法の複数の画像からなる、該所定寸法の複数の教師画像と、画像上の該所定寸法の領域に作用し該領域内に存在する特定種類のオブジェクトの輪郭および内部の、互いに異なるいずれかの特徴を抽出するための複数のフィルタ候補とを用意し、機械学習により、前記複数のフィルタ候補の中から複数のフィルタを抽出するとともに、各フィルタに対応する前記対応関係を求める学習ステップをさらに有することを特徴とする（１）記載のオブジェクト検出方法。
【０２７４】
（５）特定種類のオブジェクトが写し出された所定寸法の複数の画像および特定種類のオブジェクト以外のものが写し出された該所定寸法の複数の画像からなる、該所定寸法の複数の教師画像それぞれを前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、同一シーンであって寸法が異なる複数の教師画像からなる教師画像群を複数作成するとともに、画像上の、教師画像群を構成する複数段階の教師画像の寸法に応じた寸法の領域に作用し、該領域内に存在する特定種類のオブジェクトの輪郭および内部の、互いに異なるいずれかの特徴を抽出するためのフィルタ候補を前記複数段階の寸法それぞれに対応して複数ずつ用意し、機械学習により、各寸法ごとに、前記複数のフィルタ候補の中から複数のフィルタを抽出するとともに、抽出された各フィルタに対応する前記対応関係を求める学習ステップをさらに有することを特徴とする（２）又は（３）記載のオブジェクト検出方法。
【０２７５】
（６）前記領域抽出ステップで複数の領域が検出された場合における該複数の領域を、該複数の領域どうしの重なりの程度に応じて、１つの領域に統合する領域統合ステップをさらに有することを特徴とする（１）から（５）のうちいずれか１つに記載のオブジェクト検出方法。
【０２７６】
（７）複数フレームからなる連続画像を取得し、オブジェクト検出対象の画像として用いるための、異なるフレーム間の差分画像を作成する差分画像作成ステップをさらに有することを特徴とする（１）から（６）のうちいずれか１つに記載のオブジェクト検出方法。
【０２７７】
（８）前記複数のフィルタが、人間の頭部が存在する確率を表わす評価値を生成するフィルタであって、当該オブジェクト検出方法は画像内にあらわれる人間の頭部を検出対象とするものであることを特徴とする（１）から（７）のうちいずれか１つに記載のオブジェクト検出方法。
【０２７８】
（９）二次元的に配列された画素で表現された画像から特定種類のオブジェクトを検出するオブジェクト検出装置であって、
画像上の二次元的に広がる所定の広さの領域に作用し特定種類のオブジェクトの輪郭および内部のうちの互いに異なるいずれかの特徴量を算出する複数のフィルタを、該複数のフィルタそれぞれにより算出される各特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係に対応づけて記憶しておくフィルタ記憶部と、
オブジェクト検出対象の画像上の前記所定の広さの領域に前記複数のフィルタを作用させて複数の特徴量を算出し前記対応関係に基づいて各特徴量に対応する各一次評価値を求める一次評価値算出部と、
前記一次評価値算出部で求められた、前記複数のフィルタに対応する複数の一次評価値を総合することにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める二次評価値算出部と、
前記二次評価値算出部で求められた二次評価値と閾値とを比較して、該閾値を越えて特定種類のオブジェクトが存在する確率が高い領域を抽出する領域抽出部とを備え、該領域抽出部で領域を抽出することにより特定種類のオブジェクトを検出することを特徴とするオブジェクト検出装置。
【０２７９】
（１０）前記フィルタ記憶部が、画素数が所定比率で異なる、又は所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する、１つの広さごとに複数のフィルタからなり、各フィルタそれぞれが、該各フィルタそれぞれに応じた前記対応関係に対応づけられてなるフィルタ群を、前記対応関係とともに記憶しておくものであり、
オブジェクト検出対象の原画像を構成する画素を前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、原画像と一枚以上の間引画像とからなる画像群を生成する画像群生成部、および
前記一次評価値算出部に、前記画像群生成部により生成された画像群のうちの相対的に小さい第１の画像に前記フィルタ記憶部に記憶されたフィルタ群のうちの相対的に狭い領域に作用する複数の第１のフィルタを作用させて複数の特徴量を算出させ、該複数の第１のフィルタそれぞれに対応する前記対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、前記二次評価値算出部に、前記一次評価値算出部で求められた、前記複数の第１のフィルタに対応する複数の一次評価値を総合させることにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求めさせ、前記領域抽出部に、前記二次評価値算出部で求められた二次評価値と第１の閾値とを比較させて該第１の閾値を越えて特定種類のオブジェクトが存在する確率が高い一次候補領域を抽出させる第１の抽出過程と、
再び前記一次評価値算出部に、前記画像群生成部により生成された画像群のうちの前記第１の画像よりも画素数が一段階多い第２の画像の、前記一次候補領域に相当する領域に前記フィルタ記憶部に記憶されたフィルタ群のうちの前記複数の第１のフィルタよりも一段広い領域に作用する複数の第２のフィルタを作用させて複数の特徴量を算出させ、該複数の第２のフィルタそれぞれに対応する前記対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、再び前記二次評価値算出部に、前記一次評価値算出部で求められた、前記複数の第２のフィルタに対応する複数の一次評価値を総合させることにより、当該一次候補領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求めさせ、再び前記領域抽出部に、前記二次評価値算出部で求められた二次評価値と第２の閾値とを比較させて該第２の閾値を越えて特定種類のオブジェクトが存在する確率が高い二次候補領域を抽出させる第２の抽出過程と
を含む複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、前記一次評価値算出部、前記二次評価値算出部、および領域抽出部に繰り返させる領域抽出演算制御部を備え、前記領域抽出部で最終的に領域を抽出することにより特定種類のオブジェクトを検出することを特徴とする（９）記載のオブジェクト検出装置。
【０２８０】
（１１）前記画像群生成部が、前記画像群の生成に加え、さらに、前記原画像に補間演算を施すことにより、前記画像群を構成する、該原画像を前記所定比率で間引いて得られた間引画像の画素数よりも多く、かつ該原画像の画素数よりも少ない画素数の範囲内の１つの補間画像、又は該範囲内で画素数が互いに異なる複数の補間画像を生成し、生成した１つ以上の補間画像それぞれについて、当該補間画像を構成する画素を前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、当該補間画像と当該補間画像の画素を間引いて得られた一枚以上の間引画像とからなる新たな画像群を生成するものであり、
前記領域抽出演算制御部は、前記画像群生成部で生成された複数の画像群それぞれに関し、前記複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、前記一次評価算出部、前記二次評価算出部、および領域抽出部に繰り返させるものであることを特徴とする（１０）記載のオブジェクト検出装置。
【０２８１】
（１２）前記領域抽出部で複数の領域が検出された場合における該複数の領域を、該複数の領域どうしの重なりの程度に応じて、１つの領域に統合する領域統合部をさらに備えたことを特徴とする（９）から（１１）のうちいずれか１つに記載のオブジェクト検出装置。
【０２８２】
（１３）複数フレームからなる連続画像を取得し、オブジェクト検出対象の画像として用いるための、異なるフレーム間の差分画像を作成する差分画像作成部をさらに備えたことを特徴とする（９）から（１２）のうちいずれか１つに記載のオブジェクト検出装置。
【０２８３】
（１４）前記フィルタ記憶部が、人間の頭部が存在する確率を表わす評価値を生成する複数のフィルタからなるフィルタ群を記憶するものであって、当該オブジェクト検出装置は画像内にあらわれる人間の頭部を検出対象とするものであることを特徴とする（９）から（１３）のうちいずれか１つに記載のオブジェクト検出装置。
【０２８４】
（１５）プログラムを実行する演算装置内で実行され、該演算装置を、二次元的に配列された画素で表現された画像から特定種類のオブジェクトを検出するオブジェクト検出装置として動作させるオブジェクト検出プログラムであって、
前記演算装置を、
画像上の二次元的に広がる所定の広さの領域に作用し特定種類のオブジェクトの輪郭および内部のうちの互いに異なるいずれかの特徴量を算出する複数のフィルタを、該複数のフィルタそれぞれにより算出される各特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係に対応づけて記憶しておくフィルタ記憶部と、
オブジェクト検出対象の画像上の前記所定の広さの領域に前記複数のフィルタを作用させて複数の特徴量を算出し前記対応関係に基づいて各特徴量に対応する各一次評価値を求める一次評価値算出部と、
前記一次評価値算出部で求められた、前記複数のフィルタに対応する複数の一次評価値を総合することにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める二次評価値算出部と、
前記二次評価値算出部で求められた二次評価値と閾値とを比較して、該閾値を越えて特定種類のオブジェクトが存在する確率が高い領域を抽出する領域抽出部とを有し、該領域抽出部で領域を抽出することにより特定種類のオブジェクトを検出するオブジェクト検出装置として動作させることを特徴とするオブジェクト検出プログラム。
【０２８５】
（１６）前記フィルタ記憶部が、画素数が所定比率で異なる、又は所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する、１つの広さごとに複数のフィルタからなり、各フィルタそれぞれが、該各フィルタそれぞれに応じた前記対応関係に対応づけられてなるフィルタ群を、前記対応関係とともに記憶しておくものであり、
前記演算装置を、
オブジェクト検出対象の原画像を構成する画素を前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、原画像と一枚以上の間引画像とからなる画像群を生成する画像群生成部、および
前記一次評価値算出部に、前記画像群生成部により生成された画像群のうちの相対的に小さい第１の画像に前記フィルタ記憶部に記憶されたフィルタ群のうちの相対的に狭い領域に作用する複数の第１のフィルタを作用させて複数の特徴量を算出させ、該複数の第１のフィルタそれぞれに対応する前記対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、前記二次評価値算出部に、前記一次評価値算出部で求められた、前記複数の第１のフィルタに対応する複数の一次評価値を総合させることにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求めさせ、前記領域抽出部に、前記二次評価値算出部で求められた二次評価値と第１の閾値とを比較させて該第１の閾値を越えて特定種類のオブジェクトが存在する確率が高い一次候補領域を抽出させる第１の抽出過程と、
再び前記一次評価値算出部に、前記画像群生成部により生成された画像群のうちの前記第１の画像よりも画素数が一段階多い第２の画像の、前記一次候補領域に相当する領域に前記フィルタ記憶部に記憶されたフィルタ群のうちの前記複数の第１のフィルタよりも一段広い領域に作用する複数の第２のフィルタを作用させて複数の特徴量を算出させ、該複数の第２のフィルタそれぞれに対応する前記対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、再び前記二次評価値算出部に、前記一次評価値算出部で求められた、前記複数の第２のフィルタに対応する複数の一次評価値を総合させることにより、当該一次候補領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求めさせ、再び前記領域抽出部に、前記二次評価値算出部で求められた二次評価値と第２の閾値とを比較させて該第２の閾値を越えて特定種類のオブジェクトが存在する確率が高い二次候補領域を抽出させる第２の抽出過程と
を含む複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、前記一次評価値算出部、前記二次評価値算出部、および領域抽出部に繰り返させる領域抽出演算制御部をさらに有し、前記領域抽出部で最終的に領域を抽出することにより特定種類のオブジェクトを検出するオブジェクト検出装置として動作させることを特徴とする（１５）記載のオブジェクト検出プログラム。
【０２８６】
（１７）前記画像群生成部が、前記画像群の生成に加え、さらに、前記原画像に補間演算を施すことにより、前記画像群を構成する、該原画像を前記所定比率で間引いて得られた間引画像の画素数よりも多く、かつ該原画像の画素数よりも少ない画素数の範囲内の１つの補間画像、又は該範囲内で画素数が互いに異なる複数の補間画像を生成し、生成した１つ以上の補間画像それぞれについて、当該補間画像を構成する画素を前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、当該補間画像と当該補間画像の画素を間引いて得られた一枚以上の間引画像とからなる新たな画像群を生成するものであり、
前記領域抽出演算制御部は、前記画像群生成部で生成された複数の画像群それぞれに関し、前記複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、前記一次評価算出部、前記二次評価算出部、および領域抽出部に繰り返させるものであることを特徴とする（１６）記載のオブジェクト検出プログラム。
【０２８７】
（１８）前記演算装置を、前記領域抽出部で複数の領域が検出された場合における該複数の領域を、該複数の領域どうしの重なりの程度に応じて、１つの領域に統合する領域統合部をさらに有するオブジェクト検出装置として動作させることを特徴とする（１５）から（１７）のうちいずれか１つに記載のオブジェクト検出プログラム。
【０２８８】
（１９）前記演算装置を、複数フレームからなる連続画像を取得し、オブジェクト検出対象の画像として用いるための、異なるフレーム間の差分画像を作成する差分画像作成部をさらに有するオブジェクト検出装置として動作させることを特徴とする（１５）から（１８）のうちいずれか１つに記載のオブジェクト検出プログラム。
【０２８９】
（２０）前記フィルタ記憶部が、人間の頭部が存在する確率を表わす評価値を生成する複数のフィルタからなるフィルタ群を記憶するものであって、当該オブジェクト検出プログラムは画像内にあらわれる人間の頭部を検出対象とするオブジェクト検出装置として動作させるものであることを特徴とする（１５）から（１９）のうちいずれか１つに記載のオブジェクト検出プログラム。
【０２９０】
（２１）二次元的に配列された画素で表現された画像から特定種類のオブジェクトを検出するオブジェクト検出方法であって、
オブジェクト検出対象の原画像を構成する画素を所定比率で間引くことにより、又は該所定比率で段階的に間引くことより、原画像と一枚以上の間引画像とからなる画像群を生成する画像群生成ステップ、および
前記画像群生成ステップにより生成された画像群のうちの相対的に小さい第１の画像に、画像上の二次元的に広がる領域に作用し該領域内に特定種類のオブジェクトが存在する確率を表わす評価値を生成するフィルタであって、画像上の領域の広さに対応する画素数が前記所定比率で異なる、又は該所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する複数のフィルタからなるフィルタ群のうちの相対的に狭い領域に作用する第１のフィルタを作用させて所定の第１の閾値を越える評価値が得られる一次候補領域を抽出する第１の抽出過程と、
前記画像群生成ステップにより生成された画像群のうちの前記第１の画像よりも画素数が一段階多い第２の画像の、前記一次候補領域に相当する領域に、前記フィルタ群のうちの前記第１のフィルタよりも一段階広い領域に作用する第２のフィルタを作用させて所定の第２の閾値を越える評価値が得られる二次候補領域を抽出する第２の抽出過程と
を含む複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きい画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返すことにより、前記原画像中から特定種類のオブジェクトを検出する段階的検出ステップを有することを特徴とするオブジェクト検出方法。
【０２９１】
（２２）前記画像群生成ステップが、前記画像群の生成に加え、さらに、前記原画像に補間演算を施すことにより、前記画像群を構成する、該原画像を前記所定比率で間引いて得られた間引画像の画素数よりも多く、かつ該原画像の画素数よりも少ない画素数の範囲内の１つの補間画像又は該範囲内で画素数が互いに異なる複数の補間画像を生成し、生成した１つ以上の補間画像それぞれについて、当該補間画像を構成する画素を前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、当該補間画像と当該補間画像の画素を間引いて得られた一枚以上の間引画像とからなる新たな画像群を生成するステップであり、
前記段階的検出ステップは、前記画像群生成ステップで生成された複数の画像群それぞれに関し、前記抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きい画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返すことにより、前記原画像および前記１つ以上の補間画像それぞれの中から特定種類のオブジェクトを検出するステップであることを特徴とする（２１）記載のオブジェクト検出方法。
【０２９２】
（２３）１つの広さの領域につき複数種類の、それぞれが、特定種類のオブジェクトの輪郭および内部のうちのいずれかの特徴量を算出するフィルタを用意するとともに、各フィルタにより算出される特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係を用意しておき、
前記段階的検出ステップは、１つの領域に、該領域の広さに応じた複数種類のフィルタを作用させて複数の特徴量を算出し、各特徴量に対応する各一次評価値を求め、複数の一次評価値を総合した二次評価値と閾値とを比較することにより、該領域が特定種類のオブジェクトが存在する候補領域であるか否かを判定するステップであることを特徴とする（２１）又は（２２）記載のオブジェクト検出方法。
【０２９３】
（２４）前記段階的検出ステップで複数の領域が検出された場合における該複数の領域を、該複数の領域どうしの重なりの程度に応じて、１つの領域に統合する領域統合ステップをさらに有することを特徴とする（２１）から（２３）のうちいずれか１つに記載のオブジェクト検出方法。
【０２９４】
（２５）複数フレームからなる連続画像を取得し、オブジェクト検出対象の画像として用いるための、異なるフレーム間の差分画像を作成する差分画像作成ステップをさらに有することを特徴とする（２１）から（２４）のうちいずれか１つに記載のオブジェクト検出方法。
【０２９５】
（２６）前記フィルタ群が、人間の頭部が存在する確率を表わす評価値を生成する複数のフィルタからなり、当該オブジェクト検出方法は画像内にあらわれる人間の頭部を検出対象とするものであることを特徴とする（２１）から（２５）のうちいずれか１つに記載のオブジェクト検出方法。
【０２９６】
（２７）二次元的に配列された画素で表現された画像から特定種類のオブジェクトを検出するオブジェクト検出装置であって、
画像上の二次元的に広がる領域に作用し該領域内に特定種類のオブジェクトが存在する確率を表わす評価値を生成するフィルタであって、画像上の領域の広さに対応する画素数が所定比率で異なる、又は所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する複数のフィルタからなるフィルタ群を記憶しておくフィルタ記憶部、
オブジェクト検出対象の原画像を構成する画素を前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、原画像と一枚以上の間引画像とからなる画像群を生成する画像群生成部、および
前記画像群生成部により生成された画像群のうちの相対的に小さい第１の画像に、前記フィルタ記憶部に記憶されたフィルタ群のうちの相対的に狭い領域に作用する第１のフィルタを作用させて所定の第１の閾値を越える評価値が得られる一次候補領域を抽出する第１の抽出過程と、
前記画像群生成部により生成された画像群のうちの前記第１の画像よりも画素数が一段階多い第２の画像の、前記一次候補領域に相当する領域に、前記フィルタ記憶部に記憶されたフィルタ群のうちの前記第１のフィルタよりも一段階広い領域に作用する第２のフィルタを作用させて所定の第２の閾値を越える評価値が得られる二次候補領域を抽出する第２の抽出過程と
を含む複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きい画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返すことにより、前記原画像中から特定種類のオブジェクトを検出する段階的検出部を備えたことを特徴とするオブジェクト検出装置。
【０２９７】
（２８）前記画像群生成部が、前記画像群の生成に加え、さらに、前記原画像に補間演算を施すことにより、前記画像群を構成する、該原画像を前記所定比率で間引いて得られた間引画像の画素数よりも多く、かつ該原画像の画素数よりも少ない画素数の範囲内の１つの補間画像又は該範囲内で画素数が互いに異なる複数の補間画像を生成し、生成した１つ以上の補間画像それぞれについて、当該補間画像を構成する画素を前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、当該補間画像と当該補間画像の画素を間引いて得られた一枚以上の間引画像とからなる新たな画像群を生成するものであり、
前記段階的検出部は、前記画像群生成部で生成された複数の画像群それぞれに関し、前記抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きい画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返すことにより、前記原画像および前記１つ以上の補間画像それぞれの中から特定種類のオブジェクトを検出するものであることを特徴とする（２７）記載のオブジェクト検出装置。
【０２９８】
（２９）前記フィルタ記憶部が、１つの広さの領域につき複数種類の、それぞれが、特定種類のオブジェクトの輪郭および内部のうちのいずれかの特徴量を算出するフィルタを記憶するとともに、各フィルタにより算出される特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係を記憶するものであり、
前記段階的検出部は、１つの領域に、該領域の広さに応じた複数種類のフィルタを作用させて複数の特徴量を算出し、各特徴量に対応する各一次評価値を求め、複数の一次評価値を総合した二次評価値と閾値とを比較することにより、該領域が特定種類のオブジェクトが存在する候補領域であるか否かを判定するものであることを特徴とする（２７）又は（２８）記載のオブジェクト検出装置。
【０２９９】
（３０）前記段階的検出部で複数の領域が検出された場合における該複数の領域を、該複数の領域どうしの重なりの程度に応じて、１つの領域に統合する領域統合部をさらに備えたことを特徴とする（２７）から（２９）のうちいずれか１つに記載のオブジェクト検出装置。
【０３００】
（３１）複数フレームからなる連続画像を取得し、オブジェクト検出対象の画像として用いるための、異なるフレーム間の差分画像を作成する差分画像作成部をさらに備えたことを特徴とする（２７）から（３０）のうちいずれか１つに記載のオブジェクト検出装置。
【０３０１】
（３２）前記フィルタ記憶部が、人間の頭部が存在する確率を表わす評価値を生成する複数のフィルタからなるフィルタ群を記憶するものであって、当該オブジェクト検出装置は画像内にあらわれる人間の頭部を検出対象とするものであることを特徴とする（２７）から（３１）のうちいずれか１つに記載のオブジェクト検出装置。
【０３０２】
（３３）プログラムを実行する演算装置内で実行され、該演算装置を、二次元的に配列された画素で表現された画像から特定種類のオブジェクトを検出するオブジェクト検出装置として動作させるオブジェクト検出プログラムであって、
前記演算装置を、
画像上の二次元的に広がる領域に作用し該領域内に特定種類のオブジェクトが存在する確率を表わす評価値を生成するフィルタであって、画像上の領域の広さに対応する画素数が所定比率で異なる、又は所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する複数のフィルタからなるフィルタ群を記憶しておくフィルタ記憶部、
オブジェクト検出対象の原画像を構成する画素を前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、原画像と一枚以上の間引画像とからなる画像群を生成する画像群生成部、および
前記画像群生成部により生成された画像群のうちの相対的に小さい第１の画像に、前記フィルタ記憶部に記憶されたフィルタ群のうちの相対的に狭い領域に作用する第１のフィルタを作用させて所定の第１の閾値を越える評価値が得られる一次候補領域を抽出する第１の抽出過程と、
前記画像群生成部により生成された画像群のうちの前記第１の画像よりも画素数が一段階多い第２の画像の、前記一次候補領域に相当する領域に、前記フィルタ記憶部に記憶されたフィルタ群のうちの前記第１のフィルタよりも一段階広い領域に作用する第２のフィルタを作用させて所定の第２の閾値を越える評価値が得られる二次候補領域を抽出する第２の抽出過程と
を含む複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きい画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返すことにより、前記原画像中から特定種類のオブジェクトを検出する段階的検出部を有するオブジェクト検出装置として動作させることを特徴とするオブジェクト検出プログラム。
【０３０３】
（３４）前記画像群生成部が、前記画像群の生成に加え、さらに、前記原画像に補間演算を施すことにより、前記画像群を構成する、該原画像を前記所定比率で間引いて得られた間引画像の画素数よりも多く、かつ該原画像の画素数よりも少ない画素数の範囲内の１つの補間画像又は該範囲内で画素数が互いに異なる複数の補間画像を生成し、生成した１つ以上の補間画像それぞれについて、当該補間画像を構成する画素を前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、当該補間画像と当該補間画像の画素を間引いて得られた一枚以上の間引画像とからなる新たな画像群を生成するものであり、
前記段階的検出部は、前記画像群生成部で生成された複数の画像群それぞれに関し、前記抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きい画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返すことにより、前記原画像および前記１つ以上の補間画像それぞれの中から特定種類のオブジェクトを検出するものであることを特徴とする（３３）記載のオブジェクト検出プログラム。
【０３０４】
（３５）前記フィルタ記憶部が、１つの広さの領域につき複数種類の、それぞれが、特定種類のオブジェクトの輪郭および内部のうちのいずれかの特徴量を算出するフィルタを記憶するとともに、各フィルタにより算出される特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係を記憶するものであり、
前記段階的検出部は、１つの領域に、該領域の広さに応じた複数種類のフィルタを作用させて複数の特徴量を算出し、各特徴量に対応する各一次評価値を求め、複数の一次評価値を総合した二次評価値と閾値とを比較することにより、該領域が特定種類のオブジェクトが存在する候補領域であるか否かを判定するものであることを特徴とする（３３）又は（３４）記載のオブジェクト検出プログラム。
【０３０５】
（３６）前記演算装置を前記段階的検出部で複数の領域が検出された場合における該複数の領域を、該複数の領域どうしの重なりの程度に応じて、１つの領域に統合する領域統合部をさらに有するオブジェクト検出装置として動作させることを特徴とする（３３）から（３５）のうちいずれか１つに記載のオブジェクト検出プログラム。
【０３０６】
（３７）前記演算装置を、複数フレームからなる連続画像を取得し、オブジェクト検出対象の画像として用いるための、異なるフレーム間の差分画像を作成する差分画像作成部をさらに有するオブジェクト検出装置として動作させることを特徴とする（３３）から（３６）のうちいずれか１つに記載のオブジェクト検出プログラム。
【０３０７】
（３８）前記フィルタ記憶部が、人間の頭部が存在する確率を表わす評価値を生成する複数のフィルタからなるフィルタ群を記憶するものであって、当該オブジェクトプログラムは、前記演算装置を、画像内にあらわれる人間の頭部を検出対象とするオブジェクト検出装置として動作させることを特徴とする（３３）から（３７）のうちいずれか１つに記載のオブジェクト検出プログラム。
【符号の説明】
【０３０８】
１０ 被計測空間
１０ 監視カメラ
１１，１２，１３ 人物
１１ａ〜１３ａ，ａ１，ａ２，ｂ１〜ｂ５，ｃ３，ｄ３，ｄ５，ｅ３ 頭部
２０ カメラ
３０ パーソナルコンピュータ
３１ 本体装置
４０ 人物追跡装置
４１ 頭部検出部
４２ 特徴量算出部
４３ 関連度算出部
４４ 同一人物判別部
４５ 断片削除部
４６ 制御部
１１０ 画像群生成部
１２０ 輝度補正部
１３０ 差分画像作成部
１４０ 段階的検出部
１４１ 一次評価値算出部
１４２ 二次評価値算出部
１４３ 領域抽出部
１５０ 領域統合部
１７０ 領域抽出演算制御部
２００ 画像
２０１ 静止画像
２０２ 動画像
２１０ アフィン変換処理
２２０ 多重解像度展開処理
２３０ 輝度補正処理
２４０ 差分演算処理
２５０ 切出処理
２５１ 教師画像群
２５１Ａ〜Ｃ 教師画像
２６０ フィルタ候補
２７０Ａ〜Ｃ フィルタ
４６１ 記憶部
【技術分野】
【０００１】
本発明は、カメラで捉えた人物の動きを追跡する人物追跡方法、人物追跡装置および人物追跡プログラムに関する。
【背景技術】
【０００２】
人物追跡方法は、追跡開始のための人物検出処理と検出された人物の特徴に着目してその人物を追跡していく処理との２つの処理により構成される。人物検出処理では、背景との差分や時間的な差分を検出したり（特許文献１，２参照）、あるいは人物のある特徴に着目してその特徴が存在するか否かにより人物の検出が行なわれる。また、人物追跡処理では、カルメンフィルタなどを用いた追跡処理が一般的である。このような従来手法の場合、以下の問題点がある。
【０００３】
背景差分や時間差分などの差分演算により人物を検出する方法は、その背景や画像の時間変化等に依存し、複雑な背景等の場合は正しい背景画像等が作られず検出能力が低下するおそれがある。
【０００４】
また、カルメンフィルタなどを用いた追跡処理は計算量が多く、処理に時間を要する。また、カルメンフィルタなどを正しく作用させるには高いフレームレートが必要であり、このことが処理を一層重くしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−１０５８３５号公報
【特許文献２】特開２００２−３４２７６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、上記事情に鑑み、カルメンフィルタなどを用いた追跡処理と比べ軽い処理で人物を追跡することのできる人物追跡方法、人物追跡装置および人物追跡プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成する本発明の人物追跡方法は、
被計測空間をカメラで撮影することにより生成された所定のフレームレートの動画像を表わす画像データに基づいて、その動画像を構成する複数のフレーム画像のうちの複数の計測対象フレーム画像それぞれについて、各計測対象フレーム画像上の頭部を検出する頭部検出ステップと、
上記画像データに基づいて、各計測対象フレーム画像上に頭部が検出された人物を特徴づける特徴量を、各計測対象フレーム画像ごとおよび各頭部ごとに算出する特徴量算出ステップと、
過去の計測対象フレーム画像上に頭部が検出された各人物の過去の計測対象フレーム画像上の各特徴量と、今回の計測対象フレーム画像上に頭部が検出された各人物の今回の計測対象フレーム画像上の各特徴量との間の、特徴量どうしの一致の程度を表わす関連度を算出する関連度算出ステップと、
今回の計測対象フレーム画像上に検出された頭部のうちの、過去の計測対象フレーム画像上に検出された頭部のうちの第１の頭部を持つ人物の過去の計測対象フレーム画像上の特徴量と今回の計測対象フレーム画像上に検出された各頭部を持つ各人物の該今回の計測対象フレーム画像上の各特徴量との間の各関連度のうちの第１の閾値以上の一致の程度を表わす関連度であってかつ最大の一致の程度を表わす関連度の算出の基になった頭部を、上記第１の頭部を持つ人物と同一の人物の頭部である旨、判別する同一人物判別ステップとを有することを特徴とする。
【０００８】
本発明の人物追跡方法は、複数の計測対象フレーム画像それぞれについて頭部を検出し、頭部が検出された人物を特徴づける特徴量と特徴量どうしの関連度とに基づいて複数の計測対象フレーム画像に跨る頭部どうしを対応づける処理を実行するものであり、カルメンフィルタ等を用いるよりも軽い処理で人物を追跡することができる。
【０００９】
ここで、本発明の人物追跡方法において、連続する複数の第１の計測対象フレーム画像に亘って互いに同一の第１の人物に属することが判別された頭部が検出され、その第１の人物に属する頭部が途中の１つ又は第２の閾値以下の数だけ連続する複数の計測対象フレーム画像では途切れ、その後、連続する複数の第２の計測対象フレーム画像に亘って同一の第２の人物に属することが判別された頭部が検出された場合に、
上記特徴量算出ステップは、上記複数の第１の計測対象フレーム画像における上記第１の人物の平均的な第１の平均特徴量と、上記複数の第２の計測対象フレーム画像における上記第２の人物の平均的な第２の平均特徴量とを算出するものであり、
上記関連度算出ステップは、上記第１の平均特徴量と上記第２の平均特徴量との間の関連度を算出するものであり、
上記同一人物判別ステップは、上記第１の平均特徴量と上記第２の平均特徴量との間の関連度が第２の閾値以上の一致の程度を表わす関連度である場合に、上記第１の人物と上記第２の人物が同一人物である旨、判別するものであることが好ましい。
【００１０】
こうすることにより、頭部の検出漏れや人物が一時的に何かの背後に移動したりなど、計測対象フレーム画像上から一旦消えた場合であっても追跡が可能となる。
【００１１】
また、本発明の人物追跡方法において、１つ又は第３の閾値以下の数だけ連続する複数の計測対象フレーム画像にのみ第３の人物の頭部として検出され前後の計測対象フレーム画像にはその頭部に対応する第３の人物の頭部が検出されない場合に、その頭部を、検出された頭部から削除する断片削除ステップをさらに有することが好ましい。
【００１２】
この断片削除ステップを設けると、検出された頭部が削除され、一層高精度な追跡が可能となる。
【００１３】
ここで、上記特徴量算出ステップは、計測対象フレーム画像上に検出された頭部の画素値のヒストグラムを上記特徴量の１つとして算出するステップであってもよく、また、上記特徴量算出ステップは、計測対象フレーム画像上の頭部が検出された人物の胴体部分の画素値のヒストグラムを上記特徴量の１つとして算出するステップであってもよい。さらに、上記特徴量算出ステップは、今回の計測対象フレーム画像上に検出された頭部の今回の計測対象フレーム画像上の出現位置を変数とする、過去の複数の計測対象フレーム画像上の同一人物の頭部の動きに基づく関数値を上記特徴量の１つとして算出するステップであってもよい。
【００１４】
本発明では、このような各種の特徴量を採用することができる。
【００１５】
また、本発明の人物追跡装置は、
被計測空間をカメラで撮影することにより生成された所定のフレームレートの動画像を表わす画像データに基づいて、上記動画像を構成する複数のフレーム画像のうちの複数の計測対象フレーム画像それぞれについて、各計測対象フレーム画像上の頭部を検出する頭部検出部と、
上記画像データに基づいて、各計測対象フレーム画像上に頭部が検出された人物を特徴づける特徴量を、各計測対象フレーム画像ごとおよび各頭部ごとに算出する特徴量算出部と、
過去の計測対象フレーム画像上に頭部が検出された各人物の過去の計測対象フレーム画像上の各特徴量と、今回の計測対象フレーム画像上に頭部が検出された各人物の今回の計測対象フレーム画像上の各特徴量との間の、特徴量どうしの一致の程度を表わす関連度を算出する関連度算出部と、
今回の計測対象フレーム画像上に検出された頭部のうちの、過去の計測対象フレーム画像上に検出された頭部のうちの第１の頭部を持つ人物の過去の計測対象フレーム画像上の特徴量と今回の計測対象フレーム画像上に検出された各頭部を持つ各人物の今回の計測対象フレーム画像上の各特徴量との間の各関連度のうちの第１の閾値以上の一致の程度を表わす関連度であってかつ最大の一致の程度を表わす関連度の算出の基になった頭部を、上記第１の頭部を持つ人物と同一の人物の頭部である旨、判別する同一人物判別部とを備えたことを特徴とする。
【００１６】
ここで、本発明の人物追跡装置において、連続する複数の第１の計測対象フレーム画像に亘って互いに同一の第１の人物に属することが判別された頭部が検出され、その第１の人物に属する頭部が途中の１つ又は第２の閾値以下の数だけ連続する複数の計測対象フレーム画像では途切れ、その後、連続する複数の第２の計測対象フレーム画像に亘って同一の第２の人物に属することが判別された頭部が検出された場合に、
上記特徴量算出部は、上記複数の第１の計測対象フレーム画像における上記第１の人物の平均的な第１の平均特徴量と、上記複数の第２の計測対象フレーム画像における前記第２の人物の平均的な第２の平均特徴量とを算出するものであり、
上記関連度算出部は、上記第１の平均特徴量と上記第２の平均特徴量との間の関連度を算出するものであり、
上記同一人物判別部が、上記第１の平均特徴量と上記第２の平均特徴量との間の関連度が第２の閾値以上の一致の程度を表わす関連度である場合に、上記第１の人物と上記第２の人物が同一人物である旨、判別するものであることが好ましい。
【００１７】
さらに、本発明の人物追跡装置において、１つ又は第３の閾値以下の数だけ連続する複数の計測対象フレーム画像にのみ第３の人物の頭部が検出され前後の計測対象フレーム画像にはその頭部に対応する第３の人物の頭部が検出されない場合に、その頭部を、検出された頭部から削除する断片削除部をさらに備えることが好ましい。
【００１８】
ここで、上記特徴量算出部は、計測対象フレーム画像上に検出された頭部の画素値のヒストグラムを上記特徴量の１つとして算出するものであってもよく、また、上記特徴量算出部は、計測対象フレーム画像上の頭部が検出された人物の胴体部分の画素値のヒストグラムを上記特徴量の１つとして算出するものであってもよい。さらに、上記特徴量算出部は、今回の計測対象フレーム画像上に検出された頭部の今回の計測対象フレーム画像上の出現位置を変数とする、過去の複数の計測対象フレーム画像上の同一人物の頭部の動きに基づく関数値を上記特徴量の１つとして算出するものであってもよい。
【００１９】
さらに、本発明の人物追跡プログラムは、プログラムを実行する演算装置内で実行され、その演算装置を、
被計測空間をカメラで撮影することにより生成された所定のフレームレートの動画像を表わす画像データに基づいて、上記動画像を構成する複数のフレーム画像のうちの複数の計測対象フレーム画像それぞれについて、各計測対象フレーム画像上の頭部を検出する頭部検出部と、
上記画像データに基づいて、各計測対象フレーム画像上に頭部が検出された人物を特徴づける特徴量を、各計測対象フレーム画像ごとおよび各頭部ごとに算出する特徴量算出部と、
過去の計測対象フレーム画像上に頭部が検出された各人物の過去の計測対象フレーム画像上の各特徴量と、今回の計測対象フレーム画像上に頭部が検出された各人物の今回の計測対象フレーム画像上の各特徴量との間の、特徴量どうしの一致の程度を表わす関連度を算出する関連度算出部と、
今回の計測対象フレーム画像上に検出された頭部のうちの、過去の計測対象フレーム画像上に検出された頭部のうちの第１の頭部を持つ人物の過去の計測対象フレーム画像上の特徴量と今回の計測対象フレーム画像上に検出された各頭部を持つ各人物の今回の計測対象フレーム画像上の各特徴量との間の各関連度のうちの第１の閾値以上の一致の程度を表わす関連度であってかつ最大の一致の程度を表わす関連度の算出の基になった頭部を、上記第１の頭部を持つ人物と同一の人物の頭部である旨、判別する同一人物判別部とを備えた人物追跡装置として動作させることを特徴とする。
【００２０】
ここで、本発明の人物追跡プログラムにおいて、連続する複数の第１の計測対象フレーム画像に亘って互いに同一の第１の人物に属することが判別された頭部が検出され、その第１の人物に属する頭部が途中の１つ又は第２の閾値以下の数だけ連続する複数の計測対象フレーム画像では途切れ、その後、連続する複数の第２の計測対象フレーム画像に亘って同一の第２の人物に属することが判別された頭部が検出された場合に、
上記特徴量算出部は、上記複数の第１の計測対象フレーム画像における上記第１の人物の平均的な第１の平均特徴量と、上記複数の第２の計測対象フレーム画像における前記第２の人物の平均的な第２の平均特徴量とを算出するものであり、
上記関連度算出部は、上記第１の平均特徴量と上記第２の平均特徴量との間の関連度を算出するものであり、
上記同一人物判別部が、上記第１の平均特徴量と上記第２の平均特徴量との間の関連度が第２の閾値以上の一致の程度を表わす関連度である場合に、上記第１の人物と上記第２の人物が同一人物である旨、判別するものであることが好ましい。
【００２１】
さらに、本発明の人物追跡プログラムにおいて、上記演算装置を、１つ又は第３の閾値以下の数だけ連続する複数の計測対象フレーム画像にのみ第３の人物の頭部が検出され前後の計測対象フレーム画像にはその頭部に対応する第３の人物の頭部が検出されない場合に、その頭部を、検出された頭部から削除する断片削除部をさらに有する人物追跡装置として動作させることが好ましい。
【００２２】
ここで、上記特徴量算出ステップは、計測対象フレーム画像上に検出された頭部の画素値のヒストグラムを上記特徴量の１つとして算出するステップであってもよく、また、上記特徴量算出ステップは、計測対象フレーム画像上の頭部が検出された人物の胴体部分の画素値のヒストグラムを上記特徴量の１つとして算出するステップであってもよい。さらに、上記特徴量算出ステップは、今回の計測対象フレーム画像上に検出された頭部の今回の計測対象フレーム画像上の出現位置を変数とする、過去の複数の計測対象フレーム画像上の同一人物の頭部の動きに基づく関数値を上記特徴量の１つとして算出するステップであってもよい。
【発明の効果】
【００２３】
以上の本発明によれば、カルメンフィルタなどを用いた追跡処理と比べ軽い処理で人物を追跡することができる。
【図面の簡単な説明】
【００２４】
【図１】被計測空間をカメラで撮影している様子を示す模式図である。
【図２】撮影により得られた動画像を構成する複数のフレーム画像を示す図である。
【図３】各フレーム画像上に検出された頭部を丸印で模式的に示した図である。
【図４】各頭部を持つ人物の特徴量を示す図である。
【図５】近似した特徴量による頭部どうしの対応づけを示した図である。
【図６】前後分断対応づけ処理の概念図である。
【図７】前後分断対応づけ処理の処理結果を示す概念図である。
【図８】最終的に得られた、各フレーム画像上の頭部とそれらの頭部どうしの対応づけを示す図である。
【図９】本発明の一実施形態が組み込まれた監視カメラシステムの概略構成図である。
【図１０】図９に１つのブロックで示すパーソナルコンピュータの外観斜視図である。
【図１１】パーソナルコンピュータのハードウエア構成図である。
【図１２】人物追跡方法の一例を示すフローチャートである。
【図１３】人物追跡装置の一例を示すブロック図である。
【図１４】本実施形態で採用している特徴量一覧を示す図である。
【図１５】「頭部」および「胴体」の説明図である。
【図１６】ヒストグラムの概念図である。
【図１７】ある店舗内の様子を撮影した画像（Ａ）と、頭部の寸法の分布（Ｂ）を示した図である。
【図１８】撮影画像上の頭部の動き（図１８（Ａ））と、頭部寸法（Ｓｉｚｅ）と画像高さ（Ｙ）との間の近似直線（図１８（Ｂ））とを示す図である。
【図１９】トップビューにおける、水平方向（Ｘ方向）に移動したときの（９）式に従って描いた曲線と、円を描いた図である。
【図２０】トップビューにおける、垂直方向（Ｙ方向）に移動したときの（９）式に従って描いた曲線と、円を描いた図である。
【図２１】Ｘ方向に等速直線運動をしたときの正規化均等移動距離を示す曲線と、トップビューでの円形（図１９参照）を撮影画像上に写像した曲線を示した図である。
【図２２】Ｙ方向に等速直線運動をしたときの正規化均等移動距離を示す曲線と、トップビューでの円形（図２０参照）を撮影画像上に写像した曲線を示す図である。
【図２３】時刻ｔ＋１のフレーム画像上に検出された頭部と正規化均等移動距離を示す曲線を示した図である。
【図２４】（１２）式で求められる比率Ｒと運動特徴量との関係を示す図である。
【図２５】頭部検出ステップの詳細を含む頭部検出方法のフローチャートである。
【図２６】図１３に１つのブロックで示す頭部検出部の詳細ブロック図である。
【図２７】図２５に示す頭部検出方法の学習ステップＳ１０の詳細フロー図である。
【図２８】多重解像度展開処理の説明図である。
【図２９】動画像の差分処理の説明図である。
【図３０】フィルタの構造の説明図である。
【図３１】各種のフィルタを図解して例示した図である。
【図３２】機械学習の概念図である。
【図３３】教師画像の概念図である。
【図３４】各種フィルタとそれらのフィルタの学習結果を示す概念図である。
【図３５】教師画像の重み付けを示す説明図である。
【図３６】８×８画素用のフィルタの抽出が終了し、１６×１６画素のフィルタの学習への移行時の重み付け方法の説明図である。
【図３７】画像群生成部の処理を示す模式図である。
【図３８】領域統合部における領域統合処理の説明図である。
【発明を実施するための形態】
【００２５】
以下、本発明の実施形態について説明する。
【００２６】
以下では先ず、本実施形態での処理の概要を説明する。
【００２７】
図１は、被計測空間をカメラで撮影している様子を示す模式図である。
【００２８】
ここには、被計測空間１０に３人の人物１１，１２，１３が存在し、自由に移動している。この被計測空間１０は、例えばある１つの店舗内である。また、ここには、この被計測空間１０を斜めに見下す位置にカメラ２０が設置されている。このカメラ２０は、この被計測空間１０を撮影して所定のフレームレートの動画像を表わす画像データを生成するカメラである。この被計測空間１０に存在する３人の人物１１，１２，１３は、カメラ２０により撮影され、そのカメラ２０での撮影により得られた画像データに基づいて、各人物１１，１２，１３の頭部１１ａ，１２ａ，１３ａが写し込まれている、撮影画像上の領域が抽出される。ここではこれを、頭部が検出される、と称する。カメラ２０による動画像上での３人の人物１１，１２，１３の位置は刻々と変化し、この被計測空間１０内に新たな人物が入り込んだり、あるいはこの被計測空間１０内に居た人物がこの被計測空間１０外に立ち去ることもある。
【００２９】
ここでは、このような環境下で、カメラ２０での撮影により得られた画像データに基づいて、人物の頭部の検出、人物の特徴量の算出、特徴量どうしの関連度の算出、等が行なわれ、さらに異なるフレーム画像内に検出された頭部が同一人物に属する頭部であるか否かの判別が行なわれて、被計測空間１０内の各人物の動きが追跡される。
【００３０】
図２は、カメラでの撮影により得られた動画像を構成する複数のフレーム画像を示す図である。ここには、…，ｔ−４，ｔ−３，ｔ−２，ｔ−１，ｔ，…の各時刻に撮影されたフレーム画像が、それぞれ細長い縦枠で模式的に示されている。
【００３１】
尚、ここに示す各フレーム画像は、カメラ２０のフレームレートに従ったフレーム画像であってもよく、あるいは、ここでの人物追跡の目的、演算処理量、必要な精度等に応じて、フレームレートに従ったフレーム画像を間引いたものであってもよい、例えば、カメラ２０が１秒あたり３０枚のフレーム画像を生成するカメラである場合において、図２に縦枠で示すフレーム画像は、９枚おきのフレーム画像、すなわち、１秒あたり３枚のフレーム画像にまで間引いたものであってもよい。
【００３２】
図３は、各フレーム画像上に検出された頭部を丸印で模式的に示した図である。
【００３３】
例えばｔ−４の時刻のフレーム画像上には頭部が４つ検出され、ｔ−３の時刻のフレーム画像上には頭部が５つ検出されている。他のフレーム画像についても同様である。
【００３４】
図４は、各頭部が持つ人物の特徴量を示す図である。特徴量の求め方については後述する。
【００３５】
頭部を表わす各丸印内の模様は、求められた特徴量を模式的に示しており、同一の模様は互いに近似した特徴量が求められたことを示している。
【００３６】
図５は、近似した特徴量による頭部どうしの対応づけを示した図である。
【００３７】
ここでは、例えばｔ−４のフレーム画像上の頭部ａ１の特徴量と、ｔ−３のフレーム画像上の各頭部ｂ１，ｂ２，ｂ３，ｂ４，ｂ５の各特徴量との間で、特徴量どうしの一致の程度を表わす各関連度が求められ、それらの関連度に基づいて、頭部ｂ１，ｂ２，ｂ３，ｂ４，ｂ５の各人物のうちのどの人物が頭部ａ１の人物と同一の人物であるかが判別され、同一人物であると判別された頭部どうしが対応づけられる。
【００３８】
ここで頭部ｂ１，ｂ２，…，ｂ５のうちの頭部ａ１に対応づけられる頭部は、各２つの頭部のペアａ１−ｂ１，ａ１−ｂ２，ａ１−ｂ３，ａ１−ｂ４，ａ１−ｂ５に関する５つの関連度のうちの、特徴量どうしの一致の程度が最高の関連度を持つ頭部である。さらに、最高の関連度であるだけでは不充分であり、一致の程度がある第１の閾値を越えている必要がある。なぜなら、ｔ−３のフレーム画像上に頭部が１つしか検出されない場合、頭部ａ１とｔ−３のフレーム画像上に検出された１つの頭部との関連度が最高ということになるが、ｔ−３のフレーム画像上に検出された１つの頭部はノイズを頭部と誤検出したものである可能性もあるからである。
【００３９】
ここでは、ｔ−３のフレーム画像上の５つの頭部ｂ１，ｂ２，…，ｂ５のうちの頭部ｂ２が上記の条件を満足し、頭部ａ１と対応づけられている。他の頭部どうしの対応づけも同様である。
【００４０】
図６は、前後分断対応づけ処理の概念図である。
【００４１】
図５を参照して説明したようにして、頭部ａ２と頭部ｂ３とが対応づけられ、かつ頭部ｄ３と頭部ｅ３が対応づけられたものとする。ただしｔ−２のフレーム画像上には、ａ２−ｂ３，ｄ３−ｅ３のいずれにも対応づけられる頭部は検出されていない。このような状況下では、頭部ａ２に関する特徴量と頭部ｂ３に関する特徴量との平均的な第１の特徴量が算出され、これと同様に頭部ｄ３に関する特徴量と頭部ｅ３に関する特徴量との平均的な第２の平均特徴量が算出され、第１の平均特徴量と第２の平均特徴量との間の関連度が算出され、その関連度がある第３の閾値以上である場合に頭部ａ２−ｂ３と頭部ｄ３−ｅ３が、同一人物に属する頭部であると判定され、ｔ−２のフレーム画像上の、頭部ａ２−ｂ３，頭部ｄ３―ｅ３を滑らかに結ぶ線分上にその同一人物に属する頭部ｃ３が存在するものとして頭部ｃ３が追加される。
【００４２】
ここで、第３の閾値は、上記の第１の閾値と同じである必要はなく、この状況にふさわしい閾値が定められている。
【００４３】
尚、平均特徴量を求めるにあたって前後いくつずつのフレーム画像についての特徴量の平均的な値を求めるか、又は、いくつ連続するフレーム画像まで欠けていた頭部を修復するかは、特に限定されるものではなく、人物追跡の目的や必要な精度等に応じて決められるものである。
【００４４】
図７は、前後分断対応づけ処理の処理結果を示す概念図である。
【００４５】
ここでは、図６を参照して説明した処理によりｔ−２のフレーム画像上に頭部ｃ３が存在することが追加され、その頭部ｃ３がその前後のフレーム画像上の頭部ａ２−ｂ３，ｄ３−ｅ３と同一人物に属する頭部であることの対応づけがなされている。ただし、頭部ｂ５，ｄ５，ｅ１については、他の頭部と対応づけられることなく、単独で存在している。また、頭部ｂ１−ｃ１−ｄ１は、ｔ−３，ｔ−２，ｔ−１の３枚のフレーム画像でのみ対応づけられていて、その前後のフレーム画像には対応づけられていない。ここでは、このような単独に存在する頭部や、連続する一部のフレーム画像にのみ対応づけられている頭部は何らかのノイズ等による誤検出とみなして削除する。
【００４６】
図８は、最終的に得られた各フレーム画像上の頭部とそれらの頭部どうしの対応づけを示す図である。
【００４７】
ここでは、この図に示すように３人の人物の動きが正確に追跡されている。
【００４８】
以上の概要を踏まえ、本発明の実施形態についてさらに説明する。
【００４９】
図９は、本発明の一実施形態が組み込まれた監視カメラシステムの概略構成図である。
【００５０】
図９に示す監視カメラシステム１の概略構成図には、監視カメラ２０と、本発明にいう人物追跡装置の一実施形態として動作するパーソナルコンピュータ３０とが示されている。
【００５１】
監視カメラ２０は、例えばある店舗内を見下すように設置されたものであって、店内の様子を撮影するものである。この監視カメラ２０は、パーソナルコンピュータ３０に接続されており、動画像を表す画像データをパーソナルコンピュータ３０に向けて送信する。尚、以下では、データ上の画像も単に「画像」と称する。
【００５２】
パーソナルコンピュータ３０は、監視カメラ２０から送信されてきた動画像を受け取る。
【００５３】
監視カメラ２０は本発明の主題ではないため詳細な説明を省略し、以下では、本発明の一実施形態の頭部検出装置として動作するパーソナルコンピュータ３０についてさらに説明する。
【００５４】
図１０は、図９に１つのブロックで示すパーソナルコンピュータ３０の外観斜視図、図１１は、そのパーソナルコンピュータ３０のハードウエア構成図である。
【００５５】
ここでは、このパーソナルコンピュータ３０のハードウエアおよびＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）と、このパーソナルコンピュータ３０にインストールされて実行される人物追跡プログラムとにより、本発明の一実施形態としての人物追跡装置が構成されている。
【００５６】
このパーソナルコンピュータ３０は、外観構成上、本体装置３１、その本体装置３１からの指示に応じて表示画面３２ａ上に画像を表示する画像表示装置３２、本体装置３１に、キー操作に応じた各種の情報を入力するキーボード３３、および、表示画面３２ａ上の任意の位置を指定することにより、その指定時にその位置に表示されていた、例えばアイコン等に応じた指示を入力するマウス３４を備えている。この本体装置３１は、外観上、光磁気ディスク（ＭＯ）を装填するためのＭＯ装填口３１ａ、およびＣＤやＤＶＤを装填するためのＣＤ／ＤＶＤ装填口３１ｂを有する。
【００５７】
本体装置３１の内部には、図１１に示すように、各種プログラムを実行するＣＰＵ３０１、ハードディスク装置３０３に格納されたプログラムが読み出されＣＰＵ３０１での実行のために展開される主メモリ３０２、各種プログラムやデータ等が保存されたハードディスク装置３０３、ＭＯ３３１が装填されてその装填されたＭＯ３３１をアクセスするＭＯドライブ３０４、ＣＤやＤＶＤ（ここでは区別せずにＣＤ／ＤＶＤと称する）が装填され、その装填されたＣＤ／ＤＶＤ３３２をアクセスするＣＤ／ＤＶＤドライブ３０５、および監視カメラ２０での撮影により得られた画像データを受信するインターフェース３０６が内蔵されている。これらの各種要素と、さらに図２にも示す画像表示装置３２、キーボード３３、およびマウス３４は、バス３０７を介して相互に接続されている。
【００５８】
ここで、ＣＤ／ＤＶＤ３３２には、このパーソナルコンピュータを人物追跡装置として動作させるための人物追跡プログラムが記憶されており、そのＣＤ／ＤＶＤ３３２は、ＣＤ／ＤＶＤドライブ３０５に装填され、そのＣＤ／ＤＶＤ３３２に記憶された人物追跡プログラムがこのパーソナルコンピュータ３０にアップロードされてハードディスク３０３に格納される。このハードディスク装置３０３に格納された人物追跡プログラムは、このハードディスク装置３０３から読み出され主メモリ３０２上に展開されてＣＰＵ３０１で実行されることにより、このパーソナルコンピュータ３０が人物追跡装置として動作する。
【００５９】
また、ハードディスク装置３０３には、人物追跡プログラムの他にも、カメラ２０による撮影画像に写し込まれた人物頭部の寸法と操作画像上の高さ位置との間の、統計的に平均的な対応関係を算出する処理を実行するためのプログラムや、画像表示装置３２の表示画面３２ａの上に画像を表示し、オペレータの操作に応じて、その画像を縦横独立に変倍したり回転したり一部を切り出したりなど、その画像に様々な画像処理を施すための画像処理プログラムや、後述するような機械学習を行なってフィルタを抽出するためプログラムなど、後述する処理を実現するための各種の支援プログラムも格納されている。
【００６０】
図１２は、図９〜図１１に示すパーソナルコンピュータ３０を利用して実施される人物追跡方法の一例を示すフローチャートである。
【００６１】
この人物追跡方法は、頭部検出ステップ（Ｓ０１）、特徴量算出ステップ（Ｓ０２）、関連度算出ステップ（Ｓ０３）、同一人物判別ステップ（Ｓ０４）、および断片削除ステップ（Ｓ０６）を有し、さらに同一人物判別ステップ（Ｓ０４）と断片削除ステップ（Ｓ０６）との間には、前述の図６を参照して説明した処理を実行する状況にあるか否かを判定する判定ステップ（Ｓ０５）が置かれている。各ステップの詳細説明は後に譲る。
【００６２】
図１３は、人物追跡装置の一例を示すブロック図である。この人物追跡装置４０は、図９〜図１１に示すパーソナルコンピュータ３０内にアップロードされた人物追跡プログラムがパーソナルコンピュータ３０内で実行されることによりそのパーソナルコンピュータ３０内に実現されるアルゴリズムであり、頭部検出部４１、特徴量算出部４２、関連度算出部４３、同一人物判別部４４、および断片削除部４５を有する。
【００６３】
図１２に示す人物追跡方法との対比では、頭部検出部４１、特徴量算出部４２、関連度算出部４３、同一人物判別部４４、および断片削除部４５が、それぞれ、図１２に示す頭部検出ステップ（Ｓ０１）、特徴量算出ステップ（Ｓ０２）、関連度算出ステップ（Ｓ０３）、同一人物判別ステップ（Ｓ０４）、および断片削除ステップ（Ｓ０６）に相当し、制御部４６が、判定ステップ（Ｓ０５）に相当する。
【００６４】
尚、パーソナルコンピュータ３０内で人物追跡プログラムが実行されたときの人物追跡プログラムの作用は、図１３に示す人物追跡装置４０の作用と同一であり、ここでは人物追跡プログラムを取り上げての図示および説明は省略する。
【００６５】
以下では、図１３に示す人物追跡装置４０の各部の作用について概括的に説明する。この説明により人物追跡プログラムおよび図１２に示す人物追跡方法の各ステップの説明を兼ねるものとする。
【００６６】
図１３に示す人物追跡装置４０を構成する頭部検出部４１は、被計測空間をカメラで撮影することにより生成された所定のフレームレートの動画像を表わす画像データに基づいて、その動画像を構成する複数のフレーム画像のうちの複数の計測対象フレーム画像それぞれについて、各計測フレーム画像上の頭部を検出する役割りを担っている。ここでは、頭部の、計測対象フレーム画像上の二次元的な位置と、その頭部の縦横の寸法が検出される。ここで用いているカメラは、図１に示すように、被計測空間を斜めに見下す位置に設置されてその被計測空間を撮影するカメラである。ここでは、「フレーム画像」と「計測対象フレーム画像」とを分けた概念として説明しているが、前述した通り、計測対象フレーム画像はカメラでの撮影で得られた動画像を構成するフレーム画像そのものであってもよく、そのフレーム画像を、例えば３枚おき、１０枚おき、３０枚おき、等に間引いたものであってもよい。以下では、これらを区別せずに単に「フレーム画像」と称することがある。頭部検出部４１における頭部検出処理の詳細説明は後に譲る。
【００６７】
また、特徴量算出部４２では、上記の画像データに基づいて、フレーム画像上に頭部が検出された人物を特徴づける特徴量が、各フレーム画像ごとおよび各頭部ごとに算出される。
【００６８】
また、関連度算出部４３では、過去のフレーム画像上に頭部が検出された各人物の過去のフレーム画像上の各特徴量と、今回のフレーム画像上に頭部が検出された各人物の今回のフレーム画像上の各特徴量との間の、特徴量どうしの一致の程度を表わす関連度が算出される。ここで、関連度算出のための「過去のフレーム画像」としては、典型的には、「今回フレーム画像」の「直近の」「過去のフレーム画像」が採用される。但し、「過去のフレーム画像」として、同一人物の頭部であることが判明している場合には、複数の過去のフレーム画像から求めた平均的な特徴量を採用してもよい。
【００６９】
また、同一人物判別部４４では、今回のフレーム画像上に検出された頭部のうちの、過去のフレーム画像上に検出された頭部のうちの第１の頭部を持つ人物の過去のフレーム画像上の特徴量と今回のフレーム画像上に検出された各頭部を持つ各人物の今回のフレーム画像上の各特徴量との間の各関連度のうちの第１の閾値以上の一致の程度を表わす関連度であってかつ最大の一致の程度を表わす関連度の算出の基になった頭部が、上記の第１の頭部を持つ人物と同一の人物の頭部である旨、判別される。
【００７０】
２つの頭部が同一人物の頭部であると判別するにあたっては、前述したように、ノイズ除去等のために、関連度はある閾値（ここでは第１の閾値と表現している）以上の一致の程度を表わしている必要があり、かつ、今回のフレーム画像内に複数の頭部が検出された場合などには、最高の関連度である必要がある。
【００７１】
また、断片削除部４５では、１つ又は第４の閾値以下の数だけ連続する複数のフレーム画像にのみ第３の人物の頭部が検出され前後のフレーム画像にはその頭部に対応する第３の人物の頭部が検出されない場合に、その頭部が、検出された頭部から削除される。これにより、誤検出された頭部が削除されることになる。尚、ここでは、明細書全体での統一を図るため、ここでの閾値を「第４の閾値」と称している。第４の閾値をどのように設定するかは、本実施形態に沿った人物追跡装置の実際の設計時に、その人物追跡装置の用途等に応じて適宜定められる。
【００７２】
さらに、制御部４６は、各部の制御を担うほか、「連続する複数の第１のフレーム画像に亘って互いに同一の第１の人物に属することが判別された頭部が検出され、その第１の人物に属する頭部が途中の１つ又は第２の閾値以下の数だけ連続する複数のフレーム画像では途切れ、その後、連続する複数の第２のフレーム画像に亘って同一の第２の人物に属することが判別された頭部が検出される」という条件を満足したか否かを判定する。そしてこの制御部４６は、この条件を満足したと判定した場合に、特徴量算出部４２、関連度算出部４３、および同一人物判別部４４に、それぞれ以下の処理を実行させる。
【００７３】
すなわち、上記の条件を満足した場合、特徴量算出部４２は、上記の複数の第１のフレーム画像における第１の人物の平均的な第１の平均特徴量と、上記複数の第２のフレーム画像における第２の人物の平均的な第２の平均特徴量とを算出する。また、関連度算出部４３は、上記の第１の平均特徴量と上記の第２の平均特徴量との間の関連度を算出する。さらに、同一人物判別部４４は、上記の第１の平均特徴量と上記の第２の平均特徴量との間の関連度が第３の閾値以上の一致の程度を表わす関連度である場合に、上記第１の人物と上記第２の人物が同一人物である旨、判別する。
【００７４】
制御部４６は、この判別結果を受けて、対応する頭部が欠落していたフレーム画像上のその頭部の前後の動きに適合する位置に頭部が存在するものとして取扱うよう各部を制御する。こうすることにより、頭部の検出漏れ等があっても回復することができる。
【００７５】
また制御部４６には、記憶部４６１が含まれており、この記憶部４６１には、この人物追跡装置４０を動作させるための準備段階で取得した各種データが記憶されている。詳細は後述する。
【００７６】
図１４は、本実施形態で採用している特徴量一覧を示す図である。
【００７７】
図１３に示す特徴量算出部４２では、フレーム画像上に頭部が検出された人物を特徴づける特徴量が算出されるが、本実施形態では、この特徴量算出部４２で算出される特徴量として、「アピアランス特徴量」と「運動特徴量」とを採用している。「アピアランス特徴量」は、１枚１枚のフレーム画像上の特徴を表わすものであり、ここでは、「アピアランス特徴量」として、「頭部ヒストグラム」と「胴体ヒストグラム」を採用している。以下、「頭部ヒストグラム」と「胴体ヒストグラム」および「運動特徴量」について順に説明する。
【００７８】
図１５は、「頭部」および「胴体」の説明図である。
【００７９】
前術したように、図１３に示す人物追跡装置４０の頭部検出部４１では、フレーム画像上の頭部の二次元的な位置と、その頭部の寸法が検出される。
【００８０】
そこで、特徴量算出部４２では、頭部検出部４１で検出した頭部の位置および寸法から頭部の領域が設定される。ここでは、図１５に示すように、頭部として幅ｗ×高さｈの領域が設定されたものとする。
【００８１】
次に、頭部領域の下端からさらに頭部の高さ寸法ｈの１／３だけ下がった点を上端とし、頭部と上下に並び、かつ頭部と同じ寸法ｗ×ｈの領域を胴体の領域として設定する。次いで、その頭部の領域内の多数の画素値のヒストグラムからなる「頭部ヒストグラム」および「胴体の領域内の多数の画素の画素値のヒストグラムからなる「胴体ヒストグラム」が算出される。
【００８２】
各画素の画素値は、Ｒ，Ｇ，Ｂからなる３原色の画素値の組合せで構成されており、ここではヒストグラムの算出に先立って、カメラ２０（図１参照）により撮影される被計測空間１０の照明変化に起因する影響を低減するために、下記の（１）式に基づいて正規化ｒｇｂが求められる。
【００８３】
【数１】
【００８４】
ここで、Ｒ，Ｇ，Ｂは、その画素の、Ｒ，Ｇ，Ｂの各色の画素値である。
【００８５】
次に、正規化ｒｇｂを使って、Ｒ，Ｇ，Ｂの各色ごとにヒストグラムが作成される。
【００８６】
図１６は、ヒストグラムの概念図である。
【００８７】
この図１６は、Ｒ，Ｇ，Ｂの３色のうちの１色、および頭部領域と胴体領域のうちの一方のヒストグラムを代表的に示したものである。ここでは、頭部領域のＲのヒストグラムとして説明する。
【００８８】
この図１６の横軸のｍ（ｍ＝１，２，…，Ｍ）は、Ｒ色の、（１）式で規格化された値ｒをさらに量子化した値を示している。例えばｒは、０〜２５５の範囲内の値であり、０〜７をｍ＝１，８〜１６をｍ＝２，……，２４６〜２５５をｍ＝Ｍとしたものである。縦軸は、各ｍの値の出現数（頻度）ｑを示したものである。ここでは、値ｍの出現数ｑをｑｍと表記する。
【００８９】
ここでは、頭部領域と胴体領域のそれぞれについて、かつＲ，Ｇ，Ｂの３色それぞれについて、特徴量としてのヒストグラムが算出される。
【００９０】
次に運動特徴量について説明する。
【００９１】
図１７は、被計測空間の一例である、ある店舗内の様子を撮影した画像（Ａ）と、頭部の寸法の分布（Ｂ）を示した図である。
【００９２】
図１７（Ａ）に示す店舗には、斜め上から店舗内を見下す位置にカメラが設置されており（図１参照）、そのカメラで、店舗内の、時々刻々変化する人の動きが撮影される。図１７（Ａ）はそのうちのひと駒の撮影画像である。この撮影画像上に写し出されている人物の頭部は、円形にハッチングを付して示してある。
【００９３】
店舗内を斜め上から撮影すると、図１７（Ａ）に示すように、カメラに近い場所に居る人物は撮影画像上の下側に、頭部が大きく写し出される。一方、カメラから離れた場所に居る人物は撮影画像上の上側に、頭部が小さく写し出される。
【００９４】
図１７（Ｂ）には、この設置されたカメラで店舗内の多数の場面を撮影して得られた、頭部寸法と撮影画像内の高さ位置との関係が示されている。この図１７（Ｂ）に示すように、統計的に、寸法の大きな頭部は、撮影画像内の下側に写し出され、寸法の小さな頭部は撮影画像内の上側に写し出される。
【００９５】
ここでは、図１７（Ｂ）に示すように頭部の寸法分布を調査し、その寸法分布を直線で近似し、図中に示すように、近似直線
【００９６】
【数２】
【００９７】
の傾きＫおよびＹ切片Ｄを算出しておく。
【００９８】
人物が店舗内で、ある一定距離（例えば１．０ｍ）移動したとき、撮影画像内のカメラに近い位置に居る人物は撮影画像上では大きく移動し、カメラから離れた位置に居る人物は同じ１．０ｍ移動しても撮影画像上の移動距離は小さい。そこで、ここでは、頭部の寸法の統計量（（２）式）に基づいて、撮影画像上の移動方向および距離と店舗内での実際の移動方向および距離を対応づけている。
【００９９】
ここで、後述する頭部検出処理では、人物の頭部を囲う短形の撮影画像上の位置と、その短形の縦と横の寸法が検出される。この図１７（Ｂ）に示す横軸の「Ｓｉｚｅ」は、その短形の面積、縦軸はその短形の中心点の撮影画像上の高さ位置を示している。ただし、その短形に内接する円（又は楕円）の面積を「Ｓｉｚｅ」としてもよく、あるいは、その短形の縦寸法あるいは横寸法を「Ｓｉｚｅ」としてもよい。また、縦軸の高さ位置Ｙも、その短形の中心点に限らず、その短形の１つの角など、その短形の撮影画像上の位置を代表する点であればよい。
【０１００】
カメラの設置高さ、撮影光軸の方向、撮影レンズの焦点距離等の各種の情報が入手できれば、撮影画像上の位置と店舗内の実際の位置との対応関係を計算することは可能であるが、そのためには、店舗等の被計測空間ごとにカメラの設置高さや撮影方向等を正確に測定して入力する必要があり、カメラを設置するユーザ側に作業負担を強いることとなり、また、正確な測定値が入力される保証もない。そこで、ここでは、上記の通り、撮影画像上の頭部寸法と撮影画像上の高さとの統計的な関係（（２）式）を求めて、それを利用することとしたものである。
【０１０１】
この統計的な関係の求め方は、特に限定されるものではないが、例えば後述する頭部検出処理を使えば、カメラ設置後自動的に求めることができる。また、カメラの設置高さや撮影の向きが変更されたときは、自動的に求め直すことができる。また、一旦求めた後も、頭部のデータ数を増やして精度を更に高めていくことも可能である。
【０１０２】
本実施形態では、上記の（２）式（図１７（Ｂ）参照）を算出しておき、さらに以下の演算式に基づいて運動特徴量が算出される。
【０１０３】
図１８は、撮影画像上の頭部の動き（図１８（Ａ））と、頭部寸法（Ｓｉｚｅ）と画像高さ（Ｙ）との間の近似直線（図１８（Ｂ））とを示す図である。
【０１０４】
ここでは、時刻ｔ−１と時刻ｔとの間の人物頭部の移動をそのまま継続して時刻ｔ＋１に至るものと一旦仮定し、時刻ｔ＋１の時点の撮影画像上の頭部位置を予測する。時刻ｔ−１，ｔにそれぞれ得られた各フレーム画像上の頭部の寸法を、それぞれＳｉｚｅ（ｔ−１），Ｓｉｚｅ（ｔ）としたとき、時刻ｔ＋１に得られるフレーム画像上の頭部の寸法Ｓｉｚｅ（ｔ＋１）を、下記の（３）式に基づいて近似する。
【０１０５】
【数３】
【０１０６】
次に、撮影画像上での時刻ｔ＋１における頭部の位置を、水平方向の位置Ｘ（ｔ＋１）と垂直方向の位置Ｙ（ｔ＋１）とに分けて算出する。時刻ｔ＋１における水平方向の位置Ｘ（ｔ＋１）は、時刻ｔ−１と時刻ｔの各フレーム画像上に検出された頭部の水平方向の位置Ｘ（ｔ−１），Ｘ（ｔ）と頭部のサイズＳｉｚｅ（ｔ−１），Ｓｉｚｅ（ｔ）を用い、以下の（４）式により求められる。
【０１０７】
【数４】
【０１０８】
ここで、図１８（Ａ）に示すように、Ｓｉｚｅ（ａ）は、時刻ｔ−１の頭部サイズＳｉｚｅ（ｔ−１）と時刻ｔの頭部サイズＳｉｚｅ（ｔ）との間の中間の頭部サイズであり、Ｓｉｚｅ（ｂ）は、時刻ｔの頭部サイズＳｉｚｅ（ｔ）と（３）式で算出された時刻ｔ＋１の頭部サイズＳｉｚｅ（ｔ＋１）との中間の頭部サイズである。
【０１０９】
【数５】
【０１１０】
【数６】
【０１１１】
また、時刻ｔ＋１における垂直方向の位置は、（２）式，（３）式を用い、以下の（７）式で求められる。
【０１１２】
【数７】
【０１１３】
次に、時刻ｔと時刻ｔ＋１との間における頭部の移動方向から画面上の移動角度Ｄが下記（８）式で求められる。
【０１１４】
【数８】
【０１１５】
この移動角度Ｄは、撮影画像上の人物が実際の店舗内で時刻ｔ−１と時刻ｔとの間の移動をそのまま時刻ｔ＋１まで継続したとき、すなわち等速直線運動のときの撮影画像上での移動方向を示している。前述した通り、撮影画像内の下側に写っている人物は例えば１．０ｍ移動したとき撮影画像上で大きく移動し、撮影画像内の上側に写っている人物は同じ１．０ｍ移動しても撮影画像上では小さくしか移動しない。したがって、（８）式によって求めた、移動方向は、等速直線運動を行なったときの店舗内での移動方向ではなく、撮影画像上の移動方向である。
【０１１６】
ここで、店舗を真上から眺めたトップビューについて考える。ここでは、このトップビューにおける、下記（９）式を考慮する。
【０１１７】
【数９】
【０１１８】
ここで、‘Ａｎｇｌｅ’は、等速直線運動を仮定したときの移動方向との成す角度であり、Ｄｉｓｔ（Ａｎｇｌｅ）は、時刻ｔにおける頭部位置を原点としたときの角度Ａｎｇｌｅの方向の原点からの距離である。ここでは、このＤｉｓｔ（Ａｎｇｌｅ）をＡｎｇｌｅ方向の「均等移動距離」と称する。また、Ｄｉｓｔ（ｔ−１，ｔ）は、下記（１０）式で算出される、時刻ｔ−１と時刻ｔとの間における頭部の移動距離である。また、ｓｉｇｎ｛ｃｏｓ（Ａｎｇｌｅ）｝は、ｃｏｓ（Ａｎｇｌｅ）が正又は０のときに＋１、負のときに−１の値を取る関数である。また、α，Ａ，Ｂ，Ｃは各定数であり、例えばα=１．２５，Ａ＝３，Ｂ＝２，Ｃ＝２を採用することができる。
【０１１９】
【数１０】
【０１２０】
ここで、均等移動距離は、時刻ｔ−１と時刻ｔとの間での移動方向および移動距離から算出された、時刻ｔ＋１の時点での移動推定範囲をあらわしている。この移動推定範囲は、そのまま等速直線運動を続ける場合、同一方向に移動速度を少し速めた場合、移動方向を左右に変更した場合、急に立ち止まったり、あるいは急に逆方向に移動した場合などを含む範囲である。
【０１２１】
図１９は、トップビューにおける、水平方向（Ｘ方向）に移動したときの（９）式に従って描いた曲線と、後述する‘拉げ方’を分かり易く示すための円を描いた図である。また図２０は、垂直方向（Ｙ方向）に移動したときの同様の図である。
【０１２２】
図１９，図２０に示したｔ，ｔ＋１のポイントは、等速直線運動のときの、それぞれ時刻ｔ，ｔ＋１における頭部位置、‘Ａｎｇｌｅ’は、（９）式に示す、等速直線運動の進行方向との成す角度である。また、時刻ｔの頭部位置から‘Ａｎｇｌｅ’の方向に（９）式で算出されるＤｉｓｔ（Ａｎｇｌｅ）（均等移動距離）だけ進んだ点の座標を（Ｘ１，Ｙ１）とする。
【０１２３】
次に、（１１）式に基づいて、撮影画像上の均等移動距離、すなわち正規化された均等移動距離、ｎｏｒｍＤｉｓｔ（Ａｎｇｌｅ）を求める。
【０１２４】
【数１１】
【０１２５】
ここで、Ｄｉｓｔ（Ａｎｇｌｅ）は、（９）式で求められる値である。またＳｉｚｅ（Ｙ１）は、トップビューのときの、図１９，図２０に示す、原点からＡｎｇｌｅ方向に均等移動距離Ｄｉｓｔ（Ａｎｇｌｅ）だけ進んだ点（Ｘ１，Ｙ１）の高さ方向（Ｙ方向）の座標位置における、（２）式から算出される頭部のサイズである。さらに、Ｓｉｚｅ（ｔ）は時刻ｔにおける頭部のサイズである。
【０１２６】
図２１は、Ｘ方向に等速直線運動をしたときの（１１）式で算出される正規化された均等移動距離ｎｏｒｍＤｉｓｔ（Ａｎｇｌｅ）を示す曲線と、トップビューでの円形（図１９参照）を、（１１）式に倣って変形した曲線を示した図である。また、図２２は、Ｙ方向に等速直線運動をしたときの、（１１）式で算出される正規化された均等移動距離ｎｏｒｍＤｉｓｔ（Ａｎｇｌｅ）を示す曲線と、トップビューでの円形（図２０参照）を（１１）式に倣って変形した曲線を示す図である。
【０１２７】
撮影画像上では、トップビューでの均等移動距離や円形は、撮影画像上に写像すると、図２１，図２２のように‘拉げた’形状の曲線となる。
【０１２８】
尚、ここでは、横方向（Ｘ方向）と縦方向（Ｙ方向）に等速直線移動する場合を例に挙げて説明したが、実際には、ＸとＹの二次元平面内の任意の方向への等速直線運動が考慮される。
【０１２９】
図２３は、時刻ｔ＋１のフレーム画像上に検出された頭部と正規化された（図２１のように撮影画像上に写像された）均等移動距離を繋いだ曲線を示した図である。
【０１３０】
時刻ｔ＋１のフレーム画像上には、３つの頭部Ａ，Ｂ，Ｃが検出されたものとする。ここでは、これら３つの頭部Ａ，Ｂ，Ｃのそれぞれについて、時刻ｔのフレーム画像上の頭部（図２３に‘ｔ’の文字を付した原点にある頭部）との結びつきの強さを求めるために、下記の（１２）式に従って比率を算出する。ここでは、例示的に頭部Ａを取り上げて説明する。頭部Ａについての比率ＲＡは、
【０１３１】
【数１２】
【０１３２】
となる。
【０１３３】
ここで、Ｄｉｓｔ（Ａ）は、原点（時刻ｔにおける頭部位置）と頭部Ａとの間の距離であり、ｎｏｒｍＤｉｓｔ（Ａｎｇｌｅ Ａ）は、原点から見た頭部Ａの方向（Ａｎｇｌｅ Ａ）の正規化均等移動距離である。
【０１３４】
尚、実際の演算にあたっては、図１９〜図２３に示す均等移動距離（又は正規化均等移動距離）を示す曲線を一周に渡って算出する必要はなく、時刻ｔ＋１のフレーム画像上で検出された頭部の方向（図２３に示す例では頭部Ａ，Ｂ，Ｃの３方向）についてのみ演算が行なわれる。
【０１３５】
図２４は、（１２）式で求められる比率Ｒと運動特徴量との関係を示す図である。この図２４に示す例では、比率ＲがＲ≦１（図２３に示す曲線の内側）のときは、運動特徴量は‘１’であり、Ｒ≧１．８のときはほとんど‘０’に近く、１＜Ｒ＜１．８の間は運動特徴量の値はＲの値が大きくなるにつれて徐々に低下している。
【０１３６】
ここでは、等速直線運動を前提にして均等移動距離や正規化均等移動距離を算出しているが、時刻ｔ−１と時刻ｔとの間で頭部が停止しているとき、あるいはある閾値以下しか移動していないときは、（９）式で算出される曲線に代えて、時刻ｔにおける頭部位置を中心とする円形の均等移動距離が採用される。これは、停止している頭部については、次の時刻ｔ＋１にどの方向へ進むか分らず、全方向を平等に取り扱うためである。追跡を開始すべき人物の頭部がフレーム画像上に最初に検出された場合も、その人物（頭部）の過去の動きが不明のため、円形の均等移動距離が採用される。ただし、円形の均等移動距離を採用した場合であっても、（１１）式で算出される正規化均等移動距離は円形にはならずに‘拉げた’曲線となる。
【０１３７】
以上で運動特徴量の算出方法の説明を終了する。
【０１３８】
本実施形態では、以上のようにして、頭部ヒストグラム、胴体ヒストグラム、および運動特徴量の３つの特徴量が求められる。
【０１３９】
図１３に示す人物追跡装置４０の特徴量算出部４２において、上記のようにして３つの特徴量が求められると、関連度算出部４３では、それら３つの特徴量を基に、時刻ｔのフレーム画像上の頭部ｉと、時刻ｔ＋１のフレーム画像上の頭部ｊとの間の、特徴量どうしの一致の程度を表わす関連度が求められる。
【０１４０】
頭部ｉのヒストグラムの各ヒストグラムビン（ｂｉｎ）ｍ（図１６の横軸の各区切りｍ，ｍ＝１，２，…，Ｍ）のそれぞれの出現数ｑ（縦軸）をｑｉｍとし、頭部ｊのヒストグラムの各ヒストグラムビンｍの出現数ｑをｑｊｍとすると、規格化された３色ｒ，ｇ，ｂの３色分のヒストグラムを用いて、
【０１４１】
【数１３】
【０１４２】
が算出される。
【０１４３】
ここで、Ｐｉｊ１の‘ｉｊ’は、時刻ｔのフレーム画像上のｉ番目の頭部と時刻ｔ＋１のフレーム画像上のｊ番目の頭部との間の演算であることを表わしており、‘１’は、頭部ヒストグラムと胴体ヒストグラムとを区別し、ここでは頭部ヒストグラムに関する演算であることを表わしている。したがってＰｉｊ１は、頭部ｉと頭部ｊとの間の、頭部ヒストグラム単独での関連度を表わしている。
【０１４４】
胴体ヒストグラムについても下記（１４）式に従って、頭部ｉの人物の胴体のヒストグラムと頭部ｊの人物の胴体のヒストグラムとの間の、胴体ヒストグラム単独での関連度を求める。
【０１４５】
【数１４】
【０１４６】
この（１４）式中のｑｉｍは、頭部ｉの人物の胴体のヒストグラムビンｍの出現数ｑであり、ｑｊｍは頭部ｊの人物の胴体ヒストグラムの出現数ｑである。
【０１４７】
また、ここでは、時刻ｔのフレーム画像上に検出された頭部のうちのｉ番目の頭部である頭部ｉと、時刻ｔ＋１のフレーム画像上に検出された頭部のうちのｊ番目の頭部である頭部ｊとの間の運動特徴量の値（図２４参照）を、Ｐｉｊ３と表記する。この運動特徴量は、時刻ｔのフレーム画像上の頭部ｉと時刻ｔ＋１のフレーム画像上の頭部ｊとの間の、運動に関する単独の関連度を表わしている。
【０１４８】
次に、下記の（１５）式に従って頭部ｉと頭部ｊとの間の総合の関連度Ｐｉｊを算出する。
【０１４９】
【数１５】
【０１５０】
ここで、Ｋは、単独の関連度の数であって、ここに示す例ではＫ＝３である。
【０１５１】
また、ＷＫは、各単独の関連度の重みを表わしている。重みＷＫは、被計測空間の性質等、すなわち、混雑が予想されるか否か、高速に移動可能か否か等に応じて決定される。
【０１５２】
時刻ｔのフレーム画像上の頭部ｉと、時刻ｔ＋１のフレーム画像上の全ての頭部ｊ＝１，２，３，…のそれぞれとについて（１５）式に従って関連度Ｐｉｊを算出する。図１３に示す同一人物判別部では、ｊ＝１，２，３，…のうちの最大の関連度Ｐｉｊを持つ頭部ｊを特定し、その特定した頭部ｊに関する関連度Ｐｉｊがあらかじめ定めておいたある閾値を越える値を有するときに、時刻ｔのフレーム画像上の頭部ｉと時刻ｔ＋１のフレーム画像上の頭部ｊが同一人物の頭部である旨、判別する。
【０１５３】
以上の処理が、時刻ｔのフレーム画像上の各頭部ｉ＝１，２，３，…のそれぞれについて繰り返され、時刻ｔのフレーム画像上の各頭部ｉ＝１，２，３，…と時刻ｔ＋１のフレーム画像上の各頭部ｊ＝１，２，３，…との間の同一人物の頭部どうしの対応づけが行なわれる。
【０１５４】
以上の処理が、…，ｔ−２，ｔ−１，ｔ，ｔ＋１，ｔ＋２，…の各時刻のフレーム画像について繰り返されることにより人物追跡が行なわれる。
【０１５５】
制御部４６の記憶部４６１には、図１７（Ｂ）に示す頭部サイズの分布や近似直線Ｙ＝Ｋ・Ｓｉｚｅ＋Ｄが格納されており、上記の演算中、関連度算出部４３で参照される。
【０１５６】
また、制御部４６では、あらかじめ定められた枚数の複数の第１のフレーム画像上に第１の人物の頭部が検出され、あらかじめ定められたある枚数以下のフレーム画像については、その人物の頭部が途切れ、それに続く、あらかじめ定められた複数の第２の複数のフレーム画像上に第２の人物の頭部が写っていたときは、特徴量算出部４２に、複数の第１のフレーム画像上の第１の人物についての平均的な特徴量（ここでは平均的な頭部ヒストグラムと平均的な胴体ヒストグラム）と、複数の第２のフレーム画像上の第２の人物についての平均的な特徴量（ここでは平均的な頭部ヒストグラムと平均的な胴体ヒストグラム）を算出させ、関連度算出部４３に、それらの平均的な特徴量どうしの関連度を求めさせ、同一人物判別部４４に、その関連度がある閾値を越えるか否かを判定させる。閾値を越えたときは、第１の人物と第２の人物は同一人物である旨判別され、頭部が途切れたフレーム画像上の、その前後のフレーム画像上の頭部位置と矛盾しない位置に頭部が存在するものとして、頭部のデータを追加する。
【０１５７】
また、断片削除部４５は、あらかじめ定められた枚数以下の連続するフレーム画像上にのみ出現し、前後のフレーム画像上にはあらわれない人物の頭部を削除する。
【０１５８】
こうすることにより、人物追跡の精度を向上させることができる。
【０１５９】
次に、頭部検出処理の一例を説明する。
【０１６０】
図２５は、図１２に１つのブロックで示す頭部検出ステップ（Ｓ０１）の詳細を含む頭部検出方法のフローチャートである。
【０１６１】
この図２５に示す頭部検出方法は、学習ステップＳ１０と、この学習ステップＳ１０を除いた他のステップＳ２１〜Ｓ２５の集合からなる検出ステップＳ２０とを有する。これら学習ステップＳ１０と検出ステップＳ２０とのうち、検出ステップＳ２０が、図１２に示す頭部検出ステップＳ０１に相当する。学習ステップＳ１０は検出ステップＳ２０のための準備のステップである。この学習ステップＳ１０では、厖大な数の画像を使っの機械学習（例えばＡｂａ Ｂｏｏｓｔｉｎｇのアルゴリズムを用いた学習）を行なって、検出ステップＳ２０での頭部検出対象の原画像に作用させる各種のフィルタを抽出するための処理が行なわれる。詳細は後述する。
【０１６２】
また、検出ステップＳ２０は、学習ステップＳ１０で抽出された各種のフィルタを使って、検出対象の原画像から人物頭部を自動検出するステップであり、画像群生成ステップＳ２１、輝度補正ステップＳ２２、差分画像作成ステップＳ２３、段階的検出ステップＳ２４、および領域統合ステップＳ２５から構成され、段階的検出ステップＳ２４は、さらに、一次評価値算出ステップＳ２４１、二次評価値算出ステップＳ２４２、および領域抽出ステップＳ２４３と、それらの各ステップＳ２４１，Ｓ２４２，Ｓ２４３の繰り返しが終了したか否かを判定する判定ステップＳ２４４とから構成されている。検出ステップＳ２０を構成する各ステップについても詳細説明は後に譲る。
【０１６３】
図２６は、図１３に１つのブロックで示す頭部検出部の詳細ブロック図である。
【０１６４】
この頭部検出部４１は、図９〜図１１に示すパーソナルコンピュータ３０内にアップロードされた人物追跡プログラムのプログラム部品の１つである頭部検出プログラムがパーソナルコンピュータ３０内で実行されることによりそのパーソナルコンピュータ３０内に実現されるアルゴリズムであり、画像群生成部１１０、輝度補正部１２０、差分画像作成部１３０、段階的検出部１４０、領域統合部１５０、フィルタ記憶部１６０、および領域抽出演算制御部１７０を有する。このうちの段階的検出部１４０は、さらに、一次評価値算出部１４１、二次評価値算出部１４２、および領域抽出部１４３から構成されている。
【０１６５】
図２５に示す頭部検出方法との対比では、図２６の頭部検出部４１の全体が図２５の頭部検出方法における検出ステップＳ２０に相当し、画像群生成部１１０が画像群生成ステップＳ２１に相当し、輝度補正部１２０が輝度補正ステップＳ２２に相当し、差分画像作成部１３０が差分画像作成ステップＳ２３に相当し、段階的検出部１４０と領域抽出演算制御部１７０とを合わせた構成が段階的検出ステップＳ２４に相当し、領域統合部１５０が領域統合ステップＳ２５に相当する。また、記憶部４６１は、学習ステップＳ１０で抽出された各種のフィルタ（後述する）を格納しておく、図１３，図２５にも示す記憶部４６１である。
【０１６６】
また、段階的検出部１４０を構成する一次評価値算出部１４１、二次評価値算出部１４２、および領域抽出部１４３は、それぞれ図２５に示す頭部検出方法のうちの段階的検出ステップＳ２４を構成する一次評価値算出ステップＳ２４１、二次評価値算出ステップＳ２４２、および領域抽出ステップＳ２４３に相当し、領域抽出演算制御部１７０は、段階的検出ステップＳ２４を構成する判定ステップＳ２４４に相当する。
【０１６７】
尚、パーソナルコンピュータ３０内で頭部検出プログラムが実行されたときの頭部検出プログラムの作用は、図２６に示す頭部検出装置の作用と同一であり、ここでは、頭部検出プログラムを取り上げての図示および説明は省略する。
【０１６８】
以下では、図２６に示す頭部検出部４１を構成する各部の作用について概括的に説明する。この説明により頭部検出プログラムおよび図２５に示す頭部検出方法の検出ステップＳ２０を構成する各ステップの説明を兼ねるものとする。その後、図２５に示す頭部検出方法の学習ステップＳ１０の具体的な詳細説明、および頭部検出部４１の具体的な詳細説明を行なう。
【０１６９】
図２６に示す頭部検出部４１では、二次元的に配列された画素で表現された画像から人物頭部が検出される。
【０１７０】
記憶部４６１には、図２５に示す頭部検出方法の学習ステップＳ１０で抽出された多数のフィルタが格納されている。これらのフィルタは、画像上の二次元的に広がる所定の広さの領域に作用し人物頭部の輪郭および内部のうちの互いに異なるいずれかの特徴量を算出するフィルタであり、これらのフィルタは、それらのフィルタそれぞれにより算出される各特徴量と人物頭部である確率を表わす一次評価値との対応関係に対応づけられて記憶部４６１に格納されている。さらにこれらのフィルタは、画像上の領域の広さに対応する画素数が縦横それぞれ１／２の比率で段階的に異なる、複数（ここでは画素数で３２×３２、１６×１６、および８×８）の広さの領域にそれぞれ作用する、１つの広さごとに複数のフィルタから構成されている。
【０１７１】
画像群生成部１１０では、入力されてきた原画像（フレーム画像）を構成する画素が縦横それぞれ１／２の比率で段階的に間引かれ、原画像と何枚かの間引画像とからなる画像群が生成される。さらに、この画像群生成部１１０では、１／２の比率で原画像を間引いて生成した画像群のほか、さらに、その原画像に補間演算を施すことにより、その原画像を含む画像群を構成する、その原画像を縦横１／２の比率で間引いて得られた間引画像（画素数は原画像の１／４（縦横それぞれ１／２））の画素数よりも多く、かつ原画像の画素数よりも少ない画素数の範囲内の補間画像が生成され、生成された補間画像について、その補間画像を構成する画素を上記の縦横１／２の比率で段階的に間引くことにより、その補間画像とその補間画像の画素を間引いて得られた間引画像とからなる新たな画像群が生成される。
【０１７２】
また、輝度補正部１２０は、画像上の１つの画素を注目画素としたとき、その注目画素を含むある領域内に存在する複数の画素の画素値（輝度値）の平均値と分散を用いてその注目画素の画素値（輝度値）を補正する輝度補正処理を、画像上の各画素をそれぞれ注目画素として画像全体に亘って行なうものである。この輝度補正処理は、画像群生成部１１０から受け取った画像群を構成する各画像それぞれについて行なわれる。
【０１７３】
この輝度補正部１２０における輝度補正処理は、画素によって輝度が大きくばらつく画像を頭部検出対象の画像とする場合に、頭部検出精度の向上に役立つものであり、本実施形態はこの輝度補正部１２０を備えているが、必ずしも必要な処理ではない。
【０１７４】
また差分画像作成部１３０は、図１に示す監視カメラ２０からの動画像を入力し、隣接するフレームの差分画像を作成して、その差分画像を、段階的検出部１３０に渡す役割りを担っている。
【０１７５】
ここで、段階的検出部１４０には、輝度補正部１２０で輝度補正された後の画像が直接に入力されるとともに、さらに、輝度補正部１２０で輝度補正された画像が差分画像作成部１３０に入力され、その差分画像作成部１３０で作成された差分画像も入力される。これは、頭部検出対象の画像として、１枚１枚の静止画像を利用するとともに、差分画像を利用することによって人物頭部の動きの情報も利用して、高精度な頭部検出を行なうためである。
【０１７６】
段階的検出部１４０では、先ず一次評価値算出部１４１により、頭部検出対象の画像上の各領域に複数のフィルタを作用させて複数の特徴量を算出し各フィルタに対応づけられている上述の対応関係（フィルタにより算出される特徴量と人物頭部である確率を表わす一次評価値との対応関係）に基づいて、各特徴量に対応する各一次評価値が求められる。次に、二次評価値算出部１４２により、一次評価値算出部１４１で求められた、複数のフィルタに対応する複数の一次評価値を、例えば加算、平均値算出等の演算を用いて総合することにより、その領域に人物頭部が存在する確率を表わす二次評価値が求められる。次いで領域抽出部１４３では、二次評価値算出部１４２で求められた二次評価値と閾値とが比較され、閾値を越えて人物頭部が存在する確率が高い領域が抽出される。図２６に示す頭部検出部４１では、領域抽出部１４３で領域が抽出されることをもって、人物頭部が検出されることになる。
【０１７７】
この段階的検出部１４０では、領域抽出演算制御部１７０のシーケンス制御を受けて、一次評価値算出部１４１、二次評価値算出部１４２、および領域抽出部１４３が繰り返し動作し、最終的に極めて高い確率で人物頭部が写し出された領域が抽出される。領域抽出演算制御部１７０は、段階的検出部１４０を構成する一次評価値算出部１４１、二次評価値算出部１４２、および領域抽出部１４３の動作を以下のように制御する。
【０１７８】
領域抽出演算制御部１７０は、先ず、一次評価値算出部１４１に、画像群生成部１１０により生成された画像群のうちの相対的に小さい第１の画像に記憶部１６０に記憶された多数のフィルタのうちの相対的に狭い領域に作用する複数の第１のフィルタを作用させて複数の特徴量を算出させ、前述した対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、二次評価値算出部１４２に、一次評価値算出部１４１で求められた、複数の第１のフィルタに対応する複数の一次評価値を総合させることにより、その領域に人物頭部が存在する確率を表わす二次評価値を求めさせ、領域抽出部１４３に、二次評価値算出部１４２で求められた二次評価値と第１の閾値とを比較させてその第１の閾値を越えて人物頭部が存在する確率が高い一次候補領域を抽出させる第１の抽出過程を実行させる。
【０１７９】
次に、再び一次評価値算出部１４１に、画像群生成部１１０により生成された画像群のうちの上記の第１の画像よりも画素数が一段階多い第２の画像の、一次候補領域に相当する領域にフィルタ記憶部１６０に記憶されたフィルタ群のうちの上記の複数の第１のフィルタよりも一段広い領域に作用する複数の第２のフィルタを作用させて複数の特徴量を算出させ、前述した対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、再び二次評価値算出部１４２に、一次評価値算出部１４１で求められた、複数の第２のフィルタに対応する複数の一次評価値を総合させることにより、当該一次候補領域に人物頭部が存在する確率を表わす二次評価値を求めさせ、再び領域抽出部１４３に、二次評価値算出部１４２で求められた二次評価値と第２の閾値とを比較させて第２の閾値を越えて人物頭部が存在する確率が高い二次候補領域を抽出させる第２の抽出過程を実行させる。
【０１８０】
領域抽出演算制御部１７０は、以上のような第１の抽出過程および第２の抽出過程を含む複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、一次評価値算出部１４１、二次評価値算出部１４２、および領域抽出部１４３に繰り返させる。
【０１８１】
図２６の頭部検出部４１は、この繰り返しにより領域抽出部１４３で最終的に領域が抽出されることにより人物頭部が高精度に検出される。
【０１８２】
ここで、前述したように、画像群生成部１１０では、補間演算と間引演算とにより１枚の原画像から複数の画像群が生成されるが、領域抽出演算制御部１７０は、画像群生成部１１０で生成された複数の画像群（差分画像作成部１３０では差分画像の画像群が作成されるが、この差分画像作成部１３０で作成された差分画像の画像群を含む）それぞれに関し、上記の複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、一次評価算出部１４１、二次評価算出部１４２、および領域抽出部１４３に繰り返させる。
【０１８３】
これにより、様々の寸法の人物頭部を検出することができる。
【０１８４】
ここで、領域抽出部１４３からは、例えば、画像上の人物の顔をほぼ中心に含む第１の領域と、同じ画像上の同じ人物の、髪を含んだ頭部をほぼ中心に含む、上記の第１の領域と比べると一部が重なり一部が外れた第２の領域との双方が人物頭部の領域として抽出されることがある。そこで、図２６の頭部検出装置１００は、領域統合部１５０を備え、このような場合に１つの領域に統合する処理を行なっている。具体的には、領域抽出部１４３で複数の領域が検出された場合におけるそれら複数の領域を、それら複数の領域どうしの重なりの程度に応じて、１つの領域に統合する。更なる詳細については後述する。
【０１８５】
次に、頭部検出処理に関する実施形態をさらに具体的に説明する。
【０１８６】
図２７は、図２５に示す頭部検出方法の学習ステップＳ１０の詳細フロー図である。
【０１８７】
この図２７は、上下２段に示されており、上段は差分をとる前の静止画像１枚１枚を取り扱うフローであり、下段は、差分画像を取り扱うフローである。
【０１８８】
ここでは先ず教師画像を作成するための多数の画像２００が用意される。これらの多数の画像２００は、多数枚の静止画像２０１と、差分画像作成のための動画像２０２からなる。動画像２０２の１枚１枚を静止画像２０１として利用してもよい。これらの画像２００は、頭部検出用の原画像の撮影を行なう監視カメラ２０（図１参照）での撮影により得ることが好ましいが、それに限られるものではなく、監視カメラ２０による撮影とは別に、人物が存在する様々なシーン、および人物が存在しない様々なシーンの画像を収集したものであってもよい。
【０１８９】
これらの画像２００には、アフィン（Ａｆｆｉｎｅ）変換処理２１０、多重解像度展開処理２２０、輝度補正処理２３０がこの順に施され、動画像２０２からは差分演算処理２４０により差分画像が生成され、その後、切出し処理２５０により教師画像２５１が生成される。この教師画像２５１は、１つのシーンにつき、３２×３２画素の教師画像と、１６×１６画素の教師画像と、８×８画素の教師画像とからなる教師画像群からなり、多数のシーンについてそれぞれ教師画像群が生成される。
【０１９０】
以下、先ず、ここまでの各処理について説明する。
【０１９１】
アフィン変換処理２１０は、極めて多数の画像を収集することに代えて、１枚の画像を少しずつ変形して多数枚の画像を生成し、これにより、教師画像の基になる画像の数を増やす処理である。ここでは、元々の１枚の画像を−１２°、−６°、０°、＋６°、＋１２°だけそれぞれ傾けた画像を作成し、さらに縦方向に１．２倍、１．０倍、０．８倍に伸縮した画像、さらに横方向に１．２倍、１．０倍、０．８倍に伸縮した画像を作成する。これらのうち、傾き０°、縦方向１．０倍、かつ横方向１．０倍の画像は元々の画像そのものである。これらの傾きや伸縮を組み合わせ、元々の１枚の画像から元々の１枚の画像を含め、５×３×３＝４５枚の画像が作成される。こうすることにより極めて多数の教師画像が作成され、高精度な学習が可能となる。
【０１９２】
次に多重解像度展開処理２２０について説明する。
【０１９３】
図２８は、多重解像度展開処理の説明図である。
【０１９４】
ここには、人物の頭部が写し出されており、既に教師画像のイメージとなっているが、図２７の多重解像度展開処理２２０では教師画像として切り出す前の画像全体について以下に説明する処理が行なわれる。
【０１９５】
すなわち、図２８（Ａ）に示す元の１枚の画像全体をＬ０とし、その画像Ｌ０から縦横それぞれ１つおきに画素を間引くことにより縦横それぞれ１／２（面積で１／４）に縮小された画像Ｌ１を作成し、これと同様に、画像Ｌ１から縦横それぞれ１つおきに画素を間引くことにより縦横それぞれについてさらに１／２（面積でさらに１／４）に縮小された画像Ｌ２を作成する。図２８（Ｂ）には、このようにして作成された、元々の画像Ｌ０を含む３枚の画像Ｌ０，Ｌ１，Ｌ２からなる画像群が逆ピラミッド構造で示されている。
【０１９６】
次に、輝度補正処理２３０が行なわれる。
【０１９７】
この輝度補正処理２３０では、補正前の画素Ｘの画素値（輝度値）をＸｏｒｇ、補正後の輝度をＸｃｏｒとしたとき、
【０１９８】
【数１６】
【０１９９】
但し、Ｅ（Ｘｏｒｇ）、σ（Ｘｏｒｇ）は、画素Ｘの近傍（例えば９×９画素）の画素値（輝度値）の、それぞれ平均値と分散である。
に従って補正後の画素値（輝度値）が求められ、この処理を画像全域について行なうことにより輝度補正が行なわれる。
【０２００】
この輝度補正は、図２８（Ｂ）に示す３層の画像Ｌ０，Ｌ１，Ｌ２のそれぞれについて行なわれる。すなわち、下層の画像Ｌ２側の画像ほど、元々の画像のシーンからすると広い領域のシーンを利用した輝度補正が行なわれることになる。
【０２０１】
次に、動画像について差分処理２４０が行なわれる。
【０２０２】
図２９は、動画像の差分処理の説明図である。
【０２０３】
図２９（Ａ）には、動画像のうちの隣接する２つのフレームの画像が示されており、これら２枚の画像からは、多重解像度展開処理２２０により、それぞれが３枚の画像Ｌ０，Ｌ１，Ｌ２；Ｌ０′，Ｌ１′，Ｌ２′からなる２つの画像群が作成される（図２９（Ｂ））。
【０２０４】
これら２つの画像群を構成する各画像Ｌ０，Ｌ１，Ｌ２；Ｌ０′，Ｌ１′，Ｌ２′には、輝度補正処理２３０が施された後、差分処理２４０が行なわれる。
【０２０５】
この差分処理２４０では、同じ寸法の画像について、対応する画素ごとの差分値の絶対値が求められ（｜Ｌｉ′−Ｌｉ｜、ｉ＝０，１，２）、図２９（Ｃ）に示す３枚の差分画像からなる逆ピラミッド型の画像群が作成される。
【０２０６】
次に切出処理２５０が行なわれる。
【０２０７】
この切出処理２５０は、図２８（Ｂ）や図２９（Ｃ）に示すような３層構造の画像から、様々な形態の人物頭部が写し出された領域や人物頭部以外のものが写し出された領域が切り出され、人物頭部が写し出されている領域からは人物頭部が存在する、という教師画像、人物頭部以外のものが写し出されている領域からは人物頭部は存在しない、という教師画像が作成される。
【０２０８】
教師画像を切り出すにあたっては、図２８（Ｂ）あるいは図２９（Ｃ）に示す三層構造の画像のうちの最上層の画像から３２×３２画素の領域が教師画像として切り出され、これを受けて二層目の画像からは同一部分の１６×１６画素の領域が切り出され、三層目の画像からは同一部分の８×８画素の領域が切り出される。これら切り出された三層の教師画像は、画像の寸法が異なることにより分解能は異なるものの、画像上の同一部分が切り出されたものである。したがって、教師画像も、図２８（Ｂ）や図２９（Ｃ）に示すような、三層構造の逆ピラミッド型の教師画像群となる。
【０２０９】
ここでは、このような三層構造の教師画像群２５１が多数作成され、学習に用いられる。
【０２１０】
次に、それらの教師画像により学習される側のフィルタについて説明する。
【０２１１】
図３０は、フィルタの構造の説明図、図３１は各種のフィルタを図解して例示した図である。
【０２１２】
ここには多数種類のフィルタが用意される。これらのフィルタは、画像上の３２×３２画素の領域に作用するフィルタと、画像上の１６×１６画素の領域に作用するフィルタと、画像上の８×８画素の領域に作用するフィルタとに分けられる。これらのフィルタは、学習により抽出されるまでは頭部検出に用いるためのフィルタの候補の地位にある。これらのフィルタ候補のうちの３２×３２画素の領域に作用するフィルタ候補は図３０（Ａ）に示す三層構造の教師画像群のうちの３２×３２画素の教師画像による学習で選別されて頭部検出に採用すべきフイルタが抽出され、これと同様に、多数のフィルタ候補のうちの１６×１６画素の領域に作用するフィルタ候補は三層構造の教師画像群のうちの１６×１６画素の教師画像による学習で選別されて頭部検出に採用すべきフィルタが抽出され、さらに、多数のフィルタ候補のうちの８×８画素の領域に作用するフィルタ候補は、三層構造の教師画像群のうちの８×８画素の教師画像により選択されて頭部検出に採用すべきフィルタが抽出される。
【０２１３】
図３０（Ｂ）に示すように、１つのフィルタは、タイプと、層と、６つの画素座標｛ｐｔ０，ｐｔ１，ｐｔ２，ｐｔ３，ｐｔ４，ｐｔ５｝の属性を持ち、それら６つの画素座標にある画素の画素値（輝度値）をそれぞれ、Ｘｐｔ０，Ｘｐｔ１，Ｘｐｔ２，Ｘｐｔ３，Ｘｐｔ４，Ｘｐｔ５としたとき、
【０２１４】
【数１７】
【０２１５】
なる演算により、３つの差分値のベクトルが算出される。
【０２１６】
「タイプ」は、図３１にタイプ０〜タイプ８を示すような、大分類を表わしている。例えば、図３１左上のタイプ０は、横方向（θ＝０°）の方向の差分をとるフィルタであることを表わしており、タイプ１は、縦方向（θ＝±９０°）の方向の差分をとるフィルタであることを表わしており、タイプ２〜４は、そのタイプごとの方向の差分をとるフィルタであることを表わしている。タイプ５〜８は、図示のような差分演算により各曲線のエッジを検出するフィルタであることを表わしている。また、「層」は、３２×３２画素の領域に作用するフィルタであるか、１６×１６画素の領域に作用するフィルタであるか、８×８画素の領域に作用するフィルタであるかの識別標識である。
【０２１７】
さらに、６つの画素座標｛ｐｔ０，ｐｔ１，ｐｔ２，ｐｔ３，ｐｔ４，ｐｔ５｝は、例えば８×８画素の領域に作用する場合の８×８＝６４画素のうちの６つの画素の座標を指定するものである。１６×１６画素の領域に作用するフィルタ、３２×３２画素の領域に作用する画素の場合も同様である。
【０２１８】
上記（１７）式による演算は、６つの画素座標｛ｐｔ０，ｐｔ１，ｐｔ２，ｐｔ３，ｐｔ４，ｐｔ５｝で指定される６つの画素について行なわれ、例えば、図３１の左上のタイプ０のうちのさらに最上段のフィルタの場合は、数値０を付した画素の輝度値をＸ０、数値１を付した画素の輝度値をＸ１、数値２を付した画素（ここでは、数値２を付した画素は数値１を付した画素と同一の画素である）の輝度値をＸ２（＝Ｘ１）、数値３を付した画素の輝度値をＸ３、数値４を付した画素（ここでは数値４を付した画素は数値１を付した画素と同一である）の輝度値をＸ４（＝Ｘ３）、数値５を付した画素の輝度値をＸ５としたとき、
【０２１９】
【数１８】
【０２２０】
となる。
【０２２１】
タイプ５の左側のフィルタにも数値０〜５を付してあり、（１８）式と同じ演算が行なわれる。
【０２２２】
これらは例示であり、図３１に示す各種のフィルタは、これらの例示と同様の演算を行なうフィルタである。
【０２２３】
図２７に示すように、教師画像群２５１が作成されると機械学習により、多数のフィルタ候補の中から、頭部検出に採用されるフィルタ２７０が抽出される。
【０２２４】
次に、機械学習について説明する。
【０２２５】
図３２は、機械学習の概念図である。
【０２２６】
これまで説明してきたようにして、多数の教師画像群２５１が用意されるとともに、多数のフィルタ候補２６０が用意され、先ずは、それらの教師画像群２５１のうちの８×８画素の多数の教師画像２５１Ａを使って８×８画素の領域に作用するフィルタ候補２６０Ａの中から頭部検出に用いられるフィルタ２７０Ａが抽出され、次にその抽出結果を反映させながら、１６×１６画素の多数の教師画像２５１Ｂを使って１６×１６画素の領域に作用するフィルタ候補２６０Ｂの中から頭部検出に用いられるフィルタ２７０Ｂが抽出され、さらに、その抽出結果を反映させながら、３２×３２画素の多数の教師画像２５１Ｃを使って、３２×３２画素の領域に作用するフィルタ候補２６０Ｃの中から頭部検出に用いられるフィルタ２７０Ｃが抽出される。
【０２２７】
ここでは、機械学習の一例としてＡｂａ Ｂｏｏｓｔアルゴリズムが採用されている。このアルゴリズムは既に広範な分野で採用されているものであり、以下では簡単に説明する。
【０２２８】
図３３は、教師画像の概念図である。
【０２２９】
ここでは、８×８画素の多数枚の教師画像ａ０，ｂ０，ｃ０，…，ｍ０が用意されているものとする。これらの教師画像には、頭部である教師画像と、頭部ではない教師画像が含まれている。
【０２３０】
図３４は、各種フィルタとそれらのフィルタの学習結果を示す概念図である。
【０２３１】
ここでは、８×８画素の領域に作用する多数種類のフィルタ（この段階ではフィルタ候補）ａ，ｂ，…，ｎが用意され、図３３に示す多数枚の教師画像を用いて各フィルタａ，ｂ，…，ｎについてそれぞれ学習が行なわれる。
【０２３２】
図３４に示す各グラフは、各フィルタについての学習結果を示している。
【０２３３】
各フィルタでは、（１７）式に示すような三次元ベクトルからなる特徴量が算出されるが、ここでは簡単のため一次元の特徴量として示している。
【０２３４】
各グラフの横軸は、そのフィルタを使って多数枚の教師画像それぞれについて求めた特徴量の値、縦軸は、そのフィルタを使ったときの頭部である、という正答率を表わしている。この確率は前述した一次評価値として利用される。
【０２３５】
ここでは、各フィルタａ，ｂ，…，ｎについてそれぞれ一回目の学習を行なった結果、図３４に示すような学習結果が表われ、フィルタｎを使ったときの正答率が最高であったとする。この場合、先ずはフィルタｎを頭部検出用のフィルタとして採用し、２回目の学習はフィルタｎを除く他のフィルフタａ，ｂ，…について行なわれる。
【０２３６】
図３４（Ｃ）に示すように、各教師画像ａ０，ｂ０，ｃ０，…，ｍ０についての一次評価値がｘ，ｙ，ｚ，ｚであったとする。
【０２３７】
図３５は、教師画像の重み付けを示す説明図である。
【０２３８】
一回目の学習では、全ての教師画像ａ０，ｂ０，ｃ０，…，ｍ０について同一の重み１．０で学習が行なわれるが、２回目の学習では、各教師画像ａ０，ｂ０，ｃ０，…，ｍ０は１回目の学習で最高の正答率を得たフィルタｎによる各教師画像ごとの確率ｘ，ｙ，ｚ，ｚが加味され、正しく判定される確率が高い教師画像ほど重みを下げ、誤って判定される確率の高い教師画像ほど大きな重みが与えられる。この重みは、二回目の学習の各教師画像ごとの正答率に反映される。すなわち、この重みは２回目の学習において、各教師画像をその重みの回数だけ繰り返して学習に利用することと同じである。このようにして２回目の学習を行ない、２回目の学習で最高の正答率を得たフィルタ候補が頭部検出用のフィルタとして抽出される。さらに、その抽出されたフィルタの特徴量の正答率のグラフを利用して各教師画像ａ０，ｂ０，ｃ０，…，ｍ０についての重みが再度修正され、今回抽出されたフィルタを除く、さらに残ったフィルタについて学習が行なわれる。以上が繰り返されて、頭部検出用の、８×８画素の領域に作用する多数のフィルタ２７０Ａ（図３２参照）が抽出される。
【０２３９】
図３６は、８×８画素用のフィルタの抽出が終了し、１６×１６画素のフィルタの学習への移行時の重み付け方法の説明図である。
【０２４０】
８×８画素のフィルタの抽出が終了した後、それらのフィルタと、それらのフィルタを１つずつ独立に使ったときの、特徴量と一次評価値との対応関係（例えば図３４に示すグラフ）が求められ、１つ１つの教師画像（例えば教師画像ａ０）について８×８画素用の多数のフィルタで得た特徴量から得られる各フィルタごとの一次評価値が加算されて二次評価値が求められる。ここでは、図３６に示すように、各教師画像ａ０，ｂ０，ｃ０，…，ｍ０について、各二次評価値Ａ，Ｂ，Ｃ，…，Ｍが求められたものとする。このとき、８×８画素の教師画像ａ０，ｂ０，ｃ０，…，ｍ０のそれぞれに対応する１６×１６画素の教師画像ａ１，ｂ１，ｃ１，…，ｍ１の重みが、各二次評価値Ａ，Ｂ，Ｃ，…，Ｍを使って、全ての画像について平等な１．０から変更され、１６×１６画素の領域に作用するフィルタの抽出のための学習に利用される。
【０２４１】
これ以降の１６×１６画素の領域のフィルタの抽出アルゴリズム、重み付け変更アルゴリズム、３２×３２画素の領域のフィルタの抽出への移行のアルゴリズム等は全て同様であり、説明は割愛する。
【０２４２】
以上のようにして、８×８画素の領域に作用する多数のフィルタ２７０Ａ、１６×１６画素の領域に作用する多数のフィルタ２７０Ｂ、および３２×３２の領域に作用する多数のフィルタ２７０Ｃからなるフィルタ群２７０が抽出されるとともに、各フィルタについての特徴量（前述した（１７）式のベクトル）と一次評価値との対応関係（グラフ、表、関数式などのいずれでもよい）が求められ、図２５、図２６に示す記憶部４６１に格納される。
【０２４３】
次に、以上のようにして記憶部４６１に格納されたフィルタを利用した頭部検出処理について説明する。
【０２４４】
図２６に示す画像群生成部１１０、輝度補正部１２０、および差分画像作成部１３０では、学習時における、図２７に示す多重解像度展開処理２２０、輝度補正処理２３０、差分演算処理２４０とそれぞれ同様の処理が行なわれる。ただし、画像群生成部１１０における処理は、前述の多重解像度展開処理２２０とは多少異なっており、以下において説明する。
【０２４５】
図３７は、図２６に示す画像群生成部１１０の処理を示す模式図である。
【０２４６】
この画像群生成部１１０には、図１に示す監視カメラ２０での撮影により得られた動画像が入力され、その動画像を構成する１枚１枚の画像について図３７に示す処理が行なわれる。
【０２４７】
ここでは、入力画像である原画像に補間演算処理が施されて、その原画像よりもサイズが少しだけ小さい補間画像１が求められ、さらにその補間画像１よりもサイズが少しだけ小さい補間画像２が求められ、同様にして補間画像３も求められる。
【０２４８】
原画像と補間画像１との間の画像サイズの比率Ｓσは、縦横それぞれについて
【０２４９】
【数１９】
【０２５０】
但し、Ｎは、原画像を含む補間画像の数（図３７に示す例ではＮ＝４）である。
の比率である。
【０２５１】
このようにして補間画像（図３７に示す例では補間画像１，２，３）を作成した後、原画像および補間画像のそれぞれについて縦横それぞれについて１画素おきに間引くことにより縦横それぞれについて１／２のサイズの画像が作成され、縦横それぞれについてさらに１／２のサイズの画像が作成され、もう１つさらに１／２のサイズの画像が作成され、これにより図３７に示す例では、１枚の原画像から４層の逆ピラミッド型の画像群が４つ作成される。
【０２５２】
このようにして多数のサイズの画像を作成することにより、様々なサイズの頭部を抽出することができる。
【０２５３】
図２６の輝度補正部１２０および差分画像作成部１３０の処理は、図２７を参照して説明した、輝度補正処理２３０および差分演算処理２４０と同じであり、重複説明は省略する。
【０２５４】
図３７に示す逆ピラミッド型の画像群は、輝度補正部１２０における輝度補正処理を受けた後、さらには、差分画像作成部１３０で差分画像の逆ピラミッド型の画像群に変換された後、段階的検出部１４０に入力される。この段階的検出部１４０では、領域抽出演算制御部１７０によるシーケンス制御を受けながら以下の演算処理が行なわれる。
【０２５５】
先ず、一次評価値算出部１４１において、記憶部４６１から８×８画素の領域に作用する多数のフィルタが読み出され、図３７に示す逆ピラミッド型の４層の画像群を構成する各４枚の画像のうちの、サイズが最も小さい画像、および２番目に小さい画像が８×８画素の各フィルタでラスタスキャンされて、順次移動する各領域ごとに特徴量を表わすベクトル（（１７）式参照）が求められ、各フィルタごとの、特徴量と一次評価値との対応関係（図３４参照）が参照されて、その特徴量が一次評価値に換算される。
【０２５６】
二次評価値算出部１４２では、８×８画素の領域に作用する多数のフィルタによる多数の一次評価値が互いに加算されて二次評価値が求められ、領域抽出部１４３ではその二次評価値が所定の第１の閾値以上である（頭部が写されている可能性が高い）一次抽出領域が抽出される。
【０２５７】
次にその一次抽出領域の位置情報が一次評価値算出部１４１に伝達され、一次評価値算出部１４１では、今度は、記憶部４６１から１６×１６画素の領域に作用する多数のフィルタが読み出されて、図３７に示す逆ピラミッド型の４つの画像群それぞれについて、小さい方から２番目の画像と３番目（大きい方から２番目）の画像上の、領域抽出部１４３で抽出された一次抽出領域に対応する領域に１６×１６の画素の領域に作用する各フィルタを作用させて特徴量を算出し、その特徴量を一次評価値に換算する。それらの、１６×１６画素の領域に作用する多数のフィルタによる多数の一次評価値は二次評価値算出部１４２において互いに加算されて二次評価値が求められ、その求められた二次評価値が領域抽出部１４３において第２の閾値と比較されて、上述の一次抽出領域に対応する領域の中から頭部が写されている可能性がさらに高い二次抽出領域が抽出される。この二次抽出領域の位置情報は一次評価値算出部１４１に伝達され、今度は、その一次評価値算出部１４１では、記憶部４６１から３２×３２画素の領域に作用する多数のフィルタが読み出されて、図３７に示す逆ピラミッド型の４つの画像群それぞれを構成する大きい方から２番目の画像と最も大きい画像上の、領域抽出部１４３で抽出された二次抽出領域に対応する領域に、３６×３６画素の領域に作用する各フィルタを作用させて特徴量が抽出され、その特徴量が一次評価値に換算される。それらの３２×３２画素の領域に作用する多数のフィルタによる多数の一次評価値は二次評価値算出部１４２において互いに加算されて二次評価値が求められ、その求められた二次評価値が領域抽出部１４３において第３の閾値と比較されて、二次抽出領域に対応する領域の中から頭部が写し込まれていると確信できるレベルの三次抽出領域が抽出される。この三次抽出領域の情報、すなわち、その領域の画像上の位置ｐｏｓ（領域の左上隅の座標（ｌ，ｔ）と右下隅の座標（ｒ，ｂ）と最終的な二次評価値ｌｉｋｅｎｅｓｓが、図２６に示す領域統合部１５０に入力される。
【０２５８】
図３８は領域統合部１５０における領域統合処理の説明図である。
【０２５９】
この領域統合部１５０は複数の頭部領域（三次抽出領域）Ｈｉ（ｉ＝１，…，Ｍ）の情報Ｈｉ（ｐｏｓ，ｌｉｋｅｎｅｓｓ）が入力されると、その領域統合部１５０では、それらの頭部領域情報Ｈｉが二次評価値ｌｉｋｅｎｅｓｓの順に並べ替えられる。ここでは、２つの領域Ｈｒｅｆ，Ｈｘについて互いの領域の一部の重なりが認められるものとし、領域
Ｈｒｅｆの方が領域Ｈｘよりも二次評価値ｌｉｋｅｎｅｓｓが高いものとする。
【０２６０】
領域Ｈｒｅｆの面積をＳＨｒｅｆ，領域Ｈｘの面積をＳＨｘ、相互に重なった部分の面積をＳｃｒｏｓｓとしたとき、重なりの比率
【０２６１】
【数２０】
【０２６２】
が算出され、この比率ρが閾値ρｌｏｗ以上であったときに、領域統合演算が行なわれる。すなわち、領域Ｈｒｅｆの４隅の座標と領域Ｈｘの４隅の座標のうちの対応する座標にその領域のｌｉｋｅｎｅｓｓによる重みが付されて、１つに統合される。
【０２６３】
例えば、各領域Ｈｒｅｆ，Ｈｘの左上隅の左右方向の座標ｌｒｅｆ，ｌｘが、各領域Ｈｒｅｆ，Ｈｘの各ｌｉｋｅｎｅｓｓであるｌｉｋｅｎｅｓｓ（ｒｅｆ），ｌｉｋｅｎｅｓｓ（ｘ）を用いて、統合された座標
【０２６４】
【数２１】
【０２６５】
に変換される。このような演算が位置ｐｏｓを表わす４つの座標
ｐｏｓ＝（ｌ，ｔ，ｒ，ｂ）ｔ
のそれぞれについて行なわれ、２つの領域Ｈｒｅｆ，Ｈｘが１つの領域に統合される。
【０２６６】
３つ以上の領域が重なっている場合も同様である。
【０２６７】
本実施形態では、以上の処理により、人物頭部が写されている領域が高精度かつ高速に抽出される。
【０２６８】
尚、ここで説明した頭部検出処理は、頭部の検出に限らず、例えば顔検出や、その他画像上に多様な形状で写し出されるオブジェクトを検出する場合に共通に利用できる処理である。
【０２６９】
以下、この頭部検出処理の各種の態様を、オブジェクト検出処理として一般化した表現で、記述しておく。
【０２７０】
（１）二次元的に配列された画素で表現された画像から特定種類のオブジェクトを検出するオブジェクト検出方法であって、
画像との二次元的に広がる所定の広さの領域に作用し特定種類のオブジェクトの輪郭および内部のうちの互いに異なるいずれかの特徴量を算出する複数のフィルタであって、該複数のフィルタそれぞれにより算出される各特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係に対応づけられてなる複数のフィルタを、オブジェクト検出対象の画像上の前記所定の広さの領域に作用させて複数の特徴量を算出し、前記対応関係に基づいて各特徴量に対応する各一次評価値を求める一次評価値算出ステップと、
前記一次評価値算出ステップで求められた、前記複数のフィルタに対応する複数の一次評価値を総合することにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める二次評価値算出ステップと、
前記二次評価値算出ステップで求められた二次評価値と閾値とを比較して、該閾値を越えて特定種類のオブジェクトが存在する確率が高い領域を抽出する領域抽出ステップとを有し、該領域抽出ステップで領域を抽出することにより特定種類のオブジェクトを検出することを特徴とするオブジェクト検出方法。
【０２７１】
（２）前記複数のフィルタが、画素数が所定比率で異なる、又は所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する、１つの広さごとに複数のフィルタからなり、各フィルタそれぞれが、該各フィルタそれぞれに応じた前記対応関係に対応づけられてなるものであり、
オブジェクト検出対象の原画像を構成する画素を前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、原画像と一枚以上の間引画像とからなる画像群を生成する画像群生成ステップを有し、
前記一次評価値算出ステップが、前記画像群生成ステップにより生成された画像群のうちの相対的に小さい第１の画像に相対的に狭い領域に作用する複数の第１のフィルタを作用させて複数の特徴量を算出し、該複数の第１のフィルタそれぞれに対応する前記対応関係に基づいて各特徴量に対応する各一次評価値を求め、前記二次評価値算出ステップが、前記一次評価値算出ステップで求められた、前記複数の第１のフィルタに対応する複数の一次評価値を総合することにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求め、前記領域抽出ステップが、前記二次評価値算出ステップで求められた二次評価値と第１の閾値とを比較して該第１の閾値を越えて特定種類のオブジェクトが存在する確率が高い一次候補領域を抽出する第１の抽出過程と、
前記一次評価値算出ステップが、前記画像群生成ステップにより生成された画像群のうちの前記第１の画像よりも画素数が一段階多い第２の画像の、前記一次候補領域に相当する領域に前記複数の第１のフィルタよりも一段広い領域に作用する複数の第２のフィルタを作用させて複数の特徴量を算出させ、該複数の第２のフィルタそれぞれに対応する前記対応関係に基づいて各特徴量に対応する各一次評価値を求め、前記二次評価値算出ステップが、前記一次評価値算出ステップで求められた、前記複数の第２のフィルタに対応する複数の一次評価値を総合することにより、当該一次候補領域に相当する領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求め、前記領域抽出ステップが、前記二次評価値算出ステップで求められた二次評価値と第２の閾値とを比較して該第２の閾値を越えて特定種類のオブジェクトが存在する確率が高い二次候補領域を抽出する第２の抽出過程と
を含む複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返し、前記領域抽出ステップで最終的に領域を抽出することにより特定種類のオブジェクトを検出することを特徴とする（１）記載のオブジェクト検出方法。
【０２７２】
（３）前記画像群生成ステップが、前記画像群の生成に加え、さらに、前記原画像に補間演算を施すことにより、前記画像群を構成する、該原画像を前記所定比率で間引いて得られた間引画像の画素数よりも多く、かつ該原画像の画素数よりも少ない画素数の範囲内の１つの補間画像、又は該範囲内で画素数が互いに異なる複数の補間画像を生成し、生成した１つ以上の補間画像それぞれについて、当該補間画像を構成する画素を前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、当該補間画像と当該補間画像の画素を間引いて得られた一枚以上の間引画像とからなる新たな画像群を生成するステップであり、
前記一次評価値算出ステップ、前記二次評価値算出ステップ、および領域抽出ステップが、前記画像群生成ステップで生成された複数の画像群それぞれに関し、前記複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返すことを特徴とする（２）記載のオブジェクト検出方法。
【０２７３】
（４）特定種類のオブジェクトが写し出された所定寸法の複数の画像および特定種類のオブジェクト以外のものが写し出された該所定寸法の複数の画像からなる、該所定寸法の複数の教師画像と、画像上の該所定寸法の領域に作用し該領域内に存在する特定種類のオブジェクトの輪郭および内部の、互いに異なるいずれかの特徴を抽出するための複数のフィルタ候補とを用意し、機械学習により、前記複数のフィルタ候補の中から複数のフィルタを抽出するとともに、各フィルタに対応する前記対応関係を求める学習ステップをさらに有することを特徴とする（１）記載のオブジェクト検出方法。
【０２７４】
（５）特定種類のオブジェクトが写し出された所定寸法の複数の画像および特定種類のオブジェクト以外のものが写し出された該所定寸法の複数の画像からなる、該所定寸法の複数の教師画像それぞれを前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、同一シーンであって寸法が異なる複数の教師画像からなる教師画像群を複数作成するとともに、画像上の、教師画像群を構成する複数段階の教師画像の寸法に応じた寸法の領域に作用し、該領域内に存在する特定種類のオブジェクトの輪郭および内部の、互いに異なるいずれかの特徴を抽出するためのフィルタ候補を前記複数段階の寸法それぞれに対応して複数ずつ用意し、機械学習により、各寸法ごとに、前記複数のフィルタ候補の中から複数のフィルタを抽出するとともに、抽出された各フィルタに対応する前記対応関係を求める学習ステップをさらに有することを特徴とする（２）又は（３）記載のオブジェクト検出方法。
【０２７５】
（６）前記領域抽出ステップで複数の領域が検出された場合における該複数の領域を、該複数の領域どうしの重なりの程度に応じて、１つの領域に統合する領域統合ステップをさらに有することを特徴とする（１）から（５）のうちいずれか１つに記載のオブジェクト検出方法。
【０２７６】
（７）複数フレームからなる連続画像を取得し、オブジェクト検出対象の画像として用いるための、異なるフレーム間の差分画像を作成する差分画像作成ステップをさらに有することを特徴とする（１）から（６）のうちいずれか１つに記載のオブジェクト検出方法。
【０２７７】
（８）前記複数のフィルタが、人間の頭部が存在する確率を表わす評価値を生成するフィルタであって、当該オブジェクト検出方法は画像内にあらわれる人間の頭部を検出対象とするものであることを特徴とする（１）から（７）のうちいずれか１つに記載のオブジェクト検出方法。
【０２７８】
（９）二次元的に配列された画素で表現された画像から特定種類のオブジェクトを検出するオブジェクト検出装置であって、
画像上の二次元的に広がる所定の広さの領域に作用し特定種類のオブジェクトの輪郭および内部のうちの互いに異なるいずれかの特徴量を算出する複数のフィルタを、該複数のフィルタそれぞれにより算出される各特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係に対応づけて記憶しておくフィルタ記憶部と、
オブジェクト検出対象の画像上の前記所定の広さの領域に前記複数のフィルタを作用させて複数の特徴量を算出し前記対応関係に基づいて各特徴量に対応する各一次評価値を求める一次評価値算出部と、
前記一次評価値算出部で求められた、前記複数のフィルタに対応する複数の一次評価値を総合することにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める二次評価値算出部と、
前記二次評価値算出部で求められた二次評価値と閾値とを比較して、該閾値を越えて特定種類のオブジェクトが存在する確率が高い領域を抽出する領域抽出部とを備え、該領域抽出部で領域を抽出することにより特定種類のオブジェクトを検出することを特徴とするオブジェクト検出装置。
【０２７９】
（１０）前記フィルタ記憶部が、画素数が所定比率で異なる、又は所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する、１つの広さごとに複数のフィルタからなり、各フィルタそれぞれが、該各フィルタそれぞれに応じた前記対応関係に対応づけられてなるフィルタ群を、前記対応関係とともに記憶しておくものであり、
オブジェクト検出対象の原画像を構成する画素を前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、原画像と一枚以上の間引画像とからなる画像群を生成する画像群生成部、および
前記一次評価値算出部に、前記画像群生成部により生成された画像群のうちの相対的に小さい第１の画像に前記フィルタ記憶部に記憶されたフィルタ群のうちの相対的に狭い領域に作用する複数の第１のフィルタを作用させて複数の特徴量を算出させ、該複数の第１のフィルタそれぞれに対応する前記対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、前記二次評価値算出部に、前記一次評価値算出部で求められた、前記複数の第１のフィルタに対応する複数の一次評価値を総合させることにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求めさせ、前記領域抽出部に、前記二次評価値算出部で求められた二次評価値と第１の閾値とを比較させて該第１の閾値を越えて特定種類のオブジェクトが存在する確率が高い一次候補領域を抽出させる第１の抽出過程と、
再び前記一次評価値算出部に、前記画像群生成部により生成された画像群のうちの前記第１の画像よりも画素数が一段階多い第２の画像の、前記一次候補領域に相当する領域に前記フィルタ記憶部に記憶されたフィルタ群のうちの前記複数の第１のフィルタよりも一段広い領域に作用する複数の第２のフィルタを作用させて複数の特徴量を算出させ、該複数の第２のフィルタそれぞれに対応する前記対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、再び前記二次評価値算出部に、前記一次評価値算出部で求められた、前記複数の第２のフィルタに対応する複数の一次評価値を総合させることにより、当該一次候補領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求めさせ、再び前記領域抽出部に、前記二次評価値算出部で求められた二次評価値と第２の閾値とを比較させて該第２の閾値を越えて特定種類のオブジェクトが存在する確率が高い二次候補領域を抽出させる第２の抽出過程と
を含む複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、前記一次評価値算出部、前記二次評価値算出部、および領域抽出部に繰り返させる領域抽出演算制御部を備え、前記領域抽出部で最終的に領域を抽出することにより特定種類のオブジェクトを検出することを特徴とする（９）記載のオブジェクト検出装置。
【０２８０】
（１１）前記画像群生成部が、前記画像群の生成に加え、さらに、前記原画像に補間演算を施すことにより、前記画像群を構成する、該原画像を前記所定比率で間引いて得られた間引画像の画素数よりも多く、かつ該原画像の画素数よりも少ない画素数の範囲内の１つの補間画像、又は該範囲内で画素数が互いに異なる複数の補間画像を生成し、生成した１つ以上の補間画像それぞれについて、当該補間画像を構成する画素を前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、当該補間画像と当該補間画像の画素を間引いて得られた一枚以上の間引画像とからなる新たな画像群を生成するものであり、
前記領域抽出演算制御部は、前記画像群生成部で生成された複数の画像群それぞれに関し、前記複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、前記一次評価算出部、前記二次評価算出部、および領域抽出部に繰り返させるものであることを特徴とする（１０）記載のオブジェクト検出装置。
【０２８１】
（１２）前記領域抽出部で複数の領域が検出された場合における該複数の領域を、該複数の領域どうしの重なりの程度に応じて、１つの領域に統合する領域統合部をさらに備えたことを特徴とする（９）から（１１）のうちいずれか１つに記載のオブジェクト検出装置。
【０２８２】
（１３）複数フレームからなる連続画像を取得し、オブジェクト検出対象の画像として用いるための、異なるフレーム間の差分画像を作成する差分画像作成部をさらに備えたことを特徴とする（９）から（１２）のうちいずれか１つに記載のオブジェクト検出装置。
【０２８３】
（１４）前記フィルタ記憶部が、人間の頭部が存在する確率を表わす評価値を生成する複数のフィルタからなるフィルタ群を記憶するものであって、当該オブジェクト検出装置は画像内にあらわれる人間の頭部を検出対象とするものであることを特徴とする（９）から（１３）のうちいずれか１つに記載のオブジェクト検出装置。
【０２８４】
（１５）プログラムを実行する演算装置内で実行され、該演算装置を、二次元的に配列された画素で表現された画像から特定種類のオブジェクトを検出するオブジェクト検出装置として動作させるオブジェクト検出プログラムであって、
前記演算装置を、
画像上の二次元的に広がる所定の広さの領域に作用し特定種類のオブジェクトの輪郭および内部のうちの互いに異なるいずれかの特徴量を算出する複数のフィルタを、該複数のフィルタそれぞれにより算出される各特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係に対応づけて記憶しておくフィルタ記憶部と、
オブジェクト検出対象の画像上の前記所定の広さの領域に前記複数のフィルタを作用させて複数の特徴量を算出し前記対応関係に基づいて各特徴量に対応する各一次評価値を求める一次評価値算出部と、
前記一次評価値算出部で求められた、前記複数のフィルタに対応する複数の一次評価値を総合することにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める二次評価値算出部と、
前記二次評価値算出部で求められた二次評価値と閾値とを比較して、該閾値を越えて特定種類のオブジェクトが存在する確率が高い領域を抽出する領域抽出部とを有し、該領域抽出部で領域を抽出することにより特定種類のオブジェクトを検出するオブジェクト検出装置として動作させることを特徴とするオブジェクト検出プログラム。
【０２８５】
（１６）前記フィルタ記憶部が、画素数が所定比率で異なる、又は所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する、１つの広さごとに複数のフィルタからなり、各フィルタそれぞれが、該各フィルタそれぞれに応じた前記対応関係に対応づけられてなるフィルタ群を、前記対応関係とともに記憶しておくものであり、
前記演算装置を、
オブジェクト検出対象の原画像を構成する画素を前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、原画像と一枚以上の間引画像とからなる画像群を生成する画像群生成部、および
前記一次評価値算出部に、前記画像群生成部により生成された画像群のうちの相対的に小さい第１の画像に前記フィルタ記憶部に記憶されたフィルタ群のうちの相対的に狭い領域に作用する複数の第１のフィルタを作用させて複数の特徴量を算出させ、該複数の第１のフィルタそれぞれに対応する前記対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、前記二次評価値算出部に、前記一次評価値算出部で求められた、前記複数の第１のフィルタに対応する複数の一次評価値を総合させることにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求めさせ、前記領域抽出部に、前記二次評価値算出部で求められた二次評価値と第１の閾値とを比較させて該第１の閾値を越えて特定種類のオブジェクトが存在する確率が高い一次候補領域を抽出させる第１の抽出過程と、
再び前記一次評価値算出部に、前記画像群生成部により生成された画像群のうちの前記第１の画像よりも画素数が一段階多い第２の画像の、前記一次候補領域に相当する領域に前記フィルタ記憶部に記憶されたフィルタ群のうちの前記複数の第１のフィルタよりも一段広い領域に作用する複数の第２のフィルタを作用させて複数の特徴量を算出させ、該複数の第２のフィルタそれぞれに対応する前記対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、再び前記二次評価値算出部に、前記一次評価値算出部で求められた、前記複数の第２のフィルタに対応する複数の一次評価値を総合させることにより、当該一次候補領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求めさせ、再び前記領域抽出部に、前記二次評価値算出部で求められた二次評価値と第２の閾値とを比較させて該第２の閾値を越えて特定種類のオブジェクトが存在する確率が高い二次候補領域を抽出させる第２の抽出過程と
を含む複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、前記一次評価値算出部、前記二次評価値算出部、および領域抽出部に繰り返させる領域抽出演算制御部をさらに有し、前記領域抽出部で最終的に領域を抽出することにより特定種類のオブジェクトを検出するオブジェクト検出装置として動作させることを特徴とする（１５）記載のオブジェクト検出プログラム。
【０２８６】
（１７）前記画像群生成部が、前記画像群の生成に加え、さらに、前記原画像に補間演算を施すことにより、前記画像群を構成する、該原画像を前記所定比率で間引いて得られた間引画像の画素数よりも多く、かつ該原画像の画素数よりも少ない画素数の範囲内の１つの補間画像、又は該範囲内で画素数が互いに異なる複数の補間画像を生成し、生成した１つ以上の補間画像それぞれについて、当該補間画像を構成する画素を前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、当該補間画像と当該補間画像の画素を間引いて得られた一枚以上の間引画像とからなる新たな画像群を生成するものであり、
前記領域抽出演算制御部は、前記画像群生成部で生成された複数の画像群それぞれに関し、前記複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、前記一次評価算出部、前記二次評価算出部、および領域抽出部に繰り返させるものであることを特徴とする（１６）記載のオブジェクト検出プログラム。
【０２８７】
（１８）前記演算装置を、前記領域抽出部で複数の領域が検出された場合における該複数の領域を、該複数の領域どうしの重なりの程度に応じて、１つの領域に統合する領域統合部をさらに有するオブジェクト検出装置として動作させることを特徴とする（１５）から（１７）のうちいずれか１つに記載のオブジェクト検出プログラム。
【０２８８】
（１９）前記演算装置を、複数フレームからなる連続画像を取得し、オブジェクト検出対象の画像として用いるための、異なるフレーム間の差分画像を作成する差分画像作成部をさらに有するオブジェクト検出装置として動作させることを特徴とする（１５）から（１８）のうちいずれか１つに記載のオブジェクト検出プログラム。
【０２８９】
（２０）前記フィルタ記憶部が、人間の頭部が存在する確率を表わす評価値を生成する複数のフィルタからなるフィルタ群を記憶するものであって、当該オブジェクト検出プログラムは画像内にあらわれる人間の頭部を検出対象とするオブジェクト検出装置として動作させるものであることを特徴とする（１５）から（１９）のうちいずれか１つに記載のオブジェクト検出プログラム。
【０２９０】
（２１）二次元的に配列された画素で表現された画像から特定種類のオブジェクトを検出するオブジェクト検出方法であって、
オブジェクト検出対象の原画像を構成する画素を所定比率で間引くことにより、又は該所定比率で段階的に間引くことより、原画像と一枚以上の間引画像とからなる画像群を生成する画像群生成ステップ、および
前記画像群生成ステップにより生成された画像群のうちの相対的に小さい第１の画像に、画像上の二次元的に広がる領域に作用し該領域内に特定種類のオブジェクトが存在する確率を表わす評価値を生成するフィルタであって、画像上の領域の広さに対応する画素数が前記所定比率で異なる、又は該所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する複数のフィルタからなるフィルタ群のうちの相対的に狭い領域に作用する第１のフィルタを作用させて所定の第１の閾値を越える評価値が得られる一次候補領域を抽出する第１の抽出過程と、
前記画像群生成ステップにより生成された画像群のうちの前記第１の画像よりも画素数が一段階多い第２の画像の、前記一次候補領域に相当する領域に、前記フィルタ群のうちの前記第１のフィルタよりも一段階広い領域に作用する第２のフィルタを作用させて所定の第２の閾値を越える評価値が得られる二次候補領域を抽出する第２の抽出過程と
を含む複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きい画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返すことにより、前記原画像中から特定種類のオブジェクトを検出する段階的検出ステップを有することを特徴とするオブジェクト検出方法。
【０２９１】
（２２）前記画像群生成ステップが、前記画像群の生成に加え、さらに、前記原画像に補間演算を施すことにより、前記画像群を構成する、該原画像を前記所定比率で間引いて得られた間引画像の画素数よりも多く、かつ該原画像の画素数よりも少ない画素数の範囲内の１つの補間画像又は該範囲内で画素数が互いに異なる複数の補間画像を生成し、生成した１つ以上の補間画像それぞれについて、当該補間画像を構成する画素を前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、当該補間画像と当該補間画像の画素を間引いて得られた一枚以上の間引画像とからなる新たな画像群を生成するステップであり、
前記段階的検出ステップは、前記画像群生成ステップで生成された複数の画像群それぞれに関し、前記抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きい画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返すことにより、前記原画像および前記１つ以上の補間画像それぞれの中から特定種類のオブジェクトを検出するステップであることを特徴とする（２１）記載のオブジェクト検出方法。
【０２９２】
（２３）１つの広さの領域につき複数種類の、それぞれが、特定種類のオブジェクトの輪郭および内部のうちのいずれかの特徴量を算出するフィルタを用意するとともに、各フィルタにより算出される特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係を用意しておき、
前記段階的検出ステップは、１つの領域に、該領域の広さに応じた複数種類のフィルタを作用させて複数の特徴量を算出し、各特徴量に対応する各一次評価値を求め、複数の一次評価値を総合した二次評価値と閾値とを比較することにより、該領域が特定種類のオブジェクトが存在する候補領域であるか否かを判定するステップであることを特徴とする（２１）又は（２２）記載のオブジェクト検出方法。
【０２９３】
（２４）前記段階的検出ステップで複数の領域が検出された場合における該複数の領域を、該複数の領域どうしの重なりの程度に応じて、１つの領域に統合する領域統合ステップをさらに有することを特徴とする（２１）から（２３）のうちいずれか１つに記載のオブジェクト検出方法。
【０２９４】
（２５）複数フレームからなる連続画像を取得し、オブジェクト検出対象の画像として用いるための、異なるフレーム間の差分画像を作成する差分画像作成ステップをさらに有することを特徴とする（２１）から（２４）のうちいずれか１つに記載のオブジェクト検出方法。
【０２９５】
（２６）前記フィルタ群が、人間の頭部が存在する確率を表わす評価値を生成する複数のフィルタからなり、当該オブジェクト検出方法は画像内にあらわれる人間の頭部を検出対象とするものであることを特徴とする（２１）から（２５）のうちいずれか１つに記載のオブジェクト検出方法。
【０２９６】
（２７）二次元的に配列された画素で表現された画像から特定種類のオブジェクトを検出するオブジェクト検出装置であって、
画像上の二次元的に広がる領域に作用し該領域内に特定種類のオブジェクトが存在する確率を表わす評価値を生成するフィルタであって、画像上の領域の広さに対応する画素数が所定比率で異なる、又は所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する複数のフィルタからなるフィルタ群を記憶しておくフィルタ記憶部、
オブジェクト検出対象の原画像を構成する画素を前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、原画像と一枚以上の間引画像とからなる画像群を生成する画像群生成部、および
前記画像群生成部により生成された画像群のうちの相対的に小さい第１の画像に、前記フィルタ記憶部に記憶されたフィルタ群のうちの相対的に狭い領域に作用する第１のフィルタを作用させて所定の第１の閾値を越える評価値が得られる一次候補領域を抽出する第１の抽出過程と、
前記画像群生成部により生成された画像群のうちの前記第１の画像よりも画素数が一段階多い第２の画像の、前記一次候補領域に相当する領域に、前記フィルタ記憶部に記憶されたフィルタ群のうちの前記第１のフィルタよりも一段階広い領域に作用する第２のフィルタを作用させて所定の第２の閾値を越える評価値が得られる二次候補領域を抽出する第２の抽出過程と
を含む複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きい画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返すことにより、前記原画像中から特定種類のオブジェクトを検出する段階的検出部を備えたことを特徴とするオブジェクト検出装置。
【０２９７】
（２８）前記画像群生成部が、前記画像群の生成に加え、さらに、前記原画像に補間演算を施すことにより、前記画像群を構成する、該原画像を前記所定比率で間引いて得られた間引画像の画素数よりも多く、かつ該原画像の画素数よりも少ない画素数の範囲内の１つの補間画像又は該範囲内で画素数が互いに異なる複数の補間画像を生成し、生成した１つ以上の補間画像それぞれについて、当該補間画像を構成する画素を前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、当該補間画像と当該補間画像の画素を間引いて得られた一枚以上の間引画像とからなる新たな画像群を生成するものであり、
前記段階的検出部は、前記画像群生成部で生成された複数の画像群それぞれに関し、前記抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きい画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返すことにより、前記原画像および前記１つ以上の補間画像それぞれの中から特定種類のオブジェクトを検出するものであることを特徴とする（２７）記載のオブジェクト検出装置。
【０２９８】
（２９）前記フィルタ記憶部が、１つの広さの領域につき複数種類の、それぞれが、特定種類のオブジェクトの輪郭および内部のうちのいずれかの特徴量を算出するフィルタを記憶するとともに、各フィルタにより算出される特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係を記憶するものであり、
前記段階的検出部は、１つの領域に、該領域の広さに応じた複数種類のフィルタを作用させて複数の特徴量を算出し、各特徴量に対応する各一次評価値を求め、複数の一次評価値を総合した二次評価値と閾値とを比較することにより、該領域が特定種類のオブジェクトが存在する候補領域であるか否かを判定するものであることを特徴とする（２７）又は（２８）記載のオブジェクト検出装置。
【０２９９】
（３０）前記段階的検出部で複数の領域が検出された場合における該複数の領域を、該複数の領域どうしの重なりの程度に応じて、１つの領域に統合する領域統合部をさらに備えたことを特徴とする（２７）から（２９）のうちいずれか１つに記載のオブジェクト検出装置。
【０３００】
（３１）複数フレームからなる連続画像を取得し、オブジェクト検出対象の画像として用いるための、異なるフレーム間の差分画像を作成する差分画像作成部をさらに備えたことを特徴とする（２７）から（３０）のうちいずれか１つに記載のオブジェクト検出装置。
【０３０１】
（３２）前記フィルタ記憶部が、人間の頭部が存在する確率を表わす評価値を生成する複数のフィルタからなるフィルタ群を記憶するものであって、当該オブジェクト検出装置は画像内にあらわれる人間の頭部を検出対象とするものであることを特徴とする（２７）から（３１）のうちいずれか１つに記載のオブジェクト検出装置。
【０３０２】
（３３）プログラムを実行する演算装置内で実行され、該演算装置を、二次元的に配列された画素で表現された画像から特定種類のオブジェクトを検出するオブジェクト検出装置として動作させるオブジェクト検出プログラムであって、
前記演算装置を、
画像上の二次元的に広がる領域に作用し該領域内に特定種類のオブジェクトが存在する確率を表わす評価値を生成するフィルタであって、画像上の領域の広さに対応する画素数が所定比率で異なる、又は所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する複数のフィルタからなるフィルタ群を記憶しておくフィルタ記憶部、
オブジェクト検出対象の原画像を構成する画素を前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、原画像と一枚以上の間引画像とからなる画像群を生成する画像群生成部、および
前記画像群生成部により生成された画像群のうちの相対的に小さい第１の画像に、前記フィルタ記憶部に記憶されたフィルタ群のうちの相対的に狭い領域に作用する第１のフィルタを作用させて所定の第１の閾値を越える評価値が得られる一次候補領域を抽出する第１の抽出過程と、
前記画像群生成部により生成された画像群のうちの前記第１の画像よりも画素数が一段階多い第２の画像の、前記一次候補領域に相当する領域に、前記フィルタ記憶部に記憶されたフィルタ群のうちの前記第１のフィルタよりも一段階広い領域に作用する第２のフィルタを作用させて所定の第２の閾値を越える評価値が得られる二次候補領域を抽出する第２の抽出過程と
を含む複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きい画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返すことにより、前記原画像中から特定種類のオブジェクトを検出する段階的検出部を有するオブジェクト検出装置として動作させることを特徴とするオブジェクト検出プログラム。
【０３０３】
（３４）前記画像群生成部が、前記画像群の生成に加え、さらに、前記原画像に補間演算を施すことにより、前記画像群を構成する、該原画像を前記所定比率で間引いて得られた間引画像の画素数よりも多く、かつ該原画像の画素数よりも少ない画素数の範囲内の１つの補間画像又は該範囲内で画素数が互いに異なる複数の補間画像を生成し、生成した１つ以上の補間画像それぞれについて、当該補間画像を構成する画素を前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、当該補間画像と当該補間画像の画素を間引いて得られた一枚以上の間引画像とからなる新たな画像群を生成するものであり、
前記段階的検出部は、前記画像群生成部で生成された複数の画像群それぞれに関し、前記抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きい画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返すことにより、前記原画像および前記１つ以上の補間画像それぞれの中から特定種類のオブジェクトを検出するものであることを特徴とする（３３）記載のオブジェクト検出プログラム。
【０３０４】
（３５）前記フィルタ記憶部が、１つの広さの領域につき複数種類の、それぞれが、特定種類のオブジェクトの輪郭および内部のうちのいずれかの特徴量を算出するフィルタを記憶するとともに、各フィルタにより算出される特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係を記憶するものであり、
前記段階的検出部は、１つの領域に、該領域の広さに応じた複数種類のフィルタを作用させて複数の特徴量を算出し、各特徴量に対応する各一次評価値を求め、複数の一次評価値を総合した二次評価値と閾値とを比較することにより、該領域が特定種類のオブジェクトが存在する候補領域であるか否かを判定するものであることを特徴とする（３３）又は（３４）記載のオブジェクト検出プログラム。
【０３０５】
（３６）前記演算装置を前記段階的検出部で複数の領域が検出された場合における該複数の領域を、該複数の領域どうしの重なりの程度に応じて、１つの領域に統合する領域統合部をさらに有するオブジェクト検出装置として動作させることを特徴とする（３３）から（３５）のうちいずれか１つに記載のオブジェクト検出プログラム。
【０３０６】
（３７）前記演算装置を、複数フレームからなる連続画像を取得し、オブジェクト検出対象の画像として用いるための、異なるフレーム間の差分画像を作成する差分画像作成部をさらに有するオブジェクト検出装置として動作させることを特徴とする（３３）から（３６）のうちいずれか１つに記載のオブジェクト検出プログラム。
【０３０７】
（３８）前記フィルタ記憶部が、人間の頭部が存在する確率を表わす評価値を生成する複数のフィルタからなるフィルタ群を記憶するものであって、当該オブジェクトプログラムは、前記演算装置を、画像内にあらわれる人間の頭部を検出対象とするオブジェクト検出装置として動作させることを特徴とする（３３）から（３７）のうちいずれか１つに記載のオブジェクト検出プログラム。
【符号の説明】
【０３０８】
１０ 被計測空間
１０ 監視カメラ
１１，１２，１３ 人物
１１ａ〜１３ａ，ａ１，ａ２，ｂ１〜ｂ５，ｃ３，ｄ３，ｄ５，ｅ３ 頭部
２０ カメラ
３０ パーソナルコンピュータ
３１ 本体装置
４０ 人物追跡装置
４１ 頭部検出部
４２ 特徴量算出部
４３ 関連度算出部
４４ 同一人物判別部
４５ 断片削除部
４６ 制御部
１１０ 画像群生成部
１２０ 輝度補正部
１３０ 差分画像作成部
１４０ 段階的検出部
１４１ 一次評価値算出部
１４２ 二次評価値算出部
１４３ 領域抽出部
１５０ 領域統合部
１７０ 領域抽出演算制御部
２００ 画像
２０１ 静止画像
２０２ 動画像
２１０ アフィン変換処理
２２０ 多重解像度展開処理
２３０ 輝度補正処理
２４０ 差分演算処理
２５０ 切出処理
２５１ 教師画像群
２５１Ａ〜Ｃ 教師画像
２６０ フィルタ候補
２７０Ａ〜Ｃ フィルタ
４６１ 記憶部
【特許請求の範囲】
【請求項１】
被計測空間をカメラで撮影することにより生成された所定のフレームレートの動画像を表わす画像データに基づいて、前記動画像を構成する複数のフレーム画像のうちの複数の計測対象フレーム画像それぞれについて、各計測対象フレーム画像上の頭部を検出する頭部検出ステップと、
前記画像データに基づいて、前記各計測対象フレーム画像上に頭部が検出された人物を特徴づける特徴量を、該各計測対象フレーム画像ごとおよび各頭部ごとに算出する特徴量算出ステップと、
過去の計測対象フレーム画像上に頭部が検出された各人物の該過去の計測対象フレーム画像上の各特徴量と、今回の計測対象フレーム画像上に頭部が検出された各人物の該今回の計測対象フレーム画像上の各特徴量との間の、特徴量どうしの一致の程度を表わす関連度を算出する関連度算出ステップと、
前記今回の計測対象フレーム画像上に検出された頭部のうちの、前記過去の計測対象フレーム画像上に検出された頭部のうちの第１の頭部を持つ人物の該過去の計測対象フレーム画像上の特徴量と前記今回の計測対象フレーム画像上に検出された各頭部を持つ各人物の該今回の計測対象フレーム画像上の各特徴量との間の各関連度のうちの第１の閾値以上の一致の程度を表わす関連度であってかつ最大の一致の程度を表わす関連度の算出の基になった頭部を、前記第１の頭部を持つ人物と同一の人物の頭部である旨、判別する同一人物判別ステップとを有することを特徴とする人物追跡方法。
【請求項２】
連続する複数の第１の計測対象フレーム画像に亘って互いに同一の第１の人物に属することが判別された頭部が検出され、該第１の人物に属する頭部が途中の１つ又は第２の閾値以下の数だけ連続する複数の計測対象フレーム画像では途切れ、その後、連続する複数の第２の計測対象フレーム画像に亘って同一の第２の人物に属することが判別された頭部が検出された場合に、
前記特徴量算出ステップは、前記複数の第１の計測対象フレーム画像における前記第１の人物の平均的な第１の平均特徴量と、前記複数の第２の計測対象フレーム画像における前記第２の人物の平均的な第２の平均特徴量とを算出するものであり、
前記関連度算出ステップは、前記第１の平均特徴量と前記第２の平均特徴量との間の関連度を算出するものであり、
前記同一人物判別ステップは、前記第１の平均特徴量と前記第２の平均特徴量との間の関連度が第３の閾値以上の一致の程度を表わす関連度である場合に、前記第１の人物と前記第２の人物が同一人物である旨、判別するものであることを特徴とする請求項１記載の人物追跡方法。
【請求項３】
１つ又は第４の閾値以下の数だけ連続する複数の計測対象フレーム画像にのみ第３の人物の頭部が検出され前後の計測対象フレーム画像には該頭部に対応する該第３の人物の頭部が検出されない場合に、該頭部を、検出された頭部から削除する断片削除ステップをさらに有することを特徴とする請求項１又は２記載の人物追跡方法。
【請求項４】
前記特徴量算出ステップは、計測対象フレーム画像上に検出された頭部の画素値のヒストグラムを前記特徴量の１つとして算出するステップであることを特徴とする請求項１から３のうちのいずれか１項記載の人物追跡方法。
【請求項５】
前記特徴量算出ステップは、計測対象フレーム画像上の頭部が検出された人物の胴体部分の画素値のヒストグラムを前記特徴量の１つとして算出するステップであることを特徴とする請求項１から４のうちのいずれか１項記載の人物追跡方法。
【請求項６】
前記特徴量算出ステップは、今回の計測対象フレーム画像上に検出された頭部の該今回の計測対象フレーム画像上の出現位置を変数とする、過去の複数の計測対象フレーム画像上の同一人物の頭部の動きに基づく関数値を前記特徴量の１つとして算出するステップであることを特徴とする請求項１から５のうちのいずれか１項記載の人物追跡方法。
【請求項７】
被計測空間をカメラで撮影することにより生成された所定のフレームレートの動画像を表わす画像データに基づいて、前記動画像を構成する複数のフレーム画像のうちの複数の計測対象フレーム画像それぞれについて、各計測対象フレーム画像上の頭部を検出する頭部検出部と、
前記画像データに基づいて、前記各計測対象フレーム画像上に頭部が検出された人物を特徴づける特徴量を、該各計測対象フレーム画像ごとおよび各頭部ごとに算出する特徴量算出部と、
過去の計測対象フレーム画像上に頭部が検出された各人物の該過去の計測対象フレーム画像上の各特徴量と、今回の計測対象フレーム画像上に頭部が検出された各人物の該今回の計測対象フレーム画像上の各特徴量との間の、特徴量どうしの一致の程度を表わす関連度を算出する関連度算出部と、
前記今回の計測対象フレーム画像上に検出された頭部のうちの、前記過去の計測対象フレーム画像上に検出された頭部のうちの第１の頭部を持つ人物の該過去の計測対象フレーム画像上の特徴量と前記今回の計測対象フレーム画像上に検出された各頭部を持つ各人物の該今回の計測対象フレーム画像上の各特徴量との間の各関連度のうちの第１の閾値以上の一致の程度を表わす関連度であってかつ最大の一致の程度を表わす関連度の算出の基になった頭部を、前記第１の頭部を持つ人物と同一の人物の頭部である旨、判別する同一人物判別部とを備えたことを特徴とする人物追跡装置。
【請求項８】
連続する複数の第１の計測対象フレーム画像に亘って互いに同一の第１の人物に属することが判別された頭部が検出され、該第１の人物に属する頭部が途中の１つ又は第２の閾値以下の数だけ連続する複数の計測対象フレーム画像では途切れ、その後、連続する複数の第２の計測対象フレーム画像に亘って同一の第２の人物に属することが判別された頭部が検出された場合に、
前記特徴量算出部は、前記複数の第１の計測対象フレーム画像における前記第１の人物の平均的な第１の平均特徴量と、前記複数の第２の計測対象フレーム画像における前記第２の人物の平均的な第２の平均特徴量とを算出するものであり、
前記関連度算出部は、前記第１の平均特徴量と前記第２の平均特徴量との間の関連度を算出するものであり、
前記同一人物判別部が、前記第１の平均特徴量と前記第２の平均特徴量との間の関連度が第３の閾値以上の一致の程度を表わす関連度である場合に、前記第１の人物と前記第２の人物が同一人物である旨、判別するものであることを特徴とする請求項７記載の人物追跡装置。
【請求項９】
１つ又は第４の閾値以下の数だけ連続する複数の計測対象フレーム画像にのみ第３の人物の頭部が検出され前後の計測対象フレーム画像には該頭部に対応する該第３の人物の頭部が検出されない場合に、該頭部を、検出された頭部から削除する断片削除部をさらに備えたことを特徴とする請求項７又は８記載の人物追跡装置。
【請求項１０】
前記特徴量算出部は、計測対象フレーム画像上に検出された頭部の画素値のヒストグラムを前記特徴量の１つとして算出するものであることを特徴とする請求項７から９のうちのいずれか１項記載の人物追跡装置。
【請求項１１】
前記特徴量算出部は、計測対象フレーム画像上の頭部が検出された人物の胴体部分の画素値のヒストグラムを前記特徴量の１つとして算出するものであることを特徴とする請求項７から１０のうちのいずれか１項記載の人物追跡装置。
【請求項１２】
前記特徴量算出部は、今回の計測対象フレーム画像上に検出された頭部の該今回の計測対象フレーム画像上の出現位置を変数とする、過去の複数の計測対象フレーム画像上の同一人物の頭部の動きに基づく関数値を前記特徴量の１つとして算出するものであることを特徴とする請求項７から１１のうちのいずれか１項記載の人物追跡装置。
【請求項１３】
プログラムを実行する演算装置内で実行され、該演算装置を、
被計測空間をカメラで撮影することにより生成された所定のフレームレートの動画像を表わす画像データに基づいて、前記動画像を構成する複数のフレーム画像のうちの複数の計測対象フレーム画像それぞれについて、各計測対象フレーム画像上の頭部を検出する頭部検出部と、
前記画像データに基づいて、前記各計測対象フレーム画像上に頭部が検出された人物を特徴づける特徴量を、該各計測対象フレーム画像ごとおよび各頭部ごとに算出する特徴量算出部と、
過去の計測対象フレーム画像上に頭部が検出された各人物の該過去の計測対象フレーム画像上の各特徴量と、今回の計測対象フレーム画像上に頭部が検出された各人物の該今回の計測対象フレーム画像上の各特徴量との間の、特徴量どうしの一致の程度を表わす関連度を算出する関連度算出部と、
前記今回の計測対象フレーム画像上に検出された頭部のうちの、前記過去の計測対象フレーム画像上に検出された頭部のうちの第１の頭部を持つ人物の該過去の計測対象フレーム画像上の特徴量と前記今回の計測対象フレーム画像上に検出された各頭部を持つ各人物の該今回の計測対象フレーム画像上の各特徴量との間の各関連度のうちの第１の閾値以上の一致の程度を表わす関連度であってかつ最大の一致の程度を表わす関連度の算出の基になった頭部を、前記第１の頭部を持つ人物と同一の人物の頭部である旨、判別する同一人物判別部とを備えた人物追跡装置として動作させることを特徴とする人物追跡プログラム。
【請求項１４】
連続する複数の第１の計測対象フレーム画像に亘って互いに同一の第１の人物に属することが判別された頭部が検出され、該第１の人物に属する頭部が途中の１つ又は第２の閾値以下の数だけ連続する複数の計測対象フレーム画像では途切れ、その後、連続する複数の第２の計測対象フレーム画像に亘って同一の第２の人物に属することが判別された頭部が検出された場合に、
前記特徴量算出部は、前記複数の第１の計測対象フレーム画像における前記第１の人物の平均的な第１の平均特徴量と、前記複数の第２の計測対象フレーム画像における前記第２の人物の平均的な第２の平均特徴量とを算出するものであり、
前記関連度算出部は、前記第１の平均特徴量と前記第２の平均特徴量との間の関連度を算出するものであり、
前記同一人物判別部が、前記第１の平均特徴量と前記第２の平均特徴量との間の関連度が第３の閾値以上の一致の程度を表わす関連度である場合に、前記第１の人物と前記第２の人物が同一人物である旨、判別するものであることを特徴とする請求項１３記載の人物追跡プログラム。
【請求項１５】
前記演算装置を、１つ又は第４の閾値以下の数だけ連続する複数の計測対象フレーム画像にのみ第３の人物の頭部が検出され前後の計測対象フレーム画像にはその頭部に対応する第３の人物の頭部が検出されない場合に、該頭部を、検出された頭部から削除する断片削除部をさらに有する人物追跡装置として動作させることを特徴とする請求項１３又は１４記載の人物追跡プログラム。
【請求項１６】
前記特徴量算出部は、計測対象フレーム画像上に検出された頭部の画素値のヒストグラムを前記特徴量の１つとして算出するものであることを特徴とする請求項１３又は１５記載の人物追跡プログラム。
【請求項１７】
前記特徴量算出部は、計測対象フレーム画像上の頭部が検出された人物の胴体部分の画素値のヒストグラムを前記特徴量の１つとして算出するものであることを特徴とする請求項１３から１６のうちのいずれか１項記載の人物追跡プログラム。
【請求項１８】
前記特徴量算出部は、今回の計測対象フレーム画像上に検出された頭部の、該今回の計測対象フレーム画像上の出現位置を変数とする、過去の複数の計測対象フレーム画像上の同一人物の頭部の動きに基づく関数値を前記特徴量の１つとして算出するものであることを特徴とする請求項１３から１７のうちのいずれか１項記載の人物追跡プログラム。
【請求項１】
被計測空間をカメラで撮影することにより生成された所定のフレームレートの動画像を表わす画像データに基づいて、前記動画像を構成する複数のフレーム画像のうちの複数の計測対象フレーム画像それぞれについて、各計測対象フレーム画像上の頭部を検出する頭部検出ステップと、
前記画像データに基づいて、前記各計測対象フレーム画像上に頭部が検出された人物を特徴づける特徴量を、該各計測対象フレーム画像ごとおよび各頭部ごとに算出する特徴量算出ステップと、
過去の計測対象フレーム画像上に頭部が検出された各人物の該過去の計測対象フレーム画像上の各特徴量と、今回の計測対象フレーム画像上に頭部が検出された各人物の該今回の計測対象フレーム画像上の各特徴量との間の、特徴量どうしの一致の程度を表わす関連度を算出する関連度算出ステップと、
前記今回の計測対象フレーム画像上に検出された頭部のうちの、前記過去の計測対象フレーム画像上に検出された頭部のうちの第１の頭部を持つ人物の該過去の計測対象フレーム画像上の特徴量と前記今回の計測対象フレーム画像上に検出された各頭部を持つ各人物の該今回の計測対象フレーム画像上の各特徴量との間の各関連度のうちの第１の閾値以上の一致の程度を表わす関連度であってかつ最大の一致の程度を表わす関連度の算出の基になった頭部を、前記第１の頭部を持つ人物と同一の人物の頭部である旨、判別する同一人物判別ステップとを有することを特徴とする人物追跡方法。
【請求項２】
連続する複数の第１の計測対象フレーム画像に亘って互いに同一の第１の人物に属することが判別された頭部が検出され、該第１の人物に属する頭部が途中の１つ又は第２の閾値以下の数だけ連続する複数の計測対象フレーム画像では途切れ、その後、連続する複数の第２の計測対象フレーム画像に亘って同一の第２の人物に属することが判別された頭部が検出された場合に、
前記特徴量算出ステップは、前記複数の第１の計測対象フレーム画像における前記第１の人物の平均的な第１の平均特徴量と、前記複数の第２の計測対象フレーム画像における前記第２の人物の平均的な第２の平均特徴量とを算出するものであり、
前記関連度算出ステップは、前記第１の平均特徴量と前記第２の平均特徴量との間の関連度を算出するものであり、
前記同一人物判別ステップは、前記第１の平均特徴量と前記第２の平均特徴量との間の関連度が第３の閾値以上の一致の程度を表わす関連度である場合に、前記第１の人物と前記第２の人物が同一人物である旨、判別するものであることを特徴とする請求項１記載の人物追跡方法。
【請求項３】
１つ又は第４の閾値以下の数だけ連続する複数の計測対象フレーム画像にのみ第３の人物の頭部が検出され前後の計測対象フレーム画像には該頭部に対応する該第３の人物の頭部が検出されない場合に、該頭部を、検出された頭部から削除する断片削除ステップをさらに有することを特徴とする請求項１又は２記載の人物追跡方法。
【請求項４】
前記特徴量算出ステップは、計測対象フレーム画像上に検出された頭部の画素値のヒストグラムを前記特徴量の１つとして算出するステップであることを特徴とする請求項１から３のうちのいずれか１項記載の人物追跡方法。
【請求項５】
前記特徴量算出ステップは、計測対象フレーム画像上の頭部が検出された人物の胴体部分の画素値のヒストグラムを前記特徴量の１つとして算出するステップであることを特徴とする請求項１から４のうちのいずれか１項記載の人物追跡方法。
【請求項６】
前記特徴量算出ステップは、今回の計測対象フレーム画像上に検出された頭部の該今回の計測対象フレーム画像上の出現位置を変数とする、過去の複数の計測対象フレーム画像上の同一人物の頭部の動きに基づく関数値を前記特徴量の１つとして算出するステップであることを特徴とする請求項１から５のうちのいずれか１項記載の人物追跡方法。
【請求項７】
被計測空間をカメラで撮影することにより生成された所定のフレームレートの動画像を表わす画像データに基づいて、前記動画像を構成する複数のフレーム画像のうちの複数の計測対象フレーム画像それぞれについて、各計測対象フレーム画像上の頭部を検出する頭部検出部と、
前記画像データに基づいて、前記各計測対象フレーム画像上に頭部が検出された人物を特徴づける特徴量を、該各計測対象フレーム画像ごとおよび各頭部ごとに算出する特徴量算出部と、
過去の計測対象フレーム画像上に頭部が検出された各人物の該過去の計測対象フレーム画像上の各特徴量と、今回の計測対象フレーム画像上に頭部が検出された各人物の該今回の計測対象フレーム画像上の各特徴量との間の、特徴量どうしの一致の程度を表わす関連度を算出する関連度算出部と、
前記今回の計測対象フレーム画像上に検出された頭部のうちの、前記過去の計測対象フレーム画像上に検出された頭部のうちの第１の頭部を持つ人物の該過去の計測対象フレーム画像上の特徴量と前記今回の計測対象フレーム画像上に検出された各頭部を持つ各人物の該今回の計測対象フレーム画像上の各特徴量との間の各関連度のうちの第１の閾値以上の一致の程度を表わす関連度であってかつ最大の一致の程度を表わす関連度の算出の基になった頭部を、前記第１の頭部を持つ人物と同一の人物の頭部である旨、判別する同一人物判別部とを備えたことを特徴とする人物追跡装置。
【請求項８】
連続する複数の第１の計測対象フレーム画像に亘って互いに同一の第１の人物に属することが判別された頭部が検出され、該第１の人物に属する頭部が途中の１つ又は第２の閾値以下の数だけ連続する複数の計測対象フレーム画像では途切れ、その後、連続する複数の第２の計測対象フレーム画像に亘って同一の第２の人物に属することが判別された頭部が検出された場合に、
前記特徴量算出部は、前記複数の第１の計測対象フレーム画像における前記第１の人物の平均的な第１の平均特徴量と、前記複数の第２の計測対象フレーム画像における前記第２の人物の平均的な第２の平均特徴量とを算出するものであり、
前記関連度算出部は、前記第１の平均特徴量と前記第２の平均特徴量との間の関連度を算出するものであり、
前記同一人物判別部が、前記第１の平均特徴量と前記第２の平均特徴量との間の関連度が第３の閾値以上の一致の程度を表わす関連度である場合に、前記第１の人物と前記第２の人物が同一人物である旨、判別するものであることを特徴とする請求項７記載の人物追跡装置。
【請求項９】
１つ又は第４の閾値以下の数だけ連続する複数の計測対象フレーム画像にのみ第３の人物の頭部が検出され前後の計測対象フレーム画像には該頭部に対応する該第３の人物の頭部が検出されない場合に、該頭部を、検出された頭部から削除する断片削除部をさらに備えたことを特徴とする請求項７又は８記載の人物追跡装置。
【請求項１０】
前記特徴量算出部は、計測対象フレーム画像上に検出された頭部の画素値のヒストグラムを前記特徴量の１つとして算出するものであることを特徴とする請求項７から９のうちのいずれか１項記載の人物追跡装置。
【請求項１１】
前記特徴量算出部は、計測対象フレーム画像上の頭部が検出された人物の胴体部分の画素値のヒストグラムを前記特徴量の１つとして算出するものであることを特徴とする請求項７から１０のうちのいずれか１項記載の人物追跡装置。
【請求項１２】
前記特徴量算出部は、今回の計測対象フレーム画像上に検出された頭部の該今回の計測対象フレーム画像上の出現位置を変数とする、過去の複数の計測対象フレーム画像上の同一人物の頭部の動きに基づく関数値を前記特徴量の１つとして算出するものであることを特徴とする請求項７から１１のうちのいずれか１項記載の人物追跡装置。
【請求項１３】
プログラムを実行する演算装置内で実行され、該演算装置を、
被計測空間をカメラで撮影することにより生成された所定のフレームレートの動画像を表わす画像データに基づいて、前記動画像を構成する複数のフレーム画像のうちの複数の計測対象フレーム画像それぞれについて、各計測対象フレーム画像上の頭部を検出する頭部検出部と、
前記画像データに基づいて、前記各計測対象フレーム画像上に頭部が検出された人物を特徴づける特徴量を、該各計測対象フレーム画像ごとおよび各頭部ごとに算出する特徴量算出部と、
過去の計測対象フレーム画像上に頭部が検出された各人物の該過去の計測対象フレーム画像上の各特徴量と、今回の計測対象フレーム画像上に頭部が検出された各人物の該今回の計測対象フレーム画像上の各特徴量との間の、特徴量どうしの一致の程度を表わす関連度を算出する関連度算出部と、
前記今回の計測対象フレーム画像上に検出された頭部のうちの、前記過去の計測対象フレーム画像上に検出された頭部のうちの第１の頭部を持つ人物の該過去の計測対象フレーム画像上の特徴量と前記今回の計測対象フレーム画像上に検出された各頭部を持つ各人物の該今回の計測対象フレーム画像上の各特徴量との間の各関連度のうちの第１の閾値以上の一致の程度を表わす関連度であってかつ最大の一致の程度を表わす関連度の算出の基になった頭部を、前記第１の頭部を持つ人物と同一の人物の頭部である旨、判別する同一人物判別部とを備えた人物追跡装置として動作させることを特徴とする人物追跡プログラム。
【請求項１４】
連続する複数の第１の計測対象フレーム画像に亘って互いに同一の第１の人物に属することが判別された頭部が検出され、該第１の人物に属する頭部が途中の１つ又は第２の閾値以下の数だけ連続する複数の計測対象フレーム画像では途切れ、その後、連続する複数の第２の計測対象フレーム画像に亘って同一の第２の人物に属することが判別された頭部が検出された場合に、
前記特徴量算出部は、前記複数の第１の計測対象フレーム画像における前記第１の人物の平均的な第１の平均特徴量と、前記複数の第２の計測対象フレーム画像における前記第２の人物の平均的な第２の平均特徴量とを算出するものであり、
前記関連度算出部は、前記第１の平均特徴量と前記第２の平均特徴量との間の関連度を算出するものであり、
前記同一人物判別部が、前記第１の平均特徴量と前記第２の平均特徴量との間の関連度が第３の閾値以上の一致の程度を表わす関連度である場合に、前記第１の人物と前記第２の人物が同一人物である旨、判別するものであることを特徴とする請求項１３記載の人物追跡プログラム。
【請求項１５】
前記演算装置を、１つ又は第４の閾値以下の数だけ連続する複数の計測対象フレーム画像にのみ第３の人物の頭部が検出され前後の計測対象フレーム画像にはその頭部に対応する第３の人物の頭部が検出されない場合に、該頭部を、検出された頭部から削除する断片削除部をさらに有する人物追跡装置として動作させることを特徴とする請求項１３又は１４記載の人物追跡プログラム。
【請求項１６】
前記特徴量算出部は、計測対象フレーム画像上に検出された頭部の画素値のヒストグラムを前記特徴量の１つとして算出するものであることを特徴とする請求項１３又は１５記載の人物追跡プログラム。
【請求項１７】
前記特徴量算出部は、計測対象フレーム画像上の頭部が検出された人物の胴体部分の画素値のヒストグラムを前記特徴量の１つとして算出するものであることを特徴とする請求項１３から１６のうちのいずれか１項記載の人物追跡プログラム。
【請求項１８】
前記特徴量算出部は、今回の計測対象フレーム画像上に検出された頭部の、該今回の計測対象フレーム画像上の出現位置を変数とする、過去の複数の計測対象フレーム画像上の同一人物の頭部の動きに基づく関数値を前記特徴量の１つとして算出するものであることを特徴とする請求項１３から１７のうちのいずれか１項記載の人物追跡プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【公開番号】特開２０１０−２７３１１２（Ｐ２０１０−２７３１１２Ａ）
【公開日】平成２２年１２月２日（２０１０．１２．２）
【国際特許分類】
【出願番号】特願２００９−１２３２３３（Ｐ２００９−１２３２３３）
【出願日】平成２１年５月２１日（２００９．５．２１）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２２年１２月２日（２０１０．１２．２）
【国際特許分類】
【出願日】平成２１年５月２１日（２００９．５．２１）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]