対象物追跡装置、対象物追跡方法、および制御プログラム
【課題】追跡対象の追随性と処理速度の高速化を両立できる対象物追跡装置を実現する。
【解決手段】この物体追跡装置は、第１フレームにおいて対象物の詳細輪郭モデルを生成する詳細輪郭モデル生成部３０と、第２フレームにおいて複数の探索位置を設定する探索位置設定部３１と、上記複数の探索位置の各々において上記詳細輪郭モデルからラフ輪郭モデルを生成するラフ輪郭モデル生成部３２と、上記ラフ輪郭モデルの上記詳細輪郭モデルに対する尤度を判定する尤度判定部３３と、上記尤度判定部３３により判定された尤度に基づいて、上記複数の探索位置の中から探索位置を絞り込む探索位置絞込部３４と、上記探索位置絞込部により絞り込まれた探索位置の中から、上記第２フレームにおける上記対象物の位置を特定する対象物位置特定部３６とを備える。
【解決手段】この物体追跡装置は、第１フレームにおいて対象物の詳細輪郭モデルを生成する詳細輪郭モデル生成部３０と、第２フレームにおいて複数の探索位置を設定する探索位置設定部３１と、上記複数の探索位置の各々において上記詳細輪郭モデルからラフ輪郭モデルを生成するラフ輪郭モデル生成部３２と、上記ラフ輪郭モデルの上記詳細輪郭モデルに対する尤度を判定する尤度判定部３３と、上記尤度判定部３３により判定された尤度に基づいて、上記複数の探索位置の中から探索位置を絞り込む探索位置絞込部３４と、上記探索位置絞込部により絞り込まれた探索位置の中から、上記第２フレームにおける上記対象物の位置を特定する対象物位置特定部３６とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の中の対象物を追跡する技術に関する。
【背景技術】
【０００２】
従来より、動画像の中の物体の動きを追跡する技術が利用されている。
【０００３】
従来の物体追跡技術には、色を基にした追跡技術がある（非特許文献１）。この技術では、動画像の各フレームにおいて色の類似する領域を同一対象物と見なし、各フレームに渡ってその色の類似する領域を追跡することで、対象物の位置を追跡している。
【０００４】
また、輪郭を基にした追跡技術もある（非特許文献２）。この技術では、最初に追跡対象物の輪郭モデルを作成し、その輪郭モデルを少しずつ移動させて、その輪郭モデルに類似する輪郭を探索することで、追跡対象物の位置を追跡している。この技術では、時刻間で追跡対象物が大きく移動しない事を前提としている。
【０００５】
また、輪郭を基にした他の追跡技術として、パーティクルフィルタにより輪郭形状を追跡する追跡技術がある（特許文献１）。この技術では、追跡対象物と同一形状を有する候補の輪郭線を１つのパーティクルで表し、追跡候補として複数のパーティクルを導入し、運動モデルに基づいて各パーティクルを遷移させ、遷移後のパーティクルが定める候補輪郭線の尤度を観測することで、追跡対象物の位置を追跡している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２２４９２４号公報（２００９年１０月１日公開）
【非特許文献】
【０００７】
【非特許文献１】Katja Nummiaro et al., ”An adaptive color-based particle filter”,Image and Vision Computing,Vol.21,Issue.1,pp.99-110,2003
【非特許文献２】Nikos Paragios and Rachid Deriche, ”Geodesic active contours and level sets for the detection and tracking of moving objects”,IEEE Trans.PAMI,Vo.22,Issue.3,pp.266-280,
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記非特許文献１の技術では、色の類似する領域を同一対象物と見なすので、追跡対象が本来の対象物から本来の対象物と色の類似する背景に間違って乗り移り易い、即ち追跡対象物の追随性が悪いという問題点がある。
【０００９】
また、上記非特許文献２の技術では、時刻間で追跡対象物が大きく移動しない事を前提としているので、デジタルカメラで人を撮影する場合の様にカメラと人が激しく動く場合や、追跡対象物の輪郭が複雑な場合は、処理時間が掛かる、即ち処理速度が遅いという問題点がある。
【００１０】
また、上記特許文献１の技術では、追跡対象物の追随性を上げるためにパーティクルの数を増やすと、処理量が増大して処理速度が遅くなり、逆に、処理速度を上げるためにパーティクルの数を減らすと、追跡対象物の形状変化に対する追随性が悪くなるという問題点がある。
【００１１】
この様に、従来の物体追跡技術では、追跡対象物の追随性と処理速度の高速化とを両立できる技術はなかった。
【００１２】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、追跡対象物の追随性と処理速度の高速化とを両立できる対象物追跡装置および対象物追跡方法を実現することにある。
【課題を解決するための手段】
【００１３】
本発明に係る対象物追跡装置は、複数のフレームからなる時系列画像の中の対象物を追跡する対象物追跡装置であって、第１フレームにおける追跡対象となる対象物の位置情報を取得する位置情報取得部と、上記第１フレームにおいて、上記位置情報に基づいて、上記対象物の輪郭を示す複数の輪郭点からなる詳細輪郭モデルを生成する詳細輪郭モデル生成部と、上記第１フレームより後の何れかの第２フレームにおいて複数の異なる探索位置を設定する探索位置設定部と、上記第２フレームにおいて、上記各探索位置に対し、上記詳細輪郭モデルを当該探索位置に当てはめた場合の、上記複数の輪郭点の位置に対応する複数の第１対応点を特定し、上記複数の第１対応点の中から、上記複数の第１対応点よりも少ない第１の所定数の点を第２対応点として選択し、上記第２対応点からなるラフ輪郭モデルを生成するラフ輪郭モデル生成部と、上記各探索位置について、上記第２フレームの画像における上記ラフ輪郭モデルの上記各第２対応点に関する第２の画像特徴量と、上記第１フレームの画像における上記詳細輪郭モデルの上記各輪郭点のうち当該各第２対応点に対応する輪郭点に関する第１の画像特徴量とを比較することで、上記第２フレームにおいて上記各探索位置が上記対象物の位置であることの尤度を判定する尤度判定部と、上記尤度判定部により判定された上記尤度に基づいて、上記複数の探索位置の中から上記対象物の位置を特定する対象物位置特定部と、を備えることを特徴としている。
【００１４】
また、本発明に係る対象物追跡方法は、複数のフレームからなる時系列画像の中の対象物を追跡する対象物追跡方法であって、第１フレームにおける追跡対象となる対象物の位置情報を取得する位置情報取得ステップと、上記第１フレームにおいて、上記位置情報に基づいて、上記対象物の輪郭を示す複数の輪郭点からなる詳細輪郭モデルを生成する詳細輪郭モデル生成ステップと、上記第１フレームより後の何れかの第２フレームにおいて複数の異なる探索位置を設定する探索位置ステップと、上記第２フレームにおいて、上記各探索位置に対し、上記詳細輪郭モデルを当該探索位置に当てはめた場合の、上記複数の輪郭点の位置に対応する複数の第１対応点を特定し、上記複数の第１対応点の中から、上記複数の第１対応点よりも少ない第１の所定数の点を第２対応点として選択し、上記第２対応点からなるラフ輪郭モデルを生成するラフ輪郭モデル生成ステップと、上記各探索位置について、上記第２フレームの画像における上記ラフ輪郭モデルの上記各第２対応点に関する第２の画像特徴量と、上記第１フレームの画像における上記詳細輪郭モデルの上記各輪郭点のうち当該各第２対応点に対応する輪郭点に関する第１の画像特徴量とを比較することで、上記第２フレームにおいて上記各探索位置が上記対象物の位置であることの尤度を判定する尤度判定ステップと、上記尤度判定ステップにより判定された上記尤度に基づいて、上記複数の探索位置の中から上記対象物の位置を特定する対象物位置特定ステップと、を備えることを特徴としている。
【００１５】
ここで、画像特徴量とは、例えば、対応点または輪郭点に関連する（対応する）画素の画素値から得られる輝度差、またはエッジ強度等の特徴量を示す。
【００１６】
上記の構成によれば、各探索位置について、詳細輪郭モデルを構成する輪郭点の数未満の数の第２対応点からなるラフ輪郭モデルが生成され、そのラフ輪郭モデルを用いて対象物の位置が追跡される。よって、各探索位置において詳細輪郭モデルを生成する場合（例えば特許文献１および非特許文献２）と比べて、対象物の追跡に要する処理（例えばラフ輪郭モデルの生成部および尤度判定部の各処理）を高速化できる。
【００１７】
また、ラフ輪郭モデルを用いることで、時間経過に伴って対象物の形状が変化しても、その形状変化した対象物とラフ輪郭モデルの形状とが合致し易くなるので、対象物の追随性を向上できる。
【００１８】
また、ラフ輪郭モデルを用いることで、各探索位置での処理量が低減できるので、その分、探索位置の数を増やすことでき、これによっても、対象物の追随性を向上できる。
【００１９】
よって、対象物の追随性と処理の高速化を両立できる。
【００２０】
また、本発明に係る対象物追跡装置は、上記ラフ輪郭モデル生成部は、上記各探索位置について、上記各第１対応点について、上記第２フレームにおける当該第１対応点に関する第２の画像特徴量に基づいて、当該第１対応点が輪郭を表している輪郭度合いを求め、上記複数の第１対応点のうち、上記輪郭度合いの大きさが最大のものから上記第１の所定数の順位までに含まれるものを上記第２対応点として選択し、上記第２対応点からなるラフ輪郭モデルを生成することが望ましい。
【００２１】
上記の構成によれば、各探索位置について、詳細輪郭モデルの複数の輪郭点の位置に対応する複数の第１対応点を特定し、各第１対応点について、第２フレームにおける当該第１対応点に関する第２の画像特徴量に基づいて、当該第１対応点が輪郭を示している輪郭度合いを求める。そして、複数の第１対応点のうち、上記輪郭度合いの大きさが最大のものから上記第１の所定数の順位までに含まれるものを第２対応点として選択し、上記第２対応点からなるラフ輪郭モデルを生成する。
【００２２】
よって、ラフ輪郭モデルは、複数の第１対応点のうち、輪郭を表している度合いの高いものにより構成されるので、少ない情報（対応点）で有効なモデルになっている。
【００２３】
また、本発明に係る対象物追跡装置は、上記ラフ輪郭モデル生成部は、上記第２フレームにおける、上記第１対応点に対応するエッジ強度に応じて、または、上記第１対応点に対応する複数の画素値の差に応じて、上記輪郭度合いを求めることが望ましい。
【００２４】
上記の構成によれば、輪郭度合いは、第２フレームにおける第１対応点に対応するエッジ強度に応じて、または、上記第１対応点に対応する複数の画素値の差に応じて、求められるので、第２フレームの画像において有用な輪郭度合いを生成できる。
【００２５】
また、本発明に係る対象物追跡装置は、上記ラフ輪郭モデル生成部は、上記各第１対応点について、上記第２フレームにおける上記複数の第１対応点によって表される輪郭の内側の点の画素値と当該第１対応点に対応する画素値との差である第１画素値差と、該輪郭の外側の点の画素値と当該第１対応点に対応する画素値との差である第２画素値差との差に応じて、上記輪郭度合いを求めることが望ましい。
【００２６】
上記の構成によれば、輪郭度合いは、各第１対応点について、第２フレームにおける複数の第１対応点によって表される輪郭の内側の点の画素値と当該第１対応点に対応する画素値との差である第１画素値差と、該輪郭の外側の点の画素値と当該第１対応点に対応する画素値との差である第２画素値差との差に応じて、求められるので、第２フレームの画像において有用な輪郭度合いを生成できる。
【００２７】
また、本発明に係る対象物追跡装置は、上記ラフ輪郭モデル生成部は、上記各第１対応点について、上記第２フレームにおける上記複数の第１対応点によって表される輪郭において、当該第１対応点とそれに隣接する上記第１対応点との間の画素値の差である第３画素値差と、上記第１画素値差および上記第２画素値差とに応じて、上記輪郭度合いを求めることが望ましい。
【００２８】
上記の構成によれば、輪郭度合いは、各第１対応点について、第２フレームにおける複数の第１対応点によって表される輪郭において、当該第１対応点とそれに隣接する第１対応点との間の画素値の差である第３画素値差と、上記第１画素値差および上記第２画素値差とに応じて、求められるので、輪郭度合いの精度を向上させることができる。
【００２９】
また、本発明に係る対象物追跡装置は、上記ラフ輪郭モデル生成部は、上記複数の第１対応点の各々に対し、当該第１対応点およびその周囲の特定位置にある１つ以上の参考点の各々に対応する第１の領域の画素値に基づいて、当該第１対応点が輪郭を表している輪郭度合いを求めることで、上記複数の第１対応点の各々の上記輪郭度合いを求め、上記複数の第１対応点のうち、上記輪郭度合いの大きさが上位第１の所定数に含まれるものを上記第２対応点として選択して、上記第２対応点からなる上記ラフ輪郭モデルを生成することが望ましい。
【００３０】
上記の構成によれば、複数の第１対応点の各々に対し、当該第１対応点およびその周囲の特定位置にある１つ以上の参考点の各々に対応する第１の領域の画素値に基づいて、当該第１対応点が輪郭を示している輪郭度合いを求めることで、上記複数の第１対応点の各々の上記輪郭度合いを求める。なお、当該第１対応点の参考点としては、輪郭に沿って当該第１対応点に隣合う２個の第１対応点と、当該第１対応点の近傍であって上記輪郭の内側の１点および外側の１点とを使用することができる。
【００３１】
よって、当該第１対応点での輪郭度合いを当該第１対応点とその周囲の参考点とを用いて求めるので、当該第１対応点だけを用いて輪郭度合いを求めるよりも、より適切に、輪郭度合いを求めることができる。
【００３２】
また、複数の第１対応点のうち、輪郭度合いの大きさが上位第１の所定数に含まれるものが選択されて、上記第２対応点からなるラフ輪郭モデルが生成される。よって、ラフ輪郭モデルは、複数の第１対応点のうち、輪郭を表している度合いの高いものにより構成されるので、少ない情報（対応点）で有効なモデルになっている。
【００３３】
また、本発明に係る対象物追跡装置は、上記尤度判定部により判定された上記尤度に基づいて、上記複数の探索位置の中から探索位置を絞り込む探索位置絞込部と、上記探索位置絞込部により絞り込まれた上記探索位置の数が第２の所定数以下であるか否かを判定する探索位置数判定部とを更に備え、上記ラフ輪郭モデル生成部は、上記ラフ輪郭モデルの生成後、上記探索位置数判定部の判定結果が上記第２の所定数より大きい場合は、上記探索位置絞込部により絞り込まれた上記探索位置に対し、上記複数の第１対応点およびそれらの上記参考点の各々に対応する上記第１の領域の領域サイズを所定サイズ増大し、増大した上記第１の領域の画素値に基づいて上記複数の第１対応点の各々の上記輪郭度合いを求めることで、上記ラフ輪郭モデルを改めて生成し、上記尤度判定部は、上記ラフ輪郭モデル生成部により改めて生成された上記ラフ輪郭モデルに対して上記尤度を判定し、上記探索位置絞込部は、上記尤度判定部により判定された上記尤度に基づいて、上記探索位置絞込部が絞り込んだ上記探索位置の中から更に探索位置を絞り込み、上記探索位置数判定部は、上記探索位置絞込部により更に絞り込まれた上記探索位置の数が上記第２の所定数以下であるか否かを判定し、上記対象物位置特定部は、上記探索位置数判定部の判定結果が上記第２の所定数以下の場合、上記探索位置絞込部により絞り込まれた探索位置の中から、上記第２フレームにおける上記対象物の位置を特定することことが望ましい。
【００３４】
上記の構成によれば、探索位置絞込部により絞り込まれた探索位置の数が第２の所定数より大きい場合は、探索位置絞込部により絞り込まれた探索位置に対し、複数の第１対応点およびそれらの参考点の各々に対応する第１の領域の領域サイズが所定サイズ増大され、その増大された第１の領域の画素値に基づいて複数の第１対応点の各々の輪郭度合いが求められることで、ラフ輪郭モデルが改めて生成される。
【００３５】
この様に、第１の領域の領域サイズが所定サイズ増大されると、その分、各第１対応点の輪郭度合いがより正確に求められるので、同じ数の対応点でも、より正確な輪郭度合いに基づいてラフ輪郭モデルが生成される。よって、対象物の探索の精度が向上する。
【００３６】
また、本発明に係る対象物追跡装置は、上記尤度判定部により判定された上記尤度に基づいて、上記複数の探索位置の中から探索位置を絞り込む探索位置絞込部と、上記探索位置絞込部により絞り込まれた上記探索位置の数が第２の所定数以下であるか否かを判定する探索位置数判定部とを備え、上記ラフ輪郭モデル生成部は、上記ラフ輪郭モデルの生成後、上記探索位置数判定部の判定結果が上記第２の所定数より大きい場合は、上記探索位置絞込部により絞り込まれた上記探索位置に対し、上記第１の所定数を所定数増やして、上記ラフ輪郭モデルを改めて生成し、上記尤度判定部は、上記ラフ輪郭モデル生成部により改めて生成された上記ラフ輪郭モデルに対して上記尤度を判定し、上記探索位置絞込部は、上記尤度判定部により判定された上記尤度に基づいて、上記探索位置絞込部が絞り込んだ上記探索位置の中から更に探索位置を絞り込み、上記探索位置数判定部は、上記探索位置絞込部により更に絞り込まれた上記探索位置の数が上記第２の所定数以下であるか否かを判定し、上記対象物位置特定部は、上記探索位置数判定部の判定結果が上記第２の所定数以下の場合、上記探索位置絞込部により更に絞り込まれた探索位置の中から、上記第２フレームにおける上記対象物の位置を特定することが望ましい。
【００３７】
上記の構成によれば、探索位置絞込部により絞り込まれた探索位置の数が第２の所定数より大きい場合は、探索位置絞込部により絞り込まれた探索位置に対し、第１の所定数（即ち、ラフ輪郭モデルを構成する対応点の数）が所定数増やされて、ラフ輪郭モデルが改めて生成される。この様に、第１の所定数が所定数増やされると、その分、ラフ輪郭モデルのラフさ度合いが一段階低下するので、ラフさ度合いが一段階下げられて（換言すれば、少し詳細化されて）ラフ輪郭モデルが改めて生成される。
【００３８】
これにより、始めは、ラフさ度合いが大きいラフ輪郭モデルを用いて広範囲を大雑把に速く探索し、探索位置の数を絞り込みながら、ラフさ度合いを徐々に下げて詳細に探索することができる。故に、画像中から対象物を効率良く（即ち素早く）検出することができる。
【００３９】
また、本発明に係る対象物追跡装置は、上記位置情報取得部は、上記対象物位置特定部により上記第２フレームにおいて上記対象物の位置が特定された場合に、上記対象物位置特定部により特定された該第２フレームにおける上記対象物の位置情報を取得し、該第２フレームを上記第１フレームとして扱うことが望ましい。
【００４０】
上記の構成によれば、位置情報取得部は、対象物位置特定部により第２フレームにおいて対象物の位置が特定された場合に、対象物位置特定部により特定された該第２フレームにおける上記対象物の位置情報を取得し、該第２フレームを第１フレームとして扱う。これにより、該第２フレームで特定された対象物の位置に基づいて、各処理部（詳細輪郭モデル生成部、探索位置設定部、ラフ輪郭モデル生成部、尤度判定部、対象物位置特定部）において同じ処理が繰り替えされて、該第２フレームより後の何れかのフレームにおいて当該対象物の位置が特定される。これにより、或るフレームにおいて最初に特定された対象物を自動的に追跡することができる。
【００４１】
特に、詳細輪郭モデル生成部では、第２フレームで特定された対象物の輪郭に基づいて詳細輪郭モデルが生成されるので、対象物の形状が変化する場合でも、その形状変化を考慮して対象物を追跡することができる。
【００４２】
なお、上記対象物追跡装置は、一部をコンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより上記対象物追跡装置をコンピュータにて実現させる制御プログラム、および上記制御プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００４３】
以上のように、本発明に係る対象物追跡装置は、複数のフレームからなる時系列画像の中の対象物を追跡する対象物追跡装置であって、第１フレームにおける追跡対象となる対象物の位置情報を取得する位置情報取得部と、上記第１フレームにおいて、上記位置情報に基づいて、上記対象物の輪郭を示す複数の輪郭点からなる詳細輪郭モデルを生成する詳細輪郭モデル生成部と、上記第１フレームより後の何れかの第２フレームにおいて複数の異なる探索位置を設定する探索位置設定部と、上記第２フレームにおいて、上記各探索位置に対し、上記詳細輪郭モデルを当該探索位置に当てはめた場合の、上記複数の輪郭点の位置に対応する複数の第１対応点を特定し、上記複数の第１対応点の中から、上記複数の第１対応点よりも少ない第１の所定数の点を第２対応点として選択し、上記第２対応点からなるラフ輪郭モデルを生成するラフ輪郭モデル生成部と、上記各探索位置について、上記第２フレームの画像における上記ラフ輪郭モデルの上記各第２対応点に関する第２の画像特徴量と、上記第１フレームの画像における上記詳細輪郭モデルの上記各輪郭点のうち当該各第２対応点に対応する輪郭点に関する第１の画像特徴量とを比較することで、上記第２フレームにおいて上記各探索位置が上記対象物の位置であることの尤度を判定する尤度判定部と、上記尤度判定部により判定された上記尤度に基づいて、上記複数の探索位置の中から上記対象物の位置を特定する対象物位置特定部と、を備えている。
【００４４】
また、本発明に係る対象物追跡方法は、複数のフレームからなる時系列画像の中の対象物を追跡する対象物追跡方法であって、第１フレームにおける追跡対象となる対象物の位置情報を取得する位置情報取得ステップと、上記第１フレームにおいて、上記位置情報に基づいて、上記対象物の輪郭を示す複数の輪郭点からなる詳細輪郭モデルを生成する詳細輪郭モデル生成ステップと、上記第１フレームより後の何れかの第２フレームにおいて複数の異なる探索位置を設定する探索位置ステップと、上記第２フレームにおいて、上記各探索位置に対し、上記詳細輪郭モデルを当該探索位置に当てはめた場合の、上記複数の輪郭点の位置に対応する複数の第１対応点を特定し、上記複数の第１対応点の中から、上記複数の第１対応点よりも少ない第１の所定数の点を第２対応点として選択し、上記第２対応点からなるラフ輪郭モデルを生成するラフ輪郭モデル生成ステップと、上記各探索位置について、上記第２フレームの画像における上記ラフ輪郭モデルの上記各第２対応点に関する第２の画像特徴量と、上記第１フレームの画像における上記詳細輪郭モデルの上記各輪郭点のうち当該各第２対応点に対応する輪郭点に関する第１の画像特徴量とを比較することで、上記第２フレームにおいて上記各探索位置が上記対象物の位置であることの尤度を判定する尤度判定ステップと、上記尤度判定ステップにより判定された上記尤度に基づいて、上記複数の探索位置の中から上記対象物の位置を特定する対象物位置特定ステップと、を備えている。
【００４５】
よって、対象物の追随性と処理の高速化を両立できる。
【図面の簡単な説明】
【００４６】
【図１】本発明の一実施の形態に係る物体追跡システムの概略構成を示すブロック図である。
【図２】上記物体追跡システムの追跡部の構成を示すブロック図である。
【図３】（ａ）は、あるフレームの画像についての追跡処理の例を示す図であり、（ｂ）は、その次のフレームの画像についての追跡処理の例を示す図である。
【図４】詳細輪郭モデルを説明する図である。
【図５】ラフ輪郭モデルを説明する図である。
【図６】探索位置Ｓ1・Ｓ2・Ｓ3でのラフ輪郭モデルの一例を示した図である。
【図７】探索位置が２個に絞り込まれた場合の一例を示した図である。
【図８】物体追跡装置における対象物の追跡処理の流れの概要を示すフローチャートである。
【図９】初期化部における初期化処理の流れを示すフローチャートである。
【図１０】追跡部における追跡処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００４７】
本実施の形態では、デジタルビデオカメラに搭載され、撮像された動画像の中の対象物を追跡して対象物に焦点を合わせ続ける物体追跡システムについて説明するが、本発明はこれに限定されるものではない。以下、本実施の形態について、図１〜１０を参照して詳細に説明する。
【００４８】
＜物体追跡システムの構成＞
図１は、本実施の形態に係る物体追跡システム１の概略構成を示すブロック図である。物体追跡システム１は、撮像装置２と、焦点制御装置３、および、物体追跡装置（対象物追跡装置）１０とを備える。
【００４９】
撮像装置２は、動画像を撮像するものである。撮像装置２は、例えば、ＣＣＤ（charge coupled device）またはＣＭＯＳ（complementary metal oxide semiconductor）撮像素子等の撮像素子によって構成される。本実施の形態では、撮像装置２は、１秒間に３０フレームの画像を撮像する。撮像装置２は、撮像した動画像を複数のフレームからなる時系列に並ぶ画像として物体追跡装置１０に出力する。
【００５０】
物体追跡装置１０は、時系列の画像から追跡対象である対象物を追跡し、画像中における対象物の位置を、焦点制御装置３に出力する。物体追跡装置１０の詳細な構成は後述する。
【００５１】
焦点制御装置３は、物体追跡装置１０から入力された画像中における対象物の位置に基づいて、撮像装置２の焦点を調節する。
【００５２】
次に、物体追跡装置１０の詳細構成について説明する。物体追跡装置１０は、画像取得部１１、記憶部１２、初期化部１３、および、追跡部１４を備える。
【００５３】
画像取得部１１は、撮像装置２から時系列の画像を順番に取得して、時系列の画像を記憶部１２に記憶させる。
【００５４】
記憶部１２は、各種の情報を記憶するものであり、例えばＨＤＤ（Hard Disk Drive）、フラッシュメモリ等の記憶デバイスによって構成される。記憶部１２は、画像取得部１１が取得した時系列の画像を記憶する。また、記憶部１２は、初期化部１３および追跡部１４が出力する各種の情報を記憶する。
【００５５】
初期化部１３は、画像中の追跡対象となる対象物を特定するものであり、追跡部１４は、時系列の画像中の上記対象物を追跡するものである。
【００５６】
＜初期化部の構成＞
初期化部１３は、対象物指定部２１、および、対象物位置特定部２２（位置情報取得部）を備える。
【００５７】
対象物指定部２１は、図３（ａ）の様に、あるフレームの画像Ｇ1の中の追跡対象となる対象物Ｔを特定するものである。対象物指定部２１は、例えば、画像Ｇ1の中のいずれの位置に追跡対象となる対象物Ｔが存在するかを示す情報の入力を受け付ける。例えば、デジタルビデオカメラは、タッチパネルが備えられた表示装置によって撮像画像を利用者に提示し、利用者は、タッチパネルによって追跡対象となる対象物Ｔが存在する位置（例えば位置Ｐ）を指定する。対象物指定部２１は、指定された位置Ｐの情報を対象物位置特定部２２に出力する。
【００５８】
なお、対象物指定部２１は、対象物Ｔが存在する領域を示す情報を受け付けてもよい。
【００５９】
対象物位置特定部２２は、対象物指定部２１において指定された位置Ｐに基づき、画像Ｇ1から対象物Ｔを探索することにより、対象物Ｔが存在する位置Ｑを特定する。
【００６０】
具体的には、対象物位置特定部２２は、記憶部１２からある時点（例えば最新）のフレーム（第１フレーム）の画像Ｇ1を取得する。対象物位置特定部２２は、図３（ａ）の様に、画像Ｇ1において、指定された位置Ｐを含む所定の領域サイズの領域（例えば位置Ｐを中心とする例えば１００×１００ピクセルの領域）Ｒについて、対象物Ｔの検出を行う。この対象物Ｔの検出では、色検出またはエッジ検出などの周知の技術を利用することができる。
【００６１】
対象物位置特定部２２は、検出された対象物Ｔが含まれる矩形の領域Ｗを対象物Ｔが存在する位置Ｑとする。なお、検出された対象物Ｔが大きければ、領域Ｗのサイズはより大きく設定される。ここでは、対象物Ｔの位置Ｑを対象物Ｔが存在する領域Ｗを用いて規定したが、領域Ｗの中心を対象物Ｔの位置Ｑと規定してもよい。また、領域Ｗは、円形等の他の形状の領域でもよいし、所定の大きさの領域でもよい。
【００６２】
また、対象物位置特定部２２は、対象物Ｔの位置Ｑの情報を、当該フレームの画像Ｇ1と対応付けて記憶部１２に記憶させる。
【００６３】
また、対象物指定部２１は、特定の条件の入力を受け付け、対象物位置特定部２２は、その条件に基づいて対象物Ｔの位置Ｑを検出してもよい。例えば、対象物指定部２１が「顔を対象物にする」という条件の入力を受け付けた場合、対象物位置特定部２２は、画像全体に渡って顔検出を行い、検出された顔のいずれかを対象物とし、その位置Ｑを検出する。対象物指定部２１が「四角い物体を対象物にする」という条件の入力を受け付けた場合、同様に、対象物位置特定部２２は、画像から検出された四角い物体のいずれかを対象物とし、その位置Ｑを検出する。
【００６４】
以上により、あるフレーム（第１フレーム）の画像Ｇ1における対象物Ｔの位置Ｑが特定され、その情報が初期化部１３によって記憶部１２に記憶される。この情報を基に、追跡部１４は、第１フレームより後の何れかのフレーム（第２フレーム）を用いて対象物Ｔの追跡のための情報を取得し、対象物Ｔの追跡を行う。以下では、説明便宜上、第２フレームは、第１フレームの次のフレームとするが、第１フレームから数フレーム後のフレームであってもよい。
【００６５】
＜追跡部の構成＞
図２は、追跡部１４の構成を示すブロック図である。追跡部１４は、輪郭抽出部２９、詳細輪郭モデル生成部３０、探索位置設定部３１、ラフ輪郭モデル生成部３２、尤度判定部３３、探索位置絞込部３４、判定部３５（探索位置数判定部）、対象物位置特定部３６（位置情報取得部）、および、追跡結果出力部３８を備える。
【００６６】
画像取得部１１は、初期化部１３において追跡対象である対象物Ｔの位置Ｑを特定した画像Ｇ1の次のフレームの画像Ｇ2（図３（ｂ）参照）を、撮像装置２から取得して記憶部１２に記憶させる。追跡部１４は、記憶部１２に記憶された画像Ｇ1を用いて対象物Ｔの詳細輪郭モデルを生成する。また、追跡部１４は、記憶部１２に記憶された画像Ｇ2を用いて上記詳細輪郭モデルに基づいて追跡対象の候補となる複数のラフ輪郭モデルを動的に生成し、それら各ラフ輪郭モデルを徐々に詳細化して上記各候補を絞り込むことで、画像Ｇ2の中の対象物Ｔを追跡する。以降では、追跡部１４において追跡処理を行う処理対象のフレームを現フレームと称し、現フレームの画像を処理対象画像と称する。
【００６７】
輪郭抽出部２９は、記憶部１２に記憶された画像Ｇ1を用いて、初期化部１３の対象物位置特定部２２が特定した対象物Ｔの位置Ｑに基づいて、対象物Ｔの輪郭を抽出する。具体的には、輪郭抽出部２９は、図４の様に、対象物位置特定部２２が特定した対象物Ｔの位置Ｑに対し、例えばLevel Set、SnakeまたはB-splineなどの周知の輪郭抽出法を用いて輪郭抽出処理を行って、対象物Ｔの輪郭１０１を抽出する。
【００６８】
詳細輪郭モデル生成部３０は、輪郭抽出部２９が抽出した輪郭１０１に基づいて対象物Ｔの詳細輪郭モデルを生成する。具体的には、詳細輪郭モデル生成部３０は、図４の様に、画像Ｇ1において、輪郭抽出部２９が抽出した輪郭１０１に沿って複数（ｎ個）の輪郭点Ｘ1〜Ｘnを抽出し、その複数の輪郭点Ｘ1〜Ｘnからなる詳細輪郭モデルを生成する。
【００６９】
この詳細輪郭モデルは、画像Ｇ1での対象物Ｔの輪郭１０１を複数の輪郭点Ｘ1〜Ｘnの集合で再現したものである。なお、各輪郭点Ｘ1〜Ｘnは、輪郭１０１上の点に限定されず、輪郭１０１付近の点であってもよい。
【００７０】
なお、各輪郭点Ｘ1〜Ｘnには、輪郭１０１に沿って識別番号が付与されており、輪郭に沿って隣合う輪郭点が特定可能になっている。
【００７１】
また、詳細輪郭モデル生成部３０は、各輪郭点Ｘ1〜Ｘnでの尤度判定用の特徴量（第１の画像特徴量）を求め、その尤度判定用の特徴量を記したテンプレートを生成する。具体的には、図４の様に、各輪郭点Ｘ1〜Ｘnにはそれぞれ、その輪郭点を含む所定の領域サイズ（例えば５×５ピクセル）の尤度判定用の領域Ｒ２が対応している。そして、詳細輪郭モデル生成部３０は、各輪郭点Ｘ1〜Ｘnでの尤度判定用の特徴量として、その輪郭点に対応する尤度判定用の領域Ｒ２の画素値から得られる特徴量を用いる。
【００７２】
この特徴量としては、例えば、輝度、色、エッジ強度、または、勾配角度（エッジの角度）などを用いる事ができる。この尤度判定用の特徴量として、例えば輝度およびエッジ強度等を組合わせて用いてもよい。ここでは、この尤度判定用の特徴量として、尤度判定用の領域Ｒ２の輝度分布が用いられる。なお、図４では、一例として、輪郭点Ｘ3に対応した５×５ピクセルの尤度判定用の領域Ｒ２の輝度分布が図示されている。
【００７３】
また、詳細輪郭モデル生成部３０は、生成した詳細輪郭モデルおよびテンプレートを当該フレームの画像Ｇ1と対応付けて記憶部１２に記憶させる。
【００７４】
探索位置設定部３１は、図３（ｂ）の様に、現フレームの処理対象画像Ｇ2において対象物Ｔの探索を行う複数（ｍ個）の異なる探索位置Ｓ1〜Ｓmを設定する。ここでは、各探索位置Ｓ1〜Ｓmは、対象物Ｔの位置Ｑと同様に領域により規定されており、対象物Ｔの位置Ｑと同じ形状および同じ領域サイズに設定されている。なお、対象物Ｔの位置Ｑが点（例えば領域Ｗの中心点）として規定されている場合は、探索位置Ｓ1〜Ｓmも点として規定される。
【００７５】
具体的には、探索位置設定部３１は、図３（ｂ）の様に、処理対象画像Ｇ2において、１つ前のフレームの画像Ｇ1での対象物Ｔの位置Ｑの周辺に複数の探索位置Ｓ1〜Ｓmを設定する。なお、探索位置Ｓ1〜Ｓmの設定の仕方としては、例えば、パーティクルフィルタ、または、部分領域探索の技術を利用する事ができる。探索位置設定部３１は、探索位置Ｓ1〜Ｓmの情報をラフ輪郭モデル生成部３２に出力する。
【００７６】
ラフ輪郭モデル生成部３２は、探索位置設定部３１により設定された各探索位置Ｓ1〜Ｓmにおいて、上記詳細輪郭モデルに基づいてラフ輪郭モデルを生成する。
【００７７】
具体的には、ラフ輪郭モデル生成部３２は、図５の様に、各探索位置Ｓ1〜Ｓmにおいて、対象物Ｔの位置Ｑを当該探索位置Ｓi（i＝１〜ｍ）に重ねた場合（即ち、詳細輪郭モデルを当該探索位置Ｓiに当てはめた場合）の、詳細輪郭モデルの複数の輪郭点Ｘ1〜Ｘnの位置に対応する複数の対応点Ｙ1〜Ｙn（第１対応点）を特定する。なお、複数の対応点Ｙ1〜Ｙnにはそれぞれ、それに対応する輪郭点Ｘ1〜Ｘnと同じ識別番号が付与されている。
【００７８】
そして、ラフ輪郭モデル生成部３２は、各探索位置Ｓ1〜Ｓmに対し、上記の様に特定した複数の対応点Ｙ1〜Ｙnの中から第１の所定数（例えばｕ個）の対応点（第２対応点）Ｙa1〜Ｙauを選択し、その第１の所定数の対応点Ｙa1〜Ｙauからなるラフ輪郭モデルを生成する。なお、上記第１の所定数は、複数の対応点Ｙ1〜Ｙnよりも少ない数である。
【００７９】
なお、このラフ輪郭モデルは、画像Ｇ1での対象物Ｔの輪郭１０１を上記詳細輪郭モデルの複数の輪郭点Ｘ1〜Ｘnよりも少ない個数の対応点Ｙa1〜Ｙauの集合で再現したものである。即ち、このラフ輪郭モデルは、対象物Ｔの輪郭１０１を単純化して（即ちラフに）表したものである。このラフ輪郭モデルは、対応点Ｙa1〜Ｙauの個数が少ないほど、ラフさ度合い（単純化度合い）が高くなる。
【００８０】
更に具体的には、ラフ輪郭モデル生成部３２は、まず以下の様にして、処理対象画像Ｇ2において、各対応点Ｙj（j＝１〜ｎ）での対応点選択用の特徴量（第３の画像特徴量）を求める。即ち、ラフ輪郭モデル生成部３２は、処理対象画像Ｇ2において、図５の様に、対応点Ｙj（注目対応点）に対応する対応点選択用の領域（第１の領域）の画素値（例えば輝度）と、その対応点Ｙjの周囲の特定位置にある１つ以上の参考点（例えばＹj-1・Ｙj+1・Ｙout・Ｙin）の各々に対応する対応点選択用の領域の画素値（例えば輝度）とに基づいて、対応点Ｙjでの上記の対応点選択用の特徴量を求める。
【００８１】
なお、各点Ｙj・Ｙj-1・Ｙj+1・Ｙout・Ｙinに対応する上記の対応点選択用の領域はそれぞれ、その対応する点Ｙj・Ｙj-1・Ｙj+1・Ｙout・Ｙinを例えば中心に含む所定の領域である。
【００８２】
ここでは、対応点Ｙjに対する上記参考点として、図５の様に、輪郭１０２に沿って対応点Ｙjに隣合う２個の対応点Ｙj+1・Ｙj-1と、対応点Ｙjの近傍であって輪郭１０２の内側の１点Ｙinおよび外側の１点Ｙoutとを使用している。対応点Ｙj+1・Ｙj-1はそれぞれ、対応点Ｙjの１つ後および１つ前の識別番号を有する対応点である。画像Ｇ2上の輪郭１０２は、対象物Ｔの位置Ｑを当該探索位置Ｓiに重ねた場合の、対象物Ｔの輪郭１０１に対応する画像Ｇ2上の輪郭である。
【００８３】
なお、各参考点Ｙin・Ｙoutと対応点Ｙjとの距離については、対応点Ｙjと各参考点Ｙj+1，Ｙj-1との各距離の平均値を採用してもよい。また、各参考点Ｙin・Ｙoutの対応点Ｙjからの方位については、例えば、角度Ｙout・Ｙj・Ｙj-1と角度Ｙout・Ｙj・Ｙj+1とが等しくなり、角度Ｙin・Ｙj・Ｙj-1と角度Ｙin・Ｙj・Ｙj+1とが等しくなる様な方位を採用してもよい。また、複数の対応点Ｙ1〜Ｙnを繋げて輪郭を求め、その輪郭における対応点Ｙjでの接線に対する法線の方向に、各参考点Ｙin・Ｙoutを配置してもよく、その際、点Ｙjから点Ｙinまでの距離を、各点Ｙj+1・Ｙj間、各Ｙj-1・Ｙj間の距離の平均としてもよい。なお、上記輪郭として、複数の対応点Ｙ1〜Ｙnを繋げたものを使用する代わりに、複数の対応点Ｙ1〜Ｙnに対応する複数の輪郭点Ｘ1〜Ｘnの基になった輪郭（即ち、輪郭抽出部２９が抽出した輪郭）１０１を用いてもよい。
【００８４】
また、対応点Ｙjでの上記の対応点選択用の特徴量としては、例えば、処理対象画像Ｇ2における対応点Ｙjと各参考点Ｙin・Ｙj-1・Ｙj+1との間の各輝度差のうちのその輝度差が一番大きいものと、対応点Ｙjと参考点Ｙoutとの間の輝度差との差が用いられる。ここでは、対応点Ｙjの上記の対応点選択用の特徴量として、この様な輝度差の差が用いられるが、この様に限定されるものではなく、例えば、各点Ｙj-1・Ｙj・Ｙj+1に沿った輪郭部分でのエッジ強度の大きさを採用してもよい。また、輝度差とエッジ強度を組合わせて用いてもよい。また、対応点Ｙjの周辺画素の輝度差（例えば対応点Ｙjと参考点Ｙoutの輝度差）を用いてもよい。
【００８５】
なお、対応点Ｙjと各参考点Ｙj-1・Ｙj+1・Ｙout・Ｙinとの間の上記各輝度差は、下記の様に求められる。各点Ｙj・Ｙj-1・Ｙj+1・Ｙout・Ｙinに対応する上記対応点選択用の領域は、画像Ｇ2の領域であり、互いに同じ領域サイズの領域（例えば５×５ピクセル）である。そして、各点Ｙj・Ｙj-1間の上記輝度差（第３画素値差）を求める場合は、各点Ｙj・Ｙj-1に対応する上記対応点選択用の各領域において同じ配列位置に在るピクセル間の輝度差を求め、それら各輝度差（または各輝度差の絶対値）を上記対応点選択用の領域に渡って合算したものを各点Ｙj・Ｙj-1間の輝度差とする。対応点Ｙjと他の参考点Ｙj+1・Ｙout・Ｙinとの間の上記各輝度差（第３画素値差、第２画素値差、第１画素値差）についても同様である。なお、この輝度差の計算方法は一例であり、この様に限定されない。この様に対応点Ｙjでの上記の対応点選択用の特徴量が求められる。
【００８６】
なお、ここでは、対応点Ｙjの参考点として、各点Ｙj-1・Ｙj+1・Ｙout・Ｙinを用いたが、各点Ｙout・Ｙinだけを用いてもよい。
【００８７】
そして、ラフ輪郭モデル生成部３２は、各探索位置Ｓiについて、複数の対応点Ｙ1〜Ｙnのうち、画像Ｇ2において、輪郭を表している度合いがより高いいくつかの対応点Ｙa1〜Ｙauを選択し、対応点Ｙa1〜Ｙauからなる該探索位置Ｓiのラフ輪郭モデルを生成する。
【００８８】
もし現フレームにおいてある探索位置Ｓiに対象物Ｔが移動していれば、その探索位置Ｓiの各対応点Ｙ1〜Ｙnに対象物Ｔの輪郭が位置している可能性が高く、各対応点Ｙ1〜Ｙnは輪郭を表すはずである。ただし、対象物Ｔの輪郭が変形しながら対象物Ｔが移動している場合、現フレームにおいて対象物Ｔが探索位置Ｓiに移動していても、その探索位置Ｓiの各対応点Ｙ1〜Ｙnの中には輪郭を表さない点もある。そのため、現フレームの画像Ｇ2においてより輪郭を表している度合いがより高いいくつかの対応点Ｙa1〜Ｙauをラフ輪郭モデルを構成する点として選択（選抜）する。画像Ｇ2において輪郭を表している度合いが高い対応点Ｙa1〜Ｙauからなるラフ輪郭モデルは、該探索位置Ｓiに対象物Ｔが移動しているか否かを判定するための、優秀かつ単純な輪郭モデルであると考えることができる。
【００８９】
対応点Ｙjが輪郭を表している度合いは、例えば、画像Ｇ2における対応点Ｙjに対応する位置のエッジ強度で表すことができる。また、例えば、対応点Ｙjが輪郭を表している度合いは、画像Ｇ2における対応点Ｙjに対応する輪郭１０２の内側と外側との輝度差で表すことができる。
【００９０】
具体的には、ラフ輪郭モデル生成部３２は、この様に上記の対応点選択用の特徴量を求めた複数の対応点Ｙ1〜Ｙnのうち、所定の事前知識を満たすものを選び、その中から上記の対応点選択用の特徴量の大きさが上位第１の所定数（例えば上位ｕ個）に（即ち、最大のものから第１の所定数の順位までに）含まれるものを選択して、その第１の所定数の対応点Ｙa1〜Ｙauからなるラフ輪郭モデルを生成する。
【００９１】
上記所定の事前知識としては、例えば、対応点Ｙjに着目した場合、対応点Ｙjと参考点Ｙoutとの間の輝度差は、対応点Ｙjと参考点Ｙinとの間の輝度差、対応点Ｙjと参考点Ｙj-1との間の輝度差、および、対応点Ｙjと参考点Ｙj+1との間の輝度差よりも大きい、という事前知識を利用することができる。
【００９２】
上記の対応点Ｙjでの対応点選択用の特徴量（第３の画像特徴量）は、この事前知識を踏まえたものであり、対応点Ｙjが対象物Ｔの輪郭を示している輪郭度合いを表している。即ち、現フレームにおいてその探索位置Ｓiに対象物Ｔが移動していれば、複数の対応点Ｙ1〜Ｙnを繋ぐ輪郭１０２の内側と外側で輝度差が大きいと推測できる。それゆえ、上記事前知識を踏まえた上記の対応点選択用の特徴量は、各対応点Ｙ1〜Ｙnが対象物Ｔの輪郭を示している輪郭度合いを表す指標となる。そして、上記の対応点選択用の特徴量が大きいほど、上記の輪郭度合いは高いはずである。本発明は、上記の輪郭度合いに基づいて、複数の対応点Ｙ1〜Ｙnをより有効ないくつかの対応点Ｙa1〜Ｙauに絞り込み、それら各対応点Ｙa1〜Ｙauでラフ輪郭モデルを作成するので、このラフ輪郭モデルは、少ない情報（対応点）で有効なモデルになっている。
【００９３】
この様に、複数の対応点Ｙ1〜Ｙnのうち上記の対応点選択用の特徴量が上位第１の所定数に含まれるものから、ラフ輪郭モデルが生成される。よって、各探索位置Ｓ1〜Ｓmのラフ輪郭モデルはそれぞれ、少ない情報（対応点）で、その探索位置Ｓiに対象物Ｔが移動しているか否かを判定する優秀な輪郭モデルとなっている。
【００９４】
なお、エッジ強度を対応点選択用の特徴量とする場合は、エッジ強度の大きさが上位第１の所定数に含まれる対応点を選択する。
【００９５】
各探索位置Ｓ1〜Ｓmでのラフ輪郭モデルの各対応点Ｙa1〜Ｙauはそれぞれ、その探索位置での画像Ｇ2に基づいて生成されるので、例えば図６の様に、個数（ｕ個）は同じでも、組み合わせは異なっている。なお、図６では、作図便宜上、各探索位置Ｓ1・Ｓ2・Ｓ3でのラフ輪郭モデルだけが図示されている。
【００９６】
また、ラフ輪郭モデル生成部３２は、各探索位置Ｓ1〜Ｓmのラフ輪郭モデルの各対応点Ｙa1〜Ｙauに対応する尤度判定用の領域の画素値に基づいて、各探索位置Ｓ1〜Ｓmのラフ輪郭モデルの各対応点Ｙa1〜Ｙauの尤度判定用の特徴量（第２の画像特徴量）を求める。この尤度判定用の特徴量は、後述の尤度判定部３３の尤度の判定で使用されるものである。なお、各対応点Ｙa1〜Ｙauに対応する上記の尤度判定用の領域はそれぞれ、その対応する対応点Ｙa1〜Ｙauを例えば中心に含む領域である。
【００９７】
この尤度判定用の特徴量は、詳細輪郭モデルの各輪郭点Ｘ1〜Ｘnに対応する上記の尤度判定用の領域の画素値から求められた上記尤度判定用の特徴量（ここでは輝度分布：第１の画像特徴量）と同じ種類の特徴量（ここでは輝度分布）である。
【００９８】
なお、各対応点Ｙa1〜Ｙauに対応する上記の尤度判定用の領域の領域サイズは、詳細輪郭モデルの各輪郭点Ｘ1〜Ｘnに対応する上記の尤度判定用の領域と同じ領域サイズ（例えば５×５ピクセルのサイズ）であるが、各対応点Ｙ1〜Ｙnに対応する上記の対応点選択用の領域の領域サイズと同じ領域サイズである必要はない。
【００９９】
即ち、各対応点Ｙ1〜Ｙnには、上記の対応点選択用の領域が対応し、各対応点Ｙ1〜Ｙnのうちの各Ｙa1〜Ｙauには、更に、上記の尤度判定用の領域が対応する。なお、上記の尤度判定用の領域は、詳細輪郭モデルの各輪郭点Ｘ1〜Ｘnに対応する上記尤度判定用の領域と同じ領域サイズに固定されるが、上記の対応点選択用の領域は、後述の様に、判定部３５からの後述の指示信号に応じて、領域サイズが変更される。
【０１００】
またラフ輪郭モデル生成部３２は、上記の各探索位置Ｓ1〜Ｓmでのラフ輪郭モデルの情報（即ち、各対応点Ｙa1〜Ｙauの情報、および、各対応点Ｙa1〜Ｙauでの尤度判定用の特徴量の情報）を尤度判定部３３に出力する。
【０１０１】
また、ラフ輪郭モデル生成部３２は、後述の様に、判定部３５から指示信号（即ち、ラフさ度合いを一段階下げてラフ輪郭モデルを改めて生成させる旨の指示信号）を取得した場合は、後述の様に探索位置絞込部３４により絞り込まれた各探索位置に対してだけ、それらのラフ輪郭モデルの各対応点Ｙa1〜Ｙauの個数（ｕ個）を所定数増やして、ラフ輪郭モデルを改めて生成する。
【０１０２】
なお、上記所定数として、例えば、予め設定された固定数、または、その時点での各対応点Ｙa1〜Ｙauの個数に対して一定割合増やした数を採用できる。また、対応点Ｙa1〜Ｙauの個数の増やし方として、対応点Ｙa1〜Ｙauの個数を、上記指示信号に応じて、輪郭点Ｘ1〜Ｘnの個数の２０％から５０％まで段階的に増してもよい。
【０１０３】
なお、対応点Ｙa1〜Ｙauの個数を所定数増やすことに加えて、またはその代わりに、各対応点Ｙ1〜Ｙnに対応する上記の対応点選択用の領域の領域サイズを所定サイズ増大させ、その所定サイズ増大させた対応点選択用の領域に基づいて、上述同様に、上記の対応点選択用の特徴量を求めてもよい。
【０１０４】
なお、対応点選択用の領域の領域サイズを所定サイズ増大させる場合は、領域サイズとして、例えば１ピクセルから５×５ピクセルまで段階的に用意し、ラフ度合いが最も高い場合の領域サイズとして初期的に１ピクセルを設定しておき、ラフ輪郭モデル生成部３２において上記指示信号を取得する毎に（ラフ度合いが低くなる毎に）、対応点選択用の領域の領域サイズを、縦横共に１ピクセルずつ増大させてもよい。
【０１０５】
また、ラフ輪郭モデル生成部３２は、この改めて生成したラフ度合いが低い（即ちより詳細な）ラフ輪郭モデルに対し、上述同様に、尤度判定用の特徴量を求める。なお、その際、各対応点Ｙa1〜Ｙauに対応する尤度判定用の領域は、上述の対応点選択用の特徴量の場合と違って、変更されない。
【０１０６】
そして、ラフ輪郭モデル生成部３２は、改めて生成した各探索位置Ｓ1〜Ｓmでのラフ輪郭モデルの情報（各対応点Ｙa1〜Ｙauの情報、および、各対応点Ｙa1〜Ｙauでの尤度判定用の特徴量の情報）を尤度判定部３３に出力する。
【０１０７】
尤度判定部３３は、上記の各探索位置Ｓ1〜Ｓmでのラフ輪郭モデルの情報を受信すると、各探索位置Ｓ1〜Ｓmでのラフ輪郭モデルの詳細輪郭モデルに対する尤度Ｌ（即ち現フレームの画像Ｇ2において各探索位置Ｓiが対象物Ｔの位置であることの尤度）を判定する。
【０１０８】
具体的には、尤度判定部３３は、ラフ輪郭モデル生成部３２から上記の各探索位置Ｓ1〜Ｓmでのラフ輪郭モデルの情報（即ち各対応点Ｙa1〜Ｙauの情報、および、各対応点Ｙa1〜Ｙauでの尤度判定用の特徴量（例えば輝度分布）の情報）を取得すると共に、記憶部１２から上記の詳細輪郭モデルのテンプレート（即ち各輪郭点Ｘ1〜Ｘnでの尤度判定用の特徴量（例えば輝度分布）の情報）を読み出す。
【０１０９】
そして、尤度判定部３３は、まず、画像Ｇ2における探索位置Ｓi（i＝１〜ｍ）でのラフ輪郭モデルの各対応点Ｙa1〜Ｙauと、画像Ｇ1における詳細輪郭モデルの各輪郭点Ｘ1〜Ｘnのうちの上記各対応点Ｙa1〜Ｙauに対応する各輪郭点Ｘa1〜Ｘauとの間で、上記の尤度判定用の特徴量の差を求めることで、各対応点Ｙajの輪郭点Ｘajに対する尤度Ｌjを求める。
【０１１０】
ここでは、尤度判定部３３は、対応する各点Ｘaj・Ｙaj（j＝１〜ｕ）に対応する上記各領域（５×５ピクセルの尤度判定用の領域）において同じ配列位置に在るピクセル間の輝度差を求め、それら各輝度差（または各輝度差の絶対値）を合算したものを用いて、対応点Ｙajの輪郭点Ｘajに対する尤度Ｌjを求める。なお、各点Ｘajに対応する上記の尤度判定用の領域は、画像Ｇ1の領域であり、各点Ｙajに対応する上記尤度判定用の領域は、画像Ｇ2の領域である。ここでは、尤度Ｌjは、例えばＬj＝exp(-|輝度差の合算値|)と定義される。
【０１１１】
そして、尤度判定部３３は、各対応点Ｙaj（j＝１〜ｕ）に渡って各対応点Ｙajの尤度Ｌjを合算したものを用いて、探索位置Ｓiでのラフ輪郭モデルの詳細輪郭モデルに対する尤度Ｌ（例えばＬ＝（Ｌ1＋Ｌ2＋…＋Ｌu）／ｕ）を求める。この場合、尤度Ｌの最大値は１となる。図７では、一例として、各探索位置Ｓ1・Ｓ2・Ｓ3での輪郭モデルの尤度Ｌがそれぞれ０．５、０．９、０．３である場合が図示されている。
【０１１２】
なお、尤度Ｌの定義は上記の様に限定されない。また、上記の様に定義された尤度Ｌは、ラフ輪郭モデルが詳細輪郭モデルに類似するほど大きくなるが、ラフ輪郭モデルが詳細輪郭モデルに類似するほど小さくなる様に定義してもよい。
【０１１３】
また、尤度判定部３３は、各探索位置Ｓ1〜Ｓmでのラフ輪郭モデルの尤度Ｌの情報を探索位置絞込部３４に出力する。なお、尤度判定部３３は、ラフ輪郭モデル生成部３２により改めて生成されたラフ輪郭モデルの情報を受信した場合は、その改めて生成されたラフ輪郭モデルの尤度Ｌを上述同様に判定し、その尤度Ｌの情報を探索位置絞込部３４に出力する。
【０１１４】
探索位置絞込部３４は、上記の各探索位置Ｓ1〜Ｓmでのラフ輪郭モデルの尤度Ｌの情報を受信すると、その尤度Ｌに基づいて、複数の探索位置Ｓ1〜Ｓmの中から探索位置を絞り込む。ここでは、探索位置絞込部３４は、複数の探索位置Ｓ1〜Ｓmのうち、そのラフ輪郭モデルの尤度Ｌが所定値以上である探索位置だけ残す。
【０１１５】
これにより、複数の探索位置Ｓ1〜Ｓmのうち、そのラフ輪郭モデルが詳細輪郭モデルに一定以上類似しているものだけ残される。即ち、複数の探索位置Ｓ1〜Ｓmのうち、画像Ｇ2での対象物Ｔの位置であることの尤度が高いものだけが残される。
【０１１６】
なお、探索位置絞込部３４は、ラフ輪郭モデル生成部３２により改めて生成されたラフ輪郭モデルの尤度Ｌの情報を受信した場合は、当該尤度Ｌに基づいて、その絞り込んだ各探索位置を上述同様に更に絞り込む。即ち、探索位置絞込部３４は、その絞り込んだ各探索位置において改めて生成されたラフ輪郭モデルの尤度Ｌを用いて、上述同様に、その絞り込んだ各探索位置を更に絞り込む。
【０１１７】
そして、探索位置絞込部３４は、絞り込んだ探索位置の情報を判定部３５に出力する。
【０１１８】
判定部３５は、探索位置絞込部３４により絞り込まれた探索位置の数が第２の所定数（例えば３個）以下であるか否かを判定する。
【０１１９】
また、判定部３５は、その判定結果が、絞り込まれた探索位置の数が上記第２の所定数以下である場合は、絞り込まれた探索位置の情報を対象物位置特定部３６に出力する。一方、判定部３５は、その判定結果が、絞り込まれた探索位置が上記第２の所定数より大きい場合は、ラフ輪郭モデルのラフさ度合いを一段階下げてラフ輪郭モデルを改めて生成させる旨の上記の指示信号を、ラフ輪郭モデル生成部３２に出力する。
【０１２０】
対象物位置特定部３６は、探索位置絞込部３４により絞り込まれた探索位置が１個の場合は、その探索位置を現フレームの処理対象画像Ｇ2での追跡対象である対象物Ｔの位置Ｑ2と特定する。
【０１２１】
また、対象物位置特定部３６は、探索位置絞込部３４により絞り込まれた探索位置が２個以上で且つ上記第２の所定数以下の場合は、その絞り込まれた各探索位置を例えば色情報を用いて１個に絞り込む。色情報を用いた絞込技術としては、例えば色ヒストグラム、勾配ヒストグラム、または、ガボール特徴などの周知の技術を用いる事ができる。
【０１２２】
具体的には、対象物位置特定部３６は、探索位置絞込部３４により絞り込まれた各探索位置での複数の対応点Ｙ1〜Ｙnで囲まれた領域（即ち追跡対象の候補）の色情報と、１つ前のフィールドの画像Ｇ1での対象物Ｔの色情報とを比較する。そして、対象物位置特定部３６は、探索位置絞込部３４により絞り込まれた各探索位置のうち、その色情報が対象物Ｔの色情報に一番近似するものを、処理対象画像Ｇ2での追跡対象である対象物Ｔの位置Ｑ2と特定する。
【０１２３】
なお、対象物位置特定部３６は、探索位置絞込部３４により絞り込まれた各探索位置を、それら各探索位置全体のエッジの情報を用いて１個に絞り込んでもよい。
【０１２４】
また、対象物位置特定部３６は、上記の様に特定した対象物Ｔの位置Ｑ2の情報を輪郭抽出部２９に出力する。そして、輪郭抽出部２９は、対象物位置特定部３６により特定された位置Ｑ2に基づいて、上述同様に、処理対象画像Ｇ2から対象物Ｔの輪郭を抽出する。また、対象物位置特定部３６は、上記の様に特定した対象物Ｔの位置Ｑ2の情報を処理対象画像Ｇ2と対応付けて記憶部１２に記憶させる。
【０１２５】
この様に、現フレームの処理対象画像Ｇ2において抽出された対象物Ｔの輪郭は、処理対象画像Ｇ2での詳細輪郭モデルに用いられ、現フレームの次のフレームの画像で生成されるラフ輪郭モデルの基になる。即ち、追跡部１４は、現フレームの処理対象画像Ｇ2での対象物Ｔの上記輪郭を用いて、上述同様に、この処理対象画像Ｇ2での詳細輪郭モデルおよびテンプレートを生成し、その詳細輪郭モデルおよびテンプレートを用いて、現フレームの次のフレームの画像での対象物Ｔの位置を特定する。これが繰り返されることで、画像中の対象物Ｔが追跡される。
【０１２６】
なお、この実施の形態では、対象物位置特定部３６と探索位置絞込部３４とを別構成で説明したが、探索位置絞込部３４の機能を対象物位置特定部３６に含めて探索位置絞込部３４を省略してもよい。
【０１２７】
また、この実施の形態では、対象物位置特定部２２と対象物位置特定部３６とを別構成としたが、それらをまとめて１つの対象物位置特定部としてもよい。
【０１２８】
また、輪郭抽出部２９は、画像Ｇ2での対象物Ｔの輪郭の情報を、処理対象画像Ｇ2と対応付けて記憶部１２に記憶させる。また、輪郭抽出部２９は、処理対象画像Ｇ2での対象物Ｔの輪郭の情報を追跡結果出力部３８に出力する。
【０１２９】
追跡結果出力部３８は、処理対象画像Ｇ2での対象物Ｔの位置Ｑ2の情報を焦点制御装置３に出力する。
【０１３０】
＜動作説明＞
次に、物体追跡装置１０の動作を説明する。図３（ａ）は、あるフレームの画像Ｇ1についての追跡処理の例を示す図であり、図３（ｂ）は、その次のフレームの画像Ｇ2についての追跡処理の例を示す図である。図３（ａ）に示すあるフレームの画像Ｇ1において、画像Ｇ1に対象物Ｔが映っている。以下では、対象物Ｔを追跡する例について説明する。図８は、物体追跡装置１０における対象物Ｔの追跡処理の流れの概要を示すフローチャートである。
【０１３１】
ステップＳ１では、画像取得部１１により、撮像装置２から撮像された画像Ｇ1が取得され、その取得された画像Ｇ1が記憶部１２に記憶される。
【０１３２】
ステップＳ２では、初期化部１３により、あるフレームの画像Ｇ1が記憶部１２から取得され、その追跡対象となる画像Ｇ1の中の対象物Ｔが特定される。
【０１３３】
ステップＳ３では、画像取得部１１により、次のフレームの画像Ｇ2が処理対象画像として撮像装置２から取得され、その取得された画像Ｇ2が記憶部１２に記憶される。
【０１３４】
ステップＳ４では、追跡部１４により、現フレームの画像Ｇ2の中の対象物Ｔの位置Ｑ2が特定される。以降、ステップＳ３およびＳ４の処理がフレーム毎に繰り返されることで、画像中の対象物Ｔが追跡される。
【０１３５】
＜初期化処理フロー＞
次に、初期化部１３の詳細な処理のフローについて説明する。図９は、初期化部１３における初期化処理の流れを示すフローチャートである。
【０１３６】
ステップＳ１１では、対象物指定部２１により、利用者から、追跡対象となる対象物Ｔが存在する画像Ｇ1中の位置Ｐ（図３（ａ）参照）の入力が受け付けられる。ここでは、利用者がタッチパネルによって対象物Ｔの位置Ｐを指定する。
【０１３７】
ステップＳ１２では、対象物位置特定部２２により、指定された位置Ｐを含む所定の領域Ｒについて、対象物Ｔの検出が行われ、対象物Ｔの位置Ｑが特定される。ここでは、対象物Ｔの位置Ｑは、対象物Ｔを含む矩形の領域として設定される。なお、対象物Ｔの位置Ｑを、対象物Ｔを含む矩形の領域の例えば中心として設定してもよい。そして、初期化部１３の処理が終了する。
【０１３８】
＜追跡処理フロー＞
次に、追跡部１４の詳細な処理のフローについて説明する。図５は、次のフレームの画像Ｇ2に設定された各探索位置Ｓi（i＝１〜ｍ）で生成されるラフ輪郭モデルを説明する図である。図１０は、追跡部１４における追跡処理の流れを示すフローチャートである。
【０１３９】
ステップＳ１８では、輪郭抽出部２９により、記憶部１２に記憶された画像Ｇ1において、対象物指定部２１により特定された対象物Ｔの輪郭１０１（図４参照）が抽出される。
【０１４０】
ステップＳ１９では、詳細輪郭モデル生成部３０により、画像Ｇ1において、輪郭抽出部２９により抽出された輪郭１０１に沿って複数（ｎ個）の輪郭点Ｘ1〜Ｘnが抽出され、その複数の輪郭点Ｘ1〜Ｘnからなる詳細輪郭モデルが生成される。そして、この詳細輪郭モデルの情報は、画像Ｇ1に対応付けられて記憶部１２に記憶される。
【０１４１】
ステップＳ２０では、詳細輪郭モデル生成部３０により、各輪郭点Ｘ1〜Ｘnに対応する尤度判定用の領域の画素値から尤度判定用の特徴量（例えば輝度、エッジ強度、または、勾配角度）が求められ、その特徴量が記されたテンプレートが生成される。そして、このテンプレートの情報は、画像Ｇ1に対応付けられて記憶部１２に記憶される。
【０１４２】
ステップＳ２１では、探索位置設定部３１により、処理対象画像Ｇ2において、対象物Ｔの探索が行われる複数（ｍ個）の異なる探索位置Ｓ1〜Ｓmが設定される。具体的には、探索位置設定部３１により、図３（ｂ）の様に、処理対象画像Ｇ2において、１つ前のフレームの画像Ｇ1での対象物Ｔの位置Ｑの周辺に複数の探索位置Ｓ1〜Ｓmが設定される。
【０１４３】
ステップＳ２２では、ラフ輪郭モデル生成部３２により、探索位置設定部３１により設定された各探索位置Ｓ1〜Ｓmにおいて、ステップＳ１９で生成された詳細輪郭モデルに基づいてラフ輪郭モデルが生成される。
【０１４４】
具体的には、図５の様に、まず、各探索位置Ｓi（i＝１〜ｍ）において、対象物Ｔの位置Ｑを当該探索位置Ｓiに重ねた場合（即ち、詳細輪郭モデルを当該探索位置Ｓiに当てはめた場合）の、詳細輪郭モデルの複数の輪郭点Ｘ1〜Ｘnの位置に対応する複数の対応点（第１対応点）Ｙ1〜Ｙnが特定される。そして、各探索位置Ｓ1〜Ｓmに対し、この様に特定された複数の対応点Ｙ1〜Ｙnの中から第１の所定数（例えばｕ個）の対応点（第２対応点）Ｙa1〜Ｙauが選択され、その第１の所定数の対応点Ｙa1〜Ｙauからなるラフ輪郭モデルが生成される。
【０１４５】
具体的には、まず、複数の対応点Ｙ1〜Ｙnでの対応点選択用の特徴量（例えば輝度分布）が求められる。即ち、対応点Ｙj（j＝１〜ｎ）に対応する対応点選択用の領域の画素値と、その対応点Ｙjの周囲の特定位置にある１つ以上の参考点（例えばＹj-1・Ｙj+1・Ｙout・Ｙin）の各々に対応する対応点選択用の領域の画素値とに基づいて、対応点Ｙjでの上記の対応点選択用の特徴量が求められる。
【０１４６】
そして、この様に対応点選択用の特徴量が求められた複数の対応点Ｙ1〜Ｙnのうち、所定の事前知識を満たし、且つ上記の対応点選択用の特徴量の大きさが上位第１の所定数（例えばｕ個）に含まれるものが選択され、その第１の所定数の対応点Ｙa1〜Ｙauからラフ輪郭モデルが生成される。
【０１４７】
ステップＳ２３では、ラフ輪郭モデル生成部３２により、各探索位置Ｓ1〜Ｓmでのラフ輪郭モデルの各対応点Ｙa1〜Ｙauに対応する尤度判定用の領域の画素値に基づいて、各探索位置Ｓ1〜Ｓmでのラフ輪郭モデルの各対応点Ｙa1〜Ｙauでの尤度判定用の特徴量（例えば輝度分布）が求められる。
【０１４８】
ステップＳ２４では、尤度判定部３３により、各探索位置Ｓ1〜Ｓmでのラフ輪郭モデルの詳細輪郭モデルに対する尤度Ｌ（即ち現フレームの画像Ｇ2において各探索位置Ｓiが対象物Ｔの位置であることの尤度）が判定される。
【０１４９】
具体的には、まず、ステップＳ２３で求められた、各探索位置Ｓ1〜Ｓmでのラフ輪郭モデルの各対応点Ｙa1〜Ｙauでの尤度判定用の特徴量（例えば輝度分布）と、ステップＳ２０で求められた、詳細輪郭モデルの各輪郭点Ｘ1〜Ｘnのうち各対応点Ｙa1〜Ｙauに対応する各輪郭点Ｘa1〜Ｘauでの尤度判定用の特徴量（例えば輝度分布）との間で、それらの特徴量の差が求められることで、各対応点Ｙajの輪郭点Ｘajに対する尤度Ｌjが求められる。なお、各点Ｘajに対応する上記の尤度判定用の領域は、画像Ｇ1の領域であり、各点Ｙajに対応する上記の尤度判定用の領域は、画像Ｇ2の領域である。
【０１５０】
ここでは、対応する各点Ｘaj・Ｙaj（j＝１〜ｕ）に対応する尤度判定用の領域において同じ配列位置に在るピクセル間の輝度差が求められ、それら各輝度差（または各輝度差の絶対値）が合算され、その合算値を用いて、対応点Ｙajの輪郭点Ｘajに対する尤度Ｌj（例えばＬj＝exp(-|輝度差の合算値|)）が求められる。
【０１５１】
そして、各対応点Ｙaj（j＝１〜ｕ）の尤度Ｌjが合算されて、探索位置Ｓiでのラフ輪郭モデルの詳細輪郭モデルに対する尤度Ｌ（例えばＬ＝（Ｌ1＋Ｌ2＋…＋Ｌu）／ｕ）が求められる。
【０１５２】
ステップＳ２５では、探索位置絞込部３４により、尤度判定部３３により判定された尤度Ｌに基づいて、複数の探索位置Ｓ1〜Ｓmの中から探索位置が絞り込まれる。ここでは、複数の探索位置Ｓ1〜Ｓmのうち、そのラフ輪郭モデルの尤度Ｌが所定値以上である探索位置だけ残される。
【０１５３】
ステップＳ２６では、判定部３５により、探索位置絞込部３４により絞り込まれた探索位置の数が第２の所定数（例えば３個）以下であるか否かが判定される。そしてステップＳ２７で、その判定結果が第２の所定数より大きい場合は、処理がステップＳ２８に移行する。
【０１５４】
ステップＳ２８では、判定部３５からラフ輪郭モデル生成部３２に指示信号（即ち、ラフ輪郭モデルのラフさ度合いを一段階下げてラフ輪郭モデルを改めて生成させる旨の指示信号）が出力される。そして、ラフ輪郭モデル生成部３２により、判定部３５からの上記指示信号が受信されると、ラフ輪郭モデル生成部３２により、ステップＳ２５で絞り込まれた各探索位置に対してだけ、ラフ輪郭モデルのラフさ度合いが一段階下げられる。
【０１５５】
即ち、ラフ輪郭モデル生成部３２により、ステップＳ２５で絞り込まれた各探索位置に対してだけ、各対応点Ｙ1〜Ｙnに対応する対応点選択用の領域の領域サイズが所定サイズ増大され、且つラフ輪郭モデルを構成するための対応点Ｙa1〜Ｙauの個数（ｕ個）が所定数増やされる。
【０１５６】
そして、処理がステップＳ２２に戻り、ステップＳ２５で絞り込まれた各探索位置においてだけ、上記の様にラフさ度合いが一段階下げられた条件の下で、ラフ輪郭モデルが改めて生成される。そして、ステップＳ２３で、ステップＳ２２で改めて生成されたラフ輪郭モデルの各対応点Ｙa1〜Ｙauでの尤度判定用の特徴量が前回同様に求められ、ステップＳ２４で、ステップＳ２２で改めて生成されたラフ輪郭モデルの尤度Ｌが前回同様に求められ、ステップＳ２５で、前回のステップＳ２５で絞り込まれた各探索位置が前回同様に更に絞り込まれ、ステップＳ２６で、更に絞り込まれた各探索位置の数が第２の所定数以下であるか否かが前回同様に判定される。そしてステップＳ２７で、その判定結果が第２の所定数以下になるまで、ステップＳ２８→Ｓ２２→Ｓ２３→Ｓ２４→Ｓ２５→Ｓ２６→Ｓ２７の処理が繰り返される。
【０１５７】
そしてステップＳ２７で、判定部３５の判定結果が第２の所定数以下である場合は、処理がステップＳ２９に移行する。例えば、第２の所定数が３個の場合において、図７の様に、絞り込まれた各探索位置がＳ1およびＳ2の２個の場合は、処理がステップＳ２９に移行する。
【０１５８】
ステップＳ２９では、探索位置絞込部３４により絞り込まれた探索位置が１個の場合は、処理がステップＳ３１に移行し、対象物位置特定部３６により、その探索位置が処理対象画像Ｇ2での追跡対象である対象物Ｔの位置Ｑ2と特定される。なお、対象物位置特定部３６により特定された位置Ｑ2（即ち、現フレームの画像Ｇ2における対象物Ｔの位置Ｑ2）に基づいて、現フレームの次のフレームの画像における当該対象物Ｔの位置が追跡されることになる。
【０１５９】
またステップＳ２９で、探索位置絞込部３４により絞り込まれた探索位置が１個でない場合（即ち、２個以上で且つ第２の所定数以下の場合）は、処理がステップＳ３０に移行し、対象物位置特定部３６により、その絞り込まれた各探索位置が例えば色情報（例えば色ヒストグラム、勾配ヒストグラム、または、ガボール特徴など）を用いて１個に絞り込まれる。
【０１６０】
具体的には、現フレームの処理対象画像Ｇ2における探索位置絞込部３４により絞り込まれた各探索位置での複数の対応点Ｙ1〜Ｙnで囲まれた領域（即ち追跡対象の候補）の色情報と、１つ前のフィールドの画像Ｇ1での対象物Ｔの色情報とが比較される。そして、探索位置絞込部３４により絞り込まれた各探索位置の中から、色情報が対象物Ｔの色情報に一番近似するものだけに絞り込まれる。そして処理がステップＳ３１に移行し、対象物位置特定部３６により、その絞り込まれた探索位置が処理対象画像Ｇ2での追跡対象である対象物Ｔの位置Ｑ2と特定される。
【０１６１】
例えば図７において、各探索位置Ｓ1・Ｓ2のうち、探索位置Ｓ1の色情報の方が対象物Ｔの色情報に近い場合は、探索位置はＳ1に絞り込まれ、その探索位置Ｓ1が処理対象画像Ｇ2での対象物Ｔの位置Ｑ2と特定される。
【０１６２】
ステップＳ３２では、輪郭抽出部２９により、ステップＳ３１で特定された位置Ｑ2に基づいて処理対象画像Ｇ2から対象物Ｔが検出され、その対象物Ｔの輪郭が抽出される。この画像Ｇ2での対象物Ｔの輪郭は、現フレームの画像Ｇ2での詳細輪郭モデルに用いられ、次のフレームの画像で生成されるラフ輪郭モデルの基にされる。
【０１６３】
ステップＳ３３では、追跡結果出力部３８により、処理対象画像Ｇ2での対象物Ｔの位置Ｑ2の情報が焦点制御装置３に出力される。
【０１６４】
なお、この＜追跡処理フロー＞の説明では、ステップＳ２８において、ラフさ度合いを一定段階下げる場合に、（ａ）各対応点Ｙ1〜Ｙnに対応する対応点選択用の領域の領域サイズを所定サイズ増大し、且つ（ｂ）ラフ輪郭モデルを構成するための対応点Ｙa1〜Ｙauの個数（ｕ個）を所定数増やしたが、上記（ａ）だけ、または、上記（ｂ）だけでも構わない。
【０１６５】
また、本実施の形態では、撮影した動画像から対象物を検出して追跡している。しかしながら、物体追跡装置１０は、アニメーションその他の動画像にも適用可能である。また、対象物として、人物の上半身や全身の画像を検出してもよいし、ボール、車両、運搬される荷物、その他の動く物体の画像を検出してもよい。また、静止した物体であっても、撮像装置２を動かせば、撮影した画像中では移動することになるので、適用可能である。すなわち、本発明は、取得した時系列の画像の中で移動する対象物の追跡に適用可能である。
【０１６６】
最後に、物体追跡装置１０の各ブロック、特に対象物指定部２１、対象物位置特定部２２、輪郭抽出部２９、詳細輪郭モデル生成部３０、探索位置設定部３１、ラフ輪郭モデル生成部３２、尤度判定部３３、探索位置絞込部３４、判定部３５、対象物位置特定部３６、および、追跡結果出力部３８は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵ（central processing unit）を用いてソフトウェアによって実現してもよい。
【０１６７】
すなわち、物体追跡装置１０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである物体追跡装置１０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記物体追跡装置１０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（microprocessor unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１６８】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（compact disc read-only memory）／ＭＯ（magneto-optical）／ＭＤ（Mini Disc）／ＤＶＤ（digital versatile disk）／ＣＤ−Ｒ（CD Recordable）等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ（erasable programmable read-only memory）／ＥＥＰＲＯＭ（electrically erasable and programmable read-only memory）／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１６９】
また、物体追跡装置１０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（local area network）、ＩＳＤＮ（integrated services digital network）、ＶＡＮ（value-added network）、ＣＡＴＶ（community antenna television）通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ（institute of electrical and electronic engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（asynchronous digital subscriber loop）回線等の有線でも、ＩｒＤＡ（infrared data association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（high data rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
【０１７０】
本発明は上述した実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１７１】
本発明は、動画像の中の対象物を追跡するデジタルカメラ、デジタルビデオカメラ、またはカメラ付き携帯電話等の機器に利用することができる。
【符号の説明】
【０１７２】
１ 物体追跡システム
２ 撮像装置
３ 焦点制御装置
１０ 物体追跡装置（対象物追跡装置）
１１ 画像取得部
１２ 記憶部
１３ 初期化部
１４ 追跡部
２１ 対象物指定部
２２ 対象物位置特定部（位置情報取得部）
２９ 輪郭抽出部
３０ 詳細輪郭モデル生成部
３１ 探索位置設定部
３２ ラフ輪郭モデル生成部
３３ 尤度判定部
３４ 探索位置絞込部
３５ 判定部（探索位置数判定部）
３６ 対象物位置特定部（位置情報取得部）
３８ 追跡結果出力部
Ｇ1・Ｇ2 画像
Ｓ1〜Ｓm 探索位置
Ｔ 対象物
Ｑ・Ｑ2 対象物の位置
Ｘ1〜Ｘn 輪郭点
Ｙ1〜Ｙn 第１対応点
Ｙa1〜Ｙau 第２対応点
【技術分野】
【０００１】
本発明は、動画像の中の対象物を追跡する技術に関する。
【背景技術】
【０００２】
従来より、動画像の中の物体の動きを追跡する技術が利用されている。
【０００３】
従来の物体追跡技術には、色を基にした追跡技術がある（非特許文献１）。この技術では、動画像の各フレームにおいて色の類似する領域を同一対象物と見なし、各フレームに渡ってその色の類似する領域を追跡することで、対象物の位置を追跡している。
【０００４】
また、輪郭を基にした追跡技術もある（非特許文献２）。この技術では、最初に追跡対象物の輪郭モデルを作成し、その輪郭モデルを少しずつ移動させて、その輪郭モデルに類似する輪郭を探索することで、追跡対象物の位置を追跡している。この技術では、時刻間で追跡対象物が大きく移動しない事を前提としている。
【０００５】
また、輪郭を基にした他の追跡技術として、パーティクルフィルタにより輪郭形状を追跡する追跡技術がある（特許文献１）。この技術では、追跡対象物と同一形状を有する候補の輪郭線を１つのパーティクルで表し、追跡候補として複数のパーティクルを導入し、運動モデルに基づいて各パーティクルを遷移させ、遷移後のパーティクルが定める候補輪郭線の尤度を観測することで、追跡対象物の位置を追跡している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２２４９２４号公報（２００９年１０月１日公開）
【非特許文献】
【０００７】
【非特許文献１】Katja Nummiaro et al., ”An adaptive color-based particle filter”,Image and Vision Computing,Vol.21,Issue.1,pp.99-110,2003
【非特許文献２】Nikos Paragios and Rachid Deriche, ”Geodesic active contours and level sets for the detection and tracking of moving objects”,IEEE Trans.PAMI,Vo.22,Issue.3,pp.266-280,
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記非特許文献１の技術では、色の類似する領域を同一対象物と見なすので、追跡対象が本来の対象物から本来の対象物と色の類似する背景に間違って乗り移り易い、即ち追跡対象物の追随性が悪いという問題点がある。
【０００９】
また、上記非特許文献２の技術では、時刻間で追跡対象物が大きく移動しない事を前提としているので、デジタルカメラで人を撮影する場合の様にカメラと人が激しく動く場合や、追跡対象物の輪郭が複雑な場合は、処理時間が掛かる、即ち処理速度が遅いという問題点がある。
【００１０】
また、上記特許文献１の技術では、追跡対象物の追随性を上げるためにパーティクルの数を増やすと、処理量が増大して処理速度が遅くなり、逆に、処理速度を上げるためにパーティクルの数を減らすと、追跡対象物の形状変化に対する追随性が悪くなるという問題点がある。
【００１１】
この様に、従来の物体追跡技術では、追跡対象物の追随性と処理速度の高速化とを両立できる技術はなかった。
【００１２】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、追跡対象物の追随性と処理速度の高速化とを両立できる対象物追跡装置および対象物追跡方法を実現することにある。
【課題を解決するための手段】
【００１３】
本発明に係る対象物追跡装置は、複数のフレームからなる時系列画像の中の対象物を追跡する対象物追跡装置であって、第１フレームにおける追跡対象となる対象物の位置情報を取得する位置情報取得部と、上記第１フレームにおいて、上記位置情報に基づいて、上記対象物の輪郭を示す複数の輪郭点からなる詳細輪郭モデルを生成する詳細輪郭モデル生成部と、上記第１フレームより後の何れかの第２フレームにおいて複数の異なる探索位置を設定する探索位置設定部と、上記第２フレームにおいて、上記各探索位置に対し、上記詳細輪郭モデルを当該探索位置に当てはめた場合の、上記複数の輪郭点の位置に対応する複数の第１対応点を特定し、上記複数の第１対応点の中から、上記複数の第１対応点よりも少ない第１の所定数の点を第２対応点として選択し、上記第２対応点からなるラフ輪郭モデルを生成するラフ輪郭モデル生成部と、上記各探索位置について、上記第２フレームの画像における上記ラフ輪郭モデルの上記各第２対応点に関する第２の画像特徴量と、上記第１フレームの画像における上記詳細輪郭モデルの上記各輪郭点のうち当該各第２対応点に対応する輪郭点に関する第１の画像特徴量とを比較することで、上記第２フレームにおいて上記各探索位置が上記対象物の位置であることの尤度を判定する尤度判定部と、上記尤度判定部により判定された上記尤度に基づいて、上記複数の探索位置の中から上記対象物の位置を特定する対象物位置特定部と、を備えることを特徴としている。
【００１４】
また、本発明に係る対象物追跡方法は、複数のフレームからなる時系列画像の中の対象物を追跡する対象物追跡方法であって、第１フレームにおける追跡対象となる対象物の位置情報を取得する位置情報取得ステップと、上記第１フレームにおいて、上記位置情報に基づいて、上記対象物の輪郭を示す複数の輪郭点からなる詳細輪郭モデルを生成する詳細輪郭モデル生成ステップと、上記第１フレームより後の何れかの第２フレームにおいて複数の異なる探索位置を設定する探索位置ステップと、上記第２フレームにおいて、上記各探索位置に対し、上記詳細輪郭モデルを当該探索位置に当てはめた場合の、上記複数の輪郭点の位置に対応する複数の第１対応点を特定し、上記複数の第１対応点の中から、上記複数の第１対応点よりも少ない第１の所定数の点を第２対応点として選択し、上記第２対応点からなるラフ輪郭モデルを生成するラフ輪郭モデル生成ステップと、上記各探索位置について、上記第２フレームの画像における上記ラフ輪郭モデルの上記各第２対応点に関する第２の画像特徴量と、上記第１フレームの画像における上記詳細輪郭モデルの上記各輪郭点のうち当該各第２対応点に対応する輪郭点に関する第１の画像特徴量とを比較することで、上記第２フレームにおいて上記各探索位置が上記対象物の位置であることの尤度を判定する尤度判定ステップと、上記尤度判定ステップにより判定された上記尤度に基づいて、上記複数の探索位置の中から上記対象物の位置を特定する対象物位置特定ステップと、を備えることを特徴としている。
【００１５】
ここで、画像特徴量とは、例えば、対応点または輪郭点に関連する（対応する）画素の画素値から得られる輝度差、またはエッジ強度等の特徴量を示す。
【００１６】
上記の構成によれば、各探索位置について、詳細輪郭モデルを構成する輪郭点の数未満の数の第２対応点からなるラフ輪郭モデルが生成され、そのラフ輪郭モデルを用いて対象物の位置が追跡される。よって、各探索位置において詳細輪郭モデルを生成する場合（例えば特許文献１および非特許文献２）と比べて、対象物の追跡に要する処理（例えばラフ輪郭モデルの生成部および尤度判定部の各処理）を高速化できる。
【００１７】
また、ラフ輪郭モデルを用いることで、時間経過に伴って対象物の形状が変化しても、その形状変化した対象物とラフ輪郭モデルの形状とが合致し易くなるので、対象物の追随性を向上できる。
【００１８】
また、ラフ輪郭モデルを用いることで、各探索位置での処理量が低減できるので、その分、探索位置の数を増やすことでき、これによっても、対象物の追随性を向上できる。
【００１９】
よって、対象物の追随性と処理の高速化を両立できる。
【００２０】
また、本発明に係る対象物追跡装置は、上記ラフ輪郭モデル生成部は、上記各探索位置について、上記各第１対応点について、上記第２フレームにおける当該第１対応点に関する第２の画像特徴量に基づいて、当該第１対応点が輪郭を表している輪郭度合いを求め、上記複数の第１対応点のうち、上記輪郭度合いの大きさが最大のものから上記第１の所定数の順位までに含まれるものを上記第２対応点として選択し、上記第２対応点からなるラフ輪郭モデルを生成することが望ましい。
【００２１】
上記の構成によれば、各探索位置について、詳細輪郭モデルの複数の輪郭点の位置に対応する複数の第１対応点を特定し、各第１対応点について、第２フレームにおける当該第１対応点に関する第２の画像特徴量に基づいて、当該第１対応点が輪郭を示している輪郭度合いを求める。そして、複数の第１対応点のうち、上記輪郭度合いの大きさが最大のものから上記第１の所定数の順位までに含まれるものを第２対応点として選択し、上記第２対応点からなるラフ輪郭モデルを生成する。
【００２２】
よって、ラフ輪郭モデルは、複数の第１対応点のうち、輪郭を表している度合いの高いものにより構成されるので、少ない情報（対応点）で有効なモデルになっている。
【００２３】
また、本発明に係る対象物追跡装置は、上記ラフ輪郭モデル生成部は、上記第２フレームにおける、上記第１対応点に対応するエッジ強度に応じて、または、上記第１対応点に対応する複数の画素値の差に応じて、上記輪郭度合いを求めることが望ましい。
【００２４】
上記の構成によれば、輪郭度合いは、第２フレームにおける第１対応点に対応するエッジ強度に応じて、または、上記第１対応点に対応する複数の画素値の差に応じて、求められるので、第２フレームの画像において有用な輪郭度合いを生成できる。
【００２５】
また、本発明に係る対象物追跡装置は、上記ラフ輪郭モデル生成部は、上記各第１対応点について、上記第２フレームにおける上記複数の第１対応点によって表される輪郭の内側の点の画素値と当該第１対応点に対応する画素値との差である第１画素値差と、該輪郭の外側の点の画素値と当該第１対応点に対応する画素値との差である第２画素値差との差に応じて、上記輪郭度合いを求めることが望ましい。
【００２６】
上記の構成によれば、輪郭度合いは、各第１対応点について、第２フレームにおける複数の第１対応点によって表される輪郭の内側の点の画素値と当該第１対応点に対応する画素値との差である第１画素値差と、該輪郭の外側の点の画素値と当該第１対応点に対応する画素値との差である第２画素値差との差に応じて、求められるので、第２フレームの画像において有用な輪郭度合いを生成できる。
【００２７】
また、本発明に係る対象物追跡装置は、上記ラフ輪郭モデル生成部は、上記各第１対応点について、上記第２フレームにおける上記複数の第１対応点によって表される輪郭において、当該第１対応点とそれに隣接する上記第１対応点との間の画素値の差である第３画素値差と、上記第１画素値差および上記第２画素値差とに応じて、上記輪郭度合いを求めることが望ましい。
【００２８】
上記の構成によれば、輪郭度合いは、各第１対応点について、第２フレームにおける複数の第１対応点によって表される輪郭において、当該第１対応点とそれに隣接する第１対応点との間の画素値の差である第３画素値差と、上記第１画素値差および上記第２画素値差とに応じて、求められるので、輪郭度合いの精度を向上させることができる。
【００２９】
また、本発明に係る対象物追跡装置は、上記ラフ輪郭モデル生成部は、上記複数の第１対応点の各々に対し、当該第１対応点およびその周囲の特定位置にある１つ以上の参考点の各々に対応する第１の領域の画素値に基づいて、当該第１対応点が輪郭を表している輪郭度合いを求めることで、上記複数の第１対応点の各々の上記輪郭度合いを求め、上記複数の第１対応点のうち、上記輪郭度合いの大きさが上位第１の所定数に含まれるものを上記第２対応点として選択して、上記第２対応点からなる上記ラフ輪郭モデルを生成することが望ましい。
【００３０】
上記の構成によれば、複数の第１対応点の各々に対し、当該第１対応点およびその周囲の特定位置にある１つ以上の参考点の各々に対応する第１の領域の画素値に基づいて、当該第１対応点が輪郭を示している輪郭度合いを求めることで、上記複数の第１対応点の各々の上記輪郭度合いを求める。なお、当該第１対応点の参考点としては、輪郭に沿って当該第１対応点に隣合う２個の第１対応点と、当該第１対応点の近傍であって上記輪郭の内側の１点および外側の１点とを使用することができる。
【００３１】
よって、当該第１対応点での輪郭度合いを当該第１対応点とその周囲の参考点とを用いて求めるので、当該第１対応点だけを用いて輪郭度合いを求めるよりも、より適切に、輪郭度合いを求めることができる。
【００３２】
また、複数の第１対応点のうち、輪郭度合いの大きさが上位第１の所定数に含まれるものが選択されて、上記第２対応点からなるラフ輪郭モデルが生成される。よって、ラフ輪郭モデルは、複数の第１対応点のうち、輪郭を表している度合いの高いものにより構成されるので、少ない情報（対応点）で有効なモデルになっている。
【００３３】
また、本発明に係る対象物追跡装置は、上記尤度判定部により判定された上記尤度に基づいて、上記複数の探索位置の中から探索位置を絞り込む探索位置絞込部と、上記探索位置絞込部により絞り込まれた上記探索位置の数が第２の所定数以下であるか否かを判定する探索位置数判定部とを更に備え、上記ラフ輪郭モデル生成部は、上記ラフ輪郭モデルの生成後、上記探索位置数判定部の判定結果が上記第２の所定数より大きい場合は、上記探索位置絞込部により絞り込まれた上記探索位置に対し、上記複数の第１対応点およびそれらの上記参考点の各々に対応する上記第１の領域の領域サイズを所定サイズ増大し、増大した上記第１の領域の画素値に基づいて上記複数の第１対応点の各々の上記輪郭度合いを求めることで、上記ラフ輪郭モデルを改めて生成し、上記尤度判定部は、上記ラフ輪郭モデル生成部により改めて生成された上記ラフ輪郭モデルに対して上記尤度を判定し、上記探索位置絞込部は、上記尤度判定部により判定された上記尤度に基づいて、上記探索位置絞込部が絞り込んだ上記探索位置の中から更に探索位置を絞り込み、上記探索位置数判定部は、上記探索位置絞込部により更に絞り込まれた上記探索位置の数が上記第２の所定数以下であるか否かを判定し、上記対象物位置特定部は、上記探索位置数判定部の判定結果が上記第２の所定数以下の場合、上記探索位置絞込部により絞り込まれた探索位置の中から、上記第２フレームにおける上記対象物の位置を特定することことが望ましい。
【００３４】
上記の構成によれば、探索位置絞込部により絞り込まれた探索位置の数が第２の所定数より大きい場合は、探索位置絞込部により絞り込まれた探索位置に対し、複数の第１対応点およびそれらの参考点の各々に対応する第１の領域の領域サイズが所定サイズ増大され、その増大された第１の領域の画素値に基づいて複数の第１対応点の各々の輪郭度合いが求められることで、ラフ輪郭モデルが改めて生成される。
【００３５】
この様に、第１の領域の領域サイズが所定サイズ増大されると、その分、各第１対応点の輪郭度合いがより正確に求められるので、同じ数の対応点でも、より正確な輪郭度合いに基づいてラフ輪郭モデルが生成される。よって、対象物の探索の精度が向上する。
【００３６】
また、本発明に係る対象物追跡装置は、上記尤度判定部により判定された上記尤度に基づいて、上記複数の探索位置の中から探索位置を絞り込む探索位置絞込部と、上記探索位置絞込部により絞り込まれた上記探索位置の数が第２の所定数以下であるか否かを判定する探索位置数判定部とを備え、上記ラフ輪郭モデル生成部は、上記ラフ輪郭モデルの生成後、上記探索位置数判定部の判定結果が上記第２の所定数より大きい場合は、上記探索位置絞込部により絞り込まれた上記探索位置に対し、上記第１の所定数を所定数増やして、上記ラフ輪郭モデルを改めて生成し、上記尤度判定部は、上記ラフ輪郭モデル生成部により改めて生成された上記ラフ輪郭モデルに対して上記尤度を判定し、上記探索位置絞込部は、上記尤度判定部により判定された上記尤度に基づいて、上記探索位置絞込部が絞り込んだ上記探索位置の中から更に探索位置を絞り込み、上記探索位置数判定部は、上記探索位置絞込部により更に絞り込まれた上記探索位置の数が上記第２の所定数以下であるか否かを判定し、上記対象物位置特定部は、上記探索位置数判定部の判定結果が上記第２の所定数以下の場合、上記探索位置絞込部により更に絞り込まれた探索位置の中から、上記第２フレームにおける上記対象物の位置を特定することが望ましい。
【００３７】
上記の構成によれば、探索位置絞込部により絞り込まれた探索位置の数が第２の所定数より大きい場合は、探索位置絞込部により絞り込まれた探索位置に対し、第１の所定数（即ち、ラフ輪郭モデルを構成する対応点の数）が所定数増やされて、ラフ輪郭モデルが改めて生成される。この様に、第１の所定数が所定数増やされると、その分、ラフ輪郭モデルのラフさ度合いが一段階低下するので、ラフさ度合いが一段階下げられて（換言すれば、少し詳細化されて）ラフ輪郭モデルが改めて生成される。
【００３８】
これにより、始めは、ラフさ度合いが大きいラフ輪郭モデルを用いて広範囲を大雑把に速く探索し、探索位置の数を絞り込みながら、ラフさ度合いを徐々に下げて詳細に探索することができる。故に、画像中から対象物を効率良く（即ち素早く）検出することができる。
【００３９】
また、本発明に係る対象物追跡装置は、上記位置情報取得部は、上記対象物位置特定部により上記第２フレームにおいて上記対象物の位置が特定された場合に、上記対象物位置特定部により特定された該第２フレームにおける上記対象物の位置情報を取得し、該第２フレームを上記第１フレームとして扱うことが望ましい。
【００４０】
上記の構成によれば、位置情報取得部は、対象物位置特定部により第２フレームにおいて対象物の位置が特定された場合に、対象物位置特定部により特定された該第２フレームにおける上記対象物の位置情報を取得し、該第２フレームを第１フレームとして扱う。これにより、該第２フレームで特定された対象物の位置に基づいて、各処理部（詳細輪郭モデル生成部、探索位置設定部、ラフ輪郭モデル生成部、尤度判定部、対象物位置特定部）において同じ処理が繰り替えされて、該第２フレームより後の何れかのフレームにおいて当該対象物の位置が特定される。これにより、或るフレームにおいて最初に特定された対象物を自動的に追跡することができる。
【００４１】
特に、詳細輪郭モデル生成部では、第２フレームで特定された対象物の輪郭に基づいて詳細輪郭モデルが生成されるので、対象物の形状が変化する場合でも、その形状変化を考慮して対象物を追跡することができる。
【００４２】
なお、上記対象物追跡装置は、一部をコンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより上記対象物追跡装置をコンピュータにて実現させる制御プログラム、および上記制御プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００４３】
以上のように、本発明に係る対象物追跡装置は、複数のフレームからなる時系列画像の中の対象物を追跡する対象物追跡装置であって、第１フレームにおける追跡対象となる対象物の位置情報を取得する位置情報取得部と、上記第１フレームにおいて、上記位置情報に基づいて、上記対象物の輪郭を示す複数の輪郭点からなる詳細輪郭モデルを生成する詳細輪郭モデル生成部と、上記第１フレームより後の何れかの第２フレームにおいて複数の異なる探索位置を設定する探索位置設定部と、上記第２フレームにおいて、上記各探索位置に対し、上記詳細輪郭モデルを当該探索位置に当てはめた場合の、上記複数の輪郭点の位置に対応する複数の第１対応点を特定し、上記複数の第１対応点の中から、上記複数の第１対応点よりも少ない第１の所定数の点を第２対応点として選択し、上記第２対応点からなるラフ輪郭モデルを生成するラフ輪郭モデル生成部と、上記各探索位置について、上記第２フレームの画像における上記ラフ輪郭モデルの上記各第２対応点に関する第２の画像特徴量と、上記第１フレームの画像における上記詳細輪郭モデルの上記各輪郭点のうち当該各第２対応点に対応する輪郭点に関する第１の画像特徴量とを比較することで、上記第２フレームにおいて上記各探索位置が上記対象物の位置であることの尤度を判定する尤度判定部と、上記尤度判定部により判定された上記尤度に基づいて、上記複数の探索位置の中から上記対象物の位置を特定する対象物位置特定部と、を備えている。
【００４４】
また、本発明に係る対象物追跡方法は、複数のフレームからなる時系列画像の中の対象物を追跡する対象物追跡方法であって、第１フレームにおける追跡対象となる対象物の位置情報を取得する位置情報取得ステップと、上記第１フレームにおいて、上記位置情報に基づいて、上記対象物の輪郭を示す複数の輪郭点からなる詳細輪郭モデルを生成する詳細輪郭モデル生成ステップと、上記第１フレームより後の何れかの第２フレームにおいて複数の異なる探索位置を設定する探索位置ステップと、上記第２フレームにおいて、上記各探索位置に対し、上記詳細輪郭モデルを当該探索位置に当てはめた場合の、上記複数の輪郭点の位置に対応する複数の第１対応点を特定し、上記複数の第１対応点の中から、上記複数の第１対応点よりも少ない第１の所定数の点を第２対応点として選択し、上記第２対応点からなるラフ輪郭モデルを生成するラフ輪郭モデル生成ステップと、上記各探索位置について、上記第２フレームの画像における上記ラフ輪郭モデルの上記各第２対応点に関する第２の画像特徴量と、上記第１フレームの画像における上記詳細輪郭モデルの上記各輪郭点のうち当該各第２対応点に対応する輪郭点に関する第１の画像特徴量とを比較することで、上記第２フレームにおいて上記各探索位置が上記対象物の位置であることの尤度を判定する尤度判定ステップと、上記尤度判定ステップにより判定された上記尤度に基づいて、上記複数の探索位置の中から上記対象物の位置を特定する対象物位置特定ステップと、を備えている。
【００４５】
よって、対象物の追随性と処理の高速化を両立できる。
【図面の簡単な説明】
【００４６】
【図１】本発明の一実施の形態に係る物体追跡システムの概略構成を示すブロック図である。
【図２】上記物体追跡システムの追跡部の構成を示すブロック図である。
【図３】（ａ）は、あるフレームの画像についての追跡処理の例を示す図であり、（ｂ）は、その次のフレームの画像についての追跡処理の例を示す図である。
【図４】詳細輪郭モデルを説明する図である。
【図５】ラフ輪郭モデルを説明する図である。
【図６】探索位置Ｓ1・Ｓ2・Ｓ3でのラフ輪郭モデルの一例を示した図である。
【図７】探索位置が２個に絞り込まれた場合の一例を示した図である。
【図８】物体追跡装置における対象物の追跡処理の流れの概要を示すフローチャートである。
【図９】初期化部における初期化処理の流れを示すフローチャートである。
【図１０】追跡部における追跡処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００４７】
本実施の形態では、デジタルビデオカメラに搭載され、撮像された動画像の中の対象物を追跡して対象物に焦点を合わせ続ける物体追跡システムについて説明するが、本発明はこれに限定されるものではない。以下、本実施の形態について、図１〜１０を参照して詳細に説明する。
【００４８】
＜物体追跡システムの構成＞
図１は、本実施の形態に係る物体追跡システム１の概略構成を示すブロック図である。物体追跡システム１は、撮像装置２と、焦点制御装置３、および、物体追跡装置（対象物追跡装置）１０とを備える。
【００４９】
撮像装置２は、動画像を撮像するものである。撮像装置２は、例えば、ＣＣＤ（charge coupled device）またはＣＭＯＳ（complementary metal oxide semiconductor）撮像素子等の撮像素子によって構成される。本実施の形態では、撮像装置２は、１秒間に３０フレームの画像を撮像する。撮像装置２は、撮像した動画像を複数のフレームからなる時系列に並ぶ画像として物体追跡装置１０に出力する。
【００５０】
物体追跡装置１０は、時系列の画像から追跡対象である対象物を追跡し、画像中における対象物の位置を、焦点制御装置３に出力する。物体追跡装置１０の詳細な構成は後述する。
【００５１】
焦点制御装置３は、物体追跡装置１０から入力された画像中における対象物の位置に基づいて、撮像装置２の焦点を調節する。
【００５２】
次に、物体追跡装置１０の詳細構成について説明する。物体追跡装置１０は、画像取得部１１、記憶部１２、初期化部１３、および、追跡部１４を備える。
【００５３】
画像取得部１１は、撮像装置２から時系列の画像を順番に取得して、時系列の画像を記憶部１２に記憶させる。
【００５４】
記憶部１２は、各種の情報を記憶するものであり、例えばＨＤＤ（Hard Disk Drive）、フラッシュメモリ等の記憶デバイスによって構成される。記憶部１２は、画像取得部１１が取得した時系列の画像を記憶する。また、記憶部１２は、初期化部１３および追跡部１４が出力する各種の情報を記憶する。
【００５５】
初期化部１３は、画像中の追跡対象となる対象物を特定するものであり、追跡部１４は、時系列の画像中の上記対象物を追跡するものである。
【００５６】
＜初期化部の構成＞
初期化部１３は、対象物指定部２１、および、対象物位置特定部２２（位置情報取得部）を備える。
【００５７】
対象物指定部２１は、図３（ａ）の様に、あるフレームの画像Ｇ1の中の追跡対象となる対象物Ｔを特定するものである。対象物指定部２１は、例えば、画像Ｇ1の中のいずれの位置に追跡対象となる対象物Ｔが存在するかを示す情報の入力を受け付ける。例えば、デジタルビデオカメラは、タッチパネルが備えられた表示装置によって撮像画像を利用者に提示し、利用者は、タッチパネルによって追跡対象となる対象物Ｔが存在する位置（例えば位置Ｐ）を指定する。対象物指定部２１は、指定された位置Ｐの情報を対象物位置特定部２２に出力する。
【００５８】
なお、対象物指定部２１は、対象物Ｔが存在する領域を示す情報を受け付けてもよい。
【００５９】
対象物位置特定部２２は、対象物指定部２１において指定された位置Ｐに基づき、画像Ｇ1から対象物Ｔを探索することにより、対象物Ｔが存在する位置Ｑを特定する。
【００６０】
具体的には、対象物位置特定部２２は、記憶部１２からある時点（例えば最新）のフレーム（第１フレーム）の画像Ｇ1を取得する。対象物位置特定部２２は、図３（ａ）の様に、画像Ｇ1において、指定された位置Ｐを含む所定の領域サイズの領域（例えば位置Ｐを中心とする例えば１００×１００ピクセルの領域）Ｒについて、対象物Ｔの検出を行う。この対象物Ｔの検出では、色検出またはエッジ検出などの周知の技術を利用することができる。
【００６１】
対象物位置特定部２２は、検出された対象物Ｔが含まれる矩形の領域Ｗを対象物Ｔが存在する位置Ｑとする。なお、検出された対象物Ｔが大きければ、領域Ｗのサイズはより大きく設定される。ここでは、対象物Ｔの位置Ｑを対象物Ｔが存在する領域Ｗを用いて規定したが、領域Ｗの中心を対象物Ｔの位置Ｑと規定してもよい。また、領域Ｗは、円形等の他の形状の領域でもよいし、所定の大きさの領域でもよい。
【００６２】
また、対象物位置特定部２２は、対象物Ｔの位置Ｑの情報を、当該フレームの画像Ｇ1と対応付けて記憶部１２に記憶させる。
【００６３】
また、対象物指定部２１は、特定の条件の入力を受け付け、対象物位置特定部２２は、その条件に基づいて対象物Ｔの位置Ｑを検出してもよい。例えば、対象物指定部２１が「顔を対象物にする」という条件の入力を受け付けた場合、対象物位置特定部２２は、画像全体に渡って顔検出を行い、検出された顔のいずれかを対象物とし、その位置Ｑを検出する。対象物指定部２１が「四角い物体を対象物にする」という条件の入力を受け付けた場合、同様に、対象物位置特定部２２は、画像から検出された四角い物体のいずれかを対象物とし、その位置Ｑを検出する。
【００６４】
以上により、あるフレーム（第１フレーム）の画像Ｇ1における対象物Ｔの位置Ｑが特定され、その情報が初期化部１３によって記憶部１２に記憶される。この情報を基に、追跡部１４は、第１フレームより後の何れかのフレーム（第２フレーム）を用いて対象物Ｔの追跡のための情報を取得し、対象物Ｔの追跡を行う。以下では、説明便宜上、第２フレームは、第１フレームの次のフレームとするが、第１フレームから数フレーム後のフレームであってもよい。
【００６５】
＜追跡部の構成＞
図２は、追跡部１４の構成を示すブロック図である。追跡部１４は、輪郭抽出部２９、詳細輪郭モデル生成部３０、探索位置設定部３１、ラフ輪郭モデル生成部３２、尤度判定部３３、探索位置絞込部３４、判定部３５（探索位置数判定部）、対象物位置特定部３６（位置情報取得部）、および、追跡結果出力部３８を備える。
【００６６】
画像取得部１１は、初期化部１３において追跡対象である対象物Ｔの位置Ｑを特定した画像Ｇ1の次のフレームの画像Ｇ2（図３（ｂ）参照）を、撮像装置２から取得して記憶部１２に記憶させる。追跡部１４は、記憶部１２に記憶された画像Ｇ1を用いて対象物Ｔの詳細輪郭モデルを生成する。また、追跡部１４は、記憶部１２に記憶された画像Ｇ2を用いて上記詳細輪郭モデルに基づいて追跡対象の候補となる複数のラフ輪郭モデルを動的に生成し、それら各ラフ輪郭モデルを徐々に詳細化して上記各候補を絞り込むことで、画像Ｇ2の中の対象物Ｔを追跡する。以降では、追跡部１４において追跡処理を行う処理対象のフレームを現フレームと称し、現フレームの画像を処理対象画像と称する。
【００６７】
輪郭抽出部２９は、記憶部１２に記憶された画像Ｇ1を用いて、初期化部１３の対象物位置特定部２２が特定した対象物Ｔの位置Ｑに基づいて、対象物Ｔの輪郭を抽出する。具体的には、輪郭抽出部２９は、図４の様に、対象物位置特定部２２が特定した対象物Ｔの位置Ｑに対し、例えばLevel Set、SnakeまたはB-splineなどの周知の輪郭抽出法を用いて輪郭抽出処理を行って、対象物Ｔの輪郭１０１を抽出する。
【００６８】
詳細輪郭モデル生成部３０は、輪郭抽出部２９が抽出した輪郭１０１に基づいて対象物Ｔの詳細輪郭モデルを生成する。具体的には、詳細輪郭モデル生成部３０は、図４の様に、画像Ｇ1において、輪郭抽出部２９が抽出した輪郭１０１に沿って複数（ｎ個）の輪郭点Ｘ1〜Ｘnを抽出し、その複数の輪郭点Ｘ1〜Ｘnからなる詳細輪郭モデルを生成する。
【００６９】
この詳細輪郭モデルは、画像Ｇ1での対象物Ｔの輪郭１０１を複数の輪郭点Ｘ1〜Ｘnの集合で再現したものである。なお、各輪郭点Ｘ1〜Ｘnは、輪郭１０１上の点に限定されず、輪郭１０１付近の点であってもよい。
【００７０】
なお、各輪郭点Ｘ1〜Ｘnには、輪郭１０１に沿って識別番号が付与されており、輪郭に沿って隣合う輪郭点が特定可能になっている。
【００７１】
また、詳細輪郭モデル生成部３０は、各輪郭点Ｘ1〜Ｘnでの尤度判定用の特徴量（第１の画像特徴量）を求め、その尤度判定用の特徴量を記したテンプレートを生成する。具体的には、図４の様に、各輪郭点Ｘ1〜Ｘnにはそれぞれ、その輪郭点を含む所定の領域サイズ（例えば５×５ピクセル）の尤度判定用の領域Ｒ２が対応している。そして、詳細輪郭モデル生成部３０は、各輪郭点Ｘ1〜Ｘnでの尤度判定用の特徴量として、その輪郭点に対応する尤度判定用の領域Ｒ２の画素値から得られる特徴量を用いる。
【００７２】
この特徴量としては、例えば、輝度、色、エッジ強度、または、勾配角度（エッジの角度）などを用いる事ができる。この尤度判定用の特徴量として、例えば輝度およびエッジ強度等を組合わせて用いてもよい。ここでは、この尤度判定用の特徴量として、尤度判定用の領域Ｒ２の輝度分布が用いられる。なお、図４では、一例として、輪郭点Ｘ3に対応した５×５ピクセルの尤度判定用の領域Ｒ２の輝度分布が図示されている。
【００７３】
また、詳細輪郭モデル生成部３０は、生成した詳細輪郭モデルおよびテンプレートを当該フレームの画像Ｇ1と対応付けて記憶部１２に記憶させる。
【００７４】
探索位置設定部３１は、図３（ｂ）の様に、現フレームの処理対象画像Ｇ2において対象物Ｔの探索を行う複数（ｍ個）の異なる探索位置Ｓ1〜Ｓmを設定する。ここでは、各探索位置Ｓ1〜Ｓmは、対象物Ｔの位置Ｑと同様に領域により規定されており、対象物Ｔの位置Ｑと同じ形状および同じ領域サイズに設定されている。なお、対象物Ｔの位置Ｑが点（例えば領域Ｗの中心点）として規定されている場合は、探索位置Ｓ1〜Ｓmも点として規定される。
【００７５】
具体的には、探索位置設定部３１は、図３（ｂ）の様に、処理対象画像Ｇ2において、１つ前のフレームの画像Ｇ1での対象物Ｔの位置Ｑの周辺に複数の探索位置Ｓ1〜Ｓmを設定する。なお、探索位置Ｓ1〜Ｓmの設定の仕方としては、例えば、パーティクルフィルタ、または、部分領域探索の技術を利用する事ができる。探索位置設定部３１は、探索位置Ｓ1〜Ｓmの情報をラフ輪郭モデル生成部３２に出力する。
【００７６】
ラフ輪郭モデル生成部３２は、探索位置設定部３１により設定された各探索位置Ｓ1〜Ｓmにおいて、上記詳細輪郭モデルに基づいてラフ輪郭モデルを生成する。
【００７７】
具体的には、ラフ輪郭モデル生成部３２は、図５の様に、各探索位置Ｓ1〜Ｓmにおいて、対象物Ｔの位置Ｑを当該探索位置Ｓi（i＝１〜ｍ）に重ねた場合（即ち、詳細輪郭モデルを当該探索位置Ｓiに当てはめた場合）の、詳細輪郭モデルの複数の輪郭点Ｘ1〜Ｘnの位置に対応する複数の対応点Ｙ1〜Ｙn（第１対応点）を特定する。なお、複数の対応点Ｙ1〜Ｙnにはそれぞれ、それに対応する輪郭点Ｘ1〜Ｘnと同じ識別番号が付与されている。
【００７８】
そして、ラフ輪郭モデル生成部３２は、各探索位置Ｓ1〜Ｓmに対し、上記の様に特定した複数の対応点Ｙ1〜Ｙnの中から第１の所定数（例えばｕ個）の対応点（第２対応点）Ｙa1〜Ｙauを選択し、その第１の所定数の対応点Ｙa1〜Ｙauからなるラフ輪郭モデルを生成する。なお、上記第１の所定数は、複数の対応点Ｙ1〜Ｙnよりも少ない数である。
【００７９】
なお、このラフ輪郭モデルは、画像Ｇ1での対象物Ｔの輪郭１０１を上記詳細輪郭モデルの複数の輪郭点Ｘ1〜Ｘnよりも少ない個数の対応点Ｙa1〜Ｙauの集合で再現したものである。即ち、このラフ輪郭モデルは、対象物Ｔの輪郭１０１を単純化して（即ちラフに）表したものである。このラフ輪郭モデルは、対応点Ｙa1〜Ｙauの個数が少ないほど、ラフさ度合い（単純化度合い）が高くなる。
【００８０】
更に具体的には、ラフ輪郭モデル生成部３２は、まず以下の様にして、処理対象画像Ｇ2において、各対応点Ｙj（j＝１〜ｎ）での対応点選択用の特徴量（第３の画像特徴量）を求める。即ち、ラフ輪郭モデル生成部３２は、処理対象画像Ｇ2において、図５の様に、対応点Ｙj（注目対応点）に対応する対応点選択用の領域（第１の領域）の画素値（例えば輝度）と、その対応点Ｙjの周囲の特定位置にある１つ以上の参考点（例えばＹj-1・Ｙj+1・Ｙout・Ｙin）の各々に対応する対応点選択用の領域の画素値（例えば輝度）とに基づいて、対応点Ｙjでの上記の対応点選択用の特徴量を求める。
【００８１】
なお、各点Ｙj・Ｙj-1・Ｙj+1・Ｙout・Ｙinに対応する上記の対応点選択用の領域はそれぞれ、その対応する点Ｙj・Ｙj-1・Ｙj+1・Ｙout・Ｙinを例えば中心に含む所定の領域である。
【００８２】
ここでは、対応点Ｙjに対する上記参考点として、図５の様に、輪郭１０２に沿って対応点Ｙjに隣合う２個の対応点Ｙj+1・Ｙj-1と、対応点Ｙjの近傍であって輪郭１０２の内側の１点Ｙinおよび外側の１点Ｙoutとを使用している。対応点Ｙj+1・Ｙj-1はそれぞれ、対応点Ｙjの１つ後および１つ前の識別番号を有する対応点である。画像Ｇ2上の輪郭１０２は、対象物Ｔの位置Ｑを当該探索位置Ｓiに重ねた場合の、対象物Ｔの輪郭１０１に対応する画像Ｇ2上の輪郭である。
【００８３】
なお、各参考点Ｙin・Ｙoutと対応点Ｙjとの距離については、対応点Ｙjと各参考点Ｙj+1，Ｙj-1との各距離の平均値を採用してもよい。また、各参考点Ｙin・Ｙoutの対応点Ｙjからの方位については、例えば、角度Ｙout・Ｙj・Ｙj-1と角度Ｙout・Ｙj・Ｙj+1とが等しくなり、角度Ｙin・Ｙj・Ｙj-1と角度Ｙin・Ｙj・Ｙj+1とが等しくなる様な方位を採用してもよい。また、複数の対応点Ｙ1〜Ｙnを繋げて輪郭を求め、その輪郭における対応点Ｙjでの接線に対する法線の方向に、各参考点Ｙin・Ｙoutを配置してもよく、その際、点Ｙjから点Ｙinまでの距離を、各点Ｙj+1・Ｙj間、各Ｙj-1・Ｙj間の距離の平均としてもよい。なお、上記輪郭として、複数の対応点Ｙ1〜Ｙnを繋げたものを使用する代わりに、複数の対応点Ｙ1〜Ｙnに対応する複数の輪郭点Ｘ1〜Ｘnの基になった輪郭（即ち、輪郭抽出部２９が抽出した輪郭）１０１を用いてもよい。
【００８４】
また、対応点Ｙjでの上記の対応点選択用の特徴量としては、例えば、処理対象画像Ｇ2における対応点Ｙjと各参考点Ｙin・Ｙj-1・Ｙj+1との間の各輝度差のうちのその輝度差が一番大きいものと、対応点Ｙjと参考点Ｙoutとの間の輝度差との差が用いられる。ここでは、対応点Ｙjの上記の対応点選択用の特徴量として、この様な輝度差の差が用いられるが、この様に限定されるものではなく、例えば、各点Ｙj-1・Ｙj・Ｙj+1に沿った輪郭部分でのエッジ強度の大きさを採用してもよい。また、輝度差とエッジ強度を組合わせて用いてもよい。また、対応点Ｙjの周辺画素の輝度差（例えば対応点Ｙjと参考点Ｙoutの輝度差）を用いてもよい。
【００８５】
なお、対応点Ｙjと各参考点Ｙj-1・Ｙj+1・Ｙout・Ｙinとの間の上記各輝度差は、下記の様に求められる。各点Ｙj・Ｙj-1・Ｙj+1・Ｙout・Ｙinに対応する上記対応点選択用の領域は、画像Ｇ2の領域であり、互いに同じ領域サイズの領域（例えば５×５ピクセル）である。そして、各点Ｙj・Ｙj-1間の上記輝度差（第３画素値差）を求める場合は、各点Ｙj・Ｙj-1に対応する上記対応点選択用の各領域において同じ配列位置に在るピクセル間の輝度差を求め、それら各輝度差（または各輝度差の絶対値）を上記対応点選択用の領域に渡って合算したものを各点Ｙj・Ｙj-1間の輝度差とする。対応点Ｙjと他の参考点Ｙj+1・Ｙout・Ｙinとの間の上記各輝度差（第３画素値差、第２画素値差、第１画素値差）についても同様である。なお、この輝度差の計算方法は一例であり、この様に限定されない。この様に対応点Ｙjでの上記の対応点選択用の特徴量が求められる。
【００８６】
なお、ここでは、対応点Ｙjの参考点として、各点Ｙj-1・Ｙj+1・Ｙout・Ｙinを用いたが、各点Ｙout・Ｙinだけを用いてもよい。
【００８７】
そして、ラフ輪郭モデル生成部３２は、各探索位置Ｓiについて、複数の対応点Ｙ1〜Ｙnのうち、画像Ｇ2において、輪郭を表している度合いがより高いいくつかの対応点Ｙa1〜Ｙauを選択し、対応点Ｙa1〜Ｙauからなる該探索位置Ｓiのラフ輪郭モデルを生成する。
【００８８】
もし現フレームにおいてある探索位置Ｓiに対象物Ｔが移動していれば、その探索位置Ｓiの各対応点Ｙ1〜Ｙnに対象物Ｔの輪郭が位置している可能性が高く、各対応点Ｙ1〜Ｙnは輪郭を表すはずである。ただし、対象物Ｔの輪郭が変形しながら対象物Ｔが移動している場合、現フレームにおいて対象物Ｔが探索位置Ｓiに移動していても、その探索位置Ｓiの各対応点Ｙ1〜Ｙnの中には輪郭を表さない点もある。そのため、現フレームの画像Ｇ2においてより輪郭を表している度合いがより高いいくつかの対応点Ｙa1〜Ｙauをラフ輪郭モデルを構成する点として選択（選抜）する。画像Ｇ2において輪郭を表している度合いが高い対応点Ｙa1〜Ｙauからなるラフ輪郭モデルは、該探索位置Ｓiに対象物Ｔが移動しているか否かを判定するための、優秀かつ単純な輪郭モデルであると考えることができる。
【００８９】
対応点Ｙjが輪郭を表している度合いは、例えば、画像Ｇ2における対応点Ｙjに対応する位置のエッジ強度で表すことができる。また、例えば、対応点Ｙjが輪郭を表している度合いは、画像Ｇ2における対応点Ｙjに対応する輪郭１０２の内側と外側との輝度差で表すことができる。
【００９０】
具体的には、ラフ輪郭モデル生成部３２は、この様に上記の対応点選択用の特徴量を求めた複数の対応点Ｙ1〜Ｙnのうち、所定の事前知識を満たすものを選び、その中から上記の対応点選択用の特徴量の大きさが上位第１の所定数（例えば上位ｕ個）に（即ち、最大のものから第１の所定数の順位までに）含まれるものを選択して、その第１の所定数の対応点Ｙa1〜Ｙauからなるラフ輪郭モデルを生成する。
【００９１】
上記所定の事前知識としては、例えば、対応点Ｙjに着目した場合、対応点Ｙjと参考点Ｙoutとの間の輝度差は、対応点Ｙjと参考点Ｙinとの間の輝度差、対応点Ｙjと参考点Ｙj-1との間の輝度差、および、対応点Ｙjと参考点Ｙj+1との間の輝度差よりも大きい、という事前知識を利用することができる。
【００９２】
上記の対応点Ｙjでの対応点選択用の特徴量（第３の画像特徴量）は、この事前知識を踏まえたものであり、対応点Ｙjが対象物Ｔの輪郭を示している輪郭度合いを表している。即ち、現フレームにおいてその探索位置Ｓiに対象物Ｔが移動していれば、複数の対応点Ｙ1〜Ｙnを繋ぐ輪郭１０２の内側と外側で輝度差が大きいと推測できる。それゆえ、上記事前知識を踏まえた上記の対応点選択用の特徴量は、各対応点Ｙ1〜Ｙnが対象物Ｔの輪郭を示している輪郭度合いを表す指標となる。そして、上記の対応点選択用の特徴量が大きいほど、上記の輪郭度合いは高いはずである。本発明は、上記の輪郭度合いに基づいて、複数の対応点Ｙ1〜Ｙnをより有効ないくつかの対応点Ｙa1〜Ｙauに絞り込み、それら各対応点Ｙa1〜Ｙauでラフ輪郭モデルを作成するので、このラフ輪郭モデルは、少ない情報（対応点）で有効なモデルになっている。
【００９３】
この様に、複数の対応点Ｙ1〜Ｙnのうち上記の対応点選択用の特徴量が上位第１の所定数に含まれるものから、ラフ輪郭モデルが生成される。よって、各探索位置Ｓ1〜Ｓmのラフ輪郭モデルはそれぞれ、少ない情報（対応点）で、その探索位置Ｓiに対象物Ｔが移動しているか否かを判定する優秀な輪郭モデルとなっている。
【００９４】
なお、エッジ強度を対応点選択用の特徴量とする場合は、エッジ強度の大きさが上位第１の所定数に含まれる対応点を選択する。
【００９５】
各探索位置Ｓ1〜Ｓmでのラフ輪郭モデルの各対応点Ｙa1〜Ｙauはそれぞれ、その探索位置での画像Ｇ2に基づいて生成されるので、例えば図６の様に、個数（ｕ個）は同じでも、組み合わせは異なっている。なお、図６では、作図便宜上、各探索位置Ｓ1・Ｓ2・Ｓ3でのラフ輪郭モデルだけが図示されている。
【００９６】
また、ラフ輪郭モデル生成部３２は、各探索位置Ｓ1〜Ｓmのラフ輪郭モデルの各対応点Ｙa1〜Ｙauに対応する尤度判定用の領域の画素値に基づいて、各探索位置Ｓ1〜Ｓmのラフ輪郭モデルの各対応点Ｙa1〜Ｙauの尤度判定用の特徴量（第２の画像特徴量）を求める。この尤度判定用の特徴量は、後述の尤度判定部３３の尤度の判定で使用されるものである。なお、各対応点Ｙa1〜Ｙauに対応する上記の尤度判定用の領域はそれぞれ、その対応する対応点Ｙa1〜Ｙauを例えば中心に含む領域である。
【００９７】
この尤度判定用の特徴量は、詳細輪郭モデルの各輪郭点Ｘ1〜Ｘnに対応する上記の尤度判定用の領域の画素値から求められた上記尤度判定用の特徴量（ここでは輝度分布：第１の画像特徴量）と同じ種類の特徴量（ここでは輝度分布）である。
【００９８】
なお、各対応点Ｙa1〜Ｙauに対応する上記の尤度判定用の領域の領域サイズは、詳細輪郭モデルの各輪郭点Ｘ1〜Ｘnに対応する上記の尤度判定用の領域と同じ領域サイズ（例えば５×５ピクセルのサイズ）であるが、各対応点Ｙ1〜Ｙnに対応する上記の対応点選択用の領域の領域サイズと同じ領域サイズである必要はない。
【００９９】
即ち、各対応点Ｙ1〜Ｙnには、上記の対応点選択用の領域が対応し、各対応点Ｙ1〜Ｙnのうちの各Ｙa1〜Ｙauには、更に、上記の尤度判定用の領域が対応する。なお、上記の尤度判定用の領域は、詳細輪郭モデルの各輪郭点Ｘ1〜Ｘnに対応する上記尤度判定用の領域と同じ領域サイズに固定されるが、上記の対応点選択用の領域は、後述の様に、判定部３５からの後述の指示信号に応じて、領域サイズが変更される。
【０１００】
またラフ輪郭モデル生成部３２は、上記の各探索位置Ｓ1〜Ｓmでのラフ輪郭モデルの情報（即ち、各対応点Ｙa1〜Ｙauの情報、および、各対応点Ｙa1〜Ｙauでの尤度判定用の特徴量の情報）を尤度判定部３３に出力する。
【０１０１】
また、ラフ輪郭モデル生成部３２は、後述の様に、判定部３５から指示信号（即ち、ラフさ度合いを一段階下げてラフ輪郭モデルを改めて生成させる旨の指示信号）を取得した場合は、後述の様に探索位置絞込部３４により絞り込まれた各探索位置に対してだけ、それらのラフ輪郭モデルの各対応点Ｙa1〜Ｙauの個数（ｕ個）を所定数増やして、ラフ輪郭モデルを改めて生成する。
【０１０２】
なお、上記所定数として、例えば、予め設定された固定数、または、その時点での各対応点Ｙa1〜Ｙauの個数に対して一定割合増やした数を採用できる。また、対応点Ｙa1〜Ｙauの個数の増やし方として、対応点Ｙa1〜Ｙauの個数を、上記指示信号に応じて、輪郭点Ｘ1〜Ｘnの個数の２０％から５０％まで段階的に増してもよい。
【０１０３】
なお、対応点Ｙa1〜Ｙauの個数を所定数増やすことに加えて、またはその代わりに、各対応点Ｙ1〜Ｙnに対応する上記の対応点選択用の領域の領域サイズを所定サイズ増大させ、その所定サイズ増大させた対応点選択用の領域に基づいて、上述同様に、上記の対応点選択用の特徴量を求めてもよい。
【０１０４】
なお、対応点選択用の領域の領域サイズを所定サイズ増大させる場合は、領域サイズとして、例えば１ピクセルから５×５ピクセルまで段階的に用意し、ラフ度合いが最も高い場合の領域サイズとして初期的に１ピクセルを設定しておき、ラフ輪郭モデル生成部３２において上記指示信号を取得する毎に（ラフ度合いが低くなる毎に）、対応点選択用の領域の領域サイズを、縦横共に１ピクセルずつ増大させてもよい。
【０１０５】
また、ラフ輪郭モデル生成部３２は、この改めて生成したラフ度合いが低い（即ちより詳細な）ラフ輪郭モデルに対し、上述同様に、尤度判定用の特徴量を求める。なお、その際、各対応点Ｙa1〜Ｙauに対応する尤度判定用の領域は、上述の対応点選択用の特徴量の場合と違って、変更されない。
【０１０６】
そして、ラフ輪郭モデル生成部３２は、改めて生成した各探索位置Ｓ1〜Ｓmでのラフ輪郭モデルの情報（各対応点Ｙa1〜Ｙauの情報、および、各対応点Ｙa1〜Ｙauでの尤度判定用の特徴量の情報）を尤度判定部３３に出力する。
【０１０７】
尤度判定部３３は、上記の各探索位置Ｓ1〜Ｓmでのラフ輪郭モデルの情報を受信すると、各探索位置Ｓ1〜Ｓmでのラフ輪郭モデルの詳細輪郭モデルに対する尤度Ｌ（即ち現フレームの画像Ｇ2において各探索位置Ｓiが対象物Ｔの位置であることの尤度）を判定する。
【０１０８】
具体的には、尤度判定部３３は、ラフ輪郭モデル生成部３２から上記の各探索位置Ｓ1〜Ｓmでのラフ輪郭モデルの情報（即ち各対応点Ｙa1〜Ｙauの情報、および、各対応点Ｙa1〜Ｙauでの尤度判定用の特徴量（例えば輝度分布）の情報）を取得すると共に、記憶部１２から上記の詳細輪郭モデルのテンプレート（即ち各輪郭点Ｘ1〜Ｘnでの尤度判定用の特徴量（例えば輝度分布）の情報）を読み出す。
【０１０９】
そして、尤度判定部３３は、まず、画像Ｇ2における探索位置Ｓi（i＝１〜ｍ）でのラフ輪郭モデルの各対応点Ｙa1〜Ｙauと、画像Ｇ1における詳細輪郭モデルの各輪郭点Ｘ1〜Ｘnのうちの上記各対応点Ｙa1〜Ｙauに対応する各輪郭点Ｘa1〜Ｘauとの間で、上記の尤度判定用の特徴量の差を求めることで、各対応点Ｙajの輪郭点Ｘajに対する尤度Ｌjを求める。
【０１１０】
ここでは、尤度判定部３３は、対応する各点Ｘaj・Ｙaj（j＝１〜ｕ）に対応する上記各領域（５×５ピクセルの尤度判定用の領域）において同じ配列位置に在るピクセル間の輝度差を求め、それら各輝度差（または各輝度差の絶対値）を合算したものを用いて、対応点Ｙajの輪郭点Ｘajに対する尤度Ｌjを求める。なお、各点Ｘajに対応する上記の尤度判定用の領域は、画像Ｇ1の領域であり、各点Ｙajに対応する上記尤度判定用の領域は、画像Ｇ2の領域である。ここでは、尤度Ｌjは、例えばＬj＝exp(-|輝度差の合算値|)と定義される。
【０１１１】
そして、尤度判定部３３は、各対応点Ｙaj（j＝１〜ｕ）に渡って各対応点Ｙajの尤度Ｌjを合算したものを用いて、探索位置Ｓiでのラフ輪郭モデルの詳細輪郭モデルに対する尤度Ｌ（例えばＬ＝（Ｌ1＋Ｌ2＋…＋Ｌu）／ｕ）を求める。この場合、尤度Ｌの最大値は１となる。図７では、一例として、各探索位置Ｓ1・Ｓ2・Ｓ3での輪郭モデルの尤度Ｌがそれぞれ０．５、０．９、０．３である場合が図示されている。
【０１１２】
なお、尤度Ｌの定義は上記の様に限定されない。また、上記の様に定義された尤度Ｌは、ラフ輪郭モデルが詳細輪郭モデルに類似するほど大きくなるが、ラフ輪郭モデルが詳細輪郭モデルに類似するほど小さくなる様に定義してもよい。
【０１１３】
また、尤度判定部３３は、各探索位置Ｓ1〜Ｓmでのラフ輪郭モデルの尤度Ｌの情報を探索位置絞込部３４に出力する。なお、尤度判定部３３は、ラフ輪郭モデル生成部３２により改めて生成されたラフ輪郭モデルの情報を受信した場合は、その改めて生成されたラフ輪郭モデルの尤度Ｌを上述同様に判定し、その尤度Ｌの情報を探索位置絞込部３４に出力する。
【０１１４】
探索位置絞込部３４は、上記の各探索位置Ｓ1〜Ｓmでのラフ輪郭モデルの尤度Ｌの情報を受信すると、その尤度Ｌに基づいて、複数の探索位置Ｓ1〜Ｓmの中から探索位置を絞り込む。ここでは、探索位置絞込部３４は、複数の探索位置Ｓ1〜Ｓmのうち、そのラフ輪郭モデルの尤度Ｌが所定値以上である探索位置だけ残す。
【０１１５】
これにより、複数の探索位置Ｓ1〜Ｓmのうち、そのラフ輪郭モデルが詳細輪郭モデルに一定以上類似しているものだけ残される。即ち、複数の探索位置Ｓ1〜Ｓmのうち、画像Ｇ2での対象物Ｔの位置であることの尤度が高いものだけが残される。
【０１１６】
なお、探索位置絞込部３４は、ラフ輪郭モデル生成部３２により改めて生成されたラフ輪郭モデルの尤度Ｌの情報を受信した場合は、当該尤度Ｌに基づいて、その絞り込んだ各探索位置を上述同様に更に絞り込む。即ち、探索位置絞込部３４は、その絞り込んだ各探索位置において改めて生成されたラフ輪郭モデルの尤度Ｌを用いて、上述同様に、その絞り込んだ各探索位置を更に絞り込む。
【０１１７】
そして、探索位置絞込部３４は、絞り込んだ探索位置の情報を判定部３５に出力する。
【０１１８】
判定部３５は、探索位置絞込部３４により絞り込まれた探索位置の数が第２の所定数（例えば３個）以下であるか否かを判定する。
【０１１９】
また、判定部３５は、その判定結果が、絞り込まれた探索位置の数が上記第２の所定数以下である場合は、絞り込まれた探索位置の情報を対象物位置特定部３６に出力する。一方、判定部３５は、その判定結果が、絞り込まれた探索位置が上記第２の所定数より大きい場合は、ラフ輪郭モデルのラフさ度合いを一段階下げてラフ輪郭モデルを改めて生成させる旨の上記の指示信号を、ラフ輪郭モデル生成部３２に出力する。
【０１２０】
対象物位置特定部３６は、探索位置絞込部３４により絞り込まれた探索位置が１個の場合は、その探索位置を現フレームの処理対象画像Ｇ2での追跡対象である対象物Ｔの位置Ｑ2と特定する。
【０１２１】
また、対象物位置特定部３６は、探索位置絞込部３４により絞り込まれた探索位置が２個以上で且つ上記第２の所定数以下の場合は、その絞り込まれた各探索位置を例えば色情報を用いて１個に絞り込む。色情報を用いた絞込技術としては、例えば色ヒストグラム、勾配ヒストグラム、または、ガボール特徴などの周知の技術を用いる事ができる。
【０１２２】
具体的には、対象物位置特定部３６は、探索位置絞込部３４により絞り込まれた各探索位置での複数の対応点Ｙ1〜Ｙnで囲まれた領域（即ち追跡対象の候補）の色情報と、１つ前のフィールドの画像Ｇ1での対象物Ｔの色情報とを比較する。そして、対象物位置特定部３６は、探索位置絞込部３４により絞り込まれた各探索位置のうち、その色情報が対象物Ｔの色情報に一番近似するものを、処理対象画像Ｇ2での追跡対象である対象物Ｔの位置Ｑ2と特定する。
【０１２３】
なお、対象物位置特定部３６は、探索位置絞込部３４により絞り込まれた各探索位置を、それら各探索位置全体のエッジの情報を用いて１個に絞り込んでもよい。
【０１２４】
また、対象物位置特定部３６は、上記の様に特定した対象物Ｔの位置Ｑ2の情報を輪郭抽出部２９に出力する。そして、輪郭抽出部２９は、対象物位置特定部３６により特定された位置Ｑ2に基づいて、上述同様に、処理対象画像Ｇ2から対象物Ｔの輪郭を抽出する。また、対象物位置特定部３６は、上記の様に特定した対象物Ｔの位置Ｑ2の情報を処理対象画像Ｇ2と対応付けて記憶部１２に記憶させる。
【０１２５】
この様に、現フレームの処理対象画像Ｇ2において抽出された対象物Ｔの輪郭は、処理対象画像Ｇ2での詳細輪郭モデルに用いられ、現フレームの次のフレームの画像で生成されるラフ輪郭モデルの基になる。即ち、追跡部１４は、現フレームの処理対象画像Ｇ2での対象物Ｔの上記輪郭を用いて、上述同様に、この処理対象画像Ｇ2での詳細輪郭モデルおよびテンプレートを生成し、その詳細輪郭モデルおよびテンプレートを用いて、現フレームの次のフレームの画像での対象物Ｔの位置を特定する。これが繰り返されることで、画像中の対象物Ｔが追跡される。
【０１２６】
なお、この実施の形態では、対象物位置特定部３６と探索位置絞込部３４とを別構成で説明したが、探索位置絞込部３４の機能を対象物位置特定部３６に含めて探索位置絞込部３４を省略してもよい。
【０１２７】
また、この実施の形態では、対象物位置特定部２２と対象物位置特定部３６とを別構成としたが、それらをまとめて１つの対象物位置特定部としてもよい。
【０１２８】
また、輪郭抽出部２９は、画像Ｇ2での対象物Ｔの輪郭の情報を、処理対象画像Ｇ2と対応付けて記憶部１２に記憶させる。また、輪郭抽出部２９は、処理対象画像Ｇ2での対象物Ｔの輪郭の情報を追跡結果出力部３８に出力する。
【０１２９】
追跡結果出力部３８は、処理対象画像Ｇ2での対象物Ｔの位置Ｑ2の情報を焦点制御装置３に出力する。
【０１３０】
＜動作説明＞
次に、物体追跡装置１０の動作を説明する。図３（ａ）は、あるフレームの画像Ｇ1についての追跡処理の例を示す図であり、図３（ｂ）は、その次のフレームの画像Ｇ2についての追跡処理の例を示す図である。図３（ａ）に示すあるフレームの画像Ｇ1において、画像Ｇ1に対象物Ｔが映っている。以下では、対象物Ｔを追跡する例について説明する。図８は、物体追跡装置１０における対象物Ｔの追跡処理の流れの概要を示すフローチャートである。
【０１３１】
ステップＳ１では、画像取得部１１により、撮像装置２から撮像された画像Ｇ1が取得され、その取得された画像Ｇ1が記憶部１２に記憶される。
【０１３２】
ステップＳ２では、初期化部１３により、あるフレームの画像Ｇ1が記憶部１２から取得され、その追跡対象となる画像Ｇ1の中の対象物Ｔが特定される。
【０１３３】
ステップＳ３では、画像取得部１１により、次のフレームの画像Ｇ2が処理対象画像として撮像装置２から取得され、その取得された画像Ｇ2が記憶部１２に記憶される。
【０１３４】
ステップＳ４では、追跡部１４により、現フレームの画像Ｇ2の中の対象物Ｔの位置Ｑ2が特定される。以降、ステップＳ３およびＳ４の処理がフレーム毎に繰り返されることで、画像中の対象物Ｔが追跡される。
【０１３５】
＜初期化処理フロー＞
次に、初期化部１３の詳細な処理のフローについて説明する。図９は、初期化部１３における初期化処理の流れを示すフローチャートである。
【０１３６】
ステップＳ１１では、対象物指定部２１により、利用者から、追跡対象となる対象物Ｔが存在する画像Ｇ1中の位置Ｐ（図３（ａ）参照）の入力が受け付けられる。ここでは、利用者がタッチパネルによって対象物Ｔの位置Ｐを指定する。
【０１３７】
ステップＳ１２では、対象物位置特定部２２により、指定された位置Ｐを含む所定の領域Ｒについて、対象物Ｔの検出が行われ、対象物Ｔの位置Ｑが特定される。ここでは、対象物Ｔの位置Ｑは、対象物Ｔを含む矩形の領域として設定される。なお、対象物Ｔの位置Ｑを、対象物Ｔを含む矩形の領域の例えば中心として設定してもよい。そして、初期化部１３の処理が終了する。
【０１３８】
＜追跡処理フロー＞
次に、追跡部１４の詳細な処理のフローについて説明する。図５は、次のフレームの画像Ｇ2に設定された各探索位置Ｓi（i＝１〜ｍ）で生成されるラフ輪郭モデルを説明する図である。図１０は、追跡部１４における追跡処理の流れを示すフローチャートである。
【０１３９】
ステップＳ１８では、輪郭抽出部２９により、記憶部１２に記憶された画像Ｇ1において、対象物指定部２１により特定された対象物Ｔの輪郭１０１（図４参照）が抽出される。
【０１４０】
ステップＳ１９では、詳細輪郭モデル生成部３０により、画像Ｇ1において、輪郭抽出部２９により抽出された輪郭１０１に沿って複数（ｎ個）の輪郭点Ｘ1〜Ｘnが抽出され、その複数の輪郭点Ｘ1〜Ｘnからなる詳細輪郭モデルが生成される。そして、この詳細輪郭モデルの情報は、画像Ｇ1に対応付けられて記憶部１２に記憶される。
【０１４１】
ステップＳ２０では、詳細輪郭モデル生成部３０により、各輪郭点Ｘ1〜Ｘnに対応する尤度判定用の領域の画素値から尤度判定用の特徴量（例えば輝度、エッジ強度、または、勾配角度）が求められ、その特徴量が記されたテンプレートが生成される。そして、このテンプレートの情報は、画像Ｇ1に対応付けられて記憶部１２に記憶される。
【０１４２】
ステップＳ２１では、探索位置設定部３１により、処理対象画像Ｇ2において、対象物Ｔの探索が行われる複数（ｍ個）の異なる探索位置Ｓ1〜Ｓmが設定される。具体的には、探索位置設定部３１により、図３（ｂ）の様に、処理対象画像Ｇ2において、１つ前のフレームの画像Ｇ1での対象物Ｔの位置Ｑの周辺に複数の探索位置Ｓ1〜Ｓmが設定される。
【０１４３】
ステップＳ２２では、ラフ輪郭モデル生成部３２により、探索位置設定部３１により設定された各探索位置Ｓ1〜Ｓmにおいて、ステップＳ１９で生成された詳細輪郭モデルに基づいてラフ輪郭モデルが生成される。
【０１４４】
具体的には、図５の様に、まず、各探索位置Ｓi（i＝１〜ｍ）において、対象物Ｔの位置Ｑを当該探索位置Ｓiに重ねた場合（即ち、詳細輪郭モデルを当該探索位置Ｓiに当てはめた場合）の、詳細輪郭モデルの複数の輪郭点Ｘ1〜Ｘnの位置に対応する複数の対応点（第１対応点）Ｙ1〜Ｙnが特定される。そして、各探索位置Ｓ1〜Ｓmに対し、この様に特定された複数の対応点Ｙ1〜Ｙnの中から第１の所定数（例えばｕ個）の対応点（第２対応点）Ｙa1〜Ｙauが選択され、その第１の所定数の対応点Ｙa1〜Ｙauからなるラフ輪郭モデルが生成される。
【０１４５】
具体的には、まず、複数の対応点Ｙ1〜Ｙnでの対応点選択用の特徴量（例えば輝度分布）が求められる。即ち、対応点Ｙj（j＝１〜ｎ）に対応する対応点選択用の領域の画素値と、その対応点Ｙjの周囲の特定位置にある１つ以上の参考点（例えばＹj-1・Ｙj+1・Ｙout・Ｙin）の各々に対応する対応点選択用の領域の画素値とに基づいて、対応点Ｙjでの上記の対応点選択用の特徴量が求められる。
【０１４６】
そして、この様に対応点選択用の特徴量が求められた複数の対応点Ｙ1〜Ｙnのうち、所定の事前知識を満たし、且つ上記の対応点選択用の特徴量の大きさが上位第１の所定数（例えばｕ個）に含まれるものが選択され、その第１の所定数の対応点Ｙa1〜Ｙauからラフ輪郭モデルが生成される。
【０１４７】
ステップＳ２３では、ラフ輪郭モデル生成部３２により、各探索位置Ｓ1〜Ｓmでのラフ輪郭モデルの各対応点Ｙa1〜Ｙauに対応する尤度判定用の領域の画素値に基づいて、各探索位置Ｓ1〜Ｓmでのラフ輪郭モデルの各対応点Ｙa1〜Ｙauでの尤度判定用の特徴量（例えば輝度分布）が求められる。
【０１４８】
ステップＳ２４では、尤度判定部３３により、各探索位置Ｓ1〜Ｓmでのラフ輪郭モデルの詳細輪郭モデルに対する尤度Ｌ（即ち現フレームの画像Ｇ2において各探索位置Ｓiが対象物Ｔの位置であることの尤度）が判定される。
【０１４９】
具体的には、まず、ステップＳ２３で求められた、各探索位置Ｓ1〜Ｓmでのラフ輪郭モデルの各対応点Ｙa1〜Ｙauでの尤度判定用の特徴量（例えば輝度分布）と、ステップＳ２０で求められた、詳細輪郭モデルの各輪郭点Ｘ1〜Ｘnのうち各対応点Ｙa1〜Ｙauに対応する各輪郭点Ｘa1〜Ｘauでの尤度判定用の特徴量（例えば輝度分布）との間で、それらの特徴量の差が求められることで、各対応点Ｙajの輪郭点Ｘajに対する尤度Ｌjが求められる。なお、各点Ｘajに対応する上記の尤度判定用の領域は、画像Ｇ1の領域であり、各点Ｙajに対応する上記の尤度判定用の領域は、画像Ｇ2の領域である。
【０１５０】
ここでは、対応する各点Ｘaj・Ｙaj（j＝１〜ｕ）に対応する尤度判定用の領域において同じ配列位置に在るピクセル間の輝度差が求められ、それら各輝度差（または各輝度差の絶対値）が合算され、その合算値を用いて、対応点Ｙajの輪郭点Ｘajに対する尤度Ｌj（例えばＬj＝exp(-|輝度差の合算値|)）が求められる。
【０１５１】
そして、各対応点Ｙaj（j＝１〜ｕ）の尤度Ｌjが合算されて、探索位置Ｓiでのラフ輪郭モデルの詳細輪郭モデルに対する尤度Ｌ（例えばＬ＝（Ｌ1＋Ｌ2＋…＋Ｌu）／ｕ）が求められる。
【０１５２】
ステップＳ２５では、探索位置絞込部３４により、尤度判定部３３により判定された尤度Ｌに基づいて、複数の探索位置Ｓ1〜Ｓmの中から探索位置が絞り込まれる。ここでは、複数の探索位置Ｓ1〜Ｓmのうち、そのラフ輪郭モデルの尤度Ｌが所定値以上である探索位置だけ残される。
【０１５３】
ステップＳ２６では、判定部３５により、探索位置絞込部３４により絞り込まれた探索位置の数が第２の所定数（例えば３個）以下であるか否かが判定される。そしてステップＳ２７で、その判定結果が第２の所定数より大きい場合は、処理がステップＳ２８に移行する。
【０１５４】
ステップＳ２８では、判定部３５からラフ輪郭モデル生成部３２に指示信号（即ち、ラフ輪郭モデルのラフさ度合いを一段階下げてラフ輪郭モデルを改めて生成させる旨の指示信号）が出力される。そして、ラフ輪郭モデル生成部３２により、判定部３５からの上記指示信号が受信されると、ラフ輪郭モデル生成部３２により、ステップＳ２５で絞り込まれた各探索位置に対してだけ、ラフ輪郭モデルのラフさ度合いが一段階下げられる。
【０１５５】
即ち、ラフ輪郭モデル生成部３２により、ステップＳ２５で絞り込まれた各探索位置に対してだけ、各対応点Ｙ1〜Ｙnに対応する対応点選択用の領域の領域サイズが所定サイズ増大され、且つラフ輪郭モデルを構成するための対応点Ｙa1〜Ｙauの個数（ｕ個）が所定数増やされる。
【０１５６】
そして、処理がステップＳ２２に戻り、ステップＳ２５で絞り込まれた各探索位置においてだけ、上記の様にラフさ度合いが一段階下げられた条件の下で、ラフ輪郭モデルが改めて生成される。そして、ステップＳ２３で、ステップＳ２２で改めて生成されたラフ輪郭モデルの各対応点Ｙa1〜Ｙauでの尤度判定用の特徴量が前回同様に求められ、ステップＳ２４で、ステップＳ２２で改めて生成されたラフ輪郭モデルの尤度Ｌが前回同様に求められ、ステップＳ２５で、前回のステップＳ２５で絞り込まれた各探索位置が前回同様に更に絞り込まれ、ステップＳ２６で、更に絞り込まれた各探索位置の数が第２の所定数以下であるか否かが前回同様に判定される。そしてステップＳ２７で、その判定結果が第２の所定数以下になるまで、ステップＳ２８→Ｓ２２→Ｓ２３→Ｓ２４→Ｓ２５→Ｓ２６→Ｓ２７の処理が繰り返される。
【０１５７】
そしてステップＳ２７で、判定部３５の判定結果が第２の所定数以下である場合は、処理がステップＳ２９に移行する。例えば、第２の所定数が３個の場合において、図７の様に、絞り込まれた各探索位置がＳ1およびＳ2の２個の場合は、処理がステップＳ２９に移行する。
【０１５８】
ステップＳ２９では、探索位置絞込部３４により絞り込まれた探索位置が１個の場合は、処理がステップＳ３１に移行し、対象物位置特定部３６により、その探索位置が処理対象画像Ｇ2での追跡対象である対象物Ｔの位置Ｑ2と特定される。なお、対象物位置特定部３６により特定された位置Ｑ2（即ち、現フレームの画像Ｇ2における対象物Ｔの位置Ｑ2）に基づいて、現フレームの次のフレームの画像における当該対象物Ｔの位置が追跡されることになる。
【０１５９】
またステップＳ２９で、探索位置絞込部３４により絞り込まれた探索位置が１個でない場合（即ち、２個以上で且つ第２の所定数以下の場合）は、処理がステップＳ３０に移行し、対象物位置特定部３６により、その絞り込まれた各探索位置が例えば色情報（例えば色ヒストグラム、勾配ヒストグラム、または、ガボール特徴など）を用いて１個に絞り込まれる。
【０１６０】
具体的には、現フレームの処理対象画像Ｇ2における探索位置絞込部３４により絞り込まれた各探索位置での複数の対応点Ｙ1〜Ｙnで囲まれた領域（即ち追跡対象の候補）の色情報と、１つ前のフィールドの画像Ｇ1での対象物Ｔの色情報とが比較される。そして、探索位置絞込部３４により絞り込まれた各探索位置の中から、色情報が対象物Ｔの色情報に一番近似するものだけに絞り込まれる。そして処理がステップＳ３１に移行し、対象物位置特定部３６により、その絞り込まれた探索位置が処理対象画像Ｇ2での追跡対象である対象物Ｔの位置Ｑ2と特定される。
【０１６１】
例えば図７において、各探索位置Ｓ1・Ｓ2のうち、探索位置Ｓ1の色情報の方が対象物Ｔの色情報に近い場合は、探索位置はＳ1に絞り込まれ、その探索位置Ｓ1が処理対象画像Ｇ2での対象物Ｔの位置Ｑ2と特定される。
【０１６２】
ステップＳ３２では、輪郭抽出部２９により、ステップＳ３１で特定された位置Ｑ2に基づいて処理対象画像Ｇ2から対象物Ｔが検出され、その対象物Ｔの輪郭が抽出される。この画像Ｇ2での対象物Ｔの輪郭は、現フレームの画像Ｇ2での詳細輪郭モデルに用いられ、次のフレームの画像で生成されるラフ輪郭モデルの基にされる。
【０１６３】
ステップＳ３３では、追跡結果出力部３８により、処理対象画像Ｇ2での対象物Ｔの位置Ｑ2の情報が焦点制御装置３に出力される。
【０１６４】
なお、この＜追跡処理フロー＞の説明では、ステップＳ２８において、ラフさ度合いを一定段階下げる場合に、（ａ）各対応点Ｙ1〜Ｙnに対応する対応点選択用の領域の領域サイズを所定サイズ増大し、且つ（ｂ）ラフ輪郭モデルを構成するための対応点Ｙa1〜Ｙauの個数（ｕ個）を所定数増やしたが、上記（ａ）だけ、または、上記（ｂ）だけでも構わない。
【０１６５】
また、本実施の形態では、撮影した動画像から対象物を検出して追跡している。しかしながら、物体追跡装置１０は、アニメーションその他の動画像にも適用可能である。また、対象物として、人物の上半身や全身の画像を検出してもよいし、ボール、車両、運搬される荷物、その他の動く物体の画像を検出してもよい。また、静止した物体であっても、撮像装置２を動かせば、撮影した画像中では移動することになるので、適用可能である。すなわち、本発明は、取得した時系列の画像の中で移動する対象物の追跡に適用可能である。
【０１６６】
最後に、物体追跡装置１０の各ブロック、特に対象物指定部２１、対象物位置特定部２２、輪郭抽出部２９、詳細輪郭モデル生成部３０、探索位置設定部３１、ラフ輪郭モデル生成部３２、尤度判定部３３、探索位置絞込部３４、判定部３５、対象物位置特定部３６、および、追跡結果出力部３８は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵ（central processing unit）を用いてソフトウェアによって実現してもよい。
【０１６７】
すなわち、物体追跡装置１０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである物体追跡装置１０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記物体追跡装置１０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（microprocessor unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１６８】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（compact disc read-only memory）／ＭＯ（magneto-optical）／ＭＤ（Mini Disc）／ＤＶＤ（digital versatile disk）／ＣＤ−Ｒ（CD Recordable）等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ（erasable programmable read-only memory）／ＥＥＰＲＯＭ（electrically erasable and programmable read-only memory）／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１６９】
また、物体追跡装置１０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（local area network）、ＩＳＤＮ（integrated services digital network）、ＶＡＮ（value-added network）、ＣＡＴＶ（community antenna television）通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ（institute of electrical and electronic engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（asynchronous digital subscriber loop）回線等の有線でも、ＩｒＤＡ（infrared data association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（high data rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
【０１７０】
本発明は上述した実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１７１】
本発明は、動画像の中の対象物を追跡するデジタルカメラ、デジタルビデオカメラ、またはカメラ付き携帯電話等の機器に利用することができる。
【符号の説明】
【０１７２】
１ 物体追跡システム
２ 撮像装置
３ 焦点制御装置
１０ 物体追跡装置（対象物追跡装置）
１１ 画像取得部
１２ 記憶部
１３ 初期化部
１４ 追跡部
２１ 対象物指定部
２２ 対象物位置特定部（位置情報取得部）
２９ 輪郭抽出部
３０ 詳細輪郭モデル生成部
３１ 探索位置設定部
３２ ラフ輪郭モデル生成部
３３ 尤度判定部
３４ 探索位置絞込部
３５ 判定部（探索位置数判定部）
３６ 対象物位置特定部（位置情報取得部）
３８ 追跡結果出力部
Ｇ1・Ｇ2 画像
Ｓ1〜Ｓm 探索位置
Ｔ 対象物
Ｑ・Ｑ2 対象物の位置
Ｘ1〜Ｘn 輪郭点
Ｙ1〜Ｙn 第１対応点
Ｙa1〜Ｙau 第２対応点
【特許請求の範囲】
【請求項１】
複数のフレームからなる時系列画像の中の対象物を追跡する対象物追跡装置であって、
第１フレームにおける追跡対象となる対象物の位置情報を取得する位置情報取得部と、
上記第１フレームにおいて、上記位置情報に基づいて、上記対象物の輪郭を示す複数の輪郭点からなる詳細輪郭モデルを生成する詳細輪郭モデル生成部と、
上記第１フレームより後の何れかの第２フレームにおいて複数の異なる探索位置を設定する探索位置設定部と、
上記第２フレームにおいて、上記各探索位置に対し、上記詳細輪郭モデルを当該探索位置に当てはめた場合の、上記複数の輪郭点の位置に対応する複数の第１対応点を特定し、上記複数の第１対応点の中から、上記複数の第１対応点よりも少ない第１の所定数の点を第２対応点として選択し、上記第２対応点からなるラフ輪郭モデルを生成するラフ輪郭モデル生成部と、
上記各探索位置について、上記第２フレームの画像における上記ラフ輪郭モデルの上記各第２対応点に関する第２の画像特徴量と、上記第１フレームの画像における上記詳細輪郭モデルの上記各輪郭点のうち当該各第２対応点に対応する輪郭点に関する第１の画像特徴量とを比較することで、上記第２フレームにおいて上記各探索位置が上記対象物の位置であることの尤度を判定する尤度判定部と、
上記尤度判定部により判定された上記尤度に基づいて、上記複数の探索位置の中から上記対象物の位置を特定する対象物位置特定部と、
を備えることを特徴とする対象物追跡装置。
【請求項２】
上記ラフ輪郭モデル生成部は、上記各探索位置について、
上記各第１対応点について、上記第２フレームにおける当該第１対応点に関する第３の画像特徴量に基づいて、当該第１対応点が輪郭を表している輪郭度合いを求め、
上記複数の第１対応点のうち、上記輪郭度合いの大きさが最大のものから上記第１の所定数の順位までに含まれるものを上記第２対応点として選択し、上記第２対応点からなるラフ輪郭モデルを生成することを特徴とする請求項１に記載の対象物追跡装置。
【請求項３】
上記ラフ輪郭モデル生成部は、上記第２フレームにおける、上記第１対応点に対応するエッジ強度に応じて、または、上記第１対応点に対応する複数の画素値の差に応じて、上記輪郭度合いを求めることを特徴とする請求項２に記載の対象物追跡装置。
【請求項４】
上記ラフ輪郭モデル生成部は、上記各第１対応点について、上記第２フレームにおける上記複数の第１対応点によって表される輪郭の内側の点の画素値と当該第１対応点に対応する画素値との差である第１画素値差と、該輪郭の外側の点の画素値と当該第１対応点に対応する画素値との差である第２画素値差との差に応じて、上記輪郭度合いを求めることを特徴とする請求項２に記載の対象物追跡装置。
【請求項５】
上記ラフ輪郭モデル生成部は、上記各第１対応点について、上記第２フレームにおける上記複数の第１対応点によって表される輪郭において、当該第１対応点とそれに隣接する上記第１対応点との間の画素値の差である第３画素値差と、上記第１画素値差および上記第２画素値差とに応じて、上記輪郭度合いを求めることを特徴とする請求項４に記載の対象物追跡装置。
【請求項６】
上記ラフ輪郭モデル生成部は、上記複数の第１対応点の各々に対し、当該第１対応点およびその周囲の特定位置にある１つ以上の参考点の各々に対応する第１の領域の画素値に基づいて、当該第１対応点が輪郭を表している輪郭度合いを求めることで、上記複数の第１対応点の各々の上記輪郭度合いを求め、上記複数の第１対応点のうち、上記輪郭度合いの大きさが上位第１の所定数に含まれるものを上記第２対応点として選択して、上記第２対応点からなる上記ラフ輪郭モデルを生成することを特徴とする請求項１または２に記載の対象物追跡装置。
【請求項７】
上記尤度判定部により判定された上記尤度に基づいて、上記複数の探索位置の中から探索位置を絞り込む探索位置絞込部と、
上記探索位置絞込部により絞り込まれた上記探索位置の数が第２の所定数以下であるか否かを判定する探索位置数判定部とを更に備え、
上記ラフ輪郭モデル生成部は、上記ラフ輪郭モデルの生成後、上記探索位置数判定部の判定結果が上記第２の所定数より大きい場合は、上記探索位置絞込部により絞り込まれた上記探索位置に対し、上記複数の第１対応点およびそれらの上記参考点の各々に対応する上記第１の領域の領域サイズを所定サイズ増大し、増大した上記第１の領域の画素値に基づいて上記複数の第１対応点の各々の上記輪郭度合いを求めることで、上記ラフ輪郭モデルを改めて生成し、
上記尤度判定部は、上記ラフ輪郭モデル生成部により改めて生成された上記ラフ輪郭モデルに対して上記尤度を判定し、
上記探索位置絞込部は、上記尤度判定部により判定された上記尤度に基づいて、上記探索位置絞込部が絞り込んだ上記探索位置の中から更に探索位置を絞り込み、
上記探索位置数判定部は、上記探索位置絞込部により更に絞り込まれた上記探索位置の数が上記第２の所定数以下であるか否かを判定し、
上記対象物位置特定部は、上記探索位置数判定部の判定結果が上記第２の所定数以下の場合、上記探索位置絞込部により絞り込まれた探索位置の中から、上記第２フレームにおける上記対象物の位置を特定することを特徴とする請求項６に記載の対象物追跡装置。
【請求項８】
上記尤度判定部により判定された上記尤度に基づいて、上記複数の探索位置の中から探索位置を絞り込む探索位置絞込部と、
上記探索位置絞込部により絞り込まれた上記探索位置の数が第２の所定数以下であるか否かを判定する探索位置数判定部とを備え、
上記ラフ輪郭モデル生成部は、上記ラフ輪郭モデルの生成後、上記探索位置数判定部の判定結果が上記第２の所定数より大きい場合は、上記探索位置絞込部により絞り込まれた上記探索位置に対し、上記第１の所定数を所定数増やして、上記ラフ輪郭モデルを改めて生成し、
上記尤度判定部は、上記ラフ輪郭モデル生成部により改めて生成された上記ラフ輪郭モデルに対して上記尤度を判定し、
上記探索位置絞込部は、上記尤度判定部により判定された上記尤度に基づいて、上記探索位置絞込部が絞り込んだ上記探索位置の中から更に探索位置を絞り込み、
上記探索位置数判定部は、上記探索位置絞込部により更に絞り込まれた上記探索位置の数が上記第２の所定数以下であるか否かを判定し、
上記対象物位置特定部は、上記探索位置数判定部の判定結果が上記第２の所定数以下の場合、上記探索位置絞込部により更に絞り込まれた探索位置の中から、上記第２フレームにおける上記対象物の位置を特定することを特徴とする請求項１〜７の何れか１項に記載の対象物追跡装置。
【請求項９】
上記位置情報取得部は、上記対象物位置特定部により上記第２フレームにおいて上記対象物の位置が特定された場合に、上記対象物位置特定部により特定された該第２フレームにおける上記対象物の位置情報を取得し、該第２フレームを上記第１フレームとして扱うことを特徴とする請求項１〜８の何れか１項に記載の対象物追跡装置。
【請求項１０】
複数のフレームからなる時系列画像の中の対象物を追跡する対象物追跡方法であって、
第１フレームにおける追跡対象となる対象物の位置情報を取得する位置情報取得ステップと、
上記第１フレームにおいて、上記位置情報に基づいて、上記対象物の輪郭を示す複数の輪郭点からなる詳細輪郭モデルを生成する詳細輪郭モデル生成ステップと、
上記第１フレームより後の何れかの第２フレームにおいて複数の異なる探索位置を設定する探索位置ステップと、
上記第２フレームにおいて、上記各探索位置に対し、上記詳細輪郭モデルを当該探索位置に当てはめた場合の、上記複数の輪郭点の位置に対応する複数の第１対応点を特定し、上記複数の第１対応点の中から、上記複数の第１対応点よりも少ない第１の所定数の点を第２対応点として選択し、上記第２対応点からなるラフ輪郭モデルを生成するラフ輪郭モデル生成ステップと、
上記各探索位置について、上記第２フレームの画像における上記ラフ輪郭モデルの上記各第２対応点に関する第２の画像特徴量と、上記第１フレームの画像における上記詳細輪郭モデルの上記各輪郭点のうち当該各第２対応点に対応する輪郭点に関する第１の画像特徴量とを比較することで、上記第２フレームにおいて上記各探索位置が上記対象物の位置であることの尤度を判定する尤度判定ステップと、
上記尤度判定ステップにより判定された上記尤度に基づいて、上記複数の探索位置の中から上記対象物の位置を特定する対象物位置特定ステップと、
を備えることを特徴とする対象物追跡方法。
【請求項１１】
複数のフレームからなる時系列画像の中の対象物を追跡する処理をコンピュータに実行させる制御プログラムであって、
第１フレームにおける追跡対象となる対象物の位置情報を取得する位置情報取得ステップと、
上記第１フレームにおいて、上記位置情報に基づいて、上記対象物の輪郭を示す複数の輪郭点からなる詳細輪郭モデルを生成する詳細輪郭モデル生成ステップと、
上記第１フレームより後の何れかの第２フレームにおいて複数の異なる探索位置を設定する探索位置ステップと、
上記第２フレームにおいて、上記各探索位置に対し、上記詳細輪郭モデルを当該探索位置に当てはめた場合の、上記複数の輪郭点の位置に対応する複数の第１対応点を特定し、上記複数の第１対応点の中から、上記複数の第１対応点よりも少ない第１の所定数の点を第２対応点として選択し、上記第２対応点からなるラフ輪郭モデルを生成するラフ輪郭モデル生成ステップと、
上記各探索位置について、上記第２フレームの画像における上記ラフ輪郭モデルの上記各第２対応点に関する第２の画像特徴量と、上記第１フレームの画像における上記詳細輪郭モデルの上記各輪郭点のうち当該各第２対応点に対応する輪郭点に関する第１の画像特徴量とを比較することで、上記第２フレームにおいて上記各探索位置が上記対象物の位置であることの尤度を判定する尤度判定ステップと、
上記尤度判定ステップにより判定された上記尤度に基づいて、上記複数の探索位置の中から上記対象物の位置を特定する対象物位置特定ステップと、
をコンピュータに実行させる制御プログラム。
【請求項１】
複数のフレームからなる時系列画像の中の対象物を追跡する対象物追跡装置であって、
第１フレームにおける追跡対象となる対象物の位置情報を取得する位置情報取得部と、
上記第１フレームにおいて、上記位置情報に基づいて、上記対象物の輪郭を示す複数の輪郭点からなる詳細輪郭モデルを生成する詳細輪郭モデル生成部と、
上記第１フレームより後の何れかの第２フレームにおいて複数の異なる探索位置を設定する探索位置設定部と、
上記第２フレームにおいて、上記各探索位置に対し、上記詳細輪郭モデルを当該探索位置に当てはめた場合の、上記複数の輪郭点の位置に対応する複数の第１対応点を特定し、上記複数の第１対応点の中から、上記複数の第１対応点よりも少ない第１の所定数の点を第２対応点として選択し、上記第２対応点からなるラフ輪郭モデルを生成するラフ輪郭モデル生成部と、
上記各探索位置について、上記第２フレームの画像における上記ラフ輪郭モデルの上記各第２対応点に関する第２の画像特徴量と、上記第１フレームの画像における上記詳細輪郭モデルの上記各輪郭点のうち当該各第２対応点に対応する輪郭点に関する第１の画像特徴量とを比較することで、上記第２フレームにおいて上記各探索位置が上記対象物の位置であることの尤度を判定する尤度判定部と、
上記尤度判定部により判定された上記尤度に基づいて、上記複数の探索位置の中から上記対象物の位置を特定する対象物位置特定部と、
を備えることを特徴とする対象物追跡装置。
【請求項２】
上記ラフ輪郭モデル生成部は、上記各探索位置について、
上記各第１対応点について、上記第２フレームにおける当該第１対応点に関する第３の画像特徴量に基づいて、当該第１対応点が輪郭を表している輪郭度合いを求め、
上記複数の第１対応点のうち、上記輪郭度合いの大きさが最大のものから上記第１の所定数の順位までに含まれるものを上記第２対応点として選択し、上記第２対応点からなるラフ輪郭モデルを生成することを特徴とする請求項１に記載の対象物追跡装置。
【請求項３】
上記ラフ輪郭モデル生成部は、上記第２フレームにおける、上記第１対応点に対応するエッジ強度に応じて、または、上記第１対応点に対応する複数の画素値の差に応じて、上記輪郭度合いを求めることを特徴とする請求項２に記載の対象物追跡装置。
【請求項４】
上記ラフ輪郭モデル生成部は、上記各第１対応点について、上記第２フレームにおける上記複数の第１対応点によって表される輪郭の内側の点の画素値と当該第１対応点に対応する画素値との差である第１画素値差と、該輪郭の外側の点の画素値と当該第１対応点に対応する画素値との差である第２画素値差との差に応じて、上記輪郭度合いを求めることを特徴とする請求項２に記載の対象物追跡装置。
【請求項５】
上記ラフ輪郭モデル生成部は、上記各第１対応点について、上記第２フレームにおける上記複数の第１対応点によって表される輪郭において、当該第１対応点とそれに隣接する上記第１対応点との間の画素値の差である第３画素値差と、上記第１画素値差および上記第２画素値差とに応じて、上記輪郭度合いを求めることを特徴とする請求項４に記載の対象物追跡装置。
【請求項６】
上記ラフ輪郭モデル生成部は、上記複数の第１対応点の各々に対し、当該第１対応点およびその周囲の特定位置にある１つ以上の参考点の各々に対応する第１の領域の画素値に基づいて、当該第１対応点が輪郭を表している輪郭度合いを求めることで、上記複数の第１対応点の各々の上記輪郭度合いを求め、上記複数の第１対応点のうち、上記輪郭度合いの大きさが上位第１の所定数に含まれるものを上記第２対応点として選択して、上記第２対応点からなる上記ラフ輪郭モデルを生成することを特徴とする請求項１または２に記載の対象物追跡装置。
【請求項７】
上記尤度判定部により判定された上記尤度に基づいて、上記複数の探索位置の中から探索位置を絞り込む探索位置絞込部と、
上記探索位置絞込部により絞り込まれた上記探索位置の数が第２の所定数以下であるか否かを判定する探索位置数判定部とを更に備え、
上記ラフ輪郭モデル生成部は、上記ラフ輪郭モデルの生成後、上記探索位置数判定部の判定結果が上記第２の所定数より大きい場合は、上記探索位置絞込部により絞り込まれた上記探索位置に対し、上記複数の第１対応点およびそれらの上記参考点の各々に対応する上記第１の領域の領域サイズを所定サイズ増大し、増大した上記第１の領域の画素値に基づいて上記複数の第１対応点の各々の上記輪郭度合いを求めることで、上記ラフ輪郭モデルを改めて生成し、
上記尤度判定部は、上記ラフ輪郭モデル生成部により改めて生成された上記ラフ輪郭モデルに対して上記尤度を判定し、
上記探索位置絞込部は、上記尤度判定部により判定された上記尤度に基づいて、上記探索位置絞込部が絞り込んだ上記探索位置の中から更に探索位置を絞り込み、
上記探索位置数判定部は、上記探索位置絞込部により更に絞り込まれた上記探索位置の数が上記第２の所定数以下であるか否かを判定し、
上記対象物位置特定部は、上記探索位置数判定部の判定結果が上記第２の所定数以下の場合、上記探索位置絞込部により絞り込まれた探索位置の中から、上記第２フレームにおける上記対象物の位置を特定することを特徴とする請求項６に記載の対象物追跡装置。
【請求項８】
上記尤度判定部により判定された上記尤度に基づいて、上記複数の探索位置の中から探索位置を絞り込む探索位置絞込部と、
上記探索位置絞込部により絞り込まれた上記探索位置の数が第２の所定数以下であるか否かを判定する探索位置数判定部とを備え、
上記ラフ輪郭モデル生成部は、上記ラフ輪郭モデルの生成後、上記探索位置数判定部の判定結果が上記第２の所定数より大きい場合は、上記探索位置絞込部により絞り込まれた上記探索位置に対し、上記第１の所定数を所定数増やして、上記ラフ輪郭モデルを改めて生成し、
上記尤度判定部は、上記ラフ輪郭モデル生成部により改めて生成された上記ラフ輪郭モデルに対して上記尤度を判定し、
上記探索位置絞込部は、上記尤度判定部により判定された上記尤度に基づいて、上記探索位置絞込部が絞り込んだ上記探索位置の中から更に探索位置を絞り込み、
上記探索位置数判定部は、上記探索位置絞込部により更に絞り込まれた上記探索位置の数が上記第２の所定数以下であるか否かを判定し、
上記対象物位置特定部は、上記探索位置数判定部の判定結果が上記第２の所定数以下の場合、上記探索位置絞込部により更に絞り込まれた探索位置の中から、上記第２フレームにおける上記対象物の位置を特定することを特徴とする請求項１〜７の何れか１項に記載の対象物追跡装置。
【請求項９】
上記位置情報取得部は、上記対象物位置特定部により上記第２フレームにおいて上記対象物の位置が特定された場合に、上記対象物位置特定部により特定された該第２フレームにおける上記対象物の位置情報を取得し、該第２フレームを上記第１フレームとして扱うことを特徴とする請求項１〜８の何れか１項に記載の対象物追跡装置。
【請求項１０】
複数のフレームからなる時系列画像の中の対象物を追跡する対象物追跡方法であって、
第１フレームにおける追跡対象となる対象物の位置情報を取得する位置情報取得ステップと、
上記第１フレームにおいて、上記位置情報に基づいて、上記対象物の輪郭を示す複数の輪郭点からなる詳細輪郭モデルを生成する詳細輪郭モデル生成ステップと、
上記第１フレームより後の何れかの第２フレームにおいて複数の異なる探索位置を設定する探索位置ステップと、
上記第２フレームにおいて、上記各探索位置に対し、上記詳細輪郭モデルを当該探索位置に当てはめた場合の、上記複数の輪郭点の位置に対応する複数の第１対応点を特定し、上記複数の第１対応点の中から、上記複数の第１対応点よりも少ない第１の所定数の点を第２対応点として選択し、上記第２対応点からなるラフ輪郭モデルを生成するラフ輪郭モデル生成ステップと、
上記各探索位置について、上記第２フレームの画像における上記ラフ輪郭モデルの上記各第２対応点に関する第２の画像特徴量と、上記第１フレームの画像における上記詳細輪郭モデルの上記各輪郭点のうち当該各第２対応点に対応する輪郭点に関する第１の画像特徴量とを比較することで、上記第２フレームにおいて上記各探索位置が上記対象物の位置であることの尤度を判定する尤度判定ステップと、
上記尤度判定ステップにより判定された上記尤度に基づいて、上記複数の探索位置の中から上記対象物の位置を特定する対象物位置特定ステップと、
を備えることを特徴とする対象物追跡方法。
【請求項１１】
複数のフレームからなる時系列画像の中の対象物を追跡する処理をコンピュータに実行させる制御プログラムであって、
第１フレームにおける追跡対象となる対象物の位置情報を取得する位置情報取得ステップと、
上記第１フレームにおいて、上記位置情報に基づいて、上記対象物の輪郭を示す複数の輪郭点からなる詳細輪郭モデルを生成する詳細輪郭モデル生成ステップと、
上記第１フレームより後の何れかの第２フレームにおいて複数の異なる探索位置を設定する探索位置ステップと、
上記第２フレームにおいて、上記各探索位置に対し、上記詳細輪郭モデルを当該探索位置に当てはめた場合の、上記複数の輪郭点の位置に対応する複数の第１対応点を特定し、上記複数の第１対応点の中から、上記複数の第１対応点よりも少ない第１の所定数の点を第２対応点として選択し、上記第２対応点からなるラフ輪郭モデルを生成するラフ輪郭モデル生成ステップと、
上記各探索位置について、上記第２フレームの画像における上記ラフ輪郭モデルの上記各第２対応点に関する第２の画像特徴量と、上記第１フレームの画像における上記詳細輪郭モデルの上記各輪郭点のうち当該各第２対応点に対応する輪郭点に関する第１の画像特徴量とを比較することで、上記第２フレームにおいて上記各探索位置が上記対象物の位置であることの尤度を判定する尤度判定ステップと、
上記尤度判定ステップにより判定された上記尤度に基づいて、上記複数の探索位置の中から上記対象物の位置を特定する対象物位置特定ステップと、
をコンピュータに実行させる制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１９０２８９（Ｐ２０１２−１９０２８９Ａ）
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願番号】特願２０１１−５３６１９（Ｐ２０１１−５３６１９）
【出願日】平成２３年３月１０日（２０１１．３．１０）
【特許番号】特許第４７８４７０９号（Ｐ４７８４７０９）
【特許公報発行日】平成２３年１０月５日（２０１１．１０．５）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願日】平成２３年３月１０日（２０１１．３．１０）
【特許番号】特許第４７８４７０９号（Ｐ４７８４７０９）
【特許公報発行日】平成２３年１０月５日（２０１１．１０．５）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]