目標追跡装置、目標追跡方法
【課題】目標追跡装置において、追跡目標が遮蔽物に遮蔽され、遮蔽物が追跡対象となっている場合における追跡目標の検出精度を高める。
【解決手段】追跡目標指定受付部と、追跡対象設定部と、撮像装置から連続して入力される入力画像内において、追跡対象設定部によって設定された追跡対象を、サイズ情報を含む検出情報を基準に検出して追跡する追跡処理部とを備え、追跡対象設定部は、入力画像内において追跡目標を認識した場合は、追跡目標を追跡対象として設定し、入力画像内において追跡目標が遮蔽物に遮蔽された場合は、遮蔽物を追跡対象として設定するとともに、遮蔽物と追跡目標とのサイズ比を取得し、追跡対象となっている遮蔽物の入力画像内でのサイズ変動と取得したサイズ比とに基づいて追跡目標の検出情報に含まれるサイズ情報を更新して、追跡目標の再出現を検出する。
【解決手段】追跡目標指定受付部と、追跡対象設定部と、撮像装置から連続して入力される入力画像内において、追跡対象設定部によって設定された追跡対象を、サイズ情報を含む検出情報を基準に検出して追跡する追跡処理部とを備え、追跡対象設定部は、入力画像内において追跡目標を認識した場合は、追跡目標を追跡対象として設定し、入力画像内において追跡目標が遮蔽物に遮蔽された場合は、遮蔽物を追跡対象として設定するとともに、遮蔽物と追跡目標とのサイズ比を取得し、追跡対象となっている遮蔽物の入力画像内でのサイズ変動と取得したサイズ比とに基づいて追跡目標の検出情報に含まれるサイズ情報を更新して、追跡目標の再出現を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内の追跡目標を追跡する目標追跡装置に係り、特に、追跡目標が遮蔽物に遮蔽された後における追跡目標の追跡精度を高める技術に関する。
【背景技術】
【０００２】
撮像装置等から連続して画像を取り込んで、画像内で移動する物体を検出して追跡する手法が数多く提案されている。一般的な手法では、追跡目標として指定された物体の輪郭、色、サイズ、動き情報等を基準に、画像内で追跡目標を検出して追跡を行なうので、追跡目標を見失わないためには、追跡目標が他の物体と重なって遮蔽された場合の対処が重要である。
【０００３】
追跡目標が他の物体と重なって遮蔽された場合の対処としては、追跡目標について複数の特徴点を設定して追跡することで、追跡目標が部分的に遮蔽されても追跡を継続可能としたり、追跡目標が完全に遮蔽された場合でも追跡目標の動きベクトルを利用して移動位置を予測することで追跡を継続することが従来から行なわれている。
【０００４】
また、特許文献１では、本来の追跡目標を遮蔽した物体を追跡しているときに、さらに新たな遮蔽が発生した場合、先の遮蔽物から新たな遮蔽物に追跡対象を切替えて追跡目標の再検出を行なうことが提案されている。そして、追跡目標より先に、先の遮蔽物が検出されると、新たな遮蔽物を追跡対象から除外し、先の遮蔽物を追跡しながら追跡目標の再検出を行なうようにしている。
【０００５】
いずれの場合も、遮蔽されていた本来の追跡目標が画面内で再検出された場合には、追跡対象を遮蔽物から追跡目標に切替えて追跡目標の追跡を再開する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２７２４３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、一般に目標追跡装置では、追跡処理を行なっている間、追跡対象が画像からはみ出して検出できなくなってしまうことを防ぐために、追跡対象が画像の中央部に位置し、かつ入力画像全体の領域に対して追跡対象の占有領域が所定の割合となるように、撮像装置を制御してパン、チルト、ズームを行なわせる。ここで、パンは、撮像範囲の水平方向の動き、チルトは撮像範囲の上下の動き、ズームは撮像倍率の変更を意味する。
【０００８】
したがって、遮蔽物が追跡対象になっている間は、遮蔽物が適正に画像に収まるように撮像装置が制御されることになる。例えば、遮蔽物が追跡目標と比べて大きい場合には、より広い範囲が画面に収まるようにズームが調整される。
【０００９】
この状態で、追跡目標が再出現すると、追跡目標は、追跡対象となっていたときよりも小さな大きさで画像に現れることになる。このため、遮蔽前の大きさの情報を用いて追跡目標の再出現の検出を行なっていると、追跡目標の検出に失敗してしまうおそれがある。
【００１０】
そこで、本発明は、目標追跡装置において、追跡目標が遮蔽物に遮蔽され、遮蔽物が追跡対象となっている場合における追跡目標の検出精度を高めることを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、本発明の第１の態様である目標追跡装置は、追跡目標の指定を受け付ける追跡目標指定受付部と、追跡対象を設定する追跡対象設定部と、撮像装置から連続して入力される入力画像内において、前記追跡対象設定部によって設定された追跡対象を、サイズ情報を含む検出情報を基準に検出して追跡する追跡処理部とを備え、前記追跡対象設定部は、入力画像内において前記追跡目標を認識した場合は、前記追跡目標を追跡対象として設定し、入力画像内において前記追跡目標が遮蔽物に遮蔽された場合は、前記遮蔽物を追跡対象として設定するとともに、前記遮蔽物と前記追跡目標とのサイズ比を取得し、追跡対象となっている遮蔽物の入力画像内でのサイズ変動と取得した前記サイズ比とに基づいて前記追跡目標の検出情報に含まれるサイズ情報を更新して、前記追跡目標の再出現を検出することを特徴とする。
【００１２】
ここで、追跡対象が入力画像の中央部に位置し、かつ入力画像全体の領域に対して追跡対象の占有領域が所定の割合となるように、前記撮像装置の撮像範囲を制御する撮像装置制御部をさらに備えることができる。
【００１３】
また、前記追跡対象設定部は、追跡対象として設定されている遮蔽物が、入力画像内において他の遮蔽物と少なくとも一部が重なった場合は、それぞれの遮蔽物の動きベクトルと前記追跡目標の動きベクトルに基づいて算定される優先度の高い遮蔽物を追跡対象として設定するとともに、前記他の遮蔽物が追跡対象として新たに設定された場合は、前記他の遮蔽物と追跡対象として設定されていた遮蔽物とのサイズ比に基づいて、前記他の遮蔽物と前記追跡目標とのサイズ比を算出し、新たに追跡対象として設定された遮蔽物の入力画像内でのサイズ変動と算出された前記サイズ比とに基づいて前記追跡目標の検出情報に含まれるサイズ情報を更新して、前記追跡目標の再出現を検出することができる。
【００１４】
上記課題を解決するため、本発明の第２の態様である目標追跡方法は、目標追跡装置における目標追跡方法であって、追跡目標の指定を受け付ける追跡目標指定受付ステップと、追跡対象を設定する追跡対象設定ステップと、撮像装置から連続して入力される入力画像内において、前記追跡対象設定部によって設定された追跡対象を、サイズ情報を含む検出情報を基準に検出して追跡する追跡処理ステップとを有し、前記追跡対象設定ステップは、入力画像内において前記追跡目標を認識した場合は、前記追跡目標を追跡対象として設定し、入力画像内において前記追跡目標が遮蔽物に遮蔽された場合は、前記遮蔽物を追跡対象として設定するとともに、前記遮蔽物と前記追跡目標とのサイズ比を取得し、追跡対象となっている遮蔽物の入力画像内でのサイズ変動と前記サイズ比とに基づいて前記追跡目標の検出情報に含まれるサイズ情報を更新して、前記追跡目標の再出現を検出することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、目標追跡装置において、追跡目標が遮蔽物に遮蔽され、遮蔽物が追跡対象となっている場合における追跡目標の検出精度を高めることができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１実施例に係る目標追跡システムの構成を示すブロック図である。
【図２】第１実施例における追跡目標情報のデータ構造例を示す図である。
【図３】第１実施例における遮蔽物情報のデータ構造例を示す図である。
【図４】追跡目標追跡モードの動作を説明するフローチャートである。
【図５】単独遮蔽物モードの動作を説明するフローチャートである。
【図６】重複遮蔽物モードの動作を説明するフローチャートである。
【図７】重複遮蔽物モードの動作を説明するフローチャートである。
【図８】重複遮蔽物モードの動作を説明するフローチャートである。
【図９】重複遮蔽物モードの動作を説明するフローチャートである。
【図１０】本発明の第２実施例に係る目標追跡システムの構成を示すブロック図である。
【図１１】第２実施例における追跡目標情報のデータ構造例を示す図である。
【図１２】遮蔽物情報のデータ構造例を示す図である。
【図１３】本発明の第３実施例に係る目標追跡システムの構成を示すブロック図である。
【図１４】第３実施例における遮蔽物情報のデータ構造例を示す図である。
【発明を実施するための形態】
【００１７】
（第１実施例）
本発明の実施例について図面を参照して詳細に説明する。図１は、本発明の第１実施例に係る目標追跡システムの構成を示すブロック図である。本図に示すように目標追跡システム１０は、撮像装置２００と目標追跡装置１００とを備えて構成される。
【００１８】
撮像装置２００は、例えば、監視カメラ等を用いて構成することができ、動画像を撮像し、撮像画像を目標追跡装置１００に連続的に出力する。撮像装置２００は、目標追跡装置１００からの指示に基づいて、追跡対象が画像内に収まるようにパン、チルト、ズームを行なうことができる。
【００１９】
目標追跡装置１００は、画像入力部１１０、表示部１２０、追跡目標指定受付部１３０、追跡対象設定部１４０、追跡処理部１５０、撮像装置制御部１６０、追跡情報記憶部１７０を備えており、撮像装置２００から連続的に取り込む画像において追跡対象を追跡する処理を行なう。
【００２０】
ここで、追跡対象は、その時点で追跡の対象となっている物体を意味し、ユーザによって指定された追跡目標と、追跡目標を遮蔽した遮蔽物および遮蔽物に重なった他の遮蔽物のいずれかが設定される。具体的には、本来の追跡対象である追跡目標が画像内に検出されている場合は、常に追跡目標が追跡対象として設定され、追跡目標が１または複数の遮蔽物によって遮蔽されて画像内で検出できない場合は、いずれかの遮蔽物が追跡対象として設定される。
【００２１】
目標追跡装置１００は、ＣＰＵ、メモリ、入出力インタフェース、通信装置、入力装置等を備えた汎用的な情報処理装置を用いて構成することができる。また、監視システム等の専用装置として構成してもよい。
【００２２】
画像入力部１１０は、撮像装置２００から画像を連続的に入力し、必要に応じてデコード等の処理を行なう。表示部１２０は、画像入力部１１０が入力した画像を、外部あるいは目標追跡装置内蔵の表示装置（不図示）に動画像として表示する。
【００２３】
追跡処理部１５０は、追跡対象設定部１４０によって追跡対象として設定された物体の追跡処理を行なう。追跡処理については種々の手法が提案されているが、本発明では追跡処理の手法は特に限定されない。本実施形態では、便宜的に基本的な手法である複数ブロックに分割したテンプレートを用いた形状認識により追跡対象を認識して追跡を行なうものとするが、パーティクルを用いて尤度を算出することにより追跡対象を追跡する手法等を用いるようにしてもよい。なお、追跡処理部１５０は、追跡対象の形状やサイズの変化に追従し、追跡対象に関する情報を随時更新していくことが望ましい。
【００２４】
追跡目標指定受付部１３０は、ユーザから追跡目標の指定を受け付ける。ユーザは、例えば、画像中の追跡目標が存在している領域をポインティングデバイス等の入力装置によって指示することで、追跡目標の指定を行なうことができる。追跡目標指定受付部１３０は、ユーザから追跡目標の指定を受け付けると、追跡目標情報１７１を作成し、記憶領域である追跡情報記憶部１７０に記録する。
【００２５】
図２は、追跡目標情報１７１のデータ構造例を示す図である。本図に示すように、追跡目標情報１７１は、形状（色、輪郭）１７１ａ、サイズ１７１ｂ、動きベクトル１７１ｃ、位置１７１ｄ、最終更新時刻１７１ｅ、遮蔽状態１７１ｆを追跡目標に関する情報として格納する。なお、形状（色、輪郭）１７１ａ、サイズ１７１ｂ、位置１７１ｄについては、最新情報のみならず、履歴情報を保持することが望ましい。
【００２６】
追跡目標の形状（色、輪郭）１７１ａ、サイズ１７１ｂ、位置１７１ｄは、追跡目標の指定を受け付けた際に、画像から取得して記録する。目標追跡装置１００の追跡処理部１５０は、これらの情報を元に連続して取り込まれる画像から追跡目標を検出し、追跡目標の追跡を行なう。そして、形状（色、輪郭）１７１ａ、サイズ１７１ｂ、位置１７１ｄについて随時更新を行なうとともに、追跡目標の移動方向と移動速度とに基づいて動きベクトルを算出し、動きベクトル１７１ｃに記録し、随時更新する。最終更新時刻１７１ｅには、これらの情報が最後に更新された時刻が記録される。また、遮蔽状態１７１ｆには、追跡目標が検出されているか、遮蔽物に遮蔽されていて検出不可能であるかの状態が、追跡対象設定部１４０によって記録される。
【００２７】
図１のブロック図の説明に戻って、撮像装置制御部１６０は、追跡対象の移動や、遮蔽等による追跡対象の変更に対応して、撮像装置２００を制御する。具体的には、追跡対象が画像の中央部に位置し、かつ入力画像全体の領域に対して追跡対象の占有領域が所定の割合となるように、撮像装置２００に対してパン、チルト、ズームを行なわせる。
【００２８】
追跡対象設定部１４０は、重なり検出部１４１、遮蔽可能性判定部１４２、優先度決定部１４３、遮蔽物状態監視部１４４、遮蔽時間監視部１４５を備えている。追跡対象設定部１４０は、これらの機能部を制御することにより、追跡対象の設定処理等を行なう。
【００２９】
重なり検出部１４１は、画像入力部１１０が入力した画像内において、追跡目標全体に他の物体が重なって追跡目標が遮蔽され、追跡対象が検出できなくなった状態、追跡対象となっている遮蔽物が他の物体と少なくとも一部が重なった状態、遮蔽されていた追跡目標が再出現した状態、遮蔽されていた他の遮蔽物が再出現した状態を検出する。
【００３０】
追跡目標に他の物体が重なって遮蔽され、追跡対象が検出できなくなった状態が検出されると、重なり検出部１４１は、他の物体を遮蔽物として取り扱い、遮蔽物情報１７２を作成し、追跡情報記憶部１７０に記録する。
【００３１】
図３は、遮蔽物情報１７２のデータ構造例を示す図である。本図に示すように、遮蔽物情報１７２は、遮蔽物ＩＤ１７２ａ、形状（色、輪郭）１７２ｂ、サイズ１７２ｃ、動きベクトル１７２ｄ、位置１７２ｅ、最終更新時刻１７２ｆ、追跡対象フラグ１７２ｇ、推定遮蔽時間１７２ｈ、遮蔽経過時間１７２ｉを遮蔽物に関する情報として格納する。なお、形状（色、輪郭）１７２ｂ、サイズ１７２ｃ、位置１７２ｅについては、最新情報のみならず、履歴情報を保持することが望ましい。
【００３２】
遮蔽物ＩＤ１７２ａは、遮蔽物を識別するための識別子が格納される。形状（色、輪郭）１７２ｂ、サイズ１７２ｃ、位置１７２ｅは、遮蔽物が検出された際、画像から取得して記録する。遮蔽物が追跡対象となっているとき、目標追跡装置１００の追跡処理部１５０は、これらの情報を元に連続して取り込まれる画像から追跡対象の遮蔽物を検出し、追跡を行なう。
【００３３】
そして、形状（色、輪郭）１７２ｂ、サイズ１７２ｃ、位置１７２ｅについて随時更新を行なうとともに、追跡対象の遮蔽物の移動方向と移動速度とに基づいて動きベクトルを算出し、動きベクトル１７２ｄに記録し、随時更新する。最終更新時刻１７２ｆには、これらの情報が最後に更新された時刻が記録される。また、追跡対象フラグ１７２ｇには、その遮蔽物が追跡対象となっているかどうかの状態が記録される。なお、形状（色、輪郭）１７２ｂ、サイズ１７２ｃ、位置１７２ｅ等の検出が行なわれるのは、追跡対象となっている遮蔽物のみである。
【００３４】
推定遮蔽時間１７２ｈは、その遮蔽物が追跡目標を遮蔽する時間の推定値を格納する。推定遮蔽時間は、例えば、遮蔽物のサイズと動きベクトル、および、追跡目標のサイズと動きベクトルから算出することができる。すなわち、遮蔽物のサイズと追跡目標のサイズとから、遮蔽物が追跡目標を遮蔽してから追跡目標が再出現するまでの相対移動距離が算出され、遮蔽物の動きベクトルと追跡目標の動きベクトルの差で割ることにより推定遮蔽時間を算出することができる。
【００３５】
ただし、推定遮蔽時間は厳密に算出する必要はなく、おおよその時間が得られれば足りる。また、サイズは、例えば、追跡対象あるいは遮蔽物を矩形状で近似的に表わした場合の縦横の画面上の長さとすることができる。なお、推定遮蔽時間は、簡易的に遮蔽物の動きベクトルと追跡目標の動きベクトルの差に基づいて算出してもよい。この場合、遮蔽物と追跡目標との動きベクトルの差が大きいほど、すなわち、相対速度が大きいほど推定遮蔽時間は短くなる。
【００３６】
遮蔽経過時間１７２ｉは、推定遮蔽時間が算出された時点からの経過時間を格納する。遮蔽経過時間は、逐次更新されるものとする。遮蔽経過時間が推定遮蔽時間を超えた場合には、追跡目標はその遮蔽物には遮蔽されていなかったものと見なすことができる。
【００３７】
図１のブロック図の説明に戻って、遮蔽可能性判定部１４２は、追跡対象となっている遮蔽物が他の物体と少なくとも一部が重なった場合に、他の物体および追跡目標のサイズと形状とに基づいて他の物体が追跡目標を完全に遮蔽できるかどうかを判定する。この結果、追跡目標を完全に遮蔽できない判定した場合には、他の物体は，遮蔽物として取り扱わず、追跡対象から除外する。一方、追跡目標を完全に遮蔽できると判定した場合には、他の物体を遮蔽物として取り扱い、遮蔽物情報１７２を作成して追跡情報記憶部１７０に記録する。なお、簡易的にサイズのみに基づいて他の物体が追跡目標を完全に遮蔽できるかどうかを判定するようにしてもよい。
【００３８】
優先度決定部１４３は、追跡対象となっている遮蔽物に重なった物体が遮蔽物と取り扱われる場合、どちらの遮蔽物を追跡対象として設定するかの優先度を算定する。追跡対象設定部１４０は、優先度決定部１４３が算定した優先度の高い遮蔽物を追跡対象として決定する。ここで、優先度は、推定遮蔽時間の残り時間が長いほど高く算定されるものとする。推定遮蔽時間の残り時間は、推定遮蔽時間１７２ｈから遮蔽経過時間１７２ｉを引くことで算出することができる。
【００３９】
例えば、歩行中の人物が追跡目標として指定されている場合に、遮蔽物として走行中の車と立て看板とがほぼ同時に検出されたとする。このとき、動きベクトルが追跡目標の動きベクトルとの差が大きいのは走行中の車であるから、走行中の車による推定遮蔽時間は、立て看板の推定遮蔽時間より短くなる。したがって、優先度は立て看板の方を高く算定する。なぜならば、立て看板の方を追跡対象としていれば、たとえ追跡目標である人物が車に遮蔽されたまま移動しても、車による遮蔽時間は短いと推定されるため、すぐに立て看板付近で追跡目標が再検出されるからである。
【００４０】
これに対して、走行する車の方を追跡対象とすれば、追跡目標の人物が立て看板に遮蔽されていた場合、追跡目標の人物が立て看板から再出現するときには、走行する車の追跡のため立て看板から離れた場所が撮影されているため、追跡目標を見失ってしまうことになる。そこで、本実施形態では、検出の前後にかかわらず、推定遮蔽時間の残り時間が長い遮蔽物ほど優先度を高くして、追跡対象として設定することにより、追跡目標に対する追跡精度を高めるようにしている。
【００４１】
遮蔽物状態監視部１４４は、遮蔽物が追跡対象として設定されている場合に、遮蔽物が向きを変えたりして、そのサイズあるいは形状が変化した結果、追跡目標を遮蔽できなくなったことを検出する。なお、簡易的にサイズのみに基づいて追跡対象の遮蔽物が追跡目標を遮蔽できなくなったことを検出するようにしてもよい。
【００４２】
そして、追跡対象として設定されている遮蔽物が、追跡目標を遮蔽できないサイズ、形状に変化した場合には、その遮蔽物を追跡対象から除外し、優先度決定部１４３が、その時点で最も優先度の高い遮蔽物、すなわち、推定遮蔽時間の残り時間が最も長い遮蔽物を追跡対象として設定する。この際に、新たに追跡対象として設定された遮蔽物の動きベクトルに基づいて遮蔽物の現在の位置を推定し、その位置が画像に含まれるように、撮像装置制御部１６０が、撮像装置２００の撮像対象位置を制御する。
【００４３】
遮蔽時間監視部１４５は、遮蔽物情報１７２に記録されている遮蔽物のうち、推定遮蔽時間の残り時間がなくなった遮蔽物を、遮蔽状態が解除したものと見なして遮蔽物情報１７２から削除する。遮蔽物情報１７２から削除された遮蔽物が追跡対象となっている場合には、優先度決定部１４３が、その時点で最も優先度の高い遮蔽物、すなわち、推定遮蔽時間の残り時間が最も長い遮蔽物を追跡対象として設定する。この際に、新たに追跡対象として設定された遮蔽物の動きベクトルに基づいて遮蔽物の現在の位置を推定し、その位置が画像に含まれるように、撮像装置制御部１６０が、撮像装置２００の撮像対象位置を制御する。
【００４４】
次に、目標追跡装置１００の動作について説明する。ここでは、追跡対象として追跡目標が設定されていて、追跡目標を追跡する通常の状態を追跡目標追跡モードと称し、追跡目標が１つの遮蔽物に遮蔽され、その遮蔽物が追跡対象となっている状態を単独遮蔽物追跡モードと称し、遮蔽物が追跡目標となっている状態でさらに他の遮蔽物により遮蔽された状態を重複遮蔽物追跡モードと称するものとする。
【００４５】
まず、追跡目標追跡モードにおける目標追跡装置１００の動作について図４のフローチャートを参照して説明する。
【００４６】
目標追跡装置１００は、追跡対象の追跡に先立ち、初期設定として、ユーザから追跡目標の指定を受け付ける（Ｓ１０１）。追跡目標の指定は、上述のように、追跡目標指定受付部１３０が画像中の追跡対象に対応する領域の指定をユーザから受け付けることで行なうことができる。追跡目標の指定を受け付けると、追跡目標に関する情報を追跡目標情報１７１として追跡情報記憶部１７０に記録する（Ｓ１０２）。
【００４７】
そして、追跡目標情報１７１に記録された情報に基づいて、撮像装置２００から取り込んだ画像内で追跡処理部１５０が追跡目標の追跡処理を行なう（Ｓ１０３）。追跡処理の結果に応じて必要であれば、追跡目標情報１７１を更新し（Ｓ１０４）、撮像装置２００の制御を行なう（Ｓ１０４）。
【００４８】
追跡目標情報１７１の更新は、例えば、追跡目標の形状、サイズ、位置、動きベクトルが変化したときに行ない、その際に、追跡目標情報１７１の最終更新時刻１７１ｅを更新する。また、撮像装置２００の制御は、例えば、追跡目標の移動にあわせて撮像装置２００の撮像範囲を変化させるために行なう。
【００４９】
追跡目標の追跡中に、重なり検出部１４１によって、他の物体が重なって遮蔽され、追跡対象が検出できなくなった状態が検出されると（Ｓ１０６：Ｙｅｓ）、単独遮蔽物追跡モードに移行する。追跡目標が遮蔽されていない場合（Ｓ１０６：Ｎｏ）は、追跡を終了するまで（Ｓ１０７：Ｙｅｓ）、追跡目標追跡処理（Ｓ１０３）以降の処理を繰り返す。
【００５０】
次に、単独遮蔽物追跡モードにおける目標追跡装置１００の動作について図５のフローチャートを参照して説明する。
【００５１】
重なり検出部１４１によって、他の物体が重なって遮蔽され、追跡対象が検出できなくなった状態が検出されると（図３：Ｓ１０６：Ｙｅｓ）、単独遮蔽物追跡モードに移行し、その遮蔽物に関する遮蔽物情報１７２を生成する（図４：Ｓ２０１）。
【００５２】
そして、遮蔽される前に得られた追跡目標のサイズ、動きベクトルと、遮蔽物のサイズ、動きベクトルから、遮蔽物が追跡目標を遮蔽する時間を推定して、遮蔽物情報１７２に記録する（Ｓ２０２）。ただし、追跡目標と遮蔽物の動きベクトルの差から簡易的に遮蔽時間を推定するようにしてもよい。
【００５３】
次いで、遮蔽物を追跡対象に設定し（Ｓ２０３）、遮蔽物情報１７２に記録された情報に基づいて、撮像装置２００から取り込んだ画像内で追跡処理部１５０が遮蔽物の追跡処理を行なう（Ｓ２０４）。追跡処理の結果に応じて必要であれば、遮蔽物情報１７２を更新し（Ｓ２０５）、撮像装置２００の制御を行なう（Ｓ２０６）。
【００５４】
遮蔽物の追跡中に、重なり検出部１４１が、追跡目標の出現を検出すると（Ｓ２０７：Ｙｅｓ）、遮蔽物情報１７２を廃棄し（Ｓ２０８）、追跡目標を追跡対象に設定し（Ｓ２０９）、追跡目標追跡モードに移行して追跡目標追跡処理（図４：Ｓ１０３）を行なう。
【００５５】
また、遮蔽物の追跡中に、重なり検出部１４１が、追跡対象となっている遮蔽物が他の物体と少なくとも一部が重なった状態を検出すると（Ｓ２１０：Ｙｅｓ）、遮蔽可能性判定部１４２が、他の物体および追跡目標のサイズと形状とに基づいて、その物体が追跡目標を遮蔽可能であるかどうかを判定し、追跡目標を遮蔽可能と判定した場合（Ｓ２１１：Ｙｅｓ）には、重複遮蔽物追跡モードに移行する。
【００５６】
それ以外の場合、すなわち、追跡対象となっている遮蔽物に他の物体が重なった状態が検出されない場合（Ｓ２１０：Ｎｏ）、および、他の物体が重なった状態が検出されたが（Ｓ２１０：Ｙｅｓ）、その物体が追跡目標を遮蔽不可能な場合（Ｓ２１１：Ｎｏ）は、遮蔽物追跡処理（Ｓ２０４）以降の処理を繰り返す。
【００５７】
次に、重複遮蔽物追跡モードにおける目標追跡装置１００の動作について図６〜図９のフローチャートを参照して説明する。
【００５８】
遮蔽物の追跡中に、追跡対象となっている遮蔽物が他の物体と少なくとも一部が重なった状態が検出され（図５：Ｓ２１０：Ｙｅｓ）、その物体が追跡目標を遮蔽可能であると判定された場合（Ｓ２１１：Ｙｅｓ）には、重複遮蔽物追跡モードに移行し、新たな遮蔽物に関する遮蔽物情報１７２を生成する（図６：Ｓ３０１）。
【００５９】
そして、追跡目標の遮蔽前に得られたサイズ、動きベクトルと、新たな遮蔽物のサイズ、動きベクトルから、新たな遮蔽物が追跡目標を遮蔽する時間を推定して、遮蔽物情報１７２に記録する（Ｓ３０２）。ただし、追跡目標と新たな遮蔽物の動きベクトルの差から簡易的に遮蔽時間を推定するようにしてもよい。
【００６０】
画面上で認識可能な遮蔽物が複数の場合（Ｓ３０３：Ｙｅｓ）、すなわち、新たな遮蔽物と、それまでの遮蔽物とが重なっているが、どちらも画面上で視認できる場合には、それぞれの遮蔽物の優先度を判定する（Ｓ３０５）。優先度の判定は、それぞれの遮蔽物のその時点における推定遮蔽時間の残り時間を算出し、残り時間が長い方の遮蔽物の優先度を高く算定する。そして、優先度の高い遮蔽物を追跡対象として設定し（Ｓ３０６）、遮蔽物情報１７２の追跡対象フラグ１７２ｇを更新する。
【００６１】
一方、画面上で認識可能な遮蔽物が１つだけの場合（Ｓ３０３：Ｎｏ）、すなわち、新たな遮蔽物が、それまでの遮蔽物を完全に遮蔽した場合、あるいは、新たな遮蔽物が、それまでの遮蔽物によって完全に遮蔽された場合は、認識可能な遮蔽物を追跡対象に設定する（Ｓ３０４）。この場合、後述する処理（Ｓ４０５）で説明するように、完全に遮蔽された遮蔽物が再出現した場合に、優先度の判定を行なう。
【００６２】
次いで、追跡対象として設定された遮蔽物の遮蔽物情報１７２に記録された情報に基づいて、撮像装置２００から取り込んだ画像内で追跡処理部１５０が遮蔽物の追跡処理を行なう（Ｓ３０７）。
【００６３】
遮蔽物の追跡中に、遮蔽物状態監視部１４４により、遮蔽物が向きを変えたりして、そのサイズあるいは形状が変化した結果、追跡目標を遮蔽できなくなったことが検出されると（Ｓ３０８：Ｙｅｓ）、その遮蔽物を追跡対象候補から除外するための処理を行なう。
【００６４】
この処理について図８のフローチャートを参照して説明する。追跡目標を遮蔽できないサイズあるいは形状に変化した遮蔽物を追跡対象候補から除外するために、まず、遮蔽物の遮蔽物情報１７２を廃棄する（図８：Ｓ５０１）。
【００６５】
この結果、追跡目標を遮蔽する遮蔽物が１つになった場合（Ｓ５０２：Ｙｅｓ）には、その単独遮蔽物を新たな追跡対象に設定する（Ｓ５０３）。この場合、新たに追跡対象として設定された遮蔽物はそれまでの遮蔽物の近くに存在しているとは限らないため、新たに追跡対象として設定された遮蔽物の遮蔽物情報１７２を参照して、最終更新時刻１７２ｆにおける位置１７２ｅ、動きベクトル１７２ｄに基づいて、遮蔽物の現在位置を推定する（Ｓ５０４）。
【００６６】
そして、推定された現在位置が画像内に含まれるように撮像装置制御部１６０が撮像装置のパン、チルト、ズーム機能を制御した後（Ｓ５０５）、単独遮蔽物追跡モードに移行して、遮蔽物追跡処理（図５：Ｓ２０４）以降の処理を行なう。
【００６７】
一方、追跡目標を遮蔽する遮蔽物が複数残っている場合（Ｓ５０２：Ｎｏ）は、残っている遮蔽物について、その時点における推定遮蔽時間の残り時間を算出することで優先度を判定し（Ｓ５０６）、優先度の高い遮蔽物を追跡対象として設定する（Ｓ５０７）。
【００６８】
この場合も、新たに追跡対象として設定された遮蔽物はそれまでの遮蔽物の近くに存在しているとは限らないため、新たに追跡対象として設定された遮蔽物の遮蔽物情報１７２を参照して、最終更新時刻１７２ｆにおける位置１７２ｅ、動きベクトル１７２ｄに基づいて、遮蔽物の現在位置を推定する（Ｓ５０８）。
【００６９】
そして、推定された現在位置が画像内に含まれるように撮像装置制御部１６０が撮像装置のパン、チルト、ズーム機能を制御して（Ｓ５０９）、重複遮蔽物追跡モードのまま。新たに追跡対象として設定された遮蔽物の追跡処理（図６：Ｓ３０７）を継続する。
【００７０】
図６のフローチャートの説明に戻って、遮蔽物の追跡中に、遮蔽物が追跡目標を遮蔽可能な状態が継続している場合（Ｓ３０８：Ｎｏ）は、追跡処理の結果に応じて必要であれば、遮蔽物情報１７２を更新し（Ｓ３０９）、撮像装置２００の制御を行なう（Ｓ３１０）。
【００７１】
図７のフローチャートに移って、重複遮蔽物追跡モードにおける遮蔽物追跡中に、遮蔽時間監視部１４５が、遮蔽物情報１７２に記録されている複数の遮蔽物のうち、推定遮蔽時間の残り時間がなくなった遮蔽物を検出すると（Ｓ４０１：Ｙｅｓ）、その遮蔽物の遮蔽状態が解除したものと見なして、その遮蔽物の遮蔽物情報１７２を廃棄するための処理を行なう。
【００７２】
この処理について、図９のフローチャートを参照して説明する。まず、推定遮蔽時間の残り時間がなくなった遮蔽物の遮蔽物情報１７２を廃棄する（Ｓ６０１）。遮蔽物情報１７２が廃棄された結果、遮蔽物が単独になった場合（Ｓ６０２：Ｙｅｓ）は、単独の遮蔽物を追跡対象として設定する（Ｓ６０３）。
【００７３】
この場合、新たに追跡対象として設定された遮蔽物はそれまでの遮蔽物の近くに存在しているとは限らないため、新たに追跡対象として設定された遮蔽物の遮蔽物情報１７２を参照して、最終更新時刻１７２ｆにおける位置１７２ｅ、動きベクトル１７２ｄに基づいて、遮蔽物の現在位置を推定する（Ｓ６０４）。
【００７４】
そして、推定された現在位置が画像内に含まれるように撮像装置制御部１６０が撮像装置のパン、チルト、ズーム機能を制御した後（Ｓ６０５）、単独遮蔽物追跡モードに移行して、遮蔽物追跡処理（図５：Ｓ２０４）以降の処理を行なう。
【００７５】
遮蔽物情報１７２が廃棄された結果、複数の遮蔽物が残っている場合（Ｓ６０２：Ｎｏ）は、廃棄された遮蔽物情報１７２の遮蔽物が追跡対象物であったかどうかを判定する（Ｓ６０６）。廃棄された遮蔽物情報１７２の遮蔽物が追跡対象物でなければ（Ｓ６０６：Ｎｏ）、追跡対象の変更は行なわず、重複遮蔽物追跡モードにおける遮蔽物の追跡処理（図６：Ｓ３０７）を継続する。
【００７６】
一方、廃棄された遮蔽物情報１７２の遮蔽物が追跡対象物であった場合（Ｓ６０６：Ｙｅｓ）は、残っている遮蔽物について、その時点における推定遮蔽時間の残り時間を算出することで優先度を判定し（Ｓ６０７）、優先度の高い遮蔽物を追跡対象として設定する（Ｓ６０８）。
【００７７】
この場合も、新たに追跡対象として設定された遮蔽物はそれまでの遮蔽物の近くに存在しているとは限らないため、新たに追跡対象として設定された遮蔽物の遮蔽物情報１７２を参照して、最終更新時刻１７２ｆにおける位置１７２ｅ、動きベクトル１７２ｄに基づいて、遮蔽物の現在位置を推定する（Ｓ６０９）。
【００７８】
そして、推定された現在位置が画像内に含まれるように撮像装置制御部１６０が撮像装置のパン、チルト、ズーム機能を制御して（Ｓ６１０）、新たに追跡対象として設定された遮蔽物の追跡処理（図６：Ｓ３０７）を継続する。
【００７９】
図７のフローチャートの説明に戻って、重複遮蔽物追跡モードにおける遮蔽物追跡中に、重なり検出部１４１が、追跡目標の出現を検出すると（Ｓ４０２：Ｙｅｓ）、すべての遮蔽物情報１７２を廃棄し（Ｓ４０３）、追跡目標を追跡対象に設定し（Ｓ４０４）、追跡目標追跡モードに移行して追跡目標追跡処理（図４：Ｓ１０３）を行なう。
【００８０】
また、重複遮蔽物追跡モードにおける遮蔽物追跡中に、重なり検出部１４１が、他の遮蔽物が再出現した状態を検出すると（Ｓ４０５：Ｙｅｓ）、それぞれの遮蔽物の優先度を判定する（Ｓ４０６）。優先度の判定は、それぞれの遮蔽物のその時点における推定遮蔽時間の残り時間を算出し、残り時間が長い方の遮蔽物の優先度を高く算定する。そして、優先度の高い遮蔽物を追跡対象として設定し（Ｓ４０７）、遮蔽物情報１７２の追跡対象フラグ１７２ｇを更新して、重複遮蔽物追跡モードにおける遮蔽物追跡処理（図６：Ｓ３０７）以降の処理を繰り返す。
【００８１】
また、重複遮蔽物追跡モードにおける遮蔽物追跡中に、重なり検出部１４１が、追跡対象となっている遮蔽物が他の物体と少なくとも一部が重なった状態を検出すると（Ｓ４０８：Ｙｅｓ）、遮蔽可能性判定部１４２が、他の物体および追跡目標のサイズと形状とに基づいて、その物体が追跡目標を遮蔽可能であるかどうかを判定し、追跡目標を遮蔽可能と判定した場合（Ｓ４０９：Ｙｅｓ）には、新たな遮蔽物が加わったものとして、重複遮蔽物追跡モードを繰り返す（図６：Ｓ３０１）。
【００８２】
それ以外の場合、追跡対象となっている遮蔽物に他の物体が重なった状態が検出されない場合（Ｓ４０８：Ｎｏ）、および、他の物体と少なくとも一部が重なった状態が検出されたが（Ｓ４０８：Ｙｅｓ）、その物体が追跡目標を遮蔽不可能な場合（Ｓ４０９：Ｎｏ）は、重複遮蔽物追跡モードにおける遮蔽物追跡処理（図６：Ｓ３０７）以降の処理を繰り返す。
【００８３】
以上説明したように、本発明の第１実施例によれば、追跡対象となっている遮蔽物に他の遮蔽物が重なった場合、推定遮蔽時間の残り時間が長い遮蔽物を優先的に追跡対象とするため、追跡対象でない遮蔽物に追跡目標が遮蔽されていた場合であっても、追跡目標を再検出する可能性を高めることができる。したがって、追跡目標に対する追跡精度が高まることになる。
（第２実施例）
【００８４】
次に、本発明の第２実施例について説明する。第１実施例では、追跡対象となっている遮蔽物に他の物体が重なった場合に、他の物体および追跡目標のサイズと形状とに基づいて他の物体が追跡目標を完全に遮蔽できると判定した場合に、他の物体を遮蔽物として取り扱うようにしていた。
【００８５】
第２実施例では、さらに、追跡目標と他の物体との撮像装置に対する前後関係に基づいて、他の物体を遮蔽物として取り扱うかどうかの判定を行なう。具体的には、追跡目標と他の物体の撮像装置からの距離をそれぞれ判断し、他の物体が追跡目標を遮蔽不可能な位置、すなわち、追跡目標よりも遠い位置（後）にある場合には、遮蔽物として取り扱わないようにする。これにより、遮蔽する可能性のない物体を遮蔽物として取り扱うことによって追跡目標に対する追跡精度が低下することを防ぐとともに、目標追跡装置の演算負荷を軽減することができる。
【００８６】
図１０は、本発明の第２実施例に係る目標追跡システムの構成を示すブロック図である。第１実施例と同じブロックについては同じ符号を付して、説明を省略あるいは簡略化する。本図に示すように目標追跡システム２０は、距離情報取得撮像装置２１０と目標追跡装置１０１とを備えて構成される。
【００８７】
距離情報取得撮像装置２１０は、例えば、距離測定機能付き監視カメラ等を用いて構成することができ、動画像を撮像し、撮像画像を目標追跡装置１０１に連続的に出力するとともに、画像内の撮像対象までの距離情報を目標追跡装置１０１に出力する。
【００８８】
ここで、距離情報の取得方法は、例えば、レーザ照射、超音波出力、複眼方式等の既存の方法を用いることができる。距離情報取得撮像装置２１０は、目標追跡装置１０１からの指示に基づいて、追跡対象が画像内に収まるようにパン、チルト、ズームを行なうことができる。
【００８９】
目標追跡装置１０１は、距離情報・画像入力部３１０、表示部１２０、追跡目標指定受付部３３０、追跡対象設定部３４０、追跡処理部３５０、撮像装置制御部１６０、追跡情報記憶部３７０を備えている。
【００９０】
距離情報・画像入力部３１０は、距離情報取得撮像装置２１０から画像を連続的に入力し、必要に応じてデコード等の処理を行なうとともに、距離情報取得撮像装置２１０から距離情報を入力する。表示部１２０は、画像入力部１１０が入力した画像を、外部あるいは目標追跡装置内蔵の表示装置（不図示）に動画像として表示する。
【００９１】
追跡目標指定受付部３３０は、ユーザから追跡目標の指定を受け付ける。追跡目標指定受付部３３０は、ユーザから追跡目標の指定を受け付けると、追跡目標情報３７１を作成し、記憶領域である追跡情報記憶部３７０に記録する。
【００９２】
図１１は、追跡目標情報３７１のデータ構造例を示す図である。本図に示すように、追跡目標情報３７１は、形状（色、輪郭）３７１ａ、サイズ３７１ｂ、動きベクトル３７１ｃ、位置３７１ｄ、最終更新時刻３７１ｅ、遮蔽状態３７１ｆ、距離３７１ｇを追跡目標に関する情報として格納する。実施例１との相違点は、距離３７１ｇを含んでいることである。なお、形状（色、輪郭）１７１ａ、サイズ１７１ｂ、位置１７１ｄ、距離３７１ｇについては、最新情報のみならず、履歴情報を保持することが望ましい。
【００９３】
追跡目標の形状（色、輪郭）１７１ａ、サイズ１７１ｂ、位置１７１ｄは、追跡目標の指定を受け付けた際に、画像から取得して記録する。また、距離３７１ｇは、距離情報・画像入力部３１０が入力した距離情報に基づいて記録する。
【００９４】
目標追跡装置１０１の追跡処理部３５０は、これらの情報を元に連続して取り込まれる画像から追跡目標を検出し、追跡目標の追跡を行なう。そして、形状（色、輪郭）３７１ａ、サイズ３７１ｂ、位置３７１ｄ、距離３７１ｇについて随時更新を行なう。
【００９５】
図１０のブロック図の説明に戻って、追跡対象設定部３４０は、重なり検出部１４１、遮蔽可能性判定部３４２、優先度決定部１４３、遮蔽物状態監視部１４４、遮蔽時間監視部１４５を備えている。追跡対象設定部３４０は、これらの機能部を制御することにより、追跡対象の設定処理等を行なう。
【００９６】
重なり検出部１４１は、画像入力部１１０が入力した画像内において、追跡目標に他の物体が重なって追跡対象が検出できなくなった状態、追跡対象となっている遮蔽物に他の物体が重なった状態、遮蔽されていた追跡目標が再出現した状態、遮蔽されていた他の遮蔽物が再出現した状態を検出する。
【００９７】
追跡目標に他の物体が重なって追跡対象が検出できなくなった状態が検出されると、重なり検出部１４１は、他の物体を遮蔽物として取り扱い、遮蔽物情報３７２を作成し、追跡情報記憶部３７０に記録する。
【００９８】
図１２は、遮蔽物情報３７２のデータ構造例を示す図である。本図に示すように、遮蔽物情報３７２は、遮蔽物ＩＤ３７２ａ、形状（色、輪郭）３７２ｂ、サイズ３７２ｃ、動きベクトル３７２ｄ、位置３７２ｅ、最終更新時刻３７２ｆ、追跡対象フラグ３７２ｇ、推定遮蔽時間３７２ｈ、遮蔽経過時間３７２ｉ、距離３７２ｊを遮蔽物に関する情報として格納する。実施例１との相違点は、距離３７２ｊを含んでいることである。なお、形状（色、輪郭）３７２ｂ、サイズ３７２ｃ、位置３７２ｅ、距離３７２ｊについては、最新情報のみならず、履歴情報を保持することが望ましい。
【００９９】
図１０のブロック図の説明に戻って、遮蔽可能性判定部３４２は、追跡対象となっている遮蔽物が他の物体と少なくとも一部が重なった場合に、他の物体および追跡目標のサイズと形状とに基づいて他の物体が追跡目標を完全に遮蔽できるかどうか、他の物体が追跡目標を遮蔽できる距離にあるかどうかを判定する。この結果、追跡目標を完全に遮蔽できるサイズと形状を有していないと判定した場合、あるいは、他の物体が追跡目標を遮蔽できる距離にないと判定したには、他の物体は，遮蔽物として取り扱わず、追跡対象から除外する。
【０１００】
ここで、他の物体が追跡目標を遮蔽できる距離にあるかどうかを判定は、追跡目標の距離情報取得撮像装置２１０からの距離と他の物体の距離情報取得撮像装置２１０からの距離とを比較することで行なう。すなわち、追跡目標の距離情報取得撮像装置２１０からの距離が他の物体の距離情報取得撮像装置２１０からの距離よりも遠い場合に、他の物体が追跡目標を遮蔽できる位置にあると判定する。
【０１０１】
一方、他の物体が追跡目標を遮蔽できる距離にあり、追跡目標を完全に遮蔽できるサイズと形状を有していると判定した場合には、他の物体を遮蔽物として取り扱い、遮蔽物情報３７２を作成して追跡情報記憶部３７０に記録する。
【０１０２】
次に、第２実施例の特徴的な動作について第１実施例と対比させて説明する。第１実施例では、図５のフローチャートに示したように、遮蔽物の追跡中に、重なり検出部１４１が、追跡対象となっている遮蔽物が他の物体と少なくとも一部が重なった状態を検出すると（Ｓ２１０：Ｙｅｓ）、遮蔽可能性判定部１４２が、その物体が追跡目標を遮蔽可能なサイズと形状であるかどうかを判定し、追跡目標を遮蔽可能と判定した場合（Ｓ２１１：Ｙｅｓ）に、重複遮蔽物追跡モードに移行した。
【０１０３】
これに対し、第２実施例では、遮蔽物の追跡中に、重なり検出部１４１が、追跡対象となっている遮蔽物が他の物体と少なくとも一部が重なった状態を検出すると、遮蔽可能性判定部３４２が、サイズと形状とに基づいてその物体が追跡目標を遮蔽可能であるかどうか、および、他の物体が追跡目標を遮蔽できる距離にあるかどうかを判定し、追跡目標を遮蔽可能と判定した場合に、重複遮蔽物追跡モードに移行する。その他の動作については第１実施例と同様である。
【０１０４】
このように、第２実施例では、追跡目標を遮蔽不可能な距離にある物体を追跡対象から除外するようにしている。これにより、追跡目標に対する追跡精度が高まるという第１実施例の効果に加え、遮蔽する可能性のない物体を遮蔽物として取り扱うことによって追跡目標に対する追跡精度が低下することを防ぐとともに、目標追跡装置１０１の演算負荷を軽減することができる。
【０１０５】
なお、上記の例では、遮蔽物の追跡中に、重なり検出部１４１が、追跡対象となっている遮蔽物が他の物体と少なくとも一部が重なった状態を検出した場合に、追跡目標と他の物体との前後関係を判断するようにしていたが、遮蔽物の追跡中にも連続的、あるいは断続的に遮蔽物と追跡目標との前後関係を判定して、遮蔽物が追跡目標を遮蔽できない距離、すなわち、追跡目標よりも後に移動したと判定された場合に、その遮蔽物を追跡対象から除外するようにしてもよい。この場合のその後の処理は、第１実施例において、追跡対象の遮蔽物のサイズ、形状が変化して、追跡対象を遮蔽できなくなったと判定された場合（図６：Ｓ３０８：Ｙｅｓ）と同様とすることができる。
（第３実施例）
【０１０６】
次に、本発明の第３実施例について説明する。第１実施例では、撮像装置制御部１６０が、追跡対象の移動や、遮蔽等による追跡対象の変更に対応して、追跡対象が画像の中央部に位置し、かつ入力画像全体の領域に対して追跡対象の占有領域が所定の割合となるように、撮像装置２００を制御してパン、チルト、ズームを行なわせていた。このため、遮蔽物に遮蔽されていた追跡目標が再出現したとき、画面上における大きさが遮蔽前と異なり、追跡目標の再検出の精度が低下する状況が起こり得る。
【０１０７】
例えば、追跡目標に比べて遮蔽物が極めて大きいとすると、追跡対象となった遮蔽物の大きさに合わせて画角が広くなっている状態で追跡目標が再出現した場合、画面上での追跡目標の大きさは、遮蔽前よりも小さくなっていることになる。このため、遮蔽前の形状やサイズを基準とした追跡目標の検出精度が低下するおそれがある。
【０１０８】
そこで、第３実施例では、追跡目標と遮蔽物の大きさの比率に基づいて、追跡目標の検出基準となるサイズ情報を補正することにより、追跡目標の検出精度を向上させる目標追跡装置について説明する。
【０１０９】
図１３は、本発明の第３実施例に係る目標追跡システムの構成を示すブロック図である。第１実施例と同じブロックについては同じ符号を付して、説明を省略あるいは簡略化する。本図に示すように目標追跡システム３０は、撮像装置２００と目標追跡装置１０２とを備えて構成される。
【０１１０】
目標追跡装置１０２は、画像入力部１１０、表示部１２０、追跡目標指定受付部１３０、追跡対象設定部４４０、追跡処理部１５０、撮像装置制御部１６０、追跡情報記憶部４７０を備えている。
【０１１１】
追跡対象設定部４４０は、重なり検出部４４１、遮蔽可能性判定部４４２、優先度決定部１４３、遮蔽物状態監視部１４４、遮蔽時間監視部１４５を備えている。
【０１１２】
重なり検出部４４１は、画像入力部１１０が入力した画像内において、追跡目標全体に他の物体が重なって遮蔽され、追跡対象が検出できなくなった状態、追跡対象となっている遮蔽物が他の物体と少なくとも一部が重なった状態、遮蔽されていた追跡目標が再出現した状態を検出する。
【０１１３】
追跡目標に他の物体が重なって遮蔽され、追跡対象が検出できなくなった状態が検出されると、重なり検出部４４１は、他の物体を遮蔽物として取り扱い、遮蔽物情報４７２を作成し、追跡情報記憶部４７０に記録する。
【０１１４】
図１４は、遮蔽物情報４７２のデータ構造例を示す図である。本図に示すように、遮蔽物情報４７２は、遮蔽物ＩＤ４７２ａ、形状（色、輪郭）４７２ｂ、サイズ４７２ｃ、動きベクトル４７２ｄ、位置４７２ｅ、最終更新時刻４７２ｆ、追跡対象フラグ４７２ｇ、推定遮蔽時間４７２ｈ、遮蔽経過時間４７２ｉ、追跡目標との大きさ比４７２ｊを遮蔽物に関する情報として格納する。実施例１との相違点は、追跡目標との大きさ比４７２ｊを含んでいることである。
【０１１５】
追跡目標との大きさ比４７２ｊは、追跡目標と遮蔽物の大きさの比を表わし、遮蔽前の追跡目標のサイズと同じ画像における遮蔽物のサイズとの比から算出することができる。追跡目標を遮蔽している遮蔽物に重なった遮蔽物については、先の遮蔽物とのサイズ比から間接的に追跡目標とのサイズ比を算出することができる。追跡目標との大きさ比４７２ｊは、重なり検出部４４１が遮蔽物を検出した際、遮蔽可能性判定部４４２が遮蔽物に重なった他の物体を遮蔽物と判定した際に算出される。具体的には、図５における遮蔽物情報生成処理（Ｓ２０１）、図６における遮蔽物情報生成処理（Ｓ３０１）において追跡目標との大きさ比４７２ｊを算出して記録する。
【０１１６】
図１３のブロック図の説明に戻って、重なり検出部４４１は、追跡目標が遮蔽物に遮蔽されていて、遮蔽物が追跡対象となっている場合に、追跡対象の遮蔽物についての遮蔽物情報４７２のサイズ４７２ｃと追跡目標との大きさ比４７２ｊを参照して、追跡目標情報３７１のサイズ３７１ｂを更新する。すなわち、追跡対象の遮蔽物のサイズ４７２ｃと、追跡目標との大きさ比４７２ｊとから、追跡目標の現時点の画面上のサイズを算出して追跡目標情報３７１のサイズ３７１ｂを更新する。具体的には、図５における遮蔽物情報更新処理（Ｓ２０５）、図６における遮蔽物情報更新処理（Ｓ３０９）において、追跡目標情報３７１のサイズ３７１ｂを併せて更新する。
【０１１７】
そして、図５における追跡目標検出処理（Ｓ２０７）および図６における追跡目標検出処理（Ｓ４０２）において、更新されたサイズ３７１ｂを基準として、遮蔽されている追跡目標の再出現を検出する。これにより、撮像装置２００のズーム等によって追跡目標の画面上の大きさが変化した場合であっても、追跡目標の検出精度を向上させることができる。
【符号の説明】
【０１１８】
１０…目標追跡システム、２０…目標追跡システム、３０…目標追跡システム、１００…目標追跡装置、１０１…目標追跡装置、１０２…目標追跡装置、１１０…画像入力部、１２０…表示部、１３０…追跡目標指定受付部、１４０…追跡対象設定部、１４１…重なり検出部、１４２…遮蔽可能性判定部、１４３…優先度決定部、１４４…遮蔽物状態監視部、１４５…遮蔽時間監視部、１５０…追跡処理部、１６０…撮像装置制御部、１７０…追跡情報記憶部、１７１…追跡目標情報、１７２…遮蔽物情報、２００…撮像装置、２１０…距離情報取得撮像装置、３１０…距離情報・画像入力部、３３０…追跡目標指定受付部、３４０…追跡対象設定部、３４２…遮蔽可能性判定部、３５０…追跡処理部、３７０…追跡情報記憶部、３７１…追跡目標情報、３７２…遮蔽物情報、４４０…追跡対象設定部、４４１…重なり検出部、４４２…遮蔽可能性判定部、４７０…追跡情報記憶部、４７２…遮蔽物情報
【技術分野】
【０００１】
本発明は、画像内の追跡目標を追跡する目標追跡装置に係り、特に、追跡目標が遮蔽物に遮蔽された後における追跡目標の追跡精度を高める技術に関する。
【背景技術】
【０００２】
撮像装置等から連続して画像を取り込んで、画像内で移動する物体を検出して追跡する手法が数多く提案されている。一般的な手法では、追跡目標として指定された物体の輪郭、色、サイズ、動き情報等を基準に、画像内で追跡目標を検出して追跡を行なうので、追跡目標を見失わないためには、追跡目標が他の物体と重なって遮蔽された場合の対処が重要である。
【０００３】
追跡目標が他の物体と重なって遮蔽された場合の対処としては、追跡目標について複数の特徴点を設定して追跡することで、追跡目標が部分的に遮蔽されても追跡を継続可能としたり、追跡目標が完全に遮蔽された場合でも追跡目標の動きベクトルを利用して移動位置を予測することで追跡を継続することが従来から行なわれている。
【０００４】
また、特許文献１では、本来の追跡目標を遮蔽した物体を追跡しているときに、さらに新たな遮蔽が発生した場合、先の遮蔽物から新たな遮蔽物に追跡対象を切替えて追跡目標の再検出を行なうことが提案されている。そして、追跡目標より先に、先の遮蔽物が検出されると、新たな遮蔽物を追跡対象から除外し、先の遮蔽物を追跡しながら追跡目標の再検出を行なうようにしている。
【０００５】
いずれの場合も、遮蔽されていた本来の追跡目標が画面内で再検出された場合には、追跡対象を遮蔽物から追跡目標に切替えて追跡目標の追跡を再開する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２７２４３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、一般に目標追跡装置では、追跡処理を行なっている間、追跡対象が画像からはみ出して検出できなくなってしまうことを防ぐために、追跡対象が画像の中央部に位置し、かつ入力画像全体の領域に対して追跡対象の占有領域が所定の割合となるように、撮像装置を制御してパン、チルト、ズームを行なわせる。ここで、パンは、撮像範囲の水平方向の動き、チルトは撮像範囲の上下の動き、ズームは撮像倍率の変更を意味する。
【０００８】
したがって、遮蔽物が追跡対象になっている間は、遮蔽物が適正に画像に収まるように撮像装置が制御されることになる。例えば、遮蔽物が追跡目標と比べて大きい場合には、より広い範囲が画面に収まるようにズームが調整される。
【０００９】
この状態で、追跡目標が再出現すると、追跡目標は、追跡対象となっていたときよりも小さな大きさで画像に現れることになる。このため、遮蔽前の大きさの情報を用いて追跡目標の再出現の検出を行なっていると、追跡目標の検出に失敗してしまうおそれがある。
【００１０】
そこで、本発明は、目標追跡装置において、追跡目標が遮蔽物に遮蔽され、遮蔽物が追跡対象となっている場合における追跡目標の検出精度を高めることを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、本発明の第１の態様である目標追跡装置は、追跡目標の指定を受け付ける追跡目標指定受付部と、追跡対象を設定する追跡対象設定部と、撮像装置から連続して入力される入力画像内において、前記追跡対象設定部によって設定された追跡対象を、サイズ情報を含む検出情報を基準に検出して追跡する追跡処理部とを備え、前記追跡対象設定部は、入力画像内において前記追跡目標を認識した場合は、前記追跡目標を追跡対象として設定し、入力画像内において前記追跡目標が遮蔽物に遮蔽された場合は、前記遮蔽物を追跡対象として設定するとともに、前記遮蔽物と前記追跡目標とのサイズ比を取得し、追跡対象となっている遮蔽物の入力画像内でのサイズ変動と取得した前記サイズ比とに基づいて前記追跡目標の検出情報に含まれるサイズ情報を更新して、前記追跡目標の再出現を検出することを特徴とする。
【００１２】
ここで、追跡対象が入力画像の中央部に位置し、かつ入力画像全体の領域に対して追跡対象の占有領域が所定の割合となるように、前記撮像装置の撮像範囲を制御する撮像装置制御部をさらに備えることができる。
【００１３】
また、前記追跡対象設定部は、追跡対象として設定されている遮蔽物が、入力画像内において他の遮蔽物と少なくとも一部が重なった場合は、それぞれの遮蔽物の動きベクトルと前記追跡目標の動きベクトルに基づいて算定される優先度の高い遮蔽物を追跡対象として設定するとともに、前記他の遮蔽物が追跡対象として新たに設定された場合は、前記他の遮蔽物と追跡対象として設定されていた遮蔽物とのサイズ比に基づいて、前記他の遮蔽物と前記追跡目標とのサイズ比を算出し、新たに追跡対象として設定された遮蔽物の入力画像内でのサイズ変動と算出された前記サイズ比とに基づいて前記追跡目標の検出情報に含まれるサイズ情報を更新して、前記追跡目標の再出現を検出することができる。
【００１４】
上記課題を解決するため、本発明の第２の態様である目標追跡方法は、目標追跡装置における目標追跡方法であって、追跡目標の指定を受け付ける追跡目標指定受付ステップと、追跡対象を設定する追跡対象設定ステップと、撮像装置から連続して入力される入力画像内において、前記追跡対象設定部によって設定された追跡対象を、サイズ情報を含む検出情報を基準に検出して追跡する追跡処理ステップとを有し、前記追跡対象設定ステップは、入力画像内において前記追跡目標を認識した場合は、前記追跡目標を追跡対象として設定し、入力画像内において前記追跡目標が遮蔽物に遮蔽された場合は、前記遮蔽物を追跡対象として設定するとともに、前記遮蔽物と前記追跡目標とのサイズ比を取得し、追跡対象となっている遮蔽物の入力画像内でのサイズ変動と前記サイズ比とに基づいて前記追跡目標の検出情報に含まれるサイズ情報を更新して、前記追跡目標の再出現を検出することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、目標追跡装置において、追跡目標が遮蔽物に遮蔽され、遮蔽物が追跡対象となっている場合における追跡目標の検出精度を高めることができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１実施例に係る目標追跡システムの構成を示すブロック図である。
【図２】第１実施例における追跡目標情報のデータ構造例を示す図である。
【図３】第１実施例における遮蔽物情報のデータ構造例を示す図である。
【図４】追跡目標追跡モードの動作を説明するフローチャートである。
【図５】単独遮蔽物モードの動作を説明するフローチャートである。
【図６】重複遮蔽物モードの動作を説明するフローチャートである。
【図７】重複遮蔽物モードの動作を説明するフローチャートである。
【図８】重複遮蔽物モードの動作を説明するフローチャートである。
【図９】重複遮蔽物モードの動作を説明するフローチャートである。
【図１０】本発明の第２実施例に係る目標追跡システムの構成を示すブロック図である。
【図１１】第２実施例における追跡目標情報のデータ構造例を示す図である。
【図１２】遮蔽物情報のデータ構造例を示す図である。
【図１３】本発明の第３実施例に係る目標追跡システムの構成を示すブロック図である。
【図１４】第３実施例における遮蔽物情報のデータ構造例を示す図である。
【発明を実施するための形態】
【００１７】
（第１実施例）
本発明の実施例について図面を参照して詳細に説明する。図１は、本発明の第１実施例に係る目標追跡システムの構成を示すブロック図である。本図に示すように目標追跡システム１０は、撮像装置２００と目標追跡装置１００とを備えて構成される。
【００１８】
撮像装置２００は、例えば、監視カメラ等を用いて構成することができ、動画像を撮像し、撮像画像を目標追跡装置１００に連続的に出力する。撮像装置２００は、目標追跡装置１００からの指示に基づいて、追跡対象が画像内に収まるようにパン、チルト、ズームを行なうことができる。
【００１９】
目標追跡装置１００は、画像入力部１１０、表示部１２０、追跡目標指定受付部１３０、追跡対象設定部１４０、追跡処理部１５０、撮像装置制御部１６０、追跡情報記憶部１７０を備えており、撮像装置２００から連続的に取り込む画像において追跡対象を追跡する処理を行なう。
【００２０】
ここで、追跡対象は、その時点で追跡の対象となっている物体を意味し、ユーザによって指定された追跡目標と、追跡目標を遮蔽した遮蔽物および遮蔽物に重なった他の遮蔽物のいずれかが設定される。具体的には、本来の追跡対象である追跡目標が画像内に検出されている場合は、常に追跡目標が追跡対象として設定され、追跡目標が１または複数の遮蔽物によって遮蔽されて画像内で検出できない場合は、いずれかの遮蔽物が追跡対象として設定される。
【００２１】
目標追跡装置１００は、ＣＰＵ、メモリ、入出力インタフェース、通信装置、入力装置等を備えた汎用的な情報処理装置を用いて構成することができる。また、監視システム等の専用装置として構成してもよい。
【００２２】
画像入力部１１０は、撮像装置２００から画像を連続的に入力し、必要に応じてデコード等の処理を行なう。表示部１２０は、画像入力部１１０が入力した画像を、外部あるいは目標追跡装置内蔵の表示装置（不図示）に動画像として表示する。
【００２３】
追跡処理部１５０は、追跡対象設定部１４０によって追跡対象として設定された物体の追跡処理を行なう。追跡処理については種々の手法が提案されているが、本発明では追跡処理の手法は特に限定されない。本実施形態では、便宜的に基本的な手法である複数ブロックに分割したテンプレートを用いた形状認識により追跡対象を認識して追跡を行なうものとするが、パーティクルを用いて尤度を算出することにより追跡対象を追跡する手法等を用いるようにしてもよい。なお、追跡処理部１５０は、追跡対象の形状やサイズの変化に追従し、追跡対象に関する情報を随時更新していくことが望ましい。
【００２４】
追跡目標指定受付部１３０は、ユーザから追跡目標の指定を受け付ける。ユーザは、例えば、画像中の追跡目標が存在している領域をポインティングデバイス等の入力装置によって指示することで、追跡目標の指定を行なうことができる。追跡目標指定受付部１３０は、ユーザから追跡目標の指定を受け付けると、追跡目標情報１７１を作成し、記憶領域である追跡情報記憶部１７０に記録する。
【００２５】
図２は、追跡目標情報１７１のデータ構造例を示す図である。本図に示すように、追跡目標情報１７１は、形状（色、輪郭）１７１ａ、サイズ１７１ｂ、動きベクトル１７１ｃ、位置１７１ｄ、最終更新時刻１７１ｅ、遮蔽状態１７１ｆを追跡目標に関する情報として格納する。なお、形状（色、輪郭）１７１ａ、サイズ１７１ｂ、位置１７１ｄについては、最新情報のみならず、履歴情報を保持することが望ましい。
【００２６】
追跡目標の形状（色、輪郭）１７１ａ、サイズ１７１ｂ、位置１７１ｄは、追跡目標の指定を受け付けた際に、画像から取得して記録する。目標追跡装置１００の追跡処理部１５０は、これらの情報を元に連続して取り込まれる画像から追跡目標を検出し、追跡目標の追跡を行なう。そして、形状（色、輪郭）１７１ａ、サイズ１７１ｂ、位置１７１ｄについて随時更新を行なうとともに、追跡目標の移動方向と移動速度とに基づいて動きベクトルを算出し、動きベクトル１７１ｃに記録し、随時更新する。最終更新時刻１７１ｅには、これらの情報が最後に更新された時刻が記録される。また、遮蔽状態１７１ｆには、追跡目標が検出されているか、遮蔽物に遮蔽されていて検出不可能であるかの状態が、追跡対象設定部１４０によって記録される。
【００２７】
図１のブロック図の説明に戻って、撮像装置制御部１６０は、追跡対象の移動や、遮蔽等による追跡対象の変更に対応して、撮像装置２００を制御する。具体的には、追跡対象が画像の中央部に位置し、かつ入力画像全体の領域に対して追跡対象の占有領域が所定の割合となるように、撮像装置２００に対してパン、チルト、ズームを行なわせる。
【００２８】
追跡対象設定部１４０は、重なり検出部１４１、遮蔽可能性判定部１４２、優先度決定部１４３、遮蔽物状態監視部１４４、遮蔽時間監視部１４５を備えている。追跡対象設定部１４０は、これらの機能部を制御することにより、追跡対象の設定処理等を行なう。
【００２９】
重なり検出部１４１は、画像入力部１１０が入力した画像内において、追跡目標全体に他の物体が重なって追跡目標が遮蔽され、追跡対象が検出できなくなった状態、追跡対象となっている遮蔽物が他の物体と少なくとも一部が重なった状態、遮蔽されていた追跡目標が再出現した状態、遮蔽されていた他の遮蔽物が再出現した状態を検出する。
【００３０】
追跡目標に他の物体が重なって遮蔽され、追跡対象が検出できなくなった状態が検出されると、重なり検出部１４１は、他の物体を遮蔽物として取り扱い、遮蔽物情報１７２を作成し、追跡情報記憶部１７０に記録する。
【００３１】
図３は、遮蔽物情報１７２のデータ構造例を示す図である。本図に示すように、遮蔽物情報１７２は、遮蔽物ＩＤ１７２ａ、形状（色、輪郭）１７２ｂ、サイズ１７２ｃ、動きベクトル１７２ｄ、位置１７２ｅ、最終更新時刻１７２ｆ、追跡対象フラグ１７２ｇ、推定遮蔽時間１７２ｈ、遮蔽経過時間１７２ｉを遮蔽物に関する情報として格納する。なお、形状（色、輪郭）１７２ｂ、サイズ１７２ｃ、位置１７２ｅについては、最新情報のみならず、履歴情報を保持することが望ましい。
【００３２】
遮蔽物ＩＤ１７２ａは、遮蔽物を識別するための識別子が格納される。形状（色、輪郭）１７２ｂ、サイズ１７２ｃ、位置１７２ｅは、遮蔽物が検出された際、画像から取得して記録する。遮蔽物が追跡対象となっているとき、目標追跡装置１００の追跡処理部１５０は、これらの情報を元に連続して取り込まれる画像から追跡対象の遮蔽物を検出し、追跡を行なう。
【００３３】
そして、形状（色、輪郭）１７２ｂ、サイズ１７２ｃ、位置１７２ｅについて随時更新を行なうとともに、追跡対象の遮蔽物の移動方向と移動速度とに基づいて動きベクトルを算出し、動きベクトル１７２ｄに記録し、随時更新する。最終更新時刻１７２ｆには、これらの情報が最後に更新された時刻が記録される。また、追跡対象フラグ１７２ｇには、その遮蔽物が追跡対象となっているかどうかの状態が記録される。なお、形状（色、輪郭）１７２ｂ、サイズ１７２ｃ、位置１７２ｅ等の検出が行なわれるのは、追跡対象となっている遮蔽物のみである。
【００３４】
推定遮蔽時間１７２ｈは、その遮蔽物が追跡目標を遮蔽する時間の推定値を格納する。推定遮蔽時間は、例えば、遮蔽物のサイズと動きベクトル、および、追跡目標のサイズと動きベクトルから算出することができる。すなわち、遮蔽物のサイズと追跡目標のサイズとから、遮蔽物が追跡目標を遮蔽してから追跡目標が再出現するまでの相対移動距離が算出され、遮蔽物の動きベクトルと追跡目標の動きベクトルの差で割ることにより推定遮蔽時間を算出することができる。
【００３５】
ただし、推定遮蔽時間は厳密に算出する必要はなく、おおよその時間が得られれば足りる。また、サイズは、例えば、追跡対象あるいは遮蔽物を矩形状で近似的に表わした場合の縦横の画面上の長さとすることができる。なお、推定遮蔽時間は、簡易的に遮蔽物の動きベクトルと追跡目標の動きベクトルの差に基づいて算出してもよい。この場合、遮蔽物と追跡目標との動きベクトルの差が大きいほど、すなわち、相対速度が大きいほど推定遮蔽時間は短くなる。
【００３６】
遮蔽経過時間１７２ｉは、推定遮蔽時間が算出された時点からの経過時間を格納する。遮蔽経過時間は、逐次更新されるものとする。遮蔽経過時間が推定遮蔽時間を超えた場合には、追跡目標はその遮蔽物には遮蔽されていなかったものと見なすことができる。
【００３７】
図１のブロック図の説明に戻って、遮蔽可能性判定部１４２は、追跡対象となっている遮蔽物が他の物体と少なくとも一部が重なった場合に、他の物体および追跡目標のサイズと形状とに基づいて他の物体が追跡目標を完全に遮蔽できるかどうかを判定する。この結果、追跡目標を完全に遮蔽できない判定した場合には、他の物体は，遮蔽物として取り扱わず、追跡対象から除外する。一方、追跡目標を完全に遮蔽できると判定した場合には、他の物体を遮蔽物として取り扱い、遮蔽物情報１７２を作成して追跡情報記憶部１７０に記録する。なお、簡易的にサイズのみに基づいて他の物体が追跡目標を完全に遮蔽できるかどうかを判定するようにしてもよい。
【００３８】
優先度決定部１４３は、追跡対象となっている遮蔽物に重なった物体が遮蔽物と取り扱われる場合、どちらの遮蔽物を追跡対象として設定するかの優先度を算定する。追跡対象設定部１４０は、優先度決定部１４３が算定した優先度の高い遮蔽物を追跡対象として決定する。ここで、優先度は、推定遮蔽時間の残り時間が長いほど高く算定されるものとする。推定遮蔽時間の残り時間は、推定遮蔽時間１７２ｈから遮蔽経過時間１７２ｉを引くことで算出することができる。
【００３９】
例えば、歩行中の人物が追跡目標として指定されている場合に、遮蔽物として走行中の車と立て看板とがほぼ同時に検出されたとする。このとき、動きベクトルが追跡目標の動きベクトルとの差が大きいのは走行中の車であるから、走行中の車による推定遮蔽時間は、立て看板の推定遮蔽時間より短くなる。したがって、優先度は立て看板の方を高く算定する。なぜならば、立て看板の方を追跡対象としていれば、たとえ追跡目標である人物が車に遮蔽されたまま移動しても、車による遮蔽時間は短いと推定されるため、すぐに立て看板付近で追跡目標が再検出されるからである。
【００４０】
これに対して、走行する車の方を追跡対象とすれば、追跡目標の人物が立て看板に遮蔽されていた場合、追跡目標の人物が立て看板から再出現するときには、走行する車の追跡のため立て看板から離れた場所が撮影されているため、追跡目標を見失ってしまうことになる。そこで、本実施形態では、検出の前後にかかわらず、推定遮蔽時間の残り時間が長い遮蔽物ほど優先度を高くして、追跡対象として設定することにより、追跡目標に対する追跡精度を高めるようにしている。
【００４１】
遮蔽物状態監視部１４４は、遮蔽物が追跡対象として設定されている場合に、遮蔽物が向きを変えたりして、そのサイズあるいは形状が変化した結果、追跡目標を遮蔽できなくなったことを検出する。なお、簡易的にサイズのみに基づいて追跡対象の遮蔽物が追跡目標を遮蔽できなくなったことを検出するようにしてもよい。
【００４２】
そして、追跡対象として設定されている遮蔽物が、追跡目標を遮蔽できないサイズ、形状に変化した場合には、その遮蔽物を追跡対象から除外し、優先度決定部１４３が、その時点で最も優先度の高い遮蔽物、すなわち、推定遮蔽時間の残り時間が最も長い遮蔽物を追跡対象として設定する。この際に、新たに追跡対象として設定された遮蔽物の動きベクトルに基づいて遮蔽物の現在の位置を推定し、その位置が画像に含まれるように、撮像装置制御部１６０が、撮像装置２００の撮像対象位置を制御する。
【００４３】
遮蔽時間監視部１４５は、遮蔽物情報１７２に記録されている遮蔽物のうち、推定遮蔽時間の残り時間がなくなった遮蔽物を、遮蔽状態が解除したものと見なして遮蔽物情報１７２から削除する。遮蔽物情報１７２から削除された遮蔽物が追跡対象となっている場合には、優先度決定部１４３が、その時点で最も優先度の高い遮蔽物、すなわち、推定遮蔽時間の残り時間が最も長い遮蔽物を追跡対象として設定する。この際に、新たに追跡対象として設定された遮蔽物の動きベクトルに基づいて遮蔽物の現在の位置を推定し、その位置が画像に含まれるように、撮像装置制御部１６０が、撮像装置２００の撮像対象位置を制御する。
【００４４】
次に、目標追跡装置１００の動作について説明する。ここでは、追跡対象として追跡目標が設定されていて、追跡目標を追跡する通常の状態を追跡目標追跡モードと称し、追跡目標が１つの遮蔽物に遮蔽され、その遮蔽物が追跡対象となっている状態を単独遮蔽物追跡モードと称し、遮蔽物が追跡目標となっている状態でさらに他の遮蔽物により遮蔽された状態を重複遮蔽物追跡モードと称するものとする。
【００４５】
まず、追跡目標追跡モードにおける目標追跡装置１００の動作について図４のフローチャートを参照して説明する。
【００４６】
目標追跡装置１００は、追跡対象の追跡に先立ち、初期設定として、ユーザから追跡目標の指定を受け付ける（Ｓ１０１）。追跡目標の指定は、上述のように、追跡目標指定受付部１３０が画像中の追跡対象に対応する領域の指定をユーザから受け付けることで行なうことができる。追跡目標の指定を受け付けると、追跡目標に関する情報を追跡目標情報１７１として追跡情報記憶部１７０に記録する（Ｓ１０２）。
【００４７】
そして、追跡目標情報１７１に記録された情報に基づいて、撮像装置２００から取り込んだ画像内で追跡処理部１５０が追跡目標の追跡処理を行なう（Ｓ１０３）。追跡処理の結果に応じて必要であれば、追跡目標情報１７１を更新し（Ｓ１０４）、撮像装置２００の制御を行なう（Ｓ１０４）。
【００４８】
追跡目標情報１７１の更新は、例えば、追跡目標の形状、サイズ、位置、動きベクトルが変化したときに行ない、その際に、追跡目標情報１７１の最終更新時刻１７１ｅを更新する。また、撮像装置２００の制御は、例えば、追跡目標の移動にあわせて撮像装置２００の撮像範囲を変化させるために行なう。
【００４９】
追跡目標の追跡中に、重なり検出部１４１によって、他の物体が重なって遮蔽され、追跡対象が検出できなくなった状態が検出されると（Ｓ１０６：Ｙｅｓ）、単独遮蔽物追跡モードに移行する。追跡目標が遮蔽されていない場合（Ｓ１０６：Ｎｏ）は、追跡を終了するまで（Ｓ１０７：Ｙｅｓ）、追跡目標追跡処理（Ｓ１０３）以降の処理を繰り返す。
【００５０】
次に、単独遮蔽物追跡モードにおける目標追跡装置１００の動作について図５のフローチャートを参照して説明する。
【００５１】
重なり検出部１４１によって、他の物体が重なって遮蔽され、追跡対象が検出できなくなった状態が検出されると（図３：Ｓ１０６：Ｙｅｓ）、単独遮蔽物追跡モードに移行し、その遮蔽物に関する遮蔽物情報１７２を生成する（図４：Ｓ２０１）。
【００５２】
そして、遮蔽される前に得られた追跡目標のサイズ、動きベクトルと、遮蔽物のサイズ、動きベクトルから、遮蔽物が追跡目標を遮蔽する時間を推定して、遮蔽物情報１７２に記録する（Ｓ２０２）。ただし、追跡目標と遮蔽物の動きベクトルの差から簡易的に遮蔽時間を推定するようにしてもよい。
【００５３】
次いで、遮蔽物を追跡対象に設定し（Ｓ２０３）、遮蔽物情報１７２に記録された情報に基づいて、撮像装置２００から取り込んだ画像内で追跡処理部１５０が遮蔽物の追跡処理を行なう（Ｓ２０４）。追跡処理の結果に応じて必要であれば、遮蔽物情報１７２を更新し（Ｓ２０５）、撮像装置２００の制御を行なう（Ｓ２０６）。
【００５４】
遮蔽物の追跡中に、重なり検出部１４１が、追跡目標の出現を検出すると（Ｓ２０７：Ｙｅｓ）、遮蔽物情報１７２を廃棄し（Ｓ２０８）、追跡目標を追跡対象に設定し（Ｓ２０９）、追跡目標追跡モードに移行して追跡目標追跡処理（図４：Ｓ１０３）を行なう。
【００５５】
また、遮蔽物の追跡中に、重なり検出部１４１が、追跡対象となっている遮蔽物が他の物体と少なくとも一部が重なった状態を検出すると（Ｓ２１０：Ｙｅｓ）、遮蔽可能性判定部１４２が、他の物体および追跡目標のサイズと形状とに基づいて、その物体が追跡目標を遮蔽可能であるかどうかを判定し、追跡目標を遮蔽可能と判定した場合（Ｓ２１１：Ｙｅｓ）には、重複遮蔽物追跡モードに移行する。
【００５６】
それ以外の場合、すなわち、追跡対象となっている遮蔽物に他の物体が重なった状態が検出されない場合（Ｓ２１０：Ｎｏ）、および、他の物体が重なった状態が検出されたが（Ｓ２１０：Ｙｅｓ）、その物体が追跡目標を遮蔽不可能な場合（Ｓ２１１：Ｎｏ）は、遮蔽物追跡処理（Ｓ２０４）以降の処理を繰り返す。
【００５７】
次に、重複遮蔽物追跡モードにおける目標追跡装置１００の動作について図６〜図９のフローチャートを参照して説明する。
【００５８】
遮蔽物の追跡中に、追跡対象となっている遮蔽物が他の物体と少なくとも一部が重なった状態が検出され（図５：Ｓ２１０：Ｙｅｓ）、その物体が追跡目標を遮蔽可能であると判定された場合（Ｓ２１１：Ｙｅｓ）には、重複遮蔽物追跡モードに移行し、新たな遮蔽物に関する遮蔽物情報１７２を生成する（図６：Ｓ３０１）。
【００５９】
そして、追跡目標の遮蔽前に得られたサイズ、動きベクトルと、新たな遮蔽物のサイズ、動きベクトルから、新たな遮蔽物が追跡目標を遮蔽する時間を推定して、遮蔽物情報１７２に記録する（Ｓ３０２）。ただし、追跡目標と新たな遮蔽物の動きベクトルの差から簡易的に遮蔽時間を推定するようにしてもよい。
【００６０】
画面上で認識可能な遮蔽物が複数の場合（Ｓ３０３：Ｙｅｓ）、すなわち、新たな遮蔽物と、それまでの遮蔽物とが重なっているが、どちらも画面上で視認できる場合には、それぞれの遮蔽物の優先度を判定する（Ｓ３０５）。優先度の判定は、それぞれの遮蔽物のその時点における推定遮蔽時間の残り時間を算出し、残り時間が長い方の遮蔽物の優先度を高く算定する。そして、優先度の高い遮蔽物を追跡対象として設定し（Ｓ３０６）、遮蔽物情報１７２の追跡対象フラグ１７２ｇを更新する。
【００６１】
一方、画面上で認識可能な遮蔽物が１つだけの場合（Ｓ３０３：Ｎｏ）、すなわち、新たな遮蔽物が、それまでの遮蔽物を完全に遮蔽した場合、あるいは、新たな遮蔽物が、それまでの遮蔽物によって完全に遮蔽された場合は、認識可能な遮蔽物を追跡対象に設定する（Ｓ３０４）。この場合、後述する処理（Ｓ４０５）で説明するように、完全に遮蔽された遮蔽物が再出現した場合に、優先度の判定を行なう。
【００６２】
次いで、追跡対象として設定された遮蔽物の遮蔽物情報１７２に記録された情報に基づいて、撮像装置２００から取り込んだ画像内で追跡処理部１５０が遮蔽物の追跡処理を行なう（Ｓ３０７）。
【００６３】
遮蔽物の追跡中に、遮蔽物状態監視部１４４により、遮蔽物が向きを変えたりして、そのサイズあるいは形状が変化した結果、追跡目標を遮蔽できなくなったことが検出されると（Ｓ３０８：Ｙｅｓ）、その遮蔽物を追跡対象候補から除外するための処理を行なう。
【００６４】
この処理について図８のフローチャートを参照して説明する。追跡目標を遮蔽できないサイズあるいは形状に変化した遮蔽物を追跡対象候補から除外するために、まず、遮蔽物の遮蔽物情報１７２を廃棄する（図８：Ｓ５０１）。
【００６５】
この結果、追跡目標を遮蔽する遮蔽物が１つになった場合（Ｓ５０２：Ｙｅｓ）には、その単独遮蔽物を新たな追跡対象に設定する（Ｓ５０３）。この場合、新たに追跡対象として設定された遮蔽物はそれまでの遮蔽物の近くに存在しているとは限らないため、新たに追跡対象として設定された遮蔽物の遮蔽物情報１７２を参照して、最終更新時刻１７２ｆにおける位置１７２ｅ、動きベクトル１７２ｄに基づいて、遮蔽物の現在位置を推定する（Ｓ５０４）。
【００６６】
そして、推定された現在位置が画像内に含まれるように撮像装置制御部１６０が撮像装置のパン、チルト、ズーム機能を制御した後（Ｓ５０５）、単独遮蔽物追跡モードに移行して、遮蔽物追跡処理（図５：Ｓ２０４）以降の処理を行なう。
【００６７】
一方、追跡目標を遮蔽する遮蔽物が複数残っている場合（Ｓ５０２：Ｎｏ）は、残っている遮蔽物について、その時点における推定遮蔽時間の残り時間を算出することで優先度を判定し（Ｓ５０６）、優先度の高い遮蔽物を追跡対象として設定する（Ｓ５０７）。
【００６８】
この場合も、新たに追跡対象として設定された遮蔽物はそれまでの遮蔽物の近くに存在しているとは限らないため、新たに追跡対象として設定された遮蔽物の遮蔽物情報１７２を参照して、最終更新時刻１７２ｆにおける位置１７２ｅ、動きベクトル１７２ｄに基づいて、遮蔽物の現在位置を推定する（Ｓ５０８）。
【００６９】
そして、推定された現在位置が画像内に含まれるように撮像装置制御部１６０が撮像装置のパン、チルト、ズーム機能を制御して（Ｓ５０９）、重複遮蔽物追跡モードのまま。新たに追跡対象として設定された遮蔽物の追跡処理（図６：Ｓ３０７）を継続する。
【００７０】
図６のフローチャートの説明に戻って、遮蔽物の追跡中に、遮蔽物が追跡目標を遮蔽可能な状態が継続している場合（Ｓ３０８：Ｎｏ）は、追跡処理の結果に応じて必要であれば、遮蔽物情報１７２を更新し（Ｓ３０９）、撮像装置２００の制御を行なう（Ｓ３１０）。
【００７１】
図７のフローチャートに移って、重複遮蔽物追跡モードにおける遮蔽物追跡中に、遮蔽時間監視部１４５が、遮蔽物情報１７２に記録されている複数の遮蔽物のうち、推定遮蔽時間の残り時間がなくなった遮蔽物を検出すると（Ｓ４０１：Ｙｅｓ）、その遮蔽物の遮蔽状態が解除したものと見なして、その遮蔽物の遮蔽物情報１７２を廃棄するための処理を行なう。
【００７２】
この処理について、図９のフローチャートを参照して説明する。まず、推定遮蔽時間の残り時間がなくなった遮蔽物の遮蔽物情報１７２を廃棄する（Ｓ６０１）。遮蔽物情報１７２が廃棄された結果、遮蔽物が単独になった場合（Ｓ６０２：Ｙｅｓ）は、単独の遮蔽物を追跡対象として設定する（Ｓ６０３）。
【００７３】
この場合、新たに追跡対象として設定された遮蔽物はそれまでの遮蔽物の近くに存在しているとは限らないため、新たに追跡対象として設定された遮蔽物の遮蔽物情報１７２を参照して、最終更新時刻１７２ｆにおける位置１７２ｅ、動きベクトル１７２ｄに基づいて、遮蔽物の現在位置を推定する（Ｓ６０４）。
【００７４】
そして、推定された現在位置が画像内に含まれるように撮像装置制御部１６０が撮像装置のパン、チルト、ズーム機能を制御した後（Ｓ６０５）、単独遮蔽物追跡モードに移行して、遮蔽物追跡処理（図５：Ｓ２０４）以降の処理を行なう。
【００７５】
遮蔽物情報１７２が廃棄された結果、複数の遮蔽物が残っている場合（Ｓ６０２：Ｎｏ）は、廃棄された遮蔽物情報１７２の遮蔽物が追跡対象物であったかどうかを判定する（Ｓ６０６）。廃棄された遮蔽物情報１７２の遮蔽物が追跡対象物でなければ（Ｓ６０６：Ｎｏ）、追跡対象の変更は行なわず、重複遮蔽物追跡モードにおける遮蔽物の追跡処理（図６：Ｓ３０７）を継続する。
【００７６】
一方、廃棄された遮蔽物情報１７２の遮蔽物が追跡対象物であった場合（Ｓ６０６：Ｙｅｓ）は、残っている遮蔽物について、その時点における推定遮蔽時間の残り時間を算出することで優先度を判定し（Ｓ６０７）、優先度の高い遮蔽物を追跡対象として設定する（Ｓ６０８）。
【００７７】
この場合も、新たに追跡対象として設定された遮蔽物はそれまでの遮蔽物の近くに存在しているとは限らないため、新たに追跡対象として設定された遮蔽物の遮蔽物情報１７２を参照して、最終更新時刻１７２ｆにおける位置１７２ｅ、動きベクトル１７２ｄに基づいて、遮蔽物の現在位置を推定する（Ｓ６０９）。
【００７８】
そして、推定された現在位置が画像内に含まれるように撮像装置制御部１６０が撮像装置のパン、チルト、ズーム機能を制御して（Ｓ６１０）、新たに追跡対象として設定された遮蔽物の追跡処理（図６：Ｓ３０７）を継続する。
【００７９】
図７のフローチャートの説明に戻って、重複遮蔽物追跡モードにおける遮蔽物追跡中に、重なり検出部１４１が、追跡目標の出現を検出すると（Ｓ４０２：Ｙｅｓ）、すべての遮蔽物情報１７２を廃棄し（Ｓ４０３）、追跡目標を追跡対象に設定し（Ｓ４０４）、追跡目標追跡モードに移行して追跡目標追跡処理（図４：Ｓ１０３）を行なう。
【００８０】
また、重複遮蔽物追跡モードにおける遮蔽物追跡中に、重なり検出部１４１が、他の遮蔽物が再出現した状態を検出すると（Ｓ４０５：Ｙｅｓ）、それぞれの遮蔽物の優先度を判定する（Ｓ４０６）。優先度の判定は、それぞれの遮蔽物のその時点における推定遮蔽時間の残り時間を算出し、残り時間が長い方の遮蔽物の優先度を高く算定する。そして、優先度の高い遮蔽物を追跡対象として設定し（Ｓ４０７）、遮蔽物情報１７２の追跡対象フラグ１７２ｇを更新して、重複遮蔽物追跡モードにおける遮蔽物追跡処理（図６：Ｓ３０７）以降の処理を繰り返す。
【００８１】
また、重複遮蔽物追跡モードにおける遮蔽物追跡中に、重なり検出部１４１が、追跡対象となっている遮蔽物が他の物体と少なくとも一部が重なった状態を検出すると（Ｓ４０８：Ｙｅｓ）、遮蔽可能性判定部１４２が、他の物体および追跡目標のサイズと形状とに基づいて、その物体が追跡目標を遮蔽可能であるかどうかを判定し、追跡目標を遮蔽可能と判定した場合（Ｓ４０９：Ｙｅｓ）には、新たな遮蔽物が加わったものとして、重複遮蔽物追跡モードを繰り返す（図６：Ｓ３０１）。
【００８２】
それ以外の場合、追跡対象となっている遮蔽物に他の物体が重なった状態が検出されない場合（Ｓ４０８：Ｎｏ）、および、他の物体と少なくとも一部が重なった状態が検出されたが（Ｓ４０８：Ｙｅｓ）、その物体が追跡目標を遮蔽不可能な場合（Ｓ４０９：Ｎｏ）は、重複遮蔽物追跡モードにおける遮蔽物追跡処理（図６：Ｓ３０７）以降の処理を繰り返す。
【００８３】
以上説明したように、本発明の第１実施例によれば、追跡対象となっている遮蔽物に他の遮蔽物が重なった場合、推定遮蔽時間の残り時間が長い遮蔽物を優先的に追跡対象とするため、追跡対象でない遮蔽物に追跡目標が遮蔽されていた場合であっても、追跡目標を再検出する可能性を高めることができる。したがって、追跡目標に対する追跡精度が高まることになる。
（第２実施例）
【００８４】
次に、本発明の第２実施例について説明する。第１実施例では、追跡対象となっている遮蔽物に他の物体が重なった場合に、他の物体および追跡目標のサイズと形状とに基づいて他の物体が追跡目標を完全に遮蔽できると判定した場合に、他の物体を遮蔽物として取り扱うようにしていた。
【００８５】
第２実施例では、さらに、追跡目標と他の物体との撮像装置に対する前後関係に基づいて、他の物体を遮蔽物として取り扱うかどうかの判定を行なう。具体的には、追跡目標と他の物体の撮像装置からの距離をそれぞれ判断し、他の物体が追跡目標を遮蔽不可能な位置、すなわち、追跡目標よりも遠い位置（後）にある場合には、遮蔽物として取り扱わないようにする。これにより、遮蔽する可能性のない物体を遮蔽物として取り扱うことによって追跡目標に対する追跡精度が低下することを防ぐとともに、目標追跡装置の演算負荷を軽減することができる。
【００８６】
図１０は、本発明の第２実施例に係る目標追跡システムの構成を示すブロック図である。第１実施例と同じブロックについては同じ符号を付して、説明を省略あるいは簡略化する。本図に示すように目標追跡システム２０は、距離情報取得撮像装置２１０と目標追跡装置１０１とを備えて構成される。
【００８７】
距離情報取得撮像装置２１０は、例えば、距離測定機能付き監視カメラ等を用いて構成することができ、動画像を撮像し、撮像画像を目標追跡装置１０１に連続的に出力するとともに、画像内の撮像対象までの距離情報を目標追跡装置１０１に出力する。
【００８８】
ここで、距離情報の取得方法は、例えば、レーザ照射、超音波出力、複眼方式等の既存の方法を用いることができる。距離情報取得撮像装置２１０は、目標追跡装置１０１からの指示に基づいて、追跡対象が画像内に収まるようにパン、チルト、ズームを行なうことができる。
【００８９】
目標追跡装置１０１は、距離情報・画像入力部３１０、表示部１２０、追跡目標指定受付部３３０、追跡対象設定部３４０、追跡処理部３５０、撮像装置制御部１６０、追跡情報記憶部３７０を備えている。
【００９０】
距離情報・画像入力部３１０は、距離情報取得撮像装置２１０から画像を連続的に入力し、必要に応じてデコード等の処理を行なうとともに、距離情報取得撮像装置２１０から距離情報を入力する。表示部１２０は、画像入力部１１０が入力した画像を、外部あるいは目標追跡装置内蔵の表示装置（不図示）に動画像として表示する。
【００９１】
追跡目標指定受付部３３０は、ユーザから追跡目標の指定を受け付ける。追跡目標指定受付部３３０は、ユーザから追跡目標の指定を受け付けると、追跡目標情報３７１を作成し、記憶領域である追跡情報記憶部３７０に記録する。
【００９２】
図１１は、追跡目標情報３７１のデータ構造例を示す図である。本図に示すように、追跡目標情報３７１は、形状（色、輪郭）３７１ａ、サイズ３７１ｂ、動きベクトル３７１ｃ、位置３７１ｄ、最終更新時刻３７１ｅ、遮蔽状態３７１ｆ、距離３７１ｇを追跡目標に関する情報として格納する。実施例１との相違点は、距離３７１ｇを含んでいることである。なお、形状（色、輪郭）１７１ａ、サイズ１７１ｂ、位置１７１ｄ、距離３７１ｇについては、最新情報のみならず、履歴情報を保持することが望ましい。
【００９３】
追跡目標の形状（色、輪郭）１７１ａ、サイズ１７１ｂ、位置１７１ｄは、追跡目標の指定を受け付けた際に、画像から取得して記録する。また、距離３７１ｇは、距離情報・画像入力部３１０が入力した距離情報に基づいて記録する。
【００９４】
目標追跡装置１０１の追跡処理部３５０は、これらの情報を元に連続して取り込まれる画像から追跡目標を検出し、追跡目標の追跡を行なう。そして、形状（色、輪郭）３７１ａ、サイズ３７１ｂ、位置３７１ｄ、距離３７１ｇについて随時更新を行なう。
【００９５】
図１０のブロック図の説明に戻って、追跡対象設定部３４０は、重なり検出部１４１、遮蔽可能性判定部３４２、優先度決定部１４３、遮蔽物状態監視部１４４、遮蔽時間監視部１４５を備えている。追跡対象設定部３４０は、これらの機能部を制御することにより、追跡対象の設定処理等を行なう。
【００９６】
重なり検出部１４１は、画像入力部１１０が入力した画像内において、追跡目標に他の物体が重なって追跡対象が検出できなくなった状態、追跡対象となっている遮蔽物に他の物体が重なった状態、遮蔽されていた追跡目標が再出現した状態、遮蔽されていた他の遮蔽物が再出現した状態を検出する。
【００９７】
追跡目標に他の物体が重なって追跡対象が検出できなくなった状態が検出されると、重なり検出部１４１は、他の物体を遮蔽物として取り扱い、遮蔽物情報３７２を作成し、追跡情報記憶部３７０に記録する。
【００９８】
図１２は、遮蔽物情報３７２のデータ構造例を示す図である。本図に示すように、遮蔽物情報３７２は、遮蔽物ＩＤ３７２ａ、形状（色、輪郭）３７２ｂ、サイズ３７２ｃ、動きベクトル３７２ｄ、位置３７２ｅ、最終更新時刻３７２ｆ、追跡対象フラグ３７２ｇ、推定遮蔽時間３７２ｈ、遮蔽経過時間３７２ｉ、距離３７２ｊを遮蔽物に関する情報として格納する。実施例１との相違点は、距離３７２ｊを含んでいることである。なお、形状（色、輪郭）３７２ｂ、サイズ３７２ｃ、位置３７２ｅ、距離３７２ｊについては、最新情報のみならず、履歴情報を保持することが望ましい。
【００９９】
図１０のブロック図の説明に戻って、遮蔽可能性判定部３４２は、追跡対象となっている遮蔽物が他の物体と少なくとも一部が重なった場合に、他の物体および追跡目標のサイズと形状とに基づいて他の物体が追跡目標を完全に遮蔽できるかどうか、他の物体が追跡目標を遮蔽できる距離にあるかどうかを判定する。この結果、追跡目標を完全に遮蔽できるサイズと形状を有していないと判定した場合、あるいは、他の物体が追跡目標を遮蔽できる距離にないと判定したには、他の物体は，遮蔽物として取り扱わず、追跡対象から除外する。
【０１００】
ここで、他の物体が追跡目標を遮蔽できる距離にあるかどうかを判定は、追跡目標の距離情報取得撮像装置２１０からの距離と他の物体の距離情報取得撮像装置２１０からの距離とを比較することで行なう。すなわち、追跡目標の距離情報取得撮像装置２１０からの距離が他の物体の距離情報取得撮像装置２１０からの距離よりも遠い場合に、他の物体が追跡目標を遮蔽できる位置にあると判定する。
【０１０１】
一方、他の物体が追跡目標を遮蔽できる距離にあり、追跡目標を完全に遮蔽できるサイズと形状を有していると判定した場合には、他の物体を遮蔽物として取り扱い、遮蔽物情報３７２を作成して追跡情報記憶部３７０に記録する。
【０１０２】
次に、第２実施例の特徴的な動作について第１実施例と対比させて説明する。第１実施例では、図５のフローチャートに示したように、遮蔽物の追跡中に、重なり検出部１４１が、追跡対象となっている遮蔽物が他の物体と少なくとも一部が重なった状態を検出すると（Ｓ２１０：Ｙｅｓ）、遮蔽可能性判定部１４２が、その物体が追跡目標を遮蔽可能なサイズと形状であるかどうかを判定し、追跡目標を遮蔽可能と判定した場合（Ｓ２１１：Ｙｅｓ）に、重複遮蔽物追跡モードに移行した。
【０１０３】
これに対し、第２実施例では、遮蔽物の追跡中に、重なり検出部１４１が、追跡対象となっている遮蔽物が他の物体と少なくとも一部が重なった状態を検出すると、遮蔽可能性判定部３４２が、サイズと形状とに基づいてその物体が追跡目標を遮蔽可能であるかどうか、および、他の物体が追跡目標を遮蔽できる距離にあるかどうかを判定し、追跡目標を遮蔽可能と判定した場合に、重複遮蔽物追跡モードに移行する。その他の動作については第１実施例と同様である。
【０１０４】
このように、第２実施例では、追跡目標を遮蔽不可能な距離にある物体を追跡対象から除外するようにしている。これにより、追跡目標に対する追跡精度が高まるという第１実施例の効果に加え、遮蔽する可能性のない物体を遮蔽物として取り扱うことによって追跡目標に対する追跡精度が低下することを防ぐとともに、目標追跡装置１０１の演算負荷を軽減することができる。
【０１０５】
なお、上記の例では、遮蔽物の追跡中に、重なり検出部１４１が、追跡対象となっている遮蔽物が他の物体と少なくとも一部が重なった状態を検出した場合に、追跡目標と他の物体との前後関係を判断するようにしていたが、遮蔽物の追跡中にも連続的、あるいは断続的に遮蔽物と追跡目標との前後関係を判定して、遮蔽物が追跡目標を遮蔽できない距離、すなわち、追跡目標よりも後に移動したと判定された場合に、その遮蔽物を追跡対象から除外するようにしてもよい。この場合のその後の処理は、第１実施例において、追跡対象の遮蔽物のサイズ、形状が変化して、追跡対象を遮蔽できなくなったと判定された場合（図６：Ｓ３０８：Ｙｅｓ）と同様とすることができる。
（第３実施例）
【０１０６】
次に、本発明の第３実施例について説明する。第１実施例では、撮像装置制御部１６０が、追跡対象の移動や、遮蔽等による追跡対象の変更に対応して、追跡対象が画像の中央部に位置し、かつ入力画像全体の領域に対して追跡対象の占有領域が所定の割合となるように、撮像装置２００を制御してパン、チルト、ズームを行なわせていた。このため、遮蔽物に遮蔽されていた追跡目標が再出現したとき、画面上における大きさが遮蔽前と異なり、追跡目標の再検出の精度が低下する状況が起こり得る。
【０１０７】
例えば、追跡目標に比べて遮蔽物が極めて大きいとすると、追跡対象となった遮蔽物の大きさに合わせて画角が広くなっている状態で追跡目標が再出現した場合、画面上での追跡目標の大きさは、遮蔽前よりも小さくなっていることになる。このため、遮蔽前の形状やサイズを基準とした追跡目標の検出精度が低下するおそれがある。
【０１０８】
そこで、第３実施例では、追跡目標と遮蔽物の大きさの比率に基づいて、追跡目標の検出基準となるサイズ情報を補正することにより、追跡目標の検出精度を向上させる目標追跡装置について説明する。
【０１０９】
図１３は、本発明の第３実施例に係る目標追跡システムの構成を示すブロック図である。第１実施例と同じブロックについては同じ符号を付して、説明を省略あるいは簡略化する。本図に示すように目標追跡システム３０は、撮像装置２００と目標追跡装置１０２とを備えて構成される。
【０１１０】
目標追跡装置１０２は、画像入力部１１０、表示部１２０、追跡目標指定受付部１３０、追跡対象設定部４４０、追跡処理部１５０、撮像装置制御部１６０、追跡情報記憶部４７０を備えている。
【０１１１】
追跡対象設定部４４０は、重なり検出部４４１、遮蔽可能性判定部４４２、優先度決定部１４３、遮蔽物状態監視部１４４、遮蔽時間監視部１４５を備えている。
【０１１２】
重なり検出部４４１は、画像入力部１１０が入力した画像内において、追跡目標全体に他の物体が重なって遮蔽され、追跡対象が検出できなくなった状態、追跡対象となっている遮蔽物が他の物体と少なくとも一部が重なった状態、遮蔽されていた追跡目標が再出現した状態を検出する。
【０１１３】
追跡目標に他の物体が重なって遮蔽され、追跡対象が検出できなくなった状態が検出されると、重なり検出部４４１は、他の物体を遮蔽物として取り扱い、遮蔽物情報４７２を作成し、追跡情報記憶部４７０に記録する。
【０１１４】
図１４は、遮蔽物情報４７２のデータ構造例を示す図である。本図に示すように、遮蔽物情報４７２は、遮蔽物ＩＤ４７２ａ、形状（色、輪郭）４７２ｂ、サイズ４７２ｃ、動きベクトル４７２ｄ、位置４７２ｅ、最終更新時刻４７２ｆ、追跡対象フラグ４７２ｇ、推定遮蔽時間４７２ｈ、遮蔽経過時間４７２ｉ、追跡目標との大きさ比４７２ｊを遮蔽物に関する情報として格納する。実施例１との相違点は、追跡目標との大きさ比４７２ｊを含んでいることである。
【０１１５】
追跡目標との大きさ比４７２ｊは、追跡目標と遮蔽物の大きさの比を表わし、遮蔽前の追跡目標のサイズと同じ画像における遮蔽物のサイズとの比から算出することができる。追跡目標を遮蔽している遮蔽物に重なった遮蔽物については、先の遮蔽物とのサイズ比から間接的に追跡目標とのサイズ比を算出することができる。追跡目標との大きさ比４７２ｊは、重なり検出部４４１が遮蔽物を検出した際、遮蔽可能性判定部４４２が遮蔽物に重なった他の物体を遮蔽物と判定した際に算出される。具体的には、図５における遮蔽物情報生成処理（Ｓ２０１）、図６における遮蔽物情報生成処理（Ｓ３０１）において追跡目標との大きさ比４７２ｊを算出して記録する。
【０１１６】
図１３のブロック図の説明に戻って、重なり検出部４４１は、追跡目標が遮蔽物に遮蔽されていて、遮蔽物が追跡対象となっている場合に、追跡対象の遮蔽物についての遮蔽物情報４７２のサイズ４７２ｃと追跡目標との大きさ比４７２ｊを参照して、追跡目標情報３７１のサイズ３７１ｂを更新する。すなわち、追跡対象の遮蔽物のサイズ４７２ｃと、追跡目標との大きさ比４７２ｊとから、追跡目標の現時点の画面上のサイズを算出して追跡目標情報３７１のサイズ３７１ｂを更新する。具体的には、図５における遮蔽物情報更新処理（Ｓ２０５）、図６における遮蔽物情報更新処理（Ｓ３０９）において、追跡目標情報３７１のサイズ３７１ｂを併せて更新する。
【０１１７】
そして、図５における追跡目標検出処理（Ｓ２０７）および図６における追跡目標検出処理（Ｓ４０２）において、更新されたサイズ３７１ｂを基準として、遮蔽されている追跡目標の再出現を検出する。これにより、撮像装置２００のズーム等によって追跡目標の画面上の大きさが変化した場合であっても、追跡目標の検出精度を向上させることができる。
【符号の説明】
【０１１８】
１０…目標追跡システム、２０…目標追跡システム、３０…目標追跡システム、１００…目標追跡装置、１０１…目標追跡装置、１０２…目標追跡装置、１１０…画像入力部、１２０…表示部、１３０…追跡目標指定受付部、１４０…追跡対象設定部、１４１…重なり検出部、１４２…遮蔽可能性判定部、１４３…優先度決定部、１４４…遮蔽物状態監視部、１４５…遮蔽時間監視部、１５０…追跡処理部、１６０…撮像装置制御部、１７０…追跡情報記憶部、１７１…追跡目標情報、１７２…遮蔽物情報、２００…撮像装置、２１０…距離情報取得撮像装置、３１０…距離情報・画像入力部、３３０…追跡目標指定受付部、３４０…追跡対象設定部、３４２…遮蔽可能性判定部、３５０…追跡処理部、３７０…追跡情報記憶部、３７１…追跡目標情報、３７２…遮蔽物情報、４４０…追跡対象設定部、４４１…重なり検出部、４４２…遮蔽可能性判定部、４７０…追跡情報記憶部、４７２…遮蔽物情報
【特許請求の範囲】
【請求項１】
追跡目標の指定を受け付ける追跡目標指定受付部と、
追跡対象を設定する追跡対象設定部と、
撮像装置から連続して入力される入力画像内において、前記追跡対象設定部によって設定された追跡対象を、サイズ情報を含む検出情報を基準に検出して追跡する追跡処理部とを備え、
前記追跡対象設定部は、
入力画像内において前記追跡目標を認識した場合は、前記追跡目標を追跡対象として設定し、
入力画像内において前記追跡目標が遮蔽物に遮蔽された場合は、前記遮蔽物を追跡対象として設定するとともに、前記遮蔽物と前記追跡目標とのサイズ比を取得し、追跡対象となっている遮蔽物の入力画像内でのサイズ変動と取得した前記サイズ比とに基づいて前記追跡目標の検出情報に含まれるサイズ情報を更新して、前記追跡目標の再出現を検出することを特徴とする目標追跡装置。
【請求項２】
追跡対象が入力画像の中央部に位置し、かつ入力画像全体の領域に対して追跡対象の占有領域が所定の割合となるように、前記撮像装置の撮像範囲を制御する撮像装置制御部をさらに備えたことを特徴とする請求項１に記載の目標追跡装置。
【請求項３】
前記追跡対象設定部は、
追跡対象として設定されている遮蔽物が、入力画像内において他の遮蔽物と少なくとも一部が重なった場合は、それぞれの遮蔽物の動きベクトルと前記追跡目標の動きベクトルに基づいて算定される優先度の高い遮蔽物を追跡対象として設定するとともに、
前記他の遮蔽物が追跡対象として新たに設定された場合は、前記他の遮蔽物と追跡対象として設定されていた遮蔽物とのサイズ比に基づいて、前記他の遮蔽物と前記追跡目標とのサイズ比を算出し、新たに追跡対象として設定された遮蔽物の入力画像内でのサイズ変動と算出された前記サイズ比とに基づいて前記追跡目標の検出情報に含まれるサイズ情報を更新して、前記追跡目標の再出現を検出することを特徴とする請求項１または２に記載の目標追跡装置。
【請求項４】
目標追跡装置における目標追跡方法であって、
追跡目標の指定を受け付ける追跡目標指定受付ステップと、
追跡対象を設定する追跡対象設定ステップと、
撮像装置から連続して入力される入力画像内において、前記追跡対象設定部によって設定された追跡対象を、サイズ情報を含む検出情報を基準に検出して追跡する追跡処理ステップとを有し、
前記追跡対象設定ステップは、
入力画像内において前記追跡目標が認識可能な場合は、前記追跡目標を追跡対象として設定し、
入力画像内において前記追跡目標が遮蔽物に遮蔽された場合は、前記遮蔽物を追跡対象として設定するとともに、前記遮蔽物と前記追跡目標とのサイズ比を取得し、追跡対象となっている遮蔽物のサイズ変動と前記サイズ比とに基づいて前記追跡目標の検出情報に含まれるサイズ情報を更新して、前記追跡目標の再出現を検出することを特徴とする目標追跡方法。
【請求項１】
追跡目標の指定を受け付ける追跡目標指定受付部と、
追跡対象を設定する追跡対象設定部と、
撮像装置から連続して入力される入力画像内において、前記追跡対象設定部によって設定された追跡対象を、サイズ情報を含む検出情報を基準に検出して追跡する追跡処理部とを備え、
前記追跡対象設定部は、
入力画像内において前記追跡目標を認識した場合は、前記追跡目標を追跡対象として設定し、
入力画像内において前記追跡目標が遮蔽物に遮蔽された場合は、前記遮蔽物を追跡対象として設定するとともに、前記遮蔽物と前記追跡目標とのサイズ比を取得し、追跡対象となっている遮蔽物の入力画像内でのサイズ変動と取得した前記サイズ比とに基づいて前記追跡目標の検出情報に含まれるサイズ情報を更新して、前記追跡目標の再出現を検出することを特徴とする目標追跡装置。
【請求項２】
追跡対象が入力画像の中央部に位置し、かつ入力画像全体の領域に対して追跡対象の占有領域が所定の割合となるように、前記撮像装置の撮像範囲を制御する撮像装置制御部をさらに備えたことを特徴とする請求項１に記載の目標追跡装置。
【請求項３】
前記追跡対象設定部は、
追跡対象として設定されている遮蔽物が、入力画像内において他の遮蔽物と少なくとも一部が重なった場合は、それぞれの遮蔽物の動きベクトルと前記追跡目標の動きベクトルに基づいて算定される優先度の高い遮蔽物を追跡対象として設定するとともに、
前記他の遮蔽物が追跡対象として新たに設定された場合は、前記他の遮蔽物と追跡対象として設定されていた遮蔽物とのサイズ比に基づいて、前記他の遮蔽物と前記追跡目標とのサイズ比を算出し、新たに追跡対象として設定された遮蔽物の入力画像内でのサイズ変動と算出された前記サイズ比とに基づいて前記追跡目標の検出情報に含まれるサイズ情報を更新して、前記追跡目標の再出現を検出することを特徴とする請求項１または２に記載の目標追跡装置。
【請求項４】
目標追跡装置における目標追跡方法であって、
追跡目標の指定を受け付ける追跡目標指定受付ステップと、
追跡対象を設定する追跡対象設定ステップと、
撮像装置から連続して入力される入力画像内において、前記追跡対象設定部によって設定された追跡対象を、サイズ情報を含む検出情報を基準に検出して追跡する追跡処理ステップとを有し、
前記追跡対象設定ステップは、
入力画像内において前記追跡目標が認識可能な場合は、前記追跡目標を追跡対象として設定し、
入力画像内において前記追跡目標が遮蔽物に遮蔽された場合は、前記遮蔽物を追跡対象として設定するとともに、前記遮蔽物と前記追跡目標とのサイズ比を取得し、追跡対象となっている遮蔽物のサイズ変動と前記サイズ比とに基づいて前記追跡目標の検出情報に含まれるサイズ情報を更新して、前記追跡目標の再出現を検出することを特徴とする目標追跡方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−８０２２２（Ｐ２０１２−８０２２２Ａ）
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願番号】特願２０１０−２２１７２２（Ｐ２０１０−２２１７２２）
【出願日】平成２２年９月３０日（２０１０．９．３０）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願日】平成２２年９月３０日（２０１０．９．３０）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]