被写体追跡プログラムおよび被写体追跡装置

【課題】時系列に入力されるフレーム画像において適切に主要被写体を追跡すること。
【解決手段】被写体追跡プログラムは、時系列で入力される各フレーム画像の色情報および輝度情報に基づいて複数の要素画像を生成する要素画像生成処理と、複数の要素画像をそれぞれ２値化して複数の２値化要素画像を生成する２値化要素画像生成処理と、複数の２値化要素画像を論理積演算する論理積演算処理と、論理積演算後の２値論理積画像に対するラベリング処理に基づいて、各フレーム画像における主要被写体の位置を特定する特定処理と、特定処理で特定された範囲と所定範囲との論理積演算に基づいて特定された範囲を縮小する縮小処理と、前フレーム画像において縮小処理で縮小された範囲を膨張させて所定範囲を得るモルフォロジー処理と、をコンピュータに実行させる。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体追跡プログラムおよび被写体追跡装置に関する。
【背景技術】
【０００２】
時系列に入力されるフレーム画像内でテンプレート画像と類似度が高い画像の位置を探索することにより、各フレームにおいて主要被写体の位置を特定する被写体追跡技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２９９８３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来技術では、特定した位置に主要被写体以外の背景部分が含まれるため、被写体の位置が不明確になるという問題があった。
【課題を解決するための手段】
【０００５】
本発明による被写体追跡プログラムは、コンピュータに、時系列で入力される各フレーム画像の色情報および輝度情報に基づいて複数の要素画像を生成する要素画像生成処理と、複数の要素画像をそれぞれ２値化して複数の２値化要素画像を生成する２値化要素画像生成処理と、複数の２値化要素画像を論理積演算する論理積演算処理と、論理積演算後の２値論理積画像に対するラベリング処理に基づいて、各フレーム画像における主要被写体の位置を特定する特定処理と、特定処理で特定された範囲と所定範囲との論理積演算に基づいて特定された範囲を縮小する縮小処理と、前フレーム画像において縮小処理で縮小された範囲を膨張させて所定範囲を得るモルフォロジー処理と、を実行させることを特徴とする。
本発明による被写体追跡プログラムは、コンピュータに、テンプレート内の主要被写体の２値化画像を膨張させるモルフォロジー処理と、モルフォロジー処理による膨張後の２値化画像を包絡する範囲を探索領域に決定する探索領域決定処理と、時系列で入力される各フレーム画像のうち探索領域内で探索枠を移動させながら、各探索枠位置における探索枠内の画像とテンプレートとの類似度を算出する類似度算出処理と、類似度が最も高い探索枠の位置を主要被写体の位置として特定する特定処理と、を実行させることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、時系列に入力されるフレーム画像において適切に主要被写体を追跡できる。
【図面の簡単な説明】
【０００７】
【図１】第一の実施形態におけるカメラの構成を例示するブロック図である。
【図２】第一の実施形態における制御装置の処理を示すフローチャートである。
【図３】２値化したＹプレーン画像を例示する図である。
【図４】２値化したＣｂプレーン画像を例示する図である。
【図５】２値化したＣｒプレーン画像を例示する図である。
【図６】第一のＡＮＤ演算後の２値化画像を例示する図である。
【図７】従来技術による２値化画像を例示する図である。
【図８】膨張処理後の２値化画像を例示する図である。
【図９】第二のＡＮＤ演算後の２値化画像を例示する図である。
【図１０】フレーム画像に表示したターゲット枠を例示する図である。
【図１１】主要被写体を含むを含む範囲を例示する図である。
【図１２】テンプレートを例示する図である。
【図１３】テンプレートマッチングを説明する図である。
【図１４】背景ノイズを例示する図である。
【図１５】膨張マスクＤを例示する図である。
【図１６】背景ノイズカットを説明する図である。
【図１７】膨張マスクＤを包絡する枠を探索領域を説明する図である。
【図１８】探索領域内での最初のテンプレートの位置を示す図である。
【図１９】探索領域内での最後のテンプレートの位置を示す図である。
【図２０】１回のマッチング演算時のテンプレートの移動量を示す図である。
【図２１】第二の実施形態における制御装置の処理を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明を実施するための形態について説明する。
（第一の実施形態）
図１は、第一の実施形態における被写体追跡装置としてカメラを使用した場合の一実施の形態の構成を例示するブロック図である。第一の実施形態では、ラベリング手法を用いて被写体を追跡する。カメラ１００は、操作部材１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズスイッチ、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含む。
【０００９】
レンズ１０２は、複数の光学レンズ群から構成されるが、図１では代表して１枚のレンズで表している。撮像素子１０３は、例えばＣＣＤやＣＭＯＳイメージセンサによって構成され、レンズ１０２により結像した被写体像を撮像して画像を取得する。そして、取得した画像のデータ（画像データ）を制御装置１０４へ出力する。制御装置１０４は、撮像素子１０３で取得された画像データを所定の画像形式、例えばＪｐｅｇ形式に圧縮し、Ｅｘｉｆ（ＥｘｃｈａｎｇｅａｂｌｅＩｍａｇｅＦｉｌｅＦｏｒｍａｔｆｏｒＤｉｇｉｔａｌＳｔｉｌｌＣａｍｅｒａ）等の所定の形式の画像ファイルを生成してメモリカードスロット１０５へ出力する。
【００１０】
メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０４から出力された画像ファイルをメモリカードに書き込んで記録する。また、制御装置１０４からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込む。
【００１１】
モニタ１０６は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０６には、メモリカードに記憶されている画像やカメラ１００を設定するための設定メニューなどが表示される。また、制御装置１０４は、撮像素子１０３から時系列で画像を取得してモニタ１０６に出力する。これによって、モニタ１０６には、各フレームの画像が所定時間間隔で順番に表示される。すなわちモニタ１０６には画像が表示される。
【００１２】
制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、後述する演算部１０４ａを機能的に備えている。なお、制御装置１０４を構成するメモリには、プログラムを格納するメモリ、ワークメモリ、バッファメモリとして使用するメモリを含む。例えばフラッシュメモリや、ＲＡＭ、ＳＤＲＡＭなどである。
【００１３】
図２は、第一の実施形態におけるカメラ１００の処理を示すフローチャートである。図２に示す処理は、撮像素子１０３から画像の入力が開始されると起動するプログラムとして、制御装置１０４内の演算部１０４ａによって実行される。
【００１４】
図２のステップＳ５１において、制御装置１０４の演算部１０４ａは、フレーム画像を読み込んでステップＳ５２へ進む。ステップＳ５２において、演算部１０４ａは、使用者からの指示に基づいて、読み込んだフレーム画像から所定範囲内の画像を抽出し、ステップＳ５３へ進む。
【００１５】
ステップＳ５３において、演算部１０４ａは、抽出画像に基づいてＹＣｂＣｒ形式の画像を算出し、Ｙ成分の画像（Ｙプレーン画像）、Ｃｒ成分の画像（Ｃｒプレーン画像）、および、Ｃｂ成分の画像（Ｃｂプレーン画像）をそれぞれ生成する。具体的には、ＲＧＢ表色系で表されている対象画像を次式（１）〜（３）を用いてＹＣｂＣｒ色空間における輝度成分（Ｙ成分）からなる輝度画像と色差成分（Ｃｂ成分、Ｃｒ成分）とからなる色差画像とに変換する。
【００１６】
すなわち、演算部１０４ａは、抽出画像から次式（１）を用いてＹ成分からなる輝度画像をＹプレーン画像として生成する。演算部１０４ａはさらに、抽出画像から次式（２）および（３）を用いてＣｂ成分からなる色差画像とＣｒ成分からなる色差画像とをそれぞれＣｂプレーン画像、およびＣｒプレーン画像として生成し、ステップＳ５４へ進む。
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ・・・（１）
Ｃｂ＝−０．１６９Ｒ−０．３３２Ｇ＋０．５００Ｂ・・・（２）
Ｃｒ＝０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ・・・（３）
【００１７】
ステップＳ５４では、演算部１０４ａは２値化演算を行う。演算部１０４ａは、Ｙプレーン画像、Ｃｂプレーン画像、およびＣｒプレーン画像において、たとえば、各々の平均値を閾値として２値化した２値化画像を算出し、ステップＳ５５へ進む。図３は、２値化したＹプレーン画像を例示する図である。図４は、２値化したＣｂプレーン画像を例示する図である。図５は、２値化したＣｒプレーン画像を例示する図である。なお、２値化に用いる閾値は、各々の平均値に標準偏差σに係数を掛けたものを加減算したものでもよい。
【００１８】
ステップＳ５５において、演算部１０４ａは第一のＡＮＤ演算を行う。具体的には、２値化後の各プレーン画像を画素ごとに論理積演算してステップＳ５６へ進む。図６は、２値化したＹプレーン画像、Ｃｂプレーン画像、およびＣｒプレーン画像を第一のＡＮＤ演算した２値化画像を例示する図である。
【００１９】
ステップＳ５６において、演算部１０４ａは、第一のＡＮＤ演算後の２値化画像に対し、公知のラベリング処理を行い白画素で構成されるラベリング領域を「島」として認識する。選択処理は、上記抽出したラベリング領域のうち、所定の評価処理によって被写体により近い島を選択する。
【００２０】
ステップＳ５７において、演算部１０４ａは、最初のフレームか否かを判定する。演算部１０４ａは、最初のフレームでない（すなわち２フレーム目以降である）場合はステップＳ５７を否定判定してステップＳ５８へ進む。演算部１０４ａは、最初のフレームの場合はステップＳ５７を肯定判定してステップＳ５９へ進む。
【００２１】
ステップＳ５８において、演算部１０４ａは第二のＡＮＤ演算を行う。具体的には、ラベリング、選択処理後の２値化画像と、前フレームで膨張処理した２値化画像（図８）とを論理積演算してステップＳ５９へ進む。図９は、第二のＡＮＤ演算後の２値化画像を例示する図である。図９において白画素のまとまりを囲む枠は、主要被写体が存在する範囲を明示するためのターゲット枠である。
【００２２】
ステップＳ５９において、演算部１０４ａは、第二のＡＮＤ後の２値化画像に対してモルフォロジーによる膨張処理を行う。図８は、膨張処理後の２値化画像を例示する図である。なお、ステップＳ５７を肯定判定した場合の演算部１０４ａは、最初のフレームの２値化画像に対してモルフォロジーによる膨張処理を行う。
【００２３】
ステップＳ６０において、演算部１０４ａは、上記ターゲット枠をフレーム画像上に表示し、ステップＳ６１へ進む。図１０は、フレーム画像上のターゲット枠１５１を例示する図である。ターゲット枠１５１は、２値化画像において主要被写体を示す「島」である白領域を囲む包絡枠に相当する。第一の実施形態では、ターゲット枠１５１で囲まれる範囲が追跡結果（主要被写体が存在する範囲）となる。
【００２４】
ステップＳ６１において、演算部１０４ａは、フレーム終了か否かを判定する。演算部１０４ａは、画像の入力が終了した場合にステップＳ６１を肯定判定して図２による処理を終了する。演算部１０４ａは、画像の入力が終了していない場合には、ステップＳ６１を否定判定してステップＳ５１へ戻る。ステップＳ５１へ戻る場合は次フレームの読込みを行って上述した処理を繰り返す。
【００２５】
以上説明した第一の実施形態によれば、以下のような作用効果を得ることができる。
（１）カメラ１００は、時系列で入力される各フレーム画像の色情報および輝度情報に基づいて複数のプレーン画像Ｙ、Ｃｂ、Ｃｒを生成する要素画像生成処理と、複数のプレーン画像Ｙ、Ｃｂ、Ｃｒをそれぞれ２値化して複数の２値化プレーン画像を生成する２値化演算処理と、複数の２値化プレーン画像を論理積演算する第１のＡＮＤ演算処理と、第１のＡＮＤ演算後の２値論理積画像に対するラベリング処理に基づいて、各フレーム画像における主要被写体の位置を特定するラベリング、選択処理と、ラベリング、選択処理で特定された範囲と所定範囲との論理積演算に基づいて特定された範囲を縮小する第２のＡＮＤ演算処理と、前フレーム画像において縮小処理で縮小された範囲を膨張させて所定範囲を得る膨張処理と、を演算部１０４ａに実行させる被写体追跡プログラムを搭載したので、時系列に入力されるフレーム画像において適切に主要被写体を追跡できる。
【００２６】
上述した第二のＡＮＤ演算後の２値化画像（図９）と、第二のＡＮＤ演算を行わない場合との比較例を説明する。図７は、第１のＡＮＤ演算後の２値化画像（図６）に対してラベリング、選択処理を施す従来技術による２値化画像を例示する図である。図７と図９とを比較すると、第二のＡＮＤ演算後の２値化画像（図９）の方が主要被写体が存在する範囲（すなわち、白画素のまとまり）が小さく、精度よく主要被写体を追跡できることがわかる。主要被写体が存在する範囲（すなわち、白画素のまとまり）を小さくできるので、主要被写体以外の背景ノイズなどを含む可能性が低く抑えられる。
【００２７】
（２）上記（１）の被写体追跡プログラムにおいて、要素画像生成処理は、輝度画像Ｙおよび色差画像Ｃｂ、Ｃｒをそれぞれ生成するので、主要被写体追跡に適した要素画像が得られる。
【００２８】
（第二の実施形態）
第二の実施形態では、制御部１０４ａが撮像素子１０３から入力される各フレーム画像に対してテンプレートマッチング処理を行って、フレーム画像内で主要被写体が写っている領域を特定する。そして、特定した領域をフレーム間で追跡する。具体的には、次のように処理する。
【００２９】
図１１は、モニタ１０６に表示されたフレーム画像を例示する図である。例えば、使用者は、最初のフレーム画像のスルー画がモニタ１０６に表示されたときに、操作部材１０１を操作して、最初のフレーム内で、フレーム間で追跡したい被写体（主要被写体Ａと呼ぶ）を含む範囲Ｅを指定する。演算部１０４ａは、使用者によって指定された範囲Ｅ内の画像を抽出し、テンプレートＴとしてメモリに記憶する。図１２は、テンプレートＴを例示する図である。
【００３０】
演算部１０４ａは、図１３に例示するように、テンプレートＴと撮像素子１０３から時系列で入力される各フレームの画像データ（ターゲット画像Ｉと呼ぶ）との間でマッチング演算を行う。具体的には、テンプレートＴを用いてターゲット画像Ｉ内における主要被写体位置を特定する。
【００３１】
テンプレートマッチングの手法は公知であるため詳細な説明は省略するが、類似度の算出は、たとえば次式（４）に示す残差和や次式（５）に示す正規化相関により算出できる。次式（４）に示す残差和により類似度を算出した場合は、算出されるｒが小さいほどテンプレートＴとターゲット画像Ｉとの類似度が高いことを示している。一方、次式（５）に示す正規化相関により類似度を算出した場合は、算出されるｒが大きいほどテンプレートＴとターゲット画像Ｉとの類似度が高いことを示している。
【数１】

【数２】

【００３２】
演算部１０４ａは、撮像素子１０３からの画像の入力が開始されると、各フレーム（コマ）の画像をターゲット画像Ｉとし、当該ターゲット画像Ｉ上の所定の位置にテンプレートＴと同じ大きさの探索枠Ｂを設定する。演算部１０４ａは、設定した探索枠Ｂをターゲット画像Ｉ内で移動させながら、各位置における探索枠Ｂ内の画像と、テンプレートＴとのマッチング演算を行なう。マッチング演算の結果、テンプレートＴとの間で最も類似度の高い探索枠Ｂの位置を被写体位置として特定する。
【００３３】
なお、第二の実施形態の演算部１０４ａは、ターゲット画像Ｉの全体ではなく、フレーム画像内からテンプレートＴを抽出した範囲Ｅを含む所定範囲（探索領域Ｓ２と呼ぶ）を対象にテンプレートマッチングを行う。このように探索領域Ｓ２のサイズをターゲット画像Ｉより小さくするのは、画面全体を追尾対象とすると処理時間がかかる上、背景による擬似マッチングが起きやすいことから、これらを避けるためである。探索領域Ｓ２のサイズの決め方は後述する。
【００３４】
ところで、図１２のような主要被写体Ａ以外の部分を多く含むテンプレートＴでは、マッチング演算時に使用するターゲット画像Ｉの状態によっては図１４のように背景ノイズが混入しやすくマッチング精度が出ないことが多い。そのため図１５に示すような、主要被写体Ａに公知のモルフォロジー（数理形態学）の膨張処理を施した膨張マスクＤを設定する。すなわち、テンプレートＴを２値化し、該２値化画像を膨張させて膨張マスクＤを得る。膨張マスクＤは、図１５に示すように内側の画素がすべて１、外側がすべて０にしてある。この膨張マスクＤと、ターゲット画像ＩをＡＮＤ演算することにより、ターゲット画像Ｉに含まれる背景ノイズをカットする。図１６は、背景ノイズカットを説明する図である。図１６によれば、ターゲット画像Ｉのうち膨張マスクＤの内部（画素１）の画像のみが残り、外部（画素０）の背景ノイズを含む画像が消去される。
【００３５】
膨張マスクＤを採用する場合の演算部１０４ａは、図１７に示すように、主要被写体Ａを中心として膨張マスクＤを包絡する枠を探索領域Ｓ２とする。図１８は探索領域Ｓ２内での最初のテンプレートＴの位置を示し、図１９は探索領域Ｓ２内での最後のテンプレートＴの位置を示す。テンプレートＴ内において膨張マスクＤの外側に相当する部分、つまりテンプレートＴの右下と左上の部分は、マッチング演算の対象から除外できる。
【００３６】
図２０に、１回のマッチング演算時のテンプレートＴの移動量Ｘ２、Ｙ２を示す。膨張マスクＤを採用する第二の実施形態では、探索領域Ｓ２のサイズは一意的に決まる。また、膨張マスクＤによる探索領域Ｓ２のサイズは、従来のマッチング演算で用いた探索領域より小さくなることが多いことが実験で示されている。このように膨張マスクＤを導入することで、背景ノイズの削減だけでなくマッチング演算の短縮も可能となる。
【００３７】
演算部１０４ａは、上述した処理を、入力される各フレーム画像に対して実行する。演算部１０４ａは、マッチング演算によって特定された主要被写体位置のうち、マッチング時の類似度が最も高い位置を被写体位置とする。そして、この被写体位置を追跡対象としてターゲット枠を表示し、各フレーム間で被写体追跡を行うことができる。
【００３８】
図２１は、第二の実施形態におけるカメラ１００の処理を示すフローチャートである。図２１に示す処理は、撮像素子１０３から画像の入力が開始されると起動するプログラムとして、制御装置１０４の演算部１０４ａによって実行される。
【００３９】
図２１のステップＳ１１において、演算部１０４ａは、フレーム画像を読み込んで、ステップＳ１２へ進む。ステップＳ１２では、演算部１０４ａは、使用者からの指示に基づいて、フレーム画像から所定範囲内の画像を抽出し、ステップＳ１３へ進む。
【００４０】
ステップＳ１３において、演算部１０４ａは、最初のフレームか否かを判定する。演算部１０４ａは、最初のフレームでない（すなわち２フレーム目以降である）場合はステップＳ１３を否定判定してステップＳ１４へ進む。演算部１０４ａは、最初のフレームの場合はステップＳ１３を肯定判定してステップＳ１８へ進む。
【００４１】
ステップＳ１４において、演算部１０４ａは２値化演算を行う。演算部１０４ａは、上記所定範囲内の画像を２値化した２値化画像を算出し、ステップＳ１５へ進む。ステップＳ１５において、演算部１０４ａは、２値化画像に対してモルフォロジーによる膨張処理を行い、膨張マスクＤを設定してステップＳ１６へ進む。ステップＳ１６において、演算部１０４ａは膨張マスクＤを包絡する枠を探索領域Ｓ２としてステップＳ１７へ進む。ステップＳ１７において、演算部１０４ａはマッチング演算を行ってステップＳ１８へ進む。
【００４２】
ステップＳ１８において、演算部１０４ａは、主要被写体が存在する範囲を明示するためのターゲット枠をフレーム画像上に表示し、ステップＳ１９へ進む。ステップＳ１９において、演算部１０４ａは、フレーム終了か否かを判定する。演算部１０４ａは、画像の入力が終了した場合にステップＳ１９を肯定判定して図２１による処理を終了する。演算部１０４ａは、画像の入力が終了していない場合には、ステップＳ１９を否定判定してステップＳ１１へ戻る。ステップＳ１１へ戻る場合は次フレームの読込みを行って上述した処理を繰り返す。
【００４３】
以上説明した第二の実施形態によれば、以下のような作用効果を得ることができる。
（１）カメラ１００は、テンプレートＴ内の主要被写体Ａの２値化画像を膨張させるモルフォロジー処理と、モルフォロジー処理による膨張後の２値化画像を包絡する範囲を探索領域Ｓ２に決定する探索領域決定処理と、時系列で入力される各フレーム画像のうち探索領域Ｓ２内で探索枠Ｂを移動させながら、各探索枠位置における探索枠Ｂ内の画像とテンプレートＴとの類似度を算出する類似度算出処理と、類似度が最も高い探索枠Ｂの位置を主要被写体の位置として特定する特定処理と、を制御装置１０４に実行させる被写体追跡プログラムを搭載したので、時系列に入力されるフレーム画像において適切に主要被写体を追跡できる。
【００４４】
（２）上記（１）の被写体追跡プログラムにおいて、フレーム画像から膨張後の２値化画像に基づいて画像を抽出する膨張マスク処理をさらに備え、類似度算出処理は、時系列で入力される各フレーム画像のうち探索領域Ｓ２内で探索枠Ｂを移動させながら、各探索枠位置における探索枠Ｂ内で膨張マスク処理後の画像とテンプレートＴとの類似度を算出するようにしたので、フレーム画像において仮に主要被写体Ａ以外の背景ノイズが含まれる場合でも、この背景ノイズをカットして適切に主要被写体Ａを追跡できる。
【００４５】
（変形例）
上述した実施形態では、カメラ１００の制御装置１０４が被写体追跡処理を行う例を説明したが、被写体追跡処理をコンピュータに行わせるように構成するようにしてもよい。図２、図２１に例示したフローチャートに基づく処理を行うプログラムをコンピュータに実行させることにより、被写体追跡装置を構成する。プログラムをコンピュータに取込んで使用する場合には、コンピュータのデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させる。
【００４６】
コンピュータに対するプログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記憶媒体をコンピュータにセットして行ってもよいし、ネットワークなどの通信回線を経由する方法でコンピュータへローディングしてもよい。通信回線を経由する場合は、通信回線に接続されたサーバー（コンピュータ）のストレージ装置などにプログラムを格納しておく。プログラムは、記憶媒体や通信回線を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。
【００４７】
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。
【符号の説明】
【００４８】
１００…カメラ
１０１…操作部材
１０４…制御装置
１０４ａ…演算部
１０６…モニタ

【特許請求の範囲】
【請求項１】
コンピュータに、
時系列で入力される各フレーム画像の色情報および輝度情報に基づいて複数の要素画像を生成する要素画像生成処理と、
前記複数の要素画像をそれぞれ２値化して複数の２値化要素画像を生成する２値化要素画像生成処理と、
前記複数の２値化要素画像を論理積演算する論理積演算処理と、
前記論理積演算後の２値論理積画像に対するラベリング処理に基づいて、各フレーム画像における主要被写体の位置を特定する特定処理と、
前記特定処理で特定された範囲と所定範囲との論理積演算に基づいて前記特定された範囲を縮小する縮小処理と、
前フレーム画像において前記縮小処理で縮小された範囲を膨張させて前記所定範囲を得るモルフォロジー処理と、
を実行させることを特徴とする被写体追跡プログラム。
【請求項２】
請求項１に記載の被写体追跡プログラムにおいて、
前記要素画像生成処理は、輝度画像および色差画像をそれぞれ生成することを特徴とする被写体追跡プログラム。
【請求項３】
コンピュータに、
テンプレート内の主要被写体の２値化画像を膨張させるモルフォロジー処理と、
前記モルフォロジー処理による膨張後の２値化画像を包絡する範囲を探索領域に決定する探索領域決定処理と、
時系列で入力される各フレーム画像のうち前記探索領域内で探索枠を移動させながら、各探索枠位置における前記探索枠内の画像と前記テンプレートとの類似度を算出する類似度算出処理と、
前記類似度が最も高い前記探索枠の位置を前記主要被写体の位置として特定する特定処理と、
を実行させることを特徴とする被写体追跡プログラム。
【請求項４】
請求項３に記載の被写体追跡プログラムにおいて、
前記フレーム画像から前記膨張後の２値化画像に基づいて画像を抽出する膨張マスク処理をさらに備え、
前記類似度算出処理は、時系列で入力される各フレーム画像のうち前記探索領域内で探索枠を移動させながら、各探索枠位置における前記探索枠内で前記膨張マスク処理後の画像と前記テンプレートとの類似度を算出することを特徴とする被写体追跡プログラム。
【請求項５】
請求項１〜４のいずれか一項に記載の被写体追跡プログラムを実行する実行手段を備えることを特徴とする被写体追跡装置。

【図１】