被写体追尾装置およびカメラ
【課題】被写体を正確に追尾できること。
【解決手段】被写体追尾装置は、入力画像内に設定した第１の探索範囲内の画像に対してテンプレートマッチング処理を行い、追尾被写体位置を特定する第１の追尾手段１２と、入力画像内に設定した第２の探索範囲内の画像に対してラベリング処理を行い、追尾被写体位置を特定する第２の追尾手段１４と、を備え、第１の追尾手段１２が特定した追尾被写体位置と、第２の追尾手段１４が特定した追尾被写体位置との距離が所定値未満である場合には、第１の追尾手段１２または第２の追尾手段１４が特定した追尾被写体位置を用いて次回の第１の探索範囲を設定し、第１の追尾手段１２が特定した追尾被写体位置と、第２の追尾手段１４が特定した追尾被写体位置との距離が所定値以上である場合には、第２の追尾手段１４が特定した追尾被写体位置を用いて次回の第１の探索範囲を設定する。
【解決手段】被写体追尾装置は、入力画像内に設定した第１の探索範囲内の画像に対してテンプレートマッチング処理を行い、追尾被写体位置を特定する第１の追尾手段１２と、入力画像内に設定した第２の探索範囲内の画像に対してラベリング処理を行い、追尾被写体位置を特定する第２の追尾手段１４と、を備え、第１の追尾手段１２が特定した追尾被写体位置と、第２の追尾手段１４が特定した追尾被写体位置との距離が所定値未満である場合には、第１の追尾手段１２または第２の追尾手段１４が特定した追尾被写体位置を用いて次回の第１の探索範囲を設定し、第１の追尾手段１２が特定した追尾被写体位置と、第２の追尾手段１４が特定した追尾被写体位置との距離が所定値以上である場合には、第２の追尾手段１４が特定した追尾被写体位置を用いて次回の第１の探索範囲を設定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体追尾装置およびカメラに関する。
【背景技術】
【０００２】
背景差分法と、動的２値化法と、テンプレートマッチング法とを用いて移動物体を検出する物体検出認識方法が知られている（特許文献１参照）。この方法では、背景差分法および動的２値化法により検出された物体の画像パターンをテンプレートとし、入力画像に対してこのテンプレートを用いてテンプレートマッチング処理を行うことにより、物体の位置を検出する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−１５７５９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来技術では、テンプレートマッチング処理において被写体の位置を誤認識して、被写体の位置が探索範囲から外れてしまうと、被写体を正確に追尾できなくなるという問題があった。
【課題を解決するための手段】
【０００５】
請求項１に記載の発明による被写体追尾装置は、入力画像内に第１の探索範囲を設定し、第１の探索範囲内の画像に対して、追尾被写体の基準となるテンプレート画像を基にテンプレートマッチング処理を行い、処理結果に基づいて追尾被写体位置を特定する第１の追尾手段と、入力画像内に第２の探索範囲を設定し、第２の探索範囲内の画像に対して、追尾被写体の基準となる輝度情報または色情報に基づいて設定された基準値を用いて２値化処理およびラベリング処理を行い、処理結果に基づいて追尾被写体位置を特定する第２の追尾手段と、を備え、第１の追尾手段は、第１の追尾手段が特定した追尾被写体位置と、第２の追尾手段が特定した追尾被写体位置との距離が所定値未満である場合には、第１の追尾手段または第２の追尾手段が特定した追尾被写体位置を用いて次回の第１の探索範囲を設定し、第１の追尾手段が特定した追尾被写体位置と、第２の追尾手段が特定した追尾被写体位置との距離が所定値以上である場合には、第２の追尾手段が特定した追尾被写体位置を用いて次回の第１の探索範囲を設定することを特徴とする。
請求項７に記載の発明による被写体追尾装置は、入力画像内に第１の探索範囲を設定し、第１の探索範囲内の画像に対して第１の被写体追尾処理を行い、処理結果に基づいて追尾被写体位置を特定する第１の追尾手段と、入力画像内に第２の探索範囲を設定し、第２の探索範囲内の画像に対して、第２の被写体追尾処理を行い、処理結果に基づいて追尾被写体位置を特定する第２の追尾手段と、を備え、第１の被写体追尾処理は、第２の被写体追尾処理よりも高速の処理であり、第２の被写体追尾処理は、第１の被写体追尾処理よりも高精度の処理であり、第１の追尾手段は、第１の追尾手段が特定した追尾被写体位置と、第２の追尾手段が特定した追尾被写体位置との距離が所定値未満である場合には、第１の追尾手段または第２の追尾手段が特定した追尾被写体位置を用いて次回の第１の探索範囲を設定し、第１の追尾手段が特定した追尾被写体位置と、第２の追尾手段が特定した追尾被写体位置との距離が所定値以上である場合には、第２の追尾手段が特定した追尾被写体位置を用いて次回の第１の探索範囲を設定することを特徴とする。
請求項８に記載の発明によるカメラは、請求項１〜７のいずれか一項に記載の被写体追尾装置を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、被写体を正確に追尾できる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施の形態による被写体追尾装置を搭載したデジタルカメラの構成を説明する図である。
【図２】デジタルカメラの概略的な動作の流れを示すフローチャートである。
【図３】テンプレートマッチング追尾処理とラベリング追尾処理の実行タイミングを説明する図である。
【図４】ラベリング追尾処理の流れを示すフローチャートである。
【図５】ラベリング追尾処理を説明する図である。
【図６】テンプレートマッチング追尾処理の流れを示すフローチャートである。
【図７】テンプレートマッチング追尾処理を説明する図である。
【図８】テンプレートマッチング追尾処理を説明する図である。
【図９】テンプレートマッチング追尾処理を説明する図である。
【図１０】変形例１によるテンプレートマッチング追尾処理とラベリング追尾処理の実行タイミングを説明する図である。
【図１１】変形例２によるテンプレートマッチング追尾処理とラベリング追尾処理の実行タイミングを説明する図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態による被写体追尾装置を搭載したデジタルカメラの概略的な構成を示す側面図である。
【０００９】
撮影レンズ１および絞り２を介して入射した撮影光束は、図１に例示するミラーダウン状態にある一部半透過のクイックリターンミラー３によって上方へ折り曲げられ、焦点板４へ導かれる。焦点板４へ入射された撮影光束は、撮影レンズ１によって焦点板４の拡散面に結像する。焦点板４で拡散された撮影光束は、ペンタプリズム６へ入射される。ペンタプリズム６は、拡散された被写体光を接眼レンズ７へ導く。ユーザは、不図示の接眼部から接眼レンズ７を通して被写体像を観察可能である。
【００１０】
また、焦点板４で拡散された撮影光束の一部は、測光レンズ８を介して第１撮像素子９の受光面に再結像する。第１撮像素子９は、撮影光束を受光して、測光用の画像信号を出力する。この画像信号は、不図示の画像処理回路を介して第１ブロック化部１１および第２ブロック化部１３に入力される。
【００１１】
また、クイックリターンミラー３を透過した一部の撮影光束は、サブミラー１７によって下方へ折り曲げられ、位相差検出方式の焦点検出部１６へ導かれる。焦点検出部１６は、撮影光束を受光して得られる受光信号に基づいて撮影レンズ１のデフォーカス量を求める。なお、焦点検出部１６は、撮影画面内の複数位置を測距点とし、各測距点に関するデフォーカス量を検出可能となっている。
【００１２】
第１ブロック化部１１は、第１撮像素子９で得られた画像信号を所定数のブロックに分割し、ブロックごとに画像情報（色情報や輝度情報など）を平均化することにより、第１ブロック化画像を生成する。なお、以下の説明では、第１ブロック化画像における１つのブロックを、第１ブロック化画像における１つの画素として説明する。第１ブロック化部１１は、生成した第１ブロック化画像をテンプレートマッチング追尾部１２へ出力する。
【００１３】
テンプレートマッチング追尾部１２は、第１ブロック化部１１から入力された第１ブロック化画像を用いてテンプレートマッチング追尾処理を行う。テンプレートマッチング追尾処理は、公知のテンプレートマッチング処理を行うことにより、撮影画像内における追尾対象の被写体（追尾被写体）の位置を特定する処理である（詳しくは後述する）。テンプレートマッチング追尾部１２は、特定した追尾被写体の位置をＡＦ機能実行部１５へ出力する。
【００１４】
第２ブロック化部１３は、第１撮像素子９で得られた画像信号を、第１ブロック化部１１で分割するブロック数よりも多いブロック数で分割し、ブロックごとに画像情報（色情報や輝度情報など）を平均化することにより、第２ブロック化画像を生成する。なお、以下の説明では、第２ブロック化画像における１つのブロックを、第２ブロック化画像における１つの画素として説明する。第２ブロック化部１３は、生成した第２ブロック化画像をラベリング追尾部１４へ出力する。
【００１５】
ラベリング追尾部１４は、第２ブロック化部１３から入力された第２ブロック化画像を用いてラベリング追尾処理を行う。ラベリング追尾処理は、公知の２値化処理およびラベリング処理を行うことにより、撮影画像内における追尾被写体の位置を特定する処理である（詳しくは後述する）。ラベリング追尾部１４は、特定した追尾被写体の位置をテンプレートマッチング追尾部１２へ出力する。テンプレートマッチング追尾部１２は、ラベリング追尾部１４から出力された追尾被写体の位置を、テンプレートマッチング追尾処理に反映するよう構成されている（詳しくは後述する）。
【００１６】
ＡＦ機能実行部１５は、テンプレートマッチング追尾部１２から出力された追尾被写体の位置に基づいて焦点検出部１６の測距点（ＡＦエリア）を選択し、選択した測距点に関するデフォーカス量を焦点検出部１６から取得する。ＡＦ機能実行部１５は、取得したデフォーカス量を基にレンズ駆動量を演算し、信号接点１８を介してレンズ側マイコン１９へ出力する。レンズ側マイコン１９は、ＡＦ機能実行部１５からのレンズ駆動量を基にレンズ駆動部２０に駆動信号を送り、撮影レンズ１を駆動させる。この結果、追尾被写体の位置に焦点が調節される。
【００１７】
制御部１０は、第１撮像素子９、第１ブロック化部１１、テンプレートマッチング追尾部１２、第２ブロック化部１３、ラベリング追尾部１４、ＡＦ機能実行部１５、および焦点検出部１６などのデジタルカメラの各機能の動作を制御する。
【００１８】
また、デジタルカメラにはユーザが操作する操作部材（不図示）が配置される。操作部材は、ユーザにより操作されると、各操作に応じた操作信号を制御部１０へ送出する。操作部材には、シャッターボタンの半押し時にオンする半押しスイッチ、シャッターボタンの全押し時オンする全押しスイッチ、ＡＦエリアの移動を行うためのエリア移動スイッチなどが含まれる。ユーザは、例えば、エリア移動スイッチを操作することにより、所望のＡＦエリアを選択することができる。ＡＦエリア表示部５は、焦点板４上の被写体像にＡＦエリアを重畳表示する。
【００１９】
シャッターレリーズ後は、クイックリターンミラー３が上方へ回動し、全ての撮影光束はシャッター制御部２１の制御のもと開駆動されるシャッター２２を介して第２撮像素子２３へ導かれ、その撮像面上に被写体像を結像する。第２撮像素子２３は、被写体像を撮像して、撮影用の画像信号を出力する。撮像が終了するとシャッター２２が閉駆動され、クイックリターンミラー３がミラーダウン状態へ戻る。
【００２０】
図２は、本実施形態によるデジタルカメラの概略的な動作を示すフローチャートである。制御部１０は、デジタルカメラの電源がオンされると、図２に例示する処理を起動する。ステップＳ００１において制御部１０は、第１撮像素子９を制御して画像信号を取得させ、ステップＳ００２へ進む。
【００２１】
ステップＳ００２において制御部１０は、追尾動作を行う。すなわち、テンプレートマッチング追尾部１２およびラベリング追尾部１４を制御して、第１撮像素子９からの画像信号を基に、テンプレートマッチング追尾処理およびラベリング追尾処理を行わせ、ステップＳ００３へ進む。
【００２２】
ステップＳ００３において制御部１０は、ＡＦ動作を行う。すなわち、ＡＦ機能実行部１５および焦点検出部１６を制御して、ステップＳ００２のテンプレートマッチング追尾処理の結果を基に測距点を選択させ、選択した測距点に関するデフォーカス量を演算させる。そして、このデフォーカス量に基づいてレンズ駆動量を演算させ、レンズ側マイコン１９に出力させる。この結果、撮影レンズ１が駆動させ、追尾被写体の位置に焦点が調節される。制御部１０は、上記ステップＳ００１からステップＳ００３までの処理を繰り返し行うことにより、デジタルカメラ全体として被写体を追尾してオートフォーカスを行うことができる。
【００２３】
なお、制御部１０は、上記テンプレートマッチング追尾処理およびラベリング追尾処理を並列的に行わせる。図３は、テンプレートマッチング追尾処理およびラベリング追尾処理の実行タイミングを説明する図である。図３の白帯は、処理の実行中であることを示す。テンプレートマッチング追尾部１２およびラベリング追尾部１４は、１つのマイコンで構成される。この１つのマイコンが、テンプレートマッチング追尾処理およびラベリング追尾処理を非同期で実行する。
【００２４】
具体的に、テンプレートマッチング追尾部１２は、所定時間間隔ごとに繰り返しテンプレートマッチング追尾処理を実行する。ラベリング追尾部１４も繰り返しラベリング追尾処理を実行するが、テンプレートマッチング追尾部１２が演算を行っていない間にラベリング追尾処理を実行する。したがって、ラベリング追尾処理の実行中に、テンプレートマッチング追尾処理が開始される際にはラベリング追尾処理を一時中断し、テンプレートマッチング追尾処理が終了するとラベリング追尾処理を再開する。
【００２５】
このようにテンプレートマッチング追尾処理をラベリング追尾処理よりも優先するのは、以下の理由による。テンプレートマッチング処理は、ラベリング処理よりも演算負荷が軽く演算速度が速い。また、上述したように、テンプレートマッチング追尾処理で用いる第１ブロック化画像は、ラベリング追尾処理で用いる第２ブロック化画像よりも画素数（ブロック数）が少ない。したがってテンプレートマッチング追尾処理の処理時間をラベリング追尾処理の処理時間よりも短くできるため、テンプレートマッチング追尾処理では、追尾被写体位置をリアルタイムに特定することができる。ゆえにテンプレートマッチング追尾処理を優先して、リアルタイム性を保持させている。
【００２６】
一方、ラベリング処理は、テンプレートマッチング処理よりも演算速度が遅く処理時間が長くなるが、テンプレートマッチング処理よりも被写体形状の変化などに強い。またラベリング追尾処理では、画素数（ブロック数）の多い第２ブロック化画像を用いる。したがって、ラベリング追尾処理は、テンプレートマッチング追尾処理よりも追尾被写体位置を精度よく特定できる。そこで、本実施形態では、テンプレートマッチング追尾処理が行われていない間にラベリング追尾処理を行い、ラベリング追尾処理の結果をテンプレートマッチング追尾処理に反映させることで、テンプレートマッチング追尾処理の精度を向上するようになっている（詳しくは後述する）。
【００２７】
図４は、ラベリング追尾部１４が行うラベリング追尾処理を示すフローチャートである。ステップＳ２００においてラベリング追尾部１４は、シャッターボタンが半押し状態か否かを判定する。シャッターボタンが半押し状態である場合には、ラベリング追尾部１４は、ステップＳ２００を肯定判定し、ステップＳ２０１へ進む。一方、シャッターボタンが半押し状態ではない場合には、ラベリング追尾部１４は、ステップＳ２００を否定判定して図４の処理を終了し、図２のステップＳ００２へ戻る。
【００２８】
ステップＳ２０１においてラベリング追尾部１４は、ラベリング追尾処理が２回目以降であるか否かを判定する。ここで、ラベリング追尾処理の回数は、シャッターボタンが半押しされた後、最初に行ったラベリング追尾処理を１回目として数える。なお、シャッターボタンの半押し操作が解除された場合は、この回数をリセットする。ラベリング追尾処理が２回目以降である場合には、ラベリング追尾部１４は、ステップＳ２０１を肯定判定してステップＳ２０３へ進む。一方、ラベリング追尾処理が２回目以降ではない（すなわち１回目である）場合には、ラベリング追尾部１４は、ステップＳ２０１を否定判定してステップＳ２０２へ進む。
【００２９】
ステップＳ２０２においてラベリング追尾部１４は、ラベリング追尾処理における初期化処理を行う。この初期化処理では、追尾被写体情報の初期化と各変数の初期化とを行う。まず、追尾被写体情報の初期化について説明する。ラベリング追尾部１４は、第２ブロック化部１３から入力された第２ブロック化画像において、ユーザにより選択されたＡＦエリアに対応する画素（例えばＡＦエリアを含む画素、以下ＡＦエリア画素と呼ぶ）の画像情報（色情報または輝度情報）を、仮の追尾被写体情報として設定する。一般的に、ユーザは、ユーザ自身で選択したＡＦエリアに撮影したい被写体が入るようにデジタルカメラを構えるからである。
【００３０】
次にラベリング追尾部１４は、図５（Ａ）に示すように、第２ブロック化部１３から入力される第２ブロック化画像において、上記ＡＦエリア画素ａ０の位置を中心とした所定サイズの探索範囲ｃ０を設定し、この探索範囲ｃ０内の画像に対して２値化処理を行う。なお、ラベリング追尾処理において設定する探索範囲を、以下ラベリング探索範囲と呼ぶ。この２値化処理では、上記仮の追尾被写体情報を基に閾値を設定し、この閾値を用いて２値化を行うことにより、上記仮の追尾被写体情報と類似する色情報または輝度情報を有する画素を抽出する。
【００３１】
そしてラベリング追尾部１４は、公知のラベリング処理により、上記２値化処理で抽出された画素の連続している部分をグループ化する。ラベリング追尾部１４は、ラベリングにより生成した複数のグループの中から、上記ＡＦエリア画素ａ０を含むグループｂ０を追尾被写体領域として推定する。ラベリング追尾部１４は、追尾被写体領域として推定したグループｂ０に含まれる画素の色情報または輝度情報の平均値を算出し、算出結果を追尾被写体情報として設定する。
【００３２】
なお、上記２値化処理およびラベリング処理では、ＡＦエリア画素ａ０の色情報または輝度情報と類似する色情報または輝度情報を有する画素の領域を抽出してグループ化するようにしたが、周辺領域（例えばＡＦエリアの周囲の領域）の色情報または輝度情報と異なる色情報または輝度情報を有する画素の領域を抽出してグループ化するようにしてもよい。
【００３３】
次に各変数の初期化について説明する。ラベリング追尾処理における変数としては、追尾被写体位置、演算時刻および追尾被写体の大きさ情報が設けられている。各変数の初期化では、ＡＦエリア画素ａ０の位置を追尾被写体位置とし、シャッターボタンの半押し開始時刻を演算時刻とし、追尾被写体領域として推定したグループｂ０の連結画素数を追尾被写体の大きさ情報とする。
【００３４】
以上のように追尾被写体情報の初期化と各変数の初期化とを行うと、ラベリング追尾部１４は、初期化した追尾被写体情報と各変数（追尾被写体位置、演算時刻、追尾被写体の大きさ情報）を、不図示のメモリに記録する。その後、ラベリング追尾部１４は、図４の処理を終了し、図２のステップＳ００２に戻る。
【００３５】
一方、ラベリング追尾処理が２回目以降である場合にステップＳ２０１を肯定判定して進むステップＳ２０３において、ラベリング追尾部１４は、前回（１回目を含む）のラベリング追尾処理の際に記録した追尾被写体位置ａ０をメモリから読み出す。そしてラベリング追尾部１４は、図５（Ｂ）に示すように、第２ブロック化部１３から入力された第２ブロック化画像において、前回の追尾被写体位置ａ０を中心とする所定サイズの範囲を今回のラベリング探索範囲ｃ１として設定し、ステップＳ２０４へ進む。
【００３６】
ステップＳ２０４においてラベリング追尾部１４は、ステップＳ２０３で設定したラベリング探索範囲ｃ１内の画像に対して２値化処理を行う。この２値化処理では、初期化処理（ステップＳ２０２）で設定した追尾被写体情報を基に閾値を設定し、この閾値を用いて２値化を行うことにより、上記追尾被写体情報と類似する色情報または輝度情報を有する画素を抽出する。
【００３７】
ラベリング追尾部１４は、公知のラベリング処理により、上記２値化処理で抽出された画素の連続している部分をグループ化する。ラベリング追尾部１４は、ラベリング処理により生成した複数のグループの中から、例えば前回の追尾被写体位置ａ０に最も近い位置にあるグループｂ１を、追尾被写体領域として推定する。なお、連結画素数が前回の追尾被写体の大きさ情報に最も近いグループｂ１を追尾被写体領域として推定するようにしてもよい。ラベリング追尾部１４は、追尾被写体領域として推定したグループｂ１の重心位置を、今回の追尾被写体位置ａ１として特定する。
【００３８】
また、ラベリング追尾部１４は、追尾被写体領域として推定したグループｂ１の連結画素数を今回の追尾被写体の大きさ情報とし、今回のラベリング追尾処理における演算開始時刻（ステップＳ２０１の半押し判定を開始した時刻）を今回の演算時刻とする。このようにしてラベリング追尾部１４は、２値化処理およびラベリング処理により追尾被写体位置を特定すると、ステップＳ２０５へ進む。ステップＳ２０５において、ラベリング追尾部１４は、ステップＳ２０４で更新した各変数（追尾被写体位置、追尾被写体の大きさ情報、演算時刻）を不図示のメモリに記録する。これらの情報は、ラベリング追尾処理を行うたびに毎回記録されるので、時系列的に複数記録される。
【００３９】
このようにラベリング追尾処理では、前回の追尾被写体位置を用いて今回のラベリング探索範囲を決定する。そして、今回のラベリング探索範囲内の画像に対して２値化処理およびラベリング処理を行うことにより、今回の追尾被写体領域（ラベリング処理によるグループ）、および追尾被写体位置を特定することができる。
【００４０】
図６は、テンプレートマッチング追尾部１２が行うテンプレートマッチング追尾処理を示すフローチャートである。ステップＳ１００においてテンプレートマッチング追尾部１２は、シャッターボタンが半押し状態か否かを判定する。シャッターボタンが半押し状態である場合には、テンプレートマッチング追尾部１２は、ステップＳ１００を肯定判定し、ステップＳ１０１へ進む。一方、シャッターボタンが半押し状態ではない場合には、テンプレートマッチング追尾部１２は、ステップＳ１００を否定判定して図６の処理を終了し、図２のステップＳ００２へ戻る。
【００４１】
ステップＳ１０１においてテンプレートマッチング追尾部１２は、テンプレートマッチング追尾処理が２回目以降であるか否かを判定する。ここで、テンプレートマッチング追尾処理の回数は、シャッターボタンが半押しされた後、最初に行ったテンプレートマッチング追尾処理を１回目として数える。なお、シャッターボタンの半押し操作が解除された場合は、この回数をリセットする。テンプレートマッチング追尾処理が２回目以降である場合には、テンプレートマッチング追尾部１２は、ステップＳ１０１を肯定判定してステップＳ１０３へ進む。一方、テンプレートマッチング追尾処理が２回目以降ではない（すなわち１回目である）場合には、テンプレートマッチング追尾部１２は、ステップＳ１０１を否定判定してステップＳ１０２へ進む。
【００４２】
ステップＳ１０２においてテンプレートマッチング追尾部１２は、テンプレートマッチング追尾処理における初期化処理を行う。この初期化処理では、第１ブロック化部１１から入力された第１ブロック化画像において、図７（Ａ）に示すように、ユーザにより選択されたＡＦエリアに対応する位置（例えばＡＦエリアの中心位置、以下ＡＥエリア位置と呼ぶ）ｄ０を中心とした所定サイズの範囲ｅ０をテンプレート画像として設定する。
【００４３】
またテンプレートマッチング追尾部１２は、上記ＡＦエリア位置ｄ０を中心とした所定サイズの探索範囲を、次回のテンプレートマッチング追尾処理における探索範囲ｆ１として設定する。なお、テンプレートマッチング追尾処理において設定する探索範囲を、以下テンプレート探索範囲と呼ぶ。その後、テンプレートマッチング追尾部１２は、図６の処理を終了し、図２のステップＳ００２に戻る。
【００４４】
一方、テンプレートマッチング追尾処理が２回目以降である場合にステップＳ１０１を肯定判定して進むステップＳ１０３において、テンプレートマッチング追尾部１２は、図７（Ｂ）に示すように、第１ブロック化部１１から入力された第１ブロック化画像から、前回（１回目を含む）のテンプレートマッチング追尾処理において設定したテンプレート探索範囲（すなわち今回のテンプレート探索範囲）ｆ１内の画像を切り出す。
【００４５】
テンプレートマッチング追尾部１２は、切り出した画像に対して、初期化処理（ステップＳ１０２）で設定したテンプレート画像を用いて公知のテンプレートマッチング処理を行う。具体的には、テンプレート探索範囲ｆ１内の画像に対してテンプレート画像を１画素ずつ動かしながら、これらの画像の画像情報（色情報または輝度情報など）の差分演算を行い、テンプレート探索範囲ｆ１内の画像においてテンプレート画像との差分値が最も小さい領域ｅ１を追尾被写体領域として推定する。そして、追尾被写体領域ｅ１の中心位置を、追尾被写体位置ｄ１として特定する。
【００４６】
なお、追尾被写体領域ｅ１における上記差分値、すなわち最小差分値は、追尾被写体領域ｅ１の画像とテンプレート画像との類似度を示す値である。この最小差分値が小さいほど、追尾被写体領域ｅ１の画像とテンプレート画像との類似度が高く、追尾被写体領域ｅ１の画像が追尾被写体に類似していると判断できる。
【００４７】
また、テンプレートマッチング追尾部１２は、テンプレート探索範囲ｆ１内において、テンプレート画像との差分値が上記最小差分値に近い（すなわち上記最小差分値との差分が所定の判定閾値以下である）領域をカウントする。このカウント値は、上記特定した追尾被写体位置ｄ１の信頼度を示す値である。カウント値が小さいほど、追尾被写体領域ｅ１以外ではテンプレート画像と類似する領域が少ないため、追尾被写体領域ｅ１が追尾被写体を正確に捉えている可能性が高く、追尾被写体位置ｄ１の信頼度が高いと判断できる。
【００４８】
このようにテンプレートマッチング処理を用いて追尾被写体位置ｄ１を特定すると、テンプレートマッチング追尾部１２は、ステップＳ１０４へ進む。ステップＳ１０４においてテンプレートマッチング追尾部１２は、上記最小差分値（テンプレート画像との類似度を示す値）、上記カウント値（追尾被写体位置の信頼度を示す値）、および今回のテンプレートマッチング追尾処理における演算開始時刻（ステップＳ１０１の半押し判定を開始した時刻）をメモリに記録する。なお、これらの情報は、テンプレートマッチング追尾処理を行うたびに毎回記録されるので、時系列的に複数記録される。その後、テンプレートマッチング追尾部１２は、ステップＳ１０５へ進む。
【００４９】
ステップＳ１０５においてテンプレートマッチング追尾部１２は、最新のラベリング追尾処理により特定された追尾被写体位置Ｌｂをメモリから読み出す。そして、ステップＳ１０４で特定した（すなわちテンプレートマッチングによる）追尾被写体位置ＴＭと、ラベリングによる追尾被写体位置Ｌｂとの距離を算出し、これらの距離が所定の判定閾値Ｔｈ以上であるか否かを判定する。
【００５０】
上記距離が判定閾値Ｔｈ以上であることは、テンプレートマッチング追尾処理の結果とラベリング追尾処理の結果とが異なることを意味する。この場合、これらの処理のいずれかが誤認識である可能性がある。上述したように、通常、テンプレートマッチング追尾処理よりもラベリング追尾処理の方が追尾精度が高いため、特にテンプレートマッチング処理において追尾被写体位置ＴＭを誤認識している可能性が高い。この場合のテンプレートマッチング追尾部１２は、ステップＳ１０５を肯定判定してステップＳ１０６へ進む。
【００５１】
一方、上記距離が判定閾値Ｔｈ未満であることは、テンプレートマッチング追尾処理の結果とラベリング追尾処理の結果とがほぼ同一であることを意味する。この場合には、テンプレートマッチングによる追尾被写体位置ＴＭおよびラベリングによる追尾被写体位置Ｌｂの双方が正確である可能性が高い。この場合のテンプレートマッチング追尾部１２は、ステップＳ１０５を否定判定してステップＳ１０９へ進む。ステップＳ１０９において、テンプレートマッチング追尾部１２は、図７（Ｂ）に示すように、テンプレートマッチングによる追尾被写体位置ｄ１を中心とした所定サイズの範囲を、次回のテンプレート探索範囲ｆ２として設定して、図６の処理を終了する。
【００５２】
ステップＳ１０５を肯定判定して進むステップＳ１０６において、テンプレートマッチング追尾部１２は、テンプレートマッチングによる追尾被写体位置ＴＭの演算時刻ＴＭｔと、ラベリングによる追尾被写体位置Ｌｂの演算時刻Ｌｂｔとの差分を算出し、この差分の絶対値が所定の判定閾値Ｔｈｔ未満であるか否かを判定する。
【００５３】
上述したように、テンプレートマッチング追尾処理とラベリング追尾処理とは、それぞれ処理にかかる時間が異なるため、処理結果が得られる時間が異なる。ラベリングによる追尾被写体位置Ｌｂの演算時刻Ｌｂｔがテンプレートマッチングによる追尾被写体位置ＴＭの演算時刻ＴＭｔから離れ過ぎている場合、ラベリング処理結果が古く現在の追尾被写体位置を捉えていない可能性が高い。そこで、テンプレートマッチング追尾部１２は、上記差分の絶対値が判定閾値Ｔｈｔ以上である場合、ステップＳ１０６を否定判定して上述したステップＳ１０３へ進む。そして、テンプレートマッチングによる追尾被写体位置ＴＭを用いて次回のテンプレート探索範囲ｆ２を設定して、図６の処理を終了する。
【００５４】
一方、上記差分の絶対値が判定閾値Ｔｈｔ未満である場合は、ラベリングによる追尾被写体位置Ｌｂが現在の追尾被写体位置を捉えている可能性が高い。この場合のテンプレートマッチング追尾部１２は、ステップＳ１０６を肯定判定してステップＳ１０７へ進む。
【００５５】
ステップＳ１０７において、テンプレートマッチング追尾部１２は、テンプレートマッチングによる追尾被写体位置ＴＭの信頼度が高いか否かを判定する。具体的には、テンプレートマッチングによる追尾被写体位置ＴＭの信頼度を示す値（上記カウント値）ＴＭｓが所定の判定閾値ＴＨｓ未満であるか否かを判定する。テンプレートマッチング追尾部１２は、上記カウント値ＴＭｓが判定閾値ＴＨｓ未満である場合、テンプレートマッチングによる追尾被写体位置ＴＭの信頼度が高いと判定する。この信頼度が高い場合には、ラベリングによる追尾被写体位置Ｌｂよりもテンプレートマッチングによる追尾被写体位置ＴＭの方が現在の追尾被写体位置を正確に捉えていることが推測される。そこで、この場合のテンプレートマッチング追尾部１２は、ステップＳ１０７を肯定判定し、ステップＳ１０３へ進む。そして、テンプレートマッチングによる追尾被写体位置ＴＭを用いて次回のテンプレート探索範囲ｆ２を設定して、図６の処理を終了する。
【００５６】
一方、テンプレートマッチング追尾部１２は、上記カウント値ＴＭｓが判定閾値ＴＨｓ以上である場合、追尾被写体位置ＴＭの信頼度が低いと判定してステップＳ１０７を否定判定し、ステップＳ１０８へ進む。
【００５７】
なお、上記カウント値ＴＭｓが判定閾値ＴＨｓ未満であっても、上記最小差分値が大きい場合には、追尾被写体領域ｅ１の画像とテンプレート画像との類似度が低く、追尾被写体位置ＴＭが追尾被写体位置を捉えていない可能性が高い。そこで上記カウント値ＴＭｓが判定閾値ＴＨｓ未満であっても、上記最小差分値が所定の判定閾値以上である場合には、追尾被写体位置ＴＭの信頼度が低いと判定してステップＳ１０７を否定判定し、ステップＳ１０８へ進むようにしてもよい。
【００５８】
ステップＳ１０５からステップＳ１０７の判定を経てステップＳ１０８に達したことは、テンプレートマッチングによる追尾被写体位置ＴＭが誤認識である可能性が高いことを意味する。例えば、図８（Ａ）に示すように、テンプレート探索範囲ｈ１内においてテンプレートマッチング処理を行って推定した追尾被写体領域ｇ１が誤っていた場合、追尾被写体領域ｇ１を基に特定する追尾被写体位置ｉ１も誤った位置となる。図８（Ｂ）に示すように、誤った追尾被写体位置ｉ１を中心とした所定サイズの範囲を次回のテンプレート探索範囲ｈ２として設定した場合、追尾被写体がテンプレート探索範囲ｈ２から外れてしまう。この場合、テンプレートマッチング処理を行っても、正確に追尾被写体位置を特定することができない。そこで、ステップＳ１０５からステップＳ１０７の判定を経てステップＳ１０８に達した場合には、以下に述べるとおり、テンプレートマッチングによる追尾被写体位置ＴＭを用いずに次回のテンプレート探索範囲を設定する。
【００５９】
ステップＳ１０８においてテンプレートマッチング追尾部１２は、ラベリング追尾部１４で推定した追尾被写体の大きさ情報の変化度合いを基にラベリングによる追尾被写体位置Ｌｂの信頼度が高いか否かを判定する。具体的には、ラベリング追尾処理における最新（今回）の追尾被写体の大きさ情報Ｓ１および演算時刻ｔ１と、前回の追尾被写体の大きさ情報Ｓ２および演算時刻ｔ２と、前々回の追尾被写体の大きさ情報Ｓ３および演算時刻ｔ３とをメモリから読み出す。そして、読み出したこれらの情報を、追尾被写体の大きさ情報Ｓを演算時刻ｔの２次関数で表した次式（１）に代入する。なお、次式（１）におけるａ、ｂ、ｃは係数である。
Ｓ＝ｆ(ｔ)＝ａｔ２＋ｂｔ＋ｃ … （１）
【００６０】
上記代入の結果、３元一次の連立方程式である次式（２）〜（４）を得る。
Ｓ１＝ａ(ｔ１)２＋ｂ(ｔ１)＋ｃ … （２）
Ｓ２＝ａ(ｔ２)２＋ｂ(ｔ２)＋ｃ … （３）
Ｓ３＝ａ(ｔ３)２＋ｂ(ｔ３)＋ｃ … （４）
【００６１】
そして、次式（５）を用いて、上記式（２）〜（４）をｔの二次の係数ａについて解くことにより、追尾被写体の大きさ情報の変化加速度ａを算出する。
【数１】
【００６２】
追尾被写体の大きさ情報の変化加速度ａの絶対値が大きい場合、追尾被写体領域として推定したグループの大きさが急激に変化したことを意味する。実際上、追尾被写体がデジタルカメラに対して近づいたり遠ざかったりする場合には、撮影画像内において追尾被写体の大きさが徐々に変化することが多いが、追尾被写体の大きさが急激に変化する可能性は低い。したがって、追尾被写体領域と推定したグループの大きさが急激に変化した場合は、ラベリング追尾部１４が誤認識した可能性が高い。
【００６３】
そこで、テンプレートマッチング追尾部１２は、上記変化加速度ａが所定の判定閾値Ｔ未満である場合は、ラベリングによる追尾被写体位置Ｌｂの信頼度が高いと判定してステップＳ１０８を肯定判定し、ステップＳ１１０へ進む。一方、テンプレートマッチング追尾部１２は、上記変化加速度ａが判定閾値Ｔ以上である場合は、ラベリングによる追尾被写体位置Ｌｂの信頼度が低いと判定してステップＳ１０８を否定判定し、ステップＳ１１１へ進む。
【００６４】
ステップＳ１１０へ進むことは、テンプレートマッチングによる追尾被写体位置ＴＭは誤認識の可能性が高いが、ラベリングによる追尾被写体位置Ｌｂは信頼できることを意味する。例えば、図９（Ａ）に示すように、テンプレート探索範囲ｈ１内においてテンプレートマッチング処理を行って推定した追尾被写体領域ｇ１が誤認識であった場合、追尾被写体領域ｇ１を基に特定する追尾被写体位置ｉ１も誤った位置となる。しかしながら、ラベリング処理により推定した追尾被写体領域ｋ１が正確であった場合、追尾被写体領域ｋ１を基に特定する追尾被写体位置ｊ１も正確な位置となる。そこで、図９（Ｂ）に示すように、この正確な追尾被写体位置ｊ１を中心とした所定サイズの範囲を次回のテンプレート探索範囲ｈ２として設定すれば、テンプレート探索範囲ｈ２から追尾被写体が外れず、次回のテンプレートマッチング追尾処理において、追尾被写体領域ｇ２および追尾被写体位置ｉ２を正確に特定できる。
【００６５】
そこでステップＳ１１０において、テンプレートマッチング追尾部１２は、ラベリングによる追尾被写体位置Ｌｂを中心とした所定サイズの範囲を次回のテンプレート探索範囲として設定する。その後、図６の処理を終了し、図２のステップＳ００２に戻る。
【００６６】
一方、ステップＳ１１１へ進むことは、テンプレートマッチングによる追尾被写体位置ＴＭとラベリングによる追尾被写体位置Ｌｂの双方が信頼できないことを意味する。そこでステップＳ１１１においてテンプレートマッチング追尾部１２は、今回のテンプレート探索範囲と同様の範囲を、次回のテンプレート探索範囲として設定する。すなわち、テンプレート探索範囲を変更しない。その後、図６の処理を終了し、図２のステップＳ００２に戻る。
【００６７】
以上説明した実施形態によれば、次の作用効果が得られる。
（１）被写体追尾装置は、第１ブロック化画像内にテンプレート探索範囲を設定し、テンプレート探索範囲内の画像に対して、追尾被写体の基準となるテンプレート画像を基にテンプレートマッチング処理を行い、当該処理結果に基づいて追尾被写体位置ＴＭを特定するテンプレートマッチング追尾部１２と、第２ブロック化画像内にラベリング探索範囲を設定し、ラベリング探索範囲内の画像に対して、追尾被写体の基準となる輝度情報または色情報（追尾被写体情報）に基づいて設定された基準値（閾値）を用いて２値化処理およびラベリング処理を行い、当該処理結果に基づいて追尾被写体位置Ｌｂを特定するラベリング追尾部１４と、を備え、テンプレートマッチング追尾部１２は、テンプレートマッチング追尾部１２が特定した追尾被写体位置ＴＭと、ラベリング追尾部１４が特定した追尾被写体位置Ｌｂとの距離が所定の判定閾値Ｔｈ未満である場合には、テンプレートマッチング追尾部１２が特定した追尾被写体位置ＴＭを用いて次回のテンプレート探索範囲を設定し、テンプレートマッチング追尾部１２が特定した追尾被写体位置ＴＭと、ラベリング追尾部１４が特定した追尾被写体位置Ｌｂとの距離が所定の判定閾値Ｔｈ以上である場合には、ラベリング追尾部１４が特定した追尾被写体位置Ｌｂを用いて次回のテンプレート探索範囲を設定するように構成したので、被写体を正確に追尾できる。例えば、被写体の形状が変化した場合やテンプレート画像に背景成分を含んだ場合にテンプレートマッチング追尾部１２が追尾被写体位置ＴＭを誤認識した場合に、ラベリング追尾部１４が特定した追尾被写体位置Ｌｂを用いて次回のテンプレート探索範囲を設定できるので、追尾被写体位置がテンプレート探索範囲から外れることなく、被写体の追尾を精度よく継続することができる。
【００６８】
（２）上記（１）の被写体追尾装置において、テンプレートマッチング追尾部１２は、テンプレートマッチング追尾部１２が特定した追尾被写体位置ＴＭと、ラベリング追尾部１４が特定した追尾被写体位置Ｌｂとの距離が所定の判定閾値Ｔｈ以上であっても、ラベリング追尾部１４が特定した追尾被写体位置ＴＭの演算時刻がテンプレートマッチング追尾部１２が特定した追尾被写体位置Ｌｂの演算時刻から所定時間Ｔｈｔ以上離れている場合には、テンプレートマッチング追尾部１２が特定した追尾被写体位置ＴＭを用いて次回のテンプレート探索範囲を設定するように構成したので、古いラベリング追尾処理の結果を用いてしまうのを防止できる。
【００６９】
（３）上記（１）または（２）の被写体追尾装置において、テンプレートマッチング追尾部１２は、テンプレートマッチング追尾部１２が特定した追尾被写体位置ＴＭの信頼度を判定し、テンプレートマッチング追尾部１２が特定した追尾被写体位置ＴＭと、ラベリング追尾部１４が特定した追尾被写体位置Ｌｂとの距離が所定の判定閾値Ｔｈ以上であっても、上記信頼度が高いと判定した場合には、テンプレートマッチング追尾部１２が特定した追尾被写体位置ＴＭを用いて次回のテンプレート探索範囲を設定するように構成したので、２つの被写体追尾処理のうち追尾被写体位置を正確に捉えている方の処理結果を用いて適切に次回のテンプレート探索範囲を設定できる。
【００７０】
（４）上記（１）〜（３）の被写体追尾装置において、テンプレートマッチング追尾部１２は、ラベリング追尾部１４が特定した追尾被写体位置Ｌｂの信頼度を判定し、テンプレートマッチング追尾部１２が特定した追尾被写体位置ＴＭと、ラベリング追尾部１４が特定した追尾被写体位置Ｌｂとの距離が所定の判定閾値Ｔｈ以上であっても、上記信頼度が低いと判定した場合には、今回と同様のテンプレート探索範囲を次回のテンプレート探索範囲として設定するように構成したので、テンプレートマッチング追尾処理およびラベリング追尾処理の双方が誤認識した場合でも、追尾被写体がテンプレート探索範囲から外れるのを防止できる。
【００７１】
（５）上記（１）〜（４）の被写体追尾装置において、入力画像（第１撮像素子９からの画像）を、第１の数のブロックに分割する第１ブロック化部１１と、入力画像を、第１の数よりも多い第２の数のブロックに分割する第２ブロック化部１３と、をさらに備え、テンプレートマッチング追尾部１２は、第１の数のブロックに分割された入力画像を用いてテンプレートマッチング処理を行い、ラベリング追尾部１４は、第２の数のブロックに分割された入力画像を用いて２値化処理およびラベリング処理を行うように構成したので、テンプレートマッチング追尾処理においては演算負荷を軽くしてリアルタイム性を保持でき、ラベリング追尾処理においては被写体の大きさが小さい場合でも精度よく追尾被写体位置を特定できる。
【００７２】
（変形例１）
上述した実施の形態では、１つのマイコンがテンプレートマッチング追尾処理およびラベリング追尾処理を非同期で演算する場合について説明したが、テンプレートマッチング追尾処理をＭ回行う間にラベリング追尾処理をＮ回行うようにするなど、これらの処理を同期で演算するようにしてもよい。
【００７３】
図１０は、変形例１によるテンプレートマッチング追尾処理とラベリング追尾処理の実行タイミングを説明する図である。図１０では、テンプレートマッチング追尾処理を２回実行する間に、ラベリング追尾処理を１回実行するように構成した場合を示している。この場合のテンプレートマッチング追尾部１２は、テンプレートマッチング追尾処理を２回分演算したときに、ラベリング追尾処理の１回分の演算が終わっていない場合、次のテンプレートマッチング追尾処理を開始せず、ラベリング追尾処理の結果が出るまで待機する。
【００７４】
（変形例２）
上述した実施の形態では、１つのマイコンでテンプレートマッチング追尾処理およびラベリング追尾処理を演算する場合について説明したが、２つのマイコンを設け、それぞれの処理を独立して実行するようにしてもよい。
【００７５】
図１１は、変形例２によるテンプレートマッチング追尾処理とラベリング追尾処理の実行タイミングを説明する図である。例えば、テンプレートマッチング用マイコンが、所定時間間隔ごとに繰り返しテンプレートマッチング追尾処理を行う。ラベリング用マイコンは、テンプレートマッチング追尾処理の実行タイミングによらず、独立して繰り返しラベリング追尾処理を行う。なお、図１１では、テンプレートマッチング追尾処理およびラベリング追尾処理を非同期で演算する場合を示したが、テンプレートマッチング追尾処理をＭ回行う間にラベリング追尾処理をＮ回行うようにするなど、これらの処理を同期で演算するようにしてもよい。
【００７６】
（変形例３）
上述した実施の形態では、シャッターボタンが半押しされている間、テンプレートマッチング追尾処理およびラベリング追尾処理を実行する場合について説明した。これに限らず、連写撮影などの演算負荷が重い処理を実行している際には、ラベリング追尾処理を停止し、テンプレートマッチング追尾処理のみを実行するようにしてもよい。こうすることにより、演算負荷が重い処理を実行している際にも、被写体追尾のリアルタイム性を保持できる。
【００７７】
（変形例４）
上述した実施の形態では、シャッターボタンが半押しされると、テンプレートマッチング追尾処理およびラベリング追尾処理を開始する場合について説明した。これに限らず、半押し開始時にはテンプレートマッチング追尾処理のみを開始し、テンプレートマッチング追尾処理の信頼度が低くなってきたと判定した場合にラベリング追尾処理を開始するようにしてもよい。この場合、上記カウント値が所定の判定閾値以上となった場合に、信頼度が低いと判定する。
【００７８】
またテンプレート画像との類似度が低くなってきたと判定した場合にラベリング追尾処理を開始するようにしてもよい。この場合、上記最小差分値が所定の判定閾値以上となった場合に、類似度が低いと判定する。
【００７９】
このように構成することにより、被写体追尾処理全体の処理負荷を軽減して高速演算を行うことができ、さらに追従性を向上することができる。
【００８０】
（変形例５）
上述した実施の形態では、第１ブロック化画像を用いてテンプレートマッチング追尾処理を行い、第２ブロック化画像を用いてラベリング追尾処理を行う場合について説明した。これに限らず、テンプレートマッチング追尾処理においては第１撮像素子９からの入力画像をブロック化して用いるようにし、ラベリング追尾処理においては第１撮像素子９からの入力画像をブロック化せずに用いるようにしてもよい。こうすることでも、テンプレートマッチング追尾処理においては演算負荷を軽くしてリアルタイム性を保持でき、ラベリング追尾処理においては被写体の大きさが小さい場合でも精度よく追尾被写体位置を特定できる。
【００８１】
またこれに限らず、画像処理能力が高性能である場合や、追尾被写体が小さく且つ大きな移動はないと判定したため高速演算が不要である場合など、高画素数であっても対応できる場合には、テンプレートマッチング追尾処理およびラベリング追尾処理の双方において、第１撮像素子９からの入力画像をブロック化せずに用いるようにしてもよい。
【００８２】
（変形例６）
上述した実施の形態では、テンプレートマッチングによる追尾被写体位置ＴＭとラベリングによる追尾被写体位置Ｌｂとの距離が判定閾値Ｔｈ未満である場合には、テンプレートマッチングによる追尾被写体位置ＴＭを用いて次回のテンプレート探索範囲を設定するようにした。これに限らず、上記距離が判定閾値Ｔｈ未満である場合に、ラベリングによる追尾被写体位置Ｌｂを用いて次回のテンプレート探索範囲を設定するようにしてもよい。
【００８３】
（変形例７）
上述した実施の形態では、ステップＳ１０５からステップＳ１０８の判定を経てステップＳ１１０へ進む場合に、ラベリングによる被写体追尾位置Ｌｂを用いて次回のテンプレート探索範囲を設定するようにした。これに限らず、例えば、ステップＳ１０５で肯定判定を得た（すなわちテンプレートマッチングによる追尾被写体位置ＴＭと、ラベリングによる追尾被写体位置Ｌｂとの距離が判定閾値Ｔｈ以上である）場合には、ステップＳ１０６〜１０８の判定を省略して、ステップＳ１１０へ進むようにしてもよい。また、ステップＳ１０６〜１０８の判定のうち、いずれか１つまたは２つを省略するようにしてもよい。
【００８４】
（変形例８）
上述した実施の形態では、テンプレートマッチング追尾処理およびラベリング追尾処理を実行する場合について説明したが、この他の被写体追尾処理を実行するようにしてもよい。
【００８５】
具体的には、２つの被写体追尾処理（第１の被写体追尾処理および第２の被写体追尾処理）を実行するデジタルカメラにおいて、第１の被写体追尾処理が第２の被写体追尾処理よりも高速の処理であり、第２の被写体追尾処理が第１の被写体追尾処理よりも高精度の処理であるように構成する。そして、第１の被写体追尾処理により特定した追尾被写体位置と、第２の被写体追尾処理により特定した追尾被写体位置との距離が所定値未満である場合には、第１の被写体追尾処理または第２の被写体追尾処理により特定した追尾被写体位置を用いて次回の第１の被写体追尾処理による探索範囲を設定する。一方、上記距離が所定値以上である場合には、第２の被写体追尾処理により特定した追尾被写体位置を用いて次回の第１の被写体追尾処理による探索範囲を設定する。こうすることにより、上述した実施の形態と同様に、高速の処理である第１の被写体追尾処理を用いてリアルタイムに被写体を追尾できると共に、高精度の処理である第２の被写体追尾処理を用いて第１の被写体追尾処理の追尾性能を向上できる。
【００８６】
なお、第１または第２の被写体追尾処理としては、上記テンプレートマッチング追尾処理およびラベリング追尾処理以外にも、例えば、背景差分法を用いた被写体追尾処理など種々の被写体追尾処理を用いることができる。
【００８７】
（変形例９）
上述した実施の形態では、本発明をデジタルカメラに適用する場合について説明した。しかしながら、本発明は、動画データを読み込んで、動画中の被写体をフレーム間で追尾するための被写体追尾装置として、たとえばパソコンや携帯端末などに適用することも可能である。
【００８８】
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。
【符号の説明】
【００８９】
１…撮影レンズ
９…第１撮像素子
１０…制御部
１１…第１ブロック化部
１２…テンプレートマッチング追尾部
１３…第２ブロック化部
１４…ラベリング追尾部
１５…ＡＦ機能実行部
【技術分野】
【０００１】
本発明は、被写体追尾装置およびカメラに関する。
【背景技術】
【０００２】
背景差分法と、動的２値化法と、テンプレートマッチング法とを用いて移動物体を検出する物体検出認識方法が知られている（特許文献１参照）。この方法では、背景差分法および動的２値化法により検出された物体の画像パターンをテンプレートとし、入力画像に対してこのテンプレートを用いてテンプレートマッチング処理を行うことにより、物体の位置を検出する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−１５７５９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来技術では、テンプレートマッチング処理において被写体の位置を誤認識して、被写体の位置が探索範囲から外れてしまうと、被写体を正確に追尾できなくなるという問題があった。
【課題を解決するための手段】
【０００５】
請求項１に記載の発明による被写体追尾装置は、入力画像内に第１の探索範囲を設定し、第１の探索範囲内の画像に対して、追尾被写体の基準となるテンプレート画像を基にテンプレートマッチング処理を行い、処理結果に基づいて追尾被写体位置を特定する第１の追尾手段と、入力画像内に第２の探索範囲を設定し、第２の探索範囲内の画像に対して、追尾被写体の基準となる輝度情報または色情報に基づいて設定された基準値を用いて２値化処理およびラベリング処理を行い、処理結果に基づいて追尾被写体位置を特定する第２の追尾手段と、を備え、第１の追尾手段は、第１の追尾手段が特定した追尾被写体位置と、第２の追尾手段が特定した追尾被写体位置との距離が所定値未満である場合には、第１の追尾手段または第２の追尾手段が特定した追尾被写体位置を用いて次回の第１の探索範囲を設定し、第１の追尾手段が特定した追尾被写体位置と、第２の追尾手段が特定した追尾被写体位置との距離が所定値以上である場合には、第２の追尾手段が特定した追尾被写体位置を用いて次回の第１の探索範囲を設定することを特徴とする。
請求項７に記載の発明による被写体追尾装置は、入力画像内に第１の探索範囲を設定し、第１の探索範囲内の画像に対して第１の被写体追尾処理を行い、処理結果に基づいて追尾被写体位置を特定する第１の追尾手段と、入力画像内に第２の探索範囲を設定し、第２の探索範囲内の画像に対して、第２の被写体追尾処理を行い、処理結果に基づいて追尾被写体位置を特定する第２の追尾手段と、を備え、第１の被写体追尾処理は、第２の被写体追尾処理よりも高速の処理であり、第２の被写体追尾処理は、第１の被写体追尾処理よりも高精度の処理であり、第１の追尾手段は、第１の追尾手段が特定した追尾被写体位置と、第２の追尾手段が特定した追尾被写体位置との距離が所定値未満である場合には、第１の追尾手段または第２の追尾手段が特定した追尾被写体位置を用いて次回の第１の探索範囲を設定し、第１の追尾手段が特定した追尾被写体位置と、第２の追尾手段が特定した追尾被写体位置との距離が所定値以上である場合には、第２の追尾手段が特定した追尾被写体位置を用いて次回の第１の探索範囲を設定することを特徴とする。
請求項８に記載の発明によるカメラは、請求項１〜７のいずれか一項に記載の被写体追尾装置を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、被写体を正確に追尾できる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施の形態による被写体追尾装置を搭載したデジタルカメラの構成を説明する図である。
【図２】デジタルカメラの概略的な動作の流れを示すフローチャートである。
【図３】テンプレートマッチング追尾処理とラベリング追尾処理の実行タイミングを説明する図である。
【図４】ラベリング追尾処理の流れを示すフローチャートである。
【図５】ラベリング追尾処理を説明する図である。
【図６】テンプレートマッチング追尾処理の流れを示すフローチャートである。
【図７】テンプレートマッチング追尾処理を説明する図である。
【図８】テンプレートマッチング追尾処理を説明する図である。
【図９】テンプレートマッチング追尾処理を説明する図である。
【図１０】変形例１によるテンプレートマッチング追尾処理とラベリング追尾処理の実行タイミングを説明する図である。
【図１１】変形例２によるテンプレートマッチング追尾処理とラベリング追尾処理の実行タイミングを説明する図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態による被写体追尾装置を搭載したデジタルカメラの概略的な構成を示す側面図である。
【０００９】
撮影レンズ１および絞り２を介して入射した撮影光束は、図１に例示するミラーダウン状態にある一部半透過のクイックリターンミラー３によって上方へ折り曲げられ、焦点板４へ導かれる。焦点板４へ入射された撮影光束は、撮影レンズ１によって焦点板４の拡散面に結像する。焦点板４で拡散された撮影光束は、ペンタプリズム６へ入射される。ペンタプリズム６は、拡散された被写体光を接眼レンズ７へ導く。ユーザは、不図示の接眼部から接眼レンズ７を通して被写体像を観察可能である。
【００１０】
また、焦点板４で拡散された撮影光束の一部は、測光レンズ８を介して第１撮像素子９の受光面に再結像する。第１撮像素子９は、撮影光束を受光して、測光用の画像信号を出力する。この画像信号は、不図示の画像処理回路を介して第１ブロック化部１１および第２ブロック化部１３に入力される。
【００１１】
また、クイックリターンミラー３を透過した一部の撮影光束は、サブミラー１７によって下方へ折り曲げられ、位相差検出方式の焦点検出部１６へ導かれる。焦点検出部１６は、撮影光束を受光して得られる受光信号に基づいて撮影レンズ１のデフォーカス量を求める。なお、焦点検出部１６は、撮影画面内の複数位置を測距点とし、各測距点に関するデフォーカス量を検出可能となっている。
【００１２】
第１ブロック化部１１は、第１撮像素子９で得られた画像信号を所定数のブロックに分割し、ブロックごとに画像情報（色情報や輝度情報など）を平均化することにより、第１ブロック化画像を生成する。なお、以下の説明では、第１ブロック化画像における１つのブロックを、第１ブロック化画像における１つの画素として説明する。第１ブロック化部１１は、生成した第１ブロック化画像をテンプレートマッチング追尾部１２へ出力する。
【００１３】
テンプレートマッチング追尾部１２は、第１ブロック化部１１から入力された第１ブロック化画像を用いてテンプレートマッチング追尾処理を行う。テンプレートマッチング追尾処理は、公知のテンプレートマッチング処理を行うことにより、撮影画像内における追尾対象の被写体（追尾被写体）の位置を特定する処理である（詳しくは後述する）。テンプレートマッチング追尾部１２は、特定した追尾被写体の位置をＡＦ機能実行部１５へ出力する。
【００１４】
第２ブロック化部１３は、第１撮像素子９で得られた画像信号を、第１ブロック化部１１で分割するブロック数よりも多いブロック数で分割し、ブロックごとに画像情報（色情報や輝度情報など）を平均化することにより、第２ブロック化画像を生成する。なお、以下の説明では、第２ブロック化画像における１つのブロックを、第２ブロック化画像における１つの画素として説明する。第２ブロック化部１３は、生成した第２ブロック化画像をラベリング追尾部１４へ出力する。
【００１５】
ラベリング追尾部１４は、第２ブロック化部１３から入力された第２ブロック化画像を用いてラベリング追尾処理を行う。ラベリング追尾処理は、公知の２値化処理およびラベリング処理を行うことにより、撮影画像内における追尾被写体の位置を特定する処理である（詳しくは後述する）。ラベリング追尾部１４は、特定した追尾被写体の位置をテンプレートマッチング追尾部１２へ出力する。テンプレートマッチング追尾部１２は、ラベリング追尾部１４から出力された追尾被写体の位置を、テンプレートマッチング追尾処理に反映するよう構成されている（詳しくは後述する）。
【００１６】
ＡＦ機能実行部１５は、テンプレートマッチング追尾部１２から出力された追尾被写体の位置に基づいて焦点検出部１６の測距点（ＡＦエリア）を選択し、選択した測距点に関するデフォーカス量を焦点検出部１６から取得する。ＡＦ機能実行部１５は、取得したデフォーカス量を基にレンズ駆動量を演算し、信号接点１８を介してレンズ側マイコン１９へ出力する。レンズ側マイコン１９は、ＡＦ機能実行部１５からのレンズ駆動量を基にレンズ駆動部２０に駆動信号を送り、撮影レンズ１を駆動させる。この結果、追尾被写体の位置に焦点が調節される。
【００１７】
制御部１０は、第１撮像素子９、第１ブロック化部１１、テンプレートマッチング追尾部１２、第２ブロック化部１３、ラベリング追尾部１４、ＡＦ機能実行部１５、および焦点検出部１６などのデジタルカメラの各機能の動作を制御する。
【００１８】
また、デジタルカメラにはユーザが操作する操作部材（不図示）が配置される。操作部材は、ユーザにより操作されると、各操作に応じた操作信号を制御部１０へ送出する。操作部材には、シャッターボタンの半押し時にオンする半押しスイッチ、シャッターボタンの全押し時オンする全押しスイッチ、ＡＦエリアの移動を行うためのエリア移動スイッチなどが含まれる。ユーザは、例えば、エリア移動スイッチを操作することにより、所望のＡＦエリアを選択することができる。ＡＦエリア表示部５は、焦点板４上の被写体像にＡＦエリアを重畳表示する。
【００１９】
シャッターレリーズ後は、クイックリターンミラー３が上方へ回動し、全ての撮影光束はシャッター制御部２１の制御のもと開駆動されるシャッター２２を介して第２撮像素子２３へ導かれ、その撮像面上に被写体像を結像する。第２撮像素子２３は、被写体像を撮像して、撮影用の画像信号を出力する。撮像が終了するとシャッター２２が閉駆動され、クイックリターンミラー３がミラーダウン状態へ戻る。
【００２０】
図２は、本実施形態によるデジタルカメラの概略的な動作を示すフローチャートである。制御部１０は、デジタルカメラの電源がオンされると、図２に例示する処理を起動する。ステップＳ００１において制御部１０は、第１撮像素子９を制御して画像信号を取得させ、ステップＳ００２へ進む。
【００２１】
ステップＳ００２において制御部１０は、追尾動作を行う。すなわち、テンプレートマッチング追尾部１２およびラベリング追尾部１４を制御して、第１撮像素子９からの画像信号を基に、テンプレートマッチング追尾処理およびラベリング追尾処理を行わせ、ステップＳ００３へ進む。
【００２２】
ステップＳ００３において制御部１０は、ＡＦ動作を行う。すなわち、ＡＦ機能実行部１５および焦点検出部１６を制御して、ステップＳ００２のテンプレートマッチング追尾処理の結果を基に測距点を選択させ、選択した測距点に関するデフォーカス量を演算させる。そして、このデフォーカス量に基づいてレンズ駆動量を演算させ、レンズ側マイコン１９に出力させる。この結果、撮影レンズ１が駆動させ、追尾被写体の位置に焦点が調節される。制御部１０は、上記ステップＳ００１からステップＳ００３までの処理を繰り返し行うことにより、デジタルカメラ全体として被写体を追尾してオートフォーカスを行うことができる。
【００２３】
なお、制御部１０は、上記テンプレートマッチング追尾処理およびラベリング追尾処理を並列的に行わせる。図３は、テンプレートマッチング追尾処理およびラベリング追尾処理の実行タイミングを説明する図である。図３の白帯は、処理の実行中であることを示す。テンプレートマッチング追尾部１２およびラベリング追尾部１４は、１つのマイコンで構成される。この１つのマイコンが、テンプレートマッチング追尾処理およびラベリング追尾処理を非同期で実行する。
【００２４】
具体的に、テンプレートマッチング追尾部１２は、所定時間間隔ごとに繰り返しテンプレートマッチング追尾処理を実行する。ラベリング追尾部１４も繰り返しラベリング追尾処理を実行するが、テンプレートマッチング追尾部１２が演算を行っていない間にラベリング追尾処理を実行する。したがって、ラベリング追尾処理の実行中に、テンプレートマッチング追尾処理が開始される際にはラベリング追尾処理を一時中断し、テンプレートマッチング追尾処理が終了するとラベリング追尾処理を再開する。
【００２５】
このようにテンプレートマッチング追尾処理をラベリング追尾処理よりも優先するのは、以下の理由による。テンプレートマッチング処理は、ラベリング処理よりも演算負荷が軽く演算速度が速い。また、上述したように、テンプレートマッチング追尾処理で用いる第１ブロック化画像は、ラベリング追尾処理で用いる第２ブロック化画像よりも画素数（ブロック数）が少ない。したがってテンプレートマッチング追尾処理の処理時間をラベリング追尾処理の処理時間よりも短くできるため、テンプレートマッチング追尾処理では、追尾被写体位置をリアルタイムに特定することができる。ゆえにテンプレートマッチング追尾処理を優先して、リアルタイム性を保持させている。
【００２６】
一方、ラベリング処理は、テンプレートマッチング処理よりも演算速度が遅く処理時間が長くなるが、テンプレートマッチング処理よりも被写体形状の変化などに強い。またラベリング追尾処理では、画素数（ブロック数）の多い第２ブロック化画像を用いる。したがって、ラベリング追尾処理は、テンプレートマッチング追尾処理よりも追尾被写体位置を精度よく特定できる。そこで、本実施形態では、テンプレートマッチング追尾処理が行われていない間にラベリング追尾処理を行い、ラベリング追尾処理の結果をテンプレートマッチング追尾処理に反映させることで、テンプレートマッチング追尾処理の精度を向上するようになっている（詳しくは後述する）。
【００２７】
図４は、ラベリング追尾部１４が行うラベリング追尾処理を示すフローチャートである。ステップＳ２００においてラベリング追尾部１４は、シャッターボタンが半押し状態か否かを判定する。シャッターボタンが半押し状態である場合には、ラベリング追尾部１４は、ステップＳ２００を肯定判定し、ステップＳ２０１へ進む。一方、シャッターボタンが半押し状態ではない場合には、ラベリング追尾部１４は、ステップＳ２００を否定判定して図４の処理を終了し、図２のステップＳ００２へ戻る。
【００２８】
ステップＳ２０１においてラベリング追尾部１４は、ラベリング追尾処理が２回目以降であるか否かを判定する。ここで、ラベリング追尾処理の回数は、シャッターボタンが半押しされた後、最初に行ったラベリング追尾処理を１回目として数える。なお、シャッターボタンの半押し操作が解除された場合は、この回数をリセットする。ラベリング追尾処理が２回目以降である場合には、ラベリング追尾部１４は、ステップＳ２０１を肯定判定してステップＳ２０３へ進む。一方、ラベリング追尾処理が２回目以降ではない（すなわち１回目である）場合には、ラベリング追尾部１４は、ステップＳ２０１を否定判定してステップＳ２０２へ進む。
【００２９】
ステップＳ２０２においてラベリング追尾部１４は、ラベリング追尾処理における初期化処理を行う。この初期化処理では、追尾被写体情報の初期化と各変数の初期化とを行う。まず、追尾被写体情報の初期化について説明する。ラベリング追尾部１４は、第２ブロック化部１３から入力された第２ブロック化画像において、ユーザにより選択されたＡＦエリアに対応する画素（例えばＡＦエリアを含む画素、以下ＡＦエリア画素と呼ぶ）の画像情報（色情報または輝度情報）を、仮の追尾被写体情報として設定する。一般的に、ユーザは、ユーザ自身で選択したＡＦエリアに撮影したい被写体が入るようにデジタルカメラを構えるからである。
【００３０】
次にラベリング追尾部１４は、図５（Ａ）に示すように、第２ブロック化部１３から入力される第２ブロック化画像において、上記ＡＦエリア画素ａ０の位置を中心とした所定サイズの探索範囲ｃ０を設定し、この探索範囲ｃ０内の画像に対して２値化処理を行う。なお、ラベリング追尾処理において設定する探索範囲を、以下ラベリング探索範囲と呼ぶ。この２値化処理では、上記仮の追尾被写体情報を基に閾値を設定し、この閾値を用いて２値化を行うことにより、上記仮の追尾被写体情報と類似する色情報または輝度情報を有する画素を抽出する。
【００３１】
そしてラベリング追尾部１４は、公知のラベリング処理により、上記２値化処理で抽出された画素の連続している部分をグループ化する。ラベリング追尾部１４は、ラベリングにより生成した複数のグループの中から、上記ＡＦエリア画素ａ０を含むグループｂ０を追尾被写体領域として推定する。ラベリング追尾部１４は、追尾被写体領域として推定したグループｂ０に含まれる画素の色情報または輝度情報の平均値を算出し、算出結果を追尾被写体情報として設定する。
【００３２】
なお、上記２値化処理およびラベリング処理では、ＡＦエリア画素ａ０の色情報または輝度情報と類似する色情報または輝度情報を有する画素の領域を抽出してグループ化するようにしたが、周辺領域（例えばＡＦエリアの周囲の領域）の色情報または輝度情報と異なる色情報または輝度情報を有する画素の領域を抽出してグループ化するようにしてもよい。
【００３３】
次に各変数の初期化について説明する。ラベリング追尾処理における変数としては、追尾被写体位置、演算時刻および追尾被写体の大きさ情報が設けられている。各変数の初期化では、ＡＦエリア画素ａ０の位置を追尾被写体位置とし、シャッターボタンの半押し開始時刻を演算時刻とし、追尾被写体領域として推定したグループｂ０の連結画素数を追尾被写体の大きさ情報とする。
【００３４】
以上のように追尾被写体情報の初期化と各変数の初期化とを行うと、ラベリング追尾部１４は、初期化した追尾被写体情報と各変数（追尾被写体位置、演算時刻、追尾被写体の大きさ情報）を、不図示のメモリに記録する。その後、ラベリング追尾部１４は、図４の処理を終了し、図２のステップＳ００２に戻る。
【００３５】
一方、ラベリング追尾処理が２回目以降である場合にステップＳ２０１を肯定判定して進むステップＳ２０３において、ラベリング追尾部１４は、前回（１回目を含む）のラベリング追尾処理の際に記録した追尾被写体位置ａ０をメモリから読み出す。そしてラベリング追尾部１４は、図５（Ｂ）に示すように、第２ブロック化部１３から入力された第２ブロック化画像において、前回の追尾被写体位置ａ０を中心とする所定サイズの範囲を今回のラベリング探索範囲ｃ１として設定し、ステップＳ２０４へ進む。
【００３６】
ステップＳ２０４においてラベリング追尾部１４は、ステップＳ２０３で設定したラベリング探索範囲ｃ１内の画像に対して２値化処理を行う。この２値化処理では、初期化処理（ステップＳ２０２）で設定した追尾被写体情報を基に閾値を設定し、この閾値を用いて２値化を行うことにより、上記追尾被写体情報と類似する色情報または輝度情報を有する画素を抽出する。
【００３７】
ラベリング追尾部１４は、公知のラベリング処理により、上記２値化処理で抽出された画素の連続している部分をグループ化する。ラベリング追尾部１４は、ラベリング処理により生成した複数のグループの中から、例えば前回の追尾被写体位置ａ０に最も近い位置にあるグループｂ１を、追尾被写体領域として推定する。なお、連結画素数が前回の追尾被写体の大きさ情報に最も近いグループｂ１を追尾被写体領域として推定するようにしてもよい。ラベリング追尾部１４は、追尾被写体領域として推定したグループｂ１の重心位置を、今回の追尾被写体位置ａ１として特定する。
【００３８】
また、ラベリング追尾部１４は、追尾被写体領域として推定したグループｂ１の連結画素数を今回の追尾被写体の大きさ情報とし、今回のラベリング追尾処理における演算開始時刻（ステップＳ２０１の半押し判定を開始した時刻）を今回の演算時刻とする。このようにしてラベリング追尾部１４は、２値化処理およびラベリング処理により追尾被写体位置を特定すると、ステップＳ２０５へ進む。ステップＳ２０５において、ラベリング追尾部１４は、ステップＳ２０４で更新した各変数（追尾被写体位置、追尾被写体の大きさ情報、演算時刻）を不図示のメモリに記録する。これらの情報は、ラベリング追尾処理を行うたびに毎回記録されるので、時系列的に複数記録される。
【００３９】
このようにラベリング追尾処理では、前回の追尾被写体位置を用いて今回のラベリング探索範囲を決定する。そして、今回のラベリング探索範囲内の画像に対して２値化処理およびラベリング処理を行うことにより、今回の追尾被写体領域（ラベリング処理によるグループ）、および追尾被写体位置を特定することができる。
【００４０】
図６は、テンプレートマッチング追尾部１２が行うテンプレートマッチング追尾処理を示すフローチャートである。ステップＳ１００においてテンプレートマッチング追尾部１２は、シャッターボタンが半押し状態か否かを判定する。シャッターボタンが半押し状態である場合には、テンプレートマッチング追尾部１２は、ステップＳ１００を肯定判定し、ステップＳ１０１へ進む。一方、シャッターボタンが半押し状態ではない場合には、テンプレートマッチング追尾部１２は、ステップＳ１００を否定判定して図６の処理を終了し、図２のステップＳ００２へ戻る。
【００４１】
ステップＳ１０１においてテンプレートマッチング追尾部１２は、テンプレートマッチング追尾処理が２回目以降であるか否かを判定する。ここで、テンプレートマッチング追尾処理の回数は、シャッターボタンが半押しされた後、最初に行ったテンプレートマッチング追尾処理を１回目として数える。なお、シャッターボタンの半押し操作が解除された場合は、この回数をリセットする。テンプレートマッチング追尾処理が２回目以降である場合には、テンプレートマッチング追尾部１２は、ステップＳ１０１を肯定判定してステップＳ１０３へ進む。一方、テンプレートマッチング追尾処理が２回目以降ではない（すなわち１回目である）場合には、テンプレートマッチング追尾部１２は、ステップＳ１０１を否定判定してステップＳ１０２へ進む。
【００４２】
ステップＳ１０２においてテンプレートマッチング追尾部１２は、テンプレートマッチング追尾処理における初期化処理を行う。この初期化処理では、第１ブロック化部１１から入力された第１ブロック化画像において、図７（Ａ）に示すように、ユーザにより選択されたＡＦエリアに対応する位置（例えばＡＦエリアの中心位置、以下ＡＥエリア位置と呼ぶ）ｄ０を中心とした所定サイズの範囲ｅ０をテンプレート画像として設定する。
【００４３】
またテンプレートマッチング追尾部１２は、上記ＡＦエリア位置ｄ０を中心とした所定サイズの探索範囲を、次回のテンプレートマッチング追尾処理における探索範囲ｆ１として設定する。なお、テンプレートマッチング追尾処理において設定する探索範囲を、以下テンプレート探索範囲と呼ぶ。その後、テンプレートマッチング追尾部１２は、図６の処理を終了し、図２のステップＳ００２に戻る。
【００４４】
一方、テンプレートマッチング追尾処理が２回目以降である場合にステップＳ１０１を肯定判定して進むステップＳ１０３において、テンプレートマッチング追尾部１２は、図７（Ｂ）に示すように、第１ブロック化部１１から入力された第１ブロック化画像から、前回（１回目を含む）のテンプレートマッチング追尾処理において設定したテンプレート探索範囲（すなわち今回のテンプレート探索範囲）ｆ１内の画像を切り出す。
【００４５】
テンプレートマッチング追尾部１２は、切り出した画像に対して、初期化処理（ステップＳ１０２）で設定したテンプレート画像を用いて公知のテンプレートマッチング処理を行う。具体的には、テンプレート探索範囲ｆ１内の画像に対してテンプレート画像を１画素ずつ動かしながら、これらの画像の画像情報（色情報または輝度情報など）の差分演算を行い、テンプレート探索範囲ｆ１内の画像においてテンプレート画像との差分値が最も小さい領域ｅ１を追尾被写体領域として推定する。そして、追尾被写体領域ｅ１の中心位置を、追尾被写体位置ｄ１として特定する。
【００４６】
なお、追尾被写体領域ｅ１における上記差分値、すなわち最小差分値は、追尾被写体領域ｅ１の画像とテンプレート画像との類似度を示す値である。この最小差分値が小さいほど、追尾被写体領域ｅ１の画像とテンプレート画像との類似度が高く、追尾被写体領域ｅ１の画像が追尾被写体に類似していると判断できる。
【００４７】
また、テンプレートマッチング追尾部１２は、テンプレート探索範囲ｆ１内において、テンプレート画像との差分値が上記最小差分値に近い（すなわち上記最小差分値との差分が所定の判定閾値以下である）領域をカウントする。このカウント値は、上記特定した追尾被写体位置ｄ１の信頼度を示す値である。カウント値が小さいほど、追尾被写体領域ｅ１以外ではテンプレート画像と類似する領域が少ないため、追尾被写体領域ｅ１が追尾被写体を正確に捉えている可能性が高く、追尾被写体位置ｄ１の信頼度が高いと判断できる。
【００４８】
このようにテンプレートマッチング処理を用いて追尾被写体位置ｄ１を特定すると、テンプレートマッチング追尾部１２は、ステップＳ１０４へ進む。ステップＳ１０４においてテンプレートマッチング追尾部１２は、上記最小差分値（テンプレート画像との類似度を示す値）、上記カウント値（追尾被写体位置の信頼度を示す値）、および今回のテンプレートマッチング追尾処理における演算開始時刻（ステップＳ１０１の半押し判定を開始した時刻）をメモリに記録する。なお、これらの情報は、テンプレートマッチング追尾処理を行うたびに毎回記録されるので、時系列的に複数記録される。その後、テンプレートマッチング追尾部１２は、ステップＳ１０５へ進む。
【００４９】
ステップＳ１０５においてテンプレートマッチング追尾部１２は、最新のラベリング追尾処理により特定された追尾被写体位置Ｌｂをメモリから読み出す。そして、ステップＳ１０４で特定した（すなわちテンプレートマッチングによる）追尾被写体位置ＴＭと、ラベリングによる追尾被写体位置Ｌｂとの距離を算出し、これらの距離が所定の判定閾値Ｔｈ以上であるか否かを判定する。
【００５０】
上記距離が判定閾値Ｔｈ以上であることは、テンプレートマッチング追尾処理の結果とラベリング追尾処理の結果とが異なることを意味する。この場合、これらの処理のいずれかが誤認識である可能性がある。上述したように、通常、テンプレートマッチング追尾処理よりもラベリング追尾処理の方が追尾精度が高いため、特にテンプレートマッチング処理において追尾被写体位置ＴＭを誤認識している可能性が高い。この場合のテンプレートマッチング追尾部１２は、ステップＳ１０５を肯定判定してステップＳ１０６へ進む。
【００５１】
一方、上記距離が判定閾値Ｔｈ未満であることは、テンプレートマッチング追尾処理の結果とラベリング追尾処理の結果とがほぼ同一であることを意味する。この場合には、テンプレートマッチングによる追尾被写体位置ＴＭおよびラベリングによる追尾被写体位置Ｌｂの双方が正確である可能性が高い。この場合のテンプレートマッチング追尾部１２は、ステップＳ１０５を否定判定してステップＳ１０９へ進む。ステップＳ１０９において、テンプレートマッチング追尾部１２は、図７（Ｂ）に示すように、テンプレートマッチングによる追尾被写体位置ｄ１を中心とした所定サイズの範囲を、次回のテンプレート探索範囲ｆ２として設定して、図６の処理を終了する。
【００５２】
ステップＳ１０５を肯定判定して進むステップＳ１０６において、テンプレートマッチング追尾部１２は、テンプレートマッチングによる追尾被写体位置ＴＭの演算時刻ＴＭｔと、ラベリングによる追尾被写体位置Ｌｂの演算時刻Ｌｂｔとの差分を算出し、この差分の絶対値が所定の判定閾値Ｔｈｔ未満であるか否かを判定する。
【００５３】
上述したように、テンプレートマッチング追尾処理とラベリング追尾処理とは、それぞれ処理にかかる時間が異なるため、処理結果が得られる時間が異なる。ラベリングによる追尾被写体位置Ｌｂの演算時刻Ｌｂｔがテンプレートマッチングによる追尾被写体位置ＴＭの演算時刻ＴＭｔから離れ過ぎている場合、ラベリング処理結果が古く現在の追尾被写体位置を捉えていない可能性が高い。そこで、テンプレートマッチング追尾部１２は、上記差分の絶対値が判定閾値Ｔｈｔ以上である場合、ステップＳ１０６を否定判定して上述したステップＳ１０３へ進む。そして、テンプレートマッチングによる追尾被写体位置ＴＭを用いて次回のテンプレート探索範囲ｆ２を設定して、図６の処理を終了する。
【００５４】
一方、上記差分の絶対値が判定閾値Ｔｈｔ未満である場合は、ラベリングによる追尾被写体位置Ｌｂが現在の追尾被写体位置を捉えている可能性が高い。この場合のテンプレートマッチング追尾部１２は、ステップＳ１０６を肯定判定してステップＳ１０７へ進む。
【００５５】
ステップＳ１０７において、テンプレートマッチング追尾部１２は、テンプレートマッチングによる追尾被写体位置ＴＭの信頼度が高いか否かを判定する。具体的には、テンプレートマッチングによる追尾被写体位置ＴＭの信頼度を示す値（上記カウント値）ＴＭｓが所定の判定閾値ＴＨｓ未満であるか否かを判定する。テンプレートマッチング追尾部１２は、上記カウント値ＴＭｓが判定閾値ＴＨｓ未満である場合、テンプレートマッチングによる追尾被写体位置ＴＭの信頼度が高いと判定する。この信頼度が高い場合には、ラベリングによる追尾被写体位置Ｌｂよりもテンプレートマッチングによる追尾被写体位置ＴＭの方が現在の追尾被写体位置を正確に捉えていることが推測される。そこで、この場合のテンプレートマッチング追尾部１２は、ステップＳ１０７を肯定判定し、ステップＳ１０３へ進む。そして、テンプレートマッチングによる追尾被写体位置ＴＭを用いて次回のテンプレート探索範囲ｆ２を設定して、図６の処理を終了する。
【００５６】
一方、テンプレートマッチング追尾部１２は、上記カウント値ＴＭｓが判定閾値ＴＨｓ以上である場合、追尾被写体位置ＴＭの信頼度が低いと判定してステップＳ１０７を否定判定し、ステップＳ１０８へ進む。
【００５７】
なお、上記カウント値ＴＭｓが判定閾値ＴＨｓ未満であっても、上記最小差分値が大きい場合には、追尾被写体領域ｅ１の画像とテンプレート画像との類似度が低く、追尾被写体位置ＴＭが追尾被写体位置を捉えていない可能性が高い。そこで上記カウント値ＴＭｓが判定閾値ＴＨｓ未満であっても、上記最小差分値が所定の判定閾値以上である場合には、追尾被写体位置ＴＭの信頼度が低いと判定してステップＳ１０７を否定判定し、ステップＳ１０８へ進むようにしてもよい。
【００５８】
ステップＳ１０５からステップＳ１０７の判定を経てステップＳ１０８に達したことは、テンプレートマッチングによる追尾被写体位置ＴＭが誤認識である可能性が高いことを意味する。例えば、図８（Ａ）に示すように、テンプレート探索範囲ｈ１内においてテンプレートマッチング処理を行って推定した追尾被写体領域ｇ１が誤っていた場合、追尾被写体領域ｇ１を基に特定する追尾被写体位置ｉ１も誤った位置となる。図８（Ｂ）に示すように、誤った追尾被写体位置ｉ１を中心とした所定サイズの範囲を次回のテンプレート探索範囲ｈ２として設定した場合、追尾被写体がテンプレート探索範囲ｈ２から外れてしまう。この場合、テンプレートマッチング処理を行っても、正確に追尾被写体位置を特定することができない。そこで、ステップＳ１０５からステップＳ１０７の判定を経てステップＳ１０８に達した場合には、以下に述べるとおり、テンプレートマッチングによる追尾被写体位置ＴＭを用いずに次回のテンプレート探索範囲を設定する。
【００５９】
ステップＳ１０８においてテンプレートマッチング追尾部１２は、ラベリング追尾部１４で推定した追尾被写体の大きさ情報の変化度合いを基にラベリングによる追尾被写体位置Ｌｂの信頼度が高いか否かを判定する。具体的には、ラベリング追尾処理における最新（今回）の追尾被写体の大きさ情報Ｓ１および演算時刻ｔ１と、前回の追尾被写体の大きさ情報Ｓ２および演算時刻ｔ２と、前々回の追尾被写体の大きさ情報Ｓ３および演算時刻ｔ３とをメモリから読み出す。そして、読み出したこれらの情報を、追尾被写体の大きさ情報Ｓを演算時刻ｔの２次関数で表した次式（１）に代入する。なお、次式（１）におけるａ、ｂ、ｃは係数である。
Ｓ＝ｆ(ｔ)＝ａｔ２＋ｂｔ＋ｃ … （１）
【００６０】
上記代入の結果、３元一次の連立方程式である次式（２）〜（４）を得る。
Ｓ１＝ａ(ｔ１)２＋ｂ(ｔ１)＋ｃ … （２）
Ｓ２＝ａ(ｔ２)２＋ｂ(ｔ２)＋ｃ … （３）
Ｓ３＝ａ(ｔ３)２＋ｂ(ｔ３)＋ｃ … （４）
【００６１】
そして、次式（５）を用いて、上記式（２）〜（４）をｔの二次の係数ａについて解くことにより、追尾被写体の大きさ情報の変化加速度ａを算出する。
【数１】
【００６２】
追尾被写体の大きさ情報の変化加速度ａの絶対値が大きい場合、追尾被写体領域として推定したグループの大きさが急激に変化したことを意味する。実際上、追尾被写体がデジタルカメラに対して近づいたり遠ざかったりする場合には、撮影画像内において追尾被写体の大きさが徐々に変化することが多いが、追尾被写体の大きさが急激に変化する可能性は低い。したがって、追尾被写体領域と推定したグループの大きさが急激に変化した場合は、ラベリング追尾部１４が誤認識した可能性が高い。
【００６３】
そこで、テンプレートマッチング追尾部１２は、上記変化加速度ａが所定の判定閾値Ｔ未満である場合は、ラベリングによる追尾被写体位置Ｌｂの信頼度が高いと判定してステップＳ１０８を肯定判定し、ステップＳ１１０へ進む。一方、テンプレートマッチング追尾部１２は、上記変化加速度ａが判定閾値Ｔ以上である場合は、ラベリングによる追尾被写体位置Ｌｂの信頼度が低いと判定してステップＳ１０８を否定判定し、ステップＳ１１１へ進む。
【００６４】
ステップＳ１１０へ進むことは、テンプレートマッチングによる追尾被写体位置ＴＭは誤認識の可能性が高いが、ラベリングによる追尾被写体位置Ｌｂは信頼できることを意味する。例えば、図９（Ａ）に示すように、テンプレート探索範囲ｈ１内においてテンプレートマッチング処理を行って推定した追尾被写体領域ｇ１が誤認識であった場合、追尾被写体領域ｇ１を基に特定する追尾被写体位置ｉ１も誤った位置となる。しかしながら、ラベリング処理により推定した追尾被写体領域ｋ１が正確であった場合、追尾被写体領域ｋ１を基に特定する追尾被写体位置ｊ１も正確な位置となる。そこで、図９（Ｂ）に示すように、この正確な追尾被写体位置ｊ１を中心とした所定サイズの範囲を次回のテンプレート探索範囲ｈ２として設定すれば、テンプレート探索範囲ｈ２から追尾被写体が外れず、次回のテンプレートマッチング追尾処理において、追尾被写体領域ｇ２および追尾被写体位置ｉ２を正確に特定できる。
【００６５】
そこでステップＳ１１０において、テンプレートマッチング追尾部１２は、ラベリングによる追尾被写体位置Ｌｂを中心とした所定サイズの範囲を次回のテンプレート探索範囲として設定する。その後、図６の処理を終了し、図２のステップＳ００２に戻る。
【００６６】
一方、ステップＳ１１１へ進むことは、テンプレートマッチングによる追尾被写体位置ＴＭとラベリングによる追尾被写体位置Ｌｂの双方が信頼できないことを意味する。そこでステップＳ１１１においてテンプレートマッチング追尾部１２は、今回のテンプレート探索範囲と同様の範囲を、次回のテンプレート探索範囲として設定する。すなわち、テンプレート探索範囲を変更しない。その後、図６の処理を終了し、図２のステップＳ００２に戻る。
【００６７】
以上説明した実施形態によれば、次の作用効果が得られる。
（１）被写体追尾装置は、第１ブロック化画像内にテンプレート探索範囲を設定し、テンプレート探索範囲内の画像に対して、追尾被写体の基準となるテンプレート画像を基にテンプレートマッチング処理を行い、当該処理結果に基づいて追尾被写体位置ＴＭを特定するテンプレートマッチング追尾部１２と、第２ブロック化画像内にラベリング探索範囲を設定し、ラベリング探索範囲内の画像に対して、追尾被写体の基準となる輝度情報または色情報（追尾被写体情報）に基づいて設定された基準値（閾値）を用いて２値化処理およびラベリング処理を行い、当該処理結果に基づいて追尾被写体位置Ｌｂを特定するラベリング追尾部１４と、を備え、テンプレートマッチング追尾部１２は、テンプレートマッチング追尾部１２が特定した追尾被写体位置ＴＭと、ラベリング追尾部１４が特定した追尾被写体位置Ｌｂとの距離が所定の判定閾値Ｔｈ未満である場合には、テンプレートマッチング追尾部１２が特定した追尾被写体位置ＴＭを用いて次回のテンプレート探索範囲を設定し、テンプレートマッチング追尾部１２が特定した追尾被写体位置ＴＭと、ラベリング追尾部１４が特定した追尾被写体位置Ｌｂとの距離が所定の判定閾値Ｔｈ以上である場合には、ラベリング追尾部１４が特定した追尾被写体位置Ｌｂを用いて次回のテンプレート探索範囲を設定するように構成したので、被写体を正確に追尾できる。例えば、被写体の形状が変化した場合やテンプレート画像に背景成分を含んだ場合にテンプレートマッチング追尾部１２が追尾被写体位置ＴＭを誤認識した場合に、ラベリング追尾部１４が特定した追尾被写体位置Ｌｂを用いて次回のテンプレート探索範囲を設定できるので、追尾被写体位置がテンプレート探索範囲から外れることなく、被写体の追尾を精度よく継続することができる。
【００６８】
（２）上記（１）の被写体追尾装置において、テンプレートマッチング追尾部１２は、テンプレートマッチング追尾部１２が特定した追尾被写体位置ＴＭと、ラベリング追尾部１４が特定した追尾被写体位置Ｌｂとの距離が所定の判定閾値Ｔｈ以上であっても、ラベリング追尾部１４が特定した追尾被写体位置ＴＭの演算時刻がテンプレートマッチング追尾部１２が特定した追尾被写体位置Ｌｂの演算時刻から所定時間Ｔｈｔ以上離れている場合には、テンプレートマッチング追尾部１２が特定した追尾被写体位置ＴＭを用いて次回のテンプレート探索範囲を設定するように構成したので、古いラベリング追尾処理の結果を用いてしまうのを防止できる。
【００６９】
（３）上記（１）または（２）の被写体追尾装置において、テンプレートマッチング追尾部１２は、テンプレートマッチング追尾部１２が特定した追尾被写体位置ＴＭの信頼度を判定し、テンプレートマッチング追尾部１２が特定した追尾被写体位置ＴＭと、ラベリング追尾部１４が特定した追尾被写体位置Ｌｂとの距離が所定の判定閾値Ｔｈ以上であっても、上記信頼度が高いと判定した場合には、テンプレートマッチング追尾部１２が特定した追尾被写体位置ＴＭを用いて次回のテンプレート探索範囲を設定するように構成したので、２つの被写体追尾処理のうち追尾被写体位置を正確に捉えている方の処理結果を用いて適切に次回のテンプレート探索範囲を設定できる。
【００７０】
（４）上記（１）〜（３）の被写体追尾装置において、テンプレートマッチング追尾部１２は、ラベリング追尾部１４が特定した追尾被写体位置Ｌｂの信頼度を判定し、テンプレートマッチング追尾部１２が特定した追尾被写体位置ＴＭと、ラベリング追尾部１４が特定した追尾被写体位置Ｌｂとの距離が所定の判定閾値Ｔｈ以上であっても、上記信頼度が低いと判定した場合には、今回と同様のテンプレート探索範囲を次回のテンプレート探索範囲として設定するように構成したので、テンプレートマッチング追尾処理およびラベリング追尾処理の双方が誤認識した場合でも、追尾被写体がテンプレート探索範囲から外れるのを防止できる。
【００７１】
（５）上記（１）〜（４）の被写体追尾装置において、入力画像（第１撮像素子９からの画像）を、第１の数のブロックに分割する第１ブロック化部１１と、入力画像を、第１の数よりも多い第２の数のブロックに分割する第２ブロック化部１３と、をさらに備え、テンプレートマッチング追尾部１２は、第１の数のブロックに分割された入力画像を用いてテンプレートマッチング処理を行い、ラベリング追尾部１４は、第２の数のブロックに分割された入力画像を用いて２値化処理およびラベリング処理を行うように構成したので、テンプレートマッチング追尾処理においては演算負荷を軽くしてリアルタイム性を保持でき、ラベリング追尾処理においては被写体の大きさが小さい場合でも精度よく追尾被写体位置を特定できる。
【００７２】
（変形例１）
上述した実施の形態では、１つのマイコンがテンプレートマッチング追尾処理およびラベリング追尾処理を非同期で演算する場合について説明したが、テンプレートマッチング追尾処理をＭ回行う間にラベリング追尾処理をＮ回行うようにするなど、これらの処理を同期で演算するようにしてもよい。
【００７３】
図１０は、変形例１によるテンプレートマッチング追尾処理とラベリング追尾処理の実行タイミングを説明する図である。図１０では、テンプレートマッチング追尾処理を２回実行する間に、ラベリング追尾処理を１回実行するように構成した場合を示している。この場合のテンプレートマッチング追尾部１２は、テンプレートマッチング追尾処理を２回分演算したときに、ラベリング追尾処理の１回分の演算が終わっていない場合、次のテンプレートマッチング追尾処理を開始せず、ラベリング追尾処理の結果が出るまで待機する。
【００７４】
（変形例２）
上述した実施の形態では、１つのマイコンでテンプレートマッチング追尾処理およびラベリング追尾処理を演算する場合について説明したが、２つのマイコンを設け、それぞれの処理を独立して実行するようにしてもよい。
【００７５】
図１１は、変形例２によるテンプレートマッチング追尾処理とラベリング追尾処理の実行タイミングを説明する図である。例えば、テンプレートマッチング用マイコンが、所定時間間隔ごとに繰り返しテンプレートマッチング追尾処理を行う。ラベリング用マイコンは、テンプレートマッチング追尾処理の実行タイミングによらず、独立して繰り返しラベリング追尾処理を行う。なお、図１１では、テンプレートマッチング追尾処理およびラベリング追尾処理を非同期で演算する場合を示したが、テンプレートマッチング追尾処理をＭ回行う間にラベリング追尾処理をＮ回行うようにするなど、これらの処理を同期で演算するようにしてもよい。
【００７６】
（変形例３）
上述した実施の形態では、シャッターボタンが半押しされている間、テンプレートマッチング追尾処理およびラベリング追尾処理を実行する場合について説明した。これに限らず、連写撮影などの演算負荷が重い処理を実行している際には、ラベリング追尾処理を停止し、テンプレートマッチング追尾処理のみを実行するようにしてもよい。こうすることにより、演算負荷が重い処理を実行している際にも、被写体追尾のリアルタイム性を保持できる。
【００７７】
（変形例４）
上述した実施の形態では、シャッターボタンが半押しされると、テンプレートマッチング追尾処理およびラベリング追尾処理を開始する場合について説明した。これに限らず、半押し開始時にはテンプレートマッチング追尾処理のみを開始し、テンプレートマッチング追尾処理の信頼度が低くなってきたと判定した場合にラベリング追尾処理を開始するようにしてもよい。この場合、上記カウント値が所定の判定閾値以上となった場合に、信頼度が低いと判定する。
【００７８】
またテンプレート画像との類似度が低くなってきたと判定した場合にラベリング追尾処理を開始するようにしてもよい。この場合、上記最小差分値が所定の判定閾値以上となった場合に、類似度が低いと判定する。
【００７９】
このように構成することにより、被写体追尾処理全体の処理負荷を軽減して高速演算を行うことができ、さらに追従性を向上することができる。
【００８０】
（変形例５）
上述した実施の形態では、第１ブロック化画像を用いてテンプレートマッチング追尾処理を行い、第２ブロック化画像を用いてラベリング追尾処理を行う場合について説明した。これに限らず、テンプレートマッチング追尾処理においては第１撮像素子９からの入力画像をブロック化して用いるようにし、ラベリング追尾処理においては第１撮像素子９からの入力画像をブロック化せずに用いるようにしてもよい。こうすることでも、テンプレートマッチング追尾処理においては演算負荷を軽くしてリアルタイム性を保持でき、ラベリング追尾処理においては被写体の大きさが小さい場合でも精度よく追尾被写体位置を特定できる。
【００８１】
またこれに限らず、画像処理能力が高性能である場合や、追尾被写体が小さく且つ大きな移動はないと判定したため高速演算が不要である場合など、高画素数であっても対応できる場合には、テンプレートマッチング追尾処理およびラベリング追尾処理の双方において、第１撮像素子９からの入力画像をブロック化せずに用いるようにしてもよい。
【００８２】
（変形例６）
上述した実施の形態では、テンプレートマッチングによる追尾被写体位置ＴＭとラベリングによる追尾被写体位置Ｌｂとの距離が判定閾値Ｔｈ未満である場合には、テンプレートマッチングによる追尾被写体位置ＴＭを用いて次回のテンプレート探索範囲を設定するようにした。これに限らず、上記距離が判定閾値Ｔｈ未満である場合に、ラベリングによる追尾被写体位置Ｌｂを用いて次回のテンプレート探索範囲を設定するようにしてもよい。
【００８３】
（変形例７）
上述した実施の形態では、ステップＳ１０５からステップＳ１０８の判定を経てステップＳ１１０へ進む場合に、ラベリングによる被写体追尾位置Ｌｂを用いて次回のテンプレート探索範囲を設定するようにした。これに限らず、例えば、ステップＳ１０５で肯定判定を得た（すなわちテンプレートマッチングによる追尾被写体位置ＴＭと、ラベリングによる追尾被写体位置Ｌｂとの距離が判定閾値Ｔｈ以上である）場合には、ステップＳ１０６〜１０８の判定を省略して、ステップＳ１１０へ進むようにしてもよい。また、ステップＳ１０６〜１０８の判定のうち、いずれか１つまたは２つを省略するようにしてもよい。
【００８４】
（変形例８）
上述した実施の形態では、テンプレートマッチング追尾処理およびラベリング追尾処理を実行する場合について説明したが、この他の被写体追尾処理を実行するようにしてもよい。
【００８５】
具体的には、２つの被写体追尾処理（第１の被写体追尾処理および第２の被写体追尾処理）を実行するデジタルカメラにおいて、第１の被写体追尾処理が第２の被写体追尾処理よりも高速の処理であり、第２の被写体追尾処理が第１の被写体追尾処理よりも高精度の処理であるように構成する。そして、第１の被写体追尾処理により特定した追尾被写体位置と、第２の被写体追尾処理により特定した追尾被写体位置との距離が所定値未満である場合には、第１の被写体追尾処理または第２の被写体追尾処理により特定した追尾被写体位置を用いて次回の第１の被写体追尾処理による探索範囲を設定する。一方、上記距離が所定値以上である場合には、第２の被写体追尾処理により特定した追尾被写体位置を用いて次回の第１の被写体追尾処理による探索範囲を設定する。こうすることにより、上述した実施の形態と同様に、高速の処理である第１の被写体追尾処理を用いてリアルタイムに被写体を追尾できると共に、高精度の処理である第２の被写体追尾処理を用いて第１の被写体追尾処理の追尾性能を向上できる。
【００８６】
なお、第１または第２の被写体追尾処理としては、上記テンプレートマッチング追尾処理およびラベリング追尾処理以外にも、例えば、背景差分法を用いた被写体追尾処理など種々の被写体追尾処理を用いることができる。
【００８７】
（変形例９）
上述した実施の形態では、本発明をデジタルカメラに適用する場合について説明した。しかしながら、本発明は、動画データを読み込んで、動画中の被写体をフレーム間で追尾するための被写体追尾装置として、たとえばパソコンや携帯端末などに適用することも可能である。
【００８８】
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。
【符号の説明】
【００８９】
１…撮影レンズ
９…第１撮像素子
１０…制御部
１１…第１ブロック化部
１２…テンプレートマッチング追尾部
１３…第２ブロック化部
１４…ラベリング追尾部
１５…ＡＦ機能実行部
【特許請求の範囲】
【請求項１】
入力画像内に第１の探索範囲を設定し、前記第１の探索範囲内の画像に対して、追尾被写体の基準となるテンプレート画像を基にテンプレートマッチング処理を行い、前記処理結果に基づいて追尾被写体位置を特定する第１の追尾手段と、
前記入力画像内に第２の探索範囲を設定し、前記第２の探索範囲内の画像に対して、追尾被写体の基準となる輝度情報または色情報に基づいて設定された基準値を用いて２値化処理およびラベリング処理を行い、前記処理結果に基づいて追尾被写体位置を特定する第２の追尾手段と、
を備え、
前記第１の追尾手段は、前記第１の追尾手段が特定した追尾被写体位置と、前記第２の追尾手段が特定した追尾被写体位置との距離が所定値未満である場合には、前記第１の追尾手段または前記第２の追尾手段が特定した追尾被写体位置を用いて次回の第１の探索範囲を設定し、前記第１の追尾手段が特定した追尾被写体位置と、前記第２の追尾手段が特定した追尾被写体位置との距離が所定値以上である場合には、前記第２の追尾手段が特定した追尾被写体位置を用いて次回の第１の探索範囲を設定することを特徴とする被写体追尾装置。
【請求項２】
請求項１に記載の被写体追尾装置において、
前記第１の追尾手段は、前記第１の追尾手段が特定した追尾被写体位置と、前記第２の追尾手段が特定した追尾被写体位置との距離が所定値以上であっても、前記第２の追尾手段が特定した追尾被写体位置の演算時刻が前記第１の追尾手段が特定した追尾被写体位置の演算時刻から所定時間以上離れている場合には、前記第１の追尾手段が特定した追尾被写体位置を用いて次回の第１の探索範囲を設定することを特徴とする被写体追尾装置。
【請求項３】
請求項１または２に記載の被写体追尾装置において、
前記第１の追尾手段が特定した追尾被写体位置の信頼度を判定する第１の判定手段をさらに備え、
前記第１の追尾手段は、前記第１の追尾手段が特定した追尾被写体位置と、前記第２の追尾手段が特定した追尾被写体位置との距離が所定値以上であっても、前記第１の判定手段により前記信頼度が高いと判定された場合には、前記第１の追尾手段が特定した追尾被写体位置を用いて次回の第１の探索範囲を設定することを特徴とする被写体追尾装置。
【請求項４】
請求項１〜３のいずれか一項に記載の被写体追尾装置において、
前記第２の追尾手段が特定した追尾被写体位置の信頼度を判定する第２の判定手段をさらに備え、
前記第１の追尾手段は、前記第１の追尾手段が特定した追尾被写体位置と、前記第２の追尾手段が特定した追尾被写体位置との距離が所定値以上であっても、前記第２の判定手段により前記信頼度が低いと判定された場合には、今回と同様の第１の探索範囲を次回の第１の探索範囲として設定することを特徴とする被写体追尾装置。
【請求項５】
請求項１〜４のいずれか一項に記載の被写体追尾装置において、
前記入力画像を、第１の数のブロックに分割する第１の分割手段と、
前記入力画像を、前記第１の数よりも多い第２の数のブロックに分割する第２の分割手段と、
をさらに備え、
前記第１の追尾手段は、前記第１の数のブロックに分割された前記入力画像を用いて前記テンプレートマッチング処理を行い、
前記第２の追尾手段は、前記第２の数のブロックに分割された前記入力画像を用いて前記２値化処理およびラベリング処理を行うことを特徴とする被写体追尾装置。
【請求項６】
請求項１〜５のいずれか一項に記載の被写体追尾装置において、
前記第１の追尾手段は、前記第１の追尾手段が特定した追尾被写体位置と、前記第２の追尾手段が特定した追尾被写体位置との距離が所定値未満である場合には、前記第１の追尾手段が特定した追尾被写体位置を用いて次回の第１の探索範囲を設定することを特徴とする被写体追尾装置。
【請求項７】
入力画像内に第１の探索範囲を設定し、前記第１の探索範囲内の画像に対して第１の被写体追尾処理を行い、前記処理結果に基づいて追尾被写体位置を特定する第１の追尾手段と、
前記入力画像内に第２の探索範囲を設定し、前記第２の探索範囲内の画像に対して、第２の被写体追尾処理を行い、前記処理結果に基づいて追尾被写体位置を特定する第２の追尾手段と、
を備え、
前記第１の被写体追尾処理は、前記第２の被写体追尾処理よりも高速の処理であり、
前記第２の被写体追尾処理は、前記第１の被写体追尾処理よりも高精度の処理であり、
前記第１の追尾手段は、前記第１の追尾手段が特定した追尾被写体位置と、前記第２の追尾手段が特定した追尾被写体位置との距離が所定値未満である場合には、前記第１の追尾手段または前記第２の追尾手段が特定した追尾被写体位置を用いて次回の第１の探索範囲を設定し、前記第１の追尾手段が特定した追尾被写体位置と、前記第２の追尾手段が特定した追尾被写体位置との距離が所定値以上である場合には、前記第２の追尾手段が特定した追尾被写体位置を用いて次回の第１の探索範囲を設定することを特徴とする被写体追尾装置。
【請求項８】
請求項１〜７のいずれか一項に記載の被写体追尾装置を備えることを特徴とするカメラ。
【請求項１】
入力画像内に第１の探索範囲を設定し、前記第１の探索範囲内の画像に対して、追尾被写体の基準となるテンプレート画像を基にテンプレートマッチング処理を行い、前記処理結果に基づいて追尾被写体位置を特定する第１の追尾手段と、
前記入力画像内に第２の探索範囲を設定し、前記第２の探索範囲内の画像に対して、追尾被写体の基準となる輝度情報または色情報に基づいて設定された基準値を用いて２値化処理およびラベリング処理を行い、前記処理結果に基づいて追尾被写体位置を特定する第２の追尾手段と、
を備え、
前記第１の追尾手段は、前記第１の追尾手段が特定した追尾被写体位置と、前記第２の追尾手段が特定した追尾被写体位置との距離が所定値未満である場合には、前記第１の追尾手段または前記第２の追尾手段が特定した追尾被写体位置を用いて次回の第１の探索範囲を設定し、前記第１の追尾手段が特定した追尾被写体位置と、前記第２の追尾手段が特定した追尾被写体位置との距離が所定値以上である場合には、前記第２の追尾手段が特定した追尾被写体位置を用いて次回の第１の探索範囲を設定することを特徴とする被写体追尾装置。
【請求項２】
請求項１に記載の被写体追尾装置において、
前記第１の追尾手段は、前記第１の追尾手段が特定した追尾被写体位置と、前記第２の追尾手段が特定した追尾被写体位置との距離が所定値以上であっても、前記第２の追尾手段が特定した追尾被写体位置の演算時刻が前記第１の追尾手段が特定した追尾被写体位置の演算時刻から所定時間以上離れている場合には、前記第１の追尾手段が特定した追尾被写体位置を用いて次回の第１の探索範囲を設定することを特徴とする被写体追尾装置。
【請求項３】
請求項１または２に記載の被写体追尾装置において、
前記第１の追尾手段が特定した追尾被写体位置の信頼度を判定する第１の判定手段をさらに備え、
前記第１の追尾手段は、前記第１の追尾手段が特定した追尾被写体位置と、前記第２の追尾手段が特定した追尾被写体位置との距離が所定値以上であっても、前記第１の判定手段により前記信頼度が高いと判定された場合には、前記第１の追尾手段が特定した追尾被写体位置を用いて次回の第１の探索範囲を設定することを特徴とする被写体追尾装置。
【請求項４】
請求項１〜３のいずれか一項に記載の被写体追尾装置において、
前記第２の追尾手段が特定した追尾被写体位置の信頼度を判定する第２の判定手段をさらに備え、
前記第１の追尾手段は、前記第１の追尾手段が特定した追尾被写体位置と、前記第２の追尾手段が特定した追尾被写体位置との距離が所定値以上であっても、前記第２の判定手段により前記信頼度が低いと判定された場合には、今回と同様の第１の探索範囲を次回の第１の探索範囲として設定することを特徴とする被写体追尾装置。
【請求項５】
請求項１〜４のいずれか一項に記載の被写体追尾装置において、
前記入力画像を、第１の数のブロックに分割する第１の分割手段と、
前記入力画像を、前記第１の数よりも多い第２の数のブロックに分割する第２の分割手段と、
をさらに備え、
前記第１の追尾手段は、前記第１の数のブロックに分割された前記入力画像を用いて前記テンプレートマッチング処理を行い、
前記第２の追尾手段は、前記第２の数のブロックに分割された前記入力画像を用いて前記２値化処理およびラベリング処理を行うことを特徴とする被写体追尾装置。
【請求項６】
請求項１〜５のいずれか一項に記載の被写体追尾装置において、
前記第１の追尾手段は、前記第１の追尾手段が特定した追尾被写体位置と、前記第２の追尾手段が特定した追尾被写体位置との距離が所定値未満である場合には、前記第１の追尾手段が特定した追尾被写体位置を用いて次回の第１の探索範囲を設定することを特徴とする被写体追尾装置。
【請求項７】
入力画像内に第１の探索範囲を設定し、前記第１の探索範囲内の画像に対して第１の被写体追尾処理を行い、前記処理結果に基づいて追尾被写体位置を特定する第１の追尾手段と、
前記入力画像内に第２の探索範囲を設定し、前記第２の探索範囲内の画像に対して、第２の被写体追尾処理を行い、前記処理結果に基づいて追尾被写体位置を特定する第２の追尾手段と、
を備え、
前記第１の被写体追尾処理は、前記第２の被写体追尾処理よりも高速の処理であり、
前記第２の被写体追尾処理は、前記第１の被写体追尾処理よりも高精度の処理であり、
前記第１の追尾手段は、前記第１の追尾手段が特定した追尾被写体位置と、前記第２の追尾手段が特定した追尾被写体位置との距離が所定値未満である場合には、前記第１の追尾手段または前記第２の追尾手段が特定した追尾被写体位置を用いて次回の第１の探索範囲を設定し、前記第１の追尾手段が特定した追尾被写体位置と、前記第２の追尾手段が特定した追尾被写体位置との距離が所定値以上である場合には、前記第２の追尾手段が特定した追尾被写体位置を用いて次回の第１の探索範囲を設定することを特徴とする被写体追尾装置。
【請求項８】
請求項１〜７のいずれか一項に記載の被写体追尾装置を備えることを特徴とするカメラ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−８５０８９（Ｐ２０１３−８５０８９Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１１−２２３１３７（Ｐ２０１１−２２３１３７）
【出願日】平成２３年１０月７日（２０１１．１０．７）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２３年１０月７日（２０１１．１０．７）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]