画像追尾装置
【課題】相対的に接近する移動被写体を追尾する場合でも、追尾精度の低下を抑制する。
【解決手段】画像追尾装置は、結像光学系により結像される像を繰り返し撮像して、被写界画像を生成する撮像手段と、追尾対象領域に基づいて、少なくとも１つの第１テンプレート画像を含む複数のテンプレート画像を生成する生成手段と、被写界画像の内部の探索領域画像と、複数のテンプレート画像のそれぞれとの間の相関関係を演算する演算手段と、複数のテンプレート画像のそれぞれに対する演算結果を比較し、比較結果に基づいて、演算結果を選択する選択手段と、選択された演算結果に基づいて、被写界画像における追尾対象の画像の位置を検出する検出手段とを備え、生成手段は、追尾対象領域に含まれる画像領域を補間処理により拡大し、拡大された画像領域に基づいて、第１テンプレート画像を生成する。
【解決手段】画像追尾装置は、結像光学系により結像される像を繰り返し撮像して、被写界画像を生成する撮像手段と、追尾対象領域に基づいて、少なくとも１つの第１テンプレート画像を含む複数のテンプレート画像を生成する生成手段と、被写界画像の内部の探索領域画像と、複数のテンプレート画像のそれぞれとの間の相関関係を演算する演算手段と、複数のテンプレート画像のそれぞれに対する演算結果を比較し、比較結果に基づいて、演算結果を選択する選択手段と、選択された演算結果に基づいて、被写界画像における追尾対象の画像の位置を検出する検出手段とを備え、生成手段は、追尾対象領域に含まれる画像領域を補間処理により拡大し、拡大された画像領域に基づいて、第１テンプレート画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像追尾装置に関する。
【背景技術】
【０００２】
従来から、移動被写体を撮影する際に、画面内の指示部分の被写体像をテンプレート画像として取得し、繰り返し撮影する画像の中でテンプレート画像と類似した被写体像の位置を検索（テンプレートマッチング）し、画面内を横方向へ移動する被写体を追尾する画像追尾装置が知られている。たとえば特許文献１では、複数のテンプレート画像を用いてテンプレートマッチングを行うことによって、追尾精度を向上させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１８７３３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、相対的に接近する移動被写体の画像上でのサイズは大きくなるので、テンプレート画像と類似した被写体像の検出精度が低下して、被写体を追尾できなくなるという問題がある。
【課題を解決するための手段】
【０００５】
請求項１に記載の発明による画像追尾装置は、結像光学系により結像される像を繰り返し撮像して、被写界画像を生成する撮像手段と、被写界画像に含まれる追尾対象領域に基づいて、少なくとも１つの第１テンプレート画像を含む複数のテンプレート画像を生成する生成手段と、被写界画像の内部の探索領域画像と、生成手段により生成された複数のテンプレート画像のそれぞれとの間の相関関係を演算する演算手段と、演算手段による複数のテンプレート画像のそれぞれに対する演算結果を比較し、比較結果に基づいて、演算結果を選択する選択手段と、選択手段により選択された演算結果に基づいて、被写界画像における追尾対象の画像の位置を検出する検出手段とを備え、生成手段は、追尾対象領域に含まれる画像領域を補間処理により拡大し、拡大された画像領域に基づいて、第１テンプレート画像を生成することを特徴とする。
請求項１３に記載の発明による画像追尾装置は、結像光学系により結像される像を繰り返し撮像して、被写界画像を生成する撮像手段と、被写界画像に基づいて、少なくとも１つの第１テンプレート画像を含む複数のテンプレート画像を生成する生成手段と、被写界画像における探索領域画像と、生成手段により生成された複数のテンプレート画像のそれぞれとの間の相関関係を演算する演算手段と、結像光学系の撮影距離に関する情報を入力する入力手段と、入力手段により入力された撮影距離に関する情報に基づいて、追尾対象が相対的に接近していることを判定する判定手段と、判定手段により追尾対象が接近していると判定された場合には、演算手段による複数のテンプレート画像のそれぞれに対する演算結果のうち、第１テンプレート画像に対する演算結果を優先して選択し、判定手段により追尾対象の接近が判定されない場合には、演算手段による演算結果のうち第１テンプレート画像とは異なるテンプレート画像による演算結果を選択する選択手段と、選択手段により選択された演算結果に基づいて、被写界画像における追尾対象の画像の位置を検出する検出手段と備え、生成手段は、被写界画像に含まれる追尾対象領域を決定し、追尾対象領域に含まれる画像領域を補間処理により拡大し、拡大された画像領域に基づいて、第１テンプレート画像を生成することを特徴とする。
請求項１４に記載の発明による画像追尾装置は、結像光学系により結像される像を繰り返し撮像して、被写界画像を生成する第１撮像手段と、被写界画像に基づいて、少なくとも１つの第１テンプレート画像を含む複数のテンプレート画像を生成する生成手段と、被写界画像における探索領域画像と、生成手段により生成された複数のテンプレート画像のそれぞれとの間の相関関係を演算する演算手段と、結像光学系の焦点状態を演算して、焦点調節を行う焦点調節手段と、焦点調節手段による演算結果に基づいて、追尾対象が結像光学系の光軸方向に対して接近しているか否かを判定する判定手段と、判定手段により追尾対象が接近していると判定された場合には、演算手段による複数のテンプレート画像のそれぞれに対する演算結果のうち、第１テンプレート画像に対する演算結果を優先して選択し、判定手段により追尾対象の接近が判定されない場合には、演算手段による演算結果のうち第１テンプレート画像とは異なるテンプレート画像による演算結果を選択する選択手段と、選択手段により選択された演算結果に基づいて、被写界画像における追尾対象の画像の位置を検出する検出手段と備え、生成手段は、被写界画像に含まれる追尾対象領域を決定し、追尾対象領域に含まれる画像領域を補間処理により拡大し、拡大された画像領域に基づいて、第１テンプレート画像を生成することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、追尾対象領域に含まれる画像領域を拡大した第１テンプレート画像を少なくとも１つ含む複数のテンプレート画像の演算結果に基づいて、追尾対象の画像の位置を検出できる。
【図面の簡単な説明】
【０００７】
【図１】一実施の形態の画像追尾装置を備えた撮像装置の構成を示す横断面図
【図２】一実施の形態の画像追尾装置を備えた撮像装置の構成を示すブロック図
【図３】実施の形態の追尾制御部が備える機能を示すブロック図
【図４】第２撮像素子の構成および被写界画像を例示する平面図
【図５】一実施の形態の画像追尾方法を説明するための図
【図６】一実施の形態の画像追尾方法を説明するための図
【図７】一実施の形態の画像追尾方法を説明するための図
【図８】一実施の形態の画像追尾方法を説明するための図
【図９】一実施の形態の画像追尾方法を説明するための図
【図１０】一実施の形態の画像追尾処理を示すフローチャート
【図１１】追尾制御初期処理を示すフローチャート
【図１２】拡大テンプレート更新処理を示すフローチャート
【図１３】変形例における拡大テンプレート画像の生成処理を説明するための図
【図１４】変形例における拡大テンプレート画像の生成処理を説明するための図
【発明を実施するための形態】
【０００８】
撮影画面内に設定された複数の焦点検出エリアにおいて撮影レンズの焦点調節状態（この一実施の形態ではデフォーカス量）を検出し、いずれかのエリアのデフォーカス量に基づいて撮影レンズを合焦駆動する自動焦点調節（ＡＦ）機能と、撮影画像の中の追尾対象の被写体の画像をテンプレート画像（基準画像）として記憶し、繰り返し撮像される画像の中でテンプレート画像と同一または類似した画像の位置を検索しながら（テンプレートマッチング）追尾対象の被写体を追尾する画像追尾機能とを備え、ＡＦ機能と画像追尾機能により撮影レンズを駆動しながら追尾対象を追尾する画像追尾装置を備えた撮像装置（一眼レフデジタルスチルカメラ）の一実施の形態を説明する。
【０００９】
図１は、一実施の形態の画像追尾装置を備えた撮像装置（一眼レフデジタルスチルカメラ）１の構成を示す。なお、図１では画像追尾機能とは直接関係のないカメラの機器および回路についての図示と説明を省略する。一実施の形態のカメラ１では、撮影レンズ８、絞り２１等を有する交換レンズ３がカメラ本体２に着脱可能に装着される。カメラ本体２には被写界像を撮像して画像を記録するための第１撮像素子４が設けられる。この第１撮像素子４はＣＣＤやＣＭＯＳなどにより構成することができる。撮影時にはクイックリターンミラー５およびサブミラー６が実線で示す撮影光路外の位置に退避してシャッター７が開放され、撮影レンズ８により第１撮像素子４の受光面に被写体像が結像される。
【００１０】
カメラ本体２の底部には、撮影レンズ８の焦点調節状態を検出するための焦点検出光学系９と測距素子１０が設けられている。この一実施の形態では、瞳分割型位相差検出方式による焦点検出方法を採用した例を示す。焦点検出光学系９は、撮影レンズ８を通過した対の焦点検出用光束を測距素子１０の受光面へ導き、対の光像を結像させる。測距素子１０は例えば対のＣＣＤラインセンサーを備え、対の光像に応じた焦点検出信号を出力する。撮影前にはクイックリターンミラー５およびサブミラー６が破線で示すような撮影光路内の位置に設定されており、撮影レンズ８からの対の焦点検出用光束はクイックリターンミラー５のハーフミラー部を透過し、サブミラー６により反射されて焦点検出光学系９および測距素子１０へ導かれる。
【００１１】
カメラ本体２の上部にはファインダー光学系が設けられている。撮影前にはクイックリターンミラー５およびサブミラー６が破線で示す位置にあり、撮影レンズ８からの被写体光の一部はクイックリターンミラー５に反射されて焦点板１１へ導かれ、焦点板１１上に被写体像が結像する。液晶表示素子１２は、焦点板１１上に結像された被写界像に焦点検出エリアマークなどの情報を重畳表示するとともに、被写界像外の位置に露出値などの種々の撮影情報を表示する。焦点板１１上の被写界像はペンタダハプリズム１３および接眼レンズ１４を介して接眼窓１５へ導かれ、撮影者が被写界像を視認することができる。
【００１２】
また、カメラ本体２上部のファインダー光学系には、被写体追尾や測光のために被写界像を撮像する第２撮像素子１６が設けられる。焦点板１１に結像した被写界像は、ペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６の受光面に再結像される。
【００１３】
図４（ａ）は第２撮像素子１６の詳細な構成を示す正面図である。図４（ａ）においては水平方向をｘ軸、垂直方向をｙ軸とする座標系を用いる。第２撮像素子１６は、マトリクス状に配列された複数の画素（光電変換素子）４０（たとえば、横６４０個×縦４８０個の画素）を備えている。なお、図４（ａ）においては、図示の都合上、画素４０の個数は上記横６４０個×縦４８０個よりも少ない個数で示している。さらに、各画素４０にはそれぞれ赤Ｒ、緑Ｇ、青Ｂの原色フィルターが設けられている。これにより、各画素４０ごとに被写界画像のＲＧＢ信号（被写界画像信号）を後述するボディ駆動制御装置１９（図２）に出力することができる。詳細を後述するが、この第２撮像素子１６により撮像された被写界画像信号に基づいて、ボディ駆動制御装置１９によって追尾制御と露出演算とが行われる。なお、ボディ駆動制御装置１９は、追尾制御と露出演算は第１撮像素子４による撮像により出力された被写界画像信号に基づいて行うこととしてもよい。
【００１４】
カメラ本体２にはまた、ボディ駆動制御装置１９、操作部材２０などが設けられる。ボディ駆動制御装置１９は、詳細を後述するマイクロコンピューターとメモリ、Ａ／Ｄ変換器などの周辺部品から構成され、カメラ１の種々の制御と演算を行う。操作部材２０には、レリーズボタン、焦点検出エリア選択スイッチ、撮影モード選択スイッチなどのカメラ１を操作するためのスイッチやセレクターが含まれる。
【００１５】
交換レンズ３には、ズーミングレンズ８ａ、フォーカシングレンズ８ｂ、絞り２１、レンズ駆動制御装置２２などが設けられる。なお、この一実施の形態では撮影レンズ８をズーミングレンズ８ａ、フォーカシングレンズ８ｂおよび絞り２１で代表的に表すが、撮影レンズ８の構成は図１に示す構成に限定されない。レンズ駆動制御装置２２は図示しないマイクロコンピューターとメモリ、駆動回路、アクチュエーターなどの周辺部品から構成され、レンズ８ａ、８ｂおよび絞り２１の駆動制御とそれらの位置検出を行う。レンズ駆動制御装置２２に内蔵されるメモリには、交換レンズ３の焦点距離や開放絞り値などのレンズ情報が記憶されている。
【００１６】
ボディ駆動制御装置１９とレンズ駆動制御装置２２はレンズマウント部の接点２３を介して通信を行う。この通信によって、ボディ駆動制御装置１９はレンズ駆動制御装置２２へレンズ駆動量や絞り値などの情報を送信し、レンズ駆動制御装置２２はボディ駆動制御装置１９へレンズ情報や絞り情報を送信する。
【００１７】
図２はボディ駆動制御装置１９の詳細な構成を示す。なお、画像追尾機能とは直接関係のない制御機能については図示と説明を省略する。ボディ駆動制御装置１９は素子制御回路１９ａ、Ａ／Ｄ変換器１９ｂ、マイクロコンピューター１９ｃ、メモリ１９ｄなどを備えている。素子制御回路１９ａは第２撮像素子１６の電荷の蓄積と読み出しを制御する。Ａ／Ｄ変換器１９ｂは、第２撮像素子１６から出力されるアナログ画像信号をデジタル画像信号に変換する。撮影者により操作部材２０のレリーズボタンが半押しされると半押しスイッチ（不図示）がオンし、図１に示すように、撮影レンズ８を通過した被写体光の一部は破線で示すクイックリターンミラー５により反射され、ペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６へ導かれる。レリーズボタンが半押しされている間、第２撮像素子１６により繰り返し周期的に被写界画像を撮像することができる。
【００１８】
マイクロコンピューター１９ｃは、ソフトウエア形態により露出制御部１９ｅ、焦点検出演算部１９ｆ、レンズ駆動量演算部１９ｇおよび追尾制御部１９ｈを構成する。メモリ１９ｄは、画像追尾用のテンプレート画像やデフォーカス量などの情報、撮影レンズ８の焦点距離、開放Ｆ値、絞り値、像ズレ量からデフォーカス量への変換係数などのレンズ情報などを記憶する。
【００１９】
露出制御部１９ｅは、第２撮像素子１６により撮像した画像信号に基づいて露出値を演算する。焦点検出演算部１９ｆは、測距素子１０から出力される対の光像に応じた焦点検出信号に基づいて撮影レンズ８の焦点調節状態、ここではデフォーカス量を検出する。なお、詳細を後述するが、撮影レンズ８の撮影画面内には複数の焦点検出エリアが設定されており、測距素子１０は焦点検出エリアごとに対の光像に応じた焦点検出信号を出力し、焦点検出演算部１９ｆは焦点検出エリアごとに対の光像に応じた焦点検出信号に基づいてデフォーカス量を検出する。撮影者により操作部材２０のレリーズボタンが半押しされると半押しスイッチ（不図示）がオンし、図１に示すように、撮影レンズ８を通過した被写体光の一部は破線で示すクイックリターンミラー５のハーフミラー部を通ってサブミラー６および焦点検出光学系９を介して測距素子１０へ導かれ、焦点検出演算部１９ｆにより焦点検出演算が行われる。レンズ駆動量演算部１９ｇは検出されたデフォーカス量をレンズ駆動量に変換する。なお、焦点調節状態の検出は、レリーズボタンが半押しされている間、繰り返し周期的に行われる。
【００２０】
追尾制御部１９ｈは、画像追尾動作（処理）を行う。すなわち、追尾制御部１９ｈは、第２撮像素子１６により撮像した被写界像の内、撮影者が手動で指定した追尾対象位置、あるいはカメラ１が自動で設定した追尾対象位置に対応する画像をテンプレート画像(基準画像）としてメモリ１９ｄに記憶させる。そして、追尾制御部１９ｈは、撮影周期ごとに第２撮像素子１６により繰り返し撮影される被写界画像の中からテンプレート画像と一致または類似する画像領域を検索することによって対象の位置を認識する。
【００２１】
図３に示すように、追尾制御部１９ｈは、画像追尾処理を行うために、テンプレート生成部１９１、演算部１９２、選択部１９３、検出部１９４、更新部１９５および設定部１９６を機能的に備える。テンプレート生成部１９１は、第２撮像素子１６から出力された被写界画像信号を用いて、テンプレート画像を生成してメモリ１９ｄに記憶させる。演算部１９２は、撮影周期ごとに繰り返し撮影される被写界画像とテンプレート画像との間で相関関係を演算する。選択部１９３は、演算部１９２による演算結果のうち、テンプレート画像との相関関係が最も高いことを示す演算結果を選択する。検出部１９４は、選択部１９３により選択された演算結果に基づいて、被写界画像の中からテンプレート画像と一致または類似する画像領域を検出（検索）する。更新部１９５は、テンプレート生成部１９１により生成されたテンプレート画像の更新処理を行う。設定部１９６はテンプレート画像と一致または類似する画像領域を検出するための探索領域を被写界画像内に設定するとともに、検出された一致または類似する画像領域を後述する追尾対象領域として設定する。なお、テンプレート生成部１９１、演算部１９２、選択部１９３、検出部１９４、更新部１９５および設定部１９６による処理の詳細については、説明を後述する。
【００２２】
次に、一実施の形態の画像追尾動作を説明する。図５〜図９は一実施の形態の画像追尾動作を説明するための図、図１０〜図１２は一実施の形態の画像追尾処理を示すフローチャートである。ボディ駆動制御装置１９は、第２撮像素子１６により撮像した被写体画像のうち、ユーザが手動で追尾対象とする被写体（以後、追尾対象被写体）を指定するか、あるいはカメラが自動で追尾対象被写体を設定した後、操作部材２０のレリーズボタンを半押しすると、被写体追尾処理を開始する。なお、以降の説明では、図５〜図９において水平方向をｘ軸、垂直方向をｙ軸とする座標系を用いる。
【００２３】
レリーズボタンを全押しして撮影を行うとき以外は、クイックリターンミラー５が図１に破線で示す撮影光路内に設定されており、撮影レンズ８から入射した被写体光の一部は焦点板１１上に結像される。そして、焦点板１１上の被写界像はペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６へ導かれ、第２撮像素子１６から被写界画像信号が繰り返し出力される。
【００２４】
撮影レンズ８の撮影画面には複数の焦点検出エリアが設定されており、液晶表示素子１２は焦点板１１上の被写界像にエリアマークを重畳して、各焦点検出エリアの位置を表示する。この一実施の形態では、図５に示すように、撮影画面内の７カ所に焦点検出エリア４５ａ〜４５ｇが設定された例を示す。また、操作部材２０の焦点検出エリア選択スイッチにより任意のエリアを選択すると、そのエリアのマークが点灯表示される。
【００２５】
図５に示すように操作部材２０の焦点検出エリア選択スイッチにより焦点検出エリア４５ｃが選択され、この状態で操作部材２０のレリーズボタンが半押しされると、焦点検出エリア４５ｂが初回ＡＦエリアとしてメモリ１９ｄに記憶される。これにより、追尾対象被写体として初回ＡＦエリア内の被写体が指定される。なお、ここでは撮影者が初回ＡＦエリアを選択して追尾対象被写体を手動で指定する例を示すが、例えば自動的に被写体を認識する機能を備えたカメラでは被写体認識結果に基づいて初回ＡＦエリアおよび追尾対象被写体を設定してもよい。
【００２６】
図１０のステップＳ１において、素子制御回路１９ａは第２撮像素子１６に追尾初期画像（画像追尾処理を開始して最初に取得する画像）を取得させる。第２撮像素子１６により撮像された初期追尾画像の画像情報は、被写界画像信号として画素ごとにＲＧＢ値で表される。マイクロコンピューター１９ｃは、第２撮像素子１６から入力した被写界画像信号のＲＧＢ値に基づいて、被写界画像の色情報と輝度情報とを算出する。このとき、マイクロコンピューター１９ｃは、第２撮像素子１６に含まれる６４０×４８０個の画素４０のそれぞれの画像情報を、たとえば隣接する８×８個の画素４０の画像情報をまとめて１つのブロックとするブロック化を行う。この場合、マイクロコンピューター１９ｃは、隣接する８×８個の画像情報（すなわちＲＧＢ値）を平均化あるいは合計することによりブロック化を行う。その結果、図４（ｂ）に示すように、被写界画像の６４０×４８０個の画素４０のそれぞれの画像情報は、８０×６０個のブロック４１（図４（ｂ）の太線で囲まれる範囲内）の画像情報として表される。なお、以後の説明においては、上記のブロック化された１つのブロックをブロック画素４１と呼ぶ。また、図４（ｂ）においては、全被写界画像のうちの一部を拡大して示している。
【００２７】
上述したようにしてブロック化が行われると、第２撮像素子１６により撮像された画像情報は、ブロック画素４１ごとに以下の式（１）のようにＲＧＢ値で表される。
Ｒ[ｘ,ｙ]、Ｇ[ｘ,ｙ]、Ｂ[ｘ,ｙ]，
ｘ＝１〜８０、ｙ＝１〜６０ ・・・（１）
【００２８】
そして、マイクロコンピューター１９ｃは、上記のブロック画素４１ごとのＲＧＢ値に基づいて、各ブロック画素４１の色情報と輝度情報とを算出する。ここで、色情報は、以下の（２）式に示すように、色の偏り具合を示す値であるＲＧ、ＢＧにより表される。また、輝度情報として画像を取得したときの露光時間Ｔ、ゲインＧ、色合成係数Ｋｒ、Ｋｇ、Ｋｂに基づいて、以下の（２）式より算出されたＬによって表される。
ＲＧ[ｘ,ｙ]＝Log２（Ｒ[ｘ,ｙ]）−Log２（Ｇ[ｘ,ｙ]）
ＢＧ[ｘ,ｙ]＝Log２（Ｂ[ｘ,ｙ]）−Log２（Ｇ[ｘ,ｙ]）
Ｌ[ｘ,ｙ]＝Log２（Kr×Ｒ[ｘ,ｙ]＋Kg×Ｇ[ｘ,ｙ]＋Kb×Ｂ[ｘ,ｙ]）−Log２（Ｔ）−Log２（Ｇ）
・・・（２）
【００２９】
次に、ステップＳ２で追尾制御部１９ｈは、図１１に示す追尾制御初期処理を実行する。図１１のステップＳ１０１において、追尾制御部１９ｈのテンプレート生成部１９１は、追尾初期画像の中の撮影者が指定した位置（ここでは初回ＡＦエリアである焦点検出エリア４５ｂ）の画像情報（(２)式参照）を被写体色情報としてメモリ１９ｄに記憶する。ステップＳ１０２では、図６(ａ)に示すように、テンプレート生成部１９１は、追尾初期画像の中の焦点検出エリア４５ｂ（図５参照）の位置周辺部において上記被写体色情報と同様な色情報を示す同色情報領域を検出する。
【００３０】
ステップＳ１０３では、テンプレート生成部１９１は、上記同色情報領域を含む四角形の領域を初期の追尾被写体領域４７とする。なお、ここでは被写体色情報に基づいて追尾被写体領域４７を決定する例を示すが、処理の簡素化を図るために一律に４×４個のブロック画素４１のように追尾被写体領域４７のサイズを統一したり、あるいは撮影レンズ８の距離情報や被写体の像倍率に応じて追尾被写体領域４７のサイズを決定してもよい。
【００３１】
ステップＳ１０４では、テンプレート生成部１９１は、ステップＳ１０３で決定した追尾初期画像の追尾被写体領域４７をテンプレート画像４８としてメモリ１９ｄに記憶する。図６（ａ）に示すように、追尾被写体領域４７のサイズ（大きさ）をＴｍｐＳｉｚｅとすると、図６（ｂ）に示すテンプレート画像４８の色情報および輝度情報は以下の式（３）ように表される。なお、以降の説明においては、追尾初期画像に基づいて生成されたテンプレート画像４８を初期テンプレート画像と呼ぶ。また、以降の各式において、変数ｔはテンプレート画像の種類を示す変数であり、ｔ＝０が初期テンプレート画像４８に対応する。
Ｒｅｆ［ｔ，ＲＧ，ｉ，ｊ］＝ＲＧ［ｘ＋ｉ，ｙ＋ｊ］
Ｒｅｆ［ｔ，ＢＧ，ｉ，ｊ］＝ＢＧ［ｘ＋ｉ，ｙ＋ｊ］
Ｒｅｆ［ｔ，Ｌ，ｉ，ｊ］＝Ｌ［ｘ＋ｉ，ｙ＋ｊ］
ｔ＝０、i＝１〜ＴｍｐＳｉｚｅ、j＝１〜ＴｍｐＳｉｚｅ ・・・（３）
【００３２】
ステップＳ１０５では、テンプレート生成部１９１は、初期テンプレート画像４８に基づいて、拡大テンプレート画像５０を作成する。図６（ｃ）に示すように、この拡大テンプレート画像５０は、初期テンプレート画像４８の内部に含まれる内部画像領域５０ａ（図６（ｃ）の破線で囲まれた領域）が初期テンプレート画像４８と同一のサイズに拡大された画像である。換言すると、拡大テンプレート画像５０は、初期テンプレート画像４８をズームアップした場合に得られる画像に相当する。このため、後述するように、被写体がカメラ１に接近してくる場合に、拡大テンプレート画像５０によって追尾対象被写体を検出できる。
【００３３】
テンプレート生成部１９１は、拡大テンプレート５０を作成する際に、まず、初期テンプレート画像４８の内部を内部画像領域５０ａとして決定する。図７（ａ）においては、内部画像領域５０ａの一例として、初期テンプレート画像４８の上下（ｙ方向）についてそれぞれ２ブロック画素、左右（ｘ方向）についてそれぞれ２ブロック画素ずつ内側の領域が決定された場合を示している。そして、テンプレート生成部１９１は、決定した内部画像領域５０ａ（Ｓｃｌｕｐ［ｃｌ，ｉ，ｊ］）をメモリ１９ｄに記憶する。なお、複数の内部画像領域５０ａを決定してもよい。図７（ｂ）には、一例として、３種類の内部画像領域５０ａ１〜５０ａ３を決定した場合を示している。この場合、テンプレート生成部１９１は、内部画像領域５０ａ１〜５０ａ３のサイズが段階的に小さくなるように内部画像領域５０ａ１〜５０ａ３を決定する。
【００３４】
上述のようにして内部画像領域５０ａを決定すると、テンプレート生成部１９１は、以下の式（４）に示す補間処理により内部画像領域５０ａを初期テンプレート画像４８と同一のサイズに拡大して拡大テンプレート画像５０（Ｒｅｆ［ｔ，ｃｌ，ｉ，ｊ］，ｔ＝１）を生成する。なお、変数ｔが１の場合には、拡大テンプレート画像５０であることを示す。
Ｓｃｌｕｐ［ＲＧ，ｓ，ｕ］＝ＲＧ［ｘ＋ｓ＋ｎ，ｙ＋ｕ＋ｎ］
Ｓｃｌｕｐ［ＢＧ，ｓ，ｕ］＝ＢＧ［ｘ＋ｓ＋ｎ，ｙ＋ｕ＋ｎ］
Ｓｃｌｕｐ［Ｌ，ｓ，ｕ］＝Ｌ［ｘ＋ｓ＋ｎ，ｙ＋ｕ＋ｎ］
ｓ＝１〜拡大テンプレート画像のサイズ、ｕ＝１〜拡大テンプレート画像のサイズ、
ｎ＝初期テンプレート画像と内部画像領域との差分画素数 ・・・（４）
【００３５】
なお、複数の内部画像領域５０ａを決定した場合（たとえば図７（ｂ）の内部画像領域５０ａ１〜５０ａ３）、テンプレート生成部１９１は、それぞれの内部画像領域５０ａについて上述した補間処理により、初期テンプレート画像４８と同一のサイズに拡大する。その結果、図６（ｄ）に示すように、ズームアップの倍率が異なる複数種類の拡大テンプレート画像５０_１、５０_２、５０_３が生成される。また、追尾対象の被写体が遠方に存在するため被写界画像内で小さな領域しか占有できない場合には、すなわち同色情報領域、被写体追尾領域４７および初期テンプレート画像４８のサイズが小さくなる。このような場合、テンプレート生成部１９１は、上記の方法によって初期テンプレート画像４８の内部に内部画像領域５０ａを決定できない。したがって、テンプレート生成部１９１は、たとえば初期テンプレート画像４８のサイズが４×４個のブロック画素４１のような場合、初期テンプレート画像４８と同一の画像情報を拡大テンプレート画像５０として設定する。テンプレート生成部１９１は、拡大テンプレート画像５０を生成するとメモリ１９ｄに記憶する。
【００３６】
以上で追尾制御初期処理を終了し、図１０のステップＳ３へリターンする。リターン後の図１０のステップＳ３において、マイクロコンピューター１９ｃは操作部材２０のレリーズボタンが全押しされたか否かを判別する。レリーズボタンが全押しされるまでの間、マイクロコンピューター１９ｃは、ステップＳ４〜Ｓ１１の処理を繰り返す。ステップＳ４では、次の撮影周期で第２撮像素子１６により撮像された被写界画像（追尾次画像）について、マイクロコンピューター１９ｃは、ステップＳ１と同様にして、画像情報Ｒ[ｘ,ｙ]、Ｇ[ｘ,ｙ]、Ｂ[ｘ,ｙ]（ｘ＝１〜８０、ｙ＝１〜６０）を取得し、色情報ＲＧ[ｘ,ｙ]，ＢＧ[ｘ,ｙ]および輝度情報Ｌ[ｘ,ｙ]を算出する。
【００３７】
ステップＳ５では、設定部１９６は、テンプレート画像４８と一致または類似する画像を探索するための領域（探索領域）４９（図６（ａ））を設定する。ここでは、設定部１９６は、たとえば、追尾被写体領域４７の上下左右方向にそれぞれ４ブロック画素分拡大したブロック画素範囲に含まれる領域を探索領域４９として設定する。
【００３８】
設定部１９６は、好ましくは追尾被写体領域４７を中心にして探索領域４９を設定する。追尾対象の被写体は今回検出された位置すなわち追尾被写体領域４７を基点にして移動する。このため、設定部１９６によって追尾被写体領域４７を中心にして探索領域４９が設定されることにより、追尾対象の被写体を早く検出することができ、画像追尾の応答性を向上させることができる。なお、この探索領域４９は縦横それぞれに所定個数のブロック画素を含む固定サイズの領域としてもよいし、追尾結果や追尾対象被写体の大きさに応じて変えるようにしてもよい。
【００３９】
続くステップＳ６では追尾制御部１９ｈの演算部１９２は、追尾演算処理を行う。演算部１９２は、追尾次画像の中の探索領域４９から図６(ａ)に示す追尾被写体領域４７と同じサイズの領域を順次切り出す。そして、演算部１９２は、切り出した画像と、図６(ｂ)に示すテンプレート画像４８とを、対応する画素ごとに相関を演算、すなわち画像情報の差分Ｄｉｆｆ［ｔ（＝０），ｓｘ，ｓｙ］を算出する。さらに、演算部１９２は、切り出した画像と、図６（ｃ）に示す拡大テンプレート画像５０とを、対応するブロック画素４１ごとに相関を演算、すなわち画像情報の差分Ｄｉｆｆ［ｔ（＝１），ｓｘ，ｓｙ］を算出する。
【００４０】
具体的には、演算部１９２は、探索領域４９の始点位置を（ｘ，ｙ）としたとき、差分Ｄｉｆｆ［ｔ，ｓｘ，ｓｙ］を次式（５）により算出する。
【数１】
【００４１】
なお、（５）式におけるｓｘ、ｓｙは、それぞれ切り出し画像の始点位置をずらす範囲（量）を示している。（５）式は以下の（１）、（２）の処理が行われていることを示している。
（１）探索領域４９の中で追尾被写体領域４７と同じサイズの領域を１ブロック画素ずつずらしながら切り出し画像を取得する。
（２）切り出した画像とテンプレート画像４８との間および切り出した画像と拡大テンプレート画像５０との間でブロック画素ごとの画像情報の差分Ｄｉｆｆを求める。
【００４２】
例えば、図８(ａ)に示すように探索領域４９から順次切り出した画像（図８（ａ）においては、４７ａ、４７ｂ、４７ｃ）と、テンプレート画像４８とが順次比較され、それぞれの切り出し画像について差分Ｄｉｆｆが算出される。同様に、探索領域４９から順次切り出した画像（図８（ａ）の４７ａ、４７ｂ、４７ｃ）と、拡大テンプレート画像５０とが順次比較されて、それぞれの切り出し画像について差分Ｄｉｆｆが算出される。そして、これらの差分Ｄｉｆｆの内の最小の値を示す切り出し画像が、テンプレート画像４８または拡大テンプレート画像５０に最も類似している、類似度が高い画像となる。
【００４３】
なお、図６（ｄ）にて示したように、ズームアップの倍率が異なる複数種類の拡大テンプレート画像５０_１、５０_２、５０_３が生成された場合については、演算部１９２は、変数ｔに、比較するテンプレート画像の種類の数を代入して上記の式（５）を演算する。この場合、演算部１９２は、１種類の初期テンプレート画像４８と３種類の拡大テンプレート画像５０_１、５０_２、５０_３とを合わせた数である４を変数ｔに代入する。式（５）を用いた演算により、演算部１９２は、生成されたテンプレート画像４８および複数の拡大テンプレート画像５０_１、５０_２、５０_３のそれぞれについて差分Ｄｉｆｆを算出する。
【００４４】
ステップ７においては、新しい追尾被写体位置を決定するための新追尾被写体位置決定処理を行う。演算部１９２により上記（５）式を用いて差分Ｄｉｆｆが算出されると、選択部１９３は、複数の差分Ｄｉｆｆの値のうち最も小さい値（最小差分値ＭｉｎＤｉｆｆ）を選択する。最小差分値ＭｉｎＤｉｆｆが選択されると、検出部１９４は、最小差分値ＭｉｎＤｉｆｆとなるときの差分Ｄｉｆｆの座標値（Ｍｉｎｄｘ，Ｍｉｎｄｙ）を検出する。そして、図８（ｂ）に示すように、設定部１９６は、検出部１９４により検出された座標値（Ｍｉｎｄｘ，Ｍｉｎｄｙ）を中心として新たな追尾被写体領域４７を設定する。換言すると、設定部１９６は、テンプレート画像４８または拡大テンプレート画像５０との類似度が最も高い切り出し領域を新たな追尾被写体領域４７に設定する。
【００４５】
検出部１９４は、さらに、最小差分値ＭｉｎＤｉｆｆを与える変数ｔが１であるか否かを判定する。変数ｔが１である場合には、検出部１９４は、カウンタのカウント数を１増やし、変数ｔが０の場合には、カウンタのカウント数を０にリセットする。このカウンタは、後述するテンプレート画像４８を拡大テンプレート画像５０に置換する際に、更新部１９５により参照される。
【００４６】
ステップＳ８では、追尾制御部１９ｈは、最小差分値ＭｉｎＤｉｆｆと、予め設定された類似閾値Ｄｔｈとを比較することにより、ステップＳ７で決定された新しい追尾被写体領域４７がテンプレート画像４８または拡大テンプレート画像５０と類似しているか否かの判定を行う。なお、類似閾値Ｄｔｈは、通常の撮影シーンにおいて適切に類似判定が可能な値として設定されている。ステップＳ８の判定結果は、後述するステップＳ１２における焦点調節の際に用いられる。
【００４７】
ステップＳ９では、更新部１９５は、予め設定された更新閾値Ｕｐｔｈを用いて、テンプレート画像４８の更新処理の要否を判定する。更新閾値Ｕｐｔｈは、通常の撮影シーンにおいて適切に類似判定が可能な値として設定されている。ステップＳ９において、新しい追尾被写体領域４７とテンプレート画像４８との類似度が高いと判定された場合に、テンプレート画像４８の更新処理を行う。更新部１９５は、最小差分値ＭｉｎＤｉｆｆの値が更新閾値Ｕｐｔｈ以下の場合に、テンプレート画像４８の更新処理が必要と判断する。本実施の形態では、更新部１９５は、元のテンプレート画像４８の色情報や輝度情報などの画像情報の、たとえば８０％に、新しい追尾被写体領域４７の画像情報の２０％を加えて、新しいテンプレート画像４８を生成する。すなわち、更新部１９５は、更新処理が必要と初めて判定した場合には初期テンプレート画像４８に更新処理を施して新たにテンプレート画像４８を生成し、以後の処理では、順次、新たなテンプレート画像４８に対して更新処理を施す。更新処理の演算は、以下の（６）式のように表すことができる。
Ｒｅｆ［０，ＲＧ，ｉ，ｊ］＝０．８×Ｒｅｆ［０，ＲＧ，ｉ，ｊ］＋０．２×ＲＧ［ｘ＋ｉ−１，ｙ＋ｊ−１］、
Ｒｅｆ［０，ＢＧ，ｉ，ｊ］＝０．８×Ｒｅｆ［０，ＢＧ，ｉ，ｊ］＋０．２×ＢＧ［ｘ＋ｉ−１，ｙ＋ｊ−１］、
Ｒｅｆ［０，Ｌ，ｉ，ｊ］＝０．８×Ｒｅｆ［０，Ｌ，ｉ，ｊ］＋０．２×Ｌ［ｘ＋ｉ−１，ｙ＋ｊ−１］、
ｉ＝１〜ＴｍｐＳｉｚｅ、ｊ＝１〜ＴｍｐＳｉｚｅ、ｘ、ｙは新たな追尾被写体領域４７の位置 ・・・（６）
【００４８】
テンプレート画像４８の更新処理の結果、元のテンプレート画像４８の画像情報に対して、最新の画像情報が少しずつ追加されることにより更新される。このため、何らかの原因による追尾被写体の変化（たとえば被写体の顔の向きの変化など）の影響を抑制して被写体追尾の信頼性を向上させることができる。なお、元のテンプレート画像４８の画像情報の割合と新しい追尾被写体領域４７の画像情報の割合とは最小差分値ＭｉｎＤｉｆｆの値に応じて可変にしてもよい。
【００４９】
ステップＳ１０において、更新部１９５は、図１２に示す拡大テンプレート画像５０の更新処理を行う。ステップＳ２０１では、予め設定された拡大更新閾値Ｓｃｌｕｐｔｈを用いて、拡大テンプレート画像５０の更新処理の要否を判定する。拡大更新閾値Ｓｃｌｕｐｔｈは、通常の撮影シーンにおいて適切に類似判定が可能な値として設定されている。更新部１９５は、最小差分値ＭｉｎＤｉｆｆの値が拡大更新閾値Ｓｃｌｕｐｔｈ以下の場合に、拡大テンプレート画像５０の更新処理が必要と判断する。
【００５０】
続くステップＳ２０２では、更新部１９５は、上述したテンプレート画像４８の更新処理の場合と同様にして、拡大テンプレート画像５０を更新する。すなわち、更新部１９５は、元の拡大テンプレート画像５０の色情報や輝度情報などの画像情報の、たとえば８０％に、新しい追尾被写体領域４７の画像情報の２０％を加えることにより新たな拡大テンプレート画像５０を生成する。なお、ステップＳ２において、初期テンプレート画像４８のサイズが小さく、初期テンプレート画像４８と同一の画像を拡大テンプレート画像５０として設定した場合には、更新部１９５は、新しい追尾被写体領域４７の画像情報を加える割合を上記の２０％よりも増やして、新しい追尾被写体領域４７の画像情報をたとえば４０％加えて新たな拡大テンプレート画像５０を生成する。
【００５１】
ステップＳ２０３では、更新部１９５は、撮影周期ごとに上記の処理を繰り返す間に、拡大テンプレート画像５０で検出された追尾被写体の位置を新たな追尾被写体領域４７として設定した回数が、連続してｍ回となったか否かを判定する。すなわち、更新部１９５は、追尾被写体がカメラ１に接近しているために、被写界における追尾被写体が大きくなっているか否かを判定する。この場合、更新部１９５は、カウンタによるカウント数がｍであるか否かを判定する。カウント数がｍではない場合には、以下の処理を行わずに拡大テンプレート画像更新処理を終了する。
【００５２】
カウント数がｍの場合には、更新部１９５は、ステップＳ２０４において、以下の式（７）を用いて、テンプレート画像４８を拡大テンプレート画像５０によって置換する。
Ｒｅｆ［０，ＲＧ，ｉ，ｊ］＝Ｒｅｆ［１，ＲＧ，ｉ，ｊ］
Ｒｅｆ［０，ＢＧ，ｉ，ｊ］＝Ｒｅｆ［１，ＢＧ，ｉ，ｊ］
Ｒｅｆ［０，Ｌ，ｉ，ｊ］＝Ｒｅｆ［１，Ｌ，ｉ，ｊ］
なお、ｉ＝１〜ＴｍｐＳｉｚｅ、ｊ＝１〜ＴｍｐＳｉｚｅ ・・・（７）
【００５３】
カウント数がｍ未満の場合には、追尾制御部１９ｈは、図９（ａ）に示すテンプレート画像４８と拡大テンプレート画像５０とを用いて追尾被写体検出処理を行っていた。カウント数がｍに達し更新部１９５が上記の置換処理を行うと、追尾制御部１９ｈは、次回以降の被写体位置決定処理において、図９（ａ）に示す拡大テンプレート画像５０を図９（ｂ）に示すテンプレート画像４８として用いる。なお、図９（ａ）に示すテンプレート画像４８と拡大テンプレート画像５０とはそれぞれ図６（ｂ）に示すテンプレート画像４８と図６（ｃ）に示す拡大テンプレート画像５０と同一のものである。
【００５４】
ステップＳ２０４でテンプレート画像４８の置換処理を行った場合には、ステップＳ２０５において、更新部１９５は、新たな拡大テンプレート画像５０を生成する。すなわち、更新部１９５は、新たな追尾対象領域４７に内部画像領域５０ａを決定して、補間処理によりテンプレート画像４８と同一のサイズとなるように拡大することにより拡大テンプレート画像５０を生成する。その結果、図８（ｂ）に示す新たな追尾対象領域４７の内部の破線で囲んだ内部画像領域５０ａに対応する拡大テンプレート画像５０（図９（ｂ））が生成される。換言すると、更新部１９５は、カウンタのカウント数がｍの場合には、新たな追尾被写体領域４７の位置を基準として拡大テンプレート画像５０を生成する。
【００５５】
以上で拡大テンプレート画像５０の更新処理を終了し、図１０のステップＳ１１へリターンする。リターン後のステップＳ１１では、焦点検出演算部１９ｆは、ステップＳ７における被写体位置決定処理で決定した新しい追尾被写体領域４７を用いて焦点制御を行う。この場合、新しく決定された追尾被写体領域４７がテンプレート画像４８または拡大テンプレート画像５０と類似していると追尾制御部１９ｈによって判定された場合（ステップＳ８）は、焦点検出演算部１９ｆは、新しい追尾被写体領域４７内に含まれる追尾対象に対して合焦制御を行う。焦点検出演算部１９ｆは、新しい追尾被写体領域４７内に焦点検出エリア４５ａ〜４５ｇの少なくとも一つが含まれる場合には、新しい追尾被写体領域４７内に含まれる焦点検出エリア４５ａ〜４５ｇで検出されたデフォーカス量のうち最も小さいものを採用し、そのデフォーカス量に基づいて撮影レンズ８の焦点調節を行う。新しい追尾被写体領域４７内に焦点検出エリア４５ａ〜４５ｇが含まれない場合には、焦点検出演算部１９ｆ新しい追尾被写体領域４７との距離、または前回の追尾結果で採用された焦点検出エリア４５ａ〜４５ｇとの距離の少なくとも一方に基づいて採用する焦点検出エリア４５ａ〜４５ｇを決定してもよい。新しく決定された追尾被写体領域４７がテンプレート画像４８または拡大テンプレート画像５０と類似していないと追尾制御部１９ｈによって判定された場合（ステップＳ８）は、焦点検出演算部１９ｆは、前回の処理で検出されたデフォーカス量を用いて焦点調節を行う。上記処理が終了するとステップＳ３へ戻る。
【００５６】
ステップＳ３で操作部材２０のレリーズボタンの全押し操作が検出されるとステップＳ１２へ進み、マイクロコンピューター１９ｃは、撮影制御を実行する。なお、撮像制御に際しては、露出演算部１９ｅはステップＳ７で決定した新しい追尾被写体領域４７の輝度情報に基づいて露出演算を行い、絞り値とシャッター速度を算出する。これらの露出値にしたがって、マイクロコンピューター１９ｃはシャッター７および絞り２１を駆動制御し、第１撮像素子４に撮像を行わせる。
【００５７】
以上で説明した実施の形態によれば、以下の作用効果が得られる。
（１）第２撮像素子１６は、撮影レンズ８により結像される像を繰り返し撮像して、被写界画像を生成する。テンプレート生成部１９１は、被写界画像に含まれる追尾対象領域である追尾被写体領域４７に基づいて、少なくとも１つの拡大テンプレート画像５０を含む複数のテンプレート画像４８、５０を生成する。演算部１９２は、被写界画像の内部の探索領域４９と、テンプレート生成部１９１により生成された複数のテンプレート画像４８、５０のそれぞれとの間の相関関係を演算する。選択部１９３は、演算部１９２による複数のテンプレート画像４８，５０のそれぞれに対する演算結果を比較し、比較結果に基づいて、演算結果を選択する。検出部１９４は、選択部１９３により選択された演算結果に基づいて、被写界画像における追尾対象被写体の位置を検出する。上記の拡大テンプレート画像５０を生成する際には、テンプレート生成部１９１は、追尾対象領域４７に含まれる画像領域を補間処理により拡大し、拡大された画像領域に基づいて、拡大テンプレート画像５０を生成するようにした。具体的には、テンプレート生成部１９１は、追尾被写体領域４７の画像情報に基づいて拡大テンプレート画像５０とは異なる初期テンプレート画像４８を生成する。そして、テンプレート生成部１９１は、初期テンプレート画像４８の内部に内部画像領域５０ａを設定し、設定された内部画像領域５０ａを初期テンプレート画像４８の大きさとなるように補間処理により拡大することによって拡大テンプレート画像５０を生成するようにした。したがって、拡大テンプレート画像５０は、初期テンプレート画像４８をズームアップした場合に得られる画像に相当するので、追尾対象被写体がカメラ１に接近してくる場合であっても、拡大テンプレート画像５０によって追尾対象を検出できる。
【００５８】
（２）設定部１９６は、検出部１９４により検出された追尾対象被写体の位置に基づいて、新たな追尾対象領域４７を設定する。そして、演算部１９２による演算結果に基づいて、複数のテンプレート画像４８、５０を更新すると判定した場合、更新部１９５は、設定部１９６により設定された新たな追尾対象領域４７の画像情報を用いて、複数のテンプレート画像４８、５０を更新するようにした。したがって、更新処理の結果、元のテンプレート画像４８または拡大テンプレート画像５０の画像情報に対して、最新の画像情報が少しずつ追加されることにより更新される。このため、何らかの原因による追尾被写体の変化（たとえば被写体の顔の向きの変化など）の影響を抑制して被写体追尾の信頼性を向上させることができる。
【００５９】
（３）演算部１９２は、拡大テンプレート画像５０の画像情報と、探索領域４９内の画像情報との差分値を演算し、更新部１９５は、演算部１９２により算出された差分値に応じて拡大テンプレート画像５０の更新の要否を判定するようにした。この場合、更新部１９５は、新たな追尾対象領域４７内の画像情報と、拡大テンプレート画像５０の画像情報とを所定の割合で合成して拡大テンプレート画像５０を更新するようにした。したがって、最小差分値ＭｉｎＤｉｆｆの値が拡大更新閾値Ｓｃｌｕｐｔｈ以下、すなわち類似度が高い場合には、拡大テンプレート画像５０に最新の画像情報が加わる。その結果、次回以降の処理において、拡大テンプレート画像５０による追尾対象被写体の検出精度を向上させることができる。さらに、上記（２）のように、拡大テンプレート画像５０の画像情報に対して、最新の画像情報が少しずつ追加されることにより更新されるので、何らかの原因による追尾被写体の変化の影響を抑制して被写体追尾の信頼性を向上させることができる。
【００６０】
（４）テンプレート生成部１９１は、初期テンプレート画像４８内に内部画像領域５０ａを設定できない場合には、初期テンプレート画像４８の画像情報と同一の画像情報を用いて拡大テンプレート画像５０を生成する。そして、テンプレート生成部１９１により初期テンプレート画像４８の画像情報と同一の画像情報を用いて拡大テンプレート画像５０が生成された場合には、更新部１９５は拡大テンプレート画像５０の画像情報に対して新たな追尾対象領域４７の画像情報を合成する割合を高くするようにした。したがって、初期テンプレート画像４８と同一の拡大テンプレート画像５０を用いる場合には、拡大テンプレート画像５０を早い段階の更新処理で初期テンプレート画像４８をズームアップした場合に相当する画像に更新できる。その結果、追尾対象被写体がカメラ１に接近してくる場合であっても、拡大テンプレート画像５０によって追尾対象を検出できる。
【００６１】
（５）選択部１９３により連続して所定の回数（ｍ回）、拡大テンプレート画像５０に対する演算結果が選択された場合には、更新部１９５は、新たな追尾対象領域４７内の画像情報に基づいて新たな拡大テンプレート画像５０を生成するようにした。さらに、更新部１９５は、新たな拡大テンプレート画像５０を生成する前の拡大テンプレート画像５０の画像情報を新たなテンプレート画像４８として置換するようにした。したがって、最新の追尾対象領域４７の画像情報を用いて拡大テンプレート画像５０を生成し直すので、連続して拡大テンプレート画像５０の演算結果が選択されている場合、すなわち追尾対象被写体がカメラ１に対して相対的に接近している場合であっても、追尾対象被写体を検出し続けることができる。
【００６２】
（６）選択部１９３は、複数のテンプレート画像４８，５０のそれぞれに対応する複数の演算結果のうち、テンプレート画像４８，５０と探索領域４９との間の類似度が最も高いことを示す演算結果を選択するようにした。具体的には、演算部１９２は、複数のテンプレート画像４８，５０内の画像情報のそれぞれと、探索領域４９の画像情報との差分値を演算し、選択部１９３は、演算部１９２により算出された差分値が最小の場合に、類似度が最も高いと判定するようにした。したがって、複数のテンプレート画像４８、５０を用いたテンプレートマッチングを行った場合であっても、誤検出等の発生を抑制して追尾精度を維持できる。
【００６３】
以上で説明した実施の形態の撮像装置１を以下のように変形できる。
（１）更新部１９５は初期テンプレート画像４８を更新しなくてもよい。この場合、更新部１９５は、ステップＳ９で更新処理を行うと判定すると、初期テンプレート画像４８をコピーして複製テンプレート画像を生成する。そして、更新部１９５は、複製テンプレート画像に対して上述した更新処理を施して、新たにテンプレート画像（更新テンプレート画像）を生成する。２回目以降に更新処理を行うと判定した場合、更新部１９５は、更新テンプレート画像に対して更新処理を施す。すなわち、更新部１９５は、一連の処理において、更新テンプレート画像および／または拡大テンプレート画像５０に対して更新処理を行う。そして、追尾制御部１９ｈは、初期テンプレート画像４８と、更新テンプレート画像と、拡大テンプレート画像５０とを用いて、探索領域４９内で上述した追尾演算処理を行えばよい。この結果、初期テンプレート画像４８を更新することなく保持し続けているので、追尾対象被写体がカメラ１に対して再び遠ざかったような場合等には、再度初期テンプレート画像４８を用いて追尾対象被写体を検出できる。
【００６４】
さらに加えて、拡大テンプレート画像５０で検出された位置を新たな追尾被写体領域４７として設定した回数が、連続して所定回数となった場合には、追尾制御部１９ｈは、初期テンプレート画像４８で検出された位置が新たな追尾被写体領域４７として採用されにくくなるように処理を加える。この場合、上記のカウンタによるカウント数がｎのときには、演算部１９２は初期テンプレート画像４８と探索領域４９との差分Ｄｉｆｆ［０，ｓｘ，ｓｙ］の値に所定の係数ｋを加算することにより、初期テンプレート画像４５の演算結果が選択部１９３により選択されにくくなるように補正を施す。すなわち、差分Ｄｉｆｆ［０，ｓｘ，ｓｙ］の値を大きくすることにより、初期テンプレート画像４８による演算結果が最小差分値ＭｉｎＤｉｆｆとして採用されにくくなる。この結果、追尾対象の被写体がカメラ１に接近している場合、すなわち被写界画像中の追尾対象が大きくなった場合に、追尾対象とは異なる背景の被写体（すなわち小さな被写体）を追尾対象として誤検出することを防ぐことができる。
【００６５】
さらに、拡大テンプレート画像５０で検出された位置を新たな追尾被写体領域４７として設定した回数が、連続して所定回数となった場合には、追尾制御部１９ｈは、初期テンプレート画像４８で検出された位置が選択部１９３によって選択されることを禁止してもよい。この場合、初期テンプレート画像４８と拡大テンプレート画像５０の２つを用いて追尾処理をする場合であれば、上記のカウンタによるカウント数がｎのときには、選択部１９３は、拡大テンプレート画像５０と探索領域４９との差分Ｄｉｆｆ［１，ｓｘ，ｓｙ］の値のみを選択する。
【００６６】
（２）テンプレート生成部１９１は、初期テンプレート画像４８内の内部画像領域５０ａを補間処理により拡大して拡大テンプレート画像５０を生成するものに代えて、初期テンプレート画像４８を補間処理により拡大して拡大テンプレート画像を生成してもよい。すなわち、図１３に示すように、テンプレート生成部１９１は、初期テンプレート画像４８の画像情報がズームアップされた拡大テンプレート画像５０’を生成する。
【００６７】
（３）テンプレート生成部１９１は、初期テンプレート画像４８の内部画像領域５０ａから拡大テンプレート画像５０を生成するものに代えて、被写体領域４７の画像情報から拡大テンプレート画像５０を生成してもよい。この場合、図１４に示すように、テンプレート生成部１９１は、被写界画像内に設定された被写体追尾領域４７の内部に、内部画像領域５０ａ’を設定する。そして、テンプレート生成部１９１は、内部画像領域５０ａ’を補間処理により拡大して拡大テンプレート画像５０を生成すればよい。
【００６８】
（４）交換レンズ３のレンズ駆動制御装置２２からレンズマウント部の接点２３を介して入力されたレンズ情報に基づいて、選択部１９３は、拡大テンプレート画像５０を用いた演算結果を優先して演算してもよい。レンズ情報に基づいて、交換レンズ３がズームアップされている、または被写体の距離が近づいていると判定された場合、すなわち撮影画面内で追尾被写体の大きさが大きくなる場合には、選択部１９３は拡大テンプレート画像５０を用いた演算結果を優先して選択する。優先する方法としては、拡大テンプレート画像５０の演算結果の差分値が類似閾値以内であれば他のテンプレート画像の結果によらずに拡大テンプレート画像５０の結果を選択すればよい。または、拡大テンプレート画像５０以外の演算結果に重みを付けたうえで、最も差分値が小さい結果を選択すればよい。この結果、被写界画像中の追尾対象が大きくなった場合に、追尾対象とは異なる背景の被写体（すなわち小さな被写体）を追尾対象として誤検出することを防ぐことができる。
【００６９】
（５）検出部１９４は、最小差分値ＭｉｎＤｉｆｆを与える変数ｔが１のときにカウンタのカウント数を１増やすものに代えて、焦点検出演算部１９ｆによる合焦制御の結果に基づいて、カウンタのカウント数を１増やしてもよい。この場合、焦点検出演算部１９ｆが前回のデフォーカス量と今回のデフォーカス量とに基づいて、追尾対象被写体が撮影レンズ８の光軸方向に沿って、カメラ１に接近していると判定した場合、検出部１９４は、カウンタのカウント数を１増やす。そして、カウント数がｍの場合には、選択部１９３は拡大テンプレート画像５０を用いた演算結果を選択すればよい。この結果、追尾対象の被写体がカメラ１に接近している場合、すなわち被写界画像中の追尾対象が大きくなった場合に、追尾対象とは異なる背景の被写体（すなわち小さな被写体）を追尾対象として誤検出することを防ぐことができる。
【００７０】
（６）演算部１９２は、差分Ｄｉｆｆを算出するものに限らない。演算部１９２は、テンプレート画像４８の画像情報および拡大テンプレート画像５０の画像情報のそれぞれと、切り出し画像の画像情報との間で加算や、除算等の四則演算を行ってもよいし、最小二乗法等を用いてもよい。この場合も、選択部１９３は、値が最小となる演算結果、すなわち類似度が最大であることを示す演算結果を選択する。
【００７１】
また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。説明に用いた実施の形態および変形例は、それぞれを適宜組合わせて構成しても構わない。
【符号の説明】
【００７２】
１ 撮像装置、 １６ 第２撮像素子、
１９ ボディ駆動制御装置、 １９ｃ マイコン、
１９ｆ 焦点検出演算部、 １９ｈ 追尾制御部、
２３ 接点、 １９１ テンプレート生成部、
１９２ 演算部、 １９３ 選択部、
１９４ 検出部、 １９５ 更新部、
１９６ 設定部
【技術分野】
【０００１】
本発明は、画像追尾装置に関する。
【背景技術】
【０００２】
従来から、移動被写体を撮影する際に、画面内の指示部分の被写体像をテンプレート画像として取得し、繰り返し撮影する画像の中でテンプレート画像と類似した被写体像の位置を検索（テンプレートマッチング）し、画面内を横方向へ移動する被写体を追尾する画像追尾装置が知られている。たとえば特許文献１では、複数のテンプレート画像を用いてテンプレートマッチングを行うことによって、追尾精度を向上させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１８７３３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、相対的に接近する移動被写体の画像上でのサイズは大きくなるので、テンプレート画像と類似した被写体像の検出精度が低下して、被写体を追尾できなくなるという問題がある。
【課題を解決するための手段】
【０００５】
請求項１に記載の発明による画像追尾装置は、結像光学系により結像される像を繰り返し撮像して、被写界画像を生成する撮像手段と、被写界画像に含まれる追尾対象領域に基づいて、少なくとも１つの第１テンプレート画像を含む複数のテンプレート画像を生成する生成手段と、被写界画像の内部の探索領域画像と、生成手段により生成された複数のテンプレート画像のそれぞれとの間の相関関係を演算する演算手段と、演算手段による複数のテンプレート画像のそれぞれに対する演算結果を比較し、比較結果に基づいて、演算結果を選択する選択手段と、選択手段により選択された演算結果に基づいて、被写界画像における追尾対象の画像の位置を検出する検出手段とを備え、生成手段は、追尾対象領域に含まれる画像領域を補間処理により拡大し、拡大された画像領域に基づいて、第１テンプレート画像を生成することを特徴とする。
請求項１３に記載の発明による画像追尾装置は、結像光学系により結像される像を繰り返し撮像して、被写界画像を生成する撮像手段と、被写界画像に基づいて、少なくとも１つの第１テンプレート画像を含む複数のテンプレート画像を生成する生成手段と、被写界画像における探索領域画像と、生成手段により生成された複数のテンプレート画像のそれぞれとの間の相関関係を演算する演算手段と、結像光学系の撮影距離に関する情報を入力する入力手段と、入力手段により入力された撮影距離に関する情報に基づいて、追尾対象が相対的に接近していることを判定する判定手段と、判定手段により追尾対象が接近していると判定された場合には、演算手段による複数のテンプレート画像のそれぞれに対する演算結果のうち、第１テンプレート画像に対する演算結果を優先して選択し、判定手段により追尾対象の接近が判定されない場合には、演算手段による演算結果のうち第１テンプレート画像とは異なるテンプレート画像による演算結果を選択する選択手段と、選択手段により選択された演算結果に基づいて、被写界画像における追尾対象の画像の位置を検出する検出手段と備え、生成手段は、被写界画像に含まれる追尾対象領域を決定し、追尾対象領域に含まれる画像領域を補間処理により拡大し、拡大された画像領域に基づいて、第１テンプレート画像を生成することを特徴とする。
請求項１４に記載の発明による画像追尾装置は、結像光学系により結像される像を繰り返し撮像して、被写界画像を生成する第１撮像手段と、被写界画像に基づいて、少なくとも１つの第１テンプレート画像を含む複数のテンプレート画像を生成する生成手段と、被写界画像における探索領域画像と、生成手段により生成された複数のテンプレート画像のそれぞれとの間の相関関係を演算する演算手段と、結像光学系の焦点状態を演算して、焦点調節を行う焦点調節手段と、焦点調節手段による演算結果に基づいて、追尾対象が結像光学系の光軸方向に対して接近しているか否かを判定する判定手段と、判定手段により追尾対象が接近していると判定された場合には、演算手段による複数のテンプレート画像のそれぞれに対する演算結果のうち、第１テンプレート画像に対する演算結果を優先して選択し、判定手段により追尾対象の接近が判定されない場合には、演算手段による演算結果のうち第１テンプレート画像とは異なるテンプレート画像による演算結果を選択する選択手段と、選択手段により選択された演算結果に基づいて、被写界画像における追尾対象の画像の位置を検出する検出手段と備え、生成手段は、被写界画像に含まれる追尾対象領域を決定し、追尾対象領域に含まれる画像領域を補間処理により拡大し、拡大された画像領域に基づいて、第１テンプレート画像を生成することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、追尾対象領域に含まれる画像領域を拡大した第１テンプレート画像を少なくとも１つ含む複数のテンプレート画像の演算結果に基づいて、追尾対象の画像の位置を検出できる。
【図面の簡単な説明】
【０００７】
【図１】一実施の形態の画像追尾装置を備えた撮像装置の構成を示す横断面図
【図２】一実施の形態の画像追尾装置を備えた撮像装置の構成を示すブロック図
【図３】実施の形態の追尾制御部が備える機能を示すブロック図
【図４】第２撮像素子の構成および被写界画像を例示する平面図
【図５】一実施の形態の画像追尾方法を説明するための図
【図６】一実施の形態の画像追尾方法を説明するための図
【図７】一実施の形態の画像追尾方法を説明するための図
【図８】一実施の形態の画像追尾方法を説明するための図
【図９】一実施の形態の画像追尾方法を説明するための図
【図１０】一実施の形態の画像追尾処理を示すフローチャート
【図１１】追尾制御初期処理を示すフローチャート
【図１２】拡大テンプレート更新処理を示すフローチャート
【図１３】変形例における拡大テンプレート画像の生成処理を説明するための図
【図１４】変形例における拡大テンプレート画像の生成処理を説明するための図
【発明を実施するための形態】
【０００８】
撮影画面内に設定された複数の焦点検出エリアにおいて撮影レンズの焦点調節状態（この一実施の形態ではデフォーカス量）を検出し、いずれかのエリアのデフォーカス量に基づいて撮影レンズを合焦駆動する自動焦点調節（ＡＦ）機能と、撮影画像の中の追尾対象の被写体の画像をテンプレート画像（基準画像）として記憶し、繰り返し撮像される画像の中でテンプレート画像と同一または類似した画像の位置を検索しながら（テンプレートマッチング）追尾対象の被写体を追尾する画像追尾機能とを備え、ＡＦ機能と画像追尾機能により撮影レンズを駆動しながら追尾対象を追尾する画像追尾装置を備えた撮像装置（一眼レフデジタルスチルカメラ）の一実施の形態を説明する。
【０００９】
図１は、一実施の形態の画像追尾装置を備えた撮像装置（一眼レフデジタルスチルカメラ）１の構成を示す。なお、図１では画像追尾機能とは直接関係のないカメラの機器および回路についての図示と説明を省略する。一実施の形態のカメラ１では、撮影レンズ８、絞り２１等を有する交換レンズ３がカメラ本体２に着脱可能に装着される。カメラ本体２には被写界像を撮像して画像を記録するための第１撮像素子４が設けられる。この第１撮像素子４はＣＣＤやＣＭＯＳなどにより構成することができる。撮影時にはクイックリターンミラー５およびサブミラー６が実線で示す撮影光路外の位置に退避してシャッター７が開放され、撮影レンズ８により第１撮像素子４の受光面に被写体像が結像される。
【００１０】
カメラ本体２の底部には、撮影レンズ８の焦点調節状態を検出するための焦点検出光学系９と測距素子１０が設けられている。この一実施の形態では、瞳分割型位相差検出方式による焦点検出方法を採用した例を示す。焦点検出光学系９は、撮影レンズ８を通過した対の焦点検出用光束を測距素子１０の受光面へ導き、対の光像を結像させる。測距素子１０は例えば対のＣＣＤラインセンサーを備え、対の光像に応じた焦点検出信号を出力する。撮影前にはクイックリターンミラー５およびサブミラー６が破線で示すような撮影光路内の位置に設定されており、撮影レンズ８からの対の焦点検出用光束はクイックリターンミラー５のハーフミラー部を透過し、サブミラー６により反射されて焦点検出光学系９および測距素子１０へ導かれる。
【００１１】
カメラ本体２の上部にはファインダー光学系が設けられている。撮影前にはクイックリターンミラー５およびサブミラー６が破線で示す位置にあり、撮影レンズ８からの被写体光の一部はクイックリターンミラー５に反射されて焦点板１１へ導かれ、焦点板１１上に被写体像が結像する。液晶表示素子１２は、焦点板１１上に結像された被写界像に焦点検出エリアマークなどの情報を重畳表示するとともに、被写界像外の位置に露出値などの種々の撮影情報を表示する。焦点板１１上の被写界像はペンタダハプリズム１３および接眼レンズ１４を介して接眼窓１５へ導かれ、撮影者が被写界像を視認することができる。
【００１２】
また、カメラ本体２上部のファインダー光学系には、被写体追尾や測光のために被写界像を撮像する第２撮像素子１６が設けられる。焦点板１１に結像した被写界像は、ペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６の受光面に再結像される。
【００１３】
図４（ａ）は第２撮像素子１６の詳細な構成を示す正面図である。図４（ａ）においては水平方向をｘ軸、垂直方向をｙ軸とする座標系を用いる。第２撮像素子１６は、マトリクス状に配列された複数の画素（光電変換素子）４０（たとえば、横６４０個×縦４８０個の画素）を備えている。なお、図４（ａ）においては、図示の都合上、画素４０の個数は上記横６４０個×縦４８０個よりも少ない個数で示している。さらに、各画素４０にはそれぞれ赤Ｒ、緑Ｇ、青Ｂの原色フィルターが設けられている。これにより、各画素４０ごとに被写界画像のＲＧＢ信号（被写界画像信号）を後述するボディ駆動制御装置１９（図２）に出力することができる。詳細を後述するが、この第２撮像素子１６により撮像された被写界画像信号に基づいて、ボディ駆動制御装置１９によって追尾制御と露出演算とが行われる。なお、ボディ駆動制御装置１９は、追尾制御と露出演算は第１撮像素子４による撮像により出力された被写界画像信号に基づいて行うこととしてもよい。
【００１４】
カメラ本体２にはまた、ボディ駆動制御装置１９、操作部材２０などが設けられる。ボディ駆動制御装置１９は、詳細を後述するマイクロコンピューターとメモリ、Ａ／Ｄ変換器などの周辺部品から構成され、カメラ１の種々の制御と演算を行う。操作部材２０には、レリーズボタン、焦点検出エリア選択スイッチ、撮影モード選択スイッチなどのカメラ１を操作するためのスイッチやセレクターが含まれる。
【００１５】
交換レンズ３には、ズーミングレンズ８ａ、フォーカシングレンズ８ｂ、絞り２１、レンズ駆動制御装置２２などが設けられる。なお、この一実施の形態では撮影レンズ８をズーミングレンズ８ａ、フォーカシングレンズ８ｂおよび絞り２１で代表的に表すが、撮影レンズ８の構成は図１に示す構成に限定されない。レンズ駆動制御装置２２は図示しないマイクロコンピューターとメモリ、駆動回路、アクチュエーターなどの周辺部品から構成され、レンズ８ａ、８ｂおよび絞り２１の駆動制御とそれらの位置検出を行う。レンズ駆動制御装置２２に内蔵されるメモリには、交換レンズ３の焦点距離や開放絞り値などのレンズ情報が記憶されている。
【００１６】
ボディ駆動制御装置１９とレンズ駆動制御装置２２はレンズマウント部の接点２３を介して通信を行う。この通信によって、ボディ駆動制御装置１９はレンズ駆動制御装置２２へレンズ駆動量や絞り値などの情報を送信し、レンズ駆動制御装置２２はボディ駆動制御装置１９へレンズ情報や絞り情報を送信する。
【００１７】
図２はボディ駆動制御装置１９の詳細な構成を示す。なお、画像追尾機能とは直接関係のない制御機能については図示と説明を省略する。ボディ駆動制御装置１９は素子制御回路１９ａ、Ａ／Ｄ変換器１９ｂ、マイクロコンピューター１９ｃ、メモリ１９ｄなどを備えている。素子制御回路１９ａは第２撮像素子１６の電荷の蓄積と読み出しを制御する。Ａ／Ｄ変換器１９ｂは、第２撮像素子１６から出力されるアナログ画像信号をデジタル画像信号に変換する。撮影者により操作部材２０のレリーズボタンが半押しされると半押しスイッチ（不図示）がオンし、図１に示すように、撮影レンズ８を通過した被写体光の一部は破線で示すクイックリターンミラー５により反射され、ペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６へ導かれる。レリーズボタンが半押しされている間、第２撮像素子１６により繰り返し周期的に被写界画像を撮像することができる。
【００１８】
マイクロコンピューター１９ｃは、ソフトウエア形態により露出制御部１９ｅ、焦点検出演算部１９ｆ、レンズ駆動量演算部１９ｇおよび追尾制御部１９ｈを構成する。メモリ１９ｄは、画像追尾用のテンプレート画像やデフォーカス量などの情報、撮影レンズ８の焦点距離、開放Ｆ値、絞り値、像ズレ量からデフォーカス量への変換係数などのレンズ情報などを記憶する。
【００１９】
露出制御部１９ｅは、第２撮像素子１６により撮像した画像信号に基づいて露出値を演算する。焦点検出演算部１９ｆは、測距素子１０から出力される対の光像に応じた焦点検出信号に基づいて撮影レンズ８の焦点調節状態、ここではデフォーカス量を検出する。なお、詳細を後述するが、撮影レンズ８の撮影画面内には複数の焦点検出エリアが設定されており、測距素子１０は焦点検出エリアごとに対の光像に応じた焦点検出信号を出力し、焦点検出演算部１９ｆは焦点検出エリアごとに対の光像に応じた焦点検出信号に基づいてデフォーカス量を検出する。撮影者により操作部材２０のレリーズボタンが半押しされると半押しスイッチ（不図示）がオンし、図１に示すように、撮影レンズ８を通過した被写体光の一部は破線で示すクイックリターンミラー５のハーフミラー部を通ってサブミラー６および焦点検出光学系９を介して測距素子１０へ導かれ、焦点検出演算部１９ｆにより焦点検出演算が行われる。レンズ駆動量演算部１９ｇは検出されたデフォーカス量をレンズ駆動量に変換する。なお、焦点調節状態の検出は、レリーズボタンが半押しされている間、繰り返し周期的に行われる。
【００２０】
追尾制御部１９ｈは、画像追尾動作（処理）を行う。すなわち、追尾制御部１９ｈは、第２撮像素子１６により撮像した被写界像の内、撮影者が手動で指定した追尾対象位置、あるいはカメラ１が自動で設定した追尾対象位置に対応する画像をテンプレート画像(基準画像）としてメモリ１９ｄに記憶させる。そして、追尾制御部１９ｈは、撮影周期ごとに第２撮像素子１６により繰り返し撮影される被写界画像の中からテンプレート画像と一致または類似する画像領域を検索することによって対象の位置を認識する。
【００２１】
図３に示すように、追尾制御部１９ｈは、画像追尾処理を行うために、テンプレート生成部１９１、演算部１９２、選択部１９３、検出部１９４、更新部１９５および設定部１９６を機能的に備える。テンプレート生成部１９１は、第２撮像素子１６から出力された被写界画像信号を用いて、テンプレート画像を生成してメモリ１９ｄに記憶させる。演算部１９２は、撮影周期ごとに繰り返し撮影される被写界画像とテンプレート画像との間で相関関係を演算する。選択部１９３は、演算部１９２による演算結果のうち、テンプレート画像との相関関係が最も高いことを示す演算結果を選択する。検出部１９４は、選択部１９３により選択された演算結果に基づいて、被写界画像の中からテンプレート画像と一致または類似する画像領域を検出（検索）する。更新部１９５は、テンプレート生成部１９１により生成されたテンプレート画像の更新処理を行う。設定部１９６はテンプレート画像と一致または類似する画像領域を検出するための探索領域を被写界画像内に設定するとともに、検出された一致または類似する画像領域を後述する追尾対象領域として設定する。なお、テンプレート生成部１９１、演算部１９２、選択部１９３、検出部１９４、更新部１９５および設定部１９６による処理の詳細については、説明を後述する。
【００２２】
次に、一実施の形態の画像追尾動作を説明する。図５〜図９は一実施の形態の画像追尾動作を説明するための図、図１０〜図１２は一実施の形態の画像追尾処理を示すフローチャートである。ボディ駆動制御装置１９は、第２撮像素子１６により撮像した被写体画像のうち、ユーザが手動で追尾対象とする被写体（以後、追尾対象被写体）を指定するか、あるいはカメラが自動で追尾対象被写体を設定した後、操作部材２０のレリーズボタンを半押しすると、被写体追尾処理を開始する。なお、以降の説明では、図５〜図９において水平方向をｘ軸、垂直方向をｙ軸とする座標系を用いる。
【００２３】
レリーズボタンを全押しして撮影を行うとき以外は、クイックリターンミラー５が図１に破線で示す撮影光路内に設定されており、撮影レンズ８から入射した被写体光の一部は焦点板１１上に結像される。そして、焦点板１１上の被写界像はペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６へ導かれ、第２撮像素子１６から被写界画像信号が繰り返し出力される。
【００２４】
撮影レンズ８の撮影画面には複数の焦点検出エリアが設定されており、液晶表示素子１２は焦点板１１上の被写界像にエリアマークを重畳して、各焦点検出エリアの位置を表示する。この一実施の形態では、図５に示すように、撮影画面内の７カ所に焦点検出エリア４５ａ〜４５ｇが設定された例を示す。また、操作部材２０の焦点検出エリア選択スイッチにより任意のエリアを選択すると、そのエリアのマークが点灯表示される。
【００２５】
図５に示すように操作部材２０の焦点検出エリア選択スイッチにより焦点検出エリア４５ｃが選択され、この状態で操作部材２０のレリーズボタンが半押しされると、焦点検出エリア４５ｂが初回ＡＦエリアとしてメモリ１９ｄに記憶される。これにより、追尾対象被写体として初回ＡＦエリア内の被写体が指定される。なお、ここでは撮影者が初回ＡＦエリアを選択して追尾対象被写体を手動で指定する例を示すが、例えば自動的に被写体を認識する機能を備えたカメラでは被写体認識結果に基づいて初回ＡＦエリアおよび追尾対象被写体を設定してもよい。
【００２６】
図１０のステップＳ１において、素子制御回路１９ａは第２撮像素子１６に追尾初期画像（画像追尾処理を開始して最初に取得する画像）を取得させる。第２撮像素子１６により撮像された初期追尾画像の画像情報は、被写界画像信号として画素ごとにＲＧＢ値で表される。マイクロコンピューター１９ｃは、第２撮像素子１６から入力した被写界画像信号のＲＧＢ値に基づいて、被写界画像の色情報と輝度情報とを算出する。このとき、マイクロコンピューター１９ｃは、第２撮像素子１６に含まれる６４０×４８０個の画素４０のそれぞれの画像情報を、たとえば隣接する８×８個の画素４０の画像情報をまとめて１つのブロックとするブロック化を行う。この場合、マイクロコンピューター１９ｃは、隣接する８×８個の画像情報（すなわちＲＧＢ値）を平均化あるいは合計することによりブロック化を行う。その結果、図４（ｂ）に示すように、被写界画像の６４０×４８０個の画素４０のそれぞれの画像情報は、８０×６０個のブロック４１（図４（ｂ）の太線で囲まれる範囲内）の画像情報として表される。なお、以後の説明においては、上記のブロック化された１つのブロックをブロック画素４１と呼ぶ。また、図４（ｂ）においては、全被写界画像のうちの一部を拡大して示している。
【００２７】
上述したようにしてブロック化が行われると、第２撮像素子１６により撮像された画像情報は、ブロック画素４１ごとに以下の式（１）のようにＲＧＢ値で表される。
Ｒ[ｘ,ｙ]、Ｇ[ｘ,ｙ]、Ｂ[ｘ,ｙ]，
ｘ＝１〜８０、ｙ＝１〜６０ ・・・（１）
【００２８】
そして、マイクロコンピューター１９ｃは、上記のブロック画素４１ごとのＲＧＢ値に基づいて、各ブロック画素４１の色情報と輝度情報とを算出する。ここで、色情報は、以下の（２）式に示すように、色の偏り具合を示す値であるＲＧ、ＢＧにより表される。また、輝度情報として画像を取得したときの露光時間Ｔ、ゲインＧ、色合成係数Ｋｒ、Ｋｇ、Ｋｂに基づいて、以下の（２）式より算出されたＬによって表される。
ＲＧ[ｘ,ｙ]＝Log２（Ｒ[ｘ,ｙ]）−Log２（Ｇ[ｘ,ｙ]）
ＢＧ[ｘ,ｙ]＝Log２（Ｂ[ｘ,ｙ]）−Log２（Ｇ[ｘ,ｙ]）
Ｌ[ｘ,ｙ]＝Log２（Kr×Ｒ[ｘ,ｙ]＋Kg×Ｇ[ｘ,ｙ]＋Kb×Ｂ[ｘ,ｙ]）−Log２（Ｔ）−Log２（Ｇ）
・・・（２）
【００２９】
次に、ステップＳ２で追尾制御部１９ｈは、図１１に示す追尾制御初期処理を実行する。図１１のステップＳ１０１において、追尾制御部１９ｈのテンプレート生成部１９１は、追尾初期画像の中の撮影者が指定した位置（ここでは初回ＡＦエリアである焦点検出エリア４５ｂ）の画像情報（(２)式参照）を被写体色情報としてメモリ１９ｄに記憶する。ステップＳ１０２では、図６(ａ)に示すように、テンプレート生成部１９１は、追尾初期画像の中の焦点検出エリア４５ｂ（図５参照）の位置周辺部において上記被写体色情報と同様な色情報を示す同色情報領域を検出する。
【００３０】
ステップＳ１０３では、テンプレート生成部１９１は、上記同色情報領域を含む四角形の領域を初期の追尾被写体領域４７とする。なお、ここでは被写体色情報に基づいて追尾被写体領域４７を決定する例を示すが、処理の簡素化を図るために一律に４×４個のブロック画素４１のように追尾被写体領域４７のサイズを統一したり、あるいは撮影レンズ８の距離情報や被写体の像倍率に応じて追尾被写体領域４７のサイズを決定してもよい。
【００３１】
ステップＳ１０４では、テンプレート生成部１９１は、ステップＳ１０３で決定した追尾初期画像の追尾被写体領域４７をテンプレート画像４８としてメモリ１９ｄに記憶する。図６（ａ）に示すように、追尾被写体領域４７のサイズ（大きさ）をＴｍｐＳｉｚｅとすると、図６（ｂ）に示すテンプレート画像４８の色情報および輝度情報は以下の式（３）ように表される。なお、以降の説明においては、追尾初期画像に基づいて生成されたテンプレート画像４８を初期テンプレート画像と呼ぶ。また、以降の各式において、変数ｔはテンプレート画像の種類を示す変数であり、ｔ＝０が初期テンプレート画像４８に対応する。
Ｒｅｆ［ｔ，ＲＧ，ｉ，ｊ］＝ＲＧ［ｘ＋ｉ，ｙ＋ｊ］
Ｒｅｆ［ｔ，ＢＧ，ｉ，ｊ］＝ＢＧ［ｘ＋ｉ，ｙ＋ｊ］
Ｒｅｆ［ｔ，Ｌ，ｉ，ｊ］＝Ｌ［ｘ＋ｉ，ｙ＋ｊ］
ｔ＝０、i＝１〜ＴｍｐＳｉｚｅ、j＝１〜ＴｍｐＳｉｚｅ ・・・（３）
【００３２】
ステップＳ１０５では、テンプレート生成部１９１は、初期テンプレート画像４８に基づいて、拡大テンプレート画像５０を作成する。図６（ｃ）に示すように、この拡大テンプレート画像５０は、初期テンプレート画像４８の内部に含まれる内部画像領域５０ａ（図６（ｃ）の破線で囲まれた領域）が初期テンプレート画像４８と同一のサイズに拡大された画像である。換言すると、拡大テンプレート画像５０は、初期テンプレート画像４８をズームアップした場合に得られる画像に相当する。このため、後述するように、被写体がカメラ１に接近してくる場合に、拡大テンプレート画像５０によって追尾対象被写体を検出できる。
【００３３】
テンプレート生成部１９１は、拡大テンプレート５０を作成する際に、まず、初期テンプレート画像４８の内部を内部画像領域５０ａとして決定する。図７（ａ）においては、内部画像領域５０ａの一例として、初期テンプレート画像４８の上下（ｙ方向）についてそれぞれ２ブロック画素、左右（ｘ方向）についてそれぞれ２ブロック画素ずつ内側の領域が決定された場合を示している。そして、テンプレート生成部１９１は、決定した内部画像領域５０ａ（Ｓｃｌｕｐ［ｃｌ，ｉ，ｊ］）をメモリ１９ｄに記憶する。なお、複数の内部画像領域５０ａを決定してもよい。図７（ｂ）には、一例として、３種類の内部画像領域５０ａ１〜５０ａ３を決定した場合を示している。この場合、テンプレート生成部１９１は、内部画像領域５０ａ１〜５０ａ３のサイズが段階的に小さくなるように内部画像領域５０ａ１〜５０ａ３を決定する。
【００３４】
上述のようにして内部画像領域５０ａを決定すると、テンプレート生成部１９１は、以下の式（４）に示す補間処理により内部画像領域５０ａを初期テンプレート画像４８と同一のサイズに拡大して拡大テンプレート画像５０（Ｒｅｆ［ｔ，ｃｌ，ｉ，ｊ］，ｔ＝１）を生成する。なお、変数ｔが１の場合には、拡大テンプレート画像５０であることを示す。
Ｓｃｌｕｐ［ＲＧ，ｓ，ｕ］＝ＲＧ［ｘ＋ｓ＋ｎ，ｙ＋ｕ＋ｎ］
Ｓｃｌｕｐ［ＢＧ，ｓ，ｕ］＝ＢＧ［ｘ＋ｓ＋ｎ，ｙ＋ｕ＋ｎ］
Ｓｃｌｕｐ［Ｌ，ｓ，ｕ］＝Ｌ［ｘ＋ｓ＋ｎ，ｙ＋ｕ＋ｎ］
ｓ＝１〜拡大テンプレート画像のサイズ、ｕ＝１〜拡大テンプレート画像のサイズ、
ｎ＝初期テンプレート画像と内部画像領域との差分画素数 ・・・（４）
【００３５】
なお、複数の内部画像領域５０ａを決定した場合（たとえば図７（ｂ）の内部画像領域５０ａ１〜５０ａ３）、テンプレート生成部１９１は、それぞれの内部画像領域５０ａについて上述した補間処理により、初期テンプレート画像４８と同一のサイズに拡大する。その結果、図６（ｄ）に示すように、ズームアップの倍率が異なる複数種類の拡大テンプレート画像５０_１、５０_２、５０_３が生成される。また、追尾対象の被写体が遠方に存在するため被写界画像内で小さな領域しか占有できない場合には、すなわち同色情報領域、被写体追尾領域４７および初期テンプレート画像４８のサイズが小さくなる。このような場合、テンプレート生成部１９１は、上記の方法によって初期テンプレート画像４８の内部に内部画像領域５０ａを決定できない。したがって、テンプレート生成部１９１は、たとえば初期テンプレート画像４８のサイズが４×４個のブロック画素４１のような場合、初期テンプレート画像４８と同一の画像情報を拡大テンプレート画像５０として設定する。テンプレート生成部１９１は、拡大テンプレート画像５０を生成するとメモリ１９ｄに記憶する。
【００３６】
以上で追尾制御初期処理を終了し、図１０のステップＳ３へリターンする。リターン後の図１０のステップＳ３において、マイクロコンピューター１９ｃは操作部材２０のレリーズボタンが全押しされたか否かを判別する。レリーズボタンが全押しされるまでの間、マイクロコンピューター１９ｃは、ステップＳ４〜Ｓ１１の処理を繰り返す。ステップＳ４では、次の撮影周期で第２撮像素子１６により撮像された被写界画像（追尾次画像）について、マイクロコンピューター１９ｃは、ステップＳ１と同様にして、画像情報Ｒ[ｘ,ｙ]、Ｇ[ｘ,ｙ]、Ｂ[ｘ,ｙ]（ｘ＝１〜８０、ｙ＝１〜６０）を取得し、色情報ＲＧ[ｘ,ｙ]，ＢＧ[ｘ,ｙ]および輝度情報Ｌ[ｘ,ｙ]を算出する。
【００３７】
ステップＳ５では、設定部１９６は、テンプレート画像４８と一致または類似する画像を探索するための領域（探索領域）４９（図６（ａ））を設定する。ここでは、設定部１９６は、たとえば、追尾被写体領域４７の上下左右方向にそれぞれ４ブロック画素分拡大したブロック画素範囲に含まれる領域を探索領域４９として設定する。
【００３８】
設定部１９６は、好ましくは追尾被写体領域４７を中心にして探索領域４９を設定する。追尾対象の被写体は今回検出された位置すなわち追尾被写体領域４７を基点にして移動する。このため、設定部１９６によって追尾被写体領域４７を中心にして探索領域４９が設定されることにより、追尾対象の被写体を早く検出することができ、画像追尾の応答性を向上させることができる。なお、この探索領域４９は縦横それぞれに所定個数のブロック画素を含む固定サイズの領域としてもよいし、追尾結果や追尾対象被写体の大きさに応じて変えるようにしてもよい。
【００３９】
続くステップＳ６では追尾制御部１９ｈの演算部１９２は、追尾演算処理を行う。演算部１９２は、追尾次画像の中の探索領域４９から図６(ａ)に示す追尾被写体領域４７と同じサイズの領域を順次切り出す。そして、演算部１９２は、切り出した画像と、図６(ｂ)に示すテンプレート画像４８とを、対応する画素ごとに相関を演算、すなわち画像情報の差分Ｄｉｆｆ［ｔ（＝０），ｓｘ，ｓｙ］を算出する。さらに、演算部１９２は、切り出した画像と、図６（ｃ）に示す拡大テンプレート画像５０とを、対応するブロック画素４１ごとに相関を演算、すなわち画像情報の差分Ｄｉｆｆ［ｔ（＝１），ｓｘ，ｓｙ］を算出する。
【００４０】
具体的には、演算部１９２は、探索領域４９の始点位置を（ｘ，ｙ）としたとき、差分Ｄｉｆｆ［ｔ，ｓｘ，ｓｙ］を次式（５）により算出する。
【数１】
【００４１】
なお、（５）式におけるｓｘ、ｓｙは、それぞれ切り出し画像の始点位置をずらす範囲（量）を示している。（５）式は以下の（１）、（２）の処理が行われていることを示している。
（１）探索領域４９の中で追尾被写体領域４７と同じサイズの領域を１ブロック画素ずつずらしながら切り出し画像を取得する。
（２）切り出した画像とテンプレート画像４８との間および切り出した画像と拡大テンプレート画像５０との間でブロック画素ごとの画像情報の差分Ｄｉｆｆを求める。
【００４２】
例えば、図８(ａ)に示すように探索領域４９から順次切り出した画像（図８（ａ）においては、４７ａ、４７ｂ、４７ｃ）と、テンプレート画像４８とが順次比較され、それぞれの切り出し画像について差分Ｄｉｆｆが算出される。同様に、探索領域４９から順次切り出した画像（図８（ａ）の４７ａ、４７ｂ、４７ｃ）と、拡大テンプレート画像５０とが順次比較されて、それぞれの切り出し画像について差分Ｄｉｆｆが算出される。そして、これらの差分Ｄｉｆｆの内の最小の値を示す切り出し画像が、テンプレート画像４８または拡大テンプレート画像５０に最も類似している、類似度が高い画像となる。
【００４３】
なお、図６（ｄ）にて示したように、ズームアップの倍率が異なる複数種類の拡大テンプレート画像５０_１、５０_２、５０_３が生成された場合については、演算部１９２は、変数ｔに、比較するテンプレート画像の種類の数を代入して上記の式（５）を演算する。この場合、演算部１９２は、１種類の初期テンプレート画像４８と３種類の拡大テンプレート画像５０_１、５０_２、５０_３とを合わせた数である４を変数ｔに代入する。式（５）を用いた演算により、演算部１９２は、生成されたテンプレート画像４８および複数の拡大テンプレート画像５０_１、５０_２、５０_３のそれぞれについて差分Ｄｉｆｆを算出する。
【００４４】
ステップ７においては、新しい追尾被写体位置を決定するための新追尾被写体位置決定処理を行う。演算部１９２により上記（５）式を用いて差分Ｄｉｆｆが算出されると、選択部１９３は、複数の差分Ｄｉｆｆの値のうち最も小さい値（最小差分値ＭｉｎＤｉｆｆ）を選択する。最小差分値ＭｉｎＤｉｆｆが選択されると、検出部１９４は、最小差分値ＭｉｎＤｉｆｆとなるときの差分Ｄｉｆｆの座標値（Ｍｉｎｄｘ，Ｍｉｎｄｙ）を検出する。そして、図８（ｂ）に示すように、設定部１９６は、検出部１９４により検出された座標値（Ｍｉｎｄｘ，Ｍｉｎｄｙ）を中心として新たな追尾被写体領域４７を設定する。換言すると、設定部１９６は、テンプレート画像４８または拡大テンプレート画像５０との類似度が最も高い切り出し領域を新たな追尾被写体領域４７に設定する。
【００４５】
検出部１９４は、さらに、最小差分値ＭｉｎＤｉｆｆを与える変数ｔが１であるか否かを判定する。変数ｔが１である場合には、検出部１９４は、カウンタのカウント数を１増やし、変数ｔが０の場合には、カウンタのカウント数を０にリセットする。このカウンタは、後述するテンプレート画像４８を拡大テンプレート画像５０に置換する際に、更新部１９５により参照される。
【００４６】
ステップＳ８では、追尾制御部１９ｈは、最小差分値ＭｉｎＤｉｆｆと、予め設定された類似閾値Ｄｔｈとを比較することにより、ステップＳ７で決定された新しい追尾被写体領域４７がテンプレート画像４８または拡大テンプレート画像５０と類似しているか否かの判定を行う。なお、類似閾値Ｄｔｈは、通常の撮影シーンにおいて適切に類似判定が可能な値として設定されている。ステップＳ８の判定結果は、後述するステップＳ１２における焦点調節の際に用いられる。
【００４７】
ステップＳ９では、更新部１９５は、予め設定された更新閾値Ｕｐｔｈを用いて、テンプレート画像４８の更新処理の要否を判定する。更新閾値Ｕｐｔｈは、通常の撮影シーンにおいて適切に類似判定が可能な値として設定されている。ステップＳ９において、新しい追尾被写体領域４７とテンプレート画像４８との類似度が高いと判定された場合に、テンプレート画像４８の更新処理を行う。更新部１９５は、最小差分値ＭｉｎＤｉｆｆの値が更新閾値Ｕｐｔｈ以下の場合に、テンプレート画像４８の更新処理が必要と判断する。本実施の形態では、更新部１９５は、元のテンプレート画像４８の色情報や輝度情報などの画像情報の、たとえば８０％に、新しい追尾被写体領域４７の画像情報の２０％を加えて、新しいテンプレート画像４８を生成する。すなわち、更新部１９５は、更新処理が必要と初めて判定した場合には初期テンプレート画像４８に更新処理を施して新たにテンプレート画像４８を生成し、以後の処理では、順次、新たなテンプレート画像４８に対して更新処理を施す。更新処理の演算は、以下の（６）式のように表すことができる。
Ｒｅｆ［０，ＲＧ，ｉ，ｊ］＝０．８×Ｒｅｆ［０，ＲＧ，ｉ，ｊ］＋０．２×ＲＧ［ｘ＋ｉ−１，ｙ＋ｊ−１］、
Ｒｅｆ［０，ＢＧ，ｉ，ｊ］＝０．８×Ｒｅｆ［０，ＢＧ，ｉ，ｊ］＋０．２×ＢＧ［ｘ＋ｉ−１，ｙ＋ｊ−１］、
Ｒｅｆ［０，Ｌ，ｉ，ｊ］＝０．８×Ｒｅｆ［０，Ｌ，ｉ，ｊ］＋０．２×Ｌ［ｘ＋ｉ−１，ｙ＋ｊ−１］、
ｉ＝１〜ＴｍｐＳｉｚｅ、ｊ＝１〜ＴｍｐＳｉｚｅ、ｘ、ｙは新たな追尾被写体領域４７の位置 ・・・（６）
【００４８】
テンプレート画像４８の更新処理の結果、元のテンプレート画像４８の画像情報に対して、最新の画像情報が少しずつ追加されることにより更新される。このため、何らかの原因による追尾被写体の変化（たとえば被写体の顔の向きの変化など）の影響を抑制して被写体追尾の信頼性を向上させることができる。なお、元のテンプレート画像４８の画像情報の割合と新しい追尾被写体領域４７の画像情報の割合とは最小差分値ＭｉｎＤｉｆｆの値に応じて可変にしてもよい。
【００４９】
ステップＳ１０において、更新部１９５は、図１２に示す拡大テンプレート画像５０の更新処理を行う。ステップＳ２０１では、予め設定された拡大更新閾値Ｓｃｌｕｐｔｈを用いて、拡大テンプレート画像５０の更新処理の要否を判定する。拡大更新閾値Ｓｃｌｕｐｔｈは、通常の撮影シーンにおいて適切に類似判定が可能な値として設定されている。更新部１９５は、最小差分値ＭｉｎＤｉｆｆの値が拡大更新閾値Ｓｃｌｕｐｔｈ以下の場合に、拡大テンプレート画像５０の更新処理が必要と判断する。
【００５０】
続くステップＳ２０２では、更新部１９５は、上述したテンプレート画像４８の更新処理の場合と同様にして、拡大テンプレート画像５０を更新する。すなわち、更新部１９５は、元の拡大テンプレート画像５０の色情報や輝度情報などの画像情報の、たとえば８０％に、新しい追尾被写体領域４７の画像情報の２０％を加えることにより新たな拡大テンプレート画像５０を生成する。なお、ステップＳ２において、初期テンプレート画像４８のサイズが小さく、初期テンプレート画像４８と同一の画像を拡大テンプレート画像５０として設定した場合には、更新部１９５は、新しい追尾被写体領域４７の画像情報を加える割合を上記の２０％よりも増やして、新しい追尾被写体領域４７の画像情報をたとえば４０％加えて新たな拡大テンプレート画像５０を生成する。
【００５１】
ステップＳ２０３では、更新部１９５は、撮影周期ごとに上記の処理を繰り返す間に、拡大テンプレート画像５０で検出された追尾被写体の位置を新たな追尾被写体領域４７として設定した回数が、連続してｍ回となったか否かを判定する。すなわち、更新部１９５は、追尾被写体がカメラ１に接近しているために、被写界における追尾被写体が大きくなっているか否かを判定する。この場合、更新部１９５は、カウンタによるカウント数がｍであるか否かを判定する。カウント数がｍではない場合には、以下の処理を行わずに拡大テンプレート画像更新処理を終了する。
【００５２】
カウント数がｍの場合には、更新部１９５は、ステップＳ２０４において、以下の式（７）を用いて、テンプレート画像４８を拡大テンプレート画像５０によって置換する。
Ｒｅｆ［０，ＲＧ，ｉ，ｊ］＝Ｒｅｆ［１，ＲＧ，ｉ，ｊ］
Ｒｅｆ［０，ＢＧ，ｉ，ｊ］＝Ｒｅｆ［１，ＢＧ，ｉ，ｊ］
Ｒｅｆ［０，Ｌ，ｉ，ｊ］＝Ｒｅｆ［１，Ｌ，ｉ，ｊ］
なお、ｉ＝１〜ＴｍｐＳｉｚｅ、ｊ＝１〜ＴｍｐＳｉｚｅ ・・・（７）
【００５３】
カウント数がｍ未満の場合には、追尾制御部１９ｈは、図９（ａ）に示すテンプレート画像４８と拡大テンプレート画像５０とを用いて追尾被写体検出処理を行っていた。カウント数がｍに達し更新部１９５が上記の置換処理を行うと、追尾制御部１９ｈは、次回以降の被写体位置決定処理において、図９（ａ）に示す拡大テンプレート画像５０を図９（ｂ）に示すテンプレート画像４８として用いる。なお、図９（ａ）に示すテンプレート画像４８と拡大テンプレート画像５０とはそれぞれ図６（ｂ）に示すテンプレート画像４８と図６（ｃ）に示す拡大テンプレート画像５０と同一のものである。
【００５４】
ステップＳ２０４でテンプレート画像４８の置換処理を行った場合には、ステップＳ２０５において、更新部１９５は、新たな拡大テンプレート画像５０を生成する。すなわち、更新部１９５は、新たな追尾対象領域４７に内部画像領域５０ａを決定して、補間処理によりテンプレート画像４８と同一のサイズとなるように拡大することにより拡大テンプレート画像５０を生成する。その結果、図８（ｂ）に示す新たな追尾対象領域４７の内部の破線で囲んだ内部画像領域５０ａに対応する拡大テンプレート画像５０（図９（ｂ））が生成される。換言すると、更新部１９５は、カウンタのカウント数がｍの場合には、新たな追尾被写体領域４７の位置を基準として拡大テンプレート画像５０を生成する。
【００５５】
以上で拡大テンプレート画像５０の更新処理を終了し、図１０のステップＳ１１へリターンする。リターン後のステップＳ１１では、焦点検出演算部１９ｆは、ステップＳ７における被写体位置決定処理で決定した新しい追尾被写体領域４７を用いて焦点制御を行う。この場合、新しく決定された追尾被写体領域４７がテンプレート画像４８または拡大テンプレート画像５０と類似していると追尾制御部１９ｈによって判定された場合（ステップＳ８）は、焦点検出演算部１９ｆは、新しい追尾被写体領域４７内に含まれる追尾対象に対して合焦制御を行う。焦点検出演算部１９ｆは、新しい追尾被写体領域４７内に焦点検出エリア４５ａ〜４５ｇの少なくとも一つが含まれる場合には、新しい追尾被写体領域４７内に含まれる焦点検出エリア４５ａ〜４５ｇで検出されたデフォーカス量のうち最も小さいものを採用し、そのデフォーカス量に基づいて撮影レンズ８の焦点調節を行う。新しい追尾被写体領域４７内に焦点検出エリア４５ａ〜４５ｇが含まれない場合には、焦点検出演算部１９ｆ新しい追尾被写体領域４７との距離、または前回の追尾結果で採用された焦点検出エリア４５ａ〜４５ｇとの距離の少なくとも一方に基づいて採用する焦点検出エリア４５ａ〜４５ｇを決定してもよい。新しく決定された追尾被写体領域４７がテンプレート画像４８または拡大テンプレート画像５０と類似していないと追尾制御部１９ｈによって判定された場合（ステップＳ８）は、焦点検出演算部１９ｆは、前回の処理で検出されたデフォーカス量を用いて焦点調節を行う。上記処理が終了するとステップＳ３へ戻る。
【００５６】
ステップＳ３で操作部材２０のレリーズボタンの全押し操作が検出されるとステップＳ１２へ進み、マイクロコンピューター１９ｃは、撮影制御を実行する。なお、撮像制御に際しては、露出演算部１９ｅはステップＳ７で決定した新しい追尾被写体領域４７の輝度情報に基づいて露出演算を行い、絞り値とシャッター速度を算出する。これらの露出値にしたがって、マイクロコンピューター１９ｃはシャッター７および絞り２１を駆動制御し、第１撮像素子４に撮像を行わせる。
【００５７】
以上で説明した実施の形態によれば、以下の作用効果が得られる。
（１）第２撮像素子１６は、撮影レンズ８により結像される像を繰り返し撮像して、被写界画像を生成する。テンプレート生成部１９１は、被写界画像に含まれる追尾対象領域である追尾被写体領域４７に基づいて、少なくとも１つの拡大テンプレート画像５０を含む複数のテンプレート画像４８、５０を生成する。演算部１９２は、被写界画像の内部の探索領域４９と、テンプレート生成部１９１により生成された複数のテンプレート画像４８、５０のそれぞれとの間の相関関係を演算する。選択部１９３は、演算部１９２による複数のテンプレート画像４８，５０のそれぞれに対する演算結果を比較し、比較結果に基づいて、演算結果を選択する。検出部１９４は、選択部１９３により選択された演算結果に基づいて、被写界画像における追尾対象被写体の位置を検出する。上記の拡大テンプレート画像５０を生成する際には、テンプレート生成部１９１は、追尾対象領域４７に含まれる画像領域を補間処理により拡大し、拡大された画像領域に基づいて、拡大テンプレート画像５０を生成するようにした。具体的には、テンプレート生成部１９１は、追尾被写体領域４７の画像情報に基づいて拡大テンプレート画像５０とは異なる初期テンプレート画像４８を生成する。そして、テンプレート生成部１９１は、初期テンプレート画像４８の内部に内部画像領域５０ａを設定し、設定された内部画像領域５０ａを初期テンプレート画像４８の大きさとなるように補間処理により拡大することによって拡大テンプレート画像５０を生成するようにした。したがって、拡大テンプレート画像５０は、初期テンプレート画像４８をズームアップした場合に得られる画像に相当するので、追尾対象被写体がカメラ１に接近してくる場合であっても、拡大テンプレート画像５０によって追尾対象を検出できる。
【００５８】
（２）設定部１９６は、検出部１９４により検出された追尾対象被写体の位置に基づいて、新たな追尾対象領域４７を設定する。そして、演算部１９２による演算結果に基づいて、複数のテンプレート画像４８、５０を更新すると判定した場合、更新部１９５は、設定部１９６により設定された新たな追尾対象領域４７の画像情報を用いて、複数のテンプレート画像４８、５０を更新するようにした。したがって、更新処理の結果、元のテンプレート画像４８または拡大テンプレート画像５０の画像情報に対して、最新の画像情報が少しずつ追加されることにより更新される。このため、何らかの原因による追尾被写体の変化（たとえば被写体の顔の向きの変化など）の影響を抑制して被写体追尾の信頼性を向上させることができる。
【００５９】
（３）演算部１９２は、拡大テンプレート画像５０の画像情報と、探索領域４９内の画像情報との差分値を演算し、更新部１９５は、演算部１９２により算出された差分値に応じて拡大テンプレート画像５０の更新の要否を判定するようにした。この場合、更新部１９５は、新たな追尾対象領域４７内の画像情報と、拡大テンプレート画像５０の画像情報とを所定の割合で合成して拡大テンプレート画像５０を更新するようにした。したがって、最小差分値ＭｉｎＤｉｆｆの値が拡大更新閾値Ｓｃｌｕｐｔｈ以下、すなわち類似度が高い場合には、拡大テンプレート画像５０に最新の画像情報が加わる。その結果、次回以降の処理において、拡大テンプレート画像５０による追尾対象被写体の検出精度を向上させることができる。さらに、上記（２）のように、拡大テンプレート画像５０の画像情報に対して、最新の画像情報が少しずつ追加されることにより更新されるので、何らかの原因による追尾被写体の変化の影響を抑制して被写体追尾の信頼性を向上させることができる。
【００６０】
（４）テンプレート生成部１９１は、初期テンプレート画像４８内に内部画像領域５０ａを設定できない場合には、初期テンプレート画像４８の画像情報と同一の画像情報を用いて拡大テンプレート画像５０を生成する。そして、テンプレート生成部１９１により初期テンプレート画像４８の画像情報と同一の画像情報を用いて拡大テンプレート画像５０が生成された場合には、更新部１９５は拡大テンプレート画像５０の画像情報に対して新たな追尾対象領域４７の画像情報を合成する割合を高くするようにした。したがって、初期テンプレート画像４８と同一の拡大テンプレート画像５０を用いる場合には、拡大テンプレート画像５０を早い段階の更新処理で初期テンプレート画像４８をズームアップした場合に相当する画像に更新できる。その結果、追尾対象被写体がカメラ１に接近してくる場合であっても、拡大テンプレート画像５０によって追尾対象を検出できる。
【００６１】
（５）選択部１９３により連続して所定の回数（ｍ回）、拡大テンプレート画像５０に対する演算結果が選択された場合には、更新部１９５は、新たな追尾対象領域４７内の画像情報に基づいて新たな拡大テンプレート画像５０を生成するようにした。さらに、更新部１９５は、新たな拡大テンプレート画像５０を生成する前の拡大テンプレート画像５０の画像情報を新たなテンプレート画像４８として置換するようにした。したがって、最新の追尾対象領域４７の画像情報を用いて拡大テンプレート画像５０を生成し直すので、連続して拡大テンプレート画像５０の演算結果が選択されている場合、すなわち追尾対象被写体がカメラ１に対して相対的に接近している場合であっても、追尾対象被写体を検出し続けることができる。
【００６２】
（６）選択部１９３は、複数のテンプレート画像４８，５０のそれぞれに対応する複数の演算結果のうち、テンプレート画像４８，５０と探索領域４９との間の類似度が最も高いことを示す演算結果を選択するようにした。具体的には、演算部１９２は、複数のテンプレート画像４８，５０内の画像情報のそれぞれと、探索領域４９の画像情報との差分値を演算し、選択部１９３は、演算部１９２により算出された差分値が最小の場合に、類似度が最も高いと判定するようにした。したがって、複数のテンプレート画像４８、５０を用いたテンプレートマッチングを行った場合であっても、誤検出等の発生を抑制して追尾精度を維持できる。
【００６３】
以上で説明した実施の形態の撮像装置１を以下のように変形できる。
（１）更新部１９５は初期テンプレート画像４８を更新しなくてもよい。この場合、更新部１９５は、ステップＳ９で更新処理を行うと判定すると、初期テンプレート画像４８をコピーして複製テンプレート画像を生成する。そして、更新部１９５は、複製テンプレート画像に対して上述した更新処理を施して、新たにテンプレート画像（更新テンプレート画像）を生成する。２回目以降に更新処理を行うと判定した場合、更新部１９５は、更新テンプレート画像に対して更新処理を施す。すなわち、更新部１９５は、一連の処理において、更新テンプレート画像および／または拡大テンプレート画像５０に対して更新処理を行う。そして、追尾制御部１９ｈは、初期テンプレート画像４８と、更新テンプレート画像と、拡大テンプレート画像５０とを用いて、探索領域４９内で上述した追尾演算処理を行えばよい。この結果、初期テンプレート画像４８を更新することなく保持し続けているので、追尾対象被写体がカメラ１に対して再び遠ざかったような場合等には、再度初期テンプレート画像４８を用いて追尾対象被写体を検出できる。
【００６４】
さらに加えて、拡大テンプレート画像５０で検出された位置を新たな追尾被写体領域４７として設定した回数が、連続して所定回数となった場合には、追尾制御部１９ｈは、初期テンプレート画像４８で検出された位置が新たな追尾被写体領域４７として採用されにくくなるように処理を加える。この場合、上記のカウンタによるカウント数がｎのときには、演算部１９２は初期テンプレート画像４８と探索領域４９との差分Ｄｉｆｆ［０，ｓｘ，ｓｙ］の値に所定の係数ｋを加算することにより、初期テンプレート画像４５の演算結果が選択部１９３により選択されにくくなるように補正を施す。すなわち、差分Ｄｉｆｆ［０，ｓｘ，ｓｙ］の値を大きくすることにより、初期テンプレート画像４８による演算結果が最小差分値ＭｉｎＤｉｆｆとして採用されにくくなる。この結果、追尾対象の被写体がカメラ１に接近している場合、すなわち被写界画像中の追尾対象が大きくなった場合に、追尾対象とは異なる背景の被写体（すなわち小さな被写体）を追尾対象として誤検出することを防ぐことができる。
【００６５】
さらに、拡大テンプレート画像５０で検出された位置を新たな追尾被写体領域４７として設定した回数が、連続して所定回数となった場合には、追尾制御部１９ｈは、初期テンプレート画像４８で検出された位置が選択部１９３によって選択されることを禁止してもよい。この場合、初期テンプレート画像４８と拡大テンプレート画像５０の２つを用いて追尾処理をする場合であれば、上記のカウンタによるカウント数がｎのときには、選択部１９３は、拡大テンプレート画像５０と探索領域４９との差分Ｄｉｆｆ［１，ｓｘ，ｓｙ］の値のみを選択する。
【００６６】
（２）テンプレート生成部１９１は、初期テンプレート画像４８内の内部画像領域５０ａを補間処理により拡大して拡大テンプレート画像５０を生成するものに代えて、初期テンプレート画像４８を補間処理により拡大して拡大テンプレート画像を生成してもよい。すなわち、図１３に示すように、テンプレート生成部１９１は、初期テンプレート画像４８の画像情報がズームアップされた拡大テンプレート画像５０’を生成する。
【００６７】
（３）テンプレート生成部１９１は、初期テンプレート画像４８の内部画像領域５０ａから拡大テンプレート画像５０を生成するものに代えて、被写体領域４７の画像情報から拡大テンプレート画像５０を生成してもよい。この場合、図１４に示すように、テンプレート生成部１９１は、被写界画像内に設定された被写体追尾領域４７の内部に、内部画像領域５０ａ’を設定する。そして、テンプレート生成部１９１は、内部画像領域５０ａ’を補間処理により拡大して拡大テンプレート画像５０を生成すればよい。
【００６８】
（４）交換レンズ３のレンズ駆動制御装置２２からレンズマウント部の接点２３を介して入力されたレンズ情報に基づいて、選択部１９３は、拡大テンプレート画像５０を用いた演算結果を優先して演算してもよい。レンズ情報に基づいて、交換レンズ３がズームアップされている、または被写体の距離が近づいていると判定された場合、すなわち撮影画面内で追尾被写体の大きさが大きくなる場合には、選択部１９３は拡大テンプレート画像５０を用いた演算結果を優先して選択する。優先する方法としては、拡大テンプレート画像５０の演算結果の差分値が類似閾値以内であれば他のテンプレート画像の結果によらずに拡大テンプレート画像５０の結果を選択すればよい。または、拡大テンプレート画像５０以外の演算結果に重みを付けたうえで、最も差分値が小さい結果を選択すればよい。この結果、被写界画像中の追尾対象が大きくなった場合に、追尾対象とは異なる背景の被写体（すなわち小さな被写体）を追尾対象として誤検出することを防ぐことができる。
【００６９】
（５）検出部１９４は、最小差分値ＭｉｎＤｉｆｆを与える変数ｔが１のときにカウンタのカウント数を１増やすものに代えて、焦点検出演算部１９ｆによる合焦制御の結果に基づいて、カウンタのカウント数を１増やしてもよい。この場合、焦点検出演算部１９ｆが前回のデフォーカス量と今回のデフォーカス量とに基づいて、追尾対象被写体が撮影レンズ８の光軸方向に沿って、カメラ１に接近していると判定した場合、検出部１９４は、カウンタのカウント数を１増やす。そして、カウント数がｍの場合には、選択部１９３は拡大テンプレート画像５０を用いた演算結果を選択すればよい。この結果、追尾対象の被写体がカメラ１に接近している場合、すなわち被写界画像中の追尾対象が大きくなった場合に、追尾対象とは異なる背景の被写体（すなわち小さな被写体）を追尾対象として誤検出することを防ぐことができる。
【００７０】
（６）演算部１９２は、差分Ｄｉｆｆを算出するものに限らない。演算部１９２は、テンプレート画像４８の画像情報および拡大テンプレート画像５０の画像情報のそれぞれと、切り出し画像の画像情報との間で加算や、除算等の四則演算を行ってもよいし、最小二乗法等を用いてもよい。この場合も、選択部１９３は、値が最小となる演算結果、すなわち類似度が最大であることを示す演算結果を選択する。
【００７１】
また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。説明に用いた実施の形態および変形例は、それぞれを適宜組合わせて構成しても構わない。
【符号の説明】
【００７２】
１ 撮像装置、 １６ 第２撮像素子、
１９ ボディ駆動制御装置、 １９ｃ マイコン、
１９ｆ 焦点検出演算部、 １９ｈ 追尾制御部、
２３ 接点、 １９１ テンプレート生成部、
１９２ 演算部、 １９３ 選択部、
１９４ 検出部、 １９５ 更新部、
１９６ 設定部
【特許請求の範囲】
【請求項１】
結像光学系により結像される像を繰り返し撮像して、被写界画像を生成する撮像手段と、
前記被写界画像に含まれる追尾対象領域に基づいて、少なくとも１つの第１テンプレート画像を含む複数のテンプレート画像を生成する生成手段と、
前記被写界画像の内部の探索領域画像と、前記生成手段により生成された前記複数のテンプレート画像のそれぞれとの間の相関関係を演算する演算手段と、
前記演算手段による前記複数のテンプレート画像のそれぞれに対する演算結果を比較し、比較結果に基づいて、前記演算結果を選択する選択手段と、
前記選択手段により選択された前記演算結果に基づいて、前記被写界画像における追尾対象の画像の位置を検出する検出手段とを備え、
前記生成手段は、前記追尾対象領域に含まれる画像領域を補間処理により拡大し、前記拡大された前記画像領域に基づいて、前記第１テンプレート画像を生成することを特徴とする画像追尾装置。
【請求項２】
請求項１に記載の画像追尾装置において、
前記生成手段は、前記追尾対象領域内の画像情報に基づいて前記第１テンプレート画像とは異なる第２テンプレート画像を生成し、前記第２テンプレート画像の内部に前記画像領域を設定し、前記設定された前記画像領域を前記第２テンプレート画像の大きさとなるように補間処理により拡大し、前記拡大された前記画像領域に基づいて前記第１テンプレート画像を生成することを特徴とする画像追尾装置。
【請求項３】
請求項２に記載の画像追尾装置において、
前記検出手段により検出された前記追尾対象の画像の位置に基づいて、新たな追尾対象領域を設定する設定手段と、
前記演算手段による前記演算結果に基づいて、前記複数のテンプレート画像を更新すると判定した場合、前記設定手段により設定された前記新たな追尾対象領域内の画像情報を用いて、前記複数のテンプレート画像を更新する更新手段とを備えることを特徴とする画像追尾装置。
【請求項４】
請求項３に記載の画像追尾装置において、
前記更新手段は、前記演算手段により算出された前記差分値に応じて前記第１テンプレート画像の更新の要否を判定することを特徴とする画像追尾装置。
【請求項５】
請求項３または４に記載の画像追尾装置において、
前記更新手段は、前記新たな追尾対象領域内の画像情報と、前記第１テンプレート画像の画像情報とを所定の割合で合成して前記第１テンプレート画像を更新することを特徴とする画像追尾装置。
【請求項６】
請求項５に記載の画像追尾装置において、
前記生成手段は、前記第２テンプレート画像内に前記画像領域を設定できない場合には、前記第２テンプレート画像の画像情報と同一の画像情報を用いて前記第１テンプレート画像を生成し、
前記更新手段は、前記生成手段により前記第２テンプレート画像の画像情報と同一の画像情報を用いて前記第１テンプレート画像が生成された場合には、前記第１テンプレート画像の画像情報に対して前記新たな追尾対象領域内の画像情報を合成する割合を高くすることを特徴とする画像追尾装置。
【請求項７】
請求項３乃至６のいずれか一項に記載の画像追尾装置において、
前記選択手段により連続して所定の回数、前記第１テンプレート画像に対する演算結果が選択された場合には、前記更新手段は、前記新たな追尾対象領域内の画像情報に基づいて新たな第１テンプレート画像を生成することを特徴とする画像追尾装置。
【請求項８】
請求項７に記載の画像追尾装置において、
前記選択手段により連続して所定の回数、前記第１テンプレート画像に対する演算結果が選択された場合には、前記更新手段は、前記新たな第１テンプレート画像を生成する前の前記第１テンプレート画像の画像情報を、前記第１テンプレート画像とは異なる前記テンプレート画像として置換することを特徴とする画像追尾装置。
【請求項９】
請求項３乃至６のいずれか一項に記載の画像追尾装置において、
前記選択手段は、連続して所定の回数、前記第１テンプレート画像に対する演算結果を選択した場合には、次回以降は前記第２テンプレート画像に対する演算結果の選択を禁止することを特徴とする画像追尾装置。
【請求項１０】
請求項３乃至６のいずれか一項に記載の画像追尾装置において、
前記選択手段により、連続して所定の回数、前記第１テンプレート画像に対する演算結果が選択された場合、前記演算手段は、次回以降に算出した前記第２テンプレート画像の演算結果に対して、前記第２テンプレート画像の演算結果が前記選択手段によって選択されにくくさせるための補正を施すことを特徴とする画像追尾装置。
【請求項１１】
請求項１乃至１０のいずれか一項に記載の画像追尾装置において、
前記選択手段は、前記複数のテンプレート画像のそれぞれに対応する複数の前記演算結果のうち、前記テンプレート画像と前記探索領域画像との間の類似度が最大であることを示す演算結果を選択することを特徴とする画像追尾装置。
【請求項１２】
請求項１１に記載の画像追尾装置において、
前記演算手段は、前記複数のテンプレート画像内の画像情報のそれぞれと、前記探索領域画像内の画像情報との差分値を演算し、
前記選択手段は、前記演算手段により算出された前記差分値が最小の場合に、前記類似度が最大であると判定することを備えることを特徴とする画像追尾装置。
【請求項１３】
結像光学系により結像される像を繰り返し撮像して、被写界画像を生成する撮像手段と、
前記被写界画像に基づいて、少なくとも１つの第１テンプレート画像を含む複数のテンプレート画像を生成する生成手段と、
前記被写界画像における探索領域画像と、前記生成手段により生成された前記複数のテンプレート画像のそれぞれとの間の相関関係を演算する演算手段と、
前記結像光学系の撮影距離に関する情報を入力する入力手段と、
前記入力手段により入力された前記撮影距離に関する情報に基づいて、追尾対象が相対的に接近していることを判定する判定手段と、
前記判定手段により前記追尾対象が接近していると判定された場合には、前記演算手段による前記複数のテンプレート画像のそれぞれに対する演算結果のうち、前記第１テンプレート画像に対する演算結果を優先して選択し、前記判定手段により前記追尾対象の接近が判定されない場合には、前記演算手段による演算結果のうち前記第１テンプレート画像とは異なる前記テンプレート画像による演算結果を選択する選択手段と、
前記選択手段により選択された前記演算結果に基づいて、前記被写界画像における前記追尾対象の画像の位置を検出する検出手段と備え、
前記生成手段は、前記被写界画像に含まれる追尾対象領域を決定し、前記追尾対象領域に含まれる画像領域を補間処理により拡大し、前記拡大された前記画像領域に基づいて、前記第１テンプレート画像を生成することを特徴とする画像追尾装置。
【請求項１４】
結像光学系により結像される像を繰り返し撮像して、被写界画像を生成する第１撮像手段と、
前記被写界画像に基づいて、少なくとも１つの第１テンプレート画像を含む複数のテンプレート画像を生成する生成手段と、
前記被写界画像における探索領域画像と、前記生成手段により生成された前記複数のテンプレート画像のそれぞれとの間の相関関係を演算する演算手段と、
前記結像光学系の焦点状態を演算して、焦点調節を行う焦点調節手段と、
前記焦点調節手段による演算結果に基づいて、追尾対象が前記結像光学系の光軸方向に対して接近しているか否かを判定する判定手段と、
前記判定手段により前記追尾対象が接近していると判定された場合には、前記演算手段による前記複数のテンプレート画像のそれぞれに対する演算結果のうち、前記第１テンプレート画像に対する演算結果を優先して選択し、前記判定手段により前記追尾対象の接近が判定されない場合には、前記演算手段による演算結果のうち前記第１テンプレート画像とは異なる前記テンプレート画像による演算結果を選択する選択手段と、
前記選択手段により選択された前記演算結果に基づいて、前記被写界画像における前記追尾対象の画像の位置を検出する検出手段と備え、
前記生成手段は、前記被写界画像に含まれる追尾対象領域を決定し、前記追尾対象領域に含まれる画像領域を補間処理により拡大し、前記拡大された前記画像領域に基づいて、前記第１テンプレート画像を生成することを特徴とする画像追尾装置。
【請求項１】
結像光学系により結像される像を繰り返し撮像して、被写界画像を生成する撮像手段と、
前記被写界画像に含まれる追尾対象領域に基づいて、少なくとも１つの第１テンプレート画像を含む複数のテンプレート画像を生成する生成手段と、
前記被写界画像の内部の探索領域画像と、前記生成手段により生成された前記複数のテンプレート画像のそれぞれとの間の相関関係を演算する演算手段と、
前記演算手段による前記複数のテンプレート画像のそれぞれに対する演算結果を比較し、比較結果に基づいて、前記演算結果を選択する選択手段と、
前記選択手段により選択された前記演算結果に基づいて、前記被写界画像における追尾対象の画像の位置を検出する検出手段とを備え、
前記生成手段は、前記追尾対象領域に含まれる画像領域を補間処理により拡大し、前記拡大された前記画像領域に基づいて、前記第１テンプレート画像を生成することを特徴とする画像追尾装置。
【請求項２】
請求項１に記載の画像追尾装置において、
前記生成手段は、前記追尾対象領域内の画像情報に基づいて前記第１テンプレート画像とは異なる第２テンプレート画像を生成し、前記第２テンプレート画像の内部に前記画像領域を設定し、前記設定された前記画像領域を前記第２テンプレート画像の大きさとなるように補間処理により拡大し、前記拡大された前記画像領域に基づいて前記第１テンプレート画像を生成することを特徴とする画像追尾装置。
【請求項３】
請求項２に記載の画像追尾装置において、
前記検出手段により検出された前記追尾対象の画像の位置に基づいて、新たな追尾対象領域を設定する設定手段と、
前記演算手段による前記演算結果に基づいて、前記複数のテンプレート画像を更新すると判定した場合、前記設定手段により設定された前記新たな追尾対象領域内の画像情報を用いて、前記複数のテンプレート画像を更新する更新手段とを備えることを特徴とする画像追尾装置。
【請求項４】
請求項３に記載の画像追尾装置において、
前記更新手段は、前記演算手段により算出された前記差分値に応じて前記第１テンプレート画像の更新の要否を判定することを特徴とする画像追尾装置。
【請求項５】
請求項３または４に記載の画像追尾装置において、
前記更新手段は、前記新たな追尾対象領域内の画像情報と、前記第１テンプレート画像の画像情報とを所定の割合で合成して前記第１テンプレート画像を更新することを特徴とする画像追尾装置。
【請求項６】
請求項５に記載の画像追尾装置において、
前記生成手段は、前記第２テンプレート画像内に前記画像領域を設定できない場合には、前記第２テンプレート画像の画像情報と同一の画像情報を用いて前記第１テンプレート画像を生成し、
前記更新手段は、前記生成手段により前記第２テンプレート画像の画像情報と同一の画像情報を用いて前記第１テンプレート画像が生成された場合には、前記第１テンプレート画像の画像情報に対して前記新たな追尾対象領域内の画像情報を合成する割合を高くすることを特徴とする画像追尾装置。
【請求項７】
請求項３乃至６のいずれか一項に記載の画像追尾装置において、
前記選択手段により連続して所定の回数、前記第１テンプレート画像に対する演算結果が選択された場合には、前記更新手段は、前記新たな追尾対象領域内の画像情報に基づいて新たな第１テンプレート画像を生成することを特徴とする画像追尾装置。
【請求項８】
請求項７に記載の画像追尾装置において、
前記選択手段により連続して所定の回数、前記第１テンプレート画像に対する演算結果が選択された場合には、前記更新手段は、前記新たな第１テンプレート画像を生成する前の前記第１テンプレート画像の画像情報を、前記第１テンプレート画像とは異なる前記テンプレート画像として置換することを特徴とする画像追尾装置。
【請求項９】
請求項３乃至６のいずれか一項に記載の画像追尾装置において、
前記選択手段は、連続して所定の回数、前記第１テンプレート画像に対する演算結果を選択した場合には、次回以降は前記第２テンプレート画像に対する演算結果の選択を禁止することを特徴とする画像追尾装置。
【請求項１０】
請求項３乃至６のいずれか一項に記載の画像追尾装置において、
前記選択手段により、連続して所定の回数、前記第１テンプレート画像に対する演算結果が選択された場合、前記演算手段は、次回以降に算出した前記第２テンプレート画像の演算結果に対して、前記第２テンプレート画像の演算結果が前記選択手段によって選択されにくくさせるための補正を施すことを特徴とする画像追尾装置。
【請求項１１】
請求項１乃至１０のいずれか一項に記載の画像追尾装置において、
前記選択手段は、前記複数のテンプレート画像のそれぞれに対応する複数の前記演算結果のうち、前記テンプレート画像と前記探索領域画像との間の類似度が最大であることを示す演算結果を選択することを特徴とする画像追尾装置。
【請求項１２】
請求項１１に記載の画像追尾装置において、
前記演算手段は、前記複数のテンプレート画像内の画像情報のそれぞれと、前記探索領域画像内の画像情報との差分値を演算し、
前記選択手段は、前記演算手段により算出された前記差分値が最小の場合に、前記類似度が最大であると判定することを備えることを特徴とする画像追尾装置。
【請求項１３】
結像光学系により結像される像を繰り返し撮像して、被写界画像を生成する撮像手段と、
前記被写界画像に基づいて、少なくとも１つの第１テンプレート画像を含む複数のテンプレート画像を生成する生成手段と、
前記被写界画像における探索領域画像と、前記生成手段により生成された前記複数のテンプレート画像のそれぞれとの間の相関関係を演算する演算手段と、
前記結像光学系の撮影距離に関する情報を入力する入力手段と、
前記入力手段により入力された前記撮影距離に関する情報に基づいて、追尾対象が相対的に接近していることを判定する判定手段と、
前記判定手段により前記追尾対象が接近していると判定された場合には、前記演算手段による前記複数のテンプレート画像のそれぞれに対する演算結果のうち、前記第１テンプレート画像に対する演算結果を優先して選択し、前記判定手段により前記追尾対象の接近が判定されない場合には、前記演算手段による演算結果のうち前記第１テンプレート画像とは異なる前記テンプレート画像による演算結果を選択する選択手段と、
前記選択手段により選択された前記演算結果に基づいて、前記被写界画像における前記追尾対象の画像の位置を検出する検出手段と備え、
前記生成手段は、前記被写界画像に含まれる追尾対象領域を決定し、前記追尾対象領域に含まれる画像領域を補間処理により拡大し、前記拡大された前記画像領域に基づいて、前記第１テンプレート画像を生成することを特徴とする画像追尾装置。
【請求項１４】
結像光学系により結像される像を繰り返し撮像して、被写界画像を生成する第１撮像手段と、
前記被写界画像に基づいて、少なくとも１つの第１テンプレート画像を含む複数のテンプレート画像を生成する生成手段と、
前記被写界画像における探索領域画像と、前記生成手段により生成された前記複数のテンプレート画像のそれぞれとの間の相関関係を演算する演算手段と、
前記結像光学系の焦点状態を演算して、焦点調節を行う焦点調節手段と、
前記焦点調節手段による演算結果に基づいて、追尾対象が前記結像光学系の光軸方向に対して接近しているか否かを判定する判定手段と、
前記判定手段により前記追尾対象が接近していると判定された場合には、前記演算手段による前記複数のテンプレート画像のそれぞれに対する演算結果のうち、前記第１テンプレート画像に対する演算結果を優先して選択し、前記判定手段により前記追尾対象の接近が判定されない場合には、前記演算手段による演算結果のうち前記第１テンプレート画像とは異なる前記テンプレート画像による演算結果を選択する選択手段と、
前記選択手段により選択された前記演算結果に基づいて、前記被写界画像における前記追尾対象の画像の位置を検出する検出手段と備え、
前記生成手段は、前記被写界画像に含まれる追尾対象領域を決定し、前記追尾対象領域に含まれる画像領域を補間処理により拡大し、前記拡大された前記画像領域に基づいて、前記第１テンプレート画像を生成することを特徴とする画像追尾装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−１９１３９９（Ｐ２０１２−１９１３９９Ａ）
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願番号】特願２０１１−５２７１１（Ｐ２０１１−５２７１１）
【出願日】平成２３年３月１０日（２０１１．３．１０）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願日】平成２３年３月１０日（２０１１．３．１０）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]