焦点検出装置および撮像装置
【課題】焦点調節を行うために採用した焦点検出エリアを表示する。
【解決手段】結像光学系による画面内の画像情報を撮像素子により取得し、基準とする像に関する基準情報と画像情報とに基づいて画面内における対象の領域５０を検出するとともに、画面内に設定された複数の焦点検出位置４５における結像光学系の焦点調節状態を検出し、対象の領域の検出結果と焦点検出結果とに基づいて複数の焦点検出位置のいずれかを選択し、選択された焦点検出位置が対象の領域内またはその近傍にある場合には、対象の領域の中央に最も近い焦点検出位置４６を表示する。
【解決手段】結像光学系による画面内の画像情報を撮像素子により取得し、基準とする像に関する基準情報と画像情報とに基づいて画面内における対象の領域５０を検出するとともに、画面内に設定された複数の焦点検出位置４５における結像光学系の焦点調節状態を検出し、対象の領域の検出結果と焦点検出結果とに基づいて複数の焦点検出位置のいずれかを選択し、選択された焦点検出位置が対象の領域内またはその近傍にある場合には、対象の領域の中央に最も近い焦点検出位置４６を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は焦点検出装置および撮像装置に関する。
【背景技術】
【０００２】
撮影画面内に設定された複数の焦点検出エリアにおいて撮影レンズのデフォーカス量を検出し、いずれかのエリアのデフォーカス量に基づいて撮影レンズを合焦駆動する自動焦点調節（ＡＦ）機能と、撮影画像の中の追尾対象の被写体の画像をテンプレート画像（基準画像）として記憶し、繰り返し撮像される画像の中でテンプレート画像と同一または類似した画像の位置を検索しながら追尾対象の被写体を追尾する画像追尾機能とを備え、画像追尾結果の追尾位置の焦点検出エリアを選択してその焦点検出エリアのデフォーカス量により撮影レンズを合焦駆動するオートフォーカスシステムが知られている（例えば、この出願の発明に関連する先行技術文献としては次のものがある。特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−０５８４３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来のオートフォーカスシステムでは、画像追尾結果の追尾位置に複数の焦点検出エリアがある場合、どの焦点検出エリアを焦点調節を行うエリアに採用したのか、あるいは、画像追尾結果の追尾位置にある焦点検出エリアで焦点検出不能もしくは焦点検出結果の信頼性がない場合に、追尾位置以外のどの焦点検出エリアを焦点調節を行うエリアに採用したのか判らないので、対象とする被写体を正しく追尾しているのかどうかを認識することができなかった。
【課題を解決するための手段】
【０００５】
（１） 請求項１の発明は、結像光学系による画面内の画像情報を撮像素子により取得し、基準とする像に関する基準情報と画像情報とに基づいて画面内における対象の領域を検出する画像検出手段と、画面内に設定された複数の焦点検出位置における結像光学系の焦点調節状態を検出する焦点検出手段と、画像検出手段による対象の領域の検出結果と、焦点検出手段による焦点調節状態の検出結果とに基づいて、複数の焦点検出位置のいずれかを選択する選択手段と、画面上に焦点検出位置を重畳して表示する表示手段と、選択手段により選択された焦点検出位置が対象の領域内またはその近傍にある場合には、対象の領域の中央に最も近い焦点検出位置を表示手段に表示する制御手段とを備える。
（２） 請求項２の焦点検出装置は、制御手段によって、選択手段により選択された焦点検出位置が対象の領域内およびその近傍にない場合には、選択された焦点検出位置を表示手段に表示するようにしたものである。
（３） 請求項３の焦点検出装置は、選択手段によって、繰り返し前記選択を行うとともに、対象の領域内およびその近傍にある焦点検出位置のいずれに対しても焦点検出手段による焦点検出が不能、または焦点検出結果の信頼性がない場合には、対象の領域内およびその近傍以外の位置にある焦点検出位置に対して検出された焦点調節状態の内、前回選択した焦点検出位置に対する焦点調節状態と類似する焦点調節状態を示す焦点検出位置を選択し、制御手段によって、選択手段により選択された焦点検出位置を表示手段に表示するようにしたものである。
（４） 請求項４の焦点検出装置は、選択手段によって、繰り返し選択を行うとともに、画像検出手段により画面内で対象の領域が検出できない場合には、焦点検出手段により検出された焦点調節状態の内、前回選択した焦点検出位置に対する焦点調節状態と類似する
焦点調節状態を示す焦点検出位置を選択し、制御手段によって、選択手段により選択された焦点検出位置を表示手段に表示するようにしたものである。
（５） 請求項５の発明は、請求項１〜４のいずれか１項に記載の焦点検出装置を備えた撮像装置である。
【発明の効果】
【０００６】
本発明によれば、撮影者は追尾したい被写体をカメラが正確に追尾しているか否かを容易に確認することができる。
【図面の簡単な説明】
【０００７】
【図１】一実施の形態の画像追尾装置を備えた撮像装置の構成を示す図
【図２】ボディ駆動制御装置の詳細な構成を示す図
【図３】第２撮像素子の詳細な構成を示す正面図
【図４】第２撮像素子の画素の詳細図
【図５】ファインダー像を示す図
【図６】他のファインダー像を示す図
【図７】一実施の形態の被写体の追尾方法を説明する図
【図８】一実施の形態の被写体の追尾方法を説明する図
【図９】一実施の形態の被写体追尾動作を示すフローチャート
【図１０】一実施の形態の追尾制御の初期処理を示すフローチャート
【図１１】一実施の形態の追尾演算処理を示すフローチャート
【発明を実施するための形態】
【０００８】
撮影画面内に設定された複数の焦点検出エリアにおいて撮影レンズの焦点調節状態（この一実施の形態ではデフォーカス量）を検出し、いずれかのエリアのデフォーカス量に基づいて撮影レンズを合焦駆動する自動焦点調節（ＡＦ）機能と、撮影画像の中の追尾対象の被写体の画像をテンプレート画像（基準画像）として記憶し、繰り返し撮像される画像の中でテンプレート画像と同一または類似した画像の位置を検索しながら（テンプレートマッチング）追尾対象の被写体を追尾する画像追尾機能とを備え、ＡＦ機能と画像追尾機能により撮影レンズを駆動しながら対象を追尾する画像追尾装置を備えた撮像装置（一眼レフデジタルスチルカメラ）の一実施の形態を説明する。
【０００９】
図１は、一実施の形態の画像追尾装置を備えた撮像装置（一眼レフデジタルスチルカメラ）１の構成を示す。なお、図１では本願発明と直接関係のないカメラの機器および回路についての図示と説明を省略する。一実施の形態のカメラ１は、カメラ本体２に交換レンズ３が交換可能に装着される。カメラ本体２には被写体像を撮像して画像を記録するための第１撮像素子４が設けられる。この第１撮像素子４はＣＣＤやＣＭＯＳなどにより構成することができる。撮影時にはクイックリターンミラー５およびサブミラー６が実線で示す撮影光路外の位置に退避してシャッター７が開放され、撮影レンズ８により第１撮像素子４の受光面に被写体像が結像される。
【００１０】
カメラ本体２の底部には、撮影レンズ８の焦点調節状態を検出するための焦点検出光学系９と測距素子１０が設けられている。この一実施の形態では、瞳分割型位相差検出方式による焦点検出方法を採用した例を示す。焦点検出光学系９は、撮影レンズ８を通過した対の焦点検出用光束を測距素子１０の受光面へ導き、対の光像を結像させる。測距素子１０は例えば対のＣＣＤラインセンサーを備え、対の光像に応じた焦点検出信号を出力する。撮影前にはクイックリターンミラー５およびサブミラー６が破線で示すような撮影光路内の位置に設定されており、撮影レンズ８からの対の焦点検出用光束はクイックリターンミラー５のハーフミラー部を透過し、サブミラー６により反射されて焦点検出光学系９および測距素子１０へ導かれる。
【００１１】
カメラ本体２の上部にはファインダー光学系が設けられている。撮影前にはクイックリターンミラー５およびサブミラー６が破線で示す位置にあり、撮影レンズ８からの被写体光はクイックリターンミラー５に反射されて焦点板１１へ導かれ、焦点板１１上に被写体像が結像する。液晶表示素子１２は、焦点板１１上に結像された被写体像に焦点検出エリアマークなどの情報を重畳表示するとともに、被写体像外の位置に露出値などの種々の撮影情報を表示する。焦点板１１上の被写体像はペンタダハプリズム１３および接眼レンズ１４を介して接眼窓１５へ導かれ、撮影者が被写体像を視認することができる。
【００１２】
また、カメラ本体２上部のファインダー光学系には、被写体追尾や測光のために被写体像を撮像する第２撮像素子１６が設けられる。焦点板１１に結像した被写体像は、ペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６の受光面に再結像される。第２撮像素子１６は被写体像に応じた画像信号を出力する。撮影前に
焦点板１１上に結像された被写体像は、ペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６へ導かれ、第２撮像素子１６の受光面に被写体像が再結像される。詳細を後述するが、この第２撮像素子１６により撮像された被写体像に基づいて画像追尾制御と露出演算が行われる。
【００１３】
カメラ本体２にはまた、ボディ駆動制御装置１９、操作部材２０などが設けられる。ボディ駆動制御装置１９は、詳細を後述するマイクロコンピューターとメモリ、Ａ／Ｄ変換器などの周辺部品から構成され、カメラ１の種々の制御と演算を行う。操作部材２０には、シャッターボタン、焦点検出エリア選択スイッチ、撮影モード選択スイッチなどのカメラ１を操作するためのスイッチやセレクターが含まれる。
【００１４】
交換レンズ３には、ズーミングレンズ８ａ、フォーカシングレンズ８ｂ、絞り２１、レンズ駆動制御装置２２などが設けられる。なお、この一実施の形態では撮影レンズ８をズーミングレンズ８ａ、フォーカシングレンズ８ｂおよび絞り２１で体表的に表すが、撮影レンズ８の構成は図１に示す構成に限定されない。レンズ駆動制御装置２２は図示しないマイクロコンピューターとメモリ、駆動回路、アクチュエーターなどの周辺部品から構成され、レンズ８ａ、８ｂおよび絞り２１の駆動制御とそれらの設定位置検出を行う。レンズ駆動制御装置２２に内蔵されるメモリには、交換レンズ３の焦点距離や開放絞り値などの情報が記憶されている。
【００１５】
ボディ駆動制御装置１９とレンズ駆動制御装置２２はレンズマウント部の接点２３を介して通信を行い、ボディ駆動制御装置１９からレンズ駆動制御装置２２へレンズ駆動量や絞り値などの情報を送信し、レンズ駆動制御装置２２からボディ駆動制御装置１９へレンズ情報や絞り情報を送信する。モニター２４はカメラ本体２の背面に設けられ、スルー画や撮影画像の他に各種撮影情報を表示する。
【００１６】
図２はボディ駆動制御装置１９の詳細な構成を示す。なお、本願発明と直接関係のない制御機能については図示と説明を省略する。ボディ駆動制御装置１９は素子制御回路１９ａ、Ａ／Ｄ変換器１９ｂ、マイクロコンピューター１９ｃ、メモリ１９ｄなどを備えている。素子制御回路１９ａは第２撮像素子１６の電荷の蓄積と読み出しを制御する。Ａ／Ｄ変換器１９ｂは、第２撮像素子１６から出力されるアナログ画像信号をデジタル画像信号に変換する。マイクロコンピューター１９ｃは、ソフトウエア形態により追尾制御部１９ｅ、露出制御部１９ｆ、焦点検出演算部１９ｇおよびレンズ駆動量演算部１９ｈを構成する。メモリ１９ｄは、画像追尾用のテンプレート画像（基準画像）やデフォーカス量などの情報、あるいは撮影レンズ８の焦点距離、開放Ｆ値、絞り値、像ズレ量からデフォーカス量への変換係数などのレンズ情報を記憶する。
【００１７】
追尾制御部１９ｅは、第２撮像素子１６により撮像した被写体像の内、撮影者が手動で指定した追尾対象位置、あるいはカメラ１が自動で設定した追尾対象位置に対応する画像をテンプレート画像(基準画像）としてメモリ１９ｄに記憶させ、その後に繰り返し撮影
される画像の中からテンプレート画像と一致または類似する画像領域を検索することによって対象の位置を認識する。露出演算部１９ｆは、第２撮像素子１６により撮像した画像信号に基づいて露出値を演算する。
【００１８】
焦点検出演算部１９ｇは、測距素子１０から出力される対の光像に応じた焦点検出信号に基づいて撮影レンズ８の焦点調節状態、ここではデフォーカス量を検出する。なお、詳細を後述するが、撮影レンズ８の撮影画面内には複数の焦点検出エリアが設定されており、測距素子１０は焦点検出エリアごとに対の光像に応じた焦点検出信号を出力し、焦点検出演算部１９ｇは焦点検出エリアごとに対の光像に応じた焦点検出信号に基づいてデフォーカス量を検出する。レンズ駆動量演算部１９ｈは検出されたデフォーカス量をレンズ駆
動量に変換する。
【００１９】
図３は第２撮像素子１６の詳細な構成を示す正面図である。第２撮像素子１６は、マトリクス状に配列された複数の画素（光電変換素子）２６（ここでは横１６個×縦１２個＝１９２個）を備えている。各画素２６は図４に示すように３個の部分２６ａ、２６ｂ、２６ｃに分割され、これらの部分２６ａ、２６ｂ、２６ｃにはそれぞれ赤Ｒ、緑Ｇ、青Ｂの原色フィルターが設けられている。これにより、各画素２６ごとに被写体像のＲＧＢ信号を出力することができる。
【００２０】
次に、一実施の形態の被写体追尾動作を説明する。図５〜図８は一実施の形態の被写体追尾方法を説明するための図、図９〜図１１は一実施の形態の被写体追尾処理を示すフローチャートである。シャッターボタンを全押しして撮影を行うとき以外は、クイックリターンミラー５が図１に破線で示す撮影光路内に設定されており、撮影レンズ８から入射した被写体光は焦点板１１上に結像される。そして、焦点板１１上の被写体像はペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６へ導かれ、第２撮像素子１６から被写体像信号が繰り返し出力される。
【００２１】
図５および図６は、撮影者が接眼窓１５から視認する被写体像（ファインダー像）である。撮影レンズ８により焦点板１１上に結像された被写体像には、液晶表示素子１２により焦点検出エリアマークなどの情報が重畳表示され、ペンタダハプリズム１３および接眼レンズ１４を介して接眼窓１５へ導かれ、撮影者が被写体像を視認することができる。この一実施の形態では、撮影レンズ８の撮影画面４４内に４５個の焦点検出エリアが設定されており、液晶表示素子１２により焦点板１１上の被写体像にエリアマーク４５を重畳し、各焦点検出エリアの位置を表示する。操作部材２０の焦点検出エリア選択スイッチにより任意のエリアを選択すると、そのエリアのマーク４５が点灯表示される。
【００２２】
操作部材２０の焦点検出エリア選択スイッチによりいずれかの焦点検出エリアが選択され、この状態で操作部材２０のシャッターボタンが半押しされると、その焦点検出エリアが初回ＡＦエリアとしてメモリ１９ｄに記憶される。これにより、追尾対称の被写体が指定される。なお、ここでは撮影者が初回ＡＦエリアを選択して追尾対象の被写体を手動で指定する例を示したが、例えば自動的に被写体を認識する機能を備えたカメラでは被写体認識結果に基づいて初回ＡＦエリアおよび追尾対象被写体を設定してもよい。
【００２３】
ステップ１において、第２撮像素子１６により追尾初期画像（画像追尾処理を開始して最初に取得する画像）を取得する。この追尾初期画像は画素ごとにＲＧＢ値で表す。
Ｒ[ｘ,ｙ]、Ｇ[ｘ,ｙ]、Ｂ[ｘ,ｙ] ・・・（１）
この画素ごとのＲＧＢ値に基づいて各画素の色情報ＲＧ、ＢＧ、画像を取得したときの露光時間Ｔ、ゲインＧain、色合成係数Ｋｒ、Ｋｇ、Ｋｂから輝度情報Ｌを算出する。
ＲＧ[ｘ,ｙ]＝Log２（Ｒ[ｘ,ｙ]）−Log２（Ｇ[ｘ,ｙ]），
ＢＧ[ｘ,ｙ]＝Log２（Ｂ[ｘ,ｙ]）−Log２（Ｇ[ｘ,ｙ]），
Ｌ[ｘ,ｙ]＝Log２（Ｋｒ×Ｒ[ｘ,ｙ]＋Ｋｇ×Ｇ[ｘ,ｙ]＋Ｋｂ×Ｂ[ｘ,ｙ]）−Log２（Ｔ）−Log２（Ｇain） ・・・（２）
【００２４】
続くステップ２では、図１０に示す追尾制御初期処理を実行する。図１０のステップ１０１において、第２撮像素子１６で取得した追尾初期画像の中の初回ＡＦエリアの位置に対応する位置の画像を、被写体色情報として記憶する。ステップ１０２では、図７(ａ)に示すように、追尾初期画像の中の初回ＡＦエリアの位置周辺部において被写体色情報と同様な色情報を示す同色情報領域を検出し、続くステップ１０３で同色情報領域を初期の追尾被写体領域４７とする。
【００２５】
ステップ１０４において、追尾初期画像の中の追尾被写体領域４７の画像を画像追尾処理に用いるテンプレート画像４８（図７(ｂ)参照）としてメモリ１９ｄに記憶する。例えば、追尾被写体領域４７の始点位置が図７(ａ)に示すように(ｘ,ｙ)＝(４,５)の場合には、テンプレート画像４８の色情報は次のように表される。
ＲＧref[ｒｘ,ｒｙ]＝ＲＧ[ｘ,ｙ]、
ＢＧref[ｒｘ,ｒｙ]＝ＢＧ[ｘ,ｙ]、
Ｌref[ｒｘ,ｒｙ]＝Ｌ[ｘ,ｙ] （ｒｘ,ｒｙ＝１〜３、ｘ＝４〜６、ｙ＝５〜７） ・・・（３）
【００２６】
次に、ステップ１０５で追尾被写体領域４７を中心に前後左右に所定画素（ここでは２画素とする）づつ拡大した領域を探索領域４９に設定する。図７(ａ)に示す例では、探索領域４９は、ｘ＝２〜８、ｙ＝３〜９の領域になる。
【００２７】
追尾制御の初期処理が終了したら図８のステップ３へ進み、操作部材２０のシャッターボタンが全押しされたか否か、つまりシャッターレリーズ操作が行われたか否かを確認する。シャッターレリーズ操作がない場合はステップ４へ進み、第２撮像素子１６から追尾次画像を取得し、ステップ１の処理と同様に色情報ＲＧ[ｘ,ｙ]、ＢＧ[ｘ,ｙ]および輝度情報Ｌ[ｘ,ｙ]を算出し、メモリ１９ｄに記憶する。同時に、測距素子１０により、各焦
点検出エリアごとに焦点検出用の対の光像に応じた焦点検出信号を取得する。
【００２８】
ステップ５では、図１１に示す追尾演算処理を実行する。図１１のステップ２０１において、追尾次画像の中の探索領域４９からテンプレート画像４８と同じサイズの領域を順次切り出し、切り出した画像とテンプレート画像４８の対応する画素ごとに色情報の差分Ｄiffを算出する。図８(ａ)に太い破線で示すように、探索領域４９の中で１画素ずつ領
域をずらしながらテンプレート画像４８との色情報の差分Ｄiffを算出する。
【００２９】
今、図８(ａ)に示すように探索領域４９の始点位置が(scｘ,scｙ)＝(２,３)であるとすると、差分Ｄiffの演算は次のようにして行う。
Ｄiff[ｄｘ,ｄｙ]＝ΣΣ｛ＡＢＳ（ＲＧ[scｘ＋ｄｘ−１＋ｒｘ，scｙ＋ｄｙ−１＋ｒ
ｙ]−ＲＧref[ｒｘ,ｒｙ]）＋ＡＢＳ（ＢＧ[scｘ＋ｄｘ−１＋ｒｘ，scｙ＋ｄｙ−１＋ｒｙ]−ＢＧref[ｒｘ,ｒｙ]）＋ＡＢＳ（Ｌ[scｘ＋ｄｘ−１＋ｒｘ，scｙ＋ｄｙ−１＋ｒｙ]−Ｌref[ｒｘ,ｒｙ]）｝ ・・・（４）
（４）式において、ｄｘ，ｄｙ＝１〜５、ｒｘ，ｒｙ＝１〜３、scｘ＝２、scｙ＝３、ΣΣはｒｘ＝１〜３およびｒｙ＝１〜３の総和演算である。
【００３０】
次に、ステップ２０２において、差分Ｄiff[ｄｘ,ｄｙ]の中の最小の差分を検索し、探索領域４９内で最小の差分を算出したときの上記切り出し領域を新しい追尾被写体領域４７に決定する。ここでは、図８(ｂ)に示すように、始点位置が(ｘ,ｙ)＝(５,６)の切り出し領域を新しい追尾被写体領域４７とする。
【００３１】
ここで、新しく被写体領域４７に決定された画像情報を用いてテンプレート画像４８の画像情報を更新する処理を加えてもよい。その場合、例えば元のテンプレート画像４８の画像情報８０％に対して新被写体領域４７の画像情報２０％を加えることによって、テンプレート画像の情報に対して最新の画像情報が少しずつ更新され、追尾被写体の変化に追従しやすくなる。この場合、追尾演算のたびに毎回更新を行うのではなく、追尾被写体領域４７として決定した位置の差分Ｄiffの大きさに基づいて、あるしきい値より小さいと
きのみ更新するようにしてもよい。
【００３２】
ステップ２０３では、新しい追尾被写体領域４７を中心に前後左右に所定画素（ここでは２画素とする）づつ拡大した領域を新しい探索領域４９に設定する。ここでは、図８(
ｂ)に示すように、ｘ＝３〜９、ｙ＝４〜１０の領域を新しい探索領域４９とする。その
後、図９のステップ６へリターンする。
【００３３】
リターン後の図９のステップ６において、ステップ４にて取得した焦点検出信号に基づいて各選択焦点検出エリアの撮影レンズ８の焦点調節状態、すなわちデフォーカス量を検出する。続くステップ７では、すべての焦点検出エリアのデフォーカス量の中から、前回の焦点調節時に採用した焦点検出エリアのデフォーカス量に類似するデフォーカス量を示す焦点検出エリアを検索する。
【００３４】
ステップ８において、ステップ５における画像追尾結果の新追尾被写体領域と、ステップ６〜７におけるエリア検索結果の焦点検出エリアとに基づいて、焦点調節を行うエリアを決定する。この一実施の形態では、画像追尾結果の新追尾被写体領域４７に対応する焦点検出エリアと、エリア検索結果の焦点検出エリアとを比較し、画像追尾結果とエリア探索結果とに共通の焦点検出エリアを焦点調節を行うエリア（以下、焦点調節エリアという）に決定する。
【００３５】
具体的には、図５に示すように、画像追尾結果の新追尾被写体領域４７内またはその近傍にある焦点検出エリアの内のいずれかが、エリア探索結果の焦点検出エリアと一致した場合には、その一致した焦点検出エリアを上記焦点調節エリアに決定する。しかしこのとき、液晶表示素子１２により新追尾被写体領域４７の中央に最も近い焦点検出エリア４６のエリアマークを点灯表示する。この場合、追尾対象の被写体像５０の中央の焦点検出エリア４６が点灯表示される確率が高く、撮影者は追尾したい被写体をカメラが正確に追尾しているか否かを容易に確認することができる。
【００３６】
一方、図６に示すように、画像追尾結果の新追尾被写体領域４７内およびその近傍にある焦点検出エリアと、エリア検索結果の焦点検出エリアとが一致しなかった場合には、新追尾被写体領域４７内およびその近傍以外の位置にあるすべての焦点検出エリアで検出されたデフォーカス量の内、前回の焦点調節時に焦点調節を行った焦点検出エリアのデフォーカス量と類似するデフォーカス量を示す焦点検出エリアを焦点調節を行う焦点検出エリアに決定し、焦点調節を行うエリアに決定した焦点検出エリア４６のエリアマークを点灯表示する。この場合、撮影画面４４内のどの部分にピントを合わせるのかを明確に表示することができ、撮影者が追尾したい被写体をカメラが正確に追尾できているか否かを容易に確認することができる。
【００３７】
ここで、画像追尾結果の新追尾被写体領域４７とエリア検索結果の焦点検出エリアとが一致しない原因としては、以下に示す（１）、（２）の原因が考えられる。
【００３８】
（１） 上述したテンプレート差分演算結果の差分Ｄiff[ｄｘ,ｄｙ]が類似判定しきい値を超え、撮影した画像の中にテンプレート画像４８と類似する像が検出されなかった場合には、画像追尾により新追尾被写体領域４７を決定することができず、画像追尾結果の新追尾被写体領域４７とエリア検索結果の焦点検出エリアとが一致しない。この原因としては、追尾対象の被写体が別の被写体の陰になったり、追尾対象の被写体の向きが変わって、撮影画像の中からテンプレート画像４８と類似する像を検出できない場合が考えられる。
【００３９】
画像追尾機能により撮影画面内で追尾被写体領域４７が検出できない場合には、ＡＦ機能により検出されたデフォーカス量の内、前回の焦点調節時に焦点調節を行った焦点検出エリアのデフォーカス量と類似するデフォーカス量を示す焦点検出エリアを今回の焦点調節を行う焦点検出エリアに決定し、決定された焦点調節を行う焦点検出エリアのエリアマークを点灯表示する。これにより、図６に示すように、撮影画面４４内のどの部分にピン
トを合わせるのかを明確に表示することができ、撮影者が追尾したい被写体をカメラが正確に追尾できているか否かを容易に確認することができる。
【００４０】
（２） 新追尾被写体領域４７内のすべての焦点検出エリアにおいて、信頼性のあるデフォーカス量が検出できなかった場合、あるいは焦点検出不能になった場合には、新追尾被写体領域４７外の焦点検出エリアの内、前回の焦点調節時に採用した焦点検出エリアのデフォーカス量に類似するデフォーカス量を示す焦点検出エリアを検索することになり、画像追尾結果の新追尾被写体領域４７とエリア検索結果の焦点検出エリアとが一致しない。この原因としては、同じような色の被写体が背景にあったり、同じような被写体がいくつかあってテンプレート画像４８と類似する像を検出できるが、新追尾被写体領域４７内の焦点検出エリアのデフォーカス量が前回の焦点調節時に採用した焦点検出エリアのデフォーカス量と大きく異なる場合が考えられる。
【００４１】
新追尾被写体領域４７内およびその近傍にあるすべての焦点検出エリアでＡＦ機能による焦点検出が不能、または焦点検出結果の信頼性がない場合には、新追尾被写体領域４７内およびその近傍以外の位置にあるすべての焦点検出エリアで検出されたデフォーカス量の内、前回の焦点調節時に焦点調節を行った焦点検出エリアのデフォーカス量と類似するデフォーカス量を示す焦点検出エリアを焦点調節を行う焦点検出エリアに決定し、決定された焦点調節を行う焦点検出エリアのエリアマークを点灯表示する。これにより、図６に示すように、撮影画面４４内のどの部分にピントを合わせるのかを明確に表示することができ、撮影者が追尾したい被写体をカメラが正確に追尾できているか否かを容易に確認することができる。
【００４２】
図９のステップ９において、焦点調節エリアで検出されたデフォーカス量をレンズ駆動量に変換し、レンズ駆動制御装置２２によりフォーカシングレンズ８ｂを駆動して焦点調節を行う。焦点調節後のステップ３でレリーズボタンの全押しを確認する。シャッターボタンが半押しされている間、ステップ４〜９の処理を繰り返し実行し、シャッターボタンが全押しされるとステップ１０へ進み、撮影処理を実行する。
【００４３】
このように、一実施の形態によれば、撮影レンズ８による結像画像を第２撮像素子１６により取得し、追尾対象の像に関する基準画像と上記結像画像とに基づいて撮影画面内の追尾被写体領域を検出する画像追尾機能と、撮影画面内の複数の焦点検出エリアにおいて撮影レンズ８のデフォーカス量を検出するＡＦ機能とを備え、画像追尾機能による追尾被写体領域の検出結果とＡＦ機能によるデフォーカス量の検出結果とに基づいて、撮影レンズ８の焦点調節を行う焦点検出エリアを決定し、撮影レンズ８による結像画像上に焦点検出エリアのエリアマークを重畳して点灯表示する際に、決定された焦点調節を行う焦点検出エリアが追尾被写体領域内またはその近傍にある場合には、追尾被写体領域の中央に最も近い焦点検出エリアのエリアマークを点灯表示する。これにより、追尾対象の被写体像の中央の焦点検出エリアが点灯表示される確率が高く、撮影者は追尾したい被写体をカメラが正確に追尾しているか否かを容易に確認することができる。
【００４４】
一方、一実施の形態によれば、決定された焦点調節を行う焦点検出エリアが追尾被写体領域内およびその近傍にない場合には、焦点調節を行う焦点検出エリアのエリアマークを点灯表示する。これにより、撮影画面内のどの部分にピントを合わせるのかを明確に表示することができ、撮影者が追尾したい被写体をカメラが正確に追尾できているか否かを容易に確認することができる。
【符号の説明】
【００４５】
８ 撮影レンズ
１０ 測距素子
１６ 第２撮像素子
１９ ボディ駆動制御装置
１９ｄ メモリ
２２ レンズ駆動制御装置
【技術分野】
【０００１】
本発明は焦点検出装置および撮像装置に関する。
【背景技術】
【０００２】
撮影画面内に設定された複数の焦点検出エリアにおいて撮影レンズのデフォーカス量を検出し、いずれかのエリアのデフォーカス量に基づいて撮影レンズを合焦駆動する自動焦点調節（ＡＦ）機能と、撮影画像の中の追尾対象の被写体の画像をテンプレート画像（基準画像）として記憶し、繰り返し撮像される画像の中でテンプレート画像と同一または類似した画像の位置を検索しながら追尾対象の被写体を追尾する画像追尾機能とを備え、画像追尾結果の追尾位置の焦点検出エリアを選択してその焦点検出エリアのデフォーカス量により撮影レンズを合焦駆動するオートフォーカスシステムが知られている（例えば、この出願の発明に関連する先行技術文献としては次のものがある。特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−０５８４３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来のオートフォーカスシステムでは、画像追尾結果の追尾位置に複数の焦点検出エリアがある場合、どの焦点検出エリアを焦点調節を行うエリアに採用したのか、あるいは、画像追尾結果の追尾位置にある焦点検出エリアで焦点検出不能もしくは焦点検出結果の信頼性がない場合に、追尾位置以外のどの焦点検出エリアを焦点調節を行うエリアに採用したのか判らないので、対象とする被写体を正しく追尾しているのかどうかを認識することができなかった。
【課題を解決するための手段】
【０００５】
（１） 請求項１の発明は、結像光学系による画面内の画像情報を撮像素子により取得し、基準とする像に関する基準情報と画像情報とに基づいて画面内における対象の領域を検出する画像検出手段と、画面内に設定された複数の焦点検出位置における結像光学系の焦点調節状態を検出する焦点検出手段と、画像検出手段による対象の領域の検出結果と、焦点検出手段による焦点調節状態の検出結果とに基づいて、複数の焦点検出位置のいずれかを選択する選択手段と、画面上に焦点検出位置を重畳して表示する表示手段と、選択手段により選択された焦点検出位置が対象の領域内またはその近傍にある場合には、対象の領域の中央に最も近い焦点検出位置を表示手段に表示する制御手段とを備える。
（２） 請求項２の焦点検出装置は、制御手段によって、選択手段により選択された焦点検出位置が対象の領域内およびその近傍にない場合には、選択された焦点検出位置を表示手段に表示するようにしたものである。
（３） 請求項３の焦点検出装置は、選択手段によって、繰り返し前記選択を行うとともに、対象の領域内およびその近傍にある焦点検出位置のいずれに対しても焦点検出手段による焦点検出が不能、または焦点検出結果の信頼性がない場合には、対象の領域内およびその近傍以外の位置にある焦点検出位置に対して検出された焦点調節状態の内、前回選択した焦点検出位置に対する焦点調節状態と類似する焦点調節状態を示す焦点検出位置を選択し、制御手段によって、選択手段により選択された焦点検出位置を表示手段に表示するようにしたものである。
（４） 請求項４の焦点検出装置は、選択手段によって、繰り返し選択を行うとともに、画像検出手段により画面内で対象の領域が検出できない場合には、焦点検出手段により検出された焦点調節状態の内、前回選択した焦点検出位置に対する焦点調節状態と類似する
焦点調節状態を示す焦点検出位置を選択し、制御手段によって、選択手段により選択された焦点検出位置を表示手段に表示するようにしたものである。
（５） 請求項５の発明は、請求項１〜４のいずれか１項に記載の焦点検出装置を備えた撮像装置である。
【発明の効果】
【０００６】
本発明によれば、撮影者は追尾したい被写体をカメラが正確に追尾しているか否かを容易に確認することができる。
【図面の簡単な説明】
【０００７】
【図１】一実施の形態の画像追尾装置を備えた撮像装置の構成を示す図
【図２】ボディ駆動制御装置の詳細な構成を示す図
【図３】第２撮像素子の詳細な構成を示す正面図
【図４】第２撮像素子の画素の詳細図
【図５】ファインダー像を示す図
【図６】他のファインダー像を示す図
【図７】一実施の形態の被写体の追尾方法を説明する図
【図８】一実施の形態の被写体の追尾方法を説明する図
【図９】一実施の形態の被写体追尾動作を示すフローチャート
【図１０】一実施の形態の追尾制御の初期処理を示すフローチャート
【図１１】一実施の形態の追尾演算処理を示すフローチャート
【発明を実施するための形態】
【０００８】
撮影画面内に設定された複数の焦点検出エリアにおいて撮影レンズの焦点調節状態（この一実施の形態ではデフォーカス量）を検出し、いずれかのエリアのデフォーカス量に基づいて撮影レンズを合焦駆動する自動焦点調節（ＡＦ）機能と、撮影画像の中の追尾対象の被写体の画像をテンプレート画像（基準画像）として記憶し、繰り返し撮像される画像の中でテンプレート画像と同一または類似した画像の位置を検索しながら（テンプレートマッチング）追尾対象の被写体を追尾する画像追尾機能とを備え、ＡＦ機能と画像追尾機能により撮影レンズを駆動しながら対象を追尾する画像追尾装置を備えた撮像装置（一眼レフデジタルスチルカメラ）の一実施の形態を説明する。
【０００９】
図１は、一実施の形態の画像追尾装置を備えた撮像装置（一眼レフデジタルスチルカメラ）１の構成を示す。なお、図１では本願発明と直接関係のないカメラの機器および回路についての図示と説明を省略する。一実施の形態のカメラ１は、カメラ本体２に交換レンズ３が交換可能に装着される。カメラ本体２には被写体像を撮像して画像を記録するための第１撮像素子４が設けられる。この第１撮像素子４はＣＣＤやＣＭＯＳなどにより構成することができる。撮影時にはクイックリターンミラー５およびサブミラー６が実線で示す撮影光路外の位置に退避してシャッター７が開放され、撮影レンズ８により第１撮像素子４の受光面に被写体像が結像される。
【００１０】
カメラ本体２の底部には、撮影レンズ８の焦点調節状態を検出するための焦点検出光学系９と測距素子１０が設けられている。この一実施の形態では、瞳分割型位相差検出方式による焦点検出方法を採用した例を示す。焦点検出光学系９は、撮影レンズ８を通過した対の焦点検出用光束を測距素子１０の受光面へ導き、対の光像を結像させる。測距素子１０は例えば対のＣＣＤラインセンサーを備え、対の光像に応じた焦点検出信号を出力する。撮影前にはクイックリターンミラー５およびサブミラー６が破線で示すような撮影光路内の位置に設定されており、撮影レンズ８からの対の焦点検出用光束はクイックリターンミラー５のハーフミラー部を透過し、サブミラー６により反射されて焦点検出光学系９および測距素子１０へ導かれる。
【００１１】
カメラ本体２の上部にはファインダー光学系が設けられている。撮影前にはクイックリターンミラー５およびサブミラー６が破線で示す位置にあり、撮影レンズ８からの被写体光はクイックリターンミラー５に反射されて焦点板１１へ導かれ、焦点板１１上に被写体像が結像する。液晶表示素子１２は、焦点板１１上に結像された被写体像に焦点検出エリアマークなどの情報を重畳表示するとともに、被写体像外の位置に露出値などの種々の撮影情報を表示する。焦点板１１上の被写体像はペンタダハプリズム１３および接眼レンズ１４を介して接眼窓１５へ導かれ、撮影者が被写体像を視認することができる。
【００１２】
また、カメラ本体２上部のファインダー光学系には、被写体追尾や測光のために被写体像を撮像する第２撮像素子１６が設けられる。焦点板１１に結像した被写体像は、ペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６の受光面に再結像される。第２撮像素子１６は被写体像に応じた画像信号を出力する。撮影前に
焦点板１１上に結像された被写体像は、ペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６へ導かれ、第２撮像素子１６の受光面に被写体像が再結像される。詳細を後述するが、この第２撮像素子１６により撮像された被写体像に基づいて画像追尾制御と露出演算が行われる。
【００１３】
カメラ本体２にはまた、ボディ駆動制御装置１９、操作部材２０などが設けられる。ボディ駆動制御装置１９は、詳細を後述するマイクロコンピューターとメモリ、Ａ／Ｄ変換器などの周辺部品から構成され、カメラ１の種々の制御と演算を行う。操作部材２０には、シャッターボタン、焦点検出エリア選択スイッチ、撮影モード選択スイッチなどのカメラ１を操作するためのスイッチやセレクターが含まれる。
【００１４】
交換レンズ３には、ズーミングレンズ８ａ、フォーカシングレンズ８ｂ、絞り２１、レンズ駆動制御装置２２などが設けられる。なお、この一実施の形態では撮影レンズ８をズーミングレンズ８ａ、フォーカシングレンズ８ｂおよび絞り２１で体表的に表すが、撮影レンズ８の構成は図１に示す構成に限定されない。レンズ駆動制御装置２２は図示しないマイクロコンピューターとメモリ、駆動回路、アクチュエーターなどの周辺部品から構成され、レンズ８ａ、８ｂおよび絞り２１の駆動制御とそれらの設定位置検出を行う。レンズ駆動制御装置２２に内蔵されるメモリには、交換レンズ３の焦点距離や開放絞り値などの情報が記憶されている。
【００１５】
ボディ駆動制御装置１９とレンズ駆動制御装置２２はレンズマウント部の接点２３を介して通信を行い、ボディ駆動制御装置１９からレンズ駆動制御装置２２へレンズ駆動量や絞り値などの情報を送信し、レンズ駆動制御装置２２からボディ駆動制御装置１９へレンズ情報や絞り情報を送信する。モニター２４はカメラ本体２の背面に設けられ、スルー画や撮影画像の他に各種撮影情報を表示する。
【００１６】
図２はボディ駆動制御装置１９の詳細な構成を示す。なお、本願発明と直接関係のない制御機能については図示と説明を省略する。ボディ駆動制御装置１９は素子制御回路１９ａ、Ａ／Ｄ変換器１９ｂ、マイクロコンピューター１９ｃ、メモリ１９ｄなどを備えている。素子制御回路１９ａは第２撮像素子１６の電荷の蓄積と読み出しを制御する。Ａ／Ｄ変換器１９ｂは、第２撮像素子１６から出力されるアナログ画像信号をデジタル画像信号に変換する。マイクロコンピューター１９ｃは、ソフトウエア形態により追尾制御部１９ｅ、露出制御部１９ｆ、焦点検出演算部１９ｇおよびレンズ駆動量演算部１９ｈを構成する。メモリ１９ｄは、画像追尾用のテンプレート画像（基準画像）やデフォーカス量などの情報、あるいは撮影レンズ８の焦点距離、開放Ｆ値、絞り値、像ズレ量からデフォーカス量への変換係数などのレンズ情報を記憶する。
【００１７】
追尾制御部１９ｅは、第２撮像素子１６により撮像した被写体像の内、撮影者が手動で指定した追尾対象位置、あるいはカメラ１が自動で設定した追尾対象位置に対応する画像をテンプレート画像(基準画像）としてメモリ１９ｄに記憶させ、その後に繰り返し撮影
される画像の中からテンプレート画像と一致または類似する画像領域を検索することによって対象の位置を認識する。露出演算部１９ｆは、第２撮像素子１６により撮像した画像信号に基づいて露出値を演算する。
【００１８】
焦点検出演算部１９ｇは、測距素子１０から出力される対の光像に応じた焦点検出信号に基づいて撮影レンズ８の焦点調節状態、ここではデフォーカス量を検出する。なお、詳細を後述するが、撮影レンズ８の撮影画面内には複数の焦点検出エリアが設定されており、測距素子１０は焦点検出エリアごとに対の光像に応じた焦点検出信号を出力し、焦点検出演算部１９ｇは焦点検出エリアごとに対の光像に応じた焦点検出信号に基づいてデフォーカス量を検出する。レンズ駆動量演算部１９ｈは検出されたデフォーカス量をレンズ駆
動量に変換する。
【００１９】
図３は第２撮像素子１６の詳細な構成を示す正面図である。第２撮像素子１６は、マトリクス状に配列された複数の画素（光電変換素子）２６（ここでは横１６個×縦１２個＝１９２個）を備えている。各画素２６は図４に示すように３個の部分２６ａ、２６ｂ、２６ｃに分割され、これらの部分２６ａ、２６ｂ、２６ｃにはそれぞれ赤Ｒ、緑Ｇ、青Ｂの原色フィルターが設けられている。これにより、各画素２６ごとに被写体像のＲＧＢ信号を出力することができる。
【００２０】
次に、一実施の形態の被写体追尾動作を説明する。図５〜図８は一実施の形態の被写体追尾方法を説明するための図、図９〜図１１は一実施の形態の被写体追尾処理を示すフローチャートである。シャッターボタンを全押しして撮影を行うとき以外は、クイックリターンミラー５が図１に破線で示す撮影光路内に設定されており、撮影レンズ８から入射した被写体光は焦点板１１上に結像される。そして、焦点板１１上の被写体像はペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６へ導かれ、第２撮像素子１６から被写体像信号が繰り返し出力される。
【００２１】
図５および図６は、撮影者が接眼窓１５から視認する被写体像（ファインダー像）である。撮影レンズ８により焦点板１１上に結像された被写体像には、液晶表示素子１２により焦点検出エリアマークなどの情報が重畳表示され、ペンタダハプリズム１３および接眼レンズ１４を介して接眼窓１５へ導かれ、撮影者が被写体像を視認することができる。この一実施の形態では、撮影レンズ８の撮影画面４４内に４５個の焦点検出エリアが設定されており、液晶表示素子１２により焦点板１１上の被写体像にエリアマーク４５を重畳し、各焦点検出エリアの位置を表示する。操作部材２０の焦点検出エリア選択スイッチにより任意のエリアを選択すると、そのエリアのマーク４５が点灯表示される。
【００２２】
操作部材２０の焦点検出エリア選択スイッチによりいずれかの焦点検出エリアが選択され、この状態で操作部材２０のシャッターボタンが半押しされると、その焦点検出エリアが初回ＡＦエリアとしてメモリ１９ｄに記憶される。これにより、追尾対称の被写体が指定される。なお、ここでは撮影者が初回ＡＦエリアを選択して追尾対象の被写体を手動で指定する例を示したが、例えば自動的に被写体を認識する機能を備えたカメラでは被写体認識結果に基づいて初回ＡＦエリアおよび追尾対象被写体を設定してもよい。
【００２３】
ステップ１において、第２撮像素子１６により追尾初期画像（画像追尾処理を開始して最初に取得する画像）を取得する。この追尾初期画像は画素ごとにＲＧＢ値で表す。
Ｒ[ｘ,ｙ]、Ｇ[ｘ,ｙ]、Ｂ[ｘ,ｙ] ・・・（１）
この画素ごとのＲＧＢ値に基づいて各画素の色情報ＲＧ、ＢＧ、画像を取得したときの露光時間Ｔ、ゲインＧain、色合成係数Ｋｒ、Ｋｇ、Ｋｂから輝度情報Ｌを算出する。
ＲＧ[ｘ,ｙ]＝Log２（Ｒ[ｘ,ｙ]）−Log２（Ｇ[ｘ,ｙ]），
ＢＧ[ｘ,ｙ]＝Log２（Ｂ[ｘ,ｙ]）−Log２（Ｇ[ｘ,ｙ]），
Ｌ[ｘ,ｙ]＝Log２（Ｋｒ×Ｒ[ｘ,ｙ]＋Ｋｇ×Ｇ[ｘ,ｙ]＋Ｋｂ×Ｂ[ｘ,ｙ]）−Log２（Ｔ）−Log２（Ｇain） ・・・（２）
【００２４】
続くステップ２では、図１０に示す追尾制御初期処理を実行する。図１０のステップ１０１において、第２撮像素子１６で取得した追尾初期画像の中の初回ＡＦエリアの位置に対応する位置の画像を、被写体色情報として記憶する。ステップ１０２では、図７(ａ)に示すように、追尾初期画像の中の初回ＡＦエリアの位置周辺部において被写体色情報と同様な色情報を示す同色情報領域を検出し、続くステップ１０３で同色情報領域を初期の追尾被写体領域４７とする。
【００２５】
ステップ１０４において、追尾初期画像の中の追尾被写体領域４７の画像を画像追尾処理に用いるテンプレート画像４８（図７(ｂ)参照）としてメモリ１９ｄに記憶する。例えば、追尾被写体領域４７の始点位置が図７(ａ)に示すように(ｘ,ｙ)＝(４,５)の場合には、テンプレート画像４８の色情報は次のように表される。
ＲＧref[ｒｘ,ｒｙ]＝ＲＧ[ｘ,ｙ]、
ＢＧref[ｒｘ,ｒｙ]＝ＢＧ[ｘ,ｙ]、
Ｌref[ｒｘ,ｒｙ]＝Ｌ[ｘ,ｙ] （ｒｘ,ｒｙ＝１〜３、ｘ＝４〜６、ｙ＝５〜７） ・・・（３）
【００２６】
次に、ステップ１０５で追尾被写体領域４７を中心に前後左右に所定画素（ここでは２画素とする）づつ拡大した領域を探索領域４９に設定する。図７(ａ)に示す例では、探索領域４９は、ｘ＝２〜８、ｙ＝３〜９の領域になる。
【００２７】
追尾制御の初期処理が終了したら図８のステップ３へ進み、操作部材２０のシャッターボタンが全押しされたか否か、つまりシャッターレリーズ操作が行われたか否かを確認する。シャッターレリーズ操作がない場合はステップ４へ進み、第２撮像素子１６から追尾次画像を取得し、ステップ１の処理と同様に色情報ＲＧ[ｘ,ｙ]、ＢＧ[ｘ,ｙ]および輝度情報Ｌ[ｘ,ｙ]を算出し、メモリ１９ｄに記憶する。同時に、測距素子１０により、各焦
点検出エリアごとに焦点検出用の対の光像に応じた焦点検出信号を取得する。
【００２８】
ステップ５では、図１１に示す追尾演算処理を実行する。図１１のステップ２０１において、追尾次画像の中の探索領域４９からテンプレート画像４８と同じサイズの領域を順次切り出し、切り出した画像とテンプレート画像４８の対応する画素ごとに色情報の差分Ｄiffを算出する。図８(ａ)に太い破線で示すように、探索領域４９の中で１画素ずつ領
域をずらしながらテンプレート画像４８との色情報の差分Ｄiffを算出する。
【００２９】
今、図８(ａ)に示すように探索領域４９の始点位置が(scｘ,scｙ)＝(２,３)であるとすると、差分Ｄiffの演算は次のようにして行う。
Ｄiff[ｄｘ,ｄｙ]＝ΣΣ｛ＡＢＳ（ＲＧ[scｘ＋ｄｘ−１＋ｒｘ，scｙ＋ｄｙ−１＋ｒ
ｙ]−ＲＧref[ｒｘ,ｒｙ]）＋ＡＢＳ（ＢＧ[scｘ＋ｄｘ−１＋ｒｘ，scｙ＋ｄｙ−１＋ｒｙ]−ＢＧref[ｒｘ,ｒｙ]）＋ＡＢＳ（Ｌ[scｘ＋ｄｘ−１＋ｒｘ，scｙ＋ｄｙ−１＋ｒｙ]−Ｌref[ｒｘ,ｒｙ]）｝ ・・・（４）
（４）式において、ｄｘ，ｄｙ＝１〜５、ｒｘ，ｒｙ＝１〜３、scｘ＝２、scｙ＝３、ΣΣはｒｘ＝１〜３およびｒｙ＝１〜３の総和演算である。
【００３０】
次に、ステップ２０２において、差分Ｄiff[ｄｘ,ｄｙ]の中の最小の差分を検索し、探索領域４９内で最小の差分を算出したときの上記切り出し領域を新しい追尾被写体領域４７に決定する。ここでは、図８(ｂ)に示すように、始点位置が(ｘ,ｙ)＝(５,６)の切り出し領域を新しい追尾被写体領域４７とする。
【００３１】
ここで、新しく被写体領域４７に決定された画像情報を用いてテンプレート画像４８の画像情報を更新する処理を加えてもよい。その場合、例えば元のテンプレート画像４８の画像情報８０％に対して新被写体領域４７の画像情報２０％を加えることによって、テンプレート画像の情報に対して最新の画像情報が少しずつ更新され、追尾被写体の変化に追従しやすくなる。この場合、追尾演算のたびに毎回更新を行うのではなく、追尾被写体領域４７として決定した位置の差分Ｄiffの大きさに基づいて、あるしきい値より小さいと
きのみ更新するようにしてもよい。
【００３２】
ステップ２０３では、新しい追尾被写体領域４７を中心に前後左右に所定画素（ここでは２画素とする）づつ拡大した領域を新しい探索領域４９に設定する。ここでは、図８(
ｂ)に示すように、ｘ＝３〜９、ｙ＝４〜１０の領域を新しい探索領域４９とする。その
後、図９のステップ６へリターンする。
【００３３】
リターン後の図９のステップ６において、ステップ４にて取得した焦点検出信号に基づいて各選択焦点検出エリアの撮影レンズ８の焦点調節状態、すなわちデフォーカス量を検出する。続くステップ７では、すべての焦点検出エリアのデフォーカス量の中から、前回の焦点調節時に採用した焦点検出エリアのデフォーカス量に類似するデフォーカス量を示す焦点検出エリアを検索する。
【００３４】
ステップ８において、ステップ５における画像追尾結果の新追尾被写体領域と、ステップ６〜７におけるエリア検索結果の焦点検出エリアとに基づいて、焦点調節を行うエリアを決定する。この一実施の形態では、画像追尾結果の新追尾被写体領域４７に対応する焦点検出エリアと、エリア検索結果の焦点検出エリアとを比較し、画像追尾結果とエリア探索結果とに共通の焦点検出エリアを焦点調節を行うエリア（以下、焦点調節エリアという）に決定する。
【００３５】
具体的には、図５に示すように、画像追尾結果の新追尾被写体領域４７内またはその近傍にある焦点検出エリアの内のいずれかが、エリア探索結果の焦点検出エリアと一致した場合には、その一致した焦点検出エリアを上記焦点調節エリアに決定する。しかしこのとき、液晶表示素子１２により新追尾被写体領域４７の中央に最も近い焦点検出エリア４６のエリアマークを点灯表示する。この場合、追尾対象の被写体像５０の中央の焦点検出エリア４６が点灯表示される確率が高く、撮影者は追尾したい被写体をカメラが正確に追尾しているか否かを容易に確認することができる。
【００３６】
一方、図６に示すように、画像追尾結果の新追尾被写体領域４７内およびその近傍にある焦点検出エリアと、エリア検索結果の焦点検出エリアとが一致しなかった場合には、新追尾被写体領域４７内およびその近傍以外の位置にあるすべての焦点検出エリアで検出されたデフォーカス量の内、前回の焦点調節時に焦点調節を行った焦点検出エリアのデフォーカス量と類似するデフォーカス量を示す焦点検出エリアを焦点調節を行う焦点検出エリアに決定し、焦点調節を行うエリアに決定した焦点検出エリア４６のエリアマークを点灯表示する。この場合、撮影画面４４内のどの部分にピントを合わせるのかを明確に表示することができ、撮影者が追尾したい被写体をカメラが正確に追尾できているか否かを容易に確認することができる。
【００３７】
ここで、画像追尾結果の新追尾被写体領域４７とエリア検索結果の焦点検出エリアとが一致しない原因としては、以下に示す（１）、（２）の原因が考えられる。
【００３８】
（１） 上述したテンプレート差分演算結果の差分Ｄiff[ｄｘ,ｄｙ]が類似判定しきい値を超え、撮影した画像の中にテンプレート画像４８と類似する像が検出されなかった場合には、画像追尾により新追尾被写体領域４７を決定することができず、画像追尾結果の新追尾被写体領域４７とエリア検索結果の焦点検出エリアとが一致しない。この原因としては、追尾対象の被写体が別の被写体の陰になったり、追尾対象の被写体の向きが変わって、撮影画像の中からテンプレート画像４８と類似する像を検出できない場合が考えられる。
【００３９】
画像追尾機能により撮影画面内で追尾被写体領域４７が検出できない場合には、ＡＦ機能により検出されたデフォーカス量の内、前回の焦点調節時に焦点調節を行った焦点検出エリアのデフォーカス量と類似するデフォーカス量を示す焦点検出エリアを今回の焦点調節を行う焦点検出エリアに決定し、決定された焦点調節を行う焦点検出エリアのエリアマークを点灯表示する。これにより、図６に示すように、撮影画面４４内のどの部分にピン
トを合わせるのかを明確に表示することができ、撮影者が追尾したい被写体をカメラが正確に追尾できているか否かを容易に確認することができる。
【００４０】
（２） 新追尾被写体領域４７内のすべての焦点検出エリアにおいて、信頼性のあるデフォーカス量が検出できなかった場合、あるいは焦点検出不能になった場合には、新追尾被写体領域４７外の焦点検出エリアの内、前回の焦点調節時に採用した焦点検出エリアのデフォーカス量に類似するデフォーカス量を示す焦点検出エリアを検索することになり、画像追尾結果の新追尾被写体領域４７とエリア検索結果の焦点検出エリアとが一致しない。この原因としては、同じような色の被写体が背景にあったり、同じような被写体がいくつかあってテンプレート画像４８と類似する像を検出できるが、新追尾被写体領域４７内の焦点検出エリアのデフォーカス量が前回の焦点調節時に採用した焦点検出エリアのデフォーカス量と大きく異なる場合が考えられる。
【００４１】
新追尾被写体領域４７内およびその近傍にあるすべての焦点検出エリアでＡＦ機能による焦点検出が不能、または焦点検出結果の信頼性がない場合には、新追尾被写体領域４７内およびその近傍以外の位置にあるすべての焦点検出エリアで検出されたデフォーカス量の内、前回の焦点調節時に焦点調節を行った焦点検出エリアのデフォーカス量と類似するデフォーカス量を示す焦点検出エリアを焦点調節を行う焦点検出エリアに決定し、決定された焦点調節を行う焦点検出エリアのエリアマークを点灯表示する。これにより、図６に示すように、撮影画面４４内のどの部分にピントを合わせるのかを明確に表示することができ、撮影者が追尾したい被写体をカメラが正確に追尾できているか否かを容易に確認することができる。
【００４２】
図９のステップ９において、焦点調節エリアで検出されたデフォーカス量をレンズ駆動量に変換し、レンズ駆動制御装置２２によりフォーカシングレンズ８ｂを駆動して焦点調節を行う。焦点調節後のステップ３でレリーズボタンの全押しを確認する。シャッターボタンが半押しされている間、ステップ４〜９の処理を繰り返し実行し、シャッターボタンが全押しされるとステップ１０へ進み、撮影処理を実行する。
【００４３】
このように、一実施の形態によれば、撮影レンズ８による結像画像を第２撮像素子１６により取得し、追尾対象の像に関する基準画像と上記結像画像とに基づいて撮影画面内の追尾被写体領域を検出する画像追尾機能と、撮影画面内の複数の焦点検出エリアにおいて撮影レンズ８のデフォーカス量を検出するＡＦ機能とを備え、画像追尾機能による追尾被写体領域の検出結果とＡＦ機能によるデフォーカス量の検出結果とに基づいて、撮影レンズ８の焦点調節を行う焦点検出エリアを決定し、撮影レンズ８による結像画像上に焦点検出エリアのエリアマークを重畳して点灯表示する際に、決定された焦点調節を行う焦点検出エリアが追尾被写体領域内またはその近傍にある場合には、追尾被写体領域の中央に最も近い焦点検出エリアのエリアマークを点灯表示する。これにより、追尾対象の被写体像の中央の焦点検出エリアが点灯表示される確率が高く、撮影者は追尾したい被写体をカメラが正確に追尾しているか否かを容易に確認することができる。
【００４４】
一方、一実施の形態によれば、決定された焦点調節を行う焦点検出エリアが追尾被写体領域内およびその近傍にない場合には、焦点調節を行う焦点検出エリアのエリアマークを点灯表示する。これにより、撮影画面内のどの部分にピントを合わせるのかを明確に表示することができ、撮影者が追尾したい被写体をカメラが正確に追尾できているか否かを容易に確認することができる。
【符号の説明】
【００４５】
８ 撮影レンズ
１０ 測距素子
１６ 第２撮像素子
１９ ボディ駆動制御装置
１９ｄ メモリ
２２ レンズ駆動制御装置
【特許請求の範囲】
【請求項１】
結像光学系による画面内の画像情報を撮像素子により取得し、基準とする像に関する基準情報と前記画像情報とに基づいて前記画面内における前記対象の領域を検出する画像検出手段と、
前記画面内に設定された複数の焦点検出位置における前記結像光学系の焦点調節状態を検出する焦点検出手段と、
前記画像検出手段による前記対象の領域の検出結果と、前記焦点検出手段による焦点調節状態の検出結果とに基づいて、前記複数の焦点検出位置のいずれかを選択する選択手段と、
前記画面上に前記焦点検出位置を重畳して表示する表示手段と、
前記選択手段により選択された前記焦点検出位置が前記対象の領域内またはその近傍にある場合には、前記対象の領域の中央に最も近い前記焦点検出位置を前記表示手段に表示する制御手段とを備えることを特徴とする焦点検出装置。
【請求項２】
請求項１に記載の焦点検出装置において、
前記制御手段は、前記選択手段により選択された前記焦点検出位置が前記対象の領域内およびその近傍にない場合には、前記選択された焦点検出位置を前記表示手段に表示することを特徴とする焦点検出装置。
【請求項３】
請求項２に記載の焦点検出装置において、
前記選択手段は、繰り返し前記選択を行うとともに、前記対象の領域内およびその近傍にある前記焦点検出位置のいずれに対しても前記焦点検出手段による焦点検出が不能、または焦点検出結果の信頼性がない場合には、前記対象の領域内およびその近傍以外の位置にある前記焦点検出位置に対して検出された焦点調節状態の内、前回選択した焦点検出位置に対する焦点調節状態と類似する焦点調節状態を示す前記焦点検出位置を選択し、
前記制御手段は、前記選択手段により選択された前記焦点検出位置を前記表示手段に表示することを特徴とする焦点検出装置。
【請求項４】
請求項１に記載の焦点検出装置において、
前記選択手段は、繰り返し前記選択を行うとともに、前記画像検出手段により前記画面内で前記対象の領域が検出できない場合には、前記焦点検出手段により検出された焦点調節状態の内、前回選択した焦点検出位置に対する焦点調節状態と類似する焦点調節状態を示す前記焦点検出位置を選択し、
前記制御手段は、前記選択手段により選択された前記焦点検出位置を前記表示手段に表示することを特徴とする焦点検出装置。
【請求項５】
請求項１〜４のいずれか１項に記載の焦点検出装置を備えることを特徴とする撮像装置。
【請求項１】
結像光学系による画面内の画像情報を撮像素子により取得し、基準とする像に関する基準情報と前記画像情報とに基づいて前記画面内における前記対象の領域を検出する画像検出手段と、
前記画面内に設定された複数の焦点検出位置における前記結像光学系の焦点調節状態を検出する焦点検出手段と、
前記画像検出手段による前記対象の領域の検出結果と、前記焦点検出手段による焦点調節状態の検出結果とに基づいて、前記複数の焦点検出位置のいずれかを選択する選択手段と、
前記画面上に前記焦点検出位置を重畳して表示する表示手段と、
前記選択手段により選択された前記焦点検出位置が前記対象の領域内またはその近傍にある場合には、前記対象の領域の中央に最も近い前記焦点検出位置を前記表示手段に表示する制御手段とを備えることを特徴とする焦点検出装置。
【請求項２】
請求項１に記載の焦点検出装置において、
前記制御手段は、前記選択手段により選択された前記焦点検出位置が前記対象の領域内およびその近傍にない場合には、前記選択された焦点検出位置を前記表示手段に表示することを特徴とする焦点検出装置。
【請求項３】
請求項２に記載の焦点検出装置において、
前記選択手段は、繰り返し前記選択を行うとともに、前記対象の領域内およびその近傍にある前記焦点検出位置のいずれに対しても前記焦点検出手段による焦点検出が不能、または焦点検出結果の信頼性がない場合には、前記対象の領域内およびその近傍以外の位置にある前記焦点検出位置に対して検出された焦点調節状態の内、前回選択した焦点検出位置に対する焦点調節状態と類似する焦点調節状態を示す前記焦点検出位置を選択し、
前記制御手段は、前記選択手段により選択された前記焦点検出位置を前記表示手段に表示することを特徴とする焦点検出装置。
【請求項４】
請求項１に記載の焦点検出装置において、
前記選択手段は、繰り返し前記選択を行うとともに、前記画像検出手段により前記画面内で前記対象の領域が検出できない場合には、前記焦点検出手段により検出された焦点調節状態の内、前回選択した焦点検出位置に対する焦点調節状態と類似する焦点調節状態を示す前記焦点検出位置を選択し、
前記制御手段は、前記選択手段により選択された前記焦点検出位置を前記表示手段に表示することを特徴とする焦点検出装置。
【請求項５】
請求項１〜４のいずれか１項に記載の焦点検出装置を備えることを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−９３７７５（Ｐ２０１２−９３７７５Ａ）
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願番号】特願２０１１−２７３３７５（Ｐ２０１１−２７３３７５）
【出願日】平成２３年１２月１４日（２０１１．１２．１４）
【分割の表示】特願２００７−１６９９１７（Ｐ２００７−１６９９１７）の分割
【原出願日】平成１９年６月２８日（２００７．６．２８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願日】平成２３年１２月１４日（２０１１．１２．１４）
【分割の表示】特願２００７−１６９９１７（Ｐ２００７−１６９９１７）の分割
【原出願日】平成１９年６月２８日（２００７．６．２８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]