画像認識装置および撮像装置
【課題】画像による対象追尾精度の低下を防止する。
【解決手段】光学系３により結像された画像を撮像手段１４により撮像し、撮像手段１４による画像における対象の像を基準画像として設定するとともに、撮像手段１４によって繰り返し得られる画像において基準画像に対応する画像を認識する。また、焦点検出手段８により、光学系３の射出瞳の異なる領域を通過した対の光束による像を対の受光部で受光して、対の受光部の出力の相関を演算して光学系の焦点調節状態を検出する。そして、対の受光部の内のいずれか一方において異なる時刻に得られた出力どうしの相関を演算し、対象の大きさの変化を検出するとともに、検出された対象の大きさの変化に応じて基準画像を変更する。
【解決手段】光学系３により結像された画像を撮像手段１４により撮像し、撮像手段１４による画像における対象の像を基準画像として設定するとともに、撮像手段１４によって繰り返し得られる画像において基準画像に対応する画像を認識する。また、焦点検出手段８により、光学系３の射出瞳の異なる領域を通過した対の光束による像を対の受光部で受光して、対の受光部の出力の相関を演算して光学系の焦点調節状態を検出する。そして、対の受光部の内のいずれか一方において異なる時刻に得られた出力どうしの相関を演算し、対象の大きさの変化を検出するとともに、検出された対象の大きさの変化に応じて基準画像を変更する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像追尾装置と撮像装置に関する。
【背景技術】
【０００２】
撮影画像の中から基準画像に合致する位置をパターンマッチングにより検出し、検出位置をＡＦの対象位置として対象被写体を追尾するとともに、追尾した対象被写体の画像に基づいて基準画像を更新するようにしたオートフォーカスシステムが知られている（例えば、特許文献１参照）。
【０００３】
この出願の発明に関連する先行技術文献としては次のものがある。
【特許文献１】特開２００６−０５８４３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の装置では、対象被写体自身のカメラへの接近、カメラからの遠ざかり、あるいはズーミングに応じて撮影画面内の対象被写体の大きさが変化すると、画像による追尾精度が低下するという問題がある。
【課題を解決するための手段】
【０００５】
（１） 請求項１の発明は、光学系により結像された画像を撮像する撮像手段と、撮像手段による画像における対象の像を基準画像として設定する設定手段と、撮像手段によって繰り返し得られる画像において基準画像に対応する画像を認識する認識手段と、光学系の射出瞳の異なる領域を通過した対の光束による像を対の受光部で受光し、対の受光部の出力の相関を演算して光学系の焦点調節状態を検出する焦点検出手段と、対の受光部の内のいずれか一方において異なる時刻に得られた出力どうしの相関を演算し、対象の大きさの変化を検出する対象変化検出手段と、対象変化検出手段により検出された対象の大きさの変化に応じて基準画像を変更する変更手段とを備える。
（２） 請求項２の画像認識装置は、焦点検出手段によって、光学系による画面内に設定された複数の測距点のそれぞれについて対の受光部の出力の相関を演算して光学系の焦点調節状態を検出し、対象変化検出手段によって、複数の測距点に対する対の受光部の内のいずれか一方の出力どうしの相関を演算して対象の位置の変化を検出し、変更手段によって、対象変化検出手段により検出された対象の位置の変化に応じて基準画像を変更するようにしたものである。
（３） 請求項３の画像認識装置は、焦点検出手段により検出された焦点調節状態が合焦状態に最も近い前記測距点の位置と、認識手段によって認識された画像の位置とが一致しているか否かを判定する位置判定手段と、認識手段によって認識された画像と基準画像との類似度を判定する類似度判定手段とを備え、変更手段によって、位置判定手段により焦点調節状態が合焦状態に最も近い測距点の位置と認識された画像の位置とが一致していると判定され、かつ、類似度判定手段により類似度が高いと判定された場合は、基準画像の変更を禁止するようにしたものである。
（４） 請求項４の画像認識装置は、変更手段によって、位置判定手段により焦点調節状態が合焦状態に最も近い測距点の位置と認識された画像の位置とが一致していると判定され、かつ、類似度判定手段により類似度が低いと判定された場合には、対象変化検出手段により検出された対象の大きさの変化に応じて基準画像を変更するようにしたものである。
（５） 請求項５の画像認識装置は、変更手段によって、位置判定手段により焦点調節状態が合焦状態に最も近い測距点の位置と認識された画像の位置とが一致していないと判定され、かつ、類似度判定手段により類似度が高いと判定された場合は、認識手段により認識された画像の位置の画像により基準画像を変更するようにしたものである。
（６） 請求項６の画像認識装置は、変更手段によって、位置判定手段により焦点調節状態が合焦状態に最も近い測距点の位置と認識された画像の位置とが一致していないと判定され、かつ、類似度判定手段により類似度が低いと判定された場合は、対象変化検出手段により検出された対象の大きさと位置の変化に応じて基準画像を変更するようにしたものである。
（７） 請求項７の発明は、請求項１〜６のいずれか１項に記載の画像認識装置を備える撮像装置である。
【発明の効果】
【０００６】
本発明によれば、画像による対象追尾精度の低下を防止することができる。
【発明を実施するための最良の形態】
【０００７】
図１は一実施の形態の全体構成を示す図である。一実施の形態の一眼レフ・デジタルカメラは、カメラボディ１にレンズ鏡筒２が装着されている。レンズ鏡筒２にはフォーカシングレンズ３が内蔵されており、フォーカシングモーター４により駆動されて焦点調節が行われる。
【０００８】
一方、カメラボディ１には撮像素子５、メインミラー６、サブミラー７、焦点検出センサー８、スクリーン９、ペンタプリズム１０、接眼レンズ１１、ミラー１２、測光レンズ１３、測光センサー１４、制御装置１５などが設けられている。
【０００９】
撮像素子５はＣＣＤやＣＭＯＳなどから構成され、フォーカシングレンズ３により結像された被写体像を撮像して画像信号を出力する。焦点検出センサー８は詳細を後述する焦点検出光学系と受光センサーを内蔵しており、フォーカシングレンズ３の瞳面上の異なる領域を通過した対の光束により結像される対の像のズレ量を検出する。後述する制御装置１５は、焦点検出センサー８により検出されたズレ量をフォーカシングレンズ３のデフォーカス量に変換し、フォーカシングモーター４を駆動制御して焦点調節を行う。
【００１０】
測光センサー１４は、スクリーン９上に結像された被写体像をペンタプリズム１０、ミラー１２および測光レンズ１３を介して受光し、画像追尾用および測光用の画像を撮像する。この測光センサー１４については詳細を後述する。制御装置１５はマイクロコンピューターとメモリなどの周辺部品から構成され、カメラのシーケンス制御と各種演算を行うとともに、後述する制御プログラムを実行して画像追尾制御を行う。
【００１１】
次に、基本的なカメラの動作を説明する。シャッターボタン（不図示）が半押しされると、フォーカシングレンズ３を透過した被写体からの光束は撮影光路中に設定されるメインミラー６とサブミラー７を介して焦点検出センサー８へ導かれ、焦点検出センサー８によりフォーカシングレンズ３の焦点調節状態、すなわちデフォーカス量が検出される。
【００１２】
シャッターボタンの半押し時にはまた、フォーカシングレンズ３を透過した被写体光がメインミラー６を介してスクリーン９に導かれ、スクリーン９上に被写体像が結像される。この被写体像はペンタプリズム１０、ミラー１２および測光レンズ１３を介して測光センサー１４へ導かれ、測光センサー１４により被写体像が撮像される。
【００１３】
シャッターボタンが全押しされると、メインミラー６およびサブミラー７が撮影光路から退避され、フォーカシングレンズ３を透過した被写体光が撮像素子５へ導かれ、撮像素子５の受光面に被写体像が結像される。撮像素子５は被写体像を撮像して画像信号を出力し、図示しない画像記録媒体に被写体像が記録される。
【００１４】
図２は測光センサー１４の画素配置とエリア指標の位置関係を示す正面図である。測光センサー１４はＣＣＤやＣＭＯＳなどから構成され、７７個の画素がＸ軸方向（横方向）に１１個、Ｙ軸方向（縦方向）に７個の二次元状に配列される。各画素は図２(ｂ)に示すように３個の受光部に分割され、それぞれ赤Ｒ、緑Ｇおよび青Ｂの色フィルターが設けられてＲＧＢ信号を出力する。
【００１５】
それぞれの画素は(Ｘ，Ｙ)アドレスによりＥ(1.1)〜Ｅ(11,7)として識別される。図２(ａ)において、Ａ11〜Ａ53は撮影画面内の焦点検出位置を示すエリア指標であり、スクリーン９の近傍に設けられるＬＣＤ表示器９ａ（図１参照）によりスクリーン９上の被写体像（ファインダー像）に重畳して表示される。図２(ａ)では、測光センサー１４の各画素Ｅ(1.1)〜Ｅ(11,7)とエリア指標Ａ11〜Ａ53の位置関係を示す。
【００１６】
例えば、エリア指標Ａ32には画素Ｅ(6,4)が対応し、その隣のエリア指標Ａ42には画素Ｅ(8,4)が対応している。これらの画素Ｅ(6,4)と画素Ｅ(8,4)の間には別の画素Ｅ(7,4)が存在する。
【００１７】
測光センサー１４は焦点検出センサー８に比べ画素が大きく、撮影画面の大部分の色や輝度を検出できる。しかしその反面、検出できる色や輝度パターンは大局的になる。なお、測光センサー１４の画素数と画素配列、エリア指標の数と配置はこの一実施の形態に限定されない。
【００１８】
図３は焦点検出センサー８の構成を示す図である。焦点検出センサー８は、コンデンサーレンズ２１、絞りマスク２２およびセパレーターレンズ２３からなる焦点検出光学系と、ラインセンサーＬＡ、ＬＢを備えている。焦点検出光学系２１〜２３は、フォーカシングレンズ３の射出瞳面３ａの異なる領域を通過した対の光束によりラインセンサーＬＡ、ＬＢ上に対の被写体像を結像し、ラインセンサーＬＡ、ＬＢは対の被写体像に応じた対の像信号を出力する。制御装置１５は、ラインセンサーＬＡ、ＬＢからの対の像信号の位相差を検出して対の像のズレ量を求め、ズレ量をデフォーカス量に換算する。
【００１９】
図４(ａ)は撮影画面上の焦点検出範囲を示し、図４(ｂ)は焦点検出センサー８のラインセンサーの配置を示す。図４(ａ)において、Ｌ51〜Ｌ53、Ｌ61〜Ｌ63、Ｌ71〜Ｌ73は撮影画面の一部の領域における焦点検出範囲を示す。例えば、上述したエリア指標Ａ32の中央には焦点検出範囲Ｌ62が対応し、隣のエリア指標Ａ42（図２参照）との間には焦点検出範囲Ｌ72が存在する。
【００２０】
図３では、焦点検出センサー８のラインセンサーを１対のラインセンサーＬＡ、ＬＢで代表的に示したが、ラインセンサーは図４(ｂ)に示すように１１対のラインセンサー(ＬＡ1,ＬＢ1)、(ＬＡ2,ＬＢ2)、・・・、(ＬＡ11,ＬＢ11)により構成される。これらの各対のラインセンサー(ＬＡn,ＬＢn)（ｎ＝１〜１１）はそれぞれ、図４(ａ)に示す焦点検出範囲Ｌn1〜Ｌn3（ｎ＝１〜１１）に対応して３つの領域に区分される。
【００２１】
例えば、ラインセンサーＬＡ6は焦点検出範囲Ｌ61〜Ｌ63に対応してラインセンサーＬＡ61〜ＬＡ63に区分され、ラインセンサーＬＢ6は焦点検出範囲Ｌ61〜Ｌ63に対応してラインセンサーＬＢ61〜ＬＢ63に区分される。そして、対のラインセンサーＬＡ6とＬＢ6の出力に基づいて焦点検出範囲Ｌ６（図４(ａ)参照、Ｌ61〜Ｌ63）におけるデフォーカス量を検出する。
【００２２】
焦点検出センサー８のラインセンサーＬＡn、ＬＢnを撮影画面上に換算すると、焦点検出画素の大きさは、測光センサー１４の画素に比べて小さい。このため、焦点検出センサー８のラインセンサーＬＡn、ＬＢnでは微細な輝度パターンを識別することができる。
【００２３】
基本的に１つのエリア指標Ａ32に対して１つの焦点検出範囲Ｌ62だけでも焦点検出は可能であるが、ラインセンサーではエリア指標どうしの間で大きな不感帯が生じるため、これを補う目的でエリア指標の間にもう１つの焦点検出範囲を設けている。しかし、これでも画素の小さいラインセンサーでは、検出できる輝度パターンの範囲が撮影画面全体に対して局所的となる。
【００２４】
図５〜図６は一実施の形態の動作を説明するための図であり、図７〜図８は一実施の形態の動作を示すフローチャートである。これらの図により、一実施の形態の動作を説明する。
【００２５】
《時刻Ｔ０》図７のステップ００１において、ユーザーがエリア指標Ａ22（図２参照）を選択してシャッターボタン（不図示）を半押しすると、エリア指標Ａ22の位置にある被写体が追尾対象としてロックオンされる。続くステップ００２では、焦点検出センサー８によりすべての輝度パターン検出範囲Ｌ１〜Ｌ１１の輝度パターンＬ1Ｐ０〜Ｌ11Ｐ０を検出し、記憶する。
【００２６】
ステップ００３で、ユーザーが選択したエリア指標Ａ22の中央の焦点検出範囲Ｌ42のデフォーカス量を相関演算により検出する（図５(ａ)参照）。ステップ００４では、焦点検出範囲Ｌ42のデフォーカス量にしたがってフォーカシングレンズ３を駆動し、焦点調節を行う。ステップ００５において、測光センサー１４によりすべての画素Ｅ(1.1)〜Ｅ(11,7)の色を検出し、さらにユーザーが選択したエリア指標Ａ22に対応する画素の色を、テンプレートＴＰ０（＝画素Ｅ(4.3)〜Ｅ(5.4)）として取得する（図５(ａ)参照）。ステップ００６では、次回のレンズ駆動に用いるデフォーカス量を検出する焦点検出範囲ＬＮ１を、ユーザーが選択したエリア指標Ａ22の中央の焦点検出範囲Ｌ42とする。
【００２７】
《時刻Ｔ１》ステップ１０１において、測光センサー１４によりすべての画素Ｅ(1.1)〜Ｅ(11,7)の色を検出し、ＴＰ０をテンプレートとするマッチング演算を行い、すべての画素Ｅ(1.1)〜Ｅ(11,7)の中から類似度が最高の４画素ＭＴＰ１（＝画素Ｅ(5.3)〜Ｅ(6.4)
と求まったものとする）と、その類似度を求める（図６(ａ)参照）。なお、類似度は、テンプレートＴＰ０と測光センサー１４の画素Ｅ(1.1)〜Ｅ(11,7)の出力との間の色差、輝度差などにより両者の類似度合いを数値化する。
【００２８】
ステップ１０２では、焦点検出センサー８によりすべての輝度パターン検出範囲Ｌ１〜Ｌ１１の輝度パターンを検出し、記憶する。続くステップ１０３では、ＭＴＰ１周辺の焦点検出範囲（Ｌ41〜Ｌ72）およびＬＮ１のデフォーカス量を相関演算により求める。ただし、ＬＮ１が上述したＭＴＰ１周辺に含まれている場合（この例ではステップ００７でＬ42としているので、ＭＴＰ１に含まれる）は、ＬＮ１を別途演算する必要はない。
【００２９】
ステップ１０４において、ステップ１０３で求めたＬＮ１（＝Ｌ42）のデフォーカス量にしたがってフォーカシングレンズ３を駆動する。ステップ１０５では、ステップ１０３でデフォーカス量を求めた焦点検出範囲の内、最小のデフォーカス量とその焦点検出範囲ＬＤminを求める。ここでは、ＬＤmin＝Ｌ72が求められたものとして説明する。
【００３０】
ステップ１２１において、ステップ１０５で求めた焦点検出領域ＬＤminが、ステップ１０１で求めたＭＴＰ１から離れているか否かを判定する。判定条件は、ＬＤminがＭＴＰ１に一部でも含まれていれば、離れていないものとする。ＬＤminがＭＴＰ１から離れている場合はステップ１２２へ進み、フラグＬＤflg＝０とする。この場合、ＭＴＰ１の画素で移動被写体を捉えきれていないものとする。一方、ＬＤminがＭＴＰ１から離れていない場合はステップ１３３へ進み、フラグＬＤmin＝１とする。この場合は、ＭＴＰ１の画素で移動被写体を捉えているものとする。
【００３１】
ステップ１２３では、ステップ１０１で求めたＴＰ０とＭＴＰ１の類似度が所定のしきい値より高いか低いかを判定する。ＴＰ０とＭＴＰ１の類似度がしきい値より低い場合はステップ１２４へ進み、フラグＴＰflg＝０（類似度低い）とする。この場合は、テンプレートＴＰ０は不適当と判断し、再取得することとする。一方、ＴＰ０とＭＴＰ１の類似度がしきい値より高い場合はステップ１３４へ進み、フラグＴＰflg＝１（類似度高い）とする。この場合は、テンプレートＴＰ０は適当と判断し、ステップ１５０へ進む。
【００３２】
ＴＰ０とＭＴＰ１の類似度が低い場合は、ステップ１２５で、フラグＬＤflg＝０かつフラグＴＰflg＝０の場合、すなわち時刻Ｔ１におけるデフォーカス量最小の焦点検出範囲ＬＤmin（＝Ｌ７２）は、テンプレート類似度最高のＭＴＰ１から離れており、かつ類似度の値が所定のしきい値より低い場合には、画面に対する移動被写体の大きさが変化したと判断し、大きさの変化を考慮したテンプレートを取得するためステップ１２６〜１３１の処理を行う。
【００３３】
一方、フラグＬＤflg＝１かつフラグＴＰflg＝０の場合、すなわち時刻Ｔ１におけるデフォーカス量最小の焦点検出範囲ＬＤminは、テンプレート類似度最高のＭＴＰ１に近く、かつ類似度の値が所定のしきい値より低い場合には、画面に対する移動被写体の大きさは変化していないが、テンプレートＴＰ０は不適当と判断し、テンプレートの大きさは変えずに再取得するものとし、ステップ１４０へ進む。
【００３４】
ステップ１２６において、ステップ００２で記憶した時刻Ｔ０における輝度パターンＬ1Ｐ０〜Ｌ11Ｐ０の内、ＴＰ０周辺の輝度パターンＬ3Ｐ０、Ｌ4Ｐ０、Ｌ5Ｐ０について、ＴＰ０と重なる輝度パターンを中心として、Ｙ方向をβ＝３／２倍に引き伸ばした輝度パターンを計算し、それぞれＬ3β０、Ｌ4β０、Ｌ5β０とする（図５(ｂ)、(ｃ)参照）。
【００３５】
なお、輝度パターンは、図３におけるＬＡとＬＢの２つが存在するが、ステップ１２６、１２７の演算は、少なくともどちらか片方について行えばよい。
【００３６】
βは、現状のテンプレートＴＰ０が２×２画素であり、次に拡大する場合には３×３画素とするため、３／２倍とした。このように、現状と次のテンプレートの大きさの比により、βを決めるものとする。
【００３７】
ステップ１２７において、ステップ１２６で求めたＴ＝０の引き伸ばし輝度パターンＬ3βＰ０、Ｌ4βＰ０、Ｌ5βＰ０の３個と、時刻Ｔ１における輝度パターン検出範囲の輝度パターンの内、ＭＴＰ１付近であるＬ4Ｐ１〜Ｌ7Ｐ１の輝度パターン４個について、３×４＝１２通りの相関演算を行い、その信頼度を求める。信頼度は、相関演算する輝度パターンどうしの差が小さい場合に、信頼度が高いものとする。
【００３８】
ステップ１２８において、この結果、最も輝度パターンが近い輝度パターン検出範囲ＬＲmax（＝Ｌ６と決まったとする）と、その信頼度を求める。続くステップ１２９では、信頼度が所定のしきい値よりも高いか否かを判定する。信頼度が所定のしきい値より高い場合はステップ１３０へ進み、移動被写体はテンプレートＰＴ０取得時より約３／２倍大きくなったものとし、テンプレートの取得範囲をＸ、Ｙ軸方向それぞれ３／２倍広げた３×３画素とする。
【００３９】
ステップ１０１の時刻Ｔ１における測光センサーの画素出力から、拡大したテンプレートＴＰ１を取得する（図６(ａ)参照）。取得するテンプレートのＸ軸方向範囲は、ステップ１２８の信頼度最大の輝度パターン検出範囲ＬＲmax（＝Ｌ６）をほぼ中央に含む範囲とする。Ｙ軸方向範囲は、テンプレートＴＰ０の範囲の輝度パターンと近くなるＬ6Ｐ１の輝度パターンの中の範囲が、相関演算により求まるので、それに近い３×３画素（＝Ｅ(5.3)〜Ｅ(7.5)とする）を新しいテンプレートＴＰ１を取得する範囲とする。
【００４０】
ステップ１３１では、次回のレンズ駆動に用いるデフォーカス量を検出する焦点検出範囲ＬＮ２を、新しいテンプレートＴＰ１を取得する範囲の中央（＝Ｌ６２）とする。続くステップ１３２で、テンプレート再取得フラグＮＴＰflg＝１とする。
【００４１】
ステップ１２９で信頼度が所定のしきい値以下であると判定された場合には、移動被写体の大きさの変化を検出することが不可能と判断し、テンプレートの大きさは変えないものとし、ステップ１４０へ進む。ステップ１４０で、ステップ１２５でフラグＬＤflg＝１（近い）かつフラグＴＰflg＝０（類似度低い）の場合、テンプレートの大きさは変えずに、ＭＴＰ１の範囲でステップ１０１の測光センサーの画素出力から新しいテンプレートＴＰ１を取得する。
【００４２】
ステップ１４１において、テンプレートの類似度が低いものの、テンプレートマッチングの結果であるＭＴＰ１と、最小デフォーカス量である焦点検出範囲ＬＤminが近いので、移動被写体はＬＤmin付近にあるものと判断し、次回のレンズ駆動に用いるデフォーカス量を検出する焦点検出範囲ＬＮ２をＬＤminとする。ステップ１４２ではテンプレート再取得フラグＮＴＰflg＝１とする。
【００４３】
ステップ１２３でＴＰ０とＭＴＰ１の類似度が所定のしきい値より高いと判定された場合はステップ１３４へ進み、フラグＴＰflg＝１（類似度高い）とする。続くステップ１５０では、ステップ１２３でテンプレートの類似度が高い場合は、テンプレートＴＰ０は移動被写体を捉えており、適当であると判断してテンプレートを再取得せず、ＴＰ１＝ＴＰ０とする。
【００４４】
最小デフォーカス量である焦点検出範囲ＬＤminと類似度最高のＭＴＰ１の位置関係（ＬＤflg）は問わないものとする。両者が近ければ問題なくテンプレートＴＰ０は適当である。両者が遠い場合は、最小デフォーカス量である焦点検出範囲ＬＤminは移動被写体ではない別の被写体を捉えたものと判断し、その結果を無視する。
【００４５】
ステップ１５１では、テンプレートマッチングの結果であるＭＴＰ１の結果を用い、次回のレンズ駆動に用いるデフォーカス量を検出する焦点検出範囲ＬＮ２をＭＴＰ１のほぼ中央とする。続くステップ１５２で、テンプレート再取得フラグＮＴＰflg＝０とする。
【００４６】
《時刻Ｔ２》図８は、時刻Ｔ２以降の一般的な繰り返し動作を示す。基本的には時刻Ｔ１のときと同じであるので、異なるステップ２２６のみ記述する。ステップ２２６において、最新のテンプレートを取得したときの輝度パターンＬＰを引き伸ばす。この例では、前回時刻Ｔ１において、テンプレートＴＰ１を再取得されている場合（ＮＴＰflg＝１）、ステップ１０２で記憶した輝度パターンＬＰ１（＝Ｌ1Ｐ１〜Ｌ11Ｐ１）の内、ＴＰ１と重なる輝度パターンを中心として、Ｙ方向をβ＝３／２倍に引き伸ばした輝度パターンＬβＰ（＝Ｌ１βＰ１〜Ｌ11βＰ１の内、ＴＰ１周辺の輝度パターン検出範囲のみ）を計算する。
【００４７】
前回時刻Ｔ１において、テンプレート再取得していない場合（ＮＴＰflg＝０）、それ以前の最新テンプレート（＝ＴＰ０）取得時刻（＝Ｔ０）で記憶した輝度パターン（ステップ００２のＬＰ０＝Ｌ1Ｐ０〜Ｌ11Ｐ０）の内、ＴＰ０に周辺の輝度パターン（＝Ｌ3Ｐ０、Ｌ4Ｐ０、Ｌ5Ｐ０）について、ＴＰ０と重なる輝度パターンを中心として、Ｙ方向をβ＝３／２倍に引き伸ばした輝度パターンＬβＰ（＝Ｌ3β０、Ｌ4β０、Ｌ5β０）を計算する。
【００４８】
ステップ２３２において、シャッター半押しされていれば追尾動作を継続し、ステップ２０１以下の動作を繰り返す。一方、半押しされていなければ追尾動作を終了する。
【００４９】
以上説明したように、一実施の形態によれば、フォーカシングレンズ３により結像された画像を測光センサー１４により撮像し、測光センサー１４による画像における対象の像を基準画像として設定するとともに、測光センサー１４によって繰り返し得られる画像において基準画像に対応する画像を認識する。また、焦点検出センサー８により、フォーカシングレンズ３の射出瞳の異なる領域を通過した対の光束による像を対の受光部で受光して、対の受光部の出力の相関を演算して光学系の焦点調節状態を検出する。そして、対の受光部の内のいずれか一方において異なる時刻に得られた出力どうしの相関を演算し、対象の大きさの変化を検出するとともに、検出された対象の大きさの変化に応じて基準画像を変更する。これにより、画像による対象追尾精度の低下を防止することができる。
【００５０】
また、一実施の形態によれば、焦点検出センサー８によって、フォーカシングレンズ３による画面内に設定された複数の焦点検出位置のそれぞれについて対の受光部の出力の相関を演算してフォーカシングレンズ３の焦点調節状態を検出し、複数の焦点検出位置に対する対の受光部の内のいずれか一方の出力どうしの相関を演算して対象の位置の変化を検出し、検出された対象の位置の変化に応じて基準画像を変更するようにしたので、画像による対象追尾精度の低下を防止することができる。
【図面の簡単な説明】
【００５１】
【図１】一実施の形態の全体構成を示す図
【図２】測光センサーの画素配置とエリア指標の位置関係を示す正面図
【図３】焦点検出センサーの構成を示す図
【図４】撮影画面上の焦点検出範囲(ａ)と、焦点検出センサーのラインセンサーの配置(ｂ)を示す図
【図５】一実施の形態の動作を説明するための図
【図６】一実施の形態の動作を説明するための図
【図７】一実施の形態の動作を示すフローチャート
【図８】一実施の形態の動作を示すフローチャート
【符号の説明】
【００５２】
３；フォーカシングレンズ、８；焦点検出センサー、１４；測光センサー、１５；制御装置
【技術分野】
【０００１】
本発明は画像追尾装置と撮像装置に関する。
【背景技術】
【０００２】
撮影画像の中から基準画像に合致する位置をパターンマッチングにより検出し、検出位置をＡＦの対象位置として対象被写体を追尾するとともに、追尾した対象被写体の画像に基づいて基準画像を更新するようにしたオートフォーカスシステムが知られている（例えば、特許文献１参照）。
【０００３】
この出願の発明に関連する先行技術文献としては次のものがある。
【特許文献１】特開２００６−０５８４３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の装置では、対象被写体自身のカメラへの接近、カメラからの遠ざかり、あるいはズーミングに応じて撮影画面内の対象被写体の大きさが変化すると、画像による追尾精度が低下するという問題がある。
【課題を解決するための手段】
【０００５】
（１） 請求項１の発明は、光学系により結像された画像を撮像する撮像手段と、撮像手段による画像における対象の像を基準画像として設定する設定手段と、撮像手段によって繰り返し得られる画像において基準画像に対応する画像を認識する認識手段と、光学系の射出瞳の異なる領域を通過した対の光束による像を対の受光部で受光し、対の受光部の出力の相関を演算して光学系の焦点調節状態を検出する焦点検出手段と、対の受光部の内のいずれか一方において異なる時刻に得られた出力どうしの相関を演算し、対象の大きさの変化を検出する対象変化検出手段と、対象変化検出手段により検出された対象の大きさの変化に応じて基準画像を変更する変更手段とを備える。
（２） 請求項２の画像認識装置は、焦点検出手段によって、光学系による画面内に設定された複数の測距点のそれぞれについて対の受光部の出力の相関を演算して光学系の焦点調節状態を検出し、対象変化検出手段によって、複数の測距点に対する対の受光部の内のいずれか一方の出力どうしの相関を演算して対象の位置の変化を検出し、変更手段によって、対象変化検出手段により検出された対象の位置の変化に応じて基準画像を変更するようにしたものである。
（３） 請求項３の画像認識装置は、焦点検出手段により検出された焦点調節状態が合焦状態に最も近い前記測距点の位置と、認識手段によって認識された画像の位置とが一致しているか否かを判定する位置判定手段と、認識手段によって認識された画像と基準画像との類似度を判定する類似度判定手段とを備え、変更手段によって、位置判定手段により焦点調節状態が合焦状態に最も近い測距点の位置と認識された画像の位置とが一致していると判定され、かつ、類似度判定手段により類似度が高いと判定された場合は、基準画像の変更を禁止するようにしたものである。
（４） 請求項４の画像認識装置は、変更手段によって、位置判定手段により焦点調節状態が合焦状態に最も近い測距点の位置と認識された画像の位置とが一致していると判定され、かつ、類似度判定手段により類似度が低いと判定された場合には、対象変化検出手段により検出された対象の大きさの変化に応じて基準画像を変更するようにしたものである。
（５） 請求項５の画像認識装置は、変更手段によって、位置判定手段により焦点調節状態が合焦状態に最も近い測距点の位置と認識された画像の位置とが一致していないと判定され、かつ、類似度判定手段により類似度が高いと判定された場合は、認識手段により認識された画像の位置の画像により基準画像を変更するようにしたものである。
（６） 請求項６の画像認識装置は、変更手段によって、位置判定手段により焦点調節状態が合焦状態に最も近い測距点の位置と認識された画像の位置とが一致していないと判定され、かつ、類似度判定手段により類似度が低いと判定された場合は、対象変化検出手段により検出された対象の大きさと位置の変化に応じて基準画像を変更するようにしたものである。
（７） 請求項７の発明は、請求項１〜６のいずれか１項に記載の画像認識装置を備える撮像装置である。
【発明の効果】
【０００６】
本発明によれば、画像による対象追尾精度の低下を防止することができる。
【発明を実施するための最良の形態】
【０００７】
図１は一実施の形態の全体構成を示す図である。一実施の形態の一眼レフ・デジタルカメラは、カメラボディ１にレンズ鏡筒２が装着されている。レンズ鏡筒２にはフォーカシングレンズ３が内蔵されており、フォーカシングモーター４により駆動されて焦点調節が行われる。
【０００８】
一方、カメラボディ１には撮像素子５、メインミラー６、サブミラー７、焦点検出センサー８、スクリーン９、ペンタプリズム１０、接眼レンズ１１、ミラー１２、測光レンズ１３、測光センサー１４、制御装置１５などが設けられている。
【０００９】
撮像素子５はＣＣＤやＣＭＯＳなどから構成され、フォーカシングレンズ３により結像された被写体像を撮像して画像信号を出力する。焦点検出センサー８は詳細を後述する焦点検出光学系と受光センサーを内蔵しており、フォーカシングレンズ３の瞳面上の異なる領域を通過した対の光束により結像される対の像のズレ量を検出する。後述する制御装置１５は、焦点検出センサー８により検出されたズレ量をフォーカシングレンズ３のデフォーカス量に変換し、フォーカシングモーター４を駆動制御して焦点調節を行う。
【００１０】
測光センサー１４は、スクリーン９上に結像された被写体像をペンタプリズム１０、ミラー１２および測光レンズ１３を介して受光し、画像追尾用および測光用の画像を撮像する。この測光センサー１４については詳細を後述する。制御装置１５はマイクロコンピューターとメモリなどの周辺部品から構成され、カメラのシーケンス制御と各種演算を行うとともに、後述する制御プログラムを実行して画像追尾制御を行う。
【００１１】
次に、基本的なカメラの動作を説明する。シャッターボタン（不図示）が半押しされると、フォーカシングレンズ３を透過した被写体からの光束は撮影光路中に設定されるメインミラー６とサブミラー７を介して焦点検出センサー８へ導かれ、焦点検出センサー８によりフォーカシングレンズ３の焦点調節状態、すなわちデフォーカス量が検出される。
【００１２】
シャッターボタンの半押し時にはまた、フォーカシングレンズ３を透過した被写体光がメインミラー６を介してスクリーン９に導かれ、スクリーン９上に被写体像が結像される。この被写体像はペンタプリズム１０、ミラー１２および測光レンズ１３を介して測光センサー１４へ導かれ、測光センサー１４により被写体像が撮像される。
【００１３】
シャッターボタンが全押しされると、メインミラー６およびサブミラー７が撮影光路から退避され、フォーカシングレンズ３を透過した被写体光が撮像素子５へ導かれ、撮像素子５の受光面に被写体像が結像される。撮像素子５は被写体像を撮像して画像信号を出力し、図示しない画像記録媒体に被写体像が記録される。
【００１４】
図２は測光センサー１４の画素配置とエリア指標の位置関係を示す正面図である。測光センサー１４はＣＣＤやＣＭＯＳなどから構成され、７７個の画素がＸ軸方向（横方向）に１１個、Ｙ軸方向（縦方向）に７個の二次元状に配列される。各画素は図２(ｂ)に示すように３個の受光部に分割され、それぞれ赤Ｒ、緑Ｇおよび青Ｂの色フィルターが設けられてＲＧＢ信号を出力する。
【００１５】
それぞれの画素は(Ｘ，Ｙ)アドレスによりＥ(1.1)〜Ｅ(11,7)として識別される。図２(ａ)において、Ａ11〜Ａ53は撮影画面内の焦点検出位置を示すエリア指標であり、スクリーン９の近傍に設けられるＬＣＤ表示器９ａ（図１参照）によりスクリーン９上の被写体像（ファインダー像）に重畳して表示される。図２(ａ)では、測光センサー１４の各画素Ｅ(1.1)〜Ｅ(11,7)とエリア指標Ａ11〜Ａ53の位置関係を示す。
【００１６】
例えば、エリア指標Ａ32には画素Ｅ(6,4)が対応し、その隣のエリア指標Ａ42には画素Ｅ(8,4)が対応している。これらの画素Ｅ(6,4)と画素Ｅ(8,4)の間には別の画素Ｅ(7,4)が存在する。
【００１７】
測光センサー１４は焦点検出センサー８に比べ画素が大きく、撮影画面の大部分の色や輝度を検出できる。しかしその反面、検出できる色や輝度パターンは大局的になる。なお、測光センサー１４の画素数と画素配列、エリア指標の数と配置はこの一実施の形態に限定されない。
【００１８】
図３は焦点検出センサー８の構成を示す図である。焦点検出センサー８は、コンデンサーレンズ２１、絞りマスク２２およびセパレーターレンズ２３からなる焦点検出光学系と、ラインセンサーＬＡ、ＬＢを備えている。焦点検出光学系２１〜２３は、フォーカシングレンズ３の射出瞳面３ａの異なる領域を通過した対の光束によりラインセンサーＬＡ、ＬＢ上に対の被写体像を結像し、ラインセンサーＬＡ、ＬＢは対の被写体像に応じた対の像信号を出力する。制御装置１５は、ラインセンサーＬＡ、ＬＢからの対の像信号の位相差を検出して対の像のズレ量を求め、ズレ量をデフォーカス量に換算する。
【００１９】
図４(ａ)は撮影画面上の焦点検出範囲を示し、図４(ｂ)は焦点検出センサー８のラインセンサーの配置を示す。図４(ａ)において、Ｌ51〜Ｌ53、Ｌ61〜Ｌ63、Ｌ71〜Ｌ73は撮影画面の一部の領域における焦点検出範囲を示す。例えば、上述したエリア指標Ａ32の中央には焦点検出範囲Ｌ62が対応し、隣のエリア指標Ａ42（図２参照）との間には焦点検出範囲Ｌ72が存在する。
【００２０】
図３では、焦点検出センサー８のラインセンサーを１対のラインセンサーＬＡ、ＬＢで代表的に示したが、ラインセンサーは図４(ｂ)に示すように１１対のラインセンサー(ＬＡ1,ＬＢ1)、(ＬＡ2,ＬＢ2)、・・・、(ＬＡ11,ＬＢ11)により構成される。これらの各対のラインセンサー(ＬＡn,ＬＢn)（ｎ＝１〜１１）はそれぞれ、図４(ａ)に示す焦点検出範囲Ｌn1〜Ｌn3（ｎ＝１〜１１）に対応して３つの領域に区分される。
【００２１】
例えば、ラインセンサーＬＡ6は焦点検出範囲Ｌ61〜Ｌ63に対応してラインセンサーＬＡ61〜ＬＡ63に区分され、ラインセンサーＬＢ6は焦点検出範囲Ｌ61〜Ｌ63に対応してラインセンサーＬＢ61〜ＬＢ63に区分される。そして、対のラインセンサーＬＡ6とＬＢ6の出力に基づいて焦点検出範囲Ｌ６（図４(ａ)参照、Ｌ61〜Ｌ63）におけるデフォーカス量を検出する。
【００２２】
焦点検出センサー８のラインセンサーＬＡn、ＬＢnを撮影画面上に換算すると、焦点検出画素の大きさは、測光センサー１４の画素に比べて小さい。このため、焦点検出センサー８のラインセンサーＬＡn、ＬＢnでは微細な輝度パターンを識別することができる。
【００２３】
基本的に１つのエリア指標Ａ32に対して１つの焦点検出範囲Ｌ62だけでも焦点検出は可能であるが、ラインセンサーではエリア指標どうしの間で大きな不感帯が生じるため、これを補う目的でエリア指標の間にもう１つの焦点検出範囲を設けている。しかし、これでも画素の小さいラインセンサーでは、検出できる輝度パターンの範囲が撮影画面全体に対して局所的となる。
【００２４】
図５〜図６は一実施の形態の動作を説明するための図であり、図７〜図８は一実施の形態の動作を示すフローチャートである。これらの図により、一実施の形態の動作を説明する。
【００２５】
《時刻Ｔ０》図７のステップ００１において、ユーザーがエリア指標Ａ22（図２参照）を選択してシャッターボタン（不図示）を半押しすると、エリア指標Ａ22の位置にある被写体が追尾対象としてロックオンされる。続くステップ００２では、焦点検出センサー８によりすべての輝度パターン検出範囲Ｌ１〜Ｌ１１の輝度パターンＬ1Ｐ０〜Ｌ11Ｐ０を検出し、記憶する。
【００２６】
ステップ００３で、ユーザーが選択したエリア指標Ａ22の中央の焦点検出範囲Ｌ42のデフォーカス量を相関演算により検出する（図５(ａ)参照）。ステップ００４では、焦点検出範囲Ｌ42のデフォーカス量にしたがってフォーカシングレンズ３を駆動し、焦点調節を行う。ステップ００５において、測光センサー１４によりすべての画素Ｅ(1.1)〜Ｅ(11,7)の色を検出し、さらにユーザーが選択したエリア指標Ａ22に対応する画素の色を、テンプレートＴＰ０（＝画素Ｅ(4.3)〜Ｅ(5.4)）として取得する（図５(ａ)参照）。ステップ００６では、次回のレンズ駆動に用いるデフォーカス量を検出する焦点検出範囲ＬＮ１を、ユーザーが選択したエリア指標Ａ22の中央の焦点検出範囲Ｌ42とする。
【００２７】
《時刻Ｔ１》ステップ１０１において、測光センサー１４によりすべての画素Ｅ(1.1)〜Ｅ(11,7)の色を検出し、ＴＰ０をテンプレートとするマッチング演算を行い、すべての画素Ｅ(1.1)〜Ｅ(11,7)の中から類似度が最高の４画素ＭＴＰ１（＝画素Ｅ(5.3)〜Ｅ(6.4)
と求まったものとする）と、その類似度を求める（図６(ａ)参照）。なお、類似度は、テンプレートＴＰ０と測光センサー１４の画素Ｅ(1.1)〜Ｅ(11,7)の出力との間の色差、輝度差などにより両者の類似度合いを数値化する。
【００２８】
ステップ１０２では、焦点検出センサー８によりすべての輝度パターン検出範囲Ｌ１〜Ｌ１１の輝度パターンを検出し、記憶する。続くステップ１０３では、ＭＴＰ１周辺の焦点検出範囲（Ｌ41〜Ｌ72）およびＬＮ１のデフォーカス量を相関演算により求める。ただし、ＬＮ１が上述したＭＴＰ１周辺に含まれている場合（この例ではステップ００７でＬ42としているので、ＭＴＰ１に含まれる）は、ＬＮ１を別途演算する必要はない。
【００２９】
ステップ１０４において、ステップ１０３で求めたＬＮ１（＝Ｌ42）のデフォーカス量にしたがってフォーカシングレンズ３を駆動する。ステップ１０５では、ステップ１０３でデフォーカス量を求めた焦点検出範囲の内、最小のデフォーカス量とその焦点検出範囲ＬＤminを求める。ここでは、ＬＤmin＝Ｌ72が求められたものとして説明する。
【００３０】
ステップ１２１において、ステップ１０５で求めた焦点検出領域ＬＤminが、ステップ１０１で求めたＭＴＰ１から離れているか否かを判定する。判定条件は、ＬＤminがＭＴＰ１に一部でも含まれていれば、離れていないものとする。ＬＤminがＭＴＰ１から離れている場合はステップ１２２へ進み、フラグＬＤflg＝０とする。この場合、ＭＴＰ１の画素で移動被写体を捉えきれていないものとする。一方、ＬＤminがＭＴＰ１から離れていない場合はステップ１３３へ進み、フラグＬＤmin＝１とする。この場合は、ＭＴＰ１の画素で移動被写体を捉えているものとする。
【００３１】
ステップ１２３では、ステップ１０１で求めたＴＰ０とＭＴＰ１の類似度が所定のしきい値より高いか低いかを判定する。ＴＰ０とＭＴＰ１の類似度がしきい値より低い場合はステップ１２４へ進み、フラグＴＰflg＝０（類似度低い）とする。この場合は、テンプレートＴＰ０は不適当と判断し、再取得することとする。一方、ＴＰ０とＭＴＰ１の類似度がしきい値より高い場合はステップ１３４へ進み、フラグＴＰflg＝１（類似度高い）とする。この場合は、テンプレートＴＰ０は適当と判断し、ステップ１５０へ進む。
【００３２】
ＴＰ０とＭＴＰ１の類似度が低い場合は、ステップ１２５で、フラグＬＤflg＝０かつフラグＴＰflg＝０の場合、すなわち時刻Ｔ１におけるデフォーカス量最小の焦点検出範囲ＬＤmin（＝Ｌ７２）は、テンプレート類似度最高のＭＴＰ１から離れており、かつ類似度の値が所定のしきい値より低い場合には、画面に対する移動被写体の大きさが変化したと判断し、大きさの変化を考慮したテンプレートを取得するためステップ１２６〜１３１の処理を行う。
【００３３】
一方、フラグＬＤflg＝１かつフラグＴＰflg＝０の場合、すなわち時刻Ｔ１におけるデフォーカス量最小の焦点検出範囲ＬＤminは、テンプレート類似度最高のＭＴＰ１に近く、かつ類似度の値が所定のしきい値より低い場合には、画面に対する移動被写体の大きさは変化していないが、テンプレートＴＰ０は不適当と判断し、テンプレートの大きさは変えずに再取得するものとし、ステップ１４０へ進む。
【００３４】
ステップ１２６において、ステップ００２で記憶した時刻Ｔ０における輝度パターンＬ1Ｐ０〜Ｌ11Ｐ０の内、ＴＰ０周辺の輝度パターンＬ3Ｐ０、Ｌ4Ｐ０、Ｌ5Ｐ０について、ＴＰ０と重なる輝度パターンを中心として、Ｙ方向をβ＝３／２倍に引き伸ばした輝度パターンを計算し、それぞれＬ3β０、Ｌ4β０、Ｌ5β０とする（図５(ｂ)、(ｃ)参照）。
【００３５】
なお、輝度パターンは、図３におけるＬＡとＬＢの２つが存在するが、ステップ１２６、１２７の演算は、少なくともどちらか片方について行えばよい。
【００３６】
βは、現状のテンプレートＴＰ０が２×２画素であり、次に拡大する場合には３×３画素とするため、３／２倍とした。このように、現状と次のテンプレートの大きさの比により、βを決めるものとする。
【００３７】
ステップ１２７において、ステップ１２６で求めたＴ＝０の引き伸ばし輝度パターンＬ3βＰ０、Ｌ4βＰ０、Ｌ5βＰ０の３個と、時刻Ｔ１における輝度パターン検出範囲の輝度パターンの内、ＭＴＰ１付近であるＬ4Ｐ１〜Ｌ7Ｐ１の輝度パターン４個について、３×４＝１２通りの相関演算を行い、その信頼度を求める。信頼度は、相関演算する輝度パターンどうしの差が小さい場合に、信頼度が高いものとする。
【００３８】
ステップ１２８において、この結果、最も輝度パターンが近い輝度パターン検出範囲ＬＲmax（＝Ｌ６と決まったとする）と、その信頼度を求める。続くステップ１２９では、信頼度が所定のしきい値よりも高いか否かを判定する。信頼度が所定のしきい値より高い場合はステップ１３０へ進み、移動被写体はテンプレートＰＴ０取得時より約３／２倍大きくなったものとし、テンプレートの取得範囲をＸ、Ｙ軸方向それぞれ３／２倍広げた３×３画素とする。
【００３９】
ステップ１０１の時刻Ｔ１における測光センサーの画素出力から、拡大したテンプレートＴＰ１を取得する（図６(ａ)参照）。取得するテンプレートのＸ軸方向範囲は、ステップ１２８の信頼度最大の輝度パターン検出範囲ＬＲmax（＝Ｌ６）をほぼ中央に含む範囲とする。Ｙ軸方向範囲は、テンプレートＴＰ０の範囲の輝度パターンと近くなるＬ6Ｐ１の輝度パターンの中の範囲が、相関演算により求まるので、それに近い３×３画素（＝Ｅ(5.3)〜Ｅ(7.5)とする）を新しいテンプレートＴＰ１を取得する範囲とする。
【００４０】
ステップ１３１では、次回のレンズ駆動に用いるデフォーカス量を検出する焦点検出範囲ＬＮ２を、新しいテンプレートＴＰ１を取得する範囲の中央（＝Ｌ６２）とする。続くステップ１３２で、テンプレート再取得フラグＮＴＰflg＝１とする。
【００４１】
ステップ１２９で信頼度が所定のしきい値以下であると判定された場合には、移動被写体の大きさの変化を検出することが不可能と判断し、テンプレートの大きさは変えないものとし、ステップ１４０へ進む。ステップ１４０で、ステップ１２５でフラグＬＤflg＝１（近い）かつフラグＴＰflg＝０（類似度低い）の場合、テンプレートの大きさは変えずに、ＭＴＰ１の範囲でステップ１０１の測光センサーの画素出力から新しいテンプレートＴＰ１を取得する。
【００４２】
ステップ１４１において、テンプレートの類似度が低いものの、テンプレートマッチングの結果であるＭＴＰ１と、最小デフォーカス量である焦点検出範囲ＬＤminが近いので、移動被写体はＬＤmin付近にあるものと判断し、次回のレンズ駆動に用いるデフォーカス量を検出する焦点検出範囲ＬＮ２をＬＤminとする。ステップ１４２ではテンプレート再取得フラグＮＴＰflg＝１とする。
【００４３】
ステップ１２３でＴＰ０とＭＴＰ１の類似度が所定のしきい値より高いと判定された場合はステップ１３４へ進み、フラグＴＰflg＝１（類似度高い）とする。続くステップ１５０では、ステップ１２３でテンプレートの類似度が高い場合は、テンプレートＴＰ０は移動被写体を捉えており、適当であると判断してテンプレートを再取得せず、ＴＰ１＝ＴＰ０とする。
【００４４】
最小デフォーカス量である焦点検出範囲ＬＤminと類似度最高のＭＴＰ１の位置関係（ＬＤflg）は問わないものとする。両者が近ければ問題なくテンプレートＴＰ０は適当である。両者が遠い場合は、最小デフォーカス量である焦点検出範囲ＬＤminは移動被写体ではない別の被写体を捉えたものと判断し、その結果を無視する。
【００４５】
ステップ１５１では、テンプレートマッチングの結果であるＭＴＰ１の結果を用い、次回のレンズ駆動に用いるデフォーカス量を検出する焦点検出範囲ＬＮ２をＭＴＰ１のほぼ中央とする。続くステップ１５２で、テンプレート再取得フラグＮＴＰflg＝０とする。
【００４６】
《時刻Ｔ２》図８は、時刻Ｔ２以降の一般的な繰り返し動作を示す。基本的には時刻Ｔ１のときと同じであるので、異なるステップ２２６のみ記述する。ステップ２２６において、最新のテンプレートを取得したときの輝度パターンＬＰを引き伸ばす。この例では、前回時刻Ｔ１において、テンプレートＴＰ１を再取得されている場合（ＮＴＰflg＝１）、ステップ１０２で記憶した輝度パターンＬＰ１（＝Ｌ1Ｐ１〜Ｌ11Ｐ１）の内、ＴＰ１と重なる輝度パターンを中心として、Ｙ方向をβ＝３／２倍に引き伸ばした輝度パターンＬβＰ（＝Ｌ１βＰ１〜Ｌ11βＰ１の内、ＴＰ１周辺の輝度パターン検出範囲のみ）を計算する。
【００４７】
前回時刻Ｔ１において、テンプレート再取得していない場合（ＮＴＰflg＝０）、それ以前の最新テンプレート（＝ＴＰ０）取得時刻（＝Ｔ０）で記憶した輝度パターン（ステップ００２のＬＰ０＝Ｌ1Ｐ０〜Ｌ11Ｐ０）の内、ＴＰ０に周辺の輝度パターン（＝Ｌ3Ｐ０、Ｌ4Ｐ０、Ｌ5Ｐ０）について、ＴＰ０と重なる輝度パターンを中心として、Ｙ方向をβ＝３／２倍に引き伸ばした輝度パターンＬβＰ（＝Ｌ3β０、Ｌ4β０、Ｌ5β０）を計算する。
【００４８】
ステップ２３２において、シャッター半押しされていれば追尾動作を継続し、ステップ２０１以下の動作を繰り返す。一方、半押しされていなければ追尾動作を終了する。
【００４９】
以上説明したように、一実施の形態によれば、フォーカシングレンズ３により結像された画像を測光センサー１４により撮像し、測光センサー１４による画像における対象の像を基準画像として設定するとともに、測光センサー１４によって繰り返し得られる画像において基準画像に対応する画像を認識する。また、焦点検出センサー８により、フォーカシングレンズ３の射出瞳の異なる領域を通過した対の光束による像を対の受光部で受光して、対の受光部の出力の相関を演算して光学系の焦点調節状態を検出する。そして、対の受光部の内のいずれか一方において異なる時刻に得られた出力どうしの相関を演算し、対象の大きさの変化を検出するとともに、検出された対象の大きさの変化に応じて基準画像を変更する。これにより、画像による対象追尾精度の低下を防止することができる。
【００５０】
また、一実施の形態によれば、焦点検出センサー８によって、フォーカシングレンズ３による画面内に設定された複数の焦点検出位置のそれぞれについて対の受光部の出力の相関を演算してフォーカシングレンズ３の焦点調節状態を検出し、複数の焦点検出位置に対する対の受光部の内のいずれか一方の出力どうしの相関を演算して対象の位置の変化を検出し、検出された対象の位置の変化に応じて基準画像を変更するようにしたので、画像による対象追尾精度の低下を防止することができる。
【図面の簡単な説明】
【００５１】
【図１】一実施の形態の全体構成を示す図
【図２】測光センサーの画素配置とエリア指標の位置関係を示す正面図
【図３】焦点検出センサーの構成を示す図
【図４】撮影画面上の焦点検出範囲(ａ)と、焦点検出センサーのラインセンサーの配置(ｂ)を示す図
【図５】一実施の形態の動作を説明するための図
【図６】一実施の形態の動作を説明するための図
【図７】一実施の形態の動作を示すフローチャート
【図８】一実施の形態の動作を示すフローチャート
【符号の説明】
【００５２】
３；フォーカシングレンズ、８；焦点検出センサー、１４；測光センサー、１５；制御装置
【特許請求の範囲】
【請求項１】
光学系により結像された画像を撮像する撮像手段と、
前記撮像手段による前記画像における対象の像を基準画像として設定する設定手段と、
前記撮像手段によって繰り返し得られる前記画像において前記基準画像に対応する画像を認識する認識手段と、
前記光学系の射出瞳の異なる領域を通過した対の光束による像を対の受光部で受光し、前記対の受光部の出力の相関を演算して前記光学系の焦点調節状態を検出する焦点検出手段と、
前記対の受光部の内のいずれか一方において異なる時刻に得られた前記出力どうしの相関を演算し、前記対象の大きさの変化を検出する対象変化検出手段と、
前記対象変化検出手段により検出された前記対象の大きさの変化に応じて前記基準画像を変更する変更手段とを備えることを特徴とする画像認識装置。
【請求項２】
請求項１に記載の画像認識装置において、
前記焦点検出手段は、前記光学系による画面内に設定された複数の測距点のそれぞれについて前記対の受光部の出力の相関を演算して前記光学系の焦点調節状態を検出し、
前記対象変化検出手段は、前記複数の測距点に対する前記対の受光部の内のいずれか一方の前記出力どうしの相関を演算して前記対象の位置の変化を検出し、
前記変更手段は、前記対象変化検出手段により検出された前記対象の位置の変化に応じて前記基準画像を変更することを特徴とする画像認識装置。
【請求項３】
請求項１または請求項２に記載の画像認識装置において、
前記焦点検出手段により検出された焦点調節状態が合焦状態に最も近い前記測距点の位置と、前記認識手段によって認識された画像の位置とが一致しているか否かを判定する位置判定手段と、
前記認識手段によって認識された画像と前記基準画像との類似度を判定する類似度判定手段とを備え、
前記変更手段は、前記位置判定手段により前記焦点調節状態が合焦状態に最も近い前記測距点の位置と前記認識された画像の位置とが一致していると判定され、かつ、前記類似度判定手段により類似度が高いと判定された場合は、前記基準画像の変更を禁止することを特徴とする画像認識装置。
【請求項４】
請求項３に記載の画像認識装置において、
前記変更手段は、前記位置判定手段により前記焦点調節状態が合焦状態に最も近い前記測距点の位置と前記認識された画像の位置とが一致していると判定され、かつ、前記類似度判定手段により類似度が低いと判定された場合には、前記対象変化検出手段により検出された前記対象の大きさの変化に応じて前記基準画像を変更することを特徴とする画像認識装置。
【請求項５】
請求項３または請求項４に記載の画像認識装置において、
前記変更手段は、前記位置判定手段により前記焦点調節状態が合焦状態に最も近い前記測距点の位置と前記認識された画像の位置とが一致していないと判定され、かつ、前記類似度判定手段により類似度が高いと判定された場合は、前記認識手段により認識された画像の位置の画像により前記基準画像を変更することを特徴とする画像認識装置。
【請求項６】
請求項５に記載の画像認識装置において、
前記変更手段は、前記位置判定手段により前記焦点調節状態が合焦状態に最も近い前記測距点の位置と前記認識された画像の位置とが一致していないと判定され、かつ、前記類似度判定手段により類似度が低いと判定された場合は、前記対象変化検出手段により検出された前記対象の大きさと位置の変化に応じて前記基準画像を変更することを特徴とする画像認識装置。
【請求項７】
請求項１〜６のいずれか１項に記載の画像認識装置を備えることを特徴とする撮像装置。
【請求項１】
光学系により結像された画像を撮像する撮像手段と、
前記撮像手段による前記画像における対象の像を基準画像として設定する設定手段と、
前記撮像手段によって繰り返し得られる前記画像において前記基準画像に対応する画像を認識する認識手段と、
前記光学系の射出瞳の異なる領域を通過した対の光束による像を対の受光部で受光し、前記対の受光部の出力の相関を演算して前記光学系の焦点調節状態を検出する焦点検出手段と、
前記対の受光部の内のいずれか一方において異なる時刻に得られた前記出力どうしの相関を演算し、前記対象の大きさの変化を検出する対象変化検出手段と、
前記対象変化検出手段により検出された前記対象の大きさの変化に応じて前記基準画像を変更する変更手段とを備えることを特徴とする画像認識装置。
【請求項２】
請求項１に記載の画像認識装置において、
前記焦点検出手段は、前記光学系による画面内に設定された複数の測距点のそれぞれについて前記対の受光部の出力の相関を演算して前記光学系の焦点調節状態を検出し、
前記対象変化検出手段は、前記複数の測距点に対する前記対の受光部の内のいずれか一方の前記出力どうしの相関を演算して前記対象の位置の変化を検出し、
前記変更手段は、前記対象変化検出手段により検出された前記対象の位置の変化に応じて前記基準画像を変更することを特徴とする画像認識装置。
【請求項３】
請求項１または請求項２に記載の画像認識装置において、
前記焦点検出手段により検出された焦点調節状態が合焦状態に最も近い前記測距点の位置と、前記認識手段によって認識された画像の位置とが一致しているか否かを判定する位置判定手段と、
前記認識手段によって認識された画像と前記基準画像との類似度を判定する類似度判定手段とを備え、
前記変更手段は、前記位置判定手段により前記焦点調節状態が合焦状態に最も近い前記測距点の位置と前記認識された画像の位置とが一致していると判定され、かつ、前記類似度判定手段により類似度が高いと判定された場合は、前記基準画像の変更を禁止することを特徴とする画像認識装置。
【請求項４】
請求項３に記載の画像認識装置において、
前記変更手段は、前記位置判定手段により前記焦点調節状態が合焦状態に最も近い前記測距点の位置と前記認識された画像の位置とが一致していると判定され、かつ、前記類似度判定手段により類似度が低いと判定された場合には、前記対象変化検出手段により検出された前記対象の大きさの変化に応じて前記基準画像を変更することを特徴とする画像認識装置。
【請求項５】
請求項３または請求項４に記載の画像認識装置において、
前記変更手段は、前記位置判定手段により前記焦点調節状態が合焦状態に最も近い前記測距点の位置と前記認識された画像の位置とが一致していないと判定され、かつ、前記類似度判定手段により類似度が高いと判定された場合は、前記認識手段により認識された画像の位置の画像により前記基準画像を変更することを特徴とする画像認識装置。
【請求項６】
請求項５に記載の画像認識装置において、
前記変更手段は、前記位置判定手段により前記焦点調節状態が合焦状態に最も近い前記測距点の位置と前記認識された画像の位置とが一致していないと判定され、かつ、前記類似度判定手段により類似度が低いと判定された場合は、前記対象変化検出手段により検出された前記対象の大きさと位置の変化に応じて前記基準画像を変更することを特徴とする画像認識装置。
【請求項７】
請求項１〜６のいずれか１項に記載の画像認識装置を備えることを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００９−６３６８８（Ｐ２００９−６３６８８Ａ）
【公開日】平成２１年３月２６日（２００９．３．２６）
【国際特許分類】
【出願番号】特願２００７−２２９７７０（Ｐ２００７−２２９７７０）
【出願日】平成１９年９月５日（２００７．９．５）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２１年３月２６日（２００９．３．２６）
【国際特許分類】
【出願日】平成１９年９月５日（２００７．９．５）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]