焦点調節装置及びその制御方法
【課題】 被写体が大きく移動する場合や、手ぶれなどで被写体が焦点検出領域から外れる場合でも、追尾被写体の位置に基づいて最適な焦点検出位置を選択可能にすることで追尾性能を向上させた焦点調節装置を提供する。
【解決手段】 複数の焦点検出領域を備えた焦点調節装置は、指定した追尾被写体に対応する測光領域を抽出領域に設定し、該抽出領域の測光情報を保持する設定手段と、引き続き出力される測光情報から、前記設定手段が保持する前記抽出領域の測光情報に類似した測光情報を有する測光領域を追尾被写体位置として順次検出する被写体追尾手段とを有する。検出された追尾被写体位置が焦点検出領域内である場合、該追尾被写体位置に対応する焦点検出領域を用いて焦点検出を行い、検出された追尾被写体位置が焦点検出領域外である場合、該追尾被写体位置の近傍の焦点検出領域を用いて焦点検出を行う。
【解決手段】 複数の焦点検出領域を備えた焦点調節装置は、指定した追尾被写体に対応する測光領域を抽出領域に設定し、該抽出領域の測光情報を保持する設定手段と、引き続き出力される測光情報から、前記設定手段が保持する前記抽出領域の測光情報に類似した測光情報を有する測光領域を追尾被写体位置として順次検出する被写体追尾手段とを有する。検出された追尾被写体位置が焦点検出領域内である場合、該追尾被写体位置に対応する焦点検出領域を用いて焦点検出を行い、検出された追尾被写体位置が焦点検出領域外である場合、該追尾被写体位置の近傍の焦点検出領域を用いて焦点検出を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、焦点調節装置に関し、特に被写体追尾機能を有するカメラ等に好適な焦点調節装置及びその制御方法に関するものである。
【背景技術】
【０００２】
従来から、位相差検出方式による焦点調節装置において、複数の焦点検出位置を備えるものが知られている。この種の焦点調節装置には、測光センサーから出力される画像から追尾対象とする被写体の領域をテンプレート画像とし、連続して撮像される画像毎にテンプレート画像と類似する像の位置を検出し、これに対応する焦点検出位置を選択する（所謂、被写体追尾機能）ものがある。
【０００３】
このような被写体追尾機能を有する焦点調節において、追尾被写体を誤認識する場合や、追尾被写体の位置に対応する焦点検出位置で焦点検出不能になる場合、追尾被写体の位置で焦点状態を検出することができないおそれがある。これに対し、例えば、特許文献１では、複数の焦点検出位置で焦点状態を検出した結果、すべて焦点検出不能であれば、さらに多くの焦点検出位置で焦点状態を検出する方法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２６５２３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１は、焦点状態を検出可能な焦点検出領域内において、段階的に焦点検出位置を拡げていくというもので、焦点検出領域外において追尾被写体の位置が検出されたときに最適な焦点検出位置を選択するものではない。
【０００６】
本発明の目的は、被写体が大きく移動する場合や、手ぶれなどで被写体が焦点検出領域から外れる場合でも、追尾被写体の位置に基づいて最適な焦点検出位置を選択可能にすることで追尾性能を向上させた焦点調節装置を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本願第１の発明は、複数の焦点検出領域を備え、撮像光学系を通過した被写体からの光束の分割方向における相対的位置ずれ量に基づいて焦点状態を検出する焦点検出手段と、前記撮像光学系によって形成される被写体像を複数の測光領域に分割して測光し、前記測光領域毎に測光情報を出力する測光手段と、指定した追尾被写体に対応する測光領域を抽出領域に設定し、該抽出領域の測光情報を保持する設定手段と、前記測光手段で引き続き出力される測光情報から、前記設定手段が保持する前記抽出領域の測光情報に類似した測光情報を有する測光領域を追尾被写体位置として順次検出する被写体追尾手段とを有し、前記焦点検出手段は、前記被写体追尾手段で検出された追尾被写体位置が前記焦点検出領域内である場合、前記追尾被写体位置に対応する前記焦点検出領域を用いて焦点検出を行い、前記被写体追尾手段で検出された追尾被写体位置が前記焦点検出領域外である場合、前記追尾被写体位置の近傍の前記焦点検出領域を用いて焦点検出を行うことを特徴とする焦点調節装置である。
【０００８】
本願第２の発明は、複数の焦点検出領域を備え、撮像光学系を通過した被写体からの光束の分割方向における相対的位置ずれ量に基づいて焦点状態を検出する焦点検出ステップと、前記撮像光学系によって形成される被写体像を複数の測光領域に分割して測光し、前記測光領域毎に測光情報を出力する測光ステップと、指定した追尾被写体に対応する測光領域を抽出領域に設定し、該抽出領域の測光情報を保持する設定ステップと、前記測光ステップにより引き続き出力される測光情報から、前記設定ステップで保持する前記抽出領域の測光情報に類似した測光情報を有する測光領域を追尾被写体位置として順次検出する被写体追尾ステップとを有し、前記焦点検出ステップにおいて、前記被写体追尾ステップで検出された追尾被写体位置が前記焦点検出領域内である場合、前記追尾被写体位置に対応する前記焦点検出領域を用いて焦点検出を行い、前記被写体追尾ステップで検出された追尾被写体位置が前記焦点検出領域外である場合、前記追尾被写体位置の近傍の前記焦点検出領域を用いて焦点検出を行うことを特徴とする焦点調節装置の制御方法である。
【発明の効果】
【０００９】
本発明によれば、被写体が大きく移動する場合や、手ぶれなどで被写体が焦点検出領域から外れる場合でも、追尾被写体の位置に基づいて最適な焦点検出位置を選択可能にすることで追尾性能を向上させた焦点調節装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態に関わる焦点検出装置のブロック図である。
【図２】本実施形態に関わる焦点検出装置の構成の模式図である。
【図３】本実施形態に関わる焦点検出装置の焦点検出センサーと測光センサーの模式図である。
【図４】本実施形態に関わる焦点検出装置の動作フローを説明する図である。
【図５】本実施形態に関わる焦点検出装置の被写体追尾処理のフローを説明する図である。
【図６】本実施形態に関わる焦点検出装置の被写体追尾処理を説明する図である。
【図７】本実施形態に関わる焦点検出装置の被写体追尾処理を説明する図である。
【図８】本実施形態に関わる焦点検出装置の焦点検出位置の設定のフローを説明する図である。
【図９】本実施形態に関わる抽出領域の設定のフローを説明する図である。
【図１０】本実施形態に関わる焦点検出装置の焦点検出位置の設定と抽出領域の設定を説明する図である。
【図１１】本実施形態に関わる焦点検出装置の焦点検出位置の設定と抽出領域の設定を説明する図である。
【発明を実施するための形態】
【００１１】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は、本発明の実施形態に関わるカメラ１００（焦点検出装置）のブロック図を示したものである。
【００１２】
図１において、撮像素子１０７は、撮像光学系１０１を通過した被写体光学像を形成するＣＣＤやＣＭＯＳセンサー等である。撮像素子１０７は、複数の画素から成り、撮像光学系１０１によって形成される被写体像を光電変換して撮像信号を出力する。絞りシャッター１１０は、カメラ１００本体内に入射する光の量を調節する。シャッター１１１は、撮像素子１０７の露光時間を調節する。
【００１３】
図１では、主ミラー１０２が撮影光束内に挿入された状態（ミラーダウン）を示している。半透過部を有する主ミラー１０２は、撮影時には撮影光束外へ退避し、焦点検出時には撮影光束内（光路中）に斜設される。また、主ミラー１０２は、撮影光束内に斜設された状態で、撮像光学系１０１を通過した光束の一部をピント板１０３、ペンタプリズム１０４、及び、接眼レンズ１０５から構成されるファインダ光学系に導く。該光束が測光光学系１０９に入射し、撮像光学系１０１を通過した被写体光学像の輝度信号と色差信号が検出される。
【００１４】
サブミラー１０６は、主ミラー１０２の動作に同期して主ミラー１０２に対して折り畳み、展開可能に構成されている。主ミラー１０２の半透過部を通過した光束の一部は、サブミラー１０６によって下方へ反射され、位相差方式の測距光学系１０８に入射し、撮像光学系１０１の焦点状態が検出される。
【００１５】
次に、本発明の実施形態に関わるカメラ１００の機能について、図２と図３の模式図を用いて説明する。なお、図２において、図１と同じ構成要素には同じ参照番号を付している。また、図３において、図２と同じ構成要素には同じ参照番号を付している。
【００１６】
システム制御部２０１は、カメラ１００全体の制御を行うＣＰＵ、記憶装置であるＲＡＭなどから構成され、ＡＦ制御部２０２など後述する各部の動作を適宜制御する。ＡＦ制御部２０２は、システム制御部２０１に接続され、測距光学系１０８に備え付けられた焦点検出センサー２０３を駆動する。焦点検出センサー２０３は、図３（ａ）に示す６１点の焦点検出位置３０１の配置に対応する一対のラインセンサー３０２で構成されている。ＡＦ制御部２０２は、サブミラー１０６を介して入射される被写体からの光束を電気信号に変換し、該光束の分割方向における一対の像信号のずれ量に基づいて各ラインセンサーに対応する焦点検出位置のデフォーカス量を計算する。
【００１７】
ＡＥ制御部２０４は、システム制御部２０１に接続され、測光光学系１０９に備え付けられた測光センサー２０５を駆動する。測光センサー２０５は、図３（ｂ）に示す複数の測光領域に分割され、各測光領域３０３においてＲＧＢ成分を検出する複数画素から構成されている。ＡＥ制御部２０４は、撮像光学系１０１を通過した被写体光学像の光束を電気信号に変換し、測光画像データを読み出し、このデータに基づいて自動露出演算を行い、結果をシステム制御部２０１に出力する。システム制御部２０１は、ＡＥ制御部２０４から出力された自動露出演算の結果に基づいて、絞りシャッター１１０の絞りを制御し、カメラ本体内に入射する光の量を調節する。さらに、ＡＥ制御部２０４は、レリーズ時にシャッター１１１を制御し、撮像素子１０７の露光時間を調節する。
【００１８】
また、ＡＥ制御部２０４は、測光センサー２０５から読み出した測光画像データを用いて被写体追尾を行い、被写体の位置データをシステム制御部２０１に出力する。システム制御部２０１は、ＡＥ制御部２０４から出力された追尾被写体の位置データをＡＦ制御部２０２に出力する。ＡＦ制御部２０２は、システム制御部２０１から出力された追尾対象位置とその近傍にある焦点検出位置のデフォーカス量を計算し、最適な１つの焦点検出位置を選択する。
【００１９】
レンズ制御部２０６は、システム制御部２０１に接続され、撮像光学系１０１を駆動する。ミラー制御部２０７は、システム制御部２０１に接続され、主ミラー１０２を撮影光束外へ駆動する。撮像素子制御部２０８は、システム制御部２０１に接続され、撮像素子１０７を駆動し、撮像光学系１０１によって形成される被写体像を光電変換してシステム制御部２０１に撮像信号を出力する。デジタル信号処理部２０９は、システム制御部２０１に接続され、撮像素子制御部２０８を介して撮像素子１０７から読み出される撮像信号について、シェーディング補正やガンマ補正などの画像処理を施す。
【００２０】
操作部２１０は、システム制御部２０１に接続され、カメラ１００（撮像素子）の電源をオン・オフするための電源スイッチ、レリーズボタンなど、カメラ１００（撮像素子）を操作するための操作部材が設けられている。これらのスイッチやボタンを操作すると、その操作に応じた信号がシステム制御部２０１に入力される。なお、レリーズボタンには、撮影者により操作されるレリーズボタンの第１ストローク操作（半押し操作）によりＯＮするレリーズスイッチＳＷ１と、レリーズボタンの第２ストローク操作（全押し操作）によりＯＮするレリーズスイッチＳＷ２とが接続されている。
【００２１】
ここで、図３（ａ）と（ｂ）を用いて本実施形態の焦点検出センサー２０３の焦点検出領域と測光センサー２０５の測光領域について説明する。なお、図３において図２と同じ構成要素には同じ参照番号を付している。焦点検出センサー２０３の焦点検出領域は、図３（ａ）に示す６１点の焦点検出位置と、それに対応して配置されたラインセンサー３０２からなる。図３（ｂ）において、測光センサー２０５は、複数の測光領域３０３に分割されている。
【００２２】
続いて、図４を用いて本実施形態に関わるカメラ１００の動作フローを説明する。なお、図４において、図１および図２と同じ構成要素には同じ参照番号を付している。
【００２３】
図４では、システム制御部２０１、ＡＦ制御部２０２、ＡＥ制御部２０４の３つの制御部が並列的に動作していることを示している。システム制御部２０１は、ステップ４０１で操作部２１０のレリーズボタンからレリーズスイッチＳＷ１またはＳＷ２の入力を受け付け、ステップ４０２のＡＥ／ＡＦにおいてＡＦ制御部２０２およびＡＥ制御部２０４の処理を開始させる。その後、システム制御部２０１は、ステップ４０３のミラーアップ動作においてミラー制御部２０７を介して主ミラー１０２を撮影光束外へ駆動させる。また、システム制御部２０１は、ステップ４０４の撮像において撮像素子制御部２０８を介して撮像素子１０７を駆動させる。さらに、システム制御部２０１は、ステップ４０５のミラーダウン動作において、ミラー制御部２０７を介して主ミラー１０２を撮影光束内に駆動する。
【００２４】
ＡＦ制御部２０２は、レリーズスイッチＳＷ１またはＳＷ２の入力を受け付けたシステム制御部２０１からのＡＦ開始データＤ０１を受けて動作を開始する。
【００２５】
ステップ４０６では、ＡＦ制御部２０２は、焦点検出センサー２０３に蓄積を行う。ステップ４０７では、ＡＦ制御部２０２は、焦点検出センサー２０３から像信号を読み出す。ステップ４０８では、ＡＦ制御部２０２は、読み出した像信号に基づいて焦点検出演算を行い、各焦点検出位置のデフォーカス量を計算し、最適な１つの焦点検出位置を選択する。ここで、システム制御部２０１から後述するデータＤ０４が通知されるのを待つ。
【００２６】
ＡＥ制御部２０４は、レリーズスイッチＳＷ１またはＳＷ２の入力を受け付けたシステム制御部２０１からのＡＥ開始データＤ０２を受けて動作を開始する。
【００２７】
ステップ４１１では、ＡＥ制御部２０４は、測光センサー２０５に電荷蓄積を行う。ステップ４１２では、ＡＥ制御部２０４は、測光センサー２０５から輝度信号および色差信号を持つ画像データを読み出す。ステップ４１３では、ＡＥ制御部２０４は、被写体追尾を行う。被写体追尾では、後述する追尾テンプレート生成ステップ４１７で生成されたテンプレート画像を追尾対象とし、ステップ４１２で読み出した画像データとテンプレートマッチングを行う。これにより追尾被写体の位置を検出し、テンプレートマッチングの結果に基づいて追尾の信頼性を求める。詳細な処理の説明は後述する。
【００２８】
ＡＥ制御部２０４は、ステップ４１３で検出した追尾被写体の位置と追尾の信頼性のデータをＤ０３としてシステム制御部２０１に通知する。システム制御部２０１は、ＡＥ制御部２０４から追尾被写体の位置と追尾の信頼性のデータＤ０３が通知されると、ＡＦ制御部２０２に追尾被写体の位置と追尾の信頼性のデータＤ０３をＤ０４として通知する。
【００２９】
ＡＦ制御部２０２は、追尾被写体の位置と追尾の信頼性のデータＤ０４が通知されると、ステップ４０９において追尾被写体の位置に対応する焦点検出位置を設定する。さらにステップ４１０において、ＡＦ制御部２０２は、その焦点検出位置のデフォーカス量を計算し、ステップ４０８で予め選択した１つの焦点検出位置と比較し、最適な１つの焦点検出位置を選択する。ＡＦ制御部２０２は、この選択した焦点検出位置の情報をデータＤ０５としてシステム制御部２０１に通知する。ステップ４０９の焦点検出位置の設定の詳細な説明は後述する。ステップ４１４では、ＡＥ制御部２０４は、ステップ４１２で読み出した画像データに基づいて露出演算を行い、結果をデータＤ０６としてシステム制御部２０１に通知する。
【００３０】
ステップ４１５では、ステップ４１２で読み出した画像データに基づいて顔検出する。顔検出についてはすでに多くの手法が提案されており、詳細な説明は省略する。例えば、特開平８−６３５９７号公報では、人の顔の形状に相当する顔候補領域を決定し、この顔候補領域の特徴量から顔領域を決定するような手法が提案されている。また、画像から人の顔の輪郭を抽出することにより顔候補領域を検出する手法や、顔の様々な形状をした複数のテンプレートとの相関値を計算し、この相関値に基づいて顔候補領域とする手法が提案されている。
【００３１】
ステップ４１６で、ＡＥ制御部２０４は、ステップ４１５で検出された顔の領域、ＡＦ選択焦点検出位置情報、テンプレート生成要求フラグで構成されるデータＤ０７に基づいて、ステップ４１２で読み出した画像データからテンプレートとして抽出する領域を決定する。領域の決定においては、ステップ４１５で顔検出が成立したかどうかで分岐処理を行う。まず、ステップ４１５で顔検出が成立した場合には、ＡＥ制御部２０４は、検出した顔の領域を中心とする一定領域をテンプレート抽出領域に設定する。一方、ステップ４１５で顔検出が成立しなかった場合には、ＡＥ制御部２０４は、直前の被写体追尾処理ステップ４１３で検出した追尾対象位置を中心とする一定領域をテンプレート抽出領域に設定する。
【００３２】
上記は顔の領域を優先して追尾させるための処理であるが、被写体追尾処理の結果に応じて、顔検出が成立しても直前の被写体追尾処理ステップ４１３で検出した追尾対象位置を中心とする一定領域をテンプレート抽出領域に設定しても良い。
【００３３】
ステップ４１７では、ＡＥ制御部２０４は、ステップ４１６で設定したテンプレートの抽出領域内の色分布を計算し、追尾対象の特徴色を検出する。特徴色の検出は次のようにして行う。まず、テンプレート抽出領域内の各画素の色信号をＲＧＢ色データに変換し、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれの強さに基づいてＲＧＢヒストグラムを作成する。これをテンプレート抽出領域内の全ての画素について行い、最も度数の多い色を追尾対象の特徴色とする。
【００３４】
続いて、ステップ４１３の被写体追尾処理について図５と図６を用いて説明する。図５は、被写体追尾処理のフローチャートを示した図であり、すべてＡＥ制御部２０４が処理を行う。図６（ａ）では、図３（ａ）と同様に６１点の焦点検出位置が示されている。撮影者が選択した焦点検出位置６０１に基づいて、ステップ４１６において図６（ｂ）の入力画像６０２からテンプレート抽出領域６０３ａが設定され、図６（ｃ）のテンプレート画像６０３ｂが生成される。
【００３５】
ステップ５０１では、ＡＥ制御部２０４は、測光センサー２０５から読み出したカラー画像データに対して色変換処理を行い、図６（ｄ）の色変換画像６０６を生成する。具体的には、前の駒の追尾テンプレート生成ステップ４１７で抽出された特徴色（図６（ｃ）の斜線部分の色）を高輝度に、それ以外の色を低輝度に変換する。これは、追尾対象の特徴色を強調した状態で輝度画像を生成することでテンプレートマッチングの演算負荷を小さくするためである。
【００３６】
ステップ５０２では、前の駒の追尾テンプレート生成ステップ４１７で作成したテンプレート画像６０３ｂを用いてテンプレートマッチングを行い、色変換画像６０６の中でテンプレート画像と最も相関の高い（類似した）領域を検出する。ＡＥ制御部２０４は、この最も相関の高い領域について、追尾被写体の位置６０７と相関量に基づいて求められる追尾の信頼性をデータＤ０３としてシステム制御部２０１に通知する。システム制御部２０１は、追尾被写体の位置６０７と追尾の信頼性をデータＤ０４としてＡＦ制御部２０２に通知する。
【００３７】
なお、テンプレートマッチングの方法としては、相互相関関数や、残差逐次検定法などを用いれば良い。また、追尾の信頼性を求めるには、相関量が設定した閾値よりも高ければ追尾の信頼性が高いと判断し、閾値よりも低ければ追尾の信頼性が低いと判断すれば良い。テンプレートマッチングおよび追尾の信頼性を求める方法は、これらの方法に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００３８】
続いて、ステップ４１０の焦点検出位置再選択について図７を用いて説明する。
【００３９】
ステップ４１０では、ＡＦ制御部２０２は、システム制御部２０１からデータＤ０４として通知される追尾被写体の位置６０７に対応する図７の焦点検出位置６０４を設定する。ＡＦ制御部２０２は、設定された焦点検出位置６０４とその周囲の焦点検出位置６０５ａ〜ｄのデフォーカス量を計算し、最適な１つの焦点検出位置を選択する。
【００４０】
ここで、周囲の焦点検出位置６０５ａ〜ｄのデフォーカス量を計算するのは、追尾被写体の位置６０７が焦点検出位置と焦点検出位置の間に存在する場合があるからである。追尾被写体の位置６０７と焦点検出位置６０４の位置が一致する場合は周囲の焦点検出位置６０５ａ〜ｄのデフォーカス量を計算しないようにしても良い。また、追尾の信頼性に応じて、信頼性が高いなら周囲の焦点検出位置６０５ａ〜ｄのデフォーカス量を計算しないようにしても良い。
【００４１】
以下、図８を用いて、本発明の実施例によるステップ４０９の焦点検出位置の設定について説明する。
【００４２】
ステップ７０１では、システム制御部２０１からＡＦ制御部２０２にデータＤ０４として通知される追尾の信頼性に応じて、ＡＦ制御部２０２は、追尾が成立したがどうかを判定する。追尾の信頼性が高ければ追尾が成立したと判定し、ステップ７０２へ進む。一方、追尾の信頼性が低ければ、焦点検出位置は設定せずに、ステップ４０８で予め選択した焦点検出位置の情報をＤ０５としてシステム制御部２０１に通知する。
【００４３】
ステップ７０２では、システム制御部２０１からＡＦ制御部２０２にデータＤ０４として通知される追尾被写体の位置が焦点検出センサー２０３の焦点検出領域内か外かの判定を行う。追尾被写体の位置が焦点検出領域内であればステップ７０３へ進み、焦点検出領域外であればステップ７０４へ進む。
【００４４】
ステップ７０３では、ＡＦ制御部２０２は、追尾被写体の位置に対応する焦点検出位置を設定する。
【００４５】
ステップ７０４では、ＡＦ制御部２０２は、追尾被写体の位置が初めて焦点検出領域外になったかどうかを判定する。初めてであればステップ７０５へ進み、初めてでなければステップ７０６へ進む。
【００４６】
ステップ７０５では、ＡＦ制御部２０２は、現在の時刻を記憶する。これを領域外タイマーとする。
【００４７】
ステップ７０６では、ＡＦ制御部２０２は、ステップ７０５で記憶した時刻からの経過時間を計り、設定された時間を経過したかどうかを判定する。設定された時間を経過していなければステップ７０７へ進み、経過していればステップ７０８へ進む。
【００４８】
ステップ７０７では、ＡＦ制御部２０２は、追尾被写体の位置の近傍の焦点検出位置を選択して設定する。
【００４９】
ステップ７０８では、システム制御部２０１からＡＦ制御部２０２にデータＤ０４として通知される追尾の信頼性に応じて、信頼性が高ければステップ７０７へ進み、信頼性が低ければステップ７０９へ進む。
【００５０】
ステップ７０９では、ＡＦ制御部２０２は、ＡＥ制御部２０４に対して選択している焦点検出位置の位置でテンプレートを更新させるためにテンプレート生成要求フラグをセットする。テンプレート生成要求フラグは、ステップ７０７で選択した焦点検出位置とともにデータＤ０５としてシステム制御部２０１に通知され、システム制御部２０１を介してデータＤ０７としてＡＥ制御部２０４に通知される。
【００５１】
続いて、図９を用いて、本発明の実施例による、ステップ４１６の抽出領域の設定について説明する。
【００５２】
ステップ７１１では、ＡＥ制御部２０４は、被写体追尾処理が１回目か２回目以降かを判定する。１回目ならステップ７１２へ進み、２回目以降ならステップ７１５へ進む。
【００５３】
ステップ７１２では、ＡＥ制御部２０４は、ステップ４１５で顔検出が成立したかどうかを判定する。顔検出が成立していなければステップ７１３へ進み、成立していればステップ７１４へ進む。
【００５４】
ステップ７１３では、ＡＥ制御部２０４は、ユーザー選択焦点検出位置に対応する測光センサー２０５の測光領域を設定する。
【００５５】
ステップ７１４では、ＡＥ制御部２０４は、ユーザー選択焦点検出位置に最も近い顔の領域を設定する。
【００５６】
ステップ７１５では、ＡＥ制御部２０４は、システム制御部２０１から通知されるデータＤ０７のテンプレート生成要求フラグがセットされているかどうかの判定を行う。テンプレート生成要求フラグがセットされていればステップ７１６へ進み、セットされていなければ抽出領域の設定の処理を終了する。
【００５７】
ステップ７１６では、ＡＥ制御部２０４は、システム制御部２０１から通知されるデータＤ０７に含まれる選択された焦点検出位置に対応する測光領域を設定する。
【００５８】
以上、説明した本発明の実施例によれば、被写体が大きく移動したか、または、手ぶれなどで追尾被写体を焦点検出領域から外してしまっても、追尾対象とした被写体を追わせ続けることができる。
【００５９】
図１０（ａ）において、撮影者が焦点検出位置８０１を選択し、被写体Ａを狙っているとする。図１０（ｂ）において、ＡＥ制御部２０４は、図９のステップ７１１の追尾回数の判定において追尾回数が１回目であることからステップ４１５の顔検出を行い、顔の領域８０４と８０５を検出したことを示している。この場合、図９のステップ７１２の顔検出の成立／不成立の判定において顔検出は成立している、したがって、ステップ７１４において、ユーザーが選択した焦点検出位置８０１に最も近い顔の領域８０４をテンプレートとして抽出する領域に設定する。そして、ステップ４１７により設定されたテンプレート抽出領域８０４から追尾対象の特徴色を設定し、追尾を開始する。
【００６０】
ＡＦ制御部２０２は、図４のステップ４０９の焦点検出位置の設定において、図８のステップ７０２により追尾被写体の位置８０４は焦点検出領域内であると判定し、ステップ７０３により追尾被写体の位置に対応する焦点検出位置８０２を設定する。そして、ステップ４１０の焦点検出位置再選択において、ＡＦ制御部２０２は、焦点検出位置８０２および周囲の焦点検出位置８０３ａ〜ｃの焦点検出位置のデフォーカス量を計算し、最適な１つの焦点検出位置を選択する。
【００６１】
続いて、図１１（ａ）では、追尾を開始してから被写体が大きく移動したか、または、手ぶれなどで追尾被写体Ａを焦点検出領から外してしまった場合を示している。このとき、ＡＥ制御部２０４は、図９のステップ７１１の追尾回数の判定において、追尾回数が２回目以降であるので、ステップ７１５へ進む。ステップ７１５のテンプレート生成要求フラグがセットされているかどうかの判定において、テンプレート生成要求フラグがセットされていないので抽出領域の設定を終了する。つまり、以前に抽出した追尾対象の特徴色を追尾し続ける。
【００６２】
ＡＦ制御部２０２は、図４のステップ４０９の焦点検出位置の設定において、図８のステップ７０１の追尾成立の判定で追尾は成立しているのでステップ７０２に進む。ステップ７０２において、追尾被写体の位置８０８は焦点検出領域外であると判定し、ステップ７０４に進む。ステップ７０４において、初めての焦点検出領域外なので、ステップ７０５に進んで時刻を記憶し、ステップ７０７で追尾被写体の位置８０４の近傍の焦点検出位置８０２を設定する。そして、ステップ４１０の焦点検出位置再選択において、焦点検出位置８０６および周囲の焦点検出位置８０７ａ〜ｃの焦点検出位置のデフォーカス量を計算し、最適な１つの焦点検出位置を選択する。
【００６３】
ＡＦ制御部２０２は、ステップ７０６の領域外タイマー設定時間経過の判定において領域外タイマーが設定時間内の場合、ステップ７０７においてＡＥ制御部２０４で追尾している被写体の位置の近傍の焦点検出位置を設定する。これにより、追尾被写体の領域の一部分で焦点状態を検出でき、追尾被写体が再び焦点検出領域内に戻ってきたときに大きく焦点検出位置を変更せずに追尾被写体の位置に対応する焦点検出位置で焦点状態を検出することができる。
【００６４】
一方、ＡＦ制御部２０２は、ステップ７０６の領域外タイマー設定時間経過の判定において領域外タイマーが設定時間を経過した場合、ステップ７０８において追尾の信頼性が高いかどうかを判定する。ステップ７０８において追尾の信頼性が高いと判定すれば、追尾被写体が再び焦点検出領域内に戻ってくる可能性があるとし、継続して被写体の位置の近傍の焦点検出位置を設定する。一方、追尾の信頼性が低いと判定すれば、追尾被写体が再び焦点検出領域内に戻ってくる可能性が低いとし、現在選択している焦点検出位置が追尾被写体の領域の一部分である可能性が高いことからステップ７０９においてテンプレート生成要求フラグをセットする。このテンプレート生成要求フラグがセットされると、ＡＥ制御部２０４は、図４のステップ４１６の抽出領域の設定において、図９のステップ７１５のテンプレート生成要求フラグがセットされているかどうかの判定で、ステップ７１６に進む。ステップ７１６では、ＡＥ制御部２０４は、追尾被写体の領域の一部分である可能性が高い現在選択している焦点検出位置に対応する測光領域をテンプレートの抽出領域に設定する。そして、図４のステップ４１７において、ＡＥ制御部２０４は、追尾対象とする特徴色を更新する。このように、本実施形態によれば、継続して追尾被写体の領域の一部分の焦点検出位置で焦点状態を検出できる。
【００６５】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００６６】
１００ カメラ
１０１ 撮像光学系
１０８ 測距光学系
１０９ 測光光学系
２０１ システム制御部
２０２ ＡＦ制御部
２０３ 焦点検出センサー
２０４ ＡＥ制御部
２０５ 測光センサー
【技術分野】
【０００１】
本発明は、焦点調節装置に関し、特に被写体追尾機能を有するカメラ等に好適な焦点調節装置及びその制御方法に関するものである。
【背景技術】
【０００２】
従来から、位相差検出方式による焦点調節装置において、複数の焦点検出位置を備えるものが知られている。この種の焦点調節装置には、測光センサーから出力される画像から追尾対象とする被写体の領域をテンプレート画像とし、連続して撮像される画像毎にテンプレート画像と類似する像の位置を検出し、これに対応する焦点検出位置を選択する（所謂、被写体追尾機能）ものがある。
【０００３】
このような被写体追尾機能を有する焦点調節において、追尾被写体を誤認識する場合や、追尾被写体の位置に対応する焦点検出位置で焦点検出不能になる場合、追尾被写体の位置で焦点状態を検出することができないおそれがある。これに対し、例えば、特許文献１では、複数の焦点検出位置で焦点状態を検出した結果、すべて焦点検出不能であれば、さらに多くの焦点検出位置で焦点状態を検出する方法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２６５２３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１は、焦点状態を検出可能な焦点検出領域内において、段階的に焦点検出位置を拡げていくというもので、焦点検出領域外において追尾被写体の位置が検出されたときに最適な焦点検出位置を選択するものではない。
【０００６】
本発明の目的は、被写体が大きく移動する場合や、手ぶれなどで被写体が焦点検出領域から外れる場合でも、追尾被写体の位置に基づいて最適な焦点検出位置を選択可能にすることで追尾性能を向上させた焦点調節装置を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本願第１の発明は、複数の焦点検出領域を備え、撮像光学系を通過した被写体からの光束の分割方向における相対的位置ずれ量に基づいて焦点状態を検出する焦点検出手段と、前記撮像光学系によって形成される被写体像を複数の測光領域に分割して測光し、前記測光領域毎に測光情報を出力する測光手段と、指定した追尾被写体に対応する測光領域を抽出領域に設定し、該抽出領域の測光情報を保持する設定手段と、前記測光手段で引き続き出力される測光情報から、前記設定手段が保持する前記抽出領域の測光情報に類似した測光情報を有する測光領域を追尾被写体位置として順次検出する被写体追尾手段とを有し、前記焦点検出手段は、前記被写体追尾手段で検出された追尾被写体位置が前記焦点検出領域内である場合、前記追尾被写体位置に対応する前記焦点検出領域を用いて焦点検出を行い、前記被写体追尾手段で検出された追尾被写体位置が前記焦点検出領域外である場合、前記追尾被写体位置の近傍の前記焦点検出領域を用いて焦点検出を行うことを特徴とする焦点調節装置である。
【０００８】
本願第２の発明は、複数の焦点検出領域を備え、撮像光学系を通過した被写体からの光束の分割方向における相対的位置ずれ量に基づいて焦点状態を検出する焦点検出ステップと、前記撮像光学系によって形成される被写体像を複数の測光領域に分割して測光し、前記測光領域毎に測光情報を出力する測光ステップと、指定した追尾被写体に対応する測光領域を抽出領域に設定し、該抽出領域の測光情報を保持する設定ステップと、前記測光ステップにより引き続き出力される測光情報から、前記設定ステップで保持する前記抽出領域の測光情報に類似した測光情報を有する測光領域を追尾被写体位置として順次検出する被写体追尾ステップとを有し、前記焦点検出ステップにおいて、前記被写体追尾ステップで検出された追尾被写体位置が前記焦点検出領域内である場合、前記追尾被写体位置に対応する前記焦点検出領域を用いて焦点検出を行い、前記被写体追尾ステップで検出された追尾被写体位置が前記焦点検出領域外である場合、前記追尾被写体位置の近傍の前記焦点検出領域を用いて焦点検出を行うことを特徴とする焦点調節装置の制御方法である。
【発明の効果】
【０００９】
本発明によれば、被写体が大きく移動する場合や、手ぶれなどで被写体が焦点検出領域から外れる場合でも、追尾被写体の位置に基づいて最適な焦点検出位置を選択可能にすることで追尾性能を向上させた焦点調節装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態に関わる焦点検出装置のブロック図である。
【図２】本実施形態に関わる焦点検出装置の構成の模式図である。
【図３】本実施形態に関わる焦点検出装置の焦点検出センサーと測光センサーの模式図である。
【図４】本実施形態に関わる焦点検出装置の動作フローを説明する図である。
【図５】本実施形態に関わる焦点検出装置の被写体追尾処理のフローを説明する図である。
【図６】本実施形態に関わる焦点検出装置の被写体追尾処理を説明する図である。
【図７】本実施形態に関わる焦点検出装置の被写体追尾処理を説明する図である。
【図８】本実施形態に関わる焦点検出装置の焦点検出位置の設定のフローを説明する図である。
【図９】本実施形態に関わる抽出領域の設定のフローを説明する図である。
【図１０】本実施形態に関わる焦点検出装置の焦点検出位置の設定と抽出領域の設定を説明する図である。
【図１１】本実施形態に関わる焦点検出装置の焦点検出位置の設定と抽出領域の設定を説明する図である。
【発明を実施するための形態】
【００１１】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は、本発明の実施形態に関わるカメラ１００（焦点検出装置）のブロック図を示したものである。
【００１２】
図１において、撮像素子１０７は、撮像光学系１０１を通過した被写体光学像を形成するＣＣＤやＣＭＯＳセンサー等である。撮像素子１０７は、複数の画素から成り、撮像光学系１０１によって形成される被写体像を光電変換して撮像信号を出力する。絞りシャッター１１０は、カメラ１００本体内に入射する光の量を調節する。シャッター１１１は、撮像素子１０７の露光時間を調節する。
【００１３】
図１では、主ミラー１０２が撮影光束内に挿入された状態（ミラーダウン）を示している。半透過部を有する主ミラー１０２は、撮影時には撮影光束外へ退避し、焦点検出時には撮影光束内（光路中）に斜設される。また、主ミラー１０２は、撮影光束内に斜設された状態で、撮像光学系１０１を通過した光束の一部をピント板１０３、ペンタプリズム１０４、及び、接眼レンズ１０５から構成されるファインダ光学系に導く。該光束が測光光学系１０９に入射し、撮像光学系１０１を通過した被写体光学像の輝度信号と色差信号が検出される。
【００１４】
サブミラー１０６は、主ミラー１０２の動作に同期して主ミラー１０２に対して折り畳み、展開可能に構成されている。主ミラー１０２の半透過部を通過した光束の一部は、サブミラー１０６によって下方へ反射され、位相差方式の測距光学系１０８に入射し、撮像光学系１０１の焦点状態が検出される。
【００１５】
次に、本発明の実施形態に関わるカメラ１００の機能について、図２と図３の模式図を用いて説明する。なお、図２において、図１と同じ構成要素には同じ参照番号を付している。また、図３において、図２と同じ構成要素には同じ参照番号を付している。
【００１６】
システム制御部２０１は、カメラ１００全体の制御を行うＣＰＵ、記憶装置であるＲＡＭなどから構成され、ＡＦ制御部２０２など後述する各部の動作を適宜制御する。ＡＦ制御部２０２は、システム制御部２０１に接続され、測距光学系１０８に備え付けられた焦点検出センサー２０３を駆動する。焦点検出センサー２０３は、図３（ａ）に示す６１点の焦点検出位置３０１の配置に対応する一対のラインセンサー３０２で構成されている。ＡＦ制御部２０２は、サブミラー１０６を介して入射される被写体からの光束を電気信号に変換し、該光束の分割方向における一対の像信号のずれ量に基づいて各ラインセンサーに対応する焦点検出位置のデフォーカス量を計算する。
【００１７】
ＡＥ制御部２０４は、システム制御部２０１に接続され、測光光学系１０９に備え付けられた測光センサー２０５を駆動する。測光センサー２０５は、図３（ｂ）に示す複数の測光領域に分割され、各測光領域３０３においてＲＧＢ成分を検出する複数画素から構成されている。ＡＥ制御部２０４は、撮像光学系１０１を通過した被写体光学像の光束を電気信号に変換し、測光画像データを読み出し、このデータに基づいて自動露出演算を行い、結果をシステム制御部２０１に出力する。システム制御部２０１は、ＡＥ制御部２０４から出力された自動露出演算の結果に基づいて、絞りシャッター１１０の絞りを制御し、カメラ本体内に入射する光の量を調節する。さらに、ＡＥ制御部２０４は、レリーズ時にシャッター１１１を制御し、撮像素子１０７の露光時間を調節する。
【００１８】
また、ＡＥ制御部２０４は、測光センサー２０５から読み出した測光画像データを用いて被写体追尾を行い、被写体の位置データをシステム制御部２０１に出力する。システム制御部２０１は、ＡＥ制御部２０４から出力された追尾被写体の位置データをＡＦ制御部２０２に出力する。ＡＦ制御部２０２は、システム制御部２０１から出力された追尾対象位置とその近傍にある焦点検出位置のデフォーカス量を計算し、最適な１つの焦点検出位置を選択する。
【００１９】
レンズ制御部２０６は、システム制御部２０１に接続され、撮像光学系１０１を駆動する。ミラー制御部２０７は、システム制御部２０１に接続され、主ミラー１０２を撮影光束外へ駆動する。撮像素子制御部２０８は、システム制御部２０１に接続され、撮像素子１０７を駆動し、撮像光学系１０１によって形成される被写体像を光電変換してシステム制御部２０１に撮像信号を出力する。デジタル信号処理部２０９は、システム制御部２０１に接続され、撮像素子制御部２０８を介して撮像素子１０７から読み出される撮像信号について、シェーディング補正やガンマ補正などの画像処理を施す。
【００２０】
操作部２１０は、システム制御部２０１に接続され、カメラ１００（撮像素子）の電源をオン・オフするための電源スイッチ、レリーズボタンなど、カメラ１００（撮像素子）を操作するための操作部材が設けられている。これらのスイッチやボタンを操作すると、その操作に応じた信号がシステム制御部２０１に入力される。なお、レリーズボタンには、撮影者により操作されるレリーズボタンの第１ストローク操作（半押し操作）によりＯＮするレリーズスイッチＳＷ１と、レリーズボタンの第２ストローク操作（全押し操作）によりＯＮするレリーズスイッチＳＷ２とが接続されている。
【００２１】
ここで、図３（ａ）と（ｂ）を用いて本実施形態の焦点検出センサー２０３の焦点検出領域と測光センサー２０５の測光領域について説明する。なお、図３において図２と同じ構成要素には同じ参照番号を付している。焦点検出センサー２０３の焦点検出領域は、図３（ａ）に示す６１点の焦点検出位置と、それに対応して配置されたラインセンサー３０２からなる。図３（ｂ）において、測光センサー２０５は、複数の測光領域３０３に分割されている。
【００２２】
続いて、図４を用いて本実施形態に関わるカメラ１００の動作フローを説明する。なお、図４において、図１および図２と同じ構成要素には同じ参照番号を付している。
【００２３】
図４では、システム制御部２０１、ＡＦ制御部２０２、ＡＥ制御部２０４の３つの制御部が並列的に動作していることを示している。システム制御部２０１は、ステップ４０１で操作部２１０のレリーズボタンからレリーズスイッチＳＷ１またはＳＷ２の入力を受け付け、ステップ４０２のＡＥ／ＡＦにおいてＡＦ制御部２０２およびＡＥ制御部２０４の処理を開始させる。その後、システム制御部２０１は、ステップ４０３のミラーアップ動作においてミラー制御部２０７を介して主ミラー１０２を撮影光束外へ駆動させる。また、システム制御部２０１は、ステップ４０４の撮像において撮像素子制御部２０８を介して撮像素子１０７を駆動させる。さらに、システム制御部２０１は、ステップ４０５のミラーダウン動作において、ミラー制御部２０７を介して主ミラー１０２を撮影光束内に駆動する。
【００２４】
ＡＦ制御部２０２は、レリーズスイッチＳＷ１またはＳＷ２の入力を受け付けたシステム制御部２０１からのＡＦ開始データＤ０１を受けて動作を開始する。
【００２５】
ステップ４０６では、ＡＦ制御部２０２は、焦点検出センサー２０３に蓄積を行う。ステップ４０７では、ＡＦ制御部２０２は、焦点検出センサー２０３から像信号を読み出す。ステップ４０８では、ＡＦ制御部２０２は、読み出した像信号に基づいて焦点検出演算を行い、各焦点検出位置のデフォーカス量を計算し、最適な１つの焦点検出位置を選択する。ここで、システム制御部２０１から後述するデータＤ０４が通知されるのを待つ。
【００２６】
ＡＥ制御部２０４は、レリーズスイッチＳＷ１またはＳＷ２の入力を受け付けたシステム制御部２０１からのＡＥ開始データＤ０２を受けて動作を開始する。
【００２７】
ステップ４１１では、ＡＥ制御部２０４は、測光センサー２０５に電荷蓄積を行う。ステップ４１２では、ＡＥ制御部２０４は、測光センサー２０５から輝度信号および色差信号を持つ画像データを読み出す。ステップ４１３では、ＡＥ制御部２０４は、被写体追尾を行う。被写体追尾では、後述する追尾テンプレート生成ステップ４１７で生成されたテンプレート画像を追尾対象とし、ステップ４１２で読み出した画像データとテンプレートマッチングを行う。これにより追尾被写体の位置を検出し、テンプレートマッチングの結果に基づいて追尾の信頼性を求める。詳細な処理の説明は後述する。
【００２８】
ＡＥ制御部２０４は、ステップ４１３で検出した追尾被写体の位置と追尾の信頼性のデータをＤ０３としてシステム制御部２０１に通知する。システム制御部２０１は、ＡＥ制御部２０４から追尾被写体の位置と追尾の信頼性のデータＤ０３が通知されると、ＡＦ制御部２０２に追尾被写体の位置と追尾の信頼性のデータＤ０３をＤ０４として通知する。
【００２９】
ＡＦ制御部２０２は、追尾被写体の位置と追尾の信頼性のデータＤ０４が通知されると、ステップ４０９において追尾被写体の位置に対応する焦点検出位置を設定する。さらにステップ４１０において、ＡＦ制御部２０２は、その焦点検出位置のデフォーカス量を計算し、ステップ４０８で予め選択した１つの焦点検出位置と比較し、最適な１つの焦点検出位置を選択する。ＡＦ制御部２０２は、この選択した焦点検出位置の情報をデータＤ０５としてシステム制御部２０１に通知する。ステップ４０９の焦点検出位置の設定の詳細な説明は後述する。ステップ４１４では、ＡＥ制御部２０４は、ステップ４１２で読み出した画像データに基づいて露出演算を行い、結果をデータＤ０６としてシステム制御部２０１に通知する。
【００３０】
ステップ４１５では、ステップ４１２で読み出した画像データに基づいて顔検出する。顔検出についてはすでに多くの手法が提案されており、詳細な説明は省略する。例えば、特開平８−６３５９７号公報では、人の顔の形状に相当する顔候補領域を決定し、この顔候補領域の特徴量から顔領域を決定するような手法が提案されている。また、画像から人の顔の輪郭を抽出することにより顔候補領域を検出する手法や、顔の様々な形状をした複数のテンプレートとの相関値を計算し、この相関値に基づいて顔候補領域とする手法が提案されている。
【００３１】
ステップ４１６で、ＡＥ制御部２０４は、ステップ４１５で検出された顔の領域、ＡＦ選択焦点検出位置情報、テンプレート生成要求フラグで構成されるデータＤ０７に基づいて、ステップ４１２で読み出した画像データからテンプレートとして抽出する領域を決定する。領域の決定においては、ステップ４１５で顔検出が成立したかどうかで分岐処理を行う。まず、ステップ４１５で顔検出が成立した場合には、ＡＥ制御部２０４は、検出した顔の領域を中心とする一定領域をテンプレート抽出領域に設定する。一方、ステップ４１５で顔検出が成立しなかった場合には、ＡＥ制御部２０４は、直前の被写体追尾処理ステップ４１３で検出した追尾対象位置を中心とする一定領域をテンプレート抽出領域に設定する。
【００３２】
上記は顔の領域を優先して追尾させるための処理であるが、被写体追尾処理の結果に応じて、顔検出が成立しても直前の被写体追尾処理ステップ４１３で検出した追尾対象位置を中心とする一定領域をテンプレート抽出領域に設定しても良い。
【００３３】
ステップ４１７では、ＡＥ制御部２０４は、ステップ４１６で設定したテンプレートの抽出領域内の色分布を計算し、追尾対象の特徴色を検出する。特徴色の検出は次のようにして行う。まず、テンプレート抽出領域内の各画素の色信号をＲＧＢ色データに変換し、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれの強さに基づいてＲＧＢヒストグラムを作成する。これをテンプレート抽出領域内の全ての画素について行い、最も度数の多い色を追尾対象の特徴色とする。
【００３４】
続いて、ステップ４１３の被写体追尾処理について図５と図６を用いて説明する。図５は、被写体追尾処理のフローチャートを示した図であり、すべてＡＥ制御部２０４が処理を行う。図６（ａ）では、図３（ａ）と同様に６１点の焦点検出位置が示されている。撮影者が選択した焦点検出位置６０１に基づいて、ステップ４１６において図６（ｂ）の入力画像６０２からテンプレート抽出領域６０３ａが設定され、図６（ｃ）のテンプレート画像６０３ｂが生成される。
【００３５】
ステップ５０１では、ＡＥ制御部２０４は、測光センサー２０５から読み出したカラー画像データに対して色変換処理を行い、図６（ｄ）の色変換画像６０６を生成する。具体的には、前の駒の追尾テンプレート生成ステップ４１７で抽出された特徴色（図６（ｃ）の斜線部分の色）を高輝度に、それ以外の色を低輝度に変換する。これは、追尾対象の特徴色を強調した状態で輝度画像を生成することでテンプレートマッチングの演算負荷を小さくするためである。
【００３６】
ステップ５０２では、前の駒の追尾テンプレート生成ステップ４１７で作成したテンプレート画像６０３ｂを用いてテンプレートマッチングを行い、色変換画像６０６の中でテンプレート画像と最も相関の高い（類似した）領域を検出する。ＡＥ制御部２０４は、この最も相関の高い領域について、追尾被写体の位置６０７と相関量に基づいて求められる追尾の信頼性をデータＤ０３としてシステム制御部２０１に通知する。システム制御部２０１は、追尾被写体の位置６０７と追尾の信頼性をデータＤ０４としてＡＦ制御部２０２に通知する。
【００３７】
なお、テンプレートマッチングの方法としては、相互相関関数や、残差逐次検定法などを用いれば良い。また、追尾の信頼性を求めるには、相関量が設定した閾値よりも高ければ追尾の信頼性が高いと判断し、閾値よりも低ければ追尾の信頼性が低いと判断すれば良い。テンプレートマッチングおよび追尾の信頼性を求める方法は、これらの方法に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００３８】
続いて、ステップ４１０の焦点検出位置再選択について図７を用いて説明する。
【００３９】
ステップ４１０では、ＡＦ制御部２０２は、システム制御部２０１からデータＤ０４として通知される追尾被写体の位置６０７に対応する図７の焦点検出位置６０４を設定する。ＡＦ制御部２０２は、設定された焦点検出位置６０４とその周囲の焦点検出位置６０５ａ〜ｄのデフォーカス量を計算し、最適な１つの焦点検出位置を選択する。
【００４０】
ここで、周囲の焦点検出位置６０５ａ〜ｄのデフォーカス量を計算するのは、追尾被写体の位置６０７が焦点検出位置と焦点検出位置の間に存在する場合があるからである。追尾被写体の位置６０７と焦点検出位置６０４の位置が一致する場合は周囲の焦点検出位置６０５ａ〜ｄのデフォーカス量を計算しないようにしても良い。また、追尾の信頼性に応じて、信頼性が高いなら周囲の焦点検出位置６０５ａ〜ｄのデフォーカス量を計算しないようにしても良い。
【００４１】
以下、図８を用いて、本発明の実施例によるステップ４０９の焦点検出位置の設定について説明する。
【００４２】
ステップ７０１では、システム制御部２０１からＡＦ制御部２０２にデータＤ０４として通知される追尾の信頼性に応じて、ＡＦ制御部２０２は、追尾が成立したがどうかを判定する。追尾の信頼性が高ければ追尾が成立したと判定し、ステップ７０２へ進む。一方、追尾の信頼性が低ければ、焦点検出位置は設定せずに、ステップ４０８で予め選択した焦点検出位置の情報をＤ０５としてシステム制御部２０１に通知する。
【００４３】
ステップ７０２では、システム制御部２０１からＡＦ制御部２０２にデータＤ０４として通知される追尾被写体の位置が焦点検出センサー２０３の焦点検出領域内か外かの判定を行う。追尾被写体の位置が焦点検出領域内であればステップ７０３へ進み、焦点検出領域外であればステップ７０４へ進む。
【００４４】
ステップ７０３では、ＡＦ制御部２０２は、追尾被写体の位置に対応する焦点検出位置を設定する。
【００４５】
ステップ７０４では、ＡＦ制御部２０２は、追尾被写体の位置が初めて焦点検出領域外になったかどうかを判定する。初めてであればステップ７０５へ進み、初めてでなければステップ７０６へ進む。
【００４６】
ステップ７０５では、ＡＦ制御部２０２は、現在の時刻を記憶する。これを領域外タイマーとする。
【００４７】
ステップ７０６では、ＡＦ制御部２０２は、ステップ７０５で記憶した時刻からの経過時間を計り、設定された時間を経過したかどうかを判定する。設定された時間を経過していなければステップ７０７へ進み、経過していればステップ７０８へ進む。
【００４８】
ステップ７０７では、ＡＦ制御部２０２は、追尾被写体の位置の近傍の焦点検出位置を選択して設定する。
【００４９】
ステップ７０８では、システム制御部２０１からＡＦ制御部２０２にデータＤ０４として通知される追尾の信頼性に応じて、信頼性が高ければステップ７０７へ進み、信頼性が低ければステップ７０９へ進む。
【００５０】
ステップ７０９では、ＡＦ制御部２０２は、ＡＥ制御部２０４に対して選択している焦点検出位置の位置でテンプレートを更新させるためにテンプレート生成要求フラグをセットする。テンプレート生成要求フラグは、ステップ７０７で選択した焦点検出位置とともにデータＤ０５としてシステム制御部２０１に通知され、システム制御部２０１を介してデータＤ０７としてＡＥ制御部２０４に通知される。
【００５１】
続いて、図９を用いて、本発明の実施例による、ステップ４１６の抽出領域の設定について説明する。
【００５２】
ステップ７１１では、ＡＥ制御部２０４は、被写体追尾処理が１回目か２回目以降かを判定する。１回目ならステップ７１２へ進み、２回目以降ならステップ７１５へ進む。
【００５３】
ステップ７１２では、ＡＥ制御部２０４は、ステップ４１５で顔検出が成立したかどうかを判定する。顔検出が成立していなければステップ７１３へ進み、成立していればステップ７１４へ進む。
【００５４】
ステップ７１３では、ＡＥ制御部２０４は、ユーザー選択焦点検出位置に対応する測光センサー２０５の測光領域を設定する。
【００５５】
ステップ７１４では、ＡＥ制御部２０４は、ユーザー選択焦点検出位置に最も近い顔の領域を設定する。
【００５６】
ステップ７１５では、ＡＥ制御部２０４は、システム制御部２０１から通知されるデータＤ０７のテンプレート生成要求フラグがセットされているかどうかの判定を行う。テンプレート生成要求フラグがセットされていればステップ７１６へ進み、セットされていなければ抽出領域の設定の処理を終了する。
【００５７】
ステップ７１６では、ＡＥ制御部２０４は、システム制御部２０１から通知されるデータＤ０７に含まれる選択された焦点検出位置に対応する測光領域を設定する。
【００５８】
以上、説明した本発明の実施例によれば、被写体が大きく移動したか、または、手ぶれなどで追尾被写体を焦点検出領域から外してしまっても、追尾対象とした被写体を追わせ続けることができる。
【００５９】
図１０（ａ）において、撮影者が焦点検出位置８０１を選択し、被写体Ａを狙っているとする。図１０（ｂ）において、ＡＥ制御部２０４は、図９のステップ７１１の追尾回数の判定において追尾回数が１回目であることからステップ４１５の顔検出を行い、顔の領域８０４と８０５を検出したことを示している。この場合、図９のステップ７１２の顔検出の成立／不成立の判定において顔検出は成立している、したがって、ステップ７１４において、ユーザーが選択した焦点検出位置８０１に最も近い顔の領域８０４をテンプレートとして抽出する領域に設定する。そして、ステップ４１７により設定されたテンプレート抽出領域８０４から追尾対象の特徴色を設定し、追尾を開始する。
【００６０】
ＡＦ制御部２０２は、図４のステップ４０９の焦点検出位置の設定において、図８のステップ７０２により追尾被写体の位置８０４は焦点検出領域内であると判定し、ステップ７０３により追尾被写体の位置に対応する焦点検出位置８０２を設定する。そして、ステップ４１０の焦点検出位置再選択において、ＡＦ制御部２０２は、焦点検出位置８０２および周囲の焦点検出位置８０３ａ〜ｃの焦点検出位置のデフォーカス量を計算し、最適な１つの焦点検出位置を選択する。
【００６１】
続いて、図１１（ａ）では、追尾を開始してから被写体が大きく移動したか、または、手ぶれなどで追尾被写体Ａを焦点検出領から外してしまった場合を示している。このとき、ＡＥ制御部２０４は、図９のステップ７１１の追尾回数の判定において、追尾回数が２回目以降であるので、ステップ７１５へ進む。ステップ７１５のテンプレート生成要求フラグがセットされているかどうかの判定において、テンプレート生成要求フラグがセットされていないので抽出領域の設定を終了する。つまり、以前に抽出した追尾対象の特徴色を追尾し続ける。
【００６２】
ＡＦ制御部２０２は、図４のステップ４０９の焦点検出位置の設定において、図８のステップ７０１の追尾成立の判定で追尾は成立しているのでステップ７０２に進む。ステップ７０２において、追尾被写体の位置８０８は焦点検出領域外であると判定し、ステップ７０４に進む。ステップ７０４において、初めての焦点検出領域外なので、ステップ７０５に進んで時刻を記憶し、ステップ７０７で追尾被写体の位置８０４の近傍の焦点検出位置８０２を設定する。そして、ステップ４１０の焦点検出位置再選択において、焦点検出位置８０６および周囲の焦点検出位置８０７ａ〜ｃの焦点検出位置のデフォーカス量を計算し、最適な１つの焦点検出位置を選択する。
【００６３】
ＡＦ制御部２０２は、ステップ７０６の領域外タイマー設定時間経過の判定において領域外タイマーが設定時間内の場合、ステップ７０７においてＡＥ制御部２０４で追尾している被写体の位置の近傍の焦点検出位置を設定する。これにより、追尾被写体の領域の一部分で焦点状態を検出でき、追尾被写体が再び焦点検出領域内に戻ってきたときに大きく焦点検出位置を変更せずに追尾被写体の位置に対応する焦点検出位置で焦点状態を検出することができる。
【００６４】
一方、ＡＦ制御部２０２は、ステップ７０６の領域外タイマー設定時間経過の判定において領域外タイマーが設定時間を経過した場合、ステップ７０８において追尾の信頼性が高いかどうかを判定する。ステップ７０８において追尾の信頼性が高いと判定すれば、追尾被写体が再び焦点検出領域内に戻ってくる可能性があるとし、継続して被写体の位置の近傍の焦点検出位置を設定する。一方、追尾の信頼性が低いと判定すれば、追尾被写体が再び焦点検出領域内に戻ってくる可能性が低いとし、現在選択している焦点検出位置が追尾被写体の領域の一部分である可能性が高いことからステップ７０９においてテンプレート生成要求フラグをセットする。このテンプレート生成要求フラグがセットされると、ＡＥ制御部２０４は、図４のステップ４１６の抽出領域の設定において、図９のステップ７１５のテンプレート生成要求フラグがセットされているかどうかの判定で、ステップ７１６に進む。ステップ７１６では、ＡＥ制御部２０４は、追尾被写体の領域の一部分である可能性が高い現在選択している焦点検出位置に対応する測光領域をテンプレートの抽出領域に設定する。そして、図４のステップ４１７において、ＡＥ制御部２０４は、追尾対象とする特徴色を更新する。このように、本実施形態によれば、継続して追尾被写体の領域の一部分の焦点検出位置で焦点状態を検出できる。
【００６５】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００６６】
１００ カメラ
１０１ 撮像光学系
１０８ 測距光学系
１０９ 測光光学系
２０１ システム制御部
２０２ ＡＦ制御部
２０３ 焦点検出センサー
２０４ ＡＥ制御部
２０５ 測光センサー
【特許請求の範囲】
【請求項１】
複数の焦点検出領域を備え、撮像光学系を通過した被写体からの光束の分割方向における相対的位置ずれ量に基づいて焦点状態を検出する焦点検出手段と、
前記撮像光学系によって形成される被写体像を複数の測光領域に分割して測光し、前記測光領域毎に測光情報を出力する測光手段と、
指定した追尾被写体に対応する測光領域を抽出領域に設定し、該抽出領域の測光情報を保持する設定手段と、
前記測光手段で引き続き出力される測光情報から、前記設定手段が保持する前記抽出領域の測光情報に類似した測光情報を有する測光領域を追尾被写体位置として順次検出する被写体追尾手段とを有し、
前記焦点検出手段は、前記被写体追尾手段で検出された追尾被写体位置が前記焦点検出領域内である場合、前記追尾被写体位置に対応する前記焦点検出領域を用いて焦点検出を行い、前記被写体追尾手段で検出された追尾被写体位置が前記焦点検出領域外である場合、前記追尾被写体位置の近傍の前記焦点検出領域を用いて焦点検出を行うことを特徴とする焦点調節装置。
【請求項２】
前記被写体追尾手段で検出された追尾被写体位置が前記焦点検出領域外である場合、前記焦点検出手段は、前記追尾被写体位置の近傍の前記焦点検出領域を用いて焦点検出を行い、
所定時間経過後、前記被写体追尾手段による追尾の信頼性が閾値より低ければ、前記設定手段は、前記抽出領域を再設定することを特徴とする請求項１に記載の焦点調節装置。
【請求項３】
ユーザが焦点検出位置を指定するための指定手段と、
特定の被写体を検出する被写体検出手段をさらに有し、
前記設定手段は、前記被写体検出手段により特定の被写体が検出された場合、前記指定手段により指定された位置の最も近傍に存在する前記特定の被写体の領域を前記抽出領域に設定し、前記被写体検出手段により特定の被写体が検出されなかった場合、前記指定手段により指定された位置に対応する領域を前記抽出領域に設定することを特徴とする請求項１又は２に記載の焦点調節装置。
【請求項４】
複数の焦点検出領域を備え、撮像光学系を通過した被写体からの光束の分割方向における相対的位置ずれ量に基づいて焦点状態を検出する焦点検出ステップと、
前記撮像光学系によって形成される被写体像を複数の測光領域に分割して測光し、前記測光領域毎に測光情報を出力する測光ステップと、
指定した追尾被写体に対応する測光領域を抽出領域に設定し、該抽出領域の測光情報を保持する設定ステップと、
前記測光ステップにより引き続き出力される測光情報から、前記設定ステップで保持する前記抽出領域の測光情報に類似した測光情報を有する測光領域を追尾被写体位置として順次検出する被写体追尾ステップとを有し、
前記焦点検出ステップにおいて、前記被写体追尾ステップで検出された追尾被写体位置が前記焦点検出領域内である場合、前記追尾被写体位置に対応する前記焦点検出領域を用いて焦点検出を行い、前記被写体追尾ステップで検出された追尾被写体位置が前記焦点検出領域外である場合、前記追尾被写体位置の近傍の前記焦点検出領域を用いて焦点検出を行うことを特徴とする焦点調節装置の制御方法。
【請求項１】
複数の焦点検出領域を備え、撮像光学系を通過した被写体からの光束の分割方向における相対的位置ずれ量に基づいて焦点状態を検出する焦点検出手段と、
前記撮像光学系によって形成される被写体像を複数の測光領域に分割して測光し、前記測光領域毎に測光情報を出力する測光手段と、
指定した追尾被写体に対応する測光領域を抽出領域に設定し、該抽出領域の測光情報を保持する設定手段と、
前記測光手段で引き続き出力される測光情報から、前記設定手段が保持する前記抽出領域の測光情報に類似した測光情報を有する測光領域を追尾被写体位置として順次検出する被写体追尾手段とを有し、
前記焦点検出手段は、前記被写体追尾手段で検出された追尾被写体位置が前記焦点検出領域内である場合、前記追尾被写体位置に対応する前記焦点検出領域を用いて焦点検出を行い、前記被写体追尾手段で検出された追尾被写体位置が前記焦点検出領域外である場合、前記追尾被写体位置の近傍の前記焦点検出領域を用いて焦点検出を行うことを特徴とする焦点調節装置。
【請求項２】
前記被写体追尾手段で検出された追尾被写体位置が前記焦点検出領域外である場合、前記焦点検出手段は、前記追尾被写体位置の近傍の前記焦点検出領域を用いて焦点検出を行い、
所定時間経過後、前記被写体追尾手段による追尾の信頼性が閾値より低ければ、前記設定手段は、前記抽出領域を再設定することを特徴とする請求項１に記載の焦点調節装置。
【請求項３】
ユーザが焦点検出位置を指定するための指定手段と、
特定の被写体を検出する被写体検出手段をさらに有し、
前記設定手段は、前記被写体検出手段により特定の被写体が検出された場合、前記指定手段により指定された位置の最も近傍に存在する前記特定の被写体の領域を前記抽出領域に設定し、前記被写体検出手段により特定の被写体が検出されなかった場合、前記指定手段により指定された位置に対応する領域を前記抽出領域に設定することを特徴とする請求項１又は２に記載の焦点調節装置。
【請求項４】
複数の焦点検出領域を備え、撮像光学系を通過した被写体からの光束の分割方向における相対的位置ずれ量に基づいて焦点状態を検出する焦点検出ステップと、
前記撮像光学系によって形成される被写体像を複数の測光領域に分割して測光し、前記測光領域毎に測光情報を出力する測光ステップと、
指定した追尾被写体に対応する測光領域を抽出領域に設定し、該抽出領域の測光情報を保持する設定ステップと、
前記測光ステップにより引き続き出力される測光情報から、前記設定ステップで保持する前記抽出領域の測光情報に類似した測光情報を有する測光領域を追尾被写体位置として順次検出する被写体追尾ステップとを有し、
前記焦点検出ステップにおいて、前記被写体追尾ステップで検出された追尾被写体位置が前記焦点検出領域内である場合、前記追尾被写体位置に対応する前記焦点検出領域を用いて焦点検出を行い、前記被写体追尾ステップで検出された追尾被写体位置が前記焦点検出領域外である場合、前記追尾被写体位置の近傍の前記焦点検出領域を用いて焦点検出を行うことを特徴とする焦点調節装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−９７３１２（Ｐ２０１３−９７３１２Ａ）
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１１−２４２４２８（Ｐ２０１１−２４２４２８）
【出願日】平成２３年１１月４日（２０１１．１１．４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願日】平成２３年１１月４日（２０１１．１１．４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]