自動合焦装置
【課題】低照度時や被写体が低コントラストの場合におけるＳ／Ｎ比の悪化の影響および背景抜けの影響を軽減して合焦位置の精度を向上させる。
【解決手段】焦点検出領域でのＡＦ評価値に基づいて被写体の合焦状態を判定する合焦状態判定部と、画像信号に基づいて被写体の情報を取得する被写体情報取得部と、被写体情報から主被写体を判定する主被写体判定部と、主被写体が存在する領域の内部に主領域を設定する主領域設定部と、主領域の周辺に補助領域を設定する補助領域設定部と、主領域及び補助領域での焦点検出動作で得られたフォーカスレンズの合焦位置の確からしさを判定する判定部と、主領域および補助領域の中から、フォーカスレンズの合焦位置が確からしいと判定された焦点検出領域を選択する選択部と、選択部により選択された焦点検出領域におけるＡＦ評価値の極大位置に基づいてフォーカスレンズの合焦位置を検出する焦点検出部とを備える。
【解決手段】焦点検出領域でのＡＦ評価値に基づいて被写体の合焦状態を判定する合焦状態判定部と、画像信号に基づいて被写体の情報を取得する被写体情報取得部と、被写体情報から主被写体を判定する主被写体判定部と、主被写体が存在する領域の内部に主領域を設定する主領域設定部と、主領域の周辺に補助領域を設定する補助領域設定部と、主領域及び補助領域での焦点検出動作で得られたフォーカスレンズの合焦位置の確からしさを判定する判定部と、主領域および補助領域の中から、フォーカスレンズの合焦位置が確からしいと判定された焦点検出領域を選択する選択部と、選択部により選択された焦点検出領域におけるＡＦ評価値の極大位置に基づいてフォーカスレンズの合焦位置を検出する焦点検出部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子スチルカメラなどの撮像装置における焦点調節技術に関するものである。
【背景技術】
【０００２】
従来から、電子スチルカメラやビデオカメラなどではオートフォーカス（以下、ＡＦという）を行う場合、ＣＣＤ（電荷結合素子）などの撮像素子から得られる輝度信号の高域周波数成分が最大になるレンズ位置を合焦位置とする方式が用いられている。この方式の一つとして次のスキャン方式が知られている。測距範囲（至近から無限遠の間の所定範囲）の全域に亘ってレンズを駆動しながら撮像素子内の所定領域（以下、焦点検出領域という）から得られる輝度信号の高域周波数成分に基づく評価値（以下、ＡＦ評価値と言う）をその都度に記憶していく。そして、記憶した値のうち、その極大値に相当するレンズ位置（以下、ピーク位置という）を合焦位置とするスキャン方式である。ここで、合焦位置とは被写体にピントが合うと想定されるレンズ位置のことである。
【０００３】
しかし、低照度の場合や被写体のコントラストが低い場合にはＳ／Ｎ比が悪化するため、ノイズの影響によってＡＦ評価値の値がランダムに変動し、それに伴いＡＦ評価値のピーク位置の算出精度も悪化するという問題がある。また、焦点検出領域内に合焦させたい被写体（以下、主被写体という）と背景が混在する場合は、背景の影響によってピーク位置が遠側寄りになってしまうという問題もある。このような状況を背景抜けという。
【０００４】
そこで、Ｓ／Ｎ比の悪化による影響を抑えるための対策として次の方法がある。複数の焦点検出領域を設定し、ＡＦ評価値のレベルが低い場合においては各焦点検出領域でのピーク位置の差分が所定の範囲内であるかという条件を調べ、条件を満たす焦点検出領域のＡＦ評価値から合焦位置を決定する方法である。また、背景抜けへの対策としては、画像内から主被写体を検出し、検出した主被写体の領域に対して複数の焦点検出領域を設定する方法がある。
【０００５】
例えば、特許文献１では、複数の焦点検出領域を設定し、各焦点検出領域でのＡＦ評価値の最大値と最小値の差が所定の閾値を満たさなかった場合は、各焦点検出領域でのＡＦ評価値のピーク位置の差分が所定の範囲内かどうかを調べる。ピーク位置が所定の範囲内の焦点検出領域があればそれらの焦点検出領域での平均ピーク位置を合焦位置とする方法を開示している。特許文献２では、顔検出領域、顔内部の一部を含む領域、体領域の各領域に焦点検出領域を設定し、各焦点検出領域のピーク位置を照合して合焦位置を決定する方法を開示している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０００−３０７９３２号公報
【特許文献２】特許第０４２１８７２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に開示された技術では、複数の焦点検出領域で背景抜けが起こった場合には、主被写体ではなく背景に合焦してしまう可能性がある。また、ノイズの影響を受けてピーク位置がランダムに変動した焦点検出領域が複数ある場合に、それらの焦点検出領域のピーク位置の差分が所定の範囲内となり、主被写体の合焦位置でない位置に合焦してしまう可能性もある。
【０００８】
図３の（ａ）は特許文献２に示された焦点検出領域の設定について説明する図で、３０１ａが顔検出領域、３０２ａが顔内部の一部を含む領域、３０３ａが体領域のそれぞれの領域に設定された焦点検出領域を示す。図３の（ａ）に示すように、顔が斜めを向いてしまった場合は焦点検出領域３０１ａ〜３０３ａの全てが背景抜けをして、主被写体である中央の人物ではなく背景にいる人物に合焦してしまう可能性がある。
【０００９】
本発明は、上述した課題に鑑みてなされたものであり、その目的は、低照度時や被写体が低コントラストの場合におけるＳ／Ｎ比の悪化の影響および背景抜けの影響を軽減して合焦位置の精度を向上させることである。
【課題を解決するための手段】
【００１０】
本発明に係わる自動合焦装置は、フォーカスレンズを介して結像された被写体像を撮像素子で光電変換して得られた画像信号に基づいて、前記撮像素子の画面内に設定された焦点検出領域での被写体のコントラストを示すＡＦ評価値を求め、該ＡＦ評価値に基づいて前記焦点検出領域での被写体の合焦状態を判定する合焦状態判定手段と、前記画像信号に基づいて前記画面内の１つまたは複数の被写体の情報を取得する被写体情報取得手段と、前記被写体情報取得手段により得られた被写体情報から焦点調節を行う被写体である主被写体を判定する主被写体判定手段と、前記画面内で前記主被写体が存在する領域の内部に１つの焦点検出領域である主領域を設定する主領域設定手段と、前記主領域の周辺に前記主領域よりも小さい複数の焦点検出領域である補助領域を設定する補助領域設定手段と、前記主領域及び前記補助領域での焦点検出動作で得られた前記フォーカスレンズの合焦位置の確からしさを判定する判定手段と、前記判定手段によって、前記主領域および前記補助領域の中から、前記フォーカスレンズの合焦位置が確からしいと判定された焦点検出領域を選択する焦点検出領域選択手段と、前記焦点検出領域選択手段により選択された焦点検出領域における前記ＡＦ評価値の極大位置に基づいて前記フォーカスレンズの合焦位置を検出する焦点検出手段と、を備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、低照度時や被写体が低コントラストの場合におけるＳ／Ｎ比の悪化の影響および背景抜けの影響を軽減して合焦位置の精度を向上させることが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係わる電子カメラの構成を示すブロック図である。
【図２】本発明の一実施形態における顔領域でのＡＦ動作を示すフローチャート図である。
【図３】従来技術での焦点検出領域の設定と、本発明の一実施形態における焦点検出領域の設定を説明する図である。
【図４】図２における焦点検出領域設定のサブルーチンを説明するフローチャートである。
【図５】合焦判定のしかたを説明する図である。
【図６】図２における合焦判定のサブルーチンを説明するフローチャートである。
【図７】図２における焦点検出領域選択のサブルーチンを説明するフローチャートである。
【図８】図７における主領域の確からしさの判定のサブルーチンを説明するフローチャートである。
【図９】確からしさの判定について説明する図である。
【図１０】図７における補助領域の確からしさの判定のサブルーチンを説明するフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の一実施形態について、図面を参照して詳細に説明する。
【００１４】
図１は、本発明の一実施形態に係わる自動合焦装置を備える電子カメラの構成を示すブロック図である。図１において、１０３は後述する撮像素子１０８上に被写体像を結像させるための撮影レンズであり、１０４は撮影レンズの一部を構成し撮像素子１０８上に焦点を合わせるためのフォーカスレンズである。１０５はＡＦ処理部である。１０８は被写体からの反射光を電気信号に変換する（光電変換する）撮像素子である。１０９は撮像素子１０８の出力ノイズを除去するＣＤＳ回路やＡ／Ｄ変換前に非線形増幅を行う非線形増幅回路を含むＡ／Ｄ変換部である。１１０は画像処理部である。１１７は画像表示の他、操作補助のための表示やカメラ状態の表示、撮影時には撮影画面と焦点検出領域を表示する操作表示部である。１２３は画像処理部１１０で処理された画像信号を用いて被写界中から顔検出を行い、検出した一つ又は複数の顔情報（位置・大きさ・信頼度・顔の向き・顔の検出数）をシステム制御部（以下、ＣＰＵ）１１５に送る顔検出モジュール（被写体情報取得部）である。なお、顔の検出方法は、本発明の主眼点ではないため詳細な説明は省略する。
【００１５】
次に、図２のフローチャート及び図３を参照しながら、本実施形態の電子カメラにおける顔検出時のＡＦ動作について説明する。ステップＳ２０１では、顔検出モジュール１２３から得られる顔情報（位置・大きさ・顔の検出数）に基づき主被写体判定を行い、焦点検出領域を設定する。
【００１６】
ここで、図３の（ｂ）を参照しながら本実施形態における焦点検出領域の設定方法の特徴について説明する。図３の（ｂ）に示すように、顔検出モジュール１２３により検出した画面内における顔領域の内部とその両脇に焦点検出領域を設定する。顔領域の内部に設定した焦点検出領域３０１ｂを主領域とし（主領域設定）、主領域の両脇（周辺）に設定した焦点検出領域３０２ｂ、３０３ｂを補助領域とする（補助領域設定）。ここで、主領域の両脇だけでなく主領域の上下の領域に補助領域を設定しても良い。図３の（ｂ）に示すように、主領域３０１ｂは顔領域の内部に設定されているため、顔が斜めを向いた場合でも背景抜けの影響が少ない。補助領域３０２ｂ、３０３ｂは顔が斜めを向いた場合でも、補助領域のどちらか一方は背景抜けせずに顔の内部に留まることができる。また、頬と髪の境目でコントラストの高くなる領域に設定されているため、ＡＦ評価値を高くとることができる。主領域の上下の領域に補助領域を設定した場合は、顔および体領域の内部に焦点検出領域を設定するため、顔が斜めを向いたときでも主領域と同様に背景抜けの影響が少ないという利点がある。以上のように、図３の（ｂ）に示す焦点検出領域の設定方法は、図３の（ａ）に示す従来の焦点検出領域の設定方法に比べると、背景抜けを考慮した設定となっている。
【００１７】
ステップＳ２０１の手順については、図４を用いて後述する。ステップＳ２０２では、ステップＳ２０１で設定した各焦点検出領域でＡＦスキャン（焦点検出動作）を行い、ステップＳ２０３へと進む。ＡＦスキャンでは、フォーカスレンズ１０４をスキャン開始位置からスキャン終了位置まで所定量ずつ移動させながら、各フォーカスレンズ位置におけるＡＦ評価値をＣＰＵ１１５へ記憶していく。ここで例えば、スキャン開始位置を無限遠、スキャン終了位置をＡＦスキャン可能な範囲の至近端とする。ステップＳ２０３では、ステップＳ２０２で得られたＡＦ評価値のピーク位置（極大位置）を演算により求めて（算出し）、ステップＳ２０４へと進む。ステップＳ２０４では各焦点検出領域のピーク位置の合焦判定（合焦状態判定）を行い、ステップＳ２０５へ進む。ステップＳ２０４の手順については、図５、図６を用いて後述する。ステップＳ２０５では合焦位置を決めるための焦点検出領域を選択する（焦点検出領域選択動作）。ステップＳ２０５の手順については図７を用いて後述する。ステップＳ２０６では、ステップＳ２０５で焦点検出領域を選択したかどうかを調べ、選択した焦点検出領域があればステップＳ２０７へ、選択した焦点検出領域がなければステップＳ２０９へ進む。
【００１８】
ステップＳ２０７では選択した焦点検出領域のピーク位置を合焦位置としてフォーカスレンズ１０４を駆動してステップＳ２０８へ進む。ステップＳ２０８では、操作表示部１１７の画像表示部に、合焦枠を表示してＡＦ動作を終了する。ここで、合焦枠とは画像領域内でどこの領域が合焦しているかを示すための枠である。例えば、顔が合焦している場合は顔の領域に枠を表示する。また、合焦しているという状態が判別しやすいように枠に合焦を示す色（例えば緑色など）をつけて表示する。ステップＳ２０９では、ＡＦ処理部１０５がフォーカスレンズ１０４を、顔検出モジュール１２３により検出した顔の大きさから推定した人物の距離に対応するフォーカスレンズ位置（以下、顔推定位置という）へ駆動し、ステップＳ２１０へ進む。ステップＳ２１０では、操作表示部１１７の画像表示部に、非合焦枠を表示してＡＦ動作を終了する。ここで、非合焦枠とは非合焦時に画像領域内で被写体の存在する領域または所定の領域に表示する枠であり、非合焦であるという状態が判別しやすいように合焦枠とは異なる色の枠（例えば黄色など）を設定する。
【００１９】
次に、図４のフローチャートを参照しながら図２のステップＳ２０１における焦点検出領域設定の動作について説明する。ここでは、図３で示した主領域および補助領域を、検出した各顔に設定する。ここで、画像領域内でもっとも中央付近にありかつ顔サイズが所定以上の顔を主顔とし、それ以外の検出した顔を副顔とする。つまり、検出した複数の顔の中から主被写体として選んだ顔が主顔である。主顔には主領域と補助領域を設定し合焦位置決定のために使用する。副顔には主領域のみを設定し合焦位置決定のためには使用しないが、合焦表示時に副顔の主領域のピーク位置と合焦位置が所定範囲内であるかを調べ、副顔のピーク位置と合焦位置が所定範囲内である場合は画像領域内の副顔の領域にも合焦枠を表示する。
【００２０】
まずステップＳ４０１では顔検出モジュール１２３から、検出した顔情報（位置・大きさ・顔の検出数）を取得し、ステップＳ４０２へ進む。ステップＳ４０２では、顔の数をカウントする変数ｉを０に初期化し、ステップＳ４０３へ進む。ステップＳ４０３では顔の位置および大きさの情報に基づいて、ｉ番目の顔の内部に主領域を設定し、ステップＳ４０４へ進む。ステップＳ４０４では、ｉ番目の顔が主顔であるかどうかを判断し、主顔であればステップＳ４０５へ進み、主顔でなければステップＳ４０７へ進む。ステップＳ４０５では補助領域が設定できるかどうかの条件の確認を行う。以下の条件のいずれかを満たす場合は補助領域を設定しない。
（１）補助領域が焦点検出可能な領域から外れてしまう場合
（２）補助領域が副顔の主領域と重なった場合
以上の２つの条件について確認し、補助領域が設定できる場合はステップＳ４０６へ進み、補助領域が設定できない場合はステップＳ４０７へ進む。ステップＳ４０６では、ステップＳ４０５で主領域の設定位置に基づく所定の位置に補助領域を設定し、ステップＳ４０７へ進む。ステップＳ４０７ではｉをインクリメントしてステップＳ４０８へ進む。ステップＳ４０８では、ｉが顔の検出数に等しいかどうかを調べ、等しくない場合はステップＳ４０３へ戻り、等しい場合は本処理を終了する。
【００２１】
次に、図５及び図６を参照しながら図２のステップＳ２０４における合焦判定について説明する。
【００２２】
ＡＦ評価値は、ＡＦスキャンを行った距離範囲内に被写体が１つしか存在しない場合においては、横軸にフォーカスレンズ位置、縦軸にＡＦ評価値をとると、その形は図５に示すような山状になる。そこでＡＦ評価値の、最大値と最小値の差、一定値（ＳｌｏｐｅＴｈｒ）以上の傾きで傾斜している部分の長さ、傾斜している部分の勾配から、山の形状を判断することにより、合焦判定を行うことができる。
【００２３】
合焦判定における判定結果は、以下に示すように合焦、非合焦で出力される。
【００２４】
合焦：被写体のコントラストが十分で、かつスキャンした距離範囲内の距離に被写体が存在する。
【００２５】
非合焦：被写体のコントラストが不十分、もしくはスキャンした距離範囲外の距離に被写体が位置する。
【００２６】
山の形状を判断するための、一定値以上の傾きで傾斜している部分の長さＬ、傾斜している部分の勾配ＳＬ／Ｌを、図５を用いて説明する。
【００２７】
山の頂上（Ａ点）から傾斜が続いていると認められる点をＤ点、Ｅ点とし、Ｄ点とＥ点の幅を山の幅Ｌとする。傾斜が続いていると認める範囲は、Ａ点から始まり、隣り合うスキャンポイントの間で所定量(ＳｌｏｐｅＴｈｒ)以上ＡＦ評価値が下がる状態が続く範囲とする。スキャンポイントとは、連続的にフォーカスレンズを動かして、スキャン開始点から、スキャン終了点まで移動する間に、ＡＦ評価値を取得するポイントのことである。Ａ点とＤ点のＡＦ評価値の差ＳＬ１とＡ点とＥ点のＡＦ評価値の差ＳＬ２の和ＳＬ１＋ＳＬ２をＳＬとする。
【００２８】
山の形状から合焦判定を行うには、次の条件について確認をする。
（１）一定値以上の傾きで傾斜している部分の長さＬが所定の閾値（Ｌ０）以上であるか
（２）傾斜している部分の傾斜の平均値ＳＬ／Ｌが所定の閾値（ＳＬ０／Ｌ０）以上であるか（３）ＡＦ評価値の最大値（Ｍａｘ）と最小値（Ｍｉｎ）の差が所定の閾値（ｄｅｆｍａｘｍｉｎ）以上であるか
以上の条件を満たす場合は、被写体のコントラストが十分あり焦点調節可能であると判断できる。ここで、所定値Ｌ０、ＳＬ０、ｄｅｆｍａｘｍｉｎを合焦条件といい、これらの値の設定によって合焦判定を厳しくしたり緩くしたりすることができる。
【００２９】
次に、図６のフローチャートを参照しながら図２のステップＳ２０４における合焦判定の動作を説明する。
【００３０】
まず、ステップＳ６０１では各焦点検出領域に対して合焦条件を設定し、ステップＳ６０２へ進む。ここで、主領域の合焦条件は補助領域の合焦条件よりも低い値を設定し、主領域はより合焦と判定しやすくなるようにする。これは、主領域は背景抜けの影響が少ないため、主領域のピーク位置を合焦位置として優先的に選択したいためである。このように、背景抜けの影響やノイズの影響が少なく、ピーク位置が被写体にピントが合った位置である可能性が高いと考えられる場合は、ピーク位置が合焦位置として「十分に確からしい」と判定する。
【００３１】
ステップＳ６０２では各焦点検出領域でのＡＦ評価値が前述した合焦条件を満たすかどうかを調べ、合焦条件を満たす場合は合焦であると判定し、合焦条件を満たさない場合は非合焦であると判定し、ステップＳ６０３へ進む。ステップＳ６０３では全ての焦点検出領域で合焦判定が終了したかどうかを調べ、まだ合焦判定を行っていない焦点検出領域がある場合はステップＳ６０２へ戻り、全ての焦点検出領域で合焦判定を行った場合は本処理を終了する。
【００３２】
次に、図７のフローチャートを用いて図２のステップＳ２０５における焦点検出領域の選択の動作を説明する。ここでは、各焦点検出領域の中から、ピーク位置が合焦位置として十分に確からしい焦点検出領域を選択する。補助領域に比べると主領域の方が背景抜けの影響も少なく合焦位置として十分に確からしいことを想定しているため、はじめに主領域の判定を行い、主領域が十分に確からしいと判定できなかった場合は補助領域の判定を行う。
【００３３】
まず、ステップＳ７０１では主領域の確からしさの判定を行い、主領域のピーク位置が合焦位置として十分に確からしいかどうかを判定し、ステップＳ７０２へ進む。ステップＳ７０１での主領域の確からしさの判定手順については、図８を用いて後述する。ステップＳ７０２ではステップＳ７０１での主領域の判定の結果、主領域が十分に確からしいと判定したかどうかを調べ、十分に確からしい場合はステップＳ７０３へ、十分に確からしいと判定しなかった場合はステップＳ７０４へ進む。ステップＳ７０３では合焦位置を決めるための焦点検出領域として主領域を選択し、本処理を終了する。ステップＳ７０４では補助領域のピーク位置が合焦位置として十分に確からしいかどうかを判定し、ステップＳ７０５へ進む。ステップＳ７０４の補助領域の確からしさの判定の手順については図１０を用いて後述する。ステップＳ７０５ではステップＳ７０４での補助領域の判定の結果、十分に確からしい補助領域があると判定した場合はステップＳ７０５へ、十分に確からしい補助領域がない場合は本処理を終了する。ステップＳ７０５では十分に確からしいと判定した補助領域を選択し、本処理を終了する。
【００３４】
次に図８のフローチャートを用いて、図７のステップＳ７０１における主領域の確からしさの判定の動作を説明する。ここでは、主領域と補助領域のピーク位置を参照して、主領域のピーク位置が合焦位置として十分に確からしいかどうかを判定する。
【００３５】
まず、ステップＳ８０１では主領域および補助領域が図６のステップＳ６０２の合焦判定において合焦と判定したかどうかを調べ、合焦と判定した場合はステップＳ８０２へ進み、合焦でない焦点検出領域がある場合はステップＳ８０５へ進む。ステップＳ８０２では主領域のピーク位置が無限遠の位置であるかどうかを判定し、主領域のピーク位置が無限遠の位置である場合はステップＳ８０５へ進み、無限遠の位置でない場合はステップＳ８０３へ進む。顔の合焦位置は有限の位置であることが想定されるため、主領域のピーク位置が無限遠となる場合は主領域は合焦位置として確からしくない、と考えられる。
【００３６】
ステップＳ８０３では補助領域のピーク位置の差分が所定範囲内であるかどうかを調べ、補助領域のピーク位置の差が所定範囲内である場合はステップＳ８０４へ進み、補助領域のピーク位置の差が所定範囲内でない場合はステップＳ８０６へ進む。ここで、焦点検出領域のピーク位置の差が所定範囲内である場合とは、各焦点検出領域でのピーク位置のばらつきが、合焦している範囲内である場合を想定している。そこで、本実施形態では所定範囲を、焦点付近にピントがあっているとみなせる範囲である焦点深度の１．５倍の範囲とする。
【００３７】
図９は主領域・補助領域のピーク位置の関係と想定される顔の向きについて示す図である。左側の図は横軸がフォーカスレンズ位置、縦軸がＡＦ評価値を示しており、実線で示したＡＦ評価値９０１ａ〜９０１ｄが主領域のＡＦ評価値であり、対応する焦点検出領域が右側の図で示す顔領域上の焦点検出領域９１１ａ〜９１１ｄである。そして、点線で示したＡＦ評価値９０２ａ〜９０２ｄ、９０３ａ〜９０３ｄが補助領域のＡＦ評価値であり、対応する焦点検出領域が右側の図で示す焦点検出領域９１２ａ〜９１２ｄ、９１３ａ〜９１３ｄである。また、左側の図中での双方向矢印で示した範囲９２１ａ〜９２１ｄが前述の所定範囲内を示す。図９の（ａ）、図９の（ｄ）に示すように補助領域のピーク位置の差が所定範囲内である場合は顔が正面向きの状況、図９の（ｂ）、図９の（ｃ）に示すように補助領域のピーク位置の差が所定範囲内でない場合は顔が斜めを向いている状況が想定できる。
【００３８】
ステップＳ８０４では主領域と補助領域のピーク位置が所定範囲内であるかどうかを調べ、主領域と補助領域のピーク位置が所定範囲内である場合はステップＳ８０７へ進み、主領域と補助領域のピーク位置の差が所定範囲内でない場合はステップＳ８０５へ進む。主領域と補助領域のピーク位置の差が所定範囲内である場合とは図９の（ａ）のように顔が正面を向き、各焦点検出領域のピーク位置が顔にピントが合う位置に近い値をとっている状況を想定している。また、主領域と補助領域のピーク位置の差が所定範囲内でない場合は、例えば補助領域が二つとも背景抜けしている状況や、主領域のピーク位置がノイズの影響によって不正確な状況を想定している。ステップＳ８０５では、主領域は確からしくないと判定して本処理を終了する。ステップＳ８０７では主領域は十分に確からしいと判定して本処理を終了する。
【００３９】
ステップＳ８０６では主領域のピーク位置と、ピーク位置が近側にある方の補助領域（以下、近側補助領域という）のピーク位置との差が所定範囲内であるかどうかを調べる。そして、主領域と近側補助領域のピーク位置の差が所定範囲内である場合はステップＳ８０７へ進み、主領域と近側補助領域のピーク位置の差が所定範囲内でない場合はステップＳ８０５へ進む。ここでは、主領域と近側補助領域のピーク位置が所定範囲内である場合は図９の（ｂ）のように斜めを向き、ピーク位置が遠側となる方の補助領域のみが背景抜けしている状況を想定している。また、主領域と近側補助領域のピーク位置が所定範囲内でない場合は、図９の（ｃ）のように背景抜けやノイズの影響によって主領域のピーク位置が顔の合焦位置にないような状況を想定している。ステップＳ８０５では、主領域は確からしくないと判定して本処理を終了する。ステップＳ８０７では主領域は十分に確からしいと判定して本処理を終了する。
【００４０】
次に、図１０のフローチャートを用いて図７のステップＳ７０４における補助領域の確からしさの判定の動作を説明する。ここでは、図７のステップＳ７０１で主領域が確からしいと判定できなかった場合において、補助領域のピーク位置が合焦位置として十分に確からしいかを判定する。主領域が十分に確からしいと判定できなかった原因としてはノイズによるＳ／Ｎ比の悪化や背景抜けの影響により、主領域のピーク位置が変動することが想定できる。
【００４１】
まず、ステップＳ１００１では補助領域が図２のステップＳ２０４の合焦判定において合焦と判定したかどうかを調べ、全て合焦である場合はステップＳ１００２へ進み、合焦でない補助領域がある場合はステップＳ１００５へ進む。ステップＳ１００２では補助領域のピーク位置の差が所定範囲内であるかどうかを調べ、補助領域のピーク位置の差が所定範囲内である場合はステップＳ１００３へ進み、補助領域のピーク位置の差が所定範囲内でない場合はステップＳ１００４へ進む。ステップＳ１００３では顔推定位置と補助領域のピーク位置が所定範囲内であるかどうかを調べ、顔推定位置と補助領域のピーク位置の差が所定範囲内である場合はステップＳ１００６へ進む。また、顔推定位置と補助領域のピーク位置が所定範囲内でない場合はステップＳ１００５へ進む。ここで、顔推定位置は顔の検出サイズのばらつきや顔サイズの個人差によるばらつきによって誤差を生じる。そこで、本実施形態では、顔推定位置と補助領域のピーク位置の差が所定範囲内にある場合を、焦点深度の４倍の範囲内とし、前述した焦点検出領域同士のピーク位置の差を調べる場合の所定範囲よりも広い範囲を設定する。また、顔が斜めを向いた場合は、検出した顔サイズは正面を向いた場合よりも小さくなってしまうため、顔推定位置はより遠側の位置を示すようになる。そこで本実施形態では、顔推定位置を使用する場合は顔が正面を向いている可能性が高いと判断できる場合のみ、すなわち補助領域のピーク位置の差が所定範囲内である場合のみにすることによって確からしさの判定の精度を上げている。
【００４２】
ステップＳ１００４では近側補助領域について、画像処理部１１０によって得られる色情報から補助領域が合焦位置として十分に確からしいかどうかを判定し、補助領域が十分に確からしいと判定できる場合はステップＳ１００６へ進む。また、補助領域が十分に確からしいと判定できない場合はステップＳ１００５へ進む。ここで色情報とは、たとえば補助領域内（焦点検出領域内）の領域をさらに複数の領域に分割し、補助領域内の複数領域の中で肌色と判定できる領域の割合とする。肌色の領域の割合が所定値よりも高い場合は背景抜けの可能性が低く合焦位置として十分に確からしいと判定できる。また、色情報のかわりに、顔検出モジュール１２３によって得られる顔の向きの情報を用いることで、補助領域の確からしさを判定してもよい。図３の（ｂ）のように顔が斜めを向いている場合は、顔の向いている方向にある補助領域３０２ｂは背景に抜けやすい傾向にあるため十分に確からしいとは判定できない。一方、顔の向いている方向とは逆の方向にある補助領域３０３ｂは顔の内部にある可能性が高く、十分に確からしいと判定できる。ステップＳ１００５では、補助領域は確からしくないと判定して本処理を終了する。ステップＳ１００６では補助領域は十分に確からしいと判定して本処理を終了する。
【００４３】
以上説明したように、本実施形態によれば、顔検出時に顔領域においてＡＦを行う際に、ノイズによるＳ／Ｎ比の悪化の影響および背景抜けの影響を軽減してより高い精度で顔にピントを合わせることが可能となる。
【技術分野】
【０００１】
本発明は、電子スチルカメラなどの撮像装置における焦点調節技術に関するものである。
【背景技術】
【０００２】
従来から、電子スチルカメラやビデオカメラなどではオートフォーカス（以下、ＡＦという）を行う場合、ＣＣＤ（電荷結合素子）などの撮像素子から得られる輝度信号の高域周波数成分が最大になるレンズ位置を合焦位置とする方式が用いられている。この方式の一つとして次のスキャン方式が知られている。測距範囲（至近から無限遠の間の所定範囲）の全域に亘ってレンズを駆動しながら撮像素子内の所定領域（以下、焦点検出領域という）から得られる輝度信号の高域周波数成分に基づく評価値（以下、ＡＦ評価値と言う）をその都度に記憶していく。そして、記憶した値のうち、その極大値に相当するレンズ位置（以下、ピーク位置という）を合焦位置とするスキャン方式である。ここで、合焦位置とは被写体にピントが合うと想定されるレンズ位置のことである。
【０００３】
しかし、低照度の場合や被写体のコントラストが低い場合にはＳ／Ｎ比が悪化するため、ノイズの影響によってＡＦ評価値の値がランダムに変動し、それに伴いＡＦ評価値のピーク位置の算出精度も悪化するという問題がある。また、焦点検出領域内に合焦させたい被写体（以下、主被写体という）と背景が混在する場合は、背景の影響によってピーク位置が遠側寄りになってしまうという問題もある。このような状況を背景抜けという。
【０００４】
そこで、Ｓ／Ｎ比の悪化による影響を抑えるための対策として次の方法がある。複数の焦点検出領域を設定し、ＡＦ評価値のレベルが低い場合においては各焦点検出領域でのピーク位置の差分が所定の範囲内であるかという条件を調べ、条件を満たす焦点検出領域のＡＦ評価値から合焦位置を決定する方法である。また、背景抜けへの対策としては、画像内から主被写体を検出し、検出した主被写体の領域に対して複数の焦点検出領域を設定する方法がある。
【０００５】
例えば、特許文献１では、複数の焦点検出領域を設定し、各焦点検出領域でのＡＦ評価値の最大値と最小値の差が所定の閾値を満たさなかった場合は、各焦点検出領域でのＡＦ評価値のピーク位置の差分が所定の範囲内かどうかを調べる。ピーク位置が所定の範囲内の焦点検出領域があればそれらの焦点検出領域での平均ピーク位置を合焦位置とする方法を開示している。特許文献２では、顔検出領域、顔内部の一部を含む領域、体領域の各領域に焦点検出領域を設定し、各焦点検出領域のピーク位置を照合して合焦位置を決定する方法を開示している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０００−３０７９３２号公報
【特許文献２】特許第０４２１８７２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に開示された技術では、複数の焦点検出領域で背景抜けが起こった場合には、主被写体ではなく背景に合焦してしまう可能性がある。また、ノイズの影響を受けてピーク位置がランダムに変動した焦点検出領域が複数ある場合に、それらの焦点検出領域のピーク位置の差分が所定の範囲内となり、主被写体の合焦位置でない位置に合焦してしまう可能性もある。
【０００８】
図３の（ａ）は特許文献２に示された焦点検出領域の設定について説明する図で、３０１ａが顔検出領域、３０２ａが顔内部の一部を含む領域、３０３ａが体領域のそれぞれの領域に設定された焦点検出領域を示す。図３の（ａ）に示すように、顔が斜めを向いてしまった場合は焦点検出領域３０１ａ〜３０３ａの全てが背景抜けをして、主被写体である中央の人物ではなく背景にいる人物に合焦してしまう可能性がある。
【０００９】
本発明は、上述した課題に鑑みてなされたものであり、その目的は、低照度時や被写体が低コントラストの場合におけるＳ／Ｎ比の悪化の影響および背景抜けの影響を軽減して合焦位置の精度を向上させることである。
【課題を解決するための手段】
【００１０】
本発明に係わる自動合焦装置は、フォーカスレンズを介して結像された被写体像を撮像素子で光電変換して得られた画像信号に基づいて、前記撮像素子の画面内に設定された焦点検出領域での被写体のコントラストを示すＡＦ評価値を求め、該ＡＦ評価値に基づいて前記焦点検出領域での被写体の合焦状態を判定する合焦状態判定手段と、前記画像信号に基づいて前記画面内の１つまたは複数の被写体の情報を取得する被写体情報取得手段と、前記被写体情報取得手段により得られた被写体情報から焦点調節を行う被写体である主被写体を判定する主被写体判定手段と、前記画面内で前記主被写体が存在する領域の内部に１つの焦点検出領域である主領域を設定する主領域設定手段と、前記主領域の周辺に前記主領域よりも小さい複数の焦点検出領域である補助領域を設定する補助領域設定手段と、前記主領域及び前記補助領域での焦点検出動作で得られた前記フォーカスレンズの合焦位置の確からしさを判定する判定手段と、前記判定手段によって、前記主領域および前記補助領域の中から、前記フォーカスレンズの合焦位置が確からしいと判定された焦点検出領域を選択する焦点検出領域選択手段と、前記焦点検出領域選択手段により選択された焦点検出領域における前記ＡＦ評価値の極大位置に基づいて前記フォーカスレンズの合焦位置を検出する焦点検出手段と、を備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、低照度時や被写体が低コントラストの場合におけるＳ／Ｎ比の悪化の影響および背景抜けの影響を軽減して合焦位置の精度を向上させることが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係わる電子カメラの構成を示すブロック図である。
【図２】本発明の一実施形態における顔領域でのＡＦ動作を示すフローチャート図である。
【図３】従来技術での焦点検出領域の設定と、本発明の一実施形態における焦点検出領域の設定を説明する図である。
【図４】図２における焦点検出領域設定のサブルーチンを説明するフローチャートである。
【図５】合焦判定のしかたを説明する図である。
【図６】図２における合焦判定のサブルーチンを説明するフローチャートである。
【図７】図２における焦点検出領域選択のサブルーチンを説明するフローチャートである。
【図８】図７における主領域の確からしさの判定のサブルーチンを説明するフローチャートである。
【図９】確からしさの判定について説明する図である。
【図１０】図７における補助領域の確からしさの判定のサブルーチンを説明するフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の一実施形態について、図面を参照して詳細に説明する。
【００１４】
図１は、本発明の一実施形態に係わる自動合焦装置を備える電子カメラの構成を示すブロック図である。図１において、１０３は後述する撮像素子１０８上に被写体像を結像させるための撮影レンズであり、１０４は撮影レンズの一部を構成し撮像素子１０８上に焦点を合わせるためのフォーカスレンズである。１０５はＡＦ処理部である。１０８は被写体からの反射光を電気信号に変換する（光電変換する）撮像素子である。１０９は撮像素子１０８の出力ノイズを除去するＣＤＳ回路やＡ／Ｄ変換前に非線形増幅を行う非線形増幅回路を含むＡ／Ｄ変換部である。１１０は画像処理部である。１１７は画像表示の他、操作補助のための表示やカメラ状態の表示、撮影時には撮影画面と焦点検出領域を表示する操作表示部である。１２３は画像処理部１１０で処理された画像信号を用いて被写界中から顔検出を行い、検出した一つ又は複数の顔情報（位置・大きさ・信頼度・顔の向き・顔の検出数）をシステム制御部（以下、ＣＰＵ）１１５に送る顔検出モジュール（被写体情報取得部）である。なお、顔の検出方法は、本発明の主眼点ではないため詳細な説明は省略する。
【００１５】
次に、図２のフローチャート及び図３を参照しながら、本実施形態の電子カメラにおける顔検出時のＡＦ動作について説明する。ステップＳ２０１では、顔検出モジュール１２３から得られる顔情報（位置・大きさ・顔の検出数）に基づき主被写体判定を行い、焦点検出領域を設定する。
【００１６】
ここで、図３の（ｂ）を参照しながら本実施形態における焦点検出領域の設定方法の特徴について説明する。図３の（ｂ）に示すように、顔検出モジュール１２３により検出した画面内における顔領域の内部とその両脇に焦点検出領域を設定する。顔領域の内部に設定した焦点検出領域３０１ｂを主領域とし（主領域設定）、主領域の両脇（周辺）に設定した焦点検出領域３０２ｂ、３０３ｂを補助領域とする（補助領域設定）。ここで、主領域の両脇だけでなく主領域の上下の領域に補助領域を設定しても良い。図３の（ｂ）に示すように、主領域３０１ｂは顔領域の内部に設定されているため、顔が斜めを向いた場合でも背景抜けの影響が少ない。補助領域３０２ｂ、３０３ｂは顔が斜めを向いた場合でも、補助領域のどちらか一方は背景抜けせずに顔の内部に留まることができる。また、頬と髪の境目でコントラストの高くなる領域に設定されているため、ＡＦ評価値を高くとることができる。主領域の上下の領域に補助領域を設定した場合は、顔および体領域の内部に焦点検出領域を設定するため、顔が斜めを向いたときでも主領域と同様に背景抜けの影響が少ないという利点がある。以上のように、図３の（ｂ）に示す焦点検出領域の設定方法は、図３の（ａ）に示す従来の焦点検出領域の設定方法に比べると、背景抜けを考慮した設定となっている。
【００１７】
ステップＳ２０１の手順については、図４を用いて後述する。ステップＳ２０２では、ステップＳ２０１で設定した各焦点検出領域でＡＦスキャン（焦点検出動作）を行い、ステップＳ２０３へと進む。ＡＦスキャンでは、フォーカスレンズ１０４をスキャン開始位置からスキャン終了位置まで所定量ずつ移動させながら、各フォーカスレンズ位置におけるＡＦ評価値をＣＰＵ１１５へ記憶していく。ここで例えば、スキャン開始位置を無限遠、スキャン終了位置をＡＦスキャン可能な範囲の至近端とする。ステップＳ２０３では、ステップＳ２０２で得られたＡＦ評価値のピーク位置（極大位置）を演算により求めて（算出し）、ステップＳ２０４へと進む。ステップＳ２０４では各焦点検出領域のピーク位置の合焦判定（合焦状態判定）を行い、ステップＳ２０５へ進む。ステップＳ２０４の手順については、図５、図６を用いて後述する。ステップＳ２０５では合焦位置を決めるための焦点検出領域を選択する（焦点検出領域選択動作）。ステップＳ２０５の手順については図７を用いて後述する。ステップＳ２０６では、ステップＳ２０５で焦点検出領域を選択したかどうかを調べ、選択した焦点検出領域があればステップＳ２０７へ、選択した焦点検出領域がなければステップＳ２０９へ進む。
【００１８】
ステップＳ２０７では選択した焦点検出領域のピーク位置を合焦位置としてフォーカスレンズ１０４を駆動してステップＳ２０８へ進む。ステップＳ２０８では、操作表示部１１７の画像表示部に、合焦枠を表示してＡＦ動作を終了する。ここで、合焦枠とは画像領域内でどこの領域が合焦しているかを示すための枠である。例えば、顔が合焦している場合は顔の領域に枠を表示する。また、合焦しているという状態が判別しやすいように枠に合焦を示す色（例えば緑色など）をつけて表示する。ステップＳ２０９では、ＡＦ処理部１０５がフォーカスレンズ１０４を、顔検出モジュール１２３により検出した顔の大きさから推定した人物の距離に対応するフォーカスレンズ位置（以下、顔推定位置という）へ駆動し、ステップＳ２１０へ進む。ステップＳ２１０では、操作表示部１１７の画像表示部に、非合焦枠を表示してＡＦ動作を終了する。ここで、非合焦枠とは非合焦時に画像領域内で被写体の存在する領域または所定の領域に表示する枠であり、非合焦であるという状態が判別しやすいように合焦枠とは異なる色の枠（例えば黄色など）を設定する。
【００１９】
次に、図４のフローチャートを参照しながら図２のステップＳ２０１における焦点検出領域設定の動作について説明する。ここでは、図３で示した主領域および補助領域を、検出した各顔に設定する。ここで、画像領域内でもっとも中央付近にありかつ顔サイズが所定以上の顔を主顔とし、それ以外の検出した顔を副顔とする。つまり、検出した複数の顔の中から主被写体として選んだ顔が主顔である。主顔には主領域と補助領域を設定し合焦位置決定のために使用する。副顔には主領域のみを設定し合焦位置決定のためには使用しないが、合焦表示時に副顔の主領域のピーク位置と合焦位置が所定範囲内であるかを調べ、副顔のピーク位置と合焦位置が所定範囲内である場合は画像領域内の副顔の領域にも合焦枠を表示する。
【００２０】
まずステップＳ４０１では顔検出モジュール１２３から、検出した顔情報（位置・大きさ・顔の検出数）を取得し、ステップＳ４０２へ進む。ステップＳ４０２では、顔の数をカウントする変数ｉを０に初期化し、ステップＳ４０３へ進む。ステップＳ４０３では顔の位置および大きさの情報に基づいて、ｉ番目の顔の内部に主領域を設定し、ステップＳ４０４へ進む。ステップＳ４０４では、ｉ番目の顔が主顔であるかどうかを判断し、主顔であればステップＳ４０５へ進み、主顔でなければステップＳ４０７へ進む。ステップＳ４０５では補助領域が設定できるかどうかの条件の確認を行う。以下の条件のいずれかを満たす場合は補助領域を設定しない。
（１）補助領域が焦点検出可能な領域から外れてしまう場合
（２）補助領域が副顔の主領域と重なった場合
以上の２つの条件について確認し、補助領域が設定できる場合はステップＳ４０６へ進み、補助領域が設定できない場合はステップＳ４０７へ進む。ステップＳ４０６では、ステップＳ４０５で主領域の設定位置に基づく所定の位置に補助領域を設定し、ステップＳ４０７へ進む。ステップＳ４０７ではｉをインクリメントしてステップＳ４０８へ進む。ステップＳ４０８では、ｉが顔の検出数に等しいかどうかを調べ、等しくない場合はステップＳ４０３へ戻り、等しい場合は本処理を終了する。
【００２１】
次に、図５及び図６を参照しながら図２のステップＳ２０４における合焦判定について説明する。
【００２２】
ＡＦ評価値は、ＡＦスキャンを行った距離範囲内に被写体が１つしか存在しない場合においては、横軸にフォーカスレンズ位置、縦軸にＡＦ評価値をとると、その形は図５に示すような山状になる。そこでＡＦ評価値の、最大値と最小値の差、一定値（ＳｌｏｐｅＴｈｒ）以上の傾きで傾斜している部分の長さ、傾斜している部分の勾配から、山の形状を判断することにより、合焦判定を行うことができる。
【００２３】
合焦判定における判定結果は、以下に示すように合焦、非合焦で出力される。
【００２４】
合焦：被写体のコントラストが十分で、かつスキャンした距離範囲内の距離に被写体が存在する。
【００２５】
非合焦：被写体のコントラストが不十分、もしくはスキャンした距離範囲外の距離に被写体が位置する。
【００２６】
山の形状を判断するための、一定値以上の傾きで傾斜している部分の長さＬ、傾斜している部分の勾配ＳＬ／Ｌを、図５を用いて説明する。
【００２７】
山の頂上（Ａ点）から傾斜が続いていると認められる点をＤ点、Ｅ点とし、Ｄ点とＥ点の幅を山の幅Ｌとする。傾斜が続いていると認める範囲は、Ａ点から始まり、隣り合うスキャンポイントの間で所定量(ＳｌｏｐｅＴｈｒ)以上ＡＦ評価値が下がる状態が続く範囲とする。スキャンポイントとは、連続的にフォーカスレンズを動かして、スキャン開始点から、スキャン終了点まで移動する間に、ＡＦ評価値を取得するポイントのことである。Ａ点とＤ点のＡＦ評価値の差ＳＬ１とＡ点とＥ点のＡＦ評価値の差ＳＬ２の和ＳＬ１＋ＳＬ２をＳＬとする。
【００２８】
山の形状から合焦判定を行うには、次の条件について確認をする。
（１）一定値以上の傾きで傾斜している部分の長さＬが所定の閾値（Ｌ０）以上であるか
（２）傾斜している部分の傾斜の平均値ＳＬ／Ｌが所定の閾値（ＳＬ０／Ｌ０）以上であるか（３）ＡＦ評価値の最大値（Ｍａｘ）と最小値（Ｍｉｎ）の差が所定の閾値（ｄｅｆｍａｘｍｉｎ）以上であるか
以上の条件を満たす場合は、被写体のコントラストが十分あり焦点調節可能であると判断できる。ここで、所定値Ｌ０、ＳＬ０、ｄｅｆｍａｘｍｉｎを合焦条件といい、これらの値の設定によって合焦判定を厳しくしたり緩くしたりすることができる。
【００２９】
次に、図６のフローチャートを参照しながら図２のステップＳ２０４における合焦判定の動作を説明する。
【００３０】
まず、ステップＳ６０１では各焦点検出領域に対して合焦条件を設定し、ステップＳ６０２へ進む。ここで、主領域の合焦条件は補助領域の合焦条件よりも低い値を設定し、主領域はより合焦と判定しやすくなるようにする。これは、主領域は背景抜けの影響が少ないため、主領域のピーク位置を合焦位置として優先的に選択したいためである。このように、背景抜けの影響やノイズの影響が少なく、ピーク位置が被写体にピントが合った位置である可能性が高いと考えられる場合は、ピーク位置が合焦位置として「十分に確からしい」と判定する。
【００３１】
ステップＳ６０２では各焦点検出領域でのＡＦ評価値が前述した合焦条件を満たすかどうかを調べ、合焦条件を満たす場合は合焦であると判定し、合焦条件を満たさない場合は非合焦であると判定し、ステップＳ６０３へ進む。ステップＳ６０３では全ての焦点検出領域で合焦判定が終了したかどうかを調べ、まだ合焦判定を行っていない焦点検出領域がある場合はステップＳ６０２へ戻り、全ての焦点検出領域で合焦判定を行った場合は本処理を終了する。
【００３２】
次に、図７のフローチャートを用いて図２のステップＳ２０５における焦点検出領域の選択の動作を説明する。ここでは、各焦点検出領域の中から、ピーク位置が合焦位置として十分に確からしい焦点検出領域を選択する。補助領域に比べると主領域の方が背景抜けの影響も少なく合焦位置として十分に確からしいことを想定しているため、はじめに主領域の判定を行い、主領域が十分に確からしいと判定できなかった場合は補助領域の判定を行う。
【００３３】
まず、ステップＳ７０１では主領域の確からしさの判定を行い、主領域のピーク位置が合焦位置として十分に確からしいかどうかを判定し、ステップＳ７０２へ進む。ステップＳ７０１での主領域の確からしさの判定手順については、図８を用いて後述する。ステップＳ７０２ではステップＳ７０１での主領域の判定の結果、主領域が十分に確からしいと判定したかどうかを調べ、十分に確からしい場合はステップＳ７０３へ、十分に確からしいと判定しなかった場合はステップＳ７０４へ進む。ステップＳ７０３では合焦位置を決めるための焦点検出領域として主領域を選択し、本処理を終了する。ステップＳ７０４では補助領域のピーク位置が合焦位置として十分に確からしいかどうかを判定し、ステップＳ７０５へ進む。ステップＳ７０４の補助領域の確からしさの判定の手順については図１０を用いて後述する。ステップＳ７０５ではステップＳ７０４での補助領域の判定の結果、十分に確からしい補助領域があると判定した場合はステップＳ７０５へ、十分に確からしい補助領域がない場合は本処理を終了する。ステップＳ７０５では十分に確からしいと判定した補助領域を選択し、本処理を終了する。
【００３４】
次に図８のフローチャートを用いて、図７のステップＳ７０１における主領域の確からしさの判定の動作を説明する。ここでは、主領域と補助領域のピーク位置を参照して、主領域のピーク位置が合焦位置として十分に確からしいかどうかを判定する。
【００３５】
まず、ステップＳ８０１では主領域および補助領域が図６のステップＳ６０２の合焦判定において合焦と判定したかどうかを調べ、合焦と判定した場合はステップＳ８０２へ進み、合焦でない焦点検出領域がある場合はステップＳ８０５へ進む。ステップＳ８０２では主領域のピーク位置が無限遠の位置であるかどうかを判定し、主領域のピーク位置が無限遠の位置である場合はステップＳ８０５へ進み、無限遠の位置でない場合はステップＳ８０３へ進む。顔の合焦位置は有限の位置であることが想定されるため、主領域のピーク位置が無限遠となる場合は主領域は合焦位置として確からしくない、と考えられる。
【００３６】
ステップＳ８０３では補助領域のピーク位置の差分が所定範囲内であるかどうかを調べ、補助領域のピーク位置の差が所定範囲内である場合はステップＳ８０４へ進み、補助領域のピーク位置の差が所定範囲内でない場合はステップＳ８０６へ進む。ここで、焦点検出領域のピーク位置の差が所定範囲内である場合とは、各焦点検出領域でのピーク位置のばらつきが、合焦している範囲内である場合を想定している。そこで、本実施形態では所定範囲を、焦点付近にピントがあっているとみなせる範囲である焦点深度の１．５倍の範囲とする。
【００３７】
図９は主領域・補助領域のピーク位置の関係と想定される顔の向きについて示す図である。左側の図は横軸がフォーカスレンズ位置、縦軸がＡＦ評価値を示しており、実線で示したＡＦ評価値９０１ａ〜９０１ｄが主領域のＡＦ評価値であり、対応する焦点検出領域が右側の図で示す顔領域上の焦点検出領域９１１ａ〜９１１ｄである。そして、点線で示したＡＦ評価値９０２ａ〜９０２ｄ、９０３ａ〜９０３ｄが補助領域のＡＦ評価値であり、対応する焦点検出領域が右側の図で示す焦点検出領域９１２ａ〜９１２ｄ、９１３ａ〜９１３ｄである。また、左側の図中での双方向矢印で示した範囲９２１ａ〜９２１ｄが前述の所定範囲内を示す。図９の（ａ）、図９の（ｄ）に示すように補助領域のピーク位置の差が所定範囲内である場合は顔が正面向きの状況、図９の（ｂ）、図９の（ｃ）に示すように補助領域のピーク位置の差が所定範囲内でない場合は顔が斜めを向いている状況が想定できる。
【００３８】
ステップＳ８０４では主領域と補助領域のピーク位置が所定範囲内であるかどうかを調べ、主領域と補助領域のピーク位置が所定範囲内である場合はステップＳ８０７へ進み、主領域と補助領域のピーク位置の差が所定範囲内でない場合はステップＳ８０５へ進む。主領域と補助領域のピーク位置の差が所定範囲内である場合とは図９の（ａ）のように顔が正面を向き、各焦点検出領域のピーク位置が顔にピントが合う位置に近い値をとっている状況を想定している。また、主領域と補助領域のピーク位置の差が所定範囲内でない場合は、例えば補助領域が二つとも背景抜けしている状況や、主領域のピーク位置がノイズの影響によって不正確な状況を想定している。ステップＳ８０５では、主領域は確からしくないと判定して本処理を終了する。ステップＳ８０７では主領域は十分に確からしいと判定して本処理を終了する。
【００３９】
ステップＳ８０６では主領域のピーク位置と、ピーク位置が近側にある方の補助領域（以下、近側補助領域という）のピーク位置との差が所定範囲内であるかどうかを調べる。そして、主領域と近側補助領域のピーク位置の差が所定範囲内である場合はステップＳ８０７へ進み、主領域と近側補助領域のピーク位置の差が所定範囲内でない場合はステップＳ８０５へ進む。ここでは、主領域と近側補助領域のピーク位置が所定範囲内である場合は図９の（ｂ）のように斜めを向き、ピーク位置が遠側となる方の補助領域のみが背景抜けしている状況を想定している。また、主領域と近側補助領域のピーク位置が所定範囲内でない場合は、図９の（ｃ）のように背景抜けやノイズの影響によって主領域のピーク位置が顔の合焦位置にないような状況を想定している。ステップＳ８０５では、主領域は確からしくないと判定して本処理を終了する。ステップＳ８０７では主領域は十分に確からしいと判定して本処理を終了する。
【００４０】
次に、図１０のフローチャートを用いて図７のステップＳ７０４における補助領域の確からしさの判定の動作を説明する。ここでは、図７のステップＳ７０１で主領域が確からしいと判定できなかった場合において、補助領域のピーク位置が合焦位置として十分に確からしいかを判定する。主領域が十分に確からしいと判定できなかった原因としてはノイズによるＳ／Ｎ比の悪化や背景抜けの影響により、主領域のピーク位置が変動することが想定できる。
【００４１】
まず、ステップＳ１００１では補助領域が図２のステップＳ２０４の合焦判定において合焦と判定したかどうかを調べ、全て合焦である場合はステップＳ１００２へ進み、合焦でない補助領域がある場合はステップＳ１００５へ進む。ステップＳ１００２では補助領域のピーク位置の差が所定範囲内であるかどうかを調べ、補助領域のピーク位置の差が所定範囲内である場合はステップＳ１００３へ進み、補助領域のピーク位置の差が所定範囲内でない場合はステップＳ１００４へ進む。ステップＳ１００３では顔推定位置と補助領域のピーク位置が所定範囲内であるかどうかを調べ、顔推定位置と補助領域のピーク位置の差が所定範囲内である場合はステップＳ１００６へ進む。また、顔推定位置と補助領域のピーク位置が所定範囲内でない場合はステップＳ１００５へ進む。ここで、顔推定位置は顔の検出サイズのばらつきや顔サイズの個人差によるばらつきによって誤差を生じる。そこで、本実施形態では、顔推定位置と補助領域のピーク位置の差が所定範囲内にある場合を、焦点深度の４倍の範囲内とし、前述した焦点検出領域同士のピーク位置の差を調べる場合の所定範囲よりも広い範囲を設定する。また、顔が斜めを向いた場合は、検出した顔サイズは正面を向いた場合よりも小さくなってしまうため、顔推定位置はより遠側の位置を示すようになる。そこで本実施形態では、顔推定位置を使用する場合は顔が正面を向いている可能性が高いと判断できる場合のみ、すなわち補助領域のピーク位置の差が所定範囲内である場合のみにすることによって確からしさの判定の精度を上げている。
【００４２】
ステップＳ１００４では近側補助領域について、画像処理部１１０によって得られる色情報から補助領域が合焦位置として十分に確からしいかどうかを判定し、補助領域が十分に確からしいと判定できる場合はステップＳ１００６へ進む。また、補助領域が十分に確からしいと判定できない場合はステップＳ１００５へ進む。ここで色情報とは、たとえば補助領域内（焦点検出領域内）の領域をさらに複数の領域に分割し、補助領域内の複数領域の中で肌色と判定できる領域の割合とする。肌色の領域の割合が所定値よりも高い場合は背景抜けの可能性が低く合焦位置として十分に確からしいと判定できる。また、色情報のかわりに、顔検出モジュール１２３によって得られる顔の向きの情報を用いることで、補助領域の確からしさを判定してもよい。図３の（ｂ）のように顔が斜めを向いている場合は、顔の向いている方向にある補助領域３０２ｂは背景に抜けやすい傾向にあるため十分に確からしいとは判定できない。一方、顔の向いている方向とは逆の方向にある補助領域３０３ｂは顔の内部にある可能性が高く、十分に確からしいと判定できる。ステップＳ１００５では、補助領域は確からしくないと判定して本処理を終了する。ステップＳ１００６では補助領域は十分に確からしいと判定して本処理を終了する。
【００４３】
以上説明したように、本実施形態によれば、顔検出時に顔領域においてＡＦを行う際に、ノイズによるＳ／Ｎ比の悪化の影響および背景抜けの影響を軽減してより高い精度で顔にピントを合わせることが可能となる。
【特許請求の範囲】
【請求項１】
フォーカスレンズを介して結像された被写体像を撮像素子で光電変換して得られた画像信号に基づいて、前記撮像素子の画面内に設定された焦点検出領域での被写体のコントラストを示すＡＦ評価値を求め、該ＡＦ評価値に基づいて前記焦点検出領域での被写体の合焦状態を判定する合焦状態判定手段と、
前記画像信号に基づいて前記画面内の１つまたは複数の被写体の情報を取得する被写体情報取得手段と、
前記被写体情報取得手段により得られた被写体情報から焦点調節を行う被写体である主被写体を判定する主被写体判定手段と、
前記画面内で前記主被写体が存在する領域の内部に１つの焦点検出領域である主領域を設定する主領域設定手段と、
前記主領域の周辺に前記主領域よりも小さい複数の焦点検出領域である補助領域を設定する補助領域設定手段と、
前記主領域及び前記補助領域での焦点検出動作で得られた前記フォーカスレンズの合焦位置の確からしさを判定する判定手段と、
前記判定手段によって、前記主領域および前記補助領域の中から、前記フォーカスレンズの合焦位置が確からしいと判定された焦点検出領域を選択する焦点検出領域選択手段と、
前記焦点検出領域選択手段により選択された焦点検出領域における前記ＡＦ評価値の極大位置に基づいて前記フォーカスレンズの合焦位置を検出する焦点検出手段と、
を備えることを特徴とする自動合焦装置。
【請求項２】
前記焦点検出領域選択手段は、前記判定手段によって前記主領域の合焦位置が確からしいと判定された場合は、前記主領域を前記フォーカスレンズの合焦位置を検出するために用いる焦点検出領域として選択することを特徴とする請求項１に記載の自動合焦装置。
【請求項３】
前記判定手段は、前記主領域の合焦位置を確からしいと判定しなかった場合は、前記補助領域に対して前記確からしさの判定を行い、前記焦点検出領域選択手段は、前記判定手段により前記補助領域の合焦位置が確からしいと判定された場合は、前記補助領域を前記フォーカスレンズの合焦位置を検出するために用いる焦点検出領域として選択することを特徴とする請求項１または２に記載の自動合焦装置。
【請求項４】
前記合焦状態判定手段は、前記主領域において合焦状態であると判定する前記ＡＦ評価値の閾値を、前記補助領域において合焦状態であると判定する前記ＡＦ評価値の閾値よりも低くすることを特徴とする請求項１乃至３のいずれか１項に記載の自動合焦装置。
【請求項５】
前記判定手段は、それぞれの焦点検出領域での前記ＡＦ評価値が極大となる前記フォーカスレンズの位置であるピーク位置を算出し、前記焦点検出領域ごとの前記ピーク位置の差分に基づいて前記確からしさの判定を行うことを特徴とする請求項１乃至４のいずれか１項に記載の自動合焦装置。
【請求項６】
前記判定手段は、焦点検出領域ごとの前記ピーク位置と、前記被写体情報取得手段によって得られる被写体のサイズから推定される被写体の距離に対応する前記フォーカスレンズの合焦位置との差分に基づいて前記確からしさの判定を行うことを特徴とする請求項５に記載の自動合焦装置。
【請求項７】
前記判定手段は、前記被写体情報取得手段によって得られる前記焦点検出領域内の被写体の色情報に基づいて、前記確からしさの判定を行うことを特徴とする請求項１に記載の自動合焦装置。
【請求項８】
前記判定手段は、前記被写体情報取得手段によって検出された主被写体の向きに基づいて、前記確からしさの判定を行うことを特徴とする請求項１に記載の自動合焦装置。
【請求項１】
フォーカスレンズを介して結像された被写体像を撮像素子で光電変換して得られた画像信号に基づいて、前記撮像素子の画面内に設定された焦点検出領域での被写体のコントラストを示すＡＦ評価値を求め、該ＡＦ評価値に基づいて前記焦点検出領域での被写体の合焦状態を判定する合焦状態判定手段と、
前記画像信号に基づいて前記画面内の１つまたは複数の被写体の情報を取得する被写体情報取得手段と、
前記被写体情報取得手段により得られた被写体情報から焦点調節を行う被写体である主被写体を判定する主被写体判定手段と、
前記画面内で前記主被写体が存在する領域の内部に１つの焦点検出領域である主領域を設定する主領域設定手段と、
前記主領域の周辺に前記主領域よりも小さい複数の焦点検出領域である補助領域を設定する補助領域設定手段と、
前記主領域及び前記補助領域での焦点検出動作で得られた前記フォーカスレンズの合焦位置の確からしさを判定する判定手段と、
前記判定手段によって、前記主領域および前記補助領域の中から、前記フォーカスレンズの合焦位置が確からしいと判定された焦点検出領域を選択する焦点検出領域選択手段と、
前記焦点検出領域選択手段により選択された焦点検出領域における前記ＡＦ評価値の極大位置に基づいて前記フォーカスレンズの合焦位置を検出する焦点検出手段と、
を備えることを特徴とする自動合焦装置。
【請求項２】
前記焦点検出領域選択手段は、前記判定手段によって前記主領域の合焦位置が確からしいと判定された場合は、前記主領域を前記フォーカスレンズの合焦位置を検出するために用いる焦点検出領域として選択することを特徴とする請求項１に記載の自動合焦装置。
【請求項３】
前記判定手段は、前記主領域の合焦位置を確からしいと判定しなかった場合は、前記補助領域に対して前記確からしさの判定を行い、前記焦点検出領域選択手段は、前記判定手段により前記補助領域の合焦位置が確からしいと判定された場合は、前記補助領域を前記フォーカスレンズの合焦位置を検出するために用いる焦点検出領域として選択することを特徴とする請求項１または２に記載の自動合焦装置。
【請求項４】
前記合焦状態判定手段は、前記主領域において合焦状態であると判定する前記ＡＦ評価値の閾値を、前記補助領域において合焦状態であると判定する前記ＡＦ評価値の閾値よりも低くすることを特徴とする請求項１乃至３のいずれか１項に記載の自動合焦装置。
【請求項５】
前記判定手段は、それぞれの焦点検出領域での前記ＡＦ評価値が極大となる前記フォーカスレンズの位置であるピーク位置を算出し、前記焦点検出領域ごとの前記ピーク位置の差分に基づいて前記確からしさの判定を行うことを特徴とする請求項１乃至４のいずれか１項に記載の自動合焦装置。
【請求項６】
前記判定手段は、焦点検出領域ごとの前記ピーク位置と、前記被写体情報取得手段によって得られる被写体のサイズから推定される被写体の距離に対応する前記フォーカスレンズの合焦位置との差分に基づいて前記確からしさの判定を行うことを特徴とする請求項５に記載の自動合焦装置。
【請求項７】
前記判定手段は、前記被写体情報取得手段によって得られる前記焦点検出領域内の被写体の色情報に基づいて、前記確からしさの判定を行うことを特徴とする請求項１に記載の自動合焦装置。
【請求項８】
前記判定手段は、前記被写体情報取得手段によって検出された主被写体の向きに基づいて、前記確からしさの判定を行うことを特徴とする請求項１に記載の自動合焦装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図９】
【公開番号】特開２０１１−３９４６０（Ｐ２０１１−３９４６０Ａ）
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願番号】特願２００９−１８９５７９（Ｐ２００９−１８９５７９）
【出願日】平成２１年８月１８日（２００９．８．１８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願日】平成２１年８月１８日（２００９．８．１８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]