自動焦点調節装置及びその制御方法
【課題】撮影者の意図する主被写体に対して安定した焦点調節動作を実現できる焦点調節装置を提供する。
【解決手段】顔検出処理回路113により映像信号から顔のような被写体が検出された場合、フォーカスレンズ105の駆動を基準駆動よりも増加させ、焦点信号の微小な変化を読み取ることにより、合焦位置の特定能力の向上させる。これにより、顔のようなコントラストが低い被写体であっても、焦点調節動作の応答性が向上し、合焦位置の検出までに多くの時間を要することなく、安定した焦点調節動作を実現する。
【解決手段】顔検出処理回路113により映像信号から顔のような被写体が検出された場合、フォーカスレンズ105の駆動を基準駆動よりも増加させ、焦点信号の微小な変化を読み取ることにより、合焦位置の特定能力の向上させる。これにより、顔のようなコントラストが低い被写体であっても、焦点調節動作の応答性が向上し、合焦位置の検出までに多くの時間を要することなく、安定した焦点調節動作を実現する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラなどの撮像装置等に搭載される自動焦点調節装置及びその制御方法、に関する。
【背景技術】
【0002】
従来より、ビデオカメラ等の自動焦点調節装置における自動焦点調節方式としては、例えば次のようなものがある。即ち、撮像素子等により被写体像を光電変換して映像信号を得て、この映像信号から画面の鮮鋭度を表す焦点信号を検出する。そして、その焦点信号が最大となるようにフォーカスレンズの位置を制御して自動焦点調節を行う方式(以下、TV−AF方式)が主流である。
【0003】
しかしながら、このTV−AF方式によって人物を撮影した場合には、撮影条件や被写体条件によってはピントが主被写体である人物ではなく、コントラストの高い背景に合ってしまうという問題点があった。
【0004】
このような問題を解決するために、次のような、顔検出機能を有する撮像装置が知られている。例えば、認識された顔領域を含む焦点検出エリア(顔枠)を設定して焦点検出を行う手法(特許文献1)や、顔枠の大きさから被写体までの距離を推測して焦点検出を行う手法(特許文献2)などが提案されている。
【特許文献1】特開2006−227080号公報
【特許文献2】特開2006−201282号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、上述した顔検出機能を用いた焦点検出方法では、合焦位置の検出までの時間が問題となる。
【0006】
一般的に、顔検出機能により検出された顔枠内の焦点信号はコントラストが低く最大値を検出しにくい。上記特許文献1の場合、検出された顔枠の中で、比較的コントラストの高い輪郭部分を用いて焦点検出を行っているが、被写体の向きや移動方向によっては、輪郭部分を、検出された顔枠内に常時捕らえることは厳しい。また、顔枠の大きさによっては、十分な輪郭部分の焦点信号が得られず、合焦位置の検出に多くの時間を費やしてしまう場合がある。
【0007】
また、文献2においては、顔のサイズの精度により、合焦位置の検出までの時間に変化が生じてしまう。例えば、人物が横を向いた場合などは、顔の面積の変化により、顔枠のサイズが変化する場合がある。この場合、同じ距離であるにも関わらず、顔のサイズの変化から、被写体までの距離の変化が生じたと誤認識してしまう。よって、合焦位置の推測を誤り、焦点検出までに時間を費やしてしまう。また、写真やポスターなどの場合、実際の顔の大きさとは異なる比率で拡大することが可能であるため、被写体距離の誤推測を起こし、合焦位置の検出に多くの時間を費やしてしまう。
【0008】
本発明は上記従来の問題点に鑑み、顔などの特定の被写体に対して、焦点調節動作の応答性を向上させて、安定した焦点調節動作を実現することができる自動焦点調節装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するために、本発明の自動焦点調節装置は、被写体を撮影して映像信号を出力する撮像手段と、前記撮像手段から得られる映像信号に基づいて撮影画面内の特定の被写体像を検出する検出手段と、前記映像信号から撮影画面の鮮鋭度を示す焦点信号を検出する手段と、前記焦点信号に応じて焦点調節部材を移動して焦点調節制御を行う自動焦点調節手段とを有する自動焦点調節装置であって、前記自動焦点調節手段は、前記検出手段の検出結果に基づいて、前記焦点調節部材の制御を変更することを特徴とする。
【0010】
また、本発明の自動焦点調節装置の制御方法は、被写体を撮影して映像信号を出力する撮像手段と、前記撮像手段から得られる映像信号に基づいて撮影画面内の特定の被写体像を検出する検出手段と、前記映像信号から撮影画面の鮮鋭度を示す焦点信号を検出する手段と、前記焦点信号に応じて焦点調節部材を移動して焦点調節制御を行う自動焦点調節手段とを有する自動焦点調節装置の制御方法であって、前記自動焦点調節手段が、前記検出手段の検出結果に基づいて前記焦点調節部材の制御を変更する工程を有することを特徴とする。
【発明の効果】
【0011】
本発明によれば、顔などの特定の被写体に対して、焦点調節動作の応答性を向上させて、安定した焦点調節動作を実現することが可能になる。
【発明を実施するための最良の形態】
【0012】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【0013】
[第1の実施の形態]
<撮像装置の構成>
図1は、本発明の実施の形態に係る自動焦点調節装置が搭載されたビデオカメラ(撮像装置)の構成を示すブロック図である。なお、本実施の形態では、ビデオカメラについて説明するが、本発明は、デジタルスチルカメラ等、他の撮像装置への適用も可能である。
【0014】
図1において、このビデオカメラは、光軸方向に、第1固定レンズ101、変倍レンズ102、絞り103、第2固定レンズ104、及びフォーカスコンペンセータレンズ105が順次配置され、これらによって撮像光学系が構成される。変倍レンズ102は、光軸方向に移動して変倍を行うレンズである。フォーカスコンペンセータレンズ(以下、フォーカスレンズ)105は、変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えたレンズである。そして、フォーカスレンズ105の背部には、撮像素子106が配置されている。撮像素子106は、CCDセンサやCMOSセンサにより構成される光電変換素子である。
【0015】
さらに、このビデオカメラは、CDS/AGC/ADコンバータ107、カメラ信号処理回路108、表示装置109、記録装置110、AFゲート111、焦点信号処理回路112、顔検出処理回路113、及びカメラ/AFマイコン114を有している。
【0016】
CDS/AGC/ADコンバータ107は、撮像素子106の出力をサンプリング、ゲイン調整、デジタル化する回路である。カメラ信号処理回路108は、CDS/AGC/ADコンバータ107からの出力信号に対して各種の画像処理を施して映像信号を生成する回路である。表示装置109は、カメラ信号処理回路108からの映像信号を表示する装置であり、記録装置110は、カメラ信号処理回路108からの映像信号を磁気テープ、光ディスク、半導体メモリ等の記録媒体に記録する装置である。また、AFゲート111は、CDS/AGC/ADコンバータ107からの全画素の出力信号のうち焦点検出に用いられる領域の信号のみを通す回路である。
【0017】
焦点信号処理回路112は、AFゲート111を通過した信号から高周波成分や該高周波信号から生成した輝度差成分(AFゲート111を通過した信号の輝度レベルの最大値と最小値の差分)等を抽出して焦点信号を生成する回路である。ここで、焦点信号は、撮像素子106からの出力信号に基づいて生成される映像の鮮鋭度(コントラスト状態)を表すものであるが、鮮鋭度は撮像光学系の焦点状態によって変化するので、結果的に撮像光学系の焦点状態を表す信号となる。
【0018】
顔検出処理回路113(検出手段の一例)は、画像信号に対して公知の顔認識処理を施して撮影画面内の人物の顔領域を検出する回路であり、その検出結果をカメラ/AFマイコン114に送信する。カメラ/AFマイコン114は、上記検出結果に基づき、撮影画面内の顔領域を含む位置に、焦点検出に用いられる領域を追加するようにAFゲート111へ情報を送信する。
【0019】
なお、上記公知の顔認識処理では、例えば、画像データで表される各画素の階調色から肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法や、抽出された目、鼻、口等の顔の特徴点からパターン認識を行う方法等が知られている。
【0020】
カメラ/AFマイコン114は、焦点信号処理回路112の出力信号に基づいて、後述のフォーカスレンズ駆動源116を制御してフォーカスレンズ105を駆動するとともに、記録装置110へ画像記録命令を出力する。
【0021】
また、このビデオカメラは、変倍レンズ駆動源115とフォーカスレンズ駆動源116を備えている。変倍レンズ駆動源115は、変倍レンズ102を移動させるためのアクチュエータ及びそのドライバを含み、フォーカスレンズ駆動源116はフォーカスレンズ105を移動させるためのアクチュエータ及びそのドライバを含む。変倍レンズ駆動源115及びフォーカスレンズ駆動源116は、ステッピングモータ、DCモータ、振動型モータ及びボイスコイルモータ等のアクチュエータにより構成される。
【0022】
<焦点調節制御の概要>
次に、カメラ/AFマイコン114が実行する、本実施の形態における焦点調節制御の概要について、図2〜図6を用いて説明する。図2の一連の処理では、顔が検出された場合の顔検出開始から一定時間Nまでの間、顔検出フラグをセットする処理を行う。このフラグを後述の図4及び図5と図10の処理において参照し、顔検出開始から一定時間の間、フォーカスレンズ105の駆動を変化させる。
【0023】
図2は、本実施の形態における焦点調節制御の全体を示すフローチャートであり、主にAF枠設定に関する処理が示されている。
【0024】
図2において、まずステップS501では、焦点信号処理回路112より、TV−AF制御の基本となる焦点信号を取得するための固定のAF(オートフォーカス)枠の位置と大きさを設定する。また、このとき、焦点信号処理回路112内のフィルタ係数を設定し、抽出特性の異なる複数のバンドパスフィルタを構築する。抽出特性とはバンドパスフィルタの周波数特性であり、ここでの設定とは焦点信号処理回路112内のバンドパスフィルタの設定値を変更することを意味する。
【0025】
次のステップS502では、カメラ/AFマイコン114は、顔検出処理回路113から顔検出処理結果の情報を取得する。以下、検出された顔の周辺に位置する領域を顔枠とする。但し、本実施の形態では、顔枠の抽出個数を最大1個として説明する。
【0026】
続くステップS503では、カメラ/AFマイコン114は、ステップS502で取得した情報から顔が検出されたか否かを判別し、検出された場合はステップS504へ遷移し、検出されない場合はステップS512へ遷移する。
【0027】
ステップS504では、カメラ/AFマイコン114は、検出された顔枠に固定のAF枠を再設定する。ビデオカメラの場合、映像信号の垂直同期信号Vと同期し処理を行っているため、続くステップS505では、カメラ/AFマイコン114は、前回の垂直同期信号Vでの被写体と今回の被写体とが同一かを判断する。その判断基準は、AF枠の位置の著しいズレなどを用いて判断することとする。
【0028】
被写体が同一である場合は、ステップS509へ遷移し、同一でない場合、つまり、顔枠が切り替わった場合、または、新規に顔を検出した場合はステップS506へ遷移する。ステップS506では、カメラ/AFマイコン114は、顔検出時間を検知するための顔検出時間カウンタを0にリセットし、ステップS507へ遷移する。ステップS507では、カメラ/AFマイコン114は、顔を検出開始したことを表す顔検出フラグをセットする。
【0029】
次のステップS508では、カメラ/AFマイコン114は、顔検出時間カウンタをスタートし、続くステップS509では、顔検出時間カウンタの値がN未満かの判断を行う。この定数Nの設定は後述することとする。顔検出時間カウンタの値がN未満だった場合、ステップS510においてカメラ/AFマイコン114は、顔検出時間カウンタの値を進める処理を行う。
【0030】
一方、顔検出時間カウンタの値がN以上であった場合、顔検出開始後の一定時間経過したと判断し、カメラ/AFマイコン114は、ステップS511において、顔検出フラグをクリアする。また、カメラ/AFマイコン114は、ステップS503において、顔が検出されなかったと判断した場合は、ステップS512で顔検出フラグをクリアする処理を行い、さらにステップS513で、顔検出時間カウンタを0にリセットする。
【0031】
以上の処理を終了し、ステップS514では、指定されたAF枠の焦点信号を取得する。このとき、AF枠は、顔が検出されなかった場合には固定のAF枠を用い、顔が検出された場合には顔領域のAF枠を用いることとなる。
【0032】
次のステップS515では、カメラ/AFマイコン114は、TV−AF制御により焦点調節を行う。ここでの詳細な動作は図3を参照して説明する。その後、ステップS501へ戻る。
【0033】
次に、図2のステップS515で実行されるTV−AF制御の詳細な処理について、図3を参照して説明する。
【0034】
図3は、図2のステップS515で実行されるTV−AF制御の詳細を示すフローチャートである。
【0035】
まずステップS601において、カメラ/AFマイコン114は、微小駆動モードであるかを判別し、微小駆動モードである場合はステップS602へ遷移し、微小駆動モードでない場合はステップS608へ遷移する。
【0036】
ステップS602では、カメラ/AFマイコン114は、微小駆動動作を行い、フォーカスレンズ105を所定の振幅で駆動し、合焦しているか、或いはどちらの方向に合焦点が存在するかを判別する。ここでの詳細な動作は図4及び図5で説明する。ステップS603では、カメラ/AFマイコン114は、ステップS602の微小駆動動作によって合焦判別が成功したかどうかを判別し、成功した場合はステップS606へ遷移し、成功しない場合はステップS604へ遷移する。
【0037】
ステップS604では、カメラ/AFマイコン114は、ステップS602の微小駆動動作によって方向判別が成功したかどうかを判別する。そして、方向判別が成功した場合はステップS605へ遷移して山登り駆動モードへ移行し、成功しない場合はステップS501へ戻り、微小駆動モードを継続する。
【0038】
ステップS606では、カメラ/AFマイコン114は、合焦時の焦点信号レベルをカメラ/AFマイコン114内のメモリに格納した後、ステップS607へ遷移して再起動判定モードへ移行する。
【0039】
一方、ステップS608では、カメラ/AFマイコン114は、カメラ/AFマイコン114は、山登り駆動モードであるかを判別し、そうである場合はステップS609へ遷移し、そうでない場合はステップS613へ遷移する。ステップS609では、カメラ/AFマイコン114は、山登り駆動動作を行い、焦点信号が大きくなる方向へ所定の速度でフォーカスレンズ105を山登り駆動する。ここでの詳細な動作は図10で説明する。
【0040】
続くステップS610では、カメラ/AFマイコン114は、ステップS609の山登り駆動動作によって焦点信号のピーク位置が発見されたかどうかを判別する。そうである場合はステップS611へ遷移し、そうでない場合はステップS501へ戻り山登り駆動モードを継続する。ステップS611では、カメラ/AFマイコン114は、焦点信号がピークとなったフォーカスレンズ105の位置を目標位置に設定した後、ステップS612へ遷移して停止モードへ移行する。
【0041】
一方、ステップS613では、カメラ/AFマイコン114は、停止モードであるかを判別し、そうである場合はステップS614へ遷移し、そうでない場合はステップS616へ遷移する。ステップS614では、カメラ/AFマイコン114は、フォーカスレンズ105が焦点信号のピークとなる位置に戻ったかどうかを判別する。そうである場合はステップS615へ遷移して微小駆動(合焦判別)モードへの移行し、そうでない場合はステップS501へ戻り停止モードを継続する。
【0042】
一方、ステップS616では、カメラ/AFマイコン114は、現在の焦点信号レベルとステップS606で保持した焦点信号レベルとを比較し、その変動量が所定値より大きいかどうかを判別する。ここで、変動量が大きいと判断され場合はステップS617へ遷移して微小駆動(方向判別)モードへの移行を行い、そうでない場合はステップS501へ戻り再起動判定モードを継続する。
【0043】
<微小駆動モードの詳細>
次に、図3のステップS602で実行される微小駆動モードの詳細な処理について、図4及び図5を参照して説明する。
【0044】
図4及び図5は、図3のステップS602で実行される微小駆動モードの詳細な処理を示すフローチャートである。
【0045】
まずステップS701において、カメラ/AFマイコン114は、微小駆動の動作状態を示すカウンタが現在0であるかを判別し、そうである場合はステップS702へ遷移し、そうでない場合はステップS703へ遷移する。ステップS702では、フォーカスレンズ105が至近側にある場合の処理として、現在の焦点信号レベルを保持する。ここでの焦点信号は、後述のステップS710でフォーカスレンズ105が無限側にあるときに撮像素子106に蓄積された電荷から生成された映像信号によるものである。
【0046】
ステップS703では、カメラ/AFマイコン114は、現在のカウンタが1であるかを判別し、そうである場合はステップS704へ遷移し、そうでない場合はステップS709へ遷移する。
【0047】
ステップS704では、カメラ/AFマイコン114は、後述のステップS708でフォーカスレンズ105を駆動するための振動振幅及び中心移動振幅を演算し、続くステップS704Aでは、顔検出フラグがセットされているかの確認を行う。顔検出フラグがセットされている場合は、顔検出開始後、一定時間内であるため、ステップS704Bにおいて、ステップS704の演算結果に係数Kをかけた値を演算結果とする。その値を、後述のステップS708で使用するフォーカスレンズ105を駆動するための振動振幅、中心移動振幅とする。なお、通常、これらの振幅は焦点深度内に設定されるのが一般的である。
【0048】
前記ステップS704Aに続くステップS705では、カメラ/AFマイコン114は、ステップS702で保持した無限側の焦点信号レベルと後述のステップS710で保持した至近側の焦点信号レベルとを比較する。そして、前者が大きい場合はステップS706へ遷移し、後者が大きい場合はステップS707へ遷移する。
【0049】
ステップS706では、振動振幅と中心移動振幅の和を駆動振幅とし、ステップS707では、振動振幅を駆動振幅とする。そしてその後のステップS708において、カメラ/AFマイコン114は、ステップS706またはステップS707で求めた駆動振幅に基づき、フォーカスレンズ105を無限方向へ駆動する。
【0050】
一方、ステップS709では、カメラ/AFマイコン114は、現在のカウンタが2であるかを判別し、そうである場合はステップS710へ遷移し、そうでない場合はステップS711へ遷移する。ステップS710では、フォーカスレンズ105が無限側にある場合の処理として、現在の焦点信号レベルを保持する。ここでの焦点信号は、ステップS702でフォーカスレンズ105が至近側にあるときに撮像素子106に蓄積された電荷から生成された映像信号によるものである。
【0051】
ステップS711では、カメラ/AFマイコン114は、後述のステップS715でフォーカスレンズ105を駆動するための振動振幅及び中心移動振幅を演算し、続くステップS711Aでは、顔検出フラグがセットされているかの確認を行う。顔検出フラグがセットされている場合、顔検出開始後、一定時間内であるため、ステップS711Bにおいて、ステップS711の演算結果に係数Kをかけた値を演算結果とする。その値を、後述のステップS715で使用するフォーカスレンズ105を駆動するための振動振幅及び中心移動振幅とする。なお、通常、これらの振幅は焦点深度内に設定されるのが一般的である。
【0052】
ステップS712では、カメラ/AFマイコン114は、ステップS710で保持した至近側の焦点信号レベルと後述のステップS702で保持した無限側の焦点信号レベルとを比較する。前者が大きい場合はステップS713へ遷移し、後者が大きい場合はステップS714へ遷移する。
【0053】
ステップS713では、振動振幅と中心移動振幅の和を駆動振幅とし、ステップS714では、振動振幅を駆動振幅とする。そしてその後のステップS715において、カメラ/AFマイコン114は、ステップS713またはステップS714で求めた駆動振幅に基づき、フォーカスレンズ105を至近方向へ駆動する。
【0054】
そして、ステップS716において、カメラ/AFマイコン114は、現在、方向判別モードであるかを判別し、そうである場合はステップS717へ遷移し、そうでない場合はステップS719へ遷移する。ステップS717では、カメラ/AFマイコン114は、所定回数連続して同一方向に合焦点が存在しているかを判別し、そうである場合はステップS718へ遷移し、そうでない場合はステップS721へ遷移する。ステップS718では、方向判別ができたものと判断する。
【0055】
ステップS719では、カメラ/AFマイコン114は、フォーカスレンズ105が所定回数同一エリアで往復しているかを判別し、そうである場合はステップS720へ遷移し、そうでない場合はステップS721へ遷移する。ステップS720では合焦判別できたものと判断する。
【0056】
そしてその後のステップS721において、カメラ/AFマイコン114は、微小駆動の動作状態を示すカウンタが3であれば0に戻し、その他の値であればカウンタを加算する。
【0057】
次に、上述した微小駆動モード時におけるフォーカスレンズ105の動作について、図6を参照して説明する。
【0058】
図6は、微小駆動モードのフォーカスレンズ105動作を示す図である。なお、同図では、映像信号の垂直同期信号に合わせて、横軸に時間、縦軸にフォーカスレンズ105の位置を表している。
【0059】
ラベルAの時刻に撮像素子106に蓄積された電荷に対する焦点信号EVAは、時刻TAでカメラ/AFマイコン114に取り込まれる。ラベルBの時刻に撮像素子106に蓄積された電荷に対する焦点信号EVBは、時刻TBでカメラ/AFマイコン114に取り込まれる。時刻TCでは焦点信号EVAとEVBを比較し、EVBが大きい場合のみ振動中心を移動する。なお、ここでのフォーカスレンズ105の移動は焦点深度を基準とし、画面で認識できない移動量に設定する。
【0060】
<本実施の形態の特徴を成す処理>
図7は、固定のAF枠と顔検出時のAF枠(顔枠)の位置の一例を示した模式図であり、図8は、図7の例における顔枠と固定枠の焦点信号状態を示したグラフである。
【0061】
微小駆動動作(図3のステップS602)の詳細である図4及び図5を用いた上述の説明は、理想的な評価値が得られた場合の微小駆動動作である。しかし、図7のように、顔検出によって得られた顔枠701をAF枠とした場合には、図8に示すように、固定のAF枠702の焦点信号に比べて、顔枠の焦点信号は緩やかなピークを持つ。
【0062】
その理由として、顔は一般的にコントラストが低い被写体であるため、焦点信号が急峻なピークを持つことは少ない。よって、このような焦点信号を用いた上述の微小駆動による焦点検出を行った場合、焦点信号の十分な変化量が得られないため、合焦位置を特定できない場合がある。
【0063】
そこで、本実施の形態の特徴である、顔検出時の一定時間においてフォーカスレンズ105の駆動量を変化させることにより、この問題を解決することができる。以下、本実施の形態の特徴を成す処理について、図9を参照して説明する。
【0064】
図9は、図8の例における顔枠での焦点信号の変化を示したグラフである。
【0065】
まず、図8のAの部分にフォーカスレンズ105が位置していた場合について説明する。フォーカスレンズ105を無限/至近方向に微小駆動させた場合において、焦点信号の変動量は、図9の信号変動量dに示すように、小さくなる。これは、顔枠701のコントラストが低いことにより焦点信号の変化があまり得られないためである。この場合、焦点信号の変化が小さいことにより、現在のフォーカスレンズ105の位置が合焦位置であると誤認識してしまう可能性がある。
【0066】
よって、顔のようなコントラストが低い被写体の場合、基準値よりも大きな振幅で無限/至近方向にフォーカスレンズ105を単位時間当たり移動させなくてはならないことが分かる。それを図示したのが図9の信号変動量d’である。
【0067】
非顔検出時の焦点信号の振幅(図9のW)を基準とした場合、顔検出時はそれより大きな振幅(図9のW’)でフォーカスレンズ105を単位時間当たり移動させることにより、焦点信号の微小な変化をも読み取ることが可能となる。このとき読み取られた焦点信号の変動量を用いることにより、フォーカスレンズ105の移動すべき方向が判り、顔のようなコントラストの低い被写体にでも、合焦可能となる。
【0068】
但し、焦点信号検出のための振幅を増加させる時間は、フォーカスレンズ105の移動すべき方向を判別する処理を行うための一定時間で良い。その時間は、無限/至近方向の焦点信号値を少なくとも3サンプル取得する必要があるため、図2のステップS508及びステップS509で説明した顔検出時間カウンタはN=5以上であることが望ましい。なお、具体的な定数Nは、十分な測定を繰り返し決定することとする。なお、顔検出時間カウンタは記録手段の一例であり、そのカウンタ数は、特定の被写体像の検出つまり顔検出からの経過時間に相当する。
【0069】
また、図4のステップS704B及びステップS711Bの処理に用いられる、振幅の増加量を表す係数Kの決定方法は、
顔検出時の振幅=非顔検出時の振幅*K<焦点深度
を満たすことが望ましい。
【0070】
なお、本実施の形態の特徴となる、フォーカスレンズ105(焦点調節部材の一例)の駆動量についての説明は、基準を非顔検出時として顔検出時の増加量を例にあげて説明した。しかし、基準となる振幅量(つまり基準量)は、顔検出時における最適な振幅量を基準とするものでも良い。顔検出時における最適な振幅量とは、顔検出処理回路113から得られる顔領域に対してフォーカスレンズ105が合焦位置にあり、且つ合焦状態の振幅量である。また、基準となる振幅量は、顔検出される直前の振幅量でも構わない。つまり、顔検出処理回路113が顔領域を検出する直前のフォーカスレンズ105の駆動量であっても構わない。
【0071】
<山登り駆動モードの詳細>
次に、本実施の形態における山登り駆動モード時の処理の詳細について説明する。
【0072】
図10は、図3のステップS609の山登り駆動モード時の詳細な処理を示すフローチャートである。
【0073】
まずステップS801において、カメラ/AFマイコン114は、フォーカスレンズ105の駆動速度を設定する。次のステップS801Aでは、顔検出フラグがセットされているかを判別し、セットされている場合はステップS801Bへ遷移する。
【0074】
ステップS801Bでは、カメラ/AFマイコン114は、顔検出開始から一定時間内であるため、設定された駆動速度に定数K’を乗算する。これにより、合焦位置までの到達時間が短縮され、AFの応答性が向上する。つまり、山登り駆動動作のスピード上げることができる。なお、定数K’の値は、十分な回数測定を行い、ボケの発生が無く、且つ、レンズの騒音などが発生しない定数K’を設定することとする。
【0075】
その後のステップS802において、カメラ/AFマイコン114は、現在の焦点信号レベルが前回より増加しているかを判別し、そうである場合はステップS803へ遷移し、そうでない場合はステップS804へ遷移する。ステップS803では、ステップS801で設定した速度に基づき、フォーカスレンズ105を前回と同じ方向に山登り駆動する。
【0076】
ステップS804では、焦点信号レベルがピークを越えて減少しているかどうかを判別し、そうである場合はステップS805へ遷移し、そうでない場合はステップS806へ遷移する。ステップS805では、カメラ/AFマイコン114は、ピーク位置を発見したものと判断する。
【0077】
ステップS806では、ステップS801で設定した速度に基づき、フォーカスレンズ105を前回と逆の方向に山登り駆動する。なお、山登り駆動モードでこのステップS806を繰り返している場合、被写体の焦点信号の変化量が十分に得られないためにフォーカスレンズ105がハンチング状態にあることを意味する。
【0078】
次に、上述した山登り駆動モード時におけるフォーカスレンズ105の動作について、図11を参照して説明する。
【0079】
図11は、本実施の形態における山登り駆動モード時のフォーカスレンズ105の動作を示したグラフである。
【0080】
同図において、フォーカスレンズ105が図中のAのように駆動している場合は焦点信号が増加しているため、同じ方向への山登り駆動を継続する。ここで、フォーカスレンズ105をBの範囲で駆動すると焦点信号はピーク位置を越えて減少する。このとき、合焦点が存在するとして山登り駆動動作を終了し、フォーカスレンズ105をピーク位置まで戻した後、微小駆動動作に移行する。一方、Cのようにピーク位置を越えずに焦点信号が減少した場合は駆動すべき方向を間違えたものとして反転し、山登り駆動動作を継続する。
【0081】
このように、TV−AF方式による焦点調節制御では、再起動判定→微小駆動→山登り駆動→停止→微小駆動→再起動判定を繰り返しながらフォーカスレンズ105を移動させることで、焦点信号が常に最大となるように合焦状態を維持する。このとき、顔検出がされていれば、山登り駆動動作に移行しやすくし、顔検出ができなければ顔検出ができているときに比べて山登り駆動動作に移行し難くすることが考えられる。
【0082】
<本実施の形態に係る利点>
本実施の形態によれば、顔検出時の一定時間、フォーカスレンズ105の駆動を基準量より増加させるようにした。即ち、顔のような特定の被写体が検出された場合には、フォーカスレンズ105の駆動を基準量よりも増加させ、焦点信号の微小な変化を読み取るようにした。これにより、顔のような低コントラストの被写体であっても、フォーカスレンズ105の方向判別が可能になり、合焦までの時間を短縮することができる。
【0083】
このようなことから、顔検出時の焦点調節動作の応答性が向上し、特に動画撮影時などにおいて、撮影者の意図する主被写体の人物に安定した焦点調節動作を実現することが可能になる。
【0084】
[第2の実施の形態]
次に、本発明の第2の実施の形態について説明する。
【0085】
第2の実施の形態に係る撮像装置は、前述した第1の実施の形態の図1で説明したものと同じである。以下では、主として本実施の形態と異なる部分について説明する。
【0086】
図1において、焦点信号処理回路112は、AFゲート111を通過した信号から高周波成分や該高周波信号から生成した輝度差成分等を抽出して第1の焦点信号を生成する。顔検出処理回路113は、撮影画面内の人物の顔領域を検出した結果をカメラ/AFマイコン114へ送信する。カメラ/AFマイコン114は、上記検出結果に基づき、撮影画面内の顔領域を含む位置に、焦点検出に用いられる領域を追加するようにAFゲート111へ情報を送信する。焦点信号処理回路112は、カメラ/AFマイコン114より送信された情報を基にAFゲート111を通過した信号から、高周波成分や該高周波信号から生成した輝度差成分等を抽出して第2の焦点信号を生成する。
【0087】
そして、本実施の形態では、上記第1の焦点信号と第2の焦点信号を重み付けし合成する。その合成された信号を第3の焦点信号とする。その理由として、顔検出処理回路113から決定される第2の焦点信号は、逐次変わる可能性があり、焦点信号の急激な変化が起こる場合があるからである。ただし、顔検出処理回路113により、顔が検出できなかった場合、第2の焦点信号の合成を行わないこととし、第1の焦点信号を用いて焦点調節制御を行うこととする。
【0088】
以上のことを踏まえ、第2の焦点信号を重み付けし、第1の焦点信号に合成することで、第2の焦点信号の変化を吸収し、安定した焦点信号処理を行うことが可能となる。
【0089】
なお、図2〜図11で説明した焦点調節制御は、第1の実施の形態と同様であるため、説明を省略する。
【0090】
[他の実施の形態]
なお、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)が記憶媒体に格納されたプログラムコードを読み出す処理である。
【0091】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0092】
また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー(登録商標)ディスク、ハードディスク、光磁気ディスク、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD+RW、磁気テープ、不揮発性のメモリカード、ROM等である。または、プログラムコードをネットワークを介してダウンロードしても良い。
【0093】
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【0094】
更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行う場合である。
【図面の簡単な説明】
【0095】
【図1】実施の形態に係るビデオカメラ(撮像装置)の構成を示すブロック図である。
【図2】実施の形態における焦点調節制御の全体を示すフローチャートである。
【図3】TV−AF制御の詳細を示すフローチャートである。
【図4】微小駆動モードの詳細な処理を示すフローチャートである。
【図5】図4の続きのフローチャートである。
【図6】微小駆動モードのフォーカスレンズ105動作を示す図である。
【図7】固定のAF枠と顔検出時のAF枠(顔枠)の位置の一例を示した模式図である。
【図8】顔枠と固定枠の焦点信号状態を示したグラフである。
【図9】顔枠での焦点信号の変化を示したグラフである。
【図10】山登り駆動モード時の詳細な処理を示すフローチャートである。
【図11】実施の形態における山登り駆動モード時のフォーカスレンズ105の動作を示したグラフである。
【符号の説明】
【0096】
101 第1固定レンズ
102 変倍レンズ
103 絞り
104 第2固定レンズ
105 フォーカスレンズ
106 撮像素子
108 カメラ信号処理回路
109 表示装置
112 焦点信号処理回路
113 顔検出処理回路
114 カメラAFマイコン
【技術分野】
【0001】
本発明は、カメラなどの撮像装置等に搭載される自動焦点調節装置及びその制御方法、に関する。
【背景技術】
【0002】
従来より、ビデオカメラ等の自動焦点調節装置における自動焦点調節方式としては、例えば次のようなものがある。即ち、撮像素子等により被写体像を光電変換して映像信号を得て、この映像信号から画面の鮮鋭度を表す焦点信号を検出する。そして、その焦点信号が最大となるようにフォーカスレンズの位置を制御して自動焦点調節を行う方式(以下、TV−AF方式)が主流である。
【0003】
しかしながら、このTV−AF方式によって人物を撮影した場合には、撮影条件や被写体条件によってはピントが主被写体である人物ではなく、コントラストの高い背景に合ってしまうという問題点があった。
【0004】
このような問題を解決するために、次のような、顔検出機能を有する撮像装置が知られている。例えば、認識された顔領域を含む焦点検出エリア(顔枠)を設定して焦点検出を行う手法(特許文献1)や、顔枠の大きさから被写体までの距離を推測して焦点検出を行う手法(特許文献2)などが提案されている。
【特許文献1】特開2006−227080号公報
【特許文献2】特開2006−201282号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、上述した顔検出機能を用いた焦点検出方法では、合焦位置の検出までの時間が問題となる。
【0006】
一般的に、顔検出機能により検出された顔枠内の焦点信号はコントラストが低く最大値を検出しにくい。上記特許文献1の場合、検出された顔枠の中で、比較的コントラストの高い輪郭部分を用いて焦点検出を行っているが、被写体の向きや移動方向によっては、輪郭部分を、検出された顔枠内に常時捕らえることは厳しい。また、顔枠の大きさによっては、十分な輪郭部分の焦点信号が得られず、合焦位置の検出に多くの時間を費やしてしまう場合がある。
【0007】
また、文献2においては、顔のサイズの精度により、合焦位置の検出までの時間に変化が生じてしまう。例えば、人物が横を向いた場合などは、顔の面積の変化により、顔枠のサイズが変化する場合がある。この場合、同じ距離であるにも関わらず、顔のサイズの変化から、被写体までの距離の変化が生じたと誤認識してしまう。よって、合焦位置の推測を誤り、焦点検出までに時間を費やしてしまう。また、写真やポスターなどの場合、実際の顔の大きさとは異なる比率で拡大することが可能であるため、被写体距離の誤推測を起こし、合焦位置の検出に多くの時間を費やしてしまう。
【0008】
本発明は上記従来の問題点に鑑み、顔などの特定の被写体に対して、焦点調節動作の応答性を向上させて、安定した焦点調節動作を実現することができる自動焦点調節装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するために、本発明の自動焦点調節装置は、被写体を撮影して映像信号を出力する撮像手段と、前記撮像手段から得られる映像信号に基づいて撮影画面内の特定の被写体像を検出する検出手段と、前記映像信号から撮影画面の鮮鋭度を示す焦点信号を検出する手段と、前記焦点信号に応じて焦点調節部材を移動して焦点調節制御を行う自動焦点調節手段とを有する自動焦点調節装置であって、前記自動焦点調節手段は、前記検出手段の検出結果に基づいて、前記焦点調節部材の制御を変更することを特徴とする。
【0010】
また、本発明の自動焦点調節装置の制御方法は、被写体を撮影して映像信号を出力する撮像手段と、前記撮像手段から得られる映像信号に基づいて撮影画面内の特定の被写体像を検出する検出手段と、前記映像信号から撮影画面の鮮鋭度を示す焦点信号を検出する手段と、前記焦点信号に応じて焦点調節部材を移動して焦点調節制御を行う自動焦点調節手段とを有する自動焦点調節装置の制御方法であって、前記自動焦点調節手段が、前記検出手段の検出結果に基づいて前記焦点調節部材の制御を変更する工程を有することを特徴とする。
【発明の効果】
【0011】
本発明によれば、顔などの特定の被写体に対して、焦点調節動作の応答性を向上させて、安定した焦点調節動作を実現することが可能になる。
【発明を実施するための最良の形態】
【0012】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【0013】
[第1の実施の形態]
<撮像装置の構成>
図1は、本発明の実施の形態に係る自動焦点調節装置が搭載されたビデオカメラ(撮像装置)の構成を示すブロック図である。なお、本実施の形態では、ビデオカメラについて説明するが、本発明は、デジタルスチルカメラ等、他の撮像装置への適用も可能である。
【0014】
図1において、このビデオカメラは、光軸方向に、第1固定レンズ101、変倍レンズ102、絞り103、第2固定レンズ104、及びフォーカスコンペンセータレンズ105が順次配置され、これらによって撮像光学系が構成される。変倍レンズ102は、光軸方向に移動して変倍を行うレンズである。フォーカスコンペンセータレンズ(以下、フォーカスレンズ)105は、変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えたレンズである。そして、フォーカスレンズ105の背部には、撮像素子106が配置されている。撮像素子106は、CCDセンサやCMOSセンサにより構成される光電変換素子である。
【0015】
さらに、このビデオカメラは、CDS/AGC/ADコンバータ107、カメラ信号処理回路108、表示装置109、記録装置110、AFゲート111、焦点信号処理回路112、顔検出処理回路113、及びカメラ/AFマイコン114を有している。
【0016】
CDS/AGC/ADコンバータ107は、撮像素子106の出力をサンプリング、ゲイン調整、デジタル化する回路である。カメラ信号処理回路108は、CDS/AGC/ADコンバータ107からの出力信号に対して各種の画像処理を施して映像信号を生成する回路である。表示装置109は、カメラ信号処理回路108からの映像信号を表示する装置であり、記録装置110は、カメラ信号処理回路108からの映像信号を磁気テープ、光ディスク、半導体メモリ等の記録媒体に記録する装置である。また、AFゲート111は、CDS/AGC/ADコンバータ107からの全画素の出力信号のうち焦点検出に用いられる領域の信号のみを通す回路である。
【0017】
焦点信号処理回路112は、AFゲート111を通過した信号から高周波成分や該高周波信号から生成した輝度差成分(AFゲート111を通過した信号の輝度レベルの最大値と最小値の差分)等を抽出して焦点信号を生成する回路である。ここで、焦点信号は、撮像素子106からの出力信号に基づいて生成される映像の鮮鋭度(コントラスト状態)を表すものであるが、鮮鋭度は撮像光学系の焦点状態によって変化するので、結果的に撮像光学系の焦点状態を表す信号となる。
【0018】
顔検出処理回路113(検出手段の一例)は、画像信号に対して公知の顔認識処理を施して撮影画面内の人物の顔領域を検出する回路であり、その検出結果をカメラ/AFマイコン114に送信する。カメラ/AFマイコン114は、上記検出結果に基づき、撮影画面内の顔領域を含む位置に、焦点検出に用いられる領域を追加するようにAFゲート111へ情報を送信する。
【0019】
なお、上記公知の顔認識処理では、例えば、画像データで表される各画素の階調色から肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法や、抽出された目、鼻、口等の顔の特徴点からパターン認識を行う方法等が知られている。
【0020】
カメラ/AFマイコン114は、焦点信号処理回路112の出力信号に基づいて、後述のフォーカスレンズ駆動源116を制御してフォーカスレンズ105を駆動するとともに、記録装置110へ画像記録命令を出力する。
【0021】
また、このビデオカメラは、変倍レンズ駆動源115とフォーカスレンズ駆動源116を備えている。変倍レンズ駆動源115は、変倍レンズ102を移動させるためのアクチュエータ及びそのドライバを含み、フォーカスレンズ駆動源116はフォーカスレンズ105を移動させるためのアクチュエータ及びそのドライバを含む。変倍レンズ駆動源115及びフォーカスレンズ駆動源116は、ステッピングモータ、DCモータ、振動型モータ及びボイスコイルモータ等のアクチュエータにより構成される。
【0022】
<焦点調節制御の概要>
次に、カメラ/AFマイコン114が実行する、本実施の形態における焦点調節制御の概要について、図2〜図6を用いて説明する。図2の一連の処理では、顔が検出された場合の顔検出開始から一定時間Nまでの間、顔検出フラグをセットする処理を行う。このフラグを後述の図4及び図5と図10の処理において参照し、顔検出開始から一定時間の間、フォーカスレンズ105の駆動を変化させる。
【0023】
図2は、本実施の形態における焦点調節制御の全体を示すフローチャートであり、主にAF枠設定に関する処理が示されている。
【0024】
図2において、まずステップS501では、焦点信号処理回路112より、TV−AF制御の基本となる焦点信号を取得するための固定のAF(オートフォーカス)枠の位置と大きさを設定する。また、このとき、焦点信号処理回路112内のフィルタ係数を設定し、抽出特性の異なる複数のバンドパスフィルタを構築する。抽出特性とはバンドパスフィルタの周波数特性であり、ここでの設定とは焦点信号処理回路112内のバンドパスフィルタの設定値を変更することを意味する。
【0025】
次のステップS502では、カメラ/AFマイコン114は、顔検出処理回路113から顔検出処理結果の情報を取得する。以下、検出された顔の周辺に位置する領域を顔枠とする。但し、本実施の形態では、顔枠の抽出個数を最大1個として説明する。
【0026】
続くステップS503では、カメラ/AFマイコン114は、ステップS502で取得した情報から顔が検出されたか否かを判別し、検出された場合はステップS504へ遷移し、検出されない場合はステップS512へ遷移する。
【0027】
ステップS504では、カメラ/AFマイコン114は、検出された顔枠に固定のAF枠を再設定する。ビデオカメラの場合、映像信号の垂直同期信号Vと同期し処理を行っているため、続くステップS505では、カメラ/AFマイコン114は、前回の垂直同期信号Vでの被写体と今回の被写体とが同一かを判断する。その判断基準は、AF枠の位置の著しいズレなどを用いて判断することとする。
【0028】
被写体が同一である場合は、ステップS509へ遷移し、同一でない場合、つまり、顔枠が切り替わった場合、または、新規に顔を検出した場合はステップS506へ遷移する。ステップS506では、カメラ/AFマイコン114は、顔検出時間を検知するための顔検出時間カウンタを0にリセットし、ステップS507へ遷移する。ステップS507では、カメラ/AFマイコン114は、顔を検出開始したことを表す顔検出フラグをセットする。
【0029】
次のステップS508では、カメラ/AFマイコン114は、顔検出時間カウンタをスタートし、続くステップS509では、顔検出時間カウンタの値がN未満かの判断を行う。この定数Nの設定は後述することとする。顔検出時間カウンタの値がN未満だった場合、ステップS510においてカメラ/AFマイコン114は、顔検出時間カウンタの値を進める処理を行う。
【0030】
一方、顔検出時間カウンタの値がN以上であった場合、顔検出開始後の一定時間経過したと判断し、カメラ/AFマイコン114は、ステップS511において、顔検出フラグをクリアする。また、カメラ/AFマイコン114は、ステップS503において、顔が検出されなかったと判断した場合は、ステップS512で顔検出フラグをクリアする処理を行い、さらにステップS513で、顔検出時間カウンタを0にリセットする。
【0031】
以上の処理を終了し、ステップS514では、指定されたAF枠の焦点信号を取得する。このとき、AF枠は、顔が検出されなかった場合には固定のAF枠を用い、顔が検出された場合には顔領域のAF枠を用いることとなる。
【0032】
次のステップS515では、カメラ/AFマイコン114は、TV−AF制御により焦点調節を行う。ここでの詳細な動作は図3を参照して説明する。その後、ステップS501へ戻る。
【0033】
次に、図2のステップS515で実行されるTV−AF制御の詳細な処理について、図3を参照して説明する。
【0034】
図3は、図2のステップS515で実行されるTV−AF制御の詳細を示すフローチャートである。
【0035】
まずステップS601において、カメラ/AFマイコン114は、微小駆動モードであるかを判別し、微小駆動モードである場合はステップS602へ遷移し、微小駆動モードでない場合はステップS608へ遷移する。
【0036】
ステップS602では、カメラ/AFマイコン114は、微小駆動動作を行い、フォーカスレンズ105を所定の振幅で駆動し、合焦しているか、或いはどちらの方向に合焦点が存在するかを判別する。ここでの詳細な動作は図4及び図5で説明する。ステップS603では、カメラ/AFマイコン114は、ステップS602の微小駆動動作によって合焦判別が成功したかどうかを判別し、成功した場合はステップS606へ遷移し、成功しない場合はステップS604へ遷移する。
【0037】
ステップS604では、カメラ/AFマイコン114は、ステップS602の微小駆動動作によって方向判別が成功したかどうかを判別する。そして、方向判別が成功した場合はステップS605へ遷移して山登り駆動モードへ移行し、成功しない場合はステップS501へ戻り、微小駆動モードを継続する。
【0038】
ステップS606では、カメラ/AFマイコン114は、合焦時の焦点信号レベルをカメラ/AFマイコン114内のメモリに格納した後、ステップS607へ遷移して再起動判定モードへ移行する。
【0039】
一方、ステップS608では、カメラ/AFマイコン114は、カメラ/AFマイコン114は、山登り駆動モードであるかを判別し、そうである場合はステップS609へ遷移し、そうでない場合はステップS613へ遷移する。ステップS609では、カメラ/AFマイコン114は、山登り駆動動作を行い、焦点信号が大きくなる方向へ所定の速度でフォーカスレンズ105を山登り駆動する。ここでの詳細な動作は図10で説明する。
【0040】
続くステップS610では、カメラ/AFマイコン114は、ステップS609の山登り駆動動作によって焦点信号のピーク位置が発見されたかどうかを判別する。そうである場合はステップS611へ遷移し、そうでない場合はステップS501へ戻り山登り駆動モードを継続する。ステップS611では、カメラ/AFマイコン114は、焦点信号がピークとなったフォーカスレンズ105の位置を目標位置に設定した後、ステップS612へ遷移して停止モードへ移行する。
【0041】
一方、ステップS613では、カメラ/AFマイコン114は、停止モードであるかを判別し、そうである場合はステップS614へ遷移し、そうでない場合はステップS616へ遷移する。ステップS614では、カメラ/AFマイコン114は、フォーカスレンズ105が焦点信号のピークとなる位置に戻ったかどうかを判別する。そうである場合はステップS615へ遷移して微小駆動(合焦判別)モードへの移行し、そうでない場合はステップS501へ戻り停止モードを継続する。
【0042】
一方、ステップS616では、カメラ/AFマイコン114は、現在の焦点信号レベルとステップS606で保持した焦点信号レベルとを比較し、その変動量が所定値より大きいかどうかを判別する。ここで、変動量が大きいと判断され場合はステップS617へ遷移して微小駆動(方向判別)モードへの移行を行い、そうでない場合はステップS501へ戻り再起動判定モードを継続する。
【0043】
<微小駆動モードの詳細>
次に、図3のステップS602で実行される微小駆動モードの詳細な処理について、図4及び図5を参照して説明する。
【0044】
図4及び図5は、図3のステップS602で実行される微小駆動モードの詳細な処理を示すフローチャートである。
【0045】
まずステップS701において、カメラ/AFマイコン114は、微小駆動の動作状態を示すカウンタが現在0であるかを判別し、そうである場合はステップS702へ遷移し、そうでない場合はステップS703へ遷移する。ステップS702では、フォーカスレンズ105が至近側にある場合の処理として、現在の焦点信号レベルを保持する。ここでの焦点信号は、後述のステップS710でフォーカスレンズ105が無限側にあるときに撮像素子106に蓄積された電荷から生成された映像信号によるものである。
【0046】
ステップS703では、カメラ/AFマイコン114は、現在のカウンタが1であるかを判別し、そうである場合はステップS704へ遷移し、そうでない場合はステップS709へ遷移する。
【0047】
ステップS704では、カメラ/AFマイコン114は、後述のステップS708でフォーカスレンズ105を駆動するための振動振幅及び中心移動振幅を演算し、続くステップS704Aでは、顔検出フラグがセットされているかの確認を行う。顔検出フラグがセットされている場合は、顔検出開始後、一定時間内であるため、ステップS704Bにおいて、ステップS704の演算結果に係数Kをかけた値を演算結果とする。その値を、後述のステップS708で使用するフォーカスレンズ105を駆動するための振動振幅、中心移動振幅とする。なお、通常、これらの振幅は焦点深度内に設定されるのが一般的である。
【0048】
前記ステップS704Aに続くステップS705では、カメラ/AFマイコン114は、ステップS702で保持した無限側の焦点信号レベルと後述のステップS710で保持した至近側の焦点信号レベルとを比較する。そして、前者が大きい場合はステップS706へ遷移し、後者が大きい場合はステップS707へ遷移する。
【0049】
ステップS706では、振動振幅と中心移動振幅の和を駆動振幅とし、ステップS707では、振動振幅を駆動振幅とする。そしてその後のステップS708において、カメラ/AFマイコン114は、ステップS706またはステップS707で求めた駆動振幅に基づき、フォーカスレンズ105を無限方向へ駆動する。
【0050】
一方、ステップS709では、カメラ/AFマイコン114は、現在のカウンタが2であるかを判別し、そうである場合はステップS710へ遷移し、そうでない場合はステップS711へ遷移する。ステップS710では、フォーカスレンズ105が無限側にある場合の処理として、現在の焦点信号レベルを保持する。ここでの焦点信号は、ステップS702でフォーカスレンズ105が至近側にあるときに撮像素子106に蓄積された電荷から生成された映像信号によるものである。
【0051】
ステップS711では、カメラ/AFマイコン114は、後述のステップS715でフォーカスレンズ105を駆動するための振動振幅及び中心移動振幅を演算し、続くステップS711Aでは、顔検出フラグがセットされているかの確認を行う。顔検出フラグがセットされている場合、顔検出開始後、一定時間内であるため、ステップS711Bにおいて、ステップS711の演算結果に係数Kをかけた値を演算結果とする。その値を、後述のステップS715で使用するフォーカスレンズ105を駆動するための振動振幅及び中心移動振幅とする。なお、通常、これらの振幅は焦点深度内に設定されるのが一般的である。
【0052】
ステップS712では、カメラ/AFマイコン114は、ステップS710で保持した至近側の焦点信号レベルと後述のステップS702で保持した無限側の焦点信号レベルとを比較する。前者が大きい場合はステップS713へ遷移し、後者が大きい場合はステップS714へ遷移する。
【0053】
ステップS713では、振動振幅と中心移動振幅の和を駆動振幅とし、ステップS714では、振動振幅を駆動振幅とする。そしてその後のステップS715において、カメラ/AFマイコン114は、ステップS713またはステップS714で求めた駆動振幅に基づき、フォーカスレンズ105を至近方向へ駆動する。
【0054】
そして、ステップS716において、カメラ/AFマイコン114は、現在、方向判別モードであるかを判別し、そうである場合はステップS717へ遷移し、そうでない場合はステップS719へ遷移する。ステップS717では、カメラ/AFマイコン114は、所定回数連続して同一方向に合焦点が存在しているかを判別し、そうである場合はステップS718へ遷移し、そうでない場合はステップS721へ遷移する。ステップS718では、方向判別ができたものと判断する。
【0055】
ステップS719では、カメラ/AFマイコン114は、フォーカスレンズ105が所定回数同一エリアで往復しているかを判別し、そうである場合はステップS720へ遷移し、そうでない場合はステップS721へ遷移する。ステップS720では合焦判別できたものと判断する。
【0056】
そしてその後のステップS721において、カメラ/AFマイコン114は、微小駆動の動作状態を示すカウンタが3であれば0に戻し、その他の値であればカウンタを加算する。
【0057】
次に、上述した微小駆動モード時におけるフォーカスレンズ105の動作について、図6を参照して説明する。
【0058】
図6は、微小駆動モードのフォーカスレンズ105動作を示す図である。なお、同図では、映像信号の垂直同期信号に合わせて、横軸に時間、縦軸にフォーカスレンズ105の位置を表している。
【0059】
ラベルAの時刻に撮像素子106に蓄積された電荷に対する焦点信号EVAは、時刻TAでカメラ/AFマイコン114に取り込まれる。ラベルBの時刻に撮像素子106に蓄積された電荷に対する焦点信号EVBは、時刻TBでカメラ/AFマイコン114に取り込まれる。時刻TCでは焦点信号EVAとEVBを比較し、EVBが大きい場合のみ振動中心を移動する。なお、ここでのフォーカスレンズ105の移動は焦点深度を基準とし、画面で認識できない移動量に設定する。
【0060】
<本実施の形態の特徴を成す処理>
図7は、固定のAF枠と顔検出時のAF枠(顔枠)の位置の一例を示した模式図であり、図8は、図7の例における顔枠と固定枠の焦点信号状態を示したグラフである。
【0061】
微小駆動動作(図3のステップS602)の詳細である図4及び図5を用いた上述の説明は、理想的な評価値が得られた場合の微小駆動動作である。しかし、図7のように、顔検出によって得られた顔枠701をAF枠とした場合には、図8に示すように、固定のAF枠702の焦点信号に比べて、顔枠の焦点信号は緩やかなピークを持つ。
【0062】
その理由として、顔は一般的にコントラストが低い被写体であるため、焦点信号が急峻なピークを持つことは少ない。よって、このような焦点信号を用いた上述の微小駆動による焦点検出を行った場合、焦点信号の十分な変化量が得られないため、合焦位置を特定できない場合がある。
【0063】
そこで、本実施の形態の特徴である、顔検出時の一定時間においてフォーカスレンズ105の駆動量を変化させることにより、この問題を解決することができる。以下、本実施の形態の特徴を成す処理について、図9を参照して説明する。
【0064】
図9は、図8の例における顔枠での焦点信号の変化を示したグラフである。
【0065】
まず、図8のAの部分にフォーカスレンズ105が位置していた場合について説明する。フォーカスレンズ105を無限/至近方向に微小駆動させた場合において、焦点信号の変動量は、図9の信号変動量dに示すように、小さくなる。これは、顔枠701のコントラストが低いことにより焦点信号の変化があまり得られないためである。この場合、焦点信号の変化が小さいことにより、現在のフォーカスレンズ105の位置が合焦位置であると誤認識してしまう可能性がある。
【0066】
よって、顔のようなコントラストが低い被写体の場合、基準値よりも大きな振幅で無限/至近方向にフォーカスレンズ105を単位時間当たり移動させなくてはならないことが分かる。それを図示したのが図9の信号変動量d’である。
【0067】
非顔検出時の焦点信号の振幅(図9のW)を基準とした場合、顔検出時はそれより大きな振幅(図9のW’)でフォーカスレンズ105を単位時間当たり移動させることにより、焦点信号の微小な変化をも読み取ることが可能となる。このとき読み取られた焦点信号の変動量を用いることにより、フォーカスレンズ105の移動すべき方向が判り、顔のようなコントラストの低い被写体にでも、合焦可能となる。
【0068】
但し、焦点信号検出のための振幅を増加させる時間は、フォーカスレンズ105の移動すべき方向を判別する処理を行うための一定時間で良い。その時間は、無限/至近方向の焦点信号値を少なくとも3サンプル取得する必要があるため、図2のステップS508及びステップS509で説明した顔検出時間カウンタはN=5以上であることが望ましい。なお、具体的な定数Nは、十分な測定を繰り返し決定することとする。なお、顔検出時間カウンタは記録手段の一例であり、そのカウンタ数は、特定の被写体像の検出つまり顔検出からの経過時間に相当する。
【0069】
また、図4のステップS704B及びステップS711Bの処理に用いられる、振幅の増加量を表す係数Kの決定方法は、
顔検出時の振幅=非顔検出時の振幅*K<焦点深度
を満たすことが望ましい。
【0070】
なお、本実施の形態の特徴となる、フォーカスレンズ105(焦点調節部材の一例)の駆動量についての説明は、基準を非顔検出時として顔検出時の増加量を例にあげて説明した。しかし、基準となる振幅量(つまり基準量)は、顔検出時における最適な振幅量を基準とするものでも良い。顔検出時における最適な振幅量とは、顔検出処理回路113から得られる顔領域に対してフォーカスレンズ105が合焦位置にあり、且つ合焦状態の振幅量である。また、基準となる振幅量は、顔検出される直前の振幅量でも構わない。つまり、顔検出処理回路113が顔領域を検出する直前のフォーカスレンズ105の駆動量であっても構わない。
【0071】
<山登り駆動モードの詳細>
次に、本実施の形態における山登り駆動モード時の処理の詳細について説明する。
【0072】
図10は、図3のステップS609の山登り駆動モード時の詳細な処理を示すフローチャートである。
【0073】
まずステップS801において、カメラ/AFマイコン114は、フォーカスレンズ105の駆動速度を設定する。次のステップS801Aでは、顔検出フラグがセットされているかを判別し、セットされている場合はステップS801Bへ遷移する。
【0074】
ステップS801Bでは、カメラ/AFマイコン114は、顔検出開始から一定時間内であるため、設定された駆動速度に定数K’を乗算する。これにより、合焦位置までの到達時間が短縮され、AFの応答性が向上する。つまり、山登り駆動動作のスピード上げることができる。なお、定数K’の値は、十分な回数測定を行い、ボケの発生が無く、且つ、レンズの騒音などが発生しない定数K’を設定することとする。
【0075】
その後のステップS802において、カメラ/AFマイコン114は、現在の焦点信号レベルが前回より増加しているかを判別し、そうである場合はステップS803へ遷移し、そうでない場合はステップS804へ遷移する。ステップS803では、ステップS801で設定した速度に基づき、フォーカスレンズ105を前回と同じ方向に山登り駆動する。
【0076】
ステップS804では、焦点信号レベルがピークを越えて減少しているかどうかを判別し、そうである場合はステップS805へ遷移し、そうでない場合はステップS806へ遷移する。ステップS805では、カメラ/AFマイコン114は、ピーク位置を発見したものと判断する。
【0077】
ステップS806では、ステップS801で設定した速度に基づき、フォーカスレンズ105を前回と逆の方向に山登り駆動する。なお、山登り駆動モードでこのステップS806を繰り返している場合、被写体の焦点信号の変化量が十分に得られないためにフォーカスレンズ105がハンチング状態にあることを意味する。
【0078】
次に、上述した山登り駆動モード時におけるフォーカスレンズ105の動作について、図11を参照して説明する。
【0079】
図11は、本実施の形態における山登り駆動モード時のフォーカスレンズ105の動作を示したグラフである。
【0080】
同図において、フォーカスレンズ105が図中のAのように駆動している場合は焦点信号が増加しているため、同じ方向への山登り駆動を継続する。ここで、フォーカスレンズ105をBの範囲で駆動すると焦点信号はピーク位置を越えて減少する。このとき、合焦点が存在するとして山登り駆動動作を終了し、フォーカスレンズ105をピーク位置まで戻した後、微小駆動動作に移行する。一方、Cのようにピーク位置を越えずに焦点信号が減少した場合は駆動すべき方向を間違えたものとして反転し、山登り駆動動作を継続する。
【0081】
このように、TV−AF方式による焦点調節制御では、再起動判定→微小駆動→山登り駆動→停止→微小駆動→再起動判定を繰り返しながらフォーカスレンズ105を移動させることで、焦点信号が常に最大となるように合焦状態を維持する。このとき、顔検出がされていれば、山登り駆動動作に移行しやすくし、顔検出ができなければ顔検出ができているときに比べて山登り駆動動作に移行し難くすることが考えられる。
【0082】
<本実施の形態に係る利点>
本実施の形態によれば、顔検出時の一定時間、フォーカスレンズ105の駆動を基準量より増加させるようにした。即ち、顔のような特定の被写体が検出された場合には、フォーカスレンズ105の駆動を基準量よりも増加させ、焦点信号の微小な変化を読み取るようにした。これにより、顔のような低コントラストの被写体であっても、フォーカスレンズ105の方向判別が可能になり、合焦までの時間を短縮することができる。
【0083】
このようなことから、顔検出時の焦点調節動作の応答性が向上し、特に動画撮影時などにおいて、撮影者の意図する主被写体の人物に安定した焦点調節動作を実現することが可能になる。
【0084】
[第2の実施の形態]
次に、本発明の第2の実施の形態について説明する。
【0085】
第2の実施の形態に係る撮像装置は、前述した第1の実施の形態の図1で説明したものと同じである。以下では、主として本実施の形態と異なる部分について説明する。
【0086】
図1において、焦点信号処理回路112は、AFゲート111を通過した信号から高周波成分や該高周波信号から生成した輝度差成分等を抽出して第1の焦点信号を生成する。顔検出処理回路113は、撮影画面内の人物の顔領域を検出した結果をカメラ/AFマイコン114へ送信する。カメラ/AFマイコン114は、上記検出結果に基づき、撮影画面内の顔領域を含む位置に、焦点検出に用いられる領域を追加するようにAFゲート111へ情報を送信する。焦点信号処理回路112は、カメラ/AFマイコン114より送信された情報を基にAFゲート111を通過した信号から、高周波成分や該高周波信号から生成した輝度差成分等を抽出して第2の焦点信号を生成する。
【0087】
そして、本実施の形態では、上記第1の焦点信号と第2の焦点信号を重み付けし合成する。その合成された信号を第3の焦点信号とする。その理由として、顔検出処理回路113から決定される第2の焦点信号は、逐次変わる可能性があり、焦点信号の急激な変化が起こる場合があるからである。ただし、顔検出処理回路113により、顔が検出できなかった場合、第2の焦点信号の合成を行わないこととし、第1の焦点信号を用いて焦点調節制御を行うこととする。
【0088】
以上のことを踏まえ、第2の焦点信号を重み付けし、第1の焦点信号に合成することで、第2の焦点信号の変化を吸収し、安定した焦点信号処理を行うことが可能となる。
【0089】
なお、図2〜図11で説明した焦点調節制御は、第1の実施の形態と同様であるため、説明を省略する。
【0090】
[他の実施の形態]
なお、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)が記憶媒体に格納されたプログラムコードを読み出す処理である。
【0091】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0092】
また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー(登録商標)ディスク、ハードディスク、光磁気ディスク、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD+RW、磁気テープ、不揮発性のメモリカード、ROM等である。または、プログラムコードをネットワークを介してダウンロードしても良い。
【0093】
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【0094】
更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行う場合である。
【図面の簡単な説明】
【0095】
【図1】実施の形態に係るビデオカメラ(撮像装置)の構成を示すブロック図である。
【図2】実施の形態における焦点調節制御の全体を示すフローチャートである。
【図3】TV−AF制御の詳細を示すフローチャートである。
【図4】微小駆動モードの詳細な処理を示すフローチャートである。
【図5】図4の続きのフローチャートである。
【図6】微小駆動モードのフォーカスレンズ105動作を示す図である。
【図7】固定のAF枠と顔検出時のAF枠(顔枠)の位置の一例を示した模式図である。
【図8】顔枠と固定枠の焦点信号状態を示したグラフである。
【図9】顔枠での焦点信号の変化を示したグラフである。
【図10】山登り駆動モード時の詳細な処理を示すフローチャートである。
【図11】実施の形態における山登り駆動モード時のフォーカスレンズ105の動作を示したグラフである。
【符号の説明】
【0096】
101 第1固定レンズ
102 変倍レンズ
103 絞り
104 第2固定レンズ
105 フォーカスレンズ
106 撮像素子
108 カメラ信号処理回路
109 表示装置
112 焦点信号処理回路
113 顔検出処理回路
114 カメラAFマイコン
【特許請求の範囲】
【請求項1】
被写体を撮影して映像信号を出力する撮像手段と、前記撮像手段から得られる映像信号に基づいて撮影画面内の特定の被写体像を検出する検出手段と、前記映像信号から撮影画面の鮮鋭度を示す焦点信号を検出する手段と、前記焦点信号に応じて焦点調節部材を移動して焦点調節制御を行う自動焦点調節手段とを有する自動焦点調節装置であって、
前記自動焦点調節手段は、前記検出手段の検出結果に基づいて、前記焦点調節部材の制御を変更することを特徴とする自動焦点調節装置。
【請求項2】
前記検出手段により前記特定の被写体像が検出された場合には、前記特定の被写体像が検出されなかった場合に比べて、前記焦点調節部材の移動量を大きくすることを特徴とする請求項1に記載の自動焦点調節装置。
【請求項3】
前記焦点調節部材の移動量は、前記焦点調節部材の単位時間当たりの移動量であることを特徴とする請求項2に記載の自動焦点調節装置。
【請求項4】
前記自動焦点調節手段は、前記検出手段により前記特定の被写体像が検出された場合の前記焦点調節部材の移動量を、前記検出手段から得られる前記特定の被写体像に対して前記焦点調節部材が合焦位置にあり、且つ前記焦点調節部材の合焦状態の駆動量と比べて、大きくすることを特徴とする請求項1乃至3のいずれか1項に記載の自動焦点調節装置。
【請求項5】
前記自動焦点調節手段は、前記検出手段により前記特定の被写体像が検出された場合の前記焦点調節部材の移動量を、前記検出手段が前記特定の被写体像を検出する直前の前記焦点調節部材の駆動量に比べて、大きくすることを特徴とする請求項1乃至4のいずれか一項に記載の自動焦点調節装置。
【請求項6】
被写体を撮影して映像信号を出力する撮像手段と、前記撮像手段から得られる映像信号に基づいて撮影画面内の特定の被写体像を検出する検出手段と、前記映像信号から撮影画面の鮮鋭度を示す焦点信号を検出する手段と、前記焦点信号に応じて焦点調節部材を移動して焦点調節制御を行う自動焦点調節手段とを有する自動焦点調節装置の制御方法であって、
前記自動焦点調節手段が、前記検出手段の検出結果に基づいて前記焦点調節部材の制御を変更する工程を有することを特徴とする自動焦点調節装置の制御方法。
【請求項1】
被写体を撮影して映像信号を出力する撮像手段と、前記撮像手段から得られる映像信号に基づいて撮影画面内の特定の被写体像を検出する検出手段と、前記映像信号から撮影画面の鮮鋭度を示す焦点信号を検出する手段と、前記焦点信号に応じて焦点調節部材を移動して焦点調節制御を行う自動焦点調節手段とを有する自動焦点調節装置であって、
前記自動焦点調節手段は、前記検出手段の検出結果に基づいて、前記焦点調節部材の制御を変更することを特徴とする自動焦点調節装置。
【請求項2】
前記検出手段により前記特定の被写体像が検出された場合には、前記特定の被写体像が検出されなかった場合に比べて、前記焦点調節部材の移動量を大きくすることを特徴とする請求項1に記載の自動焦点調節装置。
【請求項3】
前記焦点調節部材の移動量は、前記焦点調節部材の単位時間当たりの移動量であることを特徴とする請求項2に記載の自動焦点調節装置。
【請求項4】
前記自動焦点調節手段は、前記検出手段により前記特定の被写体像が検出された場合の前記焦点調節部材の移動量を、前記検出手段から得られる前記特定の被写体像に対して前記焦点調節部材が合焦位置にあり、且つ前記焦点調節部材の合焦状態の駆動量と比べて、大きくすることを特徴とする請求項1乃至3のいずれか1項に記載の自動焦点調節装置。
【請求項5】
前記自動焦点調節手段は、前記検出手段により前記特定の被写体像が検出された場合の前記焦点調節部材の移動量を、前記検出手段が前記特定の被写体像を検出する直前の前記焦点調節部材の駆動量に比べて、大きくすることを特徴とする請求項1乃至4のいずれか一項に記載の自動焦点調節装置。
【請求項6】
被写体を撮影して映像信号を出力する撮像手段と、前記撮像手段から得られる映像信号に基づいて撮影画面内の特定の被写体像を検出する検出手段と、前記映像信号から撮影画面の鮮鋭度を示す焦点信号を検出する手段と、前記焦点信号に応じて焦点調節部材を移動して焦点調節制御を行う自動焦点調節手段とを有する自動焦点調節装置の制御方法であって、
前記自動焦点調節手段が、前記検出手段の検出結果に基づいて前記焦点調節部材の制御を変更する工程を有することを特徴とする自動焦点調節装置の制御方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2010−156731(P2010−156731A)
【公開日】平成22年7月15日(2010.7.15)
【国際特許分類】
【出願番号】特願2008−333522(P2008−333522)
【出願日】平成20年12月26日(2008.12.26)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成22年7月15日(2010.7.15)
【国際特許分類】
【出願日】平成20年12月26日(2008.12.26)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]