撮像装置およびその制御方法
【課題】動画の撮影に際して焦点を合わせるべき対象を見失っても、オートフォーカス制御を安定的に行う。
【解決手段】顔検出結果の信頼度が閾値以上であれば、フラグをONとして顔検出位置に基づきAF評価枠を設定する。また、AF評価枠に対応する枠表示を撮像画像に対して行う。顔検出結果の信頼度が低ければ、過去と現在の信頼度が比較される。比較の結果、過去の信頼度が閾値以上であれば、過去と現在の測距結果が比較される。差分が小さければ、フォーカスレンズ位置を動かさないように制御され、枠表示も変更しない。差分が大きければ、フラグをOFFとし、AF評価枠を中央に固定すると共に、枠表示を止める。過去と現在の信頼度の比較の結果、過去の信頼度が低ければ、フラグのON/OFFが判定され、ONであればレンズ位置固定、枠表示変更無しとされ、OFFであれば、AF評価枠が中央に固定的とされ、枠表示が停止される。
【解決手段】顔検出結果の信頼度が閾値以上であれば、フラグをONとして顔検出位置に基づきAF評価枠を設定する。また、AF評価枠に対応する枠表示を撮像画像に対して行う。顔検出結果の信頼度が低ければ、過去と現在の信頼度が比較される。比較の結果、過去の信頼度が閾値以上であれば、過去と現在の測距結果が比較される。差分が小さければ、フォーカスレンズ位置を動かさないように制御され、枠表示も変更しない。差分が大きければ、フラグをOFFとし、AF評価枠を中央に固定すると共に、枠表示を止める。過去と現在の信頼度の比較の結果、過去の信頼度が低ければ、フラグのON/OFFが判定され、ONであればレンズ位置固定、枠表示変更無しとされ、OFFであれば、AF評価枠が中央に固定的とされ、枠表示が停止される。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置およびその制御方法に関し、特には、動画を撮像する際のオートフォーカス制御に用いる好適な撮像装置およびその制御方法に関する。
【背景技術】
【0002】
近年、ディジタルカメラ装置においては、人間の顔など特定の被写体の位置や大きさを画像認識アルゴリズムにより推定する技術が実用化されている。推定された特定の被写体の位置および大きさの情報は、例えばオートフォーカス制御に利用される。すなわち、被写体位置および大きさに合わせた測距枠を設定し、この測距枠内でオートフォーカス用の評価データを生成してオートフォーカス制御を行えば、特定の被写体に注目したフォーカス制御が可能となる。
【0003】
また、近年のディジタルカメラ装置においては、上述した特定の被写体の状態をディジタルカメラ装置の使用者に対して表示することも行われている。ディジタルカメラ装置本体に装着された、LCDなどによる表示部に対する表示画像に対し、特定の被写体を指示する情報(例えば枠)が重畳され、表示される。特定の被写体を指示する情報は、表示部に表示される画像にのみ重畳され、記録媒体に記録される静止画像に対しては付加されない。
【0004】
特許文献1には、このように、特定被写体の位置を検出し、特定被写体に対するオートフォーカス動作を高速に行うようにした技術が記載されている。特許文献1は、画像認識アルゴリズムにより、例えば人の顔を画像中から検出して、顔の大きさや目の間隔から被写体までの距離を推定して合焦制御をする。それと共に、顔を検出した位置に対してフォーカス領域を設定して、画像コントラスト方式によるオートフォーカス制御を行う技術を開示している。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2003−289468号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ここで、ビデオカメラなどを用いて動画を撮影する場合について考える。動画撮影の場合、被写体である人物は、撮影中に撮影画角内で移動したり、顔を正面すなわちビデオカメラ側以外の方向に向けるなど、様々な動きを取る可能性がある。また、撮影中に、被写体である人物を遮るような別の物体が出現することも有り得る。このような場合、オートフォーカス制御において焦点を合わせるべき対象(被写体)を見失ってしまうことになる。
【0007】
上述した特許文献1の技術では、スナップ撮影など、被写体である人物が撮影を行うディジタルカメラ装置側に顔を向けている状態での撮影のみを想定している。したがって、特許文献1の技術では、上述のような、動画撮影中に発生する可能性がある様々な状況に対応できず、オートフォーカス制御が誤動作するおそれがあるという問題点があった。
【0008】
したがって、本発明の目的は、動画の撮影に際して焦点を合わせるべき対象を見失っても、安定的にオートフォーカス制御を行うことが可能な撮像装置およびその制御方法を提供することにある。
【課題を解決するための手段】
【0009】
本発明は、上述した課題を解決するために、撮像領域において被写体からの光を光電変換して撮像信号を順次生成する撮像手段と、撮像信号より特定の被写体を検出する被写体検出手段と、被写体検出手段による被写体検出結果の信頼度を判定する判定手段と、撮像信号のうち撮像手段の撮像領域上に予め設定された焦点検出領域及び撮像領域上の検出された特定の被写体に対応する位置に特定焦点検出領域の各々から出力される信号の所定周波数成分より焦点信号を生成する生成手段と、被写体検出手段により検出された特定の被写体に対する測距を行う測距手段と、測距手段による測距結果及び測距手段により測距が行なわれた測距領域を記憶する記憶手段と、被写体検出結果の信頼度あるいは測距手段による測距結果に基づいて生成手段より出力された2つの焦点信号の各々についての重み付け係数を決定する決定手段と、生成手段より出力された2つの焦点信号を決定手段により決定された対応する重み付け係数を用いて合成して得られた焦点信号に基づいてフォーカスレンズの位置を制御することで焦点調節を行う制御手段と、を有する撮像装置であって、決定手段は、判定手段により被写体検出結果の信頼度が所定値より高いと判定された場合、焦点検出領域についての重み付け係数よりも特定焦点検出領域についての重み付け係数を大きい値に決定し、判定手段により被写体検出結果の信頼度が所定値より低いと判定された場合、記憶手段に記憶されている前回の測距領域について、測距手段による現在の測距結果と前回の測距結果との差分が閾値より小さい場合は、焦点検出領域についての重み付け係数よりも特定焦点検出領域についての重み付け係数を大きい値に決定し、差分が閾値より大きい場合は、特定焦点検出領域についての重み付け係数よりも、焦点検出領域についての重み付け係数を大きい値に決定することを特徴とする撮像装置である。
【発明の効果】
【0010】
本発明は、上述の構成を有しているため、動画の撮影に際して焦点を合わせるべき対象を見失っても、安定的にオートフォーカス制御を行うことが可能となる。
【図面の簡単な説明】
【0011】
【図1】本第1の実施形態に適用可能な撮像装置の一例の構成を示すブロック図である。
【図2】被写体検出部の一例の構成を示すブロック図である。
【図3】メモリコントローラの一例の動作タイミングを示すタイミングチャートである。
【図4】画像メモリに格納された画像に対する顔サーチ時の一例の画像参照領域を示す図である。
【図5】AF評価値生成部の一例の構成を示すブロック図である。
【図6】AF評価値によるフォーカスレンズの位置制御を説明するための図である。
【図7】第2の光学系の一例の構成を概略的に示す図である。
【図8】測距撮像データが位相のずれた2つの画像信号を重畳させた形となることを説明するための図である。
【図9】本発明の第1の実施形態による一例の合焦動作を示すフローチャートである。
【図10】本発明の第2の実施形態に適用可能な撮像装置の一例の構成を示すブロック図である。
【図11】撮像素子1の画素、光電変換部およびカラーフィルタの一例の配置を示す図である。
【図12】AF評価値合成部による、設定される第1の評価値生成枠と、第2の評価値生成枠との一例の合成演算について説明するための図である。
【図13】本発明の第2の実施形態による一例の合焦動作を示すフローチャートである。
【発明を実施するための形態】
【0012】
<第1の実施形態>
以下、本発明の第1の実施形態を、図面を参照しながら説明する。図1は、本第1の実施形態に適用可能な撮像装置100の一例の構成を示す。第1の光学系101は、例えば光軸に対して前後に移動するフォーカスレンズによる焦点調節光学系を含み、被写体からの光を後述する第1の撮像素子102に照射する。第1の撮像素子102は、例えばCCDやCMOSイメージセンサからなり、照射された光を光電変換により電荷に変換し、電気信号として出力する。撮像装置100は、撮像素子102からの電荷の読み出しを所定間隔、例えばフレーム周期で連続的に行うことで、フレーム周期毎に更新されるフレーム画像信号を得ることができ、動画の撮影が可能となる。
【0013】
第1の撮像素子102から出力された撮像信号S1は、第1のアナログフロントエンド(AFE)部103に供給され、ノイズ除去、ゲイン調整処理などを施された後、A/D変換されてディジタル信号とされる。このディジタル信号は、撮像データS2として第1のAFE部103から出力される。第1のAFE部103から出力された撮像データS2は、画像処理部104、AF評価値生成部106および被写体検出部107にそれぞれ供給される。
【0014】
画像処理部104は、供給された撮像データS2に対して色分離処理やγ補正処理、ホワイトバランス処理といった信号処理を施し、ディジタルビデオ信号S3を生成する。ディジタルビデオ信号S3は、表示・記録部105に供給される。
【0015】
表示手段としての表示・記録部105は、LCDといった表示デバイスとその駆動回路とを備える。ディジタルビデオ信号S3は、表示・記録部105において、例えば撮影の際のモニタ映像として、表示デバイスに表示される。また、表示・記録部105は、ディジタルビデオ信号S3による映像に対して、AF制御部113から供給される表示制御信号に基づく画像を重畳して表示させることができる。表示・記録部105は、磁気テープや光ディスク、半導体メモリといった記録媒体にディジタルビデオ信号S3を記録する構成を有する。
【0016】
評価値取得手段としてのAF評価値生成部106は、AFE部103から供給された撮像データS2に基づき、撮像素子102に結像された被写体像の合焦の度合いを評価するための合焦評価値であるAF評価値S5を生成する。このとき、AF評価値生成部106は、後述するAF制御部113から供給されるAF評価値生成枠設定情報S10に基づき設定される撮影画面内の領域内すなわち評価枠内について、AF評価値S5を生成する。AF評価値生成部106におけるAF評価値S5の生成方法については、後述する。AF評価値生成部106で生成されたAF評価値S5は、レンズ駆動部114に供給される。
【0017】
レンズ駆動部114は、制御信号S13により、第1の光学系101に含まれる焦点調節光学系を駆動する。すなわち、レンズ駆動部114は、AF評価値生成部106から供給されたAF評価値S5と、AF制御部113から供給されるレンズ駆動信号とに基づき制御信号S13を生成する。この制御信号S13によりフォーカスレンズが移動され、第1の撮像素子102の受光面上の被写体像の焦点調節が行われる。例えばレンズ駆動部114およびAF制御部113とで合焦手段が構成される。
【0018】
顔検出手段としての被写体検出部107は、撮像データS2に基づき被写体像の中に存在する特定の被写体、例えば人間の顔を検出し、検出された顔の位置を示す位置情報と、顔検出の信頼性を示す信頼性データとを含む顔検出データS4を生成する。被写体検出部における顔検出処理については、後述する。顔検出データS4は、AF制御部113に直接的に供給される。また、顔検出データS4は、顔検出記憶部115に所定の時間記憶され、過去顔検出データS14としてAF制御部113に出力される。
【0019】
第2の撮像素子109は、例えばCCDやCMOSイメージセンサからなる。第2の光学系108は、位相差測距を行うために、同一の被写体から到来する光を2系統の光にして、それぞれ第2の撮像素子109に照射する。第2の撮像素子109は、第2の光学系から照射された2系統の光を光電変換により電荷に変換し、電気信号として出力する。第2の撮像素子109の出力は、第2のAFE部110でノイズ除去、ゲイン制御など所定の処理を施され、さらにA/D変換され、ディジタル信号とされる。このディジタル信号は、測距撮像データS7として位相差測距演算部111に供給される。
【0020】
測距手段としての位相差測距演算部111は、供給された測距撮像データS7を用いて、2系統の光による位相差に基づく測距を行う。位相差測距演算部111における測距方法については、後述する。測距の結果求められた位相差測距データS8は、AF制御部113に直接的に供給されると共に、測距記憶部112で所定の時間保持され、過去位相差測距データS9としてAF制御部113に供給される。
【0021】
制御手段としてのAF制御部113は、例えばCPU、ROMおよびRAMからなり、ROMに予め記憶されたプログラムに従い、RAMをワークメモリとして用いてこの撮像装置100におけるオートフォーカス動作の制御を行う。AF制御部113は、図1に例示されるように独立した構成としてもよいし、撮像装置100の全体を制御するシステム制御部の機能の一部としてもよい。
【0022】
評価値設定手段としてのAF制御部113は、顔検出データS4と、位相差測距データS8と、過去位相差測距データS9とに基づき、AF評価値を生成する枠を設定するためのAF評価値生成枠設定情報S10を生成し、AF評価値生成部106に供給する。また、AF制御部113は、これらデータS4、S8およびS9に基づき、フォーカスレンズを停止させるように駆動するレンズ駆動停止信号S11を生成し、レンズ駆動部114に供給する。さらに、AF制御部113は、これらデータS4、S8およびS9に基づき、顔検出を行う範囲を示す顔検出表示枠を表示デバイスに表示させるための顔検出表示枠設定情報S12を生成し、表示・記録部105に供給する。
【0023】
次に、第1の光学系101および第1の撮像素子102によるオートフォーカス制御について説明する。図2は、被写体検出部107の一例の構成を示す。アナログフロントエンド部103から出力された撮像データS2がメモリインターフェイス(メモリI/F)202に入力される。メモリI/F202は、メモリコントローラ207の制御に従い、画像メモリ203に対するデータの入出力を制御する。
【0024】
顔画像テンプレート記憶部206は、顔の判定基準となる画像データである顔画像テンプレートが予め記憶される。顔画像テンプレート記憶部206から読み出された顔画像テンプレートは、変倍処理部205でメモリコントローラ207の制御に従い拡大/縮小処理され、相関係数算出部204に供給される。
【0025】
また、画像メモリ203に記憶された撮像データS2は、メモリコントローラ207の制御により所定サイズのブロックとして読み出され、当該ブロック毎の撮像データS2が順次、メモリI/F202を介して相関係数算出部204に供給される。画像メモリ203から読み出されたブロックのサイズおよび座標を示すデータが、メモリコントローラ207から出力判定部208に供給される。
【0026】
相関係数算出部204は、メモリI/F202から供給されるブロック毎の撮像データS2と、変倍処理部205で拡大/縮小された顔画像テンプレートとの相関係数kを算出する。算出された相関係数kは、出力判定部208に供給される。
【0027】
出力判定部208は、相関係数算出部204から供給されたブロック毎の相関係数kに基づき顔を検出すると共に、検出された顔の信頼度を求め、信頼度出力210として出力する。また、検出された顔の撮像データS2における座標およびサイズ情報209を位置情報として出力する。これら信頼度出力210、ならびに、座標およびサイズ情報209は、AF制御部113に供給される。
【0028】
被写体検出部107における処理について、図3および図4を用いてより詳細に説明する。図3は、メモリコントローラ207の一例の動作タイミングを示すタイミングチャートである。図3において、時間t1、t2、t3およびt4は、撮像信号S1の垂直同期タイミングを示す。また、図4は、画像メモリ203に格納された画像に対する顔サーチ時の一例の画像参照領域を示す。
【0029】
メモリコントローラ207は、メモリI/F202に入力される撮像データS2を、図3の時間t1〜t2に例示されるように、撮像信号S1が生成されるフィールドタイミングに同期して画像メモリ203に格納されるように、メモリI/F202を制御する。
【0030】
次に、メモリコントローラ207は、画像メモリ203に記憶された撮像データS2を、メモリI/F202を介して所定サイズの画像参照領域毎に順次読み出し、相関係数算出部204に供給する。メモリコントローラ207は、例えば撮像データS2の1画面分の読み出しが時間t2〜t3の期間内に完了するように、メモリI/F202を制御する。一例として、図4に例示されるように、画像参照領域a、b、c、…が、図3に例示する時間t2〜t10、t10〜t11、t11〜t12、…でそれぞれ読み出され、順次、相関係数算出部204に供給される。
【0031】
一方、顔画像テンプレート記憶部206から顔画像テンプレートが読み出され、変倍処理部205に供給される。変倍処理部205は、メモリコントローラ207から供給される変倍設定に従い、サイズが上述の画像参照領域に対応したサイズとなるように、顔画像テンプレートに対して拡大または縮小処理を施す。変倍処理部205で画像参照領域に対応するサイズとされた顔画像テンプレートは、相関係数算出部204に供給される。
【0032】
相関係数算出部204は、メモリI/F202から供給された画像参照領域の画像データと、変倍処理部205から供給された顔画像テンプレートの相関係数が求められる。相関係数kは、0≦k≦1となり、画像参照領域の画像と顔画像テンプレートとが無相関である場合にはk=0、両者が同一である場合にはk=1となる。すなわち、相関係数kは、画像参照領域の画像が顔に近いほど、1に近い値をとる。したがって、相関係数kの値から画像参照領域の画像が顔であるか否かを判定することが可能となる。
【0033】
相関係数算出部204は、図3の時間t2〜t10、t10〜t11、t11〜t12、…において、供給された画像参照領域に対して順次、相関係数ka、kb、kc、…を求める。これにより、画像メモリ203に格納された撮像データS2による画像の全領域について、顔の有無が判定される。
【0034】
相関係数算出部204で求められた相関係数ka、kb、kc、…は、出力判定部208に供給される。出力判定部208は、供給された相関係数ka、kb、kc、…に基づき顔の有無を判定する。例えば、相関係数ka、kb、kc、…を所定値と比較し、相関係数kが当該所定値よりも大きな画像参照領域に、顔が含まれると判定することが考えられる。また、上述したように、メモリコントローラ207から、画像参照領域a、b、c、…の座標情報が出力判定部208に対して供給される。
【0035】
出力判定部208は、顔が含まれると判定された画像参照領域a、b、c、…のうち相関係数kが最も1に近い画像参照領域を特定する。換言すれば、出力判定部208は、顔が含まれると判定された画像参照領域a、b、c、…のうち、画像が顔であることが最も確からしい画像参照領域を特定する。そして、特定された画像参照領域について、その位置およびサイズがサイズ情報209として、出力判定部208から出力される。また、出力判定部208は、当該画像参照領域で検出された顔の信頼度を信頼度出力210として出力する。顔の信頼度は、画像が顔であることの確からしさを示す情報であって、例えば相関係数kの値そのものを用いることができる。サイズ情報209および信頼度出力210は、顔検出データS4として被写体検出部107から出力される。
【0036】
なお、図4に示した画像参照領域a、b、c、…は、説明を容易とするため互いに重複部分が無いものとして記述しているが、画像参照領域a、b、c、…は、互いに重複部分を持たせてより詳細に判定を行うと好ましい。例えば、画像参照領域を画素毎に移動させながら、顔の有無の判定を行うことが考えられる。さらに、図4に示した画像参照領域に対して複数のサイズを設定し、様々な大きさの顔画像の判定に用いるようにすると好ましい。
【0037】
また、重複部分を多く設定したり、画像参照領域のサイズを多く設定するほど、相関係数kの演算と判定処理の回数が増え、顔の検出に時間がかかることになる。この場合、撮像データS2の1画面分の顔検出を、図3に示した時間t2〜t3の1フィールド期間ではなく、例えば時間t2〜t4といった2フィールドやそれ以上を顔の検出期間に充ててもよい。
【0038】
図5は、AF評価値生成部106の一例の構成を示す。AF評価値生成部106に供給された撮像データS2は、バンドパスフィルタ(BPF)502により画像のエッジを表す周波数成分が抽出され、絶対値算出回路(ABS)503で絶対値が算出される。これにより、被写体のエッジコントラスト強度の情報が得られる。絶対値算出回路503で算出された絶対値は、ピークホールド回路504に供給される。
【0039】
一方、AF制御部113から出力されたAF評価値生成枠設定情報S10が水平枠信号生成回路514および垂直枠信号生成回路515に供給される。水平枠信号生成回路514は、AF評価値生成枠設定情報S10に基づき、AF評価値生成枠の水平方向すなわち画像のライン方向の範囲を設定する水平枠信号を生成する。同様に、垂直枠信号生成回路515は、AF評価値生成枠設定情報S10に基づき、AF評価値生成枠の垂直方向の範囲を設定する垂直枠信号を生成する。これにより、AF評価値生成枠の位置およびサイズがAF評価値生成枠設定情報S10により決定される。
【0040】
水平枠信号生成回路514で生成された水平枠信号は、ピークホールド回路504に供給される。また、垂直枠信号生成回路515で生成された垂直枠信号は、積分回路507に供給される。
【0041】
ピークホールド回路504は、絶対値算出回路503から供給された絶対値のピーク値を検出する。このとき、ピークホールド回路504は、水平枠信号により検出範囲を限定して検出を行うので、検出された絶対値のピーク値は、AF評価値生成枠内における、1水平ラインの被写体のエッジコントラスト強度となる。ピークホールド回路504の検出値は、積分回路507に入力され、積分される。ここで、積分回路507は、垂直枠信号により積分範囲が限定され、ピークホールド回路504の検出値は、AF評価値生成枠の垂直方向範囲においてのみ積分される。
【0042】
このようにして積分回路507で得られた積分値は、図6に例示されるように、横軸のフォーカスレンズ位置の変化に対してなだらかに変化し、被写体に合焦するフォーカスレンズ位置で極大値を取る値となる。したがって、この積分値が極大となる位置を探索するようにフォーカスレンズ位置を制御することで、合焦動作を行うことができる。積分回路507で得られた積分値510は、AF評価値S5としてAF評価値生成部106から出力される。
【0043】
なお、AF評価値生成枠設定情報S10は、AF制御部113により生成される。すなわち、撮像データS2による画像のどの部分に対してフォーカスレンズによる合焦制御を行うかは、AF制御部113により生成されたAF評価値生成枠設定情報S10により決定される。
【0044】
次に、第2の光学系108および第2の撮像素子109によるオートフォーカス制御について説明する。図7は、第2の光学系108の一例の構成を概略的に示す。第2の光学系108は、レンズAおよびレンズBの2枚のレンズで構成される測距レンズ300を有し、この2枚のレンズにより光軸のずれた2つの光学像を、測距センサである第2の撮像素子109の受光面に結像させる。
【0045】
第2の撮像素子109から出力され、第2のAFE部110によりディジタル変換された測距撮像データS7は、図8に例示されるように、位相のずれた2つの画像信号を重畳させた形となる。すなわち、同一の被写体による信号レベルのピークが、被写体までの距離Dに応じた間隔Δdだけずれて2箇所に現れる。
【0046】
第2のAFE部110から出力された測距撮像データS7は、位相差測距演算部111に供給される。位相差測距演算部111では、供給された測距撮像データS7におけるピークのズレである上述の間隔Δdを求め、間隔Δdを用いて三角測量の原理に基づき被写体との距離Dを推定する。推定された距離Dを示すデータは、位相差測距データS8として出力され、AF制御部113に供給される。
【0047】
このように、位相差測距データS8は、図7の例における被写体との距離Dを表すものである。フォーカスレンズ駆動制御は、AF制御部113により、上述したAF評価値S5に基づき行われると共に、この位相差測距データS8に基づく制御によっても行われる。
【0048】
図9は、本発明の第1の実施形態による一例の合焦動作を示すフローチャートである。この図9のフローチャートにおける各処理は、AF制御部113によりプログラムに従い実行される。なお、図9のフローチャートによる処理は、全体としてループ処理となっており、撮像装置100における動画の撮影に際し、ステップS901からの処理を繰り返し行う。繰り返しの周期は、少なくとも、図3を用いて説明した顔検出の検出周期若しくはそれ以上の周期であることが望ましい。一例として、例えば垂直同期タイミングを周期として処理を繰り返すことが考えられる。
【0049】
AF制御部113による動作が開始されると(ステップS901)、ステップS902およびステップS903による顔検出処理と、ステップS904およびステップS905による測距処理とが並列的に行われる。ステップS902およびステップS903の処理と、ステップS904およびステップS905の処理とは、同期的に行ってもよいし、非同期でもよい。
【0050】
すなわち、ステップS902で撮像データS2に対する被写体検出部107による顔検出処理が行われ、顔検出データS4が求められる。この顔検出データS4は、次のステップS903で顔検出記憶部115に記憶される。また、ステップS904で位相差測距演算部111により測距撮像データS7に基づき測距が行われ、ステップS905で、測距の結果として求められた位相差測距データS8が測距記憶部112に記憶される。
【0051】
ステップS902およびステップS903による顔検出処理と、ステップS904およびステップS905による測距処理とが終了すると、処理はステップS906に移行される。ステップS906では、ステップS902で求められた顔検出データS4に基づき顔検出の信頼度の評価が行われる。評価の結果、若し、信頼度が閾値thR(第1の閾値)より高いと判定されたら、処理はステップS907に移行され、その旨示す顔優先フラグがONとされる。すなわちこの場合、撮像データS2に顔が含まれていると判断でき、検出された顔に対して合焦処理を行う。
【0052】
なお、ステップS906で判定の基準として用いる閾値thRは、例えば、顔が検出された画像について、目視により顔らしさを判断し、信頼度との対応関係を調べることで、実験的に求めることが考えられる。
【0053】
次のステップS908で、AF制御部113は、顔検出データS4に含まれる、検出された顔の位置を示す位置情報に基づきレンズ駆動部114を制御してフォーカスレンズを駆動し、合焦動作を行う。すなわち、AF制御部113は、顔の位置を示す位置情報に基づき、当該顔を含むAF評価値生成枠を設定する。そして、その枠を示す情報であるAF評価値生成枠設定情報S10を生成し、AF評価値生成部106に供給する。AF評価値生成部106は、このAF評価値生成枠設定情報S10に基づき形成されるAF評価値生成枠内で、撮像データS2からAF評価値S5を取得する。レンズ駆動部114は、このAF評価値S5に基づきフォーカスレンズを駆動する。
【0054】
そして、AF制御部113は、次のステップS909で、顔検出位置に対して枠表示を行う。すなわち、AF制御部113は、顔の位置を示す位置情報に基づき、当該顔の位置を示す枠画像を表示・記録部105の表示デバイスに表示させるための顔検出表示枠設定情報S12を生成し、表示・記録部105に供給する。
【0055】
以上のステップS906〜ステップS909の処理によれば、撮像データS2に顔が含まれている場合に、当該顔に対する自動合焦処理が実現されると共に、現在、顔に対して自動合焦処理を行っていることが、撮影者に対して表示される。
【0056】
上述したステップS906で、信頼度が閾値thRよりも低いと判断されたら、処理はステップS910に移行される。ステップS910では、現在の信頼度と過去の信頼度との比較を行う。過去の信頼度は、例えば、図9のループ処理における1回前のループのステップS903による処理で顔検出記憶部115に記憶された顔検出データS4(すなわち過去顔検出データS14)を用いる。図9のループ処理が垂直同期タイミングに基づく周期であれば、過去の信頼度は、現在の信頼度に対して1垂直同期タイミングだけ過去の情報である。
【0057】
ステップS910で比較した比較結果により、若し、過去の信頼度が閾値thRより高く、現在の信頼度が閾値thRより低いと判断されたら、処理はステップS911に移行される。この場合、ステップS906で評価の対象となった信頼度は、撮像データS2に含まれていた顔が消失した瞬間の状態における値と考えることができる。但し、被写体となっている人物自体が撮影画角から消失したのか、または、例えば当該人物が横を向くなどにより顔検出が行えないために顔が消失したと判定されたのかは、この時点では判断できない。
【0058】
そこでさらに、次のステップS911で、過去の測距値と現在の測距値とが比較される。過去の測距値は、例えば、図9のループ処理における1回前のループのステップS905で測距記憶部112に記憶された位相差測距データS8(すなわち過去位相差測距データS9)を用いる。図9のループ処理が垂直同期タイミングに基づく周期であれば、過去の測距値は、現在の測距値に対して1垂直同期タイミングだけ過去の情報である。
【0059】
ステップS911での比較の結果、若し、過去の測距値と現在の測距値との差分が閾値thD(第2の閾値)より小さいと判断された場合、顔は消失したが、当該顔に対応する被写体の人物は消失していないと考えることができる。そのため、次のステップS912で、レンズ駆動部114を制御してフォーカスレンズの位置を動かさないようにする。それと共に、表示・記録部105に表示されている、顔位置を示す枠表示を変化させない。勿論、ステップS912では、AF評価値生成枠も変更しない。
【0060】
なお、ステップS911で判断の基準に用いる閾値thDは、例えば、実際の人物の動きによる測距値の差を実測するなどの方法により、実験的に求めることが考えられる。
【0061】
以上のステップS912〜ステップS913によれば、撮像データS2から顔が消失した瞬間の状態であっても、測距値に基づき被写体に変化が無いと判断される場合には、顔に対する合焦処理が継続される。
【0062】
一方、上述のステップS911での比較の結果、過去の測距値と現在の測距値との差分が閾値thDより大きいと判断された場合、被写体の人物自体が撮影画角から消失したと考えることができる。そこで、処理をステップS915に移行させ、顔優先フラグをOFFとする。そして、次のステップS916で、中央重点評価枠設定に基づきレンズ駆動部114を制御してフォーカスレンズを駆動し、合焦動作を行う。なお、中央重点評価枠設定は、AF評価値生成部106に対するAF評価値生成枠設定情報S10を、画面の中央部に対し、位置および大きさを固定にして設定するものである。
【0063】
そして、次のステップS917で、表示・記録部105の表示デバイスに対する顔の位置を示す枠画像の表示を停止させる。すなわち、AF制御部113は、当該枠画像の表示を行わないような顔検出表示枠設定情報S12を生成し、表示・記録部105に供給する。
【0064】
上述のステップS911での比較の結果、過去の信頼度が閾値thRより低く、かつ現在の信頼度が閾値thRより低いと判断された場合、撮像データS2に顔が含まれないか、または、撮像データS2に過去に含まれていた顔が消失し、その状態が継続していると考えられる。
【0065】
この場合、処理はステップS914に移行され、顔優先フラグの状態が確認される。若し、顔優先フラグがONであると判断された場合、撮像データS2に基づき、顔が消失した状態が継続していて、且つ、測距値に基づき、当該顔に対応する被写体人物自体は、未だAF評価値生成枠内に存在していると考えることができる。そこで、処理をステップS912に移行させ、フォーカスレンズの位置を動かさないようにレンズ駆動部114を制御すると共に、顔位置を表す枠画像の表示も継続的に行うように制御する(ステップS913)。
【0066】
一方、ステップS914で、顔優先フラグがOFFであると判断された場合、処理をステップS915に移行させ、顔優先フラグをOFFとする。そして、次のステップS916で、中央重点評価枠設定に基づくフォーカスレンズ位置制御を行い、ステップS917で枠画像の表示を停止させる。
【0067】
以上説明したように、本発明の第1の実施形態によれば、動画の撮影時に発生し得る、被写体ロストに対するオートフォーカス制御の誤動作を抑制することができる。
<第2の実施形態>
次に、本発明の第2の実施形態について、図面を参照しながら説明する。図10は、本第2の実施形態に適用可能な撮像装置1000の一例の構成を示す。撮像装置1000は、上述の第1の実施形態における撮像装置100と同様に動画の撮影が可能とされている。なお、図10において、上述した図1と共通する部分には同一の符号を付し、詳細な説明を省略する。
【0068】
撮像装置1000は、1の光学系101と、1の撮像素子1001とを有し、撮像素子1001は、測距用画素と撮像用画素とがそれぞれ内部に構成される。図11は、撮像素子1001の画素、光電変換部およびカラーフィルタの一例の配置を示す。単位画素11−11〜11−44は、図中に光電変換部G1およびG2、B1およびB2、…の如く例示されるように、それぞれ2つの光電変換部を有しており、各々の光電変換部で独立して生成された画素信号が撮像信号S1として出力される。したがって、単位画素中の2つの光電変換部から出力される画素信号の位相を調べることで、第1の実施形態で説明した位相差情報による測距演算が単位画素毎に可能となる。
【0069】
撮像素子1001から出力された撮像信号S1は、AFE部103に供給され、ノイズ除去、ゲイン調整処理など施された後、A/D変換されてディジタル信号とされる。このディジタル信号は、測距撮像データS24としてAFE部103から出力される。測距撮像データS24は、画素加算部1007に供給されると共に、位相差測距演算部1110に供給される。
【0070】
位相差測距演算部1110は、第1の実施形態における位相差測距演算部111による処理と同様にして測距を行う。すなわち、図7に例示されるレンズAおよびレンズBを、図11の単位画素内の2つの光電変換部にそれぞれ対応させ、同一の被写体による信号レベルのピークの位相差を検出する。そして、検出された位相差に基づき被写体までの距離を演算する。被写体までの距離は、2つの光電変換部を持つ単位画素のそれぞれについて、行うことができる。演算結果の位相差測距データS8は、AF制御部1006に供給されると共に、測距記憶部112で所定時間保持され過去位相差測距データS9とされてAF制御部1006に供給される。
【0071】
一方、画素加算部1007は、撮像素子1001において単位画素を構成する2つの光電変換部で生成される2つの独立した画素信号を加算して、単位画素毎の撮像データS2を生成する。図11に例示されるように、1の単位画素に含まれる2つの光電変換部には、同色のカラーフィルタが配置され、撮像素子1001全体としては、ベイヤ配列の画像となる。
【0072】
画素加算部1007から出力された撮像データS2は、画像処理部104、第1のAF評価値生成部1002、第2のAF評価値生成部1003および被写体検出部107にそれぞれ供給される。
【0073】
画像処理部104は、供給された撮像データS2に対して色分離処理やγ補正処理、ホワイトバランス処理といった信号処理を施し、ディジタルビデオ信号S3を生成する。ディジタルビデオ信号S3は、表示・記録部105に供給され、表示デバイスに対する表示に供されたり、記録媒体に対して記録される。
【0074】
第1のAF評価値生成部1002および第2のAF評価値生成部1003は、それぞれ、図6を用いて説明したAF評価値生成部106と同様の構成を適用することができる。第1のAF評価値生成部1002は、AFE部103からの撮像データS2に基づき、撮影画面の中央部に固定的に設定された第1のAF評価値生成枠内について、上述のようにして、合焦の度合いを評価する第1のAF評価値S20(第2の合焦評価値)を生成する。同様に、第2のAF評価値生成部1003は、AFE部103からの撮像データS2に基づき、測距領域決定部1005で決定された第2の評価値生成枠内について、被写体の合焦の度合いを評価する、第1の合焦評価値としての第2のAF評価値S21を生成する。
【0075】
第1のAF評価値S20および第2のAF評価値S21は、AF評価値合成部1004に供給される。AF評価値合成部1004は、後述する方法により第1のAF評価値S20および第2のAF評価値S21に対して重み付けを行い、これら第1のAF評価値S20と第2のAF評価値S21とを合成する。合成結果は、AF評価値S5として出力され、レンズ駆動部114に供給される。
【0076】
レンズ駆動部114は、制御信号S13により、光学系101に含まれる焦点調節光学系を駆動する。すなわち、レンズ駆動部114は、AF評価値合成部1004から供給されたAF評価値S5と、AF制御部1006から供給されるレンズ駆動信号とに基づき制御信号S13を生成する。この制御信号S13により焦点調節光学系が駆動され、撮像素子1001の受光面上の被写体像の焦点調節が行われる。
【0077】
被写体検出部107は、画素加算部1007から供給された撮像データS2に基づき被写体像の中に存在する特定の被写体、例えば、人の顔を検出し、検出された顔の位置情報と、顔検出の信頼性を示す信頼性データとを含む顔検出データS4を生成する。顔検出データS4は、測距領域決定部1005およびAF制御部1006にそれぞれ供給される。
【0078】
測距領域決定部1005は、被写体検出部107から供給された顔検出データS4、あるいは、測距領域記憶部1008に記憶される過去の測距領域設定データS23に基づき、第2のAF評価値生成枠を設定するための測距領域設定データS22を生成する。測距領域決定部1005で生成された測距領域設定データS22は、測距領域記憶部1008に記憶されると共に、第2のAF評価値生成部1003に供給される。なお、測距領域記憶部1008に記憶された測距領域設定データS22は、所定時間後に、過去の測距領域設定データS23として測距領域記憶部1008から読み出される。
【0079】
図12を用いて、AF評価値合成部1004による、第1のAF評価値生成部1002で設定される第1のAF評価値生成枠1201と、第2のAF評価値生成部1003で設定される第2の評価値生成枠1202との一例の合成演算について説明する。図12に例示されるように、第2の評価枠としての第1のAF評価値生成枠1201は、画面すなわち撮影画角1200の中心部分に固定的に設定される。一方、第1の評価枠としての第2の評価値生成枠1202は、撮影画角1200において、測距領域決定部1005から供給される測距領域設定データS22に基づいた位置に設定される。すなわち、第2のAF評価値生成枠1202は、撮影画角1200に対して、位置が可変的に設定される。
【0080】
AF評価値合成部1004は、上述した第1のAF評価値S20および第2のAF評価値S21に対して、下記の式(1)に従い係数K(1≧K≧0)による重み付け加算を行い、AF評価値S5を生成する。係数Kの算出方法については、後述する。
AF評価値=K×第1のAF評価値+(1−K)×第2のAF評価値 …(1)
この式(1)によれば、撮影画角の中央を重視してAF評価値を生成する状態と、撮影画角の任意部分でAF評価値を生成する状態とを、係数Kにより滑らかに移行させることが可能となる。周知の如く、ビデオカメラにおける自動合焦制御は、動画に追従して行われるため、急激な状態変化は好ましくない。本第2の実施形態では、係数Kにより、AF評価値を第1のAF評価値生成枠1201における第1のAF評価値S20と、第2のAF評価値生成枠1202における第2のAF評価値S21との間で滑らかに移行させている。これにより、自動合焦制御における急激な状態変化を抑制することができる。
【0081】
図13は、本発明の第2の実施形態による一例の合焦動作を示すフローチャートである。この図13のフローチャートにおける各処理は、AF制御部1006によりプログラムに従い実行される。なお、図13のフローチャートによる処理は、全体としてループ処理となっており、撮像装置100における動画の撮影に際し、ステップS1301からの処理を繰り返し行う。繰り返しの周期は、少なくとも、図3を用いて説明した顔検出の検出周期若しくはそれ以上の周期であることが望ましい。
【0082】
ステップS1301で処理が開始されると、ステップS1302で被写体検出部107による顔検出処理が行われ、顔検出データS4が求められる。そして、次のステップS1303で、顔検出データS4に含まれる信頼性データに基づき、顔検出の信頼度が評価される。評価の結果、若し、信頼度が閾値thRより高いと判断されたら、処理はステップS1304に移行される。この場合には、被写体である顔の位置が特定された可能性が高いと考えられる。
【0083】
ステップS1304では、測距領域決定部1005において、測距領域すなわち第2のAF評価値生成枠が被写体検出部107の検出結果に基づく顔領域に設定される。ステップS1304で設定された測距領域は、次のステップS1305で測距領域記憶部1008に記憶される。そして、次のステップS1306で、位相差測距演算部1110において、測距撮像データS24に基づき測距が行われ、ステップS1307で、測距の結果求められた位相差測距データS8が測距記憶部112に記憶される。
【0084】
次に、ステップS1308で、AF制御部1006は、被写体検出部107から供給された顔検出データS4に基づき上述の式(1)における係数Kを算出する。係数Kは、少なくとも、顔検出データS4における信頼性データが示す顔検出の信頼性が高くなるのに従い、第2のAF評価値S21の比率が高くなるように設定する。係数Kは、AF評価値生成枠設定情報S10として、AF評価値合成部1004に供給される。そして、AF評価値合成部1004は、この係数Kを上述の式(1)に適用して、第1のAF評価値S20と第2のAF評価値S21とを合成し、AF評価値S5を得る。
【0085】
次のステップS1309で、AF制御部1006は、AF評価値合成部1004から出力されたAF評価値S5に基づきレンズ駆動部114を制御してフォーカスレンズを駆動し、合焦動作を行う。そして、AF制御部1006は、次のステップS1310で、顔検出位置に対して枠表示を行う。
【0086】
このように、ステップS1303で顔検出結果の信頼度が高いと判断された場合、検出された顔領域から得られたAF評価値S5を重視した合焦動作が行われる。
【0087】
一方、上述のステップS1303で、顔検出の信頼度の評価の結果、信頼度が閾値thDより低いと判断されたら、処理はステップS1311に移行される。この場合には、被写体である顔が撮影画角から消失したか、あるいは、当初から顔が撮影画角に存在していない可能性が高いと考えられる。
【0088】
ステップS1311では、測距領域決定部1005において、測距領域記憶部1008に記憶された過去の測距領域設定データS23に基づき、測距領域が設定される。この測距領域に設定された過去の測距領域設定データS23は、現在の測距領域設定データS22として、測距領域記憶部1008に記憶される(ステップS1312)。
【0089】
次のステップS1313で、位相差測距演算部1110において位相差測距演算が行われる。演算の結果得られた位相差測距データS8は、AF制御部1006に供給される。また、位相差測距データS8は、ステップS1314で、測距記憶部112に記憶される。
【0090】
次のステップS1315では、AF制御部1006は、位相差測距演算部1110から供給された現在の位相差測距データS8と、測距記憶部112に記憶された過去位相差測距データS9とを比較し、これらのデータの相関を判断する。そして、この相関に応じて上述した式(1)の係数Kの値を決め、AF評価値S5を求める。この場合、係数Kは、少なくともこれらのデータの相関が高くなるに従い、第2のAF評価値S21の比率が高くなるように設定する。
【0091】
比較の結果、現在の位相差測距データS8と過去位相差測距データS9との差分が閾値thDより小さければ、これらのデータの相関が高いと判断する。この場合、撮影画角から顔は消失したが、当該顔に対応する被写体の人物は消失していないと考えることができる。
【0092】
一方、比較の結果、現在の位相差測距データS8と過去位相差測距データS9との差分が閾値thDより大きければ、これらのデータの相関が低いと判断する。この場合には、撮像データS2に顔が含まれないか、または、撮像データS2に過去に含まれていた顔が消失し、その状態が継続していると推定できる。例えば、被写体である人物自体が動くか、別の被写体により隠れてしまったことによる顔消失などが考えられる。
【0093】
次のステップS1316で、AF制御部1006は、AF評価値合成部1004から出力されたAF評価値S5に基づきレンズ駆動部114を制御してフォーカスレンズを駆動し、合焦動作を行う。その結果、顔が消失しその状態が継続している可能性が高いとき以外は、被写体人物が存在すると推定される部分に対する合焦動作が実現される。一方、顔が消失した可能性が高い場合に限り、画面の中央部分に対する合焦動作に戻る制御が実現される。
【0094】
次のステップS1317で、現在の位相差測距データS8と過去位相差測距データS9との相関に応じて、顔検出位置に対する枠表示を行うか否かが判断される。すなわち、顔が消失しその状態が継続している可能性が高いと推定される場合以外は、当該被写体人物の顔が存在すると推定される部分に枠を表示させる。一方、顔が消失してその状態が継続している可能性が高い場合には、枠を表示させない。
【0095】
以上説明したように、本発明の第2の実施形態によれば、動画の撮影時に発生し得る、被写体ロストに対するオートフォーカス制御の誤動作を抑制することができる。
【技術分野】
【0001】
本発明は、撮像装置およびその制御方法に関し、特には、動画を撮像する際のオートフォーカス制御に用いる好適な撮像装置およびその制御方法に関する。
【背景技術】
【0002】
近年、ディジタルカメラ装置においては、人間の顔など特定の被写体の位置や大きさを画像認識アルゴリズムにより推定する技術が実用化されている。推定された特定の被写体の位置および大きさの情報は、例えばオートフォーカス制御に利用される。すなわち、被写体位置および大きさに合わせた測距枠を設定し、この測距枠内でオートフォーカス用の評価データを生成してオートフォーカス制御を行えば、特定の被写体に注目したフォーカス制御が可能となる。
【0003】
また、近年のディジタルカメラ装置においては、上述した特定の被写体の状態をディジタルカメラ装置の使用者に対して表示することも行われている。ディジタルカメラ装置本体に装着された、LCDなどによる表示部に対する表示画像に対し、特定の被写体を指示する情報(例えば枠)が重畳され、表示される。特定の被写体を指示する情報は、表示部に表示される画像にのみ重畳され、記録媒体に記録される静止画像に対しては付加されない。
【0004】
特許文献1には、このように、特定被写体の位置を検出し、特定被写体に対するオートフォーカス動作を高速に行うようにした技術が記載されている。特許文献1は、画像認識アルゴリズムにより、例えば人の顔を画像中から検出して、顔の大きさや目の間隔から被写体までの距離を推定して合焦制御をする。それと共に、顔を検出した位置に対してフォーカス領域を設定して、画像コントラスト方式によるオートフォーカス制御を行う技術を開示している。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2003−289468号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ここで、ビデオカメラなどを用いて動画を撮影する場合について考える。動画撮影の場合、被写体である人物は、撮影中に撮影画角内で移動したり、顔を正面すなわちビデオカメラ側以外の方向に向けるなど、様々な動きを取る可能性がある。また、撮影中に、被写体である人物を遮るような別の物体が出現することも有り得る。このような場合、オートフォーカス制御において焦点を合わせるべき対象(被写体)を見失ってしまうことになる。
【0007】
上述した特許文献1の技術では、スナップ撮影など、被写体である人物が撮影を行うディジタルカメラ装置側に顔を向けている状態での撮影のみを想定している。したがって、特許文献1の技術では、上述のような、動画撮影中に発生する可能性がある様々な状況に対応できず、オートフォーカス制御が誤動作するおそれがあるという問題点があった。
【0008】
したがって、本発明の目的は、動画の撮影に際して焦点を合わせるべき対象を見失っても、安定的にオートフォーカス制御を行うことが可能な撮像装置およびその制御方法を提供することにある。
【課題を解決するための手段】
【0009】
本発明は、上述した課題を解決するために、撮像領域において被写体からの光を光電変換して撮像信号を順次生成する撮像手段と、撮像信号より特定の被写体を検出する被写体検出手段と、被写体検出手段による被写体検出結果の信頼度を判定する判定手段と、撮像信号のうち撮像手段の撮像領域上に予め設定された焦点検出領域及び撮像領域上の検出された特定の被写体に対応する位置に特定焦点検出領域の各々から出力される信号の所定周波数成分より焦点信号を生成する生成手段と、被写体検出手段により検出された特定の被写体に対する測距を行う測距手段と、測距手段による測距結果及び測距手段により測距が行なわれた測距領域を記憶する記憶手段と、被写体検出結果の信頼度あるいは測距手段による測距結果に基づいて生成手段より出力された2つの焦点信号の各々についての重み付け係数を決定する決定手段と、生成手段より出力された2つの焦点信号を決定手段により決定された対応する重み付け係数を用いて合成して得られた焦点信号に基づいてフォーカスレンズの位置を制御することで焦点調節を行う制御手段と、を有する撮像装置であって、決定手段は、判定手段により被写体検出結果の信頼度が所定値より高いと判定された場合、焦点検出領域についての重み付け係数よりも特定焦点検出領域についての重み付け係数を大きい値に決定し、判定手段により被写体検出結果の信頼度が所定値より低いと判定された場合、記憶手段に記憶されている前回の測距領域について、測距手段による現在の測距結果と前回の測距結果との差分が閾値より小さい場合は、焦点検出領域についての重み付け係数よりも特定焦点検出領域についての重み付け係数を大きい値に決定し、差分が閾値より大きい場合は、特定焦点検出領域についての重み付け係数よりも、焦点検出領域についての重み付け係数を大きい値に決定することを特徴とする撮像装置である。
【発明の効果】
【0010】
本発明は、上述の構成を有しているため、動画の撮影に際して焦点を合わせるべき対象を見失っても、安定的にオートフォーカス制御を行うことが可能となる。
【図面の簡単な説明】
【0011】
【図1】本第1の実施形態に適用可能な撮像装置の一例の構成を示すブロック図である。
【図2】被写体検出部の一例の構成を示すブロック図である。
【図3】メモリコントローラの一例の動作タイミングを示すタイミングチャートである。
【図4】画像メモリに格納された画像に対する顔サーチ時の一例の画像参照領域を示す図である。
【図5】AF評価値生成部の一例の構成を示すブロック図である。
【図6】AF評価値によるフォーカスレンズの位置制御を説明するための図である。
【図7】第2の光学系の一例の構成を概略的に示す図である。
【図8】測距撮像データが位相のずれた2つの画像信号を重畳させた形となることを説明するための図である。
【図9】本発明の第1の実施形態による一例の合焦動作を示すフローチャートである。
【図10】本発明の第2の実施形態に適用可能な撮像装置の一例の構成を示すブロック図である。
【図11】撮像素子1の画素、光電変換部およびカラーフィルタの一例の配置を示す図である。
【図12】AF評価値合成部による、設定される第1の評価値生成枠と、第2の評価値生成枠との一例の合成演算について説明するための図である。
【図13】本発明の第2の実施形態による一例の合焦動作を示すフローチャートである。
【発明を実施するための形態】
【0012】
<第1の実施形態>
以下、本発明の第1の実施形態を、図面を参照しながら説明する。図1は、本第1の実施形態に適用可能な撮像装置100の一例の構成を示す。第1の光学系101は、例えば光軸に対して前後に移動するフォーカスレンズによる焦点調節光学系を含み、被写体からの光を後述する第1の撮像素子102に照射する。第1の撮像素子102は、例えばCCDやCMOSイメージセンサからなり、照射された光を光電変換により電荷に変換し、電気信号として出力する。撮像装置100は、撮像素子102からの電荷の読み出しを所定間隔、例えばフレーム周期で連続的に行うことで、フレーム周期毎に更新されるフレーム画像信号を得ることができ、動画の撮影が可能となる。
【0013】
第1の撮像素子102から出力された撮像信号S1は、第1のアナログフロントエンド(AFE)部103に供給され、ノイズ除去、ゲイン調整処理などを施された後、A/D変換されてディジタル信号とされる。このディジタル信号は、撮像データS2として第1のAFE部103から出力される。第1のAFE部103から出力された撮像データS2は、画像処理部104、AF評価値生成部106および被写体検出部107にそれぞれ供給される。
【0014】
画像処理部104は、供給された撮像データS2に対して色分離処理やγ補正処理、ホワイトバランス処理といった信号処理を施し、ディジタルビデオ信号S3を生成する。ディジタルビデオ信号S3は、表示・記録部105に供給される。
【0015】
表示手段としての表示・記録部105は、LCDといった表示デバイスとその駆動回路とを備える。ディジタルビデオ信号S3は、表示・記録部105において、例えば撮影の際のモニタ映像として、表示デバイスに表示される。また、表示・記録部105は、ディジタルビデオ信号S3による映像に対して、AF制御部113から供給される表示制御信号に基づく画像を重畳して表示させることができる。表示・記録部105は、磁気テープや光ディスク、半導体メモリといった記録媒体にディジタルビデオ信号S3を記録する構成を有する。
【0016】
評価値取得手段としてのAF評価値生成部106は、AFE部103から供給された撮像データS2に基づき、撮像素子102に結像された被写体像の合焦の度合いを評価するための合焦評価値であるAF評価値S5を生成する。このとき、AF評価値生成部106は、後述するAF制御部113から供給されるAF評価値生成枠設定情報S10に基づき設定される撮影画面内の領域内すなわち評価枠内について、AF評価値S5を生成する。AF評価値生成部106におけるAF評価値S5の生成方法については、後述する。AF評価値生成部106で生成されたAF評価値S5は、レンズ駆動部114に供給される。
【0017】
レンズ駆動部114は、制御信号S13により、第1の光学系101に含まれる焦点調節光学系を駆動する。すなわち、レンズ駆動部114は、AF評価値生成部106から供給されたAF評価値S5と、AF制御部113から供給されるレンズ駆動信号とに基づき制御信号S13を生成する。この制御信号S13によりフォーカスレンズが移動され、第1の撮像素子102の受光面上の被写体像の焦点調節が行われる。例えばレンズ駆動部114およびAF制御部113とで合焦手段が構成される。
【0018】
顔検出手段としての被写体検出部107は、撮像データS2に基づき被写体像の中に存在する特定の被写体、例えば人間の顔を検出し、検出された顔の位置を示す位置情報と、顔検出の信頼性を示す信頼性データとを含む顔検出データS4を生成する。被写体検出部における顔検出処理については、後述する。顔検出データS4は、AF制御部113に直接的に供給される。また、顔検出データS4は、顔検出記憶部115に所定の時間記憶され、過去顔検出データS14としてAF制御部113に出力される。
【0019】
第2の撮像素子109は、例えばCCDやCMOSイメージセンサからなる。第2の光学系108は、位相差測距を行うために、同一の被写体から到来する光を2系統の光にして、それぞれ第2の撮像素子109に照射する。第2の撮像素子109は、第2の光学系から照射された2系統の光を光電変換により電荷に変換し、電気信号として出力する。第2の撮像素子109の出力は、第2のAFE部110でノイズ除去、ゲイン制御など所定の処理を施され、さらにA/D変換され、ディジタル信号とされる。このディジタル信号は、測距撮像データS7として位相差測距演算部111に供給される。
【0020】
測距手段としての位相差測距演算部111は、供給された測距撮像データS7を用いて、2系統の光による位相差に基づく測距を行う。位相差測距演算部111における測距方法については、後述する。測距の結果求められた位相差測距データS8は、AF制御部113に直接的に供給されると共に、測距記憶部112で所定の時間保持され、過去位相差測距データS9としてAF制御部113に供給される。
【0021】
制御手段としてのAF制御部113は、例えばCPU、ROMおよびRAMからなり、ROMに予め記憶されたプログラムに従い、RAMをワークメモリとして用いてこの撮像装置100におけるオートフォーカス動作の制御を行う。AF制御部113は、図1に例示されるように独立した構成としてもよいし、撮像装置100の全体を制御するシステム制御部の機能の一部としてもよい。
【0022】
評価値設定手段としてのAF制御部113は、顔検出データS4と、位相差測距データS8と、過去位相差測距データS9とに基づき、AF評価値を生成する枠を設定するためのAF評価値生成枠設定情報S10を生成し、AF評価値生成部106に供給する。また、AF制御部113は、これらデータS4、S8およびS9に基づき、フォーカスレンズを停止させるように駆動するレンズ駆動停止信号S11を生成し、レンズ駆動部114に供給する。さらに、AF制御部113は、これらデータS4、S8およびS9に基づき、顔検出を行う範囲を示す顔検出表示枠を表示デバイスに表示させるための顔検出表示枠設定情報S12を生成し、表示・記録部105に供給する。
【0023】
次に、第1の光学系101および第1の撮像素子102によるオートフォーカス制御について説明する。図2は、被写体検出部107の一例の構成を示す。アナログフロントエンド部103から出力された撮像データS2がメモリインターフェイス(メモリI/F)202に入力される。メモリI/F202は、メモリコントローラ207の制御に従い、画像メモリ203に対するデータの入出力を制御する。
【0024】
顔画像テンプレート記憶部206は、顔の判定基準となる画像データである顔画像テンプレートが予め記憶される。顔画像テンプレート記憶部206から読み出された顔画像テンプレートは、変倍処理部205でメモリコントローラ207の制御に従い拡大/縮小処理され、相関係数算出部204に供給される。
【0025】
また、画像メモリ203に記憶された撮像データS2は、メモリコントローラ207の制御により所定サイズのブロックとして読み出され、当該ブロック毎の撮像データS2が順次、メモリI/F202を介して相関係数算出部204に供給される。画像メモリ203から読み出されたブロックのサイズおよび座標を示すデータが、メモリコントローラ207から出力判定部208に供給される。
【0026】
相関係数算出部204は、メモリI/F202から供給されるブロック毎の撮像データS2と、変倍処理部205で拡大/縮小された顔画像テンプレートとの相関係数kを算出する。算出された相関係数kは、出力判定部208に供給される。
【0027】
出力判定部208は、相関係数算出部204から供給されたブロック毎の相関係数kに基づき顔を検出すると共に、検出された顔の信頼度を求め、信頼度出力210として出力する。また、検出された顔の撮像データS2における座標およびサイズ情報209を位置情報として出力する。これら信頼度出力210、ならびに、座標およびサイズ情報209は、AF制御部113に供給される。
【0028】
被写体検出部107における処理について、図3および図4を用いてより詳細に説明する。図3は、メモリコントローラ207の一例の動作タイミングを示すタイミングチャートである。図3において、時間t1、t2、t3およびt4は、撮像信号S1の垂直同期タイミングを示す。また、図4は、画像メモリ203に格納された画像に対する顔サーチ時の一例の画像参照領域を示す。
【0029】
メモリコントローラ207は、メモリI/F202に入力される撮像データS2を、図3の時間t1〜t2に例示されるように、撮像信号S1が生成されるフィールドタイミングに同期して画像メモリ203に格納されるように、メモリI/F202を制御する。
【0030】
次に、メモリコントローラ207は、画像メモリ203に記憶された撮像データS2を、メモリI/F202を介して所定サイズの画像参照領域毎に順次読み出し、相関係数算出部204に供給する。メモリコントローラ207は、例えば撮像データS2の1画面分の読み出しが時間t2〜t3の期間内に完了するように、メモリI/F202を制御する。一例として、図4に例示されるように、画像参照領域a、b、c、…が、図3に例示する時間t2〜t10、t10〜t11、t11〜t12、…でそれぞれ読み出され、順次、相関係数算出部204に供給される。
【0031】
一方、顔画像テンプレート記憶部206から顔画像テンプレートが読み出され、変倍処理部205に供給される。変倍処理部205は、メモリコントローラ207から供給される変倍設定に従い、サイズが上述の画像参照領域に対応したサイズとなるように、顔画像テンプレートに対して拡大または縮小処理を施す。変倍処理部205で画像参照領域に対応するサイズとされた顔画像テンプレートは、相関係数算出部204に供給される。
【0032】
相関係数算出部204は、メモリI/F202から供給された画像参照領域の画像データと、変倍処理部205から供給された顔画像テンプレートの相関係数が求められる。相関係数kは、0≦k≦1となり、画像参照領域の画像と顔画像テンプレートとが無相関である場合にはk=0、両者が同一である場合にはk=1となる。すなわち、相関係数kは、画像参照領域の画像が顔に近いほど、1に近い値をとる。したがって、相関係数kの値から画像参照領域の画像が顔であるか否かを判定することが可能となる。
【0033】
相関係数算出部204は、図3の時間t2〜t10、t10〜t11、t11〜t12、…において、供給された画像参照領域に対して順次、相関係数ka、kb、kc、…を求める。これにより、画像メモリ203に格納された撮像データS2による画像の全領域について、顔の有無が判定される。
【0034】
相関係数算出部204で求められた相関係数ka、kb、kc、…は、出力判定部208に供給される。出力判定部208は、供給された相関係数ka、kb、kc、…に基づき顔の有無を判定する。例えば、相関係数ka、kb、kc、…を所定値と比較し、相関係数kが当該所定値よりも大きな画像参照領域に、顔が含まれると判定することが考えられる。また、上述したように、メモリコントローラ207から、画像参照領域a、b、c、…の座標情報が出力判定部208に対して供給される。
【0035】
出力判定部208は、顔が含まれると判定された画像参照領域a、b、c、…のうち相関係数kが最も1に近い画像参照領域を特定する。換言すれば、出力判定部208は、顔が含まれると判定された画像参照領域a、b、c、…のうち、画像が顔であることが最も確からしい画像参照領域を特定する。そして、特定された画像参照領域について、その位置およびサイズがサイズ情報209として、出力判定部208から出力される。また、出力判定部208は、当該画像参照領域で検出された顔の信頼度を信頼度出力210として出力する。顔の信頼度は、画像が顔であることの確からしさを示す情報であって、例えば相関係数kの値そのものを用いることができる。サイズ情報209および信頼度出力210は、顔検出データS4として被写体検出部107から出力される。
【0036】
なお、図4に示した画像参照領域a、b、c、…は、説明を容易とするため互いに重複部分が無いものとして記述しているが、画像参照領域a、b、c、…は、互いに重複部分を持たせてより詳細に判定を行うと好ましい。例えば、画像参照領域を画素毎に移動させながら、顔の有無の判定を行うことが考えられる。さらに、図4に示した画像参照領域に対して複数のサイズを設定し、様々な大きさの顔画像の判定に用いるようにすると好ましい。
【0037】
また、重複部分を多く設定したり、画像参照領域のサイズを多く設定するほど、相関係数kの演算と判定処理の回数が増え、顔の検出に時間がかかることになる。この場合、撮像データS2の1画面分の顔検出を、図3に示した時間t2〜t3の1フィールド期間ではなく、例えば時間t2〜t4といった2フィールドやそれ以上を顔の検出期間に充ててもよい。
【0038】
図5は、AF評価値生成部106の一例の構成を示す。AF評価値生成部106に供給された撮像データS2は、バンドパスフィルタ(BPF)502により画像のエッジを表す周波数成分が抽出され、絶対値算出回路(ABS)503で絶対値が算出される。これにより、被写体のエッジコントラスト強度の情報が得られる。絶対値算出回路503で算出された絶対値は、ピークホールド回路504に供給される。
【0039】
一方、AF制御部113から出力されたAF評価値生成枠設定情報S10が水平枠信号生成回路514および垂直枠信号生成回路515に供給される。水平枠信号生成回路514は、AF評価値生成枠設定情報S10に基づき、AF評価値生成枠の水平方向すなわち画像のライン方向の範囲を設定する水平枠信号を生成する。同様に、垂直枠信号生成回路515は、AF評価値生成枠設定情報S10に基づき、AF評価値生成枠の垂直方向の範囲を設定する垂直枠信号を生成する。これにより、AF評価値生成枠の位置およびサイズがAF評価値生成枠設定情報S10により決定される。
【0040】
水平枠信号生成回路514で生成された水平枠信号は、ピークホールド回路504に供給される。また、垂直枠信号生成回路515で生成された垂直枠信号は、積分回路507に供給される。
【0041】
ピークホールド回路504は、絶対値算出回路503から供給された絶対値のピーク値を検出する。このとき、ピークホールド回路504は、水平枠信号により検出範囲を限定して検出を行うので、検出された絶対値のピーク値は、AF評価値生成枠内における、1水平ラインの被写体のエッジコントラスト強度となる。ピークホールド回路504の検出値は、積分回路507に入力され、積分される。ここで、積分回路507は、垂直枠信号により積分範囲が限定され、ピークホールド回路504の検出値は、AF評価値生成枠の垂直方向範囲においてのみ積分される。
【0042】
このようにして積分回路507で得られた積分値は、図6に例示されるように、横軸のフォーカスレンズ位置の変化に対してなだらかに変化し、被写体に合焦するフォーカスレンズ位置で極大値を取る値となる。したがって、この積分値が極大となる位置を探索するようにフォーカスレンズ位置を制御することで、合焦動作を行うことができる。積分回路507で得られた積分値510は、AF評価値S5としてAF評価値生成部106から出力される。
【0043】
なお、AF評価値生成枠設定情報S10は、AF制御部113により生成される。すなわち、撮像データS2による画像のどの部分に対してフォーカスレンズによる合焦制御を行うかは、AF制御部113により生成されたAF評価値生成枠設定情報S10により決定される。
【0044】
次に、第2の光学系108および第2の撮像素子109によるオートフォーカス制御について説明する。図7は、第2の光学系108の一例の構成を概略的に示す。第2の光学系108は、レンズAおよびレンズBの2枚のレンズで構成される測距レンズ300を有し、この2枚のレンズにより光軸のずれた2つの光学像を、測距センサである第2の撮像素子109の受光面に結像させる。
【0045】
第2の撮像素子109から出力され、第2のAFE部110によりディジタル変換された測距撮像データS7は、図8に例示されるように、位相のずれた2つの画像信号を重畳させた形となる。すなわち、同一の被写体による信号レベルのピークが、被写体までの距離Dに応じた間隔Δdだけずれて2箇所に現れる。
【0046】
第2のAFE部110から出力された測距撮像データS7は、位相差測距演算部111に供給される。位相差測距演算部111では、供給された測距撮像データS7におけるピークのズレである上述の間隔Δdを求め、間隔Δdを用いて三角測量の原理に基づき被写体との距離Dを推定する。推定された距離Dを示すデータは、位相差測距データS8として出力され、AF制御部113に供給される。
【0047】
このように、位相差測距データS8は、図7の例における被写体との距離Dを表すものである。フォーカスレンズ駆動制御は、AF制御部113により、上述したAF評価値S5に基づき行われると共に、この位相差測距データS8に基づく制御によっても行われる。
【0048】
図9は、本発明の第1の実施形態による一例の合焦動作を示すフローチャートである。この図9のフローチャートにおける各処理は、AF制御部113によりプログラムに従い実行される。なお、図9のフローチャートによる処理は、全体としてループ処理となっており、撮像装置100における動画の撮影に際し、ステップS901からの処理を繰り返し行う。繰り返しの周期は、少なくとも、図3を用いて説明した顔検出の検出周期若しくはそれ以上の周期であることが望ましい。一例として、例えば垂直同期タイミングを周期として処理を繰り返すことが考えられる。
【0049】
AF制御部113による動作が開始されると(ステップS901)、ステップS902およびステップS903による顔検出処理と、ステップS904およびステップS905による測距処理とが並列的に行われる。ステップS902およびステップS903の処理と、ステップS904およびステップS905の処理とは、同期的に行ってもよいし、非同期でもよい。
【0050】
すなわち、ステップS902で撮像データS2に対する被写体検出部107による顔検出処理が行われ、顔検出データS4が求められる。この顔検出データS4は、次のステップS903で顔検出記憶部115に記憶される。また、ステップS904で位相差測距演算部111により測距撮像データS7に基づき測距が行われ、ステップS905で、測距の結果として求められた位相差測距データS8が測距記憶部112に記憶される。
【0051】
ステップS902およびステップS903による顔検出処理と、ステップS904およびステップS905による測距処理とが終了すると、処理はステップS906に移行される。ステップS906では、ステップS902で求められた顔検出データS4に基づき顔検出の信頼度の評価が行われる。評価の結果、若し、信頼度が閾値thR(第1の閾値)より高いと判定されたら、処理はステップS907に移行され、その旨示す顔優先フラグがONとされる。すなわちこの場合、撮像データS2に顔が含まれていると判断でき、検出された顔に対して合焦処理を行う。
【0052】
なお、ステップS906で判定の基準として用いる閾値thRは、例えば、顔が検出された画像について、目視により顔らしさを判断し、信頼度との対応関係を調べることで、実験的に求めることが考えられる。
【0053】
次のステップS908で、AF制御部113は、顔検出データS4に含まれる、検出された顔の位置を示す位置情報に基づきレンズ駆動部114を制御してフォーカスレンズを駆動し、合焦動作を行う。すなわち、AF制御部113は、顔の位置を示す位置情報に基づき、当該顔を含むAF評価値生成枠を設定する。そして、その枠を示す情報であるAF評価値生成枠設定情報S10を生成し、AF評価値生成部106に供給する。AF評価値生成部106は、このAF評価値生成枠設定情報S10に基づき形成されるAF評価値生成枠内で、撮像データS2からAF評価値S5を取得する。レンズ駆動部114は、このAF評価値S5に基づきフォーカスレンズを駆動する。
【0054】
そして、AF制御部113は、次のステップS909で、顔検出位置に対して枠表示を行う。すなわち、AF制御部113は、顔の位置を示す位置情報に基づき、当該顔の位置を示す枠画像を表示・記録部105の表示デバイスに表示させるための顔検出表示枠設定情報S12を生成し、表示・記録部105に供給する。
【0055】
以上のステップS906〜ステップS909の処理によれば、撮像データS2に顔が含まれている場合に、当該顔に対する自動合焦処理が実現されると共に、現在、顔に対して自動合焦処理を行っていることが、撮影者に対して表示される。
【0056】
上述したステップS906で、信頼度が閾値thRよりも低いと判断されたら、処理はステップS910に移行される。ステップS910では、現在の信頼度と過去の信頼度との比較を行う。過去の信頼度は、例えば、図9のループ処理における1回前のループのステップS903による処理で顔検出記憶部115に記憶された顔検出データS4(すなわち過去顔検出データS14)を用いる。図9のループ処理が垂直同期タイミングに基づく周期であれば、過去の信頼度は、現在の信頼度に対して1垂直同期タイミングだけ過去の情報である。
【0057】
ステップS910で比較した比較結果により、若し、過去の信頼度が閾値thRより高く、現在の信頼度が閾値thRより低いと判断されたら、処理はステップS911に移行される。この場合、ステップS906で評価の対象となった信頼度は、撮像データS2に含まれていた顔が消失した瞬間の状態における値と考えることができる。但し、被写体となっている人物自体が撮影画角から消失したのか、または、例えば当該人物が横を向くなどにより顔検出が行えないために顔が消失したと判定されたのかは、この時点では判断できない。
【0058】
そこでさらに、次のステップS911で、過去の測距値と現在の測距値とが比較される。過去の測距値は、例えば、図9のループ処理における1回前のループのステップS905で測距記憶部112に記憶された位相差測距データS8(すなわち過去位相差測距データS9)を用いる。図9のループ処理が垂直同期タイミングに基づく周期であれば、過去の測距値は、現在の測距値に対して1垂直同期タイミングだけ過去の情報である。
【0059】
ステップS911での比較の結果、若し、過去の測距値と現在の測距値との差分が閾値thD(第2の閾値)より小さいと判断された場合、顔は消失したが、当該顔に対応する被写体の人物は消失していないと考えることができる。そのため、次のステップS912で、レンズ駆動部114を制御してフォーカスレンズの位置を動かさないようにする。それと共に、表示・記録部105に表示されている、顔位置を示す枠表示を変化させない。勿論、ステップS912では、AF評価値生成枠も変更しない。
【0060】
なお、ステップS911で判断の基準に用いる閾値thDは、例えば、実際の人物の動きによる測距値の差を実測するなどの方法により、実験的に求めることが考えられる。
【0061】
以上のステップS912〜ステップS913によれば、撮像データS2から顔が消失した瞬間の状態であっても、測距値に基づき被写体に変化が無いと判断される場合には、顔に対する合焦処理が継続される。
【0062】
一方、上述のステップS911での比較の結果、過去の測距値と現在の測距値との差分が閾値thDより大きいと判断された場合、被写体の人物自体が撮影画角から消失したと考えることができる。そこで、処理をステップS915に移行させ、顔優先フラグをOFFとする。そして、次のステップS916で、中央重点評価枠設定に基づきレンズ駆動部114を制御してフォーカスレンズを駆動し、合焦動作を行う。なお、中央重点評価枠設定は、AF評価値生成部106に対するAF評価値生成枠設定情報S10を、画面の中央部に対し、位置および大きさを固定にして設定するものである。
【0063】
そして、次のステップS917で、表示・記録部105の表示デバイスに対する顔の位置を示す枠画像の表示を停止させる。すなわち、AF制御部113は、当該枠画像の表示を行わないような顔検出表示枠設定情報S12を生成し、表示・記録部105に供給する。
【0064】
上述のステップS911での比較の結果、過去の信頼度が閾値thRより低く、かつ現在の信頼度が閾値thRより低いと判断された場合、撮像データS2に顔が含まれないか、または、撮像データS2に過去に含まれていた顔が消失し、その状態が継続していると考えられる。
【0065】
この場合、処理はステップS914に移行され、顔優先フラグの状態が確認される。若し、顔優先フラグがONであると判断された場合、撮像データS2に基づき、顔が消失した状態が継続していて、且つ、測距値に基づき、当該顔に対応する被写体人物自体は、未だAF評価値生成枠内に存在していると考えることができる。そこで、処理をステップS912に移行させ、フォーカスレンズの位置を動かさないようにレンズ駆動部114を制御すると共に、顔位置を表す枠画像の表示も継続的に行うように制御する(ステップS913)。
【0066】
一方、ステップS914で、顔優先フラグがOFFであると判断された場合、処理をステップS915に移行させ、顔優先フラグをOFFとする。そして、次のステップS916で、中央重点評価枠設定に基づくフォーカスレンズ位置制御を行い、ステップS917で枠画像の表示を停止させる。
【0067】
以上説明したように、本発明の第1の実施形態によれば、動画の撮影時に発生し得る、被写体ロストに対するオートフォーカス制御の誤動作を抑制することができる。
<第2の実施形態>
次に、本発明の第2の実施形態について、図面を参照しながら説明する。図10は、本第2の実施形態に適用可能な撮像装置1000の一例の構成を示す。撮像装置1000は、上述の第1の実施形態における撮像装置100と同様に動画の撮影が可能とされている。なお、図10において、上述した図1と共通する部分には同一の符号を付し、詳細な説明を省略する。
【0068】
撮像装置1000は、1の光学系101と、1の撮像素子1001とを有し、撮像素子1001は、測距用画素と撮像用画素とがそれぞれ内部に構成される。図11は、撮像素子1001の画素、光電変換部およびカラーフィルタの一例の配置を示す。単位画素11−11〜11−44は、図中に光電変換部G1およびG2、B1およびB2、…の如く例示されるように、それぞれ2つの光電変換部を有しており、各々の光電変換部で独立して生成された画素信号が撮像信号S1として出力される。したがって、単位画素中の2つの光電変換部から出力される画素信号の位相を調べることで、第1の実施形態で説明した位相差情報による測距演算が単位画素毎に可能となる。
【0069】
撮像素子1001から出力された撮像信号S1は、AFE部103に供給され、ノイズ除去、ゲイン調整処理など施された後、A/D変換されてディジタル信号とされる。このディジタル信号は、測距撮像データS24としてAFE部103から出力される。測距撮像データS24は、画素加算部1007に供給されると共に、位相差測距演算部1110に供給される。
【0070】
位相差測距演算部1110は、第1の実施形態における位相差測距演算部111による処理と同様にして測距を行う。すなわち、図7に例示されるレンズAおよびレンズBを、図11の単位画素内の2つの光電変換部にそれぞれ対応させ、同一の被写体による信号レベルのピークの位相差を検出する。そして、検出された位相差に基づき被写体までの距離を演算する。被写体までの距離は、2つの光電変換部を持つ単位画素のそれぞれについて、行うことができる。演算結果の位相差測距データS8は、AF制御部1006に供給されると共に、測距記憶部112で所定時間保持され過去位相差測距データS9とされてAF制御部1006に供給される。
【0071】
一方、画素加算部1007は、撮像素子1001において単位画素を構成する2つの光電変換部で生成される2つの独立した画素信号を加算して、単位画素毎の撮像データS2を生成する。図11に例示されるように、1の単位画素に含まれる2つの光電変換部には、同色のカラーフィルタが配置され、撮像素子1001全体としては、ベイヤ配列の画像となる。
【0072】
画素加算部1007から出力された撮像データS2は、画像処理部104、第1のAF評価値生成部1002、第2のAF評価値生成部1003および被写体検出部107にそれぞれ供給される。
【0073】
画像処理部104は、供給された撮像データS2に対して色分離処理やγ補正処理、ホワイトバランス処理といった信号処理を施し、ディジタルビデオ信号S3を生成する。ディジタルビデオ信号S3は、表示・記録部105に供給され、表示デバイスに対する表示に供されたり、記録媒体に対して記録される。
【0074】
第1のAF評価値生成部1002および第2のAF評価値生成部1003は、それぞれ、図6を用いて説明したAF評価値生成部106と同様の構成を適用することができる。第1のAF評価値生成部1002は、AFE部103からの撮像データS2に基づき、撮影画面の中央部に固定的に設定された第1のAF評価値生成枠内について、上述のようにして、合焦の度合いを評価する第1のAF評価値S20(第2の合焦評価値)を生成する。同様に、第2のAF評価値生成部1003は、AFE部103からの撮像データS2に基づき、測距領域決定部1005で決定された第2の評価値生成枠内について、被写体の合焦の度合いを評価する、第1の合焦評価値としての第2のAF評価値S21を生成する。
【0075】
第1のAF評価値S20および第2のAF評価値S21は、AF評価値合成部1004に供給される。AF評価値合成部1004は、後述する方法により第1のAF評価値S20および第2のAF評価値S21に対して重み付けを行い、これら第1のAF評価値S20と第2のAF評価値S21とを合成する。合成結果は、AF評価値S5として出力され、レンズ駆動部114に供給される。
【0076】
レンズ駆動部114は、制御信号S13により、光学系101に含まれる焦点調節光学系を駆動する。すなわち、レンズ駆動部114は、AF評価値合成部1004から供給されたAF評価値S5と、AF制御部1006から供給されるレンズ駆動信号とに基づき制御信号S13を生成する。この制御信号S13により焦点調節光学系が駆動され、撮像素子1001の受光面上の被写体像の焦点調節が行われる。
【0077】
被写体検出部107は、画素加算部1007から供給された撮像データS2に基づき被写体像の中に存在する特定の被写体、例えば、人の顔を検出し、検出された顔の位置情報と、顔検出の信頼性を示す信頼性データとを含む顔検出データS4を生成する。顔検出データS4は、測距領域決定部1005およびAF制御部1006にそれぞれ供給される。
【0078】
測距領域決定部1005は、被写体検出部107から供給された顔検出データS4、あるいは、測距領域記憶部1008に記憶される過去の測距領域設定データS23に基づき、第2のAF評価値生成枠を設定するための測距領域設定データS22を生成する。測距領域決定部1005で生成された測距領域設定データS22は、測距領域記憶部1008に記憶されると共に、第2のAF評価値生成部1003に供給される。なお、測距領域記憶部1008に記憶された測距領域設定データS22は、所定時間後に、過去の測距領域設定データS23として測距領域記憶部1008から読み出される。
【0079】
図12を用いて、AF評価値合成部1004による、第1のAF評価値生成部1002で設定される第1のAF評価値生成枠1201と、第2のAF評価値生成部1003で設定される第2の評価値生成枠1202との一例の合成演算について説明する。図12に例示されるように、第2の評価枠としての第1のAF評価値生成枠1201は、画面すなわち撮影画角1200の中心部分に固定的に設定される。一方、第1の評価枠としての第2の評価値生成枠1202は、撮影画角1200において、測距領域決定部1005から供給される測距領域設定データS22に基づいた位置に設定される。すなわち、第2のAF評価値生成枠1202は、撮影画角1200に対して、位置が可変的に設定される。
【0080】
AF評価値合成部1004は、上述した第1のAF評価値S20および第2のAF評価値S21に対して、下記の式(1)に従い係数K(1≧K≧0)による重み付け加算を行い、AF評価値S5を生成する。係数Kの算出方法については、後述する。
AF評価値=K×第1のAF評価値+(1−K)×第2のAF評価値 …(1)
この式(1)によれば、撮影画角の中央を重視してAF評価値を生成する状態と、撮影画角の任意部分でAF評価値を生成する状態とを、係数Kにより滑らかに移行させることが可能となる。周知の如く、ビデオカメラにおける自動合焦制御は、動画に追従して行われるため、急激な状態変化は好ましくない。本第2の実施形態では、係数Kにより、AF評価値を第1のAF評価値生成枠1201における第1のAF評価値S20と、第2のAF評価値生成枠1202における第2のAF評価値S21との間で滑らかに移行させている。これにより、自動合焦制御における急激な状態変化を抑制することができる。
【0081】
図13は、本発明の第2の実施形態による一例の合焦動作を示すフローチャートである。この図13のフローチャートにおける各処理は、AF制御部1006によりプログラムに従い実行される。なお、図13のフローチャートによる処理は、全体としてループ処理となっており、撮像装置100における動画の撮影に際し、ステップS1301からの処理を繰り返し行う。繰り返しの周期は、少なくとも、図3を用いて説明した顔検出の検出周期若しくはそれ以上の周期であることが望ましい。
【0082】
ステップS1301で処理が開始されると、ステップS1302で被写体検出部107による顔検出処理が行われ、顔検出データS4が求められる。そして、次のステップS1303で、顔検出データS4に含まれる信頼性データに基づき、顔検出の信頼度が評価される。評価の結果、若し、信頼度が閾値thRより高いと判断されたら、処理はステップS1304に移行される。この場合には、被写体である顔の位置が特定された可能性が高いと考えられる。
【0083】
ステップS1304では、測距領域決定部1005において、測距領域すなわち第2のAF評価値生成枠が被写体検出部107の検出結果に基づく顔領域に設定される。ステップS1304で設定された測距領域は、次のステップS1305で測距領域記憶部1008に記憶される。そして、次のステップS1306で、位相差測距演算部1110において、測距撮像データS24に基づき測距が行われ、ステップS1307で、測距の結果求められた位相差測距データS8が測距記憶部112に記憶される。
【0084】
次に、ステップS1308で、AF制御部1006は、被写体検出部107から供給された顔検出データS4に基づき上述の式(1)における係数Kを算出する。係数Kは、少なくとも、顔検出データS4における信頼性データが示す顔検出の信頼性が高くなるのに従い、第2のAF評価値S21の比率が高くなるように設定する。係数Kは、AF評価値生成枠設定情報S10として、AF評価値合成部1004に供給される。そして、AF評価値合成部1004は、この係数Kを上述の式(1)に適用して、第1のAF評価値S20と第2のAF評価値S21とを合成し、AF評価値S5を得る。
【0085】
次のステップS1309で、AF制御部1006は、AF評価値合成部1004から出力されたAF評価値S5に基づきレンズ駆動部114を制御してフォーカスレンズを駆動し、合焦動作を行う。そして、AF制御部1006は、次のステップS1310で、顔検出位置に対して枠表示を行う。
【0086】
このように、ステップS1303で顔検出結果の信頼度が高いと判断された場合、検出された顔領域から得られたAF評価値S5を重視した合焦動作が行われる。
【0087】
一方、上述のステップS1303で、顔検出の信頼度の評価の結果、信頼度が閾値thDより低いと判断されたら、処理はステップS1311に移行される。この場合には、被写体である顔が撮影画角から消失したか、あるいは、当初から顔が撮影画角に存在していない可能性が高いと考えられる。
【0088】
ステップS1311では、測距領域決定部1005において、測距領域記憶部1008に記憶された過去の測距領域設定データS23に基づき、測距領域が設定される。この測距領域に設定された過去の測距領域設定データS23は、現在の測距領域設定データS22として、測距領域記憶部1008に記憶される(ステップS1312)。
【0089】
次のステップS1313で、位相差測距演算部1110において位相差測距演算が行われる。演算の結果得られた位相差測距データS8は、AF制御部1006に供給される。また、位相差測距データS8は、ステップS1314で、測距記憶部112に記憶される。
【0090】
次のステップS1315では、AF制御部1006は、位相差測距演算部1110から供給された現在の位相差測距データS8と、測距記憶部112に記憶された過去位相差測距データS9とを比較し、これらのデータの相関を判断する。そして、この相関に応じて上述した式(1)の係数Kの値を決め、AF評価値S5を求める。この場合、係数Kは、少なくともこれらのデータの相関が高くなるに従い、第2のAF評価値S21の比率が高くなるように設定する。
【0091】
比較の結果、現在の位相差測距データS8と過去位相差測距データS9との差分が閾値thDより小さければ、これらのデータの相関が高いと判断する。この場合、撮影画角から顔は消失したが、当該顔に対応する被写体の人物は消失していないと考えることができる。
【0092】
一方、比較の結果、現在の位相差測距データS8と過去位相差測距データS9との差分が閾値thDより大きければ、これらのデータの相関が低いと判断する。この場合には、撮像データS2に顔が含まれないか、または、撮像データS2に過去に含まれていた顔が消失し、その状態が継続していると推定できる。例えば、被写体である人物自体が動くか、別の被写体により隠れてしまったことによる顔消失などが考えられる。
【0093】
次のステップS1316で、AF制御部1006は、AF評価値合成部1004から出力されたAF評価値S5に基づきレンズ駆動部114を制御してフォーカスレンズを駆動し、合焦動作を行う。その結果、顔が消失しその状態が継続している可能性が高いとき以外は、被写体人物が存在すると推定される部分に対する合焦動作が実現される。一方、顔が消失した可能性が高い場合に限り、画面の中央部分に対する合焦動作に戻る制御が実現される。
【0094】
次のステップS1317で、現在の位相差測距データS8と過去位相差測距データS9との相関に応じて、顔検出位置に対する枠表示を行うか否かが判断される。すなわち、顔が消失しその状態が継続している可能性が高いと推定される場合以外は、当該被写体人物の顔が存在すると推定される部分に枠を表示させる。一方、顔が消失してその状態が継続している可能性が高い場合には、枠を表示させない。
【0095】
以上説明したように、本発明の第2の実施形態によれば、動画の撮影時に発生し得る、被写体ロストに対するオートフォーカス制御の誤動作を抑制することができる。
【特許請求の範囲】
【請求項1】
撮像領域において被写体からの光を光電変換して撮像信号を順次生成する撮像手段と、前記撮像信号より特定の被写体を検出する被写体検出手段と、前記被写体検出手段による被写体検出結果の信頼度を判定する判定手段と、前記撮像信号のうち前記撮像手段の前記撮像領域上に予め設定された焦点検出領域及び前記撮像領域上の検出された前記特定の被写体に対応する位置に特定焦点検出領域の各々から出力される信号の所定周波数成分より焦点信号を生成する生成手段と、前記被写体検出手段により検出された前記特定の被写体に対する測距を行う測距手段と、前記測距手段による測距結果及び前記測距手段により測距が行なわれた測距領域を記憶する記憶手段と、前記被写体検出結果の信頼度あるいは前記測距手段による測距結果に基づいて前記生成手段により出力された2つの焦点信号の各々についての重み付け係数を決定する決定手段と、前記生成手段により出力された2つの焦点信号を前記決定手段により決定された対応する重み付け係数を用いて合成して得られた焦点信号に基づいてフォーカスレンズの位置を制御することで焦点調節を行う制御手段と、を有する撮像装置であって、
前記決定手段は、前記判定手段により前記被写体検出結果の信頼度が所定値より高いと判定された場合、前記焦点検出領域についての重み付け係数よりも前記特定焦点検出領域についての重み付け係数を大きい値に決定し、
前記判定手段により前記被写体検出結果の信頼度が前記所定値より低いと判定された場合、前記記憶手段に記憶されている前回の測距領域について、前記測距手段による現在の測距結果と前回の測距結果との差分が閾値より小さい場合は、前記焦点検出領域についての重み付け係数よりも前記特定焦点検出領域についての重み付け係数を大きい値に決定し、前記差分が閾値より大きい場合は、前記特定焦点検出領域についての重み付け係数よりも、前記焦点検出領域についての重み付け係数を大きい値に決定することを特徴とする撮像装置。
【請求項2】
撮像領域において被写体からの光を光電変換して撮像信号を順次生成する撮像手段を有する撮像装置の制御方法であって、
前記撮像装置の被写体検出手段が、前記撮像信号より特定の被写体を検出する被写体検出工程と、
前記撮像装置の判定手段が、前記被写体検出工程における被写体検出結果の信頼度を判定する判定工程と、
前記撮像装置の生成手段が、前記撮像信号のうち前記撮像手段の前記撮像領域上に予め設定された焦点検出領域及び前記撮像領域上の検出された前記特定の被写体に対応する位置に特定焦点検出領域の各々から出力される撮像信号の所定周波数成分より焦点信号を生成する生成工程と、
前記撮像装置の測距手段が、前記被写体検出工程において検出された前記特定の被写体に対する測距を行う測距工程と、
前記撮像装置の制御手段が、前記測距工程における測距結果及び前記測距手段により測距が行なわれた測距領域を記憶手段に記憶する記憶工程と、
前記撮像装置の決定手段が、前記被写体検出結果の信頼度あるいは前記測距工程における測距結果に基づいて前記生成工程において出力された2つの焦点信号の各々についての重み付け係数を決定する決定工程と、
前記撮像装置の前記制御手段が、前記生成工程において出力された2つの焦点信号を前記決定工程において決定された対応する重み付け係数を用いて合成して得られた焦点信号に基づいてフォーカスレンズの位置を制御することで焦点調節を行う制御工程と、を有し、
前記決定手段は前記決定工程において、前記判定工程において前記被写体検出結果の信頼度が所定値より高いと判定された場合、前記焦点検出領域についての重み付け係数よりも前記特定焦点検出領域についての重み付け係数を大きい値に決定し、
前記判定工程において前記被写体検出結果の信頼度が前記所定値より低いと判定された場合、前記記憶手段に記憶されている前回の測距領域について、前記測距工程における現在の測距結果と前回の測距結果との差分が閾値より小さい場合は、前記焦点検出領域についての重み付け係数よりも前記特定焦点検出領域についての重み付け係数を大きい値に決定し、前記差分が閾値より大きい場合は、前記特定焦点検出領域についての重み付け係数よりも、前記焦点検出領域についての重み付け係数を大きい値に決定することを特徴とする撮像装置の制御方法。
【請求項1】
撮像領域において被写体からの光を光電変換して撮像信号を順次生成する撮像手段と、前記撮像信号より特定の被写体を検出する被写体検出手段と、前記被写体検出手段による被写体検出結果の信頼度を判定する判定手段と、前記撮像信号のうち前記撮像手段の前記撮像領域上に予め設定された焦点検出領域及び前記撮像領域上の検出された前記特定の被写体に対応する位置に特定焦点検出領域の各々から出力される信号の所定周波数成分より焦点信号を生成する生成手段と、前記被写体検出手段により検出された前記特定の被写体に対する測距を行う測距手段と、前記測距手段による測距結果及び前記測距手段により測距が行なわれた測距領域を記憶する記憶手段と、前記被写体検出結果の信頼度あるいは前記測距手段による測距結果に基づいて前記生成手段により出力された2つの焦点信号の各々についての重み付け係数を決定する決定手段と、前記生成手段により出力された2つの焦点信号を前記決定手段により決定された対応する重み付け係数を用いて合成して得られた焦点信号に基づいてフォーカスレンズの位置を制御することで焦点調節を行う制御手段と、を有する撮像装置であって、
前記決定手段は、前記判定手段により前記被写体検出結果の信頼度が所定値より高いと判定された場合、前記焦点検出領域についての重み付け係数よりも前記特定焦点検出領域についての重み付け係数を大きい値に決定し、
前記判定手段により前記被写体検出結果の信頼度が前記所定値より低いと判定された場合、前記記憶手段に記憶されている前回の測距領域について、前記測距手段による現在の測距結果と前回の測距結果との差分が閾値より小さい場合は、前記焦点検出領域についての重み付け係数よりも前記特定焦点検出領域についての重み付け係数を大きい値に決定し、前記差分が閾値より大きい場合は、前記特定焦点検出領域についての重み付け係数よりも、前記焦点検出領域についての重み付け係数を大きい値に決定することを特徴とする撮像装置。
【請求項2】
撮像領域において被写体からの光を光電変換して撮像信号を順次生成する撮像手段を有する撮像装置の制御方法であって、
前記撮像装置の被写体検出手段が、前記撮像信号より特定の被写体を検出する被写体検出工程と、
前記撮像装置の判定手段が、前記被写体検出工程における被写体検出結果の信頼度を判定する判定工程と、
前記撮像装置の生成手段が、前記撮像信号のうち前記撮像手段の前記撮像領域上に予め設定された焦点検出領域及び前記撮像領域上の検出された前記特定の被写体に対応する位置に特定焦点検出領域の各々から出力される撮像信号の所定周波数成分より焦点信号を生成する生成工程と、
前記撮像装置の測距手段が、前記被写体検出工程において検出された前記特定の被写体に対する測距を行う測距工程と、
前記撮像装置の制御手段が、前記測距工程における測距結果及び前記測距手段により測距が行なわれた測距領域を記憶手段に記憶する記憶工程と、
前記撮像装置の決定手段が、前記被写体検出結果の信頼度あるいは前記測距工程における測距結果に基づいて前記生成工程において出力された2つの焦点信号の各々についての重み付け係数を決定する決定工程と、
前記撮像装置の前記制御手段が、前記生成工程において出力された2つの焦点信号を前記決定工程において決定された対応する重み付け係数を用いて合成して得られた焦点信号に基づいてフォーカスレンズの位置を制御することで焦点調節を行う制御工程と、を有し、
前記決定手段は前記決定工程において、前記判定工程において前記被写体検出結果の信頼度が所定値より高いと判定された場合、前記焦点検出領域についての重み付け係数よりも前記特定焦点検出領域についての重み付け係数を大きい値に決定し、
前記判定工程において前記被写体検出結果の信頼度が前記所定値より低いと判定された場合、前記記憶手段に記憶されている前回の測距領域について、前記測距工程における現在の測距結果と前回の測距結果との差分が閾値より小さい場合は、前記焦点検出領域についての重み付け係数よりも前記特定焦点検出領域についての重み付け係数を大きい値に決定し、前記差分が閾値より大きい場合は、前記特定焦点検出領域についての重み付け係数よりも、前記焦点検出領域についての重み付け係数を大きい値に決定することを特徴とする撮像装置の制御方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2012−208513(P2012−208513A)
【公開日】平成24年10月25日(2012.10.25)
【国際特許分類】
【出願番号】特願2012−136275(P2012−136275)
【出願日】平成24年6月15日(2012.6.15)
【分割の表示】特願2008−243339(P2008−243339)の分割
【原出願日】平成20年9月22日(2008.9.22)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成24年10月25日(2012.10.25)
【国際特許分類】
【出願日】平成24年6月15日(2012.6.15)
【分割の表示】特願2008−243339(P2008−243339)の分割
【原出願日】平成20年9月22日(2008.9.22)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]