撮像装置、撮像方法及び撮像プログラム
【課題】 ＡＦ動作として採用される追尾領域がフレーム間で切り替わっても、ＡＦ合焦迄の遅延や偽合焦を生じることがない。
【解決手段】 撮像装置は、被写体の像を撮像部により撮像して画像データを出力し、撮像部から出力された画像データ中から顔部検出部により被写体の顔部を検出し、この顔部と被写体における顔部以外の周辺部位とに基づいて被写体を追尾し、顔部に対応する領域の第１の画像データ、又は顔部以外の周辺部位に対応する領域の第２の画像データに基づいてＡＦ動作を行い、顔部の検出が有効な場合、顔部に対応する領域の第１の画像データに基づいてＡＦ動作を行い、顔部が有効に検出されなくなった場合、周辺部位に対応する領域の第２の画像データに基づいてＡＦ動作を行う。
【解決手段】 撮像装置は、被写体の像を撮像部により撮像して画像データを出力し、撮像部から出力された画像データ中から顔部検出部により被写体の顔部を検出し、この顔部と被写体における顔部以外の周辺部位とに基づいて被写体を追尾し、顔部に対応する領域の第１の画像データ、又は顔部以外の周辺部位に対応する領域の第２の画像データに基づいてＡＦ動作を行い、顔部の検出が有効な場合、顔部に対応する領域の第１の画像データに基づいてＡＦ動作を行い、顔部が有効に検出されなくなった場合、周辺部位に対応する領域の第２の画像データに基づいてＡＦ動作を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物等の被写体を追尾しながら撮像を行う撮像装置、撮像方法及び撮像プログラムに関する。
【背景技術】
【０００２】
人物等の被写体を追尾する技術としては、被写体を追尾するための少なくとも２つの領域を用いて被写体を追尾する技術として例えば特許文献１がある。この特許文献１は、被写体を撮像して取得された画像データ上に被写体を追尾するための第１領域と第２領域とを有し、第１領域を常に基準領域として被写体の追尾を行い、第２領域を第１領域と独立して被写体の追尾を行うことを開示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２６８０８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
被写体を追尾するために第１と第２の追尾領域を用いる場合、撮像装置から第１と第２の追尾領域までの間に距離差がある場合、すなわち撮像装置から第１と第２の追尾領域に向かう奥行方向に距離差がある場合がある。このように第１と第２の追尾領域までに距離差がある状態で被写体の追尾を行う場合、通常、第１の追尾領域に対応する画像データに基づいてＡＦ動作を行う。
ところが、第１の追尾領域を用いて被写体の追尾が不能になると、被写体の追尾は、第１の追尾領域から第２の追尾領域に切り替え、当該第２の追尾領域に対応する画像データに基づくＡＦ動作に切り替わる。第１の追尾領域から第２の追尾領域への切り替えのタイミングは、画像データ上であればフレーム間で切り替わるものとなる。ＡＦ動作では、ＡＦ高速化のために過去のＡＦ結果を参照しているために、ＡＦ合焦迄の遅延や偽合焦が生じることがある。この結果、ユーザは、被写体に合焦していないボケ画像を撮影してしまったり、撮影タンミングを逃してしまうことがある。
【０００５】
本発明の目的は、ＡＦ動作として採用される追尾領域がフレーム間で切り替わっても、ＡＦ合焦迄の遅延や偽合焦を生じることがない撮像装置、撮像方法及び撮像プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明の主要な局面に係る撮像装置は、被写体の像を撮像して画像データを出力する撮像部と、前記撮像部から出力された前記画像データ中から前記被写体の顔部を検出する顔部検出部と、前記顔部検出部により検出された前記顔部又は前記被写体における前記顔部以外の周辺部位に基づいて前記被写体を追尾する被写体追尾部と、前記画像データにおける前記顔部検出部により検出された前記顔部に対応する領域の第１の画像データ、又は前記顔部以外の周辺部位に対応する領域の第２の画像データに基づいてＡＦ動作を行うＡＦ制御部とを具備し、前記ＡＦ制御部は、前記顔部検出部による前記顔部の検出が有効な場合、前記顔部に対応する領域の前記第１の画像データに基づいてＡＦ動作を行い、前記顔部が有効に検出されなくなった場合、前記周辺部位に対応する領域の前記第２の画像データに基づいてＡＦ動作を行う。
【０００７】
本発明の主要な局面に係る撮像方法は、被写体の像を撮像部により撮像して画像データを出力し、前記撮像部から出力された前記画像データ中から顔部検出部により前記被写体の顔部を検出し、前記検出された前記顔部又は前記被写体における前記顔部以外の周辺部位に基づいて被写体追尾部により前記被写体を追尾し、前記画像データにおける前記顔部に対応する領域の第１の画像データ、又は前記顔部以外の周辺部位に対応する領域の第２の画像データに基づいてＡＦ制御部によりＡＦ動作を行い、前記顔部の検出が有効な場合、前記顔部に対応する領域の前記第１の画像データに基づいてＡＦ動作を行い、前記顔部が有効に検出されなくなった場合、前記周辺部位に対応する領域の前記第２の画像データに基づいてＡＦ動作を行う。
【０００８】
本発明の主要な局面に係る撮像プログラムは、被写体の像を撮像して画像データを出力させる画像データ出力機能と、前記画像データ中から前記被写体の顔部を検出させる顔部検出機能と、前記顔部又は前記被写体における前記顔部以外の周辺部位に基づいて被写体追尾部により前記被写体を追尾させる被写体追尾機能と、前記画像データにおける前記顔部に対応する領域の第１の画像データ、又は前記顔部以外の周辺部位に対応する領域の第２の画像データに基づいてＡＦ動作を行わせるＡＦ制御機能とを有し、前記ＡＦ制御機能は、前記顔部の検出が有効な場合、前記顔部に対応する領域の前記第１の画像データに基づいてＡＦ動作を行い、前記顔部が有効に検出されなくなった場合、前記周辺部位に対応する領域の前記第２の画像データに基づいてＡＦ動作を行う。
【発明の効果】
【０００９】
本発明によれば、ＡＦ動作として採用される追尾領域がフレーム間で切り替わっても、ＡＦ合焦迄の遅延や偽合焦を生じることがない撮像装置、撮像方法及び撮像プログラムを提供できる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る撮像装置の第１の実施の形態を示すブロック構成図。
【図２】同装置における顔部検出回路による画像デ―タ中からの被写体の顔部の検出を説明するための図。
【図３】同装置における第１の追尾回路による輝度情報を用いて顏部の追尾の作用を説明するための図。
【図４】同装置における第１の追尾回路による色情報を用いての顏部の追尾の作用を説明するための図。
【図５】同装置における被検体に対する顔部検出位置と顔部追尾位置と周辺部追尾位置とを示す図。
【図６】同装置における顔部の正面の顔に対して設定された顔部追尾枠を示す図。
【図７】同装置における顔部の横顔に対して設定された顔部追尾枠を示す図。
【図８】同装置における第２の追尾回路により胸部を追尾するための胸部追尾枠を示す図。
【図９】同装置における撮影動作フローチャート。
【図１０】同装置における追尾処理フローチャート。
【図１１】同装置における図１１に示すＡＦ処理フローチャート。
【図１２】同装置と対比する一般的な背景技術におけるウォブリング動作を続けて顔部の追尾から例えば胸部の追尾に切り替わり、再び顔部の追尾に戻るときのＡＦ合焦状態の時間的変化を示す図。
【図１３】同装置においてウォブリング動作を続けて顔部の追尾から例えば胸部の追尾に切り替わると共にスキャン駆動（山登りＡＦ動作）に切り替わり、再び顔部の追尾に戻ってウォブリング動作を行うときのＡＦ合焦状態の時間的変化を示す図。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施の形態について図面を参照して説明する。
図１は追尾機能を備えた撮像装置の一例としてのブロック構成図を示す。撮像装置１００は、撮影光学系１０２と、焦点調整機構１０４と、絞り１０６と、絞り駆動機構１０８と、シャッタ１１０と、シャッタ駆動機構１１２と、撮像素子１１４と、撮像素子インターフェイス（ＩＦ）回路１１６と、ＲＡＭ１１８と、表示素子１２０と、表示素子駆動回路１２２と、タッチパネル１２４と、タッチパネル駆動回路１２６と、記録メディア１２８と、システムコントローラ１３０と、操作部１３２と、ＲＯＭ１３４とを有する。
【００１２】
撮影光学系１０２は、被写体からの光束Ｆを、撮像素子１１４の受光面上に集光する。この撮影光学系１０２は、フォーカスレンズ等の複数のレンズを有する。焦点調整機構１０４は、モータ及びその駆動回路等を有し、システムコントローラ１３０内のコンピュータとしてのＣＰＵ１３０１の制御に従って撮影光学系１０２内のフォーカスレンズをその光軸方向（図示一点鎖線方向）に駆動する。
絞り１０６は、開閉自在に構成され、撮影光学系１０２を介して撮像素子１１４に入射する光束Ｆの量を調整する。絞り駆動機構１０８は、絞り１０６を駆動するための駆動機構を有し、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って絞り１０６を駆動する。
【００１３】
シャッタ１１０は、撮像素子１１４の受光面を遮光状態又は露光状態とすることにより撮像素子１１４の露光時間を調整する。シャッタ駆動機構１１２は、シャッタ１１０を駆動させるための駆動機構を有し、システムコントローラ１３０内のＣＰＵ１３０１の制御に従ってシャッタ１１０を駆動する。
【００１４】
撮像素子１１４は、撮影光学系１０２を介して集光された例えば人物等の被写体及びその背景からの光束Ｆが結像される受光面を有する。この撮像素子１１４の受光面は、複数の画素を２次元状に配置して構成されており、この受光面の光入射側には、カラーフィルタが設けられている。このような撮像素子１１４は、受光面に結像された光束Ｆに対応した像（被写体像）を、その光量に応じた電気信号（以下、画像信号という）に変換する。ここで、撮像素子１１４は、ＣＣＤ方式やＣＭＯＳ方式等の種々の構成の撮像素子が知られている。また、カラーフィルタの色配列もベイヤ配列等の種々の配列が知られている。本実施形態は、撮像素子１１４の構成が特定の構成に限定されるものではなく、種々の構成の撮像素子を用いることが可能である。
【００１５】
撮像素子ＩＦ回路１１６は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って撮像素子１１４を駆動する。また、撮像素子ＩＦ回路１１６は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って撮像素子１１４で得られた画像信号を読み出し、読み出した画像信号に対してＣＤＳ（相関二重サンプリング）処理やＡＧＣ（自動利得制御）処理等のアナログ処理を施す。さらに、撮像素子ＩＦ回路１１６は、アナログ処理した画像信号をデジタル信号（以下、画像データという）に変換する。
【００１６】
ＲＡＭ１１８は、例えばＳＤＲＡＭであり、ワークエリア、評価画像エリア、参照画像エリア、追尾位置ログエリア、追尾色領域ログエリアをそれぞれ記憶エリアとして有する。
ワークエリアは、撮像素子ＩＦ回路１１６で得られた画像データ等を含む各データ、例えば撮像装置１００の各部で発生した各データを一時記憶する。
評価画像エリアは、評価画像データを一時記憶する。この評価画像データは、追尾処理における追尾対象の被写体を含むフレームの画像データである。追尾処理においては、追尾対象を追尾するように処理が行われる。
参照画像エリアは、参照画像データを一時記憶する。この参照画像データは、追尾処理において、追尾対象の探索の対象となるフレームの画像データである。追尾処理においては、参照画像データ中で探索が行われる。
追尾位置ログエリアは、追尾位置ログを一時記憶する。この追尾位置ログは、追尾処理の結果として得られた追尾位置を記録したログである。本実施の形態では、複数の追尾処理を併用して追尾対象を追尾する。したがって、追尾位置ログには、それぞれの追尾処理によって得られた追尾位置を例えば過去１０フレーム分個別に記録する。また、追尾位置ログには、後述の優先追尾位置判定処理によって採用された最終的な追尾位置も記録する。
追尾色領域ログエリアは、追尾色領域ログを一時記憶する。この追尾色領域ログは、追尾処理によって得られた追尾色領域を記録したログである。本実施の形態では、追尾色領域を例えば過去１０フレーム分個別に記録する。
【００１７】
表示素子１２０は、例えば液晶ディスプレイ（ＬＣＤ）であり、ライブビュー用の画像及び記録メディア１２８に記録される画像等の各種画像を表示する。表示素子駆動回路１２２は、システムコントローラ１３０のＣＰＵ１３０１から入力された画像データに基づいて表示素子１２０を駆動し、この表示素子１２０に画像を表示する。
タッチパネル１２４は、表示素子１２０の表示画面上に一体的に形成されており、表示画面上へのユーザの指等の接触位置等を検出する。タッチパネル駆動回路１２６は、タッチパネル１２４を駆動すると共に、タッチパネル１２４からの接触検出信号をシステムコントローラ１３０のＣＰＵ１３０１に出力する。ＣＰＵ１３０１は、接触検出信号から、ユーザの表示画面上への接触操作を検出し、その接触操作に応じた処理を実行する。
【００１８】
記録メディア１２８は、例えばメモリカードであり、撮影動作によって得られた画像ファイルが記録される。この画像ファイルは、画像データに所定のヘッダを付与して構成される。ヘッダには、撮影条件を示すデータ及び追尾位置を示すデータ等が、タグデータとして記録される。
【００１９】
システムコントローラ１３０は、撮像装置１００の動作を制御するもので、ＣＰＵ１３０１と、ＡＦ制御回路１３０２と、ＡＥ制御回路１３０３と、画像処理回路１３０４と、顔部検出回路１３０５と、第１の追尾回路１３０６と、第２の追尾回路１３０７と、輝度検出回路１３０８と、色情報検出回路１３０９と、追尾切替回路１３１０と、メモリ制御回路１３１１とを有する。
ＣＰＵ１３０１は、焦点調整機構１０４と、絞り駆動機構１０８と、シャッタ駆動機構１１２と、表示素子駆動回路１２２と、タッチパネル駆動回路１２６等のシステムコントローラ１３０の外部の各機能ブロック、及びシステムコントローラ１３０内部の各回路の動作を制御する。
【００２０】
ＡＦ制御回路１３０２は、コントラストＡＦ処理を制御する。具体的にＡＦ制御回路１３０２は、撮像素子ＩＦ回路１１６で得られた画像データの高周波成分を抽出し、この抽出した高周波成分を積算することにより、ＡＦ用の合焦評価値を取得する。ＣＰＵ１３０１は、この合焦評価値に従って画像データのコントラストを評価しつつ、焦点調整機構１０４を制御してフォーカスレンズを合焦状態とする。このＡＦ制御回路１３０２は、スキャン駆動（山登りＡＦ動作）又はウォブリング駆動によって、撮影光学系１０２のフォーカスレンズを合焦位置まで駆動させる。
【００２１】
スキャン駆動（山登りＡＦ動作）は、フォーカスレンズを山登り動作させて当該フォーカスレンズ位置情報を取得するとともに、ＡＦ用の合焦評価値を受けてＡＦ評価値カーブ、すなわちフォーカスレンズ位置とＡＦ用合焦評価値との関係を示すカーブを取得し、このカーブにおけるＡＦ用合焦評価値が最大となる位置に従ってフォーカスレンズをフォーカス目標位置に移動させる。
ウォブリング駆動での焦点調節は、コントラスト検出方式であって、被写体の動きに対して継続的に焦点検出を行うもので、フォーカスレンズを光軸方向に沿って微小振動（往復動）させる、すなわちフォーカスレンズの焦点調節位置を基準となる焦点調節位置に対して前後方向にずらしては戻す動作を繰り返してフォーカスレンズを合焦位置まで駆動させる。
【００２２】
ＡＥ制御回路１３０３は、ＡＥ動作を制御する。具体的にＡＥ制御回路１３０３は、撮像素子ＩＦ回路１１６で得られた画像データを用いて被写体輝度を算出する。ＣＰＵ１３０１は、この被写体輝度に従って、露光時の絞り１０６の開口量（絞り値）、シャッタ１１０の開放時間（シャッタ速度値）、撮像素子感度やＩＳＯ感度等を算出する。
【００２３】
画像処理回路１３０４は、撮像素子ＩＦ回路１１６で得られた画像データに対する各種の画像処理を行う。この画像処理は、例えば色補正処理、ガンマ（γ）補正処理、圧縮処理等を含む。また、画像処理回路１３０４は、圧縮されている画像データに対する伸張処理も施す。
【００２４】
顔部検出回路１３０５は、撮像素子ＩＦ回路１１６で得られた画像データ、例えば人物等の被写体が撮像された画像デ―タ中から被写体の顔部を検出する。この顔部検出回路１３０５は、各フレームで得られる画像データと、図２（ａ）に示すような各顔パーツ４０２、４０４、４０６との相関量を求める。顔パーツ４０２は、人物の鼻部周辺の陰影のパターンに対応した画像データであり、顔パーツ４０４は、人物の目部周辺の陰影のパターンに対応した画像データであり、顔パーツ４０６は、人物の口部周辺の陰影のパターンに対応した画像データである。画像データと各顏パーツ４０２、４０４、４０６との相関量は、図２（ｂ）に示すような、人物の顔部を示す所定の配置となったときに最大となる。このとき、各顏パーツ４０２、４０４、４０６を含む領域４０８に人物の顏部が存在しているとする。なお、各顏パーツ４０２、４０４、４０６は、予め設定した検索顔の大きさに応じて大きさを変えてもよい。ここで、図２（ｂ）では、顏領域を矩形領域としているが、円形領域としても良い。
【００２５】
第１の追尾回路１３０６、第２の追尾回路１３０７、色情報検出回路１３０８９及び輝度検出回路１３０９８は、被写体追尾部を構成する。この被写体追尾部は、顔部検出回路１３０５により検出された顔部又は人物等の被写体における顔部以外の周辺部位、例えば胸部（背部を有する胴体部を含む）に基づいて被写体を追尾する。
第１の追尾回路１３０６は、例えば人物等の被写体が撮像された画像デ―タにおいて、顔部検出回路１３０５により検出された顔部に対応する第１の画像データに基づいて被写体を追尾する。この第１の追尾回路１３０６は、例えば人物等の被写体が撮像された画像データ中における顔部に対応する領域の輝度情報又は例えば肌色の色情報に基づいて被写体を追尾する。
【００２６】
第２の追尾回路１３０７は、例えば人物等の被写体が撮像された画像デ―タにおいて、顔部検出回路１３０５により検出される顔部の位置から推定される位置の周辺部位、例えば被写体として人物であれば、人物の胸部に対応する第２の画像データに基づいて被写体を追尾する。この第２の追尾回路１３０７は、例えば人物等の被写体が撮像された画像データ中における胸部に対応する領域の輝度情報又は例えば肌色の色情報に基づいて被写体を追尾する。
【００２７】
従って、これら第１及び第２の追尾回路１３０６、１３０７は、それぞれ輝度検出回路１３０８から輝度情報を取得すると共に、色情報検出回路１３０９から色情報を取得し、これら輝度情報と例えば肌色の色情報とに基づいて被写体を追尾する。
なお、輝度検出回路１３０８は、画像データ中における顔部又は胸部等の周辺部位に対応する領域の輝度情報の検出を行う。
色情報検出回路１３０９は、画像データ中における顔部又は胸部等の周辺部位に対応する領域の色情報、例えば肌色の色情報を検出する。
【００２８】
ここで、顏部の追尾について説明する。
第１の追尾回路１３０６は、画像データの輝度情報を用いて顏部の追尾処理を行う。この輝度情報を用いた顏部の追尾処理は、例えば図３（ａ）に示す（Ｎ−１）フレームにおいて追尾対象である被写体が設定された場合、この（Ｎ−１）フレームの画像データを評価画像データとしてＲＡＭ１１８の評価画像エリアに記憶する。この評価画像データの追尾対象を含む所定範囲２０２の画像データが基準画像データに設定される。この後、追尾処理では、同図（ｂ）に示すＮフレームとなる参照画像データ中において基準画像データ２０２と対応する部分を探索する。
Ｎフレームの追尾処理を例に示すと、顏部追尾回路１３０７は、Ｎフレームの画像データを参照画像データとしてＲＡＭ１１８の参照画像エリアに記憶する。第１の追尾回路１３０６は、この参照画像データのうちの所定の探索範囲２０４の画像データと基準画像データ２０２との相関量を求めることにより、参照画像データの基準画像データ２０２と対応する部分を探索する。相関量は、例えば基準画像データと参照画像データとの差分絶対値和から判定する。なお、差分絶対値和は、画素毎に輝度差の絶対値を求めてそれを積算したものである。
【００２９】
例えば、図３（ｂ）に示す参照画像データの領域２０６の参照画像データと基準画像データ２０２との差分絶対値和を求めたとすると、参照画像データの領域２０６と基準画像データ２０２とは明らかに異なる画像データであり、差分絶対値和が大きくなる。これに対し、参照画像データの領域２０８と基準画像データ２０２との差分絶対値和を求めたとすると、差分絶対値和が小さくなる。このように、基準画像データ２０２との相関量が大きくなるに従って差分絶対値和が小さくなる。輝度情報を用いた追尾処理では、相関量が最大の、即ち差分絶対値和が最小の領域を参照画像データから探索する。図２（ｂ）の例では、領域２０８が基準画像データ２０２と対応する部分として探索される。なお、追尾位置ログエリアには、領域２０８の中で最も一致度の高い位置を追尾位置として記録する。このような一致度の高い位置が複数ある場合、例えば領域２０８の中心に近い位置を追尾位置とする。次回の追尾処理時には、この追尾位置を追尾処理の開始位置とすることが望ましい。これにより、追尾処理にかかる時間を軽減することが可能である。
【００３０】
又、第１の追尾回路１３０６は、画像データの肌色の色情報を用いて顔部の追尾処理を行う。肌色の色情報を用いた追尾処理は、評価画像データ内で設定された色と同色であると判定できる領域を追尾色領域として探索する。第１の追尾回路１３０６は、図４（ａ）に示すように、（Ｎ−１）フレームにおいて、被写体のある位置３０２が指定された場合、評価画像データ中の位置３０２の色情報を取得する。そして、第１の追尾回路１３０６は、位置３０２を追尾処理の開始位置として、位置３０２と同じ色情報を有する領域を探索する。具体的に第１の追尾回路１３０６は、位置３０２を開始位置から周辺に向かうように順次肌色の色情報を取得し、取得した色情報が位置３０２の色情報と同一であると判定できる場合には領域に含め、取得した色情報が位置３０２の色情報と同一であると判定できない場合には領域に含めない。このようにして追尾色領域を探索すると、例えば、図４（ａ）に示すような単色の被写体の場合、被写体に内接する矩形領域３０４が追尾色領域となる。また、追尾位置ログエリアに記録する追尾位置は、例えば追尾色領域３０４の重心位置（図４（ａ）の例では、位置３０２と同じ）とする。次回の追尾処理においては、この追尾位置を追尾処理の開始位置とする。
【００３１】
Ｎフレームの追尾処理を例に示すと、第１の追尾回路１３０６は、図４（ｂ）に示す参照画像データとして記憶したＮフレームの画像データの所定の探索範囲の中で、（Ｎ−１）フレームの追尾位置３０２を追尾処理の開始位置とし、追尾位置３０２の周辺から順次、追尾色領域３０４の色と同色であると判定できる領域を追尾色領域として探索する。図４（ｂ）の例では、領域３０６が追尾色領域となる。また、図４（ｂ）の例では、重心位置３０８を追尾位置とし、この追尾位置３０８を、追尾位置ログエリアに記録する。また、追尾色領域ログエリアには、追尾色領域３０６の範囲を示す情報（例えば、四隅の位置）を記録する。
【００３２】
第２の追尾回路１３０７は、被検体中の顔部以外の周辺部位を追尾する。この第２の追尾回路１３０７は、上記第１の追尾回路１３０６と同様に、画像データの輝度情報及び肌色の色情報を用いて周辺部位の追尾処理を行う。この第２の追尾回路１３０７は、顔部から予め設定された位置関係を有する例えば被検体の胴体部、具体的には胴体部に存在する胸部を顔部以外の部位として追尾する。この顔部と胸部との位置関係は、画像データ上において被検体の顔部から予め設定された距離だけ下方、すなわち人物の顔部よりも下方を首部、胸部、腹部、脚部とすると、顔部から予め設定された距離だけ下方の位置が胸部であるとの関係に設定されている。第２の追尾回路１３０７は、なお、周辺部位は、被検体中の顔部に限らず、例えば首部、腹部、脚部、腕部であってもよい。
【００３３】
図５は被検体に対する顔部検出位置Ａと顔部追尾位置Ｂと周辺部追尾位置Ｃとを示す。顔部検出位置Ａは、顔部検出回路１３０５により検出された顔部を示し、例えば図２に示す矩形の領域４０８に対応する。
顔部追尾位置Ｂは、色情報検出回路１３０９により検出された顔部に対応する肌色の色情報の領域に基づいて顔部を追尾するための位置を示し、例えば図４（ａ）（ｂ）に示す追尾色領域３０４の重心位置３０２又は３０８に対応する。この顔部追尾位置Ｂは、上記の通り追尾位置ログエリアに記録される。
周辺部追尾位置Ｃは、第２の追尾回路１３０７により追尾する被検体中の顔部以外の周辺部位、例えば胸部を示す。この周辺部追尾位置Ｃは、例えば矩形の枠により被検体中の胸部を示す。この周辺部追尾位置Ｃは、矩形の枠に限らず、円形の枠であってもよい。
【００３４】
なお、第１の追尾回路１３０６は、顔部検出回路１３０５により検出された顔部、又は色情報検出回路１３０９により検出された顔部に対応する肌色の色情報の領域に基づいて顔部を追尾するとき例えば図６又は図７に示すように矩形の顔部追尾枠Ｄ１を例えばＬＣＤである表示素子１２０に表示する。図６は顔部の正面の顔に対して設定された顔部追尾枠Ｄ１を示し、図７は顔部の横顔に対して設定された顔部追尾枠Ｄ１を示す。この顔部追尾枠Ｄ１は、矩形の枠に限らず、円形の枠であってもよい。なお、顔部は、正面の顔又は横顔であっても顔部として追尾される。
【００３５】
又、第２の追尾回路１３０７は、被検体中の顔部以外の周辺部位として例えば胸部を追尾するとき例えば図８に示すように矩形の胸部追尾枠Ｄ２を例えばＬＣＤである表示素子１２０に表示する。この胸部追尾枠Ｄ２は、矩形の枠に限らず、円形の枠であってもよい。
【００３６】
追尾切替回路１３１０は、第１の追尾回路１３０６による顔部の追尾が出来ない場合、例えば図６又は図７に示すような顔部追尾枠Ｄ１の表示による顔部の追尾から第２の追尾回路１３０７による顔部以外の部位、例えば図８に示すような胸部の追尾に切り替え、同図に示すように胸部上に矩形の胸部追尾枠Ｄ２を例えばＬＣＤである表示素子１２０に表示する。
この追尾切替回路１３１０は、顔部以外の部位、例えば胸部の位置から顔部として推定される位置で、顔部が検出される、又は顔部に対応する肌色の色情報が検出されると、図８に示すような第２の追尾回路１３０７による胸部の追尾（胸部追尾枠Ｄ２の表示）から図６又は図７に示すような第１の追尾回路１３０６による顔部の追尾（顔部追尾枠Ｄ１の表示）に戻る。
なお、顔部と胸部との位置関係は、画像データ上において被検体の顔部から予め設定された距離だけ下方、すなわち人物の顔部よりも下方を首部、胸部、腹部、脚部とすると、顔部から予め設定された距離だけ下方の位置が胸部であるとの関係に設定されているので、人物の胸部よりも予め設定された距離だけ上方に顔部が存在することを推定できる。
【００３７】
追尾切替回路１３１０は、顔部に対応する肌色の色情報を予め記憶し、第２の追尾回路１３０７により胸部の追尾を行っている状態に、顔部として推定される位置における色情報が予め記憶されている色情報と一致したときに、顔部に対応する肌色の色情報が検出されたとして第１の追尾回路１３０６による顔部の追尾に戻る。
追尾切替回路１３１０は、少なくとも顔部検出回路１３０５により顔部が検出されず、かつ色情報検出回路１３０６により肌色の色情報の領域が検出されない場合、第１の追尾回路１３０６による顔部の追尾が出来ないと判定する。
追尾切替回路１３１０は、画像デ―タ中に顔部のデータが無く、画像デ―タ中の顔部のデータ量が顔部を検出することができない信頼性の低いデータ量であり、かつ肌色の色情報の領域に基づいて顔部を追尾できず当該追尾の性能が悪化すれば、第１の追尾回路１３０６による顔部の追尾が出来ないと判定する。
【００３８】
追尾切替回路１３１０は、第１の追尾回路１３０６による顔部の追尾に切り替える旨、第２の追尾回路１３０７による胸部の追尾に切り替える旨などをＣＰＵ１３０１に通知する。このＣＰＵ１３０１は、顔部の追尾に切り替える旨や、胸部の追尾に切り替える旨の通知を受けると、ウォブリング動作によるＡＦ動作から山登りＡＦ動作に切り替える旨、山登りＡＦ動作からウォブリング動作によるＡＦ動作に切り替える旨の通知をＡＦ制御部回路１３０２に送る。
【００３９】
上記ＡＦ制御部回路１３０２は、例えば人物等の被写体が撮像された画像データにおける顔部検出回路１３０５により検出された顔部に対応する領域の第１の画像データ、及び顔部以外の周辺部位、例えば胸部に対応する領域の第２の画像データに基づいてＡＦ動作を行う。
このＡＦ制御部回路１３０２は、顔部検出回路１３０５による顔部の検出が有効な場合、この顔部に対応する領域の第１の画像データに基づいてＡＦ動作を行い、顔部が有効に検出されなくなった場合、胸部等の周辺部位に対応する領域の第２の画像データに基づいてＡＦ動作を行う。
ＡＦ制御部回路１３０２は、画像データのフレーム間で、顔部検出回路１３０５による顔部の検出が有効でない状態から有効な状態に変わると、第１の追尾回路１３０６により追尾される胸部等の周辺部位に対応する領域の第２の画像データに基づくＡＦ動作から顔部に対応する第１の画像データに基づくＡＦ動作に変わる。
ＡＦ制御部回路１３０２は、画像データのフレーム間で、顔部検出回路１３０５による顔部の検出が有効でなくなって第１の追尾回路１３０６による被写体の追尾が不能になった場合、第２の追尾回路１３０７の追尾に用いる胸部等の周辺部位に対応する第２の画像データに基づいてＡＦ動作を行う。
【００４０】
ＡＦ制御部回路１３０２は、顔部検出回路１３０５による顔部の検出が有効な場合、顔部に対応する第１の画像データに基づいてウォブリング動作によりＡＦ動作を行い、顔部の検出が有効でない場合、胸部等の周辺部位に対応する第２の画像データに基づいて山登りＡＦ動作を行う。
具体的に、ＡＦ制御部回路１３０２は、顔部検出回路１３０５による顔部の検出が有効、又は第１の追尾回路１３０６による被検体の追尾が可能で、顔部に対応する第１の画像データに基づくウォブリング動作によりＡＦ動作を行っている状態に、顔部検出回路１３０５による顔部の検出が有効でなくなりかつ第１の追尾回路１３０６による被検体の追尾が不能になると、第２の追尾回路１３０７による胸部等の周辺部位に対応する第２の画像データに基づいて山登りＡＦ動作を行う。
ＡＦ制御部回路１３０２は、第２の追尾回路１３０７による被検体の追尾が有効で、胸部等の周辺部位に対応する第２の画像データに基づくウォブリング動作によりＡＦ動作を行っている場合に、画像データのフレーム間で、顔部検出回路１３０５による顔部の検出が有効でない状態から有効に変化すると、顔部に対応する第１の画像データに基づいて山登りＡＦ動作を行う。
【００４１】
メモリ制御回路１３１１は、ＣＰＵ１３０１等がＲＡＭ１１８、記録メディア１２８、ＲＯＭ１３４に対してアクセスするための制御を行うインターフェイスである。
操作部１３２は、ユーザによって操作される各種の操作部材である。この操作部１３２は、例えば、レリーズ釦、動画釦、モードダイヤル、選択キー、電源釦等を含む。
レリーズ釦は、１ｓｔレリーズスイッチと、２ｎｄレリーズスイッチとを有する。１ｓｔレリーズスイッチは、ユーザがレリーズ釦を半押しするとオンするスイッチである。この１ｓｔレリーズスイッチがオンすることにより、ＡＦ処理等の撮影準備動作が行われる。２ｎｄレリーズスイッチは、ユーザがレリーズ釦を全押しするとオンするスイッチである。この２ｎｄレリーズスイッチがオンすることにより、静止画撮影用の露光動作が行われる。
動画釦は、動画撮影の開始又は終了を指示するための操作部材である。ユーザによって動画釦が押されると動画撮影処理が開始される。また、動画撮影処理の実行中に動画釦が押されると、動画撮影処理が終了される。
モードダイヤルは、撮像装置の撮影設定を選択するための操作部材である。本実施形態では、撮像装置の撮影設定として、例えば、静止画撮影モードと動画撮影モードを選択できる。静止画撮影モードは、静止画像を撮影するための撮影設定である。また、動画撮影モードは、動画像を撮影するための撮影設定である。
選択キーは、例えばメニュー画面上での項目の選択や決定をするための操作部材である。ユーザによって選択キーが操作されるとメニュー画面上での項目の選択や決定が行われる。
電源釦は、撮像装置の電源をオン又はオフするための操作部材である。ユーザによって電源釦が操作されると、本装置１００が起動して動作可能な状態となる。撮像装置が起動している間に電源釦が操作されると、本装置１００が省電力待機状態となる。
【００４２】
ＲＯＭ１３４は、ＣＰＵ１３０１が種々の処理を実行するためのプログラムコードを記憶する。プログラムコードは、被写体を撮像するための撮像プログラムを含む。この撮像プログラムは、コンピュータとしてのＣＰＵ１３０１に、被写体の像を撮像して画像データを出力させる画像データ出力機能と、画像データ中から被写体の顔部を検出させる顔部検出機能と、顔部又は被写体における顔部以外の周辺部位に基づいて被写体を追尾させる被写体追尾機能と、画像データにおける顔部に対応する領域の第１の画像データ、又は顔部以外の周辺部位に対応する領域の第２の画像データに基づいてＡＦ動作を行わせるＡＦ制御機能とを有し、ＡＦ制御機能は、顔部の検出が有効な場合、顔部に対応する領域の第１の画像データに基づいてＡＦ動作を行い、顔部が有効に検出されなくなった場合、周辺部位に対応する領域の第２の画像データに基づいてＡＦ動作を行うことを実現させる。
ＡＦ制御機能は、顔部の検出が有効でない状態から有効な状態に変わると、周辺部位に対応する領域の第２の画像データに基づくＡＦ動作から顔部に対応する第１の画像データに基づくＡＦ動作に変わることを実現させる。
【００４３】
また、ＲＯＭ１３４は、撮影光学系１０２、絞り１０６及び撮像素子１１４等の動作に必要な制御パラメータ、並びに画像処理回路１３０４での画像処理に必要な制御パラメータ等の各種の制御パラメータを記憶している。さらにＲＯＭ１３４は、顏部検出回路１３０５における顏検出に用いられる顏パーツのデータや追尾枠を表示するためのデータ等も記憶している。
【００４４】
次に、上記の如く構成された本装置の動作について図９に示す撮影動作フローチャートを参照して説明する。
ＣＰＵ１３０１は、ＲＯＭ１３４から必要なプログラムコードを読み込んで本装置１００の動作を制御する。
ＣＰＵ１３０１は、ステップＳ１００において、現在の本装置１００の撮影設定が静止画撮影モードであるか否かを判定する。この撮影設定は、モードダイヤルによって設定される。
判定の結果、撮影設定が静止画撮影モードであると、ＣＰＵ１３０１は、ステップＳ１０２において、ライブビュー動作を開始させる。ライブビュー動作として、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御してシャッタ１１０を開放した後、撮像素子ＩＦ回路１１６を制御して撮像素子１１４による撮像を開始させる。その後、ＣＰＵ１３０１は、撮像素子１１４による撮像の結果としてＲＡＭ１１８のワークエリアに記憶された画像データを画像処理回路１３０４に入力してライブビュー表示用の画像処理を施す。続いて、ＣＰＵ１３０１は、ライブビュー表示用の画像処理がされた画像データを表示素子駆動回路１２２に入力し、表示素子１２０に画像を表示させる。このような表示動作を繰り返し実行することにより、被写体の画像を動画表示する。この動画表示により、ユーザは、被写体を観察することが可能である。
【００４５】
ＣＰＵ１３０１は、ステップＳ１０４において、１ｓｔレリーズスイッチがオンされたか否かを判定する。この判定の結果、１ｓｔレリーズスイッチがオンされたと判定するまでＣＰＵ１３０１は、ライブビュー動作を継続する。
１ｓｔレリーズスイッチがオンされると、ＣＰＵ１３０１は、ステップＳ１０６において、レリーズＡＦ処理を行う。このレリーズＡＦでは、スキャン駆動（山登りＡＦ動作）によって、フォーカスレンズを合焦位置まで駆動させる。スキャン駆動（山登りＡＦ動作）では、ＣＰＵ１３０１は、焦点調整機構１０４を制御してフォーカスレンズを所定のスキャン範囲内で一方向に駆動させつつ、ＡＦ制御回路１３０２で順次算出される合焦評価値を評価する。ＣＰＵ１３０１は、合焦評価値の評価の結果、コントラストが最大となるレンズ位置において、フォーカスレンズの駆動を停止させる。このようなスキャン駆動は、ＡＦ前のフォーカスレンズの位置と合焦位置との差が大きい場合に行われる。
【００４６】
ＣＰＵ１３０１は、ステップＳ１０８において、表示素子駆動回路１２２を制御して、表示素子１２０に追尾枠を表示させる。ここで、追尾枠は、表示素子１２０の画面上の追尾対象の位置に表示させる。例えば、レリーズＡＦで合焦した被写体を追尾対象とし、その被写体に追尾枠を表示させるようしても良い。顏検出回路１３０７によって人物の顏部が検出された場合には、例えば図６又は図７に示すように顔部に追尾枠Ｄ１を表示させるようにしても良い。さらに、タッチパネル１２４により、表示素子１２０の画面上に表示された被写体が指定された場合には、その被写体上に追尾枠を表示させるようにしても良い。このように、本実施形態においては、ＣＰＵ１３０１、ＡＦ制御回路１３０２、顏検出回路１３０７、タッチパネル１２４等が追尾対象設定部の一例として機能する。
【００４７】
ＣＰＵ１３０１は、ステップＳ１１０において、被写体を追尾する追尾処理を行う。この追尾処理は、後述する。
ＣＰＵ１３０１は、ステップＳ１１２において、追尾位置の被写体に合焦するようにＡＦ処理を行うと共に、追尾位置の被写体の露光が適正となるようにＡＥ処理を行う。
追尾処理後のＡＦ処理においては、スキャン駆動（山登りＡＦ動作）又はウォブリング駆動によって、フォーカスレンズを合焦位置まで駆動させる。ウォブリング駆動では、ＣＰＵ１３０１は、フォーカスレンズを駆動したときにＡＦ制御回路１３０２で算出された合焦評価値が、前回のレンズ位置での合焦評価値に対して増加したかを判定する。そして、ＣＰＵ１３０１は、合焦評価値が増加した場合には前回と同方向にフォーカスレンズを微小駆動させ、合焦評価値が減少した場合には前回と逆方向にフォーカスレンズを微小駆動させる。このような動作を高速で繰り返してフォーカスレンズを徐々に合焦位置まで駆動させる。
また、ＡＥ処理において、ＣＰＵ１３０１は、ＡＥ制御回路１３０３で算出された追尾位置の被写体の輝度を予め定められた適正な量（適正露光量）とする、本露光時の絞り１０６の開口量（絞り値）、シャッタ１１０の開放時間（シャッタ速度値）を算出する。
【００４８】
ＣＰＵ１３０１は、ステップＳ１１４において、２ｎｄレリーズスイッチがオンされたか否かを判定する。２ｎｄレリーズスイッチがオンされていないと判定されると、ＣＰＵ１３０１は、ステップＳ１１０の追尾処理以後の処理を実行する。このように、静止画撮影モード時には、２ｎｄレリーズスイッチがオンされるまでは、追尾処理が継続される。
【００４９】
また、２ｎｄレリーズスイッチがオンされると、ＣＰＵ１３０１は、ステップＳ１１６において、表示素子駆動回路１２２を制御して、追尾枠Ｄ１を非表示とする。
ＣＰＵ１３０１は、ステップＳ１１８において、静止画像データを記録メディア１２８に記録する処理を行う。この際、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御して、シャッタ１１０を閉じる。その後、ＣＰＵ１３０１は、絞り駆動機構１０８を制御して、絞り１０６を先に算出した絞り値まで絞り込む。続いて、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御して、シャッタ１１０を先に算出した開放時間だけ開放しつつ、撮像素子１１４による撮像（露光）を行う。その後、ＣＰＵ１３０１は、撮像素子１１４を介して得られた静止画像データを画像処理回路１３０４において処理する。そして、ＣＰＵ１３０１は、画像処理回路１３０４において処理された静止画像データにヘッダを付与して静止画像ファイルを生成し、生成した静止画像ファイルを記録メディア１２８に記録する。
ＣＰＵ１３０１は、ステップＳ１２０において、上記ステップＳ１１０の追尾処理の結果として得られた追尾位置を示すデータを、先に記録メディア１２８に記録した静止画像ファイルに追記する。その後に、ＣＰＵ１３０１は、図９に示す撮影動作を示すフローチャートに従った動作を終了する。
【００５０】
一方、上記ステップＳ１００において、撮影設定が動画撮影モードであると判定されると、ＣＰＵ１３０１は、ステップＳ１２２において、ライブビュー動作を開始する。
ＣＰＵ１３０１は、ステップＳ１２４において、動画釦がオンされたか否かを判定する。この動画釦がオンされたと判定するまでＣＰＵ１３０１は、ライブビュー動作を継続する。
【００５１】
動画釦がオンされたと判定されると、ＣＰＵ１３０１は、ステップＳ１２６において、表示素子駆動回路１２２を制御して表示素子１２０に例えば図６又は図７に示すように顔部に追尾枠Ｄ１を表示させる。
ＣＰＵ１３０１は、ステップＳ１２８において、追尾処理を行う。この追尾処理は、後述する。
ＣＰＵ１３０１は、ステップＳ１３０において、追尾位置の被写体に合焦するようにＡＦ処理を行うと共に、追尾位置の被写体の露光が適正となるようにＡＥ処理を行う。このときのＡＦ処理では、ウォブリング駆動によって撮影光学系１０２のフォーカスレンズを合焦位置まで駆動させる。
【００５２】
ＣＰＵ１３０１は、ステップＳ１３２において、動画像データを記録メディア１２８に記録する処理を行う。この際、ＣＰＵ１３０１は、絞り駆動機構１０８を制御し、絞り１０６をＡＥ処理において算出した絞り値まで絞り込む。続いて、ＣＰＵ１３０１は、ＡＥ処理において算出したシャッタ速度値に対応した時間だけ撮像素子１１４による撮像（露光）を実行させる。露光の終了後、ＣＰＵ１３０１は、動画像ファイルを生成して記録メディア１２８に記録する。また、ＣＰＵ１３０１は、撮像素子１１４を介して得られた動画像データを画像処理回路１３０４において処理し、画像処理回路１３０４において処理された動画像データを動画像ファイルに記録する。
【００５３】
ＣＰＵ１３０１は、ステップＳ１３４において、上記ステップＳ１２８の追尾処理の結果として得られた追尾位置を示すデータを、先に記録メディア１２８に記録した動画像ファイルと同時記録する。
ＣＰＵ１３０１は、ステップＳ１３６において、動画釦がオフされたか否かを判定する。この判定の結果、動画釦がオフされていないと判定されると、ＣＰＵ１３０１は、ステップＳ１２８の追尾処理以後の処理を実行する。このように、動画撮影モード時では、動画釦がオフされるまでは、追尾処理と動画像データの記録が継続される。
【００５４】
また、動画釦がオフされたと判定されると、ＣＰＵ１３０１は、ステップＳ１３８において、表示素子駆動回路１２２を制御し、追尾枠Ｄ１を非表示とする。その後、ＣＰＵ１３０１は、図９に示す撮影動作を示すフローチャートに従った動作を終了する。
次に、本実施の形態に係る追尾処理について図１０に示す追尾処理フローチャートに従って説明する。
ＣＰＵ１３０１は、ステップＳ２００において、撮像素子ＩＦ回路１１６を制御して撮像素子１１４による撮像を実行する。
ＣＰＵ１３０１は、ステップＳ２０１において、撮像素子１１４による撮像により、撮像素子ＩＦ回路１１６において得られた画像データをＲＡＭ１１８に取り込む。ＣＰＵ１３０１は、初回の追尾処理で得られた画像データを評価画像データとし、この画像データをＲＡＭ１１８の評価画像エリアに取り込む。また、ＣＰＵ１３０１は、２回目以後の追尾処理で得られた画像データを参照画像データとし、これら２回目以後の追尾処理で得られた画像データをそれぞれＲＡＭ１１８の参照画像エリアに取り込む。
【００５５】
ＣＰＵ１３０１は、ステップＳ２０２において、顔部検出回路１３０５により、例えば人物等の被写体が撮像された画像デ―タ中から被写体の顔部を検出する。この顔部検出回路１３０５は、上記図２（ａ）（ｂ）を参照して説明したように各フレームで得られる画像データと各顔パーツ４０２、４０４、４０６との相関量を求め、この相関量が人物の顔部を示す所定の配置となったときに最大となることを利用して人物の顏部が存在している領域を検出する。
【００５６】
ＣＰＵ１３０１は、ステップＳ２０３において、第２の追尾回路１３０７により、被検体中の顔部以外の周辺部位、例えば顔部検出回路１３０５により検出された顔部から予め設定された距離だけ下方の胸部を周辺部位として設定する。
ＣＰＵ１３０１は、ステップＳ２０４において、第１の追尾回路１３０６により画像データの輝度情報を用いて顔部の追尾処理を行うと共に、第２の追尾回路１３０７により画像データの輝度情報を用いて胸部の追尾処理を行う。輝度情報を用いた追尾処理は、顔部と胸部とに対し、上記図３（ａ）（ｂ）を参照して説明と同様に、（Ｎ−１）フレームにおいて追尾対象である被写体が設定された場合、この（Ｎ−１）フレームの画像データを評価画像データとしてＲＡＭ１１８の評価画像エリアに記憶する。この評価画像データの追尾対象を含む所定範囲２０２の画像データが基準画像データに設定される。この後、追尾処理では、同図（ｂ）に示すＮフレームとなる参照画像データ中において基準画像データ２０２と対応する部分を探索する。
【００５７】
なお、初回の追尾処理においては、評価画像データのみが取得された状態であるので、ステップＳ２０４以後の処理は省略される。以後の説明においては、評価画像データと参照画像データの両方が取得されているものとして説明を続ける。
ＣＰＵ１３０１は、ステップＳ２０５において、輝度情報を用いた顔部と胸部との各追尾処理の結果として得られた各追尾位置を、それぞれＲＡＭ１１８の追尾ログエリアに記憶する。
【００５８】
ＣＰＵ１３０１は、ステップＳ２０６において、第１の追尾回路１３０６により画像データの色情報を用いて顔部の追尾処理を行うと共に、第２の追尾回路１３０７により画像データの色情報を用いて胸部の追尾処理を行う。色情報を用いた追尾処理は、顔部と胸部とに対し、評価画像データ内で設定された色と同色であると判定できる領域を追尾色領域として探索する。この顏部追尾回路１３０７は、上記図４（ａ）に示すように、（Ｎ−１）フレームにおいて、被写体のある位置３０２が指定された場合、評価画像データ中の位置３０２の色情報を取得し、この位置３０２を追尾処理の開始位置として、位置３０２と同じ色情報を有する領域を探索する。
【００５９】
ＣＰＵ１３０１は、ステップＳ２０７において、色情報を用いた追尾処理の結果として得られた顔部と胸部との各追尾位置をＲＡＭ１１８の追尾ログエリアに記憶する。ＣＰＵ１３０１は、色情報を用いた追尾処理の結果として得られた追尾色領域をＲＡＭ１１８の追尾色領域ログエリアに記憶する。
【００６０】
ＣＰＵ１３０１は、ステップＳ２０８において、追尾切替回路１３１０により、顔部の追尾が出来るか否かを判定する。具体的に、追尾切替回路１３１０は、画像デ―タ中に顔部のデータが無く、画像デ―タ中の顔部のデータ量が顔部を検出することができない信頼性の低いデータ量であり、かつ肌色の色情報の領域に基づいて顔部を追尾できず当該追尾の性能が悪化しているか否かを判定する。
なお、顔部のデータの有無は、例えばＲＡＭ１１８の追尾ログエリアに記憶されている輝度情報を用いた顔部と胸部との各追尾処理の結果として得られた各追尾位置の有無により判定される。又、顔部のデータの有無は、例えばＲＡＭ１１８の追尾色領域ログエリアに記憶されている色情報を用いた追尾処理の結果として得られた追尾色領域の有無により判定される。顔部のデータ量が信頼性の低いデータ量であることの判定は、例えば画像データにおける顔部に対応する領域に顔部に相当する輝度情報及び色情報が存在するものの顔部として判定するに至らないデータ量であることにより判定される。肌色の色情報の領域に基づいて顔部を追尾できないのは、例えば画像データにおける顔部に対応する領域に肌色の色情報のデータ量が少なかったり、顔部の形状に対応して肌色の色情報が分布していない等により判定される。
【００６１】
この判定の結果、画像デ―タ中に顔部のデータが有り、画像デ―タ中の顔部のデータ量が顔部を検出することができ、かつ肌色の色情報の領域に基づいて顔部を追尾できれば、ＣＰＵ１３０１は、ステップＳ２０９において、優先追尾位置判定処理を行う。この優先追尾位置判定処理は、顔部の追尾において、輝度情報を用いた追尾処理の結果と色情報を用いた追尾処理の結果との何れを採用するかを判定するための処理であり、ここでは、上記の通り輝度情報及び色情報を用いてそれぞれ顔部の追尾が出来るので、例えば色情報を用いた追尾処理の結果を優先する。
【００６２】
ＣＰＵ１３０１は、ステップＳ２１０において、優先追尾位置判定処理の結果として採用された追尾位置の信頼性を判断する。輝度情報を用いた追尾処理の結果が採用された場合には、例えば参照画像データのコントラストから信頼性を判断する。具体的には、参照画像データにおける追尾対象の領域の隣接画素間の差分和が所定値以上である場合には、信頼性があると判断する。また、色情報を用いた追尾処理の結果が採用された場合には、例えば参照画像データの彩度から信頼性を判断する。具体的には、参照画像データの追尾位置の彩度が所定値以上である場合には、信頼性があると判断する。これらの信頼性を判定するための閾値は適宜設定可能である。
【００６３】
ＣＰＵ１３０１は、ステップＳ２１１において、参照画像データの最終的な追尾位置を、ＲＡＭ１１８の追尾ログエリアに記録する。次回の追尾処理においては、輝度情報を用いた追尾処理と色情報を用いた追尾処理の両方で、この最終的な追尾位置を追尾処理の開始位置とする。ただし、ステップＳ２１６の信頼性判断において、信頼性がないと判断された場合には、追尾位置を記録しないようにしても良い。
ＣＰＵ１３０１は、ステップＳ２１２において、表示素子駆動回路１２２を制御し、例えば図６又は図７に示すように顔部追尾枠Ｄ１の表示位置をステップＳ２１１で記憶させた追尾位置に対応した位置に更新して追尾処理を終了する。
【００６４】
一方、上記ステップＳ２０８での判定の結果、画像デ―タ中に顔部のデータが無く、画像デ―タ中の顔部のデータ量が顔部を検出することができない信頼性の低いデータ量であり、かつ肌色の色情報の領域に基づいて顔部を追尾できず当該追尾の性能が悪化していれば、ＣＰＵ１３０１は、顔部の追尾が出来ないと判定する。
ＣＰＵ１３０１は、ステップＳ２１３に移り、追尾切替回路１３１０により、顔部の追尾から第２の追尾回路１３０７による顔部以外の部位、例えば胸部の追尾に切り替える。この第２の追尾回路１３０７は、上記の通り、画像データの輝度情報及び色情報を用いて胸部の追尾処理を行う。なお、胸部は、顔部から予め設定された距離だけ下方の位置に存在することが設定されている。
【００６５】
ＣＰＵ１３０１は、ステップＳ２１４において、優先追尾位置判定処理を行う。この優先追尾位置判定処理は、胸部の追尾において、輝度情報を用いた追尾処理の結果と色情報を用いた追尾処理の結果との何れを採用するかを判定するための処理であり、ここでは、肌色の色情報の領域に基づく顔部の追尾処理ができないことから輝度情報を用いた追尾処理の結果を優先する。
【００６６】
ＣＰＵ１３０１は、ステップＳ２１５において、優先追尾位置判定処理の結果として採用された追尾位置の信頼性を判断する。輝度情報を用いた追尾処理の結果が採用された場合には、例えば参照画像データのコントラストから信頼性を判断する。具体的には、参照画像データにおける追尾対象の領域の隣接画素間の差分和が所定値以上である場合には、信頼性があると判断する。
【００６７】
ＣＰＵ１３０１は、ステップＳ２１６において、参照画像データの最終的な追尾位置を、ＲＡＭ１１８の追尾ログエリアに記録する。次回の追尾処理においては、輝度情報を用いた追尾処理で、この最終的な追尾位置を追尾処理の開始位置とする。ただし、ステップＳ２１５の信頼性判断において、信頼性がないと判断された場合には、追尾位置を記録しないようにしても良い。
ＣＰＵ１３０１は、ステップＳ２１７において、表示素子駆動回路１２２を制御し、例えば図６又は図８に示すように胸部追尾枠Ｄ２の表示位置をステップＳ２１６で記憶させた追尾位置に対応した位置に更新して追尾処理を終了する。
【００６８】
また、図９に示すように、静止画撮影モード時は１ｓｔレリーズオンかつ２ｎｄレリーズオフ中に、また動画撮影モード時は動画釦がオフされるまで、図１０に示す追尾処理フローチャートに従った追尾処理が繰り返し実行されるので、前回の追尾処理で顔部の追尾ができず、周辺部位（胸部）の追尾がなされた場合には、その次の追尾処理では以下のような動作になる。
ＣＰＵ１３０１は、上記ステップＳ２０１〜Ｓ２０７を実行し、ステップＳ２０８において、追尾切替回路１３１０により、顔部の追尾が出来るか否か、すなわち、顔部以外の部位、例えば胸部の位置から顔部として推定される位置で、顔部が検出される、又は顔部に対応する肌色の色情報が検出されるか否かを判定する。
この判定の結果、例えば胸部の位置から顔部として推定される位置で、顔部が検出されず、又は顔部に対応する肌色の色情報が検出されなければ、ＣＰＵ１３０１は、上記ステップＳ２１３に移り、追尾切替回路１３１０により、胸部の追尾を継続する。第２の追尾回路１３０７は、上記の通り、画像データの輝度情報及び色情報を用いて胸部の追尾処理を行う。
【００６９】
一方、上記判定の結果、胸部の位置から顔部として推定される位置で、顔部が検出され、又は顔部に対応する肌色の色情報が検出されると、ＣＰＵ１３０１は、第２の追尾回路１３０７による胸部の追尾から第１の追尾回路１３０６による顔部の追尾に戻る。なお、追尾切替回路１３１０は、顔部に対応する肌色の色情報を予め記憶し、顔部として推定される位置における色情報が予め記憶されている色情報と一致したときに、顔部に対応する肌色の色情報が検出されたとする。
ＣＰＵ１３０１は、上記ステップＳ２０９〜Ｓ２１１を実行し、ステップＳ２１２において、図８に示すような第２の追尾回路１３０７による図８に示すような胸部の追尾（胸部追尾枠Ｄ２の表示）から図６又は図７に示すような第１の追尾回路１３０６による顔部の追尾（顔部追尾枠Ｄ１の表示）に戻る。
その後、ＣＰＵ１３０１は、上記図１０に示す追尾処理フローチャートに従った追尾処理を終了する。
【００７０】
以上の追尾処理において、ＣＰＵ１３０１は、顔部の追尾が出来ないと判定すると、上記ステップＳ２１３において、追尾切替回路１３１０により、顔部の追尾から第２の追尾回路１３０７による顔部以外の部位、例えば胸部の追尾に切り替えている。この追尾の対象の切替に応じてＡＦ制御部回路１３０２は、以下のＡＦ制御を行う。
例えば、ＡＦ制御部回路１３０２は、上記ステップＳ１１２又は上記ステップＳ１３０において、顔部検出回路１３０５による顔部の検出が有効な場合、顔部に対応する第１の画像データに基づいてウォブリング動作によりＡＦ動作を行っているが、顔部の検出が有効から無効に変化した場合、胸部等の周辺部位に対応する第２の画像データに基づいて山登りＡＦ動作を行う。
具体的に、ＡＦ制御部回路１３０２は、顔部検出回路１３０５による顔部の検出が有効、又は第１の追尾回路１３０６による被検体の追尾が可能で、顔部に対応する第１の画像データに基づくウォブリング動作によりＡＦ動作を行っている状態に、画像データのフレーム間で、顔部検出回路１３０５による顔部の検出が有効でなくなりかつ第１の追尾回路１３０６による被検体の追尾が不能になると、第２の追尾回路１３０７による胸部等の周辺部位に対応する第２の画像データに基づいて山登りＡＦ動作を行う。
【００７１】
又、ＡＦ制御部回路１３０２は、第２の追尾回路１３０７による被検体の胸部の追尾が有効で、胸部等の周辺部位に対応する第２の画像データに基づくウォブリング動作によりＡＦ動作を行っている場合に、画像データのフレーム間で、顔部検出回路１３０５による顔部の検出が有効でない状態から有効に変化すると、顔部に対応する第１の画像データに基づいて山登りＡＦ動作を行う。
【００７２】
ここで、図１１に示すＡＦ処理フローチャートに従ってＣＰＵ１３０１のＡＦ制御部回路１３０２によるウォブリング動作又は山登りＡＦ動作によるＡＦ制御の一例を説明する。
ＡＦ制御部回路１３０２は、ステップＳ３００において、例えば被写体として人物の顔部に対応する第１の画像データに基づいてウォブリング動作によりＡＦ動作を行っている。
ＡＦ制御部回路１３０２は、ステップＳ３０１において、スキャン駆動（山登りＡＦ動作）が必要であるか否かを判定する。
これは、例えば撮影者が撮像装置のパン動作やチルト動作を行って被写体が大きく変化した時に、ＡＦ動作をやり直すためにスキャン動作（山登りＡＦ）を実行するものである。上記判定によりスキャン動作（山登りＡＦ）が必要な場合はステップＳ３０３に移行し、必要ない場合はステップＳ３０２に移行する。
追尾切替回路１３１０により画像データのあるフレーム間で、顔部の追尾から当該顔部以外の周辺部位、例えば胸部の追尾に切り替わると、ＡＦ制御部回路１３０２は、ステップＳ３０２において、スキャン駆動（山登りＡＦ動作）が必要であると判定し、ステップＳ３０３に移行する。
【００７３】
ＡＦ制御部回路１３０２は、第２の追尾回路１３０７による顔部以外の周辺部位、例えば胸部の追尾に切り替わると、ステップＳ３０３において、例えば被写体として人物の胸部に対応する第２の画像データに基づくスキャン駆動（山登りＡＦ動作）によりＡＦ動作を行う。
ＡＦ制御部回路１３０２は、ステップＳ３０４において、胸部に対応する第２の画像データから合焦評価値を求め、この合焦評価値から合焦方向を判断し、ステップＳ３０４において、合焦になったか否かを判定する。ＡＦ制御部回路１３０２は、胸部に対して合焦するまで、画像データからＡＦ用の合焦評価値を取得し、この合焦評価値に従って画像データのコントラストを評価しつつ、焦点調整機構１０４を制御し、スキャン駆動（山登りＡＦ動作）を行ってフォーカスレンズを合焦状態とする。
【００７４】
一方、スキャン駆動（山登りＡＦ動作）が必要でなく、顔部以外の周辺部位、例えば胸部の追尾に切り替わることがなければ、ＡＦ制御部回路１３０２は、ステップＳ３０６において、顔部に対して合焦するまで、画像データからＡＦ用の合焦評価値を取得し、この合焦評価値に従って画像データのコントラストを評価しつつ、焦点調整機構１０４を制御し、ウォブリング動作を行ってフォーカスレンズを合焦状態になる位置に移動させる。
【００７５】
ＡＦ制御部回路１３０２は、ステップＳ３０７において、待機し、次のステップＳ３０８において、画像データから取得されるＡＦ用の合焦評価値が変化したか否かを判断する。ＡＦ用の合焦評価値に変化がなければ、ＡＦ制御部回路１３０２は、待機し続ける。ＡＦ用の合焦評価値に変化があると、ＡＦ制御部回路１３０２は、ステップＳ３００に戻る。
なお、上記ステップＳ３０２においては、追尾切替回路１３１０により画像データのあるフレーム間で、顔部以外の周辺部位、例えば胸部の追尾から顔部の追尾に切り替わった場合も、ＡＦ制御部回路１３０２は、スキャン駆動（山登りＡＦ動作）が必要であると判定し、ステップＳ３０３に移行する。
ＡＦ制御部回路１３０２は、ステップＳ３０３において、例えば被写体として顔部に対応する第１の画像データに基づくスキャン駆動（山登りＡＦ動作）によりＡＦ動作を行う。
【００７６】
ここで、本装置と一般的な背景技術とを対比すると、図１２は一般的な背景技術におけるウォブリング動作を続けて顔部の追尾から例えば胸部の追尾に切り替わり、再び顔部の追尾に戻るときのＡＦ合焦状態の時間的変化を示す。このウォブリング動作でのＡＦ制御では、フォーカスレンズの焦点調節位置を基準となる焦点調節位置に対して前後方向にずらしては戻す動作を繰り返してフォーカスレンズを合焦位置まで駆動させるために、顔部の追尾から胸部の追尾に切り替わってから胸部に合焦するまでに時間を要している。
これに対して図１３は本装置のようにウォブリング動作を続けて顔部の追尾から例えば胸部の追尾に切り替わると共にスキャン駆動（山登りＡＦ動作）に切り替わり、再び顔部の追尾に戻ってウォブリング動作を行うときのＡＦ合焦状態の時間的変化を示す。スキャン駆動（山登りＡＦ動作）は、ウォブリング動作によるＡＦ制御と比べて合焦に要する時間が短い。これにより、顔部の追尾から胸部の追尾に切り替わってから直ぐに胸部に合焦することができる。胸部の追尾に切り替わった後は、ウォブリング動作により胸部に合焦する。
【００７７】
このように上記一実施の形態によれば、顔部の検出が有効な場合、顔部に対応する領域の第１の画像データに基づいてＡＦ動作、例えばウォブリング動作によりＡＦ動作を行い、顔部が有効に検出されなくなった場合、例えば胸部等の周辺部位に対応する領域の第２の画像データに基づいてＡＦ動作、例えば山登りＡＦ動作を行うので、顔部の追尾から胸部の追尾に切り替わったとき、画像データ上であれば、フレーム間で顔部の追尾から胸部の追尾に切り替わったときに、顔部に対するＡＦから胸部に対するＡＦに直ぐに切り替えることができる。
【００７８】
例えば、ポートレート撮影により顔部と胸部とを追尾している場合、これら顔部と胸部とでは本装置からの各距離（奥行方向の各距離）に差が生じるために、顔部の追尾から胸部の追尾に切り替わったときにウォブリング動作によるＡＦ動作を続けていると、ＡＦ合焦までに時間を要してＡＦ合焦に遅れを生じたり、又は偽合焦を生じるおそれがある。
これに対して本装置では、ポートレート撮影により顔部と胸部とを追尾している場合、顔部の追尾から胸部の追尾に切り替わったときにウォブリング動作からスキャン駆動（山登りＡＦ動作）に切り替わるので、ＡＦ合焦までに時間が掛からず、偽合焦を生じるおそれも低減できる。
【００７９】
なお、上記一実施の形態では、顔部の追尾と胸部の追尾とを切り替えているが、これに限らず、顔部の追尾を主の追尾とし、周辺部位の追尾として例えば首部の追尾、腹部の追尾、脚部の追尾、腕部の追尾のいずれかを追加してもよい。
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【００８０】
１００：撮像装置、１０２：撮影光学系、１０４：焦点調整機構、１０６：絞り、１０８：絞り駆動機構、１１０：シャッタ、１１２：シャッタ駆動機構、１１４：撮像素子、１１６：撮像素子インターフェイス（ＩＦ）回路、１１８：ＲＡＭ、１２０：表示素子、１２２：表示素子駆動回路、１２４：タッチパネル、１２６：タッチパネル駆動回路、１２８：記録メディア、１３０：システムコントローラ、１３２：操作部、１３４：ＲＯＭ、１３０１：ＣＰＵ、１３０２：ＡＦ制御回路、１３０３：ＡＥ制御回路、１３０４：画像処理回路、１３０５：顔部検出回路、１３０６：第１の追尾回路、１３０７：第２の追尾回路、１３０８：輝度検出回路、１３０９：色情報検出回路、１３１０：追尾切替回路、１３１１：メモリ制御回路、４０２，４０４，４０６：顔パーツ、３０８：重心位置、Ａ：顔部検出位置、Ｂ：顔部追尾位置、Ｃ：周辺部追尾位置、Ｄ１：矩形の追尾枠。
【技術分野】
【０００１】
本発明は、人物等の被写体を追尾しながら撮像を行う撮像装置、撮像方法及び撮像プログラムに関する。
【背景技術】
【０００２】
人物等の被写体を追尾する技術としては、被写体を追尾するための少なくとも２つの領域を用いて被写体を追尾する技術として例えば特許文献１がある。この特許文献１は、被写体を撮像して取得された画像データ上に被写体を追尾するための第１領域と第２領域とを有し、第１領域を常に基準領域として被写体の追尾を行い、第２領域を第１領域と独立して被写体の追尾を行うことを開示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２６８０８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
被写体を追尾するために第１と第２の追尾領域を用いる場合、撮像装置から第１と第２の追尾領域までの間に距離差がある場合、すなわち撮像装置から第１と第２の追尾領域に向かう奥行方向に距離差がある場合がある。このように第１と第２の追尾領域までに距離差がある状態で被写体の追尾を行う場合、通常、第１の追尾領域に対応する画像データに基づいてＡＦ動作を行う。
ところが、第１の追尾領域を用いて被写体の追尾が不能になると、被写体の追尾は、第１の追尾領域から第２の追尾領域に切り替え、当該第２の追尾領域に対応する画像データに基づくＡＦ動作に切り替わる。第１の追尾領域から第２の追尾領域への切り替えのタイミングは、画像データ上であればフレーム間で切り替わるものとなる。ＡＦ動作では、ＡＦ高速化のために過去のＡＦ結果を参照しているために、ＡＦ合焦迄の遅延や偽合焦が生じることがある。この結果、ユーザは、被写体に合焦していないボケ画像を撮影してしまったり、撮影タンミングを逃してしまうことがある。
【０００５】
本発明の目的は、ＡＦ動作として採用される追尾領域がフレーム間で切り替わっても、ＡＦ合焦迄の遅延や偽合焦を生じることがない撮像装置、撮像方法及び撮像プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明の主要な局面に係る撮像装置は、被写体の像を撮像して画像データを出力する撮像部と、前記撮像部から出力された前記画像データ中から前記被写体の顔部を検出する顔部検出部と、前記顔部検出部により検出された前記顔部又は前記被写体における前記顔部以外の周辺部位に基づいて前記被写体を追尾する被写体追尾部と、前記画像データにおける前記顔部検出部により検出された前記顔部に対応する領域の第１の画像データ、又は前記顔部以外の周辺部位に対応する領域の第２の画像データに基づいてＡＦ動作を行うＡＦ制御部とを具備し、前記ＡＦ制御部は、前記顔部検出部による前記顔部の検出が有効な場合、前記顔部に対応する領域の前記第１の画像データに基づいてＡＦ動作を行い、前記顔部が有効に検出されなくなった場合、前記周辺部位に対応する領域の前記第２の画像データに基づいてＡＦ動作を行う。
【０００７】
本発明の主要な局面に係る撮像方法は、被写体の像を撮像部により撮像して画像データを出力し、前記撮像部から出力された前記画像データ中から顔部検出部により前記被写体の顔部を検出し、前記検出された前記顔部又は前記被写体における前記顔部以外の周辺部位に基づいて被写体追尾部により前記被写体を追尾し、前記画像データにおける前記顔部に対応する領域の第１の画像データ、又は前記顔部以外の周辺部位に対応する領域の第２の画像データに基づいてＡＦ制御部によりＡＦ動作を行い、前記顔部の検出が有効な場合、前記顔部に対応する領域の前記第１の画像データに基づいてＡＦ動作を行い、前記顔部が有効に検出されなくなった場合、前記周辺部位に対応する領域の前記第２の画像データに基づいてＡＦ動作を行う。
【０００８】
本発明の主要な局面に係る撮像プログラムは、被写体の像を撮像して画像データを出力させる画像データ出力機能と、前記画像データ中から前記被写体の顔部を検出させる顔部検出機能と、前記顔部又は前記被写体における前記顔部以外の周辺部位に基づいて被写体追尾部により前記被写体を追尾させる被写体追尾機能と、前記画像データにおける前記顔部に対応する領域の第１の画像データ、又は前記顔部以外の周辺部位に対応する領域の第２の画像データに基づいてＡＦ動作を行わせるＡＦ制御機能とを有し、前記ＡＦ制御機能は、前記顔部の検出が有効な場合、前記顔部に対応する領域の前記第１の画像データに基づいてＡＦ動作を行い、前記顔部が有効に検出されなくなった場合、前記周辺部位に対応する領域の前記第２の画像データに基づいてＡＦ動作を行う。
【発明の効果】
【０００９】
本発明によれば、ＡＦ動作として採用される追尾領域がフレーム間で切り替わっても、ＡＦ合焦迄の遅延や偽合焦を生じることがない撮像装置、撮像方法及び撮像プログラムを提供できる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る撮像装置の第１の実施の形態を示すブロック構成図。
【図２】同装置における顔部検出回路による画像デ―タ中からの被写体の顔部の検出を説明するための図。
【図３】同装置における第１の追尾回路による輝度情報を用いて顏部の追尾の作用を説明するための図。
【図４】同装置における第１の追尾回路による色情報を用いての顏部の追尾の作用を説明するための図。
【図５】同装置における被検体に対する顔部検出位置と顔部追尾位置と周辺部追尾位置とを示す図。
【図６】同装置における顔部の正面の顔に対して設定された顔部追尾枠を示す図。
【図７】同装置における顔部の横顔に対して設定された顔部追尾枠を示す図。
【図８】同装置における第２の追尾回路により胸部を追尾するための胸部追尾枠を示す図。
【図９】同装置における撮影動作フローチャート。
【図１０】同装置における追尾処理フローチャート。
【図１１】同装置における図１１に示すＡＦ処理フローチャート。
【図１２】同装置と対比する一般的な背景技術におけるウォブリング動作を続けて顔部の追尾から例えば胸部の追尾に切り替わり、再び顔部の追尾に戻るときのＡＦ合焦状態の時間的変化を示す図。
【図１３】同装置においてウォブリング動作を続けて顔部の追尾から例えば胸部の追尾に切り替わると共にスキャン駆動（山登りＡＦ動作）に切り替わり、再び顔部の追尾に戻ってウォブリング動作を行うときのＡＦ合焦状態の時間的変化を示す図。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施の形態について図面を参照して説明する。
図１は追尾機能を備えた撮像装置の一例としてのブロック構成図を示す。撮像装置１００は、撮影光学系１０２と、焦点調整機構１０４と、絞り１０６と、絞り駆動機構１０８と、シャッタ１１０と、シャッタ駆動機構１１２と、撮像素子１１４と、撮像素子インターフェイス（ＩＦ）回路１１６と、ＲＡＭ１１８と、表示素子１２０と、表示素子駆動回路１２２と、タッチパネル１２４と、タッチパネル駆動回路１２６と、記録メディア１２８と、システムコントローラ１３０と、操作部１３２と、ＲＯＭ１３４とを有する。
【００１２】
撮影光学系１０２は、被写体からの光束Ｆを、撮像素子１１４の受光面上に集光する。この撮影光学系１０２は、フォーカスレンズ等の複数のレンズを有する。焦点調整機構１０４は、モータ及びその駆動回路等を有し、システムコントローラ１３０内のコンピュータとしてのＣＰＵ１３０１の制御に従って撮影光学系１０２内のフォーカスレンズをその光軸方向（図示一点鎖線方向）に駆動する。
絞り１０６は、開閉自在に構成され、撮影光学系１０２を介して撮像素子１１４に入射する光束Ｆの量を調整する。絞り駆動機構１０８は、絞り１０６を駆動するための駆動機構を有し、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って絞り１０６を駆動する。
【００１３】
シャッタ１１０は、撮像素子１１４の受光面を遮光状態又は露光状態とすることにより撮像素子１１４の露光時間を調整する。シャッタ駆動機構１１２は、シャッタ１１０を駆動させるための駆動機構を有し、システムコントローラ１３０内のＣＰＵ１３０１の制御に従ってシャッタ１１０を駆動する。
【００１４】
撮像素子１１４は、撮影光学系１０２を介して集光された例えば人物等の被写体及びその背景からの光束Ｆが結像される受光面を有する。この撮像素子１１４の受光面は、複数の画素を２次元状に配置して構成されており、この受光面の光入射側には、カラーフィルタが設けられている。このような撮像素子１１４は、受光面に結像された光束Ｆに対応した像（被写体像）を、その光量に応じた電気信号（以下、画像信号という）に変換する。ここで、撮像素子１１４は、ＣＣＤ方式やＣＭＯＳ方式等の種々の構成の撮像素子が知られている。また、カラーフィルタの色配列もベイヤ配列等の種々の配列が知られている。本実施形態は、撮像素子１１４の構成が特定の構成に限定されるものではなく、種々の構成の撮像素子を用いることが可能である。
【００１５】
撮像素子ＩＦ回路１１６は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って撮像素子１１４を駆動する。また、撮像素子ＩＦ回路１１６は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って撮像素子１１４で得られた画像信号を読み出し、読み出した画像信号に対してＣＤＳ（相関二重サンプリング）処理やＡＧＣ（自動利得制御）処理等のアナログ処理を施す。さらに、撮像素子ＩＦ回路１１６は、アナログ処理した画像信号をデジタル信号（以下、画像データという）に変換する。
【００１６】
ＲＡＭ１１８は、例えばＳＤＲＡＭであり、ワークエリア、評価画像エリア、参照画像エリア、追尾位置ログエリア、追尾色領域ログエリアをそれぞれ記憶エリアとして有する。
ワークエリアは、撮像素子ＩＦ回路１１６で得られた画像データ等を含む各データ、例えば撮像装置１００の各部で発生した各データを一時記憶する。
評価画像エリアは、評価画像データを一時記憶する。この評価画像データは、追尾処理における追尾対象の被写体を含むフレームの画像データである。追尾処理においては、追尾対象を追尾するように処理が行われる。
参照画像エリアは、参照画像データを一時記憶する。この参照画像データは、追尾処理において、追尾対象の探索の対象となるフレームの画像データである。追尾処理においては、参照画像データ中で探索が行われる。
追尾位置ログエリアは、追尾位置ログを一時記憶する。この追尾位置ログは、追尾処理の結果として得られた追尾位置を記録したログである。本実施の形態では、複数の追尾処理を併用して追尾対象を追尾する。したがって、追尾位置ログには、それぞれの追尾処理によって得られた追尾位置を例えば過去１０フレーム分個別に記録する。また、追尾位置ログには、後述の優先追尾位置判定処理によって採用された最終的な追尾位置も記録する。
追尾色領域ログエリアは、追尾色領域ログを一時記憶する。この追尾色領域ログは、追尾処理によって得られた追尾色領域を記録したログである。本実施の形態では、追尾色領域を例えば過去１０フレーム分個別に記録する。
【００１７】
表示素子１２０は、例えば液晶ディスプレイ（ＬＣＤ）であり、ライブビュー用の画像及び記録メディア１２８に記録される画像等の各種画像を表示する。表示素子駆動回路１２２は、システムコントローラ１３０のＣＰＵ１３０１から入力された画像データに基づいて表示素子１２０を駆動し、この表示素子１２０に画像を表示する。
タッチパネル１２４は、表示素子１２０の表示画面上に一体的に形成されており、表示画面上へのユーザの指等の接触位置等を検出する。タッチパネル駆動回路１２６は、タッチパネル１２４を駆動すると共に、タッチパネル１２４からの接触検出信号をシステムコントローラ１３０のＣＰＵ１３０１に出力する。ＣＰＵ１３０１は、接触検出信号から、ユーザの表示画面上への接触操作を検出し、その接触操作に応じた処理を実行する。
【００１８】
記録メディア１２８は、例えばメモリカードであり、撮影動作によって得られた画像ファイルが記録される。この画像ファイルは、画像データに所定のヘッダを付与して構成される。ヘッダには、撮影条件を示すデータ及び追尾位置を示すデータ等が、タグデータとして記録される。
【００１９】
システムコントローラ１３０は、撮像装置１００の動作を制御するもので、ＣＰＵ１３０１と、ＡＦ制御回路１３０２と、ＡＥ制御回路１３０３と、画像処理回路１３０４と、顔部検出回路１３０５と、第１の追尾回路１３０６と、第２の追尾回路１３０７と、輝度検出回路１３０８と、色情報検出回路１３０９と、追尾切替回路１３１０と、メモリ制御回路１３１１とを有する。
ＣＰＵ１３０１は、焦点調整機構１０４と、絞り駆動機構１０８と、シャッタ駆動機構１１２と、表示素子駆動回路１２２と、タッチパネル駆動回路１２６等のシステムコントローラ１３０の外部の各機能ブロック、及びシステムコントローラ１３０内部の各回路の動作を制御する。
【００２０】
ＡＦ制御回路１３０２は、コントラストＡＦ処理を制御する。具体的にＡＦ制御回路１３０２は、撮像素子ＩＦ回路１１６で得られた画像データの高周波成分を抽出し、この抽出した高周波成分を積算することにより、ＡＦ用の合焦評価値を取得する。ＣＰＵ１３０１は、この合焦評価値に従って画像データのコントラストを評価しつつ、焦点調整機構１０４を制御してフォーカスレンズを合焦状態とする。このＡＦ制御回路１３０２は、スキャン駆動（山登りＡＦ動作）又はウォブリング駆動によって、撮影光学系１０２のフォーカスレンズを合焦位置まで駆動させる。
【００２１】
スキャン駆動（山登りＡＦ動作）は、フォーカスレンズを山登り動作させて当該フォーカスレンズ位置情報を取得するとともに、ＡＦ用の合焦評価値を受けてＡＦ評価値カーブ、すなわちフォーカスレンズ位置とＡＦ用合焦評価値との関係を示すカーブを取得し、このカーブにおけるＡＦ用合焦評価値が最大となる位置に従ってフォーカスレンズをフォーカス目標位置に移動させる。
ウォブリング駆動での焦点調節は、コントラスト検出方式であって、被写体の動きに対して継続的に焦点検出を行うもので、フォーカスレンズを光軸方向に沿って微小振動（往復動）させる、すなわちフォーカスレンズの焦点調節位置を基準となる焦点調節位置に対して前後方向にずらしては戻す動作を繰り返してフォーカスレンズを合焦位置まで駆動させる。
【００２２】
ＡＥ制御回路１３０３は、ＡＥ動作を制御する。具体的にＡＥ制御回路１３０３は、撮像素子ＩＦ回路１１６で得られた画像データを用いて被写体輝度を算出する。ＣＰＵ１３０１は、この被写体輝度に従って、露光時の絞り１０６の開口量（絞り値）、シャッタ１１０の開放時間（シャッタ速度値）、撮像素子感度やＩＳＯ感度等を算出する。
【００２３】
画像処理回路１３０４は、撮像素子ＩＦ回路１１６で得られた画像データに対する各種の画像処理を行う。この画像処理は、例えば色補正処理、ガンマ（γ）補正処理、圧縮処理等を含む。また、画像処理回路１３０４は、圧縮されている画像データに対する伸張処理も施す。
【００２４】
顔部検出回路１３０５は、撮像素子ＩＦ回路１１６で得られた画像データ、例えば人物等の被写体が撮像された画像デ―タ中から被写体の顔部を検出する。この顔部検出回路１３０５は、各フレームで得られる画像データと、図２（ａ）に示すような各顔パーツ４０２、４０４、４０６との相関量を求める。顔パーツ４０２は、人物の鼻部周辺の陰影のパターンに対応した画像データであり、顔パーツ４０４は、人物の目部周辺の陰影のパターンに対応した画像データであり、顔パーツ４０６は、人物の口部周辺の陰影のパターンに対応した画像データである。画像データと各顏パーツ４０２、４０４、４０６との相関量は、図２（ｂ）に示すような、人物の顔部を示す所定の配置となったときに最大となる。このとき、各顏パーツ４０２、４０４、４０６を含む領域４０８に人物の顏部が存在しているとする。なお、各顏パーツ４０２、４０４、４０６は、予め設定した検索顔の大きさに応じて大きさを変えてもよい。ここで、図２（ｂ）では、顏領域を矩形領域としているが、円形領域としても良い。
【００２５】
第１の追尾回路１３０６、第２の追尾回路１３０７、色情報検出回路１３０８９及び輝度検出回路１３０９８は、被写体追尾部を構成する。この被写体追尾部は、顔部検出回路１３０５により検出された顔部又は人物等の被写体における顔部以外の周辺部位、例えば胸部（背部を有する胴体部を含む）に基づいて被写体を追尾する。
第１の追尾回路１３０６は、例えば人物等の被写体が撮像された画像デ―タにおいて、顔部検出回路１３０５により検出された顔部に対応する第１の画像データに基づいて被写体を追尾する。この第１の追尾回路１３０６は、例えば人物等の被写体が撮像された画像データ中における顔部に対応する領域の輝度情報又は例えば肌色の色情報に基づいて被写体を追尾する。
【００２６】
第２の追尾回路１３０７は、例えば人物等の被写体が撮像された画像デ―タにおいて、顔部検出回路１３０５により検出される顔部の位置から推定される位置の周辺部位、例えば被写体として人物であれば、人物の胸部に対応する第２の画像データに基づいて被写体を追尾する。この第２の追尾回路１３０７は、例えば人物等の被写体が撮像された画像データ中における胸部に対応する領域の輝度情報又は例えば肌色の色情報に基づいて被写体を追尾する。
【００２７】
従って、これら第１及び第２の追尾回路１３０６、１３０７は、それぞれ輝度検出回路１３０８から輝度情報を取得すると共に、色情報検出回路１３０９から色情報を取得し、これら輝度情報と例えば肌色の色情報とに基づいて被写体を追尾する。
なお、輝度検出回路１３０８は、画像データ中における顔部又は胸部等の周辺部位に対応する領域の輝度情報の検出を行う。
色情報検出回路１３０９は、画像データ中における顔部又は胸部等の周辺部位に対応する領域の色情報、例えば肌色の色情報を検出する。
【００２８】
ここで、顏部の追尾について説明する。
第１の追尾回路１３０６は、画像データの輝度情報を用いて顏部の追尾処理を行う。この輝度情報を用いた顏部の追尾処理は、例えば図３（ａ）に示す（Ｎ−１）フレームにおいて追尾対象である被写体が設定された場合、この（Ｎ−１）フレームの画像データを評価画像データとしてＲＡＭ１１８の評価画像エリアに記憶する。この評価画像データの追尾対象を含む所定範囲２０２の画像データが基準画像データに設定される。この後、追尾処理では、同図（ｂ）に示すＮフレームとなる参照画像データ中において基準画像データ２０２と対応する部分を探索する。
Ｎフレームの追尾処理を例に示すと、顏部追尾回路１３０７は、Ｎフレームの画像データを参照画像データとしてＲＡＭ１１８の参照画像エリアに記憶する。第１の追尾回路１３０６は、この参照画像データのうちの所定の探索範囲２０４の画像データと基準画像データ２０２との相関量を求めることにより、参照画像データの基準画像データ２０２と対応する部分を探索する。相関量は、例えば基準画像データと参照画像データとの差分絶対値和から判定する。なお、差分絶対値和は、画素毎に輝度差の絶対値を求めてそれを積算したものである。
【００２９】
例えば、図３（ｂ）に示す参照画像データの領域２０６の参照画像データと基準画像データ２０２との差分絶対値和を求めたとすると、参照画像データの領域２０６と基準画像データ２０２とは明らかに異なる画像データであり、差分絶対値和が大きくなる。これに対し、参照画像データの領域２０８と基準画像データ２０２との差分絶対値和を求めたとすると、差分絶対値和が小さくなる。このように、基準画像データ２０２との相関量が大きくなるに従って差分絶対値和が小さくなる。輝度情報を用いた追尾処理では、相関量が最大の、即ち差分絶対値和が最小の領域を参照画像データから探索する。図２（ｂ）の例では、領域２０８が基準画像データ２０２と対応する部分として探索される。なお、追尾位置ログエリアには、領域２０８の中で最も一致度の高い位置を追尾位置として記録する。このような一致度の高い位置が複数ある場合、例えば領域２０８の中心に近い位置を追尾位置とする。次回の追尾処理時には、この追尾位置を追尾処理の開始位置とすることが望ましい。これにより、追尾処理にかかる時間を軽減することが可能である。
【００３０】
又、第１の追尾回路１３０６は、画像データの肌色の色情報を用いて顔部の追尾処理を行う。肌色の色情報を用いた追尾処理は、評価画像データ内で設定された色と同色であると判定できる領域を追尾色領域として探索する。第１の追尾回路１３０６は、図４（ａ）に示すように、（Ｎ−１）フレームにおいて、被写体のある位置３０２が指定された場合、評価画像データ中の位置３０２の色情報を取得する。そして、第１の追尾回路１３０６は、位置３０２を追尾処理の開始位置として、位置３０２と同じ色情報を有する領域を探索する。具体的に第１の追尾回路１３０６は、位置３０２を開始位置から周辺に向かうように順次肌色の色情報を取得し、取得した色情報が位置３０２の色情報と同一であると判定できる場合には領域に含め、取得した色情報が位置３０２の色情報と同一であると判定できない場合には領域に含めない。このようにして追尾色領域を探索すると、例えば、図４（ａ）に示すような単色の被写体の場合、被写体に内接する矩形領域３０４が追尾色領域となる。また、追尾位置ログエリアに記録する追尾位置は、例えば追尾色領域３０４の重心位置（図４（ａ）の例では、位置３０２と同じ）とする。次回の追尾処理においては、この追尾位置を追尾処理の開始位置とする。
【００３１】
Ｎフレームの追尾処理を例に示すと、第１の追尾回路１３０６は、図４（ｂ）に示す参照画像データとして記憶したＮフレームの画像データの所定の探索範囲の中で、（Ｎ−１）フレームの追尾位置３０２を追尾処理の開始位置とし、追尾位置３０２の周辺から順次、追尾色領域３０４の色と同色であると判定できる領域を追尾色領域として探索する。図４（ｂ）の例では、領域３０６が追尾色領域となる。また、図４（ｂ）の例では、重心位置３０８を追尾位置とし、この追尾位置３０８を、追尾位置ログエリアに記録する。また、追尾色領域ログエリアには、追尾色領域３０６の範囲を示す情報（例えば、四隅の位置）を記録する。
【００３２】
第２の追尾回路１３０７は、被検体中の顔部以外の周辺部位を追尾する。この第２の追尾回路１３０７は、上記第１の追尾回路１３０６と同様に、画像データの輝度情報及び肌色の色情報を用いて周辺部位の追尾処理を行う。この第２の追尾回路１３０７は、顔部から予め設定された位置関係を有する例えば被検体の胴体部、具体的には胴体部に存在する胸部を顔部以外の部位として追尾する。この顔部と胸部との位置関係は、画像データ上において被検体の顔部から予め設定された距離だけ下方、すなわち人物の顔部よりも下方を首部、胸部、腹部、脚部とすると、顔部から予め設定された距離だけ下方の位置が胸部であるとの関係に設定されている。第２の追尾回路１３０７は、なお、周辺部位は、被検体中の顔部に限らず、例えば首部、腹部、脚部、腕部であってもよい。
【００３３】
図５は被検体に対する顔部検出位置Ａと顔部追尾位置Ｂと周辺部追尾位置Ｃとを示す。顔部検出位置Ａは、顔部検出回路１３０５により検出された顔部を示し、例えば図２に示す矩形の領域４０８に対応する。
顔部追尾位置Ｂは、色情報検出回路１３０９により検出された顔部に対応する肌色の色情報の領域に基づいて顔部を追尾するための位置を示し、例えば図４（ａ）（ｂ）に示す追尾色領域３０４の重心位置３０２又は３０８に対応する。この顔部追尾位置Ｂは、上記の通り追尾位置ログエリアに記録される。
周辺部追尾位置Ｃは、第２の追尾回路１３０７により追尾する被検体中の顔部以外の周辺部位、例えば胸部を示す。この周辺部追尾位置Ｃは、例えば矩形の枠により被検体中の胸部を示す。この周辺部追尾位置Ｃは、矩形の枠に限らず、円形の枠であってもよい。
【００３４】
なお、第１の追尾回路１３０６は、顔部検出回路１３０５により検出された顔部、又は色情報検出回路１３０９により検出された顔部に対応する肌色の色情報の領域に基づいて顔部を追尾するとき例えば図６又は図７に示すように矩形の顔部追尾枠Ｄ１を例えばＬＣＤである表示素子１２０に表示する。図６は顔部の正面の顔に対して設定された顔部追尾枠Ｄ１を示し、図７は顔部の横顔に対して設定された顔部追尾枠Ｄ１を示す。この顔部追尾枠Ｄ１は、矩形の枠に限らず、円形の枠であってもよい。なお、顔部は、正面の顔又は横顔であっても顔部として追尾される。
【００３５】
又、第２の追尾回路１３０７は、被検体中の顔部以外の周辺部位として例えば胸部を追尾するとき例えば図８に示すように矩形の胸部追尾枠Ｄ２を例えばＬＣＤである表示素子１２０に表示する。この胸部追尾枠Ｄ２は、矩形の枠に限らず、円形の枠であってもよい。
【００３６】
追尾切替回路１３１０は、第１の追尾回路１３０６による顔部の追尾が出来ない場合、例えば図６又は図７に示すような顔部追尾枠Ｄ１の表示による顔部の追尾から第２の追尾回路１３０７による顔部以外の部位、例えば図８に示すような胸部の追尾に切り替え、同図に示すように胸部上に矩形の胸部追尾枠Ｄ２を例えばＬＣＤである表示素子１２０に表示する。
この追尾切替回路１３１０は、顔部以外の部位、例えば胸部の位置から顔部として推定される位置で、顔部が検出される、又は顔部に対応する肌色の色情報が検出されると、図８に示すような第２の追尾回路１３０７による胸部の追尾（胸部追尾枠Ｄ２の表示）から図６又は図７に示すような第１の追尾回路１３０６による顔部の追尾（顔部追尾枠Ｄ１の表示）に戻る。
なお、顔部と胸部との位置関係は、画像データ上において被検体の顔部から予め設定された距離だけ下方、すなわち人物の顔部よりも下方を首部、胸部、腹部、脚部とすると、顔部から予め設定された距離だけ下方の位置が胸部であるとの関係に設定されているので、人物の胸部よりも予め設定された距離だけ上方に顔部が存在することを推定できる。
【００３７】
追尾切替回路１３１０は、顔部に対応する肌色の色情報を予め記憶し、第２の追尾回路１３０７により胸部の追尾を行っている状態に、顔部として推定される位置における色情報が予め記憶されている色情報と一致したときに、顔部に対応する肌色の色情報が検出されたとして第１の追尾回路１３０６による顔部の追尾に戻る。
追尾切替回路１３１０は、少なくとも顔部検出回路１３０５により顔部が検出されず、かつ色情報検出回路１３０６により肌色の色情報の領域が検出されない場合、第１の追尾回路１３０６による顔部の追尾が出来ないと判定する。
追尾切替回路１３１０は、画像デ―タ中に顔部のデータが無く、画像デ―タ中の顔部のデータ量が顔部を検出することができない信頼性の低いデータ量であり、かつ肌色の色情報の領域に基づいて顔部を追尾できず当該追尾の性能が悪化すれば、第１の追尾回路１３０６による顔部の追尾が出来ないと判定する。
【００３８】
追尾切替回路１３１０は、第１の追尾回路１３０６による顔部の追尾に切り替える旨、第２の追尾回路１３０７による胸部の追尾に切り替える旨などをＣＰＵ１３０１に通知する。このＣＰＵ１３０１は、顔部の追尾に切り替える旨や、胸部の追尾に切り替える旨の通知を受けると、ウォブリング動作によるＡＦ動作から山登りＡＦ動作に切り替える旨、山登りＡＦ動作からウォブリング動作によるＡＦ動作に切り替える旨の通知をＡＦ制御部回路１３０２に送る。
【００３９】
上記ＡＦ制御部回路１３０２は、例えば人物等の被写体が撮像された画像データにおける顔部検出回路１３０５により検出された顔部に対応する領域の第１の画像データ、及び顔部以外の周辺部位、例えば胸部に対応する領域の第２の画像データに基づいてＡＦ動作を行う。
このＡＦ制御部回路１３０２は、顔部検出回路１３０５による顔部の検出が有効な場合、この顔部に対応する領域の第１の画像データに基づいてＡＦ動作を行い、顔部が有効に検出されなくなった場合、胸部等の周辺部位に対応する領域の第２の画像データに基づいてＡＦ動作を行う。
ＡＦ制御部回路１３０２は、画像データのフレーム間で、顔部検出回路１３０５による顔部の検出が有効でない状態から有効な状態に変わると、第１の追尾回路１３０６により追尾される胸部等の周辺部位に対応する領域の第２の画像データに基づくＡＦ動作から顔部に対応する第１の画像データに基づくＡＦ動作に変わる。
ＡＦ制御部回路１３０２は、画像データのフレーム間で、顔部検出回路１３０５による顔部の検出が有効でなくなって第１の追尾回路１３０６による被写体の追尾が不能になった場合、第２の追尾回路１３０７の追尾に用いる胸部等の周辺部位に対応する第２の画像データに基づいてＡＦ動作を行う。
【００４０】
ＡＦ制御部回路１３０２は、顔部検出回路１３０５による顔部の検出が有効な場合、顔部に対応する第１の画像データに基づいてウォブリング動作によりＡＦ動作を行い、顔部の検出が有効でない場合、胸部等の周辺部位に対応する第２の画像データに基づいて山登りＡＦ動作を行う。
具体的に、ＡＦ制御部回路１３０２は、顔部検出回路１３０５による顔部の検出が有効、又は第１の追尾回路１３０６による被検体の追尾が可能で、顔部に対応する第１の画像データに基づくウォブリング動作によりＡＦ動作を行っている状態に、顔部検出回路１３０５による顔部の検出が有効でなくなりかつ第１の追尾回路１３０６による被検体の追尾が不能になると、第２の追尾回路１３０７による胸部等の周辺部位に対応する第２の画像データに基づいて山登りＡＦ動作を行う。
ＡＦ制御部回路１３０２は、第２の追尾回路１３０７による被検体の追尾が有効で、胸部等の周辺部位に対応する第２の画像データに基づくウォブリング動作によりＡＦ動作を行っている場合に、画像データのフレーム間で、顔部検出回路１３０５による顔部の検出が有効でない状態から有効に変化すると、顔部に対応する第１の画像データに基づいて山登りＡＦ動作を行う。
【００４１】
メモリ制御回路１３１１は、ＣＰＵ１３０１等がＲＡＭ１１８、記録メディア１２８、ＲＯＭ１３４に対してアクセスするための制御を行うインターフェイスである。
操作部１３２は、ユーザによって操作される各種の操作部材である。この操作部１３２は、例えば、レリーズ釦、動画釦、モードダイヤル、選択キー、電源釦等を含む。
レリーズ釦は、１ｓｔレリーズスイッチと、２ｎｄレリーズスイッチとを有する。１ｓｔレリーズスイッチは、ユーザがレリーズ釦を半押しするとオンするスイッチである。この１ｓｔレリーズスイッチがオンすることにより、ＡＦ処理等の撮影準備動作が行われる。２ｎｄレリーズスイッチは、ユーザがレリーズ釦を全押しするとオンするスイッチである。この２ｎｄレリーズスイッチがオンすることにより、静止画撮影用の露光動作が行われる。
動画釦は、動画撮影の開始又は終了を指示するための操作部材である。ユーザによって動画釦が押されると動画撮影処理が開始される。また、動画撮影処理の実行中に動画釦が押されると、動画撮影処理が終了される。
モードダイヤルは、撮像装置の撮影設定を選択するための操作部材である。本実施形態では、撮像装置の撮影設定として、例えば、静止画撮影モードと動画撮影モードを選択できる。静止画撮影モードは、静止画像を撮影するための撮影設定である。また、動画撮影モードは、動画像を撮影するための撮影設定である。
選択キーは、例えばメニュー画面上での項目の選択や決定をするための操作部材である。ユーザによって選択キーが操作されるとメニュー画面上での項目の選択や決定が行われる。
電源釦は、撮像装置の電源をオン又はオフするための操作部材である。ユーザによって電源釦が操作されると、本装置１００が起動して動作可能な状態となる。撮像装置が起動している間に電源釦が操作されると、本装置１００が省電力待機状態となる。
【００４２】
ＲＯＭ１３４は、ＣＰＵ１３０１が種々の処理を実行するためのプログラムコードを記憶する。プログラムコードは、被写体を撮像するための撮像プログラムを含む。この撮像プログラムは、コンピュータとしてのＣＰＵ１３０１に、被写体の像を撮像して画像データを出力させる画像データ出力機能と、画像データ中から被写体の顔部を検出させる顔部検出機能と、顔部又は被写体における顔部以外の周辺部位に基づいて被写体を追尾させる被写体追尾機能と、画像データにおける顔部に対応する領域の第１の画像データ、又は顔部以外の周辺部位に対応する領域の第２の画像データに基づいてＡＦ動作を行わせるＡＦ制御機能とを有し、ＡＦ制御機能は、顔部の検出が有効な場合、顔部に対応する領域の第１の画像データに基づいてＡＦ動作を行い、顔部が有効に検出されなくなった場合、周辺部位に対応する領域の第２の画像データに基づいてＡＦ動作を行うことを実現させる。
ＡＦ制御機能は、顔部の検出が有効でない状態から有効な状態に変わると、周辺部位に対応する領域の第２の画像データに基づくＡＦ動作から顔部に対応する第１の画像データに基づくＡＦ動作に変わることを実現させる。
【００４３】
また、ＲＯＭ１３４は、撮影光学系１０２、絞り１０６及び撮像素子１１４等の動作に必要な制御パラメータ、並びに画像処理回路１３０４での画像処理に必要な制御パラメータ等の各種の制御パラメータを記憶している。さらにＲＯＭ１３４は、顏部検出回路１３０５における顏検出に用いられる顏パーツのデータや追尾枠を表示するためのデータ等も記憶している。
【００４４】
次に、上記の如く構成された本装置の動作について図９に示す撮影動作フローチャートを参照して説明する。
ＣＰＵ１３０１は、ＲＯＭ１３４から必要なプログラムコードを読み込んで本装置１００の動作を制御する。
ＣＰＵ１３０１は、ステップＳ１００において、現在の本装置１００の撮影設定が静止画撮影モードであるか否かを判定する。この撮影設定は、モードダイヤルによって設定される。
判定の結果、撮影設定が静止画撮影モードであると、ＣＰＵ１３０１は、ステップＳ１０２において、ライブビュー動作を開始させる。ライブビュー動作として、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御してシャッタ１１０を開放した後、撮像素子ＩＦ回路１１６を制御して撮像素子１１４による撮像を開始させる。その後、ＣＰＵ１３０１は、撮像素子１１４による撮像の結果としてＲＡＭ１１８のワークエリアに記憶された画像データを画像処理回路１３０４に入力してライブビュー表示用の画像処理を施す。続いて、ＣＰＵ１３０１は、ライブビュー表示用の画像処理がされた画像データを表示素子駆動回路１２２に入力し、表示素子１２０に画像を表示させる。このような表示動作を繰り返し実行することにより、被写体の画像を動画表示する。この動画表示により、ユーザは、被写体を観察することが可能である。
【００４５】
ＣＰＵ１３０１は、ステップＳ１０４において、１ｓｔレリーズスイッチがオンされたか否かを判定する。この判定の結果、１ｓｔレリーズスイッチがオンされたと判定するまでＣＰＵ１３０１は、ライブビュー動作を継続する。
１ｓｔレリーズスイッチがオンされると、ＣＰＵ１３０１は、ステップＳ１０６において、レリーズＡＦ処理を行う。このレリーズＡＦでは、スキャン駆動（山登りＡＦ動作）によって、フォーカスレンズを合焦位置まで駆動させる。スキャン駆動（山登りＡＦ動作）では、ＣＰＵ１３０１は、焦点調整機構１０４を制御してフォーカスレンズを所定のスキャン範囲内で一方向に駆動させつつ、ＡＦ制御回路１３０２で順次算出される合焦評価値を評価する。ＣＰＵ１３０１は、合焦評価値の評価の結果、コントラストが最大となるレンズ位置において、フォーカスレンズの駆動を停止させる。このようなスキャン駆動は、ＡＦ前のフォーカスレンズの位置と合焦位置との差が大きい場合に行われる。
【００４６】
ＣＰＵ１３０１は、ステップＳ１０８において、表示素子駆動回路１２２を制御して、表示素子１２０に追尾枠を表示させる。ここで、追尾枠は、表示素子１２０の画面上の追尾対象の位置に表示させる。例えば、レリーズＡＦで合焦した被写体を追尾対象とし、その被写体に追尾枠を表示させるようしても良い。顏検出回路１３０７によって人物の顏部が検出された場合には、例えば図６又は図７に示すように顔部に追尾枠Ｄ１を表示させるようにしても良い。さらに、タッチパネル１２４により、表示素子１２０の画面上に表示された被写体が指定された場合には、その被写体上に追尾枠を表示させるようにしても良い。このように、本実施形態においては、ＣＰＵ１３０１、ＡＦ制御回路１３０２、顏検出回路１３０７、タッチパネル１２４等が追尾対象設定部の一例として機能する。
【００４７】
ＣＰＵ１３０１は、ステップＳ１１０において、被写体を追尾する追尾処理を行う。この追尾処理は、後述する。
ＣＰＵ１３０１は、ステップＳ１１２において、追尾位置の被写体に合焦するようにＡＦ処理を行うと共に、追尾位置の被写体の露光が適正となるようにＡＥ処理を行う。
追尾処理後のＡＦ処理においては、スキャン駆動（山登りＡＦ動作）又はウォブリング駆動によって、フォーカスレンズを合焦位置まで駆動させる。ウォブリング駆動では、ＣＰＵ１３０１は、フォーカスレンズを駆動したときにＡＦ制御回路１３０２で算出された合焦評価値が、前回のレンズ位置での合焦評価値に対して増加したかを判定する。そして、ＣＰＵ１３０１は、合焦評価値が増加した場合には前回と同方向にフォーカスレンズを微小駆動させ、合焦評価値が減少した場合には前回と逆方向にフォーカスレンズを微小駆動させる。このような動作を高速で繰り返してフォーカスレンズを徐々に合焦位置まで駆動させる。
また、ＡＥ処理において、ＣＰＵ１３０１は、ＡＥ制御回路１３０３で算出された追尾位置の被写体の輝度を予め定められた適正な量（適正露光量）とする、本露光時の絞り１０６の開口量（絞り値）、シャッタ１１０の開放時間（シャッタ速度値）を算出する。
【００４８】
ＣＰＵ１３０１は、ステップＳ１１４において、２ｎｄレリーズスイッチがオンされたか否かを判定する。２ｎｄレリーズスイッチがオンされていないと判定されると、ＣＰＵ１３０１は、ステップＳ１１０の追尾処理以後の処理を実行する。このように、静止画撮影モード時には、２ｎｄレリーズスイッチがオンされるまでは、追尾処理が継続される。
【００４９】
また、２ｎｄレリーズスイッチがオンされると、ＣＰＵ１３０１は、ステップＳ１１６において、表示素子駆動回路１２２を制御して、追尾枠Ｄ１を非表示とする。
ＣＰＵ１３０１は、ステップＳ１１８において、静止画像データを記録メディア１２８に記録する処理を行う。この際、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御して、シャッタ１１０を閉じる。その後、ＣＰＵ１３０１は、絞り駆動機構１０８を制御して、絞り１０６を先に算出した絞り値まで絞り込む。続いて、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御して、シャッタ１１０を先に算出した開放時間だけ開放しつつ、撮像素子１１４による撮像（露光）を行う。その後、ＣＰＵ１３０１は、撮像素子１１４を介して得られた静止画像データを画像処理回路１３０４において処理する。そして、ＣＰＵ１３０１は、画像処理回路１３０４において処理された静止画像データにヘッダを付与して静止画像ファイルを生成し、生成した静止画像ファイルを記録メディア１２８に記録する。
ＣＰＵ１３０１は、ステップＳ１２０において、上記ステップＳ１１０の追尾処理の結果として得られた追尾位置を示すデータを、先に記録メディア１２８に記録した静止画像ファイルに追記する。その後に、ＣＰＵ１３０１は、図９に示す撮影動作を示すフローチャートに従った動作を終了する。
【００５０】
一方、上記ステップＳ１００において、撮影設定が動画撮影モードであると判定されると、ＣＰＵ１３０１は、ステップＳ１２２において、ライブビュー動作を開始する。
ＣＰＵ１３０１は、ステップＳ１２４において、動画釦がオンされたか否かを判定する。この動画釦がオンされたと判定するまでＣＰＵ１３０１は、ライブビュー動作を継続する。
【００５１】
動画釦がオンされたと判定されると、ＣＰＵ１３０１は、ステップＳ１２６において、表示素子駆動回路１２２を制御して表示素子１２０に例えば図６又は図７に示すように顔部に追尾枠Ｄ１を表示させる。
ＣＰＵ１３０１は、ステップＳ１２８において、追尾処理を行う。この追尾処理は、後述する。
ＣＰＵ１３０１は、ステップＳ１３０において、追尾位置の被写体に合焦するようにＡＦ処理を行うと共に、追尾位置の被写体の露光が適正となるようにＡＥ処理を行う。このときのＡＦ処理では、ウォブリング駆動によって撮影光学系１０２のフォーカスレンズを合焦位置まで駆動させる。
【００５２】
ＣＰＵ１３０１は、ステップＳ１３２において、動画像データを記録メディア１２８に記録する処理を行う。この際、ＣＰＵ１３０１は、絞り駆動機構１０８を制御し、絞り１０６をＡＥ処理において算出した絞り値まで絞り込む。続いて、ＣＰＵ１３０１は、ＡＥ処理において算出したシャッタ速度値に対応した時間だけ撮像素子１１４による撮像（露光）を実行させる。露光の終了後、ＣＰＵ１３０１は、動画像ファイルを生成して記録メディア１２８に記録する。また、ＣＰＵ１３０１は、撮像素子１１４を介して得られた動画像データを画像処理回路１３０４において処理し、画像処理回路１３０４において処理された動画像データを動画像ファイルに記録する。
【００５３】
ＣＰＵ１３０１は、ステップＳ１３４において、上記ステップＳ１２８の追尾処理の結果として得られた追尾位置を示すデータを、先に記録メディア１２８に記録した動画像ファイルと同時記録する。
ＣＰＵ１３０１は、ステップＳ１３６において、動画釦がオフされたか否かを判定する。この判定の結果、動画釦がオフされていないと判定されると、ＣＰＵ１３０１は、ステップＳ１２８の追尾処理以後の処理を実行する。このように、動画撮影モード時では、動画釦がオフされるまでは、追尾処理と動画像データの記録が継続される。
【００５４】
また、動画釦がオフされたと判定されると、ＣＰＵ１３０１は、ステップＳ１３８において、表示素子駆動回路１２２を制御し、追尾枠Ｄ１を非表示とする。その後、ＣＰＵ１３０１は、図９に示す撮影動作を示すフローチャートに従った動作を終了する。
次に、本実施の形態に係る追尾処理について図１０に示す追尾処理フローチャートに従って説明する。
ＣＰＵ１３０１は、ステップＳ２００において、撮像素子ＩＦ回路１１６を制御して撮像素子１１４による撮像を実行する。
ＣＰＵ１３０１は、ステップＳ２０１において、撮像素子１１４による撮像により、撮像素子ＩＦ回路１１６において得られた画像データをＲＡＭ１１８に取り込む。ＣＰＵ１３０１は、初回の追尾処理で得られた画像データを評価画像データとし、この画像データをＲＡＭ１１８の評価画像エリアに取り込む。また、ＣＰＵ１３０１は、２回目以後の追尾処理で得られた画像データを参照画像データとし、これら２回目以後の追尾処理で得られた画像データをそれぞれＲＡＭ１１８の参照画像エリアに取り込む。
【００５５】
ＣＰＵ１３０１は、ステップＳ２０２において、顔部検出回路１３０５により、例えば人物等の被写体が撮像された画像デ―タ中から被写体の顔部を検出する。この顔部検出回路１３０５は、上記図２（ａ）（ｂ）を参照して説明したように各フレームで得られる画像データと各顔パーツ４０２、４０４、４０６との相関量を求め、この相関量が人物の顔部を示す所定の配置となったときに最大となることを利用して人物の顏部が存在している領域を検出する。
【００５６】
ＣＰＵ１３０１は、ステップＳ２０３において、第２の追尾回路１３０７により、被検体中の顔部以外の周辺部位、例えば顔部検出回路１３０５により検出された顔部から予め設定された距離だけ下方の胸部を周辺部位として設定する。
ＣＰＵ１３０１は、ステップＳ２０４において、第１の追尾回路１３０６により画像データの輝度情報を用いて顔部の追尾処理を行うと共に、第２の追尾回路１３０７により画像データの輝度情報を用いて胸部の追尾処理を行う。輝度情報を用いた追尾処理は、顔部と胸部とに対し、上記図３（ａ）（ｂ）を参照して説明と同様に、（Ｎ−１）フレームにおいて追尾対象である被写体が設定された場合、この（Ｎ−１）フレームの画像データを評価画像データとしてＲＡＭ１１８の評価画像エリアに記憶する。この評価画像データの追尾対象を含む所定範囲２０２の画像データが基準画像データに設定される。この後、追尾処理では、同図（ｂ）に示すＮフレームとなる参照画像データ中において基準画像データ２０２と対応する部分を探索する。
【００５７】
なお、初回の追尾処理においては、評価画像データのみが取得された状態であるので、ステップＳ２０４以後の処理は省略される。以後の説明においては、評価画像データと参照画像データの両方が取得されているものとして説明を続ける。
ＣＰＵ１３０１は、ステップＳ２０５において、輝度情報を用いた顔部と胸部との各追尾処理の結果として得られた各追尾位置を、それぞれＲＡＭ１１８の追尾ログエリアに記憶する。
【００５８】
ＣＰＵ１３０１は、ステップＳ２０６において、第１の追尾回路１３０６により画像データの色情報を用いて顔部の追尾処理を行うと共に、第２の追尾回路１３０７により画像データの色情報を用いて胸部の追尾処理を行う。色情報を用いた追尾処理は、顔部と胸部とに対し、評価画像データ内で設定された色と同色であると判定できる領域を追尾色領域として探索する。この顏部追尾回路１３０７は、上記図４（ａ）に示すように、（Ｎ−１）フレームにおいて、被写体のある位置３０２が指定された場合、評価画像データ中の位置３０２の色情報を取得し、この位置３０２を追尾処理の開始位置として、位置３０２と同じ色情報を有する領域を探索する。
【００５９】
ＣＰＵ１３０１は、ステップＳ２０７において、色情報を用いた追尾処理の結果として得られた顔部と胸部との各追尾位置をＲＡＭ１１８の追尾ログエリアに記憶する。ＣＰＵ１３０１は、色情報を用いた追尾処理の結果として得られた追尾色領域をＲＡＭ１１８の追尾色領域ログエリアに記憶する。
【００６０】
ＣＰＵ１３０１は、ステップＳ２０８において、追尾切替回路１３１０により、顔部の追尾が出来るか否かを判定する。具体的に、追尾切替回路１３１０は、画像デ―タ中に顔部のデータが無く、画像デ―タ中の顔部のデータ量が顔部を検出することができない信頼性の低いデータ量であり、かつ肌色の色情報の領域に基づいて顔部を追尾できず当該追尾の性能が悪化しているか否かを判定する。
なお、顔部のデータの有無は、例えばＲＡＭ１１８の追尾ログエリアに記憶されている輝度情報を用いた顔部と胸部との各追尾処理の結果として得られた各追尾位置の有無により判定される。又、顔部のデータの有無は、例えばＲＡＭ１１８の追尾色領域ログエリアに記憶されている色情報を用いた追尾処理の結果として得られた追尾色領域の有無により判定される。顔部のデータ量が信頼性の低いデータ量であることの判定は、例えば画像データにおける顔部に対応する領域に顔部に相当する輝度情報及び色情報が存在するものの顔部として判定するに至らないデータ量であることにより判定される。肌色の色情報の領域に基づいて顔部を追尾できないのは、例えば画像データにおける顔部に対応する領域に肌色の色情報のデータ量が少なかったり、顔部の形状に対応して肌色の色情報が分布していない等により判定される。
【００６１】
この判定の結果、画像デ―タ中に顔部のデータが有り、画像デ―タ中の顔部のデータ量が顔部を検出することができ、かつ肌色の色情報の領域に基づいて顔部を追尾できれば、ＣＰＵ１３０１は、ステップＳ２０９において、優先追尾位置判定処理を行う。この優先追尾位置判定処理は、顔部の追尾において、輝度情報を用いた追尾処理の結果と色情報を用いた追尾処理の結果との何れを採用するかを判定するための処理であり、ここでは、上記の通り輝度情報及び色情報を用いてそれぞれ顔部の追尾が出来るので、例えば色情報を用いた追尾処理の結果を優先する。
【００６２】
ＣＰＵ１３０１は、ステップＳ２１０において、優先追尾位置判定処理の結果として採用された追尾位置の信頼性を判断する。輝度情報を用いた追尾処理の結果が採用された場合には、例えば参照画像データのコントラストから信頼性を判断する。具体的には、参照画像データにおける追尾対象の領域の隣接画素間の差分和が所定値以上である場合には、信頼性があると判断する。また、色情報を用いた追尾処理の結果が採用された場合には、例えば参照画像データの彩度から信頼性を判断する。具体的には、参照画像データの追尾位置の彩度が所定値以上である場合には、信頼性があると判断する。これらの信頼性を判定するための閾値は適宜設定可能である。
【００６３】
ＣＰＵ１３０１は、ステップＳ２１１において、参照画像データの最終的な追尾位置を、ＲＡＭ１１８の追尾ログエリアに記録する。次回の追尾処理においては、輝度情報を用いた追尾処理と色情報を用いた追尾処理の両方で、この最終的な追尾位置を追尾処理の開始位置とする。ただし、ステップＳ２１６の信頼性判断において、信頼性がないと判断された場合には、追尾位置を記録しないようにしても良い。
ＣＰＵ１３０１は、ステップＳ２１２において、表示素子駆動回路１２２を制御し、例えば図６又は図７に示すように顔部追尾枠Ｄ１の表示位置をステップＳ２１１で記憶させた追尾位置に対応した位置に更新して追尾処理を終了する。
【００６４】
一方、上記ステップＳ２０８での判定の結果、画像デ―タ中に顔部のデータが無く、画像デ―タ中の顔部のデータ量が顔部を検出することができない信頼性の低いデータ量であり、かつ肌色の色情報の領域に基づいて顔部を追尾できず当該追尾の性能が悪化していれば、ＣＰＵ１３０１は、顔部の追尾が出来ないと判定する。
ＣＰＵ１３０１は、ステップＳ２１３に移り、追尾切替回路１３１０により、顔部の追尾から第２の追尾回路１３０７による顔部以外の部位、例えば胸部の追尾に切り替える。この第２の追尾回路１３０７は、上記の通り、画像データの輝度情報及び色情報を用いて胸部の追尾処理を行う。なお、胸部は、顔部から予め設定された距離だけ下方の位置に存在することが設定されている。
【００６５】
ＣＰＵ１３０１は、ステップＳ２１４において、優先追尾位置判定処理を行う。この優先追尾位置判定処理は、胸部の追尾において、輝度情報を用いた追尾処理の結果と色情報を用いた追尾処理の結果との何れを採用するかを判定するための処理であり、ここでは、肌色の色情報の領域に基づく顔部の追尾処理ができないことから輝度情報を用いた追尾処理の結果を優先する。
【００６６】
ＣＰＵ１３０１は、ステップＳ２１５において、優先追尾位置判定処理の結果として採用された追尾位置の信頼性を判断する。輝度情報を用いた追尾処理の結果が採用された場合には、例えば参照画像データのコントラストから信頼性を判断する。具体的には、参照画像データにおける追尾対象の領域の隣接画素間の差分和が所定値以上である場合には、信頼性があると判断する。
【００６７】
ＣＰＵ１３０１は、ステップＳ２１６において、参照画像データの最終的な追尾位置を、ＲＡＭ１１８の追尾ログエリアに記録する。次回の追尾処理においては、輝度情報を用いた追尾処理で、この最終的な追尾位置を追尾処理の開始位置とする。ただし、ステップＳ２１５の信頼性判断において、信頼性がないと判断された場合には、追尾位置を記録しないようにしても良い。
ＣＰＵ１３０１は、ステップＳ２１７において、表示素子駆動回路１２２を制御し、例えば図６又は図８に示すように胸部追尾枠Ｄ２の表示位置をステップＳ２１６で記憶させた追尾位置に対応した位置に更新して追尾処理を終了する。
【００６８】
また、図９に示すように、静止画撮影モード時は１ｓｔレリーズオンかつ２ｎｄレリーズオフ中に、また動画撮影モード時は動画釦がオフされるまで、図１０に示す追尾処理フローチャートに従った追尾処理が繰り返し実行されるので、前回の追尾処理で顔部の追尾ができず、周辺部位（胸部）の追尾がなされた場合には、その次の追尾処理では以下のような動作になる。
ＣＰＵ１３０１は、上記ステップＳ２０１〜Ｓ２０７を実行し、ステップＳ２０８において、追尾切替回路１３１０により、顔部の追尾が出来るか否か、すなわち、顔部以外の部位、例えば胸部の位置から顔部として推定される位置で、顔部が検出される、又は顔部に対応する肌色の色情報が検出されるか否かを判定する。
この判定の結果、例えば胸部の位置から顔部として推定される位置で、顔部が検出されず、又は顔部に対応する肌色の色情報が検出されなければ、ＣＰＵ１３０１は、上記ステップＳ２１３に移り、追尾切替回路１３１０により、胸部の追尾を継続する。第２の追尾回路１３０７は、上記の通り、画像データの輝度情報及び色情報を用いて胸部の追尾処理を行う。
【００６９】
一方、上記判定の結果、胸部の位置から顔部として推定される位置で、顔部が検出され、又は顔部に対応する肌色の色情報が検出されると、ＣＰＵ１３０１は、第２の追尾回路１３０７による胸部の追尾から第１の追尾回路１３０６による顔部の追尾に戻る。なお、追尾切替回路１３１０は、顔部に対応する肌色の色情報を予め記憶し、顔部として推定される位置における色情報が予め記憶されている色情報と一致したときに、顔部に対応する肌色の色情報が検出されたとする。
ＣＰＵ１３０１は、上記ステップＳ２０９〜Ｓ２１１を実行し、ステップＳ２１２において、図８に示すような第２の追尾回路１３０７による図８に示すような胸部の追尾（胸部追尾枠Ｄ２の表示）から図６又は図７に示すような第１の追尾回路１３０６による顔部の追尾（顔部追尾枠Ｄ１の表示）に戻る。
その後、ＣＰＵ１３０１は、上記図１０に示す追尾処理フローチャートに従った追尾処理を終了する。
【００７０】
以上の追尾処理において、ＣＰＵ１３０１は、顔部の追尾が出来ないと判定すると、上記ステップＳ２１３において、追尾切替回路１３１０により、顔部の追尾から第２の追尾回路１３０７による顔部以外の部位、例えば胸部の追尾に切り替えている。この追尾の対象の切替に応じてＡＦ制御部回路１３０２は、以下のＡＦ制御を行う。
例えば、ＡＦ制御部回路１３０２は、上記ステップＳ１１２又は上記ステップＳ１３０において、顔部検出回路１３０５による顔部の検出が有効な場合、顔部に対応する第１の画像データに基づいてウォブリング動作によりＡＦ動作を行っているが、顔部の検出が有効から無効に変化した場合、胸部等の周辺部位に対応する第２の画像データに基づいて山登りＡＦ動作を行う。
具体的に、ＡＦ制御部回路１３０２は、顔部検出回路１３０５による顔部の検出が有効、又は第１の追尾回路１３０６による被検体の追尾が可能で、顔部に対応する第１の画像データに基づくウォブリング動作によりＡＦ動作を行っている状態に、画像データのフレーム間で、顔部検出回路１３０５による顔部の検出が有効でなくなりかつ第１の追尾回路１３０６による被検体の追尾が不能になると、第２の追尾回路１３０７による胸部等の周辺部位に対応する第２の画像データに基づいて山登りＡＦ動作を行う。
【００７１】
又、ＡＦ制御部回路１３０２は、第２の追尾回路１３０７による被検体の胸部の追尾が有効で、胸部等の周辺部位に対応する第２の画像データに基づくウォブリング動作によりＡＦ動作を行っている場合に、画像データのフレーム間で、顔部検出回路１３０５による顔部の検出が有効でない状態から有効に変化すると、顔部に対応する第１の画像データに基づいて山登りＡＦ動作を行う。
【００７２】
ここで、図１１に示すＡＦ処理フローチャートに従ってＣＰＵ１３０１のＡＦ制御部回路１３０２によるウォブリング動作又は山登りＡＦ動作によるＡＦ制御の一例を説明する。
ＡＦ制御部回路１３０２は、ステップＳ３００において、例えば被写体として人物の顔部に対応する第１の画像データに基づいてウォブリング動作によりＡＦ動作を行っている。
ＡＦ制御部回路１３０２は、ステップＳ３０１において、スキャン駆動（山登りＡＦ動作）が必要であるか否かを判定する。
これは、例えば撮影者が撮像装置のパン動作やチルト動作を行って被写体が大きく変化した時に、ＡＦ動作をやり直すためにスキャン動作（山登りＡＦ）を実行するものである。上記判定によりスキャン動作（山登りＡＦ）が必要な場合はステップＳ３０３に移行し、必要ない場合はステップＳ３０２に移行する。
追尾切替回路１３１０により画像データのあるフレーム間で、顔部の追尾から当該顔部以外の周辺部位、例えば胸部の追尾に切り替わると、ＡＦ制御部回路１３０２は、ステップＳ３０２において、スキャン駆動（山登りＡＦ動作）が必要であると判定し、ステップＳ３０３に移行する。
【００７３】
ＡＦ制御部回路１３０２は、第２の追尾回路１３０７による顔部以外の周辺部位、例えば胸部の追尾に切り替わると、ステップＳ３０３において、例えば被写体として人物の胸部に対応する第２の画像データに基づくスキャン駆動（山登りＡＦ動作）によりＡＦ動作を行う。
ＡＦ制御部回路１３０２は、ステップＳ３０４において、胸部に対応する第２の画像データから合焦評価値を求め、この合焦評価値から合焦方向を判断し、ステップＳ３０４において、合焦になったか否かを判定する。ＡＦ制御部回路１３０２は、胸部に対して合焦するまで、画像データからＡＦ用の合焦評価値を取得し、この合焦評価値に従って画像データのコントラストを評価しつつ、焦点調整機構１０４を制御し、スキャン駆動（山登りＡＦ動作）を行ってフォーカスレンズを合焦状態とする。
【００７４】
一方、スキャン駆動（山登りＡＦ動作）が必要でなく、顔部以外の周辺部位、例えば胸部の追尾に切り替わることがなければ、ＡＦ制御部回路１３０２は、ステップＳ３０６において、顔部に対して合焦するまで、画像データからＡＦ用の合焦評価値を取得し、この合焦評価値に従って画像データのコントラストを評価しつつ、焦点調整機構１０４を制御し、ウォブリング動作を行ってフォーカスレンズを合焦状態になる位置に移動させる。
【００７５】
ＡＦ制御部回路１３０２は、ステップＳ３０７において、待機し、次のステップＳ３０８において、画像データから取得されるＡＦ用の合焦評価値が変化したか否かを判断する。ＡＦ用の合焦評価値に変化がなければ、ＡＦ制御部回路１３０２は、待機し続ける。ＡＦ用の合焦評価値に変化があると、ＡＦ制御部回路１３０２は、ステップＳ３００に戻る。
なお、上記ステップＳ３０２においては、追尾切替回路１３１０により画像データのあるフレーム間で、顔部以外の周辺部位、例えば胸部の追尾から顔部の追尾に切り替わった場合も、ＡＦ制御部回路１３０２は、スキャン駆動（山登りＡＦ動作）が必要であると判定し、ステップＳ３０３に移行する。
ＡＦ制御部回路１３０２は、ステップＳ３０３において、例えば被写体として顔部に対応する第１の画像データに基づくスキャン駆動（山登りＡＦ動作）によりＡＦ動作を行う。
【００７６】
ここで、本装置と一般的な背景技術とを対比すると、図１２は一般的な背景技術におけるウォブリング動作を続けて顔部の追尾から例えば胸部の追尾に切り替わり、再び顔部の追尾に戻るときのＡＦ合焦状態の時間的変化を示す。このウォブリング動作でのＡＦ制御では、フォーカスレンズの焦点調節位置を基準となる焦点調節位置に対して前後方向にずらしては戻す動作を繰り返してフォーカスレンズを合焦位置まで駆動させるために、顔部の追尾から胸部の追尾に切り替わってから胸部に合焦するまでに時間を要している。
これに対して図１３は本装置のようにウォブリング動作を続けて顔部の追尾から例えば胸部の追尾に切り替わると共にスキャン駆動（山登りＡＦ動作）に切り替わり、再び顔部の追尾に戻ってウォブリング動作を行うときのＡＦ合焦状態の時間的変化を示す。スキャン駆動（山登りＡＦ動作）は、ウォブリング動作によるＡＦ制御と比べて合焦に要する時間が短い。これにより、顔部の追尾から胸部の追尾に切り替わってから直ぐに胸部に合焦することができる。胸部の追尾に切り替わった後は、ウォブリング動作により胸部に合焦する。
【００７７】
このように上記一実施の形態によれば、顔部の検出が有効な場合、顔部に対応する領域の第１の画像データに基づいてＡＦ動作、例えばウォブリング動作によりＡＦ動作を行い、顔部が有効に検出されなくなった場合、例えば胸部等の周辺部位に対応する領域の第２の画像データに基づいてＡＦ動作、例えば山登りＡＦ動作を行うので、顔部の追尾から胸部の追尾に切り替わったとき、画像データ上であれば、フレーム間で顔部の追尾から胸部の追尾に切り替わったときに、顔部に対するＡＦから胸部に対するＡＦに直ぐに切り替えることができる。
【００７８】
例えば、ポートレート撮影により顔部と胸部とを追尾している場合、これら顔部と胸部とでは本装置からの各距離（奥行方向の各距離）に差が生じるために、顔部の追尾から胸部の追尾に切り替わったときにウォブリング動作によるＡＦ動作を続けていると、ＡＦ合焦までに時間を要してＡＦ合焦に遅れを生じたり、又は偽合焦を生じるおそれがある。
これに対して本装置では、ポートレート撮影により顔部と胸部とを追尾している場合、顔部の追尾から胸部の追尾に切り替わったときにウォブリング動作からスキャン駆動（山登りＡＦ動作）に切り替わるので、ＡＦ合焦までに時間が掛からず、偽合焦を生じるおそれも低減できる。
【００７９】
なお、上記一実施の形態では、顔部の追尾と胸部の追尾とを切り替えているが、これに限らず、顔部の追尾を主の追尾とし、周辺部位の追尾として例えば首部の追尾、腹部の追尾、脚部の追尾、腕部の追尾のいずれかを追加してもよい。
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【００８０】
１００：撮像装置、１０２：撮影光学系、１０４：焦点調整機構、１０６：絞り、１０８：絞り駆動機構、１１０：シャッタ、１１２：シャッタ駆動機構、１１４：撮像素子、１１６：撮像素子インターフェイス（ＩＦ）回路、１１８：ＲＡＭ、１２０：表示素子、１２２：表示素子駆動回路、１２４：タッチパネル、１２６：タッチパネル駆動回路、１２８：記録メディア、１３０：システムコントローラ、１３２：操作部、１３４：ＲＯＭ、１３０１：ＣＰＵ、１３０２：ＡＦ制御回路、１３０３：ＡＥ制御回路、１３０４：画像処理回路、１３０５：顔部検出回路、１３０６：第１の追尾回路、１３０７：第２の追尾回路、１３０８：輝度検出回路、１３０９：色情報検出回路、１３１０：追尾切替回路、１３１１：メモリ制御回路、４０２，４０４，４０６：顔パーツ、３０８：重心位置、Ａ：顔部検出位置、Ｂ：顔部追尾位置、Ｃ：周辺部追尾位置、Ｄ１：矩形の追尾枠。
【特許請求の範囲】
【請求項１】
被写体の像を撮像して画像データを出力する撮像部と、
前記撮像部から出力された前記画像データ中から前記被写体の顔部を検出する顔部検出部と、
前記顔部検出部により検出された前記顔部と前記被写体における前記顔部以外の周辺部位とに基づいて前記被写体を追尾する被写体追尾部と、
前記画像データにおける前記顔部検出部により検出された前記顔部に対応する領域の第１の画像データ、又は前記顔部以外の周辺部位に対応する領域の第２の画像データに基づいてＡＦ動作を行うＡＦ制御部と、
を具備し、
前記ＡＦ制御部は、前記顔部検出部による前記顔部の検出が有効な場合、前記顔部に対応する領域の前記第１の画像データに基づいてＡＦ動作を行い、前記顔部が有効に検出されなくなった場合、前記周辺部位に対応する領域の前記第２の画像データに基づいてＡＦ動作を行う、
ことを特徴とする撮像装置。
【請求項２】
前記ＡＦ制御部は、前記顔部検出部による前記顔部の検出が有効でない状態から有効な状態に変わると、前記周辺部位に対応する領域の前記第２の画像データに基づくＡＦ動作から前記顔部に対応する前記第１の画像データに基づくＡＦ動作に変わることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記被写体追尾部は、前記顔部検出部により検出された前記顔部に対応する前記第１の画像データに基づいて前記被写体を追尾する第１の追尾部と、
前記顔部検出部により検出される前記顔部の位置から推定される位置の前記周辺部位に対応する前記第２の画像データに基づいて前記被写体を追尾する第２の追尾部と、
を有し、
前記ＡＦ制御部は、前記顔部検出部による前記顔部の検出が有効でなく、前記第１の追尾部による前記被写体の追尾が不能になった場合、前記第２の追尾部の追尾に用いる前記周辺部位に対応する前記第２の画像データに基づいてＡＦ動作を行う、
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記ＡＦ制御部は、前記顔部検出部による前記顔部の検出が有効な場合、前記顔部に対応する前記第１の画像データに基づいてウォブリング動作によりＡＦ動作を行い、前記顔部の検出が有効でなくなった場合、前記周辺部位に対応する前記第２の画像データに基づいて山登りＡＦ動作を行うことを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記ＡＦ制御部は、前記顔部検出部による前記顔部の検出が有効、又は前記第１の追尾部による前記被検体の追尾が可能で、前記顔部に対応する前記第１の画像データに基づくウォブリング動作によりＡＦ動作を行っている状態に、前記顔部検出部による前記顔部の検出が有効でなくなりかつ前記第１の追尾部による前記被検体の追尾が不能になると、前記第２の追尾部による前記周辺部位に対応する前記第２の画像データに基づいて山登りＡＦ動作を行うことを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記ＡＦ制御部は、前記第２の追尾部による前記被検体の追尾が有効で、前記周辺部位に対応する前記第２の画像データに基づくウォブリング動作によりＡＦ動作を行っている場合に、前記顔部検出部による前記顔部の検出が有効でない状態から有効に変化すると、前記顔部に対応する前記第１の画像データに基づいて山登りＡＦ動作を行うことを特徴とする請求項３に記載の撮像装置。
【請求項７】
前記被写体追尾部は、前記画像データ中における前記顔部又は前記周辺部位に対応する色情報を検出する色情報検出部と、
前記画像データ中における前記顔部又は前記周辺部位に対応する輝度情報の検出を行う輝度検出部と、
を有し、
前記色情報検出部により検出された前記色情報と前記輝度検出部により検出さたれた前記輝度情報とに基づいて前記被写体を追尾する、
ことを特徴とする請求項１乃至６のうちいずれか１項に記載の撮像装置。
【請求項８】
被写体の像を撮像部により撮像して画像データを出力し、
前記撮像部から出力された前記画像データ中から顔部検出部により前記被写体の顔部を検出し、
前記検出された前記顔部と前記被写体における前記顔部以外の周辺部位とに基づいて被写体追尾部により前記被写体を追尾し、
前記画像データにおける前記顔部に対応する領域の第１の画像データ、又は前記顔部以外の周辺部位に対応する領域の第２の画像データに基づいてＡＦ制御部によりＡＦ動作を行い、
前記顔部の検出が有効な場合、前記顔部に対応する領域の前記第１の画像データに基づいてＡＦ動作を行い、前記顔部が有効に検出されなくなった場合、前記周辺部位に対応する領域の前記第２の画像データに基づいてＡＦ動作を行う、
ことを特徴とする撮像方法。
【請求項９】
前記ＡＦ制御は、前記顔部の検出が有効でない状態から有効な状態に変わると、前記周辺部位に対応する領域の前記第２の画像データに基づくＡＦ動作から前記顔部に対応する前記第１の画像データに基づくＡＦ動作に変わることを特徴とする請求項８に記載の撮像方法。
【請求項１０】
コンピュータに、
被写体の像を撮像して画像データを出力させる画像データ出力機能と、
前記画像データ中から前記被写体の顔部を検出させる顔部検出機能と、
前記顔部と前記被写体における前記顔部以外の周辺部位とに基づいて被写体追尾部により前記被写体を追尾させる被写体追尾機能と、
前記画像データにおける前記顔部に対応する領域の第１の画像データ、又は前記顔部以外の周辺部位に対応する領域の第２の画像データに基づいてＡＦ動作を行わせるＡＦ制御機能と、
を有し、
前記ＡＦ制御機能は、前記顔部の検出が有効な場合、前記顔部に対応する領域の前記第１の画像データに基づいてＡＦ動作を行い、前記顔部が有効に検出されなくなった場合、前記周辺部位に対応する領域の前記第２の画像データに基づいてＡＦ動作を行う、
ことを実現させる撮像プログラム。
【請求項１１】
前記ＡＦ制御機能は、前記顔部の検出が有効でない状態から有効な状態に変わると、前記周辺部位に対応する領域の前記第２の画像データに基づくＡＦ動作から前記顔部に対応する前記第１の画像データに基づくＡＦ動作に変わることを実現させる請求項１０に記載の撮像プログラム。
【請求項１】
被写体の像を撮像して画像データを出力する撮像部と、
前記撮像部から出力された前記画像データ中から前記被写体の顔部を検出する顔部検出部と、
前記顔部検出部により検出された前記顔部と前記被写体における前記顔部以外の周辺部位とに基づいて前記被写体を追尾する被写体追尾部と、
前記画像データにおける前記顔部検出部により検出された前記顔部に対応する領域の第１の画像データ、又は前記顔部以外の周辺部位に対応する領域の第２の画像データに基づいてＡＦ動作を行うＡＦ制御部と、
を具備し、
前記ＡＦ制御部は、前記顔部検出部による前記顔部の検出が有効な場合、前記顔部に対応する領域の前記第１の画像データに基づいてＡＦ動作を行い、前記顔部が有効に検出されなくなった場合、前記周辺部位に対応する領域の前記第２の画像データに基づいてＡＦ動作を行う、
ことを特徴とする撮像装置。
【請求項２】
前記ＡＦ制御部は、前記顔部検出部による前記顔部の検出が有効でない状態から有効な状態に変わると、前記周辺部位に対応する領域の前記第２の画像データに基づくＡＦ動作から前記顔部に対応する前記第１の画像データに基づくＡＦ動作に変わることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記被写体追尾部は、前記顔部検出部により検出された前記顔部に対応する前記第１の画像データに基づいて前記被写体を追尾する第１の追尾部と、
前記顔部検出部により検出される前記顔部の位置から推定される位置の前記周辺部位に対応する前記第２の画像データに基づいて前記被写体を追尾する第２の追尾部と、
を有し、
前記ＡＦ制御部は、前記顔部検出部による前記顔部の検出が有効でなく、前記第１の追尾部による前記被写体の追尾が不能になった場合、前記第２の追尾部の追尾に用いる前記周辺部位に対応する前記第２の画像データに基づいてＡＦ動作を行う、
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記ＡＦ制御部は、前記顔部検出部による前記顔部の検出が有効な場合、前記顔部に対応する前記第１の画像データに基づいてウォブリング動作によりＡＦ動作を行い、前記顔部の検出が有効でなくなった場合、前記周辺部位に対応する前記第２の画像データに基づいて山登りＡＦ動作を行うことを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記ＡＦ制御部は、前記顔部検出部による前記顔部の検出が有効、又は前記第１の追尾部による前記被検体の追尾が可能で、前記顔部に対応する前記第１の画像データに基づくウォブリング動作によりＡＦ動作を行っている状態に、前記顔部検出部による前記顔部の検出が有効でなくなりかつ前記第１の追尾部による前記被検体の追尾が不能になると、前記第２の追尾部による前記周辺部位に対応する前記第２の画像データに基づいて山登りＡＦ動作を行うことを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記ＡＦ制御部は、前記第２の追尾部による前記被検体の追尾が有効で、前記周辺部位に対応する前記第２の画像データに基づくウォブリング動作によりＡＦ動作を行っている場合に、前記顔部検出部による前記顔部の検出が有効でない状態から有効に変化すると、前記顔部に対応する前記第１の画像データに基づいて山登りＡＦ動作を行うことを特徴とする請求項３に記載の撮像装置。
【請求項７】
前記被写体追尾部は、前記画像データ中における前記顔部又は前記周辺部位に対応する色情報を検出する色情報検出部と、
前記画像データ中における前記顔部又は前記周辺部位に対応する輝度情報の検出を行う輝度検出部と、
を有し、
前記色情報検出部により検出された前記色情報と前記輝度検出部により検出さたれた前記輝度情報とに基づいて前記被写体を追尾する、
ことを特徴とする請求項１乃至６のうちいずれか１項に記載の撮像装置。
【請求項８】
被写体の像を撮像部により撮像して画像データを出力し、
前記撮像部から出力された前記画像データ中から顔部検出部により前記被写体の顔部を検出し、
前記検出された前記顔部と前記被写体における前記顔部以外の周辺部位とに基づいて被写体追尾部により前記被写体を追尾し、
前記画像データにおける前記顔部に対応する領域の第１の画像データ、又は前記顔部以外の周辺部位に対応する領域の第２の画像データに基づいてＡＦ制御部によりＡＦ動作を行い、
前記顔部の検出が有効な場合、前記顔部に対応する領域の前記第１の画像データに基づいてＡＦ動作を行い、前記顔部が有効に検出されなくなった場合、前記周辺部位に対応する領域の前記第２の画像データに基づいてＡＦ動作を行う、
ことを特徴とする撮像方法。
【請求項９】
前記ＡＦ制御は、前記顔部の検出が有効でない状態から有効な状態に変わると、前記周辺部位に対応する領域の前記第２の画像データに基づくＡＦ動作から前記顔部に対応する前記第１の画像データに基づくＡＦ動作に変わることを特徴とする請求項８に記載の撮像方法。
【請求項１０】
コンピュータに、
被写体の像を撮像して画像データを出力させる画像データ出力機能と、
前記画像データ中から前記被写体の顔部を検出させる顔部検出機能と、
前記顔部と前記被写体における前記顔部以外の周辺部位とに基づいて被写体追尾部により前記被写体を追尾させる被写体追尾機能と、
前記画像データにおける前記顔部に対応する領域の第１の画像データ、又は前記顔部以外の周辺部位に対応する領域の第２の画像データに基づいてＡＦ動作を行わせるＡＦ制御機能と、
を有し、
前記ＡＦ制御機能は、前記顔部の検出が有効な場合、前記顔部に対応する領域の前記第１の画像データに基づいてＡＦ動作を行い、前記顔部が有効に検出されなくなった場合、前記周辺部位に対応する領域の前記第２の画像データに基づいてＡＦ動作を行う、
ことを実現させる撮像プログラム。
【請求項１１】
前記ＡＦ制御機能は、前記顔部の検出が有効でない状態から有効な状態に変わると、前記周辺部位に対応する領域の前記第２の画像データに基づくＡＦ動作から前記顔部に対応する前記第１の画像データに基づくＡＦ動作に変わることを実現させる請求項１０に記載の撮像プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−１１７６６（Ｐ２０１３−１１７６６Ａ）
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願番号】特願２０１１−１４４７７３（Ｐ２０１１−１４４７７３）
【出願日】平成２３年６月２９日（２０１１．６．２９）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願日】平成２３年６月２９日（２０１１．６．２９）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]