追尾装置、追尾方法及び追尾プログラム
【課題】少なくとも２つの領域を用いて被検体の追尾を行う場合に、確実に被検体の追尾を行うこと。
【解決手段】被写体を追尾する追尾装置は、被写体が撮像された画像デ―タ中から被写体の顔部を検出し、画像データ中における顔部に対応する色情報の領域を検出し、これら検出された顔部又は色情報の領域に基づいて顔部を追尾し、被検体中の顔部以外の周辺部位を周辺部位追尾部により追尾し、顔部の追尾が出来ない場合、顔部以外の周辺部位の追尾に切り替え、かつ胸部の位置から顔部として推定される位置で、顔部が検出される、又は顔部に対応する色情報が検出されると、顔部の追尾に戻る。
【解決手段】被写体を追尾する追尾装置は、被写体が撮像された画像デ―タ中から被写体の顔部を検出し、画像データ中における顔部に対応する色情報の領域を検出し、これら検出された顔部又は色情報の領域に基づいて顔部を追尾し、被検体中の顔部以外の周辺部位を周辺部位追尾部により追尾し、顔部の追尾が出来ない場合、顔部以外の周辺部位の追尾に切り替え、かつ胸部の位置から顔部として推定される位置で、顔部が検出される、又は顔部に対応する色情報が検出されると、顔部の追尾に戻る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物等の被写体を追尾する追尾装置、追尾方法及び追尾プログラムに関する。
【背景技術】
【０００２】
人物等の被写体を追尾する技術としては、被写体を追尾するための少なくとも２つの領域を用いて被写体を追尾する技術として例えば特許文献１がある。この特許文献１は、被写体を撮像して取得された画像データ上に被写体を追尾するための第１領域と第２領域とを有し、第１領域を常に基準領域として被写体の追尾を行い、第２領域を第１領域と独立して被写体の追尾を行うもので、例えば第１領域において顔領域の検出と第２領域として追尾領域の移動とを互いに独立して実行し、顔領域の検出と、追尾領域の画像データ内の位置との少なくとも一方に基づき、顔領域の位置を推定して設定し、顔領域が直接検出できなくなった場合でも、顔領域と独立して移動させている追尾領域の位置に基づいて、顔領域の位置を推定して設定することを開示する。この特許文献１は、以前の複数の画像データにおいて、第１領域と第２領域とが対応付けられていると判断した場合に、第１領域と第２領域との位置関係が特定されることを開示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２６８０８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１では、以前の複数の画像データにおいて、第１領域と第２領域とが対応付けられていると判断した場合に、第１領域と第２領域との位置関係が特定されるので、顔領域が直接検出できなくなった場合、第１領域と第２領域との対応付けができなくなり、顔領域と独立して移動させている追尾領域の位置に基づいて顔領域の位置を推定することが難しくなる。又、複数の被写体が存在すると、第１領域と第２領域との位置関係を特定する場合、同一の被写体中において第１領域と第２領域との対応付けが行われればよいが、目的の被写体とこの被写体とは別の被写体上でそれぞれ第１領域と第２領域との対応付けが行われてしまうと、目的の被写体とは別の被写体の顔領域の位置を推定するおそれがあり、目的の被写体の追尾が困難になるおそれがある。
【０００５】
本発明の目的は、少なくとも２つの領域を用いて被検体の追尾を行う場合に、確実に被検体の追尾ができる追尾装置、追尾方法及び追尾プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明の主要な局面に係る追尾装置は、被写体が撮像された画像デ―タ中から前記被写体の顔部を検出する顔部検出部と、前記画像データ中における前記顔部に対応する位置を追尾する顔対応部検出部と、前記顔部検出部により検出された結果と前記顔部対応部検出部により検出された結果に基づいて前記顔部を追尾する顔部追尾部と、前記被検体中の前記顔部以外の周辺部位を追尾する周辺部位追尾部と、前記顔部追尾部による前記顔部の追尾が出来ない場合、前記周辺部位追尾部による前記顔部以外の部位の追尾に切り替える追尾切替部とを具備する。
【０００７】
本発明の主要な局面に係る追尾方法は、被写体が撮像された画像デ―タ中から顔部検出部により前記被写体の顔部を検出し、前記画像データ中における前記顔部に対応する位置を顔対応部検出部により追尾し、前記顔部検出部により検出された結果と前記顔部対応部検出部により検出された結果に基づいて顔部追尾部により前記顔部を追尾し、前記被検体中の前記顔部以外の周辺部位を周辺部位追尾部により追尾し、前記顔部追尾部による前記顔部の追尾が出来ない場合、前記周辺部位追尾部による前記顔部以外の部位の追尾に切り替える。
【０００８】
本発明の主要な局面に係る追尾プログラムは、コンピュータに、被写体が撮像された画像デ―タ中から前記被写体の顔部を検出させる顔部検出機能と、前記画像データ中における前記顔部に対応する位置を追尾する顔対応部検出機能と、前記顔部検出機能により検出された結果と前記顔部対応部検出機能により検出された結果に基づいて前記顔部を追尾する顔部追尾機能と、前記被検体中の前記顔部以外の周辺部位を追尾させる周辺部位追尾機能と、前記顔部追尾機能による前記顔部の追尾が出来ない場合、前記周辺部位追尾機能による前記顔部以外の周辺部位の追尾に切り替える追尾切替機能とを実現させる。
【発明の効果】
【０００９】
本発明によれば、少なくとも２つの領域を用いて被検体の追尾を行う場合に、確実に被検体の追尾ができる追尾装置、追尾方法及び追尾プログラムを提供できる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る追尾装置を備えた撮像装置の一実施の形態を示すブロック構成図。
【図２】同装置における顔部検出回路による顔部検出の作用を説明するための図。
【図３】同装置における顏部追尾回路による輝度情報を用いて顏部の追尾の作用を説明するための図。
【図４】同装置における顏部追尾回路による色情報を用いての顏部の追尾の作用を説明するための図。
【図５】同装置における被検体に対する顔部検出位置と顔部追尾位置と周辺部追尾位置とを示す図。
【図６】同装置における顔部の正面の顔に対して設定された顔部追尾枠を示す図。
【図７】同装置における顔部の横顔に対して設定された顔部追尾枠を示す図。
【図８】同装置における周辺部位追尾回路により胸部を追尾するための胸部追尾枠を示す図。
【図９】同装置における撮影動作フローチャート。
【図１０】同装置における追尾処理フローチャート。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施の形態について図面を参照して説明する。
図１は追尾装置を備えた撮像装置の一例としてのブロック構成図を示す。撮像装置１００は、撮影光学系１０２と、焦点調整機構１０４と、絞り１０６と、絞り駆動機構１０８と、シャッタ１１０と、シャッタ駆動機構１１２と、撮像素子１１４と、撮像素子インターフェイス（ＩＦ）回路１１６と、ＲＡＭ１１８と、表示素子１２０と、表示素子駆動回路１２２と、タッチパネル１２４と、タッチパネル駆動回路１２６と、記録メディア１２８と、システムコントローラ１３０と、操作部１３２と、ＲＯＭ１３４とを有する。
【００１２】
撮影光学系１０２は、被写体からの光束Ｆを、撮像素子１１４の受光面上に集光する。この撮影光学系１０２は、フォーカスレンズ等の複数のレンズを有する。焦点調整機構１０４は、モータ及びその駆動回路等を有し、システムコントローラ１３０内のコンピュータとしてのＣＰＵ１３０１の制御に従って撮影光学系１０２内のフォーカスレンズをその光軸方向（図示一点鎖線方向）に駆動する。
絞り１０６は、開閉自在に構成され、撮影光学系１０２を介して撮像素子１１４に入射する光束Ｆの量を調整する。絞り駆動機構１０８は、絞り１０６を駆動するための駆動機構を有し、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って絞り１０６を駆動する。
【００１３】
シャッタ１１０は、撮像素子１１４の受光面を遮光状態又は露光状態とすることにより撮像素子１１４の露光時間を調整する。シャッタ駆動機構１１２は、シャッタ１１０を駆動させるための駆動機構を有し、システムコントローラ１３０内のＣＰＵ１３０１の制御に従ってシャッタ１１０を駆動する。
【００１４】
撮像素子１１４は、撮影光学系１０２を介して集光された例えば人物等の被写体及びその背景からの光束Ｆが結像される受光面を有する。この撮像素子１１４の受光面は、複数の画素を２次元状に配置して構成されており、この受光面の光入射側には、カラーフィルタが設けられている。このような撮像素子１１４は、受光面に結像された光束Ｆに対応した像（被写体像）を、その光量に応じた電気信号（以下、画像信号という）に変換する。ここで、撮像素子１１４は、ＣＣＤ方式やＣＭＯＳ方式等の種々の構成の撮像素子が知られている。また、カラーフィルタの色配列もベイヤ配列等の種々の配列が知られている。本実施形態は、撮像素子１１４の構成が特定の構成に限定されるものではなく、種々の構成の撮像素子を用いることが可能である。
【００１５】
撮像素子ＩＦ回路１１６は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って撮像素子１１４を駆動する。また、撮像素子ＩＦ回路１１６は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って撮像素子１１４で得られた画像信号を読み出し、読み出した画像信号に対してＣＤＳ（相関二重サンプリング）処理やＡＧＣ（自動利得制御）処理等のアナログ処理を施す。さらに、撮像素子ＩＦ回路１１６は、アナログ処理した画像信号をデジタル信号（以下、画像データという）に変換する。
【００１６】
ＲＡＭ１１８は、例えばＳＤＲＡＭであり、ワークエリア、評価画像エリア、参照画像エリア、追尾位置ログエリア、追尾色領域ログエリアをそれぞれ記憶エリアとして有する。
ワークエリアは、撮像素子ＩＦ回路１１６で得られた画像データ等を含む各データ、例えば撮像装置１００の各部で発生した各データを一時記憶する。
評価画像エリアは、評価画像データを一時記憶する。この評価画像データは、追尾処理における追尾対象の被写体を含むフレームの画像データである。追尾処理においては、追尾対象を追尾するように処理が行われる。
参照画像エリアは、参照画像データを一時記憶する。この参照画像データは、追尾処理において、追尾対象の探索の対象となるフレームの画像データである。追尾処理においては、参照画像データ中で探索が行われる。
追尾位置ログエリアは、追尾位置ログを一時記憶する。この追尾位置ログは、追尾処理の結果として得られた追尾位置を記録したログである。本実施の形態では、複数の追尾処理を併用して追尾対象を追尾する。したがって、追尾位置ログには、それぞれの追尾処理によって得られた追尾位置を例えば過去１０フレーム分個別に記録する。また、追尾位置ログには、後述の優先追尾位置判定処理によって採用された最終的な追尾位置も記録する。
追尾色領域ログエリアは、追尾色領域ログを一時記憶する。この追尾色領域ログは、追尾処理によって得られた追尾色領域を記録したログである。本実施の形態では、追尾色領域を例えば過去１０フレーム分個別に記録する。
【００１７】
表示素子１２０は、例えば液晶ディスプレイ（ＬＣＤ）であり、ライブビュー用の画像及び記録メディア１２８に記録される画像等の各種画像を表示する。表示素子駆動回路１２２は、システムコントローラ１３０のＣＰＵ１３０１から入力された画像データに基づいて表示素子１２０を駆動し、この表示素子１２０に画像を表示する。
タッチパネル１２４は、表示素子１２０の表示画面上に一体的に形成されており、表示画面上へのユーザの指等の接触位置等を検出する。タッチパネル駆動回路１２６は、タッチパネル１２４を駆動すると共に、タッチパネル１２４からの接触検出信号をシステムコントローラ１３０のＣＰＵ１３０１に出力する。ＣＰＵ１３０１は、接触検出信号から、ユーザの表示画面上への接触操作を検出し、その接触操作に応じた処理を実行する。
【００１８】
記録メディア１２８は、例えばメモリカードであり、撮影動作によって得られた画像ファイルが記録される。この画像ファイルは、画像データに所定のヘッダを付与して構成される。ヘッダには、撮影条件を示すデータ及び追尾位置を示すデータ等が、タグデータとして記録される。
【００１９】
システムコントローラ１３０は、撮像装置１００の動作を制御するもので、ＣＰＵ１３０１と、ＡＦ制御回路１３０２と、ＡＥ制御回路１３０３と、画像処理回路１３０４と、顔部検出回路１３０５、色情報検出回路１３０６と、顏部追尾回路１３０７と、周辺部位追尾回路１３０８と、追尾切替回路１３０９と、メモリ制御回路１３１０とを有する。
【００２０】
ＣＰＵ１３０１は、焦点調整機構１０４と、絞り駆動機構１０８と、シャッタ駆動機構１１２と、表示素子駆動回路１２２と、タッチパネル駆動回路１２６等のシステムコントローラ１３０の外部の各機能ブロック、及びシステムコントローラ１３０内部の各回路の動作を制御する。
【００２１】
ＡＦ制御回路１３０２は、コントラストＡＦ処理を制御する。具体的にＡＦ制御回路１３０２は、撮像素子ＩＦ回路１１６で得られた画像データの高周波成分を抽出し、この抽出した高周波成分を積算することにより、ＡＦ用の合焦評価値を取得する。ＣＰＵ１３０１は、この合焦評価値に従って画像データのコントラストを評価しつつ、焦点調整機構１０４を制御してフォーカスレンズを合焦状態とする。
ＡＥ制御回路１３０３は、ＡＥ動作を制御する。具体的にＡＥ制御回路１３０３は、撮像素子ＩＦ回路１１６で得られた画像データを用いて被写体輝度を算出する。ＣＰＵ１３０１は、この被写体輝度に従って、露光時の絞り１０６の開口量（絞り値）、シャッタ１１０の開放時間（シャッタ速度値）、撮像素子感度やＩＳＯ感度等を算出する。
【００２２】
画像処理回路１３０４は、撮像素子ＩＦ回路１１６で得られた画像データに対する各種の画像処理を行う。この画像処理は、例えば色補正処理、ガンマ（γ）補正処理、圧縮処理等を含む。また、画像処理回路１３０４は、圧縮されている画像データに対する伸張処理も施す。
【００２３】
顔部検出回路１３０５は、例えば人物等の被写体が撮像された画像デ―タ中から被写体の顔部を検出する。この顔部検出回路１３０５は、各フレームで得られる画像データと、図２（ａ）に示すような各顔パーツ４０２、４０４、４０６との相関量を求める。顔パーツ４０２は、人物の鼻部周辺の陰影のパターンに対応した画像データであり、顔パーツ４０４は、人物の目部周辺の陰影のパターンに対応した画像データであり、顔パーツ４０６は、人物の口部周辺の陰影のパターンに対応した画像データである。画像データと各顏パーツ４０２、４０４、４０６との相関量は、図２（ｂ）に示すような、人物の顔部を示す所定の配置となったときに最大となる。このとき、各顏パーツ４０２、４０４、４０６を含む領域４０８に人物の顏部が存在しているとする。なお、各顏パーツ４０２、４０４、４０６は、予め設定した検索顔の大きさに応じて大きさを変えてもよい。ここで、図２（ｂ）では、顏領域を矩形領域としているが、円形領域としても良い。
【００２４】
色情報検出回路１３０６は、画像データ中における顔部検出回路１３０５により検出される顔部に対応する例えば肌色等の色情報の領域を検出する。又、色情報検出回路１３０６は、画像データ中における周辺部位追尾回路１３０８により検出される被検体中の顔部以外の周辺部位に対応する例えば肌色等の色情報の領域を検出する。
【００２５】
顏部追尾回路１３０７は、顔部検出回路１３０５により検出された顔部の輝度情報、又は色情報検出回路１３０６により検出された顔部に対応する例えば肌色の色情報の領域に基づいて顔部を追尾する。この顏部追尾回路１３０７は、色情報検出回路１３０６による肌色の色情報の領域の検出よりも、顔部検出回路１３０５による顔部の検出を優先して顔部を追尾する。
【００２６】
ここで、顏部の追尾について説明する。顏部追尾回路１３０７は、画像データの輝度情報を用いて追尾処理を行う。この輝度情報を用いた追尾処理は、例えば図３（ａ）に示す（Ｎ−１）フレームにおいて追尾対象である被写体が設定された場合、この（Ｎ−１）フレームの画像データを評価画像データとしてＲＡＭ１１８の評価画像エリアに記憶する。この評価画像データの追尾対象を含む所定範囲２０２の画像データが基準画像データに設定される。この後、追尾処理では、同図（ｂ）に示すＮフレームとなる参照画像データ中において基準画像データ２０２と対応する部分を探索する。
Ｎフレームの追尾処理を例に示すと、顏部追尾回路１３０７は、Ｎフレームの画像データを参照画像データとしてＲＡＭ１１８の参照画像エリアに記憶する。顏部追尾回路１３０７は、この参照画像データのうちの所定の探索範囲２０４の画像データと基準画像データ２０２との相関量を求めることにより、参照画像データの基準画像データ２０２と対応する部分を探索する。相関量は、例えば基準画像データと参照画像データとの差分絶対値和から判定する。なお、差分絶対値和は、画素毎に輝度差の絶対値を求めてそれを積算したものである。
【００２７】
例えば、図３（ｂ）に示す参照画像データの領域２０６の参照画像データと基準画像データ２０２との差分絶対値和を求めたとすると、参照画像データの領域２０６と基準画像データ２０２とは明らかに異なる画像データであり、差分絶対値和が大きくなる。これに対し、参照画像データの領域２０８と基準画像データ２０２との差分絶対値和を求めたとすると、差分絶対値和が小さくなる。このように、基準画像データ２０２との相関量が大きくなるに従って差分絶対値和が小さくなる。輝度情報を用いた追尾処理では、相関量が最大の、即ち差分絶対値和が最小の領域を参照画像データから探索する。図２（ｂ）の例では、領域２０８が基準画像データ２０２と対応する部分として探索される。なお、追尾位置ログエリアには、領域２０８の中で最も一致度の高い位置を追尾位置として記録する。このような一致度の高い位置が複数ある場合、例えば領域２０８の中心に近い位置を追尾位置とする。次回の追尾処理時には、この追尾位置を追尾処理の開始位置とすることが望ましい。これにより、追尾処理にかかる時間を軽減することが可能である。
【００２８】
又、顏部追尾回路１３０７は、画像データの肌色の色情報を用いて追尾処理を行う。肌色の色情報を用いた追尾処理は、評価画像データ内で設定された色と同色であると判定できる領域を追尾色領域として探索する。顏部追尾回路１３０７は、図４（ａ）に示すように、（Ｎ−１）フレームにおいて、被写体のある位置３０２が指定された場合、評価画像データ中の位置３０２の色情報を取得する。そして、顏部追尾回路１３０７は、位置３０２を追尾処理の開始位置として、位置３０２と同じ色情報を有する領域を探索する。具体的に顏部追尾回路１３０７は、位置３０２を開始位置から周辺に向かうように順次肌色の色情報を取得し、取得した色情報が位置３０２の色情報と同一であると判定できる場合には領域に含め、取得した色情報が位置３０２の色情報と同一であると判定できない場合には領域に含めない。このようにして追尾色領域を探索すると、例えば、図４（ａ）に示すような単色の被写体の場合、被写体に内接する矩形領域３０４が追尾色領域となる。また、追尾位置ログエリアに記録する追尾位置は、例えば追尾色領域３０４の重心位置（図４（ａ）の例では、位置３０２と同じ）とする。次回の追尾処理においては、この追尾位置を追尾処理の開始位置とする。
【００２９】
Ｎフレームの追尾処理を例に示すと、顏部追尾回路１３０７は、図４（ｂ）に示す参照画像データとして記憶したＮフレームの画像データの所定の探索範囲の中で、（Ｎ−１）フレームの追尾位置３０２を追尾処理の開始位置とし、追尾位置３０２の周辺から順次、追尾色領域３０４の色と同色であると判定できる領域を追尾色領域として探索する。図４（ｂ）の例では、領域３０６が追尾色領域となる。また、図４（ｂ）の例では、重心位置３０８を追尾位置とし、この追尾位置３０８を、追尾位置ログエリアに記録する。また、追尾色領域ログエリアには、追尾色領域３０６の範囲を示す情報（例えば、四隅の位置）を記録する。
【００３０】
周辺部位追尾回路１３０８は、被検体中の顔部以外の周辺部位を追尾する。この周辺部位追尾回路１３０８は、上記顏部追尾回路１３０７と同様に、画像データの輝度情報及び肌色の色情報を用いて周辺部位の追尾処理を行う。この周辺部位追尾回路１３０８は、顔部から予め設定された位置関係を有する例えば被検体の胴体部、具体的には胴体部に存在する胸部を顔部以外の部位として追尾する。この顔部と胸部との位置関係は、画像データ上において被検体の顔部から予め設定された距離だけ下方、すなわち人物の顔部よりも下方を首部、胸部、腹部、脚部とすると、顔部から予め設定された距離だけ下方の位置が胸部であるとの関係に設定されている。周辺部位追尾回路１３０８は、なお、周辺部位は、被検体中の顔部に限らず、例えば首部、腹部、脚部、腕部であってもよい。
【００３１】
図５は被検体に対する顔部検出位置Ａと顔部追尾位置Ｂと周辺部追尾位置Ｃとを示す。顔部検出位置Ａは、顔部検出回路１３０５により検出された顔部を示し、例えば図２に示す矩形の領域４０８に対応する。
顔部追尾位置Ｂは、色情報検出回路１３０６により検出された顔部に対応する肌色の色情報の領域に基づいて顔部を追尾するための位置を示し、例えば図４（ａ）（ｂ）に示す追尾色領域３０４の重心位置３０２又は３０８に対応する。この顔部追尾位置Ｂは、上記の通り追尾位置ログエリアに記録される。
周辺部追尾位置Ｃは、周辺部位追尾回路１３０８により追尾する被検体中の顔部以外の周辺部位、例えば胸部を示す。この周辺部追尾位置Ｃは、例えば矩形の枠により被検体中の胸部を示す。この周辺部追尾位置Ｃは、矩形の枠に限らず、円形の枠であってもよい。
【００３２】
なお、顏部追尾回路１３０７は、顔部検出回路１３０５により検出された顔部、又は色情報検出回路１３０６により検出された顔部に対応する肌色の色情報の領域に基づいて顔部を追尾するとき例えば図６又は図７に示すように矩形の顔部追尾枠Ｄ１を例えばＬＣＤである表示素子１２０に表示する。図６は顔部の正面の顔に対して設定された顔部追尾枠Ｄ１を示し、図７は顔部の横顔に対して設定された顔部追尾枠Ｄ１を示す。この顔部追尾枠Ｄ１は、矩形の枠に限らず、円形の枠であってもよい。なお、顔部は、正面の顔又は横顔であっても顔部として追尾される。
【００３３】
又、周辺部位追尾回路１３０８は、被検体中の顔部以外の周辺部位として例えば胸部を追尾するとき例えば図８に示すように矩形の胸部追尾枠Ｄ２を例えばＬＣＤである表示素子１２０に表示する。この胸部追尾枠Ｄ２は、矩形の枠に限らず、円形の枠であってもよい。
【００３４】
追尾切替回路１３０９は、顔部追尾回路１３０７による顔部の追尾が出来ない場合、例えば図６又は図７に示すような顔部追尾枠Ｄ１の表示による顔部の追尾から周辺部位追尾回路１３０８による顔部以外の部位、例えば図８に示すような胸部の追尾に切り替え、同図に示すように胸部上に矩形の胸部追尾枠Ｄ２を例えばＬＣＤである表示素子１２０に表示する。
この追尾切替回路１３０９は、顔部以外の部位、例えば胸部の位置から顔部として推定される位置で、顔部が検出される、又は顔部に対応する肌色の色情報が検出されると、図８に示すような周辺部位追尾回路１３０８による胸部の追尾（胸部追尾枠Ｄ２の表示）から図６又は図７に示すような顔部追尾回路１３０７による顔部の追尾（顔部追尾枠Ｄ１の表示）に戻る。
なお、顔部と胸部との位置関係は、画像データ上において被検体の顔部から予め設定された距離だけ下方、すなわち人物の顔部よりも下方を首部、胸部、腹部、脚部とすると、顔部から予め設定された距離だけ下方の位置が胸部であるとの関係に設定されているので、人物の胸部よりも予め設定された距離だけ上方に顔部が存在することを推定できる。
【００３５】
追尾切替回路１３０９は、顔部に対応する肌色の色情報を予め記憶し、顔部として推定される位置における色情報が予め記憶されている色情報と一致したときに、顔部に対応する肌色の色情報が検出されたとして顔部追尾回路１３０７による顔部の追尾に戻る。
追尾切替回路１３０９は、少なくとも顔部検出回路１３０５により顔部が検出されず、かつ色情報検出回路１３０６により肌色の色情報の領域が検出されない場合、顔部追尾回路１３０７による顔部の追尾が出来ないと判定する。
追尾切替回路１３０９は、画像デ―タ中に顔部が検出されず、肌色の色情報の領域に基づいて顔部を追尾できず当該追尾の性能が悪化すれば、顔部追尾回路１３０７による顔部の追尾が出来ないと判定する。
【００３６】
メモリ制御回路１３１０は、ＣＰＵ１３０１等がＲＡＭ１１８、記録メディア１２８、ＲＯＭ１３４に対してアクセスするための制御を行うインターフェイスである。
操作部１３２は、ユーザによって操作される各種の操作部材である。この操作部１３２は、例えば、レリーズ釦、動画釦、モードダイヤル、選択キー、電源釦等を含む。
レリーズ釦は、１ｓｔレリーズスイッチと、２ｎｄレリーズスイッチとを有する。１ｓｔレリーズスイッチは、ユーザがレリーズ釦を半押しするとオンするスイッチである。この１ｓｔレリーズスイッチがオンすることにより、ＡＦ処理等の撮影準備動作が行われる。２ｎｄレリーズスイッチは、ユーザがレリーズ釦を全押しするとオンするスイッチである。この２ｎｄレリーズスイッチがオンすることにより、静止画撮影用の露光動作が行われる。
動画釦は、動画撮影の開始又は終了を指示するための操作部材である。ユーザによって動画釦が押されると動画撮影処理が開始される。また、動画撮影処理の実行中に動画釦が押されると、動画撮影処理が終了される。
モードダイヤルは、撮像装置の撮影設定を選択するための操作部材である。本実施形態では、撮像装置の撮影設定として、例えば、静止画撮影モードと動画撮影モードを選択できる。静止画撮影モードは、静止画像を撮影するための撮影設定である。また、動画撮影モードは、動画像を撮影するための撮影設定である。
選択キーは、例えばメニュー画面上での項目の選択や決定をするための操作部材である。ユーザによって選択キーが操作されるとメニュー画面上での項目の選択や決定が行われる。
電源釦は、撮像装置の電源をオン又はオフするための操作部材である。ユーザによって電源釦が操作されると、本装置１００が起動して動作可能な状態となる。撮像装置が起動している間に電源釦が操作されると、本装置１００が省電力待機状態となる。
【００３７】
ＲＯＭ１３４は、ＣＰＵ１３０１が種々の処理を実行するためのプログラムコードを記憶する。プログラムコードは、被写体を追尾する追尾プログラムを含む。この追尾プログラムは、コンピュータとしてのＣＰＵ１３０１に、被写体が撮像された画像デ―タ中から被写体の顔部を検出させる顔部検出機能と、画像データ中における顔部に対応する位置を追尾する顔対応部検出機能と、前記顔部検出機能により検出された結果と前記顔部対応部検出機能により検出された結果に基づいて前記顔部を追尾する顔部追尾機能と、被検体中の顔部以外の周辺部位を追尾させる周辺部位追尾機能と、顔部追尾機能による顔部の追尾が出来ない場合、周辺部位追尾機能による顔部以外の周辺部位の追尾に切り替える追尾切替機能とを実現させる。
追尾切替機能は、顔部以外の周辺部位の位置から顔部として推定される位置で、顔部が検出される、又は顔部に対応する色情報が検出されると、顔部追尾機能による顔部の追尾に戻る。
【００３８】
また、ＲＯＭ１３４は、撮影光学系１０２、絞り１０６及び撮像素子１１４等の動作に必要な制御パラメータ、並びに画像処理回路１３０４での画像処理に必要な制御パラメータ等の各種の制御パラメータを記憶している。さらにＲＯＭ１３４は、顏検出回路１３０７における顏検出に用いられる顏パーツのデータや追尾枠を表示するためのデータ等も記憶している。
【００３９】
次に、上記の如く構成された本装置の動作について図９に示す撮影動作フローチャートを参照して説明する。
ＣＰＵ１３０１は、ＲＯＭ１３４から必要なプログラムコードを読み込んで本装置１００の動作を制御する。
ＣＰＵ１３０１は、ステップＳ１００において、現在の本装置１００の撮影設定が静止画撮影モードであるか否かを判定する。この撮影設定は、モードダイヤルによって設定される。
判定の結果、撮影設定が静止画撮影モードであると、ＣＰＵ１３０１は、ステップＳ１０２において、ライブビュー動作を開始させる。ライブビュー動作として、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御してシャッタ１１０を開放した後、撮像素子ＩＦ回路１１６を制御して撮像素子１１４による撮像を開始させる。その後、ＣＰＵ１３０１は、撮像素子１１４による撮像の結果としてＲＡＭ１１８のワークエリアに記憶された画像データを画像処理回路１３０４に入力してライブビュー表示用の画像処理を施す。続いて、ＣＰＵ１３０１は、ライブビュー表示用の画像処理がされた画像データを表示素子駆動回路１２２に入力し、表示素子１２０に画像を表示させる。このような表示動作を繰り返し実行することにより、被写体の画像を動画表示する。この動画表示により、ユーザは、被写体を観察することが可能である。
【００４０】
ＣＰＵ１３０１は、ステップＳ１０４において、１ｓｔレリーズスイッチがオンされたか否かを判定する。この判定の結果、１ｓｔレリーズスイッチがオンされたと判定するまでＣＰＵ１３０１は、ライブビュー動作を継続する。
１ｓｔレリーズスイッチがオンされると、ＣＰＵ１３０１は、ステップＳ１０６において、レリーズＡＦ処理を行う。このレリーズＡＦでは、スキャン駆動によって、フォーカスレンズを合焦位置まで駆動させる。スキャン駆動では、ＣＰＵ１３０１は、焦点調整機構１０４を制御してフォーカスレンズを所定のスキャン範囲内で一方向に駆動させつつ、ＡＦ制御回路１３０２で順次算出される合焦評価値を評価する。ＣＰＵ１３０１は、合焦評価値の評価の結果、コントラストが最大となるレンズ位置において、フォーカスレンズの駆動を停止させる。このようなスキャン駆動は、ＡＦ前のフォーカスレンズの位置と合焦位置との差が大きい場合に行われる。
【００４１】
ＣＰＵ１３０１は、ステップＳ１０８において、表示素子駆動回路１２２を制御して、表示素子１２０に追尾枠を表示させる。ここで、追尾枠は、表示素子１２０の画面上の追尾対象の位置に表示させる。例えば、レリーズＡＦで合焦した被写体を追尾対象とし、その被写体に追尾枠を表示させるようしても良い。顏検出回路１３０７によって人物の顏部が検出された場合には、例えば図６又は図７に示すように顔部に追尾枠Ｄ１を表示させるようにしても良い。さらに、タッチパネル１２４により、表示素子１２０の画面上に表示された被写体が指定された場合には、その被写体上に追尾枠を表示させるようにしても良い。このように、本実施形態においては、ＣＰＵ１３０１、ＡＦ制御回路１３０２、顏検出回路１３０７、タッチパネル１２４等が追尾対象設定部の一例として機能する。
【００４２】
ＣＰＵ１３０１は、ステップＳ１１０において、被写体を追尾する追尾処理を行う。この追尾処理は、後述する。
ＣＰＵ１３０１は、ステップＳ１１２において、追尾位置の被写体に合焦するようにＡＦ処理を行うと共に、追尾位置の被写体の露光が適正となるようにＡＥ処理を行う。
追尾処理後のＡＦ処理においては、スキャン駆動又はウォブリング駆動によって、フォーカスレンズを合焦位置まで駆動させる。ウォブリング駆動では、ＣＰＵ１３０１は、フォーカスレンズを駆動したときにＡＦ制御回路１３０２で算出された合焦評価値が、前回のレンズ位置での合焦評価値に対して増加したかを判定する。そして、ＣＰＵ１３０１は、合焦評価値が増加した場合には前回と同方向にフォーカスレンズを微小駆動させ、合焦評価値が減少した場合には前回と逆方向にフォーカスレンズを微小駆動させる。このような動作を高速で繰り返してフォーカスレンズを徐々に合焦位置まで駆動させる。
また、ＡＥ処理において、ＣＰＵ１３０１は、ＡＥ制御回路１３０３で算出された追尾位置の被写体の輝度を予め定められた適正な量（適正露光量）とする、本露光時の絞り１０６の開口量（絞り値）、シャッタ１１０の開放時間（シャッタ速度値）を算出する。
【００４３】
ＣＰＵ１３０１は、ステップＳ１１４において、２ｎｄレリーズスイッチがオンされたか否かを判定する。２ｎｄレリーズスイッチがオンされていないと判定されると、ＣＰＵ１３０１は、ステップＳ１１０の追尾処理以後の処理を実行する。このように、静止画撮影モード時には、２ｎｄレリーズスイッチがオンされるまでは、追尾処理が継続される。
【００４４】
また、２ｎｄレリーズスイッチがオンされると、ＣＰＵ１３０１は、ステップＳ１１６において、表示素子駆動回路１２２を制御して、追尾枠Ｄ１を非表示とする。
ＣＰＵ１３０１は、ステップＳ１１８において、静止画像データを記録メディア１２８に記録する処理を行う。この際、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御して、シャッタ１１０を閉じる。その後、ＣＰＵ１３０１は、絞り駆動機構１０８を制御して、絞り１０６を先に算出した絞り値まで絞り込む。続いて、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御して、シャッタ１１０を先に算出した開放時間だけ開放しつつ、撮像素子１１４による撮像（露光）を行う。その後、ＣＰＵ１３０１は、撮像素子１１４を介して得られた静止画像データを画像処理回路１３０４において処理する。そして、ＣＰＵ１３０１は、画像処理回路１３０４において処理された静止画像データにヘッダを付与して静止画像ファイルを生成し、生成した静止画像ファイルを記録メディア１２８に記録する。
ＣＰＵ１３０１は、ステップＳ１２０において、上記ステップＳ１１０の追尾処理の結果として得られた追尾位置を示すデータを、先に記録メディア１２８に記録した静止画像ファイルに追記する。その後に、ＣＰＵ１３０１は、図９に示す撮影動作を示すフローチャートに従った動作を終了する。
【００４５】
一方、上記ステップＳ１００において、撮影設定が動画撮影モードであると判定されると、ＣＰＵ１３０１は、ステップＳ１２２において、ライブビュー動作を開始する。
【００４６】
動画撮影オンの指示である動画釦がオンされたと判定されると、ＣＰＵ１３０１は、ステップＳ１２６において、表示素子駆動回路１２２を制御して表示素子１２０に例えば図６又は図７に示すように顔部に追尾枠Ｄ１を表示させる。
ＣＰＵ１３０１は、ステップＳ１２８において、顔部検出回路１３０５、顔部追尾回路１３０７、周辺部位追尾回路１３０８へ追尾処理の開始を指示する。この追尾処理は、後述する。
ＣＰＵ１３０１は、ステップＳ１３０において、ＡＦ制御回路１３０２へ追尾位置の被写体に合焦するようにＡＦ処理を指示すると共に、ＡＥ制御回路１３０３へ追尾位置の被写体の露光が適正となるようにＡＥ処理を指示する。このときのＡＦ処理では、ウォブリング駆動によって撮影光学系１０２のフォーカスレンズを合焦位置まで駆動させる。
【００４７】
ＣＰＵ１３０１は、ステップＳ１３２において、動画像データを記録メディア１２８に記録する処理を行う。この際、ＣＰＵ１３０１は、絞り駆動機構１０８を制御し、絞り１０６をＡＥ処理において算出した絞り値まで絞り込む。続いて、ＣＰＵ１３０１は、ＡＥ処理において算出したシャッタ速度値に対応した時間だけ撮像素子１１４による撮像（露光）を実行させる。露光の終了後、ＣＰＵ１３０１は、動画像ファイルを生成して記録メディア１２８に記録する。また、ＣＰＵ１３０１は、撮像素子１１４を介して得られた動画像データを画像処理回路１３０４において処理し、画像処理回路１３０４において処理された動画像データを動画像ファイルに記録する。
【００４８】
ＣＰＵ１３０１は、ステップＳ１３４において、上記ステップＳ１２８の追尾処理の結果として得られた追尾位置を示すデータを、先に記録メディア１２８に記録した動画像ファイルに記録する。
ＣＰＵ１３０１は、ステップＳ１３６において、動画釦がオフされたか否かを判定する。この判定の結果、動画釦がオフされていないと判定されると、ＣＰＵ１３０１は、ステップＳ１２８の追尾処理以後の処理を実行する。このように、動画撮影モード時では、動画釦がオフされるまでは、追尾処理と動画像データの記録が継続される。
【００４９】
また、動画釦がオフされたと判定されると、ＣＰＵ１３０１は、ステップＳ１３８において、表示素子駆動回路１２２を制御し、追尾枠Ｄ１を非表示とする。その後、ＣＰＵ１３０１は、図９に示す撮影動作を示すフローチャートに従った動作を終了する。
次に、本実施の形態に係る追尾処理について図１０に示す追尾処理フローチャートに従って説明する。
ＣＰＵ１３０１は、ステップＳ２００において、撮像素子ＩＦ回路１１６を制御して撮像素子１１４による撮像を実行する。
ＣＰＵ１３０１は、ステップＳ２０１において、撮像素子１１４による撮像により、撮像素子ＩＦ回路１１６において得られた画像データをＲＡＭ１１８に取り込む。ＣＰＵ１３０１は、初回の追尾処理で得られた画像データを評価画像データとし、この画像データをＲＡＭ１１８の評価画像エリアに取り込む。また、ＣＰＵ１３０１は、２回目以後の追尾処理で得られた画像データを参照画像データとし、これら２回目以後の追尾処理で得られた画像データをそれぞれＲＡＭ１１８の参照画像エリアに取り込む。
【００５０】
ＣＰＵ１３０１は、ステップＳ２０２において、顔部検出回路１３０５により、例えば人物等の被写体が撮像された画像デ―タ中から被写体の顔部を検出する。この顔部検出回路１３０５は、上記図２（ａ）（ｂ）を参照して説明したように各フレームで得られる画像データと各顔パーツ４０２、４０４、４０６との相関量を求め、この相関量が人物の顔部を示す所定の配置となったときに最大となることを利用して人物の顏部が存在している領域を検出する。
【００５１】
ＣＰＵ１３０１は、ステップＳ２０３において、周辺部位追尾回路１３０８により、被検体中の顔部以外の周辺部位、例えば顔部検出回路１３０５により検出された顔部から予め設定された距離だけ下方の胸部を周辺部位として設定する。
ＣＰＵ１３０１は、ステップＳ２０４において、顔部追尾回路１３０７により画像データの輝度情報を用いて顔部の追尾処理を行うと共に、周辺部位追尾回路１３０８により画像データの輝度情報を用いて胸部の追尾処理を行う。輝度情報を用いた追尾処理は、顔部と胸部とに対し、上記図３（ａ）（ｂ）を参照して説明と同様に、（Ｎ−１）フレームにおいて追尾対象である被写体が設定された場合、この（Ｎ−１）フレームの画像データを評価画像データとしてＲＡＭ１１８の評価画像エリアに記憶する。この評価画像データの追尾対象を含む所定範囲２０２の画像データが基準画像データに設定される。この後、追尾処理では、同図（ｂ）に示すＮフレームとなる参照画像データ中において基準画像データ２０２と対応する部分を探索する。
【００５２】
なお、初回の追尾処理においては、評価画像データのみが取得された状態であるので、ステップＳ２０４以後の処理は省略される。以後の説明においては、評価画像データと参照画像データの両方が取得されているものとして説明を続ける。
ＣＰＵ１３０１は、ステップＳ２０５において、輝度情報を用いた顔部と胸部との各追尾処理の結果として得られた各追尾位置を、それぞれＲＡＭ１１８の追尾ログエリアに記憶する。
【００５３】
ＣＰＵ１３０１は、ステップＳ２０６において、顔部追尾回路１３０７により画像データの色情報を用いて顔部の追尾処理を行うと共に、周辺部位追尾回路１３０８により画像データの色情報を用いて胸部の追尾処理を行う。色情報を用いた追尾処理は、顔部と胸部とに対し、評価画像データ内で設定された色と同色であると判定できる領域を追尾色領域として探索する。この顏部追尾回路１３０７は、上記図４（ａ）に示すように、（Ｎ−１）フレームにおいて、被写体のある位置３０２が指定された場合、評価画像データ中の位置３０２の色情報を取得し、この位置３０２を追尾処理の開始位置として、位置３０２と同じ色情報を有する領域を探索する。
【００５４】
ＣＰＵ１３０１は、ステップＳ２０７において、色情報を用いた追尾処理の結果として得られた顔部と胸部との各追尾位置をＲＡＭ１１８の追尾ログエリアに記憶する。ＣＰＵ１３０１は、色情報を用いた追尾処理の結果として得られた追尾色領域をＲＡＭ１１８の追尾色領域ログエリアに記憶する。
【００５５】
ＣＰＵ１３０１は、ステップＳ２０８において、追尾切替回路１３０９により、顔部の追尾が出来るか否かを判定する。具体的に、追尾切替回路１３０９は、画像デ―タ中に顔部が検出されず、肌色の色情報の領域に基づいて顔部を追尾できず当該追尾の性能が悪化しているか否かを判定する。
画像デ―タ中に顔部が検出され、または肌色の色情報の領域に基づいて顔部を追尾できるとき、顔部にて追尾可能と判断する。なお、肌色の色情報の領域に基づく追尾可否は、追尾対象として記憶した肌色情報が前記画像データ中に存在するか否かで判定する。
画像デ―タ中に顔部が検出されず、かつ肌色の色情報の領域に基づいて顔部を追尾できないとき、顔部にて追尾不可と判断する。
【００５６】
この判定の結果、画像デ―タ中に顔部のデータが有り、かつ肌色の色情報の領域に基づいて顔部を追尾できれば、ＣＰＵ１３０１は、ステップＳ２０９において、優先追尾位置判定処理を行う。この優先追尾位置判定処理は、顔部の追尾において、輝度情報を用いた追尾処理の結果と色情報を用いた追尾処理の結果との何れを採用するかを判定するための処理であり、ここでは、上記の通り輝度情報及び色情報を用いてそれぞれ顔部の追尾が出来るので、例えば色情報を用いた追尾処理の結果を優先する。
【００５７】
ＣＰＵ１３０１は、ステップＳ２１０において、優先追尾位置判定処理の結果として採用された追尾位置の信頼性を判断する。輝度情報を用いた追尾処理の結果が採用された場合には、例えば参照画像データのコントラストから信頼性を判断する。具体的には、参照画像データにおける追尾対象の領域の隣接画素間の差分和が所定値以上である場合には、信頼性があると判断する。また、色情報を用いた追尾処理の結果が採用された場合には、例えば参照画像データの彩度から信頼性を判断する。具体的には、参照画像データの追尾位置の彩度が所定値以上である場合には、信頼性があると判断する。これらの信頼性を判定するための閾値はシミュレーション結果または実験データを基に適宜設定可能である。
【００５８】
ＣＰＵ１３０１は、ステップＳ２１１において、参照画像データの最終的な追尾位置を、ＲＡＭ１１８の追尾ログエリアに記録する。次回の追尾処理においては、輝度情報を用いた追尾処理と色情報を用いた追尾処理の両方で、この最終的な追尾位置を追尾処理の開始位置とする。ただし、ステップＳ２１６の信頼性判断において、信頼性がないと判断された場合には、追尾位置を記録しないようにしても良い。
ＣＰＵ１３０１は、ステップＳ２１２において、表示素子駆動回路１２２を制御し、例えば図６又は図７に示すように顔部追尾枠Ｄ１の表示位置をステップＳ２１８で記憶させた追尾位置に対応した位置に更新する。
【００５９】
一方、上記ステップＳ２０８での判定の結果、画像デ―タ中に顔部のデータが無く、肌色の色情報の領域に基づいて顔部を追尾できず当該追尾の性能が悪化していれば、ＣＰＵ１３０１は、顔部の追尾が出来ないと判定する。
ＣＰＵ１３０１は、ステップＳ２１３に移り、追尾切替回路１３０９により、顔部の追尾から周辺部位における周辺部位追尾回路１３０８による追尾に切り替える。周辺部位とは、ＣＰＵ１３０１が、顔検出結果と予め取得した統計データから推定した位置である。具体的には、顔部の位置を基準とし、この基準の位置から統計データに応じて得られた距離分だけ下方の位置を顔周辺部の位置とする。ここで、ＲＯＭ１３４に記憶されている統計データは、ある固定の距離で測定した顔部の位置から顔周辺部の位置までの統計データである。したがって、撮像装置から追尾対象までの距離が統計データを得たときの距離と異なる場合には、その距離差に応じて顔周辺部の位置を補正する。撮像装置から追尾対象までの距離は、例えば顔部のサイズ（画面上に占める顔部のサイズの割合）から算出する。そして、この距離に応じて統計データの値を補正して実際の画像データ上での顔周辺部の位置を算出する。周辺部位追尾回路１３０８は、画像データの輝度情報及び色情報を用いて周辺部位の追尾処理を行う。
【００６０】
ＣＰＵ１３０１は、ステップＳ２１４において、優先追尾位置判定処理を行う。この優先追尾位置判定処理は、周辺部位の追尾において、輝度情報を用いた追尾処理の結果と色情報を用いた追尾処理の結果との何れを採用するかを判定するための処理である。具体的には、輝度情報及び色情報から算出した追尾位置の位置関係と、輝度情報及び色情報から算出した追尾位置における色情報から優先追尾位置を判定する。
【００６１】
ＣＰＵ１３０１は、ステップＳ２１５において、優先追尾位置判定処理の結果として採用された追尾位置の信頼性を判断する。輝度情報を用いた追尾処理の結果が採用された場合には、例えば参照画像データのコントラストから信頼性を判断する。具体的には、参照画像データにおける追尾対象の領域の隣接画素間の差分和が所定値以上である場合には、信頼性があると判断する。
【００６２】
ＣＰＵ１３０１は、ステップＳ２１１において、参照画像データの最終的な追尾位置を、ＲＡＭ１１８の追尾ログエリアに記録する。次回の追尾処理においては、輝度情報を用いた追尾処理で、この最終的な追尾位置を追尾処理の開始位置とする。ただし、ステップＳ２１６の信頼性判断において、信頼性がないと判断された場合には、追尾位置を記録しないようにしても良い。
ＣＰＵ１３０１は、ステップＳ２１２において、表示素子駆動回路１２２を制御し、例えば図６又は図８に示すように胸部追尾枠Ｄ２の表示位置をステップＳ２１１で記憶させた追尾位置に対応した位置に更新する。
【００６３】
ＣＰＵ１３０１は、上記ステップＳ２０１〜Ｓ２０７を実行し、ステップＳ２０８において、追尾切替回路１３０９により、顔部の追尾が出来るか否か、すなわち、顔部以外の部位、例えば胸部の位置から顔部として推定される位置で、顔部が検出される、又は顔部に対応する肌色の色情報が検出されるか否かを判定する。
この判定の結果、例えば胸部の位置から顔部として推定される位置で、顔部が検出されず、又は顔部に対応する肌色の色情報が検出されなければ、ＣＰＵ１３０１は、上記ステップＳ２１３に移り、追尾切替回路１３０９により、胸部の追尾を継続する。周辺部位追尾回路１３０８は、上記の通り、画像データの輝度情報及び色情報を用いて胸部の追尾処理を行う。
【００６４】
一方、上記判定の結果、胸部の位置から顔部として推定される位置で、顔部が検出され、又は顔部に対応する肌色の色情報が検出されると、ＣＰＵ１３０１は、周辺部位追尾回路１３０８による胸部の追尾から顔部追尾回路１３０７による顔部の追尾に戻る。なお、追尾切替回路１３０９は、顔部に対応する肌色の色情報を予め記憶し、顔部として推定される位置における色情報が予め記憶されている色情報と一致したときに、顔部に対応する肌色の色情報が検出されたとする。
ＣＰＵ１３０１は、上記ステップＳ２０９〜Ｓ２１１を実行し、ステップＳ２１２において、図８に示すような周辺部位追尾回路１３０８による図８に示すような胸部の追尾（胸部追尾枠Ｄ２の表示）から図６又は図７に示すような顔部追尾回路１３０７による顔部の追尾（顔部追尾枠Ｄ１の表示）に戻る。
その後、ＣＰＵ１３０１は、図１０に示す追尾処理フローチャートに従った追尾処理を終了する。
【００６５】
このように上記一実施の形態によれば、被写体の顔部にて追尾が継続出来ないとき、顔部以外の周辺部位として例えば胸部の追尾に切り替えて被検体の追尾を行う。これにより、例えば顔部及び少なくとも胸部の２つの領域を用いて被検体の追尾を行う場合に、例えば基準領域として顔部を用いての追尾結果が良くなくても、胸部等の領域を基準領域として切り替えて、この胸部等の領域を用いて確実に被検体の追尾ができる。
又、胸部等の領域を基準領域として被検体の追尾をしている状態で、この胸部の位置から顔部として推定される位置で顔部が検出される又は顔部に対応する色情報が検出されると、再び、顔部を用いての追尾ができる。
【００６６】
顔部の追尾から例えば胸部の追尾への切り替えは、画像デ―タ中に顔部のデータが無く、肌色の色情報の領域に基づいて顔部を追尾できず当該追尾の性能が悪化ことを条件としているので、顔部の追尾が完全に出来ない状態になった時点で胸部への追従に切り替えることができる。
胸部の追尾から顔部の追尾への戻りは、胸部の位置から顔部として推定される位置で、顔部が検出され、又は顔部に対応する肌色の色情報が検出されることを条件としているので、顔部の追尾が完全に出来る状態になった時点で顔部への追従に戻ることができる。
【００６７】
顔部と胸部とは、画像データ上において被検体の顔部から予め設定された距離だけ下方に胸部であるとの関係に設定され、かつ胸部よりも予め設定された距離だけ上方に顔部が存在することに設定されているので、例えば顔部の追尾が出来なくなっても、同一人物の胸部の追尾に確実に切り替えることができ、他の人物の胸部の追尾に切り替わることがない。同様に、胸部の追尾から顔部の追尾に戻る場合も、同一人物の顔部の追尾に確実に切り替えることができ、他の人物の顔部の追尾に切り替わることがない。これにより、追尾の対象部位が切り替わっても、常に同一人物の追尾を継続できる。
【００６８】
なお、上記一実施の形態では、顔部の追尾と胸部の追尾とを切り替えているが、これに限らず、顔部の追尾を主の追尾とし、周辺部位の追尾として例えば首部の追尾、腹部の追尾、脚部の追尾、腕部の追尾のいずれかを追加してもよい。
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【００６９】
１００：撮像装置、１０２：撮影光学系、１０４：焦点調整機構、１０６：絞り、１０８：絞り駆動機構、１１０：シャッタ、１１２：シャッタ駆動機構、１１４：撮像素子、１１６：撮像素子インターフェイス（ＩＦ）回路、１１８：ＲＡＭ、１２０：表示素子、１２２：表示素子駆動回路、１２４：タッチパネル、１２６：タッチパネル駆動回路、１２８：記録メディア、１３０：システムコントローラ、１３２：操作部、１３４：ＲＯＭ、１３０１：ＣＰＵ、１３０２：ＡＦ制御回路、１３０３：ＡＥ制御回路、１３０４：画像処理回路、１３０５：顔部検出回路、１３０６：色情報検出回路、１３０７：顏部追尾回路、１３０８：周辺部位追尾回路、１３０９：追尾切替回路、１３１０：メモリ制御回路、４０２，４０４，４０６：顔パーツ、３０８：重心位置、Ａ：顔部検出位置、Ｂ：顔部追尾位置、Ｃ：周辺部追尾位置、Ｄ１：矩形の追尾枠。
【技術分野】
【０００１】
本発明は、人物等の被写体を追尾する追尾装置、追尾方法及び追尾プログラムに関する。
【背景技術】
【０００２】
人物等の被写体を追尾する技術としては、被写体を追尾するための少なくとも２つの領域を用いて被写体を追尾する技術として例えば特許文献１がある。この特許文献１は、被写体を撮像して取得された画像データ上に被写体を追尾するための第１領域と第２領域とを有し、第１領域を常に基準領域として被写体の追尾を行い、第２領域を第１領域と独立して被写体の追尾を行うもので、例えば第１領域において顔領域の検出と第２領域として追尾領域の移動とを互いに独立して実行し、顔領域の検出と、追尾領域の画像データ内の位置との少なくとも一方に基づき、顔領域の位置を推定して設定し、顔領域が直接検出できなくなった場合でも、顔領域と独立して移動させている追尾領域の位置に基づいて、顔領域の位置を推定して設定することを開示する。この特許文献１は、以前の複数の画像データにおいて、第１領域と第２領域とが対応付けられていると判断した場合に、第１領域と第２領域との位置関係が特定されることを開示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２６８０８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１では、以前の複数の画像データにおいて、第１領域と第２領域とが対応付けられていると判断した場合に、第１領域と第２領域との位置関係が特定されるので、顔領域が直接検出できなくなった場合、第１領域と第２領域との対応付けができなくなり、顔領域と独立して移動させている追尾領域の位置に基づいて顔領域の位置を推定することが難しくなる。又、複数の被写体が存在すると、第１領域と第２領域との位置関係を特定する場合、同一の被写体中において第１領域と第２領域との対応付けが行われればよいが、目的の被写体とこの被写体とは別の被写体上でそれぞれ第１領域と第２領域との対応付けが行われてしまうと、目的の被写体とは別の被写体の顔領域の位置を推定するおそれがあり、目的の被写体の追尾が困難になるおそれがある。
【０００５】
本発明の目的は、少なくとも２つの領域を用いて被検体の追尾を行う場合に、確実に被検体の追尾ができる追尾装置、追尾方法及び追尾プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明の主要な局面に係る追尾装置は、被写体が撮像された画像デ―タ中から前記被写体の顔部を検出する顔部検出部と、前記画像データ中における前記顔部に対応する位置を追尾する顔対応部検出部と、前記顔部検出部により検出された結果と前記顔部対応部検出部により検出された結果に基づいて前記顔部を追尾する顔部追尾部と、前記被検体中の前記顔部以外の周辺部位を追尾する周辺部位追尾部と、前記顔部追尾部による前記顔部の追尾が出来ない場合、前記周辺部位追尾部による前記顔部以外の部位の追尾に切り替える追尾切替部とを具備する。
【０００７】
本発明の主要な局面に係る追尾方法は、被写体が撮像された画像デ―タ中から顔部検出部により前記被写体の顔部を検出し、前記画像データ中における前記顔部に対応する位置を顔対応部検出部により追尾し、前記顔部検出部により検出された結果と前記顔部対応部検出部により検出された結果に基づいて顔部追尾部により前記顔部を追尾し、前記被検体中の前記顔部以外の周辺部位を周辺部位追尾部により追尾し、前記顔部追尾部による前記顔部の追尾が出来ない場合、前記周辺部位追尾部による前記顔部以外の部位の追尾に切り替える。
【０００８】
本発明の主要な局面に係る追尾プログラムは、コンピュータに、被写体が撮像された画像デ―タ中から前記被写体の顔部を検出させる顔部検出機能と、前記画像データ中における前記顔部に対応する位置を追尾する顔対応部検出機能と、前記顔部検出機能により検出された結果と前記顔部対応部検出機能により検出された結果に基づいて前記顔部を追尾する顔部追尾機能と、前記被検体中の前記顔部以外の周辺部位を追尾させる周辺部位追尾機能と、前記顔部追尾機能による前記顔部の追尾が出来ない場合、前記周辺部位追尾機能による前記顔部以外の周辺部位の追尾に切り替える追尾切替機能とを実現させる。
【発明の効果】
【０００９】
本発明によれば、少なくとも２つの領域を用いて被検体の追尾を行う場合に、確実に被検体の追尾ができる追尾装置、追尾方法及び追尾プログラムを提供できる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る追尾装置を備えた撮像装置の一実施の形態を示すブロック構成図。
【図２】同装置における顔部検出回路による顔部検出の作用を説明するための図。
【図３】同装置における顏部追尾回路による輝度情報を用いて顏部の追尾の作用を説明するための図。
【図４】同装置における顏部追尾回路による色情報を用いての顏部の追尾の作用を説明するための図。
【図５】同装置における被検体に対する顔部検出位置と顔部追尾位置と周辺部追尾位置とを示す図。
【図６】同装置における顔部の正面の顔に対して設定された顔部追尾枠を示す図。
【図７】同装置における顔部の横顔に対して設定された顔部追尾枠を示す図。
【図８】同装置における周辺部位追尾回路により胸部を追尾するための胸部追尾枠を示す図。
【図９】同装置における撮影動作フローチャート。
【図１０】同装置における追尾処理フローチャート。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施の形態について図面を参照して説明する。
図１は追尾装置を備えた撮像装置の一例としてのブロック構成図を示す。撮像装置１００は、撮影光学系１０２と、焦点調整機構１０４と、絞り１０６と、絞り駆動機構１０８と、シャッタ１１０と、シャッタ駆動機構１１２と、撮像素子１１４と、撮像素子インターフェイス（ＩＦ）回路１１６と、ＲＡＭ１１８と、表示素子１２０と、表示素子駆動回路１２２と、タッチパネル１２４と、タッチパネル駆動回路１２６と、記録メディア１２８と、システムコントローラ１３０と、操作部１３２と、ＲＯＭ１３４とを有する。
【００１２】
撮影光学系１０２は、被写体からの光束Ｆを、撮像素子１１４の受光面上に集光する。この撮影光学系１０２は、フォーカスレンズ等の複数のレンズを有する。焦点調整機構１０４は、モータ及びその駆動回路等を有し、システムコントローラ１３０内のコンピュータとしてのＣＰＵ１３０１の制御に従って撮影光学系１０２内のフォーカスレンズをその光軸方向（図示一点鎖線方向）に駆動する。
絞り１０６は、開閉自在に構成され、撮影光学系１０２を介して撮像素子１１４に入射する光束Ｆの量を調整する。絞り駆動機構１０８は、絞り１０６を駆動するための駆動機構を有し、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って絞り１０６を駆動する。
【００１３】
シャッタ１１０は、撮像素子１１４の受光面を遮光状態又は露光状態とすることにより撮像素子１１４の露光時間を調整する。シャッタ駆動機構１１２は、シャッタ１１０を駆動させるための駆動機構を有し、システムコントローラ１３０内のＣＰＵ１３０１の制御に従ってシャッタ１１０を駆動する。
【００１４】
撮像素子１１４は、撮影光学系１０２を介して集光された例えば人物等の被写体及びその背景からの光束Ｆが結像される受光面を有する。この撮像素子１１４の受光面は、複数の画素を２次元状に配置して構成されており、この受光面の光入射側には、カラーフィルタが設けられている。このような撮像素子１１４は、受光面に結像された光束Ｆに対応した像（被写体像）を、その光量に応じた電気信号（以下、画像信号という）に変換する。ここで、撮像素子１１４は、ＣＣＤ方式やＣＭＯＳ方式等の種々の構成の撮像素子が知られている。また、カラーフィルタの色配列もベイヤ配列等の種々の配列が知られている。本実施形態は、撮像素子１１４の構成が特定の構成に限定されるものではなく、種々の構成の撮像素子を用いることが可能である。
【００１５】
撮像素子ＩＦ回路１１６は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って撮像素子１１４を駆動する。また、撮像素子ＩＦ回路１１６は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って撮像素子１１４で得られた画像信号を読み出し、読み出した画像信号に対してＣＤＳ（相関二重サンプリング）処理やＡＧＣ（自動利得制御）処理等のアナログ処理を施す。さらに、撮像素子ＩＦ回路１１６は、アナログ処理した画像信号をデジタル信号（以下、画像データという）に変換する。
【００１６】
ＲＡＭ１１８は、例えばＳＤＲＡＭであり、ワークエリア、評価画像エリア、参照画像エリア、追尾位置ログエリア、追尾色領域ログエリアをそれぞれ記憶エリアとして有する。
ワークエリアは、撮像素子ＩＦ回路１１６で得られた画像データ等を含む各データ、例えば撮像装置１００の各部で発生した各データを一時記憶する。
評価画像エリアは、評価画像データを一時記憶する。この評価画像データは、追尾処理における追尾対象の被写体を含むフレームの画像データである。追尾処理においては、追尾対象を追尾するように処理が行われる。
参照画像エリアは、参照画像データを一時記憶する。この参照画像データは、追尾処理において、追尾対象の探索の対象となるフレームの画像データである。追尾処理においては、参照画像データ中で探索が行われる。
追尾位置ログエリアは、追尾位置ログを一時記憶する。この追尾位置ログは、追尾処理の結果として得られた追尾位置を記録したログである。本実施の形態では、複数の追尾処理を併用して追尾対象を追尾する。したがって、追尾位置ログには、それぞれの追尾処理によって得られた追尾位置を例えば過去１０フレーム分個別に記録する。また、追尾位置ログには、後述の優先追尾位置判定処理によって採用された最終的な追尾位置も記録する。
追尾色領域ログエリアは、追尾色領域ログを一時記憶する。この追尾色領域ログは、追尾処理によって得られた追尾色領域を記録したログである。本実施の形態では、追尾色領域を例えば過去１０フレーム分個別に記録する。
【００１７】
表示素子１２０は、例えば液晶ディスプレイ（ＬＣＤ）であり、ライブビュー用の画像及び記録メディア１２８に記録される画像等の各種画像を表示する。表示素子駆動回路１２２は、システムコントローラ１３０のＣＰＵ１３０１から入力された画像データに基づいて表示素子１２０を駆動し、この表示素子１２０に画像を表示する。
タッチパネル１２４は、表示素子１２０の表示画面上に一体的に形成されており、表示画面上へのユーザの指等の接触位置等を検出する。タッチパネル駆動回路１２６は、タッチパネル１２４を駆動すると共に、タッチパネル１２４からの接触検出信号をシステムコントローラ１３０のＣＰＵ１３０１に出力する。ＣＰＵ１３０１は、接触検出信号から、ユーザの表示画面上への接触操作を検出し、その接触操作に応じた処理を実行する。
【００１８】
記録メディア１２８は、例えばメモリカードであり、撮影動作によって得られた画像ファイルが記録される。この画像ファイルは、画像データに所定のヘッダを付与して構成される。ヘッダには、撮影条件を示すデータ及び追尾位置を示すデータ等が、タグデータとして記録される。
【００１９】
システムコントローラ１３０は、撮像装置１００の動作を制御するもので、ＣＰＵ１３０１と、ＡＦ制御回路１３０２と、ＡＥ制御回路１３０３と、画像処理回路１３０４と、顔部検出回路１３０５、色情報検出回路１３０６と、顏部追尾回路１３０７と、周辺部位追尾回路１３０８と、追尾切替回路１３０９と、メモリ制御回路１３１０とを有する。
【００２０】
ＣＰＵ１３０１は、焦点調整機構１０４と、絞り駆動機構１０８と、シャッタ駆動機構１１２と、表示素子駆動回路１２２と、タッチパネル駆動回路１２６等のシステムコントローラ１３０の外部の各機能ブロック、及びシステムコントローラ１３０内部の各回路の動作を制御する。
【００２１】
ＡＦ制御回路１３０２は、コントラストＡＦ処理を制御する。具体的にＡＦ制御回路１３０２は、撮像素子ＩＦ回路１１６で得られた画像データの高周波成分を抽出し、この抽出した高周波成分を積算することにより、ＡＦ用の合焦評価値を取得する。ＣＰＵ１３０１は、この合焦評価値に従って画像データのコントラストを評価しつつ、焦点調整機構１０４を制御してフォーカスレンズを合焦状態とする。
ＡＥ制御回路１３０３は、ＡＥ動作を制御する。具体的にＡＥ制御回路１３０３は、撮像素子ＩＦ回路１１６で得られた画像データを用いて被写体輝度を算出する。ＣＰＵ１３０１は、この被写体輝度に従って、露光時の絞り１０６の開口量（絞り値）、シャッタ１１０の開放時間（シャッタ速度値）、撮像素子感度やＩＳＯ感度等を算出する。
【００２２】
画像処理回路１３０４は、撮像素子ＩＦ回路１１６で得られた画像データに対する各種の画像処理を行う。この画像処理は、例えば色補正処理、ガンマ（γ）補正処理、圧縮処理等を含む。また、画像処理回路１３０４は、圧縮されている画像データに対する伸張処理も施す。
【００２３】
顔部検出回路１３０５は、例えば人物等の被写体が撮像された画像デ―タ中から被写体の顔部を検出する。この顔部検出回路１３０５は、各フレームで得られる画像データと、図２（ａ）に示すような各顔パーツ４０２、４０４、４０６との相関量を求める。顔パーツ４０２は、人物の鼻部周辺の陰影のパターンに対応した画像データであり、顔パーツ４０４は、人物の目部周辺の陰影のパターンに対応した画像データであり、顔パーツ４０６は、人物の口部周辺の陰影のパターンに対応した画像データである。画像データと各顏パーツ４０２、４０４、４０６との相関量は、図２（ｂ）に示すような、人物の顔部を示す所定の配置となったときに最大となる。このとき、各顏パーツ４０２、４０４、４０６を含む領域４０８に人物の顏部が存在しているとする。なお、各顏パーツ４０２、４０４、４０６は、予め設定した検索顔の大きさに応じて大きさを変えてもよい。ここで、図２（ｂ）では、顏領域を矩形領域としているが、円形領域としても良い。
【００２４】
色情報検出回路１３０６は、画像データ中における顔部検出回路１３０５により検出される顔部に対応する例えば肌色等の色情報の領域を検出する。又、色情報検出回路１３０６は、画像データ中における周辺部位追尾回路１３０８により検出される被検体中の顔部以外の周辺部位に対応する例えば肌色等の色情報の領域を検出する。
【００２５】
顏部追尾回路１３０７は、顔部検出回路１３０５により検出された顔部の輝度情報、又は色情報検出回路１３０６により検出された顔部に対応する例えば肌色の色情報の領域に基づいて顔部を追尾する。この顏部追尾回路１３０７は、色情報検出回路１３０６による肌色の色情報の領域の検出よりも、顔部検出回路１３０５による顔部の検出を優先して顔部を追尾する。
【００２６】
ここで、顏部の追尾について説明する。顏部追尾回路１３０７は、画像データの輝度情報を用いて追尾処理を行う。この輝度情報を用いた追尾処理は、例えば図３（ａ）に示す（Ｎ−１）フレームにおいて追尾対象である被写体が設定された場合、この（Ｎ−１）フレームの画像データを評価画像データとしてＲＡＭ１１８の評価画像エリアに記憶する。この評価画像データの追尾対象を含む所定範囲２０２の画像データが基準画像データに設定される。この後、追尾処理では、同図（ｂ）に示すＮフレームとなる参照画像データ中において基準画像データ２０２と対応する部分を探索する。
Ｎフレームの追尾処理を例に示すと、顏部追尾回路１３０７は、Ｎフレームの画像データを参照画像データとしてＲＡＭ１１８の参照画像エリアに記憶する。顏部追尾回路１３０７は、この参照画像データのうちの所定の探索範囲２０４の画像データと基準画像データ２０２との相関量を求めることにより、参照画像データの基準画像データ２０２と対応する部分を探索する。相関量は、例えば基準画像データと参照画像データとの差分絶対値和から判定する。なお、差分絶対値和は、画素毎に輝度差の絶対値を求めてそれを積算したものである。
【００２７】
例えば、図３（ｂ）に示す参照画像データの領域２０６の参照画像データと基準画像データ２０２との差分絶対値和を求めたとすると、参照画像データの領域２０６と基準画像データ２０２とは明らかに異なる画像データであり、差分絶対値和が大きくなる。これに対し、参照画像データの領域２０８と基準画像データ２０２との差分絶対値和を求めたとすると、差分絶対値和が小さくなる。このように、基準画像データ２０２との相関量が大きくなるに従って差分絶対値和が小さくなる。輝度情報を用いた追尾処理では、相関量が最大の、即ち差分絶対値和が最小の領域を参照画像データから探索する。図２（ｂ）の例では、領域２０８が基準画像データ２０２と対応する部分として探索される。なお、追尾位置ログエリアには、領域２０８の中で最も一致度の高い位置を追尾位置として記録する。このような一致度の高い位置が複数ある場合、例えば領域２０８の中心に近い位置を追尾位置とする。次回の追尾処理時には、この追尾位置を追尾処理の開始位置とすることが望ましい。これにより、追尾処理にかかる時間を軽減することが可能である。
【００２８】
又、顏部追尾回路１３０７は、画像データの肌色の色情報を用いて追尾処理を行う。肌色の色情報を用いた追尾処理は、評価画像データ内で設定された色と同色であると判定できる領域を追尾色領域として探索する。顏部追尾回路１３０７は、図４（ａ）に示すように、（Ｎ−１）フレームにおいて、被写体のある位置３０２が指定された場合、評価画像データ中の位置３０２の色情報を取得する。そして、顏部追尾回路１３０７は、位置３０２を追尾処理の開始位置として、位置３０２と同じ色情報を有する領域を探索する。具体的に顏部追尾回路１３０７は、位置３０２を開始位置から周辺に向かうように順次肌色の色情報を取得し、取得した色情報が位置３０２の色情報と同一であると判定できる場合には領域に含め、取得した色情報が位置３０２の色情報と同一であると判定できない場合には領域に含めない。このようにして追尾色領域を探索すると、例えば、図４（ａ）に示すような単色の被写体の場合、被写体に内接する矩形領域３０４が追尾色領域となる。また、追尾位置ログエリアに記録する追尾位置は、例えば追尾色領域３０４の重心位置（図４（ａ）の例では、位置３０２と同じ）とする。次回の追尾処理においては、この追尾位置を追尾処理の開始位置とする。
【００２９】
Ｎフレームの追尾処理を例に示すと、顏部追尾回路１３０７は、図４（ｂ）に示す参照画像データとして記憶したＮフレームの画像データの所定の探索範囲の中で、（Ｎ−１）フレームの追尾位置３０２を追尾処理の開始位置とし、追尾位置３０２の周辺から順次、追尾色領域３０４の色と同色であると判定できる領域を追尾色領域として探索する。図４（ｂ）の例では、領域３０６が追尾色領域となる。また、図４（ｂ）の例では、重心位置３０８を追尾位置とし、この追尾位置３０８を、追尾位置ログエリアに記録する。また、追尾色領域ログエリアには、追尾色領域３０６の範囲を示す情報（例えば、四隅の位置）を記録する。
【００３０】
周辺部位追尾回路１３０８は、被検体中の顔部以外の周辺部位を追尾する。この周辺部位追尾回路１３０８は、上記顏部追尾回路１３０７と同様に、画像データの輝度情報及び肌色の色情報を用いて周辺部位の追尾処理を行う。この周辺部位追尾回路１３０８は、顔部から予め設定された位置関係を有する例えば被検体の胴体部、具体的には胴体部に存在する胸部を顔部以外の部位として追尾する。この顔部と胸部との位置関係は、画像データ上において被検体の顔部から予め設定された距離だけ下方、すなわち人物の顔部よりも下方を首部、胸部、腹部、脚部とすると、顔部から予め設定された距離だけ下方の位置が胸部であるとの関係に設定されている。周辺部位追尾回路１３０８は、なお、周辺部位は、被検体中の顔部に限らず、例えば首部、腹部、脚部、腕部であってもよい。
【００３１】
図５は被検体に対する顔部検出位置Ａと顔部追尾位置Ｂと周辺部追尾位置Ｃとを示す。顔部検出位置Ａは、顔部検出回路１３０５により検出された顔部を示し、例えば図２に示す矩形の領域４０８に対応する。
顔部追尾位置Ｂは、色情報検出回路１３０６により検出された顔部に対応する肌色の色情報の領域に基づいて顔部を追尾するための位置を示し、例えば図４（ａ）（ｂ）に示す追尾色領域３０４の重心位置３０２又は３０８に対応する。この顔部追尾位置Ｂは、上記の通り追尾位置ログエリアに記録される。
周辺部追尾位置Ｃは、周辺部位追尾回路１３０８により追尾する被検体中の顔部以外の周辺部位、例えば胸部を示す。この周辺部追尾位置Ｃは、例えば矩形の枠により被検体中の胸部を示す。この周辺部追尾位置Ｃは、矩形の枠に限らず、円形の枠であってもよい。
【００３２】
なお、顏部追尾回路１３０７は、顔部検出回路１３０５により検出された顔部、又は色情報検出回路１３０６により検出された顔部に対応する肌色の色情報の領域に基づいて顔部を追尾するとき例えば図６又は図７に示すように矩形の顔部追尾枠Ｄ１を例えばＬＣＤである表示素子１２０に表示する。図６は顔部の正面の顔に対して設定された顔部追尾枠Ｄ１を示し、図７は顔部の横顔に対して設定された顔部追尾枠Ｄ１を示す。この顔部追尾枠Ｄ１は、矩形の枠に限らず、円形の枠であってもよい。なお、顔部は、正面の顔又は横顔であっても顔部として追尾される。
【００３３】
又、周辺部位追尾回路１３０８は、被検体中の顔部以外の周辺部位として例えば胸部を追尾するとき例えば図８に示すように矩形の胸部追尾枠Ｄ２を例えばＬＣＤである表示素子１２０に表示する。この胸部追尾枠Ｄ２は、矩形の枠に限らず、円形の枠であってもよい。
【００３４】
追尾切替回路１３０９は、顔部追尾回路１３０７による顔部の追尾が出来ない場合、例えば図６又は図７に示すような顔部追尾枠Ｄ１の表示による顔部の追尾から周辺部位追尾回路１３０８による顔部以外の部位、例えば図８に示すような胸部の追尾に切り替え、同図に示すように胸部上に矩形の胸部追尾枠Ｄ２を例えばＬＣＤである表示素子１２０に表示する。
この追尾切替回路１３０９は、顔部以外の部位、例えば胸部の位置から顔部として推定される位置で、顔部が検出される、又は顔部に対応する肌色の色情報が検出されると、図８に示すような周辺部位追尾回路１３０８による胸部の追尾（胸部追尾枠Ｄ２の表示）から図６又は図７に示すような顔部追尾回路１３０７による顔部の追尾（顔部追尾枠Ｄ１の表示）に戻る。
なお、顔部と胸部との位置関係は、画像データ上において被検体の顔部から予め設定された距離だけ下方、すなわち人物の顔部よりも下方を首部、胸部、腹部、脚部とすると、顔部から予め設定された距離だけ下方の位置が胸部であるとの関係に設定されているので、人物の胸部よりも予め設定された距離だけ上方に顔部が存在することを推定できる。
【００３５】
追尾切替回路１３０９は、顔部に対応する肌色の色情報を予め記憶し、顔部として推定される位置における色情報が予め記憶されている色情報と一致したときに、顔部に対応する肌色の色情報が検出されたとして顔部追尾回路１３０７による顔部の追尾に戻る。
追尾切替回路１３０９は、少なくとも顔部検出回路１３０５により顔部が検出されず、かつ色情報検出回路１３０６により肌色の色情報の領域が検出されない場合、顔部追尾回路１３０７による顔部の追尾が出来ないと判定する。
追尾切替回路１３０９は、画像デ―タ中に顔部が検出されず、肌色の色情報の領域に基づいて顔部を追尾できず当該追尾の性能が悪化すれば、顔部追尾回路１３０７による顔部の追尾が出来ないと判定する。
【００３６】
メモリ制御回路１３１０は、ＣＰＵ１３０１等がＲＡＭ１１８、記録メディア１２８、ＲＯＭ１３４に対してアクセスするための制御を行うインターフェイスである。
操作部１３２は、ユーザによって操作される各種の操作部材である。この操作部１３２は、例えば、レリーズ釦、動画釦、モードダイヤル、選択キー、電源釦等を含む。
レリーズ釦は、１ｓｔレリーズスイッチと、２ｎｄレリーズスイッチとを有する。１ｓｔレリーズスイッチは、ユーザがレリーズ釦を半押しするとオンするスイッチである。この１ｓｔレリーズスイッチがオンすることにより、ＡＦ処理等の撮影準備動作が行われる。２ｎｄレリーズスイッチは、ユーザがレリーズ釦を全押しするとオンするスイッチである。この２ｎｄレリーズスイッチがオンすることにより、静止画撮影用の露光動作が行われる。
動画釦は、動画撮影の開始又は終了を指示するための操作部材である。ユーザによって動画釦が押されると動画撮影処理が開始される。また、動画撮影処理の実行中に動画釦が押されると、動画撮影処理が終了される。
モードダイヤルは、撮像装置の撮影設定を選択するための操作部材である。本実施形態では、撮像装置の撮影設定として、例えば、静止画撮影モードと動画撮影モードを選択できる。静止画撮影モードは、静止画像を撮影するための撮影設定である。また、動画撮影モードは、動画像を撮影するための撮影設定である。
選択キーは、例えばメニュー画面上での項目の選択や決定をするための操作部材である。ユーザによって選択キーが操作されるとメニュー画面上での項目の選択や決定が行われる。
電源釦は、撮像装置の電源をオン又はオフするための操作部材である。ユーザによって電源釦が操作されると、本装置１００が起動して動作可能な状態となる。撮像装置が起動している間に電源釦が操作されると、本装置１００が省電力待機状態となる。
【００３７】
ＲＯＭ１３４は、ＣＰＵ１３０１が種々の処理を実行するためのプログラムコードを記憶する。プログラムコードは、被写体を追尾する追尾プログラムを含む。この追尾プログラムは、コンピュータとしてのＣＰＵ１３０１に、被写体が撮像された画像デ―タ中から被写体の顔部を検出させる顔部検出機能と、画像データ中における顔部に対応する位置を追尾する顔対応部検出機能と、前記顔部検出機能により検出された結果と前記顔部対応部検出機能により検出された結果に基づいて前記顔部を追尾する顔部追尾機能と、被検体中の顔部以外の周辺部位を追尾させる周辺部位追尾機能と、顔部追尾機能による顔部の追尾が出来ない場合、周辺部位追尾機能による顔部以外の周辺部位の追尾に切り替える追尾切替機能とを実現させる。
追尾切替機能は、顔部以外の周辺部位の位置から顔部として推定される位置で、顔部が検出される、又は顔部に対応する色情報が検出されると、顔部追尾機能による顔部の追尾に戻る。
【００３８】
また、ＲＯＭ１３４は、撮影光学系１０２、絞り１０６及び撮像素子１１４等の動作に必要な制御パラメータ、並びに画像処理回路１３０４での画像処理に必要な制御パラメータ等の各種の制御パラメータを記憶している。さらにＲＯＭ１３４は、顏検出回路１３０７における顏検出に用いられる顏パーツのデータや追尾枠を表示するためのデータ等も記憶している。
【００３９】
次に、上記の如く構成された本装置の動作について図９に示す撮影動作フローチャートを参照して説明する。
ＣＰＵ１３０１は、ＲＯＭ１３４から必要なプログラムコードを読み込んで本装置１００の動作を制御する。
ＣＰＵ１３０１は、ステップＳ１００において、現在の本装置１００の撮影設定が静止画撮影モードであるか否かを判定する。この撮影設定は、モードダイヤルによって設定される。
判定の結果、撮影設定が静止画撮影モードであると、ＣＰＵ１３０１は、ステップＳ１０２において、ライブビュー動作を開始させる。ライブビュー動作として、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御してシャッタ１１０を開放した後、撮像素子ＩＦ回路１１６を制御して撮像素子１１４による撮像を開始させる。その後、ＣＰＵ１３０１は、撮像素子１１４による撮像の結果としてＲＡＭ１１８のワークエリアに記憶された画像データを画像処理回路１３０４に入力してライブビュー表示用の画像処理を施す。続いて、ＣＰＵ１３０１は、ライブビュー表示用の画像処理がされた画像データを表示素子駆動回路１２２に入力し、表示素子１２０に画像を表示させる。このような表示動作を繰り返し実行することにより、被写体の画像を動画表示する。この動画表示により、ユーザは、被写体を観察することが可能である。
【００４０】
ＣＰＵ１３０１は、ステップＳ１０４において、１ｓｔレリーズスイッチがオンされたか否かを判定する。この判定の結果、１ｓｔレリーズスイッチがオンされたと判定するまでＣＰＵ１３０１は、ライブビュー動作を継続する。
１ｓｔレリーズスイッチがオンされると、ＣＰＵ１３０１は、ステップＳ１０６において、レリーズＡＦ処理を行う。このレリーズＡＦでは、スキャン駆動によって、フォーカスレンズを合焦位置まで駆動させる。スキャン駆動では、ＣＰＵ１３０１は、焦点調整機構１０４を制御してフォーカスレンズを所定のスキャン範囲内で一方向に駆動させつつ、ＡＦ制御回路１３０２で順次算出される合焦評価値を評価する。ＣＰＵ１３０１は、合焦評価値の評価の結果、コントラストが最大となるレンズ位置において、フォーカスレンズの駆動を停止させる。このようなスキャン駆動は、ＡＦ前のフォーカスレンズの位置と合焦位置との差が大きい場合に行われる。
【００４１】
ＣＰＵ１３０１は、ステップＳ１０８において、表示素子駆動回路１２２を制御して、表示素子１２０に追尾枠を表示させる。ここで、追尾枠は、表示素子１２０の画面上の追尾対象の位置に表示させる。例えば、レリーズＡＦで合焦した被写体を追尾対象とし、その被写体に追尾枠を表示させるようしても良い。顏検出回路１３０７によって人物の顏部が検出された場合には、例えば図６又は図７に示すように顔部に追尾枠Ｄ１を表示させるようにしても良い。さらに、タッチパネル１２４により、表示素子１２０の画面上に表示された被写体が指定された場合には、その被写体上に追尾枠を表示させるようにしても良い。このように、本実施形態においては、ＣＰＵ１３０１、ＡＦ制御回路１３０２、顏検出回路１３０７、タッチパネル１２４等が追尾対象設定部の一例として機能する。
【００４２】
ＣＰＵ１３０１は、ステップＳ１１０において、被写体を追尾する追尾処理を行う。この追尾処理は、後述する。
ＣＰＵ１３０１は、ステップＳ１１２において、追尾位置の被写体に合焦するようにＡＦ処理を行うと共に、追尾位置の被写体の露光が適正となるようにＡＥ処理を行う。
追尾処理後のＡＦ処理においては、スキャン駆動又はウォブリング駆動によって、フォーカスレンズを合焦位置まで駆動させる。ウォブリング駆動では、ＣＰＵ１３０１は、フォーカスレンズを駆動したときにＡＦ制御回路１３０２で算出された合焦評価値が、前回のレンズ位置での合焦評価値に対して増加したかを判定する。そして、ＣＰＵ１３０１は、合焦評価値が増加した場合には前回と同方向にフォーカスレンズを微小駆動させ、合焦評価値が減少した場合には前回と逆方向にフォーカスレンズを微小駆動させる。このような動作を高速で繰り返してフォーカスレンズを徐々に合焦位置まで駆動させる。
また、ＡＥ処理において、ＣＰＵ１３０１は、ＡＥ制御回路１３０３で算出された追尾位置の被写体の輝度を予め定められた適正な量（適正露光量）とする、本露光時の絞り１０６の開口量（絞り値）、シャッタ１１０の開放時間（シャッタ速度値）を算出する。
【００４３】
ＣＰＵ１３０１は、ステップＳ１１４において、２ｎｄレリーズスイッチがオンされたか否かを判定する。２ｎｄレリーズスイッチがオンされていないと判定されると、ＣＰＵ１３０１は、ステップＳ１１０の追尾処理以後の処理を実行する。このように、静止画撮影モード時には、２ｎｄレリーズスイッチがオンされるまでは、追尾処理が継続される。
【００４４】
また、２ｎｄレリーズスイッチがオンされると、ＣＰＵ１３０１は、ステップＳ１１６において、表示素子駆動回路１２２を制御して、追尾枠Ｄ１を非表示とする。
ＣＰＵ１３０１は、ステップＳ１１８において、静止画像データを記録メディア１２８に記録する処理を行う。この際、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御して、シャッタ１１０を閉じる。その後、ＣＰＵ１３０１は、絞り駆動機構１０８を制御して、絞り１０６を先に算出した絞り値まで絞り込む。続いて、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御して、シャッタ１１０を先に算出した開放時間だけ開放しつつ、撮像素子１１４による撮像（露光）を行う。その後、ＣＰＵ１３０１は、撮像素子１１４を介して得られた静止画像データを画像処理回路１３０４において処理する。そして、ＣＰＵ１３０１は、画像処理回路１３０４において処理された静止画像データにヘッダを付与して静止画像ファイルを生成し、生成した静止画像ファイルを記録メディア１２８に記録する。
ＣＰＵ１３０１は、ステップＳ１２０において、上記ステップＳ１１０の追尾処理の結果として得られた追尾位置を示すデータを、先に記録メディア１２８に記録した静止画像ファイルに追記する。その後に、ＣＰＵ１３０１は、図９に示す撮影動作を示すフローチャートに従った動作を終了する。
【００４５】
一方、上記ステップＳ１００において、撮影設定が動画撮影モードであると判定されると、ＣＰＵ１３０１は、ステップＳ１２２において、ライブビュー動作を開始する。
【００４６】
動画撮影オンの指示である動画釦がオンされたと判定されると、ＣＰＵ１３０１は、ステップＳ１２６において、表示素子駆動回路１２２を制御して表示素子１２０に例えば図６又は図７に示すように顔部に追尾枠Ｄ１を表示させる。
ＣＰＵ１３０１は、ステップＳ１２８において、顔部検出回路１３０５、顔部追尾回路１３０７、周辺部位追尾回路１３０８へ追尾処理の開始を指示する。この追尾処理は、後述する。
ＣＰＵ１３０１は、ステップＳ１３０において、ＡＦ制御回路１３０２へ追尾位置の被写体に合焦するようにＡＦ処理を指示すると共に、ＡＥ制御回路１３０３へ追尾位置の被写体の露光が適正となるようにＡＥ処理を指示する。このときのＡＦ処理では、ウォブリング駆動によって撮影光学系１０２のフォーカスレンズを合焦位置まで駆動させる。
【００４７】
ＣＰＵ１３０１は、ステップＳ１３２において、動画像データを記録メディア１２８に記録する処理を行う。この際、ＣＰＵ１３０１は、絞り駆動機構１０８を制御し、絞り１０６をＡＥ処理において算出した絞り値まで絞り込む。続いて、ＣＰＵ１３０１は、ＡＥ処理において算出したシャッタ速度値に対応した時間だけ撮像素子１１４による撮像（露光）を実行させる。露光の終了後、ＣＰＵ１３０１は、動画像ファイルを生成して記録メディア１２８に記録する。また、ＣＰＵ１３０１は、撮像素子１１４を介して得られた動画像データを画像処理回路１３０４において処理し、画像処理回路１３０４において処理された動画像データを動画像ファイルに記録する。
【００４８】
ＣＰＵ１３０１は、ステップＳ１３４において、上記ステップＳ１２８の追尾処理の結果として得られた追尾位置を示すデータを、先に記録メディア１２８に記録した動画像ファイルに記録する。
ＣＰＵ１３０１は、ステップＳ１３６において、動画釦がオフされたか否かを判定する。この判定の結果、動画釦がオフされていないと判定されると、ＣＰＵ１３０１は、ステップＳ１２８の追尾処理以後の処理を実行する。このように、動画撮影モード時では、動画釦がオフされるまでは、追尾処理と動画像データの記録が継続される。
【００４９】
また、動画釦がオフされたと判定されると、ＣＰＵ１３０１は、ステップＳ１３８において、表示素子駆動回路１２２を制御し、追尾枠Ｄ１を非表示とする。その後、ＣＰＵ１３０１は、図９に示す撮影動作を示すフローチャートに従った動作を終了する。
次に、本実施の形態に係る追尾処理について図１０に示す追尾処理フローチャートに従って説明する。
ＣＰＵ１３０１は、ステップＳ２００において、撮像素子ＩＦ回路１１６を制御して撮像素子１１４による撮像を実行する。
ＣＰＵ１３０１は、ステップＳ２０１において、撮像素子１１４による撮像により、撮像素子ＩＦ回路１１６において得られた画像データをＲＡＭ１１８に取り込む。ＣＰＵ１３０１は、初回の追尾処理で得られた画像データを評価画像データとし、この画像データをＲＡＭ１１８の評価画像エリアに取り込む。また、ＣＰＵ１３０１は、２回目以後の追尾処理で得られた画像データを参照画像データとし、これら２回目以後の追尾処理で得られた画像データをそれぞれＲＡＭ１１８の参照画像エリアに取り込む。
【００５０】
ＣＰＵ１３０１は、ステップＳ２０２において、顔部検出回路１３０５により、例えば人物等の被写体が撮像された画像デ―タ中から被写体の顔部を検出する。この顔部検出回路１３０５は、上記図２（ａ）（ｂ）を参照して説明したように各フレームで得られる画像データと各顔パーツ４０２、４０４、４０６との相関量を求め、この相関量が人物の顔部を示す所定の配置となったときに最大となることを利用して人物の顏部が存在している領域を検出する。
【００５１】
ＣＰＵ１３０１は、ステップＳ２０３において、周辺部位追尾回路１３０８により、被検体中の顔部以外の周辺部位、例えば顔部検出回路１３０５により検出された顔部から予め設定された距離だけ下方の胸部を周辺部位として設定する。
ＣＰＵ１３０１は、ステップＳ２０４において、顔部追尾回路１３０７により画像データの輝度情報を用いて顔部の追尾処理を行うと共に、周辺部位追尾回路１３０８により画像データの輝度情報を用いて胸部の追尾処理を行う。輝度情報を用いた追尾処理は、顔部と胸部とに対し、上記図３（ａ）（ｂ）を参照して説明と同様に、（Ｎ−１）フレームにおいて追尾対象である被写体が設定された場合、この（Ｎ−１）フレームの画像データを評価画像データとしてＲＡＭ１１８の評価画像エリアに記憶する。この評価画像データの追尾対象を含む所定範囲２０２の画像データが基準画像データに設定される。この後、追尾処理では、同図（ｂ）に示すＮフレームとなる参照画像データ中において基準画像データ２０２と対応する部分を探索する。
【００５２】
なお、初回の追尾処理においては、評価画像データのみが取得された状態であるので、ステップＳ２０４以後の処理は省略される。以後の説明においては、評価画像データと参照画像データの両方が取得されているものとして説明を続ける。
ＣＰＵ１３０１は、ステップＳ２０５において、輝度情報を用いた顔部と胸部との各追尾処理の結果として得られた各追尾位置を、それぞれＲＡＭ１１８の追尾ログエリアに記憶する。
【００５３】
ＣＰＵ１３０１は、ステップＳ２０６において、顔部追尾回路１３０７により画像データの色情報を用いて顔部の追尾処理を行うと共に、周辺部位追尾回路１３０８により画像データの色情報を用いて胸部の追尾処理を行う。色情報を用いた追尾処理は、顔部と胸部とに対し、評価画像データ内で設定された色と同色であると判定できる領域を追尾色領域として探索する。この顏部追尾回路１３０７は、上記図４（ａ）に示すように、（Ｎ−１）フレームにおいて、被写体のある位置３０２が指定された場合、評価画像データ中の位置３０２の色情報を取得し、この位置３０２を追尾処理の開始位置として、位置３０２と同じ色情報を有する領域を探索する。
【００５４】
ＣＰＵ１３０１は、ステップＳ２０７において、色情報を用いた追尾処理の結果として得られた顔部と胸部との各追尾位置をＲＡＭ１１８の追尾ログエリアに記憶する。ＣＰＵ１３０１は、色情報を用いた追尾処理の結果として得られた追尾色領域をＲＡＭ１１８の追尾色領域ログエリアに記憶する。
【００５５】
ＣＰＵ１３０１は、ステップＳ２０８において、追尾切替回路１３０９により、顔部の追尾が出来るか否かを判定する。具体的に、追尾切替回路１３０９は、画像デ―タ中に顔部が検出されず、肌色の色情報の領域に基づいて顔部を追尾できず当該追尾の性能が悪化しているか否かを判定する。
画像デ―タ中に顔部が検出され、または肌色の色情報の領域に基づいて顔部を追尾できるとき、顔部にて追尾可能と判断する。なお、肌色の色情報の領域に基づく追尾可否は、追尾対象として記憶した肌色情報が前記画像データ中に存在するか否かで判定する。
画像デ―タ中に顔部が検出されず、かつ肌色の色情報の領域に基づいて顔部を追尾できないとき、顔部にて追尾不可と判断する。
【００５６】
この判定の結果、画像デ―タ中に顔部のデータが有り、かつ肌色の色情報の領域に基づいて顔部を追尾できれば、ＣＰＵ１３０１は、ステップＳ２０９において、優先追尾位置判定処理を行う。この優先追尾位置判定処理は、顔部の追尾において、輝度情報を用いた追尾処理の結果と色情報を用いた追尾処理の結果との何れを採用するかを判定するための処理であり、ここでは、上記の通り輝度情報及び色情報を用いてそれぞれ顔部の追尾が出来るので、例えば色情報を用いた追尾処理の結果を優先する。
【００５７】
ＣＰＵ１３０１は、ステップＳ２１０において、優先追尾位置判定処理の結果として採用された追尾位置の信頼性を判断する。輝度情報を用いた追尾処理の結果が採用された場合には、例えば参照画像データのコントラストから信頼性を判断する。具体的には、参照画像データにおける追尾対象の領域の隣接画素間の差分和が所定値以上である場合には、信頼性があると判断する。また、色情報を用いた追尾処理の結果が採用された場合には、例えば参照画像データの彩度から信頼性を判断する。具体的には、参照画像データの追尾位置の彩度が所定値以上である場合には、信頼性があると判断する。これらの信頼性を判定するための閾値はシミュレーション結果または実験データを基に適宜設定可能である。
【００５８】
ＣＰＵ１３０１は、ステップＳ２１１において、参照画像データの最終的な追尾位置を、ＲＡＭ１１８の追尾ログエリアに記録する。次回の追尾処理においては、輝度情報を用いた追尾処理と色情報を用いた追尾処理の両方で、この最終的な追尾位置を追尾処理の開始位置とする。ただし、ステップＳ２１６の信頼性判断において、信頼性がないと判断された場合には、追尾位置を記録しないようにしても良い。
ＣＰＵ１３０１は、ステップＳ２１２において、表示素子駆動回路１２２を制御し、例えば図６又は図７に示すように顔部追尾枠Ｄ１の表示位置をステップＳ２１８で記憶させた追尾位置に対応した位置に更新する。
【００５９】
一方、上記ステップＳ２０８での判定の結果、画像デ―タ中に顔部のデータが無く、肌色の色情報の領域に基づいて顔部を追尾できず当該追尾の性能が悪化していれば、ＣＰＵ１３０１は、顔部の追尾が出来ないと判定する。
ＣＰＵ１３０１は、ステップＳ２１３に移り、追尾切替回路１３０９により、顔部の追尾から周辺部位における周辺部位追尾回路１３０８による追尾に切り替える。周辺部位とは、ＣＰＵ１３０１が、顔検出結果と予め取得した統計データから推定した位置である。具体的には、顔部の位置を基準とし、この基準の位置から統計データに応じて得られた距離分だけ下方の位置を顔周辺部の位置とする。ここで、ＲＯＭ１３４に記憶されている統計データは、ある固定の距離で測定した顔部の位置から顔周辺部の位置までの統計データである。したがって、撮像装置から追尾対象までの距離が統計データを得たときの距離と異なる場合には、その距離差に応じて顔周辺部の位置を補正する。撮像装置から追尾対象までの距離は、例えば顔部のサイズ（画面上に占める顔部のサイズの割合）から算出する。そして、この距離に応じて統計データの値を補正して実際の画像データ上での顔周辺部の位置を算出する。周辺部位追尾回路１３０８は、画像データの輝度情報及び色情報を用いて周辺部位の追尾処理を行う。
【００６０】
ＣＰＵ１３０１は、ステップＳ２１４において、優先追尾位置判定処理を行う。この優先追尾位置判定処理は、周辺部位の追尾において、輝度情報を用いた追尾処理の結果と色情報を用いた追尾処理の結果との何れを採用するかを判定するための処理である。具体的には、輝度情報及び色情報から算出した追尾位置の位置関係と、輝度情報及び色情報から算出した追尾位置における色情報から優先追尾位置を判定する。
【００６１】
ＣＰＵ１３０１は、ステップＳ２１５において、優先追尾位置判定処理の結果として採用された追尾位置の信頼性を判断する。輝度情報を用いた追尾処理の結果が採用された場合には、例えば参照画像データのコントラストから信頼性を判断する。具体的には、参照画像データにおける追尾対象の領域の隣接画素間の差分和が所定値以上である場合には、信頼性があると判断する。
【００６２】
ＣＰＵ１３０１は、ステップＳ２１１において、参照画像データの最終的な追尾位置を、ＲＡＭ１１８の追尾ログエリアに記録する。次回の追尾処理においては、輝度情報を用いた追尾処理で、この最終的な追尾位置を追尾処理の開始位置とする。ただし、ステップＳ２１６の信頼性判断において、信頼性がないと判断された場合には、追尾位置を記録しないようにしても良い。
ＣＰＵ１３０１は、ステップＳ２１２において、表示素子駆動回路１２２を制御し、例えば図６又は図８に示すように胸部追尾枠Ｄ２の表示位置をステップＳ２１１で記憶させた追尾位置に対応した位置に更新する。
【００６３】
ＣＰＵ１３０１は、上記ステップＳ２０１〜Ｓ２０７を実行し、ステップＳ２０８において、追尾切替回路１３０９により、顔部の追尾が出来るか否か、すなわち、顔部以外の部位、例えば胸部の位置から顔部として推定される位置で、顔部が検出される、又は顔部に対応する肌色の色情報が検出されるか否かを判定する。
この判定の結果、例えば胸部の位置から顔部として推定される位置で、顔部が検出されず、又は顔部に対応する肌色の色情報が検出されなければ、ＣＰＵ１３０１は、上記ステップＳ２１３に移り、追尾切替回路１３０９により、胸部の追尾を継続する。周辺部位追尾回路１３０８は、上記の通り、画像データの輝度情報及び色情報を用いて胸部の追尾処理を行う。
【００６４】
一方、上記判定の結果、胸部の位置から顔部として推定される位置で、顔部が検出され、又は顔部に対応する肌色の色情報が検出されると、ＣＰＵ１３０１は、周辺部位追尾回路１３０８による胸部の追尾から顔部追尾回路１３０７による顔部の追尾に戻る。なお、追尾切替回路１３０９は、顔部に対応する肌色の色情報を予め記憶し、顔部として推定される位置における色情報が予め記憶されている色情報と一致したときに、顔部に対応する肌色の色情報が検出されたとする。
ＣＰＵ１３０１は、上記ステップＳ２０９〜Ｓ２１１を実行し、ステップＳ２１２において、図８に示すような周辺部位追尾回路１３０８による図８に示すような胸部の追尾（胸部追尾枠Ｄ２の表示）から図６又は図７に示すような顔部追尾回路１３０７による顔部の追尾（顔部追尾枠Ｄ１の表示）に戻る。
その後、ＣＰＵ１３０１は、図１０に示す追尾処理フローチャートに従った追尾処理を終了する。
【００６５】
このように上記一実施の形態によれば、被写体の顔部にて追尾が継続出来ないとき、顔部以外の周辺部位として例えば胸部の追尾に切り替えて被検体の追尾を行う。これにより、例えば顔部及び少なくとも胸部の２つの領域を用いて被検体の追尾を行う場合に、例えば基準領域として顔部を用いての追尾結果が良くなくても、胸部等の領域を基準領域として切り替えて、この胸部等の領域を用いて確実に被検体の追尾ができる。
又、胸部等の領域を基準領域として被検体の追尾をしている状態で、この胸部の位置から顔部として推定される位置で顔部が検出される又は顔部に対応する色情報が検出されると、再び、顔部を用いての追尾ができる。
【００６６】
顔部の追尾から例えば胸部の追尾への切り替えは、画像デ―タ中に顔部のデータが無く、肌色の色情報の領域に基づいて顔部を追尾できず当該追尾の性能が悪化ことを条件としているので、顔部の追尾が完全に出来ない状態になった時点で胸部への追従に切り替えることができる。
胸部の追尾から顔部の追尾への戻りは、胸部の位置から顔部として推定される位置で、顔部が検出され、又は顔部に対応する肌色の色情報が検出されることを条件としているので、顔部の追尾が完全に出来る状態になった時点で顔部への追従に戻ることができる。
【００６７】
顔部と胸部とは、画像データ上において被検体の顔部から予め設定された距離だけ下方に胸部であるとの関係に設定され、かつ胸部よりも予め設定された距離だけ上方に顔部が存在することに設定されているので、例えば顔部の追尾が出来なくなっても、同一人物の胸部の追尾に確実に切り替えることができ、他の人物の胸部の追尾に切り替わることがない。同様に、胸部の追尾から顔部の追尾に戻る場合も、同一人物の顔部の追尾に確実に切り替えることができ、他の人物の顔部の追尾に切り替わることがない。これにより、追尾の対象部位が切り替わっても、常に同一人物の追尾を継続できる。
【００６８】
なお、上記一実施の形態では、顔部の追尾と胸部の追尾とを切り替えているが、これに限らず、顔部の追尾を主の追尾とし、周辺部位の追尾として例えば首部の追尾、腹部の追尾、脚部の追尾、腕部の追尾のいずれかを追加してもよい。
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【００６９】
１００：撮像装置、１０２：撮影光学系、１０４：焦点調整機構、１０６：絞り、１０８：絞り駆動機構、１１０：シャッタ、１１２：シャッタ駆動機構、１１４：撮像素子、１１６：撮像素子インターフェイス（ＩＦ）回路、１１８：ＲＡＭ、１２０：表示素子、１２２：表示素子駆動回路、１２４：タッチパネル、１２６：タッチパネル駆動回路、１２８：記録メディア、１３０：システムコントローラ、１３２：操作部、１３４：ＲＯＭ、１３０１：ＣＰＵ、１３０２：ＡＦ制御回路、１３０３：ＡＥ制御回路、１３０４：画像処理回路、１３０５：顔部検出回路、１３０６：色情報検出回路、１３０７：顏部追尾回路、１３０８：周辺部位追尾回路、１３０９：追尾切替回路、１３１０：メモリ制御回路、４０２，４０４，４０６：顔パーツ、３０８：重心位置、Ａ：顔部検出位置、Ｂ：顔部追尾位置、Ｃ：周辺部追尾位置、Ｄ１：矩形の追尾枠。
【特許請求の範囲】
【請求項１】
被写体が撮像された画像デ―タ中から前記被写体の顔部を検出する顔部検出部と、
前記画像データ中における前記顔部に対応する位置を追尾する顔対応部検出部と、
前記顔部検出部により検出された結果と前記顔部対応部検出部により検出された結果に基づいて前記顔部を追尾する顔部追尾部と、
前記被検体中の前記顔部以外の周辺部位を追尾する周辺部位追尾部と、
前記顔部追尾部による前記顔部の追尾が出来ない場合、前記周辺部位追尾部による前記顔部以外の部位の追尾に切り替える追尾切替部と、
を具備することを特徴とする追尾装置。
【請求項２】
前記追尾切替部は、前記顔部以外の部位の位置から前記顔部として推定される位置で、前記顔部が検出される、又は前記顔部に対応する前記色情報が検出されると、前記顔部追尾部による前記顔部の追尾に戻ることを特徴とする請求項１記載の追尾装置。
【請求項３】
前記追尾切替部は、前記顔部に対応する色情報を予め記憶し、前記顔部として推定される位置における色情報が前記予め記憶されている前記色情報と一致したときに、前記顔部に対応する前記色情報が検出されたとして前記顔部追尾部による前記顔部の追尾に戻ることを特徴とする請求項２記載の追尾装置。
【請求項４】
前記顔部追尾部は、前記色情報検出部による前記色情報の領域の検出よりも、前記顔部検出部による前記顔部の検出を優先することを特徴とする請求項１又は２記載の追尾装置。
【請求項５】
前記追尾切替部は、少なくとも前記顔部検出部により前記顔部が検出されず、かつ前記色情報検出部により前記色情報の領域が検出されない場合、前記顔部追尾部による前記顔部の追尾が出来ないと判定することを特徴とする請求項１又は２記載の追尾装置。
【請求項６】
前記追尾切替部は、前記画像デ―タ中に前記顔部のデータが無く、かつ前記色情報の領域に基づいて前記顔部を追尾できなければ、前記顔部追尾部による前記顔部の追尾が出来ないと判定することを特徴とする請求項５記載の追尾装置。
【請求項７】
前記色情報検出部は、前記色情報として肌色を検出することを特徴とする請求項１乃至６のうちいずれか１項記載の追尾装置。
【請求項８】
前記周辺部位追尾部は、前記顔部から予め設定された位置関係を有する前記被検体の胴体部を前記顔部以外の部位として追尾することを特徴とする請求項１又は２項記載の追尾装置。
【請求項９】
被写体が撮像された画像デ―タ中から顔部検出部により前記被写体の顔部を検出し、
前記画像データ中における前記顔部に対応する位置を顔対応部検出部により追尾し、
前記顔部検出部により検出された結果と前記顔部対応部検出部により検出された結果に基づいて顔部追尾部により前記顔部を追尾し、
前記被検体中の前記顔部以外の周辺部位を周辺部位追尾部により追尾し、
前記顔部追尾部による前記顔部の追尾が出来ない場合、前記周辺部位追尾部による前記顔部以外の部位の追尾に切り替える、
ことを特徴とする追尾方法。
【請求項１０】
前記追尾の切り替えは、前記顔部以外の周辺部位の位置から前記顔部として推定される位置で、前記顔部が検出される、又は前記顔部に対応する前記色情報が検出されると、前記顔部追尾部による前記顔部の追尾に戻ることを特徴とする請求項９記載の追尾方法。
【請求項１１】
コンピュータに、
被写体が撮像された画像デ―タ中から前記被写体の顔部を検出させる顔部検出機能と、
前記画像データ中における前記顔部に対応する位置を追尾する顔対応部検出機能と、
前記顔部検出機能により検出された結果と前記顔部対応部検出機能により検出された結果に基づいて前記顔部を追尾する顔部追尾機能と、
前記被検体中の前記顔部以外の周辺部位を追尾させる周辺部位追尾機能と、
前記顔部追尾機能による前記顔部の追尾が出来ない場合、前記周辺部位追尾機能による前記顔部以外の周辺部位の追尾に切り替える追尾切替機能と、
を実現させる追尾プログラム。
【請求項１２】
前記追尾切替機能は、前記顔部以外の周辺部位の位置から前記顔部として推定される位置で、前記顔部が検出される、又は前記顔部に対応する前記色情報が検出されると、前記顔部追尾機能による前記顔部の追尾に戻る請求項１１記載の追尾プログラム。
【請求項１】
被写体が撮像された画像デ―タ中から前記被写体の顔部を検出する顔部検出部と、
前記画像データ中における前記顔部に対応する位置を追尾する顔対応部検出部と、
前記顔部検出部により検出された結果と前記顔部対応部検出部により検出された結果に基づいて前記顔部を追尾する顔部追尾部と、
前記被検体中の前記顔部以外の周辺部位を追尾する周辺部位追尾部と、
前記顔部追尾部による前記顔部の追尾が出来ない場合、前記周辺部位追尾部による前記顔部以外の部位の追尾に切り替える追尾切替部と、
を具備することを特徴とする追尾装置。
【請求項２】
前記追尾切替部は、前記顔部以外の部位の位置から前記顔部として推定される位置で、前記顔部が検出される、又は前記顔部に対応する前記色情報が検出されると、前記顔部追尾部による前記顔部の追尾に戻ることを特徴とする請求項１記載の追尾装置。
【請求項３】
前記追尾切替部は、前記顔部に対応する色情報を予め記憶し、前記顔部として推定される位置における色情報が前記予め記憶されている前記色情報と一致したときに、前記顔部に対応する前記色情報が検出されたとして前記顔部追尾部による前記顔部の追尾に戻ることを特徴とする請求項２記載の追尾装置。
【請求項４】
前記顔部追尾部は、前記色情報検出部による前記色情報の領域の検出よりも、前記顔部検出部による前記顔部の検出を優先することを特徴とする請求項１又は２記載の追尾装置。
【請求項５】
前記追尾切替部は、少なくとも前記顔部検出部により前記顔部が検出されず、かつ前記色情報検出部により前記色情報の領域が検出されない場合、前記顔部追尾部による前記顔部の追尾が出来ないと判定することを特徴とする請求項１又は２記載の追尾装置。
【請求項６】
前記追尾切替部は、前記画像デ―タ中に前記顔部のデータが無く、かつ前記色情報の領域に基づいて前記顔部を追尾できなければ、前記顔部追尾部による前記顔部の追尾が出来ないと判定することを特徴とする請求項５記載の追尾装置。
【請求項７】
前記色情報検出部は、前記色情報として肌色を検出することを特徴とする請求項１乃至６のうちいずれか１項記載の追尾装置。
【請求項８】
前記周辺部位追尾部は、前記顔部から予め設定された位置関係を有する前記被検体の胴体部を前記顔部以外の部位として追尾することを特徴とする請求項１又は２項記載の追尾装置。
【請求項９】
被写体が撮像された画像デ―タ中から顔部検出部により前記被写体の顔部を検出し、
前記画像データ中における前記顔部に対応する位置を顔対応部検出部により追尾し、
前記顔部検出部により検出された結果と前記顔部対応部検出部により検出された結果に基づいて顔部追尾部により前記顔部を追尾し、
前記被検体中の前記顔部以外の周辺部位を周辺部位追尾部により追尾し、
前記顔部追尾部による前記顔部の追尾が出来ない場合、前記周辺部位追尾部による前記顔部以外の部位の追尾に切り替える、
ことを特徴とする追尾方法。
【請求項１０】
前記追尾の切り替えは、前記顔部以外の周辺部位の位置から前記顔部として推定される位置で、前記顔部が検出される、又は前記顔部に対応する前記色情報が検出されると、前記顔部追尾部による前記顔部の追尾に戻ることを特徴とする請求項９記載の追尾方法。
【請求項１１】
コンピュータに、
被写体が撮像された画像デ―タ中から前記被写体の顔部を検出させる顔部検出機能と、
前記画像データ中における前記顔部に対応する位置を追尾する顔対応部検出機能と、
前記顔部検出機能により検出された結果と前記顔部対応部検出機能により検出された結果に基づいて前記顔部を追尾する顔部追尾機能と、
前記被検体中の前記顔部以外の周辺部位を追尾させる周辺部位追尾機能と、
前記顔部追尾機能による前記顔部の追尾が出来ない場合、前記周辺部位追尾機能による前記顔部以外の周辺部位の追尾に切り替える追尾切替機能と、
を実現させる追尾プログラム。
【請求項１２】
前記追尾切替機能は、前記顔部以外の周辺部位の位置から前記顔部として推定される位置で、前記顔部が検出される、又は前記顔部に対応する前記色情報が検出されると、前記顔部追尾機能による前記顔部の追尾に戻る請求項１１記載の追尾プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−１２９４１（Ｐ２０１３−１２９４１Ａ）
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願番号】特願２０１１−１４４７７１（Ｐ２０１１−１４４７７１）
【出願日】平成２３年６月２９日（２０１１．６．２９）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願日】平成２３年６月２９日（２０１１．６．２９）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]