追尾装置及び追尾方法
【課題】苦手シーンが生じても高い追尾性能の追尾装置及び追尾方法を提供すること。
【解決手段】各フレームの画像データに対して追尾処理を行う。追尾処理によって得られた追尾候補位置が複数の場合、各追尾候補位置におけるコントラスト情報と過去のフレームにおいて決定された追尾位置におけるコントラスト情報との類似度が評価される。そして、過去のフレームにおいて決定された追尾位置におけるコントラスト情報との類似度が最も高い追尾候補位置が、現在のフレームにおける追尾位置に決定される。
【解決手段】各フレームの画像データに対して追尾処理を行う。追尾処理によって得られた追尾候補位置が複数の場合、各追尾候補位置におけるコントラスト情報と過去のフレームにおいて決定された追尾位置におけるコントラスト情報との類似度が評価される。そして、過去のフレームにおいて決定された追尾位置におけるコントラスト情報との類似度が最も高い追尾候補位置が、現在のフレームにおける追尾位置に決定される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を追尾する追尾装置及び追尾方法に関する。
【背景技術】
【０００２】
従来、動体を撮影する際や動画像を撮影する際に、特定の被写体に追従するように自動合焦制御（ＡＦ）や自動露光制御（ＡＥ）を行う技術が知られている。このような特定の被写体を追従するために追尾処理が用いられている。追尾処理には、特許文献１において知られているような色情報を利用するものや、輝度情報を利用するもの、顔検出を利用するもの等、種々のものがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第２６０５００４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、特許文献１等の色情報を用いた追尾処理の場合、追尾対象の被写体と類似の色情報を有する被写体が存在すると、追尾対象の被写体の乗り換えが発生してユーザの意図しない対象を追尾してしまう可能性がある。また、輝度情報を用いた場合には、形状変化の大きい（例えば動きの大きい）被写体を追尾対象とすると、追尾対象の被写体をロストしてしまう可能性がある。
【０００５】
本発明は、前記の事情に鑑みてなされたもので、苦手シーンが生じても高い追尾性能の追尾装置及び追尾方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記の目的を達成するために、本発明の第１の態様の追尾装置は、画像データをフレーム毎に取得する画像データ取得部と、前記フレーム毎に取得された画像データのそれぞれにおける追尾対象の候補位置を検出する追尾処理部と、前記フレーム毎に検出された前記画像データにおける追尾対象の候補位置のコントラスト情報を取得するコントラスト情報取得部と、過去の前記フレームにおいて決定された前記追尾対象の位置のコントラスト情報と現在の前記フレームにおいて取得された前記追尾対象の候補位置のコントラスト情報との類似度を評価するコントラスト情報類似度評価部と、過去の前記フレームにおいて決定された前記追尾対象の位置のコントラスト情報に対する類似度が最も高いコントラスト情報を有する前記追尾対象の候補位置を、現在の前記フレームにおける追尾対象の位置として決定する制御部と、を具備することを特徴とする。
【０００７】
また、前記の目的を達成するために、本発明の第２の態様の追尾方法は、画像データ取得部が、画像データをフレーム毎に取得し、追尾処理部が、前記フレーム毎に取得された画像データのそれぞれにおける追尾対象の候補位置を検出し、コントラスト情報取得部が、前記フレーム毎に検出された前記画像データにおける追尾対象の候補位置のコントラスト情報を取得し、コントラスト類似度評価部が、過去の前記フレームにおいて決定された前記追尾対象の位置のコントラスト情報と現在の前記フレームにおいて取得された前記追尾対象の候補位置のコントラスト情報との類似度を評価し、制御部が、過去の前記フレームにおいて決定された前記追尾対象の位置のコントラスト情報に対する類似度が最も高いコントラスト情報を有する前記追尾対象の候補位置を、現在の前記フレームにおける追尾対象の位置として決定する、ことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、苦手シーンが生じても高い追尾性能の追尾装置及び追尾方法を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る追尾装置を備えた撮像装置の一例としての構成を示す図である。
【図２】輝度情報を用いた追尾処理について説明するための図である。
【図３】色情報を用いた追尾処理について説明するための図である。
【図４】顔検出処理について説明するための図である。
【図５】撮像装置の撮影動作を示すフローチャートである。
【図６】本発明の一実施形態における色情報を用いた追尾処理について示すフローチャートである。
【図７】優先追尾位置判断処理について示すフローチャートである。
【図８】従来の色情報を用いた追尾処理について説明するための図である。
【図９】本発明の一実施形態における色情報を用いた追尾処理の効果について説明するための図である。
【図１０】本発明の一実施形態における輝度情報を用いた追尾処理について示すフローチャートである。
【図１１】追尾位置補正判断処理について示すフローチャートである。
【図１２】従来の輝度情報を用いた追尾処理について説明するための図である。
【図１３】本発明の一実施形態における輝度情報を用いた追尾処理の効果について説明するための図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る追尾装置を備えた撮像装置の一例としての構成を示す図である。図１に示す撮像装置１００は、撮影光学系１０２と、焦点調整機構１０４と、絞り１０６と、絞り駆動機構１０８と、シャッタ１１０と、シャッタ駆動機構１１２と、撮像素子１１４と、撮像素子インターフェイス（ＩＦ）回路１１６と、ＲＡＭ１１８と、表示素子１２０と、表示素子駆動回路１２２と、タッチパネル１２４と、タッチパネル駆動回路１２６と、記録メディア１２８と、システムコントローラ１３０と、操作部１３２と、ＲＯＭ１３４と、を有している。
【００１１】
撮影光学系１０２は、図示しない被写体からの光束Ｆを、撮像素子１１４の受光面上に集光するための光学系である。この撮影光学系１０２は、フォーカスレンズ等の複数のレンズを有している。焦点調整機構１０４は、モータ及びその駆動回路等を有している。この焦点調整機構１０４は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮影光学系１０２内のフォーカスレンズをその光軸方向（図示一点鎖線方向）に駆動させる。
【００１２】
絞り１０６は、開閉自在に構成され、撮影光学系１０２を介して撮像素子１１４に入射する光束Ｆの量を調整する。絞り駆動機構１０８は、絞り１０６を駆動するための駆動機構を有している。この絞り駆動機構１０８は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、絞り１０６を駆動させる。
【００１３】
シャッタ１１０は、撮像素子１１４の受光面を遮光状態又は露光状態とするように構成されている。このシャッタ１１０により、撮像素子１１４の露光時間が調整される。シャッタ駆動機構１１２は、シャッタ１１０を駆動させるための駆動機構を有し、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、シャッタ１１０を駆動させる。
【００１４】
撮像素子１１４は、撮影光学系１０２を介して集光された被写体からの光束Ｆが結像される受光面を有している。撮像素子１１４の受光面は、複数の画素が２次元状に配置されて構成されており、また、受光面の光入射側には、カラーフィルタが設けられている。このような撮像素子１１４は、受光面に結像された光束Ｆに対応した像（被写体像）を、その光量に応じた電気信号（以下、画像信号という）に変換する。ここで、撮像素子１１４は、ＣＣＤ方式やＣＭＯＳ方式等の種々の構成の撮像素子が知られている。また、カラーフィルタの色配列もベイヤ配列等の種々の配列が知られている。本実施形態は、撮像素子１１４の構成が特定の構成に限定されるものではなく、種々の構成の撮像素子を用いることが可能である。
【００１５】
撮像素子ＩＦ回路１１６は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮像素子１１４を駆動させる。また、撮像素子ＩＦ回路１１６は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮像素子１１４で得られた画像信号を読み出し、読み出した画像信号に対してＣＤＳ（相関二重サンプリング）処理やＡＧＣ（自動利得制御）処理等のアナログ処理を施す。さらに、撮像素子ＩＦ回路１１６は、アナログ処理した画像信号をデジタル信号（以下、画像データという）に変換する。
【００１６】
ＲＡＭ１１８は、例えばＳＤＲＡＭであり、ワークエリア、評価画像エリア、参照画像エリア、追尾位置ログエリア、コントラスト情報ログエリア、を記憶エリアとして有している。
ワークエリアは、撮像素子ＩＦ回路１１６で得られた画像データ等の、撮像装置１００の各部で発生したデータを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。
評価画像エリアは、評価画像データを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。評価画像データは、後述する追尾処理における追尾対象の被写体を含むフレームの画像データである。追尾処理においては、この追尾対象を追尾するように処理が行われる。
参照画像エリアは、参照画像データを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。参照画像データは、後述する追尾処理において、追尾対象の探索の対象となるフレームの画像データである。追尾処理においては、参照画像データ中で探索が行われる。
追尾位置ログエリアは、追尾位置ログを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。追尾位置ログは、追尾処理の結果として得られた追尾位置を記録したログである。
【００１７】
コントラスト情報ログエリアは、コントラスト情報ログを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。コントラスト情報ログは、追尾処理におけるコントラスト情報の取得処理によって得られたコントラスト情報の変化を記録したログである。本実施形態では、コントラスト情報を例えば過去１０フレーム分記録する。
【００１８】
表示素子１２０は、例えば液晶ディスプレイ（ＬＣＤ）であり、ライブビュー用の画像及び記録メディア１２８に記録された画像等の各種の画像を表示する。表示素子駆動回路１２２は、システムコントローラ１３０のＣＰＵ１３０１から入力された画像データに基づいて表示素子１２０を駆動させ、表示素子１２０に画像を表示させる。
【００１９】
タッチパネル１２４は、表示素子１２０の表示画面上に一体的に形成されており、表示画面上へのユーザの指等の接触位置等を検出する。タッチパネル駆動回路１２６は、タッチパネル１２４を駆動するとともに、タッチパネル１２４からの接触検出信号をシステムコントローラ１３０のＣＰＵ１３０１に出力する。ＣＰＵ１３０１は、接触検出信号から、ユーザの表示画面上への接触操作を検出し、その接触操作に応じた処理を実行する。
【００２０】
記録メディア１２８は、例えばメモリカードであり、撮影動作によって得られた画像ファイルが記録される。画像ファイルは、画像データに所定のヘッダを付与して構成されるファイルである。ヘッダには、撮影条件を示すデータ及び追尾位置を示すデータ等が、タグデータとして記録される。
【００２１】
システムコントローラ１３０は、撮像装置１００の動作を制御するための制御回路として、ＣＰＵ１３０１と、ＡＦ制御回路１３０２と、ＡＥ制御回路１３０３と、画像処理回路１３０４と、追尾処理回路１３０５、１３０６と、顔検出回路１３０７と、コントラスト情報取得回路１３０８と、メモリ制御回路１３０９と、を有している。
【００２２】
ＣＰＵ１３０１は、焦点調整機構１０４、絞り駆動機構１０８、シャッタ駆動機構１１２、表示素子駆動回路１２２、タッチパネル駆動回路１２６等のシステムコントローラ１３０の外部の各ブロック、及びシステムコントローラ１３０の内部の各制御回路の動作を制御する。また、ＣＰＵ１３０１は、コントラスト情報類似度評価部及び制御部としての機能も有し、後述の優先追尾判断処理又は追尾位置補正判断処理において最終的な追尾位置を決定することも行う。
【００２３】
ＡＦ制御回路１３０２は、コントラストＡＦ処理を制御する。具体的には、ＡＦ制御回路１３０２は、撮像素子ＩＦ回路１１６で得られた画像データの高周波成分を抽出し、この抽出した高周波成分を積算することにより、ＡＦ用の合焦評価値を取得する。ＣＰＵ１３０１は、この合焦評価値に従って画像データのコントラストを評価しつつ、焦点調整機構１０４を制御してフォーカスレンズを合焦状態とする。
【００２４】
ＡＥ制御回路１３０３は、ＡＥ動作を制御する。具体的には、ＡＥ制御回路１３０３は、撮像素子ＩＦ回路１１６で得られた画像データを用いて被写体輝度を算出する。ＣＰＵ１３０１は、この被写体輝度に従って、露光時の絞り１０６の開口量（絞り値）、シャッタ１１０の開放時間（シャッタ速度値）、撮像素子感度やＩＳＯ感度等を算出する。
【００２５】
画像処理回路１３０４は、画像データに対する各種の画像処理を行う。この画像処理としては、色補正処理、ガンマ（γ）補正処理、圧縮処理等が含まれる。また、画像処理回路１３０４は、圧縮されている画像データに対する伸張処理も施す。
【００２６】
追尾処理回路１３０５は、画像データの輝度情報を用いた追尾処理を行う。この輝度情報を用いた追尾処理について簡単に説明する。輝度情報を用いた追尾処理では、例えば、図２（ａ）に示す（Ｎ−１）フレームにおいて追尾対象が設定された場合、この（Ｎ−１）フレームの画像データを、評価画像データとしてＲＡＭ１１８の評価画像エリアに記憶する。この評価画像データの追尾対象を含む所定範囲２０２の画像データを、基準画像データに設定する。この後の追尾処理では、参照画像データの基準画像データ２０２と対応する部分を探索する。
Ｎフレームの追尾処理を例に示すと、まず、Ｎフレームの画像データを、参照画像データとしてＲＡＭ１１８の参照画像エリアに記憶する。この参照画像データのうちの所定の探索範囲２０４の画像データと基準画像データ２０２との相関量を求めることにより、参照画像データの基準画像データ２０２と対応する部分を探索する。相関量は、例えば基準画像データと参照画像データとの差分絶対値和（画素毎に輝度差の絶対値を求めてそれを積算したもの）から判定する。例えば、図２（ｂ）に示す参照画像データの領域２０６の参照画像データと基準画像データ２０２との差分絶対値和を求めたとすると、参照画像データの領域２０６と基準画像データ２０２とは明らかに異なる画像データであり、差分絶対値和が大きくなる。これに対し、参照画像データの領域２０８と基準画像データ２０２との差分絶対値和を求めたとすると、差分絶対値和が小さくなる。このように、基準画像データ２０２との相関量が大きくなるに従って差分絶対値和が小さくなる。輝度情報を用いた追尾処理では、相関量が最大の、即ち差分絶対値和が最小の領域を参照画像データから探索する。図２（ｂ）の例では、領域２０８となる。なお、追尾位置ログエリアには、領域２０８の中で最も一致度の高い位置を追尾位置として記録する。なお、このような位置が複数ある場合には、例えば、領域２０８の中心に近い位置を追尾位置とする。次回の追尾処理時には、この追尾位置を追尾処理の開始位置とすることが望ましい。これにより、追尾処理にかかる時間を軽減することが可能である。
【００２７】
追尾処理回路１３０６は、画像データの色情報を用いた追尾処理を行う。この色情報を用いた追尾処理について簡単に説明する。色情報を用いた追尾処理では、評価画像データ内で設定された色と同色であると判定できる領域である追尾色領域を探索する。図３（ａ）に示すように、（Ｎ−１）フレームにおいて、被写体のある位置３０２が指定された場合、評価画像データ中の位置３０２の色情報を取得する。そして、位置３０２を追尾処理の開始位置として、位置３０２と同じ色情報を有する領域を探索する。具体的には、位置３０２を開始位置から周辺に向かうように順次色情報を取得し、取得した色情報が位置３０２の色情報と同一であると判定できる場合には領域に含め、取得した色情報が位置３０２の色情報と同一であると判定できない場合には領域に含めない。このようにして追尾色領域を探索すると、例えば、図３（ａ）に示すような単色の被写体の場合、被写体に内接する矩形領域３０４が追尾色領域となる。また、追尾位置ログエリアに記録する追尾位置は、例えば追尾色領域３０４の重心位置（図３（ａ）の例では、位置３０２と同じ）とする。次回の追尾処理においては、この追尾位置を追尾処理の開始位置とする。
【００２８】
Ｎフレームの追尾処理を例に示すと、図３（ｂ）に示す参照画像データとして記憶したＮフレームの画像データの所定の探索範囲の中で、（Ｎ−１）フレームの追尾位置３０２を追尾処理の開始位置とし、追尾位置３０２の周辺から順次、追尾色領域３０４の色と同色であると判定できる領域を追尾色領域として探索する。図３（ｂ）の例では、領域３０６が追尾色領域となる。
【００２９】
顔検出回路１３０７は、画像データにおける被写体（人物）の顔を検出する。ここで、顔検出処理について簡単に説明する。顔検出処理においては、各フレームで得られる画像データと、図４（ａ）に示すような顔パーツ４０２、４０４、４０６との相関量を求める。顔パーツ４０２は、人物の鼻部周辺の陰影のパターンに対応した画像データであり、顔パーツ４０４は、人物の目部周辺の陰影のパターンに対応した画像データであり、顔パーツ４０６は、人物の口部周辺の陰影のパターンに対応した画像データである。画像データと顔パーツ４０２、４０４、４０６との相関量は、図４（ｂ）に示すような、人物の顔を示す所定の配置となったときに最大となる。このとき、顔パーツ４０２、４０４、４０６を含む領域４０８に顔が存在しているとする。なお、顔パーツ４０２、４０４、４０６は予め設定した検索顔の大きさに応じて、大きさを変えても良い。ここで、図４（ｂ）では、顔領域を矩形領域としているが、円形領域としても良い。
【００３０】
コントラスト情報取得回路１３０８は、画像データにおける所定のエリアをコントラスト取得エリアに設定し、このコントラスト取得エリアにおけるコントラスト情報を取得する。コントラスト情報は、ＡＦ制御回路１３０２で得られるＡＦ用の合焦評価値を利用することが可能である。
【００３１】
メモリ制御回路１３０９は、ＣＰＵ１３０１等が、ＲＡＭ１１８、記録メディア１２８、ＲＯＭ１３４にアクセスするための制御を行うインターフェイスである。
【００３２】
操作部１３２は、ユーザによって操作される各種の操作部材である。操作部１３２としては、例えば、レリーズ釦、動画釦、モードダイヤル、選択キー、電源釦等が含まれる。
レリーズボタン釦は、１ｓｔレリーズスイッチと、２ｎｄレリーズスイッチと、を有している。１ｓｔレリーズスイッチは、ユーザがレリーズ釦を半押しするとオンするスイッチである。１ｓｔレリーズスイッチがオンすることにより、ＡＦ処理等の撮影準備動作が行われる。また、２ｎｄレリーズスイッチは、ユーザがレリーズ釦を全押しするとオンするスイッチである。２ｎｄレリーズスイッチがオンすることにより、静止画撮影用の露光動作が行われる。
動画釦は、動画撮影の開始又は終了を指示するための操作部材である。ユーザによって動画釦が押されると動画撮影処理が開始される。また、動画撮影処理の実行中に動画釦が押されると、動画撮影処理が終了される。
モードダイヤルは、撮像装置の撮影設定を選択するための操作部材である。本実施形態では、撮像装置の撮影設定として、例えば、静止画撮影モードと動画撮影モードを選択できる。静止画撮影モードは、静止画像を撮影するための撮影設定である。また、動画撮影モードは、動画像を撮影するための撮影設定である。
選択キーは、例えばメニュー画面上での項目の選択や決定をするための操作部材である。ユーザによって選択キーが操作されるとメニュー画面上での項目の選択や決定が行われる。
電源釦は、撮像装置の電源をオン又はオフするための操作部材である。ユーザによって電源釦が操作されると、撮像装置１００が起動して動作可能な状態となる。撮像装置が起動している間に電源釦が操作されると、撮像装置１００が省電力待機状態となる。
【００３３】
ＲＯＭ１３４は、ＣＰＵ１３０１が種々の処理を実行するためのプログラムコードを記憶している。また、ＲＯＭ１３４は、撮影光学系１０２、絞り１０６、及び撮像素子１１４等の動作に必要な制御パラメータ、並びに画像処理回路１３０４での画像処理に必要な制御パラメータ等の、各種の制御パラメータを記憶している。さらには、ＲＯＭ１３４は、顔検出回路１３０７における顔検出に用いられる顔パーツのデータや追尾枠を表示するためのデータ等も記憶している。
【００３４】
次に、本実施形態に係る撮像装置の動作について説明する。図５は、撮像装置１００の撮影動作を示すフローチャートである。ＣＰＵ１３０１は、ＲＯＭ１３４から必要なプログラムコードを読み込んで図５の動作を制御する。
【００３５】
Ｓ１００において、ＣＰＵ１３０１は、現在の撮像装置１００の撮影設定が静止画撮影モードであるかを判定する。前述したように、撮影設定は、モードダイヤルによって設定される。
【００３６】
Ｓ１００において、撮影設定が静止画撮影モードであると判定した場合に、Ｓ１０２において、ＣＰＵ１３０１は、ライブビュー動作を開始させる。ライブビュー動作として、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御してシャッタ１１０を開放した後、ＣＰＵ１３０１は、撮像素子ＩＦ回路１１６を制御して撮像素子１１４による撮像を開始させる。その後、ＣＰＵ１３０１は、撮像素子１１４による撮像の結果としてＲＡＭ１１８のワークエリアに記憶された画像データを画像処理回路１３０４に入力してライブビュー表示用の画像処理を施す。続いて、ＣＰＵ１３０１は、ライブビュー表示用の画像処理がされた画像データを表示素子駆動回路１２２に入力し、表示素子１２０に画像を表示させる。このような表示動作を繰り返し実行することにより、被写体の画像を動画表示する。この動画表示により、ユーザは、被写体を観察することが可能である。
【００３７】
Ｓ１０４において、ＣＰＵ１３０１は、１ｓｔレリーズスイッチがオンされたかを判定する。Ｓ１０４において、１ｓｔレリーズスイッチがオンされたと判定するまでは、ＣＰＵ１３０１は、ライブビュー動作を継続する。
【００３８】
また、Ｓ１０４において、１ｓｔレリーズスイッチがオンされたと判定した場合に、Ｓ１０６において、ＣＰＵ１３０１は、レリーズＡＦ処理を行う。レリーズＡＦにおいては、スキャン駆動によって、フォーカスレンズを合焦位置まで駆動させる。スキャン駆動では、ＣＰＵ１３０１は、焦点調整機構１０４を制御して、フォーカスレンズを所定のスキャン範囲内で一方向に駆動させつつ、ＡＦ制御回路１３０２で順次算出される合焦評価値を評価する。そして、ＣＰＵ１３０１は、合焦評価値の評価の結果、コントラストが最大となるレンズ位置において、フォーカスレンズの駆動を停止させる。このようなスキャン駆動は、ＡＦ前のフォーカスレンズの位置と合焦位置との差が大きい場合に行われる。
【００３９】
Ｓ１０８において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、表示素子１２０に追尾枠を表示させる。ここで、追尾枠は、表示素子１２０の画面上の追尾対象の位置に表示させる。例えば、レリーズＡＦで合焦した被写体を追尾対象とし、その被写体に追尾枠を表示させるようにしても良いし、顔検出回路１３０７によって顔が検出された場合には、その顔に追尾枠を表示させるようにしても良い。さらに、タッチパネル１２４により、表示素子１２０の画面上に表示された被写体が指定された場合には、その被写体上に追尾枠を表示させるようにしても良い。
【００４０】
Ｓ１１０において、ＣＰＵ１３０１は、追尾処理を行う。この追尾処理の詳細については後述する。
Ｓ１１２において、ＣＰＵ１３０１は、追尾位置の被写体に合焦するようにＡＦ処理を行うとともに、追尾位置の被写体の露光が適正となるようにＡＥ処理を行う。
追尾処理後のＡＦ処理においては、スキャン駆動又はウォブリング駆動によって、フォーカスレンズを合焦位置まで駆動させる。ウォブリング駆動では、ＣＰＵ１３０１は、フォーカスレンズを駆動したときにＡＦ制御回路１３０２で算出された合焦評価値が、前回のレンズ位置での合焦評価値に対して増加したかを判定する。そして、ＣＰＵ１３０１は、合焦評価値が増加した場合には前回と同方向にフォーカスレンズを微小駆動させ、合焦評価値が減少した場合には前回と逆方向にフォーカスレンズを微小駆動させる。このような動作を高速で繰り返してフォーカスレンズを徐々に合焦位置まで駆動させる。
【００４１】
また、ＡＥ処理において、ＣＰＵ１３０１は、ＡＥ制御回路１３０３で算出された追尾位置の被写体の輝度を予め定められた適正な量（適正露光量）とする、本露光時の絞り１０６の開口量（絞り値）、シャッタ１１０の開放時間（シャッタ速度値）を算出する。
【００４２】
Ｓ１１４において、ＣＰＵ１３０１は、２ｎｄレリーズスイッチがオンされたかを判定する。Ｓ１１４において、２ｎｄレリーズスイッチがオンされていないと判定した場合に、ＣＰＵ１３０１は、Ｓ１１０の追尾処理以後の処理を実行する。このように、静止画撮影モード時には、２ｎｄレリーズスイッチがオンされるまでは、追尾処理が継続される。
【００４３】
また、Ｓ１１４において、２ｎｄレリーズスイッチがオンされたと判定した場合に、Ｓ１１６において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、追尾枠を非表示とする。
【００４４】
Ｓ１１８において、ＣＰＵ１３０１は、静止画像データを記録メディア１２８に記録する処理を行う。この際、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御して、シャッタ１１０を閉じる。その後、ＣＰＵ１３０１は、絞り駆動機構１０８を制御して、絞り１０６を先に算出した絞り値まで絞り込む。続いて、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御して、シャッタ１１０を先に算出した開放時間だけ開放しつつ、撮像素子１１４による撮像（露光）を行う。その後、ＣＰＵ１３０１は、撮像素子１１４を介して得られた静止画像データを画像処理回路１３０４において処理する。そして、ＣＰＵ１３０１は、画像処理回路１３０４において処理された静止画像データにヘッダを付与して静止画像ファイルを生成し、生成した静止画像ファイルを記録メディア１２８に記録する。
Ｓ１２０において、ＣＰＵ１３０１は、Ｓ１１０の追尾処理の結果として得られた追尾位置を示すデータを、先に記録メディア１２８に記録した静止画像ファイルに追記する。その後に、ＣＰＵ１３０１は、図５に示す動作を終了させる。
【００４５】
また、Ｓ１００において、撮影設定が動画撮影モードであると判定した場合に、Ｓ１２２において、ＣＰＵ１３０１は、ライブビュー動作を開始させる。
【００４６】
Ｓ１２４において、ＣＰＵ１３０１は、動画釦がオンされたかを判定する。Ｓ１２４において、動画釦がオンされたと判定するまでは、ＣＰＵ１３０１は、ライブビュー動作を継続する。
【００４７】
また、Ｓ１２４において、動画釦がオンされたと判定した場合に、Ｓ１２６において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、表示素子１２０に追尾枠を表示させる。
【００４８】
Ｓ１２８において、ＣＰＵ１３０１は、追尾処理を行う。この追尾処理の詳細については、後述する。
【００４９】
Ｓ１３０において、ＣＰＵ１３０１は、追尾位置の被写体に合焦するようにＡＦ処理を行うともに、追尾位置の被写体の露光が適正となるようにＡＥ処理を行う。Ｓ１３０におけるＡＦ処理おいては、ウォブリング駆動によって、フォーカスレンズを合焦位置まで駆動させる。
【００５０】
Ｓ１３２において、ＣＰＵ１３０１は、動画像データを記録メディア１２８に記録する処理を行う。この際、ＣＰＵ１３０１は、絞り駆動機構１０８を制御して、絞り１０６をＡＥ処理において算出した絞り値まで絞り込む。続いて、ＣＰＵ１３０１は、ＡＥ処理において算出したシャッタ速度値に対応した時間だけ撮像素子１１４による撮像（露光）を実行させる。露光の終了後、ＣＰＵ１３０１は、動画像ファイルを生成して記録メディア１２８に記録する。また、ＣＰＵ１３０１は、撮像素子１１４を介して得られた動画像データを画像処理回路１３０４において処理し、画像処理回路１３０４において処理された動画像データを動画像ファイルに記録する。
【００５１】
Ｓ１３４において、ＣＰＵ１３０１は、Ｓ１２８の追尾処理の結果として得られた追尾位置を示すデータを、先に記録メディア１２８に記録した動画像ファイルと同時記録する。
【００５２】
Ｓ１３６において、ＣＰＵ１３０１は、動画釦がオフされたかを判定する。Ｓ１３６において、動画釦がオフされていないと判定した場合に、ＣＰＵ１３０１は、Ｓ１２８の追尾処理以後の処理を実行する。このように、動画撮影モード時では、動画釦がオフされるまでは、追尾処理と動画像データの記録が継続される。
【００５３】
また、Ｓ１３６において、動画釦がオフされたと判定した場合に、Ｓ１３８において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、追尾枠を非表示とする。その後、ＣＰＵ１３０１は、図５に示す動作を終了させる。
【００５４】
次に、本実施形態に係る追尾方法としての追尾処理について説明する。
まず、色情報を用いた場合の追尾処理について説明する。図６は、色情報を用いた追尾処理について示すフローチャートである。
Ｓ２００において、ＣＰＵ１３０１は、撮像素子ＩＦ回路１１６を制御して撮像素子１１４による撮像を実行する。Ｓ２０２において、ＣＰＵ１３０１は、撮像素子１１４による撮像により、撮像素子ＩＦ回路１１６において得られた画像データをＲＡＭ１１８に取り込む。ここで、初回の追尾処理で得られた画像データは、評価画像データとする。このため、ＣＰＵ１３０１は、初回の追尾処理で得られた画像データをＲＡＭ１１８の評価画像エリアに取り込む。また、２回目以後の追尾処理で得られた画像データは、参照画像データとする。このため、ＣＰＵ１３０１は、２回目以後の追尾処理で得られた画像データをＲＡＭ１１８の参照画像エリアに取り込む。
【００５５】
Ｓ２０４において、ＣＰＵ１３０１は、追尾処理回路１３０６により、色情報を用いた追尾処理を行う。色情報を用いた追尾処理については、前述したので説明を省略する。なお、初回の追尾処理においては、評価画像データのみが取得された状態であるので、Ｓ２０４以後の処理は省略される。以後の説明においては、評価画像データと参照画像データの両方が取得されているものとして説明を続ける。Ｓ２０６において、ＣＰＵ１３０１は、色情報を用いた追尾処理の結果として得られた追尾位置を、追尾候補位置としてＲＡＭ１１８の追尾位置ログエリアに記憶させる。
【００５６】
Ｓ２０８において、ＣＰＵ１３０１は、コントラスト情報取得回路１３０８により、Ｓ２０６で記憶された追尾候補位置におけるコントラスト情報を取得する。Ｓ２１０において、ＣＰＵ１３０１は、取得したコントラスト情報を、ＲＡＭ１１８のコントラスト情報ログエリアに記憶させる。ここで、コントラスト情報を取得するためのコントラスト取得エリアは、追尾候補位置のエリアだけでなく、追尾候補位置を含む所定のサイズのエリアに設定しても良い。なお、コントラスト取得エリアのサイズは、全ての追尾候補位置で同一サイズとすることが好ましい。
【００５７】
Ｓ２１２において、ＣＰＵ１３０１は、優先追尾位置判断処理を行う。優先追尾位置判断処理は、現在のフレームにおいて複数の追尾候補位置がＲＡＭ１１８に記憶された場合に、その何れを採用するかを判断するための処理である。この優先追尾位置判断処理の詳細については後述する。
【００５８】
Ｓ２１４において、ＣＰＵ１３０１は、優先追尾位置判断処理の結果として採用された追尾位置の信頼性を判断する。信頼性は、例えば参照画像データの彩度から判断する。具体的には、参照画像データの追尾位置の彩度が所定値以上である場合には、信頼性があると判断する。この信頼性を判定するための閾値は適宜設定可能である。
【００５９】
Ｓ２１６において、ＣＰＵ１３０１は、最終的な追尾位置を、ＲＡＭ１１８の追尾位置ログエリアに記録する。次回（次フレーム）の追尾処理においては、この最終的な追尾位置を追尾処理の開始位置とする。ただし、Ｓ２１４の信頼性判断において、信頼性がないと判断された場合には、追尾位置を記録しないようにしても良い。
【００６０】
Ｓ２１８において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、追尾枠の表示位置をＳ２１６で記録した追尾位置に対応した位置に更新する。その後、ＣＰＵ１３０１は、図６の追尾処理を終了させる。
【００６１】
次に、優先追尾位置判断処理について図７を参照して説明する。優先追尾位置判断処理においては、現在のフレームにおける各追尾候補位置のコントラスト情報と過去のフレームにおいて決定された最終的な追尾位置のコントラスト情報との類似度に応じて、現在のフレームにおける最終的な追尾位置を決定する。
【００６２】
Ｓ３００において、ＣＰＵ１３０１は、現在のフレームに対応した複数の追尾候補位置が、ＲＡＭ１１８の追尾位置ログエリアに記録されたか否かを判定する。
Ｓ３００において、現在フレームに対応した複数の追尾候補位置がＲＡＭ１１８に記録されていると判定した場合に、Ｓ３０２において、ＣＰＵ１３０１は、過去のフレームの追尾位置のコントラスト情報と現在のフレームの各追尾候補位置のコントラスト情報との類似度を算出する。現在のフレームをＮフレームとした場合、類似度は、例えば（Ｎ−１）フレームにおける追尾位置のコントラスト情報とＮフレームの各追尾候補位置のコントラスト情報との差として求めることが可能である。この差が小さいほど類似度が高くなる。
【００６３】
Ｓ３０４において、ＣＰＵ１３０１は、算出された類似度のうち、類似度が最も高いコントラスト情報を有する追尾候補位置を、最終的な追尾位置に決定する。その後、ＣＰＵ１３０１は、図７の優先追尾位置判断処理を終了させる。
【００６４】
また、Ｓ３００において、現在のフレームに対応した追尾候補位置が、１つのみＲＡＭ１１８に記録されていると判定した場合に、Ｓ３０６において、ＣＰＵ１３０１は、その１つの追尾候補位置を、最終的な追尾位置に決定する。その後、ＣＰＵ１３０１は、図７の追尾処理を終了させる。
【００６５】
以下、図６及び図７で示した追尾処理の効果について説明する。
この追尾処理の効果を説明するために、まず、従来の色情報を用いた追尾処理について説明する。追尾処理に先立って、あるフレームにおいて、図８（ａ）に示す被写体Ｂの位置Ａ１が追尾対象として指定されたとする。このとき、図８（ａ）に示す画像データが評価画像データとなる。そして、位置Ａ１に追尾枠が表示される。
【００６６】
その後、別のフレームにおいて、図８（ｂ）に示すように、被写体Ｂに被写体Ｃが接近したとする。被写体Ｃは、追尾対象の被写体Ｂとは同色の被写体である。このような複数の同色被写体を含むフレームの画像データを参照画像データとして、色情報を用いた追尾処理を行ったとする。この場合、図８（ａ）の位置Ａ１と同じ色情報を有する領域を、参照画像データの中から探索する。この場合、追尾位置は、図８（ｂ）に示す被写体Ｂ上の位置Ａ１になる可能性と、図８（ｃ）に示す被写体Ｃ上の位置Ａ２になる可能性とが生じる。図８（ｃ）のように、追尾の対象の乗り換わりが発生してしまうと、それ以後のフレームにおいて正しい追尾処理を行うことができなくなる。
【００６７】
次に、図６及び図７で示す本実施形態の追尾処理を適用した場合の効果について説明する。ここでは、例として、図９（ａ）に示す被写体Ｅを追尾するとし、過去のフレームにおいて得られた最終的な追尾位置が位置Ｆであるとする。また、過去のフレームにおけるコントラスト情報は、追尾位置Ｆを含む所定サイズを有するコントラスト取得エリアＧのコントラスト情報を取得する。
【００６８】
現在のフレームにおいて、図９（ｂ）に示すように、被写体Ｅと被写体Ｈとが存在していたとする。被写体Ｅと被写体Ｈとは同一色の被写体である。この場合、色情報を用いた追尾処理では、追尾位置Ｆと同色の領域が探索され、追尾候補位置が算出される。図９（ｂ）の例では、被写体Ｅ上の位置Ｉ１と被写体Ｈ上の位置Ｉ２が、追尾候補位置となる。最終的な追尾位置としては、追尾候補位置Ｉ１が選択される必要がある。
【００６９】
追尾候補位置が複数存在する場合、各追尾候補位置でコントラスト情報が取得される。追尾候補位置Ｉ１におけるコントラスト情報は、図９（ｃ）に示すように、追尾候補位置Ｉ１を含み、コントラスト取得エリアＧと同一サイズのコントラスト取得エリアＪ１のコントラスト情報を取得する。また、追尾候補位置Ｉ２におけるコントラスト情報は、図９（ｃ）に示すように、追尾候補位置Ｉ２を含み、コントラスト取得エリアＧと同一サイズのコントラスト取得エリアＪ２のコントラスト情報を取得する。
【００７０】
続いて、コントラスト情報の類似度が評価される。コントラスト取得エリアＧのコントラスト情報とコントラスト取得エリアＪ１のコントラスト情報との類似度は、最大（両コントラスト情報の差が０）となる。これは、コントラスト取得エリアＧのコントラスト情報とコントラスト取得エリアＪ１のコントラスト情報とが同一の部分のコントラスト情報であるためである。一方、コントラスト取得エリアＧのコントラスト情報とコントラスト取得エリアＪ２のコントラスト情報との類似度は、最大とはならない。これは、コントラスト取得エリアＧのコントラスト情報とコントラスト取得エリアＪ２のコントラスト情報とが異なる部分のコントラスト情報であるためである。このようにして、最終的な追尾位置としては、追尾候補位置Ｉ１が選択される。
【００７１】
このように、本実施形態における追尾処理では、色情報を利用して追尾処理を行うだけではなく、色情報を利用して得られたそれぞれの追尾候補位置における被写体が、過去のフレームの追尾位置における被写体と対応しているか否かを、過去のフレームの追尾位置におけるコントラスト情報と現在のフレームの各追尾候補位置におけるコントラスト情報との類似度から判断している。コントラスト情報の類似度が高いということは、対応する追尾候補位置において、過去のフレームと同一の被写体を追尾している可能性が高いと考えられる。このような判断を行うことにより、本実施形態では、複数の同色被写体を含むフレームにおいても、適切な追尾候補位置を最終的な追尾位置として決定することが可能である。
【００７２】
また、追尾候補位置毎にコントラスト取得エリアを設定してコントラスト情報を抽出する場合において、コントラスト取得エリアのサイズを同一サイズとすることにより、コントラスト情報の類似度が最大となる追尾候補位置を検出し易くすることが可能である。このため、追尾位置の誤検出の可能性を低減することが可能である。
【００７３】
次に、輝度情報を用いた場合の追尾処理について説明する。図１０は、輝度情報を用いた追尾処理について示すフローチャートである。
Ｓ４００において、ＣＰＵ１３０１は、撮像素子ＩＦ回路１１６を制御して撮像素子１１４による撮像を実行する。Ｓ４０２において、ＣＰＵ１３０１は、撮像素子１１４による撮像により、撮像素子ＩＦ回路１１６において得られた画像データをＲＡＭ１１８に取り込む。ここで、初回の追尾処理で得られた画像データは、評価画像データとする。このため、ＣＰＵ１３０１は、初回の追尾処理で得られた画像データをＲＡＭ１１８の評価画像エリアに取り込む。また、２回目以後の追尾処理で得られた画像データは、参照画像データとする。このため、ＣＰＵ１３０１は、２回目以後の追尾処理で得られた画像データをＲＡＭ１１８の参照画像エリアに取り込む。
【００７４】
Ｓ４０４において、ＣＰＵ１３０１は、追尾処理回路１３０６により、輝度情報を用いた追尾処理を行う。輝度情報を用いた追尾処理については、前述したので説明を省略する。なお、初回の追尾処理においては、評価画像データのみが取得された状態であるので、Ｓ４０４以後の処理は省略される。以後の説明においては、評価画像データと参照画像データの両方が取得されているものとして説明を続ける。Ｓ４０６において、ＣＰＵ１３０１は、輝度情報を用いた追尾処理の結果として得られた追尾位置を、追尾候補位置としてＲＡＭ１１８の追尾位置ログエリアに記憶させる。
【００７５】
Ｓ４０８において、ＣＰＵ１３０１は、コントラスト情報取得回路１３０８により、Ｓ４０６で記憶された追尾候補位置におけるコントラスト情報を取得する。Ｓ４１０において、ＣＰＵ１３０１は、コントラスト情報取得回路１３０８により、Ｓ４０６で記憶された追尾候補位置の周辺位置の複数のコントラスト取得エリアにおいてコントラスト情報を取得する。コントラスト取得エリアは、追尾候補位置におけるコントラスト取得エリアを囲むように複数設定する。また、それぞれのコントラスト取得エリアは、追尾候補位置におけるコントラスト取得エリアと同一のサイズのエリアとするように設定することが好ましい。Ｓ４１２において、ＣＰＵ１３０１は、Ｓ４０８及びＳ４１０において取得したコントラスト情報を、ＲＡＭ１１８のコントラスト情報ログエリアに記憶させる。
【００７６】
Ｓ４１４において、ＣＰＵ１３０１は、追尾位置補正判断処理を行う。追尾位置補正判断処理は、現在のフレームにおいて算出された追尾位置を補正するか否かを判断するための処理である。この追尾位置補正判断処理の詳細については後述する。
【００７７】
Ｓ４１６において、ＣＰＵ１３０１は、追尾位置補正判断処理の結果として採用された追尾位置の信頼性を判断する。信頼性は、例えば参照画像データの各画素のデータから判断する。具体的には、参照画像データにおける追尾対象の領域の隣接画素間の差分和が所定値以下である場合には、信頼性があると判断する。
Ｓ４１８において、ＣＰＵ１３０１は、最終的な追尾位置を、ＲＡＭ１１８の追尾位置ログエリアに記録する。次回（次フレーム）の追尾処理においては、この最終的な追尾位置を追尾処理の開始位置とする。ただし、Ｓ４１６の信頼性判断において、信頼性がないと判断された場合には、追尾位置を記録しないようにしても良い。
【００７８】
Ｓ４２０において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、追尾枠の表示位置をＳ４１８で記録した追尾位置に対応した位置に更新する。その後、ＣＰＵ１３０１は、図１０の追尾処理を終了させる。
【００７９】
次に、追尾位置補正判断処理について図１１を参照して説明する。追尾位置補正判断処理においては、現在のフレームにおける各コントラスト取得エリアのコントラスト情報と過去のフレームにおいて決定された最終的な追尾位置のコントラスト情報との類似度に応じて、現在のフレームにおける最終的な追尾位置を決定する。
【００８０】
Ｓ５００において、ＣＰＵ１３０１は、現在のフレーム（Ｎフレーム）における追尾候補位置のコントラスト取得エリアで取得されたコントラスト情報と過去のフレーム（Ｎ−１フレーム）において最終的に決定された追尾位置のコントラスト取得エリアで取得されたコントラスト情報との差が閾値を超えているか否かを判定する。
Ｓ５００において、現在のフレームにおける追尾候補位置のコントラスト取得エリアで取得されたコントラスト情報と過去のフレームおける追尾位置のコントラスト取得エリアで取得されたコントラスト情報との差が閾値を超えていると判定した場合、即ち現在のフレームにおける追尾候補位置のコントラスト情報と過去のフレームおける追尾位置のコントラスト情報との類似度が低いと判定した場合に、Ｓ３０２において、ＣＰＵ１３０１は、過去のフレームの追尾位置のコントラスト情報と現在のフレームの追尾候補位置の周辺位置の各コントラスト取得エリアにおけるコントラスト情報との類似度を算出する。
【００８１】
Ｓ５０４において、ＣＰＵ１３０１は、算出された類似度のうち、最も高い類似度が閾値を超えているか否か、即ちコントラスト情報の差の最小値が閾値よりも小さいか否かを判定する。Ｓ５０４において、最も高い類似度が閾値を超えていると判定した場合に、Ｓ５０６において、ＣＰＵ１３０１は、最も高い類似度のコントラスト情報を有する位置を、最終的な追尾位置に決定する。ここで、追尾候補位置におけるコントラスト情報が最も高い類似度を有している場合には、追尾候補位置を最終的な追尾位置に決定する。その後、ＣＰＵ１３０１は、図１１の追尾位置補正判断処理を終了させる。
【００８２】
また、Ｓ５００において、現在のフレームにおける追尾候補位置のコントラスト取得エリアで取得されたコントラスト情報と過去のフレームおける追尾位置のコントラスト取得エリアで取得されたコントラスト情報との差が閾値を超えていないと判定した場合、又はＳ５０４において、最も高い類似度が閾値を超えていないと判定した場合に、ＣＰＵ１３０１は、図１１の追尾位置補正判断処理を終了させる。この場合には、追尾位置の補正は行われず、追尾候補位置が最終的な追尾位置となる。
【００８３】
以下、図１０及び図１１で示した追尾処理の効果について説明する。
この追尾処理の効果を説明するために、まず、従来の輝度情報を用いた追尾処理について説明する。追尾処理に先立って、あるフレームにおいて、図１２（ａ）に示す被写体Ｄの位置Ｃ１（被写体の胸部）が追尾対象として指定されたとする。このとき、図１２（ａ）に示す画像データが評価画像データとなり、この中の位置Ｃ１の画像データが基準画像データとなる。そして、位置Ｃ１に追尾枠が表示される。
【００８４】
その後、別のフレームにおいて、図１２（ｂ）に示すようにして被写体Ｄに動きが生じたとする。図１２（ｂ）の例は、被写体Ｄが、正面向きから横向きに変化する動きをした場合を示している。このような被写体Ｄに動きが生じた状態で輝度情報を用いた追尾処理を行ったとする。前述したように、輝度情報を用いた追尾処理では、基準画像データと類似の画像データを参照画像データから探索する。横向きの場合には、正面向きの場合の胸部（基準画像データ）と類似する画像データを多く含んでいるので、被写体Ｄの胸部を正しく追尾することが可能である。
【００８５】
さらに、別のフレームにおいて、図１２（ｃ）に示すようにして被写体Ｄに動きが生じたとする。図１２（ｃ）の例は、被写体Ｄが、横向きから後ろ向きに変化する動きをした場合を示している。このような被写体Ｄに動きが生じた状態で輝度情報を用いた追尾処理を行ったとする。ここで、後ろ向きの場合には、正面向きの場合の胸部（基準画像データ）と類似する画像データを殆ど含んでいないので、被写体Ｄの胸部を追尾することができなくなる可能性が生じる。特に、被写体Ｄが、胸と背中とで模様が異なる服を着ている場合等では、追尾対象をロストして追尾処理が不能となる可能性が高い。
【００８６】
次に、図１０及び図１２で示す本実施形態の追尾処理を適用した場合の効果について説明する。ここでは、例として、図１３（ａ）に示す被写体Ｋの位置Ｌ１を追尾するものとする。
【００８７】
あるフレームにおいて、図１３（ｂ）に示すようにして、被写体Ｋの向きが横向きから後ろ向きに変化し、これによって追尾対象をロストして、追尾候補位置がＬ２となったとする。このような場合、追尾位置Ｌ１のコントラスト情報と追尾候補位置Ｌ２のコントラスト情報との差が大きく（類似度が低く）なる。
【００８８】
図１３（ｂ）の例では、追尾位置Ｌ１のコントラスト情報と追尾候補位置Ｌ２のコントラスト情報との差が大きいので、追尾位置Ｌ１のコントラスト情報と、図１３（ｃ）に示す追尾候補位置Ｌ２の周辺位置Ｍのコントラスト情報との類似度が評価される。ここで、図１３（ｃ）の例では、周辺位置Ｍを、追尾候補位置Ｌ２を囲むようにして配置された８つのコントラスト取得エリアで構成している。各コントラスト取得エリアは、追尾位置Ｌ１と同サイズとしておくことが好ましい。周辺位置Ｍのコントラスト取得エリアを８つ以上としても良い。例えば、追尾候補位置Ｌ２を含めて５×５のコントラスト取得エリアとしても良い。この場合、周辺位置Ｍのコントラスト取得エリアは、２４個のコントラスト取得エリアによって構成される。また、周辺位置Ｍに含まれるコントラスト取得エリアを８つよりも少なくしても良い。例えば、追尾候補位置Ｌ２の上下左右位置にのみ、コントラスト取得エリアを配置しても良い。この場合、周辺位置Ｍのコントラスト取得エリアは、４個のコントラスト取得エリアによって構成される。
【００８９】
周辺位置Ｍも含めてコントラスト情報の類似度が評価される。図１３（ｃ）の例では、コントラスト取得エリアＮのコントラスト情報が、追尾位置Ｌ１のコントラスト情報との類似度が最も高いと評価される。これは、コントラスト取得エリアＮが被写体Ｋ上のエリアであるためである。コントラスト取得エリアＮにおける類似度が、閾値を超えていると判定された場合に、図１３（ｄ）に示すようにして、現フレームの追尾位置が、追尾候補位置Ｌ２から、コントラスト取得エリアＮに対応した位置Ｌ３に補正される。
【００９０】
このように、本実施形態における追尾処理では、輝度情報を利用した追尾処理によって得られた追尾候補位置における被写体が、本来の追尾対象の被写体でない場合に、その追尾候補位置の周辺位置のコントラスト情報を用いて追尾対象の被写体を探索するようにしている。被写体が大きく移動していなければ、追尾候補位置の周辺に本来の追尾対象の被写体が存在していると考えられる。このようにして追尾位置を探索することにより、本実施形態では、追尾対象の被写体をロストしてしまっても、最終的には追尾位置を正しい追尾位置に補正することが可能である。
【００９１】
また、追尾候補位置のコントラスト取得エリアと周辺位置の各コントラスト取得エリアのサイズとを同一サイズとすることにより、コントラスト情報の類似度を比較し易い。このため、追尾位置の誤検出の可能性を低減することが可能である。
【００９２】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上述した実施形態では、色情報を用いた追尾処理の例と輝度情報を用いた追尾処理の例とについて説明している。これらの追尾処理は、何れも、顏検出を用いた追尾処理に対しても適用可能である。
また、前述の動作の説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【００９３】
１００…撮像装置、１０２…撮影光学系、１０４…焦点調整機構、１０６…絞り、１０８…絞り駆動機構、１１０…シャッタ、１１２…シャッタ駆動機構、１１４…撮像素子、１１６…撮像素子インターフェイス（ＩＦ）回路、１１８…ＲＡＭ、１２０…表示素子、１２２…表示素子駆動回路、１２４…タッチパネル、１２６…タッチパネル駆動回路、１２８…記録メディア、１３０…システムコントローラ、１３２…操作部、１３４…ＲＯＭ、１３０１…ＣＰＵ、１３０２…ＡＦ制御回路、１３０３…ＡＥ制御回路、１３０４…画像処理回路、１３０５，１３０６…追尾処理回路、１３０７…顔検出回路、１３０８…コントラスト情報取得回路、１３０９…メモリ制御回路
【技術分野】
【０００１】
本発明は、被写体を追尾する追尾装置及び追尾方法に関する。
【背景技術】
【０００２】
従来、動体を撮影する際や動画像を撮影する際に、特定の被写体に追従するように自動合焦制御（ＡＦ）や自動露光制御（ＡＥ）を行う技術が知られている。このような特定の被写体を追従するために追尾処理が用いられている。追尾処理には、特許文献１において知られているような色情報を利用するものや、輝度情報を利用するもの、顔検出を利用するもの等、種々のものがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第２６０５００４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、特許文献１等の色情報を用いた追尾処理の場合、追尾対象の被写体と類似の色情報を有する被写体が存在すると、追尾対象の被写体の乗り換えが発生してユーザの意図しない対象を追尾してしまう可能性がある。また、輝度情報を用いた場合には、形状変化の大きい（例えば動きの大きい）被写体を追尾対象とすると、追尾対象の被写体をロストしてしまう可能性がある。
【０００５】
本発明は、前記の事情に鑑みてなされたもので、苦手シーンが生じても高い追尾性能の追尾装置及び追尾方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記の目的を達成するために、本発明の第１の態様の追尾装置は、画像データをフレーム毎に取得する画像データ取得部と、前記フレーム毎に取得された画像データのそれぞれにおける追尾対象の候補位置を検出する追尾処理部と、前記フレーム毎に検出された前記画像データにおける追尾対象の候補位置のコントラスト情報を取得するコントラスト情報取得部と、過去の前記フレームにおいて決定された前記追尾対象の位置のコントラスト情報と現在の前記フレームにおいて取得された前記追尾対象の候補位置のコントラスト情報との類似度を評価するコントラスト情報類似度評価部と、過去の前記フレームにおいて決定された前記追尾対象の位置のコントラスト情報に対する類似度が最も高いコントラスト情報を有する前記追尾対象の候補位置を、現在の前記フレームにおける追尾対象の位置として決定する制御部と、を具備することを特徴とする。
【０００７】
また、前記の目的を達成するために、本発明の第２の態様の追尾方法は、画像データ取得部が、画像データをフレーム毎に取得し、追尾処理部が、前記フレーム毎に取得された画像データのそれぞれにおける追尾対象の候補位置を検出し、コントラスト情報取得部が、前記フレーム毎に検出された前記画像データにおける追尾対象の候補位置のコントラスト情報を取得し、コントラスト類似度評価部が、過去の前記フレームにおいて決定された前記追尾対象の位置のコントラスト情報と現在の前記フレームにおいて取得された前記追尾対象の候補位置のコントラスト情報との類似度を評価し、制御部が、過去の前記フレームにおいて決定された前記追尾対象の位置のコントラスト情報に対する類似度が最も高いコントラスト情報を有する前記追尾対象の候補位置を、現在の前記フレームにおける追尾対象の位置として決定する、ことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、苦手シーンが生じても高い追尾性能の追尾装置及び追尾方法を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る追尾装置を備えた撮像装置の一例としての構成を示す図である。
【図２】輝度情報を用いた追尾処理について説明するための図である。
【図３】色情報を用いた追尾処理について説明するための図である。
【図４】顔検出処理について説明するための図である。
【図５】撮像装置の撮影動作を示すフローチャートである。
【図６】本発明の一実施形態における色情報を用いた追尾処理について示すフローチャートである。
【図７】優先追尾位置判断処理について示すフローチャートである。
【図８】従来の色情報を用いた追尾処理について説明するための図である。
【図９】本発明の一実施形態における色情報を用いた追尾処理の効果について説明するための図である。
【図１０】本発明の一実施形態における輝度情報を用いた追尾処理について示すフローチャートである。
【図１１】追尾位置補正判断処理について示すフローチャートである。
【図１２】従来の輝度情報を用いた追尾処理について説明するための図である。
【図１３】本発明の一実施形態における輝度情報を用いた追尾処理の効果について説明するための図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る追尾装置を備えた撮像装置の一例としての構成を示す図である。図１に示す撮像装置１００は、撮影光学系１０２と、焦点調整機構１０４と、絞り１０６と、絞り駆動機構１０８と、シャッタ１１０と、シャッタ駆動機構１１２と、撮像素子１１４と、撮像素子インターフェイス（ＩＦ）回路１１６と、ＲＡＭ１１８と、表示素子１２０と、表示素子駆動回路１２２と、タッチパネル１２４と、タッチパネル駆動回路１２６と、記録メディア１２８と、システムコントローラ１３０と、操作部１３２と、ＲＯＭ１３４と、を有している。
【００１１】
撮影光学系１０２は、図示しない被写体からの光束Ｆを、撮像素子１１４の受光面上に集光するための光学系である。この撮影光学系１０２は、フォーカスレンズ等の複数のレンズを有している。焦点調整機構１０４は、モータ及びその駆動回路等を有している。この焦点調整機構１０４は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮影光学系１０２内のフォーカスレンズをその光軸方向（図示一点鎖線方向）に駆動させる。
【００１２】
絞り１０６は、開閉自在に構成され、撮影光学系１０２を介して撮像素子１１４に入射する光束Ｆの量を調整する。絞り駆動機構１０８は、絞り１０６を駆動するための駆動機構を有している。この絞り駆動機構１０８は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、絞り１０６を駆動させる。
【００１３】
シャッタ１１０は、撮像素子１１４の受光面を遮光状態又は露光状態とするように構成されている。このシャッタ１１０により、撮像素子１１４の露光時間が調整される。シャッタ駆動機構１１２は、シャッタ１１０を駆動させるための駆動機構を有し、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、シャッタ１１０を駆動させる。
【００１４】
撮像素子１１４は、撮影光学系１０２を介して集光された被写体からの光束Ｆが結像される受光面を有している。撮像素子１１４の受光面は、複数の画素が２次元状に配置されて構成されており、また、受光面の光入射側には、カラーフィルタが設けられている。このような撮像素子１１４は、受光面に結像された光束Ｆに対応した像（被写体像）を、その光量に応じた電気信号（以下、画像信号という）に変換する。ここで、撮像素子１１４は、ＣＣＤ方式やＣＭＯＳ方式等の種々の構成の撮像素子が知られている。また、カラーフィルタの色配列もベイヤ配列等の種々の配列が知られている。本実施形態は、撮像素子１１４の構成が特定の構成に限定されるものではなく、種々の構成の撮像素子を用いることが可能である。
【００１５】
撮像素子ＩＦ回路１１６は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮像素子１１４を駆動させる。また、撮像素子ＩＦ回路１１６は、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮像素子１１４で得られた画像信号を読み出し、読み出した画像信号に対してＣＤＳ（相関二重サンプリング）処理やＡＧＣ（自動利得制御）処理等のアナログ処理を施す。さらに、撮像素子ＩＦ回路１１６は、アナログ処理した画像信号をデジタル信号（以下、画像データという）に変換する。
【００１６】
ＲＡＭ１１８は、例えばＳＤＲＡＭであり、ワークエリア、評価画像エリア、参照画像エリア、追尾位置ログエリア、コントラスト情報ログエリア、を記憶エリアとして有している。
ワークエリアは、撮像素子ＩＦ回路１１６で得られた画像データ等の、撮像装置１００の各部で発生したデータを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。
評価画像エリアは、評価画像データを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。評価画像データは、後述する追尾処理における追尾対象の被写体を含むフレームの画像データである。追尾処理においては、この追尾対象を追尾するように処理が行われる。
参照画像エリアは、参照画像データを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。参照画像データは、後述する追尾処理において、追尾対象の探索の対象となるフレームの画像データである。追尾処理においては、参照画像データ中で探索が行われる。
追尾位置ログエリアは、追尾位置ログを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。追尾位置ログは、追尾処理の結果として得られた追尾位置を記録したログである。
【００１７】
コントラスト情報ログエリアは、コントラスト情報ログを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。コントラスト情報ログは、追尾処理におけるコントラスト情報の取得処理によって得られたコントラスト情報の変化を記録したログである。本実施形態では、コントラスト情報を例えば過去１０フレーム分記録する。
【００１８】
表示素子１２０は、例えば液晶ディスプレイ（ＬＣＤ）であり、ライブビュー用の画像及び記録メディア１２８に記録された画像等の各種の画像を表示する。表示素子駆動回路１２２は、システムコントローラ１３０のＣＰＵ１３０１から入力された画像データに基づいて表示素子１２０を駆動させ、表示素子１２０に画像を表示させる。
【００１９】
タッチパネル１２４は、表示素子１２０の表示画面上に一体的に形成されており、表示画面上へのユーザの指等の接触位置等を検出する。タッチパネル駆動回路１２６は、タッチパネル１２４を駆動するとともに、タッチパネル１２４からの接触検出信号をシステムコントローラ１３０のＣＰＵ１３０１に出力する。ＣＰＵ１３０１は、接触検出信号から、ユーザの表示画面上への接触操作を検出し、その接触操作に応じた処理を実行する。
【００２０】
記録メディア１２８は、例えばメモリカードであり、撮影動作によって得られた画像ファイルが記録される。画像ファイルは、画像データに所定のヘッダを付与して構成されるファイルである。ヘッダには、撮影条件を示すデータ及び追尾位置を示すデータ等が、タグデータとして記録される。
【００２１】
システムコントローラ１３０は、撮像装置１００の動作を制御するための制御回路として、ＣＰＵ１３０１と、ＡＦ制御回路１３０２と、ＡＥ制御回路１３０３と、画像処理回路１３０４と、追尾処理回路１３０５、１３０６と、顔検出回路１３０７と、コントラスト情報取得回路１３０８と、メモリ制御回路１３０９と、を有している。
【００２２】
ＣＰＵ１３０１は、焦点調整機構１０４、絞り駆動機構１０８、シャッタ駆動機構１１２、表示素子駆動回路１２２、タッチパネル駆動回路１２６等のシステムコントローラ１３０の外部の各ブロック、及びシステムコントローラ１３０の内部の各制御回路の動作を制御する。また、ＣＰＵ１３０１は、コントラスト情報類似度評価部及び制御部としての機能も有し、後述の優先追尾判断処理又は追尾位置補正判断処理において最終的な追尾位置を決定することも行う。
【００２３】
ＡＦ制御回路１３０２は、コントラストＡＦ処理を制御する。具体的には、ＡＦ制御回路１３０２は、撮像素子ＩＦ回路１１６で得られた画像データの高周波成分を抽出し、この抽出した高周波成分を積算することにより、ＡＦ用の合焦評価値を取得する。ＣＰＵ１３０１は、この合焦評価値に従って画像データのコントラストを評価しつつ、焦点調整機構１０４を制御してフォーカスレンズを合焦状態とする。
【００２４】
ＡＥ制御回路１３０３は、ＡＥ動作を制御する。具体的には、ＡＥ制御回路１３０３は、撮像素子ＩＦ回路１１６で得られた画像データを用いて被写体輝度を算出する。ＣＰＵ１３０１は、この被写体輝度に従って、露光時の絞り１０６の開口量（絞り値）、シャッタ１１０の開放時間（シャッタ速度値）、撮像素子感度やＩＳＯ感度等を算出する。
【００２５】
画像処理回路１３０４は、画像データに対する各種の画像処理を行う。この画像処理としては、色補正処理、ガンマ（γ）補正処理、圧縮処理等が含まれる。また、画像処理回路１３０４は、圧縮されている画像データに対する伸張処理も施す。
【００２６】
追尾処理回路１３０５は、画像データの輝度情報を用いた追尾処理を行う。この輝度情報を用いた追尾処理について簡単に説明する。輝度情報を用いた追尾処理では、例えば、図２（ａ）に示す（Ｎ−１）フレームにおいて追尾対象が設定された場合、この（Ｎ−１）フレームの画像データを、評価画像データとしてＲＡＭ１１８の評価画像エリアに記憶する。この評価画像データの追尾対象を含む所定範囲２０２の画像データを、基準画像データに設定する。この後の追尾処理では、参照画像データの基準画像データ２０２と対応する部分を探索する。
Ｎフレームの追尾処理を例に示すと、まず、Ｎフレームの画像データを、参照画像データとしてＲＡＭ１１８の参照画像エリアに記憶する。この参照画像データのうちの所定の探索範囲２０４の画像データと基準画像データ２０２との相関量を求めることにより、参照画像データの基準画像データ２０２と対応する部分を探索する。相関量は、例えば基準画像データと参照画像データとの差分絶対値和（画素毎に輝度差の絶対値を求めてそれを積算したもの）から判定する。例えば、図２（ｂ）に示す参照画像データの領域２０６の参照画像データと基準画像データ２０２との差分絶対値和を求めたとすると、参照画像データの領域２０６と基準画像データ２０２とは明らかに異なる画像データであり、差分絶対値和が大きくなる。これに対し、参照画像データの領域２０８と基準画像データ２０２との差分絶対値和を求めたとすると、差分絶対値和が小さくなる。このように、基準画像データ２０２との相関量が大きくなるに従って差分絶対値和が小さくなる。輝度情報を用いた追尾処理では、相関量が最大の、即ち差分絶対値和が最小の領域を参照画像データから探索する。図２（ｂ）の例では、領域２０８となる。なお、追尾位置ログエリアには、領域２０８の中で最も一致度の高い位置を追尾位置として記録する。なお、このような位置が複数ある場合には、例えば、領域２０８の中心に近い位置を追尾位置とする。次回の追尾処理時には、この追尾位置を追尾処理の開始位置とすることが望ましい。これにより、追尾処理にかかる時間を軽減することが可能である。
【００２７】
追尾処理回路１３０６は、画像データの色情報を用いた追尾処理を行う。この色情報を用いた追尾処理について簡単に説明する。色情報を用いた追尾処理では、評価画像データ内で設定された色と同色であると判定できる領域である追尾色領域を探索する。図３（ａ）に示すように、（Ｎ−１）フレームにおいて、被写体のある位置３０２が指定された場合、評価画像データ中の位置３０２の色情報を取得する。そして、位置３０２を追尾処理の開始位置として、位置３０２と同じ色情報を有する領域を探索する。具体的には、位置３０２を開始位置から周辺に向かうように順次色情報を取得し、取得した色情報が位置３０２の色情報と同一であると判定できる場合には領域に含め、取得した色情報が位置３０２の色情報と同一であると判定できない場合には領域に含めない。このようにして追尾色領域を探索すると、例えば、図３（ａ）に示すような単色の被写体の場合、被写体に内接する矩形領域３０４が追尾色領域となる。また、追尾位置ログエリアに記録する追尾位置は、例えば追尾色領域３０４の重心位置（図３（ａ）の例では、位置３０２と同じ）とする。次回の追尾処理においては、この追尾位置を追尾処理の開始位置とする。
【００２８】
Ｎフレームの追尾処理を例に示すと、図３（ｂ）に示す参照画像データとして記憶したＮフレームの画像データの所定の探索範囲の中で、（Ｎ−１）フレームの追尾位置３０２を追尾処理の開始位置とし、追尾位置３０２の周辺から順次、追尾色領域３０４の色と同色であると判定できる領域を追尾色領域として探索する。図３（ｂ）の例では、領域３０６が追尾色領域となる。
【００２９】
顔検出回路１３０７は、画像データにおける被写体（人物）の顔を検出する。ここで、顔検出処理について簡単に説明する。顔検出処理においては、各フレームで得られる画像データと、図４（ａ）に示すような顔パーツ４０２、４０４、４０６との相関量を求める。顔パーツ４０２は、人物の鼻部周辺の陰影のパターンに対応した画像データであり、顔パーツ４０４は、人物の目部周辺の陰影のパターンに対応した画像データであり、顔パーツ４０６は、人物の口部周辺の陰影のパターンに対応した画像データである。画像データと顔パーツ４０２、４０４、４０６との相関量は、図４（ｂ）に示すような、人物の顔を示す所定の配置となったときに最大となる。このとき、顔パーツ４０２、４０４、４０６を含む領域４０８に顔が存在しているとする。なお、顔パーツ４０２、４０４、４０６は予め設定した検索顔の大きさに応じて、大きさを変えても良い。ここで、図４（ｂ）では、顔領域を矩形領域としているが、円形領域としても良い。
【００３０】
コントラスト情報取得回路１３０８は、画像データにおける所定のエリアをコントラスト取得エリアに設定し、このコントラスト取得エリアにおけるコントラスト情報を取得する。コントラスト情報は、ＡＦ制御回路１３０２で得られるＡＦ用の合焦評価値を利用することが可能である。
【００３１】
メモリ制御回路１３０９は、ＣＰＵ１３０１等が、ＲＡＭ１１８、記録メディア１２８、ＲＯＭ１３４にアクセスするための制御を行うインターフェイスである。
【００３２】
操作部１３２は、ユーザによって操作される各種の操作部材である。操作部１３２としては、例えば、レリーズ釦、動画釦、モードダイヤル、選択キー、電源釦等が含まれる。
レリーズボタン釦は、１ｓｔレリーズスイッチと、２ｎｄレリーズスイッチと、を有している。１ｓｔレリーズスイッチは、ユーザがレリーズ釦を半押しするとオンするスイッチである。１ｓｔレリーズスイッチがオンすることにより、ＡＦ処理等の撮影準備動作が行われる。また、２ｎｄレリーズスイッチは、ユーザがレリーズ釦を全押しするとオンするスイッチである。２ｎｄレリーズスイッチがオンすることにより、静止画撮影用の露光動作が行われる。
動画釦は、動画撮影の開始又は終了を指示するための操作部材である。ユーザによって動画釦が押されると動画撮影処理が開始される。また、動画撮影処理の実行中に動画釦が押されると、動画撮影処理が終了される。
モードダイヤルは、撮像装置の撮影設定を選択するための操作部材である。本実施形態では、撮像装置の撮影設定として、例えば、静止画撮影モードと動画撮影モードを選択できる。静止画撮影モードは、静止画像を撮影するための撮影設定である。また、動画撮影モードは、動画像を撮影するための撮影設定である。
選択キーは、例えばメニュー画面上での項目の選択や決定をするための操作部材である。ユーザによって選択キーが操作されるとメニュー画面上での項目の選択や決定が行われる。
電源釦は、撮像装置の電源をオン又はオフするための操作部材である。ユーザによって電源釦が操作されると、撮像装置１００が起動して動作可能な状態となる。撮像装置が起動している間に電源釦が操作されると、撮像装置１００が省電力待機状態となる。
【００３３】
ＲＯＭ１３４は、ＣＰＵ１３０１が種々の処理を実行するためのプログラムコードを記憶している。また、ＲＯＭ１３４は、撮影光学系１０２、絞り１０６、及び撮像素子１１４等の動作に必要な制御パラメータ、並びに画像処理回路１３０４での画像処理に必要な制御パラメータ等の、各種の制御パラメータを記憶している。さらには、ＲＯＭ１３４は、顔検出回路１３０７における顔検出に用いられる顔パーツのデータや追尾枠を表示するためのデータ等も記憶している。
【００３４】
次に、本実施形態に係る撮像装置の動作について説明する。図５は、撮像装置１００の撮影動作を示すフローチャートである。ＣＰＵ１３０１は、ＲＯＭ１３４から必要なプログラムコードを読み込んで図５の動作を制御する。
【００３５】
Ｓ１００において、ＣＰＵ１３０１は、現在の撮像装置１００の撮影設定が静止画撮影モードであるかを判定する。前述したように、撮影設定は、モードダイヤルによって設定される。
【００３６】
Ｓ１００において、撮影設定が静止画撮影モードであると判定した場合に、Ｓ１０２において、ＣＰＵ１３０１は、ライブビュー動作を開始させる。ライブビュー動作として、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御してシャッタ１１０を開放した後、ＣＰＵ１３０１は、撮像素子ＩＦ回路１１６を制御して撮像素子１１４による撮像を開始させる。その後、ＣＰＵ１３０１は、撮像素子１１４による撮像の結果としてＲＡＭ１１８のワークエリアに記憶された画像データを画像処理回路１３０４に入力してライブビュー表示用の画像処理を施す。続いて、ＣＰＵ１３０１は、ライブビュー表示用の画像処理がされた画像データを表示素子駆動回路１２２に入力し、表示素子１２０に画像を表示させる。このような表示動作を繰り返し実行することにより、被写体の画像を動画表示する。この動画表示により、ユーザは、被写体を観察することが可能である。
【００３７】
Ｓ１０４において、ＣＰＵ１３０１は、１ｓｔレリーズスイッチがオンされたかを判定する。Ｓ１０４において、１ｓｔレリーズスイッチがオンされたと判定するまでは、ＣＰＵ１３０１は、ライブビュー動作を継続する。
【００３８】
また、Ｓ１０４において、１ｓｔレリーズスイッチがオンされたと判定した場合に、Ｓ１０６において、ＣＰＵ１３０１は、レリーズＡＦ処理を行う。レリーズＡＦにおいては、スキャン駆動によって、フォーカスレンズを合焦位置まで駆動させる。スキャン駆動では、ＣＰＵ１３０１は、焦点調整機構１０４を制御して、フォーカスレンズを所定のスキャン範囲内で一方向に駆動させつつ、ＡＦ制御回路１３０２で順次算出される合焦評価値を評価する。そして、ＣＰＵ１３０１は、合焦評価値の評価の結果、コントラストが最大となるレンズ位置において、フォーカスレンズの駆動を停止させる。このようなスキャン駆動は、ＡＦ前のフォーカスレンズの位置と合焦位置との差が大きい場合に行われる。
【００３９】
Ｓ１０８において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、表示素子１２０に追尾枠を表示させる。ここで、追尾枠は、表示素子１２０の画面上の追尾対象の位置に表示させる。例えば、レリーズＡＦで合焦した被写体を追尾対象とし、その被写体に追尾枠を表示させるようにしても良いし、顔検出回路１３０７によって顔が検出された場合には、その顔に追尾枠を表示させるようにしても良い。さらに、タッチパネル１２４により、表示素子１２０の画面上に表示された被写体が指定された場合には、その被写体上に追尾枠を表示させるようにしても良い。
【００４０】
Ｓ１１０において、ＣＰＵ１３０１は、追尾処理を行う。この追尾処理の詳細については後述する。
Ｓ１１２において、ＣＰＵ１３０１は、追尾位置の被写体に合焦するようにＡＦ処理を行うとともに、追尾位置の被写体の露光が適正となるようにＡＥ処理を行う。
追尾処理後のＡＦ処理においては、スキャン駆動又はウォブリング駆動によって、フォーカスレンズを合焦位置まで駆動させる。ウォブリング駆動では、ＣＰＵ１３０１は、フォーカスレンズを駆動したときにＡＦ制御回路１３０２で算出された合焦評価値が、前回のレンズ位置での合焦評価値に対して増加したかを判定する。そして、ＣＰＵ１３０１は、合焦評価値が増加した場合には前回と同方向にフォーカスレンズを微小駆動させ、合焦評価値が減少した場合には前回と逆方向にフォーカスレンズを微小駆動させる。このような動作を高速で繰り返してフォーカスレンズを徐々に合焦位置まで駆動させる。
【００４１】
また、ＡＥ処理において、ＣＰＵ１３０１は、ＡＥ制御回路１３０３で算出された追尾位置の被写体の輝度を予め定められた適正な量（適正露光量）とする、本露光時の絞り１０６の開口量（絞り値）、シャッタ１１０の開放時間（シャッタ速度値）を算出する。
【００４２】
Ｓ１１４において、ＣＰＵ１３０１は、２ｎｄレリーズスイッチがオンされたかを判定する。Ｓ１１４において、２ｎｄレリーズスイッチがオンされていないと判定した場合に、ＣＰＵ１３０１は、Ｓ１１０の追尾処理以後の処理を実行する。このように、静止画撮影モード時には、２ｎｄレリーズスイッチがオンされるまでは、追尾処理が継続される。
【００４３】
また、Ｓ１１４において、２ｎｄレリーズスイッチがオンされたと判定した場合に、Ｓ１１６において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、追尾枠を非表示とする。
【００４４】
Ｓ１１８において、ＣＰＵ１３０１は、静止画像データを記録メディア１２８に記録する処理を行う。この際、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御して、シャッタ１１０を閉じる。その後、ＣＰＵ１３０１は、絞り駆動機構１０８を制御して、絞り１０６を先に算出した絞り値まで絞り込む。続いて、ＣＰＵ１３０１は、シャッタ駆動機構１１２を制御して、シャッタ１１０を先に算出した開放時間だけ開放しつつ、撮像素子１１４による撮像（露光）を行う。その後、ＣＰＵ１３０１は、撮像素子１１４を介して得られた静止画像データを画像処理回路１３０４において処理する。そして、ＣＰＵ１３０１は、画像処理回路１３０４において処理された静止画像データにヘッダを付与して静止画像ファイルを生成し、生成した静止画像ファイルを記録メディア１２８に記録する。
Ｓ１２０において、ＣＰＵ１３０１は、Ｓ１１０の追尾処理の結果として得られた追尾位置を示すデータを、先に記録メディア１２８に記録した静止画像ファイルに追記する。その後に、ＣＰＵ１３０１は、図５に示す動作を終了させる。
【００４５】
また、Ｓ１００において、撮影設定が動画撮影モードであると判定した場合に、Ｓ１２２において、ＣＰＵ１３０１は、ライブビュー動作を開始させる。
【００４６】
Ｓ１２４において、ＣＰＵ１３０１は、動画釦がオンされたかを判定する。Ｓ１２４において、動画釦がオンされたと判定するまでは、ＣＰＵ１３０１は、ライブビュー動作を継続する。
【００４７】
また、Ｓ１２４において、動画釦がオンされたと判定した場合に、Ｓ１２６において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、表示素子１２０に追尾枠を表示させる。
【００４８】
Ｓ１２８において、ＣＰＵ１３０１は、追尾処理を行う。この追尾処理の詳細については、後述する。
【００４９】
Ｓ１３０において、ＣＰＵ１３０１は、追尾位置の被写体に合焦するようにＡＦ処理を行うともに、追尾位置の被写体の露光が適正となるようにＡＥ処理を行う。Ｓ１３０におけるＡＦ処理おいては、ウォブリング駆動によって、フォーカスレンズを合焦位置まで駆動させる。
【００５０】
Ｓ１３２において、ＣＰＵ１３０１は、動画像データを記録メディア１２８に記録する処理を行う。この際、ＣＰＵ１３０１は、絞り駆動機構１０８を制御して、絞り１０６をＡＥ処理において算出した絞り値まで絞り込む。続いて、ＣＰＵ１３０１は、ＡＥ処理において算出したシャッタ速度値に対応した時間だけ撮像素子１１４による撮像（露光）を実行させる。露光の終了後、ＣＰＵ１３０１は、動画像ファイルを生成して記録メディア１２８に記録する。また、ＣＰＵ１３０１は、撮像素子１１４を介して得られた動画像データを画像処理回路１３０４において処理し、画像処理回路１３０４において処理された動画像データを動画像ファイルに記録する。
【００５１】
Ｓ１３４において、ＣＰＵ１３０１は、Ｓ１２８の追尾処理の結果として得られた追尾位置を示すデータを、先に記録メディア１２８に記録した動画像ファイルと同時記録する。
【００５２】
Ｓ１３６において、ＣＰＵ１３０１は、動画釦がオフされたかを判定する。Ｓ１３６において、動画釦がオフされていないと判定した場合に、ＣＰＵ１３０１は、Ｓ１２８の追尾処理以後の処理を実行する。このように、動画撮影モード時では、動画釦がオフされるまでは、追尾処理と動画像データの記録が継続される。
【００５３】
また、Ｓ１３６において、動画釦がオフされたと判定した場合に、Ｓ１３８において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、追尾枠を非表示とする。その後、ＣＰＵ１３０１は、図５に示す動作を終了させる。
【００５４】
次に、本実施形態に係る追尾方法としての追尾処理について説明する。
まず、色情報を用いた場合の追尾処理について説明する。図６は、色情報を用いた追尾処理について示すフローチャートである。
Ｓ２００において、ＣＰＵ１３０１は、撮像素子ＩＦ回路１１６を制御して撮像素子１１４による撮像を実行する。Ｓ２０２において、ＣＰＵ１３０１は、撮像素子１１４による撮像により、撮像素子ＩＦ回路１１６において得られた画像データをＲＡＭ１１８に取り込む。ここで、初回の追尾処理で得られた画像データは、評価画像データとする。このため、ＣＰＵ１３０１は、初回の追尾処理で得られた画像データをＲＡＭ１１８の評価画像エリアに取り込む。また、２回目以後の追尾処理で得られた画像データは、参照画像データとする。このため、ＣＰＵ１３０１は、２回目以後の追尾処理で得られた画像データをＲＡＭ１１８の参照画像エリアに取り込む。
【００５５】
Ｓ２０４において、ＣＰＵ１３０１は、追尾処理回路１３０６により、色情報を用いた追尾処理を行う。色情報を用いた追尾処理については、前述したので説明を省略する。なお、初回の追尾処理においては、評価画像データのみが取得された状態であるので、Ｓ２０４以後の処理は省略される。以後の説明においては、評価画像データと参照画像データの両方が取得されているものとして説明を続ける。Ｓ２０６において、ＣＰＵ１３０１は、色情報を用いた追尾処理の結果として得られた追尾位置を、追尾候補位置としてＲＡＭ１１８の追尾位置ログエリアに記憶させる。
【００５６】
Ｓ２０８において、ＣＰＵ１３０１は、コントラスト情報取得回路１３０８により、Ｓ２０６で記憶された追尾候補位置におけるコントラスト情報を取得する。Ｓ２１０において、ＣＰＵ１３０１は、取得したコントラスト情報を、ＲＡＭ１１８のコントラスト情報ログエリアに記憶させる。ここで、コントラスト情報を取得するためのコントラスト取得エリアは、追尾候補位置のエリアだけでなく、追尾候補位置を含む所定のサイズのエリアに設定しても良い。なお、コントラスト取得エリアのサイズは、全ての追尾候補位置で同一サイズとすることが好ましい。
【００５７】
Ｓ２１２において、ＣＰＵ１３０１は、優先追尾位置判断処理を行う。優先追尾位置判断処理は、現在のフレームにおいて複数の追尾候補位置がＲＡＭ１１８に記憶された場合に、その何れを採用するかを判断するための処理である。この優先追尾位置判断処理の詳細については後述する。
【００５８】
Ｓ２１４において、ＣＰＵ１３０１は、優先追尾位置判断処理の結果として採用された追尾位置の信頼性を判断する。信頼性は、例えば参照画像データの彩度から判断する。具体的には、参照画像データの追尾位置の彩度が所定値以上である場合には、信頼性があると判断する。この信頼性を判定するための閾値は適宜設定可能である。
【００５９】
Ｓ２１６において、ＣＰＵ１３０１は、最終的な追尾位置を、ＲＡＭ１１８の追尾位置ログエリアに記録する。次回（次フレーム）の追尾処理においては、この最終的な追尾位置を追尾処理の開始位置とする。ただし、Ｓ２１４の信頼性判断において、信頼性がないと判断された場合には、追尾位置を記録しないようにしても良い。
【００６０】
Ｓ２１８において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、追尾枠の表示位置をＳ２１６で記録した追尾位置に対応した位置に更新する。その後、ＣＰＵ１３０１は、図６の追尾処理を終了させる。
【００６１】
次に、優先追尾位置判断処理について図７を参照して説明する。優先追尾位置判断処理においては、現在のフレームにおける各追尾候補位置のコントラスト情報と過去のフレームにおいて決定された最終的な追尾位置のコントラスト情報との類似度に応じて、現在のフレームにおける最終的な追尾位置を決定する。
【００６２】
Ｓ３００において、ＣＰＵ１３０１は、現在のフレームに対応した複数の追尾候補位置が、ＲＡＭ１１８の追尾位置ログエリアに記録されたか否かを判定する。
Ｓ３００において、現在フレームに対応した複数の追尾候補位置がＲＡＭ１１８に記録されていると判定した場合に、Ｓ３０２において、ＣＰＵ１３０１は、過去のフレームの追尾位置のコントラスト情報と現在のフレームの各追尾候補位置のコントラスト情報との類似度を算出する。現在のフレームをＮフレームとした場合、類似度は、例えば（Ｎ−１）フレームにおける追尾位置のコントラスト情報とＮフレームの各追尾候補位置のコントラスト情報との差として求めることが可能である。この差が小さいほど類似度が高くなる。
【００６３】
Ｓ３０４において、ＣＰＵ１３０１は、算出された類似度のうち、類似度が最も高いコントラスト情報を有する追尾候補位置を、最終的な追尾位置に決定する。その後、ＣＰＵ１３０１は、図７の優先追尾位置判断処理を終了させる。
【００６４】
また、Ｓ３００において、現在のフレームに対応した追尾候補位置が、１つのみＲＡＭ１１８に記録されていると判定した場合に、Ｓ３０６において、ＣＰＵ１３０１は、その１つの追尾候補位置を、最終的な追尾位置に決定する。その後、ＣＰＵ１３０１は、図７の追尾処理を終了させる。
【００６５】
以下、図６及び図７で示した追尾処理の効果について説明する。
この追尾処理の効果を説明するために、まず、従来の色情報を用いた追尾処理について説明する。追尾処理に先立って、あるフレームにおいて、図８（ａ）に示す被写体Ｂの位置Ａ１が追尾対象として指定されたとする。このとき、図８（ａ）に示す画像データが評価画像データとなる。そして、位置Ａ１に追尾枠が表示される。
【００６６】
その後、別のフレームにおいて、図８（ｂ）に示すように、被写体Ｂに被写体Ｃが接近したとする。被写体Ｃは、追尾対象の被写体Ｂとは同色の被写体である。このような複数の同色被写体を含むフレームの画像データを参照画像データとして、色情報を用いた追尾処理を行ったとする。この場合、図８（ａ）の位置Ａ１と同じ色情報を有する領域を、参照画像データの中から探索する。この場合、追尾位置は、図８（ｂ）に示す被写体Ｂ上の位置Ａ１になる可能性と、図８（ｃ）に示す被写体Ｃ上の位置Ａ２になる可能性とが生じる。図８（ｃ）のように、追尾の対象の乗り換わりが発生してしまうと、それ以後のフレームにおいて正しい追尾処理を行うことができなくなる。
【００６７】
次に、図６及び図７で示す本実施形態の追尾処理を適用した場合の効果について説明する。ここでは、例として、図９（ａ）に示す被写体Ｅを追尾するとし、過去のフレームにおいて得られた最終的な追尾位置が位置Ｆであるとする。また、過去のフレームにおけるコントラスト情報は、追尾位置Ｆを含む所定サイズを有するコントラスト取得エリアＧのコントラスト情報を取得する。
【００６８】
現在のフレームにおいて、図９（ｂ）に示すように、被写体Ｅと被写体Ｈとが存在していたとする。被写体Ｅと被写体Ｈとは同一色の被写体である。この場合、色情報を用いた追尾処理では、追尾位置Ｆと同色の領域が探索され、追尾候補位置が算出される。図９（ｂ）の例では、被写体Ｅ上の位置Ｉ１と被写体Ｈ上の位置Ｉ２が、追尾候補位置となる。最終的な追尾位置としては、追尾候補位置Ｉ１が選択される必要がある。
【００６９】
追尾候補位置が複数存在する場合、各追尾候補位置でコントラスト情報が取得される。追尾候補位置Ｉ１におけるコントラスト情報は、図９（ｃ）に示すように、追尾候補位置Ｉ１を含み、コントラスト取得エリアＧと同一サイズのコントラスト取得エリアＪ１のコントラスト情報を取得する。また、追尾候補位置Ｉ２におけるコントラスト情報は、図９（ｃ）に示すように、追尾候補位置Ｉ２を含み、コントラスト取得エリアＧと同一サイズのコントラスト取得エリアＪ２のコントラスト情報を取得する。
【００７０】
続いて、コントラスト情報の類似度が評価される。コントラスト取得エリアＧのコントラスト情報とコントラスト取得エリアＪ１のコントラスト情報との類似度は、最大（両コントラスト情報の差が０）となる。これは、コントラスト取得エリアＧのコントラスト情報とコントラスト取得エリアＪ１のコントラスト情報とが同一の部分のコントラスト情報であるためである。一方、コントラスト取得エリアＧのコントラスト情報とコントラスト取得エリアＪ２のコントラスト情報との類似度は、最大とはならない。これは、コントラスト取得エリアＧのコントラスト情報とコントラスト取得エリアＪ２のコントラスト情報とが異なる部分のコントラスト情報であるためである。このようにして、最終的な追尾位置としては、追尾候補位置Ｉ１が選択される。
【００７１】
このように、本実施形態における追尾処理では、色情報を利用して追尾処理を行うだけではなく、色情報を利用して得られたそれぞれの追尾候補位置における被写体が、過去のフレームの追尾位置における被写体と対応しているか否かを、過去のフレームの追尾位置におけるコントラスト情報と現在のフレームの各追尾候補位置におけるコントラスト情報との類似度から判断している。コントラスト情報の類似度が高いということは、対応する追尾候補位置において、過去のフレームと同一の被写体を追尾している可能性が高いと考えられる。このような判断を行うことにより、本実施形態では、複数の同色被写体を含むフレームにおいても、適切な追尾候補位置を最終的な追尾位置として決定することが可能である。
【００７２】
また、追尾候補位置毎にコントラスト取得エリアを設定してコントラスト情報を抽出する場合において、コントラスト取得エリアのサイズを同一サイズとすることにより、コントラスト情報の類似度が最大となる追尾候補位置を検出し易くすることが可能である。このため、追尾位置の誤検出の可能性を低減することが可能である。
【００７３】
次に、輝度情報を用いた場合の追尾処理について説明する。図１０は、輝度情報を用いた追尾処理について示すフローチャートである。
Ｓ４００において、ＣＰＵ１３０１は、撮像素子ＩＦ回路１１６を制御して撮像素子１１４による撮像を実行する。Ｓ４０２において、ＣＰＵ１３０１は、撮像素子１１４による撮像により、撮像素子ＩＦ回路１１６において得られた画像データをＲＡＭ１１８に取り込む。ここで、初回の追尾処理で得られた画像データは、評価画像データとする。このため、ＣＰＵ１３０１は、初回の追尾処理で得られた画像データをＲＡＭ１１８の評価画像エリアに取り込む。また、２回目以後の追尾処理で得られた画像データは、参照画像データとする。このため、ＣＰＵ１３０１は、２回目以後の追尾処理で得られた画像データをＲＡＭ１１８の参照画像エリアに取り込む。
【００７４】
Ｓ４０４において、ＣＰＵ１３０１は、追尾処理回路１３０６により、輝度情報を用いた追尾処理を行う。輝度情報を用いた追尾処理については、前述したので説明を省略する。なお、初回の追尾処理においては、評価画像データのみが取得された状態であるので、Ｓ４０４以後の処理は省略される。以後の説明においては、評価画像データと参照画像データの両方が取得されているものとして説明を続ける。Ｓ４０６において、ＣＰＵ１３０１は、輝度情報を用いた追尾処理の結果として得られた追尾位置を、追尾候補位置としてＲＡＭ１１８の追尾位置ログエリアに記憶させる。
【００７５】
Ｓ４０８において、ＣＰＵ１３０１は、コントラスト情報取得回路１３０８により、Ｓ４０６で記憶された追尾候補位置におけるコントラスト情報を取得する。Ｓ４１０において、ＣＰＵ１３０１は、コントラスト情報取得回路１３０８により、Ｓ４０６で記憶された追尾候補位置の周辺位置の複数のコントラスト取得エリアにおいてコントラスト情報を取得する。コントラスト取得エリアは、追尾候補位置におけるコントラスト取得エリアを囲むように複数設定する。また、それぞれのコントラスト取得エリアは、追尾候補位置におけるコントラスト取得エリアと同一のサイズのエリアとするように設定することが好ましい。Ｓ４１２において、ＣＰＵ１３０１は、Ｓ４０８及びＳ４１０において取得したコントラスト情報を、ＲＡＭ１１８のコントラスト情報ログエリアに記憶させる。
【００７６】
Ｓ４１４において、ＣＰＵ１３０１は、追尾位置補正判断処理を行う。追尾位置補正判断処理は、現在のフレームにおいて算出された追尾位置を補正するか否かを判断するための処理である。この追尾位置補正判断処理の詳細については後述する。
【００７７】
Ｓ４１６において、ＣＰＵ１３０１は、追尾位置補正判断処理の結果として採用された追尾位置の信頼性を判断する。信頼性は、例えば参照画像データの各画素のデータから判断する。具体的には、参照画像データにおける追尾対象の領域の隣接画素間の差分和が所定値以下である場合には、信頼性があると判断する。
Ｓ４１８において、ＣＰＵ１３０１は、最終的な追尾位置を、ＲＡＭ１１８の追尾位置ログエリアに記録する。次回（次フレーム）の追尾処理においては、この最終的な追尾位置を追尾処理の開始位置とする。ただし、Ｓ４１６の信頼性判断において、信頼性がないと判断された場合には、追尾位置を記録しないようにしても良い。
【００７８】
Ｓ４２０において、ＣＰＵ１３０１は、表示素子駆動回路１２２を制御して、追尾枠の表示位置をＳ４１８で記録した追尾位置に対応した位置に更新する。その後、ＣＰＵ１３０１は、図１０の追尾処理を終了させる。
【００７９】
次に、追尾位置補正判断処理について図１１を参照して説明する。追尾位置補正判断処理においては、現在のフレームにおける各コントラスト取得エリアのコントラスト情報と過去のフレームにおいて決定された最終的な追尾位置のコントラスト情報との類似度に応じて、現在のフレームにおける最終的な追尾位置を決定する。
【００８０】
Ｓ５００において、ＣＰＵ１３０１は、現在のフレーム（Ｎフレーム）における追尾候補位置のコントラスト取得エリアで取得されたコントラスト情報と過去のフレーム（Ｎ−１フレーム）において最終的に決定された追尾位置のコントラスト取得エリアで取得されたコントラスト情報との差が閾値を超えているか否かを判定する。
Ｓ５００において、現在のフレームにおける追尾候補位置のコントラスト取得エリアで取得されたコントラスト情報と過去のフレームおける追尾位置のコントラスト取得エリアで取得されたコントラスト情報との差が閾値を超えていると判定した場合、即ち現在のフレームにおける追尾候補位置のコントラスト情報と過去のフレームおける追尾位置のコントラスト情報との類似度が低いと判定した場合に、Ｓ３０２において、ＣＰＵ１３０１は、過去のフレームの追尾位置のコントラスト情報と現在のフレームの追尾候補位置の周辺位置の各コントラスト取得エリアにおけるコントラスト情報との類似度を算出する。
【００８１】
Ｓ５０４において、ＣＰＵ１３０１は、算出された類似度のうち、最も高い類似度が閾値を超えているか否か、即ちコントラスト情報の差の最小値が閾値よりも小さいか否かを判定する。Ｓ５０４において、最も高い類似度が閾値を超えていると判定した場合に、Ｓ５０６において、ＣＰＵ１３０１は、最も高い類似度のコントラスト情報を有する位置を、最終的な追尾位置に決定する。ここで、追尾候補位置におけるコントラスト情報が最も高い類似度を有している場合には、追尾候補位置を最終的な追尾位置に決定する。その後、ＣＰＵ１３０１は、図１１の追尾位置補正判断処理を終了させる。
【００８２】
また、Ｓ５００において、現在のフレームにおける追尾候補位置のコントラスト取得エリアで取得されたコントラスト情報と過去のフレームおける追尾位置のコントラスト取得エリアで取得されたコントラスト情報との差が閾値を超えていないと判定した場合、又はＳ５０４において、最も高い類似度が閾値を超えていないと判定した場合に、ＣＰＵ１３０１は、図１１の追尾位置補正判断処理を終了させる。この場合には、追尾位置の補正は行われず、追尾候補位置が最終的な追尾位置となる。
【００８３】
以下、図１０及び図１１で示した追尾処理の効果について説明する。
この追尾処理の効果を説明するために、まず、従来の輝度情報を用いた追尾処理について説明する。追尾処理に先立って、あるフレームにおいて、図１２（ａ）に示す被写体Ｄの位置Ｃ１（被写体の胸部）が追尾対象として指定されたとする。このとき、図１２（ａ）に示す画像データが評価画像データとなり、この中の位置Ｃ１の画像データが基準画像データとなる。そして、位置Ｃ１に追尾枠が表示される。
【００８４】
その後、別のフレームにおいて、図１２（ｂ）に示すようにして被写体Ｄに動きが生じたとする。図１２（ｂ）の例は、被写体Ｄが、正面向きから横向きに変化する動きをした場合を示している。このような被写体Ｄに動きが生じた状態で輝度情報を用いた追尾処理を行ったとする。前述したように、輝度情報を用いた追尾処理では、基準画像データと類似の画像データを参照画像データから探索する。横向きの場合には、正面向きの場合の胸部（基準画像データ）と類似する画像データを多く含んでいるので、被写体Ｄの胸部を正しく追尾することが可能である。
【００８５】
さらに、別のフレームにおいて、図１２（ｃ）に示すようにして被写体Ｄに動きが生じたとする。図１２（ｃ）の例は、被写体Ｄが、横向きから後ろ向きに変化する動きをした場合を示している。このような被写体Ｄに動きが生じた状態で輝度情報を用いた追尾処理を行ったとする。ここで、後ろ向きの場合には、正面向きの場合の胸部（基準画像データ）と類似する画像データを殆ど含んでいないので、被写体Ｄの胸部を追尾することができなくなる可能性が生じる。特に、被写体Ｄが、胸と背中とで模様が異なる服を着ている場合等では、追尾対象をロストして追尾処理が不能となる可能性が高い。
【００８６】
次に、図１０及び図１２で示す本実施形態の追尾処理を適用した場合の効果について説明する。ここでは、例として、図１３（ａ）に示す被写体Ｋの位置Ｌ１を追尾するものとする。
【００８７】
あるフレームにおいて、図１３（ｂ）に示すようにして、被写体Ｋの向きが横向きから後ろ向きに変化し、これによって追尾対象をロストして、追尾候補位置がＬ２となったとする。このような場合、追尾位置Ｌ１のコントラスト情報と追尾候補位置Ｌ２のコントラスト情報との差が大きく（類似度が低く）なる。
【００８８】
図１３（ｂ）の例では、追尾位置Ｌ１のコントラスト情報と追尾候補位置Ｌ２のコントラスト情報との差が大きいので、追尾位置Ｌ１のコントラスト情報と、図１３（ｃ）に示す追尾候補位置Ｌ２の周辺位置Ｍのコントラスト情報との類似度が評価される。ここで、図１３（ｃ）の例では、周辺位置Ｍを、追尾候補位置Ｌ２を囲むようにして配置された８つのコントラスト取得エリアで構成している。各コントラスト取得エリアは、追尾位置Ｌ１と同サイズとしておくことが好ましい。周辺位置Ｍのコントラスト取得エリアを８つ以上としても良い。例えば、追尾候補位置Ｌ２を含めて５×５のコントラスト取得エリアとしても良い。この場合、周辺位置Ｍのコントラスト取得エリアは、２４個のコントラスト取得エリアによって構成される。また、周辺位置Ｍに含まれるコントラスト取得エリアを８つよりも少なくしても良い。例えば、追尾候補位置Ｌ２の上下左右位置にのみ、コントラスト取得エリアを配置しても良い。この場合、周辺位置Ｍのコントラスト取得エリアは、４個のコントラスト取得エリアによって構成される。
【００８９】
周辺位置Ｍも含めてコントラスト情報の類似度が評価される。図１３（ｃ）の例では、コントラスト取得エリアＮのコントラスト情報が、追尾位置Ｌ１のコントラスト情報との類似度が最も高いと評価される。これは、コントラスト取得エリアＮが被写体Ｋ上のエリアであるためである。コントラスト取得エリアＮにおける類似度が、閾値を超えていると判定された場合に、図１３（ｄ）に示すようにして、現フレームの追尾位置が、追尾候補位置Ｌ２から、コントラスト取得エリアＮに対応した位置Ｌ３に補正される。
【００９０】
このように、本実施形態における追尾処理では、輝度情報を利用した追尾処理によって得られた追尾候補位置における被写体が、本来の追尾対象の被写体でない場合に、その追尾候補位置の周辺位置のコントラスト情報を用いて追尾対象の被写体を探索するようにしている。被写体が大きく移動していなければ、追尾候補位置の周辺に本来の追尾対象の被写体が存在していると考えられる。このようにして追尾位置を探索することにより、本実施形態では、追尾対象の被写体をロストしてしまっても、最終的には追尾位置を正しい追尾位置に補正することが可能である。
【００９１】
また、追尾候補位置のコントラスト取得エリアと周辺位置の各コントラスト取得エリアのサイズとを同一サイズとすることにより、コントラスト情報の類似度を比較し易い。このため、追尾位置の誤検出の可能性を低減することが可能である。
【００９２】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上述した実施形態では、色情報を用いた追尾処理の例と輝度情報を用いた追尾処理の例とについて説明している。これらの追尾処理は、何れも、顏検出を用いた追尾処理に対しても適用可能である。
また、前述の動作の説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【００９３】
１００…撮像装置、１０２…撮影光学系、１０４…焦点調整機構、１０６…絞り、１０８…絞り駆動機構、１１０…シャッタ、１１２…シャッタ駆動機構、１１４…撮像素子、１１６…撮像素子インターフェイス（ＩＦ）回路、１１８…ＲＡＭ、１２０…表示素子、１２２…表示素子駆動回路、１２４…タッチパネル、１２６…タッチパネル駆動回路、１２８…記録メディア、１３０…システムコントローラ、１３２…操作部、１３４…ＲＯＭ、１３０１…ＣＰＵ、１３０２…ＡＦ制御回路、１３０３…ＡＥ制御回路、１３０４…画像処理回路、１３０５，１３０６…追尾処理回路、１３０７…顔検出回路、１３０８…コントラスト情報取得回路、１３０９…メモリ制御回路
【特許請求の範囲】
【請求項１】
画像データをフレーム毎に取得する画像データ取得部と、
前記フレーム毎に取得された画像データのそれぞれにおける追尾対象の候補位置を検出する追尾処理部と、
前記フレーム毎に検出された前記画像データにおける追尾対象の候補位置のコントラスト情報を取得するコントラスト情報取得部と、
過去の前記フレームにおいて決定された前記追尾対象の位置のコントラスト情報と現在の前記フレームにおいて取得された前記追尾対象の候補位置のコントラスト情報との類似度を評価するコントラスト情報類似度評価部と、
過去の前記フレームにおいて決定された前記追尾対象の位置のコントラスト情報に対する類似度が最も高いコントラスト情報を有する前記追尾対象の候補位置を、現在の前記フレームにおける追尾対象の位置として決定する制御部と、
を具備することを特徴とする追尾装置。
【請求項２】
前記コントラスト情報取得部は、前記追尾処理部によって複数の前記追尾対象の候補位置が検出された場合に、各追尾対象の候補位置について同一サイズのコントラスト取得エリアを設定し、該コントラスト取得エリアにおいてコントラスト情報を取得することを特徴とする請求項１に記載の追尾装置。
【請求項３】
前記追尾処理部は、前記追尾対象の色情報に従って前記追尾対象の候補位置を検出することを特徴とする請求項２に記載の追尾装置。
【請求項４】
前記コントラスト情報取得部は、追尾対象の候補位置及び該追尾対象の候補位置の周辺位置に同一サイズのコントラスト取得エリアを設定し、該コントラスト取得エリアにおいてコントラスト情報を取得することを特徴とする請求項１に記載の追尾装置。
【請求項５】
前記追尾処理部は、前記追尾対象の輝度情報に従って前記追尾対象の候補位置を検出することを特徴とする請求項４に記載の追尾装置。
【請求項６】
画像データ取得部が、画像データをフレーム毎に取得し、
追尾処理部が、前記フレーム毎に取得された画像データのそれぞれにおける追尾対象の候補位置を検出し、
コントラスト情報取得部が、前記フレーム毎に検出された前記画像データにおける追尾対象の候補位置のコントラスト情報を取得し、
コントラスト類似度評価部が、過去の前記フレームにおいて決定された前記追尾対象の位置のコントラスト情報と現在の前記フレームにおいて取得された前記追尾対象の候補位置のコントラスト情報との類似度を評価し、
制御部が、過去の前記フレームにおいて決定された前記追尾対象の位置のコントラスト情報に対する類似度が最も高いコントラスト情報を有する前記追尾対象の候補位置を、現在の前記フレームにおける追尾対象の位置として決定する、
ことを特徴とする追尾方法。
【請求項１】
画像データをフレーム毎に取得する画像データ取得部と、
前記フレーム毎に取得された画像データのそれぞれにおける追尾対象の候補位置を検出する追尾処理部と、
前記フレーム毎に検出された前記画像データにおける追尾対象の候補位置のコントラスト情報を取得するコントラスト情報取得部と、
過去の前記フレームにおいて決定された前記追尾対象の位置のコントラスト情報と現在の前記フレームにおいて取得された前記追尾対象の候補位置のコントラスト情報との類似度を評価するコントラスト情報類似度評価部と、
過去の前記フレームにおいて決定された前記追尾対象の位置のコントラスト情報に対する類似度が最も高いコントラスト情報を有する前記追尾対象の候補位置を、現在の前記フレームにおける追尾対象の位置として決定する制御部と、
を具備することを特徴とする追尾装置。
【請求項２】
前記コントラスト情報取得部は、前記追尾処理部によって複数の前記追尾対象の候補位置が検出された場合に、各追尾対象の候補位置について同一サイズのコントラスト取得エリアを設定し、該コントラスト取得エリアにおいてコントラスト情報を取得することを特徴とする請求項１に記載の追尾装置。
【請求項３】
前記追尾処理部は、前記追尾対象の色情報に従って前記追尾対象の候補位置を検出することを特徴とする請求項２に記載の追尾装置。
【請求項４】
前記コントラスト情報取得部は、追尾対象の候補位置及び該追尾対象の候補位置の周辺位置に同一サイズのコントラスト取得エリアを設定し、該コントラスト取得エリアにおいてコントラスト情報を取得することを特徴とする請求項１に記載の追尾装置。
【請求項５】
前記追尾処理部は、前記追尾対象の輝度情報に従って前記追尾対象の候補位置を検出することを特徴とする請求項４に記載の追尾装置。
【請求項６】
画像データ取得部が、画像データをフレーム毎に取得し、
追尾処理部が、前記フレーム毎に取得された画像データのそれぞれにおける追尾対象の候補位置を検出し、
コントラスト情報取得部が、前記フレーム毎に検出された前記画像データにおける追尾対象の候補位置のコントラスト情報を取得し、
コントラスト類似度評価部が、過去の前記フレームにおいて決定された前記追尾対象の位置のコントラスト情報と現在の前記フレームにおいて取得された前記追尾対象の候補位置のコントラスト情報との類似度を評価し、
制御部が、過去の前記フレームにおいて決定された前記追尾対象の位置のコントラスト情報に対する類似度が最も高いコントラスト情報を有する前記追尾対象の候補位置を、現在の前記フレームにおける追尾対象の位置として決定する、
ことを特徴とする追尾方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−９８９３５（Ｐ２０１３−９８９３５Ａ）
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１１−２４２７０３（Ｐ２０１１−２４２７０３）
【出願日】平成２３年１１月４日（２０１１．１１．４）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願日】平成２３年１１月４日（２０１１．１１．４）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]