被写体追跡装置及びその制御方法
【課題】 基準画像と入力画像との相関度に基づく被写体追跡を行う被写体追跡装置において、追跡対象の被写体と類似した対象が存在する場合や、追跡対象の被写体の動きが速い場合でも、安定した被写体追跡を可能とする。
【解決手段】
入力画像に設定された参照領域の画像と基準画像との相関度と、参照画像と直近に判定された被写体領域との距離との関数により、参照領域ごとに評価値を求める。また、入力画像が基準画像の特徴量と一致している度合いを求める。入力画像が基準画像の特徴量と一致している度合いが高い場合には、相関度の信頼性が低いので、評価値に距離が寄与する度合いを高める。一方、入力画像が基準画像の特徴量と一致している度合いが低い場合には、相関度の信頼性が高いので、評価値に距離が寄与する度合いを低くする。
【解決手段】
入力画像に設定された参照領域の画像と基準画像との相関度と、参照画像と直近に判定された被写体領域との距離との関数により、参照領域ごとに評価値を求める。また、入力画像が基準画像の特徴量と一致している度合いを求める。入力画像が基準画像の特徴量と一致している度合いが高い場合には、相関度の信頼性が低いので、評価値に距離が寄与する度合いを高める。一方、入力画像が基準画像の特徴量と一致している度合いが低い場合には、相関度の信頼性が高いので、評価値に距離が寄与する度合いを低くする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体追跡装置及びその制御方法に関する。
【背景技術】
【０００２】
時系列的に逐次供給される画像の１フレームにおいて特定の被写体を検出し、検出した被写体を後続するフレームで追跡する画像処理技術は非常に有用である。例えば動画像中の人体領域（例えば顔領域）を検出、追跡する技術は、電話会議、マン・マシン・インタフェース、セキュリティ、特定の被写体を追跡するためのモニタ・システム、画像圧縮などの多くの分野で使用することができる。この画像処理技術を搭載したデジタルカメラやデジタルビデオカメラでは、電子ビューファインダに表示された画像で指定された被写体が適切に撮影されるよう、露出制御や合焦制御を実行するものが知られている。
【０００３】
例えば、特許文献１では、撮影画像から顔を検出し、顔に焦点を合わせ、かつ顔に最適な露出で撮影する撮影装置を開示している。また、特許文献２は、あるフレームで検出された顔を、後続するフレームで検出する追跡処理を行うことを開示している。
【０００４】
特定の被写体を後続するフレームで追跡する方法としては、特許文献２に開示されるような、テンプレートマッチングの手法を利用する方法が知られている。テンプレートマッチングは、追跡すべき被写体の画像（テンプレート画像又は基準画像）を、動画像のあるフレーム（基準フレームとよぶ）から抽出し、後続するフレームにおいてテンプレート画像と相関度が最も高い領域を探索する技術である。探索された領域を、後続フレームにおけるテンプレート画像の位置と推定することで、テンプレート画像に対応する被写体の追跡が可能である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−３１８５５４号公報
【特許文献２】特開２００１−６０２６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
テンプレートマッチングを用いた被写体追跡方法では、被写体を追跡するためのフレーム画像と、基準画像（テンプレート画像）との相関度に基づいて被写体を追跡する。ここで、フレーム画像内に、基準画像と類似する、しかし追跡すべき被写体とは異なる領域が存在する場合、その領域を被写体と誤検出することがある。この問題は、特に、フレーム画像中で被写体の見えが基準画像と変化している場合に発生しやすい。そこで、時系列的に連続な２つのフレーム画像間においては、被写体の位置が大きく変化しないという仮定を導入し、相関度の高い複数の領域のうち、画像間の移動距離が大きい領域は被写体領域でないとみなすことが考えられる。これにより、被写体の動きが小さい場合には、類似領域を被写体領域と誤検出する可能性を低減することができるであろう。
【０００７】
しかし、被写体の動きが速い場合、時系列的に連続な２つのフレーム画像間における被写体領域の位置変化は大きいため、被写体の動きが速い場合には上述の仮定の導入によりむしろ誤検出の可能性が高くなるおそれがある。
【０００８】
本発明はこのような従来技術の課題に鑑みてなされたものである。本発明は、基準画像と入力画像との相関度に基づく被写体追跡を行う被写体追跡装置及びその制御方法において、被写体と類似した物体が存在する場合や被写体の動きが速い場合の被写体追跡の精度を向上させることを目的とする。
【課題を解決するための手段】
【０００９】
上述の目的は、画像中の特定の被写体を、時系列的に入力される複数の入力画像に亘って追跡する被写体追跡装置であって、登録手段に登録された基準画像と入力画像に設定される複数の参照領域の各々との相関度を求める相関度算出手段と、基準画像の特徴量を抽出する抽出手段と、入力画像が特徴量に一致する度合いを判定する一致度判定手段と、複数の参照領域の各々と、入力画像内の所定の基準位置との距離を算出する距離算出手段と、複数の参照領域の各々について、相関度と、距離と、一致度判定手段が判定した度合いとを用いて評価値を算出する評価値算出手段と、複数の参照領域のうち、評価値が最も大きな参照領域を特定の被写体の領域であると判定する判定手段とを有し、所定の基準位置は、判定手段が直近に判定した特定の被写体の領域の位置であり、評価値算出手段は、評価値を、相関度と距離との関数の値として算出するとともに、評価値に距離が寄与する度合いが、一致度判定手段が判定した度合いが高いほど大きく、一致度判定手段が判定した度合いが低いほど小さくなるように動的に変化させて評価値を算出することを特徴とする被写体追跡装置によって達成される。
【発明の効果】
【００１０】
本発明によれば、基準画像と入力画像との相関度に基づく被写体追跡を行う被写体追跡装置及びその制御方法において、被写体と類似した物体が存在する場合や被写体の動きが速い場合の被写体追跡の精度を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る被写体追跡装置の一例としての撮像装置の機能構成例を示すブロック図。
【図２】本発明の実施形態に係る被写体追跡の処理を示すフローチャート。
【図３】本発明の実施形態に係る被写体追跡の説明図。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して、本発明の例示的な実施形態を詳細に説明する。なお、以下に説明する実施形態の説明は、本発明の理解を助けることを目的としたものであり、本発明の範囲を限定するものではなく、本発明の範囲内で様々な変更が可能である。また、以下の実施形態では、本発明を撮像装置に適用した構成について説明するが、本発明において撮像機能は必須でなく、被写体追跡を行う対象となる画像の供給元はいかなるものであってもよい。従って、本発明は、記録された画像を読み出して再生、表示したり、外部から画像を受信して処理する画像処理装置に対して広く適用可能である。このような画像処理装置には、パーソナルコンピュータや携帯情報端末、携帯電話機、メディアプレーヤなど、様々な機器が含まれる。
【００１３】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る被写体追跡の一例としての撮像装置１００の機能構成例を示すブロック図である。レンズユニット１０１は結像光学系であり、一般にはフォーカス調整用レンズを含む複数のレンズによって構成される。レンズユニット１０１は被写体の光学像を撮像素子１０２の撮像面上に結像する。撮像素子１０２はＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの光電変換素子であり、被写体光学像を画素単位の電気信号に変換する。この電気信号は、撮像素子１０２で撮像された被写体像を示すアナログの映像信号である。撮像素子１０２は、撮像と出力を連続的に繰り返すことにより、所定のフレームレートで時系列的に映像信号を出力することができる。以下の説明において、「画像」とは、１フレームの映像信号と同義である。
【００１４】
撮像素子１０２から出力された画像は、アナログ信号処理部１０３で相関二重サンプリング（ＣＤＳ）等のアナログ信号処理が適用された後、Ａ／Ｄ変換部１０４でデジタルデータの形式に変換され、制御部１０５及び画像処理部１０６に入力される。
【００１５】
制御部１０５は、ＣＰＵ（Central Processing Unit）やマイクロコントローラなどであり、撮像装置１００全体の動作を制御する。具体的には、制御部１０５は、ＲＯＭ（Read Only Memory）に記憶されたプログラムコードをＲＡＭ（Random Access Memory）の作業領域に展開して順次実行することで、撮像装置１００の各部を制御する。なお、制御部１０５を構成するＣＰＵ等は単数であっても複数であってもよく、制御部１０５が実現する機能を複数のＣＰＵで分散して処理してもよい。
【００１６】
画像処理部１０６は、入力されたデジタル形式の画像に対して、ガンマ補正、ホワイトバランス処理などの画像処理（いわゆる現像処理）を適用する。なお、画像処理部１０６は、これらの画像処理に加え、後述する被写体追跡部１１０から供給される、画像中の特定の被写体領域に関する情報を用いた画像処理も実行する。
【００１７】
画像処理部１０６から出力された画像は、例えばＬＣＤや有機ＥＬディスプレイである表示部１０７で表示される。撮像装置１００は、撮像素子１０２で撮像した動画像をリアルタイムに表示部１０７に表示することで、表示部１０７を電子ビューファインダ（ＥＶＦ）として機能させることができる。また、表示部１０７は、電子ビューファインダとして機能している際、後述する被写体追跡部１１０により追跡している被写体領域の位置を示す情報を撮像画像とともに表示することができる。
【００１８】
また、画像処理部１０６から出力された画像は、記録部１０８により、例えば着脱可能なメモリーカードに記録される。なお、画像の記録先は、撮像装置１００の内蔵メモリであっても、通信インターフェイスにより通信可能に接続された外部装置（いずれも図示しない）であってもよい。なお、画像処理部１０６は、表示部１０７に出力する画像と、記録部１０８に出力する画像とを、それぞれ表示と記録に最適化して出力することができる。画像処理部１０６は、画像の、例えば解像度（画素数）や信号形式（ＲＧＢ形式、ＹＣｒＣｂ形式）や、データ形式を、用途に応じて最適化することができる。また、画像処理部１０６は、必要に応じて画像の符号化処理や復号化処理も実行する。
【００１９】
被写体指定部１０９は、例えば表示部１０７に設けられたタッチパネルや、撮像装置１００の筐体に設けられたキーやボタン等の入力インターフェイスである。ユーザは、例えば表示部１０７に表示されている入力画像中から所望の被写体の領域を指定することにより、追跡すべき被写体を指定することができる。タッチパネルやキー、ボタン等を用いて画像中から任意の領域を指定する方法に特に制限はなく、周知の方法を採用できる。また、例えば撮像装置１００が被写体検出機能を有し、検出されている被写体の領域を示す枠などの指標を撮像画像に重畳表示する場合には、所望の被写体の枠を選択することによっても被写体の領域を指定することができる。
【００２０】
被写体追跡部１１０は、画像処理部１０６から出力される画像と、被写体指定部１０９で指定された入力画像中の被写体の画像に基づく基準画像、もしくは更新された基準画像とのテンプレートマッチングにより、画像中の被写体画像位置を検出する。被写体追跡部１１０は、この検出処理を、画像処理部１０６から時系列的に入力される、撮像時刻の異なる複数の画像に対して適用することにより、被写体追跡機能を実現する。
【００２１】
被写体追跡部１１０において、特徴量抽出部１１６および特徴一致度判定部１１７が、基準画像登録部１１１に登録された基準画像の信頼度を算出する。評価値算出部１１５は、距離算出部１１４により算出される距離が評価値に寄与する度合いを、算出された信頼度に応じて動的に変化させる。
【００２２】
基準画像登録部１１１は、画像処理部１０６により供給される画像から時刻の異なる複数の画像の部分画像を基準画像として登録する。登録された基準画像は、相関度算出部１１３によって利用される。基準画像登録部１１１によって登録される基準画像は、被写体追跡の開始時は被写体指定部１０９によって指定される領域に基づき登録され、その後は被写体追跡中に被写体抽出部１１８が抽出した被写体領域によって順次更新される。
【００２３】
参照領域設定部１１２では、画像処理部１０６により時系列的に逐次供給される入力画像の一部を、相関度算出部１１３および距離算出部１１４で用いる参照領域に設定する。参照領域の大きさは、基準画像登録部１１１により登録された基準画像の大きさに対応する。参照領域は、画像処理部１０６により供給される１つの入力画像に対し、位置を水平および垂直方向に画素単位でずらしながら順次設定される。入力画像において参照領域を設定する領域（探索領域）は、画像全体であっても、直前の入力画像において被写体領域と判定された領域の位置を中心とした所定の範囲のような部分領域であっても良い。
【００２４】
相関度算出部１１３では、基準画像登録部１１１によって登録された基準画像と、参照領域設定部１１２によって設定された参照領域の画像との相関度を算出する。上述のように、参照領域設定部１１２は同一の入力画像（の探索領域）内で位置をずらしながら参照領域を順次設定するため、入力画像（の探索領域）中、基準画像と最も相関度の高い領域を推定することができる。相関度は、例えば、参照領域の画像と基準画像の対応する位置の画素値の差分和として求めることができ、差分和の値が小さいほど相関度が高いことを示す。なお、２つの画像の相関度を算出する方法には、さまざまな方法があり、任意の方法を本実施形態に適用可能である。
【００２５】
距離算出部１１４では、参照領域設定部１１２によって設定された参照領域の位置と、入力画像内の所定の基準位置との距離を算出する。所定の基準位置は、被写体追跡を実施した直前の入力画像において、被写体抽出部１１８が抽出した被写体領域の位置とする。あるいは、所定の位置は、被写体追跡による過去の被写体領域の動き情報に基づいて予測した、現在の入力画像における被写体領域の位置であっても良い。ここで、「被写体領域の位置」は任意に設定可能であり、例えば被写体領域の重心位置であっても良いし、被写体領域の１頂点の位置であってもよい。
【００２６】
評価値算出部１１５では、相関度算出部１１３が算出した相関度と、距離算出部１１４が算出した距離に応じて、参照領域ごとに評価値を算出する。なお、評価値算出部１１５は、評価値を算出する際、距離算出部１１４が算出した距離が評価値に寄与する度合いを、後述する特徴一致度判定部１１７が判定する一致度に応じて変化させる。
【００２７】
特徴量抽出部１１６は、基準画像登録部１１１に登録されている基準画像から特徴量を抽出する。特徴量抽出部１１６は、例えば、基準画像の所定領域に含まれる画素の、予め定めた成分の値についてヒストグラムを生成し、頻度が所定の閾値以上となる値を特徴量として抽出する。ヒストグラムを生成する画素の成分としては、例えば相関度算出部１１３によって相関度を算出するための画素の成分と同様とする。画素の成分の具体例としては、色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）のＨＳＶ表現で表されたＨＳＶ画像における色相（Ｈ）などが挙げられる。なお、特徴量の抽出方法は、さまざまな方法があり、本実施形態の処理例はあくまで一例である。
【００２８】
特徴一致度判定部１１７は、画像処理部１０６から供給される入力画像が、特徴量抽出部１１６により抽出された特徴量と一致する度合いを判定する。特徴量と一致する度合いとは、入力画像全体の画素数に対する、特徴量抽出部１１６により抽出された特徴量に一致すると判定される画素数の割合とする。なお、特徴一致度判定の方法は、さまざまな方法があり、本実施形態の処理例はあくまで一例である。
【００２９】
被写体抽出部１１８では、評価値算出部１１５によって算出される評価値が最大となる参照領域を被写体領域と判定し、被写体領域の画像を抽出する。逐次供給される入力画像から被写体領域を判定することにより、目的とする被写体を追跡することができる。抽出した被写体領域の画像は基準画像登録部１１１へ供給され、登録されている基準画像を置き換える。また、判定した被写体領域の情報は制御部１０５に与えられる。
【００３０】
制御部１０５は、撮像装置１００における自動焦点検出（ＡＦ）制御や、自動露出（ＡＥ）制御を行う。具体的には、制御部１０５は、Ａ／Ｄ変換部１０４から出力された画像に基づいて、レンズユニット１０１の焦点制御機構や露出制御機構（いずれも図示しない）を制御する。例えば、焦点制御機構はレンズユニット１０１を光軸方向へ駆動させるアクチュエータなどであり、露出制御機構は絞りやシャッタ（メカニカルシャッタがある場合）を駆動させるアクチュエータなどである。
【００３１】
制御部１０５は、このＡＦ制御やＡＥ制御よる撮像条件の決定において、被写体追跡部１１０から供給される被写体領域の抽出結果を用いることができる。具体的には、制御部１０５は、被写体領域として抽出された領域に合焦するように焦点検出条件を制御してＡＦ制御を行ったり、当該領域の露出が適正になるように露出条件を制御してＡＥ制御することができる。また、制御部１０５は、撮像素子１０２の出力タイミングの制御や、読み出す画素の選択制御など、撮像素子１０２の読み出し制御も行う。
【００３２】
なお、撮像装置１００が例えば顔検出部といった、特定の被写体を検出する機能を実現する構成を有する場合、検出された被写体領域（例えば顔領域）を自動的に基準画像として登録することができる。また、ＡＦ制御やＡＥ制御に利用される、画像中の所定の領域（焦点検出領域や測光領域など）を、初期の被写体領域として基準画像に登録してもよい。これらの場合、撮像装置１００は被写体指定部１０９を有さなくてもよい。
【００３３】
ここで、評価値算出部１１５における評価値の算出方法について説明する。本実施形態において、評価値算出部１１５は、相関度算出部１１３が求める相関度と距離算出部１１４が求める距離の関数値として参照領域ごとの評価値を算出する。
【００３４】
上述の通り、相関度のみに基づいて評価値を求めた場合、真の被写体領域の他に被写体領域（基準画像）と特徴が類似した領域（類似領域）が存在する場合、類似領域を被写体領域と誤検出する可能性がある。特に、基準画像として用いられている被写体領域を抽出した時点と、追跡を行う入力画像を撮影した時点とで被写体の見えが変わっている場合には、真の被写体領域よりも類似領域の方が基準画像との相関度が高くなる場合もある。つまり、類似領域が存在する可能性が高い場合には、相関度算出部１１３が求める相関度の信頼性が低下する。
【００３５】
そのため、本実施形態では、特徴一致度判定部１１７において、類似領域の存在可能性の指標となる一致度を算出し、類似領域が存在する可能性が高いと判定される場合には、評価値に距離が寄与する程度を高める。これにより、直近の被写体領域からの距離が小さい参照領域から被写体領域が決定されやすくなり、被写体の動きが大きくない一般的な状況において、相関度の高い類似領域を誤検出する可能性を低減することができる。一方、類似領域が存在する可能性が小さいと判定される場合には、相関度算出部１１３の算出する相関度の信頼性は高い。そのため、評価値に距離が寄与する程度を低くする。これにより、直近の被写体領域からの距離が大きくても、相関度の高い参照領域が被写体領域として判定されやすくなり、被写体の動きが大きい場合でも、被写体領域を精度良く検出することができる。
【００３６】
このように、本実施形態では、相関度と、直近の被写体領域からの距離の両方を考慮して参照領域の評価値を求めるとともに、類似領域の存在の可能性に応じて、直近の被写体領域からの距離を考慮する度合いを動的に変化させる。そのため、類似領域が存在する場合における誤検出を抑制しながら、大きく動く被写体に対しても追跡を可能とすることができる。
【００３７】
本実施形態において評価値算出部１１５は、相関度算出部１１３が求める相関度と距離算出部１１４が求める距離の関数値として、例えば以下の式（１）によって参照領域ごとの評価値を算出する。
評価値＝１／｛（１／相関度）＋直近の被写体領域からの距離×α｝ （１）
【００３８】
ここで、αは係数であり、一致度が高い（すなわち、類似領域が存在する可能性が高い）場合には大きい値が、一致度が低い（すなわち、類似領域が存在する可能性が低い）場合には小さい値が評価値算出部１１５によって設定される。一致度と係数値との具体的な関係は予め実験的に求めておくことが可能であり、評価値算出部１１５は一致度と係数値とを対応付けたテーブルを有していても良いし、一致度を代入すれば係数値が得られる関係式を有していてもよい。被写体抽出部１１８は、評価値が最も高くなる参照領域を被写体領域として判定する。
【００３９】
基準画像（直近の被写体領域の画像）及び参照領域が大きさが横Ｍ画素×縦Ｎ画素の矩形領域であり、直近の被写体領域Ｉの位置が(x0, y0)、参照領域の位置が(x1, y1)とする。なお、上述の通り、領域の位置は重心位置や頂点の位置など、予め定めておくことができる。また、基準画像と参照領域の画像の相関度を、対応する位置の画素値の差分和の絶対値の大きさとして求めるとすると、評価値ＳＡＤを求める式（１）は以下の式（２）のようになる。
【数１】
【００４０】
式（２）の右辺の第１項が相関度（値が小さい方が相関度が高い）を、第２項が距離（値が小さい方が距離が短い）をそれぞれ表している。ここではＳＡＤが大きい方が評価が高いものとするため、右辺の逆数を求めているが、右辺の括弧内の数式で得られる値が小さいほど評価値が高いとしてもよい。
【００４１】
本実施形態では、特徴量抽出部１１６及び特徴一致度判定部１１７により、類似領域の存在の可能性（あるいは、基準画像の信頼性）を示す値として一致度を求め、一致度に応じて評価値に距離が寄与する度合いを変化させる構成を説明した。しかしながら、これは単なる一例であり、同様の値を求めることができれば、他の任意の構成を用いてもよい。例えば、参照領域ごとに相関度算出部１１３で算出される相関度の平均値と最大値を算出し、相関度の最大値を相関度の平均値により除した値、あるいは差分の絶対値を一致度と同様に用いてもよい。なお、ここでは、相関度が高いほど相関度の値が大きいものとする。入力画像内に、基準画像と類似した領域が多い場合は、相関度の最大値と相関度の平均値の差が小さくなるため、最大値／平均値や｜最大値−平均値｜の値は小さくなる。一方、類似領域が少ない場合には、相関度の最大値と相関度の平均値の差が大きくなるため、最大値／平均値や｜最大値−平均値｜の値は大きくなる。
【００４２】
相関度の最大値及び平均値を用いる場合、類似領域の存在の可能性または基準画像の信頼性を示す値は評価値算出部１１５が算出することができ、特徴量抽出部１１６及び特徴一致度判定部１１７は不要である。
【００４３】
（被写体追跡部１１０の動作）
次に、被写体追跡部１１０の処理の詳細について、図２及び図３を参照して説明する。なお、以下の説明では、検出及び追跡すべき特定の被写体が人物の顔であるものとする。
【００４４】
基準画像登録部１１１は、Ｓ２０１において、撮像素子１０２で逐次撮像された撮像画像を入力画像として読み込む。なお、Ｓ２０１における入力画像の読み込みは、撮像された全てのフレームについて行ってもよいし、間欠的に行ってもよい。
【００４５】
次いで、基準画像登録部１１１はＳ２０２において、被写体指定部１０９から指定された部分領域に基づき、入力画像から初期基準画像（最初に用いられる基準画像）を登録する。図３（ａ）に、被写体指定部１０９からの指定に基づいて登録された基準画像３０１の例を示す。また、被写体追跡開始時は、基準画像３０１が、被写体抽出部１１８の被写体抽出結果となる。
【００４６】
Ｓ２０３で次の入力画像を読み込むと、基準画像登録部１１１は、基準画像を特徴量抽出部１１６へ与える。次いで、Ｓ２０４において、特徴量抽出部１１６では基準画像から特徴量を抽出する。特徴量抽出部１１６は例えば基準画像に含まれる画素の、予め定めた成分の値についてヒストグラムを生成し、頻度が所定の閾値以上となる値を特徴量として抽出する。ヒストグラムを生成する画素の成分としては、例えば相関度算出部１１３によって相関度を算出するための画素の成分と同様とする。画素の成分の具体例としては、色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）のＨＳＶ表現で表されたＨＳＶ画像における色相（Ｈ）などが挙げられる。なお、特徴量の抽出方法は、さまざまな方法があり、本実施形態の処理例はあくまで一例である。図３（ａ）に、基準画像３０１の各画素から生成した色相ヒストグラム３０２の例を示す。特徴量抽出部１１６は、色相ヒストグラム３０２において所定の閾値以上の頻度を示す色相値の範囲を特徴量として抽出する。
【００４７】
Ｓ２０５において、特徴一致度判定部１１７は、入力画像に含まれる画素のうち、特徴量抽出部１１６で抽出した基準画像の特徴量と一致する（色相の値が特徴量の範囲に含まれる）画素を計数し、全画素に対する割合を算出する。例えば特徴一致度判定部１１７は、特徴量と一致する画素を白画素、一致しない画素を黒画素とする２値化画像を入力画像から生成し、全体の画素数に対する白画素数の割合を、入力画像が特徴量と一致する度合いとして算出する。図３（ｂ）に、時刻ｔ＝ｎにおける入力画像３０３と、入力画像３０３を図３（ａ）の色相ヒストグラム３０２から得られた特徴量によって２値化した画像３０４の例を示す。さらに、時刻ｔ＝ｍ（ｍ＞ｎ）における入力画像３０５と、入力画像３０５を図３（ａ）の色相ヒストグラム３０２から得られた特徴量によって２値化した画像３０６の例を示す。
【００４８】
Ｓ２０６において、評価値算出部１１５は、特徴一致度判定部１１７によって算出された一致度合いに応じて、評価値に距離が寄与する度合い（係数αの値））を決定する。上述の通り、図３（ｂ）に示す特徴２値化画像３０４のような特徴一致度合いが低い（特徴画素の割合が少ない）場合には、評価値に距離が寄与する度合いを小さくするため、係数αの値も小さくする。また、特徴２値化画像３０６のようなに一致度合いが大きい場合には、評価値に距離が寄与する度合いを大きくするため、係数αの値も大きくする。
【００４９】
Ｓ２０７において、参照領域設定部１１２は、入力画像に対し、基準画像の大きさに対応する参照領域を設定する。Ｓ２０８において、相関度算出部１１３では、参照領域の画像の各画素と基準画像の各画素から、参照領域の画像と基準画像との相関度を算出する。Ｓ２０９において、距離算出部１１４は、相関度を求めた参照領域の位置と、基準位置との距離を算出する。基準位置は、直近に判定された被写体領域の位置（すなわち、基準画像を抽出した画像における基準画像の位置）とする。
【００５０】
Ｓ２１０で評価値算出部１１５は、相関度算出部１１３が算出した相関度と、距離算出部１１４が算出した距離と、Ｓ２０６で決定した係数αとを用い、式（２）に基づいて評価値を算出する。相関度は式（２）の右辺第１項に、距離は第２項に代入すればよい。Ｓ２１１で評価値算出部１１５は、入力画像の全体もしくは予め定められた探索領域内において、設定すべき参照領域について全て評価値が算出されたか判定する。
【００５１】
設定すべき参照領域がまだ残っている場合は（Ｓ２１１：ＮＯ）、Ｓ２０７において、参照領域設定部１１２は、位置を所定方向に所定画素数ずらした参照領域を新たに設定し、新たな参照領域に対して上述のＳ２０８〜２１０の処理が行われる。
【００５２】
設定すべき参照領域の全てに対して評価値の算出がなされた場合は（Ｓ２１１：ＹＥＳ）、評価値算出部１１５は、評価値が最大となる参照領域の情報を被写体抽出部１１８に出力する。Ｓ２１２において、被写体抽出部１１８は、入力画像のうち、評価値が最大となった参照領域に対応する画像を被写体領域として判定し、抽出する。被写体抽出部は、抽出した画像を基準画像登録部１１１へ出力する。また、判定した被写体領域に関する情報を制御部１０５、画像処理部１０６及び距離算出部１１４へ出力する。
【００５３】
Ｓ２１３において、基準画像登録部１１１は、被写体抽出部１１８によって抽出された被写体領域を基準として基準画像を更新する。更新された基準画像は、次時刻の入力画像の被写体追跡処理（Ｓ２０３〜Ｓ２１２）において利用される。このように、抽出された被写体領域に基づいて基準画像を順次更新していくことで、被写体の向きが変化するなど時系列的に被写体の見えが変化する場合においても、適切に被写体追跡を行うことができる。基準画像が更新されることにより、Ｓ２０４で得られる基準画像内の特徴量も更新される。一方、時系列的な被写体の見えの変化を考慮しない場合などは、基準画像を更新せず、初期に登録された基準画像を維持してもよい。この場合は、基準画像内の特徴量も維持される。
【００５４】
なお、本実施形態では説明及び理解を容易にするため、被写体追跡処理の各処理ステップが直列的に実行されるように説明したが、並行して処理可能な処理ステップは同時に実行してもよいことは言うまでもない。例えば、入力画像に対して特徴一致度を求め、係数αを決定する処理（Ｓ２０４〜Ｓ２０６）と、入力画像に対して参照領域を設定し、相関度及び距離を算出する処理（Ｓ２０７〜２０９）は並列処理してもよい。
【００５５】
以上説明したように、本実施形態によれば、追跡すべき被写体を表す基準画像と、入力画像との相関度とを用いて被写体を追跡する被写体追跡装置において、相関度に加え、直近に判定された被写体領域からの距離を加味した評価値を参照領域ごとに算出する。さらに、入力画像において、基準画像と同様の特徴を有する画素が含まれる割合が多い場合には、評価値に距離が寄与する割合を大きくし、距離が短い参照領域が被写体領域と判定されやすくする。また、入力画像において、基準画像と同様の特徴を有する画素が含まれる割合が少ない場合には、評価値に距離が寄与する割合を小さくし、相関度の高い参照領域が被写体領域と判定されやすくする。そのため、相関度の信頼性が低い場合には誤検出を抑制することができるとともに、相関度の信頼性が高い場合には被写体の動きが大きい場合にも精度良く被写体を検出することができ、安定した被写体追跡が可能となる。
【００５６】
（他の実施形態）
なお、上述の実施形態では、被写体追跡装置の一例としての撮像装置を説明した。しかし、上述の通り、本発明は撮像装置以外にも多様な機器に適用可能である。例えば画像データの再生表示装置に適用した場合、画像データ中の被写体領域の情報（画像中の被写体の位置、大きさなど）を用いて画像データの再生条件や表示条件を設定するといった応用が可能である。具体的には、画像中の被写体の位置に枠などの被写体を示す情報の重畳表示や、被写体部分の輝度や色情報に応じて、被写体部分が適切に表示されるように輝度や色合いなどの表示条件を制御することができる。
【００５７】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００５８】
なお、図中の機能ブロックは、ハードウェア、ソフトウェア又はそれらの組み合わせによって実現可能であるが、機能ブロックとそれを実現する構成とは１対１に対応する必要はない。複数の機能ブロックを１つのソフトウェア又はハードウェアモジュールで実現してもよい。
【技術分野】
【０００１】
本発明は、被写体追跡装置及びその制御方法に関する。
【背景技術】
【０００２】
時系列的に逐次供給される画像の１フレームにおいて特定の被写体を検出し、検出した被写体を後続するフレームで追跡する画像処理技術は非常に有用である。例えば動画像中の人体領域（例えば顔領域）を検出、追跡する技術は、電話会議、マン・マシン・インタフェース、セキュリティ、特定の被写体を追跡するためのモニタ・システム、画像圧縮などの多くの分野で使用することができる。この画像処理技術を搭載したデジタルカメラやデジタルビデオカメラでは、電子ビューファインダに表示された画像で指定された被写体が適切に撮影されるよう、露出制御や合焦制御を実行するものが知られている。
【０００３】
例えば、特許文献１では、撮影画像から顔を検出し、顔に焦点を合わせ、かつ顔に最適な露出で撮影する撮影装置を開示している。また、特許文献２は、あるフレームで検出された顔を、後続するフレームで検出する追跡処理を行うことを開示している。
【０００４】
特定の被写体を後続するフレームで追跡する方法としては、特許文献２に開示されるような、テンプレートマッチングの手法を利用する方法が知られている。テンプレートマッチングは、追跡すべき被写体の画像（テンプレート画像又は基準画像）を、動画像のあるフレーム（基準フレームとよぶ）から抽出し、後続するフレームにおいてテンプレート画像と相関度が最も高い領域を探索する技術である。探索された領域を、後続フレームにおけるテンプレート画像の位置と推定することで、テンプレート画像に対応する被写体の追跡が可能である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−３１８５５４号公報
【特許文献２】特開２００１−６０２６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
テンプレートマッチングを用いた被写体追跡方法では、被写体を追跡するためのフレーム画像と、基準画像（テンプレート画像）との相関度に基づいて被写体を追跡する。ここで、フレーム画像内に、基準画像と類似する、しかし追跡すべき被写体とは異なる領域が存在する場合、その領域を被写体と誤検出することがある。この問題は、特に、フレーム画像中で被写体の見えが基準画像と変化している場合に発生しやすい。そこで、時系列的に連続な２つのフレーム画像間においては、被写体の位置が大きく変化しないという仮定を導入し、相関度の高い複数の領域のうち、画像間の移動距離が大きい領域は被写体領域でないとみなすことが考えられる。これにより、被写体の動きが小さい場合には、類似領域を被写体領域と誤検出する可能性を低減することができるであろう。
【０００７】
しかし、被写体の動きが速い場合、時系列的に連続な２つのフレーム画像間における被写体領域の位置変化は大きいため、被写体の動きが速い場合には上述の仮定の導入によりむしろ誤検出の可能性が高くなるおそれがある。
【０００８】
本発明はこのような従来技術の課題に鑑みてなされたものである。本発明は、基準画像と入力画像との相関度に基づく被写体追跡を行う被写体追跡装置及びその制御方法において、被写体と類似した物体が存在する場合や被写体の動きが速い場合の被写体追跡の精度を向上させることを目的とする。
【課題を解決するための手段】
【０００９】
上述の目的は、画像中の特定の被写体を、時系列的に入力される複数の入力画像に亘って追跡する被写体追跡装置であって、登録手段に登録された基準画像と入力画像に設定される複数の参照領域の各々との相関度を求める相関度算出手段と、基準画像の特徴量を抽出する抽出手段と、入力画像が特徴量に一致する度合いを判定する一致度判定手段と、複数の参照領域の各々と、入力画像内の所定の基準位置との距離を算出する距離算出手段と、複数の参照領域の各々について、相関度と、距離と、一致度判定手段が判定した度合いとを用いて評価値を算出する評価値算出手段と、複数の参照領域のうち、評価値が最も大きな参照領域を特定の被写体の領域であると判定する判定手段とを有し、所定の基準位置は、判定手段が直近に判定した特定の被写体の領域の位置であり、評価値算出手段は、評価値を、相関度と距離との関数の値として算出するとともに、評価値に距離が寄与する度合いが、一致度判定手段が判定した度合いが高いほど大きく、一致度判定手段が判定した度合いが低いほど小さくなるように動的に変化させて評価値を算出することを特徴とする被写体追跡装置によって達成される。
【発明の効果】
【００１０】
本発明によれば、基準画像と入力画像との相関度に基づく被写体追跡を行う被写体追跡装置及びその制御方法において、被写体と類似した物体が存在する場合や被写体の動きが速い場合の被写体追跡の精度を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る被写体追跡装置の一例としての撮像装置の機能構成例を示すブロック図。
【図２】本発明の実施形態に係る被写体追跡の処理を示すフローチャート。
【図３】本発明の実施形態に係る被写体追跡の説明図。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して、本発明の例示的な実施形態を詳細に説明する。なお、以下に説明する実施形態の説明は、本発明の理解を助けることを目的としたものであり、本発明の範囲を限定するものではなく、本発明の範囲内で様々な変更が可能である。また、以下の実施形態では、本発明を撮像装置に適用した構成について説明するが、本発明において撮像機能は必須でなく、被写体追跡を行う対象となる画像の供給元はいかなるものであってもよい。従って、本発明は、記録された画像を読み出して再生、表示したり、外部から画像を受信して処理する画像処理装置に対して広く適用可能である。このような画像処理装置には、パーソナルコンピュータや携帯情報端末、携帯電話機、メディアプレーヤなど、様々な機器が含まれる。
【００１３】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る被写体追跡の一例としての撮像装置１００の機能構成例を示すブロック図である。レンズユニット１０１は結像光学系であり、一般にはフォーカス調整用レンズを含む複数のレンズによって構成される。レンズユニット１０１は被写体の光学像を撮像素子１０２の撮像面上に結像する。撮像素子１０２はＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの光電変換素子であり、被写体光学像を画素単位の電気信号に変換する。この電気信号は、撮像素子１０２で撮像された被写体像を示すアナログの映像信号である。撮像素子１０２は、撮像と出力を連続的に繰り返すことにより、所定のフレームレートで時系列的に映像信号を出力することができる。以下の説明において、「画像」とは、１フレームの映像信号と同義である。
【００１４】
撮像素子１０２から出力された画像は、アナログ信号処理部１０３で相関二重サンプリング（ＣＤＳ）等のアナログ信号処理が適用された後、Ａ／Ｄ変換部１０４でデジタルデータの形式に変換され、制御部１０５及び画像処理部１０６に入力される。
【００１５】
制御部１０５は、ＣＰＵ（Central Processing Unit）やマイクロコントローラなどであり、撮像装置１００全体の動作を制御する。具体的には、制御部１０５は、ＲＯＭ（Read Only Memory）に記憶されたプログラムコードをＲＡＭ（Random Access Memory）の作業領域に展開して順次実行することで、撮像装置１００の各部を制御する。なお、制御部１０５を構成するＣＰＵ等は単数であっても複数であってもよく、制御部１０５が実現する機能を複数のＣＰＵで分散して処理してもよい。
【００１６】
画像処理部１０６は、入力されたデジタル形式の画像に対して、ガンマ補正、ホワイトバランス処理などの画像処理（いわゆる現像処理）を適用する。なお、画像処理部１０６は、これらの画像処理に加え、後述する被写体追跡部１１０から供給される、画像中の特定の被写体領域に関する情報を用いた画像処理も実行する。
【００１７】
画像処理部１０６から出力された画像は、例えばＬＣＤや有機ＥＬディスプレイである表示部１０７で表示される。撮像装置１００は、撮像素子１０２で撮像した動画像をリアルタイムに表示部１０７に表示することで、表示部１０７を電子ビューファインダ（ＥＶＦ）として機能させることができる。また、表示部１０７は、電子ビューファインダとして機能している際、後述する被写体追跡部１１０により追跡している被写体領域の位置を示す情報を撮像画像とともに表示することができる。
【００１８】
また、画像処理部１０６から出力された画像は、記録部１０８により、例えば着脱可能なメモリーカードに記録される。なお、画像の記録先は、撮像装置１００の内蔵メモリであっても、通信インターフェイスにより通信可能に接続された外部装置（いずれも図示しない）であってもよい。なお、画像処理部１０６は、表示部１０７に出力する画像と、記録部１０８に出力する画像とを、それぞれ表示と記録に最適化して出力することができる。画像処理部１０６は、画像の、例えば解像度（画素数）や信号形式（ＲＧＢ形式、ＹＣｒＣｂ形式）や、データ形式を、用途に応じて最適化することができる。また、画像処理部１０６は、必要に応じて画像の符号化処理や復号化処理も実行する。
【００１９】
被写体指定部１０９は、例えば表示部１０７に設けられたタッチパネルや、撮像装置１００の筐体に設けられたキーやボタン等の入力インターフェイスである。ユーザは、例えば表示部１０７に表示されている入力画像中から所望の被写体の領域を指定することにより、追跡すべき被写体を指定することができる。タッチパネルやキー、ボタン等を用いて画像中から任意の領域を指定する方法に特に制限はなく、周知の方法を採用できる。また、例えば撮像装置１００が被写体検出機能を有し、検出されている被写体の領域を示す枠などの指標を撮像画像に重畳表示する場合には、所望の被写体の枠を選択することによっても被写体の領域を指定することができる。
【００２０】
被写体追跡部１１０は、画像処理部１０６から出力される画像と、被写体指定部１０９で指定された入力画像中の被写体の画像に基づく基準画像、もしくは更新された基準画像とのテンプレートマッチングにより、画像中の被写体画像位置を検出する。被写体追跡部１１０は、この検出処理を、画像処理部１０６から時系列的に入力される、撮像時刻の異なる複数の画像に対して適用することにより、被写体追跡機能を実現する。
【００２１】
被写体追跡部１１０において、特徴量抽出部１１６および特徴一致度判定部１１７が、基準画像登録部１１１に登録された基準画像の信頼度を算出する。評価値算出部１１５は、距離算出部１１４により算出される距離が評価値に寄与する度合いを、算出された信頼度に応じて動的に変化させる。
【００２２】
基準画像登録部１１１は、画像処理部１０６により供給される画像から時刻の異なる複数の画像の部分画像を基準画像として登録する。登録された基準画像は、相関度算出部１１３によって利用される。基準画像登録部１１１によって登録される基準画像は、被写体追跡の開始時は被写体指定部１０９によって指定される領域に基づき登録され、その後は被写体追跡中に被写体抽出部１１８が抽出した被写体領域によって順次更新される。
【００２３】
参照領域設定部１１２では、画像処理部１０６により時系列的に逐次供給される入力画像の一部を、相関度算出部１１３および距離算出部１１４で用いる参照領域に設定する。参照領域の大きさは、基準画像登録部１１１により登録された基準画像の大きさに対応する。参照領域は、画像処理部１０６により供給される１つの入力画像に対し、位置を水平および垂直方向に画素単位でずらしながら順次設定される。入力画像において参照領域を設定する領域（探索領域）は、画像全体であっても、直前の入力画像において被写体領域と判定された領域の位置を中心とした所定の範囲のような部分領域であっても良い。
【００２４】
相関度算出部１１３では、基準画像登録部１１１によって登録された基準画像と、参照領域設定部１１２によって設定された参照領域の画像との相関度を算出する。上述のように、参照領域設定部１１２は同一の入力画像（の探索領域）内で位置をずらしながら参照領域を順次設定するため、入力画像（の探索領域）中、基準画像と最も相関度の高い領域を推定することができる。相関度は、例えば、参照領域の画像と基準画像の対応する位置の画素値の差分和として求めることができ、差分和の値が小さいほど相関度が高いことを示す。なお、２つの画像の相関度を算出する方法には、さまざまな方法があり、任意の方法を本実施形態に適用可能である。
【００２５】
距離算出部１１４では、参照領域設定部１１２によって設定された参照領域の位置と、入力画像内の所定の基準位置との距離を算出する。所定の基準位置は、被写体追跡を実施した直前の入力画像において、被写体抽出部１１８が抽出した被写体領域の位置とする。あるいは、所定の位置は、被写体追跡による過去の被写体領域の動き情報に基づいて予測した、現在の入力画像における被写体領域の位置であっても良い。ここで、「被写体領域の位置」は任意に設定可能であり、例えば被写体領域の重心位置であっても良いし、被写体領域の１頂点の位置であってもよい。
【００２６】
評価値算出部１１５では、相関度算出部１１３が算出した相関度と、距離算出部１１４が算出した距離に応じて、参照領域ごとに評価値を算出する。なお、評価値算出部１１５は、評価値を算出する際、距離算出部１１４が算出した距離が評価値に寄与する度合いを、後述する特徴一致度判定部１１７が判定する一致度に応じて変化させる。
【００２７】
特徴量抽出部１１６は、基準画像登録部１１１に登録されている基準画像から特徴量を抽出する。特徴量抽出部１１６は、例えば、基準画像の所定領域に含まれる画素の、予め定めた成分の値についてヒストグラムを生成し、頻度が所定の閾値以上となる値を特徴量として抽出する。ヒストグラムを生成する画素の成分としては、例えば相関度算出部１１３によって相関度を算出するための画素の成分と同様とする。画素の成分の具体例としては、色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）のＨＳＶ表現で表されたＨＳＶ画像における色相（Ｈ）などが挙げられる。なお、特徴量の抽出方法は、さまざまな方法があり、本実施形態の処理例はあくまで一例である。
【００２８】
特徴一致度判定部１１７は、画像処理部１０６から供給される入力画像が、特徴量抽出部１１６により抽出された特徴量と一致する度合いを判定する。特徴量と一致する度合いとは、入力画像全体の画素数に対する、特徴量抽出部１１６により抽出された特徴量に一致すると判定される画素数の割合とする。なお、特徴一致度判定の方法は、さまざまな方法があり、本実施形態の処理例はあくまで一例である。
【００２９】
被写体抽出部１１８では、評価値算出部１１５によって算出される評価値が最大となる参照領域を被写体領域と判定し、被写体領域の画像を抽出する。逐次供給される入力画像から被写体領域を判定することにより、目的とする被写体を追跡することができる。抽出した被写体領域の画像は基準画像登録部１１１へ供給され、登録されている基準画像を置き換える。また、判定した被写体領域の情報は制御部１０５に与えられる。
【００３０】
制御部１０５は、撮像装置１００における自動焦点検出（ＡＦ）制御や、自動露出（ＡＥ）制御を行う。具体的には、制御部１０５は、Ａ／Ｄ変換部１０４から出力された画像に基づいて、レンズユニット１０１の焦点制御機構や露出制御機構（いずれも図示しない）を制御する。例えば、焦点制御機構はレンズユニット１０１を光軸方向へ駆動させるアクチュエータなどであり、露出制御機構は絞りやシャッタ（メカニカルシャッタがある場合）を駆動させるアクチュエータなどである。
【００３１】
制御部１０５は、このＡＦ制御やＡＥ制御よる撮像条件の決定において、被写体追跡部１１０から供給される被写体領域の抽出結果を用いることができる。具体的には、制御部１０５は、被写体領域として抽出された領域に合焦するように焦点検出条件を制御してＡＦ制御を行ったり、当該領域の露出が適正になるように露出条件を制御してＡＥ制御することができる。また、制御部１０５は、撮像素子１０２の出力タイミングの制御や、読み出す画素の選択制御など、撮像素子１０２の読み出し制御も行う。
【００３２】
なお、撮像装置１００が例えば顔検出部といった、特定の被写体を検出する機能を実現する構成を有する場合、検出された被写体領域（例えば顔領域）を自動的に基準画像として登録することができる。また、ＡＦ制御やＡＥ制御に利用される、画像中の所定の領域（焦点検出領域や測光領域など）を、初期の被写体領域として基準画像に登録してもよい。これらの場合、撮像装置１００は被写体指定部１０９を有さなくてもよい。
【００３３】
ここで、評価値算出部１１５における評価値の算出方法について説明する。本実施形態において、評価値算出部１１５は、相関度算出部１１３が求める相関度と距離算出部１１４が求める距離の関数値として参照領域ごとの評価値を算出する。
【００３４】
上述の通り、相関度のみに基づいて評価値を求めた場合、真の被写体領域の他に被写体領域（基準画像）と特徴が類似した領域（類似領域）が存在する場合、類似領域を被写体領域と誤検出する可能性がある。特に、基準画像として用いられている被写体領域を抽出した時点と、追跡を行う入力画像を撮影した時点とで被写体の見えが変わっている場合には、真の被写体領域よりも類似領域の方が基準画像との相関度が高くなる場合もある。つまり、類似領域が存在する可能性が高い場合には、相関度算出部１１３が求める相関度の信頼性が低下する。
【００３５】
そのため、本実施形態では、特徴一致度判定部１１７において、類似領域の存在可能性の指標となる一致度を算出し、類似領域が存在する可能性が高いと判定される場合には、評価値に距離が寄与する程度を高める。これにより、直近の被写体領域からの距離が小さい参照領域から被写体領域が決定されやすくなり、被写体の動きが大きくない一般的な状況において、相関度の高い類似領域を誤検出する可能性を低減することができる。一方、類似領域が存在する可能性が小さいと判定される場合には、相関度算出部１１３の算出する相関度の信頼性は高い。そのため、評価値に距離が寄与する程度を低くする。これにより、直近の被写体領域からの距離が大きくても、相関度の高い参照領域が被写体領域として判定されやすくなり、被写体の動きが大きい場合でも、被写体領域を精度良く検出することができる。
【００３６】
このように、本実施形態では、相関度と、直近の被写体領域からの距離の両方を考慮して参照領域の評価値を求めるとともに、類似領域の存在の可能性に応じて、直近の被写体領域からの距離を考慮する度合いを動的に変化させる。そのため、類似領域が存在する場合における誤検出を抑制しながら、大きく動く被写体に対しても追跡を可能とすることができる。
【００３７】
本実施形態において評価値算出部１１５は、相関度算出部１１３が求める相関度と距離算出部１１４が求める距離の関数値として、例えば以下の式（１）によって参照領域ごとの評価値を算出する。
評価値＝１／｛（１／相関度）＋直近の被写体領域からの距離×α｝ （１）
【００３８】
ここで、αは係数であり、一致度が高い（すなわち、類似領域が存在する可能性が高い）場合には大きい値が、一致度が低い（すなわち、類似領域が存在する可能性が低い）場合には小さい値が評価値算出部１１５によって設定される。一致度と係数値との具体的な関係は予め実験的に求めておくことが可能であり、評価値算出部１１５は一致度と係数値とを対応付けたテーブルを有していても良いし、一致度を代入すれば係数値が得られる関係式を有していてもよい。被写体抽出部１１８は、評価値が最も高くなる参照領域を被写体領域として判定する。
【００３９】
基準画像（直近の被写体領域の画像）及び参照領域が大きさが横Ｍ画素×縦Ｎ画素の矩形領域であり、直近の被写体領域Ｉの位置が(x0, y0)、参照領域の位置が(x1, y1)とする。なお、上述の通り、領域の位置は重心位置や頂点の位置など、予め定めておくことができる。また、基準画像と参照領域の画像の相関度を、対応する位置の画素値の差分和の絶対値の大きさとして求めるとすると、評価値ＳＡＤを求める式（１）は以下の式（２）のようになる。
【数１】
【００４０】
式（２）の右辺の第１項が相関度（値が小さい方が相関度が高い）を、第２項が距離（値が小さい方が距離が短い）をそれぞれ表している。ここではＳＡＤが大きい方が評価が高いものとするため、右辺の逆数を求めているが、右辺の括弧内の数式で得られる値が小さいほど評価値が高いとしてもよい。
【００４１】
本実施形態では、特徴量抽出部１１６及び特徴一致度判定部１１７により、類似領域の存在の可能性（あるいは、基準画像の信頼性）を示す値として一致度を求め、一致度に応じて評価値に距離が寄与する度合いを変化させる構成を説明した。しかしながら、これは単なる一例であり、同様の値を求めることができれば、他の任意の構成を用いてもよい。例えば、参照領域ごとに相関度算出部１１３で算出される相関度の平均値と最大値を算出し、相関度の最大値を相関度の平均値により除した値、あるいは差分の絶対値を一致度と同様に用いてもよい。なお、ここでは、相関度が高いほど相関度の値が大きいものとする。入力画像内に、基準画像と類似した領域が多い場合は、相関度の最大値と相関度の平均値の差が小さくなるため、最大値／平均値や｜最大値−平均値｜の値は小さくなる。一方、類似領域が少ない場合には、相関度の最大値と相関度の平均値の差が大きくなるため、最大値／平均値や｜最大値−平均値｜の値は大きくなる。
【００４２】
相関度の最大値及び平均値を用いる場合、類似領域の存在の可能性または基準画像の信頼性を示す値は評価値算出部１１５が算出することができ、特徴量抽出部１１６及び特徴一致度判定部１１７は不要である。
【００４３】
（被写体追跡部１１０の動作）
次に、被写体追跡部１１０の処理の詳細について、図２及び図３を参照して説明する。なお、以下の説明では、検出及び追跡すべき特定の被写体が人物の顔であるものとする。
【００４４】
基準画像登録部１１１は、Ｓ２０１において、撮像素子１０２で逐次撮像された撮像画像を入力画像として読み込む。なお、Ｓ２０１における入力画像の読み込みは、撮像された全てのフレームについて行ってもよいし、間欠的に行ってもよい。
【００４５】
次いで、基準画像登録部１１１はＳ２０２において、被写体指定部１０９から指定された部分領域に基づき、入力画像から初期基準画像（最初に用いられる基準画像）を登録する。図３（ａ）に、被写体指定部１０９からの指定に基づいて登録された基準画像３０１の例を示す。また、被写体追跡開始時は、基準画像３０１が、被写体抽出部１１８の被写体抽出結果となる。
【００４６】
Ｓ２０３で次の入力画像を読み込むと、基準画像登録部１１１は、基準画像を特徴量抽出部１１６へ与える。次いで、Ｓ２０４において、特徴量抽出部１１６では基準画像から特徴量を抽出する。特徴量抽出部１１６は例えば基準画像に含まれる画素の、予め定めた成分の値についてヒストグラムを生成し、頻度が所定の閾値以上となる値を特徴量として抽出する。ヒストグラムを生成する画素の成分としては、例えば相関度算出部１１３によって相関度を算出するための画素の成分と同様とする。画素の成分の具体例としては、色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）のＨＳＶ表現で表されたＨＳＶ画像における色相（Ｈ）などが挙げられる。なお、特徴量の抽出方法は、さまざまな方法があり、本実施形態の処理例はあくまで一例である。図３（ａ）に、基準画像３０１の各画素から生成した色相ヒストグラム３０２の例を示す。特徴量抽出部１１６は、色相ヒストグラム３０２において所定の閾値以上の頻度を示す色相値の範囲を特徴量として抽出する。
【００４７】
Ｓ２０５において、特徴一致度判定部１１７は、入力画像に含まれる画素のうち、特徴量抽出部１１６で抽出した基準画像の特徴量と一致する（色相の値が特徴量の範囲に含まれる）画素を計数し、全画素に対する割合を算出する。例えば特徴一致度判定部１１７は、特徴量と一致する画素を白画素、一致しない画素を黒画素とする２値化画像を入力画像から生成し、全体の画素数に対する白画素数の割合を、入力画像が特徴量と一致する度合いとして算出する。図３（ｂ）に、時刻ｔ＝ｎにおける入力画像３０３と、入力画像３０３を図３（ａ）の色相ヒストグラム３０２から得られた特徴量によって２値化した画像３０４の例を示す。さらに、時刻ｔ＝ｍ（ｍ＞ｎ）における入力画像３０５と、入力画像３０５を図３（ａ）の色相ヒストグラム３０２から得られた特徴量によって２値化した画像３０６の例を示す。
【００４８】
Ｓ２０６において、評価値算出部１１５は、特徴一致度判定部１１７によって算出された一致度合いに応じて、評価値に距離が寄与する度合い（係数αの値））を決定する。上述の通り、図３（ｂ）に示す特徴２値化画像３０４のような特徴一致度合いが低い（特徴画素の割合が少ない）場合には、評価値に距離が寄与する度合いを小さくするため、係数αの値も小さくする。また、特徴２値化画像３０６のようなに一致度合いが大きい場合には、評価値に距離が寄与する度合いを大きくするため、係数αの値も大きくする。
【００４９】
Ｓ２０７において、参照領域設定部１１２は、入力画像に対し、基準画像の大きさに対応する参照領域を設定する。Ｓ２０８において、相関度算出部１１３では、参照領域の画像の各画素と基準画像の各画素から、参照領域の画像と基準画像との相関度を算出する。Ｓ２０９において、距離算出部１１４は、相関度を求めた参照領域の位置と、基準位置との距離を算出する。基準位置は、直近に判定された被写体領域の位置（すなわち、基準画像を抽出した画像における基準画像の位置）とする。
【００５０】
Ｓ２１０で評価値算出部１１５は、相関度算出部１１３が算出した相関度と、距離算出部１１４が算出した距離と、Ｓ２０６で決定した係数αとを用い、式（２）に基づいて評価値を算出する。相関度は式（２）の右辺第１項に、距離は第２項に代入すればよい。Ｓ２１１で評価値算出部１１５は、入力画像の全体もしくは予め定められた探索領域内において、設定すべき参照領域について全て評価値が算出されたか判定する。
【００５１】
設定すべき参照領域がまだ残っている場合は（Ｓ２１１：ＮＯ）、Ｓ２０７において、参照領域設定部１１２は、位置を所定方向に所定画素数ずらした参照領域を新たに設定し、新たな参照領域に対して上述のＳ２０８〜２１０の処理が行われる。
【００５２】
設定すべき参照領域の全てに対して評価値の算出がなされた場合は（Ｓ２１１：ＹＥＳ）、評価値算出部１１５は、評価値が最大となる参照領域の情報を被写体抽出部１１８に出力する。Ｓ２１２において、被写体抽出部１１８は、入力画像のうち、評価値が最大となった参照領域に対応する画像を被写体領域として判定し、抽出する。被写体抽出部は、抽出した画像を基準画像登録部１１１へ出力する。また、判定した被写体領域に関する情報を制御部１０５、画像処理部１０６及び距離算出部１１４へ出力する。
【００５３】
Ｓ２１３において、基準画像登録部１１１は、被写体抽出部１１８によって抽出された被写体領域を基準として基準画像を更新する。更新された基準画像は、次時刻の入力画像の被写体追跡処理（Ｓ２０３〜Ｓ２１２）において利用される。このように、抽出された被写体領域に基づいて基準画像を順次更新していくことで、被写体の向きが変化するなど時系列的に被写体の見えが変化する場合においても、適切に被写体追跡を行うことができる。基準画像が更新されることにより、Ｓ２０４で得られる基準画像内の特徴量も更新される。一方、時系列的な被写体の見えの変化を考慮しない場合などは、基準画像を更新せず、初期に登録された基準画像を維持してもよい。この場合は、基準画像内の特徴量も維持される。
【００５４】
なお、本実施形態では説明及び理解を容易にするため、被写体追跡処理の各処理ステップが直列的に実行されるように説明したが、並行して処理可能な処理ステップは同時に実行してもよいことは言うまでもない。例えば、入力画像に対して特徴一致度を求め、係数αを決定する処理（Ｓ２０４〜Ｓ２０６）と、入力画像に対して参照領域を設定し、相関度及び距離を算出する処理（Ｓ２０７〜２０９）は並列処理してもよい。
【００５５】
以上説明したように、本実施形態によれば、追跡すべき被写体を表す基準画像と、入力画像との相関度とを用いて被写体を追跡する被写体追跡装置において、相関度に加え、直近に判定された被写体領域からの距離を加味した評価値を参照領域ごとに算出する。さらに、入力画像において、基準画像と同様の特徴を有する画素が含まれる割合が多い場合には、評価値に距離が寄与する割合を大きくし、距離が短い参照領域が被写体領域と判定されやすくする。また、入力画像において、基準画像と同様の特徴を有する画素が含まれる割合が少ない場合には、評価値に距離が寄与する割合を小さくし、相関度の高い参照領域が被写体領域と判定されやすくする。そのため、相関度の信頼性が低い場合には誤検出を抑制することができるとともに、相関度の信頼性が高い場合には被写体の動きが大きい場合にも精度良く被写体を検出することができ、安定した被写体追跡が可能となる。
【００５６】
（他の実施形態）
なお、上述の実施形態では、被写体追跡装置の一例としての撮像装置を説明した。しかし、上述の通り、本発明は撮像装置以外にも多様な機器に適用可能である。例えば画像データの再生表示装置に適用した場合、画像データ中の被写体領域の情報（画像中の被写体の位置、大きさなど）を用いて画像データの再生条件や表示条件を設定するといった応用が可能である。具体的には、画像中の被写体の位置に枠などの被写体を示す情報の重畳表示や、被写体部分の輝度や色情報に応じて、被写体部分が適切に表示されるように輝度や色合いなどの表示条件を制御することができる。
【００５７】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００５８】
なお、図中の機能ブロックは、ハードウェア、ソフトウェア又はそれらの組み合わせによって実現可能であるが、機能ブロックとそれを実現する構成とは１対１に対応する必要はない。複数の機能ブロックを１つのソフトウェア又はハードウェアモジュールで実現してもよい。
【特許請求の範囲】
【請求項１】
画像中の特定の被写体を、時系列的に入力される複数の入力画像に亘って追跡する被写体追跡装置であって、
登録手段に登録された基準画像と前記入力画像に設定される複数の参照領域の各々との相関度を求める相関度算出手段と、
前記基準画像の特徴量を抽出する抽出手段と、
前記入力画像が前記特徴量に一致する度合いを判定する一致度判定手段と、
前記複数の参照領域の各々と、前記入力画像内の所定の基準位置との距離を算出する距離算出手段と、
前記複数の参照領域の各々について、前記相関度と、前記距離と、前記一致度判定手段が判定した度合いとを用いて評価値を算出する評価値算出手段と、
前記複数の参照領域のうち、前記評価値が最も大きな参照領域を前記特定の被写体の領域であると判定する判定手段とを有し、
前記所定の基準位置は、前記判定手段が直近に判定した前記特定の被写体の領域の位置であり、
前記評価値算出手段は、前記評価値を、前記相関度と前記距離との関数の値として算出するとともに、前記評価値に前記距離が寄与する度合いが、前記一致度判定手段が判定した度合いが高いほど大きく、前記一致度判定手段が判定した度合いが低いほど小さくなるように動的に変化させて前記評価値を算出することを特徴とする被写体追跡装置。
【請求項２】
前記抽出手段は、前記基準画像に含まれる画素の予め定めた成分の値についてのヒストグラムを生成し、頻度が所定の閾値以上の値を前記特徴量として抽出することを特徴とする請求項１に記載の被写体追跡装置。
【請求項３】
前記一致度判定手段は、前記入力画像に含まれる画素のうち前記特徴量に一致する画素を計数し、前記入力画像全体の画素数に対する前記特徴量に一致する画素数の割合を、前記入力画像が前記特徴量と一致する度合いとして算出することを特徴とする請求項１又は請求項２記載の被写体追跡装置。
【請求項４】
前記入力画像の、前記判定手段が判定した前記特定の被写体の領域に対応する画像により、前記基準画像を更新する更新手段をさらに有することを特徴とする請求項１乃至請求項３のいずれか１項に記載の被写体追跡装置。
【請求項５】
前記入力画像中の領域を指定するための指定手段をさらに有し、
最初に用いられる前記基準画像が、前記指定手段を通じてユーザによって指定された領域の画像であることを特徴とする請求項１乃至請求項４のいずれか１項に記載の被写体追跡装置。
【請求項６】
画像中の特定の被写体を、時系列的に入力される複数の入力画像に亘って追跡する被写体追跡装置の制御方法であって、
相関度算出手段が、登録手段に登録された基準画像と前記入力画像に設定される複数の参照領域の各々との相関度を求める相関度算出工程と、
抽出手段が、前記基準画像の特徴量を抽出する抽出工程と、
一致度判定手段が、前記入力画像が前記特徴量に一致する度合いを判定する一致度判定工程と、
距離算出手段が、前記複数の参照領域の各々と、前記入力画像内の所定の基準位置との距離を算出する距離算出工程と、
評価値算出手段が、前記複数の参照領域の各々について、前記相関度と、前記距離と、前記一致度判定工程で判定された度合いとを用いて評価値を算出する評価値算出工程と、
判定手段が、前記複数の参照領域のうち、前記評価値が最も大きな参照領域を前記特定の被写体の領域であると判定する判定工程とを有し、
前記所定の基準位置は、前記判定工程が直近に判定した前記特定の被写体の領域の位置であり、
前記評価値算出工程は、前記評価値を、前記相関度と前記距離との関数の値として算出するとともに、前記評価値に前記距離が寄与する度合いが、前記一致度判定工程で判定された度合いが高いほど大きく、前記一致度判定工程で判定された度合いが低いほど小さくなるように動的に変化させて前記評価値を算出することを特徴とする被写体追跡装置の制御方法。
【請求項７】
請求項６に記載の被写体追跡装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１】
画像中の特定の被写体を、時系列的に入力される複数の入力画像に亘って追跡する被写体追跡装置であって、
登録手段に登録された基準画像と前記入力画像に設定される複数の参照領域の各々との相関度を求める相関度算出手段と、
前記基準画像の特徴量を抽出する抽出手段と、
前記入力画像が前記特徴量に一致する度合いを判定する一致度判定手段と、
前記複数の参照領域の各々と、前記入力画像内の所定の基準位置との距離を算出する距離算出手段と、
前記複数の参照領域の各々について、前記相関度と、前記距離と、前記一致度判定手段が判定した度合いとを用いて評価値を算出する評価値算出手段と、
前記複数の参照領域のうち、前記評価値が最も大きな参照領域を前記特定の被写体の領域であると判定する判定手段とを有し、
前記所定の基準位置は、前記判定手段が直近に判定した前記特定の被写体の領域の位置であり、
前記評価値算出手段は、前記評価値を、前記相関度と前記距離との関数の値として算出するとともに、前記評価値に前記距離が寄与する度合いが、前記一致度判定手段が判定した度合いが高いほど大きく、前記一致度判定手段が判定した度合いが低いほど小さくなるように動的に変化させて前記評価値を算出することを特徴とする被写体追跡装置。
【請求項２】
前記抽出手段は、前記基準画像に含まれる画素の予め定めた成分の値についてのヒストグラムを生成し、頻度が所定の閾値以上の値を前記特徴量として抽出することを特徴とする請求項１に記載の被写体追跡装置。
【請求項３】
前記一致度判定手段は、前記入力画像に含まれる画素のうち前記特徴量に一致する画素を計数し、前記入力画像全体の画素数に対する前記特徴量に一致する画素数の割合を、前記入力画像が前記特徴量と一致する度合いとして算出することを特徴とする請求項１又は請求項２記載の被写体追跡装置。
【請求項４】
前記入力画像の、前記判定手段が判定した前記特定の被写体の領域に対応する画像により、前記基準画像を更新する更新手段をさらに有することを特徴とする請求項１乃至請求項３のいずれか１項に記載の被写体追跡装置。
【請求項５】
前記入力画像中の領域を指定するための指定手段をさらに有し、
最初に用いられる前記基準画像が、前記指定手段を通じてユーザによって指定された領域の画像であることを特徴とする請求項１乃至請求項４のいずれか１項に記載の被写体追跡装置。
【請求項６】
画像中の特定の被写体を、時系列的に入力される複数の入力画像に亘って追跡する被写体追跡装置の制御方法であって、
相関度算出手段が、登録手段に登録された基準画像と前記入力画像に設定される複数の参照領域の各々との相関度を求める相関度算出工程と、
抽出手段が、前記基準画像の特徴量を抽出する抽出工程と、
一致度判定手段が、前記入力画像が前記特徴量に一致する度合いを判定する一致度判定工程と、
距離算出手段が、前記複数の参照領域の各々と、前記入力画像内の所定の基準位置との距離を算出する距離算出工程と、
評価値算出手段が、前記複数の参照領域の各々について、前記相関度と、前記距離と、前記一致度判定工程で判定された度合いとを用いて評価値を算出する評価値算出工程と、
判定手段が、前記複数の参照領域のうち、前記評価値が最も大きな参照領域を前記特定の被写体の領域であると判定する判定工程とを有し、
前記所定の基準位置は、前記判定工程が直近に判定した前記特定の被写体の領域の位置であり、
前記評価値算出工程は、前記評価値を、前記相関度と前記距離との関数の値として算出するとともに、前記評価値に前記距離が寄与する度合いが、前記一致度判定工程で判定された度合いが高いほど大きく、前記一致度判定工程で判定された度合いが低いほど小さくなるように動的に変化させて前記評価値を算出することを特徴とする被写体追跡装置の制御方法。
【請求項７】
請求項６に記載の被写体追跡装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１１−１３５２２７（Ｐ２０１１−１３５２２７Ａ）
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願番号】特願２００９−２９１４０８（Ｐ２００９−２９１４０８）
【出願日】平成２１年１２月２２日（２００９．１２．２２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願日】平成２１年１２月２２日（２００９．１２．２２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]