撮像装置および被写体追跡方法
【課題】動画像中に含まれる特定の被写体または一部の被写体を検出して追跡する際に、誤った被写体の追跡が発生するのを軽減させることが可能となる撮像装置および被写体追跡方法を提供する。
【解決手段】動画像中に含まれる特定の被写体または一部の被写体を検出し、予め登録された基準画像とのマッチング処理によって抽出された類似性に基づいて、前記被写体を追跡する被写体追跡手段を有する撮像装置であって、
前記被写体追跡手段は、前記基準画像を登録する基準画像登録手段と、前記マッチング処理を行うマッチング処理手段と、前記被写体の追跡を終了させる追跡終了判定手段と、を含み構成され、
前記追跡終了判定手段は、前記マッチング処理に用いられた情報以外の情報により、前記被写体の追跡を終了させる構成を備えている。
【解決手段】動画像中に含まれる特定の被写体または一部の被写体を検出し、予め登録された基準画像とのマッチング処理によって抽出された類似性に基づいて、前記被写体を追跡する被写体追跡手段を有する撮像装置であって、
前記被写体追跡手段は、前記基準画像を登録する基準画像登録手段と、前記マッチング処理を行うマッチング処理手段と、前記被写体の追跡を終了させる追跡終了判定手段と、を含み構成され、
前記追跡終了判定手段は、前記マッチング処理に用いられた情報以外の情報により、前記被写体の追跡を終了させる構成を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および被写体追跡方法に関し、特に画像中に含まれる人物や動物や物体などの特定の被写体または被写体の一部を検出し追跡する撮像装置および被写体追跡方法に関する。
【背景技術】
【０００２】
画像から特定の被写体を自動的に検出し追跡する画像処理方法は、非常に有用であり、例えば動画像における人間の顔領域の特定に利用することができる。
このような方法は、通信会議、マン・マシン・インタフェース、セキュリティ、人間の顔を追跡するためのモニタ・システム、画像圧縮などの多くの分野で使用することができる。
デジタルカメラやデジタルビデオカメラでは、撮影画像から顔を検出し、その検出結果を制御対象として焦点や露出を最適化させている。
例えば、特許文献１では画像中の顔の位置を検出し、顔に焦点を合わせ、顔に最適な露出で撮影する撮影装置について開示されている。
【０００３】
また、このように検出された顔を追跡することにより、時系列的に安定した制御を可能にする装置および方法が知られている。
例えば、特許文献２では、自動で特定の被写体を追跡する装置および方法として、テンプレートマッチングの手法を利用した装置および方法が提案されている。このようなテンプレートマッチングは、追跡対象の画像領域を切り出した部分画像を基準画像として登録し、画像内で基準画像と最も相関度が高い領域を推定し、特定の被写体を追跡する手法である。
図８にテンプレートマッチングを用いた被写体追跡の一例のフローチャートを示す。
また、図９にテンプレートマッチングを用いた被写体追跡の一例の説明図を示す。
ここでは、顔を目的とする被写体として追跡する例を示す。
図９において１１０１はフレームｔ＝０での入力画像、１１０２はフレームｔ＝０の入力画像における被写体検出結果、１１０３はフレームｔ＝０の入力画像において登録される基準画像、１１０４はフレームｔ＝１での入力画像である。
１１０５はフレームｔ＝１の入力画像におけるマッチング結果、１１０６はフレームｔ＝１の入力画像において更新される基準画像、１１０７はフレームｔ＝２での入力画像である。
１１０８はフレームｔ＝２の入力画像におけるマッチング結果、１１０９はフレームｔ＝２の入力画像において更新される基準画像である。
【０００４】
つぎに、これらの図８および図９を用いて、上記した特定の被写体を追跡する手法につい説明する。
まず、ビデオカメラなどの撮像装置により、フレームｔ＝０における入力画像１１０１を読み込む（Ｓ１００１）。
次に、入力画像１１０１から被写体検出処理により、被写体領域を抽出し、１１０２のような被写体検出結果を得る（Ｓ１００２）。
この被写体検出結果から初期の基準画像１１０３を登録する（Ｓ１００３）。続いて、フレームｔ＝１における入力画像１１０４を読み込む（Ｓ１００４）。
入力画像１１０４とフレームｔ＝０の入力画像１１０１において登録された基準画像１１０３とのマッチング処理を行なう（Ｓ１００５）。
所定のマッチングエリアにおいてマッチング処理が完了していなければ（Ｓ１００６でＮＯ）、続けてマッチング処理を行なう（Ｓ１００５）。
完了していれば（Ｓ１００６でＹＥＳ）、相関度が最も高い領域をフレームｔ＝１での被写体領域としてマッチング結果１１０５を得る（Ｓ１００７）。
そして、推定された被写体領域に基づき基準画像１１０６を更新する（Ｓ１００８）。
【０００５】
続いて、フレームｔ＝２における入力画像１１０７を読み込む（Ｓ１００４）。
入力画像１１０７とフレームｔ＝１の入力画像１１０４において更新された基準画像１１０６とのマッチング処理を行なう（Ｓ１００５）。
所定のマッチングエリアにおいてマッチング処理が完了していなければ（Ｓ１００６でＮＯ）、続けてマッチング処理を行なう（Ｓ１００５）。
完了していれば（Ｓ１００６でＹＥＳ）、相関度が最も高い領域をフレームｔ＝２での被写体領域としてマッチング結果１１０８を得る（Ｓ１００７）。
そして、推定された被写体領域に基づき基準画像１１０９を更新する（Ｓ１００８）。
以上のように、連続して入力される画像と前フレームにおけるマッチング結果によって得られる基準画像との相関をとることにより、目的とする被写体を追跡する。
【特許文献１】特開２００５−３１８５５４号公報
【特許文献２】特開２００１−６０２６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記した従来例による特定の被写体を追跡する手法では、現在フレームの画像と基準画像とのパターンの類似性に基づいていることから、つぎのような課題が生じる。
すなわち、上記従来例による被写体の追跡法では、追跡対象が障害物に隠れてしまった場合、変倍動作により追跡対象の大きさが変化してしまった場合、
あるいは、パンニングや手ブレにより画面自体が不安定な場合等において、実際の追跡対象とは異なる領域を類似性から被写体領域として抽出してしまうこととなる。
つまり、被写体追跡において誤った被写体追跡が発生してしまうこととなる。
【０００７】
本発明は、上記課題に鑑み、動画像中に含まれる特定の被写体または一部の被写体を検出して追跡する際に、誤った被写体の追跡が発生するのを軽減させることが可能となる撮像装置および被写体追跡方法の提供を目的とする。
【課題を解決するための手段】
【０００８】
本発明は、つぎのように構成した撮像装置および被写体追跡方法を提供するものである。
本発明の撮像装置は、動画像中に含まれる特定の被写体または一部の被写体を検出し、予め登録された基準画像とのマッチング処理によって抽出された類似性に基づいて、前記被写体を追跡する被写体追跡手段を有する撮像装置であって、
前記被写体追跡手段は、前記基準画像を登録する基準画像登録手段と、前記マッチング処理を行うマッチング処理手段と、前記被写体の追跡を終了させる追跡終了判定手段と、を含み構成され、
前記追跡終了判定手段は、前記マッチング処理に用いられた情報以外の情報により、前記被写体の追跡を終了させる構成を備えていることを特徴とする。
また、本発明の被写体追跡方法は、動画像中に含まれる特定の被写体または一部の被写体を検出し、基準画像とのマッチング処理によって抽出された類似性に基づいて、前記被写体を追跡する被写体追跡方法であって、
前記基準画像として、動画像中のいずれかのフレーム画像における被写体領域を、予め登録する基準画像登録工程と、
前記基準画像とは異なるタイミングで生成されたフレーム画像に対して前記基準画像とのマッチングを行い、前記基準画像と類似する領域を抽出するマッチング工程と、
前記マッチング処理に用いられた情報以外の情報により、前記被写体の追跡を終了させる追跡終了判定工程と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、動画像中に含まれる特定の被写体または一部の被写体を検出して追跡する際に、誤った被写体の追跡が発生するのを軽減させることができる。
【発明を実施するための最良の形態】
【００１０】
本発明を実施するための最良の形態を、以下の実施例により説明する。
【実施例】
【００１１】
以下に、本発明の実施例における動画像中に含まれる特定の被写体または一部の被写体を検出し、予め登録された基準画像とのマッチング処理によって抽出された類似性に基づいて、前記被写体を追跡する撮像装置について、図面を参照しながら詳述する。
図１に、本発明の実施例に係るビデオカメラ等の撮像装置を説明するブロック図を示す。
図１において、１０１は変倍レンズ、１０２はフォーカスレンズ、１０３は撮像素子、１０４はアナログ信号処理部、１０５はＡ／Ｄ変換部、１０６はカメラ信号処理部、１０７は表示部、１０８は記録媒体、１０９はカメラ制御部、１１０は被写体検出部である。
１１１は被写体追跡部、１１２は基準画像登録部、１１３はマッチング処理部、１１４は特徴画素判定部、１１５は終了判定部、１１６は振動ジャイロである。
【００１２】
本実施例の撮像装置において、ズームレンズ１０１によって撮像される被写体像の大きさが変倍され、フォーカスレンズ１０２によって被写体像を表す光線が集光され、ＣＣＤイメージセンサやＣＭＯＳイメージセンサのような撮像素子１０３に入射する。
撮像素子１０３は、入射した光線の強度に応じた電気信号を画素単位で出力する。この電気信号が映像信号である。
撮像素子１０３から出力された映像信号は、アナログ信号処理部１０４において相関二重サンプリング（ＣＤＳ）等のアナログ信号処理が行われる。
アナログ信号処理部１０４から出力された映像信号は、Ａ／Ｄ変換部１０５においてデジタルデータの形式に変換され、カメラ信号処理部１０６に入力する。
カメラ信号処理部１０６においては、ガンマ補正、ホワイトバランス処理や、ＡＦ／ＡＥ評価値生成などのカメラ信号処理が行われる。
ここでＡＦ評価値は、カメラ信号の輝度の高周波成分を抽出し画面内の特定のエリアについて加算するのが一般的である。
また、ＡＥ評価値は、カメラ信号の輝度を画面内の特定のエリアについて加算するのが一般的である。
カメラ信号のカメラ信号処理部１０６は、通常のカメラ信号処理に加え、後述する被写体検出部１１０、被写体追跡部１１１から供給される画像中の特定の被写体領域に関する情報を用いたカメラ信号処理をおこなう機能を有する。
カメラ信号処理部１０６から出力された映像信号は、表示部１０７に送られる。表示部１０７は、例えばＬＣＤや有機ＥＬディスプレイであり、映像信号を表示する。
時系列的に連続撮影した画像を逐次表示部１０７に表示することで、表示部１０７を電子ビューファインダ（ＥＶＦ）として機能させることができる。
また、映像信号は記録媒体１０８、例えば着脱可能なメモリカードに記録される。
記録先はカメラの内蔵メモリであっても、通信可能な接続された外部装置であっても良い。
【００１３】
カメラ信号処理部１０６から出力された映像信号は、被写体検出部１１０にも供給される。
被写体検出部１１０は画像中の目的とする特定の被写体を検出し、被写体の人数と被写体領域を特定するためのものである。
目的とする被写体としては、人物の顔などが代表的である。検出方法は公知の顔検出方法を用いる。
顔検出の公知技術は、顔に関する知識（肌色情報、目・鼻・口などのパーツ）を利用する方法とニューラルネットに代表される学習アルゴリズムにより顔検出のための識別器を構成する方法などがある。
認識率向上のためにこれらを組み合わせて顔認識を行なうのが一般的である。
具体的には特開２００２−２５１３８０号広報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。
被写体追跡部１１１では、カメラ信号処理部１０６から出力される時刻の異なる映像信号から、映像信号のパターンの類似性に基づき特定の被写体を追跡する。
被写体追跡部１１１は、基準画像登録部１１２、マッチング処理部１１３、特徴画素判定部１１４、終了判定部１１５により構成される。
【００１４】
基準画像登録部１１２では、被写体検出部１１０もしくは被写体追跡部１１１の結果に基づき、カメラ信号処理部１０６から出力される映像信号の部分領域を基準画像として登録する。
基準画像登録部１１２では、被写体追跡部１１１の初期動作時には、被写体追跡部１１１の結果が存在しないため被写体検出部１１０の結果に基づく被写体領域を基準画像として登録する。
被写体追跡部１１１の初期動作以降は、被写体追跡部１１１の結果を基準画像に登録することが可能となる。
被写体検出部１１０の結果と被写体追跡部１１１の結果において、より信頼性の高い結果に基づき基準画像を登録することにより、被写体追跡部１１１の精度を向上させることができる。
また、マッチング処理部１１３では、現在フレームにおける映像信号のフレーム画像と基準画像登録部１１２により登録されている基準画像とのマッチング処理を行なう。
マッチング処理により、現在フレームにおける映像信号の画像において基準画像と最も相関度が高い領域を目的とする被写体の領域とし抽出する。
ここで、マッチング処理部１１３は、現在フレームの映像信号と時刻の異なる基準画像が登録されている場合のみ動作するものとする。
また、マッチング処理部１１３は、画像を多数の領域に分割し、基準画像に含まれる領域における輝度値と最も差分の小さくなる領域を、最も相関の高い領域として抽出する。
【００１５】
特徴画素判定部１１４では、マッチング処理部１１３により抽出された領域内において、各画素の有する色情報が目的とする被写体の特徴を示す所定の色モデルに含まれる場合に、特徴画素として判定する。
本実施例では、目的とする被写体を顔としているため、色モデルは肌色モデルとする。所定の色モデルは、固定であっても、抽出された被写体に応じて動的に変化しても構わない。
次の終了判定部１１５は、本発明の特徴とするところで、被写体追跡部の追跡結果の他、撮像装置内の各種情報（ＡＦ評価値、変倍率、ブレ情報）により追跡終了を判断するものである。
カメラ制御部１０９は、カメラ信号処理部１０６から出力されたＡＦ／ＡＥ評価値信号および、後述の振動ジャイロ１１６から出力されたブレ信号に基づいて、フォーカスレンズ１０２や、図示しない露出制御回路、手ブレ補正回路を制御する。
カメラ制御部１０９は、このフォーカスレンズ制御や露出制御に、被写体検出部１１０や被写体追跡部１１１から供給された目的とする被写体領域の抽出結果の情報を用いる。
従って、本実施例の撮像装置は、撮像画像における特定の被写体領域の情報を考慮した撮影処理を行なう機能を有する。
振動ジャイロ１１６は、角速度センサーでそのセンサー出力からカメラ制御部は画像のブレ量を検出している。
本実施例でのブレ検出方法として振動ジャイロ等の角速度センサーを用いているが、センサーを用いない画像検出による動きベクトル検出でも構わない。
【００１６】
図２に、本実施例に係る被写体追跡方法について説明するフローチャートを示す。
また、図３に本実施例に係る被写体追跡方法についての説明図を示す。
以下の説明では、人物の顔を被写体として追跡する例について説明する。
図２において、Ｓ２０２はマッチング処理部１１３、Ｓ２０３は特徴画素判定部１１４、Ｓ２０４は基準画像登録部１１２による処理である。
また、図３において、３０１は基準画像登録部１１２により登録された基準画像、３０２は被写体追跡部１１１の入力画像を示す。
また、３０３はマッチング処理部１１３による被写体抽出結果、３０４は特徴画素判定部１１４による特徴画素の判定結果、３０６は基準画像登録部１１２により登録された基準画像を示す。
まず、ビデオカメラなどの撮像装置により、３０２のような撮像画像を入力画像として読み込む（Ｓ２０１）。
次に、入力画像とあらかじめ登録されている３０１のような基準画像とのマッチング処理を行なう（Ｓ２０２）。
このようなマッチング処理手は、例えば、基準画像とは異なるタイミングで生成されたフレーム画像に対して該基準画像とのマッチングを行い、この基準画像と類似する領域を抽出する。
マッチング処理では、入力画像における基準画像と同じサイズの部分領域の各画素の輝度と基準画像の各画素の輝度値との差分和を算出する。
その際、従来例のテンプレートマッチングを用いた被写体追跡の一例のフローチャーで示したように、
入力画像における基準画像と同じサイズの部分領域の位置を変化させ、算出される差分和が最小となる部分領域の位置が相関度の最も高い領域とする処理を行なうとする（図８のＳ１００５からＳ１００７参照）。
なお、２つの画像のマッチング方法は、さまざまな方式が考えられるので、本実施例の処理例は、ほんの一例であり、本発明が、このマッチング処理の方式にとらわれるものではない。
【００１７】
ここで、マッチング処理では、基準画像と入力画像との類似性に基づくため、必ずしも正しい被写体領域をマッチング処理結果とするとは限らない。
３０３に示すマッチング処理結果のように、正しい被写体領域とは一部ずれた領域を結果として抽出している。
これは３０１に示すように基準画像内に被写体領域とは異なる領域が含まれていること、３０１に示す基準画像と３０２に示す入力画像とにおいて被写体の見えに変化があることに起因する。
３０１の基準画像内の被写体領域とは異なる領域と３０２に示す入力画像の部分領域との相関度が高いため、３０３のようなマッチング処理結果が得られる。
次に、マッチング処理により得られた領域において、目的とする被写体の特徴を示す特徴画素を判定する（Ｓ２０３）。
【００１８】
つぎに、この特徴画素の判定処理の詳細について説明する。
図４に、特徴画素の判定処理について説明するフローチャートを示す。
まず、マッチング処理により得られた領域における所定位置の画素の有する色情報を取得する（Ｓ４０１）。
次に、取得された色情報が、所定条件を満たす色モデルに含まれる情報かを判定する（Ｓ４０２）。
次に、色情報が、所定の色モデルに含まれる情報であった場合（Ｓ４０２でＹＥＳ）、その画素は特徴画素として判定される（Ｓ４０３）。
画色情報が、所定の色モデルに含まれる情報でなかった場合（Ｓ４０２でＮＯ）、その画素は特徴画素として判定されない。
次に、マッチング処理により得られた領域における全ての画素に関して、処理をおこなったかを判定する（Ｓ４０４）。
全ての画素に関して、処理をおこなっていない場合（Ｓ４０４でＮＯ）、処理を行なっていない画素の色情報を取得する（Ｓ４０１）。全ての画素に関して、処理をおこなった場合（Ｓ４０４でＹＥＳ）、終了する。
【００１９】
特徴画素の判定により、３０４のような特徴画素判定結果が得られる。３０４では、特徴画素を白で特徴画素以外の画素を黒で塗りつぶしている。
ここで、所定の色モデルとは、目的とする被写体の特徴を示す色モデルであり、目的とする被写体が人物の顔である場合、肌色モデルとする。
図５に、色モデルの例を示す。
画素から取得される色情報はＹＣｂＣｒデータの色差ＣｂＣｒとし、図５の縦軸はＣｂ、横軸はＣｒとする。
図５の斜線部分が肌色モデルであり、取得されるＣｂＣｒ成分が斜線部分内に含まれるか否かを判定する。
図５のような、色モデルはあらかじめ設定されているものとする。
なお、取得される色情報や色モデルの形式は、さまざまな形式が考えられるので、本実施例の例は、ほんの一例であり、本発明が、この形式にとらわれるものではない。
例えば、取得される色情報の形式は、ＲＧＢデータであっても、ＨＳＶ表色系のデータに変換した色相Ｈのデータとしても良い。
また、色モデルと画素の色情報に基づく特徴画素の判定法に関しても、さまざまな方法が考えられるので、本実施例の例は、ほんの一例であり、本発明が、この方法にとらわれるものではない。
また、特徴画素の判定を実施する領域は、マッチング処理結果により抽出される領域と同じであっても、抽出された領域の重心を中心とした所定の領域であっても、本発明を適用可能である。
【００２０】
次に、マッチング処理に基づき抽出された領域を３０６に示すように基準画像として登録する（Ｓ２０４）。
例えば、マッチング手段の抽出結果を用いて、前記被写体が存在すると推定される領域を選択すると共に、この選択された領域を新たな基準画像として登録する。
このような基準画像３０６は次フレームのマッチング処理において利用される。
基準画像を順次更新していくことにより、被写体の向きが変化するなど時系列的に被写体の見えが変化する場合においても、被写体追跡処理を行なうことができる。
また、被写体検出部１１０および被写体追跡部１１１が共に動作する場合は、信頼性のより高い結果に基づき基準画像を登録しても良い。
一方、時系列的な被写体の見えの変化を考慮しない場合などは、基準画像を更新せず、初期に登録された基準画像を維持しても本発明を適用可能である。
なお、３０６の基準画像の形状を矩形で示したが、基準画像の形状は、さまざまな形状が考えられるので、本実施例の例は、ほんの一例であり、本発明が、この形状にとらわれるものではない。
例えば、基準画像の形状が、円形であっても多角形であっても本発明を適用可能である。
【００２１】
次に、各種情報により追跡終了判定を行う（Ｓ２０５）。
図６に、各種情報による追跡終了判定処理について説明するフローチャート示す。
また、図７に本発明の実施例に係る追跡終了（追跡動作の中止）に適応されるシーンの一例を示す。
まず、特徴画素判定部１１４により得られる特徴画素の数が所定値ｔｈ１よりも少ない（下回った）場合（Ｓ６０１でＹＥＳ）、被写体追跡を終了する（Ｓ６０９）。
図７（ａ）のように、被写体追跡部１１１の追跡対象が障害物に隠れた場合などは、マッチング処理結果による抽出された領域中の特徴画素の数は少なくなり、被写体追跡部１１１は終了される。
次に、追跡している被写体の大きさに応じて、後で用いる前回から今回までの追跡移動量の閾値ｔｈ２を設定する（Ｓ６０２）。
図７（ｂ）のように、追跡被写体の前回から今回までの画面内における移動量が、所定値ｔｈ２より大きいか判定し所定量ｔｈ２より大きい場合（Ｓ６０３でＹＥＳ）は、被写体追跡を中断し、基準画像をリセットする（Ｓ６０９）。
この際、所定量ｔｈ２は被写体検出部１１０で検出された被写体の大きさにより被写体が大きい場合は大きく、小さい場合は小さくする。
これは被写体の動きは被写体の大きさによって決まった量以下と考えられるためで、小さな被写体が大きな移動量となる場合は誤追跡を行っている可能性が高いためである。
次に、追跡している被写体の大きさに応じて、後で用いる追跡移動量の閾値ｔｈ３を設定する（Ｓ６０４）。
図７（ｃ）のように追跡被写体の追跡開始から今回までの連続して追跡に成功した被写体の画面内における移動量が、所定値ｔｈ３より大きいか判定し所定値ｔｈ３より大きい場合（Ｓ６０５でＹＥＳ）は、被写体追跡を終了し、基準画像をリセットする（Ｓ６０９）。
この際、所定値ｔｈ３は被写体検出部１１０で検出された被写体の大きさにより変更し、被写体が大きい場合は大きく、小さい場合は小さくする。
これは被写体の動きが被写体の大きさによって決まった量以下と考えられるためで、小さな被写体が大きな移動量となる場合は誤追跡を行っている可能性がより高いためである。
これらは、マッチングにより抽出された類似する領域との距離が所定量を超えたときに、前記被写体の追跡動作を中止する場合の一例である。
【００２２】
次に、図７（ｄ）のように追跡被写体のエリアから抽出されたＡＦ評価値が所定値ｔｈ４より小さいか判定し、所定量ｔｈ４より小さい場合（Ｓ６０６でＹＥＳ）は、被写体追跡を終了し、基準画像をリセットする（Ｓ６０９）。
これは被写体を追跡しているのだからある程度のＡＦ評価値が得られるはずで、そのレベルが小さい場合は誤追尾を行っている可能性が高いためである。
これらの手段として、前記追跡終了判定手段により選択された領域の画像信号の高周波成分を抽出し、該領域における焦点評価値を生成する焦点評価値生成手段を構成する。
そして、前記追跡終了判定手段は、前記焦点評価値が所定量より小さくなったときに、前記被写体の追跡動作を中止する。
次に、図７（ｅ）のように変倍レンズによる変倍量が所定量ｔｈ５変化しているか判定し所定量ｔｈ５変化している場合（Ｓ６０７でＹＥＳ）は、被写体追跡を終了し、基準画像をリセットする（Ｓ６０９）。
これは比較する２つの画像の変倍率が違えばマッチングを取っても意味がなく、誤追跡を行ってしまう可能性が高いためである。
次に、図７（ｆ）のように、手ブレ検出手段により検出された手ブレが所定量ｔｈ６を超えている場合（Ｓ６０８でＹＥＳ）は、被写体追跡を終了し、基準画像をリセットする（Ｓ６０９）。
これは手ブレにより比較する２つの画像が違えばマッチングを取っても意味がなく、誤追跡を行ってしまう可能性が高いためである。
これらにより、目的とする被写体領域とは異なる領域を誤って追跡する可能性を軽減することが可能となる。
【００２３】
以上の実施例の構成によれば、被写体追跡処理では、追跡に用いる輝度マッチング情報以外に、追跡状況や、撮像装置の各種情報により追跡終了判定処理を行いて追跡を終了させることができる。
これにより、被写体追跡処理の精度を向上させ、目的とする被写体領域とは異なる領域を誤って追跡する可能性を軽減することが可能となる。
また、上記実施例はビデオカメラを例に挙げて説明を行ったが、動画機能を備えたデジタルスチルカメラに適用できることは言うまでもない。
また、パーソナルコンピュータなどの汎用コンピュータ上で動作するアプリケーションにおいても、上記実施例と同様の処理を行なって被写体の追跡を行うことも可能である。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施例に係る撮像装置のブロック図。
【図２】本発明の実施例に係る被写体追跡方法について説明するフローチャート。
【図３】本発明の実施例に係る被写体追跡方法についての説明図。
【図４】本発明の実施例に係る特徴画素の判定処理について説明するフローチャート。
【図５】本発明の実施例に係る色モデルの一例。
【図６】本発明の実施例に係る追跡終了判定処理について説明するフローチャート。
【図７】本発明の実施例に係る追跡終了に適応されるシーンの一例。
【図８】従来例におけるテンプレートマッチングによる被写体追跡について説明するフローチャート。
【図９】従来例におけるテンプレートマッチングによる被写体追跡についての説明図。
【符号の説明】
【００２５】
１０１：変倍レンズ（ズームレンズ）
１０２：フォーカスレンズ
１０３：撮像素子
１０４：アナログ信号処理部
１０５：Ａ／Ｄ変換部
１０６：カメラ信号処理部
１０７：表示部
１０８：記録媒体
１０９：カメラ制御部
１１０：被写体検出部
１１１：被写体追跡部
１１２：基準画像登録部
１１３：マッチング処理部
１１４：特徴画素判定部
１１５：終了判定部
１１６：振動ジャイロ
３０１：基準画像登録部１１２により登録されている基準画像
３０２：入力画像
３０３：マッチング処理部１１３による被写体抽出結果
３０４：特徴画素判定部１１４による特徴画素の判定結果
３０６：基準画像登録部１１２により登録されている基準画像
５０１：特徴画素判定部１１４における肌色モデルの一例
【技術分野】
【０００１】
本発明は、撮像装置および被写体追跡方法に関し、特に画像中に含まれる人物や動物や物体などの特定の被写体または被写体の一部を検出し追跡する撮像装置および被写体追跡方法に関する。
【背景技術】
【０００２】
画像から特定の被写体を自動的に検出し追跡する画像処理方法は、非常に有用であり、例えば動画像における人間の顔領域の特定に利用することができる。
このような方法は、通信会議、マン・マシン・インタフェース、セキュリティ、人間の顔を追跡するためのモニタ・システム、画像圧縮などの多くの分野で使用することができる。
デジタルカメラやデジタルビデオカメラでは、撮影画像から顔を検出し、その検出結果を制御対象として焦点や露出を最適化させている。
例えば、特許文献１では画像中の顔の位置を検出し、顔に焦点を合わせ、顔に最適な露出で撮影する撮影装置について開示されている。
【０００３】
また、このように検出された顔を追跡することにより、時系列的に安定した制御を可能にする装置および方法が知られている。
例えば、特許文献２では、自動で特定の被写体を追跡する装置および方法として、テンプレートマッチングの手法を利用した装置および方法が提案されている。このようなテンプレートマッチングは、追跡対象の画像領域を切り出した部分画像を基準画像として登録し、画像内で基準画像と最も相関度が高い領域を推定し、特定の被写体を追跡する手法である。
図８にテンプレートマッチングを用いた被写体追跡の一例のフローチャートを示す。
また、図９にテンプレートマッチングを用いた被写体追跡の一例の説明図を示す。
ここでは、顔を目的とする被写体として追跡する例を示す。
図９において１１０１はフレームｔ＝０での入力画像、１１０２はフレームｔ＝０の入力画像における被写体検出結果、１１０３はフレームｔ＝０の入力画像において登録される基準画像、１１０４はフレームｔ＝１での入力画像である。
１１０５はフレームｔ＝１の入力画像におけるマッチング結果、１１０６はフレームｔ＝１の入力画像において更新される基準画像、１１０７はフレームｔ＝２での入力画像である。
１１０８はフレームｔ＝２の入力画像におけるマッチング結果、１１０９はフレームｔ＝２の入力画像において更新される基準画像である。
【０００４】
つぎに、これらの図８および図９を用いて、上記した特定の被写体を追跡する手法につい説明する。
まず、ビデオカメラなどの撮像装置により、フレームｔ＝０における入力画像１１０１を読み込む（Ｓ１００１）。
次に、入力画像１１０１から被写体検出処理により、被写体領域を抽出し、１１０２のような被写体検出結果を得る（Ｓ１００２）。
この被写体検出結果から初期の基準画像１１０３を登録する（Ｓ１００３）。続いて、フレームｔ＝１における入力画像１１０４を読み込む（Ｓ１００４）。
入力画像１１０４とフレームｔ＝０の入力画像１１０１において登録された基準画像１１０３とのマッチング処理を行なう（Ｓ１００５）。
所定のマッチングエリアにおいてマッチング処理が完了していなければ（Ｓ１００６でＮＯ）、続けてマッチング処理を行なう（Ｓ１００５）。
完了していれば（Ｓ１００６でＹＥＳ）、相関度が最も高い領域をフレームｔ＝１での被写体領域としてマッチング結果１１０５を得る（Ｓ１００７）。
そして、推定された被写体領域に基づき基準画像１１０６を更新する（Ｓ１００８）。
【０００５】
続いて、フレームｔ＝２における入力画像１１０７を読み込む（Ｓ１００４）。
入力画像１１０７とフレームｔ＝１の入力画像１１０４において更新された基準画像１１０６とのマッチング処理を行なう（Ｓ１００５）。
所定のマッチングエリアにおいてマッチング処理が完了していなければ（Ｓ１００６でＮＯ）、続けてマッチング処理を行なう（Ｓ１００５）。
完了していれば（Ｓ１００６でＹＥＳ）、相関度が最も高い領域をフレームｔ＝２での被写体領域としてマッチング結果１１０８を得る（Ｓ１００７）。
そして、推定された被写体領域に基づき基準画像１１０９を更新する（Ｓ１００８）。
以上のように、連続して入力される画像と前フレームにおけるマッチング結果によって得られる基準画像との相関をとることにより、目的とする被写体を追跡する。
【特許文献１】特開２００５−３１８５５４号公報
【特許文献２】特開２００１−６０２６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記した従来例による特定の被写体を追跡する手法では、現在フレームの画像と基準画像とのパターンの類似性に基づいていることから、つぎのような課題が生じる。
すなわち、上記従来例による被写体の追跡法では、追跡対象が障害物に隠れてしまった場合、変倍動作により追跡対象の大きさが変化してしまった場合、
あるいは、パンニングや手ブレにより画面自体が不安定な場合等において、実際の追跡対象とは異なる領域を類似性から被写体領域として抽出してしまうこととなる。
つまり、被写体追跡において誤った被写体追跡が発生してしまうこととなる。
【０００７】
本発明は、上記課題に鑑み、動画像中に含まれる特定の被写体または一部の被写体を検出して追跡する際に、誤った被写体の追跡が発生するのを軽減させることが可能となる撮像装置および被写体追跡方法の提供を目的とする。
【課題を解決するための手段】
【０００８】
本発明は、つぎのように構成した撮像装置および被写体追跡方法を提供するものである。
本発明の撮像装置は、動画像中に含まれる特定の被写体または一部の被写体を検出し、予め登録された基準画像とのマッチング処理によって抽出された類似性に基づいて、前記被写体を追跡する被写体追跡手段を有する撮像装置であって、
前記被写体追跡手段は、前記基準画像を登録する基準画像登録手段と、前記マッチング処理を行うマッチング処理手段と、前記被写体の追跡を終了させる追跡終了判定手段と、を含み構成され、
前記追跡終了判定手段は、前記マッチング処理に用いられた情報以外の情報により、前記被写体の追跡を終了させる構成を備えていることを特徴とする。
また、本発明の被写体追跡方法は、動画像中に含まれる特定の被写体または一部の被写体を検出し、基準画像とのマッチング処理によって抽出された類似性に基づいて、前記被写体を追跡する被写体追跡方法であって、
前記基準画像として、動画像中のいずれかのフレーム画像における被写体領域を、予め登録する基準画像登録工程と、
前記基準画像とは異なるタイミングで生成されたフレーム画像に対して前記基準画像とのマッチングを行い、前記基準画像と類似する領域を抽出するマッチング工程と、
前記マッチング処理に用いられた情報以外の情報により、前記被写体の追跡を終了させる追跡終了判定工程と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、動画像中に含まれる特定の被写体または一部の被写体を検出して追跡する際に、誤った被写体の追跡が発生するのを軽減させることができる。
【発明を実施するための最良の形態】
【００１０】
本発明を実施するための最良の形態を、以下の実施例により説明する。
【実施例】
【００１１】
以下に、本発明の実施例における動画像中に含まれる特定の被写体または一部の被写体を検出し、予め登録された基準画像とのマッチング処理によって抽出された類似性に基づいて、前記被写体を追跡する撮像装置について、図面を参照しながら詳述する。
図１に、本発明の実施例に係るビデオカメラ等の撮像装置を説明するブロック図を示す。
図１において、１０１は変倍レンズ、１０２はフォーカスレンズ、１０３は撮像素子、１０４はアナログ信号処理部、１０５はＡ／Ｄ変換部、１０６はカメラ信号処理部、１０７は表示部、１０８は記録媒体、１０９はカメラ制御部、１１０は被写体検出部である。
１１１は被写体追跡部、１１２は基準画像登録部、１１３はマッチング処理部、１１４は特徴画素判定部、１１５は終了判定部、１１６は振動ジャイロである。
【００１２】
本実施例の撮像装置において、ズームレンズ１０１によって撮像される被写体像の大きさが変倍され、フォーカスレンズ１０２によって被写体像を表す光線が集光され、ＣＣＤイメージセンサやＣＭＯＳイメージセンサのような撮像素子１０３に入射する。
撮像素子１０３は、入射した光線の強度に応じた電気信号を画素単位で出力する。この電気信号が映像信号である。
撮像素子１０３から出力された映像信号は、アナログ信号処理部１０４において相関二重サンプリング（ＣＤＳ）等のアナログ信号処理が行われる。
アナログ信号処理部１０４から出力された映像信号は、Ａ／Ｄ変換部１０５においてデジタルデータの形式に変換され、カメラ信号処理部１０６に入力する。
カメラ信号処理部１０６においては、ガンマ補正、ホワイトバランス処理や、ＡＦ／ＡＥ評価値生成などのカメラ信号処理が行われる。
ここでＡＦ評価値は、カメラ信号の輝度の高周波成分を抽出し画面内の特定のエリアについて加算するのが一般的である。
また、ＡＥ評価値は、カメラ信号の輝度を画面内の特定のエリアについて加算するのが一般的である。
カメラ信号のカメラ信号処理部１０６は、通常のカメラ信号処理に加え、後述する被写体検出部１１０、被写体追跡部１１１から供給される画像中の特定の被写体領域に関する情報を用いたカメラ信号処理をおこなう機能を有する。
カメラ信号処理部１０６から出力された映像信号は、表示部１０７に送られる。表示部１０７は、例えばＬＣＤや有機ＥＬディスプレイであり、映像信号を表示する。
時系列的に連続撮影した画像を逐次表示部１０７に表示することで、表示部１０７を電子ビューファインダ（ＥＶＦ）として機能させることができる。
また、映像信号は記録媒体１０８、例えば着脱可能なメモリカードに記録される。
記録先はカメラの内蔵メモリであっても、通信可能な接続された外部装置であっても良い。
【００１３】
カメラ信号処理部１０６から出力された映像信号は、被写体検出部１１０にも供給される。
被写体検出部１１０は画像中の目的とする特定の被写体を検出し、被写体の人数と被写体領域を特定するためのものである。
目的とする被写体としては、人物の顔などが代表的である。検出方法は公知の顔検出方法を用いる。
顔検出の公知技術は、顔に関する知識（肌色情報、目・鼻・口などのパーツ）を利用する方法とニューラルネットに代表される学習アルゴリズムにより顔検出のための識別器を構成する方法などがある。
認識率向上のためにこれらを組み合わせて顔認識を行なうのが一般的である。
具体的には特開２００２−２５１３８０号広報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。
被写体追跡部１１１では、カメラ信号処理部１０６から出力される時刻の異なる映像信号から、映像信号のパターンの類似性に基づき特定の被写体を追跡する。
被写体追跡部１１１は、基準画像登録部１１２、マッチング処理部１１３、特徴画素判定部１１４、終了判定部１１５により構成される。
【００１４】
基準画像登録部１１２では、被写体検出部１１０もしくは被写体追跡部１１１の結果に基づき、カメラ信号処理部１０６から出力される映像信号の部分領域を基準画像として登録する。
基準画像登録部１１２では、被写体追跡部１１１の初期動作時には、被写体追跡部１１１の結果が存在しないため被写体検出部１１０の結果に基づく被写体領域を基準画像として登録する。
被写体追跡部１１１の初期動作以降は、被写体追跡部１１１の結果を基準画像に登録することが可能となる。
被写体検出部１１０の結果と被写体追跡部１１１の結果において、より信頼性の高い結果に基づき基準画像を登録することにより、被写体追跡部１１１の精度を向上させることができる。
また、マッチング処理部１１３では、現在フレームにおける映像信号のフレーム画像と基準画像登録部１１２により登録されている基準画像とのマッチング処理を行なう。
マッチング処理により、現在フレームにおける映像信号の画像において基準画像と最も相関度が高い領域を目的とする被写体の領域とし抽出する。
ここで、マッチング処理部１１３は、現在フレームの映像信号と時刻の異なる基準画像が登録されている場合のみ動作するものとする。
また、マッチング処理部１１３は、画像を多数の領域に分割し、基準画像に含まれる領域における輝度値と最も差分の小さくなる領域を、最も相関の高い領域として抽出する。
【００１５】
特徴画素判定部１１４では、マッチング処理部１１３により抽出された領域内において、各画素の有する色情報が目的とする被写体の特徴を示す所定の色モデルに含まれる場合に、特徴画素として判定する。
本実施例では、目的とする被写体を顔としているため、色モデルは肌色モデルとする。所定の色モデルは、固定であっても、抽出された被写体に応じて動的に変化しても構わない。
次の終了判定部１１５は、本発明の特徴とするところで、被写体追跡部の追跡結果の他、撮像装置内の各種情報（ＡＦ評価値、変倍率、ブレ情報）により追跡終了を判断するものである。
カメラ制御部１０９は、カメラ信号処理部１０６から出力されたＡＦ／ＡＥ評価値信号および、後述の振動ジャイロ１１６から出力されたブレ信号に基づいて、フォーカスレンズ１０２や、図示しない露出制御回路、手ブレ補正回路を制御する。
カメラ制御部１０９は、このフォーカスレンズ制御や露出制御に、被写体検出部１１０や被写体追跡部１１１から供給された目的とする被写体領域の抽出結果の情報を用いる。
従って、本実施例の撮像装置は、撮像画像における特定の被写体領域の情報を考慮した撮影処理を行なう機能を有する。
振動ジャイロ１１６は、角速度センサーでそのセンサー出力からカメラ制御部は画像のブレ量を検出している。
本実施例でのブレ検出方法として振動ジャイロ等の角速度センサーを用いているが、センサーを用いない画像検出による動きベクトル検出でも構わない。
【００１６】
図２に、本実施例に係る被写体追跡方法について説明するフローチャートを示す。
また、図３に本実施例に係る被写体追跡方法についての説明図を示す。
以下の説明では、人物の顔を被写体として追跡する例について説明する。
図２において、Ｓ２０２はマッチング処理部１１３、Ｓ２０３は特徴画素判定部１１４、Ｓ２０４は基準画像登録部１１２による処理である。
また、図３において、３０１は基準画像登録部１１２により登録された基準画像、３０２は被写体追跡部１１１の入力画像を示す。
また、３０３はマッチング処理部１１３による被写体抽出結果、３０４は特徴画素判定部１１４による特徴画素の判定結果、３０６は基準画像登録部１１２により登録された基準画像を示す。
まず、ビデオカメラなどの撮像装置により、３０２のような撮像画像を入力画像として読み込む（Ｓ２０１）。
次に、入力画像とあらかじめ登録されている３０１のような基準画像とのマッチング処理を行なう（Ｓ２０２）。
このようなマッチング処理手は、例えば、基準画像とは異なるタイミングで生成されたフレーム画像に対して該基準画像とのマッチングを行い、この基準画像と類似する領域を抽出する。
マッチング処理では、入力画像における基準画像と同じサイズの部分領域の各画素の輝度と基準画像の各画素の輝度値との差分和を算出する。
その際、従来例のテンプレートマッチングを用いた被写体追跡の一例のフローチャーで示したように、
入力画像における基準画像と同じサイズの部分領域の位置を変化させ、算出される差分和が最小となる部分領域の位置が相関度の最も高い領域とする処理を行なうとする（図８のＳ１００５からＳ１００７参照）。
なお、２つの画像のマッチング方法は、さまざまな方式が考えられるので、本実施例の処理例は、ほんの一例であり、本発明が、このマッチング処理の方式にとらわれるものではない。
【００１７】
ここで、マッチング処理では、基準画像と入力画像との類似性に基づくため、必ずしも正しい被写体領域をマッチング処理結果とするとは限らない。
３０３に示すマッチング処理結果のように、正しい被写体領域とは一部ずれた領域を結果として抽出している。
これは３０１に示すように基準画像内に被写体領域とは異なる領域が含まれていること、３０１に示す基準画像と３０２に示す入力画像とにおいて被写体の見えに変化があることに起因する。
３０１の基準画像内の被写体領域とは異なる領域と３０２に示す入力画像の部分領域との相関度が高いため、３０３のようなマッチング処理結果が得られる。
次に、マッチング処理により得られた領域において、目的とする被写体の特徴を示す特徴画素を判定する（Ｓ２０３）。
【００１８】
つぎに、この特徴画素の判定処理の詳細について説明する。
図４に、特徴画素の判定処理について説明するフローチャートを示す。
まず、マッチング処理により得られた領域における所定位置の画素の有する色情報を取得する（Ｓ４０１）。
次に、取得された色情報が、所定条件を満たす色モデルに含まれる情報かを判定する（Ｓ４０２）。
次に、色情報が、所定の色モデルに含まれる情報であった場合（Ｓ４０２でＹＥＳ）、その画素は特徴画素として判定される（Ｓ４０３）。
画色情報が、所定の色モデルに含まれる情報でなかった場合（Ｓ４０２でＮＯ）、その画素は特徴画素として判定されない。
次に、マッチング処理により得られた領域における全ての画素に関して、処理をおこなったかを判定する（Ｓ４０４）。
全ての画素に関して、処理をおこなっていない場合（Ｓ４０４でＮＯ）、処理を行なっていない画素の色情報を取得する（Ｓ４０１）。全ての画素に関して、処理をおこなった場合（Ｓ４０４でＹＥＳ）、終了する。
【００１９】
特徴画素の判定により、３０４のような特徴画素判定結果が得られる。３０４では、特徴画素を白で特徴画素以外の画素を黒で塗りつぶしている。
ここで、所定の色モデルとは、目的とする被写体の特徴を示す色モデルであり、目的とする被写体が人物の顔である場合、肌色モデルとする。
図５に、色モデルの例を示す。
画素から取得される色情報はＹＣｂＣｒデータの色差ＣｂＣｒとし、図５の縦軸はＣｂ、横軸はＣｒとする。
図５の斜線部分が肌色モデルであり、取得されるＣｂＣｒ成分が斜線部分内に含まれるか否かを判定する。
図５のような、色モデルはあらかじめ設定されているものとする。
なお、取得される色情報や色モデルの形式は、さまざまな形式が考えられるので、本実施例の例は、ほんの一例であり、本発明が、この形式にとらわれるものではない。
例えば、取得される色情報の形式は、ＲＧＢデータであっても、ＨＳＶ表色系のデータに変換した色相Ｈのデータとしても良い。
また、色モデルと画素の色情報に基づく特徴画素の判定法に関しても、さまざまな方法が考えられるので、本実施例の例は、ほんの一例であり、本発明が、この方法にとらわれるものではない。
また、特徴画素の判定を実施する領域は、マッチング処理結果により抽出される領域と同じであっても、抽出された領域の重心を中心とした所定の領域であっても、本発明を適用可能である。
【００２０】
次に、マッチング処理に基づき抽出された領域を３０６に示すように基準画像として登録する（Ｓ２０４）。
例えば、マッチング手段の抽出結果を用いて、前記被写体が存在すると推定される領域を選択すると共に、この選択された領域を新たな基準画像として登録する。
このような基準画像３０６は次フレームのマッチング処理において利用される。
基準画像を順次更新していくことにより、被写体の向きが変化するなど時系列的に被写体の見えが変化する場合においても、被写体追跡処理を行なうことができる。
また、被写体検出部１１０および被写体追跡部１１１が共に動作する場合は、信頼性のより高い結果に基づき基準画像を登録しても良い。
一方、時系列的な被写体の見えの変化を考慮しない場合などは、基準画像を更新せず、初期に登録された基準画像を維持しても本発明を適用可能である。
なお、３０６の基準画像の形状を矩形で示したが、基準画像の形状は、さまざまな形状が考えられるので、本実施例の例は、ほんの一例であり、本発明が、この形状にとらわれるものではない。
例えば、基準画像の形状が、円形であっても多角形であっても本発明を適用可能である。
【００２１】
次に、各種情報により追跡終了判定を行う（Ｓ２０５）。
図６に、各種情報による追跡終了判定処理について説明するフローチャート示す。
また、図７に本発明の実施例に係る追跡終了（追跡動作の中止）に適応されるシーンの一例を示す。
まず、特徴画素判定部１１４により得られる特徴画素の数が所定値ｔｈ１よりも少ない（下回った）場合（Ｓ６０１でＹＥＳ）、被写体追跡を終了する（Ｓ６０９）。
図７（ａ）のように、被写体追跡部１１１の追跡対象が障害物に隠れた場合などは、マッチング処理結果による抽出された領域中の特徴画素の数は少なくなり、被写体追跡部１１１は終了される。
次に、追跡している被写体の大きさに応じて、後で用いる前回から今回までの追跡移動量の閾値ｔｈ２を設定する（Ｓ６０２）。
図７（ｂ）のように、追跡被写体の前回から今回までの画面内における移動量が、所定値ｔｈ２より大きいか判定し所定量ｔｈ２より大きい場合（Ｓ６０３でＹＥＳ）は、被写体追跡を中断し、基準画像をリセットする（Ｓ６０９）。
この際、所定量ｔｈ２は被写体検出部１１０で検出された被写体の大きさにより被写体が大きい場合は大きく、小さい場合は小さくする。
これは被写体の動きは被写体の大きさによって決まった量以下と考えられるためで、小さな被写体が大きな移動量となる場合は誤追跡を行っている可能性が高いためである。
次に、追跡している被写体の大きさに応じて、後で用いる追跡移動量の閾値ｔｈ３を設定する（Ｓ６０４）。
図７（ｃ）のように追跡被写体の追跡開始から今回までの連続して追跡に成功した被写体の画面内における移動量が、所定値ｔｈ３より大きいか判定し所定値ｔｈ３より大きい場合（Ｓ６０５でＹＥＳ）は、被写体追跡を終了し、基準画像をリセットする（Ｓ６０９）。
この際、所定値ｔｈ３は被写体検出部１１０で検出された被写体の大きさにより変更し、被写体が大きい場合は大きく、小さい場合は小さくする。
これは被写体の動きが被写体の大きさによって決まった量以下と考えられるためで、小さな被写体が大きな移動量となる場合は誤追跡を行っている可能性がより高いためである。
これらは、マッチングにより抽出された類似する領域との距離が所定量を超えたときに、前記被写体の追跡動作を中止する場合の一例である。
【００２２】
次に、図７（ｄ）のように追跡被写体のエリアから抽出されたＡＦ評価値が所定値ｔｈ４より小さいか判定し、所定量ｔｈ４より小さい場合（Ｓ６０６でＹＥＳ）は、被写体追跡を終了し、基準画像をリセットする（Ｓ６０９）。
これは被写体を追跡しているのだからある程度のＡＦ評価値が得られるはずで、そのレベルが小さい場合は誤追尾を行っている可能性が高いためである。
これらの手段として、前記追跡終了判定手段により選択された領域の画像信号の高周波成分を抽出し、該領域における焦点評価値を生成する焦点評価値生成手段を構成する。
そして、前記追跡終了判定手段は、前記焦点評価値が所定量より小さくなったときに、前記被写体の追跡動作を中止する。
次に、図７（ｅ）のように変倍レンズによる変倍量が所定量ｔｈ５変化しているか判定し所定量ｔｈ５変化している場合（Ｓ６０７でＹＥＳ）は、被写体追跡を終了し、基準画像をリセットする（Ｓ６０９）。
これは比較する２つの画像の変倍率が違えばマッチングを取っても意味がなく、誤追跡を行ってしまう可能性が高いためである。
次に、図７（ｆ）のように、手ブレ検出手段により検出された手ブレが所定量ｔｈ６を超えている場合（Ｓ６０８でＹＥＳ）は、被写体追跡を終了し、基準画像をリセットする（Ｓ６０９）。
これは手ブレにより比較する２つの画像が違えばマッチングを取っても意味がなく、誤追跡を行ってしまう可能性が高いためである。
これらにより、目的とする被写体領域とは異なる領域を誤って追跡する可能性を軽減することが可能となる。
【００２３】
以上の実施例の構成によれば、被写体追跡処理では、追跡に用いる輝度マッチング情報以外に、追跡状況や、撮像装置の各種情報により追跡終了判定処理を行いて追跡を終了させることができる。
これにより、被写体追跡処理の精度を向上させ、目的とする被写体領域とは異なる領域を誤って追跡する可能性を軽減することが可能となる。
また、上記実施例はビデオカメラを例に挙げて説明を行ったが、動画機能を備えたデジタルスチルカメラに適用できることは言うまでもない。
また、パーソナルコンピュータなどの汎用コンピュータ上で動作するアプリケーションにおいても、上記実施例と同様の処理を行なって被写体の追跡を行うことも可能である。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施例に係る撮像装置のブロック図。
【図２】本発明の実施例に係る被写体追跡方法について説明するフローチャート。
【図３】本発明の実施例に係る被写体追跡方法についての説明図。
【図４】本発明の実施例に係る特徴画素の判定処理について説明するフローチャート。
【図５】本発明の実施例に係る色モデルの一例。
【図６】本発明の実施例に係る追跡終了判定処理について説明するフローチャート。
【図７】本発明の実施例に係る追跡終了に適応されるシーンの一例。
【図８】従来例におけるテンプレートマッチングによる被写体追跡について説明するフローチャート。
【図９】従来例におけるテンプレートマッチングによる被写体追跡についての説明図。
【符号の説明】
【００２５】
１０１：変倍レンズ（ズームレンズ）
１０２：フォーカスレンズ
１０３：撮像素子
１０４：アナログ信号処理部
１０５：Ａ／Ｄ変換部
１０６：カメラ信号処理部
１０７：表示部
１０８：記録媒体
１０９：カメラ制御部
１１０：被写体検出部
１１１：被写体追跡部
１１２：基準画像登録部
１１３：マッチング処理部
１１４：特徴画素判定部
１１５：終了判定部
１１６：振動ジャイロ
３０１：基準画像登録部１１２により登録されている基準画像
３０２：入力画像
３０３：マッチング処理部１１３による被写体抽出結果
３０４：特徴画素判定部１１４による特徴画素の判定結果
３０６：基準画像登録部１１２により登録されている基準画像
５０１：特徴画素判定部１１４における肌色モデルの一例
【特許請求の範囲】
【請求項１】
動画像中に含まれる特定の被写体または一部の被写体を検出し、予め登録された基準画像とのマッチング処理によって抽出された類似性に基づいて、前記被写体を追跡する被写体追跡手段を有する撮像装置であって、
前記被写体追跡手段は、前記基準画像を登録する基準画像登録手段と、前記マッチング処理を行うマッチング処理手段と、前記被写体の追跡を終了させる追跡終了判定手段と、を含み構成され、
前記追跡終了判定手段は、前記マッチング処理に用いられた情報以外の情報により、前記被写体の追跡を終了させる構成を備えていることを特徴とする撮像装置。
【請求項２】
前記基準画像登録手段は、前記動画像中のいずれかのフレーム画像における被写体領域を基準画像として登録する構成を備える一方、
前記マッチング手段の抽出結果を用いて、前記被写体が存在すると推定される領域を選択すると共に、この選択された領域を新たな基準画像として登録する構成を備えていることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記マッチング処理手段は、前記基準画像とは異なるタイミングで生成されたフレーム画像に対して該基準画像とのマッチングを行い、前記基準画像と類似する領域を抽出する構成を備えていることを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記マッチング手段により抽出された領域内の色情報を判定する特徴画素判定手段を有し、
前記追跡終了判定手段は、前記特徴画素判定手段により所定の条件を満たす色情報を含む領域が所定量を下回ったときに、
前記被写体の追跡動作を中止することが可能に構成されていることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
【請求項５】
前記追跡終了判定手段は、前記基準画像として登録された被写体領域と、前記マッチング手段にて抽出された類似する領域との距離が所定量を超えたときに、
前記被写体の追跡動作を中止することが可能に構成されていることを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
【請求項６】
前記追跡終了判定手段は、連続して前記被写体の追跡を行っている際において、初めに前記基準画像として登録された被写体領域と、前記マッチング手段により抽出された類似する領域との距離が所定量を超えたときに、
前記被写体の追跡動作を中止することが可能に構成されていることを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
【請求項７】
前記所定量が、前記抽出された被写体の大きさによって変更することが可能に構成されていることを特徴とする請求項５または請求項６に記載の撮像装置。
【請求項８】
前記追跡終了判定手段により選択された領域の画像信号の高周波成分を抽出し、該領域における焦点評価値を生成する焦点評価値生成手段を有し、
前記追跡終了判定手段は、前記焦点評価値が所定量より小さくなったときに、前記被写体の追跡動作を中止することが可能に構成されていることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
【請求項９】
前記被写体の画像を変倍する変倍手段を有し、
前記追跡終了判定手段は、前記変倍手段による変倍量が所定量に達したときに、前記被写体の追跡動作を中止することが可能に構成されていることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
【請求項１０】
前記被写体の画像のブレ量を抽出するブレ検出手段を有し、
前記追跡終了判定手段は、前記ブレ量が所定量に達したときに、前記被写体の追跡動作を中止することが可能に構成されていることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
【請求項１１】
前記マッチング手段は、前記基準画像の輝度値との差分が最小となる領域を前記基準画像と類似する領域として抽出することを特徴とする請求項１から１０のいずれか１項に記載の撮像装置。
【請求項１２】
動画像中に含まれる特定の被写体または一部の被写体を検出し、基準画像とのマッチング処理によって抽出された類似性に基づいて、前記被写体を追跡する被写体追跡方法であって、
前記基準画像として、動画像中のいずれかのフレーム画像における被写体領域を、予め登録する基準画像登録工程と、
前記基準画像とは異なるタイミングで生成されたフレーム画像に対して前記基準画像とのマッチングを行い、前記基準画像と類似する領域を抽出するマッチング工程と、
前記マッチング処理に用いられた情報以外の情報により、前記被写体の追跡を終了させる追跡終了判定工程と、
を有することを特徴とする被写体追跡方法。
【請求項１】
動画像中に含まれる特定の被写体または一部の被写体を検出し、予め登録された基準画像とのマッチング処理によって抽出された類似性に基づいて、前記被写体を追跡する被写体追跡手段を有する撮像装置であって、
前記被写体追跡手段は、前記基準画像を登録する基準画像登録手段と、前記マッチング処理を行うマッチング処理手段と、前記被写体の追跡を終了させる追跡終了判定手段と、を含み構成され、
前記追跡終了判定手段は、前記マッチング処理に用いられた情報以外の情報により、前記被写体の追跡を終了させる構成を備えていることを特徴とする撮像装置。
【請求項２】
前記基準画像登録手段は、前記動画像中のいずれかのフレーム画像における被写体領域を基準画像として登録する構成を備える一方、
前記マッチング手段の抽出結果を用いて、前記被写体が存在すると推定される領域を選択すると共に、この選択された領域を新たな基準画像として登録する構成を備えていることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記マッチング処理手段は、前記基準画像とは異なるタイミングで生成されたフレーム画像に対して該基準画像とのマッチングを行い、前記基準画像と類似する領域を抽出する構成を備えていることを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記マッチング手段により抽出された領域内の色情報を判定する特徴画素判定手段を有し、
前記追跡終了判定手段は、前記特徴画素判定手段により所定の条件を満たす色情報を含む領域が所定量を下回ったときに、
前記被写体の追跡動作を中止することが可能に構成されていることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
【請求項５】
前記追跡終了判定手段は、前記基準画像として登録された被写体領域と、前記マッチング手段にて抽出された類似する領域との距離が所定量を超えたときに、
前記被写体の追跡動作を中止することが可能に構成されていることを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
【請求項６】
前記追跡終了判定手段は、連続して前記被写体の追跡を行っている際において、初めに前記基準画像として登録された被写体領域と、前記マッチング手段により抽出された類似する領域との距離が所定量を超えたときに、
前記被写体の追跡動作を中止することが可能に構成されていることを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
【請求項７】
前記所定量が、前記抽出された被写体の大きさによって変更することが可能に構成されていることを特徴とする請求項５または請求項６に記載の撮像装置。
【請求項８】
前記追跡終了判定手段により選択された領域の画像信号の高周波成分を抽出し、該領域における焦点評価値を生成する焦点評価値生成手段を有し、
前記追跡終了判定手段は、前記焦点評価値が所定量より小さくなったときに、前記被写体の追跡動作を中止することが可能に構成されていることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
【請求項９】
前記被写体の画像を変倍する変倍手段を有し、
前記追跡終了判定手段は、前記変倍手段による変倍量が所定量に達したときに、前記被写体の追跡動作を中止することが可能に構成されていることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
【請求項１０】
前記被写体の画像のブレ量を抽出するブレ検出手段を有し、
前記追跡終了判定手段は、前記ブレ量が所定量に達したときに、前記被写体の追跡動作を中止することが可能に構成されていることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
【請求項１１】
前記マッチング手段は、前記基準画像の輝度値との差分が最小となる領域を前記基準画像と類似する領域として抽出することを特徴とする請求項１から１０のいずれか１項に記載の撮像装置。
【請求項１２】
動画像中に含まれる特定の被写体または一部の被写体を検出し、基準画像とのマッチング処理によって抽出された類似性に基づいて、前記被写体を追跡する被写体追跡方法であって、
前記基準画像として、動画像中のいずれかのフレーム画像における被写体領域を、予め登録する基準画像登録工程と、
前記基準画像とは異なるタイミングで生成されたフレーム画像に対して前記基準画像とのマッチングを行い、前記基準画像と類似する領域を抽出するマッチング工程と、
前記マッチング処理に用いられた情報以外の情報により、前記被写体の追跡を終了させる追跡終了判定工程と、
を有することを特徴とする被写体追跡方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−１５４３７４（Ｐ２０１０−１５４３７４Ａ）
【公開日】平成２２年７月８日（２０１０．７．８）
【国際特許分類】
【出願番号】特願２００８−３３１７５６（Ｐ２００８−３３１７５６）
【出願日】平成２０年１２月２６日（２００８．１２．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年７月８日（２０１０．７．８）
【国際特許分類】
【出願日】平成２０年１２月２６日（２００８．１２．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]