画像処理装置および方法、記録媒体並びにプログラム
【課題】軽い負荷で画像をトラッキングすることができるようにする。
【解決手段】トラッキングの対象であるオブジェクトを含む対象画像と、所定のフレームの対象画像と比較される比較領域の画像である比較画像との、第１の特徴量のマッチング度と第２の特徴量のマッチング度を所定の混合率で混合して得られる信頼度の、混合率を変化させた場合の和で表される評価値が計算され、評価値が最大になるときの混合率が求められる。評価値が最大になるときの混合率が設定された信頼度に基づいて対象画像に対応する画像が検出される。
【解決手段】トラッキングの対象であるオブジェクトを含む対象画像と、所定のフレームの対象画像と比較される比較領域の画像である比較画像との、第１の特徴量のマッチング度と第２の特徴量のマッチング度を所定の混合率で混合して得られる信頼度の、混合率を変化させた場合の和で表される評価値が計算され、評価値が最大になるときの混合率が求められる。評価値が最大になるときの混合率が設定された信頼度に基づいて対象画像に対応する画像が検出される。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は画像処理装置および方法、記録媒体並びにプログラムに関し、特に軽い負荷で画像をトラッキングすることができるようにした画像処理装置および方法、記録媒体並びにプログラムに関する。
【背景技術】
【０００２】
デジタルカメラは、被写体を自動的にフォーカスするオートフォーカス機能を有していることが多い。これによりユーザは、カメラを被写体に向け、レリーズスイッチを操作するだけの簡単な操作で、被写体をピントが合った状態で確実に撮影することができる。
【０００３】
さらにトラッキング機能が具備されている場合、被写体が移動したとしても、その被写体が自動的にトラッキングされるので、その被写体に対するピントが合った状態で撮影を行うことができる。
【０００４】
被写体を自動的にトラッキングする技術としては、例えば非特許文献１に記載された技術がある。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】「Ensemble Tracking」 Shai Avidan, Mitsubishi Electric Research Labs, 201 Broadway Cambridge, MA02139, avidan@merl.com
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献１に記載の技術は、ブースティングの技術を用いるものであるため、計算量が厖大となり、民生用の画像処理装置であるデジタルカメラに応用することは困難である。
【０００７】
本技術はこのような状況に鑑みてなされたものであり、軽い負荷で画像をトラッキングすることができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の一側面は、トラッキングの対象であるオブジェクトを含む対象画像と、第１のフレームの前記対象画像と比較される比較領域の画像である比較画像との、第１の特徴量のマッチング度と第２の特徴量のマッチング度を所定の混合率で混合して得られる信頼度の、前記混合率を変化させた場合の和で表される評価値を計算し、前記評価値が最大になるときの前記混合率を求める計算部と、前記評価値が最大になるときの前記混合率が設定された前記信頼度に基づいて、第２のフレームの前記対象画像に対応する画像を検出する検出部とを備える画像処理装置である。
【０００９】
前記第１のフレームと前記第２のフレームは、奇数フレームと偶数フレームの一方と他方とすることができる。
【００１０】
前記第２のフレームのスキャン領域のスキャン画像を前記比較画像とし、前記対象画像と前記スキャン画像の前記信頼度を演算する演算部をさらに備えることができる。
【００１１】
前記検出部は、前記対象画像と前記スキャン画像の前記信頼度が最大となる前記スキャン画像を前記対象画像に対応する画像として検出することができる。
【００１２】
前記計算部は、前記第１のフレームの基準領域の画像を前記対象画像とし、前記基準領域の前記対象画像を少なくとも一部に含む複数の領域をポジティブ領域とし、前記基準領域の前記対象画像を含まない複数の領域をネガティブ領域とし、前記基準領域の前記対象画像と複数の前記ポジティブ領域の画像との前記信頼度である第１の信頼度を計算し、前記基準領域の前記対象画像と複数の前記ネガティブ領域の画像との前記信頼度である第２の信頼度を計算し、前記第１の信頼度と前記ポジティブ領域の第１の重み係数との積和である第１の積和を計算し、前記第２の信頼度と前記ネガティブ領域の第２の重み係数との積和である第２の積和を計算し、前記第１の積和と前記第２の積和の和を前記評価値として計算することができる。
【００１３】
前記第１の重み係数は、定数を前記ポジティブ領域の数で除算した値とし、前記第２の重み係数は、前記定数を前記ネガティブ領域の数で除算した値とすることができる。
【００１４】
前記計算部は、前記第２のフレームの前記対象画像に対応する画像の座標に対応する領域であって、前記第２のフレームよりさらに後の第３のフレームの領域の画像を新たな前記対象画像として、前記第３のフレームで前記評価値を計算して、前記評価値が最大になるときの前記混合率を求め、前記検出部は、前記第３のフレームの画像に基づいて前記評価値が最大になるときの前記混合率が設定された前記信頼度に基づいて、前記第３のフレームよりさらに後の第４のフレームにおいて、前記第３のフレームの新たな前記対象画像に対応する画像を検出することができる。
【００１５】
前記対象画像に対応する画像の座標に対応する領域にマーカを表示する表示部をさらに備えることができる。
【００１６】
前記対象画像に対応する画像が画面の所定の位置に配置されるようにカメラの位置を駆動する駆動部をさらに備えることができる。
【００１７】
前記第１の特徴量は輝度情報とし、前記第２の特徴量は色情報とすることができる。
【００１８】
本技術の側面の画像処理方法、記録媒体およびプログラムは、上述した本技術の側面の画像処理装置に対応する画像処理方法、記録媒体およびプログラムである。
【００１９】
本技術の側面においては、トラッキングの対象であるオブジェクトを含む対象画像と、所定のフレームの対象画像と比較される比較領域の画像である比較画像との、第１の特徴量のマッチング度と第２の特徴量のマッチング度を所定の混合率で混合して得られる信頼度の、混合率を変化させた場合の和で表される評価値が計算され、評価値が最大になるときの混合率が求められる。評価値が最大になるときの混合率が設定された信頼度に基づいて対象画像に対応する画像が検出される。
【発明の効果】
【００２０】
以上のように、本技術の一側面によれば、軽い負荷で画像をトラッキングすることができる。
【図面の簡単な説明】
【００２１】
【図１】本技術のデジタルカメラの構成を示すブロック図である。
【図２】トラッキング処理を説明するフローチャートである。
【図３】領域の切り出しを説明する図である。
【図４】評価値を説明する図である
【図５】スキャンを説明する図である。
【図６】マーカの表示を説明する図である。
【図７】領域の切り出しを説明する図である。
【発明を実施するための形態】
【００２２】
図１は、本技術のデジタルカメラ１の構成を示すブロック図である。デジタルカメラ１は、ＣＰＵ（Central Processing Unit）１１、レンズ１２、出力部１３、入力部１４、および記憶部１５により構成されている。
【００２３】
ＣＰＵ１１は、各種の処理を実行する。レンズ１２は被写体を撮像し、その画像データをＣＰＵ１１に供給する。出力部１３は、例えばＬＣＤ（Liquid Crystal Display）などにより構成され、レンズ１２により撮像された画像を表示する。また出力部１３は、スピーカを有し、必要な警告音等を出力する。入力部１４は、ユーザにより操作されるレリーズスイッチの他、シャッタスピード、露光時間を調整する部材等により構成される。記憶部１５は、撮像された画像データを記憶したり、ＣＰＵ１１が動作するプログラムなどを記憶する。
【００２４】
駆動部４１は、例えばカメラ１が所定の台（図示せず）に搭載されている状態において、カメラ１を所定の方向にパン、チルトする。
【００２５】
ＣＰＵ１１は、取り込み部２１、切り出し部２２、初期化部２３、計算部２４、設定部２５、演算部２６、検出部２７、表示部２８、フォーカス部２９、および判定部３０の機能ブロックを有している。各部は必要に応じて信号を授受することが可能である。
【００２６】
取り込み部２１は、画像の取り込みを行う。切り出し部２２は、取り込まれた画像から所定の部分の切り出しを行う。初期化部２３は、係数を初期化する。計算部２４は、各所の計算を実行する。設定部２５は、係数の設定を行う。演算部２６は、各所の演算を実行する。検出部２７は、位置を検出する。表示部２８は、マーカを表示する。フォーカス部２９は、フォーカス調整を行う。判定部３０は、各種の判定処理を行う。
【００２７】
この実施の形態においては、各部はプログラムを実行する場合に機能的に構成されるが、ハードウェアとして構成してもよいことは勿論である。
【００２８】
図２は、トラッキング処理を説明するフローチャートである。以下、この図２を参照して、デジタルカメラ１のトラッキング処理について説明する。
【００２９】
ステップＳ１において取り込み部２１は、画像を取り込む。すなわちレンズ１２が撮像した画像の所定のフレームＦ１の画像が取り込まれる。この取り込みは、レンズ１２により撮像され、記憶部１５に記憶された画像から行われる。
【００３０】
ステップＳ２において切り出し部２２は、ステップＳ１の処理で取り込まれたフレームの画像から、オブジェクトを含む領域と含まない領域とを切り出す。オブジェクトとはユーザがトラッキングを希望する対象の画像であり、例えば被写体の顔である。この顔の切り出しについて図３を参照して説明する。
【００３１】
図３は、領域の切り出しを説明する図である。図３に示されるように、ステップＳ１の処理で取り込まれた画像であるフレーム１０１（フレームＦ１に対応する）に、オブジェクト１０２が表示されている。オブジェクト１０２を含む例えば矩形の領域が基準領域１１１−０とされる。そして基準領域１１１−０内の画像が対象画像１１４とされる。後述するステップＳ１０の処理でマーカ２３１が、その後のフレーム２０１（フレームＦ２に対応する）上に表示されている場合には（後述する図６を参照）、フレーム２０１上のマーカ２３１の座標に対応するフレーム１０１上の領域が基準領域１１１−０とされる。まだステップＳ１０の処理が実行される前の最初のフレームでは、ユーザが入力部１４を操作することで指定した点を中心とする矩形の領域が基準領域１１１−０とされる。
【００３２】
ステップＳ２では、この基準領域１１１−０の対象画像１１４の少なくとも一部を含む領域１１１−１，１１１−２，・・・，１１１−Ｎｐが切り出される。すなわちＮｐ個の領域が基準領域１１１−０の対象画像１１４を含むポジティブ領域として切り出される。同様に、基準領域１１１−０の対象画像１１４を全く含まない領域１１２−１，１１２−２，・・・，１１２−Ｎｎが切り出される。すなわちＮｎ個の領域が基準領域１１１−０の対象画像１１４を含まないネガティブ領域として切り出される。
【００３３】
次にステップＳ３において初期化部２３は、各領域の重み係数ｗＰ，ｗＮを初期化する。重み係数ｗＰ，ｗＮは、次の式（１）により表される。重み係数ｗＰは、ポジティブ領域１１１−Ｊ（Ｊ＝１，２,・・・，Ｎｐ）の重み係数であり、重み係数ｗＮは、ネガティブ領域１１２−Ｊ（Ｊ＝１，２,・・・，Ｎｎ）の重み係数である。
【００３４】
【数１】
【００３５】
式（１）で表されるように、ポジティブ領域の重み係数ｗＰは、定数ＧＰをポジティブ領域の数Ｎｐで除算した値であり、ネガティブ領域の重み係数ｗＮは、定数ＧＮをネガティブ領域の数Ｎｎで除算した値である。ポジティブ領域の重み係数ｗＰの値は各領域１１１−Ｊにおいて同一である。同様に、ネガティブ領域の重み係数ｗＮの値は各領域１１２−Ｊにおいて同一である。定数ＧＰ，ＧＮの値は、デジタルカメラ１の工場出荷時に予め決定され、設定される。
【００３６】
定数ＧＰ，ＧＮの値は、例えばいずれも０．５に設定したり、定数ＧＰの値を０．８とし、定数ＧＮの値を０．２とすることもできる。重み係数ｗＰ，ｗＮのうち、対応する定数がより大きい値に設定された方の重みがより強くなる。定数ＧＰ，ＧＮの値を所定の値に設定することで、重み係数ｗＰと重み係数ｗＮのバランスを、適宜調整することができる。
【００３７】
ステップＳ４において計算部２４は、評価値Eval(K)を計算する。評価値Eval(K)は、式（２）で表される。式（２）における信頼度Confidence（K）は、式（３）で表される。Ｋは、例えば０乃至２５６のように、変化される整数値である。
【００３８】
【数２】
【数３】
【００３９】
すなわち、式（２）では、基準領域１１１−０の対象画像１１４と、複数のポジティブ領域１１１−１，１１１−２，・・・の画像との信頼度Confidence（K）が第１の信頼度とされる。これが式（２）の右辺の第１項の信頼度Confidence（K）である。基準領域１１１−０の対象画像１１４と複数のネガティブ領域１１２−１，１１２−２，・・・の画像との信頼度Confidence（K）が第２の信頼度とされる。これが式（２）の右辺の第２項の信頼度Confidence（K）である。第１の信頼度とポジティブ領域１１１−１，１１１−２，・・・の第１の重み係数ｗＰとの積和が第１の積和とされ、第２の信頼度とネガティブ領域１１２−１，１１２−２，・・・の第２の重み係数ｗＮとの積和が第２の積和とされる。そして第１の積和と第２の積和の和が評価値Eval(K)とされる。
【００４０】
式（３）におけるfeat_Aは、トラッキングする対象であるオブジェクトを含む対象画像１１４と比較画像の第１の特徴量（例えば輝度情報）のマッチング度であり、feat_Bは、第２の特徴量（例えば色情報）のマッチング度である。Ｋは、第１の特徴量のマッチング度feat_Aと第２の特徴量のマッチング度feat_Bの混合率を意味する。式（３）から判るように、信頼度Confidence（K）は、比較画像が、対象画像１１４と一致する確からしさを表しており、その値が大きい程、比較画像が対象画像１１４と一致する可能性が高い。勿論、輝度情報と色情報以外の特徴量を用いることができる。
【００４１】
式（２）における右辺の第1項のΣのtrueは、ポジティブ領域のConfidence（K）だけを積和することを意味する。式（２）における右辺の第１項のポジティブ領域のConfidence（K）を計算する場合において対象画像１１４と比較される比較画像は、ポジティブ領域１１１−Ｊの画像である。同様に、第２項のΣのtrueは、ネガティブ領域のConfidence（K）だけを積和することを意味する。式（２）における右辺の第２項のネガティブ領域のConfidence（K）を計算する場合において対象画像１１４と比較される比較画像は、ネガティブ領域１１２−Ｊの画像である。
【００４２】
ステップＳ５において計算部２４は、評価値Eval(K)の値を最大とする混合率Ｋｍを求める。すなわち、混合率Ｋの値を０乃至２５６に順次変化させて、評価値Eval(K)の値が計算される。そして２５７個の評価値Eval(K)の値の中から最大のものが選択され、評価値Eval(K)の値を最大とする混合率Ｋｍが決定される。
【００４３】
図４は、評価値を説明する図である。混合率Ｋの値を０乃至２５６に順次変化させると、評価値Eval(K)の値は図４に示されるように変化する。図４の例では、評価値Eval(K)の値を最大にする混合率Ｋは、Ｋｍである。評価値Eval(K)の値を最大にする混合率Ｋｍが、そのフレームのオブジェクト１０２を含む対象画像１１４を検出するのに最適な混合率である。ステップＳ８，Ｓ９で後述するように、次のフレームでは、この混合率Ｋｍを用いて信頼度Confidence(K)が演算される。つまり評価値Eval(K)は、最適な混合率Ｋｍを決定するための関数である。
【００４４】
そこでステップＳ６において設定部２５は、式（３）の信頼度Confidence(K)に、ステップＳ５で求められた混合率Ｋｍを設定する。
【００４５】
以上のようにしてステップＳ１乃至Ｓ６の処理により、第１のフレームで混合率Ｋの学習処理が行われた後、続くステップＳ７乃至Ｓ１１により第２のフレームでトラッキング処理が行われる。
【００４６】
ステップＳ７において取り込み部２１は画像を取り込む。つまりステップＳ１で取り込まれたフレームＦ１の次のフレームＦ２の画像が記憶部１５から読み出され、取り込まれる。
【００４７】
ステップＳ８において演算部２６は、取り込んだ画像上でスキャン画像をスキャンし、各スキャン画像の信頼度Confidence(K)を演算する。すなわちステップＳ２の処理で、フレームＦ１の基準領域１１１−０の画像が対象画像１１４として決定されている。現在のフレーム（つまりステップＳ７で取り込まれたフレームＦ２）上の所定の位置の、対象画像１１４に対応する大きさのスキャン領域のスキャン画像が比較画像として抽出され、対象画像１１４と比較される。そして対象画像１１４とスキャン画像の間の第１の特徴量のマッチング度feat_Aと第２の特徴量のマッチング度feat_Bが演算される。演算された第１の特徴量のマッチング度feat_Aと第２の特徴量のマッチング度feat_Bを式（３）に適用して、信頼度Confidence(K)が演算される。このときの混合率Ｋとしては、ステップＳ６で設定された値Ｋｍが用いられる。
【００４８】
図５は、スキャンを説明する図である。図５に示されるように、ステップＳ７で取り込まれたフレーム２０１（すなわちフレームＦ２）上の所定の位置のスキャン領域２２１−１のスキャン画像２２２−１が比較画像として抽出され、ステップＳ２で指定された前のフレームＦ１の対象画像１１４と比較される。スキャン領域２２１−１の大きさは、基準領域１１１−０と同じ大きさとされている。つまり、スキャン画像２２２−１は対象画像１１４と同じ大きさとされている。式（３）の混合率Ｋの値が最大値Ｋｍに設定された状態で、対象画像２１１とスキャン画像２２２−１との信頼度Confidence(K)が演算される。
【００４９】
フレーム２０１上の比較領域は、比較領域２１１−１，２１１−２，２１１−３，・・・と順次移動され、同様の処理が繰り返される。フレーム２０１上のスキャンする範囲は、フレーム２０１の全体とすることもできるが、ステップＳ２で指定された基準領域１１１−０の座標（すなわち前回のステップＳ１０の処理でマーカ２３１が表示された座標）を基準として、そこから所定の距離の範囲内とすることもできる。スキャンする範囲を制限した方が計算量を少なくすることができる。
【００５０】
ステップＳ９において検出部２７は、信頼度Confidence(K)が最大となる領域を検出する。すなわち、ステップＳ８の処理で演算された各スキャン領域２２１−Ｊ（Ｊ＝１，２，・・・）の信頼度Confidence(K)の中から、最も大きな値の信頼度Confidence(K)が選択され、その信頼度Confidence(K)に対応するスキャン領域２２１−Ｍが選択される。そして、そのフレーム２０１（フレームＦ２）上のスキャン領域２２１−Ｍの画像が、フレーム１０１（フレームＦ１）上の対象画像１１４に対応する画像２３２とされる。つまり、フレーム１０１上の基準領域１１１−０の対象画像１１４が、フレームＦ２のスキャン領域２２１−Ｍに移動し、画像２３２として表示されているものと判断される（後述する図６を参照）。
【００５１】
ステップＳ１０で表示部２８は、検出された位置にマーカ２３１を表示する。図６は、マーカ２３１の表示を説明する図である。図６においては、スキャン領域２２１−Ｍにオブジェクト１０２を含む画像２３２が表示されている。そしてスキャン領域２２１−Ｍの位置にマーカ２３１が表示されている。つまり画像２３２に対してマーカ２３２が表示されている。フォーカス部２９は、マーカ２３１内に表示されている画像２３２を基準にフォーカスが合うように、レンズ１２を駆動、調整する。ユーザはこのマーカ２３１を見て、いまどこにフォーカスが合っているのかを確認することができる。
【００５２】
ステップＳ１１において判定部３０は、トラッキングを終了するかを判定する。ユーザが入力部１４を操作して、トラッキングの中止を指令した場合、トラッキング処理は終了される。
【００５３】
トラッキングの中止が指令されていない場合、処理はステップＳ１に戻り、さらに次のフレームＦ３の画像が取り込まれる。そしてステップＳ２においてオブジェクトを含む領域を切り出す処理が行われる。最初のフレームＦ１の場合、まだステップＳ１０の処理が行われていないので、ユーザにより指定された位置に基づいて基準領域１１１−０が設定された。しかしいまの場合、ステップＳ１０の処理で前回の対象画像１１４に対応する画像２３２の座標が判っているので、フレーム２０１のマーカ２３１が表示されている領域２２１−Ｍに対応する座標の次のフレーム３０１の領域が新たな基準領域１１１−０とされ、そこを基準に切り出し処理が行われる。
【００５４】
図７は、２回目の領域の切り出しを説明する図である。図７に示されるように、２回目のステップＳ１の処理で新たに取り込まれたフレーム３０１（すなわちフレームＦ３）の領域３１１−０は、１フレーム前の図６のフレーム２０１（すなわちフレームＦ２）上のスキャン領域２２１−Ｍに対応する領域である。この領域３１１−０が新たなフレーム３０１の基準領域とされ、そこに表示されている画像が新たな対象画像３１４とされる。切り出し部２２は、この新たな基準領域３１１−０を基準として、新たなポジティブ領域３１１−１，３１１−２，・・・と、新たなネガティブ領域３１２−１，３１２−２，・・・を切り出す。
【００５５】
以下、同様の処理が行われる。すなわち、フレームＦ２の対象画像１１４に対応する画像２３２の座標に対応する領域であって、フレームＦ２よりさらに後のフレームＦ３の領域の画像が新たな対象画像３１４とされ、フレームＦ３で評価値Eval(K)が計算される。つまり、新たな対象画像３１４と、新たなポジティブ領域３１１−１，３１１−２，・・・、並びに新たなネガティブ領域３１２−１，３１２−２，・・・との間における評価値Eval(K)が計算される。
【００５６】
さらに計算された評価値Eval(K)が最大になるときの混合率Ｋｍが求められる。そして、フレームＦ３の画像に基づいて評価値Eval(K)が最大になるときの混合率Ｋｍが設定された信頼度Confidence(K)に基づいて、フレームＦ３よりさらに後のフレームＦ４（図示せず）において、フレームＦ３の新たな対象画像３１４に対応する画像が検出される。
【００５７】
このような処理が、各フレーム毎に繰り返されて、オブジェクト１０２が移動すると、その移動先をマーカ２３１がトラッキングし、表示される。ステップＳ１乃至Ｓ６の処理は、連続する奇数フレームと偶数フレームの一方で実行され、ステップＳ７乃至Ｓ１１の処理は、他方で実行される。
【００５８】
なお、式（２）の右辺の第２項は、省略することも可能である。ただしこの場合、省略しない場合に比べてトラッキングの機能の質は低下する。
【００５９】
また、式（３）における正規化処理に代えて、すなわち値２５６による除算をせずに、（２５６−Ｋ）の代わりに、（１−Ｋ）を用いるようにしてもよい。
【００６０】
さらにステップＳ１０においてマーカ２３１を表示させるようにしたが、駆動部４１を駆動して、常に、オブジェクト１０２がフレーム内の所定の位置（例えば中央）に位置するようにカメラ１の位置をパン、チルトして制御することもできる。
【００６１】
本技術は、フレーム毎に得られる情報だけを利用しており、例えば動きベクトルのような複数のフレーム間の画像から得られる情報を利用したり、測距装置などを利用していないので、処理が迅速かつ簡単になる。また、本技術は、演算量が少ないので、デジタルカメラの他、ビデオカメラ、監視カメラ、その他の小型で安価な画像処理装置に適用し、リアルタイムでオブジェクトをトラッキングすることができる。
【００６２】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることができる。
【００６３】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、記憶部１５に記憶される。
【００６４】
なお、本明細書において、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００６５】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【００６６】
本技術は、以下のような構成もとることができる。
（１）
トラッキングの対象であるオブジェクトを含む対象画像と、第１のフレームの前記対象画像と比較される比較領域の画像である比較画像との、第１の特徴量のマッチング度と第２の特徴量のマッチング度を所定の混合率で混合して得られる信頼度の、前記混合率を変化させた場合の和で表される評価値を計算し、前記評価値が最大になるときの前記混合率を求める計算部と、
前記評価値が最大になるときの前記混合率が設定された前記信頼度に基づいて、第２のフレームの前記対象画像に対応する画像を検出する検出部と
を備える画像処理装置。
（２）
前記第１のフレームと前記第２のフレームは、奇数フレームと偶数フレームの一方と他方である
前記（１）に記載の画像処理装置。
（３）
前記第２のフレームのスキャン領域のスキャン画像を前記比較画像とし、前記対象画像と前記スキャン画像の前記信頼度を演算する演算部をさらに備える
前記（１）または（２）に記載の画像処理装置。
（４）
前記検出部は、前記対象画像と前記スキャン画像の前記信頼度が最大となる前記スキャン画像を前記対象画像に対応する画像として検出する
前記（１）、（２）または（３）に記載の画像処理装置。
（５）
前記計算部は、前記第１のフレームの基準領域の画像を前記対象画像とし、前記基準領域の前記対象画像を少なくとも一部に含む複数の領域をポジティブ領域とし、前記基準領域の前記対象画像を含まない複数の領域をネガティブ領域とし、前記基準領域の前記対象画像と複数の前記ポジティブ領域の画像との前記信頼度である第１の信頼度を計算し、前記基準領域の前記対象画像と複数の前記ネガティブ領域の画像との前記信頼度である第２の信頼度を計算し、前記第１の信頼度と前記ポジティブ領域の第１の重み係数のと積和である第１の積和を計算し、前記第２の信頼度と前記ネガティブ領域の第２の重み係数との積和である第２の積和を計算し、前記第１の積和と前記第２の積和の和を前記評価値として計算する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記第１の重み係数は、定数を前記ポジティブ領域の数で除算した値であり、前記第２の重み係数は、前記定数を前記ネガティブ領域の数で除算した値である
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記計算部は、前記第２のフレームの前記対象画像に対応する画像の座標に対応する領域であって、前記第２のフレームよりさらに後の第３のフレームの領域の画像を新たな前記対象画像として、前記第３のフレームで前記評価値を計算して、前記評価値が最大になるときの前記混合率を求め、
前記検出部は、前記第３のフレームの画像に基づいて前記評価値が最大になるときの前記混合率が設定された前記信頼度に基づいて、前記第３のフレームよりさらに後の第４のフレームにおいて、前記第３のフレームの新たな前記対象画像に対応する画像を検出する
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記対象画像に対応する画像の座標に対応する領域にマーカを表示する表示部をさらに備える
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記対象画像に対応する画像が画面の所定の位置に配置されるようにカメラの位置を駆動する駆動部をさらに備える
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）
前記第１の特徴量は輝度情報であり、
前記第２の特徴量は色情報である
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１）
トラッキングの対象であるオブジェクトを含む対象画像と、所定のフレームの前記対象画像と比較される比較領域の画像である比較画像との、第１の特徴量のマッチング度と第２の特徴量のマッチング度を所定の混合率で混合して得られる信頼度の、前記混合率を変化させた場合の和で表される評価値を計算し、前記評価値が最大になるときの前記混合率を求める計算ステップと、
前記評価値が最大になるときの前記混合率が設定された前記信頼度に基づいて前記対象画像に対応する画像を検出する検出ステップと
を含む画像処理方法。
（１２）
トラッキングの対象であるオブジェクトを含む対象画像と、所定のフレームの前記対象画像と比較される比較領域の画像である比較画像との、第１の特徴量のマッチング度と第２の特徴量のマッチング度を所定の混合率で混合して得られる信頼度の、前記混合率を変化させた場合の和で表される評価値を計算し、前記評価値が最大になるときの前記混合率を求める計算ステップと、
前記評価値が最大になるときの前記混合率が設定された前記信頼度に基づいて前記対象画像に対応する画像を検出する検出ステップと
を含む処理をコンピュータに実行させるプログラムが記録されている記録媒体。
（１３）
トラッキングの対象であるオブジェクトを含む対象画像と、所定のフレームの前記対象画像と比較される比較領域の画像である比較画像との、第１の特徴量のマッチング度と第２の特徴量のマッチング度を所定の混合率で混合して得られる信頼度の、前記混合率を変化させた場合の和で表される評価値を計算し、前記評価値が最大になるときの前記混合率を求める計算ステップと、
前記評価値が最大になるときの前記混合率が設定された前記信頼度に基づいて前記対象画像に対応する画像を検出する検出ステップと
を含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【００６７】
１ デジタルカメラ， １２ レンズ， １３ 出力部， １４ 入力部， １５ 記憶部， ２１ 取り込み部， ２２ 切り出し部， ２３ 初期化部， ２４ 計算部， ２５ 設定部， ２６ 演算部， ２７ 検出部， ２８ 表示部， ２９ フォーカス部， ３０ 判定部
【技術分野】
【０００１】
本技術は画像処理装置および方法、記録媒体並びにプログラムに関し、特に軽い負荷で画像をトラッキングすることができるようにした画像処理装置および方法、記録媒体並びにプログラムに関する。
【背景技術】
【０００２】
デジタルカメラは、被写体を自動的にフォーカスするオートフォーカス機能を有していることが多い。これによりユーザは、カメラを被写体に向け、レリーズスイッチを操作するだけの簡単な操作で、被写体をピントが合った状態で確実に撮影することができる。
【０００３】
さらにトラッキング機能が具備されている場合、被写体が移動したとしても、その被写体が自動的にトラッキングされるので、その被写体に対するピントが合った状態で撮影を行うことができる。
【０００４】
被写体を自動的にトラッキングする技術としては、例えば非特許文献１に記載された技術がある。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】「Ensemble Tracking」 Shai Avidan, Mitsubishi Electric Research Labs, 201 Broadway Cambridge, MA02139, avidan@merl.com
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献１に記載の技術は、ブースティングの技術を用いるものであるため、計算量が厖大となり、民生用の画像処理装置であるデジタルカメラに応用することは困難である。
【０００７】
本技術はこのような状況に鑑みてなされたものであり、軽い負荷で画像をトラッキングすることができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の一側面は、トラッキングの対象であるオブジェクトを含む対象画像と、第１のフレームの前記対象画像と比較される比較領域の画像である比較画像との、第１の特徴量のマッチング度と第２の特徴量のマッチング度を所定の混合率で混合して得られる信頼度の、前記混合率を変化させた場合の和で表される評価値を計算し、前記評価値が最大になるときの前記混合率を求める計算部と、前記評価値が最大になるときの前記混合率が設定された前記信頼度に基づいて、第２のフレームの前記対象画像に対応する画像を検出する検出部とを備える画像処理装置である。
【０００９】
前記第１のフレームと前記第２のフレームは、奇数フレームと偶数フレームの一方と他方とすることができる。
【００１０】
前記第２のフレームのスキャン領域のスキャン画像を前記比較画像とし、前記対象画像と前記スキャン画像の前記信頼度を演算する演算部をさらに備えることができる。
【００１１】
前記検出部は、前記対象画像と前記スキャン画像の前記信頼度が最大となる前記スキャン画像を前記対象画像に対応する画像として検出することができる。
【００１２】
前記計算部は、前記第１のフレームの基準領域の画像を前記対象画像とし、前記基準領域の前記対象画像を少なくとも一部に含む複数の領域をポジティブ領域とし、前記基準領域の前記対象画像を含まない複数の領域をネガティブ領域とし、前記基準領域の前記対象画像と複数の前記ポジティブ領域の画像との前記信頼度である第１の信頼度を計算し、前記基準領域の前記対象画像と複数の前記ネガティブ領域の画像との前記信頼度である第２の信頼度を計算し、前記第１の信頼度と前記ポジティブ領域の第１の重み係数との積和である第１の積和を計算し、前記第２の信頼度と前記ネガティブ領域の第２の重み係数との積和である第２の積和を計算し、前記第１の積和と前記第２の積和の和を前記評価値として計算することができる。
【００１３】
前記第１の重み係数は、定数を前記ポジティブ領域の数で除算した値とし、前記第２の重み係数は、前記定数を前記ネガティブ領域の数で除算した値とすることができる。
【００１４】
前記計算部は、前記第２のフレームの前記対象画像に対応する画像の座標に対応する領域であって、前記第２のフレームよりさらに後の第３のフレームの領域の画像を新たな前記対象画像として、前記第３のフレームで前記評価値を計算して、前記評価値が最大になるときの前記混合率を求め、前記検出部は、前記第３のフレームの画像に基づいて前記評価値が最大になるときの前記混合率が設定された前記信頼度に基づいて、前記第３のフレームよりさらに後の第４のフレームにおいて、前記第３のフレームの新たな前記対象画像に対応する画像を検出することができる。
【００１５】
前記対象画像に対応する画像の座標に対応する領域にマーカを表示する表示部をさらに備えることができる。
【００１６】
前記対象画像に対応する画像が画面の所定の位置に配置されるようにカメラの位置を駆動する駆動部をさらに備えることができる。
【００１７】
前記第１の特徴量は輝度情報とし、前記第２の特徴量は色情報とすることができる。
【００１８】
本技術の側面の画像処理方法、記録媒体およびプログラムは、上述した本技術の側面の画像処理装置に対応する画像処理方法、記録媒体およびプログラムである。
【００１９】
本技術の側面においては、トラッキングの対象であるオブジェクトを含む対象画像と、所定のフレームの対象画像と比較される比較領域の画像である比較画像との、第１の特徴量のマッチング度と第２の特徴量のマッチング度を所定の混合率で混合して得られる信頼度の、混合率を変化させた場合の和で表される評価値が計算され、評価値が最大になるときの混合率が求められる。評価値が最大になるときの混合率が設定された信頼度に基づいて対象画像に対応する画像が検出される。
【発明の効果】
【００２０】
以上のように、本技術の一側面によれば、軽い負荷で画像をトラッキングすることができる。
【図面の簡単な説明】
【００２１】
【図１】本技術のデジタルカメラの構成を示すブロック図である。
【図２】トラッキング処理を説明するフローチャートである。
【図３】領域の切り出しを説明する図である。
【図４】評価値を説明する図である
【図５】スキャンを説明する図である。
【図６】マーカの表示を説明する図である。
【図７】領域の切り出しを説明する図である。
【発明を実施するための形態】
【００２２】
図１は、本技術のデジタルカメラ１の構成を示すブロック図である。デジタルカメラ１は、ＣＰＵ（Central Processing Unit）１１、レンズ１２、出力部１３、入力部１４、および記憶部１５により構成されている。
【００２３】
ＣＰＵ１１は、各種の処理を実行する。レンズ１２は被写体を撮像し、その画像データをＣＰＵ１１に供給する。出力部１３は、例えばＬＣＤ（Liquid Crystal Display）などにより構成され、レンズ１２により撮像された画像を表示する。また出力部１３は、スピーカを有し、必要な警告音等を出力する。入力部１４は、ユーザにより操作されるレリーズスイッチの他、シャッタスピード、露光時間を調整する部材等により構成される。記憶部１５は、撮像された画像データを記憶したり、ＣＰＵ１１が動作するプログラムなどを記憶する。
【００２４】
駆動部４１は、例えばカメラ１が所定の台（図示せず）に搭載されている状態において、カメラ１を所定の方向にパン、チルトする。
【００２５】
ＣＰＵ１１は、取り込み部２１、切り出し部２２、初期化部２３、計算部２４、設定部２５、演算部２６、検出部２７、表示部２８、フォーカス部２９、および判定部３０の機能ブロックを有している。各部は必要に応じて信号を授受することが可能である。
【００２６】
取り込み部２１は、画像の取り込みを行う。切り出し部２２は、取り込まれた画像から所定の部分の切り出しを行う。初期化部２３は、係数を初期化する。計算部２４は、各所の計算を実行する。設定部２５は、係数の設定を行う。演算部２６は、各所の演算を実行する。検出部２７は、位置を検出する。表示部２８は、マーカを表示する。フォーカス部２９は、フォーカス調整を行う。判定部３０は、各種の判定処理を行う。
【００２７】
この実施の形態においては、各部はプログラムを実行する場合に機能的に構成されるが、ハードウェアとして構成してもよいことは勿論である。
【００２８】
図２は、トラッキング処理を説明するフローチャートである。以下、この図２を参照して、デジタルカメラ１のトラッキング処理について説明する。
【００２９】
ステップＳ１において取り込み部２１は、画像を取り込む。すなわちレンズ１２が撮像した画像の所定のフレームＦ１の画像が取り込まれる。この取り込みは、レンズ１２により撮像され、記憶部１５に記憶された画像から行われる。
【００３０】
ステップＳ２において切り出し部２２は、ステップＳ１の処理で取り込まれたフレームの画像から、オブジェクトを含む領域と含まない領域とを切り出す。オブジェクトとはユーザがトラッキングを希望する対象の画像であり、例えば被写体の顔である。この顔の切り出しについて図３を参照して説明する。
【００３１】
図３は、領域の切り出しを説明する図である。図３に示されるように、ステップＳ１の処理で取り込まれた画像であるフレーム１０１（フレームＦ１に対応する）に、オブジェクト１０２が表示されている。オブジェクト１０２を含む例えば矩形の領域が基準領域１１１−０とされる。そして基準領域１１１−０内の画像が対象画像１１４とされる。後述するステップＳ１０の処理でマーカ２３１が、その後のフレーム２０１（フレームＦ２に対応する）上に表示されている場合には（後述する図６を参照）、フレーム２０１上のマーカ２３１の座標に対応するフレーム１０１上の領域が基準領域１１１−０とされる。まだステップＳ１０の処理が実行される前の最初のフレームでは、ユーザが入力部１４を操作することで指定した点を中心とする矩形の領域が基準領域１１１−０とされる。
【００３２】
ステップＳ２では、この基準領域１１１−０の対象画像１１４の少なくとも一部を含む領域１１１−１，１１１−２，・・・，１１１−Ｎｐが切り出される。すなわちＮｐ個の領域が基準領域１１１−０の対象画像１１４を含むポジティブ領域として切り出される。同様に、基準領域１１１−０の対象画像１１４を全く含まない領域１１２−１，１１２−２，・・・，１１２−Ｎｎが切り出される。すなわちＮｎ個の領域が基準領域１１１−０の対象画像１１４を含まないネガティブ領域として切り出される。
【００３３】
次にステップＳ３において初期化部２３は、各領域の重み係数ｗＰ，ｗＮを初期化する。重み係数ｗＰ，ｗＮは、次の式（１）により表される。重み係数ｗＰは、ポジティブ領域１１１−Ｊ（Ｊ＝１，２,・・・，Ｎｐ）の重み係数であり、重み係数ｗＮは、ネガティブ領域１１２−Ｊ（Ｊ＝１，２,・・・，Ｎｎ）の重み係数である。
【００３４】
【数１】
【００３５】
式（１）で表されるように、ポジティブ領域の重み係数ｗＰは、定数ＧＰをポジティブ領域の数Ｎｐで除算した値であり、ネガティブ領域の重み係数ｗＮは、定数ＧＮをネガティブ領域の数Ｎｎで除算した値である。ポジティブ領域の重み係数ｗＰの値は各領域１１１−Ｊにおいて同一である。同様に、ネガティブ領域の重み係数ｗＮの値は各領域１１２−Ｊにおいて同一である。定数ＧＰ，ＧＮの値は、デジタルカメラ１の工場出荷時に予め決定され、設定される。
【００３６】
定数ＧＰ，ＧＮの値は、例えばいずれも０．５に設定したり、定数ＧＰの値を０．８とし、定数ＧＮの値を０．２とすることもできる。重み係数ｗＰ，ｗＮのうち、対応する定数がより大きい値に設定された方の重みがより強くなる。定数ＧＰ，ＧＮの値を所定の値に設定することで、重み係数ｗＰと重み係数ｗＮのバランスを、適宜調整することができる。
【００３７】
ステップＳ４において計算部２４は、評価値Eval(K)を計算する。評価値Eval(K)は、式（２）で表される。式（２）における信頼度Confidence（K）は、式（３）で表される。Ｋは、例えば０乃至２５６のように、変化される整数値である。
【００３８】
【数２】
【数３】
【００３９】
すなわち、式（２）では、基準領域１１１−０の対象画像１１４と、複数のポジティブ領域１１１−１，１１１−２，・・・の画像との信頼度Confidence（K）が第１の信頼度とされる。これが式（２）の右辺の第１項の信頼度Confidence（K）である。基準領域１１１−０の対象画像１１４と複数のネガティブ領域１１２−１，１１２−２，・・・の画像との信頼度Confidence（K）が第２の信頼度とされる。これが式（２）の右辺の第２項の信頼度Confidence（K）である。第１の信頼度とポジティブ領域１１１−１，１１１−２，・・・の第１の重み係数ｗＰとの積和が第１の積和とされ、第２の信頼度とネガティブ領域１１２−１，１１２−２，・・・の第２の重み係数ｗＮとの積和が第２の積和とされる。そして第１の積和と第２の積和の和が評価値Eval(K)とされる。
【００４０】
式（３）におけるfeat_Aは、トラッキングする対象であるオブジェクトを含む対象画像１１４と比較画像の第１の特徴量（例えば輝度情報）のマッチング度であり、feat_Bは、第２の特徴量（例えば色情報）のマッチング度である。Ｋは、第１の特徴量のマッチング度feat_Aと第２の特徴量のマッチング度feat_Bの混合率を意味する。式（３）から判るように、信頼度Confidence（K）は、比較画像が、対象画像１１４と一致する確からしさを表しており、その値が大きい程、比較画像が対象画像１１４と一致する可能性が高い。勿論、輝度情報と色情報以外の特徴量を用いることができる。
【００４１】
式（２）における右辺の第1項のΣのtrueは、ポジティブ領域のConfidence（K）だけを積和することを意味する。式（２）における右辺の第１項のポジティブ領域のConfidence（K）を計算する場合において対象画像１１４と比較される比較画像は、ポジティブ領域１１１−Ｊの画像である。同様に、第２項のΣのtrueは、ネガティブ領域のConfidence（K）だけを積和することを意味する。式（２）における右辺の第２項のネガティブ領域のConfidence（K）を計算する場合において対象画像１１４と比較される比較画像は、ネガティブ領域１１２−Ｊの画像である。
【００４２】
ステップＳ５において計算部２４は、評価値Eval(K)の値を最大とする混合率Ｋｍを求める。すなわち、混合率Ｋの値を０乃至２５６に順次変化させて、評価値Eval(K)の値が計算される。そして２５７個の評価値Eval(K)の値の中から最大のものが選択され、評価値Eval(K)の値を最大とする混合率Ｋｍが決定される。
【００４３】
図４は、評価値を説明する図である。混合率Ｋの値を０乃至２５６に順次変化させると、評価値Eval(K)の値は図４に示されるように変化する。図４の例では、評価値Eval(K)の値を最大にする混合率Ｋは、Ｋｍである。評価値Eval(K)の値を最大にする混合率Ｋｍが、そのフレームのオブジェクト１０２を含む対象画像１１４を検出するのに最適な混合率である。ステップＳ８，Ｓ９で後述するように、次のフレームでは、この混合率Ｋｍを用いて信頼度Confidence(K)が演算される。つまり評価値Eval(K)は、最適な混合率Ｋｍを決定するための関数である。
【００４４】
そこでステップＳ６において設定部２５は、式（３）の信頼度Confidence(K)に、ステップＳ５で求められた混合率Ｋｍを設定する。
【００４５】
以上のようにしてステップＳ１乃至Ｓ６の処理により、第１のフレームで混合率Ｋの学習処理が行われた後、続くステップＳ７乃至Ｓ１１により第２のフレームでトラッキング処理が行われる。
【００４６】
ステップＳ７において取り込み部２１は画像を取り込む。つまりステップＳ１で取り込まれたフレームＦ１の次のフレームＦ２の画像が記憶部１５から読み出され、取り込まれる。
【００４７】
ステップＳ８において演算部２６は、取り込んだ画像上でスキャン画像をスキャンし、各スキャン画像の信頼度Confidence(K)を演算する。すなわちステップＳ２の処理で、フレームＦ１の基準領域１１１−０の画像が対象画像１１４として決定されている。現在のフレーム（つまりステップＳ７で取り込まれたフレームＦ２）上の所定の位置の、対象画像１１４に対応する大きさのスキャン領域のスキャン画像が比較画像として抽出され、対象画像１１４と比較される。そして対象画像１１４とスキャン画像の間の第１の特徴量のマッチング度feat_Aと第２の特徴量のマッチング度feat_Bが演算される。演算された第１の特徴量のマッチング度feat_Aと第２の特徴量のマッチング度feat_Bを式（３）に適用して、信頼度Confidence(K)が演算される。このときの混合率Ｋとしては、ステップＳ６で設定された値Ｋｍが用いられる。
【００４８】
図５は、スキャンを説明する図である。図５に示されるように、ステップＳ７で取り込まれたフレーム２０１（すなわちフレームＦ２）上の所定の位置のスキャン領域２２１−１のスキャン画像２２２−１が比較画像として抽出され、ステップＳ２で指定された前のフレームＦ１の対象画像１１４と比較される。スキャン領域２２１−１の大きさは、基準領域１１１−０と同じ大きさとされている。つまり、スキャン画像２２２−１は対象画像１１４と同じ大きさとされている。式（３）の混合率Ｋの値が最大値Ｋｍに設定された状態で、対象画像２１１とスキャン画像２２２−１との信頼度Confidence(K)が演算される。
【００４９】
フレーム２０１上の比較領域は、比較領域２１１−１，２１１−２，２１１−３，・・・と順次移動され、同様の処理が繰り返される。フレーム２０１上のスキャンする範囲は、フレーム２０１の全体とすることもできるが、ステップＳ２で指定された基準領域１１１−０の座標（すなわち前回のステップＳ１０の処理でマーカ２３１が表示された座標）を基準として、そこから所定の距離の範囲内とすることもできる。スキャンする範囲を制限した方が計算量を少なくすることができる。
【００５０】
ステップＳ９において検出部２７は、信頼度Confidence(K)が最大となる領域を検出する。すなわち、ステップＳ８の処理で演算された各スキャン領域２２１−Ｊ（Ｊ＝１，２，・・・）の信頼度Confidence(K)の中から、最も大きな値の信頼度Confidence(K)が選択され、その信頼度Confidence(K)に対応するスキャン領域２２１−Ｍが選択される。そして、そのフレーム２０１（フレームＦ２）上のスキャン領域２２１−Ｍの画像が、フレーム１０１（フレームＦ１）上の対象画像１１４に対応する画像２３２とされる。つまり、フレーム１０１上の基準領域１１１−０の対象画像１１４が、フレームＦ２のスキャン領域２２１−Ｍに移動し、画像２３２として表示されているものと判断される（後述する図６を参照）。
【００５１】
ステップＳ１０で表示部２８は、検出された位置にマーカ２３１を表示する。図６は、マーカ２３１の表示を説明する図である。図６においては、スキャン領域２２１−Ｍにオブジェクト１０２を含む画像２３２が表示されている。そしてスキャン領域２２１−Ｍの位置にマーカ２３１が表示されている。つまり画像２３２に対してマーカ２３２が表示されている。フォーカス部２９は、マーカ２３１内に表示されている画像２３２を基準にフォーカスが合うように、レンズ１２を駆動、調整する。ユーザはこのマーカ２３１を見て、いまどこにフォーカスが合っているのかを確認することができる。
【００５２】
ステップＳ１１において判定部３０は、トラッキングを終了するかを判定する。ユーザが入力部１４を操作して、トラッキングの中止を指令した場合、トラッキング処理は終了される。
【００５３】
トラッキングの中止が指令されていない場合、処理はステップＳ１に戻り、さらに次のフレームＦ３の画像が取り込まれる。そしてステップＳ２においてオブジェクトを含む領域を切り出す処理が行われる。最初のフレームＦ１の場合、まだステップＳ１０の処理が行われていないので、ユーザにより指定された位置に基づいて基準領域１１１−０が設定された。しかしいまの場合、ステップＳ１０の処理で前回の対象画像１１４に対応する画像２３２の座標が判っているので、フレーム２０１のマーカ２３１が表示されている領域２２１−Ｍに対応する座標の次のフレーム３０１の領域が新たな基準領域１１１−０とされ、そこを基準に切り出し処理が行われる。
【００５４】
図７は、２回目の領域の切り出しを説明する図である。図７に示されるように、２回目のステップＳ１の処理で新たに取り込まれたフレーム３０１（すなわちフレームＦ３）の領域３１１−０は、１フレーム前の図６のフレーム２０１（すなわちフレームＦ２）上のスキャン領域２２１−Ｍに対応する領域である。この領域３１１−０が新たなフレーム３０１の基準領域とされ、そこに表示されている画像が新たな対象画像３１４とされる。切り出し部２２は、この新たな基準領域３１１−０を基準として、新たなポジティブ領域３１１−１，３１１−２，・・・と、新たなネガティブ領域３１２−１，３１２−２，・・・を切り出す。
【００５５】
以下、同様の処理が行われる。すなわち、フレームＦ２の対象画像１１４に対応する画像２３２の座標に対応する領域であって、フレームＦ２よりさらに後のフレームＦ３の領域の画像が新たな対象画像３１４とされ、フレームＦ３で評価値Eval(K)が計算される。つまり、新たな対象画像３１４と、新たなポジティブ領域３１１−１，３１１−２，・・・、並びに新たなネガティブ領域３１２−１，３１２−２，・・・との間における評価値Eval(K)が計算される。
【００５６】
さらに計算された評価値Eval(K)が最大になるときの混合率Ｋｍが求められる。そして、フレームＦ３の画像に基づいて評価値Eval(K)が最大になるときの混合率Ｋｍが設定された信頼度Confidence(K)に基づいて、フレームＦ３よりさらに後のフレームＦ４（図示せず）において、フレームＦ３の新たな対象画像３１４に対応する画像が検出される。
【００５７】
このような処理が、各フレーム毎に繰り返されて、オブジェクト１０２が移動すると、その移動先をマーカ２３１がトラッキングし、表示される。ステップＳ１乃至Ｓ６の処理は、連続する奇数フレームと偶数フレームの一方で実行され、ステップＳ７乃至Ｓ１１の処理は、他方で実行される。
【００５８】
なお、式（２）の右辺の第２項は、省略することも可能である。ただしこの場合、省略しない場合に比べてトラッキングの機能の質は低下する。
【００５９】
また、式（３）における正規化処理に代えて、すなわち値２５６による除算をせずに、（２５６−Ｋ）の代わりに、（１−Ｋ）を用いるようにしてもよい。
【００６０】
さらにステップＳ１０においてマーカ２３１を表示させるようにしたが、駆動部４１を駆動して、常に、オブジェクト１０２がフレーム内の所定の位置（例えば中央）に位置するようにカメラ１の位置をパン、チルトして制御することもできる。
【００６１】
本技術は、フレーム毎に得られる情報だけを利用しており、例えば動きベクトルのような複数のフレーム間の画像から得られる情報を利用したり、測距装置などを利用していないので、処理が迅速かつ簡単になる。また、本技術は、演算量が少ないので、デジタルカメラの他、ビデオカメラ、監視カメラ、その他の小型で安価な画像処理装置に適用し、リアルタイムでオブジェクトをトラッキングすることができる。
【００６２】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることができる。
【００６３】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、記憶部１５に記憶される。
【００６４】
なお、本明細書において、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００６５】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【００６６】
本技術は、以下のような構成もとることができる。
（１）
トラッキングの対象であるオブジェクトを含む対象画像と、第１のフレームの前記対象画像と比較される比較領域の画像である比較画像との、第１の特徴量のマッチング度と第２の特徴量のマッチング度を所定の混合率で混合して得られる信頼度の、前記混合率を変化させた場合の和で表される評価値を計算し、前記評価値が最大になるときの前記混合率を求める計算部と、
前記評価値が最大になるときの前記混合率が設定された前記信頼度に基づいて、第２のフレームの前記対象画像に対応する画像を検出する検出部と
を備える画像処理装置。
（２）
前記第１のフレームと前記第２のフレームは、奇数フレームと偶数フレームの一方と他方である
前記（１）に記載の画像処理装置。
（３）
前記第２のフレームのスキャン領域のスキャン画像を前記比較画像とし、前記対象画像と前記スキャン画像の前記信頼度を演算する演算部をさらに備える
前記（１）または（２）に記載の画像処理装置。
（４）
前記検出部は、前記対象画像と前記スキャン画像の前記信頼度が最大となる前記スキャン画像を前記対象画像に対応する画像として検出する
前記（１）、（２）または（３）に記載の画像処理装置。
（５）
前記計算部は、前記第１のフレームの基準領域の画像を前記対象画像とし、前記基準領域の前記対象画像を少なくとも一部に含む複数の領域をポジティブ領域とし、前記基準領域の前記対象画像を含まない複数の領域をネガティブ領域とし、前記基準領域の前記対象画像と複数の前記ポジティブ領域の画像との前記信頼度である第１の信頼度を計算し、前記基準領域の前記対象画像と複数の前記ネガティブ領域の画像との前記信頼度である第２の信頼度を計算し、前記第１の信頼度と前記ポジティブ領域の第１の重み係数のと積和である第１の積和を計算し、前記第２の信頼度と前記ネガティブ領域の第２の重み係数との積和である第２の積和を計算し、前記第１の積和と前記第２の積和の和を前記評価値として計算する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記第１の重み係数は、定数を前記ポジティブ領域の数で除算した値であり、前記第２の重み係数は、前記定数を前記ネガティブ領域の数で除算した値である
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記計算部は、前記第２のフレームの前記対象画像に対応する画像の座標に対応する領域であって、前記第２のフレームよりさらに後の第３のフレームの領域の画像を新たな前記対象画像として、前記第３のフレームで前記評価値を計算して、前記評価値が最大になるときの前記混合率を求め、
前記検出部は、前記第３のフレームの画像に基づいて前記評価値が最大になるときの前記混合率が設定された前記信頼度に基づいて、前記第３のフレームよりさらに後の第４のフレームにおいて、前記第３のフレームの新たな前記対象画像に対応する画像を検出する
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記対象画像に対応する画像の座標に対応する領域にマーカを表示する表示部をさらに備える
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記対象画像に対応する画像が画面の所定の位置に配置されるようにカメラの位置を駆動する駆動部をさらに備える
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）
前記第１の特徴量は輝度情報であり、
前記第２の特徴量は色情報である
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１）
トラッキングの対象であるオブジェクトを含む対象画像と、所定のフレームの前記対象画像と比較される比較領域の画像である比較画像との、第１の特徴量のマッチング度と第２の特徴量のマッチング度を所定の混合率で混合して得られる信頼度の、前記混合率を変化させた場合の和で表される評価値を計算し、前記評価値が最大になるときの前記混合率を求める計算ステップと、
前記評価値が最大になるときの前記混合率が設定された前記信頼度に基づいて前記対象画像に対応する画像を検出する検出ステップと
を含む画像処理方法。
（１２）
トラッキングの対象であるオブジェクトを含む対象画像と、所定のフレームの前記対象画像と比較される比較領域の画像である比較画像との、第１の特徴量のマッチング度と第２の特徴量のマッチング度を所定の混合率で混合して得られる信頼度の、前記混合率を変化させた場合の和で表される評価値を計算し、前記評価値が最大になるときの前記混合率を求める計算ステップと、
前記評価値が最大になるときの前記混合率が設定された前記信頼度に基づいて前記対象画像に対応する画像を検出する検出ステップと
を含む処理をコンピュータに実行させるプログラムが記録されている記録媒体。
（１３）
トラッキングの対象であるオブジェクトを含む対象画像と、所定のフレームの前記対象画像と比較される比較領域の画像である比較画像との、第１の特徴量のマッチング度と第２の特徴量のマッチング度を所定の混合率で混合して得られる信頼度の、前記混合率を変化させた場合の和で表される評価値を計算し、前記評価値が最大になるときの前記混合率を求める計算ステップと、
前記評価値が最大になるときの前記混合率が設定された前記信頼度に基づいて前記対象画像に対応する画像を検出する検出ステップと
を含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【００６７】
１ デジタルカメラ， １２ レンズ， １３ 出力部， １４ 入力部， １５ 記憶部， ２１ 取り込み部， ２２ 切り出し部， ２３ 初期化部， ２４ 計算部， ２５ 設定部， ２６ 演算部， ２７ 検出部， ２８ 表示部， ２９ フォーカス部， ３０ 判定部
【特許請求の範囲】
【請求項１】
トラッキングの対象であるオブジェクトを含む対象画像と、第１のフレームの前記対象画像と比較される比較領域の画像である比較画像との、第１の特徴量のマッチング度と第２の特徴量のマッチング度を所定の混合率で混合して得られる信頼度の、前記混合率を変化させた場合の和で表される評価値を計算し、前記評価値が最大になるときの前記混合率を求める計算部と、
前記評価値が最大になるときの前記混合率が設定された前記信頼度に基づいて、第２のフレームの前記対象画像に対応する画像を検出する検出部と
を備える画像処理装置。
【請求項２】
前記第１のフレームと前記第２のフレームは、奇数フレームと偶数フレームの一方と他方である
請求項１に記載の画像処理装置。
【請求項３】
前記第２のフレームのスキャン領域のスキャン画像を前記比較画像とし、前記対象画像と前記スキャン画像の前記信頼度を演算する演算部をさらに備える
請求項２に記載の画像処理装置。
【請求項４】
前記検出部は、前記対象画像と前記スキャン画像の前記信頼度が最大となる前記スキャン画像を前記対象画像に対応する画像として検出する
請求項３に記載の画像処理装置。
【請求項５】
前記計算部は、前記第１のフレームの基準領域の画像を前記対象画像とし、前記基準領域の前記対象画像を少なくとも一部に含む複数の領域をポジティブ領域とし、前記基準領域の前記対象画像を含まない複数の領域をネガティブ領域とし、前記基準領域の前記対象画像と複数の前記ポジティブ領域の画像との前記信頼度である第１の信頼度を計算し、前記基準領域の前記対象画像と複数の前記ネガティブ領域の画像との前記信頼度である第２の信頼度を計算し、前記第１の信頼度と前記ポジティブ領域の第１の重み係数のと積和である第１の積和を計算し、前記第２の信頼度と前記ネガティブ領域の第２の重み係数との積和である第２の積和を計算し、前記第１の積和と前記第２の積和の和を前記評価値として計算する
請求項４に記載の画像処理装置。
【請求項６】
前記第１の重み係数は、定数を前記ポジティブ領域の数で除算した値であり、前記第２の重み係数は、前記定数を前記ネガティブ領域の数で除算した値である
請求項５に記載の画像処理装置。
【請求項７】
前記計算部は、前記第２のフレームの前記対象画像に対応する画像の座標に対応する領域であって、前記第２のフレームよりさらに後の第３のフレームの領域の画像を新たな前記対象画像として、前記第３のフレームで前記評価値を計算して、前記評価値が最大になるときの前記混合率を求め、
前記検出部は、前記第３のフレームの画像に基づいて前記評価値が最大になるときの前記混合率が設定された前記信頼度に基づいて、前記第３のフレームよりさらに後の第４のフレームにおいて、前記第３のフレームの新たな前記対象画像に対応する画像を検出する
請求項５に記載の画像処理装置。
【請求項８】
前記対象画像に対応する画像の座標に対応する領域にマーカを表示する表示部をさらに備える
請求項５に記載の画像処理装置。
【請求項９】
前記対象画像に対応する画像が画面の所定の位置に配置されるようにカメラの位置を駆動する駆動部をさらに備える
請求項５に記載の画像処理装置。
【請求項１０】
前記第１の特徴量は輝度情報であり、
前記第２の特徴量は色情報である
請求項５に記載の画像処理装置。
【請求項１１】
トラッキングの対象であるオブジェクトを含む対象画像と、所定のフレームの前記対象画像と比較される比較領域の画像である比較画像との、第１の特徴量のマッチング度と第２の特徴量のマッチング度を所定の混合率で混合して得られる信頼度の、前記混合率を変化させた場合の和で表される評価値を計算し、前記評価値が最大になるときの前記混合率を求める計算ステップと、
前記評価値が最大になるときの前記混合率が設定された前記信頼度に基づいて前記対象画像に対応する画像を検出する検出ステップと
を含む画像処理方法。
【請求項１２】
トラッキングの対象であるオブジェクトを含む対象画像と、所定のフレームの前記対象画像と比較される比較領域の画像である比較画像との、第１の特徴量のマッチング度と第２の特徴量のマッチング度を所定の混合率で混合して得られる信頼度の、前記混合率を変化させた場合の和で表される評価値を計算し、前記評価値が最大になるときの前記混合率を求める計算ステップと、
前記評価値が最大になるときの前記混合率が設定された前記信頼度に基づいて前記対象画像に対応する画像を検出する検出ステップと
を含む処理をコンピュータに実行させるプログラムが記録されている記録媒体。
【請求項１３】
トラッキングの対象であるオブジェクトを含む対象画像と、所定のフレームの前記対象画像と比較される比較領域の画像である比較画像との、第１の特徴量のマッチング度と第２の特徴量のマッチング度を所定の混合率で混合して得られる信頼度の、前記混合率を変化させた場合の和で表される評価値を計算し、前記評価値が最大になるときの前記混合率を求める計算ステップと、
前記評価値が最大になるときの前記混合率が設定された前記信頼度に基づいて前記対象画像に対応する画像を検出する検出ステップと
を含む処理をコンピュータに実行させるプログラム。
【請求項１】
トラッキングの対象であるオブジェクトを含む対象画像と、第１のフレームの前記対象画像と比較される比較領域の画像である比較画像との、第１の特徴量のマッチング度と第２の特徴量のマッチング度を所定の混合率で混合して得られる信頼度の、前記混合率を変化させた場合の和で表される評価値を計算し、前記評価値が最大になるときの前記混合率を求める計算部と、
前記評価値が最大になるときの前記混合率が設定された前記信頼度に基づいて、第２のフレームの前記対象画像に対応する画像を検出する検出部と
を備える画像処理装置。
【請求項２】
前記第１のフレームと前記第２のフレームは、奇数フレームと偶数フレームの一方と他方である
請求項１に記載の画像処理装置。
【請求項３】
前記第２のフレームのスキャン領域のスキャン画像を前記比較画像とし、前記対象画像と前記スキャン画像の前記信頼度を演算する演算部をさらに備える
請求項２に記載の画像処理装置。
【請求項４】
前記検出部は、前記対象画像と前記スキャン画像の前記信頼度が最大となる前記スキャン画像を前記対象画像に対応する画像として検出する
請求項３に記載の画像処理装置。
【請求項５】
前記計算部は、前記第１のフレームの基準領域の画像を前記対象画像とし、前記基準領域の前記対象画像を少なくとも一部に含む複数の領域をポジティブ領域とし、前記基準領域の前記対象画像を含まない複数の領域をネガティブ領域とし、前記基準領域の前記対象画像と複数の前記ポジティブ領域の画像との前記信頼度である第１の信頼度を計算し、前記基準領域の前記対象画像と複数の前記ネガティブ領域の画像との前記信頼度である第２の信頼度を計算し、前記第１の信頼度と前記ポジティブ領域の第１の重み係数のと積和である第１の積和を計算し、前記第２の信頼度と前記ネガティブ領域の第２の重み係数との積和である第２の積和を計算し、前記第１の積和と前記第２の積和の和を前記評価値として計算する
請求項４に記載の画像処理装置。
【請求項６】
前記第１の重み係数は、定数を前記ポジティブ領域の数で除算した値であり、前記第２の重み係数は、前記定数を前記ネガティブ領域の数で除算した値である
請求項５に記載の画像処理装置。
【請求項７】
前記計算部は、前記第２のフレームの前記対象画像に対応する画像の座標に対応する領域であって、前記第２のフレームよりさらに後の第３のフレームの領域の画像を新たな前記対象画像として、前記第３のフレームで前記評価値を計算して、前記評価値が最大になるときの前記混合率を求め、
前記検出部は、前記第３のフレームの画像に基づいて前記評価値が最大になるときの前記混合率が設定された前記信頼度に基づいて、前記第３のフレームよりさらに後の第４のフレームにおいて、前記第３のフレームの新たな前記対象画像に対応する画像を検出する
請求項５に記載の画像処理装置。
【請求項８】
前記対象画像に対応する画像の座標に対応する領域にマーカを表示する表示部をさらに備える
請求項５に記載の画像処理装置。
【請求項９】
前記対象画像に対応する画像が画面の所定の位置に配置されるようにカメラの位置を駆動する駆動部をさらに備える
請求項５に記載の画像処理装置。
【請求項１０】
前記第１の特徴量は輝度情報であり、
前記第２の特徴量は色情報である
請求項５に記載の画像処理装置。
【請求項１１】
トラッキングの対象であるオブジェクトを含む対象画像と、所定のフレームの前記対象画像と比較される比較領域の画像である比較画像との、第１の特徴量のマッチング度と第２の特徴量のマッチング度を所定の混合率で混合して得られる信頼度の、前記混合率を変化させた場合の和で表される評価値を計算し、前記評価値が最大になるときの前記混合率を求める計算ステップと、
前記評価値が最大になるときの前記混合率が設定された前記信頼度に基づいて前記対象画像に対応する画像を検出する検出ステップと
を含む画像処理方法。
【請求項１２】
トラッキングの対象であるオブジェクトを含む対象画像と、所定のフレームの前記対象画像と比較される比較領域の画像である比較画像との、第１の特徴量のマッチング度と第２の特徴量のマッチング度を所定の混合率で混合して得られる信頼度の、前記混合率を変化させた場合の和で表される評価値を計算し、前記評価値が最大になるときの前記混合率を求める計算ステップと、
前記評価値が最大になるときの前記混合率が設定された前記信頼度に基づいて前記対象画像に対応する画像を検出する検出ステップと
を含む処理をコンピュータに実行させるプログラムが記録されている記録媒体。
【請求項１３】
トラッキングの対象であるオブジェクトを含む対象画像と、所定のフレームの前記対象画像と比較される比較領域の画像である比較画像との、第１の特徴量のマッチング度と第２の特徴量のマッチング度を所定の混合率で混合して得られる信頼度の、前記混合率を変化させた場合の和で表される評価値を計算し、前記評価値が最大になるときの前記混合率を求める計算ステップと、
前記評価値が最大になるときの前記混合率が設定された前記信頼度に基づいて前記対象画像に対応する画像を検出する検出ステップと
を含む処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−２０３６１３（Ｐ２０１２−２０３６１３Ａ）
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願番号】特願２０１１−６７１３８（Ｐ２０１１−６７１３８）
【出願日】平成２３年３月２５日（２０１１．３．２５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願日】平成２３年３月２５日（２０１１．３．２５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]