移動体追尾装置および方法
【課題】被写体の追尾における画像特徴量の重み付け評価に用いられる重みの更新を適切な入力画像から行えるようにし、被写体追尾の信頼性を向上する。
【解決手段】被写体認識部１４０は、入力画像において特定の被写体が存在する被写体領域を認識し、その認識の信頼度を出力する。追尾評価値算出部１７０は、入力画像から抽出した部分領域であって被写体領域を含む移動体領域と、後続の入力画像より抽出した抽出領域との間で、複数種類の画像特徴量について重み付け評価をする。移動体判定部１８０は、重み付け評価の結果に基づいて後続の入力画像における移動体領域に対応する領域を決定することにより、特定の被写体を追尾する。重み算出部１５０は、被写体認識部１４０により出力された信頼度が閾値を超えている場合に、上記重み付け評価に用いられる重みを、当該認識が行われた入力画像に基づいて更新する。
【解決手段】被写体認識部１４０は、入力画像において特定の被写体が存在する被写体領域を認識し、その認識の信頼度を出力する。追尾評価値算出部１７０は、入力画像から抽出した部分領域であって被写体領域を含む移動体領域と、後続の入力画像より抽出した抽出領域との間で、複数種類の画像特徴量について重み付け評価をする。移動体判定部１８０は、重み付け評価の結果に基づいて後続の入力画像における移動体領域に対応する領域を決定することにより、特定の被写体を追尾する。重み算出部１５０は、被写体認識部１４０により出力された信頼度が閾値を超えている場合に、上記重み付け評価に用いられる重みを、当該認識が行われた入力画像に基づいて更新する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体追尾装置および方法に関し、より具体的には、撮像された画像において所定の対象物を追尾する移動体追尾装置および方法に関する。
【背景技術】
【０００２】
一般に、移動被写体を撮影する際に自動的に被写体を追尾して、焦点検出や露出演算を行うデジタルカメラが知られている。デジタルカメラ等の撮像装置により入力された画像内で被写体を特定し追尾する技術に関しては様々な方法が提案されている。例えば移動物体の色やヒストグラムなどの特徴量に注目して追尾制御を行うものがある（特許文献２を参照）。また、この他にも、移動物体の一部をテンプレートとして記憶して追尾を行う方式や、動きベクトルに注目して追尾を行う方式などが知られている。
【０００３】
特定された被写体から抽出した特徴量に基づいて時間軸上でフレーム間のマッチングを取り、被写体を含む一定領域を切り出すことによって追尾を行う場合、輝度信号および色信号の差分の合計を追尾のための評価値として用いる方法がある。しかしながら同輝度の背景に対して輝度信号を用いたり、彩度の低い領域に対して色信号を用いたりして評価値を算出すると、追尾の精度が低下するという課題があった。そこで、被写体と背景に応じて適した重みを輝度信号および色信号に持たせることにより、すなわち、重み付け評価を行うことにより評価値の信頼性を向上することが提案されている。
【０００４】
特許文献１では、カメラから入力された画像を複数の領域に分割し、輝度や色などその領域の特徴量と背景の特徴量をフレーム毎に更新し比較することで移動物体を検出し追尾する構成が記載されている。また、特許文献２では、カメラから入力された画像から特定の被写体を抽出するために、被写体領域の色成分や明度成分などの重み付け加算量を特徴量として用いる構成が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−０４３３７６号公報
【特許文献２】特開２０００−０３２４４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１、特許文献２に記載されている構成では、重み付け評価に用いられる重みを更新するタイミングについて考慮がなされていない。すなわち、重みを更新するための画像として適切か否かを判断することは考慮されていない。例えば、特許文献１に記載されている構成では、被写体領域を正しく認識できていないタイミングに色成分と明度成分に対するそれぞれの重みを更新する可能性がある。そして、そのような更新が行われると、その時点での被写体と背景に適した評価値を算出することができなくなり、追尾を行う場合に精度が低下してしまう。また、特許文献２に開示されている構成では、同様に輝度と彩度の重みを更新するタイミングが考慮されていないため、被写体領域と背景領域によっては追尾に適した評価値を算出することができない。以上のように、移動体の追尾において入力画像の一部領域と移動体領域から評価値を算出する際に、移動体とその背景に応じて適した重みを輝度信号および色信号に持たせることにより、評価値の信頼性を向上することは提案されている。しかしながら、重みを更新するタイミングによっては追尾の精度が低下してしまうという課題があり、このような課題については考慮されていない。
【０００７】
本発明は、上記の課題に鑑みてなされたものであり、被写体の追尾における画像特徴量の重み付け評価に用いられる重みの更新を適切な入力画像から行えるようにし、被写体追尾の信頼性を向上することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するための本発明の一態様による被写体追尾装置は以下の構成を備える。すなわち、
入力画像において特定の被写体が存在する被写体領域を認識し、その認識の信頼度を出力する認識手段と、
前記入力画像から抽出した部分領域であって前記被写体領域を含む移動体領域と、後続の入力画像より抽出した抽出領域との間で、複数種類の画像特徴量について重み付け評価をする評価手段と、
前記評価手段による評価の結果に基づいて前記移動体領域に対応する抽出領域を決定することにより、前記後続の入力画像において前記特定の被写体を追尾する追尾手段と、
前記認識手段が出力した信頼度が閾値を超えている場合に、前記評価手段が行う重み付け評価に用いられる重みを、当該認識が行われた前記入力画像に基づいて更新する更新手段とを備える。
【発明の効果】
【０００９】
本発明によれば、被写体の追尾における画像特徴量の重み付け評価に用いられる重みの更新を適切な入力画像から行えるようになり、被写体追尾の信頼性が向上する。
【図面の簡単な説明】
【００１０】
【図１】実施形態のデジタルカメラの構成を示すブロック図。
【図２】実施形態による移動体追尾の処理を示すフローチャート。
【図３】追尾評価値算出に用いる重みを更新するタイミングを表す図。
【図４】撮影されるフレーム画像に被写体認識枠と追尾枠を重ね合わせた図。
【図５】撮影されたフレーム画像と認識した被写体領域を説明する図。
【図６】輝度の平均値と式差の平均値の差分に対する重みを示す図。
【発明を実施するための形態】
【００１１】
以下、添付の図面を参照して本発明の実施形態を詳細に説明する。
まず、被写体の追尾について説明する。連続して撮影されるフレーム画像において移動体の位置を判定する際には、前フレームに移動体を含む領域と判定した領域に対して移動体に最も近いと思われる領域への動きベクトルを求める。このとき評価値として、入力された画像の一部の領域と特定の領域に対して輝度信号と色信号の差分値の合計を順次求めていき、入力画像においてその合計値が最小となる領域を移動体領域であると判定する。図５を用いてこれらを説明していく。
【００１２】
図５の（ａ）は撮影されたフレーム画像８００を示しており、サイズは1440×720であるとする。抽出領域８１０は、フレーム画像８００から切り出した120×120のサイズを持つ部分領域である。図５の（ｂ）の移動体領域７００は、図５の（ａ）よりも前の時間に撮影されたフレーム画像から移動体の領域として判定された、サイズが120×120の画像である。撮影されたフレームにおける位置(X, Y )から120×120の抽出領域８１０を切り出して、移動体領域７００と輝度および色差の差分の合計を求める。すなわち、評価値Ｅを以下の［数１］式により算出する。
【数１】
【００１３】
ここで、Yinは撮影されたフレーム画像８００から切り出した位置（x, y）における輝度信号、Yは移動体領域７００の位置（x,y）における輝度信号である。同様に、UinおよびVinは撮影されたフレーム画像８００から切り出した位置（x, y）における色差信号、UおよびVは移動体領域７００の位置（x,y）における色差信号である。また、上記の［数１］式において、a、b、cは各差分値に付加される重みである。これを撮影されたフレーム画像に対して順次算出していき、値が最小となる位置(X, Y )を新たな移動体領域と判定する。
【００１４】
図１に、移動体追尾装置を備えた撮像装置の構成図を示す。撮像装置としては、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話等が挙げられる。図１において、光学系１００は、一枚または複数枚のレンズで構成され、フォーカスレンズも備える。撮像素子１１０は光学系１００からの光信号を光電変換する。撮像素子１１０としては、例えばＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが挙げられる。Ａ／Ｄ変換部１２０は、撮像素子１１０からの電気信号をデジタル信号に変換する。信号処理部１３０は、Ａ／Ｄ変換部１２０により得られたデジタル信号に色変換処理などを行い、撮影画像を生成する。
【００１５】
被写体認識部１４０は、信号処理部１３０で生成された撮影画像から人物の顔など主要な被写体を認識し、認識の信頼度と被写体が存在する被写体領域の位置を出力する。重み算出部１５０は、被写体領域と被写体領域の周辺である背景領域とにおいて輝度信号と色信号の平均値をそれぞれ算出し、輝度信号に対する重みと色信号に対する重みをそれぞれ算出する。なお、重み算出部１５０は、被写体認識部１４０が出力する被写体認識に対する信頼度に応じて、重みの算出を実行するか否か（重みを更新するか否か）を判断する。追尾評価値算出部１７０は、被写体を含む所定の大きさの移動領域の輝度信号および色信号と、撮影された後続の画像から抽出された抽出領域の輝度信号および色信号との差分をとり、追尾評価値Ｅを算出する。この評価値Ｅの算出において、追尾評価値算出部１７０は、［数１］式で示したように、重み算出部１５０が出力する重み（ａ，ｂ，ｃ）を、それぞれの上記差分に付加し、追尾評価値Ｅを算出する。移動体判定部１８０は、追尾評価値算出部１７０が出力する追尾評価値が最小となる抽出領域を判定し、その位置を出力する。表示部１９０は、移動体判定部１８０が出力した移動体領域に対応した移動体追尾枠を生成し、また被写体認識部１４０が出力した被写体領域に対応した被写体認識枠を生成し、撮影された画像にこれらを重ね合わせてＬＣＤなどの画面に表示する。
【００１６】
図２は移動体追尾処理の流れを示すフローチャートである。Ｓ２００では被写体認識部１４０が撮影された画像内から主要な被写体を認識し、認識された被写体が存在する領域（被写体領域）の位置とその認識結果の信頼度をスコアとして出力する。Ｓ２１０では、重み算出部１５０が、Ｓ２００において得られた認識に対するスコアを予め定められた閾値と比較する。重み算出部１５０は、スコアが閾値よりも大きい値と判定した場合には、Ｓ２２０において、［数１］式における重みａ、ｂ、ｃの各値を新たに算出し、メモリ（不図示）に記憶する。一方、重み算出部１５０は、スコアが閾値以下であると判定した場合には、重みの各値は更新せず、メモリには直前の重み値が維持される。Ｓ２３０において、追尾評価値算出部１７０は、メモリに記憶されている重みの値（Ｓ２２０において新たに算出した重みの値かあるいは保持した重みの値）を用いて、［数１］式により評価値Ｅを算出する。Ｓ２４０において、移動体判定部１８０は、Ｓ２３０において算出された評価値Ｅが最小となる抽出領域の位置( X, Y )を決定する。これにより、後続の入力画像における、移動体領域に対応する領域（抽出領域）が決定される。Ｓ２５０において、表示部１９０は、Ｓ２４０で決定された位置( X, Y )を始点とした所定の大きさの枠を、撮影された画像に重ね合わせて表示する。ここで、所定の大きさの枠は、例えば抽出領域と同じ大きさにしてもよい。
【００１７】
次に、図３、図４を用いて、被写体として人物の顔を認識し追尾する場合の一例を説明する。図３において、３００は信号処理部１３０から出力される連続するフレーム画像を時系列に番号を付して示したものであり、丸印のフレームは重みａ、ｂ、ｃを算出する際に参照されるフレームを示している。また、３１０は時間軸を表し、被写体認識のスコアを閾値と比較して決定された、重みを更新するタイミングを示したものである。ここでは、フレーム画像に対して顔を認識したときの信頼度のスコアは、その２フレーム後に出力されるようになっている。
【００１８】
図４において、４００は信号処理部１３０が出力するフレーム画像であり、４１０は連続するフレームの番号であり、図３内の番号に対応している。背景４２０および背景４３０は画像における背景であるが、背景４２０は人物の顔と近い輝度値を有する領域である。４４０は被写体認識部１４０が生成する被写体認識枠であり、４５０は移動体判定部１８０が生成する移動体追尾枠である。
【００１９】
フレーム１では、被写体認識部１４０によって被写体である顔の領域が正しく認識されており、また移動体追尾枠も被写体を捉えている。フレーム３のタイミングで、認識のスコアが閾値よりも大きいと判定されるため、重み算出部１５０はフレーム１の画像を元に追尾評価値算出部１７０が用いる重みを更新する。このとき、移動体領域の被写体領域以外の領域（以下、背景領域）の輝度と色差の平均値（Yback、Uback、Vback）と、被写体領域の輝度と色差の平均値（Yobj、Uobj、Vobj）を求める。そして、それぞれの差分の絶対値｜Yback- Yobj｜、｜Uback - Uobj｜、｜Vback - Vobj｜を算出する。フレーム１では、移動体領域（被写体追尾枠４５０内の領域）において、上記３つの値は０に近い値にならないことから、顔と背景は十分に異なる輝度および色差の値をとっていることがわかる。この場合、上述の［数１］式において輝度値に付する重みａと色信号に付する重みｂ、ｃを同程度として差分の合計値を算出することにする。図６の（ａ）に輝度値に対する重みａの値と、被写体と背景領域との輝度値の差｜Yback- Yobj｜との関係の一例を示す。また、図６の（ｂ）（ｃ）に、色差に対する重みｂ、ｃの値と、被写体と背景領域との色差の差｜Uback- Uobj｜、｜Vback- Vobj｜との関係の一例を示す。図６の（ａ）〜（ｃ）における６０２の区間においては、輝度値に付する重みａと色信号に付する重みｂ、ｃが同程度となっている。
【００２０】
しかしフレーム２では被写体が移動したことによって顔を正確に認識できなくなり、移動体追尾枠も被写体を正しく捉えられず被写体を除いた領域が枠の大部分を占めている。従って、フレーム４のタイミングでは、被写体と背景の位置関係が不明瞭であるフレーム２を元に追尾評価値算出のための重みａ、ｂ、ｃが算出されることになる。しかしながら、重み算出部１５０では、被写体認識部１４０から出力されるスコアが低いため、そのようなフレーム２の画像を元に重みの値を設定することはない（Ｓ２１０でＮＯ）。すなわち、被写体と背景の位置関係が不明瞭であるようなフレーム４からは適切な重みの値を設定することは困難であるため、重みの算出および更新は行わないように制御される。フレーム４では顔の認識が再び正しく行われ、それとともに移動体追尾枠も被写体を捉えられており、フレーム６（非表示）のタイミングで認識のスコアが閾値よりも大きいと判定されるため、重みａ、ｂ、ｃが新たに算出され更新される。このとき、｜Yback - Yobj｜、｜Uback - Uobj｜、｜Vback - Vobj｜を算出すると、背景４２０が移動体領域の大きな領域を占めているため、｜Yback- Yobj｜の値は０に近い値になる。このことから顔（被写体）と背景の輝度値が近い値をとっていることがわかる。そのため輝度の差分は追尾の評価値としては適さないと考えられ、［数１］式において輝度に付する重みａを０とするか、あるいは輝度値の差分を求める演算を省略することによって評価値を算出する。
【００２１】
次に、色情報に関わる重みの更新について説明する。図４において、背景４２０は人物の顔と近い色差値を有する領域であるとする。フレーム１では被写体である顔の領域が正しく認識されており、また移動体追尾枠も被写体を捉えている。このため、フレーム３のタイミングで認識のスコアが閾値よりも大きいと判定され、重み算出部１５０はフレーム１の画像を元に重みａ、ｂ、ｃを更新する。また、重み算出部１５０は、顔と背景の位置関係が不明瞭であるフレーム２を元には重みの更新を行わず、顔の認識が正しく行われているフレーム４を元にフレーム６のタイミングで重みを更新する。このとき、移動体領域の大きな領域が背景４２０で占められるため、｜Uback - Uobj｜、｜Vback - Vobj｜の値はそれぞれ０に近い値になる。このことから、顔（被写体）と背景の色差値が近い値をとっていることがわかる。そのため色差の差分は追尾の評価値としては適さないと考えられ、［数１］式において色差に付する重みｂ、ｃを０とするか、あるいは色差値の差分を求める演算を省略することによって差分の合計値を算出する。
【００２２】
また、背景４２０が、輝度値および色差値がともに０に近い値を有する領域である場合を説明する。フレーム１に基づく重み値の更新は上述したとおりである。また、フレーム２に基づく重み値の更新が行われないことも上述のとおりである。フレーム４では顔の認識が正しく行われているためフレーム６のタイミングで重みが更新されることになる。このとき、移動体領域の大きな領域が背景４２０の画像（輝度値および色差値がともに０に近い画像）となっている。この場合、被写体と背景の輝度値と色差値がともに低く、ゲインアップした場合にノイズが多くのるため、ノイズの影響を受けやすい色信号については重みｂ、ｃを輝度信号の重みａよりも小さく設定して評価値を算出する。この状態は図６における区間６０１で示されている。
【００２３】
なお、実施形態では、人物の顔の認識および追尾について説明したが、被写体としてはこれに限られるものではない。また被写体の認識は毎フレーム行い、認識の結果が２フレーム後に出力される場合について説明したがこれに限られるものではない。認識が毎フレーム行われない場合や、認識の結果が０フレーム後、すなわち同じタイミングのフレームにおいて出力される場合であっても、本発明は実施可能であることは明らかである。
【００２４】
また、上記実施形態では、移動体領域７００と抽出領域８１０とについて重み付け評価を行う複数種類の画像特徴量として輝度情報と色情報を用いたが、これに限られるものではない。例えば、移動体領域７００と抽出領域８１０とのエッジ量などを用いて、これら領域間の評価を行うようにしても良い。
【００２５】
以上のように、本実施形態によれば、移動体追尾において被写体が正しく認識されたときに被写体とその背景の信号を見て追尾評価値の算出に用いるそれぞれの重みを適切な値に更新することができる。従って、被写体の背景の輝度および色などが変化するシーンにおいても精度が低下することなく被写体の追尾を実現することが可能となり、精度の高い移動体の追尾が可能となる。
【技術分野】
【０００１】
本発明は、移動体追尾装置および方法に関し、より具体的には、撮像された画像において所定の対象物を追尾する移動体追尾装置および方法に関する。
【背景技術】
【０００２】
一般に、移動被写体を撮影する際に自動的に被写体を追尾して、焦点検出や露出演算を行うデジタルカメラが知られている。デジタルカメラ等の撮像装置により入力された画像内で被写体を特定し追尾する技術に関しては様々な方法が提案されている。例えば移動物体の色やヒストグラムなどの特徴量に注目して追尾制御を行うものがある（特許文献２を参照）。また、この他にも、移動物体の一部をテンプレートとして記憶して追尾を行う方式や、動きベクトルに注目して追尾を行う方式などが知られている。
【０００３】
特定された被写体から抽出した特徴量に基づいて時間軸上でフレーム間のマッチングを取り、被写体を含む一定領域を切り出すことによって追尾を行う場合、輝度信号および色信号の差分の合計を追尾のための評価値として用いる方法がある。しかしながら同輝度の背景に対して輝度信号を用いたり、彩度の低い領域に対して色信号を用いたりして評価値を算出すると、追尾の精度が低下するという課題があった。そこで、被写体と背景に応じて適した重みを輝度信号および色信号に持たせることにより、すなわち、重み付け評価を行うことにより評価値の信頼性を向上することが提案されている。
【０００４】
特許文献１では、カメラから入力された画像を複数の領域に分割し、輝度や色などその領域の特徴量と背景の特徴量をフレーム毎に更新し比較することで移動物体を検出し追尾する構成が記載されている。また、特許文献２では、カメラから入力された画像から特定の被写体を抽出するために、被写体領域の色成分や明度成分などの重み付け加算量を特徴量として用いる構成が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−０４３３７６号公報
【特許文献２】特開２０００−０３２４４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１、特許文献２に記載されている構成では、重み付け評価に用いられる重みを更新するタイミングについて考慮がなされていない。すなわち、重みを更新するための画像として適切か否かを判断することは考慮されていない。例えば、特許文献１に記載されている構成では、被写体領域を正しく認識できていないタイミングに色成分と明度成分に対するそれぞれの重みを更新する可能性がある。そして、そのような更新が行われると、その時点での被写体と背景に適した評価値を算出することができなくなり、追尾を行う場合に精度が低下してしまう。また、特許文献２に開示されている構成では、同様に輝度と彩度の重みを更新するタイミングが考慮されていないため、被写体領域と背景領域によっては追尾に適した評価値を算出することができない。以上のように、移動体の追尾において入力画像の一部領域と移動体領域から評価値を算出する際に、移動体とその背景に応じて適した重みを輝度信号および色信号に持たせることにより、評価値の信頼性を向上することは提案されている。しかしながら、重みを更新するタイミングによっては追尾の精度が低下してしまうという課題があり、このような課題については考慮されていない。
【０００７】
本発明は、上記の課題に鑑みてなされたものであり、被写体の追尾における画像特徴量の重み付け評価に用いられる重みの更新を適切な入力画像から行えるようにし、被写体追尾の信頼性を向上することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するための本発明の一態様による被写体追尾装置は以下の構成を備える。すなわち、
入力画像において特定の被写体が存在する被写体領域を認識し、その認識の信頼度を出力する認識手段と、
前記入力画像から抽出した部分領域であって前記被写体領域を含む移動体領域と、後続の入力画像より抽出した抽出領域との間で、複数種類の画像特徴量について重み付け評価をする評価手段と、
前記評価手段による評価の結果に基づいて前記移動体領域に対応する抽出領域を決定することにより、前記後続の入力画像において前記特定の被写体を追尾する追尾手段と、
前記認識手段が出力した信頼度が閾値を超えている場合に、前記評価手段が行う重み付け評価に用いられる重みを、当該認識が行われた前記入力画像に基づいて更新する更新手段とを備える。
【発明の効果】
【０００９】
本発明によれば、被写体の追尾における画像特徴量の重み付け評価に用いられる重みの更新を適切な入力画像から行えるようになり、被写体追尾の信頼性が向上する。
【図面の簡単な説明】
【００１０】
【図１】実施形態のデジタルカメラの構成を示すブロック図。
【図２】実施形態による移動体追尾の処理を示すフローチャート。
【図３】追尾評価値算出に用いる重みを更新するタイミングを表す図。
【図４】撮影されるフレーム画像に被写体認識枠と追尾枠を重ね合わせた図。
【図５】撮影されたフレーム画像と認識した被写体領域を説明する図。
【図６】輝度の平均値と式差の平均値の差分に対する重みを示す図。
【発明を実施するための形態】
【００１１】
以下、添付の図面を参照して本発明の実施形態を詳細に説明する。
まず、被写体の追尾について説明する。連続して撮影されるフレーム画像において移動体の位置を判定する際には、前フレームに移動体を含む領域と判定した領域に対して移動体に最も近いと思われる領域への動きベクトルを求める。このとき評価値として、入力された画像の一部の領域と特定の領域に対して輝度信号と色信号の差分値の合計を順次求めていき、入力画像においてその合計値が最小となる領域を移動体領域であると判定する。図５を用いてこれらを説明していく。
【００１２】
図５の（ａ）は撮影されたフレーム画像８００を示しており、サイズは1440×720であるとする。抽出領域８１０は、フレーム画像８００から切り出した120×120のサイズを持つ部分領域である。図５の（ｂ）の移動体領域７００は、図５の（ａ）よりも前の時間に撮影されたフレーム画像から移動体の領域として判定された、サイズが120×120の画像である。撮影されたフレームにおける位置(X, Y )から120×120の抽出領域８１０を切り出して、移動体領域７００と輝度および色差の差分の合計を求める。すなわち、評価値Ｅを以下の［数１］式により算出する。
【数１】
【００１３】
ここで、Yinは撮影されたフレーム画像８００から切り出した位置（x, y）における輝度信号、Yは移動体領域７００の位置（x,y）における輝度信号である。同様に、UinおよびVinは撮影されたフレーム画像８００から切り出した位置（x, y）における色差信号、UおよびVは移動体領域７００の位置（x,y）における色差信号である。また、上記の［数１］式において、a、b、cは各差分値に付加される重みである。これを撮影されたフレーム画像に対して順次算出していき、値が最小となる位置(X, Y )を新たな移動体領域と判定する。
【００１４】
図１に、移動体追尾装置を備えた撮像装置の構成図を示す。撮像装置としては、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話等が挙げられる。図１において、光学系１００は、一枚または複数枚のレンズで構成され、フォーカスレンズも備える。撮像素子１１０は光学系１００からの光信号を光電変換する。撮像素子１１０としては、例えばＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが挙げられる。Ａ／Ｄ変換部１２０は、撮像素子１１０からの電気信号をデジタル信号に変換する。信号処理部１３０は、Ａ／Ｄ変換部１２０により得られたデジタル信号に色変換処理などを行い、撮影画像を生成する。
【００１５】
被写体認識部１４０は、信号処理部１３０で生成された撮影画像から人物の顔など主要な被写体を認識し、認識の信頼度と被写体が存在する被写体領域の位置を出力する。重み算出部１５０は、被写体領域と被写体領域の周辺である背景領域とにおいて輝度信号と色信号の平均値をそれぞれ算出し、輝度信号に対する重みと色信号に対する重みをそれぞれ算出する。なお、重み算出部１５０は、被写体認識部１４０が出力する被写体認識に対する信頼度に応じて、重みの算出を実行するか否か（重みを更新するか否か）を判断する。追尾評価値算出部１７０は、被写体を含む所定の大きさの移動領域の輝度信号および色信号と、撮影された後続の画像から抽出された抽出領域の輝度信号および色信号との差分をとり、追尾評価値Ｅを算出する。この評価値Ｅの算出において、追尾評価値算出部１７０は、［数１］式で示したように、重み算出部１５０が出力する重み（ａ，ｂ，ｃ）を、それぞれの上記差分に付加し、追尾評価値Ｅを算出する。移動体判定部１８０は、追尾評価値算出部１７０が出力する追尾評価値が最小となる抽出領域を判定し、その位置を出力する。表示部１９０は、移動体判定部１８０が出力した移動体領域に対応した移動体追尾枠を生成し、また被写体認識部１４０が出力した被写体領域に対応した被写体認識枠を生成し、撮影された画像にこれらを重ね合わせてＬＣＤなどの画面に表示する。
【００１６】
図２は移動体追尾処理の流れを示すフローチャートである。Ｓ２００では被写体認識部１４０が撮影された画像内から主要な被写体を認識し、認識された被写体が存在する領域（被写体領域）の位置とその認識結果の信頼度をスコアとして出力する。Ｓ２１０では、重み算出部１５０が、Ｓ２００において得られた認識に対するスコアを予め定められた閾値と比較する。重み算出部１５０は、スコアが閾値よりも大きい値と判定した場合には、Ｓ２２０において、［数１］式における重みａ、ｂ、ｃの各値を新たに算出し、メモリ（不図示）に記憶する。一方、重み算出部１５０は、スコアが閾値以下であると判定した場合には、重みの各値は更新せず、メモリには直前の重み値が維持される。Ｓ２３０において、追尾評価値算出部１７０は、メモリに記憶されている重みの値（Ｓ２２０において新たに算出した重みの値かあるいは保持した重みの値）を用いて、［数１］式により評価値Ｅを算出する。Ｓ２４０において、移動体判定部１８０は、Ｓ２３０において算出された評価値Ｅが最小となる抽出領域の位置( X, Y )を決定する。これにより、後続の入力画像における、移動体領域に対応する領域（抽出領域）が決定される。Ｓ２５０において、表示部１９０は、Ｓ２４０で決定された位置( X, Y )を始点とした所定の大きさの枠を、撮影された画像に重ね合わせて表示する。ここで、所定の大きさの枠は、例えば抽出領域と同じ大きさにしてもよい。
【００１７】
次に、図３、図４を用いて、被写体として人物の顔を認識し追尾する場合の一例を説明する。図３において、３００は信号処理部１３０から出力される連続するフレーム画像を時系列に番号を付して示したものであり、丸印のフレームは重みａ、ｂ、ｃを算出する際に参照されるフレームを示している。また、３１０は時間軸を表し、被写体認識のスコアを閾値と比較して決定された、重みを更新するタイミングを示したものである。ここでは、フレーム画像に対して顔を認識したときの信頼度のスコアは、その２フレーム後に出力されるようになっている。
【００１８】
図４において、４００は信号処理部１３０が出力するフレーム画像であり、４１０は連続するフレームの番号であり、図３内の番号に対応している。背景４２０および背景４３０は画像における背景であるが、背景４２０は人物の顔と近い輝度値を有する領域である。４４０は被写体認識部１４０が生成する被写体認識枠であり、４５０は移動体判定部１８０が生成する移動体追尾枠である。
【００１９】
フレーム１では、被写体認識部１４０によって被写体である顔の領域が正しく認識されており、また移動体追尾枠も被写体を捉えている。フレーム３のタイミングで、認識のスコアが閾値よりも大きいと判定されるため、重み算出部１５０はフレーム１の画像を元に追尾評価値算出部１７０が用いる重みを更新する。このとき、移動体領域の被写体領域以外の領域（以下、背景領域）の輝度と色差の平均値（Yback、Uback、Vback）と、被写体領域の輝度と色差の平均値（Yobj、Uobj、Vobj）を求める。そして、それぞれの差分の絶対値｜Yback- Yobj｜、｜Uback - Uobj｜、｜Vback - Vobj｜を算出する。フレーム１では、移動体領域（被写体追尾枠４５０内の領域）において、上記３つの値は０に近い値にならないことから、顔と背景は十分に異なる輝度および色差の値をとっていることがわかる。この場合、上述の［数１］式において輝度値に付する重みａと色信号に付する重みｂ、ｃを同程度として差分の合計値を算出することにする。図６の（ａ）に輝度値に対する重みａの値と、被写体と背景領域との輝度値の差｜Yback- Yobj｜との関係の一例を示す。また、図６の（ｂ）（ｃ）に、色差に対する重みｂ、ｃの値と、被写体と背景領域との色差の差｜Uback- Uobj｜、｜Vback- Vobj｜との関係の一例を示す。図６の（ａ）〜（ｃ）における６０２の区間においては、輝度値に付する重みａと色信号に付する重みｂ、ｃが同程度となっている。
【００２０】
しかしフレーム２では被写体が移動したことによって顔を正確に認識できなくなり、移動体追尾枠も被写体を正しく捉えられず被写体を除いた領域が枠の大部分を占めている。従って、フレーム４のタイミングでは、被写体と背景の位置関係が不明瞭であるフレーム２を元に追尾評価値算出のための重みａ、ｂ、ｃが算出されることになる。しかしながら、重み算出部１５０では、被写体認識部１４０から出力されるスコアが低いため、そのようなフレーム２の画像を元に重みの値を設定することはない（Ｓ２１０でＮＯ）。すなわち、被写体と背景の位置関係が不明瞭であるようなフレーム４からは適切な重みの値を設定することは困難であるため、重みの算出および更新は行わないように制御される。フレーム４では顔の認識が再び正しく行われ、それとともに移動体追尾枠も被写体を捉えられており、フレーム６（非表示）のタイミングで認識のスコアが閾値よりも大きいと判定されるため、重みａ、ｂ、ｃが新たに算出され更新される。このとき、｜Yback - Yobj｜、｜Uback - Uobj｜、｜Vback - Vobj｜を算出すると、背景４２０が移動体領域の大きな領域を占めているため、｜Yback- Yobj｜の値は０に近い値になる。このことから顔（被写体）と背景の輝度値が近い値をとっていることがわかる。そのため輝度の差分は追尾の評価値としては適さないと考えられ、［数１］式において輝度に付する重みａを０とするか、あるいは輝度値の差分を求める演算を省略することによって評価値を算出する。
【００２１】
次に、色情報に関わる重みの更新について説明する。図４において、背景４２０は人物の顔と近い色差値を有する領域であるとする。フレーム１では被写体である顔の領域が正しく認識されており、また移動体追尾枠も被写体を捉えている。このため、フレーム３のタイミングで認識のスコアが閾値よりも大きいと判定され、重み算出部１５０はフレーム１の画像を元に重みａ、ｂ、ｃを更新する。また、重み算出部１５０は、顔と背景の位置関係が不明瞭であるフレーム２を元には重みの更新を行わず、顔の認識が正しく行われているフレーム４を元にフレーム６のタイミングで重みを更新する。このとき、移動体領域の大きな領域が背景４２０で占められるため、｜Uback - Uobj｜、｜Vback - Vobj｜の値はそれぞれ０に近い値になる。このことから、顔（被写体）と背景の色差値が近い値をとっていることがわかる。そのため色差の差分は追尾の評価値としては適さないと考えられ、［数１］式において色差に付する重みｂ、ｃを０とするか、あるいは色差値の差分を求める演算を省略することによって差分の合計値を算出する。
【００２２】
また、背景４２０が、輝度値および色差値がともに０に近い値を有する領域である場合を説明する。フレーム１に基づく重み値の更新は上述したとおりである。また、フレーム２に基づく重み値の更新が行われないことも上述のとおりである。フレーム４では顔の認識が正しく行われているためフレーム６のタイミングで重みが更新されることになる。このとき、移動体領域の大きな領域が背景４２０の画像（輝度値および色差値がともに０に近い画像）となっている。この場合、被写体と背景の輝度値と色差値がともに低く、ゲインアップした場合にノイズが多くのるため、ノイズの影響を受けやすい色信号については重みｂ、ｃを輝度信号の重みａよりも小さく設定して評価値を算出する。この状態は図６における区間６０１で示されている。
【００２３】
なお、実施形態では、人物の顔の認識および追尾について説明したが、被写体としてはこれに限られるものではない。また被写体の認識は毎フレーム行い、認識の結果が２フレーム後に出力される場合について説明したがこれに限られるものではない。認識が毎フレーム行われない場合や、認識の結果が０フレーム後、すなわち同じタイミングのフレームにおいて出力される場合であっても、本発明は実施可能であることは明らかである。
【００２４】
また、上記実施形態では、移動体領域７００と抽出領域８１０とについて重み付け評価を行う複数種類の画像特徴量として輝度情報と色情報を用いたが、これに限られるものではない。例えば、移動体領域７００と抽出領域８１０とのエッジ量などを用いて、これら領域間の評価を行うようにしても良い。
【００２５】
以上のように、本実施形態によれば、移動体追尾において被写体が正しく認識されたときに被写体とその背景の信号を見て追尾評価値の算出に用いるそれぞれの重みを適切な値に更新することができる。従って、被写体の背景の輝度および色などが変化するシーンにおいても精度が低下することなく被写体の追尾を実現することが可能となり、精度の高い移動体の追尾が可能となる。
【特許請求の範囲】
【請求項１】
入力画像において特定の被写体が存在する被写体領域を認識し、その認識の信頼度を出力する認識手段と、
前記入力画像から抽出した部分領域であって前記被写体領域を含む移動体領域と、後続の入力画像より抽出した抽出領域との間で、複数種類の画像特徴量について重み付け評価をする評価手段と、
前記評価手段による評価の結果に基づいて前記移動体領域に対応する抽出領域を決定することにより、前記後続の入力画像において前記特定の被写体を追尾する追尾手段と、
前記認識手段が出力した信頼度が閾値を超えている場合に、前記評価手段が行う重み付け評価に用いられる重みを、当該認識が行われた前記入力画像に基づいて更新する更新手段とを備えることを特徴とする移動体追尾装置。
【請求項２】
前記複数種類の画像特徴量は輝度情報と色情報を含むことを特徴とする請求項１に記載の移動体追尾装置。
【請求項３】
前記更新手段は、前記認識手段が認識した前記被写体領域の輝度情報および色情報と、前記移動体領域における前記被写体領域以外の背景領域の輝度情報および色情報とに基づいて、前記重みを更新することを特徴とする請求項２に記載の移動体追尾装置。
【請求項４】
前記更新手段は、前記被写体領域と前記背景領域の輝度情報の差分値が予め設定した閾値以下ならば、前記重み評価における輝度情報に対する重みを０とすることを特徴とする請求項３に記載の移動体追尾装置。
【請求項５】
前記更新手段は、前記被写体領域と前記背景領域の色情報の差分値が予め設定した閾値以下ならば、前記重み評価における色情報に対する重みを０とすることを特徴とする請求項３または４に記載の移動体追尾装置。
【請求項６】
前記更新手段は、前記背景領域の輝度情報および色情報が予め設定した閾値以下ならば、前記重み評価における輝度信号の重みを色信号の重みよりも大きくすることを特徴とする請求項３乃至５のいずれか１項に記載の移動体追尾装置。
【請求項７】
入力画像において特定の被写体が存在する被写体領域を認識し、その認識の信頼度を出力する認識工程と、
前記入力画像から抽出した部分領域であって前記被写体領域を含む移動体領域と、後続の入力画像より抽出した抽出領域との間で、複数種類の画像特徴量について重み付け評価をする評価工程と、
前記評価工程における評価の結果に基づいて前記移動体領域に対応する抽出領域を決定することにより、前記後続の入力画像において前記特定の被写体を追尾する追尾工程と、
前記認識工程で出力された信頼度が閾値を超えている場合に、前記評価工程で行われる重み付け評価に用いられる重みを、当該認識が行われた前記入力画像に基づいて更新する更新工程とを有することを特徴とする移動体追尾装置の制御方法。
【請求項１】
入力画像において特定の被写体が存在する被写体領域を認識し、その認識の信頼度を出力する認識手段と、
前記入力画像から抽出した部分領域であって前記被写体領域を含む移動体領域と、後続の入力画像より抽出した抽出領域との間で、複数種類の画像特徴量について重み付け評価をする評価手段と、
前記評価手段による評価の結果に基づいて前記移動体領域に対応する抽出領域を決定することにより、前記後続の入力画像において前記特定の被写体を追尾する追尾手段と、
前記認識手段が出力した信頼度が閾値を超えている場合に、前記評価手段が行う重み付け評価に用いられる重みを、当該認識が行われた前記入力画像に基づいて更新する更新手段とを備えることを特徴とする移動体追尾装置。
【請求項２】
前記複数種類の画像特徴量は輝度情報と色情報を含むことを特徴とする請求項１に記載の移動体追尾装置。
【請求項３】
前記更新手段は、前記認識手段が認識した前記被写体領域の輝度情報および色情報と、前記移動体領域における前記被写体領域以外の背景領域の輝度情報および色情報とに基づいて、前記重みを更新することを特徴とする請求項２に記載の移動体追尾装置。
【請求項４】
前記更新手段は、前記被写体領域と前記背景領域の輝度情報の差分値が予め設定した閾値以下ならば、前記重み評価における輝度情報に対する重みを０とすることを特徴とする請求項３に記載の移動体追尾装置。
【請求項５】
前記更新手段は、前記被写体領域と前記背景領域の色情報の差分値が予め設定した閾値以下ならば、前記重み評価における色情報に対する重みを０とすることを特徴とする請求項３または４に記載の移動体追尾装置。
【請求項６】
前記更新手段は、前記背景領域の輝度情報および色情報が予め設定した閾値以下ならば、前記重み評価における輝度信号の重みを色信号の重みよりも大きくすることを特徴とする請求項３乃至５のいずれか１項に記載の移動体追尾装置。
【請求項７】
入力画像において特定の被写体が存在する被写体領域を認識し、その認識の信頼度を出力する認識工程と、
前記入力画像から抽出した部分領域であって前記被写体領域を含む移動体領域と、後続の入力画像より抽出した抽出領域との間で、複数種類の画像特徴量について重み付け評価をする評価工程と、
前記評価工程における評価の結果に基づいて前記移動体領域に対応する抽出領域を決定することにより、前記後続の入力画像において前記特定の被写体を追尾する追尾工程と、
前記認識工程で出力された信頼度が閾値を超えている場合に、前記評価工程で行われる重み付け評価に用いられる重みを、当該認識が行われた前記入力画像に基づいて更新する更新工程とを有することを特徴とする移動体追尾装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−７１９２５（Ｐ２０１１−７１９２５Ａ）
【公開日】平成２３年４月７日（２０１１．４．７）
【国際特許分類】
【出願番号】特願２００９−２２３４６３（Ｐ２００９−２２３４６３）
【出願日】平成２１年９月２８日（２００９．９．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年４月７日（２０１１．４．７）
【国際特許分類】
【出願日】平成２１年９月２８日（２００９．９．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]