説明

追跡装置、追跡方法およびプログラム

【課題】対象物が動くことにより画像にぶれが生じた場合でも、安定して対象物を追跡することが可能な追跡装置、追跡方法およびプログラムを提供する。
【解決手段】実施形態の追跡装置は、取得部と第1算出部と第2算出部と設定部とを含む。取得部は、追跡対象物を撮像して、時系列のフレーム単位で画像を取得する。第1算出部は、画像内の探索領域に含まれる各画素について、当該画素の画素値と基準値との一致度を示す第1尤度を算出する。第2算出部は、探索領域内の各画素について、当該画素の画素値と、過去のフレームにおける画像内の当該画素に対応する位置の画素値との差分を示す差分値を算出する。第1設定部は、探索領域内の各画素について、当該画素と、過去における追跡対象物の位置との距離が大きいほど、第1尤度の重みが小さくなるとともに差分値の重みが大きくなるように、第1尤度および差分値の各々の重みを設定する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、追跡装置、追跡方法およびプログラムに関する。
【背景技術】
【0002】
従来、画像中の認識率を高めた対象物位置追跡に関する技術がある。類似色物体の誤認識を防ぎ、認識率を高めるために、探索矩形領域に上限値を設けることにより、複数の所定色領域をひとつの大きな所定色領域として誤認識することを防止可能な対象物位置追跡方法が知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第4559375号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記技術では、対象物が動くことにより取得した画像にぶれが生じると、対象物に対応する確率分布上の位置周辺で確率分布の最大値が観測されなくなり、対象物の追跡に失敗してしまう。
【0005】
本発明が解決しようとする課題は、対象物が動くことにより画像にぶれが生じた場合でも、安定して対象物を追跡することが可能な追跡装置、追跡方法およびプログラムを提供することである。
【課題を解決するための手段】
【0006】
実施形態の追跡装置は、取得部と第1算出部と第2算出部と設定部と第3算出部と検出部と決定部とを備える。取得部は、追跡対象物を撮像して、時系列のフレーム単位で画像を取得する。第1算出部は、画像内において、追跡対象物を探索すべき探索領域に含まれる各画素について、当該画素の画素値と、追跡対象物の特徴を示す基準値との一致度を示す第1尤度を算出する。第2算出部は、探索領域内の各画素について、当該画素の画素値と、過去のフレームにおける画像内の当該画素に対応する位置の画素値との差分を示す差分値を算出する。第1設定部は、探索領域内の各画素について、当該画素と、過去における追跡対象物の位置との距離が大きいほど、第1尤度の重みが小さくなるとともに差分値の重みが大きくなるように、第1尤度および差分値の各々の重みを設定する。第3算出部は、探索領域内の各画素について、第1尤度および差分値を前記重みで重み付けをして加算することで統合尤度を算出する。検出部は、探索領域内の各画素のうち、統合尤度が極大値を示す画素の位置を、追跡対象物の候補位置として検出する。決定部は、候補位置から、所定の基準に基づき追跡対象物の位置を決定する。
【図面の簡単な説明】
【0007】
【図1】第1実施形態の追跡装置のブロック図。
【図2】生成部の構成例を示す図。
【図3】第1実施形態の追跡装置による処理動作例を示すフローチャート。
【図4】第2実施形態の追跡装置のブロック図。
【図5】第2尤度の算出方法の例を説明するための図。
【図6】第2実施形態の追跡装置による処理動作例を示すフローチャート。
【図7】第2実施形態の変形例の追跡装置のブロック図。
【図8】第2補正部による補正を説明するための図。
【図9】第3実施形態の追跡装置のブロック図。
【図10】第3実施形態の追跡装置による処理動作例を示すフローチャート。
【図11】第3実施形態の変形例の追跡装置のブロック図。
【図12】第3実施形態の追跡装置による処理動作例を示すフローチャート。
【発明を実施するための形態】
【0008】
以下、添付図面を参照しながら、本発明に係る追跡装置、追跡方法およびプログラムの実施の形態を詳細に説明する。
【0009】
(第1実施形態)
図1は、第1実施形態の追跡装置1の構成例を示すブロック図である。追跡装置1は、撮像部2で撮像される画像を用いて、追跡対象物の位置を追跡する装置である。以下では、人物(ユーザー)の手が追跡対象物である例を挙げて説明する。図1に示すように、追跡装置1は、取得部10と、記憶部11と、生成部20と、検出部30と、決定部40とを含んで構成される。
【0010】
取得部10は、撮像部2が所定の周期(フレーム周期)で撮像する画像(各画像の単位を「フレーム」とも呼ぶ)を順次に取得する。撮像部2は、例えばCMOSイメージセンサ等の撮像デバイスを含んで構成される。記憶部11は、取得部10で取得された画像を記憶する。
【0011】
生成部20は、取得部10で画像が取得されるたびに、その取得された画像内において、追跡対象物を探索すべき領域である探索領域に含まれる各画素について、当該画素の位置に追跡対象物が存在するか否かを判断するための統合尤度を生成する。より具体的には以下のとおりである。
【0012】
図2は、生成部20の詳細な構成の一例を示すブロック図である。図2に示すように、生成部20は、第1算出部201と、第2算出部202と、追跡対象情報保持部203と、第1設定部204と、第3算出部205とを含んで構成される。
【0013】
第1算出部201は、取得部10で画像が取得されるたびに、その取得された画像の探索領域内の画素ごとに、当該画素の特徴を示す画素値と、追跡対象物の特徴を示す基準値との一致度を示す第1尤度を算出する。本実施形態では、第1算出部201は、取得部10で取得された画像のうち、過去のフレームにおいて追跡対象物である「手」が存在した位置を中心とした所定の範囲を「探索領域」として設定する。また、本実施形態では、画素の色を示す色値が画素値として採用され、追跡対象物の色分布が基準値として採用される。
【0014】
第1算出部201は、前述の探索領域内の画素ごとに、当該画素の色を示す色値を抽出する。そして、探索領域内の画素ごとに、当該画素の色と、追跡対象である人物の手の色とが一致する度合いを示す肌色尤度を第1尤度として算出する。ここでは、各画素の色は、YUV色成分で表現されるが、これに限らず、各画素の色の表現方法は任意である。例えば各画素の色をRGB色成分で表現することもできる。また、大きな面積を持つ肌色領域を追跡し易くなるように、探索領域内の各画素の肌色尤度に対してガウシアンフィルタ等の処理を行ってもよい。
【0015】
肌色尤度の算出にあたっては、例えば、事前に人物の手の画像から収集した複数の肌色画素におけるYUV値から共分散行列を生成し、これを用いて算出するといったことが考えられる。共分散行列生成に用いる肌色画素は、例えば、人物が掌を撮像部2に対して提示した時に、掌画像を検出する検出器により入力画像から掌の領域を検出し、領域内の所定の範囲の画素を収集することにより、人物による肌色の個体差に応じた共分散行列を自動的に生成することができる。ただし、本方法に限らず、例えば、あらかじめ多様な人物の肌色画素から共分散行列をオフラインで生成して用いたり、入力画像に対して手動で肌色領域を指定し、指定した領域内の画素を用いて共分散行列を生成したりしてもよい。なお、肌色尤度とは、画素の色値と、追跡対象物の色分布の中心の色値との一致度合いを示すものであると捉えることもできる。この場合、追跡対象物の色分布の中心の色値が基準値であると捉えることができる。
【0016】
第2算出部202は、前述の探索領域内の画素ごとに、当該画素の画素値(ここでは一例として色値)と、過去のフレームにおける画像内の当該画素に対応する位置の画素値との差分を示す差分値を算出する。本実施形態では、第2算出部202は、取得部10で画像が取得されるたびに、その取得された画像の探索領域内の各画素について、当該画素の画素値を抽出するとともに、直前のフレームにおける画像内の当該画素に対応する位置の画素値を記憶部11から読み出す。そして、探索領域内の画素ごとに、当該画素の画素値と、直前のフレームにおける画像内の当該画素に対応する位置の画素値との差分の絶対値を差分値として算出する。なお、差分値の算出の際に記憶部11から読み出される過去のフレームにおける画像は、直前のフレームにおける画像に限られるものではない。ここで、大きな動きを持つ領域を追跡し易くなるように、探索領域内の各画素の差分値に対してガウシアンフィルタ等の処理を行ってもよい。
【0017】
探索領域内の各画素の差分値の算出にあたっては、当該画素のYUV成分ごとに、直前のフレームにおける画素値との差分の絶対値を算出し、これらを加算することで求められる。ただし、画像ノイズの影響により追跡対象およびその他の物体の動きがない場合にも差分値が観測されることへの対策として、算出された差分値から、予め設定された所定のオフセット値を減じ、負の値になった時は差分値0として扱ったり、入力画像に対してフィルタリング処理を行ってノイズを除去した後に差分値を算出したりしても良い。
【0018】
追跡対象情報保持部203は、過去のフレームにおける追跡対象物の位置および大きさ等の情報を格納する。第1設定部204は、前述の探索領域内の画素ごとに、当該画素の第1尤度および差分値の各々の重みを設定する。第3算出部205は、前述の探索領域内の画素ごとに、当該画素の肌色尤度および差分値を、第1設定部204で設定された重みで重み付けをして加算することで統合尤度を算出する。
【0019】
ここで、追跡対象物をイメージセンサにより撮像する場合、一般に、追跡対象物の移動する速さが大きくなるにつれて追跡対象物の画像にぶれが生じやすくなる。追跡対象物の画像にぶれが生じると、領域内の画素に背景画像の成分が混合されることにより、本来の追跡対象の色とは異なる色が観測されるため、肌色尤度は低くなってしまう。一方、追跡対象物の移動する速さが大きくなると、前述の方法で生成した差分値はより高くなる。これらのことから、追跡対象物を追跡する際、追跡対象物が移動する速さが小さいときは肌色尤度を重視し、大きい時には差分値を重視することにより、追跡対象物を安定して追跡できると考えられる。
【0020】
一方、追跡対象物の移動する速さは、過去のフレームにおける手(追跡対象物)の位置を基準とし、手領域の大きさに対する相対的な長さとしてあらわされる。そこで、第1尤度と差分値とを統合して統合尤度を生成する際に、前述の探索領域内の各画素について、当該画素と、過去のフレームにおける手の位置との距離を算出し、これに応じて肌色尤度と差分値の重みを変えながら加算して統合尤度を算出することにより、追跡対象物が移動する速さによらず、安定して追跡を行うことが可能となる。以下、重みの設定方法および統合尤度の算出方法の具体的な内容を説明する。
【0021】
第1設定部204は、前述の探索領域内の画素ごとに、当該画素と、過去における追跡対象物の位置との距離が大きいほど、第1尤度(ここでは肌色尤度)の重みが小さくなるとともに差分値の重みが大きくなるように、第1尤度および差分値の各々の重みを設定する。より具体的には、第1設定部204は、取得部10で画像が取得されるたびに、過去の(例えば直前の)フレームにおける追跡対象物の位置を追跡対象情報保持部203から読み出す。そして、第1設定部204は、取得部10で取得された画像の探索領域内の画素ごとに、当該画素と、過去のフレームにおける追跡対象物の位置との距離を算出し、その算出された距離に応じて、肌色尤度および差分値の各々の重みを設定する。例えば処理対象の画素の座標を(tx、ty)、過去のフレームにおける追跡対象物(ここでは「手」)の座標を(px、py)、追跡対象物のサイズ(画素面積)をsとすると、重みを設定するための重みパラメータwは、以下の式1で表される。
【数1】

【0022】
ここでは、式1で算出された重みパラメータwが、肌色尤度の重み係数として設定され、(1−w)が、差分値の重み係数として設定される。なお、これに限らず、肌色尤度および差分値の重みの設定方法は任意である。要するに、前述の探索領域内の各画素について、当該画素と、過去における追跡対象物の位置との距離が大きいほど、肌色尤度の重みが小さくなるとともに差分値の重みが大きくなるように、肌色尤度および差分値の各々の重みが設定されるものであればよい。
【0023】
第3算出部205は、前述の探索領域内の画素ごとに、当該画素の肌色尤度および差分値を、第1設定部204で設定された重みで重み付けをして加算することで統合尤度を算出する。例えば処理対象の画素の統合尤度をDi(tx、ty)、肌色尤度をDc(tx、ty)、差分値をDm(tx、ty)とすると、統合尤度Di(tx、ty)は、以下の式2で表される。
【数2】

前述したように、探索領域内の画素(px、py)と、過去における追跡対象物の位置との距離が大きいほど、肌色尤度Dc(tx、ty)の重み係数wは小さくなる一方、差分値Dm(tx、ty)の重み係数(1−w)は大きくなる。したがって、画素(px、py)の位置に追跡対象物が存在していると仮定した場合の追跡対象物の移動速度が小さい場合は、肌色尤度Dc(tx、ty)が重要視され、追跡対象物の移動速度が大きい場合は、差分値Dm(tx、ty)が重要視される。
【0024】
再び図1に戻って説明を続ける。検出部30は、前述の探索領域内の各画素のうち、統合尤度が極大値を示す画素の位置を、追跡対象物の候補位置として検出する。本実施形態では、検出部30は、前述の探索領域に含まれる複数の画素について、i行(i≧1)×j列(j≧1)のマトリクス状の画素ブロックごとに、当該画素ブロックの中心の画素の統合尤度が周辺の画素の統合尤度よりも大きい値を示すか否かを判定する。そして、画素ブロックの中心の画素の統合尤度が周辺の画素の統合尤度よりも大きい値を示す場合、検出部30は、当該中心の画素の統合尤度は極大値を示していると判断し、当該中心の画素を、追跡対象物の候補位置として検出する。このようにして、検出部30は、前述の探索領域内の各画素の中から、m個(m≧1)の候補位置を検出する。なお、必要に応じて、前述の探索領域内の各画素の統合尤度に対してガウシアンフィルタ等の処理を行うことにより、広い範囲で高い統合尤度が分布する領域を追跡し易くなる一方、画像に含まれるノイズにより局所的に統合尤度が高くなった点を除けることで、より安定に極大点を検出できる。
【0025】
決定部40は、検出部30で検出された候補位置から、所定の基準に基づき追跡対象物の位置を決定する。本実施形態では、決定部40は、検出部30によって検出されたm個の候補位置のうち、統合尤度が最大の値を示す候補位置を選択する。そして、決定部40は、その選択した候補位置の画素に対応する統合尤度の値が閾値を超えている場合に、当該候補位置を追跡対象物の位置として決定する。閾値以下の場合は、追跡に失敗したとみなして追跡を終了する。なお、追跡に失敗した場合、すぐに追跡を終了せず、所定のフレーム数だけ追跡を継続してもよい。なお、検出部30で検出された候補位置が1個の場合(m=1の場合)は、当該候補位置の画素に対応する統合尤度の値が閾値を超えていれば、当該候補位置を追跡対象物の位置として決定することができる。要するに、決定部40は、候補位置の画素に対応する統合尤度の値が閾値を超えている場合に、当該候補位置を追跡対象物の位置として決定することができる。
【0026】
また、例えば上記のように選択した候補位置の画素に対応する統合尤度の値が閾値を超えていなくても、その選択した候補位置(複数の候補位置のうち、対応する統合尤度が最大の値を示す候補位置)を追跡対象物の位置として決定することもできる。要するに、決定部40は、検出部30で検出された候補位置が複数の場合、候補位置の画素に対応する統合尤度が最大の値を示す候補位置を追跡対象物の位置として決定することもできる。
【0027】
次に、本実施形態の追跡装置1による処理動作の一例を説明する。図3は、追跡装置1による処理動作の一例を示すフローチャートである。図3に示すように、まず取得部10で、追跡対象物(ここでは「手」)が撮像された画像が取得されると(ステップS1)、第1算出部201は、その取得された画像の探索領域内の画素ごとに、当該画素の色と、追跡対象である人物の手の色とが一致する度合いを示す肌色尤度を第1尤度として算出する(ステップS2)。また、第2算出部202は、ステップS1で取得された画像の探索領域内の画素ごとに、当該画素の画素値と、過去のフレームにおける画像内の当該画素に対応する位置の画素値との差分値を算出する(ステップS3)。
【0028】
次に、第1設定部204は、ステップS1で取得された画像の探索領域内の画素ごとに、当該画素と、過去における追跡対象物の位置との距離が大きいほど、第1尤度の重みが小さくなるとともに差分値の重みが大きくなるように、第1尤度および差分値の各々の重みを設定する(ステップS4)。次に、第3算出部205は、ステップS1で取得された画像の探索領域内の画素ごとに、当該画素の第1尤度および差分値を、ステップS3で設定された重みで重み付けをして加算することで統合尤度を算出する(ステップS5)。次に、検出部30は、ステップS1で取得された画像の探索領域内の各画素のうち、統合尤度が極大値を示すm個(m≧1)の画素を、候補位置として検出する(ステップS6)。次に、決定部40は、ステップS6で検出されたm個の候補位置から、所定の基準に基づき追跡対象物の位置を決定する(ステップS7)。次に、決定部40は、ステップS7で決定した追跡対象物の位置を示す座標などの情報を追跡対象情報保持部203へ格納する(ステップS8)。これにより、追跡対象情報保持部203には、現在のフレームにおける追跡対象物の位置を示す情報が格納される。
【0029】
以上に説明したように、本実施形態では、取得部10で取得された画像の探索領域内の各画素について、当該画素と、過去における追跡対象物の位置との距離が大きいほど、第1尤度(例えば肌色尤度)の重みが小さくなるとともに差分値の重みが大きくなるように、第1尤度および差分値の各々の重みが設定されるので、追跡対象物を追跡する際、追跡対象物が移動する速さが小さい場合は第1尤度が重視され、追跡対象物が移動する速さが大きい場合には差分値が重視される。これにより、追跡対象物が移動する速さに関わらず、安定して追跡対象物を追跡することができる。
【0030】
(第2実施形態)
次に、第2実施形態について説明する。第2実施形態では、検出部30で検出された候補位置を含む第1部分領域を設定し、第1部分領域の画像と、追跡対象物の画像との一致度に応じて、当該候補位置の統合尤度の値を補正する点で上述の第1実施形態と相違する。以下の説明において、第1実施形態と共通する部分については、同一の符号を付して適宜に説明を省略する。
【0031】
図4は、第2実施形態の追跡装置200の構成例を示すブロック図である。図4に示すように、追跡装置200は、第2設定部50と、第4算出部60と、第1補正部70とをさらに備える点で第1実施形態と相違する。
【0032】
第2設定部50は、取得部10で取得された画像において、検出部30で検出された候補位置を含む第1部分領域を設定する。検出部30で検出された候補位置が1つの場合は、1つの第1部分領域が設定され、検出部30で検出された候補位置が複数の場合は、複数の第1部分領域が設定される。要するに、検出された候補位置と同数の第1部分領域が設定される。
【0033】
例えば図5に示す画像Yが取得部10で取得され、その取得された画像Yのうち人物の手に対応する領域内の画素z1と、人物の腕に対応する領域内の画素z2とが候補位置として検出された場合を想定する。この場合、第2設定部50は、画素x1を含む第1部分領域C1、および、画素x2を含む第1部分領域C2を設定する。そして、第2設定部50は、第1部分領域C1およびC2の各々の画像を、取得部10で取得された画像から切り出して第4算出部60へ入力する。
【0034】
第4算出部60は、第2設定部50で設定された第1部分領域の画像と、追跡対象物の画像との一致度を示す第2尤度を算出する。検出部30で検出された候補位置が複数の場合は、検出された候補位置ごとに、第2尤度が算出される。本実施形態では、第4算出部60は、追跡対象物である人物の手の画像を予め保持している。そして、第4算出部60は、第2設定部50から入力された第1部分領域の画像と、予め保持していた手の画像(追跡対象物の画像)との一致度を示す第2尤度を算出する。図5の例では、第1部分領域C1の画像と手の画像との一致度を示す第2尤度はf(C1)と表記され、第1部分領域C2の画像と手の画像との一致度を示す第2尤度はf(C2)と表記されている。
【0035】
第2尤度の算出方法は任意である。例えば、事前に追跡対象物に対応する複数の部分領域画像、および、非追跡対象物に対応する複数の部分領域画像から、例えばHOG特徴量(Histograms of Oriented Gradients)に基づきSVM(Support Vector Machine)により学習することで生成された誤追跡識別器を用いて、第2設定部50から入力された第1部分領域の画像が誤追跡である可能性を示す誤追跡尤度を得ることで、第2尤度を算出することもできる。例えば第1部分領域の画像xが第4算出部60に入力された場合を想定する。この場合、入力された画像xに対して、誤追跡識別器により得られた識別値をf(x)とすると、誤追跡尤度Df(x)は、例えば以下の式3により算出することができる。
【数3】

本実施形態では、第4算出部60は、(1−Df(x))を算出することにより得られた値を第2尤度として採用するので、誤追跡尤度Df(x)が高い候補位置については、第2尤度(1−Df(x))の値が小さくなる。なお、これに限らず、第2尤度は、第2設定部50から入力された第1部分領域の画像と、追跡対象物の画像との一致度を示すものであればよい。
【0036】
第1補正部70は、第4算出部60で算出された第2尤度に応じて、候補位置の画素に対応する統合尤度の値を補正する。本実施形態では、第1補正部70は、検出部30で検出された候補位置の画素に対応する統合尤度に対して、第2尤度である(1−Df(x))の値を乗算することで、当該候補位置の統合尤度の値を補正する。前述したように、誤追跡尤度Df(x)が高い候補位置については、第2尤度(1−Df(x))の値が小さくなるので、補正後の統合尤度の値は小さくなる。これにより、追跡対象物の画像と非類似である第1部分領域の画像に対応する候補位置が、追跡対象物の位置として誤って選択される可能性が低くなる。
【0037】
次に、本実施形態の追跡装置200による処理動作の一例を説明する。図6は、追跡装置200による処理動作の一例を示すフローチャートである。図6のステップS11〜ステップS16の処理内容は、図3のステップS1〜ステップS6の処理内容と同様であるので、詳細な説明は省略する。
【0038】
ステップS17において、第2設定部50は、ステップS11で取得された画像において、ステップS16で検出された候補位置を含む第1部分領域を設定する(ステップS17)。ステップS17で設定された第1部分領域の画像は、ステップS11で取得された画像から切り出されて第4算出部60へ入力される。第4算出部60は、第2設定部50から入力された第1部分領域の画像と、追跡対象物の画像との一致度を示す第2尤度を算出する(ステップS18)。次に、第1補正部70は、ステップS18で算出された第2尤度に応じて、ステップS16で検出された候補位置の画素に対応する統合尤度の値を補正する(ステップS19)。次に、決定部40は、ステップS19の補正後の統合尤度の値に基づいて追跡対象物の位置を決定する(ステップS20)。本実施形態では、ステップS16で検出された候補位置が複数の場合、決定部40は、第1補正部70による補正後の統合尤度が最大の値を示す候補位置を選択し、その選択した候補位置の画素に対応する統合尤度の値が閾値を超えている場合に、当該候補位置を追跡対象物の位置として決定する。また、ステップS16で検出された候補位置が1つの場合、決定部40は、当該候補位置の画素に対応する統合尤度の補正(第1補正部70による補正)後の値が閾値を超えている場合に、当該候補位置を追跡対象物として決定する。そして、決定部40は、ステップS20で決定した追跡対象物の位置を示す座標などの情報を追跡対象情報保持部203へ格納する(ステップS21)。
【0039】
以上に説明したように、本実施形態では、第3算出部20で算出された統合尤度の値が高い候補位置であっても、当該候補位置を含む第1部分領域の画像と、追跡対象物の画像との一致度を示す第2尤度の値が低い(第1部分領域の画像と追跡対象物の画像とが非類似である)場合は、当該候補位置の画素に対応する統合尤度の値が低くなるように補正されるので、当該候補位置が、追跡対象物の位置として誤って選択されることを防止できる。
【0040】
例えば追跡対象物が人物の手であって、人物が半袖などを着用しているなどにより人物の腕が露出していると、腕は追跡対象物である手とほぼ同様の色を有し、動きも類似しているので、取得部10で取得された画像のうち人物の腕に対応する領域にも極大値が観測される場合がある。この場合、上述の第1実施形態の構成では、追跡対象物である手を正しく追跡することが困難となる。これに対して、本実施形態では、第3算出部20で算出された統合尤度の値が高い候補位置(例えば人物の腕に対応する領域で検出された候補位置)であっても、当該候補位置を含む第1部分領域の画像と、追跡対象物の画像(手の画像)との一致度を示す第2尤度の値が低い場合は、当該候補位置の画素に対応する統合尤度の値が低くなるように補正されるので、当該候補位置が、追跡対象物の位置として誤って選択されることを防止できる。すなわち、本実施形態によれば、第3算出部20で算出された統合尤度のみでは追跡対象物と区別することが困難な非追跡対象物についても区別することが可能になるので、より安定して追跡対象物を追跡できる。
【0041】
(第2実施形態の変形例1)
図7は、第2実施形態の変形例の追跡装置210の構成例を示すブロック図である。図7に示すように、追跡装置210は、第2補正部80をさらに備える。第2補正部80は、検出部30で検出された候補位置を含み、前述の第1部分領域の少なくとも一部を含む第2部分領域内の各画素の統合尤度の値を所定量だけ減少させて、第2部分領域内の各画素の統合尤度を補正する。そして、検出部30は、第2補正部80による補正が行われた後、候補位置の検出を再び行う。なお、第2部分領域は、前述の第1部分領域とは異なる領域であってもよい。例えば第1部分領域よりも面積が小さい領域を第2部分領域とすることもできる。また、第2部分領域は、第1部分領域と同じ領域であってもよい。要するに、候補位置を含み、第1部分領域の少なくとも一部を含む領域を第2部分領域とすることができる。
【0042】
いま、図8(a)に示す画像が取得部10で取得され、図8(b)に示すように、人物の手および腕の各々の領域内に極大点が観測されずに手と腕とがひとつの物体とみなされ、その中心位置に極大点が観測された場合を想定する。この場合、候補位置として検出された位置は、追跡対象物の手の位置とは異なるので、上述の第2尤度の値は小さくなり、追跡に失敗してしまう可能性がある。特に、探索領域内の各画素の統合尤度(あるいは肌色尤度)に対してガウシアンフィルタ等の処理を行った場合は、広い範囲で高い統合尤度が分布する領域を追跡し易くなる反面、候補位置として検出された位置が、追跡対象物の手の位置と異なる可能性が高くなってしまう。
【0043】
これに対して、本変形例では、図8(c)に示すように、第2補正部80は、検出部30で検出された候補位置を含む周辺の領域(第2部分領域)内の各画素の統合尤度の値を所定量だけ減少させて、第2部分領域内の各画素の統合尤度を補正する。そして、第2補正部80による補正の後、検出部30は、改めて候補位置の検出を行い、図8(d)に示すように、十分な統合尤度を有する極大点を検出した場合は、これを候補位置として検出する。すなわち、図8(e)に示すように、1回目の検出処理で、手と腕が連続する領域の中心が候補位置として検出された場合でも、当該候補位置を含む第2部分領域内の各画素の統合尤度を所定量だけ減少させることにより、2回目の検出処理で、当該領域の中心を挟むように位置する2つの極大点が観測される可能性が高くなるので、2回目の検出処理では、追跡対象物である手が存在する可能性が高い画素が候補位置として検出され易くなる。
【0044】
なお、図6のステップS16において、上述の第2補正部80による補正と2回目の検出処理を行った後に、ステップS17以降の処理に移行してもよい。また、ステップS16(1回目の検出処理)の後、そのままステップS17以降の処理に移行してもよい。そして、ステップS20において追跡に失敗したと判定された後に、再びステップS16に戻って第2補正部80による補正と2回目の検出処理を行った後、再びステップS17以降の処理を繰り返してもよい。
【0045】
(第2実施形態の変形例2)
上述の第2実施形態においては、検出部30で検出された候補位置が複数の場合は、その検出された候補位置ごとに、誤追跡尤度を算出しているが、計算量(処理量)削減のため、統合尤度が低く追跡対象の位置として選択される可能性が低い候補位置については、誤追跡尤度を算出せずに(第1補正部70による補正を行わずに)、統合尤度の値を0として候補位置から除外してもよい。なお、第1補正部70による補正の対象(第2尤度の算出を行う対象)とするか否かの判定は、検出部30で検出された候補位置のうち、例えば統合尤度の値が大きい候補位置を所定数だけ選択したり、統合尤度が所定の閾値を超えた候補位置を選択したり、統合尤度の最大値に対する相対値で所定の値を超えた候補値のみを選択したりすることができる。
【0046】
(第3実施形態)
次に、第3実施形態について説明する。第3実施形態では、検出部30で検出された候補位置と過去における追跡対象物の位置との距離に応じて決まる当該候補位置の移動速度と、追跡対象物の位置の履歴から求まる過去の追跡対象物の移動速度との一致度に応じて、当該候補位置の統合尤度の値を補正する点で上述の各実施形態と相違する。以下の説明において、上述の各実施形態と共通する部分については、同一の符号を付して適宜に説明を省略する。
【0047】
図9は、第3実施形態の追跡装置300の構成例を示すブロック図である。図9に示すように、追跡装置300は、第5算出部90と、第3補正部100とをさらに備える点で上述の各実施形態と相違する。
【0048】
第5算出部90は、検出部30で検出された候補位置と過去における追跡対象物の位置との距離に応じて決まる当該候補位置の移動速度と、追跡対象物の位置の履歴から求まる過去の追跡対象物の移動速度との一致度を示す第3尤度を算出する。検出部30で検出された候補位置が複数の場合は、検出された候補位置ごとに、第3尤度が算出される。
【0049】
本実施形態では、第5算出部90は、直前のフレームにおける追跡対象物の位置を追跡対象情報保持部203から読み出し、検出部30で検出された候補位置ごとに、当該候補位置と、追跡対象情報保持部203から読み出した直前のフレームにおける追跡対象物の位置との距離に基づいて当該候補位置の移動速度を求める。より具体的には、第5算出部90は、検出部30で検出された候補位置を、現在のフレームにおける追跡対象物の位置とみなし、直前のフレームから現在のフレームまでの間に、追跡対象物の位置がどれだけ変化したかを検出し、その検出結果に応じて、現在のフレームにおける追跡対象物の移動速度を決定(算出)する。そして、その決定された移動速度が、候補位置の移動速度となる。
【0050】
なお、ここでは、第5算出部90は、直前のフレームにおける追跡対象物の位置を用いて、候補位置の移動速度を算出しているが、これに限らず、例えば過去の数フレームの各々における追跡対象物の位置を用いて、候補位置の移動速度を求めてもよい。要するに、過去における追跡対象物の位置を用いて、候補位置の移動速度を求めるものであればよい。また、第5算出部90は、追跡対象情報保持部203に保持された追加対象物の位置の履歴を読み出し、その読み出した履歴に基づいて、過去の追跡対象物の移動速度を算出する。そして、第5算出部90は、検出部30で検出された候補位置ごとに、当該候補位置の移動速度と、過去の追跡対象物の移動速度との一致度を示す第3尤度を算出する。
【0051】
第3尤度の算出方法は任意である。例えば過去のフレームにおける追跡対象物の移動方向(角度)の変化量をMd、移動速度の変化量をMs、移動方向の値をTmd、移動速度の値をTmsとすると、第3尤度Dmは、以下の式4により算出することができる。
【数4】

【0052】
なお、式4におけるcdは、追跡対象物とみなされる候補位置の移動速度をV、しきい値をTcdとした場合に、以下の式5により決定される。追跡対象物の動きが小さいとき、移動方向は安定して観測されないことから、第3尤度Dmの算出を上記の式4を用いて行うことで、追跡対象物の移動速度が小さくwdが不安定な場合はwdの比重を下げている。
【数5】

【0053】
上記第3尤度Dmの値は、候補位置の移動速度と、過去の追跡対象物の移動速度との一致度が高いほど大きい値を示す一方、候補位置の移動速度と、過去の追跡対象物の移動速度との一致度が低いほど小さい値を示す。そして、第3補正部100は、検出部30で検出された候補位置ごとに、第5算出部90で算出された第3尤度に応じて統合尤度の値を補正する。本実施形態では、第3補正部100は、候補位置ごとに、当該候補位置の統合尤度に対して第3尤度Dmの値を乗算することで、当該候補位置の統合尤度の値を補正する。例えば第3尤度Dmの値が大きい候補位置については、補正後の統合尤度の値は大きくする。すなわち、過去の追跡対象物の移動速度に近い候補位置ほど補正後の統合尤度の値が大きくなるので、追跡対象物の位置として選択される可能性が高くなる。
【0054】
次に、本実施形態の追跡装置300による処理動作の一例を説明する。図10は、追跡装置300による処理動作の一例を示すフローチャートである。図10のステップS31〜ステップS36の処理内容は、図3のステップS1〜ステップS6の処理内容と同様であるので、詳細な説明は省略する。
【0055】
ステップS37において、第5算出部90は、ステップS36で検出された候補位置と過去における追跡対象物の位置との距離に応じて決まる当該候補位置の移動速度と、追跡対象物の位置の履歴から求まる過去の追跡対象物の移動速度との一致度を示す第3尤度を算出する(ステップS37)。次に、第3補正部100は、ステップS37で算出された第3尤度に応じて、ステップS36で検出された候補位置の画素に対応する統合尤度の値を補正する(ステップS38)。次に、決定部40は、ステップS38の補正後の統合尤度の値に基づいて追跡対象物の位置を決定する(ステップS39)。本実施形態では、ステップS36で検出された候補位置が複数の場合、決定部40は、第3補正部100による補正後の統合尤度が最大の値を示す候補位置を選択し、その選択した候補位置の画素に対応する統合尤度の値(補正後の統合尤度の値)が閾値を超えている場合に、当該候補位置を追跡対象物の位置として決定する。また、ステップS36で検出された候補位置が1つの場合、決定部40は、当該候補位置の画素に対応する統合尤度の補正(第3補正部100による補正)後の値が閾値を超えている場合に、当該候補位置を追跡対象物として決定する。そして、決定部40は、ステップS39で決定した追跡対象物の位置を示す座標などの情報を追跡対象情報保持部203へ格納する(ステップS40)。
【0056】
以上に説明したように、本実施形態では、検出部30で検出された候補位置ごとに、前述の第3尤度を算出し、その算出した第3尤度に応じて統合尤度の値を補正することにより、追跡対象物の移動速度の連続性も考慮して追跡対象物の位置を決定することができる。したがって、本実施形態によれば、第1実施形態および第2実施形態によっても追跡対象物を正しく追跡することが困難な場合にも、より安定して追跡対象物を追跡することができる。
【0057】
(第3実施形態の変形例)
例えば第3実施形態の構成と第2実施形態の構成とを組み合わせることもできる。図11は、この場合における追跡装置301の構成例を示すブロック図である。図11に示すように、追跡装置301は、上述の第3実施形態の構成に加えて、第2設定部50、第4算出部60および第1補正部70をさらに備える。図12は、追跡装置301による処理動作の一例を示すフローチャートである。図12のステップS41〜ステップS48の処理内容は、図10のステップS31〜ステップS38の処理内容と同様である。また、図12のステップS49〜ステップS51の処理内容は、図6のステップS17〜ステップS19の処理内容と同様である。要するに、本変形例の場合は、図12のステップS46で検出された各候補位置の統合尤度の値に対して第3補正部100による補正が行われた後(ステップS48)、さらに、第1補正部70による補正が行われる(ステップS51)。そして、決定部40は、ステップS51の補正後の統合尤度の値に基づいて追跡対象物の位置を決定し(ステップS52)、その決定した追跡対象物の位置を示す座標などの情報を追跡対象情報保持部203へ格納する(ステップS53)。
【0058】
以上、本発明の実施形態を説明したが、上述の各実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【0059】
上述の各実施形態では、画素値の一例として、画素の色を示す色値が採用されているが、これに限らず、例えば赤外線カメラなどを用いて追跡対象物を撮像する場合においては、画素が有する熱量を示すパラメータや反射率などを画素値として採用することもできる。要するに、画素値は、画素の特徴を示すものであればよく、その種類は任意である。また、各画素について、複数種類の画素値を抽出し、その抽出した各画素値に基づいて、当該画素に追跡対象物が存在する可能性を示す複数種類の尤度を算出した上で、過去のフレームにおける追跡対象物の位置からの距離に応じて重み付けを変えながら、複数種類の尤度と、差分値とを統合することで統合尤度を算出してもよい。
【0060】
また、上述の各実施形態では、人物の手が追跡対象物として採用されているが、これに限らず、追跡対象物の種類は任意である。例えば人物の顔などを追跡対象物として採用することもできる。
【0061】
さらに、上述の各実施形態では、取得部10で取得された画像のうち、過去のフレームにおいて追跡対象物である「手」が存在した位置を中心とした所定の範囲が「探索領域」として設定されているが、これに限らず、例えば取得部10で取得された画像全体が探索領域として設定される構成であってもよい。
【0062】
(ハードウェア構成およびプログラム)
上述の各実施形態および各変形例のコマンド発行装置は、CPU(Central Processing Unit)などの制御装置と、ROMやRAMなどの記憶装置と、HDDやSSDなどの外部記憶装置と、ディスプレイなどの表示装置と、マウスやキーボードなどの入力装置と、通信I/Fなどの通信装置とを備えており、通常のコンピュータを利用したハードウェア構成となっている。上述した各部の機能は、追跡装置のCPUがROM等に格納されたプログラムをRAM上で展開して実行することにより実現される。また、これに限らず、これらの機能のうちの少なくとも一部を個別の回路(ハードウェア)で実現することもできる。
【0063】
また、上述の各実施形態および各変形例のコマンド発行装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述の各実施形態および各変形例のコマンド発行装置で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上述の各実施形態および各変形例のコマンド発行装置で実行されるプログラムを、ROM等に予め組み込んで提供するようにしてもよい。また、本実施形態における追跡装置は、CPUなどの制御装置と記憶装置を備え、撮像装置から取得される画像を処理する形態であれば、PC(Personal Computer)に限らず、TV等にも適用可能である。
【符号の説明】
【0064】
1 追跡装置
2 撮像部
10 取得部
11 記憶部
20 第1算出部
20 生成部
30 検出部
40 決定部
50 第2設定部
60 第4算出部
70 第1補正部
80 第2補正部
90 第5算出部
100 第3補正部
200 追跡装置
201 第1算出部
202 第2算出部
203 追跡対象情報保持部
204 第1設定部
205 第3算出部
210 追跡装置
300 追跡装置
301 追跡装置
























【特許請求の範囲】
【請求項1】
追跡対象物を撮像して、時系列のフレーム単位で画像を取得する取得部と、
前記画像内において、前記追跡対象物を探索すべき探索領域に含まれる各画素について、当該画素の画素値と、前記追跡対象物の特徴を示す基準値との一致度を示す第1尤度を算出する第1算出部と、
前記探索領域内の各画素について、当該画素の前記画素値と、過去のフレームにおける前記画像内の当該画素に対応する位置の前記画素値との差分を示す差分値を算出する第2算出部と、
前記探索領域内の各画素について、当該画素と、過去における前記追跡対象物の位置との距離が大きいほど、前記第1尤度の重みが小さくなるとともに前記差分値の重みが大きくなるように、前記第1尤度および前記差分値の各々の重みを設定する第1設定部と、
前記探索領域内の各画素について、前記第1尤度および前記差分値を前記重みで重み付けをして加算することで統合尤度を算出する第3算出部と、
前記探索領域内の各画素のうち、前記統合尤度が極大値を示す画素の位置を、前記追跡対象物の候補位置として検出する検出部と、
前記候補位置から、所定の基準に基づき前記追跡対象物の位置を決定する決定部と、を備える、
追跡装置。
【請求項2】
前記候補位置を含む第1部分領域を設定する第2設定部と、
前記第1部分領域の画像と、前記追跡対象物の画像との一致度を示す第2尤度を算出する第4算出部と、
前記第4算出部で算出された前記第2尤度に応じて、前記候補位置の画素に対応する前記統合尤度の値を補正する第1補正部と、をさらに備え、
前記決定部は、前記第1補正部による補正後の前記統合尤度の値に基づいて前記追跡対象物の位置を決定する、
請求項1の追跡装置。
【請求項3】
前記候補位置を含み、前記第1部分領域の少なくとも一部を含む第2部分領域内の各画素の前記統合尤度の値を所定量だけ減少させて、前記第2部分領域内の各画素の前記統合尤度を補正する第2補正部を更に備え、
前記検出部は、前記第2補正部による補正が行われた後、前記候補位置の検出を再び行う、
請求項2の追跡装置。
【請求項4】
前記候補位置と過去における前記追跡対象物の位置との距離に応じて決まる前記候補位置の移動速度と、前記追跡対象物の位置の履歴から求まる過去の前記追跡対象物の移動速度との一致度を示す第3尤度を算出する第5算出部と、
前記第3尤度の値に応じて、前記候補位置の画素に対応する前記統合尤度の値を補正する第3補正部と、をさらに備え、
前記決定部は、前記第3補正部による補正後の前記統合尤度の値に基づいて前記追跡対象物の位置を決定する、
請求項1の追跡装置。
【請求項5】
前記決定部は、前記候補位置の画素に対応する前記統合尤度の値が閾値を超えている場合に、当該候補位置を前記追跡対象物の位置として決定する、
請求項1乃至4のうちの何れか1項に記載の追跡装置。
【請求項6】
前記決定部は、前記候補位置が複数あり、前記候補位置の画素に対応する前記統合尤度が最大の値を示す前記候補位置を前記追跡対象物の位置として決定する、
請求項1乃至5のうちの何れか1項に記載の追跡装置。
【請求項7】
前記画素値は、前記画素の色を示す色値であり、
前記基準値は、前記追跡対象物の色分布である、
請求項1乃至6のうちの何れか1項に記載の追跡装置。
【請求項8】
追跡対象物を撮像して、時系列のフレーム単位で画像を取得する取得ステップと、
前記画像内において、前記追跡対象物を探索すべき探索領域に含まれる各画素について、当該画素の画素値と、前記追跡対象物の特徴を示す基準値との一致度を示す第1尤度を算出する第1算出ステップと、
前記探索領域内の各画素について、当該画素の前記画素値と、過去のフレームにおける前記画像内の当該画素に対応する位置の前記画素値との差分を示す差分値を算出する第2算出ステップと、
前記探索領域内の各画素について、当該画素と、過去における前記追跡対象物の位置との距離が大きいほど、前記第1尤度の重みが小さくなるとともに前記差分値の重みが大きくなるように、前記第1尤度および前記差分値の各々の重みを設定する第1設定ステップと、
前記探索領域内の各画素について、前記第1尤度および前記差分値を前記重みで重み付けをして加算することで統合尤度を算出する第3算出ステップと、
前記探索領域内の各画素のうち、前記統合尤度が極大値を示す画素の位置を、前記追跡対象物の候補位置として検出する検出ステップと、
前記候補位置から、所定の基準に基づき前記追跡対象物の位置を決定する決定ステップと、を備える、
追跡方法。
【請求項9】
追跡対象物を撮像して、時系列のフレーム単位で画像を取得する取得ステップと、
前記画像内において、前記追跡対象物を探索すべき探索領域に含まれる各画素について、当該画素の画素値と、前記追跡対象物の特徴を示す基準値との一致度を示す第1尤度を算出する第1算出ステップと、
前記探索領域内の各画素について、当該画素の前記画素値と、過去のフレームにおける前記画像内の当該画素に対応する位置の前記画素値との差分を示す差分値を算出する第2算出ステップと、
前記探索領域内の各画素について、当該画素と、過去における前記追跡対象物の位置との距離が大きいほど、前記第1尤度の重みが小さくなるとともに前記差分値の重みが大きくなるように、前記第1尤度および前記差分値の各々の重みを設定する第1設定ステップと、
前記探索領域内の各画素について、前記第1尤度および前記差分値を前記重みで重み付けをして加算することで統合尤度を算出する第3算出ステップと、
前記探索領域内の各画素のうち、前記統合尤度が極大値を示す画素の位置を、前記追跡対象物の候補位置として検出する検出ステップと、
前記候補位置から、所定の基準に基づき前記追跡対象物の位置を決定する決定ステップと、をコンピュータに実行させるためのプログラム。






【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate


【公開番号】特開2013−65103(P2013−65103A)
【公開日】平成25年4月11日(2013.4.11)
【国際特許分類】
【出願番号】特願2011−202408(P2011−202408)
【出願日】平成23年9月15日(2011.9.15)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】