情報処理装置、物体追跡方法および情報処理プログラム
【課題】誤った追跡対象の早期削除と、正しい追跡対象が一時的に隠れている状況での追跡維持とを両立させ、追跡対象数が変化する場合にも正しく物体追跡を行なうこと。
【解決手段】画像中の物体を検出する物体検出手段と、追跡対象とすべき追跡対象物体の情報を記憶する記憶手段と、物体検出手段が検出した検出物体と追跡対象物体との対応度を決定する対応度決定手段と、対応度を用いることにより、検出物体が追跡対象物体であるのか、追跡対象物体が画像中において一時的に隠れているのか、または、追跡対象物体の情報を記憶手段から削除すべきなのかを判定する判定手段と、を備えた情報処理装置。
【解決手段】画像中の物体を検出する物体検出手段と、追跡対象とすべき追跡対象物体の情報を記憶する記憶手段と、物体検出手段が検出した検出物体と追跡対象物体との対応度を決定する対応度決定手段と、対応度を用いることにより、検出物体が追跡対象物体であるのか、追跡対象物体が画像中において一時的に隠れているのか、または、追跡対象物体の情報を記憶手段から削除すべきなのかを判定する判定手段と、を備えた情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内で物体を追跡する技術に関する。
【背景技術】
【０００２】
カメラ等によって得られた動画像内で人物や車といった物体の追跡を行う技術として、非特許文献１には、あらかじめ背景画像を覚えておき観測される動画像から背景画像を引くことによって移動物体を検出する背景差分法を用いた検出方法が開示されている。
【０００３】
また、非特許文献２には、あらかじめ追跡すべき物体のデータを別途多く集めて学習することで物体検出を行なう方法が開示されている。
【０００４】
さらに、特許文献１や非特許文献３や非特許文献４には、物体検出の結果を用いて実際に物体追跡を行う方法が開示されている。特許文献１や非特許文献３では、人物を対象とした追跡において、人物検出処理によって検出された人物候補の中で追跡対象とは認められていない候補が存在する場合、新規に人物追跡する対象として登録する、という処理を行っている。また、所定回数続けて人物検出処理によって適切な人物候補が検出できなかった追跡対象が存在する場合はそれを削除する、という処理を行っている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０‐２５７４４１号公報
【非特許文献】
【０００６】
【非特許文献１】田中達也、島田敬士、谷口倫一朗、山下隆義、有田大作、”時空間特徴を考慮した動的背景モデル構築とそれに基づく物体検出”, MIRU 2009.
【非特許文献２】Dalal, N., Triggs, B., “Histograms of oriented gradients for human detection,” pp.886-893, CVPR 2005.
【非特許文献３】Michael D. Breitenstein, Fabian Reichlin, Bastian Leive, Esther Koller-Meier and Luc Van Gool, "Robust Tracking-by-Detection using a Detector Confidence Particle Filter," IEEE 12th International Conference onComputer Vision, pp.1515-1522, Kyoto, Sept. 2009.
【非特許文献４】M.Jaward, L.Mihaylova, N.Canagarajah, and D.Bull, “Multiple Object Tracking Using Particle Filters,” 2006.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
追跡対象数が変化する状況では、今まで追跡していなかった人物や車が新たに現れた際には新規に追跡対象として登録し、逆に今まで追跡していた人物や車が画像中からいなくなった場合には追跡対象から削除する、といった処理が求められる。
【０００８】
しかしながら、物体検出処理は完全に正確な処理ではないため、物体検出処理によって得られる検出物体中に追跡対象ではない物体が含まれる場合がある。そのような場合、誤検出結果が新規に追跡すべき物体と誤った判断がなされて追跡処理が開始されてしまう。追跡すべき物体では無いので、以降の物体検出処理によって検出される可能性は低く、追跡対象が以降の物体検出処理で検出されない場合に、その追跡対象を削除したほうがよい。
【０００９】
一方で、追跡すべき物体であっても、他の追跡対象の影に隠れるなど一時的に物体検出処理では検出できなくなることもある。この場合、一旦検出された物体が一時的に検出されなくなっても、追跡対象から削除せずにその追跡を継続する必要がある。
【００１０】
しかし、上記文献記載の方法では、誤った追跡対象を早期に削除することと、正しい追跡対象が一時的に隠れている状況で追跡を維持させることとを同時に実現することはできなかった。
【００１１】
本発明の目的は、上述の課題を解決する技術を提供することにある。
【課題を解決するための手段】
【００１２】
上記目的を達成するため、本発明に係る装置は、
画像中の物体を検出する物体検出手段と、
追跡対象とすべき追跡対象物体の情報を記憶する記憶手段と、
前記物体検出手段が検出した検出物体と前記追跡対象物体との対応度を決定する対応度決定手段と、
前記対応度を用いることにより、前記検出物体が前記追跡対象物体であるのか、前記追跡対象物体が前記画像中において一時的に隠れているのか、または、前記追跡対象物体の情報を前記記憶手段から削除すべきなのかを判定する判定手段と、
を備えたことを特徴とする。
【００１３】
上記目的を達成するため、本発明に係る方法は、
画像中の物体を検出する物体検出ステップと、
記憶手段に記憶された追跡対象とすべき追跡対象物体の情報を用いて、前記物体検出ステップが検出した検出物体と前記追跡対象物体との対応度を決定する対応度決定ステップと、
前記対応度を用いることにより、前記検出物体が前記追跡対象物体であるのか、前記追跡対象物体が前記画像中において一時的に隠れているのか、または、前記追跡対象物体の情報を前記記憶手段から削除すべきなのかを判定する判定ステップと、
を含むことを特徴とする。
【００１４】
上記目的を達成するため、本発明に係るプログラムは、
画像中の物体を検出する物体検出ステップと、
記憶手段に記憶された追跡対象とすべき追跡対象物体の情報を用いて、前記物体検出ステップが検出した検出物体と前記追跡対象物体との対応度を決定する対応度決定ステップと、
前記対応度を用いることにより、前記検出物体が前記追跡対象物体であるのか、前記追跡対象物体が前記画像中において一時的に隠れているのか、または、前記追跡対象物体の情報を前記記憶手段から削除すべきなのかを判定する判定ステップと、
をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１５】
誤った追跡対象の早期削除と、正しい追跡対象が一時的に隠れている状況での追跡維持とを両立させ、追跡対象数が変化する場合にも正しく物体追跡を行なうことができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１実施形態としての情報処理装置の構成を示す図である。
【図２】本発明の第２実施形態としての情報処理装置の構成を示す図である。
【図３】本発明の第２実施形態としての情報処理装置の動作の流れを示すフローチャートである。
【図４】追跡対象と追跡対象候補との対応付けの具体例を示す図である。
【発明を実施するための形態】
【００１７】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
【００１８】
［第１実施形態］
本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。情報処理装置１００は、目的とする物体を追跡する装置である。
【００１９】
図１に示すように、情報処理装置１００は、物体検出部１０１と追跡対象情報記憶部１０２と対応度決定部１０３と判定部１０４とを含む。
【００２０】
物体検出部１０１は、画像中の物体を検出する。追跡対象情報記憶部１０２は、追跡対象とすべき追跡対象物体の情報を記憶する。また、対応度決定部１０３は、物体検出部１０１が検出した検出物体と追跡対象物体との対応度を決定する。判定部１０４は、対応度を用いることにより、検出物体が追跡対象物体であるのか、追跡対象物体が画像中において一時的に隠れているのか、または、追跡対象物体の情報を記憶手段から削除すべきなのかを判定する。
【００２１】
以上の構成によれば、誤った追跡対象の早期削除と、正しい追跡対象が一時的に隠れている状況での追跡維持とを両立させ、追跡対象数が変化する場合にも正しく物体追跡を行なうことができる。
【００２２】
［第２実施形態］
次に本発明の第２実施形態に係る情報処理装置について、図２を用いて説明する。図２は、本実施形態に係る情報処理装置２００の構成を説明するための図である。
【００２３】
本実施形態に係る情報処理装置では、各時刻において物体の位置を物体検出処理によって検出し、検出結果と過去に追跡していた物体の位置との近接性を考慮することによって、追跡していた物体の現在における位置を推定する。特に、追跡対象が複数同時に現れた場合にそれらを同時に追跡する追跡処理を考えた場合、動画像中の人物や車などの追跡対象物体は画面外に消えたり新たに画面内に進入したりすることが生じることから、動画像中の追跡対象とする物体の数は変化し得る。そのように追跡対象とする物体の数が変化した場合にも正しく物体追跡を行なうため、本実施形態の情報処理装置２００では以下の構成を有する。
【００２４】
図２を参照すると、情報処理装置２００は、画像取得部２１１と、物体検出部２１２と、対応判定部２１３と、追跡対象実在確率計算部２１４と、追跡対象状態更新部２１５と、追跡対象追加削除部２１６と、結果出力部２１７とを備えている。また、情報処理装置２００は、追跡対象情報記憶部２２１と、追跡対象実在確率記憶部２２２とを備えている。情報処理装置２００をコンピュータで実現する場合、不図示のＣＰＵが、上述の機能構成２１１〜２１７のそれぞれに対応するプログラムモジュールを実行すればよい。
【００２５】
画像取得部２１１は、カメラから入力される映像などの動画像から、新規に画像を１枚取得する。
【００２６】
物体検出部２１２では、画像取得部２１１で得られた画像から、物体検出処理によって、追跡したい物体の候補を検出する。ここで物体検出処理としては数多くの手法が過去に考案されており、それらを利用すればよい。例えば、田中達也、島田敬士、谷口倫一朗、山下隆義、有田大作、”時空間特徴を考慮した動的背景モデル構築とそれに基づく物体検出”, MIRU 2009.にあるような背景差分法を用いた物体検出処理を用いればよい。あるいはまた、Dalal, N., Triggs, B., “Histograms of oriented gradients for human detection,” pp.886-893, CVPR 2005.にあるような、事前に追跡対象に関する学習データを用意して学習に基づく物体検出処理を作成し、それを物体検出に用いてもよい。以降では、物体検出部２１２で得られた追跡対象候補（検出物体）の数をＭとする。検出領域は一般には矩形情報として得られる場合が多いが、矩形でなくても例えば楕円体であってもよいし、より複雑な形状の図形による検出結果であってもよい。
【００２７】
対応判定部２１３は、追跡対象情報記憶部２２１に格納されている追跡対象の情報を呼び出し、追跡対象実在確率記憶部２２２に格納されている値も利用しながら物体検出部２１２で得られたＭ個の追跡対象候補との対応を判定する。
【００２８】
追跡対象情報記憶部２２１に格納されている追跡対象の数をＫとする。また、追跡対象実在確率記憶部２２２に格納されている、ｋ番目の追跡対象に対応する追跡対象実在確率をηｋ（ｋ＝１，，，Ｋ）と表記する。さらに、ｋ番目の追跡対象がｍ番目の追跡対象候補に対応づいている確率をβｋｍと表記する。対応判定部２１３は、確率βｋｍを算出する。ｋ番目の追跡対象とｍ番目の検出物体とが対応づく確率βｋｍを算出する方法の一例として、M.Jaward, L.Mihaylova, N.Canagarajah, and D.Bull, “Multiple Object Tracking Using Particle Filters,” 2006.に示されている方法が存在する。この文献の手法は、以下の式により、確率βｋｍを算出する。
【数１】
・・・数式１
ここで、Θｋｍは、ｋ番目の追跡対象とｍ番目の検出物体とが対応づいているような追跡対象と検出物体との対応付けθの集合をあらわす。
【００２９】
また、Ｐ（θ）は追跡対象と検出物体との対応付けがθとなる確率を表す。すなわち、追跡対象と検出物体との考えられるすべての対応付けの中でｋ番目の追跡対象とｍ番目の検出物体とが対応づいているものに限定してＰ（θ）に関する和をとることで、確率βｋｍが算出される。例えば、Ｋ＝２、Ｍ＝２の場合の具体例について図４に示す。この場合、考えられる対応付けθは図４の４０１〜４０７に示されるようにθ１〜θ７の全部で７通りが考えられる。図４のようなＫ＝２、Ｍ＝２の場合については、具体的に例えば１番目の追跡対象と２番目の検出物体とが対応づく確率β１２は、Θ１２＝｛θ３，θ７｝であることから、β１２＝Ｐ（θ３）＋Ｐ（θ７）として求めることができる。
【００３０】
また、Ｐ（θ）の計算方法は、具体的には、M.Jaward, L.Mihaylova, N.Canagarajah, and D.Bull, “Multiple Object Tracking Using Particle Filters,” 2006.に記載されている。すなわち、以下の式で近似計算することができる。
Ｐ（θ）∝（θに含まれる追跡候補が検出される確率）×（θに含まれない追跡候補が検出されない確率）×（θに含まれない検出物体が誤った物体検出結果である確率）×（対応付けがθであった場合の追跡候補とθで対応している検出物体との近さ）
【００３１】
また、Ｐ（θ）の近似計算方法として、上記文献記載の計算方法の代わりに、以下の近似式を用いてもよい。
Ｐ（θ）∝（θに含まれる検出物体が正しい物体検出結果である確率）×（θに含まれない検出物体が誤った物体検出結果である確率）×（θに含まれない追跡候補が検出されない確率）×（対応付けがθであった場合の追跡候補とθで対応している検出物体との近さ）
【００３２】
これを具体的な数式で表すと、以下のように書くことができる。
【数２】
【００３３】
ただし、Ｕ（θ）は対応付けθで対応づけられた検出物体の集合を表す。また、ＮＤは対応付けθで対応づいている検出物体の数を表す。ＰＤｍはｍ番目の検出物体が正解である確率を表す。また、Ｑは追跡対象が検出されていない確率を表す。また、εｋｍ∈θは、対応付けθでｋ番目の追跡対象とｍ番目の検出物体とが対応づいているということを意味している。また、ｑｋｍはｋ番目の追跡対象とｍ番目の検出物体が対応づいているとした場合の対応付けの尤もらしさを表す値である。それぞれの記号について、例えば、図３の例で考えると、Ｐ（θ３）を考える場合は、Ｕ（θ３）＝｛２｝、ＮＤ＝１、ε１２∈θとなる。ｍ番目の検出物体が正解である確率ＰＤｍについては、物体検出の処理として何を用いるかに依存する。例えば、ｍ番目の検出物体が、物体検出の処理の結果スコアｓであったとすると、別途あらかじめ用意してある多量の画像データに対する多量の物体検出の結果を用いて、スコアがｓで正しい物体をあらわす検出結果の数をスコアがｓである物体検出結果の数で割った値を確率ＰＤｍとして用いてもよい。あるいは他の既に公知となっているなんらかの確率計算手法を用いればよい。Ｑについても同様で、別途あらかじめ用意してある多量の画像データに対する多量の物体検出の結果を用いて、正しい物体をあらわす検出結果の数を正しい物体の総数で割った値を１から減じた値をＱとして用いてもよい。あるいは他の既に公知となっているなんらかの確率計算手法を用いてもよい。ｑｋｍについては、例えば追跡対象ｋと検出物体ｍとの間の位置に関するユークリッド距離をｄとするときに、以下のように標準偏差σの正規分布を仮定して求めてもよい。
【数３】
【００３４】
あるいはM.Jaward, L.Mihaylova, N.Canagarajah, and D.Bull, “Multiple Object Tracking Using Particle Filters,” 2006.に記載の方法のように、色特徴の近さを利用してもよい。しかし、これだけでは、あくまでの追跡対象が正しく追跡すべき物体であることが前提の対応付け手法に留まる。本明細書においては、新たに追跡対象が正しく追跡すべき物体では無い場合も考慮した場合を考える。具体的には、ｋ番目の追跡対象が正しく追跡すべき物体である確率ηｋも用いて、Ｐ（θ）の計算式を、以下の計算式へと拡張し、この式を用いてｋ番目の追跡対象とｍ番目の検出物体とが対応づく確率βｋｍの計算を実施する。
【数４】
ただし、Ｖ（θ）は対応付けθで対応づく追跡対象の集合を表す。例えば、図３の例で考えると、Ｐ（θ３）を考える場合は、Ｖ（θ３）＝｛１｝となる。本式は先の式とは第３項と第４項が異なる。第３項は（θに含まれない追跡候補が検出されない確率）を表す項であるが、それを（追跡候補がそもそも存在しないか、あるいは存在しても検出されないかを表す確率）へと拡張している。また、第４項は、（対応付けがθであった場合の追跡候補とθで対応している検出物体との近さ）を表す項であるが、それを、（追跡候補が存在していて、かつ追跡候補とθで対応している検出物体との近さ）へと拡張している。なお、ηが１の場合は先の式に一致した式が得られる。βｋｍの計算を実際に行う際には可能性のあるすべての対応付けθを考える必要がある。対応付けθの考えられる数はM.Jaward, L.Mihaylova, N.Canagarajah, and D.Bull, “Multiple Object Tracking Using Particle Filters,” 2006.にも記載されている通り、全部で、以下の式となり、これは階乗計算が含まれているために、ＭやＫが少しでも増えた時には、非常に膨大な計算量となる。
【数５】
そこで、実際の計算においては、Ｐ（θ）が最も高くなるθ（以下の式で表わされる）のみを用いて、以下のように最大値近似を用いてもよい。
【数６】
【数７】
ここで、上の式で得られるもっともよい対応付けを求めるためには例えばハンガリアン法を用いることで比較的高速に算出が可能である。あるいは最大値近似以外の、他の近似計算方法手法を用いることももちろん可能である。
【００３５】
追跡対象実在確率計算部２１４は、対応判定部２１３で得られた追跡対象と検出物体との対応付けの結果をもとにして、追跡対象が正しく追跡すべき物体として実在しているか否かを表す確率を計算する。具体的には、ｋ番目の追跡対象が追跡すべき物体として実在している確率ηｋを、以下のように更新する。
【数８】
・・・数式２
ただし、以下の式が成立する。
【数９】
・・・数式３
すなわち、検出物体が追跡対象である確率を考慮して、その確率が高いほど追跡対象が実在している確率を高める。
【００３６】
追跡対象が一時的に隠れた状態になっている場合には、その時点では、物体検出処理によって検出物体としては検出されない。しかし、その場合、過去にすでに追跡対象と判定されているならば、追跡対象としては実在すると考えてよいはずである。そこで、ｋ番目の追跡対象が一時的に隠れている確率ξｋも設定し、ηｋが減少した場合には、その減少分の一部をξｋに振り分けるということを行う。具体的には、ηｋの変化の大きさの絶対値をΔηｋとすると、ηｋが減少した場合には、以下の式のようにξｋを算出する。
ξｋ←ξｋ＋δkΔηｋ・・・数式４
ここで、δはξｋに振り分ける比率（）を表す０から１までの実数であり、あらかじめ定めた定数を用いればよい。あるいは、ｋ番目の追跡対象が一時的に隠れているか否かを判定する別の指標を用意し、その指標の結果をδに用いてもよい。例えば、田中達也、島田敬士、谷口倫一朗、山下隆義、有田大作、”時空間特徴を考慮した動的背景モデル構築とそれに基づく物体検出”, MIRU 2009.などの背景差分法によって前景領域を計算し、追跡対象が存在する付近での前景比率をδとしてもよい。
【００３７】
なぜならば、前景比率が高ければ、それだけ何らかの移動物体が存在することを示しているため、追跡対象が一時隠れの状態になっている可能性が高いと考えられるからである。あるいはまた事前に障害物の位置が既知であるならば、障害物があると思われる位置に追跡対象が来た場合にはδをあらかじめ定めた１に近い値に設定し、そうでなければδをあらかじめ定めた０に近い値に設定してもよい。あるいはまた、別途あらかじめ容易した動画像に対する性能が良くなるように、外部からδの値を調整できるように設定してもよい。
【００３８】
この場合は、δと同時にαも外部から更新可能にしてもよい。この調整により、誤追跡結果の削減方法と追跡対象の一時隠れへの対応方法を個別に調整することが可能になる。一方、ηｋが増加した場合も考える必要があるが、その増加分の一部をξｋの減少で補う。具体的には、現在の一時隠れかそれ以外かの比率を維持するように、ηｋが増加した場合には、以下のように算出すればよい。
【数１０】
・・・数式５
追跡対象状態更新部２１５は、対応判定部２１３によって得られた対応付け結果を用いて、各追跡対象の状態を更新する。ここで追跡対象の状態というのは、例えば追跡対象の画像中の位置や大きさや移動速度、あるいは色情報などである。追跡にカルマンフィルタを利用する場合には追跡対象の位置に関する分散も状態として持てばよい。また追跡にパーティクルフィルタを利用する場合には、状態として追跡対象に対する数多くのパーティクルの情報も状態として持てばよい。更新方法はより具体的には、ｋ番目の追跡対象がｍ番目の検出物体に、確率βｋｍの重みでの優先度をもって、より近づいていくようにｋ番目の追跡対象の状態を更新する、という処理をよい。具体的な更新方法については、例えばM.Jaward, L.Mihaylova, N.Canagarajah, and D.Bull, “Multiple Object Tracking Using Particle Filters,” 2006.に記されているものを用いればよい。
【００３９】
追跡対象追加削除部２１６は、対応判定部２１３による対応付けの結果と追跡対象実在確率計算部２１４による追跡対象実在確率と追跡対象状態更新部２１５による最新の追跡対象の状態とを用いて、新規に追跡すべき対象があるか否かを判定する。そして更に、追跡対象を削除してもよいか否かを判定し、処理を実行する。具体的には、もし追跡対象ｋの位置があらかじめ指定した処理すべきエリアの外に出た場合、あるいは追跡対象ｋに対する実在確率ηｋと追跡対象ｋに対する一時隠れ確率ξｋとの和があらかじめ定めた閾値以下になっている場合に追跡対象ｋの削除を実施する。
【００４０】
あるいは、追跡対象ｋに対する一時隠れ確率ξｋがあらかじめ定めた閾値以上であっても、それがあらかじめ定めた時間以上継続しているならば、隠れの状態が長すぎると判断して追跡対象ｋの削除を実施してもよい。また、閾値を動画像に対する処理の状況に応じて、ユーザーが別途外部から調整してもよい。例えば、メモリの制約が強い場合には、一時隠れ確率ξｋに対しあらかじめ定める閾値を小さくしてもよい。または、一時隠れ確率ξｋに対しあらかじめ定めた時間を小さくして、少しでも長い間隠れたと判定される追跡対象を積極的に削除することで、メモリを確保してもよい。
【００４１】
このようにパラメータを外部から調整することで、誤追跡結果の削減方法と追跡対象の一時的な隠れに対する個別の対応が可能となる。また、どの追跡対象とも対応づいている確率があらかじめ定めた閾値以下の検出物体があれば、それを新規に追跡対象として追加する。追加する際には、追跡対象の確率値をあらかじめ定めた固定値で設定しておく。例えば具体的には、新規に追加する追跡対象がｋ’番目の追跡対象だったとするならば、ηｋ’＝０．１、ξｋ’＝０．０として設定すればよい。あるいは、登録時に対応する検出物体が物体である確率を反映してパラメータを設定してもよい。そして追跡対象の最新の状態を追跡対象情報記憶部２２１に格納し、追跡対象実在確率の最新の値を追跡対象実在確率記憶部２２２に格納する。
【００４２】
結果出力部２１７は、追跡対象追加削除部２１６で得られた最終的な追跡対象の情報を出力する。具体的には例えば、追跡対象ごとに何番目に追加された追跡対象であるかという情報と位置の座標値の組をテキスト情報として出力する。
【００４３】
追跡対象情報記憶部２２１は、追跡対象の状態を記憶しておく領域である。それぞれの追跡対象が何番目に追加された追跡対象であるかという情報と、それぞれの追跡対象の状態との組み合わせを格納しておく。
【００４４】
追跡対象情報記憶部２２１は、追跡対象の実在確率を記憶しておく領域である。具体的には追跡対象の数をＫ個とすると、それぞれの追跡対象に対してηｋ、ξｋ（ｋ＝１，，，Ｋ）という２つの確率値が格納されている。なお、ηｋ、ξｋはそれぞれ追跡対象ｋに対する実在してかつ観測できている尺度と、実在しているが一時的に隠れた状態を表す尺度を表すものであり、厳密には確率ではなくても同様の意味を表すような別の尺度を用いてもよい。
【００４５】
《動作》
次に、図２および図３を参照して本実施形態の動作について詳細に説明する。
【００４６】
まず、画像取得部２１１が、カメラから入力される映像などの動画像から、新規に画像を１枚取得する（ステップＳ３０１）。
【００４７】
次に、物体検出部２１２が、ステップＳ３０１で入力された入力画像に対して物体検出処理を行なう。その結果、追跡対象候補を得る（ステップＳ３０３）。追跡対象候補としては、具体的には矩形として得られ、中心位置、および幅・高さといった大きさ情報が取得される。なお矩形の代わりに楕円など他の表現を用いることも可能である。
【００４８】
次に、対応判定部２１３において、追跡対象情報記憶部２２１に格納されている現時点で存在している追跡対象の情報と、追跡対象実在確率記憶部２２２に格納されている追跡対象の情報が読み出される（ステップＳ３０５）。さらに追跡対象と物体検出結果の対応付けを実施し、数式１を用いて対応づく確率値が計算される（ステップＳ３０７）。
【００４９】
次に、追跡対象実在確率計算部２１４において、数式１で計算された確率値を用いて、数式２〜５の計算式に従って、追跡対象の存在確率を計算する（ステップＳ３０９）。次に、追跡対象状態更新部２１５において、追跡対象の状態を更新する（ステップＳ３１１）。
【００５０】
次に、追跡対象追加削除部２１６において、追跡対象数の変更があるか否かを判定する（ステップＳ３１３）。そして追跡対象数の変更があるならば変更を行う（ステップＳ３１５）。その後、最新の追跡対象の状態を追跡対象情報記憶部２１と追跡対象実在確率記憶部２２２に格納する（ステップＳ３１７）。追跡対象数の変更が無いならば、何も処理をせずにステップＳ３１９に移行する。
【００５１】
次に、結果出力部２１７において、最新の追跡対象の状態を出力する（ステップＳ３１９）。
【００５２】
引き続き、カメラから入力される映像などの動画像から、新規に取得すべき画像が存在する否かを判定し、新規の画像が存在するのであれば、ステップＳ３０１に戻り、そうでなければ終了する（ステップＳ３２１）。
【００５３】
以上説明したように、本実施形態によれば、誤った追跡対象の早期削除と、正しい追跡対象が一時的に隠れている状況での追跡維持とを両立させ、追跡対象数が変化する場合にも正しく物体追跡を行なうことができる。
【００５４】
［他の実施形態］
以上、本発明の実施形態について詳述したが、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
【００５５】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。
【００５６】
［実施形態の他の表現］
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
画像中の物体を検出する物体検出手段と、
追跡対象とすべき追跡対象物体の情報を記憶する記憶手段と、
前記物体検出手段が検出した検出物体と前記追跡対象物体との対応度を決定する対応度決定手段と、
前記対応度を用いることにより、前記検出物体が前記追跡対象物体であるのか、前記追跡対象物体が前記画像中において一時的に隠れているのか、または、前記追跡対象物体の情報を前記記憶手段から削除すべきなのかを判定する判定手段と、
を備えたことを特徴とする情報処理装置。
（付記２）
前記対応度決定手段は、正しく追跡すべき物体である確率が高い前記追跡対象物体に関する前記対応度が、正しく追跡すべき物体である確率が低い前記追跡対象物体に関する前記対応度よりも大きくなるように、前記対応度を決定することを特徴とする付記１に記載の情報処理装置。
（付記３）
前記対応度として、
正しく追跡すべき物体が前記物体検出手段によって検出物体として検出される第１確率と、正しく追跡すべき物体であるが前記物体検出手段によって検出されない第２確率とを含むことを特徴とする付記２に記載の情報処理装置。
（付記４）
前記対応度決定手段は、
前記第１確率が高くなった後に低くなった場合には、観測不可能な状態となっている可能性が高いとして、前記第１確率の減少分に応じて、前記第２確率を増加させることを特徴とする付記３に記載の情報処理装置。
（付記５）
前記対応度決定手段は、
前記第１確率の減少分に応じた前記第２確率の増加率を調整する調整手段を含むことを特徴とする付記４に記載の情報処理装置。
（付記６）
前記第１確率および前記第２確率の和が、あらかじめ定めた閾値以下となる前記追跡対象物体の情報を前記記憶手段から削除する削除手段をさらに備えたことを特徴とする付記３または４に記載の情報処理装置。
（付記７）
前記削除手段は、
前記第２確率があらかじめ定めた閾値以上となる場合があらかじめ定めた時間以上継続して生じる場合に前記追跡対象物体の情報を前記記憶手段から削除することを特徴とする付記６に記載の情報処理装置。
（付記８）
画像中の物体を検出する物体検出ステップと、
記憶手段に記憶された追跡対象とすべき追跡対象物体の情報を用いて、前記物体検出ステップが検出した検出物体と前記追跡対象物体との対応度を決定する対応度決定ステップと、
前記対応度を用いることにより、前記検出物体が前記追跡対象物体であるのか、前記追跡対象物体が前記画像中において一時的に隠れているのか、または、前記追跡対象物体の情報を前記記憶手段から削除すべきなのかを判定する判定ステップと、
を含むことを特徴とする物体追跡方法。
（付記９）
画像中の物体を検出する物体検出ステップと、
記憶手段に記憶された追跡対象とすべき追跡対象物体の情報を用いて、前記物体検出ステップが検出した検出物体と前記追跡対象物体との対応度を決定する対応度決定ステップと、
前記対応度を用いることにより、前記検出物体が前記追跡対象物体であるのか、前記追跡対象物体が前記画像中において一時的に隠れているのか、または、前記追跡対象物体の情報を前記記憶手段から削除すべきなのかを判定する判定ステップと、
をコンピュータに実行させることを特徴とする情報処理プログラム。
【技術分野】
【０００１】
本発明は、画像内で物体を追跡する技術に関する。
【背景技術】
【０００２】
カメラ等によって得られた動画像内で人物や車といった物体の追跡を行う技術として、非特許文献１には、あらかじめ背景画像を覚えておき観測される動画像から背景画像を引くことによって移動物体を検出する背景差分法を用いた検出方法が開示されている。
【０００３】
また、非特許文献２には、あらかじめ追跡すべき物体のデータを別途多く集めて学習することで物体検出を行なう方法が開示されている。
【０００４】
さらに、特許文献１や非特許文献３や非特許文献４には、物体検出の結果を用いて実際に物体追跡を行う方法が開示されている。特許文献１や非特許文献３では、人物を対象とした追跡において、人物検出処理によって検出された人物候補の中で追跡対象とは認められていない候補が存在する場合、新規に人物追跡する対象として登録する、という処理を行っている。また、所定回数続けて人物検出処理によって適切な人物候補が検出できなかった追跡対象が存在する場合はそれを削除する、という処理を行っている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０‐２５７４４１号公報
【非特許文献】
【０００６】
【非特許文献１】田中達也、島田敬士、谷口倫一朗、山下隆義、有田大作、”時空間特徴を考慮した動的背景モデル構築とそれに基づく物体検出”, MIRU 2009.
【非特許文献２】Dalal, N., Triggs, B., “Histograms of oriented gradients for human detection,” pp.886-893, CVPR 2005.
【非特許文献３】Michael D. Breitenstein, Fabian Reichlin, Bastian Leive, Esther Koller-Meier and Luc Van Gool, "Robust Tracking-by-Detection using a Detector Confidence Particle Filter," IEEE 12th International Conference onComputer Vision, pp.1515-1522, Kyoto, Sept. 2009.
【非特許文献４】M.Jaward, L.Mihaylova, N.Canagarajah, and D.Bull, “Multiple Object Tracking Using Particle Filters,” 2006.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
追跡対象数が変化する状況では、今まで追跡していなかった人物や車が新たに現れた際には新規に追跡対象として登録し、逆に今まで追跡していた人物や車が画像中からいなくなった場合には追跡対象から削除する、といった処理が求められる。
【０００８】
しかしながら、物体検出処理は完全に正確な処理ではないため、物体検出処理によって得られる検出物体中に追跡対象ではない物体が含まれる場合がある。そのような場合、誤検出結果が新規に追跡すべき物体と誤った判断がなされて追跡処理が開始されてしまう。追跡すべき物体では無いので、以降の物体検出処理によって検出される可能性は低く、追跡対象が以降の物体検出処理で検出されない場合に、その追跡対象を削除したほうがよい。
【０００９】
一方で、追跡すべき物体であっても、他の追跡対象の影に隠れるなど一時的に物体検出処理では検出できなくなることもある。この場合、一旦検出された物体が一時的に検出されなくなっても、追跡対象から削除せずにその追跡を継続する必要がある。
【００１０】
しかし、上記文献記載の方法では、誤った追跡対象を早期に削除することと、正しい追跡対象が一時的に隠れている状況で追跡を維持させることとを同時に実現することはできなかった。
【００１１】
本発明の目的は、上述の課題を解決する技術を提供することにある。
【課題を解決するための手段】
【００１２】
上記目的を達成するため、本発明に係る装置は、
画像中の物体を検出する物体検出手段と、
追跡対象とすべき追跡対象物体の情報を記憶する記憶手段と、
前記物体検出手段が検出した検出物体と前記追跡対象物体との対応度を決定する対応度決定手段と、
前記対応度を用いることにより、前記検出物体が前記追跡対象物体であるのか、前記追跡対象物体が前記画像中において一時的に隠れているのか、または、前記追跡対象物体の情報を前記記憶手段から削除すべきなのかを判定する判定手段と、
を備えたことを特徴とする。
【００１３】
上記目的を達成するため、本発明に係る方法は、
画像中の物体を検出する物体検出ステップと、
記憶手段に記憶された追跡対象とすべき追跡対象物体の情報を用いて、前記物体検出ステップが検出した検出物体と前記追跡対象物体との対応度を決定する対応度決定ステップと、
前記対応度を用いることにより、前記検出物体が前記追跡対象物体であるのか、前記追跡対象物体が前記画像中において一時的に隠れているのか、または、前記追跡対象物体の情報を前記記憶手段から削除すべきなのかを判定する判定ステップと、
を含むことを特徴とする。
【００１４】
上記目的を達成するため、本発明に係るプログラムは、
画像中の物体を検出する物体検出ステップと、
記憶手段に記憶された追跡対象とすべき追跡対象物体の情報を用いて、前記物体検出ステップが検出した検出物体と前記追跡対象物体との対応度を決定する対応度決定ステップと、
前記対応度を用いることにより、前記検出物体が前記追跡対象物体であるのか、前記追跡対象物体が前記画像中において一時的に隠れているのか、または、前記追跡対象物体の情報を前記記憶手段から削除すべきなのかを判定する判定ステップと、
をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１５】
誤った追跡対象の早期削除と、正しい追跡対象が一時的に隠れている状況での追跡維持とを両立させ、追跡対象数が変化する場合にも正しく物体追跡を行なうことができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１実施形態としての情報処理装置の構成を示す図である。
【図２】本発明の第２実施形態としての情報処理装置の構成を示す図である。
【図３】本発明の第２実施形態としての情報処理装置の動作の流れを示すフローチャートである。
【図４】追跡対象と追跡対象候補との対応付けの具体例を示す図である。
【発明を実施するための形態】
【００１７】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
【００１８】
［第１実施形態］
本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。情報処理装置１００は、目的とする物体を追跡する装置である。
【００１９】
図１に示すように、情報処理装置１００は、物体検出部１０１と追跡対象情報記憶部１０２と対応度決定部１０３と判定部１０４とを含む。
【００２０】
物体検出部１０１は、画像中の物体を検出する。追跡対象情報記憶部１０２は、追跡対象とすべき追跡対象物体の情報を記憶する。また、対応度決定部１０３は、物体検出部１０１が検出した検出物体と追跡対象物体との対応度を決定する。判定部１０４は、対応度を用いることにより、検出物体が追跡対象物体であるのか、追跡対象物体が画像中において一時的に隠れているのか、または、追跡対象物体の情報を記憶手段から削除すべきなのかを判定する。
【００２１】
以上の構成によれば、誤った追跡対象の早期削除と、正しい追跡対象が一時的に隠れている状況での追跡維持とを両立させ、追跡対象数が変化する場合にも正しく物体追跡を行なうことができる。
【００２２】
［第２実施形態］
次に本発明の第２実施形態に係る情報処理装置について、図２を用いて説明する。図２は、本実施形態に係る情報処理装置２００の構成を説明するための図である。
【００２３】
本実施形態に係る情報処理装置では、各時刻において物体の位置を物体検出処理によって検出し、検出結果と過去に追跡していた物体の位置との近接性を考慮することによって、追跡していた物体の現在における位置を推定する。特に、追跡対象が複数同時に現れた場合にそれらを同時に追跡する追跡処理を考えた場合、動画像中の人物や車などの追跡対象物体は画面外に消えたり新たに画面内に進入したりすることが生じることから、動画像中の追跡対象とする物体の数は変化し得る。そのように追跡対象とする物体の数が変化した場合にも正しく物体追跡を行なうため、本実施形態の情報処理装置２００では以下の構成を有する。
【００２４】
図２を参照すると、情報処理装置２００は、画像取得部２１１と、物体検出部２１２と、対応判定部２１３と、追跡対象実在確率計算部２１４と、追跡対象状態更新部２１５と、追跡対象追加削除部２１６と、結果出力部２１７とを備えている。また、情報処理装置２００は、追跡対象情報記憶部２２１と、追跡対象実在確率記憶部２２２とを備えている。情報処理装置２００をコンピュータで実現する場合、不図示のＣＰＵが、上述の機能構成２１１〜２１７のそれぞれに対応するプログラムモジュールを実行すればよい。
【００２５】
画像取得部２１１は、カメラから入力される映像などの動画像から、新規に画像を１枚取得する。
【００２６】
物体検出部２１２では、画像取得部２１１で得られた画像から、物体検出処理によって、追跡したい物体の候補を検出する。ここで物体検出処理としては数多くの手法が過去に考案されており、それらを利用すればよい。例えば、田中達也、島田敬士、谷口倫一朗、山下隆義、有田大作、”時空間特徴を考慮した動的背景モデル構築とそれに基づく物体検出”, MIRU 2009.にあるような背景差分法を用いた物体検出処理を用いればよい。あるいはまた、Dalal, N., Triggs, B., “Histograms of oriented gradients for human detection,” pp.886-893, CVPR 2005.にあるような、事前に追跡対象に関する学習データを用意して学習に基づく物体検出処理を作成し、それを物体検出に用いてもよい。以降では、物体検出部２１２で得られた追跡対象候補（検出物体）の数をＭとする。検出領域は一般には矩形情報として得られる場合が多いが、矩形でなくても例えば楕円体であってもよいし、より複雑な形状の図形による検出結果であってもよい。
【００２７】
対応判定部２１３は、追跡対象情報記憶部２２１に格納されている追跡対象の情報を呼び出し、追跡対象実在確率記憶部２２２に格納されている値も利用しながら物体検出部２１２で得られたＭ個の追跡対象候補との対応を判定する。
【００２８】
追跡対象情報記憶部２２１に格納されている追跡対象の数をＫとする。また、追跡対象実在確率記憶部２２２に格納されている、ｋ番目の追跡対象に対応する追跡対象実在確率をηｋ（ｋ＝１，，，Ｋ）と表記する。さらに、ｋ番目の追跡対象がｍ番目の追跡対象候補に対応づいている確率をβｋｍと表記する。対応判定部２１３は、確率βｋｍを算出する。ｋ番目の追跡対象とｍ番目の検出物体とが対応づく確率βｋｍを算出する方法の一例として、M.Jaward, L.Mihaylova, N.Canagarajah, and D.Bull, “Multiple Object Tracking Using Particle Filters,” 2006.に示されている方法が存在する。この文献の手法は、以下の式により、確率βｋｍを算出する。
【数１】
・・・数式１
ここで、Θｋｍは、ｋ番目の追跡対象とｍ番目の検出物体とが対応づいているような追跡対象と検出物体との対応付けθの集合をあらわす。
【００２９】
また、Ｐ（θ）は追跡対象と検出物体との対応付けがθとなる確率を表す。すなわち、追跡対象と検出物体との考えられるすべての対応付けの中でｋ番目の追跡対象とｍ番目の検出物体とが対応づいているものに限定してＰ（θ）に関する和をとることで、確率βｋｍが算出される。例えば、Ｋ＝２、Ｍ＝２の場合の具体例について図４に示す。この場合、考えられる対応付けθは図４の４０１〜４０７に示されるようにθ１〜θ７の全部で７通りが考えられる。図４のようなＫ＝２、Ｍ＝２の場合については、具体的に例えば１番目の追跡対象と２番目の検出物体とが対応づく確率β１２は、Θ１２＝｛θ３，θ７｝であることから、β１２＝Ｐ（θ３）＋Ｐ（θ７）として求めることができる。
【００３０】
また、Ｐ（θ）の計算方法は、具体的には、M.Jaward, L.Mihaylova, N.Canagarajah, and D.Bull, “Multiple Object Tracking Using Particle Filters,” 2006.に記載されている。すなわち、以下の式で近似計算することができる。
Ｐ（θ）∝（θに含まれる追跡候補が検出される確率）×（θに含まれない追跡候補が検出されない確率）×（θに含まれない検出物体が誤った物体検出結果である確率）×（対応付けがθであった場合の追跡候補とθで対応している検出物体との近さ）
【００３１】
また、Ｐ（θ）の近似計算方法として、上記文献記載の計算方法の代わりに、以下の近似式を用いてもよい。
Ｐ（θ）∝（θに含まれる検出物体が正しい物体検出結果である確率）×（θに含まれない検出物体が誤った物体検出結果である確率）×（θに含まれない追跡候補が検出されない確率）×（対応付けがθであった場合の追跡候補とθで対応している検出物体との近さ）
【００３２】
これを具体的な数式で表すと、以下のように書くことができる。
【数２】
【００３３】
ただし、Ｕ（θ）は対応付けθで対応づけられた検出物体の集合を表す。また、ＮＤは対応付けθで対応づいている検出物体の数を表す。ＰＤｍはｍ番目の検出物体が正解である確率を表す。また、Ｑは追跡対象が検出されていない確率を表す。また、εｋｍ∈θは、対応付けθでｋ番目の追跡対象とｍ番目の検出物体とが対応づいているということを意味している。また、ｑｋｍはｋ番目の追跡対象とｍ番目の検出物体が対応づいているとした場合の対応付けの尤もらしさを表す値である。それぞれの記号について、例えば、図３の例で考えると、Ｐ（θ３）を考える場合は、Ｕ（θ３）＝｛２｝、ＮＤ＝１、ε１２∈θとなる。ｍ番目の検出物体が正解である確率ＰＤｍについては、物体検出の処理として何を用いるかに依存する。例えば、ｍ番目の検出物体が、物体検出の処理の結果スコアｓであったとすると、別途あらかじめ用意してある多量の画像データに対する多量の物体検出の結果を用いて、スコアがｓで正しい物体をあらわす検出結果の数をスコアがｓである物体検出結果の数で割った値を確率ＰＤｍとして用いてもよい。あるいは他の既に公知となっているなんらかの確率計算手法を用いればよい。Ｑについても同様で、別途あらかじめ用意してある多量の画像データに対する多量の物体検出の結果を用いて、正しい物体をあらわす検出結果の数を正しい物体の総数で割った値を１から減じた値をＱとして用いてもよい。あるいは他の既に公知となっているなんらかの確率計算手法を用いてもよい。ｑｋｍについては、例えば追跡対象ｋと検出物体ｍとの間の位置に関するユークリッド距離をｄとするときに、以下のように標準偏差σの正規分布を仮定して求めてもよい。
【数３】
【００３４】
あるいはM.Jaward, L.Mihaylova, N.Canagarajah, and D.Bull, “Multiple Object Tracking Using Particle Filters,” 2006.に記載の方法のように、色特徴の近さを利用してもよい。しかし、これだけでは、あくまでの追跡対象が正しく追跡すべき物体であることが前提の対応付け手法に留まる。本明細書においては、新たに追跡対象が正しく追跡すべき物体では無い場合も考慮した場合を考える。具体的には、ｋ番目の追跡対象が正しく追跡すべき物体である確率ηｋも用いて、Ｐ（θ）の計算式を、以下の計算式へと拡張し、この式を用いてｋ番目の追跡対象とｍ番目の検出物体とが対応づく確率βｋｍの計算を実施する。
【数４】
ただし、Ｖ（θ）は対応付けθで対応づく追跡対象の集合を表す。例えば、図３の例で考えると、Ｐ（θ３）を考える場合は、Ｖ（θ３）＝｛１｝となる。本式は先の式とは第３項と第４項が異なる。第３項は（θに含まれない追跡候補が検出されない確率）を表す項であるが、それを（追跡候補がそもそも存在しないか、あるいは存在しても検出されないかを表す確率）へと拡張している。また、第４項は、（対応付けがθであった場合の追跡候補とθで対応している検出物体との近さ）を表す項であるが、それを、（追跡候補が存在していて、かつ追跡候補とθで対応している検出物体との近さ）へと拡張している。なお、ηが１の場合は先の式に一致した式が得られる。βｋｍの計算を実際に行う際には可能性のあるすべての対応付けθを考える必要がある。対応付けθの考えられる数はM.Jaward, L.Mihaylova, N.Canagarajah, and D.Bull, “Multiple Object Tracking Using Particle Filters,” 2006.にも記載されている通り、全部で、以下の式となり、これは階乗計算が含まれているために、ＭやＫが少しでも増えた時には、非常に膨大な計算量となる。
【数５】
そこで、実際の計算においては、Ｐ（θ）が最も高くなるθ（以下の式で表わされる）のみを用いて、以下のように最大値近似を用いてもよい。
【数６】
【数７】
ここで、上の式で得られるもっともよい対応付けを求めるためには例えばハンガリアン法を用いることで比較的高速に算出が可能である。あるいは最大値近似以外の、他の近似計算方法手法を用いることももちろん可能である。
【００３５】
追跡対象実在確率計算部２１４は、対応判定部２１３で得られた追跡対象と検出物体との対応付けの結果をもとにして、追跡対象が正しく追跡すべき物体として実在しているか否かを表す確率を計算する。具体的には、ｋ番目の追跡対象が追跡すべき物体として実在している確率ηｋを、以下のように更新する。
【数８】
・・・数式２
ただし、以下の式が成立する。
【数９】
・・・数式３
すなわち、検出物体が追跡対象である確率を考慮して、その確率が高いほど追跡対象が実在している確率を高める。
【００３６】
追跡対象が一時的に隠れた状態になっている場合には、その時点では、物体検出処理によって検出物体としては検出されない。しかし、その場合、過去にすでに追跡対象と判定されているならば、追跡対象としては実在すると考えてよいはずである。そこで、ｋ番目の追跡対象が一時的に隠れている確率ξｋも設定し、ηｋが減少した場合には、その減少分の一部をξｋに振り分けるということを行う。具体的には、ηｋの変化の大きさの絶対値をΔηｋとすると、ηｋが減少した場合には、以下の式のようにξｋを算出する。
ξｋ←ξｋ＋δkΔηｋ・・・数式４
ここで、δはξｋに振り分ける比率（）を表す０から１までの実数であり、あらかじめ定めた定数を用いればよい。あるいは、ｋ番目の追跡対象が一時的に隠れているか否かを判定する別の指標を用意し、その指標の結果をδに用いてもよい。例えば、田中達也、島田敬士、谷口倫一朗、山下隆義、有田大作、”時空間特徴を考慮した動的背景モデル構築とそれに基づく物体検出”, MIRU 2009.などの背景差分法によって前景領域を計算し、追跡対象が存在する付近での前景比率をδとしてもよい。
【００３７】
なぜならば、前景比率が高ければ、それだけ何らかの移動物体が存在することを示しているため、追跡対象が一時隠れの状態になっている可能性が高いと考えられるからである。あるいはまた事前に障害物の位置が既知であるならば、障害物があると思われる位置に追跡対象が来た場合にはδをあらかじめ定めた１に近い値に設定し、そうでなければδをあらかじめ定めた０に近い値に設定してもよい。あるいはまた、別途あらかじめ容易した動画像に対する性能が良くなるように、外部からδの値を調整できるように設定してもよい。
【００３８】
この場合は、δと同時にαも外部から更新可能にしてもよい。この調整により、誤追跡結果の削減方法と追跡対象の一時隠れへの対応方法を個別に調整することが可能になる。一方、ηｋが増加した場合も考える必要があるが、その増加分の一部をξｋの減少で補う。具体的には、現在の一時隠れかそれ以外かの比率を維持するように、ηｋが増加した場合には、以下のように算出すればよい。
【数１０】
・・・数式５
追跡対象状態更新部２１５は、対応判定部２１３によって得られた対応付け結果を用いて、各追跡対象の状態を更新する。ここで追跡対象の状態というのは、例えば追跡対象の画像中の位置や大きさや移動速度、あるいは色情報などである。追跡にカルマンフィルタを利用する場合には追跡対象の位置に関する分散も状態として持てばよい。また追跡にパーティクルフィルタを利用する場合には、状態として追跡対象に対する数多くのパーティクルの情報も状態として持てばよい。更新方法はより具体的には、ｋ番目の追跡対象がｍ番目の検出物体に、確率βｋｍの重みでの優先度をもって、より近づいていくようにｋ番目の追跡対象の状態を更新する、という処理をよい。具体的な更新方法については、例えばM.Jaward, L.Mihaylova, N.Canagarajah, and D.Bull, “Multiple Object Tracking Using Particle Filters,” 2006.に記されているものを用いればよい。
【００３９】
追跡対象追加削除部２１６は、対応判定部２１３による対応付けの結果と追跡対象実在確率計算部２１４による追跡対象実在確率と追跡対象状態更新部２１５による最新の追跡対象の状態とを用いて、新規に追跡すべき対象があるか否かを判定する。そして更に、追跡対象を削除してもよいか否かを判定し、処理を実行する。具体的には、もし追跡対象ｋの位置があらかじめ指定した処理すべきエリアの外に出た場合、あるいは追跡対象ｋに対する実在確率ηｋと追跡対象ｋに対する一時隠れ確率ξｋとの和があらかじめ定めた閾値以下になっている場合に追跡対象ｋの削除を実施する。
【００４０】
あるいは、追跡対象ｋに対する一時隠れ確率ξｋがあらかじめ定めた閾値以上であっても、それがあらかじめ定めた時間以上継続しているならば、隠れの状態が長すぎると判断して追跡対象ｋの削除を実施してもよい。また、閾値を動画像に対する処理の状況に応じて、ユーザーが別途外部から調整してもよい。例えば、メモリの制約が強い場合には、一時隠れ確率ξｋに対しあらかじめ定める閾値を小さくしてもよい。または、一時隠れ確率ξｋに対しあらかじめ定めた時間を小さくして、少しでも長い間隠れたと判定される追跡対象を積極的に削除することで、メモリを確保してもよい。
【００４１】
このようにパラメータを外部から調整することで、誤追跡結果の削減方法と追跡対象の一時的な隠れに対する個別の対応が可能となる。また、どの追跡対象とも対応づいている確率があらかじめ定めた閾値以下の検出物体があれば、それを新規に追跡対象として追加する。追加する際には、追跡対象の確率値をあらかじめ定めた固定値で設定しておく。例えば具体的には、新規に追加する追跡対象がｋ’番目の追跡対象だったとするならば、ηｋ’＝０．１、ξｋ’＝０．０として設定すればよい。あるいは、登録時に対応する検出物体が物体である確率を反映してパラメータを設定してもよい。そして追跡対象の最新の状態を追跡対象情報記憶部２２１に格納し、追跡対象実在確率の最新の値を追跡対象実在確率記憶部２２２に格納する。
【００４２】
結果出力部２１７は、追跡対象追加削除部２１６で得られた最終的な追跡対象の情報を出力する。具体的には例えば、追跡対象ごとに何番目に追加された追跡対象であるかという情報と位置の座標値の組をテキスト情報として出力する。
【００４３】
追跡対象情報記憶部２２１は、追跡対象の状態を記憶しておく領域である。それぞれの追跡対象が何番目に追加された追跡対象であるかという情報と、それぞれの追跡対象の状態との組み合わせを格納しておく。
【００４４】
追跡対象情報記憶部２２１は、追跡対象の実在確率を記憶しておく領域である。具体的には追跡対象の数をＫ個とすると、それぞれの追跡対象に対してηｋ、ξｋ（ｋ＝１，，，Ｋ）という２つの確率値が格納されている。なお、ηｋ、ξｋはそれぞれ追跡対象ｋに対する実在してかつ観測できている尺度と、実在しているが一時的に隠れた状態を表す尺度を表すものであり、厳密には確率ではなくても同様の意味を表すような別の尺度を用いてもよい。
【００４５】
《動作》
次に、図２および図３を参照して本実施形態の動作について詳細に説明する。
【００４６】
まず、画像取得部２１１が、カメラから入力される映像などの動画像から、新規に画像を１枚取得する（ステップＳ３０１）。
【００４７】
次に、物体検出部２１２が、ステップＳ３０１で入力された入力画像に対して物体検出処理を行なう。その結果、追跡対象候補を得る（ステップＳ３０３）。追跡対象候補としては、具体的には矩形として得られ、中心位置、および幅・高さといった大きさ情報が取得される。なお矩形の代わりに楕円など他の表現を用いることも可能である。
【００４８】
次に、対応判定部２１３において、追跡対象情報記憶部２２１に格納されている現時点で存在している追跡対象の情報と、追跡対象実在確率記憶部２２２に格納されている追跡対象の情報が読み出される（ステップＳ３０５）。さらに追跡対象と物体検出結果の対応付けを実施し、数式１を用いて対応づく確率値が計算される（ステップＳ３０７）。
【００４９】
次に、追跡対象実在確率計算部２１４において、数式１で計算された確率値を用いて、数式２〜５の計算式に従って、追跡対象の存在確率を計算する（ステップＳ３０９）。次に、追跡対象状態更新部２１５において、追跡対象の状態を更新する（ステップＳ３１１）。
【００５０】
次に、追跡対象追加削除部２１６において、追跡対象数の変更があるか否かを判定する（ステップＳ３１３）。そして追跡対象数の変更があるならば変更を行う（ステップＳ３１５）。その後、最新の追跡対象の状態を追跡対象情報記憶部２１と追跡対象実在確率記憶部２２２に格納する（ステップＳ３１７）。追跡対象数の変更が無いならば、何も処理をせずにステップＳ３１９に移行する。
【００５１】
次に、結果出力部２１７において、最新の追跡対象の状態を出力する（ステップＳ３１９）。
【００５２】
引き続き、カメラから入力される映像などの動画像から、新規に取得すべき画像が存在する否かを判定し、新規の画像が存在するのであれば、ステップＳ３０１に戻り、そうでなければ終了する（ステップＳ３２１）。
【００５３】
以上説明したように、本実施形態によれば、誤った追跡対象の早期削除と、正しい追跡対象が一時的に隠れている状況での追跡維持とを両立させ、追跡対象数が変化する場合にも正しく物体追跡を行なうことができる。
【００５４】
［他の実施形態］
以上、本発明の実施形態について詳述したが、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
【００５５】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。
【００５６】
［実施形態の他の表現］
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
画像中の物体を検出する物体検出手段と、
追跡対象とすべき追跡対象物体の情報を記憶する記憶手段と、
前記物体検出手段が検出した検出物体と前記追跡対象物体との対応度を決定する対応度決定手段と、
前記対応度を用いることにより、前記検出物体が前記追跡対象物体であるのか、前記追跡対象物体が前記画像中において一時的に隠れているのか、または、前記追跡対象物体の情報を前記記憶手段から削除すべきなのかを判定する判定手段と、
を備えたことを特徴とする情報処理装置。
（付記２）
前記対応度決定手段は、正しく追跡すべき物体である確率が高い前記追跡対象物体に関する前記対応度が、正しく追跡すべき物体である確率が低い前記追跡対象物体に関する前記対応度よりも大きくなるように、前記対応度を決定することを特徴とする付記１に記載の情報処理装置。
（付記３）
前記対応度として、
正しく追跡すべき物体が前記物体検出手段によって検出物体として検出される第１確率と、正しく追跡すべき物体であるが前記物体検出手段によって検出されない第２確率とを含むことを特徴とする付記２に記載の情報処理装置。
（付記４）
前記対応度決定手段は、
前記第１確率が高くなった後に低くなった場合には、観測不可能な状態となっている可能性が高いとして、前記第１確率の減少分に応じて、前記第２確率を増加させることを特徴とする付記３に記載の情報処理装置。
（付記５）
前記対応度決定手段は、
前記第１確率の減少分に応じた前記第２確率の増加率を調整する調整手段を含むことを特徴とする付記４に記載の情報処理装置。
（付記６）
前記第１確率および前記第２確率の和が、あらかじめ定めた閾値以下となる前記追跡対象物体の情報を前記記憶手段から削除する削除手段をさらに備えたことを特徴とする付記３または４に記載の情報処理装置。
（付記７）
前記削除手段は、
前記第２確率があらかじめ定めた閾値以上となる場合があらかじめ定めた時間以上継続して生じる場合に前記追跡対象物体の情報を前記記憶手段から削除することを特徴とする付記６に記載の情報処理装置。
（付記８）
画像中の物体を検出する物体検出ステップと、
記憶手段に記憶された追跡対象とすべき追跡対象物体の情報を用いて、前記物体検出ステップが検出した検出物体と前記追跡対象物体との対応度を決定する対応度決定ステップと、
前記対応度を用いることにより、前記検出物体が前記追跡対象物体であるのか、前記追跡対象物体が前記画像中において一時的に隠れているのか、または、前記追跡対象物体の情報を前記記憶手段から削除すべきなのかを判定する判定ステップと、
を含むことを特徴とする物体追跡方法。
（付記９）
画像中の物体を検出する物体検出ステップと、
記憶手段に記憶された追跡対象とすべき追跡対象物体の情報を用いて、前記物体検出ステップが検出した検出物体と前記追跡対象物体との対応度を決定する対応度決定ステップと、
前記対応度を用いることにより、前記検出物体が前記追跡対象物体であるのか、前記追跡対象物体が前記画像中において一時的に隠れているのか、または、前記追跡対象物体の情報を前記記憶手段から削除すべきなのかを判定する判定ステップと、
をコンピュータに実行させることを特徴とする情報処理プログラム。
【特許請求の範囲】
【請求項１】
画像中の物体を検出する物体検出手段と、
追跡対象とすべき追跡対象物体の情報を記憶する記憶手段と、
前記物体検出手段が検出した検出物体と前記追跡対象物体との対応度を決定する対応度決定手段と、
前記対応度を用いることにより、前記検出物体が前記追跡対象物体であるのか、前記追跡対象物体が前記画像中において一時的に隠れているのか、または、前記追跡対象物体の情報を前記記憶手段から削除すべきなのかを判定する判定手段と、
を備えたことを特徴とする情報処理装置。
【請求項２】
前記対応度決定手段は、正しく追跡すべき物体である確率が高い前記追跡対象物体に関する前記対応度が、正しく追跡すべき物体である確率が低い前記追跡対象物体に関する前記対応度よりも大きくなるように、前記対応度を決定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記対応度として、
正しく追跡すべき物体が前記物体検出手段によって検出物体として検出される第１確率と、正しく追跡すべき物体であるが前記物体検出手段によって検出されない第２確率とを含むことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記対応度決定手段は、
前記第１確率が高くなった後に低くなった場合には、観測不可能な状態となっている可能性が高いとして、前記第１確率の減少分に応じて、前記第２確率を増加させることを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記対応度決定手段は、
前記第１確率の減少分に応じた前記第２確率の増加率を調整する調整手段を含むことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記第１確率および前記第２確率の和が、あらかじめ定めた閾値以下となる前記追跡対象物体の情報を前記記憶手段から削除する削除手段をさらに備えたことを特徴とする請求項３または４に記載の情報処理装置。
【請求項７】
前記削除手段は、
前記第２確率があらかじめ定めた閾値以上となる場合があらかじめ定めた時間以上継続して生じる場合に前記追跡対象物体の情報を前記記憶手段から削除することを特徴とする請求項６に記載の情報処理装置。
【請求項８】
画像中の物体を検出する物体検出ステップと、
記憶手段に記憶された追跡対象とすべき追跡対象物体の情報を用いて、前記物体検出ステップが検出した検出物体と前記追跡対象物体との対応度を決定する対応度決定ステップと、
前記対応度を用いることにより、前記検出物体が前記追跡対象物体であるのか、前記追跡対象物体が前記画像中において一時的に隠れているのか、または、前記追跡対象物体の情報を前記記憶手段から削除すべきなのかを判定する判定ステップと、
を含むことを特徴とする物体追跡方法。
【請求項９】
画像中の物体を検出する物体検出ステップと、
記憶手段に記憶された追跡対象とすべき追跡対象物体の情報を用いて、前記物体検出ステップが検出した検出物体と前記追跡対象物体との対応度を決定する対応度決定ステップと、
前記対応度を用いることにより、前記検出物体が前記追跡対象物体であるのか、前記追跡対象物体が前記画像中において一時的に隠れているのか、または、前記追跡対象物体の情報を前記記憶手段から削除すべきなのかを判定する判定ステップと、
をコンピュータに実行させることを特徴とする情報処理プログラム。
【請求項１】
画像中の物体を検出する物体検出手段と、
追跡対象とすべき追跡対象物体の情報を記憶する記憶手段と、
前記物体検出手段が検出した検出物体と前記追跡対象物体との対応度を決定する対応度決定手段と、
前記対応度を用いることにより、前記検出物体が前記追跡対象物体であるのか、前記追跡対象物体が前記画像中において一時的に隠れているのか、または、前記追跡対象物体の情報を前記記憶手段から削除すべきなのかを判定する判定手段と、
を備えたことを特徴とする情報処理装置。
【請求項２】
前記対応度決定手段は、正しく追跡すべき物体である確率が高い前記追跡対象物体に関する前記対応度が、正しく追跡すべき物体である確率が低い前記追跡対象物体に関する前記対応度よりも大きくなるように、前記対応度を決定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記対応度として、
正しく追跡すべき物体が前記物体検出手段によって検出物体として検出される第１確率と、正しく追跡すべき物体であるが前記物体検出手段によって検出されない第２確率とを含むことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記対応度決定手段は、
前記第１確率が高くなった後に低くなった場合には、観測不可能な状態となっている可能性が高いとして、前記第１確率の減少分に応じて、前記第２確率を増加させることを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記対応度決定手段は、
前記第１確率の減少分に応じた前記第２確率の増加率を調整する調整手段を含むことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記第１確率および前記第２確率の和が、あらかじめ定めた閾値以下となる前記追跡対象物体の情報を前記記憶手段から削除する削除手段をさらに備えたことを特徴とする請求項３または４に記載の情報処理装置。
【請求項７】
前記削除手段は、
前記第２確率があらかじめ定めた閾値以上となる場合があらかじめ定めた時間以上継続して生じる場合に前記追跡対象物体の情報を前記記憶手段から削除することを特徴とする請求項６に記載の情報処理装置。
【請求項８】
画像中の物体を検出する物体検出ステップと、
記憶手段に記憶された追跡対象とすべき追跡対象物体の情報を用いて、前記物体検出ステップが検出した検出物体と前記追跡対象物体との対応度を決定する対応度決定ステップと、
前記対応度を用いることにより、前記検出物体が前記追跡対象物体であるのか、前記追跡対象物体が前記画像中において一時的に隠れているのか、または、前記追跡対象物体の情報を前記記憶手段から削除すべきなのかを判定する判定ステップと、
を含むことを特徴とする物体追跡方法。
【請求項９】
画像中の物体を検出する物体検出ステップと、
記憶手段に記憶された追跡対象とすべき追跡対象物体の情報を用いて、前記物体検出ステップが検出した検出物体と前記追跡対象物体との対応度を決定する対応度決定ステップと、
前記対応度を用いることにより、前記検出物体が前記追跡対象物体であるのか、前記追跡対象物体が前記画像中において一時的に隠れているのか、または、前記追跡対象物体の情報を前記記憶手段から削除すべきなのかを判定する判定ステップと、
をコンピュータに実行させることを特徴とする情報処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１３−２５４９０（Ｐ２０１３−２５４９０Ａ）
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１１−１５８３４０（Ｐ２０１１−１５８３４０）
【出願日】平成２３年７月１９日（２０１１．７．１９）
【出願人】（３９４０１７４９１）株式会社ＮＥＣ情報システムズ (33)
【Ｆターム（参考）】
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２３年７月１９日（２０１１．７．１９）
【出願人】（３９４０１７４９１）株式会社ＮＥＣ情報システムズ (33)
【Ｆターム（参考）】
[ Back to top ]