移動対象追跡装置、移動対象追跡方法及び移動対象追跡プログラム
【課題】移動対象の数や見かけ上の形状変化が生じる場合であっても移動対象を確実に追跡する移動対象追跡装置、移動対象追跡方法及び移動対象追跡プログラムを提供することを課題とする。
【解決手段】マルコフ連鎖を用いて移動対象を追跡するので、見かけの変形や変化が生じた場合であっても移動対象を確実に追跡することができる。また、色（色彩）や２値（モノクロ）に関する結合確率関数を用いているため、高速性とロバスト性を高めることが可能となる。更に、追跡指標のパラメータを確率関数を用いて近似しているため、揺らぎ変動分を吸収することも可能となる
【解決手段】マルコフ連鎖を用いて移動対象を追跡するので、見かけの変形や変化が生じた場合であっても移動対象を確実に追跡することができる。また、色（色彩）や２値（モノクロ）に関する結合確率関数を用いているため、高速性とロバスト性を高めることが可能となる。更に、追跡指標のパラメータを確率関数を用いて近似しているため、揺らぎ変動分を吸収することも可能となる
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影された映像を構成している画像フレーム上で移動している移動対象を追跡する移動対象追跡装置、移動対象追跡方法及び移動対象追跡プログラムの技術に関する。
【背景技術】
【０００２】
実環境下において、カメラ等で撮影された人や魚などの移動対象を画像上で追跡する場合には、多少のノイズ影響は残るものの、一般的には移動対象の数を一定と仮定したり、移動対象の形状を見かけの変化が少ない剛体とみなすことにより追跡する方法が用いられている。
【非特許文献１】“マルコフ連鎖モンテカルロ”、［online］、［平成20年12月1日検索］、インターネット＜URL : http://d.hatena.ne.jp/keyword/%A5%DE%A5%EB%A5%B3%A5%D5%CF%A2%BA%BF%A5%E2%A5%F3%A5%C6%A5%AB%A5%EB%A5%ED?kid=4365＞
【非特許文献２】“Expectation-maximization algorithm”、［online］、［平成20年12月1日検索］、インターネット＜URL : http://en.wikipedia.org/wiki/Expectation-maximization_algorithm＞
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、複数の移動対象が撮影されている場合には移動対象同士が重なり合う問題や、壁の後ろなどで見え隠れする隠蔽（オクルージョン）が発生する問題や、定点カメラから見た場合に移動対象の見かけの形状が変化するという問題があった。
【０００４】
本発明は、上記を鑑みてなされたものであり、移動対象の数や見かけ上の形状変化が生じる場合であっても移動対象を確実に追跡する移動対象追跡装置、移動対象追跡方法及び移動対象追跡プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００５】
第１の請求項に係る発明は、マルコフ連鎖を用いて移動対象を追跡する移動対象追跡装置において、少なくとも２つの移動対象が撮影された映像を時系列な複数の画像フレームとして記憶する記憶手段と、前記画像フレームを前記記憶手段から読み出して、前記２つの移動対象をそれぞれ示した２つの追跡指標の現在状態を解析する解析手段と、前記２つの移動対象の動きが正規分布に従うものとして、前記２つの追跡指標の次状態を仮推定する仮推定手段と、前記現在状態から前記次状態に遷移する遷移コストを求め、当該遷移コストに基づいて前記２つの追跡指標が重複しているかいないかを判定する判定手段と、重複していないと判定された場合には、仮推定された前記次状態で前記２つの追跡指標の次状態をそれぞれ本推定し、重複していると判定された場合には、仮推定された互いの前記次状態を交換して本推定する本推定手段と、本推定された次状態に対する次確率分布と前記現在状態に対する現在確率分布とを前記画像フレームの画像濃淡値を用いて解析し、当該現在確率分布に対する当該次確率分布の比率を受容率として計算し、当該受容率に基づいて本推定された前記次状態を採用するか否かを決定する状態決定手段と、を有し、前記画像フレームの画像濃淡値は、前記移動対象である前景と当該移動対象でない背景との２値で表現されるものであって、前記次確率分布は、前記前景と前記次状態の追跡指標との重複率と、前記背景と当該次状態の追跡指標との重複率とに基づいて求められ、前記現在確率分布は、前記前景と前記現在状態の追跡指標との重複率と、前記背景と当該現在状態の追跡指標との重複率とに基づいて求められることを要旨とする。
【０００６】
第２の請求項に係る発明は、前記次確率分布及び前記現在確率分布は、色彩に関する画像特徴量を更に用いて求められることを要旨とする。
【０００７】
第３の請求項に係る発明は、前記仮推定手段は、確率関数を前記追跡指標のパラメータに用いて前記２つの追跡指標の次状態を仮推定することを要旨とする。
【０００８】
第４の請求項に係る発明は、前記状態決定手段は、前記重複していないと判定された場合には、
【数３】
【０００９】
を用いて前記２つの追跡指標についてぞれぞれ前記受容率を計算し、前記重複していると判定された場合には、
【数４】
【００１０】
を用いて前記受容率を計算することを要旨とする。
【００１１】
第５の請求項に係る発明は、マルコフ連鎖を用いて移動対象を追跡する移動対象追跡装置で処理する移動対象追跡方法において、前記移動対象追跡方法により、少なくとも２つの移動対象が撮影された映像を時系列な複数の画像フレームとして記憶手段に記憶する第１ステップと、前記画像フレームを前記記憶手段から読み出して、前記２つの移動対象をそれぞれ示した２つの追跡指標の現在状態を解析する第２ステップと、前記２つの移動対象の動きが正規分布に従うものとして、前記２つの追跡指標の次状態を仮推定する第３ステップと、前記現在状態から前記次状態に遷移する遷移コストを求め、当該遷移コストに基づいて前記２つの追跡指標が重複しているかいないかを判定する第４ステップと、重複していないと判定された場合には、仮推定された前記次状態で前記２つの追跡指標の次状態をそれぞれ本推定し、重複していると判定された場合には、仮推定された互いの前記次状態を交換して本推定する第５ステップと、本推定された次状態に対する次確率分布と前記現在状態に対する現在確率分布とを前記画像フレームの画像濃淡値を用いて解析し、当該現在確率分布に対する当該次確率分布の比率を受容率として計算し、当該受容率に基づいて本推定された前記次状態を採用するか否かを決定する第６ステップと、を有し、前記画像フレームの画像濃淡値は、前記移動対象である前景と当該移動対象でない背景との２値で表現されるものであって、前記次確率分布は、前記前景と前記次状態の追跡指標との重複率と、前記背景と当該次状態の追跡指標との重複率とに基づいて求められ、前記現在確率分布は、前記前景と前記現在状態の追跡指標との重複率と、前記背景と当該現在状態の追跡指標との重複率とに基づいて求められることを要旨とする。
【００１２】
第６の請求項に係る発明は、前記次確率分布及び前記現在確率分布は、色彩に関する画像特徴量を更に用いて求められることを要旨とする。
【００１３】
第７の請求項に係る発明は、前記第３ステップは、確率関数を前記追跡指標のパラメータに用いて前記２つの追跡指標の次状態を仮推定することを要旨とする。
【００１４】
第８の請求項に係る発明は、請求項５乃至７のいずれか１項に記載の移動対象追跡方法における各ステップをコンピュータによって実行させることを要旨とする。
【発明の効果】
【００１５】
本発明によれば、移動対象の数や見かけ上の形状変化が生じる場合であっても移動対象を確実に追跡する移動対象追跡装置、移動対象追跡方法及び移動対象追跡プログラムを提供することができる。
【発明を実施するための最良の形態】
【００１６】
本実施の形態に係る移動対象追跡装置の構成及び処理について説明する前に、本発明のベースに用いるマルコフ連鎖モンテカルロ（ＭＣＭＣ：Markov Chain Monte Calro）法（非特許文献１参照。以下、「ＭＣＭＣ」と称する）と、後述する状態決定部で用いる移動対象の重なり率（重複率）に関する技術について説明する。
【００１７】
＜ＭＣＭＣについて＞
ＭＣＭＣを用いた移動対象の動きモデルは、各時間ステップにおいて動的に推定すべき状態が構成されていくことを特徴としている。このＭＣＭＣを適用することにより、移動対象を追跡する際において移動対象の見かけの複雑な変形や変化に対応させる効果を得ることができる。
【００１８】
ＭＣＭＣでは、通常、ＭＨアルゴリズム（Metropolis-Hastings algorithm）が適用され、新しい状態（変数）を選択していく。このＭＨアルゴリズムを用いて確率分布Ｐ（Ｘ）に従う変数Ｘのサンプリングを行う手順は、以下の通りである。
【００１９】
まず、現在の値Ｘ０から次の値Ｘ１を確率Ｔ（Ｘ０｜Ｘ１）で選択する。次に、選択された値Ｘ１を採用するか否かを式（１）を用いて決定する。
【数５】
【００２０】
式（１）の値が１以上の場合には常に採用し、１未満の場合には確率Ａ（Ｘ０｜Ｘ１）で採用（採用しない場合にはそのままで更新しない）するというステップを繰り返していくと、変数Ｘは確率分布Ｐ（Ｘ）に従うことになる。
【００２１】
すなわち、式（１）は、マルコフ連鎖過程が定常状態になるための詳細釣り合い条件に基づいており、Ａ＝１の場合に完全な定常状態となる。従って、Ａが１以上か又は１未満かで各過程での状態が判別できると共に、Ｘ０とＸ１との間での状態推移を調整することができる。
【００２２】
＜移動対象の重なり率（重複率）について＞
次に、移動対象の重なり率（重複率）に関する技術について説明する。移動対象の重なりとは、一つの移動対象に他の移動対象が覆い被さることから「ハイジャック問題」として知られている。従来法では、それぞれの移動対象を追跡している場合において、互いの移動対象が重なり合った後に、一方の移動対象を追跡している追跡指標が他方の追跡指標に入れ替わるという問題がある（図１（ｂ）参照）。
【００２３】
撮影された映像の画像フレームで移動している２つの移動対象ｉと移動対象ｊとの状態（位置、大きさ、形状）をそれぞれＳｔＸｉ、ＳｔＸｊで表現した場合に、双方の重なりについては以下２つの評価指数を用いて定義することができる。なお、ｔは時間であり、Ｘは空間的な大きさを意味している。一つには、移動対象ｉから見て、どれだけ移動対象ｉであるかという重なり率（空振り率）を式（２）を用いて定義することができる。
【数６】
【００２４】
また、移動対象ｉよりも移動対象ｊである重なり率（見逃し率）を式（３）を用いて定義することができる。
【数７】
【００２５】
式（２）と式（３）とは右辺の分母が異なるのみであり、換言すれば、前者は移動対象ｉとしての可能性の高さを表し、後者は移動対象ｉではないことの可能性の高さを表している。
【００２６】
そして、式（２）及び式（３）に基づいて、２つの移動対象ｉと移動対象ｊとの全体的な重なり率については、調和平均を用いて統合した評価式（式（４））を利用して評価することができる。
【数８】
【００２７】
このＦｍ値を用いると、２つの移動対象の相互の重なり合いに関する確率（類似度）は、式（５）で与えられることになる。なお、λはハイパーパラメータである。
【数９】
【００２８】
式（５）示すポテンシャルは、移動対象同士に重なりがない場合、すなわち、双方の距離が一定以上離れている場合にゼロ値となり、重なりがある場合には非ゼロ値となる。
【００２９】
従って、式（５）を用いて移動対象同士の重なり率を計算し、その計算結果がゼロか否かを重複に関する基準に用いることにより、２つ以上の対象が重なり合った後に、一方の対象と他方の対象とが不自然に入れ替わることを防止することが可能となる（図１（ａ）参照）。
【００３０】
＜移動対象追跡装置の構成について＞
続いて、本実施の形態に係る移動対象追跡装置の構成について説明する。図２は、移動対象追跡装置の機能構成を示す図である。この移動対象追跡装置１００は、入力部１１と、解析部１２と、仮推定部１３と、判定部１４と、本推定部１５と、状態決定部１６と、表示部１７と、記憶部３１とを備えている。
【００３１】
入力部１１は、カメラ等で撮影された複数の移動対象の映像の入力を受け付ける機能を備えている。なお、本実施の形態では、２つの移動対象を一例として以下説明する。
【００３２】
記憶部３１は、入力部１１で受け付けた後に入力された映像を時系列な複数の画像フレームをとして記憶する機能を備えている。このような記憶部３１としては、例えばメモリ、ハードディスク等の記憶装置を用いることが一般的であり、移動対象追跡装置１００の内部のみならず、インターネットや電話回線等の通信ネットワークを介して電気的に接続可能な外部の記憶装置を用いることも可能である。
【００３３】
解析部１２は、記憶部３１から画像フレームを読み出して、２つの移動対象をそれぞれ示した２つの追跡指標の現在状態を解析する機能を備えている。なお、本実施の形態で用いる追跡指標は楕円モデルであり、追跡指標の状態とは楕円モデルの形状・位置・大きさを意味するものである。具体的には、記憶部３１から読み出した画像フレームが撮影された時刻をｔ、２つの移動対象のインデックス（番号）をＩｔ、画像フレーム内における移動対象の位置をベクトルＸｔ＝｛Ｘｔ，ｉ，ｉ∈Ｉｔ｝、移動対象の数をｍｔ＝｜Ｉｔ｜（但し、ｍｔ＜Ｍ（移動対象の最大数））とした場合に、この楕円モデルは式（６）に示す五次元ベクトルで表現することができる。
【数１０】
【００３４】
ただし、（Ｘｔ，ｉｘ，Ｘｔ，ｉｙ）は楕円モデルの中心座標であり、Ｘｔ，ｉｗとＸｔ，ｉｈは楕円モデルの短経と長経であり、Ｘｔ，ｉｒは水平軸からみたときの楕円モデルの回転角度である。
【００３５】
仮推定部１３は、２つの移動対象の動きが正規分布に従うものとして、２つの追跡指標の次状態を仮推定する機能を備えている。解析部１２で解析された楕円モデルの現在状態をＸｔ，ｉと、仮推定される次状態をＸｔ＋１，ｉとの関係は、式（７）に示すシステムモデルを用いることができる。
【数１１】
【００３６】
ただし、［Δｘ，Δｙ，Δｗ，Δｈ，Δｒ］〜［Ｎ（０，σｘ２），Ｎ（０，σｙ２），Ｎ（０，σｗ２），Ｎ（０，σｈ２），Ｎ（０，σｒ２）］であり、Ｎ（ａｖｅ，ｄｅｖ）は、平均値ａｖｅと分散値ｄｅｖを持つ正規分布関数である。本発明では、各移動対象を近似した楕円モデルに関するパラメータを全て確率関数により近似しているだめ、各移動対象の見かけの形状や大きさ等が時々刻々と変化した場合であっても、安定かつロバストに追跡することができると共に、揺らぎ変動分を吸収することもできる。
【００３７】
判定部１４は、現在状態から仮推定部１３で仮推定された次状態に遷移する遷移コストを求め、求めた遷移コストに基づいて追跡指標が重複しているかいないかを判定する機能を備えている。現在状態Ｘｔ，ｉから、仮推定された次状態Ｘｔ＋１，ｉに遷移する遷移コストとしては、例えば式（８）を用いて計算することができる。
【数１２】
【００３８】
そして、式（８）の計算結果が一様乱数ｒ（∈［０，１］）以下の場合には重複していないと判定（更新タイプ）し、その計算結果が一様乱数ｒより大きい場合には重複していると判定（交換タイプ）する。なお、式（８）以外にも、μ〜Ｕ［０，１］の分布を用いることも可能である。但し、Ｕは一様分布の確率関数であり、平均値０、分散値１の乱数を発生させる関数である。
【００３９】
本推定部１５は、判定部１４で重複していないと判定（更新タイプ）された場合には、仮推定された次状態で各追跡指標の次状態をそれぞれ本推定する。即ち、仮推定された追跡指標のパラメータが、そのまま次状態における追跡指標のパラメータとなる。一方、重複していると判定（交換タイプ）された場合には、仮推定された互いの次状態を交換して本推定する機能を備えている。即ち、２つの追跡指標が重複している場合には、一方の追跡指標のパラメータを他方の追跡指標のパラメータで置換して、次状態における追跡指標のパラメータとする。
【００４０】
状態決定部１６は、本推定部１５で本推定された次状態に対する次確率分布と現在状態に対する現在確率分布とを画像フレームの画像濃淡値を用いて解析し、現在確率分布に対する次確率分布の比率を受容率として計算し、計算した受容率に基づいて本推定された次状態を採用するか否かを決定する機能を備えている。具体的には、次状態と現在状態との尤度比を受容率ａとし、更新タイプの場合には式（９）を用いて各楕円モデルについてそれぞれ受容率ａを計算し、交換タイプの場合には式（１０）を用いて受容率ａを計算する。
【数１３】
【数１４】
【００４１】
なお、式（９）及び式（１０）の分子に示された次確率分布と、分母に示された現在確率分布の計算については後述にて説明する。
【００４２】
そして、状態決定部１６は、ａ≧１の場合に本推定された状態Ｘｔ，ｉ＊を採用し、そうでない場合には受容率を採用する。
【００４３】
表示部１７は、最終的に推定された次状態の楕円モデルをモニタ等に表示・出力する機能を備えている。
【００４４】
＜状態決定部における次確率分布や現在確率分布の計算について＞
本実施の形態では、観測モデルとして、２値及び色の２種類の画像特徴量を用いるものとする。これを条件付確率モデルでは、式（１１）に示すように表現することができる。
【数１５】
【００４５】
式（１１）は左辺の事象Ｘが生じた場合にＺが生じる確率を表現しており、右辺の２つは色モデル（ｃｏｌ）と２値化モデル（ｂｉｎ）との結合確率である。すなわち、事象Ｘが生じた時に２値化の画像特徴量Ｚｂｉｎが生じ、この条件の下で色の画像特徴量Ｚｃｏｌが生じる確率を表している。２値化モデルは移動対象のロバストな追跡を行うため、色モデルは同一の移動対象を終始追跡し続けるために用いられる。また、双方とも確率モデルなので、環境光やノイズによる色ムラ等の色彩変化について許容することができ、安定的に移動対象を追跡することができる。特に２値化モデルの場合には、極めて少ない情報量で演算することができ、高速に移動対象を追跡することが可能となる。なお、本実施の形態では２値と色とを結合させた結合確率を用いているが、２値化モデル又は色モデルを単独で用いることも可能である。また、テクスチャや他の画像特徴量を更に用いて結合確率とすることも可能である。
【００４６】
最初に２値化モデルについて説明する。２値化モデルの確率モデルは、移動対象である前景と移動対象でない背景とに関する結合確率モデルを用いる。ある画像フレームは、背景と前景の割合（確率）を用いて式（１２）に示すようにモデル化することができる。
【数１６】
【００４７】
なお、前景をＦとし、背景をＢとしている。また、前景モデルｐ（Ｚｉｂｉｎ，Ｆ｜Ｘｉ）は正規分布（ガウス分布）であるものとする。ここで、移動対象ｉを追跡する楕円モデルの状態をＳＸｉで表現すると、移動対象を追跡している楕円モデルがどれだけ前景Ｆ（移動対象）であるかを示す割合を式（１３）で定義することができる。
【数１７】
【００４８】
また、前景Ｆ（移動対象）に属する画素がどれだけの割合であるかを式（１４）で定義することができる。
【数１８】
【００４９】
なお、ＳＸｉはＸｉについての空間情報であり、｜Ｆ｜は前景の面積である。一方、背景モデルｐ（Ｚｉｂｉｎ，Ｂ｜Ｘｉ）についても同様に、移動対象を追跡している楕円モデルがどれだけ背景Ｂであるかを示す割合を式（１５）で定義する。
【数１９】
【００５０】
また、背景Ｂに属する画素がどれだけの割合であるかを式（１６）で定義する。
【数２０】
【００５１】
すなわち、式（１３）〜式（１６）を用いて式（１２）を計算することで、次確率分布や現在確率分布を計算することができる。
【００５２】
また、式（１３）〜式（１６）を用いて式（４）や式（５）に示すような評価式を導出することにより、前景と楕円モデルとの重なり合いと、背景と楕円モデルとの重なり合いとを評価することが可能となる。例えば、移動対象である人を追跡する場合に、図３（ａ）に示すように一部を追跡（検出）したものとする。人と楕円モデルとの重なり合いについては式（１３）を用いて計算し、楕円モデルと人とが完全に一致する場合には１となり、全く重なっていない場合には０となる。背景と楕円モデルとの重なり合いについても同様である。そして、両者の調和平均において、Ｆｍ＞ｔｈ（閾値）の場合に、前景と背景そして楕円領域の重なりが最もよい状態とし、これ以外の場合には無視することができる。
【００５３】
なお。上述したｐ（Ｚｉｂｉｎ，Ｆ｜Ｘｉ）やｐ（Ｚｉｂｉｎ，Ｂ｜Ｘｉ）の確率分布は、例えば混合ガウスモデルを用いて具体的に計算することができる。ｍ次元の混合ガウスモデルについては、式（１７）で表現することができる。
【数２１】
【００５４】
ただし、ａｋは平均値、Ｓｋは共分散行列、πｋはｋ番目のガウス分布への重み付け量である。ＧＭＭにおける未知数は、ＥＭ（Expectation Maximization）法（非特許文献２参照）を用いて計算することができる。しかし、一般的には、収束性から二次元から五次元のＧＭＭを用いることが多い。
【００５５】
ＥＭ法は最尤推定法の一つであり、ＥステップとＭステップと称される２段階の数値解法からなり、一定の収束条件に到達するまでＥステップとＭステップとの間を反復的に計算し、上記３つのパラメータ（ａｋ，Ｓｋ，πｋ）を推定していく。ＥＭ法は極小解に陥りにくく最小値を導くことが可能である。Ｅステップにおいて、ある反復回数での確率αｋｉは式（１８）で表現できる。
【数２２】
【００５６】
そして、Ｍステップにおいて、ＧＭＭにおける３つのパラメータを更新する。
【数２３】
【数２４】
【数２５】
【００５７】
次に、色モデルについて説明する。移動対象を構成している画像濃淡値の画素の頻度数をヒストグラムと称する。ここでは、ＲＧＢの３色それぞれをＨｉ（Ｘ）とする。但し、Ｘは移動対象ｉに関する画像濃淡値（Ｒ，Ｇ，Ｂ）である。
【００５８】
正規化したヒストグラムは式（２２）で表現することができる。なお、Ａｉは移動対象ｉを囲む楕円の画素数である。
【数２６】
【００５９】
ある時刻ｉと次の時刻ｊとの間における色のヒストグラムに基づく移動移動対象の類似性は式（２３）を用いて計算することが可能となる。
【数２７】
【００６０】
なお、画像濃淡値はＲＧＢ分布において８ビットであって、１つの移動対象について２２４ビットとなるが、色階調を粗く量子化することにより計算の効率化を図ることも可能である。
【００６１】
＜移動対象追跡装置の処理について＞
次に、本実施の形態に係る移動対象追跡装置の処理について説明する。なお、ある時刻ｔにおいて、一つ前の時刻での事前分布をｐ（Ｘｔ−１｜Ｚｔ−１）≒｛Ｘｔ−１（ｎ）｝ｎ＝１Ｎで表すものとする。但し、右辺はＮ個の状態変数からなるものとする。一方、現在の分布ｐ（Ｘｔ｜Ｚｔ）の近似表現は、マルコフ連鎖によってＮｍ＋ＮＢ個のサンプルデータが得られるものとする。なお、ＮＢはｂｕｒｎ−ｉｎサンプルと称され、Ｎｍはｂｕｒｎ−ｉｎで少なくなった数を補うためのサンプル数である。一般的に、ＭＣＭＣを適用した場合には、ＮＢ＋Ｎｍ個のサンプルで学習した後に、前半のデータＮＢ個については精度が安定しないことから、このデータを捨てて後半のデータＮｍ個だけを用いることで精度を安定化することが可能となっている。
【００６２】
最初に、時刻ｔ−１からのサンプルデータを用いて初期化する（Ｓ１０１）。なお、サンプル数ｎ＝０とする。
【００６３】
次に、解析部１２が、２つの移動対象をそれぞれ示した２つの楕円モデルの現在状態を解析する（Ｓ１０２）。
【００６４】
続いて、仮推定部１３が、式（７）を利用して２つの楕円モデルの次時刻における次状態を仮推定する（Ｓ１０３）。
【００６５】
その後、判定部１４が、式（１０）を利用した計算結果に基づいて、更新タイプか交換タイプかを判定する（Ｓ１０４）。
【００６６】
本推定部１５が、更新タイプの場合には、仮推定された次状態で各追跡指標の次状態をそれぞれ本推定し、一方、交換タイプの場合には、仮推定された２つの次状態を交換して本推定する（Ｓ１０５）。
【００６７】
そして、状態決定部１６が、更新タイプの場合には、式（９）を用いて受容率を計算し、一方、交換タイプの場合には、式（１０）を用いて受容率を計算する（Ｓ１０６）。
【００６８】
状態決定部１６が、受容率の計算結果に基づいて、本推定した次状態を採用するか否かを決定する（Ｓ１０７）。
【００６９】
Ｓ１０７の処理と同時に、状態決定部１６が、サンプル数ｎをｎ＋１とし、マルコフ連鎖において、Ｘｔ（ｎ）＝Ｘｔ＊（ｎ）を付け加える。もし、本推定された状態Ｘｔ，ｉ＊を採用しない場合には、マルコフ連鎖において前の時刻のサンプルを現在状態Ｘｔ（ｎ）＝Ｘｔ（ｎ−１）に加える（Ｓ１０８）。これは、前述した詳細釣り合い条件に基づいた処理である。
【００７０】
その後、状態決定部１６は、サンプル全体にわたって平均ベクトルを計算し、時刻ｔ＋１における楕円モデルの状態を推定する（Ｓ１０９）。なお、移動対象を増加する場合には、移動対象の総数を新しい移動対象が検出されるごとに増加させる。逆に、移動対象が減る場合には、所定の閾値を超えた場合にその追跡対象を消去して、現時点まで追加した移動対象の数を減少させることも可能である。
【００７１】
最後に、表示部１７が、推定された楕円モデルを画面に出力する（Ｓ１１０）。
【００７２】
＜実験結果について＞
本実施の形態で説明した移動対象追跡装置を用いて、水槽中を泳ぐ魚と屋外で歩いている人との追跡結果について説明する。
【００７３】
魚の追跡問題においては更新タイプを適用した。複数の魚がいる場合には群れをなすことが多い。そのため、単純に色の画像特徴量のみでは個体識別することは困難である。また、交換タイプを魚の群れに適応した場合には、絶えず置換処理が生じるため、置換型は魚の群れ追跡問題では適切でないと言える。そのため、魚の追跡問題ではオクルージョン問題は考慮しない。オクルージョンが生じた場合には消滅したものと捉え、再び見えるようになったときには新しい移動対象として検出される。なお、人の追跡問題では、オクルージョンを考慮している。
【００７４】
図４は、二人の歩行者が交錯する場合の実験結果である。二人が向かい合っている状態から次第に近づいてすれ違うときにオクルージョンが生じるが、交錯後においても、追跡指標である楕円Ｍ１，Ｍ２は、交錯前に追跡していた移動対象を追跡している検出結果を得ることができた。
【００７５】
図５は、一人の歩行者が壁に完全に隠れてしまう場合の実験結果である。左側から中央に近づいて数秒間壁の裏側で立ち止まり、右側へ歩行し始めている。この場合であっても、追跡指標である楕円は、移動対象を確実に追従する検出結果を得ることができた。
【００７６】
図６は、従来法の場合と本実施の形態の場合とにおける魚の追跡結果を示す図である。従来法では、中央の魚が急に移動する向きを変えたため、追跡することを失敗している。一方、本実施の形態では、２匹の魚について確実に追跡している。
【００７７】
なお、従来法の場合と本実施の形態の場合との追跡率の評価結果についても説明しておく。人と魚について２０種類以上の異なるシーンの映像を用いて実験を行った結果、平均的中率の改善率は、人の場合に４０％向上し、魚の場合に３０％向上した。なお。これら実験には、σｘとσｙは２〜５である。σｗとσｈとは０．０５〜０．５である。そして、σｒについては、人の場合に０．０５〜０．３とし、魚の場合に０．５〜１．５とした。λは２〜２０であり、Ｎｍ＋ＮＢは２５０〜４００である。
【００７８】
本実施の形態によれば、マルコフ連鎖を用いて移動対象を追跡するので、見かけの変形や変化が生じた場合であっても移動対象を確実に追跡することができる。また、色（色彩）や２値（モノクロ）に関する結合確率関数を用いているため、高速性とロバスト性を高めることが可能となる。更に、追跡指標のパラメータを確率関数を用いて近似しているため、揺らぎ変動分を吸収することもできる。
【００７９】
最後に、各実施の形態で説明した移動対象追跡装置は、コンピュータで構成され、各機能ブロックの各処理はプログラムで実行されるようになっている。また、各実施の形態で説明した移動対象追跡装置の各処理動作をプログラムとして例えばコンパクトディスクやフロッピー（登録商標）ディスク等の記録媒体に記録して、この記録媒体をコンピュータに組み込んだり、若しくは記録媒体に記録されたプログラムを、任意の通信回線を介してコンピュータにダウンロードしたり、又は記録媒体からインストールし、該プログラムでコンピュータを動作させることにより、上述した各処理動作を移動対象追跡装置として機能させることができるのは勿論である。
【００８０】
なお、本実施の形態で説明した移動対象追跡装置は、マルチメディア分野、符号化分野、通信分野や、複数の対象を視覚的な情報を利用して追従することを必要とする産業分野において応用可能であることを付言しておく。
【図面の簡単な説明】
【００８１】
【図１】本実施の形態の場合と従来の場合とにおける２つの移動対象の追跡状況を説明する図である。
【図２】移動対象追跡装置の機能構成を示す図である。
【図３】楕円モデルと前景又は背景との重なりを説明する図である。
【図４】本実施の形態における第１実験結果である。
【図５】本実施の形態における第２実験結果である。
【図６】本実施の形態における第３実験結果である。
【符号の説明】
【００８２】
１１…入力部
１２…解析部
１３…仮推定
１４…判定部
１５…本推定
１６…状態決定部
１７…表示部
３１…記憶部
１００…移動対象追跡装置
Ｓ１０１〜Ｓ１１０…ステップ
【技術分野】
【０００１】
本発明は、撮影された映像を構成している画像フレーム上で移動している移動対象を追跡する移動対象追跡装置、移動対象追跡方法及び移動対象追跡プログラムの技術に関する。
【背景技術】
【０００２】
実環境下において、カメラ等で撮影された人や魚などの移動対象を画像上で追跡する場合には、多少のノイズ影響は残るものの、一般的には移動対象の数を一定と仮定したり、移動対象の形状を見かけの変化が少ない剛体とみなすことにより追跡する方法が用いられている。
【非特許文献１】“マルコフ連鎖モンテカルロ”、［online］、［平成20年12月1日検索］、インターネット＜URL : http://d.hatena.ne.jp/keyword/%A5%DE%A5%EB%A5%B3%A5%D5%CF%A2%BA%BF%A5%E2%A5%F3%A5%C6%A5%AB%A5%EB%A5%ED?kid=4365＞
【非特許文献２】“Expectation-maximization algorithm”、［online］、［平成20年12月1日検索］、インターネット＜URL : http://en.wikipedia.org/wiki/Expectation-maximization_algorithm＞
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、複数の移動対象が撮影されている場合には移動対象同士が重なり合う問題や、壁の後ろなどで見え隠れする隠蔽（オクルージョン）が発生する問題や、定点カメラから見た場合に移動対象の見かけの形状が変化するという問題があった。
【０００４】
本発明は、上記を鑑みてなされたものであり、移動対象の数や見かけ上の形状変化が生じる場合であっても移動対象を確実に追跡する移動対象追跡装置、移動対象追跡方法及び移動対象追跡プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００５】
第１の請求項に係る発明は、マルコフ連鎖を用いて移動対象を追跡する移動対象追跡装置において、少なくとも２つの移動対象が撮影された映像を時系列な複数の画像フレームとして記憶する記憶手段と、前記画像フレームを前記記憶手段から読み出して、前記２つの移動対象をそれぞれ示した２つの追跡指標の現在状態を解析する解析手段と、前記２つの移動対象の動きが正規分布に従うものとして、前記２つの追跡指標の次状態を仮推定する仮推定手段と、前記現在状態から前記次状態に遷移する遷移コストを求め、当該遷移コストに基づいて前記２つの追跡指標が重複しているかいないかを判定する判定手段と、重複していないと判定された場合には、仮推定された前記次状態で前記２つの追跡指標の次状態をそれぞれ本推定し、重複していると判定された場合には、仮推定された互いの前記次状態を交換して本推定する本推定手段と、本推定された次状態に対する次確率分布と前記現在状態に対する現在確率分布とを前記画像フレームの画像濃淡値を用いて解析し、当該現在確率分布に対する当該次確率分布の比率を受容率として計算し、当該受容率に基づいて本推定された前記次状態を採用するか否かを決定する状態決定手段と、を有し、前記画像フレームの画像濃淡値は、前記移動対象である前景と当該移動対象でない背景との２値で表現されるものであって、前記次確率分布は、前記前景と前記次状態の追跡指標との重複率と、前記背景と当該次状態の追跡指標との重複率とに基づいて求められ、前記現在確率分布は、前記前景と前記現在状態の追跡指標との重複率と、前記背景と当該現在状態の追跡指標との重複率とに基づいて求められることを要旨とする。
【０００６】
第２の請求項に係る発明は、前記次確率分布及び前記現在確率分布は、色彩に関する画像特徴量を更に用いて求められることを要旨とする。
【０００７】
第３の請求項に係る発明は、前記仮推定手段は、確率関数を前記追跡指標のパラメータに用いて前記２つの追跡指標の次状態を仮推定することを要旨とする。
【０００８】
第４の請求項に係る発明は、前記状態決定手段は、前記重複していないと判定された場合には、
【数３】
【０００９】
を用いて前記２つの追跡指標についてぞれぞれ前記受容率を計算し、前記重複していると判定された場合には、
【数４】
【００１０】
を用いて前記受容率を計算することを要旨とする。
【００１１】
第５の請求項に係る発明は、マルコフ連鎖を用いて移動対象を追跡する移動対象追跡装置で処理する移動対象追跡方法において、前記移動対象追跡方法により、少なくとも２つの移動対象が撮影された映像を時系列な複数の画像フレームとして記憶手段に記憶する第１ステップと、前記画像フレームを前記記憶手段から読み出して、前記２つの移動対象をそれぞれ示した２つの追跡指標の現在状態を解析する第２ステップと、前記２つの移動対象の動きが正規分布に従うものとして、前記２つの追跡指標の次状態を仮推定する第３ステップと、前記現在状態から前記次状態に遷移する遷移コストを求め、当該遷移コストに基づいて前記２つの追跡指標が重複しているかいないかを判定する第４ステップと、重複していないと判定された場合には、仮推定された前記次状態で前記２つの追跡指標の次状態をそれぞれ本推定し、重複していると判定された場合には、仮推定された互いの前記次状態を交換して本推定する第５ステップと、本推定された次状態に対する次確率分布と前記現在状態に対する現在確率分布とを前記画像フレームの画像濃淡値を用いて解析し、当該現在確率分布に対する当該次確率分布の比率を受容率として計算し、当該受容率に基づいて本推定された前記次状態を採用するか否かを決定する第６ステップと、を有し、前記画像フレームの画像濃淡値は、前記移動対象である前景と当該移動対象でない背景との２値で表現されるものであって、前記次確率分布は、前記前景と前記次状態の追跡指標との重複率と、前記背景と当該次状態の追跡指標との重複率とに基づいて求められ、前記現在確率分布は、前記前景と前記現在状態の追跡指標との重複率と、前記背景と当該現在状態の追跡指標との重複率とに基づいて求められることを要旨とする。
【００１２】
第６の請求項に係る発明は、前記次確率分布及び前記現在確率分布は、色彩に関する画像特徴量を更に用いて求められることを要旨とする。
【００１３】
第７の請求項に係る発明は、前記第３ステップは、確率関数を前記追跡指標のパラメータに用いて前記２つの追跡指標の次状態を仮推定することを要旨とする。
【００１４】
第８の請求項に係る発明は、請求項５乃至７のいずれか１項に記載の移動対象追跡方法における各ステップをコンピュータによって実行させることを要旨とする。
【発明の効果】
【００１５】
本発明によれば、移動対象の数や見かけ上の形状変化が生じる場合であっても移動対象を確実に追跡する移動対象追跡装置、移動対象追跡方法及び移動対象追跡プログラムを提供することができる。
【発明を実施するための最良の形態】
【００１６】
本実施の形態に係る移動対象追跡装置の構成及び処理について説明する前に、本発明のベースに用いるマルコフ連鎖モンテカルロ（ＭＣＭＣ：Markov Chain Monte Calro）法（非特許文献１参照。以下、「ＭＣＭＣ」と称する）と、後述する状態決定部で用いる移動対象の重なり率（重複率）に関する技術について説明する。
【００１７】
＜ＭＣＭＣについて＞
ＭＣＭＣを用いた移動対象の動きモデルは、各時間ステップにおいて動的に推定すべき状態が構成されていくことを特徴としている。このＭＣＭＣを適用することにより、移動対象を追跡する際において移動対象の見かけの複雑な変形や変化に対応させる効果を得ることができる。
【００１８】
ＭＣＭＣでは、通常、ＭＨアルゴリズム（Metropolis-Hastings algorithm）が適用され、新しい状態（変数）を選択していく。このＭＨアルゴリズムを用いて確率分布Ｐ（Ｘ）に従う変数Ｘのサンプリングを行う手順は、以下の通りである。
【００１９】
まず、現在の値Ｘ０から次の値Ｘ１を確率Ｔ（Ｘ０｜Ｘ１）で選択する。次に、選択された値Ｘ１を採用するか否かを式（１）を用いて決定する。
【数５】
【００２０】
式（１）の値が１以上の場合には常に採用し、１未満の場合には確率Ａ（Ｘ０｜Ｘ１）で採用（採用しない場合にはそのままで更新しない）するというステップを繰り返していくと、変数Ｘは確率分布Ｐ（Ｘ）に従うことになる。
【００２１】
すなわち、式（１）は、マルコフ連鎖過程が定常状態になるための詳細釣り合い条件に基づいており、Ａ＝１の場合に完全な定常状態となる。従って、Ａが１以上か又は１未満かで各過程での状態が判別できると共に、Ｘ０とＸ１との間での状態推移を調整することができる。
【００２２】
＜移動対象の重なり率（重複率）について＞
次に、移動対象の重なり率（重複率）に関する技術について説明する。移動対象の重なりとは、一つの移動対象に他の移動対象が覆い被さることから「ハイジャック問題」として知られている。従来法では、それぞれの移動対象を追跡している場合において、互いの移動対象が重なり合った後に、一方の移動対象を追跡している追跡指標が他方の追跡指標に入れ替わるという問題がある（図１（ｂ）参照）。
【００２３】
撮影された映像の画像フレームで移動している２つの移動対象ｉと移動対象ｊとの状態（位置、大きさ、形状）をそれぞれＳｔＸｉ、ＳｔＸｊで表現した場合に、双方の重なりについては以下２つの評価指数を用いて定義することができる。なお、ｔは時間であり、Ｘは空間的な大きさを意味している。一つには、移動対象ｉから見て、どれだけ移動対象ｉであるかという重なり率（空振り率）を式（２）を用いて定義することができる。
【数６】
【００２４】
また、移動対象ｉよりも移動対象ｊである重なり率（見逃し率）を式（３）を用いて定義することができる。
【数７】
【００２５】
式（２）と式（３）とは右辺の分母が異なるのみであり、換言すれば、前者は移動対象ｉとしての可能性の高さを表し、後者は移動対象ｉではないことの可能性の高さを表している。
【００２６】
そして、式（２）及び式（３）に基づいて、２つの移動対象ｉと移動対象ｊとの全体的な重なり率については、調和平均を用いて統合した評価式（式（４））を利用して評価することができる。
【数８】
【００２７】
このＦｍ値を用いると、２つの移動対象の相互の重なり合いに関する確率（類似度）は、式（５）で与えられることになる。なお、λはハイパーパラメータである。
【数９】
【００２８】
式（５）示すポテンシャルは、移動対象同士に重なりがない場合、すなわち、双方の距離が一定以上離れている場合にゼロ値となり、重なりがある場合には非ゼロ値となる。
【００２９】
従って、式（５）を用いて移動対象同士の重なり率を計算し、その計算結果がゼロか否かを重複に関する基準に用いることにより、２つ以上の対象が重なり合った後に、一方の対象と他方の対象とが不自然に入れ替わることを防止することが可能となる（図１（ａ）参照）。
【００３０】
＜移動対象追跡装置の構成について＞
続いて、本実施の形態に係る移動対象追跡装置の構成について説明する。図２は、移動対象追跡装置の機能構成を示す図である。この移動対象追跡装置１００は、入力部１１と、解析部１２と、仮推定部１３と、判定部１４と、本推定部１５と、状態決定部１６と、表示部１７と、記憶部３１とを備えている。
【００３１】
入力部１１は、カメラ等で撮影された複数の移動対象の映像の入力を受け付ける機能を備えている。なお、本実施の形態では、２つの移動対象を一例として以下説明する。
【００３２】
記憶部３１は、入力部１１で受け付けた後に入力された映像を時系列な複数の画像フレームをとして記憶する機能を備えている。このような記憶部３１としては、例えばメモリ、ハードディスク等の記憶装置を用いることが一般的であり、移動対象追跡装置１００の内部のみならず、インターネットや電話回線等の通信ネットワークを介して電気的に接続可能な外部の記憶装置を用いることも可能である。
【００３３】
解析部１２は、記憶部３１から画像フレームを読み出して、２つの移動対象をそれぞれ示した２つの追跡指標の現在状態を解析する機能を備えている。なお、本実施の形態で用いる追跡指標は楕円モデルであり、追跡指標の状態とは楕円モデルの形状・位置・大きさを意味するものである。具体的には、記憶部３１から読み出した画像フレームが撮影された時刻をｔ、２つの移動対象のインデックス（番号）をＩｔ、画像フレーム内における移動対象の位置をベクトルＸｔ＝｛Ｘｔ，ｉ，ｉ∈Ｉｔ｝、移動対象の数をｍｔ＝｜Ｉｔ｜（但し、ｍｔ＜Ｍ（移動対象の最大数））とした場合に、この楕円モデルは式（６）に示す五次元ベクトルで表現することができる。
【数１０】
【００３４】
ただし、（Ｘｔ，ｉｘ，Ｘｔ，ｉｙ）は楕円モデルの中心座標であり、Ｘｔ，ｉｗとＸｔ，ｉｈは楕円モデルの短経と長経であり、Ｘｔ，ｉｒは水平軸からみたときの楕円モデルの回転角度である。
【００３５】
仮推定部１３は、２つの移動対象の動きが正規分布に従うものとして、２つの追跡指標の次状態を仮推定する機能を備えている。解析部１２で解析された楕円モデルの現在状態をＸｔ，ｉと、仮推定される次状態をＸｔ＋１，ｉとの関係は、式（７）に示すシステムモデルを用いることができる。
【数１１】
【００３６】
ただし、［Δｘ，Δｙ，Δｗ，Δｈ，Δｒ］〜［Ｎ（０，σｘ２），Ｎ（０，σｙ２），Ｎ（０，σｗ２），Ｎ（０，σｈ２），Ｎ（０，σｒ２）］であり、Ｎ（ａｖｅ，ｄｅｖ）は、平均値ａｖｅと分散値ｄｅｖを持つ正規分布関数である。本発明では、各移動対象を近似した楕円モデルに関するパラメータを全て確率関数により近似しているだめ、各移動対象の見かけの形状や大きさ等が時々刻々と変化した場合であっても、安定かつロバストに追跡することができると共に、揺らぎ変動分を吸収することもできる。
【００３７】
判定部１４は、現在状態から仮推定部１３で仮推定された次状態に遷移する遷移コストを求め、求めた遷移コストに基づいて追跡指標が重複しているかいないかを判定する機能を備えている。現在状態Ｘｔ，ｉから、仮推定された次状態Ｘｔ＋１，ｉに遷移する遷移コストとしては、例えば式（８）を用いて計算することができる。
【数１２】
【００３８】
そして、式（８）の計算結果が一様乱数ｒ（∈［０，１］）以下の場合には重複していないと判定（更新タイプ）し、その計算結果が一様乱数ｒより大きい場合には重複していると判定（交換タイプ）する。なお、式（８）以外にも、μ〜Ｕ［０，１］の分布を用いることも可能である。但し、Ｕは一様分布の確率関数であり、平均値０、分散値１の乱数を発生させる関数である。
【００３９】
本推定部１５は、判定部１４で重複していないと判定（更新タイプ）された場合には、仮推定された次状態で各追跡指標の次状態をそれぞれ本推定する。即ち、仮推定された追跡指標のパラメータが、そのまま次状態における追跡指標のパラメータとなる。一方、重複していると判定（交換タイプ）された場合には、仮推定された互いの次状態を交換して本推定する機能を備えている。即ち、２つの追跡指標が重複している場合には、一方の追跡指標のパラメータを他方の追跡指標のパラメータで置換して、次状態における追跡指標のパラメータとする。
【００４０】
状態決定部１６は、本推定部１５で本推定された次状態に対する次確率分布と現在状態に対する現在確率分布とを画像フレームの画像濃淡値を用いて解析し、現在確率分布に対する次確率分布の比率を受容率として計算し、計算した受容率に基づいて本推定された次状態を採用するか否かを決定する機能を備えている。具体的には、次状態と現在状態との尤度比を受容率ａとし、更新タイプの場合には式（９）を用いて各楕円モデルについてそれぞれ受容率ａを計算し、交換タイプの場合には式（１０）を用いて受容率ａを計算する。
【数１３】
【数１４】
【００４１】
なお、式（９）及び式（１０）の分子に示された次確率分布と、分母に示された現在確率分布の計算については後述にて説明する。
【００４２】
そして、状態決定部１６は、ａ≧１の場合に本推定された状態Ｘｔ，ｉ＊を採用し、そうでない場合には受容率を採用する。
【００４３】
表示部１７は、最終的に推定された次状態の楕円モデルをモニタ等に表示・出力する機能を備えている。
【００４４】
＜状態決定部における次確率分布や現在確率分布の計算について＞
本実施の形態では、観測モデルとして、２値及び色の２種類の画像特徴量を用いるものとする。これを条件付確率モデルでは、式（１１）に示すように表現することができる。
【数１５】
【００４５】
式（１１）は左辺の事象Ｘが生じた場合にＺが生じる確率を表現しており、右辺の２つは色モデル（ｃｏｌ）と２値化モデル（ｂｉｎ）との結合確率である。すなわち、事象Ｘが生じた時に２値化の画像特徴量Ｚｂｉｎが生じ、この条件の下で色の画像特徴量Ｚｃｏｌが生じる確率を表している。２値化モデルは移動対象のロバストな追跡を行うため、色モデルは同一の移動対象を終始追跡し続けるために用いられる。また、双方とも確率モデルなので、環境光やノイズによる色ムラ等の色彩変化について許容することができ、安定的に移動対象を追跡することができる。特に２値化モデルの場合には、極めて少ない情報量で演算することができ、高速に移動対象を追跡することが可能となる。なお、本実施の形態では２値と色とを結合させた結合確率を用いているが、２値化モデル又は色モデルを単独で用いることも可能である。また、テクスチャや他の画像特徴量を更に用いて結合確率とすることも可能である。
【００４６】
最初に２値化モデルについて説明する。２値化モデルの確率モデルは、移動対象である前景と移動対象でない背景とに関する結合確率モデルを用いる。ある画像フレームは、背景と前景の割合（確率）を用いて式（１２）に示すようにモデル化することができる。
【数１６】
【００４７】
なお、前景をＦとし、背景をＢとしている。また、前景モデルｐ（Ｚｉｂｉｎ，Ｆ｜Ｘｉ）は正規分布（ガウス分布）であるものとする。ここで、移動対象ｉを追跡する楕円モデルの状態をＳＸｉで表現すると、移動対象を追跡している楕円モデルがどれだけ前景Ｆ（移動対象）であるかを示す割合を式（１３）で定義することができる。
【数１７】
【００４８】
また、前景Ｆ（移動対象）に属する画素がどれだけの割合であるかを式（１４）で定義することができる。
【数１８】
【００４９】
なお、ＳＸｉはＸｉについての空間情報であり、｜Ｆ｜は前景の面積である。一方、背景モデルｐ（Ｚｉｂｉｎ，Ｂ｜Ｘｉ）についても同様に、移動対象を追跡している楕円モデルがどれだけ背景Ｂであるかを示す割合を式（１５）で定義する。
【数１９】
【００５０】
また、背景Ｂに属する画素がどれだけの割合であるかを式（１６）で定義する。
【数２０】
【００５１】
すなわち、式（１３）〜式（１６）を用いて式（１２）を計算することで、次確率分布や現在確率分布を計算することができる。
【００５２】
また、式（１３）〜式（１６）を用いて式（４）や式（５）に示すような評価式を導出することにより、前景と楕円モデルとの重なり合いと、背景と楕円モデルとの重なり合いとを評価することが可能となる。例えば、移動対象である人を追跡する場合に、図３（ａ）に示すように一部を追跡（検出）したものとする。人と楕円モデルとの重なり合いについては式（１３）を用いて計算し、楕円モデルと人とが完全に一致する場合には１となり、全く重なっていない場合には０となる。背景と楕円モデルとの重なり合いについても同様である。そして、両者の調和平均において、Ｆｍ＞ｔｈ（閾値）の場合に、前景と背景そして楕円領域の重なりが最もよい状態とし、これ以外の場合には無視することができる。
【００５３】
なお。上述したｐ（Ｚｉｂｉｎ，Ｆ｜Ｘｉ）やｐ（Ｚｉｂｉｎ，Ｂ｜Ｘｉ）の確率分布は、例えば混合ガウスモデルを用いて具体的に計算することができる。ｍ次元の混合ガウスモデルについては、式（１７）で表現することができる。
【数２１】
【００５４】
ただし、ａｋは平均値、Ｓｋは共分散行列、πｋはｋ番目のガウス分布への重み付け量である。ＧＭＭにおける未知数は、ＥＭ（Expectation Maximization）法（非特許文献２参照）を用いて計算することができる。しかし、一般的には、収束性から二次元から五次元のＧＭＭを用いることが多い。
【００５５】
ＥＭ法は最尤推定法の一つであり、ＥステップとＭステップと称される２段階の数値解法からなり、一定の収束条件に到達するまでＥステップとＭステップとの間を反復的に計算し、上記３つのパラメータ（ａｋ，Ｓｋ，πｋ）を推定していく。ＥＭ法は極小解に陥りにくく最小値を導くことが可能である。Ｅステップにおいて、ある反復回数での確率αｋｉは式（１８）で表現できる。
【数２２】
【００５６】
そして、Ｍステップにおいて、ＧＭＭにおける３つのパラメータを更新する。
【数２３】
【数２４】
【数２５】
【００５７】
次に、色モデルについて説明する。移動対象を構成している画像濃淡値の画素の頻度数をヒストグラムと称する。ここでは、ＲＧＢの３色それぞれをＨｉ（Ｘ）とする。但し、Ｘは移動対象ｉに関する画像濃淡値（Ｒ，Ｇ，Ｂ）である。
【００５８】
正規化したヒストグラムは式（２２）で表現することができる。なお、Ａｉは移動対象ｉを囲む楕円の画素数である。
【数２６】
【００５９】
ある時刻ｉと次の時刻ｊとの間における色のヒストグラムに基づく移動移動対象の類似性は式（２３）を用いて計算することが可能となる。
【数２７】
【００６０】
なお、画像濃淡値はＲＧＢ分布において８ビットであって、１つの移動対象について２２４ビットとなるが、色階調を粗く量子化することにより計算の効率化を図ることも可能である。
【００６１】
＜移動対象追跡装置の処理について＞
次に、本実施の形態に係る移動対象追跡装置の処理について説明する。なお、ある時刻ｔにおいて、一つ前の時刻での事前分布をｐ（Ｘｔ−１｜Ｚｔ−１）≒｛Ｘｔ−１（ｎ）｝ｎ＝１Ｎで表すものとする。但し、右辺はＮ個の状態変数からなるものとする。一方、現在の分布ｐ（Ｘｔ｜Ｚｔ）の近似表現は、マルコフ連鎖によってＮｍ＋ＮＢ個のサンプルデータが得られるものとする。なお、ＮＢはｂｕｒｎ−ｉｎサンプルと称され、Ｎｍはｂｕｒｎ−ｉｎで少なくなった数を補うためのサンプル数である。一般的に、ＭＣＭＣを適用した場合には、ＮＢ＋Ｎｍ個のサンプルで学習した後に、前半のデータＮＢ個については精度が安定しないことから、このデータを捨てて後半のデータＮｍ個だけを用いることで精度を安定化することが可能となっている。
【００６２】
最初に、時刻ｔ−１からのサンプルデータを用いて初期化する（Ｓ１０１）。なお、サンプル数ｎ＝０とする。
【００６３】
次に、解析部１２が、２つの移動対象をそれぞれ示した２つの楕円モデルの現在状態を解析する（Ｓ１０２）。
【００６４】
続いて、仮推定部１３が、式（７）を利用して２つの楕円モデルの次時刻における次状態を仮推定する（Ｓ１０３）。
【００６５】
その後、判定部１４が、式（１０）を利用した計算結果に基づいて、更新タイプか交換タイプかを判定する（Ｓ１０４）。
【００６６】
本推定部１５が、更新タイプの場合には、仮推定された次状態で各追跡指標の次状態をそれぞれ本推定し、一方、交換タイプの場合には、仮推定された２つの次状態を交換して本推定する（Ｓ１０５）。
【００６７】
そして、状態決定部１６が、更新タイプの場合には、式（９）を用いて受容率を計算し、一方、交換タイプの場合には、式（１０）を用いて受容率を計算する（Ｓ１０６）。
【００６８】
状態決定部１６が、受容率の計算結果に基づいて、本推定した次状態を採用するか否かを決定する（Ｓ１０７）。
【００６９】
Ｓ１０７の処理と同時に、状態決定部１６が、サンプル数ｎをｎ＋１とし、マルコフ連鎖において、Ｘｔ（ｎ）＝Ｘｔ＊（ｎ）を付け加える。もし、本推定された状態Ｘｔ，ｉ＊を採用しない場合には、マルコフ連鎖において前の時刻のサンプルを現在状態Ｘｔ（ｎ）＝Ｘｔ（ｎ−１）に加える（Ｓ１０８）。これは、前述した詳細釣り合い条件に基づいた処理である。
【００７０】
その後、状態決定部１６は、サンプル全体にわたって平均ベクトルを計算し、時刻ｔ＋１における楕円モデルの状態を推定する（Ｓ１０９）。なお、移動対象を増加する場合には、移動対象の総数を新しい移動対象が検出されるごとに増加させる。逆に、移動対象が減る場合には、所定の閾値を超えた場合にその追跡対象を消去して、現時点まで追加した移動対象の数を減少させることも可能である。
【００７１】
最後に、表示部１７が、推定された楕円モデルを画面に出力する（Ｓ１１０）。
【００７２】
＜実験結果について＞
本実施の形態で説明した移動対象追跡装置を用いて、水槽中を泳ぐ魚と屋外で歩いている人との追跡結果について説明する。
【００７３】
魚の追跡問題においては更新タイプを適用した。複数の魚がいる場合には群れをなすことが多い。そのため、単純に色の画像特徴量のみでは個体識別することは困難である。また、交換タイプを魚の群れに適応した場合には、絶えず置換処理が生じるため、置換型は魚の群れ追跡問題では適切でないと言える。そのため、魚の追跡問題ではオクルージョン問題は考慮しない。オクルージョンが生じた場合には消滅したものと捉え、再び見えるようになったときには新しい移動対象として検出される。なお、人の追跡問題では、オクルージョンを考慮している。
【００７４】
図４は、二人の歩行者が交錯する場合の実験結果である。二人が向かい合っている状態から次第に近づいてすれ違うときにオクルージョンが生じるが、交錯後においても、追跡指標である楕円Ｍ１，Ｍ２は、交錯前に追跡していた移動対象を追跡している検出結果を得ることができた。
【００７５】
図５は、一人の歩行者が壁に完全に隠れてしまう場合の実験結果である。左側から中央に近づいて数秒間壁の裏側で立ち止まり、右側へ歩行し始めている。この場合であっても、追跡指標である楕円は、移動対象を確実に追従する検出結果を得ることができた。
【００７６】
図６は、従来法の場合と本実施の形態の場合とにおける魚の追跡結果を示す図である。従来法では、中央の魚が急に移動する向きを変えたため、追跡することを失敗している。一方、本実施の形態では、２匹の魚について確実に追跡している。
【００７７】
なお、従来法の場合と本実施の形態の場合との追跡率の評価結果についても説明しておく。人と魚について２０種類以上の異なるシーンの映像を用いて実験を行った結果、平均的中率の改善率は、人の場合に４０％向上し、魚の場合に３０％向上した。なお。これら実験には、σｘとσｙは２〜５である。σｗとσｈとは０．０５〜０．５である。そして、σｒについては、人の場合に０．０５〜０．３とし、魚の場合に０．５〜１．５とした。λは２〜２０であり、Ｎｍ＋ＮＢは２５０〜４００である。
【００７８】
本実施の形態によれば、マルコフ連鎖を用いて移動対象を追跡するので、見かけの変形や変化が生じた場合であっても移動対象を確実に追跡することができる。また、色（色彩）や２値（モノクロ）に関する結合確率関数を用いているため、高速性とロバスト性を高めることが可能となる。更に、追跡指標のパラメータを確率関数を用いて近似しているため、揺らぎ変動分を吸収することもできる。
【００７９】
最後に、各実施の形態で説明した移動対象追跡装置は、コンピュータで構成され、各機能ブロックの各処理はプログラムで実行されるようになっている。また、各実施の形態で説明した移動対象追跡装置の各処理動作をプログラムとして例えばコンパクトディスクやフロッピー（登録商標）ディスク等の記録媒体に記録して、この記録媒体をコンピュータに組み込んだり、若しくは記録媒体に記録されたプログラムを、任意の通信回線を介してコンピュータにダウンロードしたり、又は記録媒体からインストールし、該プログラムでコンピュータを動作させることにより、上述した各処理動作を移動対象追跡装置として機能させることができるのは勿論である。
【００８０】
なお、本実施の形態で説明した移動対象追跡装置は、マルチメディア分野、符号化分野、通信分野や、複数の対象を視覚的な情報を利用して追従することを必要とする産業分野において応用可能であることを付言しておく。
【図面の簡単な説明】
【００８１】
【図１】本実施の形態の場合と従来の場合とにおける２つの移動対象の追跡状況を説明する図である。
【図２】移動対象追跡装置の機能構成を示す図である。
【図３】楕円モデルと前景又は背景との重なりを説明する図である。
【図４】本実施の形態における第１実験結果である。
【図５】本実施の形態における第２実験結果である。
【図６】本実施の形態における第３実験結果である。
【符号の説明】
【００８２】
１１…入力部
１２…解析部
１３…仮推定
１４…判定部
１５…本推定
１６…状態決定部
１７…表示部
３１…記憶部
１００…移動対象追跡装置
Ｓ１０１〜Ｓ１１０…ステップ
【特許請求の範囲】
【請求項１】
マルコフ連鎖を用いて移動対象を追跡する移動対象追跡装置において、
少なくとも２つの移動対象が撮影された映像を時系列な複数の画像フレームとして記憶する記憶手段と、
前記画像フレームを前記記憶手段から読み出して、前記２つの移動対象をそれぞれ示した２つの追跡指標の現在状態を解析する解析手段と、
前記２つの移動対象の動きが正規分布に従うものとして、前記２つの追跡指標の次状態を仮推定する仮推定手段と、
前記現在状態から前記次状態に遷移する遷移コストを求め、当該遷移コストに基づいて前記２つの追跡指標が重複しているかいないかを判定する判定手段と、
重複していないと判定された場合には、仮推定された前記次状態で前記２つの追跡指標の次状態をそれぞれ本推定し、重複していると判定された場合には、仮推定された互いの前記次状態を交換して本推定する本推定手段と、
本推定された次状態に対する次確率分布と前記現在状態に対する現在確率分布とを前記画像フレームの画像濃淡値を用いて解析し、当該現在確率分布に対する当該次確率分布の比率を受容率として計算し、当該受容率に基づいて本推定された前記次状態を採用するか否かを決定する状態決定手段と、を有し、
前記画像フレームの画像濃淡値は、前記移動対象である前景と当該移動対象でない背景との２値で表現されるものであって、
前記次確率分布は、前記前景と前記次状態の追跡指標との重複率と、前記背景と当該次状態の追跡指標との重複率とに基づいて求められ、前記現在確率分布は、前記前景と前記現在状態の追跡指標との重複率と、前記背景と当該現在状態の追跡指標との重複率とに基づいて求められることを特徴とする移動対象追跡装置。
【請求項２】
前記次確率分布及び前記現在確率分布は、
色彩に関する画像特徴量を更に用いて求められることを特徴とする請求項１に記載の移動対象追跡装置。
【請求項３】
前記仮推定手段は、
確率関数を前記追跡指標のパラメータに用いて前記２つの追跡指標の次状態を仮推定することを特徴とする請求項１又は２に記載の移動対象追跡装置。
【請求項４】
前記状態決定手段は、
前記重複していないと判定された場合には、
【数１】
を用いて前記２つの追跡指標についてぞれぞれ前記受容率を計算し、
前記重複していると判定された場合には、
【数２】
を用いて前記受容率を計算することを特徴とする請求項１乃至３のいずれか１項に記載の移動対象追跡装置。
【請求項５】
マルコフ連鎖を用いて移動対象を追跡する移動対象追跡装置で処理する移動対象追跡方法において、
前記移動対象追跡方法により、
少なくとも２つの移動対象が撮影された映像を時系列な複数の画像フレームとして記憶手段に記憶する第１ステップと、
前記画像フレームを前記記憶手段から読み出して、前記２つの移動対象をそれぞれ示した２つの追跡指標の現在状態を解析する第２ステップと、
前記２つの移動対象の動きが正規分布に従うものとして、前記２つの追跡指標の次状態を仮推定する第３ステップと、
前記現在状態から前記次状態に遷移する遷移コストを求め、当該遷移コストに基づいて前記２つの追跡指標が重複しているかいないかを判定する第４ステップと、
重複していないと判定された場合には、仮推定された前記次状態で前記２つの追跡指標の次状態をそれぞれ本推定し、重複していると判定された場合には、仮推定された互いの前記次状態を交換して本推定する第５ステップと、
本推定された次状態に対する次確率分布と前記現在状態に対する現在確率分布とを前記画像フレームの画像濃淡値を用いて解析し、当該現在確率分布に対する当該次確率分布の比率を受容率として計算し、当該受容率に基づいて本推定された前記次状態を採用するか否かを決定する第６ステップと、を有し、
前記画像フレームの画像濃淡値は、前記移動対象である前景と当該移動対象でない背景との２値で表現されるものであって、
前記次確率分布は、前記前景と前記次状態の追跡指標との重複率と、前記背景と当該次状態の追跡指標との重複率とに基づいて求められ、前記現在確率分布は、前記前景と前記現在状態の追跡指標との重複率と、前記背景と当該現在状態の追跡指標との重複率とに基づいて求められることを特徴とする移動対象追跡方法。
【請求項６】
前記次確率分布及び前記現在確率分布は、
色彩に関する画像特徴量を更に用いて求められることを特徴とする請求項５に記載の移動対象追跡方法。
【請求項７】
前記第３ステップは、
確率関数を前記追跡指標のパラメータに用いて前記２つの追跡指標の次状態を仮推定することを特徴とする請求項５又は６に記載の移動対象追跡方法。
【請求項８】
請求項５乃至７のいずれか１項に記載の移動対象追跡方法における各ステップをコンピュータによって実行させることを特徴とする移動対象追跡プログラム。
【請求項１】
マルコフ連鎖を用いて移動対象を追跡する移動対象追跡装置において、
少なくとも２つの移動対象が撮影された映像を時系列な複数の画像フレームとして記憶する記憶手段と、
前記画像フレームを前記記憶手段から読み出して、前記２つの移動対象をそれぞれ示した２つの追跡指標の現在状態を解析する解析手段と、
前記２つの移動対象の動きが正規分布に従うものとして、前記２つの追跡指標の次状態を仮推定する仮推定手段と、
前記現在状態から前記次状態に遷移する遷移コストを求め、当該遷移コストに基づいて前記２つの追跡指標が重複しているかいないかを判定する判定手段と、
重複していないと判定された場合には、仮推定された前記次状態で前記２つの追跡指標の次状態をそれぞれ本推定し、重複していると判定された場合には、仮推定された互いの前記次状態を交換して本推定する本推定手段と、
本推定された次状態に対する次確率分布と前記現在状態に対する現在確率分布とを前記画像フレームの画像濃淡値を用いて解析し、当該現在確率分布に対する当該次確率分布の比率を受容率として計算し、当該受容率に基づいて本推定された前記次状態を採用するか否かを決定する状態決定手段と、を有し、
前記画像フレームの画像濃淡値は、前記移動対象である前景と当該移動対象でない背景との２値で表現されるものであって、
前記次確率分布は、前記前景と前記次状態の追跡指標との重複率と、前記背景と当該次状態の追跡指標との重複率とに基づいて求められ、前記現在確率分布は、前記前景と前記現在状態の追跡指標との重複率と、前記背景と当該現在状態の追跡指標との重複率とに基づいて求められることを特徴とする移動対象追跡装置。
【請求項２】
前記次確率分布及び前記現在確率分布は、
色彩に関する画像特徴量を更に用いて求められることを特徴とする請求項１に記載の移動対象追跡装置。
【請求項３】
前記仮推定手段は、
確率関数を前記追跡指標のパラメータに用いて前記２つの追跡指標の次状態を仮推定することを特徴とする請求項１又は２に記載の移動対象追跡装置。
【請求項４】
前記状態決定手段は、
前記重複していないと判定された場合には、
【数１】
を用いて前記２つの追跡指標についてぞれぞれ前記受容率を計算し、
前記重複していると判定された場合には、
【数２】
を用いて前記受容率を計算することを特徴とする請求項１乃至３のいずれか１項に記載の移動対象追跡装置。
【請求項５】
マルコフ連鎖を用いて移動対象を追跡する移動対象追跡装置で処理する移動対象追跡方法において、
前記移動対象追跡方法により、
少なくとも２つの移動対象が撮影された映像を時系列な複数の画像フレームとして記憶手段に記憶する第１ステップと、
前記画像フレームを前記記憶手段から読み出して、前記２つの移動対象をそれぞれ示した２つの追跡指標の現在状態を解析する第２ステップと、
前記２つの移動対象の動きが正規分布に従うものとして、前記２つの追跡指標の次状態を仮推定する第３ステップと、
前記現在状態から前記次状態に遷移する遷移コストを求め、当該遷移コストに基づいて前記２つの追跡指標が重複しているかいないかを判定する第４ステップと、
重複していないと判定された場合には、仮推定された前記次状態で前記２つの追跡指標の次状態をそれぞれ本推定し、重複していると判定された場合には、仮推定された互いの前記次状態を交換して本推定する第５ステップと、
本推定された次状態に対する次確率分布と前記現在状態に対する現在確率分布とを前記画像フレームの画像濃淡値を用いて解析し、当該現在確率分布に対する当該次確率分布の比率を受容率として計算し、当該受容率に基づいて本推定された前記次状態を採用するか否かを決定する第６ステップと、を有し、
前記画像フレームの画像濃淡値は、前記移動対象である前景と当該移動対象でない背景との２値で表現されるものであって、
前記次確率分布は、前記前景と前記次状態の追跡指標との重複率と、前記背景と当該次状態の追跡指標との重複率とに基づいて求められ、前記現在確率分布は、前記前景と前記現在状態の追跡指標との重複率と、前記背景と当該現在状態の追跡指標との重複率とに基づいて求められることを特徴とする移動対象追跡方法。
【請求項６】
前記次確率分布及び前記現在確率分布は、
色彩に関する画像特徴量を更に用いて求められることを特徴とする請求項５に記載の移動対象追跡方法。
【請求項７】
前記第３ステップは、
確率関数を前記追跡指標のパラメータに用いて前記２つの追跡指標の次状態を仮推定することを特徴とする請求項５又は６に記載の移動対象追跡方法。
【請求項８】
請求項５乃至７のいずれか１項に記載の移動対象追跡方法における各ステップをコンピュータによって実行させることを特徴とする移動対象追跡プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１０−１４１６６８（Ｐ２０１０−１４１６６８Ａ）
【公開日】平成２２年６月２４日（２０１０．６．２４）
【国際特許分類】
【出願番号】特願２００８−３１６８１２（Ｐ２００８−３１６８１２）
【出願日】平成２０年１２月１２日（２００８．１２．１２）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２２年６月２４日（２０１０．６．２４）
【国際特許分類】
【出願日】平成２０年１２月１２日（２００８．１２．１２）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]