複数対象物追跡方法、複数対象物追跡装置、複数対象物追跡プログラムおよびそのプログラムを記録した記録媒体
【課題】運用上のコストが安く、対象が重なり合う場合においても安定して３次元空間上での位置の追跡を行うことができる複数対象物追跡装置を提供する。
【解決手段】 画像入力装置（カメラ）より画像を取得する画像の取得手段１１と、前記画像の取得手段１１によって取得された画像から追跡対象が写っている領域を抽出したシルエット画像を作成するシルエット画像の作成手段１２と、実世界上に配置したカメラの外部・内部パラメータが保存されたセンサ情報データベース２１と、前記シルエット画像の作成手段１２によって作成されたシルエット画像および前記センサ情報データベース２１に保存された前記カメラの外部・内部パラメータに基づいて、追跡対象の状態を確率的に推定する対象状態の推定手段１３と、前記推定された対象状態を記憶する対象状態記憶手段２２とを備える。
【解決手段】 画像入力装置（カメラ）より画像を取得する画像の取得手段１１と、前記画像の取得手段１１によって取得された画像から追跡対象が写っている領域を抽出したシルエット画像を作成するシルエット画像の作成手段１２と、実世界上に配置したカメラの外部・内部パラメータが保存されたセンサ情報データベース２１と、前記シルエット画像の作成手段１２によって作成されたシルエット画像および前記センサ情報データベース２１に保存された前記カメラの外部・内部パラメータに基づいて、追跡対象の状態を確率的に推定する対象状態の推定手段１３と、前記推定された対象状態を記憶する対象状態記憶手段２２とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像入力装置（例えば，カメラ等）を用いて，物体，動物，人間の三次元位置や大きさなどの状態を追跡する複数対象物追跡方法、複数対象物追跡装置、複数対象物追跡プログラムおよびそのプログラムを記録した記録媒体に関するものである。
【背景技術】
【０００２】
コンピュータビジョン分野では複数のカメラの情報を利用して人物などの動く対象の追跡に関する研究が多く行われており、例えば次の処理が実現されている。
【０００３】
複数の視点から対象を観測し，画像上における対象の領域（シルエット）を抽出したシルエット画像を用意する。さらに予め追跡を行う空間の三次元構造（以下，三次元環境情報と呼ぶ）と追跡に利用する全てのカメラの内部・外部パラメータを予め計測して求めておき，三次元環境中に人物モデルを配置し，先に算出したカメラパラメータを持つ仮想のカメラでこのシーンを撮影すると，シルエット画像のシミュレーションを行うことができる。人物モデルに楕円体を用いて，生成したシミュレーション画像とシルエット画像を比較することで一般的な環境の下でも複数の人物の追跡を行う方法が提案されている（例えば非特許文献１）。
【非特許文献１】Ｔ． Ｏｓａｗａ，Ｘ． Ｗｕ， Ｋ． Ｓｕｄｏ， Ｋ． Ｗａｋａｂａｙａｓｈｉ， Ｈ． Ａｒａｉ ａｎｄ Ｔ． Ｙａｓｕｎｏ， “ＭＣＭＣ ｂａｓｅｄ Ｍｕｌｔｉ−ｂｏｄｙ Ｔｒａｃｋｉｎｇ Ｕｓｉｎｇ Ｆｕｌｌ ３Ｄ Ｍｏｄｅｌ ｏｆ Ｂｏｔｈ Ｔａｒｇｅｔ ａｎｄ Ｅｎｖｉｒｏｎｍｅｎｔ，” ｉｎ Ｐｒｏｃ． ｏｆ ＩＥＥＥ Ｉｎｔｌ Ｃｏｎｆ． ｏｎ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ ａｎｄ Ｓｉｇｎａｌ ｂａｓｅｄ Ｓｕｒｖｅｉｌｌａｎｃｅ（ＡＶＳＳ ２００７）， Ｓｅｐ． ２００７．ｐｐ．１〜６．
【非特許文献２】Ｚ． Ｚｈａｎｇ． “Ａ ｆｌｅｘｉｂｌｅ ｎｅｗ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ”． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ＶＯＬ．２２，ＮＯ．１１，ＮＯＶＥＭＢＥＲ ２０００．ｐｐ．１３３０−１３３４
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前記非特許文献１の方法では，人物の三次元空間上での位置を直接予測し，複数のカメラからの情報を統合することで，対象同士が接近しても安定して追跡を行うことができることを特徴としている。
【０００５】
しかしながら，複数のカメラの情報を統合するにはカメラのシャッターを同期すること，カメラ間の姿勢情報を予め取得しておく必要があることなど，運用上のコストが高くなってしまうという問題を有している。
【０００６】
また，一台のカメラから従来行われてきた研究では画像上の追跡では，対象が重なり合うと追跡が極端に不安定となるといった問題点がある。
【０００７】
本発明は，上述のような従来技術の問題点を解決するためになされたものであり，１台のカメラ情報のみを用いることにより、運用上のコストが安く、対象が重なり合う場合においても安定して３次元空間上での位置の追跡を行うことができる複数対象物追跡方法、複数対象物追跡装置、複数対象物追跡プログラムおよびそのプログラムを記録した記録媒体を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するための請求項１に記載の複数対象物追跡方法は、画像入力装置を用いて、物体、動物、人間の少なくともいずれかを含む複数の対象物の三次元位置、大きさなどの状態を追跡する方法であって、画像の取得手段が、前記画像入力装置より画像を取得する画像の取得ステップと、シルエット画像の作成手段が、前記画像の取得ステップによって取得された画像から追跡対象が写っている領域を抽出したシルエット画像を作成するシルエット画像の作成ステップと、対象状態の推定手段が、前記シルエット画像の作成ステップによって作成されたシルエット画像に基づいて、追跡対象の状態を確率的に推定する対象状態の推定ステップとを備え、前記対象状態の推定ステップは、予め用意された複数の変化タイプから任意の確率に従って１つの変化タイプを選択する変化タイプの選択ステップと、追跡対象の中からどの対象を変化させるかを選択する変化対象の選択ステップと、前記変化タイプの選択ステップにより選択された変化タイプと前記変化対象の選択ステップにより選択された変化対象に基づいて、対象状態を変化させるステップと、前記対象状態を変化させるステップにより変化させた対象状態に基づいて、その状態となった対象を実世界に配置したカメラと同じ外部・内部パラメータを持つ仮想のカメラに投影し、実画像より作成されたシルエット画像をシミュレートしたシミュレーション画像を作成するシミュレーション画像作成ステップと、前記対象状態を変化させるステップにより変化させた対象状態の尤もらしさを評価するために、対象物同士の重なりに関する事前知識に基づいた対象状態自体の確率的尤度と、実画像より作成されたシルエット画像とシミュレーションにより作成されたシルエット画像の一致度に基づいた尤度とを計算し、それらの積を最終的な尤度として計算する尤度の計算ステップと、前記尤度の計算ステップにより計算された尤度より、その状態を対象状態分布の一つとして受け入れるか、もしくは拒否するかを判断する演算を行う受け入れ・拒否演算ステップとを備えたことを特徴としている。
【０００９】
また請求項２に記載の複数対象物追跡方法は、請求項１において、前記対象状態の推定ステップでは、前記対象状態を楕円体モデルの集合で表し、モデル頭頂部の画像上での二次元座標値、頭部を近似する楕円体の短軸および身体を近似する楕円体の短軸および身長を表すモデルの高さで人物を表すことを特徴としている。
【００１０】
また、請求項３に記載の複数対象物追跡装置は、画像入力装置を用いて、物体、動物、人間の少なくともいずれかを含む複数の対象物の三次元位置、大きさなどの状態を追跡する装置であって、前記画像入力装置より画像を取得する画像の取得手段と、前記画像の取得手段によって取得された画像から追跡対象が写っている領域を抽出したシルエット画像を作成するシルエット画像の作成手段と、実世界上に配置したカメラの外部・内部パラメータが保存されたセンサ情報データベースと、前記シルエット画像の作成手段によって作成されたシルエット画像および前記センサ情報データベースに保存された前記カメラの外部・内部パラメータに基づいて、追跡対象の状態を確率的に推定する対象状態の推定手段とを備え、前記対象状態の推定手段は、予め用意された複数の変化タイプから任意の確率に従って１つの変化タイプを選択し、追跡対象の中からどの対象を変化させるかを選択し、前記選択された変化タイプと変化対象に基づいて、対象状態を変化させ、前記変化させた対象状態に基づいて、その状態となった対象を実世界に配置したカメラと同じ外部・内部パラメータを持つ仮想のカメラに投影し、実画像より作成されたシルエット画像をシミュレートしたシミュレーション画像を作成し、前記変化させた対象状態の尤もらしさを評価するために、対象物同士の重なりに関する事前知識に基づいた対象状態自体の確率的尤度と、実画像より作成されたシルエット画像とシミュレーションにより作成されたシルエット画像の一致度に基づいた尤度とを計算し、それらの積を最終的な尤度として計算し、前記計算された尤度より、その状態を対象状態分布の一つとして受け入れるか、もしくは拒否するかを判断する演算を行うことを特徴としている。
【００１１】
また、請求項４に記載の複数対象物追跡プログラムは、コンピュータに請求項１又は２に記載の各ステップを実行するための複数対象物追跡プログラムである。
【００１２】
また、請求項５に記載の記録媒体は、コンピュータに請求項１又は２に記載の各ステップを実行するための複数対象物追跡プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００１３】
本発明によれば、対象状態を楕円体モデルの集合で表し、モデル頭頂部の画像上での二次元座標値、頭部を近似する楕円体の短軸および身体を近似する楕円体の短軸および身長を表すモデルの高さで人物を表して、画像上の二次元情報と人物モデルの三次元情報を組み合わせることによって、１台の画像入力装置（カメラ）情報のみを用いて、対象物が重なり合う場合においても安定して３次元空間上での位置の追跡を行う、複数対象物追跡装置を実現できる。
【００１４】
また、１台のカメラのみしか使わないので、コストの安い複数対象物追跡装置を実現できる。
【００１５】
また、「実画像より作成したシルエット画像とシミュレーション画像の比較による尤度」と「人物同士の重なりに関する事前知識に基づいた対象状態自体の確率的尤度」を組み合わせることによって、従来困難とされていた、対象物同士が非常に接近するような状況下においても安定した追跡を可能とする、複数対象物追跡装置、方法を実現できる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。
【００１７】
図１に本発明の複数対象物追跡装置の実施形態例を示す。図１において、本実施形態例の複数対象物追跡装置は、画像の取得手段１１と，シルエット画像の作成手段１２と，対象状態の推定手段１３と，センサ情報データベース２１と，対象状態記憶手段２２で構成される。
【００１８】
画像の取得手段１１は，各時刻に撮影された画像データを取得する手段であり，例えばデジタルカメラやビデオカメラ等の画像センサーなどで構成されている。
【００１９】
シルエット画像の作成手段１２は，前記取得された画像データから対象の写っている領域のみを抽出した画像，すなわちシルエット画像を作成する。
【００２０】
対象状態の推定手段１３は，前時刻に推定された対象状態を初期状態として，シルエット画像の作成手段１２により作成されたシルエット画像とセンサ情報データベース２１を用いて対象状態を確率的に推定し，対象状態記憶手段２２に保存されている前時刻の対象状態分布を現時刻の対象状態分布に更新する。
【００２１】
センサ情報データベース２１は，予め計測しておいたカメラなどの画像の取得手段１１のカメラ内部パラメータ（焦点距離，画像中心などのパラメータ），カメラ外部パラメータ（設置されているカメラの三次元位置および姿勢情報）を保存する。
【００２２】
対象状態記憶手段２２は，対象状態の推定手段１３によって推定された対象状態を記憶する。
【００２３】
次に本発明の実施形態の一例を詳細に説明する．本発明の目的は，三次元空間中に存在する複数の物体、動物、人間（人物）の少なくともいずれかを含む対象物の各時刻ｔにおける位置，大きさを表す対象状態を逐次的に推定し，対象物を追跡することである．
本実施形態では，例えば図２のように平面上を歩行する複数の人物を追跡対象とし，位置と姿勢を固定されたビデオカメラ（カメラ１）を用いて追跡を行う例について示す。
【００２４】
また配置されたカメラのカメラ内部パラメータの校正，および三次元位置（ｘ，ｙ，ｚ）と姿勢（φ，θ，γ）を求める。これは例えば非特許文献２の方法によって取得することが可能である。このようにして取得したカメラの三次元位置および姿勢を，センサ情報データベース２１に予め記憶しておくことにする。
【００２５】
本実施形態では一例として，図３のように２つの楕円体を用いて人物の形状を近似したモデルを定義した。モデル頭頂部の画像上での二次元座標値（ｘ，ｙ），頭部を近似する楕円体の短軸ｒ１および身体を近似する楕円体の短軸ｒ２および身長を表すモデルの高さｈで人物を表すこととした。なお，頭部を近似する楕円体の長軸と短軸は一定の比率を保っていると考え，長軸半径ｒ＝ｋ１×ｒ１とした。ｋ１は任意の定数であり，例えば１．５という数値を使っても良い。また，身体を近似する楕円体の長軸に関しても同様に長軸半径ｒ＝ｈ−ｋ２×ｒ１とした。ｋ２は任意の定数であり，例えば１．２という数値を使っても良い。
【００２６】
以上のようにして，（ｘ，ｙ，ｒ１，ｒ２，ｈ）の５つのパラメータにより，一人の人物の状態を表すことができる。
【００２７】
対象状態の推定手段１３には確率統計状態分布推定法の一種であるＭＣＭＣ（Ｍａｒｋｏｖ Ｃｈａｉｎ Ｍｏｎｔｅ Ｃａｒｌｏ）法を用いる例で説明する。
【００２８】
複数の人物の状態を表す対象状態Ｓは各人物の位置，大きさを表すベクトルＭ（人物モデル）を並べたものによって表す．対象状態Ｓの次元数は追跡人数Ｋによって定まり可変である．すなわちベクトルＭが５次元ベクトルであるので，５Ｋ次元ベクトルとなる．時刻ｔにおける状態Ｓtは以下の式（１）で表される。
【００２９】
【数１】
【００３０】
状態Ｓを構成する人物ｋの位置，大きさ，形を表す人物モデルＭkは，以下の式（２）で表される５次元ベクトルである。
【００３１】
【数２】
【００３２】
ただし，ここで人物モデルＭkを構成する５つのパラメータは前述の人物の形状を近似したモデルのパラメータである。
【００３３】
本実施形態は，以上説明した各時刻ｔにおける状態Ｓtを推定することで，複数人物の状態を逐次推定し，追跡を行うものである。
【００３４】
図４は本実施形態の動作を示すフローチャートの一例である。処理が開始されると，画像の取得手段１１により，カメラより撮影された画像データ（Ｉｍ1）を取得する（ステップＳ３０１）。
【００３５】
次にシルエット画像の作成手段１２により，前記カメラから取得した画像データ（Ｉｍ1）に対し，それぞれのシルエット画像（Ｓｉｌ1）を作成する（ステップＳ３０２）。シルエット画像とは図５のように撮影した画像の対象が写っている領域の輝度値が１，他の領域が０である２値画像のことで，５０１は入力画像，５０２が作成されたシルエット画像の一例である。このような画像は背景差分法やフレーム間差分法などのよく知られた方法を利用することで簡単に生成することができる。
【００３６】
次に前時刻で推定され対象状態記憶手段２２に保存された対象状態Ｓt-1を対象状態の初期値とし，これを逐次更新していくことで対象状態の確率的分布を推定する（ステップＳ３０３）。ここでステッＳ３０３の処理の詳細を図６のフローチャートを用いて説明する。
【００３７】
対象状態の確率分布の推定は複数回，（Ｂ＋Ｐ）回の反復計算によって生成される（Ｂ＋Ｐ）個の状態候補を用いて行われる。ここで，前時刻に推定された対象状態をＳ’t,0，ｎ回目の反復計算において生成された状態候補をＳ’t,nと表すことにする。最初のＢ回に生成された状態候補は捨て，最後のＰ回に得られた状態候補は全て等確率で起こりうると考え対象状態を計算する。これは最初のほうに生成された状態候補は初期状態Ｓ’t,0に大きく依存していると考えられるためである。
【００３８】
尚ｔ＝０では、Ｓ’0,0＝｛０｝として処理を始める。この場合、誰も人物を追跡していないので、ステップＳ４０１において変化タイプ「人物の追加」が選ばれ、順々に処理を続ける。
【００３９】
まず更新回数ｎ＝１として処理が開始される。ステップＳ４０１では変化タイプの選択を行う。変化タイプとは対象状態を変化させる処理のタイプを表すものであり，次の４種類から成る。
【００４０】
１：人物の追加，２：人物の消去，３：人物の位置変更，４：人物の大きさ変更。
【００４１】
まず現在の状態として誰も人物を追跡していない場合には必ず「１：人物の追加」が選択される。それ以外の場合には各タイプが選ばれる確率を予め任意に設定しておき，確率的に４つのタイプから選択を行う。例えば（ｐ１， ｐ２， ｐ３， ｐ４）＝（０．１，０．１，０．４，０．４）というように設定することができる（ｐｉはタイプｉが選択される確率）。
【００４２】
次にステップＳ４０２では変化させる対象を選択する。一度の処理で全ての対象の状態を変化させると推定が大きくばらつくため，一度の計算において，選択された一つの対象の状態のみを変化させる。
【００４３】
まず変化タイプが「１：人物の追加」である場合には，新たな人物状態を追加するため，前回生成された状態候補Ｓ’t,n-1から対象を選択せず、追加した状態を変化させる対象として選択する。
【００４４】
変化タイプが「１：人物の追加」以外である場合には，前回生成された状態候補Ｓ’t,n-1からランダムに対象を選択する。すなわちＫ個の対象があった場合には各々の対象が１／Ｋの確率で選択されることになる。
【００４５】
次に、ステップＳ４０３は本発明の対象状態を変化させるステップであり、ここでは選択された人物モデルＭkから選択された各変化タイプの処理に従って状態を変化させ暫定的な状態候補Ｓ＊を計算する．以下で変化タイプ別に処理を説明する。
【００４６】
「１：人物の追加」が選ばれた場合には、新たにモデルパラメータの設定を行う必要がある。例えばこれは以下のようにして設定することができる。
【００４７】
画像の大きさが決まっていることから，人物頭頂部の画像平面上で取り得る位置の範囲が定まる，ここではこの範囲を
【００４８】
【数３】
【００４９】
とする。また人物を近似する楕円体の大きさを表すパラメータｒ１，ｒ２およびｈに関しては，人物の大きさに関する経験的な事前知識（３ｍを超える身長の人はいないなど）から同様にして取り得る値の範囲を制限することができる。ここではこの範囲を
【００５０】
【数４】
【００５１】
とする。
以上のような条件下でｘ，ｙ，ｒ１，ｒ２，ｈのそれぞれのパラメータに関して一様乱数を発生させることで，新しいモデルパラメータＭnを生成することができる。これは人物が新たに追跡範囲に入ってきたことを表す。
【００５２】
当然ながら予め入退室する場所，例えばドアの場所などの情報が得られていれば，画像上のその近辺だけを入退室エリアにすることも可能である。
【００５３】
暫定的な状態候補Ｓ＊はＳ’t,n-1に新たな対象状態Ｍnを追加した状態となる。
【００５４】
「２：人物の消去」が選択された場合には，選択された対象Ｍkを消去する。これは追跡していた人物が追跡範囲から消えたことを表す。
【００５５】
暫定的な状態候補Ｓ＊はＳ’t,n-1から対象状態Ｍkを消去した状態となる。
【００５６】
「３：人物の位置変更」が選択された場合には，選択されたＭkの要素の内，人物の二次元平面上での位置（ｘk，ｙk）から次の式（５）に従って変化させた暫定的な位置（ｘ’k，ｙ’k）を計算する。
【００５７】
【数５】
【００５８】
ただしδx，δyはそれぞれ一次元のガウスノイズであり，そのパラメータは実験的に任意の値に決めることができる．Ｍ’kを以下の式（６）のように定義する。
【００５９】
【数６】
【００６０】
暫定的な状態候補Ｓ＊はＳ’t,n-1の対象状態ＭkをＭ’kに更新した状態となる。
【００６１】
「４：人物の大きさ変更」が選択された場合には，選択されたＭkの要素の内，人物を近似する楕円体の半径ｒ１，半径ｒ２および高さｈを表す（ｒ１k，ｒ２k，ｈk）から次の式（７）に従って変化させた暫定的な形，大きさパラメータ（ｒ１’k，ｒ２’k，ｈ’k）を計算する。
【００６２】
【数７】
【００６３】
ただしδr1，δr2，δhはそれぞれ一次元のガウスノイズであり，そのパラメータは実験的に任意の値に決めることができる。この暫定的な形，大きさパラメータを用いてＭ’kを以下の式（８）のように定義する。
【００６４】
【数８】
【００６５】
暫定的な状態候補Ｓ＊はＳ’t,n-1の対象状態ＭkをＭ’kに更新した状態となる。
【００６６】
次に暫定的な状態候補Ｓ＊を用いて，シルエット画像の作成（ステップＳ３０２）で作成されたシルエット画像（Ｓｉｌ1）をシミュレートした画像，シミュレーション画像（Ｓｉｍ1）を作成する（ステップＳ４０４）。センサ情報データベース２１に保存されている。実世界上に配置されたカメラの内部パラメータ（焦点距離，画像中心など）と外部パラメータ（カメラの三次元位置と姿勢）を用いると三次元空間に存在する物体のカメラ画像上への投影関係が計算できる。この関係を利用すると画像上の二次元座標値（ｘ，ｙ）に投影される平面上に直立する高さｈの物体の平面上の二次元座標値（Ｘ，Ｙ）を計算することが可能である。これより三次元空間内にＳ４０３で計算された暫定的な対象状態Ｓ＊に基づいた楕円体で構成された三次元モデルを複数配置することができる。
【００６７】
以上のように生成された仮想シーンを仮想カメラへ投影することで，シミュレーション画像を作成する。
【００６８】
この投影処理は一例として非特許文献１に記載の方法を用いて一意に行うことができる。この際，画像上の楕円体領域の値を１，それ以外の領域の値を０とする２値画像とすることで，シルエット画像（Ｓｉｌ1）をシミュレートしたシミュレーション画像（Ｓｉｍ1）を作成することができる。以上がステップＳ４０４の処理である。
【００６９】
次にこの暫定的な対象候補Ｓ＊が尤もらしいか判断するために，尤度Ｌを計算する（ステップＳ４０５）。これは事前知識による対象状態自体の確からしさの判定およびステップＳ３０２で作成されたシルエット画像（Ｓｉｌ1）とステップＳ４０４で生成されたシミュレーション画像（Ｓｉｍ1）の比較により行う。
【００７０】
事前知識による対象状態自体の確からしさの判定は，追跡している人物同士が三次元空間上で重なることがないという条件である。いま，人物を楕円体モデルで近似しているため，個々の楕円体が重ならない条件，すなわち異なる二つの楕円体の中心同士の距離が，二つの楕円体の半径の和より大きいことを満たす必要がある。
【００７１】
二人の人物同士が三次元空間上で重ならないようにするために，次の式（９）で表された距離Ｒ，すなわち二人の人物を表す楕円体の中心同士の距離に応じたペナルティ関数Ｅ（Ｓ＊）を設定する。
【００７２】
【数９】
【００７３】
ただし，Ｘk，Ｙkはシミュレーション画像生成の際に計算した三次元空間上での人物ｋの平面上の位置Ｘ座標，Ｙ座標を示す。
【００７４】
楕円体の距離が近くなるとペナルティを与える関数Ｅは、本発明の、対象物同士の重なりに関する事前知識に基づいた対象状態自体の確率的尤度を表し、例えば以下の式（１０）のように設定できる。
【００７５】
【数１０】
【００７６】
ただしαは定数で，実験的に任意に設定可能である。
【００７７】
次に前記ステップＳ３０２で作成されたシルエット画像（Ｓｉｌ1）とステップＳ４０４で生成されたシミュレーション画像（Ｓｉｍ1）の比較について説明する。これは例えば以下の式（１１）の評価式によって計算を行うことができる。
【００７８】
【数１１】
【００７９】
ただし，Ｖは前記シルエット画像とシミュレーション画像の一致度、（ｕ，ｖ）は画像のｕ行ｖ列成分を示す。
【００８０】
最終的に暫定状態Ｓ＊の尤度Ｌは式（１２）によって表される，積演算によって計算される。
【００８１】
【数１２】
【００８２】
このような尤度を用いることで，三次元空間上での人物位置の確からしさと二次元画像上での追跡を融合することが可能となる。
以上がステップＳ４０５の処理である。
【００８３】
次にステップＳ４０６では前記ステップＳ４０５で計算された尤度を用いて，暫定状態候補Ｓ＊を受け入れるか，もしくは拒否するかの演算を行う。これは受け入れ拒否判断確率Ａの計算によって決定する。受け入れ拒否判断確率Ａは例えば以下の式（１３）により計算することが可能である。
【００８４】
【数１３】
【００８５】
ここで現在ｎ回目の更新だとすると，Ｌ’はｎ−１回目の状態候補Ｓ’t,n-1の尤度を表す。つまり前回の状態よりも今回の状態のほうが尤度が高ければ必ず受け入れ，そうでなければＬ／Ｌ’の確率で暫定状態Ｓ＊を採用する。
【００８６】
ここで暫定状態Ｓ＊が採用されれば，Ｓ’t,n＝Ｓ＊とし，採用が拒否されればＳ’t,n＝Ｓ’t,n-1として，ステップＳ４０７の条件判断ステップへと進む。
【００８７】
ステップＳ４０７では更新処理が規定の回数行われたかの判断が行われる。更新回数ｎが任意に決定できる定数ＢとＰの和で表されるＢ＋Ｐ回を超えていれば反復計算処理を終了し，ステップＳ４０８の対象状態の推定ステップへと進む。
【００８８】
次にステップＳ４０８では最大確率を持つ対象状態の計算を行う。反復計算により生成された状態候補のうち，最後のＰ個の対象状態は全て等確率で起こると仮定しているため，最大確率を持つ対象状態Ｓtは以下の式（１４）によって計算することができる。
【００８９】
【数１４】
【００９０】
このようにして計算したＳtを対象状態記憶手段２２に保存する。
【００９１】
以上述べた処理が図４のステップＳ３０３である。
【００９２】
次にステップＳ３０４では追跡を終了するかどうかのチェックを行う。追跡が終了なら処理を終了とし，まだ追跡を続けるのならば，次の時刻の画像取得（ステップＳ３０１）の処理を行う。
【００９３】
以上，述べた処理を繰り返すことで動的に人数の変化する複数の人物の状態を逐次推定することが可能となる。
【００９４】
本実施形態では，図６のステップＳ４０５の処理において，一例としてシルエット画像とシミュレーション画像の比較に式（１１）を用いたが，画像間の類似度を取る評価関数，例えば単純な積演算を利用しても同様に実現できる。
【００９５】
なお図１で示した装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し，そのプログラムをコンピュータを用いて実行して本発明を実現することができること，図４，図６で示した処理の手順をコンピュータのプログラムで構成し，そのプログラムをコンピュータに実行させることができることは言うまでもなく，コンピュータでその機能を実現するためのプログラムを，そのコンピュータが読み取り可能な記録媒体，例えばＦＤや，ＭＯ，ＲＯＭ，メモリカード，ＣＤ，ＤＶＤ，リムーバブルディスクなどに記録して，保存したり，配布したりすることが可能である。また，上記のプログラムをインターネットや電子メールなど，ネットワークを通して提供することも可能である。
【００９６】
＜実施例＞
以下に，上述の複数対象物追跡装置を用いて，ビデオカメラから得られた映像を処理して，追跡範囲に侵入してくる人物を追跡した結果を図４に示した処理フローを用いて述べる。まず処理が開始されると，カメラ画像の取得を行い（ステップＳ３０１），シルエット画像を作成する（ステップＳ３０２）。図７にカメラから取得した画像列の一部（７０１〜７０６），背景差分法を用いて作成したシルエット画像（７０７〜７１２）を示す。
【００９７】
次にステップＳ３０３にて対象状態の推定を行う。ここでは状態を逐次更新させながらその状態をシミュレートしたシミュレーション画像の作成を行って，その評価を行う。
【００９８】
図８に計算された最大確率を取る対象状態を表現した画像を示す。図８は，それぞれ上段がカメラからの画像（９０１〜９０６），中段が最大確率を取る対象状態をシミュレートした画像（９０７〜９１２），下段が俯瞰図として天井にカメラが設置されているとして最大確率を取る対象状態をシミュレートした画像（９１３〜９１８）であり，複数の人物同士が重なり合っているが安定して追跡できていることが確認できる。
【００９９】
ステップＳ３０４では現時刻までで，追跡を終了とする場合には，処理を終了とし，そうでない場合には，ステップＳ３０１の画像の取得へ戻る。
【０１００】
以上述べた処理を繰り返すことで本実施例では一台のカメラのみを用いて人物が重なり合うような状況においても安定した追跡を行うことができる。
【０１０１】
これは二次元画像上での追跡と三次元空間上での対象の位置の整合性を融合しているためである。
【図面の簡単な説明】
【０１０２】
【図１】本発明の複数対象物追跡装置の一実施形態の構成を示すブロック図である。
【図２】本発明の複数対象物追跡装置の一実施形態における画像データ取得の様子を示す説明図である．
【図３】本発明の複数対象物追跡装置の一実施形態で用いる対象の三次元モデルである楕円体モデルを示す説明図である。
【図４】本発明の複数対象物追跡方法の処理手順を示すフローチャートである。
【図５】本発明の一実施形態における入力画像に対応するシルエット画像を示す説明図である。
【図６】本発明の一実施形態における対象状態の推定（ステップＳ３０３）の処理手順を示すフローチャートである。
【図７】本発明の実施例における、カメラからの画像列、作成したシルエット画像の一部を示した説明図である。
【図８】本発明の実施例における、入力画像の一部および入力画像から計算した対象状態をシミュレートした画像とそれを俯瞰した画像を示した図である。
【符号の説明】
【０１０３】
１１…画像の取得手段、１２…シルエット画像の作成手段、１３…対象状態の推定手段、２１…センサ情報データベース、２２…対象状態記憶手段、７０１〜７０６，９０１〜９０６…カメラ画像、７０７〜７１２…シルエット画像、９０７〜９１８…計算した対象状態をシミュレートした画像。
【技術分野】
【０００１】
本発明は、画像入力装置（例えば，カメラ等）を用いて，物体，動物，人間の三次元位置や大きさなどの状態を追跡する複数対象物追跡方法、複数対象物追跡装置、複数対象物追跡プログラムおよびそのプログラムを記録した記録媒体に関するものである。
【背景技術】
【０００２】
コンピュータビジョン分野では複数のカメラの情報を利用して人物などの動く対象の追跡に関する研究が多く行われており、例えば次の処理が実現されている。
【０００３】
複数の視点から対象を観測し，画像上における対象の領域（シルエット）を抽出したシルエット画像を用意する。さらに予め追跡を行う空間の三次元構造（以下，三次元環境情報と呼ぶ）と追跡に利用する全てのカメラの内部・外部パラメータを予め計測して求めておき，三次元環境中に人物モデルを配置し，先に算出したカメラパラメータを持つ仮想のカメラでこのシーンを撮影すると，シルエット画像のシミュレーションを行うことができる。人物モデルに楕円体を用いて，生成したシミュレーション画像とシルエット画像を比較することで一般的な環境の下でも複数の人物の追跡を行う方法が提案されている（例えば非特許文献１）。
【非特許文献１】Ｔ． Ｏｓａｗａ，Ｘ． Ｗｕ， Ｋ． Ｓｕｄｏ， Ｋ． Ｗａｋａｂａｙａｓｈｉ， Ｈ． Ａｒａｉ ａｎｄ Ｔ． Ｙａｓｕｎｏ， “ＭＣＭＣ ｂａｓｅｄ Ｍｕｌｔｉ−ｂｏｄｙ Ｔｒａｃｋｉｎｇ Ｕｓｉｎｇ Ｆｕｌｌ ３Ｄ Ｍｏｄｅｌ ｏｆ Ｂｏｔｈ Ｔａｒｇｅｔ ａｎｄ Ｅｎｖｉｒｏｎｍｅｎｔ，” ｉｎ Ｐｒｏｃ． ｏｆ ＩＥＥＥ Ｉｎｔｌ Ｃｏｎｆ． ｏｎ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ ａｎｄ Ｓｉｇｎａｌ ｂａｓｅｄ Ｓｕｒｖｅｉｌｌａｎｃｅ（ＡＶＳＳ ２００７）， Ｓｅｐ． ２００７．ｐｐ．１〜６．
【非特許文献２】Ｚ． Ｚｈａｎｇ． “Ａ ｆｌｅｘｉｂｌｅ ｎｅｗ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ”． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ＶＯＬ．２２，ＮＯ．１１，ＮＯＶＥＭＢＥＲ ２０００．ｐｐ．１３３０−１３３４
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前記非特許文献１の方法では，人物の三次元空間上での位置を直接予測し，複数のカメラからの情報を統合することで，対象同士が接近しても安定して追跡を行うことができることを特徴としている。
【０００５】
しかしながら，複数のカメラの情報を統合するにはカメラのシャッターを同期すること，カメラ間の姿勢情報を予め取得しておく必要があることなど，運用上のコストが高くなってしまうという問題を有している。
【０００６】
また，一台のカメラから従来行われてきた研究では画像上の追跡では，対象が重なり合うと追跡が極端に不安定となるといった問題点がある。
【０００７】
本発明は，上述のような従来技術の問題点を解決するためになされたものであり，１台のカメラ情報のみを用いることにより、運用上のコストが安く、対象が重なり合う場合においても安定して３次元空間上での位置の追跡を行うことができる複数対象物追跡方法、複数対象物追跡装置、複数対象物追跡プログラムおよびそのプログラムを記録した記録媒体を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するための請求項１に記載の複数対象物追跡方法は、画像入力装置を用いて、物体、動物、人間の少なくともいずれかを含む複数の対象物の三次元位置、大きさなどの状態を追跡する方法であって、画像の取得手段が、前記画像入力装置より画像を取得する画像の取得ステップと、シルエット画像の作成手段が、前記画像の取得ステップによって取得された画像から追跡対象が写っている領域を抽出したシルエット画像を作成するシルエット画像の作成ステップと、対象状態の推定手段が、前記シルエット画像の作成ステップによって作成されたシルエット画像に基づいて、追跡対象の状態を確率的に推定する対象状態の推定ステップとを備え、前記対象状態の推定ステップは、予め用意された複数の変化タイプから任意の確率に従って１つの変化タイプを選択する変化タイプの選択ステップと、追跡対象の中からどの対象を変化させるかを選択する変化対象の選択ステップと、前記変化タイプの選択ステップにより選択された変化タイプと前記変化対象の選択ステップにより選択された変化対象に基づいて、対象状態を変化させるステップと、前記対象状態を変化させるステップにより変化させた対象状態に基づいて、その状態となった対象を実世界に配置したカメラと同じ外部・内部パラメータを持つ仮想のカメラに投影し、実画像より作成されたシルエット画像をシミュレートしたシミュレーション画像を作成するシミュレーション画像作成ステップと、前記対象状態を変化させるステップにより変化させた対象状態の尤もらしさを評価するために、対象物同士の重なりに関する事前知識に基づいた対象状態自体の確率的尤度と、実画像より作成されたシルエット画像とシミュレーションにより作成されたシルエット画像の一致度に基づいた尤度とを計算し、それらの積を最終的な尤度として計算する尤度の計算ステップと、前記尤度の計算ステップにより計算された尤度より、その状態を対象状態分布の一つとして受け入れるか、もしくは拒否するかを判断する演算を行う受け入れ・拒否演算ステップとを備えたことを特徴としている。
【０００９】
また請求項２に記載の複数対象物追跡方法は、請求項１において、前記対象状態の推定ステップでは、前記対象状態を楕円体モデルの集合で表し、モデル頭頂部の画像上での二次元座標値、頭部を近似する楕円体の短軸および身体を近似する楕円体の短軸および身長を表すモデルの高さで人物を表すことを特徴としている。
【００１０】
また、請求項３に記載の複数対象物追跡装置は、画像入力装置を用いて、物体、動物、人間の少なくともいずれかを含む複数の対象物の三次元位置、大きさなどの状態を追跡する装置であって、前記画像入力装置より画像を取得する画像の取得手段と、前記画像の取得手段によって取得された画像から追跡対象が写っている領域を抽出したシルエット画像を作成するシルエット画像の作成手段と、実世界上に配置したカメラの外部・内部パラメータが保存されたセンサ情報データベースと、前記シルエット画像の作成手段によって作成されたシルエット画像および前記センサ情報データベースに保存された前記カメラの外部・内部パラメータに基づいて、追跡対象の状態を確率的に推定する対象状態の推定手段とを備え、前記対象状態の推定手段は、予め用意された複数の変化タイプから任意の確率に従って１つの変化タイプを選択し、追跡対象の中からどの対象を変化させるかを選択し、前記選択された変化タイプと変化対象に基づいて、対象状態を変化させ、前記変化させた対象状態に基づいて、その状態となった対象を実世界に配置したカメラと同じ外部・内部パラメータを持つ仮想のカメラに投影し、実画像より作成されたシルエット画像をシミュレートしたシミュレーション画像を作成し、前記変化させた対象状態の尤もらしさを評価するために、対象物同士の重なりに関する事前知識に基づいた対象状態自体の確率的尤度と、実画像より作成されたシルエット画像とシミュレーションにより作成されたシルエット画像の一致度に基づいた尤度とを計算し、それらの積を最終的な尤度として計算し、前記計算された尤度より、その状態を対象状態分布の一つとして受け入れるか、もしくは拒否するかを判断する演算を行うことを特徴としている。
【００１１】
また、請求項４に記載の複数対象物追跡プログラムは、コンピュータに請求項１又は２に記載の各ステップを実行するための複数対象物追跡プログラムである。
【００１２】
また、請求項５に記載の記録媒体は、コンピュータに請求項１又は２に記載の各ステップを実行するための複数対象物追跡プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００１３】
本発明によれば、対象状態を楕円体モデルの集合で表し、モデル頭頂部の画像上での二次元座標値、頭部を近似する楕円体の短軸および身体を近似する楕円体の短軸および身長を表すモデルの高さで人物を表して、画像上の二次元情報と人物モデルの三次元情報を組み合わせることによって、１台の画像入力装置（カメラ）情報のみを用いて、対象物が重なり合う場合においても安定して３次元空間上での位置の追跡を行う、複数対象物追跡装置を実現できる。
【００１４】
また、１台のカメラのみしか使わないので、コストの安い複数対象物追跡装置を実現できる。
【００１５】
また、「実画像より作成したシルエット画像とシミュレーション画像の比較による尤度」と「人物同士の重なりに関する事前知識に基づいた対象状態自体の確率的尤度」を組み合わせることによって、従来困難とされていた、対象物同士が非常に接近するような状況下においても安定した追跡を可能とする、複数対象物追跡装置、方法を実現できる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。
【００１７】
図１に本発明の複数対象物追跡装置の実施形態例を示す。図１において、本実施形態例の複数対象物追跡装置は、画像の取得手段１１と，シルエット画像の作成手段１２と，対象状態の推定手段１３と，センサ情報データベース２１と，対象状態記憶手段２２で構成される。
【００１８】
画像の取得手段１１は，各時刻に撮影された画像データを取得する手段であり，例えばデジタルカメラやビデオカメラ等の画像センサーなどで構成されている。
【００１９】
シルエット画像の作成手段１２は，前記取得された画像データから対象の写っている領域のみを抽出した画像，すなわちシルエット画像を作成する。
【００２０】
対象状態の推定手段１３は，前時刻に推定された対象状態を初期状態として，シルエット画像の作成手段１２により作成されたシルエット画像とセンサ情報データベース２１を用いて対象状態を確率的に推定し，対象状態記憶手段２２に保存されている前時刻の対象状態分布を現時刻の対象状態分布に更新する。
【００２１】
センサ情報データベース２１は，予め計測しておいたカメラなどの画像の取得手段１１のカメラ内部パラメータ（焦点距離，画像中心などのパラメータ），カメラ外部パラメータ（設置されているカメラの三次元位置および姿勢情報）を保存する。
【００２２】
対象状態記憶手段２２は，対象状態の推定手段１３によって推定された対象状態を記憶する。
【００２３】
次に本発明の実施形態の一例を詳細に説明する．本発明の目的は，三次元空間中に存在する複数の物体、動物、人間（人物）の少なくともいずれかを含む対象物の各時刻ｔにおける位置，大きさを表す対象状態を逐次的に推定し，対象物を追跡することである．
本実施形態では，例えば図２のように平面上を歩行する複数の人物を追跡対象とし，位置と姿勢を固定されたビデオカメラ（カメラ１）を用いて追跡を行う例について示す。
【００２４】
また配置されたカメラのカメラ内部パラメータの校正，および三次元位置（ｘ，ｙ，ｚ）と姿勢（φ，θ，γ）を求める。これは例えば非特許文献２の方法によって取得することが可能である。このようにして取得したカメラの三次元位置および姿勢を，センサ情報データベース２１に予め記憶しておくことにする。
【００２５】
本実施形態では一例として，図３のように２つの楕円体を用いて人物の形状を近似したモデルを定義した。モデル頭頂部の画像上での二次元座標値（ｘ，ｙ），頭部を近似する楕円体の短軸ｒ１および身体を近似する楕円体の短軸ｒ２および身長を表すモデルの高さｈで人物を表すこととした。なお，頭部を近似する楕円体の長軸と短軸は一定の比率を保っていると考え，長軸半径ｒ＝ｋ１×ｒ１とした。ｋ１は任意の定数であり，例えば１．５という数値を使っても良い。また，身体を近似する楕円体の長軸に関しても同様に長軸半径ｒ＝ｈ−ｋ２×ｒ１とした。ｋ２は任意の定数であり，例えば１．２という数値を使っても良い。
【００２６】
以上のようにして，（ｘ，ｙ，ｒ１，ｒ２，ｈ）の５つのパラメータにより，一人の人物の状態を表すことができる。
【００２７】
対象状態の推定手段１３には確率統計状態分布推定法の一種であるＭＣＭＣ（Ｍａｒｋｏｖ Ｃｈａｉｎ Ｍｏｎｔｅ Ｃａｒｌｏ）法を用いる例で説明する。
【００２８】
複数の人物の状態を表す対象状態Ｓは各人物の位置，大きさを表すベクトルＭ（人物モデル）を並べたものによって表す．対象状態Ｓの次元数は追跡人数Ｋによって定まり可変である．すなわちベクトルＭが５次元ベクトルであるので，５Ｋ次元ベクトルとなる．時刻ｔにおける状態Ｓtは以下の式（１）で表される。
【００２９】
【数１】
【００３０】
状態Ｓを構成する人物ｋの位置，大きさ，形を表す人物モデルＭkは，以下の式（２）で表される５次元ベクトルである。
【００３１】
【数２】
【００３２】
ただし，ここで人物モデルＭkを構成する５つのパラメータは前述の人物の形状を近似したモデルのパラメータである。
【００３３】
本実施形態は，以上説明した各時刻ｔにおける状態Ｓtを推定することで，複数人物の状態を逐次推定し，追跡を行うものである。
【００３４】
図４は本実施形態の動作を示すフローチャートの一例である。処理が開始されると，画像の取得手段１１により，カメラより撮影された画像データ（Ｉｍ1）を取得する（ステップＳ３０１）。
【００３５】
次にシルエット画像の作成手段１２により，前記カメラから取得した画像データ（Ｉｍ1）に対し，それぞれのシルエット画像（Ｓｉｌ1）を作成する（ステップＳ３０２）。シルエット画像とは図５のように撮影した画像の対象が写っている領域の輝度値が１，他の領域が０である２値画像のことで，５０１は入力画像，５０２が作成されたシルエット画像の一例である。このような画像は背景差分法やフレーム間差分法などのよく知られた方法を利用することで簡単に生成することができる。
【００３６】
次に前時刻で推定され対象状態記憶手段２２に保存された対象状態Ｓt-1を対象状態の初期値とし，これを逐次更新していくことで対象状態の確率的分布を推定する（ステップＳ３０３）。ここでステッＳ３０３の処理の詳細を図６のフローチャートを用いて説明する。
【００３７】
対象状態の確率分布の推定は複数回，（Ｂ＋Ｐ）回の反復計算によって生成される（Ｂ＋Ｐ）個の状態候補を用いて行われる。ここで，前時刻に推定された対象状態をＳ’t,0，ｎ回目の反復計算において生成された状態候補をＳ’t,nと表すことにする。最初のＢ回に生成された状態候補は捨て，最後のＰ回に得られた状態候補は全て等確率で起こりうると考え対象状態を計算する。これは最初のほうに生成された状態候補は初期状態Ｓ’t,0に大きく依存していると考えられるためである。
【００３８】
尚ｔ＝０では、Ｓ’0,0＝｛０｝として処理を始める。この場合、誰も人物を追跡していないので、ステップＳ４０１において変化タイプ「人物の追加」が選ばれ、順々に処理を続ける。
【００３９】
まず更新回数ｎ＝１として処理が開始される。ステップＳ４０１では変化タイプの選択を行う。変化タイプとは対象状態を変化させる処理のタイプを表すものであり，次の４種類から成る。
【００４０】
１：人物の追加，２：人物の消去，３：人物の位置変更，４：人物の大きさ変更。
【００４１】
まず現在の状態として誰も人物を追跡していない場合には必ず「１：人物の追加」が選択される。それ以外の場合には各タイプが選ばれる確率を予め任意に設定しておき，確率的に４つのタイプから選択を行う。例えば（ｐ１， ｐ２， ｐ３， ｐ４）＝（０．１，０．１，０．４，０．４）というように設定することができる（ｐｉはタイプｉが選択される確率）。
【００４２】
次にステップＳ４０２では変化させる対象を選択する。一度の処理で全ての対象の状態を変化させると推定が大きくばらつくため，一度の計算において，選択された一つの対象の状態のみを変化させる。
【００４３】
まず変化タイプが「１：人物の追加」である場合には，新たな人物状態を追加するため，前回生成された状態候補Ｓ’t,n-1から対象を選択せず、追加した状態を変化させる対象として選択する。
【００４４】
変化タイプが「１：人物の追加」以外である場合には，前回生成された状態候補Ｓ’t,n-1からランダムに対象を選択する。すなわちＫ個の対象があった場合には各々の対象が１／Ｋの確率で選択されることになる。
【００４５】
次に、ステップＳ４０３は本発明の対象状態を変化させるステップであり、ここでは選択された人物モデルＭkから選択された各変化タイプの処理に従って状態を変化させ暫定的な状態候補Ｓ＊を計算する．以下で変化タイプ別に処理を説明する。
【００４６】
「１：人物の追加」が選ばれた場合には、新たにモデルパラメータの設定を行う必要がある。例えばこれは以下のようにして設定することができる。
【００４７】
画像の大きさが決まっていることから，人物頭頂部の画像平面上で取り得る位置の範囲が定まる，ここではこの範囲を
【００４８】
【数３】
【００４９】
とする。また人物を近似する楕円体の大きさを表すパラメータｒ１，ｒ２およびｈに関しては，人物の大きさに関する経験的な事前知識（３ｍを超える身長の人はいないなど）から同様にして取り得る値の範囲を制限することができる。ここではこの範囲を
【００５０】
【数４】
【００５１】
とする。
以上のような条件下でｘ，ｙ，ｒ１，ｒ２，ｈのそれぞれのパラメータに関して一様乱数を発生させることで，新しいモデルパラメータＭnを生成することができる。これは人物が新たに追跡範囲に入ってきたことを表す。
【００５２】
当然ながら予め入退室する場所，例えばドアの場所などの情報が得られていれば，画像上のその近辺だけを入退室エリアにすることも可能である。
【００５３】
暫定的な状態候補Ｓ＊はＳ’t,n-1に新たな対象状態Ｍnを追加した状態となる。
【００５４】
「２：人物の消去」が選択された場合には，選択された対象Ｍkを消去する。これは追跡していた人物が追跡範囲から消えたことを表す。
【００５５】
暫定的な状態候補Ｓ＊はＳ’t,n-1から対象状態Ｍkを消去した状態となる。
【００５６】
「３：人物の位置変更」が選択された場合には，選択されたＭkの要素の内，人物の二次元平面上での位置（ｘk，ｙk）から次の式（５）に従って変化させた暫定的な位置（ｘ’k，ｙ’k）を計算する。
【００５７】
【数５】
【００５８】
ただしδx，δyはそれぞれ一次元のガウスノイズであり，そのパラメータは実験的に任意の値に決めることができる．Ｍ’kを以下の式（６）のように定義する。
【００５９】
【数６】
【００６０】
暫定的な状態候補Ｓ＊はＳ’t,n-1の対象状態ＭkをＭ’kに更新した状態となる。
【００６１】
「４：人物の大きさ変更」が選択された場合には，選択されたＭkの要素の内，人物を近似する楕円体の半径ｒ１，半径ｒ２および高さｈを表す（ｒ１k，ｒ２k，ｈk）から次の式（７）に従って変化させた暫定的な形，大きさパラメータ（ｒ１’k，ｒ２’k，ｈ’k）を計算する。
【００６２】
【数７】
【００６３】
ただしδr1，δr2，δhはそれぞれ一次元のガウスノイズであり，そのパラメータは実験的に任意の値に決めることができる。この暫定的な形，大きさパラメータを用いてＭ’kを以下の式（８）のように定義する。
【００６４】
【数８】
【００６５】
暫定的な状態候補Ｓ＊はＳ’t,n-1の対象状態ＭkをＭ’kに更新した状態となる。
【００６６】
次に暫定的な状態候補Ｓ＊を用いて，シルエット画像の作成（ステップＳ３０２）で作成されたシルエット画像（Ｓｉｌ1）をシミュレートした画像，シミュレーション画像（Ｓｉｍ1）を作成する（ステップＳ４０４）。センサ情報データベース２１に保存されている。実世界上に配置されたカメラの内部パラメータ（焦点距離，画像中心など）と外部パラメータ（カメラの三次元位置と姿勢）を用いると三次元空間に存在する物体のカメラ画像上への投影関係が計算できる。この関係を利用すると画像上の二次元座標値（ｘ，ｙ）に投影される平面上に直立する高さｈの物体の平面上の二次元座標値（Ｘ，Ｙ）を計算することが可能である。これより三次元空間内にＳ４０３で計算された暫定的な対象状態Ｓ＊に基づいた楕円体で構成された三次元モデルを複数配置することができる。
【００６７】
以上のように生成された仮想シーンを仮想カメラへ投影することで，シミュレーション画像を作成する。
【００６８】
この投影処理は一例として非特許文献１に記載の方法を用いて一意に行うことができる。この際，画像上の楕円体領域の値を１，それ以外の領域の値を０とする２値画像とすることで，シルエット画像（Ｓｉｌ1）をシミュレートしたシミュレーション画像（Ｓｉｍ1）を作成することができる。以上がステップＳ４０４の処理である。
【００６９】
次にこの暫定的な対象候補Ｓ＊が尤もらしいか判断するために，尤度Ｌを計算する（ステップＳ４０５）。これは事前知識による対象状態自体の確からしさの判定およびステップＳ３０２で作成されたシルエット画像（Ｓｉｌ1）とステップＳ４０４で生成されたシミュレーション画像（Ｓｉｍ1）の比較により行う。
【００７０】
事前知識による対象状態自体の確からしさの判定は，追跡している人物同士が三次元空間上で重なることがないという条件である。いま，人物を楕円体モデルで近似しているため，個々の楕円体が重ならない条件，すなわち異なる二つの楕円体の中心同士の距離が，二つの楕円体の半径の和より大きいことを満たす必要がある。
【００７１】
二人の人物同士が三次元空間上で重ならないようにするために，次の式（９）で表された距離Ｒ，すなわち二人の人物を表す楕円体の中心同士の距離に応じたペナルティ関数Ｅ（Ｓ＊）を設定する。
【００７２】
【数９】
【００７３】
ただし，Ｘk，Ｙkはシミュレーション画像生成の際に計算した三次元空間上での人物ｋの平面上の位置Ｘ座標，Ｙ座標を示す。
【００７４】
楕円体の距離が近くなるとペナルティを与える関数Ｅは、本発明の、対象物同士の重なりに関する事前知識に基づいた対象状態自体の確率的尤度を表し、例えば以下の式（１０）のように設定できる。
【００７５】
【数１０】
【００７６】
ただしαは定数で，実験的に任意に設定可能である。
【００７７】
次に前記ステップＳ３０２で作成されたシルエット画像（Ｓｉｌ1）とステップＳ４０４で生成されたシミュレーション画像（Ｓｉｍ1）の比較について説明する。これは例えば以下の式（１１）の評価式によって計算を行うことができる。
【００７８】
【数１１】
【００７９】
ただし，Ｖは前記シルエット画像とシミュレーション画像の一致度、（ｕ，ｖ）は画像のｕ行ｖ列成分を示す。
【００８０】
最終的に暫定状態Ｓ＊の尤度Ｌは式（１２）によって表される，積演算によって計算される。
【００８１】
【数１２】
【００８２】
このような尤度を用いることで，三次元空間上での人物位置の確からしさと二次元画像上での追跡を融合することが可能となる。
以上がステップＳ４０５の処理である。
【００８３】
次にステップＳ４０６では前記ステップＳ４０５で計算された尤度を用いて，暫定状態候補Ｓ＊を受け入れるか，もしくは拒否するかの演算を行う。これは受け入れ拒否判断確率Ａの計算によって決定する。受け入れ拒否判断確率Ａは例えば以下の式（１３）により計算することが可能である。
【００８４】
【数１３】
【００８５】
ここで現在ｎ回目の更新だとすると，Ｌ’はｎ−１回目の状態候補Ｓ’t,n-1の尤度を表す。つまり前回の状態よりも今回の状態のほうが尤度が高ければ必ず受け入れ，そうでなければＬ／Ｌ’の確率で暫定状態Ｓ＊を採用する。
【００８６】
ここで暫定状態Ｓ＊が採用されれば，Ｓ’t,n＝Ｓ＊とし，採用が拒否されればＳ’t,n＝Ｓ’t,n-1として，ステップＳ４０７の条件判断ステップへと進む。
【００８７】
ステップＳ４０７では更新処理が規定の回数行われたかの判断が行われる。更新回数ｎが任意に決定できる定数ＢとＰの和で表されるＢ＋Ｐ回を超えていれば反復計算処理を終了し，ステップＳ４０８の対象状態の推定ステップへと進む。
【００８８】
次にステップＳ４０８では最大確率を持つ対象状態の計算を行う。反復計算により生成された状態候補のうち，最後のＰ個の対象状態は全て等確率で起こると仮定しているため，最大確率を持つ対象状態Ｓtは以下の式（１４）によって計算することができる。
【００８９】
【数１４】
【００９０】
このようにして計算したＳtを対象状態記憶手段２２に保存する。
【００９１】
以上述べた処理が図４のステップＳ３０３である。
【００９２】
次にステップＳ３０４では追跡を終了するかどうかのチェックを行う。追跡が終了なら処理を終了とし，まだ追跡を続けるのならば，次の時刻の画像取得（ステップＳ３０１）の処理を行う。
【００９３】
以上，述べた処理を繰り返すことで動的に人数の変化する複数の人物の状態を逐次推定することが可能となる。
【００９４】
本実施形態では，図６のステップＳ４０５の処理において，一例としてシルエット画像とシミュレーション画像の比較に式（１１）を用いたが，画像間の類似度を取る評価関数，例えば単純な積演算を利用しても同様に実現できる。
【００９５】
なお図１で示した装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し，そのプログラムをコンピュータを用いて実行して本発明を実現することができること，図４，図６で示した処理の手順をコンピュータのプログラムで構成し，そのプログラムをコンピュータに実行させることができることは言うまでもなく，コンピュータでその機能を実現するためのプログラムを，そのコンピュータが読み取り可能な記録媒体，例えばＦＤや，ＭＯ，ＲＯＭ，メモリカード，ＣＤ，ＤＶＤ，リムーバブルディスクなどに記録して，保存したり，配布したりすることが可能である。また，上記のプログラムをインターネットや電子メールなど，ネットワークを通して提供することも可能である。
【００９６】
＜実施例＞
以下に，上述の複数対象物追跡装置を用いて，ビデオカメラから得られた映像を処理して，追跡範囲に侵入してくる人物を追跡した結果を図４に示した処理フローを用いて述べる。まず処理が開始されると，カメラ画像の取得を行い（ステップＳ３０１），シルエット画像を作成する（ステップＳ３０２）。図７にカメラから取得した画像列の一部（７０１〜７０６），背景差分法を用いて作成したシルエット画像（７０７〜７１２）を示す。
【００９７】
次にステップＳ３０３にて対象状態の推定を行う。ここでは状態を逐次更新させながらその状態をシミュレートしたシミュレーション画像の作成を行って，その評価を行う。
【００９８】
図８に計算された最大確率を取る対象状態を表現した画像を示す。図８は，それぞれ上段がカメラからの画像（９０１〜９０６），中段が最大確率を取る対象状態をシミュレートした画像（９０７〜９１２），下段が俯瞰図として天井にカメラが設置されているとして最大確率を取る対象状態をシミュレートした画像（９１３〜９１８）であり，複数の人物同士が重なり合っているが安定して追跡できていることが確認できる。
【００９９】
ステップＳ３０４では現時刻までで，追跡を終了とする場合には，処理を終了とし，そうでない場合には，ステップＳ３０１の画像の取得へ戻る。
【０１００】
以上述べた処理を繰り返すことで本実施例では一台のカメラのみを用いて人物が重なり合うような状況においても安定した追跡を行うことができる。
【０１０１】
これは二次元画像上での追跡と三次元空間上での対象の位置の整合性を融合しているためである。
【図面の簡単な説明】
【０１０２】
【図１】本発明の複数対象物追跡装置の一実施形態の構成を示すブロック図である。
【図２】本発明の複数対象物追跡装置の一実施形態における画像データ取得の様子を示す説明図である．
【図３】本発明の複数対象物追跡装置の一実施形態で用いる対象の三次元モデルである楕円体モデルを示す説明図である。
【図４】本発明の複数対象物追跡方法の処理手順を示すフローチャートである。
【図５】本発明の一実施形態における入力画像に対応するシルエット画像を示す説明図である。
【図６】本発明の一実施形態における対象状態の推定（ステップＳ３０３）の処理手順を示すフローチャートである。
【図７】本発明の実施例における、カメラからの画像列、作成したシルエット画像の一部を示した説明図である。
【図８】本発明の実施例における、入力画像の一部および入力画像から計算した対象状態をシミュレートした画像とそれを俯瞰した画像を示した図である。
【符号の説明】
【０１０３】
１１…画像の取得手段、１２…シルエット画像の作成手段、１３…対象状態の推定手段、２１…センサ情報データベース、２２…対象状態記憶手段、７０１〜７０６，９０１〜９０６…カメラ画像、７０７〜７１２…シルエット画像、９０７〜９１８…計算した対象状態をシミュレートした画像。
【特許請求の範囲】
【請求項１】
画像入力装置を用いて、物体、動物、人間の少なくともいずれかを含む複数の対象物の三次元位置、大きさなどの状態を追跡する方法であって、
画像の取得手段が、前記画像入力装置より画像を取得する画像の取得ステップと、
シルエット画像の作成手段が、前記画像の取得ステップによって取得された画像から追跡対象が写っている領域を抽出したシルエット画像を作成するシルエット画像の作成ステップと、
対象状態の推定手段が、前記シルエット画像の作成ステップによって作成されたシルエット画像に基づいて、追跡対象の状態を確率的に推定する対象状態の推定ステップとを備え、
前記対象状態の推定ステップは、
予め用意された複数の変化タイプから任意の確率に従って１つの変化タイプを選択する変化タイプの選択ステップと、
追跡対象の中からどの対象を変化させるかを選択する変化対象の選択ステップと、
前記変化タイプの選択ステップにより選択された変化タイプと前記変化対象の選択ステップにより選択された変化対象に基づいて、対象状態を変化させるステップと、
前記対象状態を変化させるステップにより変化させた対象状態に基づいて、その状態となった対象を実世界に配置したカメラと同じ外部・内部パラメータを持つ仮想のカメラに投影し、実画像より作成されたシルエット画像をシミュレートしたシミュレーション画像を作成するシミュレーション画像作成ステップと、
前記対象状態を変化させるステップにより変化させた対象状態の尤もらしさを評価するために、対象物同士の重なりに関する事前知識に基づいた対象状態自体の確率的尤度と、実画像より作成されたシルエット画像とシミュレーションにより作成されたシルエット画像の一致度に基づいた尤度とを計算し、それらの積を最終的な尤度として計算する尤度の計算ステップと、
前記尤度の計算ステップにより計算された尤度より、その状態を対象状態分布の一つとして受け入れるか、もしくは拒否するかを判断する演算を行う受け入れ・拒否演算ステップと
を備えたことを特徴とする複数対象物追跡方法。
【請求項２】
請求項１において、前記対象状態の推定ステップでは、
前記対象状態を楕円体モデルの集合で表し、モデル頭頂部の画像上での二次元座標値、頭部を近似する楕円体の短軸および身体を近似する楕円体の短軸および身長を表すモデルの高さで人物を表すことを特徴とする複数対象物追跡方法。
【請求項３】
画像入力装置を用いて、物体、動物、人間の少なくともいずれかを含む複数の対象物の三次元位置、大きさなどの状態を追跡する装置であって、
前記画像入力装置より画像を取得する画像の取得手段と、
前記画像の取得手段によって取得された画像から追跡対象が写っている領域を抽出したシルエット画像を作成するシルエット画像の作成手段と、
実世界上に配置したカメラの外部・内部パラメータが保存されたセンサ情報データベースと、
前記シルエット画像の作成手段によって作成されたシルエット画像および前記センサ情報データベースに保存された前記カメラの外部・内部パラメータに基づいて、追跡対象の状態を確率的に推定する対象状態の推定手段とを備え、
前記対象状態の推定手段は、
予め用意された複数の変化タイプから任意の確率に従って１つの変化タイプを選択し、
追跡対象の中からどの対象を変化させるかを選択し、
前記選択された変化タイプと変化対象に基づいて、対象状態を変化させ、
前記変化させた対象状態に基づいて、その状態となった対象を実世界に配置したカメラと同じ外部・内部パラメータを持つ仮想のカメラに投影し、実画像より作成されたシルエット画像をシミュレートしたシミュレーション画像を作成し、
前記変化させた対象状態の尤もらしさを評価するために、対象物同士の重なりに関する事前知識に基づいた対象状態自体の確率的尤度と、実画像より作成されたシルエット画像とシミュレーションにより作成されたシルエット画像の一致度に基づいた尤度とを計算し、それらの積を最終的な尤度として計算し、
前記計算された尤度より、その状態を対象状態分布の一つとして受け入れるか、もしくは拒否するかを判断する演算を行う
ことを特徴とする複数対象物追跡装置。
【請求項４】
コンピュータに請求項１又は２に記載の各ステップを実行するための複数対象物追跡プログラム。
【請求項５】
コンピュータに請求項１又は２に記載の各ステップを実行するための複数対象物追跡プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
画像入力装置を用いて、物体、動物、人間の少なくともいずれかを含む複数の対象物の三次元位置、大きさなどの状態を追跡する方法であって、
画像の取得手段が、前記画像入力装置より画像を取得する画像の取得ステップと、
シルエット画像の作成手段が、前記画像の取得ステップによって取得された画像から追跡対象が写っている領域を抽出したシルエット画像を作成するシルエット画像の作成ステップと、
対象状態の推定手段が、前記シルエット画像の作成ステップによって作成されたシルエット画像に基づいて、追跡対象の状態を確率的に推定する対象状態の推定ステップとを備え、
前記対象状態の推定ステップは、
予め用意された複数の変化タイプから任意の確率に従って１つの変化タイプを選択する変化タイプの選択ステップと、
追跡対象の中からどの対象を変化させるかを選択する変化対象の選択ステップと、
前記変化タイプの選択ステップにより選択された変化タイプと前記変化対象の選択ステップにより選択された変化対象に基づいて、対象状態を変化させるステップと、
前記対象状態を変化させるステップにより変化させた対象状態に基づいて、その状態となった対象を実世界に配置したカメラと同じ外部・内部パラメータを持つ仮想のカメラに投影し、実画像より作成されたシルエット画像をシミュレートしたシミュレーション画像を作成するシミュレーション画像作成ステップと、
前記対象状態を変化させるステップにより変化させた対象状態の尤もらしさを評価するために、対象物同士の重なりに関する事前知識に基づいた対象状態自体の確率的尤度と、実画像より作成されたシルエット画像とシミュレーションにより作成されたシルエット画像の一致度に基づいた尤度とを計算し、それらの積を最終的な尤度として計算する尤度の計算ステップと、
前記尤度の計算ステップにより計算された尤度より、その状態を対象状態分布の一つとして受け入れるか、もしくは拒否するかを判断する演算を行う受け入れ・拒否演算ステップと
を備えたことを特徴とする複数対象物追跡方法。
【請求項２】
請求項１において、前記対象状態の推定ステップでは、
前記対象状態を楕円体モデルの集合で表し、モデル頭頂部の画像上での二次元座標値、頭部を近似する楕円体の短軸および身体を近似する楕円体の短軸および身長を表すモデルの高さで人物を表すことを特徴とする複数対象物追跡方法。
【請求項３】
画像入力装置を用いて、物体、動物、人間の少なくともいずれかを含む複数の対象物の三次元位置、大きさなどの状態を追跡する装置であって、
前記画像入力装置より画像を取得する画像の取得手段と、
前記画像の取得手段によって取得された画像から追跡対象が写っている領域を抽出したシルエット画像を作成するシルエット画像の作成手段と、
実世界上に配置したカメラの外部・内部パラメータが保存されたセンサ情報データベースと、
前記シルエット画像の作成手段によって作成されたシルエット画像および前記センサ情報データベースに保存された前記カメラの外部・内部パラメータに基づいて、追跡対象の状態を確率的に推定する対象状態の推定手段とを備え、
前記対象状態の推定手段は、
予め用意された複数の変化タイプから任意の確率に従って１つの変化タイプを選択し、
追跡対象の中からどの対象を変化させるかを選択し、
前記選択された変化タイプと変化対象に基づいて、対象状態を変化させ、
前記変化させた対象状態に基づいて、その状態となった対象を実世界に配置したカメラと同じ外部・内部パラメータを持つ仮想のカメラに投影し、実画像より作成されたシルエット画像をシミュレートしたシミュレーション画像を作成し、
前記変化させた対象状態の尤もらしさを評価するために、対象物同士の重なりに関する事前知識に基づいた対象状態自体の確率的尤度と、実画像より作成されたシルエット画像とシミュレーションにより作成されたシルエット画像の一致度に基づいた尤度とを計算し、それらの積を最終的な尤度として計算し、
前記計算された尤度より、その状態を対象状態分布の一つとして受け入れるか、もしくは拒否するかを判断する演算を行う
ことを特徴とする複数対象物追跡装置。
【請求項４】
コンピュータに請求項１又は２に記載の各ステップを実行するための複数対象物追跡プログラム。
【請求項５】
コンピュータに請求項１又は２に記載の各ステップを実行するための複数対象物追跡プログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００９−３０１２４１（Ｐ２００９−３０１２４１Ａ）
【公開日】平成２１年１２月２４日（２００９．１２．２４）
【国際特許分類】
【出願番号】特願２００８−１５３５８３（Ｐ２００８−１５３５８３）
【出願日】平成２０年６月１１日（２００８．６．１１）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２１年１２月２４日（２００９．１２．２４）
【国際特許分類】
【出願日】平成２０年６月１１日（２００８．６．１１）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]