姿勢推定装置、姿勢推定方法及び姿勢推定プログラム
【課題】２次元の関節位置の安定した推定を行い、それに伴って３次元の姿勢推定の精度の向上を実現することができる姿勢推定装置を提供する。
【解決手段】３次元動作モデルデータを参照して、追跡対象について、初期の位置候補を複数設定する手段と、入力した画像から、追跡対象の位置候補における特徴量を算出し、該特徴量をテンプレート記憶手段に記憶されたテンプレートデータと比較した結果得られる類似度の重みに基づき、追跡対象の位置を推定し、追跡対象の位置の推定情報を出力する手段と、類似度の重みと、３次元動作モデルデータに基づき、追跡対象の位置候補を改めて設定する手段と、追跡対象の位置の推定と、追跡対象の位置候補の設定とを複数回数繰り返すことにより、追跡対象の位置を追跡する手段と、追跡対象の位置の推定情報と、３次元動作モデルデータを参照して、姿勢推定対象の３次元姿勢を推定する手段とを備えた。
【解決手段】３次元動作モデルデータを参照して、追跡対象について、初期の位置候補を複数設定する手段と、入力した画像から、追跡対象の位置候補における特徴量を算出し、該特徴量をテンプレート記憶手段に記憶されたテンプレートデータと比較した結果得られる類似度の重みに基づき、追跡対象の位置を推定し、追跡対象の位置の推定情報を出力する手段と、類似度の重みと、３次元動作モデルデータに基づき、追跡対象の位置候補を改めて設定する手段と、追跡対象の位置の推定と、追跡対象の位置候補の設定とを複数回数繰り返すことにより、追跡対象の位置を追跡する手段と、追跡対象の位置の推定情報と、３次元動作モデルデータを参照して、姿勢推定対象の３次元姿勢を推定する手段とを備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮影された画像データから人物の姿勢推定を行う姿勢推定装置、姿勢推定方法及び姿勢推定プログラムに関する。
【背景技術】
【０００２】
近年、モーションキャプチャシステムや距離画像を用いずに、画像データから人体の姿勢推定・運動解析を行う研究が広く行われている（例えば、非特許文献１参照）。これらの研究は、映像監視やヒューマンインタラクション、ロボットの運動制御、ＣＧアニメーションの製作、医療分野等、幅広い分野への応用が期待されている。特に、３次元的な姿勢を推定できれば、応用の幅はさらに広がると考えられる。
【０００３】
しかし、画像データに基づき人体の３次元的な仮想空間における姿勢を推定する場合、任意の時間において、人体の関節の３次元回転角を推定することが困難である。特に、単眼カメラにより撮影された画像データからの３次元の姿勢を推定する場合、画像データにおいては２次元で人体が表現されているため、３次元で表現するための情報が欠如している。これにより、姿勢の多義性に対応できないことや、手足や障害物による遮蔽に対応できないことなどが問題となる。
【０００４】
これらの問題に対処するため、推定する際に、人体の動きに関する事前知識を用いる手法が注目されている。この事前知識とは、２次元の画像データに基づき、３次元で表現するために欠如している情報を補充するための情報である。この補充するための情報である２次元の画像データは、３次元の姿勢を推定するための２次元画像上の関節位置座標で構成する。関節位置座標は、対象となる場所の画像特徴量をフレームを跨って追跡することで得られる。事前知識として、例えば、非特許文献２のように光学モーションキャプチャシステムにより計測された高精度な３次元動作データから低次元特徴を取り出した動作モデルを用いるものが知られている。この動作モデルを事前知識として、２次元画像上の関節位置から３次元の姿勢を推定することが可能となる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】島田, 伸敬, 有田, 大作, 玉木, 徹. "関節物体のモデルフィッティング" 情報処理学会研究報告CVIM Vol.154. page.375-392. 2006.
【非特許文献２】R. Urtasun, D. J. Fleet, and P. Fua. "3d people tracking with gaussian process dynam-ical models." CVPR, 2006.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、動作モデルを利用して、２次元の関節位置から３次元の姿勢を補充する場合、２次元の関節位置の情報の不確かさが増すほど、３次元の姿勢の不確かさも増してしまう。一般に、２次元の関節位置は画像上で取得可能な色やエッジの情報を基に推定するため、安定した推定が困難であるという問題がある。このような問題は、人体及び関節に限られた問題ではなく、姿勢が変化する物（例えば、人体やロボット）とその物が持つ追跡対象（例えば、関節や可動部）に関して一般的な問題である。
【０００７】
本発明は、このような事情に鑑みてなされたもので、２次元の追跡対象の安定した推定を行い、それに伴って３次元の姿勢推定の精度の向上を実現することができる姿勢推定装置、姿勢推定方法及び姿勢推定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、姿勢推定対象が撮影された画像を入力する画像入力手段と、前記姿勢推定対象が持つ追跡対象の特徴量がテンプレートデータとして記憶されたテンプレート記憶手段と、前記追跡対象の３次元動作モデルデータが記憶された３次元動作モデル記憶手段と、前記３次元動作モデルデータを参照して、前記追跡対象について、初期の位置候補を複数設定する位置候補初期設定手段と、前記画像入力手段によって入力した前記画像から、前記追跡対象の位置候補における特徴量を算出し、該特徴量を前記テンプレート記憶手段に記憶された前記テンプレートデータと比較した結果得られる類似度の重みに基づき、前記追跡対象の位置を推定し、前記追跡対象の位置の推定情報を出力する位置推定手段と、前記類似度の重みと、前記３次元動作モデルデータに基づき、前記追跡対象の前記位置候補を改めて設定する位置候補設定手段と、前記位置推定手段による前記追跡対象の位置の推定と、前記位置候補設定手段による前記追跡対象の前記位置候補の設定とを複数回数繰り返すことにより、前記追跡対象の位置を追跡する追跡処理手段と、前記追跡対象の位置の推定情報と、前記３次元動作モデルデータを参照して、前記姿勢推定対象の３次元姿勢を推定する姿勢推定手段とを備えたことを特徴とする。
【０００９】
本発明は、前記姿勢推定対象が人体であり、前記追跡対象が関節であることを特徴とする。
【００１０】
本発明は、姿勢推定対象が撮影された画像を入力する画像入力手段と、前記姿勢推定対象が持つ追跡対象の特徴量がテンプレートデータとして記憶されたテンプレート記憶手段と、前記追跡対象の３次元動作モデルデータが記憶された３次元動作モデル記憶手段とを備える姿勢推定装置における姿勢推定方法であって、前記３次元動作モデルデータを参照して、前記追跡対象について、初期の位置候補を複数設定する位置候補初期設定ステップと、前記画像入力手段によって入力した前記画像から、前記追跡対象の位置候補における特徴量を算出し、該特徴量を前記テンプレート記憶手段に記憶された前記テンプレートデータと比較した結果得られる類似度の重みに基づき、前記追跡対象の位置を推定し、前記追跡対象の位置の推定情報を出力する位置推定ステップと、前記類似度の重みと、前記３次元動作モデルデータに基づき、前記追跡対象の前記位置候補を改めて設定する位置候補設定ステップと、前記位置推定ステップによる前記追跡対象の位置の推定と、前記位置候補設定ステップによる前記追跡対象の前記位置候補の設定とを複数回数繰り返すことにより、前記追跡対象の位置を追跡する追跡処理ステップと、前記追跡対象の位置の推定情報と、前記３次元動作モデルデータを参照して、前記姿勢推定対象の３次元姿勢を推定する姿勢推定ステップとを有することを特徴とする。
【００１１】
本発明は、前記姿勢推定方法をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、追跡対象（関節位置）を安定して推定できることに加え、追跡対象の位置推定と同時に姿勢推定対象の３次元姿勢を推定することが可能となるため、３次元の姿勢推定の精度の向上を実現することができるという効果が得られる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示す２次元関節追跡部１０３の動作を示すフローチャートである。
【図３】本発明の一実施形態の変形例の構成を示すブロック図である。
【図４】図３に示す２次元関節追跡部１０９の動作を示すフローチャートである。
【図５】物体追跡手法の一般的な概念を示す説明図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照して、本発明の一実施形態による姿勢推定装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１０１は、姿勢を解析する対象となる映像データが記憶された解析映像記憶部である。映像データの一例として、未校正の１台または複数台のカメラによって撮像された映像データから構成される。符号１０２は、解析映像記憶部１０１に記憶された映像データを入力する画像入力部であり、入力した映像データを推定処理を行う形式へ変換する。この変換は例えば、色相変換やフレーム補間等である。符号１０３は、画像入力部１０２により入力した映像データから画像特徴量などを用いて人体の関節位置の座標を抽出し、解析対象の全フレームに対して追跡処理を行う２次元関節追跡部である。符号１０４は、２次元関節追跡部１０３によって追跡した人体の２次元関節位置座標から、３次元の姿勢を推定する３次元姿勢推定部である。
【００１５】
符号１０５は、追跡対象とする領域の特徴や位置等の情報をテンプレートとして記憶するテンプレート記憶部である。テンプレートの形式は、２次元関節追跡部１０３ので利用する手法に依存する。２次元関節追跡部１０３は、画像入力部１０２により入力した映像データの各フレームの画像情報と、テンプレート記憶部１０５に記憶されたテンプレートから追跡処理を行う。符号１０６は、３次元姿勢推定部１０４で推定された３次元の姿勢情報を保持する姿勢情報記憶部である。符号１０７は、３次元姿勢推定部１０４において、３次元の姿勢を推定する際に用いる事前３次元動作モデル情報を記憶する事前３次元動作モデル記憶部である。動作モデルは、例えば、非特許文献２のように、３次元動作を低次元特徴で表現したものが適用可能である。符号１０８は、２次元間接追跡部１０３が推定した追跡対象の推定状態情報を記憶する推定情報記憶部である。３次元姿勢推定部１０４は、推定情報記憶部１０８の２次元の関節位置情報と事前３次元動作モデル記憶部１０７の動作モデル情報を参照して３次元姿勢を推定する。３次元姿勢推定部１０４における３次元姿勢の推定処理は公知の方法を用いて行う。
【００１６】
ここで、図５を参照して、パーティクルフィルタを用いて２次元関節位置を追跡する処理動作を説明する。パーティクルフィルタを用いる場合、図５に示すように、追跡対象の位置候補を仮説として多数（Ｎ個）生成する。まず、仮説の位置を初期化する（ＳＴＥＰ０）。そして、各時刻において、仮説位置の特徴量を追跡対象のテンプレート特徴量と比較して、その類似度を重みとして算出する（ＳＴＥＰ１）。次に、Ｎ個の仮説の中からもっともらしいものを選択し、その時刻の推定位置（状態）とする（ＳＴＥＰ２）。続いて、次の時刻の準備として重みの大きい仮説を複製し、小さい仮説を消滅させる（ＳＴＥＰ３）。そして、追跡対象の状態遷移モデルに従って、仮説を移動させて（ＳＴＥＰ４）、ＳＴＥＰ１に戻り、処理を繰り返す。状態遷移モデルは、対象物の運動モデルに基づいて定義することが望ましいが、運動モデルの定式化が難しい場合は、等速直線運動やランダムウォークを想定する。
【００１７】
次に、図２を参照して、図１に示す２次元関節追跡部１０３の動作を説明する。図２は、図１に示す２次元関節追跡部１０３の動作を示すフローチャートである。まず、２次元関節追跡部１０３は、時刻ｔを０とし（ステップＳ１）、解析映像記憶部１０１に蓄積される解析対象の映像データより時刻ｔが０であるフレームを取り出し、追跡対象とする関節の初期位置［ｘ０，ｙ０］を指定する（ステップＳ２）。この指定には、例えば、手動指定や肌色検出、エッジ検出等の画像処理を用いることが可能である。
【００１８】
次に、２次元関節追跡部１０３は、ステップＳ２において指定した関節位置の特徴量Ｉｔｅｍｐを算出し、これをテンプレートとしてテンプレート記憶部１０５に保持する（ステップＳ３）。この特徴量は、例えば、色ヒストグラムやＨＯＧ特徴量等、任意のものを用いることが可能である。続いて、２次元関節追跡部１０３は、追跡対象の位置を状態Φ（ｔ）＝［ｘ（ｔ），ｙ（ｔ）］とし、Ｎ個の仮説を生成して、ステップＳ２において指定した初期位置［ｘ０，ｙ０］を中心として分布するように初期化する（ステップＳ５）。このとき、分布には例えば平均［ｘ０，ｙ０］の正規分布等を用いることが可能である。
【００１９】
次に、２次元関節追跡部１０３は、時刻ｔが解析フレーム数Ｔ以下であるか否かを判定し（ステップＳ６）、時刻ｔが解析フレーム数Ｔ以下でなければ処理を終了する。一方、時刻ｔが解析フレーム数Ｔ以下であれば、解析映像記憶部１０１に蓄積されている解析対象の映像データよりｔ＝Ｔとなるフレーム映像を取り出す（ステップＳ７）。そして、２次元関節追跡部１０３は、取り出したフレーム映像に対して、仮説Φｉ（ｔ），ｉ＝１，２，．．，Ｎの場合の特徴量Ｉｉ（ｔ）を算出する（ステップＳ１０）。
【００２０】
次に、２次元関節追跡部１０３は、得られたＩｉ（ｔ）とテンプレート特徴量Ｉｔｅｍｐを比較してその類似度の重みｗｉ（ｔ）を算出する（ステップＳ１１）。重みは、例えば、Ｉｉ（ｔ）とＩｔｅｍｐの距離を用いることが可能である。続いて、２次元関節追跡部１０３は、算出した重みｗｉ（ｔ）より、時刻ｔにおける状態Φ＊（ｔ）を推定する（ステップＳ１２）。この推定は、もっとも大きな重みをもつ仮説を選んだり、重みつき平均をとる等の方法によって行うことが可能である。そして、推定した状態情報を推定情報記憶部１０８のへ保存する。
【００２１】
次に、２次元関節追跡部１０３は、重みｗｉ（ｔ）の大きさに応じて重みの大きい仮説は複製し、小さい仮説は削除することで、推定した状態付近に仮説が集まるようにリサンプリングを行う（ステップＳ１３）。続いて、２次元関節追跡部１０３は、次の時刻の準備として、追跡対象の状態遷移モデルに基づいて、仮説のサンプリングを行う（ステップＳ１４）。このサンプリングは例えば、等速直線やランダムウォークのモデルによって行う。そして、２次元関節追跡部１０３は、時刻ｔに１加算して（ステップＳ１５）、ステップＳ６に戻って、処理を繰り返す。
【００２２】
次に、図３を参照して、図１に示す姿勢推定装置の変形例を説明する。図３は、図１に示す姿勢推定装置の変形例の構成を示すブロック図である。この図において、図１に示す姿勢推定装置と同一の部分には同一の符号を付し、その説明を省略する。図３に示す姿勢推定装置が図１に示す姿勢推定装置と異なる点は、２次元関節追跡部１０３に代えて、２次元関節追跡部１０９を設けた点である。２次元関節追跡部１０９は、画像入力部１０２により入力した映像データと、テンプレート記憶部１０５に記憶されたテンプレート情報と、事前３次元動作モデル記憶部１０７に記憶された動作モデル情報とを参照して追跡処理を行う。
【００２３】
次に、図４を参照して、図３に示す２次元関節追跡部１０９の動作を説明する。図４は、図３に示す２次元関節追跡部１０９の動作を示すフローチャートである。図４において、図２に示す動作と同一の部分には同一の符号を付し、その説明を省略する。図４に示す動作が図２に示す動作と異なる点は、ステップＳ４、Ｓ５１、Ｓ８、Ｓ９、Ｓ１２１、Ｓ１４１を設けた点である。
【００２４】
まず、２次元関節追跡部１０９は、時刻ｔを０とする（ステップＳ１）。解析映像記憶部１０１に蓄積される解析対象の映像データより時刻ｔが０であるフレームを取り出し、追跡対象とする関節の初期位置［ｘ０，ｙ０］を指定する（ステップＳ２）。
【００２５】
次に、２次元関節追跡部１０９は、ステップＳ２において指定した関節位置の特徴量Ｉｔｅｍｐを算出し、これをテンプレートとしてテンプレート記憶部１０５に保持する（ステップＳ３）。続いて、２次元関節追跡部１０９は、解析対象となる映像の初期視点Ｖ０を指定する。この初期視点Ｖ０は、３次元姿勢を２次元に投影処理する際に用いる。
【００２６】
次に、２次元関節追跡部１０９は、追跡対象の３次元姿勢Ｙ（ｔ）と２次元映像への投影視点Ｖ（ｔ）を状態Φ（ｔ）＝［Ｙ（ｔ），Ｖ（ｔ）］とし、Ｎ個の仮説を生成して、Ｖ（ｔ）は先に指定した初期視点Ｖ０を中心として分布するように、Ｙ（ｔ）は事前３次元動作モデル記憶部１０７に記憶されている動作情報を中心として分布するように初期化する（ステップＳ５１）。
【００２７】
次に、２次元関節追跡部１０９は、時刻ｔが解析フレーム数Ｔ以下であるか否かを判定し（ステップＳ６）、時刻ｔが解析フレーム数Ｔ以下でなければ処理を終了する。一方、時刻ｔが解析フレーム数Ｔ以下であれば、解析映像記憶部１０１に蓄積されている解析対象の映像データよりｔ＝Ｔとなるフレーム映像を取り出す（ステップＳ７）。そして、時刻ｔのフレーム映像より、人体の重心位置を算出する（ステップＳ８）。これは、例えば、腰の位置で表現でき、人体領域のシルエットの面積の重心を用いたりすることで可能である。続いて、２次元関節追跡部１０９は、ステップＳ８で用いたフレーム映像に対して、仮説Φｉ（ｔ），ｉ＝１，２，．．，Ｎの２次元関節位置［ｘｉ（ｔ），ｙｉ（ｔ）］を３次元姿勢Ｙｉ（ｔ）と投影視点Ｖｉ（ｔ）より算出する（ステップＳ９）。
【００２８】
次に、２次元関節追跡部１０９は、取り出したフレーム映像に対して、仮説Φｉ（ｔ），ｉ＝１，２，．．，Ｎの場合の特徴量Ｉｉ（ｔ）を算出し（ステップＳ１０）、得られたＩｉ（ｔ）とテンプレート特徴量Ｉｔｅｍｐを比較してその類似度の重みｗｉ（ｔ）を算出する（ステップＳ１１）。そして、２次元関節追跡部１０９は、算出した重みｗｉ（ｔ）より、時刻ｔにおける状態Φ＊（ｔ）＝［Ｙ＊（ｔ），Ｖ＊（ｔ）］と２次元関節位置［ｘ＊（ｔ），ｙ＊（ｔ）］を推定する（ステップＳ１２１）。ここで、推定した状態情報と２次元関節位置情報を推定情報記憶部１０８へ保存する。
【００２９】
次に、２次元関節追跡部１０９は、重みｗｉ（ｔ）の大きさに応じて重みの大きい仮説は複製し、小さい仮説は削除することで、推定した状態付近に仮説が集まるようにリサンプリングを行う（ステップＳ１３）。続いて、２次元関節追跡部１０９は、次の時刻の準備として、追跡対象の状態遷移モデルに基づいて、仮説のサンプリングを行う（ステップＳ１４１）。ここで、状態遷移モデルは事前３次元動作モデル記憶部１０７に保持されている動作情報より定義する。３次元姿勢Ｙｉの状態遷移は、例えば、非特許文献２の動作モデルを用いた場合、（１）式、（２）式で与えられる。
【数１】
このとき、
【数２】
である。
【００３０】
ここで、Ｘ（ｎ）は３次元姿勢Ｙ（ｎ）の低次元表現である。また、ｋＸ（Ｘ＊），ｋＹ（Ｘ＊）はｉ番目の要素にｋＸ（Ｘ＊，Ｘｉ），ｋＹ（Ｘ＊，Ｘｉ）をもつベクトルであり、例えば（５）式、（６）式のように適当な関数で定義する。
【数３】
このとき、α，βは学習により求めるパラメータである。
【００３１】
また、投影視点Ｖｉの状態遷移は、例えば、事前学習済みの動作情報より腰位置の並進と回転の変化量を用いて定義する。より具体的には、投影視点をＶ＝［θ，φ］と表現した場合、その視点変化ｄθ（ｎ），ｄφ（ｎ）は、同じ時刻の３次元動作データＹと最も近い動作データを事前３次元動作モデル記憶部１０７から選び、その並進ｔ（ｎ−１）と回転ｒ（ｎ−１）からそれぞれ視点の変化量ｄθｔ（ｎ）＝ｔ（ｎ）−ｔ（ｎ−１），ｄθｒ（ｎ）＝ｒ（ｎ）−ｒ（ｎ−１）を求める。全体としての視点変化はｄθ（ｎ）＝ｄθｔ（ｎ）−ｄθｒ（ｎ）で定義する。φに関しても同様に求められる。
【００３２】
次に、２次元関節追跡部１０９は、時刻ｔに１加算して（ステップＳ１５）、ステップＳ６に戻って、処理を繰り返す。
【００３３】
以上説明したように、２次元の関節位置を推定する際に、２次元関節位置の追跡を観測される画像情報だけでなく、事前に学習済みの３次元動作情報を利用して行うようにして、従来は２次元関節位置の追跡結果から推定を行っていた３次元動作を２次元関節位置の追跡と同時に行うことが可能となるため、３次元の姿勢推定の精度の向上を実現することができる。
【００３４】
なお、図１、図３における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより姿勢推定処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００３５】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００３６】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の精神及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
【産業上の利用可能性】
【００３７】
カメラで撮影された画像データから人物の姿勢推定を行うことが不可欠な用途に適用できる。
【符号の説明】
【００３８】
１０１・・・解析映像記憶部、１０２・・・画像入力部、１０３・・・２次元関節追跡部、１０４・・・３次元姿勢推定部、１０５・・・テンプレート記憶部、１０６・・・姿勢情報記憶部、１０７・・・事前３次元動作モデル記憶部、１０８・・・推定情報記憶部
【技術分野】
【０００１】
本発明は、カメラで撮影された画像データから人物の姿勢推定を行う姿勢推定装置、姿勢推定方法及び姿勢推定プログラムに関する。
【背景技術】
【０００２】
近年、モーションキャプチャシステムや距離画像を用いずに、画像データから人体の姿勢推定・運動解析を行う研究が広く行われている（例えば、非特許文献１参照）。これらの研究は、映像監視やヒューマンインタラクション、ロボットの運動制御、ＣＧアニメーションの製作、医療分野等、幅広い分野への応用が期待されている。特に、３次元的な姿勢を推定できれば、応用の幅はさらに広がると考えられる。
【０００３】
しかし、画像データに基づき人体の３次元的な仮想空間における姿勢を推定する場合、任意の時間において、人体の関節の３次元回転角を推定することが困難である。特に、単眼カメラにより撮影された画像データからの３次元の姿勢を推定する場合、画像データにおいては２次元で人体が表現されているため、３次元で表現するための情報が欠如している。これにより、姿勢の多義性に対応できないことや、手足や障害物による遮蔽に対応できないことなどが問題となる。
【０００４】
これらの問題に対処するため、推定する際に、人体の動きに関する事前知識を用いる手法が注目されている。この事前知識とは、２次元の画像データに基づき、３次元で表現するために欠如している情報を補充するための情報である。この補充するための情報である２次元の画像データは、３次元の姿勢を推定するための２次元画像上の関節位置座標で構成する。関節位置座標は、対象となる場所の画像特徴量をフレームを跨って追跡することで得られる。事前知識として、例えば、非特許文献２のように光学モーションキャプチャシステムにより計測された高精度な３次元動作データから低次元特徴を取り出した動作モデルを用いるものが知られている。この動作モデルを事前知識として、２次元画像上の関節位置から３次元の姿勢を推定することが可能となる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】島田, 伸敬, 有田, 大作, 玉木, 徹. "関節物体のモデルフィッティング" 情報処理学会研究報告CVIM Vol.154. page.375-392. 2006.
【非特許文献２】R. Urtasun, D. J. Fleet, and P. Fua. "3d people tracking with gaussian process dynam-ical models." CVPR, 2006.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、動作モデルを利用して、２次元の関節位置から３次元の姿勢を補充する場合、２次元の関節位置の情報の不確かさが増すほど、３次元の姿勢の不確かさも増してしまう。一般に、２次元の関節位置は画像上で取得可能な色やエッジの情報を基に推定するため、安定した推定が困難であるという問題がある。このような問題は、人体及び関節に限られた問題ではなく、姿勢が変化する物（例えば、人体やロボット）とその物が持つ追跡対象（例えば、関節や可動部）に関して一般的な問題である。
【０００７】
本発明は、このような事情に鑑みてなされたもので、２次元の追跡対象の安定した推定を行い、それに伴って３次元の姿勢推定の精度の向上を実現することができる姿勢推定装置、姿勢推定方法及び姿勢推定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、姿勢推定対象が撮影された画像を入力する画像入力手段と、前記姿勢推定対象が持つ追跡対象の特徴量がテンプレートデータとして記憶されたテンプレート記憶手段と、前記追跡対象の３次元動作モデルデータが記憶された３次元動作モデル記憶手段と、前記３次元動作モデルデータを参照して、前記追跡対象について、初期の位置候補を複数設定する位置候補初期設定手段と、前記画像入力手段によって入力した前記画像から、前記追跡対象の位置候補における特徴量を算出し、該特徴量を前記テンプレート記憶手段に記憶された前記テンプレートデータと比較した結果得られる類似度の重みに基づき、前記追跡対象の位置を推定し、前記追跡対象の位置の推定情報を出力する位置推定手段と、前記類似度の重みと、前記３次元動作モデルデータに基づき、前記追跡対象の前記位置候補を改めて設定する位置候補設定手段と、前記位置推定手段による前記追跡対象の位置の推定と、前記位置候補設定手段による前記追跡対象の前記位置候補の設定とを複数回数繰り返すことにより、前記追跡対象の位置を追跡する追跡処理手段と、前記追跡対象の位置の推定情報と、前記３次元動作モデルデータを参照して、前記姿勢推定対象の３次元姿勢を推定する姿勢推定手段とを備えたことを特徴とする。
【０００９】
本発明は、前記姿勢推定対象が人体であり、前記追跡対象が関節であることを特徴とする。
【００１０】
本発明は、姿勢推定対象が撮影された画像を入力する画像入力手段と、前記姿勢推定対象が持つ追跡対象の特徴量がテンプレートデータとして記憶されたテンプレート記憶手段と、前記追跡対象の３次元動作モデルデータが記憶された３次元動作モデル記憶手段とを備える姿勢推定装置における姿勢推定方法であって、前記３次元動作モデルデータを参照して、前記追跡対象について、初期の位置候補を複数設定する位置候補初期設定ステップと、前記画像入力手段によって入力した前記画像から、前記追跡対象の位置候補における特徴量を算出し、該特徴量を前記テンプレート記憶手段に記憶された前記テンプレートデータと比較した結果得られる類似度の重みに基づき、前記追跡対象の位置を推定し、前記追跡対象の位置の推定情報を出力する位置推定ステップと、前記類似度の重みと、前記３次元動作モデルデータに基づき、前記追跡対象の前記位置候補を改めて設定する位置候補設定ステップと、前記位置推定ステップによる前記追跡対象の位置の推定と、前記位置候補設定ステップによる前記追跡対象の前記位置候補の設定とを複数回数繰り返すことにより、前記追跡対象の位置を追跡する追跡処理ステップと、前記追跡対象の位置の推定情報と、前記３次元動作モデルデータを参照して、前記姿勢推定対象の３次元姿勢を推定する姿勢推定ステップとを有することを特徴とする。
【００１１】
本発明は、前記姿勢推定方法をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、追跡対象（関節位置）を安定して推定できることに加え、追跡対象の位置推定と同時に姿勢推定対象の３次元姿勢を推定することが可能となるため、３次元の姿勢推定の精度の向上を実現することができるという効果が得られる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示す２次元関節追跡部１０３の動作を示すフローチャートである。
【図３】本発明の一実施形態の変形例の構成を示すブロック図である。
【図４】図３に示す２次元関節追跡部１０９の動作を示すフローチャートである。
【図５】物体追跡手法の一般的な概念を示す説明図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照して、本発明の一実施形態による姿勢推定装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１０１は、姿勢を解析する対象となる映像データが記憶された解析映像記憶部である。映像データの一例として、未校正の１台または複数台のカメラによって撮像された映像データから構成される。符号１０２は、解析映像記憶部１０１に記憶された映像データを入力する画像入力部であり、入力した映像データを推定処理を行う形式へ変換する。この変換は例えば、色相変換やフレーム補間等である。符号１０３は、画像入力部１０２により入力した映像データから画像特徴量などを用いて人体の関節位置の座標を抽出し、解析対象の全フレームに対して追跡処理を行う２次元関節追跡部である。符号１０４は、２次元関節追跡部１０３によって追跡した人体の２次元関節位置座標から、３次元の姿勢を推定する３次元姿勢推定部である。
【００１５】
符号１０５は、追跡対象とする領域の特徴や位置等の情報をテンプレートとして記憶するテンプレート記憶部である。テンプレートの形式は、２次元関節追跡部１０３ので利用する手法に依存する。２次元関節追跡部１０３は、画像入力部１０２により入力した映像データの各フレームの画像情報と、テンプレート記憶部１０５に記憶されたテンプレートから追跡処理を行う。符号１０６は、３次元姿勢推定部１０４で推定された３次元の姿勢情報を保持する姿勢情報記憶部である。符号１０７は、３次元姿勢推定部１０４において、３次元の姿勢を推定する際に用いる事前３次元動作モデル情報を記憶する事前３次元動作モデル記憶部である。動作モデルは、例えば、非特許文献２のように、３次元動作を低次元特徴で表現したものが適用可能である。符号１０８は、２次元間接追跡部１０３が推定した追跡対象の推定状態情報を記憶する推定情報記憶部である。３次元姿勢推定部１０４は、推定情報記憶部１０８の２次元の関節位置情報と事前３次元動作モデル記憶部１０７の動作モデル情報を参照して３次元姿勢を推定する。３次元姿勢推定部１０４における３次元姿勢の推定処理は公知の方法を用いて行う。
【００１６】
ここで、図５を参照して、パーティクルフィルタを用いて２次元関節位置を追跡する処理動作を説明する。パーティクルフィルタを用いる場合、図５に示すように、追跡対象の位置候補を仮説として多数（Ｎ個）生成する。まず、仮説の位置を初期化する（ＳＴＥＰ０）。そして、各時刻において、仮説位置の特徴量を追跡対象のテンプレート特徴量と比較して、その類似度を重みとして算出する（ＳＴＥＰ１）。次に、Ｎ個の仮説の中からもっともらしいものを選択し、その時刻の推定位置（状態）とする（ＳＴＥＰ２）。続いて、次の時刻の準備として重みの大きい仮説を複製し、小さい仮説を消滅させる（ＳＴＥＰ３）。そして、追跡対象の状態遷移モデルに従って、仮説を移動させて（ＳＴＥＰ４）、ＳＴＥＰ１に戻り、処理を繰り返す。状態遷移モデルは、対象物の運動モデルに基づいて定義することが望ましいが、運動モデルの定式化が難しい場合は、等速直線運動やランダムウォークを想定する。
【００１７】
次に、図２を参照して、図１に示す２次元関節追跡部１０３の動作を説明する。図２は、図１に示す２次元関節追跡部１０３の動作を示すフローチャートである。まず、２次元関節追跡部１０３は、時刻ｔを０とし（ステップＳ１）、解析映像記憶部１０１に蓄積される解析対象の映像データより時刻ｔが０であるフレームを取り出し、追跡対象とする関節の初期位置［ｘ０，ｙ０］を指定する（ステップＳ２）。この指定には、例えば、手動指定や肌色検出、エッジ検出等の画像処理を用いることが可能である。
【００１８】
次に、２次元関節追跡部１０３は、ステップＳ２において指定した関節位置の特徴量Ｉｔｅｍｐを算出し、これをテンプレートとしてテンプレート記憶部１０５に保持する（ステップＳ３）。この特徴量は、例えば、色ヒストグラムやＨＯＧ特徴量等、任意のものを用いることが可能である。続いて、２次元関節追跡部１０３は、追跡対象の位置を状態Φ（ｔ）＝［ｘ（ｔ），ｙ（ｔ）］とし、Ｎ個の仮説を生成して、ステップＳ２において指定した初期位置［ｘ０，ｙ０］を中心として分布するように初期化する（ステップＳ５）。このとき、分布には例えば平均［ｘ０，ｙ０］の正規分布等を用いることが可能である。
【００１９】
次に、２次元関節追跡部１０３は、時刻ｔが解析フレーム数Ｔ以下であるか否かを判定し（ステップＳ６）、時刻ｔが解析フレーム数Ｔ以下でなければ処理を終了する。一方、時刻ｔが解析フレーム数Ｔ以下であれば、解析映像記憶部１０１に蓄積されている解析対象の映像データよりｔ＝Ｔとなるフレーム映像を取り出す（ステップＳ７）。そして、２次元関節追跡部１０３は、取り出したフレーム映像に対して、仮説Φｉ（ｔ），ｉ＝１，２，．．，Ｎの場合の特徴量Ｉｉ（ｔ）を算出する（ステップＳ１０）。
【００２０】
次に、２次元関節追跡部１０３は、得られたＩｉ（ｔ）とテンプレート特徴量Ｉｔｅｍｐを比較してその類似度の重みｗｉ（ｔ）を算出する（ステップＳ１１）。重みは、例えば、Ｉｉ（ｔ）とＩｔｅｍｐの距離を用いることが可能である。続いて、２次元関節追跡部１０３は、算出した重みｗｉ（ｔ）より、時刻ｔにおける状態Φ＊（ｔ）を推定する（ステップＳ１２）。この推定は、もっとも大きな重みをもつ仮説を選んだり、重みつき平均をとる等の方法によって行うことが可能である。そして、推定した状態情報を推定情報記憶部１０８のへ保存する。
【００２１】
次に、２次元関節追跡部１０３は、重みｗｉ（ｔ）の大きさに応じて重みの大きい仮説は複製し、小さい仮説は削除することで、推定した状態付近に仮説が集まるようにリサンプリングを行う（ステップＳ１３）。続いて、２次元関節追跡部１０３は、次の時刻の準備として、追跡対象の状態遷移モデルに基づいて、仮説のサンプリングを行う（ステップＳ１４）。このサンプリングは例えば、等速直線やランダムウォークのモデルによって行う。そして、２次元関節追跡部１０３は、時刻ｔに１加算して（ステップＳ１５）、ステップＳ６に戻って、処理を繰り返す。
【００２２】
次に、図３を参照して、図１に示す姿勢推定装置の変形例を説明する。図３は、図１に示す姿勢推定装置の変形例の構成を示すブロック図である。この図において、図１に示す姿勢推定装置と同一の部分には同一の符号を付し、その説明を省略する。図３に示す姿勢推定装置が図１に示す姿勢推定装置と異なる点は、２次元関節追跡部１０３に代えて、２次元関節追跡部１０９を設けた点である。２次元関節追跡部１０９は、画像入力部１０２により入力した映像データと、テンプレート記憶部１０５に記憶されたテンプレート情報と、事前３次元動作モデル記憶部１０７に記憶された動作モデル情報とを参照して追跡処理を行う。
【００２３】
次に、図４を参照して、図３に示す２次元関節追跡部１０９の動作を説明する。図４は、図３に示す２次元関節追跡部１０９の動作を示すフローチャートである。図４において、図２に示す動作と同一の部分には同一の符号を付し、その説明を省略する。図４に示す動作が図２に示す動作と異なる点は、ステップＳ４、Ｓ５１、Ｓ８、Ｓ９、Ｓ１２１、Ｓ１４１を設けた点である。
【００２４】
まず、２次元関節追跡部１０９は、時刻ｔを０とする（ステップＳ１）。解析映像記憶部１０１に蓄積される解析対象の映像データより時刻ｔが０であるフレームを取り出し、追跡対象とする関節の初期位置［ｘ０，ｙ０］を指定する（ステップＳ２）。
【００２５】
次に、２次元関節追跡部１０９は、ステップＳ２において指定した関節位置の特徴量Ｉｔｅｍｐを算出し、これをテンプレートとしてテンプレート記憶部１０５に保持する（ステップＳ３）。続いて、２次元関節追跡部１０９は、解析対象となる映像の初期視点Ｖ０を指定する。この初期視点Ｖ０は、３次元姿勢を２次元に投影処理する際に用いる。
【００２６】
次に、２次元関節追跡部１０９は、追跡対象の３次元姿勢Ｙ（ｔ）と２次元映像への投影視点Ｖ（ｔ）を状態Φ（ｔ）＝［Ｙ（ｔ），Ｖ（ｔ）］とし、Ｎ個の仮説を生成して、Ｖ（ｔ）は先に指定した初期視点Ｖ０を中心として分布するように、Ｙ（ｔ）は事前３次元動作モデル記憶部１０７に記憶されている動作情報を中心として分布するように初期化する（ステップＳ５１）。
【００２７】
次に、２次元関節追跡部１０９は、時刻ｔが解析フレーム数Ｔ以下であるか否かを判定し（ステップＳ６）、時刻ｔが解析フレーム数Ｔ以下でなければ処理を終了する。一方、時刻ｔが解析フレーム数Ｔ以下であれば、解析映像記憶部１０１に蓄積されている解析対象の映像データよりｔ＝Ｔとなるフレーム映像を取り出す（ステップＳ７）。そして、時刻ｔのフレーム映像より、人体の重心位置を算出する（ステップＳ８）。これは、例えば、腰の位置で表現でき、人体領域のシルエットの面積の重心を用いたりすることで可能である。続いて、２次元関節追跡部１０９は、ステップＳ８で用いたフレーム映像に対して、仮説Φｉ（ｔ），ｉ＝１，２，．．，Ｎの２次元関節位置［ｘｉ（ｔ），ｙｉ（ｔ）］を３次元姿勢Ｙｉ（ｔ）と投影視点Ｖｉ（ｔ）より算出する（ステップＳ９）。
【００２８】
次に、２次元関節追跡部１０９は、取り出したフレーム映像に対して、仮説Φｉ（ｔ），ｉ＝１，２，．．，Ｎの場合の特徴量Ｉｉ（ｔ）を算出し（ステップＳ１０）、得られたＩｉ（ｔ）とテンプレート特徴量Ｉｔｅｍｐを比較してその類似度の重みｗｉ（ｔ）を算出する（ステップＳ１１）。そして、２次元関節追跡部１０９は、算出した重みｗｉ（ｔ）より、時刻ｔにおける状態Φ＊（ｔ）＝［Ｙ＊（ｔ），Ｖ＊（ｔ）］と２次元関節位置［ｘ＊（ｔ），ｙ＊（ｔ）］を推定する（ステップＳ１２１）。ここで、推定した状態情報と２次元関節位置情報を推定情報記憶部１０８へ保存する。
【００２９】
次に、２次元関節追跡部１０９は、重みｗｉ（ｔ）の大きさに応じて重みの大きい仮説は複製し、小さい仮説は削除することで、推定した状態付近に仮説が集まるようにリサンプリングを行う（ステップＳ１３）。続いて、２次元関節追跡部１０９は、次の時刻の準備として、追跡対象の状態遷移モデルに基づいて、仮説のサンプリングを行う（ステップＳ１４１）。ここで、状態遷移モデルは事前３次元動作モデル記憶部１０７に保持されている動作情報より定義する。３次元姿勢Ｙｉの状態遷移は、例えば、非特許文献２の動作モデルを用いた場合、（１）式、（２）式で与えられる。
【数１】
このとき、
【数２】
である。
【００３０】
ここで、Ｘ（ｎ）は３次元姿勢Ｙ（ｎ）の低次元表現である。また、ｋＸ（Ｘ＊），ｋＹ（Ｘ＊）はｉ番目の要素にｋＸ（Ｘ＊，Ｘｉ），ｋＹ（Ｘ＊，Ｘｉ）をもつベクトルであり、例えば（５）式、（６）式のように適当な関数で定義する。
【数３】
このとき、α，βは学習により求めるパラメータである。
【００３１】
また、投影視点Ｖｉの状態遷移は、例えば、事前学習済みの動作情報より腰位置の並進と回転の変化量を用いて定義する。より具体的には、投影視点をＶ＝［θ，φ］と表現した場合、その視点変化ｄθ（ｎ），ｄφ（ｎ）は、同じ時刻の３次元動作データＹと最も近い動作データを事前３次元動作モデル記憶部１０７から選び、その並進ｔ（ｎ−１）と回転ｒ（ｎ−１）からそれぞれ視点の変化量ｄθｔ（ｎ）＝ｔ（ｎ）−ｔ（ｎ−１），ｄθｒ（ｎ）＝ｒ（ｎ）−ｒ（ｎ−１）を求める。全体としての視点変化はｄθ（ｎ）＝ｄθｔ（ｎ）−ｄθｒ（ｎ）で定義する。φに関しても同様に求められる。
【００３２】
次に、２次元関節追跡部１０９は、時刻ｔに１加算して（ステップＳ１５）、ステップＳ６に戻って、処理を繰り返す。
【００３３】
以上説明したように、２次元の関節位置を推定する際に、２次元関節位置の追跡を観測される画像情報だけでなく、事前に学習済みの３次元動作情報を利用して行うようにして、従来は２次元関節位置の追跡結果から推定を行っていた３次元動作を２次元関節位置の追跡と同時に行うことが可能となるため、３次元の姿勢推定の精度の向上を実現することができる。
【００３４】
なお、図１、図３における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより姿勢推定処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００３５】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００３６】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の精神及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
【産業上の利用可能性】
【００３７】
カメラで撮影された画像データから人物の姿勢推定を行うことが不可欠な用途に適用できる。
【符号の説明】
【００３８】
１０１・・・解析映像記憶部、１０２・・・画像入力部、１０３・・・２次元関節追跡部、１０４・・・３次元姿勢推定部、１０５・・・テンプレート記憶部、１０６・・・姿勢情報記憶部、１０７・・・事前３次元動作モデル記憶部、１０８・・・推定情報記憶部
【特許請求の範囲】
【請求項１】
姿勢推定対象が撮影された画像を入力する画像入力手段と、
前記姿勢推定対象が持つ追跡対象の特徴量がテンプレートデータとして記憶されたテンプレート記憶手段と、
前記追跡対象の３次元動作モデルデータが記憶された３次元動作モデル記憶手段と、
前記３次元動作モデルデータを参照して、前記追跡対象について、初期の位置候補を複数設定する位置候補初期設定手段と、
前記画像入力手段によって入力した前記画像から、前記追跡対象の位置候補における特徴量を算出し、該特徴量を前記テンプレート記憶手段に記憶された前記テンプレートデータと比較した結果得られる類似度の重みに基づき、前記追跡対象の位置を推定し、前記追跡対象の位置の推定情報を出力する位置推定手段と、
前記類似度の重みと、前記３次元動作モデルデータに基づき、前記追跡対象の前記位置候補を改めて設定する位置候補設定手段と、
前記位置推定手段による前記追跡対象の位置の推定と、前記位置候補設定手段による前記追跡対象の前記位置候補の設定とを複数回数繰り返すことにより、前記追跡対象の位置を追跡する追跡処理手段と、
前記追跡対象の位置の推定情報と、前記３次元動作モデルデータを参照して、前記姿勢推定対象の３次元姿勢を推定する姿勢推定手段と
を備えたことを特徴とする姿勢推定装置。
【請求項２】
前記姿勢推定対象が人体であり、前記追跡対象が関節であることを特徴とする請求項１に記載の姿勢推定装置。
【請求項３】
姿勢推定対象が撮影された画像を入力する画像入力手段と、前記姿勢推定対象が持つ追跡対象の特徴量がテンプレートデータとして記憶されたテンプレート記憶手段と、前記追跡対象の３次元動作モデルデータが記憶された３次元動作モデル記憶手段とを備える姿勢推定装置における姿勢推定方法であって、
前記３次元動作モデルデータを参照して、前記追跡対象について、初期の位置候補を複数設定する位置候補初期設定ステップと、
前記画像入力手段によって入力した前記画像から、前記追跡対象の位置候補における特徴量を算出し、該特徴量を前記テンプレート記憶手段に記憶された前記テンプレートデータと比較した結果得られる類似度の重みに基づき、前記追跡対象の位置を推定し、前記追跡対象の位置の推定情報を出力する位置推定ステップと、
前記類似度の重みと、前記３次元動作モデルデータに基づき、前記追跡対象の前記位置候補を改めて設定する位置候補設定ステップと、
前記位置推定ステップによる前記追跡対象の位置の推定と、前記位置候補設定ステップによる前記追跡対象の前記位置候補の設定とを複数回数繰り返すことにより、前記追跡対象の位置を追跡する追跡処理ステップと、
前記追跡対象の位置の推定情報と、前記３次元動作モデルデータを参照して、前記姿勢推定対象の３次元姿勢を推定する姿勢推定ステップと
を有することを特徴とする姿勢推定方法。
【請求項４】
請求項３に記載の姿勢推定方法をコンピュータに実行させるためのことを特徴とする姿勢推定プログラム。
【請求項１】
姿勢推定対象が撮影された画像を入力する画像入力手段と、
前記姿勢推定対象が持つ追跡対象の特徴量がテンプレートデータとして記憶されたテンプレート記憶手段と、
前記追跡対象の３次元動作モデルデータが記憶された３次元動作モデル記憶手段と、
前記３次元動作モデルデータを参照して、前記追跡対象について、初期の位置候補を複数設定する位置候補初期設定手段と、
前記画像入力手段によって入力した前記画像から、前記追跡対象の位置候補における特徴量を算出し、該特徴量を前記テンプレート記憶手段に記憶された前記テンプレートデータと比較した結果得られる類似度の重みに基づき、前記追跡対象の位置を推定し、前記追跡対象の位置の推定情報を出力する位置推定手段と、
前記類似度の重みと、前記３次元動作モデルデータに基づき、前記追跡対象の前記位置候補を改めて設定する位置候補設定手段と、
前記位置推定手段による前記追跡対象の位置の推定と、前記位置候補設定手段による前記追跡対象の前記位置候補の設定とを複数回数繰り返すことにより、前記追跡対象の位置を追跡する追跡処理手段と、
前記追跡対象の位置の推定情報と、前記３次元動作モデルデータを参照して、前記姿勢推定対象の３次元姿勢を推定する姿勢推定手段と
を備えたことを特徴とする姿勢推定装置。
【請求項２】
前記姿勢推定対象が人体であり、前記追跡対象が関節であることを特徴とする請求項１に記載の姿勢推定装置。
【請求項３】
姿勢推定対象が撮影された画像を入力する画像入力手段と、前記姿勢推定対象が持つ追跡対象の特徴量がテンプレートデータとして記憶されたテンプレート記憶手段と、前記追跡対象の３次元動作モデルデータが記憶された３次元動作モデル記憶手段とを備える姿勢推定装置における姿勢推定方法であって、
前記３次元動作モデルデータを参照して、前記追跡対象について、初期の位置候補を複数設定する位置候補初期設定ステップと、
前記画像入力手段によって入力した前記画像から、前記追跡対象の位置候補における特徴量を算出し、該特徴量を前記テンプレート記憶手段に記憶された前記テンプレートデータと比較した結果得られる類似度の重みに基づき、前記追跡対象の位置を推定し、前記追跡対象の位置の推定情報を出力する位置推定ステップと、
前記類似度の重みと、前記３次元動作モデルデータに基づき、前記追跡対象の前記位置候補を改めて設定する位置候補設定ステップと、
前記位置推定ステップによる前記追跡対象の位置の推定と、前記位置候補設定ステップによる前記追跡対象の前記位置候補の設定とを複数回数繰り返すことにより、前記追跡対象の位置を追跡する追跡処理ステップと、
前記追跡対象の位置の推定情報と、前記３次元動作モデルデータを参照して、前記姿勢推定対象の３次元姿勢を推定する姿勢推定ステップと
を有することを特徴とする姿勢推定方法。
【請求項４】
請求項３に記載の姿勢推定方法をコンピュータに実行させるためのことを特徴とする姿勢推定プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１３−９２８７６（Ｐ２０１３−９２８７６Ａ）
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願番号】特願２０１１−２３３９８６（Ｐ２０１１−２３３９８６）
【出願日】平成２３年１０月２５日（２０１１．１０．２５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願日】平成２３年１０月２５日（２０１１．１０．２５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]