モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム
【課題】 人物動きの速さや複雑な背景などによらず、実環境で利用可能なロバストなモーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラムを提供する。
【解決手段】 キネマティクスモデルの関節間の連結性拘束に応じた順番で、関節の予測位置を姿勢・位置予測部５にて予測し、姿勢・位置射影部６にて予測位置を２次元画像上に射影し、信頼性評価部７にて２次元画像上に射影された予測位置の信頼性を評価し、評価結果に基づいて姿勢・位置推定部８にて推定位置を推定する。そして、姿勢・位置推定部８にて推定された推定位置は、次に予測する階層の関節の予測位置演算に用いられる。
【解決手段】 キネマティクスモデルの関節間の連結性拘束に応じた順番で、関節の予測位置を姿勢・位置予測部５にて予測し、姿勢・位置射影部６にて予測位置を２次元画像上に射影し、信頼性評価部７にて２次元画像上に射影された予測位置の信頼性を評価し、評価結果に基づいて姿勢・位置推定部８にて推定位置を推定する。そして、姿勢・位置推定部８にて推定された推定位置は、次に予測する階層の関節の予測位置演算に用いられる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮像された画像に基づいて対象人物の姿勢又は動作を認識するモーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラムに関する。
【背景技術】
【０００２】
人と機器との自然なインタフェースを実現するには、人の手振り・身振りを含めて、操作者の様々な行動や音声などの情報を統合的に解析し、人の存在や意図などを検出し認識することが不可欠である。そのため、人の動きや行動パターンの解析に関する様々な技術が検討されてきた。動き解析技術としては、特殊なマーカー等を用いて動き情報を取得するものと、マーカー無しの画像解析によるものとに大別できる。
【０００３】
特殊なマーカー等を用いるシステムは、磁気式、機械式、光学式などがあるが、最近の動き追跡・キャプチャシステムとしては、特に光学式のモーションキャプチャシステムが良く利用されている。例えば、Vicon Peaks社のＭＸカメラシステム（商標）、Natural Point社のOptiTrack（商標）、Motion Analysis社のHawk Digital System（商標）等のモーションキャプチャ・解析システムがすでにＣＧ（Computer Graphics）、映画製作などの分野で利用されている。マーカー付き動き解析システムのメリットとしては、人物などの動き情報を正確に計測できるので、ＣＧや映画製作などの高精度な動き解析が必要とするところで良く利用される。
【０００４】
しかし、この方式は、大掛かりなシステム構成が必要であったり、マーカーの取り付けによる人体への負担があったりするため、自然なＨＭＩ（Human Machine Interface）と呼ぶことはできない。
【０００５】
そこで、本発明者らは、一般環境での自然なＨＭＩを実現するために、マーカー無しの画像解析による動き解析技術を用いている。マーカー無しの画像解析による動き解析手法は、いくつか検討されているが、代表的には、人物の３次元モデルとステレオ画像による動きと姿勢追跡手法（例えば、非特許文献１参照。）、多数カメラを用いる人物の３次元モデルに基づく人物動き追跡手法（例えば、非特許文献２参照。）、人物領域と運動モデルによる動き解析手法（例えば、非特許文献３参照。）等を挙げることができる。
【０００６】
【非特許文献１】D. Demirdjian, T. Ko, T. Darrell, Constraining Human Body Tracking, Proceedings of the International Conference on Computer Vision, 2003.
【非特許文献２】K.M. Cheung, S. Baker, J.K. Hodgins, and T. Kanade, Markerless Human Motion Transfer, Proceedings of the 2nd International Symposium on 3D Data Processing, Visualization and Transmission, September, 2004.
【非特許文献３】Ramanan, D., Forsyth, DA, Zisserman, A. "Strike a Pose: Tracking People by Finding Stylized Poses." Computer Vision and Pattern Recognition (CVPR), San Diego, CA, June 2005.
【非特許文献４】D. Demirdjian, T. Darrell, 3-D Articulated Pose Tracking for Untethered Diectic Reference, Proceedings of the International Conference on Multimodal Interfaces, 2002.
【発明の開示】
【発明が解決しようとする課題】
【０００７】
非特許文献１に記載された手法は、システム構成が簡単で、限定された環境においてリアルタイムで人物の動き・姿勢推定が可能であるが、距離画像の精度に依存することや、前後フレーム間の動き量が小さいことといった条件が必要であった。
【０００８】
また、非特許文献２に記載された手法は、３次元モデルの推定がうまくできれば、人物動きの位置・姿勢の推定精度が高いと思われるが、システム構成が大掛かりで、３次元モデルを精度良く構築するために、人物以外の背景を除去する必要があった。
【０００９】
また、非特許文献３に記載された手法は、アルゴリズムがシンプルで、一般背景での利用も可能であるが、人物の動き・姿勢を精度よく推定するために、人物の各肢体領域を正確に検出する必要があった。
【００１０】
また、これらの技術を用いる場合、人間の身体のモデルを如何に当てはめるかという事が大きな問題となっていた。例えば非特許文献４には、視差画像のDepth情報を用いて対象人物を前景として抽出し、そこに３Ｄのシリンダモデルを当てはめることが記載されているが、頭や腕の位置を同定することは困難であった。
【００１１】
このように、これら従来の手法では、一般環境において人物の自然な動き・姿勢を推定/追跡することが困難であり、自然なＨＭＩを実現することができなかった。
【００１２】
本発明は、このような従来の実情に鑑みて提案されたものであり、人物動きの速さや複雑な背景などによらず、実環境で利用可能なロバストなモーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明に係るモーションキャプチャ装置は、対象人物の各関節及び肢体の３次元位置と姿勢を追跡するモーションキャプチャ装置において、上記対象人物の観測画像から各関節が連結されたキネマティクスモデルを生成する生成手段と、上記キネマティクスモデルの関節間の連結拘束及び前時刻の予測位置に基づいて上記対象人物の各関節の現時刻の予測位置を階層的に算出し、現時刻の各関節及び肢体の３次元位置と姿勢を予測する予測手段と、上記予測手段で予測された現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を２次元画像上に射影する射影手段と、上記射影手段で射影された射影位置の信頼性を上記対象人物の観測画像に基づいて評価する評価手段と、上記信頼性の評価結果に基づいて上記現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を推定する推定手段とを備えることにより、上述の課題を解決する。
【００１４】
また、本発明に係るモーションキャプチャ方法は、対象人物の各関節及び肢体の３次元位置と姿勢を追跡するモーションキャプチャ方法において、上記対象人物の観測画像から各関節が連結されたキネマティクスモデルを生成する生成工程と、上記キネマティクスモデルの関節間の連結拘束及び前時刻の予測位置に基づいて上記対象人物の各関節の現時刻の予測位置を階層的に算出し、現時刻の各関節及び肢体の３次元位置と姿勢を予測する予測工程と、上記予測工程で予測された現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を２次元画像上に射影する射影工程と、上記射影工程で射影された射影位置の信頼性を上記対象人物の観測画像に基づいて評価する評価工程と、上記信頼性の評価結果に基づいて上記現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を推定する推定工程とを有することにより、上述の課題を解決する。
【００１５】
また、本発明に係るモーションキャプチャプログラムは、対象人物の各関節及び肢体の３次元位置と姿勢を追跡する処理を実行させるモーションキャプチャプログラムにおいて、上記対象人物の観測画像から各関節が連結されたキネマティクスモデルを生成する生成工程と、上記キネマティクスモデルの関節間の連結拘束及び前時刻の予測位置に基づいて上記対象人物の各関節の現時刻の予測位置を階層的に算出し、現時刻の各関節及び肢体の３次元位置と姿勢を予測する予測工程と、上記予測工程で予測された現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を２次元画像上に射影する射影工程と、上記射影工程で射影された射影位置の信頼性を上記対象人物の観測画像に基づいて評価する評価工程と、上記信頼性の評価結果に基づいて上記現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を推定する推定工程とを有することにより、上述の課題を解決する。
【発明の効果】
【００１６】
本発明によれば、対象人物の観測画像から各関節が連結されたキネマティクスモデルを生成し、キネマティクスモデルの各関節の連結拘束及び前時刻の予測位置に基づいて対象人物の各関節の現時刻の予測位置を階層的に算出し、現時刻の各関節及び肢体の３次元位置と姿勢を予測し、予測された現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を２次元画像上に射影し、射影位置の信頼性を対象人物の観測画像に基づいて評価し、その評価結果に基づいて現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を推定することにより、特殊なマーカー・センサーが不要で、且つ自然なヒューマンマシンインタラクションを実現することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００１８】
図１は、本発明の一実施の形態におけるモーションキャプチャ装置の構成を示すブロック図である。このモーションキャプチャ装置は、所定の位置に配置されたカメラ１Ｌ、１Ｒと、カメラキャリブレーションによりカメラパラメータを取得するカメラパラメータ取得部２と、カメラ１Ｌ、１Ｒで撮像された画像・距離情報を観測する画像・距離情報観測部３と、各関節を連結したキネマティクスモデルを生成するとともに画像情報を保存する初期化部４と、現時刻における対象人物の姿勢・位置を予測する姿勢・位置予測部５と、予測された姿勢・位置を２次元画像上に射影する姿勢・位置射影部６と、射影された２次元画像を評価する信頼性評価部７と、評価値に基づいて現時刻における対象人物の姿勢・位置を推定する姿勢・位置推定部８とを備えて構成されている。
【００１９】
カメラ１Ｌ、１Ｒは、同一の対象人物を撮影できるように所定の位置に配置されている。なお、本実施の形態では、２台のカメラの視差から対象物の距離を算出する「ステレオビジョン」を用いることとして説明するが、レーザを照射してその反射光を検出するまでの時間を測定することによって距離を算出する「レーザレンジファインダ」等を利用することとしてもよい。
【００２０】
カメラパラメータ取得部２は、カメラキャリブレーションにより、実世界座標とカメラ画像座標とを関係付けるカメラパラメータを取得する。このカメラパラメータは、画像・距離情報観測部３及び姿勢・位置射影部６に出力される。
【００２１】
画像・距離情報観測部３は、カメラ１Ｌ、１Ｒで撮像された画像を初期化部４及び信頼性評価部７に出力する。また、カメラパラメータ取得部２で取得されたカメラパラメータに基づいて距離情報を生成し、距離情報を初期化部４及び信頼性評価部７に出力する。
【００２２】
初期化部４は、キネマティクスモデルを生成するために対象人物の各関節点Ｓｋの３次元座標（x,y,z）を求めるとともに、予測された姿勢・位置を評価するために関節点、関節点間の肢体（Limbs）、及び顔等の特徴点の画像情報（初期画像モデル）を保存する。このキネマティクスモデルは、各関節が連結された関節モデルである。なお、本実施例では、１５の関節点{Sk:k=0,1,・・・,14}で表現したキネマティクスモデルを用いることとして説明する。また、画像情報としては、例えば、表面の質感を表現するテクスチャ、色情報、視差情報、輪郭等の信頼度評価値等を用いることができる。
【００２３】
姿勢・位置予測部５は、前時刻の各関節及び肢体の予測位置とキネマティックモデルの間接間の連結性拘束とを用いて、現時刻の各関節及び肢体の位置を確率モデルによって階層的に予測し、体の構え（姿勢）を予測する。具体的には、後述するように、関節モデルの前階層の関節の推定位置に確率分布を持たせ、次の階層の関節の予測位置を演算する。
【００２４】
姿勢・位置射影部６は、姿勢・位置予測部５によって予測された現時刻における対象人物の３次元空間の各関節及び肢体の予測位置及び姿勢を、カメラキャリブレーションで得られた射影行列Ｐによって２次元画像上に射影し、３次元座標（x,y,z）に対応する２次元画像上の射影位置（u,v）を求める。
【００２５】
信頼性評価部７は、姿勢・位置射影部６によって得られた２次元画像（観測画像）上の射影位置（u，v）の画像情報（例えば、距離情報・色情報・テクスチャ情報など）と、予め保存された画像情報（初期画像モデル）との相似性を計算することにより、射影位置の正しさを評価する。
【００２６】
姿勢・位置推定部８は、信頼性評価部７で評価された２次元画像上の射影位置の評価値によって、現時刻における対象人物の３次元空間上の位置及び姿勢を推定する。この現時刻における対象人物の３次元空間上の位置及び姿勢の推定情報は、姿勢・位置予測部５に前時刻の対象人物の各関節及び肢体の位置として出力される。
【００２７】
ここで、上述したモーションキャプチャ処理の概要を、図２に示す模式図を用いて説明する。
【００２８】
まず、予め少なくとも２台以上のカメラ１Ｌ、１Ｒを、同一の対象人物が撮影できるように配置し、それらの位置関係やカメラパラメータ等をカメラキャリブレーションによって取得する。このカメラパラメータ等は、カメラパラメータ取得部２から画像・距離情報観測部３及び姿勢・位置射影部６に出力される。
【００２９】
初期化部４では、例えば、図２（Ａ）のような画像・距離情報観測部３から出力された対象人物の観測画像から視差画像（u,v,depth）を予測し、その視差画像（u,v,depth）を３次元空間上に逆射影することによって、対象人物の３次元形状及び各関節の３次元位置・座標モデル（x,y,z）を算出し、キネマティックスモデルを生成する。また、観測画像に基づいて各関節の画像情報（初期画像モデル）を保存する。
【００３０】
次に、姿勢・位置予測部５において、例えば、図２（Ｂ）のような前時刻（t-1）の各関節位置・姿勢Ｐｔ−１の推定結果に基づいて図２（Ｃ）のような現時刻の各関節の位置・姿勢Ｐｔを、キネマティクスモデルの関節間の連結性拘束を用い、確率モデルによって階層的に予測する。
【００３１】
姿勢・位置射影部６は、予測された現時刻の対象人物の各関節位置・姿勢Ｐｔを、カメラキャリブレーションで得られた射影行列Ｐによって、例えば、図２（Ｄ）のように２次元画像上に射影し、３次元座標（x,y,z）に対応する２次元画像上の射影位置及び視差（u,v,depth）を求める。
【００３２】
そして、信頼性評価部７において、２次元画像（観測画像）上に射影された射影位置の視差（u,v,depth）、色情報、テクスチャ情報等の画像情報と、予め保存された画像情報（初期画像モデル）との相似性を計算し、２次元画像上に射影された対象人物の各関節の射影位置・姿勢の正しさを評価する。
【００３３】
姿勢・位置推定部８は、信頼性評価部７で算出された評価値に基づいて、最終的に、図２（Ｅ）のように現時刻における対象人物の３次元空間上の予測位置・姿勢Ｐｔを求める。
【００３４】
このように対象人物の位置・姿勢・動き追跡を行うことにより、対象人物に負担を掛けることのない、自然なＨＭＩ（Human Machine Interface）を実現することができる。
【００３５】
続いて、上述したモーションキャプチャ装置における各処理について詳細に説明する。まず、対象人物のキネマティクスモデルの生成について説明する。図３に示すように、予めキャリブレーションされた左右カメラカメラ１Ｌ、１Ｒによって３次元空間の対象人物３０の画像を観測し、これらの観測画像(u,v,depth)３１Ｌ、３１Ｒを用いて視差画像３２を推定する。そして、視差画像(u,v,depth)３２をカメラキャリブレーションで求められた射影行列によって、３次元空間に射影し、その３次元空間における人物の各関節の座標位置(x,y,z)を求めることにより、対象人物のキネマティクスモデル３３を生成することができる。
【００３６】
図４は、キネマティクスモデルを初期化するための初期化部４の構成を示すブロック図である。初期化部４は、距離画像を生成する距離計測部４１と、入力画像から顔領域の位置及び距離を検出する顔検出部４２と、距離画像及び顔の距離に基づいて対象人物を前景とするマスク画像を生成するマスク生成部４３と、顔領域の色ヒストグラムを算出する色分布算出部４４と、顔領域の位置及び距離に基づいて手のあるべき位置を示すウィンドウ位置を算出する手検出ウィンドウ生成部４５と、顔領域の色相、彩度、及び色相、彩度それぞれの分散値と、手検出ウィンドウの位置と、マスク画像とに基づいて手を検出する手検出部４６と、顔の位置及び距離と、手の位置及び距離に基づいて各関節位置を算出する関節位置算出部４７とを備えて構成されている。
【００３７】
続いて、初期化部４における初期化処理を図５に示すフローチャート及び図６に示す模式図を参照して説明する。
【００３８】
ステップＳ１において、距離計測部４１は、画像・距離情報観測部３から出力された画像・距離情報に基づいて距離画像を生成する。ここで、距離画像を生成すると同時にその距離の信頼度を示す画像を生成することが好ましい。これにより、後述するマスク画像生成の精度向上を図ることができる。なお、信頼度は、例えばステレオ法で距離を算出し、正規化相関を用いたマッチングを行った場合、そのマッチングコストを指数化したものを用いることができる。
【００３９】
ステップＳ２において、顔検出部４２は、図６（Ａ）に示すように、対象人物の入力画像から顔Ｆを検出し、顔を検出したと判断した場合は、ステップＳに進み、顔を検出していないと判断した場合は、ステップＳ１に戻る。
【００４０】
顔認識技術としては、例えば、特再ＷＯ２００３／０１９４７５（「ロボット装置、顔認識方法及び顔認識装置」ソニー（株））に記載されているように、ガボア・フィルタで顔特徴量を抽出し、サポート・ベクタ・マシンで顔識別を行う手法を用いることができる。
【００４１】
ステップＳ３において、色分布算出部４４は、図６（Ｂ）に示すように、顔検出部４２で検出された顔領域の色のヒストグラムを算出する。ここで、ヒストグラムは、ＨＳＩ表色系のＨ（Hue，色相）及びＳ（Saturation，彩度）に関して、その度数が最も大きいＨ及びＳを求め、それぞれに適当な分散値を持たせたものを出力する。
【００４２】
ステップＳ４において、顔検出部４２は、図６（Ｃ）に示すように、検出した顔Ｆ、及び距離計測部４１で計測された距離画像に基づいて、顔の距離を算出する。ここで、ノイズの影響を除去するために、平均値ではなく、顔領域内の中央の距離の値である中央値（Median）を用いることが好ましい。
【００４３】
ステップＳ５において、手検出ウィンドウ生成部４５は、顔検出部４２で検出した顔領域の位置及び距離に基づいて、例えば、図６（Ｄ）に示すように、対象人物が両手を水平に伸ばした際の手のあるべき位置を示すウィンドウＷの位置を算出する。この手検出ウィンドウの生成方法は、まず、画像中の顔の位置及び距離をカメラパラメータ取得部２で取得したカメラパラメータ等に応じてワールド座標系へと変換する。そして、顔の位置から首と腕の長さを加算し、ウィンドウ位置を決定する。なお、個人差を考慮して、首の長さを２７０ｍｍ±１５０ｍｍ、腕の長さを９００ｍｍ±３５０ｍｍとして規定した。また、対象人物は、モーションキャプチャ装置にほぼ正対していると仮定し、手の距離を顔の距離とほぼ同じであるとした。このようにして求められた手検出ウィンドウのワールド座標値をカメラ座標系へと逆変換し、画像中の手検出ウィンドウの位置を算出する。
【００４４】
ステップＳ６において、マスク生成部４３は、距離計測部４１で生成された距離画像及び顔検出部４２で算出した顔の距離に基づいて、図６（Ｅ）に示す対象人物を前景とするマスク画像を生成する。ここで、距離計測部４１において、距離の信頼度を示す画像が生成されていた場合、マスク生成部４３は、距離の信頼度を用いて、顔の距離から一定の距離だけシフトした値を閾値として２値化した画像をマスク画像として生成する。これにより、マスク画像生成の精度を向上させることができる。さらに、画像にラベリングを施してヒストグラムを取り、度数の大きい領域のみ残すことによってノイズ除去を行うことができる。
【００４５】
ステップＳ７において、手検出部４６は、色分布算出部４４で算出された色相、彩度、及び色相、彩度それぞれの分散値と、手検出ウィンドウ生成部４５で生成したウィンドウ位置と、マスク生成部４３で生成したマスク画像とに基づいて手を検出する。具体的には、手検出ウィンドウ内において、マスク画像で前景となっている領域中から、顔と同じ色相及び彩度の範囲に入る領域を手として検出する。ここで、手の領域の中で、右手であれば右端に、左手であれば左端に円を当てはめ、その中心位置を手の座標として出力する。また、手領域内の中央の座標における距離の値を手の距離として出力する。
【００４６】
ステップＳ８において、手検出部４６は、両手が検出されたかを判断し、検出された場合は初期化成功とし、ステップＳ９へと進む。また、両手が検出されていないと判断した場合、ステップＳ１に戻る。
【００４７】
ステップＳ９において、関節位置算出部４７は、顔検出部４２で検出した顔の位置及び距離と、手検出部４６で検出した手の位置及び距離とに基づいて各関節位置の算出を行う。図６（Ｆ）は、各関節位置Ｓ１〜Ｓ８を示す画像である。ここでは、手が水平な状態で算出されているという前提なので、両手の位置とあらかじめ用意しておいた肩、上腕及び下腕の長さの比率を用いることにより、肩と肘の位置を決定する事ができる。さらに、マスク生成部４３で生成した距離の信頼度を示すマスク画像を用いることにより、ノイズを除去し、肘と肩の位置の精度向上を図ることができる。具体的には、まず、肘のＸ座標におけるマスク前景部分のＹ座標を求め、その中央値を肘のＹ座標として採用する。また、上腕部のＸ座標において何点かをサンプリングし、それぞれにおけるマスク前景部分のＹ座標の中央値をその点のＹ座標として採用し、それらの点を用いて上腕部の近似直線を求める。そして、肩のＸ座標におけるその近似直線上の点を、肩位置として採用する。これらの処理により、大幅に関節位置精度を向上させることができる。
【００４８】
このように３次元空間の各関節位置を求めることにより、キネマティクスモデルを高精度に初期化することができる。また、キネマティクスモデルの初期化の際、そのモデルの各関節点に対応する画像情報（テクスチャ、色、視差、信頼度評価値など）を保存し、初期画像モデルとする。この初期モデルは、後述する追跡処理において、観測画像と比較され、予測の正しさの評価、追跡結果の算出に用いられる。
【００４９】
次に、キネマティクスモデルの各関節位置の予測方法について説明する。図７（Ａ）は、本実施の形態における階層的予測方法の概念図を示す。この階層的予測法は、まず、最も観測しやすい人物の頭部（顔）の情報を用いて、首の関節Ｓ０及び頭部中心Ｓ１の位置を推定する。そして、関節Ｓ０の推定結果を元に、肩の関節Ｓ２、Ｓ３及び背中の関節Ｓ８の位置を推定する。その後、それぞれの関節Ｓ２、Ｓ３、Ｓ８の推定結果を用いて、両肘の関節Ｓ４、Ｓ５及び腰部関節Ｓ９、Ｓ１０の位置を推定する。さらに、両肘の関節Ｓ４、Ｓ５をベースに、両腕の関節Ｓ６、Ｓ７の位置を推定する。また。腰部関節Ｓ９、Ｓ１０をベースに両膝の関節Ｓ１１、Ｓ１２の位置を推定する。最後に、両膝の関節Ｓ１１、Ｓ１２に基づいて両足の関節Ｓ１３、Ｓ１４の位置を推定する。すなわち、この階層的予測法は、キネマティクスモデルの関節間の連結性拘束及び前時刻の関節位置に基づいて、現時刻の各関節位置を順次算出するものである。
【００５０】
図７（Ｂ）は、各関節点の予測方法を説明するための模式図である。現時刻(t)における各関節Ｓ１〜Ｓ１４の予測位置は、前時刻(t-1)の予測結果に基づいて求められる。また、現時刻(t)における各関節の予測位置は、正規分布で表現され、信頼性（確率）の評価が行われる。また、信頼性の評価値により、各関節の推定結果をある範囲内に変動させる。これにより、精度が悪い推定結果をそのまま利用した場合、それぞれ連接する関節への推定精度に大きな影響が生じることを防止する。
【００５１】
図８及び図９は、キネマティクスモデルの各関節位置の予測のための構成を示すブロック図である。ここで、関節Ｓ０〜Ｓ８の位置・姿勢予測部５１〜５８は、姿勢・位置予測部５に対応するものであり、関節Ｓ０〜Ｓ８の位置・姿勢推定部８１〜８８は、姿勢・位置推定部８に対応するものである。すなわち、図１において、キネマティクスモデルの関節間の連結性拘束に応じた順番で、関節の予測位置を姿勢・位置予測部５にて予測し、姿勢・位置射影部６にて予測位置を２次元画像上に射影し、信頼性評価部７にて２次元画像上に射影された予測位置の信頼性を評価し、評価結果に基づいて姿勢・位置推定部８にて推定位置を推定する。そして、姿勢・位置推定部８にて推定された推定位置は、次に予測する階層の関節の予測位置演算に用いられる。
【００５２】
現時刻ｔにおける各関節の予測値（位置・姿勢）は、前時刻（t-1）における各関節Ｓｍ（m=0,・・・,14）の各仮説｛k=1,2,・・・,K｝に基づく姿勢の予測関数ωｍ(t,k)及び位置の予測関数ξｍ(t,k)を用いて計算される（m=0,・・・,14）。ωｍ(t,k)及びξｍ(t,k)は、それぞれ時刻ｔの第ｍ番目の関節に関して下記のように計算される。
【００５３】
【数１】
【００５４】
ここで、φは、平均値μ、標準分散σの正規乱数を得るための関数であり、νは、時刻（t-1）での各関節点の動き速度を示し、κは、寄与度を調整する定数を示す。
【００５５】
図８に示す上半身の各関節の予測のための構成は、首の関節Ｓ０と頭部中心Ｓ１の位置・姿勢を予測するＳ０とＳ１の位置・姿勢予測部５１と、Ｓ０とＳ１の位置・姿勢推定部８１と、首の関節Ｓ０の推定結果に基づいて肩の関節Ｓ２、Ｓ３の位置・姿勢を予測するＳ２とＳ３の位置・姿勢予測部５２と、Ｓ２とＳ３の位置・姿勢推定部８２と、肩の関節Ｓ２、Ｓ３の推定結果に基づいて両肘の関節Ｓ４、Ｓ５を位置・姿勢を予測するＳ４とＳ５の位置・姿勢予測部５３と、Ｓ４とＳ５の位置・姿勢推定部８３と、両肘の関節Ｓ４、Ｓ５に基づいて両腕の関節Ｓ６、Ｓ７の位置・姿勢を予測する位置・姿勢予測部５４と、Ｓ６とＳ７の位置・姿勢推定部８４とを備えている。
【００５６】
Ｓ０とＳ１の位置・姿勢予測部５１は、前時刻（t-１）の首の関節位置Ｓ０(t-1,k)及び頭部中心位置Ｓ１(t-1,k)を入力し、現時刻(t)の首の関節位置Ｓ０(t,k)及び頭部中心位置Ｓ１(t,k)の予測値を算出する。
【００５７】
【数２】
【００５８】
Ｓ０とＳ１の位置・姿勢推定部８１は、後述するように現時刻（t）の首の関節位置Ｓ０(t,k)及び頭部中心位置Ｓ１(t,k)の仮説｛k=1,2,・・・,K｝の信頼性を評価し、例えば、最も信頼性の高い首の関節位置の仮説Ｓ０(t)をＳ２とＳ３の位置・姿勢予測部５２に出力する。
【００５９】
Ｓ２とＳ３の位置・姿勢予測部５２は、前時刻（t-１）の肩の関節位置Ｓ２(t-1,k)、Ｓ３(t-1,k)及び現時刻（t）の首の関節の推定位置Ｓ０(t)を入力し、現時刻（t）の肩の関節位置Ｓ２(t,k)、Ｓ３(t,k)の予測値を算出する。
【００６０】
【数３】
【００６１】
Ｓ２とＳ３の位置・姿勢推定部８２は、後述するように現時刻（t）の肩の関節位置Ｓ２(t,k)、Ｓ３(t,k)の仮説｛k=1,2,・・・,K｝の信頼性を評価し、例えば、最も信頼性の高い仮説Ｓ２(t)、Ｓ３(t)をＳ４とＳ５の位置・姿勢予測部５３に出力する。
【００６２】
Ｓ４とＳ５の位置・姿勢予測部８３は、前時刻（t-１）の両肘の関節位置Ｓ４(t-1,k)、Ｓ５(t-1,k)及び現時刻（t）の肩の関節の推定位置Ｓ２(t)、Ｓ３(t)を入力し、現時刻（t）の両肘の関節位置Ｓ４(t,k)、Ｓ５(t,k)の予測値を算出する。
【００６３】
【数４】
【００６４】
Ｓ４とＳ５の位置・姿勢推定部８３は、後述するように現時刻（t）の両肘の関節位置Ｓ４(t,k)、Ｓ５(t,k)の仮説｛k=1,2,・・・,K｝の信頼性を評価し、例えば、最も信頼性の高い仮説Ｓ４(t)、Ｓ５(t)をＳ６とＳ７の位置・姿勢予測部５４に出力する。
【００６５】
Ｓ６とＳ７の位置・姿勢予測部５４は、前時刻（t-１）の両腕の関節位置Ｓ６(t-1,k)、Ｓ７(t-1,k)及び現時刻（t）の両肘の関節位置Ｓ４(t)、Ｓ５(t)を入力し、現時刻（t）の両肘の関節位置Ｓ６(t,k)、Ｓ７(t,k)の予測値を算出する。
【００６６】
【数５】
【００６７】
Ｓ６とＳ７の位置・姿勢推定部８４は、後述するように現時刻（t）の両腕の関節位置Ｓ６(t,k)、Ｓ７(t,k)の仮説｛k=1,2,・・・,K｝の信頼性を評価し、例えば、最も信頼性の高い仮説Ｓ６(t)、Ｓ７(t)を両腕の関節位置として出力する。
【００６８】
また、図９に示す下半身の各関節を予測するための構成は、背中の関節Ｓ８の位置・姿勢を予測するＳ８の位置・姿勢予測部５５と、Ｓ８の位置・姿勢推定部８５と、背中の関節Ｓ８の推定結果に基づいて腰部関節Ｓ９、Ｓ１０の位置・姿勢を予測するＳ９とＳ１０の位置・姿勢予測部５６と、Ｓ９とＳ１０の位置・姿勢推定部８６と、腰部関節Ｓ９、Ｓ１０の推定結果に基づいて両膝の関節Ｓ１１、Ｓ１２の位置・姿勢を予測するＳ１１とＳ１２の位置・姿勢予測部５７と、Ｓ１１とＳ１２の位置・姿勢推定部８７と、両膝の関節Ｓ１１、Ｓ１２に基づいて両足の関節Ｓ１３、Ｓ１４の位置・姿勢を予測する位置・姿勢予測部５８と、Ｓ１３とＳ１４の位置・姿勢推定部８８とを備える。
【００６９】
Ｓ８の位置・姿勢予測部５５は、前時刻（t-１）の背中の関節位置Ｓ８(t-1,k)及び現時刻(ｔ)の首の関節位置Ｓ０(t)を入力し、現時刻（t）の背中の関節位置Ｓ８(t,k)の予測値を算出する。
【００７０】
【数６】
【００７１】
Ｓ８の位置・姿勢推定部８５は、後述するように現時刻（t）の背中の関節位置Ｓ８(t,k)の仮説｛k=1,2,・・・,K｝の信頼性を評価し、例えば、最も信頼性の高い仮説Ｓ８(t)をＳ９とＳ１０の位置・姿勢予測部５６に出力する。
【００７２】
Ｓ９とＳ１０の位置・姿勢予測部５６は、前時刻（t-１）の腰部の関節位置Ｓ９(t-1,k)、Ｓ１０(t-1,k)及び現時刻（t）の背中の関節位置Ｓ８(t)を入力し、現時刻（t）の肩の関節位置Ｓ９(t,k)、Ｓ１０(t,k)の予測値を算出する。
【００７３】
【数７】
【００７４】
Ｓ９とＳ１０の位置・姿勢推定部８６は、後述するように現時刻（t）の腰部の関節位置Ｓ９(t,k)、Ｓ１０(t,k)の仮説｛k=1,2,・・・,K｝の信頼性を評価し、例えば、最も信頼性の高い仮説Ｓ９(t)、Ｓ１０(t)をＳ１１とＳ１２の位置・姿勢予測部５７に出力する。
【００７５】
Ｓ１１とＳ１２の位置・姿勢予測部５７は、前時刻（t-１）の両膝の関節位置Ｓ１１(t-1,k)、Ｓ１２(t-1,k)及び現時刻（t）の腰部の関節位置Ｓ９(t)、Ｓ１０(t)を入力し、現時刻（t）の両膝の関節位置Ｓ１１(t,k)、Ｓ１２(t,k)の予測値を算出する。
【００７６】
【数８】
【００７７】
Ｓ４とＳ５の位置・姿勢推定部８７は、後述するように現時刻（t）の両膝の関節位置Ｓ１１(t,k)、Ｓ１２(t,k)の仮説｛k=1,2,・・・,K｝の信頼性を評価し、例えば、最も信頼性の高い仮説Ｓ１１(t)、Ｓ１２(t)をＳ１２とＳ１３の位置・姿勢予測部５８に出力する。
【００７８】
Ｓ１３とＳ１４の位置・姿勢予測部５８は、前時刻（t-１）の両足の関節位置Ｓ１３(t-1,k)、Ｓ１４(t-1,k)及び現時刻（t）の両膝の関節位置Ｓ１１(t)、Ｓ１２(t)を入力し、現時刻（t）の両足の関節位置Ｓ１３(t,k)、Ｓ１４(t,k)の予測値を算出する。
【００７９】
【数９】
【００８０】
Ｓ１３とＳ１４の位置・姿勢推定部８８は、現時刻（t）の両足の関節位置Ｓ１３(t,k)、Ｓ１４(t,k)の仮説｛k=1,2,・・・,K｝の信頼性を評価し、例えば、最も信頼性の高い仮説Ｓ１３(t)、Ｓ１４(t)を両足の関節位置として出力する。
【００８１】
このように隣接関節点を追跡精度（確率）に基づいて予測することにより、少ない仮設で全身の動きを予測することができる。例えば、各関節点の仮説ｋ（予測フィルタ数）を１０とし、１５関節の動きを同時に予測した場合、１０１５仮説数必要となるが、隣接関節点を階層的に予測した場合、１０×１５＝１５０仮説数だけでよい。
【００８２】
また、本手法は、前の関節点Ｓｋ-１の追跡結果の信頼性を評価し、Ｓｋの予測モデル（パラメータ）を動的に変化させることにより、例えば、Ｓ０の推定結果が良くない場合、全ての関節点に影響するような、各階層の誤差累積による追跡精度の低下を防ぐことができる。例えば、関節点Ｓ４の追跡結果の信頼性の評価値が低い場合、関節点Ｓ６の動きを予測・追跡する際、図１０に示すようにＳ４を中心とする予測位置（x,y,z）を確率的に変化させながら、それを腕（Ｓ４−Ｓ６）の回転中心として、Ｓ６の動き予測と追跡を行い、最終的に腕（Ｓ４’−Ｓ６）の動きを推定することにより、新しい肘関節点Ｓ４’を推定することができる。この例では、腕（Ｓ４’−Ｓ６）の推定結果がより正しい肘関節位置として得ることができるので、肘関節点Ｓ４’の結果を上腕（Ｓ２−Ｓ４）の推定結果にフィードバックすることも可能である。
【００８３】
図１１は、姿勢・位置射影部６、信頼性評価部７、及び姿勢・位置推定部８の処理を説明するための模式図である。
【００８４】
姿勢・位置射影部６は、各関節の仮説ｋの予測位置(x,y,z)kを２Ｄ画像(u,v,depth)kに射影する。すなわち、図８及び図９に示す各位置・姿勢予測部５１〜５８で予測された各仮説をカメラキャリブレーションで得られた射影行列によって２次元画像に射影する。具体例として、例えば、図１１（Ａ）に示す右腕の関節Ｓ７の各仮説の予測位置（x,y,z）に対して、図１１（Ｂ）に示すように、それらの座標値を観測画像上に投影し、２次元画像上の投影位置・視差（u,v,depth）を求める。
【００８５】
信頼性評価部７は、各仮説による観測画像上の射影位置の画像情報と、予め保存されたモデル画像の画像情報との相似性を評価し、予測された各仮説の信頼性（確率）を計算する。ここで、モデル画像の画像情報として、初期化の時に保存された画像情報（例えば、あるウィンドウ内の画像テクスチャ、色分布、視差など）を用いることができる。また、相似性評価方法としては、例えば、それらの画像パターンを用いる正規化相関や、それらの画像パターンの色分布特性のマッチングを用いることができる。
【００８６】
マッチング評価は、階層的な動き予測手段によって予測された現時刻(t)の各関節点Ｓｍ(t,k)の仮説（m：関節点番号、k：仮説の番号）の３次元位置を、現時刻(t)の２次元画像平面に射影する際、仮説の動き予測パラメータ（R,T）を用いて、初期化の時に得られた画像領域に対応する３次元領域位置に回転(R）、移動(T）処理を行い、２次元モデル画像パターンを求め、このモデル画像パターンと、仮説の射影位置の画像パターンとの相似性評価を行い、マッチングスコアを計算することにより行われる。
【００８７】
姿勢・位置推定部８は、相似性評価値（確率）による各関節Ｓｍの位置・姿勢を推定する。つまり、各仮説の予測位置での確率を寄与度とした平均状態の統計処理によって、関節の位置・姿勢を決定する。具体的には、例えば、図１１（Ｂ）に示すように右腕の関節Ｓ７の各仮説の２次元画像上の射影位置を、信頼性評価部７のマッチング処理により評価された信頼性（確率）に基づいて統計処理することにより、図１１（Ｃ）に示すように右腕の関節Ｓ７の位置を推定する。
【００８８】
以上のように、対象人物のキネマティクスモデルを用いて階層的に現時刻の関節位置を予測することによって、一般環境での対象人物の３次元空間の位置・姿勢をロバストに推定することができる。また、２台以上の複数カメラを用いることによって、対象人物のキネマティクスモデルを容易に生成することができるとともに、対象人物の位置・姿勢の推定精度を向上させることができる。また、背景差分や時間差分を用いていないため、環境変化にロバストである。また、マーカーを用いることなく、対象人物の位置・姿勢・動き追跡を行うことができるため、対象人物に負担を掛けることなく、自然なＨＭＩを実現することができる。
【図面の簡単な説明】
【００８９】
【図１】本発明の一実施の形態におけるモーションキャプチャ装置の構成を示すブロック図である。
【図２】本発明の一実施の形態におけるモーションキャプチャ処理の概要を説明するための模式図である。
【図３】対象人物のキネマティクスモデル生成処理の概要を説明するための模式図である。
【図４】キネマティクスモデルを生成するための初期化部の構成を示すブロック図である。
【図５】初期化部における初期化処理を示すフローチャートである。
【図６】初期化処理を説明するための図である。
【図７】本実施の形態における階層的予測方法を説明するための図である。
【図８】キネマティクスモデルの各関節位置の予測のための構成を示すブロック図である。
【図９】キネマティクスモデルの各関節位置の予測のための構成を示すブロック図である。
【図１０】前の関節点Ｓｋ-１の追跡結果の信頼性を評価し、Ｓｋの予測モデルを動的に変化させる処理例を説明するための模式図である。
【図１１】姿勢・位置射影部、信頼性評価部、及び姿勢・位置推定部の処理を説明するための模式図である。
【符号の説明】
【００９０】
１Ｌ,１Ｒ カメラ、 ２ カメラパラメータ取得部、 ３ 画像・距離情報観測部、 ４ 初期化部、 ５ 姿勢・位置予測部、 ６ 姿勢・位置射影部、 ７ 信頼性評価部、 ８ 姿勢・位置推定部、 ４１ 距離計測部、 ４２ 顔検出部、 ４３ マスク生成部、 ４４ 色分布算出部、 ４５ 手検出ウィンドウ生成部、 ４６ 手検出部、 ４７ 関節位置算出部
【技術分野】
【０００１】
本発明は、カメラで撮像された画像に基づいて対象人物の姿勢又は動作を認識するモーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラムに関する。
【背景技術】
【０００２】
人と機器との自然なインタフェースを実現するには、人の手振り・身振りを含めて、操作者の様々な行動や音声などの情報を統合的に解析し、人の存在や意図などを検出し認識することが不可欠である。そのため、人の動きや行動パターンの解析に関する様々な技術が検討されてきた。動き解析技術としては、特殊なマーカー等を用いて動き情報を取得するものと、マーカー無しの画像解析によるものとに大別できる。
【０００３】
特殊なマーカー等を用いるシステムは、磁気式、機械式、光学式などがあるが、最近の動き追跡・キャプチャシステムとしては、特に光学式のモーションキャプチャシステムが良く利用されている。例えば、Vicon Peaks社のＭＸカメラシステム（商標）、Natural Point社のOptiTrack（商標）、Motion Analysis社のHawk Digital System（商標）等のモーションキャプチャ・解析システムがすでにＣＧ（Computer Graphics）、映画製作などの分野で利用されている。マーカー付き動き解析システムのメリットとしては、人物などの動き情報を正確に計測できるので、ＣＧや映画製作などの高精度な動き解析が必要とするところで良く利用される。
【０００４】
しかし、この方式は、大掛かりなシステム構成が必要であったり、マーカーの取り付けによる人体への負担があったりするため、自然なＨＭＩ（Human Machine Interface）と呼ぶことはできない。
【０００５】
そこで、本発明者らは、一般環境での自然なＨＭＩを実現するために、マーカー無しの画像解析による動き解析技術を用いている。マーカー無しの画像解析による動き解析手法は、いくつか検討されているが、代表的には、人物の３次元モデルとステレオ画像による動きと姿勢追跡手法（例えば、非特許文献１参照。）、多数カメラを用いる人物の３次元モデルに基づく人物動き追跡手法（例えば、非特許文献２参照。）、人物領域と運動モデルによる動き解析手法（例えば、非特許文献３参照。）等を挙げることができる。
【０００６】
【非特許文献１】D. Demirdjian, T. Ko, T. Darrell, Constraining Human Body Tracking, Proceedings of the International Conference on Computer Vision, 2003.
【非特許文献２】K.M. Cheung, S. Baker, J.K. Hodgins, and T. Kanade, Markerless Human Motion Transfer, Proceedings of the 2nd International Symposium on 3D Data Processing, Visualization and Transmission, September, 2004.
【非特許文献３】Ramanan, D., Forsyth, DA, Zisserman, A. "Strike a Pose: Tracking People by Finding Stylized Poses." Computer Vision and Pattern Recognition (CVPR), San Diego, CA, June 2005.
【非特許文献４】D. Demirdjian, T. Darrell, 3-D Articulated Pose Tracking for Untethered Diectic Reference, Proceedings of the International Conference on Multimodal Interfaces, 2002.
【発明の開示】
【発明が解決しようとする課題】
【０００７】
非特許文献１に記載された手法は、システム構成が簡単で、限定された環境においてリアルタイムで人物の動き・姿勢推定が可能であるが、距離画像の精度に依存することや、前後フレーム間の動き量が小さいことといった条件が必要であった。
【０００８】
また、非特許文献２に記載された手法は、３次元モデルの推定がうまくできれば、人物動きの位置・姿勢の推定精度が高いと思われるが、システム構成が大掛かりで、３次元モデルを精度良く構築するために、人物以外の背景を除去する必要があった。
【０００９】
また、非特許文献３に記載された手法は、アルゴリズムがシンプルで、一般背景での利用も可能であるが、人物の動き・姿勢を精度よく推定するために、人物の各肢体領域を正確に検出する必要があった。
【００１０】
また、これらの技術を用いる場合、人間の身体のモデルを如何に当てはめるかという事が大きな問題となっていた。例えば非特許文献４には、視差画像のDepth情報を用いて対象人物を前景として抽出し、そこに３Ｄのシリンダモデルを当てはめることが記載されているが、頭や腕の位置を同定することは困難であった。
【００１１】
このように、これら従来の手法では、一般環境において人物の自然な動き・姿勢を推定/追跡することが困難であり、自然なＨＭＩを実現することができなかった。
【００１２】
本発明は、このような従来の実情に鑑みて提案されたものであり、人物動きの速さや複雑な背景などによらず、実環境で利用可能なロバストなモーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明に係るモーションキャプチャ装置は、対象人物の各関節及び肢体の３次元位置と姿勢を追跡するモーションキャプチャ装置において、上記対象人物の観測画像から各関節が連結されたキネマティクスモデルを生成する生成手段と、上記キネマティクスモデルの関節間の連結拘束及び前時刻の予測位置に基づいて上記対象人物の各関節の現時刻の予測位置を階層的に算出し、現時刻の各関節及び肢体の３次元位置と姿勢を予測する予測手段と、上記予測手段で予測された現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を２次元画像上に射影する射影手段と、上記射影手段で射影された射影位置の信頼性を上記対象人物の観測画像に基づいて評価する評価手段と、上記信頼性の評価結果に基づいて上記現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を推定する推定手段とを備えることにより、上述の課題を解決する。
【００１４】
また、本発明に係るモーションキャプチャ方法は、対象人物の各関節及び肢体の３次元位置と姿勢を追跡するモーションキャプチャ方法において、上記対象人物の観測画像から各関節が連結されたキネマティクスモデルを生成する生成工程と、上記キネマティクスモデルの関節間の連結拘束及び前時刻の予測位置に基づいて上記対象人物の各関節の現時刻の予測位置を階層的に算出し、現時刻の各関節及び肢体の３次元位置と姿勢を予測する予測工程と、上記予測工程で予測された現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を２次元画像上に射影する射影工程と、上記射影工程で射影された射影位置の信頼性を上記対象人物の観測画像に基づいて評価する評価工程と、上記信頼性の評価結果に基づいて上記現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を推定する推定工程とを有することにより、上述の課題を解決する。
【００１５】
また、本発明に係るモーションキャプチャプログラムは、対象人物の各関節及び肢体の３次元位置と姿勢を追跡する処理を実行させるモーションキャプチャプログラムにおいて、上記対象人物の観測画像から各関節が連結されたキネマティクスモデルを生成する生成工程と、上記キネマティクスモデルの関節間の連結拘束及び前時刻の予測位置に基づいて上記対象人物の各関節の現時刻の予測位置を階層的に算出し、現時刻の各関節及び肢体の３次元位置と姿勢を予測する予測工程と、上記予測工程で予測された現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を２次元画像上に射影する射影工程と、上記射影工程で射影された射影位置の信頼性を上記対象人物の観測画像に基づいて評価する評価工程と、上記信頼性の評価結果に基づいて上記現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を推定する推定工程とを有することにより、上述の課題を解決する。
【発明の効果】
【００１６】
本発明によれば、対象人物の観測画像から各関節が連結されたキネマティクスモデルを生成し、キネマティクスモデルの各関節の連結拘束及び前時刻の予測位置に基づいて対象人物の各関節の現時刻の予測位置を階層的に算出し、現時刻の各関節及び肢体の３次元位置と姿勢を予測し、予測された現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を２次元画像上に射影し、射影位置の信頼性を対象人物の観測画像に基づいて評価し、その評価結果に基づいて現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を推定することにより、特殊なマーカー・センサーが不要で、且つ自然なヒューマンマシンインタラクションを実現することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００１８】
図１は、本発明の一実施の形態におけるモーションキャプチャ装置の構成を示すブロック図である。このモーションキャプチャ装置は、所定の位置に配置されたカメラ１Ｌ、１Ｒと、カメラキャリブレーションによりカメラパラメータを取得するカメラパラメータ取得部２と、カメラ１Ｌ、１Ｒで撮像された画像・距離情報を観測する画像・距離情報観測部３と、各関節を連結したキネマティクスモデルを生成するとともに画像情報を保存する初期化部４と、現時刻における対象人物の姿勢・位置を予測する姿勢・位置予測部５と、予測された姿勢・位置を２次元画像上に射影する姿勢・位置射影部６と、射影された２次元画像を評価する信頼性評価部７と、評価値に基づいて現時刻における対象人物の姿勢・位置を推定する姿勢・位置推定部８とを備えて構成されている。
【００１９】
カメラ１Ｌ、１Ｒは、同一の対象人物を撮影できるように所定の位置に配置されている。なお、本実施の形態では、２台のカメラの視差から対象物の距離を算出する「ステレオビジョン」を用いることとして説明するが、レーザを照射してその反射光を検出するまでの時間を測定することによって距離を算出する「レーザレンジファインダ」等を利用することとしてもよい。
【００２０】
カメラパラメータ取得部２は、カメラキャリブレーションにより、実世界座標とカメラ画像座標とを関係付けるカメラパラメータを取得する。このカメラパラメータは、画像・距離情報観測部３及び姿勢・位置射影部６に出力される。
【００２１】
画像・距離情報観測部３は、カメラ１Ｌ、１Ｒで撮像された画像を初期化部４及び信頼性評価部７に出力する。また、カメラパラメータ取得部２で取得されたカメラパラメータに基づいて距離情報を生成し、距離情報を初期化部４及び信頼性評価部７に出力する。
【００２２】
初期化部４は、キネマティクスモデルを生成するために対象人物の各関節点Ｓｋの３次元座標（x,y,z）を求めるとともに、予測された姿勢・位置を評価するために関節点、関節点間の肢体（Limbs）、及び顔等の特徴点の画像情報（初期画像モデル）を保存する。このキネマティクスモデルは、各関節が連結された関節モデルである。なお、本実施例では、１５の関節点{Sk:k=0,1,・・・,14}で表現したキネマティクスモデルを用いることとして説明する。また、画像情報としては、例えば、表面の質感を表現するテクスチャ、色情報、視差情報、輪郭等の信頼度評価値等を用いることができる。
【００２３】
姿勢・位置予測部５は、前時刻の各関節及び肢体の予測位置とキネマティックモデルの間接間の連結性拘束とを用いて、現時刻の各関節及び肢体の位置を確率モデルによって階層的に予測し、体の構え（姿勢）を予測する。具体的には、後述するように、関節モデルの前階層の関節の推定位置に確率分布を持たせ、次の階層の関節の予測位置を演算する。
【００２４】
姿勢・位置射影部６は、姿勢・位置予測部５によって予測された現時刻における対象人物の３次元空間の各関節及び肢体の予測位置及び姿勢を、カメラキャリブレーションで得られた射影行列Ｐによって２次元画像上に射影し、３次元座標（x,y,z）に対応する２次元画像上の射影位置（u,v）を求める。
【００２５】
信頼性評価部７は、姿勢・位置射影部６によって得られた２次元画像（観測画像）上の射影位置（u，v）の画像情報（例えば、距離情報・色情報・テクスチャ情報など）と、予め保存された画像情報（初期画像モデル）との相似性を計算することにより、射影位置の正しさを評価する。
【００２６】
姿勢・位置推定部８は、信頼性評価部７で評価された２次元画像上の射影位置の評価値によって、現時刻における対象人物の３次元空間上の位置及び姿勢を推定する。この現時刻における対象人物の３次元空間上の位置及び姿勢の推定情報は、姿勢・位置予測部５に前時刻の対象人物の各関節及び肢体の位置として出力される。
【００２７】
ここで、上述したモーションキャプチャ処理の概要を、図２に示す模式図を用いて説明する。
【００２８】
まず、予め少なくとも２台以上のカメラ１Ｌ、１Ｒを、同一の対象人物が撮影できるように配置し、それらの位置関係やカメラパラメータ等をカメラキャリブレーションによって取得する。このカメラパラメータ等は、カメラパラメータ取得部２から画像・距離情報観測部３及び姿勢・位置射影部６に出力される。
【００２９】
初期化部４では、例えば、図２（Ａ）のような画像・距離情報観測部３から出力された対象人物の観測画像から視差画像（u,v,depth）を予測し、その視差画像（u,v,depth）を３次元空間上に逆射影することによって、対象人物の３次元形状及び各関節の３次元位置・座標モデル（x,y,z）を算出し、キネマティックスモデルを生成する。また、観測画像に基づいて各関節の画像情報（初期画像モデル）を保存する。
【００３０】
次に、姿勢・位置予測部５において、例えば、図２（Ｂ）のような前時刻（t-1）の各関節位置・姿勢Ｐｔ−１の推定結果に基づいて図２（Ｃ）のような現時刻の各関節の位置・姿勢Ｐｔを、キネマティクスモデルの関節間の連結性拘束を用い、確率モデルによって階層的に予測する。
【００３１】
姿勢・位置射影部６は、予測された現時刻の対象人物の各関節位置・姿勢Ｐｔを、カメラキャリブレーションで得られた射影行列Ｐによって、例えば、図２（Ｄ）のように２次元画像上に射影し、３次元座標（x,y,z）に対応する２次元画像上の射影位置及び視差（u,v,depth）を求める。
【００３２】
そして、信頼性評価部７において、２次元画像（観測画像）上に射影された射影位置の視差（u,v,depth）、色情報、テクスチャ情報等の画像情報と、予め保存された画像情報（初期画像モデル）との相似性を計算し、２次元画像上に射影された対象人物の各関節の射影位置・姿勢の正しさを評価する。
【００３３】
姿勢・位置推定部８は、信頼性評価部７で算出された評価値に基づいて、最終的に、図２（Ｅ）のように現時刻における対象人物の３次元空間上の予測位置・姿勢Ｐｔを求める。
【００３４】
このように対象人物の位置・姿勢・動き追跡を行うことにより、対象人物に負担を掛けることのない、自然なＨＭＩ（Human Machine Interface）を実現することができる。
【００３５】
続いて、上述したモーションキャプチャ装置における各処理について詳細に説明する。まず、対象人物のキネマティクスモデルの生成について説明する。図３に示すように、予めキャリブレーションされた左右カメラカメラ１Ｌ、１Ｒによって３次元空間の対象人物３０の画像を観測し、これらの観測画像(u,v,depth)３１Ｌ、３１Ｒを用いて視差画像３２を推定する。そして、視差画像(u,v,depth)３２をカメラキャリブレーションで求められた射影行列によって、３次元空間に射影し、その３次元空間における人物の各関節の座標位置(x,y,z)を求めることにより、対象人物のキネマティクスモデル３３を生成することができる。
【００３６】
図４は、キネマティクスモデルを初期化するための初期化部４の構成を示すブロック図である。初期化部４は、距離画像を生成する距離計測部４１と、入力画像から顔領域の位置及び距離を検出する顔検出部４２と、距離画像及び顔の距離に基づいて対象人物を前景とするマスク画像を生成するマスク生成部４３と、顔領域の色ヒストグラムを算出する色分布算出部４４と、顔領域の位置及び距離に基づいて手のあるべき位置を示すウィンドウ位置を算出する手検出ウィンドウ生成部４５と、顔領域の色相、彩度、及び色相、彩度それぞれの分散値と、手検出ウィンドウの位置と、マスク画像とに基づいて手を検出する手検出部４６と、顔の位置及び距離と、手の位置及び距離に基づいて各関節位置を算出する関節位置算出部４７とを備えて構成されている。
【００３７】
続いて、初期化部４における初期化処理を図５に示すフローチャート及び図６に示す模式図を参照して説明する。
【００３８】
ステップＳ１において、距離計測部４１は、画像・距離情報観測部３から出力された画像・距離情報に基づいて距離画像を生成する。ここで、距離画像を生成すると同時にその距離の信頼度を示す画像を生成することが好ましい。これにより、後述するマスク画像生成の精度向上を図ることができる。なお、信頼度は、例えばステレオ法で距離を算出し、正規化相関を用いたマッチングを行った場合、そのマッチングコストを指数化したものを用いることができる。
【００３９】
ステップＳ２において、顔検出部４２は、図６（Ａ）に示すように、対象人物の入力画像から顔Ｆを検出し、顔を検出したと判断した場合は、ステップＳに進み、顔を検出していないと判断した場合は、ステップＳ１に戻る。
【００４０】
顔認識技術としては、例えば、特再ＷＯ２００３／０１９４７５（「ロボット装置、顔認識方法及び顔認識装置」ソニー（株））に記載されているように、ガボア・フィルタで顔特徴量を抽出し、サポート・ベクタ・マシンで顔識別を行う手法を用いることができる。
【００４１】
ステップＳ３において、色分布算出部４４は、図６（Ｂ）に示すように、顔検出部４２で検出された顔領域の色のヒストグラムを算出する。ここで、ヒストグラムは、ＨＳＩ表色系のＨ（Hue，色相）及びＳ（Saturation，彩度）に関して、その度数が最も大きいＨ及びＳを求め、それぞれに適当な分散値を持たせたものを出力する。
【００４２】
ステップＳ４において、顔検出部４２は、図６（Ｃ）に示すように、検出した顔Ｆ、及び距離計測部４１で計測された距離画像に基づいて、顔の距離を算出する。ここで、ノイズの影響を除去するために、平均値ではなく、顔領域内の中央の距離の値である中央値（Median）を用いることが好ましい。
【００４３】
ステップＳ５において、手検出ウィンドウ生成部４５は、顔検出部４２で検出した顔領域の位置及び距離に基づいて、例えば、図６（Ｄ）に示すように、対象人物が両手を水平に伸ばした際の手のあるべき位置を示すウィンドウＷの位置を算出する。この手検出ウィンドウの生成方法は、まず、画像中の顔の位置及び距離をカメラパラメータ取得部２で取得したカメラパラメータ等に応じてワールド座標系へと変換する。そして、顔の位置から首と腕の長さを加算し、ウィンドウ位置を決定する。なお、個人差を考慮して、首の長さを２７０ｍｍ±１５０ｍｍ、腕の長さを９００ｍｍ±３５０ｍｍとして規定した。また、対象人物は、モーションキャプチャ装置にほぼ正対していると仮定し、手の距離を顔の距離とほぼ同じであるとした。このようにして求められた手検出ウィンドウのワールド座標値をカメラ座標系へと逆変換し、画像中の手検出ウィンドウの位置を算出する。
【００４４】
ステップＳ６において、マスク生成部４３は、距離計測部４１で生成された距離画像及び顔検出部４２で算出した顔の距離に基づいて、図６（Ｅ）に示す対象人物を前景とするマスク画像を生成する。ここで、距離計測部４１において、距離の信頼度を示す画像が生成されていた場合、マスク生成部４３は、距離の信頼度を用いて、顔の距離から一定の距離だけシフトした値を閾値として２値化した画像をマスク画像として生成する。これにより、マスク画像生成の精度を向上させることができる。さらに、画像にラベリングを施してヒストグラムを取り、度数の大きい領域のみ残すことによってノイズ除去を行うことができる。
【００４５】
ステップＳ７において、手検出部４６は、色分布算出部４４で算出された色相、彩度、及び色相、彩度それぞれの分散値と、手検出ウィンドウ生成部４５で生成したウィンドウ位置と、マスク生成部４３で生成したマスク画像とに基づいて手を検出する。具体的には、手検出ウィンドウ内において、マスク画像で前景となっている領域中から、顔と同じ色相及び彩度の範囲に入る領域を手として検出する。ここで、手の領域の中で、右手であれば右端に、左手であれば左端に円を当てはめ、その中心位置を手の座標として出力する。また、手領域内の中央の座標における距離の値を手の距離として出力する。
【００４６】
ステップＳ８において、手検出部４６は、両手が検出されたかを判断し、検出された場合は初期化成功とし、ステップＳ９へと進む。また、両手が検出されていないと判断した場合、ステップＳ１に戻る。
【００４７】
ステップＳ９において、関節位置算出部４７は、顔検出部４２で検出した顔の位置及び距離と、手検出部４６で検出した手の位置及び距離とに基づいて各関節位置の算出を行う。図６（Ｆ）は、各関節位置Ｓ１〜Ｓ８を示す画像である。ここでは、手が水平な状態で算出されているという前提なので、両手の位置とあらかじめ用意しておいた肩、上腕及び下腕の長さの比率を用いることにより、肩と肘の位置を決定する事ができる。さらに、マスク生成部４３で生成した距離の信頼度を示すマスク画像を用いることにより、ノイズを除去し、肘と肩の位置の精度向上を図ることができる。具体的には、まず、肘のＸ座標におけるマスク前景部分のＹ座標を求め、その中央値を肘のＹ座標として採用する。また、上腕部のＸ座標において何点かをサンプリングし、それぞれにおけるマスク前景部分のＹ座標の中央値をその点のＹ座標として採用し、それらの点を用いて上腕部の近似直線を求める。そして、肩のＸ座標におけるその近似直線上の点を、肩位置として採用する。これらの処理により、大幅に関節位置精度を向上させることができる。
【００４８】
このように３次元空間の各関節位置を求めることにより、キネマティクスモデルを高精度に初期化することができる。また、キネマティクスモデルの初期化の際、そのモデルの各関節点に対応する画像情報（テクスチャ、色、視差、信頼度評価値など）を保存し、初期画像モデルとする。この初期モデルは、後述する追跡処理において、観測画像と比較され、予測の正しさの評価、追跡結果の算出に用いられる。
【００４９】
次に、キネマティクスモデルの各関節位置の予測方法について説明する。図７（Ａ）は、本実施の形態における階層的予測方法の概念図を示す。この階層的予測法は、まず、最も観測しやすい人物の頭部（顔）の情報を用いて、首の関節Ｓ０及び頭部中心Ｓ１の位置を推定する。そして、関節Ｓ０の推定結果を元に、肩の関節Ｓ２、Ｓ３及び背中の関節Ｓ８の位置を推定する。その後、それぞれの関節Ｓ２、Ｓ３、Ｓ８の推定結果を用いて、両肘の関節Ｓ４、Ｓ５及び腰部関節Ｓ９、Ｓ１０の位置を推定する。さらに、両肘の関節Ｓ４、Ｓ５をベースに、両腕の関節Ｓ６、Ｓ７の位置を推定する。また。腰部関節Ｓ９、Ｓ１０をベースに両膝の関節Ｓ１１、Ｓ１２の位置を推定する。最後に、両膝の関節Ｓ１１、Ｓ１２に基づいて両足の関節Ｓ１３、Ｓ１４の位置を推定する。すなわち、この階層的予測法は、キネマティクスモデルの関節間の連結性拘束及び前時刻の関節位置に基づいて、現時刻の各関節位置を順次算出するものである。
【００５０】
図７（Ｂ）は、各関節点の予測方法を説明するための模式図である。現時刻(t)における各関節Ｓ１〜Ｓ１４の予測位置は、前時刻(t-1)の予測結果に基づいて求められる。また、現時刻(t)における各関節の予測位置は、正規分布で表現され、信頼性（確率）の評価が行われる。また、信頼性の評価値により、各関節の推定結果をある範囲内に変動させる。これにより、精度が悪い推定結果をそのまま利用した場合、それぞれ連接する関節への推定精度に大きな影響が生じることを防止する。
【００５１】
図８及び図９は、キネマティクスモデルの各関節位置の予測のための構成を示すブロック図である。ここで、関節Ｓ０〜Ｓ８の位置・姿勢予測部５１〜５８は、姿勢・位置予測部５に対応するものであり、関節Ｓ０〜Ｓ８の位置・姿勢推定部８１〜８８は、姿勢・位置推定部８に対応するものである。すなわち、図１において、キネマティクスモデルの関節間の連結性拘束に応じた順番で、関節の予測位置を姿勢・位置予測部５にて予測し、姿勢・位置射影部６にて予測位置を２次元画像上に射影し、信頼性評価部７にて２次元画像上に射影された予測位置の信頼性を評価し、評価結果に基づいて姿勢・位置推定部８にて推定位置を推定する。そして、姿勢・位置推定部８にて推定された推定位置は、次に予測する階層の関節の予測位置演算に用いられる。
【００５２】
現時刻ｔにおける各関節の予測値（位置・姿勢）は、前時刻（t-1）における各関節Ｓｍ（m=0,・・・,14）の各仮説｛k=1,2,・・・,K｝に基づく姿勢の予測関数ωｍ(t,k)及び位置の予測関数ξｍ(t,k)を用いて計算される（m=0,・・・,14）。ωｍ(t,k)及びξｍ(t,k)は、それぞれ時刻ｔの第ｍ番目の関節に関して下記のように計算される。
【００５３】
【数１】
【００５４】
ここで、φは、平均値μ、標準分散σの正規乱数を得るための関数であり、νは、時刻（t-1）での各関節点の動き速度を示し、κは、寄与度を調整する定数を示す。
【００５５】
図８に示す上半身の各関節の予測のための構成は、首の関節Ｓ０と頭部中心Ｓ１の位置・姿勢を予測するＳ０とＳ１の位置・姿勢予測部５１と、Ｓ０とＳ１の位置・姿勢推定部８１と、首の関節Ｓ０の推定結果に基づいて肩の関節Ｓ２、Ｓ３の位置・姿勢を予測するＳ２とＳ３の位置・姿勢予測部５２と、Ｓ２とＳ３の位置・姿勢推定部８２と、肩の関節Ｓ２、Ｓ３の推定結果に基づいて両肘の関節Ｓ４、Ｓ５を位置・姿勢を予測するＳ４とＳ５の位置・姿勢予測部５３と、Ｓ４とＳ５の位置・姿勢推定部８３と、両肘の関節Ｓ４、Ｓ５に基づいて両腕の関節Ｓ６、Ｓ７の位置・姿勢を予測する位置・姿勢予測部５４と、Ｓ６とＳ７の位置・姿勢推定部８４とを備えている。
【００５６】
Ｓ０とＳ１の位置・姿勢予測部５１は、前時刻（t-１）の首の関節位置Ｓ０(t-1,k)及び頭部中心位置Ｓ１(t-1,k)を入力し、現時刻(t)の首の関節位置Ｓ０(t,k)及び頭部中心位置Ｓ１(t,k)の予測値を算出する。
【００５７】
【数２】
【００５８】
Ｓ０とＳ１の位置・姿勢推定部８１は、後述するように現時刻（t）の首の関節位置Ｓ０(t,k)及び頭部中心位置Ｓ１(t,k)の仮説｛k=1,2,・・・,K｝の信頼性を評価し、例えば、最も信頼性の高い首の関節位置の仮説Ｓ０(t)をＳ２とＳ３の位置・姿勢予測部５２に出力する。
【００５９】
Ｓ２とＳ３の位置・姿勢予測部５２は、前時刻（t-１）の肩の関節位置Ｓ２(t-1,k)、Ｓ３(t-1,k)及び現時刻（t）の首の関節の推定位置Ｓ０(t)を入力し、現時刻（t）の肩の関節位置Ｓ２(t,k)、Ｓ３(t,k)の予測値を算出する。
【００６０】
【数３】
【００６１】
Ｓ２とＳ３の位置・姿勢推定部８２は、後述するように現時刻（t）の肩の関節位置Ｓ２(t,k)、Ｓ３(t,k)の仮説｛k=1,2,・・・,K｝の信頼性を評価し、例えば、最も信頼性の高い仮説Ｓ２(t)、Ｓ３(t)をＳ４とＳ５の位置・姿勢予測部５３に出力する。
【００６２】
Ｓ４とＳ５の位置・姿勢予測部８３は、前時刻（t-１）の両肘の関節位置Ｓ４(t-1,k)、Ｓ５(t-1,k)及び現時刻（t）の肩の関節の推定位置Ｓ２(t)、Ｓ３(t)を入力し、現時刻（t）の両肘の関節位置Ｓ４(t,k)、Ｓ５(t,k)の予測値を算出する。
【００６３】
【数４】
【００６４】
Ｓ４とＳ５の位置・姿勢推定部８３は、後述するように現時刻（t）の両肘の関節位置Ｓ４(t,k)、Ｓ５(t,k)の仮説｛k=1,2,・・・,K｝の信頼性を評価し、例えば、最も信頼性の高い仮説Ｓ４(t)、Ｓ５(t)をＳ６とＳ７の位置・姿勢予測部５４に出力する。
【００６５】
Ｓ６とＳ７の位置・姿勢予測部５４は、前時刻（t-１）の両腕の関節位置Ｓ６(t-1,k)、Ｓ７(t-1,k)及び現時刻（t）の両肘の関節位置Ｓ４(t)、Ｓ５(t)を入力し、現時刻（t）の両肘の関節位置Ｓ６(t,k)、Ｓ７(t,k)の予測値を算出する。
【００６６】
【数５】
【００６７】
Ｓ６とＳ７の位置・姿勢推定部８４は、後述するように現時刻（t）の両腕の関節位置Ｓ６(t,k)、Ｓ７(t,k)の仮説｛k=1,2,・・・,K｝の信頼性を評価し、例えば、最も信頼性の高い仮説Ｓ６(t)、Ｓ７(t)を両腕の関節位置として出力する。
【００６８】
また、図９に示す下半身の各関節を予測するための構成は、背中の関節Ｓ８の位置・姿勢を予測するＳ８の位置・姿勢予測部５５と、Ｓ８の位置・姿勢推定部８５と、背中の関節Ｓ８の推定結果に基づいて腰部関節Ｓ９、Ｓ１０の位置・姿勢を予測するＳ９とＳ１０の位置・姿勢予測部５６と、Ｓ９とＳ１０の位置・姿勢推定部８６と、腰部関節Ｓ９、Ｓ１０の推定結果に基づいて両膝の関節Ｓ１１、Ｓ１２の位置・姿勢を予測するＳ１１とＳ１２の位置・姿勢予測部５７と、Ｓ１１とＳ１２の位置・姿勢推定部８７と、両膝の関節Ｓ１１、Ｓ１２に基づいて両足の関節Ｓ１３、Ｓ１４の位置・姿勢を予測する位置・姿勢予測部５８と、Ｓ１３とＳ１４の位置・姿勢推定部８８とを備える。
【００６９】
Ｓ８の位置・姿勢予測部５５は、前時刻（t-１）の背中の関節位置Ｓ８(t-1,k)及び現時刻(ｔ)の首の関節位置Ｓ０(t)を入力し、現時刻（t）の背中の関節位置Ｓ８(t,k)の予測値を算出する。
【００７０】
【数６】
【００７１】
Ｓ８の位置・姿勢推定部８５は、後述するように現時刻（t）の背中の関節位置Ｓ８(t,k)の仮説｛k=1,2,・・・,K｝の信頼性を評価し、例えば、最も信頼性の高い仮説Ｓ８(t)をＳ９とＳ１０の位置・姿勢予測部５６に出力する。
【００７２】
Ｓ９とＳ１０の位置・姿勢予測部５６は、前時刻（t-１）の腰部の関節位置Ｓ９(t-1,k)、Ｓ１０(t-1,k)及び現時刻（t）の背中の関節位置Ｓ８(t)を入力し、現時刻（t）の肩の関節位置Ｓ９(t,k)、Ｓ１０(t,k)の予測値を算出する。
【００７３】
【数７】
【００７４】
Ｓ９とＳ１０の位置・姿勢推定部８６は、後述するように現時刻（t）の腰部の関節位置Ｓ９(t,k)、Ｓ１０(t,k)の仮説｛k=1,2,・・・,K｝の信頼性を評価し、例えば、最も信頼性の高い仮説Ｓ９(t)、Ｓ１０(t)をＳ１１とＳ１２の位置・姿勢予測部５７に出力する。
【００７５】
Ｓ１１とＳ１２の位置・姿勢予測部５７は、前時刻（t-１）の両膝の関節位置Ｓ１１(t-1,k)、Ｓ１２(t-1,k)及び現時刻（t）の腰部の関節位置Ｓ９(t)、Ｓ１０(t)を入力し、現時刻（t）の両膝の関節位置Ｓ１１(t,k)、Ｓ１２(t,k)の予測値を算出する。
【００７６】
【数８】
【００７７】
Ｓ４とＳ５の位置・姿勢推定部８７は、後述するように現時刻（t）の両膝の関節位置Ｓ１１(t,k)、Ｓ１２(t,k)の仮説｛k=1,2,・・・,K｝の信頼性を評価し、例えば、最も信頼性の高い仮説Ｓ１１(t)、Ｓ１２(t)をＳ１２とＳ１３の位置・姿勢予測部５８に出力する。
【００７８】
Ｓ１３とＳ１４の位置・姿勢予測部５８は、前時刻（t-１）の両足の関節位置Ｓ１３(t-1,k)、Ｓ１４(t-1,k)及び現時刻（t）の両膝の関節位置Ｓ１１(t)、Ｓ１２(t)を入力し、現時刻（t）の両足の関節位置Ｓ１３(t,k)、Ｓ１４(t,k)の予測値を算出する。
【００７９】
【数９】
【００８０】
Ｓ１３とＳ１４の位置・姿勢推定部８８は、現時刻（t）の両足の関節位置Ｓ１３(t,k)、Ｓ１４(t,k)の仮説｛k=1,2,・・・,K｝の信頼性を評価し、例えば、最も信頼性の高い仮説Ｓ１３(t)、Ｓ１４(t)を両足の関節位置として出力する。
【００８１】
このように隣接関節点を追跡精度（確率）に基づいて予測することにより、少ない仮設で全身の動きを予測することができる。例えば、各関節点の仮説ｋ（予測フィルタ数）を１０とし、１５関節の動きを同時に予測した場合、１０１５仮説数必要となるが、隣接関節点を階層的に予測した場合、１０×１５＝１５０仮説数だけでよい。
【００８２】
また、本手法は、前の関節点Ｓｋ-１の追跡結果の信頼性を評価し、Ｓｋの予測モデル（パラメータ）を動的に変化させることにより、例えば、Ｓ０の推定結果が良くない場合、全ての関節点に影響するような、各階層の誤差累積による追跡精度の低下を防ぐことができる。例えば、関節点Ｓ４の追跡結果の信頼性の評価値が低い場合、関節点Ｓ６の動きを予測・追跡する際、図１０に示すようにＳ４を中心とする予測位置（x,y,z）を確率的に変化させながら、それを腕（Ｓ４−Ｓ６）の回転中心として、Ｓ６の動き予測と追跡を行い、最終的に腕（Ｓ４’−Ｓ６）の動きを推定することにより、新しい肘関節点Ｓ４’を推定することができる。この例では、腕（Ｓ４’−Ｓ６）の推定結果がより正しい肘関節位置として得ることができるので、肘関節点Ｓ４’の結果を上腕（Ｓ２−Ｓ４）の推定結果にフィードバックすることも可能である。
【００８３】
図１１は、姿勢・位置射影部６、信頼性評価部７、及び姿勢・位置推定部８の処理を説明するための模式図である。
【００８４】
姿勢・位置射影部６は、各関節の仮説ｋの予測位置(x,y,z)kを２Ｄ画像(u,v,depth)kに射影する。すなわち、図８及び図９に示す各位置・姿勢予測部５１〜５８で予測された各仮説をカメラキャリブレーションで得られた射影行列によって２次元画像に射影する。具体例として、例えば、図１１（Ａ）に示す右腕の関節Ｓ７の各仮説の予測位置（x,y,z）に対して、図１１（Ｂ）に示すように、それらの座標値を観測画像上に投影し、２次元画像上の投影位置・視差（u,v,depth）を求める。
【００８５】
信頼性評価部７は、各仮説による観測画像上の射影位置の画像情報と、予め保存されたモデル画像の画像情報との相似性を評価し、予測された各仮説の信頼性（確率）を計算する。ここで、モデル画像の画像情報として、初期化の時に保存された画像情報（例えば、あるウィンドウ内の画像テクスチャ、色分布、視差など）を用いることができる。また、相似性評価方法としては、例えば、それらの画像パターンを用いる正規化相関や、それらの画像パターンの色分布特性のマッチングを用いることができる。
【００８６】
マッチング評価は、階層的な動き予測手段によって予測された現時刻(t)の各関節点Ｓｍ(t,k)の仮説（m：関節点番号、k：仮説の番号）の３次元位置を、現時刻(t)の２次元画像平面に射影する際、仮説の動き予測パラメータ（R,T）を用いて、初期化の時に得られた画像領域に対応する３次元領域位置に回転(R）、移動(T）処理を行い、２次元モデル画像パターンを求め、このモデル画像パターンと、仮説の射影位置の画像パターンとの相似性評価を行い、マッチングスコアを計算することにより行われる。
【００８７】
姿勢・位置推定部８は、相似性評価値（確率）による各関節Ｓｍの位置・姿勢を推定する。つまり、各仮説の予測位置での確率を寄与度とした平均状態の統計処理によって、関節の位置・姿勢を決定する。具体的には、例えば、図１１（Ｂ）に示すように右腕の関節Ｓ７の各仮説の２次元画像上の射影位置を、信頼性評価部７のマッチング処理により評価された信頼性（確率）に基づいて統計処理することにより、図１１（Ｃ）に示すように右腕の関節Ｓ７の位置を推定する。
【００８８】
以上のように、対象人物のキネマティクスモデルを用いて階層的に現時刻の関節位置を予測することによって、一般環境での対象人物の３次元空間の位置・姿勢をロバストに推定することができる。また、２台以上の複数カメラを用いることによって、対象人物のキネマティクスモデルを容易に生成することができるとともに、対象人物の位置・姿勢の推定精度を向上させることができる。また、背景差分や時間差分を用いていないため、環境変化にロバストである。また、マーカーを用いることなく、対象人物の位置・姿勢・動き追跡を行うことができるため、対象人物に負担を掛けることなく、自然なＨＭＩを実現することができる。
【図面の簡単な説明】
【００８９】
【図１】本発明の一実施の形態におけるモーションキャプチャ装置の構成を示すブロック図である。
【図２】本発明の一実施の形態におけるモーションキャプチャ処理の概要を説明するための模式図である。
【図３】対象人物のキネマティクスモデル生成処理の概要を説明するための模式図である。
【図４】キネマティクスモデルを生成するための初期化部の構成を示すブロック図である。
【図５】初期化部における初期化処理を示すフローチャートである。
【図６】初期化処理を説明するための図である。
【図７】本実施の形態における階層的予測方法を説明するための図である。
【図８】キネマティクスモデルの各関節位置の予測のための構成を示すブロック図である。
【図９】キネマティクスモデルの各関節位置の予測のための構成を示すブロック図である。
【図１０】前の関節点Ｓｋ-１の追跡結果の信頼性を評価し、Ｓｋの予測モデルを動的に変化させる処理例を説明するための模式図である。
【図１１】姿勢・位置射影部、信頼性評価部、及び姿勢・位置推定部の処理を説明するための模式図である。
【符号の説明】
【００９０】
１Ｌ,１Ｒ カメラ、 ２ カメラパラメータ取得部、 ３ 画像・距離情報観測部、 ４ 初期化部、 ５ 姿勢・位置予測部、 ６ 姿勢・位置射影部、 ７ 信頼性評価部、 ８ 姿勢・位置推定部、 ４１ 距離計測部、 ４２ 顔検出部、 ４３ マスク生成部、 ４４ 色分布算出部、 ４５ 手検出ウィンドウ生成部、 ４６ 手検出部、 ４７ 関節位置算出部
【特許請求の範囲】
【請求項１】
対象人物の各関節及び肢体の３次元位置と姿勢を追跡するモーションキャプチャ装置において、
上記対象人物の観測画像から各関節が連結されたキネマティクスモデルを生成する生成手段と、
上記キネマティクスモデルの関節間の連結拘束及び前時刻の予測位置に基づいて上記対象人物の各関節の現時刻の予測位置を階層的に算出し、現時刻の各関節及び肢体の３次元位置と姿勢を予測する予測手段と、
上記予測手段で予測された現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を２次元画像上に射影する射影手段と、
上記射影手段で射影された射影位置の信頼性を上記対象人物の観測画像に基づいて評価する評価手段と、
上記信頼性の評価結果に基づいて上記現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を推定する推定手段と
を備えることを特徴とするモーションキャプチャ装置。
【請求項２】
上記観測画像から距離画像を生成する距離画像生成手段と、
上記観測画像から顔領域の位置及び距離を検出する顔検出手段と、
上記距離画像及び顔の距離に基づいて対象人物を前景とするマスク画像を生成するマスク生成手段と
上記顔領域の色ヒストグラムを算出する色分布算出手段と、
上記顔領域の位置及び距離に基づいて所定位置に手検出ウィンドウを生成する手検出ウィンドウ生成手段と、
上記顔領域の色ヒストグラム、上記手検出ウィンドウの位置及び上記マスク画像に基づいて手の位置及び距離を検出する手検出手段と、
上記顔の位置及び距離と、上記手の位置及び距離とに基づいて上記キネマティクスモデルの各関節位置を算出する関節位置算出手段と
をさらに備えることを特徴とする請求項１記載のモーションキャプチャ装置。
【請求項３】
上記関節位置算出手段は、上記マスク画像の前景領域の肘の関節のＹ軸上の中央値を肘の関節のＹ座標とし、上記マスク画像の前景領域の上腕部のＹ軸上の中央値を上腕部のＹ座標として上腕部の近似直線を求め、肩の関節のＸ軸上と上記近似直線上との交点を、肩の関節の位置として算出することを特徴とする請求項２記載のモーションキャプチャ装置。
【請求項４】
上記生成手段は、上記観測画像から対象人物の視差画像を推定し、該視差画像を３次元空間に逆射影することによって、上記対象人物の各関節及び肢体の３次元位置と姿勢を算出し、キネマティクスモデルを生成することを特徴とする請求項１記載のモーションキャプチャ装置。
【請求項５】
上記射影手段は、上記予測手段によって予測された現時刻の各関節及び肢体の３次元位置と姿勢を、カメラキャリブレーションで得られた射影行列によって３次元空間の位置に対応する２次元画像上の射影位置を求めることにより、上記２次元画像上に射影することを特徴とする請求項１記載のモーションキャプチャ装置。
【請求項６】
上記評価手段は、上記射影位置に対応する観測画像の画像情報と、予め保存された各関節及び肢体の画像情報との相似性を計算し、上記信頼性を評価することを特徴とする請求項１記載のモーションキャプチャ装置。
【請求項７】
上記推定手段は、上記射影手段で射影された射影位置に対する評価値に基づいて、上記現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を推定することを特徴とする請求項１記載のモーションキャプチャ装置。
【請求項８】
同一の対象人物を撮影できるように少なくとも２台以上のカメラを配置するとともに、これらの位置関係及びカメラパラメータを予め有する画像観測手段をさらに備えることを特徴とする請求項１記載のモーションキャプチャ装置。
【請求項９】
対象人物の各関節及び肢体の３次元位置と姿勢を追跡するモーションキャプチャ方法において、
上記対象人物の観測画像から各関節が連結されたキネマティクスモデルを生成する生成工程と、
上記キネマティクスモデルの関節間の連結拘束及び前時刻の予測位置に基づいて上記対象人物の各関節の現時刻の予測位置を階層的に算出し、現時刻の各関節及び肢体の３次元位置と姿勢を予測する予測工程と、
上記予測工程で予測された現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を２次元画像上に射影する射影工程と、
上記射影工程で射影された射影位置の信頼性を上記対象人物の観測画像に基づいて評価する評価工程と、
上記信頼性の評価結果に基づいて上記現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を推定する推定工程と
を有することを特徴とするモーションキャプチャ方法。
【請求項１０】
対象人物の各関節及び肢体の３次元位置と姿勢を追跡する処理を実行させるモーションキャプチャプログラムにおいて、
上記対象人物の観測画像から各関節が連結されたキネマティクスモデルを生成する生成工程と、
上記キネマティクスモデルの関節間の連結拘束及び前時刻の予測位置に基づいて上記対象人物の各関節の現時刻の予測位置を階層的に算出し、現時刻の各関節及び肢体の３次元位置と姿勢を予測する予測工程と、
上記予測工程で予測された現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を２次元画像上に射影する射影工程と、
上記射影工程で射影された射影位置の信頼性を上記対象人物の観測画像に基づいて評価する評価工程と、
上記信頼性の評価結果に基づいて上記現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を推定する推定工程と
を有することを特徴とするモーションキャプチャプログラム。
【請求項１】
対象人物の各関節及び肢体の３次元位置と姿勢を追跡するモーションキャプチャ装置において、
上記対象人物の観測画像から各関節が連結されたキネマティクスモデルを生成する生成手段と、
上記キネマティクスモデルの関節間の連結拘束及び前時刻の予測位置に基づいて上記対象人物の各関節の現時刻の予測位置を階層的に算出し、現時刻の各関節及び肢体の３次元位置と姿勢を予測する予測手段と、
上記予測手段で予測された現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を２次元画像上に射影する射影手段と、
上記射影手段で射影された射影位置の信頼性を上記対象人物の観測画像に基づいて評価する評価手段と、
上記信頼性の評価結果に基づいて上記現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を推定する推定手段と
を備えることを特徴とするモーションキャプチャ装置。
【請求項２】
上記観測画像から距離画像を生成する距離画像生成手段と、
上記観測画像から顔領域の位置及び距離を検出する顔検出手段と、
上記距離画像及び顔の距離に基づいて対象人物を前景とするマスク画像を生成するマスク生成手段と
上記顔領域の色ヒストグラムを算出する色分布算出手段と、
上記顔領域の位置及び距離に基づいて所定位置に手検出ウィンドウを生成する手検出ウィンドウ生成手段と、
上記顔領域の色ヒストグラム、上記手検出ウィンドウの位置及び上記マスク画像に基づいて手の位置及び距離を検出する手検出手段と、
上記顔の位置及び距離と、上記手の位置及び距離とに基づいて上記キネマティクスモデルの各関節位置を算出する関節位置算出手段と
をさらに備えることを特徴とする請求項１記載のモーションキャプチャ装置。
【請求項３】
上記関節位置算出手段は、上記マスク画像の前景領域の肘の関節のＹ軸上の中央値を肘の関節のＹ座標とし、上記マスク画像の前景領域の上腕部のＹ軸上の中央値を上腕部のＹ座標として上腕部の近似直線を求め、肩の関節のＸ軸上と上記近似直線上との交点を、肩の関節の位置として算出することを特徴とする請求項２記載のモーションキャプチャ装置。
【請求項４】
上記生成手段は、上記観測画像から対象人物の視差画像を推定し、該視差画像を３次元空間に逆射影することによって、上記対象人物の各関節及び肢体の３次元位置と姿勢を算出し、キネマティクスモデルを生成することを特徴とする請求項１記載のモーションキャプチャ装置。
【請求項５】
上記射影手段は、上記予測手段によって予測された現時刻の各関節及び肢体の３次元位置と姿勢を、カメラキャリブレーションで得られた射影行列によって３次元空間の位置に対応する２次元画像上の射影位置を求めることにより、上記２次元画像上に射影することを特徴とする請求項１記載のモーションキャプチャ装置。
【請求項６】
上記評価手段は、上記射影位置に対応する観測画像の画像情報と、予め保存された各関節及び肢体の画像情報との相似性を計算し、上記信頼性を評価することを特徴とする請求項１記載のモーションキャプチャ装置。
【請求項７】
上記推定手段は、上記射影手段で射影された射影位置に対する評価値に基づいて、上記現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を推定することを特徴とする請求項１記載のモーションキャプチャ装置。
【請求項８】
同一の対象人物を撮影できるように少なくとも２台以上のカメラを配置するとともに、これらの位置関係及びカメラパラメータを予め有する画像観測手段をさらに備えることを特徴とする請求項１記載のモーションキャプチャ装置。
【請求項９】
対象人物の各関節及び肢体の３次元位置と姿勢を追跡するモーションキャプチャ方法において、
上記対象人物の観測画像から各関節が連結されたキネマティクスモデルを生成する生成工程と、
上記キネマティクスモデルの関節間の連結拘束及び前時刻の予測位置に基づいて上記対象人物の各関節の現時刻の予測位置を階層的に算出し、現時刻の各関節及び肢体の３次元位置と姿勢を予測する予測工程と、
上記予測工程で予測された現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を２次元画像上に射影する射影工程と、
上記射影工程で射影された射影位置の信頼性を上記対象人物の観測画像に基づいて評価する評価工程と、
上記信頼性の評価結果に基づいて上記現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を推定する推定工程と
を有することを特徴とするモーションキャプチャ方法。
【請求項１０】
対象人物の各関節及び肢体の３次元位置と姿勢を追跡する処理を実行させるモーションキャプチャプログラムにおいて、
上記対象人物の観測画像から各関節が連結されたキネマティクスモデルを生成する生成工程と、
上記キネマティクスモデルの関節間の連結拘束及び前時刻の予測位置に基づいて上記対象人物の各関節の現時刻の予測位置を階層的に算出し、現時刻の各関節及び肢体の３次元位置と姿勢を予測する予測工程と、
上記予測工程で予測された現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を２次元画像上に射影する射影工程と、
上記射影工程で射影された射影位置の信頼性を上記対象人物の観測画像に基づいて評価する評価工程と、
上記信頼性の評価結果に基づいて上記現時刻の対象人物の各関節及び肢体の３次元位置と姿勢を推定する推定工程と
を有することを特徴とするモーションキャプチャプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００７−３３３６９０（Ｐ２００７−３３３６９０Ａ）
【公開日】平成１９年１２月２７日（２００７．１２．２７）
【国際特許分類】
【出願番号】特願２００６−１６９０７０（Ｐ２００６−１６９０７０）
【出願日】平成１８年６月１９日（２００６．６．１９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１９年１２月２７日（２００７．１２．２７）
【国際特許分類】
【出願日】平成１８年６月１９日（２００６．６．１９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]