モーションキャプチャ方法、モーションキャプチャ装置、及びモーションキャプチャ用マーカ
少数のマーカを用いて人体等の多関節体の構成要素の位置情報と角度情報を取得するために、多関節体の各構成要素が備える制約条件を利用し、少数のマーカから得られたある構成要素の位置情報から、この制約条件を満足するような他の構成要素の姿勢候補を抽出し、この姿勢候補と多関節体の画像との重ね合わせにより角度情報を取得する。
【発明の詳細な説明】
【技術分野】
本発明は、現実世界の物体の動きを計算機上に取り込むモーションキャプチャに関する。
【背景技術】
工業、医学の他、スポーツなど種々の分野において、現実の世界にある物体を計算機上に取り込み、計算機上で種々の処理を行うことが試みられている。例えば、人や物の移動あるいは物体の形状の情報を取得して、人や物の移動解析や、仮想空間の形成等に利用される。
しかし、実際に評価したい人や物体は様々な環境下で作業を行うため、必ずしもこれら情報を取得するに適した場所ではない。また、現実世界を行われている事象をそのまま計算機上に取り込むには、人や物体等の対象物やその周辺環境に時間をとらせず、作業に支障が生じないことが必要である。
従来、このような現実の世界にある物体を計算機上に取り込む手法として、モーションキャプチャと呼ばれるものが知られている。このモーションキャプチャは、人などの動体の動きをシミュレートするものである。
モーションキャプチャとして、例えば機械式、磁気式、光学式が知られている。機械式のモーションキャプチャでは、演技者の体に角度検出器や感圧器を取り付け、関節部の折れ曲がり角度を検出することにより演技者の動きを検出し、磁気式のモーションキャプチャでは、演技者の身体の各部に磁気センサを取り付け、人工的に生成された磁場の中で演技者を動かして、磁力線の密度と角度を磁気センサによって検出することにより、磁気センサが存在する絶対的な位置を導出して演技者の動きを検出する。
また、光学式のモーションキャプチャでは、演技者の体の動きを計測したい場所にマーカを取り付け、このマーカをカメラで撮像することにより、マーカの位置から各部の動きを計測する。
何れの方式においても被験者に検出器やセンサあるいはマーカを取り付ける必要があり、被験者の負担となっている。高精度が得られる光学式のモーションキャプチャにおいても、人体全体の動きを取得するには数十個のマーカを装着する必要があり、その用途が限定される。
これに対して、被験者に対して負担のかからないモーションキャプチャも提案されている。このモーションキャプチャは、多視点カメラの画像を用いて、仮想の３次元人体モデルとの対応をとることにより、非接触により人体の動きを取り込む。このような多視点映像とモデルとのマッチングを行う方法として、例えば、文献１，２がある。文献１では、各画像において被験者にみを切り出したシルエット画像と、３次元モデルとを重ね合わせて評価することにより姿勢を推定する。また、文献２では、現在の画像と次の画像との差分を求め、この差分を用いて姿勢を決定する方法である。
文献： 電子情報通信学会論文誌 Ｄ−ＩＩ Ｖｏｌ．Ｊ８２−Ｄ−ＩＩ Ｎｏ．１０ ｐｐ．１７３９−１７４９ １９９９年１０月
「動きと形成モデルによる人物の姿勢決定」
文献２： 電子情報通信学会論文誌 Ｄ−ＩＩ Ｖｏｌ．Ｊ８０−Ｄ−ＩＩ Ｎｏ．６ ｐｐ．１５８１−１５８９ １９９７年６月
【発明の開示】
上記したマーカを用いない非接触型のモーションキャプチャは、動きを決定するための要素を画像から取得する必要があり、そのため、動きの抽出精度や解析処理時間の点で実用レベルに達していない。
これは、人体が採り得る姿勢の数が膨大であるため、画像処理で扱うデータ量が多くなり、正確な姿勢を高速に抽出することが困難であるためである。例えば、人体を図１３に示すような３次元人体モデルで表したとき、２軸方向あるいは３軸方向に自由度を持つ構成要素で構成され、人体モデルの姿勢はこれらの構成要素を回転させることで表される。構成要素は互いに階層構造を形成し、各構成要素の回転動作は下位の構成要素に反映される。したがって、各構成要素がとりうる場合の数Ｍは、自由度の数をｎとし、各自由度で評価する数をＰとしたとき、Ｍ＝Ｐｎで表される。
図１３で表される簡易な人体モデルであっても、全自由度は２９であるため、各自由度について１００回動かして評価すると、評価数ＭはＭ＝１００２９となる。
このように、人体等の複数の構成要素が互いに関節で接続されてなる多関節体の姿勢を、マーカを用いない非接触型のモーションキャプチャにより取得するには、その姿勢の数が多いことから膨大な演算処理が必要であり、正確にかつ高速で処理することは困難である。さらに、動いている多関節体を実時間で処理することは困難である。
したがって、従来提案されている光学式のモーションキャプチャにおいて、マーカを用いたモーションキャプチャでは、多数のマーカを取り付けることにより被験者に対する負担が大きいという問題があり、一方、マーカを用いないモーションキャプチャではマーカ装着による負担はないものの、とりうる姿勢の数が多いことから解析処理時間と抽出精度の点で問題がある。
したがって、実時間で人体等の多関節体の姿勢を決定するためには、被験者等に対する負担が少なく、かつ解析処理時間が短く抽出精度が高いモーションキャプチャが求められている。
そこで、本発明は前記した従来の問題点を解決し、モーションキャプチャにおいて、マーカを装着することによる負担を少なくし、かつ解析処理時間を短縮し、高い抽出精度を得ることを目的とする。
本発明は、装着するマーカの個数を少なくすることでマーカ装着による負担を軽減し、また、マーカにより得られる位置情報と構成要素間を関係付ける制約条件とを用いることによって採り得る姿勢の数を減らし、これにより解析処理時間を短縮し、高い抽出精度を得る。
本発明は、モーションキャプチャ方法、モーションキャプチャ装置の各態様、及びこのモーションキャプチャに好適なマーカを含む。
複数の構成要素が互いに関節で接続されてなる多関節体の姿勢及び動作の決定において、多関節体の姿勢は多関節体を構成する構成要素の位置と互いの角度とにより定めることができ、また、多関節体の動作はこの姿勢の時間変化としてとらえることができる。したがって、モーションキャプチャが取得目的とする情報は、多関節体を構成する構成要素の位置情報と角度情報である。
本発明のモーションキャプチャは、少数のマーカを用いて人体等の多関節体の構成要素の位置情報と角度情報を取得する
ここで、多関節体の各構成要素は、構成要素の距離（長さ）や、互いに採り得る角度関係等について制約条件を備えている。例えば、人体を構成する上腕と前腕は肘関節により連接されており、上腕や前腕の長さ、上腕と前腕との距離、上腕に対して前腕が採る得る角度には人体構造上から制限があり、この制限を越えた位置や角度をとることはできない。したがって、これらの距離や角度は構成要素の採り得る制約条件となる。
通常、マーカを用いて人体等の多関節体の構成要素の位置情報と角度情報を取得するには、各構成要素に多数のマーカを取り付ける必要があり、少数のマーカを取り付けただけでは、充分な位置情報や角度情報を取得することができず、多関節体の姿勢を決定することはできない。
本発明は、少数のマーカを用いて人体等の多関節体の構成要素の位置情報と角度情報を取得するために、多関節体の各構成要素が備える制約条件を利用する。本発明のモーションキャプチャは、少数のマーカから得られたある構成要素の位置情報から、この制約条件を満足するような他の構成要素の姿勢候補を抽出し、この姿勢候補と多関節体の画像との重ね合わせにより角度情報を取得する。このように、多数の姿勢の中から位置情報で定まる制約条件を満足する姿勢を絞り込むことで、評価する姿勢の数を減少させる。このように、姿勢決定に際して評価すべき姿勢の数を減少させることにより、解析時間を短縮し、姿勢抽出の精度を高める。
そこで、本発明のモーションキャプチャ方法の第１の態様は、複数の構成要素が互いに関節で接続されてなる多関節体の姿勢及び動作の決定において、多関節体を構成する構成要素の特定部位の位置情報を求め、位置情報と複数の構成要素を互いに関係付ける制約条件とに基づいて位置情報で定まる制約条件を満たす各構成要素間の角度情報を求め、位置情報及び角度情報とにより多関節体の姿勢及び動作を決定する。
位置情報を構成要素の特定部位から取得し、他の角度情報は制約条件を利用して取得することにより、多関節体が備える全ての構成要素について位置情報を取得することなく多関節体の姿勢を取得することができる。
本発明のモーションキャプチャ方法の第２の態様は、複数の構成要素が互いに関節で接続されてなる多関節体の姿勢及び動作の決定において、複数の構成要素を互いに関係付ける距離及び角度の制約条件を予め定めておき、少なくとも一つの構成要素を挟んで連接される構成要素の特定部位に個々に識別可能なマーカを設け、このマーカを含む多関節体の画像を求める。特定部位の位置情報は、求めた画像中のマーカの位置から求める。また、構成要素の角度情報は、画像中の多関節体の像と求めた位置情報と複数の構成要素を互いに関係付ける制約条件とに基づいて行い、位置情報で定まる制約条件を満たす各構成要素間の角度情報の中から多関節体の像に一致する角度情報を求めことで取得する。この位置情報及び角度情報とにより多関節体の姿勢及び動作を決定する。
各マーカはそれぞれ個別識別が可能であり、マーカを識別することによりマーカの取り付け位置を識別することができる。また、マーカが取り付けられる構成要素は、間に他の構成要素を挟んで配置する。これにより、人体等の多関節体に取り付けるマーカを間引いて配置することができ、姿勢取得に要するマーカの個数を少数とすることができる。
本発明のモーションキャプチャ方法の第３の態様は、複数の構成要素が互いに関節で接続される多関節体の姿勢及び動作の決定において、複数の構成要素を互いに関係付ける制約条件、及び多関節体の構成要素の姿勢を表す複数のモデルを予め定めておき、少なくとも一つの構成要素を挟んで連接される構成要素の特定部位に設けられた個々に識別可能なマーカを含む多関節体の画像を求める。特定部位の位置情報は、求めた画像中のマーカの位置から求める。また、構成要素の角度情報は、複数のモデルから位置情報により定まる制約条件に適合するモデルを抽出し、抽出したモデルの中から画像中の多関節体の像に最も近似するモデルを抽出し、抽出したモデルの構成要素間の角度から多関節体の構成要素の角度情報を求める。この位置情報及び角度情報とにより多関節体の姿勢及び動作を決定する。
従来のマーカを用いないモーションキャプチャは、この制約条件を用いずに全てのモデルについて取得した画像との重ね合わせを評価するものであり、階層的に連接された構成要素が採り得る姿勢の数は、構成要素の個数及びその自由度の乗数で増加するため膨大な数となる。多関節体を構成する構成要素の個数を増やしてより詳細なモデルを設定する場合には、さらに採り得る姿勢の数が増加することになる。
これに対して、本発明のモーションキャプチャでは、評価すべき姿勢であるモデルの個数を減らすことができるため、解析時間を短縮することができ、実時間（リアルタイム）での動作解析に近づけることが可能となる。
また、本発明のモーションキャプチャの第４の態様は、人体及び人体の特定部位に取り付けたマーカの画像を取得し、この画像からマーカを個々に識別して抽出して人体の特定部位の位置情報を求め、予め用意したモデルの中から特定部位の位置情報に基づいて抽出したモデルと取得画像との像合わせにより人体の構成要素の角度情報を求め、求めた位置情報及び角度情報から人体の姿勢を決定する。
モデルの抽出は、特定部位の位置により定まる人体姿勢の制約条件に適合する少なくとも１つのモデルを選出することにより行う。画像とモデルとの像合わせは、抽出したモデルの中から画像中の人体画像に最も近似するモデルを選出することにより行う。近似するモデルの選出は、例えば、構成要素上に設けた頂点について、画像とモデルとの距離を各姿勢について求め、その距離が最も短くなる姿勢が得られるモデルを選出する。角度情報は選出したモデルにおいて、構成要素の角度から求めることができる。
本発明のモーションキャプチャは、マーカの識別をマーカが発光する少なくとも２つの異なる色の組み合わせにより行い、また、色の組合せのいずれか一つの色の位置からマーカ位置を求める。これにより、各マーカの個別識別を行うことができると共に、位置情報を取得することができる。
特定部位は、人体中の腰部、肘部、及び膝部とすることができる。この各部の左右両側にマーカを設けた場合であってもマーカの個数は６個ですみ、少数のマーカにより被験者の負担を減少させることができる。
本発明のモーションキャプチャ装置の第１の態様は、複数の構成要素が互いに関節で接続される多関節体の姿勢及び動作を決定するモーションキャプチャ装置であって、多関節体を構成する構成要素の特定部位の位置情報を求める位置検出手段と、位置情報と前記複数の構成要素を互いに関係付ける制約条件とに基づき、位置情報で定まる制約条件を満たす各構成要素間の角度情報を求める角度検出手段とを備えた構成とし、検出した位置情報及び角度情報とにより多関節体の姿勢及び動作を決定する。
本発明のモーションキャプチャ装置の第２の態様は、複数の構成要素が互いに関節で接続される多関節体の姿勢及び動作を決定するモーションキャプチャ装置であって、複数の構成要素を互いに関係付ける制約条件、及び多関節体の構成要素の姿勢を表す複数のモデルを予め記憶する記憶手段と、少なくとも一つの構成要素を挟んで連接される構成要素の特定部位に設けられた個々に識別可能なマーカを含む多関節体の画像を求める画像取得手段と、画像中のマーカの位置から特定部位の位置情報を求める位置情報検出手段と、複数のモデルから、特定部位の位置により定まる多関節体の制約条件に適合するモデルを選択するモデル選択手段と、選択したモデルの中から画像中の多関節体の像に最も近似するモデルを抽出し、抽出したモデルの構成要素間の角度から多関節体の構成要素の角度情報を求めるマッチング手段とを備えた構成とし、位置情報及び角度情報とにより多関節体の姿勢及び動作を決定する。
また、本発明のモーションキャプチャに好適なマーカは、複数の構成要素が互いに関節で接続される多関節体の姿勢及び動作を決定するモーションキャプチャにおいて、多関節体の特定部位を識別するマーカであり、中央に配置する１つの第１の発光ダイオードと、第１の発光ダイオードに周囲に等角度間隔で配置する複数の第２の発光ダイオードを備えた構成とし、第１の発光ダイオードと第２の発光ダイオードは発光色を異にする。
第１及び第２の発光ダイオードによる発光を上方から撮像した場合には、中心に第１の発光ダイオードによる発光色と、その外周に第２の発光ダイオードによる発光色とからなる環状の画像が得られ、これらの２色の色の組合せにより各マーカを個別識別し、さらに多関節体上においてマーカが設けられた部位を特定することができる。
また、発光体のマーカを用いることにより影や照明に変化に対する色情報の変化う防ぐことができ、また、２色の色の組合せを用いることにより、対象物以外に同一色情報を持つ背景や物体があることによる誤認識や抽出精度の低下を防ぐことができる。
複数の第２の発光ダイオードを第１の発光ダイオードに周囲に等角度間隔で配置することにより、多関節体の姿勢にかかわらず画像への取りこぼしを少なくすることができる。
また、第１の発光ダイオードと第２の発光ダイオードとの間に遮光体を設ける構成とすることもできる。この遮光体により、画像上において２色に色が混じることを防ぐことができる。２色の混ざると、異なる色として識別されることになり、マーカの識別が困難となったり、誤認識の原因となる。遮光体は、画像上における２色に混色を防ぎ、マーカの識別を容易とする。
【図面の簡単な説明】
第１図は本発明のモーションキャプチャの概略を説明するための図であり、第２図は本発明のモーションキャプチャによる姿勢決定の手順を説明するためのフローチャートであり、第３図は本発明のモーションキャプチャによる姿勢決定の手順を説明するための構成要素の概略図であり、第４図は多関節体の構成要素を説明するための図であり、第５図は特定部位の抽出及び位置情報の算出手順の一例を説明するためのフローチャートであり、第６図はＨＳＩ表色系の双６角錘のカラーモデルであり、第７図は特定部位の抽出及び位置情報の算出手順の一例を説明するための説明図であり、第８図は本発明のモーションキャプチャ装置を説明するための図であり、第９図は本発明のモーションキャプチャにより人体の姿勢、動作を求める場合のマーカの取り付け位置を説明するための階層図であり、第１０図は本発明のモーションキャプチャにより人体の姿勢、動作を求める場合のマーカの取り付け位置を説明するためのモデル図であり、第１１図は本発明のモーションキャプチャに好適なマーカを説明するための図であり、第１２図は本発明のモーションキャプチャに好適なマーカを説明するための図であり、第１３図は人体モデルの一例を示す図である。
【発明を実施するための最良の形態】
以下、本発明の実施の形態について図を参照しながら説明する。
図１は、本発明のモーションキャプチャの概略を説明するための図である。図１において、はじめに多視点映像を取得する。多視点映像は、複数のカメラを配置することで取得する。各カメラで撮像された画像は、例えばフレーム単位で同期をとって取得する（図中のＡ）。取得した多視点映像はほぼ実時間で処理され、対象物である多関節体の位置情報及び角度情報を求め、姿勢、動作を求める。
位置情報は、多視点映像の各画像の中から、対象物である多関節体の特定部位を抽出し、その位置から求める（図中のＢ）。特定部位は、多関節体に構成要素上に定めた任意の部位である。
本発明のモーションキャプチャで求める位置情報は、多関節体に構成要素上に定めた特定部位に関するものであるため、この位置情報だけでは他の構成要素の姿勢を決定することはできない。
本発明は対象物の姿勢を決定する要素として、位置情報に加えて各構成要素の角度情報を用いる
本発明のモーションキャプチャは、多視点映像の各画像と予め定めておいたモデル（図中のＤ）とを重ね合わせ、画像と一致するモデルを抽出し、そのモデルの各構成要素の角度から角度情報を求める（図中のＣ）。この画像とモデルとの重ね合わせにより、最も画像に適合したモデルを抽出することをマッチングと呼ぶ。
本発明は、この角度情報の抽出において、多関節体を構成する構成要素間の関係を定める制約条件を利用する。多関節体では、特定部位と各構成要素との間に多関節体の特性に応じた関係があり、特定部位の位置が定まれば、他の構成要素はその関係を制約条件として定められ範囲内の姿勢をとり、この制約条件からはずれた姿勢をとることはできない。
本発明のモーションキャプチャは、特定部位の位置情報と上記制約条件を用いてマッチングを行うモデルを絞ることにより、マッチングに要する時間を短縮する。
以下、図２に示すフローチャート、及び図３に示す構成要素の概略図を用いて、本発明のモーションキャプチャによる姿勢決定の手順を説明する。
対象物である多関節体の周囲に配置した複数のカメラにより、多関節体の多視点画像を取得する。多視点画像は、それぞれ同期がとられたフレーム単位の画像で取得することができる。以下の処理は、これら多視点映像で取得された複数の画像により３次元上の位置及び角度を求めるが、図３では簡易的に２次元で説明する。
図３（ａ）は、多視点映像で取得された一画像を簡易的に示している。図で示す多関節体は、３つの構成要素がそれぞれ関節により互いの角度関係を変更可能に連接した構成例を示している。
図４は、この多関節体の構成要素を説明するための図である。ここで、多関節体１０は、構成要素１１，１２，１３で構成され、構成要素１１と構成要素１２は関節１４で回動可能に連接され、構成要素１２と構成要素１３は関節１５で回動可能に連接される。この多関節体１０において、構成要素１１の一方の端部を特定部位１６とし、構成要素１３の一方の端部を特定部位１７とする。これらの特定部位は、構成要素１２を間に挟む構成要素１１及び１３に設けられているが、連接する構成要素であれば、間には挟む構成要素は１つ以上とすることができる。ここで、各構成要素１１，１２，及び１３の長さ、あるいは各構成要素間の距離は、人体等の多関節体を構成する構造から定められている。
また、これらの長さや距離が定められているため、例えば、特定部位１６，１７の空間上の位置が定まれば、構成要素家１１，１２，及び１３の互いの角度関係はある範囲内に制限される。例えば、特定部位１６において構成要素１１がとり得る角度θ１０の範囲は−θ１１〜θ１２であり、特定部位１７において構成要素１３がとり得る角度θ４０の範囲は−θ４１〜θ４２である。また、関節１４において構成要素１２が構成要素１１に対してとり得る角度θ２０の範囲は−θ２１〜θ２２であり、関節１５において構成要素１３が構成要素１２に対してとり得る角度θ３０の範囲は−θ３１〜θ３２である。なお、ここでは、時計周りの角度は負の角度で示している。なお、図４では、画像から特定部位を抽出するために、特定部位１６にマーカＭ１を設け、特定部位１７にマーカＭ２を設けるものとする。
このように、多関節体を構成する各構成要素は、ある部位の位置が定められると、とり得る姿勢が制限され、これらの長さや角度は、とり得る姿勢の制約条件とみることができる。なお、図４に示す構成要素の関係は二次元で表しているが、多視点映像から得られる画像により、これらの関係及び制約条件は３次元上で設定される（ステップＳ１）。
ステップＳ１の工程で取得した画像から、はじめに位置情報を求める。位置情報を求めるために、画像から特定部位を抽出し（ステップＳ２）、抽出した特定部位の位置情報を求める。図３（ｂ）は、図３（ａ）の多関節体の画像から特定部位を抽出した状態を簡易的に表している。特定部位１６に設けたマーカＭ１を抽出することにより位置情報（ｘ１，ｙ１，ｚ１）を求め、特定部位１７に設けたマーカＭ２を抽出することにより位置情報（ｘ２，ｙ２，ｚ２）を求める。
ここで、特定部位の抽出及び位置情報の算出手順の一例について、図５のフローチャート、及び図７の説明図を用いて説明する。
ＣＣＤカメラ等の撮像手段で得られる画像は、通常ＲＧＢ信号で得られる。このＲＧＢ信号はその信号強度を、例えば０から２５５段階の階調値で表しているが、この階調値は明るさや色合い等の要素を混在した形態で含んでいるため、特定部位に設けたマーカを色で識別して抽出することができない。
本発明のモーションキャプチャは、各特定部位に設けたマーカを、そのマーカ毎に色分けすることにより識別して抽出し、これにより特定部位を特定している。そのため、画像中のマーカを色で識別する必要がある。
そこで、画像データのＲＧＢ信号をＨＳＩ信号に変換する。ＨＳＩ表色系は、色相（Ｈ：ｈｕｅ）、彩度（Ｓ：ｓａｔｕｒａｔｉｏｎ）、明度（Ｉ：ｉｎｔｅｎｓｉｔｙ）の３つの属性を備える。
ＲＧＢ表色系をＨＳＩ表色系に変換する方法として、以下の式が知られている。
Ｖ＝ｍａｘ（Ｒ，Ｇ，Ｂ），Ｘ＝ｍｉｎ（Ｒ，Ｇ，Ｂ）
Ｓ＝（Ｖ−Ｘ）／Ｖ
としたとき、
色相Ｈは、
Ｒ＝Ｖの場合，Ｈ＝（π／３）＊（ｂ−ｇ）
Ｇ＝Ｖの場合，Ｈ＝（π／３）＊（２＋ｒ−ｂ）
Ｂ＝Ｖの場合，Ｈ＝（π／３）＊（４＋ｇ−ｒ）
ただし、
ｒ＝（Ｖ−Ｒ）／（Ｖ−Ｘ）
ｇ＝（Ｖ−Ｇ）／（Ｖ−Ｘ）
ｂ＝（Ｖ−Ｂ）／（Ｖ−Ｘ）
図６はＨＳＩ表色系の双６角錘のカラーモデルである。例えば、色相（Ｈ）は、ｒｅｄを０°としてｙｅｌｌｏｗ，ｇｒｅｅｎ，ｃｙａｎ，ｂｌｕｅ，ｍａｇｅｎｔａの順で角度値で表すことができる。なお、この色相数は一例であって他の色相数としてもよい。また、明度（Ｖ）についても数値で表することができる。
したがって、色相（Ｈ）及び明度（Ｖ）について、あらかじめ所定のマーカが発する色に応じて、色相（Ｈ）及び明度（Ｖ）を識別するために閾値を定めておき、変換して得られた色相信号及び明度信号をこの閾値で選別することにより、色で区分した個々のマーカを識別することができる。なお、ここでは、彩度はマーカの識別には使用しない（ステップＳ１１）。
そこで、変換して得られた明度信号（Ｖ）を予め設定しておいた閾値と比較することにより選別し、画像中の高輝度の部分を値する。図７（ａ）は画像中から高輝度の部分を抽出した例を模式的に示している（ステップＳ１２）。
次に、特定部位のマーカの色情報を基にして、色相信号（Ｈ）を予め設定しておいた色相の閾値と比較することにより選別し、画像中の高輝度の部分から特定部位（マーカ）が存在する領域を抽出する。図７（ｂ）は画像中の高輝度の部分から特定部位を抽出した例を模式的に示している（ステップＳ１３）。
色相による抽出では、マーカ等の特定部位の色部分が面積を持つため画像上では、複数の画素に渡る領域として検出される。そこで、特定部位の位置を定めるために、ステップＳ１３で検出した特定部位の領域から特定部位の位置を算出する。特定部位の位置を算出は、輝度のピーク位置の算出、領域の重心位置の算出、輝度を用いて重み付けした重心位置の算出等の任意の演算方法を用いることができる。
なお、発光ダイオード等の発光体は発光状態が一様とは限らず、同一マーカの領域内であっても発光部分とその周囲では色に差が生じることがある。この色変化により、本来ならば連結している領域が分断されている場合がある。これを補うために、画像上の領域を膨張あるいは収縮させる処理を行っても良い。これらの特定部位の位置情報は、多視点映像により異なる配置位置のカメラにより複数得られ、各カメラ、各フレームで行う。図７（ｃ）は画像中で抽出した特定部位の位置例を模式的に示している（ステップＳ１４）。
得られた位置情報はカメラ座標系であるため、実空間における位置座標を取得するには、画像上の位置座標から実空間における位置座標に変換する必要がある。カメラ座標系と実空間座標系との間は、回転行列と平行移動行列の組合せにより変換することができる。なお、このとき、カメラ座標系上に位置と実空間座標系上に投影された位置との間において光学系により生じる非線形は、焦点距離やレンズのひずみ係数等のパラメータにより補正することができる（ステップＳ１５）。
次に、各カメラで得られた特定部位の位置を用いて３次元位置データを算出する。画像中のマーカを、カメラ座標系から現実座標系に重みを考慮して変換する方法として、Ｔｓａｉの手法が知られている。
現実座標系においてマーカ位置の３次元位置の算出は、例えば、図７（ｄ）において、各カメラ画像から延びた複数の直線の交点を求めることに対応する。なお、実際には、カメラパラメータの誤差により、直線の角度にずれが生じるため、一点で交差しない場合がある。このような場合には、直線間の距離が最小となる直線上の中点を直線の交点とすることで求めるようしてもよい。また、ｎ本の直線の組合せにおいて中点を求め、これらの中点の平均をマーカの３次元位置とする（ステップＳ１６）。これにより、特定部位に位置情報を求める（ステップＳ３）。
次に、ステップＳ４〜ステップＳ８の工程で、構成要素の角度情報を求める。
前記ステップＳ３で取得した位置情報で定まる制約条件に基づいて、とり得るモデルを選択する。モデルは、対象物である多関節体の種々の姿勢についてに予め求めておき、また、この多関節体について各構成要素の長さや互いの距離関係や角度関係について、その大きさや許容範囲を制約条件として設定しておく。この制約条件は、例えば、特定部位の位置に対して、各構成要素の相互の角度の許容範囲を定めておくことができる。許容範囲は、数値で表すことも、あるいは相互の関係を表す関数で表すこともできる。
制約条件による選別を行わない場合には、画像と一致するモデルを選択するには、用意した全てのモデルについて、モデルと画像との位置関係を変化させながら重ね合わせ状態を評価しなければならない。これに対して、制約条件を適用することにより、画像との重ね合わせを行うモデルの個数を絞ることができ、マッチング処理の演算量を減らすことができる。
図３（ｃ）はモデルの選択を模式的に示している。例えば、構成要素のモデルとしてｃ−１，ｃ−２，ｃ−３があるとしたとき、このモデルの中から制約条件を満足するモデルを選択する。ここでは、例えば、各構成要素のとり得る角度範囲を制約条件としてモデルを選択する場合を示している。
ｃ−１，ｃ−２，ｃ−３のモデルの内で、ｃ−１，ｃ−３のモデルが制約条件を満たし、ｃ−２のモデルが制約条件を満たさない場合には、ｃ−１，ｃ−３のモデルを選択する（ステップＳ４）。
ステップＳ４で選択したモデルと画像との重ね合わせを行って画像とモデルのモデルを行う。画像とモデルとのマッチングは、例えば、３次元モデルを仮想空間上に配置し、このモデルの姿勢を変えながらモデル上の明度や彩度の分布をヒストグラムとして求めておき、画像についても同様に明度や彩度の分布のヒストグラムを求め、このヒストグラムの近似を評価することで行うことができる（ステップＳ５）。上記の画像とモデルとのマッチングを選択した全てのモデルについて行う。この際、とり得る全ての姿勢について全て評価する方法の他に、非線形の最小二乗法や遺伝的アルゴリズム等を用いて、ある評価関数を最小にするようにして求めることができる。
例えば、あるパラメータ値（θや位置）を仮定して評価値を求め、その結果を基にパラメータを変化させて評価を繰り替えし、最小の評価値を求めることにより得ることができる。この評価関数は、シルエット画像による結果やオプティカルフローによる結果とモデルとの比較で決まるずれの度合いを表すものである（ステップＳ６）。画像と選択した全てのモデルとのマッチングにおいて、画像に最も近いモデルを求める。図３（ｄ）は、このマッチングの処理を模式的に表している（ステップＳ７）。
ステップＳ７において求めた最適なマッチングで得れらたモデルから、構成要素の角度情報を求める。図３（ｅ）は求めたモデルから角度情報（θ１〜θ４）を求める状態を示している（ステップＳ８）。
前記ステップＳ３で求めた位置情報と、前記ステップＳ９で求めた角度情報とから、多関節体の姿勢を求める。この姿勢を各フレーム取得について行うことにより、多関節体の動きをほぼ実時間で求めることができる。
次に、本発明のモーションキャプチャ装置について図８を用いて説明する。
モーションキャプチャ装置１は、人体等の多関節体の多視点映像を撮像して画像を取得する画像取得手段２と、この画像から構成要素の位置情報、及び角度情報を求める演算手段３を備え、位置情報と角度情報とにより多関節体の姿勢及び動作を決定する。
画像取得手段２は、少なくとも一つの構成要素を挟んで連接される構成要素の特定部位に設けられた個々に識別可能なマーカを含む多関節体の画像を求める。多視点画像を取得するために複数のカメラを配置してなり、各画像フレームは同期がとられている。
演算手段３は、画像中の特定部位（マーカ）を検出する検出手段３ａと、特定部位（マーカ）の位置情報を求める位置情報検出手段３ｂと、複数の構成要素を互いに関係付ける制約条件や、多関節体の構成要素の姿勢を表す複数のモデルを予め記憶する記憶手段３ｃと、複数のモデルから特定部位の位置により定まる多関節体の制約条件に適合するモデルを選択するモデル選択手段３ｄと、選択したモデルの中から画像中の多関節体の像に最も近似するモデルを抽出し、抽出したモデルの構成要素間の角度から多関節体の構成要素の角度情報を求めるマッチング手段３ｅとを備える。
なお、演算手段３が備える各手段は、演算手段が行う各機能を説明するものであり、必ずしも各機能を実行するハードウエアを備えるものではなく、ソフトウエアで実行することができる。
次に、本発明のモーションキャプチャにより人体の姿勢、動作を求める場合のマーカの取り付け位置について図９，１０を用いて説明する。
人体は、複数の構成要素が関節で連接された多関節体としてとらえることができ、この構成要素を階層状に連接して表すことができる。なお、構成要素は任意に設定することができる。図９，１０は一つのモデルを示しており、他の構成要素の組合せで設定することもできる。
図９に示すモデルでは、腰部を階層の上層とし、上半身については胸部、上腕部（左上腕部、右上腕部）及び頭部、前腕部（左前腕部、右前腕部）手（左手、右手）の順で下層に連接されて表され、下半身については腿（左腿、右腿）、脛（左脛、右脛）、足（左足、右足）の順で下層に連接されて表される。
このモデルは測定対象である人体について用意し、モデルで表される各層は前記した多関節体の構成要素に該当する。各構成要素について、その長さ、構成要素間の距離や角度等について制約条件を設定する。
モーションキャプチャにおいては、人体の多視点映像を取得し、得られた画像から前記した工程に従って各構成要素の特定部位の位置情報と角度情報を求めることにより、人体の姿勢及び動作を取得する。
ここで、特定部位の位置情報を求めるために人体の特定部位にマーカを取り付ける。マーカは人体の全構成要素に設けるのではなく、少数のマーカを用いてモデルの構成要素の内から選択した部分に取り付ける。取り付けるマーカの数は、被験者の負担に成らない程度とし、また、マーカの取り付け位置は、人体が種々の姿勢をとった場合においても、マーカが画像上に常に写し込まれるような部位を選択する。
また、マーカの取り付け位置において、モデルと画像とのマッチング処理における演算の複雑さを考慮して、マーカを取り付ける構成要素の間に適当な階層間隔を設ける。モデルと画像とのマッチングでは、特定部位の位置情報で定まる制約条件によってとり得るモデルの数を低減させているが、特定部位間の構成要素の数が多ければとり得るモデルの数も増加する。そこで、人体の姿勢、動作の決定において、全演算量が少なくなるような適当な間隔の特定部位にマーカを取り付ける。
図９、１０に示すモデルでは、階層の上位である腰部にマーカを取り付け、上半身では上腕と前腕の関節部にマーカを取り付け、下半身では腿と脛の関節部にマーカを取り付ける。腰部については両側に取り付け、上腕と前腕の関節部及び腿と脛の関節部については左右の両側に取り付ける。
これにより、合計６個のマーカを人体に取り付け、これにより腰部の位置情報、左右の両肘の位置情報、及び左右の両膝の位置情報を求める。また、角度情報については、例えば、胸部や上腕部の角度情報は、腰部の位置情報と肘部の位置情報で定まる胸部と上腕部の制約条件を用いることにより、胸部と上腕部がとり得る姿勢の中から評価する姿勢を抽出して処理数を減少させて、モデルと画像とのマッチングにより求める。
次に、本発明のモーションキャプチャに好適なマーカについて、図１１，１２を用いて説明する。図１１（ａ）はマーカの断面図であり、図１１（ｂ）は図１１（ａ）中のＥ−Ｅで示す位置から下方を見た図である。
マーカ２０は、一つの第１の発光ダイオード２１と、複数の第２の発光ダイオード２２を含む複数の発光ダイオード（ＬＥＤ）を備える。第１の発光ダイオード２１は特定部位の位置情報を取得するために用い、第２の発光ダイオード２２は、各マーカを識別して特定部位を他の特定部位から区別するために用いる。このマーカの識別は、第１の発光ダイオード２１と第２の発光ダイオード２２とは発光色を異ならせ、この発光色の組合せによりマーカの識別を行う。発光色の組合せは、ＨＳＩ表色系において互いの色相角度を対称となるようにして、閾値により識別が容易となる組合せを選択する。例えば、中央の発光ダイオードの色をｒｅｄとし、周囲の発光ダイオードの色をｂｌｕｅとする組合せ、中央の発光ダイオードの色をｒｅｄとし、周囲の発光ダイオードの色をｇｒｅｅｎとする組合せ、あるいは中央の発光ダイオードの色をｙｅｌｌｏｗとし、周囲の発光ダイオードの色をｂｌｕｅとする組合せ等の組合せを選択する。
異なる色の組合せとすることにより、画像中の背景等にマーカと同色の部分が存在する場合であっても、これらの部分との区別を容易に行うことができる。
マーカ２０は、ベース２３の上方に第１の発光ダイオード２１を配置し、その下方の周囲に複数個の第２の発光ダイオード２２を環状に配置する。また、ベース２１上には各発光ダイオードの電源２５が設けられる。電源２５は、例えばボタン電池を用いることができる。なお、図中の符号２６は、電源２５と発光ダイオードとの接続を制御するスイッチであり、例えば、取り外し自在な絶縁体とし、この絶縁体を取り外すことにより発光ダイオードを発光させることができる。
第２の発光ダイオード２２は、図１１（ｂ）に示すように、第１の発光ダイオード２１の周囲に等角度間隔で、その発光方向を等角度間隔となるように配置する。発光ダイオードは、通常、指向性を有する。人体は種々の姿勢をとるため、カメラに対するマーカの写り込みを良好とするには、マーカの発光は指向性がないことが望ましい。そこで、複数の発光ダイオードの発光方向を等角度間隔でずらして配置する。図１１（ｂ）では、５つの第２の発光ダイオード２２をそれぞれ例えば７２°の方向となるように配置する。なお、第２の発光ダイオード２２の配置数は任意とすることができるが、発光ダイオードの物理的な大きさと、負担が少ないマーカの大きさとの関係、及び取得画像での検出状態等の各種条件を考慮して設定する。
マーカ２０は、これらの発光ダイオード２１，２２や電源２５等を内部に収納する透光性を有するカバー２４を備える。発光ダイオード２１，２２の光は、カバー２４と通して外部に発光される。このカバー２４の内面あるいは外面を散乱面としたり、カバー２４を構成する素材を光の散乱体としてもよい。カバー２４に散乱性を持たせることにより、発光ダイオードの発光はカバー２４によって散乱され、カメラに対する写し込みを向上させることができる。
第１の発光ダイオード２１と第２の発光ダイオード２２との間に遮光体２８を設置位置を変更可能に備える。遮光体２８は、第１の発光ダイオード２１の発光と第２の発光ダイオード２２の発光とが、画像上において混じり合って、発光ダイオードの発光色とは異なる色を生じないようにするためである。画像上においてマーカ部分に異なる色が生じた場合には、マーカの識別が困難となったり、マーカ位置を誤って検出する要因となるおそれがある。
遮光体２８は、第１の発光ダイオード２１が発する光と第２の発光ダイオード２２が発する光との間に位置することにより、画像上に写し出される第１の発光ダイオード２１と第２の発光ダイオード２２の像間を分離させ、両光の混合を防止する。
遮光体２８は、中央部に開口部を有する環状体とし、開口部にマーカ２１のカバー２４の突出部分を通すことにより取り付けることができる。また、遮光体２８の素材を弾性材とすることにより、カバー２４への取り付けを容易とすることができる。また、カバー２４の外周面の周囲に環状の窪み部分２７を設け、この窪み部分２７にカバー２４をはめ込むことで取り付けることもできる。窪み部分２７はカバー２４の上下方向に多段に形成してもよく、これによりカバー２４への取り付け位置を変更することができる。
図１２（ａ），（ｃ）は、遮光体２８を窪み部分２７の下段に取り付けた状態を示し、図１２（ｂ），（ｄ）は、遮光体２８を窪み部分２７の上段に取り付けた状態を示している。遮光体２８の取り付け位置を変更することにより、画像に映し出される第２の発光ダイオード２２の環状部分の面積が増減する。この第２の発光ダイオード２２の発光面積を調整することにより、人体とカメラとの距離や、背景色の状態、照明状態等の撮像環境に応じてマーカの像を調整し、マーカの識別を良好とすることができる。
本発明の態様によれば、取り付けるマーカの数を少数とすることができ、被験者の負担を軽減することができ、少ない負担で位置情報と角度状態を取得することができる。
本発明の態様によれば、画像とモデルとのマッチングにおいて、評価するモデルの個数を少なくすることができるため、処理時間を短縮することができ、姿勢や動きの実時間（リアルタイム）処理に近づけることができる。また、同じ処理時間であれば、測定精度を高めることができる。
以上説明したように、本発明によれば、モーションキャプチャにおいて、マーカを装着することによる負担を少なくすることができ、かつ解析処理時間を短縮し、高い抽出精度を得ることができる。
【産業上の利用の可能性】
本発明は、人や物等の移動体の解析や仮想空間の形成に利用することができ、工業、医学、スポーツ等の分野に適用することができる。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【技術分野】
本発明は、現実世界の物体の動きを計算機上に取り込むモーションキャプチャに関する。
【背景技術】
工業、医学の他、スポーツなど種々の分野において、現実の世界にある物体を計算機上に取り込み、計算機上で種々の処理を行うことが試みられている。例えば、人や物の移動あるいは物体の形状の情報を取得して、人や物の移動解析や、仮想空間の形成等に利用される。
しかし、実際に評価したい人や物体は様々な環境下で作業を行うため、必ずしもこれら情報を取得するに適した場所ではない。また、現実世界を行われている事象をそのまま計算機上に取り込むには、人や物体等の対象物やその周辺環境に時間をとらせず、作業に支障が生じないことが必要である。
従来、このような現実の世界にある物体を計算機上に取り込む手法として、モーションキャプチャと呼ばれるものが知られている。このモーションキャプチャは、人などの動体の動きをシミュレートするものである。
モーションキャプチャとして、例えば機械式、磁気式、光学式が知られている。機械式のモーションキャプチャでは、演技者の体に角度検出器や感圧器を取り付け、関節部の折れ曲がり角度を検出することにより演技者の動きを検出し、磁気式のモーションキャプチャでは、演技者の身体の各部に磁気センサを取り付け、人工的に生成された磁場の中で演技者を動かして、磁力線の密度と角度を磁気センサによって検出することにより、磁気センサが存在する絶対的な位置を導出して演技者の動きを検出する。
また、光学式のモーションキャプチャでは、演技者の体の動きを計測したい場所にマーカを取り付け、このマーカをカメラで撮像することにより、マーカの位置から各部の動きを計測する。
何れの方式においても被験者に検出器やセンサあるいはマーカを取り付ける必要があり、被験者の負担となっている。高精度が得られる光学式のモーションキャプチャにおいても、人体全体の動きを取得するには数十個のマーカを装着する必要があり、その用途が限定される。
これに対して、被験者に対して負担のかからないモーションキャプチャも提案されている。このモーションキャプチャは、多視点カメラの画像を用いて、仮想の３次元人体モデルとの対応をとることにより、非接触により人体の動きを取り込む。このような多視点映像とモデルとのマッチングを行う方法として、例えば、文献１，２がある。文献１では、各画像において被験者にみを切り出したシルエット画像と、３次元モデルとを重ね合わせて評価することにより姿勢を推定する。また、文献２では、現在の画像と次の画像との差分を求め、この差分を用いて姿勢を決定する方法である。
文献： 電子情報通信学会論文誌 Ｄ−ＩＩ Ｖｏｌ．Ｊ８２−Ｄ−ＩＩ Ｎｏ．１０ ｐｐ．１７３９−１７４９ １９９９年１０月
「動きと形成モデルによる人物の姿勢決定」
文献２： 電子情報通信学会論文誌 Ｄ−ＩＩ Ｖｏｌ．Ｊ８０−Ｄ−ＩＩ Ｎｏ．６ ｐｐ．１５８１−１５８９ １９９７年６月
【発明の開示】
上記したマーカを用いない非接触型のモーションキャプチャは、動きを決定するための要素を画像から取得する必要があり、そのため、動きの抽出精度や解析処理時間の点で実用レベルに達していない。
これは、人体が採り得る姿勢の数が膨大であるため、画像処理で扱うデータ量が多くなり、正確な姿勢を高速に抽出することが困難であるためである。例えば、人体を図１３に示すような３次元人体モデルで表したとき、２軸方向あるいは３軸方向に自由度を持つ構成要素で構成され、人体モデルの姿勢はこれらの構成要素を回転させることで表される。構成要素は互いに階層構造を形成し、各構成要素の回転動作は下位の構成要素に反映される。したがって、各構成要素がとりうる場合の数Ｍは、自由度の数をｎとし、各自由度で評価する数をＰとしたとき、Ｍ＝Ｐｎで表される。
図１３で表される簡易な人体モデルであっても、全自由度は２９であるため、各自由度について１００回動かして評価すると、評価数ＭはＭ＝１００２９となる。
このように、人体等の複数の構成要素が互いに関節で接続されてなる多関節体の姿勢を、マーカを用いない非接触型のモーションキャプチャにより取得するには、その姿勢の数が多いことから膨大な演算処理が必要であり、正確にかつ高速で処理することは困難である。さらに、動いている多関節体を実時間で処理することは困難である。
したがって、従来提案されている光学式のモーションキャプチャにおいて、マーカを用いたモーションキャプチャでは、多数のマーカを取り付けることにより被験者に対する負担が大きいという問題があり、一方、マーカを用いないモーションキャプチャではマーカ装着による負担はないものの、とりうる姿勢の数が多いことから解析処理時間と抽出精度の点で問題がある。
したがって、実時間で人体等の多関節体の姿勢を決定するためには、被験者等に対する負担が少なく、かつ解析処理時間が短く抽出精度が高いモーションキャプチャが求められている。
そこで、本発明は前記した従来の問題点を解決し、モーションキャプチャにおいて、マーカを装着することによる負担を少なくし、かつ解析処理時間を短縮し、高い抽出精度を得ることを目的とする。
本発明は、装着するマーカの個数を少なくすることでマーカ装着による負担を軽減し、また、マーカにより得られる位置情報と構成要素間を関係付ける制約条件とを用いることによって採り得る姿勢の数を減らし、これにより解析処理時間を短縮し、高い抽出精度を得る。
本発明は、モーションキャプチャ方法、モーションキャプチャ装置の各態様、及びこのモーションキャプチャに好適なマーカを含む。
複数の構成要素が互いに関節で接続されてなる多関節体の姿勢及び動作の決定において、多関節体の姿勢は多関節体を構成する構成要素の位置と互いの角度とにより定めることができ、また、多関節体の動作はこの姿勢の時間変化としてとらえることができる。したがって、モーションキャプチャが取得目的とする情報は、多関節体を構成する構成要素の位置情報と角度情報である。
本発明のモーションキャプチャは、少数のマーカを用いて人体等の多関節体の構成要素の位置情報と角度情報を取得する
ここで、多関節体の各構成要素は、構成要素の距離（長さ）や、互いに採り得る角度関係等について制約条件を備えている。例えば、人体を構成する上腕と前腕は肘関節により連接されており、上腕や前腕の長さ、上腕と前腕との距離、上腕に対して前腕が採る得る角度には人体構造上から制限があり、この制限を越えた位置や角度をとることはできない。したがって、これらの距離や角度は構成要素の採り得る制約条件となる。
通常、マーカを用いて人体等の多関節体の構成要素の位置情報と角度情報を取得するには、各構成要素に多数のマーカを取り付ける必要があり、少数のマーカを取り付けただけでは、充分な位置情報や角度情報を取得することができず、多関節体の姿勢を決定することはできない。
本発明は、少数のマーカを用いて人体等の多関節体の構成要素の位置情報と角度情報を取得するために、多関節体の各構成要素が備える制約条件を利用する。本発明のモーションキャプチャは、少数のマーカから得られたある構成要素の位置情報から、この制約条件を満足するような他の構成要素の姿勢候補を抽出し、この姿勢候補と多関節体の画像との重ね合わせにより角度情報を取得する。このように、多数の姿勢の中から位置情報で定まる制約条件を満足する姿勢を絞り込むことで、評価する姿勢の数を減少させる。このように、姿勢決定に際して評価すべき姿勢の数を減少させることにより、解析時間を短縮し、姿勢抽出の精度を高める。
そこで、本発明のモーションキャプチャ方法の第１の態様は、複数の構成要素が互いに関節で接続されてなる多関節体の姿勢及び動作の決定において、多関節体を構成する構成要素の特定部位の位置情報を求め、位置情報と複数の構成要素を互いに関係付ける制約条件とに基づいて位置情報で定まる制約条件を満たす各構成要素間の角度情報を求め、位置情報及び角度情報とにより多関節体の姿勢及び動作を決定する。
位置情報を構成要素の特定部位から取得し、他の角度情報は制約条件を利用して取得することにより、多関節体が備える全ての構成要素について位置情報を取得することなく多関節体の姿勢を取得することができる。
本発明のモーションキャプチャ方法の第２の態様は、複数の構成要素が互いに関節で接続されてなる多関節体の姿勢及び動作の決定において、複数の構成要素を互いに関係付ける距離及び角度の制約条件を予め定めておき、少なくとも一つの構成要素を挟んで連接される構成要素の特定部位に個々に識別可能なマーカを設け、このマーカを含む多関節体の画像を求める。特定部位の位置情報は、求めた画像中のマーカの位置から求める。また、構成要素の角度情報は、画像中の多関節体の像と求めた位置情報と複数の構成要素を互いに関係付ける制約条件とに基づいて行い、位置情報で定まる制約条件を満たす各構成要素間の角度情報の中から多関節体の像に一致する角度情報を求めことで取得する。この位置情報及び角度情報とにより多関節体の姿勢及び動作を決定する。
各マーカはそれぞれ個別識別が可能であり、マーカを識別することによりマーカの取り付け位置を識別することができる。また、マーカが取り付けられる構成要素は、間に他の構成要素を挟んで配置する。これにより、人体等の多関節体に取り付けるマーカを間引いて配置することができ、姿勢取得に要するマーカの個数を少数とすることができる。
本発明のモーションキャプチャ方法の第３の態様は、複数の構成要素が互いに関節で接続される多関節体の姿勢及び動作の決定において、複数の構成要素を互いに関係付ける制約条件、及び多関節体の構成要素の姿勢を表す複数のモデルを予め定めておき、少なくとも一つの構成要素を挟んで連接される構成要素の特定部位に設けられた個々に識別可能なマーカを含む多関節体の画像を求める。特定部位の位置情報は、求めた画像中のマーカの位置から求める。また、構成要素の角度情報は、複数のモデルから位置情報により定まる制約条件に適合するモデルを抽出し、抽出したモデルの中から画像中の多関節体の像に最も近似するモデルを抽出し、抽出したモデルの構成要素間の角度から多関節体の構成要素の角度情報を求める。この位置情報及び角度情報とにより多関節体の姿勢及び動作を決定する。
従来のマーカを用いないモーションキャプチャは、この制約条件を用いずに全てのモデルについて取得した画像との重ね合わせを評価するものであり、階層的に連接された構成要素が採り得る姿勢の数は、構成要素の個数及びその自由度の乗数で増加するため膨大な数となる。多関節体を構成する構成要素の個数を増やしてより詳細なモデルを設定する場合には、さらに採り得る姿勢の数が増加することになる。
これに対して、本発明のモーションキャプチャでは、評価すべき姿勢であるモデルの個数を減らすことができるため、解析時間を短縮することができ、実時間（リアルタイム）での動作解析に近づけることが可能となる。
また、本発明のモーションキャプチャの第４の態様は、人体及び人体の特定部位に取り付けたマーカの画像を取得し、この画像からマーカを個々に識別して抽出して人体の特定部位の位置情報を求め、予め用意したモデルの中から特定部位の位置情報に基づいて抽出したモデルと取得画像との像合わせにより人体の構成要素の角度情報を求め、求めた位置情報及び角度情報から人体の姿勢を決定する。
モデルの抽出は、特定部位の位置により定まる人体姿勢の制約条件に適合する少なくとも１つのモデルを選出することにより行う。画像とモデルとの像合わせは、抽出したモデルの中から画像中の人体画像に最も近似するモデルを選出することにより行う。近似するモデルの選出は、例えば、構成要素上に設けた頂点について、画像とモデルとの距離を各姿勢について求め、その距離が最も短くなる姿勢が得られるモデルを選出する。角度情報は選出したモデルにおいて、構成要素の角度から求めることができる。
本発明のモーションキャプチャは、マーカの識別をマーカが発光する少なくとも２つの異なる色の組み合わせにより行い、また、色の組合せのいずれか一つの色の位置からマーカ位置を求める。これにより、各マーカの個別識別を行うことができると共に、位置情報を取得することができる。
特定部位は、人体中の腰部、肘部、及び膝部とすることができる。この各部の左右両側にマーカを設けた場合であってもマーカの個数は６個ですみ、少数のマーカにより被験者の負担を減少させることができる。
本発明のモーションキャプチャ装置の第１の態様は、複数の構成要素が互いに関節で接続される多関節体の姿勢及び動作を決定するモーションキャプチャ装置であって、多関節体を構成する構成要素の特定部位の位置情報を求める位置検出手段と、位置情報と前記複数の構成要素を互いに関係付ける制約条件とに基づき、位置情報で定まる制約条件を満たす各構成要素間の角度情報を求める角度検出手段とを備えた構成とし、検出した位置情報及び角度情報とにより多関節体の姿勢及び動作を決定する。
本発明のモーションキャプチャ装置の第２の態様は、複数の構成要素が互いに関節で接続される多関節体の姿勢及び動作を決定するモーションキャプチャ装置であって、複数の構成要素を互いに関係付ける制約条件、及び多関節体の構成要素の姿勢を表す複数のモデルを予め記憶する記憶手段と、少なくとも一つの構成要素を挟んで連接される構成要素の特定部位に設けられた個々に識別可能なマーカを含む多関節体の画像を求める画像取得手段と、画像中のマーカの位置から特定部位の位置情報を求める位置情報検出手段と、複数のモデルから、特定部位の位置により定まる多関節体の制約条件に適合するモデルを選択するモデル選択手段と、選択したモデルの中から画像中の多関節体の像に最も近似するモデルを抽出し、抽出したモデルの構成要素間の角度から多関節体の構成要素の角度情報を求めるマッチング手段とを備えた構成とし、位置情報及び角度情報とにより多関節体の姿勢及び動作を決定する。
また、本発明のモーションキャプチャに好適なマーカは、複数の構成要素が互いに関節で接続される多関節体の姿勢及び動作を決定するモーションキャプチャにおいて、多関節体の特定部位を識別するマーカであり、中央に配置する１つの第１の発光ダイオードと、第１の発光ダイオードに周囲に等角度間隔で配置する複数の第２の発光ダイオードを備えた構成とし、第１の発光ダイオードと第２の発光ダイオードは発光色を異にする。
第１及び第２の発光ダイオードによる発光を上方から撮像した場合には、中心に第１の発光ダイオードによる発光色と、その外周に第２の発光ダイオードによる発光色とからなる環状の画像が得られ、これらの２色の色の組合せにより各マーカを個別識別し、さらに多関節体上においてマーカが設けられた部位を特定することができる。
また、発光体のマーカを用いることにより影や照明に変化に対する色情報の変化う防ぐことができ、また、２色の色の組合せを用いることにより、対象物以外に同一色情報を持つ背景や物体があることによる誤認識や抽出精度の低下を防ぐことができる。
複数の第２の発光ダイオードを第１の発光ダイオードに周囲に等角度間隔で配置することにより、多関節体の姿勢にかかわらず画像への取りこぼしを少なくすることができる。
また、第１の発光ダイオードと第２の発光ダイオードとの間に遮光体を設ける構成とすることもできる。この遮光体により、画像上において２色に色が混じることを防ぐことができる。２色の混ざると、異なる色として識別されることになり、マーカの識別が困難となったり、誤認識の原因となる。遮光体は、画像上における２色に混色を防ぎ、マーカの識別を容易とする。
【図面の簡単な説明】
第１図は本発明のモーションキャプチャの概略を説明するための図であり、第２図は本発明のモーションキャプチャによる姿勢決定の手順を説明するためのフローチャートであり、第３図は本発明のモーションキャプチャによる姿勢決定の手順を説明するための構成要素の概略図であり、第４図は多関節体の構成要素を説明するための図であり、第５図は特定部位の抽出及び位置情報の算出手順の一例を説明するためのフローチャートであり、第６図はＨＳＩ表色系の双６角錘のカラーモデルであり、第７図は特定部位の抽出及び位置情報の算出手順の一例を説明するための説明図であり、第８図は本発明のモーションキャプチャ装置を説明するための図であり、第９図は本発明のモーションキャプチャにより人体の姿勢、動作を求める場合のマーカの取り付け位置を説明するための階層図であり、第１０図は本発明のモーションキャプチャにより人体の姿勢、動作を求める場合のマーカの取り付け位置を説明するためのモデル図であり、第１１図は本発明のモーションキャプチャに好適なマーカを説明するための図であり、第１２図は本発明のモーションキャプチャに好適なマーカを説明するための図であり、第１３図は人体モデルの一例を示す図である。
【発明を実施するための最良の形態】
以下、本発明の実施の形態について図を参照しながら説明する。
図１は、本発明のモーションキャプチャの概略を説明するための図である。図１において、はじめに多視点映像を取得する。多視点映像は、複数のカメラを配置することで取得する。各カメラで撮像された画像は、例えばフレーム単位で同期をとって取得する（図中のＡ）。取得した多視点映像はほぼ実時間で処理され、対象物である多関節体の位置情報及び角度情報を求め、姿勢、動作を求める。
位置情報は、多視点映像の各画像の中から、対象物である多関節体の特定部位を抽出し、その位置から求める（図中のＢ）。特定部位は、多関節体に構成要素上に定めた任意の部位である。
本発明のモーションキャプチャで求める位置情報は、多関節体に構成要素上に定めた特定部位に関するものであるため、この位置情報だけでは他の構成要素の姿勢を決定することはできない。
本発明は対象物の姿勢を決定する要素として、位置情報に加えて各構成要素の角度情報を用いる
本発明のモーションキャプチャは、多視点映像の各画像と予め定めておいたモデル（図中のＤ）とを重ね合わせ、画像と一致するモデルを抽出し、そのモデルの各構成要素の角度から角度情報を求める（図中のＣ）。この画像とモデルとの重ね合わせにより、最も画像に適合したモデルを抽出することをマッチングと呼ぶ。
本発明は、この角度情報の抽出において、多関節体を構成する構成要素間の関係を定める制約条件を利用する。多関節体では、特定部位と各構成要素との間に多関節体の特性に応じた関係があり、特定部位の位置が定まれば、他の構成要素はその関係を制約条件として定められ範囲内の姿勢をとり、この制約条件からはずれた姿勢をとることはできない。
本発明のモーションキャプチャは、特定部位の位置情報と上記制約条件を用いてマッチングを行うモデルを絞ることにより、マッチングに要する時間を短縮する。
以下、図２に示すフローチャート、及び図３に示す構成要素の概略図を用いて、本発明のモーションキャプチャによる姿勢決定の手順を説明する。
対象物である多関節体の周囲に配置した複数のカメラにより、多関節体の多視点画像を取得する。多視点画像は、それぞれ同期がとられたフレーム単位の画像で取得することができる。以下の処理は、これら多視点映像で取得された複数の画像により３次元上の位置及び角度を求めるが、図３では簡易的に２次元で説明する。
図３（ａ）は、多視点映像で取得された一画像を簡易的に示している。図で示す多関節体は、３つの構成要素がそれぞれ関節により互いの角度関係を変更可能に連接した構成例を示している。
図４は、この多関節体の構成要素を説明するための図である。ここで、多関節体１０は、構成要素１１，１２，１３で構成され、構成要素１１と構成要素１２は関節１４で回動可能に連接され、構成要素１２と構成要素１３は関節１５で回動可能に連接される。この多関節体１０において、構成要素１１の一方の端部を特定部位１６とし、構成要素１３の一方の端部を特定部位１７とする。これらの特定部位は、構成要素１２を間に挟む構成要素１１及び１３に設けられているが、連接する構成要素であれば、間には挟む構成要素は１つ以上とすることができる。ここで、各構成要素１１，１２，及び１３の長さ、あるいは各構成要素間の距離は、人体等の多関節体を構成する構造から定められている。
また、これらの長さや距離が定められているため、例えば、特定部位１６，１７の空間上の位置が定まれば、構成要素家１１，１２，及び１３の互いの角度関係はある範囲内に制限される。例えば、特定部位１６において構成要素１１がとり得る角度θ１０の範囲は−θ１１〜θ１２であり、特定部位１７において構成要素１３がとり得る角度θ４０の範囲は−θ４１〜θ４２である。また、関節１４において構成要素１２が構成要素１１に対してとり得る角度θ２０の範囲は−θ２１〜θ２２であり、関節１５において構成要素１３が構成要素１２に対してとり得る角度θ３０の範囲は−θ３１〜θ３２である。なお、ここでは、時計周りの角度は負の角度で示している。なお、図４では、画像から特定部位を抽出するために、特定部位１６にマーカＭ１を設け、特定部位１７にマーカＭ２を設けるものとする。
このように、多関節体を構成する各構成要素は、ある部位の位置が定められると、とり得る姿勢が制限され、これらの長さや角度は、とり得る姿勢の制約条件とみることができる。なお、図４に示す構成要素の関係は二次元で表しているが、多視点映像から得られる画像により、これらの関係及び制約条件は３次元上で設定される（ステップＳ１）。
ステップＳ１の工程で取得した画像から、はじめに位置情報を求める。位置情報を求めるために、画像から特定部位を抽出し（ステップＳ２）、抽出した特定部位の位置情報を求める。図３（ｂ）は、図３（ａ）の多関節体の画像から特定部位を抽出した状態を簡易的に表している。特定部位１６に設けたマーカＭ１を抽出することにより位置情報（ｘ１，ｙ１，ｚ１）を求め、特定部位１７に設けたマーカＭ２を抽出することにより位置情報（ｘ２，ｙ２，ｚ２）を求める。
ここで、特定部位の抽出及び位置情報の算出手順の一例について、図５のフローチャート、及び図７の説明図を用いて説明する。
ＣＣＤカメラ等の撮像手段で得られる画像は、通常ＲＧＢ信号で得られる。このＲＧＢ信号はその信号強度を、例えば０から２５５段階の階調値で表しているが、この階調値は明るさや色合い等の要素を混在した形態で含んでいるため、特定部位に設けたマーカを色で識別して抽出することができない。
本発明のモーションキャプチャは、各特定部位に設けたマーカを、そのマーカ毎に色分けすることにより識別して抽出し、これにより特定部位を特定している。そのため、画像中のマーカを色で識別する必要がある。
そこで、画像データのＲＧＢ信号をＨＳＩ信号に変換する。ＨＳＩ表色系は、色相（Ｈ：ｈｕｅ）、彩度（Ｓ：ｓａｔｕｒａｔｉｏｎ）、明度（Ｉ：ｉｎｔｅｎｓｉｔｙ）の３つの属性を備える。
ＲＧＢ表色系をＨＳＩ表色系に変換する方法として、以下の式が知られている。
Ｖ＝ｍａｘ（Ｒ，Ｇ，Ｂ），Ｘ＝ｍｉｎ（Ｒ，Ｇ，Ｂ）
Ｓ＝（Ｖ−Ｘ）／Ｖ
としたとき、
色相Ｈは、
Ｒ＝Ｖの場合，Ｈ＝（π／３）＊（ｂ−ｇ）
Ｇ＝Ｖの場合，Ｈ＝（π／３）＊（２＋ｒ−ｂ）
Ｂ＝Ｖの場合，Ｈ＝（π／３）＊（４＋ｇ−ｒ）
ただし、
ｒ＝（Ｖ−Ｒ）／（Ｖ−Ｘ）
ｇ＝（Ｖ−Ｇ）／（Ｖ−Ｘ）
ｂ＝（Ｖ−Ｂ）／（Ｖ−Ｘ）
図６はＨＳＩ表色系の双６角錘のカラーモデルである。例えば、色相（Ｈ）は、ｒｅｄを０°としてｙｅｌｌｏｗ，ｇｒｅｅｎ，ｃｙａｎ，ｂｌｕｅ，ｍａｇｅｎｔａの順で角度値で表すことができる。なお、この色相数は一例であって他の色相数としてもよい。また、明度（Ｖ）についても数値で表することができる。
したがって、色相（Ｈ）及び明度（Ｖ）について、あらかじめ所定のマーカが発する色に応じて、色相（Ｈ）及び明度（Ｖ）を識別するために閾値を定めておき、変換して得られた色相信号及び明度信号をこの閾値で選別することにより、色で区分した個々のマーカを識別することができる。なお、ここでは、彩度はマーカの識別には使用しない（ステップＳ１１）。
そこで、変換して得られた明度信号（Ｖ）を予め設定しておいた閾値と比較することにより選別し、画像中の高輝度の部分を値する。図７（ａ）は画像中から高輝度の部分を抽出した例を模式的に示している（ステップＳ１２）。
次に、特定部位のマーカの色情報を基にして、色相信号（Ｈ）を予め設定しておいた色相の閾値と比較することにより選別し、画像中の高輝度の部分から特定部位（マーカ）が存在する領域を抽出する。図７（ｂ）は画像中の高輝度の部分から特定部位を抽出した例を模式的に示している（ステップＳ１３）。
色相による抽出では、マーカ等の特定部位の色部分が面積を持つため画像上では、複数の画素に渡る領域として検出される。そこで、特定部位の位置を定めるために、ステップＳ１３で検出した特定部位の領域から特定部位の位置を算出する。特定部位の位置を算出は、輝度のピーク位置の算出、領域の重心位置の算出、輝度を用いて重み付けした重心位置の算出等の任意の演算方法を用いることができる。
なお、発光ダイオード等の発光体は発光状態が一様とは限らず、同一マーカの領域内であっても発光部分とその周囲では色に差が生じることがある。この色変化により、本来ならば連結している領域が分断されている場合がある。これを補うために、画像上の領域を膨張あるいは収縮させる処理を行っても良い。これらの特定部位の位置情報は、多視点映像により異なる配置位置のカメラにより複数得られ、各カメラ、各フレームで行う。図７（ｃ）は画像中で抽出した特定部位の位置例を模式的に示している（ステップＳ１４）。
得られた位置情報はカメラ座標系であるため、実空間における位置座標を取得するには、画像上の位置座標から実空間における位置座標に変換する必要がある。カメラ座標系と実空間座標系との間は、回転行列と平行移動行列の組合せにより変換することができる。なお、このとき、カメラ座標系上に位置と実空間座標系上に投影された位置との間において光学系により生じる非線形は、焦点距離やレンズのひずみ係数等のパラメータにより補正することができる（ステップＳ１５）。
次に、各カメラで得られた特定部位の位置を用いて３次元位置データを算出する。画像中のマーカを、カメラ座標系から現実座標系に重みを考慮して変換する方法として、Ｔｓａｉの手法が知られている。
現実座標系においてマーカ位置の３次元位置の算出は、例えば、図７（ｄ）において、各カメラ画像から延びた複数の直線の交点を求めることに対応する。なお、実際には、カメラパラメータの誤差により、直線の角度にずれが生じるため、一点で交差しない場合がある。このような場合には、直線間の距離が最小となる直線上の中点を直線の交点とすることで求めるようしてもよい。また、ｎ本の直線の組合せにおいて中点を求め、これらの中点の平均をマーカの３次元位置とする（ステップＳ１６）。これにより、特定部位に位置情報を求める（ステップＳ３）。
次に、ステップＳ４〜ステップＳ８の工程で、構成要素の角度情報を求める。
前記ステップＳ３で取得した位置情報で定まる制約条件に基づいて、とり得るモデルを選択する。モデルは、対象物である多関節体の種々の姿勢についてに予め求めておき、また、この多関節体について各構成要素の長さや互いの距離関係や角度関係について、その大きさや許容範囲を制約条件として設定しておく。この制約条件は、例えば、特定部位の位置に対して、各構成要素の相互の角度の許容範囲を定めておくことができる。許容範囲は、数値で表すことも、あるいは相互の関係を表す関数で表すこともできる。
制約条件による選別を行わない場合には、画像と一致するモデルを選択するには、用意した全てのモデルについて、モデルと画像との位置関係を変化させながら重ね合わせ状態を評価しなければならない。これに対して、制約条件を適用することにより、画像との重ね合わせを行うモデルの個数を絞ることができ、マッチング処理の演算量を減らすことができる。
図３（ｃ）はモデルの選択を模式的に示している。例えば、構成要素のモデルとしてｃ−１，ｃ−２，ｃ−３があるとしたとき、このモデルの中から制約条件を満足するモデルを選択する。ここでは、例えば、各構成要素のとり得る角度範囲を制約条件としてモデルを選択する場合を示している。
ｃ−１，ｃ−２，ｃ−３のモデルの内で、ｃ−１，ｃ−３のモデルが制約条件を満たし、ｃ−２のモデルが制約条件を満たさない場合には、ｃ−１，ｃ−３のモデルを選択する（ステップＳ４）。
ステップＳ４で選択したモデルと画像との重ね合わせを行って画像とモデルのモデルを行う。画像とモデルとのマッチングは、例えば、３次元モデルを仮想空間上に配置し、このモデルの姿勢を変えながらモデル上の明度や彩度の分布をヒストグラムとして求めておき、画像についても同様に明度や彩度の分布のヒストグラムを求め、このヒストグラムの近似を評価することで行うことができる（ステップＳ５）。上記の画像とモデルとのマッチングを選択した全てのモデルについて行う。この際、とり得る全ての姿勢について全て評価する方法の他に、非線形の最小二乗法や遺伝的アルゴリズム等を用いて、ある評価関数を最小にするようにして求めることができる。
例えば、あるパラメータ値（θや位置）を仮定して評価値を求め、その結果を基にパラメータを変化させて評価を繰り替えし、最小の評価値を求めることにより得ることができる。この評価関数は、シルエット画像による結果やオプティカルフローによる結果とモデルとの比較で決まるずれの度合いを表すものである（ステップＳ６）。画像と選択した全てのモデルとのマッチングにおいて、画像に最も近いモデルを求める。図３（ｄ）は、このマッチングの処理を模式的に表している（ステップＳ７）。
ステップＳ７において求めた最適なマッチングで得れらたモデルから、構成要素の角度情報を求める。図３（ｅ）は求めたモデルから角度情報（θ１〜θ４）を求める状態を示している（ステップＳ８）。
前記ステップＳ３で求めた位置情報と、前記ステップＳ９で求めた角度情報とから、多関節体の姿勢を求める。この姿勢を各フレーム取得について行うことにより、多関節体の動きをほぼ実時間で求めることができる。
次に、本発明のモーションキャプチャ装置について図８を用いて説明する。
モーションキャプチャ装置１は、人体等の多関節体の多視点映像を撮像して画像を取得する画像取得手段２と、この画像から構成要素の位置情報、及び角度情報を求める演算手段３を備え、位置情報と角度情報とにより多関節体の姿勢及び動作を決定する。
画像取得手段２は、少なくとも一つの構成要素を挟んで連接される構成要素の特定部位に設けられた個々に識別可能なマーカを含む多関節体の画像を求める。多視点画像を取得するために複数のカメラを配置してなり、各画像フレームは同期がとられている。
演算手段３は、画像中の特定部位（マーカ）を検出する検出手段３ａと、特定部位（マーカ）の位置情報を求める位置情報検出手段３ｂと、複数の構成要素を互いに関係付ける制約条件や、多関節体の構成要素の姿勢を表す複数のモデルを予め記憶する記憶手段３ｃと、複数のモデルから特定部位の位置により定まる多関節体の制約条件に適合するモデルを選択するモデル選択手段３ｄと、選択したモデルの中から画像中の多関節体の像に最も近似するモデルを抽出し、抽出したモデルの構成要素間の角度から多関節体の構成要素の角度情報を求めるマッチング手段３ｅとを備える。
なお、演算手段３が備える各手段は、演算手段が行う各機能を説明するものであり、必ずしも各機能を実行するハードウエアを備えるものではなく、ソフトウエアで実行することができる。
次に、本発明のモーションキャプチャにより人体の姿勢、動作を求める場合のマーカの取り付け位置について図９，１０を用いて説明する。
人体は、複数の構成要素が関節で連接された多関節体としてとらえることができ、この構成要素を階層状に連接して表すことができる。なお、構成要素は任意に設定することができる。図９，１０は一つのモデルを示しており、他の構成要素の組合せで設定することもできる。
図９に示すモデルでは、腰部を階層の上層とし、上半身については胸部、上腕部（左上腕部、右上腕部）及び頭部、前腕部（左前腕部、右前腕部）手（左手、右手）の順で下層に連接されて表され、下半身については腿（左腿、右腿）、脛（左脛、右脛）、足（左足、右足）の順で下層に連接されて表される。
このモデルは測定対象である人体について用意し、モデルで表される各層は前記した多関節体の構成要素に該当する。各構成要素について、その長さ、構成要素間の距離や角度等について制約条件を設定する。
モーションキャプチャにおいては、人体の多視点映像を取得し、得られた画像から前記した工程に従って各構成要素の特定部位の位置情報と角度情報を求めることにより、人体の姿勢及び動作を取得する。
ここで、特定部位の位置情報を求めるために人体の特定部位にマーカを取り付ける。マーカは人体の全構成要素に設けるのではなく、少数のマーカを用いてモデルの構成要素の内から選択した部分に取り付ける。取り付けるマーカの数は、被験者の負担に成らない程度とし、また、マーカの取り付け位置は、人体が種々の姿勢をとった場合においても、マーカが画像上に常に写し込まれるような部位を選択する。
また、マーカの取り付け位置において、モデルと画像とのマッチング処理における演算の複雑さを考慮して、マーカを取り付ける構成要素の間に適当な階層間隔を設ける。モデルと画像とのマッチングでは、特定部位の位置情報で定まる制約条件によってとり得るモデルの数を低減させているが、特定部位間の構成要素の数が多ければとり得るモデルの数も増加する。そこで、人体の姿勢、動作の決定において、全演算量が少なくなるような適当な間隔の特定部位にマーカを取り付ける。
図９、１０に示すモデルでは、階層の上位である腰部にマーカを取り付け、上半身では上腕と前腕の関節部にマーカを取り付け、下半身では腿と脛の関節部にマーカを取り付ける。腰部については両側に取り付け、上腕と前腕の関節部及び腿と脛の関節部については左右の両側に取り付ける。
これにより、合計６個のマーカを人体に取り付け、これにより腰部の位置情報、左右の両肘の位置情報、及び左右の両膝の位置情報を求める。また、角度情報については、例えば、胸部や上腕部の角度情報は、腰部の位置情報と肘部の位置情報で定まる胸部と上腕部の制約条件を用いることにより、胸部と上腕部がとり得る姿勢の中から評価する姿勢を抽出して処理数を減少させて、モデルと画像とのマッチングにより求める。
次に、本発明のモーションキャプチャに好適なマーカについて、図１１，１２を用いて説明する。図１１（ａ）はマーカの断面図であり、図１１（ｂ）は図１１（ａ）中のＥ−Ｅで示す位置から下方を見た図である。
マーカ２０は、一つの第１の発光ダイオード２１と、複数の第２の発光ダイオード２２を含む複数の発光ダイオード（ＬＥＤ）を備える。第１の発光ダイオード２１は特定部位の位置情報を取得するために用い、第２の発光ダイオード２２は、各マーカを識別して特定部位を他の特定部位から区別するために用いる。このマーカの識別は、第１の発光ダイオード２１と第２の発光ダイオード２２とは発光色を異ならせ、この発光色の組合せによりマーカの識別を行う。発光色の組合せは、ＨＳＩ表色系において互いの色相角度を対称となるようにして、閾値により識別が容易となる組合せを選択する。例えば、中央の発光ダイオードの色をｒｅｄとし、周囲の発光ダイオードの色をｂｌｕｅとする組合せ、中央の発光ダイオードの色をｒｅｄとし、周囲の発光ダイオードの色をｇｒｅｅｎとする組合せ、あるいは中央の発光ダイオードの色をｙｅｌｌｏｗとし、周囲の発光ダイオードの色をｂｌｕｅとする組合せ等の組合せを選択する。
異なる色の組合せとすることにより、画像中の背景等にマーカと同色の部分が存在する場合であっても、これらの部分との区別を容易に行うことができる。
マーカ２０は、ベース２３の上方に第１の発光ダイオード２１を配置し、その下方の周囲に複数個の第２の発光ダイオード２２を環状に配置する。また、ベース２１上には各発光ダイオードの電源２５が設けられる。電源２５は、例えばボタン電池を用いることができる。なお、図中の符号２６は、電源２５と発光ダイオードとの接続を制御するスイッチであり、例えば、取り外し自在な絶縁体とし、この絶縁体を取り外すことにより発光ダイオードを発光させることができる。
第２の発光ダイオード２２は、図１１（ｂ）に示すように、第１の発光ダイオード２１の周囲に等角度間隔で、その発光方向を等角度間隔となるように配置する。発光ダイオードは、通常、指向性を有する。人体は種々の姿勢をとるため、カメラに対するマーカの写り込みを良好とするには、マーカの発光は指向性がないことが望ましい。そこで、複数の発光ダイオードの発光方向を等角度間隔でずらして配置する。図１１（ｂ）では、５つの第２の発光ダイオード２２をそれぞれ例えば７２°の方向となるように配置する。なお、第２の発光ダイオード２２の配置数は任意とすることができるが、発光ダイオードの物理的な大きさと、負担が少ないマーカの大きさとの関係、及び取得画像での検出状態等の各種条件を考慮して設定する。
マーカ２０は、これらの発光ダイオード２１，２２や電源２５等を内部に収納する透光性を有するカバー２４を備える。発光ダイオード２１，２２の光は、カバー２４と通して外部に発光される。このカバー２４の内面あるいは外面を散乱面としたり、カバー２４を構成する素材を光の散乱体としてもよい。カバー２４に散乱性を持たせることにより、発光ダイオードの発光はカバー２４によって散乱され、カメラに対する写し込みを向上させることができる。
第１の発光ダイオード２１と第２の発光ダイオード２２との間に遮光体２８を設置位置を変更可能に備える。遮光体２８は、第１の発光ダイオード２１の発光と第２の発光ダイオード２２の発光とが、画像上において混じり合って、発光ダイオードの発光色とは異なる色を生じないようにするためである。画像上においてマーカ部分に異なる色が生じた場合には、マーカの識別が困難となったり、マーカ位置を誤って検出する要因となるおそれがある。
遮光体２８は、第１の発光ダイオード２１が発する光と第２の発光ダイオード２２が発する光との間に位置することにより、画像上に写し出される第１の発光ダイオード２１と第２の発光ダイオード２２の像間を分離させ、両光の混合を防止する。
遮光体２８は、中央部に開口部を有する環状体とし、開口部にマーカ２１のカバー２４の突出部分を通すことにより取り付けることができる。また、遮光体２８の素材を弾性材とすることにより、カバー２４への取り付けを容易とすることができる。また、カバー２４の外周面の周囲に環状の窪み部分２７を設け、この窪み部分２７にカバー２４をはめ込むことで取り付けることもできる。窪み部分２７はカバー２４の上下方向に多段に形成してもよく、これによりカバー２４への取り付け位置を変更することができる。
図１２（ａ），（ｃ）は、遮光体２８を窪み部分２７の下段に取り付けた状態を示し、図１２（ｂ），（ｄ）は、遮光体２８を窪み部分２７の上段に取り付けた状態を示している。遮光体２８の取り付け位置を変更することにより、画像に映し出される第２の発光ダイオード２２の環状部分の面積が増減する。この第２の発光ダイオード２２の発光面積を調整することにより、人体とカメラとの距離や、背景色の状態、照明状態等の撮像環境に応じてマーカの像を調整し、マーカの識別を良好とすることができる。
本発明の態様によれば、取り付けるマーカの数を少数とすることができ、被験者の負担を軽減することができ、少ない負担で位置情報と角度状態を取得することができる。
本発明の態様によれば、画像とモデルとのマッチングにおいて、評価するモデルの個数を少なくすることができるため、処理時間を短縮することができ、姿勢や動きの実時間（リアルタイム）処理に近づけることができる。また、同じ処理時間であれば、測定精度を高めることができる。
以上説明したように、本発明によれば、モーションキャプチャにおいて、マーカを装着することによる負担を少なくすることができ、かつ解析処理時間を短縮し、高い抽出精度を得ることができる。
【産業上の利用の可能性】
本発明は、人や物等の移動体の解析や仮想空間の形成に利用することができ、工業、医学、スポーツ等の分野に適用することができる。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【特許請求の範囲】
【請求項１】
複数の構成要素が互いに関節で接続されてなる多関節体の姿勢及び動作の決定において、
前記多関節体を構成する構成要素の特定部位の位置情報を求め、
前記位置情報と前記複数の構成要素を互いに関係付ける制約条件とに基づき、前記位置情報で定まる制約条件を満たす各構成要素間の角度情報を求め、
前記位置情報及び角度情報とにより多関節体の姿勢及び動作を決定することを特徴とするモーションキャプチャ方法。
【請求項２】
複数の構成要素が互いに関節で接続されてなる多関節体の姿勢及び動作の決定において、
前記複数の構成要素を互いに関係付ける距離及び角度の制約条件を予め定めておき、
少なくとも一つの構成要素を挟んで連接される構成要素の特定部位に、
個々に識別可能なマーカを設け、
当該マーカを含む多関節体の画像を求め、
前記画像中のマーカの位置から特定部位の位置情報を求め、
前記画像中の多関節体の像と前記位置情報と前記複数の構成要素を互いに関係付ける制約条件とに基づき、前記位置情報で定まる制約条件を満たす各構成要素間の角度情報の中から多関節体の像に一致する角度情報を求め、
当該位置情報及び角度情報とにより多関節体の姿勢及び動作を決定することを特徴とするモーションキャプチャ方法。
【請求項３】
複数の構成要素が互いに関節で接続される多関節体の姿勢及び動作の決定において、
前記複数の構成要素を互いに関係付ける制約条件、及び多関節体の構成要素の姿勢を表す複数のモデルを予め定めておき、
少なくとも一つの構成要素を挟んで連接される構成要素の特定部位に設けられた個々に識別可能なマーカを含む多関節体の画像を求め、
前記画像中のマーカの位置から特定部位の位置情報を求め、
前記複数のモデルから、前記位置情報により定まる制約条件に適合するモデルを抽出し、当該抽出したモデルの中から前記画像中の多関節体の像に最も近似するモデルを抽出し、
当該抽出したモデルの構成要素間の角度から多関節体の構成要素の角度情報を求め、
前記位置情報及び角度情報とにより多関節体の姿勢及び動作を決定することを特徴とするモーションキャプチャ方法。
【請求項４】
人体及び人体の特定部位に取り付けたマーカの画像を取得し、
前記画像から前記マーカを個々に識別して抽出して人体の特定部位の位置情報を求め、
前記画像と、予め用意したモデルの中から前記特定部位の位置情報に基づいて抽出したモデルとの像合わせにより人体の構成要素の角度情報を求め、
前記位置情報及び角度情報から人体の姿勢を決定することを特徴とする、
モーションキャプチャ方法。
【請求項５】
前記モデルの抽出は、前記特定部位の位置により定まる人体姿勢の制約条件に適合する少なくとも１つのモデルを選出することにより行い、前記画像とモデルとの像合わせは、抽出したモデルの中から画像中の人体画像に最も近似するモデルを選出することにより行うことを特徴とする、請求の範囲第４項に記載のモーションキャプチャ方法。
【請求項６】
マーカが発光する少なくとも２つの異なる色の組み合わせにより当該マーカを識別し、
前記色の組合せのいずれか一つの色の位置からマーカ位置を求めることを特徴とする、請求の範囲第２項乃至第５項のいずれかに記載のモーションキャプチャ方法。
【請求項７】
前記特定部位は、人体中の腰部、肘部、及び膝部であることを特徴とする、請求の範囲第１項乃至第６項のいずれかに記載のモーションキャプチャ方法。
【請求項８】
複数の構成要素が互いに関節で接続される多関節体の姿勢及び動作を決定するモーションキャプチャ装置であって、
多関節体を構成する構成要素の特定部位の位置情報を求める位置検出手段と、
前記位置情報と前記複数の構成要素を互いに関係付ける制約条件とに基づき、前記位置情報で定まる制約条件を満たす各構成要素間の角度情報を求める角度検出手段とを備え、
前記検出した位置情報及び角度情報とにより多関節体の姿勢及び動作を決定することを特徴とするモーションキャプチャ装置。
【請求項９】
複数の構成要素が互いに関節で接続される多関節体の姿勢及び動作を決定するモーションキャプチャ装置であって、
前記複数の構成要素を互いに関係付ける制約条件、及び多関節体の構成要素の姿勢を表す複数のモデルを予め記憶する記憶手段と、
少なくとも一つの構成要素を挟んで連接される構成要素の特定部位に設けられた個々に識別可能なマーカを含む多関節体の画像を求める画像取得手段と、
前記画像中のマーカの位置から特定部位の位置情報を求める位置情報検出手段と、
前記複数のモデルから、前記特定部位の位置により定まる多関節体の制約条件に適合するモデルを選択するモデル選択手段と、
前記択したモデルの中から前記画像中の多関節体の像に最も近似するモデルを抽出し、当該抽出したモデルの構成要素間の角度から多関節体の構成要素の角度情報を求めるマッチング手段とを備え
前記位置情報及び角度情報とにより多関節体の姿勢及び動作を決定することを特徴とするモーションキャプチャ装置。
【請求項１０】
複数の構成要素が互いに関節で接続される多関節体の姿勢及び動作を決定するモーションキャプチャにおいて、多関節体の特定部位を識別するマーカであって、
前記マーカは、中央に配置する１つの第１の発光ダイオードと、前記第１の発光ダイオードに周囲に等角度間隔で配置する複数の第２の発光ダイオードを備え、前記第１の発光ダイオードと第２の発光ダイオードは発光色を異にすることを特徴とする、モーションキャプチャ用マーカ。
【請求項１１】
前記第１の発光ダイオードと第２の発光ダイオードとの間に遮光体を設けることを特徴とする、請求の範囲第１０項に記載のモーションキャプチャ用マーカ。
【請求項１】
複数の構成要素が互いに関節で接続されてなる多関節体の姿勢及び動作の決定において、
前記多関節体を構成する構成要素の特定部位の位置情報を求め、
前記位置情報と前記複数の構成要素を互いに関係付ける制約条件とに基づき、前記位置情報で定まる制約条件を満たす各構成要素間の角度情報を求め、
前記位置情報及び角度情報とにより多関節体の姿勢及び動作を決定することを特徴とするモーションキャプチャ方法。
【請求項２】
複数の構成要素が互いに関節で接続されてなる多関節体の姿勢及び動作の決定において、
前記複数の構成要素を互いに関係付ける距離及び角度の制約条件を予め定めておき、
少なくとも一つの構成要素を挟んで連接される構成要素の特定部位に、
個々に識別可能なマーカを設け、
当該マーカを含む多関節体の画像を求め、
前記画像中のマーカの位置から特定部位の位置情報を求め、
前記画像中の多関節体の像と前記位置情報と前記複数の構成要素を互いに関係付ける制約条件とに基づき、前記位置情報で定まる制約条件を満たす各構成要素間の角度情報の中から多関節体の像に一致する角度情報を求め、
当該位置情報及び角度情報とにより多関節体の姿勢及び動作を決定することを特徴とするモーションキャプチャ方法。
【請求項３】
複数の構成要素が互いに関節で接続される多関節体の姿勢及び動作の決定において、
前記複数の構成要素を互いに関係付ける制約条件、及び多関節体の構成要素の姿勢を表す複数のモデルを予め定めておき、
少なくとも一つの構成要素を挟んで連接される構成要素の特定部位に設けられた個々に識別可能なマーカを含む多関節体の画像を求め、
前記画像中のマーカの位置から特定部位の位置情報を求め、
前記複数のモデルから、前記位置情報により定まる制約条件に適合するモデルを抽出し、当該抽出したモデルの中から前記画像中の多関節体の像に最も近似するモデルを抽出し、
当該抽出したモデルの構成要素間の角度から多関節体の構成要素の角度情報を求め、
前記位置情報及び角度情報とにより多関節体の姿勢及び動作を決定することを特徴とするモーションキャプチャ方法。
【請求項４】
人体及び人体の特定部位に取り付けたマーカの画像を取得し、
前記画像から前記マーカを個々に識別して抽出して人体の特定部位の位置情報を求め、
前記画像と、予め用意したモデルの中から前記特定部位の位置情報に基づいて抽出したモデルとの像合わせにより人体の構成要素の角度情報を求め、
前記位置情報及び角度情報から人体の姿勢を決定することを特徴とする、
モーションキャプチャ方法。
【請求項５】
前記モデルの抽出は、前記特定部位の位置により定まる人体姿勢の制約条件に適合する少なくとも１つのモデルを選出することにより行い、前記画像とモデルとの像合わせは、抽出したモデルの中から画像中の人体画像に最も近似するモデルを選出することにより行うことを特徴とする、請求の範囲第４項に記載のモーションキャプチャ方法。
【請求項６】
マーカが発光する少なくとも２つの異なる色の組み合わせにより当該マーカを識別し、
前記色の組合せのいずれか一つの色の位置からマーカ位置を求めることを特徴とする、請求の範囲第２項乃至第５項のいずれかに記載のモーションキャプチャ方法。
【請求項７】
前記特定部位は、人体中の腰部、肘部、及び膝部であることを特徴とする、請求の範囲第１項乃至第６項のいずれかに記載のモーションキャプチャ方法。
【請求項８】
複数の構成要素が互いに関節で接続される多関節体の姿勢及び動作を決定するモーションキャプチャ装置であって、
多関節体を構成する構成要素の特定部位の位置情報を求める位置検出手段と、
前記位置情報と前記複数の構成要素を互いに関係付ける制約条件とに基づき、前記位置情報で定まる制約条件を満たす各構成要素間の角度情報を求める角度検出手段とを備え、
前記検出した位置情報及び角度情報とにより多関節体の姿勢及び動作を決定することを特徴とするモーションキャプチャ装置。
【請求項９】
複数の構成要素が互いに関節で接続される多関節体の姿勢及び動作を決定するモーションキャプチャ装置であって、
前記複数の構成要素を互いに関係付ける制約条件、及び多関節体の構成要素の姿勢を表す複数のモデルを予め記憶する記憶手段と、
少なくとも一つの構成要素を挟んで連接される構成要素の特定部位に設けられた個々に識別可能なマーカを含む多関節体の画像を求める画像取得手段と、
前記画像中のマーカの位置から特定部位の位置情報を求める位置情報検出手段と、
前記複数のモデルから、前記特定部位の位置により定まる多関節体の制約条件に適合するモデルを選択するモデル選択手段と、
前記択したモデルの中から前記画像中の多関節体の像に最も近似するモデルを抽出し、当該抽出したモデルの構成要素間の角度から多関節体の構成要素の角度情報を求めるマッチング手段とを備え
前記位置情報及び角度情報とにより多関節体の姿勢及び動作を決定することを特徴とするモーションキャプチャ装置。
【請求項１０】
複数の構成要素が互いに関節で接続される多関節体の姿勢及び動作を決定するモーションキャプチャにおいて、多関節体の特定部位を識別するマーカであって、
前記マーカは、中央に配置する１つの第１の発光ダイオードと、前記第１の発光ダイオードに周囲に等角度間隔で配置する複数の第２の発光ダイオードを備え、前記第１の発光ダイオードと第２の発光ダイオードは発光色を異にすることを特徴とする、モーションキャプチャ用マーカ。
【請求項１１】
前記第１の発光ダイオードと第２の発光ダイオードとの間に遮光体を設けることを特徴とする、請求の範囲第１０項に記載のモーションキャプチャ用マーカ。
【国際公開番号】ＷＯ２００４／０９４９４３
【国際公開日】平成１６年１１月４日（２００４．１１．４）
【発行日】平成１８年７月１３日（２００６．７．１３）
【国際特許分類】
【出願番号】特願２００４−５７１１０６（Ｐ２００４−５７１１０６）
【国際出願番号】ＰＣＴ／ＪＰ２００３／０１６０８０
【国際出願日】平成１５年１２月１６日（２００３．１２．１６）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
モーションキャプチャ
【出願人】（５０３００９９５９）
【Ｆターム（参考）】
【国際公開日】平成１６年１１月４日（２００４．１１．４）
【発行日】平成１８年７月１３日（２００６．７．１３）
【国際特許分類】
【国際出願番号】ＰＣＴ／ＪＰ２００３／０１６０８０
【国際出願日】平成１５年１２月１６日（２００３．１２．１６）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
モーションキャプチャ
【出願人】（５０３００９９５９）
【Ｆターム（参考）】
[ Back to top ]