統合モーションキャプチャ
【課題】統合モーションキャプチャを提供する。
【解決手段】既知のパターンを有するマーキング材を演技者の身体及び顔面に付加する段階と、少なくとも１つの第１のビデオモーションキャプチャカメラを演技者の身体上のマーキング材を取り込むように構成する段階と、少なくとも１つの第２のビデオモーションキャプチャカメラを演技者の顔面上のマーキング材を取り込むように構成する段階と、少なくとも１つの第１のビデオモーションキャプチャカメラを用いて身体運動データ、及び少なくとも１つの第２のビデオモーションキャプチャカメラを用いて顔面運動データを実質的に同時に取り込む段階と、身体運動データと顔面運動データを統合する段階とを含む方法。
【解決手段】既知のパターンを有するマーキング材を演技者の身体及び顔面に付加する段階と、少なくとも１つの第１のビデオモーションキャプチャカメラを演技者の身体上のマーキング材を取り込むように構成する段階と、少なくとも１つの第２のビデオモーションキャプチャカメラを演技者の顔面上のマーキング材を取り込むように構成する段階と、少なくとも１つの第１のビデオモーションキャプチャカメラを用いて身体運動データ、及び少なくとも１つの第２のビデオモーションキャプチャカメラを用いて顔面運動データを実質的に同時に取り込む段階と、身体運動データと顔面運動データを統合する段階とを含む方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的に、モーションキャプチャに関し、より具体的には、身体モーションキャプチャと顔面モーションキャプチャが実質的に同時に実施され、その結果が単一のモーションキャプチャ出力へと統合される統合モーションキャプチャに関する。
【背景技術】
【０００２】
モーションキャプチャ（ＭＯＣＡＰ）のための既存の方法及びシステムは、顔面モーションキャプチャと身体モーションキャプチャに対するある特殊な技術を利用する。これらの技術は、複数のＭＯＣＡＰカメラで運動を取得する段階、運動が取り込まれた物理的空間の３次元（３Ｄ）仮想空間モデルを再構成する段階、及びこの仮想空間を含む容積フレームの時間シーケンスを通じて演技者の身体上の様々な箇所に結合されたマーカの画像を追跡し、ラベル付けする段階のようなある共通要素を共有する。しかし、各種類のモーションキャプチャは、様々な手法で克服することができる固有の内在的困難を有する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許出願番号第１１／８２９，７１１号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本明細書に開示するある実施例は、統合モーションキャプチャを提供するものである。
【課題を解決するための手段】
【０００５】
一つの態様において、統合モーションキャプチャ方法が開示される。本方法は、既知のパターンを有するマーキング材を演技者の身体及び顔面に付加する段階と、少なくとも１つの第１のビデオモーションキャプチャカメラを演技者の身体上のマーキング材を取り込むように構成する段階と、少なくとも１つの第２のビデオモーションキャプチャカメラを演技者の顔面上のマーキング材を取り込むように構成する段階と、少なくとも１つの第１のビデオモーションキャプチャカメラを用いて身体運動データ、及び少なくとも１つの第２のビデオモーションキャプチャカメラを用いて顔面運動データを実質的に同時に取り込む段階と、身体運動データと顔面運動データを統合する段階とを含む。
【０００６】
別の態様において、統合モーションキャプチャシステムが開示される。システムは、演技者の身体及び顔面に付加される既知のパターンを有するマーキング材と、演技者の身体上のマーキング材を取り込む少なくとも１つの第１のビデオモーションキャプチャカメラと、演技者の顔面上のマーキング材を取り込む少なくとも１つの第２のビデオモーションキャプチャカメラと、少なくとも１つの第１のビデオモーションキャプチャカメラを用いて身体運動データ、及び少なくとも１つの第２のビデオモーションキャプチャカメラを用いて顔面運動データを実質的に同時に取り込み、身体運動データと顔面運動データを統合するように構成されたプロセッサとを含む。
【０００７】
当業者には、以下の詳細説明及び添付図面を考察することにより、本発明の他の特徴及び利点がより容易に明らかになるであろう。
【０００８】
本発明のその構造及び作動の両方に関する詳細は、一部は添付図面の精査によって知得することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施例による身体モーションキャプチャに用いられる特殊な「既知のパターン」のマーカ集の見本を示す図である。
【図２】顔面の表情を適度に分解するのに用いられる１６５個以上のマーカ（又は特徴）を有する人物の顔面の２次元（２Ｄ）「アンラップ」走査の図である。
【図３】演技者の顔面モデル上のインクマーカの配置例の図である。
【図４】一実施例によるマーカ配置位置を有する人形の図である。
【図５】図４に示す人形上のマーカ配置の背面図である。
【図６Ａ】主要体肢（セグメント）及び身体上の運動を連接する区域（例えば、頭、肩、臀部、くるぶし等）を実質的に定める３Ｄモデル上のマーカ配置の図である。
【図６Ｂ】主要体肢（セグメント）及び身体上の運動を連接する区域（例えば、頭、肩、臀部、くるぶし等）を実質的に定める３Ｄモデル上のマーカ配置の図である。
【図７】図６Ａ及び図６Ｂに示すものと実質的に同じ姿勢にある同じ人体モデルの側面図である。
【図８】図６Ａ及び図６Ｂに示すものと実質的に同じ姿勢にある同じ人体モデルの上面図及び底面図である。
【図９】一実施例による統合モーションキャプチャシステムの機能ブロック図である。
【図１０】実施例に従って顔面モーションキャプチャと身体モーションキャプチャを統合する方法を説明する流れ図である。
【発明を実施するための形態】
【００１０】
本明細書に開示する本発明のある実施例は、統合モーションキャプチャを提供するものである。一実施例は、まばらなカメラカバレージを利用する。この実施例では、演技者の身体に対して１つの高解像度（ＨＤ）モーションキャプチャ（ＭＯＣＡＰ）ビデオカメラが用いられ、演技者の顔面に対して別のＨＤ−ＭＯＣＡＰビデオカメラが用いられ、演技全体を取り込むためにフィルムカメラ（例えば、「フィルムプレート」）が用いられる。モーションキャプチャ演技中に、フィルムプレートと共に、顔面と身体の両方のデータを実質的に同時に取得することによって統合モーションキャプチャが達成される。
【００１１】
本説明を読解した後に、当業者には、本発明を様々な別の実施例及び別の用途で実施する方法が明らかになるであろう。しかし、本明細書では本発明の様々な実施を説明することになるが、これらの実施形態が限定ではなく例としてのみ提供するものであることは理解されるものとする。従って、様々な別の実施例の本詳細説明は、特許請求の範囲に示す本発明の範囲又は幅を限定すると解釈すべきではない。
【００１２】
一般的に、身体モーションキャプチャは、演技者の胴体、頭、四肢、手、及び足の運動を取り込む段階を伴っている。これらの運動は、比較的大まかな動きと見なすことができる。ＭＯＣＡＰカメラは、演技者の演技を取り囲むのに十分大きい「キャプチャ容積」の回りに配置される。得られた再構成された３Ｄ仮想空間は、キャプチャ容積をモデル化し、演技者の身体に結合されたマーカの画像は、再構成された仮想空間のフレームを通じて時間的に追跡される。演技者の身体の動きは比較的大まかであるから、演技者の身体、頭、四肢、手、及び足の上の特定のスポットを識別するのに大きいマーカを用いることができる。大きいマーカは、小さいマーカよりも、得られた容積フレーム内で容易に位置確認することができる。
【００１３】
それとは対照的に、顔面モーションキャプチャは、演技者の顔面の動きのみを取り込む段階を伴っている。これらの運動は、様々な人間の表情を表すのに必要とされる顔面の筋肉の微妙な使用に起因して比較的微細な動きであると見なされる。その結果、通常、キャプチャ容積は、頭又は更には顔面のみを取り囲むのに十分な大きさでしかない。更に、大まかな身体の動きとは反対に、微妙な表情の顔面の動きを取り込むのには大量の比較的小さいマーカが必要である。人物の顔面の２次元（２Ｄ）「アンラップ」走査を表す図２に示しているように、顔面の表情を適度に分解するのに１６５個以上のマーカを用いる場合がある。
【００１４】
モーションキャプチャにおけるこれらの種類、並びに複数の特殊カメラ及びキャプチャ容積に対する詳細な要件により、顔面と身体の両方の運動を取り込む効率を改善するためのＭＯＣＡＰシステム及び方法は、従来技術を大きく進歩させている。
【００１５】
図９に例示している一実施例は、まばらなカメラカバレージを利用する。この実施例では、演技者の身体に対して１つの高解像度（ＨＤ）モーションキャプチャ（ＭＯＣＡＰ）ビデオカメラ９２０が用いられ、演技者の顔面に対して別のフィルムカメラ９２２が用いられ、演技全体を取り込むためにフィルムカメラ９２４（例えば、「フィルムプレート」）が用いられる。別の実施例では、演技者の身体に対して１つ又はそれよりも多くのＨＤカメラが用いられ、演技者の顔面に対して別の１つ又はそれよりも多くのＨＤカメラが用いられ、演技全体を取り込むために１つ又はそれよりも多くのフィルムカメラが用いられる。別の実施例では、複数の演技者の運動が、各演技者の身体毎に１つのＨＤカメラを用い、各演技者の顔面毎に１つのＨＤカメラを用い、更に演技全体を取り込む１つ又はそれよりも多くのフィルムカメラを用いて取り込まれる。別の実施例では、各演技者の身体毎に１つ又はそれよりも多くのＨＤカメラが用いられ、各演技者の顔面毎に別の１つ又はそれよりも多くのＨＤカメラが用いられ、更に演技全体を取り込むのに１つ又はそれよりも多くのフィルムカメラが用いられる。モーションキャプチャ演技中は、フィルムプレートと共に顔面と身体の両方のデータを実質的に同時に取得することによって統合モーションキャプチャが達成される。
【００１６】
図９は、一実施例による統合モーションキャプチャシステム９００の機能ブロック図である。統合モーションキャプチャシステム９００は、モーションキャプチャプロセッサ９１０，モーションキャプチャカメラ９２０，９２２，フィルムカメラ９２４，ユーザワークステーション９３０，並びに所定のパターンでマーカ／塗料材料９６０が適切に装備された演技者の身体９４０及び顔面９５０を含む。一部の実施例では、他の材料又は特徴を用いることができる。図９は、１１個のマーカ９６０Ｂ〜９６０Ｆしか示していないが、実質的により多くのマーカを身体９４０及び顔面９５０上に用いることができる。モーションキャプチャプロセッサ９１０は、有線又は無線でワークステーション９３０に接続される。一般的に、モーションキャプチャプロセッサ９１０は、ワークステーション９３０から制御データパケットを受け取るように構成される。
【００１７】
図示のように、２つのモーションキャプチャカメラ９２０，９２２及び１つのフィルムカメラ９２４が、モーションキャプチャプロセッサ９１０に接続される。演技者の身体に対して１つのＨＤ−ＭＯＣＡＰビデオカメラ９２０が用いられ、演技者の顔面に対して別のＨＤ−ＭＯＣＡＰビデオカメラ９２２が用いられ、更に、演技全体を取り込むのにフィルムカメラ９２４が用いられる。ＭＯＣＡＰビデオカメラ９２０は、マーカ９６０Ｂ〜９６０Ｆが付加された演技者の身体９４０上に合焦され、ＭＯＣＡＰビデオカメラ９２２は、インクマーカ９６０Ａが付加された演技者の顔面９５０上に合焦される。一部の実施例では、演技者の顔面９５０上に合焦されるように構成されたカメラ９２２は、演技者の頭に取り付けることができる（例えば、演技者が着用するヘルメット上に）。他の実施例では、顔面９５０上の他のマーカ又は顔面特徴をカメラ９２２によって追跡することができる。
【００１８】
マーカ／特徴９６０Ａの配置は、顔面９５０の動きを取り込むように構成され、それに対してマーカ９６０Ｂ〜９６０Ｆの配置は、演技者の手９７０，腕９７２，脚９７４，９７８，及び足９７６を含む身体９４０の運動を取り込むように構成される。
【００１９】
演技者の顔面のモデル上へのインクマーカの配置例を図３に示す。この実施例では、顔面マーカは、ビデオ内で「特徴」として追跡される演技者の顔面上のインクマーカを含む（特徴は、例えば、そばかす又は目頭も含む）。追跡された特徴から、次に、モーションキャプチャデータが作成される。この方法は、演技者の顔面を事前に(a priori)走査し、ＦＡＣＳ検査を実施することによって改良することができる（例えば、２００７年７月２７日出願の「ＦＡＣＳクリーニング」という名称の米国特許出願番号第１１／８２９，７１１号を参照されたい）。ＭＯＣＡＰデータを取得するのと同時に表面データを取得するのも可能なはずである。他の実施例では、顔面インクマーキングは、赤外線（ＩＲ）インク、蓄光塗料及び／又は化粧、及び／又は量子ナノドット、ナノドットインク、及び／又はナノドット化粧を用いて作られる。
【００２０】
顔面運動を取り込むのに用いられるＨＤビデオから、顔面のキャプチャ走査映像を取得することができる。一実施例では、特殊なパターンが演技者の顔面上に投影され、ＭＯＣＡＰデータと共に取り込まれる。パターンは、可視光、ＩＲ光、又は事実上あらゆる波長の光を含むことができ、実時間で又は後処理中にパターンを分離するために、これらの光に見合った帯域通過フィルタを用いることができる。パターンは、先頭フレームと１つの他のフレームだけに又は１つおきのフレームのように周期的に投影することができる。状況に依存して多くの異なる投影頻度を用いることができる。また、パターンは、例えば、既知の（識別可能な）ランダムパターン、格子、又は事実上あらゆる種類のパターンを含むことができる。
【００２１】
ＨＤカメラを用いて得られるインクマーキングに加えて、従来のＭＯＣＡＰカメラ構成と共に逆反射性マーカを用いることができる。ＨＤカメラ編成が、より高い分解能、及び後処理の最中の改善されたラベル付けを可能にするのに対して、そのような構成は、実時間顔面（及び身体）キャプチャ及び表示を可能にすることができる。
【００２２】
一実施例では、顔面運動を取り込む１つのＨＤカメラによって得られるビデオデータを用いて２Ｄ追跡が実施される。例えば、顔面上のインクマーカが、ＨＤビデオデータのフレームからフレームへと追跡される。ＨＤカメラを用いて利用可能な高い分解能により、比較的小さいインクドットを追跡することが容易になる。別の実施例では、２つ又はそれよりも多くのＨＤカメラが用いられ、それらから２Ｄ追跡を実施することができる。更に、上述の３Ｄ仮想空間を再構成する段階を含む３Ｄ追跡を実施することができ、ＨＤカメラの高分解能から付加的な利益が生じる。更に、ＦＡＣＳ型の処理は、３Ｄでの追跡及び顔面モデルの再構成を改良することができる。
【００２３】
図９に示している実施例では、マーカ９６０Ｂは、腕９７２の運動を取り込み、マーカ９６０Ｃは、身体９４０の運動を取り込み、マーカ９６０Ｄ、９６０Ｅは、脚９７４の運動を取り込み、マーカ９６０Ｆは、足９７６の運動を取り込む。更に、マーカ９６０Ａ〜９６０Ｆ上のパターンの一意性は、マーカの識別及び向きを取得するのに用いることができる情報を提供する。マーカ９６０Ｄは、演技者の脚の周囲に巻かれたパターンのストリップとして構成される。
【００２４】
図１は、本発明の実施例による身体モーションキャプチャに用いられる特殊な「既知のパターン」のマーカ集の見本を示している。各マーカは、小さい白色の正方形と黒色の正方形から成る６×６のマトリックスを含む。識別及び向きの情報は、６×６のマトリックス内での白色の正方形の固有配置によって各マーカ内に符号化される。これらのマーカは、あらゆる回転状態において識別可能であることによって特徴付けられる。これらのマーカの特徴的な回転不変性は、位置と向きの両方の情報の導出を可能にする。この場合、マーカの向きは、マーカが結合されて「セグメント」としてモデル化することができる物体又は四肢又は他の身体付属器官の向きを判断するのに用いることができる。すなわち、前腕上部にあるマーカ及び手首にある別のマーカをこれらのマーカの向きに基づいて前腕自体の向きを判断するのに用いることができる。更に、前腕までの骨格基礎構造をモデル化するロッド状セグメントの運動をモデル化することができる。各場合に、マーカを回転することにより、マーカの識別及び向きを判断することに関していかなる曖昧性も生じず、従って、情報を符号化するためのこの手法の有効性が明らかにされる。本明細書に例示的に開示した黒色要素と白色要素から成る６×６のマトリックス以外の編成を用いた符号化手法を実施することができることは理解されるであろう。例えば、位置及び向きを区別することができるように、マーカをマトリックスとしてではなく、各マーカにおいて異なる意匠を有する円形のクラッシュテストパターンとして構成することができる。他の例では、マーカ形状を平坦な矩形マトリックスとすることができる。更に、別の例では、形状自体を符号とすることができる。
【００２５】
別の実施例では、マーカにおける符号化手法は、「能動的」並びに「受動的」符号化を含む。例えば、上述のように、受動的に符号化されたパターンは、モーションキャプチャカメラ及びカメラによって取り込まれ、復号される符号を含む。復号されたデータは、デジタルキャラクタの運動の統合において更に用いることができる。しかし、取り込まれるマーカの視覚／光学信号が時間的に変化する場合には、能動的符号化を用いることができる。
【００２６】
更に別の実施例では、パターンは、蛍光材料を用いることができる。これらのパターンは、「能動的アイデンティティ」を有するが「受動的パワーを有する」「１次マーカ」として作動する（これに比べると、「能動的パワーを有する」マーカは、一般的に、あらゆる種類のエネルギを放出し、例えば、光を放出するＬＥＤである）。
【００２７】
図４は、一実施例によるマーカ配置位置を有する人形の図である。図示のマーカは、図１に示しているものと類似の手法を用いて識別及び向きの情報を符号化する。これらのマーカは、実質的に対称に位置決めされ、体の各主要体肢（すなわち、セグメント）が、少なくとも１つのマーカによって定められるようになる。図示のマーカのほぼ半分は、図示の正面図では不可視な身体面上に位置決めされ、代わりにこれらのマーカの遮られた近似位置を指示する矢印を含む。モデルの背部上のマーカの配置図を図５に示す。
【００２８】
図９を参照すると、モーションキャプチャカメラ９２０，９２２は、演技者の身体９４０及び顔面９５０が運動状態にあるキャプチャ空間を取り囲む。モーションキャプチャカメラ９２０，９２２のあらゆる部分集合に対してマーカのうちのあらゆる視野が遮られた場合であっても、別の部分集合は、これらの遮られたマーカの視野を維持し、その運動を取り込むことになる。従って、図９に関連して説明したシステムを用いると、上述のようにマーカが装備された演技者による事実上全ての動きを取り込むことができる。
【００２９】
図６Ａ及び図６Ｂは、図４で上述のようにマーカが装着された人体モデルの正面図及び背面図をそれぞれ提供している。図示のように、モデルの前方に向いている面上のマーカのみが可視である。残りのマーカは、部分的又は完全に遮られている。図７は、図６に示しているものと実質的に同じ姿勢にある同じ人体モデルの側面図を示しており、図８は、その上面図及び底面図を示している。従って、いずれか所定の時点で、キャプチャ空間の周囲に配置されたモーションキャプチャカメラ９２０，９２２に対して実質的に多数のマーカが可視である。図示のように、マーカはパターンだけでなく、同様にサイズによっても異なる。例えば、一部のマーカは、３平方インチであり、それに対して他のものは２平方インチである。
【００３０】
また、図６Ａ及び図６Ｂに示している３Ｄモデル上のマーカ配置は、主要体肢（セグメント）、及び身体上で運動を連接する区域（例えば、頭、肩、臀部、くるぶし等）を実質的に定める。取り込まれたデータにおいて追跡が実施された場合には、マーカが配置された身体の位置は位置づけ可能になり、その向きは、特定可能になる。更に、マーカの配置によって定められる身体のセグメント、例えば、肘と肩の間の上腕セグメントも、そのセグメントの実質的に各末端に配置されたマーカによって位置づけ可能になる。上腕セグメントの位置及び向きは、上腕を定める個々のマーカから導出される向きから判断することができることになる。
【００３１】
図９を参照し直すと、モーションキャプチャカメラ９２０，９２２は、モーションキャプチャプロセッサ９１０によって制御され、マーカの２次元（２Ｄ）画像の同期シーケンスを取り込む。同期画像は、各々が画像フレームの時間シーケンスの１つのフレームを表す画像フレームへと統合される。すなわち、各個々の画像フレームは、各々が個々のモーションキャプチャカメラ９２０又は９２２によって生成された複数の同時取得２Ｄ画像を統合したものを含む。すなわち、取り込まれた２Ｄ画像は、一般的に、ユーザのワークステーション９３０において記憶するか又は実時間で見るか又はその両方を行うことができる。
【００３２】
モーションキャプチャプロセッサ９１０は、２Ｄ画像の統合を実施して（すなわち、「再構成」を実施して）、３次元（「３Ｄ」又は「容積」）マーカデータのフレームシーケンスを生成する。この容積フレームシーケンスを多くの場合に「ビート(beat)」と呼び、これは、映画撮影技術における「テイク」と考えることができる。従来、マーカは、離散した物体又は視覚点であり、再構成されたマーカデータは、各々が、演技者のような対象物に結合されたマーカの空間（すなわち、３Ｄ）位置を表す複数の離散したマーカデータ点を含む。従って、各容積フレームは、対象物の空間モデルを表す複数のマーカデータ点を含む。モーションキャプチャプロセッサ９１０は、容積フレームシーケンスを取得し、追跡機能を実行して各フレームのマーカデータ点をシーケンス内の先行フレーム及び後続フレームのマーカデータ点に関連付ける（又は「マップする」）。
【００３３】
一実施例では、１つ又はそれよりも多くの既知のパターンがストリップ９６０Ｄ上に印刷される。次に、ストリップ９６０Ｄは、演技者の各四肢（すなわち、付属器官）の周囲に、各四肢が少なくとも２つのストリップを有するように巻かれる。例えば、図９には２つのストリップ９６０Ｄが描かれており、演技者の左の腿９７８の周囲に巻かれている。しかし、末端作動部（例えば、手、足、頭）は、１つのストリップだけで十分にマーク付けすることができる。取り込まれた状態で、上述のように、巻かれたストリップ９６０Ｄの印刷パターンは、モーションキャプチャプロセッサ９１０が、可視のセグメント上に１つだけという少ないマーカのみを用いて演技者の四肢を表す各「セグメント」の位置及び向きをあらゆる角度から追跡することを可能にする。図９に例示しているものでは、演技者の腿９７８は、モーションキャプチャプロセッサ９１０でセグメントとして取り扱われる。複数のマーカを有するパターン付きストリップ９６０Ｄを四肢の周囲に実質的に円形に巻くことにより、四肢（すなわち、セグメント）の「重心」を判断することができる。複数のパターン付きマーカストリップ９６０Ｄを用いることにより、四肢内部の骨の推定又はモデルを形成するための重心を判断することができる。更に、セグメント上に付加された１つ（又は可視の場合はそれ以上）のマーカ及び／又はストリップから、セグメント全体に関する向き、平行移動、及び回転の情報を判断することができる。
【００３４】
図１０は、実施例に従って顔面モーションキャプチャと身体モーションキャプチャを統合する方法１０００を説明する流れ図である。ボックス１０１０では、既知のパターン又は識別可能なランダムパターンを有するマーキング材が表面に付加される。一実施例では、表面は、演技者の身体の表面であり、パターンは、演技者の身体に結合された複数のマーカを含む。別の実施例では、パターンは、演技者の身体に結合された単一のマーカ（例えば、マーカストリップ）を含む。パターンは、図９に関連して解説したように、ストリップ９６０Ｄとして形成することができ、演技者の四肢、手、及び足の周囲に添付することができる。また、マーカは、反射球体、演技者の身体上に接着された刺青模様、演技者の身体上に付加された材料、又は演技者の固有の特徴（例えば、ほくろ又はしわ）も含む。更に別の実施例では、表面は、演技者の顔面の表面であり、マーキング材は、演技者の顔面に付加されたインク又は塗料マーク、そばかす又は目頭のような自然の顔面特徴、又は顔面に付加されたいずれか他のマーカ又はマークを含む。
【００３５】
既知のパターンマーカに加えて、演技者は、多数のＬＥＤを身体上に装備することができる。一実施例では、演技者は、ＬＥＤが配置された特殊スーツを着用する。一例では、ＬＥＤは、線を含むパターンで配置される。ＬＥＤの線は、既知の距離だけ分離することができ、従って、格子が形成される。そのようなＬＥＤ格子は、既知のパターンマーカと併せて追跡される（更に、一実施例では同時に）。既知のパターンマーカは、追跡分解能を改善し、そうでなければ実質的に均一に配置された複数の同等のＬＥＤに固有のアイデンティティ情報を与えることによって格子パターンのラベル付けを改善するように機能する。従って、仮想空間内での時間追跡及びラベル付けの連続性が改良される。
【００３６】
別の実施例では、格子を構成する線に対して異なる色のＬＥＤを用いることによって追跡分解能及びＬＥＤのラベル付けにおいて更に別の改善が達成される。従って、異なる色の線の交点（すなわち、格子の頂点）は、追跡中により高い識別性を得る。比較として、格子を構成する類似の色のＬＥＤは、個々に追跡することが困難になり、回転及び向きの情報を導出することが困難になる。すなわち、類似の色のＬＥＤは、「受動的アイデンティティ」の「能動的パワーを有する」「２次マーカ」と見なすことができる。しかし、一実施例では、識別可能な時間シーケンスに従って点滅又は明滅するようにＬＥＤを構成することにより、ＬＥＤに「能動的アイデンティティ」特性が与えられる。
【００３７】
次に、モーションキャプチャカメラが、キャプチャ空間内に設けられる。一実施例では、少なくとも１つのＨＤ−ＭＯＣＡＰビデオカメラが、演技者の身体をモーションキャプチャするのに用いられるように構成され（ボックス１０２０）、少なくとも１つの他のＨＤ−ＭＯＣＡＰビデオカメラが、演技者の顔面をモーションキャプチャするのに用いられるように構成される（ボックス１０３０）。更に、フィルムプレート上に演技全体を取り込むためにフィルムカメラが設けられる。次に、ボックス１０４０では、身体運動データと顔面運動データが、実質的に同時に取り込まれる。ボックス１０５０では、取り込まれた身体運動データと顔面運動データが統合される。
【００３８】
一実施例では、身体運動を取り込む１つのＨＤによって得られたビデオ運動データを用いて２Ｄ追跡が実施される。例えば、身体及び四肢上の既知のパターンのマーカが、ＨＤビデオデータのフレームからフレームへと追跡される。既知のパターンを追跡する段階は、ＨＤカメラを用いて利用可能な高い分解能によって容易になる。別の実施例では、２つ又はそれよりも多くのＨＤカメラが用いられ、これらから２Ｄ追跡を実施することができる。更に、上述の３Ｄ仮想空間を再構成する段階を含む３Ｄ追跡を実施することができ、ＨＤカメラの高い分解能から付加的な利益が生じる。また、ＦＡＣＳ型の解決法は、３Ｄでの追跡及び身体モデルの再構成を改良することができる。身体運動データを取り込む複数のＨＤカメラを用いて得られた実際のデータをモデル化する骨格の構成を助けるために、所定の骨格モデルを用いることができる。
【００３９】
一実施例では、上述の顔面及び身体モーションキャプチャ方法を実施するためのシステムは、改善された追跡方法によって補強される。１次と２次の両方のパターンを追跡するために多点追跡器が実施される。次に、ソルバが、２次マーカからの平行移動情報（２次マーカは、いかなる回転又は向きの情報も与えない）、及び１次マーカからの平行移動及び回転を骨格モデル上に還元する。ソルバは、骨格データ、並びに１次及び２次マーカにおける位置情報を原フィルムプレート上に再投影するのに用いることができる。すなわち、還元されたデータがフィルムプレート上で得られた画像と適合することを保証することにより、追跡段階、ラベル付け段階、及び処理の他の段階における不整合を早い段階で識別及び／又は調整することができる。
【００４０】
本発明の様々な例示的実施例を説明した。しかし、当業者は、付加的な実施例が同様に可能であり、本発明の範囲にあることを認識されるであろう。例えば、既知の識別可能なランダムパターンは、演技者又は物体の表面上に印刷、付加、又はインク付けすることができる。更に、望ましいパターンを取得するのに、印刷物、付加物、インク、刺青模様、量子ナノドット、及び固有の身体特徴のあらゆる組合せを用いることができる。
【００４１】
従って、本発明は、上述の実施形態だけに限定されない。
【技術分野】
【０００１】
本発明は、一般的に、モーションキャプチャに関し、より具体的には、身体モーションキャプチャと顔面モーションキャプチャが実質的に同時に実施され、その結果が単一のモーションキャプチャ出力へと統合される統合モーションキャプチャに関する。
【背景技術】
【０００２】
モーションキャプチャ（ＭＯＣＡＰ）のための既存の方法及びシステムは、顔面モーションキャプチャと身体モーションキャプチャに対するある特殊な技術を利用する。これらの技術は、複数のＭＯＣＡＰカメラで運動を取得する段階、運動が取り込まれた物理的空間の３次元（３Ｄ）仮想空間モデルを再構成する段階、及びこの仮想空間を含む容積フレームの時間シーケンスを通じて演技者の身体上の様々な箇所に結合されたマーカの画像を追跡し、ラベル付けする段階のようなある共通要素を共有する。しかし、各種類のモーションキャプチャは、様々な手法で克服することができる固有の内在的困難を有する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許出願番号第１１／８２９，７１１号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本明細書に開示するある実施例は、統合モーションキャプチャを提供するものである。
【課題を解決するための手段】
【０００５】
一つの態様において、統合モーションキャプチャ方法が開示される。本方法は、既知のパターンを有するマーキング材を演技者の身体及び顔面に付加する段階と、少なくとも１つの第１のビデオモーションキャプチャカメラを演技者の身体上のマーキング材を取り込むように構成する段階と、少なくとも１つの第２のビデオモーションキャプチャカメラを演技者の顔面上のマーキング材を取り込むように構成する段階と、少なくとも１つの第１のビデオモーションキャプチャカメラを用いて身体運動データ、及び少なくとも１つの第２のビデオモーションキャプチャカメラを用いて顔面運動データを実質的に同時に取り込む段階と、身体運動データと顔面運動データを統合する段階とを含む。
【０００６】
別の態様において、統合モーションキャプチャシステムが開示される。システムは、演技者の身体及び顔面に付加される既知のパターンを有するマーキング材と、演技者の身体上のマーキング材を取り込む少なくとも１つの第１のビデオモーションキャプチャカメラと、演技者の顔面上のマーキング材を取り込む少なくとも１つの第２のビデオモーションキャプチャカメラと、少なくとも１つの第１のビデオモーションキャプチャカメラを用いて身体運動データ、及び少なくとも１つの第２のビデオモーションキャプチャカメラを用いて顔面運動データを実質的に同時に取り込み、身体運動データと顔面運動データを統合するように構成されたプロセッサとを含む。
【０００７】
当業者には、以下の詳細説明及び添付図面を考察することにより、本発明の他の特徴及び利点がより容易に明らかになるであろう。
【０００８】
本発明のその構造及び作動の両方に関する詳細は、一部は添付図面の精査によって知得することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施例による身体モーションキャプチャに用いられる特殊な「既知のパターン」のマーカ集の見本を示す図である。
【図２】顔面の表情を適度に分解するのに用いられる１６５個以上のマーカ（又は特徴）を有する人物の顔面の２次元（２Ｄ）「アンラップ」走査の図である。
【図３】演技者の顔面モデル上のインクマーカの配置例の図である。
【図４】一実施例によるマーカ配置位置を有する人形の図である。
【図５】図４に示す人形上のマーカ配置の背面図である。
【図６Ａ】主要体肢（セグメント）及び身体上の運動を連接する区域（例えば、頭、肩、臀部、くるぶし等）を実質的に定める３Ｄモデル上のマーカ配置の図である。
【図６Ｂ】主要体肢（セグメント）及び身体上の運動を連接する区域（例えば、頭、肩、臀部、くるぶし等）を実質的に定める３Ｄモデル上のマーカ配置の図である。
【図７】図６Ａ及び図６Ｂに示すものと実質的に同じ姿勢にある同じ人体モデルの側面図である。
【図８】図６Ａ及び図６Ｂに示すものと実質的に同じ姿勢にある同じ人体モデルの上面図及び底面図である。
【図９】一実施例による統合モーションキャプチャシステムの機能ブロック図である。
【図１０】実施例に従って顔面モーションキャプチャと身体モーションキャプチャを統合する方法を説明する流れ図である。
【発明を実施するための形態】
【００１０】
本明細書に開示する本発明のある実施例は、統合モーションキャプチャを提供するものである。一実施例は、まばらなカメラカバレージを利用する。この実施例では、演技者の身体に対して１つの高解像度（ＨＤ）モーションキャプチャ（ＭＯＣＡＰ）ビデオカメラが用いられ、演技者の顔面に対して別のＨＤ−ＭＯＣＡＰビデオカメラが用いられ、演技全体を取り込むためにフィルムカメラ（例えば、「フィルムプレート」）が用いられる。モーションキャプチャ演技中に、フィルムプレートと共に、顔面と身体の両方のデータを実質的に同時に取得することによって統合モーションキャプチャが達成される。
【００１１】
本説明を読解した後に、当業者には、本発明を様々な別の実施例及び別の用途で実施する方法が明らかになるであろう。しかし、本明細書では本発明の様々な実施を説明することになるが、これらの実施形態が限定ではなく例としてのみ提供するものであることは理解されるものとする。従って、様々な別の実施例の本詳細説明は、特許請求の範囲に示す本発明の範囲又は幅を限定すると解釈すべきではない。
【００１２】
一般的に、身体モーションキャプチャは、演技者の胴体、頭、四肢、手、及び足の運動を取り込む段階を伴っている。これらの運動は、比較的大まかな動きと見なすことができる。ＭＯＣＡＰカメラは、演技者の演技を取り囲むのに十分大きい「キャプチャ容積」の回りに配置される。得られた再構成された３Ｄ仮想空間は、キャプチャ容積をモデル化し、演技者の身体に結合されたマーカの画像は、再構成された仮想空間のフレームを通じて時間的に追跡される。演技者の身体の動きは比較的大まかであるから、演技者の身体、頭、四肢、手、及び足の上の特定のスポットを識別するのに大きいマーカを用いることができる。大きいマーカは、小さいマーカよりも、得られた容積フレーム内で容易に位置確認することができる。
【００１３】
それとは対照的に、顔面モーションキャプチャは、演技者の顔面の動きのみを取り込む段階を伴っている。これらの運動は、様々な人間の表情を表すのに必要とされる顔面の筋肉の微妙な使用に起因して比較的微細な動きであると見なされる。その結果、通常、キャプチャ容積は、頭又は更には顔面のみを取り囲むのに十分な大きさでしかない。更に、大まかな身体の動きとは反対に、微妙な表情の顔面の動きを取り込むのには大量の比較的小さいマーカが必要である。人物の顔面の２次元（２Ｄ）「アンラップ」走査を表す図２に示しているように、顔面の表情を適度に分解するのに１６５個以上のマーカを用いる場合がある。
【００１４】
モーションキャプチャにおけるこれらの種類、並びに複数の特殊カメラ及びキャプチャ容積に対する詳細な要件により、顔面と身体の両方の運動を取り込む効率を改善するためのＭＯＣＡＰシステム及び方法は、従来技術を大きく進歩させている。
【００１５】
図９に例示している一実施例は、まばらなカメラカバレージを利用する。この実施例では、演技者の身体に対して１つの高解像度（ＨＤ）モーションキャプチャ（ＭＯＣＡＰ）ビデオカメラ９２０が用いられ、演技者の顔面に対して別のフィルムカメラ９２２が用いられ、演技全体を取り込むためにフィルムカメラ９２４（例えば、「フィルムプレート」）が用いられる。別の実施例では、演技者の身体に対して１つ又はそれよりも多くのＨＤカメラが用いられ、演技者の顔面に対して別の１つ又はそれよりも多くのＨＤカメラが用いられ、演技全体を取り込むために１つ又はそれよりも多くのフィルムカメラが用いられる。別の実施例では、複数の演技者の運動が、各演技者の身体毎に１つのＨＤカメラを用い、各演技者の顔面毎に１つのＨＤカメラを用い、更に演技全体を取り込む１つ又はそれよりも多くのフィルムカメラを用いて取り込まれる。別の実施例では、各演技者の身体毎に１つ又はそれよりも多くのＨＤカメラが用いられ、各演技者の顔面毎に別の１つ又はそれよりも多くのＨＤカメラが用いられ、更に演技全体を取り込むのに１つ又はそれよりも多くのフィルムカメラが用いられる。モーションキャプチャ演技中は、フィルムプレートと共に顔面と身体の両方のデータを実質的に同時に取得することによって統合モーションキャプチャが達成される。
【００１６】
図９は、一実施例による統合モーションキャプチャシステム９００の機能ブロック図である。統合モーションキャプチャシステム９００は、モーションキャプチャプロセッサ９１０，モーションキャプチャカメラ９２０，９２２，フィルムカメラ９２４，ユーザワークステーション９３０，並びに所定のパターンでマーカ／塗料材料９６０が適切に装備された演技者の身体９４０及び顔面９５０を含む。一部の実施例では、他の材料又は特徴を用いることができる。図９は、１１個のマーカ９６０Ｂ〜９６０Ｆしか示していないが、実質的により多くのマーカを身体９４０及び顔面９５０上に用いることができる。モーションキャプチャプロセッサ９１０は、有線又は無線でワークステーション９３０に接続される。一般的に、モーションキャプチャプロセッサ９１０は、ワークステーション９３０から制御データパケットを受け取るように構成される。
【００１７】
図示のように、２つのモーションキャプチャカメラ９２０，９２２及び１つのフィルムカメラ９２４が、モーションキャプチャプロセッサ９１０に接続される。演技者の身体に対して１つのＨＤ−ＭＯＣＡＰビデオカメラ９２０が用いられ、演技者の顔面に対して別のＨＤ−ＭＯＣＡＰビデオカメラ９２２が用いられ、更に、演技全体を取り込むのにフィルムカメラ９２４が用いられる。ＭＯＣＡＰビデオカメラ９２０は、マーカ９６０Ｂ〜９６０Ｆが付加された演技者の身体９４０上に合焦され、ＭＯＣＡＰビデオカメラ９２２は、インクマーカ９６０Ａが付加された演技者の顔面９５０上に合焦される。一部の実施例では、演技者の顔面９５０上に合焦されるように構成されたカメラ９２２は、演技者の頭に取り付けることができる（例えば、演技者が着用するヘルメット上に）。他の実施例では、顔面９５０上の他のマーカ又は顔面特徴をカメラ９２２によって追跡することができる。
【００１８】
マーカ／特徴９６０Ａの配置は、顔面９５０の動きを取り込むように構成され、それに対してマーカ９６０Ｂ〜９６０Ｆの配置は、演技者の手９７０，腕９７２，脚９７４，９７８，及び足９７６を含む身体９４０の運動を取り込むように構成される。
【００１９】
演技者の顔面のモデル上へのインクマーカの配置例を図３に示す。この実施例では、顔面マーカは、ビデオ内で「特徴」として追跡される演技者の顔面上のインクマーカを含む（特徴は、例えば、そばかす又は目頭も含む）。追跡された特徴から、次に、モーションキャプチャデータが作成される。この方法は、演技者の顔面を事前に(a priori)走査し、ＦＡＣＳ検査を実施することによって改良することができる（例えば、２００７年７月２７日出願の「ＦＡＣＳクリーニング」という名称の米国特許出願番号第１１／８２９，７１１号を参照されたい）。ＭＯＣＡＰデータを取得するのと同時に表面データを取得するのも可能なはずである。他の実施例では、顔面インクマーキングは、赤外線（ＩＲ）インク、蓄光塗料及び／又は化粧、及び／又は量子ナノドット、ナノドットインク、及び／又はナノドット化粧を用いて作られる。
【００２０】
顔面運動を取り込むのに用いられるＨＤビデオから、顔面のキャプチャ走査映像を取得することができる。一実施例では、特殊なパターンが演技者の顔面上に投影され、ＭＯＣＡＰデータと共に取り込まれる。パターンは、可視光、ＩＲ光、又は事実上あらゆる波長の光を含むことができ、実時間で又は後処理中にパターンを分離するために、これらの光に見合った帯域通過フィルタを用いることができる。パターンは、先頭フレームと１つの他のフレームだけに又は１つおきのフレームのように周期的に投影することができる。状況に依存して多くの異なる投影頻度を用いることができる。また、パターンは、例えば、既知の（識別可能な）ランダムパターン、格子、又は事実上あらゆる種類のパターンを含むことができる。
【００２１】
ＨＤカメラを用いて得られるインクマーキングに加えて、従来のＭＯＣＡＰカメラ構成と共に逆反射性マーカを用いることができる。ＨＤカメラ編成が、より高い分解能、及び後処理の最中の改善されたラベル付けを可能にするのに対して、そのような構成は、実時間顔面（及び身体）キャプチャ及び表示を可能にすることができる。
【００２２】
一実施例では、顔面運動を取り込む１つのＨＤカメラによって得られるビデオデータを用いて２Ｄ追跡が実施される。例えば、顔面上のインクマーカが、ＨＤビデオデータのフレームからフレームへと追跡される。ＨＤカメラを用いて利用可能な高い分解能により、比較的小さいインクドットを追跡することが容易になる。別の実施例では、２つ又はそれよりも多くのＨＤカメラが用いられ、それらから２Ｄ追跡を実施することができる。更に、上述の３Ｄ仮想空間を再構成する段階を含む３Ｄ追跡を実施することができ、ＨＤカメラの高分解能から付加的な利益が生じる。更に、ＦＡＣＳ型の処理は、３Ｄでの追跡及び顔面モデルの再構成を改良することができる。
【００２３】
図９に示している実施例では、マーカ９６０Ｂは、腕９７２の運動を取り込み、マーカ９６０Ｃは、身体９４０の運動を取り込み、マーカ９６０Ｄ、９６０Ｅは、脚９７４の運動を取り込み、マーカ９６０Ｆは、足９７６の運動を取り込む。更に、マーカ９６０Ａ〜９６０Ｆ上のパターンの一意性は、マーカの識別及び向きを取得するのに用いることができる情報を提供する。マーカ９６０Ｄは、演技者の脚の周囲に巻かれたパターンのストリップとして構成される。
【００２４】
図１は、本発明の実施例による身体モーションキャプチャに用いられる特殊な「既知のパターン」のマーカ集の見本を示している。各マーカは、小さい白色の正方形と黒色の正方形から成る６×６のマトリックスを含む。識別及び向きの情報は、６×６のマトリックス内での白色の正方形の固有配置によって各マーカ内に符号化される。これらのマーカは、あらゆる回転状態において識別可能であることによって特徴付けられる。これらのマーカの特徴的な回転不変性は、位置と向きの両方の情報の導出を可能にする。この場合、マーカの向きは、マーカが結合されて「セグメント」としてモデル化することができる物体又は四肢又は他の身体付属器官の向きを判断するのに用いることができる。すなわち、前腕上部にあるマーカ及び手首にある別のマーカをこれらのマーカの向きに基づいて前腕自体の向きを判断するのに用いることができる。更に、前腕までの骨格基礎構造をモデル化するロッド状セグメントの運動をモデル化することができる。各場合に、マーカを回転することにより、マーカの識別及び向きを判断することに関していかなる曖昧性も生じず、従って、情報を符号化するためのこの手法の有効性が明らかにされる。本明細書に例示的に開示した黒色要素と白色要素から成る６×６のマトリックス以外の編成を用いた符号化手法を実施することができることは理解されるであろう。例えば、位置及び向きを区別することができるように、マーカをマトリックスとしてではなく、各マーカにおいて異なる意匠を有する円形のクラッシュテストパターンとして構成することができる。他の例では、マーカ形状を平坦な矩形マトリックスとすることができる。更に、別の例では、形状自体を符号とすることができる。
【００２５】
別の実施例では、マーカにおける符号化手法は、「能動的」並びに「受動的」符号化を含む。例えば、上述のように、受動的に符号化されたパターンは、モーションキャプチャカメラ及びカメラによって取り込まれ、復号される符号を含む。復号されたデータは、デジタルキャラクタの運動の統合において更に用いることができる。しかし、取り込まれるマーカの視覚／光学信号が時間的に変化する場合には、能動的符号化を用いることができる。
【００２６】
更に別の実施例では、パターンは、蛍光材料を用いることができる。これらのパターンは、「能動的アイデンティティ」を有するが「受動的パワーを有する」「１次マーカ」として作動する（これに比べると、「能動的パワーを有する」マーカは、一般的に、あらゆる種類のエネルギを放出し、例えば、光を放出するＬＥＤである）。
【００２７】
図４は、一実施例によるマーカ配置位置を有する人形の図である。図示のマーカは、図１に示しているものと類似の手法を用いて識別及び向きの情報を符号化する。これらのマーカは、実質的に対称に位置決めされ、体の各主要体肢（すなわち、セグメント）が、少なくとも１つのマーカによって定められるようになる。図示のマーカのほぼ半分は、図示の正面図では不可視な身体面上に位置決めされ、代わりにこれらのマーカの遮られた近似位置を指示する矢印を含む。モデルの背部上のマーカの配置図を図５に示す。
【００２８】
図９を参照すると、モーションキャプチャカメラ９２０，９２２は、演技者の身体９４０及び顔面９５０が運動状態にあるキャプチャ空間を取り囲む。モーションキャプチャカメラ９２０，９２２のあらゆる部分集合に対してマーカのうちのあらゆる視野が遮られた場合であっても、別の部分集合は、これらの遮られたマーカの視野を維持し、その運動を取り込むことになる。従って、図９に関連して説明したシステムを用いると、上述のようにマーカが装備された演技者による事実上全ての動きを取り込むことができる。
【００２９】
図６Ａ及び図６Ｂは、図４で上述のようにマーカが装着された人体モデルの正面図及び背面図をそれぞれ提供している。図示のように、モデルの前方に向いている面上のマーカのみが可視である。残りのマーカは、部分的又は完全に遮られている。図７は、図６に示しているものと実質的に同じ姿勢にある同じ人体モデルの側面図を示しており、図８は、その上面図及び底面図を示している。従って、いずれか所定の時点で、キャプチャ空間の周囲に配置されたモーションキャプチャカメラ９２０，９２２に対して実質的に多数のマーカが可視である。図示のように、マーカはパターンだけでなく、同様にサイズによっても異なる。例えば、一部のマーカは、３平方インチであり、それに対して他のものは２平方インチである。
【００３０】
また、図６Ａ及び図６Ｂに示している３Ｄモデル上のマーカ配置は、主要体肢（セグメント）、及び身体上で運動を連接する区域（例えば、頭、肩、臀部、くるぶし等）を実質的に定める。取り込まれたデータにおいて追跡が実施された場合には、マーカが配置された身体の位置は位置づけ可能になり、その向きは、特定可能になる。更に、マーカの配置によって定められる身体のセグメント、例えば、肘と肩の間の上腕セグメントも、そのセグメントの実質的に各末端に配置されたマーカによって位置づけ可能になる。上腕セグメントの位置及び向きは、上腕を定める個々のマーカから導出される向きから判断することができることになる。
【００３１】
図９を参照し直すと、モーションキャプチャカメラ９２０，９２２は、モーションキャプチャプロセッサ９１０によって制御され、マーカの２次元（２Ｄ）画像の同期シーケンスを取り込む。同期画像は、各々が画像フレームの時間シーケンスの１つのフレームを表す画像フレームへと統合される。すなわち、各個々の画像フレームは、各々が個々のモーションキャプチャカメラ９２０又は９２２によって生成された複数の同時取得２Ｄ画像を統合したものを含む。すなわち、取り込まれた２Ｄ画像は、一般的に、ユーザのワークステーション９３０において記憶するか又は実時間で見るか又はその両方を行うことができる。
【００３２】
モーションキャプチャプロセッサ９１０は、２Ｄ画像の統合を実施して（すなわち、「再構成」を実施して）、３次元（「３Ｄ」又は「容積」）マーカデータのフレームシーケンスを生成する。この容積フレームシーケンスを多くの場合に「ビート(beat)」と呼び、これは、映画撮影技術における「テイク」と考えることができる。従来、マーカは、離散した物体又は視覚点であり、再構成されたマーカデータは、各々が、演技者のような対象物に結合されたマーカの空間（すなわち、３Ｄ）位置を表す複数の離散したマーカデータ点を含む。従って、各容積フレームは、対象物の空間モデルを表す複数のマーカデータ点を含む。モーションキャプチャプロセッサ９１０は、容積フレームシーケンスを取得し、追跡機能を実行して各フレームのマーカデータ点をシーケンス内の先行フレーム及び後続フレームのマーカデータ点に関連付ける（又は「マップする」）。
【００３３】
一実施例では、１つ又はそれよりも多くの既知のパターンがストリップ９６０Ｄ上に印刷される。次に、ストリップ９６０Ｄは、演技者の各四肢（すなわち、付属器官）の周囲に、各四肢が少なくとも２つのストリップを有するように巻かれる。例えば、図９には２つのストリップ９６０Ｄが描かれており、演技者の左の腿９７８の周囲に巻かれている。しかし、末端作動部（例えば、手、足、頭）は、１つのストリップだけで十分にマーク付けすることができる。取り込まれた状態で、上述のように、巻かれたストリップ９６０Ｄの印刷パターンは、モーションキャプチャプロセッサ９１０が、可視のセグメント上に１つだけという少ないマーカのみを用いて演技者の四肢を表す各「セグメント」の位置及び向きをあらゆる角度から追跡することを可能にする。図９に例示しているものでは、演技者の腿９７８は、モーションキャプチャプロセッサ９１０でセグメントとして取り扱われる。複数のマーカを有するパターン付きストリップ９６０Ｄを四肢の周囲に実質的に円形に巻くことにより、四肢（すなわち、セグメント）の「重心」を判断することができる。複数のパターン付きマーカストリップ９６０Ｄを用いることにより、四肢内部の骨の推定又はモデルを形成するための重心を判断することができる。更に、セグメント上に付加された１つ（又は可視の場合はそれ以上）のマーカ及び／又はストリップから、セグメント全体に関する向き、平行移動、及び回転の情報を判断することができる。
【００３４】
図１０は、実施例に従って顔面モーションキャプチャと身体モーションキャプチャを統合する方法１０００を説明する流れ図である。ボックス１０１０では、既知のパターン又は識別可能なランダムパターンを有するマーキング材が表面に付加される。一実施例では、表面は、演技者の身体の表面であり、パターンは、演技者の身体に結合された複数のマーカを含む。別の実施例では、パターンは、演技者の身体に結合された単一のマーカ（例えば、マーカストリップ）を含む。パターンは、図９に関連して解説したように、ストリップ９６０Ｄとして形成することができ、演技者の四肢、手、及び足の周囲に添付することができる。また、マーカは、反射球体、演技者の身体上に接着された刺青模様、演技者の身体上に付加された材料、又は演技者の固有の特徴（例えば、ほくろ又はしわ）も含む。更に別の実施例では、表面は、演技者の顔面の表面であり、マーキング材は、演技者の顔面に付加されたインク又は塗料マーク、そばかす又は目頭のような自然の顔面特徴、又は顔面に付加されたいずれか他のマーカ又はマークを含む。
【００３５】
既知のパターンマーカに加えて、演技者は、多数のＬＥＤを身体上に装備することができる。一実施例では、演技者は、ＬＥＤが配置された特殊スーツを着用する。一例では、ＬＥＤは、線を含むパターンで配置される。ＬＥＤの線は、既知の距離だけ分離することができ、従って、格子が形成される。そのようなＬＥＤ格子は、既知のパターンマーカと併せて追跡される（更に、一実施例では同時に）。既知のパターンマーカは、追跡分解能を改善し、そうでなければ実質的に均一に配置された複数の同等のＬＥＤに固有のアイデンティティ情報を与えることによって格子パターンのラベル付けを改善するように機能する。従って、仮想空間内での時間追跡及びラベル付けの連続性が改良される。
【００３６】
別の実施例では、格子を構成する線に対して異なる色のＬＥＤを用いることによって追跡分解能及びＬＥＤのラベル付けにおいて更に別の改善が達成される。従って、異なる色の線の交点（すなわち、格子の頂点）は、追跡中により高い識別性を得る。比較として、格子を構成する類似の色のＬＥＤは、個々に追跡することが困難になり、回転及び向きの情報を導出することが困難になる。すなわち、類似の色のＬＥＤは、「受動的アイデンティティ」の「能動的パワーを有する」「２次マーカ」と見なすことができる。しかし、一実施例では、識別可能な時間シーケンスに従って点滅又は明滅するようにＬＥＤを構成することにより、ＬＥＤに「能動的アイデンティティ」特性が与えられる。
【００３７】
次に、モーションキャプチャカメラが、キャプチャ空間内に設けられる。一実施例では、少なくとも１つのＨＤ−ＭＯＣＡＰビデオカメラが、演技者の身体をモーションキャプチャするのに用いられるように構成され（ボックス１０２０）、少なくとも１つの他のＨＤ−ＭＯＣＡＰビデオカメラが、演技者の顔面をモーションキャプチャするのに用いられるように構成される（ボックス１０３０）。更に、フィルムプレート上に演技全体を取り込むためにフィルムカメラが設けられる。次に、ボックス１０４０では、身体運動データと顔面運動データが、実質的に同時に取り込まれる。ボックス１０５０では、取り込まれた身体運動データと顔面運動データが統合される。
【００３８】
一実施例では、身体運動を取り込む１つのＨＤによって得られたビデオ運動データを用いて２Ｄ追跡が実施される。例えば、身体及び四肢上の既知のパターンのマーカが、ＨＤビデオデータのフレームからフレームへと追跡される。既知のパターンを追跡する段階は、ＨＤカメラを用いて利用可能な高い分解能によって容易になる。別の実施例では、２つ又はそれよりも多くのＨＤカメラが用いられ、これらから２Ｄ追跡を実施することができる。更に、上述の３Ｄ仮想空間を再構成する段階を含む３Ｄ追跡を実施することができ、ＨＤカメラの高い分解能から付加的な利益が生じる。また、ＦＡＣＳ型の解決法は、３Ｄでの追跡及び身体モデルの再構成を改良することができる。身体運動データを取り込む複数のＨＤカメラを用いて得られた実際のデータをモデル化する骨格の構成を助けるために、所定の骨格モデルを用いることができる。
【００３９】
一実施例では、上述の顔面及び身体モーションキャプチャ方法を実施するためのシステムは、改善された追跡方法によって補強される。１次と２次の両方のパターンを追跡するために多点追跡器が実施される。次に、ソルバが、２次マーカからの平行移動情報（２次マーカは、いかなる回転又は向きの情報も与えない）、及び１次マーカからの平行移動及び回転を骨格モデル上に還元する。ソルバは、骨格データ、並びに１次及び２次マーカにおける位置情報を原フィルムプレート上に再投影するのに用いることができる。すなわち、還元されたデータがフィルムプレート上で得られた画像と適合することを保証することにより、追跡段階、ラベル付け段階、及び処理の他の段階における不整合を早い段階で識別及び／又は調整することができる。
【００４０】
本発明の様々な例示的実施例を説明した。しかし、当業者は、付加的な実施例が同様に可能であり、本発明の範囲にあることを認識されるであろう。例えば、既知の識別可能なランダムパターンは、演技者又は物体の表面上に印刷、付加、又はインク付けすることができる。更に、望ましいパターンを取得するのに、印刷物、付加物、インク、刺青模様、量子ナノドット、及び固有の身体特徴のあらゆる組合せを用いることができる。
【００４１】
従って、本発明は、上述の実施形態だけに限定されない。
【特許請求の範囲】
【請求項１】
既知のパターンを有するマーキング材を演技者の身体及び顔面に付加する段階と、
少なくとも１つの第１のビデオモーションキャプチャカメラを前記演技者の前記身体上の前記マーキング材を取り込むように構成する段階と、
少なくとも１つの第２のビデオモーションキャプチャカメラを前記演技者の前記顔面上の前記マーキング材を取り込むように構成する段階と、
前記少なくとも１つの第１のビデオモーションキャプチャカメラを用いて身体運動データ、及び前記少なくとも１つの第２のビデオモーションキャプチャカメラを用いて顔面運動データを実質的に同時に取り込む段階と、
前記身体運動データと前記顔面運動データを統合する段階と、
を含むことを特徴とする方法。
【請求項２】
前記少なくとも１つの第２のビデオモーションキャプチャカメラは、前記演技者の頭部上に着用されるように構成されることを特徴とする請求項１に記載の方法。
【請求項３】
前記演技者の前記身体上の前記マーキング材は、
符号によって符号化されたマーカ、
を含む、
ことを特徴とする請求項１に記載の方法。
【請求項４】
前記符号は、識別及び向きの情報を含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記マーカは、固有のドットパターンのマトリックスであることを特徴とする請求項３に記載の方法。
【請求項６】
前記マーカは、円形のクラッシュテストパターンであることを特徴とする請求項３に記載の方法。
【請求項７】
前記演技者の前記顔面上の前記マーキング材は、
前記顔面上に塗布されたインクマーキング、
を含む、
ことを特徴とする請求項１に記載の方法。
【請求項８】
前記顔面上に塗布された前記インクマーキングは、
赤外線インク、蓄光塗料／化粧、及び量子ナノドットのうちの少なくとも１つ、
を含む、
ことを特徴とする請求項７に記載の方法。
【請求項９】
前記演技者の前記顔面上の前記マーキング材は、
前記演技者の前記顔面上の固有の特徴、
を含む、
ことを特徴とする請求項１に記載の方法。
【請求項１０】
前記固有の特徴は、ほくろ、しわ、そばかす、及び目頭のうちの少なくとも１つを含むことを特徴とする請求項９に記載の方法。
【請求項１１】
前記顔面運動データは、
顔面キャプチャ走査を実施することによって得られたデータ、
を含む、
ことを特徴とする請求項１に記載の方法。
【請求項１２】
フィルムカメラを演技全体を取り込むように構成する段階、
を更に含むことを特徴とする請求項１に記載の方法。
【請求項１３】
マーキング材を付加する段階は、前記演技者の前記顔面上に光のパターンを投影する段階を含むことを特徴とする請求項１に記載の方法。
【請求項１４】
演技者の身体及び顔面に付加された既知のパターンを有するマーキング材と、
前記演技者の前記身体上の前記マーキング材を取り込む少なくとも１つの第１のビデオモーションキャプチャカメラと、
前記演技者の前記顔面上の前記マーキング材を取り込む少なくとも１つの第２のビデオモーションキャプチャカメラと、
前記少なくとも１つの第１のビデオモーションキャプチャカメラを用いて身体運動データ、及び前記少なくとも１つの第２のビデオモーションキャプチャカメラを用いて顔面運動データを実質的に同時に取り込み、かつ
前記身体運動データと前記顔面運動データを統合する、
ように構成されたプロセッサと、
を含むことを特徴とするシステム。
【請求項１５】
前記演技者の頭部上に着用され、前記少なくとも１つの第２のビデオモーションキャプチャカメラを装着したヘルメット、
を更に含むことを特徴とする請求項１４に記載のシステム。
【請求項１６】
前記演技者の前記身体上の前記マーキング材は、
符号化された識別及び向きの情報を有するマーカ、
を含む、
ことを特徴とする請求項１４に記載のシステム。
【請求項１７】
前記演技者の前記顔面上の前記マーキング材は、
前記顔面上に塗布されたインクマーキング、
を含む、
ことを特徴とする請求項１４に記載のシステム。
【請求項１８】
前記顔面運動データは、
顔面キャプチャ走査を実施することによって得られたデータ、
を含む、
ことを特徴とする請求項１４に記載のシステム。
【請求項１】
既知のパターンを有するマーキング材を演技者の身体及び顔面に付加する段階と、
少なくとも１つの第１のビデオモーションキャプチャカメラを前記演技者の前記身体上の前記マーキング材を取り込むように構成する段階と、
少なくとも１つの第２のビデオモーションキャプチャカメラを前記演技者の前記顔面上の前記マーキング材を取り込むように構成する段階と、
前記少なくとも１つの第１のビデオモーションキャプチャカメラを用いて身体運動データ、及び前記少なくとも１つの第２のビデオモーションキャプチャカメラを用いて顔面運動データを実質的に同時に取り込む段階と、
前記身体運動データと前記顔面運動データを統合する段階と、
を含むことを特徴とする方法。
【請求項２】
前記少なくとも１つの第２のビデオモーションキャプチャカメラは、前記演技者の頭部上に着用されるように構成されることを特徴とする請求項１に記載の方法。
【請求項３】
前記演技者の前記身体上の前記マーキング材は、
符号によって符号化されたマーカ、
を含む、
ことを特徴とする請求項１に記載の方法。
【請求項４】
前記符号は、識別及び向きの情報を含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記マーカは、固有のドットパターンのマトリックスであることを特徴とする請求項３に記載の方法。
【請求項６】
前記マーカは、円形のクラッシュテストパターンであることを特徴とする請求項３に記載の方法。
【請求項７】
前記演技者の前記顔面上の前記マーキング材は、
前記顔面上に塗布されたインクマーキング、
を含む、
ことを特徴とする請求項１に記載の方法。
【請求項８】
前記顔面上に塗布された前記インクマーキングは、
赤外線インク、蓄光塗料／化粧、及び量子ナノドットのうちの少なくとも１つ、
を含む、
ことを特徴とする請求項７に記載の方法。
【請求項９】
前記演技者の前記顔面上の前記マーキング材は、
前記演技者の前記顔面上の固有の特徴、
を含む、
ことを特徴とする請求項１に記載の方法。
【請求項１０】
前記固有の特徴は、ほくろ、しわ、そばかす、及び目頭のうちの少なくとも１つを含むことを特徴とする請求項９に記載の方法。
【請求項１１】
前記顔面運動データは、
顔面キャプチャ走査を実施することによって得られたデータ、
を含む、
ことを特徴とする請求項１に記載の方法。
【請求項１２】
フィルムカメラを演技全体を取り込むように構成する段階、
を更に含むことを特徴とする請求項１に記載の方法。
【請求項１３】
マーキング材を付加する段階は、前記演技者の前記顔面上に光のパターンを投影する段階を含むことを特徴とする請求項１に記載の方法。
【請求項１４】
演技者の身体及び顔面に付加された既知のパターンを有するマーキング材と、
前記演技者の前記身体上の前記マーキング材を取り込む少なくとも１つの第１のビデオモーションキャプチャカメラと、
前記演技者の前記顔面上の前記マーキング材を取り込む少なくとも１つの第２のビデオモーションキャプチャカメラと、
前記少なくとも１つの第１のビデオモーションキャプチャカメラを用いて身体運動データ、及び前記少なくとも１つの第２のビデオモーションキャプチャカメラを用いて顔面運動データを実質的に同時に取り込み、かつ
前記身体運動データと前記顔面運動データを統合する、
ように構成されたプロセッサと、
を含むことを特徴とするシステム。
【請求項１５】
前記演技者の頭部上に着用され、前記少なくとも１つの第２のビデオモーションキャプチャカメラを装着したヘルメット、
を更に含むことを特徴とする請求項１４に記載のシステム。
【請求項１６】
前記演技者の前記身体上の前記マーキング材は、
符号化された識別及び向きの情報を有するマーカ、
を含む、
ことを特徴とする請求項１４に記載のシステム。
【請求項１７】
前記演技者の前記顔面上の前記マーキング材は、
前記顔面上に塗布されたインクマーキング、
を含む、
ことを特徴とする請求項１４に記載のシステム。
【請求項１８】
前記顔面運動データは、
顔面キャプチャ走査を実施することによって得られたデータ、
を含む、
ことを特徴とする請求項１４に記載のシステム。
【図９】
【図１０】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図７】
【図８】
【図１０】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図７】
【図８】
【公開番号】特開２０１３−８０４７３（Ｐ２０１３−８０４７３Ａ）
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願番号】特願２０１２−２１９６５４（Ｐ２０１２−２１９６５４）
【出願日】平成２４年１０月１日（２０１２．１０．１）
【分割の表示】特願２０１０−５２４１４８（Ｐ２０１０−５２４１４８）の分割
【原出願日】平成２０年９月４日（２００８．９．４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【出願人】（５９６１０２１２６）ソニー ピクチャーズ エンターテインメント インコーポレイテッド (46)
【Ｆターム（参考）】
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願日】平成２４年１０月１日（２０１２．１０．１）
【分割の表示】特願２０１０−５２４１４８（Ｐ２０１０−５２４１４８）の分割
【原出願日】平成２０年９月４日（２００８．９．４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【出願人】（５９６１０２１２６）ソニー ピクチャーズ エンターテインメント インコーポレイテッド (46)
【Ｆターム（参考）】
[ Back to top ]