モーションピクチャにおけるセグメント追跡
【課題】モーションマーカデータを用いるセグメント追跡に関する。
【解決手段】モーションキャプチャにおけるセグメント追跡は、既知のパターンを有するマーキング材料を表面に付すステップと、表面を覆う既知のパターンの複数の画像をそれぞれが含む画像フレームのシーケンスを取得するステップと、シーケンスの各画像フレームについて、既知のパターンに関する位置及び向き情報を導出するステップと、位置及び向き情報を組み込んだアニメーションデータを生成するステップとを有する。
【解決手段】モーションキャプチャにおけるセグメント追跡は、既知のパターンを有するマーキング材料を表面に付すステップと、表面を覆う既知のパターンの複数の画像をそれぞれが含む画像フレームのシーケンスを取得するステップと、シーケンスの各画像フレームについて、既知のパターンに関する位置及び向き情報を導出するステップと、位置及び向き情報を組み込んだアニメーションデータを生成するステップとを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、米国特許法第１１９条に基づき、２００６年１１月１日に出願された同時係属中の米国仮出願番号６０／８５６，２０１、発明の名称「Segment Tracking in Motion Picture」の優先権の利益を主張し、この文献の開示内容は、引用によって本願に援用される。
【０００２】
更に、本出願は、同じ譲受人に譲渡されている２００３年５月１日に出願された米国特許出願１０／４２７，１１４、発明の名称「System and Method for Capturing Facial and Body Motion」、２００６年８月２５日に出願された米国特許出願１１／４６７，５０３、発明の名称「Labeling Used in Motion Capture」、２００７年７月２７日に出願された米国特許出願１１／８２９，７１１、発明の名称「FACS Cleaning in Motion Capture」、２００７年７月１１日に出願された米国特許出願１１／７７６，３５８、発明の名称「Motion Capture Using Quantum Nano Dots」を引用によって組込み、これらの文献の開示内容は、引用によって本願に援用される。
【０００３】
本発明は、包括的には、モーションキャプチャに関し、より詳しくは、モーションマーカデータを用いるセグメント追跡に関する。
【背景技術】
【０００４】
モーションキャプチャシステムは、演技者又はオブジェクトの運動をキャプチャし、演技者又はオブジェクトをアニメーション化する手法として、この運動をコンピュータが生成した演技者／オブジェクトにマッピングするために使用されている。これらのシステムは、モーションピクチャ及びビデオゲームの生成において、ソースデータとしての使用のために演技者又はオブジェクトのデジタル表現を作成し、コンピュータグラフィクス（「ＣＧ」）アニメーションを作成するために頻繁に用いられている。典型的なシステムでは、演技者は、マーカが様々な位置に取り付けられたスーツを着用する（例えば、胴体及び肢に小さい反射マーカが取り付けられる）。そして、適切に配置されたデジタルカメラが、マーカを照射しながら、異なる角度からキャプチャボリューム内の演技者の体の運動を記録する。後に、システムは、画像を分析し、各フレームにおいて、演技者のスーツ上のマーカの位置（例えば、空間座標）を判定する。システムは、マーカの位置を追跡することによって時間の経過に伴うマーカの空間的表現を作成し、動いている演技者のデジタル表現を構築する。そして、この動きを仮想空間においてデジタルモデルに適用し、場合によっては、このデジタルモデルをテクスチャリング及びレンダリングして、演技者及び／又は演技の完全なＣＧ表現が生成される。特殊効果の担当業者は、この技術を用いて、多くの大衆映画の現実感があるアニメーションを制作してきた。
【発明の概要】
【課題を解決するための手段】
【０００５】
本明細書に開示する具体例は、モーションキャプチャにおけるセグメント追跡を提供する方法、システム及びコンピュータプログラムを提供する。
【０００６】
一側面として、本発明は、セグメント追跡のための方法を開示する。この方法は、既知のパターンを有するマーキング材料を表面に付すステップと、表面を覆う既知のパターンの複数の画像をそれぞれが含む画像フレームのシーケンスを取得するステップと、シーケンスの各画像フレームについて、既知のパターンに関する位置及び向き情報を導出するステップと、位置及び向き情報を組み込んだアニメーションデータを生成するステップとを有する。
【０００７】
他の側面として、セグメント追跡のためのシステムを開示する。システムは、表面上に配置された既知のパターンの複数の同期された画像をそれぞれが含む画像フレームのシーケンスを生成する画像取得モジュールと、画像フレームのシーケンスを受け取り、表面上に配置された既知のパターンに基づいて、アニメーションデータを生成するセグメント追跡モジュールとを備える。
【０００８】
以下の詳述及び添付の図面によって、本発明の他の特徴及び利点が当業者にとって明らかとなる。
【０００９】
本発明の構造及び動作の両方についての詳細は、添付の図面を読むことによっても部分的に知ることができる。
【図面の簡単な説明】
【００１０】
【図１】一具体例に基づくモーションキャプチャシステムのブロック図である。
【図２】本発明の具体例に基づくマーカのサンプルの集合を示す図である。
【図３】人体を一具体例に基づくマーカ配設位置と共に示す図である。
【図４】マーカを装着した人体モデルの正面図である。
【図５】マーカを装着した人体モデルの斜め背面図である。
【図６】セグメント追跡方法のフローチャートである。
【図７Ａ】大文字Ａを表すようにラベルリング又はパターン化されたマーカを示す図である。
【図７Ｂ】パターンとして文字Ａを形成する複数のマーカを含む既知のパターンを示す図である。
【図７Ｃ】文字Ａの文字通りの表現を有するマーカを示す図である。
【図８】マーキング材料のストリップを使用する方法のフローチャートである。
【図９】セグメント追跡システムの具体例の機能的ブロック図である。
【図１０Ａ】コンピュータシステム及びユーザの表現を示す図である。
【図１０Ｂ】セグメント追跡システムをホストするコンピュータシステムを示す機能的ブロック図である。
【図１１】セグメント追跡モジュールの具体例を示す機能的ブロック図である。
【発明を実施するための形態】
【００１１】
本明細書に開示する具体例は、モーションキャプチャにおけるセグメント追跡を提供する。具体例は、演技者及び／又はオブジェクトに付されたマーカの１つ以上の既知のパターンを使用することを含む。パターンを構成するマーカは、個々にではなく、グループとして追跡される。したがって、パターンは、識別、位置／並進及び向き／回転等の情報を提供でき、これは、マーカ追跡に著しく役立つ。
【００１２】
この説明によって、様々な他の具体例及び代替となるアプリケーションにおいて本発明を実施する手法が当業者にとって明らかになる。なお、ここには、本発明の様々な具体例を説明するが、これらの実施の形態は、例示的なものであり、限定的なものではないことは明らかである。したがって、様々な他の具体例に関するこの詳述は、添付の特許請求の範囲に定義されている本発明の範囲又は幅を制限するものとは解釈されない。
【００１３】
本発明の具体例では、既知のパターンで符号化されたマーカを演技者及び／又はオブジェクトに付し、通常、演技者及び／又はオブジェクトの様々な表面を覆う。演技者及び／又はオブジェクトの識別、位置／並進及び向き／回転は、パターンの画像を記録して、デジタル化することによって得られる。マーカのパターンは、モーションキャプチャにおいて、マーカ遮蔽（marker occlusion）の間、「マーカ見失い（missing-marker）」効果を緩和するように選択できる。他の具体例では、識別可能なランダムパターンを「既知のパターン」として用いる。
【００１４】
既知の（ランダム）パターンは、例えば、量子ナノドット、暗闇で発光する（すなわち、蛍光の）材料、タトゥ、仮想的にあらゆる可視光線、赤外線の又は紫外線のインク、塗料を含む材料、又は十分に識別可能なパターンで付すことができる材料を用いて生成することができる。また、パターンは、演技者及び／又はオブジェクトの生来的な特徴のパターン（例えば、ほくろ又はしわ）であってもよい。
【００１５】
一具体例では、パターンは、演技者の体に結合された複数のマーカ又は特徴を含む。他の具体例では、パターンは、単一のマーカ（例えば、マーカストリップ）又は特徴を含む。パターンは、演技者の肢、手及び足の表面の上又は周りに付し又は取り付けてもよい。一具体例においては、肢（すなわち、体肢）に巻回されたパターンストリップの円形の配置からパターンに関連する重心情報を導出できる。演技者及び／又はオブジェクトに既知のパターンを付し、そして、これらの運動をカメラで記録することによって、位置だけではなく、マーカの識別及び空間の向きに関する情報を得ることができる。
【００１６】
図１は、一具体例に基づくモーションキャプチャシステム１００の機能的ブロック図である。モーションキャプチャシステム１００は、モーションキャプチャプロセッサ１１０と、モーションキャプチャカメラ１２０、１２２、１２４と、ユーザワークステーション１３０と、演技者の体１４０及び顔１５０とを含み、演技者の体１４０及び顔１５０には、所定のパターンのマーカ材料１６０が適切に付されている。図１では、１３個のマーカ１６０Ａ〜１６０Ｆのみを示しているが、体１４０及び顔１５０において実質的により多くのマーカを用いてもよい。モーションキャプチャプロセッサ１１０は、有線又は無線によって、ワークステーション１３０に接続されている。モーションキャプチャプロセッサ１１０は、通常、ワークステーション１３０から制御データパケットを受信するように構成されている。
【００１７】
ここに示すように、３個のモーションキャプチャカメラ１２０、１２２、１２４がモーションキャプチャプロセッサ１１０に接続されている。通常、様々なユーザ及びアニメーションに関連するニーズ及び要求に基づき、３個より多くのモーションキャプチャカメラが必要である。モーションキャプチャカメラ１２０、１２２、１２４は、マーカ１６０Ａ〜１６０Ｆが付されている演技者の体１４０及び顔１５０にフォーカスされる。
【００１８】
マーカ１６０Ａ〜１６０Ｆの配置は、例えば、演技者の体１４０、顔１５０、手１７０、腕１７２、脚１７４、１７８及び足１７６等の対象となる動きがキャプチャされるように構成されている。図１に示す具体例では、マーカ１６０Ａは、顔１５０の動きをキャプチャし、マーカ１６０Ｂは、腕１７２の動きをキャプチャし、マーカ１６０Ｃは、体１４０の動きをキャプチャし、マーカ１６０Ｄ、１６０Ｅは、脚１７４の動きをキャプチャし、マーカ１６０Ｆは、足１７６の動きをキャプチャする。更に、マーカ１６０Ａ〜１６０Ｆのパターンの一意性は、マーカを識別し、及びマーカの向きを知るために用いることができる情報を提供する。マーカ１６０Ｄは、演技者の脚に巻回されるパターンのストリップ（帯状のもの）として構成されている。
【００１９】
モーションキャプチャカメラ１２０、１２２、１２４は、モーションキャプチャプロセッサ１１０によって制御され、マーカの２次元（２Ｄ）画像の同期シーケンスをキャプチャする。同期画像は、画像フレームに統合され、各画像フレームは、画像フレームの時間的シーケンスの１つのフレームを表す。すなわち、個々の画像フレームのそれぞれは、統合された複数の同時に取得された２Ｄ画像を含み、各２Ｄ画像は、個々のモーションキャプチャカメラ１２０、１２２又は１２４によって生成されている。このようにしてキャプチャされた２Ｄ画像は、通常、ユーザワークステーション１３０において保存され、又はリアルタイムで表示され、又はこの両方が行われる。
【００２０】
モーションキャプチャプロセッサ１１０は、２Ｄ画像の統合を実行し（すなわち、「再構築」を実行し）、３次元（「３Ｄ」又は「立体）」）マーカデータのフレームシーケンスを生成する。立体フレームのこのシーケンスは、「ビート（beat）」と呼ばれることも多く、これは、映画撮影における「テイク（take）」と同様のものと考えることができる。従来、マーカは、離散的オブジェクト又はビジュアルポイントであり、再構築されたマーカデータは、複数の離散的マーカデータ点を含み、各マーカデータ点は、演技者１４０等のターゲットに連結されたマーカの空間的な（すなわち、３Ｄの）位置を表す。したがって、各立体フレームは、ターゲットの空間モデルを表す複数のマーカデータ点を含む。モーションキャプチャプロセッサ１１０は、立体フレームシーケンスを読み出し、追跡機能を実行し、各フレームのマーカデータ点に、シーケンス内の前フレーム及び次フレームのマーカデータ点を正確に関連付ける（「マッピングする」）。
【００２１】
例えば、第１の立体フレームにおける個々のマーカデータ点は、演技者の体１４０に配置された単一のマーカに対応している。第１の立体フレームのこのようなマーカデータ点のそれぞれには、一意的ラベルが割り当てられる。そして、マーカデータ点は、第２の立体フレーム内の対応するマーカデータ点に関連付けられ、第１の立体フレームのマーカデータ点のための一意的ラベルは、第２の立体フレームの対応するマーカデータ点に割り当てられる。立体フレームシーケンスの全体についてラベリング（すなわち、追跡）処理が完了すると、シーケンスに亘って、第１の立体フレームのマーカデータ点がトレース可能になり、各マーカデータ点について、個々の軌道が得られる。
【００２２】
従来より、硬いオブジェクト、若しくはオブジェクト又は体のセグメントの動きをキャプチャするために、離散的マーカが使用されている。例えば、肘及び手首に取り付けられた硬いマーカは、前腕の各端部の位置を定義する。前腕が動くと、肘及び手首のマーカの動きは、上述のように、立体フレームのシーケンスにおいて、追跡され、決定（resolved）される。このようにして、前腕の動きは、肘マーカ及び手首マーカによって定義されている端部のみによって、剛体（例えば、ロッド）としてモデル化される。ここで、前腕の並進運動は、肘マーカ及び手首マーカの空間的位置の変化を分析することによって容易に解決できるが、捻転は、手首又は肘を実質的に移動させずに行うことができるので、前腕の共通の捻転運動は、検出することが難しい。
【００２３】
一具体例では、従来の離散的なマーカの使用とは異なり、パターンとして配置されたマーカを使用し、これによって、モーションキャプチャプロセッサ１１０は、個別にマーカを追跡するのではなく、パターンをグループとして追跡することができる。パターンは、識別情報を提供するので、あるパターンの他のパターンに対するマーカの運動を算出できる。一具体例では、このようにして追跡されたパターンは、各立体フレームにおいて、空間的な位置情報を有する個々のオブジェクトとして再構築される。オブジェクトは、立体フレームのシーケンスに亘って追跡され、例えば、パターンが付されている演技者の一部分の様々な空間的並進、回転及び捻転を表す仮想アニメーションが得られる。
【００２４】
一具体例では、ストリップ１６０Ｄに１つ以上の既知のパターンを印刷する。そして、演技者の各肢（すなわち、体肢）に２つのストリップが取り付けられるように、ストリップ１６０Ｄを各肢に巻回する。例えば、図１では、２つのストリップ１６０Ｄが演技者の左の大腿部１７８に巻回されている。一方、端部エフェクタ（例えば、手、足、頭）は、１つのストリップだけで十分にマークできる。上述したように、巻回されたストリップ１６０Ｄの印刷されたパターンが一旦キャプチャされると、これにより、モーションキャプチャプロセッサ１１０は、演技者の肢を表す各「セグメント」の位置及び向きを、如何なる角度からも、可視のセグメント上の１つだけのマーカによって追跡することができる。図１に示す演技者の大腿部１７８は、モーションキャプチャプロセッサ１１０において、セグメントとして扱われる。複数のマーカを有するパターン化されたストリップ１６０Ｄを肢の周りに実質的に円形に巻回することによって、肢（すなわち、セグメント）の「重心」を判定できる。マーカの複数のパターン化されたストリップ１６０Ｄを用いて重心を判定し、肢内の骨の推定値又はモデルを提供してもよい。更に、セグメントに付された１つ（又は可視であれば２つ以上）のマーカ及び／又はストリップから、セグメントの全体に関する向き、並進及び回転情報を判定することもできる。
【００２５】
一具体例では、モーションキャプチャプロセッサ１１０は、ここに開示する技術に基づいてセグメント追跡を実行し、これにより、マーカ（又はマークされた領域）のグループについて、識別、位置／並進及び向き／回転情報を生成する。従来の光学的モーションキャプチャシステムは、通常、マーカの位置のみを記録するが、セグメント追跡によって、モーションキャプチャプロセッサ１１０は、どのマーカがキャプチャされているかを識別し、セグメントのキャプチャされたマーカの位置及び向きを特定することができる。一旦、マーカが検出及び特定されると、特定されたマーカから、セグメントに関する位置及び向き／回転情報を導出できる。セグメントの位置及び向き情報の判定の信頼度は、検出されるマーカの数が多くなるほど高くなる。
【００２６】
既知のパターン（及び識別可能なランダムパターン）で付されるマーカ又はマーキング材料は、本質的に、識別及び向き情報を符号化し、効率的なセグメント追跡の補助となる。一具体例では、より小さいマーカの既知のパターンが単一のマーカ又はマーキング領域を構成する。例えば、図７Ａに示す大文字Ａを表すようにラベリング又はパターン化されたマーカは、実際には、６個のより小さいマーカＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆから構成されている。他の具体例では、図７Ｂに示すように、既知のパターンは、パターンとして文字Ａを形成する複数のマーカ又はマーキング領域を含む。文字Ａを形成する８個のドットは、単一のより大きいマーカとして機能する。これに代えて、図７Ｃに示すように、マーカは、文字Ａの文字通りの表現であってもよい。図７Ａ〜図７Ｃに示すマーカの共通の特徴は、これらが全て識別可能な向きを有するという点である。何れの場合も、マーカは、回転できるが、回転しても文字Ａとして識別でき、これにより、キャプチャされた画像データのフレーム間でマーカが容易に「追跡可能」になるので、マーカ追跡効率が著しく高まる。識別に加えて、各マーカの向きも、フレーム間で判定できる。例えば、マーカ１６０Ｂ（図１参照）が演技者の前腕に取り付けられている場合、演技者が前腕を下ろしている位置から頭上に上げている位置に移動させると、マーカ１６０Ｂは、実質的に１８０度回転する。マーカの追跡によって、頭上の位置への空間的並進だけではなく、前腕セグメントが、前の位置から１８０度異なる向きを向いていることが明らかになる。このように、マーカ追跡は、識別及び向き情報を符号化するマーカ又はマーカのグループを用いることによって、拡張され、改善される。
【００２７】
図２は、本発明の具体例に基づくマーカのサンプルの集合を示している。各マーカは、小さい白色及び黒色の正方形の６×６マトリクスから構成されている。各マーカにおいて、識別及び向き情報は、６×６マトリクス内の白色の正方形の一意的な配置によって符号化されている。何れの場合も、マーカを回転させても、マーカの識別及び向きの判定に関して多義性が生じることはなく、これにより、情報を符号化するための、このスキームの有効性が示されている。なお、ここに例示的に開示した白色及び黒色の要素の６×６マトリクス以外の構成を用いる符号化スキームを採用してもよいことは明らかである。
【００２８】
図３は、人体を一具体例に基づくマーカ配設位置と共に示している。ここに示すマーカは、図２に示すスキームと同様のスキームを用いて、識別及び向き情報を符号化している。これらのマーカは、体の主要な末端（すなわち、セグメント）が少なくとも１つのマーカによって定義されるように、実質的に対称的に配置されている。図示するマーカの約半分は、ここに示す正面図では可視でない体の表面に配置され、これらのマーカについては、隠れている位置を概略的に指す矢印を示している。図１に示すように、モーションキャプチャカメラ１２０、１２２、１２４（通常、より多くのカメラを用いるが、これらのカメラを代表している）は、演技者の体１４０及び顔１５０が動くキャプチャ空間を取り囲む。モーションキャプチャカメラ１２０、１２２、１２４のあるサブセットから、マーカの何れかのビューが隠れても、他のサブセットが視野を維持し、この隠れたマーカの動きをキャプチャする。したがって、このようなマーカを装着した演技者による殆ど全ての運動は、図１に関連して説明したシステムを用いてキャプチャすることでき、セグメント追跡方法を用いて追跡することができる。
【００２９】
図４は、図３について説明したマーカを装着した人体モデルの正面図を示している。ここに示すように、モデルの前面の表面上のマーカだけが可視である。マーカの残りは部分的又は完全に隠れている。図５は、図４に示すものと実質的に同じポーズの同じ人体モデルの斜め背面図である。この視点からは、全面に配置されたマーカは、隠れているが、図４では隠れていたマーカの多くが可視になっている。このように、如何なる任意の時点においても、キャプチャ空間の周りに配置された複数のモーションキャプチャカメラ１２０、１２２、１２４の何れかのサブセットにとっては、実質的に全てのマーカが可視である。
【００３０】
また、図４及び図５に示す３Ｄモデル上のマーカ配置は、動きを明確にする体の主要な末端（セグメント）及び領域（例えば、頭、肩、尻、足首等）を実質的に定義する。キャプチャされたデータに関してセグメント追跡を実行すると、マーカが配設されている体の部分の位置を特定することができ、また、これらの向きも判定することができる。更に、マーカ配置によって定義されている体のセグメント、例えば、肘と肩との間の上腕セグメントは、そのセグメントの実質的に各端部に配置されたマーカによって、その位置を特定することができる。また、上腕を定義する個々のマーカから導出される向きから、上腕セグメントの位置及び向きも判定できる。
【００３１】
図６は、具体例に基づくセグメント追跡方法６００を説明するフローチャートである。６１０では、既知のパターン又は識別可能なランダムパターンを有するマーキング材料を表面に付す。一具体例では、表面は、演技者の体の表面であり、パターンは、演技者の体に取り付けられた複数のマーカを含む。他の具体例では、パターンは、演技者の体に取り付けられた単一のマーカ（例えば、マーカストリップ）からなる。また、図１に関連して説明したように、パターンは、演技者の肢、手及び足の周りに固定されたストリップ１６０Ｄとして形成してもよい。また、マーカは、反射性の球、演技者の体に貼り付けられたタトゥ（タトゥシール）、演技者の体に塗布された材料又は演技者の生来的な特徴（例えば、ほくろ又はしわ）を含む。一具体例では、一時的タトゥを用いて、マーカのパターンを演技者に付してもよい。
【００３２】
次に、６２０において、ここ開示し、図１に関連して説明したモーションキャプチャのための方法及びシステムに基づいて、画像フレームのシーケンスを取得する。画像データは、キャプチャされた後、例えば、マーカを備える演技者又はオブジェクトの３Ｄモデルを再構築するために使用される。一具体例では、この処理は、６３０において、各画像フレームについて、マーカパターンの位置及び向き情報を導出（生成）することを含む。位置情報は、図４及び図５に関して説明したように、特徴的な回転不変性を用いるパターンによって提供されるマーカに符号化されている一意的な識別情報によって得られる。向き情報は、パターンを構成するマーカの回転の量を判定することによって導出することができる。マーカの総合的な回転及び向きは、３Ｄ空間におけるアフィン（affine）表現によって定義することができ、これにより、マーカ追跡が容易になる。例えば、向きは、３Ｄ空間内のオブジェクトの６自由度（six degrees of freedom：６ＤＯＦ）を表す値によって表現することができる。したがって、向きは、座標系（例えば、ユークリッド空間）の原点からの何らかの位置の移動（並進）を表す３つの値と、座標系の基本的な軸に対する角変位（回転）を表す３つの値とを有することができる。
【００３３】
６４０では、マーカの運動に基づくアニメーションデータを生成する。例えば、仮想デジタルモデルは、画像データにおいてキャプチャされた演技者の運動から導出されたデータによってアクティブ化される。演技の間、演技者は、台本に従って、脚を揺らす。演技者の脚は、例えば、主要な各関節、すなわち、尻、ひざ及び足首にマーカを備えている。マーカの運動を判定し、これを用いて、演技者の脚のセグメントの運動を定義する。演技者の脚のセグメントは、デジタルモデルの脚のセグメントに対応し、したがって、仮想デジタルモデルをアニメーション化するために、演技者の脚のセグメントの運動は、仮想デジタルモデルの脚にマッピングされる。
【００３４】
図６に関連して説明したように、６１０では、パターンをストリップ１６０Ｄ（図１参照）として形成し、これを演技者の肢、手及び足の周りに取り付けてもよい。そして、肢に巻回されたストリップの円形の配置から重心を判定してもよい。そして、例えば、肢の各端部に配設されたこのような２つのストリップを用いて、肢（セグメント）に対して長手方向の重心を判定し、基底にある骨格要素を概算してもよい。
【００３５】
図８は、マーキング材料のストリップを使用する方法８００を説明するフローチャートを示している。８１０では、既知のパターンを有するマーキング材料のストリップを演技者の肢に付し、これは、通常、ストリップを肢に巻回することによって行われる。巻回されたマーキング材料のストリップは、実質的に円形の形状に配置されるので、ストリップの重心を判定し、この重心を用いて、ストリップが巻回された体の領域の運動を表現することができる。更に、このようにして肢の骨格要素の動きを概算し、骨格モデリングのために使用してもよい。
【００３６】
次に、８２０において、図１に関連して上述したモーションキャプチャの方法及びシステムに基づいて、画像フレームのシーケンスを取得する。画像データは、図６の６２０に関して説明したものと基本的に同様の手法で、キャプチャされた後、例えば、マーカを備える演技者の３Ｄモデルを再構築するために使用される。一具体例では、この処理は、８３０において、図６の６３０に関して説明した処理と基本的に同様の手法で、各画像フレームにおける各ストリップについて、既知のパターンの位置及び向き情報を導出することを含む。
【００３７】
８４０では、位置及び向き情報から、１つ以上のストリップを備える演技者の肢の重心情報を導出する。上述のように、２つ以上のストリップの重心を用いて、演技者の肢内の骨格構造（すなわち、骨）を概算することができる。そして、マーカストリップの重心の運動を用いて、骨格構造の運動、したがって、肢の運動を表現する。
【００３８】
８５０では、マーカストリップの運動に基づくアニメーションデータを生成する。例えば、演技の間、演技者は、台本に従って、脚を揺らす。演技者の脚には、上述のように、マーカ材料のストリップが巻回されている。すなわち、例えば、太股の上部にあるストリップを巻回し、ひざの近傍に他のストリップを巻回してもよい。そして、マーカストリップの重心の運動を判定し、これを用いて、上脚の骨格構造、すなわち、演技者に対応する仮想デジタルモデルの上脚の内部の骨格要素を定義する。したがって、重心の運動を用いて、仮想デジタルモデルの脚をアニメーション化することができる。
【００３９】
一具体例では、量子ナノドット（又は「量子ドット」又は「ＱＤ」とも呼ばれる。）を用いてマーカを印刷又は形成する。このシステムは、従来の再帰性反射システム（retro-reflective system）と略々同様の構成を有するが、特定の周波数の励起光源（例えば、既存のフィルタリングされたリングライト又は他の光源）と、既存のカメラのレンズの背後に配置され、これによってＱＤが放射する光の波長にカメラをチューニングする狭帯域フィルタとが追加される。
【００４０】
ＱＤは、特定の波長の光によって励起され、異なる波長の光（すなわち、蛍光）を発するように構成されている。ＱＤは、励起波長からスペクトル的に上に量子シフトされている光を発するため、カメラから励起光をフィルタリングすることができる。これにより、ＱＤの特定の放射スペクトルの範囲の外にある全ての光を、カメラにおいて実質的にブロックすることができる。
【００４１】
ＱＤは、仮想的に、可視又は不可視のスペクトル内の如何なる波長にもチューニングできる。これは、マーカの特定のグループだけが見え、それ以外が見えないようにカメラのグループをフィルタリングすることができることを意味し、これによって、要求される所定のカメラの動作負荷が軽減され、カメラは、ＱＤの狭い応答範囲において「全開（wide open）」で動作することができる。
【００４２】
一具体例では、量子ナノドットは、インク、塗料、プラスチック、一時的タトゥブランク（temporary tattoo blanks）等の媒体に加えられる。
【００４３】
図９は、セグメント追跡システム９００の具体例の機能的ブロック図である。画像取得モジュール９１０は、モーションキャプチャ画像データの画像フレームを生成し、セグメント追跡モジュール９２０は、画像フレームを受け取って、アニメーションデータを生成する。
【００４４】
画像取得モジュール９１０は、図１に示すモーションキャプチャシステム１００に関連して上述した方法に基づいて動作する。一具体例では、画像フレームは、追跡されていないマーカデータを含む立体的データを含む。すなわち、マーカデータは、ラベリングていない空間データとして各フレームに存在し、他のフレームのマーカデータと統合されていない。
【００４５】
セグメント追跡モジュール９２０は、図２〜図９に関連して上述した方法及びスキームに基づいて動作する。
【００４６】
図１１は、セグメント追跡モジュール９２０の例示的構成を示す機能的ブロック図である。ここに示すように、セグメント追跡モジュール９２０は、識別モジュール１１００、向きモジュール１１１０、追跡モジュール１１２０及びアニメーションモジュール１１３０を含む。
【００４７】
識別モジュール１１００は、図１に示すマーカ１６０Ａ〜１６０Ｆ等の既知のパターンを有するマーカを特定する能力を備える。一具体例では、識別モジュール１１００は、フレーム間でマーカ１６０の既知のパターン及びランダムパターンの位置を特定するパターン照合を実行する。他の具体例では、識別モジュール１１００は、図７Ａ〜図７Ｃに関連して説明したように、より小さいマーカのグループから構成される単一のより大きいマーカを識別するように構成されている。マーカ１６０は、その回転の状態にかかわらず識別可能となるように設計されており、これに応じて、識別モジュール１１００は、マーカ１６０の回転に対して不変の識別を実行するように構成されている。一旦、マーカ１６０が一意的に識別されると、マーカ１６０は、演技者の体の特定の部分、例えば、マーカ１６０が取り付けられている部分に適切に関連付けられる。図１に示すように、マーカ１６０Ｂは、演技者の上腕１７２に関連付けられ、マーカ１６０Ｄは、上下の大腿部１７８（脚セグメントに巻回されたマーカストリップ）に関連付けられ、マーカ１６０Ｃは、胴部に関連付けられる。そして、識別情報は、向きモジュール１１１０及び追跡モジュール１１２０に渡される。
【００４８】
図１１に示す例示的構成では、向きモジュール１１１０は、識別情報を受け取り、向き情報を生成する。一具体例においては、向き情報は、６ＤＯＦデータを含む。そして、マーカ１６０は、各フレームにおいて分析され、マーカ１６０の時間の経過に伴う位置及び回転（すなわち、アフィン）状態が判定される。一具体例では、各マーカ１６０について、フレーム間におけるこれらの状態の変化を記述する３Ｄアフィン変換を展開する。ストリップマーカ１６０Ｄが演技者の肢のセグメントの各端部、例えば大腿部１７８等（図１参照）に巻回される場合、その手足セグメントの重心を判定し、基本的な骨格構造（すなわち、骨）を概算してもよい。向き情報（６ＤＯＦ、アフィン変換）は、アニメーションモジュール１１３０に渡される。
【００４９】
追跡モジュール１１２０は、識別情報を受け取り、マーカ軌道情報を生成する。すなわちマーカは、画像フレームのシーケンスに亘って追跡され、ラベリングされ、軌道が判定される。一具体例では、２００６年８月２５日に出願された米国特許出願１１／４６７，５０３、発明の名称「Labeling Used in Motion Capture」及び２００７年７月２７日に出願された米国特許出願１１／８２９，７１１、発明の名称「FACS Cleaning in Motion Capture」に基づくラベリング及びＦＡＣＳの手法を採用する。ラベリング情報（すなわち、軌道データ）は、アニメーションモジュール１１３０に渡される。
【００５０】
アニメーションモジュール１１３０は、向き及びラベリング情報を受け取り、アニメーションデータを生成する。一具体例では、マーカの位置及び向きは、マーカが取り付けられた演技者上の位置に対応する（仮想）デジタルキャラクタモデル上の位置にマッピングされる。同様に、演技者の体の上のマーカによって定義されているセグメントは、デジタルキャラクタモデル上の対応する部分にマッピングされる。例えば、演技者の肢の骨格構造に近似する重心の運動は、演技者の体のその部分の運動もモデル化する。そして、マーカ１６０及び関連する重心の運動を記述する変換が適切にフォーマットされ、デジタルキャラクタの対応するセグメントをアニメーション化するためのアニメーションデータとして生成される。
【００５１】
アニメーションモジュール１１３０は、アニメーション情報を受け取り、これをデジタルキャラクタに適用し、デジタルキャラクタをアニメーション化する。通常、所望の結果を得るために何らかの再処理が必要であるか、及びどれ程の再処理が必要かを判定するために、演技者の運動に対するアニメーションの忠実度が調べられる。
【００５２】
図１０Ａは、コンピュータシステム１０００及びユーザ１００２の表現を示している。ユーザ１００２は、コンピュータシステム１０００を使用して、セグメント追跡を実行する。コンピュータシステム１０００は、画像フレームデータを処理するセグメント追跡システム１０９０を保存し、実行する。
【００５３】
図１０Ｂは、セグメント追跡システム１０９０をホストするコンピュータシステム１０００を示す機能的ブロック図である。コントローラ１０１０は、コンピュータシステム１０００及びそのコンポーネントの動作を制御するプログラマブルプロセッサである。コントローラ１０１０は、メモリ１０２０又は埋め込まれたコントローラメモリ（図示せず）から命令をロードし、これらの命令を実行してシステムを制御する。実行時には、コントローラ１０１０は、セグメント追跡システム１０９０をソフトウェアシステムとして提供する。これに代えて、このサービスは、コントローラ１０１０又はコンピュータシステム１０００における独立したコンポーネントとして実装してもよい。
【００５４】
メモリ１０２０は、コンピュータシステム１０００の他のコンポーネントによる使用のために一時的にデータを保存する。一具体例では、メモリ１０２０は、ＲＡＭとして実装される。他の具体例では、メモリ１０２０は、フラッシュメモリ及び／又はＲＯＭ等の長期的又は持続的メモリを含む。
【００５５】
ストレージ１０３０は、コンピュータシステム１０００の他のコンポーネントによる使用のために、一時的に又は長期間、データを保存し、例えば、セグメント追跡システム１０９０によって用いられるデータを保存する。一具体例では、ストレージ１０３０は、ハードディスクドライブである。
【００５６】
媒体装置１０４０には、リムーバブル媒体が挿入され、挿入された媒体からデータを読み出し及び／又は媒体にデータを書き込む。一具体例では、媒体装置１０４０は、光ディスクドライブである。
【００５７】
ユーザインタフェース１０５０は、コンピュータシステム１０００のユーザからユーザ入力を受け付け、ユーザに情報を提供するコンポーネントを含む。一具体例では、ユーザインタフェース１０５０は、キーボード、マウス、オーディオスピーカ及びディスプレイを含む。コントローラ１０１０は、ユーザからの入力に基づいて、コンピュータシステム１０００の動作を調整する。
【００５８】
入出力（Ｉ／Ｏ）インタフェース１０６０は、例えば、外部ストレージ装置又は補助装置（例えば、プリンタ又はＰＤＡ）等の対応する入出力装置に接続する１つ以上の入出力ポートを含む。一具体例では、入出力インタフェース１０６０のポートは、ＵＳＢポート、ＰＣＭＣＩＡポート、シリアルポート及び／又はパラレルポートを含む。他の具体例では、入出力インタフェース１０６０は、外部機器と無線で通信するための無線インタフェースを含む。
【００５９】
ネットワークインタフェース１０７０は、例えば、イーサネット（登録商標）接続をサポートするＲＪ−４５又は「Ｗｉ−Ｆｉ」インタフェース（これに限定されるものではないが、８０２．１１を含む。）等の有線及び／又は無線ネットワーク接続を含む。
【００６０】
コンピュータシステム１０００は、通常のコンピュータシステムが備える更なるハードウェア及びソフトウェア（例えば、電源、冷却装置、オペレーティングシステム）を含むが、図１０Ｂでは、簡潔性のためにこれらのコンポーネントを示していない。他の具体例では、異なる構成（例えば、異なるバス又はストレージ構成、又はマルチプロセッサ構成）を有するコンピュータシステムを用いてもよい。
【００６１】
本発明の様々な例示的な具体例について説明した。但し、他の具体例も可能であり、これらも本発明の範囲内に含まれる当業者にとって明らかである。例えば、既知のパターン及び識別可能なランダムパターンは、演技者又はオブジェクトの表面に印刷、塗布又はインク書きしてもよい。更に、所望のパターンを得るために、印刷、塗布、インク書き、タトゥ、量子ナノドット及び生来的な肉体的特徴の如何なる組合せを用いてもよい。
【００６２】
更に、説明を簡潔にするために、モジュール又はブロック内に機能をグループ化している。特定の機能は、本発明から逸脱することなく、あるモジュール又はブロックから他のモジュール又はブロックに移行させることができる。
【００６３】
したがって、本発明は、上述した実施の形態のみには限定されない。
【技術分野】
【０００１】
本出願は、米国特許法第１１９条に基づき、２００６年１１月１日に出願された同時係属中の米国仮出願番号６０／８５６，２０１、発明の名称「Segment Tracking in Motion Picture」の優先権の利益を主張し、この文献の開示内容は、引用によって本願に援用される。
【０００２】
更に、本出願は、同じ譲受人に譲渡されている２００３年５月１日に出願された米国特許出願１０／４２７，１１４、発明の名称「System and Method for Capturing Facial and Body Motion」、２００６年８月２５日に出願された米国特許出願１１／４６７，５０３、発明の名称「Labeling Used in Motion Capture」、２００７年７月２７日に出願された米国特許出願１１／８２９，７１１、発明の名称「FACS Cleaning in Motion Capture」、２００７年７月１１日に出願された米国特許出願１１／７７６，３５８、発明の名称「Motion Capture Using Quantum Nano Dots」を引用によって組込み、これらの文献の開示内容は、引用によって本願に援用される。
【０００３】
本発明は、包括的には、モーションキャプチャに関し、より詳しくは、モーションマーカデータを用いるセグメント追跡に関する。
【背景技術】
【０００４】
モーションキャプチャシステムは、演技者又はオブジェクトの運動をキャプチャし、演技者又はオブジェクトをアニメーション化する手法として、この運動をコンピュータが生成した演技者／オブジェクトにマッピングするために使用されている。これらのシステムは、モーションピクチャ及びビデオゲームの生成において、ソースデータとしての使用のために演技者又はオブジェクトのデジタル表現を作成し、コンピュータグラフィクス（「ＣＧ」）アニメーションを作成するために頻繁に用いられている。典型的なシステムでは、演技者は、マーカが様々な位置に取り付けられたスーツを着用する（例えば、胴体及び肢に小さい反射マーカが取り付けられる）。そして、適切に配置されたデジタルカメラが、マーカを照射しながら、異なる角度からキャプチャボリューム内の演技者の体の運動を記録する。後に、システムは、画像を分析し、各フレームにおいて、演技者のスーツ上のマーカの位置（例えば、空間座標）を判定する。システムは、マーカの位置を追跡することによって時間の経過に伴うマーカの空間的表現を作成し、動いている演技者のデジタル表現を構築する。そして、この動きを仮想空間においてデジタルモデルに適用し、場合によっては、このデジタルモデルをテクスチャリング及びレンダリングして、演技者及び／又は演技の完全なＣＧ表現が生成される。特殊効果の担当業者は、この技術を用いて、多くの大衆映画の現実感があるアニメーションを制作してきた。
【発明の概要】
【課題を解決するための手段】
【０００５】
本明細書に開示する具体例は、モーションキャプチャにおけるセグメント追跡を提供する方法、システム及びコンピュータプログラムを提供する。
【０００６】
一側面として、本発明は、セグメント追跡のための方法を開示する。この方法は、既知のパターンを有するマーキング材料を表面に付すステップと、表面を覆う既知のパターンの複数の画像をそれぞれが含む画像フレームのシーケンスを取得するステップと、シーケンスの各画像フレームについて、既知のパターンに関する位置及び向き情報を導出するステップと、位置及び向き情報を組み込んだアニメーションデータを生成するステップとを有する。
【０００７】
他の側面として、セグメント追跡のためのシステムを開示する。システムは、表面上に配置された既知のパターンの複数の同期された画像をそれぞれが含む画像フレームのシーケンスを生成する画像取得モジュールと、画像フレームのシーケンスを受け取り、表面上に配置された既知のパターンに基づいて、アニメーションデータを生成するセグメント追跡モジュールとを備える。
【０００８】
以下の詳述及び添付の図面によって、本発明の他の特徴及び利点が当業者にとって明らかとなる。
【０００９】
本発明の構造及び動作の両方についての詳細は、添付の図面を読むことによっても部分的に知ることができる。
【図面の簡単な説明】
【００１０】
【図１】一具体例に基づくモーションキャプチャシステムのブロック図である。
【図２】本発明の具体例に基づくマーカのサンプルの集合を示す図である。
【図３】人体を一具体例に基づくマーカ配設位置と共に示す図である。
【図４】マーカを装着した人体モデルの正面図である。
【図５】マーカを装着した人体モデルの斜め背面図である。
【図６】セグメント追跡方法のフローチャートである。
【図７Ａ】大文字Ａを表すようにラベルリング又はパターン化されたマーカを示す図である。
【図７Ｂ】パターンとして文字Ａを形成する複数のマーカを含む既知のパターンを示す図である。
【図７Ｃ】文字Ａの文字通りの表現を有するマーカを示す図である。
【図８】マーキング材料のストリップを使用する方法のフローチャートである。
【図９】セグメント追跡システムの具体例の機能的ブロック図である。
【図１０Ａ】コンピュータシステム及びユーザの表現を示す図である。
【図１０Ｂ】セグメント追跡システムをホストするコンピュータシステムを示す機能的ブロック図である。
【図１１】セグメント追跡モジュールの具体例を示す機能的ブロック図である。
【発明を実施するための形態】
【００１１】
本明細書に開示する具体例は、モーションキャプチャにおけるセグメント追跡を提供する。具体例は、演技者及び／又はオブジェクトに付されたマーカの１つ以上の既知のパターンを使用することを含む。パターンを構成するマーカは、個々にではなく、グループとして追跡される。したがって、パターンは、識別、位置／並進及び向き／回転等の情報を提供でき、これは、マーカ追跡に著しく役立つ。
【００１２】
この説明によって、様々な他の具体例及び代替となるアプリケーションにおいて本発明を実施する手法が当業者にとって明らかになる。なお、ここには、本発明の様々な具体例を説明するが、これらの実施の形態は、例示的なものであり、限定的なものではないことは明らかである。したがって、様々な他の具体例に関するこの詳述は、添付の特許請求の範囲に定義されている本発明の範囲又は幅を制限するものとは解釈されない。
【００１３】
本発明の具体例では、既知のパターンで符号化されたマーカを演技者及び／又はオブジェクトに付し、通常、演技者及び／又はオブジェクトの様々な表面を覆う。演技者及び／又はオブジェクトの識別、位置／並進及び向き／回転は、パターンの画像を記録して、デジタル化することによって得られる。マーカのパターンは、モーションキャプチャにおいて、マーカ遮蔽（marker occlusion）の間、「マーカ見失い（missing-marker）」効果を緩和するように選択できる。他の具体例では、識別可能なランダムパターンを「既知のパターン」として用いる。
【００１４】
既知の（ランダム）パターンは、例えば、量子ナノドット、暗闇で発光する（すなわち、蛍光の）材料、タトゥ、仮想的にあらゆる可視光線、赤外線の又は紫外線のインク、塗料を含む材料、又は十分に識別可能なパターンで付すことができる材料を用いて生成することができる。また、パターンは、演技者及び／又はオブジェクトの生来的な特徴のパターン（例えば、ほくろ又はしわ）であってもよい。
【００１５】
一具体例では、パターンは、演技者の体に結合された複数のマーカ又は特徴を含む。他の具体例では、パターンは、単一のマーカ（例えば、マーカストリップ）又は特徴を含む。パターンは、演技者の肢、手及び足の表面の上又は周りに付し又は取り付けてもよい。一具体例においては、肢（すなわち、体肢）に巻回されたパターンストリップの円形の配置からパターンに関連する重心情報を導出できる。演技者及び／又はオブジェクトに既知のパターンを付し、そして、これらの運動をカメラで記録することによって、位置だけではなく、マーカの識別及び空間の向きに関する情報を得ることができる。
【００１６】
図１は、一具体例に基づくモーションキャプチャシステム１００の機能的ブロック図である。モーションキャプチャシステム１００は、モーションキャプチャプロセッサ１１０と、モーションキャプチャカメラ１２０、１２２、１２４と、ユーザワークステーション１３０と、演技者の体１４０及び顔１５０とを含み、演技者の体１４０及び顔１５０には、所定のパターンのマーカ材料１６０が適切に付されている。図１では、１３個のマーカ１６０Ａ〜１６０Ｆのみを示しているが、体１４０及び顔１５０において実質的により多くのマーカを用いてもよい。モーションキャプチャプロセッサ１１０は、有線又は無線によって、ワークステーション１３０に接続されている。モーションキャプチャプロセッサ１１０は、通常、ワークステーション１３０から制御データパケットを受信するように構成されている。
【００１７】
ここに示すように、３個のモーションキャプチャカメラ１２０、１２２、１２４がモーションキャプチャプロセッサ１１０に接続されている。通常、様々なユーザ及びアニメーションに関連するニーズ及び要求に基づき、３個より多くのモーションキャプチャカメラが必要である。モーションキャプチャカメラ１２０、１２２、１２４は、マーカ１６０Ａ〜１６０Ｆが付されている演技者の体１４０及び顔１５０にフォーカスされる。
【００１８】
マーカ１６０Ａ〜１６０Ｆの配置は、例えば、演技者の体１４０、顔１５０、手１７０、腕１７２、脚１７４、１７８及び足１７６等の対象となる動きがキャプチャされるように構成されている。図１に示す具体例では、マーカ１６０Ａは、顔１５０の動きをキャプチャし、マーカ１６０Ｂは、腕１７２の動きをキャプチャし、マーカ１６０Ｃは、体１４０の動きをキャプチャし、マーカ１６０Ｄ、１６０Ｅは、脚１７４の動きをキャプチャし、マーカ１６０Ｆは、足１７６の動きをキャプチャする。更に、マーカ１６０Ａ〜１６０Ｆのパターンの一意性は、マーカを識別し、及びマーカの向きを知るために用いることができる情報を提供する。マーカ１６０Ｄは、演技者の脚に巻回されるパターンのストリップ（帯状のもの）として構成されている。
【００１９】
モーションキャプチャカメラ１２０、１２２、１２４は、モーションキャプチャプロセッサ１１０によって制御され、マーカの２次元（２Ｄ）画像の同期シーケンスをキャプチャする。同期画像は、画像フレームに統合され、各画像フレームは、画像フレームの時間的シーケンスの１つのフレームを表す。すなわち、個々の画像フレームのそれぞれは、統合された複数の同時に取得された２Ｄ画像を含み、各２Ｄ画像は、個々のモーションキャプチャカメラ１２０、１２２又は１２４によって生成されている。このようにしてキャプチャされた２Ｄ画像は、通常、ユーザワークステーション１３０において保存され、又はリアルタイムで表示され、又はこの両方が行われる。
【００２０】
モーションキャプチャプロセッサ１１０は、２Ｄ画像の統合を実行し（すなわち、「再構築」を実行し）、３次元（「３Ｄ」又は「立体）」）マーカデータのフレームシーケンスを生成する。立体フレームのこのシーケンスは、「ビート（beat）」と呼ばれることも多く、これは、映画撮影における「テイク（take）」と同様のものと考えることができる。従来、マーカは、離散的オブジェクト又はビジュアルポイントであり、再構築されたマーカデータは、複数の離散的マーカデータ点を含み、各マーカデータ点は、演技者１４０等のターゲットに連結されたマーカの空間的な（すなわち、３Ｄの）位置を表す。したがって、各立体フレームは、ターゲットの空間モデルを表す複数のマーカデータ点を含む。モーションキャプチャプロセッサ１１０は、立体フレームシーケンスを読み出し、追跡機能を実行し、各フレームのマーカデータ点に、シーケンス内の前フレーム及び次フレームのマーカデータ点を正確に関連付ける（「マッピングする」）。
【００２１】
例えば、第１の立体フレームにおける個々のマーカデータ点は、演技者の体１４０に配置された単一のマーカに対応している。第１の立体フレームのこのようなマーカデータ点のそれぞれには、一意的ラベルが割り当てられる。そして、マーカデータ点は、第２の立体フレーム内の対応するマーカデータ点に関連付けられ、第１の立体フレームのマーカデータ点のための一意的ラベルは、第２の立体フレームの対応するマーカデータ点に割り当てられる。立体フレームシーケンスの全体についてラベリング（すなわち、追跡）処理が完了すると、シーケンスに亘って、第１の立体フレームのマーカデータ点がトレース可能になり、各マーカデータ点について、個々の軌道が得られる。
【００２２】
従来より、硬いオブジェクト、若しくはオブジェクト又は体のセグメントの動きをキャプチャするために、離散的マーカが使用されている。例えば、肘及び手首に取り付けられた硬いマーカは、前腕の各端部の位置を定義する。前腕が動くと、肘及び手首のマーカの動きは、上述のように、立体フレームのシーケンスにおいて、追跡され、決定（resolved）される。このようにして、前腕の動きは、肘マーカ及び手首マーカによって定義されている端部のみによって、剛体（例えば、ロッド）としてモデル化される。ここで、前腕の並進運動は、肘マーカ及び手首マーカの空間的位置の変化を分析することによって容易に解決できるが、捻転は、手首又は肘を実質的に移動させずに行うことができるので、前腕の共通の捻転運動は、検出することが難しい。
【００２３】
一具体例では、従来の離散的なマーカの使用とは異なり、パターンとして配置されたマーカを使用し、これによって、モーションキャプチャプロセッサ１１０は、個別にマーカを追跡するのではなく、パターンをグループとして追跡することができる。パターンは、識別情報を提供するので、あるパターンの他のパターンに対するマーカの運動を算出できる。一具体例では、このようにして追跡されたパターンは、各立体フレームにおいて、空間的な位置情報を有する個々のオブジェクトとして再構築される。オブジェクトは、立体フレームのシーケンスに亘って追跡され、例えば、パターンが付されている演技者の一部分の様々な空間的並進、回転及び捻転を表す仮想アニメーションが得られる。
【００２４】
一具体例では、ストリップ１６０Ｄに１つ以上の既知のパターンを印刷する。そして、演技者の各肢（すなわち、体肢）に２つのストリップが取り付けられるように、ストリップ１６０Ｄを各肢に巻回する。例えば、図１では、２つのストリップ１６０Ｄが演技者の左の大腿部１７８に巻回されている。一方、端部エフェクタ（例えば、手、足、頭）は、１つのストリップだけで十分にマークできる。上述したように、巻回されたストリップ１６０Ｄの印刷されたパターンが一旦キャプチャされると、これにより、モーションキャプチャプロセッサ１１０は、演技者の肢を表す各「セグメント」の位置及び向きを、如何なる角度からも、可視のセグメント上の１つだけのマーカによって追跡することができる。図１に示す演技者の大腿部１７８は、モーションキャプチャプロセッサ１１０において、セグメントとして扱われる。複数のマーカを有するパターン化されたストリップ１６０Ｄを肢の周りに実質的に円形に巻回することによって、肢（すなわち、セグメント）の「重心」を判定できる。マーカの複数のパターン化されたストリップ１６０Ｄを用いて重心を判定し、肢内の骨の推定値又はモデルを提供してもよい。更に、セグメントに付された１つ（又は可視であれば２つ以上）のマーカ及び／又はストリップから、セグメントの全体に関する向き、並進及び回転情報を判定することもできる。
【００２５】
一具体例では、モーションキャプチャプロセッサ１１０は、ここに開示する技術に基づいてセグメント追跡を実行し、これにより、マーカ（又はマークされた領域）のグループについて、識別、位置／並進及び向き／回転情報を生成する。従来の光学的モーションキャプチャシステムは、通常、マーカの位置のみを記録するが、セグメント追跡によって、モーションキャプチャプロセッサ１１０は、どのマーカがキャプチャされているかを識別し、セグメントのキャプチャされたマーカの位置及び向きを特定することができる。一旦、マーカが検出及び特定されると、特定されたマーカから、セグメントに関する位置及び向き／回転情報を導出できる。セグメントの位置及び向き情報の判定の信頼度は、検出されるマーカの数が多くなるほど高くなる。
【００２６】
既知のパターン（及び識別可能なランダムパターン）で付されるマーカ又はマーキング材料は、本質的に、識別及び向き情報を符号化し、効率的なセグメント追跡の補助となる。一具体例では、より小さいマーカの既知のパターンが単一のマーカ又はマーキング領域を構成する。例えば、図７Ａに示す大文字Ａを表すようにラベリング又はパターン化されたマーカは、実際には、６個のより小さいマーカＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆから構成されている。他の具体例では、図７Ｂに示すように、既知のパターンは、パターンとして文字Ａを形成する複数のマーカ又はマーキング領域を含む。文字Ａを形成する８個のドットは、単一のより大きいマーカとして機能する。これに代えて、図７Ｃに示すように、マーカは、文字Ａの文字通りの表現であってもよい。図７Ａ〜図７Ｃに示すマーカの共通の特徴は、これらが全て識別可能な向きを有するという点である。何れの場合も、マーカは、回転できるが、回転しても文字Ａとして識別でき、これにより、キャプチャされた画像データのフレーム間でマーカが容易に「追跡可能」になるので、マーカ追跡効率が著しく高まる。識別に加えて、各マーカの向きも、フレーム間で判定できる。例えば、マーカ１６０Ｂ（図１参照）が演技者の前腕に取り付けられている場合、演技者が前腕を下ろしている位置から頭上に上げている位置に移動させると、マーカ１６０Ｂは、実質的に１８０度回転する。マーカの追跡によって、頭上の位置への空間的並進だけではなく、前腕セグメントが、前の位置から１８０度異なる向きを向いていることが明らかになる。このように、マーカ追跡は、識別及び向き情報を符号化するマーカ又はマーカのグループを用いることによって、拡張され、改善される。
【００２７】
図２は、本発明の具体例に基づくマーカのサンプルの集合を示している。各マーカは、小さい白色及び黒色の正方形の６×６マトリクスから構成されている。各マーカにおいて、識別及び向き情報は、６×６マトリクス内の白色の正方形の一意的な配置によって符号化されている。何れの場合も、マーカを回転させても、マーカの識別及び向きの判定に関して多義性が生じることはなく、これにより、情報を符号化するための、このスキームの有効性が示されている。なお、ここに例示的に開示した白色及び黒色の要素の６×６マトリクス以外の構成を用いる符号化スキームを採用してもよいことは明らかである。
【００２８】
図３は、人体を一具体例に基づくマーカ配設位置と共に示している。ここに示すマーカは、図２に示すスキームと同様のスキームを用いて、識別及び向き情報を符号化している。これらのマーカは、体の主要な末端（すなわち、セグメント）が少なくとも１つのマーカによって定義されるように、実質的に対称的に配置されている。図示するマーカの約半分は、ここに示す正面図では可視でない体の表面に配置され、これらのマーカについては、隠れている位置を概略的に指す矢印を示している。図１に示すように、モーションキャプチャカメラ１２０、１２２、１２４（通常、より多くのカメラを用いるが、これらのカメラを代表している）は、演技者の体１４０及び顔１５０が動くキャプチャ空間を取り囲む。モーションキャプチャカメラ１２０、１２２、１２４のあるサブセットから、マーカの何れかのビューが隠れても、他のサブセットが視野を維持し、この隠れたマーカの動きをキャプチャする。したがって、このようなマーカを装着した演技者による殆ど全ての運動は、図１に関連して説明したシステムを用いてキャプチャすることでき、セグメント追跡方法を用いて追跡することができる。
【００２９】
図４は、図３について説明したマーカを装着した人体モデルの正面図を示している。ここに示すように、モデルの前面の表面上のマーカだけが可視である。マーカの残りは部分的又は完全に隠れている。図５は、図４に示すものと実質的に同じポーズの同じ人体モデルの斜め背面図である。この視点からは、全面に配置されたマーカは、隠れているが、図４では隠れていたマーカの多くが可視になっている。このように、如何なる任意の時点においても、キャプチャ空間の周りに配置された複数のモーションキャプチャカメラ１２０、１２２、１２４の何れかのサブセットにとっては、実質的に全てのマーカが可視である。
【００３０】
また、図４及び図５に示す３Ｄモデル上のマーカ配置は、動きを明確にする体の主要な末端（セグメント）及び領域（例えば、頭、肩、尻、足首等）を実質的に定義する。キャプチャされたデータに関してセグメント追跡を実行すると、マーカが配設されている体の部分の位置を特定することができ、また、これらの向きも判定することができる。更に、マーカ配置によって定義されている体のセグメント、例えば、肘と肩との間の上腕セグメントは、そのセグメントの実質的に各端部に配置されたマーカによって、その位置を特定することができる。また、上腕を定義する個々のマーカから導出される向きから、上腕セグメントの位置及び向きも判定できる。
【００３１】
図６は、具体例に基づくセグメント追跡方法６００を説明するフローチャートである。６１０では、既知のパターン又は識別可能なランダムパターンを有するマーキング材料を表面に付す。一具体例では、表面は、演技者の体の表面であり、パターンは、演技者の体に取り付けられた複数のマーカを含む。他の具体例では、パターンは、演技者の体に取り付けられた単一のマーカ（例えば、マーカストリップ）からなる。また、図１に関連して説明したように、パターンは、演技者の肢、手及び足の周りに固定されたストリップ１６０Ｄとして形成してもよい。また、マーカは、反射性の球、演技者の体に貼り付けられたタトゥ（タトゥシール）、演技者の体に塗布された材料又は演技者の生来的な特徴（例えば、ほくろ又はしわ）を含む。一具体例では、一時的タトゥを用いて、マーカのパターンを演技者に付してもよい。
【００３２】
次に、６２０において、ここ開示し、図１に関連して説明したモーションキャプチャのための方法及びシステムに基づいて、画像フレームのシーケンスを取得する。画像データは、キャプチャされた後、例えば、マーカを備える演技者又はオブジェクトの３Ｄモデルを再構築するために使用される。一具体例では、この処理は、６３０において、各画像フレームについて、マーカパターンの位置及び向き情報を導出（生成）することを含む。位置情報は、図４及び図５に関して説明したように、特徴的な回転不変性を用いるパターンによって提供されるマーカに符号化されている一意的な識別情報によって得られる。向き情報は、パターンを構成するマーカの回転の量を判定することによって導出することができる。マーカの総合的な回転及び向きは、３Ｄ空間におけるアフィン（affine）表現によって定義することができ、これにより、マーカ追跡が容易になる。例えば、向きは、３Ｄ空間内のオブジェクトの６自由度（six degrees of freedom：６ＤＯＦ）を表す値によって表現することができる。したがって、向きは、座標系（例えば、ユークリッド空間）の原点からの何らかの位置の移動（並進）を表す３つの値と、座標系の基本的な軸に対する角変位（回転）を表す３つの値とを有することができる。
【００３３】
６４０では、マーカの運動に基づくアニメーションデータを生成する。例えば、仮想デジタルモデルは、画像データにおいてキャプチャされた演技者の運動から導出されたデータによってアクティブ化される。演技の間、演技者は、台本に従って、脚を揺らす。演技者の脚は、例えば、主要な各関節、すなわち、尻、ひざ及び足首にマーカを備えている。マーカの運動を判定し、これを用いて、演技者の脚のセグメントの運動を定義する。演技者の脚のセグメントは、デジタルモデルの脚のセグメントに対応し、したがって、仮想デジタルモデルをアニメーション化するために、演技者の脚のセグメントの運動は、仮想デジタルモデルの脚にマッピングされる。
【００３４】
図６に関連して説明したように、６１０では、パターンをストリップ１６０Ｄ（図１参照）として形成し、これを演技者の肢、手及び足の周りに取り付けてもよい。そして、肢に巻回されたストリップの円形の配置から重心を判定してもよい。そして、例えば、肢の各端部に配設されたこのような２つのストリップを用いて、肢（セグメント）に対して長手方向の重心を判定し、基底にある骨格要素を概算してもよい。
【００３５】
図８は、マーキング材料のストリップを使用する方法８００を説明するフローチャートを示している。８１０では、既知のパターンを有するマーキング材料のストリップを演技者の肢に付し、これは、通常、ストリップを肢に巻回することによって行われる。巻回されたマーキング材料のストリップは、実質的に円形の形状に配置されるので、ストリップの重心を判定し、この重心を用いて、ストリップが巻回された体の領域の運動を表現することができる。更に、このようにして肢の骨格要素の動きを概算し、骨格モデリングのために使用してもよい。
【００３６】
次に、８２０において、図１に関連して上述したモーションキャプチャの方法及びシステムに基づいて、画像フレームのシーケンスを取得する。画像データは、図６の６２０に関して説明したものと基本的に同様の手法で、キャプチャされた後、例えば、マーカを備える演技者の３Ｄモデルを再構築するために使用される。一具体例では、この処理は、８３０において、図６の６３０に関して説明した処理と基本的に同様の手法で、各画像フレームにおける各ストリップについて、既知のパターンの位置及び向き情報を導出することを含む。
【００３７】
８４０では、位置及び向き情報から、１つ以上のストリップを備える演技者の肢の重心情報を導出する。上述のように、２つ以上のストリップの重心を用いて、演技者の肢内の骨格構造（すなわち、骨）を概算することができる。そして、マーカストリップの重心の運動を用いて、骨格構造の運動、したがって、肢の運動を表現する。
【００３８】
８５０では、マーカストリップの運動に基づくアニメーションデータを生成する。例えば、演技の間、演技者は、台本に従って、脚を揺らす。演技者の脚には、上述のように、マーカ材料のストリップが巻回されている。すなわち、例えば、太股の上部にあるストリップを巻回し、ひざの近傍に他のストリップを巻回してもよい。そして、マーカストリップの重心の運動を判定し、これを用いて、上脚の骨格構造、すなわち、演技者に対応する仮想デジタルモデルの上脚の内部の骨格要素を定義する。したがって、重心の運動を用いて、仮想デジタルモデルの脚をアニメーション化することができる。
【００３９】
一具体例では、量子ナノドット（又は「量子ドット」又は「ＱＤ」とも呼ばれる。）を用いてマーカを印刷又は形成する。このシステムは、従来の再帰性反射システム（retro-reflective system）と略々同様の構成を有するが、特定の周波数の励起光源（例えば、既存のフィルタリングされたリングライト又は他の光源）と、既存のカメラのレンズの背後に配置され、これによってＱＤが放射する光の波長にカメラをチューニングする狭帯域フィルタとが追加される。
【００４０】
ＱＤは、特定の波長の光によって励起され、異なる波長の光（すなわち、蛍光）を発するように構成されている。ＱＤは、励起波長からスペクトル的に上に量子シフトされている光を発するため、カメラから励起光をフィルタリングすることができる。これにより、ＱＤの特定の放射スペクトルの範囲の外にある全ての光を、カメラにおいて実質的にブロックすることができる。
【００４１】
ＱＤは、仮想的に、可視又は不可視のスペクトル内の如何なる波長にもチューニングできる。これは、マーカの特定のグループだけが見え、それ以外が見えないようにカメラのグループをフィルタリングすることができることを意味し、これによって、要求される所定のカメラの動作負荷が軽減され、カメラは、ＱＤの狭い応答範囲において「全開（wide open）」で動作することができる。
【００４２】
一具体例では、量子ナノドットは、インク、塗料、プラスチック、一時的タトゥブランク（temporary tattoo blanks）等の媒体に加えられる。
【００４３】
図９は、セグメント追跡システム９００の具体例の機能的ブロック図である。画像取得モジュール９１０は、モーションキャプチャ画像データの画像フレームを生成し、セグメント追跡モジュール９２０は、画像フレームを受け取って、アニメーションデータを生成する。
【００４４】
画像取得モジュール９１０は、図１に示すモーションキャプチャシステム１００に関連して上述した方法に基づいて動作する。一具体例では、画像フレームは、追跡されていないマーカデータを含む立体的データを含む。すなわち、マーカデータは、ラベリングていない空間データとして各フレームに存在し、他のフレームのマーカデータと統合されていない。
【００４５】
セグメント追跡モジュール９２０は、図２〜図９に関連して上述した方法及びスキームに基づいて動作する。
【００４６】
図１１は、セグメント追跡モジュール９２０の例示的構成を示す機能的ブロック図である。ここに示すように、セグメント追跡モジュール９２０は、識別モジュール１１００、向きモジュール１１１０、追跡モジュール１１２０及びアニメーションモジュール１１３０を含む。
【００４７】
識別モジュール１１００は、図１に示すマーカ１６０Ａ〜１６０Ｆ等の既知のパターンを有するマーカを特定する能力を備える。一具体例では、識別モジュール１１００は、フレーム間でマーカ１６０の既知のパターン及びランダムパターンの位置を特定するパターン照合を実行する。他の具体例では、識別モジュール１１００は、図７Ａ〜図７Ｃに関連して説明したように、より小さいマーカのグループから構成される単一のより大きいマーカを識別するように構成されている。マーカ１６０は、その回転の状態にかかわらず識別可能となるように設計されており、これに応じて、識別モジュール１１００は、マーカ１６０の回転に対して不変の識別を実行するように構成されている。一旦、マーカ１６０が一意的に識別されると、マーカ１６０は、演技者の体の特定の部分、例えば、マーカ１６０が取り付けられている部分に適切に関連付けられる。図１に示すように、マーカ１６０Ｂは、演技者の上腕１７２に関連付けられ、マーカ１６０Ｄは、上下の大腿部１７８（脚セグメントに巻回されたマーカストリップ）に関連付けられ、マーカ１６０Ｃは、胴部に関連付けられる。そして、識別情報は、向きモジュール１１１０及び追跡モジュール１１２０に渡される。
【００４８】
図１１に示す例示的構成では、向きモジュール１１１０は、識別情報を受け取り、向き情報を生成する。一具体例においては、向き情報は、６ＤＯＦデータを含む。そして、マーカ１６０は、各フレームにおいて分析され、マーカ１６０の時間の経過に伴う位置及び回転（すなわち、アフィン）状態が判定される。一具体例では、各マーカ１６０について、フレーム間におけるこれらの状態の変化を記述する３Ｄアフィン変換を展開する。ストリップマーカ１６０Ｄが演技者の肢のセグメントの各端部、例えば大腿部１７８等（図１参照）に巻回される場合、その手足セグメントの重心を判定し、基本的な骨格構造（すなわち、骨）を概算してもよい。向き情報（６ＤＯＦ、アフィン変換）は、アニメーションモジュール１１３０に渡される。
【００４９】
追跡モジュール１１２０は、識別情報を受け取り、マーカ軌道情報を生成する。すなわちマーカは、画像フレームのシーケンスに亘って追跡され、ラベリングされ、軌道が判定される。一具体例では、２００６年８月２５日に出願された米国特許出願１１／４６７，５０３、発明の名称「Labeling Used in Motion Capture」及び２００７年７月２７日に出願された米国特許出願１１／８２９，７１１、発明の名称「FACS Cleaning in Motion Capture」に基づくラベリング及びＦＡＣＳの手法を採用する。ラベリング情報（すなわち、軌道データ）は、アニメーションモジュール１１３０に渡される。
【００５０】
アニメーションモジュール１１３０は、向き及びラベリング情報を受け取り、アニメーションデータを生成する。一具体例では、マーカの位置及び向きは、マーカが取り付けられた演技者上の位置に対応する（仮想）デジタルキャラクタモデル上の位置にマッピングされる。同様に、演技者の体の上のマーカによって定義されているセグメントは、デジタルキャラクタモデル上の対応する部分にマッピングされる。例えば、演技者の肢の骨格構造に近似する重心の運動は、演技者の体のその部分の運動もモデル化する。そして、マーカ１６０及び関連する重心の運動を記述する変換が適切にフォーマットされ、デジタルキャラクタの対応するセグメントをアニメーション化するためのアニメーションデータとして生成される。
【００５１】
アニメーションモジュール１１３０は、アニメーション情報を受け取り、これをデジタルキャラクタに適用し、デジタルキャラクタをアニメーション化する。通常、所望の結果を得るために何らかの再処理が必要であるか、及びどれ程の再処理が必要かを判定するために、演技者の運動に対するアニメーションの忠実度が調べられる。
【００５２】
図１０Ａは、コンピュータシステム１０００及びユーザ１００２の表現を示している。ユーザ１００２は、コンピュータシステム１０００を使用して、セグメント追跡を実行する。コンピュータシステム１０００は、画像フレームデータを処理するセグメント追跡システム１０９０を保存し、実行する。
【００５３】
図１０Ｂは、セグメント追跡システム１０９０をホストするコンピュータシステム１０００を示す機能的ブロック図である。コントローラ１０１０は、コンピュータシステム１０００及びそのコンポーネントの動作を制御するプログラマブルプロセッサである。コントローラ１０１０は、メモリ１０２０又は埋め込まれたコントローラメモリ（図示せず）から命令をロードし、これらの命令を実行してシステムを制御する。実行時には、コントローラ１０１０は、セグメント追跡システム１０９０をソフトウェアシステムとして提供する。これに代えて、このサービスは、コントローラ１０１０又はコンピュータシステム１０００における独立したコンポーネントとして実装してもよい。
【００５４】
メモリ１０２０は、コンピュータシステム１０００の他のコンポーネントによる使用のために一時的にデータを保存する。一具体例では、メモリ１０２０は、ＲＡＭとして実装される。他の具体例では、メモリ１０２０は、フラッシュメモリ及び／又はＲＯＭ等の長期的又は持続的メモリを含む。
【００５５】
ストレージ１０３０は、コンピュータシステム１０００の他のコンポーネントによる使用のために、一時的に又は長期間、データを保存し、例えば、セグメント追跡システム１０９０によって用いられるデータを保存する。一具体例では、ストレージ１０３０は、ハードディスクドライブである。
【００５６】
媒体装置１０４０には、リムーバブル媒体が挿入され、挿入された媒体からデータを読み出し及び／又は媒体にデータを書き込む。一具体例では、媒体装置１０４０は、光ディスクドライブである。
【００５７】
ユーザインタフェース１０５０は、コンピュータシステム１０００のユーザからユーザ入力を受け付け、ユーザに情報を提供するコンポーネントを含む。一具体例では、ユーザインタフェース１０５０は、キーボード、マウス、オーディオスピーカ及びディスプレイを含む。コントローラ１０１０は、ユーザからの入力に基づいて、コンピュータシステム１０００の動作を調整する。
【００５８】
入出力（Ｉ／Ｏ）インタフェース１０６０は、例えば、外部ストレージ装置又は補助装置（例えば、プリンタ又はＰＤＡ）等の対応する入出力装置に接続する１つ以上の入出力ポートを含む。一具体例では、入出力インタフェース１０６０のポートは、ＵＳＢポート、ＰＣＭＣＩＡポート、シリアルポート及び／又はパラレルポートを含む。他の具体例では、入出力インタフェース１０６０は、外部機器と無線で通信するための無線インタフェースを含む。
【００５９】
ネットワークインタフェース１０７０は、例えば、イーサネット（登録商標）接続をサポートするＲＪ−４５又は「Ｗｉ−Ｆｉ」インタフェース（これに限定されるものではないが、８０２．１１を含む。）等の有線及び／又は無線ネットワーク接続を含む。
【００６０】
コンピュータシステム１０００は、通常のコンピュータシステムが備える更なるハードウェア及びソフトウェア（例えば、電源、冷却装置、オペレーティングシステム）を含むが、図１０Ｂでは、簡潔性のためにこれらのコンポーネントを示していない。他の具体例では、異なる構成（例えば、異なるバス又はストレージ構成、又はマルチプロセッサ構成）を有するコンピュータシステムを用いてもよい。
【００６１】
本発明の様々な例示的な具体例について説明した。但し、他の具体例も可能であり、これらも本発明の範囲内に含まれる当業者にとって明らかである。例えば、既知のパターン及び識別可能なランダムパターンは、演技者又はオブジェクトの表面に印刷、塗布又はインク書きしてもよい。更に、所望のパターンを得るために、印刷、塗布、インク書き、タトゥ、量子ナノドット及び生来的な肉体的特徴の如何なる組合せを用いてもよい。
【００６２】
更に、説明を簡潔にするために、モジュール又はブロック内に機能をグループ化している。特定の機能は、本発明から逸脱することなく、あるモジュール又はブロックから他のモジュール又はブロックに移行させることができる。
【００６３】
したがって、本発明は、上述した実施の形態のみには限定されない。
【特許請求の範囲】
【請求項１】
複数のマーカを表面の異なる位置に付すステップと、ここで、前記複数のマーカのそれぞれは一意的な既知のパターンを含んでおり、
前記表面を覆う一意的な既知のパターンの複数の画像をそれぞれが含む画像フレームのシーケンスを取得するステップと、
シーケンスの各画像フレームにおいて一意的に識別可能な既知のパターンの位置及び回転の向き情報を分析することにより、前記表面の前記異なる位置の部分についての位置及び回転の向き情報を導出するステップと、ここで、前記異なる位置の部分についての回転の向き情報は、各マーカから生成される一意的な既知のパターンから導出され、
前記位置及び向き情報を組み込んだアニメーションデータを生成するステップとを有する方法。
【請求項２】
前記複数のマーカは、表面に適合する請求項１記載の方法。
【請求項３】
前記既知のパターンは、量子ナノドットによって複数のマーカ上に配置される請求項１記載の方法。
【請求項４】
前記量子ナノドットは、インク、塗料及びプラスチックを含む媒体内に支持されている請求項３記載の方法。
【請求項５】
前記複数のマーカは、一時的タトゥを含む請求項１記載の方法。
【請求項６】
前記一時的タトゥには、顔のタトゥが含まれる請求項５記載の方法。
【請求項７】
前記顔のタトゥには、複数の別々のタトゥが含まれる、請求項６に記載の方法。
【請求項８】
前記複数のマーカには、反射材料が含まれる、請求項１に記載の方法。
【請求項９】
前記複数のマーカは、蛍光材料を含む請求項１記載の方法。
【請求項１０】
前記表面は、人体の表面を含む請求項１記載の方法。
【請求項１１】
前記人体の表面は、顔、体、手、足、腕及び脚の少なくとも１つを含む請求項１０記載の方法。
【請求項１２】
前記表面は、オブジェクトの表面を含む請求項１記載の方法。
【請求項１３】
前記オブジェクトは、舞台セット及び舞台小道具の少なくとも１つを含む請求項１２記載の方法。
【請求項１４】
前記パターンは、所定のパターンである請求項１記載の方法。
【請求項１５】
前記パターンは、ランダムパターンである請求項１記載の方法。
【請求項１６】
前記既知のパターンを有する複数のマーカを表面に付すステップは、前記既知のパターンが印刷されている少なくとも１つのストリップを演技者の体肢の周りに巻回するステップを含む請求項１記載の方法。
【請求項１７】
前記位置及び向き情報を導出するステップは、ストリップの重心を判定するステップを含む請求項１６記載の方法。
【請求項１８】
前記既知のパターンを有する複数のマーカを表面に付すステップは、前記既知のパターンが印刷されている少なくとも２つのストリップを演技者の体肢の周りに巻回するステップを含む請求項１記載の方法。
【請求項１９】
前記位置及び向き情報を導出するステップは、演技者の体肢の重心を判定するステップを含む請求項１８記載の方法。
【請求項２０】
表面上に配置された既知のパターンを有する複数のマーカの複数の同期された画像をそれぞれが含む画像フレームのシーケンスを生成する画像取得モジュールと、
前記画像フレームのシーケンスを受け取り、前記表面上に配置された既知のパターンに基づいて、アニメーションデータを生成するセグメント追跡モジュールとを備え、
前記セグメント追跡モジュールは、
前記画像フレームのシーケンスを受け取り、前記シーケンスの各画像フレーム内において識別可能な一意的な既知のパターンに関する識別情報を生成する識別モジュールと、
前記画像フレームのシーケンス及び前記識別情報を受け取り、各画像フレーム内において識別可能な一意的な既知のパターンの回転の旨を決定することによって表面の異なる位置についての回転の向き情報を生成する向きモジュールと、ここで、表面の各位置についての回転の向き情報は、単一の一意的な既知のパターンから導出され、
前記識別情報を受け取り、各画像フレーム内で識別される一意的な既知のパターンについての軌道情報を決定することにより表面の異なる位置についてマーカ軌道情報を生成する追跡モジュールと、
前記向き情報及び前記マーカ軌道情報を受け取り、アニメーションデータを生成するアニメーションモジュールと、
を有するシステム。
【請求項２１】
コンピュータ読み取り可能な記録媒体に記録された、実行可能な命令を含んだコンピュータプログラムであって、コンピュータに、
前記表面を覆う一意的な既知のパターンの複数の画像をそれぞれが含む画像フレームのシーケンスを取得させ、
前記既知のパターンに関する位置及び回転の向き情報を導出させ、ここで、表面の各位置についての回転の向き情報は、単一の一意的な既知のパターンから導出され、
前記位置及び向き情報を組み込んだアニメーションデータを生成させる、
コンピュータプログラム。
【請求項２２】
前記複数のマーカのパターンのそれぞれは、他のどのマーカからも一意的に区別される、請求項１記載の方法。
【請求項２３】
前記複数のマーカのパターンの少なくとも一部は、前記複数のマーカのパターンの他の部分からも一意的に区別される、請求項１に記載の方法。
【請求項１】
複数のマーカを表面の異なる位置に付すステップと、ここで、前記複数のマーカのそれぞれは一意的な既知のパターンを含んでおり、
前記表面を覆う一意的な既知のパターンの複数の画像をそれぞれが含む画像フレームのシーケンスを取得するステップと、
シーケンスの各画像フレームにおいて一意的に識別可能な既知のパターンの位置及び回転の向き情報を分析することにより、前記表面の前記異なる位置の部分についての位置及び回転の向き情報を導出するステップと、ここで、前記異なる位置の部分についての回転の向き情報は、各マーカから生成される一意的な既知のパターンから導出され、
前記位置及び向き情報を組み込んだアニメーションデータを生成するステップとを有する方法。
【請求項２】
前記複数のマーカは、表面に適合する請求項１記載の方法。
【請求項３】
前記既知のパターンは、量子ナノドットによって複数のマーカ上に配置される請求項１記載の方法。
【請求項４】
前記量子ナノドットは、インク、塗料及びプラスチックを含む媒体内に支持されている請求項３記載の方法。
【請求項５】
前記複数のマーカは、一時的タトゥを含む請求項１記載の方法。
【請求項６】
前記一時的タトゥには、顔のタトゥが含まれる請求項５記載の方法。
【請求項７】
前記顔のタトゥには、複数の別々のタトゥが含まれる、請求項６に記載の方法。
【請求項８】
前記複数のマーカには、反射材料が含まれる、請求項１に記載の方法。
【請求項９】
前記複数のマーカは、蛍光材料を含む請求項１記載の方法。
【請求項１０】
前記表面は、人体の表面を含む請求項１記載の方法。
【請求項１１】
前記人体の表面は、顔、体、手、足、腕及び脚の少なくとも１つを含む請求項１０記載の方法。
【請求項１２】
前記表面は、オブジェクトの表面を含む請求項１記載の方法。
【請求項１３】
前記オブジェクトは、舞台セット及び舞台小道具の少なくとも１つを含む請求項１２記載の方法。
【請求項１４】
前記パターンは、所定のパターンである請求項１記載の方法。
【請求項１５】
前記パターンは、ランダムパターンである請求項１記載の方法。
【請求項１６】
前記既知のパターンを有する複数のマーカを表面に付すステップは、前記既知のパターンが印刷されている少なくとも１つのストリップを演技者の体肢の周りに巻回するステップを含む請求項１記載の方法。
【請求項１７】
前記位置及び向き情報を導出するステップは、ストリップの重心を判定するステップを含む請求項１６記載の方法。
【請求項１８】
前記既知のパターンを有する複数のマーカを表面に付すステップは、前記既知のパターンが印刷されている少なくとも２つのストリップを演技者の体肢の周りに巻回するステップを含む請求項１記載の方法。
【請求項１９】
前記位置及び向き情報を導出するステップは、演技者の体肢の重心を判定するステップを含む請求項１８記載の方法。
【請求項２０】
表面上に配置された既知のパターンを有する複数のマーカの複数の同期された画像をそれぞれが含む画像フレームのシーケンスを生成する画像取得モジュールと、
前記画像フレームのシーケンスを受け取り、前記表面上に配置された既知のパターンに基づいて、アニメーションデータを生成するセグメント追跡モジュールとを備え、
前記セグメント追跡モジュールは、
前記画像フレームのシーケンスを受け取り、前記シーケンスの各画像フレーム内において識別可能な一意的な既知のパターンに関する識別情報を生成する識別モジュールと、
前記画像フレームのシーケンス及び前記識別情報を受け取り、各画像フレーム内において識別可能な一意的な既知のパターンの回転の旨を決定することによって表面の異なる位置についての回転の向き情報を生成する向きモジュールと、ここで、表面の各位置についての回転の向き情報は、単一の一意的な既知のパターンから導出され、
前記識別情報を受け取り、各画像フレーム内で識別される一意的な既知のパターンについての軌道情報を決定することにより表面の異なる位置についてマーカ軌道情報を生成する追跡モジュールと、
前記向き情報及び前記マーカ軌道情報を受け取り、アニメーションデータを生成するアニメーションモジュールと、
を有するシステム。
【請求項２１】
コンピュータ読み取り可能な記録媒体に記録された、実行可能な命令を含んだコンピュータプログラムであって、コンピュータに、
前記表面を覆う一意的な既知のパターンの複数の画像をそれぞれが含む画像フレームのシーケンスを取得させ、
前記既知のパターンに関する位置及び回転の向き情報を導出させ、ここで、表面の各位置についての回転の向き情報は、単一の一意的な既知のパターンから導出され、
前記位置及び向き情報を組み込んだアニメーションデータを生成させる、
コンピュータプログラム。
【請求項２２】
前記複数のマーカのパターンのそれぞれは、他のどのマーカからも一意的に区別される、請求項１記載の方法。
【請求項２３】
前記複数のマーカのパターンの少なくとも一部は、前記複数のマーカのパターンの他の部分からも一意的に区別される、請求項１に記載の方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【公開番号】特開２０１２−２４８２３３（Ｐ２０１２−２４８２３３Ａ）
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願番号】特願２０１２−２０８８６９（Ｐ２０１２−２０８８６９）
【出願日】平成２４年９月２１日（２０１２．９．２１）
【分割の表示】特願２００９−５３５４６９（Ｐ２００９−５３５４６９）の分割
【原出願日】平成１９年１１月１日（２００７．１１．１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【出願人】（５９６１０２１２６）ソニー ピクチャーズ エンターテインメント インコーポレイテッド (46)
【Ｆターム（参考）】
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願日】平成２４年９月２１日（２０１２．９．２１）
【分割の表示】特願２００９−５３５４６９（Ｐ２００９−５３５４６９）の分割
【原出願日】平成１９年１１月１日（２００７．１１．１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【出願人】（５９６１０２１２６）ソニー ピクチャーズ エンターテインメント インコーポレイテッド (46)
【Ｆターム（参考）】
[ Back to top ]