１次マーカ及び２次マーカを使用するモーションキャプチャ
ターゲットの動きを撮影する。一つの方法は：複数の１次マーカをターゲットに取り付けるステップと；少なくとも一つの２次マーカをターゲットに取り付けるステップと；複数の１次マーカデータポイントを、各１次マーカデータポイントが複数の１次マーカの一つの１次マーカに対応するように撮影するステップと；少なくとも一つの２次マーカ跡を、各マーカ跡が前記少なくとも一つの２次マーカの各２次マーカに対応し、かつ各マーカ跡によって各２次マーカを固有に特定する形で撮影するステップと；そして複数の１次マーカを、前記少なくとも一つの２次マーカ跡を使用して特定するステップと、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、「アクティブマーカ及びパッシブマーカを使用するモーションキャプチャ」と題する同時係属中の米国仮特許出願第６０／７１１，９２３号、及び「モーションキャプチャに使用される個人携行可能なデジタイザ」と題する同時係属中の米国仮特許出願第６０／７１１，９０５号の優先権の利益を主張するものであり、これらの米国仮特許出願は両方ともに２００５年８月２６日に出願されている。上記参照特許出願の開示内容は本明細書において参照することにより本明細書に組み込まれる。
【０００２】
本発明は概して、モーションキャプチャ（ｍｏｔｉｏｎ ｃａｐｔｕｒｅ）に関するものであり、特に１次マーカ及び２次マーカを使用して３次元グラフィックス及びアニメーションを作成するモーションキャプチャに関するものである。
【背景技術】
【０００３】
モーションキャプチャシステムを使用して実際のオブジェクトの動きを撮影し、そしてこの動きをアニメートする方法として、この動きをコンピュータにより表現されるオブジェクトにマッピングする。このようなシステムは、コンピュータグラフィックス（ＣＧ）アニメーションを作成するためのソースデータとして使用する人のデジタル表現を生成して、動画及びビデオゲームの作成に使用されることが良くある。通常のシステムでは、アクターが、マーカを種々の位置に取り付けた（例えば、小さな光反射マーカを体及び四肢に取り付けた）衣服を纏い、そして複数のデジタルカメラがアクターの動きを異なるアングルから、マーカを照明しながら記録する。次に、システムは画像を分析してアクターの衣服に取り付けられたマーカの位置（例えば、空間座標として）及び向きを各フレームで求める。これらのマーカの位置をトラッキングすることにより、システムはこれらのマーカに関する時間軸を考慮した空間表示を行ない、そして動いているアクターのデジタル補表現を実現する。次に、この動きをデジタルモデルに適用し、次にこのデジタルモデルで質感を表現し、そしてモデルをレンダリングして、アクター及び／又は演技の完全なＣＧ表示を実現することができる。この技法は、非常にリアルなアニメーションを多くの人気のある映画に収めるために特殊効果会社によって使用されている。
【０００４】
或るモーションキャプチャシステムが、キーフレーミングのような従来のアニメーション技法よりも優れる利点は、可視化をリアルタイムに行なうことができることである。製品開発チームはアクターの動きの空間表示をリアルタイムまたはほぼリアルタイムに精査することができ、これによって、アクターは肉体的な演技を変更するので、最適データを撮影することができる。更に、モーションキャプチャシステムは他のアニメーション技法を使用して容易に再生することができない肉体的な動きの微妙な差異を検出することにより、自然な動きをより正確に表わすデータを生成する。その結果、モーションキャプチャシステムを使用して収集されるソース情報を使用するアニメーションが多くの場合、ずっと真に迫った外観を呈するようになる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
モーションデータを撮影する従来の方法では、長い時間を要する手作業工程を採用する必要がある。例えば、或る方法では、小さな光反射球であるマーカを利用する。撮影空間のランプが光反射球を照明し、そして複数のカメラが、結果として発生する反射を撮影する。マーカが球体であるので、単一のランプからの光をほとんど全方向に、入射光に関与する半球によって反射することができ、その結果、反射を撮影空間の種々の位置に配置される多数のカメラによって撮影することができる。このようにして、マーカの空間座標を求めることができる。各データポイントはフレームごとに個々にトラッキングして、所望のアニメーションを作成するための基盤となるモーション履歴を作成する必要もある。このようにして球状マーカによって反射される光が、撮影空間における明瞭かつ正確なデータポイントとなるという同じ理由により、撮影データポイントが非常に小さくて、外見がほとんど同じになってしまう恐れもある。個々の撮影データポイントを区別する操作は非常に難しく、従って個々のデータポイントをフレームごとにトラッキングする操作は極めて複雑になる。自動トラッキング方法は、トラッキング対象の撮影データポイント（すなわち、マーカ）をほとんど見分けることができない場合に問題となるので、確実に、各撮影データポイントをフレームごとに正確に区別し、かつ当該ポイント自体に正しく関連付けるためには、当該方法ではなく、長時間を要し、かつ多量のリソースを消費する手作業処理が必要になる場合が多い。また、非常に多くのマーカが、アニメートされたＣＧアクターの表面を表わす高解像度の３次元表面メッシュの頂点に関連付けられる動きをできるだけ細かい要素に分解するために必要にもなるので、自動トラッキングの問題及び手動トラッキングの問題が膨大な量のデータによって悪化させてしまう。
【０００６】
従って、必要なのは、従来のシステムにおいて見られるマーカの識別及びトラッキングに関するこれらの深刻な問題を解決する方法及びシステムである。
【課題を解決するための手段】
【０００７】
本発明の実施形態では、動きを、１次マーカ及び２次マーカをモーションキャプチャカメラとともに使用して撮影する。
【０００８】
一の実施形態では、一つの方法が提供され、本方法は：複数の１次マーカをターゲットに取り付けるステップと；少なくとも一つの２次マーカを前記ターゲットに取り付けるステップと；複数の１次マーカデータポイントを、各１次マーカデータポイントが複数の１次マーカの一つの１次マーカに対応するように撮影するステップと；少なくとも一つの２次マーカ跡を、各マーカ跡が少なくとも一つの２次マーカの各２次マーカに対応し、かつ各マーカ跡によって各２次マーカを固有に特定するように撮影するステップと；そして複数の１次マーカを、少なくとも一つの２次マーカ跡を使用して特定するステップと、を含む。
【０００９】
別の実施形態では、少なくとも一つの２次マーカ跡を撮影する前記ステップは、少なくとも一つの２次マーカの固有属性を取得するステップを含む。
【００１０】
更に別の実施形態では、照明を周期的なゲート期間の中で制御して、照明のオン状態及びオフ状態を生成し；そして照明に対する反射を照明のオン状態の間に撮影し；そして固有属性を照明のオフ状態の間に取得する。更に別の実施形態では、照明に対する反射は明るいマーカからの反射として撮影され；そして固有属性は暗いマーカから取得される。
【００１１】
本発明の他の特徴及び利点は、この技術分野の当業者であれば、次の詳細な記述、及び添付の図を吟味することにより一層容易に理解できるものと思われる。
【発明を実施するための最良の形態】
【００１２】
以下に更に詳細に説明するように、本発明は、マーカに対するフレームごとの一層確実なトラッキングを可能にするモーションキャプチャシステムに対する要求を満たす。以下に示す詳細な記述では、同様の要素番号を使用して、添付の図の内の一つ以上の図に示される同様の要素を指す。
【００１３】
本記述を一読した後、この技術分野の当業者には、本発明をどのようにして種々の別の実施形態及び別のアプリケーションにおいて実施するかが明らかになるであろう。しかしながら、本発明の種々の実施形態についてここで説明するが、これらの実施形態は単なる例示として示され、制限的に解釈されるべきではないことを理解されたい。従って、種々の別の実施形態についてのこの詳細な記述は、添付の請求項に示す本発明の技術範囲または権利範囲を制限するものとして捉えられるべきではない。
【００１４】
マーカは、ほとんどの形態のモーションキャプチャに不可欠な構成要素であり、そしておおまかに２つのカテゴリーに分けられる：すなわちアクティブマーカ及びパッシブマーカを含む。パッシブマーカの忠実度及び分解能は他のマーカよりも高いので、パッシブマーカを多くのアプリケーションにおいて使用することが好ましい。しかしながら、パッシブマーカを使用するためのデータ処理には困難が伴ない、かつマニュアル作業が必要になるので、２つの異なるタイプのマーカをハイブリッドシステムにおいて組み合わせることが有用である。
【００１５】
例えば、或る実施形態では、モーションキャプチャによる所望の結果は、アクティブマーカ及びパッシブマーカの両方を含むハイブリッドシステムを使用することにより達成することができる。通常、パッシブマーカはトラッキングを必要とし、アクティブマーカはトラッキングを必要としない。他の実施形態では、１次マーカ及び２次マーカをハイブリッドシステムにおいて使用して、モーションキャプチャによる所望の結果を達成する。これらの他の実施形態では、１次マーカは、パッシブマーカと同様にトラッキングを必要とするマーカであり、そして２次マーカは、アクティブマーカと同様にトラッキングを必要としないマーカである。しかしながら、他の実施形態では、アクティブマーカが１次マーカとして使用され、そしてパッシブマーカが２次マーカとして使用される。
【００１６】
アクティブマーカは普通、電源を使用して或るタイプのエネルギーを放出するものとして特徴付けられる。アクティブマーカまたはアクティブ要素の例として、ＬＥＤ，アクティブＲＦＩＤ（無線周波数識別情報）タグ、データグローブ、ポテンショメータ、加速度計、人体に装着可能な外骨格（exoskeleton）、及び超音波チャープ発信器を挙げることができる。パッシブマーカは通常、電源を必要としない。パッシブマーカまたはパッシブ要素の一つの例が、小さな光沢球をほぼ構成する再帰反射球であり、この球に眩しい光を浴びせると、光学手段によって容易に撮像される小さな高輝度の光ドットが形成される。パッシブマーカの他の例として、パッシブＲＦＩＤタグ、暗闇で光るパッチ、成形テープ、及び電磁的な痕跡を実現する電磁タグを挙げることができる。別の区別を、「明るい」マーカと「暗い」マーカとの間で行なうことができる。再帰反射球は、例えば「明るい」マーカとして特徴付けられ、そして暗闇で光るマーカは「暗い」マーカとして特徴付けられる。
【００１７】
モーションキャプチャデータのリアルタイムの可視化はアクティブマーカによって実現し、次にこれらのマーカによって生成される骨格データを使用して、モーションキャプチャシステムによって生成されるパッシブマーカデータにラベル付けすることができる。これにより、事前の可視化がリアルタイムに行なわれ、事後処理における手動のクリーンアップ作業が大幅に減って、高品質の光学モーションキャプチャデータが生成される。従って、ハイブリッドシステムはリアルタイム機能を提供するとともに、動きに関する忠実度を高めることができる。
【００１８】
図１を参照すると、本発明の一の実施形態によるハイブリッドモーションキャプチャシステム１００は、ユーザワークステーション１２０に接続されるモーションキャプチャプロセッサ１１０を含む。図示の実施形態では、モーションキャプチャプロセッサ１１０は画像撮影モジュール１１２と、再構成モジュール１１４と、１次マーカトラッキングモジュール１１６と、デジタルモデリングモジュール１１８と、そしてストレージモジュール１５８と、を含む。モーションキャプチャプロセッサ１１０に接続されるのは、２つのモーションキャプチャカメラ１３０，１３２である。本発明の一の実施形態では、２台よりもずっと多いモーションキャプチャカメラが種々のユーザ要求及びアニメーション関連の要求に従って使用される。モーションキャプチャカメラ１３０，１３２は撮影空間１４０に焦点を合わせ、この空間では、ターゲット１５０（図１に任意の形状のオブジェクトとして示す）が空間座標によって定義される一つの位置を占める。
【００１９】
図１に示す実施形態に示すように、ターゲット１５０には、複数の１次マーカ１５２Ａ〜Ｃ、及び１つの２次マーカ１５４が取り付けられている。カメラ１３０，１３２を画像撮影モジュール１１２によって制御することにより、これらのカメラで１次マーカ１５２Ａ〜Ｃ及び２次マーカ１５４のフレームごとの画像を撮影し、そしてこれらの画像をモーションキャプチャプロセッサ１１０の画像撮影モジュール１１２に渡すことができる。一の実施形態では、カメラ１３０，１３２は、１次マーカ１５２Ａ〜Ｃの画像、及び２次マーカ１５４の画像を交互に画像フレームに撮影する。別の実施形態では、カメラ１３０，１３２は、１次マーカ１５２Ａ〜Ｃの画像、及び２次マーカ１５４の画像を同じフレームに撮影する。このようにして撮影される画像フレームはストレージモジュール１５８に格納することができる。別の構成として、または上記構成と並行して、これらの画像フレームをリアルタイムでユーザがワークステーション１２０で閲覧することができる。
【００２０】
一の実施形態では、カメラ１３０，１３２からのデータは、「ビート（ｂｅａｔｓ）」と呼ばれるデータ集合に取り込まれる。一つのビートは、１シーンショット、または１シーンショットの一部分に対応する一つの期間に亘って撮影されるデータに対応する。各カメラ１３０，１３２は、一つの個別ファイルを各ビートに関して生成することができる。従って、単一のビートに関して、一つのファイルが一方のカメラ１３０及び他方のカメラ１３２の各々に対応して生成されることになる。ここで、非常に多くの台数のカメラ１３０，１３２が使用される場合、各ビートは該当する多数の個別データファイルを、各カメラに対して１個のファイルの割合で含むことになることが分かるであろう。更に、各カメラ１３０，１３２に、多数の校正データが対応することになり、これらの校正データとして、例えば撮影空間１４０におけるカメラの３次元位置、カメラの焦点方向（例えば、３次元「光線」であり、この３次元「光線」に沿って、カメラ１３０，１３２が焦点を合わせている）、及びカメラの現時点の被写界深度に関する情報を挙げることができる。ここで、校正データの他のアイテムを、ここで議論する例示としてのデータに付け加える、またはデータの代わりに用いることができることが分かるであろう。
【００２１】
一の実施形態では、再構成モジュール１１４は、一つのビートに関して生成される複数のファイル（「ビートファイル」）の幾つか、または全て、及び適切なカメラ１３０，１３２に関する該当する校正データを読み込み、そしてカメラデータを統合して、ラベル付けされていないデータの生の３次元「ポイント集合（ｐｏｉｎｔ ｃｌｏｕｄｓ）」とするように動作することができる。これらのデータはストレージ１５８に保存することができる、または１次マーカトラッキングモジュール１１６に直接供給することができる。
【００２２】
以下に更に詳細に説明するように、１次マーカトラッキングモジュール１１６は、生の３次元ポイント集合データフレームを受信する、または保存ポイント集合データフレームをストレージモジュール１５８から取り出す。１次マーカトラッキングモジュール１１６は更に、トラッキング処理をフレーム群に対して実行して、各フレームの１次マーカを当該フレームの前後両方のフレーム群に、２次マーカ識別情報を、個々の１次マーカをフレームごとにラベル付けするための支援手段として使用してマッピングする。一旦、ラベル付けが完了すると、ラベル付けされたデータをデジタルモデリングモジュール１１８に渡す。デジタルモデリングモジュール１１８は各フレームに関して、ターゲット１５０を表わすモデル化表面を含む頂点座標系を仮想空間に設定する。一つのフレームに撮像された１次マーカ１５２Ａ〜Ｃは、次のフレームの同じ１次マーカ１５２Ａ〜Ｃとして正しくラベル付けされるので、これらの１次マーカがこのようにしてフレームごとに関連付けられ、そしてモデル化された表面の動きをスムーズに与える（レンダリングする）ことができる。
【００２３】
図１に示すように、本発明の少なくとも一つの実施形態によれば、２次マーカ１５４は、特定の１次マーカ１５２Ｂに非常に近接して配置することができる。別の実施形態では、２次マーカ１５４は、どの特定の１次マーカ１５２Ａ〜Ｃとも近接して配置する必要はない。一の実施形態では、１次マーカ１５２Ａ〜Ｃと２次マーカ１５４との間にそれぞれ、多数対１の対応付けが行なわれる。２次マーカ１５４に対する１次マーカ１５２の比は１対１から、現在の実施形態に適するいずれの比にも変化するようにすることができる。これらの比のような様々な態様をユーザが実行することにより、１次マーカ１５２を、一つのフレームから次のフレームにマッピングする（すなわち、トラッキングする）際に予測される容易さ、または難しさを調整することができる。例えば、一の実施形態では、数百個の１次マーカを使用してヒトの顔及び体のかすかな動きを撮影する。
【００２４】
図２（ａ）は１次マーカデータポイント及び２次マーカ跡を撮影する一の実施形態による方法を示すフローチャートである。本方法では、１次マーカ１５２をターゲット１５０に、ステップ２１０で取り付ける。一つ以上の２次マーカをターゲット１５０に、ステップ２１２で取り付ける。一の実施形態では、ステップ２１０及び２１２での取り付ける操作では、塗料または他の反射コーティングをターゲット１５０に塗布する。次に、ステップ２１４では、現フレームを使用して１次マーカデータポイントを撮影する。一の実施形態では、１次マーカ１５２Ａ〜Ｃは光反射球であり、そしてこれらの球の表面に位置して照明される反射ポイントがほぼ１次マーカデータポイントを構成する。すなわち、１次マーカ１５２Ａからの一つの反射が、例えば一つの１次マーカデータポイントを構成する。２次マーカ跡の位置を含む２次マーカ１５４の跡をステップ２１６で撮影する。一の実施形態では、１次マーカデータポイント及び２次マーカ跡は、ほぼ同時に撮影される。
【００２５】
通常、２次マーカは極めて固有の形で識別することができ、そして各２次マーカは、或る特徴付けモードに従って非常に珍しい跡を残す。例えば、一の実施形態では、２次マーカは一つの形状によって特徴付けられる。別の実施形態では、２次マーカは一つの色によって特徴付けられる。別の実施形態では、２次マーカは、当該マーカが暗闇で光るときの強度のような輝度によって特徴付けられる。更に、２次マーカは、ＬＥＤのような可視デバイス、超音波チャープ発信器またはアクティブＲＦＩＤ発信器のような不可視デバイスを含むアクティブマーカとすることができる。更に別の実施形態では、２次マーカは、形状、色、輝度、及び発信動作（チャープ信号の発信またはＲＦＩＤ発信器による識別信号の発信）のような上述のパッシブ特性及びアクティブ特性の幾つか、または全てのいずれかの組み合わせによって特徴付けられる。すなわち、２次マーカは、上述したものに類似するいずれかの固有に識別可能な跡だけでなく、高周波エネルギーの跡及び電磁的な痕跡のような他の不可視特性によって特徴付けることができる。更に、複数の異なるタイプの２次マーカを同時に単一の実施形態で使用することができる。
【００２６】
１次マーカは、上に議論した種々のタイプのマーカのいずれかをユーザの要求に従って含むことができることも理解されたい。
【００２７】
或る実施形態では、１次−２次、アクティブ−パッシブ、及び「明るい」−「暗い」のようなマーカのペアリングを使用して、一方を他方の基準とするのではなく、撮影対象の被写体の各部分または各領域を区別する。例えば、一の実施形態では、明るいマーカをボディ（ｂｏｄｙ）の動きの撮影に使用し、そして暗いマーカを顔の動きの撮影に使用する。従って、この実施形態では、「明るい」−「暗い」というマーカのペアリングを使用して、顔及びボディの撮影データポイントを区別する。
【００２８】
ステップ２２０で、現フレームが最後のフレームではないと判断される場合、ステップ２２２で次のフレームに進み、そして当該フレームが新規の現フレームとなる。次に、本方法をステップ２１４に進め、新規の現フレームを使用して次の一連の１次マーカデータポイントを撮影する。本方法では上述したように、現フレームが最後のフレームであると判断されるまで処理を進める。この実施形態によれば、１次マーカデータ及び２次マーカ跡がこのようにしてフレームごとに獲得される。
【００２９】
図２（ｂ）は、１次マーカデータポイント及び２次マーカ跡を撮影する別の実施形態による方法を示すフローチャートである。図２（ａ）において説明した方法と同様にして、本方法では、１次マーカ１５２Ａ〜Ｃをターゲット１５０にステップ２３０で取り付ける。一つ以上の２次マーカ１５４をターゲット１５０にステップ２３２で取り付ける。ステップ２３４では、現フレームを使用して１次マーカデータポイントを撮影する。次に、ステップ２４０では、現フレームが最後のフレームであるかどうかを判断する。現フレームが最後のフレームではない場合、ステップ２４２において、次のフレームに進んで、当該フレームを新規の現フレームとする。ステップ２４４では、２次マーカ跡を撮影する。ステップ２５０で、現フレームが最後のフレームではないと判断される場合、ステップ２５２で次のフレームに進み、そして当該フレームが新規の現フレームとなる。次に、本方法をステップ２３４に進め、新規の現フレームを使用して次の一連の１次マーカデータポイントを撮影する。本方法では上述したように、現フレームが最後のフレームであるとステップ２４０，２５０で判断されるまで処理を進める。この実施形態によれば、１次マーカデータ及び２次マーカ跡がこのようにしてフレームごとに交互に獲得される。
【００３０】
図３（ａ）は、一の実施形態による、２次マーカ識別情報を使用して１次マーカデータポイントにラベル付けする方法を示すフローチャートである。一の実施形態では、本方法は主として、データの事後処理中にステップ３４０で行なわれ、このステップは、図１の１次マーカトラッキングモジュール１１６が行なうラベリングタスクにほぼ相当する。図３（ａ）に示す方法では、ステップ３１０において、１次マーカデータポイント及び２次マーカ跡を、モーションキャプチャカメラを使用して考察対象のフレームについて撮影し、そして撮影データポイント及びマーカ跡を保存する。別の実施形態では、このようにして撮影されるデータの保存は、リアルタイムの処理、またはほぼリアルタイムの処理で同時に行なうことができる。別の構成として、撮影データはリアルタイムまたはほぼリアルタイムで同時に保存及び処理することができる。次に、再構成をステップ３１２で行なって、３次元生データポイント集合を生成する。
【００３１】
ラベル付けは第１フレームをステップ３１４で現フレームとして選択することから始まる。１次マーカデータポイントの位置を現フレームでステップ３１６において特定する。２次マーカ識別情報（「ＩＤｓ」）をステップ３１８で、フレームで撮影される２次マーカ跡の固有属性から求める。非常に独特の固有の２次マーカ識別情報（ＩＤｓ）を使用することができるが、これは、これらの識別情報を求めるときの基礎となる２次マーカ跡自体が非常に独特で識別し易いからである。例えば、一の実施形態では、２次マーカは個々に固有のバーコードを含むことができる。次に、２次マーカ識別情報（ＩＤｓ）をステップ３２０で、適切な１次マーカデータポイントに関連付ける。２次マーカ識別情報（ＩＤ）は固有の痕跡となるので、非常に容易にトラッキングすることができ、これに対して１次マーカデータポイントだけでは、これらのデータポイントを互いから区別することは難しい。一の実施形態では、１次マーカデータポイントとの関連付けは、１次マーカデータポイントに対する２次マーカの空間的近接性に従って行なわれる。別の実施形態では、一つの２次マーカを、近接１次マーカデータポイントグループに関する統一的な位置基準として使用する。従って、個々にはほとんど区別することができない１次マーカデータポイント群のグループは、更に別の位置情報が２次マーカ識別情報（ＩＤ）を追跡することにより推定されるので、一層容易にトラッキングすることができる。別の実施形態では、一つの１次マーカデータポイントは、当該１次マーカデータポイントの非常に近くに位置すると特定される２次マーカ群に対応する２つ以上の２次マーカ識別情報（ＩＤｓ）に関連付けることができる。例えば、このようにして位置特定される２つ以上の２次マーカの識別情報（ＩＤｓ）は非常にユニークであるので、表示される空間パターンによって特定することもできる。一つ以上の１次マーカデータポイントを一つ以上の２次マーカ識別情報（ＩＤｓ）に、多数対１、多数対多数、及び１対多数の関係で、手動及び自動のどちらでも関連付けることができるためには他の手法を選択することができることを理解されたい。
【００３２】
次に、１次マーカデータポイントに固有のラベル付けをステップ３２２で、関連付けされた一つ以上の２次マーカ識別情報（ＩＤｓ）に従って行なう。更に、１次マーカデータポイントに、既にラベル付けされている一つ以上の他の１次マーカデータポイントに従ってラベル付けすることができる。次に、ステップ３２４で、ラベル付けされている１次データポイントを、現フレームに対応させて保存する。次に、ターゲット１５０の仮想モデルを１次マーカデータポイントに基づいてステップ３２６で構築する。別の構成として、１次マーカデータポイントを使用して既存のモデルをターゲット１５０に合わせることができる。ステップ３３０で、このフレームが考察対象の最後のフレームではないと判断される場合、ステップ３３２で次のフレームに進んで、当該フレームを新規の現フレームとする。次に、１次マーカデータポイントの位置をステップ３１６で新規の現フレームで特定し、そして本方法では、上に議論したように、最後のフレームであるとの判断が下されるまで処理を進める。
【００３３】
図３（ｂ）は、２次マーカ識別情報を使用して１次マーカに、フレームを交互に使用することによりラベル付けする別の実施形態による方法を示すフローチャートである。一の実施形態では、本方法は主として、事後処理３９０を行なっている間に行なわれ、この事後処理は、図１の１次マーカトラッキングモジュール１１６が行なうタスクにほぼ対応する。本方法では、ステップ３１０において、１次マーカデータポイント及び２次マーカ跡を、モーションキャプチャカメラを使用して考察対象のフレームについて撮影し、そして保存する。次に、再構成をステップ３１２で行なって、３次元生データポイント集合を生成する。
【００３４】
第１フレームを現フレームとしてステップ３５２で選択する。現フレームの１次マーカデータポイントの位置をステップ３５４で特定する。ステップ３６０で、現フレームが考察対象の最後のフレームではないと判断される場合、ステップ３６２で次のフレームに進んで、当該フレームを新規の現フレームとする。２次マーカ識別情報（「ＩＤｓ」）をステップ３６４で、フレームで撮影された２次マーカ跡の固有属性から求める。非常にユニークな２次マーカ識別情報（ＩＤｓ）を使用することができるが、これは、これらの識別情報を求めるときの基礎となる２次マーカ跡自体が非常にユニークであるので識別することができるからである。次に、２次マーカ識別情報（ＩＤｓ）をステップ３６６で、適切な１次マーカデータポイントに関連付ける。一の実施形態では、１次マーカデータポイントとの関連付けは、１次マーカデータポイントに対する２次マーカの空間的近接性に従って行なわれる。別の実施形態では、一つの１次マーカデータポイントを、当該１次マーカデータポイントの非常に近くに位置すると特定される２次マーカ群に対応する２つ以上の２次マーカ識別情報（ＩＤｓ）に関連付けることができる。例えば、このようにして位置特定される２つ以上の２次マーカの識別情報（ＩＤｓ）は非常にユニークであるので、これらの２次マーカが示す空間パターンによって特定することもできる。一つの１次マーカデータポイントを一つ以上の２次マーカ識別情報（ＩＤｓ）に関連付けるためには多くの方法があることを理解されたい。次に、１次マーカデータポイントに対してステップ３６８で、各１次マーカデータポイントに関連付けられる一つ以上の２次マーカ識別情報（ＩＤｓ）に従って固有のラベル付けを行なう。次に、ステップ３７０で、ラベル付けされている１次データポイントを、現フレームに対応させて保存する。次に、ターゲット１５０の仮想モデルを１次マーカデータポイントに基づいてステップ３２６で構築する。ステップ３８０で、現フレームが考察対象の最後のフレームではないと判断される場合、ステップ３８２で次のフレームに進んで、当該フレームを新規の現フレームとする。次に、１次マーカデータポイントの位置を新規の現フレームでステップ３５４において特定し、そして本方法では上に議論したように、最後のフレームであるとの判断がステップ３６０，３８０で下されるまで処理を進める。
【００３５】
図４は、本発明の一の実施形態に従って、１次及び２次マーカを変形可能な表面に物理的に配置する様子を示している。表面は、例えばアクターがモーションキャプチャシーケンスにおいて装着するボディスーツの一部分とすることができる。表面は変形グリッド４００によって表わされる。この実施形態におけるグリッド４００の頂点は、１次マーカ４１０が表面に取り付けられる位置を定義する。図４では、図示される２４個の１次マーカはほぼ同じ光反射球である。図を分かり易くするために、３つの球にのみインデックスを付けている。３つの２次マーカ４２０が同じ楕円として描かれている。図示のように、２次マーカ４２０は、１次マーカ４１０の間の空き領域に１対多数の対応関係でそれぞれ配置することができる。別の構成として、２次マーカ群４２０を一つの１次マーカ４１０に非常に近接して配置することができる。これまでに議論してきたように、２次マーカ４２０はいずれかのタイプのアクティブマーカ及びパッシブマーカ、またはアクティブマーカ及びパッシブマーカの組み合わせを含むことを理解されたい。
【００３６】
一の実施形態では、一つのフレームの１次マーカ４１０及び２次マーカ４２０をステップ３１０で撮影する。再構成をステップ３１２で行なうことにより、上に議論したように、多数のカメラ１３０，１３２によって生成される統合ビートファイルを表わす生ポイント集合を３次元で生成する。３次元ポイント集合は、１次データポイント及び２次マーカ跡を含む。一の実施形態では、２次マーカ識別情報（ＩＤｓ）を２次マーカ跡から求め（２次マーカ跡が種々の２次的な痕跡の中では非常にユニークであることを思い起こされたい）、そして該当する１次マーカデータポイントを、当該ポイントに最も近い（最近接近法に基づいて）２次マーカの識別情報（ＩＤｓ）に関連付ける（ステップ３２０）。すなわち、一つの１次マーカデータポイントに一つのラベルを、１次マーカデータポイントを撮影した対象となった１次マーカ４１０に最も近い２次マーカ４２０の２次マーカ識別情報（ＩＤ）に従って割り当てる。別の実施形態では、２次マーカ４２０の固有空間パターンは、２次マーカ４２０の固有の特異性を、２次マーカの空間位置と組み合わせることにより生成することができる。従って、１次マーカ群は、単一の２次マーカ４２０に対するこれらの１次マーカの位置に従って特定することができるだけでなく、複数の２次マーカ４２０により形成される空間パターンに従って特定することができる。
【００３７】
一の実施形態では、２次マーカの跡を固有の形状を使用することにより残す。図５は、１次マーカ５１０、及びこのような実施形態による形状属性を持つ２次マーカ５２２，５２４，５２６の物理的配置を示している。２次マーカ５２２は三角形であり、２次マーカ５２４は六角形であり、そして２次マーカ５２６は５極星形である。一つの表面は変形グリッド５００により表現される。この例におけるグリッド５００の頂点によって、１次マーカ５１０を表面に取り付ける位置も定義される。図４に示すように、２４個の１次マーカがほぼ同じ光反射球として示されている。この例では、３個の２次マーカ５２２，５２４，５２６が１次マーカ群５１０の間の複数の領域に配置される。３個の２次マーカ５２２，５２４，５２６は全て、固有の形状に形成されるので、独特な光跡を残す。
【００３８】
一の実施形態では、一つのフレームの１次マーカ５１０及び２次マーカ５２２，５２４，５２６をステップ３１０で撮影する。再構成をステップ３１２で行なうことにより、上に議論したように、多数のカメラ１３０，１３２によって生成される統合ビートファイルを表わす生ポイント集合を３次元で生成する。３次元ポイント集合は、１次マーカ５１０に対応する１次データポイント、及び２次マーカ５２２，５２４，５２６に対応する２次マーカ跡を含む。次に、２次マーカ識別情報（ＩＤｓ）を、２次マーカ固有の形状を利用した光跡に従って割り当てることができる。次に、該当する１次マーカデータポイントを、１次マーカに最も近い（最近接近法に基づいて）２次マーカの識別情報（ＩＤｓ）に関連付ける（ステップ３２０）。２次マーカ５２２，５２４，５２６は固有の特異性を示すので、１次マーカ５１０を更に、複数の２次マーカによって形成される固有の空間パターンを基準にして特定することができる。別の実施形態では、使用状態における２次マーカ５２２，５２４，５２６は個々に非常にユニークである訳ではないが、それでも、局所的に非常にユニークなパターンを形成し、これらのパターンを基準にして、１次マーカ５１０にラベル付けすることができる。
【００３９】
図６は、幾つかの実施形態において使用される典型的なゲートトリガー信号６００を示す図である。このようなゲートトリガー信号は公知である。図示のように、一つの信号はハイ状態６１０，６２０，６３０、及びロー状態６１２，６２２，６３２を有し、ハイ状態及びロー状態はＯＮ状態及びＯＦＦ状態にそれぞれ対応する。ゲートトリガーは、例えばストローブ光のような光源のＯＮ／ＯＦＦサイクル制御として使用される。
【００４０】
図７は一の実施形態による撮影空間７００を示す図であり、撮影空間７００には、一つのゲート光源と、そして２台の同期ゲートモーションキャプチャカメラ７２０，７３０が含まれ、一方のカメラ７２０は１次マーカデータポイントを撮影し、そして他方のカメラ７３０は２次マーカ跡を撮影する。別の実施形態では、両方のカメラ７２０，７３０を使用して１次マーカデータポイント及び２次マーカ跡の両方を撮影することができる。
【００４１】
図７に示す実施形態では、ゲート７１０は第１ゲート信号７１２及び第２ゲート信号７１４を供給する。第１ゲート信号７１２は、第２ゲート信号７１４と逆相で駆動するように作用する。第１ゲート信号７１２によって第１モーションキャプチャカメラ７２０及び照明光源７２２を駆動する。従って、第１ゲート信号７１２がＯＮ状態になると、照明光源７２２がＯＮの半サイクルの期間に亘ってオンになり、そして第１モーションキャプチャカメラ７２０が撮影空間７００の画像フレームを撮影する。第１ゲート信号７１２がＯＮ状態になっている間、第２ゲート信号７１４はＯＦＦ状態になっているので、信号７１４によって駆動される第２モーションキャプチャカメラ７３０はＯＦＦ状態になっている。これらの状態は、ゲート信号が半サイクルだけ進むと反転する。第１ゲート信号７１２がＯＦＦ状態に変化すると、照明光源７２２及び第１モーションキャプチャカメラ７２０がＯＦＦ状態になる。第２ゲート信号７１４がＯＮ状態に変化すると、これによって第２モーションキャプチャカメラ７３０が駆動されて撮影空間７００の画像フレームを撮影する。従って、第１モーションキャプチャカメラ７２０は、撮影空間７００を照明するときに画像フレームを撮影し、そして第２モーションキャプチャカメラ７３０は、撮影空間７００を照明していないときに画像フレームを撮影する。
【００４２】
一の実施形態では、ターゲット７４０には、１次マーカを構成する小さな光反射球７５０（９個の光反射球が示され、２個に参照番号を付けている）、及び２次マーカを構成し、かつ暗闇で光るパッチ７５２を取り付けている。図を分かり易くするために、図７に示す２次マーカ７５２が視覚的に同じように見えるようにしているが、２次マーカは本質的に、非常にユニークであるので識別することができることを思い起こされたい。この例では、暗闇で光る２次マーカは特異な痕跡を種々の形状、色、及び輝度を利用して残すことができ、更に２次マーカにバーコードのような可視パターンを用いることができる。
【００４３】
図７に示す実施形態を参照すると、第１ゲート信号７１２がオンになると、照明光源７２２が作動し、そして撮影空間７００を照明するので、光反射球７５０が小さな明るい光点を撮影空間７００において反射するようになる。第１モーションカメラ７２０も同時に作動するので、明るい光点を画像フレームで撮影する。従って、第１モーションキャプチャカメラ７２０は、上に説明した１次マーカデータポイントを撮像する。第１ゲート信号７１２及び第２ゲート信号７１４が状態を次の反サイクルで反転させると、照明がオフになる。照明が消えると、光反射球が暗くなるが、暗闇で光る２次マーカ７５２は輝いて見えるようになる。第２モーションキャプチャカメラ７３０はこの半サイクルの間に同時に作動してＯＮ状態になるので、この時点で暗くなっている撮影空間７００で輝く２次マーカ７５２を含む画像フレームを撮影する。すなわち、第２モーションキャプチャカメラは２次マーカ７５２の跡（例えば、輝き）を撮影する。従って、第１モーションキャプチャカメラ７２０及び第２モーションキャプチャカメラ７３０によって撮影される２つの画像フレーム列を統合して、１次マーカデータポイント及び２次マーカ跡を含む交互フレーム列を構成する。一の実施形態では、動きを撮影したこのフレーム列を次に、図３（ｂ）に示す方法のような方法に従って処理する。
【００４４】
図８は一の実施形態による撮影空間８００を示す図であり、撮影空間８００には、一つのゲート光源と、そして２台の同期ゲートモーションキャプチャカメラ８２０，８３０が含まれ、両方のカメラが同期して１次マーカデータポイント及び２次マーカ跡を撮影する。図８に示すように、ゲート８１０は第１ゲート信号８１２及び第２ゲート信号８１４を供給する。図７に示す実施形態と対比すると、この実施形態における第２ゲート信号８１４は第１ゲート信号８１２と位相が同じである。更に、モーションキャプチャカメラ８２０，８３０を作動させて、画像フレームを、第１ゲート信号８１２及び第２ゲート信号８１４のＯＮ状態及びＯＦＦ状態の両方で撮影させる。前の例と同じように、第１ゲート信号８１２は、照明光源８２２をＯＮ状態の間だけ作動させるように作用する。従って、第１ゲート信号８１２がＯＮ状態になると、照明光源８２２がＯＮの半サイクルの期間に渡ってオンになり、そして第１モーションキャプチャカメラ８２０及び第２モーションキャプチャカメラ８３０の両方が、照明されている撮影空間８００の画像フレームを撮影する。第１ゲート信号８１２及び第２ゲート信号８１４がＯＦＦ状態に変化すると、照明光源８２２がＯＦＦの半サイクルの期間に渡ってオフになり、そして第１モーションキャプチャカメラ８２０及び第２モーションキャプチャカメラ８３０の両方が、暗くなった撮影空間８００の画像フレームを撮影する。すなわち、第１ゲート信号８１２及び第２ゲート信号８１４の位相が同期することにより、第１モーションキャプチャカメラ８２０及び第２モーションキャプチャカメラ８３０が一斉に作動する。従って、モーションキャプチャカメラ８２０，８３０の両方で、撮影空間８００の明るい図柄及び暗い図柄が交互に繰り返す構成のフレーム列を撮影する。
【００４５】
本発明の一の実施形態では、ターゲット８４０には、１次マーカを構成する小さな光反射球８５０、及び２次マーカを構成し、かつ暗闇で光るパッチ８５２を取り付けている。図を分かり易くするために、図８に示す２次マーカ８５２が視覚的に同じように見えるようにしているが、２次マーカは通常、非常にユニークであるので識別することができることを思い起こされたい。この例では、図７に関連して示した２次マーカと同じように、暗闇で光る２次マーカは特異な痕跡を種々の形状、色、及び輝度を利用して残すことができる、または２次マーカにバーコードのような可視パターンを用いることができる。
【００４６】
図８に示す実施形態では、第１ゲート信号８１２及び第２ゲート信号８１４が変化してオンになると、照明光源８２２が作動し、そして撮影空間８００を照明する。これによって、光反射球８５０は小さな明るい光点を撮影空間８００において反射するようになる。第１モーションカメラ８２０及び第２モーションカメラ８３０も同時に作動するので、明るい光点をそれぞれの画像フレームで撮影する。すなわち、第１モーションキャプチャカメラ８２０及び第２モーションキャプチャカメラ８３０は、上に説明した１次マーカデータポイントを撮像する。第１及び第２ゲート信号が状態を次の反サイクルで反転させると、照明光源８２２がオフになる。照明が消えると、光反射球８５０が暗くなるが、暗闇で光る２次マーカ８５２は輝いて見えるようになる。第１モーションキャプチャカメラ８２０及び第２モーションキャプチャカメラ８３０が同時にＯＦＦ状態によって、この半サイクルの間に作動するので別の画像フレームを撮影し、この場合は、この時点で暗くなっている撮影空間８００で見ることができる２次マーカ８５２の跡を撮影する。すなわち、第１モーションキャプチャカメラ８２０及び第２モーションキャプチャカメラ８３０の両方で、１次マーカデータポイント及び２次マーカ跡を含み、かつ交互に繰り返す構成のフレーム列を撮影する。一の実施形態では、このフレーム列を次に、図３（ａ）に示す方法のような方法に従って処理する。
【００４７】
更に別の実施形態では、モーションキャプチャに使用されるパーソナルウェアラブルデジタイザー（ｐｅｒｓｏｎａｌ ｗｅａｒａｂｌｅ ｄｉｇｉｔｉｚｅｒ）が開示される。パーソナルウェアラブルデジタイザーは、身体部位の動きを捕捉する要素を備えるスーツを含む。ウェアラブルデジタイザーは、ボディ表面（頭部、顔、体）のデジタル表示を光学撮影を行なうことなく提供することができる。例えば、圧電片（piezoelectric strips）を保持したボディスーツは、ボディ表面をデジタル処理するように機能する。別の例では、「シェイプテープ」を貼付したボディスーツがボディ表面をデジタル処理するように機能する。テープを曲げたときに光学特性を変える光ファイバを使用することができる。
【００４８】
ウェアラブルデジタイザーによって取得される非光学データをモーションキャプチャ処理システムに渡し、モーションキャプチャ処理システムがこのデータを使用してターゲット（またはターゲット群）の動きを求める。処理システムは位置情報を使用して、ターゲット（群）を表わす３次元モデル（ポイント集合またはメッシュ）を構築し、そして更新する。
【００４９】
本発明の種々の例示としての実施形態を開示してきた。しかしながら、この技術分野の当業者であれば、更に別の実施形態を本発明の技術範囲から逸脱しない限り用いることもできることが理解できるであろう。例えば、一つの変形例では、異なる方法を使用して１次マーカデータポイントを２次マーカ跡に、２つのデータセットの間の１対１、１対多数、及び多数対１の関係を使用して関連付けることができる。更に、図７及び８に示すシステムを種々の形で組み合わせることにより、ユーザからの種々の要求を満たすことができる。
【００５０】
従って、本発明は、上に説明した実施形態のみに制限されるのではない。
【図面の簡単な説明】
【００５１】
本発明の構造及び動作の両方に関する本発明の詳細は、添付の図を分析することにより部分的に明らかになり、これらの図では、同様の参照番号は同様の構成要素を指す。
【図１】一の実施形態によるモーションキャプチャシステムを示す図である。
【図２ａ】１次マーカデータポイント及び２次マーカ跡を撮影する、一の実施形態による方法を示すフローチャートである。
【図２ｂ】交互フレームを使用して１次マーカデータポイント及び２次マーカ跡を撮影する、一の実施形態による方法を示すフローチャートである。
【図３ａ】２次マーカ識別情報を使用して１次マーカにラベル付けする、一の実施形態による方法を示すフローチャートである。
【図３ｂ】２次マーカ識別情報を使用し、１次マーカに交互フレームの使用によりラベル付けする、一の実施形態による方法を示すフローチャートである。
【図４】一の実施形態による１次マーカ及び２次マーカの物理的配置を示す図である。
【図５】別の実施形態による形状属性を持つ１次マーカ及び２次マーカの物理的配置を示す図である。
【図６】異なる実施形態において使用される典型的なゲートトリガーを示す図である。
【図７】一の実施形態による撮影空間を示す図であり、撮影空間には、一つのゲート光源と、そして２台の同期ゲートモーションキャプチャカメラが含まれ、一方のカメラは１次マーカデータポイントを撮影し、そして他方のカメラは２次マーカデータポイントを撮影する。
【図８】一の実施形態による撮影空間を示す図であり、撮影空間には、一つのゲート光源と、そして２台の同期ゲートモーションキャプチャカメラが含まれ、両方のカメラが同期して１次マーカデータポイント及び２次マーカデータポイントを撮影する。
【技術分野】
【０００１】
本出願は、「アクティブマーカ及びパッシブマーカを使用するモーションキャプチャ」と題する同時係属中の米国仮特許出願第６０／７１１，９２３号、及び「モーションキャプチャに使用される個人携行可能なデジタイザ」と題する同時係属中の米国仮特許出願第６０／７１１，９０５号の優先権の利益を主張するものであり、これらの米国仮特許出願は両方ともに２００５年８月２６日に出願されている。上記参照特許出願の開示内容は本明細書において参照することにより本明細書に組み込まれる。
【０００２】
本発明は概して、モーションキャプチャ（ｍｏｔｉｏｎ ｃａｐｔｕｒｅ）に関するものであり、特に１次マーカ及び２次マーカを使用して３次元グラフィックス及びアニメーションを作成するモーションキャプチャに関するものである。
【背景技術】
【０００３】
モーションキャプチャシステムを使用して実際のオブジェクトの動きを撮影し、そしてこの動きをアニメートする方法として、この動きをコンピュータにより表現されるオブジェクトにマッピングする。このようなシステムは、コンピュータグラフィックス（ＣＧ）アニメーションを作成するためのソースデータとして使用する人のデジタル表現を生成して、動画及びビデオゲームの作成に使用されることが良くある。通常のシステムでは、アクターが、マーカを種々の位置に取り付けた（例えば、小さな光反射マーカを体及び四肢に取り付けた）衣服を纏い、そして複数のデジタルカメラがアクターの動きを異なるアングルから、マーカを照明しながら記録する。次に、システムは画像を分析してアクターの衣服に取り付けられたマーカの位置（例えば、空間座標として）及び向きを各フレームで求める。これらのマーカの位置をトラッキングすることにより、システムはこれらのマーカに関する時間軸を考慮した空間表示を行ない、そして動いているアクターのデジタル補表現を実現する。次に、この動きをデジタルモデルに適用し、次にこのデジタルモデルで質感を表現し、そしてモデルをレンダリングして、アクター及び／又は演技の完全なＣＧ表示を実現することができる。この技法は、非常にリアルなアニメーションを多くの人気のある映画に収めるために特殊効果会社によって使用されている。
【０００４】
或るモーションキャプチャシステムが、キーフレーミングのような従来のアニメーション技法よりも優れる利点は、可視化をリアルタイムに行なうことができることである。製品開発チームはアクターの動きの空間表示をリアルタイムまたはほぼリアルタイムに精査することができ、これによって、アクターは肉体的な演技を変更するので、最適データを撮影することができる。更に、モーションキャプチャシステムは他のアニメーション技法を使用して容易に再生することができない肉体的な動きの微妙な差異を検出することにより、自然な動きをより正確に表わすデータを生成する。その結果、モーションキャプチャシステムを使用して収集されるソース情報を使用するアニメーションが多くの場合、ずっと真に迫った外観を呈するようになる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
モーションデータを撮影する従来の方法では、長い時間を要する手作業工程を採用する必要がある。例えば、或る方法では、小さな光反射球であるマーカを利用する。撮影空間のランプが光反射球を照明し、そして複数のカメラが、結果として発生する反射を撮影する。マーカが球体であるので、単一のランプからの光をほとんど全方向に、入射光に関与する半球によって反射することができ、その結果、反射を撮影空間の種々の位置に配置される多数のカメラによって撮影することができる。このようにして、マーカの空間座標を求めることができる。各データポイントはフレームごとに個々にトラッキングして、所望のアニメーションを作成するための基盤となるモーション履歴を作成する必要もある。このようにして球状マーカによって反射される光が、撮影空間における明瞭かつ正確なデータポイントとなるという同じ理由により、撮影データポイントが非常に小さくて、外見がほとんど同じになってしまう恐れもある。個々の撮影データポイントを区別する操作は非常に難しく、従って個々のデータポイントをフレームごとにトラッキングする操作は極めて複雑になる。自動トラッキング方法は、トラッキング対象の撮影データポイント（すなわち、マーカ）をほとんど見分けることができない場合に問題となるので、確実に、各撮影データポイントをフレームごとに正確に区別し、かつ当該ポイント自体に正しく関連付けるためには、当該方法ではなく、長時間を要し、かつ多量のリソースを消費する手作業処理が必要になる場合が多い。また、非常に多くのマーカが、アニメートされたＣＧアクターの表面を表わす高解像度の３次元表面メッシュの頂点に関連付けられる動きをできるだけ細かい要素に分解するために必要にもなるので、自動トラッキングの問題及び手動トラッキングの問題が膨大な量のデータによって悪化させてしまう。
【０００６】
従って、必要なのは、従来のシステムにおいて見られるマーカの識別及びトラッキングに関するこれらの深刻な問題を解決する方法及びシステムである。
【課題を解決するための手段】
【０００７】
本発明の実施形態では、動きを、１次マーカ及び２次マーカをモーションキャプチャカメラとともに使用して撮影する。
【０００８】
一の実施形態では、一つの方法が提供され、本方法は：複数の１次マーカをターゲットに取り付けるステップと；少なくとも一つの２次マーカを前記ターゲットに取り付けるステップと；複数の１次マーカデータポイントを、各１次マーカデータポイントが複数の１次マーカの一つの１次マーカに対応するように撮影するステップと；少なくとも一つの２次マーカ跡を、各マーカ跡が少なくとも一つの２次マーカの各２次マーカに対応し、かつ各マーカ跡によって各２次マーカを固有に特定するように撮影するステップと；そして複数の１次マーカを、少なくとも一つの２次マーカ跡を使用して特定するステップと、を含む。
【０００９】
別の実施形態では、少なくとも一つの２次マーカ跡を撮影する前記ステップは、少なくとも一つの２次マーカの固有属性を取得するステップを含む。
【００１０】
更に別の実施形態では、照明を周期的なゲート期間の中で制御して、照明のオン状態及びオフ状態を生成し；そして照明に対する反射を照明のオン状態の間に撮影し；そして固有属性を照明のオフ状態の間に取得する。更に別の実施形態では、照明に対する反射は明るいマーカからの反射として撮影され；そして固有属性は暗いマーカから取得される。
【００１１】
本発明の他の特徴及び利点は、この技術分野の当業者であれば、次の詳細な記述、及び添付の図を吟味することにより一層容易に理解できるものと思われる。
【発明を実施するための最良の形態】
【００１２】
以下に更に詳細に説明するように、本発明は、マーカに対するフレームごとの一層確実なトラッキングを可能にするモーションキャプチャシステムに対する要求を満たす。以下に示す詳細な記述では、同様の要素番号を使用して、添付の図の内の一つ以上の図に示される同様の要素を指す。
【００１３】
本記述を一読した後、この技術分野の当業者には、本発明をどのようにして種々の別の実施形態及び別のアプリケーションにおいて実施するかが明らかになるであろう。しかしながら、本発明の種々の実施形態についてここで説明するが、これらの実施形態は単なる例示として示され、制限的に解釈されるべきではないことを理解されたい。従って、種々の別の実施形態についてのこの詳細な記述は、添付の請求項に示す本発明の技術範囲または権利範囲を制限するものとして捉えられるべきではない。
【００１４】
マーカは、ほとんどの形態のモーションキャプチャに不可欠な構成要素であり、そしておおまかに２つのカテゴリーに分けられる：すなわちアクティブマーカ及びパッシブマーカを含む。パッシブマーカの忠実度及び分解能は他のマーカよりも高いので、パッシブマーカを多くのアプリケーションにおいて使用することが好ましい。しかしながら、パッシブマーカを使用するためのデータ処理には困難が伴ない、かつマニュアル作業が必要になるので、２つの異なるタイプのマーカをハイブリッドシステムにおいて組み合わせることが有用である。
【００１５】
例えば、或る実施形態では、モーションキャプチャによる所望の結果は、アクティブマーカ及びパッシブマーカの両方を含むハイブリッドシステムを使用することにより達成することができる。通常、パッシブマーカはトラッキングを必要とし、アクティブマーカはトラッキングを必要としない。他の実施形態では、１次マーカ及び２次マーカをハイブリッドシステムにおいて使用して、モーションキャプチャによる所望の結果を達成する。これらの他の実施形態では、１次マーカは、パッシブマーカと同様にトラッキングを必要とするマーカであり、そして２次マーカは、アクティブマーカと同様にトラッキングを必要としないマーカである。しかしながら、他の実施形態では、アクティブマーカが１次マーカとして使用され、そしてパッシブマーカが２次マーカとして使用される。
【００１６】
アクティブマーカは普通、電源を使用して或るタイプのエネルギーを放出するものとして特徴付けられる。アクティブマーカまたはアクティブ要素の例として、ＬＥＤ，アクティブＲＦＩＤ（無線周波数識別情報）タグ、データグローブ、ポテンショメータ、加速度計、人体に装着可能な外骨格（exoskeleton）、及び超音波チャープ発信器を挙げることができる。パッシブマーカは通常、電源を必要としない。パッシブマーカまたはパッシブ要素の一つの例が、小さな光沢球をほぼ構成する再帰反射球であり、この球に眩しい光を浴びせると、光学手段によって容易に撮像される小さな高輝度の光ドットが形成される。パッシブマーカの他の例として、パッシブＲＦＩＤタグ、暗闇で光るパッチ、成形テープ、及び電磁的な痕跡を実現する電磁タグを挙げることができる。別の区別を、「明るい」マーカと「暗い」マーカとの間で行なうことができる。再帰反射球は、例えば「明るい」マーカとして特徴付けられ、そして暗闇で光るマーカは「暗い」マーカとして特徴付けられる。
【００１７】
モーションキャプチャデータのリアルタイムの可視化はアクティブマーカによって実現し、次にこれらのマーカによって生成される骨格データを使用して、モーションキャプチャシステムによって生成されるパッシブマーカデータにラベル付けすることができる。これにより、事前の可視化がリアルタイムに行なわれ、事後処理における手動のクリーンアップ作業が大幅に減って、高品質の光学モーションキャプチャデータが生成される。従って、ハイブリッドシステムはリアルタイム機能を提供するとともに、動きに関する忠実度を高めることができる。
【００１８】
図１を参照すると、本発明の一の実施形態によるハイブリッドモーションキャプチャシステム１００は、ユーザワークステーション１２０に接続されるモーションキャプチャプロセッサ１１０を含む。図示の実施形態では、モーションキャプチャプロセッサ１１０は画像撮影モジュール１１２と、再構成モジュール１１４と、１次マーカトラッキングモジュール１１６と、デジタルモデリングモジュール１１８と、そしてストレージモジュール１５８と、を含む。モーションキャプチャプロセッサ１１０に接続されるのは、２つのモーションキャプチャカメラ１３０，１３２である。本発明の一の実施形態では、２台よりもずっと多いモーションキャプチャカメラが種々のユーザ要求及びアニメーション関連の要求に従って使用される。モーションキャプチャカメラ１３０，１３２は撮影空間１４０に焦点を合わせ、この空間では、ターゲット１５０（図１に任意の形状のオブジェクトとして示す）が空間座標によって定義される一つの位置を占める。
【００１９】
図１に示す実施形態に示すように、ターゲット１５０には、複数の１次マーカ１５２Ａ〜Ｃ、及び１つの２次マーカ１５４が取り付けられている。カメラ１３０，１３２を画像撮影モジュール１１２によって制御することにより、これらのカメラで１次マーカ１５２Ａ〜Ｃ及び２次マーカ１５４のフレームごとの画像を撮影し、そしてこれらの画像をモーションキャプチャプロセッサ１１０の画像撮影モジュール１１２に渡すことができる。一の実施形態では、カメラ１３０，１３２は、１次マーカ１５２Ａ〜Ｃの画像、及び２次マーカ１５４の画像を交互に画像フレームに撮影する。別の実施形態では、カメラ１３０，１３２は、１次マーカ１５２Ａ〜Ｃの画像、及び２次マーカ１５４の画像を同じフレームに撮影する。このようにして撮影される画像フレームはストレージモジュール１５８に格納することができる。別の構成として、または上記構成と並行して、これらの画像フレームをリアルタイムでユーザがワークステーション１２０で閲覧することができる。
【００２０】
一の実施形態では、カメラ１３０，１３２からのデータは、「ビート（ｂｅａｔｓ）」と呼ばれるデータ集合に取り込まれる。一つのビートは、１シーンショット、または１シーンショットの一部分に対応する一つの期間に亘って撮影されるデータに対応する。各カメラ１３０，１３２は、一つの個別ファイルを各ビートに関して生成することができる。従って、単一のビートに関して、一つのファイルが一方のカメラ１３０及び他方のカメラ１３２の各々に対応して生成されることになる。ここで、非常に多くの台数のカメラ１３０，１３２が使用される場合、各ビートは該当する多数の個別データファイルを、各カメラに対して１個のファイルの割合で含むことになることが分かるであろう。更に、各カメラ１３０，１３２に、多数の校正データが対応することになり、これらの校正データとして、例えば撮影空間１４０におけるカメラの３次元位置、カメラの焦点方向（例えば、３次元「光線」であり、この３次元「光線」に沿って、カメラ１３０，１３２が焦点を合わせている）、及びカメラの現時点の被写界深度に関する情報を挙げることができる。ここで、校正データの他のアイテムを、ここで議論する例示としてのデータに付け加える、またはデータの代わりに用いることができることが分かるであろう。
【００２１】
一の実施形態では、再構成モジュール１１４は、一つのビートに関して生成される複数のファイル（「ビートファイル」）の幾つか、または全て、及び適切なカメラ１３０，１３２に関する該当する校正データを読み込み、そしてカメラデータを統合して、ラベル付けされていないデータの生の３次元「ポイント集合（ｐｏｉｎｔ ｃｌｏｕｄｓ）」とするように動作することができる。これらのデータはストレージ１５８に保存することができる、または１次マーカトラッキングモジュール１１６に直接供給することができる。
【００２２】
以下に更に詳細に説明するように、１次マーカトラッキングモジュール１１６は、生の３次元ポイント集合データフレームを受信する、または保存ポイント集合データフレームをストレージモジュール１５８から取り出す。１次マーカトラッキングモジュール１１６は更に、トラッキング処理をフレーム群に対して実行して、各フレームの１次マーカを当該フレームの前後両方のフレーム群に、２次マーカ識別情報を、個々の１次マーカをフレームごとにラベル付けするための支援手段として使用してマッピングする。一旦、ラベル付けが完了すると、ラベル付けされたデータをデジタルモデリングモジュール１１８に渡す。デジタルモデリングモジュール１１８は各フレームに関して、ターゲット１５０を表わすモデル化表面を含む頂点座標系を仮想空間に設定する。一つのフレームに撮像された１次マーカ１５２Ａ〜Ｃは、次のフレームの同じ１次マーカ１５２Ａ〜Ｃとして正しくラベル付けされるので、これらの１次マーカがこのようにしてフレームごとに関連付けられ、そしてモデル化された表面の動きをスムーズに与える（レンダリングする）ことができる。
【００２３】
図１に示すように、本発明の少なくとも一つの実施形態によれば、２次マーカ１５４は、特定の１次マーカ１５２Ｂに非常に近接して配置することができる。別の実施形態では、２次マーカ１５４は、どの特定の１次マーカ１５２Ａ〜Ｃとも近接して配置する必要はない。一の実施形態では、１次マーカ１５２Ａ〜Ｃと２次マーカ１５４との間にそれぞれ、多数対１の対応付けが行なわれる。２次マーカ１５４に対する１次マーカ１５２の比は１対１から、現在の実施形態に適するいずれの比にも変化するようにすることができる。これらの比のような様々な態様をユーザが実行することにより、１次マーカ１５２を、一つのフレームから次のフレームにマッピングする（すなわち、トラッキングする）際に予測される容易さ、または難しさを調整することができる。例えば、一の実施形態では、数百個の１次マーカを使用してヒトの顔及び体のかすかな動きを撮影する。
【００２４】
図２（ａ）は１次マーカデータポイント及び２次マーカ跡を撮影する一の実施形態による方法を示すフローチャートである。本方法では、１次マーカ１５２をターゲット１５０に、ステップ２１０で取り付ける。一つ以上の２次マーカをターゲット１５０に、ステップ２１２で取り付ける。一の実施形態では、ステップ２１０及び２１２での取り付ける操作では、塗料または他の反射コーティングをターゲット１５０に塗布する。次に、ステップ２１４では、現フレームを使用して１次マーカデータポイントを撮影する。一の実施形態では、１次マーカ１５２Ａ〜Ｃは光反射球であり、そしてこれらの球の表面に位置して照明される反射ポイントがほぼ１次マーカデータポイントを構成する。すなわち、１次マーカ１５２Ａからの一つの反射が、例えば一つの１次マーカデータポイントを構成する。２次マーカ跡の位置を含む２次マーカ１５４の跡をステップ２１６で撮影する。一の実施形態では、１次マーカデータポイント及び２次マーカ跡は、ほぼ同時に撮影される。
【００２５】
通常、２次マーカは極めて固有の形で識別することができ、そして各２次マーカは、或る特徴付けモードに従って非常に珍しい跡を残す。例えば、一の実施形態では、２次マーカは一つの形状によって特徴付けられる。別の実施形態では、２次マーカは一つの色によって特徴付けられる。別の実施形態では、２次マーカは、当該マーカが暗闇で光るときの強度のような輝度によって特徴付けられる。更に、２次マーカは、ＬＥＤのような可視デバイス、超音波チャープ発信器またはアクティブＲＦＩＤ発信器のような不可視デバイスを含むアクティブマーカとすることができる。更に別の実施形態では、２次マーカは、形状、色、輝度、及び発信動作（チャープ信号の発信またはＲＦＩＤ発信器による識別信号の発信）のような上述のパッシブ特性及びアクティブ特性の幾つか、または全てのいずれかの組み合わせによって特徴付けられる。すなわち、２次マーカは、上述したものに類似するいずれかの固有に識別可能な跡だけでなく、高周波エネルギーの跡及び電磁的な痕跡のような他の不可視特性によって特徴付けることができる。更に、複数の異なるタイプの２次マーカを同時に単一の実施形態で使用することができる。
【００２６】
１次マーカは、上に議論した種々のタイプのマーカのいずれかをユーザの要求に従って含むことができることも理解されたい。
【００２７】
或る実施形態では、１次−２次、アクティブ−パッシブ、及び「明るい」−「暗い」のようなマーカのペアリングを使用して、一方を他方の基準とするのではなく、撮影対象の被写体の各部分または各領域を区別する。例えば、一の実施形態では、明るいマーカをボディ（ｂｏｄｙ）の動きの撮影に使用し、そして暗いマーカを顔の動きの撮影に使用する。従って、この実施形態では、「明るい」−「暗い」というマーカのペアリングを使用して、顔及びボディの撮影データポイントを区別する。
【００２８】
ステップ２２０で、現フレームが最後のフレームではないと判断される場合、ステップ２２２で次のフレームに進み、そして当該フレームが新規の現フレームとなる。次に、本方法をステップ２１４に進め、新規の現フレームを使用して次の一連の１次マーカデータポイントを撮影する。本方法では上述したように、現フレームが最後のフレームであると判断されるまで処理を進める。この実施形態によれば、１次マーカデータ及び２次マーカ跡がこのようにしてフレームごとに獲得される。
【００２９】
図２（ｂ）は、１次マーカデータポイント及び２次マーカ跡を撮影する別の実施形態による方法を示すフローチャートである。図２（ａ）において説明した方法と同様にして、本方法では、１次マーカ１５２Ａ〜Ｃをターゲット１５０にステップ２３０で取り付ける。一つ以上の２次マーカ１５４をターゲット１５０にステップ２３２で取り付ける。ステップ２３４では、現フレームを使用して１次マーカデータポイントを撮影する。次に、ステップ２４０では、現フレームが最後のフレームであるかどうかを判断する。現フレームが最後のフレームではない場合、ステップ２４２において、次のフレームに進んで、当該フレームを新規の現フレームとする。ステップ２４４では、２次マーカ跡を撮影する。ステップ２５０で、現フレームが最後のフレームではないと判断される場合、ステップ２５２で次のフレームに進み、そして当該フレームが新規の現フレームとなる。次に、本方法をステップ２３４に進め、新規の現フレームを使用して次の一連の１次マーカデータポイントを撮影する。本方法では上述したように、現フレームが最後のフレームであるとステップ２４０，２５０で判断されるまで処理を進める。この実施形態によれば、１次マーカデータ及び２次マーカ跡がこのようにしてフレームごとに交互に獲得される。
【００３０】
図３（ａ）は、一の実施形態による、２次マーカ識別情報を使用して１次マーカデータポイントにラベル付けする方法を示すフローチャートである。一の実施形態では、本方法は主として、データの事後処理中にステップ３４０で行なわれ、このステップは、図１の１次マーカトラッキングモジュール１１６が行なうラベリングタスクにほぼ相当する。図３（ａ）に示す方法では、ステップ３１０において、１次マーカデータポイント及び２次マーカ跡を、モーションキャプチャカメラを使用して考察対象のフレームについて撮影し、そして撮影データポイント及びマーカ跡を保存する。別の実施形態では、このようにして撮影されるデータの保存は、リアルタイムの処理、またはほぼリアルタイムの処理で同時に行なうことができる。別の構成として、撮影データはリアルタイムまたはほぼリアルタイムで同時に保存及び処理することができる。次に、再構成をステップ３１２で行なって、３次元生データポイント集合を生成する。
【００３１】
ラベル付けは第１フレームをステップ３１４で現フレームとして選択することから始まる。１次マーカデータポイントの位置を現フレームでステップ３１６において特定する。２次マーカ識別情報（「ＩＤｓ」）をステップ３１８で、フレームで撮影される２次マーカ跡の固有属性から求める。非常に独特の固有の２次マーカ識別情報（ＩＤｓ）を使用することができるが、これは、これらの識別情報を求めるときの基礎となる２次マーカ跡自体が非常に独特で識別し易いからである。例えば、一の実施形態では、２次マーカは個々に固有のバーコードを含むことができる。次に、２次マーカ識別情報（ＩＤｓ）をステップ３２０で、適切な１次マーカデータポイントに関連付ける。２次マーカ識別情報（ＩＤ）は固有の痕跡となるので、非常に容易にトラッキングすることができ、これに対して１次マーカデータポイントだけでは、これらのデータポイントを互いから区別することは難しい。一の実施形態では、１次マーカデータポイントとの関連付けは、１次マーカデータポイントに対する２次マーカの空間的近接性に従って行なわれる。別の実施形態では、一つの２次マーカを、近接１次マーカデータポイントグループに関する統一的な位置基準として使用する。従って、個々にはほとんど区別することができない１次マーカデータポイント群のグループは、更に別の位置情報が２次マーカ識別情報（ＩＤ）を追跡することにより推定されるので、一層容易にトラッキングすることができる。別の実施形態では、一つの１次マーカデータポイントは、当該１次マーカデータポイントの非常に近くに位置すると特定される２次マーカ群に対応する２つ以上の２次マーカ識別情報（ＩＤｓ）に関連付けることができる。例えば、このようにして位置特定される２つ以上の２次マーカの識別情報（ＩＤｓ）は非常にユニークであるので、表示される空間パターンによって特定することもできる。一つ以上の１次マーカデータポイントを一つ以上の２次マーカ識別情報（ＩＤｓ）に、多数対１、多数対多数、及び１対多数の関係で、手動及び自動のどちらでも関連付けることができるためには他の手法を選択することができることを理解されたい。
【００３２】
次に、１次マーカデータポイントに固有のラベル付けをステップ３２２で、関連付けされた一つ以上の２次マーカ識別情報（ＩＤｓ）に従って行なう。更に、１次マーカデータポイントに、既にラベル付けされている一つ以上の他の１次マーカデータポイントに従ってラベル付けすることができる。次に、ステップ３２４で、ラベル付けされている１次データポイントを、現フレームに対応させて保存する。次に、ターゲット１５０の仮想モデルを１次マーカデータポイントに基づいてステップ３２６で構築する。別の構成として、１次マーカデータポイントを使用して既存のモデルをターゲット１５０に合わせることができる。ステップ３３０で、このフレームが考察対象の最後のフレームではないと判断される場合、ステップ３３２で次のフレームに進んで、当該フレームを新規の現フレームとする。次に、１次マーカデータポイントの位置をステップ３１６で新規の現フレームで特定し、そして本方法では、上に議論したように、最後のフレームであるとの判断が下されるまで処理を進める。
【００３３】
図３（ｂ）は、２次マーカ識別情報を使用して１次マーカに、フレームを交互に使用することによりラベル付けする別の実施形態による方法を示すフローチャートである。一の実施形態では、本方法は主として、事後処理３９０を行なっている間に行なわれ、この事後処理は、図１の１次マーカトラッキングモジュール１１６が行なうタスクにほぼ対応する。本方法では、ステップ３１０において、１次マーカデータポイント及び２次マーカ跡を、モーションキャプチャカメラを使用して考察対象のフレームについて撮影し、そして保存する。次に、再構成をステップ３１２で行なって、３次元生データポイント集合を生成する。
【００３４】
第１フレームを現フレームとしてステップ３５２で選択する。現フレームの１次マーカデータポイントの位置をステップ３５４で特定する。ステップ３６０で、現フレームが考察対象の最後のフレームではないと判断される場合、ステップ３６２で次のフレームに進んで、当該フレームを新規の現フレームとする。２次マーカ識別情報（「ＩＤｓ」）をステップ３６４で、フレームで撮影された２次マーカ跡の固有属性から求める。非常にユニークな２次マーカ識別情報（ＩＤｓ）を使用することができるが、これは、これらの識別情報を求めるときの基礎となる２次マーカ跡自体が非常にユニークであるので識別することができるからである。次に、２次マーカ識別情報（ＩＤｓ）をステップ３６６で、適切な１次マーカデータポイントに関連付ける。一の実施形態では、１次マーカデータポイントとの関連付けは、１次マーカデータポイントに対する２次マーカの空間的近接性に従って行なわれる。別の実施形態では、一つの１次マーカデータポイントを、当該１次マーカデータポイントの非常に近くに位置すると特定される２次マーカ群に対応する２つ以上の２次マーカ識別情報（ＩＤｓ）に関連付けることができる。例えば、このようにして位置特定される２つ以上の２次マーカの識別情報（ＩＤｓ）は非常にユニークであるので、これらの２次マーカが示す空間パターンによって特定することもできる。一つの１次マーカデータポイントを一つ以上の２次マーカ識別情報（ＩＤｓ）に関連付けるためには多くの方法があることを理解されたい。次に、１次マーカデータポイントに対してステップ３６８で、各１次マーカデータポイントに関連付けられる一つ以上の２次マーカ識別情報（ＩＤｓ）に従って固有のラベル付けを行なう。次に、ステップ３７０で、ラベル付けされている１次データポイントを、現フレームに対応させて保存する。次に、ターゲット１５０の仮想モデルを１次マーカデータポイントに基づいてステップ３２６で構築する。ステップ３８０で、現フレームが考察対象の最後のフレームではないと判断される場合、ステップ３８２で次のフレームに進んで、当該フレームを新規の現フレームとする。次に、１次マーカデータポイントの位置を新規の現フレームでステップ３５４において特定し、そして本方法では上に議論したように、最後のフレームであるとの判断がステップ３６０，３８０で下されるまで処理を進める。
【００３５】
図４は、本発明の一の実施形態に従って、１次及び２次マーカを変形可能な表面に物理的に配置する様子を示している。表面は、例えばアクターがモーションキャプチャシーケンスにおいて装着するボディスーツの一部分とすることができる。表面は変形グリッド４００によって表わされる。この実施形態におけるグリッド４００の頂点は、１次マーカ４１０が表面に取り付けられる位置を定義する。図４では、図示される２４個の１次マーカはほぼ同じ光反射球である。図を分かり易くするために、３つの球にのみインデックスを付けている。３つの２次マーカ４２０が同じ楕円として描かれている。図示のように、２次マーカ４２０は、１次マーカ４１０の間の空き領域に１対多数の対応関係でそれぞれ配置することができる。別の構成として、２次マーカ群４２０を一つの１次マーカ４１０に非常に近接して配置することができる。これまでに議論してきたように、２次マーカ４２０はいずれかのタイプのアクティブマーカ及びパッシブマーカ、またはアクティブマーカ及びパッシブマーカの組み合わせを含むことを理解されたい。
【００３６】
一の実施形態では、一つのフレームの１次マーカ４１０及び２次マーカ４２０をステップ３１０で撮影する。再構成をステップ３１２で行なうことにより、上に議論したように、多数のカメラ１３０，１３２によって生成される統合ビートファイルを表わす生ポイント集合を３次元で生成する。３次元ポイント集合は、１次データポイント及び２次マーカ跡を含む。一の実施形態では、２次マーカ識別情報（ＩＤｓ）を２次マーカ跡から求め（２次マーカ跡が種々の２次的な痕跡の中では非常にユニークであることを思い起こされたい）、そして該当する１次マーカデータポイントを、当該ポイントに最も近い（最近接近法に基づいて）２次マーカの識別情報（ＩＤｓ）に関連付ける（ステップ３２０）。すなわち、一つの１次マーカデータポイントに一つのラベルを、１次マーカデータポイントを撮影した対象となった１次マーカ４１０に最も近い２次マーカ４２０の２次マーカ識別情報（ＩＤ）に従って割り当てる。別の実施形態では、２次マーカ４２０の固有空間パターンは、２次マーカ４２０の固有の特異性を、２次マーカの空間位置と組み合わせることにより生成することができる。従って、１次マーカ群は、単一の２次マーカ４２０に対するこれらの１次マーカの位置に従って特定することができるだけでなく、複数の２次マーカ４２０により形成される空間パターンに従って特定することができる。
【００３７】
一の実施形態では、２次マーカの跡を固有の形状を使用することにより残す。図５は、１次マーカ５１０、及びこのような実施形態による形状属性を持つ２次マーカ５２２，５２４，５２６の物理的配置を示している。２次マーカ５２２は三角形であり、２次マーカ５２４は六角形であり、そして２次マーカ５２６は５極星形である。一つの表面は変形グリッド５００により表現される。この例におけるグリッド５００の頂点によって、１次マーカ５１０を表面に取り付ける位置も定義される。図４に示すように、２４個の１次マーカがほぼ同じ光反射球として示されている。この例では、３個の２次マーカ５２２，５２４，５２６が１次マーカ群５１０の間の複数の領域に配置される。３個の２次マーカ５２２，５２４，５２６は全て、固有の形状に形成されるので、独特な光跡を残す。
【００３８】
一の実施形態では、一つのフレームの１次マーカ５１０及び２次マーカ５２２，５２４，５２６をステップ３１０で撮影する。再構成をステップ３１２で行なうことにより、上に議論したように、多数のカメラ１３０，１３２によって生成される統合ビートファイルを表わす生ポイント集合を３次元で生成する。３次元ポイント集合は、１次マーカ５１０に対応する１次データポイント、及び２次マーカ５２２，５２４，５２６に対応する２次マーカ跡を含む。次に、２次マーカ識別情報（ＩＤｓ）を、２次マーカ固有の形状を利用した光跡に従って割り当てることができる。次に、該当する１次マーカデータポイントを、１次マーカに最も近い（最近接近法に基づいて）２次マーカの識別情報（ＩＤｓ）に関連付ける（ステップ３２０）。２次マーカ５２２，５２４，５２６は固有の特異性を示すので、１次マーカ５１０を更に、複数の２次マーカによって形成される固有の空間パターンを基準にして特定することができる。別の実施形態では、使用状態における２次マーカ５２２，５２４，５２６は個々に非常にユニークである訳ではないが、それでも、局所的に非常にユニークなパターンを形成し、これらのパターンを基準にして、１次マーカ５１０にラベル付けすることができる。
【００３９】
図６は、幾つかの実施形態において使用される典型的なゲートトリガー信号６００を示す図である。このようなゲートトリガー信号は公知である。図示のように、一つの信号はハイ状態６１０，６２０，６３０、及びロー状態６１２，６２２，６３２を有し、ハイ状態及びロー状態はＯＮ状態及びＯＦＦ状態にそれぞれ対応する。ゲートトリガーは、例えばストローブ光のような光源のＯＮ／ＯＦＦサイクル制御として使用される。
【００４０】
図７は一の実施形態による撮影空間７００を示す図であり、撮影空間７００には、一つのゲート光源と、そして２台の同期ゲートモーションキャプチャカメラ７２０，７３０が含まれ、一方のカメラ７２０は１次マーカデータポイントを撮影し、そして他方のカメラ７３０は２次マーカ跡を撮影する。別の実施形態では、両方のカメラ７２０，７３０を使用して１次マーカデータポイント及び２次マーカ跡の両方を撮影することができる。
【００４１】
図７に示す実施形態では、ゲート７１０は第１ゲート信号７１２及び第２ゲート信号７１４を供給する。第１ゲート信号７１２は、第２ゲート信号７１４と逆相で駆動するように作用する。第１ゲート信号７１２によって第１モーションキャプチャカメラ７２０及び照明光源７２２を駆動する。従って、第１ゲート信号７１２がＯＮ状態になると、照明光源７２２がＯＮの半サイクルの期間に亘ってオンになり、そして第１モーションキャプチャカメラ７２０が撮影空間７００の画像フレームを撮影する。第１ゲート信号７１２がＯＮ状態になっている間、第２ゲート信号７１４はＯＦＦ状態になっているので、信号７１４によって駆動される第２モーションキャプチャカメラ７３０はＯＦＦ状態になっている。これらの状態は、ゲート信号が半サイクルだけ進むと反転する。第１ゲート信号７１２がＯＦＦ状態に変化すると、照明光源７２２及び第１モーションキャプチャカメラ７２０がＯＦＦ状態になる。第２ゲート信号７１４がＯＮ状態に変化すると、これによって第２モーションキャプチャカメラ７３０が駆動されて撮影空間７００の画像フレームを撮影する。従って、第１モーションキャプチャカメラ７２０は、撮影空間７００を照明するときに画像フレームを撮影し、そして第２モーションキャプチャカメラ７３０は、撮影空間７００を照明していないときに画像フレームを撮影する。
【００４２】
一の実施形態では、ターゲット７４０には、１次マーカを構成する小さな光反射球７５０（９個の光反射球が示され、２個に参照番号を付けている）、及び２次マーカを構成し、かつ暗闇で光るパッチ７５２を取り付けている。図を分かり易くするために、図７に示す２次マーカ７５２が視覚的に同じように見えるようにしているが、２次マーカは本質的に、非常にユニークであるので識別することができることを思い起こされたい。この例では、暗闇で光る２次マーカは特異な痕跡を種々の形状、色、及び輝度を利用して残すことができ、更に２次マーカにバーコードのような可視パターンを用いることができる。
【００４３】
図７に示す実施形態を参照すると、第１ゲート信号７１２がオンになると、照明光源７２２が作動し、そして撮影空間７００を照明するので、光反射球７５０が小さな明るい光点を撮影空間７００において反射するようになる。第１モーションカメラ７２０も同時に作動するので、明るい光点を画像フレームで撮影する。従って、第１モーションキャプチャカメラ７２０は、上に説明した１次マーカデータポイントを撮像する。第１ゲート信号７１２及び第２ゲート信号７１４が状態を次の反サイクルで反転させると、照明がオフになる。照明が消えると、光反射球が暗くなるが、暗闇で光る２次マーカ７５２は輝いて見えるようになる。第２モーションキャプチャカメラ７３０はこの半サイクルの間に同時に作動してＯＮ状態になるので、この時点で暗くなっている撮影空間７００で輝く２次マーカ７５２を含む画像フレームを撮影する。すなわち、第２モーションキャプチャカメラは２次マーカ７５２の跡（例えば、輝き）を撮影する。従って、第１モーションキャプチャカメラ７２０及び第２モーションキャプチャカメラ７３０によって撮影される２つの画像フレーム列を統合して、１次マーカデータポイント及び２次マーカ跡を含む交互フレーム列を構成する。一の実施形態では、動きを撮影したこのフレーム列を次に、図３（ｂ）に示す方法のような方法に従って処理する。
【００４４】
図８は一の実施形態による撮影空間８００を示す図であり、撮影空間８００には、一つのゲート光源と、そして２台の同期ゲートモーションキャプチャカメラ８２０，８３０が含まれ、両方のカメラが同期して１次マーカデータポイント及び２次マーカ跡を撮影する。図８に示すように、ゲート８１０は第１ゲート信号８１２及び第２ゲート信号８１４を供給する。図７に示す実施形態と対比すると、この実施形態における第２ゲート信号８１４は第１ゲート信号８１２と位相が同じである。更に、モーションキャプチャカメラ８２０，８３０を作動させて、画像フレームを、第１ゲート信号８１２及び第２ゲート信号８１４のＯＮ状態及びＯＦＦ状態の両方で撮影させる。前の例と同じように、第１ゲート信号８１２は、照明光源８２２をＯＮ状態の間だけ作動させるように作用する。従って、第１ゲート信号８１２がＯＮ状態になると、照明光源８２２がＯＮの半サイクルの期間に渡ってオンになり、そして第１モーションキャプチャカメラ８２０及び第２モーションキャプチャカメラ８３０の両方が、照明されている撮影空間８００の画像フレームを撮影する。第１ゲート信号８１２及び第２ゲート信号８１４がＯＦＦ状態に変化すると、照明光源８２２がＯＦＦの半サイクルの期間に渡ってオフになり、そして第１モーションキャプチャカメラ８２０及び第２モーションキャプチャカメラ８３０の両方が、暗くなった撮影空間８００の画像フレームを撮影する。すなわち、第１ゲート信号８１２及び第２ゲート信号８１４の位相が同期することにより、第１モーションキャプチャカメラ８２０及び第２モーションキャプチャカメラ８３０が一斉に作動する。従って、モーションキャプチャカメラ８２０，８３０の両方で、撮影空間８００の明るい図柄及び暗い図柄が交互に繰り返す構成のフレーム列を撮影する。
【００４５】
本発明の一の実施形態では、ターゲット８４０には、１次マーカを構成する小さな光反射球８５０、及び２次マーカを構成し、かつ暗闇で光るパッチ８５２を取り付けている。図を分かり易くするために、図８に示す２次マーカ８５２が視覚的に同じように見えるようにしているが、２次マーカは通常、非常にユニークであるので識別することができることを思い起こされたい。この例では、図７に関連して示した２次マーカと同じように、暗闇で光る２次マーカは特異な痕跡を種々の形状、色、及び輝度を利用して残すことができる、または２次マーカにバーコードのような可視パターンを用いることができる。
【００４６】
図８に示す実施形態では、第１ゲート信号８１２及び第２ゲート信号８１４が変化してオンになると、照明光源８２２が作動し、そして撮影空間８００を照明する。これによって、光反射球８５０は小さな明るい光点を撮影空間８００において反射するようになる。第１モーションカメラ８２０及び第２モーションカメラ８３０も同時に作動するので、明るい光点をそれぞれの画像フレームで撮影する。すなわち、第１モーションキャプチャカメラ８２０及び第２モーションキャプチャカメラ８３０は、上に説明した１次マーカデータポイントを撮像する。第１及び第２ゲート信号が状態を次の反サイクルで反転させると、照明光源８２２がオフになる。照明が消えると、光反射球８５０が暗くなるが、暗闇で光る２次マーカ８５２は輝いて見えるようになる。第１モーションキャプチャカメラ８２０及び第２モーションキャプチャカメラ８３０が同時にＯＦＦ状態によって、この半サイクルの間に作動するので別の画像フレームを撮影し、この場合は、この時点で暗くなっている撮影空間８００で見ることができる２次マーカ８５２の跡を撮影する。すなわち、第１モーションキャプチャカメラ８２０及び第２モーションキャプチャカメラ８３０の両方で、１次マーカデータポイント及び２次マーカ跡を含み、かつ交互に繰り返す構成のフレーム列を撮影する。一の実施形態では、このフレーム列を次に、図３（ａ）に示す方法のような方法に従って処理する。
【００４７】
更に別の実施形態では、モーションキャプチャに使用されるパーソナルウェアラブルデジタイザー（ｐｅｒｓｏｎａｌ ｗｅａｒａｂｌｅ ｄｉｇｉｔｉｚｅｒ）が開示される。パーソナルウェアラブルデジタイザーは、身体部位の動きを捕捉する要素を備えるスーツを含む。ウェアラブルデジタイザーは、ボディ表面（頭部、顔、体）のデジタル表示を光学撮影を行なうことなく提供することができる。例えば、圧電片（piezoelectric strips）を保持したボディスーツは、ボディ表面をデジタル処理するように機能する。別の例では、「シェイプテープ」を貼付したボディスーツがボディ表面をデジタル処理するように機能する。テープを曲げたときに光学特性を変える光ファイバを使用することができる。
【００４８】
ウェアラブルデジタイザーによって取得される非光学データをモーションキャプチャ処理システムに渡し、モーションキャプチャ処理システムがこのデータを使用してターゲット（またはターゲット群）の動きを求める。処理システムは位置情報を使用して、ターゲット（群）を表わす３次元モデル（ポイント集合またはメッシュ）を構築し、そして更新する。
【００４９】
本発明の種々の例示としての実施形態を開示してきた。しかしながら、この技術分野の当業者であれば、更に別の実施形態を本発明の技術範囲から逸脱しない限り用いることもできることが理解できるであろう。例えば、一つの変形例では、異なる方法を使用して１次マーカデータポイントを２次マーカ跡に、２つのデータセットの間の１対１、１対多数、及び多数対１の関係を使用して関連付けることができる。更に、図７及び８に示すシステムを種々の形で組み合わせることにより、ユーザからの種々の要求を満たすことができる。
【００５０】
従って、本発明は、上に説明した実施形態のみに制限されるのではない。
【図面の簡単な説明】
【００５１】
本発明の構造及び動作の両方に関する本発明の詳細は、添付の図を分析することにより部分的に明らかになり、これらの図では、同様の参照番号は同様の構成要素を指す。
【図１】一の実施形態によるモーションキャプチャシステムを示す図である。
【図２ａ】１次マーカデータポイント及び２次マーカ跡を撮影する、一の実施形態による方法を示すフローチャートである。
【図２ｂ】交互フレームを使用して１次マーカデータポイント及び２次マーカ跡を撮影する、一の実施形態による方法を示すフローチャートである。
【図３ａ】２次マーカ識別情報を使用して１次マーカにラベル付けする、一の実施形態による方法を示すフローチャートである。
【図３ｂ】２次マーカ識別情報を使用し、１次マーカに交互フレームの使用によりラベル付けする、一の実施形態による方法を示すフローチャートである。
【図４】一の実施形態による１次マーカ及び２次マーカの物理的配置を示す図である。
【図５】別の実施形態による形状属性を持つ１次マーカ及び２次マーカの物理的配置を示す図である。
【図６】異なる実施形態において使用される典型的なゲートトリガーを示す図である。
【図７】一の実施形態による撮影空間を示す図であり、撮影空間には、一つのゲート光源と、そして２台の同期ゲートモーションキャプチャカメラが含まれ、一方のカメラは１次マーカデータポイントを撮影し、そして他方のカメラは２次マーカデータポイントを撮影する。
【図８】一の実施形態による撮影空間を示す図であり、撮影空間には、一つのゲート光源と、そして２台の同期ゲートモーションキャプチャカメラが含まれ、両方のカメラが同期して１次マーカデータポイント及び２次マーカデータポイントを撮影する。
【特許請求の範囲】
【請求項１】
複数の１次マーカをターゲットに取り付けるステップと；
少なくとも一つの２次マーカを前記ターゲットに取り付けるステップと；
複数の１次マーカデータポイントを撮影するステップであって、各１次マーカデータポイントが前記複数の１次マーカの一つの１次マーカに対応するものである、ステップと、；
少なくとも一つの２次マーカ跡を、各マーカ跡が前記少なくとも一つの２次マーカの各２次マーカに対応し、かつ各マーカ跡によって各２次マーカを固有に特定する形で撮影するステップと；
前記複数の１次マーカを、少なくとも一つの２次マーカ跡を使用して特定するステップと、を含む方法。
【請求項２】
前記複数の１次マーカデータポイントを撮影するステップは：
前記複数の１次マーカを照明するステップと；
前記照明に対する前記複数の１次マーカの反応を撮影するステップと、を含む、請求項１記載の方法。
【請求項３】
前記複数の１次マーカは複数の光反射マーカを含み；
前記反応は、前記照明に対する前記複数の光反射マーカからの反射を含む、請求項２記載の方法。
【請求項４】
前記少なくとも一つの２次マーカ跡を撮影するステップは：
前記少なくとも一つの２次マーカの固有属性を撮像するステップを含む、請求項３記載の方法。
【請求項５】
前記固有属性は形状である、請求項４記載の方法。
【請求項６】
前記固有属性は色である、請求項４記載の方法。
【請求項７】
前記固有属性は電磁的な痕跡である、請求項４記載の方法。
【請求項８】
前記固有属性は高周波エネルギーの跡である、請求項４記載の方法。
【請求項９】
前記固有属性はバーコードである、請求項４記載の方法。
【請求項１０】
前記照明は、前記照明のオン状態及びオフ状態を形成するための周期的なゲートにしたがって制御され、；
前記照明の反射は、前記照明のオン状態の間に撮影され、；
前記固有属性は、前記照明のオフ状態の間に撮像される、請求項３記載の方法。
【請求項１１】
前記照明の反射は明るいマーカから撮影され；
前記固有属性は暗いマーカから撮像される、請求項１０記載の方法。
【請求項１２】
少なくとも一つのセンサが前記照明の反射、及び前記固有属性を撮像し；
前記少なくとも一つのセンサは、前記周期的なゲートと同期しており、前記少なくとも一つのセンサが明るい前記マーカからのデータフレームをオン状態の間に撮影し、そして暗い前記マーカからのデータフレームを前記オフ状態の間に撮影するようにする、請求項１１記載の方法。
【請求項１３】
前記少なくとも一つのセンサは、少なくとも一つのモーションキャプチャカメラを含む、請求項１２記載の方法。
【請求項１４】
前記少なくとも一つのセンサの第１センサは、前記周期的なゲートと同期し、前記照明の反射を、前記複数のオン状態の各オン状態の間に撮影し；
前記少なくとも一つのセンサの第２センサは、前記周期的なゲートと同期し、前記固有属性を、前記複数のオフ状態の各オフ状態の間に撮像する、請求項１２記載の方法。
【請求項１５】
前記第１センサは、前記複数の光反射マーカからの前記反射を撮影するように構成される第１モーションキャプチャカメラを含み；
前記第２センサは、前記固有属性を撮像するように構成される第２モーションキャプチャカメラを含む、請求項１４記載の方法。
【請求項１６】
前記照明はストローブ光によって行なわれる、請求項１０記載の方法。
【請求項１７】
ターゲットに取り付けられる複数の１次マーカと；
前記ターゲットに取り付けられる少なくとも一つの２次マーカであって、前記少なくとも一つの２次マーカの各マーカが２次マーカ跡によって固有に特定される構成の少なくとも一つの２次マーカと；
複数の１次マーカデータポイントを、各１次マーカデータポイントが前記複数の１次マーカの一つの１次マーカに対応するように撮影するように構成される画像撮影モジュールであって、少なくとも一つの２次マーカ跡を、各２次マーカ跡が前記少なくとも一つの２次マーカの各２次マーカに対応し、かつ各２次マーカ跡によって各２次マーカを固有に特定する形で撮影するように構成される画像撮影モジュールと；
前記複数の１次マーカを、前記少なくとも一つの２次マーカ跡を使用して特定するように構成される１次マーカトラッキングモジュールと、を備えるシステム。
【請求項１８】
前記少なくとも一つの２次マーカは、暗闇で光るマーカを含む、請求項１７記載のシステム。
【請求項１９】
前記複数の１次マーカは複数のパッシブマーカを含み、
前記少なくとも一つの２次マーカは、少なくとも一つのアクティブマーカを含む、請求項１７記載のシステム。
【請求項２０】
前記複数の１次マーカは複数のアクティブマーカを含み、
前記少なくとも一つの２次マーカは、少なくとも一つのパッシブマーカを含む、請求項１７記載のシステム。
【請求項２１】
前記複数のアクティブマーカは、ＬＥＤ，アクティブＲＦＩＤタグ、ポテンショメータ、データグローブ、加速度計、人体に装着可能な外骨格、及び超音波チャープ発信器の内の少なくとも一つを含む、請求項２０記載のシステム。
【請求項２２】
前記少なくとも一つのパッシブマーカは、パッシブＲＦＩＤタグ、暗闇で光るパッチ、シェイプテープ、及び電磁タグの内の少なくとも一つを含む、請求項２０記載のシステム。
【請求項２３】
更に、前記ターゲットを表わすモデル化表面を含む頂点座標系を仮想空間に設定するように構成されるデジタルモデリングモジュールを備える、請求項１７記載のシステム。
【請求項２４】
コンピュータ読み取り可能な記憶媒体に格納されてターゲットの動きを撮影するコンピュータプログラムであって、プログラムは実行可能命令を含み、実行可能命令によってコンピュータは：
複数の１次マーカデータポイントを撮影する処理であって、各１次マーカデータポイントが、前記ターゲットに取り付けられる複数の１次マーカの一つの１次マーカに対応するものである、処理を実行し；
少なくとも一つの２次マーカ跡を撮影する処理であって、各２次マーカ跡が、前記ターゲットに取り付けられる前記少なくとも一つの２次マーカの各２次マーカに対応し、かつ各２次マーカ跡によって各２次マーカを固有に特定するものである、処理を実行し；
前記複数の１次マーカを、前記少なくとも一つの２次マーカ跡を使用して特定する処理を実行する、コンピュータプログラム。
【請求項２５】
複数の１次マーカデータポイントを撮影する手段であって、各１次マーカデータポイントが、ターゲットに取り付けられる複数の１次マーカの一つの１次マーカに対応するものである、手段と；
少なくとも一つの２次マーカ跡を撮影する手段であって、各２次マーカ跡が、前記ターゲットに取り付けられる前記少なくとも一つの２次マーカの各２次マーカに対応し、かつ各２次マーカ跡によって各２次マーカを固有に特定するものである、手段と；
前記複数の１次マーカを、前記少なくとも一つの２次マーカ跡を使用して特定する手段と、を備える装置。
【請求項１】
複数の１次マーカをターゲットに取り付けるステップと；
少なくとも一つの２次マーカを前記ターゲットに取り付けるステップと；
複数の１次マーカデータポイントを撮影するステップであって、各１次マーカデータポイントが前記複数の１次マーカの一つの１次マーカに対応するものである、ステップと、；
少なくとも一つの２次マーカ跡を、各マーカ跡が前記少なくとも一つの２次マーカの各２次マーカに対応し、かつ各マーカ跡によって各２次マーカを固有に特定する形で撮影するステップと；
前記複数の１次マーカを、少なくとも一つの２次マーカ跡を使用して特定するステップと、を含む方法。
【請求項２】
前記複数の１次マーカデータポイントを撮影するステップは：
前記複数の１次マーカを照明するステップと；
前記照明に対する前記複数の１次マーカの反応を撮影するステップと、を含む、請求項１記載の方法。
【請求項３】
前記複数の１次マーカは複数の光反射マーカを含み；
前記反応は、前記照明に対する前記複数の光反射マーカからの反射を含む、請求項２記載の方法。
【請求項４】
前記少なくとも一つの２次マーカ跡を撮影するステップは：
前記少なくとも一つの２次マーカの固有属性を撮像するステップを含む、請求項３記載の方法。
【請求項５】
前記固有属性は形状である、請求項４記載の方法。
【請求項６】
前記固有属性は色である、請求項４記載の方法。
【請求項７】
前記固有属性は電磁的な痕跡である、請求項４記載の方法。
【請求項８】
前記固有属性は高周波エネルギーの跡である、請求項４記載の方法。
【請求項９】
前記固有属性はバーコードである、請求項４記載の方法。
【請求項１０】
前記照明は、前記照明のオン状態及びオフ状態を形成するための周期的なゲートにしたがって制御され、；
前記照明の反射は、前記照明のオン状態の間に撮影され、；
前記固有属性は、前記照明のオフ状態の間に撮像される、請求項３記載の方法。
【請求項１１】
前記照明の反射は明るいマーカから撮影され；
前記固有属性は暗いマーカから撮像される、請求項１０記載の方法。
【請求項１２】
少なくとも一つのセンサが前記照明の反射、及び前記固有属性を撮像し；
前記少なくとも一つのセンサは、前記周期的なゲートと同期しており、前記少なくとも一つのセンサが明るい前記マーカからのデータフレームをオン状態の間に撮影し、そして暗い前記マーカからのデータフレームを前記オフ状態の間に撮影するようにする、請求項１１記載の方法。
【請求項１３】
前記少なくとも一つのセンサは、少なくとも一つのモーションキャプチャカメラを含む、請求項１２記載の方法。
【請求項１４】
前記少なくとも一つのセンサの第１センサは、前記周期的なゲートと同期し、前記照明の反射を、前記複数のオン状態の各オン状態の間に撮影し；
前記少なくとも一つのセンサの第２センサは、前記周期的なゲートと同期し、前記固有属性を、前記複数のオフ状態の各オフ状態の間に撮像する、請求項１２記載の方法。
【請求項１５】
前記第１センサは、前記複数の光反射マーカからの前記反射を撮影するように構成される第１モーションキャプチャカメラを含み；
前記第２センサは、前記固有属性を撮像するように構成される第２モーションキャプチャカメラを含む、請求項１４記載の方法。
【請求項１６】
前記照明はストローブ光によって行なわれる、請求項１０記載の方法。
【請求項１７】
ターゲットに取り付けられる複数の１次マーカと；
前記ターゲットに取り付けられる少なくとも一つの２次マーカであって、前記少なくとも一つの２次マーカの各マーカが２次マーカ跡によって固有に特定される構成の少なくとも一つの２次マーカと；
複数の１次マーカデータポイントを、各１次マーカデータポイントが前記複数の１次マーカの一つの１次マーカに対応するように撮影するように構成される画像撮影モジュールであって、少なくとも一つの２次マーカ跡を、各２次マーカ跡が前記少なくとも一つの２次マーカの各２次マーカに対応し、かつ各２次マーカ跡によって各２次マーカを固有に特定する形で撮影するように構成される画像撮影モジュールと；
前記複数の１次マーカを、前記少なくとも一つの２次マーカ跡を使用して特定するように構成される１次マーカトラッキングモジュールと、を備えるシステム。
【請求項１８】
前記少なくとも一つの２次マーカは、暗闇で光るマーカを含む、請求項１７記載のシステム。
【請求項１９】
前記複数の１次マーカは複数のパッシブマーカを含み、
前記少なくとも一つの２次マーカは、少なくとも一つのアクティブマーカを含む、請求項１７記載のシステム。
【請求項２０】
前記複数の１次マーカは複数のアクティブマーカを含み、
前記少なくとも一つの２次マーカは、少なくとも一つのパッシブマーカを含む、請求項１７記載のシステム。
【請求項２１】
前記複数のアクティブマーカは、ＬＥＤ，アクティブＲＦＩＤタグ、ポテンショメータ、データグローブ、加速度計、人体に装着可能な外骨格、及び超音波チャープ発信器の内の少なくとも一つを含む、請求項２０記載のシステム。
【請求項２２】
前記少なくとも一つのパッシブマーカは、パッシブＲＦＩＤタグ、暗闇で光るパッチ、シェイプテープ、及び電磁タグの内の少なくとも一つを含む、請求項２０記載のシステム。
【請求項２３】
更に、前記ターゲットを表わすモデル化表面を含む頂点座標系を仮想空間に設定するように構成されるデジタルモデリングモジュールを備える、請求項１７記載のシステム。
【請求項２４】
コンピュータ読み取り可能な記憶媒体に格納されてターゲットの動きを撮影するコンピュータプログラムであって、プログラムは実行可能命令を含み、実行可能命令によってコンピュータは：
複数の１次マーカデータポイントを撮影する処理であって、各１次マーカデータポイントが、前記ターゲットに取り付けられる複数の１次マーカの一つの１次マーカに対応するものである、処理を実行し；
少なくとも一つの２次マーカ跡を撮影する処理であって、各２次マーカ跡が、前記ターゲットに取り付けられる前記少なくとも一つの２次マーカの各２次マーカに対応し、かつ各２次マーカ跡によって各２次マーカを固有に特定するものである、処理を実行し；
前記複数の１次マーカを、前記少なくとも一つの２次マーカ跡を使用して特定する処理を実行する、コンピュータプログラム。
【請求項２５】
複数の１次マーカデータポイントを撮影する手段であって、各１次マーカデータポイントが、ターゲットに取り付けられる複数の１次マーカの一つの１次マーカに対応するものである、手段と；
少なくとも一つの２次マーカ跡を撮影する手段であって、各２次マーカ跡が、前記ターゲットに取り付けられる前記少なくとも一つの２次マーカの各２次マーカに対応し、かつ各２次マーカ跡によって各２次マーカを固有に特定するものである、手段と；
前記複数の１次マーカを、前記少なくとも一つの２次マーカ跡を使用して特定する手段と、を備える装置。
【図１】
【図２ａ】
【図２ｂ】
【図３ａ】
【図３ｂ】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２ａ】
【図２ｂ】
【図３ａ】
【図３ｂ】
【図４】
【図５】
【図６】
【図７】
【図８】
【公表番号】特表２００９−５０８１９３（Ｐ２００９−５０８１９３Ａ）
【公表日】平成２１年２月２６日（２００９．２．２６）
【国際特許分類】
【出願番号】特願２００８−５２８２５６（Ｐ２００８−５２８２５６）
【出願日】平成１８年８月２８日（２００６．８．２８）
【国際出願番号】ＰＣＴ／ＵＳ２００６／０３３７１５
【国際公開番号】ＷＯ２００７／０２５３０１
【国際公開日】平成１９年３月１日（２００７．３．１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【出願人】（５０７１０３９０５）ソニー ピクチャーズ エンターテイメント インコーポレーテッド (28)
【Ｆターム（参考）】
【公表日】平成２１年２月２６日（２００９．２．２６）
【国際特許分類】
【出願日】平成１８年８月２８日（２００６．８．２８）
【国際出願番号】ＰＣＴ／ＵＳ２００６／０３３７１５
【国際公開番号】ＷＯ２００７／０２５３０１
【国際公開日】平成１９年３月１日（２００７．３．１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【出願人】（５０７１０３９０５）ソニー ピクチャーズ エンターテイメント インコーポレーテッド (28)
【Ｆターム（参考）】
[ Back to top ]