演技から作り出される顔アニメーション
【課題】デジタル顔形態モデルをアニメートする方法を提供する。
【解決手段】本方法では：複数の動作単位を定義し；複数の動作単位の各動作単位をアクターの演技を利用して校正し；第１の顔ポーズデータを撮影し；複数の重みを決定し、複数の重みの各重みは、各動作単位に固有に対応し、複数の重みによって、重み付け合成された複数の動作単位を特徴付け、重み付け合成によって、第１の顔ポーズデータを近似し；重み付けされた活動を、各重みを各動作単位に適用した結果を組み合わせることにより生成し；重み付けされた活動をデジタル顔形態モデルに適用し；そして複数の動作単位の内の少なくとも一つの動作単位を、重み付けされた活動に対するユーザによる入力調整内容を使用して再校正する。
【解決手段】本方法では：複数の動作単位を定義し；複数の動作単位の各動作単位をアクターの演技を利用して校正し；第１の顔ポーズデータを撮影し；複数の重みを決定し、複数の重みの各重みは、各動作単位に固有に対応し、複数の重みによって、重み付け合成された複数の動作単位を特徴付け、重み付け合成によって、第１の顔ポーズデータを近似し；重み付けされた活動を、各重みを各動作単位に適用した結果を組み合わせることにより生成し；重み付けされた活動をデジタル顔形態モデルに適用し；そして複数の動作単位の内の少なくとも一つの動作単位を、重み付けされた活動に対するユーザによる入力調整内容を使用して再校正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は概して、モーションキャプチャに関し、特に顔アニメーションを、モーションキャプチャシステムから得られるモーションキャプチャデータのような演技データ、及びビデオデータから得られるビデオ画像を使用して生成する方法及びシステムに関する。
【０００２】
本出願は、２００６年４月２４日出願の「演技から作り出される顔アニメーション」と題する同時係属中の米国仮特許出願第６０／７１２，０８２号の優先権の利益を主張する。上に挙げた特許出願の開示内容は本明細書において参照することにより本明細書に組み込まれる。
【背景技術】
【０００３】
顔及び顔の動きをモデル化し、そしてリアルに見えるように顔の動きをレンダリングする操作は困難な問題であるが、顔がリアルに見えるようにする手法は、モデル化の観点だけでなく、レンダリングの観点から進歩してきた。更に大きな問題は、デジタル顔面を、凝視にも耐えるようにリアルかつもっともらしくアニメートする処理であり、アニメートされた演技のわずかな不備が許容されない場合が多い。十分に精度の高い顔アニメーション（様式化され、かつリアルな）は、従来のキーフレーム技術を利用して技量の優れたアニメータによって制作されるが、これは複雑な作業であり、この作業は、所望の結果をリアルなイメージに近付けようとするので非常に長い時間を要する。
【０００４】
キーフレーム技術とは別に、主要コンポーネント分析を利用する他の方法を用いることによっても、アニメートされた顔モデルを演技データに基づいて開発している。これらの方法では通常、次元が最も低いモデルをデータに基づいて作成する。更に、数学的手法を利用する解決法であるが、このようにして開発される顔モデルは多くの場合、一つ以上の態様において不自然に見える。更に、主要コンポーネントが自然かつ判別可能な顔の動きに一致することがなく、顔の動きを調整することにより所望の結果が得られる場合、結果として次元が低くなると、ユーザにとって顔モデルに対する開発後の変更が困難になり、かつユーザの直感に訴えることがない。すなわち、基底ベクトル（主要コンポーネント分析を使用して得られる）が、アーティストが後の時点で調整することができるいずれの論理式サブセットにも対応することがない。例えば、眉毛が吊り上ると同時に唇の端が吊り上る動きは、演技データに基づいて単一部位の活動として片付けることができる。しかしながら、単一部位の活動を唇の端及び眉毛に対応する別々の活動に分解することができない。従って、唇の端の吊り上がりのみを調整したいと考えるアニメータは、そのように調整すると必ず眉毛部位も活動させることになる。
【０００５】
従って、必要なのは、上述のような従来のシステムに見られるこれらの大きな問題を解決するシステム及び方法である。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、顔アニメーションを、モーションキャプチャシステムから得られるモーションキャプチャデータ、及びビデオデータから得られるビデオ画像のような演技データを使用して生成する方法及びシステムを提供する。
【課題を解決するための手段】
【０００７】
一の態様では、デジタル顔形態モデルをアニメートする方法が開示される。本方法では：複数の動作（活動）単位を定義し；複数の動作単位の各動作単位をアクターの演技を利用して校正し；第１の顔ポーズデータを撮影し；複数の重みを決定し、複数の重みの各重みは、各動作単位に固有に対応し、複数の重みによって、重み付け合成された複数の動作単位を特徴付け、重み付け合成によって、第１の顔ポーズデータを近似し；重み付けされた活動を、各重みを各動作単位に適用した結果を組み合わせることにより生成し；重み付けされた活動をデジタル顔形態モデルに適用し；そして複数の動作単位の内の少なくとも一つの動作単位を、重み付けされた活動に対するユーザによる入力調整内容を使用して再校正する。
【０００８】
別の態様では、デジタル顔形態モデルをアニメートする方法において：複数の動作単位を定義し、各動作単位は第１の顔ポーズデータ及び活動を含み；第１の顔ポーズデータを、撮影される複数の校正演技から生成される校正ポーズデータを使用して校正し、撮影される複数の校正演技の各校正演技は各動作単位に一致し；第２の顔ポーズデータを、撮影される複数の校正演技の内の別の校正演技から生成し；複数の重みを決定し、複数の重みの各重みは、各動作単位に固有に対応し、複数の重みによって、重み付け合成された顔ポーズデータを特徴付け、重み付け合成によって、第２の顔ポーズデータを近似し；重み付けされた活動を、各重みを活動に適用した結果を組み合わせることにより生成し；重み付けされた活動をデジタル顔形態モデルに適用し、そして第１の顔ポーズデータ及び活動を、重み付けされた活動に対するユーザによる入力調整内容を使用して再校正する。
【０００９】
更に別の態様では、顔モーションキャプチャデータ（facial motion capture data）をデジタル顔形態モデルにリターゲットするシステムが開示される。本システムは：複数の動作単位を管理するＦＡＣＳ（顔面表情記号化システム）モジュールと；デジタル顔形態モデルに対応する重み付けされた少なくとも一つの活動を、顔モーションキャプチャデータ、及び複数の動作単位を使用して生成するリターゲットモジュールと；顔アニメーションフレームを、重み付けされた少なくとも一つの活動をデジタル顔形態モデルに適用することにより生成するアニメーションモジュールと；そしてＦＡＣＳモジュールに対応する再校正済みの動作単位を、顔アニメーションに対するユーザによる入力調整内容に従って生成する調整インターフェースモジュールと、を備える。
【００１０】
更に別の態様では、デジタル顔アニメーション方法において：顔モーションデータ（facial motion data）を撮影し；顔モーションデータにラベル付けし；顔モーションデータを安定化させ；顔モーションデータを、ＦＡＣＳマトリクスを使用してクリーニングし；顔モーションデータを正規化し；顔モーションデータをデジタル顔形態モデルに、ＦＡＣＳマトリクスを使用してリターゲットし；そしてＦＡＣＳマトリクスの多次元的な調整を行なう。
【００１１】
本発明の他の特徴及び利点は、この技術分野の当業者であれば、次の詳細な記述、及び添付の図を概観することにより一層容易に理解できるものと思われる。
【００１２】
本発明の構造及び動作の両方に関する本発明の詳細は、添付の図を分析することにより部分的に明らかになる。
【図面の簡単な説明】
【００１３】
【図１】デジタル顔形態モデルをアニメートする方法を示すフローチャートである。
【図２】ＦＡＣＳマトリクスの動作単位を再校正する方法を示すフローチャートである。
【図３】デジタル顔形態モデルをアニメートするシステムの機能ブロック図である。
【図４】演技から作り出される顔アニメーションの方法を示すフローチャートである。
【図５】モーションキャプチャセットにおけるアクターの画像である。
【図６】図Ａは、中立顔ポーズを表わす３つの人物顔画像であり、図Ｂは、眉毛を下げた状態の顔ポーズを表わす３つの人物顔画像であり、図Ｃは、唇の端を吊り上げた状態の顔ポーズを表わす３つの人物顔画像である。
【図７】図Ａは、口を大きく開けた顔ポーズを表わす３つの人物顔画像であり、図Ｂは、唇を真一文字に結んだ顔ポーズを表わす３つの人物顔画像である。
【図８】顔モーションキャプチャデータ品質の変化を表わす３つの人物顔画像である。
【図９】重み付け合成されたＦＡＣＳポーズに対応する重みの例示としての計算を示している。
【図１０Ａ−Ｂ】図Ａは、アニメートされたキャラクターの口が部分的に開いた状態の唇の開度の一例を示す画像であり、図Ｂは、アニメートされたキャラクターの口が完全に開いた状態の唇の開度の一例を示す画像である。
【図１０Ｃ】図Ｃは、アニメートされたキャラクターの口が閉じた状態の唇の開度の一例を示す画像である。
【図１１】調整段階前後のＦＡＣＳポーズの一例を示している。
【図１２】調整操作を施す前後の解決済みのアニメーションフレームの一例を示す。
【図１３】調整操作を施す前後の解決済みのアニメーションフレームの別の例を示す。
【図１４】図Ａは、コンピュータシステム及びユーザを表わす図を示し、図Ｂは、顔アニメーションシステムのホストとなるコンピュータシステムを示す機能ブロック図である。
【発明を実施するための形態】
【００１４】
ここに開示する所定の実施形態は、一人以上のアクター、または一つ以上のオブジェクトの動きを撮影する技術を用いるシステム及び方法を提供する。例えば、ここに開示する一つの方法では、モーションキャプチャ（ＭＯＣＡＰ）システムを利用して、複数のアクターのボディ（体）及び顔の動き、及び表面を、カメラ及びアクターに取り付けた光マーカを使用して撮影する。ＭＯＣＡＰシステムはデータを撮影画像に基づいて構築することにより、映画のアニメーションに使用する。
【００１５】
実施形態において提供される機能では、これらには制限されないが、顔データを、例えば普通の低／高分解能ビデオ及びＭＯＣＡＰ（モーションキャプチャ）を含む撮影手段に関係なく顔面表情記号化システム（facial action coding system：ＦＡＣＳ）を使用してクリーニングし、そして安定させ；顔アニメーションを、ＦＡＣＳ（顔面表情記号化システム）を使用して生成し；そしてＦＡＣＳ動作単位を多次元的に調整する。Paul Eckmann及びWallace Friesenによって提案され、かつ心理学に基づいて設定される深く研究された顔の表情のライブラリを利用するＦＡＣＳ（顔面表情記号化システム）が、コンピュータグラフィックス（ＣＧ）モデルを構築する基礎となってきた。
【００１６】
この記述を一読した後に、この技術分野の当業者には、本発明をどのようにして種々の別の実施形態、及び別のアプリケーションにおいて実施すればよいかが明らかになるであろう。しかしながら、本発明の種々の実施形態がここに記載されるが、これらの実施形態は例示としてのみ提示されるのであって、本発明を制限するために提示されるのではないことを理解されたい。従って、種々の別の実施形態に関する詳細記述は、添付の請求項に示される本発明の技術範囲または特許の広さ（breadth）を制限するものとして捉えられるべきではない。
【００１７】
アクターの演技の正確な複製が要求される場合、多くのプロセスが、アクターの顔の特徴をトラッキングし、そしてトラッキングされたこれらの特徴から生成される情報を使用してデジタルキャラクターを直接作成することにより動作する。これらの特徴として、例えば顔の上の幾つかのマーカサンプル、曲線または凹凸、及び顔の変形表面を使用する。これらのプロセスは、アクターの演技に基づいて生成されるデータを、デジタルコンピュータグラフィックス（ＣＧ）により作成した顔のアニメーションにプログラム変換するために使用される。これらのプロセスが無事に行なわれるかどうかは多くの場合、データの質、最終アニメーションに必要とされる正確性及び迫真性、及び顔面校正（facial calibration）に依存する。アーティスト（トラッカー、フェイシャルリガー、テクニカルアニメータ）及びソフトウェア技術専門家の両者の専門知識も多くの場合、所望の最終製品を実現するために必要になる。顔面画像処理パイプライン（facial processing pipeline）を構築して、同時に撮影される多くのアクターの演技の何百ものショットを最終的に作成し、そしてアーティスト及びアニメータによる入力及び制御を要求して、極めて困難な更なる解決課題を提示する。
【００１８】
演技は、アクターの顔を眼に見える形で捉えたものであると考えられる。ほとんどの場合において、アクターは一人で、または他のアクターと一緒になったグループの中で発語し、そして感情を表わす。アクターの顔を捉えるこの操作は多くの場合、アクターのビデオ演技を撮影することにより行なわれる。ビデオフレームは、アニメータが純粋に参照のために使用して、更に処理してポイントサンプルを抽出する、または３次元表面を変形させ、次に３次元表面を、デジタル顔形態モデルにリターゲットする。種々の技術的な解決課題を、２次元または３次元再構成データを使用することができるようになる前に解決する必要があり、解決課題としては、カメラを校正する処理、ポイント群をトラッキングする処理、及び３次元情報を再構成する処理を挙げることができる。
【００１９】
音声のような他の種類の媒体を使用して、音声特徴を捉え、そしてデジタル顔形態モデルを構築してきた。ほとんどの作業では、一連の会話における唇及び口の動きを近似するが、眉毛、眼のような顔の他の領域、及びキャラクターの感情全体に関する明示的な情報を持つことができない。これらの属性は、事後処理の間に自動的に生成される、または追加される必要がある。一の実施形態では、顔を模擬することによりデジタル顔形態モデルを構築している。別の実施形態では、サイバーグローブのような制御デバイスを使用して制御コマンドを入力し、そして指の動きを、デジタル顔形態モデルにリターゲットする。
【００２０】
デジタル顔形態モデルを構築するこれらのキャプチャ方式から結果が得られているが、顔アニメーションを作成するための共通モードのデータは光データであり、光データを使用することにより、デジタル顔形態モデルにリターゲットされる顔の所定の特徴ポイントを再構成している。
【００２１】
顔の表情を捉えることができる方法には種々の方法がある。一の実施形態では、ＭＯＣＡＰシステムはボディ及び顔のデータを一緒に撮影する。顔データを、アニメートされたキャラクターにターゲットするが、この場合のキャラクターの顔は様式化され、実際のアクターの顔を忠実に表わしてはいない。別の実施形態では、画像を利用することにより、リアルなアニメーションをキャラクターに持たせて、キャラクターが所望通りにリアルに見え、かつキャラクターの顔がリアルに動くようにする。更に別の実施形態では、顔のＭＯＣＡＰ（モーションキャプチャ）データは、座席に座っている位置で別々に獲得され、そして生成される顔アニメーションで、キーフレームのボディショットにブレンド処理を施す。
【００２２】
データ主導の顔アニメーションが自然に流れて見えるようにする作業は非常に困難な解決課題である、というのは、種々のレベルのデータ品質を提供する多くの要件が存在するからであり、これらの要件として、システムの種々のタイプ、同時に撮影される人間の数、及び顔のみの撮影に対する顔及びボディの撮影の性質を挙げることができる。ＭＯＣＡＰシステムは複数のアプローチをサポートすることができるので、これらの、及び他の種々の提供要件に適合させることができる。
【００２３】
一の実施形態では、顔及びボディの動きは、「撮影ボリューム（capture volume）」の周りに配置される複数のカメラ（例えば、２００台のカメラ）で同時に撮影される。例示としての撮影ボリュームは、それぞれ長さ、幅、及び高さとして表わすと、約２０フィートｘ２０フィートｘ１６フィートである。複数の赤外線マーカ（例えば、８０個のマーカ）をアクターの顔に取り付け、そして使用することにより、アクターの演技を撮影する。カメラ、撮影ボリューム、及びマーカの他の構成を使用することができることを理解されたい。撮影データは３次元で、複数のカメラの位置を使用して事後処理中に再構成される。ＩＭＡＧＥＷＯＲＫＳTMが独自に開発したＩＭＡＧＥＭＯＴＩＯＮTM技術のような、ＭＯＣＡＰ（モーションキャプチャ）データの撮影、及び処理に適合させたツールを使用することができる。モーションキャプチャボリューム内でアクションするアクターの人数は、ボリュームの大きさ、カメラ分解能、可視光及び可視信号の強度、及び他の関連パラメータによって変わる形で少人数から多人数に変えることができる。
【００２４】
通常のＭＯＣＡＰ（モーションキャプチャ）セッションの間、アクターの全てに対して離れて立つように指示する。次に、各アクターは個々に標準のＴ−ポーズ姿勢を取り、この場合、両脚を揃え、両手を伸ばし、そして顔をニュートラル顔にしてリラックスする。Ｔ−ポーズは、事後処理の間にＭＯＣＡＰ（モーションキャプチャ）データのボディ及び顔の両方をサーチし、そして標準にするために有用である。また、ＭＯＣＡＰ（モーションキャプチャ）「撮影（ｔａｋｅ）」のたびに、アクターの全員は、撮影ボリューム内で標準のＴ−ポーズに戻って、顔はリラックスしたニュートラル顔になっている。Ｔ−ポーズは、顔面画像処理パイプラインによって正規化プロセスの中で使用されて、ＭＯＣＡＰ（モーションキャプチャ）演技の２日目におけるマーカ配置が、例えば校正の日におけるマーカ配置（「マスターＴ−ポーズ（master T-pose）」とも表記される）に確実に対応するようになる。図５は、各アクターがＴ−ポーズを撮影ボリューム内で取っているアクター群の様子を示している。モーションキャプチャ適応（ＡＤＲ（アドバンストダウンウェブリサンプリング）セッションとして知られる）の別の事例では、アクターが一人だけ着席位置でアクションしており、この場合、センサがアクターの顔に向けられている。このような場合においては、Ｔ−ポーズは顔のニュートラルポーズのみに対応し、ボディ位置には対応しない。
【００２５】
顔面表情記号化システム（ＦＡＣＳ）によれば、ヒトの顔は筋肉を有し、筋肉は「動作単位（action units）」と呼ばれるグループ単位で連動して働く。ＦＡＣＳは、所定の動作単位が稼働する時点、及び各動作単位に顔ポーズにおける相対的な影響度を割り当てる方法を決定するフレームワークを提供する。ＦＡＣＳは元々は、心理学者及び行動科学者が顔の表情及び動きを究明することができるように設計されたのであるが、ＦＡＣＳは他の技術領域にも適合してきている。
【００２６】
顔の表情は７２個の異なる動作単位に分類されている。各動作単位によって筋肉の動作（「活動（activation）」）を定義し、筋肉の動作によって瞬時変化が顔の外見に現われる。顔の外見におけるこれらの変化は人ごとに、顔の解剖学的構造、例えば骨格構造、脂肪性沈着物、皺（しわ）、種々の顔の部位の形状、及び関連する他の顔の外見によって変わり得る。しかしながら、これらの動作単位が稼働すると、或る共通性を人々の間に見出すことができる。ＦＡＣＳにおいて使用される動作単位は、顔の動作の顔の位置、及び関与する顔の動作の種類を利用する。例えば、顔上部は、眉毛、前額部、及び瞼に影響する筋肉を持ち；口及び唇の周りの下部の筋肉は別のグループを形成する。これらの筋肉の各筋肉はグループ単位で働いて動作単位を構成する；そしてこれらの動作単位を更に、顔の左右領域に細かく分割し、これらの左右領域の動作単位は非対称に、かつ互いに独立して稼働することができる。一般的に、ＦＡＣＳによって提案される動作単位群の全ては、ＣＧアニメーションにおいて使用することができる動的な顔の表情の広範な基礎となる。
【００２７】
モーションキャプチャシステムはＦＡＣＳ（顔面表情記号化システム）を、顔のＭＯＣＡＰ（モーションキャプチャ）データを撮影し、そしてアニメートされるキャラクターの顔にリターゲットするための土台として使用することができる。ＭＯＣＡＰ（モーションキャプチャ）演技の前に、各アクターは、動作単位群の全ての極端なバージョンを含む一連の校正ポーズを演技する。一つの動作単位に対応する３次元の再構成顔面ポーズデータで、アクターが使用する極端な顔の表情を捉えて当該動作単位を稼働する。一の実施形態では、ＦＡＣＳ（顔面表情記号化システム）は６４個のポーズを含み、これらのポーズの内の幾つかのポーズを左位置及び右位置に分離する。別の実施形態では、明瞭な母音（phoneme）に対応する１８個の母音のポーズも取り入れる。
【００２８】
図６Ａ〜６Ｃ、及び７Ａ，７Ｂは、ＦＡＣＳ（顔面表情記号化システム）を利用するＭＯＣＡＰ（モーションキャプチャ）システムにおいて使用される複数の動作単位の内の幾つかの動作単位を示している。上に議論したように、ＦＡＣＳ（顔面表情記号化システム）は、７２個以上の動作単位を提案し、これらの動作単位は、顔の筋肉の動き、及び頭の動きを含む表情を含んでいる。図６Ａは、ニュートラル顔ポーズを表わす３つの人物顔画像であり；図６Ｂは、眉毛を下げた状態の顔ポーズを表わす３つの人物顔画像であり；図６Ｃは、唇の端を吊り上げた状態の顔ポーズを表わす３つの人物顔画像であり；図７Ａは、口を大きく開けた状態の顔ポーズを表わす３つの人物顔画像であり；そして図７Ｂは、唇を真一文字に結んだ状態の顔ポーズを表わす３つの人物顔画像である。図６Ａ〜６Ｃ、及び７Ａ，７Ｂの各図では、実際のＦＡＣＳ（顔面表情記号化システム）の基準、アクターの演技、及びキャラクターにリターゲットした表情を左から右の方向に示している。
【００２９】
上に議論したように、一の実施形態では、データ撮影は、撮影空間内で演技する一人以上のアクターのボディの動き、及び顔の動きの両方を撮影する光学システムを使用して行なわれる。この実施形態では、赤外線カメラを含む受動光学コンポーネントを使用して、マーカによって反射される赤外光を撮影する。このようにして撮影される画像は、エントロピーの小さい画像であり、この画像は、赤外光が全く検出されない大部分の領域としての黒色領域と、そして反射マーカを表わす白色ドットと、を含む。画像中の白色ドットのサイズは、ドットがボディマーカ（大きい）または顔マーカ（小さい）のいずれであるかによって、カメラからのアクター（従ってマーカ）の距離によって、そして普通はアクターによって生じる隠蔽（occlusion）が生じたかどうかによって変わる。
【００３０】
エントロピーの小さい画像は少なくとも２つの利点をもたらす：（１）カメラは画像を高解像度で、かつ高フレームレートで、通常６０Ｈｚで撮影し、そして記録することができ；そして（２）撮影マーカデータを３次元再構成することによって、各マーカを複数の画像に亘って異なる視点で三角測量してマーカの位置を空間内で特定する。対応するポイント群を自動的に関連付ける機能は、白色ドットのみを黒色を背景として使用することにより大幅に向上する。
【００３１】
３次元再構成の後、マーカは複数のデータフレームの空間位置（すなわち、ｘ，ｙ，ｚ）によって表わされる。しかしながら、データは多くの場合、ノイズを含み、データフレーム群の全てに亘って時間関連性を持つ（すなわち、ラベル付けに一貫性が保たれる）ということがなく、そしてデータにはギャップが存在する。図８は、顔の動きを撮影したときのデータ品質の変化を表わす３つの人物顔画像である。図８の最も左側の人物の顔に示すのは、品質が比較的良いデータの例である。図８の中央の人物の顔に示すのは、品質が比較的悪いデータの例である。図８の最も右側の人物の顔に示すのは、品質の悪いデータの例である。これらの問題は、顔データモデル及びデータの時間関連性の両方に基づく情報を考慮に入れる学習型アプローチにおいて解決することができる。
【００３２】
各データフレームに関して再構成されるマーカは、ボディマーカ及び顔マーカの両方を含むことができる。ボディマーカ及び顔マーカは共に、顔データを処理する前にラベル付けを必要とする。すなわち、各マーカに、データフレーム群に共通する固有の識別情報を割り当てる。全てのボディマーカ及び顔マーカに、これらのマーカの軌跡に従ってラベル付けする作業は、特に非常に多くのマーカをボリューム内に観察することができる場合に面倒であり、かつ間違いを起こし易いプロセスである。一の実施形態では、ボディマーカ（大きい）と顔マーカ（小さい）との間のサイズの相違を利用する２ステッププロセスが使用される。まず、３次元再構成を行ない、この場合、顔マーカを無視し、そしてボディマーカのみを、普通は速度に関する制約に従って再構成し、そしてラベル付けする。次に、３次元再構成を行なって顔マーカを取得するが、この場合普通、ボディマーカも捕捉されることになる。ボディマーカは、第１ステップでラベル付けされた全てのマーカを消去することにより削除され、顔データのみを残す。別の実施形態では、顔マーカにラベル付けする操作は、該当するアクターの顔に対して詳細に調整された動作単位のライブラリ（「ＦＡＣＳマトリクス」）を利用して自動的に行なわれる。
【００３３】
演技中、アクターは通常、撮影空間内を動きまわる。動くことによって、アクターが喋り、そして感情を表している間に、顔マーカがボディに追随して並進移動する。顔マーカデータをデジタル顔形態モデルにリターゲットするために、ボディ及び頭部の動きから生じる並進運動及び回転運動による影響を無くすことにより顔データを安定化させると便利である。非常に大きな困難が、安定化に関して生じる、というのは、アクターが演技するときに、顔マーカに対して必ずしも、標準的な位置への剛性変換が行なわれる訳ではないからである。剛性運動は、頭部の回転運動及びアクターの動きによって生じるが、アクターが感情を表わし、そして喋ると、顔マーカ群の内の多くのマーカが、これらのマーカの剛性予測値からずれる方向に位置を変える。幾つかの安定ポイントが一致するだけで通常、逆変換の解を算出するために十分である。しかしながら、フレーム毎に、どのマーカが相対的に安定であるので、当該マーカに剛性変換のみが行なわれており、そしてどのマーカが、感情表現または喋りに関連する他の動きに影響されているかを判断することは困難である場合が多い。マーカの３次元再構成位置のノイズは、剛性変換が行なわれているかどうかの判断の邪魔にもなり得る。
【００３４】
一の実施形態では、階層的な解決策が、まず全体的な（または、粗い）安定化を、顔の表情によって動くことがほとんどないマーカを使用して行なうことにより実行され、このようなマーカとして、頭部、耳、及び鼻骨に取り付けられるマーカを挙げることができる。次に、この解決策は、顔面モデルに対するマーカの動きを求めることにより、局部的な（または、細かい）安定化を行なって微調整される。
【００３５】
顔データを安定化させた後、顔データは、隠蔽、カメラの視野からの消滅、３次元再構成の誤差によって生じるノイズ、及び／又はマーカに対するラベル付け間違いに起因して、消失マーカとなる恐れがある。一の実施形態では、クリーニング兼フィルタリングツールが使用され、このツールは、高品質の顔モデルデータを利用する学習システムを含む。クリーニング兼フィルタリングツールは、消失マーカの位置の推定値を生成し、ノイズを除去し、そしてマーカ群の全ての継続的な利用性をほぼ確保する。システムは、拡張することにより、広範囲の顔の表情によって生成されるデータを処理することができ、そして調整することにより、顔データのダイナミクスを変えることができる。
【００３６】
クリーニングツールでは、下位理論のＦＡＣＳ（顔面表情記号化システム）理論を利用して、マーカ群を筋肉グループ群に体系化する。筋肉の動きを利用して、消失マーカ群の取り得る位置を確率論的に推定することができる。消失マーカ位置は、隣接ポイント群において空間的に推定され、そしてマーカ群の動きの範囲を分析することにより時間的に推定される。一の実施形態では、確率論的モデル及び該当するマーカ筋肉グループ分けが、各アクターに合うように調整される。
【００３７】
一旦、マーカ位置の全てが求まる（または、推定される）と、標準的な周波数変換を利用してノイズをデータから除去する。普通、ノイズとして分類される高周波数成分は、アクターの筋肉の速い確かな動き、及びアクターの顔の表情の変化も表わすことができる。
【００３８】
１日よりも長い期間に亘って撮影される映画のような演技を長期間に亘って撮影する場合、アクターは通常、モーションキャプチャマーカを取り外し、そして再び取り付ける。種々の処置を行なって、マーカ群が顔の同じ位置にそのたびに配置されていることを確認するが、小さな差異が普通、毎日の場所でのマーカ配置に発生する。これらの差異は、以下に説明される、リターゲット機能による解決策に大きく影響し得る。従って、正規化が、マーカ配置を調整するための重要な要素となって、毎日の場所における差異が、アクターが演技する顔の表情の大きさに悪い影響を与えることがなく、かつ顔の表情が正確にデジタル顔形態モデルに反映されるようにする。
【００３９】
一の実施形態では、正規化は２ステップで行なわれる。ＭＯＣＡＰ（モーションキャプチャ）による各々の撮影は、図５に関連して議論したように、アクターがＴ−ポーズを演技することにより始まり、そして終了する。ＭＯＣＡＰによる次の撮影における各アクターのＴ−ポーズは、校正中に決定されるアクターのマスターＴ−ポーズ（master T-pose）に一致させる。Ｔ−ポーズをマスターＴ−ポーズに一致させる操作では、関連する種々の目印マーカを利用する。例えば、眼及び口の端が使用される、というのは、これらの部位は、日ごとに変化することがほとんどないからである。各マーカに対応するオフセットベクトルは、Ｔ−ポーズ及びマスターＴ−ポーズの一致度のずれに従って計算される。オフセットベクトルをＭＯＣＡＰによる該当する撮影におけるＴ−ポーズに適用して、Ｔ−ポーズの各マーカがマスターＴ−ポーズのマーカ群に識別可能に一致するようにする。オフセットは、当日中のアクターの演技の全てに対して適用されるので、フレーム群の全てのフレームのデータが正規化される。
【００４０】
上に議論したように、ＦＡＣＳ（顔面表情記号化システム）は、ほとんどの顔の表情を表わすと考えられる一連の動作単位またはポーズを提供する。一の実施形態では、一人のアクターが演技する校正ポーズであって、ＦＡＣＳ（顔面表情記号化システム）ポーズ（すなわち、動作単位）に対応する顔の表情を表わす校正ポーズのＭＯＣＡＰ（モーションキャプチャ）フレームが撮影される。これらの校正ポーズの内の幾つかの校正ポーズを左側及び右側に分割して、アクターの顔の非対称性を捉える。続いて、アクターの演技の入力フレーム群が、ＦＡＣＳ（顔面表情記号化システム）マトリクスのＦＡＣＳポーズ（すなわち、動作単位）の全ての空間において分析される。従って、これらの動作単位は、顔面ベクトルと考えることができ、そして各動作単位に対応する重みは、一つの入力データフレームに対応して計算される。重み付け合成された動作単位群（すなわち、顔面ベクトル、ＦＡＣＳポーズ）を決定して、入力データフレームの新しいポーズを近似する。
【００４１】
図９は、重み付け合成されたＦＡＣＳポーズに対応する重みｗ1，ｗ2．．．ｗnを計算する例を示している。重みｗ1，ｗ2．．．ｗnを計算することにより、ｎ個のＦＡＣＳ動作単位の各動作単位に関する影響が決定される。一の実施形態では、重みの計算において、線形最適化を行なう。別の実施形態では、重みの計算において、非線形最適化を行なう。
【００４２】
重みを、関連するｎ個のＦＡＣＳ動作単位に適用して、重み付けされた活動（ｗｅｉｇｈｔｅｄ ａｃｔｉｖａｔｉｏｎ）を生成する。重み付けされた活動は、顔筋肉系で構築されたデジタル顔形態モデルに反映される。
【００４３】
一の実施形態では、アニメートされたキャラクターの顔ポーズであって、ＦＡＣＳポーズに対応する顔ポーズは、アーティストがフェイシャルリグ（facial rig）を使用することにより生成される。別の実施形態においては、デジタル顔形態モデルの設定では、ＩＭＡＧＥＷＯＲＫＳTMが独自に開発したキャラクター顔生成システム（character facial system）を利用する。キャラクター顔生成システムは、デジタル顔形態モデルの頂点を引っ張り、そして少しずつ動かし易くして、結果として得られる変形がヒトの顔の形状に一致するようにする。
【００４４】
デジタル顔形態モデルは種々の筋膜レイヤ（fascia layers：筋膜層）を含み、これらの筋膜レイヤをブレンドすることにより、最終的な顔の変形をデジタル顔形態モデルに生じさせる。これらの筋膜レイヤは一の実施形態では、顔筋肉変形を可能にする筋肉レイヤ（muscle layer）、顎の動きを可能にする顎レイヤ（jaw layer）、種々の顔領域の皮膚の膨らみを制御するボリュームレイヤ（volume layer）、及び唇の動きを明らかにする開度レイヤ（articulation layer）を含む。筋肉レイヤは、顔を変形させる筋肉制御を行なう頭蓋縫合部（skull patches）を含む。筋肉制御は、ＭＯＣＡＰ（モーションキャプチャ）データから生成される重み付けされた活動によって行なわれる。顎レイヤは、デジタル顔形態モデルの顎の動きを制御し易くする。ボリュームレイヤは膨らみを、デジタル顔形態モデルに生じる変形に付ける。ボリュームレイヤは、皺及び他の顔変形のモデル化を容易にし、モデル化は、ＭＯＣＡＰ（モーションキャプチャ）データから生成される重み付けされた活動によって行なうことができる。開度レイヤは、唇が変形するときの唇の形状に関与する。詳細には、開度レイヤは、特に唇を顔の表情の中で薄く広げる、またはすぼめるときの唇の起伏及び膨らみを制御し易くする。図１０Ａは、アニメートされたキャラクターの口が部分的に開いたときの唇の開度（lip articulation）の一例を示す画像である。図１０Ｂは、アニメートされたキャラクターの口が最も大きく開いたときの唇の開度の一例を示す画像である。図１０Ｃは、アニメートされたキャラクターの口が閉じるときの唇の開度の一例を示す画像である。
【００４５】
これらの筋膜レイヤは、デジタル顔形態モデルに貼り付けることができる。入力ＭＯＣＡＰ（モーションキャプチャ）データはデジタル顔形態モデルに、筋膜レイヤを起動する重み付けされた活動として、マッピングされる、またはリターゲットされる。上に議論したように、ＭＯＣＡＰデータの入力フレームは、ＦＡＣＳ（顔面表情記号化システム）マトリクスの動作単位群（すなわち、顔面ベクトル群）の全てから成る空間において分析される。結果として得られる重みによって、ＦＡＣＳマトリクスの動作単位群の各動作単位が、筋膜レイヤを起動する際に及ぼす比例作用（proportional influence）を定量化する。しかしながら、重みは、数学的手法（例えば、線形最適化及び非線形最適化）を使用して得られるので、デジタル顔形態モデルに現われ、かつ結果として得られる表情は、所望の表情を明らかにしていると自然に認識される顔変形を複製していないことがある。すなわち、種々のマッピングソリューションを使用して行なわれるフェイシャルアニメーションのリターゲット（facial retargeting）は、数学的観点からは最適に正しく行なうことができるが、結果として得られる顔の表情は、最終形態のアニメーションショットの所望の外見を忠実に表わすことができない、または最終形態のアニメーションショットの要件を忠実に満たすことができない。
【００４６】
忠実ではない結果を生じる幾つかの理由が存在する。アクターは、ＦＡＣＳ（顔面表情記号化システム）マトリクスに対応して初めに提供される校正ポーズに従って演技しない可能性があるので、動作単位ではアクターの演技を表わすことができず；リターゲット機能の非一貫性（retargeting inconsistencies）が、数学的に正しいマーカデータを美的にデザインされた顔にマッピングする場合に生じることがあり；デジタル顔形態モデルがアクターの顔を忠実に表わすということができず；アクターの顔へのマーカ配置の違いが日ごとに大きくなり；そして／または所望のアニメーションが、例えば所望の表情がＭＯＣＡＰ（モーションキャプチャ）データに含まれない、または捉えた表情の誇張を試みる場合に、アクターが演技する動作に一致しない可能性がある。
【００４７】
多次元調整システムは、アニメータが行なう調整フィードバックを使用して、正しくない数学的解決策による影響を小さくすることができる。この操作は、ＦＡＣＳ（顔面表情記号化システム）の顔面ベクトルが実際のヒトの表情を近似しており、従って顔面ベクトルをアニメータが容易に調整することができるので数学的に行なうことができる。ＦＡＣＳ（顔面表情記号化システム）による解決策、及びリターゲット機能が実行された後、アニメータは一つ以上の選択フレーム（例えば、許容できない結果を含む５〜１０フレーム）を調整して、「正しい外見」をアニメータの芸術的判断において実現することができる。この調整は、選択フレームのポーズに関連するＦＡＣＳ解決策から得られる重みを変更することにより行なわれる。次に、変更済みのポーズを使用して、ＦＡＣＳマトリクスを更新し、そして最適化する。従って、更新済みのＦＡＣＳマトリクスは、動きに伴う実際のマーカの範囲だけでなく、変更済みの重みを利用する動作単位を含む。一の実施形態では、数学的な非線形最適化ツールを使用して動作単位ポーズデータ及び活動レベルを最適化する。調整プロセスでは、芸術的入力はアーティストまたはユーザから、重みを変更して、表情一式（expression suite）全体をユーザの要望に極めて良好に一致させることにより取り込まれる。この操作は幾つかのフレームに対して行なわれる。次に、調整プロセスでは、変更済みの重みの全てに基づいて学習を行ない、新規の／変更済みのＦＡＣＳマトリクスを得る。変更済みのＦＡＣＳマトリクスを、ＭＯＣＡＰ（モーションキャプチャ）データに対する次の解決作業において使用して、アニメータが提供する調整済みの重みを、選択フレームのポーズに適用する。ＦＡＣＳ（顔面表情記号化システム）ライブラリにおける変更も他のフレームに取り込んで、アニメーション全体に亘る結果を向上させる。更に、変更済みのＦＡＣＳライブラリによって、依然として満足できない結果がもたらされるとすると、アニメータは更に調整を行なって、更新済みのＦＡＣＳライブラリを構築することができる。
【００４８】
図１１は、調整操作の前後のＦＡＣＳポーズの一例を示している。図１１の左側の画像は、唇を閉じて母音を発声する位置を調整前後で重ねた状態を示している。図１１の右側の画像は、唇をぎゅっと引き締めたポーズを調整前後で重ねた状態を示している。新規のマーカ位置（黒で示す）は、最適化された位置に、アニメータが補正した重み値に基づいて幾つかの調整対象のフレームに亘って調整されている。この変更は、描かれる２つのポーズについて示されるが、多くの場合、アニメータが行なう入力調整の性質によって変わる形で、もっと多くのポーズについて行なわれる。
【００４９】
図１２及び１３は、調整操作を施す前後の解決対象のアニメーションフレームの例を示している。図１２では、左側の画像は、最初の校正済みのＦＡＣＳマトリクス（calibrated FACS matrix）を使用して解決されるフレームを示し、そして右側の画像は、変更済みの（調整済みの）ＦＡＣＳマトリクスを使用して解決される同じフレームを示している。結果として得られる効果は、ポーズの右側の方の唇を相対的にぎゅっと引き締める状態に集中的に現われている。図１３では、左側の画像は、最初の校正済みのＦＡＣＳマトリクスを使用して解決されるフレームを示し、そして右側の画像は、変更済みの（調整済みの）ＦＡＣＳマトリクスを使用して解決される同じフレームを示している。アクターは、「ｐｌｅａｓｅ」という単語の始めの音を発声している。最初の校正済みのＦＡＣＳマトリクスを使用する解決策が、唇を閉じて最初の音節を発する様子を示していないのに対して、変更済みのＦＡＣＳマトリクスを使用する解決策は、唇を閉じる様子を示ししている。
【００５０】
図１は、デジタル顔形態モデルをアニメートする方法１００を示すフローチャートである。ステップ１１０では、動作単位をＦＡＣＳ（顔面表情記号化システム）マトリクスに関して定義する。一の実施形態では、上に議論したように、ＦＡＣＳマトリクスは６４個の動作単位を含み、各動作単位は、連動して動く顔の筋肉群からなるグループ群を定義して、特定の顔の表情を生成する。動作単位を更に細かく分割して、顔の左側及び右側を表わし、従って非対称な顔ポーズを構成することができる。
【００５１】
ＦＡＣＳマトリクスの動作単位をステップ１２０で校正する。通常、各アクターは固有の個人化されたＦＡＣＳマトリクスを持つ。一の実施形態では、各動作単位は、動作単位に対応するポーズをアクターが演技するときの動きを撮影することにより校正される。顔マーカデータは、上に説明したように撮影され、ＦＡＣＳによってクリーニングされ、そして安定化され、更に特定の動作単位に一致するＦＡＣＳマトリクスに割り当てられる。別の実施形態では、アクターはポーズを極端な仕草で演技して、ポーズを演技中に実践するときのマーカ偏位（marker excursions）の予測限界（expected bounds）を設定する。
【００５２】
校正（ステップ１２０）が完了した後、ＭＯＣＡＰ（モーションキャプチャ）データを演技中に取得する。新規の顔ポーズデータは、ＭＯＣＡＰデータが演技及び取得の間に生成されているときに、一度に１フレーム分だけステップ１３０で受信される。ＭＯＣＡＰデータのフレームは、撮影空間の顔マーカ位置を表わすボリューム（３次元）データを含む。一の実施形態では、ボリュームデータは上に説明したように、受信される前に、ＦＡＣＳによってクリーニングされ、そして安定化される（ステップ１３０）。
【００５３】
新規の顔ポーズデータを近似し、かつ重み付け合成された動作単位を特徴付ける重みをステップ１４０で決定する。動作単位は、顔の所定の筋肉群の活動を表わし、そして上に説明した顔面ベクトルと見なすことができる。従って、一つ以上の動作単位−ＦＡＣＳマトリクスの動作単位群の全てを含む−は、要素群が重み付け合成されると、要素群が新規の顔ポーズデータを近似するような要素として使用される。すなわち、新規の顔ポーズデータは、ＦＡＣＳマトリクスの所定の動作単位群の或る組み合わせとして特徴付けられる。重みを決定するステップでは、各動作単位に関連付けられ、かつ重み付け合成された顔ポーズデータを新規の顔ポーズデータに最適にフィッティングする。一の実施形態では、最小二乗フィッティングのような線形最適化を使用して最適な組み合わせの重みを計算する。別の実施形態では、非線形最適化を使用してフィッティングを実行する。
【００５４】
一旦、重みが決定される（ステップ１４０）と、重み付けされた活動がステップ１５０で生成される。一の実施形態では、重みを、各動作単位に関連付けられる筋肉群の活動に適用し、そして結果として得られる活動を合成して重み付けされた活動を生成する。次に、重み付けされた活動をデジタル顔形態モデルにステップ１６０で適用する。
【００５５】
処理することができるＭＯＣＡＰデータフレームが更にある場合（ステップ１７０で判定される）、新規のＭＯＣＡＰデータフレームをステップ１３０で受信し、そしてプロセスが上に説明したように進行する。処理することができるＭＯＣＡＰデータフレームがこれ以上は無い場合、プロセスはステップ１８０に進んで、ＦＡＣＳマトリクスを再校正する。一の実施形態では、ＦＡＣＳマトリクスを再校正するステップ（ステップ１７０）は、ユーザによってコマンドが出されたときに、処理することができるＭＯＣＡＰデータフレームが更にある状態になっている間に行なわれる。
【００５６】
ＦＡＣＳマトリクスを再校正するステップ（ステップ１７０）では、重み付けされた活動に対する調整内容をユーザから受信する。例えば、ユーザが特定フレームの或るポーズに対する変更を希望する場合、ユーザはフレームを選択し、そして重み付けされた活動を生成するために使用される重みを調整することができる。重みは所定の動作単位に対応し、かつ動作単位は異なる顔の動き（すなわち、所定の顔の筋肉群の活動）に対応するので、ポーズは、変更したいと考えているポーズの特定の形態を制御する顔の筋肉群に対応する重みを操作することにより調整することができる。例えば、口の左隅の動きを動作単位において定義する場合、デジタルモデルの口の左隅をもっと極端な位置に、またはもっと極端ではない位置に、当該動作単位に関連付けられる重みを操作することにより移動させる。従って、アニメータまたはアーティストは、例えば顔の表情の種々の形態を、顔の自然な要素（すなわち、動作単位）を操作することにより制御する能力を持つ。
【００５７】
図２は、ＦＡＣＳ（顔面表情記号化システム）マトリクスの動作単位の再校正（ステップ１８０）を示すフローチャートである。ステップ２００では、ユーザが変更したいと考えるデジタル顔形態モデルのポーズを含むフレーム群を選択する。例えば、数千のデータフレームの中から、５〜１０フレームを選択して、顔データを変更することができる。各選択フレームに関して、重みを変更して所望の顔ポーズをステップ２１０で生成する。一の実施形態では、該当する動作単位を、重みの変更に応じる形で変更することにより、調整済みの重みを取り込み、そしてＦＡＣＳマトリクスに転送する。従って、ＦＡＣＳマトリクスは、これらの特定の動作単位の新バージョンで更新され、特定の動作単位を変更することにより、これらの動作単位に関連付けられる特定の顔ポーズに対するユーザの期待に応える。別の実施形態では、図１に示す方法に従って始めに処理される同じデータセットは、更新済のＦＡＣＳマトリクスを使用して再処理される。調整された特定フレーム群のデータを次に、デジタル顔形態モデルに更に望ましい形でリターゲットするが、変更済みの動作単位が重み付けに関して依然として重要な役割を果たす場合の他の顔ポーズデータもこのようにしてリターゲットすることにより、アニメーションの品質全体を向上させる。
【００５８】
図３は、デジタル顔形態モデルをアニメートするシステム３００の機能ブロック図であり、システム３００は、リターゲットモジュール（retargeting module）３１０と、ＦＡＣＳモジュール３２０と、アニメーションモジュール３３０と、そして調整インターフェースモジュール３４０と、を含む。
【００５９】
リターゲットモジュール３１０は、クリーニングされ、かつ安定化された顔ＭＯＣＡＰ（モーションキャプチャ）データ、及び動作単位をＦＡＣＳモジュール３２０から受信する。ＦＡＣＳモジュール３２０は、クリーニングされ、かつ安定化された校正データを受信し、そしてＦＡＣＳマトリクスの複数の動作単位を維持し、ＦＡＣＳマトリクスの機能は上述の通りである。クリーニングされ、かつ安定化された校正データを使用して、ＦＡＣＳモジュール３２０によって維持されるＦＡＣＳマトリクスの動作単位を校正する。リターゲットモジュール３１０は、重み付けされた活動を、当該モジュール内で決定される重みに従って生成し、重みは重み付け合成された動作単位を特徴付け、重み付け合成された動作単位は、受信するＭＯＣＡＰデータによって表わされる顔ポーズデータを近似する。
【００６０】
アニメーションモジュール３３０は、重み付けされた活動を受信し、そしてアニメーションデータを生成する。アニメーションデータは、デジタル顔形態モデルを重み付けされた活動に従って起動した結果を含む。一の実施形態では、アニメーションモジュール３３０はデジタル顔形態モデルを維持し、そしてリギングユニット（ｒｉｇｇｉｎｇ ｕｎｉｔ）３３２を含み、リギングユニット３３２を使用して筋膜レイヤをデジタル顔形態モデルに貼り付ける（生成する）。詳細には、筋膜レイヤは、重み付けされた活動が適用されるデジタル顔形態モデルの構成要素であり、これらの構成要素によってアニメーションデータが生成される。別の実施形態では、アニメーションモジュール３３０は反映ユニット（transfer unit）３３４を含み、反映ユニット３３４は、重み付けされた活動をデジタル顔形態モデルの筋膜レイヤに適用する。
【００６１】
調整インターフェースモジュール３４０は、ユーザによる入力調整内容を受信するように構成され、そしてユーザによって使用されて、ＦＡＣＳモジュール３２０が維持するＦＡＣＳマトリクスの再校正済みの動作単位を生成する。一の実施形態では、調整インターフェースモジュール３４０はフレーム選択ユニット３４２を含み、フレーム選択ユニット３４２をユーザが使用することにより、デジタル顔形態モデルに関して結果として得られるポーズが不十分であると見なされるアニメーションデータフレームを選択する。フレーム選択ユニット３４２を使用することにより、どのような数のフレームも、アニメーションデータフレームから選択することができる。別の実施形態では、調整インターフェースモジュール３４０は重み変更ユニット（weight modification unit）３４４を含み、重み変更ユニット３４４をユーザが使用することにより、適切な動作単位に対応する重みを変更してデジタル顔形態モデルのポーズを調整し、これによって所望の結果を得る。一旦、重みが調整されてユーザの要求を満たしてしまうと、調整インターフェースモジュール３４０は、調整済みの動作単位に関する情報をＦＡＣＳモジュール３２０に送信し、ＦＡＣＳモジュール３２０では、情報を受信し、そして使用してＦＡＣＳマトリクスを更新する。
【００６２】
図４は、演技から顔アニメーションを作り出す方法４００を示すフローチャートである。ステップ４１０では、顔の動きのデータを撮影する。一の実施形態では、上に議論したように、撮影空間の周りに配置されるＭＯＣＡＰカメラを使用して、アクターのボディ及び顔に取り付けられた反射マーカが反射する赤外光を撮影する。反射光が白色ドットとして黒色の背景から浮き出し、この場合、白色ドットは画像中のマーカを表わす。ＭＯＣＡＰカメラから得られる画像を使用して、マーカが配置される連続フレームボリュームデータを再構成する。顔データをボリュームデータから分割し（基本的には、ボディデータを完全に除去することにより）、そして顔データにステップ４２０でラベル付けする。顔データを上に議論したように、ステップ４３０で安定化させる。次に、顔データをＦＡＣＳマトリクスを使用してステップ４４０でクリーニングする。次に、顔データをステップ４５０で正規化して、例えばマーカ配置が日ごとに変化することに起因する位置ずれ誤差を除去する。
【００６３】
ステップ４６０では、顔データをフレーム毎にデジタル顔形態モデルに、ＦＡＣＳマトリクスの中の重み付け合成された動作単位を使用してリターゲットする。次に、多次元的な調整をユーザがステップ４７０で行ない、このステップでは、デジタル顔形態モデルの一つのポーズを含む動作単位をユーザが変更して、更に望ましい結果を得る。変更済みの動作単位をＦＡＣＳマトリクスに更新情報として取り込む。次に、更新済のＦＡＣＳマトリクスを使用して、更に高い品質のアニメーション出力を生成する。
【００６４】
図１４Ａは、コンピュータシステム１４００及びユーザ１４０２を表わす図を示している。ユーザ１４０２はコンピュータシステム１４００を使用することにより、演技から作り出される顔アニメーションを処理し、そして管理することができる。コンピュータシステム１４００は顔アニメーションシステム１４１６を収容し、そして実行し、顔アニメーションシステム１４１６はＭＯＣＡＰ顔データを処理する。
【００６５】
図１４Ｂは、顔アニメーションシステム１４１６のホストとなるコンピュータシステム１４００を示す機能ブロック図である。コントローラ１４１０は、コンピュータシステム１４００及び当該システムのコンポーネントの動作を制御するプログラマブルプロセッサである。コントローラ１４１０は命令をメモリ１４２０または埋め込みコントローラメモリ（embedded controller memory：図示せず）から読み込み、そしてこれらの命令を実行してシステムを制御する。コントローラ機能を実行するために、コントローラ１４１０は顔アニメーションシステム１４１６をソフトウェアシステムとして提供する。別の構成として、このサービスは、コントローラ１４１０内の、またはコンピュータシステム１４００内の別のコンポーネントとして実装することができる。
【００６６】
メモリ１４２０はデータを一時的に保存して、コンピュータシステム１４００の他のコンポーネントが使用することができるようにする。一の実施形態では、メモリ１４２０はＲＡＭとして実装される。別の実施形態では、メモリ１４２０は更に、フラッシュメモリ及び／又はＲＯＭのような長期メモリまたは永久メモリを含む。
【００６７】
ストレージ１４３０は、コンピュータシステム１４００の他のコンポーネントが使用することができるようにデータを一時的に、または長期間に渡って保存する、例えば顔アニメーションシステム１４１６が使用するデータを保存する。一の実施形態では、ストレージ１４３０はハードディスクドライブである。
【００６８】
メディア装置１４４０は取り外し可能な媒体を受け入れ、そして挿入媒体に対するデータの読み出し、及び／又は書き込みを行なう。一の実施形態では、メディア装置１４４０は光ディスクドライブである。
【００６９】
ユーザインターフェース１４５０は、ユーザ入力をコンピュータシステム１４００のユーザから受け入れ、そして情報をユーザに対して提示するコンポーネントを含む。一の実施形態では、ユーザインターフェース１４５０はキーボード、マウス、オーディオスピーカ、及びディスプレイを含む。コントローラ１４１０はユーザからの入力を使用してコンピュータシステム１４００の動作を調整する。
【００７０】
Ｉ／Ｏインターフェース１４６０は、外部ストレージまたは補助装置（例えば、プリンタまたはＰＤＡ）のような該当するＩ／Ｏ装置との接続を行なう一つ以上のＩ／Ｏポートを含む。一の実施形態では、Ｉ／Ｏインターフェース１４６０のポートは：ＵＳＢポート、ＰＣＭＣＩＡポート、シリアルポート、及び／又はパラレルポートのようなポートを含む。別の実施形態では、Ｉ／Ｏインターフェース１４６０は、外部デバイスと無線通信する無線インターフェースを含む。
【００７１】
ネットワークインターフェース１４７０は、イーサネット（登録商標）接続をサポートするＲＪ−４５または「Ｗｉ−Ｆｉ」インターフェース（これに制限されないが、８０２．１１を含む）のような有線及び／又は無線ネットワーク接続を含む。
【００７２】
コンピュータシステム１４００は、コンピュータシステムでは普通の更に別のハードウェア及びソフトウェア（例えば、電源システム、冷却システム、オペレーティングシステム）を含むが、これらのコンポーネントは図を簡単にするために、図１４Ｂには詳細には示されていない。他の実施形態では、コンピュータシステムの異なる構成を使用することができる（例えば、異なるバスまたはストレージ構成、或いはマルチプロセッサ構成）。
【００７３】
上に説明した図、及び本明細書に開示される実施形態に関連して記載される種々の例示としての論理ブロック、モジュール、及び方法について、これらの要素の機能の面から上に概要を記載してきたことを理解されたい。更に、モジュール内、またはサブユニット内の機能群のグループ分けは、説明を分かり易くするために行なわれている。特定の機能またはステップは、一つのモジュールまたはサブユニットから別のモジュールまたはサブユニットに、本発明から逸脱しない限り移すことができる。
【００７４】
一の実施形態は、一つ以上のプログラマブルプロセッサ及び該当するコンピュータシステムコンポーネントを含むことにより、コンピュータ命令を格納し、そして実行して、例えばモーションキャプチャシステムの種々のサブシステムを提供する（例えば、ＦＡＣＳ技術を使用する校正、マトリクス設定、クリーンアップ（アニメータの描いたラフスケッチを消して、セルに移せるように滑らかな線を持つ完成画に変換する処理）、安定化、正規化、リターゲット、及び調整）。
【００７５】
更に別の変形例及び実施形態を用いることもできる。例えば、モーションキャプチャシステムがサポートするアニメーションは、映画、テレビジョン、広告、オンラインまたはオフラインコンピュータコンテンツ（例えば、ウェブ広告、またはコンピュータ援用システム）、ビデオゲーム、コンピュータゲーム、または他のいずれかのアニメーションコンピュータグラフィックスビデオアプリケーションに使用することができる。別の例では、赤外線マーカ以外の光マーカ、能動発光型素子（例えば、ＬＥＤ）、無線装置（例えば、ＲＦＩＤ）、塗料、加速度計、変形測定器などのような、異なるタイプのモーションキャプチャ技術及びマーカを使用することができる。別の例では、美的入力及び数学的プロセスの組み合わせを使用することにより、筋肉活動を起こす顔をリターゲットソリューションを使用してモデル化する。更に別の例では、数学的、発見的、及び審美的ルールを作成して、アニメートされたキャラクターが喋るときのデジタル顔形態モデルにおける筋肉及び皮膚の動きの忠実度を高める。
【００７６】
開示した実施形態に関する上の記述は、この技術分野のどのような当業者でも本発明を作製する、または使用することができるように行なわれている。これらの実施形態に対する種々の変更は、この技術分野の当業者であれば容易に想到し得るものであり、そして本明細書に記載される一般的原理は他の実施形態に、本発明の技術思想または技術範囲から逸脱しない限り適用することができる。従って、本明細書において提供される記述及び図面は、本発明の実施形態を表わしているので、本発明で広く意図された主題を代表するものであることを理解されたい。更に、本発明の技術範囲は、この技術分野の当業者が想到し得る他の実施形態を完全に包含するものであり、従って本発明の技術範囲は、添付の請求項によってのみ規定されることを理解されたい。
【技術分野】
【０００１】
本発明は概して、モーションキャプチャに関し、特に顔アニメーションを、モーションキャプチャシステムから得られるモーションキャプチャデータのような演技データ、及びビデオデータから得られるビデオ画像を使用して生成する方法及びシステムに関する。
【０００２】
本出願は、２００６年４月２４日出願の「演技から作り出される顔アニメーション」と題する同時係属中の米国仮特許出願第６０／７１２，０８２号の優先権の利益を主張する。上に挙げた特許出願の開示内容は本明細書において参照することにより本明細書に組み込まれる。
【背景技術】
【０００３】
顔及び顔の動きをモデル化し、そしてリアルに見えるように顔の動きをレンダリングする操作は困難な問題であるが、顔がリアルに見えるようにする手法は、モデル化の観点だけでなく、レンダリングの観点から進歩してきた。更に大きな問題は、デジタル顔面を、凝視にも耐えるようにリアルかつもっともらしくアニメートする処理であり、アニメートされた演技のわずかな不備が許容されない場合が多い。十分に精度の高い顔アニメーション（様式化され、かつリアルな）は、従来のキーフレーム技術を利用して技量の優れたアニメータによって制作されるが、これは複雑な作業であり、この作業は、所望の結果をリアルなイメージに近付けようとするので非常に長い時間を要する。
【０００４】
キーフレーム技術とは別に、主要コンポーネント分析を利用する他の方法を用いることによっても、アニメートされた顔モデルを演技データに基づいて開発している。これらの方法では通常、次元が最も低いモデルをデータに基づいて作成する。更に、数学的手法を利用する解決法であるが、このようにして開発される顔モデルは多くの場合、一つ以上の態様において不自然に見える。更に、主要コンポーネントが自然かつ判別可能な顔の動きに一致することがなく、顔の動きを調整することにより所望の結果が得られる場合、結果として次元が低くなると、ユーザにとって顔モデルに対する開発後の変更が困難になり、かつユーザの直感に訴えることがない。すなわち、基底ベクトル（主要コンポーネント分析を使用して得られる）が、アーティストが後の時点で調整することができるいずれの論理式サブセットにも対応することがない。例えば、眉毛が吊り上ると同時に唇の端が吊り上る動きは、演技データに基づいて単一部位の活動として片付けることができる。しかしながら、単一部位の活動を唇の端及び眉毛に対応する別々の活動に分解することができない。従って、唇の端の吊り上がりのみを調整したいと考えるアニメータは、そのように調整すると必ず眉毛部位も活動させることになる。
【０００５】
従って、必要なのは、上述のような従来のシステムに見られるこれらの大きな問題を解決するシステム及び方法である。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、顔アニメーションを、モーションキャプチャシステムから得られるモーションキャプチャデータ、及びビデオデータから得られるビデオ画像のような演技データを使用して生成する方法及びシステムを提供する。
【課題を解決するための手段】
【０００７】
一の態様では、デジタル顔形態モデルをアニメートする方法が開示される。本方法では：複数の動作（活動）単位を定義し；複数の動作単位の各動作単位をアクターの演技を利用して校正し；第１の顔ポーズデータを撮影し；複数の重みを決定し、複数の重みの各重みは、各動作単位に固有に対応し、複数の重みによって、重み付け合成された複数の動作単位を特徴付け、重み付け合成によって、第１の顔ポーズデータを近似し；重み付けされた活動を、各重みを各動作単位に適用した結果を組み合わせることにより生成し；重み付けされた活動をデジタル顔形態モデルに適用し；そして複数の動作単位の内の少なくとも一つの動作単位を、重み付けされた活動に対するユーザによる入力調整内容を使用して再校正する。
【０００８】
別の態様では、デジタル顔形態モデルをアニメートする方法において：複数の動作単位を定義し、各動作単位は第１の顔ポーズデータ及び活動を含み；第１の顔ポーズデータを、撮影される複数の校正演技から生成される校正ポーズデータを使用して校正し、撮影される複数の校正演技の各校正演技は各動作単位に一致し；第２の顔ポーズデータを、撮影される複数の校正演技の内の別の校正演技から生成し；複数の重みを決定し、複数の重みの各重みは、各動作単位に固有に対応し、複数の重みによって、重み付け合成された顔ポーズデータを特徴付け、重み付け合成によって、第２の顔ポーズデータを近似し；重み付けされた活動を、各重みを活動に適用した結果を組み合わせることにより生成し；重み付けされた活動をデジタル顔形態モデルに適用し、そして第１の顔ポーズデータ及び活動を、重み付けされた活動に対するユーザによる入力調整内容を使用して再校正する。
【０００９】
更に別の態様では、顔モーションキャプチャデータ（facial motion capture data）をデジタル顔形態モデルにリターゲットするシステムが開示される。本システムは：複数の動作単位を管理するＦＡＣＳ（顔面表情記号化システム）モジュールと；デジタル顔形態モデルに対応する重み付けされた少なくとも一つの活動を、顔モーションキャプチャデータ、及び複数の動作単位を使用して生成するリターゲットモジュールと；顔アニメーションフレームを、重み付けされた少なくとも一つの活動をデジタル顔形態モデルに適用することにより生成するアニメーションモジュールと；そしてＦＡＣＳモジュールに対応する再校正済みの動作単位を、顔アニメーションに対するユーザによる入力調整内容に従って生成する調整インターフェースモジュールと、を備える。
【００１０】
更に別の態様では、デジタル顔アニメーション方法において：顔モーションデータ（facial motion data）を撮影し；顔モーションデータにラベル付けし；顔モーションデータを安定化させ；顔モーションデータを、ＦＡＣＳマトリクスを使用してクリーニングし；顔モーションデータを正規化し；顔モーションデータをデジタル顔形態モデルに、ＦＡＣＳマトリクスを使用してリターゲットし；そしてＦＡＣＳマトリクスの多次元的な調整を行なう。
【００１１】
本発明の他の特徴及び利点は、この技術分野の当業者であれば、次の詳細な記述、及び添付の図を概観することにより一層容易に理解できるものと思われる。
【００１２】
本発明の構造及び動作の両方に関する本発明の詳細は、添付の図を分析することにより部分的に明らかになる。
【図面の簡単な説明】
【００１３】
【図１】デジタル顔形態モデルをアニメートする方法を示すフローチャートである。
【図２】ＦＡＣＳマトリクスの動作単位を再校正する方法を示すフローチャートである。
【図３】デジタル顔形態モデルをアニメートするシステムの機能ブロック図である。
【図４】演技から作り出される顔アニメーションの方法を示すフローチャートである。
【図５】モーションキャプチャセットにおけるアクターの画像である。
【図６】図Ａは、中立顔ポーズを表わす３つの人物顔画像であり、図Ｂは、眉毛を下げた状態の顔ポーズを表わす３つの人物顔画像であり、図Ｃは、唇の端を吊り上げた状態の顔ポーズを表わす３つの人物顔画像である。
【図７】図Ａは、口を大きく開けた顔ポーズを表わす３つの人物顔画像であり、図Ｂは、唇を真一文字に結んだ顔ポーズを表わす３つの人物顔画像である。
【図８】顔モーションキャプチャデータ品質の変化を表わす３つの人物顔画像である。
【図９】重み付け合成されたＦＡＣＳポーズに対応する重みの例示としての計算を示している。
【図１０Ａ−Ｂ】図Ａは、アニメートされたキャラクターの口が部分的に開いた状態の唇の開度の一例を示す画像であり、図Ｂは、アニメートされたキャラクターの口が完全に開いた状態の唇の開度の一例を示す画像である。
【図１０Ｃ】図Ｃは、アニメートされたキャラクターの口が閉じた状態の唇の開度の一例を示す画像である。
【図１１】調整段階前後のＦＡＣＳポーズの一例を示している。
【図１２】調整操作を施す前後の解決済みのアニメーションフレームの一例を示す。
【図１３】調整操作を施す前後の解決済みのアニメーションフレームの別の例を示す。
【図１４】図Ａは、コンピュータシステム及びユーザを表わす図を示し、図Ｂは、顔アニメーションシステムのホストとなるコンピュータシステムを示す機能ブロック図である。
【発明を実施するための形態】
【００１４】
ここに開示する所定の実施形態は、一人以上のアクター、または一つ以上のオブジェクトの動きを撮影する技術を用いるシステム及び方法を提供する。例えば、ここに開示する一つの方法では、モーションキャプチャ（ＭＯＣＡＰ）システムを利用して、複数のアクターのボディ（体）及び顔の動き、及び表面を、カメラ及びアクターに取り付けた光マーカを使用して撮影する。ＭＯＣＡＰシステムはデータを撮影画像に基づいて構築することにより、映画のアニメーションに使用する。
【００１５】
実施形態において提供される機能では、これらには制限されないが、顔データを、例えば普通の低／高分解能ビデオ及びＭＯＣＡＰ（モーションキャプチャ）を含む撮影手段に関係なく顔面表情記号化システム（facial action coding system：ＦＡＣＳ）を使用してクリーニングし、そして安定させ；顔アニメーションを、ＦＡＣＳ（顔面表情記号化システム）を使用して生成し；そしてＦＡＣＳ動作単位を多次元的に調整する。Paul Eckmann及びWallace Friesenによって提案され、かつ心理学に基づいて設定される深く研究された顔の表情のライブラリを利用するＦＡＣＳ（顔面表情記号化システム）が、コンピュータグラフィックス（ＣＧ）モデルを構築する基礎となってきた。
【００１６】
この記述を一読した後に、この技術分野の当業者には、本発明をどのようにして種々の別の実施形態、及び別のアプリケーションにおいて実施すればよいかが明らかになるであろう。しかしながら、本発明の種々の実施形態がここに記載されるが、これらの実施形態は例示としてのみ提示されるのであって、本発明を制限するために提示されるのではないことを理解されたい。従って、種々の別の実施形態に関する詳細記述は、添付の請求項に示される本発明の技術範囲または特許の広さ（breadth）を制限するものとして捉えられるべきではない。
【００１７】
アクターの演技の正確な複製が要求される場合、多くのプロセスが、アクターの顔の特徴をトラッキングし、そしてトラッキングされたこれらの特徴から生成される情報を使用してデジタルキャラクターを直接作成することにより動作する。これらの特徴として、例えば顔の上の幾つかのマーカサンプル、曲線または凹凸、及び顔の変形表面を使用する。これらのプロセスは、アクターの演技に基づいて生成されるデータを、デジタルコンピュータグラフィックス（ＣＧ）により作成した顔のアニメーションにプログラム変換するために使用される。これらのプロセスが無事に行なわれるかどうかは多くの場合、データの質、最終アニメーションに必要とされる正確性及び迫真性、及び顔面校正（facial calibration）に依存する。アーティスト（トラッカー、フェイシャルリガー、テクニカルアニメータ）及びソフトウェア技術専門家の両者の専門知識も多くの場合、所望の最終製品を実現するために必要になる。顔面画像処理パイプライン（facial processing pipeline）を構築して、同時に撮影される多くのアクターの演技の何百ものショットを最終的に作成し、そしてアーティスト及びアニメータによる入力及び制御を要求して、極めて困難な更なる解決課題を提示する。
【００１８】
演技は、アクターの顔を眼に見える形で捉えたものであると考えられる。ほとんどの場合において、アクターは一人で、または他のアクターと一緒になったグループの中で発語し、そして感情を表わす。アクターの顔を捉えるこの操作は多くの場合、アクターのビデオ演技を撮影することにより行なわれる。ビデオフレームは、アニメータが純粋に参照のために使用して、更に処理してポイントサンプルを抽出する、または３次元表面を変形させ、次に３次元表面を、デジタル顔形態モデルにリターゲットする。種々の技術的な解決課題を、２次元または３次元再構成データを使用することができるようになる前に解決する必要があり、解決課題としては、カメラを校正する処理、ポイント群をトラッキングする処理、及び３次元情報を再構成する処理を挙げることができる。
【００１９】
音声のような他の種類の媒体を使用して、音声特徴を捉え、そしてデジタル顔形態モデルを構築してきた。ほとんどの作業では、一連の会話における唇及び口の動きを近似するが、眉毛、眼のような顔の他の領域、及びキャラクターの感情全体に関する明示的な情報を持つことができない。これらの属性は、事後処理の間に自動的に生成される、または追加される必要がある。一の実施形態では、顔を模擬することによりデジタル顔形態モデルを構築している。別の実施形態では、サイバーグローブのような制御デバイスを使用して制御コマンドを入力し、そして指の動きを、デジタル顔形態モデルにリターゲットする。
【００２０】
デジタル顔形態モデルを構築するこれらのキャプチャ方式から結果が得られているが、顔アニメーションを作成するための共通モードのデータは光データであり、光データを使用することにより、デジタル顔形態モデルにリターゲットされる顔の所定の特徴ポイントを再構成している。
【００２１】
顔の表情を捉えることができる方法には種々の方法がある。一の実施形態では、ＭＯＣＡＰシステムはボディ及び顔のデータを一緒に撮影する。顔データを、アニメートされたキャラクターにターゲットするが、この場合のキャラクターの顔は様式化され、実際のアクターの顔を忠実に表わしてはいない。別の実施形態では、画像を利用することにより、リアルなアニメーションをキャラクターに持たせて、キャラクターが所望通りにリアルに見え、かつキャラクターの顔がリアルに動くようにする。更に別の実施形態では、顔のＭＯＣＡＰ（モーションキャプチャ）データは、座席に座っている位置で別々に獲得され、そして生成される顔アニメーションで、キーフレームのボディショットにブレンド処理を施す。
【００２２】
データ主導の顔アニメーションが自然に流れて見えるようにする作業は非常に困難な解決課題である、というのは、種々のレベルのデータ品質を提供する多くの要件が存在するからであり、これらの要件として、システムの種々のタイプ、同時に撮影される人間の数、及び顔のみの撮影に対する顔及びボディの撮影の性質を挙げることができる。ＭＯＣＡＰシステムは複数のアプローチをサポートすることができるので、これらの、及び他の種々の提供要件に適合させることができる。
【００２３】
一の実施形態では、顔及びボディの動きは、「撮影ボリューム（capture volume）」の周りに配置される複数のカメラ（例えば、２００台のカメラ）で同時に撮影される。例示としての撮影ボリュームは、それぞれ長さ、幅、及び高さとして表わすと、約２０フィートｘ２０フィートｘ１６フィートである。複数の赤外線マーカ（例えば、８０個のマーカ）をアクターの顔に取り付け、そして使用することにより、アクターの演技を撮影する。カメラ、撮影ボリューム、及びマーカの他の構成を使用することができることを理解されたい。撮影データは３次元で、複数のカメラの位置を使用して事後処理中に再構成される。ＩＭＡＧＥＷＯＲＫＳTMが独自に開発したＩＭＡＧＥＭＯＴＩＯＮTM技術のような、ＭＯＣＡＰ（モーションキャプチャ）データの撮影、及び処理に適合させたツールを使用することができる。モーションキャプチャボリューム内でアクションするアクターの人数は、ボリュームの大きさ、カメラ分解能、可視光及び可視信号の強度、及び他の関連パラメータによって変わる形で少人数から多人数に変えることができる。
【００２４】
通常のＭＯＣＡＰ（モーションキャプチャ）セッションの間、アクターの全てに対して離れて立つように指示する。次に、各アクターは個々に標準のＴ−ポーズ姿勢を取り、この場合、両脚を揃え、両手を伸ばし、そして顔をニュートラル顔にしてリラックスする。Ｔ−ポーズは、事後処理の間にＭＯＣＡＰ（モーションキャプチャ）データのボディ及び顔の両方をサーチし、そして標準にするために有用である。また、ＭＯＣＡＰ（モーションキャプチャ）「撮影（ｔａｋｅ）」のたびに、アクターの全員は、撮影ボリューム内で標準のＴ−ポーズに戻って、顔はリラックスしたニュートラル顔になっている。Ｔ−ポーズは、顔面画像処理パイプラインによって正規化プロセスの中で使用されて、ＭＯＣＡＰ（モーションキャプチャ）演技の２日目におけるマーカ配置が、例えば校正の日におけるマーカ配置（「マスターＴ−ポーズ（master T-pose）」とも表記される）に確実に対応するようになる。図５は、各アクターがＴ−ポーズを撮影ボリューム内で取っているアクター群の様子を示している。モーションキャプチャ適応（ＡＤＲ（アドバンストダウンウェブリサンプリング）セッションとして知られる）の別の事例では、アクターが一人だけ着席位置でアクションしており、この場合、センサがアクターの顔に向けられている。このような場合においては、Ｔ−ポーズは顔のニュートラルポーズのみに対応し、ボディ位置には対応しない。
【００２５】
顔面表情記号化システム（ＦＡＣＳ）によれば、ヒトの顔は筋肉を有し、筋肉は「動作単位（action units）」と呼ばれるグループ単位で連動して働く。ＦＡＣＳは、所定の動作単位が稼働する時点、及び各動作単位に顔ポーズにおける相対的な影響度を割り当てる方法を決定するフレームワークを提供する。ＦＡＣＳは元々は、心理学者及び行動科学者が顔の表情及び動きを究明することができるように設計されたのであるが、ＦＡＣＳは他の技術領域にも適合してきている。
【００２６】
顔の表情は７２個の異なる動作単位に分類されている。各動作単位によって筋肉の動作（「活動（activation）」）を定義し、筋肉の動作によって瞬時変化が顔の外見に現われる。顔の外見におけるこれらの変化は人ごとに、顔の解剖学的構造、例えば骨格構造、脂肪性沈着物、皺（しわ）、種々の顔の部位の形状、及び関連する他の顔の外見によって変わり得る。しかしながら、これらの動作単位が稼働すると、或る共通性を人々の間に見出すことができる。ＦＡＣＳにおいて使用される動作単位は、顔の動作の顔の位置、及び関与する顔の動作の種類を利用する。例えば、顔上部は、眉毛、前額部、及び瞼に影響する筋肉を持ち；口及び唇の周りの下部の筋肉は別のグループを形成する。これらの筋肉の各筋肉はグループ単位で働いて動作単位を構成する；そしてこれらの動作単位を更に、顔の左右領域に細かく分割し、これらの左右領域の動作単位は非対称に、かつ互いに独立して稼働することができる。一般的に、ＦＡＣＳによって提案される動作単位群の全ては、ＣＧアニメーションにおいて使用することができる動的な顔の表情の広範な基礎となる。
【００２７】
モーションキャプチャシステムはＦＡＣＳ（顔面表情記号化システム）を、顔のＭＯＣＡＰ（モーションキャプチャ）データを撮影し、そしてアニメートされるキャラクターの顔にリターゲットするための土台として使用することができる。ＭＯＣＡＰ（モーションキャプチャ）演技の前に、各アクターは、動作単位群の全ての極端なバージョンを含む一連の校正ポーズを演技する。一つの動作単位に対応する３次元の再構成顔面ポーズデータで、アクターが使用する極端な顔の表情を捉えて当該動作単位を稼働する。一の実施形態では、ＦＡＣＳ（顔面表情記号化システム）は６４個のポーズを含み、これらのポーズの内の幾つかのポーズを左位置及び右位置に分離する。別の実施形態では、明瞭な母音（phoneme）に対応する１８個の母音のポーズも取り入れる。
【００２８】
図６Ａ〜６Ｃ、及び７Ａ，７Ｂは、ＦＡＣＳ（顔面表情記号化システム）を利用するＭＯＣＡＰ（モーションキャプチャ）システムにおいて使用される複数の動作単位の内の幾つかの動作単位を示している。上に議論したように、ＦＡＣＳ（顔面表情記号化システム）は、７２個以上の動作単位を提案し、これらの動作単位は、顔の筋肉の動き、及び頭の動きを含む表情を含んでいる。図６Ａは、ニュートラル顔ポーズを表わす３つの人物顔画像であり；図６Ｂは、眉毛を下げた状態の顔ポーズを表わす３つの人物顔画像であり；図６Ｃは、唇の端を吊り上げた状態の顔ポーズを表わす３つの人物顔画像であり；図７Ａは、口を大きく開けた状態の顔ポーズを表わす３つの人物顔画像であり；そして図７Ｂは、唇を真一文字に結んだ状態の顔ポーズを表わす３つの人物顔画像である。図６Ａ〜６Ｃ、及び７Ａ，７Ｂの各図では、実際のＦＡＣＳ（顔面表情記号化システム）の基準、アクターの演技、及びキャラクターにリターゲットした表情を左から右の方向に示している。
【００２９】
上に議論したように、一の実施形態では、データ撮影は、撮影空間内で演技する一人以上のアクターのボディの動き、及び顔の動きの両方を撮影する光学システムを使用して行なわれる。この実施形態では、赤外線カメラを含む受動光学コンポーネントを使用して、マーカによって反射される赤外光を撮影する。このようにして撮影される画像は、エントロピーの小さい画像であり、この画像は、赤外光が全く検出されない大部分の領域としての黒色領域と、そして反射マーカを表わす白色ドットと、を含む。画像中の白色ドットのサイズは、ドットがボディマーカ（大きい）または顔マーカ（小さい）のいずれであるかによって、カメラからのアクター（従ってマーカ）の距離によって、そして普通はアクターによって生じる隠蔽（occlusion）が生じたかどうかによって変わる。
【００３０】
エントロピーの小さい画像は少なくとも２つの利点をもたらす：（１）カメラは画像を高解像度で、かつ高フレームレートで、通常６０Ｈｚで撮影し、そして記録することができ；そして（２）撮影マーカデータを３次元再構成することによって、各マーカを複数の画像に亘って異なる視点で三角測量してマーカの位置を空間内で特定する。対応するポイント群を自動的に関連付ける機能は、白色ドットのみを黒色を背景として使用することにより大幅に向上する。
【００３１】
３次元再構成の後、マーカは複数のデータフレームの空間位置（すなわち、ｘ，ｙ，ｚ）によって表わされる。しかしながら、データは多くの場合、ノイズを含み、データフレーム群の全てに亘って時間関連性を持つ（すなわち、ラベル付けに一貫性が保たれる）ということがなく、そしてデータにはギャップが存在する。図８は、顔の動きを撮影したときのデータ品質の変化を表わす３つの人物顔画像である。図８の最も左側の人物の顔に示すのは、品質が比較的良いデータの例である。図８の中央の人物の顔に示すのは、品質が比較的悪いデータの例である。図８の最も右側の人物の顔に示すのは、品質の悪いデータの例である。これらの問題は、顔データモデル及びデータの時間関連性の両方に基づく情報を考慮に入れる学習型アプローチにおいて解決することができる。
【００３２】
各データフレームに関して再構成されるマーカは、ボディマーカ及び顔マーカの両方を含むことができる。ボディマーカ及び顔マーカは共に、顔データを処理する前にラベル付けを必要とする。すなわち、各マーカに、データフレーム群に共通する固有の識別情報を割り当てる。全てのボディマーカ及び顔マーカに、これらのマーカの軌跡に従ってラベル付けする作業は、特に非常に多くのマーカをボリューム内に観察することができる場合に面倒であり、かつ間違いを起こし易いプロセスである。一の実施形態では、ボディマーカ（大きい）と顔マーカ（小さい）との間のサイズの相違を利用する２ステッププロセスが使用される。まず、３次元再構成を行ない、この場合、顔マーカを無視し、そしてボディマーカのみを、普通は速度に関する制約に従って再構成し、そしてラベル付けする。次に、３次元再構成を行なって顔マーカを取得するが、この場合普通、ボディマーカも捕捉されることになる。ボディマーカは、第１ステップでラベル付けされた全てのマーカを消去することにより削除され、顔データのみを残す。別の実施形態では、顔マーカにラベル付けする操作は、該当するアクターの顔に対して詳細に調整された動作単位のライブラリ（「ＦＡＣＳマトリクス」）を利用して自動的に行なわれる。
【００３３】
演技中、アクターは通常、撮影空間内を動きまわる。動くことによって、アクターが喋り、そして感情を表している間に、顔マーカがボディに追随して並進移動する。顔マーカデータをデジタル顔形態モデルにリターゲットするために、ボディ及び頭部の動きから生じる並進運動及び回転運動による影響を無くすことにより顔データを安定化させると便利である。非常に大きな困難が、安定化に関して生じる、というのは、アクターが演技するときに、顔マーカに対して必ずしも、標準的な位置への剛性変換が行なわれる訳ではないからである。剛性運動は、頭部の回転運動及びアクターの動きによって生じるが、アクターが感情を表わし、そして喋ると、顔マーカ群の内の多くのマーカが、これらのマーカの剛性予測値からずれる方向に位置を変える。幾つかの安定ポイントが一致するだけで通常、逆変換の解を算出するために十分である。しかしながら、フレーム毎に、どのマーカが相対的に安定であるので、当該マーカに剛性変換のみが行なわれており、そしてどのマーカが、感情表現または喋りに関連する他の動きに影響されているかを判断することは困難である場合が多い。マーカの３次元再構成位置のノイズは、剛性変換が行なわれているかどうかの判断の邪魔にもなり得る。
【００３４】
一の実施形態では、階層的な解決策が、まず全体的な（または、粗い）安定化を、顔の表情によって動くことがほとんどないマーカを使用して行なうことにより実行され、このようなマーカとして、頭部、耳、及び鼻骨に取り付けられるマーカを挙げることができる。次に、この解決策は、顔面モデルに対するマーカの動きを求めることにより、局部的な（または、細かい）安定化を行なって微調整される。
【００３５】
顔データを安定化させた後、顔データは、隠蔽、カメラの視野からの消滅、３次元再構成の誤差によって生じるノイズ、及び／又はマーカに対するラベル付け間違いに起因して、消失マーカとなる恐れがある。一の実施形態では、クリーニング兼フィルタリングツールが使用され、このツールは、高品質の顔モデルデータを利用する学習システムを含む。クリーニング兼フィルタリングツールは、消失マーカの位置の推定値を生成し、ノイズを除去し、そしてマーカ群の全ての継続的な利用性をほぼ確保する。システムは、拡張することにより、広範囲の顔の表情によって生成されるデータを処理することができ、そして調整することにより、顔データのダイナミクスを変えることができる。
【００３６】
クリーニングツールでは、下位理論のＦＡＣＳ（顔面表情記号化システム）理論を利用して、マーカ群を筋肉グループ群に体系化する。筋肉の動きを利用して、消失マーカ群の取り得る位置を確率論的に推定することができる。消失マーカ位置は、隣接ポイント群において空間的に推定され、そしてマーカ群の動きの範囲を分析することにより時間的に推定される。一の実施形態では、確率論的モデル及び該当するマーカ筋肉グループ分けが、各アクターに合うように調整される。
【００３７】
一旦、マーカ位置の全てが求まる（または、推定される）と、標準的な周波数変換を利用してノイズをデータから除去する。普通、ノイズとして分類される高周波数成分は、アクターの筋肉の速い確かな動き、及びアクターの顔の表情の変化も表わすことができる。
【００３８】
１日よりも長い期間に亘って撮影される映画のような演技を長期間に亘って撮影する場合、アクターは通常、モーションキャプチャマーカを取り外し、そして再び取り付ける。種々の処置を行なって、マーカ群が顔の同じ位置にそのたびに配置されていることを確認するが、小さな差異が普通、毎日の場所でのマーカ配置に発生する。これらの差異は、以下に説明される、リターゲット機能による解決策に大きく影響し得る。従って、正規化が、マーカ配置を調整するための重要な要素となって、毎日の場所における差異が、アクターが演技する顔の表情の大きさに悪い影響を与えることがなく、かつ顔の表情が正確にデジタル顔形態モデルに反映されるようにする。
【００３９】
一の実施形態では、正規化は２ステップで行なわれる。ＭＯＣＡＰ（モーションキャプチャ）による各々の撮影は、図５に関連して議論したように、アクターがＴ−ポーズを演技することにより始まり、そして終了する。ＭＯＣＡＰによる次の撮影における各アクターのＴ−ポーズは、校正中に決定されるアクターのマスターＴ−ポーズ（master T-pose）に一致させる。Ｔ−ポーズをマスターＴ−ポーズに一致させる操作では、関連する種々の目印マーカを利用する。例えば、眼及び口の端が使用される、というのは、これらの部位は、日ごとに変化することがほとんどないからである。各マーカに対応するオフセットベクトルは、Ｔ−ポーズ及びマスターＴ−ポーズの一致度のずれに従って計算される。オフセットベクトルをＭＯＣＡＰによる該当する撮影におけるＴ−ポーズに適用して、Ｔ−ポーズの各マーカがマスターＴ−ポーズのマーカ群に識別可能に一致するようにする。オフセットは、当日中のアクターの演技の全てに対して適用されるので、フレーム群の全てのフレームのデータが正規化される。
【００４０】
上に議論したように、ＦＡＣＳ（顔面表情記号化システム）は、ほとんどの顔の表情を表わすと考えられる一連の動作単位またはポーズを提供する。一の実施形態では、一人のアクターが演技する校正ポーズであって、ＦＡＣＳ（顔面表情記号化システム）ポーズ（すなわち、動作単位）に対応する顔の表情を表わす校正ポーズのＭＯＣＡＰ（モーションキャプチャ）フレームが撮影される。これらの校正ポーズの内の幾つかの校正ポーズを左側及び右側に分割して、アクターの顔の非対称性を捉える。続いて、アクターの演技の入力フレーム群が、ＦＡＣＳ（顔面表情記号化システム）マトリクスのＦＡＣＳポーズ（すなわち、動作単位）の全ての空間において分析される。従って、これらの動作単位は、顔面ベクトルと考えることができ、そして各動作単位に対応する重みは、一つの入力データフレームに対応して計算される。重み付け合成された動作単位群（すなわち、顔面ベクトル、ＦＡＣＳポーズ）を決定して、入力データフレームの新しいポーズを近似する。
【００４１】
図９は、重み付け合成されたＦＡＣＳポーズに対応する重みｗ1，ｗ2．．．ｗnを計算する例を示している。重みｗ1，ｗ2．．．ｗnを計算することにより、ｎ個のＦＡＣＳ動作単位の各動作単位に関する影響が決定される。一の実施形態では、重みの計算において、線形最適化を行なう。別の実施形態では、重みの計算において、非線形最適化を行なう。
【００４２】
重みを、関連するｎ個のＦＡＣＳ動作単位に適用して、重み付けされた活動（ｗｅｉｇｈｔｅｄ ａｃｔｉｖａｔｉｏｎ）を生成する。重み付けされた活動は、顔筋肉系で構築されたデジタル顔形態モデルに反映される。
【００４３】
一の実施形態では、アニメートされたキャラクターの顔ポーズであって、ＦＡＣＳポーズに対応する顔ポーズは、アーティストがフェイシャルリグ（facial rig）を使用することにより生成される。別の実施形態においては、デジタル顔形態モデルの設定では、ＩＭＡＧＥＷＯＲＫＳTMが独自に開発したキャラクター顔生成システム（character facial system）を利用する。キャラクター顔生成システムは、デジタル顔形態モデルの頂点を引っ張り、そして少しずつ動かし易くして、結果として得られる変形がヒトの顔の形状に一致するようにする。
【００４４】
デジタル顔形態モデルは種々の筋膜レイヤ（fascia layers：筋膜層）を含み、これらの筋膜レイヤをブレンドすることにより、最終的な顔の変形をデジタル顔形態モデルに生じさせる。これらの筋膜レイヤは一の実施形態では、顔筋肉変形を可能にする筋肉レイヤ（muscle layer）、顎の動きを可能にする顎レイヤ（jaw layer）、種々の顔領域の皮膚の膨らみを制御するボリュームレイヤ（volume layer）、及び唇の動きを明らかにする開度レイヤ（articulation layer）を含む。筋肉レイヤは、顔を変形させる筋肉制御を行なう頭蓋縫合部（skull patches）を含む。筋肉制御は、ＭＯＣＡＰ（モーションキャプチャ）データから生成される重み付けされた活動によって行なわれる。顎レイヤは、デジタル顔形態モデルの顎の動きを制御し易くする。ボリュームレイヤは膨らみを、デジタル顔形態モデルに生じる変形に付ける。ボリュームレイヤは、皺及び他の顔変形のモデル化を容易にし、モデル化は、ＭＯＣＡＰ（モーションキャプチャ）データから生成される重み付けされた活動によって行なうことができる。開度レイヤは、唇が変形するときの唇の形状に関与する。詳細には、開度レイヤは、特に唇を顔の表情の中で薄く広げる、またはすぼめるときの唇の起伏及び膨らみを制御し易くする。図１０Ａは、アニメートされたキャラクターの口が部分的に開いたときの唇の開度（lip articulation）の一例を示す画像である。図１０Ｂは、アニメートされたキャラクターの口が最も大きく開いたときの唇の開度の一例を示す画像である。図１０Ｃは、アニメートされたキャラクターの口が閉じるときの唇の開度の一例を示す画像である。
【００４５】
これらの筋膜レイヤは、デジタル顔形態モデルに貼り付けることができる。入力ＭＯＣＡＰ（モーションキャプチャ）データはデジタル顔形態モデルに、筋膜レイヤを起動する重み付けされた活動として、マッピングされる、またはリターゲットされる。上に議論したように、ＭＯＣＡＰデータの入力フレームは、ＦＡＣＳ（顔面表情記号化システム）マトリクスの動作単位群（すなわち、顔面ベクトル群）の全てから成る空間において分析される。結果として得られる重みによって、ＦＡＣＳマトリクスの動作単位群の各動作単位が、筋膜レイヤを起動する際に及ぼす比例作用（proportional influence）を定量化する。しかしながら、重みは、数学的手法（例えば、線形最適化及び非線形最適化）を使用して得られるので、デジタル顔形態モデルに現われ、かつ結果として得られる表情は、所望の表情を明らかにしていると自然に認識される顔変形を複製していないことがある。すなわち、種々のマッピングソリューションを使用して行なわれるフェイシャルアニメーションのリターゲット（facial retargeting）は、数学的観点からは最適に正しく行なうことができるが、結果として得られる顔の表情は、最終形態のアニメーションショットの所望の外見を忠実に表わすことができない、または最終形態のアニメーションショットの要件を忠実に満たすことができない。
【００４６】
忠実ではない結果を生じる幾つかの理由が存在する。アクターは、ＦＡＣＳ（顔面表情記号化システム）マトリクスに対応して初めに提供される校正ポーズに従って演技しない可能性があるので、動作単位ではアクターの演技を表わすことができず；リターゲット機能の非一貫性（retargeting inconsistencies）が、数学的に正しいマーカデータを美的にデザインされた顔にマッピングする場合に生じることがあり；デジタル顔形態モデルがアクターの顔を忠実に表わすということができず；アクターの顔へのマーカ配置の違いが日ごとに大きくなり；そして／または所望のアニメーションが、例えば所望の表情がＭＯＣＡＰ（モーションキャプチャ）データに含まれない、または捉えた表情の誇張を試みる場合に、アクターが演技する動作に一致しない可能性がある。
【００４７】
多次元調整システムは、アニメータが行なう調整フィードバックを使用して、正しくない数学的解決策による影響を小さくすることができる。この操作は、ＦＡＣＳ（顔面表情記号化システム）の顔面ベクトルが実際のヒトの表情を近似しており、従って顔面ベクトルをアニメータが容易に調整することができるので数学的に行なうことができる。ＦＡＣＳ（顔面表情記号化システム）による解決策、及びリターゲット機能が実行された後、アニメータは一つ以上の選択フレーム（例えば、許容できない結果を含む５〜１０フレーム）を調整して、「正しい外見」をアニメータの芸術的判断において実現することができる。この調整は、選択フレームのポーズに関連するＦＡＣＳ解決策から得られる重みを変更することにより行なわれる。次に、変更済みのポーズを使用して、ＦＡＣＳマトリクスを更新し、そして最適化する。従って、更新済みのＦＡＣＳマトリクスは、動きに伴う実際のマーカの範囲だけでなく、変更済みの重みを利用する動作単位を含む。一の実施形態では、数学的な非線形最適化ツールを使用して動作単位ポーズデータ及び活動レベルを最適化する。調整プロセスでは、芸術的入力はアーティストまたはユーザから、重みを変更して、表情一式（expression suite）全体をユーザの要望に極めて良好に一致させることにより取り込まれる。この操作は幾つかのフレームに対して行なわれる。次に、調整プロセスでは、変更済みの重みの全てに基づいて学習を行ない、新規の／変更済みのＦＡＣＳマトリクスを得る。変更済みのＦＡＣＳマトリクスを、ＭＯＣＡＰ（モーションキャプチャ）データに対する次の解決作業において使用して、アニメータが提供する調整済みの重みを、選択フレームのポーズに適用する。ＦＡＣＳ（顔面表情記号化システム）ライブラリにおける変更も他のフレームに取り込んで、アニメーション全体に亘る結果を向上させる。更に、変更済みのＦＡＣＳライブラリによって、依然として満足できない結果がもたらされるとすると、アニメータは更に調整を行なって、更新済みのＦＡＣＳライブラリを構築することができる。
【００４８】
図１１は、調整操作の前後のＦＡＣＳポーズの一例を示している。図１１の左側の画像は、唇を閉じて母音を発声する位置を調整前後で重ねた状態を示している。図１１の右側の画像は、唇をぎゅっと引き締めたポーズを調整前後で重ねた状態を示している。新規のマーカ位置（黒で示す）は、最適化された位置に、アニメータが補正した重み値に基づいて幾つかの調整対象のフレームに亘って調整されている。この変更は、描かれる２つのポーズについて示されるが、多くの場合、アニメータが行なう入力調整の性質によって変わる形で、もっと多くのポーズについて行なわれる。
【００４９】
図１２及び１３は、調整操作を施す前後の解決対象のアニメーションフレームの例を示している。図１２では、左側の画像は、最初の校正済みのＦＡＣＳマトリクス（calibrated FACS matrix）を使用して解決されるフレームを示し、そして右側の画像は、変更済みの（調整済みの）ＦＡＣＳマトリクスを使用して解決される同じフレームを示している。結果として得られる効果は、ポーズの右側の方の唇を相対的にぎゅっと引き締める状態に集中的に現われている。図１３では、左側の画像は、最初の校正済みのＦＡＣＳマトリクスを使用して解決されるフレームを示し、そして右側の画像は、変更済みの（調整済みの）ＦＡＣＳマトリクスを使用して解決される同じフレームを示している。アクターは、「ｐｌｅａｓｅ」という単語の始めの音を発声している。最初の校正済みのＦＡＣＳマトリクスを使用する解決策が、唇を閉じて最初の音節を発する様子を示していないのに対して、変更済みのＦＡＣＳマトリクスを使用する解決策は、唇を閉じる様子を示ししている。
【００５０】
図１は、デジタル顔形態モデルをアニメートする方法１００を示すフローチャートである。ステップ１１０では、動作単位をＦＡＣＳ（顔面表情記号化システム）マトリクスに関して定義する。一の実施形態では、上に議論したように、ＦＡＣＳマトリクスは６４個の動作単位を含み、各動作単位は、連動して動く顔の筋肉群からなるグループ群を定義して、特定の顔の表情を生成する。動作単位を更に細かく分割して、顔の左側及び右側を表わし、従って非対称な顔ポーズを構成することができる。
【００５１】
ＦＡＣＳマトリクスの動作単位をステップ１２０で校正する。通常、各アクターは固有の個人化されたＦＡＣＳマトリクスを持つ。一の実施形態では、各動作単位は、動作単位に対応するポーズをアクターが演技するときの動きを撮影することにより校正される。顔マーカデータは、上に説明したように撮影され、ＦＡＣＳによってクリーニングされ、そして安定化され、更に特定の動作単位に一致するＦＡＣＳマトリクスに割り当てられる。別の実施形態では、アクターはポーズを極端な仕草で演技して、ポーズを演技中に実践するときのマーカ偏位（marker excursions）の予測限界（expected bounds）を設定する。
【００５２】
校正（ステップ１２０）が完了した後、ＭＯＣＡＰ（モーションキャプチャ）データを演技中に取得する。新規の顔ポーズデータは、ＭＯＣＡＰデータが演技及び取得の間に生成されているときに、一度に１フレーム分だけステップ１３０で受信される。ＭＯＣＡＰデータのフレームは、撮影空間の顔マーカ位置を表わすボリューム（３次元）データを含む。一の実施形態では、ボリュームデータは上に説明したように、受信される前に、ＦＡＣＳによってクリーニングされ、そして安定化される（ステップ１３０）。
【００５３】
新規の顔ポーズデータを近似し、かつ重み付け合成された動作単位を特徴付ける重みをステップ１４０で決定する。動作単位は、顔の所定の筋肉群の活動を表わし、そして上に説明した顔面ベクトルと見なすことができる。従って、一つ以上の動作単位−ＦＡＣＳマトリクスの動作単位群の全てを含む−は、要素群が重み付け合成されると、要素群が新規の顔ポーズデータを近似するような要素として使用される。すなわち、新規の顔ポーズデータは、ＦＡＣＳマトリクスの所定の動作単位群の或る組み合わせとして特徴付けられる。重みを決定するステップでは、各動作単位に関連付けられ、かつ重み付け合成された顔ポーズデータを新規の顔ポーズデータに最適にフィッティングする。一の実施形態では、最小二乗フィッティングのような線形最適化を使用して最適な組み合わせの重みを計算する。別の実施形態では、非線形最適化を使用してフィッティングを実行する。
【００５４】
一旦、重みが決定される（ステップ１４０）と、重み付けされた活動がステップ１５０で生成される。一の実施形態では、重みを、各動作単位に関連付けられる筋肉群の活動に適用し、そして結果として得られる活動を合成して重み付けされた活動を生成する。次に、重み付けされた活動をデジタル顔形態モデルにステップ１６０で適用する。
【００５５】
処理することができるＭＯＣＡＰデータフレームが更にある場合（ステップ１７０で判定される）、新規のＭＯＣＡＰデータフレームをステップ１３０で受信し、そしてプロセスが上に説明したように進行する。処理することができるＭＯＣＡＰデータフレームがこれ以上は無い場合、プロセスはステップ１８０に進んで、ＦＡＣＳマトリクスを再校正する。一の実施形態では、ＦＡＣＳマトリクスを再校正するステップ（ステップ１７０）は、ユーザによってコマンドが出されたときに、処理することができるＭＯＣＡＰデータフレームが更にある状態になっている間に行なわれる。
【００５６】
ＦＡＣＳマトリクスを再校正するステップ（ステップ１７０）では、重み付けされた活動に対する調整内容をユーザから受信する。例えば、ユーザが特定フレームの或るポーズに対する変更を希望する場合、ユーザはフレームを選択し、そして重み付けされた活動を生成するために使用される重みを調整することができる。重みは所定の動作単位に対応し、かつ動作単位は異なる顔の動き（すなわち、所定の顔の筋肉群の活動）に対応するので、ポーズは、変更したいと考えているポーズの特定の形態を制御する顔の筋肉群に対応する重みを操作することにより調整することができる。例えば、口の左隅の動きを動作単位において定義する場合、デジタルモデルの口の左隅をもっと極端な位置に、またはもっと極端ではない位置に、当該動作単位に関連付けられる重みを操作することにより移動させる。従って、アニメータまたはアーティストは、例えば顔の表情の種々の形態を、顔の自然な要素（すなわち、動作単位）を操作することにより制御する能力を持つ。
【００５７】
図２は、ＦＡＣＳ（顔面表情記号化システム）マトリクスの動作単位の再校正（ステップ１８０）を示すフローチャートである。ステップ２００では、ユーザが変更したいと考えるデジタル顔形態モデルのポーズを含むフレーム群を選択する。例えば、数千のデータフレームの中から、５〜１０フレームを選択して、顔データを変更することができる。各選択フレームに関して、重みを変更して所望の顔ポーズをステップ２１０で生成する。一の実施形態では、該当する動作単位を、重みの変更に応じる形で変更することにより、調整済みの重みを取り込み、そしてＦＡＣＳマトリクスに転送する。従って、ＦＡＣＳマトリクスは、これらの特定の動作単位の新バージョンで更新され、特定の動作単位を変更することにより、これらの動作単位に関連付けられる特定の顔ポーズに対するユーザの期待に応える。別の実施形態では、図１に示す方法に従って始めに処理される同じデータセットは、更新済のＦＡＣＳマトリクスを使用して再処理される。調整された特定フレーム群のデータを次に、デジタル顔形態モデルに更に望ましい形でリターゲットするが、変更済みの動作単位が重み付けに関して依然として重要な役割を果たす場合の他の顔ポーズデータもこのようにしてリターゲットすることにより、アニメーションの品質全体を向上させる。
【００５８】
図３は、デジタル顔形態モデルをアニメートするシステム３００の機能ブロック図であり、システム３００は、リターゲットモジュール（retargeting module）３１０と、ＦＡＣＳモジュール３２０と、アニメーションモジュール３３０と、そして調整インターフェースモジュール３４０と、を含む。
【００５９】
リターゲットモジュール３１０は、クリーニングされ、かつ安定化された顔ＭＯＣＡＰ（モーションキャプチャ）データ、及び動作単位をＦＡＣＳモジュール３２０から受信する。ＦＡＣＳモジュール３２０は、クリーニングされ、かつ安定化された校正データを受信し、そしてＦＡＣＳマトリクスの複数の動作単位を維持し、ＦＡＣＳマトリクスの機能は上述の通りである。クリーニングされ、かつ安定化された校正データを使用して、ＦＡＣＳモジュール３２０によって維持されるＦＡＣＳマトリクスの動作単位を校正する。リターゲットモジュール３１０は、重み付けされた活動を、当該モジュール内で決定される重みに従って生成し、重みは重み付け合成された動作単位を特徴付け、重み付け合成された動作単位は、受信するＭＯＣＡＰデータによって表わされる顔ポーズデータを近似する。
【００６０】
アニメーションモジュール３３０は、重み付けされた活動を受信し、そしてアニメーションデータを生成する。アニメーションデータは、デジタル顔形態モデルを重み付けされた活動に従って起動した結果を含む。一の実施形態では、アニメーションモジュール３３０はデジタル顔形態モデルを維持し、そしてリギングユニット（ｒｉｇｇｉｎｇ ｕｎｉｔ）３３２を含み、リギングユニット３３２を使用して筋膜レイヤをデジタル顔形態モデルに貼り付ける（生成する）。詳細には、筋膜レイヤは、重み付けされた活動が適用されるデジタル顔形態モデルの構成要素であり、これらの構成要素によってアニメーションデータが生成される。別の実施形態では、アニメーションモジュール３３０は反映ユニット（transfer unit）３３４を含み、反映ユニット３３４は、重み付けされた活動をデジタル顔形態モデルの筋膜レイヤに適用する。
【００６１】
調整インターフェースモジュール３４０は、ユーザによる入力調整内容を受信するように構成され、そしてユーザによって使用されて、ＦＡＣＳモジュール３２０が維持するＦＡＣＳマトリクスの再校正済みの動作単位を生成する。一の実施形態では、調整インターフェースモジュール３４０はフレーム選択ユニット３４２を含み、フレーム選択ユニット３４２をユーザが使用することにより、デジタル顔形態モデルに関して結果として得られるポーズが不十分であると見なされるアニメーションデータフレームを選択する。フレーム選択ユニット３４２を使用することにより、どのような数のフレームも、アニメーションデータフレームから選択することができる。別の実施形態では、調整インターフェースモジュール３４０は重み変更ユニット（weight modification unit）３４４を含み、重み変更ユニット３４４をユーザが使用することにより、適切な動作単位に対応する重みを変更してデジタル顔形態モデルのポーズを調整し、これによって所望の結果を得る。一旦、重みが調整されてユーザの要求を満たしてしまうと、調整インターフェースモジュール３４０は、調整済みの動作単位に関する情報をＦＡＣＳモジュール３２０に送信し、ＦＡＣＳモジュール３２０では、情報を受信し、そして使用してＦＡＣＳマトリクスを更新する。
【００６２】
図４は、演技から顔アニメーションを作り出す方法４００を示すフローチャートである。ステップ４１０では、顔の動きのデータを撮影する。一の実施形態では、上に議論したように、撮影空間の周りに配置されるＭＯＣＡＰカメラを使用して、アクターのボディ及び顔に取り付けられた反射マーカが反射する赤外光を撮影する。反射光が白色ドットとして黒色の背景から浮き出し、この場合、白色ドットは画像中のマーカを表わす。ＭＯＣＡＰカメラから得られる画像を使用して、マーカが配置される連続フレームボリュームデータを再構成する。顔データをボリュームデータから分割し（基本的には、ボディデータを完全に除去することにより）、そして顔データにステップ４２０でラベル付けする。顔データを上に議論したように、ステップ４３０で安定化させる。次に、顔データをＦＡＣＳマトリクスを使用してステップ４４０でクリーニングする。次に、顔データをステップ４５０で正規化して、例えばマーカ配置が日ごとに変化することに起因する位置ずれ誤差を除去する。
【００６３】
ステップ４６０では、顔データをフレーム毎にデジタル顔形態モデルに、ＦＡＣＳマトリクスの中の重み付け合成された動作単位を使用してリターゲットする。次に、多次元的な調整をユーザがステップ４７０で行ない、このステップでは、デジタル顔形態モデルの一つのポーズを含む動作単位をユーザが変更して、更に望ましい結果を得る。変更済みの動作単位をＦＡＣＳマトリクスに更新情報として取り込む。次に、更新済のＦＡＣＳマトリクスを使用して、更に高い品質のアニメーション出力を生成する。
【００６４】
図１４Ａは、コンピュータシステム１４００及びユーザ１４０２を表わす図を示している。ユーザ１４０２はコンピュータシステム１４００を使用することにより、演技から作り出される顔アニメーションを処理し、そして管理することができる。コンピュータシステム１４００は顔アニメーションシステム１４１６を収容し、そして実行し、顔アニメーションシステム１４１６はＭＯＣＡＰ顔データを処理する。
【００６５】
図１４Ｂは、顔アニメーションシステム１４１６のホストとなるコンピュータシステム１４００を示す機能ブロック図である。コントローラ１４１０は、コンピュータシステム１４００及び当該システムのコンポーネントの動作を制御するプログラマブルプロセッサである。コントローラ１４１０は命令をメモリ１４２０または埋め込みコントローラメモリ（embedded controller memory：図示せず）から読み込み、そしてこれらの命令を実行してシステムを制御する。コントローラ機能を実行するために、コントローラ１４１０は顔アニメーションシステム１４１６をソフトウェアシステムとして提供する。別の構成として、このサービスは、コントローラ１４１０内の、またはコンピュータシステム１４００内の別のコンポーネントとして実装することができる。
【００６６】
メモリ１４２０はデータを一時的に保存して、コンピュータシステム１４００の他のコンポーネントが使用することができるようにする。一の実施形態では、メモリ１４２０はＲＡＭとして実装される。別の実施形態では、メモリ１４２０は更に、フラッシュメモリ及び／又はＲＯＭのような長期メモリまたは永久メモリを含む。
【００６７】
ストレージ１４３０は、コンピュータシステム１４００の他のコンポーネントが使用することができるようにデータを一時的に、または長期間に渡って保存する、例えば顔アニメーションシステム１４１６が使用するデータを保存する。一の実施形態では、ストレージ１４３０はハードディスクドライブである。
【００６８】
メディア装置１４４０は取り外し可能な媒体を受け入れ、そして挿入媒体に対するデータの読み出し、及び／又は書き込みを行なう。一の実施形態では、メディア装置１４４０は光ディスクドライブである。
【００６９】
ユーザインターフェース１４５０は、ユーザ入力をコンピュータシステム１４００のユーザから受け入れ、そして情報をユーザに対して提示するコンポーネントを含む。一の実施形態では、ユーザインターフェース１４５０はキーボード、マウス、オーディオスピーカ、及びディスプレイを含む。コントローラ１４１０はユーザからの入力を使用してコンピュータシステム１４００の動作を調整する。
【００７０】
Ｉ／Ｏインターフェース１４６０は、外部ストレージまたは補助装置（例えば、プリンタまたはＰＤＡ）のような該当するＩ／Ｏ装置との接続を行なう一つ以上のＩ／Ｏポートを含む。一の実施形態では、Ｉ／Ｏインターフェース１４６０のポートは：ＵＳＢポート、ＰＣＭＣＩＡポート、シリアルポート、及び／又はパラレルポートのようなポートを含む。別の実施形態では、Ｉ／Ｏインターフェース１４６０は、外部デバイスと無線通信する無線インターフェースを含む。
【００７１】
ネットワークインターフェース１４７０は、イーサネット（登録商標）接続をサポートするＲＪ−４５または「Ｗｉ−Ｆｉ」インターフェース（これに制限されないが、８０２．１１を含む）のような有線及び／又は無線ネットワーク接続を含む。
【００７２】
コンピュータシステム１４００は、コンピュータシステムでは普通の更に別のハードウェア及びソフトウェア（例えば、電源システム、冷却システム、オペレーティングシステム）を含むが、これらのコンポーネントは図を簡単にするために、図１４Ｂには詳細には示されていない。他の実施形態では、コンピュータシステムの異なる構成を使用することができる（例えば、異なるバスまたはストレージ構成、或いはマルチプロセッサ構成）。
【００７３】
上に説明した図、及び本明細書に開示される実施形態に関連して記載される種々の例示としての論理ブロック、モジュール、及び方法について、これらの要素の機能の面から上に概要を記載してきたことを理解されたい。更に、モジュール内、またはサブユニット内の機能群のグループ分けは、説明を分かり易くするために行なわれている。特定の機能またはステップは、一つのモジュールまたはサブユニットから別のモジュールまたはサブユニットに、本発明から逸脱しない限り移すことができる。
【００７４】
一の実施形態は、一つ以上のプログラマブルプロセッサ及び該当するコンピュータシステムコンポーネントを含むことにより、コンピュータ命令を格納し、そして実行して、例えばモーションキャプチャシステムの種々のサブシステムを提供する（例えば、ＦＡＣＳ技術を使用する校正、マトリクス設定、クリーンアップ（アニメータの描いたラフスケッチを消して、セルに移せるように滑らかな線を持つ完成画に変換する処理）、安定化、正規化、リターゲット、及び調整）。
【００７５】
更に別の変形例及び実施形態を用いることもできる。例えば、モーションキャプチャシステムがサポートするアニメーションは、映画、テレビジョン、広告、オンラインまたはオフラインコンピュータコンテンツ（例えば、ウェブ広告、またはコンピュータ援用システム）、ビデオゲーム、コンピュータゲーム、または他のいずれかのアニメーションコンピュータグラフィックスビデオアプリケーションに使用することができる。別の例では、赤外線マーカ以外の光マーカ、能動発光型素子（例えば、ＬＥＤ）、無線装置（例えば、ＲＦＩＤ）、塗料、加速度計、変形測定器などのような、異なるタイプのモーションキャプチャ技術及びマーカを使用することができる。別の例では、美的入力及び数学的プロセスの組み合わせを使用することにより、筋肉活動を起こす顔をリターゲットソリューションを使用してモデル化する。更に別の例では、数学的、発見的、及び審美的ルールを作成して、アニメートされたキャラクターが喋るときのデジタル顔形態モデルにおける筋肉及び皮膚の動きの忠実度を高める。
【００７６】
開示した実施形態に関する上の記述は、この技術分野のどのような当業者でも本発明を作製する、または使用することができるように行なわれている。これらの実施形態に対する種々の変更は、この技術分野の当業者であれば容易に想到し得るものであり、そして本明細書に記載される一般的原理は他の実施形態に、本発明の技術思想または技術範囲から逸脱しない限り適用することができる。従って、本明細書において提供される記述及び図面は、本発明の実施形態を表わしているので、本発明で広く意図された主題を代表するものであることを理解されたい。更に、本発明の技術範囲は、この技術分野の当業者が想到し得る他の実施形態を完全に包含するものであり、従って本発明の技術範囲は、添付の請求項によってのみ規定されることを理解されたい。
【特許請求の範囲】
【請求項１】
コンピュータシステムを使用してデジタル顔形態モデルをアニメートする方法であって、前記方法では：
複数の動作単位を定義するステップと、
前記コンピュータシステムを使用して前記複数の動作単位の各動作単位をアクターの演技を利用して校正するステップと、
ここで、前記各動作単位は、アクターの顔に取り付けられた顔マーカを使用して得られる第２の顔ポーズデータ及び活動を含んでおり、
ここで、前記各動作単位の前記活動は、複数の筋膜レイヤが前記複数の動作単位の活動によって可動するように、筋膜レイヤに適用され、
ここで、各動作単位を校正する前記ステップでは、前記各動作単位の前記第２の顔ポーズデータを、前記各動作単位に一致する校正演技から生成される校正ポーズデータを使用して校正することを含み、
全ての顔マーカからの信号を取得し、頭部、耳、及び鼻骨に取り付けられた顔マーカを含む顔の表情によって動かない第１の複数の顔マーカを使用して粗い安定化を実行し、そして、前記第１の複数の顔マーカに対する全ての顔マーカの動きを決定することによって細かい安定化を実行することによって、第１の顔ポーズデータを撮影しそして安定化するステップと、
複数の重みであって、前記複数の重みの各重みが前記各動作単位に固有に対応し、前記複数の重みによって重み付け合成された前記複数の動作単位を特徴付け、前記重み付け合成によって前記第１の顔ポーズデータを近似する、重みを前記コンピュータシステムを使用して決定するステップと、
筋肉活動としての重み付けされた活動を、前記コンピュータシステムを使用して前記各重みを前記各動作単位に適用した結果を組み合わせることにより生成するステップと、
前記コンピュータシステムを使用して、前記顔形態モデルに貼り付けられる前記複数の筋膜レイヤを起動することによって、前記重み付けされた活動を適用するステップと、そして
前記コンピュータシステムを使用して前記複数の動作単位の内の少なくとも一つの動作単位を、前記重み付けされた活動に対するユーザによる入力調整内容を使用して再校正するステップと、
を備える方法。
【請求項２】
更に：
前記校正ポーズデータをクリーニングし、そして安定化させることを含む、請求項１記載の方法。
【請求項３】
前記重み付け合成では、前記各動作単位の前記第２の顔ポーズデータを重み付け合成することを含む、請求項１記載の方法。
【請求項４】
複数の重みを決定する前記ステップでは、前記第１の顔ポーズデータと前記重み付け合成された前記第２の顔ポーズデータとの対応を最適化することを含む、請求項３記載の方法。
【請求項５】
前記最適化は線形最適化を含む、請求項４記載の方法。
【請求項６】
前記線形最適化は最小二乗法を含む、請求項５記載の方法。
【請求項７】
前記最適化は非線形最適化を含む、請求項４記載の方法。
【請求項８】
重み付けされた活動を生成するステップでは、前記各重みを前記各動作単位の前記活動に適用した結果を組み合わせる、請求項１記載の方法。
【請求項９】
少なくとも一つの動作単位を再校正する前記ステップでは、
前記第２の顔ポーズデータを再校正する、
請求項１記載の方法。
【請求項１０】
少なくとも一つの動作単位を再校正する前記ステップでは、
前記活動を再校正する、
請求項１記載の方法。
【請求項１１】
前記筋膜レイヤは筋肉レイヤを含む、請求項１記載の方法。
【請求項１２】
前記筋膜レイヤは顎レイヤを含む、請求項１記載の方法。
【請求項１３】
前記筋膜レイヤはボリュームレイヤを含む、請求項１記載の方法。
【請求項１４】
前記筋膜レイヤは開度レイヤを含む、請求項１記載の方法。
【請求項１５】
前記複数の動作単位は、該当するアクターの顔に対して詳細に調整された動作単位のライブラリであるＦＡＣＳ（顔面表情記号化システム）マトリクスを含む、請求項１記載の方法。
【請求項１６】
コンピュータシステムを使用してデジタル顔形態モデルをアニメートする方法であって、前記方法では：
複数の動作単位を定義するステップと、
ここで、前記複数の動作単位の各動作単位は、アクターの顔に取り付けられた顔マーカを使用して得られる第２の顔ポーズデータ及び活動を含んでおり、
ここで、前記各動作単位の前記活動は、複数の筋膜レイヤが前記複数の動作単位の活動によって可動するように、筋膜レイヤに適用され、
撮影された複数の校正演技から生成される校正ポーズデータを使用して前記第２の顔ポーズデータを校正するステップと、ここで、前記撮影された複数の校正演技の各校正演技は前記各動作単位に対応するものであり、
頭部、耳、及び鼻骨に取り付けられた顔マーカを含む顔の表情によって動かない第１の複数の顔マーカを使用して粗い安定化を実行し、そして、前記第１の複数の顔マーカに対する全ての顔マーカの動きを決定することによって細かい安定化を実行することによって、前記第２の顔ポーズデータを安定化させるステップと、
前記撮影された複数の校正演技の他の校正演技から第１の顔ポーズデータを生成するステップと、
複数の重みであって、前記複数の重みの各重みが前記各動作単位に固有に対応し、前記複数の重みによって重み付け合成された前記第１の顔ポーズデータを特徴付け、前記重み付け合成によって前記第１の顔ポーズデータを近似する、重みを前記コンピュータシステムを使用して決定するステップと、
前記コンピュータシステムを使用して、前記各重みを前記活動に適用した結果を組み合わせることにより、重み付けされた活動を生成するステップと、
前記コンピュータシステムを使用して、前記デジタル顔形態モデルに貼り付けられる前記複数の筋膜レイヤを起動することによって、前記重み付けされた活動を適用するステップと、そして
前記コンピュータシステムを使用して、前記重み付けされた活動に対するユーザによる入力調整内容を使用して、前記第２の顔ポーズデータ及び前記活動を再校正するステップと、
を備える方法。
【請求項１７】
顔モーションキャプチャデータ（facial motion capture data）をデジタル顔形態モデルにリターゲットするシステムであって、前記システムは：
複数の動作単位を管理するＦＡＣＳ（顔面表情記号化システム）モジュールと、
前記コンピュータシステムを使用して前記複数の動作単位の各動作単位をアクターの演技を利用して校正する校正モジュールと、
ここで、前記各動作単位は、アクターの顔に取り付けられた顔マーカを使用して得られる第２の顔ポーズデータ及び活動を含んでおり、
ここで、前記各動作単位の前記活動は、複数の筋膜レイヤが前記複数の動作単位の活動によって可動するように、筋膜レイヤに適用され、
ここで、前記校正モジュールは、前記各動作単位に一致する校正演技から生成される校正ポーズデータを使用して前記第２の顔ポーズデータを校正することによって、各動作単位を校正し、
ここで、前記校正モジュールは、前記第２の顔ポーズデータを、頭部、耳、及び鼻骨に取り付けられた顔マーカを含む顔の表情に対してクリーニングし及び安定化させ、そして、前記第１の複数の顔マーカに対する全ての顔マーカの動きを決定することによって細かい安定化を実行し、
前記デジタル顔形態モデルに対応する重み付けされた少なくとも一つの活動を、前記顔モーションキャプチャデータ、及び前記複数の動作単位を使用して生成するリターゲットモジュール（retargeting module）と、
ここで、前記デジタル顔形態モデルには、第１の顔ポーズデータが含まれ、
前記顔形態モデルに貼り付けられる前記複数の筋膜レイヤを起動することにより重み付けされた前記少なくとも１つの活動を適用することによって、顔アニメーションフレームを生成するアニメーションモジュールと、
前記ＦＡＣＳモジュールに対応する再校正済みの動作単位（recalibrated action units）を、前記顔アニメーションに対するユーザによる入力調整内容に従って生成する調整インターフェースモジュールと、ここで、前記調整インターフェースモジュールは、重み付けされた前記少なくとも一つの活動を調整して前記デジタル顔形態モデルの所望のポーズを実現する重み変更ユニットを含んでおり、
を備えるシステム。
【請求項１８】
前記アニメーションモジュールは、前記デジタル顔形態モデルを生成するリギングユニット（rigging unit）を含む、請求項１７記載のシステム。
【請求項１９】
前記リギングユニットは、少なくとも一つの筋膜レイヤを前記デジタル顔形態モデルに貼り付ける、請求項１８記載のシステム。
【請求項２０】
前記アニメーションモジュールは、重み付けされた前記少なくとも一つの活動を前記少なくとも一つの筋膜レイヤに適用する反映モジュールを含む、請求項１９記載のシステム。
【請求項２１】
前記調整インターフェースモジュールは、前記顔アニメーションフレームを選択して調整するフレーム選択ユニットを含む、請求項１７記載のシステム。
【請求項２２】
コンピュータシステム使用してデジタル顔アニメーション方法であって、前記方法は：
該当するアクターの顔に対して詳細に調整された動作単位のライブラリであるＦＡＣＳ（顔面表情記号化システム）マトリクスにおける複数の動作単位を定義するステップと、
前記コンピュータシステムを使用して前記複数の動作単位の各動作単位をアクターの演技を利用して校正するステップと、
ここで、前記各動作単位は、アクターの顔に取り付けられた顔マーカを使用して得られる第２の顔ポーズデータ及び活動を含んでおり、
ここで、前記各動作単位の前記活動は、複数の筋膜レイヤが前記複数の動作単位の活動によって可動するように、筋膜レイヤに適用され、
ここで、各動作単位を校正する前記ステップでは、前記各動作単位の前記第２の顔ポーズデータを、前記各動作単位に一致する校正演技から生成される校正ポーズデータを使用して校正することを含み、
アクターの顔に取り付けられた顔マーカを使用して、第１の顔ポーズデータを含む顔モーションデータを撮影するステップと、
前記コンピュータシステム使用して、前記顔モーションデータにラベル付けするステップと、
頭部、耳、及び鼻骨に取り付けられた顔マーカを含む顔の表情によって動かない第１の複数の顔マーカを使用して粗い安定化を実行し、そして、前記第１の複数の顔マーカに対する全ての顔マーカの動きを決定することによって細かい安定化を実行することによって、前記顔モーションデータを安定化させるステップと、
記顔モーションデータを、ＦＡＣＳマトリクスを使用してクリーニングするステップと、
前記コンピュータシステム使用して、前記顔モーションデータを正規化するステップと、
前記ＦＡＣＳマトリクスを使用して、前記複数の筋膜レイヤを起動することによって、前記顔モーションデータをデジタル顔形態モデルにリターゲットするステップと、そして
前記コンピュータシステム使用して、前記ＦＡＣＳマトリクスの多次元的な調整を行なうステップと、
を備える方法。
【請求項１】
コンピュータシステムを使用してデジタル顔形態モデルをアニメートする方法であって、前記方法では：
複数の動作単位を定義するステップと、
前記コンピュータシステムを使用して前記複数の動作単位の各動作単位をアクターの演技を利用して校正するステップと、
ここで、前記各動作単位は、アクターの顔に取り付けられた顔マーカを使用して得られる第２の顔ポーズデータ及び活動を含んでおり、
ここで、前記各動作単位の前記活動は、複数の筋膜レイヤが前記複数の動作単位の活動によって可動するように、筋膜レイヤに適用され、
ここで、各動作単位を校正する前記ステップでは、前記各動作単位の前記第２の顔ポーズデータを、前記各動作単位に一致する校正演技から生成される校正ポーズデータを使用して校正することを含み、
全ての顔マーカからの信号を取得し、頭部、耳、及び鼻骨に取り付けられた顔マーカを含む顔の表情によって動かない第１の複数の顔マーカを使用して粗い安定化を実行し、そして、前記第１の複数の顔マーカに対する全ての顔マーカの動きを決定することによって細かい安定化を実行することによって、第１の顔ポーズデータを撮影しそして安定化するステップと、
複数の重みであって、前記複数の重みの各重みが前記各動作単位に固有に対応し、前記複数の重みによって重み付け合成された前記複数の動作単位を特徴付け、前記重み付け合成によって前記第１の顔ポーズデータを近似する、重みを前記コンピュータシステムを使用して決定するステップと、
筋肉活動としての重み付けされた活動を、前記コンピュータシステムを使用して前記各重みを前記各動作単位に適用した結果を組み合わせることにより生成するステップと、
前記コンピュータシステムを使用して、前記顔形態モデルに貼り付けられる前記複数の筋膜レイヤを起動することによって、前記重み付けされた活動を適用するステップと、そして
前記コンピュータシステムを使用して前記複数の動作単位の内の少なくとも一つの動作単位を、前記重み付けされた活動に対するユーザによる入力調整内容を使用して再校正するステップと、
を備える方法。
【請求項２】
更に：
前記校正ポーズデータをクリーニングし、そして安定化させることを含む、請求項１記載の方法。
【請求項３】
前記重み付け合成では、前記各動作単位の前記第２の顔ポーズデータを重み付け合成することを含む、請求項１記載の方法。
【請求項４】
複数の重みを決定する前記ステップでは、前記第１の顔ポーズデータと前記重み付け合成された前記第２の顔ポーズデータとの対応を最適化することを含む、請求項３記載の方法。
【請求項５】
前記最適化は線形最適化を含む、請求項４記載の方法。
【請求項６】
前記線形最適化は最小二乗法を含む、請求項５記載の方法。
【請求項７】
前記最適化は非線形最適化を含む、請求項４記載の方法。
【請求項８】
重み付けされた活動を生成するステップでは、前記各重みを前記各動作単位の前記活動に適用した結果を組み合わせる、請求項１記載の方法。
【請求項９】
少なくとも一つの動作単位を再校正する前記ステップでは、
前記第２の顔ポーズデータを再校正する、
請求項１記載の方法。
【請求項１０】
少なくとも一つの動作単位を再校正する前記ステップでは、
前記活動を再校正する、
請求項１記載の方法。
【請求項１１】
前記筋膜レイヤは筋肉レイヤを含む、請求項１記載の方法。
【請求項１２】
前記筋膜レイヤは顎レイヤを含む、請求項１記載の方法。
【請求項１３】
前記筋膜レイヤはボリュームレイヤを含む、請求項１記載の方法。
【請求項１４】
前記筋膜レイヤは開度レイヤを含む、請求項１記載の方法。
【請求項１５】
前記複数の動作単位は、該当するアクターの顔に対して詳細に調整された動作単位のライブラリであるＦＡＣＳ（顔面表情記号化システム）マトリクスを含む、請求項１記載の方法。
【請求項１６】
コンピュータシステムを使用してデジタル顔形態モデルをアニメートする方法であって、前記方法では：
複数の動作単位を定義するステップと、
ここで、前記複数の動作単位の各動作単位は、アクターの顔に取り付けられた顔マーカを使用して得られる第２の顔ポーズデータ及び活動を含んでおり、
ここで、前記各動作単位の前記活動は、複数の筋膜レイヤが前記複数の動作単位の活動によって可動するように、筋膜レイヤに適用され、
撮影された複数の校正演技から生成される校正ポーズデータを使用して前記第２の顔ポーズデータを校正するステップと、ここで、前記撮影された複数の校正演技の各校正演技は前記各動作単位に対応するものであり、
頭部、耳、及び鼻骨に取り付けられた顔マーカを含む顔の表情によって動かない第１の複数の顔マーカを使用して粗い安定化を実行し、そして、前記第１の複数の顔マーカに対する全ての顔マーカの動きを決定することによって細かい安定化を実行することによって、前記第２の顔ポーズデータを安定化させるステップと、
前記撮影された複数の校正演技の他の校正演技から第１の顔ポーズデータを生成するステップと、
複数の重みであって、前記複数の重みの各重みが前記各動作単位に固有に対応し、前記複数の重みによって重み付け合成された前記第１の顔ポーズデータを特徴付け、前記重み付け合成によって前記第１の顔ポーズデータを近似する、重みを前記コンピュータシステムを使用して決定するステップと、
前記コンピュータシステムを使用して、前記各重みを前記活動に適用した結果を組み合わせることにより、重み付けされた活動を生成するステップと、
前記コンピュータシステムを使用して、前記デジタル顔形態モデルに貼り付けられる前記複数の筋膜レイヤを起動することによって、前記重み付けされた活動を適用するステップと、そして
前記コンピュータシステムを使用して、前記重み付けされた活動に対するユーザによる入力調整内容を使用して、前記第２の顔ポーズデータ及び前記活動を再校正するステップと、
を備える方法。
【請求項１７】
顔モーションキャプチャデータ（facial motion capture data）をデジタル顔形態モデルにリターゲットするシステムであって、前記システムは：
複数の動作単位を管理するＦＡＣＳ（顔面表情記号化システム）モジュールと、
前記コンピュータシステムを使用して前記複数の動作単位の各動作単位をアクターの演技を利用して校正する校正モジュールと、
ここで、前記各動作単位は、アクターの顔に取り付けられた顔マーカを使用して得られる第２の顔ポーズデータ及び活動を含んでおり、
ここで、前記各動作単位の前記活動は、複数の筋膜レイヤが前記複数の動作単位の活動によって可動するように、筋膜レイヤに適用され、
ここで、前記校正モジュールは、前記各動作単位に一致する校正演技から生成される校正ポーズデータを使用して前記第２の顔ポーズデータを校正することによって、各動作単位を校正し、
ここで、前記校正モジュールは、前記第２の顔ポーズデータを、頭部、耳、及び鼻骨に取り付けられた顔マーカを含む顔の表情に対してクリーニングし及び安定化させ、そして、前記第１の複数の顔マーカに対する全ての顔マーカの動きを決定することによって細かい安定化を実行し、
前記デジタル顔形態モデルに対応する重み付けされた少なくとも一つの活動を、前記顔モーションキャプチャデータ、及び前記複数の動作単位を使用して生成するリターゲットモジュール（retargeting module）と、
ここで、前記デジタル顔形態モデルには、第１の顔ポーズデータが含まれ、
前記顔形態モデルに貼り付けられる前記複数の筋膜レイヤを起動することにより重み付けされた前記少なくとも１つの活動を適用することによって、顔アニメーションフレームを生成するアニメーションモジュールと、
前記ＦＡＣＳモジュールに対応する再校正済みの動作単位（recalibrated action units）を、前記顔アニメーションに対するユーザによる入力調整内容に従って生成する調整インターフェースモジュールと、ここで、前記調整インターフェースモジュールは、重み付けされた前記少なくとも一つの活動を調整して前記デジタル顔形態モデルの所望のポーズを実現する重み変更ユニットを含んでおり、
を備えるシステム。
【請求項１８】
前記アニメーションモジュールは、前記デジタル顔形態モデルを生成するリギングユニット（rigging unit）を含む、請求項１７記載のシステム。
【請求項１９】
前記リギングユニットは、少なくとも一つの筋膜レイヤを前記デジタル顔形態モデルに貼り付ける、請求項１８記載のシステム。
【請求項２０】
前記アニメーションモジュールは、重み付けされた前記少なくとも一つの活動を前記少なくとも一つの筋膜レイヤに適用する反映モジュールを含む、請求項１９記載のシステム。
【請求項２１】
前記調整インターフェースモジュールは、前記顔アニメーションフレームを選択して調整するフレーム選択ユニットを含む、請求項１７記載のシステム。
【請求項２２】
コンピュータシステム使用してデジタル顔アニメーション方法であって、前記方法は：
該当するアクターの顔に対して詳細に調整された動作単位のライブラリであるＦＡＣＳ（顔面表情記号化システム）マトリクスにおける複数の動作単位を定義するステップと、
前記コンピュータシステムを使用して前記複数の動作単位の各動作単位をアクターの演技を利用して校正するステップと、
ここで、前記各動作単位は、アクターの顔に取り付けられた顔マーカを使用して得られる第２の顔ポーズデータ及び活動を含んでおり、
ここで、前記各動作単位の前記活動は、複数の筋膜レイヤが前記複数の動作単位の活動によって可動するように、筋膜レイヤに適用され、
ここで、各動作単位を校正する前記ステップでは、前記各動作単位の前記第２の顔ポーズデータを、前記各動作単位に一致する校正演技から生成される校正ポーズデータを使用して校正することを含み、
アクターの顔に取り付けられた顔マーカを使用して、第１の顔ポーズデータを含む顔モーションデータを撮影するステップと、
前記コンピュータシステム使用して、前記顔モーションデータにラベル付けするステップと、
頭部、耳、及び鼻骨に取り付けられた顔マーカを含む顔の表情によって動かない第１の複数の顔マーカを使用して粗い安定化を実行し、そして、前記第１の複数の顔マーカに対する全ての顔マーカの動きを決定することによって細かい安定化を実行することによって、前記顔モーションデータを安定化させるステップと、
記顔モーションデータを、ＦＡＣＳマトリクスを使用してクリーニングするステップと、
前記コンピュータシステム使用して、前記顔モーションデータを正規化するステップと、
前記ＦＡＣＳマトリクスを使用して、前記複数の筋膜レイヤを起動することによって、前記顔モーションデータをデジタル顔形態モデルにリターゲットするステップと、そして
前記コンピュータシステム使用して、前記ＦＡＣＳマトリクスの多次元的な調整を行なうステップと、
を備える方法。
【図１】
【図２】
【図３】
【図４】
【図７】
【図８】
【図９】
【図１１】
【図１４】
【図５】
【図６】
【図１０Ａ−Ｂ】
【図１０Ｃ】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図７】
【図８】
【図９】
【図１１】
【図１４】
【図５】
【図６】
【図１０Ａ−Ｂ】
【図１０Ｃ】
【図１２】
【図１３】
【公開番号】特開２０１３−５４７６１（Ｐ２０１３−５４７６１Ａ）
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願番号】特願２０１２−２４３７１１（Ｐ２０１２−２４３７１１）
【出願日】平成２４年１１月５日（２０１２．１１．５）
【分割の表示】特願２００９−５０７９２７（Ｐ２００９−５０７９２７）の分割
【原出願日】平成１９年４月２４日（２００７．４．２４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【出願人】（５９６１０２１２６）ソニー ピクチャーズ エンターテインメント インコーポレイテッド (46)
【Ｆターム（参考）】
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願日】平成２４年１１月５日（２０１２．１１．５）
【分割の表示】特願２００９−５０７９２７（Ｐ２００９−５０７９２７）の分割
【原出願日】平成１９年４月２４日（２００７．４．２４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【出願人】（５９６１０２１２６）ソニー ピクチャーズ エンターテインメント インコーポレイテッド (46)
【Ｆターム（参考）】
[ Back to top ]