顔モデルを生成する方法およびシステム
【課題】本発明は、しわおよび毛穴等の小さな３次元の顔特徴をモデリングするためのシステムおよび方法を提供する。
【解決手段】顔のスキャンが取得される。スキャンからポリゴンメッシュが構築される。ポリゴンメッシュが再パラメータ化されて、ベースメッシュおよび変位画像が求められる。変位画像は、複数のタイルに分割される。各タイルの統計値が測定される。統計値は、変更されて変位画像を変形させ、変形された変位画像がベースメッシュと結合されて新たな顔が合成される。
【解決手段】顔のスキャンが取得される。スキャンからポリゴンメッシュが構築される。ポリゴンメッシュが再パラメータ化されて、ベースメッシュおよび変位画像が求められる。変位画像は、複数のタイルに分割される。各タイルの統計値が測定される。統計値は、変更されて変位画像を変形させ、変形された変位画像がベースメッシュと結合されて新たな顔が合成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的にはコンピュータグラフィックスおよび人間の顔のモデリングに関し、特に、しわおよび毛穴等の微細な顔の特徴のモデリングに関する。
【背景技術】
【０００２】
人間の顔のリアルなモデルの生成は、コンピュータグラフィックスにおける重要な問題である。顔モデルは、コンピュータゲーム、広告、映画、および仮想現実アプリケーションのアバター（avatar）に広く用いられている。目標は、顔の全ての表情をデジタルモデルに取り込むことである。Pighin他著「Digital face cloning」（SIGGRAPH 2005 Course Notes, 2005）を参照願いたい。
【０００３】
理想的には、顔モデルから生成される画像は、本物の顔の画像と見分けがつかないものであるべきである。しかし、顔のデジタルクローニングは、依然として、いくつかの理由から困難なタスクである。第１に、人間は、コンピュータ生成モデル中のアーティファクト（artifact）を容易に見つけることができる。第２に、顔の高解像度の幾何形状を取り込むことは、難しく高い費用がかかる。第３に、顔モデルの編集は、特に微細スケールの細部の変更が必要とされる場合に、依然として時間のかかる大部分が手動の仕事である。
【０００４】
しわおよび毛穴等の小さな顔特徴をモデリングすることは、特に難しい。しわは、皮膚の変形の過程により形成される皮膚のひだであり、毛穴は、皮膚表面に現れる大きく開いた腺孔である（Igarashi他著「The appearance of human skin」（Tech. Rep. CUCS-024-05, Department of Computer Science, Columbia University, June 2005））。
【０００５】
小さな特徴を有する高解像度の顔の幾何形状の取得は、難しく、そして費用および時間のかかる仕事である。市販の能動的または受動的な照度差ステレオシステムは、大きなしわのみを捉えるものであり、皮膚をよりリアルに見せる毛穴等の重要な小さな幾何学的細部は、全く捉えない。
【０００６】
レーザスキャンシステムは、細部を捉え得るかもしれないが、高価であり、かつ被写体が数十秒間じっと座っていることを必要とし、これは、多くの用途について非現実的である。さらに、結果として得られる３Ｄ幾何形状は、ノイズおよび動きアーティファクトのために、フィルタリングおよび平滑化されなければならない。最も正確な方法は、顔の石膏型を作り、正確なレーザ測距システムを用いて、この型をスキャンすることである。しかし、このプロセスに必要な膨大な時間および費用を全ての人がまかなえる訳ではない。また、モデリングコンパウンドは、顔特徴をたるませる場合がある。
【０００７】
コンピュータグラフィックスおよびコンピュータビジョンにおいては、顔をモデリングするための多数の方法が既知である。
【０００８】
モーフィング（画像変形）可能な顔モデル
１つの方法は、顔の合成に変分技法を用いる（DeCarlo他著「An anthropometric face model using variational techniques」（SIGGRAPH 1998: Proceedings, pp. 67-74, 1998））。考え得る顔の高い次元数と比べて測定データが疎であるために、合成される顔は、データベースをスキャンすることで生成される顔ほどもっともらしくはない。
【０００９】
別の方法は、主成分分析（ＰＣＡ）を用いて、顔スキャンのデータベースからモーフィング可能な顔モデルを生成する（Blanz他著「A morphable model for the synthesis of 3D faces」（SIGGRAPH 1999: Proceedings, pp. 187-194, 1999））。この方法は、多重線形顔モデルに拡張された（Vlasic他著「Face transfer with multi-linear models」（ACM Trans. Graph. 24, 3, pp. 426-433, 2005））。モーフィング可能なモデルは、写真またはビデオからの３Ｄの顔の再構成にも用いられている。
【００１０】
しかし、現在の線形または局所線形のモーフィング可能なモデルは、高解像度顔モデルの分析および合成に直接適用することができない。高解像度顔モデルの次元数、すなわち、固有ベクトルの長さは、非常に大きく、小さな顔の細部を取り込むには、膨大な量のデータが必要である。さらに、モデルの構築中に、全ての入力される顔の高解像度の細部間の正確な対応関係を見出すことは、難しいか、または不可能であろう。正確な対応関係がなければ、これらの方法により行われる加重線形ブレンディングにより、小さな顔特徴がブレンドされ、結果の見た目が不自然に滑らかになってしまう。
【００１１】
物理的／幾何学的なしわモデリング
他の方法は、皮膚のひだを直接、物理モデル化する（Wu他著「A dynamic wrinkle model in facial animation and skin ageing」（Journal of Visualization and Computer Animation, 6, 4, pp. 195-206, 1995）、およびWu他著「Physically-based wrinkle simulation & skin rendering」（Computer Animation and Simulation '97, Eurographics, pp. 69-79, 1997））。しかし、これらのモデルは、制御し難く、もっともらしさの点で高解像度スキャンに適合し得る結果を生成しない。
【００１２】
しわもモデリングすることができる（Bando他著「A simple method for modeling wrinkles on human skin」（Pacific Conference on Computer Graphics and Applications, pp. 166-175, 2002）、およびLarboulette他著「Real-time dynamic wrinkles」（Computer Graphics International, IEEE Computer Society Press, 2004））。このような方法は、通常、ユーザにしわ領域を描かせ、かつ調節機能を選択させることで進む。次に、ベースメッシュが長さを保つように変形する際に、しわの深さが調節される。これは、ユーザ制御が可能であり、例えば、額を横断する長く深いしわによく適している。しかし、ユーザがリアルなしわの集合を生成することは難しく、これらの方法は、毛穴および他の微細スケールの皮膚特徴に対応しない。
【００１３】
テクスチャ合成
主な２種類のテクスチャ合成方法として、マルコフ形テクスチャ合成およびパラメトリックテクスチャ合成がある。
【００１４】
マルコフ形テクスチャ合成方法は、テクスチャ画像をマルコフランダムフィールドとして扱う。合成すべきパッチまたは画素の近傍に適合する近傍を有する領域を求めてサンプルテクスチャを探索することによって、画像がパッチ毎または画素毎に構築される。この方法は、低解像度画像および高解像度画像のサンプル対を用いて低解像度画像から高解像度画像を生成する超解像フィルタを含む多数の用途に拡張された（Hertzmann他著「Image analogies」（SIGGRAPH '01: Proceedings, pp. 327-340, 2001））。マルコフ形方法は、顔の様々なエリアで撮影された小さなサイズのサンプルから微細スケールの法線マップを成長させるための顔の幾何形状の生成にも用いられている。
【００１５】
パラメトリック法は、サンプルテクスチャから一組の統計値を抽出する。合成は、ノイズ画像から開始し、これを統計値に合わせていく。最初の方法は、Heeger他著「Pyramid-based texture analysis/ synthesis」（SIGGRAPH '95: Proceedings, pp. 229-238, 1995）（参照により本明細書中に援用される）に記載された。選択される統計値は、画像の可動型ピラミッド（steerable pyramid）のヒストグラムであった。より大きく複雑な一組の統計値を用いて、より多様なテクスチャを生成することができる（Portilla他著「A parametric texture model based on joint statistics of complex wavelet coefficients」（Int. Journal of Computer Vision 40, 1, pp. 49-70, 2000））。
【発明の開示】
【発明が解決しようとする課題】
【００１６】
詳細な表面幾何形状は、３Ｄ顔モデルの視覚的リアリズムに大きく寄与する。しかし、高解像度の顔モデルを取得することは、面倒で高い費用がかかることが多い。その結果、ゲーム、仮想現実シミュレーション、またはコンピュータビジョンアプリケーションに用いられるほとんどの顔モデルは、非現実的に滑らかに見える。
【課題を解決するための手段】
【００１７】
本発明の実施の形態は、しわおよび毛穴等の小さな３次元の顔特徴をモデリングする方法を提供する。高解像度の顔の幾何形状を取得するために、広範な年齢、性別、および人種にわたる顔がスキャンされる。
【００１８】
スキャン毎に、変位された細分割表面を用いて、皮膚表面の細部が滑らかなベースメッシュから分離される。次に、結果として得られた変位マップが、１つの顔にわたって空間的に変化する統計値を取り込むようになっているテクスチャ分析・合成フレームワークを用いて分析される。抽出された統計値は、任意の被写体の顔メッシュにもっともらしい細部を合成するために用いることができる。
【００１９】
本方法は、年齢および性別の異なる被写体の顔テクスチャの分析、高解像度の顔スキャン同士の補間、低解像度の顔スキャンへの細部の追加、および顔の見かけ年齢の調節を含むいくつかの用途に対して有効である。本方法は、高解像度スキャンに見られるものと一致する微細な幾何学的細部を再現することができる。
【発明の効果】
【００２０】
顔を粗いベースメッシュと詳細な変位画像とに分離すること、詳細な画像の統計値を抽出すること、およびその後、抽出された統計値に基づいて微細な細部を有する新たな顔を合成することによって顔の幾何形状を分析および合成する方法を記載する。
【００２１】
本方法は、高解像度の顔スキャンの分析に基づく微細な幾何学的顔特徴の統計モデル、幾何学的細部を空間的に変化させるためのパラメトリックなテクスチャ分析および合成方法の拡張、研究団体に利用可能にされるサンプル集団の詳細な顔統計値のデータベース、新たな応用（低解像度顔モデルへのもっともらしい細部の導入、並びに年齢および性別に応じた顔スキャンの調整を含む）、並びに分析することのできる統計値を提供するパラメトリックモデルを提供する。本発明では、分析を行い、複数のグループの統計値を比較し、合成している細部についてある程度の理解を得ることができる。これにより、より簡単かつ直接的な統計値も可能になる。
【発明を実施するための最良の形態】
【００２２】
図１および図２に示すように、本発明は、人間の顔の微細な細部を分析、モデリングおよび合成する方法を提供する。本方法への入力は、本物の顔１０２の多数のスキャン１０１である。これらのスキャンは、顔の３次元幾何形状、および画像の形態のテクスチャを含む。本物の顔１０２は、年齢、性別、および人種の変動を含む。各スキャン１０１を分析し（２００）、パラメトリックテクスチャモデル４００を構築する。このモデルは、メモリ４１０に記憶することができる。その場合、モデルは、後に、合成顔画像３２１の合成（３００）に用いることができる。分析は、各顔スキャンにつき１回だけ行えばよい。合成は、任意の回数だけ、また様々な用途について行うことができる。
【００２３】
分析（２００）は、本物の各顔の高解像度スキャン１０１から開始して、例えば、５０万個の三角形を有するポリゴンメッシュ２１１を構築する（２１０）。このメッシュを再パラメータ化し（２２０）、ベースメッシュ２２１と変位画像２２２とに分離する。変位画像２２２をタイル２３１に分割する（２３０）。各タイルについて統計値２４１を測定する（２４０）。
【００２４】
合成（３００）は、統計値２４１を変更して変位画像２２２を調節する（３１０）。調節された変位画像３１１を、次にベースメッシュ２２１と結合して（３２０）合成顔画像３２１を形成する。
【００２５】
データ取得
本発明では、年齢、性別および人種に変動のある多数の被写体について、高解像度の顔スキャンを取得する。各被写体は、データの取得中に頭を動かさないでおくために、ヘッドレスト付きの椅子に座る。本発明では、市販の顔スキャナを用いて、完全な３次元の顔の幾何形状を取得する。出力メッシュは、４０ｋ個の頂点を含み、手動でクロッピングされ、不要な成分が除去される。次に、本発明では、Ｌｏｏｐ細分割を用いてメッシュを約７００ｋ個の頂点に精緻化する。結果として得られるメッシュは、微細な顔の細部を分解するには滑らか過ぎる。
【００２６】
被写体は、また、複数のカメラおよびＬＥＤを有するジオデシックドーム内に置かれる。Weyrich他により２００５年３月２９日付で出願された米国特許出願第１１／０９２，４２６号「Skin Reflectance Model for Representing and Rendering Faces」（参照により本明細書中に援用される）を参照願いたい。このシステムは、各ＬＥＤを順次点灯し、それと同時に、１６台のカメラを用いて異なる視点から画像を取り込む。これらの画像は、顔のテクスチャを取り込む。画像データを用いて、本発明では、メッシュの幾何形状を精緻化し、照度差ステレオ処理を用いて高解像度の法線マップを求める。本発明では、高解像度の法線を低解像度の幾何形状と結合し、法線場のバイアスを明らかにする。結果として、サンプル間隔が約０．５ｍｍで低ノイズ（例えば０．０５ｍｍ未満）の高解像度（５００ｋポリゴン）の顔メッシュ２１１が得られ、この顔メッシュ２１１は、しわおよび毛穴等の微細な幾何学的細部を正確に取り込む。
【００２７】
再パラメータ化
再パラメータ化のために、本発明では、顔スキャナから得た出力メッシュ間の頂点の対応関係を求める。本発明では、顔画像中の多数の特徴点（例えば、２１個の特徴点）を手動で定義する。事前に定義された接続関係により、特徴点は、「マーカー」メッシュ２１２を形成し、これにより、全ての顔が厳密に位置合わせされる。マーカーメッシュ２１２は、細分割されて法線の方向で元の顔スキャンに数回再射影され、元のスキャンのより正確な近似を連続的に生じる。顔メッシュは、マーカーメッシュと比べて滑らかであるため、自己交差が生じる。
【００２８】
微妙な問題は、正しい細分割戦略を選択することである。補間細分割方式を用いる場合、マーカーの頂点は、定位置に留まり、結果として得られるメッシュは、比較的正確な頂点毎の対応関係を有する。しかし、バタフライ細分割（butterfly subdivision）は、メッシュをつぶす傾向があり、線形細分割は、導関数に不連続点を有するパラメータ化を生成する。Ｌｏｏｐ細分割等の近似法は、頂点を移動させ対応関係を悪化させるという代償を払って、より円滑なパラメータ化を生じる（Loop著「Smooth Subdivision Surfaces Based on Triangles」（Master's thesis, University of Utah, 1987）（参照により本明細書中に援用される））。細分割方式の選択は、円滑なパラメータ化と、より良好な対応関係との間のトレードオフを提供する。
【００２９】
近似方式では、最初の数回の細分割により頂点が最も遠くへ移動するため、本発明では、２回の線形細分割を用いた後に、２回のＬｏｏｐ細分割を用いる。これによりメッシュ２１１が得られ、このメッシュ２１１から、残りの顔の細部を取り込むスカラー変位画像２２２を求める。Lee他著「Displaced subdivision surfaces」（SIGGRAPH '00: Proceedings, pp. 85-94, 2000）（参照により本明細書中に援用される）を参照願いたい。
【００３０】
具体的には、本発明では、メッシュ２１１をＬｏｏｐ細分割により３回細分割する。これにより、本明細書において、ベースメッシュ２２１と呼ぶ粗く滑らかなメッシュが得られる。このベースメッシュを元の顔に射影し、変位画像を各頂点におけるこの射影の長さにより定義する。これを画像にマッピングするために、事前に定義された方法で矩形にマッピングされたマーカーメッシュ２１２から開始し、その矩形において細分割シーケンスをたどる。
【００３１】
本発明では、変位画像を１０２４×１０２４個のサンプル、すなわち、画素強度で表す。変位画像は、本質的に、顔のテクスチャを取り込む。１つの分割された変位画像２２２を図３に示す。
【００３２】
統計値の抽出
顔変位画像の微細な細部を測定して（２４０）統計値を得る。本発明の目的は、変位を十分な精度で表現し、新たな顔への細部の合成（３００）に適したコンパクトなモデルにおいて、しわおよび毛穴を保持することである。
【００３３】
本発明の統計方法は、画像に一般に用いられるテクスチャ合成技法の拡張である。Heeger他に従って、画像中のサンプルテクスチャの可動型ピラミッドのヒストグラムを抽出し、テクスチャが有する様々な成分をいくつかのスケールおよび向きで取り込む。Simoncelli他著「The steerable pyramid: a flexible architecture for multi-scale derivative computation」（ICIP '95: Proceedings, International Conference on Image Processing, vol. 3, 1995）（参照により本明細書中に援用される）を参照願いたい。従来の方法を直接適用することにより、各顔について一組のグローバル統計値が定義されるが、顔の細部の統計値は、空間的に変化するため、そのままでは役立たない。本発明では、画像タイル２３１の統計値を取り出して、空間的変動を取り込むという変更を行う。具体的には、本発明では、画像を１６×１６の格子状になった２５６個のタイルに分解し、可動型ピラミッドを各タイルについて４つのスケールおよび４つの向きで構築する。本発明では、テクスチャのローパス残差（residue）ではなく、テクスチャのハイパス残差を考慮し、これを取り出してベースメッシュの部分とする。これにより、１７個のフィルタ出力が生じる。
【００３４】
図４は、タイルの２×２部分の２つのスケールのヒストグラム４０１およびフィルタ出力を示す。輪郭を描いた２×２部分のフィルタ応答およびヒストグラムを示す。全ての向きおよび２つのスケールを示す。より多くの成分を有するタイルのヒストグラム４０３は、より少ない成分を有するタイルのヒストグラム４０２よりも幅が広い。
【００３５】
これらのヒストグラムは、大量のデータを含むため、その記憶、分析、補間、およびレンダリングは、面倒である。しかし、様々な顔の同一タイル内のヒストグラム間の主な差異は、幅であることに気付く。よって、本発明では、各ヒストグラムをその標準偏差により近似する。これにより、データを大幅に圧縮することができる。顔の統計値は、１２８ビンを用いた場合のヒストグラムにおける１２８×１７×１６×１６＝５５７，０５６個のスカラー、および元の画像の１０２４×１０２４＝１，０４８，５７６個のスカラーに対して、各フィルタ応答における各タイルにつき１つのスカラー、すなわち１７×１６×１６＝４，３５２個のスカラーを含む。これらの縮小された統計値から合成される顔は、完全なヒストグラムの組を用いて合成される顔と視覚的に見分けがつかない。
【００３６】
この縮小された統計値の組は、記憶域および処理時間を削減するだけでなく、１つの顔にわたって、また顔の集団にわたって統計値がどのように変化するかについて、より容易な視覚化およびより良い理解も可能にする。例えば、各スケールおよびタイルについて、全てのフィルタ方向の標準偏差を、各方向について計算された標準偏差により、その方向に展開された円として描くことができる。
【００３７】
図５は、そのような、ピラミッドの第２のスケール（５１２×５１２画素）の展開した円５００による視覚化を示す。
【００３８】
合成
統計値を用いて顔の細部を合成する。Heeger他は、これを以下のように達成する。サンプルテクスチャをその可動型ピラミッドに展開する。合成すべきテクスチャは、ノイズから開始し、同様に展開する。次に、合成テクスチャの各フィルタのヒストグラムをサンプルテクスチャのヒストグラムと照合し、合成テクスチャのピラミッドを折りたたみ再び展開する。可動型ピラミッドは、過完備基底を形成するため、出力が個別に調節される場合、ピラミッドを折りたたむことおよび展開することによりフィルタ出力が変化する。しかし、この手順を数回繰り返すと収束する。
【００３９】
この従来技術のプロセスは、本発明の縮小された空間的に変化する統計値の組を使用するように変更する必要がある。ヒストグラム照合ステップを、標準偏差の照合に置き換える。このステップでは、特定の画素が、４つの異なる値を示唆する４つの近傍タイルを有することになる。本発明では、これらの４つの値間で双線形補間を行う。次に、上記のように、ピラミッドを折りたたみ、展開し、反復的に繰り返すことを続ける。
【００４０】
このように双線形補間により標準偏差を調節しても、合成されるタイルは、ターゲットタイルと同じ偏差を有しない。しかし、このステップを数回繰り返せば、合成されるタイルの偏差は、所望の偏差に収束する。実際には、この照合を繰り返し行うことにより、反復毎に１回の照合ステップのみを用いて合成されるメッシュと視覚的に見分けのつかないメッシュが得られる。
【００４１】
従来のパラメトリックテクスチャ合成は、通常、ノイズ画像から開始する。それに対して、本発明のほとんどの応用では、変位画像２２２から合成を始める。この場合、統計値の反復照合は、新たな細部を追加しないが、既存の細部を正しく方向付けおよびスケーリングされた鮮鋭化およびぼかしにより変更する。
【００４２】
開始画像の有する細部が不十分である場合、本発明では、開始画像にノイズを追加する。本発明では白色ノイズを用いるが、経験では、同様に単純なノイズモデル、例えば、Ｐｅｒｌｉｎノイズが同じ結果を生じることが示唆される。Perlin著「An image synthesizer」（SIGGRAPH '85: Proceedings, pp. 287-296, 1985）を参照願いたい。本発明では、考え得るスキャナノイズおよびメッシュ化アーティファクトをカバーするのに十分であるが、既存の細部に勝るほどではない量のノイズを追加するよう注意を要する。
【００４３】
応用
本発明による、詳細な顔の幾何形状の統計モデルは、様々な用途に有用である。統計値は、例えば、顔のグループ間の変化を追跡するための顔の細部の分析を可能にする。統計値は、また、鮮明さを保存する補間、低解像度メッシュへの細部の追加、および加齢等の用途について、新たな顔の合成を可能にする。
【００４４】
顔の細部の分析
第１の応用として、顔の細部の分析および視覚化を考慮する。顔の細部が個人的特徴によりどのように変化するかに関する洞察を得たい。または、統計値を使用し、スキャンの統計値に基づいて顔を分類したい。グループ間の差異を視覚化するために、各グループの統計値を、最少量の成分を有するグループに標準化し、平均統計値をタイル毎に比較する。例えば、この手法を用いて、年齢および性別の影響を調査することができる。
【００４５】
年齢
年齢の影響を調査するために、２０歳〜３０歳、３５歳〜４５歳、５０歳〜６０歳の３つの男性グループを比較する。本発明の統計値は、１番目の年齢層から２番目の年齢層にかけてよりも、２番目の年齢層から３番目の年齢層にかけてしわが現れてくることを示唆する。これは、４５歳頃から、皮膚の粗さの量が急速に増えることを示唆する。４５歳を過ぎると、より方向性の永久的なしわが目尻、口、並びに頬および額のいくつかのエリアの周囲に現れる。
【００４６】
性別
顔の細部が性別によりどのように変化するかを調査するために、２０歳〜３０歳の女性を同じ年齢層の男性と比較する。女性と男性との高周波成分の変化は、様々な年齢層間の変化と性質が異なる。男性のほうが高周波成分を多く有するが、この年齢層の変化は、比較的一様であり、あまり方向性がない。また、男性は、顎および下頬の周囲に遥かに多くの成分を有する。スキャンした被写体は、誰も髭を生やしていなかったが、これは、男性被写体の無精髭および毛穴を示すものと思われる。
【００４７】
補間
顔同士の補間を行うことが有用であり得る用途は多い。例えば、新たな顔を合成するためのユーザインタフェースは、データセットから複数の顔をユーザに提示し、一組の重みを定義し、入力された顔から所与の重みで補間した顔を返すことができる。代替的に、線形モデルは、１つの顔を、多数の入力された顔の加重和として合成することができる。
【００４８】
細部の追加
低解像度メッシュは、様々なソースから作成することができる。このようなメッシュは、市販のスキャナから入力されるか、手動で生成されるか、または一組の入力メッシュから線形モデルを用いて合成することができる。一方で、高解像度メッシュを得るのは、難しく高い費用がかかる。高解像度メッシュを得なくとも、低解像度の顔にもっともらしい高解像度の細部を追加することができれば有用であろう。
【００４９】
代替的に、低解像度メッシュをある年齢層の平均統計値に合わせて調節することは便利であろう。本発明のフレームワークは、低解像度メッシュ上への細部の合成を簡単な方法で可能にする。本発明では、低解像度メッシュの変位画像から開始して、これをターゲット統計値に合わせて調節し、これを元のベースメッシュに加算する。このプロセスは、本質的に、開始メッシュの利用可能な細部レベルに適応してこれを利用するため、開始メッシュが正確であるほど、合成される顔は、忠実なものとなる。
【００５０】
加齢および若返り
顔メッシュの見かけの年齢を変化させることが望ましい場合がある。例えば、ある俳優をより年取ってまたは若く見せたい場合がある。目標は、若い顔がもっともらしく年取ったような顔、およびその逆の顔を生成することである。顔の細部は、見かけの年齢に極めて重要な役割を果たすため、また、様々な年齢で撮影した同一人物のスキャンが利用可能でないため、年齢を変えることは困難な仕事である。
【００５１】
単純な手法は、高周波成分を年取った人から若い人へコピーする。これは、開始メッシュの既存の細部を上書きするとともに、年取った顔の高周波成分が若い顔の低周波成分の位置と合わないエリアにゴースティングを生じる。Blanz他のモデルは、そのセットのメッシュの年齢の線形回帰により加齢を行う。しかしこれは、補間と同じ問題（しわの位置が揃わず、細部がぼやける）を伴う。これはまた、ゴースティングの問題を解決せず、既存の細部を無視する。
【００５２】
本発明の方法の重要な利点は、既存の細部から開始し、細部を適宜調節することである。本発明の加齢方法を、以下でさらに詳述する。若返りは、同様に行われる。
【００５３】
加齢は、本発明の合成フレームワークに見事に該当する。本発明では、若い顔と年取った顔とを選択する。加齢するには、若い顔の画像から開始し、これを年取った顔の統計値に合わせていく。結果として得られる画像は、若い顔の細部を含み、しわおよび毛穴が、年取った顔の統計値に合わせて鮮鋭化され伸びている。
【００５４】
調節を説得力のあるものとするために、本発明では、基礎となる粗い顔構造を変化させる。本発明による顔メッシュの階層的分解は、このような変形を行う方法を示唆する。変位マップに先立って、本発明の再メッシュ化方式は、各顔をマーカーメッシュと、４つのレベルの細部とに分解する。この場合、若いメッシュからマーカーメッシュと低レベルの細部を取り出し（これらの粗い特性は、個人的なものであり、年齢とともに変化しないため）、年取ったメッシュから高レベルの細部を取り出す。
【００５５】
図６は、加齢を示し、図７は、若返りを示す。目尻および額付近において、若い顔は、年取った顔の方向性の高いしわを有するように調節される。若い顔は、また、口の両側の下にしわを獲得する。若返った顔は、例えば、頬のしわが滑らかになるが、口および瞼のしわの鮮明さは、保持する。
【図面の簡単な説明】
【００５６】
【図１】本発明の一実施形態による、顔を分析、モデリングおよび合成する方法の高レベルブロック図である。
【図２】本発明の一実施形態による、顔を分析、モデリング、および合成する方法の詳細なブロック図である。
【図３】本発明の一実施形態による、タイルに分割された変位画像を示す。
【図４】本発明の一実施形態による、ヒストグラムおよびフィルタ出力を示す図である。
【図５】本発明の一実施形態による、展開した円を有するピラミッドの第２のスケールの視覚化を示す図である。
【図６】本発明の一実施形態による、加齢を示す図である。
【図７】本発明の一実施形態による、若返りを示す図である。
【技術分野】
【０００１】
本発明は、包括的にはコンピュータグラフィックスおよび人間の顔のモデリングに関し、特に、しわおよび毛穴等の微細な顔の特徴のモデリングに関する。
【背景技術】
【０００２】
人間の顔のリアルなモデルの生成は、コンピュータグラフィックスにおける重要な問題である。顔モデルは、コンピュータゲーム、広告、映画、および仮想現実アプリケーションのアバター（avatar）に広く用いられている。目標は、顔の全ての表情をデジタルモデルに取り込むことである。Pighin他著「Digital face cloning」（SIGGRAPH 2005 Course Notes, 2005）を参照願いたい。
【０００３】
理想的には、顔モデルから生成される画像は、本物の顔の画像と見分けがつかないものであるべきである。しかし、顔のデジタルクローニングは、依然として、いくつかの理由から困難なタスクである。第１に、人間は、コンピュータ生成モデル中のアーティファクト（artifact）を容易に見つけることができる。第２に、顔の高解像度の幾何形状を取り込むことは、難しく高い費用がかかる。第３に、顔モデルの編集は、特に微細スケールの細部の変更が必要とされる場合に、依然として時間のかかる大部分が手動の仕事である。
【０００４】
しわおよび毛穴等の小さな顔特徴をモデリングすることは、特に難しい。しわは、皮膚の変形の過程により形成される皮膚のひだであり、毛穴は、皮膚表面に現れる大きく開いた腺孔である（Igarashi他著「The appearance of human skin」（Tech. Rep. CUCS-024-05, Department of Computer Science, Columbia University, June 2005））。
【０００５】
小さな特徴を有する高解像度の顔の幾何形状の取得は、難しく、そして費用および時間のかかる仕事である。市販の能動的または受動的な照度差ステレオシステムは、大きなしわのみを捉えるものであり、皮膚をよりリアルに見せる毛穴等の重要な小さな幾何学的細部は、全く捉えない。
【０００６】
レーザスキャンシステムは、細部を捉え得るかもしれないが、高価であり、かつ被写体が数十秒間じっと座っていることを必要とし、これは、多くの用途について非現実的である。さらに、結果として得られる３Ｄ幾何形状は、ノイズおよび動きアーティファクトのために、フィルタリングおよび平滑化されなければならない。最も正確な方法は、顔の石膏型を作り、正確なレーザ測距システムを用いて、この型をスキャンすることである。しかし、このプロセスに必要な膨大な時間および費用を全ての人がまかなえる訳ではない。また、モデリングコンパウンドは、顔特徴をたるませる場合がある。
【０００７】
コンピュータグラフィックスおよびコンピュータビジョンにおいては、顔をモデリングするための多数の方法が既知である。
【０００８】
モーフィング（画像変形）可能な顔モデル
１つの方法は、顔の合成に変分技法を用いる（DeCarlo他著「An anthropometric face model using variational techniques」（SIGGRAPH 1998: Proceedings, pp. 67-74, 1998））。考え得る顔の高い次元数と比べて測定データが疎であるために、合成される顔は、データベースをスキャンすることで生成される顔ほどもっともらしくはない。
【０００９】
別の方法は、主成分分析（ＰＣＡ）を用いて、顔スキャンのデータベースからモーフィング可能な顔モデルを生成する（Blanz他著「A morphable model for the synthesis of 3D faces」（SIGGRAPH 1999: Proceedings, pp. 187-194, 1999））。この方法は、多重線形顔モデルに拡張された（Vlasic他著「Face transfer with multi-linear models」（ACM Trans. Graph. 24, 3, pp. 426-433, 2005））。モーフィング可能なモデルは、写真またはビデオからの３Ｄの顔の再構成にも用いられている。
【００１０】
しかし、現在の線形または局所線形のモーフィング可能なモデルは、高解像度顔モデルの分析および合成に直接適用することができない。高解像度顔モデルの次元数、すなわち、固有ベクトルの長さは、非常に大きく、小さな顔の細部を取り込むには、膨大な量のデータが必要である。さらに、モデルの構築中に、全ての入力される顔の高解像度の細部間の正確な対応関係を見出すことは、難しいか、または不可能であろう。正確な対応関係がなければ、これらの方法により行われる加重線形ブレンディングにより、小さな顔特徴がブレンドされ、結果の見た目が不自然に滑らかになってしまう。
【００１１】
物理的／幾何学的なしわモデリング
他の方法は、皮膚のひだを直接、物理モデル化する（Wu他著「A dynamic wrinkle model in facial animation and skin ageing」（Journal of Visualization and Computer Animation, 6, 4, pp. 195-206, 1995）、およびWu他著「Physically-based wrinkle simulation & skin rendering」（Computer Animation and Simulation '97, Eurographics, pp. 69-79, 1997））。しかし、これらのモデルは、制御し難く、もっともらしさの点で高解像度スキャンに適合し得る結果を生成しない。
【００１２】
しわもモデリングすることができる（Bando他著「A simple method for modeling wrinkles on human skin」（Pacific Conference on Computer Graphics and Applications, pp. 166-175, 2002）、およびLarboulette他著「Real-time dynamic wrinkles」（Computer Graphics International, IEEE Computer Society Press, 2004））。このような方法は、通常、ユーザにしわ領域を描かせ、かつ調節機能を選択させることで進む。次に、ベースメッシュが長さを保つように変形する際に、しわの深さが調節される。これは、ユーザ制御が可能であり、例えば、額を横断する長く深いしわによく適している。しかし、ユーザがリアルなしわの集合を生成することは難しく、これらの方法は、毛穴および他の微細スケールの皮膚特徴に対応しない。
【００１３】
テクスチャ合成
主な２種類のテクスチャ合成方法として、マルコフ形テクスチャ合成およびパラメトリックテクスチャ合成がある。
【００１４】
マルコフ形テクスチャ合成方法は、テクスチャ画像をマルコフランダムフィールドとして扱う。合成すべきパッチまたは画素の近傍に適合する近傍を有する領域を求めてサンプルテクスチャを探索することによって、画像がパッチ毎または画素毎に構築される。この方法は、低解像度画像および高解像度画像のサンプル対を用いて低解像度画像から高解像度画像を生成する超解像フィルタを含む多数の用途に拡張された（Hertzmann他著「Image analogies」（SIGGRAPH '01: Proceedings, pp. 327-340, 2001））。マルコフ形方法は、顔の様々なエリアで撮影された小さなサイズのサンプルから微細スケールの法線マップを成長させるための顔の幾何形状の生成にも用いられている。
【００１５】
パラメトリック法は、サンプルテクスチャから一組の統計値を抽出する。合成は、ノイズ画像から開始し、これを統計値に合わせていく。最初の方法は、Heeger他著「Pyramid-based texture analysis/ synthesis」（SIGGRAPH '95: Proceedings, pp. 229-238, 1995）（参照により本明細書中に援用される）に記載された。選択される統計値は、画像の可動型ピラミッド（steerable pyramid）のヒストグラムであった。より大きく複雑な一組の統計値を用いて、より多様なテクスチャを生成することができる（Portilla他著「A parametric texture model based on joint statistics of complex wavelet coefficients」（Int. Journal of Computer Vision 40, 1, pp. 49-70, 2000））。
【発明の開示】
【発明が解決しようとする課題】
【００１６】
詳細な表面幾何形状は、３Ｄ顔モデルの視覚的リアリズムに大きく寄与する。しかし、高解像度の顔モデルを取得することは、面倒で高い費用がかかることが多い。その結果、ゲーム、仮想現実シミュレーション、またはコンピュータビジョンアプリケーションに用いられるほとんどの顔モデルは、非現実的に滑らかに見える。
【課題を解決するための手段】
【００１７】
本発明の実施の形態は、しわおよび毛穴等の小さな３次元の顔特徴をモデリングする方法を提供する。高解像度の顔の幾何形状を取得するために、広範な年齢、性別、および人種にわたる顔がスキャンされる。
【００１８】
スキャン毎に、変位された細分割表面を用いて、皮膚表面の細部が滑らかなベースメッシュから分離される。次に、結果として得られた変位マップが、１つの顔にわたって空間的に変化する統計値を取り込むようになっているテクスチャ分析・合成フレームワークを用いて分析される。抽出された統計値は、任意の被写体の顔メッシュにもっともらしい細部を合成するために用いることができる。
【００１９】
本方法は、年齢および性別の異なる被写体の顔テクスチャの分析、高解像度の顔スキャン同士の補間、低解像度の顔スキャンへの細部の追加、および顔の見かけ年齢の調節を含むいくつかの用途に対して有効である。本方法は、高解像度スキャンに見られるものと一致する微細な幾何学的細部を再現することができる。
【発明の効果】
【００２０】
顔を粗いベースメッシュと詳細な変位画像とに分離すること、詳細な画像の統計値を抽出すること、およびその後、抽出された統計値に基づいて微細な細部を有する新たな顔を合成することによって顔の幾何形状を分析および合成する方法を記載する。
【００２１】
本方法は、高解像度の顔スキャンの分析に基づく微細な幾何学的顔特徴の統計モデル、幾何学的細部を空間的に変化させるためのパラメトリックなテクスチャ分析および合成方法の拡張、研究団体に利用可能にされるサンプル集団の詳細な顔統計値のデータベース、新たな応用（低解像度顔モデルへのもっともらしい細部の導入、並びに年齢および性別に応じた顔スキャンの調整を含む）、並びに分析することのできる統計値を提供するパラメトリックモデルを提供する。本発明では、分析を行い、複数のグループの統計値を比較し、合成している細部についてある程度の理解を得ることができる。これにより、より簡単かつ直接的な統計値も可能になる。
【発明を実施するための最良の形態】
【００２２】
図１および図２に示すように、本発明は、人間の顔の微細な細部を分析、モデリングおよび合成する方法を提供する。本方法への入力は、本物の顔１０２の多数のスキャン１０１である。これらのスキャンは、顔の３次元幾何形状、および画像の形態のテクスチャを含む。本物の顔１０２は、年齢、性別、および人種の変動を含む。各スキャン１０１を分析し（２００）、パラメトリックテクスチャモデル４００を構築する。このモデルは、メモリ４１０に記憶することができる。その場合、モデルは、後に、合成顔画像３２１の合成（３００）に用いることができる。分析は、各顔スキャンにつき１回だけ行えばよい。合成は、任意の回数だけ、また様々な用途について行うことができる。
【００２３】
分析（２００）は、本物の各顔の高解像度スキャン１０１から開始して、例えば、５０万個の三角形を有するポリゴンメッシュ２１１を構築する（２１０）。このメッシュを再パラメータ化し（２２０）、ベースメッシュ２２１と変位画像２２２とに分離する。変位画像２２２をタイル２３１に分割する（２３０）。各タイルについて統計値２４１を測定する（２４０）。
【００２４】
合成（３００）は、統計値２４１を変更して変位画像２２２を調節する（３１０）。調節された変位画像３１１を、次にベースメッシュ２２１と結合して（３２０）合成顔画像３２１を形成する。
【００２５】
データ取得
本発明では、年齢、性別および人種に変動のある多数の被写体について、高解像度の顔スキャンを取得する。各被写体は、データの取得中に頭を動かさないでおくために、ヘッドレスト付きの椅子に座る。本発明では、市販の顔スキャナを用いて、完全な３次元の顔の幾何形状を取得する。出力メッシュは、４０ｋ個の頂点を含み、手動でクロッピングされ、不要な成分が除去される。次に、本発明では、Ｌｏｏｐ細分割を用いてメッシュを約７００ｋ個の頂点に精緻化する。結果として得られるメッシュは、微細な顔の細部を分解するには滑らか過ぎる。
【００２６】
被写体は、また、複数のカメラおよびＬＥＤを有するジオデシックドーム内に置かれる。Weyrich他により２００５年３月２９日付で出願された米国特許出願第１１／０９２，４２６号「Skin Reflectance Model for Representing and Rendering Faces」（参照により本明細書中に援用される）を参照願いたい。このシステムは、各ＬＥＤを順次点灯し、それと同時に、１６台のカメラを用いて異なる視点から画像を取り込む。これらの画像は、顔のテクスチャを取り込む。画像データを用いて、本発明では、メッシュの幾何形状を精緻化し、照度差ステレオ処理を用いて高解像度の法線マップを求める。本発明では、高解像度の法線を低解像度の幾何形状と結合し、法線場のバイアスを明らかにする。結果として、サンプル間隔が約０．５ｍｍで低ノイズ（例えば０．０５ｍｍ未満）の高解像度（５００ｋポリゴン）の顔メッシュ２１１が得られ、この顔メッシュ２１１は、しわおよび毛穴等の微細な幾何学的細部を正確に取り込む。
【００２７】
再パラメータ化
再パラメータ化のために、本発明では、顔スキャナから得た出力メッシュ間の頂点の対応関係を求める。本発明では、顔画像中の多数の特徴点（例えば、２１個の特徴点）を手動で定義する。事前に定義された接続関係により、特徴点は、「マーカー」メッシュ２１２を形成し、これにより、全ての顔が厳密に位置合わせされる。マーカーメッシュ２１２は、細分割されて法線の方向で元の顔スキャンに数回再射影され、元のスキャンのより正確な近似を連続的に生じる。顔メッシュは、マーカーメッシュと比べて滑らかであるため、自己交差が生じる。
【００２８】
微妙な問題は、正しい細分割戦略を選択することである。補間細分割方式を用いる場合、マーカーの頂点は、定位置に留まり、結果として得られるメッシュは、比較的正確な頂点毎の対応関係を有する。しかし、バタフライ細分割（butterfly subdivision）は、メッシュをつぶす傾向があり、線形細分割は、導関数に不連続点を有するパラメータ化を生成する。Ｌｏｏｐ細分割等の近似法は、頂点を移動させ対応関係を悪化させるという代償を払って、より円滑なパラメータ化を生じる（Loop著「Smooth Subdivision Surfaces Based on Triangles」（Master's thesis, University of Utah, 1987）（参照により本明細書中に援用される））。細分割方式の選択は、円滑なパラメータ化と、より良好な対応関係との間のトレードオフを提供する。
【００２９】
近似方式では、最初の数回の細分割により頂点が最も遠くへ移動するため、本発明では、２回の線形細分割を用いた後に、２回のＬｏｏｐ細分割を用いる。これによりメッシュ２１１が得られ、このメッシュ２１１から、残りの顔の細部を取り込むスカラー変位画像２２２を求める。Lee他著「Displaced subdivision surfaces」（SIGGRAPH '00: Proceedings, pp. 85-94, 2000）（参照により本明細書中に援用される）を参照願いたい。
【００３０】
具体的には、本発明では、メッシュ２１１をＬｏｏｐ細分割により３回細分割する。これにより、本明細書において、ベースメッシュ２２１と呼ぶ粗く滑らかなメッシュが得られる。このベースメッシュを元の顔に射影し、変位画像を各頂点におけるこの射影の長さにより定義する。これを画像にマッピングするために、事前に定義された方法で矩形にマッピングされたマーカーメッシュ２１２から開始し、その矩形において細分割シーケンスをたどる。
【００３１】
本発明では、変位画像を１０２４×１０２４個のサンプル、すなわち、画素強度で表す。変位画像は、本質的に、顔のテクスチャを取り込む。１つの分割された変位画像２２２を図３に示す。
【００３２】
統計値の抽出
顔変位画像の微細な細部を測定して（２４０）統計値を得る。本発明の目的は、変位を十分な精度で表現し、新たな顔への細部の合成（３００）に適したコンパクトなモデルにおいて、しわおよび毛穴を保持することである。
【００３３】
本発明の統計方法は、画像に一般に用いられるテクスチャ合成技法の拡張である。Heeger他に従って、画像中のサンプルテクスチャの可動型ピラミッドのヒストグラムを抽出し、テクスチャが有する様々な成分をいくつかのスケールおよび向きで取り込む。Simoncelli他著「The steerable pyramid: a flexible architecture for multi-scale derivative computation」（ICIP '95: Proceedings, International Conference on Image Processing, vol. 3, 1995）（参照により本明細書中に援用される）を参照願いたい。従来の方法を直接適用することにより、各顔について一組のグローバル統計値が定義されるが、顔の細部の統計値は、空間的に変化するため、そのままでは役立たない。本発明では、画像タイル２３１の統計値を取り出して、空間的変動を取り込むという変更を行う。具体的には、本発明では、画像を１６×１６の格子状になった２５６個のタイルに分解し、可動型ピラミッドを各タイルについて４つのスケールおよび４つの向きで構築する。本発明では、テクスチャのローパス残差（residue）ではなく、テクスチャのハイパス残差を考慮し、これを取り出してベースメッシュの部分とする。これにより、１７個のフィルタ出力が生じる。
【００３４】
図４は、タイルの２×２部分の２つのスケールのヒストグラム４０１およびフィルタ出力を示す。輪郭を描いた２×２部分のフィルタ応答およびヒストグラムを示す。全ての向きおよび２つのスケールを示す。より多くの成分を有するタイルのヒストグラム４０３は、より少ない成分を有するタイルのヒストグラム４０２よりも幅が広い。
【００３５】
これらのヒストグラムは、大量のデータを含むため、その記憶、分析、補間、およびレンダリングは、面倒である。しかし、様々な顔の同一タイル内のヒストグラム間の主な差異は、幅であることに気付く。よって、本発明では、各ヒストグラムをその標準偏差により近似する。これにより、データを大幅に圧縮することができる。顔の統計値は、１２８ビンを用いた場合のヒストグラムにおける１２８×１７×１６×１６＝５５７，０５６個のスカラー、および元の画像の１０２４×１０２４＝１，０４８，５７６個のスカラーに対して、各フィルタ応答における各タイルにつき１つのスカラー、すなわち１７×１６×１６＝４，３５２個のスカラーを含む。これらの縮小された統計値から合成される顔は、完全なヒストグラムの組を用いて合成される顔と視覚的に見分けがつかない。
【００３６】
この縮小された統計値の組は、記憶域および処理時間を削減するだけでなく、１つの顔にわたって、また顔の集団にわたって統計値がどのように変化するかについて、より容易な視覚化およびより良い理解も可能にする。例えば、各スケールおよびタイルについて、全てのフィルタ方向の標準偏差を、各方向について計算された標準偏差により、その方向に展開された円として描くことができる。
【００３７】
図５は、そのような、ピラミッドの第２のスケール（５１２×５１２画素）の展開した円５００による視覚化を示す。
【００３８】
合成
統計値を用いて顔の細部を合成する。Heeger他は、これを以下のように達成する。サンプルテクスチャをその可動型ピラミッドに展開する。合成すべきテクスチャは、ノイズから開始し、同様に展開する。次に、合成テクスチャの各フィルタのヒストグラムをサンプルテクスチャのヒストグラムと照合し、合成テクスチャのピラミッドを折りたたみ再び展開する。可動型ピラミッドは、過完備基底を形成するため、出力が個別に調節される場合、ピラミッドを折りたたむことおよび展開することによりフィルタ出力が変化する。しかし、この手順を数回繰り返すと収束する。
【００３９】
この従来技術のプロセスは、本発明の縮小された空間的に変化する統計値の組を使用するように変更する必要がある。ヒストグラム照合ステップを、標準偏差の照合に置き換える。このステップでは、特定の画素が、４つの異なる値を示唆する４つの近傍タイルを有することになる。本発明では、これらの４つの値間で双線形補間を行う。次に、上記のように、ピラミッドを折りたたみ、展開し、反復的に繰り返すことを続ける。
【００４０】
このように双線形補間により標準偏差を調節しても、合成されるタイルは、ターゲットタイルと同じ偏差を有しない。しかし、このステップを数回繰り返せば、合成されるタイルの偏差は、所望の偏差に収束する。実際には、この照合を繰り返し行うことにより、反復毎に１回の照合ステップのみを用いて合成されるメッシュと視覚的に見分けのつかないメッシュが得られる。
【００４１】
従来のパラメトリックテクスチャ合成は、通常、ノイズ画像から開始する。それに対して、本発明のほとんどの応用では、変位画像２２２から合成を始める。この場合、統計値の反復照合は、新たな細部を追加しないが、既存の細部を正しく方向付けおよびスケーリングされた鮮鋭化およびぼかしにより変更する。
【００４２】
開始画像の有する細部が不十分である場合、本発明では、開始画像にノイズを追加する。本発明では白色ノイズを用いるが、経験では、同様に単純なノイズモデル、例えば、Ｐｅｒｌｉｎノイズが同じ結果を生じることが示唆される。Perlin著「An image synthesizer」（SIGGRAPH '85: Proceedings, pp. 287-296, 1985）を参照願いたい。本発明では、考え得るスキャナノイズおよびメッシュ化アーティファクトをカバーするのに十分であるが、既存の細部に勝るほどではない量のノイズを追加するよう注意を要する。
【００４３】
応用
本発明による、詳細な顔の幾何形状の統計モデルは、様々な用途に有用である。統計値は、例えば、顔のグループ間の変化を追跡するための顔の細部の分析を可能にする。統計値は、また、鮮明さを保存する補間、低解像度メッシュへの細部の追加、および加齢等の用途について、新たな顔の合成を可能にする。
【００４４】
顔の細部の分析
第１の応用として、顔の細部の分析および視覚化を考慮する。顔の細部が個人的特徴によりどのように変化するかに関する洞察を得たい。または、統計値を使用し、スキャンの統計値に基づいて顔を分類したい。グループ間の差異を視覚化するために、各グループの統計値を、最少量の成分を有するグループに標準化し、平均統計値をタイル毎に比較する。例えば、この手法を用いて、年齢および性別の影響を調査することができる。
【００４５】
年齢
年齢の影響を調査するために、２０歳〜３０歳、３５歳〜４５歳、５０歳〜６０歳の３つの男性グループを比較する。本発明の統計値は、１番目の年齢層から２番目の年齢層にかけてよりも、２番目の年齢層から３番目の年齢層にかけてしわが現れてくることを示唆する。これは、４５歳頃から、皮膚の粗さの量が急速に増えることを示唆する。４５歳を過ぎると、より方向性の永久的なしわが目尻、口、並びに頬および額のいくつかのエリアの周囲に現れる。
【００４６】
性別
顔の細部が性別によりどのように変化するかを調査するために、２０歳〜３０歳の女性を同じ年齢層の男性と比較する。女性と男性との高周波成分の変化は、様々な年齢層間の変化と性質が異なる。男性のほうが高周波成分を多く有するが、この年齢層の変化は、比較的一様であり、あまり方向性がない。また、男性は、顎および下頬の周囲に遥かに多くの成分を有する。スキャンした被写体は、誰も髭を生やしていなかったが、これは、男性被写体の無精髭および毛穴を示すものと思われる。
【００４７】
補間
顔同士の補間を行うことが有用であり得る用途は多い。例えば、新たな顔を合成するためのユーザインタフェースは、データセットから複数の顔をユーザに提示し、一組の重みを定義し、入力された顔から所与の重みで補間した顔を返すことができる。代替的に、線形モデルは、１つの顔を、多数の入力された顔の加重和として合成することができる。
【００４８】
細部の追加
低解像度メッシュは、様々なソースから作成することができる。このようなメッシュは、市販のスキャナから入力されるか、手動で生成されるか、または一組の入力メッシュから線形モデルを用いて合成することができる。一方で、高解像度メッシュを得るのは、難しく高い費用がかかる。高解像度メッシュを得なくとも、低解像度の顔にもっともらしい高解像度の細部を追加することができれば有用であろう。
【００４９】
代替的に、低解像度メッシュをある年齢層の平均統計値に合わせて調節することは便利であろう。本発明のフレームワークは、低解像度メッシュ上への細部の合成を簡単な方法で可能にする。本発明では、低解像度メッシュの変位画像から開始して、これをターゲット統計値に合わせて調節し、これを元のベースメッシュに加算する。このプロセスは、本質的に、開始メッシュの利用可能な細部レベルに適応してこれを利用するため、開始メッシュが正確であるほど、合成される顔は、忠実なものとなる。
【００５０】
加齢および若返り
顔メッシュの見かけの年齢を変化させることが望ましい場合がある。例えば、ある俳優をより年取ってまたは若く見せたい場合がある。目標は、若い顔がもっともらしく年取ったような顔、およびその逆の顔を生成することである。顔の細部は、見かけの年齢に極めて重要な役割を果たすため、また、様々な年齢で撮影した同一人物のスキャンが利用可能でないため、年齢を変えることは困難な仕事である。
【００５１】
単純な手法は、高周波成分を年取った人から若い人へコピーする。これは、開始メッシュの既存の細部を上書きするとともに、年取った顔の高周波成分が若い顔の低周波成分の位置と合わないエリアにゴースティングを生じる。Blanz他のモデルは、そのセットのメッシュの年齢の線形回帰により加齢を行う。しかしこれは、補間と同じ問題（しわの位置が揃わず、細部がぼやける）を伴う。これはまた、ゴースティングの問題を解決せず、既存の細部を無視する。
【００５２】
本発明の方法の重要な利点は、既存の細部から開始し、細部を適宜調節することである。本発明の加齢方法を、以下でさらに詳述する。若返りは、同様に行われる。
【００５３】
加齢は、本発明の合成フレームワークに見事に該当する。本発明では、若い顔と年取った顔とを選択する。加齢するには、若い顔の画像から開始し、これを年取った顔の統計値に合わせていく。結果として得られる画像は、若い顔の細部を含み、しわおよび毛穴が、年取った顔の統計値に合わせて鮮鋭化され伸びている。
【００５４】
調節を説得力のあるものとするために、本発明では、基礎となる粗い顔構造を変化させる。本発明による顔メッシュの階層的分解は、このような変形を行う方法を示唆する。変位マップに先立って、本発明の再メッシュ化方式は、各顔をマーカーメッシュと、４つのレベルの細部とに分解する。この場合、若いメッシュからマーカーメッシュと低レベルの細部を取り出し（これらの粗い特性は、個人的なものであり、年齢とともに変化しないため）、年取ったメッシュから高レベルの細部を取り出す。
【００５５】
図６は、加齢を示し、図７は、若返りを示す。目尻および額付近において、若い顔は、年取った顔の方向性の高いしわを有するように調節される。若い顔は、また、口の両側の下にしわを獲得する。若返った顔は、例えば、頬のしわが滑らかになるが、口および瞼のしわの鮮明さは、保持する。
【図面の簡単な説明】
【００５６】
【図１】本発明の一実施形態による、顔を分析、モデリングおよび合成する方法の高レベルブロック図である。
【図２】本発明の一実施形態による、顔を分析、モデリング、および合成する方法の詳細なブロック図である。
【図３】本発明の一実施形態による、タイルに分割された変位画像を示す。
【図４】本発明の一実施形態による、ヒストグラムおよびフィルタ出力を示す図である。
【図５】本発明の一実施形態による、展開した円を有するピラミッドの第２のスケールの視覚化を示す図である。
【図６】本発明の一実施形態による、加齢を示す図である。
【図７】本発明の一実施形態による、若返りを示す図である。
【特許請求の範囲】
【請求項１】
顔モデルを生成する方法であって、
顔のスキャンを取得することと、
前記スキャンからポリゴンメッシュを構築することと、
ベースメッシュおよび変位画像を求めるために、前記ポリゴンメッシュを再パラメータ化することと、
前記変位画像を複数のタイルに分割することと、
各タイルの統計値を測定することと、
前記顔のモデルを生成するために、前記ベースメッシュ、前記変位画像、および前記統計値をメモリに記憶することと
を含む顔モデルを生成する方法。
【請求項２】
前記変位画像を変形させるために、前記統計値を変更することと、
新たな顔を合成するために、前記変形された変位画像を前記ベースメッシュと結合することと
をさらに含む請求項１に記載の方法。
【請求項３】
前記スキャンは、前記顔の３次元幾何形状と、前記顔のテクスチャの画像とを含む請求項１に記載の方法。
【請求項４】
前記再パラメータ化することは、前記ポリゴンメッシュの頂点と前記画像中に定義される特徴点との間の対応関係を求めることをさらに含む請求項３に記載の方法。
【請求項５】
前記特徴点は、マーカーメッシュを形成する請求項４に記載の方法。
【請求項６】
前記測定することは、各タイル内の前記テクスチャの可動型ピラミッドのヒストグラムを抽出することをさらに含む請求項３に記載の方法。
【請求項７】
前記可動型ピラミッドは、複数のスケールおよび複数の向きを有する請求項６に記載の方法。
【請求項８】
前記可動型ピラミッドは、前記テクスチャのハイパス残差を考慮し、前記テクスチャのローパス残差は、前記ベースメッシュの一部である請求項６に記載の方法。
【請求項９】
各ヒストグラムを標準偏差により近似することをさらに含む請求項６に記載の方法。
【請求項１０】
年齢、性別および人種の変動を含む複数の顔について前記モデルを生成することをさらに含む請求項１に記載の方法。
【請求項１１】
前記複数の顔を対応する前記統計値に従って分類することをさらに含む請求項１０に記載の方法。
【請求項１２】
前記モデルを加齢することをさらに含む請求項１に記載の方法。
【請求項１３】
前記モデルを若返らせることをさらに含む請求項１に記載の方法。
【請求項１４】
顔モデルを生成するシステムであって、
顔のスキャンを取得する手段と、
前記スキャンからポリゴンメッシュを構築する手段と、
ベースメッシュおよび変位画像を求めるために、前記ポリゴンメッシュを再パラメータ化する手段と、
前記変位画像を複数のタイルに分割する手段と、
各タイルの統計値を測定する手段と、
前記顔のモデルを生成するために、前記ベースメッシュ、前記変位画像、および前記統計値をメモリに記憶する手段と
を備える顔モデルを生成するシステム。
【請求項１】
顔モデルを生成する方法であって、
顔のスキャンを取得することと、
前記スキャンからポリゴンメッシュを構築することと、
ベースメッシュおよび変位画像を求めるために、前記ポリゴンメッシュを再パラメータ化することと、
前記変位画像を複数のタイルに分割することと、
各タイルの統計値を測定することと、
前記顔のモデルを生成するために、前記ベースメッシュ、前記変位画像、および前記統計値をメモリに記憶することと
を含む顔モデルを生成する方法。
【請求項２】
前記変位画像を変形させるために、前記統計値を変更することと、
新たな顔を合成するために、前記変形された変位画像を前記ベースメッシュと結合することと
をさらに含む請求項１に記載の方法。
【請求項３】
前記スキャンは、前記顔の３次元幾何形状と、前記顔のテクスチャの画像とを含む請求項１に記載の方法。
【請求項４】
前記再パラメータ化することは、前記ポリゴンメッシュの頂点と前記画像中に定義される特徴点との間の対応関係を求めることをさらに含む請求項３に記載の方法。
【請求項５】
前記特徴点は、マーカーメッシュを形成する請求項４に記載の方法。
【請求項６】
前記測定することは、各タイル内の前記テクスチャの可動型ピラミッドのヒストグラムを抽出することをさらに含む請求項３に記載の方法。
【請求項７】
前記可動型ピラミッドは、複数のスケールおよび複数の向きを有する請求項６に記載の方法。
【請求項８】
前記可動型ピラミッドは、前記テクスチャのハイパス残差を考慮し、前記テクスチャのローパス残差は、前記ベースメッシュの一部である請求項６に記載の方法。
【請求項９】
各ヒストグラムを標準偏差により近似することをさらに含む請求項６に記載の方法。
【請求項１０】
年齢、性別および人種の変動を含む複数の顔について前記モデルを生成することをさらに含む請求項１に記載の方法。
【請求項１１】
前記複数の顔を対応する前記統計値に従って分類することをさらに含む請求項１０に記載の方法。
【請求項１２】
前記モデルを加齢することをさらに含む請求項１に記載の方法。
【請求項１３】
前記モデルを若返らせることをさらに含む請求項１に記載の方法。
【請求項１４】
顔モデルを生成するシステムであって、
顔のスキャンを取得する手段と、
前記スキャンからポリゴンメッシュを構築する手段と、
ベースメッシュおよび変位画像を求めるために、前記ポリゴンメッシュを再パラメータ化する手段と、
前記変位画像を複数のタイルに分割する手段と、
各タイルの統計値を測定する手段と、
前記顔のモデルを生成するために、前記ベースメッシュ、前記変位画像、および前記統計値をメモリに記憶する手段と
を備える顔モデルを生成するシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００７−２６５３９６（Ｐ２００７−２６５３９６Ａ）
【公開日】平成１９年１０月１１日（２００７．１０．１１）
【国際特許分類】
【外国語出願】
【出願番号】特願２００７−３７９８３（Ｐ２００７−３７９８３）
【出願日】平成１９年２月１９日（２００７．２．１９）
【出願人】（５９７０６７５７４）ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド (484)
【住所又は居所原語表記】２０１ ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ ０２１３９， Ｕ．Ｓ．Ａ．
【Ｆターム（参考）】
【公開日】平成１９年１０月１１日（２００７．１０．１１）
【国際特許分類】
【出願番号】特願２００７−３７９８３（Ｐ２００７−３７９８３）
【出願日】平成１９年２月１９日（２００７．２．１９）
【出願人】（５９７０６７５７４）ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド (484)
【住所又は居所原語表記】２０１ ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ ０２１３９， Ｕ．Ｓ．Ａ．
【Ｆターム（参考）】
[ Back to top ]