顔形状モデリングシステムおよび顔形状モデリング方法
【課題】 特殊な装置を利用せずに、リアリスティックで、作成後の利用が容易な顔形状モデルが得られる顔形状モデリングシステムおよび顔形状モデリング方法を提供する。
【解決手段】 顔形状モデリングシステム１００のＣＰＵ１は、複数の二次元顔画像から特徴点を抽出する。次にＣＰＵ１は、撮像方向の違う各画像における特徴点の対応関係から、特徴点の三次元位置情報を求める。次にＣＰＵ１は、求めた特徴点の三次元位置情報に基づいて、ＧＦＦＤの変形手法を用い、標準顔形状を変形して三次元顔形状モデルを作成する。作成した三次元顔形状モデルに、二次元顔画像のテクスチャを貼付する。
【解決手段】 顔形状モデリングシステム１００のＣＰＵ１は、複数の二次元顔画像から特徴点を抽出する。次にＣＰＵ１は、撮像方向の違う各画像における特徴点の対応関係から、特徴点の三次元位置情報を求める。次にＣＰＵ１は、求めた特徴点の三次元位置情報に基づいて、ＧＦＦＤの変形手法を用い、標準顔形状を変形して三次元顔形状モデルを作成する。作成した三次元顔形状モデルに、二次元顔画像のテクスチャを貼付する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔の三次元幾何形状を生成するための、顔形状モデリングシステムおよび顔形状モデリング方法に関する。
【背景技術】
【０００２】
顔の三次元幾何形状作成に関する技術は、用いる手法により２つに分類される。ひとつは、実際に存在する対象から自動的に幾何的な特徴を抽出する手法である。例として、レンジスキャナを用いて対象の３次元幾何情報を取り込み、物理法則に基づいたモデルを生成する手法がある（例えば、非特許文献１参照）。また、対象の正面と側面の画像からモデルを生成する手法もある（例えば、非特許文献２参照）。上記の手法は、映画やコンピュータゲームなどのエンターテインメント分野では既に実用化されており、半自動的にリアリスティックな顔形状を得ることができる。しかし上記の手法は、レンジスキャナなど特殊な装置を必要とする。
【０００３】
もうひとつは、直接的に顔の幾何形状を作成する際に、その作業をより簡便にすることを目標とする手法である。このような手法のうちいくつかは既に商用の３次元モデリングソフトに組み込まれている。しかしこの手法は、作業者に多くの芸術的感性を要求されるため、より高レベルでの制御が可能になるよう研究が行われている。例えば、パラメータによって顔形状を変形する手法（非特許文献３参照）や、局所的な変形パラメータをより大局的な集合にして表現する手法（非特許文献４参照）が提案されている。
しかし、上記の手法は、幾何形状作成の効率化を図る作業補助的なものであり、どんな作業者でも任意の顔形状を作成するには十分ではない。
【０００４】
また、人体計測に基づくパラメータを用いて顔形状を生成する手法もある（非特許文献５参照）。しかし、この手法ではパラメータが十分でなく、顎の突出度と眼裂の大きさなど僅かな特徴の操作しかできない為、詳細な特徴を持つ顔形状の生成はできない。
【０００５】
一方、任意の三次元形状を生成する手法として、三次元物体の二次元図形情報を用いる手法がある。この手法は、物体の二次元図形情報の特徴点と、その物体に基本形状が近似する三次元基本形状モデルの制御点をとる。そして、三次元基本形状モデルの制御点を二次元図形情報の特徴点に一致させるよう、三次元基本形状モデルを変形する（例えば、特許文献１参照）。
【０００６】
また、三次元形状の変形については、変形手法であるＦＦＤ（Free-Form Deformation）を用い、基底関数にcosine関数やcosine-n乗関数（nは２以上の整数）を用いる手法が提案されている（例えば、特許文献２参照）。
【０００７】
【非特許文献１】Y.Lee, D.Terzopoulos, and K.Waters, 迭ealistic face modeling for animation In Proceedings SIGGRAPH'95, 1995, p.55-62
【非特許文献２】T.Akimoto, Y.Suenaga, and R.Wallace, 鄭utomatic creation of 3D facial models IEEE Computer Graphics and Applications, September 1993, 13(5):p.16-22
【非特許文献３】F.Parke and K.Waters, 鼎omputer Facial Animation AKPeters, 1996
【非特許文献４】N.Magnenat-Thalmann, H.Minh, M.de Angelis, and D.Thalmann, 泥esign, transformation and animation of human faces The Visual Computer, 1989, 5(1/2):p.32-39
【非特許文献５】Douglas DeCarlo, Dimitris Metaxas, and Matthew Stone, 鄭nthropometric Face Model using Variational Techniques In Proceedings SIGGRAPH'98, 1998, p.67-74
【特許文献１】特開平４−２８９９７６号公報
【特許文献２】特開２００４−７８３０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、顔を対象とした場合、特許文献１の手法をはじめとした、単に三次元形状モデルを作成する手法だけでは、不十分であるといえる。これは、三次元顔形状モデルの主な用途が、デジタルアクターやアバタなどの表情を伴ったアニメーションの作成や、美容整形シミュレーションなどであるためである。これらの用途における顔形状モデルの作成には、顔形状に特有である表情付けや解剖学的な構造などの情報を付加しなければならない。従来技術では、対象を三次元形状全般としているものが多く、顔形状特有の情報を扱っていないため、新たな顔形状モデルを作成するごとに顔形状特有の情報を付加しなければならず、作業効率が悪くなっている。
【０００９】
この発明はこのような点に鑑みてなされたもので、人間の顔を対象として、特殊な装置を利用せずに、リアリスティックで、作成後の利用が容易な三次元顔形状モデルが得られる顔形状モデリングシステムおよび顔形状モデリング方法を提供することを目的としている。
【課題を解決するための手段】
【００１０】
上記した目的を達成するために、請求項１記載の発明は、第1の特徴点の標準位置情報を有する三次元標準顔形状から任意の三次元顔形状モデルを作成する顔形状モデリングシステムにおいて、複数の二次元顔画像を取得する顔画像取得手段と、前記顔画像取得手段により取得した前記二次元顔画像から第２の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段により抽出した前記第２の特徴点の三次元位置情報を取得する三次元位置情報取得手段と、前記三次元標準顔形状が有する第１の特徴点の標準位置情報と、前記三次元位置情報取得手段で取得した前記第２の特徴点の三次元位置情報とから、前記三次元標準顔形状を変形する変形手段とを有することを特徴とする。
【００１１】
請求項２記載の発明は、請求項１記載の顔形状モデリングシステムにおいて、前記変換手段が、ＧＦＦＤの変形手法を用い、ガウス関数とユークリッドノルムを基底関数とすることを特徴とする。
【００１２】
請求項３記載の発明は、請求項１記載の顔形状モデリングシステムにおいて、前記変換手段により変換して作成した三次元顔形状モデルに、前記顔画像取得手段で取得した二次元顔画像をテクスチャとして貼付することを特徴とする。
【００１３】
請求項４記載の発明は、請求項１記載の顔形状モデリングシステムにおいて、前記三次元標準顔形状に、任意の情報を付加することを特徴とする。
【００１４】
請求項５記載の発明は、任意の三次元顔形状モデルを作成する顔形状モデリング方法において、第１の特徴点の標準位置情報を有する三次元標準顔形状を記憶するステップと、複数の二次元顔画像を取得するステップと、取得した前記二次元顔画像から第２の特徴点を抽出するステップと、抽出した前記第２の特徴点の三次元位置情報を取得するステップと、記憶した前記三次元標準顔形状の第１の特徴点の標準位置情報と、前記三次元位置情報取得手段で取得した前記第２の特徴点の三次元位置情報とから、前記三次元標準顔形状を変形するステップとを有することを特徴とする。
【発明の効果】
【００１５】
以上の説明で明らかなように、本発明によれば、複数の二次元顔画像から第２の特徴点を抽出し、該第２の特徴点の三次元位置情報を取得し、三次元標準顔形状の第１の特徴点の標準位置情報と、取得した前記第２の特徴点の三次元位置情報とから前記三次元標準顔形状を変形する。よって、手作業よりも容易に三次元顔形状モデルを作成することが可能である。
また、顔画像を用意すれば数分で三次元顔形状モデルを作成できるので、作業効率が高い。また、レンジスキャナなどの特殊な装置を必要としないので、安価にシステムを構築することができる。ネットワーク上からの利用なども容易である。
【００１６】
また、ガウス関数とユークリッドノルムを基底関数としたＧＦＦＤの変形手法を用いるので、特徴点の移動により周囲の幾何形状もなめらかに変形することができる。また、ガウス関数を用いた場合は、変形の微調整が可能であり、ユークリッドノルムを用いた場合は、元の幾何形状の特徴をできるだけ保った変形が可能である。
【００１７】
また、変換して作成した三次元顔形状モデルに二次元顔画像をテクスチャとして貼付するので、元の二次元顔画像により近い顔形状を作成することができる。
【００１８】
また、三次元標準顔形状に任意の情報を付加するので、例えば笑いや怒りといった表情の情報を標準顔形状に付加し、前記標準顔形状を変形して作成した三次元顔形状モデルにも、自動的に表情の情報を付加することができるので、様々な用途に対応できる。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照して本発明の実施の形態を説明する。
図１は、本発明の一実施形態に係る顔形状モデリングシステム１００の概略構成を示すブロック図である。１はシステム全体の制御を行うＣＰＵ（中央制御処理装置、顔画像取得手段、特徴点抽出手段、三次元位置情報取得手段、変形手段）である。２はＣＰＵ１の動作プログラムを記憶するＲＯＭ（リードオンリメモリ）、３はデータ一時記憶用のＲＡＭ（ランダムアクセスメモリ）である。４はモニタ等の表示部、５は二次元の顔画像を入力する入力部である。
【００２０】
７はデータ記憶部であり、標準顔形状モデルを記憶している標準顔形状記憶部７１、特徴点を記憶している計測点データベース７２、プログラム記憶部７３を有する。
プログラム記憶部７３には、三次元形状の変形手法であり、一般的な関数によるＧＦＦＤ（general Free-Form Deformation）のプログラムを記憶している。ＧＦＦＤについては後述する。
【００２１】
計測点データベース７２に記憶している特徴点は、法医学複顔法で用いられているものであり、人体測定における計測点を基に、顔形状の個人差を表す形状の特徴点を統計的に解析して定められた点である。この特徴点は、鼻の最突出点や、目尻など、二次元画像上でも明確な特徴を持った点としている。本発明は、この点を顔形状の特徴点として用いることで、対象となる顔の三次元顔形状モデルを十分な精度で得ることができる。
【実施例１】
【００２２】
次に、上記構成の顔形状モデリングシステム１００の一実施例について、図２を参照して説明する。ユーザはデジタルカメラで、顔形状モデルを作成する対象となる顔を異なる撮像方向から複数枚撮影し、撮影したその二次元顔画像を入力部５に入力する（ステップＳ１）。二次元顔画像は、システムに要求される精度によって、２枚以上の異なる任意の方向を向いた顔画像を利用する。顔画像の枚数、及び画像中の顔の向きは重要でない。本例では、正面と左右側面の３枚の二次元顔画像を入力する。
【００２３】
次に、ＣＰＵ１は、計測点データベース７２に記憶されている計測点を呼び出し、入力部５から入力された３枚の二次元顔画像それぞれについて、二次元顔画像の特徴点を抽出する（ステップＳ２）。
特徴点は、手動による抽出の他に、一般的な画像処理手法による自動抽出も可能である。最も容易な特徴点の自動抽出方法は、二次元顔画像から任意の輝度を閾値として２値化し、特徴点の定義に合う点を、画像を走査し判定する方法である。
本例では、十分な精度を持った三次元顔形状モデルを構築するため、図３で示す５１個の特徴点を抽出する。なお、特徴点は、任意の数を定義することも可能である。
【００２４】
各画像から抽出した特徴点は、鼻の最突出点や、目尻などといった顔の特徴部位の情報を持っているものの、座標は二次元でしか持っていない。次にＣＰＵ１は、撮像方向の違う各画像での特徴点の対応関係から、特徴点の三次元位置情報を求める（ステップＳ３）。
各顔画像の情報は、撮影したカメラのレンズなどの特性により歪み等が発生している。ＣＰＵ１は、抽出した特徴点の二次元座標に撮影したデジタルカメラのパラメータを用いて歪み等の補正を行い、特徴点の三次元位置情報を算出する。
このパラメータは、カメラの焦点距離等を示す内部パラメータと、カメラの配置、姿勢等を示す外部パラメータである。パラメータが未知の場合は、別工程として寸法の判っている立方体等を同じカメラで複数方向から撮影し、撮影した画像からパラメータを計算する。
【００２５】
次にＣＰＵ１は、標準顔形状記憶部７１に記憶されている標準顔形状モデルを呼び出し、ステップＳ３で求めた特徴点の三次元位置情報に基づき、標準顔形状モデルを変形する（ステップＳ４）。
標準顔形状記憶部７１に記憶されている標準顔形状モデルは、図４に示すように、ポリゴンメッシュ、あるいは自由曲面で構成された幾何形状と、二次元顔画像から抽出する特徴点と一対一で対応する特徴点から構成される。この標準顔形状モデルの特徴点標準位置情報を、ステップＳ３で求めた特徴点の三次元位置情報に合うように移動し、特徴点以外の幾何形状部分を特徴点の移動を補間するように変形する。
【００２６】
ステップＳ４における標準顔形状モデルの変形には、一般的な関数によるGFFD（General Free-Form Deformation）を用いた手法を用いる。
ここで、FFD(Free-Form Deformation)は変形対象の形状モデルに独立な変形手法であり、空間の変形を定義する操作点の数は変形される物体に独立であるので、スプライン曲面のように多くの制御点を変更する必要がない。しかし、従来のFFDは操作点の形状に制限が設けられている等の問題があった。
これに対してGFFDは、任意数の操作点を任意の位置に配置し、操作点の移動により変形を直感的に制御でき、任意の基底関数を選択できる等、従来のFFDに比べ柔軟な変形の制御を可能とする。図５に、ガウス関数を基底関数とした場合のGFFDによる形状変形の例を示す。このように、GFFDでは、操作点の移動により、周囲の幾何形状も滑らかに変形することができる。
そこで、標準顔形状モデルの特徴点をGFFDの操作点とし、二次元顔画像から抽出した特徴点へと移動することで幾何形状を変形する。
【００２７】
ここで、GFFDを用いた標準顔形状モデルの変形の詳細を以下に説明する。
ｎ個の標準顔形状モデルにおける特徴点を
【数１】
顔画像から抽出した特徴点を
【数２】
とし、piからqiへの変換を表す写像を考えると、
【数３】
と表される。この関数fを用いて空間上の任意の点を変換する。ここで、関数fをｎ個のベクトルの重み付き線形結合と考えると、
【数４】
と表される。ここで、
【数５】
は制御ベクトル、関数
【数６】
は標準顔形状モデルにおけるｊ番目の特徴点を中心とする任意の基底関数である。ここで、未知のベクトルVを求めるために、標準顔形状モデルにおける特徴点piと、その移動後の点として顔画像から抽出した特徴点qiを式（１）に代入すると、
【数７】
と表される。ここで、行列形式に書き換えると、
【数８】
となり、ここで
【数９】
と置けば、Vは、Gの逆行列を用いて次の様に求めることができる。
【数１０】
このように、特徴点の移動に合わせて、空間上の任意の点pを移動させた点qを
【数１１】
として求めることができる。
【００２８】
基底関数Gは変形対象に合わせて任意の関数を選択可能である。本発明では主にガウス関数とユークリッドノルムを用いている。ガウス関数を用いた場合では、標準偏差によって変形の微調整が可能であり、ユークリッドノルムの場合は、元の幾何形状の特徴をできるだけ保った変形が可能である。顔形状の全体的な形状を、ユークリッドノルムを用いたGFFDにより変形し、眼、鼻、口などの詳細な形状を、ガウス関数を用いたGFFDにより変形すると、顔の様に複雑な構造を持った形状も精度高く変形することができる。この手法を用いて、標準顔形状モデルを変形した例を図６に示す。作成される顔形状モデルは三次元形状なので、図７に示すように、入力画像とは異なる方向も表示が可能である。
【００２９】
次にＣＰＵ１００は、入力部５で入力した二次元顔画像のテクスチャを、作成した三次元顔形状モデルに貼り付け、表示部４に表示する（ステップＳ５）。テクスチャとは、コンピュータグラフィックスにおいて形状に画像を貼り付けることにより質感を向上させる手法である。本発明においては、二次元顔画像に合わせて標準顔形状モデルを変形するので、撮像したカメラの向きから顔の画像を貼り付けることで、作成した形状に合ったテクスチャとなる。図７にテクスチャを貼り付けた顔形状を示す。
【実施例２】
【００３０】
標準顔形状モデルには、作成後の三次元顔形状モデルの用途に応じて、任意の情報を付加しておくことが可能である。三次元顔形状モデルは、実際の利用に際し、表情付けなどの変形が行われるのが一般的である。そのため、標準顔形状モデルに、表情などの情報を付加しておき、標準顔形状モデルの変形時にその付加情報も同様に変形すれば、作成される三次元顔形状モデルにも自動的に付加情報を持つようになり、作成後の三次元顔形状モデルの操作が非常に容易になる。
【００３１】
例として表情付けを挙げる。一般的な表情を表現するために用いられている筋肉を、三次元ベクトルとしてモデル化し、図８（ａ）のように、筋肉の始点と終点を標準顔形状モデル上の点として定義する。次に、表情筋の始点を、その表情筋のベクトル方向に移動させ、その移動に合わせて標準顔形状モデルを変形させる。よって、図８（ｂ）のように、表情を付けた標準顔形状モデルを作成することができる。
【００３２】
表情を付けた標準顔形状モデルからの変形にも、ガウス関数を用いたGFFDによる変形を用いる。表情を付けた標準顔形状モデルを変形させ、顔画像のテクスチャを貼り付けた例を図９に示す。よって、システムに新たな要素を追加することなく、作成した三次元顔形状モデルへの表情付けを実現している。このように、標準顔形状モデルに情報を付加しておくだけで、作成した三次元顔形状モデルに、比較的容易に表情付けを行うことができる。
【産業上の利用可能性】
【００３３】
以上説明したように、本実施形態によれば、二次元顔画像から容易に三次元顔形状モデルが作成できる。よって、特殊な装置や芸術的感性を持っていない作業者でも、顔画像を用意すれば数分で三次元顔形状モデルを作成できる。
【００３４】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【００３５】
例えば、上記実施形態では、あらかじめ組み込まれている標準顔形状モデルからの変形を行ったが、本発明はこれに限定されるものではなく、任意の顔形状を標準顔形状モデルとして設定することも可能である。
【００３６】
また、標準顔形状モデルに付加する情報は、図１０に示す眼鏡の着用シミュレーションなどでもよい。図１０の例では、標準顔形状モデルに、眼鏡をフィットさせるために必要な特徴点を付加しておき、作成した三次元顔形状モデルの特徴点に三次元形状モデルの眼鏡を合わせている。
【００３７】
また本発明は、顔を扱う様々な分野で応用が可能である。前述した眼鏡の装着シミュレーションの他、美容整形シミュレーション、ゲームや映画などのキャラクター作成を行うツールとしての利用、携帯通信端末でのチャットやメールにおけるアバタ作成の利用などに応用が可能である。
【図面の簡単な説明】
【００３８】
【図１】本発明の一実施形態に係る顔形状モデリングシステム１００の概略構成を示すブロック図である。
【図２】同上の一実施形態における顔形状モデリングシステム１００の動作を示すフローチャートである。
【図３】二次元顔画像の特徴点を抽出した図である。
【図４】標準特徴点を付加した標準顔形状モデルの図である。
【図５】ＧＦＦＤによる三次元形状の変形例である。
【図６】ＧＦＦＤによる標準顔形状モデルからの変形例である。
【図７】変形した三次元顔形状モデルにテクスチャを貼付した図である。
【図８】標準顔形状モデルへの情報付加の例である。
【図９】表情を付けた三次元顔形状モデルの例である。
【図１０】眼鏡の着用シミュレーションを行った場合の三次元顔形状モデルの例である。
【符号の説明】
【００３９】
１…ＣＰＵ、２…ＲＡＭ、３…ＲＯＭ、４…表示部、５…入力部、７…データ記憶部、７１…標準顔形状記憶部、７２…計測点データベース、７３…プログラム記憶部、１００…顔形状モデリングシステム
【技術分野】
【０００１】
本発明は、顔の三次元幾何形状を生成するための、顔形状モデリングシステムおよび顔形状モデリング方法に関する。
【背景技術】
【０００２】
顔の三次元幾何形状作成に関する技術は、用いる手法により２つに分類される。ひとつは、実際に存在する対象から自動的に幾何的な特徴を抽出する手法である。例として、レンジスキャナを用いて対象の３次元幾何情報を取り込み、物理法則に基づいたモデルを生成する手法がある（例えば、非特許文献１参照）。また、対象の正面と側面の画像からモデルを生成する手法もある（例えば、非特許文献２参照）。上記の手法は、映画やコンピュータゲームなどのエンターテインメント分野では既に実用化されており、半自動的にリアリスティックな顔形状を得ることができる。しかし上記の手法は、レンジスキャナなど特殊な装置を必要とする。
【０００３】
もうひとつは、直接的に顔の幾何形状を作成する際に、その作業をより簡便にすることを目標とする手法である。このような手法のうちいくつかは既に商用の３次元モデリングソフトに組み込まれている。しかしこの手法は、作業者に多くの芸術的感性を要求されるため、より高レベルでの制御が可能になるよう研究が行われている。例えば、パラメータによって顔形状を変形する手法（非特許文献３参照）や、局所的な変形パラメータをより大局的な集合にして表現する手法（非特許文献４参照）が提案されている。
しかし、上記の手法は、幾何形状作成の効率化を図る作業補助的なものであり、どんな作業者でも任意の顔形状を作成するには十分ではない。
【０００４】
また、人体計測に基づくパラメータを用いて顔形状を生成する手法もある（非特許文献５参照）。しかし、この手法ではパラメータが十分でなく、顎の突出度と眼裂の大きさなど僅かな特徴の操作しかできない為、詳細な特徴を持つ顔形状の生成はできない。
【０００５】
一方、任意の三次元形状を生成する手法として、三次元物体の二次元図形情報を用いる手法がある。この手法は、物体の二次元図形情報の特徴点と、その物体に基本形状が近似する三次元基本形状モデルの制御点をとる。そして、三次元基本形状モデルの制御点を二次元図形情報の特徴点に一致させるよう、三次元基本形状モデルを変形する（例えば、特許文献１参照）。
【０００６】
また、三次元形状の変形については、変形手法であるＦＦＤ（Free-Form Deformation）を用い、基底関数にcosine関数やcosine-n乗関数（nは２以上の整数）を用いる手法が提案されている（例えば、特許文献２参照）。
【０００７】
【非特許文献１】Y.Lee, D.Terzopoulos, and K.Waters, 迭ealistic face modeling for animation In Proceedings SIGGRAPH'95, 1995, p.55-62
【非特許文献２】T.Akimoto, Y.Suenaga, and R.Wallace, 鄭utomatic creation of 3D facial models IEEE Computer Graphics and Applications, September 1993, 13(5):p.16-22
【非特許文献３】F.Parke and K.Waters, 鼎omputer Facial Animation AKPeters, 1996
【非特許文献４】N.Magnenat-Thalmann, H.Minh, M.de Angelis, and D.Thalmann, 泥esign, transformation and animation of human faces The Visual Computer, 1989, 5(1/2):p.32-39
【非特許文献５】Douglas DeCarlo, Dimitris Metaxas, and Matthew Stone, 鄭nthropometric Face Model using Variational Techniques In Proceedings SIGGRAPH'98, 1998, p.67-74
【特許文献１】特開平４−２８９９７６号公報
【特許文献２】特開２００４−７８３０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、顔を対象とした場合、特許文献１の手法をはじめとした、単に三次元形状モデルを作成する手法だけでは、不十分であるといえる。これは、三次元顔形状モデルの主な用途が、デジタルアクターやアバタなどの表情を伴ったアニメーションの作成や、美容整形シミュレーションなどであるためである。これらの用途における顔形状モデルの作成には、顔形状に特有である表情付けや解剖学的な構造などの情報を付加しなければならない。従来技術では、対象を三次元形状全般としているものが多く、顔形状特有の情報を扱っていないため、新たな顔形状モデルを作成するごとに顔形状特有の情報を付加しなければならず、作業効率が悪くなっている。
【０００９】
この発明はこのような点に鑑みてなされたもので、人間の顔を対象として、特殊な装置を利用せずに、リアリスティックで、作成後の利用が容易な三次元顔形状モデルが得られる顔形状モデリングシステムおよび顔形状モデリング方法を提供することを目的としている。
【課題を解決するための手段】
【００１０】
上記した目的を達成するために、請求項１記載の発明は、第1の特徴点の標準位置情報を有する三次元標準顔形状から任意の三次元顔形状モデルを作成する顔形状モデリングシステムにおいて、複数の二次元顔画像を取得する顔画像取得手段と、前記顔画像取得手段により取得した前記二次元顔画像から第２の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段により抽出した前記第２の特徴点の三次元位置情報を取得する三次元位置情報取得手段と、前記三次元標準顔形状が有する第１の特徴点の標準位置情報と、前記三次元位置情報取得手段で取得した前記第２の特徴点の三次元位置情報とから、前記三次元標準顔形状を変形する変形手段とを有することを特徴とする。
【００１１】
請求項２記載の発明は、請求項１記載の顔形状モデリングシステムにおいて、前記変換手段が、ＧＦＦＤの変形手法を用い、ガウス関数とユークリッドノルムを基底関数とすることを特徴とする。
【００１２】
請求項３記載の発明は、請求項１記載の顔形状モデリングシステムにおいて、前記変換手段により変換して作成した三次元顔形状モデルに、前記顔画像取得手段で取得した二次元顔画像をテクスチャとして貼付することを特徴とする。
【００１３】
請求項４記載の発明は、請求項１記載の顔形状モデリングシステムにおいて、前記三次元標準顔形状に、任意の情報を付加することを特徴とする。
【００１４】
請求項５記載の発明は、任意の三次元顔形状モデルを作成する顔形状モデリング方法において、第１の特徴点の標準位置情報を有する三次元標準顔形状を記憶するステップと、複数の二次元顔画像を取得するステップと、取得した前記二次元顔画像から第２の特徴点を抽出するステップと、抽出した前記第２の特徴点の三次元位置情報を取得するステップと、記憶した前記三次元標準顔形状の第１の特徴点の標準位置情報と、前記三次元位置情報取得手段で取得した前記第２の特徴点の三次元位置情報とから、前記三次元標準顔形状を変形するステップとを有することを特徴とする。
【発明の効果】
【００１５】
以上の説明で明らかなように、本発明によれば、複数の二次元顔画像から第２の特徴点を抽出し、該第２の特徴点の三次元位置情報を取得し、三次元標準顔形状の第１の特徴点の標準位置情報と、取得した前記第２の特徴点の三次元位置情報とから前記三次元標準顔形状を変形する。よって、手作業よりも容易に三次元顔形状モデルを作成することが可能である。
また、顔画像を用意すれば数分で三次元顔形状モデルを作成できるので、作業効率が高い。また、レンジスキャナなどの特殊な装置を必要としないので、安価にシステムを構築することができる。ネットワーク上からの利用なども容易である。
【００１６】
また、ガウス関数とユークリッドノルムを基底関数としたＧＦＦＤの変形手法を用いるので、特徴点の移動により周囲の幾何形状もなめらかに変形することができる。また、ガウス関数を用いた場合は、変形の微調整が可能であり、ユークリッドノルムを用いた場合は、元の幾何形状の特徴をできるだけ保った変形が可能である。
【００１７】
また、変換して作成した三次元顔形状モデルに二次元顔画像をテクスチャとして貼付するので、元の二次元顔画像により近い顔形状を作成することができる。
【００１８】
また、三次元標準顔形状に任意の情報を付加するので、例えば笑いや怒りといった表情の情報を標準顔形状に付加し、前記標準顔形状を変形して作成した三次元顔形状モデルにも、自動的に表情の情報を付加することができるので、様々な用途に対応できる。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照して本発明の実施の形態を説明する。
図１は、本発明の一実施形態に係る顔形状モデリングシステム１００の概略構成を示すブロック図である。１はシステム全体の制御を行うＣＰＵ（中央制御処理装置、顔画像取得手段、特徴点抽出手段、三次元位置情報取得手段、変形手段）である。２はＣＰＵ１の動作プログラムを記憶するＲＯＭ（リードオンリメモリ）、３はデータ一時記憶用のＲＡＭ（ランダムアクセスメモリ）である。４はモニタ等の表示部、５は二次元の顔画像を入力する入力部である。
【００２０】
７はデータ記憶部であり、標準顔形状モデルを記憶している標準顔形状記憶部７１、特徴点を記憶している計測点データベース７２、プログラム記憶部７３を有する。
プログラム記憶部７３には、三次元形状の変形手法であり、一般的な関数によるＧＦＦＤ（general Free-Form Deformation）のプログラムを記憶している。ＧＦＦＤについては後述する。
【００２１】
計測点データベース７２に記憶している特徴点は、法医学複顔法で用いられているものであり、人体測定における計測点を基に、顔形状の個人差を表す形状の特徴点を統計的に解析して定められた点である。この特徴点は、鼻の最突出点や、目尻など、二次元画像上でも明確な特徴を持った点としている。本発明は、この点を顔形状の特徴点として用いることで、対象となる顔の三次元顔形状モデルを十分な精度で得ることができる。
【実施例１】
【００２２】
次に、上記構成の顔形状モデリングシステム１００の一実施例について、図２を参照して説明する。ユーザはデジタルカメラで、顔形状モデルを作成する対象となる顔を異なる撮像方向から複数枚撮影し、撮影したその二次元顔画像を入力部５に入力する（ステップＳ１）。二次元顔画像は、システムに要求される精度によって、２枚以上の異なる任意の方向を向いた顔画像を利用する。顔画像の枚数、及び画像中の顔の向きは重要でない。本例では、正面と左右側面の３枚の二次元顔画像を入力する。
【００２３】
次に、ＣＰＵ１は、計測点データベース７２に記憶されている計測点を呼び出し、入力部５から入力された３枚の二次元顔画像それぞれについて、二次元顔画像の特徴点を抽出する（ステップＳ２）。
特徴点は、手動による抽出の他に、一般的な画像処理手法による自動抽出も可能である。最も容易な特徴点の自動抽出方法は、二次元顔画像から任意の輝度を閾値として２値化し、特徴点の定義に合う点を、画像を走査し判定する方法である。
本例では、十分な精度を持った三次元顔形状モデルを構築するため、図３で示す５１個の特徴点を抽出する。なお、特徴点は、任意の数を定義することも可能である。
【００２４】
各画像から抽出した特徴点は、鼻の最突出点や、目尻などといった顔の特徴部位の情報を持っているものの、座標は二次元でしか持っていない。次にＣＰＵ１は、撮像方向の違う各画像での特徴点の対応関係から、特徴点の三次元位置情報を求める（ステップＳ３）。
各顔画像の情報は、撮影したカメラのレンズなどの特性により歪み等が発生している。ＣＰＵ１は、抽出した特徴点の二次元座標に撮影したデジタルカメラのパラメータを用いて歪み等の補正を行い、特徴点の三次元位置情報を算出する。
このパラメータは、カメラの焦点距離等を示す内部パラメータと、カメラの配置、姿勢等を示す外部パラメータである。パラメータが未知の場合は、別工程として寸法の判っている立方体等を同じカメラで複数方向から撮影し、撮影した画像からパラメータを計算する。
【００２５】
次にＣＰＵ１は、標準顔形状記憶部７１に記憶されている標準顔形状モデルを呼び出し、ステップＳ３で求めた特徴点の三次元位置情報に基づき、標準顔形状モデルを変形する（ステップＳ４）。
標準顔形状記憶部７１に記憶されている標準顔形状モデルは、図４に示すように、ポリゴンメッシュ、あるいは自由曲面で構成された幾何形状と、二次元顔画像から抽出する特徴点と一対一で対応する特徴点から構成される。この標準顔形状モデルの特徴点標準位置情報を、ステップＳ３で求めた特徴点の三次元位置情報に合うように移動し、特徴点以外の幾何形状部分を特徴点の移動を補間するように変形する。
【００２６】
ステップＳ４における標準顔形状モデルの変形には、一般的な関数によるGFFD（General Free-Form Deformation）を用いた手法を用いる。
ここで、FFD(Free-Form Deformation)は変形対象の形状モデルに独立な変形手法であり、空間の変形を定義する操作点の数は変形される物体に独立であるので、スプライン曲面のように多くの制御点を変更する必要がない。しかし、従来のFFDは操作点の形状に制限が設けられている等の問題があった。
これに対してGFFDは、任意数の操作点を任意の位置に配置し、操作点の移動により変形を直感的に制御でき、任意の基底関数を選択できる等、従来のFFDに比べ柔軟な変形の制御を可能とする。図５に、ガウス関数を基底関数とした場合のGFFDによる形状変形の例を示す。このように、GFFDでは、操作点の移動により、周囲の幾何形状も滑らかに変形することができる。
そこで、標準顔形状モデルの特徴点をGFFDの操作点とし、二次元顔画像から抽出した特徴点へと移動することで幾何形状を変形する。
【００２７】
ここで、GFFDを用いた標準顔形状モデルの変形の詳細を以下に説明する。
ｎ個の標準顔形状モデルにおける特徴点を
【数１】
顔画像から抽出した特徴点を
【数２】
とし、piからqiへの変換を表す写像を考えると、
【数３】
と表される。この関数fを用いて空間上の任意の点を変換する。ここで、関数fをｎ個のベクトルの重み付き線形結合と考えると、
【数４】
と表される。ここで、
【数５】
は制御ベクトル、関数
【数６】
は標準顔形状モデルにおけるｊ番目の特徴点を中心とする任意の基底関数である。ここで、未知のベクトルVを求めるために、標準顔形状モデルにおける特徴点piと、その移動後の点として顔画像から抽出した特徴点qiを式（１）に代入すると、
【数７】
と表される。ここで、行列形式に書き換えると、
【数８】
となり、ここで
【数９】
と置けば、Vは、Gの逆行列を用いて次の様に求めることができる。
【数１０】
このように、特徴点の移動に合わせて、空間上の任意の点pを移動させた点qを
【数１１】
として求めることができる。
【００２８】
基底関数Gは変形対象に合わせて任意の関数を選択可能である。本発明では主にガウス関数とユークリッドノルムを用いている。ガウス関数を用いた場合では、標準偏差によって変形の微調整が可能であり、ユークリッドノルムの場合は、元の幾何形状の特徴をできるだけ保った変形が可能である。顔形状の全体的な形状を、ユークリッドノルムを用いたGFFDにより変形し、眼、鼻、口などの詳細な形状を、ガウス関数を用いたGFFDにより変形すると、顔の様に複雑な構造を持った形状も精度高く変形することができる。この手法を用いて、標準顔形状モデルを変形した例を図６に示す。作成される顔形状モデルは三次元形状なので、図７に示すように、入力画像とは異なる方向も表示が可能である。
【００２９】
次にＣＰＵ１００は、入力部５で入力した二次元顔画像のテクスチャを、作成した三次元顔形状モデルに貼り付け、表示部４に表示する（ステップＳ５）。テクスチャとは、コンピュータグラフィックスにおいて形状に画像を貼り付けることにより質感を向上させる手法である。本発明においては、二次元顔画像に合わせて標準顔形状モデルを変形するので、撮像したカメラの向きから顔の画像を貼り付けることで、作成した形状に合ったテクスチャとなる。図７にテクスチャを貼り付けた顔形状を示す。
【実施例２】
【００３０】
標準顔形状モデルには、作成後の三次元顔形状モデルの用途に応じて、任意の情報を付加しておくことが可能である。三次元顔形状モデルは、実際の利用に際し、表情付けなどの変形が行われるのが一般的である。そのため、標準顔形状モデルに、表情などの情報を付加しておき、標準顔形状モデルの変形時にその付加情報も同様に変形すれば、作成される三次元顔形状モデルにも自動的に付加情報を持つようになり、作成後の三次元顔形状モデルの操作が非常に容易になる。
【００３１】
例として表情付けを挙げる。一般的な表情を表現するために用いられている筋肉を、三次元ベクトルとしてモデル化し、図８（ａ）のように、筋肉の始点と終点を標準顔形状モデル上の点として定義する。次に、表情筋の始点を、その表情筋のベクトル方向に移動させ、その移動に合わせて標準顔形状モデルを変形させる。よって、図８（ｂ）のように、表情を付けた標準顔形状モデルを作成することができる。
【００３２】
表情を付けた標準顔形状モデルからの変形にも、ガウス関数を用いたGFFDによる変形を用いる。表情を付けた標準顔形状モデルを変形させ、顔画像のテクスチャを貼り付けた例を図９に示す。よって、システムに新たな要素を追加することなく、作成した三次元顔形状モデルへの表情付けを実現している。このように、標準顔形状モデルに情報を付加しておくだけで、作成した三次元顔形状モデルに、比較的容易に表情付けを行うことができる。
【産業上の利用可能性】
【００３３】
以上説明したように、本実施形態によれば、二次元顔画像から容易に三次元顔形状モデルが作成できる。よって、特殊な装置や芸術的感性を持っていない作業者でも、顔画像を用意すれば数分で三次元顔形状モデルを作成できる。
【００３４】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【００３５】
例えば、上記実施形態では、あらかじめ組み込まれている標準顔形状モデルからの変形を行ったが、本発明はこれに限定されるものではなく、任意の顔形状を標準顔形状モデルとして設定することも可能である。
【００３６】
また、標準顔形状モデルに付加する情報は、図１０に示す眼鏡の着用シミュレーションなどでもよい。図１０の例では、標準顔形状モデルに、眼鏡をフィットさせるために必要な特徴点を付加しておき、作成した三次元顔形状モデルの特徴点に三次元形状モデルの眼鏡を合わせている。
【００３７】
また本発明は、顔を扱う様々な分野で応用が可能である。前述した眼鏡の装着シミュレーションの他、美容整形シミュレーション、ゲームや映画などのキャラクター作成を行うツールとしての利用、携帯通信端末でのチャットやメールにおけるアバタ作成の利用などに応用が可能である。
【図面の簡単な説明】
【００３８】
【図１】本発明の一実施形態に係る顔形状モデリングシステム１００の概略構成を示すブロック図である。
【図２】同上の一実施形態における顔形状モデリングシステム１００の動作を示すフローチャートである。
【図３】二次元顔画像の特徴点を抽出した図である。
【図４】標準特徴点を付加した標準顔形状モデルの図である。
【図５】ＧＦＦＤによる三次元形状の変形例である。
【図６】ＧＦＦＤによる標準顔形状モデルからの変形例である。
【図７】変形した三次元顔形状モデルにテクスチャを貼付した図である。
【図８】標準顔形状モデルへの情報付加の例である。
【図９】表情を付けた三次元顔形状モデルの例である。
【図１０】眼鏡の着用シミュレーションを行った場合の三次元顔形状モデルの例である。
【符号の説明】
【００３９】
１…ＣＰＵ、２…ＲＡＭ、３…ＲＯＭ、４…表示部、５…入力部、７…データ記憶部、７１…標準顔形状記憶部、７２…計測点データベース、７３…プログラム記憶部、１００…顔形状モデリングシステム
【特許請求の範囲】
【請求項１】
第1の特徴点の標準位置情報を有する三次元標準顔形状から任意の三次元顔形状モデルを作成する顔形状モデリングシステムにおいて、
複数の二次元顔画像を取得する顔画像取得手段と、
前記顔画像取得手段により取得した前記二次元顔画像から第２の特徴点を抽出する特徴点抽出手段と、
前記特徴点抽出手段により抽出した前記第２の特徴点の三次元位置情報を取得する三次元位置情報取得手段と、
前記三次元標準顔形状が有する第１の特徴点の標準位置情報と、前記三次元位置情報取得手段で取得した前記第２の特徴点の三次元位置情報とから、前記三次元標準顔形状を変形する変形手段と
を有することを特徴とする顔形状モデリングシステム。
【請求項２】
前記変換手段が、ＧＦＦＤの変形手法を用い、ガウス関数とユークリッドノルムを基底関数とする
ことを特徴とする請求項１記載の顔形状モデリングシステム。
【請求項３】
前記変換手段により変換して作成した三次元顔形状モデルに、前記顔画像取得手段で取得した二次元顔画像をテクスチャとして貼付する
ことを特徴とする請求項１記載の顔形状モデリングシステム。
【請求項４】
前記三次元標準顔形状に、任意の情報を付加することを特徴とする請求項１記載の顔形状モデリングシステム。
【請求項５】
任意の三次元顔形状モデルを作成する顔形状モデリング方法において、
第１の特徴点の標準位置情報を有する三次元標準顔形状を記憶するステップと、
複数の二次元顔画像を取得するステップと、
取得した前記二次元顔画像から第２の特徴点を抽出するステップと、
抽出した前記第２の特徴点の三次元位置情報を取得するステップと、
記憶した前記三次元標準顔形状の第１の特徴点の標準位置情報と、前記三次元位置情報取得手段で取得した前記第２の特徴点の三次元位置情報とから、前記三次元標準顔形状を変形するステップと
を有することを特徴とする顔形状モデリング方法。
【請求項１】
第1の特徴点の標準位置情報を有する三次元標準顔形状から任意の三次元顔形状モデルを作成する顔形状モデリングシステムにおいて、
複数の二次元顔画像を取得する顔画像取得手段と、
前記顔画像取得手段により取得した前記二次元顔画像から第２の特徴点を抽出する特徴点抽出手段と、
前記特徴点抽出手段により抽出した前記第２の特徴点の三次元位置情報を取得する三次元位置情報取得手段と、
前記三次元標準顔形状が有する第１の特徴点の標準位置情報と、前記三次元位置情報取得手段で取得した前記第２の特徴点の三次元位置情報とから、前記三次元標準顔形状を変形する変形手段と
を有することを特徴とする顔形状モデリングシステム。
【請求項２】
前記変換手段が、ＧＦＦＤの変形手法を用い、ガウス関数とユークリッドノルムを基底関数とする
ことを特徴とする請求項１記載の顔形状モデリングシステム。
【請求項３】
前記変換手段により変換して作成した三次元顔形状モデルに、前記顔画像取得手段で取得した二次元顔画像をテクスチャとして貼付する
ことを特徴とする請求項１記載の顔形状モデリングシステム。
【請求項４】
前記三次元標準顔形状に、任意の情報を付加することを特徴とする請求項１記載の顔形状モデリングシステム。
【請求項５】
任意の三次元顔形状モデルを作成する顔形状モデリング方法において、
第１の特徴点の標準位置情報を有する三次元標準顔形状を記憶するステップと、
複数の二次元顔画像を取得するステップと、
取得した前記二次元顔画像から第２の特徴点を抽出するステップと、
抽出した前記第２の特徴点の三次元位置情報を取得するステップと、
記憶した前記三次元標準顔形状の第１の特徴点の標準位置情報と、前記三次元位置情報取得手段で取得した前記第２の特徴点の三次元位置情報とから、前記三次元標準顔形状を変形するステップと
を有することを特徴とする顔形状モデリング方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００６−１０７１４５（Ｐ２００６−１０７１４５Ａ）
【公開日】平成１８年４月２０日（２００６．４．２０）
【国際特許分類】
【出願番号】特願２００４−２９３０８７（Ｐ２００４−２９３０８７）
【出願日】平成１６年１０月５日（２００４．１０．５）
【出願人】（５０４１３２８８１）国立大学法人東京農工大学 (595)
【Ｆターム（参考）】
【公開日】平成１８年４月２０日（２００６．４．２０）
【国際特許分類】
【出願日】平成１６年１０月５日（２００４．１０．５）
【出願人】（５０４１３２８８１）国立大学法人東京農工大学 (595)
【Ｆターム（参考）】
[ Back to top ]