仮想顔モデル変形装置及び仮想顔モデル変形プログラム
【課題】効率的かつ高精度に所定の表情に変形させた仮想顔モデルを取得する。
【解決手段】撮影された被写体の顔の表情に対応させて仮想顔モデルの表情を変形させる仮想顔モデル変形装置において、前記被写体の顔から予め設定された複数の特徴点の位置情報を入力する入力部と、予め蓄積される複数の学習用の顔画像から得られた表情の変形データを用いて、前記入力部により入力された複数の特徴点の位置情報に対応する変形データを推定する変形推定部と、前記変形推定部により推定された変形データを予め設定される複数の仮想顔モデルの集合から選択された仮想顔モデルと組み合わせて仮想顔モデルの表情を変形させる変形部とを有することにより、上記課題を解決する。
【解決手段】撮影された被写体の顔の表情に対応させて仮想顔モデルの表情を変形させる仮想顔モデル変形装置において、前記被写体の顔から予め設定された複数の特徴点の位置情報を入力する入力部と、予め蓄積される複数の学習用の顔画像から得られた表情の変形データを用いて、前記入力部により入力された複数の特徴点の位置情報に対応する変形データを推定する変形推定部と、前記変形推定部により推定された変形データを予め設定される複数の仮想顔モデルの集合から選択された仮想顔モデルと組み合わせて仮想顔モデルの表情を変形させる変形部とを有することにより、上記課題を解決する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想顔モデル変形装置及び仮想顔モデル変形プログラムに係り、特に効率的かつ高精度に所定の表情に変形させた仮想顔モデルを取得するための仮想顔モデル変形装置及び仮想顔モデル変形プログラムに関する。
【背景技術】
【０００２】
従来、コンピュータグラフィックス（ＣＧ）やコンピュータアニメーション等の業界では、三次元のコンピュータモデルが頻繁に使用されている。多くの三次元ＣＧモデル（仮想３次元モデル）は、物体（人物も含む）の表面形状を「メッシュ」（多角形の立体的な網）により記述し、輝度・色等の表面の見える部分を「テクスチャ」という画像情報により記述する。
【０００３】
また、従来のＣＧソフトウェアを用いて三次元モデルをレンダリングすると、「メッシュ」の見える部分に「テクスチャ」を貼り付けることで、ほぼ任意の照明条件下で任意の角度から見た物体の見え方を静止画又は動画（アニメーション）として再現することができる。
【０００４】
しかしながら、ＣＧモデルでは、表情を演じる人物の顔を自然に見えるように再現することが難しく、また、顔の表情に伴う動き（動的変形）は特に自然に再現しにくいといった問題がある。
【０００５】
そこで、静止画や動画に三次元ＣＧモデルを用いてＣＧキャラクタの表情を制作する場合、目的の表情に相当する顔形状メッシュを幾つかの基底表情（無表情を含む）に相当するメッシュの線形組み合わせ（「ブレンド・シェイプ、ｂｌｅｎｄ ｓｈａｐｅ」）として近似する手法が使用されている。また、無表情から目的の表情（満表情）まで動的に変動していく動画シーケンスを制作する場合には、各フレーム毎に同一の基底表情のブレンド・シェイプとして近似する手法がよく使用されている。
【０００６】
ここで、ブレンド・シェイプとは、ベースとなる表情と、その表情と異なる複数の表情のオブジェクトを用意し、ベースに対して所定の度合いで混合することにより表情を生成する手法である。
【０００７】
また、ＣＧソフトウェアにより再現された顔表情の自然性を向上させるために、表情を演じた出演者（被写体）の顔をカメラ等により撮影して得られる静止画又は動画から、表情に伴った顔の変形を学習し、ＣＧモデルに移行してＣＧキャラクタで表情を再現する手法が研究されている（例えば、非特許文献１、２参照。）。
【非特許文献１】Ｒａｏｕｚａｉｏｕら、Ｐａｒａｍｅｔｅｒｉｚｅｄ Ｆａｃｉａｌ Ｅｘｐｒｅｓｓｉｏｎ Ｓｙｎｔｈｅｓｉｓ Ｂａｓｅｄ ｏｎ ＭＰＥＧ−４、ＥＵＲＡＳＩＰ Ｊｏｕｒｎａｌ ｏｎ Ａｐｐｌｉｅｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ １０，１０２１−１０３８，２００２．
【非特許文献２】Ｚｈａｎｇら、Ｇｅｏｍｅｔｒｙ−Ｄｒｉｖｅｎ Ｐｈｏｔｏｒｅａｌｉｓｔｉｃ Ｆａｃｉａｌ Ｅｘｐｒｅｓｓｉｏｎ Ｓｙｎｔｈｅｓｉｓ、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ，ｖｏｌ．１２，ｎｏ．１，４８−６０，２００６．
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、上述したように出演者等の被写体が顔で演じた表情を三次元ＣＧモデルで近似して自然に再現するためには、予め出演者毎に顔における多数の特徴点の位置や動きを自動的に抽出しなければならない。一方、手動で出演者の多数の特徴点の位置を指定するには手間がかかり、リアルタイムでの動作は不可能となる。
【０００９】
ここで、上述した非特許文献１に示されている手法では、多数の特徴点の位置と動きから顔の三次元モデルを変形させて表情を再現する場合に、モデルを変形させるためのパラメータを作業者等が手動で調整している。また、非特許文献２に示されている手法でも、多数の特徴点を作業者等が手動で調整し、モデルの表情を生成するシステムについて開示されている。したがって、何れも作業者の手間がかかると共に、作業者の設定次第で精度が異なるため、高精度な結果を得ることができない。
【００１０】
また、上述したように、動的に変動していく顔の表情を近似する場合には、各フレーム毎に、固定した幾つかの基底表情メッシュのブレンド・シェイプを合成する手法を用いる。その結果、フレーム毎にブレンド・シェイプ組み合わせの係数が変わるが、全フレームでの近似は同一基底表情の組み合わせとなってしまうため、高精度な表現を再現することができない。
【００１１】
本発明は、上述した問題点に鑑みなされたものであり、効率的かつ高精度に所定の表情に変形させた仮想顔モデルを取得するための仮想顔モデル変形装置及び仮想顔モデル変形プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１３】
請求項１に記載された発明は、撮影された被写体の顔の表情に対応させて仮想顔モデルの表情を変形させる仮想顔モデル変形装置において、前記被写体の顔から予め設定された複数の特徴点の位置情報を入力する入力部と、予め蓄積される複数の学習用の顔画像から得られた表情の変形データを用いて、前記入力部により入力された複数の特徴点の位置情報に対応する変形データを推定する変形推定部と、前記変形推定部により推定された変形データを予め設定される複数の仮想顔モデルの集合から選択された仮想顔モデルと組み合わせて仮想顔モデルの表情を変形させる変形部とを有することを特徴とする。
【００１４】
請求項１記載の発明によれば、効率的かつ高精度に所定の表情に変形させた仮想顔モデルを取得することができる。
【００１５】
請求項２に記載された発明は、前記変形推定部は、予め設定される複数のモデルの複数の表情に対応した基底メッシュ変形データを有する変形データベースを用いて前記位置情報に近似する変形データを推定することを特徴とする。
【００１６】
請求項２記載の発明によれば、メッシュの頂点を基準にして、変形データを推定することができ、この変形データを用いて被写体の表情に対応した仮想顔モデルの表情を高精度に変形させることができる。
【００１７】
請求項３に記載された発明は、前記変形推定部は、前記入力部により入力される被写体の顔の表情に対応した特徴点の位置ベクトルから、前記モデルの無表情のときの位置ベクトルを差分して得られる入力特徴点の変形ベクトルを、ある画像フレームにおける部分空間上に射影することで射影係数を求め、前記射影係数により変形データを生成することを特徴とする。
【００１８】
請求項３記載の発明によれば、射影係数を用いて変形データを生成することで、部分空間に属する成分のみが残り、部分空間に直交する成分は除去することができる。そのため、効率的かつ高精度に仮想顔モデルの変形に必要な変形データを取得することができる。
【００１９】
請求項４に記載された発明は、前記変形部は、前記特徴点の位置情報に近似するように前記変形データと仮想顔モデルのメッシュデータを組み合わせて仮想顔モデルの表情を変形させることを特徴とする。
【００２０】
請求項４記載の発明によれば、効率的かつ高精度に仮想顔モデルをより自然な表情に変形させることができる。
【００２１】
請求項５に記載された発明は、前記変形部は、前記予め設定される複数の仮想顔モデルを表情に伴う動的変形の時系列データの使用数を調整することを特徴とする。
【００２２】
請求項５記載の発明によれば、装置の性能や出力結果の品質の度合い、所望する処理速度等に応じて詳細に調整することができる。これにより、高精度な変形データを取得することができる。
【００２３】
請求項６に記載された発明は、撮影された被写体の顔の表情に対応させて仮想顔モデルの表情を変形させる仮想顔モデル変形プログラムにおいて、コンピュータに、前記被写体の顔から予め設定された複数の特徴点の位置情報を入力する入力処理と、予め蓄積される複数の学習用の顔画像から得られた表情の変形データを用いて、前記入力処理により入力された複数の特徴点の位置情報に対応する変形データを推定する変形推定処理と、前記変形推定処理により推定された変形データを予め設定される複数の仮想顔モデルの集合から選択された仮想顔モデルと組み合わせて仮想顔モデルの表情を変形させる変形処理とを実行させる。
【００２４】
請求項６記載の発明によれば、効率的かつ高精度に所定の表情に変形させた仮想顔モデルを取得することができる。また、実行プログラムをコンピュータにインストールすることにより、容易に所定の表情に変形させた仮想顔モデルを取得することができる。
【発明の効果】
【００２５】
本発明によれば、効率的かつ高精度に所定の表情に変形させた仮想顔モデルを取得することができる。
【発明を実施するための最良の形態】
【００２６】
＜本発明の概要＞
本発明は、例えば、ある番組の出演者等の実際の人物（被写体）の顔等における少数の特徴点の位置情報を動的に顔特徴点追跡装置により取得し、その位置情報に基づいて、複数の学習用三次元顔モデル（基底表情）のブレンド・シェイプとして出演者の表情に伴った変形を近似し、別の仮想三次元モデルの顔の表情を変形させて静止画又は動画（アニメーション）等で出力する。
【００２７】
ここで、ブレンド・シェイプ組み合わせの係数の値を定めるには、出演者等の顔画像から抽出された特徴点と、それぞれと略同一の位置における三次元モデルのメッシュ頂点との誤差（近似誤差）を最小化する。更に、本発明は、ブレンド・シェイプの係数のみならず、基底表情も動的に変形していくことにより、近似誤差を更に減少する。
【００２８】
＜実施形態＞
以下、本発明を実施するための最良の形態について図面を用いて詳細に説明する。
【００２９】
＜仮想顔モデル変形システム＞
図１は、本実施形態における仮想顔モデル変形システムの一構成例を示す図である。図１に示す仮想顔モデル変形システム１０は、実際の人物（被写体）の顔を撮影する撮像部としてのカメラ１１と、顔特徴点追跡装置１２と、仮想顔モデル変形装置１３とを有するよう構成されている。また、本発明に係る仮想顔モデル変形装置１３は、入力部２１と、変形推定部２２と、変形データベース２３と、変形部２４と、表示用仮想３次元顔モデル集合部２５と、表示部２６と、出力部２７とを有するよう構成されている。
【００３０】
図１に示すカメラ１１は、例えば番組出演者等の被写体３１の顔を含む画像を取得して顔の動画像を取得する。また、カメラ１１は、撮影された被写体３１の動画像を顔特徴点追跡装置１２に出力する。
【００３１】
顔特徴点追跡装置１２は、カメラ１１により撮影された動画像の時間的連続性を用いて、顔の検出、追跡、及び認識を行い、顔の特徴点を取得する。具体的には、撮影された動画像に対してＧａｂｏｒウェーブレット係数等の特徴を用いて予め設定された可変テンプレートとのテンプレートマッチングを行う。なお、このマッチング処理は、同じデータ表現で動画像全てに対して処理を行う。
【００３２】
また、顔特徴点追跡装置１２は、動画像から顔の部分を抽出し、抽出した顔に対して特徴点を抽出する。ここで、図２は、抽出される顔の特徴点の一例を示す図である。図２に示す特徴点の一例では、撮影した被写体３１の顔領域から眉間、目元、目尻、鼻先、口先、口元からなる９点を特徴点３２−１〜３２−９として抽出している。なお、特徴点の場所や数等については特にこれに制限されない。
【００３３】
また、顔特徴点追跡装置１２は、多重解像度でのマッチング機能を有していてもよく、この場合には低解像度から高解像度までのマッチングを行い、重み付き推定を行うことにより、信頼性が低いデータの影響を減少させることができる。また、顔特徴点追跡装置１２は、ロバスト推定を行い、時間・空間的フィルタリングとＢａｙｅｓ推定により、フレーム数分のマッチング情報を積分し、その結果を特徴点の座標を位置情報として出力する。
【００３４】
なお、顔特徴点追跡装置１２における顔の特徴点の取得については、例えば既存の顔特徴点追跡手法（例えば、サイモン・クリピングデルら、「動画像の顔検出・追跡・認識への統一されたアプローチ」、電子情報通信学会、信学技報 ＰＲＭＵ９８−２００（１９９９年１月））等を用いることができる。
【００３５】
上述した顔特徴点追跡装置１２によりカメラ１１で撮影中の被写体の顔画像における幾つかの特徴点の位置情報を仮想顔モデル変形装置１３に出力する。
【００３６】
なお、仮想顔モデル変形装置１３に入力する特徴点の位置情報等は、例えば、被写体３１の撮影中にリアルタイムに入力してもよく、また外部蓄積装置等に動画として一時的に蓄積しておき仮想顔モデル変形装置１３での処理を実行したい所定のタイミングで仮想顔モデル変形装置１３に入力してもよい。更に、他の装置等を用いて上述以外の手法で得られた特徴点の位置情報等を入力してもよい。
【００３７】
仮想顔モデル変形装置１３において、入力部２１は、顔画像の各特徴点の位置情報を入力すると、その位置情報（座標情報）を変形推定部２２に出力する。
【００３８】
変形推定部２２は、入力部２１から得られる顔画像の各特徴点の座標と変形データベース２３に予め蓄積されている複数の学習用の顔画像から得られる変形データ（基底メッシュ変形データ、サブサンプル変形データ）等を用いて、撮影された顔画像の表情に対し、後述する仮想３次元顔モデルの表情を近似（一致も含む）させるための適切な変形データの推定を行う。なお、変形データベース２３の詳細については後述する。また、変形推定部２２は、変形に対する推定パラメータ（変形データ）を変形部２４に出力する。
【００３９】
また、変形部２４は、予め蓄積されている複数の仮想顔モデル（ＣＧモデル）毎に形状メッシュ情報及びテクスチャ情報等を有する表示用仮想３次元顔モデル集合部２５から予め使用者等により選択された任意の仮想３次元顔モデルの形状メッシュに上述した変形推定部２２で推定された変形データを組み合わせて、仮想３次元顔モデルの表情を変形する。
【００４０】
具体的には、変形部２４は、各特徴点の座標に近似するように変形データと仮想顔モデルを組み合わせて仮想顔モデルの表情を変形させる。これにより、効率的かつ高精度に仮想顔モデルをより自然な表情に変形させることができる。なお、変形部２４は、予め設定される複数の仮想顔モデルを表情に伴う動的変形の時系列データの使用数を調整してもよい。これにより、装置の性能や出力結果の品質の度合い、所望する処理速度等に応じて詳細に調整することができ、高精度な変形データを取得することができる。
【００４１】
また、変形部２４は、変形された仮想３次元顔モデルの顔画像データをメッシュ及びテクスチャ情報と共に表示部２６に出力して表示部２８から表示させたり、顔画像データを所定のフォーマット形式のファイルで蓄積部２７に蓄積させたり、顔画像データを出力部２８に出力して出力部２８から画像ファイルとして出力させることができる。
【００４２】
なお、上述した変形推定部２２及び変形部２４における具体的な処理の詳細については後述する。
【００４３】
表示部２６は、変形部２４から得られた変形された仮想３次元顔モデルの顔画像を直接表示したり、メッシュ及びテクスチャ情報を用いてディスプレイ等にレンダリング（数値データとして与えられた物体や図形に関する情報を計算により画像化）して得られる仮想３次元顔モデルの顔画像を表示する。また、蓄積部２７は、変形部２４から得られる画像データ等を蓄積する。また、出力部２８は、変形部２４から得られる画像データ等を所定のフォーマット形式のファイルで出力する。
【００４４】
これにより、被写体３１の顔画像の表情に対応させて予め設定された表示用仮想３次元顔モデルの表情を変形して表示させることができる。したがって、効率的かつ高精度に所定の表情に変形させた仮想顔モデルを取得することができる。
【００４５】
なお、上述の入力部２１や出力部２８は、例えば、ソケット通信等の通信インタフェースにより外部装置等とのデータの送受信を実施することができ、表示部２６は、コンピュータに接続するディスプレイ等で実施することができる。
【００４６】
＜変形データベース２３について＞
次に、上述した変形データベース２３について具体的に説明する。図３は、変形データベースの構築までの処理の流れを説明するための一例の図である。図３では、学習データとして学習用メッシュ変形データ４１を用いる。これは、例えばある所定人数（Ｍ人）の出演者（実際の人物）等がＥ個（種類）の表情（例えば、「笑顔」、「悲しみ」、「驚き」の場合にはＥ＝３）を演じた顔の三次元モデル（顔形状メッシュ）の無表情から満表情（所定の表情）までの同一フレーム数のシーケンスから構成されている。
【００４７】
また、図３の例では、例えばシーケンスの長さ（フレーム数）は、Ｆ＋１フレーム（０フレーム〜Ｆフレーム）であり、図３に示す最初のフレーム（０フレーム）には顔が無表情に映っており、最後のフレーム（Ｆフレーム）まで表情が滑らかにフル（満表情）に変形していくものとする。
【００４８】
ここで変形データベース２３を構築するには、まず、各表情のフレーム毎に全人物（１〜Ｍ）のメッシュ頂点座標の平均情報４２を取得する。これにより、Ｅ個のシーケンスｐ（１），…，ｐ（Ｅ）を求める。そして、シーケンスｐ（１），…，ｐ（Ｅ）のメッシュ情報から幾つかの頂点の座標をサブサンプル４３として抽出（サンプリング）することにより、シーケンスｑ（１），…，ｑ（Ｅ）を求める。なお、抽出するメッシュ頂点は、顔特徴点追跡装置１２から入力される特徴点（入力特徴点）と最も近い頂点を選択する（理想的には、メッシュ頂点と、特徴点の位置とは一致することが好ましい）。
【００４９】
したがって、最終的な変形データベース２３は、各表情（１〜Ｅ）におけるメッシュシーケンス（基底メッシュ変形データ）ｐ（１），…ｐ（Ｅ）とサブサンプルされたシーケンス（サブサンプル変形データ）ｑ（１），…ｑ（Ｅ）から構成される。
【００５０】
＜変形推定部２２及び変形部２４について＞
次に、上述した変形推定部２２及び変形部２４について具体的に説明する。図４は、本実施形態における変形推定部と変形部の処理の流れを説明するための一例の図である。変形推定部２２は、入力部２１からの各特徴点の座標と、変形データベース２３における変形データ群を用い、入力特徴点ベクトルｒから無表情のときのベクトルｒ［０］を差分し、あるフレームｊにおけるサブサンプル変形データｑ（１）［ｊ］−ｑ［０］，…，ｑ（Ｅ）［ｊ］−ｑ［０］が張る部分空間に射影する。これにより、射影係数α（１），…，α（Ｅ）を求める。なお、ｑ［０］＝ｑ（１）［０］＝…＝ｑ（Ｅ）［０］は、無表情のときのサブサンプル変形データを示している。
【００５１】
次に、上述の処理で得られた射影係数α（１），…，α（Ｅ）を用いて、フレームｊでの基底メッシュ変形データｐ（１）［ｊ］−ｐ［０］，…，ｐ（Ｅ）［ｊ］−ｐ［０］の重み付き線形組み合わせ変形分を計算（（α（１）×（ｐ（１）［ｊ］−ｐ［０］）×…×α（Ｅ）（ｐ（Ｅ）［ｊ］−ｐ［０］）））し、この計算結果を変形データとして変形部２４に出力する。なお、ｐ［０］＝ｐ（１）［０］＝…＝ｐ（Ｅ）［０］は、無表情のときの基底メッシュ変形データを示している。
【００５２】
次に、変形部２４は、表示用仮想３次元顔モデルのメッシュｓ［０］に変形推定部２２から得られる変形データを加算して（組み合わせて）変形させ、その結果として、変形された表示用メッシュｓを出力する。なお、メッシュｓ［０］は、無表情の状態にあることを示している。
【００５３】
ここで、図５は、基底表情として使用される変形データのフレーム位置の設定を説明するための一例の図である。図５に示すように、入力特徴点の変形ベクトル｜ｒ−ｒ［０］｜の大きさにより、基底メッシュの変形データを使用するフレーム番号ｊを設定する。
【００５４】
出力表情の近似は、入力特徴点の変形ベクトル｜ｒ−ｒ［０］｜が小さい場合には、基底メッシュ変形データのフレームＪのブレンド・シェイプ組み合わせとなり、｜ｒ−ｒ［０］｜が充分大きい場合には、その大きさに相当する基底メッシュ変形データのフレームＪ＜＝ｊ＜＝Ｆのブレンド・シェイプ組み合わせとなる。
【００５５】
ここで、上述までの実施形態の処理の手順を更に具体的に説明する。例えば、基底表情を固定する場合の処理においては、まず、予めオフラインでＥ個（種類）の基本表情を演じた顔の形状（ＣＧモデルのメッシュ）の変形データを集め、同一長さ（フレーム数）のシーケンスに調整して、基底メッシュ変形データｐ（１），…，ｐ（Ｅ）として変形データベース２３に格納する。各シーケンスにおいて、最初に顔が無表情の状態で時間が経つにつれて表情が大きく現れてくる。このとき、サブサンプルとして上述した顔特徴点追跡装置１２から入力される顔画像の各特徴点の位置に最も近いメッシュ頂点のみをｐ（１），…，ｐ（Ｅ）の各フレームから抽出し、サブサンプル変形データｑ（１），…，ｑ（Ｅ）として変形データベース２３に格納しておく。
【００５６】
変形推定部２２では、入力する特徴点の座標ベクトルｒから、出演者の顔が無表情の時の値ｒ［０］を引くことにより求めた入力特徴点の変形ベクトルｒ−ｒ［０］を、あるフレームｊでのサブサンプル変形データｑ（１）［ｊ］−ｑ［０］，…，ｑ（Ｅ）［ｊ］−ｑ［０］が張る部分空間に射影する。これにより、入力特徴点の変形ベクトルｒ−ｒ［０］に対して、この部分空間に属する成分のみが残る（部分空間に直交する成分は除去される）。なお、射影の結果としては、係数α（１），…，α（Ｅ）を求める。ここで、
Ｑ［ｊ］＝［ｑ（１）［ｊ］−ｑ［０］…ｑ（Ｅ）［ｊ］−ｑ［０］］
とすると、
α＝（Ｑ［ｊ］ＴＱ［ｊ］）−１Ｑ［ｊ］Ｔ（ｒ−ｒ［０］）
として求めることができる。なお、ｑ（０）＝ｑ（１）［０］＝…＝ｑ（Ｅ）［０］は無表情の時のサブサンプル変形データを示している。
【００５７】
また、上述の処理で得られた射影係数α（１），…，α（Ｅ）を用い、フレームｊでの基底メッシュ変形データｐ（１）［ｊ］−ｐ［０］，…，ｐ（Ｅ）［ｊ］−ｐ［０］の重み付き線形組み合わせを計算し、その計算結果を変形データとして変形部２４に出力する。なお、ｐ［０］＝ｐ（１）［０］＝…＝ｐ（Ｅ）［０］は無表情の時の基底メッシュ変形データを示している。
【００５８】
変形部２４は、表示用仮想３次元顔モデルのメッシュｓ［０］に変形推定部２２から得られる変形データを加算して（組み合わせて）変形させ、その結果として得られるメッシュｓを出力する。なお、ｓ［０］は無表情の状態にあることを示している。ここで、
Ｐ［ｊ］＝［ｐ（１）［ｊ］−ｐ［０］ … ｐ（Ｅ）［ｊ］−ｐ［０］］
とすると、出力する変形されたメッシュは、
ｓ＝ｓ［０］＋α（１）（ｐ（１）［ｊ］−ｐ［０］）＋…＋α（Ｅ）（ｐ（Ｅ）［ｊ］−ｐ［０］）＝ｓ［０］＋Ｐ［ｊ］α．
として求めることができる。
【００５９】
ここで、学習データの中に基底表情として使用するフレームｊを選択するには複数の可能性がある。例えば、ｊ＝Ｆ（学習データの「満表情」を示す最後のフレーム）に固定した場合、各フレームでの出力メッシュ変形分ｓ−ｓ［０］はｐ（１）［Ｆ］−ｐ［０］，…，ｐ（Ｅ）［Ｆ］−ｐ［０］の組み合わせとなり、これは通常のブレンド・シェイプ方法に相当する。なお、計算量を重視する場合には、これが最良な選択となる。
【００６０】
一方、入力特徴点が無表情から満表情まで変形するにつれて、フレームｊも変わる可能性があれば、結果の近似誤差を減少することができる。しかしながら、フレームｊを小さく設定すると、変形ベクトルｐ（）［ｊ］−ｐ［０］、又はｑ（）［ｊ］−ｑ［０］も小さくなり、ノイズが比較的大きくなってしまう。したがって、本実施形態では、図５に示すように、変形ベクトルが充分大きくなるフレーム（フレームＪ）とする）以降の変形データを使用する。
【００６１】
なお、フレームｊ＞＝Ｊを選択する方法の一つとして、例えば、入力特徴点の変形ベクトルｒ−ｒ［０］の大きさに相当するフレームｊを次のアルゴリズムにより設定する。
【００６２】
ｊ＝（ｉｎｔ）（ｋ＊｜ｒ−ｒ［０］｜；
ｉｆ （ｊ＜Ｊ） ｊ：＝Ｊ；
ここでは、定数のｋ（勾配）は、システムのパラメータ等に依存するので、実験等により設定する。
【００６３】
したがって、上述したように、出力表情の近似は、入力特徴点の変形ベクトル｜ｒ−ｒ［０］｜が小さい場合には、基底メッシュ変形データのフレームＪのブレンド・シェイプ組み合わせとなり、｜ｒ−ｒ［０］｜が充分大きい場合には、その大きさに相当する基底メッシュ変形データのフレームＪ＜＝ｊ＜＝Ｆのブレンド・シェイプ組み合わせとなる。
【００６４】
なお、メモリ等の容量や処理計算量等によって、この２つの例（変形データのフレームＪ＜＝ｊ＜＝Ｆを使用する例と、フレームＪ＝Ｆのみを使用する例）以外の別の設定方法もある。例えば、図５に示された基底ベクトルの幾つかだけを用いることは、全てを用いることにより計算量が軽くなる。
【００６５】
したがって、変形部２４は、予め設定される複数の仮想顔モデルを表情に伴う動的変形の時系列データの使用数を調整する。これにより、装置の性能や出力結果の品質の度合い、所望する処理速度等に応じて詳細に調整することができる。これにより、高精度な変形データを取得することができる。
【００６６】
逆に、Ｊ＜＝ｊ＜＝Ｆの全てのフレームでの変形データの組み合わせをとると近似誤差が最小となるが、計算量が重くなる。したがって、所望する条件に応じて任意に設定することができる。
【００６７】
上述したように、本実施形態によれば、効率的かつ高精度に所定の表情に変形させた仮想顔モデルを取得することできる。
【００６８】
＜仮想顔モデル変形プログラム＞
ここで、仮想顔モデル変形装置１３は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータを表示する表示部、並びに外部と通信するためのインタフェースを備えたコンピュータによって構成することができる。
【００６９】
したがって、仮想顔モデル変形装置１３に備えた入力部２１、変形推定部２２、変形部２４、表示部２６、及び出力部２７における各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。
【００７０】
つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラム（仮想顔モデル変形プログラム）を生成し、例えば、汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、仮想顔モデル変形処理を実現することができる。
【００７１】
＜ハードウェア構成＞
ここで、本発明における実行可能なコンピュータのハードウェア構成例について図を用いて説明する。図６は、本発明における仮想顔モデル変形処理が実現可能なハードウェア構成の一例を示す図である。
【００７２】
図６におけるコンピュータ本体には、入力装置５１と、出力装置５２と、ドライブ装置５３と、補助記憶装置５４と、メモリ装置５５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５６と、ネットワーク接続装置５７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
【００７３】
入力装置５１は、使用者等が操作するキーボード及びマウス等のポインティングデバイスやマイク等の音声入力デバイス等を有しており、使用者等からのプログラムの実行等、各種操作信号を入力する。出力装置５２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイや音声を出力するスピーカ等を有し、ＣＰＵ５６が有する制御プログラムによりプログラムの実行経過や結果等を表示又は音声出力することができる。
【００７４】
ここで、本発明において、コンピュータ本体にインストールされる実行プログラムは、例えば光ディスク等の記録媒体５８等により提供される。プログラムを記録した記録媒体５８は、ドライブ装置５３にセット可能であり、記録媒体５８に含まれる実行プログラムが、記録媒体５８からドライブ装置５３を介して補助記憶装置５４にインストールされる。
【００７５】
補助記憶装置５４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。
【００７６】
メモリ装置５５は、ＣＰＵ５６により補助記憶装置５４から読み出された実行プログラム等を格納する。なお、メモリ装置５５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等からなる。
【００７７】
ＣＰＵ５６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、メモリ装置５５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現することができる。また、ＣＰＵ５６は、プログラムの実行中に必要な各種情報を補助記憶装置５４から取得することができ、またＣＰＵ５６は、処理結果等を格納することもできる。
【００７８】
ネットワーク接続装置５７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。
【００７９】
上述したようなハードウェア構成により、特別な装置構成を必要とせず、低コストで効率的に仮想顔モデル変形処理を実現することができる。また、プログラムをインストールすることにより、容易に所定の表情に変形させた仮想顔モデルを取得することができる。
【００８０】
＜仮想顔モデル変形処理手順＞
次に、本発明における実行プログラム（仮想顔モデル変形プログラム）による仮想顔モデル変形処理手順についてフローチャートを用いて説明する。図７は、本実施形態における仮想顔モデル変形処理手順の一例を示すフローチャートである。
【００８１】
図７において、上述したようにカメラ等により撮影された出演者等の被写体の顔画像から、顔特徴点追跡装置等を用いて処理することで得られる顔の各特徴点の位置情報としての座標情報を含む動画像を入力する（Ｓ０１）。次に、入力した各特徴点の座標情報から上述した変形データベース２３等を用いて入力した顔の各特徴点の座標に対応する変形データを推定する（Ｓ０２）。
【００８２】
次に、予め設定される複数の仮想顔モデルの集合から表示用の仮想顔モデルを選択し（Ｓ０３）、更に必要に応じて動画像に対して動的変形の時系列データをどの程度使用するか、その使用数を調整する（Ｓ０４）。また、Ｓ０１の処理にて入力した顔の特徴点の座標と近似（一致含む）するように仮想顔モデルに変形データを組み合わせて仮想顔モデルの表情を変形し（Ｓ０５）、変形された仮想顔モデルをディスプレイ等の表示部に表示する（Ｓ０６）。
【００８３】
なお、上述したＳ０６の処理の代わりに、変形された仮想顔モデルを所定のフィーマット形式のファイルを生成し、蓄積部に蓄積してもよく、外部装置に出力してもよい。
【００８４】
上述したように、本発明によれば、効率的かつ高精度に所定の表情に変形させた仮想顔モデルを取得することができる。具体的に説明すると、顔のＣＧモデルに表情を演じさせる従来の技術に比べて、本発明は、出演者（被写体）の顔において追跡される特徴点の位置に基づき、ＣＧモデル（仮想顔モデル）で出演者の表情を近似させることにより，直接ＣＧモデルを詳細に調整して表情を制作するよりも、より自然に見えると共に手間がかからなくなる。
【００８５】
また、予め設定される複数のモデルの複数の表情に対応した基底メッシュ変形データを有する変形データベースを用いて変形データを推定することにより、メッシュの頂点を基準にして、変形データを推定することができ、この変形データを用いて被写体の表情に対応した仮想顔モデルの表情を高精度に変形させることができる。また、射影係数等を用いて変形データを生成することで、部分空間に属する成分のみが残り、部分空間に直交する成分は除去することができる。そのため、効率的かつ高精度に仮想顔モデルの変形に必要な変形データを取得することができる。
【００８６】
また、ＣＧソフトウェアがよく提供する「ブレンド・シェイプ」という幾つか固定したＣＧモデルの形状を組み合わせる機能を用いて、表情に伴う動的変形の時系列データを組み合わせることにより表情の近似誤差を減少することができる。更に、動的変形の時系列データをどの程度使用するか調整することにより、目盛りや計算量を調整することができる。
【００８７】
なお、上述した実施形態は、３次元モデルに適用可能であるが、これに限定されず、例えば２次元モデル等についても適用可能である。また、本発明は、コンピュータグラフィックス（ＣＧ）やコンピュータアニメーション等の技術分野に広く適用することができる。
【００８８】
以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【図面の簡単な説明】
【００８９】
【図１】本実施形態における仮想顔モデル変形システムの一構成例を示す図である。
【図２】抽出される顔の特徴点の一例を示す図である。
【図３】変形データベースの構築までの処理の流れを説明するための一例の図である。
【図４】本実施形態における変形推定部と変形部の処理の流れを説明するための一例の図である。
【図５】基底表情として使用される変形データのフレーム位置の設定を説明するための一例の図である。
【図６】本発明における仮想顔モデル変形処理が実現可能なハードウェア構成の一例を示す図である。
【図７】本実施形態における仮想顔モデル変形処理手順の一例を示すフローチャートである。
【符号の説明】
【００９０】
１０ 仮想顔モデル変形システム
１１ カメラ
１２ 顔特徴点追跡装置
１３ 仮想顔モデル変形装置
２１ 入力部
２２ 変形推定部
２３ 変形データベース
２４ 変形部
２５ 表示用仮想３次元顔モデル集合部
２６ 表示部
２７ 出力部
３１ 被写体
４１ 学習用メッシュ変形データ
４２ 全人物のメッシュ頂点座標の平均情報
４３ サブサンプル
５１ 入力装置
５２ 出力装置
５３ ドライブ装置
５４ 補助記憶装置
５５ メモリ装置
５６ ＣＰＵ
５７ ネットワーク接続装置
５８ 記録媒体
【技術分野】
【０００１】
本発明は、仮想顔モデル変形装置及び仮想顔モデル変形プログラムに係り、特に効率的かつ高精度に所定の表情に変形させた仮想顔モデルを取得するための仮想顔モデル変形装置及び仮想顔モデル変形プログラムに関する。
【背景技術】
【０００２】
従来、コンピュータグラフィックス（ＣＧ）やコンピュータアニメーション等の業界では、三次元のコンピュータモデルが頻繁に使用されている。多くの三次元ＣＧモデル（仮想３次元モデル）は、物体（人物も含む）の表面形状を「メッシュ」（多角形の立体的な網）により記述し、輝度・色等の表面の見える部分を「テクスチャ」という画像情報により記述する。
【０００３】
また、従来のＣＧソフトウェアを用いて三次元モデルをレンダリングすると、「メッシュ」の見える部分に「テクスチャ」を貼り付けることで、ほぼ任意の照明条件下で任意の角度から見た物体の見え方を静止画又は動画（アニメーション）として再現することができる。
【０００４】
しかしながら、ＣＧモデルでは、表情を演じる人物の顔を自然に見えるように再現することが難しく、また、顔の表情に伴う動き（動的変形）は特に自然に再現しにくいといった問題がある。
【０００５】
そこで、静止画や動画に三次元ＣＧモデルを用いてＣＧキャラクタの表情を制作する場合、目的の表情に相当する顔形状メッシュを幾つかの基底表情（無表情を含む）に相当するメッシュの線形組み合わせ（「ブレンド・シェイプ、ｂｌｅｎｄ ｓｈａｐｅ」）として近似する手法が使用されている。また、無表情から目的の表情（満表情）まで動的に変動していく動画シーケンスを制作する場合には、各フレーム毎に同一の基底表情のブレンド・シェイプとして近似する手法がよく使用されている。
【０００６】
ここで、ブレンド・シェイプとは、ベースとなる表情と、その表情と異なる複数の表情のオブジェクトを用意し、ベースに対して所定の度合いで混合することにより表情を生成する手法である。
【０００７】
また、ＣＧソフトウェアにより再現された顔表情の自然性を向上させるために、表情を演じた出演者（被写体）の顔をカメラ等により撮影して得られる静止画又は動画から、表情に伴った顔の変形を学習し、ＣＧモデルに移行してＣＧキャラクタで表情を再現する手法が研究されている（例えば、非特許文献１、２参照。）。
【非特許文献１】Ｒａｏｕｚａｉｏｕら、Ｐａｒａｍｅｔｅｒｉｚｅｄ Ｆａｃｉａｌ Ｅｘｐｒｅｓｓｉｏｎ Ｓｙｎｔｈｅｓｉｓ Ｂａｓｅｄ ｏｎ ＭＰＥＧ−４、ＥＵＲＡＳＩＰ Ｊｏｕｒｎａｌ ｏｎ Ａｐｐｌｉｅｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ １０，１０２１−１０３８，２００２．
【非特許文献２】Ｚｈａｎｇら、Ｇｅｏｍｅｔｒｙ−Ｄｒｉｖｅｎ Ｐｈｏｔｏｒｅａｌｉｓｔｉｃ Ｆａｃｉａｌ Ｅｘｐｒｅｓｓｉｏｎ Ｓｙｎｔｈｅｓｉｓ、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ，ｖｏｌ．１２，ｎｏ．１，４８−６０，２００６．
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、上述したように出演者等の被写体が顔で演じた表情を三次元ＣＧモデルで近似して自然に再現するためには、予め出演者毎に顔における多数の特徴点の位置や動きを自動的に抽出しなければならない。一方、手動で出演者の多数の特徴点の位置を指定するには手間がかかり、リアルタイムでの動作は不可能となる。
【０００９】
ここで、上述した非特許文献１に示されている手法では、多数の特徴点の位置と動きから顔の三次元モデルを変形させて表情を再現する場合に、モデルを変形させるためのパラメータを作業者等が手動で調整している。また、非特許文献２に示されている手法でも、多数の特徴点を作業者等が手動で調整し、モデルの表情を生成するシステムについて開示されている。したがって、何れも作業者の手間がかかると共に、作業者の設定次第で精度が異なるため、高精度な結果を得ることができない。
【００１０】
また、上述したように、動的に変動していく顔の表情を近似する場合には、各フレーム毎に、固定した幾つかの基底表情メッシュのブレンド・シェイプを合成する手法を用いる。その結果、フレーム毎にブレンド・シェイプ組み合わせの係数が変わるが、全フレームでの近似は同一基底表情の組み合わせとなってしまうため、高精度な表現を再現することができない。
【００１１】
本発明は、上述した問題点に鑑みなされたものであり、効率的かつ高精度に所定の表情に変形させた仮想顔モデルを取得するための仮想顔モデル変形装置及び仮想顔モデル変形プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１３】
請求項１に記載された発明は、撮影された被写体の顔の表情に対応させて仮想顔モデルの表情を変形させる仮想顔モデル変形装置において、前記被写体の顔から予め設定された複数の特徴点の位置情報を入力する入力部と、予め蓄積される複数の学習用の顔画像から得られた表情の変形データを用いて、前記入力部により入力された複数の特徴点の位置情報に対応する変形データを推定する変形推定部と、前記変形推定部により推定された変形データを予め設定される複数の仮想顔モデルの集合から選択された仮想顔モデルと組み合わせて仮想顔モデルの表情を変形させる変形部とを有することを特徴とする。
【００１４】
請求項１記載の発明によれば、効率的かつ高精度に所定の表情に変形させた仮想顔モデルを取得することができる。
【００１５】
請求項２に記載された発明は、前記変形推定部は、予め設定される複数のモデルの複数の表情に対応した基底メッシュ変形データを有する変形データベースを用いて前記位置情報に近似する変形データを推定することを特徴とする。
【００１６】
請求項２記載の発明によれば、メッシュの頂点を基準にして、変形データを推定することができ、この変形データを用いて被写体の表情に対応した仮想顔モデルの表情を高精度に変形させることができる。
【００１７】
請求項３に記載された発明は、前記変形推定部は、前記入力部により入力される被写体の顔の表情に対応した特徴点の位置ベクトルから、前記モデルの無表情のときの位置ベクトルを差分して得られる入力特徴点の変形ベクトルを、ある画像フレームにおける部分空間上に射影することで射影係数を求め、前記射影係数により変形データを生成することを特徴とする。
【００１８】
請求項３記載の発明によれば、射影係数を用いて変形データを生成することで、部分空間に属する成分のみが残り、部分空間に直交する成分は除去することができる。そのため、効率的かつ高精度に仮想顔モデルの変形に必要な変形データを取得することができる。
【００１９】
請求項４に記載された発明は、前記変形部は、前記特徴点の位置情報に近似するように前記変形データと仮想顔モデルのメッシュデータを組み合わせて仮想顔モデルの表情を変形させることを特徴とする。
【００２０】
請求項４記載の発明によれば、効率的かつ高精度に仮想顔モデルをより自然な表情に変形させることができる。
【００２１】
請求項５に記載された発明は、前記変形部は、前記予め設定される複数の仮想顔モデルを表情に伴う動的変形の時系列データの使用数を調整することを特徴とする。
【００２２】
請求項５記載の発明によれば、装置の性能や出力結果の品質の度合い、所望する処理速度等に応じて詳細に調整することができる。これにより、高精度な変形データを取得することができる。
【００２３】
請求項６に記載された発明は、撮影された被写体の顔の表情に対応させて仮想顔モデルの表情を変形させる仮想顔モデル変形プログラムにおいて、コンピュータに、前記被写体の顔から予め設定された複数の特徴点の位置情報を入力する入力処理と、予め蓄積される複数の学習用の顔画像から得られた表情の変形データを用いて、前記入力処理により入力された複数の特徴点の位置情報に対応する変形データを推定する変形推定処理と、前記変形推定処理により推定された変形データを予め設定される複数の仮想顔モデルの集合から選択された仮想顔モデルと組み合わせて仮想顔モデルの表情を変形させる変形処理とを実行させる。
【００２４】
請求項６記載の発明によれば、効率的かつ高精度に所定の表情に変形させた仮想顔モデルを取得することができる。また、実行プログラムをコンピュータにインストールすることにより、容易に所定の表情に変形させた仮想顔モデルを取得することができる。
【発明の効果】
【００２５】
本発明によれば、効率的かつ高精度に所定の表情に変形させた仮想顔モデルを取得することができる。
【発明を実施するための最良の形態】
【００２６】
＜本発明の概要＞
本発明は、例えば、ある番組の出演者等の実際の人物（被写体）の顔等における少数の特徴点の位置情報を動的に顔特徴点追跡装置により取得し、その位置情報に基づいて、複数の学習用三次元顔モデル（基底表情）のブレンド・シェイプとして出演者の表情に伴った変形を近似し、別の仮想三次元モデルの顔の表情を変形させて静止画又は動画（アニメーション）等で出力する。
【００２７】
ここで、ブレンド・シェイプ組み合わせの係数の値を定めるには、出演者等の顔画像から抽出された特徴点と、それぞれと略同一の位置における三次元モデルのメッシュ頂点との誤差（近似誤差）を最小化する。更に、本発明は、ブレンド・シェイプの係数のみならず、基底表情も動的に変形していくことにより、近似誤差を更に減少する。
【００２８】
＜実施形態＞
以下、本発明を実施するための最良の形態について図面を用いて詳細に説明する。
【００２９】
＜仮想顔モデル変形システム＞
図１は、本実施形態における仮想顔モデル変形システムの一構成例を示す図である。図１に示す仮想顔モデル変形システム１０は、実際の人物（被写体）の顔を撮影する撮像部としてのカメラ１１と、顔特徴点追跡装置１２と、仮想顔モデル変形装置１３とを有するよう構成されている。また、本発明に係る仮想顔モデル変形装置１３は、入力部２１と、変形推定部２２と、変形データベース２３と、変形部２４と、表示用仮想３次元顔モデル集合部２５と、表示部２６と、出力部２７とを有するよう構成されている。
【００３０】
図１に示すカメラ１１は、例えば番組出演者等の被写体３１の顔を含む画像を取得して顔の動画像を取得する。また、カメラ１１は、撮影された被写体３１の動画像を顔特徴点追跡装置１２に出力する。
【００３１】
顔特徴点追跡装置１２は、カメラ１１により撮影された動画像の時間的連続性を用いて、顔の検出、追跡、及び認識を行い、顔の特徴点を取得する。具体的には、撮影された動画像に対してＧａｂｏｒウェーブレット係数等の特徴を用いて予め設定された可変テンプレートとのテンプレートマッチングを行う。なお、このマッチング処理は、同じデータ表現で動画像全てに対して処理を行う。
【００３２】
また、顔特徴点追跡装置１２は、動画像から顔の部分を抽出し、抽出した顔に対して特徴点を抽出する。ここで、図２は、抽出される顔の特徴点の一例を示す図である。図２に示す特徴点の一例では、撮影した被写体３１の顔領域から眉間、目元、目尻、鼻先、口先、口元からなる９点を特徴点３２−１〜３２−９として抽出している。なお、特徴点の場所や数等については特にこれに制限されない。
【００３３】
また、顔特徴点追跡装置１２は、多重解像度でのマッチング機能を有していてもよく、この場合には低解像度から高解像度までのマッチングを行い、重み付き推定を行うことにより、信頼性が低いデータの影響を減少させることができる。また、顔特徴点追跡装置１２は、ロバスト推定を行い、時間・空間的フィルタリングとＢａｙｅｓ推定により、フレーム数分のマッチング情報を積分し、その結果を特徴点の座標を位置情報として出力する。
【００３４】
なお、顔特徴点追跡装置１２における顔の特徴点の取得については、例えば既存の顔特徴点追跡手法（例えば、サイモン・クリピングデルら、「動画像の顔検出・追跡・認識への統一されたアプローチ」、電子情報通信学会、信学技報 ＰＲＭＵ９８−２００（１９９９年１月））等を用いることができる。
【００３５】
上述した顔特徴点追跡装置１２によりカメラ１１で撮影中の被写体の顔画像における幾つかの特徴点の位置情報を仮想顔モデル変形装置１３に出力する。
【００３６】
なお、仮想顔モデル変形装置１３に入力する特徴点の位置情報等は、例えば、被写体３１の撮影中にリアルタイムに入力してもよく、また外部蓄積装置等に動画として一時的に蓄積しておき仮想顔モデル変形装置１３での処理を実行したい所定のタイミングで仮想顔モデル変形装置１３に入力してもよい。更に、他の装置等を用いて上述以外の手法で得られた特徴点の位置情報等を入力してもよい。
【００３７】
仮想顔モデル変形装置１３において、入力部２１は、顔画像の各特徴点の位置情報を入力すると、その位置情報（座標情報）を変形推定部２２に出力する。
【００３８】
変形推定部２２は、入力部２１から得られる顔画像の各特徴点の座標と変形データベース２３に予め蓄積されている複数の学習用の顔画像から得られる変形データ（基底メッシュ変形データ、サブサンプル変形データ）等を用いて、撮影された顔画像の表情に対し、後述する仮想３次元顔モデルの表情を近似（一致も含む）させるための適切な変形データの推定を行う。なお、変形データベース２３の詳細については後述する。また、変形推定部２２は、変形に対する推定パラメータ（変形データ）を変形部２４に出力する。
【００３９】
また、変形部２４は、予め蓄積されている複数の仮想顔モデル（ＣＧモデル）毎に形状メッシュ情報及びテクスチャ情報等を有する表示用仮想３次元顔モデル集合部２５から予め使用者等により選択された任意の仮想３次元顔モデルの形状メッシュに上述した変形推定部２２で推定された変形データを組み合わせて、仮想３次元顔モデルの表情を変形する。
【００４０】
具体的には、変形部２４は、各特徴点の座標に近似するように変形データと仮想顔モデルを組み合わせて仮想顔モデルの表情を変形させる。これにより、効率的かつ高精度に仮想顔モデルをより自然な表情に変形させることができる。なお、変形部２４は、予め設定される複数の仮想顔モデルを表情に伴う動的変形の時系列データの使用数を調整してもよい。これにより、装置の性能や出力結果の品質の度合い、所望する処理速度等に応じて詳細に調整することができ、高精度な変形データを取得することができる。
【００４１】
また、変形部２４は、変形された仮想３次元顔モデルの顔画像データをメッシュ及びテクスチャ情報と共に表示部２６に出力して表示部２８から表示させたり、顔画像データを所定のフォーマット形式のファイルで蓄積部２７に蓄積させたり、顔画像データを出力部２８に出力して出力部２８から画像ファイルとして出力させることができる。
【００４２】
なお、上述した変形推定部２２及び変形部２４における具体的な処理の詳細については後述する。
【００４３】
表示部２６は、変形部２４から得られた変形された仮想３次元顔モデルの顔画像を直接表示したり、メッシュ及びテクスチャ情報を用いてディスプレイ等にレンダリング（数値データとして与えられた物体や図形に関する情報を計算により画像化）して得られる仮想３次元顔モデルの顔画像を表示する。また、蓄積部２７は、変形部２４から得られる画像データ等を蓄積する。また、出力部２８は、変形部２４から得られる画像データ等を所定のフォーマット形式のファイルで出力する。
【００４４】
これにより、被写体３１の顔画像の表情に対応させて予め設定された表示用仮想３次元顔モデルの表情を変形して表示させることができる。したがって、効率的かつ高精度に所定の表情に変形させた仮想顔モデルを取得することができる。
【００４５】
なお、上述の入力部２１や出力部２８は、例えば、ソケット通信等の通信インタフェースにより外部装置等とのデータの送受信を実施することができ、表示部２６は、コンピュータに接続するディスプレイ等で実施することができる。
【００４６】
＜変形データベース２３について＞
次に、上述した変形データベース２３について具体的に説明する。図３は、変形データベースの構築までの処理の流れを説明するための一例の図である。図３では、学習データとして学習用メッシュ変形データ４１を用いる。これは、例えばある所定人数（Ｍ人）の出演者（実際の人物）等がＥ個（種類）の表情（例えば、「笑顔」、「悲しみ」、「驚き」の場合にはＥ＝３）を演じた顔の三次元モデル（顔形状メッシュ）の無表情から満表情（所定の表情）までの同一フレーム数のシーケンスから構成されている。
【００４７】
また、図３の例では、例えばシーケンスの長さ（フレーム数）は、Ｆ＋１フレーム（０フレーム〜Ｆフレーム）であり、図３に示す最初のフレーム（０フレーム）には顔が無表情に映っており、最後のフレーム（Ｆフレーム）まで表情が滑らかにフル（満表情）に変形していくものとする。
【００４８】
ここで変形データベース２３を構築するには、まず、各表情のフレーム毎に全人物（１〜Ｍ）のメッシュ頂点座標の平均情報４２を取得する。これにより、Ｅ個のシーケンスｐ（１），…，ｐ（Ｅ）を求める。そして、シーケンスｐ（１），…，ｐ（Ｅ）のメッシュ情報から幾つかの頂点の座標をサブサンプル４３として抽出（サンプリング）することにより、シーケンスｑ（１），…，ｑ（Ｅ）を求める。なお、抽出するメッシュ頂点は、顔特徴点追跡装置１２から入力される特徴点（入力特徴点）と最も近い頂点を選択する（理想的には、メッシュ頂点と、特徴点の位置とは一致することが好ましい）。
【００４９】
したがって、最終的な変形データベース２３は、各表情（１〜Ｅ）におけるメッシュシーケンス（基底メッシュ変形データ）ｐ（１），…ｐ（Ｅ）とサブサンプルされたシーケンス（サブサンプル変形データ）ｑ（１），…ｑ（Ｅ）から構成される。
【００５０】
＜変形推定部２２及び変形部２４について＞
次に、上述した変形推定部２２及び変形部２４について具体的に説明する。図４は、本実施形態における変形推定部と変形部の処理の流れを説明するための一例の図である。変形推定部２２は、入力部２１からの各特徴点の座標と、変形データベース２３における変形データ群を用い、入力特徴点ベクトルｒから無表情のときのベクトルｒ［０］を差分し、あるフレームｊにおけるサブサンプル変形データｑ（１）［ｊ］−ｑ［０］，…，ｑ（Ｅ）［ｊ］−ｑ［０］が張る部分空間に射影する。これにより、射影係数α（１），…，α（Ｅ）を求める。なお、ｑ［０］＝ｑ（１）［０］＝…＝ｑ（Ｅ）［０］は、無表情のときのサブサンプル変形データを示している。
【００５１】
次に、上述の処理で得られた射影係数α（１），…，α（Ｅ）を用いて、フレームｊでの基底メッシュ変形データｐ（１）［ｊ］−ｐ［０］，…，ｐ（Ｅ）［ｊ］−ｐ［０］の重み付き線形組み合わせ変形分を計算（（α（１）×（ｐ（１）［ｊ］−ｐ［０］）×…×α（Ｅ）（ｐ（Ｅ）［ｊ］−ｐ［０］）））し、この計算結果を変形データとして変形部２４に出力する。なお、ｐ［０］＝ｐ（１）［０］＝…＝ｐ（Ｅ）［０］は、無表情のときの基底メッシュ変形データを示している。
【００５２】
次に、変形部２４は、表示用仮想３次元顔モデルのメッシュｓ［０］に変形推定部２２から得られる変形データを加算して（組み合わせて）変形させ、その結果として、変形された表示用メッシュｓを出力する。なお、メッシュｓ［０］は、無表情の状態にあることを示している。
【００５３】
ここで、図５は、基底表情として使用される変形データのフレーム位置の設定を説明するための一例の図である。図５に示すように、入力特徴点の変形ベクトル｜ｒ−ｒ［０］｜の大きさにより、基底メッシュの変形データを使用するフレーム番号ｊを設定する。
【００５４】
出力表情の近似は、入力特徴点の変形ベクトル｜ｒ−ｒ［０］｜が小さい場合には、基底メッシュ変形データのフレームＪのブレンド・シェイプ組み合わせとなり、｜ｒ−ｒ［０］｜が充分大きい場合には、その大きさに相当する基底メッシュ変形データのフレームＪ＜＝ｊ＜＝Ｆのブレンド・シェイプ組み合わせとなる。
【００５５】
ここで、上述までの実施形態の処理の手順を更に具体的に説明する。例えば、基底表情を固定する場合の処理においては、まず、予めオフラインでＥ個（種類）の基本表情を演じた顔の形状（ＣＧモデルのメッシュ）の変形データを集め、同一長さ（フレーム数）のシーケンスに調整して、基底メッシュ変形データｐ（１），…，ｐ（Ｅ）として変形データベース２３に格納する。各シーケンスにおいて、最初に顔が無表情の状態で時間が経つにつれて表情が大きく現れてくる。このとき、サブサンプルとして上述した顔特徴点追跡装置１２から入力される顔画像の各特徴点の位置に最も近いメッシュ頂点のみをｐ（１），…，ｐ（Ｅ）の各フレームから抽出し、サブサンプル変形データｑ（１），…，ｑ（Ｅ）として変形データベース２３に格納しておく。
【００５６】
変形推定部２２では、入力する特徴点の座標ベクトルｒから、出演者の顔が無表情の時の値ｒ［０］を引くことにより求めた入力特徴点の変形ベクトルｒ−ｒ［０］を、あるフレームｊでのサブサンプル変形データｑ（１）［ｊ］−ｑ［０］，…，ｑ（Ｅ）［ｊ］−ｑ［０］が張る部分空間に射影する。これにより、入力特徴点の変形ベクトルｒ−ｒ［０］に対して、この部分空間に属する成分のみが残る（部分空間に直交する成分は除去される）。なお、射影の結果としては、係数α（１），…，α（Ｅ）を求める。ここで、
Ｑ［ｊ］＝［ｑ（１）［ｊ］−ｑ［０］…ｑ（Ｅ）［ｊ］−ｑ［０］］
とすると、
α＝（Ｑ［ｊ］ＴＱ［ｊ］）−１Ｑ［ｊ］Ｔ（ｒ−ｒ［０］）
として求めることができる。なお、ｑ（０）＝ｑ（１）［０］＝…＝ｑ（Ｅ）［０］は無表情の時のサブサンプル変形データを示している。
【００５７】
また、上述の処理で得られた射影係数α（１），…，α（Ｅ）を用い、フレームｊでの基底メッシュ変形データｐ（１）［ｊ］−ｐ［０］，…，ｐ（Ｅ）［ｊ］−ｐ［０］の重み付き線形組み合わせを計算し、その計算結果を変形データとして変形部２４に出力する。なお、ｐ［０］＝ｐ（１）［０］＝…＝ｐ（Ｅ）［０］は無表情の時の基底メッシュ変形データを示している。
【００５８】
変形部２４は、表示用仮想３次元顔モデルのメッシュｓ［０］に変形推定部２２から得られる変形データを加算して（組み合わせて）変形させ、その結果として得られるメッシュｓを出力する。なお、ｓ［０］は無表情の状態にあることを示している。ここで、
Ｐ［ｊ］＝［ｐ（１）［ｊ］−ｐ［０］ … ｐ（Ｅ）［ｊ］−ｐ［０］］
とすると、出力する変形されたメッシュは、
ｓ＝ｓ［０］＋α（１）（ｐ（１）［ｊ］−ｐ［０］）＋…＋α（Ｅ）（ｐ（Ｅ）［ｊ］−ｐ［０］）＝ｓ［０］＋Ｐ［ｊ］α．
として求めることができる。
【００５９】
ここで、学習データの中に基底表情として使用するフレームｊを選択するには複数の可能性がある。例えば、ｊ＝Ｆ（学習データの「満表情」を示す最後のフレーム）に固定した場合、各フレームでの出力メッシュ変形分ｓ−ｓ［０］はｐ（１）［Ｆ］−ｐ［０］，…，ｐ（Ｅ）［Ｆ］−ｐ［０］の組み合わせとなり、これは通常のブレンド・シェイプ方法に相当する。なお、計算量を重視する場合には、これが最良な選択となる。
【００６０】
一方、入力特徴点が無表情から満表情まで変形するにつれて、フレームｊも変わる可能性があれば、結果の近似誤差を減少することができる。しかしながら、フレームｊを小さく設定すると、変形ベクトルｐ（）［ｊ］−ｐ［０］、又はｑ（）［ｊ］−ｑ［０］も小さくなり、ノイズが比較的大きくなってしまう。したがって、本実施形態では、図５に示すように、変形ベクトルが充分大きくなるフレーム（フレームＪ）とする）以降の変形データを使用する。
【００６１】
なお、フレームｊ＞＝Ｊを選択する方法の一つとして、例えば、入力特徴点の変形ベクトルｒ−ｒ［０］の大きさに相当するフレームｊを次のアルゴリズムにより設定する。
【００６２】
ｊ＝（ｉｎｔ）（ｋ＊｜ｒ−ｒ［０］｜；
ｉｆ （ｊ＜Ｊ） ｊ：＝Ｊ；
ここでは、定数のｋ（勾配）は、システムのパラメータ等に依存するので、実験等により設定する。
【００６３】
したがって、上述したように、出力表情の近似は、入力特徴点の変形ベクトル｜ｒ−ｒ［０］｜が小さい場合には、基底メッシュ変形データのフレームＪのブレンド・シェイプ組み合わせとなり、｜ｒ−ｒ［０］｜が充分大きい場合には、その大きさに相当する基底メッシュ変形データのフレームＪ＜＝ｊ＜＝Ｆのブレンド・シェイプ組み合わせとなる。
【００６４】
なお、メモリ等の容量や処理計算量等によって、この２つの例（変形データのフレームＪ＜＝ｊ＜＝Ｆを使用する例と、フレームＪ＝Ｆのみを使用する例）以外の別の設定方法もある。例えば、図５に示された基底ベクトルの幾つかだけを用いることは、全てを用いることにより計算量が軽くなる。
【００６５】
したがって、変形部２４は、予め設定される複数の仮想顔モデルを表情に伴う動的変形の時系列データの使用数を調整する。これにより、装置の性能や出力結果の品質の度合い、所望する処理速度等に応じて詳細に調整することができる。これにより、高精度な変形データを取得することができる。
【００６６】
逆に、Ｊ＜＝ｊ＜＝Ｆの全てのフレームでの変形データの組み合わせをとると近似誤差が最小となるが、計算量が重くなる。したがって、所望する条件に応じて任意に設定することができる。
【００６７】
上述したように、本実施形態によれば、効率的かつ高精度に所定の表情に変形させた仮想顔モデルを取得することできる。
【００６８】
＜仮想顔モデル変形プログラム＞
ここで、仮想顔モデル変形装置１３は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータを表示する表示部、並びに外部と通信するためのインタフェースを備えたコンピュータによって構成することができる。
【００６９】
したがって、仮想顔モデル変形装置１３に備えた入力部２１、変形推定部２２、変形部２４、表示部２６、及び出力部２７における各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。
【００７０】
つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラム（仮想顔モデル変形プログラム）を生成し、例えば、汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、仮想顔モデル変形処理を実現することができる。
【００７１】
＜ハードウェア構成＞
ここで、本発明における実行可能なコンピュータのハードウェア構成例について図を用いて説明する。図６は、本発明における仮想顔モデル変形処理が実現可能なハードウェア構成の一例を示す図である。
【００７２】
図６におけるコンピュータ本体には、入力装置５１と、出力装置５２と、ドライブ装置５３と、補助記憶装置５４と、メモリ装置５５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５６と、ネットワーク接続装置５７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
【００７３】
入力装置５１は、使用者等が操作するキーボード及びマウス等のポインティングデバイスやマイク等の音声入力デバイス等を有しており、使用者等からのプログラムの実行等、各種操作信号を入力する。出力装置５２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイや音声を出力するスピーカ等を有し、ＣＰＵ５６が有する制御プログラムによりプログラムの実行経過や結果等を表示又は音声出力することができる。
【００７４】
ここで、本発明において、コンピュータ本体にインストールされる実行プログラムは、例えば光ディスク等の記録媒体５８等により提供される。プログラムを記録した記録媒体５８は、ドライブ装置５３にセット可能であり、記録媒体５８に含まれる実行プログラムが、記録媒体５８からドライブ装置５３を介して補助記憶装置５４にインストールされる。
【００７５】
補助記憶装置５４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。
【００７６】
メモリ装置５５は、ＣＰＵ５６により補助記憶装置５４から読み出された実行プログラム等を格納する。なお、メモリ装置５５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等からなる。
【００７７】
ＣＰＵ５６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、メモリ装置５５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現することができる。また、ＣＰＵ５６は、プログラムの実行中に必要な各種情報を補助記憶装置５４から取得することができ、またＣＰＵ５６は、処理結果等を格納することもできる。
【００７８】
ネットワーク接続装置５７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。
【００７９】
上述したようなハードウェア構成により、特別な装置構成を必要とせず、低コストで効率的に仮想顔モデル変形処理を実現することができる。また、プログラムをインストールすることにより、容易に所定の表情に変形させた仮想顔モデルを取得することができる。
【００８０】
＜仮想顔モデル変形処理手順＞
次に、本発明における実行プログラム（仮想顔モデル変形プログラム）による仮想顔モデル変形処理手順についてフローチャートを用いて説明する。図７は、本実施形態における仮想顔モデル変形処理手順の一例を示すフローチャートである。
【００８１】
図７において、上述したようにカメラ等により撮影された出演者等の被写体の顔画像から、顔特徴点追跡装置等を用いて処理することで得られる顔の各特徴点の位置情報としての座標情報を含む動画像を入力する（Ｓ０１）。次に、入力した各特徴点の座標情報から上述した変形データベース２３等を用いて入力した顔の各特徴点の座標に対応する変形データを推定する（Ｓ０２）。
【００８２】
次に、予め設定される複数の仮想顔モデルの集合から表示用の仮想顔モデルを選択し（Ｓ０３）、更に必要に応じて動画像に対して動的変形の時系列データをどの程度使用するか、その使用数を調整する（Ｓ０４）。また、Ｓ０１の処理にて入力した顔の特徴点の座標と近似（一致含む）するように仮想顔モデルに変形データを組み合わせて仮想顔モデルの表情を変形し（Ｓ０５）、変形された仮想顔モデルをディスプレイ等の表示部に表示する（Ｓ０６）。
【００８３】
なお、上述したＳ０６の処理の代わりに、変形された仮想顔モデルを所定のフィーマット形式のファイルを生成し、蓄積部に蓄積してもよく、外部装置に出力してもよい。
【００８４】
上述したように、本発明によれば、効率的かつ高精度に所定の表情に変形させた仮想顔モデルを取得することができる。具体的に説明すると、顔のＣＧモデルに表情を演じさせる従来の技術に比べて、本発明は、出演者（被写体）の顔において追跡される特徴点の位置に基づき、ＣＧモデル（仮想顔モデル）で出演者の表情を近似させることにより，直接ＣＧモデルを詳細に調整して表情を制作するよりも、より自然に見えると共に手間がかからなくなる。
【００８５】
また、予め設定される複数のモデルの複数の表情に対応した基底メッシュ変形データを有する変形データベースを用いて変形データを推定することにより、メッシュの頂点を基準にして、変形データを推定することができ、この変形データを用いて被写体の表情に対応した仮想顔モデルの表情を高精度に変形させることができる。また、射影係数等を用いて変形データを生成することで、部分空間に属する成分のみが残り、部分空間に直交する成分は除去することができる。そのため、効率的かつ高精度に仮想顔モデルの変形に必要な変形データを取得することができる。
【００８６】
また、ＣＧソフトウェアがよく提供する「ブレンド・シェイプ」という幾つか固定したＣＧモデルの形状を組み合わせる機能を用いて、表情に伴う動的変形の時系列データを組み合わせることにより表情の近似誤差を減少することができる。更に、動的変形の時系列データをどの程度使用するか調整することにより、目盛りや計算量を調整することができる。
【００８７】
なお、上述した実施形態は、３次元モデルに適用可能であるが、これに限定されず、例えば２次元モデル等についても適用可能である。また、本発明は、コンピュータグラフィックス（ＣＧ）やコンピュータアニメーション等の技術分野に広く適用することができる。
【００８８】
以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【図面の簡単な説明】
【００８９】
【図１】本実施形態における仮想顔モデル変形システムの一構成例を示す図である。
【図２】抽出される顔の特徴点の一例を示す図である。
【図３】変形データベースの構築までの処理の流れを説明するための一例の図である。
【図４】本実施形態における変形推定部と変形部の処理の流れを説明するための一例の図である。
【図５】基底表情として使用される変形データのフレーム位置の設定を説明するための一例の図である。
【図６】本発明における仮想顔モデル変形処理が実現可能なハードウェア構成の一例を示す図である。
【図７】本実施形態における仮想顔モデル変形処理手順の一例を示すフローチャートである。
【符号の説明】
【００９０】
１０ 仮想顔モデル変形システム
１１ カメラ
１２ 顔特徴点追跡装置
１３ 仮想顔モデル変形装置
２１ 入力部
２２ 変形推定部
２３ 変形データベース
２４ 変形部
２５ 表示用仮想３次元顔モデル集合部
２６ 表示部
２７ 出力部
３１ 被写体
４１ 学習用メッシュ変形データ
４２ 全人物のメッシュ頂点座標の平均情報
４３ サブサンプル
５１ 入力装置
５２ 出力装置
５３ ドライブ装置
５４ 補助記憶装置
５５ メモリ装置
５６ ＣＰＵ
５７ ネットワーク接続装置
５８ 記録媒体
【特許請求の範囲】
【請求項１】
撮影された被写体の顔の表情に対応させて仮想顔モデルの表情を変形させる仮想顔モデル変形装置において、
前記被写体の顔から予め設定された複数の特徴点の位置情報を入力する入力部と、
予め蓄積される複数の学習用の顔画像から得られた表情の変形データを用いて、前記入力部により入力された複数の特徴点の位置情報に対応する変形データを推定する変形推定部と、
前記変形推定部により推定された変形データを予め設定される複数の仮想顔モデルの集合から選択された仮想顔モデルと組み合わせて仮想顔モデルの表情を変形させる変形部とを有することを特徴とする仮想顔モデル変形装置。
【請求項２】
前記変形推定部は、
予め設定される複数のモデルの複数の表情に対応した基底メッシュ変形データを有する変形データベースを用いて前記位置情報に近似する変形データを推定することを特徴とする請求項１に記載の仮想顔モデル変形装置。
【請求項３】
前記変形推定部は、
前記入力部により入力される被写体の顔の表情に対応した特徴点の位置ベクトルから、前記モデルの無表情のときの位置ベクトルを差分して得られる入力特徴点の変形ベクトルを、ある画像フレームにおける部分空間上に射影することで射影係数を求め、前記射影係数により変形データを生成することを特徴とする請求項１又は２に記載の仮想顔モデル変形装置。
【請求項４】
前記変形部は、
前記特徴点の位置情報に近似するように前記変形データと仮想顔モデルのメッシュデータを組み合わせて仮想顔モデルの表情を変形させることを特徴とする請求項１乃至３の何れか１項に記載の仮想顔モデル変形装置。
【請求項５】
前記変形部は、
前記予め設定される複数の仮想顔モデルを表情に伴う動的変形の時系列データの使用数を調整することを特徴とする請求項１乃至４の何れか１項に記載の仮想顔モデル変形装置。
【請求項６】
撮影された被写体の顔の表情に対応させて仮想顔モデルの表情を変形させる仮想顔モデル変形プログラムにおいて、
コンピュータに、
前記被写体の顔から予め設定された複数の特徴点の位置情報を入力する入力処理と、
予め蓄積される複数の学習用の顔画像から得られた表情の変形データを用いて、前記入力処理により入力された複数の特徴点の位置情報に対応する変形データを推定する変形推定処理と、
前記変形推定処理により推定された変形データを予め設定される複数の仮想顔モデルの集合から選択された仮想顔モデルと組み合わせて仮想顔モデルの表情を変形させる変形処理とを実行させる仮想顔モデル変形プログラム。
【請求項１】
撮影された被写体の顔の表情に対応させて仮想顔モデルの表情を変形させる仮想顔モデル変形装置において、
前記被写体の顔から予め設定された複数の特徴点の位置情報を入力する入力部と、
予め蓄積される複数の学習用の顔画像から得られた表情の変形データを用いて、前記入力部により入力された複数の特徴点の位置情報に対応する変形データを推定する変形推定部と、
前記変形推定部により推定された変形データを予め設定される複数の仮想顔モデルの集合から選択された仮想顔モデルと組み合わせて仮想顔モデルの表情を変形させる変形部とを有することを特徴とする仮想顔モデル変形装置。
【請求項２】
前記変形推定部は、
予め設定される複数のモデルの複数の表情に対応した基底メッシュ変形データを有する変形データベースを用いて前記位置情報に近似する変形データを推定することを特徴とする請求項１に記載の仮想顔モデル変形装置。
【請求項３】
前記変形推定部は、
前記入力部により入力される被写体の顔の表情に対応した特徴点の位置ベクトルから、前記モデルの無表情のときの位置ベクトルを差分して得られる入力特徴点の変形ベクトルを、ある画像フレームにおける部分空間上に射影することで射影係数を求め、前記射影係数により変形データを生成することを特徴とする請求項１又は２に記載の仮想顔モデル変形装置。
【請求項４】
前記変形部は、
前記特徴点の位置情報に近似するように前記変形データと仮想顔モデルのメッシュデータを組み合わせて仮想顔モデルの表情を変形させることを特徴とする請求項１乃至３の何れか１項に記載の仮想顔モデル変形装置。
【請求項５】
前記変形部は、
前記予め設定される複数の仮想顔モデルを表情に伴う動的変形の時系列データの使用数を調整することを特徴とする請求項１乃至４の何れか１項に記載の仮想顔モデル変形装置。
【請求項６】
撮影された被写体の顔の表情に対応させて仮想顔モデルの表情を変形させる仮想顔モデル変形プログラムにおいて、
コンピュータに、
前記被写体の顔から予め設定された複数の特徴点の位置情報を入力する入力処理と、
予め蓄積される複数の学習用の顔画像から得られた表情の変形データを用いて、前記入力処理により入力された複数の特徴点の位置情報に対応する変形データを推定する変形推定処理と、
前記変形推定処理により推定された変形データを予め設定される複数の仮想顔モデルの集合から選択された仮想顔モデルと組み合わせて仮想顔モデルの表情を変形させる変形処理とを実行させる仮想顔モデル変形プログラム。
【図４】
【図５】
【図６】
【図７】
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図１】
【図２】
【図３】
【公開番号】特開２００９−７５８８０（Ｐ２００９−７５８８０Ａ）
【公開日】平成２１年４月９日（２００９．４．９）
【国際特許分類】
【出願番号】特願２００７−２４４３６１（Ｐ２００７−２４４３６１）
【出願日】平成１９年９月２０日（２００７．９．２０）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２１年４月９日（２００９．４．９）
【国際特許分類】
【出願日】平成１９年９月２０日（２００７．９．２０）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]