説明

三次元顔モデルデータ生成装置

【課題】低い計算コストで高品質な顔を表現することができる三次元顔モデルデータ生成装置を提供する。
【解決手段】人物表情撮影部1は、被写体となる人物の映像を撮影する。表情データ取得部2は、撮影した人物映像から、顔に相当する領域と、表情を表現するために必要な制御点の座標を抽出する。顔モデル変形部4は、抽出した表情向けの制御点の座標を用い、対応する顔モデルに係る形状データの制御点を移動・変形させ、被写体の表情付き形状データを生成する。顔テクスチャ切り出し部5は、顔に相当する領域を、撮影した人物映像から切り出す。テクスチャ貼付部6は、被写体の表情付き形状データに対し、取得したテクスチャを貼付する。表示部7は、テクスチャを貼付した形状データをレンダリングして表示を行う。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人物の顔の表情を精細にリアルタイムで表現するための三次元顔モデルデータ生成装置に関する。
【背景技術】
【0002】
人物やキャラクタなどをコンピュータグラフィックス(CG)で表現する手法が多く利用されている。テレビ番組などにおいては、リアルタイムで役者の体勢や、表情などをセンシングして、CGキャラクタのポーズや、表情などに反映させることで効果的なCG演出を行っている。
【0003】
特に、エンターテインメント分野を中心に、仮想キャラクタだけでなく、リアルな人物ひいては役者自身のCGモデルを用いてリアルタイム表示する手法もある。バーチャルリアリティや、立体視映像を用いた表現においては、被写体自身をリアルタイムでCGモデル(三次元モデル)化することがとても重要である。
【0004】
リアルタイムで被写体自身のCGモデルを表現する手法としては、ステレオ計測や、奥行きカメラによって直接形状を含めて取得する手法(例えば非特許文献1参照)と、モーションキャプチャによって取得した姿勢・表情データを、予め作成したCGモデルの骨格や、表情制御点などに当てはめる手法(例えば非特許文献2参照)との2つが主流となっている。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】A Robust 3D Face Recognition Algorithm Using Passive Stereo Vision(東北大学)
【非特許文献2】R-CAST(株式会社ビジュアルサイエンス研究所)
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述した非特許文献1に記載されている、直接形状を含めて取得する手法には、計測精度が表情の品質に直結するが、ほとんどの撮影条件で十分な品質を確保できない(撮影条件に左右されやすい)という問題がある。特に、ノイズやゆらぎなどが大きな品質低下をもたらすという問題がある。
【0007】
一方で、非特許文献2に記載されている、予めCGモデルを作成して動きを当てはめる手法は、生成される映像としては、CGがベースとなっているため、非特許文献1の手法が抱えるような品質に関する問題点はない。しかし、表情の表現力を高めると、より多くの制御点や、ポリゴンなどが必要になるため、より計算コストを必要とするという問題がある。また、多くの制御点、及びポリゴンを利用した場合でも、CGであることの違和感があるという問題がある。
【0008】
本発明は、このような事情を考慮してなされたものであり、その目的は、低い計算コストで高品質な顔を表現することができる三次元顔モデルデータ生成装置を提供することにある。
【課題を解決するための手段】
【0009】
上述した課題を解決するために、本発明は、被写体となる人物の映像を撮影する人物表情撮影手段と、前記人物表情撮影手段により撮影された人物映像から、顔に相当する領域と、表情を表現するために必要な制御点との座標を抽出する表情データ取得手段と、予め作成された被写体の形状データ、及びテクスチャを持つ顔モデルを保持する顔モデル保持手段と、前記表情データ取得手段によって抽出された表情向けの制御点の座標を用い、前記顔モデル保持手段に保持されている顔モデルに係る形状データの制御点を移動・変形させ、被写体の表情付き形状データを生成する顔モデル変形手段と、前記表情データ取得手段によって抽出された顔に相当する領域を、前記人物表情撮影手段により撮影された人物映像からテクスチャとして切り出す顔テクスチャ切り出し手段と、前記顔モデル変形手段によって生成された前記被写体の表情付き形状データに対し、前記顔テクスチャ切り出し手段によって切り出されたテクスチャを貼付するテクスチャ貼付手段とを備えることを特徴とする三次元顔モデルデータ生成装置である。
【発明の効果】
【0010】
この発明によれば、低い計算コストで高品質な顔を表現することができる。
【図面の簡単な説明】
【0011】
【図1】本発明の実施形態によるリアルタイム三次元顔モデルデータ生成装置の構成を示すブロック図である。
【図2】本実施形態によるリアルタイム三次元顔モデルデータ生成装置の動作を説明するための概念図である。
【発明を実施するための形態】
【0012】
以下、本発明の一実施形態を、図面を参照して説明する。
本発明は、三次元モデルデータを生成する装置に関するものある。本発明の特徴は、人物の顔の表情を精細に表現するために、実写の被写体映像をテクスチャとして用いていること、及びリアルタイムでの顔についてのモデルデータの生成を可能とするために、当該モデルデータの制御点を最小限に抑えていることにある。
【0013】
本発明は、予めCGモデルを作成して動きを当てはめる技術をベースとし、顔の表情データ取得後に人物の顔の部分だけを切り出し、表情に応じて変形させた顔形状モデルのテクスチャとして貼付することを特徴とする。これにより、リアルタイムの現在の表情画像をテクスチャとして貼り付けることができ、より高い品質をもった違和感の無い表現を、必要最小限の制御点での低計算コストで実現し、従来の課題を解決するものである。
【0014】
図1は、本発明の実施形態によるリアルタイム三次元顔モデルデータ生成装置の構成を示すブロック図である。図1において、人物表情撮影部1は、最終的に表示するCGモデルの被写体となる人物の映像を撮影する。表情データ取得部2は、撮影した人物映像から、顔に相当する領域と、目の上がり下がり・眉の上がり下がり・口の形などの表情を表現するために必要な制御点の座標を抽出する。顔に相当する領域は、後述の顔モデル保持部3のテクスチャに相当する。また、制御点の座標は、顔モデル保持部3の形状データを特徴付ける点に相当する。
【0015】
なお、表情データ取得部2の機能は、参考文献1(インターネット<URL:http://www.seeingmachiness.com/produuct/faceapi/>)、参考文献2(叶 冠峰,「顔動画像からの特徴点抽出を用いた表情認識」,岐阜大学,平成17年2月3日)などで実現可能である。これら参考文献1、2では、撮影した人物映像の中から、特徴点を抽出し、抽出した特徴点の中から、顔や、口、鼻などの人間の顔を構成する特徴と同等の配置や、形状を持つ点を抽出する。さらに、抽出した基本的な顔の位置から、おおよその眉毛の位置や、口の開き具合などを画像処理によって推定することができる。
【0016】
顔モデル保持部3は、予め作成された被写体の形状データ、及びテクスチャを持つCGレンダリング向けの顔モデルを保持する。なお、被写体の完全なモデルでない場合、つまり簡易化したものや、一般化したものもあり得る。簡易化したものとは、計測などによって得られた人物の顔の形状データを、CGクリエイターなどが手作業で形状の間引きをしてデータ量を軽減したものである。一般化したものとは、複数人の顔の形状データを簡易化し、さらにそれらの形状を統計処理して平均したものである。
【0017】
顔モデル変形部4は、表情データ取得部2で抽出した表情向けの制御点の座標を用い、顔モデル保持部3に保持されている顔モデルに係る形状データの制御点を移動・変形させ、被写体の表情付き形状データを生成する。変形手法については、参考文献3(Coding, Analysis, Interpretation, and Recognition of Facial Expressions (Georgia Institute of Technology))に代表されるように、制御点となるポリゴン頂点と、周辺のポリゴン頂点とを弾性体モデルで表現して変形させるなど様々な手法が存在する。
【0018】
なお、顔モデル保持部3に保持されている顔モデルから、人物表情撮影部1で撮影した人物に対応する顔モデルを特定する方法としては、手動でマッチングする方法が考えられる。また、最初から顔モデル保持部3には、被写体となる人物の顔モデルしか保持しないよう当該顔モデル保持部3を構成することも考えられる。さらに、顔画像から人物を識別する手法を利用することも考えられる。但し、この場合には、顔モデル保持部3に、識別用のデータを別途持つ必要があり、表情データ取得部2の処理に際して、当該識別用データを用いて撮影された人物を識別する処理が必要になる。
【0019】
顔テクスチャ切り出し部5は、表情データ取得部2で抽出した顔に相当する領域を、撮影した人物映像からテクスチャとして切り出す。テクスチャ貼付部6は、顔モデル変形部4で生成した被写体の表情付き形状データに対し、顔テクスチャ切り出し部5で切り出したテクスチャを貼付する。
【0020】
なお、テクスチャを貼付しない部分については、予め顔モデル保持部3で保持しているテクスチャを貼付しておく。テクスチャの貼付には、被写体と被写体を撮影したカメラとの相対位置を求め、そのカメラ位置に撮影した顔領域を表示するプロジェクタが存在すると想定し、顔モデルの再投影をするプロジェクションマッピング(インターネット<URL:http://www.asr.co.jp/user/nobo/bk/bk08.html>)などを代表とするCGにおける一般的なマッピング手法を用いることが可能である。
【0021】
表示部7は、テクスチャを貼付した形状データをレンダリングして表示を行う。レンダリングには、DirectX(登録商標)や、OpenGL(登録商標)など一般的なレンダリング手法を利用することが可能である。
【0022】
次に、本実施形態の動作について説明する。
図2は、本実施形態によるリアルタイム三次元顔モデルデータ生成装置の動作を説明するための概念図である。人物表情撮影部1は、最終的に表示するCGモデルの被写体となる人物の映像を撮影する(ステップS1)。表情データ取得部2は、撮影した人物映像から、顔に相当する領域と、目の上がり下がり・眉の上がり下がり・口の形などの表情を表現するために必要な制御点の座標を抽出する(ステップS2)。顔モデル変形部4は、表情データ取得部2で抽出した表情向けの制御点の座標を用い、対応する顔モデルに係る形状データの制御点を移動・変形させ、被写体の表情付き形状データを生成する(ステップS3)。
【0023】
次に、顔テクスチャ切り出し部5は、表情データ取得部2で抽出した顔に相当する領域を、撮影した人物映像から切り出す(ステップS4)。テクスチャ貼付部6は、顔モデル変形部4で生成した被写体の表情付き形状データに対し、顔テクスチャ切り出し部5で取得したテクスチャを貼付する(ステップS6)。表示部7は、テクスチャを貼付した形状データをレンダリングして表示を行う(ステップS7)。
【0024】
上述した実施形態によれば、実際の被写体映像からテクスチャを切り出すため、表情変化によって生じる皺などの細かな陰影などを含む高品質な顔を表現することができる。
【0025】
また、本実施形態によれば、詳細な表情は、テクスチャで表現できるため、細かな表情再現のための詳細な形状データや、制御点データなどが不要となるため、低い計算コストで表示することができる。
【符号の説明】
【0026】
1 人物表情撮影部
2 表情データ取得部
3 顔モデル保持部
4 顔モデル変形部
5 顔テクスチャ切り出し部
6 テクスチャ貼付部
7 表示部

【特許請求の範囲】
【請求項1】
被写体となる人物の映像を撮影する人物表情撮影手段と、
前記人物表情撮影手段により撮影された人物映像から、顔に相当する領域と、表情を表現するために必要な制御点との座標を抽出する表情データ取得手段と、
予め作成された被写体の形状データ、及びテクスチャを持つ顔モデルを保持する顔モデル保持手段と、
前記表情データ取得手段によって抽出された表情向けの制御点の座標を用い、前記顔モデル保持手段に保持されている顔モデルに係る形状データの制御点を移動・変形させ、被写体の表情付き形状データを生成する顔モデル変形手段と、
前記表情データ取得手段によって抽出された顔に相当する領域を、前記人物表情撮影手段により撮影された人物映像からテクスチャとして切り出す顔テクスチャ切り出し手段と、
前記顔モデル変形手段によって生成された前記被写体の表情付き形状データに対し、前記顔テクスチャ切り出し手段によって切り出されたテクスチャを貼付するテクスチャ貼付手段と
を備えることを特徴とする三次元顔モデルデータ生成装置。

【図1】
image rotate

【図2】
image rotate