説明

三次元形状モデリング用データ送信装置、三次元形状モデリング用データ受信装置、三次元形状モデリングシステム、三次元形状モデリング用データ送信プログラム、及び三次元形状モデリング用データ受信プログラム

【課題】送信側から三次元形状モデルに関するデータを送信し、受信側で、受信したデータに基づいて三次元形状モデルを復元する場合に、送信側から送信するデータの量を大幅に軽減することができる。
【解決手段】三次元形状モデリング用データ送信装置100Aは、ネットワーク102を介して三次元形状モデリング用データ受信装置100Bに、三次元形状の特徴点を表す特徴点データを送信する。三次元形状モデリング用データ受信装置100Bでは、受信した特徴点データに基づいて三次元形状を復元する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象物の三次元幾何形状を生成するための、三次元形状モデリング用データ送信装置、三次元形状モデリング用データ受信装置、三次元形状モデリングシステム、三次元形状モデリング用データ送信プログラム、及び三次元形状モデリング用データ受信プログラムに関する。
【背景技術】
【0002】
三次元幾何形状作成に関する技術は、用いる手法により2つに分類される。ひとつは、実際に存在する対象物から自動的に幾何的な特徴を抽出する手法である。例として、レンジスキャナを用いて対象物の三次元幾何情報を取り込み、物理法則に基づいたモデルを生成する手法がある(例えば、非特許文献1参照)。また、対象物の正面と側面の画像からモデルを生成する手法もある(例えば、非特許文献2参照)。上記の手法は、映画やコンピュータゲームなどのエンターテインメント分野では既に実用化されており、半自動的にリアリスティックな幾何形状を得ることができる。しかし上記の手法は、レンジスキャナなど特殊な装置を必要とする。
【0003】
もうひとつは、直接的に対象物の幾何形状を作成する際に、その作業をより簡便にすることを目標とする手法である。このような手法のうちいくつかは既に商用の三次元モデリングソフトに組み込まれている。しかしこの手法は、作業者に高度な芸術的感性を要求するため、より高レベルでの制御が可能になるよう研究が行われている。例えば、パラメータによって顔形状を変形する手法(非特許文献3参照)や、局所的な変形パラメータをより大局的な集合にして表現する手法(非特許文献4参照)が提案されている。
【0004】
しかし、上記の手法は、幾何形状作成の効率化を図る作業補助的なものであり、どんな作業者でも任意の対象物の幾何形状を作成するためには十分ではない。
【0005】
また、人体計測に基づくパラメータを用いて顔の三次元幾何形状を生成する手法もある(非特許文献5参照)。しかし、この手法ではパラメータが十分でなく、顎の突出度と眼裂の大きさなど僅かな特徴の操作しかできない為、詳細な特徴を持つ顔形状の生成はできない。
【0006】
一方、任意の三次元形状を生成する手法として、三次元物体の二次元図形情報を用いる手法がある。この手法は、物体の二次元図形情報の特徴点と、その物体に基本形状が近似する三次元基本形状モデルの制御点をとる。そして、三次元基本形状モデルの制御点を二次元図形情報の特徴点に一致させるよう、三次元基本形状モデルを変形する(例えば、特許文献1参照)。
【0007】
また、三次元形状の変形については、変形手法であるFFD(Free-Form Deformation)を用い、基底関数にcosine関数やcosine-n乗関数(nは2以上の整数)を用いる手法が提案されている(例えば、特許文献2参照)。
【0008】
しかし、顔を対象とした場合、特許文献1の手法をはじめとした、単に三次元形状モデルを作成する手法だけでは、不十分であるといえる。これは、三次元顔形状モデルの主な用途が、デジタルアクターやアバタなどの表情を伴ったアニメーションの作成や、美容整形シミュレーションなどであるためである。
【0009】
従来技術では、対象を三次元形状全般としているものが多く、顔形状特有の情報を扱っていないため、新たな顔形状モデルを作成するごとに顔形状特有の情報を付加しなければならず、作業効率が悪くなっている。
【0010】
このため、特許文献3には、人間の顔を対象として、リアリスティックで、作成後の利用が容易な三次元顔形状モデルが得られる技術として、顔形状の幾何学的特徴を特徴点として抽出し、得られた特徴点に対して変形手法を適用する方法が開示されている。
【先行技術文献】
【非特許文献】
【0011】
【非特許文献1】Y.Lee, D.Terzopoulos, and K.Waters, realistic face modeling for animation In Proceedings SIGGRAPH'95, 1995, p.55-62
【非特許文献2】T.Akimoto, Y.Suenaga, and R.Wallace, Automatic creation of 3D facial models IEEE Computer Graphics and Applications, September 1993, 13(5):p.16-22
【非特許文献3】F.Parke and K.Waters, Computer Facial Animation AKPeters, 1996
【非特許文献4】N.Magnenat-Thalmann, H.Minh, M.deAngelis, and D.Thalmann, Design, transformation and animation of human faces The Visual Computer, 1989, 5(1/2):p.32-39
【非特許文献5】Douglas DeCarlo, Dimitris Metaxas, and Matthew Stone, anthropometric Face Model using VariationalTechniques In Proceedings SIGGRAPH'98, 1998, p.67-74
【特許文献】
【0012】
【特許文献1】特開平4−289976号公報
【特許文献2】特開2004−78309号公報
【特許文献3】特許第4474546号公報
【発明の概要】
【発明が解決しようとする課題】
【0013】
前述のように、三次元顔形状モデルの主な用途としては、デジタルアクターやアバタなどの表情を伴ったアニメーションの作成があるが、例えば三次元のアバタは、ウェブ上における仮想ショップ等において本格的に普及する可能性がある。
【0014】
通常、三次元形状のデータを送受信する場合、例えば図24に示すように、1000KB程度の三次元形状データや、600KB程度のポリゴンデータを送信する場合、送信側で圧縮処理してからネットワークを介して送信する。この場合、送信される三次元形状データは、100KB程度、ポリゴンデータは60KB程度となる。そして、受信側では、これを解凍して三次元形状を復元する。
【0015】
このように、送信側で三次元形状のデータを圧縮処理しても、それほどデータのサイズが小さくなるわけではなく、通信負荷を大幅に軽減することはできない。これは、上記のように例えば三次元のアバタが本格的に普及し、リアルタイムでの三次元形状のデータの送受信による復元の要求が増加した場合に大きな問題となる。
【0016】
本発明はこのような点に鑑みてなされたものであり、送信側から三次元形状モデルに関するデータを送信し、受信側で、受信したデータに基づいて三次元形状モデルを復元する場合に、送信側から送信するデータの量を大幅に軽減することができる三次元形状モデルが得られる三次元形状モデリング用データ送信装置、三次元形状モデリング用データ受信装置、三次元形状モデリングシステム、三次元形状モデリング用データ送信プログラム、及び三次元形状モデリング用データ受信プログラムを提供することを目的としている。
【課題を解決するための手段】
【0017】
上記課題を解決するため、請求項1記載の発明の三次元形状モデリング用データ送信装置は、複数の二次元画像を取得する二次元画像取得手段と、前記二次元画像取得手段により取得した前記二次元画像から第1の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段により抽出した前記第1の特徴点の三次元位置情報を取得する三次元位置情報取得手段と、前記三次元位置情報取得手段により取得した前記第1の特徴点の三次元位置情報を送信する送信手段と、を備えたことを特徴とする。
【0018】
なお、請求項2に記載したように、 前記送信手段は、前記第1の特徴点の三次元位置を段階的に移動させた場合の各段階における前記第1の特徴点の三次元位置情報の履歴データを送信するようにしてもよい。
【0019】
また、請求項3に記載したように、前記送信手段は、前記二次元画像取得手段により取得した前記二次元画像を送信するようにしてもよい。
【0020】
請求項4記載の発明の三次元形状モデリング用データ受信装置は、前記請求項1〜請求項3の何れか1項に記載の送信装置から送信された前記第1の特徴点の三次元位置情報を受信する三次元位置情報受信手段と、三次元標準形状が有する第2の特徴点の標準位置情報と、前記三次元位置情報受信手段で受信した前記第1の特徴点の三次元位置情報とから、前記三次元標準形状を変形することにより三次元形状モデルを作成する作成手段と、を有することを特徴とする。
【0021】
なお、請求項5に記載したように、前記三次元位置情報受信手段は、前記第1の特徴点の三次元位置を段階的に移動させた場合の各段階における前記第1の特徴点の三次元位置情報の履歴データを受信し、前記作成手段は、前記各段階について前記三次元形状モデルを各々作成するようにしてもよい。
【0022】
また、請求項6に記載したように、前記作成手段が、前記三次元標準形状の全体的な形状についてはユークリッドノルムを基底関数とするGFFDの変形手法により変形し、前記三次元標準形状の詳細な形状についてはガウス関数を基底関数とするGFFDの変形手法により変形するようにしてもよい。
【0023】
また、請求項7に記載したように、前記受信手段は、前記請求項2記載の送信装置から送信された前記二次元画像を受信し、前記作成手段は、前記三次元形状モデルに、前記受信手段で受信した二次元画像をテクスチャとして貼付するようにしてもよい。
【0024】
また、請求項8に記載したように、前記三次元標準形状に、任意の情報を付加するようにしてもよい。
【0025】
請求項9記載の発明の三次元形状モデリングシステムは、前記請求項1記載の三次元形状モデリング用データ送信装置と、前記請求項4記載の三次元形状モデリング用データ受信装置と、を備えたことを特徴とする。
【0026】
請求項10記載の発明の三次元形状モデリングシステムは、前記請求項2記載の三次元形状モデリング用データ送信装置と、前記請求項5記載の三次元形状モデリング用データ受信装置と、を備えたことを特徴とする。
【0027】
請求項11記載の発明の三次元形状モデリングシステムは、前記請求項3記載の三次元形状モデリング用データ送信装置と、前記請求項7記載の三次元形状モデリング用データ受信装置と、を備えたことを特徴とする。
【0028】
請求項12記載の発明の三次元形状モデリング用データ送信プログラムは、コンピュータを、前記請求項1〜請求項3記載の何れか1項に記載の三次元形状モデリング用データ送信装置を構成する各手段として機能させることを特徴とする。
【0029】
請求項13記載の発明の三次元形状モデリング用データ受信プログラムは、コンピュータを、前記請求項4〜請求項8記載の何れか1項に記載の三次元形状モデリング用データ受信装置を構成する各手段として機能させることを特徴とする。
【発明の効果】
【0030】
本発明によれば、送信側から三次元形状モデルに関するデータを送信し、受信側で、受信したデータに基づいて三次元形状モデルを復元する場合に、送信側から送信するデータの量を大幅に軽減することができる、という効果を有する。
【図面の簡単な説明】
【0031】
【図1】三次元形状モデリングシステムの概略構成を示すブロック図である。
【図2】三次元形状モデリング用データ送信装置の概略構成を示すブロック図である。
【図3】三次元形状モデリング用データ受信装置の概略構成を示すブロック図である。
【図4】三次元形状モデリング用データ送信装置の動作を示すフローチャートである。
【図5】三次元形状モデリング用データ受信装置の動作を示すフローチャートである。
【図6】二次元顔画像の特徴点を抽出した図である。
【図7】標準特徴点を付加した標準顔形状モデルの一例を示す図である。
【図8】GFFDによる三次元形状の変形例である。
【図9】GFFDによる三次元形状の変形例である。
【図10】GFFDによる標準顔形状モデルからの変形例である。
【図11】変形した三次元顔形状モデルにテクスチャを貼付した図である。
【図12】標準顔形状モデルへの情報付加の例である。
【図13】表情を付けた三次元顔形状モデルの例である。
【図14】眼鏡の着用シミュレーションを行った場合の三次元顔形状モデルの例である。
【図15】標準顔形状モデルをポリゴンメッシュで示した例を示す図である。
【図16】足部の特徴点について説明するための図である。
【図17】足部の三次元形状モデルを示す図である。
【図18】特徴点データの送受信について説明するための図である。
【図19】様々な三次元形状の生成について説明するための図である。
【図20】車のバケットシートの変形の様子を示す図である。
【図21】受話器の変形の様子を示す図である。
【図22】電話機の変形の様子を示す図である。
【図23】特徴点データの履歴を送信する場合について説明するための図である。
【図24】従来の三次元形状データの送受信について説明するための図である。
【発明を実施するための形態】
【0032】
以下、図面を参照して本発明の実施の形態を説明する。
【0033】
図1は、本発明の一実施形態に係る三次元形状モデリングシステム10の概略構成を示すブロック図である。なお、本実施形態では、三次元形状の一例として顔形状をモデリングする場合について説明する。
【0034】
三次元形状モデリングシステム10は、三次元形状モデリング用データ送信装置100A及び三次元形状モデリング用データ受信装置100Bを含んで構成されており、三次元形状モデリング用データ送信装置100Aと三次元形状モデリング用データ受信装置100Bとは、例えばインターネット等のネットワーク102を介して接続される。
【0035】
図2は、本発明の一実施形態に係る三次元形状モデリング用データ送信装置100Aの概略構成を示すブロック図である。三次元形状モデリング用データ送信装置100Aは、システム全体の制御を行うCPU1A、ROM(リードオンリメモリ)2A、データ一時記憶用のRAM(ランダムアクセスメモリ)3A、モニタ等の表示部4A、二次元の顔画像を入力する入力部5A、データ記憶部7A、送信部8Aを含んで構成されている。データ記憶部7Aは、プログラム記憶部73Aを有し、後述する処理プログラムを記憶する。
【0036】
図3は、本発明の一実施形態に係る三次元形状モデリング用データ受信装置100Bの概略構成を示すブロック図である。三次元形状モデリング用データ受信装置100Bは、システム全体の制御を行うCPU1B、ROM(リードオンリメモリ)2B、データ一時記憶用のRAM(ランダムアクセスメモリ)3B、モニタ等の表示部4B、入力部5B、データ記憶部7B、受信部8Bを含んで構成されている。
【0037】
データ記憶部7Bは、標準顔形状モデル(ジェネリックモデル)を記憶している標準顔形状記憶部71、特徴点を記憶している計測点データベース72、プログラム記憶部73Bを有する。
【0038】
プログラム記憶部73Bには、後述する処理プログラムや、三次元形状の変形手法であり、一般的な関数によるGFFD(general Free-Form Deformation)のプログラムを記憶している。GFFDについては後述する。
【0039】
計測点データベース72に記憶している特徴点は、法医学複顔法で用いられているものであり、人体測定における計測点を基に、顔形状の個人差を表す形状の特徴点を統計的に解析して定められた点である。この特徴点は、鼻の最突出点や、目尻など、二次元画像上でも明確な特徴を持った点としている。本発明は、この点を顔形状の特徴点として用いることで、対象となる顔の三次元顔形状モデルを十分な精度で得ることができる。
【0040】
なお、三次元形状モデリング用データ送信装置100A及び三次元形状モデリング用データ受信装置100Bの両方の機能を備えた装置を構成してもよい。
【0041】
次に、三次元形状モデリング用データ送信装置100AのCPU1Aにおいて実行される処理を図4に示すフローチャートを参照して説明する。CPU1Aは、プログラム記憶部73Aに記憶された処理プログラムを読み出して実行する。
【0042】
まず、ステップS1では、ユーザはデジタルカメラで、顔形状モデルを作成する対象となる顔を異なる撮像方向から複数枚撮影し、撮影したその二次元顔画像を入力部5Aに入力する。二次元顔画像は、システムに要求される精度によって、2枚以上の異なる任意の方向を向いた顔画像を利用する。顔画像の枚数、及び画像中の顔の向きは重要でない。本例では、正面と左右側面の3枚の二次元顔画像を入力する。
【0043】
ステップS2では、計測点データベース72に記憶されている計測点を呼び出し、入力部5Aから入力された3枚の二次元顔画像それぞれについて、二次元顔画像の特徴点を抽出する。
【0044】
特徴点は、マウス操作等の手動による抽出の他に、一般的な画像処理手法による自動抽出も可能である。
【0045】
最も容易な特徴点の自動抽出方法は、二次元顔画像から任意の輝度を閾値として2値化し、特徴点の定義に合う点を、画像を走査し判定する方法である。また、特徴部分にマーカーを付して撮影し、その撮影画像からマーカーを抽出することで特徴点を抽出するようにしてもよい。
【0046】
本例では、十分な精度を持った三次元顔形状モデルを構築するため、図6で示す51個の特徴点を抽出する。なお、特徴点は、任意の数を定義することも可能である。
【0047】
各画像から抽出した特徴点は、鼻の最突出点や、目尻などといった顔の特徴部位の情報を持っているものの、座標は二次元でしか持っていない。
【0048】
そこで、ステップS3では、撮像方向の違う各画像での特徴点の対応関係から、特徴点の三次元位置情報を求める。
【0049】
各顔画像の情報は、撮影したカメラのレンズなどの特性により歪み等が発生している。CPU1は、抽出した特徴点の二次元座標に撮影したデジタルカメラのパラメータを用いて歪み等の補正を行い、特徴点の三次元位置情報を算出する。
【0050】
このパラメータは、カメラの焦点距離等を示す内部パラメータと、カメラの配置、姿勢等を示す外部パラメータである。パラメータが未知の場合は、別工程として寸法の判っている立方体等を同じカメラで複数方向から撮影し、撮影した画像からパラメータを計算する。
【0051】
ステップS4では、特徴点の三次元位置情報及び二次元顔画像のテクスチャを送信部8Aによりネットワーク102を介して三次元形状モデリング用データ受信装置100Bへ送信する。
【0052】
次に、三次元形状モデリング用データ受信装置100BのCPU1Bにおいて実行される処理を図4に示すフローチャートを参照して説明する。CPU1Bは、プログラム記憶部73Bに記憶された処理プログラムを読み出して実行する。
【0053】
まず、ステップS5では、三次元形状モデリング用データ送信装置100Aから送信された特徴点の三次元位置情報及び二次元顔画像のテクスチャを受信する。
【0054】
ステップS6では、標準顔形状記憶部71に記憶されている標準顔形状モデルを呼び出し、ステップS5で受信した特徴点の三次元位置情報に基づき、標準顔形状モデルを変形する。
【0055】
標準顔形状記憶部71に記憶されている標準顔形状モデルは、図7に示すような自由曲面、あるいはポリゴンメッシュで構成された幾何形状と、二次元顔画像から抽出する特徴点と一対一で対応する特徴点から構成される。この標準顔形状モデルの特徴点標準位置情報を、ステップS5で受信した特徴点の三次元位置情報に合うように移動し、特徴点以外の幾何形状部分を特徴点の移動を補間するように変形する。
【0056】
ステップS6における標準顔形状モデルの変形には、一般的な関数によるGFFD(Generalized Free-Form Deformation)を用いた手法を用いる。
【0057】
ここで、FFD(Free-Form Deformation)は変形対象の形状モデルに独立な変形手法であり、空間の変形を定義する操作点の数は変形される物体に独立であるので、スプライン曲面のように多くの制御点を変更する必要がない。しかし、従来のFFDは操作点の形状に制限が設けられている等の問題があった。
【0058】
これに対してGFFDは、任意数の操作点を任意の位置に配置し、操作点の移動により変形を直感的に制御でき、任意の基底関数を選択できる等、従来のFFDに比べ柔軟な変形の制御を可能とする。図8に、ガウス関数を基底関数とした場合のGFFDによる形状変形の例を、図9にユークリッドノルムを基底関数とした場合のGFFDによる形状変形の例を示す。このように、GFFDでは、操作点の移動により、周囲の幾何形状も滑らかに変形することができる。
【0059】
そこで、標準顔形状モデルの特徴点をGFFDの操作点とし、二次元顔画像から抽出した特徴点へと移動することで幾何形状を変形する。
【0060】
ここで、GFFDを用いた標準顔形状モデルの変形の詳細を以下に説明する。
【0061】
n個の標準顔形状モデルにおける特徴点を
【0062】
【数1】

【0063】
顔画像から抽出した特徴点を
【0064】
【数2】

【0065】
とし、piからqiへの変換を表す写像を考えると、
【0066】
【数3】

【0067】
と表される。この関数fを用いて空間上の任意の点を変換する。ここで、関数fをn個のベクトルの重み付き線形結合と考えると、
【0068】
【数4】

【0069】
と表される。ここで、
【0070】
【数5】

【0071】
は制御ベクトル、関数
【0072】
【数6】

【0073】
は標準顔形状モデルにおけるj番目の特徴点を中心とする任意の基底関数である。ここで、未知のベクトルVを求めるために、標準顔形状モデルにおける特徴点piと、その移動後の点として顔画像から抽出した特徴点qiを式(1)に代入すると、
【0074】
【数7】

【0075】
と表される。ここで、行列形式に書き換えると、
【0076】
【数8】

【0077】
となり、ここで
【0078】
【数9】

【0079】
と置けば、Vは、Gの逆行列を用いて次の様に求めることができる。
【0080】
【数10】

【0081】
このように、特徴点の移動に合わせて、空間上の任意の点pを移動させた点qを
【0082】
【数11】

【0083】
として求めることができる。
【0084】
基底関数Gは変形対象に合わせて任意の関数を選択可能である。本発明では主にガウス関数とユークリッドノルムを用いている。ガウス関数を用いた場合では、標準偏差によって変形の微調整が可能であり、ユークリッドノルムの場合は、元の幾何形状の特徴をできるだけ保った変形が可能である。
【0085】
顔形状の全体的な形状を、ユークリッドノルムを用いたGFFDにより変形し、眼、鼻、口などの詳細な形状を、ガウス関数を用いたGFFDにより変形すると、顔の様に複雑な構造を持った形状も精度高く変形することができる。
【0086】
この手法を用いて、標準顔形状モデルを変形した例を図10に示す。作成される顔形状モデルは三次元形状なので、図11に示すように、入力画像とは異なる方向も表示が可能である。
【0087】
次に、ステップS7では、受信部8Bで受信した二次元顔画像のテクスチャを、作成した三次元顔形状モデルに貼り付け、表示部4Bに表示する。テクスチャとは、コンピュータグラフィックスにおいて形状に画像を貼り付けることにより質感を向上させる手法である。本発明においては、二次元顔画像に合わせて標準顔形状モデルを変形するので、撮像したカメラの向きから顔の画像を貼り付けることで、作成した形状に合ったテクスチャとなる。図11にテクスチャを貼り付けた顔形状を示す。
【0088】
ところで、標準顔形状モデルには、作成後の三次元顔形状モデルの用途に応じて、任意の情報を付加しておくことが可能である。三次元顔形状モデルは、実際の利用に際し、表情付けなどの変形が行われるのが一般的である。そのため、標準顔形状モデルに、表情などの情報を付加しておき、標準顔形状モデルの変形時にその付加情報も同様に変形すれば、作成される三次元顔形状モデルにも自動的に付加情報を持つようになり、作成後の三次元顔形状モデルの操作が非常に容易になる。
【0089】
例として表情付けを挙げる。一般的な表情を表現するために用いられている筋肉を、三次元ベクトルとしてモデル化し、図12(A)のように、筋肉の始点と終点を標準顔形状モデル上の点として定義する。次に、表情筋の始点を、その表情筋のベクトル方向に移動させ、その移動に合わせて標準顔形状モデルを変形させる。よって、図12(B)のように、表情を付けた標準顔形状モデルを作成することができる。
【0090】
表情を付けた標準顔形状モデルからの変形にも、ガウス関数を用いたGFFDによる変形を用いる。表情を付けた標準顔形状モデルを変形させ、顔画像のテクスチャを貼り付けた例を図13に示す。よって、システムに新たな要素を追加することなく、作成した三次元顔形状モデルへの表情付けを実現している。このように、標準顔形状モデルに情報を付加しておくだけで、作成した三次元顔形状モデルに、比較的容易に表情付けを行うことができる。
【0091】
以上説明したように、本実施形態によれば、二次元顔画像から容易に三次元顔形状モデルが作成できる。よって、特殊な装置や芸術的感性を持っていない作業者でも、顔画像を用意すれば数分で三次元顔形状モデルを作成できる。
【0092】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【0093】
例えば、上記実施形態では、あらかじめ組み込まれている標準顔形状モデルからの変形を行ったが、本発明はこれに限定されるものではなく、任意の顔形状を標準顔形状モデルとして設定することも可能である。
【0094】
また、標準顔形状モデルに付加する情報は、図14に示す眼鏡の着用シミュレーションなどでもよい。図14の例では、標準顔形状モデルに、眼鏡をフィットさせるために必要な特徴点を付加しておき、作成した三次元顔形状モデルの特徴点に三次元形状モデルの眼鏡を合わせている。
【0095】
また、本発明は、顔を扱う様々な分野で応用が可能である。前述した眼鏡の装着シミュレーションの他、美容整形シミュレーション、ゲームや映画などのキャラクター作成を行うツールとしての利用、携帯通信端末でのチャットやメールにおけるアバタ作成の利用などに応用が可能である。
【0096】
また、本実施形態では、標準顔形状モデル(ジェネリックモデル)として、図7に示すような自由曲面で表した幾何形状モデルを用いたが、図15に示すように、ポリゴンメッシュで構成されたジェネリックモデルを用いてもよい。このような場合も、三次元形状モデリング用データ受信装100Bは、ジェネリックモデルの特徴点P1の特徴点標準位置情報を、三次元形状モデリング用データ送信装置100Aから送信された特徴点P2の三次元位置情報に合うように移動させることにより、顔の三次元形状モデルを復元することができる。
【0097】
また、本実施形態では、顔の三次元形状を作成する場合について説明したが、三次元形状は顔に限られるものではなく、例えば足部等でもよい。足部の場合、図16に示すように、くるぶしやかかと等に特徴点を設定する。このような場合も、三次元形状モデリング用データ受信装100Bは、図17に示すように、ジェネリックモデルの特徴点P1の特徴点標準位置情報を、三次元形状モデリング用データ送信装置100Aから送信された特徴点P2の三次元位置情報に合うように移動させることにより、足部の三次元形状モデルを復元することができる。
【0098】
図18に示すように、足部の三次元形状データは1000KB程度、顔の三次元形状データは600KB程度であるが、特徴点のデータは何れも2KB程度であり、三次元形状データと比較してデータ量が著しく少ない。本実施形態に係る三次元形状モデリング用データ送信装置100Aは、この特徴点のデータを送信すればよいため、送信データ量を大幅に軽減することができる。そして、三次元形状モデリング用データ受信装置100Bでは、上記で説明したようなGFFDによる変換ツールを備えていれば、容易に顔や足部の三次元形状を復元することができる。
【0099】
また、三次元形状モデルとしては、図19に示すように、顔や足部等の人間の一部の形状に限らず、例えば車のバケットシートや受話器、電話機等でもよい。この場合、例えば図19に示すように、車のバケットシートのジェネリックモデルは球とすることができ、受話器及び電話機のジェネリックモデルは直方体とすることができる。図20には、球のジェネリックモデルから特徴点P2を段階的に移動させて車のバケットシートの三次元形状が作成される様子を示した。また、図21には、直方体のジェネリックモデルから特徴点P2を段階的に移動させて受話器の三次元形状が作成される様子を示した。また、図22には、直方体のジェネリックモデルから特徴点P2を段階的に移動させて電話機の三次元形状が作成される様子を示した。
【0100】
このように、特徴点P2を段階的に移動させることで、三次元形状モデルの最終的な形状だけでなく、作成過程を表示することが可能となる。
【0101】
そこで、図23に示すように、三次元形状モデリング用データ送信装置100Aでは、特徴点P2の三次元位置を段階的に移動させた場合の各段階における特徴点P2の三次元位置情報の履歴データを送信し、三次元形状モデリング用データ受信装置100Bでは、この履歴データを受信して、各段階について三次元形状モデルを各々作成して、三次元形状モデルが段階的に変形する過程を表示するようにしてもよい。これにより、三次元形状がどのように変形するかを容易に認識することができる。
【0102】
なお、三次元形状モデリング用データ送信装置100Aは、各段階における特徴点P2の三次元位置情報をまとめて三次元形状モデリング用データ受信装置100Bに送信するようにしてもよいし、各段階の特徴点P2の三次元位置情報を1回1回三次元形状モデリング用データ受信装置100Bに送信するようにしてもよい。このとき、三次元形状モデリング用データ受信装置100Bから受信した旨の返答があった場合に、次の段階の特徴点P2の三次元位置情報を送信するようにしてもよい。
【符号の説明】
【0103】
1A、1B CPU
2A、2B RAM
3A、3B ROM
4A、4B 表示部
5A、5B 入力部
7A、7B データ記憶部
8A 送信部
8B 受信部
10 三次元形状モデリングシステム
71 標準顔形状記憶部
72 計測点データベース
73A、73B プログラム記憶部
100 顔形状モデリングシステム
100A 三次元形状モデリング用データ送信装置
100B 三次元形状モデリング用データ受信装置
102 ネットワーク

【特許請求の範囲】
【請求項1】
複数の二次元画像を取得する二次元画像取得手段と、
前記二次元画像取得手段により取得した前記二次元画像から第1の特徴点を抽出する特徴点抽出手段と、
前記特徴点抽出手段により抽出した前記第1の特徴点の三次元位置情報を取得する三次元位置情報取得手段と、
前記三次元位置情報取得手段により取得した前記第1の特徴点の三次元位置情報を送信する送信手段と、
を備えた三次元形状モデリング用データ送信装置。
【請求項2】
前記送信手段は、前記第1の特徴点の三次元位置を段階的に移動させた場合の各段階における前記第1の特徴点の三次元位置情報の履歴データを送信する
請求項1記載の三次元形状モデリング用データ送信装置。
【請求項3】
前記送信手段は、前記二次元画像取得手段により取得した前記二次元画像を送信する
請求項1又は請求項2記載の三次元形状モデリング用データ送信装置。
【請求項4】
前記請求項1〜請求項3の何れか1項に記載の送信装置から送信された前記第1の特徴点の三次元位置情報を受信する三次元位置情報受信手段と、
三次元標準形状が有する第2の特徴点の標準位置情報と、前記三次元位置情報受信手段で受信した前記第1の特徴点の三次元位置情報とから、前記三次元標準形状を変形することにより三次元形状モデルを作成する作成手段と、
を有する三次元形状モデリング用データ受信装置。
【請求項5】
前記三次元位置情報受信手段は、前記第1の特徴点の三次元位置を段階的に移動させた場合の各段階における前記第1の特徴点の三次元位置情報の履歴データを受信し、前記作成手段は、前記各段階について前記三次元形状モデルを各々作成する
請求項4記載の三次元形状モデリング用データ受信装置。
【請求項6】
前記作成手段が、前記三次元標準形状の全体的な形状についてはユークリッドノルムを基底関数とするGFFDの変形手法により変形し、前記三次元標準形状の詳細な形状についてはガウス関数を基底関数とするGFFDの変形手法により変形する
請求項4又は請求項5記載の三次元形状モデリング用データ受信装置。
【請求項7】
前記受信手段は、前記請求項2記載の送信装置から送信された前記二次元画像を受信し、
前記作成手段は、前記三次元形状モデルに、前記受信手段で受信した二次元画像をテクスチャとして貼付する
請求項4〜請求項6の何れか1項に記載の三次元形状モデリング用データ受信装置。
【請求項8】
前記三次元標準形状に、任意の情報を付加する
請求項4〜請求項7の何れか1項に記載の三次元形状モデリング用データ受信装置。
【請求項9】
前記請求項1記載の三次元形状モデリング用データ送信装置と、
前記請求項4記載の三次元形状モデリング用データ受信装置と、
を備えた三次元形状モデリングシステム。
【請求項10】
前記請求項2記載の三次元形状モデリング用データ送信装置と、
前記請求項5記載の三次元形状モデリング用データ受信装置と、
を備えた三次元形状モデリングシステム。
【請求項11】
前記請求項3記載の三次元形状モデリング用データ送信装置と、
前記請求項7記載の三次元形状モデリング用データ受信装置と、
を備えた三次元形状モデリングシステム。
【請求項12】
コンピュータを、前記請求項1〜請求項3記載の何れか1項に記載の三次元形状モデリング用データ送信装置を構成する各手段として機能させるための三次元形状モデリング用データ送信プログラム。
【請求項13】
コンピュータを、前記請求項4〜請求項8記載の何れか1項に記載の三次元形状モデリング用データ受信装置を構成する各手段として機能させるための三次元形状モデリング用データ受信プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate


【公開番号】特開2013−8137(P2013−8137A)
【公開日】平成25年1月10日(2013.1.10)
【国際特許分類】
【出願番号】特願2011−139459(P2011−139459)
【出願日】平成23年6月23日(2011.6.23)
【出願人】(504132881)国立大学法人東京農工大学 (595)
【Fターム(参考)】