形態変形装置、物体動作符号化装置および物体動作復号化装置
形態変形符号化装置は、形態変化前の物体の形態を表わす変化前形態データと前記形態変化後の前記物体の形態を表わす変化後形態データとの間の差分データを計算する計算部と、前記変化前形態データと、前記差分データとに基づいて、前記物体の前記形態変化の生じた動作領域と、前記形態変化のために前記動作領域に加えられる外力とを決定する決定部とを具備する。前記動作領域は、複数の小領域を含み、前記複数の小領域の各々は複数の制御点を含み、前記外力は、前記複数の小領域の各々の物理モデル構造に基づいて、前記形態変化の前後で前記複数の小領域を独立に変化させるのに必要な外力として計算される。前記物理モデル構造として、制御点どうしがバネとダンパーで結合された物理モデル構造が用いられる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体の形態を変形する形態変形装置、物体動作（形態変形）符号化装置および物体動作（形態変形）復号化装置に関し、特に顔の一部の領域の形状を変形させて表情を付与する形態変形装置、物体動作（形態変形）符号化装置および物体動作（形態変形）復号化装置に関する。
【背景技術】
【０００２】
近年、バーチャルリアリティ（ＶＲ）やコンピュータグラフィック（ＣＧ）の分野において、表情を与えるために顔画像を変形する技術が利用されている。例えば、或る人物の顔の表情の変化が検出され、それと同じ変化を同じ人物あるいは別の人物の顔画像に施すことにより、特定の人物に同期してその人の表情が変えられる擬人化エージェントが実現されている。
【０００３】
このような顔表情合成の技術には、大きく分けて２つの流れが存在する。１つは、顔の皮膚下にある表情筋に連動して動く皮膚表面が物理モデルとして取り扱われ、筋肉・骨の動きに基づいて運動方程式を解くことによって皮膚表面にあたるワイヤーフレームモデルを動かす方法である。この従来技術は、例えば、Ｄ．ＴｅｒｚｏｐｏｕｌｏｓとＫ．Ｗａｔｅｒｓによる”ａｎａｌｙｓｉｓ ａｎｄ Ｓｙｎｔｈｅｓｉｓ ｏｆ Ｆａｃｉａｌ Ｉｍａｇｅ Ｓｅｑｕｅｎｃｅｓ Ｕｓｉｎｇ Ｐｈｙｓｉｃａｌ ａｎｄ Ａｎａｔｏｍｉｃａｌ Ｍｏｄｅｌｓ”，（ＩＥＥＥ Ｔｒａｎｓ．ＰＡＭＩ，ｖｏｌ．１５，Ｎｏ．６，ｐｐ．５６９−５７９，Ｊｕｎｅ １９９３）に述べられている。もう１つは、ワイヤーフレームモデルに直接規則的な幾何学的変形を施して表情を作成する方法である。この従来技術は、例えば、特開平８−９６１６２号公報に述べられている。
【０００４】
他方、心理学者Ｅｋｍａｎらによって提案された表情記述法であるＦＡＣＳ（Ｆａｃｉａｌ Ａｃｔｉｏｎ Ｃｏｄｉｎｇ Ｓｙｓｔｅｍ）が情報工学の分野においても表情の研究で広く利用されている（例えば、”Ｆａｃｉａｌ Ａｃｔｉｏｎ ｃｏｄｉｎｇ ｓｙｓｔｅｍ”，（Ｃｏｎｓｕｌｔｉｎｇ Ｐｓｙｃｈｏｌｏｇｉｓｔ Ｐｒｅｓｓ，１９７７）。ＦＡＣＳは、顔面筋肉の解剖学的知見に基づき、「眉の内側を上げる」、「唇両端を横に引く」、「口を大きく開ける」、「細目にする」など合計４４の動作単位（ＡＵ：Ａｃｔｉｏｎ Ｕｎｉｔ）を要素として用いて、顔面動作を包括的かつ客観的に記述する方法である。ＡＵの組み合わせで人間のあらゆる表情が記述可能だと言われている。このＦＡＣＳは、ワイヤーフレームモデルに直接規則的な幾何学的変形を施して表情を作成する方法と組み合わせて使用される例が一般的である。
【０００５】
上述したように、顔表情合成の技術として従来より、幾何学的な変形を用いる方法と物理モデルを用いる方法が知られている。幾何学的な変形を用いる方法では、表情を表出させるための規則が点の移動によってのみ定義されるので、比較的少ない計算量で高速な処理が可能であるという利点を有する。しかしながら、顔モデルに個人の特徴を反映させるのが難しく、また自然な表情を実現できない。これに対して、物理モデルを用いる方法では、表情筋の動きを直接表現することが可能であるので、表情の生成過程を滑らかに表現することができ、また表情筋の配置の変更により様々な顔の造作に対応することができる。しかしながら、計算量が膨大になってしまうという問題がある。
【０００６】
上記と関連して、顔画像合成装置が特開平３−７４７７７号公報に開示されている。この従来例によれば、人間の本能的動作若しくは無意識動作に基づく動きパラメータ及び表情パラメータが、表情及び動きパラメータを含む顔画像情報に付加され、それに基づいて顔画像が合成される。
【０００７】
また、表情コードの再生表示装置が特開平６−７６０４４に開示されている。この従来例の装置は、表情発生条件を設定する表情発生条件入力装置を有している。演算処理装置は、表情発生条件入力装置からの指示信号に従い顔面における前額、眉、口などの可動部分の移動量、移動方向、形態変化を計算し、表情の医学的解析に基づく表情要素コードを再生する表情コード再生部を備えている。表情表示装置は、演算処理装置で再生された表情要素コードに従い顔面の形態を再生表示するとともに、前額、眉、目、口などを移動、変形させる。
【０００８】
また、表情のコード化装置が特開平６−７６０５８に開示されている。この従来例の表情のコード化装置では、画像入力装置は、顔面画像を電気信号として取り込み、符号化して、所定の顔面画像データを生成する。特徴部位抽出処理部は、画像入力装置からの所定の顔面画像データを受けて、特徴部位抽出条件に基づき特徴部位画像を抽出する。表情要素抽出処理部は、その特徴部位画像から所定の表情要素と特徴部位の関連規則に基づいて表情要素を抽出して表情要素情報を生成する。表情要素定量化処理部は、その表情要素情報から所定の表情要素定量化規則に基づいて表情要素定量化処理して表情要素コードを算出する。更に、記憶部は、その表情要素コードを格納する。表情要素コード出力装置は、演算処理装置に保有された表情要素コードを出力する。
【０００９】
また、顔画像作成装置が特開平８−３０５８７８に開示されている。この従来例の顔画像作成装置では、顔画像生成部は、顔の各部位を形成するパーツ画像を選定して顔画像を生成する。表情付与部は、指定された表情に応じて顔画像を形成するパーツ画像に対して画像変形、表示位置移動および表示・非表示処理を施し、その顔画像に表情変化を付与する。
【００１０】
また、表情アニメーション生成装置が特開２００２−３０４６３８（Ｐ２００２−３０４６３８Ａ）に開示されている。この従来例の表情アニメーション生成装置では、表情差分データ抽出部は、対象人物の表情顔サンプルから特徴点を抽出し、特徴点に基づいて表情顔サンプルを複数のパーツに分割し、各パーツごとに指定された２つの異なる表情間の表情遷移変化に伴う形状およびテクスチャの差分を求め、差分形状データと差分テクスチャを獲得する。動作パターン設定部は、各パーツごとの時間変化を規定するための動作パターン関数を指定する。時系列表情画像合成部は、動作パターン関数と差分形状データとに基づいて算出された任意時刻における中間差分形状データと、動作パターン関数と差分テクスチャとに基づいて算出された任意時刻における中間差分テキスチャとを所定の時間間隔で生成し、所定の時間間隔ごとの時系列表情形状データおよび時系列表情テクスチャを生成する。表情アニメーション再生部は、時系列表情形状データに基づく形状に時系列表情テクスチャをマッピングすることで生成された所定の時間間隔ごとに時系列表情画像を連続表示することによって、表情アニメーションを生成する。
【００１１】
また、表情合成装置が特開２００２−３２９２１４（Ｐ２００２−３２９２１４Ａ）に開示されている。この従来例の表情合成方法は、コンピュータグラフィックスを用いる。その合成方法は、顔の表情モデルを、顔の特徴点のデータとして入力する工程と、表情モデルの括約筋に囲まれた略楕円形の括約筋領域を抽出し、括約筋領域の長軸より上方の領域を、長軸と半楕円形状とで囲まれた半楕円領域として規定する抽出工程と、半楕円領域に含まれる特徴点を検索する工程と、顔の表情が変化した場合の、半楕円領域に含まれる特徴点の移動ベクトルを計算する計算工程と、移動ベクトルに従って特徴点を移動させ、表情変化後の表情モデルを合成する工程とを含む。
【発明の開示】
【００１２】
本発明の目的は、顔表情合成など形態の変化を実現する際の計算量を削減することにある。
【００１３】
本発明の観点では、形態変形符号化装置は、形態変化前の物体の形態を表わす変化前形態データと前記形態変化後の前記物体の形態を表わす変化後形態データとの間の差分データを計算する計算部と、前記変化前形態データと、前記差分データとに基づいて、前記物体の前記形態変化の生じた動作領域と、前記形態変化のために前記動作領域に加えられる外力とを決定する決定部とを具備する。
ここで、前記計算部は、３次元モデルに基づいて前記変化前形態データと前記変化後形態データを変化前形態モデルデータと変化後形態モデルデータに変換する変換部と、前記変化前形態モデルデータと前記変化後形態モデルデータとの差から前記差分データを計算する差分計算部とを具備する。前記モデルは、３次元ポリゴンメッシュモデルであり、前記変化前形態データと前記変化後形態データは３次元データであってもよい。前記動作領域は、複数の小領域を含み、前記複数の小領域の各々は複数の制御点を含み、前記外力は、前記複数の小領域の各々の物理モデル構造に基づいて、前記形態変化の前後で前記複数の小領域を独立に変化させるのに必要な外力として計算される。この場合、前記物理モデル構造として、制御点どうしがバネとダンパーで結合された物理モデル構造が用いられてもよい。前記複数の小領域の全てにおいて、前記制御点の個数および前記物理モデル構造が同じであることが望ましい。また、前記物体は人の顔を含み、前記形態変化前の物体の形態とは無表情な顔の状態を示し、前記形態変化後の物体の形態とは表情が表出された顔の状態を示してもよい。
【００１４】
また、本発明の他の観点では、形態変形復号化装置は、形態変化前の物体の形態を表わす変化前形態データと、形態変化に対応する動作領域に加えられる外力の情報とに基づいて、前記動作領域内の制御点の移動位置を決定する復号部と、前記変化前形態データと前記複数の制御点の各々の移動位置とから前記形態変化後の前記物体の形態を表わす変化後形態データを生成する形態生成部とを具備する。前記動作領域は、複数の小領域を含み、前記複数の小領域の各々は複数の制御点を含み、前記複数の小領域の各々の前記制御点の移動位置は、前記複数の小領域単位で物理モデルを用いて決定される。
ここで、前記変化前形態データは３次元データであり、前記復号部は、前記形態変化前の前記物体の形態の３次元モデルと前記変化前形態データとに基づいて変化前形態モデルデータを生成するモデルデータ生成部と、前記外力情報に基づいて前記変化前形態モデルデータから前記動作領域内の制御点の各々の移動位置を決定する移動量計算部とを具備してもよい。代わりに、前記変化前形態データは３次元データであり、前記復号部は、３次元ポリゴンメッシュモデルと前記変化前形態データとに基づいて変化前形態メッシュモデルデータを生成するモメッシュデルデータ生成部と、前記外力情報に基づいて前記変化前形態メッシュモデルデータから前記動作領域内の制御点の各々の移動位置を決定する移動量計算部とを具備してもよい。
また、前記複数の小領域の各々において、前記小領域に含まれる制御点以外の非制御点の移動位置をその非制御点の近傍の前記制御点の移動位置から計算する動作内挿部を更に具備することが好ましい。前記形態生成部は、前記変化前形態データと前記複数の制御点の各々の移動位置とから前記複数の小領域の単位で前記形態変化後の前記物体の形態を生成する。このとき、前記形態変化後の前記複数の小領域のうちの隣接するものの境界部分に生じる不連続箇所を平滑化する隣接小領域調整部を更に具備してもよい。また、前記形態変化後の前記動作領域とその周囲の未動作領域との境界部分に生じる不連続箇所を平滑化する未動作領域調整部を更に具備してもよい。
ここで、前記複数の小領域の各々の物理モデルでは、前記制御点がバネとダンパーで結合されている。前記物体は人の顔を含み、前記形態変化前の形態は無表情な顔を示し、前記形態変化後の形態は、表情が表出された顔を示してもよい。前記変化後形態データに基づいて、可撓性を有する前記物体における前記動作領域を駆動する三次元アクチュエータ群を更に具備してもよい。
【００１５】
また、本発明の他の観点で、形態変形符号復号化装置は、上記のいずれかの形態変形符号化装置と、請求項８乃至１７の何れかに記載された形態変形復号化装置と、前記形態変化符号化装で生成された前記動作領域と前記外力情報を通信路を通じて前記形態変形復号化装置へ伝送する伝送装置とを具備する。
【００１６】
また、本発明の他の観点で、形態変形符号化方法は、形態変化前の物体の形態を表わす変化前形態データと前記形態変化後の前記物体の形態を表わす変化後形態データとの間の差分データを計算するステップと、前記変化前形態データと、前記差分データとに基づいて、前記物体の前記形態変化の生じた動作領域と、前記形態変化のために前記動作領域に加えられる外力とを決定するステップとにより達成される。
【００１７】
ここで、前記計算ステップは、３次元モデルに基づいて前記変化前形態データと前記変化後形態データを変化前形態モデルデータと変化後形態モデルデータに変換するステップと、前記変化前形態モデルデータと前記変化後形態モデルデータとの差から前記差分データを計算するステップとにより達成されてもよい。前記モデルは、３次元ポリゴンメッシュモデルであり、前記変化前形態データと前記変化後形態データは３次元データであってもよい。前記動作領域は、複数の小領域を含み、前記複数の小領域の各々は複数の制御点を含み、前記外力は、前記複数の小領域の各々の物理モデル構造に基づいて、前記形態変化の前後で前記複数の小領域を独立に変化させるのに必要な外力として計算されてもよい。前記物理モデル構造として、制御点どうしがバネとダンパーで結合された物理モデル構造が用いられることが好ましい。また、前記複数の小領域の全てにおいて、前記制御点の個数および前記物理モデル構造が同じであることが更に好ましい。前記物体は人の顔を含み、前記形態変化前の物体の形態とは無表情な顔の状態を示し、前記形態変化後の物体の形態とは表情が表出された顔の状態を示す。
【００１８】
本発明の他の観点では、形態変形復号化方法は、形態変化前の物体の形態を表わす変化前形態データと、形態変化に対応する動作領域に加えられる外力の情報とに基づいて、前記動作領域内の制御点の移動位置を決定するステップと、前記変化前形態データと前記複数の制御点の各々の移動位置とから前記形態変化後の前記物体の形態を表わす変化後形態データを生成するステップとにより達成される。前記動作領域は、複数の小領域を含み、前記複数の小領域の各々は複数の制御点を含み、前記複数の小領域の各々の前記制御点の移動位置は、前記複数の小領域単位で物理モデルを用いて決定される。
ここで、前記変化前形態データは３次元データであり、前記移動位置を決定するステップは、前記形態変化前の前記物体の形態の３次元モデルと前記変化前形態データとに基づいて変化前形態モデルデータを生成するステップと、前記外力情報に基づいて前記変化前形態モデルデータから前記動作領域内の制御点の各々の移動位置を決定するステップとにより達成される。代わりに、前記変化前形態データは３次元データであり、前記移動位置を決定するステップは、３次元ポリゴンメッシュモデルと前記変化前形態データとに基づいて変化前形態メッシュモデルデータを生成するステップと、前記外力情報に基づいて前記変化前形態メッシュモデルデータから前記動作領域内の制御点の各々の移動位置を決定するステップとにより達成されてもよい。
前記複数の小領域の各々において、前記小領域に含まれる制御点以外の非制御点の移動位置をその非制御点の近傍の前記制御点の移動位置から計算するステップを更に具備してもよい。このとき、前記変化後形態データを生成するステップは、前記変化前形態データと前記複数の制御点の各々の移動位置とから前記複数の小領域の単位で前記形態変化後の前記物体の形態を生成する。また、前記形態変化後の前記複数の小領域のうちの隣接するものの境界部分に生じる不連続箇所を平滑化するステップを更に具備しても良いし、前記形態変化後の前記動作領域とその周囲の未動作領域との境界部分に生じる不連続箇所を平滑化するステップを更に具備してもよい。
前記複数の小領域の各々の物理モデルでは、前記制御点がバネとダンパーで結合されていることが好ましく、前記物体は人の顔を含み、前記形態変化前の形態は無表情な顔を示し、前記形態変化後の形態は、表情が表出された顔を示してもよい。あるいは、前記物体はロボットであり、前記変化後形態データに基づいて、可撓性を有する前記物体における前記動作領域を駆動するステップを更に具備してもよい。
【００１９】
本発明の他の観点では、形態変化符号復号化方法は、上記のいずれかの形態変形符号化方法により前記動作領域の情報と、前記外力の情報を生成するステップと、前記動作領域の情報と前記外力情報を通信路を通じて伝送するステップと、上記のいずれかの形態変形復号化方法により、前記伝送された動作領域の情報と、前記伝送された外力の情報から前記物体の形態を表わす変化後形態データを生成するステップにより達成される。
【００２０】
更に、本発明の他の観点では、本発明は、上記のいずれかの形態変形符号化方法あるいは上記のいずれかの形態変形復号化方法を実現するための計算機読み取り可能なソフトウェアプロダクトに関する。
【００２１】
本発明によれば、顔表情合成などを物理モデルを用いて実現する際の計算量を削減することができる。バネモデルなどの物理モデルを用いて顔表情合成する従来の手法では、表情筋が配置されている領域全体を１つの領域として、その領域内に含まれる各点の移動位置を外力に基づいて計算するために計算量が膨大になるが、本発明ではより細かな小領域単位で独立に各制御点の移動位置を計算している。また、外力に応じた移動位置を求める対象を、小領域に属する点の一部である制御点に限定し、残りの点である非制御点はその非制御点の近傍の制御点の移動位置から内挿等によって求めている。
【００２２】
また、動作領域を複数の小領域に分割し小領域単位に独立して移動位置を計算された場合に生じ易い小領域どうしの境界部分の段差などを目立たなくでき、動作領域とその周囲の未動作領域との境界部分に生じる段差などを目立たなくできる。また、小領域の物理モデル構造として、制御点どうしがバネとダンパーで結合された物理モデル構造を用いられるため、表情筋の動作に近い動作を再現することができる。このとき、全ての小領域の制御点の個数および物理モデル構造を等しくしたため、制御点の移動位置を計算する際のパラメータ数を少なくでき、また計算量をより一層削減することができる。物体モデルが人の顔モデルを含み、経時的な形態の変化が人の顔の表情の変化を含むとき、人の顔の表情の合成などが可能になる。
【００２３】
また、本発明によれば、物体の形態変化前後で相違する領域である動作領域とその動作領域に含まれる各制御点に加える外力とを少ない計算量で求めることができる。バネモデルなどの物理モデルを用いて顔表情合成する従来の手法では、表情筋が配置されている領域全体を１つの領域として、その領域内に含まれる全ての点の移動量から外力を計算するために計算量が膨大になるが、本発明ではより細かな小領域単位で独立に各制御点の移動量から外力を計算している。小領域の物理モデル構造として、制御点どうしがバネとダンパーで結合された物理モデル構造を用いられるため、表情筋の動作に近い動作を再現するための外力を計算することができる。全ての小領域の制御点の個数および物理モデル構造を等しくしたため、外力計算に必要な計算量をより一層削減でき、また必要なパラメータ数も少なくできる。物体が人の顔を含み、形態変化前が無表情な状態、状態変化後が表情が表出された状態であるとき、人の顔を無表情から或る表情の顔にするために必要な外力を計算することができる。
【００２４】
また、物体の三次元データを外力情報に基づいて変形（変換）した三次元データを少ない計算量で生成できる。バネモデルなどの物理モデルを用いて顔表情合成する従来の手法では、表情筋が配置されている領域全体を１つの領域として、その領域内に含まれる各点の移動位置を外力に基づいて計算するために計算量が膨大になるが、本発明ではより細かな小領域単位で独立に各制御点の移動位置を計算している。物体の画像を外力情報に基づいて変形した画像を少ない計算量で生成できる。バネモデルなどの物理モデルを用いて顔表情合成する従来の手法では、表情筋が配置されている領域全体を１つの領域として、その領域内に含まれる各点の移動位置を外力に基づいて計算するために計算量が膨大になるが、本発明ではより細かな小領域単位で独立に各制御点の移動位置を計算している。例えば「口を大きく開ける」ための外力情報と「上瞼を上げる」ための外力情報といった複数の外力情報に基づいて形態変化前の三次元データや画像に対応する形態変化後の各制御点の移動量を計算することができる。動作領域を複数の小領域に分割し小領域単位に独立して移動位置を計算された場合に生じ易い小領域どうしの境界部分の段差などを目立たなくでき、動作領域とその周囲の未動作領域との境界部分に生じる段差などを目立たなくできる。小領域の物理モデル構造として、制御点どうしがバネとダンパーで結合された物理モデル構造を用いられるため、表情筋の動作に近い動作を再現することができ、物体が人の顔を含み、形態変化前が無表情な状態、状態変化後が或る表情が表出された状態であるため、人の無表情顔に或る表情を与えることができる。
【００２５】
本発明によれば、或る人物の顔の表情の変化を検出し、それと同じ変化を同じ人物あるいは別の人物の顔画像などに施すことにより、特定の人物に同期して表情を変える擬人化エージェントを少ない計算量で実現できる。バネモデルなどの物理モデルを用いて顔表情合成する従来の手法では、表情筋が配置されている領域全体を１つの領域として、その領域内に含まれる各点の移動位置から外力を計算するために計算量が膨大になるが、本発明ではより細かな小領域単位で独立に各制御点の移動位置から外力を計算している。また、バネモデルなどの物理モデルを用いて顔表情合成する従来の手法では、表情筋が配置されている領域全体を１つの領域として、その領域内に含まれる各点の移動位置を外力に基づいて計算するために計算量が膨大になるが、本発明ではより細かな小領域単位で独立に各制御点の移動位置を計算している。ロボットの頭部に装着した仮面などの物体に表情を表出させるための計算量を削減できる。バネモデルなどの物理モデルを用いて顔表情合成する従来の手法では、表情筋が配置されている領域全体を１つの領域として、その領域内に含まれる各点の移動位置を外力に基づいて計算するために計算量が膨大になるが、本発明ではより細かな小領域単位で独立に各制御点の移動位置を計算している。
【図面の簡単な説明】
【００２６】
【図１】図１は、本発明の原理説明図である。
【図２】図２は、本発明の第１実施例にかかる形態変形装置の構成を示すブロック図である。
【図３】図３は、本発明の第１実施例にかかる形態変形装置における動作領域指定部の処理例を示すフローチャートである。
【図４】図４は、本発明の第１実施例にかかる形態変形装置における動作領域分割部の処理例を示すフローチャートである。
【図５】図５は、本発明の第１実施例にかかる形態変形装置における制御点データの構成例を示す図である。
【図６】図６は、本発明の第１実施例にかかる形態変形装置における制御点動作部の処理例を示すフローチャートである。
【図７Ａ】図７Ａは、本発明の第１実施例にかかる形態変形装置における動作内挿部の動作説明図である。
【図７Ｂ】図７Ｂは、本発明の第１実施例にかかる形態変形装置における動作内挿部の動作説明図である。
【図８】図８は、本発明の第１実施例にかかる形態変形装置における動作内挿部の処理例を示すフローチャートである。
【図９】図９は、本発明の第２の実施例にかかる形態変形装置のブロック図である。
【図１０Ａ】図１０Ａは、小領域の境界部分に段差などの不連続箇所が発生する様子を示す図である。
【図１０Ｂ】図１０Ｂは、小領域の境界部分に段差などの不連続箇所が発生する様子を示す図である。
【図１０Ｃ】図１０Ｃは、小領域の境界部分に段差などの不連続箇所が発生する様子を示す図である。
【図１１】図１１は、本発明の第２の実施例にかかる形態変形装置における隣接小領域調整部の処理例を示すフローチャートである。
【図１２】図１２は、本発明の第２の実施例にかかる形態変形装置における隣接小領域調整部で行われる平滑化処理のフローチャートである。
【図１３】図１３は、本発明の第２の実施例にかかる形態変形装置における隣接小領域調整部の動作説明図である。
【図１４】図１４は、本発明の第３の実施例にかかる形態変形装置のブロック図である。
【図１５Ａ】図１５Ａは、動作領域と未動作領域との境界部分に段差などの不連続箇所が発生する様子を示す図である。
【図１５Ｂ】図１５Ｂは、動作領域と未動作領域との境界部分に段差などの不連続箇所が発生する様子を示す図である。
【図１６】図１６は、本発明の第３の実施例にかかる形態変形装置における未動作領域調整部で行われる平滑化処理のフローチャートである。
【図１７】図１７は、本発明の第３の実施例にかかる形態変形装置における未動作領域調整部の動作説明図である。
【図１８】図１８は、本発明の第４の実施例にかかる顔動作（形態変形）符号化装置のブロック図である。
【図１９】図１９は、本発明の第４の実施例にかかる顔動作（形態変形）符号化装置で用いられる顔三角ポリゴンメッシュモデルの一例を示す図である。
【図２０】図２０は、本発明の第４の実施例にかかる顔動作（形態変形）符号化装置における三次元差分計算部の動作説明図である。
【図２１】図２１は、本発明の第４の実施例にかかる顔動作（形態変形）符号化装置における三次元差分計算部が生成する三次元差分データの内容例を示す図である。
【図２２Ａ】図２２Ａは、本発明の第４の実施例にかかる顔動作（形態変形）符号化装置における外力計算部の動作説明図である。
【図２２Ｂ】図２２Ｂは、本発明の第４の実施例にかかる顔動作（形態変形）符号化装置における外力計算部の動作説明図である。
【図２３】図２３は、本発明の第５の実施例にかかる顔動作（形態変形）復号化装置のブロック図である。
【図２４】図２４は、本発明の第６の実施例にかかる顔動作（形態変形）復号化装置のブロック図である。
【図２５】図２５は、本発明の第７の実施例にかかる顔動作（形態変形）符号化装置のブロック図である。
【図２６】図２６は、本発明の第８の実施例にかかる顔動作（形態変形）復号化装置のブロック図である。
【図２７】図２７は、本発明の第９の実施例にかかる顔動作（形態変形）復号化装置のブロック図である。
【図２８】図２８は、本発明の第１０の実施例にかかる顔動作（形態変形）符号復号化装置のブロック図である。
【図２９】図２９は、本発明の第１１の実施例にかかる顔動作（形態変形）符号復号化装置のブロック図である。
【図３０】図３０は、本発明の第１２の実施例にかかる形態変形復号化装置を用いるロボット制御装置のブロック図である。
【発明を実施するための最良の形態】
【００２７】
先ず、本発明の基本原理について図面を参照して詳細に説明する。図１を参照して、本発明で用いられる顔モデルの一例では、顔全体の領域１０００上に少なくとも１つの動作領域１００１が設定される。動作領域１００１は、変形の対象領域であり、表出されるべき表情に対応して定められる。例えば、ＦＡＣＳにおける動作単位（ＡＵ：Ａｃｔｉｏｎ ｕｎｉｔ）毎に、その動作単位を生じさせる表情筋がついている部分が１つの動作領域として定められる。無表情顔と或る表情動作顔とが比較されるときに相違する領域が動作領域として定められてもよい。
【００２８】
本発明では、このような動作領域１００１が、複数の小領域１００２に分割され、個々の小領域１００２単位で外力に応じた移動量が計算される。１つの小領域１００２に属する点（画素）は、黒丸で示される複数（３以上）の制御点１００３と、制御点以外の白丸で示される非制御点１００４とに分けられ、制御点１００３どうしはバネ１００５とダンパー１００６でつながっている。また、外力は、図１で矢印１００７により示されるように、制御点１００３にのみ与えられる。個々の小領域１００２における計算では、その小領域１００２に属する各制御点１００３の移動量が、その制御点１００３に加わる外力、バネ１００５およびダンパー１００６の定数に基づいて計算され、制御点１００３以外の非制御点１００４の移動量は、その非制御点１００４の近傍にある複数の制御点１００３の移動量から内挿などによって計算される。これにより、個々の小領域１００２全体が、内部の制御点１００３に働く外力によって一体となって移動し、全ての小領域１００２が同様に移動する。この結果、動作領域１００１が変形し、所望の表情の表出が可能となる。
【００２９】
このように、動作領域１００１がバネモデルとして相互作用しながら一体になって動く小領域１００２に分割され、各小領域１００２中で相互がバネ１００５とダンパー１００６で接続された複数の制御点１００３にのみ外力１００７が働き、小領域１００２全体がその外力１００７が働く制御点１００３に引きずられて動作するというモデルを用いて動作単位の動作が再現される。このモデルでの動作単位の動作は、動作領域１００１単位でなく小領域１００２単位でのバネモデル計算により表現されるので、パラメータ設定が簡単になり、計算量が削減される。また、直接移動量を扱うのではなく外力計算を行うので、表情の表出時の個人性と表情動作の普遍性が分離できるなどの利点がある。
【００３０】
次に、１つの小領域１００２内の制御点１００３の移動位置を計算する具体的な方法について説明する。一例として、バネ１００５とダンパー１００６の定数がすべて等しい場合の移動位置の計算方法を説明する。このケースは、下記のように定式化することができる。即ち、１つの小領域内にｎ（＞＝３）個の制御点が存在し、ｉ番目の制御点の質量をＭｉ、そこに働く外力をｆｉ、ｉ番目とｊ番目の制御点をつなぐバネ、ダンパーの定数をそれぞれＫｉｊ、Ｄｉｊとする。このとき、ｉ番目の制御点の位置ｘｉは、バネの基準位置をｌｉとすると、下記式（１）で表される。
【数１】
ただし、
【数２】
とする。
【００３１】
ここで、
【数３】
と置き換えると、式（１）は、
【数４】
で表される線形制御システムの標準的な式に書き直すことができる。ただし、Ａ，Ｂはそれぞれ以下のように表される２ｎｘ２ｎ、２ｎｘｎの行列である。
【数５】
但し、ｋｉｊ＝Ｋｉｊ／Ｍｉ、ｄｉｊ＝Ｄｉｊ／Ｍｉ
【数６】
但し、ｍｉ＝１／Ｍｉ
【００３２】
上記の式（３）の解析解は、下記の式（５）で表される。
【数７】
但し、
【数８】
【００３３】
式（５）の解は、Ａ，Ｂによっては存在しないこともあり、存在してもｔ無限大で発散することがある。しかしながら、本発明のモデルでは、ｕが一定で、質量Ｍｉ、バネ係数Ｋｉｊ，ダンパー定数Ｄｉｊが一定の場合、つまりｍｉ、ｋｉ、ｄｉが一定値ｍ，ｋ，ｄの場合、質点数ｎの時の指数関数形式行列ｅＡｔは、Ｐ（ｔ）、Ｑ（ｔ）は２ｘ２の行列であり、各要素はそれぞれ以下のとおりである。
【数９】
【数１０】
【数１１】
【数１２】
【数１３】
【数１４】
【数１５】
【数１６】
但し、
【数１７】
とする。このとき、式（６）の行列は、
【数１８】
で表すことが可能である。
【００３４】
システムの固有値−ｎｄ／２＋λｎ、−ｎｄ／２−λｎの実数部は、必ず負であるので、ｔが無限大になったとき発散することはない。したがって、ｔとパラメータｍ，ｋ，ｄが与えられ、ｕが一定であれば式（５）は、ｘ（ｔ）とｘ（０）、ｕの一次式になる。ただし、ｍ，ｎは常に両者の積の形で現れ、分離できないので、これを一つの定数（ｕに統合する）としても差し支えない。こうすることによって、ｔが与えられた場合、パラメータはｋ，ｄのみになる。
【００３５】
パラメータｋ，ｄの与え方は自由であるが、λｎの根号内の値が正、０、負のいずれであるかによって、それぞれ過減衰、臨界減衰、減衰振動という挙動を行う。この３種の挙動（詳細に関しては、Ｖ．Ｄ．バージャー，Ｍ．Ｇ．オルソン著，戸田，田上訳，“力学 新しい視点にたって”，培風館，１９７５）は、いずれもｔ無限大に向かって減衰するが、減衰振動のみは周期的に増減を繰り返しながら減衰し、臨界振動は過減衰よりも早く収束する。以下では、周期的な増減のない速い動きをする臨界減衰の場合の実施例を述べる。
【００３６】
パラメータｔ，ｋ，ｄと式（２）の境界条件にあたる初速０の条件
【数１９】
が与えられると、式（５）は、
【数２０】
により、外力Ｆｉの一次式になり、移動位置ｘｉ（ｔ）は式（８）から容易に計算できる。なお、時刻ｔでの速度は、
【数２１】
で表され、
【数２２】
【数２３】
【数２４】
が０になるときのｔで、収束する。
【００３７】
本発明では、図１に示されるように、動作領域１００１が複数の小領域１００２に分割され、個々の小領域１００２単位で外力１００７に応じた各制御点１００３の移動量が計算される。従って、本発明では、各制御点１００３の移動量から外力１００７が計算される場合にも、個々の小領域１００２単位で各制御点１００３の移動量から外力１００７が計算される。この外力の計算にも前記式（８）が用いられることができる。
【００３８】
以上では、小領域１００２の制御点１００３どうしがバネ１００５とダンパー１００６によりつながった構造の物理モデルが用いられた。しかしながら、より簡単な構造として、外力に単純比例する物理モデル、何れか１つの制御点あるいは小領域の重心などの特定点からの距離の二乗に反比例する重力モデルや電磁力モデルなどの他の種類の物理モデルを用いることも可能である。その場合には、それぞれに対応した方程式を解くことで、小領域１００２内の制御点１００３の移動量が計算されることができる。
【００３９】
図２は、本発明の第１実施例による形態変形装置の構成を示すブロック図である。形態変形装置は、人の無表情顔画像を表情動作顔画像に変形する。本実施例の形態変形装置は、処理装置ＣＮＴ１と記憶装置Ｍ１〜Ｍ６と表示装置ＤＰＹと入力装置ＫＥＹとを含んで構成されている。複数の記憶装置Ｍ１〜Ｍ６は、例えば磁気ディスクで構成され、そのうち、記憶装置Ｍ１は、人の無表情顔にかかる入力データＳ１を記憶する。記憶装置Ｍ６は、人の表情動作顔にかかる出力データＳ６を記憶する。残りの記憶装置Ｍ２〜Ｍ５は、中間結果や処理の過程で必要となる制御データを記憶する。表示装置ＤＰＹは、例えば液晶ディスプレイであり、出力データＳ６として得られた表情動作顔画像を表示し、処理過程のデータを表示するために使用される。入力装置ＫＥＹは、例えばキーボードとマウスで構成され、利用者から各種のデータや指示を受け付けるために利用される。制御装置ＣＮＴ１は、例えばコンピュータの中央処理装置で構成され、本実施例の形態変形装置の主たる処理を実行する。制御装置ＣＮＴ１は、動作領域指定部１、動作領域分割部２、制御点動作部３および動作内挿部４を有する。
【００４０】
制御装置ＣＮＴ１の各機能部１〜４は、制御装置ＣＮＴ１を構成するコンピュータと形態変形装置用プログラムとで実現することができる。形態変形装置用プログラムは、磁気ディスク等のコンピュータ可読記録媒体ＰＭ１に記録されており、コンピュータの立ち上げ時などにそのコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータ上に各機能部１〜４を実現する。
【００４１】
次に本発明の本実施例による形態変形装置の動作を説明する。制御装置ＣＮＴ１は、記憶装置Ｍ１に記憶された入力データＳ１を入力して処理し、最終的に出力データＳ６を記憶装置Ｍ６に出力すると共に、出力データＳ６を表示するように表示装置ＤＰＹを制御する。その過程において、制御装置ＣＮＴは、記憶装置Ｍ３に記憶された制御点データＳ３をロードして利用し、記憶装置Ｍ２、Ｍ４およびＭ５に、動作領域指定済データＳ２、小領域分割済データＳ４および初期３Ｄ座標調整済制御点データＳ３’、終端３Ｄ座標設定済制御点データＳ３”を適宜保存する。以下、詳細に説明する。
【００４２】
先ず制御装置ＣＮＴ１の動作領域指定部１について説明する。動作領域指定部１は、記憶装置Ｍ１から入力データＳ１を入力し、この入力データＳ１の所望の領域が動作領域としてユーザにより指定される。ここで、動作領域として指定されるべき所望の領域は、表出されるべき表情に対応して予め定められている。本実施例の場合、ＦＡＣＳにおける動作単位毎に、その動作単位を生じさせる表情筋がついている部分が動作領域として指定される。例えば、ＦＡＣＳのＮｏ．２７の動作単位は、「口を大きく開ける」という内容を持つが、その動作単位の動作を行わせる場合には、口を含む領域が動作領域として指定される。このとき、後の制御点データＳ３の検索のために、その動作単位の番号（Ｎｏ．）が入力装置ＫＥＹからユーザにより入力され、制御装置ＣＮＴ１内部に保存されている。
【００４３】
動作領域指定部１によって指定された動作領域に関する情報は、入力データＳ１の画像や三次元データに付加され、動作領域指定済みデータＳ２として記憶装置Ｍ２に保存される。例えば、入力画像がＲＧＢのカラー画像である場合は、動作領域指定済みデータＳ２は、各画像に１ビットのαを追加したＲＧＢαとして保存され、αの値として、動作領域を１、それ以外を０にするという方法が考えられる。同様に、三次元データの場合は、（ｘ、ｙ、ｚ、α）の形式で保存される。指定の方法は、例えばＧＵＩを用いるツールで画像や三次元データが表示され、そこでマウスやタブレットにより動作領域を指定する方法が考えられる。
【００４４】
動作領域指定部１の具体例を図３を参照して説明する。先ず、動作領域指定部１は、或る人物の顔の無表情画像を入力データＳ１として記憶装置Ｍ１からロードし、表示装置ＤＰＹの画面に表示する（ステップＦ１０１）。次に、動作領域指定部１は、ＦＡＣＳの動作単位番号をユーザから受け付ける（ステップＦ１０２）。動作領域指定部１は、ＦＡＣＳの各動作単位番号毎に、その動作単位を生じさせる表情筋がついている顔領域を示す典型的な動作領域の一覧を保有しており、ユーザから入力された動作単位番号に対応する動作領域を一覧から取得して表示装置ＤＰＹに表示する（ステップＦ１０３）。図３では破線で動作領域が表示されている。次に動作領域指定部１は、ユーザによるマウスのドラッグ操作などに従って動作領域の表示場所を移動させ、且つ動作領域のサイズや形を調整する（ステップＦ１０４）。図では、ＦＡＣＳのＮｏ．２７の動作単位を想定しており、口を含む適当な範囲に動作領域が調整されている。次に、動作領域指定部１は、指定された動作領域に関する情報を前述した方法で入力データＳ１に付加して動作領域指定済データＳ２を生成し、記憶装置Ｍ２に保存する（ステップＦ１０５）。
【００４５】
次に動作領域分割部２について説明する。動作領域分割部２は、記憶装置Ｍ２から動作領域指定済データＳ２を入力し、記憶装置Ｍ３から入力した制御点データＳ３に基づいて、動作領域指定済データＳ２中の動作領域を複数の小領域に分割した小領域分割済データＳ４を生成し、制御点データＳ３の情報（初期３Ｄ座標調整済制御データＳ３’）と共に記憶装置Ｍ４に保存する。この小領域分割済データＳ４および初期３Ｄ座標調整済制御データＳ３’が、図１を参照して説明された顔モデルに相当する。以下、動作領域分割部２の処理の詳細を図４を参照して説明する。
【００４６】
先ず、動作領域分割部２は、記憶装置Ｍ２から動作領域指定済データＳ２をロードし、その動作領域の全体が表示されるように必要に応じて拡大して表示装置ＤＰＹに表示する（ステップＦ１１１）。次に、動作領域分割部２は、動作領域指定済データＳ２で指定される動作領域に対応する制御点データＳ３を記憶装置Ｍ３からロードし、表示装置ＤＰＹに表示する（ステップＦ１１２）。例えば、動作領域指定済データＳ２で指定されている動作領域がＦＡＣＳのＮｏ．２７の動作単位（口を大きく開ける）であった場合、Ｎｏ．２７の動作単位に対応する制御点データをロードして表示する。或る動作単位に対応する制御点データＳ３は、その動作単位を生じさせる表情筋の端や内部に均等に配置した多数の制御点についての情報を含んでいる。
【００４７】
図５は、１つの制御点データの構成例を示す。この例では、制御点データは、この制御点データに割り当てられた識別子である制御点番号（ｍ）２００１と、この制御点データの初期の三次元座標である初期３Ｄ座標（Ｘ０，Ｙ０，Ｚ０）２００２と、この制御点データに割り当てられたタグ番号２００３と、この制御点データに与えられる外力（ｆｘ，ｆｙ，ｆｚ）と、この制御点データの移動後の三次元座標である終端３Ｄ座標（Ｘｔ，Ｙｔ，Ｚｔ）２００５と、この制御点データとつながる他の制御点データとの接続情報２００６とを含んでいる。ここで、同じ小領域に属する制御点データには同じタグ番号２００３が設定されている。また、初期３Ｄ座標２００２には、標準顔における制御点の標準位置が初期設定されており、制御点の当初の表示はこの初期３Ｄ座標に基づいて行われる。終端３Ｄ座標２００５はロード時点ではＮＵＬＬ値であり、後の移動量の計算時に値が設定される。接続情報２００６には、接続先の制御点データの制御点番号と、接続先の制御点データとの間に介在するバネおよびダンパーの定数などが設定されている。なお、全ての制御点どうしが同じ定数のバネおよびダンパーでつながる場合、全ての制御点データの接続情報２００６にそれらの情報を設定する必要はなく、どこか１箇所に設定されていればよい。
【００４８】
次に動作領域分割部２は、ユーザによるマウスのドラッグ操作などに従って各制御点の位置を所望の場所に移動し、且つ微調整する（ステップＦ１１３）。この調整にあわせて、制御点データの初期３Ｄ座標２００２が、無表情顔画像における画素のうち、その制御点データに最も近い画素の三次元座標に更新される。例えば、初期３Ｄ座標２００２として（Ｘａ，Ｙａ，Ｚａ）を持つ或る制御点が三次元座標（Ｘｂ，Ｙｂ，Ｚｂ）に移動されたとき、その座標（Ｘｂ，Ｙｂ，Ｚｂ）に最も近い無表情顔画像における画素の三次元座標が（Ｘｃ，Ｙｃ，Ｚｃ）とすると、その制御点の初期３Ｄ座標２００２が（Ｘｃ，Ｙｃ，Ｚｃ）に更新される。こうして、制御点の位置が無表情顔画像の画素にマッピングされる。
【００４９】
次に動作領域分割部２は、動作領域を制御点でボロノイ分割し、ボロノイ分割により定められた領域にその制御点のタグ番号２００３を割り当てる。同じタグ番号２００３が割り当てられた隣接ボロノイ領域を一つの小領域にまとめることで、動作領域が複数の小領域に分割される（ステップＦ１１４）。各小領域にはそれを構成するボロノイ領域に割り当てられたタグ番号と同じタグ番号が割り当てられる。従って、小領域はタグ番号の数だけ生成される。次に、動作領域指定済データＳ２における分割領域内の各画素に、その画素が含まれる小領域のタグ番号を付けた画像を小領域分割済データＳ４として生成し、初期３Ｄ座標調整済の制御点データＳ３’と共に記憶装置Ｍ４に保存する（ステップＦ１１５）。小領域と小領域の境界上の画素は、それら複数の小領域に属するものとして扱われる。小領域分割済データＳ４として、各タグ番号毎に、そのタグ番号の小領域に含まれる画素の情報を記録したデータを用いられることもできる。
【００５０】
次に、制御点動作部３の動作を説明する。制御点動作部３は、記憶装置Ｍ４から初期３Ｄ座標調整済の制御点データＳ３’を入力し、各小領域毎に、その小領域に含まれる全ての制御点の移動位置を計算する。計算方法は、その制御点を含む小領域がどのような物理モデルで表現されているかによって決まる。図１を参照して説明されたように小領域中の制御点がバネやダンパーでつながった物理モデルであれば、既に詳細に説明されたように初期位置と初速度の境界条件を与えて二階の常微分方程式を解くことで移動位置を計算することができる。より簡単な構造としては、外力に単純比例するモデル、制御点の一点や重心などの特定点からの距離の二乗に反比例する重力、電磁力モデルなども、それぞれに対応した方程式を解くことで解析的に計算できる。制御点動作部３の具体的な動作例を図６を参照して説明する。
【００５１】
先ず、制御点動作部３は、記憶装置Ｍ４から初期３Ｄ座標調整済の制御点データＳ３’を入力する（ステップＦ１２１）。次に、１つの小領域、つまり１つのタグ番号に注目する（ステップＦ１２２）。次に、注目されている小領域に属する全ての制御点の移動位置が計算され、その制御点の終端３Ｄ座標２００５に設定される（ステップＦ１２３）。注目されている小領域に属する全ての制御点とは、その小領域のタグ番号と同じタグ番号２００３を持つ制御点である。図１を参照して説明されたように小領域中の制御点がバネやダンパーでつながった構造の場合、所定のパラメータを式（７）に代入することにより、各制御点データの初期３Ｄ座標２００２と外力２００４から終端３Ｄ座標が計算されることができる。ここで、所定のパラメータは、式（７）の場合、前述のｔ，ｋ，ｄに相当する。これらは、制御点データＳ３に付加されておいて記憶装置Ｍ３からロードされても良いし、制御点動作部３に予め埋め込まれていてもよい。
【００５２】
制御点動作部３は、１つの小領域に属する全ての制御点の移動位置が計算され、それらの制御点データの終端３Ｄ座標２００５に設定されると、次の１つの小領域に注目を移し（ステップＦ１２４）、ステップＦ１２３に戻って前述と同様の処理を繰り返す。この処理を全ての小領域に対する処理が完了するまで繰り返した後（ステップＦ１２５でＹＥＳ）、終端３Ｄ座標２００５が設定された制御点データＳ３”は記憶装置Ｍ５に保存される（ステップＦ１２６）。
【００５３】
次に動作内挿部４の動作を説明する。動作内挿部４は、記憶装置Ｍ４から小領域分割済データＳ４を入力すると共に記憶装置Ｍ５から終端３Ｄ座標設定済制御点データＳ３”を入力し、その小領域内の制御点の移動位置から、各小領域における制御点以外の画素の移動位置を図７Ａと図７Ｂに示されるような線形内挿や外挿によって計算し、表情動作顔の画像もしくは三次元データを生成し、出力データＳ６として記憶装置Ｍ６に保存する。スプラインなどの高次の内挿、外挿を用いて計算が行われても良い。記憶装置Ｍ６に保存された出力データＳ６は、自動的あるいは入力装置ＫＥＹからの指示に応じて表示装置ＤＰＹに表示される。
【００５４】
動作内挿部４の具体的な動作を図８を参照して説明する。先ず動作内挿部４は、記憶装置Ｍ４および記憶装置Ｍ５から小領域分割済データＳ４および終端３Ｄ座標設定済制御点データＳ３”を入力する（ステップＦ１３１）。次に、小領域分割済データＳ４における動作領域内の１つ小領域が注目され（ステップＦ１３２）、その小領域内の１つの画素が注目される（ステップＦ１３３）。その画素が属する注目中小領域内の制御点のうち、その画素の三次元座標に最も近い初期３Ｄ座標を持つ３つの制御点データが終端３Ｄ座標設定済制御点データＳ３”から検索される（ステップＦ１３４）。次に、検索された３つの制御点データの何れか１つの初期３Ｄ座標が注目されている画素の三次元座標と一致しているかどうかが判定される（ステップＦ１３５）。一致していれば、注目されている画素は制御点であるので、一致する制御点データの終端３Ｄ座標が注目小領域における注目画素の終端３Ｄ座標として保存される（ステップＦ１３６）。他方、一致していなければ、注目されている画素は非制御点であるので、３つの制御点データの終端３Ｄ座標から注目画素の移動位置が図７Ａと図７Ｂに示されるような方法によって計算され（ステップＦ１３７）、計算された移動位置が注目小領域における注目された画素の終端３Ｄ座標として保存される（ステップＦ１３８）。
【００５５】
動作内挿部４は、注目小領域内の１つの画素についての処理を終えると、注目小領域内の次の１つの画素に注目を移し（ステップＦ１３９）、前述の処理と同様の処理を繰り返す。注目小領域内の全ての画素についての処理を終えると（ステップＳ１４０でＹＥＳ）、動作領域内の次の１つの小領域に注目を移し（ステップＳ１４１）、前述した処理と同様の処理を繰り返す。動作領域内の全ての小領域内の画素についての処理を終えると（ステップＦ１４２でＹＥＳ）、動作領域内の各画素の終端３Ｄ座標を含む出力データＳ６を記憶装置Ｍ６に保存する（ステップＦ１４３）。
【００５６】
図９は、本発明の第２実施例による形態変形装置を示している。図９を参照して、第２実施例による形態変形装置は、人の無表情顔画像を表情動作顔画像に変形する。第２実施例の形態変形装置は、記憶装置Ｍ７を備えている点と、処理装置ＣＮＴ１が隣接小領域調整部５を更に有する点で、図２に示された第１実施例の形態変形装置と相違し、その他の点は第１実施例の形態変形装置と同じである。
【００５７】
第２実施例では、動作領域が複数の小領域に分割され、各小領域単位で独立に移動量が計算されるので、隣接する小領域の移動量に明確な差があると、それらの小領域の境界部分に段差などの不連続箇所が発生する。例えば、図１０Ａに示されるように、移動前には互いに接していた２つの小領域１００１、１００２が、その移動量に差が生じると、図１０Ｂに示されるように互いに離れた状態になったり、図１０Ｃに示されるように互いに一部が重なったりする場合がある。本実施例の隣接小領域調整部５は、このような小領域の境界部分に発生する不連続な状態を調整する機能を有する。なお、隣接小領域調整部５は他の機能部１〜４と同様に記録媒体ＰＭ１に記憶されたプログラムと処理装置ＣＮＴ１を構成するコンピュータとで実現されることができる。
【００５８】
次に隣接小領域調整部５の動作を図１１を参照して説明する。先ず隣接小領域調整部５は、記憶装置Ｍ４および記憶装置Ｍ６から小領域分割済データＳ４および出力データＳ６を入力する（ステップＦ２０１）。次に、小領域分割済データＳ４に基づいて、全ての小領域の境界点を全て探索する（ステップＦ２０２）。小領域の境界点とは、隣接する複数の小領域の境界上に位置する画素のことである。このような画素は複数の小領域に属しているので、小領域分割済データＳ４から複数の小領域に属する画素を全て抽出することで可能である。
【００５９】
次に隣接小領域調整部５は、ステップＦ２０２で探索された境界点の１つに注目し（ステップＦ２０３）、その境界点が属する小領域を小領域分割済データＳ４から調べ、属する全ての小領域における終端３Ｄ座標を出力データＳ６から取り出してその平均（メジアンでも良い）を求める（ステップＦ２０４）。例えば、図１０Ａに示される或る１つの境界点１１００が、移動後に図１０Ｂ）や図１０Ｃに示されるように、小領域１１０１については終端３Ｄ座標（Ｘａ，Ｙａ，Ｚａ）の点１１０３−１となり、小領域１１０２については終端３Ｄ座標（Ｘｂ，Ｙｂ，Ｚｂ）の点１１０３−２となった場合、｛（Ｘａ＋Ｘｂ）／２，（Ｙａ＋Ｙｂ）／２，（Ｚａ＋Ｚｂ）／２｝が計算される。次に、この計算された平均値で、その境界点が属する全ての小領域における終端３Ｄ座標を更新する（ステップＦ２０５）。つまり、点１１０３−１の終端３Ｄ座標（Ｘａ，Ｙａ，Ｚａ）を｛（Ｘａ＋Ｘｂ）／２，（Ｙａ＋Ｙｂ）／２，（Ｚａ＋Ｚｂ）／２｝に更新し、同じく点１１０３−２の終端３Ｄ座標（Ｘｂ，Ｙｂ，Ｚｂ）を｛（Ｘａ＋Ｘｂ）／２，（Ｙａ＋Ｙｂ）／２，（Ｚａ＋Ｚｂ）／２｝に更新する。この更新は、処理装置ＣＮＴ１内に入力された出力データＳ６のコピー上で行う。
【００６０】
隣接小領域調整部５は、１つの境界点についての処理を終えると、次の１つの境界点に注目を移し（ステップＦ２０６）、ステップＦ２０４に戻って前述した処理と同様の処理を繰り返す。全ての境界点についての処理を終えると（ステップＦ２０７でＹＥＳ）、次に小領域境界部の平滑化処理を行う（ステップＦ２０８）。
【００６１】
小領域境界部の平滑化処理において、隣接小領域調整部５は、各小領域毎に、ステップＳ２０５で終端３Ｄ座標を変更した境界点の変更量をその境界点付近の画素に伝搬させることで、境界部を平滑化する。この平滑化処理Ｆ２０８の詳細を図１２に示す。
【００６２】
先ず隣接小領域調整部５は、１つの小領域に注目し（ステップＦ２１１）、補正係数をより小さく、且つ１に近い値に初期化する（ステップＦ２１２）。次に、注目小領域における隣接小領域との全ての境界点の３Ｄ補正量を計算する（ステップＦ２１３）。境界点の３Ｄ補正量とは、出力データＳ６に存在する注目小領域における当該境界点の終端３Ｄ座標と、図１１のステップＦ２０４で計算されたその境界点が属する全ての小領域における終端３Ｄ座標の平均との差分である。例えば、或る境界点の或る小領域における終端３Ｄ座標が（Ｘａ，Ｙａ，Ｚａ）、図１１のステップＦ２０４で計算されたその境界点が属する全ての小領域における終端３Ｄ座標の平均が｛（Ｘａ＋Ｘｂ）／２，（Ｙａ＋Ｙｂ）／２，（Ｚａ＋Ｚｂ）／２｝とすると、３Ｄ補正量は、｛（Ｘａ＋Ｘｂ）／２｝−Ｘａ、｛（Ｙａ＋Ｙｂ）／２｝−Ｙａ、｛（Ｚａ＋Ｚｂ）／２｝−Ｚａ｝として求められる。
【００６３】
次に、隣接小領域調整部５は、注目されている小領域における境界点に接する全ての画素を内接点として探索する（ステップＦ２１４）。例えば、図１３に示されるように互いに接する２つの小領域１１０１、１１０２のうち、小領域１１０１が注目されている場合、小領域１１０２との境界上にある画素ａ〜ｆが当初の境界点になるので、画素ａ〜ｆに接する画素ｇ〜ｌが内接点として求められる。
【００６４】
次に、隣接小領域調整部５は、１つの内接点に注目し（ステップＦ２１５）、その内接点が接する全ての境界点の３Ｄ補正量の平均（メジアンでも良い）を計算する（ステップＦ２１６）。例えば、図１３の画素ｇが１つの内接点として注目されている場合、それに接する境界点は画素ａ、ｂであるので、隣接小領域調整部５は、画素ａの３Ｄ補正量と画素ｂの３Ｄ補正量の平均を計算する。次に、隣接小領域調整部５は、この計算された３Ｄ補正量の平均に補正係数を乗じて得られる３Ｄ補正量を、その内接点の終端３Ｄ座標に加算する（ステップＦ２１７）。その後、その内接点を新たな境界点として扱う（ステップＦ２１８）。隣接小領域調整部５は、１つの内接点に対する処理が終ると、次の１つの内接点に注目を移す（ステップＦ２１９）。例えば、図１３の画素ｇの処理が終了すると、次に画素ｈに注目が移され、ステップＦ２１６に戻って上述した処理と同様の処理が繰り返される。こうして、ステップＦ２１４で見つけた全ての内接点ｇ〜ｌに対する処理が終わると（ステップＦ２２０でＹＥＳ）、隣接小領域調整部５は、補正係数の値から予め定められた一定値（例えば０．１、０．２など）を減じ（ステップＦ２２１）る。補正係数の値が０より大きければ（ステップＦ２２２でＹＥＳ）、処理はステップＦ２１４に戻る。図１３の場合、画素ｇ〜ｌの処理が終了すると、それらの画素ｇ〜ｌは新たな境界点として扱われるので、ステップＦ２２１で探索される新たな内接点の集合は画素ｍ〜ｒとなる。こうして、当初の境界点ａ〜ｆの３Ｄ補正量が近隣の画素に伝搬されて平滑化されていく。
【００６５】
隣接小領域調整部５は、補正係数の値が０以下になれば、注目している小領域に対する平滑化処理を終え、次の１つの小領域に注目を移し（ステップＦ２２３）、ステップＦ２１２に戻って前述した処理と同じ処理を繰り返す。隣接小領域調整部５は、全ての小領域に対する処理を終えると（ステップＦ２２４でＹＥＳ）、小領域境界部の平滑化処理Ｆ２０８を終える。
【００６６】
隣接小領域調整部５は、小領域境界部の平滑化処理を終えると、隣接小領域調整済データＳ７、つまり、出力データＳ６における小領域の境界部分に発生する不連続な状態を調整した出力データを記憶装置Ｍ７に出力する。記憶装置Ｍ７に保存された出力データＳ７は、自動的あるいは入力装置ＫＥＹからの指示に応じて表示装置ＤＰＹに表示される。
【００６７】
図１４は、本発明の第３実施例による形態変形装置を示している。第３実施例の形態変形装置は、人の無表情顔画像を表情動作顔画像に変形する。第３実施例の形態変形装置は、第２実施例の形態変形装置と同様であるが、記憶装置Ｍ８を備えている点と、処理装置ＣＮＴ１が未動作領域調整部６を更に有する点で、図９に示した第２実施例の形態変形装置と相違する。
【００６８】
図１で説明されたように、顔全体の領域１０００上に少なくとも１つの動作領域１００１が設定され、動作領域１００１が変形の対象とされると、表情動作時に、動作領域１００１と未動作領域の境界部分に段差などの不連続箇所が発生することがある。例えば、図１５Ａに示されるように、無表情画像では互いに接していた動作領域１２０１と未動作領域１２０２が、そのうち動作領域１２０１だけが移動するために、図１５Ｂに示されるように動作領域１２０１と未動作領域１２０２とが重なる部分１２０３が生じたり、動作領域１２０１と未動作領域１２０２との間に隙間１２０４が生じたりする場合がある。本実施例の未動作領域調整部６は、このような動作領域と未動作領域との境界部分に発生する不連続な状態を調整する機能を有する。なお、未動作領域調整部６は他の機能部１〜５と同様に記録媒体ＰＭ１に記憶されたプログラムと処理装置ＣＮＴ１を構成するコンピュータとで実現することが可能である。
【００６９】
次に未動作領域調整部６の動作を図１６を参照して説明する。先ず未動作領域調整部６は、記憶装置Ｍ２および記憶装置Ｍ７から動作領域指定済データＳ２および隣接小領域調整済データＳ７を入力する（ステップＦ３０１）。次に、未動作領域調整部６は、補正係数を１より小さく、且つ１に近い値に初期化し（ステップＦ３０２）、動作領域指定済データＳ２に基づいて、全ての内境界点の３Ｄ移動量を計算する（ステップＦ３０３）。内境界点とは、動作領域に属する画素のうち未動作領域との境界上に位置する画素のことである。例えば、図１７に示されるように、ハッチングを施した桝目が当初の動作領域に属する画素とすると、ハッチングを施していない未動作領域との境界上に位置する画素ａ、ｂ、ｃなどが内境界点である。また、内境界点の３Ｄ移動量とは、その内境界点の動作領域指定済データＳ２上での３Ｄ座標（つまり無表情時の位置）と隣接小領域調整済出力データＳ７上での３Ｄ座標（つまり表情動作時の位置）との差分のことである。
【００７０】
次に、未動作領域調整部６は、動作領域指定済データＳ２に基づいて、全ての外境界点を探索する（ステップＦ３０４）。外境界点とは、未動作領域の画素のうち、動作領域の境界上に位置する画素のことである。例えば、図１７の例では、画素ｄ、ｅ、ｆなどが外境界点である。
【００７１】
次に、未動作領域調整部６は、ステップＦ３０４で探索された外境界点の１つに注目し（ステップＦ３０５）、その外境界点が接する全ての内境界点の３Ｄ移動量の平均（メジアンでも良い）を求める（ステップＦ３０６）。例えば、図１７に示される画素ｅが外境界点として注目されている場合、その画素ｅに接する全ての内境界点は画素ａ、ｂ、ｃであるので、それらの３Ｄ移動量の平均が計算される。次に、この計算された平均値に補正係数を乗じて得られる３Ｄ移動量が、その外境界点の終端３Ｄ座標に加算される（ステップＦ３０７）。そして、その外境界点が動作領域の点として扱われる（ステップＦ３０８）。１つの外境界点に対する処理が終ると、次の１つの外境界点に注目が移る（ステップＦ３０９）。例えば、図１７の画素ｅの処理が終了すると、次に画素ｆに注目が移り、ステップＦ３０６に戻って上述の処理と同様の処理が繰り返される。こうして、ステップＦ３０４で見つけた全ての外境界点に対する処理を終えると（ステップＦ３１０でＹＥＳ）、未動作領域調整部６は、補正係数の値から予め定められた一定値（例えば０．１や０．２など）を減じる。（ステップＦ３１１）。補正係数の値が０より大きければ（ステップＦ３１２でＹＥＳ）、ステップＦ３０４の処理に戻る。図１７の場合、画素ｄ〜ｆなどの処理が終了すると、それらの画素ｄ〜ｆなどは新たに動作領域として扱われるので、ステップＦ３０４で探索される新たな外境界点の集合は画素ｇ〜ｍなどとなる。こうして、当初の境界点ａ〜ｃの３Ｄ移動量が未動作領域の画素に伝搬されて平滑化されていく。
【００７２】
未動作領域調整部６は、補正係数の値が０以下になった時点で、未動作領域の調整処理を終え、未動作領域調整済データＳ８、つまり、隣接小領域調整済出力データＳ７における動作領域と未動作領域の境界部分に発生する不連続な状態を調整した出力データを記憶装置Ｍ８に出力する。記憶装置Ｍ８に保存された出力データＳ８は、自動的あるいは入力装置ＫＥＹからの指示に応じて表示装置ＤＰＹに表示される。
【００７３】
図１３の構成では、隣接小領域調整部５の実行後に未動作領域調整部６を実行したが、最初に未動作領域調整部６を実行して、出力データＳ６から動作領域と未動作領域との間の境界部分の不連続性を解消したデータを生成し、次に隣接小領域調整部５を実行して、更に小領域間の境界部分の不連続性を解消したデータを生成するようにしても良い。また。隣接小領域調整部５を省略し、未動作領域調整部６による調整だけを実行しても良い。
【００７４】
図１８は、本発明の第４実施例による顔動作符号化装置のブロック図であり、或る人物の無表情時と表情動作時の顔三次元データから、表情動作時の動作領域と外力を計算して出力する。本実施例の顔動作符号化装置は、処理装置ＣＮＴ１１と記憶装置Ｍ１１〜Ｍ１５と表示装置ＤＰＹと入力装置ＫＥＹとを含んでいる。複数の記憶装置Ｍ１１〜Ｍ１５は、例えば磁気ディスクで構成され、そのうち、記憶装置Ｍ１１は入力データとなる無表情顔３ＤデータＳ１００および表情動作顔３ＤデータＳ１０１を格納し、記憶装置Ｍ１５は出力データとなる表情動作の外力データＳ１２および表情動作の動作領域Ｓ１３を格納し、残りの記憶装置Ｍ１２〜Ｍ１４は中間結果や処理の過程で必要となる制御データを格納する。表示装置ＤＰＹは、例えば液晶ディスプレイで構成され、処理過程のデータなどを表示するために使用される。入力装置ＫＥＹは、例えばキーボードとマウスで構成され、利用者から各種のデータや指示を受け付けるために利用される。制御装置ＣＮＴ１１は、例えばコンピュータの中央処理装置で構成され、本実施例の顔動作符号化装置の主たる処理を実行する。制御装置ＣＮＴ１１は、３Ｄ顔モデル付与部１０１、３Ｄ差分計算部１０２および外力計算部１０３を有する。
【００７５】
制御装置ＣＮＴ１１の各機能部１０１〜１０３は、制御装置ＣＮＴ１１を構成するコンピュータと顔動作符号化装置用プログラムとで実現することができる。顔動作符号化装置用プログラムは、磁気ディスク等のコンピュータ可読記録媒体ＰＭ１１に記録されており、コンピュータの立ち上げ時などにそのコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータ上に各機能部１０１〜１０３を実現する。
【００７６】
次に本実施例にかかる顔動作符号化装置の動作を説明する。制御装置ＣＮＴ１１は、先ず３Ｄ顔モデル付与部１０１を用いて、記憶装置Ｍ１１に記憶された符号化用に用いられる人物の無表情顔三次元データＳ１００と表情動作顔三次元データＳ１０１を入力し、それぞれのデータに対して記憶装置Ｍ１２に予め用意された顔三角ポリゴンメッシュモデルＳ１０５を整合させることにより、無表情時と表情動作時それぞれの顔三角ポリゴンメッシュモデルＳ１０２、Ｓ１０３を生成して記憶装置Ｍ１３に保存する。次に、３Ｄ差分計算部１０２を用いて、記憶装置Ｍ１３から無表情時と表情動作時それぞれの顔三角ポリゴンメッシュモデルＳ１０２、Ｓ１０３を入力し、両者を比較することにより、無表情顔から表情動作顔に表情が変わった際に動作（移動）したポリゴン及びその各頂点の移動前後の三次元座標を含む３Ｄ差分データＳ１０４を生成して記憶装置Ｍ１４に保存する。次に、外力計算部１０３を用いて、記憶装置Ｍ１４から３Ｄ差分データＳ１０４を入力し、無表情顔を表情動作顔に変形するために無表情顔の顔三角ポリゴンの各頂点に与えるべき外力を前述した式（７）によって計算し、無表情顔から表情動作顔に表情が変わった際に動作（移動）したポリゴンの情報を含む表情動作の動作領域Ｓ１３およびそのポリゴンの各頂点に与える外力を含む表情動作の外力データＳ１２を記憶装置Ｍ１５に出力する。以下、より詳細に説明する。
【００７７】
三次元顔モデル付与部１０１に入力される無表情時と表情動作時の顔三次元データＳ１００、Ｓ１０１は、顔の三次元データを取得する部によって取得され、記憶装置Ｍ１１に記憶される。顔の三次元データは、光照射型のレンジファインダ、ステレオ・多眼カメラによるステレオ画像計測、ＭＲＩ計測、赤外線計測などの任意の部で計測されたデータで良く、あるいは人工的な三次元コンピュータグラフィックスで作成されたデータでも良い。なお、三次元データに付随される情報としてのテクスチャは、２つの顔データ間の部位の対応をとるためにあることが望ましいが、２つの顔データ間の部位の対応を見つける別の部がある場合は必須ではない。例えば、光照射型のレンジファインダで取得する場合、光に反射する特殊なマーカーを顔に貼り付けたり、赤外線画像で取得する場合、体温と異なる温度をもつマーカーを貼り付けて取得する場合などが考えられる。テクスチャを取得する場合でも、顔の一部にマーカーが描かれている場合等、顔全体のテクスチャは必須ではない。
【００７８】
記憶装置Ｍ１２には、図１９に示されるような顔三角ポリゴンメッシュモデルＳ１０５が保存されている。ポリゴン数および個々のポリゴンのサイズは任意であるが、三角メッシュの頂点の一部が顔の特徴点に対応するよう生成されている。三次元顔モデル付与部１０１は、無表情顔三次元データＳ１００に顔三角ポリゴンメッシュモデルＳ１０５を整合させることで、三次元化無表情顔三角ポリゴンメッシュモデルＳ１０２を生成する。具体的には、表示装置ＤＰＹの画面に無表情顔三次元データＳ１００と顔三角ポリゴンメッシュモデルＳ１０５とを表示し、ユーザによる入力装置ＫＥＹからの操作によって、顔三角ポリゴンメッシュモデルＳ１０５の各頂点をその頂点に対応付けられるべき顔の特徴点にマッピングさせていく。無表情顔三次元データＳ１００の特徴点を手がかりに、顔三角ポリゴンメッシュモデルＳ１０５の一部の頂点を自動で対応付けることも可能である。例えば、顔三角ポリゴンメッシュモデルＳ１０５の或る特定のポリゴンの或る特定の頂点が、鼻の先端部に対応させられる頂点である場合、鼻の先端部に付けられたマーカーの位置を検出して自動的に対応付けることができる。三次元顔モデル付与部１０１は、顔三角ポリゴンメッシュモデルＳ１０５における各ポリゴンの各頂点に、その頂点に対応付けられた無表情顔三次元データＳ１００の点の三次元座標を割り当てていき、全てのポリゴンの頂点に無表情顔三次元データＳ１００の点の三次元座標を割り当て終えたものを、三次元化無表情顔三角ポリゴンメッシュモデルＳ１０２として記憶装置Ｍ１３に保存する。
【００７９】
同様の方法で、三次元顔モデル付与部１０１は、表情顔三次元データＳ１０１に顔三角ポリゴンメッシュモデルＳ１０５を整合させることで、三次元表情動作顔三角ポリゴンメッシュモデルＳ１０３を生成する。
【００８０】
三次元差分計算部１０２は、各ポリゴンの各頂点に無表情顔の三次元座標が割り当てられた三次元化無表情顔三角ポリゴンメッシュモデルＳ１０２と、各ポリゴンの各頂点に表情動作顔の三次元座標が割り当てられた三次元化表情動作顔三角ポリゴンメッシュモデルＳ１０３との同じポリゴンの同じ頂点どうしで三次元座標の差をとる。例えば、三次元差分計算部１０２は、モデルＳ１０２とＳ１０３の同じポリゴンを図２０に示すＳ１０２−１、Ｓ１０３−１とすると、同じ頂点ａとａ’どうし、同じ頂点ｂとｂ’どうし、同じ頂点ｃとｃ’どうしで三次元座標の差をとる。そして、三次元座標の差のノルムつまり距離があらかじめ決めた閾値以上の領域を表情時の動作領域とし、領域外を未動作領域とする。この実施例では、点は三角ポリゴンの頂点しかないので、ポリゴン単位で動作領域が決められる。すなわち、ポリゴンの三頂点のいずれかが動作領域の点であれば、そのポリゴンは動作領域、そうでないポリゴンは未動作領域になる。また、この実施例では、動作領域を分割した小領域は各三角ポリゴンになる。三次元差分計算部１０２は、このようにして決めた動作領域の顔三角ポリゴンメッシュモデルのポリゴン番号、その頂点に割り当てられた無表情顔および表情動作顔の三次元座標を含むデータを三次元差分データＳ１０４として記憶装置Ｍ１４に保存する。
【００８１】
図２１に三次元差分データＳ１０４の内容例を示す。顔三角ポリゴンメッシュモデルＳ１０５の各ポリゴン毎にポリゴン番号ｍが設定され、各ポリゴンの頂点毎に頂点番号ｉが設定され、その頂点を含むポリゴンが動作領域かどうかを示すフラグと、その頂点に対応する無表情顔の三次元座標と、その頂点に対応する表情動作顔の三次元座標とを含んで構成される。
【００８２】
外力計算部１０３は、三次元差分データＳ１０４から動作領域になっているポリゴンのデータを入力し、そのポリゴンの頂点の無表情時の三次元座標、表情動作時の三次元座標および必要なパラメータを用いて、各頂点の位置を無表情時の位置から表情動作時の位置に移動させるのに必要な外力を計算する。具体的には、外力計算部１０３は、前述の式（７）に、パラメータｔ，ｋ，ｄと、無表情時の制御点の三次元座標としてのｘｉ（０）と、表情動作時の制御点の三次元座標としてのｘｉ（ｔ）と、その初期条件を与えて、外力Ｆｉを計算する。制御点の取り方はポリゴン内で自由であるが、最も簡単なケースとして、本実施例では図２２Ａと図２２Ｂのようにポリゴンの三頂点が制御点にとられている。この場合、（６）の行列の要素はｎ＝３として計算可能になる。
【００８３】
図２３は本発明の第５実施例による顔動作復号化装置のブロック図であり、或る人物の無表情時の顔三次元データを表情動作時の外力情報に基づいて変形し、その人物の表情動作時の顔三次元データを生成して出力する。本実施例の顔動作復号化装置は、処理装置ＣＮＴ２１と記憶装置Ｍ２１〜Ｍ２６と表示装置ＤＰＹと入力装置ＫＥＹとを含んでいる。複数の記憶装置Ｍ２１〜Ｍ２６は、例えば磁気ディスクで構成されている。記憶装置Ｍ２１、Ｍ２２は入力データとなる無表情顔３ＤデータＳ３００および表情動作時の外力情報Ｓ３０を格納し、記憶装置Ｍ２６は出力データとなる表情顔３Ｄデータ３２を格納し、残りの記憶装置Ｍ２３〜Ｍ２５は中間結果や処理の過程で必要となる制御データを格納する。表示装置ＤＰＹは、例えば液晶ディスプレイで構成され、生成された表情顔３Ｄデータ３２および処理過程のデータなどを表示するために使用される。入力装置ＫＥＹは、例えばキーボードとマウスで構成され、利用者から各種のデータや指示を受け付けるために利用される。制御装置ＣＮＴ２１は、例えばコンピュータの中央処理装置で構成され、本実施例の顔動作復号化装置の主たる処理を実行する。制御装置ＣＮＴ２１は、３Ｄ顔モデル対応部３０１、移動量計算部３０２および表情作成部３１を有する。
【００８４】
制御装置ＣＮＴ２１の各機能部３０１、３０２、３１は、制御装置ＣＮＴ２１を構成するコンピュータと顔動作復号化装置用プログラムとで実現することができる。顔動作復号化装置用プログラムは、磁気ディスク等のコンピュータ可読記録媒体ＰＭ２１に記録されており、コンピュータの立ち上げ時などにそのコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータ上に各機能部３０１、３０２、３１を実現する。
【００８５】
次に本実施例にかかる顔動作復号化装置の動作を説明する。制御装置ＣＮＴ２１は、先ず３Ｄ顔モデル対応部３０１を用いて、記憶装置Ｍ２１に記憶された復号化用に用いられる或る人物の無表情顔三次元データＳ３００を入力し、そのデータに対して記憶装置Ｍ２３に予め用意された顔三角ポリゴンメッシュモデルＳ１０５を整合させることにより、三次元化無表情顔三角ポリゴンメッシュモデルＳ３０２を生成して記憶装置Ｍ２４に保存する。次に、移動量計算部３０２を用いて、記憶装置Ｍ２２に記憶された表情動作の外力情報Ｓ３０に従って、記憶装置Ｍ２４に保存された三次元化無表情顔三角ポリゴンメッシュモデルＳ３０２の動作領域における各制御点の移動位置を計算し、制御点の移動位置データＳ３０３として記憶装置Ｍ２５に保存する。次に、表情作成部３１を用いて、記憶装置Ｍ２５に保存された制御点の移動位置データＳ３０３の基づいて、記憶装置Ｍ２１に記憶された無表情顔三次元データＳ３００を変形し、表情動作時の表情動作顔の三次元データを生成し、表情顔３ＤデータＳ３２として記憶装置Ｍ２６に保存し、また表示装置ＤＰＹに表示する。以下、詳細を説明する。
【００８６】
記憶装置Ｍ２２の表情動作の外力情報Ｓ３０としては、図１８に示される第４実施例の顔動作符号化装置で生成された表情動作の外力データＳ１２および表情動作の動作領域Ｓ１３に相当する情報が用いられる。また、記憶装置Ｍ２３に用意される顔三角ポリゴンメッシュモデルＳ１０５としては、図１８に示される第４実施例の顔動作符号化装置で使われた顔三角ポリゴンメッシュモデルＳ１０５と同じモデルが使われる。
【００８７】
三次元顔モデル対応部３０１は、図１８に示される第４実施例の顔動作符号化装置の三次元顔モデル付与部１０１と同様の方法で、無表情顔三次元データＳ３００に顔三角ポリゴンメッシュモデルＳ１０５を整合させることで、三次元化無表情顔三角ポリゴンメッシュモデルＳ３０２を生成する。つまり、顔三角ポリゴンメッシュモデルＳ１０５における各ポリゴンの各頂点に、その頂点に対応する無表情顔三次元データＳ３００の点の三次元座標が割り当てられ、全てのポリゴンの頂点に無表情顔三次元データＳ３００の点の三次元座標が割り当てられたとき、その結果は、三次元化無表情顔三角ポリゴンメッシュモデルＳ３０２として記憶装置Ｍ２４に保存する。
【００８８】
移動量計算部３０２は、顔三角ポリゴンメッシュモデルＳ１０５に対応した表情動作時の外力情報Ｓ３０を記憶装置Ｍ２２から入力し、図２の第１実施例の制御点動作部３と同様の方法で、表情動作時の制御点の移動位置Ｓ３０３を計算する。例えば、図１８の実施例４と同じような顔三角ポリゴンメッシュモデルが用いられている場合、移動量計算部３０２は、ポリゴンの三頂点の三次元座標と外力情報Ｓ３０に記載されているポリゴンの頂点に働く外力を用いて、前記式（６）の要素をｎ＝３として前記式（７）を計算することにより、各ポリゴンの頂点の表情動作時の移動位置を計算する。
【００８９】
表情作成部３１は、記憶装置Ｍ２１に記憶された無表情顔３ＤデータＳ３００を構成する点のうち、顔三角ポリゴンメッシュモデルＳ１０５の動作領域におけるポリゴンの頂点に対応する点の移動位置は位置データＳ３０３で既に計算されているので、それ以外の点（ポリゴン内点）の移動位置を、図２の第１実施例の動作内挿部４と同様の方法で算出する。例えば、顔三角ポリゴンメッシュモデルが用いられている場合は、表情作成部３１は、各ポリゴン内点の移動位置を頂点の移動位置から内挿によって計算する。そして、無表情顔３ＤデータＳ３００の各点の３次元座標をその移動位置だけ修正して、表情顔三次元データＳ３２を生成する。
【００９０】
ただし、ポリゴンの頂点は、複数の異なるポリゴンに含まれることが普通であるので、図１０で説明されたように隣接する小領域（この場合、ポリゴン）の境界部分に段差などが生じ易い。このため、表情作成部３１に、図９の第２実施例の隣接小領域調整部５と同様の機能を組み込んで、段差などを解消するのが望ましい。また、図１４の第３実施例の未動作領域調整部６と同等の機能を表情作成部３１に組み込んで、動作領域と未動作領域との境界部分に生じる段差などを解消するようにしても良い。
【００９１】
図２３の第５実施例では、或る人物の無表情時の顔三次元データＳ３００を唯一の表情動作の外力情報Ｓ３０に基づいて変形したが、無表情顔三次元データＳ３００をそれぞれ異なる複数の表情動作の外力情報Ｓ３０に基づいて変形することもできる。この場合、移動量計算部３０２は、同じ制御点にかかる外力どうしを加算することにより複数の表情動作の外力情報Ｓ３０を１つの外力情報に合成し、その合成外力に基づいて制御点の移動位置データＳ３０３を算出する。これにより、複数の外力情報Ｓ３０に応じた最終的な制御点の移動位置データが算出されるか、あるいは、それぞれの外力情報Ｓ３０に基づいて制御点の移動位置データＳ３０３を算出した後、同じ制御点にかかる移動位置の平均を求めることにより、複数の外力情報Ｓ３０に応じた最終的な制御点の移動位置データが算出される。
【００９２】
図２４は本発明の第６実施例による顔動作復号化装置のブロック図であり、或る人物の無表情時の顔画像（二次元顔画像）を表情動作時の外力情報に基づいて変形し、その人物の表情動作時の顔画像（二次元顔画像）を生成して出力する。つまり、本実施例の顔動作復号化装置では、図２３に示される第５実施例の顔動作復号化装置における無表情顔三次元データＳ３００が無表情顔画像Ｓ３０１により置換され、出力の表情顔三次元データＳ３２が表情顔画像Ｓ３２に置換されている。
【００９３】
本実施例の顔動作復号化装置は、処理装置ＣＮＴ３１と記憶装置Ｍ３１〜Ｍ３６と表示装置ＤＰＹと入力装置ＫＥＹとを含んでいる。複数の記憶装置Ｍ３１〜Ｍ３６は、例えば磁気ディスクで構成され、記憶装置Ｍ３１、Ｍ３２は入力データとなる無表情顔画像Ｓ３０１および表情動作時の外力情報Ｓ３０を記憶し、記憶装置Ｍ３６は出力データとなる表情顔画像Ｓ３３を格納し、残りの記憶装置Ｍ３３〜Ｍ３５は中間結果や処理の過程で必要となる制御データを格納する。表示装置ＤＰＹは、例えば液晶ディスプレイで構成され、生成された表情顔画像Ｓ３３および処理過程のデータなどを表示する。入力装置ＫＥＹは、例えばキーボードとマウスで構成され、利用者から各種のデータや指示を受け付ける。制御装置ＣＮＴ３１は、例えばコンピュータの中央処理装置で構成され、本実施例の顔動作復号化装置の主たる処理を実行する。制御装置ＣＮＴ３１は、顔画像三次元化部３００、動作量計算部３０２および表情画像作成部３３を有する。
【００９４】
制御装置ＣＮＴ３１の各機能部３００、３０２、３３は、制御装置ＣＮＴ３１を構成するコンピュータと顔動作復号化装置用プログラムとで実現することができる。顔動作復号化装置用プログラムは、磁気ディスク等のコンピュータ可読記録媒体ＰＭ３１に記録されており、コンピュータの立ち上げ時などにそのコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータ上に各機能部３００、３０２、３３を実現する。
【００９５】
次に本実施例にかかる顔動作復号化装置の動作を説明する。制御装置ＣＮＴ３１は、先ず顔画像三次元化部３００を用いて、記憶装置Ｍ３１に記憶された復号化用に用いられる或る人物の無表情顔画像Ｓ３０１を入力し、記憶装置Ｍ３３に予め用意された無表情顔の三次元モデルＳ３０２に貼り付けることで、復号用の無表情顔三次元データＳ３００を生成し、記憶装置Ｍ３４に保存する。この保存された無表情顔三次元データＳ３００が、図２３の第５実施例の三次元化無表情顔三角ポリゴンメッシュモデルＳ３０２に相当する。次に、図２３の第５実施例と同様に移動量計算部３０２を用いて、記憶装置Ｍ３２に記憶された表情動作の外力情報Ｓ３０に従って、記憶装置Ｍ３４に保存された無表情顔三次元データＳ３００の動作領域における各制御点の移動位置が計算され、制御点の移動位置データＳ３０３として記憶装置Ｍ３５に保存される。次に、表情画像作成部３３を用いて、図２３の第５実施例の表情作成部３１と同様の処理により、記憶装置Ｍ３５に保存された制御点の移動位置データＳ３０３に基づいて、記憶装置Ｍ３４に記憶された無表情顔三次元データＳ３００が変形されて、表情動作時の表情動作顔の三次元データが生成される。次いで、この三次元データから表情顔画像Ｓ３３が生成されて記憶装置Ｍ３６に保存され、また表示装置ＤＰＹに表示される。以下、詳細を説明する。
【００９６】
記憶装置Ｍ３２の表情動作の外力情報Ｓ３０としては、図１８に示される第４実施例の顔動作符号化装置で生成された表情動作の外力データＳ１２および表情動作の動作領域Ｓ１３に相当する情報が用いられる。また、記憶装置Ｍ３３に用意される無表情顔の三次元モデルＳ３０２としては、図１８に示される第４実施例の顔動作符号化装置で使われた顔三角ポリゴンメッシュモデルＳ１０５と同じメッシュモデルを用いた或る人物の三次元モデルが使われる。
【００９７】
顔画像三次元化部３００は、復号用の無表情顔画像Ｓ３０１とともに無表情顔の三次元モデルＳ３０２を入力して、復号用の無表情顔画像Ｓ３０１を無表情顔の三次元モデルＳ３０２に貼り付け、復号用の無表情顔三次元データＳ３００を作成する。貼り付け方の例としては、特定の人物の無表情顔三次元データを顔三次元モデルとして登録し、その顔モデルの特徴点を復号用の無表情顔画像Ｓ３０１の特徴点と対応させ、特徴点以外の点では特徴点との相対位置関係から図７に示されるように内挿、外挿によって対応を与える。この対応が与えられると、顔三次元モデルＳ３０２のテクスチャ情報として復号用の無表情顔画像Ｓ３０１が随伴したものが復号用の無表情顔三次元データＳ３００として扱われることができる。なお、上記の特定の人物の無表情顔三次元データＳ３０２は、実在の人物のものである必要はなく、実在人物の無表情顔三次元データの平均をとった平均顔のようなものであっても良い。貼り付け方の他の例としては、図１９に示されるように三角メッシュの頂点の一部が顔の特徴点に対応した顔メッシュモデルを無表情顔の三次元モデルＳ３０２として使う方法もある。図１９からわかるように全体が顔の三次元形状を模すような三次元座標が三角メッシュの各頂点に与えられている。この顔メッシュモデルは人工的に作った非常に荒い表現の顔三次元データとみなすことができ、復号用の無表情顔画像Ｓ３０１と顔メッシュモデルを特徴点単位で対応づけ、特徴点外の点は図７に示されるような内挿、外挿によって対応を与え、無表情顔三次元データの場合と同様にして復号用の無表情顔三次元データＳ３００を作成する。
【００９８】
表情画像作成部３３は、実施例５の表情作成部３１と同様に出力する復号時の表情動作顔の三次元データを作成後、その顔三次元データを指定したビューに投影して復号時の表情動作顔画像Ｓ３３を生成し、記憶装置Ｍ３６に出力する。
【００９９】
図２４の第６実施例では、或る人物の無表情時の顔画像Ｓ３０１が唯一の表情動作の外力情報Ｓ３０に基づいて変形されたが、図２３の第５実施例と同様に、無表情顔画像Ｓ３０１がそれぞれ異なる複数の表情動作の外力情報Ｓ３０に基づいて変形されてもよい。
【０１００】
なお、第５実施例では、無表情顔三次元データＳ３００が入力され、表情動作顔の三次元データＳ３２が出力され、第６実施例では、無表情顔画像Ｓ３０１が入力され、表情動作顔画像Ｓ３３が出力される。他の例として、無表情顔三次元データＳ３００が入力され、表情動作顔画像Ｓ３３が出力される顔動作復号化装置や、無表情顔画像Ｓ３０１が入力され、表情動作顔の三次元データＳ３２が出力される顔動作復号化装置も考えられる。
【０１０１】
図２５は本発明の第７実施例による顔動作符号化装置のブロック図であり、第４実施例と同様に、或る人物の無表情時と表情動作時の顔三次元データから、表情動作時の動作領域と外力を計算して出力する。本実施例の顔動作符号化装置は、処理装置ＣＮＴ４１と記憶装置Ｍ４１〜Ｍ４３と表示装置ＤＰＹと入力装置ＫＥＹとを含んでいる。複数の記憶装置Ｍ４１〜Ｍ４３は、例えば磁気ディスクで構成され、記憶装置Ｍ４１は入力データとなる無表情顔３ＤデータＳ１００および表情動作顔３ＤデータＳ１０１を格納し、記憶装置Ｍ４３は出力データとなる表情動作の外力データＳ１２および表情動作の動作領域Ｓ１３を格納し、残りの記憶装置Ｍ４２は中間結果を格納する。表示装置ＤＰＹは、例えば液晶ディスプレイで構成され、処理過程のデータなどを表示するために使用される。入力装置ＫＥＹは、例えばキーボードとマウスで構成され、利用者から各種のデータや指示を受け付けるために利用される。制御装置ＣＮＴ４１は、例えばコンピュータの中央処理装置で構成され、本実施例の顔動作符号化装置の主たる処理を実行する。制御装置ＣＮＴ４１は、差分計算部１０および外力計算部１１を有する。
【０１０２】
制御装置ＣＮＴ４１の各機能部１０、１１は、制御装置ＣＮＴ４１を構成するコンピュータと顔動作符号化装置用プログラムとで実現することができる。顔動作符号化装置用プログラムは、磁気ディスク等のコンピュータ可読記録媒体ＰＭ４１に記録されており、コンピュータの立ち上げ時などにそのコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータ上に各機能部１０、１１を実現する。
【０１０３】
次に本実施例にかかる顔動作符号化装置の動作を説明する。制御装置ＣＮＴ４１は、先ず差分計算部１０を用いて、記憶装置Ｍ１１に記憶された符号化用に用いられる人物の無表情顔三次元データＳ１００と表情動作顔三次元データＳ１０１を入力し、これらの入力データから三次元座標差Ｓ１１を生成し、記憶装置Ｍ４２に保存する。差分計算部１０は具体的には以下のような処理を行う。
【０１０４】
差分計算部１０は、無表情時と表情動作時の顔三次元データＳ１００、Ｓ１０１の同じ部位間（例えば無表情顔右目目尻と表情動作顔右目目尻など）を対応つける。対応のつけ方は、前述のマーカー等を手がかりに自動化してもよいし、双方の画像を表示装置ＤＰＹに表示してＧＵＩのツールを用いてユーザによる手動で対応づけても良い。現実にはすべての点において対応づけることは難しいので、マーカーのある部分や目、口、鼻等の特徴的な部分のみ対応をとり、その他の部分は、線形内挿のような方法で特徴的な部位との相対的な位置で対応づけるのが妥当である。対応づけが終わると、無表情顔三次元データＳ１００と表情動作顔の三次元データＳ１０１の対応点間で三次元座標の差を計算する。次に、三次元座標の差のノルムつまり距離があらかじめ決められた閾値以上の領域、もしくはその動作に表情筋が付着している領域といった制限つきの領域を表情時の動作領域とし、領域外を未動作領域とする。そして、動作領域に属する点（動作点）について、無表情顔三次元データの位置（三次元座標もしくはそれを円筒など二次元面に投影した時のその面での座標上の二次元座標）とその三次元座標差を三次元座標差Ｓ１１として出力する。
【０１０５】
外力計算部１１は、動作点に関してのみ無表情顔三次元データの位置とその三次元座標差を記した三次元座標差Ｓ１１を用いて、その動作点の位置を無表情顔三次元データの位置から三次元座標差だけ移動させるのに要する外力を計算し、表情動作の外力データＳ１２として出力する。また、外力が働き表情動作が起こる動作領域Ｓ１３を出力する。動作領域Ｓ１３は、図１で説明されたようにバネとダンパーで相互に接続された３点以上の制御点が外力をうけ、制御点に引きずられて一体になって動く小領域に分割され、小領域それぞれの動作が全体の動作領域の動作になる。各小領域での力学システムは、すべてのバネとダンパーが同じバネ定数とダンパー定数をもつと仮定することで、前述したように定式化することができる。
【０１０６】
図２６は本発明の第８の実施例のブロック図であり、図２３の実施例５と同様に、或る人物の無表情時の顔三次元データを表情動作時の外力情報に基づいて変形し、その人物の表情動作時の顔三次元データを生成して出力する顔動作復号化装置に本発明を適用した実施例を示す。本実施例の顔動作復号化装置は、処理装置ＣＮＴ５１と記憶装置Ｍ５１〜Ｍ５４と表示装置ＤＰＹと入力装置ＫＥＹとを含んで構成されている。複数の記憶装置Ｍ５１〜Ｍ５４は、例えば磁気ディスクで構成され、そのうち、記憶装置Ｍ５１、Ｍ５２は入力データとなる無表情顔３ＤデータＳ３００および表情動作時の外力情報Ｓ３０を格納し、記憶装置Ｍ５４は出力データとなる表情顔３Ｄデータ３２を格納し、残りの記憶装置Ｍ５３は中間結果を格納する。表示装置ＤＰＹは、例えば液晶ディスプレイで構成され、生成された表情顔３ＤデータＳ３２および処理過程のデータなどを表示するために使用される。入力装置ＫＥＹは、例えばキーボードとマウスで構成され、利用者から各種のデータや指示を受け付けるために利用される。制御装置ＣＮＴ５１は、例えばコンピュータの中央処理装置で構成され、本実施例の顔動作復号化装置の主たる処理を実行する。制御装置ＣＮＴ５１は、外力復号部３０および表情作成部３１を有する。
【０１０７】
制御装置ＣＮＴ５１の各機能部３０、３１は、制御装置ＣＮＴ５１を構成するコンピュータと顔動作復号化装置用プログラムとで実現することができる。顔動作復号化装置用プログラムは、磁気ディスク等のコンピュータ可読記録媒体ＰＭ５１に記録されており、コンピュータの立ち上げ時などにそのコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータ上に各機能部３０、３１を実現する。
【０１０８】
次に本実施例にかかる顔動作復号化装置の動作を説明する。制御装置ＣＮＴ５１は、先ず外力復号部３０を用いて、記憶装置Ｍ５１に記憶された無表情顔三次元データＳ３００と記憶装置Ｍ５２に記憶された無表情動作の外力情報Ｓ３０を入力する。
【０１０９】
ここで、無表情動作の外力情報Ｓ３０は、図２５の実施例７における表情動作の外力データＳ１２と表情動作の動作領域Ｓ１３を統合したものである。具体的には、動作領域Ｓ１３は、顔の一部を示す領域、両目や口裂点などの特徴点の位置や距離を基準にした相対的な位置で記述された領域として保存される。保存フォーマットとしては、顔面を平面、円筒、球面等の平面に投射して、二次元座標で保存する方法が考えられる。また本発明では動作領域を小領域にわけるので、二次元座標上でも動作領域を小領域に分割しておく。これは、地球を顔、地球上の一部の大陸を動作領域、その大陸内の国を小領域とし、世界地図を動作領域の投影面として考えると理解しやすい。小領域は、制御点の組を作るために付番しておく。外力データＳ１２としては、小領域の制御点にかかる外力三次元ベクトルと小領域の番号、動作領域と同じ二次元座標上の制御点の位置が保存される。
【０１１０】
外力復号部３０は、無表情顔三次元データＳ３００と無表情動作の外力情報Ｓ３０とから、例えば以下のようにして制御点の表情動作移動位置データＳ３１を生成し、記憶装置Ｍ５３に保存する。先ず、外力復号部３０は、無表情顔三次元データＳ３００を、外力情報Ｓ３０の動作領域と同じく顔特徴点の位置や距離を基準にした相対的な位置で記述されたフォーマットに展開する。次に、外力情報Ｓ３０の動作領域に対応する部分をその展開されたフォーマット上で探し、その部分を無表情顔三次元データｓ３００の動作領域とする。小領域と制御点についても同様にして無表情顔三次元データＳ３００の対応領域、対応点を探す。この処理は、無表情顔三次元データＳ３００を表示装置ＤＰＹに表示し、外力情報３０に記述されている制御点、小領域との対応付けをＧＵＩなどのツールでユーザが手動で行ってもよいし、特徴点を元に自動的に行ってもよい。無表情顔三次元データＳ３００の対応制御点が見つかると、外力復号部３０は、その点の三次元座標を前記式（７）のｘｉ（０）に割り当てる。また、その制御点（の対応点）の外力を外力情報Ｓ３０から読み込み、前記式（７）の外力Ｆｉとする。すべての制御点に関してこの処理を行った後、パラメータｄと表情動作の強度を表すｔを与えて外力情報３０の小領域番号が同じ制御点組で前記式（７）から表情動作後の制御点の三次元位置ｘｉ（ｔ）を計算する。この移動後の制御点の三次元位置情報と、位置復号用の無表情顔三次元データＳ３００での動作領域、小領域、制御点の上記フォーマットでの位置情報を制御点の表情動作移動位置Ｓ３１とする。
【０１１１】
表情生成部３１は、無表情顔三次元データＳ３００の制御点を表情動作移動位置Ｓ３１で示される位置に移動させ、その他の点は同じ小領域に属する制御点との相対位置から内挿、外挿により移動位置の三次元座標を計算して、顔三次元データＳ３００での対応位置をその移動位置に移動させる。すべての動作領域中の点を移動させると、表情動作顔の三次元データＳ３２が完成する。表情動作顔の三次元データＳ３２は、復号用の無表情動顔三次元データＳ３００にテクスチャが付随していれば、色情報がついた顔三次元データになる。なお、図２３に示した実施例５の表情作成部３１と同様に、表情作成部３１に、図９の隣接小領域調整部５と同様の機能を組み込んで、小領域の境界部分における段差などを解消するようにしても良く、また、図１４の未動作領域調整部６と同等の機能を表情作成部３１に組み込んで、動作領域と未動作領域との境界部分に生じる段差などを解消するようにしても良い。
【０１１２】
図２６の実施例８では、或る人物の無表情時の顔三次元データＳ３００を唯一の表情動作の外力情報Ｓ３０に基づいて変形したが、無表情顔三次元データＳ３００をそれぞれ異なる複数の表情動作の外力情報Ｓ３０に基づいて変形することもできる。この場合、外力復号部３０は、同じ制御点にかかる外力どうしを加算することにより複数の表情動作の外力情報Ｓ３０を１つの外力情報に合成し、その合成外力に基づいて制御点の表情動作移動位置データＳ３１を算出することにより、複数の外力情報Ｓ３０に応じた最終的な制御点の表情動作移動位置データを算出するか、あるいは、それぞれの外力情報Ｓ３０に基づいて制御点の表情動作移動位置データＳ３１を算出した後、同じ制御点にかかる移動位置の平均を求めることにより、複数の外力情報Ｓ３０に応じた最終的な制御点の表情動作移動位置データを算出する。
【０１１３】
図２７は本発明の第９の実施例のブロック図であり、或る人物の無表情時の顔画像（二次元顔画像）を表情動作時の外力情報に基づいて変形し、その人物の表情動作時の顔画像（二次元顔画像）を生成して出力する顔動作復号化装置に本発明を適用した実施例を示す。つまり、本実施例の顔動作復号化装置は、図２６に示した実施例８の顔動作復号化装置における入力である無表情顔三次元データＳ３００を無表情顔画像Ｓ３０１に代え、出力の表情顔三次元データＳ３２を表情顔画像Ｓ３２に代えたものである。
【０１１４】
本実施例の顔動作復号化装置は、処理装置ＣＮＴ６１と記憶装置Ｍ６１〜Ｍ６６と表示装置ＤＰＹと入力装置ＫＥＹとを含んで構成されている。複数の記憶装置Ｍ６１〜Ｍ６６は、例えば磁気ディスクで構成され、そのうち、記憶装置Ｍ６１、Ｍ６２は入力データとなる無表情顔画像Ｓ３０１および表情動作時の外力情報Ｓ３０を格納し、記憶装置Ｍ６６は出力データとなる表情顔画像Ｓ３３を格納し、残りの記憶装置Ｍ６３〜Ｍ６５は中間結果や処理の過程で必要となる制御データを格納する。表示装置ＤＰＹは、例えば液晶ディスプレイで構成され、生成された表情顔画像Ｓ３３および処理過程のデータなどを表示する。入力装置ＫＥＹは、例えばキーボードとマウスで構成され、利用者から各種のデータや指示を受け付ける。制御装置ＣＮＴ６１は、例えばコンピュータの中央処理装置で構成され、本実施例の顔動作復号化装置の主たる処理を実行する。制御装置ＣＮＴ６１は、顔画像三次元化部３２、外力復号部３０および表情画像作成部３３を有する。
【０１１５】
制御装置ＣＮＴ６１の各機能部３２、３０、３３は、制御装置ＣＮＴ６１を構成するコンピュータと顔動作復号化装置用プログラムとで実現することができる。顔動作復号化装置用プログラムは、磁気ディスク等のコンピュータ可読記録媒体ＰＭ６１に記録されており、コンピュータの立ち上げ時などにそのコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータ上に各機能部３２、３０、３３を実現する。
【０１１６】
次に本実施例にかかる顔動作復号化装置の動作を説明する。制御装置ＣＮＴ６１は、先ず顔画像三次元化部３２を用いて、記憶装置Ｍ６１に記憶された復号化用に用いられる或る人物の無表情顔画像Ｓ３０１を入力し、記憶装置Ｍ６３に予め用意された無表情顔の三次元モデルＳ３０２に貼り付けることで、復号用の無表情顔三次元データＳ３００を生成し、記憶装置Ｍ６４に保存する。次に、図２６の第８実施例と同様に、外力復号部３０を用いて、記憶装置Ｍ６２に記憶された表情動作の外力情報Ｓ３０に従って、記憶装置Ｍ６４に保存された復号用の無表情顔三次元データＳ３００の動作領域における各制御点の移動位置が計算され、制御点の表情動作移動位置データＳ３１として記憶装置Ｍ６５に保存される。次に、表情画像作成部３３を用いて、図２６の第８実施例の表情作成部３１と同様に、記憶装置Ｍ６５に保存された制御点の表情動作移動位置データＳ３１に基づいて、記憶装置Ｍ６４に格納された復元用の無表情顔三次元データＳ３００が変形さされて表情動作時の表情動作顔の三次元データが生成され、次いで、この三次元データを指定したビューに投影して復号時の表情動作顔画像Ｓ３３が生成され、記憶装置Ｍ３６に出力される。
【０１１７】
なお、第８実施例では、無表情顔三次元データＳ３００が入力され、表情動作顔の三次元データＳ３２が出力され、第９実施例では、無表情顔画像Ｓ３０１が入力され、表情動作顔画像Ｓ３３が出力された。他の例として、無表情顔三次元データＳ３００が入力され、表情動作顔画像Ｓ３３が出力される顔動作復号化装置や、無表情顔画像Ｓ３０１が入力され、表情動作顔の三次元データＳ３２が出力される顔動作復号化装置も考えられる。
【０１１８】
図２７の第９実施例では、或る人物の無表情顔画像Ｓ３０１が唯一の表情動作の外力情報Ｓ３０に基づいて変形されたが、図２６の第８実施例と同様に、無表情顔画像Ｓ３０１がそれぞれ異なる複数の表情動作の外力情報Ｓ３０に基づいて変形されてもよい。
【０１１９】
図２８は本発明の第１０実施例による顔動作符号復号化装置のブロック図であり、或る人物Ａの無表情時と表情動作時の三次元データの組から別の人物Ｂの無表情顔の三次元データに表情動作を付与する。
【０１２０】
本実施例の顔動作符号復号化装置は、符号化装置７１、伝送装置７２、復号化装置７３を備えており、伝送装置７２と復号化装置７３とは通信路７４によって通信可能に接続されている。また、復号化装置７１の入力データとなる人物Ａの無表情顔三次元データＳ１００および人物Ａの表情動作顔三次元データＳ１０１を記憶する記憶装置Ｍ７１、復号化装置７１で生成された表情動作の外力データＳ１２および表情動作の動作領域Ｓ１３を保存する記憶装置Ｍ７２、伝送装置７２が表情動作の外力データＳ１２および動作領域Ｓ１３を統合して作成した表情動作の外力情報Ｓ３０を一時的に保存する記憶装置Ｍ７３、人物Ｂの無表情顔三次元データＳ３００を記憶する記憶装置Ｍ７４、通信路７４を通じて伝送装置７２から送られてくる表情動作の外力情報Ｓ３０と記憶装置Ｍ７４に記憶された人物Ｂの無表情顔三次元データＳ３００とに基づいて復号化装置７３で生成された人物Ｂの表情顔三次元データＳ３２を保存する記憶装置Ｍ７５を備えている。
【０１２１】
符号化装置７１は、図２５に示される実施例７の顔動作符号化装置で実現することができる。つまり、符号化装置７１は、図２５の差分計算部１０および外力計算部１１を備える処理装置ＣＮＴ４１、記憶装置Ｍ４２、表示装置ＤＰＹおよび入力装置ＫＥＹで構成される。従って、符号化装置７１の動作は実施例７の顔動作符号化装置の動作と同じである。
【０１２２】
伝送装置７２は、表情動作の外力データＳ１２とその動作領域Ｓ１３の復号化装置７３への転送とその制御を行う。動作領域Ｓ１３は、顔の一部を示す領域、両目や口裂点などの特徴点の位置や距離を基準にした相対的な位置で記述された領域として保存される。保存フォーマットとしては、顔面を平面、円筒、球面等の平面に投射して、二次元座標で保存する方法が考えられる。また動作領域が小領域に分けられるので、二次元座標上でも動作領域が小領域に分割されている。小領域には、制御点の組を作るために付番されている。外力データＳ１２としては、小領域の制御点にかかる外力三次元ベクトルと小領域の番号、動作領域と同じ二次元座標上の制御点の位置が保存される。なお、動作領域や小領域は領域全体を送る必要はなく、その輪郭だけでもよい。伝送の仕方としては、単純にそのまま伝送しても良いし、可逆符号化を行ってから伝送し、受信側で復号することも可能である。復号化装置７３へは、外力データＳ１２とその動作領域Ｓ１３を統合した外力情報Ｓ３０として送られる。
【０１２３】
伝送装置７２の機能として、非対称な表情動作の作成時の処理がある。非対称な表情動作とは、符号化側で複数の表情動作を作り、伝送装置７２がそれらを同時に復号化装置７３に送り、復号化装置７３で複数の表情動作を混合させた表情動作を作ることである。この場合、複数の表情動作のための外力情報Ｓ３０の情報を蓄積しておく必要がある。
【０１２４】
復号化装置７３は、図２６に示される第８実施例の顔動作復号化装置で実現することができる。つまり、復号化装置７３は、図２６の外力復号部３０および表情作成部３１を備える処理装置ＣＮＴ５１、記憶装置Ｍ５３、表示装置ＤＰＹおよび入力装置ＫＥＹで構成することができる。従って、復号化装置７３の動作は実施例８の顔動作復号化装置の動作と同じである。
【０１２５】
上記の説明では、符号化装置７１として図２５に示される第７実施例の顔動作符号化装置を用い、復号化装置７３として図２６に示される第８実施例の顔動作復号化装置を用いる。しかしながら、符号化装置７１として図１８に示される第４実施例の顔動作符号化装置を用い、復号化装置７３として図２３に示される第５実施例の顔動作復号化装置を用いられる顔動作符号復号化装置の実施例も考えられる。
【０１２６】
図２９は本発明の第１１実施例による顔動作符号復号化装置のブロック図であり、或る人物Ａの無表情時と表情動作時の三次元データの組から別の人物Ｂの無表情顔画像に表情動作を付与する。つまり、本実施例の顔動作符号復号化装置では、図２８に示される第１０実施例の顔動作符号復号化装置における復号化装置の入力である無表情顔三次元データＳ３００が無表情顔画像Ｓ３０１に置換され、出力の表情顔三次元データＳ３２が表情顔画像Ｓ３２に置換されている。
【０１２７】
本実施例の顔動作符号復号化装置は、符号化装置８１、伝送装置８２、復号化装置８３を備えており、伝送装置８２と復号化装置８３とは通信路８４によって通信可能に接続されている。また、復号化装置８１の入力データとなる人物Ａの無表情顔三次元データＳ１００および人物Ａの表情動作顔三次元データＳ１０１を記憶する記憶装置Ｍ８１、復号化装置８１で生成された表情動作の外力データＳ１２および表情動作の動作領域Ｓ１３を保存する記憶装置Ｍ８２、伝送装置８２が表情動作の外力データＳ１２および動作領域Ｓ１３を統合して作成した表情動作の外力情報Ｓ３０を一時的に保存する記憶装置Ｍ８３、人物Ｂの無表情顔画像Ｓ３０１を記憶する記憶装置Ｍ８４、無表情顔の三次元モデルＳ３０２を記憶する記憶装置Ｍ８５、通信路８４を通じて伝送装置８２から送られてくる表情動作の外力情報Ｓ３０と記憶装置Ｍ８４に記憶された人物Ｂの無表情顔画像Ｓ３０１と記憶装置Ｍ８５に記憶された無表情顔の三次元モデルＳ３０２とに基づいて復号化装置８３で生成された人物Ｂの表情顔画像Ｓ３３を保存する記憶装置Ｍ８６を備えている。
【０１２８】
符号化装置８１および伝送装置８２は、図２８に示される第１０実施例の符号化装置７１および伝送装置７２と同じである。従って符号化装置８１は、図２５に示される第７実施例の顔動作符号化装置で実現することができる。他方、復号化装置８３は、図２７に示される第９実施例の顔動作復号化装置で実現することができる。つまり、復号化装置８３は、図２７の顔画像三次元化部３２、外力復号部３０および表情画像作成部３３を備える処理装置ＣＮＴ６１、記憶装置Ｍ６３〜Ｍ６５、表示装置ＤＰＹおよび入力装置ＫＥＹで構成することができる。従って、復号化装置８３の動作は実施例９の顔動作復号化装置の動作と同じである。
【０１２９】
上記の説明では、符号化装置８１として図２５に示される第７実施例の顔動作符号化装置が用いられ、復号化装置８３として図２７に示される第９実施例の顔動作復号化装置が用いられる。しかしながら、符号化装置８１として図１８に示される第４実施例の顔動作符号化装置が用いられ、復号化装置８３として図２４に示される第６実施例の顔動作復号化装置が用いられる顔動作符号復号化装置も考えられる。
【０１３０】
なお、第１０実施例は、無表情顔三次元データＳ３００が入力され、表情動作顔の三次元データＳ３２が出力される復号化装置７３を備え、第１１実施例は、無表情顔画像Ｓ３０１が入力され、表情動作顔画像Ｓ３３が出力される復号化装置８３を備えている。しかしながら、他の例として、無表情顔三次元データＳ３００が入力され、表情動作顔画像Ｓ３３が出力される復号化装置を備える顔動作符号復号化装置や、無表情顔画像Ｓ３０１が入力され、表情動作顔の三次元データＳ３２が出力される復号化装置を備える顔動作符号復号化装置も考えられる。
【０１３１】
前述した実施例では、コンピュータグラフィックス技術を用いて顔画像や顔三次元データを変形することで顔に表情が付与された。しかしながら、本実施例は、ロボットの頭部に可撓性を有する仮面が装着され、その仮面の形状を変形することにより顔に表情が与えられる。図３０は、ロボットの頭部に内蔵される制御機器の構成例を示す。図３０において、１３００はロボットの頭部に装着された仮面の断面を示す。仮面１３００の裏面には、各動作領域における各制御点毎に、三次元アクチュエータ１３０１の可動片１３０２の端部１３０３が固定されており、その端部１３０３は、初期状態では無表情時の位置になるように設定されている。各三次元アクチュエータ１３０１は、制御装置１３０４と信号線１３０５で接続されており、制御装置１３０４から信号線１３０５を通じて与えられる移動位置信号に応じて可動片１３０２の端部１３０３のＸＹＺ座標位置が変更される。可動片１３０２の端部１３０３は仮面の裏面の制御点に固定されているので、端部１３０３の位置が移動すると、仮面１３００の各制御点がその周辺部分と一体となって移動し、仮面が変形して所望の表情が表出される。この場合、各制御点の周囲の領域は各制御点に引きずられて移動するので、隣接小領域間の境界部分の平滑化および動作領域と未動作領域の境界部分の平滑化は、特に必要はない。
【０１３２】
各制御点の移動後のＸＹＺ座標位置は、記憶装置１３０６に記憶されている。この記憶装置１３０６に記憶される各制御点のＸＹＺ座標位置の算出は、前述の第１実施例、第５実施例、第６実施例、第８実施例、第９実施例と同様に行われる。つまり、記憶装置１３０６は、図２に示される第１実施例における記憶装置Ｍ５、図２３の第５実施例における記憶装置Ｍ２５、図２４に示される第６実施例における記憶装置Ｍ３５、図２６に示される第８実施例における記憶装置Ｍ５３、図２７に示される第９実施例における記憶装置Ｍ６５に相当する。なお、制御装置１３０４はコンピュータと制御装置用プログラムとで実現することが可能である。
【０１３３】
以上本発明の実施例について説明されたが、本発明は以上の実施例にのみ限定されず、その他各種の付加変更が可能である。例えば、経時的な形態の変化を伴う物体として人間の顔やロボットの顔を例にしたが、犬や猫の顔など経時的な形態の変化を伴う任意の物体に対して本発明は適用可能である。
【技術分野】
【０００１】
本発明は、物体の形態を変形する形態変形装置、物体動作（形態変形）符号化装置および物体動作（形態変形）復号化装置に関し、特に顔の一部の領域の形状を変形させて表情を付与する形態変形装置、物体動作（形態変形）符号化装置および物体動作（形態変形）復号化装置に関する。
【背景技術】
【０００２】
近年、バーチャルリアリティ（ＶＲ）やコンピュータグラフィック（ＣＧ）の分野において、表情を与えるために顔画像を変形する技術が利用されている。例えば、或る人物の顔の表情の変化が検出され、それと同じ変化を同じ人物あるいは別の人物の顔画像に施すことにより、特定の人物に同期してその人の表情が変えられる擬人化エージェントが実現されている。
【０００３】
このような顔表情合成の技術には、大きく分けて２つの流れが存在する。１つは、顔の皮膚下にある表情筋に連動して動く皮膚表面が物理モデルとして取り扱われ、筋肉・骨の動きに基づいて運動方程式を解くことによって皮膚表面にあたるワイヤーフレームモデルを動かす方法である。この従来技術は、例えば、Ｄ．ＴｅｒｚｏｐｏｕｌｏｓとＫ．Ｗａｔｅｒｓによる”ａｎａｌｙｓｉｓ ａｎｄ Ｓｙｎｔｈｅｓｉｓ ｏｆ Ｆａｃｉａｌ Ｉｍａｇｅ Ｓｅｑｕｅｎｃｅｓ Ｕｓｉｎｇ Ｐｈｙｓｉｃａｌ ａｎｄ Ａｎａｔｏｍｉｃａｌ Ｍｏｄｅｌｓ”，（ＩＥＥＥ Ｔｒａｎｓ．ＰＡＭＩ，ｖｏｌ．１５，Ｎｏ．６，ｐｐ．５６９−５７９，Ｊｕｎｅ １９９３）に述べられている。もう１つは、ワイヤーフレームモデルに直接規則的な幾何学的変形を施して表情を作成する方法である。この従来技術は、例えば、特開平８−９６１６２号公報に述べられている。
【０００４】
他方、心理学者Ｅｋｍａｎらによって提案された表情記述法であるＦＡＣＳ（Ｆａｃｉａｌ Ａｃｔｉｏｎ Ｃｏｄｉｎｇ Ｓｙｓｔｅｍ）が情報工学の分野においても表情の研究で広く利用されている（例えば、”Ｆａｃｉａｌ Ａｃｔｉｏｎ ｃｏｄｉｎｇ ｓｙｓｔｅｍ”，（Ｃｏｎｓｕｌｔｉｎｇ Ｐｓｙｃｈｏｌｏｇｉｓｔ Ｐｒｅｓｓ，１９７７）。ＦＡＣＳは、顔面筋肉の解剖学的知見に基づき、「眉の内側を上げる」、「唇両端を横に引く」、「口を大きく開ける」、「細目にする」など合計４４の動作単位（ＡＵ：Ａｃｔｉｏｎ Ｕｎｉｔ）を要素として用いて、顔面動作を包括的かつ客観的に記述する方法である。ＡＵの組み合わせで人間のあらゆる表情が記述可能だと言われている。このＦＡＣＳは、ワイヤーフレームモデルに直接規則的な幾何学的変形を施して表情を作成する方法と組み合わせて使用される例が一般的である。
【０００５】
上述したように、顔表情合成の技術として従来より、幾何学的な変形を用いる方法と物理モデルを用いる方法が知られている。幾何学的な変形を用いる方法では、表情を表出させるための規則が点の移動によってのみ定義されるので、比較的少ない計算量で高速な処理が可能であるという利点を有する。しかしながら、顔モデルに個人の特徴を反映させるのが難しく、また自然な表情を実現できない。これに対して、物理モデルを用いる方法では、表情筋の動きを直接表現することが可能であるので、表情の生成過程を滑らかに表現することができ、また表情筋の配置の変更により様々な顔の造作に対応することができる。しかしながら、計算量が膨大になってしまうという問題がある。
【０００６】
上記と関連して、顔画像合成装置が特開平３−７４７７７号公報に開示されている。この従来例によれば、人間の本能的動作若しくは無意識動作に基づく動きパラメータ及び表情パラメータが、表情及び動きパラメータを含む顔画像情報に付加され、それに基づいて顔画像が合成される。
【０００７】
また、表情コードの再生表示装置が特開平６−７６０４４に開示されている。この従来例の装置は、表情発生条件を設定する表情発生条件入力装置を有している。演算処理装置は、表情発生条件入力装置からの指示信号に従い顔面における前額、眉、口などの可動部分の移動量、移動方向、形態変化を計算し、表情の医学的解析に基づく表情要素コードを再生する表情コード再生部を備えている。表情表示装置は、演算処理装置で再生された表情要素コードに従い顔面の形態を再生表示するとともに、前額、眉、目、口などを移動、変形させる。
【０００８】
また、表情のコード化装置が特開平６−７６０５８に開示されている。この従来例の表情のコード化装置では、画像入力装置は、顔面画像を電気信号として取り込み、符号化して、所定の顔面画像データを生成する。特徴部位抽出処理部は、画像入力装置からの所定の顔面画像データを受けて、特徴部位抽出条件に基づき特徴部位画像を抽出する。表情要素抽出処理部は、その特徴部位画像から所定の表情要素と特徴部位の関連規則に基づいて表情要素を抽出して表情要素情報を生成する。表情要素定量化処理部は、その表情要素情報から所定の表情要素定量化規則に基づいて表情要素定量化処理して表情要素コードを算出する。更に、記憶部は、その表情要素コードを格納する。表情要素コード出力装置は、演算処理装置に保有された表情要素コードを出力する。
【０００９】
また、顔画像作成装置が特開平８−３０５８７８に開示されている。この従来例の顔画像作成装置では、顔画像生成部は、顔の各部位を形成するパーツ画像を選定して顔画像を生成する。表情付与部は、指定された表情に応じて顔画像を形成するパーツ画像に対して画像変形、表示位置移動および表示・非表示処理を施し、その顔画像に表情変化を付与する。
【００１０】
また、表情アニメーション生成装置が特開２００２−３０４６３８（Ｐ２００２−３０４６３８Ａ）に開示されている。この従来例の表情アニメーション生成装置では、表情差分データ抽出部は、対象人物の表情顔サンプルから特徴点を抽出し、特徴点に基づいて表情顔サンプルを複数のパーツに分割し、各パーツごとに指定された２つの異なる表情間の表情遷移変化に伴う形状およびテクスチャの差分を求め、差分形状データと差分テクスチャを獲得する。動作パターン設定部は、各パーツごとの時間変化を規定するための動作パターン関数を指定する。時系列表情画像合成部は、動作パターン関数と差分形状データとに基づいて算出された任意時刻における中間差分形状データと、動作パターン関数と差分テクスチャとに基づいて算出された任意時刻における中間差分テキスチャとを所定の時間間隔で生成し、所定の時間間隔ごとの時系列表情形状データおよび時系列表情テクスチャを生成する。表情アニメーション再生部は、時系列表情形状データに基づく形状に時系列表情テクスチャをマッピングすることで生成された所定の時間間隔ごとに時系列表情画像を連続表示することによって、表情アニメーションを生成する。
【００１１】
また、表情合成装置が特開２００２−３２９２１４（Ｐ２００２−３２９２１４Ａ）に開示されている。この従来例の表情合成方法は、コンピュータグラフィックスを用いる。その合成方法は、顔の表情モデルを、顔の特徴点のデータとして入力する工程と、表情モデルの括約筋に囲まれた略楕円形の括約筋領域を抽出し、括約筋領域の長軸より上方の領域を、長軸と半楕円形状とで囲まれた半楕円領域として規定する抽出工程と、半楕円領域に含まれる特徴点を検索する工程と、顔の表情が変化した場合の、半楕円領域に含まれる特徴点の移動ベクトルを計算する計算工程と、移動ベクトルに従って特徴点を移動させ、表情変化後の表情モデルを合成する工程とを含む。
【発明の開示】
【００１２】
本発明の目的は、顔表情合成など形態の変化を実現する際の計算量を削減することにある。
【００１３】
本発明の観点では、形態変形符号化装置は、形態変化前の物体の形態を表わす変化前形態データと前記形態変化後の前記物体の形態を表わす変化後形態データとの間の差分データを計算する計算部と、前記変化前形態データと、前記差分データとに基づいて、前記物体の前記形態変化の生じた動作領域と、前記形態変化のために前記動作領域に加えられる外力とを決定する決定部とを具備する。
ここで、前記計算部は、３次元モデルに基づいて前記変化前形態データと前記変化後形態データを変化前形態モデルデータと変化後形態モデルデータに変換する変換部と、前記変化前形態モデルデータと前記変化後形態モデルデータとの差から前記差分データを計算する差分計算部とを具備する。前記モデルは、３次元ポリゴンメッシュモデルであり、前記変化前形態データと前記変化後形態データは３次元データであってもよい。前記動作領域は、複数の小領域を含み、前記複数の小領域の各々は複数の制御点を含み、前記外力は、前記複数の小領域の各々の物理モデル構造に基づいて、前記形態変化の前後で前記複数の小領域を独立に変化させるのに必要な外力として計算される。この場合、前記物理モデル構造として、制御点どうしがバネとダンパーで結合された物理モデル構造が用いられてもよい。前記複数の小領域の全てにおいて、前記制御点の個数および前記物理モデル構造が同じであることが望ましい。また、前記物体は人の顔を含み、前記形態変化前の物体の形態とは無表情な顔の状態を示し、前記形態変化後の物体の形態とは表情が表出された顔の状態を示してもよい。
【００１４】
また、本発明の他の観点では、形態変形復号化装置は、形態変化前の物体の形態を表わす変化前形態データと、形態変化に対応する動作領域に加えられる外力の情報とに基づいて、前記動作領域内の制御点の移動位置を決定する復号部と、前記変化前形態データと前記複数の制御点の各々の移動位置とから前記形態変化後の前記物体の形態を表わす変化後形態データを生成する形態生成部とを具備する。前記動作領域は、複数の小領域を含み、前記複数の小領域の各々は複数の制御点を含み、前記複数の小領域の各々の前記制御点の移動位置は、前記複数の小領域単位で物理モデルを用いて決定される。
ここで、前記変化前形態データは３次元データであり、前記復号部は、前記形態変化前の前記物体の形態の３次元モデルと前記変化前形態データとに基づいて変化前形態モデルデータを生成するモデルデータ生成部と、前記外力情報に基づいて前記変化前形態モデルデータから前記動作領域内の制御点の各々の移動位置を決定する移動量計算部とを具備してもよい。代わりに、前記変化前形態データは３次元データであり、前記復号部は、３次元ポリゴンメッシュモデルと前記変化前形態データとに基づいて変化前形態メッシュモデルデータを生成するモメッシュデルデータ生成部と、前記外力情報に基づいて前記変化前形態メッシュモデルデータから前記動作領域内の制御点の各々の移動位置を決定する移動量計算部とを具備してもよい。
また、前記複数の小領域の各々において、前記小領域に含まれる制御点以外の非制御点の移動位置をその非制御点の近傍の前記制御点の移動位置から計算する動作内挿部を更に具備することが好ましい。前記形態生成部は、前記変化前形態データと前記複数の制御点の各々の移動位置とから前記複数の小領域の単位で前記形態変化後の前記物体の形態を生成する。このとき、前記形態変化後の前記複数の小領域のうちの隣接するものの境界部分に生じる不連続箇所を平滑化する隣接小領域調整部を更に具備してもよい。また、前記形態変化後の前記動作領域とその周囲の未動作領域との境界部分に生じる不連続箇所を平滑化する未動作領域調整部を更に具備してもよい。
ここで、前記複数の小領域の各々の物理モデルでは、前記制御点がバネとダンパーで結合されている。前記物体は人の顔を含み、前記形態変化前の形態は無表情な顔を示し、前記形態変化後の形態は、表情が表出された顔を示してもよい。前記変化後形態データに基づいて、可撓性を有する前記物体における前記動作領域を駆動する三次元アクチュエータ群を更に具備してもよい。
【００１５】
また、本発明の他の観点で、形態変形符号復号化装置は、上記のいずれかの形態変形符号化装置と、請求項８乃至１７の何れかに記載された形態変形復号化装置と、前記形態変化符号化装で生成された前記動作領域と前記外力情報を通信路を通じて前記形態変形復号化装置へ伝送する伝送装置とを具備する。
【００１６】
また、本発明の他の観点で、形態変形符号化方法は、形態変化前の物体の形態を表わす変化前形態データと前記形態変化後の前記物体の形態を表わす変化後形態データとの間の差分データを計算するステップと、前記変化前形態データと、前記差分データとに基づいて、前記物体の前記形態変化の生じた動作領域と、前記形態変化のために前記動作領域に加えられる外力とを決定するステップとにより達成される。
【００１７】
ここで、前記計算ステップは、３次元モデルに基づいて前記変化前形態データと前記変化後形態データを変化前形態モデルデータと変化後形態モデルデータに変換するステップと、前記変化前形態モデルデータと前記変化後形態モデルデータとの差から前記差分データを計算するステップとにより達成されてもよい。前記モデルは、３次元ポリゴンメッシュモデルであり、前記変化前形態データと前記変化後形態データは３次元データであってもよい。前記動作領域は、複数の小領域を含み、前記複数の小領域の各々は複数の制御点を含み、前記外力は、前記複数の小領域の各々の物理モデル構造に基づいて、前記形態変化の前後で前記複数の小領域を独立に変化させるのに必要な外力として計算されてもよい。前記物理モデル構造として、制御点どうしがバネとダンパーで結合された物理モデル構造が用いられることが好ましい。また、前記複数の小領域の全てにおいて、前記制御点の個数および前記物理モデル構造が同じであることが更に好ましい。前記物体は人の顔を含み、前記形態変化前の物体の形態とは無表情な顔の状態を示し、前記形態変化後の物体の形態とは表情が表出された顔の状態を示す。
【００１８】
本発明の他の観点では、形態変形復号化方法は、形態変化前の物体の形態を表わす変化前形態データと、形態変化に対応する動作領域に加えられる外力の情報とに基づいて、前記動作領域内の制御点の移動位置を決定するステップと、前記変化前形態データと前記複数の制御点の各々の移動位置とから前記形態変化後の前記物体の形態を表わす変化後形態データを生成するステップとにより達成される。前記動作領域は、複数の小領域を含み、前記複数の小領域の各々は複数の制御点を含み、前記複数の小領域の各々の前記制御点の移動位置は、前記複数の小領域単位で物理モデルを用いて決定される。
ここで、前記変化前形態データは３次元データであり、前記移動位置を決定するステップは、前記形態変化前の前記物体の形態の３次元モデルと前記変化前形態データとに基づいて変化前形態モデルデータを生成するステップと、前記外力情報に基づいて前記変化前形態モデルデータから前記動作領域内の制御点の各々の移動位置を決定するステップとにより達成される。代わりに、前記変化前形態データは３次元データであり、前記移動位置を決定するステップは、３次元ポリゴンメッシュモデルと前記変化前形態データとに基づいて変化前形態メッシュモデルデータを生成するステップと、前記外力情報に基づいて前記変化前形態メッシュモデルデータから前記動作領域内の制御点の各々の移動位置を決定するステップとにより達成されてもよい。
前記複数の小領域の各々において、前記小領域に含まれる制御点以外の非制御点の移動位置をその非制御点の近傍の前記制御点の移動位置から計算するステップを更に具備してもよい。このとき、前記変化後形態データを生成するステップは、前記変化前形態データと前記複数の制御点の各々の移動位置とから前記複数の小領域の単位で前記形態変化後の前記物体の形態を生成する。また、前記形態変化後の前記複数の小領域のうちの隣接するものの境界部分に生じる不連続箇所を平滑化するステップを更に具備しても良いし、前記形態変化後の前記動作領域とその周囲の未動作領域との境界部分に生じる不連続箇所を平滑化するステップを更に具備してもよい。
前記複数の小領域の各々の物理モデルでは、前記制御点がバネとダンパーで結合されていることが好ましく、前記物体は人の顔を含み、前記形態変化前の形態は無表情な顔を示し、前記形態変化後の形態は、表情が表出された顔を示してもよい。あるいは、前記物体はロボットであり、前記変化後形態データに基づいて、可撓性を有する前記物体における前記動作領域を駆動するステップを更に具備してもよい。
【００１９】
本発明の他の観点では、形態変化符号復号化方法は、上記のいずれかの形態変形符号化方法により前記動作領域の情報と、前記外力の情報を生成するステップと、前記動作領域の情報と前記外力情報を通信路を通じて伝送するステップと、上記のいずれかの形態変形復号化方法により、前記伝送された動作領域の情報と、前記伝送された外力の情報から前記物体の形態を表わす変化後形態データを生成するステップにより達成される。
【００２０】
更に、本発明の他の観点では、本発明は、上記のいずれかの形態変形符号化方法あるいは上記のいずれかの形態変形復号化方法を実現するための計算機読み取り可能なソフトウェアプロダクトに関する。
【００２１】
本発明によれば、顔表情合成などを物理モデルを用いて実現する際の計算量を削減することができる。バネモデルなどの物理モデルを用いて顔表情合成する従来の手法では、表情筋が配置されている領域全体を１つの領域として、その領域内に含まれる各点の移動位置を外力に基づいて計算するために計算量が膨大になるが、本発明ではより細かな小領域単位で独立に各制御点の移動位置を計算している。また、外力に応じた移動位置を求める対象を、小領域に属する点の一部である制御点に限定し、残りの点である非制御点はその非制御点の近傍の制御点の移動位置から内挿等によって求めている。
【００２２】
また、動作領域を複数の小領域に分割し小領域単位に独立して移動位置を計算された場合に生じ易い小領域どうしの境界部分の段差などを目立たなくでき、動作領域とその周囲の未動作領域との境界部分に生じる段差などを目立たなくできる。また、小領域の物理モデル構造として、制御点どうしがバネとダンパーで結合された物理モデル構造を用いられるため、表情筋の動作に近い動作を再現することができる。このとき、全ての小領域の制御点の個数および物理モデル構造を等しくしたため、制御点の移動位置を計算する際のパラメータ数を少なくでき、また計算量をより一層削減することができる。物体モデルが人の顔モデルを含み、経時的な形態の変化が人の顔の表情の変化を含むとき、人の顔の表情の合成などが可能になる。
【００２３】
また、本発明によれば、物体の形態変化前後で相違する領域である動作領域とその動作領域に含まれる各制御点に加える外力とを少ない計算量で求めることができる。バネモデルなどの物理モデルを用いて顔表情合成する従来の手法では、表情筋が配置されている領域全体を１つの領域として、その領域内に含まれる全ての点の移動量から外力を計算するために計算量が膨大になるが、本発明ではより細かな小領域単位で独立に各制御点の移動量から外力を計算している。小領域の物理モデル構造として、制御点どうしがバネとダンパーで結合された物理モデル構造を用いられるため、表情筋の動作に近い動作を再現するための外力を計算することができる。全ての小領域の制御点の個数および物理モデル構造を等しくしたため、外力計算に必要な計算量をより一層削減でき、また必要なパラメータ数も少なくできる。物体が人の顔を含み、形態変化前が無表情な状態、状態変化後が表情が表出された状態であるとき、人の顔を無表情から或る表情の顔にするために必要な外力を計算することができる。
【００２４】
また、物体の三次元データを外力情報に基づいて変形（変換）した三次元データを少ない計算量で生成できる。バネモデルなどの物理モデルを用いて顔表情合成する従来の手法では、表情筋が配置されている領域全体を１つの領域として、その領域内に含まれる各点の移動位置を外力に基づいて計算するために計算量が膨大になるが、本発明ではより細かな小領域単位で独立に各制御点の移動位置を計算している。物体の画像を外力情報に基づいて変形した画像を少ない計算量で生成できる。バネモデルなどの物理モデルを用いて顔表情合成する従来の手法では、表情筋が配置されている領域全体を１つの領域として、その領域内に含まれる各点の移動位置を外力に基づいて計算するために計算量が膨大になるが、本発明ではより細かな小領域単位で独立に各制御点の移動位置を計算している。例えば「口を大きく開ける」ための外力情報と「上瞼を上げる」ための外力情報といった複数の外力情報に基づいて形態変化前の三次元データや画像に対応する形態変化後の各制御点の移動量を計算することができる。動作領域を複数の小領域に分割し小領域単位に独立して移動位置を計算された場合に生じ易い小領域どうしの境界部分の段差などを目立たなくでき、動作領域とその周囲の未動作領域との境界部分に生じる段差などを目立たなくできる。小領域の物理モデル構造として、制御点どうしがバネとダンパーで結合された物理モデル構造を用いられるため、表情筋の動作に近い動作を再現することができ、物体が人の顔を含み、形態変化前が無表情な状態、状態変化後が或る表情が表出された状態であるため、人の無表情顔に或る表情を与えることができる。
【００２５】
本発明によれば、或る人物の顔の表情の変化を検出し、それと同じ変化を同じ人物あるいは別の人物の顔画像などに施すことにより、特定の人物に同期して表情を変える擬人化エージェントを少ない計算量で実現できる。バネモデルなどの物理モデルを用いて顔表情合成する従来の手法では、表情筋が配置されている領域全体を１つの領域として、その領域内に含まれる各点の移動位置から外力を計算するために計算量が膨大になるが、本発明ではより細かな小領域単位で独立に各制御点の移動位置から外力を計算している。また、バネモデルなどの物理モデルを用いて顔表情合成する従来の手法では、表情筋が配置されている領域全体を１つの領域として、その領域内に含まれる各点の移動位置を外力に基づいて計算するために計算量が膨大になるが、本発明ではより細かな小領域単位で独立に各制御点の移動位置を計算している。ロボットの頭部に装着した仮面などの物体に表情を表出させるための計算量を削減できる。バネモデルなどの物理モデルを用いて顔表情合成する従来の手法では、表情筋が配置されている領域全体を１つの領域として、その領域内に含まれる各点の移動位置を外力に基づいて計算するために計算量が膨大になるが、本発明ではより細かな小領域単位で独立に各制御点の移動位置を計算している。
【図面の簡単な説明】
【００２６】
【図１】図１は、本発明の原理説明図である。
【図２】図２は、本発明の第１実施例にかかる形態変形装置の構成を示すブロック図である。
【図３】図３は、本発明の第１実施例にかかる形態変形装置における動作領域指定部の処理例を示すフローチャートである。
【図４】図４は、本発明の第１実施例にかかる形態変形装置における動作領域分割部の処理例を示すフローチャートである。
【図５】図５は、本発明の第１実施例にかかる形態変形装置における制御点データの構成例を示す図である。
【図６】図６は、本発明の第１実施例にかかる形態変形装置における制御点動作部の処理例を示すフローチャートである。
【図７Ａ】図７Ａは、本発明の第１実施例にかかる形態変形装置における動作内挿部の動作説明図である。
【図７Ｂ】図７Ｂは、本発明の第１実施例にかかる形態変形装置における動作内挿部の動作説明図である。
【図８】図８は、本発明の第１実施例にかかる形態変形装置における動作内挿部の処理例を示すフローチャートである。
【図９】図９は、本発明の第２の実施例にかかる形態変形装置のブロック図である。
【図１０Ａ】図１０Ａは、小領域の境界部分に段差などの不連続箇所が発生する様子を示す図である。
【図１０Ｂ】図１０Ｂは、小領域の境界部分に段差などの不連続箇所が発生する様子を示す図である。
【図１０Ｃ】図１０Ｃは、小領域の境界部分に段差などの不連続箇所が発生する様子を示す図である。
【図１１】図１１は、本発明の第２の実施例にかかる形態変形装置における隣接小領域調整部の処理例を示すフローチャートである。
【図１２】図１２は、本発明の第２の実施例にかかる形態変形装置における隣接小領域調整部で行われる平滑化処理のフローチャートである。
【図１３】図１３は、本発明の第２の実施例にかかる形態変形装置における隣接小領域調整部の動作説明図である。
【図１４】図１４は、本発明の第３の実施例にかかる形態変形装置のブロック図である。
【図１５Ａ】図１５Ａは、動作領域と未動作領域との境界部分に段差などの不連続箇所が発生する様子を示す図である。
【図１５Ｂ】図１５Ｂは、動作領域と未動作領域との境界部分に段差などの不連続箇所が発生する様子を示す図である。
【図１６】図１６は、本発明の第３の実施例にかかる形態変形装置における未動作領域調整部で行われる平滑化処理のフローチャートである。
【図１７】図１７は、本発明の第３の実施例にかかる形態変形装置における未動作領域調整部の動作説明図である。
【図１８】図１８は、本発明の第４の実施例にかかる顔動作（形態変形）符号化装置のブロック図である。
【図１９】図１９は、本発明の第４の実施例にかかる顔動作（形態変形）符号化装置で用いられる顔三角ポリゴンメッシュモデルの一例を示す図である。
【図２０】図２０は、本発明の第４の実施例にかかる顔動作（形態変形）符号化装置における三次元差分計算部の動作説明図である。
【図２１】図２１は、本発明の第４の実施例にかかる顔動作（形態変形）符号化装置における三次元差分計算部が生成する三次元差分データの内容例を示す図である。
【図２２Ａ】図２２Ａは、本発明の第４の実施例にかかる顔動作（形態変形）符号化装置における外力計算部の動作説明図である。
【図２２Ｂ】図２２Ｂは、本発明の第４の実施例にかかる顔動作（形態変形）符号化装置における外力計算部の動作説明図である。
【図２３】図２３は、本発明の第５の実施例にかかる顔動作（形態変形）復号化装置のブロック図である。
【図２４】図２４は、本発明の第６の実施例にかかる顔動作（形態変形）復号化装置のブロック図である。
【図２５】図２５は、本発明の第７の実施例にかかる顔動作（形態変形）符号化装置のブロック図である。
【図２６】図２６は、本発明の第８の実施例にかかる顔動作（形態変形）復号化装置のブロック図である。
【図２７】図２７は、本発明の第９の実施例にかかる顔動作（形態変形）復号化装置のブロック図である。
【図２８】図２８は、本発明の第１０の実施例にかかる顔動作（形態変形）符号復号化装置のブロック図である。
【図２９】図２９は、本発明の第１１の実施例にかかる顔動作（形態変形）符号復号化装置のブロック図である。
【図３０】図３０は、本発明の第１２の実施例にかかる形態変形復号化装置を用いるロボット制御装置のブロック図である。
【発明を実施するための最良の形態】
【００２７】
先ず、本発明の基本原理について図面を参照して詳細に説明する。図１を参照して、本発明で用いられる顔モデルの一例では、顔全体の領域１０００上に少なくとも１つの動作領域１００１が設定される。動作領域１００１は、変形の対象領域であり、表出されるべき表情に対応して定められる。例えば、ＦＡＣＳにおける動作単位（ＡＵ：Ａｃｔｉｏｎ ｕｎｉｔ）毎に、その動作単位を生じさせる表情筋がついている部分が１つの動作領域として定められる。無表情顔と或る表情動作顔とが比較されるときに相違する領域が動作領域として定められてもよい。
【００２８】
本発明では、このような動作領域１００１が、複数の小領域１００２に分割され、個々の小領域１００２単位で外力に応じた移動量が計算される。１つの小領域１００２に属する点（画素）は、黒丸で示される複数（３以上）の制御点１００３と、制御点以外の白丸で示される非制御点１００４とに分けられ、制御点１００３どうしはバネ１００５とダンパー１００６でつながっている。また、外力は、図１で矢印１００７により示されるように、制御点１００３にのみ与えられる。個々の小領域１００２における計算では、その小領域１００２に属する各制御点１００３の移動量が、その制御点１００３に加わる外力、バネ１００５およびダンパー１００６の定数に基づいて計算され、制御点１００３以外の非制御点１００４の移動量は、その非制御点１００４の近傍にある複数の制御点１００３の移動量から内挿などによって計算される。これにより、個々の小領域１００２全体が、内部の制御点１００３に働く外力によって一体となって移動し、全ての小領域１００２が同様に移動する。この結果、動作領域１００１が変形し、所望の表情の表出が可能となる。
【００２９】
このように、動作領域１００１がバネモデルとして相互作用しながら一体になって動く小領域１００２に分割され、各小領域１００２中で相互がバネ１００５とダンパー１００６で接続された複数の制御点１００３にのみ外力１００７が働き、小領域１００２全体がその外力１００７が働く制御点１００３に引きずられて動作するというモデルを用いて動作単位の動作が再現される。このモデルでの動作単位の動作は、動作領域１００１単位でなく小領域１００２単位でのバネモデル計算により表現されるので、パラメータ設定が簡単になり、計算量が削減される。また、直接移動量を扱うのではなく外力計算を行うので、表情の表出時の個人性と表情動作の普遍性が分離できるなどの利点がある。
【００３０】
次に、１つの小領域１００２内の制御点１００３の移動位置を計算する具体的な方法について説明する。一例として、バネ１００５とダンパー１００６の定数がすべて等しい場合の移動位置の計算方法を説明する。このケースは、下記のように定式化することができる。即ち、１つの小領域内にｎ（＞＝３）個の制御点が存在し、ｉ番目の制御点の質量をＭｉ、そこに働く外力をｆｉ、ｉ番目とｊ番目の制御点をつなぐバネ、ダンパーの定数をそれぞれＫｉｊ、Ｄｉｊとする。このとき、ｉ番目の制御点の位置ｘｉは、バネの基準位置をｌｉとすると、下記式（１）で表される。
【数１】
ただし、
【数２】
とする。
【００３１】
ここで、
【数３】
と置き換えると、式（１）は、
【数４】
で表される線形制御システムの標準的な式に書き直すことができる。ただし、Ａ，Ｂはそれぞれ以下のように表される２ｎｘ２ｎ、２ｎｘｎの行列である。
【数５】
但し、ｋｉｊ＝Ｋｉｊ／Ｍｉ、ｄｉｊ＝Ｄｉｊ／Ｍｉ
【数６】
但し、ｍｉ＝１／Ｍｉ
【００３２】
上記の式（３）の解析解は、下記の式（５）で表される。
【数７】
但し、
【数８】
【００３３】
式（５）の解は、Ａ，Ｂによっては存在しないこともあり、存在してもｔ無限大で発散することがある。しかしながら、本発明のモデルでは、ｕが一定で、質量Ｍｉ、バネ係数Ｋｉｊ，ダンパー定数Ｄｉｊが一定の場合、つまりｍｉ、ｋｉ、ｄｉが一定値ｍ，ｋ，ｄの場合、質点数ｎの時の指数関数形式行列ｅＡｔは、Ｐ（ｔ）、Ｑ（ｔ）は２ｘ２の行列であり、各要素はそれぞれ以下のとおりである。
【数９】
【数１０】
【数１１】
【数１２】
【数１３】
【数１４】
【数１５】
【数１６】
但し、
【数１７】
とする。このとき、式（６）の行列は、
【数１８】
で表すことが可能である。
【００３４】
システムの固有値−ｎｄ／２＋λｎ、−ｎｄ／２−λｎの実数部は、必ず負であるので、ｔが無限大になったとき発散することはない。したがって、ｔとパラメータｍ，ｋ，ｄが与えられ、ｕが一定であれば式（５）は、ｘ（ｔ）とｘ（０）、ｕの一次式になる。ただし、ｍ，ｎは常に両者の積の形で現れ、分離できないので、これを一つの定数（ｕに統合する）としても差し支えない。こうすることによって、ｔが与えられた場合、パラメータはｋ，ｄのみになる。
【００３５】
パラメータｋ，ｄの与え方は自由であるが、λｎの根号内の値が正、０、負のいずれであるかによって、それぞれ過減衰、臨界減衰、減衰振動という挙動を行う。この３種の挙動（詳細に関しては、Ｖ．Ｄ．バージャー，Ｍ．Ｇ．オルソン著，戸田，田上訳，“力学 新しい視点にたって”，培風館，１９７５）は、いずれもｔ無限大に向かって減衰するが、減衰振動のみは周期的に増減を繰り返しながら減衰し、臨界振動は過減衰よりも早く収束する。以下では、周期的な増減のない速い動きをする臨界減衰の場合の実施例を述べる。
【００３６】
パラメータｔ，ｋ，ｄと式（２）の境界条件にあたる初速０の条件
【数１９】
が与えられると、式（５）は、
【数２０】
により、外力Ｆｉの一次式になり、移動位置ｘｉ（ｔ）は式（８）から容易に計算できる。なお、時刻ｔでの速度は、
【数２１】
で表され、
【数２２】
【数２３】
【数２４】
が０になるときのｔで、収束する。
【００３７】
本発明では、図１に示されるように、動作領域１００１が複数の小領域１００２に分割され、個々の小領域１００２単位で外力１００７に応じた各制御点１００３の移動量が計算される。従って、本発明では、各制御点１００３の移動量から外力１００７が計算される場合にも、個々の小領域１００２単位で各制御点１００３の移動量から外力１００７が計算される。この外力の計算にも前記式（８）が用いられることができる。
【００３８】
以上では、小領域１００２の制御点１００３どうしがバネ１００５とダンパー１００６によりつながった構造の物理モデルが用いられた。しかしながら、より簡単な構造として、外力に単純比例する物理モデル、何れか１つの制御点あるいは小領域の重心などの特定点からの距離の二乗に反比例する重力モデルや電磁力モデルなどの他の種類の物理モデルを用いることも可能である。その場合には、それぞれに対応した方程式を解くことで、小領域１００２内の制御点１００３の移動量が計算されることができる。
【００３９】
図２は、本発明の第１実施例による形態変形装置の構成を示すブロック図である。形態変形装置は、人の無表情顔画像を表情動作顔画像に変形する。本実施例の形態変形装置は、処理装置ＣＮＴ１と記憶装置Ｍ１〜Ｍ６と表示装置ＤＰＹと入力装置ＫＥＹとを含んで構成されている。複数の記憶装置Ｍ１〜Ｍ６は、例えば磁気ディスクで構成され、そのうち、記憶装置Ｍ１は、人の無表情顔にかかる入力データＳ１を記憶する。記憶装置Ｍ６は、人の表情動作顔にかかる出力データＳ６を記憶する。残りの記憶装置Ｍ２〜Ｍ５は、中間結果や処理の過程で必要となる制御データを記憶する。表示装置ＤＰＹは、例えば液晶ディスプレイであり、出力データＳ６として得られた表情動作顔画像を表示し、処理過程のデータを表示するために使用される。入力装置ＫＥＹは、例えばキーボードとマウスで構成され、利用者から各種のデータや指示を受け付けるために利用される。制御装置ＣＮＴ１は、例えばコンピュータの中央処理装置で構成され、本実施例の形態変形装置の主たる処理を実行する。制御装置ＣＮＴ１は、動作領域指定部１、動作領域分割部２、制御点動作部３および動作内挿部４を有する。
【００４０】
制御装置ＣＮＴ１の各機能部１〜４は、制御装置ＣＮＴ１を構成するコンピュータと形態変形装置用プログラムとで実現することができる。形態変形装置用プログラムは、磁気ディスク等のコンピュータ可読記録媒体ＰＭ１に記録されており、コンピュータの立ち上げ時などにそのコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータ上に各機能部１〜４を実現する。
【００４１】
次に本発明の本実施例による形態変形装置の動作を説明する。制御装置ＣＮＴ１は、記憶装置Ｍ１に記憶された入力データＳ１を入力して処理し、最終的に出力データＳ６を記憶装置Ｍ６に出力すると共に、出力データＳ６を表示するように表示装置ＤＰＹを制御する。その過程において、制御装置ＣＮＴは、記憶装置Ｍ３に記憶された制御点データＳ３をロードして利用し、記憶装置Ｍ２、Ｍ４およびＭ５に、動作領域指定済データＳ２、小領域分割済データＳ４および初期３Ｄ座標調整済制御点データＳ３’、終端３Ｄ座標設定済制御点データＳ３”を適宜保存する。以下、詳細に説明する。
【００４２】
先ず制御装置ＣＮＴ１の動作領域指定部１について説明する。動作領域指定部１は、記憶装置Ｍ１から入力データＳ１を入力し、この入力データＳ１の所望の領域が動作領域としてユーザにより指定される。ここで、動作領域として指定されるべき所望の領域は、表出されるべき表情に対応して予め定められている。本実施例の場合、ＦＡＣＳにおける動作単位毎に、その動作単位を生じさせる表情筋がついている部分が動作領域として指定される。例えば、ＦＡＣＳのＮｏ．２７の動作単位は、「口を大きく開ける」という内容を持つが、その動作単位の動作を行わせる場合には、口を含む領域が動作領域として指定される。このとき、後の制御点データＳ３の検索のために、その動作単位の番号（Ｎｏ．）が入力装置ＫＥＹからユーザにより入力され、制御装置ＣＮＴ１内部に保存されている。
【００４３】
動作領域指定部１によって指定された動作領域に関する情報は、入力データＳ１の画像や三次元データに付加され、動作領域指定済みデータＳ２として記憶装置Ｍ２に保存される。例えば、入力画像がＲＧＢのカラー画像である場合は、動作領域指定済みデータＳ２は、各画像に１ビットのαを追加したＲＧＢαとして保存され、αの値として、動作領域を１、それ以外を０にするという方法が考えられる。同様に、三次元データの場合は、（ｘ、ｙ、ｚ、α）の形式で保存される。指定の方法は、例えばＧＵＩを用いるツールで画像や三次元データが表示され、そこでマウスやタブレットにより動作領域を指定する方法が考えられる。
【００４４】
動作領域指定部１の具体例を図３を参照して説明する。先ず、動作領域指定部１は、或る人物の顔の無表情画像を入力データＳ１として記憶装置Ｍ１からロードし、表示装置ＤＰＹの画面に表示する（ステップＦ１０１）。次に、動作領域指定部１は、ＦＡＣＳの動作単位番号をユーザから受け付ける（ステップＦ１０２）。動作領域指定部１は、ＦＡＣＳの各動作単位番号毎に、その動作単位を生じさせる表情筋がついている顔領域を示す典型的な動作領域の一覧を保有しており、ユーザから入力された動作単位番号に対応する動作領域を一覧から取得して表示装置ＤＰＹに表示する（ステップＦ１０３）。図３では破線で動作領域が表示されている。次に動作領域指定部１は、ユーザによるマウスのドラッグ操作などに従って動作領域の表示場所を移動させ、且つ動作領域のサイズや形を調整する（ステップＦ１０４）。図では、ＦＡＣＳのＮｏ．２７の動作単位を想定しており、口を含む適当な範囲に動作領域が調整されている。次に、動作領域指定部１は、指定された動作領域に関する情報を前述した方法で入力データＳ１に付加して動作領域指定済データＳ２を生成し、記憶装置Ｍ２に保存する（ステップＦ１０５）。
【００４５】
次に動作領域分割部２について説明する。動作領域分割部２は、記憶装置Ｍ２から動作領域指定済データＳ２を入力し、記憶装置Ｍ３から入力した制御点データＳ３に基づいて、動作領域指定済データＳ２中の動作領域を複数の小領域に分割した小領域分割済データＳ４を生成し、制御点データＳ３の情報（初期３Ｄ座標調整済制御データＳ３’）と共に記憶装置Ｍ４に保存する。この小領域分割済データＳ４および初期３Ｄ座標調整済制御データＳ３’が、図１を参照して説明された顔モデルに相当する。以下、動作領域分割部２の処理の詳細を図４を参照して説明する。
【００４６】
先ず、動作領域分割部２は、記憶装置Ｍ２から動作領域指定済データＳ２をロードし、その動作領域の全体が表示されるように必要に応じて拡大して表示装置ＤＰＹに表示する（ステップＦ１１１）。次に、動作領域分割部２は、動作領域指定済データＳ２で指定される動作領域に対応する制御点データＳ３を記憶装置Ｍ３からロードし、表示装置ＤＰＹに表示する（ステップＦ１１２）。例えば、動作領域指定済データＳ２で指定されている動作領域がＦＡＣＳのＮｏ．２７の動作単位（口を大きく開ける）であった場合、Ｎｏ．２７の動作単位に対応する制御点データをロードして表示する。或る動作単位に対応する制御点データＳ３は、その動作単位を生じさせる表情筋の端や内部に均等に配置した多数の制御点についての情報を含んでいる。
【００４７】
図５は、１つの制御点データの構成例を示す。この例では、制御点データは、この制御点データに割り当てられた識別子である制御点番号（ｍ）２００１と、この制御点データの初期の三次元座標である初期３Ｄ座標（Ｘ０，Ｙ０，Ｚ０）２００２と、この制御点データに割り当てられたタグ番号２００３と、この制御点データに与えられる外力（ｆｘ，ｆｙ，ｆｚ）と、この制御点データの移動後の三次元座標である終端３Ｄ座標（Ｘｔ，Ｙｔ，Ｚｔ）２００５と、この制御点データとつながる他の制御点データとの接続情報２００６とを含んでいる。ここで、同じ小領域に属する制御点データには同じタグ番号２００３が設定されている。また、初期３Ｄ座標２００２には、標準顔における制御点の標準位置が初期設定されており、制御点の当初の表示はこの初期３Ｄ座標に基づいて行われる。終端３Ｄ座標２００５はロード時点ではＮＵＬＬ値であり、後の移動量の計算時に値が設定される。接続情報２００６には、接続先の制御点データの制御点番号と、接続先の制御点データとの間に介在するバネおよびダンパーの定数などが設定されている。なお、全ての制御点どうしが同じ定数のバネおよびダンパーでつながる場合、全ての制御点データの接続情報２００６にそれらの情報を設定する必要はなく、どこか１箇所に設定されていればよい。
【００４８】
次に動作領域分割部２は、ユーザによるマウスのドラッグ操作などに従って各制御点の位置を所望の場所に移動し、且つ微調整する（ステップＦ１１３）。この調整にあわせて、制御点データの初期３Ｄ座標２００２が、無表情顔画像における画素のうち、その制御点データに最も近い画素の三次元座標に更新される。例えば、初期３Ｄ座標２００２として（Ｘａ，Ｙａ，Ｚａ）を持つ或る制御点が三次元座標（Ｘｂ，Ｙｂ，Ｚｂ）に移動されたとき、その座標（Ｘｂ，Ｙｂ，Ｚｂ）に最も近い無表情顔画像における画素の三次元座標が（Ｘｃ，Ｙｃ，Ｚｃ）とすると、その制御点の初期３Ｄ座標２００２が（Ｘｃ，Ｙｃ，Ｚｃ）に更新される。こうして、制御点の位置が無表情顔画像の画素にマッピングされる。
【００４９】
次に動作領域分割部２は、動作領域を制御点でボロノイ分割し、ボロノイ分割により定められた領域にその制御点のタグ番号２００３を割り当てる。同じタグ番号２００３が割り当てられた隣接ボロノイ領域を一つの小領域にまとめることで、動作領域が複数の小領域に分割される（ステップＦ１１４）。各小領域にはそれを構成するボロノイ領域に割り当てられたタグ番号と同じタグ番号が割り当てられる。従って、小領域はタグ番号の数だけ生成される。次に、動作領域指定済データＳ２における分割領域内の各画素に、その画素が含まれる小領域のタグ番号を付けた画像を小領域分割済データＳ４として生成し、初期３Ｄ座標調整済の制御点データＳ３’と共に記憶装置Ｍ４に保存する（ステップＦ１１５）。小領域と小領域の境界上の画素は、それら複数の小領域に属するものとして扱われる。小領域分割済データＳ４として、各タグ番号毎に、そのタグ番号の小領域に含まれる画素の情報を記録したデータを用いられることもできる。
【００５０】
次に、制御点動作部３の動作を説明する。制御点動作部３は、記憶装置Ｍ４から初期３Ｄ座標調整済の制御点データＳ３’を入力し、各小領域毎に、その小領域に含まれる全ての制御点の移動位置を計算する。計算方法は、その制御点を含む小領域がどのような物理モデルで表現されているかによって決まる。図１を参照して説明されたように小領域中の制御点がバネやダンパーでつながった物理モデルであれば、既に詳細に説明されたように初期位置と初速度の境界条件を与えて二階の常微分方程式を解くことで移動位置を計算することができる。より簡単な構造としては、外力に単純比例するモデル、制御点の一点や重心などの特定点からの距離の二乗に反比例する重力、電磁力モデルなども、それぞれに対応した方程式を解くことで解析的に計算できる。制御点動作部３の具体的な動作例を図６を参照して説明する。
【００５１】
先ず、制御点動作部３は、記憶装置Ｍ４から初期３Ｄ座標調整済の制御点データＳ３’を入力する（ステップＦ１２１）。次に、１つの小領域、つまり１つのタグ番号に注目する（ステップＦ１２２）。次に、注目されている小領域に属する全ての制御点の移動位置が計算され、その制御点の終端３Ｄ座標２００５に設定される（ステップＦ１２３）。注目されている小領域に属する全ての制御点とは、その小領域のタグ番号と同じタグ番号２００３を持つ制御点である。図１を参照して説明されたように小領域中の制御点がバネやダンパーでつながった構造の場合、所定のパラメータを式（７）に代入することにより、各制御点データの初期３Ｄ座標２００２と外力２００４から終端３Ｄ座標が計算されることができる。ここで、所定のパラメータは、式（７）の場合、前述のｔ，ｋ，ｄに相当する。これらは、制御点データＳ３に付加されておいて記憶装置Ｍ３からロードされても良いし、制御点動作部３に予め埋め込まれていてもよい。
【００５２】
制御点動作部３は、１つの小領域に属する全ての制御点の移動位置が計算され、それらの制御点データの終端３Ｄ座標２００５に設定されると、次の１つの小領域に注目を移し（ステップＦ１２４）、ステップＦ１２３に戻って前述と同様の処理を繰り返す。この処理を全ての小領域に対する処理が完了するまで繰り返した後（ステップＦ１２５でＹＥＳ）、終端３Ｄ座標２００５が設定された制御点データＳ３”は記憶装置Ｍ５に保存される（ステップＦ１２６）。
【００５３】
次に動作内挿部４の動作を説明する。動作内挿部４は、記憶装置Ｍ４から小領域分割済データＳ４を入力すると共に記憶装置Ｍ５から終端３Ｄ座標設定済制御点データＳ３”を入力し、その小領域内の制御点の移動位置から、各小領域における制御点以外の画素の移動位置を図７Ａと図７Ｂに示されるような線形内挿や外挿によって計算し、表情動作顔の画像もしくは三次元データを生成し、出力データＳ６として記憶装置Ｍ６に保存する。スプラインなどの高次の内挿、外挿を用いて計算が行われても良い。記憶装置Ｍ６に保存された出力データＳ６は、自動的あるいは入力装置ＫＥＹからの指示に応じて表示装置ＤＰＹに表示される。
【００５４】
動作内挿部４の具体的な動作を図８を参照して説明する。先ず動作内挿部４は、記憶装置Ｍ４および記憶装置Ｍ５から小領域分割済データＳ４および終端３Ｄ座標設定済制御点データＳ３”を入力する（ステップＦ１３１）。次に、小領域分割済データＳ４における動作領域内の１つ小領域が注目され（ステップＦ１３２）、その小領域内の１つの画素が注目される（ステップＦ１３３）。その画素が属する注目中小領域内の制御点のうち、その画素の三次元座標に最も近い初期３Ｄ座標を持つ３つの制御点データが終端３Ｄ座標設定済制御点データＳ３”から検索される（ステップＦ１３４）。次に、検索された３つの制御点データの何れか１つの初期３Ｄ座標が注目されている画素の三次元座標と一致しているかどうかが判定される（ステップＦ１３５）。一致していれば、注目されている画素は制御点であるので、一致する制御点データの終端３Ｄ座標が注目小領域における注目画素の終端３Ｄ座標として保存される（ステップＦ１３６）。他方、一致していなければ、注目されている画素は非制御点であるので、３つの制御点データの終端３Ｄ座標から注目画素の移動位置が図７Ａと図７Ｂに示されるような方法によって計算され（ステップＦ１３７）、計算された移動位置が注目小領域における注目された画素の終端３Ｄ座標として保存される（ステップＦ１３８）。
【００５５】
動作内挿部４は、注目小領域内の１つの画素についての処理を終えると、注目小領域内の次の１つの画素に注目を移し（ステップＦ１３９）、前述の処理と同様の処理を繰り返す。注目小領域内の全ての画素についての処理を終えると（ステップＳ１４０でＹＥＳ）、動作領域内の次の１つの小領域に注目を移し（ステップＳ１４１）、前述した処理と同様の処理を繰り返す。動作領域内の全ての小領域内の画素についての処理を終えると（ステップＦ１４２でＹＥＳ）、動作領域内の各画素の終端３Ｄ座標を含む出力データＳ６を記憶装置Ｍ６に保存する（ステップＦ１４３）。
【００５６】
図９は、本発明の第２実施例による形態変形装置を示している。図９を参照して、第２実施例による形態変形装置は、人の無表情顔画像を表情動作顔画像に変形する。第２実施例の形態変形装置は、記憶装置Ｍ７を備えている点と、処理装置ＣＮＴ１が隣接小領域調整部５を更に有する点で、図２に示された第１実施例の形態変形装置と相違し、その他の点は第１実施例の形態変形装置と同じである。
【００５７】
第２実施例では、動作領域が複数の小領域に分割され、各小領域単位で独立に移動量が計算されるので、隣接する小領域の移動量に明確な差があると、それらの小領域の境界部分に段差などの不連続箇所が発生する。例えば、図１０Ａに示されるように、移動前には互いに接していた２つの小領域１００１、１００２が、その移動量に差が生じると、図１０Ｂに示されるように互いに離れた状態になったり、図１０Ｃに示されるように互いに一部が重なったりする場合がある。本実施例の隣接小領域調整部５は、このような小領域の境界部分に発生する不連続な状態を調整する機能を有する。なお、隣接小領域調整部５は他の機能部１〜４と同様に記録媒体ＰＭ１に記憶されたプログラムと処理装置ＣＮＴ１を構成するコンピュータとで実現されることができる。
【００５８】
次に隣接小領域調整部５の動作を図１１を参照して説明する。先ず隣接小領域調整部５は、記憶装置Ｍ４および記憶装置Ｍ６から小領域分割済データＳ４および出力データＳ６を入力する（ステップＦ２０１）。次に、小領域分割済データＳ４に基づいて、全ての小領域の境界点を全て探索する（ステップＦ２０２）。小領域の境界点とは、隣接する複数の小領域の境界上に位置する画素のことである。このような画素は複数の小領域に属しているので、小領域分割済データＳ４から複数の小領域に属する画素を全て抽出することで可能である。
【００５９】
次に隣接小領域調整部５は、ステップＦ２０２で探索された境界点の１つに注目し（ステップＦ２０３）、その境界点が属する小領域を小領域分割済データＳ４から調べ、属する全ての小領域における終端３Ｄ座標を出力データＳ６から取り出してその平均（メジアンでも良い）を求める（ステップＦ２０４）。例えば、図１０Ａに示される或る１つの境界点１１００が、移動後に図１０Ｂ）や図１０Ｃに示されるように、小領域１１０１については終端３Ｄ座標（Ｘａ，Ｙａ，Ｚａ）の点１１０３−１となり、小領域１１０２については終端３Ｄ座標（Ｘｂ，Ｙｂ，Ｚｂ）の点１１０３−２となった場合、｛（Ｘａ＋Ｘｂ）／２，（Ｙａ＋Ｙｂ）／２，（Ｚａ＋Ｚｂ）／２｝が計算される。次に、この計算された平均値で、その境界点が属する全ての小領域における終端３Ｄ座標を更新する（ステップＦ２０５）。つまり、点１１０３−１の終端３Ｄ座標（Ｘａ，Ｙａ，Ｚａ）を｛（Ｘａ＋Ｘｂ）／２，（Ｙａ＋Ｙｂ）／２，（Ｚａ＋Ｚｂ）／２｝に更新し、同じく点１１０３−２の終端３Ｄ座標（Ｘｂ，Ｙｂ，Ｚｂ）を｛（Ｘａ＋Ｘｂ）／２，（Ｙａ＋Ｙｂ）／２，（Ｚａ＋Ｚｂ）／２｝に更新する。この更新は、処理装置ＣＮＴ１内に入力された出力データＳ６のコピー上で行う。
【００６０】
隣接小領域調整部５は、１つの境界点についての処理を終えると、次の１つの境界点に注目を移し（ステップＦ２０６）、ステップＦ２０４に戻って前述した処理と同様の処理を繰り返す。全ての境界点についての処理を終えると（ステップＦ２０７でＹＥＳ）、次に小領域境界部の平滑化処理を行う（ステップＦ２０８）。
【００６１】
小領域境界部の平滑化処理において、隣接小領域調整部５は、各小領域毎に、ステップＳ２０５で終端３Ｄ座標を変更した境界点の変更量をその境界点付近の画素に伝搬させることで、境界部を平滑化する。この平滑化処理Ｆ２０８の詳細を図１２に示す。
【００６２】
先ず隣接小領域調整部５は、１つの小領域に注目し（ステップＦ２１１）、補正係数をより小さく、且つ１に近い値に初期化する（ステップＦ２１２）。次に、注目小領域における隣接小領域との全ての境界点の３Ｄ補正量を計算する（ステップＦ２１３）。境界点の３Ｄ補正量とは、出力データＳ６に存在する注目小領域における当該境界点の終端３Ｄ座標と、図１１のステップＦ２０４で計算されたその境界点が属する全ての小領域における終端３Ｄ座標の平均との差分である。例えば、或る境界点の或る小領域における終端３Ｄ座標が（Ｘａ，Ｙａ，Ｚａ）、図１１のステップＦ２０４で計算されたその境界点が属する全ての小領域における終端３Ｄ座標の平均が｛（Ｘａ＋Ｘｂ）／２，（Ｙａ＋Ｙｂ）／２，（Ｚａ＋Ｚｂ）／２｝とすると、３Ｄ補正量は、｛（Ｘａ＋Ｘｂ）／２｝−Ｘａ、｛（Ｙａ＋Ｙｂ）／２｝−Ｙａ、｛（Ｚａ＋Ｚｂ）／２｝−Ｚａ｝として求められる。
【００６３】
次に、隣接小領域調整部５は、注目されている小領域における境界点に接する全ての画素を内接点として探索する（ステップＦ２１４）。例えば、図１３に示されるように互いに接する２つの小領域１１０１、１１０２のうち、小領域１１０１が注目されている場合、小領域１１０２との境界上にある画素ａ〜ｆが当初の境界点になるので、画素ａ〜ｆに接する画素ｇ〜ｌが内接点として求められる。
【００６４】
次に、隣接小領域調整部５は、１つの内接点に注目し（ステップＦ２１５）、その内接点が接する全ての境界点の３Ｄ補正量の平均（メジアンでも良い）を計算する（ステップＦ２１６）。例えば、図１３の画素ｇが１つの内接点として注目されている場合、それに接する境界点は画素ａ、ｂであるので、隣接小領域調整部５は、画素ａの３Ｄ補正量と画素ｂの３Ｄ補正量の平均を計算する。次に、隣接小領域調整部５は、この計算された３Ｄ補正量の平均に補正係数を乗じて得られる３Ｄ補正量を、その内接点の終端３Ｄ座標に加算する（ステップＦ２１７）。その後、その内接点を新たな境界点として扱う（ステップＦ２１８）。隣接小領域調整部５は、１つの内接点に対する処理が終ると、次の１つの内接点に注目を移す（ステップＦ２１９）。例えば、図１３の画素ｇの処理が終了すると、次に画素ｈに注目が移され、ステップＦ２１６に戻って上述した処理と同様の処理が繰り返される。こうして、ステップＦ２１４で見つけた全ての内接点ｇ〜ｌに対する処理が終わると（ステップＦ２２０でＹＥＳ）、隣接小領域調整部５は、補正係数の値から予め定められた一定値（例えば０．１、０．２など）を減じ（ステップＦ２２１）る。補正係数の値が０より大きければ（ステップＦ２２２でＹＥＳ）、処理はステップＦ２１４に戻る。図１３の場合、画素ｇ〜ｌの処理が終了すると、それらの画素ｇ〜ｌは新たな境界点として扱われるので、ステップＦ２２１で探索される新たな内接点の集合は画素ｍ〜ｒとなる。こうして、当初の境界点ａ〜ｆの３Ｄ補正量が近隣の画素に伝搬されて平滑化されていく。
【００６５】
隣接小領域調整部５は、補正係数の値が０以下になれば、注目している小領域に対する平滑化処理を終え、次の１つの小領域に注目を移し（ステップＦ２２３）、ステップＦ２１２に戻って前述した処理と同じ処理を繰り返す。隣接小領域調整部５は、全ての小領域に対する処理を終えると（ステップＦ２２４でＹＥＳ）、小領域境界部の平滑化処理Ｆ２０８を終える。
【００６６】
隣接小領域調整部５は、小領域境界部の平滑化処理を終えると、隣接小領域調整済データＳ７、つまり、出力データＳ６における小領域の境界部分に発生する不連続な状態を調整した出力データを記憶装置Ｍ７に出力する。記憶装置Ｍ７に保存された出力データＳ７は、自動的あるいは入力装置ＫＥＹからの指示に応じて表示装置ＤＰＹに表示される。
【００６７】
図１４は、本発明の第３実施例による形態変形装置を示している。第３実施例の形態変形装置は、人の無表情顔画像を表情動作顔画像に変形する。第３実施例の形態変形装置は、第２実施例の形態変形装置と同様であるが、記憶装置Ｍ８を備えている点と、処理装置ＣＮＴ１が未動作領域調整部６を更に有する点で、図９に示した第２実施例の形態変形装置と相違する。
【００６８】
図１で説明されたように、顔全体の領域１０００上に少なくとも１つの動作領域１００１が設定され、動作領域１００１が変形の対象とされると、表情動作時に、動作領域１００１と未動作領域の境界部分に段差などの不連続箇所が発生することがある。例えば、図１５Ａに示されるように、無表情画像では互いに接していた動作領域１２０１と未動作領域１２０２が、そのうち動作領域１２０１だけが移動するために、図１５Ｂに示されるように動作領域１２０１と未動作領域１２０２とが重なる部分１２０３が生じたり、動作領域１２０１と未動作領域１２０２との間に隙間１２０４が生じたりする場合がある。本実施例の未動作領域調整部６は、このような動作領域と未動作領域との境界部分に発生する不連続な状態を調整する機能を有する。なお、未動作領域調整部６は他の機能部１〜５と同様に記録媒体ＰＭ１に記憶されたプログラムと処理装置ＣＮＴ１を構成するコンピュータとで実現することが可能である。
【００６９】
次に未動作領域調整部６の動作を図１６を参照して説明する。先ず未動作領域調整部６は、記憶装置Ｍ２および記憶装置Ｍ７から動作領域指定済データＳ２および隣接小領域調整済データＳ７を入力する（ステップＦ３０１）。次に、未動作領域調整部６は、補正係数を１より小さく、且つ１に近い値に初期化し（ステップＦ３０２）、動作領域指定済データＳ２に基づいて、全ての内境界点の３Ｄ移動量を計算する（ステップＦ３０３）。内境界点とは、動作領域に属する画素のうち未動作領域との境界上に位置する画素のことである。例えば、図１７に示されるように、ハッチングを施した桝目が当初の動作領域に属する画素とすると、ハッチングを施していない未動作領域との境界上に位置する画素ａ、ｂ、ｃなどが内境界点である。また、内境界点の３Ｄ移動量とは、その内境界点の動作領域指定済データＳ２上での３Ｄ座標（つまり無表情時の位置）と隣接小領域調整済出力データＳ７上での３Ｄ座標（つまり表情動作時の位置）との差分のことである。
【００７０】
次に、未動作領域調整部６は、動作領域指定済データＳ２に基づいて、全ての外境界点を探索する（ステップＦ３０４）。外境界点とは、未動作領域の画素のうち、動作領域の境界上に位置する画素のことである。例えば、図１７の例では、画素ｄ、ｅ、ｆなどが外境界点である。
【００７１】
次に、未動作領域調整部６は、ステップＦ３０４で探索された外境界点の１つに注目し（ステップＦ３０５）、その外境界点が接する全ての内境界点の３Ｄ移動量の平均（メジアンでも良い）を求める（ステップＦ３０６）。例えば、図１７に示される画素ｅが外境界点として注目されている場合、その画素ｅに接する全ての内境界点は画素ａ、ｂ、ｃであるので、それらの３Ｄ移動量の平均が計算される。次に、この計算された平均値に補正係数を乗じて得られる３Ｄ移動量が、その外境界点の終端３Ｄ座標に加算される（ステップＦ３０７）。そして、その外境界点が動作領域の点として扱われる（ステップＦ３０８）。１つの外境界点に対する処理が終ると、次の１つの外境界点に注目が移る（ステップＦ３０９）。例えば、図１７の画素ｅの処理が終了すると、次に画素ｆに注目が移り、ステップＦ３０６に戻って上述の処理と同様の処理が繰り返される。こうして、ステップＦ３０４で見つけた全ての外境界点に対する処理を終えると（ステップＦ３１０でＹＥＳ）、未動作領域調整部６は、補正係数の値から予め定められた一定値（例えば０．１や０．２など）を減じる。（ステップＦ３１１）。補正係数の値が０より大きければ（ステップＦ３１２でＹＥＳ）、ステップＦ３０４の処理に戻る。図１７の場合、画素ｄ〜ｆなどの処理が終了すると、それらの画素ｄ〜ｆなどは新たに動作領域として扱われるので、ステップＦ３０４で探索される新たな外境界点の集合は画素ｇ〜ｍなどとなる。こうして、当初の境界点ａ〜ｃの３Ｄ移動量が未動作領域の画素に伝搬されて平滑化されていく。
【００７２】
未動作領域調整部６は、補正係数の値が０以下になった時点で、未動作領域の調整処理を終え、未動作領域調整済データＳ８、つまり、隣接小領域調整済出力データＳ７における動作領域と未動作領域の境界部分に発生する不連続な状態を調整した出力データを記憶装置Ｍ８に出力する。記憶装置Ｍ８に保存された出力データＳ８は、自動的あるいは入力装置ＫＥＹからの指示に応じて表示装置ＤＰＹに表示される。
【００７３】
図１３の構成では、隣接小領域調整部５の実行後に未動作領域調整部６を実行したが、最初に未動作領域調整部６を実行して、出力データＳ６から動作領域と未動作領域との間の境界部分の不連続性を解消したデータを生成し、次に隣接小領域調整部５を実行して、更に小領域間の境界部分の不連続性を解消したデータを生成するようにしても良い。また。隣接小領域調整部５を省略し、未動作領域調整部６による調整だけを実行しても良い。
【００７４】
図１８は、本発明の第４実施例による顔動作符号化装置のブロック図であり、或る人物の無表情時と表情動作時の顔三次元データから、表情動作時の動作領域と外力を計算して出力する。本実施例の顔動作符号化装置は、処理装置ＣＮＴ１１と記憶装置Ｍ１１〜Ｍ１５と表示装置ＤＰＹと入力装置ＫＥＹとを含んでいる。複数の記憶装置Ｍ１１〜Ｍ１５は、例えば磁気ディスクで構成され、そのうち、記憶装置Ｍ１１は入力データとなる無表情顔３ＤデータＳ１００および表情動作顔３ＤデータＳ１０１を格納し、記憶装置Ｍ１５は出力データとなる表情動作の外力データＳ１２および表情動作の動作領域Ｓ１３を格納し、残りの記憶装置Ｍ１２〜Ｍ１４は中間結果や処理の過程で必要となる制御データを格納する。表示装置ＤＰＹは、例えば液晶ディスプレイで構成され、処理過程のデータなどを表示するために使用される。入力装置ＫＥＹは、例えばキーボードとマウスで構成され、利用者から各種のデータや指示を受け付けるために利用される。制御装置ＣＮＴ１１は、例えばコンピュータの中央処理装置で構成され、本実施例の顔動作符号化装置の主たる処理を実行する。制御装置ＣＮＴ１１は、３Ｄ顔モデル付与部１０１、３Ｄ差分計算部１０２および外力計算部１０３を有する。
【００７５】
制御装置ＣＮＴ１１の各機能部１０１〜１０３は、制御装置ＣＮＴ１１を構成するコンピュータと顔動作符号化装置用プログラムとで実現することができる。顔動作符号化装置用プログラムは、磁気ディスク等のコンピュータ可読記録媒体ＰＭ１１に記録されており、コンピュータの立ち上げ時などにそのコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータ上に各機能部１０１〜１０３を実現する。
【００７６】
次に本実施例にかかる顔動作符号化装置の動作を説明する。制御装置ＣＮＴ１１は、先ず３Ｄ顔モデル付与部１０１を用いて、記憶装置Ｍ１１に記憶された符号化用に用いられる人物の無表情顔三次元データＳ１００と表情動作顔三次元データＳ１０１を入力し、それぞれのデータに対して記憶装置Ｍ１２に予め用意された顔三角ポリゴンメッシュモデルＳ１０５を整合させることにより、無表情時と表情動作時それぞれの顔三角ポリゴンメッシュモデルＳ１０２、Ｓ１０３を生成して記憶装置Ｍ１３に保存する。次に、３Ｄ差分計算部１０２を用いて、記憶装置Ｍ１３から無表情時と表情動作時それぞれの顔三角ポリゴンメッシュモデルＳ１０２、Ｓ１０３を入力し、両者を比較することにより、無表情顔から表情動作顔に表情が変わった際に動作（移動）したポリゴン及びその各頂点の移動前後の三次元座標を含む３Ｄ差分データＳ１０４を生成して記憶装置Ｍ１４に保存する。次に、外力計算部１０３を用いて、記憶装置Ｍ１４から３Ｄ差分データＳ１０４を入力し、無表情顔を表情動作顔に変形するために無表情顔の顔三角ポリゴンの各頂点に与えるべき外力を前述した式（７）によって計算し、無表情顔から表情動作顔に表情が変わった際に動作（移動）したポリゴンの情報を含む表情動作の動作領域Ｓ１３およびそのポリゴンの各頂点に与える外力を含む表情動作の外力データＳ１２を記憶装置Ｍ１５に出力する。以下、より詳細に説明する。
【００７７】
三次元顔モデル付与部１０１に入力される無表情時と表情動作時の顔三次元データＳ１００、Ｓ１０１は、顔の三次元データを取得する部によって取得され、記憶装置Ｍ１１に記憶される。顔の三次元データは、光照射型のレンジファインダ、ステレオ・多眼カメラによるステレオ画像計測、ＭＲＩ計測、赤外線計測などの任意の部で計測されたデータで良く、あるいは人工的な三次元コンピュータグラフィックスで作成されたデータでも良い。なお、三次元データに付随される情報としてのテクスチャは、２つの顔データ間の部位の対応をとるためにあることが望ましいが、２つの顔データ間の部位の対応を見つける別の部がある場合は必須ではない。例えば、光照射型のレンジファインダで取得する場合、光に反射する特殊なマーカーを顔に貼り付けたり、赤外線画像で取得する場合、体温と異なる温度をもつマーカーを貼り付けて取得する場合などが考えられる。テクスチャを取得する場合でも、顔の一部にマーカーが描かれている場合等、顔全体のテクスチャは必須ではない。
【００７８】
記憶装置Ｍ１２には、図１９に示されるような顔三角ポリゴンメッシュモデルＳ１０５が保存されている。ポリゴン数および個々のポリゴンのサイズは任意であるが、三角メッシュの頂点の一部が顔の特徴点に対応するよう生成されている。三次元顔モデル付与部１０１は、無表情顔三次元データＳ１００に顔三角ポリゴンメッシュモデルＳ１０５を整合させることで、三次元化無表情顔三角ポリゴンメッシュモデルＳ１０２を生成する。具体的には、表示装置ＤＰＹの画面に無表情顔三次元データＳ１００と顔三角ポリゴンメッシュモデルＳ１０５とを表示し、ユーザによる入力装置ＫＥＹからの操作によって、顔三角ポリゴンメッシュモデルＳ１０５の各頂点をその頂点に対応付けられるべき顔の特徴点にマッピングさせていく。無表情顔三次元データＳ１００の特徴点を手がかりに、顔三角ポリゴンメッシュモデルＳ１０５の一部の頂点を自動で対応付けることも可能である。例えば、顔三角ポリゴンメッシュモデルＳ１０５の或る特定のポリゴンの或る特定の頂点が、鼻の先端部に対応させられる頂点である場合、鼻の先端部に付けられたマーカーの位置を検出して自動的に対応付けることができる。三次元顔モデル付与部１０１は、顔三角ポリゴンメッシュモデルＳ１０５における各ポリゴンの各頂点に、その頂点に対応付けられた無表情顔三次元データＳ１００の点の三次元座標を割り当てていき、全てのポリゴンの頂点に無表情顔三次元データＳ１００の点の三次元座標を割り当て終えたものを、三次元化無表情顔三角ポリゴンメッシュモデルＳ１０２として記憶装置Ｍ１３に保存する。
【００７９】
同様の方法で、三次元顔モデル付与部１０１は、表情顔三次元データＳ１０１に顔三角ポリゴンメッシュモデルＳ１０５を整合させることで、三次元表情動作顔三角ポリゴンメッシュモデルＳ１０３を生成する。
【００８０】
三次元差分計算部１０２は、各ポリゴンの各頂点に無表情顔の三次元座標が割り当てられた三次元化無表情顔三角ポリゴンメッシュモデルＳ１０２と、各ポリゴンの各頂点に表情動作顔の三次元座標が割り当てられた三次元化表情動作顔三角ポリゴンメッシュモデルＳ１０３との同じポリゴンの同じ頂点どうしで三次元座標の差をとる。例えば、三次元差分計算部１０２は、モデルＳ１０２とＳ１０３の同じポリゴンを図２０に示すＳ１０２−１、Ｓ１０３−１とすると、同じ頂点ａとａ’どうし、同じ頂点ｂとｂ’どうし、同じ頂点ｃとｃ’どうしで三次元座標の差をとる。そして、三次元座標の差のノルムつまり距離があらかじめ決めた閾値以上の領域を表情時の動作領域とし、領域外を未動作領域とする。この実施例では、点は三角ポリゴンの頂点しかないので、ポリゴン単位で動作領域が決められる。すなわち、ポリゴンの三頂点のいずれかが動作領域の点であれば、そのポリゴンは動作領域、そうでないポリゴンは未動作領域になる。また、この実施例では、動作領域を分割した小領域は各三角ポリゴンになる。三次元差分計算部１０２は、このようにして決めた動作領域の顔三角ポリゴンメッシュモデルのポリゴン番号、その頂点に割り当てられた無表情顔および表情動作顔の三次元座標を含むデータを三次元差分データＳ１０４として記憶装置Ｍ１４に保存する。
【００８１】
図２１に三次元差分データＳ１０４の内容例を示す。顔三角ポリゴンメッシュモデルＳ１０５の各ポリゴン毎にポリゴン番号ｍが設定され、各ポリゴンの頂点毎に頂点番号ｉが設定され、その頂点を含むポリゴンが動作領域かどうかを示すフラグと、その頂点に対応する無表情顔の三次元座標と、その頂点に対応する表情動作顔の三次元座標とを含んで構成される。
【００８２】
外力計算部１０３は、三次元差分データＳ１０４から動作領域になっているポリゴンのデータを入力し、そのポリゴンの頂点の無表情時の三次元座標、表情動作時の三次元座標および必要なパラメータを用いて、各頂点の位置を無表情時の位置から表情動作時の位置に移動させるのに必要な外力を計算する。具体的には、外力計算部１０３は、前述の式（７）に、パラメータｔ，ｋ，ｄと、無表情時の制御点の三次元座標としてのｘｉ（０）と、表情動作時の制御点の三次元座標としてのｘｉ（ｔ）と、その初期条件を与えて、外力Ｆｉを計算する。制御点の取り方はポリゴン内で自由であるが、最も簡単なケースとして、本実施例では図２２Ａと図２２Ｂのようにポリゴンの三頂点が制御点にとられている。この場合、（６）の行列の要素はｎ＝３として計算可能になる。
【００８３】
図２３は本発明の第５実施例による顔動作復号化装置のブロック図であり、或る人物の無表情時の顔三次元データを表情動作時の外力情報に基づいて変形し、その人物の表情動作時の顔三次元データを生成して出力する。本実施例の顔動作復号化装置は、処理装置ＣＮＴ２１と記憶装置Ｍ２１〜Ｍ２６と表示装置ＤＰＹと入力装置ＫＥＹとを含んでいる。複数の記憶装置Ｍ２１〜Ｍ２６は、例えば磁気ディスクで構成されている。記憶装置Ｍ２１、Ｍ２２は入力データとなる無表情顔３ＤデータＳ３００および表情動作時の外力情報Ｓ３０を格納し、記憶装置Ｍ２６は出力データとなる表情顔３Ｄデータ３２を格納し、残りの記憶装置Ｍ２３〜Ｍ２５は中間結果や処理の過程で必要となる制御データを格納する。表示装置ＤＰＹは、例えば液晶ディスプレイで構成され、生成された表情顔３Ｄデータ３２および処理過程のデータなどを表示するために使用される。入力装置ＫＥＹは、例えばキーボードとマウスで構成され、利用者から各種のデータや指示を受け付けるために利用される。制御装置ＣＮＴ２１は、例えばコンピュータの中央処理装置で構成され、本実施例の顔動作復号化装置の主たる処理を実行する。制御装置ＣＮＴ２１は、３Ｄ顔モデル対応部３０１、移動量計算部３０２および表情作成部３１を有する。
【００８４】
制御装置ＣＮＴ２１の各機能部３０１、３０２、３１は、制御装置ＣＮＴ２１を構成するコンピュータと顔動作復号化装置用プログラムとで実現することができる。顔動作復号化装置用プログラムは、磁気ディスク等のコンピュータ可読記録媒体ＰＭ２１に記録されており、コンピュータの立ち上げ時などにそのコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータ上に各機能部３０１、３０２、３１を実現する。
【００８５】
次に本実施例にかかる顔動作復号化装置の動作を説明する。制御装置ＣＮＴ２１は、先ず３Ｄ顔モデル対応部３０１を用いて、記憶装置Ｍ２１に記憶された復号化用に用いられる或る人物の無表情顔三次元データＳ３００を入力し、そのデータに対して記憶装置Ｍ２３に予め用意された顔三角ポリゴンメッシュモデルＳ１０５を整合させることにより、三次元化無表情顔三角ポリゴンメッシュモデルＳ３０２を生成して記憶装置Ｍ２４に保存する。次に、移動量計算部３０２を用いて、記憶装置Ｍ２２に記憶された表情動作の外力情報Ｓ３０に従って、記憶装置Ｍ２４に保存された三次元化無表情顔三角ポリゴンメッシュモデルＳ３０２の動作領域における各制御点の移動位置を計算し、制御点の移動位置データＳ３０３として記憶装置Ｍ２５に保存する。次に、表情作成部３１を用いて、記憶装置Ｍ２５に保存された制御点の移動位置データＳ３０３の基づいて、記憶装置Ｍ２１に記憶された無表情顔三次元データＳ３００を変形し、表情動作時の表情動作顔の三次元データを生成し、表情顔３ＤデータＳ３２として記憶装置Ｍ２６に保存し、また表示装置ＤＰＹに表示する。以下、詳細を説明する。
【００８６】
記憶装置Ｍ２２の表情動作の外力情報Ｓ３０としては、図１８に示される第４実施例の顔動作符号化装置で生成された表情動作の外力データＳ１２および表情動作の動作領域Ｓ１３に相当する情報が用いられる。また、記憶装置Ｍ２３に用意される顔三角ポリゴンメッシュモデルＳ１０５としては、図１８に示される第４実施例の顔動作符号化装置で使われた顔三角ポリゴンメッシュモデルＳ１０５と同じモデルが使われる。
【００８７】
三次元顔モデル対応部３０１は、図１８に示される第４実施例の顔動作符号化装置の三次元顔モデル付与部１０１と同様の方法で、無表情顔三次元データＳ３００に顔三角ポリゴンメッシュモデルＳ１０５を整合させることで、三次元化無表情顔三角ポリゴンメッシュモデルＳ３０２を生成する。つまり、顔三角ポリゴンメッシュモデルＳ１０５における各ポリゴンの各頂点に、その頂点に対応する無表情顔三次元データＳ３００の点の三次元座標が割り当てられ、全てのポリゴンの頂点に無表情顔三次元データＳ３００の点の三次元座標が割り当てられたとき、その結果は、三次元化無表情顔三角ポリゴンメッシュモデルＳ３０２として記憶装置Ｍ２４に保存する。
【００８８】
移動量計算部３０２は、顔三角ポリゴンメッシュモデルＳ１０５に対応した表情動作時の外力情報Ｓ３０を記憶装置Ｍ２２から入力し、図２の第１実施例の制御点動作部３と同様の方法で、表情動作時の制御点の移動位置Ｓ３０３を計算する。例えば、図１８の実施例４と同じような顔三角ポリゴンメッシュモデルが用いられている場合、移動量計算部３０２は、ポリゴンの三頂点の三次元座標と外力情報Ｓ３０に記載されているポリゴンの頂点に働く外力を用いて、前記式（６）の要素をｎ＝３として前記式（７）を計算することにより、各ポリゴンの頂点の表情動作時の移動位置を計算する。
【００８９】
表情作成部３１は、記憶装置Ｍ２１に記憶された無表情顔３ＤデータＳ３００を構成する点のうち、顔三角ポリゴンメッシュモデルＳ１０５の動作領域におけるポリゴンの頂点に対応する点の移動位置は位置データＳ３０３で既に計算されているので、それ以外の点（ポリゴン内点）の移動位置を、図２の第１実施例の動作内挿部４と同様の方法で算出する。例えば、顔三角ポリゴンメッシュモデルが用いられている場合は、表情作成部３１は、各ポリゴン内点の移動位置を頂点の移動位置から内挿によって計算する。そして、無表情顔３ＤデータＳ３００の各点の３次元座標をその移動位置だけ修正して、表情顔三次元データＳ３２を生成する。
【００９０】
ただし、ポリゴンの頂点は、複数の異なるポリゴンに含まれることが普通であるので、図１０で説明されたように隣接する小領域（この場合、ポリゴン）の境界部分に段差などが生じ易い。このため、表情作成部３１に、図９の第２実施例の隣接小領域調整部５と同様の機能を組み込んで、段差などを解消するのが望ましい。また、図１４の第３実施例の未動作領域調整部６と同等の機能を表情作成部３１に組み込んで、動作領域と未動作領域との境界部分に生じる段差などを解消するようにしても良い。
【００９１】
図２３の第５実施例では、或る人物の無表情時の顔三次元データＳ３００を唯一の表情動作の外力情報Ｓ３０に基づいて変形したが、無表情顔三次元データＳ３００をそれぞれ異なる複数の表情動作の外力情報Ｓ３０に基づいて変形することもできる。この場合、移動量計算部３０２は、同じ制御点にかかる外力どうしを加算することにより複数の表情動作の外力情報Ｓ３０を１つの外力情報に合成し、その合成外力に基づいて制御点の移動位置データＳ３０３を算出する。これにより、複数の外力情報Ｓ３０に応じた最終的な制御点の移動位置データが算出されるか、あるいは、それぞれの外力情報Ｓ３０に基づいて制御点の移動位置データＳ３０３を算出した後、同じ制御点にかかる移動位置の平均を求めることにより、複数の外力情報Ｓ３０に応じた最終的な制御点の移動位置データが算出される。
【００９２】
図２４は本発明の第６実施例による顔動作復号化装置のブロック図であり、或る人物の無表情時の顔画像（二次元顔画像）を表情動作時の外力情報に基づいて変形し、その人物の表情動作時の顔画像（二次元顔画像）を生成して出力する。つまり、本実施例の顔動作復号化装置では、図２３に示される第５実施例の顔動作復号化装置における無表情顔三次元データＳ３００が無表情顔画像Ｓ３０１により置換され、出力の表情顔三次元データＳ３２が表情顔画像Ｓ３２に置換されている。
【００９３】
本実施例の顔動作復号化装置は、処理装置ＣＮＴ３１と記憶装置Ｍ３１〜Ｍ３６と表示装置ＤＰＹと入力装置ＫＥＹとを含んでいる。複数の記憶装置Ｍ３１〜Ｍ３６は、例えば磁気ディスクで構成され、記憶装置Ｍ３１、Ｍ３２は入力データとなる無表情顔画像Ｓ３０１および表情動作時の外力情報Ｓ３０を記憶し、記憶装置Ｍ３６は出力データとなる表情顔画像Ｓ３３を格納し、残りの記憶装置Ｍ３３〜Ｍ３５は中間結果や処理の過程で必要となる制御データを格納する。表示装置ＤＰＹは、例えば液晶ディスプレイで構成され、生成された表情顔画像Ｓ３３および処理過程のデータなどを表示する。入力装置ＫＥＹは、例えばキーボードとマウスで構成され、利用者から各種のデータや指示を受け付ける。制御装置ＣＮＴ３１は、例えばコンピュータの中央処理装置で構成され、本実施例の顔動作復号化装置の主たる処理を実行する。制御装置ＣＮＴ３１は、顔画像三次元化部３００、動作量計算部３０２および表情画像作成部３３を有する。
【００９４】
制御装置ＣＮＴ３１の各機能部３００、３０２、３３は、制御装置ＣＮＴ３１を構成するコンピュータと顔動作復号化装置用プログラムとで実現することができる。顔動作復号化装置用プログラムは、磁気ディスク等のコンピュータ可読記録媒体ＰＭ３１に記録されており、コンピュータの立ち上げ時などにそのコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータ上に各機能部３００、３０２、３３を実現する。
【００９５】
次に本実施例にかかる顔動作復号化装置の動作を説明する。制御装置ＣＮＴ３１は、先ず顔画像三次元化部３００を用いて、記憶装置Ｍ３１に記憶された復号化用に用いられる或る人物の無表情顔画像Ｓ３０１を入力し、記憶装置Ｍ３３に予め用意された無表情顔の三次元モデルＳ３０２に貼り付けることで、復号用の無表情顔三次元データＳ３００を生成し、記憶装置Ｍ３４に保存する。この保存された無表情顔三次元データＳ３００が、図２３の第５実施例の三次元化無表情顔三角ポリゴンメッシュモデルＳ３０２に相当する。次に、図２３の第５実施例と同様に移動量計算部３０２を用いて、記憶装置Ｍ３２に記憶された表情動作の外力情報Ｓ３０に従って、記憶装置Ｍ３４に保存された無表情顔三次元データＳ３００の動作領域における各制御点の移動位置が計算され、制御点の移動位置データＳ３０３として記憶装置Ｍ３５に保存される。次に、表情画像作成部３３を用いて、図２３の第５実施例の表情作成部３１と同様の処理により、記憶装置Ｍ３５に保存された制御点の移動位置データＳ３０３に基づいて、記憶装置Ｍ３４に記憶された無表情顔三次元データＳ３００が変形されて、表情動作時の表情動作顔の三次元データが生成される。次いで、この三次元データから表情顔画像Ｓ３３が生成されて記憶装置Ｍ３６に保存され、また表示装置ＤＰＹに表示される。以下、詳細を説明する。
【００９６】
記憶装置Ｍ３２の表情動作の外力情報Ｓ３０としては、図１８に示される第４実施例の顔動作符号化装置で生成された表情動作の外力データＳ１２および表情動作の動作領域Ｓ１３に相当する情報が用いられる。また、記憶装置Ｍ３３に用意される無表情顔の三次元モデルＳ３０２としては、図１８に示される第４実施例の顔動作符号化装置で使われた顔三角ポリゴンメッシュモデルＳ１０５と同じメッシュモデルを用いた或る人物の三次元モデルが使われる。
【００９７】
顔画像三次元化部３００は、復号用の無表情顔画像Ｓ３０１とともに無表情顔の三次元モデルＳ３０２を入力して、復号用の無表情顔画像Ｓ３０１を無表情顔の三次元モデルＳ３０２に貼り付け、復号用の無表情顔三次元データＳ３００を作成する。貼り付け方の例としては、特定の人物の無表情顔三次元データを顔三次元モデルとして登録し、その顔モデルの特徴点を復号用の無表情顔画像Ｓ３０１の特徴点と対応させ、特徴点以外の点では特徴点との相対位置関係から図７に示されるように内挿、外挿によって対応を与える。この対応が与えられると、顔三次元モデルＳ３０２のテクスチャ情報として復号用の無表情顔画像Ｓ３０１が随伴したものが復号用の無表情顔三次元データＳ３００として扱われることができる。なお、上記の特定の人物の無表情顔三次元データＳ３０２は、実在の人物のものである必要はなく、実在人物の無表情顔三次元データの平均をとった平均顔のようなものであっても良い。貼り付け方の他の例としては、図１９に示されるように三角メッシュの頂点の一部が顔の特徴点に対応した顔メッシュモデルを無表情顔の三次元モデルＳ３０２として使う方法もある。図１９からわかるように全体が顔の三次元形状を模すような三次元座標が三角メッシュの各頂点に与えられている。この顔メッシュモデルは人工的に作った非常に荒い表現の顔三次元データとみなすことができ、復号用の無表情顔画像Ｓ３０１と顔メッシュモデルを特徴点単位で対応づけ、特徴点外の点は図７に示されるような内挿、外挿によって対応を与え、無表情顔三次元データの場合と同様にして復号用の無表情顔三次元データＳ３００を作成する。
【００９８】
表情画像作成部３３は、実施例５の表情作成部３１と同様に出力する復号時の表情動作顔の三次元データを作成後、その顔三次元データを指定したビューに投影して復号時の表情動作顔画像Ｓ３３を生成し、記憶装置Ｍ３６に出力する。
【００９９】
図２４の第６実施例では、或る人物の無表情時の顔画像Ｓ３０１が唯一の表情動作の外力情報Ｓ３０に基づいて変形されたが、図２３の第５実施例と同様に、無表情顔画像Ｓ３０１がそれぞれ異なる複数の表情動作の外力情報Ｓ３０に基づいて変形されてもよい。
【０１００】
なお、第５実施例では、無表情顔三次元データＳ３００が入力され、表情動作顔の三次元データＳ３２が出力され、第６実施例では、無表情顔画像Ｓ３０１が入力され、表情動作顔画像Ｓ３３が出力される。他の例として、無表情顔三次元データＳ３００が入力され、表情動作顔画像Ｓ３３が出力される顔動作復号化装置や、無表情顔画像Ｓ３０１が入力され、表情動作顔の三次元データＳ３２が出力される顔動作復号化装置も考えられる。
【０１０１】
図２５は本発明の第７実施例による顔動作符号化装置のブロック図であり、第４実施例と同様に、或る人物の無表情時と表情動作時の顔三次元データから、表情動作時の動作領域と外力を計算して出力する。本実施例の顔動作符号化装置は、処理装置ＣＮＴ４１と記憶装置Ｍ４１〜Ｍ４３と表示装置ＤＰＹと入力装置ＫＥＹとを含んでいる。複数の記憶装置Ｍ４１〜Ｍ４３は、例えば磁気ディスクで構成され、記憶装置Ｍ４１は入力データとなる無表情顔３ＤデータＳ１００および表情動作顔３ＤデータＳ１０１を格納し、記憶装置Ｍ４３は出力データとなる表情動作の外力データＳ１２および表情動作の動作領域Ｓ１３を格納し、残りの記憶装置Ｍ４２は中間結果を格納する。表示装置ＤＰＹは、例えば液晶ディスプレイで構成され、処理過程のデータなどを表示するために使用される。入力装置ＫＥＹは、例えばキーボードとマウスで構成され、利用者から各種のデータや指示を受け付けるために利用される。制御装置ＣＮＴ４１は、例えばコンピュータの中央処理装置で構成され、本実施例の顔動作符号化装置の主たる処理を実行する。制御装置ＣＮＴ４１は、差分計算部１０および外力計算部１１を有する。
【０１０２】
制御装置ＣＮＴ４１の各機能部１０、１１は、制御装置ＣＮＴ４１を構成するコンピュータと顔動作符号化装置用プログラムとで実現することができる。顔動作符号化装置用プログラムは、磁気ディスク等のコンピュータ可読記録媒体ＰＭ４１に記録されており、コンピュータの立ち上げ時などにそのコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータ上に各機能部１０、１１を実現する。
【０１０３】
次に本実施例にかかる顔動作符号化装置の動作を説明する。制御装置ＣＮＴ４１は、先ず差分計算部１０を用いて、記憶装置Ｍ１１に記憶された符号化用に用いられる人物の無表情顔三次元データＳ１００と表情動作顔三次元データＳ１０１を入力し、これらの入力データから三次元座標差Ｓ１１を生成し、記憶装置Ｍ４２に保存する。差分計算部１０は具体的には以下のような処理を行う。
【０１０４】
差分計算部１０は、無表情時と表情動作時の顔三次元データＳ１００、Ｓ１０１の同じ部位間（例えば無表情顔右目目尻と表情動作顔右目目尻など）を対応つける。対応のつけ方は、前述のマーカー等を手がかりに自動化してもよいし、双方の画像を表示装置ＤＰＹに表示してＧＵＩのツールを用いてユーザによる手動で対応づけても良い。現実にはすべての点において対応づけることは難しいので、マーカーのある部分や目、口、鼻等の特徴的な部分のみ対応をとり、その他の部分は、線形内挿のような方法で特徴的な部位との相対的な位置で対応づけるのが妥当である。対応づけが終わると、無表情顔三次元データＳ１００と表情動作顔の三次元データＳ１０１の対応点間で三次元座標の差を計算する。次に、三次元座標の差のノルムつまり距離があらかじめ決められた閾値以上の領域、もしくはその動作に表情筋が付着している領域といった制限つきの領域を表情時の動作領域とし、領域外を未動作領域とする。そして、動作領域に属する点（動作点）について、無表情顔三次元データの位置（三次元座標もしくはそれを円筒など二次元面に投影した時のその面での座標上の二次元座標）とその三次元座標差を三次元座標差Ｓ１１として出力する。
【０１０５】
外力計算部１１は、動作点に関してのみ無表情顔三次元データの位置とその三次元座標差を記した三次元座標差Ｓ１１を用いて、その動作点の位置を無表情顔三次元データの位置から三次元座標差だけ移動させるのに要する外力を計算し、表情動作の外力データＳ１２として出力する。また、外力が働き表情動作が起こる動作領域Ｓ１３を出力する。動作領域Ｓ１３は、図１で説明されたようにバネとダンパーで相互に接続された３点以上の制御点が外力をうけ、制御点に引きずられて一体になって動く小領域に分割され、小領域それぞれの動作が全体の動作領域の動作になる。各小領域での力学システムは、すべてのバネとダンパーが同じバネ定数とダンパー定数をもつと仮定することで、前述したように定式化することができる。
【０１０６】
図２６は本発明の第８の実施例のブロック図であり、図２３の実施例５と同様に、或る人物の無表情時の顔三次元データを表情動作時の外力情報に基づいて変形し、その人物の表情動作時の顔三次元データを生成して出力する顔動作復号化装置に本発明を適用した実施例を示す。本実施例の顔動作復号化装置は、処理装置ＣＮＴ５１と記憶装置Ｍ５１〜Ｍ５４と表示装置ＤＰＹと入力装置ＫＥＹとを含んで構成されている。複数の記憶装置Ｍ５１〜Ｍ５４は、例えば磁気ディスクで構成され、そのうち、記憶装置Ｍ５１、Ｍ５２は入力データとなる無表情顔３ＤデータＳ３００および表情動作時の外力情報Ｓ３０を格納し、記憶装置Ｍ５４は出力データとなる表情顔３Ｄデータ３２を格納し、残りの記憶装置Ｍ５３は中間結果を格納する。表示装置ＤＰＹは、例えば液晶ディスプレイで構成され、生成された表情顔３ＤデータＳ３２および処理過程のデータなどを表示するために使用される。入力装置ＫＥＹは、例えばキーボードとマウスで構成され、利用者から各種のデータや指示を受け付けるために利用される。制御装置ＣＮＴ５１は、例えばコンピュータの中央処理装置で構成され、本実施例の顔動作復号化装置の主たる処理を実行する。制御装置ＣＮＴ５１は、外力復号部３０および表情作成部３１を有する。
【０１０７】
制御装置ＣＮＴ５１の各機能部３０、３１は、制御装置ＣＮＴ５１を構成するコンピュータと顔動作復号化装置用プログラムとで実現することができる。顔動作復号化装置用プログラムは、磁気ディスク等のコンピュータ可読記録媒体ＰＭ５１に記録されており、コンピュータの立ち上げ時などにそのコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータ上に各機能部３０、３１を実現する。
【０１０８】
次に本実施例にかかる顔動作復号化装置の動作を説明する。制御装置ＣＮＴ５１は、先ず外力復号部３０を用いて、記憶装置Ｍ５１に記憶された無表情顔三次元データＳ３００と記憶装置Ｍ５２に記憶された無表情動作の外力情報Ｓ３０を入力する。
【０１０９】
ここで、無表情動作の外力情報Ｓ３０は、図２５の実施例７における表情動作の外力データＳ１２と表情動作の動作領域Ｓ１３を統合したものである。具体的には、動作領域Ｓ１３は、顔の一部を示す領域、両目や口裂点などの特徴点の位置や距離を基準にした相対的な位置で記述された領域として保存される。保存フォーマットとしては、顔面を平面、円筒、球面等の平面に投射して、二次元座標で保存する方法が考えられる。また本発明では動作領域を小領域にわけるので、二次元座標上でも動作領域を小領域に分割しておく。これは、地球を顔、地球上の一部の大陸を動作領域、その大陸内の国を小領域とし、世界地図を動作領域の投影面として考えると理解しやすい。小領域は、制御点の組を作るために付番しておく。外力データＳ１２としては、小領域の制御点にかかる外力三次元ベクトルと小領域の番号、動作領域と同じ二次元座標上の制御点の位置が保存される。
【０１１０】
外力復号部３０は、無表情顔三次元データＳ３００と無表情動作の外力情報Ｓ３０とから、例えば以下のようにして制御点の表情動作移動位置データＳ３１を生成し、記憶装置Ｍ５３に保存する。先ず、外力復号部３０は、無表情顔三次元データＳ３００を、外力情報Ｓ３０の動作領域と同じく顔特徴点の位置や距離を基準にした相対的な位置で記述されたフォーマットに展開する。次に、外力情報Ｓ３０の動作領域に対応する部分をその展開されたフォーマット上で探し、その部分を無表情顔三次元データｓ３００の動作領域とする。小領域と制御点についても同様にして無表情顔三次元データＳ３００の対応領域、対応点を探す。この処理は、無表情顔三次元データＳ３００を表示装置ＤＰＹに表示し、外力情報３０に記述されている制御点、小領域との対応付けをＧＵＩなどのツールでユーザが手動で行ってもよいし、特徴点を元に自動的に行ってもよい。無表情顔三次元データＳ３００の対応制御点が見つかると、外力復号部３０は、その点の三次元座標を前記式（７）のｘｉ（０）に割り当てる。また、その制御点（の対応点）の外力を外力情報Ｓ３０から読み込み、前記式（７）の外力Ｆｉとする。すべての制御点に関してこの処理を行った後、パラメータｄと表情動作の強度を表すｔを与えて外力情報３０の小領域番号が同じ制御点組で前記式（７）から表情動作後の制御点の三次元位置ｘｉ（ｔ）を計算する。この移動後の制御点の三次元位置情報と、位置復号用の無表情顔三次元データＳ３００での動作領域、小領域、制御点の上記フォーマットでの位置情報を制御点の表情動作移動位置Ｓ３１とする。
【０１１１】
表情生成部３１は、無表情顔三次元データＳ３００の制御点を表情動作移動位置Ｓ３１で示される位置に移動させ、その他の点は同じ小領域に属する制御点との相対位置から内挿、外挿により移動位置の三次元座標を計算して、顔三次元データＳ３００での対応位置をその移動位置に移動させる。すべての動作領域中の点を移動させると、表情動作顔の三次元データＳ３２が完成する。表情動作顔の三次元データＳ３２は、復号用の無表情動顔三次元データＳ３００にテクスチャが付随していれば、色情報がついた顔三次元データになる。なお、図２３に示した実施例５の表情作成部３１と同様に、表情作成部３１に、図９の隣接小領域調整部５と同様の機能を組み込んで、小領域の境界部分における段差などを解消するようにしても良く、また、図１４の未動作領域調整部６と同等の機能を表情作成部３１に組み込んで、動作領域と未動作領域との境界部分に生じる段差などを解消するようにしても良い。
【０１１２】
図２６の実施例８では、或る人物の無表情時の顔三次元データＳ３００を唯一の表情動作の外力情報Ｓ３０に基づいて変形したが、無表情顔三次元データＳ３００をそれぞれ異なる複数の表情動作の外力情報Ｓ３０に基づいて変形することもできる。この場合、外力復号部３０は、同じ制御点にかかる外力どうしを加算することにより複数の表情動作の外力情報Ｓ３０を１つの外力情報に合成し、その合成外力に基づいて制御点の表情動作移動位置データＳ３１を算出することにより、複数の外力情報Ｓ３０に応じた最終的な制御点の表情動作移動位置データを算出するか、あるいは、それぞれの外力情報Ｓ３０に基づいて制御点の表情動作移動位置データＳ３１を算出した後、同じ制御点にかかる移動位置の平均を求めることにより、複数の外力情報Ｓ３０に応じた最終的な制御点の表情動作移動位置データを算出する。
【０１１３】
図２７は本発明の第９の実施例のブロック図であり、或る人物の無表情時の顔画像（二次元顔画像）を表情動作時の外力情報に基づいて変形し、その人物の表情動作時の顔画像（二次元顔画像）を生成して出力する顔動作復号化装置に本発明を適用した実施例を示す。つまり、本実施例の顔動作復号化装置は、図２６に示した実施例８の顔動作復号化装置における入力である無表情顔三次元データＳ３００を無表情顔画像Ｓ３０１に代え、出力の表情顔三次元データＳ３２を表情顔画像Ｓ３２に代えたものである。
【０１１４】
本実施例の顔動作復号化装置は、処理装置ＣＮＴ６１と記憶装置Ｍ６１〜Ｍ６６と表示装置ＤＰＹと入力装置ＫＥＹとを含んで構成されている。複数の記憶装置Ｍ６１〜Ｍ６６は、例えば磁気ディスクで構成され、そのうち、記憶装置Ｍ６１、Ｍ６２は入力データとなる無表情顔画像Ｓ３０１および表情動作時の外力情報Ｓ３０を格納し、記憶装置Ｍ６６は出力データとなる表情顔画像Ｓ３３を格納し、残りの記憶装置Ｍ６３〜Ｍ６５は中間結果や処理の過程で必要となる制御データを格納する。表示装置ＤＰＹは、例えば液晶ディスプレイで構成され、生成された表情顔画像Ｓ３３および処理過程のデータなどを表示する。入力装置ＫＥＹは、例えばキーボードとマウスで構成され、利用者から各種のデータや指示を受け付ける。制御装置ＣＮＴ６１は、例えばコンピュータの中央処理装置で構成され、本実施例の顔動作復号化装置の主たる処理を実行する。制御装置ＣＮＴ６１は、顔画像三次元化部３２、外力復号部３０および表情画像作成部３３を有する。
【０１１５】
制御装置ＣＮＴ６１の各機能部３２、３０、３３は、制御装置ＣＮＴ６１を構成するコンピュータと顔動作復号化装置用プログラムとで実現することができる。顔動作復号化装置用プログラムは、磁気ディスク等のコンピュータ可読記録媒体ＰＭ６１に記録されており、コンピュータの立ち上げ時などにそのコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータ上に各機能部３２、３０、３３を実現する。
【０１１６】
次に本実施例にかかる顔動作復号化装置の動作を説明する。制御装置ＣＮＴ６１は、先ず顔画像三次元化部３２を用いて、記憶装置Ｍ６１に記憶された復号化用に用いられる或る人物の無表情顔画像Ｓ３０１を入力し、記憶装置Ｍ６３に予め用意された無表情顔の三次元モデルＳ３０２に貼り付けることで、復号用の無表情顔三次元データＳ３００を生成し、記憶装置Ｍ６４に保存する。次に、図２６の第８実施例と同様に、外力復号部３０を用いて、記憶装置Ｍ６２に記憶された表情動作の外力情報Ｓ３０に従って、記憶装置Ｍ６４に保存された復号用の無表情顔三次元データＳ３００の動作領域における各制御点の移動位置が計算され、制御点の表情動作移動位置データＳ３１として記憶装置Ｍ６５に保存される。次に、表情画像作成部３３を用いて、図２６の第８実施例の表情作成部３１と同様に、記憶装置Ｍ６５に保存された制御点の表情動作移動位置データＳ３１に基づいて、記憶装置Ｍ６４に格納された復元用の無表情顔三次元データＳ３００が変形さされて表情動作時の表情動作顔の三次元データが生成され、次いで、この三次元データを指定したビューに投影して復号時の表情動作顔画像Ｓ３３が生成され、記憶装置Ｍ３６に出力される。
【０１１７】
なお、第８実施例では、無表情顔三次元データＳ３００が入力され、表情動作顔の三次元データＳ３２が出力され、第９実施例では、無表情顔画像Ｓ３０１が入力され、表情動作顔画像Ｓ３３が出力された。他の例として、無表情顔三次元データＳ３００が入力され、表情動作顔画像Ｓ３３が出力される顔動作復号化装置や、無表情顔画像Ｓ３０１が入力され、表情動作顔の三次元データＳ３２が出力される顔動作復号化装置も考えられる。
【０１１８】
図２７の第９実施例では、或る人物の無表情顔画像Ｓ３０１が唯一の表情動作の外力情報Ｓ３０に基づいて変形されたが、図２６の第８実施例と同様に、無表情顔画像Ｓ３０１がそれぞれ異なる複数の表情動作の外力情報Ｓ３０に基づいて変形されてもよい。
【０１１９】
図２８は本発明の第１０実施例による顔動作符号復号化装置のブロック図であり、或る人物Ａの無表情時と表情動作時の三次元データの組から別の人物Ｂの無表情顔の三次元データに表情動作を付与する。
【０１２０】
本実施例の顔動作符号復号化装置は、符号化装置７１、伝送装置７２、復号化装置７３を備えており、伝送装置７２と復号化装置７３とは通信路７４によって通信可能に接続されている。また、復号化装置７１の入力データとなる人物Ａの無表情顔三次元データＳ１００および人物Ａの表情動作顔三次元データＳ１０１を記憶する記憶装置Ｍ７１、復号化装置７１で生成された表情動作の外力データＳ１２および表情動作の動作領域Ｓ１３を保存する記憶装置Ｍ７２、伝送装置７２が表情動作の外力データＳ１２および動作領域Ｓ１３を統合して作成した表情動作の外力情報Ｓ３０を一時的に保存する記憶装置Ｍ７３、人物Ｂの無表情顔三次元データＳ３００を記憶する記憶装置Ｍ７４、通信路７４を通じて伝送装置７２から送られてくる表情動作の外力情報Ｓ３０と記憶装置Ｍ７４に記憶された人物Ｂの無表情顔三次元データＳ３００とに基づいて復号化装置７３で生成された人物Ｂの表情顔三次元データＳ３２を保存する記憶装置Ｍ７５を備えている。
【０１２１】
符号化装置７１は、図２５に示される実施例７の顔動作符号化装置で実現することができる。つまり、符号化装置７１は、図２５の差分計算部１０および外力計算部１１を備える処理装置ＣＮＴ４１、記憶装置Ｍ４２、表示装置ＤＰＹおよび入力装置ＫＥＹで構成される。従って、符号化装置７１の動作は実施例７の顔動作符号化装置の動作と同じである。
【０１２２】
伝送装置７２は、表情動作の外力データＳ１２とその動作領域Ｓ１３の復号化装置７３への転送とその制御を行う。動作領域Ｓ１３は、顔の一部を示す領域、両目や口裂点などの特徴点の位置や距離を基準にした相対的な位置で記述された領域として保存される。保存フォーマットとしては、顔面を平面、円筒、球面等の平面に投射して、二次元座標で保存する方法が考えられる。また動作領域が小領域に分けられるので、二次元座標上でも動作領域が小領域に分割されている。小領域には、制御点の組を作るために付番されている。外力データＳ１２としては、小領域の制御点にかかる外力三次元ベクトルと小領域の番号、動作領域と同じ二次元座標上の制御点の位置が保存される。なお、動作領域や小領域は領域全体を送る必要はなく、その輪郭だけでもよい。伝送の仕方としては、単純にそのまま伝送しても良いし、可逆符号化を行ってから伝送し、受信側で復号することも可能である。復号化装置７３へは、外力データＳ１２とその動作領域Ｓ１３を統合した外力情報Ｓ３０として送られる。
【０１２３】
伝送装置７２の機能として、非対称な表情動作の作成時の処理がある。非対称な表情動作とは、符号化側で複数の表情動作を作り、伝送装置７２がそれらを同時に復号化装置７３に送り、復号化装置７３で複数の表情動作を混合させた表情動作を作ることである。この場合、複数の表情動作のための外力情報Ｓ３０の情報を蓄積しておく必要がある。
【０１２４】
復号化装置７３は、図２６に示される第８実施例の顔動作復号化装置で実現することができる。つまり、復号化装置７３は、図２６の外力復号部３０および表情作成部３１を備える処理装置ＣＮＴ５１、記憶装置Ｍ５３、表示装置ＤＰＹおよび入力装置ＫＥＹで構成することができる。従って、復号化装置７３の動作は実施例８の顔動作復号化装置の動作と同じである。
【０１２５】
上記の説明では、符号化装置７１として図２５に示される第７実施例の顔動作符号化装置を用い、復号化装置７３として図２６に示される第８実施例の顔動作復号化装置を用いる。しかしながら、符号化装置７１として図１８に示される第４実施例の顔動作符号化装置を用い、復号化装置７３として図２３に示される第５実施例の顔動作復号化装置を用いられる顔動作符号復号化装置の実施例も考えられる。
【０１２６】
図２９は本発明の第１１実施例による顔動作符号復号化装置のブロック図であり、或る人物Ａの無表情時と表情動作時の三次元データの組から別の人物Ｂの無表情顔画像に表情動作を付与する。つまり、本実施例の顔動作符号復号化装置では、図２８に示される第１０実施例の顔動作符号復号化装置における復号化装置の入力である無表情顔三次元データＳ３００が無表情顔画像Ｓ３０１に置換され、出力の表情顔三次元データＳ３２が表情顔画像Ｓ３２に置換されている。
【０１２７】
本実施例の顔動作符号復号化装置は、符号化装置８１、伝送装置８２、復号化装置８３を備えており、伝送装置８２と復号化装置８３とは通信路８４によって通信可能に接続されている。また、復号化装置８１の入力データとなる人物Ａの無表情顔三次元データＳ１００および人物Ａの表情動作顔三次元データＳ１０１を記憶する記憶装置Ｍ８１、復号化装置８１で生成された表情動作の外力データＳ１２および表情動作の動作領域Ｓ１３を保存する記憶装置Ｍ８２、伝送装置８２が表情動作の外力データＳ１２および動作領域Ｓ１３を統合して作成した表情動作の外力情報Ｓ３０を一時的に保存する記憶装置Ｍ８３、人物Ｂの無表情顔画像Ｓ３０１を記憶する記憶装置Ｍ８４、無表情顔の三次元モデルＳ３０２を記憶する記憶装置Ｍ８５、通信路８４を通じて伝送装置８２から送られてくる表情動作の外力情報Ｓ３０と記憶装置Ｍ８４に記憶された人物Ｂの無表情顔画像Ｓ３０１と記憶装置Ｍ８５に記憶された無表情顔の三次元モデルＳ３０２とに基づいて復号化装置８３で生成された人物Ｂの表情顔画像Ｓ３３を保存する記憶装置Ｍ８６を備えている。
【０１２８】
符号化装置８１および伝送装置８２は、図２８に示される第１０実施例の符号化装置７１および伝送装置７２と同じである。従って符号化装置８１は、図２５に示される第７実施例の顔動作符号化装置で実現することができる。他方、復号化装置８３は、図２７に示される第９実施例の顔動作復号化装置で実現することができる。つまり、復号化装置８３は、図２７の顔画像三次元化部３２、外力復号部３０および表情画像作成部３３を備える処理装置ＣＮＴ６１、記憶装置Ｍ６３〜Ｍ６５、表示装置ＤＰＹおよび入力装置ＫＥＹで構成することができる。従って、復号化装置８３の動作は実施例９の顔動作復号化装置の動作と同じである。
【０１２９】
上記の説明では、符号化装置８１として図２５に示される第７実施例の顔動作符号化装置が用いられ、復号化装置８３として図２７に示される第９実施例の顔動作復号化装置が用いられる。しかしながら、符号化装置８１として図１８に示される第４実施例の顔動作符号化装置が用いられ、復号化装置８３として図２４に示される第６実施例の顔動作復号化装置が用いられる顔動作符号復号化装置も考えられる。
【０１３０】
なお、第１０実施例は、無表情顔三次元データＳ３００が入力され、表情動作顔の三次元データＳ３２が出力される復号化装置７３を備え、第１１実施例は、無表情顔画像Ｓ３０１が入力され、表情動作顔画像Ｓ３３が出力される復号化装置８３を備えている。しかしながら、他の例として、無表情顔三次元データＳ３００が入力され、表情動作顔画像Ｓ３３が出力される復号化装置を備える顔動作符号復号化装置や、無表情顔画像Ｓ３０１が入力され、表情動作顔の三次元データＳ３２が出力される復号化装置を備える顔動作符号復号化装置も考えられる。
【０１３１】
前述した実施例では、コンピュータグラフィックス技術を用いて顔画像や顔三次元データを変形することで顔に表情が付与された。しかしながら、本実施例は、ロボットの頭部に可撓性を有する仮面が装着され、その仮面の形状を変形することにより顔に表情が与えられる。図３０は、ロボットの頭部に内蔵される制御機器の構成例を示す。図３０において、１３００はロボットの頭部に装着された仮面の断面を示す。仮面１３００の裏面には、各動作領域における各制御点毎に、三次元アクチュエータ１３０１の可動片１３０２の端部１３０３が固定されており、その端部１３０３は、初期状態では無表情時の位置になるように設定されている。各三次元アクチュエータ１３０１は、制御装置１３０４と信号線１３０５で接続されており、制御装置１３０４から信号線１３０５を通じて与えられる移動位置信号に応じて可動片１３０２の端部１３０３のＸＹＺ座標位置が変更される。可動片１３０２の端部１３０３は仮面の裏面の制御点に固定されているので、端部１３０３の位置が移動すると、仮面１３００の各制御点がその周辺部分と一体となって移動し、仮面が変形して所望の表情が表出される。この場合、各制御点の周囲の領域は各制御点に引きずられて移動するので、隣接小領域間の境界部分の平滑化および動作領域と未動作領域の境界部分の平滑化は、特に必要はない。
【０１３２】
各制御点の移動後のＸＹＺ座標位置は、記憶装置１３０６に記憶されている。この記憶装置１３０６に記憶される各制御点のＸＹＺ座標位置の算出は、前述の第１実施例、第５実施例、第６実施例、第８実施例、第９実施例と同様に行われる。つまり、記憶装置１３０６は、図２に示される第１実施例における記憶装置Ｍ５、図２３の第５実施例における記憶装置Ｍ２５、図２４に示される第６実施例における記憶装置Ｍ３５、図２６に示される第８実施例における記憶装置Ｍ５３、図２７に示される第９実施例における記憶装置Ｍ６５に相当する。なお、制御装置１３０４はコンピュータと制御装置用プログラムとで実現することが可能である。
【０１３３】
以上本発明の実施例について説明されたが、本発明は以上の実施例にのみ限定されず、その他各種の付加変更が可能である。例えば、経時的な形態の変化を伴う物体として人間の顔やロボットの顔を例にしたが、犬や猫の顔など経時的な形態の変化を伴う任意の物体に対して本発明は適用可能である。
【特許請求の範囲】
【請求項１】
形態変化前の物体の形態を表わす変化前形態データと前記形態変化後の前記物体の形態を表わす変化後形態データとの間の差分データを計算する計算部と、
前記変化前形態データと、前記差分データとに基づいて、前記物体の前記形態変化の生じた動作領域と、前記形態変化のために前記動作領域に加えられる外力とを決定する決定部と
を具備する形態変形符号化装置。
【請求項２】
請求項１記載の形態変形符号化装置において、
前記計算部は、
３次元モデルに基づいて前記変化前形態データと前記変化後形態データを変化前形態モデルデータと変化後形態モデルデータに変換する変換部と、
前記変化前形態モデルデータと前記変化後形態モデルデータとの差から前記差分データを計算する差分計算部と
を具備する形態変形符号化装置。
【請求項３】
請求項２記載の形態変形符号化装置において、
前記モデルは、３次元ポリゴンメッシュモデルであり、前記変化前形態データと前記変化後形態データは３次元データである形態変形符号化装置。
【請求項４】
請求項１乃至３のいずれかに記載の形態変形符号化装置において、
前記動作領域は、複数の小領域を含み、前記複数の小領域の各々は複数の制御点を含み、
前記外力は、前記複数の小領域の各々の物理モデル構造に基づいて、前記形態変化の前後で前記複数の小領域を独立に変化させるのに必要な外力として計算される形態変形符号化装置。
【請求項５】
請求項４記載の形態変形符号化装置において、
前記物理モデル構造として、制御点どうしがバネとダンパーで結合された物理モデル構造が用いられる形態変形符号化装置。
【請求項６】
請求項４又は５に記載の形態変形符号化装置において、
前記複数の小領域の全てにおいて、前記制御点の個数および前記物理モデル構造が同じである形態変形符号化装置。
【請求項７】
請求項１乃至６のいずれかに記載の形態変形符号化装置において、
前記物体は人の顔を含み、前記形態変化前の物体の形態とは無表情な顔の状態を示し、前記形態変化後の物体の形態とは表情が表出された顔の状態を示す形態変形符号化装置。
【請求項８】
形態変化前の物体の形態を表わす変化前形態データと、形態変化に対応する動作領域に加えられる外力の情報とに基づいて、前記動作領域内の制御点の移動位置を決定する復号部と、前記動作領域は、複数の小領域を含み、前記複数の小領域の各々は複数の制御点を含み、前記複数の小領域の各々の前記制御点の移動位置は、前記複数の小領域単位で物理モデルを用いて決定され、
前記変化前形態データと前記複数の制御点の各々の移動位置とから前記形態変化後の前記物体の形態を表わす変化後形態データを生成する形態生成部と
を具備する形態変形復号化装置。
【請求項９】
請求項８に記載の形態変形復号化装置において、
前記変化前形態データは３次元データであり、
前記復号部は、
前記形態変化前の前記物体の形態の３次元モデルと前記変化前形態データとに基づいて変化前形態モデルデータを生成するモデルデータ生成部と、
前記外力情報に基づいて前記変化前形態モデルデータから前記動作領域内の制御点の各々の移動位置を決定する移動量計算部と
を具備する形態変形復号化装置。
【請求項１０】
請求項８に記載の形態変形復号化装置において、
前記変化前形態データは３次元データであり、
前記復号部は、
３次元ポリゴンメッシュモデルと前記変化前形態データとに基づいて変化前形態メッシュモデルデータを生成するモメッシュデルデータ生成部と、
前記外力情報に基づいて前記変化前形態メッシュモデルデータから前記動作領域内の制御点の各々の移動位置を決定する移動量計算部と
を具備する形態変形復号化装置。
【請求項１１】
請求項８乃至１０のいずれかに記載の形態変形復号化装置において、
前記複数の小領域の各々において、前記小領域に含まれる制御点以外の非制御点の移動位置をその非制御点の近傍の前記制御点の移動位置から計算する動作内挿部
を更に具備する形態変形復号化装置。
【請求項１２】
請求項８乃至１１のいずれかに記載の形態変形復号化装置において、
前記形態生成部は、
前記変化前形態データと前記複数の制御点の各々の移動位置とから前記複数の小領域の単位で前記形態変化後の前記物体の形態を生成する形態変形復号化装置。
【請求項１３】
請求項１２に記載の形態変形復号化装置において、
前記形態変化後の前記複数の小領域のうちの隣接するものの境界部分に生じる不連続箇所を平滑化する隣接小領域調整部
を更に具備する形態変形復号化装置。
【請求項１４】
請求項１２又は１３に記載の形態変形復号化装置において、
前記形態変化後の前記動作領域とその周囲の未動作領域との境界部分に生じる不連続箇所を平滑化する未動作領域調整部
を更に具備する形態変形復号化装置。
【請求項１５】
請求項８乃至１４の何れかに記載の形態変形復号化装置において、
前記複数の小領域の各々の物理モデルでは、前記制御点がバネとダンパーで結合されている形態変形復号化装置。
【請求項１６】
請求項８乃至１５の何れかに記載の形態変形復号化装置において、
前記物体は人の顔を含み、前記形態変化前の形態は無表情な顔を示し、前記形態変化後の形態は、表情が表出された顔を示す形態変形復号化装置。
【請求項１７】
請求項８乃至１６の何れかに記載の形態変形復号化装置において、
前記変化後形態データに基づいて、可撓性を有する前記物体における前記動作領域を駆動する三次元アクチュエータ群
を更に具備する形態変形復号化装置。
【請求項１８】
請求項１乃至７の何れかに記載された形態変形符号化装置と、
請求項８乃至１７の何れかに記載された形態変形復号化装置と、
前記形態変化符号化装で生成された前記動作領域と前記外力情報を通信路を通じて前記形態変形復号化装置へ伝送する伝送装置と
を具備する形態変形符号復号化装置。
【請求項１９】
形態変化前の物体の形態を表わす変化前形態データと前記形態変化後の前記物体の形態を表わす変化後形態データとの間の差分データを計算するステップと、
前記変化前形態データと、前記差分データとに基づいて、前記物体の前記形態変化の生じた動作領域と、前記形態変化のために前記動作領域に加えられる外力とを決定するステップと
を具備する形態変形符号化方法。
【請求項２０】
請求項１９記載の形態変形符号化方法において、
前記計算ステップは、
３次元モデルに基づいて前記変化前形態データと前記変化後形態データを変化前形態モデルデータと変化後形態モデルデータに変換するステップと、
前記変化前形態モデルデータと前記変化後形態モデルデータとの差から前記差分データを計算するステップと
を具備する形態変形符号化方法。
【請求項２１】
請求項２０記載の形態変形符号化方法において、
前記モデルは、３次元ポリゴンメッシュモデルであり、前記変化前形態データと前記変化後形態データは３次元データである形態変形符号化方法。
【請求項２２】
請求項１９乃至２１のいずれかに記載の形態変形符号化方法において、
前記動作領域は、複数の小領域を含み、前記複数の小領域の各々は複数の制御点を含み、
前記外力は、前記複数の小領域の各々の物理モデル構造に基づいて、前記形態変化の前後で前記複数の小領域を独立に変化させるのに必要な外力として計算される形態変形符号化方法。
【請求項２３】
請求項２２記載の形態変形符号化方法において、
前記物理モデル構造として、制御点どうしがバネとダンパーで結合された物理モデル構造が用いられる形態変形符号化方法。
【請求項２４】
請求項２２又は２３に記載の形態変形符号化方法において、
前記複数の小領域の全てにおいて、前記制御点の個数および前記物理モデル構造が同じである形態変形符号化方法。
【請求項２５】
請求項１９乃至２４のいずれかに記載の形態変形符号化方法において、
前記物体は人の顔を含み、前記形態変化前の物体の形態とは無表情な顔の状態を示し、前記形態変化後の物体の形態とは表情が表出された顔の状態を示す形態変形符号化方法。
【請求項２６】
形態変化前の物体の形態を表わす変化前形態データと、形態変化に対応する動作領域に加えられる外力の情報とに基づいて、前記動作領域内の制御点の移動位置を決定するステップと、前記動作領域は、複数の小領域を含み、前記複数の小領域の各々は複数の制御点を含み、前記複数の小領域の各々の前記制御点の移動位置は、前記複数の小領域単位で物理モデルを用いて決定され、
前記変化前形態データと前記複数の制御点の各々の移動位置とから前記形態変化後の前記物体の形態を表わす変化後形態データを生成するステップと
を具備する形態変形復号化方法。
【請求項２７】
請求項２６に記載の形態変形復号化方法において、
前記変化前形態データは３次元データであり、
前記移動位置を決定するステップは、
前記形態変化前の前記物体の形態の３次元モデルと前記変化前形態データとに基づいて変化前形態モデルデータを生成するステップと、
前記外力情報に基づいて前記変化前形態モデルデータから前記動作領域内の制御点の各々の移動位置を決定するステップと
を具備する形態変形復号化方法。
【請求項２８】
請求項２６に記載の形態変形復号化方法において、
前記変化前形態データは３次元データであり、
前記移動位置を決定するステップは、
３次元ポリゴンメッシュモデルと前記変化前形態データとに基づいて変化前形態メッシュモデルデータを生成するステップと、
前記外力情報に基づいて前記変化前形態メッシュモデルデータから前記動作領域内の制御点の各々の移動位置を決定するステップと
を具備する形態変形復号化方法。
【請求項２９】
請求項２６至２８のいずれかに記載の形態変形復号化方法において、
前記複数の小領域の各々において、前記小領域に含まれる制御点以外の非制御点の移動位置をその非制御点の近傍の前記制御点の移動位置から計算するステップ
を更に具備する形態変形復号化方法。
【請求項３０】
請求項２６乃至２９のいずれかに記載の形態変形復号化方法において、
前記変化後形態データを生成するステップは、
前記変化前形態データと前記複数の制御点の各々の移動位置とから前記複数の小領域の単位で前記形態変化後の前記物体の形態を生成する形態変形復号化方法。
【請求項３１】
請求項３０に記載の形態変形復号化方法において、
前記形態変化後の前記複数の小領域のうちの隣接するものの境界部分に生じる不連続箇所を平滑化するステップ
を更に具備する形態変形復号化方法。
【請求項３２】
請求項３０又は３１に記載の形態変形復号化方法において、
前記形態変化後の前記動作領域とその周囲の未動作領域との境界部分に生じる不連続箇所を平滑化するステップ
を更に具備する形態変形復号化方法。
【請求項３３】
請求項２６乃至３２の何れかに記載の形態変形復号化方法において、
前記複数の小領域の各々の物理モデルでは、前記制御点がバネとダンパーで結合されている形態変形復号化方法。
【請求項３４】
請求項２６乃至３３の何れかに記載の形態変形復号化方法において、
前記物体は人の顔を含み、前記形態変化前の形態は無表情な顔を示し、前記形態変化後の形態は、表情が表出された顔を示す形態変形復号化方法。
【請求項３５】
請求項２６乃至３４の何れかに記載の形態変形復号化方法において、
前記物体はロボットであり、
前記変化後形態データに基づいて、可撓性を有する前記物体における前記動作領域を駆動するステップ
を更に具備する形態変形復号化方法。
【請求項３６】
請求項１９乃至２５の何れかに記載された形態変形符号化方法により前記動作領域の情報と、前記外力の情報を生成するステップと、
前記動作領域の情報と前記外力情報を通信路を通じて伝送するステップと
請求項２６乃至３５の何れかに記載された形態変形復号化方法により、前記伝送された動作領域の情報と、前記伝送された外力の情報から前記物体の形態を表わす変化後形態データを生成するステップ
を具備する形態変形符号復号化方法。
【請求項３７】
形態変化前の物体の形態を表わす変化前形態データと前記形態変化後の前記物体の形態を表わす変化後形態データとの間の差分データを計算するステップと、
前記変化前形態データと、前記差分データとに基づいて、前記物体の前記形態変化の生じた動作領域と、前記形態変化のために前記動作領域に加えられる外力とを決定するステップと
を具備する形態変形符号化方法を実現するための、計算機読み取り可能なソフトウェアプロダクト。
【請求項３８】
請求項３７記載のソフトウェアプロダクトにおいて、
前記計算ステップは、
３次元モデルに基づいて前記変化前形態データと前記変化後形態データを変化前形態モデルデータと変化後形態モデルデータに変換するステップと、
前記変化前形態モデルデータと前記変化後形態モデルデータとの差から前記差分データを計算するステップと
を具備する計算機読み取り可能なソフトウェアプロダクト。
【請求項３９】
請求項３８記載のソフトウェアプロダクトにおいて、
前記モデルは、３次元ポリゴンメッシュモデルであり、前記変化前形態データと前記変化後形態データは３次元データである計算機読み取り可能なソフトウェアプロダクト。
【請求項４０】
請求項３７乃至３９のいずれかに記載のソフトウェアプロダクトにおいて、
前記動作領域は、複数の小領域を含み、前記複数の小領域の各々は複数の制御点を含み、
前記外力は、前記複数の小領域の各々の物理モデル構造に基づいて、前記形態変化の前後で前記複数の小領域を独立に変化させるのに必要な外力として計算される計算機読み取り可能なソフトウェアプロダクト。
【請求項４１】
請求項４０記載のソフトウェアプロダクトにおいて、
前記物理モデル構造として、制御点どうしがバネとダンパーで結合された物理モデル構造が用いられる計算機読み取り可能なソフトウェアプロダクト。
【請求項４２】
請求項４０又は４１に記載のソフトウェアプロダクトにおいて、
前記複数の小領域の全てにおいて、前記制御点の個数および前記物理モデル構造が同じである計算機読み取り可能なソフトウェアプロダクト。
【請求項４３】
請求項３７乃至４２のいずれかに記載のソフトウェアプロダクトにおいて、
前記物体は人の顔を含み、前記形態変化前の物体の形態とは無表情な顔の状態を示し、前記形態変化後の物体の形態とは表情が表出された顔の状態を示す計算機読み取り可能なソフトウェアプロダクト。
【請求項４４】
形態変化前の物体の形態を表わす変化前形態データと、形態変化に対応する動作領域に加えられる外力の情報とに基づいて、前記動作領域内の制御点の移動位置を決定するステップと、前記動作領域は、複数の小領域を含み、前記複数の小領域の各々は複数の制御点を含み、前記複数の小領域の各々の前記制御点の移動位置は、前記複数の小領域単位で物理モデルを用いて決定され、
前記変化前形態データと前記複数の制御点の各々の移動位置とから前記形態変化後の前記物体の形態を表わす変化後形態データを生成するステップと
を具備する形態変形復号化方法を実現するための、計算機読み取り可能なソフトウェアプロダクト。
【請求項４５】
請求項４４に記載のソフトウェアプロダクトにおいて、
前記変化前形態データは３次元データであり、
前記移動位置を決定するステップは、
前記形態変化前の前記物体の形態の３次元モデルと前記変化前形態データとに基づいて変化前形態モデルデータを生成するステップと、
前記外力情報に基づいて前記変化前形態モデルデータから前記動作領域内の制御点の各々の移動位置を決定するステップと
を具備する計算機読み取り可能なソフトウェアプロダクト。
【請求項４６】
請求項４４に記載のソフトウェアプロダクトにおいて、
前記変化前形態データは３次元データであり、
前記移動位置を決定するステップは、
３次元ポリゴンメッシュモデルと前記変化前形態データとに基づいて変化前形態メッシュモデルデータを生成するステップと、
前記外力情報に基づいて前記変化前形態メッシュモデルデータから前記動作領域内の制御点の各々の移動位置を決定するステップと
を具備する計算機読み取り可能なソフトウェアプロダクト。
【請求項４７】
請求項４４乃至４６のいずれかに記載のソフトウェアプロダクトにおいて、
前記複数の小領域の各々において、前記小領域に含まれる制御点以外の非制御点の移動位置をその非制御点の近傍の前記制御点の移動位置から計算するステップ
を更に具備する計算機読み取り可能なソフトウェアプロダクト。
【請求項４８】
請求項４４乃至４７のいずれかに記載のソフトウェアプロダクトにおいて、
前記変化後形態データを生成するステップは、
前記変化前形態データと前記複数の制御点の各々の移動位置とから前記複数の小領域の単位で前記形態変化後の前記物体の形態を生成する計算機読み取り可能なソフトウェアプロダクト。
【請求項４９】
請求項４８に記載のソフトウェアプロダクトにおいて、
前記形態変化後の前記複数の小領域のうちの隣接するものの境界部分に生じる不連続箇所を平滑化するステップ
を更に具備する計算機読み取り可能なソフトウェアプロダクト。
【請求項５０】
請求項４８又は４９に記載のソフトウェアプロダクトにおいて、
前記形態変化後の前記動作領域とその周囲の未動作領域との境界部分に生じる不連続箇所を平滑化するステップ
を更に具備する計算機読み取り可能なソフトウェアプロダクト。
【請求項５１】
請求項４４乃至５０の何れかに記載のソフトウェアプロダクトにおいて、
前記複数の小領域の各々の物理モデルでは、前記制御点がバネとダンパーで結合されている計算機読み取り可能なソフトウェアプロダクト。
【請求項５２】
請求項４４乃至５１の何れかに記載のソフトウェアプロダクトにおいて、
前記物体は人の顔を含み、前記形態変化前の形態は無表情な顔を示し、前記形態変化後の形態は、表情が表出された顔を示す計算機読み取り可能なソフトウェアプロダクト。
【請求項５３】
請求項４４乃至５２の何れかに記載のソフトウェアプロダクトにおいて、
前記物体はロボットであり、
前記変化後形態データに基づいて、可撓性を有する前記物体における前記動作領域を駆動するステップ
を更に具備する計算機読み取り可能なソフトウェアプロダクト。
【請求項１】
形態変化前の物体の形態を表わす変化前形態データと前記形態変化後の前記物体の形態を表わす変化後形態データとの間の差分データを計算する計算部と、
前記変化前形態データと、前記差分データとに基づいて、前記物体の前記形態変化の生じた動作領域と、前記形態変化のために前記動作領域に加えられる外力とを決定する決定部と
を具備する形態変形符号化装置。
【請求項２】
請求項１記載の形態変形符号化装置において、
前記計算部は、
３次元モデルに基づいて前記変化前形態データと前記変化後形態データを変化前形態モデルデータと変化後形態モデルデータに変換する変換部と、
前記変化前形態モデルデータと前記変化後形態モデルデータとの差から前記差分データを計算する差分計算部と
を具備する形態変形符号化装置。
【請求項３】
請求項２記載の形態変形符号化装置において、
前記モデルは、３次元ポリゴンメッシュモデルであり、前記変化前形態データと前記変化後形態データは３次元データである形態変形符号化装置。
【請求項４】
請求項１乃至３のいずれかに記載の形態変形符号化装置において、
前記動作領域は、複数の小領域を含み、前記複数の小領域の各々は複数の制御点を含み、
前記外力は、前記複数の小領域の各々の物理モデル構造に基づいて、前記形態変化の前後で前記複数の小領域を独立に変化させるのに必要な外力として計算される形態変形符号化装置。
【請求項５】
請求項４記載の形態変形符号化装置において、
前記物理モデル構造として、制御点どうしがバネとダンパーで結合された物理モデル構造が用いられる形態変形符号化装置。
【請求項６】
請求項４又は５に記載の形態変形符号化装置において、
前記複数の小領域の全てにおいて、前記制御点の個数および前記物理モデル構造が同じである形態変形符号化装置。
【請求項７】
請求項１乃至６のいずれかに記載の形態変形符号化装置において、
前記物体は人の顔を含み、前記形態変化前の物体の形態とは無表情な顔の状態を示し、前記形態変化後の物体の形態とは表情が表出された顔の状態を示す形態変形符号化装置。
【請求項８】
形態変化前の物体の形態を表わす変化前形態データと、形態変化に対応する動作領域に加えられる外力の情報とに基づいて、前記動作領域内の制御点の移動位置を決定する復号部と、前記動作領域は、複数の小領域を含み、前記複数の小領域の各々は複数の制御点を含み、前記複数の小領域の各々の前記制御点の移動位置は、前記複数の小領域単位で物理モデルを用いて決定され、
前記変化前形態データと前記複数の制御点の各々の移動位置とから前記形態変化後の前記物体の形態を表わす変化後形態データを生成する形態生成部と
を具備する形態変形復号化装置。
【請求項９】
請求項８に記載の形態変形復号化装置において、
前記変化前形態データは３次元データであり、
前記復号部は、
前記形態変化前の前記物体の形態の３次元モデルと前記変化前形態データとに基づいて変化前形態モデルデータを生成するモデルデータ生成部と、
前記外力情報に基づいて前記変化前形態モデルデータから前記動作領域内の制御点の各々の移動位置を決定する移動量計算部と
を具備する形態変形復号化装置。
【請求項１０】
請求項８に記載の形態変形復号化装置において、
前記変化前形態データは３次元データであり、
前記復号部は、
３次元ポリゴンメッシュモデルと前記変化前形態データとに基づいて変化前形態メッシュモデルデータを生成するモメッシュデルデータ生成部と、
前記外力情報に基づいて前記変化前形態メッシュモデルデータから前記動作領域内の制御点の各々の移動位置を決定する移動量計算部と
を具備する形態変形復号化装置。
【請求項１１】
請求項８乃至１０のいずれかに記載の形態変形復号化装置において、
前記複数の小領域の各々において、前記小領域に含まれる制御点以外の非制御点の移動位置をその非制御点の近傍の前記制御点の移動位置から計算する動作内挿部
を更に具備する形態変形復号化装置。
【請求項１２】
請求項８乃至１１のいずれかに記載の形態変形復号化装置において、
前記形態生成部は、
前記変化前形態データと前記複数の制御点の各々の移動位置とから前記複数の小領域の単位で前記形態変化後の前記物体の形態を生成する形態変形復号化装置。
【請求項１３】
請求項１２に記載の形態変形復号化装置において、
前記形態変化後の前記複数の小領域のうちの隣接するものの境界部分に生じる不連続箇所を平滑化する隣接小領域調整部
を更に具備する形態変形復号化装置。
【請求項１４】
請求項１２又は１３に記載の形態変形復号化装置において、
前記形態変化後の前記動作領域とその周囲の未動作領域との境界部分に生じる不連続箇所を平滑化する未動作領域調整部
を更に具備する形態変形復号化装置。
【請求項１５】
請求項８乃至１４の何れかに記載の形態変形復号化装置において、
前記複数の小領域の各々の物理モデルでは、前記制御点がバネとダンパーで結合されている形態変形復号化装置。
【請求項１６】
請求項８乃至１５の何れかに記載の形態変形復号化装置において、
前記物体は人の顔を含み、前記形態変化前の形態は無表情な顔を示し、前記形態変化後の形態は、表情が表出された顔を示す形態変形復号化装置。
【請求項１７】
請求項８乃至１６の何れかに記載の形態変形復号化装置において、
前記変化後形態データに基づいて、可撓性を有する前記物体における前記動作領域を駆動する三次元アクチュエータ群
を更に具備する形態変形復号化装置。
【請求項１８】
請求項１乃至７の何れかに記載された形態変形符号化装置と、
請求項８乃至１７の何れかに記載された形態変形復号化装置と、
前記形態変化符号化装で生成された前記動作領域と前記外力情報を通信路を通じて前記形態変形復号化装置へ伝送する伝送装置と
を具備する形態変形符号復号化装置。
【請求項１９】
形態変化前の物体の形態を表わす変化前形態データと前記形態変化後の前記物体の形態を表わす変化後形態データとの間の差分データを計算するステップと、
前記変化前形態データと、前記差分データとに基づいて、前記物体の前記形態変化の生じた動作領域と、前記形態変化のために前記動作領域に加えられる外力とを決定するステップと
を具備する形態変形符号化方法。
【請求項２０】
請求項１９記載の形態変形符号化方法において、
前記計算ステップは、
３次元モデルに基づいて前記変化前形態データと前記変化後形態データを変化前形態モデルデータと変化後形態モデルデータに変換するステップと、
前記変化前形態モデルデータと前記変化後形態モデルデータとの差から前記差分データを計算するステップと
を具備する形態変形符号化方法。
【請求項２１】
請求項２０記載の形態変形符号化方法において、
前記モデルは、３次元ポリゴンメッシュモデルであり、前記変化前形態データと前記変化後形態データは３次元データである形態変形符号化方法。
【請求項２２】
請求項１９乃至２１のいずれかに記載の形態変形符号化方法において、
前記動作領域は、複数の小領域を含み、前記複数の小領域の各々は複数の制御点を含み、
前記外力は、前記複数の小領域の各々の物理モデル構造に基づいて、前記形態変化の前後で前記複数の小領域を独立に変化させるのに必要な外力として計算される形態変形符号化方法。
【請求項２３】
請求項２２記載の形態変形符号化方法において、
前記物理モデル構造として、制御点どうしがバネとダンパーで結合された物理モデル構造が用いられる形態変形符号化方法。
【請求項２４】
請求項２２又は２３に記載の形態変形符号化方法において、
前記複数の小領域の全てにおいて、前記制御点の個数および前記物理モデル構造が同じである形態変形符号化方法。
【請求項２５】
請求項１９乃至２４のいずれかに記載の形態変形符号化方法において、
前記物体は人の顔を含み、前記形態変化前の物体の形態とは無表情な顔の状態を示し、前記形態変化後の物体の形態とは表情が表出された顔の状態を示す形態変形符号化方法。
【請求項２６】
形態変化前の物体の形態を表わす変化前形態データと、形態変化に対応する動作領域に加えられる外力の情報とに基づいて、前記動作領域内の制御点の移動位置を決定するステップと、前記動作領域は、複数の小領域を含み、前記複数の小領域の各々は複数の制御点を含み、前記複数の小領域の各々の前記制御点の移動位置は、前記複数の小領域単位で物理モデルを用いて決定され、
前記変化前形態データと前記複数の制御点の各々の移動位置とから前記形態変化後の前記物体の形態を表わす変化後形態データを生成するステップと
を具備する形態変形復号化方法。
【請求項２７】
請求項２６に記載の形態変形復号化方法において、
前記変化前形態データは３次元データであり、
前記移動位置を決定するステップは、
前記形態変化前の前記物体の形態の３次元モデルと前記変化前形態データとに基づいて変化前形態モデルデータを生成するステップと、
前記外力情報に基づいて前記変化前形態モデルデータから前記動作領域内の制御点の各々の移動位置を決定するステップと
を具備する形態変形復号化方法。
【請求項２８】
請求項２６に記載の形態変形復号化方法において、
前記変化前形態データは３次元データであり、
前記移動位置を決定するステップは、
３次元ポリゴンメッシュモデルと前記変化前形態データとに基づいて変化前形態メッシュモデルデータを生成するステップと、
前記外力情報に基づいて前記変化前形態メッシュモデルデータから前記動作領域内の制御点の各々の移動位置を決定するステップと
を具備する形態変形復号化方法。
【請求項２９】
請求項２６至２８のいずれかに記載の形態変形復号化方法において、
前記複数の小領域の各々において、前記小領域に含まれる制御点以外の非制御点の移動位置をその非制御点の近傍の前記制御点の移動位置から計算するステップ
を更に具備する形態変形復号化方法。
【請求項３０】
請求項２６乃至２９のいずれかに記載の形態変形復号化方法において、
前記変化後形態データを生成するステップは、
前記変化前形態データと前記複数の制御点の各々の移動位置とから前記複数の小領域の単位で前記形態変化後の前記物体の形態を生成する形態変形復号化方法。
【請求項３１】
請求項３０に記載の形態変形復号化方法において、
前記形態変化後の前記複数の小領域のうちの隣接するものの境界部分に生じる不連続箇所を平滑化するステップ
を更に具備する形態変形復号化方法。
【請求項３２】
請求項３０又は３１に記載の形態変形復号化方法において、
前記形態変化後の前記動作領域とその周囲の未動作領域との境界部分に生じる不連続箇所を平滑化するステップ
を更に具備する形態変形復号化方法。
【請求項３３】
請求項２６乃至３２の何れかに記載の形態変形復号化方法において、
前記複数の小領域の各々の物理モデルでは、前記制御点がバネとダンパーで結合されている形態変形復号化方法。
【請求項３４】
請求項２６乃至３３の何れかに記載の形態変形復号化方法において、
前記物体は人の顔を含み、前記形態変化前の形態は無表情な顔を示し、前記形態変化後の形態は、表情が表出された顔を示す形態変形復号化方法。
【請求項３５】
請求項２６乃至３４の何れかに記載の形態変形復号化方法において、
前記物体はロボットであり、
前記変化後形態データに基づいて、可撓性を有する前記物体における前記動作領域を駆動するステップ
を更に具備する形態変形復号化方法。
【請求項３６】
請求項１９乃至２５の何れかに記載された形態変形符号化方法により前記動作領域の情報と、前記外力の情報を生成するステップと、
前記動作領域の情報と前記外力情報を通信路を通じて伝送するステップと
請求項２６乃至３５の何れかに記載された形態変形復号化方法により、前記伝送された動作領域の情報と、前記伝送された外力の情報から前記物体の形態を表わす変化後形態データを生成するステップ
を具備する形態変形符号復号化方法。
【請求項３７】
形態変化前の物体の形態を表わす変化前形態データと前記形態変化後の前記物体の形態を表わす変化後形態データとの間の差分データを計算するステップと、
前記変化前形態データと、前記差分データとに基づいて、前記物体の前記形態変化の生じた動作領域と、前記形態変化のために前記動作領域に加えられる外力とを決定するステップと
を具備する形態変形符号化方法を実現するための、計算機読み取り可能なソフトウェアプロダクト。
【請求項３８】
請求項３７記載のソフトウェアプロダクトにおいて、
前記計算ステップは、
３次元モデルに基づいて前記変化前形態データと前記変化後形態データを変化前形態モデルデータと変化後形態モデルデータに変換するステップと、
前記変化前形態モデルデータと前記変化後形態モデルデータとの差から前記差分データを計算するステップと
を具備する計算機読み取り可能なソフトウェアプロダクト。
【請求項３９】
請求項３８記載のソフトウェアプロダクトにおいて、
前記モデルは、３次元ポリゴンメッシュモデルであり、前記変化前形態データと前記変化後形態データは３次元データである計算機読み取り可能なソフトウェアプロダクト。
【請求項４０】
請求項３７乃至３９のいずれかに記載のソフトウェアプロダクトにおいて、
前記動作領域は、複数の小領域を含み、前記複数の小領域の各々は複数の制御点を含み、
前記外力は、前記複数の小領域の各々の物理モデル構造に基づいて、前記形態変化の前後で前記複数の小領域を独立に変化させるのに必要な外力として計算される計算機読み取り可能なソフトウェアプロダクト。
【請求項４１】
請求項４０記載のソフトウェアプロダクトにおいて、
前記物理モデル構造として、制御点どうしがバネとダンパーで結合された物理モデル構造が用いられる計算機読み取り可能なソフトウェアプロダクト。
【請求項４２】
請求項４０又は４１に記載のソフトウェアプロダクトにおいて、
前記複数の小領域の全てにおいて、前記制御点の個数および前記物理モデル構造が同じである計算機読み取り可能なソフトウェアプロダクト。
【請求項４３】
請求項３７乃至４２のいずれかに記載のソフトウェアプロダクトにおいて、
前記物体は人の顔を含み、前記形態変化前の物体の形態とは無表情な顔の状態を示し、前記形態変化後の物体の形態とは表情が表出された顔の状態を示す計算機読み取り可能なソフトウェアプロダクト。
【請求項４４】
形態変化前の物体の形態を表わす変化前形態データと、形態変化に対応する動作領域に加えられる外力の情報とに基づいて、前記動作領域内の制御点の移動位置を決定するステップと、前記動作領域は、複数の小領域を含み、前記複数の小領域の各々は複数の制御点を含み、前記複数の小領域の各々の前記制御点の移動位置は、前記複数の小領域単位で物理モデルを用いて決定され、
前記変化前形態データと前記複数の制御点の各々の移動位置とから前記形態変化後の前記物体の形態を表わす変化後形態データを生成するステップと
を具備する形態変形復号化方法を実現するための、計算機読み取り可能なソフトウェアプロダクト。
【請求項４５】
請求項４４に記載のソフトウェアプロダクトにおいて、
前記変化前形態データは３次元データであり、
前記移動位置を決定するステップは、
前記形態変化前の前記物体の形態の３次元モデルと前記変化前形態データとに基づいて変化前形態モデルデータを生成するステップと、
前記外力情報に基づいて前記変化前形態モデルデータから前記動作領域内の制御点の各々の移動位置を決定するステップと
を具備する計算機読み取り可能なソフトウェアプロダクト。
【請求項４６】
請求項４４に記載のソフトウェアプロダクトにおいて、
前記変化前形態データは３次元データであり、
前記移動位置を決定するステップは、
３次元ポリゴンメッシュモデルと前記変化前形態データとに基づいて変化前形態メッシュモデルデータを生成するステップと、
前記外力情報に基づいて前記変化前形態メッシュモデルデータから前記動作領域内の制御点の各々の移動位置を決定するステップと
を具備する計算機読み取り可能なソフトウェアプロダクト。
【請求項４７】
請求項４４乃至４６のいずれかに記載のソフトウェアプロダクトにおいて、
前記複数の小領域の各々において、前記小領域に含まれる制御点以外の非制御点の移動位置をその非制御点の近傍の前記制御点の移動位置から計算するステップ
を更に具備する計算機読み取り可能なソフトウェアプロダクト。
【請求項４８】
請求項４４乃至４７のいずれかに記載のソフトウェアプロダクトにおいて、
前記変化後形態データを生成するステップは、
前記変化前形態データと前記複数の制御点の各々の移動位置とから前記複数の小領域の単位で前記形態変化後の前記物体の形態を生成する計算機読み取り可能なソフトウェアプロダクト。
【請求項４９】
請求項４８に記載のソフトウェアプロダクトにおいて、
前記形態変化後の前記複数の小領域のうちの隣接するものの境界部分に生じる不連続箇所を平滑化するステップ
を更に具備する計算機読み取り可能なソフトウェアプロダクト。
【請求項５０】
請求項４８又は４９に記載のソフトウェアプロダクトにおいて、
前記形態変化後の前記動作領域とその周囲の未動作領域との境界部分に生じる不連続箇所を平滑化するステップ
を更に具備する計算機読み取り可能なソフトウェアプロダクト。
【請求項５１】
請求項４４乃至５０の何れかに記載のソフトウェアプロダクトにおいて、
前記複数の小領域の各々の物理モデルでは、前記制御点がバネとダンパーで結合されている計算機読み取り可能なソフトウェアプロダクト。
【請求項５２】
請求項４４乃至５１の何れかに記載のソフトウェアプロダクトにおいて、
前記物体は人の顔を含み、前記形態変化前の形態は無表情な顔を示し、前記形態変化後の形態は、表情が表出された顔を示す計算機読み取り可能なソフトウェアプロダクト。
【請求項５３】
請求項４４乃至５２の何れかに記載のソフトウェアプロダクトにおいて、
前記物体はロボットであり、
前記変化後形態データに基づいて、可撓性を有する前記物体における前記動作領域を駆動するステップ
を更に具備する計算機読み取り可能なソフトウェアプロダクト。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１０Ｃ】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５Ａ】
【図１５Ｂ】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２Ａ】
【図２２Ｂ】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１０Ｃ】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５Ａ】
【図１５Ｂ】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２Ａ】
【図２２Ｂ】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【国際公開番号】ＷＯ２００５／０２４７２８
【国際公開日】平成１７年３月１７日（２００５．３．１７）
【発行日】平成１９年１１月８日（２００７．１１．８）
【国際特許分類】
【出願番号】特願２００５−５１３６２２（Ｐ２００５−５１３６２２）
【国際出願番号】ＰＣＴ／ＪＰ２００４／０１２１８１
【国際出願日】平成１６年８月２５日（２００４．８．２５）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【国際公開日】平成１７年３月１７日（２００５．３．１７）
【発行日】平成１９年１１月８日（２００７．１１．８）
【国際特許分類】
【国際出願番号】ＰＣＴ／ＪＰ２００４／０１２１８１
【国際出願日】平成１６年８月２５日（２００４．８．２５）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]