顔モデル作成システム
【課題】顔形状の特徴点からなるモデルを自動生成する。
【解決手段】正準化処理部１１２は、レンジファインダ１００が取得したモデル化対象の顔（対象顔）の距離画像を、姿勢及び位置を正しく合わせる。２次元ＤＰマッチング部１１４は、この距離画像と、標準顔パッチモデル距離画像１２２との画素同士の対応関係を、２次元ＤＰマッチングにより求める。この対応関係に基づき、モデル変形部１１６が、標準顔パッチモデル１２６の各特徴点を対象顔の形状に合わせて移動させることで、標準顔パッチモデル１２６を変形して対象顔のパッチモデルを生成する。
【解決手段】正準化処理部１１２は、レンジファインダ１００が取得したモデル化対象の顔（対象顔）の距離画像を、姿勢及び位置を正しく合わせる。２次元ＤＰマッチング部１１４は、この距離画像と、標準顔パッチモデル距離画像１２２との画素同士の対応関係を、２次元ＤＰマッチングにより求める。この対応関係に基づき、モデル変形部１１６が、標準顔パッチモデル１２６の各特徴点を対象顔の形状に合わせて移動させることで、標準顔パッチモデル１２６を変形して対象顔のパッチモデルを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔の３次元形状を表すモデルを作成するための技術に関する。
【背景技術】
【０００２】
顔を用いた本人認証や顔のＣＧ（コンピュータグラフィクス）の作成などの様々な分野で、実際の顔の３次元形状計測結果の利用が図られている。
【０００３】
非特許文献１には、レンジファインダを用いて顔の３次元形状とテクスチャ（輝度画像）を得るシステムが開示されている。
【０００４】
ここで、レンジファインダにより得られる顔の３次元形状データは顔の表面の各点を示す３次元の点の集合である。高い精度を得るべく十分に高解像度のレンジファインダを用いた場合、顔表面を示す点の数は数万点規模に上る。このような規模の大きいデータは利用が難しい。
【０００５】
そこで、顔の３次元形状を示す点群のうち、顔の構造上の特徴を示す特徴点の組合せにより顔をモデル化することが行われている。このような顔の三次元形状のモデル化の手法として、非特許文献２に示される方式が知られている。この方式では、顔に数百点の特徴点を設定している。特徴点は、目頭や目尻、唇の両端など、顔の特徴となる構造部分に対して配される。目や鼻、口元などといった顔の特徴を強く示す部分ほど特徴点は密に配置される。非特許文献１に示される手法では、レンジファインダにより顔の３次元形状を示す生の点群と、２次元の顔画像とを取得し、２次元のテクスチャ画像上で特徴点の中でも重要度の高い代表点（例えば目頭や目尻など）をオペレータに指定させ、代表点以外の特徴点をそれら代表点同士の補間により推定している。このように求められた特徴点の３次元座標の組が、顔形状の３次元モデルとなる。このモデルを非特許文献２ではパッチモデルと呼んでいる。
【０００６】
特許文献２の手法では、レンジファインダにより得られた生の３次元形状データからパッチモデルを作成するのに、オペレータが代表点の位置を指定する必要があり、自動処理ができなかった。
【０００７】
【非特許文献１】長谷川一英、服部数幸、佐藤幸男，"顔の３次元形状とテクスチャ計測システム"，映像情報メディア学会誌，Vol.53, No. 3, pp. 423-428, 1999
【非特許文献２】中村公謙、子安武彦、市川知弥、天野敏之、佐藤幸男，"ＮＣＦを用いた標準顔パッチモデルの顔形状データへの当てはめ"，「画像の認識・理解シンポジウム(MIRU 2002)」,2002年7月
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、多数の点からなる３次元形状データをもとに、顔形状の特徴点からなるモデルを自動生成するための技術を提供する。
【課題を解決するための手段】
【０００９】
本発明は、モデル化対象の顔を示す第１の距離画像と標準顔モデルを示す第２の距離画像との間で２次元ＤＰマッチングを実行することで、第１の距離画像と第２の距離画像との間での画素の対応関係を求める２次元ＤＰマッチング部と、標準顔モデルの各特徴点に対応する第２の距離画像の画素に対応する第１の距離画像上の対応画素を前記対応関係から求め、標準顔モデルの各特徴点が第１の距離画像上の対応画素が示す２次元位置とその対応画素の画素値が示す距離との組合せからなる３次元座標に移動するよう標準顔モデルを変形することにより、モデル化対象の顔の顔モデルを生成する顔モデル変形部と、を備える顔モデル作成システムを提供する。
【００１０】
本発明の１つの態様では、顔モデル作成システムは、モデル化対象の顔の距離画像の姿勢及び向きを、標準顔モデルの姿勢及び向きに合わせる正準化処理部を更に備え、前記２次元ＤＰマッチングは、正準化処理部の処理結果の距離画像を前記第１の距離画像として処理を行う。
【００１１】
本発明の別の態様では、前記２次元ＤＰマッチング部は、距離画像の行方向についての１次元ＤＰマッチングの結果に基づき、前記第１の距離画像と前記第２の距離画像との間での画素列同士の対応関係を求め、距離画像の列方向についての１次元ＤＰマッチングの結果に基づき、前記第１の距離画像と前記第２の距離画像との間での画素行同士の対応関係を求める。
【００１２】
本発明の別の態様では、前記２次元ＤＰマッチング部は、距離画像の行方向についての１次元ＤＰマッチングにおいて、前記第１の距離画像の画素列と前記第２の距離画像の画素列との間でのそれら画素列における画素値の並びの類似度を求め、その類似度が全体として最良となる前記第１の距離画像の画素列と前記第２の距離画像の画素列の対応関係を１次元ＤＰマッチングにより求め、距離画像の列方向についての１次元ＤＰマッチングにおいて、前記第１の距離画像の画素行と前記第２の距離画像の画素行との間でのそれら画素行における画素値の並びの類似度を求め、その類似度が全体として最良となる前記第１の距離画像の画素行と前記第２の距離画像の画素行の対応関係を１次元ＤＰマッチングにより求める。
【００１３】
本発明の別の態様では、前記２次元ＤＰマッチング部は、前記２次元ＤＰマッチングにおいて、前記第１の距離画像と前記第２の距離画像の画素同士の差に対し、前記第１の距離画像に対応する前記モデル化対象の顔の第１のテクスチャ画像と、前記第２の距離画像に対応する標準顔の第２のテクスチャ画像と、の間の画素同士の差を加味したコスト計算を行う。
【００１４】
本発明の別の態様では、前記２次元ＤＰマッチング部は、前記コスト計算において、前記第１のテクスチャ画像と前記第２のテクスチャ画像との間の画素同士の差を加味するときの重みとして、顔の部位ごとに設定された重みを用いる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して、本発明の実施の形態（以下「実施形態」と呼ぶ）について説明する。
【００１６】
図１を参照して、本発明の実施形態のシステム構成を説明する。図１に示すように、このシステムは、レンジファインダ１００と顔モデル作成装置１１０とを備える。
【００１７】
レンジファインダ１００は、ステレオ法等により三次元距離計測を行う装置である。レンジファインダ１００は、例えばレーザビームのスリットやスポットで対象物表面を走査し、それらスリット又はスポットを異なる位置に配置された２つのカメラで同時に撮影し、各カメラの配置位置と各カメラの撮影した画像内でのスリット又はスポットの位置との関係に基づき、三角測量の原理によりそれらスリット上の各点、或いはスポットの３次元位置を求める。対象物表面上の各点の３次元位置は、距離画像の形で表現される。距離画像では、マトリクス状に配列された各画素の画素位置がその画素に対応する対象物表面上の点の２次元座標（Ｘ，Ｙ座標）に対応し、各画素の画素値がその画素に対応する対象物表面上の点の基準点又は基準面からの距離（Ｚ座標）に対応する。ＸＹＺはこのシステムの世界座標系である。このようなレンジファインダは周知であるので、これ以上の説明は省略する。
【００１８】
また、よく知られるように、レンジファインダの中には、三次元形状計測の際のレーザ光の反射光から、対象物の可視画像（輝度画像又はＲＧＢ等のカラー画像）を生成できるものもある。このように生成される可視画像の画素は、三次元計測の結果である距離画像の画素と対応づけることができる。本実施形態のレンジファインダ１００も、このように距離画像とそれに対応する可視画像を出力するようなものであってよい。この可視画像は、後述する顔の３次元形状モデルである顔パッチモデルのテクスチャ情報として用いることができる。
【００１９】
本実施形態では、モデル化対象の顔（以下「対象顔」と呼ぶ）をこのレンジファインダ１００で計測し、その顔の距離画像を求める。レンジファインダ１００が求めた距離画像のデータは、顔モデル作成装置１１０に入力される。
【００２０】
顔モデル作成装置１１０は、入力された距離画像から、対象顔のモデルを生成する。本実施形態では、顔を顔パッチモデルと呼ぶモデルで表現する。顔パッチモデルは、顔の表面形状を、その形状の構造上の特徴点の組合せで表現したモデルである。特徴点は、例えば目頭や目尻を含む目の輪郭、唇の輪郭、鼻の稜線、眉の生える額の稜線など、顔の構造上の特徴部位の３次元位置を示す頂点である。顔パッチモデルは、例えば、図２に示すように隣接する特徴点同士を線分で結んでできる三角形のパッチ群から構成されるワイヤーフレームモデルである。各特徴点は、その点の３次元位置座標、その点の法線情報を有する。また、顔パッチモデルにテクスチャも組み込む場合は、特徴点に、テクスチャ画像におけるその点の画素値（例えば輝度値又はＲＧＢ値）を持たせればよい。顔パッチモデルを構成する特徴点の数は予め取り決めておく。発明者らは、例えば顔形状に対して４６５点の特徴点を設定した。各特徴点には、目頭や目尻、唇の右端などのように、顔の表面形状構造上での「意味」が割り当てられている。このように各特徴点には意味があるので、各特徴点に通し番号を割り当てることができる。この番号の順に各特徴点の３次元座標を並べることで、顔パッチモデルの３次元形状Ｆを次式のように多次元ベクトルで表現することができる（この例は４６５点の特徴点×３次元のベクトル）。
【００２１】
【数１】
【００２２】
このように顔形状を多次元のベクトルで表現すれば、単純なベクトルの平均で標準顔を作ることができるなど、非常に加工や解析が容易に行えるという利点がある。
【００２３】
対象顔の距離画像からこのような顔パッチモデルを作成するために、顔モデル作成装置１１０は、予め用意した標準顔パッチモデル（標準顔パッチモデル１２６）を、対象顔に合わせて変形するというアプローチをとる。このような処理のための機能モジュールとして、顔モデル作成装置１１０は、正準化処理部１１２、２次元ＤＰマッチング部１１４、モデル変形部１１６及び記憶装置１２０を備える。
【００２４】
正準化処理部１１２は、レンジファインダ１００から受け取った距離画像における対象顔の位置と向き（姿勢）と大きさを正準化（正規化）する。
【００２５】
対象顔の距離画像は、レンジファインダ１００に対する対象顔の向きや距離によって、その向きや大きさが変化してくる。レンジファインダ１００による形状計測では、対象顔を正面かつ所定の距離から撮影するようにはするが、被写体が人間である以上、顔を固定する機構などを設けない限りは、揺動や多少の位置の変化は避けられず、厳密に正面方向から正しい距離で形状計測することは困難である。したがって、顔を固定する機構などを設けないシステムでは、同じ対象顔でも、形状計測の都度その距離画像の向きや大きさが変化してくる。このような変化は、作成されるパッチモデルの精度に悪影響を与えるので、本実施形態では正準化処理部１１２により対象顔の距離画像の向きや大きさを正準化するのである。
【００２６】
標準顔パッチモデル１２６は、レンジファインダ１００に対して所定の距離にある所定の向きの顔を想定して作成されたものである。標準顔パッチモデル１２６は、十分な数の人の顔から作成した顔パッチモデルの平均（例えば、特徴点ごとにその座標をそれらサンプル間で平均したもの）である。
【００２７】
正準化処理部１１２が行う正準化は、対象顔の距離画像を、レンジファインダ１００から見て対象顔がその距離の位置でその向きを向いた状態を示すものとなるように変換する処理である。以下、正準化処理の詳細を説明する。
【００２８】
人間の顔は完全な左右対称ではないが、ある程度の対称性が仮定できる。そこで顔を最も左右対称に分割する平面を正中面と定義し、正中面による姿勢補正を行う。
【００２９】
三次元空間中の平面は次式（１）のように、
【数２】
と与えられるので、非線形最小二乗法の一つである滑降シンプレックス法を使用し、誤差評価関数Ｅ1 を最小化する方向へ平面の係数（ａ，ｂ，ｃ，ｄ）を変動させることで、正中面として最適な平面を推定する。計測で得られた顔の三次元情報である点群Ｐと、その点群Ｐを平面基準（すなわち評価対象である正中面の候補）について鏡映して得られる点群
との間で、互いに対応する点同士の間のユークリッド距離を求め、点群全体でのその距離の平均を評価関数Ｅ1 とする。すなわち、評価関数Ｅ1 は、
【数３】
となる。式中のＮp は点群Ｐの総点数、ｐi は点群Ｐ中の点、ｑiは点群
中でのｐi の対応点を示している。算出された正中面を、顔パッチモデルを表現する世界座標の原点を含むＹＺ平面に合わせることで、正中面による姿勢補正を図る。図３に、システムの世界座標系ＸＹＺと顔の距離画像３００の関係を図示する。
【００３０】
ここで、顔の撮影はレンジファインダ１００にほぼ正対した状態で行われているので、このことを前提条件として利用する。顔がほぼ正面を向いているため、算出される正中面はＸＹ平面やＸＺ平面になることは無く、ＹＺ平面(x=0)に近い形で求められる。そこで、（１）式におけるｘの係数ａを定数とし、変動させるパラメータから除外する。変動するパラメータを減らすことで、正中面算出の計算コストが削減でき、また解を安定化させることができる。
【００３１】
また、点群Ｐと点群
には、点の粗密・ばらつきが生じているため、点群間での対応が取りにくい。そこで、予め点群Ｐを世界座標のｘ，ｙ値についてリサンプリングした点群ＰR を作成しておき、点群Ｐと点群
の対応を、点群
と点群ＰR で代行することで計算コストの削減を図る。カメラ（レンジファインダ１００）にほぼ正対して撮影が行われたことより、ｘ，ｙ値についてリサンプリングして得られる点群ＰR 点群Ｐを十分に代表できる点群と考えられる。また点群
と点群ＰR の対応は、図４のように線形補間を利用して、世界座標のｘ，ｙ 値が同じになる点同士で取る。そのため、誤差評価関数Ｅ1'は次の（３）式のように改められる。
【００３２】
【数４】
【００３３】
ここで、式中のＮq は点群
の総点数、ｑj は点群
中の点、ｒj は点群ＰR を線形補間して得たｑj の対応点を示す。
【００３４】
（１）式のａを定数とし、ｂ，ｃ，ｄを様々に変えながら、点群Ｐの鏡像である点群
を求め、誤差評価関数Ｅ1'の値を計算する。滑降シンプレックス法を用いてその誤差評価関数Ｅ1'の値が最小となる時のａ，ｂ，ｃ，ｄを求める。これらａ，ｂ，ｃ，ｄを（１）式に代入して得られる式が、対象顔の正中面を表す。この正中面が世界座標系のＹＺ面に一致するように対象顔の距離画像の座標系を回転及び平行移動させることで、対象顔の距離画像の姿勢が補正できる。
【００３５】
次に、正中面による姿勢補正が完了したデータに対し、平均鼻断面を用いることで更に姿勢と位置の補正を行う。平均鼻断面は、十分な数の人の正中面断面データより鼻領域のみを取りだし、それら鼻断面の平均をとることで作成できる。
【００３６】
鼻は表情が変化しても形状の変化が少なく、顔のほぼ中央に位置しているため計測で情報を取得しやすいという長所がある。また鼻自体の形状は個人差が大きいが、断面の形状に関してはそれほど差異がないという特徴もある。そのため、対象顔の正中面による断面データを、平均鼻断面に最も合うように位置合わせすることで、正中面だけでは補正できなかったＸ軸回りの回転とＹ，Ｚ方向に関する並進の補正が可能となる。
【００３７】
位置合わせには正中面算出時でも用いた滑降シンプレックス法を使用する。具体的には、平均鼻断面の点群Ｓと、対象顔の距離画像の正中面断面の点群Ｔとの間の対応する点同士の平均ユークリッド距離を誤差評価関数Ｅ2 として、Ｅ2 が最小となるまで顔（すなわち正中面による姿勢補正後の距離画像）全体の並進・回転を繰り返す。点群Ｓと点群Ｔとの間の対応点の取り方は、例えばユークリッド距離が最も近い点同士を対応点とするやり方でよい。誤差評価関数Ｅ2 を次式に示す。
【００３８】
【数５】
【００３９】
ここで式中のＮs は点群Ｓの総点数、ｓi は点群Ｓ中の点、ｔi は点群Ｔ中における点ｓi の対応点を示す。
【００４０】
次に、図５に示すように、平均鼻断面を用いた姿勢及び位置補正が完了した対象顔の点群５００に対し、新たに画像平面５０２（世界座標系のＸＹ平面に平行な面）を設け、その点群５００を画像平面５０２に正射影することで、画像中の顔のサイズ・位置を補正した正準化距離画像５０４を得る。正射影は、線形補間と世界座標のｘ，ｙ値についてのリサンプリング処理を用いて行われる。すなわち、この正射影処理では、その点群５０２の中からＸ，Ｙの各軸方向についてそれぞれ所定間隔ごとに点をリサンプリングする。このとき、その位置に点がない場合は、周囲の点から補間する。そしてこのリサンプリングした点群を画像平面５０２に平行投影する。こうすることで、距離画像の画像座標(u,v)と世界座標(x,y,z)が対応付けられた距離画像を取得できる。例えばＶＧＡ規格の画像を用いる場合、顔は縦長であるため、正準化距離画像の画像サイズは横480×縦640ピクセルとする。
【００４１】
以上、対象顔の距離画像の正準化について説明した。なお、図６に示すように、対象顔の距離画像６０２の各画素とテクスチャ（距離画像と同時に取得した可視画像）６０４の各画素は１対１で対応しているため、距離画像の正準化結果を参照することでテクスチャに関しても正準化ができる。この正準化においてテクスチャを正射影する際に、距離画像が行った線形補間の面積比をテクスチャにも適応することで、正準化されたテクスチャ（正準化テクスチャと呼ぶ）を生成する。正準化テクスチャの画像サイズも480×640 ピクセルであり、図６に示すように正準化距離画像６０６と正準化テクスチャ６０８の各画素も１対１で対応している。
【００４２】
以上、正準化処理部１１２について説明した。レンジファインダ１００に対する対象顔の向きや位置を正しい状態とする機構を設ければ、以上のような正準化処理部１１２は必ずしも必要ない。
【００４３】
正準化処理部１１２が作成した正準化距離画像６０６は（正準化テクスチャ６０８も作成した場合はそれも）、２次元ＤＰマッチング部１１４に渡される。
【００４４】
２次元ＤＰマッチング部１１４は、その正準化距離画像と、標準顔パッチモデルの距離画像との間で２次元ＤＰマッチングを行うことで、両距離画像の間での画素間の対応関係を求める。
【００４５】
標準顔パッチモデルの距離画像は、標準顔パッチモデル１２６から作成しておく。基本的な作成方法は、姿勢及び位置補正が完了した対象顔の点群５００から正準化距離画像を作成する方法と同様であり、標準顔パッチモデル１２６の示す３次元表面形状の各点のＺ座標を、それら各点を世界座標系のＸＹ平面に平行投影した位置の画素の画素値（距離値）とすればよい。標準顔パッチモデル１２６は正準化された多数の顔パッチモデルからの平均として求められたものなので、既に正準化済みである。
【００４６】
ここで、標準顔パッチモデルの場合３次元の点の数が４６５点しかないため、リサンプリングをする際に距離画像の各画素に対応するモデルの３次元頂点が存在しない場合がほとんどである。そのため、距離画像の各画素に対応するモデルの３次元位置を推定する必要がある。
【００４７】
この推定では、まず、標準顔パッチモデルを構成する各パッチについて、そのパッチを構成する３つの特徴点からパッチの面を求める。パッチは微小であり平面とみなすことができるため、図７に示すように、距離画像の画素に対応するパッチ内の点ｖ4 の３次元座標（ｘ4，ｙ4，ｚ4 ）のうちのｚ座標は、次式に示すように、パッチを構成する３頂点ｖ1〜ｖ3からの距離の比から求めることができる。なお点ｖ4 のｘ，ｙ座標は距離画像の画素の位置に対応しており、容易に求められる。
【００４８】
【数６】
【００４９】
このようにして距離画像の各画素に対応するｚ座標を求めることで、標準顔パッチモデル１２６の距離画像（図１の標準顔パッチモデル距離画像１２２）が求められる。このようにして作成した標準顔パッチモデル１２６の距離画像１２２は、顔モデル作成装置１１０の記憶装置１２０内に保存されており、必要に応じ、２次元ＤＰマッチング部１１４から参照される。また、記憶装置１２０には、この他に標準顔パッチモデル１２６も保存されている。また、標準顔パッチモデル１２６を構成する各特徴点がその距離画像１２２のどの画素に対応するかは、その作成の際に分かるので、その対応関係を示す特徴点対応付け情報１２４を作成しておき、記憶装置１２０に保存しておく。
【００５０】
次に、２次元ＤＰマッチング部１１４による、このような標準顔パッチモデル距離画像１２２と、正準化処理部１１２が出力した正準化距離画像との画素同士の対応付け処理について説明する。
【００５１】
ＤＰ（動的計画法）マッチングは単語認識の分野において、話者による発音のくせの違いから生じる時間軸上の非線形の伸縮を吸収する手法として提案された。ＤＰマッチングは時間軸という１次元の軸上でのマッチング処理であり、これを２次元に拡張したのが２次元ＤＰマッチングである。２次元ＤＰマッチングは、従来公知の技術であり、画像同士のマッチングなどに利用されている。
【００５２】
２次元ＤＰマッチング部１１４は、基本的には、このような従来公知の２次元ＤＰマッチング処理を行うものでよい。ただし、通常の２次元ＤＰマッチングでは、計算量が画素数の指数乗のオーダーとなるので、画素数が多いと計算コストが非常に大きくなってしまう。
【００５３】
そこで、本実施形態では、距離画像の水平方向と垂直方向のそれぞれについて独立に１次元ＤＰマッチングを行い、その結果を組み合わせることで、２次元ＤＰマッチングを近似する。この処理の基礎情報として、１次元ＤＰマッチング処理について説明する。
【００５４】
２つの時系列（特徴ベクトルの系列）Ａ，Ｂを、
Ａ＝ａ1，ａ2，・・・，ａI
Ｂ＝ｂ1，ｂ2，・・・，ｂJ
とし、ＡとＢの対応を考える。一般にＡとＢは時間軸が異なっているため、同じインデックス番号同士が対応しているとは限らない。
【００５５】
そこで図８に示すようなＡ，Ｂからなる平面を考える。この図において、コスト関数(warping function)、すなわちＡ，Ｂ両パターンの対応付けは、この平面上の格子点ｆ = (ｉ，ｊ) の系列
Ｆ＝ｆ1，ｆ2，・・・，ｆk
ｆk ＝(ｉk，ｊk)
で表現することができる。２つの特徴ベクトルａiとｂjの距離を
ｄ(ｆ) = ｄ(ｉ，ｊ)
で表すと、Ｆに沿った距離の総和は、
【数７】
で表すことができ、この値が小さいほどＡとＢの対応付けがよいことを示す。
【００５６】
ここで、（５）式を次のような制約条件のもとで、Ｆに関して最小化することを考える。
1. 単調連続性条件
【数８】
2. 境界条件
【数９】
3. 整合窓の条件
【数１０】
【００５７】
このとき、最小化する目的関数Ｄ（Ｆ）は加法的になるので、この最小化は、Ｆのすべての可能性について総当り的に調べることなく、効率的に解くことができる。
【００５８】
部分点列ｆ1，ｆ2，・・・，ｆk(ｆk = (ｉ，ｊ)) に対する部分和ｇ(ｆk) を上で述べた制約条件を用いて考えると、
【数１１】
となる。したがって、ｇ（１，１）＝ｄ（１，１），ｊ＝１として、整合窓の範囲内でｉを変えながら（６）式を計算し、次にｊを増加させて、ｊ＝Ｊとなるまで同様の計算を繰り返せば、最後にｇ（Ｉ，Ｊ）としてＡ，Ｂ２つの時系列間の時間正規化後の距離が求まる。この距離が最小となる時のｉとｊの対応付けが、最終的なマッチング結果となる。
【００５９】
次に、２次元ＤＰマッチングを水平方向及び垂直方向についての独立な１次元ＤＰマッチングで近似する本実施形態の計算方式について説明する。
【００６０】
まず、画像サイズＭ×Ｎの２枚の距離画像に対して水平方向に１次元ＤＰマッチング処理を行うことにより、水平方向の変形を吸収する。まず図９に示すように、両距離画像Ａ，Ｂ（例えば画像Ａが対象顔の正準化距離画像、画像Ｂが標準顔パッチモデル距離画像１２２）をそれぞれ垂直方向にスライスしていくことで列ごとの断面形状、
【数１２】
を抽出する。図９では、上段に距離画像Ａ及びＢが示され、各列のスライスの線が示される。下段には、あるスライス線における断面形状が示される。
【００６１】
ここでｚAij，ｚBij は、距離画像Ａ、Ｂにおけるｊ行ｉ列目の画素の画素値すなわちｚ値である。ｉAi、ｉBiは、それぞれ距離画像Ａ，Ｂのｉ列目の各画素のｚ値を順に並べたベクトルであり、ｉ列目における断面形状を示す。なお、ここでは水平方向が行方向、垂直方向が列方向としている。ＩA、ＩBは、各列の断面形状ベクトルを順に並べた配列である。
【００６２】
このような断面形状の列について、１次元ＤＰマッチングを行う。この計算では、断面形状ｉAiとｉBiとの間の距離ｓ(ｉAi，ｉBi) を、マッチングにおけるコストとする。この場合、（６）式を次の（７）〜（９）式のように変えればよい。
【００６３】
【数１３】
【００６４】
ここで断面形状の類似度（距離）ｓ(ｉAi，ｉBi)は、距離画像の画素値すなわちz値の差の絶対値をコストとした１次元ＤＰを用いて計算する。計算式を以下に示す。
【００６５】
【数１４】
【００６６】
この１次元ＤＰでは、制約条件として上述の単調連続性条件、境界条件、及び整合窓の条件を用いる。発明者の実験によれば、整合窓サイズｒは１５が好適である。
【００６７】
以上の計算でコスト最小となる時のｉAiとｉBiの対応関係が、距離画像ＡとＢとをマッチさせる時の水平（Ｘ軸）方向の画素番号（インデックス）の対応関係となる。この対応関係により、距離画像ＡとＢの間の水平方向の伸縮が吸収できる。
【００６８】
以上、水平方向についての１次元ＤＰマッチング処理について説明した。２次元ＤＰマッチング部１１４は、この処理と並行して、垂直方向についての１次元ＤＰマッチングも行う。垂直方向についての処理では、距離画像Ａ，Ｂを水平方向にスライスして断面パターンを得る。これ以外は、水平方向の場合と同様でよい。この処理により、距離画像ＡとＢとをマッチさせる時の水平（Ｘ軸）方向の画素番号（インデックス）の対応関係が求められる。この対応関係により距離画像間の垂直方向の伸縮が吸収できる。
【００６９】
以上のようにして、距離画像Ａ（正準化距離画像）と距離画像Ｂ（標準顔パッチモデル距離画像１２２）との間で、画素インデックスの行成分と列成分の対応関係が得られる。この対応関係を図式化して示すと、図１０に示すようなものとなる。すなわち、水平方向のマッチングで距離画像Ａの列番号ｉAと距離画像Ｂの列番号ｉBとが対応することが分かり、垂直方向のマッチングで距離画像Ａの行番号ｊAと距離画像Ｂの列番号ｊBとが対応することが分かったとすると、距離画像Ａ上の画素ｐ（ｉA，ｊA）が距離画像Ｂ上の画素ｑ（ｉB，ｊB）に対応することになる。同様にして、距離画像Ａの全ての画素について、距離画像Ｂにおけるその対応画素が分かる。
【００７０】
マッチング対象となる対象顔の距離画像も標準顔パッチモデル距離画像１２２も、共に正準化されているので、このように水平、垂直方向に独立にＤＰマッチングを行う方式でも、両距離画像間の画素同士の対応付けを、高い精度で行うことができる。
【００７１】
２次元ＤＰマッチング部１１４は、このような対応関係の情報をモデル変形部１１６に渡す。
【００７２】
モデル変形部１１６は、この対応関係に従い、標準顔パッチモデル１２６を変形することで、対象顔のパッチモデル１３０を作成する。
【００７３】
すなわち、その対応関係によれば、標準顔パッチモデル距離画像１２２の各画素が対象顔の正準化距離画像のどの画素に対応するかが分かる。また、標準顔パッチモデル１２６の各特徴点が、標準顔パッチモデル距離画像１２２のどの画素に対応しているかは、特徴点対応付け情報１２４から分かる。これらの情報を合わせれば、標準顔パッチモデル１２６の各特徴点が、正準化距離画像のどの画素に対応しているかが分かる。ここで、正準化距離画像の画素の画素位置（ｘ，ｙ）と画素値（ｚ）から、その画素が示す３次元位置が分かる。モデル変形部１１６は、各特徴点が、正準化距離画像における各対応画素の示す３次元位置に移動するように、標準顔パッチモデル１２６を変形する。これにより対象顔のパッチモデル１３０ができる。
【００７４】
図１１に、このように生成した対象顔の顔パッチモデルの例を示す。上段は正面から見たモデルを、下段は斜め前方から見た場合のモデルを示す。また、左の列は顔パッチモデルのワイヤーフレーム表示を、中央の列はそのワイヤーフレームに対して表面生成を行って作成したサーフェイス表示を、右の列はそのサーフェイスにテクスチャ画像を貼り込んだテクスチャマッピング結果を、それぞれ示す。
【００７５】
以上に説明した実施形態のシステムによれば、２次元ＤＰマッチングを用いることで、対象顔を計測して得た距離画像と標準顔パッチモデル距離画像１２２との間の画素の対応付けを自動処理で行うことができるので、対象顔のパッチモデルを自動生成することができる。また、本実施形態では、対象顔の距離画像を正準化する正準化処理部１１２を設けたので、対象顔の向きや位置が正しい状態からずれていても、それを標準顔パッチモデル距離画像１２２に合わせることができる。その結果、２次元ＤＰマッチングを２つの異なる方向（例えば水平方向と垂直方向）についての１次元ＤＰマッチングの組合せで近似することができ、通常の２次元ＤＰマッチングを行う場合よりも計算コストを大幅に低減することができる。逆に言えば、通常の２次元ＤＰマッチングを行う場合には、正準化処理部は必ずしも必要ない。
【００７６】
次に、顔のテクスチャ情報を利用して、より精度の高い顔パッチモデルを生成する変形例を説明する。
【００７７】
上記実施形態では、標準顔の特徴点に対応する対象顔上の点を距離画像の情報のみから求めた。この方法は３次元形状の類似性から特徴点の対応点を求めるものである。ところが、顔の特徴点は、必ずしも３次元形状として特徴的な部分に位置するとは限らない。例えば、鼻の稜線は３次元形状として非常に特徴的なので、その稜線上の特徴点については、距離画像の情報だけでも、対象顔上の対応点を高精度で見出すことができる。ところが、例えば目は、個人により大きな差があるのにもかかわらずその差が３次元形状にはあまり顕著に現れないため、距離画像の情報だけから対応点を求めたのでは、高い精度が得られない場合がある。そこで、この変形例では、距離画像に加え、レンジファインダ１００でその距離画像と同時に得られるテクスチャ情報を利用することで、特徴点の対応点を精度よく求められるようにする。以下、この変形例の処理について詳しく説明する。
【００７８】
この変形例のシステム構成は、図１に示すものと同様でよい。ただし、２次元ＤＰマッチング部１１４が実行する計算処理が、上記実施形態とは異なる。すなわちこの変形例では、上記実施形態における（１０）〜（１２）式の代わりに、次の（１３）〜（１５）式で表される計算を行う。
【００７９】
【数１５】
【００８０】
この例では、テクスチャ画像はグレースケール画像である。ｌAij，ｌBijは、それぞれ、対象顔のテクスチャ画像Ａ（正準化済み）、標準顔のテクスチャ画像Ｂのｊ行ｉ列目の画素の輝度値である。ここで、標準顔のテクスチャ画像は、標準顔パッチモデルを作成する際に用いた多数のサンプル顔のテクスチャ画像の平均から求めればよい。この式において、距離画像の画素値は距離（ｚ値）であり、テクスチャ画像の画素値は輝度なので、両者の値をそのまま足し引きするのは適切ではない。そこで重み係数αを用いて３次元形状とテクスチャの関係を制御する。最適なαの値は、実験等により求めることができる。発明者の実験では距離（Ｚ値）の単位をｍｍ、輝度の階調を２５６としたが、α = 0.22 のときに、もっとも精度のよいモデルが生成できた。
【００８１】
スライス（断面）内の点の対応付けを上記（１３）〜（１５）式の１次元ＤＰマッチングにより求め、更にそれらスライスの列についての対応付けを（７）〜（９）式の１次元ＤＰマッチングにより行うことで、対象顔と標準顔との間での画素同士の対応関係がより高精度に求められる。そして、この対応関係の情報を用いて標準顔パッチモデルを変形することで、対象顔のパッチモデルを求めることができる。
【００８２】
このような計算によれば、テクスチャの近さがＤＰマッチングのコスト計算に反映されるので、３次元形状だけでは高精度の対応付けが困難な特徴点について、より精度のよい対応付けが可能となる。
【００８３】
以上の変形例では、テクスチャの重みαを画像全域で同一としていた。しかしながら、例えば眉はテクスチャ的には特徴的な部分ではあるが、化粧で眉を描くことで容易に変更できる部分でもある。このほかにも、ひげのように、テクスチャ的には特徴を持つにもかかわらず、変更が容易な部分がある。これに対し、目や唇などは、そのような変化は少ない。マッチングにテクスチャ情報を反映させる場合、容易に変化し得る部分の影響が大きいと、同じ人の顔からパッチモデルを作成しても、その部分の違いにより生成されるパッチモデルの差が大きくなってしまう。
【００８４】
そこで、このような問題を解消又は軽減するための第２変形例として、顔の部分部分で重みαを可変とする例を以下に説明する。
【００８５】
この第２変形例では、例えば眉の隆線近傍や、ひげの生える鼻の下やあごなどのように同一人内での変化が大きい部分は、相対的にαの値を小さくする。逆に目や唇のように同一人内での変化の小さい部分は、相対的にαの値を大きくする。このような顔の各部位のα値の情報を作成し、顔モデル作成装置１１０に持たせておく。ここで標準顔パッチモデルは、各頂点（特徴点）がそれぞれ顔のどの部位に該当するかという情報（特徴点の意味）を保持しているので、この特徴点の情報を元に、標準顔パッチモデル距離画像１２２の各画像座標（各画素）がそれぞれどの部位に該当するかを決めることができる。このようにして距離画像１２２の各画像座標がどの部位に属するかを決めれば、それに応じてそれら各画像座標にその部位に応じた適切なα値を割り当てればよい。例えば、描き眉が存在しうる範囲の各画像座標には、目が存在しうる範囲の画像座標よりも小さいα値を割り当てる。部位ごとの適切なα値は、実験により求めればよい。目や口など形状よりもテクスチャに特徴がより強く表れる部位にはαの値を大きくし、眉の部分を含む額や鼻などテクスチャよりも形状に特徴が表れる部位にはαの値を小さくするなど、動的にα値を設定することが可能となる。
【００８６】
この第２変形例では（１３）〜（１５）式の代わりに、次式を用いる。
【００８７】
【数１６】
【００８８】
ここでｕ，ｖは、標準顔パッチモデル１２２の距離画像における画像座標であり、α（ｕ，ｖ）はその画像座標におけるα値である。この計算式において用いる重みα（ｕ，ｖ）としては、その式に代入する標準顔パッチモデル距離画像の画素の画像座標に対応する値を採用すればよい。
【００８９】
このような計算によれば、顔の部位の特性に応じ、より適切なマッチングを行うことができ、対象顔と標準顔との対応付けの精度向上ができ、より高精度の顔パッチモデルの作成が見込める。
【００９０】
以上に説明した変形例及び第２変形例では、顔のテクスチャ情報としてグレースケール画像を用いたが、この代わりにＲＧＢなどのカラー画像を用いてももちろんよい。この場合、コスト評価式に現れるテクスチャの差としては、対象顔と標準顔の間の画素値同士（ＲＧＢ値）の距離を用いればよい。
【００９１】
また、以上の変形例及び第２変形例では、テクスチャ画像のグレースケール値やカラー値などの画素値をそのままマッチング時の評価に用いたが、その代わりに、そのような画素値の微分を画素ごとに求め、画素値の代わりに微分値を用いて同様の評価を行ってもよい。微分値は、テクスチャ画像に微分フィルタを適用することで求めることができる。例えば、日焼けや化粧により顔の肌の色が変わると、生のテクスチャ画像ではその色の差が評価にそのまま反映されてしまう。ところが、日焼けや化粧により肌の色が全体的に変わったとしても、場所ごとの色の変化を示す微分値はそれほど顕著に変わらないと考えられるので、微分値を用いることでそのような色の変化がある場合にマッチングの精度を向上させることができる。
【００９２】
また、テクスチャ画像の画素値とその微分値の両方をマッチングの評価に反映させてもよい。
【００９３】
以上に説明した顔モデル作成装置１１０は、例えば、汎用のコンピュータにて上述の各部の昨日又は処理内容を記述したプログラムを実行することにより実現される。コンピュータは、ハードウエアとして、例えばＣＰＵ（中央演算装置）、一次記憶、各種Ｉ／Ｏ（入出力）インタフェースなどがバスを介して相互に接続された構成を有する。そのバスに対し、Ｉ／Ｏインタフェースを介して、ハードディスク装置などの固定二次記憶や、ＣＤ又はＤＶＤ、フラッシュメモリなどの可搬型の不揮発性記録媒体を取り扱うドライブが接続される。上述の顔モデル作成装置の各部の処理内容が記述されたプログラムが、可搬型の記録媒体又はネットワークを経由して固定二次記憶に保存され、コンピュータにインストールされる。そして、インストールされたプログラムが一次記憶に読み出され、ＣＰＵで実行されることにより、上述の顔モデル作成装置１１０が実現される。
【００９４】
なお、このように顔モデル作成装置１１０の全てをソフトウエアで実現する代わりに、正準化処理部１１２、２次元ＤＰマッチング部１１４、モデル変形部１１６のうちのいずれか１つ又は複数を、ＡＳＩＣ(Application Specific Integrated Circuit)等のハードウエア回路や、デジタル・シグナル・プロセッサなどを用いて構成することも可能である。
【００９５】
以上に説明した実施形態及び各変形例のシステムで作成された顔パッチモデルは、例えば、顔認証システムにおいて顔を表現するモデルとして利用できる。また、この他にも、美容整形などのシミュレーション、仮想空間内におけるアバター、表情解析など、幅広い分野での応用が期待できる。
【図面の簡単な説明】
【００９６】
【図１】実施形態のシステム構成を示す図である。
【図２】顔パッチモデルの例を示す図である。
【図３】顔の距離画像と世界座標系との関係を示す図である。
【図４】点群同士の対応付けにおける補間処理を説明するための図である。
【図５】姿勢・位置の補正後の点群を射影して正準化距離画像を作成する処理を説明するための図である。
【図６】距離画像とテクスチャ画像の対応関係を説明するための図である。
【図７】標準顔パッチモデルに対応する距離画像を作成する際の補間処理を説明するための図である。
【図８】１次元ＤＰマッチングを説明するための図である。
【図９】対象顔と標準顔の距離画像同士の間の水平方向についてのＤＰマッチングの処理を説明するための図である。
【図１０】対象顔と標準顔の画素ごとの対応付けを説明するための図である。
【図１１】対象顔のパッチモデルの作成結果の例を示す図である。
【符号の説明】
【００９７】
１００ レンジファインダ、１１０ 顔モデル作成装置、１１２ 正準化処理部、１１４ ２次元ＤＰマッチング部、１１６ モデル変形部、１２０ 記憶装置、１２２ 標準顔パッチモデル距離画像、１２４ 特徴点対応付け情報、１２６ 標準顔パッチモデル、１３０ 対象顔のパッチモデル。
【技術分野】
【０００１】
本発明は、顔の３次元形状を表すモデルを作成するための技術に関する。
【背景技術】
【０００２】
顔を用いた本人認証や顔のＣＧ（コンピュータグラフィクス）の作成などの様々な分野で、実際の顔の３次元形状計測結果の利用が図られている。
【０００３】
非特許文献１には、レンジファインダを用いて顔の３次元形状とテクスチャ（輝度画像）を得るシステムが開示されている。
【０００４】
ここで、レンジファインダにより得られる顔の３次元形状データは顔の表面の各点を示す３次元の点の集合である。高い精度を得るべく十分に高解像度のレンジファインダを用いた場合、顔表面を示す点の数は数万点規模に上る。このような規模の大きいデータは利用が難しい。
【０００５】
そこで、顔の３次元形状を示す点群のうち、顔の構造上の特徴を示す特徴点の組合せにより顔をモデル化することが行われている。このような顔の三次元形状のモデル化の手法として、非特許文献２に示される方式が知られている。この方式では、顔に数百点の特徴点を設定している。特徴点は、目頭や目尻、唇の両端など、顔の特徴となる構造部分に対して配される。目や鼻、口元などといった顔の特徴を強く示す部分ほど特徴点は密に配置される。非特許文献１に示される手法では、レンジファインダにより顔の３次元形状を示す生の点群と、２次元の顔画像とを取得し、２次元のテクスチャ画像上で特徴点の中でも重要度の高い代表点（例えば目頭や目尻など）をオペレータに指定させ、代表点以外の特徴点をそれら代表点同士の補間により推定している。このように求められた特徴点の３次元座標の組が、顔形状の３次元モデルとなる。このモデルを非特許文献２ではパッチモデルと呼んでいる。
【０００６】
特許文献２の手法では、レンジファインダにより得られた生の３次元形状データからパッチモデルを作成するのに、オペレータが代表点の位置を指定する必要があり、自動処理ができなかった。
【０００７】
【非特許文献１】長谷川一英、服部数幸、佐藤幸男，"顔の３次元形状とテクスチャ計測システム"，映像情報メディア学会誌，Vol.53, No. 3, pp. 423-428, 1999
【非特許文献２】中村公謙、子安武彦、市川知弥、天野敏之、佐藤幸男，"ＮＣＦを用いた標準顔パッチモデルの顔形状データへの当てはめ"，「画像の認識・理解シンポジウム(MIRU 2002)」,2002年7月
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、多数の点からなる３次元形状データをもとに、顔形状の特徴点からなるモデルを自動生成するための技術を提供する。
【課題を解決するための手段】
【０００９】
本発明は、モデル化対象の顔を示す第１の距離画像と標準顔モデルを示す第２の距離画像との間で２次元ＤＰマッチングを実行することで、第１の距離画像と第２の距離画像との間での画素の対応関係を求める２次元ＤＰマッチング部と、標準顔モデルの各特徴点に対応する第２の距離画像の画素に対応する第１の距離画像上の対応画素を前記対応関係から求め、標準顔モデルの各特徴点が第１の距離画像上の対応画素が示す２次元位置とその対応画素の画素値が示す距離との組合せからなる３次元座標に移動するよう標準顔モデルを変形することにより、モデル化対象の顔の顔モデルを生成する顔モデル変形部と、を備える顔モデル作成システムを提供する。
【００１０】
本発明の１つの態様では、顔モデル作成システムは、モデル化対象の顔の距離画像の姿勢及び向きを、標準顔モデルの姿勢及び向きに合わせる正準化処理部を更に備え、前記２次元ＤＰマッチングは、正準化処理部の処理結果の距離画像を前記第１の距離画像として処理を行う。
【００１１】
本発明の別の態様では、前記２次元ＤＰマッチング部は、距離画像の行方向についての１次元ＤＰマッチングの結果に基づき、前記第１の距離画像と前記第２の距離画像との間での画素列同士の対応関係を求め、距離画像の列方向についての１次元ＤＰマッチングの結果に基づき、前記第１の距離画像と前記第２の距離画像との間での画素行同士の対応関係を求める。
【００１２】
本発明の別の態様では、前記２次元ＤＰマッチング部は、距離画像の行方向についての１次元ＤＰマッチングにおいて、前記第１の距離画像の画素列と前記第２の距離画像の画素列との間でのそれら画素列における画素値の並びの類似度を求め、その類似度が全体として最良となる前記第１の距離画像の画素列と前記第２の距離画像の画素列の対応関係を１次元ＤＰマッチングにより求め、距離画像の列方向についての１次元ＤＰマッチングにおいて、前記第１の距離画像の画素行と前記第２の距離画像の画素行との間でのそれら画素行における画素値の並びの類似度を求め、その類似度が全体として最良となる前記第１の距離画像の画素行と前記第２の距離画像の画素行の対応関係を１次元ＤＰマッチングにより求める。
【００１３】
本発明の別の態様では、前記２次元ＤＰマッチング部は、前記２次元ＤＰマッチングにおいて、前記第１の距離画像と前記第２の距離画像の画素同士の差に対し、前記第１の距離画像に対応する前記モデル化対象の顔の第１のテクスチャ画像と、前記第２の距離画像に対応する標準顔の第２のテクスチャ画像と、の間の画素同士の差を加味したコスト計算を行う。
【００１４】
本発明の別の態様では、前記２次元ＤＰマッチング部は、前記コスト計算において、前記第１のテクスチャ画像と前記第２のテクスチャ画像との間の画素同士の差を加味するときの重みとして、顔の部位ごとに設定された重みを用いる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して、本発明の実施の形態（以下「実施形態」と呼ぶ）について説明する。
【００１６】
図１を参照して、本発明の実施形態のシステム構成を説明する。図１に示すように、このシステムは、レンジファインダ１００と顔モデル作成装置１１０とを備える。
【００１７】
レンジファインダ１００は、ステレオ法等により三次元距離計測を行う装置である。レンジファインダ１００は、例えばレーザビームのスリットやスポットで対象物表面を走査し、それらスリット又はスポットを異なる位置に配置された２つのカメラで同時に撮影し、各カメラの配置位置と各カメラの撮影した画像内でのスリット又はスポットの位置との関係に基づき、三角測量の原理によりそれらスリット上の各点、或いはスポットの３次元位置を求める。対象物表面上の各点の３次元位置は、距離画像の形で表現される。距離画像では、マトリクス状に配列された各画素の画素位置がその画素に対応する対象物表面上の点の２次元座標（Ｘ，Ｙ座標）に対応し、各画素の画素値がその画素に対応する対象物表面上の点の基準点又は基準面からの距離（Ｚ座標）に対応する。ＸＹＺはこのシステムの世界座標系である。このようなレンジファインダは周知であるので、これ以上の説明は省略する。
【００１８】
また、よく知られるように、レンジファインダの中には、三次元形状計測の際のレーザ光の反射光から、対象物の可視画像（輝度画像又はＲＧＢ等のカラー画像）を生成できるものもある。このように生成される可視画像の画素は、三次元計測の結果である距離画像の画素と対応づけることができる。本実施形態のレンジファインダ１００も、このように距離画像とそれに対応する可視画像を出力するようなものであってよい。この可視画像は、後述する顔の３次元形状モデルである顔パッチモデルのテクスチャ情報として用いることができる。
【００１９】
本実施形態では、モデル化対象の顔（以下「対象顔」と呼ぶ）をこのレンジファインダ１００で計測し、その顔の距離画像を求める。レンジファインダ１００が求めた距離画像のデータは、顔モデル作成装置１１０に入力される。
【００２０】
顔モデル作成装置１１０は、入力された距離画像から、対象顔のモデルを生成する。本実施形態では、顔を顔パッチモデルと呼ぶモデルで表現する。顔パッチモデルは、顔の表面形状を、その形状の構造上の特徴点の組合せで表現したモデルである。特徴点は、例えば目頭や目尻を含む目の輪郭、唇の輪郭、鼻の稜線、眉の生える額の稜線など、顔の構造上の特徴部位の３次元位置を示す頂点である。顔パッチモデルは、例えば、図２に示すように隣接する特徴点同士を線分で結んでできる三角形のパッチ群から構成されるワイヤーフレームモデルである。各特徴点は、その点の３次元位置座標、その点の法線情報を有する。また、顔パッチモデルにテクスチャも組み込む場合は、特徴点に、テクスチャ画像におけるその点の画素値（例えば輝度値又はＲＧＢ値）を持たせればよい。顔パッチモデルを構成する特徴点の数は予め取り決めておく。発明者らは、例えば顔形状に対して４６５点の特徴点を設定した。各特徴点には、目頭や目尻、唇の右端などのように、顔の表面形状構造上での「意味」が割り当てられている。このように各特徴点には意味があるので、各特徴点に通し番号を割り当てることができる。この番号の順に各特徴点の３次元座標を並べることで、顔パッチモデルの３次元形状Ｆを次式のように多次元ベクトルで表現することができる（この例は４６５点の特徴点×３次元のベクトル）。
【００２１】
【数１】
【００２２】
このように顔形状を多次元のベクトルで表現すれば、単純なベクトルの平均で標準顔を作ることができるなど、非常に加工や解析が容易に行えるという利点がある。
【００２３】
対象顔の距離画像からこのような顔パッチモデルを作成するために、顔モデル作成装置１１０は、予め用意した標準顔パッチモデル（標準顔パッチモデル１２６）を、対象顔に合わせて変形するというアプローチをとる。このような処理のための機能モジュールとして、顔モデル作成装置１１０は、正準化処理部１１２、２次元ＤＰマッチング部１１４、モデル変形部１１６及び記憶装置１２０を備える。
【００２４】
正準化処理部１１２は、レンジファインダ１００から受け取った距離画像における対象顔の位置と向き（姿勢）と大きさを正準化（正規化）する。
【００２５】
対象顔の距離画像は、レンジファインダ１００に対する対象顔の向きや距離によって、その向きや大きさが変化してくる。レンジファインダ１００による形状計測では、対象顔を正面かつ所定の距離から撮影するようにはするが、被写体が人間である以上、顔を固定する機構などを設けない限りは、揺動や多少の位置の変化は避けられず、厳密に正面方向から正しい距離で形状計測することは困難である。したがって、顔を固定する機構などを設けないシステムでは、同じ対象顔でも、形状計測の都度その距離画像の向きや大きさが変化してくる。このような変化は、作成されるパッチモデルの精度に悪影響を与えるので、本実施形態では正準化処理部１１２により対象顔の距離画像の向きや大きさを正準化するのである。
【００２６】
標準顔パッチモデル１２６は、レンジファインダ１００に対して所定の距離にある所定の向きの顔を想定して作成されたものである。標準顔パッチモデル１２６は、十分な数の人の顔から作成した顔パッチモデルの平均（例えば、特徴点ごとにその座標をそれらサンプル間で平均したもの）である。
【００２７】
正準化処理部１１２が行う正準化は、対象顔の距離画像を、レンジファインダ１００から見て対象顔がその距離の位置でその向きを向いた状態を示すものとなるように変換する処理である。以下、正準化処理の詳細を説明する。
【００２８】
人間の顔は完全な左右対称ではないが、ある程度の対称性が仮定できる。そこで顔を最も左右対称に分割する平面を正中面と定義し、正中面による姿勢補正を行う。
【００２９】
三次元空間中の平面は次式（１）のように、
【数２】
と与えられるので、非線形最小二乗法の一つである滑降シンプレックス法を使用し、誤差評価関数Ｅ1 を最小化する方向へ平面の係数（ａ，ｂ，ｃ，ｄ）を変動させることで、正中面として最適な平面を推定する。計測で得られた顔の三次元情報である点群Ｐと、その点群Ｐを平面基準（すなわち評価対象である正中面の候補）について鏡映して得られる点群
との間で、互いに対応する点同士の間のユークリッド距離を求め、点群全体でのその距離の平均を評価関数Ｅ1 とする。すなわち、評価関数Ｅ1 は、
【数３】
となる。式中のＮp は点群Ｐの総点数、ｐi は点群Ｐ中の点、ｑiは点群
中でのｐi の対応点を示している。算出された正中面を、顔パッチモデルを表現する世界座標の原点を含むＹＺ平面に合わせることで、正中面による姿勢補正を図る。図３に、システムの世界座標系ＸＹＺと顔の距離画像３００の関係を図示する。
【００３０】
ここで、顔の撮影はレンジファインダ１００にほぼ正対した状態で行われているので、このことを前提条件として利用する。顔がほぼ正面を向いているため、算出される正中面はＸＹ平面やＸＺ平面になることは無く、ＹＺ平面(x=0)に近い形で求められる。そこで、（１）式におけるｘの係数ａを定数とし、変動させるパラメータから除外する。変動するパラメータを減らすことで、正中面算出の計算コストが削減でき、また解を安定化させることができる。
【００３１】
また、点群Ｐと点群
には、点の粗密・ばらつきが生じているため、点群間での対応が取りにくい。そこで、予め点群Ｐを世界座標のｘ，ｙ値についてリサンプリングした点群ＰR を作成しておき、点群Ｐと点群
の対応を、点群
と点群ＰR で代行することで計算コストの削減を図る。カメラ（レンジファインダ１００）にほぼ正対して撮影が行われたことより、ｘ，ｙ値についてリサンプリングして得られる点群ＰR 点群Ｐを十分に代表できる点群と考えられる。また点群
と点群ＰR の対応は、図４のように線形補間を利用して、世界座標のｘ，ｙ 値が同じになる点同士で取る。そのため、誤差評価関数Ｅ1'は次の（３）式のように改められる。
【００３２】
【数４】
【００３３】
ここで、式中のＮq は点群
の総点数、ｑj は点群
中の点、ｒj は点群ＰR を線形補間して得たｑj の対応点を示す。
【００３４】
（１）式のａを定数とし、ｂ，ｃ，ｄを様々に変えながら、点群Ｐの鏡像である点群
を求め、誤差評価関数Ｅ1'の値を計算する。滑降シンプレックス法を用いてその誤差評価関数Ｅ1'の値が最小となる時のａ，ｂ，ｃ，ｄを求める。これらａ，ｂ，ｃ，ｄを（１）式に代入して得られる式が、対象顔の正中面を表す。この正中面が世界座標系のＹＺ面に一致するように対象顔の距離画像の座標系を回転及び平行移動させることで、対象顔の距離画像の姿勢が補正できる。
【００３５】
次に、正中面による姿勢補正が完了したデータに対し、平均鼻断面を用いることで更に姿勢と位置の補正を行う。平均鼻断面は、十分な数の人の正中面断面データより鼻領域のみを取りだし、それら鼻断面の平均をとることで作成できる。
【００３６】
鼻は表情が変化しても形状の変化が少なく、顔のほぼ中央に位置しているため計測で情報を取得しやすいという長所がある。また鼻自体の形状は個人差が大きいが、断面の形状に関してはそれほど差異がないという特徴もある。そのため、対象顔の正中面による断面データを、平均鼻断面に最も合うように位置合わせすることで、正中面だけでは補正できなかったＸ軸回りの回転とＹ，Ｚ方向に関する並進の補正が可能となる。
【００３７】
位置合わせには正中面算出時でも用いた滑降シンプレックス法を使用する。具体的には、平均鼻断面の点群Ｓと、対象顔の距離画像の正中面断面の点群Ｔとの間の対応する点同士の平均ユークリッド距離を誤差評価関数Ｅ2 として、Ｅ2 が最小となるまで顔（すなわち正中面による姿勢補正後の距離画像）全体の並進・回転を繰り返す。点群Ｓと点群Ｔとの間の対応点の取り方は、例えばユークリッド距離が最も近い点同士を対応点とするやり方でよい。誤差評価関数Ｅ2 を次式に示す。
【００３８】
【数５】
【００３９】
ここで式中のＮs は点群Ｓの総点数、ｓi は点群Ｓ中の点、ｔi は点群Ｔ中における点ｓi の対応点を示す。
【００４０】
次に、図５に示すように、平均鼻断面を用いた姿勢及び位置補正が完了した対象顔の点群５００に対し、新たに画像平面５０２（世界座標系のＸＹ平面に平行な面）を設け、その点群５００を画像平面５０２に正射影することで、画像中の顔のサイズ・位置を補正した正準化距離画像５０４を得る。正射影は、線形補間と世界座標のｘ，ｙ値についてのリサンプリング処理を用いて行われる。すなわち、この正射影処理では、その点群５０２の中からＸ，Ｙの各軸方向についてそれぞれ所定間隔ごとに点をリサンプリングする。このとき、その位置に点がない場合は、周囲の点から補間する。そしてこのリサンプリングした点群を画像平面５０２に平行投影する。こうすることで、距離画像の画像座標(u,v)と世界座標(x,y,z)が対応付けられた距離画像を取得できる。例えばＶＧＡ規格の画像を用いる場合、顔は縦長であるため、正準化距離画像の画像サイズは横480×縦640ピクセルとする。
【００４１】
以上、対象顔の距離画像の正準化について説明した。なお、図６に示すように、対象顔の距離画像６０２の各画素とテクスチャ（距離画像と同時に取得した可視画像）６０４の各画素は１対１で対応しているため、距離画像の正準化結果を参照することでテクスチャに関しても正準化ができる。この正準化においてテクスチャを正射影する際に、距離画像が行った線形補間の面積比をテクスチャにも適応することで、正準化されたテクスチャ（正準化テクスチャと呼ぶ）を生成する。正準化テクスチャの画像サイズも480×640 ピクセルであり、図６に示すように正準化距離画像６０６と正準化テクスチャ６０８の各画素も１対１で対応している。
【００４２】
以上、正準化処理部１１２について説明した。レンジファインダ１００に対する対象顔の向きや位置を正しい状態とする機構を設ければ、以上のような正準化処理部１１２は必ずしも必要ない。
【００４３】
正準化処理部１１２が作成した正準化距離画像６０６は（正準化テクスチャ６０８も作成した場合はそれも）、２次元ＤＰマッチング部１１４に渡される。
【００４４】
２次元ＤＰマッチング部１１４は、その正準化距離画像と、標準顔パッチモデルの距離画像との間で２次元ＤＰマッチングを行うことで、両距離画像の間での画素間の対応関係を求める。
【００４５】
標準顔パッチモデルの距離画像は、標準顔パッチモデル１２６から作成しておく。基本的な作成方法は、姿勢及び位置補正が完了した対象顔の点群５００から正準化距離画像を作成する方法と同様であり、標準顔パッチモデル１２６の示す３次元表面形状の各点のＺ座標を、それら各点を世界座標系のＸＹ平面に平行投影した位置の画素の画素値（距離値）とすればよい。標準顔パッチモデル１２６は正準化された多数の顔パッチモデルからの平均として求められたものなので、既に正準化済みである。
【００４６】
ここで、標準顔パッチモデルの場合３次元の点の数が４６５点しかないため、リサンプリングをする際に距離画像の各画素に対応するモデルの３次元頂点が存在しない場合がほとんどである。そのため、距離画像の各画素に対応するモデルの３次元位置を推定する必要がある。
【００４７】
この推定では、まず、標準顔パッチモデルを構成する各パッチについて、そのパッチを構成する３つの特徴点からパッチの面を求める。パッチは微小であり平面とみなすことができるため、図７に示すように、距離画像の画素に対応するパッチ内の点ｖ4 の３次元座標（ｘ4，ｙ4，ｚ4 ）のうちのｚ座標は、次式に示すように、パッチを構成する３頂点ｖ1〜ｖ3からの距離の比から求めることができる。なお点ｖ4 のｘ，ｙ座標は距離画像の画素の位置に対応しており、容易に求められる。
【００４８】
【数６】
【００４９】
このようにして距離画像の各画素に対応するｚ座標を求めることで、標準顔パッチモデル１２６の距離画像（図１の標準顔パッチモデル距離画像１２２）が求められる。このようにして作成した標準顔パッチモデル１２６の距離画像１２２は、顔モデル作成装置１１０の記憶装置１２０内に保存されており、必要に応じ、２次元ＤＰマッチング部１１４から参照される。また、記憶装置１２０には、この他に標準顔パッチモデル１２６も保存されている。また、標準顔パッチモデル１２６を構成する各特徴点がその距離画像１２２のどの画素に対応するかは、その作成の際に分かるので、その対応関係を示す特徴点対応付け情報１２４を作成しておき、記憶装置１２０に保存しておく。
【００５０】
次に、２次元ＤＰマッチング部１１４による、このような標準顔パッチモデル距離画像１２２と、正準化処理部１１２が出力した正準化距離画像との画素同士の対応付け処理について説明する。
【００５１】
ＤＰ（動的計画法）マッチングは単語認識の分野において、話者による発音のくせの違いから生じる時間軸上の非線形の伸縮を吸収する手法として提案された。ＤＰマッチングは時間軸という１次元の軸上でのマッチング処理であり、これを２次元に拡張したのが２次元ＤＰマッチングである。２次元ＤＰマッチングは、従来公知の技術であり、画像同士のマッチングなどに利用されている。
【００５２】
２次元ＤＰマッチング部１１４は、基本的には、このような従来公知の２次元ＤＰマッチング処理を行うものでよい。ただし、通常の２次元ＤＰマッチングでは、計算量が画素数の指数乗のオーダーとなるので、画素数が多いと計算コストが非常に大きくなってしまう。
【００５３】
そこで、本実施形態では、距離画像の水平方向と垂直方向のそれぞれについて独立に１次元ＤＰマッチングを行い、その結果を組み合わせることで、２次元ＤＰマッチングを近似する。この処理の基礎情報として、１次元ＤＰマッチング処理について説明する。
【００５４】
２つの時系列（特徴ベクトルの系列）Ａ，Ｂを、
Ａ＝ａ1，ａ2，・・・，ａI
Ｂ＝ｂ1，ｂ2，・・・，ｂJ
とし、ＡとＢの対応を考える。一般にＡとＢは時間軸が異なっているため、同じインデックス番号同士が対応しているとは限らない。
【００５５】
そこで図８に示すようなＡ，Ｂからなる平面を考える。この図において、コスト関数(warping function)、すなわちＡ，Ｂ両パターンの対応付けは、この平面上の格子点ｆ = (ｉ，ｊ) の系列
Ｆ＝ｆ1，ｆ2，・・・，ｆk
ｆk ＝(ｉk，ｊk)
で表現することができる。２つの特徴ベクトルａiとｂjの距離を
ｄ(ｆ) = ｄ(ｉ，ｊ)
で表すと、Ｆに沿った距離の総和は、
【数７】
で表すことができ、この値が小さいほどＡとＢの対応付けがよいことを示す。
【００５６】
ここで、（５）式を次のような制約条件のもとで、Ｆに関して最小化することを考える。
1. 単調連続性条件
【数８】
2. 境界条件
【数９】
3. 整合窓の条件
【数１０】
【００５７】
このとき、最小化する目的関数Ｄ（Ｆ）は加法的になるので、この最小化は、Ｆのすべての可能性について総当り的に調べることなく、効率的に解くことができる。
【００５８】
部分点列ｆ1，ｆ2，・・・，ｆk(ｆk = (ｉ，ｊ)) に対する部分和ｇ(ｆk) を上で述べた制約条件を用いて考えると、
【数１１】
となる。したがって、ｇ（１，１）＝ｄ（１，１），ｊ＝１として、整合窓の範囲内でｉを変えながら（６）式を計算し、次にｊを増加させて、ｊ＝Ｊとなるまで同様の計算を繰り返せば、最後にｇ（Ｉ，Ｊ）としてＡ，Ｂ２つの時系列間の時間正規化後の距離が求まる。この距離が最小となる時のｉとｊの対応付けが、最終的なマッチング結果となる。
【００５９】
次に、２次元ＤＰマッチングを水平方向及び垂直方向についての独立な１次元ＤＰマッチングで近似する本実施形態の計算方式について説明する。
【００６０】
まず、画像サイズＭ×Ｎの２枚の距離画像に対して水平方向に１次元ＤＰマッチング処理を行うことにより、水平方向の変形を吸収する。まず図９に示すように、両距離画像Ａ，Ｂ（例えば画像Ａが対象顔の正準化距離画像、画像Ｂが標準顔パッチモデル距離画像１２２）をそれぞれ垂直方向にスライスしていくことで列ごとの断面形状、
【数１２】
を抽出する。図９では、上段に距離画像Ａ及びＢが示され、各列のスライスの線が示される。下段には、あるスライス線における断面形状が示される。
【００６１】
ここでｚAij，ｚBij は、距離画像Ａ、Ｂにおけるｊ行ｉ列目の画素の画素値すなわちｚ値である。ｉAi、ｉBiは、それぞれ距離画像Ａ，Ｂのｉ列目の各画素のｚ値を順に並べたベクトルであり、ｉ列目における断面形状を示す。なお、ここでは水平方向が行方向、垂直方向が列方向としている。ＩA、ＩBは、各列の断面形状ベクトルを順に並べた配列である。
【００６２】
このような断面形状の列について、１次元ＤＰマッチングを行う。この計算では、断面形状ｉAiとｉBiとの間の距離ｓ(ｉAi，ｉBi) を、マッチングにおけるコストとする。この場合、（６）式を次の（７）〜（９）式のように変えればよい。
【００６３】
【数１３】
【００６４】
ここで断面形状の類似度（距離）ｓ(ｉAi，ｉBi)は、距離画像の画素値すなわちz値の差の絶対値をコストとした１次元ＤＰを用いて計算する。計算式を以下に示す。
【００６５】
【数１４】
【００６６】
この１次元ＤＰでは、制約条件として上述の単調連続性条件、境界条件、及び整合窓の条件を用いる。発明者の実験によれば、整合窓サイズｒは１５が好適である。
【００６７】
以上の計算でコスト最小となる時のｉAiとｉBiの対応関係が、距離画像ＡとＢとをマッチさせる時の水平（Ｘ軸）方向の画素番号（インデックス）の対応関係となる。この対応関係により、距離画像ＡとＢの間の水平方向の伸縮が吸収できる。
【００６８】
以上、水平方向についての１次元ＤＰマッチング処理について説明した。２次元ＤＰマッチング部１１４は、この処理と並行して、垂直方向についての１次元ＤＰマッチングも行う。垂直方向についての処理では、距離画像Ａ，Ｂを水平方向にスライスして断面パターンを得る。これ以外は、水平方向の場合と同様でよい。この処理により、距離画像ＡとＢとをマッチさせる時の水平（Ｘ軸）方向の画素番号（インデックス）の対応関係が求められる。この対応関係により距離画像間の垂直方向の伸縮が吸収できる。
【００６９】
以上のようにして、距離画像Ａ（正準化距離画像）と距離画像Ｂ（標準顔パッチモデル距離画像１２２）との間で、画素インデックスの行成分と列成分の対応関係が得られる。この対応関係を図式化して示すと、図１０に示すようなものとなる。すなわち、水平方向のマッチングで距離画像Ａの列番号ｉAと距離画像Ｂの列番号ｉBとが対応することが分かり、垂直方向のマッチングで距離画像Ａの行番号ｊAと距離画像Ｂの列番号ｊBとが対応することが分かったとすると、距離画像Ａ上の画素ｐ（ｉA，ｊA）が距離画像Ｂ上の画素ｑ（ｉB，ｊB）に対応することになる。同様にして、距離画像Ａの全ての画素について、距離画像Ｂにおけるその対応画素が分かる。
【００７０】
マッチング対象となる対象顔の距離画像も標準顔パッチモデル距離画像１２２も、共に正準化されているので、このように水平、垂直方向に独立にＤＰマッチングを行う方式でも、両距離画像間の画素同士の対応付けを、高い精度で行うことができる。
【００７１】
２次元ＤＰマッチング部１１４は、このような対応関係の情報をモデル変形部１１６に渡す。
【００７２】
モデル変形部１１６は、この対応関係に従い、標準顔パッチモデル１２６を変形することで、対象顔のパッチモデル１３０を作成する。
【００７３】
すなわち、その対応関係によれば、標準顔パッチモデル距離画像１２２の各画素が対象顔の正準化距離画像のどの画素に対応するかが分かる。また、標準顔パッチモデル１２６の各特徴点が、標準顔パッチモデル距離画像１２２のどの画素に対応しているかは、特徴点対応付け情報１２４から分かる。これらの情報を合わせれば、標準顔パッチモデル１２６の各特徴点が、正準化距離画像のどの画素に対応しているかが分かる。ここで、正準化距離画像の画素の画素位置（ｘ，ｙ）と画素値（ｚ）から、その画素が示す３次元位置が分かる。モデル変形部１１６は、各特徴点が、正準化距離画像における各対応画素の示す３次元位置に移動するように、標準顔パッチモデル１２６を変形する。これにより対象顔のパッチモデル１３０ができる。
【００７４】
図１１に、このように生成した対象顔の顔パッチモデルの例を示す。上段は正面から見たモデルを、下段は斜め前方から見た場合のモデルを示す。また、左の列は顔パッチモデルのワイヤーフレーム表示を、中央の列はそのワイヤーフレームに対して表面生成を行って作成したサーフェイス表示を、右の列はそのサーフェイスにテクスチャ画像を貼り込んだテクスチャマッピング結果を、それぞれ示す。
【００７５】
以上に説明した実施形態のシステムによれば、２次元ＤＰマッチングを用いることで、対象顔を計測して得た距離画像と標準顔パッチモデル距離画像１２２との間の画素の対応付けを自動処理で行うことができるので、対象顔のパッチモデルを自動生成することができる。また、本実施形態では、対象顔の距離画像を正準化する正準化処理部１１２を設けたので、対象顔の向きや位置が正しい状態からずれていても、それを標準顔パッチモデル距離画像１２２に合わせることができる。その結果、２次元ＤＰマッチングを２つの異なる方向（例えば水平方向と垂直方向）についての１次元ＤＰマッチングの組合せで近似することができ、通常の２次元ＤＰマッチングを行う場合よりも計算コストを大幅に低減することができる。逆に言えば、通常の２次元ＤＰマッチングを行う場合には、正準化処理部は必ずしも必要ない。
【００７６】
次に、顔のテクスチャ情報を利用して、より精度の高い顔パッチモデルを生成する変形例を説明する。
【００７７】
上記実施形態では、標準顔の特徴点に対応する対象顔上の点を距離画像の情報のみから求めた。この方法は３次元形状の類似性から特徴点の対応点を求めるものである。ところが、顔の特徴点は、必ずしも３次元形状として特徴的な部分に位置するとは限らない。例えば、鼻の稜線は３次元形状として非常に特徴的なので、その稜線上の特徴点については、距離画像の情報だけでも、対象顔上の対応点を高精度で見出すことができる。ところが、例えば目は、個人により大きな差があるのにもかかわらずその差が３次元形状にはあまり顕著に現れないため、距離画像の情報だけから対応点を求めたのでは、高い精度が得られない場合がある。そこで、この変形例では、距離画像に加え、レンジファインダ１００でその距離画像と同時に得られるテクスチャ情報を利用することで、特徴点の対応点を精度よく求められるようにする。以下、この変形例の処理について詳しく説明する。
【００７８】
この変形例のシステム構成は、図１に示すものと同様でよい。ただし、２次元ＤＰマッチング部１１４が実行する計算処理が、上記実施形態とは異なる。すなわちこの変形例では、上記実施形態における（１０）〜（１２）式の代わりに、次の（１３）〜（１５）式で表される計算を行う。
【００７９】
【数１５】
【００８０】
この例では、テクスチャ画像はグレースケール画像である。ｌAij，ｌBijは、それぞれ、対象顔のテクスチャ画像Ａ（正準化済み）、標準顔のテクスチャ画像Ｂのｊ行ｉ列目の画素の輝度値である。ここで、標準顔のテクスチャ画像は、標準顔パッチモデルを作成する際に用いた多数のサンプル顔のテクスチャ画像の平均から求めればよい。この式において、距離画像の画素値は距離（ｚ値）であり、テクスチャ画像の画素値は輝度なので、両者の値をそのまま足し引きするのは適切ではない。そこで重み係数αを用いて３次元形状とテクスチャの関係を制御する。最適なαの値は、実験等により求めることができる。発明者の実験では距離（Ｚ値）の単位をｍｍ、輝度の階調を２５６としたが、α = 0.22 のときに、もっとも精度のよいモデルが生成できた。
【００８１】
スライス（断面）内の点の対応付けを上記（１３）〜（１５）式の１次元ＤＰマッチングにより求め、更にそれらスライスの列についての対応付けを（７）〜（９）式の１次元ＤＰマッチングにより行うことで、対象顔と標準顔との間での画素同士の対応関係がより高精度に求められる。そして、この対応関係の情報を用いて標準顔パッチモデルを変形することで、対象顔のパッチモデルを求めることができる。
【００８２】
このような計算によれば、テクスチャの近さがＤＰマッチングのコスト計算に反映されるので、３次元形状だけでは高精度の対応付けが困難な特徴点について、より精度のよい対応付けが可能となる。
【００８３】
以上の変形例では、テクスチャの重みαを画像全域で同一としていた。しかしながら、例えば眉はテクスチャ的には特徴的な部分ではあるが、化粧で眉を描くことで容易に変更できる部分でもある。このほかにも、ひげのように、テクスチャ的には特徴を持つにもかかわらず、変更が容易な部分がある。これに対し、目や唇などは、そのような変化は少ない。マッチングにテクスチャ情報を反映させる場合、容易に変化し得る部分の影響が大きいと、同じ人の顔からパッチモデルを作成しても、その部分の違いにより生成されるパッチモデルの差が大きくなってしまう。
【００８４】
そこで、このような問題を解消又は軽減するための第２変形例として、顔の部分部分で重みαを可変とする例を以下に説明する。
【００８５】
この第２変形例では、例えば眉の隆線近傍や、ひげの生える鼻の下やあごなどのように同一人内での変化が大きい部分は、相対的にαの値を小さくする。逆に目や唇のように同一人内での変化の小さい部分は、相対的にαの値を大きくする。このような顔の各部位のα値の情報を作成し、顔モデル作成装置１１０に持たせておく。ここで標準顔パッチモデルは、各頂点（特徴点）がそれぞれ顔のどの部位に該当するかという情報（特徴点の意味）を保持しているので、この特徴点の情報を元に、標準顔パッチモデル距離画像１２２の各画像座標（各画素）がそれぞれどの部位に該当するかを決めることができる。このようにして距離画像１２２の各画像座標がどの部位に属するかを決めれば、それに応じてそれら各画像座標にその部位に応じた適切なα値を割り当てればよい。例えば、描き眉が存在しうる範囲の各画像座標には、目が存在しうる範囲の画像座標よりも小さいα値を割り当てる。部位ごとの適切なα値は、実験により求めればよい。目や口など形状よりもテクスチャに特徴がより強く表れる部位にはαの値を大きくし、眉の部分を含む額や鼻などテクスチャよりも形状に特徴が表れる部位にはαの値を小さくするなど、動的にα値を設定することが可能となる。
【００８６】
この第２変形例では（１３）〜（１５）式の代わりに、次式を用いる。
【００８７】
【数１６】
【００８８】
ここでｕ，ｖは、標準顔パッチモデル１２２の距離画像における画像座標であり、α（ｕ，ｖ）はその画像座標におけるα値である。この計算式において用いる重みα（ｕ，ｖ）としては、その式に代入する標準顔パッチモデル距離画像の画素の画像座標に対応する値を採用すればよい。
【００８９】
このような計算によれば、顔の部位の特性に応じ、より適切なマッチングを行うことができ、対象顔と標準顔との対応付けの精度向上ができ、より高精度の顔パッチモデルの作成が見込める。
【００９０】
以上に説明した変形例及び第２変形例では、顔のテクスチャ情報としてグレースケール画像を用いたが、この代わりにＲＧＢなどのカラー画像を用いてももちろんよい。この場合、コスト評価式に現れるテクスチャの差としては、対象顔と標準顔の間の画素値同士（ＲＧＢ値）の距離を用いればよい。
【００９１】
また、以上の変形例及び第２変形例では、テクスチャ画像のグレースケール値やカラー値などの画素値をそのままマッチング時の評価に用いたが、その代わりに、そのような画素値の微分を画素ごとに求め、画素値の代わりに微分値を用いて同様の評価を行ってもよい。微分値は、テクスチャ画像に微分フィルタを適用することで求めることができる。例えば、日焼けや化粧により顔の肌の色が変わると、生のテクスチャ画像ではその色の差が評価にそのまま反映されてしまう。ところが、日焼けや化粧により肌の色が全体的に変わったとしても、場所ごとの色の変化を示す微分値はそれほど顕著に変わらないと考えられるので、微分値を用いることでそのような色の変化がある場合にマッチングの精度を向上させることができる。
【００９２】
また、テクスチャ画像の画素値とその微分値の両方をマッチングの評価に反映させてもよい。
【００９３】
以上に説明した顔モデル作成装置１１０は、例えば、汎用のコンピュータにて上述の各部の昨日又は処理内容を記述したプログラムを実行することにより実現される。コンピュータは、ハードウエアとして、例えばＣＰＵ（中央演算装置）、一次記憶、各種Ｉ／Ｏ（入出力）インタフェースなどがバスを介して相互に接続された構成を有する。そのバスに対し、Ｉ／Ｏインタフェースを介して、ハードディスク装置などの固定二次記憶や、ＣＤ又はＤＶＤ、フラッシュメモリなどの可搬型の不揮発性記録媒体を取り扱うドライブが接続される。上述の顔モデル作成装置の各部の処理内容が記述されたプログラムが、可搬型の記録媒体又はネットワークを経由して固定二次記憶に保存され、コンピュータにインストールされる。そして、インストールされたプログラムが一次記憶に読み出され、ＣＰＵで実行されることにより、上述の顔モデル作成装置１１０が実現される。
【００９４】
なお、このように顔モデル作成装置１１０の全てをソフトウエアで実現する代わりに、正準化処理部１１２、２次元ＤＰマッチング部１１４、モデル変形部１１６のうちのいずれか１つ又は複数を、ＡＳＩＣ(Application Specific Integrated Circuit)等のハードウエア回路や、デジタル・シグナル・プロセッサなどを用いて構成することも可能である。
【００９５】
以上に説明した実施形態及び各変形例のシステムで作成された顔パッチモデルは、例えば、顔認証システムにおいて顔を表現するモデルとして利用できる。また、この他にも、美容整形などのシミュレーション、仮想空間内におけるアバター、表情解析など、幅広い分野での応用が期待できる。
【図面の簡単な説明】
【００９６】
【図１】実施形態のシステム構成を示す図である。
【図２】顔パッチモデルの例を示す図である。
【図３】顔の距離画像と世界座標系との関係を示す図である。
【図４】点群同士の対応付けにおける補間処理を説明するための図である。
【図５】姿勢・位置の補正後の点群を射影して正準化距離画像を作成する処理を説明するための図である。
【図６】距離画像とテクスチャ画像の対応関係を説明するための図である。
【図７】標準顔パッチモデルに対応する距離画像を作成する際の補間処理を説明するための図である。
【図８】１次元ＤＰマッチングを説明するための図である。
【図９】対象顔と標準顔の距離画像同士の間の水平方向についてのＤＰマッチングの処理を説明するための図である。
【図１０】対象顔と標準顔の画素ごとの対応付けを説明するための図である。
【図１１】対象顔のパッチモデルの作成結果の例を示す図である。
【符号の説明】
【００９７】
１００ レンジファインダ、１１０ 顔モデル作成装置、１１２ 正準化処理部、１１４ ２次元ＤＰマッチング部、１１６ モデル変形部、１２０ 記憶装置、１２２ 標準顔パッチモデル距離画像、１２４ 特徴点対応付け情報、１２６ 標準顔パッチモデル、１３０ 対象顔のパッチモデル。
【特許請求の範囲】
【請求項１】
モデル化対象の顔を示す第１の距離画像と標準顔モデルを示す第２の距離画像との間で２次元ＤＰマッチングを実行することで、第１の距離画像と第２の距離画像との間での画素の対応関係を求める２次元ＤＰマッチング部と、
標準顔モデルの各特徴点に対応する第２の距離画像の画素に対応する第１の距離画像上の対応画素を前記対応関係から求め、標準顔モデルの各特徴点が第１の距離画像上の対応画素が示す２次元位置とその対応画素の画素値が示す距離との組合せからなる３次元座標に移動するよう標準顔モデルを変形することにより、モデル化対象の顔の顔モデルを生成する顔モデル変形部と、
を備える顔モデル作成システム。
【請求項２】
請求項１記載の顔モデル作成システムであって、
モデル化対象の顔の距離画像の姿勢及び向きを、標準顔モデルの姿勢及び向きに合わせる正準化処理部を更に備え、
前記２次元ＤＰマッチングは、正準化処理部の処理結果の距離画像を前記第１の距離画像として処理を行う、
ことを特徴とする顔モデル作成システム。
【請求項３】
請求項１記載の顔モデル作成システムであって、
前記２次元ＤＰマッチング部は、距離画像の行方向についての１次元ＤＰマッチングの結果に基づき、前記第１の距離画像と前記第２の距離画像との間での画素列同士の対応関係を求め、距離画像の列方向についての１次元ＤＰマッチングの結果に基づき、前記第１の距離画像と前記第２の距離画像との間での画素行同士の対応関係を求める、
ことを特徴とする顔モデル作成システム。
【請求項４】
請求項３記載の顔モデル作成システムであって、
前記２次元ＤＰマッチング部は、距離画像の行方向についての１次元ＤＰマッチングにおいて、前記第１の距離画像の画素列と前記第２の距離画像の画素列との間でのそれら画素列における画素値の並びの類似度を求め、その類似度が全体として最良となる前記第１の距離画像の画素列と前記第２の距離画像の画素列の対応関係を１次元ＤＰマッチングにより求め、距離画像の列方向についての１次元ＤＰマッチングにおいて、前記第１の距離画像の画素行と前記第２の距離画像の画素行との間でのそれら画素行における画素値の並びの類似度を求め、その類似度が全体として最良となる前記第１の距離画像の画素行と前記第２の距離画像の画素行の対応関係を１次元ＤＰマッチングにより求める、
ことを特徴とする顔モデル作成システム。
【請求項５】
請求項１記載の顔モデル作成システムであって、
前記２次元ＤＰマッチング部は、前記２次元ＤＰマッチングにおいて、前記第１の距離画像と前記第２の距離画像の画素同士の差に対し、前記第１の距離画像に対応する前記モデル化対象の顔の第１のテクスチャ画像と、前記第２の距離画像に対応する標準顔の第２のテクスチャ画像と、の間の画素同士の差を加味したコスト計算を行う、
ことを特徴とする顔モデル作成システム。
【請求項６】
請求項５記載の顔モデル作成システムであって、
前記２次元ＤＰマッチング部は、前記コスト計算において、前記第１のテクスチャ画像と前記第２のテクスチャ画像との間の画素同士の差を加味するときの重みとして、顔の部位ごとに設定された重みを用いる、
ことを特徴とする顔モデル作成システム。
【請求項７】
コンピュータを、
モデル化対象の顔を示す第１の距離画像と標準顔モデルを示す第２の距離画像との間で２次元ＤＰマッチングを実行することで、第１の距離画像と第２の距離画像との間での画素の対応関係を求める２次元ＤＰマッチング部、
標準顔モデルの各特徴点に対応する第２の距離画像の画素に対応する第１の距離画像上の対応画素を前記対応関係から求め、標準顔モデルの各特徴点が第１の距離画像上の対応画素が示す２次元位置とその対応画素の画素値が示す距離との組合せからなる３次元座標に移動するよう標準顔モデルを変形することにより、モデル化対象の顔の顔モデルを生成する顔モデル変形部、
として機能させるためのプログラム。
【請求項１】
モデル化対象の顔を示す第１の距離画像と標準顔モデルを示す第２の距離画像との間で２次元ＤＰマッチングを実行することで、第１の距離画像と第２の距離画像との間での画素の対応関係を求める２次元ＤＰマッチング部と、
標準顔モデルの各特徴点に対応する第２の距離画像の画素に対応する第１の距離画像上の対応画素を前記対応関係から求め、標準顔モデルの各特徴点が第１の距離画像上の対応画素が示す２次元位置とその対応画素の画素値が示す距離との組合せからなる３次元座標に移動するよう標準顔モデルを変形することにより、モデル化対象の顔の顔モデルを生成する顔モデル変形部と、
を備える顔モデル作成システム。
【請求項２】
請求項１記載の顔モデル作成システムであって、
モデル化対象の顔の距離画像の姿勢及び向きを、標準顔モデルの姿勢及び向きに合わせる正準化処理部を更に備え、
前記２次元ＤＰマッチングは、正準化処理部の処理結果の距離画像を前記第１の距離画像として処理を行う、
ことを特徴とする顔モデル作成システム。
【請求項３】
請求項１記載の顔モデル作成システムであって、
前記２次元ＤＰマッチング部は、距離画像の行方向についての１次元ＤＰマッチングの結果に基づき、前記第１の距離画像と前記第２の距離画像との間での画素列同士の対応関係を求め、距離画像の列方向についての１次元ＤＰマッチングの結果に基づき、前記第１の距離画像と前記第２の距離画像との間での画素行同士の対応関係を求める、
ことを特徴とする顔モデル作成システム。
【請求項４】
請求項３記載の顔モデル作成システムであって、
前記２次元ＤＰマッチング部は、距離画像の行方向についての１次元ＤＰマッチングにおいて、前記第１の距離画像の画素列と前記第２の距離画像の画素列との間でのそれら画素列における画素値の並びの類似度を求め、その類似度が全体として最良となる前記第１の距離画像の画素列と前記第２の距離画像の画素列の対応関係を１次元ＤＰマッチングにより求め、距離画像の列方向についての１次元ＤＰマッチングにおいて、前記第１の距離画像の画素行と前記第２の距離画像の画素行との間でのそれら画素行における画素値の並びの類似度を求め、その類似度が全体として最良となる前記第１の距離画像の画素行と前記第２の距離画像の画素行の対応関係を１次元ＤＰマッチングにより求める、
ことを特徴とする顔モデル作成システム。
【請求項５】
請求項１記載の顔モデル作成システムであって、
前記２次元ＤＰマッチング部は、前記２次元ＤＰマッチングにおいて、前記第１の距離画像と前記第２の距離画像の画素同士の差に対し、前記第１の距離画像に対応する前記モデル化対象の顔の第１のテクスチャ画像と、前記第２の距離画像に対応する標準顔の第２のテクスチャ画像と、の間の画素同士の差を加味したコスト計算を行う、
ことを特徴とする顔モデル作成システム。
【請求項６】
請求項５記載の顔モデル作成システムであって、
前記２次元ＤＰマッチング部は、前記コスト計算において、前記第１のテクスチャ画像と前記第２のテクスチャ画像との間の画素同士の差を加味するときの重みとして、顔の部位ごとに設定された重みを用いる、
ことを特徴とする顔モデル作成システム。
【請求項７】
コンピュータを、
モデル化対象の顔を示す第１の距離画像と標準顔モデルを示す第２の距離画像との間で２次元ＤＰマッチングを実行することで、第１の距離画像と第２の距離画像との間での画素の対応関係を求める２次元ＤＰマッチング部、
標準顔モデルの各特徴点に対応する第２の距離画像の画素に対応する第１の距離画像上の対応画素を前記対応関係から求め、標準顔モデルの各特徴点が第１の距離画像上の対応画素が示す２次元位置とその対応画素の画素値が示す距離との組合せからなる３次元座標に移動するよう標準顔モデルを変形することにより、モデル化対象の顔の顔モデルを生成する顔モデル変形部、
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００７−２５７３２４（Ｐ２００７−２５７３２４Ａ）
【公開日】平成１９年１０月４日（２００７．１０．４）
【国際特許分類】
【出願番号】特願２００６−８１１５６（Ｐ２００６−８１１５６）
【出願日】平成１８年３月２３日（２００６．３．２３）
【出願人】（５０５０４５６７６）株式会社スペースビジョン (8)
【Ｆターム（参考）】
【公開日】平成１９年１０月４日（２００７．１０．４）
【国際特許分類】
【出願日】平成１８年３月２３日（２００６．３．２３）
【出願人】（５０５０４５６７６）株式会社スペースビジョン (8)
【Ｆターム（参考）】
[ Back to top ]