顔画像処理装置
【課題】対象者の２次元の顔画像から、当該対象者の３次元顔画像を作成する顔画像処理装置を提供する。
【解決手段】本発明にかかる顔画像処理装置は、人物の２次元顔画像を入力する画像入力手段２０５と、顔の３次元顔形状モデルを予め記憶する記憶手段２１０と、３次元顔形状モデルを人らしい形状を保持したまま変形させて摂動顔形状モデルを生成する摂動顔形状モデル生成手段３２０と、３次元顔画像の生成に最も適した摂動顔形状モデルを選択する顔形状モデル選択手段２８０と、選択された摂動顔形状モデルと２次元顔画像とを合成して３次元顔画像を作成する個人モデル生成手段２９０を有する。
【解決手段】本発明にかかる顔画像処理装置は、人物の２次元顔画像を入力する画像入力手段２０５と、顔の３次元顔形状モデルを予め記憶する記憶手段２１０と、３次元顔形状モデルを人らしい形状を保持したまま変形させて摂動顔形状モデルを生成する摂動顔形状モデル生成手段３２０と、３次元顔画像の生成に最も適した摂動顔形状モデルを選択する顔形状モデル選択手段２８０と、選択された摂動顔形状モデルと２次元顔画像とを合成して３次元顔画像を作成する個人モデル生成手段２９０を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像処理装置に関し、特に、個人を撮影した２次元の顔画像と３次元の顔形状モデルからその個人の３次元の顔形状を推定して３次元顔モデル（３次元顔画像）を作成する顔画像処理装置に関する。
【背景技術】
【０００２】
従来より、対象者の顔を撮影して取得した２次元の顔画像を登録された顔画像と照合することにより、その対象者を認証する顔認証装置が提案されている。このような顔認証装置は、事前に対象者本人の顔画像を登録しておき、利用時に取得した顔画像と比較した結果に基づいて、認証の可否を決定する。そのため、登録時の顔画像と利用時の顔画像との間に、顔の向き、照明条件、表情などにおいて差異が生じていると、照合の際の誤り率が高くなる。
【０００３】
特許文献１では、標準的な顔の３次元形状を表す標準フレームモデルを用いて、照合の際に使用する複数の参照顔画像を作成する顔画像照合装置が提案されている。係る顔画像照合装置は、照合の際に取得した対象者の２次元顔画像と上記の標準フレームモデルを合成して対象者の顔に対応した３次元顔モデルを作成する。そして顔画像照合装置は、３次元顔モデルに対して顔の向き、照明条件、または表情といった変動要因を考慮してレンダリングを行うことにより、参照顔画像を作成する。
【０００４】
また、特許文献２では、顔の３次元形状を表す顔形状モデルと２次元の顔画像との位置合わせ処理において、位置合わせ誤差に大きな影響を与える鼻付近の形状のバリエーションを増やす顔画像処理装置が提案されている。かかる顔画像処理装置は、既に取得済みの顔形状モデルについて、鼻尖点を基準に、その上下の比率を様々に変化させた顔形状モデルを生成し、顔画像とを合成して３次元顔モデルを得る。そして、特許文献１と同様に、顔の向きなどの変動要因を考慮してレンダリングを行うことで、バリエーションが豊富な参照顔画像の作成が可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−６６４５号公報
【特許文献２】特開２００９−２１１１４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載された顔画像照合装置では、３次元形状を表すモデルとして、標準的な顔に対応する標準フレームモデルが１ないし複数準備される。この標準フレームモデルは、一度作成すればよく、係る顔画像照合装置の何れについても使用することができる。しかし、標準フレームモデルは、標準的な顔の形状に対応するものであるため、例えば、鼻の頂点である鼻尖点と眼の間隔、鼻尖点と口の間隔など、個々人が持つ顔形状の特徴を反映しきれるとは限らない。
【０００７】
一方、特許文献２に記載された顔画像処理装置では、鼻付近の形状に重点を置いてバリエーションを増やせるため、個々人が持つ顔の特徴に応じて、より精度の良い位置合わせが期待できる。
しかし、特許文献２に記載の手法を適用しても、人間の顔は個人差が大きく、顔形状モデルのバリエーションを増やしても、その個人差を十分に吸収できないことがあった。
これは、特許文献１に記載された顔画像照合装置における標準フレームモデルを元に顔形状モデルのバリエーションを増やしても同様と考えられる。
【０００８】
そこで、本発明の目的は、顔の３次元形状を表す３次元形状モデルを用いて、対象者の２次元の顔画像から当該対象者の顔形状を良好に再現した３次元顔画像を作成する顔画像処理装置を提供することにある。
【課題を解決するための手段】
【０００９】
本発明は２次元顔画像を３次元顔形状モデルと合成して３次元顔画像を生成する顔画像処理装置であって、２次元顔画像の取得手段と、複数の基本顔形状モデルと、顔形状モデルに設定される変形点を変位させても顔形状と認定できる範囲を基本変形点分布として記憶している記憶手段と、複数の基本顔形状モデルのそれぞれと２次元顔画像を用いて算出した類似度から、変形元となる元顔形状モデルを複数の基本顔形状モデルから特定する元顔形状特定手段と、元顔形状モデルに設定される変形点を変位させても顔形状と認定できる範囲である摂動変形点分布を、基本変形点分布における当該元顔形状モデルの変形点位置を中心に基本変形点分布より狭くして求める摂動分布算出手段と、元顔形状モデルから摂動変形点分布内において変形点を変位させた複数の摂動顔形状モデルを生成する変形手段と、摂動顔形状モデルと２次元顔画像とから算出した類似度から、複数の摂動顔形状モデルから合成対象となる摂動顔形状モデルを選択する顔形状モデル選択手段と、選択された摂動顔形状モデルと２次元顔画像から３次元顔画像を合成する合成手段とを有する顔画像処理装置を提供する。
【００１０】
かかる顔画像処理装置において、摂動分布算出手段は、基本変形点分布の分布形状を維持した摂動変形点分布を求めることが好ましい。
【００１１】
かかる顔画像処理装置において、摂動分布算出手段は、基本変形点分布と重なった範囲を摂動変形点分布として求めることが好ましい。
【００１２】
かかる顔画像処理装置において、摂動分布算出手段は、基本変形点分布に含まれる摂動変形点分布を求めることが好ましい。
【００１３】
かかる顔画像処理装置において、変形点は、顔形状モデル上に概略均等に設定されることが好ましい。
【発明の効果】
【００１４】
本発明によれば、２次元の顔画像に適した顔形状モデルを、既に取得済みの顔形状モデルを元に変形して合成することで、眉骨や頬骨の張り出し具合や、顎の形状といった個々の人物の顔形状の特徴を有する３次元顔画像生成することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明にかかる顔画像処理装置の概略構成図である。
【図２】摂動顔形状モデル生成手段の詳細構成図である。
【図３】基本変形点分布の作成に用いる学習用顔形状モデルの集合の模式図である。
【図４】複数の学習用顔形状モデルに設定された変形点が座標空間上に分布した基本変形点分布を示す模式図である。
【図５】摂動変形点から摂動顔形状モデルを生成することの概念図である。
【図６】本発明にかかる顔画像処理装置の全体動作フロー図である。
【図７】摂動顔形状モデルを生成する処理のフロー図である。
【発明を実施するための形態】
【００１６】
以下、図を参照しつつ、本発明にかかる顔画像処理装置の一つの実施の形態を図を参照しつつ説明する。
当該顔画像処理装置は、入力された２次元の顔画像について、その人物の顔形状の特徴を有する３次元顔画像を生成するものである。その生成の際、記憶されている顔形状モデルを、当該顔形状モデルに設定された、変形の基準となる変形点を基準に変形させて、２次元の顔画像に最も類似していると判断されるものを選択する。これにより、人物の顔の形状に関する特徴を反映させた３次元顔画像を生成することが可能となる。
【００１７】
図１は、本発明にかかる顔画像処理装置２００の概略構成図である。
顔画像処理装置２００は、画像入力手段２０５、記憶手段２１０、顔特徴点抽出手段２２０、位置合わせ情報算出手段２３０、位置合わせ手段２４０、光源方向推定手段２５０、陰影画像生成手段２６０、類似度算出手段２７０、顔形状モデル選択手段２８０、個人モデル生成手段２９０、基本変形点分布算出手段３００、元顔形状特定手段３１０、摂動顔形状モデル生成手段３２０、から構成される。
【００１８】
このうち、顔特徴点抽出手段２２０、位置合わせ情報算出手段２３０、位置合わせ手段２４０、光源方向推定手段２５０、陰影画像生成手段２６０、類似度算出手段２７０、顔形状モデル選択手段２８０、個人モデル生成手段２９０、基本変形点分布算出手段３００、元顔形状特定手段３１０および摂動顔形状モデル生成手段３２０は、それぞれ、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。以下、顔画像処理装置２００の各部について詳細に説明する。
【００１９】
画像入力手段２０５は、例えば、監視カメラ等と接続されるインターフェース回路であり、画像取得手段により２次元顔画像として取得された対象者の顔画像１００を顔画像処理装置２００に入力する。
画像入力手段２０５と図示しない監視カメラ等を合わせて本願特許請求の範囲にいう取得手段を構成する。
なお、顔画像１００は、顔全体を含み、かつ顔の各特徴部分（目、鼻、口など）を他の特徴部分と区別できるものである。さらに顔画像１００は、グレースケールまたはカラーの多階調の画像とすることができるが、人の肌部分の特徴を抽出し易いカラーの多階調画像とすることが好ましい。本実施形態では、顔画像１００を、１２８×１２８画素を有し、ＲＧＢ各色について８ビットの輝度分解能を持つカラー画像とした。ただし、顔画像１００として、この実施形態以外の解像度及び階調を有するものを使用してもよい。
【００２０】
記憶手段２１０は、ＲＯＭ、ＲＡＭなどの半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。そして記憶手段２１０は、顔画像処理装置２００を制御するためのコンピュータプログラム、各種パラメータ及びデータなどを記憶する。
また記憶手段２１０は、人の顔形状を表し、変形の元となる複数の基準顔形状モデルと、それら基準顔形状モデルに対応する３Ｄ顔特徴点および変形点の３次元位置情報、即ち座標情報を保持するデータベースである。
なお、基準顔形状モデルは、例えば、実在の人物の顔の３次元形状に基づいて予め作成される。また、３Ｄ顔特徴点と変形点の座標の原点は、３Ｄ顔特徴点の重心から定められる。
さらには、後述する元顔形状特定手段３１０により、変形処理の元として特定された基準顔形状モデルを元顔形状モデルと呼ぶ。
【００２１】
３Ｄ顔特徴点は、目、鼻、口など、形状若しくは色成分について他と異なる特徴的な部位の何れかの点、例えばそれらの部位の中心点若しくは端点を表す。例えば、３Ｄ顔特徴点には、眉頭、眉尻、黒目中心、目領域中心、目頭、目尻、鼻尖点、鼻孔中心、口点、口角点などが含まれる。なお、記憶する３Ｄ顔特徴点の種類及び数に制限はないが、少なくとも顔特徴点抽出手段２２０において抽出可能な顔特徴点と同じ部位の特徴点を全て含むことが好ましい。本実施形態では、３Ｄ顔特徴点として、左右それぞれの目領域中心、目頭及び目尻と、鼻尖点、口点、及び左右の口角点の１０箇所を記憶するものとした。
【００２２】
変形点は、基準顔形状モデルから特定された元顔形状モデルを所定の条件に従って変形して、後述する摂動顔形状モデルを生成する際の基準となる点である。上述の３Ｄ特徴点と共通のものを含んでも良いが、基準顔形状モデル上にまんべんなく設定され、顔形状の一部のみが局所的に変形されるのを避けるものとする。例えば、上述の１０箇所の他に、額の中央、こめかみ、顎先端、頬中央などに概略均等に分布するように設定されることが好ましい。本実施形態では、変形点として合計６０箇所を記憶するものとした。
なお、元顔形状モデルの変形点を本実施の形態では、以下、元変形点と呼ぶことにする。
【００２３】
また記憶手段２１０は、基本変形点分布も記憶する。基本変形点分布は、本実施の形態では、基本変形点分布を生成するための学習用顔形状モデルも記憶して、後述する基本変形点分布算出手段３００にて基本変形点分布を算出し、記憶手段２１０に記憶するものとして説明する。
または基本変形点分布算出手段３００と同様の機能を持つ他の装置にて生成され、図示しない入力手段経由で記憶手段２１０に予め記憶されてもよい。
【００２４】
顔特徴点抽出手段２２０は、画像入力手段２０５により取得された顔画像１００から顔特徴点を抽出する。そして顔特徴点抽出手段２２０は、抽出した顔特徴点の種別と顔画像１００上の位置情報（例えば、顔画像１００の左上端部を原点とする２次元座標値）を、位置合わせ情報算出手段２３０へ出力する。本実施形態において、顔特徴点抽出手段２２０は、記憶手段２１０に記憶されている各３Ｄ顔特徴点（目領域中心、鼻尖点、口角点などの１０箇所）に対応する顔特徴点を抽出する。顔特徴点抽出手段２２０は、顔画像１００から顔特徴点を抽出するための公知の様々な手法を用いることができる。例えば、顔特徴点抽出手段２２０は、顔画像１００に対してエッジ抽出処理を行って周辺画素との輝度差が大きいエッジ画素を抽出する。そして顔特徴点抽出手段２２０は、エッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、各顔特徴点を抽出することができる。他に公知の方法を適宜採用して、各顔特徴点を取得してもよい。
【００２５】
位置合わせ情報算出手段２３０は、画像入力手段２０５で取得された顔画像１００について抽出された各顔特徴点と、後述する摂動顔形状モデル生成手段３２０にて生成された各摂動顔形状モデルに関連する３Ｄ顔特徴点とを用いて、摂動顔形状モデルに回転、拡大／縮小などの処理を行い、顔画像１００と各摂動顔形状モデルの位置合わせを行う。
そして位置合わせ情報算出手段２３０は、その位置合わせの結果として得られる位置合わせ情報を、対応する摂動顔形状モデルに関連付けて、位置合わせ手段２４０及び個人モデル生成手段２９０へ出力する。位置合わせ情報は、例えば、摂動顔形状モデルの３次元の正規直交座標系(X,Y,Z)の各軸に沿った回転角、並進量、及び拡大／縮小率を含む。この正規直交座標系(X,Y,Z)では、例えば、摂動顔形状モデル上の複数の３Ｄ顔特徴点の重心を原点とし、顔に対して水平かつ左から右へ向かう方向にX軸、顔に対して水平かつ後方から前方へ向かう方向にY軸、顔に対して垂直に下から上へ向かう方向にZ軸が設定される。
【００２６】
位置合わせ情報算出手段２３０は、例えば、以下のように位置合わせ情報を算出する。まず、摂動顔形状モデル上の３Ｄ顔特徴点を、２次元画像である顔画像１００上に投影する。そして位置合わせ情報算出手段２３０は、投影された各３Ｄ顔特徴点の位置と、顔特徴点抽出手段２２０により抽出された、対応する各顔特徴点の位置との差の二乗和を位置ずれ量として求める。位置合わせ情報算出手段２３０は、この位置ずれ量が最小となるように、摂動顔形状モデルを、３次元の正規直交座標系の各軸に沿って回転または並進させたり、拡大または縮小させる。位置合わせ情報算出手段２３０は、位置ずれ量が最小となったときの摂動顔形状モデルの回転角、並進量、及び拡大／縮小率を位置合わせ情報とする。
なお、位置合わせ情報算出手段２３０は、顔画像１００について抽出された各顔特徴点を３次元空間内へ投影した後、摂動顔形状モデル上の３Ｄ顔特徴点との位置ずれ量が最小となるように顔形状モデルに回転、拡大／縮小などの処理を行い、位置合わせ情報を算出してもよい。
【００２７】
位置合わせ手段２４０は、本発明の顔向き調整手段として機能し、顔画像１００に写った顔の向きと同じ顔の向きとなるように、記憶手段２１０に一時記憶されている各摂動顔形状モデルの向きを調整する。そのために、位置合わせ手段２４０は、各摂動顔形状モデルを、対応する位置合わせ情報にしたがって、３次元の正規直交座標系の各軸に沿って回転または並進させたり、拡大または縮小させて向き調整済み形状モデルを作成する。そして位置合わせ手段２４０は、各向き調整済み形状モデルを光源方向推定手段２５０、陰影画像生成手段２６０及び顔形状モデル選択手段２８０へ出力する。
【００２８】
光源方向推定手段２５０は、顔画像１００と向き調整済み形状モデルから、顔画像１００に写った顔に照射された光の光源方向を推定する。光源方向を推定するための方法として、公知の様々な方法を用いることができる。例えば特開２００９−２１１１５１号公報に開示されている光源方向の推定方法を採用することができるため、詳細は省略する。
光源方向推定手段２５０は、光源方向を示す光源方向情報を、対応する向き調整済み形状モデルに関連付けて陰影画像生成手段２６０へ出力する。
【００２９】
陰影画像生成手段２６０は、向き調整済み形状モデルに表される顔形状モデルに対して、対応する光源方向情報に示された光源方向にしたがってレンダリングし、当該方向から光を照射した場合の２次元投影画像である陰影画像を作成する。具体的な方法は、光源方向推定手段２５０と同様に、特開２００９−２１１１５１号公報に開示されている陰影画像を生成する方法を採用することができるため、詳細は省略する。
【００３０】
類似度算出手段２７０は、顔画像１００と陰影画像との輝度分布の類似度を、各陰影画像について算出する。そのために、類似度算出手段２７０は、顔画像１００の各点について、ＲＧＢで表される輝度値をグレースケールの輝度値に変換して、単色顔画像を作成する。そして類似度算出手段２７０は、単色顔画像と陰影画像の対応する画素の輝度値の平均二乗誤差の逆数を算出し、類似度とする。なお、類似度算出手段２７０は、類似度として、輝度値の平均二乗誤差の代わりに、単色顔画像と陰影画像の正規化相関値など、これら２枚の画像の輝度値系列の類似度を評価できる他の指標を用いてもよい。
類似度算出手段２７０は、各陰影画像について算出した類似度を顔形状モデル選択手段２８０へ出力する。
【００３１】
顔形状モデル選択手段２８０は、各陰影画像について算出された類似度を参照して、最も類似度の高い陰影画像に対応する向き調整済み形状モデルを選択し、最類似顔形状モデルとする。
顔形状モデル選択手段２８０は、求めた最類似顔形状モデルを個人モデル生成手段２９０へ出力する。
【００３２】
個人モデル生成手段２９０は、最類似顔形状モデルに、顔画像１００をテクスチャ画像としてマッピングすることにより、対象者の３次元顔モデルを作成する。すなわち、顔画像１００について抽出されている各顔特徴点と、最類似顔形状モデルとなる摂動顔形状モデルについての３Ｄ顔特徴点との位置が合うように、位置合わせ情報を用いて顔画像１００をテクスチャ画像として最類似顔形状モデルにマッピングする。なお、鼻などの顔上に突起した部位に隠れて、あるいは遮蔽物などにより顔の一部が見えなくなるオクルージョンが発生し、顔画像１００において顔の一部分の情報が欠落している場合には、適宜公知の補間処理を行うことにより、対象者の顔全体を表現した３次元顔モデルを作成することができる。
個人モデル生成手段２９０は、作成した３次元顔モデルを、記憶手段２１０に記憶するか、あるいは、顔画像処理装置２００を利用して、照合処理を行う顔認証装置などへ出力する。
【００３３】
これまでに述べてきた顔特徴点抽出手段２２０、位置合わせ情報算出手段２３０、位置合わせ手段２４０、光源方向推定手段２５０、陰影画像生成手段２６０、類似度算出手段２７０、顔形状モデル選択手段２８０、個人モデル生成手段２９０については、前述の特開２００９−２１１１５１号公報に開示されているものと同様な構成として、顔画像処理装置２００を実現することができるので、詳細は割愛する。
【００３４】
基本変形点分布算出手段３００は、記憶手段２１０に記憶されている複数の学習用顔形状モデルを用い、顔形状モデルの変形点の存在範囲を示す基本変形点分布を算出する。
学習用顔形状モデルは、基本変形点分布を求める時のみ別途図示しない入力手段により入力されるようにしてもよい。
基本変形点分布は、人の顔形状に関する個人性を網羅した学習用顔形状モデルを用意することを前提に、変形点がどのように分布するか、換言すると、人の顔形状の個人性の範囲を表す。
基本変形点分布の算出の方法を図３から図５を参照して説明する。
【００３５】
図３には、基本変形点分布を求めるための顔形状モデルである学習用顔形状モデルの集合が符号１３０にて示されている。学習用顔形状モデル１３１は、人の顔形状を表す３次元の顔形状データである。その表面には変形点１３２が設定されている。本実施の形態では６０点を設定している。図３では、理解のしやすさのため、４３点について設定した様子を示している。
これら変形点は学習用顔形状モデル１３１上にまんべんなく概略均等に設定されるものとする。概略均等に設定するのは、変形点が、後述するように顔形状モデルの変形の基準となるためであり、局所に集中するように設定するとその部分のみが変形されることとなって、人の顔形状とは言えないものになりかねないからである。
【００３６】
学習用顔形状モデル１３１は、基本変形点分布が人の顔形状を網羅できるように、加えて基準顔形状モデルも網羅できる程度に可能な限り多く用意することが望ましい。基準顔形状モデルを学習用顔形状モデル１３１に含めて基本変形点分布を求めても良い。
なお、本実施の形態では、基本顔形状モデルは学習用顔形状モデル１３１から選択するものとする。例えば、学習用顔形状モデル１３１を性別や丸顔、面長などの判断基準に基づき、自動または手動で分類し、それぞれから代表的なものを採用すればよい。
【００３７】
図４には、各学習用顔形状モデル１３１上の変形点１３２の３次元座標列１３３を、座標空間４００上にプロットした模式図を示す。符号４０１に示す“×”印が、１つの学習用顔形状モデル上の変形点の３次元座標列１３３をプロットした結果である。
図４では、座標空間４００を３次元で描画しているが、実際には、（変形点１３２の数×３）次元の多次元空間である。例えば、本実施の形態では、変形点１３２を６０箇所に設定しており、それぞれについてＸ座標、Ｙ座標、Ｚ座標を持つため、１８０次元の空間となる。
【００３８】
図４の符号４０２の点線に示すように、各変形点１３２をプロットした結果は、座標空間４００において、おおよそ一定の範囲に分布する傾向にあることが知られている。これは、人の顔は、個人性はあるものの、顔の各部位は人である限り一定の位置関係にあるからである。例えば、正面向きの人の顔を考えると、口は鼻の下方に位置し、目は鼻の上方に位置し、加えて左右対象性を持っていることから理解される。
【００３９】
基本変形点分布算出手段３００は、座標空間における基本変形点分布を求める。基本変形点分布の算出法として、本実施の形態では多次元正規分布を仮定して求める。他の周知な確率分布を仮定して、基本変形点分布を算出しても良い。
具体的には、学習用顔形状モデル１３１の数をＮ、１つの学習用顔形状モデル１３１上の変形点の数をＭ、１つの学習用顔形状モデル１３１上の変形点座標列を
【数１】
変形点座標列の平均を
【数２】
とし、（数３）で表される分散共分散行列Σを用いて、（数４）に示す正規分布ｐ（ｘ）で基本変形点分布を表す。
【数３】
【数４】
【００４０】
基本変形点分布ｐ（ｘ）の平均を表すμに対応する顔形状モデルは、全学習用顔形状モデル１３１の平均的な顔形状、いわば“平均顔”とも言え、μは“平均顔”における変形点とも言い表せるものである。
【００４１】
図１に戻り、元顔形状特定手段３１０は、顔特徴点抽出手段２２０にて抽出された２次元顔画像１００の顔特徴点を用い、記憶手段２１０に記憶されている複数の基準顔形状モデルから、変形の元となる元顔形状モデルを特定する。元顔形状モデルは、複数の基準顔形状モデルの中で、最も２次元顔画像１００に類似していると判断されるものとして特定される。
即ち、この元顔形状モデルを元に、顔形状をわずかに変化させた摂動顔形状モデルが複数生成されるため、単に記憶されている複数の顔形状モデルから、最も２次元顔画像１００に類似していると判断されるものを特定して２次元顔画像１００と合成するよりも、さらに２次元顔画像１００に写っている人物の顔の形状を反映した３次元顔画像の生成が可能となる。
【００４２】
元顔形状特定手段３１０にて行われる処理は、前述の位置合わせ情報算出手段２３０、位置合わせ手段２４０、光源方向推定手段２５０、陰影画像生成手段２６０、類似度算出手段２７０、顔形状モデル選択手段２８０にて行われる処理を、派生顔形状モデルに代えて基準顔形状モデルを処理対象にすればよく、類似度を求める等の説明は繰り返しになるため、詳細は省略する。
元顔形状特定手段３１０により特定された元顔形状は摂動顔形状モデル生成手段３２０に出力される。
【００４３】
摂動顔形状モデル生成手段３２０は、基本変形点分布ｐ（ｘ）を参照して摂動変形点分布を求め、元顔形状特定手段３１０により特定された元顔形状モデルを、摂動変形点分布に従うよう変形し摂動顔形状モデルを作成する。
摂動顔形状モデル生成手段３２０は、図２に示すように、摂動分布算出手段３２１と摂動変形点算出手段３２２と変形手段３２３から構成されている。
【００４４】
摂動分布算出手段３２１は、座標空間における元顔形状モデルの元変形点の位置ｘ’を基準として、微小幅だけ摂動させた摂動変形点の分布である摂動変形点分布を算出する。本実施の形態では、以下に述べる方法で求める。
まず、摂動分布算出手段３２１は、（数３）に示した分散共分散行列Σを固有値分解し、（数５）に示ように、固有ベクトルｕｉ（ｉ＝１、・・・、Ｄ）を列成分に持つ行列Ｕと、固有値λｉ（ｉ＝１、・・・、Ｄ）を対角成分にもつ対角行列Λに分解する。
【００４５】
【数５】
【００４６】
次に、摂動分布算出手段３２１は、定数α（０＜α＜１．０）を用いて、（数６）に示すように固有値λｉ（ｉ＝１、・・・、Ｄ）をα倍した値λ’ｉを固有値にもつ分散共分散行列Σ’を算出する。
固有値λｉは、（数４）で示した基本変形点分布ｐ（ｘ）における固有ベクトルｕｉの方向の広がりを示している。そして（数６）に示すように、定数αを各λｉに乗算することで新たに求めた分散共分散行列Σ’を用い、（数７）に示す確率密度分布ｐ’（ｘ）を定義する。
【数６】
【００４７】
【数７】
【００４８】
本実施の形態では、確率密度分布ｐ’（ｘ）は、（数４）に示される基本変形点分布ｐ（ｘ）の分散共分散行列Σの固有値に１未満の正数αを乗算した分散共分散行列Σ’を持つ多次元正規分布として定義している。さらに、（数７）の表現からわかるように、ｐ’（ｘ）の分布の中心は、座標空間における元顔形状モデルの変形点の位置ｘ’である。
すなわち、ｐ’（ｘ）は、元顔形状モデルの変形点の位置ｘ’を中心とし、その分布形状は、基本変形点分布ｐ（ｘ）の分布形状を維持しつつ、かつ分布範囲を狭くした確率密度分布となる。
基本変形点分布ｐ（ｘ）の分布形状を維持することにより、基本変形点分布ｐ（ｘ）が大きく広がる方向に対してはｐ’（ｘ）も大きく広がるものとなり、逆に基本変形点分布ｐ（ｘ）があまり広がらない方向には広がらないものとなる。
【００４９】
一般に、基本変形点分布ｐ（ｘ）の分散共分散行列Σの固有値λｉは一定の値とはならない。すなわち、基本変形点分布ｐ（ｘ）は各軸方向に均等の広がりを持つ分布とはならない。このため、以下に述べる手順で摂動変形点を求めるに際しても、元変形点から摂動変形点までの距離について、基本変形点分布ｐ（ｘ）の広がりの不均一性を考慮した方が、より適切な摂動変形点を得られると期待できる。
具体的には、基本変形点分布ｐ（ｘ）の広がりが大きい方向には元変形点からの距離が大きくなるように摂動変形点を求め、基本変形点分布の広がりが小さい方向には元変形点からの距離が小さくなるように摂動変形点を求めることが望ましいと考えられる。
確率密度分布ｐ’（ｘ）は、基本変形点分布ｐ（ｘ）の分散が大きい方向で分散が大きく、基本変形点分布ｐ（ｘ）の分散が小さい方向には分散が小さい分布である。よって、確率密度分布ｐ’（ｘ）は、元顔形状モデルの変形点の位置ｘ’を中心とし、かつ分布範囲を狭くしているので、確率密度分布ｐ’（ｘ）を用いて摂動変形点を求めることとすれば、基準顔形状モデルの中で最も２次元顔画像に類似している元顔形状モデルからは大きく形状が異ならない摂動顔形状モデルを生成可能となる。
【００５０】
ここで、αを、確率密度分布ｐ’（ｘ）を、分布範囲は基本変形点分布ｐ（ｘ）よりも狭いまま基本変形点分布ｐ（ｘ）に内包されるように設定し、そのｐ’（ｘ）をそのまま摂動変形分布とする。その場合、分布の中心は元顔形状モデルの変形点である元変形点ｘ’の位置を中心となっている。
そのために、摂動分布算出手段３２１は、ｐ（ｘ）およびｐ’（ｘ）の３シグマの範囲を求め、ｐ’（ｘ）の３シグマの範囲がｐ（ｘ）の３シグマの範囲に内包される時のαとする。例えばαの初期値を０．９９としておき、順次適当な幅でαの値を小さくしながら、ｐ’（ｘ）の３シグマの範囲がｐ（ｘ）の３シグマの範囲内に含まれるか否かを繰り返し処理にて調べればよい。あるいは、設計パラメータとして既知の値を用いても良い。
【００５１】
正規分布において、３シグマの範囲内とは、確率変数の実現値の９９．７４％が含まれる範囲であるため、ｐ’（ｘ）の３シグマの範囲を、ｐ（ｘ）の３シグマの範囲に内包させることで、後述の通りｐ’（ｘ）に従い摂動変形点を生成する場合に、人らしい形状を表す摂動変形点が得られることが概ね期待できるからである。
上記３シグマの範囲については、例えば、ｐ（ｘ）を例に説明すると、ｐ（ｘ）に従う実現値をｘとし、ｘを下記（数８）で表した場合に、ａｉが（数９）でε＝３．０とした条件を満たすｘの範囲となる。
【数８】
【数９】
【００５２】
そして、摂動分布算出手段３２１は、それぞれ確率密度関数として表される基本変形点分布ｐ（ｘ）と（数７）の確率密度分布ｐ’（ｘ）の重なりから摂動変形点分布ｑ（ｘ）を求める。
具体的には、ｐ（ｘ）とｐ’（ｘ）の積から摂動変形分布ｑ（ｘ）を求めることができる。
【００５３】
またはαの値を、ｐ’（ｘ）の３シグマの範囲がｐ（ｘ）の３シグマの範囲に部分的に重なるように決め、その重なった部分を摂動変形点分布ｑ（ｘ）と見なして摂動変形点を算出してもよい。この場合、元変形点ｘ’がｐ（ｘ）の３シグマ近傍に位置している場合でも、ｐ’（ｘ）の分布範囲を狭くしすぎることがなく、摂動変形点を求めることができる。
【００５４】
なお、確率密度分布ｐ’（ｘ）の３シグマの範囲が基本変形点分布ｐ（ｘ）の３シグマの範囲と部分的に重なる場合であっても、重ならない部分からも摂動変形点を生成しても良い。ただし、その重ならない部分は基本変形点分布ｐ（ｘ）の３シグマの範囲外であり、その部分から生成した顔形状は、実際の人の顔らしい形状は言えない可能性がある。よって類似度算出手段２７０と顔形状モデル選択手段２８０にて行われる、２次元顔画像１００と類似している顔形状の選択処理では、個人モデル生成手段２９０で合成処理の対象として選択される可能性は低いことに留意する。
【００５５】
また、確率密度分布ｐ’（ｘ）は、基本変形点分布ｐ（ｘ）と分布の形状が維持でき、性質が揃う多次元正規分布として説明したが、より適切な確率密度分布を適用するのが望ましいとの判断がある場合には他の分布に従うとして求めても良い。その場合でも、分布の中心は元顔形状モデルの変形点である元変形点ｘ’の位置を中心とし、分布範囲は基本変形点分布ｐ（ｘ）よりも狭いものとする。
【００５６】
摂動変形点算出手段３２２は、摂動変形点分布ｑ（ｘ）に従う確率変数の実現値として、摂動変形点ｘを算出する。確率密度分布が求まり、その実現値を算出する方法は、適宜公知のものを用いれば良く、例えばボックス＝ミューラー法と呼ばれるものが周知である。
算出する摂動変形点の数は、求められる３次元顔形状の精度や、計算コストに応じて決めればよい。例えば、１００点とすることができる。
なお、摂動変形点ｘは、基本変形点分布の作成手順からわかるように、顔形状モデル上の変形点の３次元座標列を表すものであり、本実施の形態では、１つの顔形状モデルに６０個設定されるとしているので、１８０次元のベクトルである。
【００５７】
これらいずれの場合も、αの値は、基本変形点分布の平均μと元顔形状モデルの座標空間内での位置ｘ’の距離に応じて可変とすることができる。即ち、当該距離が大きい場合には、元顔形状モデルは基本変形点分布の周辺付近、例えば３シグマに近い付近にて特定されたため、摂動変形点を広い範囲から得ようとすると、人の顔形状らしくない摂動顔形状モデルが生成される可能性が高まるため、αを小さくする。逆に当該距離が小さい場合には、元顔形状モデルは基本変形点分布の中心付近にて特定されるため、人の顔形状らしくない摂動顔形状モデルが生成される可能性は低く、αを大きくして、摂動変形点を広い範囲から得ても問題がないからである。
【００５８】
この他、（数５）に示した前記固有ベクトルの内、固有値が大きい順に上位Ｓ個の固有ベクトルｕｊ（ｊ＝１、・・・、Ｌ、ｓ．ｔ． Ｌ≦Ｄ）を基底とする固有空間を形成し、当該固有空間内で摂動変形点ｘを算出しても良い。具体的には、座標空間における元顔形状モデル上の変形点の位置ｘ’を固有空間に射影し、射影点ｘｐ’を得る。次に、例えば（数１０）に従い、射影点ｘｐ’から摂動変形点ｘを得る。ここで、Ｕ（０，γ）は区間［０，γ］の一様分布を表す。γについては、０．１から０．３程度の値に設定すると好適である。
【数１０】
【００５９】
前記固有空間の次元数Ｌについては、固有値の総和Ｓａ＝ΣＤｋ＝１λｋに対するする固有値の累積和Ｓｃ＝ΣＬｋ＝１λｋの割合Ｃ＝Ｓｃ／Ｓａが、所定の値θｃを超える最小の値Ｌで打ち切るのが一般的であり、θｃについては、０．９７程度の値に設定すると好適である。
【００６０】
尚、（数１０）で求めたｘについても、ｘを前記（数８）でＤ＝Ｌとして表した場合に、ａｉが（数９）でＤ＝Ｌ、ε＝３．０とした条件を満たした場合に限り、摂動変形点とすることで、人らしい形状を表す摂動変形点が得られることが概ね期待できる。
【００６１】
変形手段３２３は、図５に示すように、求められた各摂動変形点４３０に対応する摂動顔形状モデル５００を作成する。図５において、符号４２０は座標空間内における元変形点、符号４２１は摂動変形点分布ｑ（ｘ）である。
具体的には、元顔形状モデル上に設定された元変形点が、摂動変形点位置に移動するように、薄板スプライン変換等、既知のワーピング手法を用いて、元顔形状モデルを変形し、摂動顔形状モデルを作成する。変形手段３２３は、生成した摂動顔形状モデル５００を記憶手段２１０に一時的に記憶させる。
なお、この際、元顔形状モデルに設定されていた３Ｄ顔特徴点も、当該変形処理に従い、元の位置から変位するものとする。
【００６２】
以下、図６に示したフローチャートを参照しつつ、本発明を適用した顔画像処理装置２００による３次元顔モデル作成処理の動作を説明する。なお、以下に説明する動作のフローは、顔画像処理装置２００を構成するマイクロプロセッサ上で動作し、顔画像処理装置２００全体を制御する制御手段（図示せず）により制御される。
最初に、顔画像処理装置２００は、画像入力手段２０５を介して、２次元画像である対象者の顔画像１００を取得する（ステップＳ１００）。次に、顔特徴点抽出手段２２０は、取得された顔画像１００から顔特徴点を抽出する（ステップＳ１１０）。
【００６３】
次に、元顔形状特定手段３１０は、記憶手段２１０に記憶されている複数の基準顔形状モデルから、変形の元となる元顔形状モデルを特定する（ステップＳ１２０）。
【００６４】
ステップＳ１３０からＳ２２０は、後述する条件が満たされるまで繰り返されるものとする。
摂動顔形状モデル生成手段３２０は、摂動顔形状モデルを生成し、記憶手段２１０に記憶させる（ステップＳ１３０）。この処理を図７のサブフロー図を用いて説明する。
【００６５】
まずステップＳ４００にて、摂動分布算出手段３２１は、記憶手段２１０より、基本変形点分布算出手段３００が生成した基本変形点分布ｐ（ｘ）を読み込む。
本実施の形態では、この基本変形点分布は、図６に示すメインフロー図の動作に先立って、基本変形点分布算出手段３００が予め算出し、記憶手段２１０に記憶させておくものとする。あるいは、顔画像処理装置２００とは別の装置により生成して、記憶手段２１０に記憶させるようにしてもよい。
基本変形点分布の算出方法は、基本変形点分布算出手段３００の説明の箇所で述べた通りである。
【００６６】
次にステップＳ４１０にて、摂動分布算出手段３２１は、元顔形状モデルの元変形点を中心とした摂動変形点分布ｑ（ｘ）を求める。摂動変形点分布ｑ（ｘ）は、基本変形点分布ｐ（ｘ）と同様に多次元正規分布を仮定しており、分布の広がりは基本変形点分布ｐ（ｘ）よりも狭いものとして求める。求め方は、基本変形点分布ｐ（ｘ）を表す分散共分散行列の固有値に１未満の正数を乗ずることで求めた確率密度分布を用いるものとする。詳細な手順は摂動分布算出手段３２１の説明の箇所で述べた通りである。
【００６７】
ステップＳ４２０にて、摂動変形点算出手段３２２は、前ステップで求められた摂動変形点分布ｑ（ｘ）から、その分布に従う実現値として、摂動変形点を求める。摂動変形点分布ｑ（ｘ）は確率密度分布として表現されているが、確率密度分布が与えられて、それに従う実現値を算出する方法は周知であり、ボックス＝ミューラー法などを適宜採用すれば良い。
【００６８】
ステップＳ４３０にて、変形手段３２３は、前ステップで求められた各摂動変形点に対応する摂動顔形状モデルを生成する。そのために、変形手段３２３は、元顔形状モデル上に設定された変形点が、前ステップで摂動変形点位置に移動するように、既知のワーピング手法を用いて、元顔形状モデルを変形する。
変形手段３２３は、生成した摂動顔形状モデルを記憶手段２１０に一時的に記憶させる。
【００６９】
図６のメインフロー図に戻り、摂動顔形状モデル及びその摂動顔形状モデルに関連付けられた３Ｄ顔特徴点が記憶手段２１０から読み込まれる（ステップＳ１４０）。そして、位置合わせ情報算出手段２３０は、顔画像１００から抽出された各顔特徴点と、摂動顔形状モデルに関連付けられた各３Ｄ顔特徴点の２次元投影点の位置ずれ量が最小となるように、摂動顔形状モデルを、正規直交座標系の各軸に沿って回転または併進させたり、拡大／縮小させる。位置合わせ情報算出手段２３０は、その位置ずれ量が最小となったときの摂動顔形状モデルに対する回転角、並進量、及び拡大／縮小率を位置合わせ情報として算出する（ステップＳ１５０）。また、顔向き調整手段としての位置合わせ手段２４０は、位置合わせ情報にしたがって、対応する摂動顔形状モデルを変形し、向き調整済み形状モデルを作成する（ステップＳ１６０）。
【００７０】
次に、光源方向推定手段２５０は、顔画像１００に基づいて、光源方向を推定し、推定した光源方向を表す光源方向情報を出力する（ステップＳ１７０）。そして、陰影画像生成手段２６０は、向き調整済み形状モデルを、光源方向情報にしたがってレンダリングして２次元平面に投影し、陰影画像を作成する（ステップＳ１８０）。その後、類似度算出手段２７０は、作成された陰影画像と、画像入力手段２０５により取得された顔画像１００との類似度を算出する（ステップＳ１９０）。
そして、記憶手段２１０に記憶された全ての摂動顔形状モデルに対して、顔画像１００との類似度が算出されたか否かが判定される（ステップＳ２００）。そして、顔画像１００との類似度が未算出の摂動顔形状モデルが存在する場合、制御はステップＳ１４０に戻り、類似度が未算出の摂動顔形状モデルが記憶手段２１０から読み出される（ステップＳ１４０）。そしてステップＳ１４０〜Ｓ２００の処理が繰り返される。
【００７１】
一方、ステップＳ２００において、記憶手段２１０に記憶された全ての摂動顔形状モデルについて類似度が算出されたと判定されると、顔形状モデル選択手段２８０は、その類似度にしたがって、顔画像１００に最も近い向き調整済み形状モデルから、最類似顔形状モデルを決定する（ステップＳ２１０）。
【００７２】
次に、最類似顔形状モデルを決定するために用いた類似度が、前回のステップＳ１４０からＳ２００までのループの処理にて求めた当該類似度よりも改善しているか、即ち、顔画像１００に適した摂動顔形状モデルが得られているか否かを判定する（ステップＳ２２０）。
得られている場合には、今回のループで求めた最類似顔形状モデルを、ステップＳ１２０における元顔形状モデルと見なして（ステップＳ２３０）、処理をステップＳ１３０に移し、ステップＳ１３０からＳ２３０の処理を繰り返す。
【００７３】
この繰り返し処理の意図は、一旦求めた摂動顔形状モデルを元顔形状モデルとして摂動変形点を求め、それに対応する摂動顔形状モデルを生成すると、いわゆる山登り法と呼ばれる繰り返し処理によって更に顔画像１００に適したものが得られる可能性があるからである。
【００７４】
ステップＳ２２０において、最類似顔形状モデルを決定するために用いた類似度が、前回のステップＳ１３０からＳ２３０までのループの処理にて求めた当該類似度よりも改善していない場合には、顔画像１００に適した摂動顔形状モデルが得られたものと考えられるので、上記の繰り返し処理はそれ以上行わず、処理をステップＳ２４０に移す。繰り返し処理は、所定の回数を上限としてもよい。
【００７５】
最後に、個人モデル生成手段２９０は、最類似顔形状モデルに、顔画像１００をテクスチャ画像としてマッピングすることにより、対象者の３次元顔モデルを作成する（ステップＳ２４０）。
【００７６】
以上説明してきたように、本発明を適用した顔画像処理装置２００は、予め準備された３次元の顔形状モデル（元顔形状モデル）を変形し、対象者の２次元顔画像にさらに一致する摂動顔形状モデルを生成する。そして、係る顔画像処理装置２００は、そのモデルに２次元顔画像を合成して対象者の３次元顔モデルを作成するので、特殊な表面計測装置を用いることなく、対象者の２次元の顔画像から、当該対象者の３次元顔モデルを作成できる。
特に、生成した摂動顔形状モデルを元に、同様の生成処理を繰り返すことで、よりいっそう対象者の顔の特徴を表した３次元顔モデルを作成できる。
【符号の説明】
【００７７】
１００・・・顔画像
２００・・・顔画像処理装置
２０５・・・画像入力手段
２１０・・・記憶手段
２２０・・・顔特徴点抽出手段
２７０・・・類似度算出手段
２８０・・・顔形状モデル選択手段
２９０・・・個人モデル生成手段
３００・・・基本変形点分布算出手段
３１０・・・元顔形状特定手段
３２０・・・摂動顔形状モデル生成手段
【技術分野】
【０００１】
本発明は、顔画像処理装置に関し、特に、個人を撮影した２次元の顔画像と３次元の顔形状モデルからその個人の３次元の顔形状を推定して３次元顔モデル（３次元顔画像）を作成する顔画像処理装置に関する。
【背景技術】
【０００２】
従来より、対象者の顔を撮影して取得した２次元の顔画像を登録された顔画像と照合することにより、その対象者を認証する顔認証装置が提案されている。このような顔認証装置は、事前に対象者本人の顔画像を登録しておき、利用時に取得した顔画像と比較した結果に基づいて、認証の可否を決定する。そのため、登録時の顔画像と利用時の顔画像との間に、顔の向き、照明条件、表情などにおいて差異が生じていると、照合の際の誤り率が高くなる。
【０００３】
特許文献１では、標準的な顔の３次元形状を表す標準フレームモデルを用いて、照合の際に使用する複数の参照顔画像を作成する顔画像照合装置が提案されている。係る顔画像照合装置は、照合の際に取得した対象者の２次元顔画像と上記の標準フレームモデルを合成して対象者の顔に対応した３次元顔モデルを作成する。そして顔画像照合装置は、３次元顔モデルに対して顔の向き、照明条件、または表情といった変動要因を考慮してレンダリングを行うことにより、参照顔画像を作成する。
【０００４】
また、特許文献２では、顔の３次元形状を表す顔形状モデルと２次元の顔画像との位置合わせ処理において、位置合わせ誤差に大きな影響を与える鼻付近の形状のバリエーションを増やす顔画像処理装置が提案されている。かかる顔画像処理装置は、既に取得済みの顔形状モデルについて、鼻尖点を基準に、その上下の比率を様々に変化させた顔形状モデルを生成し、顔画像とを合成して３次元顔モデルを得る。そして、特許文献１と同様に、顔の向きなどの変動要因を考慮してレンダリングを行うことで、バリエーションが豊富な参照顔画像の作成が可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−６６４５号公報
【特許文献２】特開２００９−２１１１４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載された顔画像照合装置では、３次元形状を表すモデルとして、標準的な顔に対応する標準フレームモデルが１ないし複数準備される。この標準フレームモデルは、一度作成すればよく、係る顔画像照合装置の何れについても使用することができる。しかし、標準フレームモデルは、標準的な顔の形状に対応するものであるため、例えば、鼻の頂点である鼻尖点と眼の間隔、鼻尖点と口の間隔など、個々人が持つ顔形状の特徴を反映しきれるとは限らない。
【０００７】
一方、特許文献２に記載された顔画像処理装置では、鼻付近の形状に重点を置いてバリエーションを増やせるため、個々人が持つ顔の特徴に応じて、より精度の良い位置合わせが期待できる。
しかし、特許文献２に記載の手法を適用しても、人間の顔は個人差が大きく、顔形状モデルのバリエーションを増やしても、その個人差を十分に吸収できないことがあった。
これは、特許文献１に記載された顔画像照合装置における標準フレームモデルを元に顔形状モデルのバリエーションを増やしても同様と考えられる。
【０００８】
そこで、本発明の目的は、顔の３次元形状を表す３次元形状モデルを用いて、対象者の２次元の顔画像から当該対象者の顔形状を良好に再現した３次元顔画像を作成する顔画像処理装置を提供することにある。
【課題を解決するための手段】
【０００９】
本発明は２次元顔画像を３次元顔形状モデルと合成して３次元顔画像を生成する顔画像処理装置であって、２次元顔画像の取得手段と、複数の基本顔形状モデルと、顔形状モデルに設定される変形点を変位させても顔形状と認定できる範囲を基本変形点分布として記憶している記憶手段と、複数の基本顔形状モデルのそれぞれと２次元顔画像を用いて算出した類似度から、変形元となる元顔形状モデルを複数の基本顔形状モデルから特定する元顔形状特定手段と、元顔形状モデルに設定される変形点を変位させても顔形状と認定できる範囲である摂動変形点分布を、基本変形点分布における当該元顔形状モデルの変形点位置を中心に基本変形点分布より狭くして求める摂動分布算出手段と、元顔形状モデルから摂動変形点分布内において変形点を変位させた複数の摂動顔形状モデルを生成する変形手段と、摂動顔形状モデルと２次元顔画像とから算出した類似度から、複数の摂動顔形状モデルから合成対象となる摂動顔形状モデルを選択する顔形状モデル選択手段と、選択された摂動顔形状モデルと２次元顔画像から３次元顔画像を合成する合成手段とを有する顔画像処理装置を提供する。
【００１０】
かかる顔画像処理装置において、摂動分布算出手段は、基本変形点分布の分布形状を維持した摂動変形点分布を求めることが好ましい。
【００１１】
かかる顔画像処理装置において、摂動分布算出手段は、基本変形点分布と重なった範囲を摂動変形点分布として求めることが好ましい。
【００１２】
かかる顔画像処理装置において、摂動分布算出手段は、基本変形点分布に含まれる摂動変形点分布を求めることが好ましい。
【００１３】
かかる顔画像処理装置において、変形点は、顔形状モデル上に概略均等に設定されることが好ましい。
【発明の効果】
【００１４】
本発明によれば、２次元の顔画像に適した顔形状モデルを、既に取得済みの顔形状モデルを元に変形して合成することで、眉骨や頬骨の張り出し具合や、顎の形状といった個々の人物の顔形状の特徴を有する３次元顔画像生成することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明にかかる顔画像処理装置の概略構成図である。
【図２】摂動顔形状モデル生成手段の詳細構成図である。
【図３】基本変形点分布の作成に用いる学習用顔形状モデルの集合の模式図である。
【図４】複数の学習用顔形状モデルに設定された変形点が座標空間上に分布した基本変形点分布を示す模式図である。
【図５】摂動変形点から摂動顔形状モデルを生成することの概念図である。
【図６】本発明にかかる顔画像処理装置の全体動作フロー図である。
【図７】摂動顔形状モデルを生成する処理のフロー図である。
【発明を実施するための形態】
【００１６】
以下、図を参照しつつ、本発明にかかる顔画像処理装置の一つの実施の形態を図を参照しつつ説明する。
当該顔画像処理装置は、入力された２次元の顔画像について、その人物の顔形状の特徴を有する３次元顔画像を生成するものである。その生成の際、記憶されている顔形状モデルを、当該顔形状モデルに設定された、変形の基準となる変形点を基準に変形させて、２次元の顔画像に最も類似していると判断されるものを選択する。これにより、人物の顔の形状に関する特徴を反映させた３次元顔画像を生成することが可能となる。
【００１７】
図１は、本発明にかかる顔画像処理装置２００の概略構成図である。
顔画像処理装置２００は、画像入力手段２０５、記憶手段２１０、顔特徴点抽出手段２２０、位置合わせ情報算出手段２３０、位置合わせ手段２４０、光源方向推定手段２５０、陰影画像生成手段２６０、類似度算出手段２７０、顔形状モデル選択手段２８０、個人モデル生成手段２９０、基本変形点分布算出手段３００、元顔形状特定手段３１０、摂動顔形状モデル生成手段３２０、から構成される。
【００１８】
このうち、顔特徴点抽出手段２２０、位置合わせ情報算出手段２３０、位置合わせ手段２４０、光源方向推定手段２５０、陰影画像生成手段２６０、類似度算出手段２７０、顔形状モデル選択手段２８０、個人モデル生成手段２９０、基本変形点分布算出手段３００、元顔形状特定手段３１０および摂動顔形状モデル生成手段３２０は、それぞれ、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。以下、顔画像処理装置２００の各部について詳細に説明する。
【００１９】
画像入力手段２０５は、例えば、監視カメラ等と接続されるインターフェース回路であり、画像取得手段により２次元顔画像として取得された対象者の顔画像１００を顔画像処理装置２００に入力する。
画像入力手段２０５と図示しない監視カメラ等を合わせて本願特許請求の範囲にいう取得手段を構成する。
なお、顔画像１００は、顔全体を含み、かつ顔の各特徴部分（目、鼻、口など）を他の特徴部分と区別できるものである。さらに顔画像１００は、グレースケールまたはカラーの多階調の画像とすることができるが、人の肌部分の特徴を抽出し易いカラーの多階調画像とすることが好ましい。本実施形態では、顔画像１００を、１２８×１２８画素を有し、ＲＧＢ各色について８ビットの輝度分解能を持つカラー画像とした。ただし、顔画像１００として、この実施形態以外の解像度及び階調を有するものを使用してもよい。
【００２０】
記憶手段２１０は、ＲＯＭ、ＲＡＭなどの半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。そして記憶手段２１０は、顔画像処理装置２００を制御するためのコンピュータプログラム、各種パラメータ及びデータなどを記憶する。
また記憶手段２１０は、人の顔形状を表し、変形の元となる複数の基準顔形状モデルと、それら基準顔形状モデルに対応する３Ｄ顔特徴点および変形点の３次元位置情報、即ち座標情報を保持するデータベースである。
なお、基準顔形状モデルは、例えば、実在の人物の顔の３次元形状に基づいて予め作成される。また、３Ｄ顔特徴点と変形点の座標の原点は、３Ｄ顔特徴点の重心から定められる。
さらには、後述する元顔形状特定手段３１０により、変形処理の元として特定された基準顔形状モデルを元顔形状モデルと呼ぶ。
【００２１】
３Ｄ顔特徴点は、目、鼻、口など、形状若しくは色成分について他と異なる特徴的な部位の何れかの点、例えばそれらの部位の中心点若しくは端点を表す。例えば、３Ｄ顔特徴点には、眉頭、眉尻、黒目中心、目領域中心、目頭、目尻、鼻尖点、鼻孔中心、口点、口角点などが含まれる。なお、記憶する３Ｄ顔特徴点の種類及び数に制限はないが、少なくとも顔特徴点抽出手段２２０において抽出可能な顔特徴点と同じ部位の特徴点を全て含むことが好ましい。本実施形態では、３Ｄ顔特徴点として、左右それぞれの目領域中心、目頭及び目尻と、鼻尖点、口点、及び左右の口角点の１０箇所を記憶するものとした。
【００２２】
変形点は、基準顔形状モデルから特定された元顔形状モデルを所定の条件に従って変形して、後述する摂動顔形状モデルを生成する際の基準となる点である。上述の３Ｄ特徴点と共通のものを含んでも良いが、基準顔形状モデル上にまんべんなく設定され、顔形状の一部のみが局所的に変形されるのを避けるものとする。例えば、上述の１０箇所の他に、額の中央、こめかみ、顎先端、頬中央などに概略均等に分布するように設定されることが好ましい。本実施形態では、変形点として合計６０箇所を記憶するものとした。
なお、元顔形状モデルの変形点を本実施の形態では、以下、元変形点と呼ぶことにする。
【００２３】
また記憶手段２１０は、基本変形点分布も記憶する。基本変形点分布は、本実施の形態では、基本変形点分布を生成するための学習用顔形状モデルも記憶して、後述する基本変形点分布算出手段３００にて基本変形点分布を算出し、記憶手段２１０に記憶するものとして説明する。
または基本変形点分布算出手段３００と同様の機能を持つ他の装置にて生成され、図示しない入力手段経由で記憶手段２１０に予め記憶されてもよい。
【００２４】
顔特徴点抽出手段２２０は、画像入力手段２０５により取得された顔画像１００から顔特徴点を抽出する。そして顔特徴点抽出手段２２０は、抽出した顔特徴点の種別と顔画像１００上の位置情報（例えば、顔画像１００の左上端部を原点とする２次元座標値）を、位置合わせ情報算出手段２３０へ出力する。本実施形態において、顔特徴点抽出手段２２０は、記憶手段２１０に記憶されている各３Ｄ顔特徴点（目領域中心、鼻尖点、口角点などの１０箇所）に対応する顔特徴点を抽出する。顔特徴点抽出手段２２０は、顔画像１００から顔特徴点を抽出するための公知の様々な手法を用いることができる。例えば、顔特徴点抽出手段２２０は、顔画像１００に対してエッジ抽出処理を行って周辺画素との輝度差が大きいエッジ画素を抽出する。そして顔特徴点抽出手段２２０は、エッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、各顔特徴点を抽出することができる。他に公知の方法を適宜採用して、各顔特徴点を取得してもよい。
【００２５】
位置合わせ情報算出手段２３０は、画像入力手段２０５で取得された顔画像１００について抽出された各顔特徴点と、後述する摂動顔形状モデル生成手段３２０にて生成された各摂動顔形状モデルに関連する３Ｄ顔特徴点とを用いて、摂動顔形状モデルに回転、拡大／縮小などの処理を行い、顔画像１００と各摂動顔形状モデルの位置合わせを行う。
そして位置合わせ情報算出手段２３０は、その位置合わせの結果として得られる位置合わせ情報を、対応する摂動顔形状モデルに関連付けて、位置合わせ手段２４０及び個人モデル生成手段２９０へ出力する。位置合わせ情報は、例えば、摂動顔形状モデルの３次元の正規直交座標系(X,Y,Z)の各軸に沿った回転角、並進量、及び拡大／縮小率を含む。この正規直交座標系(X,Y,Z)では、例えば、摂動顔形状モデル上の複数の３Ｄ顔特徴点の重心を原点とし、顔に対して水平かつ左から右へ向かう方向にX軸、顔に対して水平かつ後方から前方へ向かう方向にY軸、顔に対して垂直に下から上へ向かう方向にZ軸が設定される。
【００２６】
位置合わせ情報算出手段２３０は、例えば、以下のように位置合わせ情報を算出する。まず、摂動顔形状モデル上の３Ｄ顔特徴点を、２次元画像である顔画像１００上に投影する。そして位置合わせ情報算出手段２３０は、投影された各３Ｄ顔特徴点の位置と、顔特徴点抽出手段２２０により抽出された、対応する各顔特徴点の位置との差の二乗和を位置ずれ量として求める。位置合わせ情報算出手段２３０は、この位置ずれ量が最小となるように、摂動顔形状モデルを、３次元の正規直交座標系の各軸に沿って回転または並進させたり、拡大または縮小させる。位置合わせ情報算出手段２３０は、位置ずれ量が最小となったときの摂動顔形状モデルの回転角、並進量、及び拡大／縮小率を位置合わせ情報とする。
なお、位置合わせ情報算出手段２３０は、顔画像１００について抽出された各顔特徴点を３次元空間内へ投影した後、摂動顔形状モデル上の３Ｄ顔特徴点との位置ずれ量が最小となるように顔形状モデルに回転、拡大／縮小などの処理を行い、位置合わせ情報を算出してもよい。
【００２７】
位置合わせ手段２４０は、本発明の顔向き調整手段として機能し、顔画像１００に写った顔の向きと同じ顔の向きとなるように、記憶手段２１０に一時記憶されている各摂動顔形状モデルの向きを調整する。そのために、位置合わせ手段２４０は、各摂動顔形状モデルを、対応する位置合わせ情報にしたがって、３次元の正規直交座標系の各軸に沿って回転または並進させたり、拡大または縮小させて向き調整済み形状モデルを作成する。そして位置合わせ手段２４０は、各向き調整済み形状モデルを光源方向推定手段２５０、陰影画像生成手段２６０及び顔形状モデル選択手段２８０へ出力する。
【００２８】
光源方向推定手段２５０は、顔画像１００と向き調整済み形状モデルから、顔画像１００に写った顔に照射された光の光源方向を推定する。光源方向を推定するための方法として、公知の様々な方法を用いることができる。例えば特開２００９−２１１１５１号公報に開示されている光源方向の推定方法を採用することができるため、詳細は省略する。
光源方向推定手段２５０は、光源方向を示す光源方向情報を、対応する向き調整済み形状モデルに関連付けて陰影画像生成手段２６０へ出力する。
【００２９】
陰影画像生成手段２６０は、向き調整済み形状モデルに表される顔形状モデルに対して、対応する光源方向情報に示された光源方向にしたがってレンダリングし、当該方向から光を照射した場合の２次元投影画像である陰影画像を作成する。具体的な方法は、光源方向推定手段２５０と同様に、特開２００９−２１１１５１号公報に開示されている陰影画像を生成する方法を採用することができるため、詳細は省略する。
【００３０】
類似度算出手段２７０は、顔画像１００と陰影画像との輝度分布の類似度を、各陰影画像について算出する。そのために、類似度算出手段２７０は、顔画像１００の各点について、ＲＧＢで表される輝度値をグレースケールの輝度値に変換して、単色顔画像を作成する。そして類似度算出手段２７０は、単色顔画像と陰影画像の対応する画素の輝度値の平均二乗誤差の逆数を算出し、類似度とする。なお、類似度算出手段２７０は、類似度として、輝度値の平均二乗誤差の代わりに、単色顔画像と陰影画像の正規化相関値など、これら２枚の画像の輝度値系列の類似度を評価できる他の指標を用いてもよい。
類似度算出手段２７０は、各陰影画像について算出した類似度を顔形状モデル選択手段２８０へ出力する。
【００３１】
顔形状モデル選択手段２８０は、各陰影画像について算出された類似度を参照して、最も類似度の高い陰影画像に対応する向き調整済み形状モデルを選択し、最類似顔形状モデルとする。
顔形状モデル選択手段２８０は、求めた最類似顔形状モデルを個人モデル生成手段２９０へ出力する。
【００３２】
個人モデル生成手段２９０は、最類似顔形状モデルに、顔画像１００をテクスチャ画像としてマッピングすることにより、対象者の３次元顔モデルを作成する。すなわち、顔画像１００について抽出されている各顔特徴点と、最類似顔形状モデルとなる摂動顔形状モデルについての３Ｄ顔特徴点との位置が合うように、位置合わせ情報を用いて顔画像１００をテクスチャ画像として最類似顔形状モデルにマッピングする。なお、鼻などの顔上に突起した部位に隠れて、あるいは遮蔽物などにより顔の一部が見えなくなるオクルージョンが発生し、顔画像１００において顔の一部分の情報が欠落している場合には、適宜公知の補間処理を行うことにより、対象者の顔全体を表現した３次元顔モデルを作成することができる。
個人モデル生成手段２９０は、作成した３次元顔モデルを、記憶手段２１０に記憶するか、あるいは、顔画像処理装置２００を利用して、照合処理を行う顔認証装置などへ出力する。
【００３３】
これまでに述べてきた顔特徴点抽出手段２２０、位置合わせ情報算出手段２３０、位置合わせ手段２４０、光源方向推定手段２５０、陰影画像生成手段２６０、類似度算出手段２７０、顔形状モデル選択手段２８０、個人モデル生成手段２９０については、前述の特開２００９−２１１１５１号公報に開示されているものと同様な構成として、顔画像処理装置２００を実現することができるので、詳細は割愛する。
【００３４】
基本変形点分布算出手段３００は、記憶手段２１０に記憶されている複数の学習用顔形状モデルを用い、顔形状モデルの変形点の存在範囲を示す基本変形点分布を算出する。
学習用顔形状モデルは、基本変形点分布を求める時のみ別途図示しない入力手段により入力されるようにしてもよい。
基本変形点分布は、人の顔形状に関する個人性を網羅した学習用顔形状モデルを用意することを前提に、変形点がどのように分布するか、換言すると、人の顔形状の個人性の範囲を表す。
基本変形点分布の算出の方法を図３から図５を参照して説明する。
【００３５】
図３には、基本変形点分布を求めるための顔形状モデルである学習用顔形状モデルの集合が符号１３０にて示されている。学習用顔形状モデル１３１は、人の顔形状を表す３次元の顔形状データである。その表面には変形点１３２が設定されている。本実施の形態では６０点を設定している。図３では、理解のしやすさのため、４３点について設定した様子を示している。
これら変形点は学習用顔形状モデル１３１上にまんべんなく概略均等に設定されるものとする。概略均等に設定するのは、変形点が、後述するように顔形状モデルの変形の基準となるためであり、局所に集中するように設定するとその部分のみが変形されることとなって、人の顔形状とは言えないものになりかねないからである。
【００３６】
学習用顔形状モデル１３１は、基本変形点分布が人の顔形状を網羅できるように、加えて基準顔形状モデルも網羅できる程度に可能な限り多く用意することが望ましい。基準顔形状モデルを学習用顔形状モデル１３１に含めて基本変形点分布を求めても良い。
なお、本実施の形態では、基本顔形状モデルは学習用顔形状モデル１３１から選択するものとする。例えば、学習用顔形状モデル１３１を性別や丸顔、面長などの判断基準に基づき、自動または手動で分類し、それぞれから代表的なものを採用すればよい。
【００３７】
図４には、各学習用顔形状モデル１３１上の変形点１３２の３次元座標列１３３を、座標空間４００上にプロットした模式図を示す。符号４０１に示す“×”印が、１つの学習用顔形状モデル上の変形点の３次元座標列１３３をプロットした結果である。
図４では、座標空間４００を３次元で描画しているが、実際には、（変形点１３２の数×３）次元の多次元空間である。例えば、本実施の形態では、変形点１３２を６０箇所に設定しており、それぞれについてＸ座標、Ｙ座標、Ｚ座標を持つため、１８０次元の空間となる。
【００３８】
図４の符号４０２の点線に示すように、各変形点１３２をプロットした結果は、座標空間４００において、おおよそ一定の範囲に分布する傾向にあることが知られている。これは、人の顔は、個人性はあるものの、顔の各部位は人である限り一定の位置関係にあるからである。例えば、正面向きの人の顔を考えると、口は鼻の下方に位置し、目は鼻の上方に位置し、加えて左右対象性を持っていることから理解される。
【００３９】
基本変形点分布算出手段３００は、座標空間における基本変形点分布を求める。基本変形点分布の算出法として、本実施の形態では多次元正規分布を仮定して求める。他の周知な確率分布を仮定して、基本変形点分布を算出しても良い。
具体的には、学習用顔形状モデル１３１の数をＮ、１つの学習用顔形状モデル１３１上の変形点の数をＭ、１つの学習用顔形状モデル１３１上の変形点座標列を
【数１】
変形点座標列の平均を
【数２】
とし、（数３）で表される分散共分散行列Σを用いて、（数４）に示す正規分布ｐ（ｘ）で基本変形点分布を表す。
【数３】
【数４】
【００４０】
基本変形点分布ｐ（ｘ）の平均を表すμに対応する顔形状モデルは、全学習用顔形状モデル１３１の平均的な顔形状、いわば“平均顔”とも言え、μは“平均顔”における変形点とも言い表せるものである。
【００４１】
図１に戻り、元顔形状特定手段３１０は、顔特徴点抽出手段２２０にて抽出された２次元顔画像１００の顔特徴点を用い、記憶手段２１０に記憶されている複数の基準顔形状モデルから、変形の元となる元顔形状モデルを特定する。元顔形状モデルは、複数の基準顔形状モデルの中で、最も２次元顔画像１００に類似していると判断されるものとして特定される。
即ち、この元顔形状モデルを元に、顔形状をわずかに変化させた摂動顔形状モデルが複数生成されるため、単に記憶されている複数の顔形状モデルから、最も２次元顔画像１００に類似していると判断されるものを特定して２次元顔画像１００と合成するよりも、さらに２次元顔画像１００に写っている人物の顔の形状を反映した３次元顔画像の生成が可能となる。
【００４２】
元顔形状特定手段３１０にて行われる処理は、前述の位置合わせ情報算出手段２３０、位置合わせ手段２４０、光源方向推定手段２５０、陰影画像生成手段２６０、類似度算出手段２７０、顔形状モデル選択手段２８０にて行われる処理を、派生顔形状モデルに代えて基準顔形状モデルを処理対象にすればよく、類似度を求める等の説明は繰り返しになるため、詳細は省略する。
元顔形状特定手段３１０により特定された元顔形状は摂動顔形状モデル生成手段３２０に出力される。
【００４３】
摂動顔形状モデル生成手段３２０は、基本変形点分布ｐ（ｘ）を参照して摂動変形点分布を求め、元顔形状特定手段３１０により特定された元顔形状モデルを、摂動変形点分布に従うよう変形し摂動顔形状モデルを作成する。
摂動顔形状モデル生成手段３２０は、図２に示すように、摂動分布算出手段３２１と摂動変形点算出手段３２２と変形手段３２３から構成されている。
【００４４】
摂動分布算出手段３２１は、座標空間における元顔形状モデルの元変形点の位置ｘ’を基準として、微小幅だけ摂動させた摂動変形点の分布である摂動変形点分布を算出する。本実施の形態では、以下に述べる方法で求める。
まず、摂動分布算出手段３２１は、（数３）に示した分散共分散行列Σを固有値分解し、（数５）に示ように、固有ベクトルｕｉ（ｉ＝１、・・・、Ｄ）を列成分に持つ行列Ｕと、固有値λｉ（ｉ＝１、・・・、Ｄ）を対角成分にもつ対角行列Λに分解する。
【００４５】
【数５】
【００４６】
次に、摂動分布算出手段３２１は、定数α（０＜α＜１．０）を用いて、（数６）に示すように固有値λｉ（ｉ＝１、・・・、Ｄ）をα倍した値λ’ｉを固有値にもつ分散共分散行列Σ’を算出する。
固有値λｉは、（数４）で示した基本変形点分布ｐ（ｘ）における固有ベクトルｕｉの方向の広がりを示している。そして（数６）に示すように、定数αを各λｉに乗算することで新たに求めた分散共分散行列Σ’を用い、（数７）に示す確率密度分布ｐ’（ｘ）を定義する。
【数６】
【００４７】
【数７】
【００４８】
本実施の形態では、確率密度分布ｐ’（ｘ）は、（数４）に示される基本変形点分布ｐ（ｘ）の分散共分散行列Σの固有値に１未満の正数αを乗算した分散共分散行列Σ’を持つ多次元正規分布として定義している。さらに、（数７）の表現からわかるように、ｐ’（ｘ）の分布の中心は、座標空間における元顔形状モデルの変形点の位置ｘ’である。
すなわち、ｐ’（ｘ）は、元顔形状モデルの変形点の位置ｘ’を中心とし、その分布形状は、基本変形点分布ｐ（ｘ）の分布形状を維持しつつ、かつ分布範囲を狭くした確率密度分布となる。
基本変形点分布ｐ（ｘ）の分布形状を維持することにより、基本変形点分布ｐ（ｘ）が大きく広がる方向に対してはｐ’（ｘ）も大きく広がるものとなり、逆に基本変形点分布ｐ（ｘ）があまり広がらない方向には広がらないものとなる。
【００４９】
一般に、基本変形点分布ｐ（ｘ）の分散共分散行列Σの固有値λｉは一定の値とはならない。すなわち、基本変形点分布ｐ（ｘ）は各軸方向に均等の広がりを持つ分布とはならない。このため、以下に述べる手順で摂動変形点を求めるに際しても、元変形点から摂動変形点までの距離について、基本変形点分布ｐ（ｘ）の広がりの不均一性を考慮した方が、より適切な摂動変形点を得られると期待できる。
具体的には、基本変形点分布ｐ（ｘ）の広がりが大きい方向には元変形点からの距離が大きくなるように摂動変形点を求め、基本変形点分布の広がりが小さい方向には元変形点からの距離が小さくなるように摂動変形点を求めることが望ましいと考えられる。
確率密度分布ｐ’（ｘ）は、基本変形点分布ｐ（ｘ）の分散が大きい方向で分散が大きく、基本変形点分布ｐ（ｘ）の分散が小さい方向には分散が小さい分布である。よって、確率密度分布ｐ’（ｘ）は、元顔形状モデルの変形点の位置ｘ’を中心とし、かつ分布範囲を狭くしているので、確率密度分布ｐ’（ｘ）を用いて摂動変形点を求めることとすれば、基準顔形状モデルの中で最も２次元顔画像に類似している元顔形状モデルからは大きく形状が異ならない摂動顔形状モデルを生成可能となる。
【００５０】
ここで、αを、確率密度分布ｐ’（ｘ）を、分布範囲は基本変形点分布ｐ（ｘ）よりも狭いまま基本変形点分布ｐ（ｘ）に内包されるように設定し、そのｐ’（ｘ）をそのまま摂動変形分布とする。その場合、分布の中心は元顔形状モデルの変形点である元変形点ｘ’の位置を中心となっている。
そのために、摂動分布算出手段３２１は、ｐ（ｘ）およびｐ’（ｘ）の３シグマの範囲を求め、ｐ’（ｘ）の３シグマの範囲がｐ（ｘ）の３シグマの範囲に内包される時のαとする。例えばαの初期値を０．９９としておき、順次適当な幅でαの値を小さくしながら、ｐ’（ｘ）の３シグマの範囲がｐ（ｘ）の３シグマの範囲内に含まれるか否かを繰り返し処理にて調べればよい。あるいは、設計パラメータとして既知の値を用いても良い。
【００５１】
正規分布において、３シグマの範囲内とは、確率変数の実現値の９９．７４％が含まれる範囲であるため、ｐ’（ｘ）の３シグマの範囲を、ｐ（ｘ）の３シグマの範囲に内包させることで、後述の通りｐ’（ｘ）に従い摂動変形点を生成する場合に、人らしい形状を表す摂動変形点が得られることが概ね期待できるからである。
上記３シグマの範囲については、例えば、ｐ（ｘ）を例に説明すると、ｐ（ｘ）に従う実現値をｘとし、ｘを下記（数８）で表した場合に、ａｉが（数９）でε＝３．０とした条件を満たすｘの範囲となる。
【数８】
【数９】
【００５２】
そして、摂動分布算出手段３２１は、それぞれ確率密度関数として表される基本変形点分布ｐ（ｘ）と（数７）の確率密度分布ｐ’（ｘ）の重なりから摂動変形点分布ｑ（ｘ）を求める。
具体的には、ｐ（ｘ）とｐ’（ｘ）の積から摂動変形分布ｑ（ｘ）を求めることができる。
【００５３】
またはαの値を、ｐ’（ｘ）の３シグマの範囲がｐ（ｘ）の３シグマの範囲に部分的に重なるように決め、その重なった部分を摂動変形点分布ｑ（ｘ）と見なして摂動変形点を算出してもよい。この場合、元変形点ｘ’がｐ（ｘ）の３シグマ近傍に位置している場合でも、ｐ’（ｘ）の分布範囲を狭くしすぎることがなく、摂動変形点を求めることができる。
【００５４】
なお、確率密度分布ｐ’（ｘ）の３シグマの範囲が基本変形点分布ｐ（ｘ）の３シグマの範囲と部分的に重なる場合であっても、重ならない部分からも摂動変形点を生成しても良い。ただし、その重ならない部分は基本変形点分布ｐ（ｘ）の３シグマの範囲外であり、その部分から生成した顔形状は、実際の人の顔らしい形状は言えない可能性がある。よって類似度算出手段２７０と顔形状モデル選択手段２８０にて行われる、２次元顔画像１００と類似している顔形状の選択処理では、個人モデル生成手段２９０で合成処理の対象として選択される可能性は低いことに留意する。
【００５５】
また、確率密度分布ｐ’（ｘ）は、基本変形点分布ｐ（ｘ）と分布の形状が維持でき、性質が揃う多次元正規分布として説明したが、より適切な確率密度分布を適用するのが望ましいとの判断がある場合には他の分布に従うとして求めても良い。その場合でも、分布の中心は元顔形状モデルの変形点である元変形点ｘ’の位置を中心とし、分布範囲は基本変形点分布ｐ（ｘ）よりも狭いものとする。
【００５６】
摂動変形点算出手段３２２は、摂動変形点分布ｑ（ｘ）に従う確率変数の実現値として、摂動変形点ｘを算出する。確率密度分布が求まり、その実現値を算出する方法は、適宜公知のものを用いれば良く、例えばボックス＝ミューラー法と呼ばれるものが周知である。
算出する摂動変形点の数は、求められる３次元顔形状の精度や、計算コストに応じて決めればよい。例えば、１００点とすることができる。
なお、摂動変形点ｘは、基本変形点分布の作成手順からわかるように、顔形状モデル上の変形点の３次元座標列を表すものであり、本実施の形態では、１つの顔形状モデルに６０個設定されるとしているので、１８０次元のベクトルである。
【００５７】
これらいずれの場合も、αの値は、基本変形点分布の平均μと元顔形状モデルの座標空間内での位置ｘ’の距離に応じて可変とすることができる。即ち、当該距離が大きい場合には、元顔形状モデルは基本変形点分布の周辺付近、例えば３シグマに近い付近にて特定されたため、摂動変形点を広い範囲から得ようとすると、人の顔形状らしくない摂動顔形状モデルが生成される可能性が高まるため、αを小さくする。逆に当該距離が小さい場合には、元顔形状モデルは基本変形点分布の中心付近にて特定されるため、人の顔形状らしくない摂動顔形状モデルが生成される可能性は低く、αを大きくして、摂動変形点を広い範囲から得ても問題がないからである。
【００５８】
この他、（数５）に示した前記固有ベクトルの内、固有値が大きい順に上位Ｓ個の固有ベクトルｕｊ（ｊ＝１、・・・、Ｌ、ｓ．ｔ． Ｌ≦Ｄ）を基底とする固有空間を形成し、当該固有空間内で摂動変形点ｘを算出しても良い。具体的には、座標空間における元顔形状モデル上の変形点の位置ｘ’を固有空間に射影し、射影点ｘｐ’を得る。次に、例えば（数１０）に従い、射影点ｘｐ’から摂動変形点ｘを得る。ここで、Ｕ（０，γ）は区間［０，γ］の一様分布を表す。γについては、０．１から０．３程度の値に設定すると好適である。
【数１０】
【００５９】
前記固有空間の次元数Ｌについては、固有値の総和Ｓａ＝ΣＤｋ＝１λｋに対するする固有値の累積和Ｓｃ＝ΣＬｋ＝１λｋの割合Ｃ＝Ｓｃ／Ｓａが、所定の値θｃを超える最小の値Ｌで打ち切るのが一般的であり、θｃについては、０．９７程度の値に設定すると好適である。
【００６０】
尚、（数１０）で求めたｘについても、ｘを前記（数８）でＤ＝Ｌとして表した場合に、ａｉが（数９）でＤ＝Ｌ、ε＝３．０とした条件を満たした場合に限り、摂動変形点とすることで、人らしい形状を表す摂動変形点が得られることが概ね期待できる。
【００６１】
変形手段３２３は、図５に示すように、求められた各摂動変形点４３０に対応する摂動顔形状モデル５００を作成する。図５において、符号４２０は座標空間内における元変形点、符号４２１は摂動変形点分布ｑ（ｘ）である。
具体的には、元顔形状モデル上に設定された元変形点が、摂動変形点位置に移動するように、薄板スプライン変換等、既知のワーピング手法を用いて、元顔形状モデルを変形し、摂動顔形状モデルを作成する。変形手段３２３は、生成した摂動顔形状モデル５００を記憶手段２１０に一時的に記憶させる。
なお、この際、元顔形状モデルに設定されていた３Ｄ顔特徴点も、当該変形処理に従い、元の位置から変位するものとする。
【００６２】
以下、図６に示したフローチャートを参照しつつ、本発明を適用した顔画像処理装置２００による３次元顔モデル作成処理の動作を説明する。なお、以下に説明する動作のフローは、顔画像処理装置２００を構成するマイクロプロセッサ上で動作し、顔画像処理装置２００全体を制御する制御手段（図示せず）により制御される。
最初に、顔画像処理装置２００は、画像入力手段２０５を介して、２次元画像である対象者の顔画像１００を取得する（ステップＳ１００）。次に、顔特徴点抽出手段２２０は、取得された顔画像１００から顔特徴点を抽出する（ステップＳ１１０）。
【００６３】
次に、元顔形状特定手段３１０は、記憶手段２１０に記憶されている複数の基準顔形状モデルから、変形の元となる元顔形状モデルを特定する（ステップＳ１２０）。
【００６４】
ステップＳ１３０からＳ２２０は、後述する条件が満たされるまで繰り返されるものとする。
摂動顔形状モデル生成手段３２０は、摂動顔形状モデルを生成し、記憶手段２１０に記憶させる（ステップＳ１３０）。この処理を図７のサブフロー図を用いて説明する。
【００６５】
まずステップＳ４００にて、摂動分布算出手段３２１は、記憶手段２１０より、基本変形点分布算出手段３００が生成した基本変形点分布ｐ（ｘ）を読み込む。
本実施の形態では、この基本変形点分布は、図６に示すメインフロー図の動作に先立って、基本変形点分布算出手段３００が予め算出し、記憶手段２１０に記憶させておくものとする。あるいは、顔画像処理装置２００とは別の装置により生成して、記憶手段２１０に記憶させるようにしてもよい。
基本変形点分布の算出方法は、基本変形点分布算出手段３００の説明の箇所で述べた通りである。
【００６６】
次にステップＳ４１０にて、摂動分布算出手段３２１は、元顔形状モデルの元変形点を中心とした摂動変形点分布ｑ（ｘ）を求める。摂動変形点分布ｑ（ｘ）は、基本変形点分布ｐ（ｘ）と同様に多次元正規分布を仮定しており、分布の広がりは基本変形点分布ｐ（ｘ）よりも狭いものとして求める。求め方は、基本変形点分布ｐ（ｘ）を表す分散共分散行列の固有値に１未満の正数を乗ずることで求めた確率密度分布を用いるものとする。詳細な手順は摂動分布算出手段３２１の説明の箇所で述べた通りである。
【００６７】
ステップＳ４２０にて、摂動変形点算出手段３２２は、前ステップで求められた摂動変形点分布ｑ（ｘ）から、その分布に従う実現値として、摂動変形点を求める。摂動変形点分布ｑ（ｘ）は確率密度分布として表現されているが、確率密度分布が与えられて、それに従う実現値を算出する方法は周知であり、ボックス＝ミューラー法などを適宜採用すれば良い。
【００６８】
ステップＳ４３０にて、変形手段３２３は、前ステップで求められた各摂動変形点に対応する摂動顔形状モデルを生成する。そのために、変形手段３２３は、元顔形状モデル上に設定された変形点が、前ステップで摂動変形点位置に移動するように、既知のワーピング手法を用いて、元顔形状モデルを変形する。
変形手段３２３は、生成した摂動顔形状モデルを記憶手段２１０に一時的に記憶させる。
【００６９】
図６のメインフロー図に戻り、摂動顔形状モデル及びその摂動顔形状モデルに関連付けられた３Ｄ顔特徴点が記憶手段２１０から読み込まれる（ステップＳ１４０）。そして、位置合わせ情報算出手段２３０は、顔画像１００から抽出された各顔特徴点と、摂動顔形状モデルに関連付けられた各３Ｄ顔特徴点の２次元投影点の位置ずれ量が最小となるように、摂動顔形状モデルを、正規直交座標系の各軸に沿って回転または併進させたり、拡大／縮小させる。位置合わせ情報算出手段２３０は、その位置ずれ量が最小となったときの摂動顔形状モデルに対する回転角、並進量、及び拡大／縮小率を位置合わせ情報として算出する（ステップＳ１５０）。また、顔向き調整手段としての位置合わせ手段２４０は、位置合わせ情報にしたがって、対応する摂動顔形状モデルを変形し、向き調整済み形状モデルを作成する（ステップＳ１６０）。
【００７０】
次に、光源方向推定手段２５０は、顔画像１００に基づいて、光源方向を推定し、推定した光源方向を表す光源方向情報を出力する（ステップＳ１７０）。そして、陰影画像生成手段２６０は、向き調整済み形状モデルを、光源方向情報にしたがってレンダリングして２次元平面に投影し、陰影画像を作成する（ステップＳ１８０）。その後、類似度算出手段２７０は、作成された陰影画像と、画像入力手段２０５により取得された顔画像１００との類似度を算出する（ステップＳ１９０）。
そして、記憶手段２１０に記憶された全ての摂動顔形状モデルに対して、顔画像１００との類似度が算出されたか否かが判定される（ステップＳ２００）。そして、顔画像１００との類似度が未算出の摂動顔形状モデルが存在する場合、制御はステップＳ１４０に戻り、類似度が未算出の摂動顔形状モデルが記憶手段２１０から読み出される（ステップＳ１４０）。そしてステップＳ１４０〜Ｓ２００の処理が繰り返される。
【００７１】
一方、ステップＳ２００において、記憶手段２１０に記憶された全ての摂動顔形状モデルについて類似度が算出されたと判定されると、顔形状モデル選択手段２８０は、その類似度にしたがって、顔画像１００に最も近い向き調整済み形状モデルから、最類似顔形状モデルを決定する（ステップＳ２１０）。
【００７２】
次に、最類似顔形状モデルを決定するために用いた類似度が、前回のステップＳ１４０からＳ２００までのループの処理にて求めた当該類似度よりも改善しているか、即ち、顔画像１００に適した摂動顔形状モデルが得られているか否かを判定する（ステップＳ２２０）。
得られている場合には、今回のループで求めた最類似顔形状モデルを、ステップＳ１２０における元顔形状モデルと見なして（ステップＳ２３０）、処理をステップＳ１３０に移し、ステップＳ１３０からＳ２３０の処理を繰り返す。
【００７３】
この繰り返し処理の意図は、一旦求めた摂動顔形状モデルを元顔形状モデルとして摂動変形点を求め、それに対応する摂動顔形状モデルを生成すると、いわゆる山登り法と呼ばれる繰り返し処理によって更に顔画像１００に適したものが得られる可能性があるからである。
【００７４】
ステップＳ２２０において、最類似顔形状モデルを決定するために用いた類似度が、前回のステップＳ１３０からＳ２３０までのループの処理にて求めた当該類似度よりも改善していない場合には、顔画像１００に適した摂動顔形状モデルが得られたものと考えられるので、上記の繰り返し処理はそれ以上行わず、処理をステップＳ２４０に移す。繰り返し処理は、所定の回数を上限としてもよい。
【００７５】
最後に、個人モデル生成手段２９０は、最類似顔形状モデルに、顔画像１００をテクスチャ画像としてマッピングすることにより、対象者の３次元顔モデルを作成する（ステップＳ２４０）。
【００７６】
以上説明してきたように、本発明を適用した顔画像処理装置２００は、予め準備された３次元の顔形状モデル（元顔形状モデル）を変形し、対象者の２次元顔画像にさらに一致する摂動顔形状モデルを生成する。そして、係る顔画像処理装置２００は、そのモデルに２次元顔画像を合成して対象者の３次元顔モデルを作成するので、特殊な表面計測装置を用いることなく、対象者の２次元の顔画像から、当該対象者の３次元顔モデルを作成できる。
特に、生成した摂動顔形状モデルを元に、同様の生成処理を繰り返すことで、よりいっそう対象者の顔の特徴を表した３次元顔モデルを作成できる。
【符号の説明】
【００７７】
１００・・・顔画像
２００・・・顔画像処理装置
２０５・・・画像入力手段
２１０・・・記憶手段
２２０・・・顔特徴点抽出手段
２７０・・・類似度算出手段
２８０・・・顔形状モデル選択手段
２９０・・・個人モデル生成手段
３００・・・基本変形点分布算出手段
３１０・・・元顔形状特定手段
３２０・・・摂動顔形状モデル生成手段
【特許請求の範囲】
【請求項１】
２次元顔画像を３次元顔形状モデルと合成して３次元顔画像を生成する顔画像処理装置であって、
前記２次元顔画像の取得手段と、
複数の基本顔形状モデルと、顔形状モデルに設定される変形点を変位させても顔形状と認定できる範囲を基本変形点分布として記憶している記憶手段と、
前記複数の基本顔形状モデルのそれぞれと前記２次元顔画像を用いて算出した類似度から、変形元となる元顔形状モデルを前記複数の基本顔形状モデルから特定する元顔形状特定手段と、
前記元顔形状モデルに設定される変形点を変位させても顔形状と認定できる範囲である摂動変形点分布を、前記基本変形点分布における当該元顔形状モデルの変形点位置を中心に前記基本変形点分布より狭くして求める摂動分布算出手段と、
前記元顔形状モデルから前記摂動変形点分布内において前記変形点を変位させた複数の摂動顔形状モデルを生成する変形手段と、
前記摂動顔形状モデルと前記２次元顔画像とから算出した類似度から、前記複数の摂動顔形状モデルから合成対象となる摂動顔形状モデルを選択する顔形状モデル選択手段と、
前記選択された摂動顔形状モデルと前記２次元顔画像から前記３次元顔画像を合成する合成手段と
を有する顔画像処理装置。
【請求項２】
前記摂動分布算出手段は、前記基本変形点分布の分布形状を維持した前記摂動変形点分布を求める請求項１に記載の顔画像処理装置。
【請求項３】
前記摂動分布算出手段は、前記基本変形点分布と重なった範囲を前記摂動変形点分布として求める請求項１または請求項２のいずれか一つに記載の顔画像処理装置。
【請求項４】
前記摂動分布算出手段は、前記基本変形点分布に含まれる前記摂動変形点分布を求める請求項１から請求項３のいずれか一つに記載の顔画像処理装置。
【請求項５】
前記変形点は、前記顔形状モデル上に概略均等に設定されることを特徴とする請求項１から請求項４のいずれか一つに記載の顔画像処理装置。
【請求項１】
２次元顔画像を３次元顔形状モデルと合成して３次元顔画像を生成する顔画像処理装置であって、
前記２次元顔画像の取得手段と、
複数の基本顔形状モデルと、顔形状モデルに設定される変形点を変位させても顔形状と認定できる範囲を基本変形点分布として記憶している記憶手段と、
前記複数の基本顔形状モデルのそれぞれと前記２次元顔画像を用いて算出した類似度から、変形元となる元顔形状モデルを前記複数の基本顔形状モデルから特定する元顔形状特定手段と、
前記元顔形状モデルに設定される変形点を変位させても顔形状と認定できる範囲である摂動変形点分布を、前記基本変形点分布における当該元顔形状モデルの変形点位置を中心に前記基本変形点分布より狭くして求める摂動分布算出手段と、
前記元顔形状モデルから前記摂動変形点分布内において前記変形点を変位させた複数の摂動顔形状モデルを生成する変形手段と、
前記摂動顔形状モデルと前記２次元顔画像とから算出した類似度から、前記複数の摂動顔形状モデルから合成対象となる摂動顔形状モデルを選択する顔形状モデル選択手段と、
前記選択された摂動顔形状モデルと前記２次元顔画像から前記３次元顔画像を合成する合成手段と
を有する顔画像処理装置。
【請求項２】
前記摂動分布算出手段は、前記基本変形点分布の分布形状を維持した前記摂動変形点分布を求める請求項１に記載の顔画像処理装置。
【請求項３】
前記摂動分布算出手段は、前記基本変形点分布と重なった範囲を前記摂動変形点分布として求める請求項１または請求項２のいずれか一つに記載の顔画像処理装置。
【請求項４】
前記摂動分布算出手段は、前記基本変形点分布に含まれる前記摂動変形点分布を求める請求項１から請求項３のいずれか一つに記載の顔画像処理装置。
【請求項５】
前記変形点は、前記顔形状モデル上に概略均等に設定されることを特徴とする請求項１から請求項４のいずれか一つに記載の顔画像処理装置。
【図２】
【図３】
【図５】
【図７】
【図１】
【図４】
【図６】
【図３】
【図５】
【図７】
【図１】
【図４】
【図６】
【公開番号】特開２０１２−１７３８１２（Ｐ２０１２−１７３８１２Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３２６２１（Ｐ２０１１−３２６２１）
【出願日】平成２３年２月１７日（２０１１．２．１７）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月１７日（２０１１．２．１７）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
[ Back to top ]