顔画像処理装置
【課題】特殊な表面計測装置を用いることなく、顔の３次元形状を表す３次元形状モデルを用いて、対象者の２次元の顔画像から特徴的な部位の位置をその対象者の顔により良好に一致させた３次元顔画像を作成する顔画像処理装置を提供する。
【解決手段】顔画像処理装置１００は、２次元顔特徴点と３次元顔特徴点の位置合わせを行う位置合わせ手段１１１と、２次元顔特徴点との位置ずれ量が所定閾値以上の３次元顔特徴点について位置を変えた派生顔特徴点を生成する派生特徴点算出手段１１２と、３次元顔特徴点と派生顔特徴点を組み合わせて派生形状モデルを作成する派生モデル作成手段１０５と、派生形状モデル及び３次元形状モデルのうち２次元顔画像に最も類似するものを選択する類似形状選択手段１０９と、選択された派生形状モデル又は３次元形状モデルと２次元顔画像を合成して３次元顔画像を作成する個人モデル作成手段１１０を有する。
【解決手段】顔画像処理装置１００は、２次元顔特徴点と３次元顔特徴点の位置合わせを行う位置合わせ手段１１１と、２次元顔特徴点との位置ずれ量が所定閾値以上の３次元顔特徴点について位置を変えた派生顔特徴点を生成する派生特徴点算出手段１１２と、３次元顔特徴点と派生顔特徴点を組み合わせて派生形状モデルを作成する派生モデル作成手段１０５と、派生形状モデル及び３次元形状モデルのうち２次元顔画像に最も類似するものを選択する類似形状選択手段１０９と、選択された派生形状モデル又は３次元形状モデルと２次元顔画像を合成して３次元顔画像を作成する個人モデル作成手段１１０を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像処理装置に関し、特に、個人を撮影した２次元の顔画像を３次元の顔形状データにマッピングした３次元顔画像を作成する顔画像処理装置に関する。
【背景技術】
【０００２】
従来より、対象者の顔を撮影して取得した２次元の顔画像を登録された顔画像と照合することにより、その対象者を認証する顔認証装置が提案されている。このような顔認証装置は、事前に対象者本人の顔画像を登録しておき、利用時に取得した顔画像と比較した結果に基づいて、認証の可否を決定する。そのため、登録時の顔画像と利用時の顔画像との間に、顔の向き、照明条件、表情などにおいて差異が生じていると、照合の際の誤り率が高くなるという問題があった。
【０００３】
そこで、特許文献１には、顔画像の照合に使用するための、対象者の顔の複数の２次元画像を作成するサンプル画像収集方法が提案されている。この画像収集方法は、表面計測装置を用いて、取得した顔の３次元の表面形状データ及びカラー情報から対象者の顔の３次元コンピュータグラフィックスモデルを作成する。そして、その画像収集方法は、そのモデルに基づいて顔の向き又は照明条件を変動させてレンダリングすることにより、複数の２次元顔画像を作成する。
【０００４】
また、特許文献２には、標準的な顔の３次元形状を表す標準フレームモデルを用いて、照合の際に使用する複数の参照顔画像を作成する顔画像照合装置が提案されている。この顔画像照合装置は、照合の際に取得した対象者の２次元顔画像と上記の標準フレームモデルを合成して対象者の顔に対応した３次元顔モデル（３次元顔画像）を作成する。そして顔画像照合装置は、３次元顔モデルに対して顔の向き、照明条件又は表情といった変動要因を考慮してレンダリングを行うことにより、参照顔画像を作成する。
【０００５】
また、特許文献３には、事前に準備された顔の３次元形状を表す３次元形状モデルを変形させた派生形状モデルを用いて、対象者の顔形状をあらわす３次元顔画像を作成する顔画像処理装置が提案されている。この顔画像処理装置は、３次元形状モデルを、鼻尖点などの基準点に対して高さ方向又は上下の長さの比率を変えるように変形した派生形状モデルを作成する。そして顔画像処理装置は、派生形状モデル又は３次元形状モデルのうち、画像入力手段から取得した対象者の２次元顔画像に最も類似するモデルと２次元顔画像を合成して３次元顔画像を作成する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平４−２５６１８５号公報
【特許文献２】特開２００３−６６４５号公報
【特許文献３】特開２００９−２１１１４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載された画像収集方法では、対象者ごとに顔の３次元コンピュータグラフィックスモデルを作成する必要がある。しかし、そのモデルの作成には、特殊な表面計測装置を用いて対象者本人の顔を計測する必要があるため、各対象者の顔の３次元コンピュータグラフィックスモデルを作成することは容易でない。そのため、係る画像収集方法を、一般に利用される顔認証装置に適用することは困難であった。
【０００８】
一方、特許文献２に記載された顔画像照合装置では、３次元形状を表すモデルとして、標準的な顔に対応する標準フレームモデルが１ないし複数準備される。この標準フレームモデルは一度作成すればよく、係る顔画像照合装置の何れについても使用することができるので、上記のような問題は生じない。しかし、標準フレームモデルは、標準的な顔の形状に対応するものであるため、眉骨又は頬骨の張り出し具合、顎の形状などの個々人が持つ顔形状の特徴を反映するものではない。また、特許文献２には、３次元顔モデルを作成するために用いる標準フレームモデルとして、対象者の性別、年齢等の属性情報に応じた標準フレームモデルを選択する方法も開示されている。しかし、対象者の属性情報が同じであっても顔形状の特徴が異なる場合がある。そのため、対象者の顔に適した３次元顔モデルを作成できる顔画像処理装置がさらに望まれていた。
【０００９】
また、特許文献３に記載された顔画像処理装置は、対象者の顔の特徴的な部位の位置にあわせて３次元形状モデルを変形して派生形状モデルを作成するので、対象者の顔により適した３次元顔画像を作成することができる。しかし、この派生形状モデルは、事前に準備された３次元形状モデルに対して、基準点に対する高さ方向又は上下の長さの比率のみを変えたものであり、それぞれの特徴的な部位の位置をより良好に一致させた３次元顔画像を作成できる顔画像処理装置がさらに望まれている。
【００１０】
そこで、本発明の目的は、特殊な表面計測装置を用いることなく、顔の３次元形状を表す３次元形状モデルを用いて、対象者の２次元の顔画像から特徴的な部位の位置をその対象者の顔により良好に一致させた３次元顔画像を作成する顔画像処理装置を提供することにある。
【課題を解決するための手段】
【００１１】
かかる課題を解決するための本発明は、人物の顔が含まれる２次元顔画像と顔の３次元形状を表す３次元形状モデルを合成してその人物の顔に対応した３次元顔画像を作成する顔画像処理装置を提供する。係る顔画像処理装置は、２次元顔画像を入力する画像入力手段と、予め３次元形状モデルと該３次元形状モデルにおける顔の特徴点を表す複数の３次元顔特徴点とを記憶する記憶手段と、２次元顔画像から顔の特徴点を表す複数の２次元顔特徴点を抽出する顔特徴点抽出手段と、３次元顔特徴点と当該３次元顔特徴点に対応する２次元顔特徴点との位置ずれ量を算出して位置合わせを行う位置合わせ手段と、位置ずれ量が所定の閾値以上の３次元顔特徴点について位置を変えた一または複数の派生顔特徴点を生成し、当該３次元顔特徴点については当該３次元顔特徴点または当該派生顔特徴点から選択した特徴点、位置ずれ量が所定の閾値未満の３次元顔特徴点については当該３次元顔特徴点を、顔の形状を形成するよう組み合わせた派生顔特徴点セットを生成する派生顔特徴点算出手段と、３次元形状モデルの３次元顔特徴点が派生顔特徴点セットに一致するよう３次元形状モデルを変形して派生形状モデルを作成する派生モデル作成手段と、派生形状モデル及び３次元形状モデルを２次元顔画像と比較して２次元顔画像に最も類似する派生形状モデルまたは３次元形状モデルを選択する類似形状選択手段と、選択された派生形状モデルまたは３次元形状モデルと２次元顔画像を合成して、人物の顔に対応した３次元顔画像を作成する個人モデル作成手段と、を有する。
【００１２】
さらに、本発明に係る顔画像処理装置において、派生顔特徴点算出手段は、対応する２次元顔特徴点に対する３次元顔特徴点の位置ずれ量が大きいほど、該３次元顔特徴点に対応する派生顔特徴点を広く分布させて生成することが好ましい。
【００１３】
さらに、本発明に係る顔画像処理装置において、派生顔特徴点算出手段は、対応する２次元顔特徴点に対する３次元顔特徴点の位置ずれ量が大きいほど、該３次元顔特徴点に対応する派生顔特徴点を数を増やして生成することが好ましい。
【発明の効果】
【００１４】
本発明に係る顔画像処理装置は、特殊な表面計測装置を用いることなく、顔の３次元形状を表す３次元形状モデルを用いて、対象者の２次元の顔画像から特徴的な部位の位置をその対象者の顔により良好に一致させた３次元顔画像を作成できるという効果を奏する。
【図面の簡単な説明】
【００１５】
【図１】本発明を適用した画像処理装置の概略構成図である。
【図２】顔画像と３次元形状モデルの関係を表す模式図である。
【図３】３次元顔特徴点と２次元顔特徴点の投影直線との間の距離と位置ずれ量の関係を示すグラフである。
【図４】派生顔特徴点及び派生顔特徴点組を示す模式図である。
【図５】本発明を適用した画像処理装置における３次元顔画像作成処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の一実施形態である顔画像処理装置について図を参照しつつ説明する。
本発明を適用した顔画像処理装置は、対象者の２次元の顔画像を取得すると、その２次元の顔画像から、事前に準備された顔の３次元形状を表す３次元形状モデルにおける顔の特徴点を表す特徴点を抽出する。そして顔画像処理装置は、３次元形状モデルの特徴点の配置が２次元の顔画像の特徴点の配置に最も一致するように位置合わせを行い、その結果、３次元形状モデルにおいて、２次元の顔画像の特徴点との位置ずれ量が所定以上の特徴点について位置を変えた複数の派生顔特徴点を生成し、その派生顔特徴点を用いて派生形状モデルを作成する。そして顔画像処理装置は、作成した派生形状モデル及び元の３次元形状モデルのうち２次元の顔画像に最も類似するものに基づいて３次元顔画像を作成することにより、対象者の顔とそれぞれの特徴的な部位の位置が良好に一致する３次元顔画像を作成する。
【００１７】
図１は、本発明を適用した顔画像処理装置１００の概略構成を示す図である。図１に示すように、顔画像処理装置１００は、記憶手段１０１、画像入力手段１０２、顔特徴点抽出手段１０３、位置合わせ情報算出手段１０４、派生モデル作成手段１０５、光源方向推定手段１０６、陰影画像作成手段１０７、類似度算出手段１０８、類似形状選択手段１０９及び個人モデル作成手段１１０を有する。
このうち、顔特徴点抽出手段１０３、位置合わせ情報算出手段１０４、派生モデル作成手段１０５、光源方向推定手段１０６、陰影画像作成手段１０７、類似度算出手段１０８、類似形状選択手段１０９及び個人モデル作成手段１１０は、それぞれ、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。あるいは、これらの手段を、ファームウェアにより一体化して構成してもよい。また、これらの手段の一部または全てを、独立した電子回路、ファームウェア、マイクロプロセッサなどで構成してもよい。以下、顔画像処理装置１００の各部について詳細に説明する。
【００１８】
記憶手段１０１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などの半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。そして記憶手段１０１は、顔画像処理装置１００を制御するためのコンピュータプログラム、各種パラメータ及びデータなどを記憶する。また記憶手段１０１は、顔の３次元形状モデルと、該３次元形状モデルにおける顔の特徴点を表す複数の３次元顔特徴点とを記憶する。３次元形状モデルは複数存在してもよく、また一つであってもよい。３次元形状モデルは、人物の顔の３次元形状を表すフレームモデルであって、ワイヤーフレームモデルあるいはサーフェイスモデル等が用いられる。なお３次元形状モデルは、例えば、複数の人物の顔形状からそれぞれ作成してもよいし、多数の人物の顔形状を模した顔形状モデルを平均化して作成してもよい。あるいは形状の類似度が高い顔が同じカテゴリになるように、多数の顔形状モデルをカテゴライズし、同一カテゴリ内の顔形状モデルを平均化するなどして作成してもよい。
【００１９】
ここで、３次元顔特徴点は、目、鼻、口など、形状若しくは色成分について他と異なる特徴的な部位の何れかの点、例えばそれらの部位の中心点若しくは端点を表す。例えば、３次元顔特徴点には、眉頭、眉尻、黒目中心、目領域中心、目頭、目尻、鼻尖点、鼻孔中心、口点（口中心）、口角点などが含まれる。なお、記憶する３次元顔特徴点の種類及び数に制限はないが、記憶する３次元顔特徴点は、顔特徴点抽出手段１０３において抽出可能な２次元顔画像の顔特徴点と同じ部位の特徴点であること、又は少なくともこれらの特徴点を全て含むことが好ましい。本実施形態では、３次元顔特徴点として、左右それぞれの目領域中心、目頭及び目尻と、鼻尖点、口点、並びに左右の口角点の１０箇所を記憶するものとした。
【００２０】
画像入力手段１０２は、例えば、監視カメラ等の画像取得手段と接続されるインターフェース回路であり、画像取得手段により２次元顔画像として取得された対象者の顔画像を顔画像処理装置１００に入力する。また、予め撮影された１ないし複数の顔画像を含む履歴情報を記録した記録媒体が存在する場合、画像入力手段１０２は、そのような記録媒体にアクセスするための読み取り装置と、キーボード、マウスなどの入力デバイスとディスプレイを含むユーザインターフェースとを有していてもよい。この場合、ユーザは、画像入力手段１０２のユーザインターフェースを介して、履歴情報から何れか一つの顔画像を選択する。なお、顔画像は、顔全体を含み、かつ顔の各特徴部分（目、鼻、口など）を他の特徴部分と区別できるものであれば、顔の向きは正面向きでも斜め向きでもよい。さらに顔画像は、グレースケールまたはカラーの多階調の画像とすることができるが、人の肌部分の特徴を抽出し易いカラーの多階調画像とすることが好ましい。本実施形態では、顔画像を、１２８×１２８画素を有し、ＲＧＢ各色について８ビットの輝度分解能を持つカラー画像とした。ただし、顔画像として、この実施形態以外の解像度及び階調を有するものを使用してもよい。
画像入力手段１０２は、取得した顔画像を、顔特徴点抽出手段１０３、光源方向推定手段１０６、類似度算出手段１０８及び個人モデル作成手段１１０へ出力する。
【００２１】
顔特徴点抽出手段１０３は、画像入力手段１０２から出力された顔画像から顔の特徴点を表す顔特徴点（以下、２次元顔特徴点と称する）を抽出する。そして顔特徴点抽出手段１０３は、抽出した２次元顔特徴点の種別と顔画像上の位置情報（例えば、顔画像の左上端部を原点とする２次元座標値）を、位置合わせ情報算出手段１０４へ出力する。本実施形態において、顔特徴点抽出手段１０３は、記憶手段１０１に記憶されている各３次元顔特徴点（目領域中心、鼻尖点、口角点などの１０箇所）に対応する２次元顔特徴点を抽出する。顔特徴点抽出手段１０３は、顔画像から２次元顔特徴点を抽出するための公知の様々な手法を用いることができる。例えば、顔特徴点抽出手段１０３は、顔画像に対してエッジ抽出処理を行って周辺画素との輝度差が大きいエッジ画素を抽出する。そして顔特徴点抽出手段１０３は、エッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、各２次元顔特徴点を抽出することができる。また顔特徴点抽出手段１０３は、エッジ抽出処理を行ってエッジ画素を抽出する代わりに、ガボール変換処理あるいはウェーブレット変換処理を行って、異なる複数の空間周波数帯域で局所的に変化の大きい画素を抽出してもよい。さらに顔特徴点抽出手段１０３は、顔の各部位に相当するテンプレートと顔画像とのテンプレートマッチングを行って顔の各部位の位置を特定することにより、２次元顔特徴点を抽出してもよい。さらにまた、顔特徴点抽出手段１０３は、キーボード、マウス及びディスプレイなどで構成されるユーザインターフェース（図示せず）を介してユーザに各２次元顔特徴点の位置を指定させることにより、各２次元顔特徴点を取得してもよい。
【００２２】
位置合わせ情報算出手段１０４は、記憶手段１０１に記憶された３次元形状モデルと画像入力手段１０２から入力された２次元顔画像との位置合わせ、後述する派生モデル作成手段１０５にて用いる派生顔特徴点セットの生成などを行う。位置合わせ情報算出手段１０４は、記憶手段１０１に記憶された３次元形状モデルの各３次元顔特徴点の配置が、顔特徴点抽出手段１０３によって顔画像から抽出された各２次元顔特徴点の配置に最も一致するように位置合わせを行う。また位置合わせ情報算出手段１０４は、派生モデル作成手段１０５が派生顔特徴点セットに基づいて作成する派生形状モデルについて、派生顔特徴点セットを用いて２次元顔画像との位置合わせを行う。派生顔特徴点セットの詳細については後述する。そして位置合わせ情報算出手段１０４は、その位置合わせの結果として得られる位置合わせ情報を派生モデル作成手段１０５へ出力する。そのために、位置合わせ情報算出手段１０４は、位置合わせ手段１１１と、派生顔特徴点算出手段１１２とを有する。
【００２３】
位置合わせ手段１１１は、３次元形状モデルの各３次元顔特徴点を、回転、並進、拡大／縮小して、各３次元顔特徴点の配置が、各２次元顔特徴点の配置と最も一致するように位置合わせを行い、その位置合わせ情報を算出する。このとき位置合わせ手段１１１は、位置合わせの前後において各３次元顔特徴点間の相対的な位置関係を保持するように、すなわち位置合わせ前の各３次元顔特徴点の配置と位置合わせ後の各３次元顔特徴点の配置が互いに相似になるように各３次元顔特徴点を移動させる。
位置合わせ情報は、例えば、３次元形状モデルに対して設定された３次元の正規直交座標系(X,Y,Z)の各軸に沿った回転角、並進量、及び拡大／縮小率を含む。この正規直交座標系(X,Y,Z)では、例えば、３次元形状モデル上の複数の３次元顔特徴点の重心を原点とし、顔に対して水平かつ左から右へ向かう方向にX軸、顔に対して水平かつ後方から前方へ向かう方向にY軸、顔に対して垂直に下から上へ向かう方向にZ軸が設定される。
【００２４】
そして位置合わせ手段１１１は、算出した各位置合わせ情報を評価するために、各位置合わせ情報を用いて各３次元顔特徴点と対応する２次元顔特徴点の位置合わせをしたときの位置合わせ誤差を算出する。
位置合わせ手段１１１は、例えば、以下のように位置合わせ誤差を算出する。まず位置合わせ手段１１１は、各２次元顔特徴点を３次元形状モデルの３次元空間に投影する。
図２に、顔画像と３次元形状モデルの関係を模式的に示す。図２に示すように、位置合わせ手段１１１は、カメラ位置３０を原点として顔画像１０の各２次元顔特徴点１１、１２を３次元形状モデル２０の３次元空間に投影する。位置合わせ手段１１１は、カメラ位置３０を原点として各２次元顔特徴点１１、１２を３次元空間に投影した投影直線３１、３２と、各３次元顔特徴点２１、２２の位置関係から、３次元形状モデル２０の特徴点の配置と顔画像１０の特徴点の配置とを比較することができる。
【００２５】
本実施形態においては、記憶手段１０１に記憶された３次元形状モデルは、標準的な顔の３次元形状を表すモデルを想定しており、対象者の顔形状を模したモデルではない。そのため各３次元顔特徴点２１、２２の配置と各２次元顔特徴点１１、１２の配置とは一般に異なる。従って、左目尻における３次元顔特徴点２１のように投影直線３１との最短距離が小さい特徴点と、左口角における３次元顔特徴点２２のように投影直線３２との最短距離が大きい特徴点とが存在する。そのため、全ての３次元顔特徴点の配置が２次元顔特徴点の配置と完全に一致するように位置合わせをすることは一般にできない。
一方で、全ての３次元顔特徴点を、対応する２次元顔特徴点に、まんべんなく位置合わせをすると、求めたい３次元顔画像は、顔の形状に対してまんべんなくテクスチャ情報がずれた、質の悪いものとなる。そこで、投影直線との最短距離の評価に軽重をつけることとする。
【００２６】
位置合わせ手段１１１は、注目する３次元顔特徴点について、その注目する３次元顔特徴点に対応する２次元顔特徴点に対する位置ずれ量Eiを算出し、その位置ずれ量Eiの総和として全体の位置ずれ量Eを求める。全体の位置ずれ量Eは、例えば以下の式で表される。
【数１】
位置合わせ手段１１１は、この全体の位置ずれ量Eが最小となるように、各３次元顔特徴点を３次元の正規直交座標系(X,Y,Z)の各軸に沿って回転または並進させたり、拡大または縮小させたりする。位置合わせ手段１１１は、例えば、シミュレーティッドアニーリングまたは最急降下法などの最適化法を用いて、全体の位置ずれ量Eが最小となるときの３次元形状モデルの姿勢変化量（回転角、並進量、及び拡大／縮小率）を求めることができる。位置合わせ手段１１１は、上記の姿勢変化により最小となった全体の位置ずれ量Eを、３次元顔特徴点の２次元顔特徴点に対する位置合わせ誤差とする。
【００２７】
また（１）式において、位置ずれ量Eiは、例えば以下の式で表される。
【数２】
（２）式において、diは、注目する３次元顔特徴点と、その注目する３次元顔特徴点に対応する２次元顔特徴点の投影直線との最短距離である。この場合、３次元空間における２次元顔特徴点に対応する点（以下、３次元投影点と称する）は、２次元顔特徴点の投影直線上の、その２次元顔特徴点に対応する３次元顔特徴点に最も近い点となる。またσは、距離diと位置ずれ量Eiの関係を定める係数である。
【００２８】
図３に、距離diと位置ずれ量Eiの関係を示す。図３において、横軸は距離diを、縦軸は位置ずれ量Eiを表し、グラフ３０１はσ=0.0017の場合の、グラフ３０２はσ=0.017の場合の、グラフ３０３はσ=0.17の場合の距離diと位置ずれ量Eiの関係をそれぞれ表す。
図３に示されるように、diの変化に対する位置ずれ量Eiの変化量は、diが大きい領域よりdiが小さい領域の方が大きい。つまり距離diが大きい特徴点をより近づけるよりも、距離diが小さい特徴点をより近づけるように調整する方が、位置ずれ量Eiの減少幅が大きくなり、全体の位置ずれ量Eをより小さくすることができる。
また図３では、例えば距離di＞0.2の領域において、グラフ３０１の位置ずれ量Eiは1に漸近しているが、グラフ３０３の位置ずれ量Eiは漸近していない。つまり位置ずれ量Eiは、σが小さい場合、距離diがより小さい領域で所定値に漸近するが、σが大きい場合、距離diがより大きい領域でなければ所定値に漸近しない。このようにσの値により、距離diと位置ずれ量Eiの関係を調整することができ、σの値は、顔画像処理装置１００が設置される環境、その目的などに応じて適宜定められる。本実施形態ではσ＝0.017としている。
【００２９】
このように位置合わせ手段１１１は、（２）式により算出した位置ずれ量Eiを用いて全体の位置ずれ量Eを最小にするように位置合わせすることにより、距離diがより小さい３次元顔特徴点を優先的に、対応する３次元投影点に近づけるように位置合わせする。これにより位置合わせ手段１１１は、（２）式により算出した位置ずれ量Eiが小さい３次元顔特徴点ほど、より対応する２次元顔特徴点に一致させるように位置合わせすることができる。
【００３０】
なお位置ずれ量Eiは、距離diが小さいほど距離diの変化に対する位置ずれ量Eiの変化量が小さくなるように算出されるものであれば、どのようなものであってもよく、例えば、（３）式で表されるシグモイド関数、又は（４）式で表される関数を用いてもよい。
【数３】
【数４】
（３）式及び（４）式において、αは、それぞれ距離diと位置ずれ量Eiの関係を定める係数であり、αの値は、顔画像処理装置１００が設置される環境、その目的などに応じて適宜定められる。
また距離diは、注目する３次元顔特徴点と、その注目する３次元顔特徴点に対応する２次元顔特徴点の投影直線との最短距離に限られない。例えば距離diは、注目する３次元顔特徴点と、その注目する３次元顔特徴点に対応する２次元顔特徴点の投影直線と３次元形状モデルの表面の交点との距離としてもよい。この場合、２次元顔特徴点の投影直線と３次元形状モデルの表面の交点が３次元投影点となる。
なお、鼻などの顔上に突起した部位に隠れて、あるいは遮蔽物などにより顔の一部が見えなくなるオクルージョンが発生し、顔画像において顔の一部分の情報が欠落しており、２次元特徴点の一部が抽出できないときは、対応すべき３次元特徴点については位置ずれ量Eiを算出しないこととする。
【００３１】
位置合わせ手段１１１は、全体の位置ずれ量Eが最小となったときの各３次元顔特徴点の、正規直交座標系(X,Y,Z)の各軸に沿った回転角、並進量、及び拡大／縮小率を位置合わせ情報とする。また位置合わせ手段１１１は、各３次元顔特徴点について、位置ずれ量Ei及び位置合わせ情報を派生顔特徴点算出手段１１２へ出力する。
【００３２】
派生顔特徴点算出手段１１２は、３次元形状モデル上の３次元顔特徴点と、当該３次元顔特徴点に対応する２次元顔特徴点との位置ずれ量Eiが所定値以上の３次元顔特徴点を特定する。そして、特定した３次元顔特徴点における３次元位置情報のみを周辺位置に派生させた１または複数の派生顔特徴点を生成する。
つまり、２次元顔特徴点との位置ずれ量が所定値以上の３次元顔特徴点に対して、一つの顔の特徴点について、この派生元となった３次元顔特徴点とかかる派生顔特徴点が存在することとなる。
そして、派生顔特徴点算出手段１１２は、一つの３次元形状モデルを形成する複数の３次元顔特徴点の組み合わせである顔特徴点セットを作成する。派生顔特徴点が生成されている３次元顔特徴点については、派生元となった３次元顔特徴点と当該派生顔特徴点から一つを順次顔の特徴点ごとに選択し、顔特徴点セットを生成する。派生顔特徴点が生成されていない３次元顔特徴点については、その３次元顔特徴点をそのまま用いて顔特徴点セットを生成する。ここでは、これらの顔特徴点セットのことを派生顔特徴点セットと呼ぶ。
この所定値は、例えば、３次元形状モデルを２次元の顔画像に投影したときに２次元の顔画像上で同一の画素になると考えられる範囲の大きさに定めることができる。
【００３３】
位置ずれ量が大きい３次元顔特徴点は、対応する２次元顔特徴点の３次元投影点と位置が大きく異なるため、その３次元顔特徴点の周辺において対象者の顔と３次元形状モデルの形状が大きく異なる可能性が高い。従って例えば、各３次元顔特徴点をその位置ずれ量に応じて変動させることにより、位置ずれ量の大きい特徴点、すなわち形状が大きく異なる可能性が高い部分において３次元形状モデルを重点的に変形することができ、対象者の顔に類似する３次元形状モデルを効率的に作成することができる。例えば図２に示した例では、顔画像処理装置１００は、まず左目尻における３次元顔特徴点２１を基準として位置合わせを行い、その後左口角における３次元顔特徴点２２を大きく変動させることにより、対象者の顔に類似する３次元形状モデルを効率的に作成することができる。そこで本実施形態では、派生顔特徴点算出手段１１２は、３次元顔特徴点と、当該３次元顔特徴点に対応する２次元顔特徴点の位置ずれ量Eiが所定値以上の３次元顔特徴点について位置を変えた複数の派生顔特徴点を生成する。
【００３４】
例えば、派生顔特徴点算出手段１１２は、各３次元顔特徴点について位置ずれ量Eiから求められる確率分布に従ってその３次元顔特徴点の位置を変えた派生顔特徴点を生成する。例えば、ある３次元顔特徴点をPi=(Xi,Yi,Zi)T、派生顔特徴点をPi'=(Xi',Yi',Zi')Tとすると、確率分布p(Pi')は、次式のように３次元顔特徴点Piと位置ずれ量Eiから求められる正規分布で表すことができる。
【数５】
ここでd(Ei)は位置ずれ量Eiから求められ、例えば次式により算出することができる。
【数６】
ここでβは、正規分布の各次元の分散を定める係数である。βが大きいほど３次元顔特徴点Piと派生顔特徴点Pi'の距離は大きくなり、βが小さいほど３次元顔特徴点Piと派生顔特徴点Pi'の距離は小さくなる。βの値は、顔画像処理装置１００が設置される環境、その目的などに応じて適宜定められ、例えばβ＝0.7とすることができる。
【００３５】
図４は、（５）式により作成した派生顔特徴点Pi'を示す模式図である。図４において派生顔特徴点は記号「＋」であらわされる。図４に示されるように、派生顔特徴点４１、４２は、３次元顔特徴点２１、２２を中心に３次元正規分布に従って分布する。そして位置ずれ量Eiが小さい左目尻における３次元顔特徴点２１の周辺では、派生顔特徴点４１は狭い範囲で分布するが、位置ずれ量Eiが大きい左口角における３次元顔特徴点２２の周辺では、派生顔特徴点４２は広い範囲で分布する。
【００３６】
なお、（５）式では、確率分布p(Pi')は、共分散行列が対角行列に制限された正規分布を用いる例を示したが、派生顔特徴点算出手段１１２は、共分散行列に制限のない正規分布を用いてもよい。
【００３７】
また、派生顔特徴点算出手段１１２は、各２次元顔特徴点の３次元投影点を正規分布の中心としてもよい。つまりこの場合、各２次元顔特徴点の投影直線上の、その２次元顔特徴点に対応する３次元顔特徴点との距離が最短となる点、又は各２次元顔特徴点を３次元空間に投影する直線と３次元形状モデルの表面との交点が正規分布の中心となる。２次元顔特徴点の３次元投影点をQi=(Xi,Yi,Zi)Tとすると、確率分布p(Pi')は、例えば次式のように表すことができる。
【数７】
例えば、顔特徴点抽出手段１０３が抽出した顔画像の２次元顔特徴点の位置の、対象者の顔における正しい特徴点の位置に対する誤差が小さい場合、３次元空間における正しい特徴点の位置は、３次元投影点の近傍に存在する可能性が高い。従ってその場合には、（７）式を用いて派生顔特徴点を求めることにより、対応する２次元顔特徴点と位置が合う派生顔特徴点を生成できる可能性がより高くなるので、顔画像処理装置１００は、より信頼性の高い派生形状モデルを作成することができる。
【００３８】
また派生顔特徴点算出手段１１２は、非正規分布を用いて派生顔特徴点Pi'を生成してもよい。例えば、３次元顔特徴点Piからみて対応する３次元投影点が存在する側の反対側に、正しい特徴点が存在する可能性は低い。そこで派生顔特徴点算出手段１１２は、３次元顔特徴点Piからみて対応する３次元投影点が存在しない側には派生顔特徴点Pi'が分布しないようにしてもよい。これにより顔画像処理装置１００は、より効率的に３次元形状モデルを作成することができる。
【００３９】
また派生顔特徴点算出手段１１２は、全ての３次元投影点に対して派生顔特徴点を生成してもよいが、必ずしもその必要はない。対応する２次元特徴点との位置ずれ量が十分に小さい３次元特徴点については、その３次元特徴点をそのまま用いて３次元形状モデルを作成しても、対象者の顔画像に類似した３次元形状モデルを作成することができる。そのため派生顔特徴点算出手段１１２は、位置ずれ量が所定値未満となる３次元特徴点に対しては派生顔特徴点を生成しなくてもよい。なお、この所定値は、前述のように例えば３次元形状モデルを２次元の顔画像に投影したときに２次元の顔画像上で同一の画素になると考えられる範囲の大きさに定めることができる。
またこの場合、例えば派生顔特徴点算出手段１１２は、位置ずれ量が所定値以上となる３次元特徴点に対して、予め定められた数の派生顔特徴点を予め定められたグリッド状に生成してもよい。また派生顔特徴点算出手段１１２は、３次元特徴点の位置ずれ量が大きいほど派生顔特徴点を生成するグリッドの幅を大きくしてもよい。これにより顔画像処理装置１００は、３次元顔画像作成処理の負荷を抑制しつつ、対象者の顔と特徴点の配置が類似する３次元形状モデルを作成することができる。
【００４０】
また派生顔特徴点算出手段１１２は、３次元特徴点の位置ずれ量が大きいほど生成する派生顔特徴点を増やし、位置ずれ量が小さいほど生成する派生顔特徴点を少なくしてもよい。これにより顔画像処理装置１００は、形状が異なる可能性の高い部分において３次元顔特徴点を変形させた派生形状モデルを増やしつつ、形状が類似する可能性の高い部分において３次元顔特徴点を変形させた派生形状モデルの作成を抑制することになる。そのため顔画像処理装置１００は、３次元顔画像作成処理の負荷を抑制しつつ、対象者の顔と特徴点の配置が類似する３次元形状モデルを効率的に作成することができる。
【００４１】
そして派生顔特徴点算出手段１１２は、派生顔特徴点セットを作成する。
例えば図４に示すように、派生顔特徴点算出手段１１２は、３次元形状モデル２０の各３次元顔特徴点２１、２２又は各３次元顔特徴点２１、２２を派生させた派生顔特徴点４１、４２をそれぞれ組み合わせた派生顔特徴点セット５０を作成する。例えば各３次元顔特徴点について同数の派生顔特徴点を生成する場合、作成する派生顔特徴点セット５０の数は、各３次元顔特徴点に対する派生顔特徴点の数に（３次元顔特徴点の分として）１を加えた数を、派生顔特徴点を生成した３次元顔特徴点の数で累乗した値となる。作成する派生顔特徴点セット５０の数が多いほど、３次元顔画像作成処理に要する時間が長くなるが、作成される３次元顔画像の特徴的な部位の位置が対象者の特徴的な部位の位置と類似する可能性は高くなる。一方、作成する派生顔特徴点セット５０の数が少ないほど、作成される３次元顔画像の特徴的な部位の位置が対象者の特徴的な部位の位置と類似する可能性は低くなるが、３次元顔画像作成処理に要する時間は短くなる。あるいは各３次元顔特徴点又は３次元投影点から近い位置の派生顔特徴点に限定し、作成する派生顔特徴点セット５０の数に一定の上限を設けてもよい。
【００４２】
ここで、位置合わせ手段１１１の説明に戻り、位置合わせ手段１１１は、派生顔特徴点算出手段１１２から取得したそれぞれの派生顔特徴点セットについて、派生顔特徴点セットに含まれる、３次元顔特徴点又は派生顔特徴点を回転、並進、拡大／縮小して、派生顔特徴点セットの配置が、対応する２次元顔特徴点の配置に最も一致するように位置合わせを行い、その位置合わせ情報を算出する。そして位置合わせ手段１１１は、位置合わせ情報を用いて派生顔特徴点セットと２次元顔特徴点の位置合わせをしたときの位置合わせ誤差を算出する。また位置合わせ手段１１１は、それぞれの派生顔特徴点セットについて、位置ずれ量Ei、位置合わせ情報及び位置情報を派生モデル作成手段１０５へ出力する。なお、この場合の位置合わせ方法及び位置合わせ誤差の算出方法は、各２次元顔特徴点に対して３次元形状モデルの各３次元顔特徴点を位置合わせする場合と同様であるため、説明を省略する。
【００４３】
派生モデル作成手段１０５は、派生顔特徴点セットごとに、位置合わせ手段１１１から出力された派生顔特徴点セットについての位置ずれ量Ei、位置合わせ情報及び位置情報を用いて、記憶手段２５０に記憶されている３次元形状モデルを派生顔特徴点セットに対応して変形させた派生形状モデルを作成する。
派生形状モデルを作成するために、まず派生モデル作成手段１０５は、各３次元顔特徴点について派生顔特徴点セットの対応する特徴点に一致するよう位置を変えることで３次元形状モデルを変形する。例えば、派生モデル作成手段１０５は、３次元形状モデルを３次元顔特徴点から構成される３次元メッシュで表現し、その３次元メッシュをＴｈｉｎ−Ｐｌａｔｅ Ｓｐｌｉｎｅ、ｐｉｅｃｅｗｉｓｅ ａｆｆｉｎｅ等により派生顔特徴点セットから構成される３次元メッシュに変形することにより、３次元形状モデルを変形する。
次に派生モデル作成手段１０５は、変形した３次元形状モデルを、派生顔特徴点セットの位置合わせ情報を用いて、３次元空間の正規直交座標系(X,Y,Z)の各軸に沿って回転、並進、及び拡大／縮小して顔画像と同じ方向を向くように変換し、これを派生形状モデルとする。
【００４４】
派生モデル作成手段１０５は、位置合わせ手段１１１から出力された派生顔特徴点セットの数だけ派生形状モデルを作成する。そして派生モデル作成手段１０５は、記憶手段１０１に記憶されている元の３次元形状モデル及び作成した派生形状モデルを光源方向推定手段１０６、陰影画像作成手段１０７及び類似形状選択手段１０９へ出力する。
【００４５】
光源方向推定手段１０６は、画像入力手段１０２から出力された顔画像と派生モデル作成手段１０５から出力された元の３次元形状モデル及び派生形状モデルから、顔画像に写った顔に照射された光の光源方向を推定する。光源方向を推定するための方法として、公知の様々な方法を用いることができる。例えば、光源方向推定手段１０６は、以下の方法により顔画像における輝度分布から光源方向を推定する。
【００４６】
まず、顔表面は、その表面により拡散される光の強度がその表面の法線とのなす角の余弦に比例する完全拡散面（ランバート面）であると仮定する。例えば、顔画像の左上端部を原点とし、顔に対して水平に左から右へ向かう方向にx軸、顔に対して垂直に上から下へ向かう方向にy軸が設定された２次元の座標系において、顔画像上の位置(x,y)における輝度E(x,y)は、次式により、顔の３次元形状、光源の方向及び顔表面の反射率で決定されると考えられる。
【数８】
（８）式において、ρ(x,y)は、位置(x,y)における顔表面の反射率、l0は光源係数、lは光源方向ベクトルを表す。またn(x,y)は、位置(x,y)に対応する元の３次元形状モデル又は派生形状モデル上の点における、顔表面に対する法線ベクトルを表す。あるいは、n(x,y)は、位置(x,y)に対応する元の３次元形状モデル上の点における、顔表面に対する法線ベクトルを近似値として用いてもよい。その場合、元の３次元形状モデルから作成した全ての派生形状モデルについて共通の法線ベクトルを使用でき、法線ベクトルの算出処理の負荷を軽減できる。
【００４７】
ここで、顔の皮膚は場所によらず同一の成分で構成されると仮定し、（８）式においてρ(x,y)は一定値γを有するものとする。この場合、（８）式は光源係数l0及び光源方向lを未知数とした方程式となる。そこで、光源方向推定手段１０６は、顔画像における顔の皮膚に相当する領域内の各画素において、（８）式を立てて連立方程式とし、この連立方程式を解くことによって派生形状モデルごとの光源係数l0及び光源方向lを求めることができる。なお、一定値γは、顔画像における顔の皮膚に相当する領域の輝度値の平均値、最頻値または中央値若しくはその近傍値に設定することができる。
【００４８】
また、顔表面の反射率ρ(x,y)を一定と仮定する際、皮膚でない部位に相当する領域、例えば、目、口、鼻孔、眉毛、髪の毛などの領域を除外することが好ましい。そこで、光源方向推定手段１０６は、これらの皮膚でない部位に相当する領域を光源推定マスク領域とし、上記の連立方程式を立てる際に光源推定マスク領域内の画素を用いないことで、高精度に光源方向を推定することができる。
【００４９】
あるいは、光源方向推定手段１０６は、予め様々な光源方向でモデルとなる人物の顔を撮影した標準的な顔画像若しくはシミュレーションにより求めた同等の顔画像を用意しておき、それらと顔画像とのパターンマッチングをおこなって、最も一致する顔画像を決定することにより、光源方向を推定してもよい。さらにまた、光源方向推定手段１０６は、照明光源と顔画像を取得したカメラの位置関係、または照明光源から放射される照明光の方向及びカメラの撮影方向の関係が予め分かっている場合、それらの関係に基づいて光源方向を決定してもよい。
【００５０】
そして光源方向推定手段１０６は、光源方向を示す光源方向情報を、対応する３次元形状モデル及び派生形状モデルに関連付けて陰影画像作成手段１０７へ出力する。
【００５１】
陰影画像作成手段１０７は、光源方向推定手段１０６から出力された光源方向情報と派生モデル作成手段１０５から出力された３次元形状モデル及び派生形状モデルを取得する。そして陰影画像作成手段１０７は、派生形状モデルに対して、対応する光源方向情報に示された光源方向にしたがってレンダリングし、当該方向から光を照射した場合の２次元投影画像である陰影画像を作成する。例えば、陰影画像作成手段１０７は以下の手順で陰影画像を作成する。
派生形状モデルに、光源方向情報に示された光源方向から光を照射した場合、その顔形状モデルの任意の点(X,Y,Z)における光の反射強度、すなわち輝度E(X,Y,Z)は、次式によって表現できる。
【数９】
（９）式において、l0及びlは、それぞれ光源方向推定手段１０６により求められた光源係数及び光源方向ベクトルである。またγは、顔表面の皮膚に相当する部位の反射率であり、例えば、光源方向推定手段１０６において設定されたものと同一の値を有する。さらに、n(X,Y,Z)は、派生形状モデル上の点(X,Y,Z)における、顔表面に対する法線方向ベクトルを表す。あるいは、n(X,Y,Z)は、３次元形状モデル上の点(X,Y,Z)における、顔表面に対する法線方向ベクトルとしてもよい。その場合、その３次元形状モデルから作成した全ての派生形状モデルについて共通の法線ベクトルを使用でき、法線ベクトルの算出処理の負荷を軽減できる。
【００５２】
陰影画像作成手段１０７は、（９）式に基づいて、派生形状モデル上の各点(X,Y,Z)における輝度を求める。そして陰影画像作成手段１０７は、派生形状モデル上の各点(X,Y,Z)を、２次元平面上の対応する点(x,y)に投影する。その後、陰影画像作成手段１０７は、輝度値を適切に調整して、投影された各点(x,y)の輝度がオーバーフローまたはアンダーフローしないようにグレースケール化し、陰影画像を得る。
【００５３】
同様に陰影画像作成手段１０７は、３次元形状モデルに対して、対応する光源方向情報に示された光源方向にしたがってレンダリングし、当該方向から光を照射した場合の陰影画像を作成する。
そして陰影画像作成手段１０７は、３次元形状モデル及び各派生形状モデルに対してそれぞれ求めた陰影画像を類似度算出手段１０８へ出力する。
【００５４】
類似度算出手段１０８は、画像入力手段１０２から出力された顔画像の輝度分布と陰影画像作成手段１０７から出力された陰影画像の輝度分布との類似度を、各陰影画像について算出する。そのために、類似度算出手段１０８は、顔画像の各点について、ＲＧＢで表される輝度値をグレースケールの輝度値に変換して、単色顔画像を作成する。そして類似度算出手段１０８は、単色顔画像と陰影画像の対応する画素の輝度値の平均二乗誤差の逆数を算出し、類似度とする。
【００５５】
なお、類似度算出手段１０８は、類似度として、輝度値の平均二乗誤差の代わりに、単色顔画像と陰影画像の正規化相関値など、これら２枚の画像の輝度値系列の類似度を評価できる他の指標を用いてもよい。
また、類似度算出手段１０８は、上記の光源推定マスク領域に対応する領域を、類似度の算出領域から除外してもよい。この場合、類似度算出手段１０８は、目、鼻、口などの輝度が顔の皮膚と大きく異なる部位に依存せず、顔の輪郭形状の類似性などをより正確に反映した類似度を求めることができる。
また、類似度算出手段１０８は、顔画像及び陰影画像の顔を表す領域全体で一つの類似度を算出してもよいし、複数の領域に分割してその領域ごとに類似度を算出してもよい。
類似度算出手段１０８は、各陰影画像について算出した類似度を類似形状選択手段１０９へ出力する。
【００５６】
類似形状選択手段１０９は、派生モデル作成手段１０５から出力された３次元形状モデル及び派生形状モデルと、類似度算出手段１０８から出力された類似度を取得する。そして類似形状選択手段１０９は、各陰影画像について算出された類似度を参照して、最も類似度の高い陰影画像に対応する３次元形状モデル又は派生形状モデルを選択し、最類似顔形状モデルとする。
【００５７】
なお、類似形状選択手段１０９は、対応する類似度が高い方から順にＭ個の派生形状モデルを選択し、それらを平均化して最類似顔形状モデルとしてもよい。なお所定数Ｍは、例えば、２、３などの固定値としてもよく、あるいは、記憶手段１０１に記憶された３次元形状モデルの総数に占める所定の割合（例えば、５％または１０％）に相当する値としてもよい。
また、類似度算出手段１０８が顔画像及び陰影画像を複数の領域に分割してその領域ごとに類似度を算出している場合、類似形状選択手段１０９は、その領域に対応するように３次元形状モデル及び派生形状モデルを分割する。そして類似形状選択手段１０９は、分割した領域ごとに最も類似度の高い陰影画像に対応する３次元形状モデル又は派生形状モデルを選択し、それらを合成したものを最類似顔形状モデルとしてもよい。さらに、類似形状選択手段１０９は、分割した領域ごとに、対応する類似度が高い方から順にＭ個の３次元形状モデル又は派生形状モデルを選択して平均化し、それらを合成したものを最類似顔形状モデルとしてもよい。このように複数に分割した領域ごとに類似顔形状モデルを作成することにより、顔画像処理装置１００は、より高精度に類似顔形状モデルを作成することができる。
類似形状選択手段１０９は、求めた最類似顔形状モデルを個人モデル作成手段１１０へ出力する。
【００５８】
個人モデル作成手段１１０は、類似形状選択手段１０９から出力された最類似顔形状モデルに、顔画像をテクスチャ画像としてマッピングすることにより、対象者の３次元顔画像を作成する。つまり個人モデル作成手段１１０は、顔画像の各２次元顔特徴点と、各２次元顔特徴点に対応する、最類似顔形状モデルの３次元顔特徴点又は派生顔特徴点セットとの位置が合うように、位置合わせ情報を用いて顔画像をテクスチャ画像として最類似顔形状モデルにマッピングする。
【００５９】
なお、前述のように顔の一部が見えなくなるオクルージョンが発生し、顔画像において顔の一部分の情報が欠落していることもある。そこで、顔画像をマッピングした３次元顔画像に顔の情報やテクスチャの欠落部分が生じる場合、個人モデル作成手段１１０は、マッピングを行う前あるいはマッピングを行なった後に、欠落部分の周囲の画素の輝度情報を用いて補間処理（例えば、スプライン補間、線形補間）を行って、欠落部分の画素の輝度値を算出する。
あるいは、個人モデル作成手段１１０は、人の顔には対称性があることを利用して、欠落部分の対称位置に相当する画素の輝度値を、その欠落部分の画素の輝度値としてもよい。例えば、欠落部分に対して、顔の正中線を中心とした線対称の位置の画素の輝度値を、その欠落部分の画素の輝度値とすることができる。
あるいは、個人モデル作成手段１１０は、欠落部分については３次元形状モデルの対応する部分のテクスチャ画像を用いて補間処理を行ってもよい。
このような補間処理を行うことにより、顔画像が取得された時に、対象者が顔の一部が隠れる方向を向いていたり、遮蔽物の陰に対象者の顔の一部が隠れている場合であっても、対象者の顔全体を表現した３次元顔画像を作成することができる。
個人モデル作成手段１１０は、作成した３次元顔画像を、記憶手段１０１に記憶するか、あるいは、顔画像処理装置１００を利用して、照合処理を行う顔認証装置などへ出力する。
【００６０】
以下、図５に示したフローチャートを参照しつつ、本発明を適用した顔画像処理装置１００による３次元顔画像作成処理の動作を説明する。なお、以下に説明する動作のフローは、顔画像処理装置１００を構成するマイクロプロセッサ上で動作し、顔画像処理装置１００全体を制御する制御手段（図示せず）により制御される。
最初に、顔画像処理装置１００は、画像入力手段１０２を介して、２次元画像である対象者の顔画像を取得する（ステップＳ５０１）。次に、顔特徴点抽出手段１０３は、取得された顔画像から２次元顔特徴点を抽出する（ステップＳ５０２）。
【００６１】
以下のステップＳ５０３〜Ｓ５１３の処理は、記憶手段１０１に３次元形状モデルが複数記憶されている場合には、そのそれぞれについて行われる。記憶手段１０１に記憶されている３次元形状モデルが標準的な顔の３次元形状モデルを表すモデル１つのみの場合は、後述するステップＳ５１４は必要ない。位置合わせ情報算出手段１０４の位置合わせ手段１１１は、ステップＳ５０にて抽出された各２次元顔特徴点に対する、各３次元顔特徴点の位置ずれ量Eiから求められる全体の位置ずれ量Eが最小となるように、各３次元顔特徴点を、正規直交座標系(X,Y,Z)の各軸に沿って回転または併進させたり、拡大／縮小させたりする。そして位置合わせ手段１１１は、全体の位置ずれ量Eが最小となるときの、各２次元顔特徴点に対応する、各３次元顔特徴点の位置ずれ量Eiを派生顔特徴点算出手段１１２に出力する（ステップＳ５０３）。
【００６２】
以下のステップＳ５０４〜Ｓ５１０の処理は、派生形状モデルごとに行われる。派生顔特徴点算出手段１１２は、３次元形状モデルの各３次元顔特徴点の位置を位置ずれ量Eiに基づいて変えた派生顔特徴点を生成する（ステップＳ５０４）。そして派生顔特徴点算出手段１１２は、顔の特徴点ごとに、対応する３次元顔特徴点又は派生顔特徴点から選択した特徴点を組み合わせた派生顔特徴点セットを作成する。次に、位置合わせ手段１１１は、ステップＳ５０３の処理と同様にして、２次元顔特徴点に対して派生顔特徴点セットの位置合わせを行い、派生顔特徴点セットの位置合わせ情報を求める（ステップＳ５０５）。次に、派生モデル作成手段１０５は、３次元形状モデルについて、３次元顔特徴点を派生顔特徴点セットの対応する特徴点に移すように変形し、さらに派生顔特徴点セットの位置合わせ情報を用いて顔画像と同じ方向を向くように変換して派生形状モデルを作成する（ステップＳ５０６）。
【００６３】
次に、光源方向推定手段１０６は、顔画像に基づいて、派生形状モデルを用いて光源方向を推定し、推定した光源方向を表す光源方向情報を出力する（ステップＳ５０７）。そして、陰影画像作成手段１０７は、派生形状モデルを、光源方向情報にしたがってレンダリングして２次元平面に投影し、陰影画像を作成する（ステップＳ５０８）。その後、類似度算出手段１０８は、作成された陰影画像と、画像入力手段２１０により取得された顔画像との類似度を算出する（ステップＳ５０９）。
【００６４】
そして、所定数Ｎの派生形状モデルが作成され、それぞれの類似度が算出されたか否かが判定される（ステップＳ５１０）。所定数Ｎは、顔画像との類似度が算出される派生形状モデルの数、すなわち派生モデル作成手段１０５が作成すべき派生形状モデルの数であり、その数に上限を設ける場合には例えば500とすることができる。まだ所定数Ｎの派生形状モデルが作成されておらず、類似度が算出されていない場合、ステップＳ５０４〜Ｓ５０９の処理が繰り返され、新たな派生形状モデルが作成され、その類似度が算出される。
一方、ステップＳ５１０において、所定数Ｎの派生形状モデルが作成され、類似度が算出されたと判定されると、光源方向推定手段１０６は、３次元形状モデルを用いて光源方向を推定し、推定した光源方向を表す光源方向情報を出力する（ステップＳ５１１）。そして、陰影画像作成手段１０７は、３次元形状モデルを、光源方向情報にしたがってレンダリングして２次元平面に投影し、陰影画像を作成する（ステップＳ５１２）。その後、類似度算出手段１０８は、作成された陰影画像と顔画像との類似度を算出する（ステップＳ５１３）。
そして、全ての３次元形状モデルについて派生形状モデルが作成され、各３次元形状モデル及び各派生形状モデルに対して顔画像との類似度が算出されたか否かが判定される（ステップＳ５１４）。まだ派生形状モデルが作成されておらず、その３次元形状モデル及び各派生形状モデルと顔画像との類似度が算出されていない３次元形状モデルが存在する場合、制御はステップＳ５０３に戻り、ステップＳ５０３〜Ｓ５１３の処理が繰り返される。
【００６５】
一方、ステップＳ５１４において、全ての３次元形状モデルについて派生形状モデルが作成され、各３次元形状モデル及び各派生形状モデルと顔画像との類似度が算出されたと判定されると、類似形状選択手段１０９は、その類似度にしたがって、顔画像に最も近い３次元形状モデル又は派生形状モデルから、最類似顔形状モデルを決定する（ステップＳ５１２）。最後に、個人モデル作成手段２９０は、最類似顔形状モデルに、顔画像をテクスチャ画像としてマッピングすることにより、対象者の３次元顔画像を作成する（ステップＳ２９０）。
【００６６】
以上説明してきたように、本発明を適用した顔画像処理装置１００は、記憶手段１０１に予め記憶された３次元形状モデルにおける３次元顔特徴点と、画像入力手段１０２から入力された２次元顔画像から抽出した２次元顔特徴点との位置ずれ量を算出する。そして顔画像処理装置１００は、位置ずれ量が所定の閾値以上の３次元顔特徴点について位置を変えた派生顔特徴点を生成する。さらに顔画像処理装置１００は、位置ずれ量が所定の閾値以上の３次元顔特徴点については元の３次元顔特徴点または派生顔特徴点から選択した特徴点を組み合わせ、位置ずれ量が所定の閾値未満の３次元顔特徴点については元の３次元顔特徴点を組み合わせて、派生顔特徴点セットを生成する。そして顔画像処理装置１００は、３次元顔特徴点が派生顔特徴点セットに一致するように３次元形状モデルを変形して派生形状モデルを作成し、作成した派生形状モデル又は元の３次元形状モデルのうち２次元顔画像に最も類似するものに基づいて３次元顔画像を作成する。これにより、顔画像処理装置１００は、特殊な表面計測装置を用いることなく、また予め多人数の顔の形状データを収集していなくても、対象者の２次元の顔画像から特徴的な部位の位置をその対象者の顔により良好に一致させた３次元顔画像を作成できる。これにより、眉骨又は頬骨の張り出し具合、顎の形状などの個々人が持つ顔形状の特徴を有する３次元顔画像を作成することも可能となる。また、複数の３次元形状モデルを準備することにより、多様な派生形状モデルを作成できるので、対象者の２次元顔画像に対して各顔特徴点の位置が良好に一致する派生形状モデルを提供できる可能性がより高くなる。
【００６７】
さらに顔画像処理装置１００は、位置合わせの結果、３次元顔特徴点の、対応する２次元顔特徴点に対する位置ずれ量が大きいほど、その３次元顔特徴点に対応する派生顔特徴点を大きい範囲に分布させる。これにより、対象者の２次元顔画像に対して各顔特徴点の位置が良好に一致する派生形状モデルを提供できる可能性がより高くなる。
さらに顔画像処理装置１００は、位置合わせの結果、３次元顔特徴点の、対応する２次元顔特徴点に対する位置ずれ量が大きいほど、その３次元顔特徴点に対応する派生顔特徴点の数を増やす。これにより、対象者の顔と形状が類似する可能性の高い部分について３次元顔特徴点を変動させた派生形状モデルを作成する数を抑制でき、３次元顔画像作成処理の負荷を軽減できる。
【００６８】
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、ステップＳ５０７及びＳ５１１に示した光源方向推定手段による光源方向推定処理を省略してもよい。その場合、ステップＳ５０８及びＳ５１２において陰影画像作成手段は光源方向情報に示された光源方向に従わずに派生形状モデル及び３次元形状モデルをレンダリングした２次元画像を作成する。そしてステップＳ５０９及びＳ５１３において類似度算出手段は、その２次元画像と顔画像の輝度分布の類似度を算出する。これにより顔画像処理装置は、３次元顔画像作成処理の負荷を軽減できる。
【００６９】
また、ステップＳ５０４に示した派生顔特徴点の生成処理において、派生顔特徴点算出手段は、その３次元形状モデルに対する全ての派生顔特徴点を一括して算出してもよい。その場合、ステップＳ５１０において、所定数Ｎの派生形状モデルに対して、類似度が算出されていない場合、顔画像処理装置は、制御をステップＳ５０５に戻し、ステップＳ５０５〜Ｓ５０９の処理を繰り返す。これにより顔画像処理装置は、３次元顔画像作成処理の負荷を軽減できる。
【００７０】
また、派生顔特徴点算出手段は、作成した全ての派生顔特徴点セットについての情報を位置合わせ手段に出力するのではなく、２次元顔特徴点との位置ずれ量が最も小さい派生顔特徴点セットについての情報のみ、位置合わせ手段に出力してもよい。その場合、派生モデル作成手段は、３次元形状モデルごとに一つの派生形状モデルを作成する。そして光源方向推定手段、陰影画像作成手段、類似度算出手段及び類似形状選択手段は、それぞれその派生形状モデル及び元の３次元形状モデルに対してのみ光源方向推定処理、陰影画像作成処理、類似度算出処理及び類似形状選択処理を行う。これにより顔画像処理装置は、３次元顔画像作成処理の負荷を軽減できる。
【００７１】
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
【符号の説明】
【００７２】
１００ 顔画像処理装置
１０１ 記憶手段
１０２ 画像入力手段
１０３ 顔特徴点抽出手段
１０４ 位置合わせ情報算出手段
１０５ 派生モデル作成手段
１０６ 光源方向推定手段
１０７ 陰影画像作成手段
１０８ 類似度算出手段
１０９ 類似形状選択手段
１１０ 個人モデル作成手段
１１１ 位置合わせ手段
１１２ 派生顔特徴点算出手段
【技術分野】
【０００１】
本発明は、顔画像処理装置に関し、特に、個人を撮影した２次元の顔画像を３次元の顔形状データにマッピングした３次元顔画像を作成する顔画像処理装置に関する。
【背景技術】
【０００２】
従来より、対象者の顔を撮影して取得した２次元の顔画像を登録された顔画像と照合することにより、その対象者を認証する顔認証装置が提案されている。このような顔認証装置は、事前に対象者本人の顔画像を登録しておき、利用時に取得した顔画像と比較した結果に基づいて、認証の可否を決定する。そのため、登録時の顔画像と利用時の顔画像との間に、顔の向き、照明条件、表情などにおいて差異が生じていると、照合の際の誤り率が高くなるという問題があった。
【０００３】
そこで、特許文献１には、顔画像の照合に使用するための、対象者の顔の複数の２次元画像を作成するサンプル画像収集方法が提案されている。この画像収集方法は、表面計測装置を用いて、取得した顔の３次元の表面形状データ及びカラー情報から対象者の顔の３次元コンピュータグラフィックスモデルを作成する。そして、その画像収集方法は、そのモデルに基づいて顔の向き又は照明条件を変動させてレンダリングすることにより、複数の２次元顔画像を作成する。
【０００４】
また、特許文献２には、標準的な顔の３次元形状を表す標準フレームモデルを用いて、照合の際に使用する複数の参照顔画像を作成する顔画像照合装置が提案されている。この顔画像照合装置は、照合の際に取得した対象者の２次元顔画像と上記の標準フレームモデルを合成して対象者の顔に対応した３次元顔モデル（３次元顔画像）を作成する。そして顔画像照合装置は、３次元顔モデルに対して顔の向き、照明条件又は表情といった変動要因を考慮してレンダリングを行うことにより、参照顔画像を作成する。
【０００５】
また、特許文献３には、事前に準備された顔の３次元形状を表す３次元形状モデルを変形させた派生形状モデルを用いて、対象者の顔形状をあらわす３次元顔画像を作成する顔画像処理装置が提案されている。この顔画像処理装置は、３次元形状モデルを、鼻尖点などの基準点に対して高さ方向又は上下の長さの比率を変えるように変形した派生形状モデルを作成する。そして顔画像処理装置は、派生形状モデル又は３次元形状モデルのうち、画像入力手段から取得した対象者の２次元顔画像に最も類似するモデルと２次元顔画像を合成して３次元顔画像を作成する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平４−２５６１８５号公報
【特許文献２】特開２００３−６６４５号公報
【特許文献３】特開２００９−２１１１４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載された画像収集方法では、対象者ごとに顔の３次元コンピュータグラフィックスモデルを作成する必要がある。しかし、そのモデルの作成には、特殊な表面計測装置を用いて対象者本人の顔を計測する必要があるため、各対象者の顔の３次元コンピュータグラフィックスモデルを作成することは容易でない。そのため、係る画像収集方法を、一般に利用される顔認証装置に適用することは困難であった。
【０００８】
一方、特許文献２に記載された顔画像照合装置では、３次元形状を表すモデルとして、標準的な顔に対応する標準フレームモデルが１ないし複数準備される。この標準フレームモデルは一度作成すればよく、係る顔画像照合装置の何れについても使用することができるので、上記のような問題は生じない。しかし、標準フレームモデルは、標準的な顔の形状に対応するものであるため、眉骨又は頬骨の張り出し具合、顎の形状などの個々人が持つ顔形状の特徴を反映するものではない。また、特許文献２には、３次元顔モデルを作成するために用いる標準フレームモデルとして、対象者の性別、年齢等の属性情報に応じた標準フレームモデルを選択する方法も開示されている。しかし、対象者の属性情報が同じであっても顔形状の特徴が異なる場合がある。そのため、対象者の顔に適した３次元顔モデルを作成できる顔画像処理装置がさらに望まれていた。
【０００９】
また、特許文献３に記載された顔画像処理装置は、対象者の顔の特徴的な部位の位置にあわせて３次元形状モデルを変形して派生形状モデルを作成するので、対象者の顔により適した３次元顔画像を作成することができる。しかし、この派生形状モデルは、事前に準備された３次元形状モデルに対して、基準点に対する高さ方向又は上下の長さの比率のみを変えたものであり、それぞれの特徴的な部位の位置をより良好に一致させた３次元顔画像を作成できる顔画像処理装置がさらに望まれている。
【００１０】
そこで、本発明の目的は、特殊な表面計測装置を用いることなく、顔の３次元形状を表す３次元形状モデルを用いて、対象者の２次元の顔画像から特徴的な部位の位置をその対象者の顔により良好に一致させた３次元顔画像を作成する顔画像処理装置を提供することにある。
【課題を解決するための手段】
【００１１】
かかる課題を解決するための本発明は、人物の顔が含まれる２次元顔画像と顔の３次元形状を表す３次元形状モデルを合成してその人物の顔に対応した３次元顔画像を作成する顔画像処理装置を提供する。係る顔画像処理装置は、２次元顔画像を入力する画像入力手段と、予め３次元形状モデルと該３次元形状モデルにおける顔の特徴点を表す複数の３次元顔特徴点とを記憶する記憶手段と、２次元顔画像から顔の特徴点を表す複数の２次元顔特徴点を抽出する顔特徴点抽出手段と、３次元顔特徴点と当該３次元顔特徴点に対応する２次元顔特徴点との位置ずれ量を算出して位置合わせを行う位置合わせ手段と、位置ずれ量が所定の閾値以上の３次元顔特徴点について位置を変えた一または複数の派生顔特徴点を生成し、当該３次元顔特徴点については当該３次元顔特徴点または当該派生顔特徴点から選択した特徴点、位置ずれ量が所定の閾値未満の３次元顔特徴点については当該３次元顔特徴点を、顔の形状を形成するよう組み合わせた派生顔特徴点セットを生成する派生顔特徴点算出手段と、３次元形状モデルの３次元顔特徴点が派生顔特徴点セットに一致するよう３次元形状モデルを変形して派生形状モデルを作成する派生モデル作成手段と、派生形状モデル及び３次元形状モデルを２次元顔画像と比較して２次元顔画像に最も類似する派生形状モデルまたは３次元形状モデルを選択する類似形状選択手段と、選択された派生形状モデルまたは３次元形状モデルと２次元顔画像を合成して、人物の顔に対応した３次元顔画像を作成する個人モデル作成手段と、を有する。
【００１２】
さらに、本発明に係る顔画像処理装置において、派生顔特徴点算出手段は、対応する２次元顔特徴点に対する３次元顔特徴点の位置ずれ量が大きいほど、該３次元顔特徴点に対応する派生顔特徴点を広く分布させて生成することが好ましい。
【００１３】
さらに、本発明に係る顔画像処理装置において、派生顔特徴点算出手段は、対応する２次元顔特徴点に対する３次元顔特徴点の位置ずれ量が大きいほど、該３次元顔特徴点に対応する派生顔特徴点を数を増やして生成することが好ましい。
【発明の効果】
【００１４】
本発明に係る顔画像処理装置は、特殊な表面計測装置を用いることなく、顔の３次元形状を表す３次元形状モデルを用いて、対象者の２次元の顔画像から特徴的な部位の位置をその対象者の顔により良好に一致させた３次元顔画像を作成できるという効果を奏する。
【図面の簡単な説明】
【００１５】
【図１】本発明を適用した画像処理装置の概略構成図である。
【図２】顔画像と３次元形状モデルの関係を表す模式図である。
【図３】３次元顔特徴点と２次元顔特徴点の投影直線との間の距離と位置ずれ量の関係を示すグラフである。
【図４】派生顔特徴点及び派生顔特徴点組を示す模式図である。
【図５】本発明を適用した画像処理装置における３次元顔画像作成処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の一実施形態である顔画像処理装置について図を参照しつつ説明する。
本発明を適用した顔画像処理装置は、対象者の２次元の顔画像を取得すると、その２次元の顔画像から、事前に準備された顔の３次元形状を表す３次元形状モデルにおける顔の特徴点を表す特徴点を抽出する。そして顔画像処理装置は、３次元形状モデルの特徴点の配置が２次元の顔画像の特徴点の配置に最も一致するように位置合わせを行い、その結果、３次元形状モデルにおいて、２次元の顔画像の特徴点との位置ずれ量が所定以上の特徴点について位置を変えた複数の派生顔特徴点を生成し、その派生顔特徴点を用いて派生形状モデルを作成する。そして顔画像処理装置は、作成した派生形状モデル及び元の３次元形状モデルのうち２次元の顔画像に最も類似するものに基づいて３次元顔画像を作成することにより、対象者の顔とそれぞれの特徴的な部位の位置が良好に一致する３次元顔画像を作成する。
【００１７】
図１は、本発明を適用した顔画像処理装置１００の概略構成を示す図である。図１に示すように、顔画像処理装置１００は、記憶手段１０１、画像入力手段１０２、顔特徴点抽出手段１０３、位置合わせ情報算出手段１０４、派生モデル作成手段１０５、光源方向推定手段１０６、陰影画像作成手段１０７、類似度算出手段１０８、類似形状選択手段１０９及び個人モデル作成手段１１０を有する。
このうち、顔特徴点抽出手段１０３、位置合わせ情報算出手段１０４、派生モデル作成手段１０５、光源方向推定手段１０６、陰影画像作成手段１０７、類似度算出手段１０８、類似形状選択手段１０９及び個人モデル作成手段１１０は、それぞれ、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。あるいは、これらの手段を、ファームウェアにより一体化して構成してもよい。また、これらの手段の一部または全てを、独立した電子回路、ファームウェア、マイクロプロセッサなどで構成してもよい。以下、顔画像処理装置１００の各部について詳細に説明する。
【００１８】
記憶手段１０１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などの半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。そして記憶手段１０１は、顔画像処理装置１００を制御するためのコンピュータプログラム、各種パラメータ及びデータなどを記憶する。また記憶手段１０１は、顔の３次元形状モデルと、該３次元形状モデルにおける顔の特徴点を表す複数の３次元顔特徴点とを記憶する。３次元形状モデルは複数存在してもよく、また一つであってもよい。３次元形状モデルは、人物の顔の３次元形状を表すフレームモデルであって、ワイヤーフレームモデルあるいはサーフェイスモデル等が用いられる。なお３次元形状モデルは、例えば、複数の人物の顔形状からそれぞれ作成してもよいし、多数の人物の顔形状を模した顔形状モデルを平均化して作成してもよい。あるいは形状の類似度が高い顔が同じカテゴリになるように、多数の顔形状モデルをカテゴライズし、同一カテゴリ内の顔形状モデルを平均化するなどして作成してもよい。
【００１９】
ここで、３次元顔特徴点は、目、鼻、口など、形状若しくは色成分について他と異なる特徴的な部位の何れかの点、例えばそれらの部位の中心点若しくは端点を表す。例えば、３次元顔特徴点には、眉頭、眉尻、黒目中心、目領域中心、目頭、目尻、鼻尖点、鼻孔中心、口点（口中心）、口角点などが含まれる。なお、記憶する３次元顔特徴点の種類及び数に制限はないが、記憶する３次元顔特徴点は、顔特徴点抽出手段１０３において抽出可能な２次元顔画像の顔特徴点と同じ部位の特徴点であること、又は少なくともこれらの特徴点を全て含むことが好ましい。本実施形態では、３次元顔特徴点として、左右それぞれの目領域中心、目頭及び目尻と、鼻尖点、口点、並びに左右の口角点の１０箇所を記憶するものとした。
【００２０】
画像入力手段１０２は、例えば、監視カメラ等の画像取得手段と接続されるインターフェース回路であり、画像取得手段により２次元顔画像として取得された対象者の顔画像を顔画像処理装置１００に入力する。また、予め撮影された１ないし複数の顔画像を含む履歴情報を記録した記録媒体が存在する場合、画像入力手段１０２は、そのような記録媒体にアクセスするための読み取り装置と、キーボード、マウスなどの入力デバイスとディスプレイを含むユーザインターフェースとを有していてもよい。この場合、ユーザは、画像入力手段１０２のユーザインターフェースを介して、履歴情報から何れか一つの顔画像を選択する。なお、顔画像は、顔全体を含み、かつ顔の各特徴部分（目、鼻、口など）を他の特徴部分と区別できるものであれば、顔の向きは正面向きでも斜め向きでもよい。さらに顔画像は、グレースケールまたはカラーの多階調の画像とすることができるが、人の肌部分の特徴を抽出し易いカラーの多階調画像とすることが好ましい。本実施形態では、顔画像を、１２８×１２８画素を有し、ＲＧＢ各色について８ビットの輝度分解能を持つカラー画像とした。ただし、顔画像として、この実施形態以外の解像度及び階調を有するものを使用してもよい。
画像入力手段１０２は、取得した顔画像を、顔特徴点抽出手段１０３、光源方向推定手段１０６、類似度算出手段１０８及び個人モデル作成手段１１０へ出力する。
【００２１】
顔特徴点抽出手段１０３は、画像入力手段１０２から出力された顔画像から顔の特徴点を表す顔特徴点（以下、２次元顔特徴点と称する）を抽出する。そして顔特徴点抽出手段１０３は、抽出した２次元顔特徴点の種別と顔画像上の位置情報（例えば、顔画像の左上端部を原点とする２次元座標値）を、位置合わせ情報算出手段１０４へ出力する。本実施形態において、顔特徴点抽出手段１０３は、記憶手段１０１に記憶されている各３次元顔特徴点（目領域中心、鼻尖点、口角点などの１０箇所）に対応する２次元顔特徴点を抽出する。顔特徴点抽出手段１０３は、顔画像から２次元顔特徴点を抽出するための公知の様々な手法を用いることができる。例えば、顔特徴点抽出手段１０３は、顔画像に対してエッジ抽出処理を行って周辺画素との輝度差が大きいエッジ画素を抽出する。そして顔特徴点抽出手段１０３は、エッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、各２次元顔特徴点を抽出することができる。また顔特徴点抽出手段１０３は、エッジ抽出処理を行ってエッジ画素を抽出する代わりに、ガボール変換処理あるいはウェーブレット変換処理を行って、異なる複数の空間周波数帯域で局所的に変化の大きい画素を抽出してもよい。さらに顔特徴点抽出手段１０３は、顔の各部位に相当するテンプレートと顔画像とのテンプレートマッチングを行って顔の各部位の位置を特定することにより、２次元顔特徴点を抽出してもよい。さらにまた、顔特徴点抽出手段１０３は、キーボード、マウス及びディスプレイなどで構成されるユーザインターフェース（図示せず）を介してユーザに各２次元顔特徴点の位置を指定させることにより、各２次元顔特徴点を取得してもよい。
【００２２】
位置合わせ情報算出手段１０４は、記憶手段１０１に記憶された３次元形状モデルと画像入力手段１０２から入力された２次元顔画像との位置合わせ、後述する派生モデル作成手段１０５にて用いる派生顔特徴点セットの生成などを行う。位置合わせ情報算出手段１０４は、記憶手段１０１に記憶された３次元形状モデルの各３次元顔特徴点の配置が、顔特徴点抽出手段１０３によって顔画像から抽出された各２次元顔特徴点の配置に最も一致するように位置合わせを行う。また位置合わせ情報算出手段１０４は、派生モデル作成手段１０５が派生顔特徴点セットに基づいて作成する派生形状モデルについて、派生顔特徴点セットを用いて２次元顔画像との位置合わせを行う。派生顔特徴点セットの詳細については後述する。そして位置合わせ情報算出手段１０４は、その位置合わせの結果として得られる位置合わせ情報を派生モデル作成手段１０５へ出力する。そのために、位置合わせ情報算出手段１０４は、位置合わせ手段１１１と、派生顔特徴点算出手段１１２とを有する。
【００２３】
位置合わせ手段１１１は、３次元形状モデルの各３次元顔特徴点を、回転、並進、拡大／縮小して、各３次元顔特徴点の配置が、各２次元顔特徴点の配置と最も一致するように位置合わせを行い、その位置合わせ情報を算出する。このとき位置合わせ手段１１１は、位置合わせの前後において各３次元顔特徴点間の相対的な位置関係を保持するように、すなわち位置合わせ前の各３次元顔特徴点の配置と位置合わせ後の各３次元顔特徴点の配置が互いに相似になるように各３次元顔特徴点を移動させる。
位置合わせ情報は、例えば、３次元形状モデルに対して設定された３次元の正規直交座標系(X,Y,Z)の各軸に沿った回転角、並進量、及び拡大／縮小率を含む。この正規直交座標系(X,Y,Z)では、例えば、３次元形状モデル上の複数の３次元顔特徴点の重心を原点とし、顔に対して水平かつ左から右へ向かう方向にX軸、顔に対して水平かつ後方から前方へ向かう方向にY軸、顔に対して垂直に下から上へ向かう方向にZ軸が設定される。
【００２４】
そして位置合わせ手段１１１は、算出した各位置合わせ情報を評価するために、各位置合わせ情報を用いて各３次元顔特徴点と対応する２次元顔特徴点の位置合わせをしたときの位置合わせ誤差を算出する。
位置合わせ手段１１１は、例えば、以下のように位置合わせ誤差を算出する。まず位置合わせ手段１１１は、各２次元顔特徴点を３次元形状モデルの３次元空間に投影する。
図２に、顔画像と３次元形状モデルの関係を模式的に示す。図２に示すように、位置合わせ手段１１１は、カメラ位置３０を原点として顔画像１０の各２次元顔特徴点１１、１２を３次元形状モデル２０の３次元空間に投影する。位置合わせ手段１１１は、カメラ位置３０を原点として各２次元顔特徴点１１、１２を３次元空間に投影した投影直線３１、３２と、各３次元顔特徴点２１、２２の位置関係から、３次元形状モデル２０の特徴点の配置と顔画像１０の特徴点の配置とを比較することができる。
【００２５】
本実施形態においては、記憶手段１０１に記憶された３次元形状モデルは、標準的な顔の３次元形状を表すモデルを想定しており、対象者の顔形状を模したモデルではない。そのため各３次元顔特徴点２１、２２の配置と各２次元顔特徴点１１、１２の配置とは一般に異なる。従って、左目尻における３次元顔特徴点２１のように投影直線３１との最短距離が小さい特徴点と、左口角における３次元顔特徴点２２のように投影直線３２との最短距離が大きい特徴点とが存在する。そのため、全ての３次元顔特徴点の配置が２次元顔特徴点の配置と完全に一致するように位置合わせをすることは一般にできない。
一方で、全ての３次元顔特徴点を、対応する２次元顔特徴点に、まんべんなく位置合わせをすると、求めたい３次元顔画像は、顔の形状に対してまんべんなくテクスチャ情報がずれた、質の悪いものとなる。そこで、投影直線との最短距離の評価に軽重をつけることとする。
【００２６】
位置合わせ手段１１１は、注目する３次元顔特徴点について、その注目する３次元顔特徴点に対応する２次元顔特徴点に対する位置ずれ量Eiを算出し、その位置ずれ量Eiの総和として全体の位置ずれ量Eを求める。全体の位置ずれ量Eは、例えば以下の式で表される。
【数１】
位置合わせ手段１１１は、この全体の位置ずれ量Eが最小となるように、各３次元顔特徴点を３次元の正規直交座標系(X,Y,Z)の各軸に沿って回転または並進させたり、拡大または縮小させたりする。位置合わせ手段１１１は、例えば、シミュレーティッドアニーリングまたは最急降下法などの最適化法を用いて、全体の位置ずれ量Eが最小となるときの３次元形状モデルの姿勢変化量（回転角、並進量、及び拡大／縮小率）を求めることができる。位置合わせ手段１１１は、上記の姿勢変化により最小となった全体の位置ずれ量Eを、３次元顔特徴点の２次元顔特徴点に対する位置合わせ誤差とする。
【００２７】
また（１）式において、位置ずれ量Eiは、例えば以下の式で表される。
【数２】
（２）式において、diは、注目する３次元顔特徴点と、その注目する３次元顔特徴点に対応する２次元顔特徴点の投影直線との最短距離である。この場合、３次元空間における２次元顔特徴点に対応する点（以下、３次元投影点と称する）は、２次元顔特徴点の投影直線上の、その２次元顔特徴点に対応する３次元顔特徴点に最も近い点となる。またσは、距離diと位置ずれ量Eiの関係を定める係数である。
【００２８】
図３に、距離diと位置ずれ量Eiの関係を示す。図３において、横軸は距離diを、縦軸は位置ずれ量Eiを表し、グラフ３０１はσ=0.0017の場合の、グラフ３０２はσ=0.017の場合の、グラフ３０３はσ=0.17の場合の距離diと位置ずれ量Eiの関係をそれぞれ表す。
図３に示されるように、diの変化に対する位置ずれ量Eiの変化量は、diが大きい領域よりdiが小さい領域の方が大きい。つまり距離diが大きい特徴点をより近づけるよりも、距離diが小さい特徴点をより近づけるように調整する方が、位置ずれ量Eiの減少幅が大きくなり、全体の位置ずれ量Eをより小さくすることができる。
また図３では、例えば距離di＞0.2の領域において、グラフ３０１の位置ずれ量Eiは1に漸近しているが、グラフ３０３の位置ずれ量Eiは漸近していない。つまり位置ずれ量Eiは、σが小さい場合、距離diがより小さい領域で所定値に漸近するが、σが大きい場合、距離diがより大きい領域でなければ所定値に漸近しない。このようにσの値により、距離diと位置ずれ量Eiの関係を調整することができ、σの値は、顔画像処理装置１００が設置される環境、その目的などに応じて適宜定められる。本実施形態ではσ＝0.017としている。
【００２９】
このように位置合わせ手段１１１は、（２）式により算出した位置ずれ量Eiを用いて全体の位置ずれ量Eを最小にするように位置合わせすることにより、距離diがより小さい３次元顔特徴点を優先的に、対応する３次元投影点に近づけるように位置合わせする。これにより位置合わせ手段１１１は、（２）式により算出した位置ずれ量Eiが小さい３次元顔特徴点ほど、より対応する２次元顔特徴点に一致させるように位置合わせすることができる。
【００３０】
なお位置ずれ量Eiは、距離diが小さいほど距離diの変化に対する位置ずれ量Eiの変化量が小さくなるように算出されるものであれば、どのようなものであってもよく、例えば、（３）式で表されるシグモイド関数、又は（４）式で表される関数を用いてもよい。
【数３】
【数４】
（３）式及び（４）式において、αは、それぞれ距離diと位置ずれ量Eiの関係を定める係数であり、αの値は、顔画像処理装置１００が設置される環境、その目的などに応じて適宜定められる。
また距離diは、注目する３次元顔特徴点と、その注目する３次元顔特徴点に対応する２次元顔特徴点の投影直線との最短距離に限られない。例えば距離diは、注目する３次元顔特徴点と、その注目する３次元顔特徴点に対応する２次元顔特徴点の投影直線と３次元形状モデルの表面の交点との距離としてもよい。この場合、２次元顔特徴点の投影直線と３次元形状モデルの表面の交点が３次元投影点となる。
なお、鼻などの顔上に突起した部位に隠れて、あるいは遮蔽物などにより顔の一部が見えなくなるオクルージョンが発生し、顔画像において顔の一部分の情報が欠落しており、２次元特徴点の一部が抽出できないときは、対応すべき３次元特徴点については位置ずれ量Eiを算出しないこととする。
【００３１】
位置合わせ手段１１１は、全体の位置ずれ量Eが最小となったときの各３次元顔特徴点の、正規直交座標系(X,Y,Z)の各軸に沿った回転角、並進量、及び拡大／縮小率を位置合わせ情報とする。また位置合わせ手段１１１は、各３次元顔特徴点について、位置ずれ量Ei及び位置合わせ情報を派生顔特徴点算出手段１１２へ出力する。
【００３２】
派生顔特徴点算出手段１１２は、３次元形状モデル上の３次元顔特徴点と、当該３次元顔特徴点に対応する２次元顔特徴点との位置ずれ量Eiが所定値以上の３次元顔特徴点を特定する。そして、特定した３次元顔特徴点における３次元位置情報のみを周辺位置に派生させた１または複数の派生顔特徴点を生成する。
つまり、２次元顔特徴点との位置ずれ量が所定値以上の３次元顔特徴点に対して、一つの顔の特徴点について、この派生元となった３次元顔特徴点とかかる派生顔特徴点が存在することとなる。
そして、派生顔特徴点算出手段１１２は、一つの３次元形状モデルを形成する複数の３次元顔特徴点の組み合わせである顔特徴点セットを作成する。派生顔特徴点が生成されている３次元顔特徴点については、派生元となった３次元顔特徴点と当該派生顔特徴点から一つを順次顔の特徴点ごとに選択し、顔特徴点セットを生成する。派生顔特徴点が生成されていない３次元顔特徴点については、その３次元顔特徴点をそのまま用いて顔特徴点セットを生成する。ここでは、これらの顔特徴点セットのことを派生顔特徴点セットと呼ぶ。
この所定値は、例えば、３次元形状モデルを２次元の顔画像に投影したときに２次元の顔画像上で同一の画素になると考えられる範囲の大きさに定めることができる。
【００３３】
位置ずれ量が大きい３次元顔特徴点は、対応する２次元顔特徴点の３次元投影点と位置が大きく異なるため、その３次元顔特徴点の周辺において対象者の顔と３次元形状モデルの形状が大きく異なる可能性が高い。従って例えば、各３次元顔特徴点をその位置ずれ量に応じて変動させることにより、位置ずれ量の大きい特徴点、すなわち形状が大きく異なる可能性が高い部分において３次元形状モデルを重点的に変形することができ、対象者の顔に類似する３次元形状モデルを効率的に作成することができる。例えば図２に示した例では、顔画像処理装置１００は、まず左目尻における３次元顔特徴点２１を基準として位置合わせを行い、その後左口角における３次元顔特徴点２２を大きく変動させることにより、対象者の顔に類似する３次元形状モデルを効率的に作成することができる。そこで本実施形態では、派生顔特徴点算出手段１１２は、３次元顔特徴点と、当該３次元顔特徴点に対応する２次元顔特徴点の位置ずれ量Eiが所定値以上の３次元顔特徴点について位置を変えた複数の派生顔特徴点を生成する。
【００３４】
例えば、派生顔特徴点算出手段１１２は、各３次元顔特徴点について位置ずれ量Eiから求められる確率分布に従ってその３次元顔特徴点の位置を変えた派生顔特徴点を生成する。例えば、ある３次元顔特徴点をPi=(Xi,Yi,Zi)T、派生顔特徴点をPi'=(Xi',Yi',Zi')Tとすると、確率分布p(Pi')は、次式のように３次元顔特徴点Piと位置ずれ量Eiから求められる正規分布で表すことができる。
【数５】
ここでd(Ei)は位置ずれ量Eiから求められ、例えば次式により算出することができる。
【数６】
ここでβは、正規分布の各次元の分散を定める係数である。βが大きいほど３次元顔特徴点Piと派生顔特徴点Pi'の距離は大きくなり、βが小さいほど３次元顔特徴点Piと派生顔特徴点Pi'の距離は小さくなる。βの値は、顔画像処理装置１００が設置される環境、その目的などに応じて適宜定められ、例えばβ＝0.7とすることができる。
【００３５】
図４は、（５）式により作成した派生顔特徴点Pi'を示す模式図である。図４において派生顔特徴点は記号「＋」であらわされる。図４に示されるように、派生顔特徴点４１、４２は、３次元顔特徴点２１、２２を中心に３次元正規分布に従って分布する。そして位置ずれ量Eiが小さい左目尻における３次元顔特徴点２１の周辺では、派生顔特徴点４１は狭い範囲で分布するが、位置ずれ量Eiが大きい左口角における３次元顔特徴点２２の周辺では、派生顔特徴点４２は広い範囲で分布する。
【００３６】
なお、（５）式では、確率分布p(Pi')は、共分散行列が対角行列に制限された正規分布を用いる例を示したが、派生顔特徴点算出手段１１２は、共分散行列に制限のない正規分布を用いてもよい。
【００３７】
また、派生顔特徴点算出手段１１２は、各２次元顔特徴点の３次元投影点を正規分布の中心としてもよい。つまりこの場合、各２次元顔特徴点の投影直線上の、その２次元顔特徴点に対応する３次元顔特徴点との距離が最短となる点、又は各２次元顔特徴点を３次元空間に投影する直線と３次元形状モデルの表面との交点が正規分布の中心となる。２次元顔特徴点の３次元投影点をQi=(Xi,Yi,Zi)Tとすると、確率分布p(Pi')は、例えば次式のように表すことができる。
【数７】
例えば、顔特徴点抽出手段１０３が抽出した顔画像の２次元顔特徴点の位置の、対象者の顔における正しい特徴点の位置に対する誤差が小さい場合、３次元空間における正しい特徴点の位置は、３次元投影点の近傍に存在する可能性が高い。従ってその場合には、（７）式を用いて派生顔特徴点を求めることにより、対応する２次元顔特徴点と位置が合う派生顔特徴点を生成できる可能性がより高くなるので、顔画像処理装置１００は、より信頼性の高い派生形状モデルを作成することができる。
【００３８】
また派生顔特徴点算出手段１１２は、非正規分布を用いて派生顔特徴点Pi'を生成してもよい。例えば、３次元顔特徴点Piからみて対応する３次元投影点が存在する側の反対側に、正しい特徴点が存在する可能性は低い。そこで派生顔特徴点算出手段１１２は、３次元顔特徴点Piからみて対応する３次元投影点が存在しない側には派生顔特徴点Pi'が分布しないようにしてもよい。これにより顔画像処理装置１００は、より効率的に３次元形状モデルを作成することができる。
【００３９】
また派生顔特徴点算出手段１１２は、全ての３次元投影点に対して派生顔特徴点を生成してもよいが、必ずしもその必要はない。対応する２次元特徴点との位置ずれ量が十分に小さい３次元特徴点については、その３次元特徴点をそのまま用いて３次元形状モデルを作成しても、対象者の顔画像に類似した３次元形状モデルを作成することができる。そのため派生顔特徴点算出手段１１２は、位置ずれ量が所定値未満となる３次元特徴点に対しては派生顔特徴点を生成しなくてもよい。なお、この所定値は、前述のように例えば３次元形状モデルを２次元の顔画像に投影したときに２次元の顔画像上で同一の画素になると考えられる範囲の大きさに定めることができる。
またこの場合、例えば派生顔特徴点算出手段１１２は、位置ずれ量が所定値以上となる３次元特徴点に対して、予め定められた数の派生顔特徴点を予め定められたグリッド状に生成してもよい。また派生顔特徴点算出手段１１２は、３次元特徴点の位置ずれ量が大きいほど派生顔特徴点を生成するグリッドの幅を大きくしてもよい。これにより顔画像処理装置１００は、３次元顔画像作成処理の負荷を抑制しつつ、対象者の顔と特徴点の配置が類似する３次元形状モデルを作成することができる。
【００４０】
また派生顔特徴点算出手段１１２は、３次元特徴点の位置ずれ量が大きいほど生成する派生顔特徴点を増やし、位置ずれ量が小さいほど生成する派生顔特徴点を少なくしてもよい。これにより顔画像処理装置１００は、形状が異なる可能性の高い部分において３次元顔特徴点を変形させた派生形状モデルを増やしつつ、形状が類似する可能性の高い部分において３次元顔特徴点を変形させた派生形状モデルの作成を抑制することになる。そのため顔画像処理装置１００は、３次元顔画像作成処理の負荷を抑制しつつ、対象者の顔と特徴点の配置が類似する３次元形状モデルを効率的に作成することができる。
【００４１】
そして派生顔特徴点算出手段１１２は、派生顔特徴点セットを作成する。
例えば図４に示すように、派生顔特徴点算出手段１１２は、３次元形状モデル２０の各３次元顔特徴点２１、２２又は各３次元顔特徴点２１、２２を派生させた派生顔特徴点４１、４２をそれぞれ組み合わせた派生顔特徴点セット５０を作成する。例えば各３次元顔特徴点について同数の派生顔特徴点を生成する場合、作成する派生顔特徴点セット５０の数は、各３次元顔特徴点に対する派生顔特徴点の数に（３次元顔特徴点の分として）１を加えた数を、派生顔特徴点を生成した３次元顔特徴点の数で累乗した値となる。作成する派生顔特徴点セット５０の数が多いほど、３次元顔画像作成処理に要する時間が長くなるが、作成される３次元顔画像の特徴的な部位の位置が対象者の特徴的な部位の位置と類似する可能性は高くなる。一方、作成する派生顔特徴点セット５０の数が少ないほど、作成される３次元顔画像の特徴的な部位の位置が対象者の特徴的な部位の位置と類似する可能性は低くなるが、３次元顔画像作成処理に要する時間は短くなる。あるいは各３次元顔特徴点又は３次元投影点から近い位置の派生顔特徴点に限定し、作成する派生顔特徴点セット５０の数に一定の上限を設けてもよい。
【００４２】
ここで、位置合わせ手段１１１の説明に戻り、位置合わせ手段１１１は、派生顔特徴点算出手段１１２から取得したそれぞれの派生顔特徴点セットについて、派生顔特徴点セットに含まれる、３次元顔特徴点又は派生顔特徴点を回転、並進、拡大／縮小して、派生顔特徴点セットの配置が、対応する２次元顔特徴点の配置に最も一致するように位置合わせを行い、その位置合わせ情報を算出する。そして位置合わせ手段１１１は、位置合わせ情報を用いて派生顔特徴点セットと２次元顔特徴点の位置合わせをしたときの位置合わせ誤差を算出する。また位置合わせ手段１１１は、それぞれの派生顔特徴点セットについて、位置ずれ量Ei、位置合わせ情報及び位置情報を派生モデル作成手段１０５へ出力する。なお、この場合の位置合わせ方法及び位置合わせ誤差の算出方法は、各２次元顔特徴点に対して３次元形状モデルの各３次元顔特徴点を位置合わせする場合と同様であるため、説明を省略する。
【００４３】
派生モデル作成手段１０５は、派生顔特徴点セットごとに、位置合わせ手段１１１から出力された派生顔特徴点セットについての位置ずれ量Ei、位置合わせ情報及び位置情報を用いて、記憶手段２５０に記憶されている３次元形状モデルを派生顔特徴点セットに対応して変形させた派生形状モデルを作成する。
派生形状モデルを作成するために、まず派生モデル作成手段１０５は、各３次元顔特徴点について派生顔特徴点セットの対応する特徴点に一致するよう位置を変えることで３次元形状モデルを変形する。例えば、派生モデル作成手段１０５は、３次元形状モデルを３次元顔特徴点から構成される３次元メッシュで表現し、その３次元メッシュをＴｈｉｎ−Ｐｌａｔｅ Ｓｐｌｉｎｅ、ｐｉｅｃｅｗｉｓｅ ａｆｆｉｎｅ等により派生顔特徴点セットから構成される３次元メッシュに変形することにより、３次元形状モデルを変形する。
次に派生モデル作成手段１０５は、変形した３次元形状モデルを、派生顔特徴点セットの位置合わせ情報を用いて、３次元空間の正規直交座標系(X,Y,Z)の各軸に沿って回転、並進、及び拡大／縮小して顔画像と同じ方向を向くように変換し、これを派生形状モデルとする。
【００４４】
派生モデル作成手段１０５は、位置合わせ手段１１１から出力された派生顔特徴点セットの数だけ派生形状モデルを作成する。そして派生モデル作成手段１０５は、記憶手段１０１に記憶されている元の３次元形状モデル及び作成した派生形状モデルを光源方向推定手段１０６、陰影画像作成手段１０７及び類似形状選択手段１０９へ出力する。
【００４５】
光源方向推定手段１０６は、画像入力手段１０２から出力された顔画像と派生モデル作成手段１０５から出力された元の３次元形状モデル及び派生形状モデルから、顔画像に写った顔に照射された光の光源方向を推定する。光源方向を推定するための方法として、公知の様々な方法を用いることができる。例えば、光源方向推定手段１０６は、以下の方法により顔画像における輝度分布から光源方向を推定する。
【００４６】
まず、顔表面は、その表面により拡散される光の強度がその表面の法線とのなす角の余弦に比例する完全拡散面（ランバート面）であると仮定する。例えば、顔画像の左上端部を原点とし、顔に対して水平に左から右へ向かう方向にx軸、顔に対して垂直に上から下へ向かう方向にy軸が設定された２次元の座標系において、顔画像上の位置(x,y)における輝度E(x,y)は、次式により、顔の３次元形状、光源の方向及び顔表面の反射率で決定されると考えられる。
【数８】
（８）式において、ρ(x,y)は、位置(x,y)における顔表面の反射率、l0は光源係数、lは光源方向ベクトルを表す。またn(x,y)は、位置(x,y)に対応する元の３次元形状モデル又は派生形状モデル上の点における、顔表面に対する法線ベクトルを表す。あるいは、n(x,y)は、位置(x,y)に対応する元の３次元形状モデル上の点における、顔表面に対する法線ベクトルを近似値として用いてもよい。その場合、元の３次元形状モデルから作成した全ての派生形状モデルについて共通の法線ベクトルを使用でき、法線ベクトルの算出処理の負荷を軽減できる。
【００４７】
ここで、顔の皮膚は場所によらず同一の成分で構成されると仮定し、（８）式においてρ(x,y)は一定値γを有するものとする。この場合、（８）式は光源係数l0及び光源方向lを未知数とした方程式となる。そこで、光源方向推定手段１０６は、顔画像における顔の皮膚に相当する領域内の各画素において、（８）式を立てて連立方程式とし、この連立方程式を解くことによって派生形状モデルごとの光源係数l0及び光源方向lを求めることができる。なお、一定値γは、顔画像における顔の皮膚に相当する領域の輝度値の平均値、最頻値または中央値若しくはその近傍値に設定することができる。
【００４８】
また、顔表面の反射率ρ(x,y)を一定と仮定する際、皮膚でない部位に相当する領域、例えば、目、口、鼻孔、眉毛、髪の毛などの領域を除外することが好ましい。そこで、光源方向推定手段１０６は、これらの皮膚でない部位に相当する領域を光源推定マスク領域とし、上記の連立方程式を立てる際に光源推定マスク領域内の画素を用いないことで、高精度に光源方向を推定することができる。
【００４９】
あるいは、光源方向推定手段１０６は、予め様々な光源方向でモデルとなる人物の顔を撮影した標準的な顔画像若しくはシミュレーションにより求めた同等の顔画像を用意しておき、それらと顔画像とのパターンマッチングをおこなって、最も一致する顔画像を決定することにより、光源方向を推定してもよい。さらにまた、光源方向推定手段１０６は、照明光源と顔画像を取得したカメラの位置関係、または照明光源から放射される照明光の方向及びカメラの撮影方向の関係が予め分かっている場合、それらの関係に基づいて光源方向を決定してもよい。
【００５０】
そして光源方向推定手段１０６は、光源方向を示す光源方向情報を、対応する３次元形状モデル及び派生形状モデルに関連付けて陰影画像作成手段１０７へ出力する。
【００５１】
陰影画像作成手段１０７は、光源方向推定手段１０６から出力された光源方向情報と派生モデル作成手段１０５から出力された３次元形状モデル及び派生形状モデルを取得する。そして陰影画像作成手段１０７は、派生形状モデルに対して、対応する光源方向情報に示された光源方向にしたがってレンダリングし、当該方向から光を照射した場合の２次元投影画像である陰影画像を作成する。例えば、陰影画像作成手段１０７は以下の手順で陰影画像を作成する。
派生形状モデルに、光源方向情報に示された光源方向から光を照射した場合、その顔形状モデルの任意の点(X,Y,Z)における光の反射強度、すなわち輝度E(X,Y,Z)は、次式によって表現できる。
【数９】
（９）式において、l0及びlは、それぞれ光源方向推定手段１０６により求められた光源係数及び光源方向ベクトルである。またγは、顔表面の皮膚に相当する部位の反射率であり、例えば、光源方向推定手段１０６において設定されたものと同一の値を有する。さらに、n(X,Y,Z)は、派生形状モデル上の点(X,Y,Z)における、顔表面に対する法線方向ベクトルを表す。あるいは、n(X,Y,Z)は、３次元形状モデル上の点(X,Y,Z)における、顔表面に対する法線方向ベクトルとしてもよい。その場合、その３次元形状モデルから作成した全ての派生形状モデルについて共通の法線ベクトルを使用でき、法線ベクトルの算出処理の負荷を軽減できる。
【００５２】
陰影画像作成手段１０７は、（９）式に基づいて、派生形状モデル上の各点(X,Y,Z)における輝度を求める。そして陰影画像作成手段１０７は、派生形状モデル上の各点(X,Y,Z)を、２次元平面上の対応する点(x,y)に投影する。その後、陰影画像作成手段１０７は、輝度値を適切に調整して、投影された各点(x,y)の輝度がオーバーフローまたはアンダーフローしないようにグレースケール化し、陰影画像を得る。
【００５３】
同様に陰影画像作成手段１０７は、３次元形状モデルに対して、対応する光源方向情報に示された光源方向にしたがってレンダリングし、当該方向から光を照射した場合の陰影画像を作成する。
そして陰影画像作成手段１０７は、３次元形状モデル及び各派生形状モデルに対してそれぞれ求めた陰影画像を類似度算出手段１０８へ出力する。
【００５４】
類似度算出手段１０８は、画像入力手段１０２から出力された顔画像の輝度分布と陰影画像作成手段１０７から出力された陰影画像の輝度分布との類似度を、各陰影画像について算出する。そのために、類似度算出手段１０８は、顔画像の各点について、ＲＧＢで表される輝度値をグレースケールの輝度値に変換して、単色顔画像を作成する。そして類似度算出手段１０８は、単色顔画像と陰影画像の対応する画素の輝度値の平均二乗誤差の逆数を算出し、類似度とする。
【００５５】
なお、類似度算出手段１０８は、類似度として、輝度値の平均二乗誤差の代わりに、単色顔画像と陰影画像の正規化相関値など、これら２枚の画像の輝度値系列の類似度を評価できる他の指標を用いてもよい。
また、類似度算出手段１０８は、上記の光源推定マスク領域に対応する領域を、類似度の算出領域から除外してもよい。この場合、類似度算出手段１０８は、目、鼻、口などの輝度が顔の皮膚と大きく異なる部位に依存せず、顔の輪郭形状の類似性などをより正確に反映した類似度を求めることができる。
また、類似度算出手段１０８は、顔画像及び陰影画像の顔を表す領域全体で一つの類似度を算出してもよいし、複数の領域に分割してその領域ごとに類似度を算出してもよい。
類似度算出手段１０８は、各陰影画像について算出した類似度を類似形状選択手段１０９へ出力する。
【００５６】
類似形状選択手段１０９は、派生モデル作成手段１０５から出力された３次元形状モデル及び派生形状モデルと、類似度算出手段１０８から出力された類似度を取得する。そして類似形状選択手段１０９は、各陰影画像について算出された類似度を参照して、最も類似度の高い陰影画像に対応する３次元形状モデル又は派生形状モデルを選択し、最類似顔形状モデルとする。
【００５７】
なお、類似形状選択手段１０９は、対応する類似度が高い方から順にＭ個の派生形状モデルを選択し、それらを平均化して最類似顔形状モデルとしてもよい。なお所定数Ｍは、例えば、２、３などの固定値としてもよく、あるいは、記憶手段１０１に記憶された３次元形状モデルの総数に占める所定の割合（例えば、５％または１０％）に相当する値としてもよい。
また、類似度算出手段１０８が顔画像及び陰影画像を複数の領域に分割してその領域ごとに類似度を算出している場合、類似形状選択手段１０９は、その領域に対応するように３次元形状モデル及び派生形状モデルを分割する。そして類似形状選択手段１０９は、分割した領域ごとに最も類似度の高い陰影画像に対応する３次元形状モデル又は派生形状モデルを選択し、それらを合成したものを最類似顔形状モデルとしてもよい。さらに、類似形状選択手段１０９は、分割した領域ごとに、対応する類似度が高い方から順にＭ個の３次元形状モデル又は派生形状モデルを選択して平均化し、それらを合成したものを最類似顔形状モデルとしてもよい。このように複数に分割した領域ごとに類似顔形状モデルを作成することにより、顔画像処理装置１００は、より高精度に類似顔形状モデルを作成することができる。
類似形状選択手段１０９は、求めた最類似顔形状モデルを個人モデル作成手段１１０へ出力する。
【００５８】
個人モデル作成手段１１０は、類似形状選択手段１０９から出力された最類似顔形状モデルに、顔画像をテクスチャ画像としてマッピングすることにより、対象者の３次元顔画像を作成する。つまり個人モデル作成手段１１０は、顔画像の各２次元顔特徴点と、各２次元顔特徴点に対応する、最類似顔形状モデルの３次元顔特徴点又は派生顔特徴点セットとの位置が合うように、位置合わせ情報を用いて顔画像をテクスチャ画像として最類似顔形状モデルにマッピングする。
【００５９】
なお、前述のように顔の一部が見えなくなるオクルージョンが発生し、顔画像において顔の一部分の情報が欠落していることもある。そこで、顔画像をマッピングした３次元顔画像に顔の情報やテクスチャの欠落部分が生じる場合、個人モデル作成手段１１０は、マッピングを行う前あるいはマッピングを行なった後に、欠落部分の周囲の画素の輝度情報を用いて補間処理（例えば、スプライン補間、線形補間）を行って、欠落部分の画素の輝度値を算出する。
あるいは、個人モデル作成手段１１０は、人の顔には対称性があることを利用して、欠落部分の対称位置に相当する画素の輝度値を、その欠落部分の画素の輝度値としてもよい。例えば、欠落部分に対して、顔の正中線を中心とした線対称の位置の画素の輝度値を、その欠落部分の画素の輝度値とすることができる。
あるいは、個人モデル作成手段１１０は、欠落部分については３次元形状モデルの対応する部分のテクスチャ画像を用いて補間処理を行ってもよい。
このような補間処理を行うことにより、顔画像が取得された時に、対象者が顔の一部が隠れる方向を向いていたり、遮蔽物の陰に対象者の顔の一部が隠れている場合であっても、対象者の顔全体を表現した３次元顔画像を作成することができる。
個人モデル作成手段１１０は、作成した３次元顔画像を、記憶手段１０１に記憶するか、あるいは、顔画像処理装置１００を利用して、照合処理を行う顔認証装置などへ出力する。
【００６０】
以下、図５に示したフローチャートを参照しつつ、本発明を適用した顔画像処理装置１００による３次元顔画像作成処理の動作を説明する。なお、以下に説明する動作のフローは、顔画像処理装置１００を構成するマイクロプロセッサ上で動作し、顔画像処理装置１００全体を制御する制御手段（図示せず）により制御される。
最初に、顔画像処理装置１００は、画像入力手段１０２を介して、２次元画像である対象者の顔画像を取得する（ステップＳ５０１）。次に、顔特徴点抽出手段１０３は、取得された顔画像から２次元顔特徴点を抽出する（ステップＳ５０２）。
【００６１】
以下のステップＳ５０３〜Ｓ５１３の処理は、記憶手段１０１に３次元形状モデルが複数記憶されている場合には、そのそれぞれについて行われる。記憶手段１０１に記憶されている３次元形状モデルが標準的な顔の３次元形状モデルを表すモデル１つのみの場合は、後述するステップＳ５１４は必要ない。位置合わせ情報算出手段１０４の位置合わせ手段１１１は、ステップＳ５０にて抽出された各２次元顔特徴点に対する、各３次元顔特徴点の位置ずれ量Eiから求められる全体の位置ずれ量Eが最小となるように、各３次元顔特徴点を、正規直交座標系(X,Y,Z)の各軸に沿って回転または併進させたり、拡大／縮小させたりする。そして位置合わせ手段１１１は、全体の位置ずれ量Eが最小となるときの、各２次元顔特徴点に対応する、各３次元顔特徴点の位置ずれ量Eiを派生顔特徴点算出手段１１２に出力する（ステップＳ５０３）。
【００６２】
以下のステップＳ５０４〜Ｓ５１０の処理は、派生形状モデルごとに行われる。派生顔特徴点算出手段１１２は、３次元形状モデルの各３次元顔特徴点の位置を位置ずれ量Eiに基づいて変えた派生顔特徴点を生成する（ステップＳ５０４）。そして派生顔特徴点算出手段１１２は、顔の特徴点ごとに、対応する３次元顔特徴点又は派生顔特徴点から選択した特徴点を組み合わせた派生顔特徴点セットを作成する。次に、位置合わせ手段１１１は、ステップＳ５０３の処理と同様にして、２次元顔特徴点に対して派生顔特徴点セットの位置合わせを行い、派生顔特徴点セットの位置合わせ情報を求める（ステップＳ５０５）。次に、派生モデル作成手段１０５は、３次元形状モデルについて、３次元顔特徴点を派生顔特徴点セットの対応する特徴点に移すように変形し、さらに派生顔特徴点セットの位置合わせ情報を用いて顔画像と同じ方向を向くように変換して派生形状モデルを作成する（ステップＳ５０６）。
【００６３】
次に、光源方向推定手段１０６は、顔画像に基づいて、派生形状モデルを用いて光源方向を推定し、推定した光源方向を表す光源方向情報を出力する（ステップＳ５０７）。そして、陰影画像作成手段１０７は、派生形状モデルを、光源方向情報にしたがってレンダリングして２次元平面に投影し、陰影画像を作成する（ステップＳ５０８）。その後、類似度算出手段１０８は、作成された陰影画像と、画像入力手段２１０により取得された顔画像との類似度を算出する（ステップＳ５０９）。
【００６４】
そして、所定数Ｎの派生形状モデルが作成され、それぞれの類似度が算出されたか否かが判定される（ステップＳ５１０）。所定数Ｎは、顔画像との類似度が算出される派生形状モデルの数、すなわち派生モデル作成手段１０５が作成すべき派生形状モデルの数であり、その数に上限を設ける場合には例えば500とすることができる。まだ所定数Ｎの派生形状モデルが作成されておらず、類似度が算出されていない場合、ステップＳ５０４〜Ｓ５０９の処理が繰り返され、新たな派生形状モデルが作成され、その類似度が算出される。
一方、ステップＳ５１０において、所定数Ｎの派生形状モデルが作成され、類似度が算出されたと判定されると、光源方向推定手段１０６は、３次元形状モデルを用いて光源方向を推定し、推定した光源方向を表す光源方向情報を出力する（ステップＳ５１１）。そして、陰影画像作成手段１０７は、３次元形状モデルを、光源方向情報にしたがってレンダリングして２次元平面に投影し、陰影画像を作成する（ステップＳ５１２）。その後、類似度算出手段１０８は、作成された陰影画像と顔画像との類似度を算出する（ステップＳ５１３）。
そして、全ての３次元形状モデルについて派生形状モデルが作成され、各３次元形状モデル及び各派生形状モデルに対して顔画像との類似度が算出されたか否かが判定される（ステップＳ５１４）。まだ派生形状モデルが作成されておらず、その３次元形状モデル及び各派生形状モデルと顔画像との類似度が算出されていない３次元形状モデルが存在する場合、制御はステップＳ５０３に戻り、ステップＳ５０３〜Ｓ５１３の処理が繰り返される。
【００６５】
一方、ステップＳ５１４において、全ての３次元形状モデルについて派生形状モデルが作成され、各３次元形状モデル及び各派生形状モデルと顔画像との類似度が算出されたと判定されると、類似形状選択手段１０９は、その類似度にしたがって、顔画像に最も近い３次元形状モデル又は派生形状モデルから、最類似顔形状モデルを決定する（ステップＳ５１２）。最後に、個人モデル作成手段２９０は、最類似顔形状モデルに、顔画像をテクスチャ画像としてマッピングすることにより、対象者の３次元顔画像を作成する（ステップＳ２９０）。
【００６６】
以上説明してきたように、本発明を適用した顔画像処理装置１００は、記憶手段１０１に予め記憶された３次元形状モデルにおける３次元顔特徴点と、画像入力手段１０２から入力された２次元顔画像から抽出した２次元顔特徴点との位置ずれ量を算出する。そして顔画像処理装置１００は、位置ずれ量が所定の閾値以上の３次元顔特徴点について位置を変えた派生顔特徴点を生成する。さらに顔画像処理装置１００は、位置ずれ量が所定の閾値以上の３次元顔特徴点については元の３次元顔特徴点または派生顔特徴点から選択した特徴点を組み合わせ、位置ずれ量が所定の閾値未満の３次元顔特徴点については元の３次元顔特徴点を組み合わせて、派生顔特徴点セットを生成する。そして顔画像処理装置１００は、３次元顔特徴点が派生顔特徴点セットに一致するように３次元形状モデルを変形して派生形状モデルを作成し、作成した派生形状モデル又は元の３次元形状モデルのうち２次元顔画像に最も類似するものに基づいて３次元顔画像を作成する。これにより、顔画像処理装置１００は、特殊な表面計測装置を用いることなく、また予め多人数の顔の形状データを収集していなくても、対象者の２次元の顔画像から特徴的な部位の位置をその対象者の顔により良好に一致させた３次元顔画像を作成できる。これにより、眉骨又は頬骨の張り出し具合、顎の形状などの個々人が持つ顔形状の特徴を有する３次元顔画像を作成することも可能となる。また、複数の３次元形状モデルを準備することにより、多様な派生形状モデルを作成できるので、対象者の２次元顔画像に対して各顔特徴点の位置が良好に一致する派生形状モデルを提供できる可能性がより高くなる。
【００６７】
さらに顔画像処理装置１００は、位置合わせの結果、３次元顔特徴点の、対応する２次元顔特徴点に対する位置ずれ量が大きいほど、その３次元顔特徴点に対応する派生顔特徴点を大きい範囲に分布させる。これにより、対象者の２次元顔画像に対して各顔特徴点の位置が良好に一致する派生形状モデルを提供できる可能性がより高くなる。
さらに顔画像処理装置１００は、位置合わせの結果、３次元顔特徴点の、対応する２次元顔特徴点に対する位置ずれ量が大きいほど、その３次元顔特徴点に対応する派生顔特徴点の数を増やす。これにより、対象者の顔と形状が類似する可能性の高い部分について３次元顔特徴点を変動させた派生形状モデルを作成する数を抑制でき、３次元顔画像作成処理の負荷を軽減できる。
【００６８】
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、ステップＳ５０７及びＳ５１１に示した光源方向推定手段による光源方向推定処理を省略してもよい。その場合、ステップＳ５０８及びＳ５１２において陰影画像作成手段は光源方向情報に示された光源方向に従わずに派生形状モデル及び３次元形状モデルをレンダリングした２次元画像を作成する。そしてステップＳ５０９及びＳ５１３において類似度算出手段は、その２次元画像と顔画像の輝度分布の類似度を算出する。これにより顔画像処理装置は、３次元顔画像作成処理の負荷を軽減できる。
【００６９】
また、ステップＳ５０４に示した派生顔特徴点の生成処理において、派生顔特徴点算出手段は、その３次元形状モデルに対する全ての派生顔特徴点を一括して算出してもよい。その場合、ステップＳ５１０において、所定数Ｎの派生形状モデルに対して、類似度が算出されていない場合、顔画像処理装置は、制御をステップＳ５０５に戻し、ステップＳ５０５〜Ｓ５０９の処理を繰り返す。これにより顔画像処理装置は、３次元顔画像作成処理の負荷を軽減できる。
【００７０】
また、派生顔特徴点算出手段は、作成した全ての派生顔特徴点セットについての情報を位置合わせ手段に出力するのではなく、２次元顔特徴点との位置ずれ量が最も小さい派生顔特徴点セットについての情報のみ、位置合わせ手段に出力してもよい。その場合、派生モデル作成手段は、３次元形状モデルごとに一つの派生形状モデルを作成する。そして光源方向推定手段、陰影画像作成手段、類似度算出手段及び類似形状選択手段は、それぞれその派生形状モデル及び元の３次元形状モデルに対してのみ光源方向推定処理、陰影画像作成処理、類似度算出処理及び類似形状選択処理を行う。これにより顔画像処理装置は、３次元顔画像作成処理の負荷を軽減できる。
【００７１】
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
【符号の説明】
【００７２】
１００ 顔画像処理装置
１０１ 記憶手段
１０２ 画像入力手段
１０３ 顔特徴点抽出手段
１０４ 位置合わせ情報算出手段
１０５ 派生モデル作成手段
１０６ 光源方向推定手段
１０７ 陰影画像作成手段
１０８ 類似度算出手段
１０９ 類似形状選択手段
１１０ 個人モデル作成手段
１１１ 位置合わせ手段
１１２ 派生顔特徴点算出手段
【特許請求の範囲】
【請求項１】
人物の顔が含まれる２次元顔画像と顔の３次元形状を表す３次元形状モデルを合成して該人物の顔に対応した３次元顔画像を作成する顔画像処理装置であって、
前記２次元顔画像を入力する画像入力手段と、
予め前記３次元形状モデルと該３次元形状モデルにおける顔の特徴点を表す複数の３次元顔特徴点とを記憶する記憶手段と、
前記２次元顔画像から前記顔の特徴点を表す複数の２次元顔特徴点を抽出する顔特徴点抽出手段と、
前記３次元顔特徴点と当該３次元顔特徴点に対応する前記２次元顔特徴点との位置ずれ量を算出して位置合わせを行う位置合わせ手段と、
前記位置ずれ量が所定の閾値以上の前記３次元顔特徴点について位置を変えた一または複数の派生顔特徴点を生成し、当該３次元顔特徴点については当該３次元顔特徴点または当該派生顔特徴点から選択した特徴点、前記位置ずれ量が所定の閾値未満の前記３次元顔特徴点については当該３次元顔特徴点を、顔の形状を形成するよう組み合わせた派生顔特徴点セットを生成する派生顔特徴点算出手段と、
前記３次元形状モデルの前記３次元顔特徴点が前記派生顔特徴点セットに一致するよう前記３次元形状モデルを変形して派生形状モデルを作成する派生モデル作成手段と、
前記派生形状モデル及び前記３次元形状モデルを前記２次元顔画像と比較して前記２次元顔画像に最も類似する派生形状モデルまたは前記３次元形状モデルを選択する類似形状選択手段と、
前記選択された派生形状モデルまたは前記３次元形状モデルと前記２次元顔画像を合成して、前記人物の顔に対応した前記３次元顔画像を作成する個人モデル作成手段と、
を有することを特徴とする顔画像処理装置。
【請求項２】
前記派生顔特徴点算出手段は、対応する前記２次元顔特徴点に対する前記３次元顔特徴点の位置ずれ量が大きいほど、該３次元顔特徴点に対応する前記派生顔特徴点を広く分布させて生成する、請求項１に記載の顔画像処理装置。
【請求項３】
前記派生顔特徴点算出手段は、対応する前記２次元顔特徴点に対する前記３次元顔特徴点の位置ずれ量が大きいほど、該３次元顔特徴点に対応する前記派生顔特徴点を数を増やして生成する、請求項１または２に記載の顔画像処理装置。
【請求項１】
人物の顔が含まれる２次元顔画像と顔の３次元形状を表す３次元形状モデルを合成して該人物の顔に対応した３次元顔画像を作成する顔画像処理装置であって、
前記２次元顔画像を入力する画像入力手段と、
予め前記３次元形状モデルと該３次元形状モデルにおける顔の特徴点を表す複数の３次元顔特徴点とを記憶する記憶手段と、
前記２次元顔画像から前記顔の特徴点を表す複数の２次元顔特徴点を抽出する顔特徴点抽出手段と、
前記３次元顔特徴点と当該３次元顔特徴点に対応する前記２次元顔特徴点との位置ずれ量を算出して位置合わせを行う位置合わせ手段と、
前記位置ずれ量が所定の閾値以上の前記３次元顔特徴点について位置を変えた一または複数の派生顔特徴点を生成し、当該３次元顔特徴点については当該３次元顔特徴点または当該派生顔特徴点から選択した特徴点、前記位置ずれ量が所定の閾値未満の前記３次元顔特徴点については当該３次元顔特徴点を、顔の形状を形成するよう組み合わせた派生顔特徴点セットを生成する派生顔特徴点算出手段と、
前記３次元形状モデルの前記３次元顔特徴点が前記派生顔特徴点セットに一致するよう前記３次元形状モデルを変形して派生形状モデルを作成する派生モデル作成手段と、
前記派生形状モデル及び前記３次元形状モデルを前記２次元顔画像と比較して前記２次元顔画像に最も類似する派生形状モデルまたは前記３次元形状モデルを選択する類似形状選択手段と、
前記選択された派生形状モデルまたは前記３次元形状モデルと前記２次元顔画像を合成して、前記人物の顔に対応した前記３次元顔画像を作成する個人モデル作成手段と、
を有することを特徴とする顔画像処理装置。
【請求項２】
前記派生顔特徴点算出手段は、対応する前記２次元顔特徴点に対する前記３次元顔特徴点の位置ずれ量が大きいほど、該３次元顔特徴点に対応する前記派生顔特徴点を広く分布させて生成する、請求項１に記載の顔画像処理装置。
【請求項３】
前記派生顔特徴点算出手段は、対応する前記２次元顔特徴点に対する前記３次元顔特徴点の位置ずれ量が大きいほど、該３次元顔特徴点に対応する前記派生顔特徴点を数を増やして生成する、請求項１または２に記載の顔画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−１８５５４５（Ｐ２０１２−１８５５４５Ａ）
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願番号】特願２０１１−４６５０１（Ｐ２０１１−４６５０１）
【出願日】平成２３年３月３日（２０１１．３．３）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願日】平成２３年３月３日（２０１１．３．３）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
[ Back to top ]