認証装置、認証方法及びプログラム
【課題】精度の高い認証技術を提供する。
【解決手段】認証装置は、認証対象者の顔の３次元情報と２次元情報とを取得し（ステップＳＰ５）、当該３次元情報を認証対象者の顔の形状変化による変動を受けにくい特徴情報に圧縮し、当該特徴情報と２次元情報とを用いて認証動作を行う。特に、所定の写像関係ｆ（ｈS→ｄS）を用いて、認証対象者の顔の３次元形状情報ｈSが、認証対象者の顔の表情変化による変動を受けにくい３次元形状特徴情報ｄSに変換されて圧縮され、当該３次元形状特徴情報ｄSを用いて認証動作が行われる。これによれば、顔の表情変化の影響を受けにくい認証動作を行うことが可能となる。
【解決手段】認証装置は、認証対象者の顔の３次元情報と２次元情報とを取得し（ステップＳＰ５）、当該３次元情報を認証対象者の顔の形状変化による変動を受けにくい特徴情報に圧縮し、当該特徴情報と２次元情報とを用いて認証動作を行う。特に、所定の写像関係ｆ（ｈS→ｄS）を用いて、認証対象者の顔の３次元形状情報ｈSが、認証対象者の顔の表情変化による変動を受けにくい３次元形状特徴情報ｄSに変換されて圧縮され、当該３次元形状特徴情報ｄSを用いて認証動作が行われる。これによれば、顔の表情変化の影響を受けにくい認証動作を行うことが可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔の認証技術に関する。
【背景技術】
【０００２】
近年、ネットワーク技術等の発展によって電子化された様々なサービスが普及し、人に頼らない非対面での本人認証技術の必要性が高まっている。これに伴い、人物の生体特徴によって自動的に個人の識別を行うバイオメトリクス認証技術（生体認証技術）の研究が盛んに行われている。バイオメトリクス認証技術の一つである顔認証技術は、非接触型の認証方法であり、監視カメラによるセキュリティ或いは顔をキーとした画像データベース検索等、様々な分野での応用が期待されている。
【０００３】
現在、顔画像より得られる２次元の情報を用いた認証手法においては、顔の有する３次元形状を認証のための補助的な情報として利用することで、認証精度の向上を可能にする手法が提案されている（特許文献１参照）。
【０００４】
【特許文献１】特開２００４−１２６７３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記手法は、認証対象者から得られる３次元形状情報（以下、３次元情報とも称する）或いは２次元情報に対して、認証対象者の表情変化等の影響による情報変化を考慮していないため、その認識精度は十分に高いものではないという問題がある。
【０００６】
そこで、本発明は上記課題に鑑みてなされたものであり、認証対象者から得られる認証情報（３次元情報又は２次元情報）をそのまま用いる場合よりも、高い精度の認証を行うことが可能な技術を提供することを課題とする。
【課題を解決するための手段】
【０００７】
請求項１の発明は、認証装置であって、認証対象者の顔の３次元形状情報を取得する手段と、所定の写像関係を用いて前記３次元形状情報を圧縮した３次元形状特徴情報を生成する圧縮手段と、前記３次元形状特徴情報を用いて前記認証対象者に関する認証動作を行う認証手段とを備え、前記所定の写像関係は、前記３次元形状情報を表現するベクトル空間が、表情の相違による影響が比較的小さく個人相互間の識別に適した第１の部分空間と、表情の相違による影響が比較的大きく個人相互間の識別に適さない第２の部分空間とに仮想的に分離されるとき、前記ベクトル空間における任意のベクトルを前記第１の部分空間内のベクトルに変換するものであることを特徴とする。
【０００８】
また、請求項２の発明は、請求項１の発明に係る認証装置において、前記３次元形状特徴情報を表現するベクトルの次元数は、前記３次元形状情報を表現するベクトルの次元数よりも低いことを特徴とする。
【０００９】
また、請求項３の発明は、請求項１または請求項２の発明に係る認証装置において、前記ベクトル空間は、級内分散と級間分散との大小関係を利用して、前記第１の部分空間と前記第２の部分空間とに仮想的に分離されることを特徴とする。
【００１０】
また、請求項４の発明は、請求項１から請求項３のいずれかの発明に係る認証装置において、前記所定の写像関係は、複数の人物をそれぞれその表情を変えて撮像した複数の画像に基づいて取得されることを特徴とする。
【００１１】
また、請求項５の発明は、請求項１から請求項４のいずれかの発明に係る認証装置において、前記認証対象者の顔の２次元情報を取得する手段、をさらに備え、前記認証手段は、前記２次元情報をも用いて前記認証対象者に関する認証動作を行うことを特徴とする。
【００１２】
また、請求項６の発明は、請求項５の発明に係る認証装置において、前記認証対象者の顔に関する個別モデルを、前記３次元形状情報と前記２次元情報とに基づいて生成する手段と、前記個別モデルのテクスチャ情報を標準化した状態に変換する変換手段とをさらに備え、前記変換手段は、前記個別モデルに設定された各代表点と標準立体モデルにおける各対応標準位置との対応関係を利用して、前記テクスチャ情報を標準化した状態に変換し、前記認証手段は、標準化されたテクスチャ情報をも用いて前記認証対象者に関する認証動作を行うことを特徴とする。
【００１３】
また、請求項７の発明は、請求項６の発明に係る認証装置において、前記変換手段は、前記対応関係を利用して、前記テクスチャ情報を前記標準立体モデルに貼り付けたサブモデルを生成し、前記テクスチャ情報を標準化した状態に変換することを特徴とする。
【００１４】
また、請求項８の発明は、請求項７の発明に係る認証装置において、前記変換手段は、前記サブモデルの周囲に配置された円筒面に前記サブモデルのテクスチャ情報を投影して、前記テクスチャ情報を標準化した状態に変換することを特徴とする。
【００１５】
また、請求項９の発明は、請求項１から請求項８のいずれかの発明に係る認証装置において、前記３次元形状情報は、前記認証対象者の顔の個別モデルに設定された複数の代表点の３次元座標情報を含むことを特徴とする。
【００１６】
また、請求項１０の発明は、請求項１から請求項８のいずれかの発明に係る認証装置において、前記３次元形状情報は、前記認証対象者の顔の個別モデルに設定された複数の代表点における任意の２点間の距離情報を含むことを特徴とする。
【００１７】
また、請求項１１の発明は、請求項１から請求項８のいずれかの発明に係る認証装置において、前記３次元形状情報は、前記認証対象者の顔の個別モデルに設定された複数の代表点における任意の３点から形成される３角形が有する角度情報を含むことを特徴とする。
【００１８】
また、請求項１２の発明は、認証方法であって、認証対象者の顔の３次元形状情報を取得する工程と、前記３次元形状情報を表現するベクトル空間を、表情の相違による影響が比較的小さく個人相互間の識別に適した第１の部分空間と、表情の相違による影響が比較的大きく個人相互間の識別に適さない第２の部分空間とに仮想的に分離するとき、前記ベクトル空間における任意のベクトルを前記第１の部分空間内の所定の部分空間のベクトルに変換する所定の写像関係を用いて、前記３次元形状情報を変換し、前記３次元形状情報を３次元形状特徴情報に圧縮する工程と、前記３次元形状特徴情報を用いて前記認証対象者に関する認証動作を行う工程とを含むことを特徴とする。
【００１９】
また、請求項１３の発明は、コンピュータに、認証対象者の顔の３次元形状情報を取得する手順と、前記３次元形状情報を表現するベクトル空間を、表情の相違による影響が比較的小さく個人相互間の識別に適した第１の部分空間と、表情の相違による影響が比較的大きく個人相互間の識別に適さない第２の部分空間とに仮想的に分離するとき、前記ベクトル空間における任意のベクトルを前記第１の部分空間内の所定の部分空間のベクトルに変換する所定の写像関係を用いて、前記３次元形状情報を変換し、前記３次元形状情報を３次元形状特徴情報に圧縮する手順と、前記３次元形状特徴情報を用いて前記認証対象者に関する認証動作を行う手順とを実行させることを特徴とする。
【発明の効果】
【００２０】
請求項１から請求項１３に記載の発明によれば、所定の写像関係を用いて認証対象者の顔の３次元形状情報を、表情の相違による影響が比較的小さく個人相互間の識別に適した３次元形状特徴情報に圧縮し、当該３次元形状特徴情報を用いて認証動作を行うので、顔の表情変化の影響を受けにくい認証を行うことが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施形態を図面に基づいて説明する。
【００２２】
＜実施形態＞
＜概要＞
図１は、本発明の実施形態に係る顔認証システム１を示す構成図である。図１に示すように顔認証システム１は、コントローラ１０と２台の画像撮影カメラ（以下、単に「カメラ」とも称する）ＣＡ１及びＣＡ２とで構成されている。カメラＣＡ１とカメラＣＡ２とは、それぞれ異なる位置から認証対象者ＨＭの顔を撮影できるように配置されている。カメラＣＡ１とカメラＣＡ２とによって認証対象者ＨＭの顔画像が撮影されると、当該撮影により得られる認証対象者ＨＭの外観情報すなわち２種類の顔画像がコントローラ１０に通信線を介して送信される。なお、各カメラとコントローラ１０との間での画像データの通信方式は有線方式に限定されず、無線方式であってもよい。
【００２３】
図２は、コントローラ１０の構成概要を示す図である。図２に示されるように、コントローラ１０は、ＣＰＵ２と、記憶部３と、メディアドライブ４と、液晶ディスプレイなどの表示部５と、キーボード６ａ及びポインティングデバイスであるマウス６ｂなどの入力部６と、ネットワークカードなどの通信部７とを備えたパーソナルコンピュータなどの一般的なコンピュータで構成される。記憶部３は、複数の記憶媒体、具体的には、ハードディスクドライブ（ＨＤＤ）３ａと、ＨＤＤ３ａよりも高速処理可能なＲＡＭ（半導体メモリ）３ｂとを有している。また、メディアドライブ４は、ＣＤ−ＲＯＭ、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク、メモリカードなどの可搬性の記録媒体８からその中に記録されている情報を読み出すことができる。なお、このコントローラ１０に対して供給される情報は、記録媒体８を介して供給される場合に限定されず、ＬＡＮ及びインターネットなどのネットワークを介して供給されてもよい。
【００２４】
次に、コントローラ１０が備える各種機能について説明する。
【００２５】
図３は、コントローラ１０が備える各種機能を示すブロック図である。図４は、個人認証部１４の詳細な機能構成を示すブロック図である。
【００２６】
コントローラ１０の備える各種機能は、コントローラ１０内のＣＰＵ等の各種ハードウェアを用いて所定のソフトウェアプログラム（以下、単に「プログラム」とも称する）を実行することによって、実現される機能を概念的に示すものである。
【００２７】
図３に示されるように、コントローラ１０は、画像入力部１１と顔領域検索部１２と顔部位検出部１３と個人認証部１４と出力部１５とを備えている。
【００２８】
画像入力部１１は、カメラＣＡ１及びＣＡ２によって撮影された２枚の画像をコントローラ１０に入力する機能を有している。
【００２９】
顔領域検索部１２は、入力された顔画像から顔領域を特定する機能を有している。
【００３０】
顔部位検出部１３は、特定した顔領域から顔の特徴的な部位（例えば、目、眉、鼻、口等）の位置を検出する機能を有している。
【００３１】
個人認証部１４は、顔の認証を主たる目的として構成され、各個人を顔画像で認証する機能を有している。この個人認証部１４の詳細については、次述する。
【００３２】
出力部１５は、個人認証部１４で得られた認証結果を出力する機能を有している。
【００３３】
次に、個人認証部１４の詳細構成について図４を用いて説明する。
【００３４】
図４に示すように、個人認証部１４は、３次元再構成部２１と最適化部２２と補正部２３と特徴抽出部２４と情報圧縮部２５と比較部２６とを有している。
【００３５】
３次元再構成部２１は、入力画像から得られる顔の特徴的な部位の座標から各部位の３次元における座標を算出する機能を有している。この３次元座標算出機能は、カメラパラメータ記憶部２７に格納されているカメラ情報を用いて実現される。
【００３６】
最適化部２２は、算出された３次元座標を用いて３次元モデルデータベース２８に格納されている顔の標準的な立体モデル（「標準立体モデル」あるいは「標準モデル」とも称する）から、個別モデルを生成する機能を有している。
【００３７】
補正部２３は、生成された個別モデルを補正する機能を有している。
【００３８】
これらの各処理部２１，２２，２３によって、認証対象者ＨＭに関する情報は、正規化され、相互比較しやすい状態に変換される。また、各処理部の機能によって作成された個別モデルは、認証対象者ＨＭに関する３次元情報と２次元情報との双方を含むものとして形成される。「３次元情報」は、３次元座標値等で構成される立体的構成に関連する情報であり、「２次元情報」は、表面情報（テクスチャ情報）及び／又は平面的な位置情報等で構成される平面的構成に関連する情報である。
【００３９】
特徴抽出部２４は、上記各処理部２１，２２，２３において作成された個別モデルから３次元情報と２次元情報とを抽出する特徴抽出機能を有している。
【００４０】
情報圧縮部２５は、特徴抽出部２４で抽出された３次元情報と２次元情報とをそれぞれ、顔認証用の適切な顔特徴量に変換することで、顔認証に用いる３次元情報と２次元情報とをそれぞれ圧縮する機能を有している。この情報圧縮機能は、特徴変換辞書記憶部２９に格納された情報等を用いて実現される。
【００４１】
比較部２６は、人物データベース３０に予め登録されている登録者（比較対象者）の顔特徴量と、上記各機能部によって得られる認証対象者ＨＭの顔特徴量との類似度を計算し、顔の認証を行う機能を有している。
【００４２】
以下では、上述したコントローラ１０の各機能によって実現される動作について説明する。
【００４３】
＜動作＞
まず、コントローラ１０の全体動作について説明する。
【００４４】
図５は、コントローラ１０の全体動作を示す図である。図５に示されるように、コントローラ１０の動作は、その目的に応じて辞書作成動作ＰＨＡ１と登録動作ＰＨＡ２と認証動作ＰＨＡ３とに分けることができる。
【００４５】
辞書作成動作ＰＨＡ１においては、複数のサンプル顔画像ＥＡ１から各サンプル顔画像ごとに３次元情報及び２次元情報ＥＡ２を抽出し、これら複数の３次元情報と２次元情報とに基づいて特徴変換辞書ＥＡ３を作成する。そして、作成された特徴変換辞書ＥＡ３を、特徴変換辞書記憶部２９に格納する。
【００４６】
登録動作ＰＨＡ２においては、登録画像ＥＢ１から得られる３次元情報及び２次元情報ＥＢ２を特徴変換辞書ＥＡ３を用いて情報圧縮し、３次元特徴量及び２次元特徴量ＥＢ３を取得する。そして、取得した３次元特徴量及び２次元特徴量ＥＢ３を、登録顔特徴量として人物データベース３０に登録する。
【００４７】
認証動作ＰＨＡ３においては、照合画像ＥＣ１から得られる３次元情報及び２次元情報ＥＣ２を特徴変換辞書ＥＡ３を用いて情報圧縮し、３次元特徴量及び２次元特徴量ＥＢ３を取得する。そして、照合画像ＥＣ１の３次元特徴量及び２次元特徴量ＥＢ３と人物データベース３０に登録されている登録顔特徴量とを比較し判定出力する。
【００４８】
このように、コントローラ１０においては、辞書作成動作ＰＨＡ１で得られた特徴変換辞書ＥＡ３を用いて登録動作ＰＨＡ２が実行され、そして、登録動作ＰＨＡ２で得られる登録顔特徴量を用いて認証動作ＰＨＡ３が実行される。
【００４９】
以下では、辞書作成動作ＰＨＡ１及び登録動作ＰＨＡ２の各動作が予め終了しているものとして、認証動作ＰＨＡ３について説明する。
【００５０】
具体的には、カメラＣＡ１及びＣＡ２で撮影した所定人物を認証対象者ＨＭとして、実際に顔認証（認証動作ＰＨＡ３）を行う場合について説明する。ここでは、３次元情報として、カメラＣＡ１，ＣＡ２による画像を利用して三角測量の原理によって計測された３次元形状情報を用い、２次元情報としてテクスチャ（輝度）情報を用いる場合を例示する。
【００５１】
図６は、コントローラ１０の認証動作ＰＨＡ３のフローチャートである。図７は、顔画像における特徴的な部位の特徴点を示す図である。図８は、２次元画像中の特徴点から三角測量の原理を用いて３次元座標を算出する様子を示す模式図である。なお、図８中の符号Ｇ１は、カメラＣＡ１により撮影されコントローラ１０に入力された画像Ｇ１を示し、符号Ｇ２は、カメラＣＡ２により撮影されコントローラ１０に入力された画像Ｇ２を示している。また、画像Ｇ１、Ｇ２中の点Ｑ２０は、図７における口の右端に相当する。
【００５２】
図６に示されるように、コントローラ１０は、ステップＳＰ１からステップＳＰ８までの工程において、認証対象者ＨＭの顔を撮影した画像に基づいて、認証対象者ＨＭに関する顔特徴量を取得し、さらにステップＳＰ９からステップＳＰ１０の工程を経ることで、顔認証を実現する。
【００５３】
まず、ステップＳＰ１において、カメラＣＡ１及びＣＡ２によって撮影された所定の人物（認証対象者）の顔画像（画像Ｇ１及び画像Ｇ２）が、通信線を介しコントローラ１０に入力される。顔画像を撮影するカメラＣＡ１及びカメラＣＡ２は、それぞれ、２次元画像を撮影可能な一般的な撮影装置で構成される。また、当該各カメラＣＡｉの位置姿勢等を示すカメラパラメータＢｉ（ｉ＝１，...，Ｎ）は既知であり、予めカメラパラメータ記憶部２７（図４）に記憶されている。ここで、Ｎはカメラの台数を示している。本実施形態ではＮ＝２の場合を例示しているが、Ｎ≧３としてもよい（３台以上のカメラを用いてもよい）。また、カメラパラメータＢｉについては後述する。
【００５４】
次に、ステップＳＰ２において、カメラＣＡ１及びＣＡ２より入力された２枚の画像（画像Ｇ１及び画像Ｇ２）それぞれにおいて、顔の存在する領域が検出される。顔領域検出手法としては、例えば、予め用意された標準の顔画像を用いたテンプレートマッチングにより、２枚の画像それぞれから顔領域を検出する手法を採用することができる。
【００５５】
次に、ステップＳＰ３において、ステップＳＰ２で検出された顔領域画像の中から、顔の特徴的な部位の位置が検出される。例えば、顔の特徴的な部位としては、目、眉、鼻又は口等が考えられ、ステップＳＰ３においては、図７に示されるような上記各部位の特徴点Ｑ１〜Ｑ２３の座標が算出される。特徴部位の検出は、特徴部位の標準的なテンプレートを用いて行うテンプレートマッチングにより検出することができる。また、算出される特徴点の座標は、カメラより入力された画像Ｇ１、Ｇ２上の座標として表される。例えば、図７における口の右端に相当する特徴点Ｑ２０に関して、図８中に示すように、２枚の画像Ｇ１，Ｇ２のそれぞれにおける座標値が求められる。具体的には、画像Ｇ１の左上の端点を原点Ｏとして、特徴点Ｑ２０の画像Ｇ１上の座標（ｘ１，ｙ１）が算出される。画像Ｇ２においても同様に特徴点Ｑ２０の画像Ｇ２上の座標（ｘ２，ｙ２）が算出される。
【００５６】
また、入力された画像における各特徴点を頂点とする領域内の各画素の輝度値が、当該領域の有する情報（以下、「テクスチャ情報」とも称する）として取得される。各領域におけるテクスチャ情報は、後述のステップＳＰ５等において、標準モデルに貼り付けられる。なお、本実施形態の場合、入力される画像は２枚であるので、各画像の対応する領域内の対応する画素における平均の輝度値を当該領域のテクスチャ情報として用いるものとする。
【００５７】
次のステップＳＰ４（３次元再構成工程）では、ステップＳＰ３において検出された各特徴点Ｑｊの各画像Ｇｉ（ｉ＝１，...，Ｎ）における２次元座標Ｕｉ(j)と、各画像Ｇｉを撮影したカメラのカメラパラメータＢｉとに基づいて、各特徴点Ｑｊの３次元座標Ｍ(j)（ｊ＝１，...，ｍ）が算出される。なお、ｍは特徴点の数を示している。
【００５８】
以下、３次元座標Ｍ(j)の算出について具体的に説明する。
【００５９】
各特徴点Ｑｊの３次元座標Ｍ(j)と各特徴点Ｑｊの２次元座標Ｕｉ(j)とカメラパラメータＢｉとの関係は式（１）のように表される。
【００６０】
【数１】
【００６１】
なお、μｉは、スケールの変動分を示す媒介変数である。また、カメラパラメータ行列Ｂｉは、予め３次元座標が既知の物体を撮影することにより求められる各カメラ固有の値であり、３×４の射影行列で表される。
【００６２】
例えば、上記式（１）を用いて３次元座標を算出する具体的な例として、特徴点Ｑ２０の３次元座標Ｍ(20)を算出する場合を図８を用いて考える。式（２）は画像Ｇ１上の特徴点Ｑ２０の座標（ｘ１，ｙ１）と特徴点Ｑ２０を３次元空間で表したときの３次元座標（ｘ，ｙ，ｚ）との関係を示している。同様に、式（３）は、画像Ｇ２上の特徴点Ｑ２０の座標（ｘ２，ｙ２）と特徴点Ｑ２０を３次元空間で表したときの３次元座標（ｘ，ｙ，ｚ）との関係を示している。
【００６３】
【数２】
【００６４】
【数３】
【００６５】
上記式（２）及び式（３）中の未知数は、２つの媒介変数μ１、μ２と３次元座標Ｍ(20)の３つの成分値ｘ，ｙ，ｚとの合計５つである。一方、式（２）及び式（３）に含まれる等式の数は６であるため、各未知数つまり特徴点Ｑ２０の３次元座標（ｘ，ｙ，ｚ）を算出することができる。また、同様にして、全ての特徴点Ｑｊについての３次元座標Ｍ(j)を取得することができる。
【００６６】
次のステップＳＰ５では、モデルフィッテングが行われる。この「モデルフィッティング」は、予め準備された一般的（標準的）な顔のモデルである「（顔の）標準モデル」を、認証対象者ＨＭに関する情報を用いて変形することによって、認証対象者ＨＭの顔に関する入力情報が反映された「個別モデル」を生成する処理である。具体的には、算出された３次元座標Ｍ(j)を用いて標準モデルの３次元情報を変更する処理と、上記のテクスチャ情報を用いて標準モデルの２次元情報を変更する処理とが行われる。
【００６７】
図９は、３次元の顔の標準モデルを示している。
【００６８】
図９に示される顔の標準モデルは、頂点データとポリゴンデータとで構成され、３次元モデルデータベース２８（図４）として記憶部３等に保存されている。頂点データは、標準モデルにおける特徴部位の頂点（以下、「標準制御点」とも称する）ＣＯｊの座標の集合であり、ステップＳＰ４において算出される各特徴点Ｑｊの３次元座標と１対１に対応している。ポリゴンデータは、標準モデルの表面を微小な多角形（例えば、三角形）のポリゴンに分割し、ポリゴンを数値データとして表現したものである。なお、図９では、各ポリゴンの頂点が特徴点Ｑｊ以外の中間点によっても構成される場合を例示しており、中間点の座標は適宜の補完手法によって得ることが可能である。
【００６９】
ここで、標準モデルから個別モデルを構成するモデルフィッティングについて詳述する。
【００７０】
まず、標準モデルの各特徴部位の頂点（標準制御点ＣＯｊ）を、ステップＳＰ４において算出された各特徴点に移動させる。具体的には、各特徴点Ｑｊの３次元座標値を、対応する標準制御点ＣＯｊの３次元座標値として代入し、移動後の標準制御点（以下、「個別制御点」とも称する）Ｃｊを得る。これにより、標準モデルを３次元座標Ｍ(j)で表した個別モデルに変形することができる。
【００７１】
また、この変形（移動）による各頂点の移動量から、後述のステップＳＰ６において用いられる、標準モデルを基準にした場合の個別モデルのスケール、傾き及び位置を求めることができる。具体的には、標準モデルにおける所定の基準位置と、変形後の個別モデルにおける対応基準位置との間のずれ量によって、個別モデルの標準モデルに対する位置変化を求めることができる。また、標準モデルにおける所定の２点を結ぶ基準ベクトルと、変形後の個別モデルにおける当該所定の２点の対応点を結ぶ基準ベクトルとの間のずれ量によって、個別モデルの標準モデルに対する傾きの変化及びスケール変化を求めることができる。例えば、右目の目頭の特徴点Ｑ１と左目の目頭の特徴点Ｑ２との中点ＱＭの座標と標準モデルにおいて中点ＱＭに相当する点の座標とを比較することによって個別モデルの位置を求めることができ、さらに、中点ＱＭと他の特徴点とを比較することによって個別モデルのスケール及び傾きを算出することができる。
【００７２】
次の式（４）は、標準モデルと個別モデルとの間の対応関係を表現する変換パラメータ（ベクトル）ｖｔを示している。式（４）に示すように、この変換パラメータ（ベクトル）ｖｔは、両者のスケール変換指数ｓｚと、直交３軸方向における並進変位を示す変換パラメータ（ｔｘ，ｔｙ，ｔｚ）と、回転変位（傾き）を示す変換パラメータ（φ，θ，ψ）とをその要素とするベクトルである。
【００７３】
【数４】
【００７４】
上述のようにして、認証対象者ＨＭに関する３次元座標Ｍ(j)を用いて標準モデルの３次元情報を変更する処理が行われる。
【００７５】
その後、テクスチャ情報を用いて標準モデルの２次元情報を変更する処理も行われる。具体的には、入力画像Ｇ１，Ｇ２における各領域のテクスチャ情報が、３次元の個別モデル上の対応する領域（ポリゴン）に貼り付け（マッピング）られる。なお、立体モデル（個別モデル等）上でテクスチャ情報が貼り付けられる各領域（ポリゴン）は「パッチ」とも称せられる。
【００７６】
以上のようにして、モデルフィッティング処理（ステップＳＰ５）が行われる。
【００７７】
次のステップＳＰ６においては、標準モデルを基準にして個別モデルの補正が行われる。本工程では、３次元情報に関する位置（アライメント）補正と、２次元情報に関するテクスチャ補正とが実行される。
【００７８】
アライメント（顔向き）補正は、上記ステップＳＰ５において求められる標準モデルを基準にした際の個別モデルのスケール、傾き及び位置を基にして行われる。より詳細には、標準モデルを基準にした際の標準モデルと個別モデルとの関係を示す変換パラメータｖｔ（式（４）参照）を用いて個別モデルの個別制御点を座標変換することで、標準モデルの姿勢と同じ姿勢を有する３次元顔モデルを作成することができる。すなわち、このアライメント補正によって、認証対象者ＨＭに関する３次元情報を適切に正規化することができる。
【００７９】
次に、テクスチャ補正について説明する。テクスチャ補正においては、テクスチャ情報の正規化が行われる。
【００８０】
テクスチャ情報の正規化は、個別モデルの各個別制御点（特徴点）と標準モデルにおける各対応点（対応標準位置）との対応関係を求めてテクスチャ情報を標準化する処理である。これによって、個別モデルにおける各パッチのテクスチャ情報を、パッチ形状の変化（具体的には、顔の表情の変化）および／または顔の姿勢の変化の影響を受けにくい状態に変更することができる。
【００８１】
ここでは、個別モデルにおける各パッチのテクスチャ情報を（当該個別モデルの作成に用いた）元の標準モデルに貼り付けた立体モデルを、サブモデルとして、当該個別モデルとは別個に生成する場合を例示する。サブモデルに貼り付けられた各パッチのテクスチャ情報は、当該各パッチの形状および顔の姿勢が正規化された状態を有している。
【００８２】
詳細には、個別モデルの各個別制御点（特徴点）を元の標準モデルにおける各対応点に移動させた上で認証対象者に関するテクスチャ情報を標準化する。また、より詳細には、個別モデルにおける各パッチ内の各画素の位置を当該パッチの個別制御点Ｃｊの３次元座標に基づいて正規化し、元の標準モデルにおいて対応するパッチ内の対応する位置に個別モデルの各画素の輝度値（テクスチャ情報）を貼り付ける。なお、当該サブモデルに貼り付けられたテクスチャ情報は、後述の類似度計算処理（ステップＳＰ９）のうち、テクスチャ情報に関する比較処理に用いられる。
【００８３】
図１０は、所定パッチにおけるテクスチャ情報の正規化を示す概念図である。この図１０を用いて、テクスチャ情報の正規化について、より詳細に説明する。
【００８４】
例えば、或る個別モデルにおけるパッチＫＫ２と元の標準モデルにおけるパッチＨＹとが対応しているとする。このとき、個別モデルにおけるパッチＫＫ２内の位置γＫ２は、パッチＫＫ２の個別制御点Ｃｊ（ｊ＝Ｊ１、Ｊ２、Ｊ３）のうちの異なる２組の点を結ぶ独立したベクトルＶ２１，Ｖ２２の線形和で表現される。また、標準モデルにおけるパッチＨＹ内の位置γＨＹは、当該ベクトルＶ２１，Ｖ２２の線形和における各係数と同じ係数を用いて、対応ベクトルＶ０１，Ｖ０２の線形和で表現される。これにより、両位置γＫ１，γＨＹとの対応関係が求められ、パッチＫＫ２内における位置γＫ２のテクスチャ情報を、パッチＨＹ内の対応する位置γＨＹに貼り付けることが可能となる。このようなテクスチャ情報の貼り付け処理を個別モデルのパッチＫＫ２内の全テクスチャ情報について実行すると、個別モデルにおけるパッチ内のテクスチャ情報が、サブモデルにおけるパッチ内のテクスチャ情報に変換され、正規化された状態で得られることになる。
【００８５】
このサブモデルにおける顔の２次元情報（テクスチャ情報）は、顔の姿勢変動および顔の表情変化等による影響を受けにくいという特質を有している。例えば、同一人物に関する２つの個別モデルにおける姿勢および表情が互いに異なる場合、上述のテクスチャ情報の正規化を行わないときには、両個別モデルにおけるパッチの対応関係（例えば、図１０において、本来はパッチＫＫ１とパッチＫＫ２とが対応すること）等を正確に得ることができず、別人物であるとして誤判定する可能性が高くなる。これに対して、上述のテクスチャ情報の正規化を行えば、顔の姿勢が統一され、各パッチの対応位置関係をより正確に得ることができるので、姿勢変化による影響を受けにくくなる。また、上述のテクスチャ情報の正規化によれば、顔の表面を構成する各パッチの形状は、標準モデルにおける各対応パッチの形状と同一になる（図１０参照）ため、各パッチの形状が統一（正規化）され、表情変化による影響を受けにくくなる。例えば、微笑している人物の個別モデルは、笑っていない（無表情の）標準モデルを用いることによって、笑っていない状態のサブモデルに変換されて標準化される。これによれば、微笑によるテクスチャ情報の変化（例えば、ほくろの位置の変化）の影響が抑制される。このように、上述の正規化されたテクスチャ情報は、個人認証に有効な情報となる。
【００８６】
また、サブモデルに貼り付けられたテクスチャ情報は、比較しやすいように、図１１に示すような投影画像にさらに変更することもできる。
【００８７】
図１１は、テクスチャ補正されたテクスチャ情報、すなわち、サブモデルに貼り付けられたテクスチャ情報を、当該サブモデルの周囲に配置した円筒面に投影した画像である。この投影画像のテクスチャ情報は、正規化されており形状および姿勢に依存しないという特質を有しているため、個人識別に用いる情報として非常に有用である。
【００８８】
以上のようにステップＳＰ６においては、認証対象者ＨＭに関する３次元情報と２次元情報とが、正規化された状態で生成される。
【００８９】
次のステップＳＰ７（図６）においては、認証対象者ＨＭの特徴を表す情報として、３次元形状情報（３次元情報）とテクスチャ情報（２次元情報）とが抽出される。
【００９０】
３次元情報としては、個別モデルにおけるｍ個の個別制御点Ｃｊの３次元座標ベクトルが抽出される。具体的には、式（５）に示されるように、ｍ個の個別制御点Ｃｊ（ｊ＝１，...，ｍ）の３次元座標（Ｘｊ，Ｙｊ，Ｚｊ）を要素とするベクトルｈS（以下、「３次元座標情報」とも称する）が３次元情報（３次元形状情報）として抽出される。
【００９１】
【数５】
【００９２】
また、２次元情報としては、個人認証にとって重要な情報となる顔の特徴的な部分つまり個別制御点付近のパッチ又はパッチのグループ（局所領域）が有するテクスチャ（輝度）情報（以下、「局所２次元情報」とも称する）が抽出される。ここでは、テクスチャ情報（局所２次元情報）として、上述のサブモデルにマッピングされた情報が用いられる。
【００９３】
局所２次元情報は、例えば、正規化後の特徴的な部位の個別制御点を示す図１７中のグループＧＲ（個別制御点Ｃ２０、Ｃ２２及びＣ２３を頂点とするパッチＲ１と個別制御点Ｃ２１、Ｃ２２及びＣ２３を頂点とするパッチＲ２）から構成される領域、又は、単に一つのパッチからなる領域等の各局所領域が有する各画素の輝度情報として構成される。局所２次元情報ｈ(k)（ｋ＝１，...，Ｌ；Ｌは局所領域数）は、それぞれ、当該局所領域内の画素数をｎ、各画素の輝度値をＢＲ１，...，ＢＲｎとすると、式（６）のようなベクトル形式で表される。また、局所２次元情報ｈ(k)をＬ個の局所領域について集めた情報は、総合的な２次元情報であるとも表現される。
【００９４】
【数６】
【００９５】
以上のように、ステップＳＰ７においては、認証対象者ＨＭの特徴を表す情報として、３次元形状情報（３次元情報）とテクスチャ情報（２次元情報）とが抽出される。
【００９６】
次のステップＳＰ８においては、ステップＳＰ７で抽出された情報を、認証に適した状態に変換する次述の情報圧縮処理が行われる。
【００９７】
情報圧縮処理は、３次元形状情報ｈS及び各局所２次元情報ｈ(k)のそれぞれに対して辞書作成動作ＰＨＡ１で得られた各々の特徴変換辞書ＥＡ３を用いて行われる。以下では、３次元形状情報ｈSに対する情報圧縮処理と、局所２次元情報ｈ(k)に対する情報圧縮処理とについて、この順序で説明する。
【００９８】
３次元形状情報ｈSに対して行われる情報圧縮処理は、３次元形状情報ｈSが表す情報空間を、顔の形状変化（表情変化）による影響を受けにくく且つ個人相互間を大きく分離することが可能な部分空間へと変換する処理である。
【００９９】
このような情報圧縮処理として、ここでは、３次元形状情報用の変換行列（以下、「３次元情報変換行列」とも称する）Ａｔを利用するものを想定する。この３次元情報変換行列Ａｔは、個人内のばらつき（級内分散α）に比べて個人間のばらつき（級間分散β）を大きくする部分空間に３次元形状情報ｈSを射影させるとともに、当該３次元形状情報ｈSのベクトルサイズ（ベクトルの次元数）ＳＺ１（＝３×ｍ）を値ＳＺ０に低減させる変換行列である。そして、この３次元情報変換行列Ａｔを用いた式（７）で表されるような変換を行うことによって、３次元形状情報ｈSで表される情報空間を、３次元特徴量ｄSで表される部分空間（特徴空間）に変換（射影）することができる。
【０１００】
【数７】
【０１０１】
３次元情報変換行列Ａｔの機能について詳述する。
【０１０２】
３次元情報変換行列Ａｔは、３次元形状情報ｈSから、個人識別性の高い情報を選択する機能、すなわち情報圧縮機能を有している。
【０１０３】
具体的には、３次元情報変換行列Ａｔは、３次元形状情報ｈSに関する複数の主成分ベクトルのうち、後述の主成分ベクトルＩＸ１（図１２参照）等のような、顔の表情変化による影響を受けにくく且つ個人相互間を大きく分離する主成分ベクトル（比較的大きな比率Ｆ（次述）を有する主成分ベクトル）を選択して、３次元形状情報ｈSを３次元特徴量ｄSに圧縮する機能を有している。
【０１０４】
このような主成分ベクトルは、３次元形状情報ｈSの各主成分ベクトルへの射影成分に関する級内分散と級間分散との大小関係を利用して選択される。
【０１０５】
より詳細には、まず、３次元形状情報ｈSに関する複数の主成分ベクトルのうち、級内分散αと級間分散βとの比率Ｆ（＝β／α）の大きい主成分ベクトルがＳＺ０個選択される。そして、３次元形状情報を表現するベクトルｈSは、当該選択されたＳＺ０個の主成分ベクトルで表現されるベクトル空間内のベクトルｄSへと変換される。３次元情報変換行列Ａｔによる変換後のベクトルｄSによれば、個人内での表情変化等による顔の形状変動（変化）に影響されることを防止しつつ、個人間の相違を顕著に表現することができる。なお、３次元情報変換行列Ａｔの取得手法については次述する。
【０１０６】
また、この情報圧縮処理は、所定の写像関係ｆ（ｈS→ｄS）を用いて３次元形状情報ｈSを変換して、当該３次元形状情報ｈSを３次元特徴量（３次元形状特徴情報）ｄSに圧縮する処理であるとも言える。
【０１０７】
ここで、３次元情報変換行列Ａｔの取得手法について図１２を参照しながら説明する。３次元情報変換行列Ａｔは、辞書作成動作ＰＨＡ１で予め取得され、特徴変換辞書ＥＡ３に格納されている情報である。また、図１２は、辞書作成動作ＰＨＡ１を示すフローチャートである。
【０１０８】
辞書作成動作ＰＨＡ１では、複数人の様々な表情を示すサンプル顔画像について上述のステップＳＰ１〜ＳＰ７と同様の処理を実行することによって、全てのサンプル顔画像について各サンプル顔画像の３次元情報及び２次元情報が抽出される（ステップＳＰ２１）。
【０１０９】
例えば、人物一人ずつにつき喜び、怒り、驚き、悲しみ、恐怖などの様々な表情を表す２０の顔画像を集めることを１００人について繰り返して２０００種類の顔画像をサンプル画像として収集する。そして、各サンプル画像についてステップＳＰ１〜ＳＰ７の処理を実行することによって、２０００種類のサンプル画像のそれぞれについて３次元情報及び２次元情報を抽出することができる。
【０１１０】
そして、ステップＳＰ２２において、これら複数の３次元情報に基づいて統計的手法によって３次元形状情報用の変換行列（３次元情報変換行列）Ａｔと、これら複数の２次元情報に基づいて２次元情報用の変換行列（以下、「２次元情報変換行列」とも称する）Ａｗ(k)とが作成される。ここでは、３次元情報変換行列Ａｔの作成について説明し、２次元情報変換行列Ａｗ(k)の作成については後述する。
【０１１１】
３次元情報変換行列Ａｔの作成は、主成分分析後に級内分散と級間分散とを考慮して特徴選択を行う手法ＭＡを用いて行われる。
【０１１２】
より詳細には、図１３〜図１６を用いて説明する。図１３〜図１６は、各人物（ＨＭ１、ＨＭ２、ＨＭ３）の３次元形状情報ｈSを構成する主成分ベクトルＩＸγ（γ＝１，...，３×ｍ）のうちの所定の主成分ベクトル（ＩＸ１〜ＩＸ４）への射影状況を説明するために、各サンプル画像についての３次元形状情報ｈSの分布状況を模式的に示す図である。これらの図においては、或る人物の或る表情が１つの点で表現され、同一人物に係る点は同一の楕円内に収まるものとして表現されている。なお、上述したように、実際には多数（例えば１００人以上）の人物についてサンプル画像を撮影することが好ましいが、ここでは、図示の簡略化のため、３人の人物についての様々な表情のサンプル画像を取得した場合を例示する。
【０１１３】
図１３に示すように、各人物の各表情に対応する３次元形状情報（ベクトル）ｈSの主成分ベクトルＩＸ１への射影成分を想定する。このとき、主成分ベクトルＩＸ１への射影成分に関して、個人内のばらつきである級内分散αと個人間のばらつきである級間分散βとをそれぞれ求める。なお、図１３等において、各点から主成分ベクトルへ向けて伸びる片矢印は、当該主成分ベクトルＩＸ１への「射影」を表現しており、破線の両矢印および実線の両矢印は、それぞれ、射影成分に関する級内分散αと級間分散βとを模式的に示すものである。
【０１１４】
同様に、他の主成分ベクトルＩＸ２，ＩＸ３，ＩＸ４，ＩＸ５，...についても、その射影成分に関する級内分散αと級間分散βとを求める（図１４〜図１６）。
【０１１５】
そして、３次元形状情報ｈSに関する複数の主成分ベクトルのうち、級内分散αと級間分散βとの比率Ｆ（＝β／α）が大きいものから順にＳＺ０個の主成分ベクトルを選択する。
【０１１６】
ここでは簡単化のため、各主成分ベクトルＩＸγが、それぞれ、第γ番目（γ＝１，，...，３×ｍ）の成分（以下「対応成分」とも称する）のみを１としそれ以外をゼロとする単位ベクトルで構成されるものとする。
【０１１７】
この場合、上記の変換行列Ａｔは、上記において選択されたＳＺ０個の主成分ベクトルＩＸｑのそれぞれの対応成分（第ｑ成分）をベクトルｈSから抽出し、選択されなかった（３×ｍ−ＳＺ０）個の主成分ベクトルの各対応成分をベクトルｈSから抽出しないものとして構成される。
【０１１８】
図１３〜図１６に示される主成分ベクトルＩＸ１〜ＩＸ４を相互に比較すると、級内分散αと級間分散βとの比率（Ｆ＝β／α）の最も大きい主成分ベクトルは、主成分ベクトルＩＸ１である。したがって、上述の手法ＭＡを用いた変換行列Ａｔの作成においては、主成分ベクトルＩＸ１〜ＩＸ４の中ではまず主成分ベクトルＩＸ１が選択される。そして、変換行列Ａｔは、当該主成分ベクトルＩＸ１の対応成分（第１番目の成分）をベクトルｈSの中から抽出するように構成される。
【０１１９】
また、級内分散αと級間分散βとの比率Ｆが主成分ベクトルＩＸ１の次に大きい主成分ベクトルは、主成分ベクトルＩＸ３である。この場合、変換行列Ａｔは、当該主成分ベクトルＩＸ３の対応成分をもベクトルｈSの中から抽出するように構成される。
【０１２０】
同様にして、比率Ｆが比較的大きなＳＺ０個の主成分ベクトルを選択するとともに、当該選択した主成分ベクトルの対応成分を選択するような変換行列Ａｔが生成される。
【０１２１】
一方、図１４および図１６に示されるように、主成分ベクトルＩＸ２，ＩＸ４に関する比率Ｆは比較的小さな値になる。この場合、当該主成分ベクトルＩＸ２，ＩＸ４は選択されず、したがって、変換行列Ａｔは、当該主成分ベクトルＩＸ２，ＩＸ４の対応成分をベクトルｈSから抽出しないように構成される。
【０１２２】
このように、変換行列Ａｔは、全主成分ベクトルの中から選択されたＳＺ０個の主成分ベクトルの対応成分のみを抽出し、非選択の主成分ベクトルの対応成分を抽出しないように構成される。また、変換行列Ａｔは、縦方向のサイズがＳＺ０であり横方向のサイズが（３×ｍ）である行列である。すなわち、３次元形状に関する情報量は（３×ｍ）からＳＺ０へと圧縮されることになる。
【０１２３】
なお、上記においては、複数の主成分ベクトルの中から所定数（ＳＺ０個）の主成分ベクトルを選択する場合を例示しているが、これに限定されず、比率Ｆに関する閾値ＦＴｈを定め、当該閾値ＦＴｈよりも大きな比率Ｆを有する主成分ベクトルを複数の主成分ベクトルの中から選択し、選択した主成分ベクトルを用いて変換行列Ａｔを構成するようにしてもよい。
【０１２４】
以上のようにして作成された変換行列Ａｔは、３次元形状情報ｈSで表される情報空間を、３次元形状情報ｈS内の顔の形状変化（表情変化）による影響を受けにくい情報であるとともに個人間の分離を大きくする情報（特徴情報）が表す部分空間へと変換することを可能にする。
【０１２５】
ここで、３次元形状情報ｈSのベクトル空間を、表情の相違による影響が比較的小さく個人相互間の識別に適した第１の部分空間と、表情の相違による影響が比較的大きく個人相互間の識別に適さない第２の部分空間とに仮想的に分離することを想定すると、上記の写像関係ｆ（ｈS→ｄS）は、人物の顔の３次元形状を表現するベクトル空間における任意のベクトルを第１の部分空間内のベクトルに変換するものであると表現できる。
【０１２６】
このように、複数の人物について様々な表情で撮像した複数の画像をサンプル画像として収集し、当該複数のサンプル画像に基づいて上記の写像関係ｆ（ｈS→ｄS）、（ここでは３次元情報変換行列Ａｔ）を取得することができる。
【０１２７】
次に、局所２次元情報ｈ(k)に対する情報圧縮処理について説明する。
【０１２８】
局所２次元情報ｈ(k)は、当該局所領域内における画素の輝度値の集合であるから、その情報量（次元数）は３次元形状情報ｈSに比べて膨大となる。このため、本実施形態の局所２次元情報ｈ(k)に関する情報圧縮処理では、ＫＬ展開を用いた圧縮と２次元情報変換行列Ａｗ(k)を用いた圧縮との２段階の圧縮処理が行われる。
【０１２９】
局所２次元情報ｈ(k)は、複数のサンプル顔画像から予め取得される当該局所領域の平均情報（ベクトル）ｈave(k)と、複数のサンプル顔画像をＫＬ展開することによって予め算出される当該局所領域の固有ベクトルのセットで表現される行列Ｐ(k)（次述）とを用いて式（８）のように基底分解された形式で表すことができる。この結果、局所２次元顔情報量（ベクトル）ｃ(k)が、局所２次元情報ｈ(k)についての圧縮情報として取得される。
【０１３０】
【数８】
【０１３１】
上述のように式（８）中の行列Ｐ(k)は、複数のサンプル顔画像から算出される。具体的には、行列Ｐ(k)は、複数のサンプル顔画像をＫＬ展開することによって求められる複数の固有ベクトルのうち、固有値の大きい数個の固有ベクトル（基底ベクトル）のセットとして求められる。これらの基底ベクトルは、基底ベクトルデータベース２６に記憶されている。顔画像についてのより大きな特徴を示す固有ベクトルを基底ベクトルとしてその顔画像を表現することによれば、顔画像の特徴を効率的に表現することが可能となる。
【０１３２】
例えば、図１７に示されているグループＧＲからなる局所領域の局所２次元情報ｈ(GR)を基底分解された形式で表現する場合を考える。当該局所領域の固有ベクトルのセットＰが、３つの固有ベクトルＰ１、Ｐ２及びＰ３によってＰ＝（Ｐ１，Ｐ２，Ｐ３）と表現されているとすると、局所２次元情報ｈ(GR)は、当該局所領域の平均情報ｈave(GR)と固有ベクトルのセットＰ１，Ｐ２，Ｐ３を用いて式（９）のように表される。平均情報ｈave(GR)は、様々なサンプル顔画像についての複数の局所２次元情報（ベクトル）を対応要素ごとに平均して得られるベクトルである。なお、複数のサンプル顔画像は、適度なばらつきを有する標準的な複数の顔画像を用いればよい。
【０１３３】
【数９】
【０１３４】
また、上記式（９）は、顔情報量ｃ(GR)＝（ｃ１，ｃ２，ｃ３）Ｔによって元の局所２次元情報を再現することが可能であることを示している。すなわち、顔情報量ｃ(GR)は、グループＧＲからなる局所領域の局所２次元情報ｈ(GR)を圧縮した情報といえる。
【０１３５】
次に、２次元情報変換行列Ａｗ(k)を用いて、局所２次元顔情報量ｃ(GR)が表す特徴空間を個人間の分離を大きくするような部分空間へと変換する処理が行われる。より詳細には、式（１０）に表されるようにベクトルサイズＳＺ２の局所２次元顔情報量ｃ(GR)をベクトルサイズＳＺ３の局所２次元特徴量ｄ(GR)に低減させる２次元情報変換行列Ａｗ(GR)を用いて、局所２次元顔情報量ｃ(GR)で表される特徴空間を局所２次元特徴量ｄ(GR)で表される部分空間に変換することができ、個人間の情報の相違が顕著になる。
【０１３６】
【数１０】
【０１３７】
なお、２次元情報変換行列Ａｗ(k)は、上述の３次元情報変換行列Ａｔと同様に、辞書作成動作ＰＨＡ１で予め取得され、特徴変換辞書ＥＡ３に格納されている情報である。
【０１３８】
具体的には、辞書作成動作ＰＨＡ１では、全てのサンプル顔画像について局所領域ごとに局所２次元情報が抽出され（ステップＳＰ２１）、ステップＳＰ２２において、当該局所２次元情報ｈ(k)をＫＬ展開することによって得られる局所２次元顔情報量Ｃ(k)に基づいて２次元情報用の変換行列（以下、「２次元情報変換行列」とも称する）Ａｗ(k)が作成される。２次元情報変換行列Ａｗ(k)の作成は、上述の手法ＭＡを用いて、局所２次元顔情報量Ｃ(k)が表す特徴空間の各成分の中から、級内分散αと級間分散βの比率（Ｆ＝β／α）の大きい成分をＳＺ３個選び出すことによって行われる。
【０１３９】
また、上述した局所２次元情報ｈ(GR)について行った情報圧縮処理と同様の処理を他の全ての局所領域にも実行することによって、各局所領域についての局所２次元顔特徴量ｄ(k)を取得することができる。
【０１４０】
上記ステップＳＰ８を経て取得される３次元顔特徴量ｄSと局所２次元顔特徴量ｄ(k)とを組み合わせた顔特徴量ｄは、ベクトル形式で式（１１）のように表すことができる。
【０１４１】
【数１１】
【０１４２】
以上に述べたステップＳＰ１〜ＳＰ８の工程において、入力される認証対象者ＨＭの顔画像から当該対象者の顔特徴量ｄが取得される。
【０１４３】
そして、次のステップＳＰ９〜ＳＰ１０においては、この顔特徴量ｄを用いて所定人物の顔認証が行われる。
【０１４４】
具体的には、認証対象者ＨＭ（認証対象物）と比較対象者（比較対象物）との類似度である総合類似度Ｒｅが算出され（ステップＳＰ９）、その後、この総合類似度Ｒｅに基づく認証対象者ＨＭと比較対象者との比較（判定）動作等（ステップＳＰ１０）が行われる。この総合類似度Ｒｅは、３次元顔特徴量ｄSから算出される３次元類似度ＲｅSと、局所２次元顔特徴量ｄ(k)から算出される局所２次元類似度Ｒｅ(k)とに加えて、３次元類似度ＲｅSと局所２次元類似度Ｒｅ(k)との重みを規定する重み付け係数（以下、単に「重み係数」とも称する）を用いて算出される。なお、本実施形態における重み係数ＷＴ及びＷＳは、予め決定されている所定の値を用いる。
【０１４５】
ステップＳＰ９では、人物パラメータデータベース２８に予め登録されている比較対象者の顔特徴量（比較特徴量）と、上記ステップＳＰ１〜ステップＳＰ８を経て算出された認証対象者ＨＭの顔特徴量との類似性の評価が行われる。具体的には、登録されている顔特徴量（比較特徴量）（ＲｅSM及びＲｅ(k)M）と認証対象者ＨＭの顔特徴量（ＲｅSI及びＲｅ(k)I）との間で類似度計算が実行され、３次元類似度ＲｅSと局所２次元類似度Ｒｅ(k)とが算出される。
【０１４６】
なお、この実施形態においては、顔認証動作において比較の対象とされる人物（比較対象者）についての顔特徴量は、上述のとおり認証動作ＰＨＡ３（図６）に先立って実行される図１８の登録動作ＰＨＡ２において予め取得されている。
【０１４７】
具体的には、登録動作ＰＨＡ２では、図１８に示されるように１人又は複数人の比較対象者のそれぞれに関して上述のステップＳＰ１〜ステップＳＰ８と同様の処理が実行され各比較対象者の顔特徴量ｄが取得され、ステップＳＰ３１において、当該顔特徴量ｄが人物パラメータデータベース２８に予め記憶（登録）される。
【０１４８】
ここで、登録動作ＰＨＡ２におけるステップＳＰ１〜ステップＳＰ８の動作を簡単に説明すると、ステップＳＰ１〜ステップＳＰ５において、比較対象者の顔に関する入力情報が反映された個別モデルが生成され、次のステップＳＰ６において、標準モデルを基準にして当該個別モデルの３次元情報に関する位置補正と、サブモデルを用いた２次元情報に関するテクスチャ補正とが実行される。そして、ステップＳＰ７において、比較対象者の特徴を表す情報として、３次元形状情報（３次元情報）とテクスチャ情報（２次元情報）とが抽出される。詳細には、３次元形状情報は個別モデルから抽出され、テクスチャ情報はサブモデルから抽出される。次のステップＳＰ８においては、ステップＳＰ７で抽出された情報を、認証に適した状態に変換する情報圧縮処理が行われ、比較対象者の顔特徴量ｄが取得される。
【０１４９】
さて、認証対象者ＨＭと比較対象者との３次元類似度ＲｅSは、式（１２）に示されるように対応するベクトル同士のユークリッド距離ＲｅSを求めることによって取得される。
【０１５０】
【数１２】
【０１５１】
また、局所２次元の類似度Ｒｅ(k)は、式（１３）に示されるように対応する局所領域同士における特徴量の各ベクトル成分ごとのユークリッド距離Ｒｅ(k)を求めることによって取得される。
【０１５２】
【数１３】
【０１５３】
そして、式（１４）に示されるように、３次元の類似度ＲｅSと局所２次元の類似度Ｒｅ(k)とを、重み係数ＷＴ及びＷＳを用いて合成し、認証対象者ＨＭ（認証対象物）と比較対象者（比較対象物）との類似度である総合類似度Ｒｅを取得することができる。
【０１５４】
【数１４】
【０１５５】
次に、ステップＳＰ１０においては、総合類似度Ｒｅに基づいて認証判定が行われる。認証判定は、顔照合（Verification）の場合と顔識別(Identification)の場合とで、その手法が以下のように異なる。
【０１５６】
顔照合では、入力された顔（認証対象者ＨＭの顔）が特定の登録者であるか否かが判定されればよいため、特定登録者つまり比較対象者の顔特徴量（比較特徴量）と認証対象者ＨＭの顔特徴量との類似度Ｒｅを一定の閾値と比較することで、認証対象者ＨＭと比較対象者との同一性が判定される。詳細には、類似度Ｒｅが一定の閾値ＴＨ１よりも小さいときに認証対象者ＨＭが比較対象者と同一人物であると判定される。
【０１５７】
一方、顔識別は、入力された顔（認証対象者ＨＭの顔）が誰のものであるかを判定するものである。この顔識別では、登録されている人物の顔特徴量と認証対象者ＨＭの顔の特徴量との類似度を全て算出して、認証対象者ＨＭと各比較対象者との同一性をそれぞれ判定する。そして、複数の比較対象者のうち最も高い同一性を有する比較対象者を認証対象者ＨＭと同一人物であると判定する。詳細には、認証対象者ＨＭと複数の比較対象者のそれぞれとの各類似度Ｒｅのうち、最小の類似度Ｒｅminに対応する比較対象者が、認証対象者ＨＭと同一人物であると判定される。
【０１５８】
以上のように、コントローラ１０においては、所定の写像関係ｆ（ｈS→ｄS）を用いて、認証対象者の顔の３次元形状情報ｈSが、認証対象者の顔の表情変化による変動を受けにくく且つ個人の識別性が高い３次元形状特徴情報ｄSに変換されて圧縮され、当該３次元形状特徴情報ｄSを用いて認証動作が行われるので、顔の表情変化の影響を受けにくい高精度の認証動作を行うことが可能となる。
【０１５９】
＜変形例＞
以上、この発明の実施の形態について説明したが、この発明は、上記に説明した内容に限定されるものではない。
【０１６０】
例えば、上記実施形態においては、顔の個別モデルにおける各個別制御点の３次元座標（３次元座標情報）を３次元形状情報として用いていたがこれに限定されない。具体的には、個別モデルにおけるｍ個の個別制御点（代表点）Ｃｊ（ｊ＝１，...，ｍ）の任意の２点間を結ぶ直線の長さ、換言すれば、任意の２点間の距離（単に「距離情報」とも称する）を３次元形状情報ｈSに用いてもよい。
【０１６１】
詳細には、図１９を用いて説明する。図１９は、個別制御点を結ぶ直線を示す図である。例えば、図１９に示されるように、個別モデルにおける個別制御点Ｃｊ（ｊ＝Ｊ４）と他の各個別制御点Ｃｊ（ｊ：Ｊ４以外）とを結ぶ直線の長さＤＳ1、ＤＳ2、ＤＳ3等を、３次元形状情報ｈSの要素（成分）として用いることができる。この場合、３次元形状情報ｈSは式（１５）のように表され、その次元数は、ｍ×（ｍ−１）／２となる。任意の２つの個別制御点Ｃｊ間の長さ（距離）は、当該２つの個別制御点の各３次元座標から算出することができる。
【０１６２】
【数１５】
【０１６３】
そして、情報圧縮処理（ステップＳＰ８）において、このような３次元形状情報（ベクトル）ｈSを構成する各要素（距離情報）の中から、顔の表情変化による影響を受けにくく且つ個人相互間の分離を大きくする要素である距離情報（比率Ｆの大きい情報）を、識別性の高い距離情報として選択するような変換Ａｔによって、３次元特徴量ｄSが生成される。
【０１６４】
以上のようにして、「距離情報」を３次元形状情報ｈSとして用いることもできる。
【０１６５】
あるいは、個別モデルにおけるｍ個の個別制御点（代表点）Ｃｊ（ｊ＝１，...，ｍ）の任意の３点から形成される３角形が有する３つの角度（単に「角度情報」とも称する）を３次元形状情報ｈSとして用いてもよい。
【０１６６】
詳細には、図２０を用いて説明する。図２０は、３つの個別制御点から形成される三角形を示す図である。例えば、図２０に示されるように、個別モデルにおける個別制御点Ｃｊ（ｊ＝Ｊ４）、Ｃｊ（ｊ＝Ｊ５）及びＣｊ（ｊ＝Ｊ６）の３点から形成される３角形が有する３つの角度ＡＮ1、ＡＮ2、ＡＮ3を３次元形状情報ｈSの要素として用いることができる。この場合、３次元形状情報ｈSは式（１６）のように表され、その次元数は、ｍ×（ｍ−１）×（ｍ−２）／２となる。また、任意の３つの個別制御点Ｃｊによって形成される三角形の３つの角度は、当該三角形を形成する３つの個別制御点の各３次元座標から算出することができる。
【０１６７】
【数１６】
【０１６８】
あるいは、３次元形状情報の要素として上記に例示した３次元座標情報、距離情報、又は角度情報を組合せた情報を３次元形状情報ｈSに用いてもよい。
【０１６９】
また、上記実施形態においては、パッチ内の各画素の輝度値を２次元情報としていたが、各パッチが有する色合いを２次元情報として用いてもよい。
【０１７０】
また、上記実施形態においては、１回の撮影によって得られる顔特徴量ｄを用いて類似度計算を行っていたがこれに限定されない。具体的には、認証対象者ＨＭの撮影を２度行い、２回の撮影で得られる顔特徴量同士の類似度を算出することで、取得した顔特徴量の値が妥当であるか否かを判断することができる。これにより、取得した顔特徴量の値が不適当であった場合、再度撮影をやり直すことができる。
【０１７１】
また、上記実施形態では、ステップＳＰ６において変換行列Ａｔを決定する手法として手法ＭＡを用いていたがこれに限定されず、例えば、所定の特徴空間から級間分散と級内分散との比率が大きくなるような射影空間を求めるＭＤＡ（Multiple Discriminant Analysis）法、或いは、所定の特徴空間から級間分散と級内分散との差が大きくなるような射影空間を求めるＥＭ（Eigenspace Method）法を用いてもよい。
【０１７２】
また、上記実施形態においては、複数台のカメラより入力される複数の画像を用いて顔の３次元形状情報を取得しているがこれに限定されない。具体的には、図２１に示されるようなレーザ光出射部Ｌ１とカメラＬＣＡとから構成される３次元形状測定器を用いてレーザ光出射部Ｌ１の照射するレーザの反射光をカメラＬＣＡによって計測することにより、認証対象者ＨＭの顔の３次元形状情報を取得してもよい。但し、上記実施形態のようにカメラ２台を含む入力装置を用いて３次元の形状情報を取得する手法によれば、レーザ光を用いる入力装置に比べて、比較的簡易な構成で３次元の形状情報を取得することができる。
【０１７３】
また、上記実施形態では、情報圧縮用の写像関係ｆ（ｈS→ｄS）として、線形変換（式（７）参照）で表現されるものを例示したが、これに限定されず、非線形変換で表現されるものであってもよい。
【０１７４】
また、上記実施形態においては、式（１４）に示すように、３次元形状情報だけでなく、テクスチャ情報をも用いて認証対象者と登録者との同一性を判定しているが、これに限定されず、３次元形状情報だけを用いて認証対象者と登録者との同一性を判定してもよい。ただし、認証精度向上のためには、テクスチャ情報をも用いることが好ましい。
【図面の簡単な説明】
【０１７５】
【図１】本発明の実施形態に係る顔認証システムの適用例を示す構成図である。
【図２】コントローラの構成概要を示す図である。
【図３】コントローラが備える各種機能を示すブロック図である。
【図４】個人認証部の詳細な機能構成を示すブロック図である。
【図５】画像正規化部のさらに詳細な機能構成を示すブロック図である。
【図６】認証動作を示すフローチャートである。
【図７】顔画像における特徴的な部位の特徴点を示す図である。
【図８】２次元画像中の特徴点から３次元座標を算出する模式図である。
【図９】３次元の顔の標準モデルを示している図である。
【図１０】所定パッチにおけるテクスチャ情報の正規化を示す概念図である。
【図１１】テクスチャ情報を示す図である。
【図１２】辞書作成動作を示すフローチャートである。
【図１３】３次元形状情報の射影状態を示す模式図である。
【図１４】３次元形状情報の射影状態を示す模式図である。
【図１５】３次元形状情報の射影状態を示す模式図である。
【図１６】３次元形状情報の射影状態を示す模式図である。
【図１７】正規化後の特徴的な部位の個別制御点を示す図である。
【図１８】登録動作を示すフローチャートである。
【図１９】個別制御点を結ぶ直線を示す図である。
【図２０】３つの個別制御点から形成される三角形を示す図である。
【図２１】レーザ光出射部とカメラとから構成される３次元形状測定器を示す図である。
【符号の説明】
【０１７６】
１ 顔認証システム
１０ コントローラ
１１ 画像入力部
１２ 顔領域検索部
１３ 顔部位検出部
１４ 個人認証部
１５ 出力部
ＣＡ１ カメラ
ＣＡ２ カメラ
【技術分野】
【０００１】
本発明は、顔の認証技術に関する。
【背景技術】
【０００２】
近年、ネットワーク技術等の発展によって電子化された様々なサービスが普及し、人に頼らない非対面での本人認証技術の必要性が高まっている。これに伴い、人物の生体特徴によって自動的に個人の識別を行うバイオメトリクス認証技術（生体認証技術）の研究が盛んに行われている。バイオメトリクス認証技術の一つである顔認証技術は、非接触型の認証方法であり、監視カメラによるセキュリティ或いは顔をキーとした画像データベース検索等、様々な分野での応用が期待されている。
【０００３】
現在、顔画像より得られる２次元の情報を用いた認証手法においては、顔の有する３次元形状を認証のための補助的な情報として利用することで、認証精度の向上を可能にする手法が提案されている（特許文献１参照）。
【０００４】
【特許文献１】特開２００４−１２６７３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記手法は、認証対象者から得られる３次元形状情報（以下、３次元情報とも称する）或いは２次元情報に対して、認証対象者の表情変化等の影響による情報変化を考慮していないため、その認識精度は十分に高いものではないという問題がある。
【０００６】
そこで、本発明は上記課題に鑑みてなされたものであり、認証対象者から得られる認証情報（３次元情報又は２次元情報）をそのまま用いる場合よりも、高い精度の認証を行うことが可能な技術を提供することを課題とする。
【課題を解決するための手段】
【０００７】
請求項１の発明は、認証装置であって、認証対象者の顔の３次元形状情報を取得する手段と、所定の写像関係を用いて前記３次元形状情報を圧縮した３次元形状特徴情報を生成する圧縮手段と、前記３次元形状特徴情報を用いて前記認証対象者に関する認証動作を行う認証手段とを備え、前記所定の写像関係は、前記３次元形状情報を表現するベクトル空間が、表情の相違による影響が比較的小さく個人相互間の識別に適した第１の部分空間と、表情の相違による影響が比較的大きく個人相互間の識別に適さない第２の部分空間とに仮想的に分離されるとき、前記ベクトル空間における任意のベクトルを前記第１の部分空間内のベクトルに変換するものであることを特徴とする。
【０００８】
また、請求項２の発明は、請求項１の発明に係る認証装置において、前記３次元形状特徴情報を表現するベクトルの次元数は、前記３次元形状情報を表現するベクトルの次元数よりも低いことを特徴とする。
【０００９】
また、請求項３の発明は、請求項１または請求項２の発明に係る認証装置において、前記ベクトル空間は、級内分散と級間分散との大小関係を利用して、前記第１の部分空間と前記第２の部分空間とに仮想的に分離されることを特徴とする。
【００１０】
また、請求項４の発明は、請求項１から請求項３のいずれかの発明に係る認証装置において、前記所定の写像関係は、複数の人物をそれぞれその表情を変えて撮像した複数の画像に基づいて取得されることを特徴とする。
【００１１】
また、請求項５の発明は、請求項１から請求項４のいずれかの発明に係る認証装置において、前記認証対象者の顔の２次元情報を取得する手段、をさらに備え、前記認証手段は、前記２次元情報をも用いて前記認証対象者に関する認証動作を行うことを特徴とする。
【００１２】
また、請求項６の発明は、請求項５の発明に係る認証装置において、前記認証対象者の顔に関する個別モデルを、前記３次元形状情報と前記２次元情報とに基づいて生成する手段と、前記個別モデルのテクスチャ情報を標準化した状態に変換する変換手段とをさらに備え、前記変換手段は、前記個別モデルに設定された各代表点と標準立体モデルにおける各対応標準位置との対応関係を利用して、前記テクスチャ情報を標準化した状態に変換し、前記認証手段は、標準化されたテクスチャ情報をも用いて前記認証対象者に関する認証動作を行うことを特徴とする。
【００１３】
また、請求項７の発明は、請求項６の発明に係る認証装置において、前記変換手段は、前記対応関係を利用して、前記テクスチャ情報を前記標準立体モデルに貼り付けたサブモデルを生成し、前記テクスチャ情報を標準化した状態に変換することを特徴とする。
【００１４】
また、請求項８の発明は、請求項７の発明に係る認証装置において、前記変換手段は、前記サブモデルの周囲に配置された円筒面に前記サブモデルのテクスチャ情報を投影して、前記テクスチャ情報を標準化した状態に変換することを特徴とする。
【００１５】
また、請求項９の発明は、請求項１から請求項８のいずれかの発明に係る認証装置において、前記３次元形状情報は、前記認証対象者の顔の個別モデルに設定された複数の代表点の３次元座標情報を含むことを特徴とする。
【００１６】
また、請求項１０の発明は、請求項１から請求項８のいずれかの発明に係る認証装置において、前記３次元形状情報は、前記認証対象者の顔の個別モデルに設定された複数の代表点における任意の２点間の距離情報を含むことを特徴とする。
【００１７】
また、請求項１１の発明は、請求項１から請求項８のいずれかの発明に係る認証装置において、前記３次元形状情報は、前記認証対象者の顔の個別モデルに設定された複数の代表点における任意の３点から形成される３角形が有する角度情報を含むことを特徴とする。
【００１８】
また、請求項１２の発明は、認証方法であって、認証対象者の顔の３次元形状情報を取得する工程と、前記３次元形状情報を表現するベクトル空間を、表情の相違による影響が比較的小さく個人相互間の識別に適した第１の部分空間と、表情の相違による影響が比較的大きく個人相互間の識別に適さない第２の部分空間とに仮想的に分離するとき、前記ベクトル空間における任意のベクトルを前記第１の部分空間内の所定の部分空間のベクトルに変換する所定の写像関係を用いて、前記３次元形状情報を変換し、前記３次元形状情報を３次元形状特徴情報に圧縮する工程と、前記３次元形状特徴情報を用いて前記認証対象者に関する認証動作を行う工程とを含むことを特徴とする。
【００１９】
また、請求項１３の発明は、コンピュータに、認証対象者の顔の３次元形状情報を取得する手順と、前記３次元形状情報を表現するベクトル空間を、表情の相違による影響が比較的小さく個人相互間の識別に適した第１の部分空間と、表情の相違による影響が比較的大きく個人相互間の識別に適さない第２の部分空間とに仮想的に分離するとき、前記ベクトル空間における任意のベクトルを前記第１の部分空間内の所定の部分空間のベクトルに変換する所定の写像関係を用いて、前記３次元形状情報を変換し、前記３次元形状情報を３次元形状特徴情報に圧縮する手順と、前記３次元形状特徴情報を用いて前記認証対象者に関する認証動作を行う手順とを実行させることを特徴とする。
【発明の効果】
【００２０】
請求項１から請求項１３に記載の発明によれば、所定の写像関係を用いて認証対象者の顔の３次元形状情報を、表情の相違による影響が比較的小さく個人相互間の識別に適した３次元形状特徴情報に圧縮し、当該３次元形状特徴情報を用いて認証動作を行うので、顔の表情変化の影響を受けにくい認証を行うことが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施形態を図面に基づいて説明する。
【００２２】
＜実施形態＞
＜概要＞
図１は、本発明の実施形態に係る顔認証システム１を示す構成図である。図１に示すように顔認証システム１は、コントローラ１０と２台の画像撮影カメラ（以下、単に「カメラ」とも称する）ＣＡ１及びＣＡ２とで構成されている。カメラＣＡ１とカメラＣＡ２とは、それぞれ異なる位置から認証対象者ＨＭの顔を撮影できるように配置されている。カメラＣＡ１とカメラＣＡ２とによって認証対象者ＨＭの顔画像が撮影されると、当該撮影により得られる認証対象者ＨＭの外観情報すなわち２種類の顔画像がコントローラ１０に通信線を介して送信される。なお、各カメラとコントローラ１０との間での画像データの通信方式は有線方式に限定されず、無線方式であってもよい。
【００２３】
図２は、コントローラ１０の構成概要を示す図である。図２に示されるように、コントローラ１０は、ＣＰＵ２と、記憶部３と、メディアドライブ４と、液晶ディスプレイなどの表示部５と、キーボード６ａ及びポインティングデバイスであるマウス６ｂなどの入力部６と、ネットワークカードなどの通信部７とを備えたパーソナルコンピュータなどの一般的なコンピュータで構成される。記憶部３は、複数の記憶媒体、具体的には、ハードディスクドライブ（ＨＤＤ）３ａと、ＨＤＤ３ａよりも高速処理可能なＲＡＭ（半導体メモリ）３ｂとを有している。また、メディアドライブ４は、ＣＤ−ＲＯＭ、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク、メモリカードなどの可搬性の記録媒体８からその中に記録されている情報を読み出すことができる。なお、このコントローラ１０に対して供給される情報は、記録媒体８を介して供給される場合に限定されず、ＬＡＮ及びインターネットなどのネットワークを介して供給されてもよい。
【００２４】
次に、コントローラ１０が備える各種機能について説明する。
【００２５】
図３は、コントローラ１０が備える各種機能を示すブロック図である。図４は、個人認証部１４の詳細な機能構成を示すブロック図である。
【００２６】
コントローラ１０の備える各種機能は、コントローラ１０内のＣＰＵ等の各種ハードウェアを用いて所定のソフトウェアプログラム（以下、単に「プログラム」とも称する）を実行することによって、実現される機能を概念的に示すものである。
【００２７】
図３に示されるように、コントローラ１０は、画像入力部１１と顔領域検索部１２と顔部位検出部１３と個人認証部１４と出力部１５とを備えている。
【００２８】
画像入力部１１は、カメラＣＡ１及びＣＡ２によって撮影された２枚の画像をコントローラ１０に入力する機能を有している。
【００２９】
顔領域検索部１２は、入力された顔画像から顔領域を特定する機能を有している。
【００３０】
顔部位検出部１３は、特定した顔領域から顔の特徴的な部位（例えば、目、眉、鼻、口等）の位置を検出する機能を有している。
【００３１】
個人認証部１４は、顔の認証を主たる目的として構成され、各個人を顔画像で認証する機能を有している。この個人認証部１４の詳細については、次述する。
【００３２】
出力部１５は、個人認証部１４で得られた認証結果を出力する機能を有している。
【００３３】
次に、個人認証部１４の詳細構成について図４を用いて説明する。
【００３４】
図４に示すように、個人認証部１４は、３次元再構成部２１と最適化部２２と補正部２３と特徴抽出部２４と情報圧縮部２５と比較部２６とを有している。
【００３５】
３次元再構成部２１は、入力画像から得られる顔の特徴的な部位の座標から各部位の３次元における座標を算出する機能を有している。この３次元座標算出機能は、カメラパラメータ記憶部２７に格納されているカメラ情報を用いて実現される。
【００３６】
最適化部２２は、算出された３次元座標を用いて３次元モデルデータベース２８に格納されている顔の標準的な立体モデル（「標準立体モデル」あるいは「標準モデル」とも称する）から、個別モデルを生成する機能を有している。
【００３７】
補正部２３は、生成された個別モデルを補正する機能を有している。
【００３８】
これらの各処理部２１，２２，２３によって、認証対象者ＨＭに関する情報は、正規化され、相互比較しやすい状態に変換される。また、各処理部の機能によって作成された個別モデルは、認証対象者ＨＭに関する３次元情報と２次元情報との双方を含むものとして形成される。「３次元情報」は、３次元座標値等で構成される立体的構成に関連する情報であり、「２次元情報」は、表面情報（テクスチャ情報）及び／又は平面的な位置情報等で構成される平面的構成に関連する情報である。
【００３９】
特徴抽出部２４は、上記各処理部２１，２２，２３において作成された個別モデルから３次元情報と２次元情報とを抽出する特徴抽出機能を有している。
【００４０】
情報圧縮部２５は、特徴抽出部２４で抽出された３次元情報と２次元情報とをそれぞれ、顔認証用の適切な顔特徴量に変換することで、顔認証に用いる３次元情報と２次元情報とをそれぞれ圧縮する機能を有している。この情報圧縮機能は、特徴変換辞書記憶部２９に格納された情報等を用いて実現される。
【００４１】
比較部２６は、人物データベース３０に予め登録されている登録者（比較対象者）の顔特徴量と、上記各機能部によって得られる認証対象者ＨＭの顔特徴量との類似度を計算し、顔の認証を行う機能を有している。
【００４２】
以下では、上述したコントローラ１０の各機能によって実現される動作について説明する。
【００４３】
＜動作＞
まず、コントローラ１０の全体動作について説明する。
【００４４】
図５は、コントローラ１０の全体動作を示す図である。図５に示されるように、コントローラ１０の動作は、その目的に応じて辞書作成動作ＰＨＡ１と登録動作ＰＨＡ２と認証動作ＰＨＡ３とに分けることができる。
【００４５】
辞書作成動作ＰＨＡ１においては、複数のサンプル顔画像ＥＡ１から各サンプル顔画像ごとに３次元情報及び２次元情報ＥＡ２を抽出し、これら複数の３次元情報と２次元情報とに基づいて特徴変換辞書ＥＡ３を作成する。そして、作成された特徴変換辞書ＥＡ３を、特徴変換辞書記憶部２９に格納する。
【００４６】
登録動作ＰＨＡ２においては、登録画像ＥＢ１から得られる３次元情報及び２次元情報ＥＢ２を特徴変換辞書ＥＡ３を用いて情報圧縮し、３次元特徴量及び２次元特徴量ＥＢ３を取得する。そして、取得した３次元特徴量及び２次元特徴量ＥＢ３を、登録顔特徴量として人物データベース３０に登録する。
【００４７】
認証動作ＰＨＡ３においては、照合画像ＥＣ１から得られる３次元情報及び２次元情報ＥＣ２を特徴変換辞書ＥＡ３を用いて情報圧縮し、３次元特徴量及び２次元特徴量ＥＢ３を取得する。そして、照合画像ＥＣ１の３次元特徴量及び２次元特徴量ＥＢ３と人物データベース３０に登録されている登録顔特徴量とを比較し判定出力する。
【００４８】
このように、コントローラ１０においては、辞書作成動作ＰＨＡ１で得られた特徴変換辞書ＥＡ３を用いて登録動作ＰＨＡ２が実行され、そして、登録動作ＰＨＡ２で得られる登録顔特徴量を用いて認証動作ＰＨＡ３が実行される。
【００４９】
以下では、辞書作成動作ＰＨＡ１及び登録動作ＰＨＡ２の各動作が予め終了しているものとして、認証動作ＰＨＡ３について説明する。
【００５０】
具体的には、カメラＣＡ１及びＣＡ２で撮影した所定人物を認証対象者ＨＭとして、実際に顔認証（認証動作ＰＨＡ３）を行う場合について説明する。ここでは、３次元情報として、カメラＣＡ１，ＣＡ２による画像を利用して三角測量の原理によって計測された３次元形状情報を用い、２次元情報としてテクスチャ（輝度）情報を用いる場合を例示する。
【００５１】
図６は、コントローラ１０の認証動作ＰＨＡ３のフローチャートである。図７は、顔画像における特徴的な部位の特徴点を示す図である。図８は、２次元画像中の特徴点から三角測量の原理を用いて３次元座標を算出する様子を示す模式図である。なお、図８中の符号Ｇ１は、カメラＣＡ１により撮影されコントローラ１０に入力された画像Ｇ１を示し、符号Ｇ２は、カメラＣＡ２により撮影されコントローラ１０に入力された画像Ｇ２を示している。また、画像Ｇ１、Ｇ２中の点Ｑ２０は、図７における口の右端に相当する。
【００５２】
図６に示されるように、コントローラ１０は、ステップＳＰ１からステップＳＰ８までの工程において、認証対象者ＨＭの顔を撮影した画像に基づいて、認証対象者ＨＭに関する顔特徴量を取得し、さらにステップＳＰ９からステップＳＰ１０の工程を経ることで、顔認証を実現する。
【００５３】
まず、ステップＳＰ１において、カメラＣＡ１及びＣＡ２によって撮影された所定の人物（認証対象者）の顔画像（画像Ｇ１及び画像Ｇ２）が、通信線を介しコントローラ１０に入力される。顔画像を撮影するカメラＣＡ１及びカメラＣＡ２は、それぞれ、２次元画像を撮影可能な一般的な撮影装置で構成される。また、当該各カメラＣＡｉの位置姿勢等を示すカメラパラメータＢｉ（ｉ＝１，...，Ｎ）は既知であり、予めカメラパラメータ記憶部２７（図４）に記憶されている。ここで、Ｎはカメラの台数を示している。本実施形態ではＮ＝２の場合を例示しているが、Ｎ≧３としてもよい（３台以上のカメラを用いてもよい）。また、カメラパラメータＢｉについては後述する。
【００５４】
次に、ステップＳＰ２において、カメラＣＡ１及びＣＡ２より入力された２枚の画像（画像Ｇ１及び画像Ｇ２）それぞれにおいて、顔の存在する領域が検出される。顔領域検出手法としては、例えば、予め用意された標準の顔画像を用いたテンプレートマッチングにより、２枚の画像それぞれから顔領域を検出する手法を採用することができる。
【００５５】
次に、ステップＳＰ３において、ステップＳＰ２で検出された顔領域画像の中から、顔の特徴的な部位の位置が検出される。例えば、顔の特徴的な部位としては、目、眉、鼻又は口等が考えられ、ステップＳＰ３においては、図７に示されるような上記各部位の特徴点Ｑ１〜Ｑ２３の座標が算出される。特徴部位の検出は、特徴部位の標準的なテンプレートを用いて行うテンプレートマッチングにより検出することができる。また、算出される特徴点の座標は、カメラより入力された画像Ｇ１、Ｇ２上の座標として表される。例えば、図７における口の右端に相当する特徴点Ｑ２０に関して、図８中に示すように、２枚の画像Ｇ１，Ｇ２のそれぞれにおける座標値が求められる。具体的には、画像Ｇ１の左上の端点を原点Ｏとして、特徴点Ｑ２０の画像Ｇ１上の座標（ｘ１，ｙ１）が算出される。画像Ｇ２においても同様に特徴点Ｑ２０の画像Ｇ２上の座標（ｘ２，ｙ２）が算出される。
【００５６】
また、入力された画像における各特徴点を頂点とする領域内の各画素の輝度値が、当該領域の有する情報（以下、「テクスチャ情報」とも称する）として取得される。各領域におけるテクスチャ情報は、後述のステップＳＰ５等において、標準モデルに貼り付けられる。なお、本実施形態の場合、入力される画像は２枚であるので、各画像の対応する領域内の対応する画素における平均の輝度値を当該領域のテクスチャ情報として用いるものとする。
【００５７】
次のステップＳＰ４（３次元再構成工程）では、ステップＳＰ３において検出された各特徴点Ｑｊの各画像Ｇｉ（ｉ＝１，...，Ｎ）における２次元座標Ｕｉ(j)と、各画像Ｇｉを撮影したカメラのカメラパラメータＢｉとに基づいて、各特徴点Ｑｊの３次元座標Ｍ(j)（ｊ＝１，...，ｍ）が算出される。なお、ｍは特徴点の数を示している。
【００５８】
以下、３次元座標Ｍ(j)の算出について具体的に説明する。
【００５９】
各特徴点Ｑｊの３次元座標Ｍ(j)と各特徴点Ｑｊの２次元座標Ｕｉ(j)とカメラパラメータＢｉとの関係は式（１）のように表される。
【００６０】
【数１】
【００６１】
なお、μｉは、スケールの変動分を示す媒介変数である。また、カメラパラメータ行列Ｂｉは、予め３次元座標が既知の物体を撮影することにより求められる各カメラ固有の値であり、３×４の射影行列で表される。
【００６２】
例えば、上記式（１）を用いて３次元座標を算出する具体的な例として、特徴点Ｑ２０の３次元座標Ｍ(20)を算出する場合を図８を用いて考える。式（２）は画像Ｇ１上の特徴点Ｑ２０の座標（ｘ１，ｙ１）と特徴点Ｑ２０を３次元空間で表したときの３次元座標（ｘ，ｙ，ｚ）との関係を示している。同様に、式（３）は、画像Ｇ２上の特徴点Ｑ２０の座標（ｘ２，ｙ２）と特徴点Ｑ２０を３次元空間で表したときの３次元座標（ｘ，ｙ，ｚ）との関係を示している。
【００６３】
【数２】
【００６４】
【数３】
【００６５】
上記式（２）及び式（３）中の未知数は、２つの媒介変数μ１、μ２と３次元座標Ｍ(20)の３つの成分値ｘ，ｙ，ｚとの合計５つである。一方、式（２）及び式（３）に含まれる等式の数は６であるため、各未知数つまり特徴点Ｑ２０の３次元座標（ｘ，ｙ，ｚ）を算出することができる。また、同様にして、全ての特徴点Ｑｊについての３次元座標Ｍ(j)を取得することができる。
【００６６】
次のステップＳＰ５では、モデルフィッテングが行われる。この「モデルフィッティング」は、予め準備された一般的（標準的）な顔のモデルである「（顔の）標準モデル」を、認証対象者ＨＭに関する情報を用いて変形することによって、認証対象者ＨＭの顔に関する入力情報が反映された「個別モデル」を生成する処理である。具体的には、算出された３次元座標Ｍ(j)を用いて標準モデルの３次元情報を変更する処理と、上記のテクスチャ情報を用いて標準モデルの２次元情報を変更する処理とが行われる。
【００６７】
図９は、３次元の顔の標準モデルを示している。
【００６８】
図９に示される顔の標準モデルは、頂点データとポリゴンデータとで構成され、３次元モデルデータベース２８（図４）として記憶部３等に保存されている。頂点データは、標準モデルにおける特徴部位の頂点（以下、「標準制御点」とも称する）ＣＯｊの座標の集合であり、ステップＳＰ４において算出される各特徴点Ｑｊの３次元座標と１対１に対応している。ポリゴンデータは、標準モデルの表面を微小な多角形（例えば、三角形）のポリゴンに分割し、ポリゴンを数値データとして表現したものである。なお、図９では、各ポリゴンの頂点が特徴点Ｑｊ以外の中間点によっても構成される場合を例示しており、中間点の座標は適宜の補完手法によって得ることが可能である。
【００６９】
ここで、標準モデルから個別モデルを構成するモデルフィッティングについて詳述する。
【００７０】
まず、標準モデルの各特徴部位の頂点（標準制御点ＣＯｊ）を、ステップＳＰ４において算出された各特徴点に移動させる。具体的には、各特徴点Ｑｊの３次元座標値を、対応する標準制御点ＣＯｊの３次元座標値として代入し、移動後の標準制御点（以下、「個別制御点」とも称する）Ｃｊを得る。これにより、標準モデルを３次元座標Ｍ(j)で表した個別モデルに変形することができる。
【００７１】
また、この変形（移動）による各頂点の移動量から、後述のステップＳＰ６において用いられる、標準モデルを基準にした場合の個別モデルのスケール、傾き及び位置を求めることができる。具体的には、標準モデルにおける所定の基準位置と、変形後の個別モデルにおける対応基準位置との間のずれ量によって、個別モデルの標準モデルに対する位置変化を求めることができる。また、標準モデルにおける所定の２点を結ぶ基準ベクトルと、変形後の個別モデルにおける当該所定の２点の対応点を結ぶ基準ベクトルとの間のずれ量によって、個別モデルの標準モデルに対する傾きの変化及びスケール変化を求めることができる。例えば、右目の目頭の特徴点Ｑ１と左目の目頭の特徴点Ｑ２との中点ＱＭの座標と標準モデルにおいて中点ＱＭに相当する点の座標とを比較することによって個別モデルの位置を求めることができ、さらに、中点ＱＭと他の特徴点とを比較することによって個別モデルのスケール及び傾きを算出することができる。
【００７２】
次の式（４）は、標準モデルと個別モデルとの間の対応関係を表現する変換パラメータ（ベクトル）ｖｔを示している。式（４）に示すように、この変換パラメータ（ベクトル）ｖｔは、両者のスケール変換指数ｓｚと、直交３軸方向における並進変位を示す変換パラメータ（ｔｘ，ｔｙ，ｔｚ）と、回転変位（傾き）を示す変換パラメータ（φ，θ，ψ）とをその要素とするベクトルである。
【００７３】
【数４】
【００７４】
上述のようにして、認証対象者ＨＭに関する３次元座標Ｍ(j)を用いて標準モデルの３次元情報を変更する処理が行われる。
【００７５】
その後、テクスチャ情報を用いて標準モデルの２次元情報を変更する処理も行われる。具体的には、入力画像Ｇ１，Ｇ２における各領域のテクスチャ情報が、３次元の個別モデル上の対応する領域（ポリゴン）に貼り付け（マッピング）られる。なお、立体モデル（個別モデル等）上でテクスチャ情報が貼り付けられる各領域（ポリゴン）は「パッチ」とも称せられる。
【００７６】
以上のようにして、モデルフィッティング処理（ステップＳＰ５）が行われる。
【００７７】
次のステップＳＰ６においては、標準モデルを基準にして個別モデルの補正が行われる。本工程では、３次元情報に関する位置（アライメント）補正と、２次元情報に関するテクスチャ補正とが実行される。
【００７８】
アライメント（顔向き）補正は、上記ステップＳＰ５において求められる標準モデルを基準にした際の個別モデルのスケール、傾き及び位置を基にして行われる。より詳細には、標準モデルを基準にした際の標準モデルと個別モデルとの関係を示す変換パラメータｖｔ（式（４）参照）を用いて個別モデルの個別制御点を座標変換することで、標準モデルの姿勢と同じ姿勢を有する３次元顔モデルを作成することができる。すなわち、このアライメント補正によって、認証対象者ＨＭに関する３次元情報を適切に正規化することができる。
【００７９】
次に、テクスチャ補正について説明する。テクスチャ補正においては、テクスチャ情報の正規化が行われる。
【００８０】
テクスチャ情報の正規化は、個別モデルの各個別制御点（特徴点）と標準モデルにおける各対応点（対応標準位置）との対応関係を求めてテクスチャ情報を標準化する処理である。これによって、個別モデルにおける各パッチのテクスチャ情報を、パッチ形状の変化（具体的には、顔の表情の変化）および／または顔の姿勢の変化の影響を受けにくい状態に変更することができる。
【００８１】
ここでは、個別モデルにおける各パッチのテクスチャ情報を（当該個別モデルの作成に用いた）元の標準モデルに貼り付けた立体モデルを、サブモデルとして、当該個別モデルとは別個に生成する場合を例示する。サブモデルに貼り付けられた各パッチのテクスチャ情報は、当該各パッチの形状および顔の姿勢が正規化された状態を有している。
【００８２】
詳細には、個別モデルの各個別制御点（特徴点）を元の標準モデルにおける各対応点に移動させた上で認証対象者に関するテクスチャ情報を標準化する。また、より詳細には、個別モデルにおける各パッチ内の各画素の位置を当該パッチの個別制御点Ｃｊの３次元座標に基づいて正規化し、元の標準モデルにおいて対応するパッチ内の対応する位置に個別モデルの各画素の輝度値（テクスチャ情報）を貼り付ける。なお、当該サブモデルに貼り付けられたテクスチャ情報は、後述の類似度計算処理（ステップＳＰ９）のうち、テクスチャ情報に関する比較処理に用いられる。
【００８３】
図１０は、所定パッチにおけるテクスチャ情報の正規化を示す概念図である。この図１０を用いて、テクスチャ情報の正規化について、より詳細に説明する。
【００８４】
例えば、或る個別モデルにおけるパッチＫＫ２と元の標準モデルにおけるパッチＨＹとが対応しているとする。このとき、個別モデルにおけるパッチＫＫ２内の位置γＫ２は、パッチＫＫ２の個別制御点Ｃｊ（ｊ＝Ｊ１、Ｊ２、Ｊ３）のうちの異なる２組の点を結ぶ独立したベクトルＶ２１，Ｖ２２の線形和で表現される。また、標準モデルにおけるパッチＨＹ内の位置γＨＹは、当該ベクトルＶ２１，Ｖ２２の線形和における各係数と同じ係数を用いて、対応ベクトルＶ０１，Ｖ０２の線形和で表現される。これにより、両位置γＫ１，γＨＹとの対応関係が求められ、パッチＫＫ２内における位置γＫ２のテクスチャ情報を、パッチＨＹ内の対応する位置γＨＹに貼り付けることが可能となる。このようなテクスチャ情報の貼り付け処理を個別モデルのパッチＫＫ２内の全テクスチャ情報について実行すると、個別モデルにおけるパッチ内のテクスチャ情報が、サブモデルにおけるパッチ内のテクスチャ情報に変換され、正規化された状態で得られることになる。
【００８５】
このサブモデルにおける顔の２次元情報（テクスチャ情報）は、顔の姿勢変動および顔の表情変化等による影響を受けにくいという特質を有している。例えば、同一人物に関する２つの個別モデルにおける姿勢および表情が互いに異なる場合、上述のテクスチャ情報の正規化を行わないときには、両個別モデルにおけるパッチの対応関係（例えば、図１０において、本来はパッチＫＫ１とパッチＫＫ２とが対応すること）等を正確に得ることができず、別人物であるとして誤判定する可能性が高くなる。これに対して、上述のテクスチャ情報の正規化を行えば、顔の姿勢が統一され、各パッチの対応位置関係をより正確に得ることができるので、姿勢変化による影響を受けにくくなる。また、上述のテクスチャ情報の正規化によれば、顔の表面を構成する各パッチの形状は、標準モデルにおける各対応パッチの形状と同一になる（図１０参照）ため、各パッチの形状が統一（正規化）され、表情変化による影響を受けにくくなる。例えば、微笑している人物の個別モデルは、笑っていない（無表情の）標準モデルを用いることによって、笑っていない状態のサブモデルに変換されて標準化される。これによれば、微笑によるテクスチャ情報の変化（例えば、ほくろの位置の変化）の影響が抑制される。このように、上述の正規化されたテクスチャ情報は、個人認証に有効な情報となる。
【００８６】
また、サブモデルに貼り付けられたテクスチャ情報は、比較しやすいように、図１１に示すような投影画像にさらに変更することもできる。
【００８７】
図１１は、テクスチャ補正されたテクスチャ情報、すなわち、サブモデルに貼り付けられたテクスチャ情報を、当該サブモデルの周囲に配置した円筒面に投影した画像である。この投影画像のテクスチャ情報は、正規化されており形状および姿勢に依存しないという特質を有しているため、個人識別に用いる情報として非常に有用である。
【００８８】
以上のようにステップＳＰ６においては、認証対象者ＨＭに関する３次元情報と２次元情報とが、正規化された状態で生成される。
【００８９】
次のステップＳＰ７（図６）においては、認証対象者ＨＭの特徴を表す情報として、３次元形状情報（３次元情報）とテクスチャ情報（２次元情報）とが抽出される。
【００９０】
３次元情報としては、個別モデルにおけるｍ個の個別制御点Ｃｊの３次元座標ベクトルが抽出される。具体的には、式（５）に示されるように、ｍ個の個別制御点Ｃｊ（ｊ＝１，...，ｍ）の３次元座標（Ｘｊ，Ｙｊ，Ｚｊ）を要素とするベクトルｈS（以下、「３次元座標情報」とも称する）が３次元情報（３次元形状情報）として抽出される。
【００９１】
【数５】
【００９２】
また、２次元情報としては、個人認証にとって重要な情報となる顔の特徴的な部分つまり個別制御点付近のパッチ又はパッチのグループ（局所領域）が有するテクスチャ（輝度）情報（以下、「局所２次元情報」とも称する）が抽出される。ここでは、テクスチャ情報（局所２次元情報）として、上述のサブモデルにマッピングされた情報が用いられる。
【００９３】
局所２次元情報は、例えば、正規化後の特徴的な部位の個別制御点を示す図１７中のグループＧＲ（個別制御点Ｃ２０、Ｃ２２及びＣ２３を頂点とするパッチＲ１と個別制御点Ｃ２１、Ｃ２２及びＣ２３を頂点とするパッチＲ２）から構成される領域、又は、単に一つのパッチからなる領域等の各局所領域が有する各画素の輝度情報として構成される。局所２次元情報ｈ(k)（ｋ＝１，...，Ｌ；Ｌは局所領域数）は、それぞれ、当該局所領域内の画素数をｎ、各画素の輝度値をＢＲ１，...，ＢＲｎとすると、式（６）のようなベクトル形式で表される。また、局所２次元情報ｈ(k)をＬ個の局所領域について集めた情報は、総合的な２次元情報であるとも表現される。
【００９４】
【数６】
【００９５】
以上のように、ステップＳＰ７においては、認証対象者ＨＭの特徴を表す情報として、３次元形状情報（３次元情報）とテクスチャ情報（２次元情報）とが抽出される。
【００９６】
次のステップＳＰ８においては、ステップＳＰ７で抽出された情報を、認証に適した状態に変換する次述の情報圧縮処理が行われる。
【００９７】
情報圧縮処理は、３次元形状情報ｈS及び各局所２次元情報ｈ(k)のそれぞれに対して辞書作成動作ＰＨＡ１で得られた各々の特徴変換辞書ＥＡ３を用いて行われる。以下では、３次元形状情報ｈSに対する情報圧縮処理と、局所２次元情報ｈ(k)に対する情報圧縮処理とについて、この順序で説明する。
【００９８】
３次元形状情報ｈSに対して行われる情報圧縮処理は、３次元形状情報ｈSが表す情報空間を、顔の形状変化（表情変化）による影響を受けにくく且つ個人相互間を大きく分離することが可能な部分空間へと変換する処理である。
【００９９】
このような情報圧縮処理として、ここでは、３次元形状情報用の変換行列（以下、「３次元情報変換行列」とも称する）Ａｔを利用するものを想定する。この３次元情報変換行列Ａｔは、個人内のばらつき（級内分散α）に比べて個人間のばらつき（級間分散β）を大きくする部分空間に３次元形状情報ｈSを射影させるとともに、当該３次元形状情報ｈSのベクトルサイズ（ベクトルの次元数）ＳＺ１（＝３×ｍ）を値ＳＺ０に低減させる変換行列である。そして、この３次元情報変換行列Ａｔを用いた式（７）で表されるような変換を行うことによって、３次元形状情報ｈSで表される情報空間を、３次元特徴量ｄSで表される部分空間（特徴空間）に変換（射影）することができる。
【０１００】
【数７】
【０１０１】
３次元情報変換行列Ａｔの機能について詳述する。
【０１０２】
３次元情報変換行列Ａｔは、３次元形状情報ｈSから、個人識別性の高い情報を選択する機能、すなわち情報圧縮機能を有している。
【０１０３】
具体的には、３次元情報変換行列Ａｔは、３次元形状情報ｈSに関する複数の主成分ベクトルのうち、後述の主成分ベクトルＩＸ１（図１２参照）等のような、顔の表情変化による影響を受けにくく且つ個人相互間を大きく分離する主成分ベクトル（比較的大きな比率Ｆ（次述）を有する主成分ベクトル）を選択して、３次元形状情報ｈSを３次元特徴量ｄSに圧縮する機能を有している。
【０１０４】
このような主成分ベクトルは、３次元形状情報ｈSの各主成分ベクトルへの射影成分に関する級内分散と級間分散との大小関係を利用して選択される。
【０１０５】
より詳細には、まず、３次元形状情報ｈSに関する複数の主成分ベクトルのうち、級内分散αと級間分散βとの比率Ｆ（＝β／α）の大きい主成分ベクトルがＳＺ０個選択される。そして、３次元形状情報を表現するベクトルｈSは、当該選択されたＳＺ０個の主成分ベクトルで表現されるベクトル空間内のベクトルｄSへと変換される。３次元情報変換行列Ａｔによる変換後のベクトルｄSによれば、個人内での表情変化等による顔の形状変動（変化）に影響されることを防止しつつ、個人間の相違を顕著に表現することができる。なお、３次元情報変換行列Ａｔの取得手法については次述する。
【０１０６】
また、この情報圧縮処理は、所定の写像関係ｆ（ｈS→ｄS）を用いて３次元形状情報ｈSを変換して、当該３次元形状情報ｈSを３次元特徴量（３次元形状特徴情報）ｄSに圧縮する処理であるとも言える。
【０１０７】
ここで、３次元情報変換行列Ａｔの取得手法について図１２を参照しながら説明する。３次元情報変換行列Ａｔは、辞書作成動作ＰＨＡ１で予め取得され、特徴変換辞書ＥＡ３に格納されている情報である。また、図１２は、辞書作成動作ＰＨＡ１を示すフローチャートである。
【０１０８】
辞書作成動作ＰＨＡ１では、複数人の様々な表情を示すサンプル顔画像について上述のステップＳＰ１〜ＳＰ７と同様の処理を実行することによって、全てのサンプル顔画像について各サンプル顔画像の３次元情報及び２次元情報が抽出される（ステップＳＰ２１）。
【０１０９】
例えば、人物一人ずつにつき喜び、怒り、驚き、悲しみ、恐怖などの様々な表情を表す２０の顔画像を集めることを１００人について繰り返して２０００種類の顔画像をサンプル画像として収集する。そして、各サンプル画像についてステップＳＰ１〜ＳＰ７の処理を実行することによって、２０００種類のサンプル画像のそれぞれについて３次元情報及び２次元情報を抽出することができる。
【０１１０】
そして、ステップＳＰ２２において、これら複数の３次元情報に基づいて統計的手法によって３次元形状情報用の変換行列（３次元情報変換行列）Ａｔと、これら複数の２次元情報に基づいて２次元情報用の変換行列（以下、「２次元情報変換行列」とも称する）Ａｗ(k)とが作成される。ここでは、３次元情報変換行列Ａｔの作成について説明し、２次元情報変換行列Ａｗ(k)の作成については後述する。
【０１１１】
３次元情報変換行列Ａｔの作成は、主成分分析後に級内分散と級間分散とを考慮して特徴選択を行う手法ＭＡを用いて行われる。
【０１１２】
より詳細には、図１３〜図１６を用いて説明する。図１３〜図１６は、各人物（ＨＭ１、ＨＭ２、ＨＭ３）の３次元形状情報ｈSを構成する主成分ベクトルＩＸγ（γ＝１，...，３×ｍ）のうちの所定の主成分ベクトル（ＩＸ１〜ＩＸ４）への射影状況を説明するために、各サンプル画像についての３次元形状情報ｈSの分布状況を模式的に示す図である。これらの図においては、或る人物の或る表情が１つの点で表現され、同一人物に係る点は同一の楕円内に収まるものとして表現されている。なお、上述したように、実際には多数（例えば１００人以上）の人物についてサンプル画像を撮影することが好ましいが、ここでは、図示の簡略化のため、３人の人物についての様々な表情のサンプル画像を取得した場合を例示する。
【０１１３】
図１３に示すように、各人物の各表情に対応する３次元形状情報（ベクトル）ｈSの主成分ベクトルＩＸ１への射影成分を想定する。このとき、主成分ベクトルＩＸ１への射影成分に関して、個人内のばらつきである級内分散αと個人間のばらつきである級間分散βとをそれぞれ求める。なお、図１３等において、各点から主成分ベクトルへ向けて伸びる片矢印は、当該主成分ベクトルＩＸ１への「射影」を表現しており、破線の両矢印および実線の両矢印は、それぞれ、射影成分に関する級内分散αと級間分散βとを模式的に示すものである。
【０１１４】
同様に、他の主成分ベクトルＩＸ２，ＩＸ３，ＩＸ４，ＩＸ５，...についても、その射影成分に関する級内分散αと級間分散βとを求める（図１４〜図１６）。
【０１１５】
そして、３次元形状情報ｈSに関する複数の主成分ベクトルのうち、級内分散αと級間分散βとの比率Ｆ（＝β／α）が大きいものから順にＳＺ０個の主成分ベクトルを選択する。
【０１１６】
ここでは簡単化のため、各主成分ベクトルＩＸγが、それぞれ、第γ番目（γ＝１，，...，３×ｍ）の成分（以下「対応成分」とも称する）のみを１としそれ以外をゼロとする単位ベクトルで構成されるものとする。
【０１１７】
この場合、上記の変換行列Ａｔは、上記において選択されたＳＺ０個の主成分ベクトルＩＸｑのそれぞれの対応成分（第ｑ成分）をベクトルｈSから抽出し、選択されなかった（３×ｍ−ＳＺ０）個の主成分ベクトルの各対応成分をベクトルｈSから抽出しないものとして構成される。
【０１１８】
図１３〜図１６に示される主成分ベクトルＩＸ１〜ＩＸ４を相互に比較すると、級内分散αと級間分散βとの比率（Ｆ＝β／α）の最も大きい主成分ベクトルは、主成分ベクトルＩＸ１である。したがって、上述の手法ＭＡを用いた変換行列Ａｔの作成においては、主成分ベクトルＩＸ１〜ＩＸ４の中ではまず主成分ベクトルＩＸ１が選択される。そして、変換行列Ａｔは、当該主成分ベクトルＩＸ１の対応成分（第１番目の成分）をベクトルｈSの中から抽出するように構成される。
【０１１９】
また、級内分散αと級間分散βとの比率Ｆが主成分ベクトルＩＸ１の次に大きい主成分ベクトルは、主成分ベクトルＩＸ３である。この場合、変換行列Ａｔは、当該主成分ベクトルＩＸ３の対応成分をもベクトルｈSの中から抽出するように構成される。
【０１２０】
同様にして、比率Ｆが比較的大きなＳＺ０個の主成分ベクトルを選択するとともに、当該選択した主成分ベクトルの対応成分を選択するような変換行列Ａｔが生成される。
【０１２１】
一方、図１４および図１６に示されるように、主成分ベクトルＩＸ２，ＩＸ４に関する比率Ｆは比較的小さな値になる。この場合、当該主成分ベクトルＩＸ２，ＩＸ４は選択されず、したがって、変換行列Ａｔは、当該主成分ベクトルＩＸ２，ＩＸ４の対応成分をベクトルｈSから抽出しないように構成される。
【０１２２】
このように、変換行列Ａｔは、全主成分ベクトルの中から選択されたＳＺ０個の主成分ベクトルの対応成分のみを抽出し、非選択の主成分ベクトルの対応成分を抽出しないように構成される。また、変換行列Ａｔは、縦方向のサイズがＳＺ０であり横方向のサイズが（３×ｍ）である行列である。すなわち、３次元形状に関する情報量は（３×ｍ）からＳＺ０へと圧縮されることになる。
【０１２３】
なお、上記においては、複数の主成分ベクトルの中から所定数（ＳＺ０個）の主成分ベクトルを選択する場合を例示しているが、これに限定されず、比率Ｆに関する閾値ＦＴｈを定め、当該閾値ＦＴｈよりも大きな比率Ｆを有する主成分ベクトルを複数の主成分ベクトルの中から選択し、選択した主成分ベクトルを用いて変換行列Ａｔを構成するようにしてもよい。
【０１２４】
以上のようにして作成された変換行列Ａｔは、３次元形状情報ｈSで表される情報空間を、３次元形状情報ｈS内の顔の形状変化（表情変化）による影響を受けにくい情報であるとともに個人間の分離を大きくする情報（特徴情報）が表す部分空間へと変換することを可能にする。
【０１２５】
ここで、３次元形状情報ｈSのベクトル空間を、表情の相違による影響が比較的小さく個人相互間の識別に適した第１の部分空間と、表情の相違による影響が比較的大きく個人相互間の識別に適さない第２の部分空間とに仮想的に分離することを想定すると、上記の写像関係ｆ（ｈS→ｄS）は、人物の顔の３次元形状を表現するベクトル空間における任意のベクトルを第１の部分空間内のベクトルに変換するものであると表現できる。
【０１２６】
このように、複数の人物について様々な表情で撮像した複数の画像をサンプル画像として収集し、当該複数のサンプル画像に基づいて上記の写像関係ｆ（ｈS→ｄS）、（ここでは３次元情報変換行列Ａｔ）を取得することができる。
【０１２７】
次に、局所２次元情報ｈ(k)に対する情報圧縮処理について説明する。
【０１２８】
局所２次元情報ｈ(k)は、当該局所領域内における画素の輝度値の集合であるから、その情報量（次元数）は３次元形状情報ｈSに比べて膨大となる。このため、本実施形態の局所２次元情報ｈ(k)に関する情報圧縮処理では、ＫＬ展開を用いた圧縮と２次元情報変換行列Ａｗ(k)を用いた圧縮との２段階の圧縮処理が行われる。
【０１２９】
局所２次元情報ｈ(k)は、複数のサンプル顔画像から予め取得される当該局所領域の平均情報（ベクトル）ｈave(k)と、複数のサンプル顔画像をＫＬ展開することによって予め算出される当該局所領域の固有ベクトルのセットで表現される行列Ｐ(k)（次述）とを用いて式（８）のように基底分解された形式で表すことができる。この結果、局所２次元顔情報量（ベクトル）ｃ(k)が、局所２次元情報ｈ(k)についての圧縮情報として取得される。
【０１３０】
【数８】
【０１３１】
上述のように式（８）中の行列Ｐ(k)は、複数のサンプル顔画像から算出される。具体的には、行列Ｐ(k)は、複数のサンプル顔画像をＫＬ展開することによって求められる複数の固有ベクトルのうち、固有値の大きい数個の固有ベクトル（基底ベクトル）のセットとして求められる。これらの基底ベクトルは、基底ベクトルデータベース２６に記憶されている。顔画像についてのより大きな特徴を示す固有ベクトルを基底ベクトルとしてその顔画像を表現することによれば、顔画像の特徴を効率的に表現することが可能となる。
【０１３２】
例えば、図１７に示されているグループＧＲからなる局所領域の局所２次元情報ｈ(GR)を基底分解された形式で表現する場合を考える。当該局所領域の固有ベクトルのセットＰが、３つの固有ベクトルＰ１、Ｐ２及びＰ３によってＰ＝（Ｐ１，Ｐ２，Ｐ３）と表現されているとすると、局所２次元情報ｈ(GR)は、当該局所領域の平均情報ｈave(GR)と固有ベクトルのセットＰ１，Ｐ２，Ｐ３を用いて式（９）のように表される。平均情報ｈave(GR)は、様々なサンプル顔画像についての複数の局所２次元情報（ベクトル）を対応要素ごとに平均して得られるベクトルである。なお、複数のサンプル顔画像は、適度なばらつきを有する標準的な複数の顔画像を用いればよい。
【０１３３】
【数９】
【０１３４】
また、上記式（９）は、顔情報量ｃ(GR)＝（ｃ１，ｃ２，ｃ３）Ｔによって元の局所２次元情報を再現することが可能であることを示している。すなわち、顔情報量ｃ(GR)は、グループＧＲからなる局所領域の局所２次元情報ｈ(GR)を圧縮した情報といえる。
【０１３５】
次に、２次元情報変換行列Ａｗ(k)を用いて、局所２次元顔情報量ｃ(GR)が表す特徴空間を個人間の分離を大きくするような部分空間へと変換する処理が行われる。より詳細には、式（１０）に表されるようにベクトルサイズＳＺ２の局所２次元顔情報量ｃ(GR)をベクトルサイズＳＺ３の局所２次元特徴量ｄ(GR)に低減させる２次元情報変換行列Ａｗ(GR)を用いて、局所２次元顔情報量ｃ(GR)で表される特徴空間を局所２次元特徴量ｄ(GR)で表される部分空間に変換することができ、個人間の情報の相違が顕著になる。
【０１３６】
【数１０】
【０１３７】
なお、２次元情報変換行列Ａｗ(k)は、上述の３次元情報変換行列Ａｔと同様に、辞書作成動作ＰＨＡ１で予め取得され、特徴変換辞書ＥＡ３に格納されている情報である。
【０１３８】
具体的には、辞書作成動作ＰＨＡ１では、全てのサンプル顔画像について局所領域ごとに局所２次元情報が抽出され（ステップＳＰ２１）、ステップＳＰ２２において、当該局所２次元情報ｈ(k)をＫＬ展開することによって得られる局所２次元顔情報量Ｃ(k)に基づいて２次元情報用の変換行列（以下、「２次元情報変換行列」とも称する）Ａｗ(k)が作成される。２次元情報変換行列Ａｗ(k)の作成は、上述の手法ＭＡを用いて、局所２次元顔情報量Ｃ(k)が表す特徴空間の各成分の中から、級内分散αと級間分散βの比率（Ｆ＝β／α）の大きい成分をＳＺ３個選び出すことによって行われる。
【０１３９】
また、上述した局所２次元情報ｈ(GR)について行った情報圧縮処理と同様の処理を他の全ての局所領域にも実行することによって、各局所領域についての局所２次元顔特徴量ｄ(k)を取得することができる。
【０１４０】
上記ステップＳＰ８を経て取得される３次元顔特徴量ｄSと局所２次元顔特徴量ｄ(k)とを組み合わせた顔特徴量ｄは、ベクトル形式で式（１１）のように表すことができる。
【０１４１】
【数１１】
【０１４２】
以上に述べたステップＳＰ１〜ＳＰ８の工程において、入力される認証対象者ＨＭの顔画像から当該対象者の顔特徴量ｄが取得される。
【０１４３】
そして、次のステップＳＰ９〜ＳＰ１０においては、この顔特徴量ｄを用いて所定人物の顔認証が行われる。
【０１４４】
具体的には、認証対象者ＨＭ（認証対象物）と比較対象者（比較対象物）との類似度である総合類似度Ｒｅが算出され（ステップＳＰ９）、その後、この総合類似度Ｒｅに基づく認証対象者ＨＭと比較対象者との比較（判定）動作等（ステップＳＰ１０）が行われる。この総合類似度Ｒｅは、３次元顔特徴量ｄSから算出される３次元類似度ＲｅSと、局所２次元顔特徴量ｄ(k)から算出される局所２次元類似度Ｒｅ(k)とに加えて、３次元類似度ＲｅSと局所２次元類似度Ｒｅ(k)との重みを規定する重み付け係数（以下、単に「重み係数」とも称する）を用いて算出される。なお、本実施形態における重み係数ＷＴ及びＷＳは、予め決定されている所定の値を用いる。
【０１４５】
ステップＳＰ９では、人物パラメータデータベース２８に予め登録されている比較対象者の顔特徴量（比較特徴量）と、上記ステップＳＰ１〜ステップＳＰ８を経て算出された認証対象者ＨＭの顔特徴量との類似性の評価が行われる。具体的には、登録されている顔特徴量（比較特徴量）（ＲｅSM及びＲｅ(k)M）と認証対象者ＨＭの顔特徴量（ＲｅSI及びＲｅ(k)I）との間で類似度計算が実行され、３次元類似度ＲｅSと局所２次元類似度Ｒｅ(k)とが算出される。
【０１４６】
なお、この実施形態においては、顔認証動作において比較の対象とされる人物（比較対象者）についての顔特徴量は、上述のとおり認証動作ＰＨＡ３（図６）に先立って実行される図１８の登録動作ＰＨＡ２において予め取得されている。
【０１４７】
具体的には、登録動作ＰＨＡ２では、図１８に示されるように１人又は複数人の比較対象者のそれぞれに関して上述のステップＳＰ１〜ステップＳＰ８と同様の処理が実行され各比較対象者の顔特徴量ｄが取得され、ステップＳＰ３１において、当該顔特徴量ｄが人物パラメータデータベース２８に予め記憶（登録）される。
【０１４８】
ここで、登録動作ＰＨＡ２におけるステップＳＰ１〜ステップＳＰ８の動作を簡単に説明すると、ステップＳＰ１〜ステップＳＰ５において、比較対象者の顔に関する入力情報が反映された個別モデルが生成され、次のステップＳＰ６において、標準モデルを基準にして当該個別モデルの３次元情報に関する位置補正と、サブモデルを用いた２次元情報に関するテクスチャ補正とが実行される。そして、ステップＳＰ７において、比較対象者の特徴を表す情報として、３次元形状情報（３次元情報）とテクスチャ情報（２次元情報）とが抽出される。詳細には、３次元形状情報は個別モデルから抽出され、テクスチャ情報はサブモデルから抽出される。次のステップＳＰ８においては、ステップＳＰ７で抽出された情報を、認証に適した状態に変換する情報圧縮処理が行われ、比較対象者の顔特徴量ｄが取得される。
【０１４９】
さて、認証対象者ＨＭと比較対象者との３次元類似度ＲｅSは、式（１２）に示されるように対応するベクトル同士のユークリッド距離ＲｅSを求めることによって取得される。
【０１５０】
【数１２】
【０１５１】
また、局所２次元の類似度Ｒｅ(k)は、式（１３）に示されるように対応する局所領域同士における特徴量の各ベクトル成分ごとのユークリッド距離Ｒｅ(k)を求めることによって取得される。
【０１５２】
【数１３】
【０１５３】
そして、式（１４）に示されるように、３次元の類似度ＲｅSと局所２次元の類似度Ｒｅ(k)とを、重み係数ＷＴ及びＷＳを用いて合成し、認証対象者ＨＭ（認証対象物）と比較対象者（比較対象物）との類似度である総合類似度Ｒｅを取得することができる。
【０１５４】
【数１４】
【０１５５】
次に、ステップＳＰ１０においては、総合類似度Ｒｅに基づいて認証判定が行われる。認証判定は、顔照合（Verification）の場合と顔識別(Identification)の場合とで、その手法が以下のように異なる。
【０１５６】
顔照合では、入力された顔（認証対象者ＨＭの顔）が特定の登録者であるか否かが判定されればよいため、特定登録者つまり比較対象者の顔特徴量（比較特徴量）と認証対象者ＨＭの顔特徴量との類似度Ｒｅを一定の閾値と比較することで、認証対象者ＨＭと比較対象者との同一性が判定される。詳細には、類似度Ｒｅが一定の閾値ＴＨ１よりも小さいときに認証対象者ＨＭが比較対象者と同一人物であると判定される。
【０１５７】
一方、顔識別は、入力された顔（認証対象者ＨＭの顔）が誰のものであるかを判定するものである。この顔識別では、登録されている人物の顔特徴量と認証対象者ＨＭの顔の特徴量との類似度を全て算出して、認証対象者ＨＭと各比較対象者との同一性をそれぞれ判定する。そして、複数の比較対象者のうち最も高い同一性を有する比較対象者を認証対象者ＨＭと同一人物であると判定する。詳細には、認証対象者ＨＭと複数の比較対象者のそれぞれとの各類似度Ｒｅのうち、最小の類似度Ｒｅminに対応する比較対象者が、認証対象者ＨＭと同一人物であると判定される。
【０１５８】
以上のように、コントローラ１０においては、所定の写像関係ｆ（ｈS→ｄS）を用いて、認証対象者の顔の３次元形状情報ｈSが、認証対象者の顔の表情変化による変動を受けにくく且つ個人の識別性が高い３次元形状特徴情報ｄSに変換されて圧縮され、当該３次元形状特徴情報ｄSを用いて認証動作が行われるので、顔の表情変化の影響を受けにくい高精度の認証動作を行うことが可能となる。
【０１５９】
＜変形例＞
以上、この発明の実施の形態について説明したが、この発明は、上記に説明した内容に限定されるものではない。
【０１６０】
例えば、上記実施形態においては、顔の個別モデルにおける各個別制御点の３次元座標（３次元座標情報）を３次元形状情報として用いていたがこれに限定されない。具体的には、個別モデルにおけるｍ個の個別制御点（代表点）Ｃｊ（ｊ＝１，...，ｍ）の任意の２点間を結ぶ直線の長さ、換言すれば、任意の２点間の距離（単に「距離情報」とも称する）を３次元形状情報ｈSに用いてもよい。
【０１６１】
詳細には、図１９を用いて説明する。図１９は、個別制御点を結ぶ直線を示す図である。例えば、図１９に示されるように、個別モデルにおける個別制御点Ｃｊ（ｊ＝Ｊ４）と他の各個別制御点Ｃｊ（ｊ：Ｊ４以外）とを結ぶ直線の長さＤＳ1、ＤＳ2、ＤＳ3等を、３次元形状情報ｈSの要素（成分）として用いることができる。この場合、３次元形状情報ｈSは式（１５）のように表され、その次元数は、ｍ×（ｍ−１）／２となる。任意の２つの個別制御点Ｃｊ間の長さ（距離）は、当該２つの個別制御点の各３次元座標から算出することができる。
【０１６２】
【数１５】
【０１６３】
そして、情報圧縮処理（ステップＳＰ８）において、このような３次元形状情報（ベクトル）ｈSを構成する各要素（距離情報）の中から、顔の表情変化による影響を受けにくく且つ個人相互間の分離を大きくする要素である距離情報（比率Ｆの大きい情報）を、識別性の高い距離情報として選択するような変換Ａｔによって、３次元特徴量ｄSが生成される。
【０１６４】
以上のようにして、「距離情報」を３次元形状情報ｈSとして用いることもできる。
【０１６５】
あるいは、個別モデルにおけるｍ個の個別制御点（代表点）Ｃｊ（ｊ＝１，...，ｍ）の任意の３点から形成される３角形が有する３つの角度（単に「角度情報」とも称する）を３次元形状情報ｈSとして用いてもよい。
【０１６６】
詳細には、図２０を用いて説明する。図２０は、３つの個別制御点から形成される三角形を示す図である。例えば、図２０に示されるように、個別モデルにおける個別制御点Ｃｊ（ｊ＝Ｊ４）、Ｃｊ（ｊ＝Ｊ５）及びＣｊ（ｊ＝Ｊ６）の３点から形成される３角形が有する３つの角度ＡＮ1、ＡＮ2、ＡＮ3を３次元形状情報ｈSの要素として用いることができる。この場合、３次元形状情報ｈSは式（１６）のように表され、その次元数は、ｍ×（ｍ−１）×（ｍ−２）／２となる。また、任意の３つの個別制御点Ｃｊによって形成される三角形の３つの角度は、当該三角形を形成する３つの個別制御点の各３次元座標から算出することができる。
【０１６７】
【数１６】
【０１６８】
あるいは、３次元形状情報の要素として上記に例示した３次元座標情報、距離情報、又は角度情報を組合せた情報を３次元形状情報ｈSに用いてもよい。
【０１６９】
また、上記実施形態においては、パッチ内の各画素の輝度値を２次元情報としていたが、各パッチが有する色合いを２次元情報として用いてもよい。
【０１７０】
また、上記実施形態においては、１回の撮影によって得られる顔特徴量ｄを用いて類似度計算を行っていたがこれに限定されない。具体的には、認証対象者ＨＭの撮影を２度行い、２回の撮影で得られる顔特徴量同士の類似度を算出することで、取得した顔特徴量の値が妥当であるか否かを判断することができる。これにより、取得した顔特徴量の値が不適当であった場合、再度撮影をやり直すことができる。
【０１７１】
また、上記実施形態では、ステップＳＰ６において変換行列Ａｔを決定する手法として手法ＭＡを用いていたがこれに限定されず、例えば、所定の特徴空間から級間分散と級内分散との比率が大きくなるような射影空間を求めるＭＤＡ（Multiple Discriminant Analysis）法、或いは、所定の特徴空間から級間分散と級内分散との差が大きくなるような射影空間を求めるＥＭ（Eigenspace Method）法を用いてもよい。
【０１７２】
また、上記実施形態においては、複数台のカメラより入力される複数の画像を用いて顔の３次元形状情報を取得しているがこれに限定されない。具体的には、図２１に示されるようなレーザ光出射部Ｌ１とカメラＬＣＡとから構成される３次元形状測定器を用いてレーザ光出射部Ｌ１の照射するレーザの反射光をカメラＬＣＡによって計測することにより、認証対象者ＨＭの顔の３次元形状情報を取得してもよい。但し、上記実施形態のようにカメラ２台を含む入力装置を用いて３次元の形状情報を取得する手法によれば、レーザ光を用いる入力装置に比べて、比較的簡易な構成で３次元の形状情報を取得することができる。
【０１７３】
また、上記実施形態では、情報圧縮用の写像関係ｆ（ｈS→ｄS）として、線形変換（式（７）参照）で表現されるものを例示したが、これに限定されず、非線形変換で表現されるものであってもよい。
【０１７４】
また、上記実施形態においては、式（１４）に示すように、３次元形状情報だけでなく、テクスチャ情報をも用いて認証対象者と登録者との同一性を判定しているが、これに限定されず、３次元形状情報だけを用いて認証対象者と登録者との同一性を判定してもよい。ただし、認証精度向上のためには、テクスチャ情報をも用いることが好ましい。
【図面の簡単な説明】
【０１７５】
【図１】本発明の実施形態に係る顔認証システムの適用例を示す構成図である。
【図２】コントローラの構成概要を示す図である。
【図３】コントローラが備える各種機能を示すブロック図である。
【図４】個人認証部の詳細な機能構成を示すブロック図である。
【図５】画像正規化部のさらに詳細な機能構成を示すブロック図である。
【図６】認証動作を示すフローチャートである。
【図７】顔画像における特徴的な部位の特徴点を示す図である。
【図８】２次元画像中の特徴点から３次元座標を算出する模式図である。
【図９】３次元の顔の標準モデルを示している図である。
【図１０】所定パッチにおけるテクスチャ情報の正規化を示す概念図である。
【図１１】テクスチャ情報を示す図である。
【図１２】辞書作成動作を示すフローチャートである。
【図１３】３次元形状情報の射影状態を示す模式図である。
【図１４】３次元形状情報の射影状態を示す模式図である。
【図１５】３次元形状情報の射影状態を示す模式図である。
【図１６】３次元形状情報の射影状態を示す模式図である。
【図１７】正規化後の特徴的な部位の個別制御点を示す図である。
【図１８】登録動作を示すフローチャートである。
【図１９】個別制御点を結ぶ直線を示す図である。
【図２０】３つの個別制御点から形成される三角形を示す図である。
【図２１】レーザ光出射部とカメラとから構成される３次元形状測定器を示す図である。
【符号の説明】
【０１７６】
１ 顔認証システム
１０ コントローラ
１１ 画像入力部
１２ 顔領域検索部
１３ 顔部位検出部
１４ 個人認証部
１５ 出力部
ＣＡ１ カメラ
ＣＡ２ カメラ
【特許請求の範囲】
【請求項１】
認証装置であって、
認証対象者の顔の３次元形状情報を取得する手段と、
所定の写像関係を用いて前記３次元形状情報を圧縮した３次元形状特徴情報を生成する圧縮手段と、
前記３次元形状特徴情報を用いて前記認証対象者に関する認証動作を行う認証手段と、
を備え、
前記所定の写像関係は、前記３次元形状情報を表現するベクトル空間が、表情の相違による影響が比較的小さく個人相互間の識別に適した第１の部分空間と、表情の相違による影響が比較的大きく個人相互間の識別に適さない第２の部分空間とに仮想的に分離されるとき、前記ベクトル空間における任意のベクトルを前記第１の部分空間内のベクトルに変換するものであることを特徴とする認証装置。
【請求項２】
請求項１に記載の認証装置において、
前記３次元形状特徴情報を表現するベクトルの次元数は、前記３次元形状情報を表現するベクトルの次元数よりも低いことを特徴とする認証装置。
【請求項３】
請求項１または請求項２に記載の認証装置において、
前記ベクトル空間は、級内分散と級間分散との大小関係を利用して、前記第１の部分空間と前記第２の部分空間とに仮想的に分離されることを特徴とする認証装置。
【請求項４】
請求項１から請求項３のいずれかに記載の認証装置において、
前記所定の写像関係は、複数の人物をそれぞれその表情を変えて撮像した複数の画像に基づいて取得されることを特徴とする認証装置。
【請求項５】
請求項１から請求項４のいずれかに記載の認証装置において、
前記認証対象者の顔の２次元情報を取得する手段、
をさらに備え、
前記認証手段は、前記２次元情報をも用いて前記認証対象者に関する認証動作を行うことを特徴とする認証装置。
【請求項６】
請求項５に記載の認証装置において、
前記認証対象者の顔に関する個別モデルを、前記３次元形状情報と前記２次元情報とに基づいて生成する手段と、
前記個別モデルのテクスチャ情報を標準化した状態に変換する変換手段と、
をさらに備え、
前記変換手段は、前記個別モデルに設定された各代表点と標準立体モデルにおける各対応標準位置との対応関係を利用して、前記テクスチャ情報を標準化した状態に変換し、
前記認証手段は、標準化されたテクスチャ情報をも用いて前記認証対象者に関する認証動作を行うことを特徴とする認証装置。
【請求項７】
請求項６に記載の認証装置において、
前記変換手段は、前記対応関係を利用して、前記テクスチャ情報を前記標準立体モデルに貼り付けたサブモデルを生成し、前記テクスチャ情報を標準化した状態に変換することを特徴とする認証装置。
【請求項８】
請求項７に記載の認証装置において、
前記変換手段は、前記サブモデルの周囲に配置された円筒面に前記サブモデルのテクスチャ情報を投影して、前記テクスチャ情報を標準化した状態に変換することを特徴とする認証装置。
【請求項９】
請求項１から請求項８のいずれかに記載の認証装置において、
前記３次元形状情報は、前記認証対象者の顔の個別モデルに設定された複数の代表点の３次元座標情報を含むことを特徴とする認証装置。
【請求項１０】
請求項１から請求項８のいずれかに記載の認証装置において、
前記３次元形状情報は、前記認証対象者の顔の個別モデルに設定された複数の代表点における任意の２点間の距離情報を含むことを特徴とする認証装置。
【請求項１１】
請求項１から請求項８のいずれかに記載の認証装置において、
前記３次元形状情報は、前記認証対象者の顔の個別モデルに設定された複数の代表点における任意の３点から形成される３角形が有する角度情報を含むことを特徴とする認証装置。
【請求項１２】
認証方法であって、
認証対象者の顔の３次元形状情報を取得する工程と、
前記３次元形状情報を表現するベクトル空間を、表情の相違による影響が比較的小さく個人相互間の識別に適した第１の部分空間と、表情の相違による影響が比較的大きく個人相互間の識別に適さない第２の部分空間とに仮想的に分離するとき、前記ベクトル空間における任意のベクトルを前記第１の部分空間内の所定の部分空間のベクトルに変換する所定の写像関係を用いて、前記３次元形状情報を変換し、前記３次元形状情報を３次元形状特徴情報に圧縮する工程と、
前記３次元形状特徴情報を用いて前記認証対象者に関する認証動作を行う工程と、
を含むことを特徴とする認証方法。
【請求項１３】
コンピュータに、
認証対象者の顔の３次元形状情報を取得する手順と、
前記３次元形状情報を表現するベクトル空間を、表情の相違による影響が比較的小さく個人相互間の識別に適した第１の部分空間と、表情の相違による影響が比較的大きく個人相互間の識別に適さない第２の部分空間とに仮想的に分離するとき、前記ベクトル空間における任意のベクトルを前記第１の部分空間内の所定の部分空間のベクトルに変換する所定の写像関係を用いて、前記３次元形状情報を変換し、前記３次元形状情報を３次元形状特徴情報に圧縮する手順と、
前記３次元形状特徴情報を用いて前記認証対象者に関する認証動作を行う手順と、
を実行させることを特徴とするプログラム。
【請求項１】
認証装置であって、
認証対象者の顔の３次元形状情報を取得する手段と、
所定の写像関係を用いて前記３次元形状情報を圧縮した３次元形状特徴情報を生成する圧縮手段と、
前記３次元形状特徴情報を用いて前記認証対象者に関する認証動作を行う認証手段と、
を備え、
前記所定の写像関係は、前記３次元形状情報を表現するベクトル空間が、表情の相違による影響が比較的小さく個人相互間の識別に適した第１の部分空間と、表情の相違による影響が比較的大きく個人相互間の識別に適さない第２の部分空間とに仮想的に分離されるとき、前記ベクトル空間における任意のベクトルを前記第１の部分空間内のベクトルに変換するものであることを特徴とする認証装置。
【請求項２】
請求項１に記載の認証装置において、
前記３次元形状特徴情報を表現するベクトルの次元数は、前記３次元形状情報を表現するベクトルの次元数よりも低いことを特徴とする認証装置。
【請求項３】
請求項１または請求項２に記載の認証装置において、
前記ベクトル空間は、級内分散と級間分散との大小関係を利用して、前記第１の部分空間と前記第２の部分空間とに仮想的に分離されることを特徴とする認証装置。
【請求項４】
請求項１から請求項３のいずれかに記載の認証装置において、
前記所定の写像関係は、複数の人物をそれぞれその表情を変えて撮像した複数の画像に基づいて取得されることを特徴とする認証装置。
【請求項５】
請求項１から請求項４のいずれかに記載の認証装置において、
前記認証対象者の顔の２次元情報を取得する手段、
をさらに備え、
前記認証手段は、前記２次元情報をも用いて前記認証対象者に関する認証動作を行うことを特徴とする認証装置。
【請求項６】
請求項５に記載の認証装置において、
前記認証対象者の顔に関する個別モデルを、前記３次元形状情報と前記２次元情報とに基づいて生成する手段と、
前記個別モデルのテクスチャ情報を標準化した状態に変換する変換手段と、
をさらに備え、
前記変換手段は、前記個別モデルに設定された各代表点と標準立体モデルにおける各対応標準位置との対応関係を利用して、前記テクスチャ情報を標準化した状態に変換し、
前記認証手段は、標準化されたテクスチャ情報をも用いて前記認証対象者に関する認証動作を行うことを特徴とする認証装置。
【請求項７】
請求項６に記載の認証装置において、
前記変換手段は、前記対応関係を利用して、前記テクスチャ情報を前記標準立体モデルに貼り付けたサブモデルを生成し、前記テクスチャ情報を標準化した状態に変換することを特徴とする認証装置。
【請求項８】
請求項７に記載の認証装置において、
前記変換手段は、前記サブモデルの周囲に配置された円筒面に前記サブモデルのテクスチャ情報を投影して、前記テクスチャ情報を標準化した状態に変換することを特徴とする認証装置。
【請求項９】
請求項１から請求項８のいずれかに記載の認証装置において、
前記３次元形状情報は、前記認証対象者の顔の個別モデルに設定された複数の代表点の３次元座標情報を含むことを特徴とする認証装置。
【請求項１０】
請求項１から請求項８のいずれかに記載の認証装置において、
前記３次元形状情報は、前記認証対象者の顔の個別モデルに設定された複数の代表点における任意の２点間の距離情報を含むことを特徴とする認証装置。
【請求項１１】
請求項１から請求項８のいずれかに記載の認証装置において、
前記３次元形状情報は、前記認証対象者の顔の個別モデルに設定された複数の代表点における任意の３点から形成される３角形が有する角度情報を含むことを特徴とする認証装置。
【請求項１２】
認証方法であって、
認証対象者の顔の３次元形状情報を取得する工程と、
前記３次元形状情報を表現するベクトル空間を、表情の相違による影響が比較的小さく個人相互間の識別に適した第１の部分空間と、表情の相違による影響が比較的大きく個人相互間の識別に適さない第２の部分空間とに仮想的に分離するとき、前記ベクトル空間における任意のベクトルを前記第１の部分空間内の所定の部分空間のベクトルに変換する所定の写像関係を用いて、前記３次元形状情報を変換し、前記３次元形状情報を３次元形状特徴情報に圧縮する工程と、
前記３次元形状特徴情報を用いて前記認証対象者に関する認証動作を行う工程と、
を含むことを特徴とする認証方法。
【請求項１３】
コンピュータに、
認証対象者の顔の３次元形状情報を取得する手順と、
前記３次元形状情報を表現するベクトル空間を、表情の相違による影響が比較的小さく個人相互間の識別に適した第１の部分空間と、表情の相違による影響が比較的大きく個人相互間の識別に適さない第２の部分空間とに仮想的に分離するとき、前記ベクトル空間における任意のベクトルを前記第１の部分空間内の所定の部分空間のベクトルに変換する所定の写像関係を用いて、前記３次元形状情報を変換し、前記３次元形状情報を３次元形状特徴情報に圧縮する手順と、
前記３次元形状特徴情報を用いて前記認証対象者に関する認証動作を行う手順と、
を実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図９】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図９】
【図１１】
【公開番号】特開２００７−５８４０１（Ｐ２００７−５８４０１Ａ）
【公開日】平成１９年３月８日（２００７．３．８）
【国際特許分類】
【出願番号】特願２００５−２４１０３４（Ｐ２００５−２４１０３４）
【出願日】平成１７年８月２３日（２００５．８．２３）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
【公開日】平成１９年３月８日（２００７．３．８）
【国際特許分類】
【出願日】平成１７年８月２３日（２００５．８．２３）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
[ Back to top ]