顔認証装置
【課題】入力される顔画像の撮像環境にかかわらず、高精度に個人識別できる顔認証装置を提供する。
【解決手段】本発明に係る顔認証装置は、入力される顔画像データの特徴量データと顔画像データ登録部３０に登録された顔画像データの特徴量データとの間の類似度を算出する第１の類似度算出部５０と、特徴量データ記憶部６０に記憶された複数の特徴量データと第１の類似度抽出部５０が抽出する特徴量データとの間の類似度を算出する第２の類似度算出部７０と、第２の算出部７０が算出する類似度に基づいて、入力顔画像データと登録顔画像データとが同一人か否かを判断するための閾値を設定する閾値設定部８０と、閾値設定部８０により設定された閾値と第１の類似度算出部７０が算出する類似度とを比較して、入力顔画像データと登録顔画像データとが同一人のものであるか否かを判定する識別判定部９０とを備えている。
【解決手段】本発明に係る顔認証装置は、入力される顔画像データの特徴量データと顔画像データ登録部３０に登録された顔画像データの特徴量データとの間の類似度を算出する第１の類似度算出部５０と、特徴量データ記憶部６０に記憶された複数の特徴量データと第１の類似度抽出部５０が抽出する特徴量データとの間の類似度を算出する第２の類似度算出部７０と、第２の算出部７０が算出する類似度に基づいて、入力顔画像データと登録顔画像データとが同一人か否かを判断するための閾値を設定する閾値設定部８０と、閾値設定部８０により設定された閾値と第１の類似度算出部７０が算出する類似度とを比較して、入力顔画像データと登録顔画像データとが同一人のものであるか否かを判定する識別判定部９０とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像データを利用して、本人認証を行う顔認証装置に関するものである。
【背景技術】
【０００２】
近年、鍵等の携帯が不要で利便性が高く、遺失や盗難等による不正行使の恐れも少ないセキュリティ方式として、顔画像や指紋や虹彩や血管パターンといった個人の体の一部を鍵として用いる生体認証が注目されている。中でも、顔画像を用いた認証方法は、個別認証に必要な生体情報を登録するのに、認証対象となる人に時間や手間をほとんどかけさせないという利点がある。すなわち、顔画像を用いた認証方法では、指紋認証や血管パターンのように指や手を差し出させたり、虹彩認証のように直接眼球に光を照射したりする必要がないので、認証対象となる人が生体情報を登録するのに非協力的であっても、容易に認証を実現できる。また、顔画像を用いた認証方法では、指紋や虹彩や血管パターンを用いた認証と比べて、認証される側の心理的抵抗感が少ないという利点も有している。
【０００３】
特許文献１には、顔画像をモザイク化してニュートラルネットワークに学習させて認証をする顔認証装置に関する技術が提案されている。ここで、ニュートラルネットワークとは、脳機能に見られるいくつかの特性を計算機上のシミュレーションによって表現することを目指した数学モデルである。特許文献１に記載の技術によれば、顔の位置・角度の変動や照明の変動を吸収して個人認証を行える。
【０００４】
また、特許文献２には、登録者の使用頻度に応じて、個人認証用の閾値を変動させて認証をする認証装置に関する技術が提案されている。特許文献２に記載の技術によれば、利用条件に応じて認証に用いる閾値を動的に変更でき、利便性および安全性の向上を図ることができる。
【特許文献１】特開２００５−３１６８８８号公報
【特許文献２】特開２００２−１８３７３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術においては、顔の位置・角度の変動度合や照明の変動度合によっては十分に学習しきれず、実環境における様々な環境変動に対応しきれないという問題があった。また、特許文献２に記載の技術では、登録者の利用頻度のみによって閾値を変動させているため、顔の位置・角度の変動や照明の変動に対する措置が全く考慮されていないという問題があった。
【０００６】
例えば、監視カメラで取得される顔画像を顔認証装置で認証する場合、当該監視カメラ周囲の撮像環境は時々刻々と変化する。このため、予め登録されている特定人の顔画像の登録時の撮像環境と、同一の特定人の認証時の撮像環境とが互いに異なっているのが、通常である。このとき、認証対象の人物とは別人であるのに、登録顔画像の撮像環境が認証対象の入力顔画像の撮像環境に近いというだけで、全く別人どうしの入力顔画像および登録顔画像が互いに類似しているものと判断されてしまうことがあった。すなわち、例えば、顔認証装置に登録されている登録顔画像が、青いネオンが光っている間に撮像されたものであるとする。これに対して、認証時の入力顔画像が、登録顔画像のものとは別人であるにもかかわらず、同じ青いネオンが光っている間に撮像されたものであったとき、顔認証装置により類似していると判断されてしまうことがあった。
【０００７】
本発明は、上記従来の問題を解決するためになされたもので、入力される顔画像の撮像環境にかかわらず、高精度に個人識別できる顔認証装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の顔認証装置は、入力される顔画像データから特徴量データを抽出する第１の抽出部と、所定の撮像条件下で撮像された顔画像データが登録されている顔画像データ登録部と、顔画像データ登録部に登録されている顔画像データから特徴量データを抽出する第２の抽出部と、第１および第２の抽出部がそれぞれ抽出する特徴量データを照合して、両特徴量データ間の類似度を算出する第１の算出部と、所定の撮像条件と略同一の条件下で撮像された複数人の顔画像データから各々抽出された複数の特徴量データが記憶された特徴量データ記憶部と、特徴量データ記憶部に記憶された複数の特徴量データと第１の抽出部が抽出する特徴量データとを照合して、両特徴量データ間の類似度を算出する第２の算出部と、第２の算出部が算出する類似度に基づいて、入力される顔画像データと顔画像データ登録部に登録されている顔画像データとが同一人のものであるか否かを判断するための閾値を設定する閾値設定部と、閾値設定部により設定された閾値と第１の算出部が算出する類似度とを比較することによって、入力される顔画像データと顔画像データ登録部に登録されている顔画像データとが同一人のものであるか否かを判定する判定部とを備えた構成を有している。
この構成により、入力される顔画像データに対応した閾値を設定することができるので、入力される顔画像の撮像環境にかかわらず、高精度に個人識別できる。
【０００９】
また、特徴量データ記憶部は、異なる撮像条件下で撮像された複数人の顔画像データから各々抽出された複数の特徴量データが上記異なる撮像条件毎にそれぞれ分類して記憶された複数の副特徴量データ記憶部を有し、第２の算出部は、複数の副特徴量データ記憶部のうち、顔画像データ登録部に登録されている顔画像データの所定の撮像条件に最も近い撮像条件に対応した副特徴量データ記憶部に記憶された複数の特徴量データと第１の抽出部が抽出する特徴量データとを照合して、両特徴量データ間の類似度を算出してもよい。
この構成により、特徴量データ記憶部が撮像条件毎に分類されるので、入力される顔画像データの撮像条件が多様化しても、入力される顔画像の撮像環境にかかわらず、高精度に個人識別できる。
【００１０】
また、新たな顔画像データを上記顔画像データ登録部に登録するとき、第２の抽出部により抽出される新たな顔画像データの特徴量データを、複数の副特徴量データ記憶部のうち、新たな顔画像データの撮像条件に最も近い撮像条件に対応した副特徴量データ記憶部に記憶している。
この構成により、新しい顔画像データの特徴量データを追加する場合に、当該特徴量データを、最も適切な副特徴量データ記憶部に分類して記憶することができる。
【００１１】
また、第１の算出部は、第１および第２の抽出部が抽出する特徴量データの間の距離に基づいて、両特徴量データ間の類似度を算出している。
この構成により、第１および第２の抽出部が抽出する特徴量データの間の類似度を簡単に算出できる。
【００１２】
また、第２の算出部は、特徴量データ記憶部に記憶された複数の特徴量データと第１の抽出部が抽出する特徴量データとの間の距離に基づいて、両特徴量データ間の類似度を算出している。
この構成により、第１および第２の抽出部が抽出する特徴量データの間の類似度を簡単に算出できる。
【００１３】
また、閾値設定部は、第２の算出部が算出する類似度の平均値および分散値に基づいて、入力される顔画像データと登録部に登録されている顔画像データとが同一人のものであるか否かを判断するための閾値を設定している。
この構成により、個人識別に適した閾値を簡単に設定できる。
【発明の効果】
【００１４】
本発明は、入力される顔画像の撮像環境にかかわらず、高精度に個人識別できるという効果を有する顔認証装置を提供することができるものである。
【発明を実施するための最良の形態】
【００１５】
（発明の実施の形態１）
以下、本発明の実施の形態１に係る顔認証装置について、図面を用いて説明する。本実施の形態では、部屋のドアの開閉認証や携帯電話機の使用認証等に用いられ、顔画像データを利用して本人認証を行う顔認証装置の場合を例示する。
図１は、本発明の実施の形態１に係る顔認証装置の構成を模式的に示すブロック図である。
【００１６】
図１に示されるように、本発明の実施の形態１に係る顔認証装置１は、顔画像データ取得部１０と、第１の特徴量抽出部２０と、顔画像データ登録部３０と、第２の特徴量抽出部４０と、第１の類似度算出部５０と、特徴量データ記憶部６０と、第２の類似度算出部７０と、閾値設定部８０と、識別判定部９０とを備えて構成されている。
顔画像データ取得部１０は、例えば、ビデオカメラやイメージスキャナーなどから入力される顔画像データを取得する。
【００１７】
第１の特徴量抽出部２０は、顔画像データ取得部１０に入力されている顔画像データから特徴量データを抽出する。また、第２の特徴量抽出部４０は、顔画像データ登録部３０に登録されている顔画像データから特徴量データを抽出する。
具体的には、第１および第２の特徴量抽出部２０、４０は、例えば、顔画像データ中の目や鼻や口の位置などに基づいて、当該顔画像データ中の顔領域を一定の大きさおよび形状に切り出し、切り出した領域全ての画素の輝度値を要素とする一次元のベクトルｖを特徴量データに変換した特徴量データｘを抽出する。
【００１８】
ここで、ｖより個人認証に適したデータｘに変換する方法については、例えば、「Weak Orthogonalization of Face and Perturbation, CVPR 1998, Kenji Nagao, Masaki Sohma」に記載された方法などが提案されている。
すなわち、まず、撮影条件を変えて撮影した同一人物の複数の画像を拭く数人分用意し、これらの画像から一次元のベクトルを求める。そして、同一人物内の変動成分である摂動成分分布と、他の人物間の変動成分である個人間変動成分分布から、それぞれの特徴ベクトル分布の共分散行列Σ１、Σ２を求め、2つの共分散行列Σ１、Σ２を同時に対角化する行列Lを求める。
【００１９】
このとき、行列Lと共分散行列Σ１、Σ２との関係は、式（１）および式（２）のように示される。
【数１】
【数２】
【００２０】
ここで、Lは対角行列なので、式（１）および式（２）のΛ（１）およびΛ（２）は、式（３）および式（４）に示されるように表される。
【数３】
【数４】
【００２１】
式（３）および式（４）から、対角化された行列Ｌの対角成分の値を用いて、下記の式（５）に示されるように、Γを生成する。なお、Γの生成方法として、式（５）以外に様々な生成方法があり、これらの生成方法を用いて、Γを生成してもよい。
【数５】
【００２２】
そして、切り出した領域全ての画素の輝度値を要素とする一次元ベクトルｖに、下記の式（６）に示される行列Ψをｘ＝Ψ・ｖのようにかけると、個人識別に適した特徴量に変換できる。行列Ψは式（６）に示されるように、Γおよび対角行列Lから得られる。
【数６】
【００２３】
以上のようにして、第１および第２の特徴量抽出部２０、４０は、顔画像データ中の目や鼻や口の位置などに基づいて、当該顔画像データ中の顔領域を一定の大きさおよび形状に切り出し、個人認証に適したデータに変換することで、特徴量データを抽出する。
顔画像データ登録部３０には、所定の撮像条件下で撮像された顔画像データが予め登録されている。
【００２４】
第１の類似度算出部５０は、第１および第２の特徴量抽出部２０、４０がそれぞれ抽出する特徴量データを照合して、両特徴量データ間の類似度を算出する。具体的には、第１の類似度算出部５０は、第１および第２の特徴量抽出部２０、４０がそれぞれ抽出する特徴量データを照合して、両特徴量データ間の類似度として、両特徴量間の距離を算出する。すなわち第１の類似度算出部５０は、第１および第２の特徴量抽出部２０、４０がそれぞれ抽出する特徴量データの要素の系列を一次元ベクトルとみなして、両ベクトル間の距離を算出する。両ベクトル間の距離の算出方法には、例えば、特徴量ベクトル間の差分のＬ１ノルムやＬ２ノルムを用いる方法や、特徴量ベクトル間の相関値を用いる方法を、用いることができる。このように、両特徴量間の距離を第１および第２の抽出部が抽出する特徴量データの間の距離を算出することにより、両特徴量データ間の類似度を簡単に算出できる。
【００２５】
特徴量データ記憶部６０には、顔画像データ登録部３０に登録されている顔画像データの撮像条件と略同一の条件下で撮像された複数人の顔画像データから各々抽出された複数の特徴量データが記憶されている。この特徴量データ記憶部６０に記憶されている複数の特徴量データは、互いに異なる人物の顔画像データからそれぞれ抽出されたものである。なお、特徴量データ記憶部６０に記憶されている複数の特徴量データは、例えば、第２の特徴量抽出部４０により抽出されている。但し、これに限定されず、第１の特徴量抽出部２０により、複数の特徴量データを抽出してもよい。また、予め複数の特徴量データを互いに異なる人物の顔画像データから抽出してから、当該複数の特徴量データを特徴量データ記憶部６０に記憶してもよい。
【００２６】
第２の類似度算出部７０は、特徴量データ記憶部６０に記憶された複数の特徴量データと、第１の特徴量抽出部２０が抽出する特徴量データとを照合して、両特徴量データ間の類似度を算出する。具体的には、第２の類似度算出部７０は、特徴量データ記憶部６０に記憶された複数の特徴量データと、第１の特徴量抽出部２０が抽出する特徴量データとを照合して、両特徴量データ間の類似度として、両特徴量間の距離を算出する。両特徴量間の距離を第１および第２の抽出部が抽出する特徴量データの間の距離を算出することにより、両特徴量データ間の類似度を式（７）に示されるように算出できる。
【数７】
例えば、特徴量データ記憶部６０にＮ人分の特徴量データが記憶されている場合には、Ｎ個分の特徴量間の距離が第２の類似度算出部７０により算出される。
【００２７】
閾値設定部８０は、第２の類似度算出部７０により算出される複数の特徴量データに基づいて、個人識別に適した閾値を設定する。すなわち、閾値設定部８０は、第２の類似度算出部７０が算出する類似度に基づいて、入力される顔画像データと顔画像データ登録部３０に登録されている顔画像データとが同一人のものであるか否かを判断するための閾値を設定する。
【００２８】
ここで、特徴量データ記憶部６０に、認証対象であって、顔画像データ取得部１０に入力される顔画像データに対応する人物の特徴量データが記憶されている場合を想定する。この場合は、まず、第２の類似度算出部７０により算出されたＮ個の特徴量間の類似度のうち、最大値を除いた（Ｎ−１）個の特徴量間の類似度を用意する。このように、Ｎ個の特徴量間の類似度のうち、最大値を除くことによって、同一人の顔画像データ間の類似度を予め除去することができる。
【００２９】
次に、（Ｎ−１）個の特徴量間の類似度が正規分布をなすと仮定して、（Ｎ−１）個の特徴量間の類似度から平均値および分散値を算出する。この結果に基づいて、認証対象であって顔画像データ取得部１０に入力される顔画像データと、特徴量データ記憶部６０に記憶されている複数の他人の顔画像データとの間の類似度に現れる確率を算出し、許容できる他人受入率に合わせて、個人識別に適した閾値を設定する。なお、（Ｎ−１）個の特徴量間の類似度から算出される平均値および分散値を用いることにより、個人識別に適した閾値を簡単に設定できる。
【００３０】
識別判定部９０は、閾値設定部８０により設定された閾値と第１の類似度算出部５０が算出する類似度とを比較することによって、入力される顔画像データと顔画像データ登録部３０に登録されている顔画像データとが同一人のものであるか否かを判定する。
【００３１】
次に、以上のように構成された本発明の実施の形態１に係る顔認証装置１について、図に基づいて、その動作を説明する。図２は、本発明の実施の形態に係る顔認証装置の動作フロー図である。
図２に示されるように、まず、カメラやスキャナー等から入力される顔画像データを顔画像データ取得部１０により取得する（ステップ（ＳＴＥＰ（以下、Ｓと称する））２０１）。次に、顔画像データ取得部１０により取得された顔画像データから特徴量を抽出する（Ｓ２０２）。次に、第２の類似度算出部７０が、特徴量データ記憶部６０内に記憶されている複数の特徴量データと、入力される顔画像データの特徴量データとを照合して、両特徴量データ間の類似度として、両特徴量データ間の特徴量の類似度を算出する（Ｓ２０３）。
【００３２】
次に、第２の類似度算出部７０が、特徴量データ記憶部６０内に記憶されている全ての特徴量データに対して、入力される顔画像データの特徴量データとの間の類似度の算出を完了した場合（Ｓ２０４）、閾値設定部８０が、第２の特徴量算出部７０により算出された類似度に基づいて、個人識別のための閾値を設定する（Ｓ２０５）。第２の類似度算出部７０が、特徴量データ記憶部６０内に記憶されている全ての特徴量データに対して、入力される顔画像データの特徴量データとの間の類似度の算出を完了しない場合（Ｓ２０４）、Ｓ２０３の処理を繰り返す。
【００３３】
次に、第１の類似度算出部５０が、入力される顔画像データおよび登録されている顔画像データの特徴量データ間の類似度を算出する（Ｓ２０６）。具体的には、第１の類似度算出部５０が、第１の特徴量抽出部２０が抽出する特徴量データと、顔画像データ登録部３０に登録された顔画像より第２の特徴量抽出部４０によって抽出された特徴量データを照合して、両特徴量データ間の類似度を算出する。
【００３４】
次に、識別判定部９０が、閾値設定部８０により設定された閾値と第１の類似度算出部５０が算出する類似度を比較する（Ｓ２０７）。そして、第１の類似度算出部５０が算出する類似度が閾値より大きい場合（Ｓ２０７）、入力される顔画像データと顔画像データ登録部３０に登録されている顔画像データとが同一人のものであると判定する（Ｓ２０８）。一方、第１の類似度算出部５０が算出する類似度が閾値より小さい場合（Ｓ２０７）、入力される顔画像データと顔画像データ登録部３０に登録されている顔画像データとが異なる人物のものであると判定する（Ｓ２０９）。
【００３５】
次に、本発明の実施の形態１に係る顔認証装置の原理について、図に基づいて具体的に説明する。図３は、本発明の実施の形態１に係る顔認証装置の原理を説明する概略図である。
図３に示されるように、顔画像データ取得部１０に入力される顔画像データの入力顔画像２０１、２０２と、顔画像データ登録部３０に登録されている顔画像データの登録顔画像２０３に対応する人物は全て同一人物であると仮定する。ここで、入力顔画像２０１と登録顔画像２０３は照明の明るさや方向などが大きく異なる撮像環境で撮影されており、入力顔画像２０２と登録顔画像２０３は近い撮像環境で撮影されているものとする。
【００３６】
一般に顔認証では、撮像環境がより近い顔画像間の方が、同一人物であることを示す類似度がより高くなりやすい。したがって、入力顔画像２０２と登録顔画像２０３との間で認証を行った場合の方が、入力顔画像２０１と登録顔画像２０３との間で認証を行った場合よりも類似度が高くなる傾向にある。また、異なる人物間の類似度算出においても、大きく異なる撮像環境で撮影された顔画像間では類似度が低く、近い撮像環境で撮影された顔画像間では類似度が高い傾向にある。このように、入力顔画像の撮像環境の違いによって類似度の現れ方が異なることから、類似度が低くなる傾向のときは低い閾値を設定し、類似度が高くなる傾向のときは高い閾値を設定する必要がある。
【００３７】
そこで、本発明の実施の形態１に係る顔画像認証装置１では、予め登録顔画像２０３と同じ撮像環境で撮影された複数の人物の顔画像２０４を用意して、これらの複数人の顔画像の特徴量データを特徴量データ記憶部６０に記憶している。図３の特徴量データ記憶部６０内に、登録顔画像２０３と同じ撮像環境で撮影された複数の顔画像２０４を模式的に示している。この特徴量データ記憶部６０内の複数の顔画像２０４のそれぞれの特徴量データと入力顔画像の特徴量データとの間の類似度が第２の類似度算出部７０により算出されることによって、類似度の分布も取得できる。
【００３８】
例えば、登録顔画像２０３の撮像環境と異なる撮像環境で撮影された入力顔画像２０１の特徴量データと、特徴量データ記憶部６０内に記憶されている複数の顔画像２０４の特徴量データとの間の類似度は低い傾向となる。一方、登録顔画像２０３の撮像環境と近い撮像環境で撮影された入力顔画像２０２の特徴量データと、特徴量データ記憶部６０内に記憶されている複数の顔画像２０４の特徴量データとの間の類似度は高い傾向となる。
【００３９】
そして、第２の類似度算出部５０により算出された類似度の分布に合わせて、閾値を設定する。このようにすることにより、類似度が低くなる傾向のときは低い閾値を設定でき、類似度が高くなる傾向のときは高い閾値を設定でき、入力される顔画像の撮像環境にかかわらず、高精度に個人識別できる。
【００４０】
このような本発明の実施の形態１に係る顔認証装置１によれば、顔画像データ登録部３０に登録されている顔画像データの撮像条件と略同一の条件下で撮像された複数人の顔画像データから各々抽出された複数の特徴量データが記憶された特徴量データ記憶部６０と、特徴量データ記憶部６０に記憶された複数の特徴量データと第１の抽出部５０が抽出する特徴量データとを照合して、両特徴量データ間の類似度を算出する第２の類似度算出部７０と、第２の類似度算出部７０が算出する類似度に基づいて、入力される顔画像データと顔画像データ登録部３０に登録されている顔画像データとが同一人のものであるか否かを判断するための閾値を設定する閾値設定部８０とを設けている。このように構成することにより、入力される顔画像データに対応した閾値を設定することができ、入力される顔画像の撮像環境にかかわらず、高精度に個人識別できる。
【００４１】
（発明の実施の形態２）
以下、本発明の実施の形態２に係る顔認証装置について、図面を用いて説明する。
図４は、本発明の実施の形態２に係る顔認証装置の構成を模式的に示すブロック図である。
図１に示されるように、本発明の実施の形態１に係る顔画像認証装置１では、特徴量データ記憶部６０は副特徴量データ記憶部を有していないのに対し、図４に示されるように、本発明の実施の形態２に係る顔画像認証装置１ａでは、特徴量データ記憶部６１は複数の副特徴量データ記憶部６１１〜６１ｎを有している点で相違する。
【００４２】
また、図４に示されるように、本発明の実施の形態２に係る顔画像認証装置１ａでは、特徴量データ分類部１００、１００ｂ、副特徴量データ記憶部選択部１１０および特徴量データ更新部１２０を備えている点で、本発明の実施の形態１に係る顔画像認証装置１と異なる。
図４に示されるように、本発明の実施の形態２に係る顔認証装置１ａは、顔画像データ取得部１０と、第１の特徴量抽出部２０と、顔画像データ登録部３０と、第２の特徴量抽出部４０と、第１の類似度算出部５０と、特徴量データ記憶部６１と、複数の副特徴量データ記憶部６１１〜６１ｎと、第２の類似度算出部７０ａと、閾値設定部８０と、識別判定部９０と、特徴量データ分類部１００、１００ｂと、副特徴量データ記憶部選択部１１０と、特徴量データ更新判断部１２０とを備えて構成されている。なお、特徴量データ分類部１００および１００ｂの機能は、後述するように同一である。
【００４３】
図４に示されるように、特徴量データ記憶部６１は、複数の副特徴量データ記憶部６１１〜６１ｎを有している。
複数の副特徴量データ記憶部６１１〜６１ｎには、異なる撮像条件下で撮像された複数人の顔画像データから各々抽出された複数の特徴量データが上記異なる撮像条件毎にそれぞれ分類して記憶されている。
【００４４】
ここでは、例えば、特徴量データ記憶部６１は、ｎ個の副特徴量データ記憶部６１１〜６１ｎを有しているものとする。これら特徴量データ記憶部６１１〜６１ｎは、例えば、正面、上向き、下向き、左向き、右向きといった分類で顔の向きごとに分類されている。
【００４５】
第２の類似度算出部７０ａは、複数の副特徴量データ記憶部６１１〜６１ｎのうち、顔画像データ登録部３０に登録されている顔画像データの所定の撮像条件に最も近い撮像条件に対応した副特徴量データ記憶部に記憶された複数の特徴量データと第１の特徴量抽出部２０が抽出する特徴量データとを照合して、両特徴量データ間の類似度を算出する。
【００４６】
特徴量データ分類部１００は、顔画像データ登録部３０に登録されている顔画像データが、複数の副特徴量データ記憶部６１１〜６１ｎを参照し、どの副特徴量データ記憶部に対応した顔画像データに近いかを判定して分類する。例えば、入力される顔画像データの向きが、正面、上向き、下向き、左向き、右向きのどの分類に属するかを判定する。
副特徴量データ記憶部選択部１１０は、複数の副特徴量データ記憶部６１１〜６１ｎ、第２の類似度算出部７０ａおよび特徴量データ分類部１００に接続されている。副特徴量データ記憶部選択部１１０は、特徴量データ分類部１００による分類結果に従って、複数の副特徴量データ記憶部６１１〜６１ｎのうち、顔画像データ登録部３０に登録されている顔画像データの所定の撮像条件に最も近い撮像条件に対応した副特徴量データ記憶部を選択する。
【００４７】
特徴量データ更新判断部１２０は、複数の副特徴量データ記憶部６１１〜６１ｎ、第１の特徴量抽出部２０および特徴量データ分類部１００ｂの出力に接続されている。特徴量データ分類部１００ｂは、特徴量データ分類部１００と同じように、顔画像データ取得部１０が取得した顔画像データが副特徴量データ記憶部６１１〜６１ｎのどれに対応するのかを分類する。特徴量データ更新判断部１２０は、特徴量データ分類部１００ｂの分類結果より第１の特徴量抽出部２０が抽出する特徴量データを用いて、複数の特徴量データ記憶部６１１〜６１ｎに記憶されている特徴量データを更新する。すなわち、特徴量データ更新判断部１２０は、新たな顔画像データが入力されたときに、第1の類似度抽出部２０により抽出される新たな顔画像データの特徴量データを、複数の副特徴量データ記憶部６１１〜６１ｎのうち、新たな顔画像データの撮像条件に最も近い撮像条件に対応した副特徴量データ記憶部に記憶する。このようにして、特徴量データ更新判断部１２０は、特徴量データ記憶部６１内の各データを更新する。
【００４８】
次に、以上のように構成された本発明の実施の形態２に係る顔認証装置１ａについて、図に基づいて、その動作を説明する。
図５は、本発明の実施の形態２に係る顔認証装置の動作フロー図である。
図２とは、Ｓ５０１が追加され、Ｓ５０２がＳ２０３に代えて追加され、Ｓ５０３がＳ２０４に代えて追加されている点で相違する。
【００４９】
図５に示されるように、まず、カメラやスキャナー等から入力される顔画像データを顔画像データ取得部１０により取得する（Ｓ２０１）。次に、顔画像データ取得部１０により取得された顔画像データから特徴量を抽出する（Ｓ２０２）。
次に、副特徴量データ記憶部選択部１１０が、特徴量データ記憶部６１内の複数の副特徴量データ記憶部６１１〜６１ｎのうち、顔画像データ登録部３０に登録されている顔画像データの所定の撮像条件に最も近い撮像条件に対応した副特徴量データ記憶部を選択する（Ｓ５０１）。
【００５０】
具体的には、まず、特徴量データ分類部１００が、副特徴量データ記憶部６１１〜６１ｎを参照し、顔画像データ登録部３０に登録されている顔画像データが、複数の副特徴量データ記憶部６１１〜６１ｎのうち、どの副特徴量データ記憶部に対応した顔画像データに近いかを判定して分類する。
【００５１】
そして、副特徴量データ記憶部選択部１１０は、特徴量データ分類部１００により分類された特徴量データに基づいて、ｎ個の副特徴量データ記憶部６１１〜６１ｎのうち、顔画像データ登録部３０に登録されている顔画像データの所定の撮像条件に最も近い撮像条件に対応した副特徴量データ記憶部を選択する。そして、副特徴量データ記憶部選択部１１０は、選択した副特徴量データ記憶部に関する情報を第２の類似度算出部７０ａに入力する。
【００５２】
ここで、特徴量データ分類部１００の動作について具体的に説明する。特徴量データ分類部１００は、副特徴量データ記憶部６１１〜６１ｎを参照し、顔画像データ登録部３０に登録されている顔画像データが、複数の副特徴量データ記憶部６１１〜６１ｎのうち、どの副特徴量データ記憶部に対応した顔画像データに近いかを判定して分類する。
【００５３】
複数の副特徴量データ記憶部６１１〜６１ｎが顔の向きによって分類されている場合、例えば、「Real-Time Combined 2D+3D Active Appearance Models J. Xiao, S. Baker, I. Matthews, and T. Kanade Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, June, 2004」に記載された方法などにより、顔の向きを求めることが可能である。
【００５４】
ここでは、AAM(Active Appearance Model)による、２次元形状、３次元形状及び顔向き推定方法について説明する。AAMは形状モデルとテクスチャモデルの２つの線形モデルからなり、形状とテクスチャモデルに任意のパラメータを与えることで様々な顔の変動を表現できる。形状モデルは２次元の座標系からなり、テクスチャモデルは統計的な平均形状上の輝度情報として表現されている。AAMを用いた特徴点検出では、入力顔画像との差が最も小さくなるAAMのパラメータを求め、そのときの形状モデルより２次元の位置情報を取得する。
【００５５】
このとき、２次元形状は、３次元形状の２次元投影（投影行列Ｐ）で表現できる。入力顔画像に一致するAAMを求める際に、３次元形状によるこの拘束条件を加えると、式(８)のようになる。ただし、Ｉを入力顔画像とし、ｓ２Ｄを２次元モデルとし、ｓ３Ｄを３次元形状モデルとした。
【数８】
【００５６】
ここで、Ｋは重み係数であり、この値がより大きいほど３次元形状による拘束が強まる。式(８)を最小とするパラメータを求めると、特徴点位置と同時に、3次元形状と投影行列（すなわち、顔の向き）を求めることができる。
【００５７】
次に、第２の類似度算出部７０ａが、副特徴量データ記憶部選択部１１０により選択された副特徴量データ記憶部内の全ての特徴量データと第１の特徴量抽出部２０により抽出された顔画像データの特徴量データとの間の類似度として、両特徴量データ間の距離値を算出する（Ｓ５０２）。
【００５８】
次に、第２の類似度算出部７０ａが、選択された副特徴量データ記憶部内に記憶されている全ての特徴量データに対して、入力される顔画像データの特徴量データとの間の類似度の算出を完了した場合（Ｓ５０３）、閾値設定部８０が、第２の特徴量算出部７０ａにより算出された類似度に基づいて、個人識別のための閾値を設定する（Ｓ２０５）。第２の類似度算出部７０ａが、選択された特徴量データ記憶部内に記憶されている全ての特徴量データに対して、入力される顔画像データの特徴量データとの間の類似度の算出を完了しない場合（Ｓ５０３）、Ｓ５０２の処理を繰り返す。
【００５９】
次に、第１の類似度算出部５０が、入力される顔画像データおよび登録されている顔画像データの特徴量データ間の類似度を算出する（Ｓ２０６）。具体的には、第１の類似度算出部５０が、第２の特徴量抽出部４０により抽出された複数の特徴量データと、第１の特徴量抽出部２０が抽出する特徴量データとの間の距離を算出する。
【００６０】
次に、識別判定部９０が、閾値設定部８０により設定された閾値と第１の類似度算出部５０が算出する類似度とを比較する（Ｓ２０７）。そして、第１の類似度算出部５０が算出する類似度が閾値より大きい場合（Ｓ２０７）、入力される顔画像データと顔画像データ登録部３０に登録されている顔画像データとが同一人のものであると判定する（Ｓ２０８）。一方、第１の類似度算出部５０が算出する類似度が閾値より小さい場合（Ｓ２０７）、入力される顔画像データと顔画像データ登録部３０に登録されている顔画像データとが異なる人物のものであると判定する（Ｓ２０９）。
【００６１】
なお、特徴量データ分類部１００および特徴量データ分類部１００によって分類される複数の副特徴量データ記憶部６１１〜６１ｎを分類する判定基準には、顔の向きだけではなく、例えば、顔画像データ取得部１０が顔画像を取得した日時や、顔画像データ取得部１０が顔画像を取得したときの天気情報や、顔画像の撮像位置や、顔画像を撮像する際の設置角や、マスク、サングラス等のアクセサリーの有無や、撮像場所における照明状況等の互いに異なる撮像条件等を用いることができる。
マスクやサングラスや眼鏡といった顔の向きによって分類されている場合、顔上にアクセサリーが存在するか否かを、例えば、BoostingやSVM（Support Vector Machine）を用いて判定できる。
【００６２】
Boostingは、2値の判別器(例えば眼鏡の有無を判定)を構築する一般的な手法として知られている。多数の弱い判別器を用意し、それぞれの重みを変化させ、強い分類器を生成する。よく用いられる手法としてadaBoostが挙げられる。adaBoostでは逐次的に判別器が選択され、一つ前に選択された判別器で、間違えて判別された学習データの重みを、増加させることで、その学習データに対して重点的に学習を行っている。選択された判別器はその誤り率に応じて信頼度αが与えられ、判別結果は、信頼度αで重み付けされた判別器の多数決によって決まる。
【００６３】
また、SVMも、値の判別器(例えば眼鏡の有無を判定)を構築する一般的な手法として知られている。2クラスの分類問題を解くために、2つのクラスの真ん中を通る超平面を求める。これを実現するために、超平面と訓練サンプルとの最小距離を評価関数として用い、これを最大にするように超平面を決定する。このままではSVMは線形な判別器となるが、カーネルトリックを用いることによって非線形な判別器を構成できる。
【００６４】
また、複数の副特徴量データ記憶部６１１〜６１ｎが照明環境によって分類されている場合、照明変動毎にカテゴリを分類する。具体的には、例えば、「Weak Orthogonalization of Face and Perturbation, CVPR 1998, Kenji Nagao, Masaki Sohma」に記載された特徴量生成方法において、低次元の要素は、顔の一般的な変動の成分となる。本人間の摂動成分として、撮影環境や照明の当たり方の変動を多く用いると、その分布の主成分には、撮影環境の変化や照明変動を表す成分が表れる。この基底ベクトルを用いて部分空間を構築すると、主として照明変動を示す部分空間が得られる。この部分空間内で、各カテゴリのデータの分布への近さを用いて入力データを分類する。
【００６５】
また、次に示すように、照明の方向と強度を明示的に推定する手法を用いることができる。式（９）に示されるように、予め統計量算出で求めた法線アルベド行列Ｂ（ｌ）の平均Ｂａｖｒを用いて、最小二乗法により、光源ｓを推定できる。
【数９】
【００６６】
この推定した光源sを用いると、容易に照明方向による分類が可能となる。
ここで、画像ｎは入力画像であり、その画素数をPとすると、法線アルベド行列Ｂ（ｌ）は式（１０）によって表される。
【数１０】
【００６７】
ここで、ｎｐは式（１１）に示されるように、p番目の画素のアルベドと単位法線ベクトルの積である。
【数１１】
【００６８】
また、光源ｓは式（１２）に示されるように、照明強度と照明方向単位ベクトルの積である。
【数１２】
【００６９】
このような本発明の実施の形態２に係る顔認証装置１ａによれば、特徴量データ記憶部６１は、異なる撮像条件下で撮像された複数人の顔画像データから各々抽出された複数の特徴量データが異なる撮像条件毎にそれぞれ分類して記憶された複数の副特徴量データ記憶部６１１〜６１ａを有し、第２の類似度算出部７０ａは、複数の副特徴量データ記憶部６１１〜６１ｎのうち、顔画像データ登録部３０に登録されている顔画像データの所定の撮像条件に最も近い撮像条件に対応した副特徴量データ記憶部に記憶された複数の特徴量データと第１の特徴量抽出部２０が抽出する特徴量データとを照合して、両特徴量データ間の類似度を算出する。これにより、特徴量データ記憶部が撮像条件毎に分類されるので、入力される顔画像データの撮像条件が多様化しても、入力される顔画像の撮像環境にかかわらず、高精度に個人識別できる。
【００７０】
次に、特徴量データ記憶部６１のデータ更新方法について、具体的に説明する。
まず、特徴量データ分類部１００ｂが、複数の副特徴量データ記憶部６１１〜６１ｎのうち、追加する新たな顔画像データの撮像条件に最も近い撮像条件に対応した副特徴量データ記憶部を選択する。次に、特徴量データ更新判断部１２０が、選択された副特徴量データ記憶部に、新たな顔画像データの特徴量データを追加するか否かを判断する。具体的には、追加したい特徴量データと、選択された副特徴量データ記憶部内の全ての特徴量データとの間の距離値を算出する。
【００７１】
そして、算出された距離値中に統計的に外れ値が存在しない場合、当該特徴量データを、選択された副特徴量データ記憶部に追加する。一方、算出された距離値中に統計的な外れ値が存在した場合、当該特徴量データを、選択された副特徴量データ記憶部に追加しない。
このようにして、特徴量データ更新判断部１２０を設けたことにより、新しい顔画像データの特徴量データを追加する場合に、当該特徴量データを、最も適切な副特徴量データ記憶部に分類して記憶することができる。なお、例えば、動画像から入力画像を取得する場合、同一人物が連続して現れるが、追跡判定などを用いて、同じ人物は登録しないようにしている。
【００７２】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【産業上の利用可能性】
【００７３】
以上のように、本発明にかかる顔画像認証装置は、入力される顔画像の撮像環境にかかわらず、高精度に個人識別できるという効果を有し、顔画像データを利用して、本人認証を行う顔認証装置等として有用である。
【図面の簡単な説明】
【００７４】
【図１】本発明の実施の形態１に係る顔認証装置の構成を模式的に示すブロック図である。
【図２】本発明の実施の形態に係る顔認証装置の動作フロー図である。
【図３】本発明の実施の形態１に係る顔認証装置の原理を説明する概略図である。
【図４】本発明の実施の形態２に係る顔認証装置の構成を模式的に示すブロック図である。
【図５】本発明の実施の形態２に係る顔認証装置の動作フロー図である。
【符号の説明】
【００７５】
１ 顔認証装置
１０ 顔画像データ取得部
２０ 第１の特徴量抽出部
３０ 顔画像データ登録部
４０ 第２の特徴量抽出部
５０ 第１の類似度算出部
６０、７１ 特徴量データ記憶部
６１１〜６１ｎ 第１〜第ｎの副特徴量データ記憶部
７０、７１ 第２の類似度算出部
８０ 閾値設定部
９０ 識別判定部
１００ 特徴量分類部
１１０ 副特徴量データ記憶部選択部
１２０ 特徴量データ更新判断部
【技術分野】
【０００１】
本発明は、顔画像データを利用して、本人認証を行う顔認証装置に関するものである。
【背景技術】
【０００２】
近年、鍵等の携帯が不要で利便性が高く、遺失や盗難等による不正行使の恐れも少ないセキュリティ方式として、顔画像や指紋や虹彩や血管パターンといった個人の体の一部を鍵として用いる生体認証が注目されている。中でも、顔画像を用いた認証方法は、個別認証に必要な生体情報を登録するのに、認証対象となる人に時間や手間をほとんどかけさせないという利点がある。すなわち、顔画像を用いた認証方法では、指紋認証や血管パターンのように指や手を差し出させたり、虹彩認証のように直接眼球に光を照射したりする必要がないので、認証対象となる人が生体情報を登録するのに非協力的であっても、容易に認証を実現できる。また、顔画像を用いた認証方法では、指紋や虹彩や血管パターンを用いた認証と比べて、認証される側の心理的抵抗感が少ないという利点も有している。
【０００３】
特許文献１には、顔画像をモザイク化してニュートラルネットワークに学習させて認証をする顔認証装置に関する技術が提案されている。ここで、ニュートラルネットワークとは、脳機能に見られるいくつかの特性を計算機上のシミュレーションによって表現することを目指した数学モデルである。特許文献１に記載の技術によれば、顔の位置・角度の変動や照明の変動を吸収して個人認証を行える。
【０００４】
また、特許文献２には、登録者の使用頻度に応じて、個人認証用の閾値を変動させて認証をする認証装置に関する技術が提案されている。特許文献２に記載の技術によれば、利用条件に応じて認証に用いる閾値を動的に変更でき、利便性および安全性の向上を図ることができる。
【特許文献１】特開２００５−３１６８８８号公報
【特許文献２】特開２００２−１８３７３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術においては、顔の位置・角度の変動度合や照明の変動度合によっては十分に学習しきれず、実環境における様々な環境変動に対応しきれないという問題があった。また、特許文献２に記載の技術では、登録者の利用頻度のみによって閾値を変動させているため、顔の位置・角度の変動や照明の変動に対する措置が全く考慮されていないという問題があった。
【０００６】
例えば、監視カメラで取得される顔画像を顔認証装置で認証する場合、当該監視カメラ周囲の撮像環境は時々刻々と変化する。このため、予め登録されている特定人の顔画像の登録時の撮像環境と、同一の特定人の認証時の撮像環境とが互いに異なっているのが、通常である。このとき、認証対象の人物とは別人であるのに、登録顔画像の撮像環境が認証対象の入力顔画像の撮像環境に近いというだけで、全く別人どうしの入力顔画像および登録顔画像が互いに類似しているものと判断されてしまうことがあった。すなわち、例えば、顔認証装置に登録されている登録顔画像が、青いネオンが光っている間に撮像されたものであるとする。これに対して、認証時の入力顔画像が、登録顔画像のものとは別人であるにもかかわらず、同じ青いネオンが光っている間に撮像されたものであったとき、顔認証装置により類似していると判断されてしまうことがあった。
【０００７】
本発明は、上記従来の問題を解決するためになされたもので、入力される顔画像の撮像環境にかかわらず、高精度に個人識別できる顔認証装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の顔認証装置は、入力される顔画像データから特徴量データを抽出する第１の抽出部と、所定の撮像条件下で撮像された顔画像データが登録されている顔画像データ登録部と、顔画像データ登録部に登録されている顔画像データから特徴量データを抽出する第２の抽出部と、第１および第２の抽出部がそれぞれ抽出する特徴量データを照合して、両特徴量データ間の類似度を算出する第１の算出部と、所定の撮像条件と略同一の条件下で撮像された複数人の顔画像データから各々抽出された複数の特徴量データが記憶された特徴量データ記憶部と、特徴量データ記憶部に記憶された複数の特徴量データと第１の抽出部が抽出する特徴量データとを照合して、両特徴量データ間の類似度を算出する第２の算出部と、第２の算出部が算出する類似度に基づいて、入力される顔画像データと顔画像データ登録部に登録されている顔画像データとが同一人のものであるか否かを判断するための閾値を設定する閾値設定部と、閾値設定部により設定された閾値と第１の算出部が算出する類似度とを比較することによって、入力される顔画像データと顔画像データ登録部に登録されている顔画像データとが同一人のものであるか否かを判定する判定部とを備えた構成を有している。
この構成により、入力される顔画像データに対応した閾値を設定することができるので、入力される顔画像の撮像環境にかかわらず、高精度に個人識別できる。
【０００９】
また、特徴量データ記憶部は、異なる撮像条件下で撮像された複数人の顔画像データから各々抽出された複数の特徴量データが上記異なる撮像条件毎にそれぞれ分類して記憶された複数の副特徴量データ記憶部を有し、第２の算出部は、複数の副特徴量データ記憶部のうち、顔画像データ登録部に登録されている顔画像データの所定の撮像条件に最も近い撮像条件に対応した副特徴量データ記憶部に記憶された複数の特徴量データと第１の抽出部が抽出する特徴量データとを照合して、両特徴量データ間の類似度を算出してもよい。
この構成により、特徴量データ記憶部が撮像条件毎に分類されるので、入力される顔画像データの撮像条件が多様化しても、入力される顔画像の撮像環境にかかわらず、高精度に個人識別できる。
【００１０】
また、新たな顔画像データを上記顔画像データ登録部に登録するとき、第２の抽出部により抽出される新たな顔画像データの特徴量データを、複数の副特徴量データ記憶部のうち、新たな顔画像データの撮像条件に最も近い撮像条件に対応した副特徴量データ記憶部に記憶している。
この構成により、新しい顔画像データの特徴量データを追加する場合に、当該特徴量データを、最も適切な副特徴量データ記憶部に分類して記憶することができる。
【００１１】
また、第１の算出部は、第１および第２の抽出部が抽出する特徴量データの間の距離に基づいて、両特徴量データ間の類似度を算出している。
この構成により、第１および第２の抽出部が抽出する特徴量データの間の類似度を簡単に算出できる。
【００１２】
また、第２の算出部は、特徴量データ記憶部に記憶された複数の特徴量データと第１の抽出部が抽出する特徴量データとの間の距離に基づいて、両特徴量データ間の類似度を算出している。
この構成により、第１および第２の抽出部が抽出する特徴量データの間の類似度を簡単に算出できる。
【００１３】
また、閾値設定部は、第２の算出部が算出する類似度の平均値および分散値に基づいて、入力される顔画像データと登録部に登録されている顔画像データとが同一人のものであるか否かを判断するための閾値を設定している。
この構成により、個人識別に適した閾値を簡単に設定できる。
【発明の効果】
【００１４】
本発明は、入力される顔画像の撮像環境にかかわらず、高精度に個人識別できるという効果を有する顔認証装置を提供することができるものである。
【発明を実施するための最良の形態】
【００１５】
（発明の実施の形態１）
以下、本発明の実施の形態１に係る顔認証装置について、図面を用いて説明する。本実施の形態では、部屋のドアの開閉認証や携帯電話機の使用認証等に用いられ、顔画像データを利用して本人認証を行う顔認証装置の場合を例示する。
図１は、本発明の実施の形態１に係る顔認証装置の構成を模式的に示すブロック図である。
【００１６】
図１に示されるように、本発明の実施の形態１に係る顔認証装置１は、顔画像データ取得部１０と、第１の特徴量抽出部２０と、顔画像データ登録部３０と、第２の特徴量抽出部４０と、第１の類似度算出部５０と、特徴量データ記憶部６０と、第２の類似度算出部７０と、閾値設定部８０と、識別判定部９０とを備えて構成されている。
顔画像データ取得部１０は、例えば、ビデオカメラやイメージスキャナーなどから入力される顔画像データを取得する。
【００１７】
第１の特徴量抽出部２０は、顔画像データ取得部１０に入力されている顔画像データから特徴量データを抽出する。また、第２の特徴量抽出部４０は、顔画像データ登録部３０に登録されている顔画像データから特徴量データを抽出する。
具体的には、第１および第２の特徴量抽出部２０、４０は、例えば、顔画像データ中の目や鼻や口の位置などに基づいて、当該顔画像データ中の顔領域を一定の大きさおよび形状に切り出し、切り出した領域全ての画素の輝度値を要素とする一次元のベクトルｖを特徴量データに変換した特徴量データｘを抽出する。
【００１８】
ここで、ｖより個人認証に適したデータｘに変換する方法については、例えば、「Weak Orthogonalization of Face and Perturbation, CVPR 1998, Kenji Nagao, Masaki Sohma」に記載された方法などが提案されている。
すなわち、まず、撮影条件を変えて撮影した同一人物の複数の画像を拭く数人分用意し、これらの画像から一次元のベクトルを求める。そして、同一人物内の変動成分である摂動成分分布と、他の人物間の変動成分である個人間変動成分分布から、それぞれの特徴ベクトル分布の共分散行列Σ１、Σ２を求め、2つの共分散行列Σ１、Σ２を同時に対角化する行列Lを求める。
【００１９】
このとき、行列Lと共分散行列Σ１、Σ２との関係は、式（１）および式（２）のように示される。
【数１】
【数２】
【００２０】
ここで、Lは対角行列なので、式（１）および式（２）のΛ（１）およびΛ（２）は、式（３）および式（４）に示されるように表される。
【数３】
【数４】
【００２１】
式（３）および式（４）から、対角化された行列Ｌの対角成分の値を用いて、下記の式（５）に示されるように、Γを生成する。なお、Γの生成方法として、式（５）以外に様々な生成方法があり、これらの生成方法を用いて、Γを生成してもよい。
【数５】
【００２２】
そして、切り出した領域全ての画素の輝度値を要素とする一次元ベクトルｖに、下記の式（６）に示される行列Ψをｘ＝Ψ・ｖのようにかけると、個人識別に適した特徴量に変換できる。行列Ψは式（６）に示されるように、Γおよび対角行列Lから得られる。
【数６】
【００２３】
以上のようにして、第１および第２の特徴量抽出部２０、４０は、顔画像データ中の目や鼻や口の位置などに基づいて、当該顔画像データ中の顔領域を一定の大きさおよび形状に切り出し、個人認証に適したデータに変換することで、特徴量データを抽出する。
顔画像データ登録部３０には、所定の撮像条件下で撮像された顔画像データが予め登録されている。
【００２４】
第１の類似度算出部５０は、第１および第２の特徴量抽出部２０、４０がそれぞれ抽出する特徴量データを照合して、両特徴量データ間の類似度を算出する。具体的には、第１の類似度算出部５０は、第１および第２の特徴量抽出部２０、４０がそれぞれ抽出する特徴量データを照合して、両特徴量データ間の類似度として、両特徴量間の距離を算出する。すなわち第１の類似度算出部５０は、第１および第２の特徴量抽出部２０、４０がそれぞれ抽出する特徴量データの要素の系列を一次元ベクトルとみなして、両ベクトル間の距離を算出する。両ベクトル間の距離の算出方法には、例えば、特徴量ベクトル間の差分のＬ１ノルムやＬ２ノルムを用いる方法や、特徴量ベクトル間の相関値を用いる方法を、用いることができる。このように、両特徴量間の距離を第１および第２の抽出部が抽出する特徴量データの間の距離を算出することにより、両特徴量データ間の類似度を簡単に算出できる。
【００２５】
特徴量データ記憶部６０には、顔画像データ登録部３０に登録されている顔画像データの撮像条件と略同一の条件下で撮像された複数人の顔画像データから各々抽出された複数の特徴量データが記憶されている。この特徴量データ記憶部６０に記憶されている複数の特徴量データは、互いに異なる人物の顔画像データからそれぞれ抽出されたものである。なお、特徴量データ記憶部６０に記憶されている複数の特徴量データは、例えば、第２の特徴量抽出部４０により抽出されている。但し、これに限定されず、第１の特徴量抽出部２０により、複数の特徴量データを抽出してもよい。また、予め複数の特徴量データを互いに異なる人物の顔画像データから抽出してから、当該複数の特徴量データを特徴量データ記憶部６０に記憶してもよい。
【００２６】
第２の類似度算出部７０は、特徴量データ記憶部６０に記憶された複数の特徴量データと、第１の特徴量抽出部２０が抽出する特徴量データとを照合して、両特徴量データ間の類似度を算出する。具体的には、第２の類似度算出部７０は、特徴量データ記憶部６０に記憶された複数の特徴量データと、第１の特徴量抽出部２０が抽出する特徴量データとを照合して、両特徴量データ間の類似度として、両特徴量間の距離を算出する。両特徴量間の距離を第１および第２の抽出部が抽出する特徴量データの間の距離を算出することにより、両特徴量データ間の類似度を式（７）に示されるように算出できる。
【数７】
例えば、特徴量データ記憶部６０にＮ人分の特徴量データが記憶されている場合には、Ｎ個分の特徴量間の距離が第２の類似度算出部７０により算出される。
【００２７】
閾値設定部８０は、第２の類似度算出部７０により算出される複数の特徴量データに基づいて、個人識別に適した閾値を設定する。すなわち、閾値設定部８０は、第２の類似度算出部７０が算出する類似度に基づいて、入力される顔画像データと顔画像データ登録部３０に登録されている顔画像データとが同一人のものであるか否かを判断するための閾値を設定する。
【００２８】
ここで、特徴量データ記憶部６０に、認証対象であって、顔画像データ取得部１０に入力される顔画像データに対応する人物の特徴量データが記憶されている場合を想定する。この場合は、まず、第２の類似度算出部７０により算出されたＮ個の特徴量間の類似度のうち、最大値を除いた（Ｎ−１）個の特徴量間の類似度を用意する。このように、Ｎ個の特徴量間の類似度のうち、最大値を除くことによって、同一人の顔画像データ間の類似度を予め除去することができる。
【００２９】
次に、（Ｎ−１）個の特徴量間の類似度が正規分布をなすと仮定して、（Ｎ−１）個の特徴量間の類似度から平均値および分散値を算出する。この結果に基づいて、認証対象であって顔画像データ取得部１０に入力される顔画像データと、特徴量データ記憶部６０に記憶されている複数の他人の顔画像データとの間の類似度に現れる確率を算出し、許容できる他人受入率に合わせて、個人識別に適した閾値を設定する。なお、（Ｎ−１）個の特徴量間の類似度から算出される平均値および分散値を用いることにより、個人識別に適した閾値を簡単に設定できる。
【００３０】
識別判定部９０は、閾値設定部８０により設定された閾値と第１の類似度算出部５０が算出する類似度とを比較することによって、入力される顔画像データと顔画像データ登録部３０に登録されている顔画像データとが同一人のものであるか否かを判定する。
【００３１】
次に、以上のように構成された本発明の実施の形態１に係る顔認証装置１について、図に基づいて、その動作を説明する。図２は、本発明の実施の形態に係る顔認証装置の動作フロー図である。
図２に示されるように、まず、カメラやスキャナー等から入力される顔画像データを顔画像データ取得部１０により取得する（ステップ（ＳＴＥＰ（以下、Ｓと称する））２０１）。次に、顔画像データ取得部１０により取得された顔画像データから特徴量を抽出する（Ｓ２０２）。次に、第２の類似度算出部７０が、特徴量データ記憶部６０内に記憶されている複数の特徴量データと、入力される顔画像データの特徴量データとを照合して、両特徴量データ間の類似度として、両特徴量データ間の特徴量の類似度を算出する（Ｓ２０３）。
【００３２】
次に、第２の類似度算出部７０が、特徴量データ記憶部６０内に記憶されている全ての特徴量データに対して、入力される顔画像データの特徴量データとの間の類似度の算出を完了した場合（Ｓ２０４）、閾値設定部８０が、第２の特徴量算出部７０により算出された類似度に基づいて、個人識別のための閾値を設定する（Ｓ２０５）。第２の類似度算出部７０が、特徴量データ記憶部６０内に記憶されている全ての特徴量データに対して、入力される顔画像データの特徴量データとの間の類似度の算出を完了しない場合（Ｓ２０４）、Ｓ２０３の処理を繰り返す。
【００３３】
次に、第１の類似度算出部５０が、入力される顔画像データおよび登録されている顔画像データの特徴量データ間の類似度を算出する（Ｓ２０６）。具体的には、第１の類似度算出部５０が、第１の特徴量抽出部２０が抽出する特徴量データと、顔画像データ登録部３０に登録された顔画像より第２の特徴量抽出部４０によって抽出された特徴量データを照合して、両特徴量データ間の類似度を算出する。
【００３４】
次に、識別判定部９０が、閾値設定部８０により設定された閾値と第１の類似度算出部５０が算出する類似度を比較する（Ｓ２０７）。そして、第１の類似度算出部５０が算出する類似度が閾値より大きい場合（Ｓ２０７）、入力される顔画像データと顔画像データ登録部３０に登録されている顔画像データとが同一人のものであると判定する（Ｓ２０８）。一方、第１の類似度算出部５０が算出する類似度が閾値より小さい場合（Ｓ２０７）、入力される顔画像データと顔画像データ登録部３０に登録されている顔画像データとが異なる人物のものであると判定する（Ｓ２０９）。
【００３５】
次に、本発明の実施の形態１に係る顔認証装置の原理について、図に基づいて具体的に説明する。図３は、本発明の実施の形態１に係る顔認証装置の原理を説明する概略図である。
図３に示されるように、顔画像データ取得部１０に入力される顔画像データの入力顔画像２０１、２０２と、顔画像データ登録部３０に登録されている顔画像データの登録顔画像２０３に対応する人物は全て同一人物であると仮定する。ここで、入力顔画像２０１と登録顔画像２０３は照明の明るさや方向などが大きく異なる撮像環境で撮影されており、入力顔画像２０２と登録顔画像２０３は近い撮像環境で撮影されているものとする。
【００３６】
一般に顔認証では、撮像環境がより近い顔画像間の方が、同一人物であることを示す類似度がより高くなりやすい。したがって、入力顔画像２０２と登録顔画像２０３との間で認証を行った場合の方が、入力顔画像２０１と登録顔画像２０３との間で認証を行った場合よりも類似度が高くなる傾向にある。また、異なる人物間の類似度算出においても、大きく異なる撮像環境で撮影された顔画像間では類似度が低く、近い撮像環境で撮影された顔画像間では類似度が高い傾向にある。このように、入力顔画像の撮像環境の違いによって類似度の現れ方が異なることから、類似度が低くなる傾向のときは低い閾値を設定し、類似度が高くなる傾向のときは高い閾値を設定する必要がある。
【００３７】
そこで、本発明の実施の形態１に係る顔画像認証装置１では、予め登録顔画像２０３と同じ撮像環境で撮影された複数の人物の顔画像２０４を用意して、これらの複数人の顔画像の特徴量データを特徴量データ記憶部６０に記憶している。図３の特徴量データ記憶部６０内に、登録顔画像２０３と同じ撮像環境で撮影された複数の顔画像２０４を模式的に示している。この特徴量データ記憶部６０内の複数の顔画像２０４のそれぞれの特徴量データと入力顔画像の特徴量データとの間の類似度が第２の類似度算出部７０により算出されることによって、類似度の分布も取得できる。
【００３８】
例えば、登録顔画像２０３の撮像環境と異なる撮像環境で撮影された入力顔画像２０１の特徴量データと、特徴量データ記憶部６０内に記憶されている複数の顔画像２０４の特徴量データとの間の類似度は低い傾向となる。一方、登録顔画像２０３の撮像環境と近い撮像環境で撮影された入力顔画像２０２の特徴量データと、特徴量データ記憶部６０内に記憶されている複数の顔画像２０４の特徴量データとの間の類似度は高い傾向となる。
【００３９】
そして、第２の類似度算出部５０により算出された類似度の分布に合わせて、閾値を設定する。このようにすることにより、類似度が低くなる傾向のときは低い閾値を設定でき、類似度が高くなる傾向のときは高い閾値を設定でき、入力される顔画像の撮像環境にかかわらず、高精度に個人識別できる。
【００４０】
このような本発明の実施の形態１に係る顔認証装置１によれば、顔画像データ登録部３０に登録されている顔画像データの撮像条件と略同一の条件下で撮像された複数人の顔画像データから各々抽出された複数の特徴量データが記憶された特徴量データ記憶部６０と、特徴量データ記憶部６０に記憶された複数の特徴量データと第１の抽出部５０が抽出する特徴量データとを照合して、両特徴量データ間の類似度を算出する第２の類似度算出部７０と、第２の類似度算出部７０が算出する類似度に基づいて、入力される顔画像データと顔画像データ登録部３０に登録されている顔画像データとが同一人のものであるか否かを判断するための閾値を設定する閾値設定部８０とを設けている。このように構成することにより、入力される顔画像データに対応した閾値を設定することができ、入力される顔画像の撮像環境にかかわらず、高精度に個人識別できる。
【００４１】
（発明の実施の形態２）
以下、本発明の実施の形態２に係る顔認証装置について、図面を用いて説明する。
図４は、本発明の実施の形態２に係る顔認証装置の構成を模式的に示すブロック図である。
図１に示されるように、本発明の実施の形態１に係る顔画像認証装置１では、特徴量データ記憶部６０は副特徴量データ記憶部を有していないのに対し、図４に示されるように、本発明の実施の形態２に係る顔画像認証装置１ａでは、特徴量データ記憶部６１は複数の副特徴量データ記憶部６１１〜６１ｎを有している点で相違する。
【００４２】
また、図４に示されるように、本発明の実施の形態２に係る顔画像認証装置１ａでは、特徴量データ分類部１００、１００ｂ、副特徴量データ記憶部選択部１１０および特徴量データ更新部１２０を備えている点で、本発明の実施の形態１に係る顔画像認証装置１と異なる。
図４に示されるように、本発明の実施の形態２に係る顔認証装置１ａは、顔画像データ取得部１０と、第１の特徴量抽出部２０と、顔画像データ登録部３０と、第２の特徴量抽出部４０と、第１の類似度算出部５０と、特徴量データ記憶部６１と、複数の副特徴量データ記憶部６１１〜６１ｎと、第２の類似度算出部７０ａと、閾値設定部８０と、識別判定部９０と、特徴量データ分類部１００、１００ｂと、副特徴量データ記憶部選択部１１０と、特徴量データ更新判断部１２０とを備えて構成されている。なお、特徴量データ分類部１００および１００ｂの機能は、後述するように同一である。
【００４３】
図４に示されるように、特徴量データ記憶部６１は、複数の副特徴量データ記憶部６１１〜６１ｎを有している。
複数の副特徴量データ記憶部６１１〜６１ｎには、異なる撮像条件下で撮像された複数人の顔画像データから各々抽出された複数の特徴量データが上記異なる撮像条件毎にそれぞれ分類して記憶されている。
【００４４】
ここでは、例えば、特徴量データ記憶部６１は、ｎ個の副特徴量データ記憶部６１１〜６１ｎを有しているものとする。これら特徴量データ記憶部６１１〜６１ｎは、例えば、正面、上向き、下向き、左向き、右向きといった分類で顔の向きごとに分類されている。
【００４５】
第２の類似度算出部７０ａは、複数の副特徴量データ記憶部６１１〜６１ｎのうち、顔画像データ登録部３０に登録されている顔画像データの所定の撮像条件に最も近い撮像条件に対応した副特徴量データ記憶部に記憶された複数の特徴量データと第１の特徴量抽出部２０が抽出する特徴量データとを照合して、両特徴量データ間の類似度を算出する。
【００４６】
特徴量データ分類部１００は、顔画像データ登録部３０に登録されている顔画像データが、複数の副特徴量データ記憶部６１１〜６１ｎを参照し、どの副特徴量データ記憶部に対応した顔画像データに近いかを判定して分類する。例えば、入力される顔画像データの向きが、正面、上向き、下向き、左向き、右向きのどの分類に属するかを判定する。
副特徴量データ記憶部選択部１１０は、複数の副特徴量データ記憶部６１１〜６１ｎ、第２の類似度算出部７０ａおよび特徴量データ分類部１００に接続されている。副特徴量データ記憶部選択部１１０は、特徴量データ分類部１００による分類結果に従って、複数の副特徴量データ記憶部６１１〜６１ｎのうち、顔画像データ登録部３０に登録されている顔画像データの所定の撮像条件に最も近い撮像条件に対応した副特徴量データ記憶部を選択する。
【００４７】
特徴量データ更新判断部１２０は、複数の副特徴量データ記憶部６１１〜６１ｎ、第１の特徴量抽出部２０および特徴量データ分類部１００ｂの出力に接続されている。特徴量データ分類部１００ｂは、特徴量データ分類部１００と同じように、顔画像データ取得部１０が取得した顔画像データが副特徴量データ記憶部６１１〜６１ｎのどれに対応するのかを分類する。特徴量データ更新判断部１２０は、特徴量データ分類部１００ｂの分類結果より第１の特徴量抽出部２０が抽出する特徴量データを用いて、複数の特徴量データ記憶部６１１〜６１ｎに記憶されている特徴量データを更新する。すなわち、特徴量データ更新判断部１２０は、新たな顔画像データが入力されたときに、第1の類似度抽出部２０により抽出される新たな顔画像データの特徴量データを、複数の副特徴量データ記憶部６１１〜６１ｎのうち、新たな顔画像データの撮像条件に最も近い撮像条件に対応した副特徴量データ記憶部に記憶する。このようにして、特徴量データ更新判断部１２０は、特徴量データ記憶部６１内の各データを更新する。
【００４８】
次に、以上のように構成された本発明の実施の形態２に係る顔認証装置１ａについて、図に基づいて、その動作を説明する。
図５は、本発明の実施の形態２に係る顔認証装置の動作フロー図である。
図２とは、Ｓ５０１が追加され、Ｓ５０２がＳ２０３に代えて追加され、Ｓ５０３がＳ２０４に代えて追加されている点で相違する。
【００４９】
図５に示されるように、まず、カメラやスキャナー等から入力される顔画像データを顔画像データ取得部１０により取得する（Ｓ２０１）。次に、顔画像データ取得部１０により取得された顔画像データから特徴量を抽出する（Ｓ２０２）。
次に、副特徴量データ記憶部選択部１１０が、特徴量データ記憶部６１内の複数の副特徴量データ記憶部６１１〜６１ｎのうち、顔画像データ登録部３０に登録されている顔画像データの所定の撮像条件に最も近い撮像条件に対応した副特徴量データ記憶部を選択する（Ｓ５０１）。
【００５０】
具体的には、まず、特徴量データ分類部１００が、副特徴量データ記憶部６１１〜６１ｎを参照し、顔画像データ登録部３０に登録されている顔画像データが、複数の副特徴量データ記憶部６１１〜６１ｎのうち、どの副特徴量データ記憶部に対応した顔画像データに近いかを判定して分類する。
【００５１】
そして、副特徴量データ記憶部選択部１１０は、特徴量データ分類部１００により分類された特徴量データに基づいて、ｎ個の副特徴量データ記憶部６１１〜６１ｎのうち、顔画像データ登録部３０に登録されている顔画像データの所定の撮像条件に最も近い撮像条件に対応した副特徴量データ記憶部を選択する。そして、副特徴量データ記憶部選択部１１０は、選択した副特徴量データ記憶部に関する情報を第２の類似度算出部７０ａに入力する。
【００５２】
ここで、特徴量データ分類部１００の動作について具体的に説明する。特徴量データ分類部１００は、副特徴量データ記憶部６１１〜６１ｎを参照し、顔画像データ登録部３０に登録されている顔画像データが、複数の副特徴量データ記憶部６１１〜６１ｎのうち、どの副特徴量データ記憶部に対応した顔画像データに近いかを判定して分類する。
【００５３】
複数の副特徴量データ記憶部６１１〜６１ｎが顔の向きによって分類されている場合、例えば、「Real-Time Combined 2D+3D Active Appearance Models J. Xiao, S. Baker, I. Matthews, and T. Kanade Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, June, 2004」に記載された方法などにより、顔の向きを求めることが可能である。
【００５４】
ここでは、AAM(Active Appearance Model)による、２次元形状、３次元形状及び顔向き推定方法について説明する。AAMは形状モデルとテクスチャモデルの２つの線形モデルからなり、形状とテクスチャモデルに任意のパラメータを与えることで様々な顔の変動を表現できる。形状モデルは２次元の座標系からなり、テクスチャモデルは統計的な平均形状上の輝度情報として表現されている。AAMを用いた特徴点検出では、入力顔画像との差が最も小さくなるAAMのパラメータを求め、そのときの形状モデルより２次元の位置情報を取得する。
【００５５】
このとき、２次元形状は、３次元形状の２次元投影（投影行列Ｐ）で表現できる。入力顔画像に一致するAAMを求める際に、３次元形状によるこの拘束条件を加えると、式(８)のようになる。ただし、Ｉを入力顔画像とし、ｓ２Ｄを２次元モデルとし、ｓ３Ｄを３次元形状モデルとした。
【数８】
【００５６】
ここで、Ｋは重み係数であり、この値がより大きいほど３次元形状による拘束が強まる。式(８)を最小とするパラメータを求めると、特徴点位置と同時に、3次元形状と投影行列（すなわち、顔の向き）を求めることができる。
【００５７】
次に、第２の類似度算出部７０ａが、副特徴量データ記憶部選択部１１０により選択された副特徴量データ記憶部内の全ての特徴量データと第１の特徴量抽出部２０により抽出された顔画像データの特徴量データとの間の類似度として、両特徴量データ間の距離値を算出する（Ｓ５０２）。
【００５８】
次に、第２の類似度算出部７０ａが、選択された副特徴量データ記憶部内に記憶されている全ての特徴量データに対して、入力される顔画像データの特徴量データとの間の類似度の算出を完了した場合（Ｓ５０３）、閾値設定部８０が、第２の特徴量算出部７０ａにより算出された類似度に基づいて、個人識別のための閾値を設定する（Ｓ２０５）。第２の類似度算出部７０ａが、選択された特徴量データ記憶部内に記憶されている全ての特徴量データに対して、入力される顔画像データの特徴量データとの間の類似度の算出を完了しない場合（Ｓ５０３）、Ｓ５０２の処理を繰り返す。
【００５９】
次に、第１の類似度算出部５０が、入力される顔画像データおよび登録されている顔画像データの特徴量データ間の類似度を算出する（Ｓ２０６）。具体的には、第１の類似度算出部５０が、第２の特徴量抽出部４０により抽出された複数の特徴量データと、第１の特徴量抽出部２０が抽出する特徴量データとの間の距離を算出する。
【００６０】
次に、識別判定部９０が、閾値設定部８０により設定された閾値と第１の類似度算出部５０が算出する類似度とを比較する（Ｓ２０７）。そして、第１の類似度算出部５０が算出する類似度が閾値より大きい場合（Ｓ２０７）、入力される顔画像データと顔画像データ登録部３０に登録されている顔画像データとが同一人のものであると判定する（Ｓ２０８）。一方、第１の類似度算出部５０が算出する類似度が閾値より小さい場合（Ｓ２０７）、入力される顔画像データと顔画像データ登録部３０に登録されている顔画像データとが異なる人物のものであると判定する（Ｓ２０９）。
【００６１】
なお、特徴量データ分類部１００および特徴量データ分類部１００によって分類される複数の副特徴量データ記憶部６１１〜６１ｎを分類する判定基準には、顔の向きだけではなく、例えば、顔画像データ取得部１０が顔画像を取得した日時や、顔画像データ取得部１０が顔画像を取得したときの天気情報や、顔画像の撮像位置や、顔画像を撮像する際の設置角や、マスク、サングラス等のアクセサリーの有無や、撮像場所における照明状況等の互いに異なる撮像条件等を用いることができる。
マスクやサングラスや眼鏡といった顔の向きによって分類されている場合、顔上にアクセサリーが存在するか否かを、例えば、BoostingやSVM（Support Vector Machine）を用いて判定できる。
【００６２】
Boostingは、2値の判別器(例えば眼鏡の有無を判定)を構築する一般的な手法として知られている。多数の弱い判別器を用意し、それぞれの重みを変化させ、強い分類器を生成する。よく用いられる手法としてadaBoostが挙げられる。adaBoostでは逐次的に判別器が選択され、一つ前に選択された判別器で、間違えて判別された学習データの重みを、増加させることで、その学習データに対して重点的に学習を行っている。選択された判別器はその誤り率に応じて信頼度αが与えられ、判別結果は、信頼度αで重み付けされた判別器の多数決によって決まる。
【００６３】
また、SVMも、値の判別器(例えば眼鏡の有無を判定)を構築する一般的な手法として知られている。2クラスの分類問題を解くために、2つのクラスの真ん中を通る超平面を求める。これを実現するために、超平面と訓練サンプルとの最小距離を評価関数として用い、これを最大にするように超平面を決定する。このままではSVMは線形な判別器となるが、カーネルトリックを用いることによって非線形な判別器を構成できる。
【００６４】
また、複数の副特徴量データ記憶部６１１〜６１ｎが照明環境によって分類されている場合、照明変動毎にカテゴリを分類する。具体的には、例えば、「Weak Orthogonalization of Face and Perturbation, CVPR 1998, Kenji Nagao, Masaki Sohma」に記載された特徴量生成方法において、低次元の要素は、顔の一般的な変動の成分となる。本人間の摂動成分として、撮影環境や照明の当たり方の変動を多く用いると、その分布の主成分には、撮影環境の変化や照明変動を表す成分が表れる。この基底ベクトルを用いて部分空間を構築すると、主として照明変動を示す部分空間が得られる。この部分空間内で、各カテゴリのデータの分布への近さを用いて入力データを分類する。
【００６５】
また、次に示すように、照明の方向と強度を明示的に推定する手法を用いることができる。式（９）に示されるように、予め統計量算出で求めた法線アルベド行列Ｂ（ｌ）の平均Ｂａｖｒを用いて、最小二乗法により、光源ｓを推定できる。
【数９】
【００６６】
この推定した光源sを用いると、容易に照明方向による分類が可能となる。
ここで、画像ｎは入力画像であり、その画素数をPとすると、法線アルベド行列Ｂ（ｌ）は式（１０）によって表される。
【数１０】
【００６７】
ここで、ｎｐは式（１１）に示されるように、p番目の画素のアルベドと単位法線ベクトルの積である。
【数１１】
【００６８】
また、光源ｓは式（１２）に示されるように、照明強度と照明方向単位ベクトルの積である。
【数１２】
【００６９】
このような本発明の実施の形態２に係る顔認証装置１ａによれば、特徴量データ記憶部６１は、異なる撮像条件下で撮像された複数人の顔画像データから各々抽出された複数の特徴量データが異なる撮像条件毎にそれぞれ分類して記憶された複数の副特徴量データ記憶部６１１〜６１ａを有し、第２の類似度算出部７０ａは、複数の副特徴量データ記憶部６１１〜６１ｎのうち、顔画像データ登録部３０に登録されている顔画像データの所定の撮像条件に最も近い撮像条件に対応した副特徴量データ記憶部に記憶された複数の特徴量データと第１の特徴量抽出部２０が抽出する特徴量データとを照合して、両特徴量データ間の類似度を算出する。これにより、特徴量データ記憶部が撮像条件毎に分類されるので、入力される顔画像データの撮像条件が多様化しても、入力される顔画像の撮像環境にかかわらず、高精度に個人識別できる。
【００７０】
次に、特徴量データ記憶部６１のデータ更新方法について、具体的に説明する。
まず、特徴量データ分類部１００ｂが、複数の副特徴量データ記憶部６１１〜６１ｎのうち、追加する新たな顔画像データの撮像条件に最も近い撮像条件に対応した副特徴量データ記憶部を選択する。次に、特徴量データ更新判断部１２０が、選択された副特徴量データ記憶部に、新たな顔画像データの特徴量データを追加するか否かを判断する。具体的には、追加したい特徴量データと、選択された副特徴量データ記憶部内の全ての特徴量データとの間の距離値を算出する。
【００７１】
そして、算出された距離値中に統計的に外れ値が存在しない場合、当該特徴量データを、選択された副特徴量データ記憶部に追加する。一方、算出された距離値中に統計的な外れ値が存在した場合、当該特徴量データを、選択された副特徴量データ記憶部に追加しない。
このようにして、特徴量データ更新判断部１２０を設けたことにより、新しい顔画像データの特徴量データを追加する場合に、当該特徴量データを、最も適切な副特徴量データ記憶部に分類して記憶することができる。なお、例えば、動画像から入力画像を取得する場合、同一人物が連続して現れるが、追跡判定などを用いて、同じ人物は登録しないようにしている。
【００７２】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【産業上の利用可能性】
【００７３】
以上のように、本発明にかかる顔画像認証装置は、入力される顔画像の撮像環境にかかわらず、高精度に個人識別できるという効果を有し、顔画像データを利用して、本人認証を行う顔認証装置等として有用である。
【図面の簡単な説明】
【００７４】
【図１】本発明の実施の形態１に係る顔認証装置の構成を模式的に示すブロック図である。
【図２】本発明の実施の形態に係る顔認証装置の動作フロー図である。
【図３】本発明の実施の形態１に係る顔認証装置の原理を説明する概略図である。
【図４】本発明の実施の形態２に係る顔認証装置の構成を模式的に示すブロック図である。
【図５】本発明の実施の形態２に係る顔認証装置の動作フロー図である。
【符号の説明】
【００７５】
１ 顔認証装置
１０ 顔画像データ取得部
２０ 第１の特徴量抽出部
３０ 顔画像データ登録部
４０ 第２の特徴量抽出部
５０ 第１の類似度算出部
６０、７１ 特徴量データ記憶部
６１１〜６１ｎ 第１〜第ｎの副特徴量データ記憶部
７０、７１ 第２の類似度算出部
８０ 閾値設定部
９０ 識別判定部
１００ 特徴量分類部
１１０ 副特徴量データ記憶部選択部
１２０ 特徴量データ更新判断部
【特許請求の範囲】
【請求項１】
入力される顔画像データから特徴量データを抽出する第１の抽出部と、
所定の撮像条件下で撮像された顔画像データが登録されている顔画像データ登録部と、
上記顔画像データ登録部に登録されている顔画像データから特徴量データを抽出する第２の抽出部と、
上記第１および第２の抽出部がそれぞれ抽出する特徴量データを照合して、両特徴量データ間の類似度を算出する第１の算出部と、
上記所定の撮像条件と略同一の条件下で撮像された複数人の顔画像データから各々抽出された複数の特徴量データが記憶された特徴量データ記憶部と、
上記特徴量データ記憶部に記憶された複数の特徴量データと上記第１の抽出部が抽出する特徴量データとを照合して、両特徴量データ間の類似度を算出する第２の算出部と、
上記第２の算出部が算出する類似度に基づいて、上記入力される顔画像データと上記顔画像データ登録部に登録されている顔画像データとが同一人のものであるか否かを判断するための閾値を設定する閾値設定部と、
上記閾値設定部により設定された閾値と上記第１の算出部が算出する類似度とを比較することによって、上記入力される顔画像データと上記顔画像データ登録部に登録されている顔画像データとが同一人のものであるか否かを判定する判定部とを備えたことを特徴とする顔認証装置。
【請求項２】
上記特徴量データ記憶部は、異なる撮像条件下で撮像された複数人の顔画像データから各々抽出された複数の特徴量データが上記異なる撮像条件毎にそれぞれ分類して記憶された複数の副特徴量データ記憶部を有し、
上記第２の算出部は、上記複数の副特徴量データ記憶部のうち、上記顔画像データ登録部に登録されている顔画像データの上記所定の撮像条件に最も近い撮像条件に対応した副特徴量データ記憶部に記憶された複数の特徴量データと上記第１の抽出部が抽出する特徴量データとを照合して、両特徴量データ間の類似度を算出する請求項１に記載の顔認証装置。
【請求項３】
新たな顔画像データを上記顔画像データ登録部に登録するとき、上記第２の抽出部により抽出される上記新たな顔画像データの特徴量データを、上記複数の副特徴量データ記憶部のうち、上記新たな顔画像データの撮像条件に最も近い撮像条件に対応した副特徴量データ記憶部に記憶する請求項２に記載の顔認証装置。
【請求項４】
上記第１の算出部は、上記第１および第２の抽出部が抽出する特徴量データの間の距離に基づいて、両特徴量データ間の類似度を算出する請求項１に記載の顔認証装置。
【請求項５】
上記第２の算出部は、上記特徴量データ記憶部に記憶された複数の特徴量データと上記第１の抽出部が抽出する特徴量データとの間の距離に基づいて、両特徴量データ間の類似度を算出する請求項１に記載の顔認証装置。
【請求項６】
上記閾値設定部は、上記第２の算出部が算出する上記類似度の平均値および分散値に基づいて、上記入力される顔画像データと上記登録部に登録されている顔画像データとが同一人のものであるか否かを判断するための閾値を設定する請求項１に記載の顔認証装置。
【請求項１】
入力される顔画像データから特徴量データを抽出する第１の抽出部と、
所定の撮像条件下で撮像された顔画像データが登録されている顔画像データ登録部と、
上記顔画像データ登録部に登録されている顔画像データから特徴量データを抽出する第２の抽出部と、
上記第１および第２の抽出部がそれぞれ抽出する特徴量データを照合して、両特徴量データ間の類似度を算出する第１の算出部と、
上記所定の撮像条件と略同一の条件下で撮像された複数人の顔画像データから各々抽出された複数の特徴量データが記憶された特徴量データ記憶部と、
上記特徴量データ記憶部に記憶された複数の特徴量データと上記第１の抽出部が抽出する特徴量データとを照合して、両特徴量データ間の類似度を算出する第２の算出部と、
上記第２の算出部が算出する類似度に基づいて、上記入力される顔画像データと上記顔画像データ登録部に登録されている顔画像データとが同一人のものであるか否かを判断するための閾値を設定する閾値設定部と、
上記閾値設定部により設定された閾値と上記第１の算出部が算出する類似度とを比較することによって、上記入力される顔画像データと上記顔画像データ登録部に登録されている顔画像データとが同一人のものであるか否かを判定する判定部とを備えたことを特徴とする顔認証装置。
【請求項２】
上記特徴量データ記憶部は、異なる撮像条件下で撮像された複数人の顔画像データから各々抽出された複数の特徴量データが上記異なる撮像条件毎にそれぞれ分類して記憶された複数の副特徴量データ記憶部を有し、
上記第２の算出部は、上記複数の副特徴量データ記憶部のうち、上記顔画像データ登録部に登録されている顔画像データの上記所定の撮像条件に最も近い撮像条件に対応した副特徴量データ記憶部に記憶された複数の特徴量データと上記第１の抽出部が抽出する特徴量データとを照合して、両特徴量データ間の類似度を算出する請求項１に記載の顔認証装置。
【請求項３】
新たな顔画像データを上記顔画像データ登録部に登録するとき、上記第２の抽出部により抽出される上記新たな顔画像データの特徴量データを、上記複数の副特徴量データ記憶部のうち、上記新たな顔画像データの撮像条件に最も近い撮像条件に対応した副特徴量データ記憶部に記憶する請求項２に記載の顔認証装置。
【請求項４】
上記第１の算出部は、上記第１および第２の抽出部が抽出する特徴量データの間の距離に基づいて、両特徴量データ間の類似度を算出する請求項１に記載の顔認証装置。
【請求項５】
上記第２の算出部は、上記特徴量データ記憶部に記憶された複数の特徴量データと上記第１の抽出部が抽出する特徴量データとの間の距離に基づいて、両特徴量データ間の類似度を算出する請求項１に記載の顔認証装置。
【請求項６】
上記閾値設定部は、上記第２の算出部が算出する上記類似度の平均値および分散値に基づいて、上記入力される顔画像データと上記登録部に登録されている顔画像データとが同一人のものであるか否かを判断するための閾値を設定する請求項１に記載の顔認証装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００８−１４６５３９（Ｐ２００８−１４６５３９Ａ）
【公開日】平成２０年６月２６日（２００８．６．２６）
【国際特許分類】
【出願番号】特願２００６−３３５５０８（Ｐ２００６−３３５５０８）
【出願日】平成１８年１２月１３日（２００６．１２．１３）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１８年度、総務省、「ユビキタスセンサーネットワーク技術に関する研究開発」委託研究、産業再生法第３０条の適用を受ける特許出願
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２０年６月２６日（２００８．６．２６）
【国際特許分類】
【出願日】平成１８年１２月１３日（２００６．１２．１３）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１８年度、総務省、「ユビキタスセンサーネットワーク技術に関する研究開発」委託研究、産業再生法第３０条の適用を受ける特許出願
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]