顔照合装置
【課題】少ない画像からでも信頼性の高い顔登録を行うことのできる技術を提供する。
【解決手段】顔特徴量ベクトル抽出部１４が、新規登録者の登録画像から特徴量を抽出し、顔特徴量ベクトルを生成する。仮想顔特徴量ベクトル生成部１５が、特徴量空間内での座標変換を行う特徴量変換器を用いて、顔特徴量ベクトルを変換する。そして、登録情報生成部１６が、元の顔特徴量ベクトルと変換後の仮想顔特徴量ベクトルに基づいて、新規登録者の顔定義情報を生成し、登録情報記憶部１９に登録する。
【解決手段】顔特徴量ベクトル抽出部１４が、新規登録者の登録画像から特徴量を抽出し、顔特徴量ベクトルを生成する。仮想顔特徴量ベクトル生成部１５が、特徴量空間内での座標変換を行う特徴量変換器を用いて、顔特徴量ベクトルを変換する。そして、登録情報生成部１６が、元の顔特徴量ベクトルと変換後の仮想顔特徴量ベクトルに基づいて、新規登録者の顔定義情報を生成し、登録情報記憶部１９に登録する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔照合装置に関し、特に顔照合装置に顔を登録するための技術に関する。
【背景技術】
【０００２】
顔認識技術を応用した顔照合装置では、顔の登録（教示）及び照合に画像が用いられる。よって、登録や照合に用いる画像の撮影条件（照明、顔の向き、表情、年齢など）の違いが、照合精度に大きく影響を与えうる。このような撮影条件の違いに対するロバスト性を確保するためには、一般に、様々な条件で撮影された多数の画像を用いて画像の登録を行うのが望ましいとされる。
【０００３】
しかしながら、様々な条件での撮影は顔登録を行うユーザに多大な負担を課すため好ましくないし、望ましい撮影条件を作り出すこと自体も困難なことが多い。一方で、少数の画像（例えば、免許証やパスポートなどに貼付された証明写真）を用いて、手軽に顔登録を行いたいというニーズもある。
【０００４】
このような課題に鑑みた従来技術としては、入力顔画像と平均的な顔立体形状モデルとから顔の表面反射率を推定し、その表面反射率を顔照合に利用したり、あるいは、表面反射率から任意の照明条件の画像を生成する手法が提案されている（特許文献１参照）。この手法は、照明条件に左右されないパラメータである表面反射率を用いることによって、照明条件の変動をキャンセルするものである。ただし、この手法は、照明条件の変動にしか対応できない、顔照合で用いる特徴量が表面反射率に限定されるなど、汎用性に欠ける。また、顔立体形状モデルを用いたり、画像ベースでの変換処理を行うため、メモリ容量や計算コストが膨大になるという不利がある。
【０００５】
他の手法としては、部分空間法による顔画像認識において、ある照明条件の下で得られた登録画像の自己相関行列Ｒに対し、照明条件の変動要素モデルである照明基準空間の共分散行列Ｃを付加することにより、他の照明条件で得られる画像の自己相関行列Ｒ´を仮想的に作り出す手法が提案されている（特許文献２、非特許文献１参照）。ただし、この手法も、部分空間法を利用する画像認識技術に特化した手法であり、汎用性に欠ける。また、固有値問題は次元数１（つまり、１枚の登録画像）では解けないために、登録画像は複数枚必要となる（例えば、非特許文献１では５０枚の画像を用いている）。たとえ照明条件が１つで良くても、数十枚の画像を撮影しなければならないのであれば、顔登録の作業負担は依然として解消されないし、メモリ容量や計算コストも増大する。
【特許文献１】特開２００２−２４８３０号公報
【特許文献２】特開２００５−２０２６７３号公報
【非特許文献１】松尾賢治、外２名，「仮想部分空間による照明変動を抑制した顔画像認識」，信学技報，社団法人電子情報通信学会，２００４年６月１８日，ｖｏｌ．１０４，Ｎｏ．１２５，ｐ．２５−３０
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、少ない画像からでも信頼性の高い顔登録を行うことのできる技術を提供することにある。
【０００７】
また、本発明のさらなる目的は、少ないメモリ容量と計算コストで、少ない画像からでも信頼性の高い顔登録を行うことのできる、汎用性に優れた技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明は、以下の構成を採用する。
【０００９】
本発明に係る顔照合装置は、登録者の顔を定義する顔定義情報を記憶可能な記憶手段と、照合対象者の顔画像から抽出された特徴量を前記記憶手段内の顔定義情報と比較することによって前記照合対象者の顔照合を行う照合手段と、新規登録者の顔定義情報を生成して前記記憶手段に登録する登録手段と、を備える。
【００１０】
記憶手段に登録できる登録者（顔定義情報）の数は１つでもよいし、複数でもよい。また、照合手段による顔照合は、照合対象者が本人であるか否か確かめる本人認証（一対一の照合）でもよいし、照合対象者が誰であるか識別する個人識別（一対多の照合）でもよい。
【００１１】
上記顔照合装置において、前記登録手段は、新規登録者の顔画像から特徴量を抽出する特徴量抽出手段と、特徴量空間内での座標変換を行う変換器を用いて、前記抽出された特徴量から構成されるベクトルを変換する特徴量変換手段と、前記抽出された特徴量と変換後のベクトルを構成する特徴量とに基づいて前記新規登録者の顔定義情報を生成する顔定義情報生成手段と、を有する。
【００１２】
この登録手段は、一つの顔画像から直接抽出される特徴量に加え、その抽出された特徴量から変換された変換後の特徴量をも用いて顔定義情報を生成するので、直接抽出される特徴量のみから顔定義情報を生成するのに比べて、顔定義情報の精度を向上することができる。よって、本発明は、（多数の登録画像を用いる場合はもちろんのこと）一枚あるいは数枚といった少ない登録画像からでも信頼性の高い顔登録を行うことができる。
【００１３】
ここで、「特徴量」とは、画像から抽出可能な、顔の特徴を表すパラメータをいう。どのような種類の特徴量を選択するか、また何個の特徴量を用いるかは、任意に設定できる。「特徴量空間」とは、各々の特徴量の各次元を軸にもつ多次元空間のことである。顔画像から抽出された特徴量（の組）は、この特徴量空間上の点（元）となる。本明細書では、この特徴量の組を便宜的に「ベクトル」又は「顔特徴量ベクトル」とよんでいる。「変換器」は、特徴量空間内での座標変換を行うものである。座標変換には、例えば、ベクトルの拡大、縮小、回転、移動があり、これらの座標変換は幾何学的な変換行列として表現できる。
【００１４】
前記変換器は、第１条件下で撮影された顔画像から得られた特徴量のベクトルを、前記第１条件とは異なる第２条件下で撮影された同一人の顔画像から得られる特徴量のベクトルに変換するためのものであるとよい。
【００１５】
ここで「条件」としては、例えば、照明（明るさ）、顔の向き、表情、年齢、化粧方法、装着物（眼鏡、マスクなど）の有無、髪型、画像の解像度など、画像から抽出される特徴量に影響を与えうる様々な条件を選ぶことができる。
【００１６】
この構成によれば、第１条件下で新規登録者を撮影するだけで、その顔画像から第１条件における特徴量だけでなく、第２条件で撮影した場合に得られるであろう特徴量をも得ることができる。つまり、一つの登録画像から、複数の撮影条件における特徴量を得ることができる。これら複数の撮影条件における特徴量から顔定義情報を生成することで、撮影条件の違いに対するロバスト性を向上させることができ、信頼性の高い顔照合を行うことが可能となる。
【００１７】
また、本発明では、撮影条件の変動を、ベクトルの座標変換という簡単な処理で実現し
ている。よって、従来のような画像ベースの変換処理に比べて、メモリ容量及び計算コストを大幅に削減することができる。しかも、ベクトルの座標変換という処理は、特徴量の種類や顔登録・顔照合の手法（アルゴリズム）に依存しないので、特徴量を用いる顔照合技術全般に汎用的に適用できるものと考えられる。
【００１８】
前記変換器は、元のベクトルをＶ１、変換後のベクトルをＶ２、としたとき、例えば、下記式で表される。係数行列Ａ，Ｂの設定次第で、様々な種類の座標変換（撮影条件の変換ともいえる）に対応できる。
【数１】
【００１９】
係数行列Ａ，Ｂの設定方法は問わない。係数行列の各値を人が入力することもできるし、条件変化による特徴量の変化を計算機シミュレーションで算出することもできる。また、複数人について、第１条件、第２条件それぞれの顔画像を実際に準備し、それら複数の顔画像から統計的手法を用いて係数行列を算出することも好ましい。
【００２０】
例えば、前記係数行列Ａ，Ｂは、Ｎ人分の顔画像から統計的手法を用いて算出されるものであって、
ｉ番目の人の第１条件下で撮影された顔画像から得られた特徴量のベクトルをＶａｉ、
ｉ番目の人の第２条件下で撮影された顔画像から得られた特徴量のベクトルをＶｂｉ、としたときに、
【数２】
のように算出されるとよい。
【００２１】
あるいは、
【数３】
のように算出されてもよい。
【００２２】
前記特徴量変換手段は、元のベクトルを複数のベクトルに変換し、前記顔定義情報生成手段は、前記抽出された特徴量と変換後の複数のベクトルを構成する特徴量とに基づいて前記新規登録者の顔定義情報を生成するとよい。これにより、新規登録者の顔をより正確に定義できるようになる。
【００２３】
本発明は、上記手段の少なくとも一部を有する顔照合装置として捉えてもよいし、顔照合装置に顔を登録する顔登録装置として捉えてもよい。また、本発明は、上記処理の少なくとも一部を含む顔登録方法、または、かかる方法を実現するためのプログラムやそのプログラムを記録した記録媒体として捉えることもできる。さらに、本発明は、顔登録装置や顔登録方法で用いられる変換器を生成するための、変換器生成装置や変換器生成方法として捉えてもよい。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
【００２４】
たとえば、本発明の一態様としての顔登録方法は、登録者の顔を定義する顔定義情報を記憶可能な記憶手段を備え、照合対象者の顔画像から抽出された特徴量を前記記憶手段内の顔定義情報と比較することによって前記照合対象者の顔照合を行う顔照合装置に対して新規登録者の顔を登録するための顔登録方法であって、情報処理装置が、新規登録者の顔画像から特徴量を抽出し、特徴量空間内での座標変換を行う変換器を用いて、前記抽出された特徴量から構成されるベクトルを変換し、前記抽出された特徴量と変換後のベクトルを構成する特徴量とに基づいて前記新規登録者の顔定義情報を生成し、前記生成された顔定義情報を前記顔照合装置の記憶手段に登録する顔登録方法である。
【００２５】
また本発明の一態様としてのプログラムは、登録者の顔を定義する顔定義情報を記憶可能な記憶手段を備え、照合対象者の顔画像から抽出された特徴量を前記記憶手段内の顔定義情報と比較することによって前記照合対象者の顔照合を行う顔照合装置に対して新規登録者の顔を登録するためのプログラムであって、情報処理装置に、新規登録者の顔画像から特徴量を抽出する処理と、特徴量空間内での座標変換を行う変換器を用いて、前記抽出された特徴量から構成されるベクトルを変換する処理と、前記抽出された特徴量と変換後のベクトルを構成する特徴量とに基づいて前記新規登録者の顔定義情報を生成する処理と、前記生成された顔定義情報を前記顔照合装置の記憶手段に登録する処理と、を実行させ
るプログラムである。
【発明の効果】
【００２６】
本発明によれば、少ない画像からでも信頼性の高い顔登録を行うことができる。しかも、本発明の手法は、少ないメモリ容量と計算コストでよく、また汎用性に優れるので、種々の顔照合装置に適用することが可能である。
【発明を実施するための最良の形態】
【００２７】
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。
【００２８】
図１は、本発明の実施形態に係る顔照合装置の機能構成を示すブロック図である。この顔照合装置は、顔画像を用いて照合対象者の本人認証又は個人識別を行う装置であり、例えば、カメラ付きのコンピュータや携帯電話におけるセキュリティ装置、侵入者検知を行う監視装置、入退室管理やドアの錠制御を行う装置などの様々な用途に応用可能である。
【００２９】
顔照合装置は、図１に示す複数の機能要素、すなわち画像入力部１０、画像記憶部１１、顔検出部１２、特徴点検出部１３、顔特徴量ベクトル抽出部１４、仮想顔特徴量ベクトル生成部１５、登録情報生成部１６、照合部１７、特徴量変換器記憶部１８、登録情報記憶部１９を備えている。本実施形態では、これらの機能要素は、演算処理装置がソフトウエア（プログラム）を実行し、必要に応じて記憶装置・撮像装置・入力装置などのハードウエア資源を制御することで実現される。ただし、これらの機能要素を専用のチップで構成しても構わない。顔照合装置は、これらの機能要素を適宜組み合わせて、「照合機能」と「登録機能」の２つのメイン機能を実現する。以下、メイン機能のそれぞれについて詳しく説明する。
【００３０】
＜照合機能＞
照合機能は、照合対象者の顔画像から抽出された特徴量を、予め登録されている登録者の顔定義情報と比較することによって、照合対象者の顔照合を行う機能である。本実施形態では、照合機能は、画像入力部１０、画像記憶部１１、顔検出部１２、特徴点検出部１３、顔特徴量ベクトル抽出部１４、照合部１７、登録情報記憶部１９から構成される。
【００３１】
図２のフローチャートに沿って、照合機能の構成と処理の流れを説明する。
【００３２】
照合機能が起動すると、画像入力部１０から照合対象者の顔画像（以下、「照合画像」とよぶ。）が入力される（ステップＳ１０）。入力された照合画像は、画像記憶部１１に格納される。
【００３３】
画像入力部１０は、画像を顔照合装置へ入力するためのインタフェースであり、どのような既存技術を用いて構成されてもよい。例えば、ネットワークを介して画像が入力される場合はネットワークインタフェースが画像入力部に該当し、デジタルカメラ・スキャナ・コンピュータ・記憶装置等の外部機器から画像が入力される場合は外部機器と顔照合装置を有線又は無線で接続する通信インタフェースが画像入力部に該当し、メモリ・ＣＤ・ＤＶＤ等の記録媒体から画像が入力される場合は記録媒体のリーダが画像入力部に該当する。また、顔照合装置がＣＣＤやＣＭＯＳセンサ等からなる撮像装置を具備し、その撮像装置で対象者を撮影するのであれば、撮像装置が画像入力部に該当する。
【００３４】
画像記憶部１１は、処理対象となる画像を一時的に記憶する記憶装置である。この記憶装置としては、揮発性メモリや不揮発性メモリなど、どのような具体的技術が適用されてもよい。
【００３５】
次に、顔検出部１２が、照合画像から人の顔を検出し、顔の位置や大きさ等を特定する（ステップＳ１１）。
【００３６】
顔検出部１２による顔検出処理は、既存のどのような技術が適用されてもよい。一例を挙げると、（１）顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出する手法、（２）顔の器官（目、鼻、耳など）に基づくテンプレートマッチングによって顔を検出する手法、（３）クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出する手法、（４）肌の色に近い領域を検出し、その領域を顔として検出する手法、（５）ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出する手法、などがある。自動で顔を検出するのではなく、人が顔の位置や大きさを指定してもよい。なお、画像から複数の人の顔が検出された場合には、顔の大きさ、向き、位置などの所定の基準に基づいて処理対象とする顔を決定すればよい。
【００３７】
次に、特徴点検出部１３が、顔検出部１２によって検出された顔から複数の特徴点を検出する（ステップＳ１２）。特徴点とは、特徴量の抽出基準となる点のことであり、顔の中のどの点を特徴点として選ぶかは予め決められている。例えば、眼の中心、鼻の頂点、口の端点など、複数箇所が特徴点として選ばれる。
【００３８】
特徴点検出部１３による特徴点検出処理は、既存のどのような技術が適用されてもよい。一例を挙げると、（１）特徴点の位置を示すパターンをあらかじめ学習し、その学習データを使用したマッチングを行うことによって特徴点を検出する手法、（２）検出された顔の内側において、エッジの検出やパターンマッチングを行うことにより、顔の器官の端点を検出し、それを基準として特徴点を検出する手法、などがある。自動で特徴点を検出するのではなく、人が顔器官もしくは特徴点の位置を指定してもよい。
【００３９】
次に、顔特徴量ベクトル抽出部１４が、検出された特徴点をもとに特徴量を抽出する（ステップＳ１３）。特徴量の種類はどのようなものを採用してもよい。例えば、特徴点近傍の濃淡値やその周期性・方向性、特徴点の位置関係などを特徴量として採用できる。特徴量の個数についても、期待する照合精度に応じて任意に設定できる。一般的には、数十〜数百の特徴量が抽出される。このようにして画像から抽出された特徴量の組は、顔特徴量ベクトルとよばれる。顔特徴量ベクトルは顔の特徴を数値化したものといえる。人によって顔の特徴が相違するのと同様、人によって顔特徴量ベクトルの傾向（向き、大きさ）が相違する。
【００４０】
照合部１７は、照合画像から得られた顔特徴量ベクトルを、登録情報記憶部１９に登録されている登録者の顔定義情報と比較することによって、顔照合を行い、その判定結果を出力する（ステップＳ１４）。なお、登録情報記憶部１９には、予め、一人又は複数の登録者の顔定義情報が登録されている。顔定義情報は、登録者の顔（つまり、登録者の顔から抽出される顔特徴量ベクトルの傾向）を定義するものといえる。
【００４１】
照合部１７による顔照合処理についても、既存のどのような技術が適用されてもよい。例えば、本人認証の場合は、照合画像の顔特徴量ベクトルと登録者（本人）の顔定義情報との類似度を算出し、その類似度が所定のしきい値より大きいときに本人と判定すればよい。個人識別の場合は、複数の登録者のそれぞれについて類似度を算出し、類似度の大きさに基づいて照合対象者がどの登録者に該当するかを判定すればよい。
【００４２】
この照合部１７における顔照合の精度は、顔定義情報の精度（信頼性）に大きく左右される。では次に、顔定義情報の生成及び登録を担う登録機能について説明する。
【００４３】
＜登録機能＞
登録機能は、新規登録者の顔定義情報を生成して装置に登録する機能である。本実施形態では、登録機能は、画像入力部１０、画像記憶部１１、顔検出部１２、特徴点検出部１３、顔特徴量ベクトル抽出部１４、仮想顔特徴量ベクトル生成部１５、登録情報生成部１６、特徴量変換器記憶部１８から構成される。
【００４４】
図３のフローチャートに沿って、登録機能の構成と処理の流れを説明する。
【００４５】
登録機能が起動すると、画像入力部１０から新規登録者の顔画像（以下、「登録画像」とよぶ。）が入力される（ステップＳ２０）。入力された登録画像は、画像記憶部１１に格納される。
【００４６】
そして、顔検出部１２が登録画像から人の顔を検出し、特徴点検出部１３が特徴点を検出し、顔特徴量ベクトル抽出部１４が新規登録者の顔特徴量ベクトルを算出する（ステップＳ２１〜Ｓ２３）。顔画像から特徴量を抽出する一連の処理については、顔照合時のものと同じである。
【００４７】
次に、仮想顔特徴量ベクトル生成部１５が、特徴量変換器記憶部１８から該当する特徴量変換器を読み出し（ステップＳ２４）、その特徴量変換器を用いて、ステップＳ２３で得られた顔特徴量ベクトルを変換する（ステップＳ２５）。
【００４８】
特徴量変換器は、特徴量空間内での座標変換を行うものである。同一人を撮影した２枚の顔画像からそれぞれ顔特徴量ベクトルを算出したとき、両画像の撮影条件が同じなら、顔特徴量ベクトルの傾向（向き、大きさ）もほぼ同じになる。しかし、撮影条件（例えば、照明、顔の向き、表情、年齢、化粧方法、装着物の有無、髪型、画像の解像度など）が異なれば、その条件の相違に応じた傾向の違いが顔特徴量ベクトルにも現れる。特徴量変換器による座標変換は、このような撮影条件の相違による顔特徴量ベクトルの変化を仮想的に求めるものである。換言すれば、特徴量変換器は、ある条件下で撮影された顔画像から得られた顔特徴量ベクトルを、他の条件下で撮影された同一人の顔画像から得られる顔特徴量ベクトルに変換するもの、といえる。以下、変換前の条件を「元条件」、変換後の条件を「仮想条件」、変換前の顔特徴量ベクトルを「元ベクトル」、変換後の顔特徴量ベクトルを「仮想ベクトル」とよぶ。
【００４９】
特徴量変換器の変換特性は、元条件と仮想条件の組み合わせによって決まる。しかし撮影条件は無数に想定されるため、元条件と仮想条件の組み合わせを全て網羅するのは現実的でない。そこで本実施形態では、元条件と仮想条件の代表的な組み合わせを複数選定し、そのそれぞれについて特徴量変換器を予め作成し（具体的な作成方法は後述する）、特徴量変換器記憶部１８に格納しておく。ステップＳ２４では、仮想顔特徴量ベクトル生成部１５が、特徴量変換器記憶部１８内の複数の特徴量変換器の中から、登録画像の撮影条件と同じ元条件をもつ変換器を選び出し、仮想ベクトルを生成する。
【００５０】
なお、登録画像の撮影条件を特定する手法は種々考えられる。例えば、照明条件については「室内／屋外」「明るい／暗い」、顔の向きについては「正面／斜め向き／横向き」のように、複数の条件候補を提示して、ユーザに条件を入力させるようにしてもよい。あるいは、登録画像から得られる特徴量に基づいて撮影条件を自動的に判断するようにしてもよい。
【００５１】
上記処理によって元ベクトルから一つ又は複数の仮想ベクトルが生成されたら、登録情報生成部１６が、元ベクトルと仮想ベクトルに基づいて（つまり、登録画像から直接抽出された特徴量と変換後の特徴量とに基づいて）新規登録者の顔定義情報を生成し、登録情
報記憶部１９に登録する（ステップＳ２６）。
【００５２】
このようにして生成された顔定義情報は、登録画像の撮影条件（元条件）だけでなく、他の撮影条件（仮想条件）をも考慮したものとなる。よって、元ベクトルのみから顔定義情報を生成するのに比べて、顔定義情報の精度を向上することができ、ひいては顔照合の判定精度の向上を図ることができる。
【００５３】
図４は、（ａ）元ベクトルのみから顔定義情報を生成した場合と、（ｂ）元ベクトルと仮想ベクトルから顔定義情報を生成した場合との精度の比較を表している。図４は、条件１で撮影された登録画像を用いてＡ氏とＢ氏の顔登録を行った後に、別の条件下でＡ氏の顔照合を行うケースを例示したものである。図中、ＰＡはＡ氏の登録画像から得られた元ベクトルを示し、ＰＡｘは元ベクトルＰＡから生成された仮想ベクトルを示し、ＦＡはＡ氏の顔定義情報を示す。また、ＰＢはＢ氏の登録画像から得られた元ベクトルを示し、ＰＢｘは元ベクトルＰＢから生成された仮想ベクトルを示し、ＦＢはＢ氏の顔定義情報を示す。また、Ｓは、Ａ氏の照合画像から得られた顔特徴量ベクトルを示す。なおここでは、説明をわかりやすくするため、Ｘ、Ｙの２つの特徴量からなる２次元特徴量空間を示しているが、実際の装置では数十〜数百次元の特徴量空間が用いられる。
【００５４】
登録画像から得られる元ベクトルＰＡ、ＰＢは特徴量空間上の一点にすぎないため、元ベクトルＰＡ、ＰＢのみから顔定義情報ＦＡ、ＦＢの外延を正確に決定することは難しい。よって、登録画像と異なる条件下で撮影された照合画像を用いて顔照合を行おうとすると、図４（ａ）に示すように、Ａ氏の照合画像であるにもかかわらず、Ｂ氏の顔であると誤判定される可能性もある。
【００５５】
これに対して、図４（ｂ）に示すように、条件１の元ベクトルＰＡ、ＰＢから他の条件２、３、４の仮想ベクトルＰＡ２〜ＰＡ４、ＰＢ２〜ＰＢ４を生成し、それら複数の条件の顔特徴量ベクトルから顔定義情報ＦＡ、ＦＢを生成すると、より正確な外延を決定することができる。これにより撮影条件の違いに対するロバスト性を向上させることができ、登録画像とは異なる条件の照合画像を用いても、正確に判定できるようになる。
【００５６】
本実施形態の手法では、撮影条件の変動を、顔特徴量ベクトルの座標変換という簡単な処理で実現している（つまり、特徴量ベースの変換処理。）。よって、従来のような画像ベースの変換処理に比べて、メモリ容量及び計算コストを大幅に削減することができる。しかも、顔特徴量ベクトルの座標変換という処理は、特徴量の種類や顔登録・顔照合の手法（アルゴリズム）に依存しないので、特徴量を用いる顔照合技術全般に汎用的に適用できるものと考えられる。
【００５７】
＜特徴量変換器＞
特徴量変換器は、元の顔特徴量ベクトルをＶ１、変換後の顔特徴量ベクトルをＶ２、としたとき、下記式で表される。
【数４】
【００５８】
係数行列Ａ，Ｂの設定次第で、様々な種類の座標変換に対応できる。係数行列Ａ，Ｂの算出方法は問わないが、ここでは、条件別に用意したＮ人分の顔画像から統計的手法を用いて係数行列Ａ，Ｂを算出する方法を２つ例示する。以下、元の条件を「第１条件」、変換後の条件を「第２条件」とする。
【００５９】
（方法１）
方法１は、条件変化に起因する顔特徴量ベクトルの移動量の平均を用いて係数行列を求める手法である。
【００６０】
まず、Ｎ人のサンプルそれぞれについて、第１条件下で撮影された顔画像と、第２条件下で撮影された顔画像を用意する。それらの顔画像から顔特徴量ベクトルを求める。顔特徴量ベクトルの算出方法は図２や図３に示したものと同じである。
【００６１】
ｉ番目の人の第１条件下で撮影された顔画像から得られた特徴量ベクトルをＶａｉ、ｉ番目の人の第２条件下で撮影された顔画像から得られた特徴量ベクトルをＶｂｉ、とすると、係数行列Ａ，Ｂは次のように算出される。
【数５】
【００６２】
（方法２）
方法２は、単回帰分析を用いて係数行列を求める手法である。方法１と同じく求めたＮ人分の顔特徴量ベクトルＶａｉ、Ｖｂｉを用いて、次のように係数行列Ａ，Ｂを算出する。
【数６】
【００６３】
なお、統計的解析法としては、単回帰分析に限らず、重回帰分析、正準相関分析等の他の手法を採用してもよい。
【００６４】
特徴量変換器の生成を行う変換器生成機能は、顔照合装置に実装されていてもよいし、顔照合装置とは別の構成でも構わない。顔照合装置に実装する場合、変換器生成機能は、画像入力部１０、画像記憶部１１、顔検出部１２、特徴点検出部１３、顔特徴量ベクトル抽出部１４などの構成要素を利用することができる。
【００６５】
上記実施形態では、元ベクトルから複数の条件に対応する複数の仮想ベクトルを生成するために、変換特性の異なる複数の特徴量変換器を用いている。しかし、特徴量変換器のパラメータを変更することで変換特性を変化させられるようにし、単一の特徴量変換器を用いて複数の仮想ベクトルを生成するようにしてもよい。
【図面の簡単な説明】
【００６６】
【図１】図１は、顔照合装置の機能構成を示すブロック図である。
【図２】図２は、照合機能の処理の流れを示すフローチャートである。
【図３】図３は、登録機能の処理の流れを示すフローチャートである。
【図４】図４（ａ）は、元ベクトルのみから顔定義情報を生成した場合の誤判定を示す図であり、図４（ｂ）は、元ベクトルと仮想ベクトルから顔定義情報を生成した場合の正確な判定を示す図である。
【符号の説明】
【００６７】
１０ 画像入力部
１１ 画像記憶部
１２ 顔検出部
１３ 特徴点検出部
１４ 顔特徴量ベクトル抽出部
１５ 仮想顔特徴量ベクトル生成部
１６ 登録情報生成部
１７ 照合部
１８ 特徴量変換器記憶部
１９ 登録情報記憶部
【技術分野】
【０００１】
本発明は、顔照合装置に関し、特に顔照合装置に顔を登録するための技術に関する。
【背景技術】
【０００２】
顔認識技術を応用した顔照合装置では、顔の登録（教示）及び照合に画像が用いられる。よって、登録や照合に用いる画像の撮影条件（照明、顔の向き、表情、年齢など）の違いが、照合精度に大きく影響を与えうる。このような撮影条件の違いに対するロバスト性を確保するためには、一般に、様々な条件で撮影された多数の画像を用いて画像の登録を行うのが望ましいとされる。
【０００３】
しかしながら、様々な条件での撮影は顔登録を行うユーザに多大な負担を課すため好ましくないし、望ましい撮影条件を作り出すこと自体も困難なことが多い。一方で、少数の画像（例えば、免許証やパスポートなどに貼付された証明写真）を用いて、手軽に顔登録を行いたいというニーズもある。
【０００４】
このような課題に鑑みた従来技術としては、入力顔画像と平均的な顔立体形状モデルとから顔の表面反射率を推定し、その表面反射率を顔照合に利用したり、あるいは、表面反射率から任意の照明条件の画像を生成する手法が提案されている（特許文献１参照）。この手法は、照明条件に左右されないパラメータである表面反射率を用いることによって、照明条件の変動をキャンセルするものである。ただし、この手法は、照明条件の変動にしか対応できない、顔照合で用いる特徴量が表面反射率に限定されるなど、汎用性に欠ける。また、顔立体形状モデルを用いたり、画像ベースでの変換処理を行うため、メモリ容量や計算コストが膨大になるという不利がある。
【０００５】
他の手法としては、部分空間法による顔画像認識において、ある照明条件の下で得られた登録画像の自己相関行列Ｒに対し、照明条件の変動要素モデルである照明基準空間の共分散行列Ｃを付加することにより、他の照明条件で得られる画像の自己相関行列Ｒ´を仮想的に作り出す手法が提案されている（特許文献２、非特許文献１参照）。ただし、この手法も、部分空間法を利用する画像認識技術に特化した手法であり、汎用性に欠ける。また、固有値問題は次元数１（つまり、１枚の登録画像）では解けないために、登録画像は複数枚必要となる（例えば、非特許文献１では５０枚の画像を用いている）。たとえ照明条件が１つで良くても、数十枚の画像を撮影しなければならないのであれば、顔登録の作業負担は依然として解消されないし、メモリ容量や計算コストも増大する。
【特許文献１】特開２００２−２４８３０号公報
【特許文献２】特開２００５−２０２６７３号公報
【非特許文献１】松尾賢治、外２名，「仮想部分空間による照明変動を抑制した顔画像認識」，信学技報，社団法人電子情報通信学会，２００４年６月１８日，ｖｏｌ．１０４，Ｎｏ．１２５，ｐ．２５−３０
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、少ない画像からでも信頼性の高い顔登録を行うことのできる技術を提供することにある。
【０００７】
また、本発明のさらなる目的は、少ないメモリ容量と計算コストで、少ない画像からでも信頼性の高い顔登録を行うことのできる、汎用性に優れた技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明は、以下の構成を採用する。
【０００９】
本発明に係る顔照合装置は、登録者の顔を定義する顔定義情報を記憶可能な記憶手段と、照合対象者の顔画像から抽出された特徴量を前記記憶手段内の顔定義情報と比較することによって前記照合対象者の顔照合を行う照合手段と、新規登録者の顔定義情報を生成して前記記憶手段に登録する登録手段と、を備える。
【００１０】
記憶手段に登録できる登録者（顔定義情報）の数は１つでもよいし、複数でもよい。また、照合手段による顔照合は、照合対象者が本人であるか否か確かめる本人認証（一対一の照合）でもよいし、照合対象者が誰であるか識別する個人識別（一対多の照合）でもよい。
【００１１】
上記顔照合装置において、前記登録手段は、新規登録者の顔画像から特徴量を抽出する特徴量抽出手段と、特徴量空間内での座標変換を行う変換器を用いて、前記抽出された特徴量から構成されるベクトルを変換する特徴量変換手段と、前記抽出された特徴量と変換後のベクトルを構成する特徴量とに基づいて前記新規登録者の顔定義情報を生成する顔定義情報生成手段と、を有する。
【００１２】
この登録手段は、一つの顔画像から直接抽出される特徴量に加え、その抽出された特徴量から変換された変換後の特徴量をも用いて顔定義情報を生成するので、直接抽出される特徴量のみから顔定義情報を生成するのに比べて、顔定義情報の精度を向上することができる。よって、本発明は、（多数の登録画像を用いる場合はもちろんのこと）一枚あるいは数枚といった少ない登録画像からでも信頼性の高い顔登録を行うことができる。
【００１３】
ここで、「特徴量」とは、画像から抽出可能な、顔の特徴を表すパラメータをいう。どのような種類の特徴量を選択するか、また何個の特徴量を用いるかは、任意に設定できる。「特徴量空間」とは、各々の特徴量の各次元を軸にもつ多次元空間のことである。顔画像から抽出された特徴量（の組）は、この特徴量空間上の点（元）となる。本明細書では、この特徴量の組を便宜的に「ベクトル」又は「顔特徴量ベクトル」とよんでいる。「変換器」は、特徴量空間内での座標変換を行うものである。座標変換には、例えば、ベクトルの拡大、縮小、回転、移動があり、これらの座標変換は幾何学的な変換行列として表現できる。
【００１４】
前記変換器は、第１条件下で撮影された顔画像から得られた特徴量のベクトルを、前記第１条件とは異なる第２条件下で撮影された同一人の顔画像から得られる特徴量のベクトルに変換するためのものであるとよい。
【００１５】
ここで「条件」としては、例えば、照明（明るさ）、顔の向き、表情、年齢、化粧方法、装着物（眼鏡、マスクなど）の有無、髪型、画像の解像度など、画像から抽出される特徴量に影響を与えうる様々な条件を選ぶことができる。
【００１６】
この構成によれば、第１条件下で新規登録者を撮影するだけで、その顔画像から第１条件における特徴量だけでなく、第２条件で撮影した場合に得られるであろう特徴量をも得ることができる。つまり、一つの登録画像から、複数の撮影条件における特徴量を得ることができる。これら複数の撮影条件における特徴量から顔定義情報を生成することで、撮影条件の違いに対するロバスト性を向上させることができ、信頼性の高い顔照合を行うことが可能となる。
【００１７】
また、本発明では、撮影条件の変動を、ベクトルの座標変換という簡単な処理で実現し
ている。よって、従来のような画像ベースの変換処理に比べて、メモリ容量及び計算コストを大幅に削減することができる。しかも、ベクトルの座標変換という処理は、特徴量の種類や顔登録・顔照合の手法（アルゴリズム）に依存しないので、特徴量を用いる顔照合技術全般に汎用的に適用できるものと考えられる。
【００１８】
前記変換器は、元のベクトルをＶ１、変換後のベクトルをＶ２、としたとき、例えば、下記式で表される。係数行列Ａ，Ｂの設定次第で、様々な種類の座標変換（撮影条件の変換ともいえる）に対応できる。
【数１】
【００１９】
係数行列Ａ，Ｂの設定方法は問わない。係数行列の各値を人が入力することもできるし、条件変化による特徴量の変化を計算機シミュレーションで算出することもできる。また、複数人について、第１条件、第２条件それぞれの顔画像を実際に準備し、それら複数の顔画像から統計的手法を用いて係数行列を算出することも好ましい。
【００２０】
例えば、前記係数行列Ａ，Ｂは、Ｎ人分の顔画像から統計的手法を用いて算出されるものであって、
ｉ番目の人の第１条件下で撮影された顔画像から得られた特徴量のベクトルをＶａｉ、
ｉ番目の人の第２条件下で撮影された顔画像から得られた特徴量のベクトルをＶｂｉ、としたときに、
【数２】
のように算出されるとよい。
【００２１】
あるいは、
【数３】
のように算出されてもよい。
【００２２】
前記特徴量変換手段は、元のベクトルを複数のベクトルに変換し、前記顔定義情報生成手段は、前記抽出された特徴量と変換後の複数のベクトルを構成する特徴量とに基づいて前記新規登録者の顔定義情報を生成するとよい。これにより、新規登録者の顔をより正確に定義できるようになる。
【００２３】
本発明は、上記手段の少なくとも一部を有する顔照合装置として捉えてもよいし、顔照合装置に顔を登録する顔登録装置として捉えてもよい。また、本発明は、上記処理の少なくとも一部を含む顔登録方法、または、かかる方法を実現するためのプログラムやそのプログラムを記録した記録媒体として捉えることもできる。さらに、本発明は、顔登録装置や顔登録方法で用いられる変換器を生成するための、変換器生成装置や変換器生成方法として捉えてもよい。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
【００２４】
たとえば、本発明の一態様としての顔登録方法は、登録者の顔を定義する顔定義情報を記憶可能な記憶手段を備え、照合対象者の顔画像から抽出された特徴量を前記記憶手段内の顔定義情報と比較することによって前記照合対象者の顔照合を行う顔照合装置に対して新規登録者の顔を登録するための顔登録方法であって、情報処理装置が、新規登録者の顔画像から特徴量を抽出し、特徴量空間内での座標変換を行う変換器を用いて、前記抽出された特徴量から構成されるベクトルを変換し、前記抽出された特徴量と変換後のベクトルを構成する特徴量とに基づいて前記新規登録者の顔定義情報を生成し、前記生成された顔定義情報を前記顔照合装置の記憶手段に登録する顔登録方法である。
【００２５】
また本発明の一態様としてのプログラムは、登録者の顔を定義する顔定義情報を記憶可能な記憶手段を備え、照合対象者の顔画像から抽出された特徴量を前記記憶手段内の顔定義情報と比較することによって前記照合対象者の顔照合を行う顔照合装置に対して新規登録者の顔を登録するためのプログラムであって、情報処理装置に、新規登録者の顔画像から特徴量を抽出する処理と、特徴量空間内での座標変換を行う変換器を用いて、前記抽出された特徴量から構成されるベクトルを変換する処理と、前記抽出された特徴量と変換後のベクトルを構成する特徴量とに基づいて前記新規登録者の顔定義情報を生成する処理と、前記生成された顔定義情報を前記顔照合装置の記憶手段に登録する処理と、を実行させ
るプログラムである。
【発明の効果】
【００２６】
本発明によれば、少ない画像からでも信頼性の高い顔登録を行うことができる。しかも、本発明の手法は、少ないメモリ容量と計算コストでよく、また汎用性に優れるので、種々の顔照合装置に適用することが可能である。
【発明を実施するための最良の形態】
【００２７】
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。
【００２８】
図１は、本発明の実施形態に係る顔照合装置の機能構成を示すブロック図である。この顔照合装置は、顔画像を用いて照合対象者の本人認証又は個人識別を行う装置であり、例えば、カメラ付きのコンピュータや携帯電話におけるセキュリティ装置、侵入者検知を行う監視装置、入退室管理やドアの錠制御を行う装置などの様々な用途に応用可能である。
【００２９】
顔照合装置は、図１に示す複数の機能要素、すなわち画像入力部１０、画像記憶部１１、顔検出部１２、特徴点検出部１３、顔特徴量ベクトル抽出部１４、仮想顔特徴量ベクトル生成部１５、登録情報生成部１６、照合部１７、特徴量変換器記憶部１８、登録情報記憶部１９を備えている。本実施形態では、これらの機能要素は、演算処理装置がソフトウエア（プログラム）を実行し、必要に応じて記憶装置・撮像装置・入力装置などのハードウエア資源を制御することで実現される。ただし、これらの機能要素を専用のチップで構成しても構わない。顔照合装置は、これらの機能要素を適宜組み合わせて、「照合機能」と「登録機能」の２つのメイン機能を実現する。以下、メイン機能のそれぞれについて詳しく説明する。
【００３０】
＜照合機能＞
照合機能は、照合対象者の顔画像から抽出された特徴量を、予め登録されている登録者の顔定義情報と比較することによって、照合対象者の顔照合を行う機能である。本実施形態では、照合機能は、画像入力部１０、画像記憶部１１、顔検出部１２、特徴点検出部１３、顔特徴量ベクトル抽出部１４、照合部１７、登録情報記憶部１９から構成される。
【００３１】
図２のフローチャートに沿って、照合機能の構成と処理の流れを説明する。
【００３２】
照合機能が起動すると、画像入力部１０から照合対象者の顔画像（以下、「照合画像」とよぶ。）が入力される（ステップＳ１０）。入力された照合画像は、画像記憶部１１に格納される。
【００３３】
画像入力部１０は、画像を顔照合装置へ入力するためのインタフェースであり、どのような既存技術を用いて構成されてもよい。例えば、ネットワークを介して画像が入力される場合はネットワークインタフェースが画像入力部に該当し、デジタルカメラ・スキャナ・コンピュータ・記憶装置等の外部機器から画像が入力される場合は外部機器と顔照合装置を有線又は無線で接続する通信インタフェースが画像入力部に該当し、メモリ・ＣＤ・ＤＶＤ等の記録媒体から画像が入力される場合は記録媒体のリーダが画像入力部に該当する。また、顔照合装置がＣＣＤやＣＭＯＳセンサ等からなる撮像装置を具備し、その撮像装置で対象者を撮影するのであれば、撮像装置が画像入力部に該当する。
【００３４】
画像記憶部１１は、処理対象となる画像を一時的に記憶する記憶装置である。この記憶装置としては、揮発性メモリや不揮発性メモリなど、どのような具体的技術が適用されてもよい。
【００３５】
次に、顔検出部１２が、照合画像から人の顔を検出し、顔の位置や大きさ等を特定する（ステップＳ１１）。
【００３６】
顔検出部１２による顔検出処理は、既存のどのような技術が適用されてもよい。一例を挙げると、（１）顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出する手法、（２）顔の器官（目、鼻、耳など）に基づくテンプレートマッチングによって顔を検出する手法、（３）クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出する手法、（４）肌の色に近い領域を検出し、その領域を顔として検出する手法、（５）ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出する手法、などがある。自動で顔を検出するのではなく、人が顔の位置や大きさを指定してもよい。なお、画像から複数の人の顔が検出された場合には、顔の大きさ、向き、位置などの所定の基準に基づいて処理対象とする顔を決定すればよい。
【００３７】
次に、特徴点検出部１３が、顔検出部１２によって検出された顔から複数の特徴点を検出する（ステップＳ１２）。特徴点とは、特徴量の抽出基準となる点のことであり、顔の中のどの点を特徴点として選ぶかは予め決められている。例えば、眼の中心、鼻の頂点、口の端点など、複数箇所が特徴点として選ばれる。
【００３８】
特徴点検出部１３による特徴点検出処理は、既存のどのような技術が適用されてもよい。一例を挙げると、（１）特徴点の位置を示すパターンをあらかじめ学習し、その学習データを使用したマッチングを行うことによって特徴点を検出する手法、（２）検出された顔の内側において、エッジの検出やパターンマッチングを行うことにより、顔の器官の端点を検出し、それを基準として特徴点を検出する手法、などがある。自動で特徴点を検出するのではなく、人が顔器官もしくは特徴点の位置を指定してもよい。
【００３９】
次に、顔特徴量ベクトル抽出部１４が、検出された特徴点をもとに特徴量を抽出する（ステップＳ１３）。特徴量の種類はどのようなものを採用してもよい。例えば、特徴点近傍の濃淡値やその周期性・方向性、特徴点の位置関係などを特徴量として採用できる。特徴量の個数についても、期待する照合精度に応じて任意に設定できる。一般的には、数十〜数百の特徴量が抽出される。このようにして画像から抽出された特徴量の組は、顔特徴量ベクトルとよばれる。顔特徴量ベクトルは顔の特徴を数値化したものといえる。人によって顔の特徴が相違するのと同様、人によって顔特徴量ベクトルの傾向（向き、大きさ）が相違する。
【００４０】
照合部１７は、照合画像から得られた顔特徴量ベクトルを、登録情報記憶部１９に登録されている登録者の顔定義情報と比較することによって、顔照合を行い、その判定結果を出力する（ステップＳ１４）。なお、登録情報記憶部１９には、予め、一人又は複数の登録者の顔定義情報が登録されている。顔定義情報は、登録者の顔（つまり、登録者の顔から抽出される顔特徴量ベクトルの傾向）を定義するものといえる。
【００４１】
照合部１７による顔照合処理についても、既存のどのような技術が適用されてもよい。例えば、本人認証の場合は、照合画像の顔特徴量ベクトルと登録者（本人）の顔定義情報との類似度を算出し、その類似度が所定のしきい値より大きいときに本人と判定すればよい。個人識別の場合は、複数の登録者のそれぞれについて類似度を算出し、類似度の大きさに基づいて照合対象者がどの登録者に該当するかを判定すればよい。
【００４２】
この照合部１７における顔照合の精度は、顔定義情報の精度（信頼性）に大きく左右される。では次に、顔定義情報の生成及び登録を担う登録機能について説明する。
【００４３】
＜登録機能＞
登録機能は、新規登録者の顔定義情報を生成して装置に登録する機能である。本実施形態では、登録機能は、画像入力部１０、画像記憶部１１、顔検出部１２、特徴点検出部１３、顔特徴量ベクトル抽出部１４、仮想顔特徴量ベクトル生成部１５、登録情報生成部１６、特徴量変換器記憶部１８から構成される。
【００４４】
図３のフローチャートに沿って、登録機能の構成と処理の流れを説明する。
【００４５】
登録機能が起動すると、画像入力部１０から新規登録者の顔画像（以下、「登録画像」とよぶ。）が入力される（ステップＳ２０）。入力された登録画像は、画像記憶部１１に格納される。
【００４６】
そして、顔検出部１２が登録画像から人の顔を検出し、特徴点検出部１３が特徴点を検出し、顔特徴量ベクトル抽出部１４が新規登録者の顔特徴量ベクトルを算出する（ステップＳ２１〜Ｓ２３）。顔画像から特徴量を抽出する一連の処理については、顔照合時のものと同じである。
【００４７】
次に、仮想顔特徴量ベクトル生成部１５が、特徴量変換器記憶部１８から該当する特徴量変換器を読み出し（ステップＳ２４）、その特徴量変換器を用いて、ステップＳ２３で得られた顔特徴量ベクトルを変換する（ステップＳ２５）。
【００４８】
特徴量変換器は、特徴量空間内での座標変換を行うものである。同一人を撮影した２枚の顔画像からそれぞれ顔特徴量ベクトルを算出したとき、両画像の撮影条件が同じなら、顔特徴量ベクトルの傾向（向き、大きさ）もほぼ同じになる。しかし、撮影条件（例えば、照明、顔の向き、表情、年齢、化粧方法、装着物の有無、髪型、画像の解像度など）が異なれば、その条件の相違に応じた傾向の違いが顔特徴量ベクトルにも現れる。特徴量変換器による座標変換は、このような撮影条件の相違による顔特徴量ベクトルの変化を仮想的に求めるものである。換言すれば、特徴量変換器は、ある条件下で撮影された顔画像から得られた顔特徴量ベクトルを、他の条件下で撮影された同一人の顔画像から得られる顔特徴量ベクトルに変換するもの、といえる。以下、変換前の条件を「元条件」、変換後の条件を「仮想条件」、変換前の顔特徴量ベクトルを「元ベクトル」、変換後の顔特徴量ベクトルを「仮想ベクトル」とよぶ。
【００４９】
特徴量変換器の変換特性は、元条件と仮想条件の組み合わせによって決まる。しかし撮影条件は無数に想定されるため、元条件と仮想条件の組み合わせを全て網羅するのは現実的でない。そこで本実施形態では、元条件と仮想条件の代表的な組み合わせを複数選定し、そのそれぞれについて特徴量変換器を予め作成し（具体的な作成方法は後述する）、特徴量変換器記憶部１８に格納しておく。ステップＳ２４では、仮想顔特徴量ベクトル生成部１５が、特徴量変換器記憶部１８内の複数の特徴量変換器の中から、登録画像の撮影条件と同じ元条件をもつ変換器を選び出し、仮想ベクトルを生成する。
【００５０】
なお、登録画像の撮影条件を特定する手法は種々考えられる。例えば、照明条件については「室内／屋外」「明るい／暗い」、顔の向きについては「正面／斜め向き／横向き」のように、複数の条件候補を提示して、ユーザに条件を入力させるようにしてもよい。あるいは、登録画像から得られる特徴量に基づいて撮影条件を自動的に判断するようにしてもよい。
【００５１】
上記処理によって元ベクトルから一つ又は複数の仮想ベクトルが生成されたら、登録情報生成部１６が、元ベクトルと仮想ベクトルに基づいて（つまり、登録画像から直接抽出された特徴量と変換後の特徴量とに基づいて）新規登録者の顔定義情報を生成し、登録情
報記憶部１９に登録する（ステップＳ２６）。
【００５２】
このようにして生成された顔定義情報は、登録画像の撮影条件（元条件）だけでなく、他の撮影条件（仮想条件）をも考慮したものとなる。よって、元ベクトルのみから顔定義情報を生成するのに比べて、顔定義情報の精度を向上することができ、ひいては顔照合の判定精度の向上を図ることができる。
【００５３】
図４は、（ａ）元ベクトルのみから顔定義情報を生成した場合と、（ｂ）元ベクトルと仮想ベクトルから顔定義情報を生成した場合との精度の比較を表している。図４は、条件１で撮影された登録画像を用いてＡ氏とＢ氏の顔登録を行った後に、別の条件下でＡ氏の顔照合を行うケースを例示したものである。図中、ＰＡはＡ氏の登録画像から得られた元ベクトルを示し、ＰＡｘは元ベクトルＰＡから生成された仮想ベクトルを示し、ＦＡはＡ氏の顔定義情報を示す。また、ＰＢはＢ氏の登録画像から得られた元ベクトルを示し、ＰＢｘは元ベクトルＰＢから生成された仮想ベクトルを示し、ＦＢはＢ氏の顔定義情報を示す。また、Ｓは、Ａ氏の照合画像から得られた顔特徴量ベクトルを示す。なおここでは、説明をわかりやすくするため、Ｘ、Ｙの２つの特徴量からなる２次元特徴量空間を示しているが、実際の装置では数十〜数百次元の特徴量空間が用いられる。
【００５４】
登録画像から得られる元ベクトルＰＡ、ＰＢは特徴量空間上の一点にすぎないため、元ベクトルＰＡ、ＰＢのみから顔定義情報ＦＡ、ＦＢの外延を正確に決定することは難しい。よって、登録画像と異なる条件下で撮影された照合画像を用いて顔照合を行おうとすると、図４（ａ）に示すように、Ａ氏の照合画像であるにもかかわらず、Ｂ氏の顔であると誤判定される可能性もある。
【００５５】
これに対して、図４（ｂ）に示すように、条件１の元ベクトルＰＡ、ＰＢから他の条件２、３、４の仮想ベクトルＰＡ２〜ＰＡ４、ＰＢ２〜ＰＢ４を生成し、それら複数の条件の顔特徴量ベクトルから顔定義情報ＦＡ、ＦＢを生成すると、より正確な外延を決定することができる。これにより撮影条件の違いに対するロバスト性を向上させることができ、登録画像とは異なる条件の照合画像を用いても、正確に判定できるようになる。
【００５６】
本実施形態の手法では、撮影条件の変動を、顔特徴量ベクトルの座標変換という簡単な処理で実現している（つまり、特徴量ベースの変換処理。）。よって、従来のような画像ベースの変換処理に比べて、メモリ容量及び計算コストを大幅に削減することができる。しかも、顔特徴量ベクトルの座標変換という処理は、特徴量の種類や顔登録・顔照合の手法（アルゴリズム）に依存しないので、特徴量を用いる顔照合技術全般に汎用的に適用できるものと考えられる。
【００５７】
＜特徴量変換器＞
特徴量変換器は、元の顔特徴量ベクトルをＶ１、変換後の顔特徴量ベクトルをＶ２、としたとき、下記式で表される。
【数４】
【００５８】
係数行列Ａ，Ｂの設定次第で、様々な種類の座標変換に対応できる。係数行列Ａ，Ｂの算出方法は問わないが、ここでは、条件別に用意したＮ人分の顔画像から統計的手法を用いて係数行列Ａ，Ｂを算出する方法を２つ例示する。以下、元の条件を「第１条件」、変換後の条件を「第２条件」とする。
【００５９】
（方法１）
方法１は、条件変化に起因する顔特徴量ベクトルの移動量の平均を用いて係数行列を求める手法である。
【００６０】
まず、Ｎ人のサンプルそれぞれについて、第１条件下で撮影された顔画像と、第２条件下で撮影された顔画像を用意する。それらの顔画像から顔特徴量ベクトルを求める。顔特徴量ベクトルの算出方法は図２や図３に示したものと同じである。
【００６１】
ｉ番目の人の第１条件下で撮影された顔画像から得られた特徴量ベクトルをＶａｉ、ｉ番目の人の第２条件下で撮影された顔画像から得られた特徴量ベクトルをＶｂｉ、とすると、係数行列Ａ，Ｂは次のように算出される。
【数５】
【００６２】
（方法２）
方法２は、単回帰分析を用いて係数行列を求める手法である。方法１と同じく求めたＮ人分の顔特徴量ベクトルＶａｉ、Ｖｂｉを用いて、次のように係数行列Ａ，Ｂを算出する。
【数６】
【００６３】
なお、統計的解析法としては、単回帰分析に限らず、重回帰分析、正準相関分析等の他の手法を採用してもよい。
【００６４】
特徴量変換器の生成を行う変換器生成機能は、顔照合装置に実装されていてもよいし、顔照合装置とは別の構成でも構わない。顔照合装置に実装する場合、変換器生成機能は、画像入力部１０、画像記憶部１１、顔検出部１２、特徴点検出部１３、顔特徴量ベクトル抽出部１４などの構成要素を利用することができる。
【００６５】
上記実施形態では、元ベクトルから複数の条件に対応する複数の仮想ベクトルを生成するために、変換特性の異なる複数の特徴量変換器を用いている。しかし、特徴量変換器のパラメータを変更することで変換特性を変化させられるようにし、単一の特徴量変換器を用いて複数の仮想ベクトルを生成するようにしてもよい。
【図面の簡単な説明】
【００６６】
【図１】図１は、顔照合装置の機能構成を示すブロック図である。
【図２】図２は、照合機能の処理の流れを示すフローチャートである。
【図３】図３は、登録機能の処理の流れを示すフローチャートである。
【図４】図４（ａ）は、元ベクトルのみから顔定義情報を生成した場合の誤判定を示す図であり、図４（ｂ）は、元ベクトルと仮想ベクトルから顔定義情報を生成した場合の正確な判定を示す図である。
【符号の説明】
【００６７】
１０ 画像入力部
１１ 画像記憶部
１２ 顔検出部
１３ 特徴点検出部
１４ 顔特徴量ベクトル抽出部
１５ 仮想顔特徴量ベクトル生成部
１６ 登録情報生成部
１７ 照合部
１８ 特徴量変換器記憶部
１９ 登録情報記憶部
【特許請求の範囲】
【請求項１】
登録者の顔を定義する顔定義情報を記憶可能な記憶手段と、
照合対象者の顔画像から抽出された特徴量を前記記憶手段内の顔定義情報と比較することによって前記照合対象者の顔照合を行う照合手段と、
新規登録者の顔定義情報を生成して前記記憶手段に登録する登録手段と、を備え、
前記登録手段は、
新規登録者の顔画像から特徴量を抽出する特徴量抽出手段と、
特徴量空間内での座標変換を行う変換器を用いて、前記抽出された特徴量から構成されるベクトルを変換する特徴量変換手段と、
前記抽出された特徴量と変換後のベクトルを構成する特徴量とに基づいて前記新規登録者の顔定義情報を生成する顔定義情報生成手段と、を有する
顔照合装置。
【請求項２】
前記変換器は、第１条件下で撮影された顔画像から得られた特徴量のベクトルを、前記第１条件とは異なる第２条件下で撮影された同一人の顔画像から得られる特徴量のベクトルに変換するためのものである
請求項１に記載の顔照合装置。
【請求項３】
元のベクトルをＶ１、変換後のベクトルをＶ２、としたとき、
前記変換器は、
【数１】
である
請求項２に記載の顔照合装置。
【請求項４】
前記係数行列は複数人の顔画像から統計的手法を用いて算出される請求項３に記載の顔照合装置。
【請求項５】
前記係数行列Ａ，Ｂは、Ｎ人分の顔画像から統計的手法を用いて算出されるものであって、
ｉ番目の人の第１条件下で撮影された顔画像から得られた特徴量のベクトルをＶａｉ、
ｉ番目の人の第２条件下で撮影された顔画像から得られた特徴量のベクトルをＶｂｉ、としたときに、
【数２】
のように算出される
請求項３に記載の顔照合装置。
【請求項６】
前記係数行列Ａ，Ｂは、Ｎ人分の顔画像から統計的手法を用いて算出されるものであっ
て、
ｉ番目の人の第１条件下で撮影された顔画像から得られた特徴量のベクトルをＶａｉ、
ｉ番目の人の第２条件下で撮影された顔画像から得られた特徴量のベクトルをＶｂｉ、としたときに、
【数３】
のように算出される
請求項３に記載の顔照合装置。
【請求項７】
前記特徴量変換手段は、元のベクトルを複数のベクトルに変換し、
前記顔定義情報生成手段は、前記抽出された特徴量と変換後の複数のベクトルを構成する特徴量とに基づいて前記新規登録者の顔定義情報を生成する
請求項１〜６のいずれかに記載の顔照合装置。
【請求項８】
登録者の顔を定義する顔定義情報を記憶可能な記憶手段を備え、照合対象者の顔画像から抽出された特徴量を前記記憶手段内の顔定義情報と比較することによって前記照合対象者の顔照合を行う顔照合装置
に対して新規登録者の顔を登録するための顔登録方法であって、
情報処理装置が、
新規登録者の顔画像から特徴量を抽出し、
特徴量空間内での座標変換を行う変換器を用いて、前記抽出された特徴量から構成されるベクトルを変換し、
前記抽出された特徴量と変換後のベクトルを構成する特徴量とに基づいて前記新規登録者の顔定義情報を生成し、
前記生成された顔定義情報を前記顔照合装置の記憶手段に登録する
顔登録方法。
【請求項９】
前記変換器は、第１条件下で撮影された顔画像から得られた特徴量のベクトルを、前記第１条件とは異なる第２条件下で撮影された同一人の顔画像から得られる特徴量のベクトルに変換するためのものである
請求項８に記載の顔登録方法。
【請求項１０】
登録者の顔を定義する顔定義情報を記憶可能な記憶手段を備え、照合対象者の顔画像から抽出された特徴量を前記記憶手段内の顔定義情報と比較することによって前記照合対象
者の顔照合を行う顔照合装置
に対して新規登録者の顔を登録するためのプログラムであって、
情報処理装置に、
新規登録者の顔画像から特徴量を抽出する処理と、
特徴量空間内での座標変換を行う変換器を用いて、前記抽出された特徴量から構成されるベクトルを変換する処理と、
前記抽出された特徴量と変換後のベクトルを構成する特徴量とに基づいて前記新規登録者の顔定義情報を生成する処理と、
前記生成された顔定義情報を前記顔照合装置の記憶手段に登録する処理と、を実行させる
プログラム。
【請求項１１】
前記変換器は、第１条件下で撮影された顔画像から得られた特徴量のベクトルを、前記第１条件とは異なる第２条件下で撮影された同一人の顔画像から得られる特徴量のベクトルに変換するためのものである
請求項１０に記載のプログラム。
【請求項１】
登録者の顔を定義する顔定義情報を記憶可能な記憶手段と、
照合対象者の顔画像から抽出された特徴量を前記記憶手段内の顔定義情報と比較することによって前記照合対象者の顔照合を行う照合手段と、
新規登録者の顔定義情報を生成して前記記憶手段に登録する登録手段と、を備え、
前記登録手段は、
新規登録者の顔画像から特徴量を抽出する特徴量抽出手段と、
特徴量空間内での座標変換を行う変換器を用いて、前記抽出された特徴量から構成されるベクトルを変換する特徴量変換手段と、
前記抽出された特徴量と変換後のベクトルを構成する特徴量とに基づいて前記新規登録者の顔定義情報を生成する顔定義情報生成手段と、を有する
顔照合装置。
【請求項２】
前記変換器は、第１条件下で撮影された顔画像から得られた特徴量のベクトルを、前記第１条件とは異なる第２条件下で撮影された同一人の顔画像から得られる特徴量のベクトルに変換するためのものである
請求項１に記載の顔照合装置。
【請求項３】
元のベクトルをＶ１、変換後のベクトルをＶ２、としたとき、
前記変換器は、
【数１】
である
請求項２に記載の顔照合装置。
【請求項４】
前記係数行列は複数人の顔画像から統計的手法を用いて算出される請求項３に記載の顔照合装置。
【請求項５】
前記係数行列Ａ，Ｂは、Ｎ人分の顔画像から統計的手法を用いて算出されるものであって、
ｉ番目の人の第１条件下で撮影された顔画像から得られた特徴量のベクトルをＶａｉ、
ｉ番目の人の第２条件下で撮影された顔画像から得られた特徴量のベクトルをＶｂｉ、としたときに、
【数２】
のように算出される
請求項３に記載の顔照合装置。
【請求項６】
前記係数行列Ａ，Ｂは、Ｎ人分の顔画像から統計的手法を用いて算出されるものであっ
て、
ｉ番目の人の第１条件下で撮影された顔画像から得られた特徴量のベクトルをＶａｉ、
ｉ番目の人の第２条件下で撮影された顔画像から得られた特徴量のベクトルをＶｂｉ、としたときに、
【数３】
のように算出される
請求項３に記載の顔照合装置。
【請求項７】
前記特徴量変換手段は、元のベクトルを複数のベクトルに変換し、
前記顔定義情報生成手段は、前記抽出された特徴量と変換後の複数のベクトルを構成する特徴量とに基づいて前記新規登録者の顔定義情報を生成する
請求項１〜６のいずれかに記載の顔照合装置。
【請求項８】
登録者の顔を定義する顔定義情報を記憶可能な記憶手段を備え、照合対象者の顔画像から抽出された特徴量を前記記憶手段内の顔定義情報と比較することによって前記照合対象者の顔照合を行う顔照合装置
に対して新規登録者の顔を登録するための顔登録方法であって、
情報処理装置が、
新規登録者の顔画像から特徴量を抽出し、
特徴量空間内での座標変換を行う変換器を用いて、前記抽出された特徴量から構成されるベクトルを変換し、
前記抽出された特徴量と変換後のベクトルを構成する特徴量とに基づいて前記新規登録者の顔定義情報を生成し、
前記生成された顔定義情報を前記顔照合装置の記憶手段に登録する
顔登録方法。
【請求項９】
前記変換器は、第１条件下で撮影された顔画像から得られた特徴量のベクトルを、前記第１条件とは異なる第２条件下で撮影された同一人の顔画像から得られる特徴量のベクトルに変換するためのものである
請求項８に記載の顔登録方法。
【請求項１０】
登録者の顔を定義する顔定義情報を記憶可能な記憶手段を備え、照合対象者の顔画像から抽出された特徴量を前記記憶手段内の顔定義情報と比較することによって前記照合対象
者の顔照合を行う顔照合装置
に対して新規登録者の顔を登録するためのプログラムであって、
情報処理装置に、
新規登録者の顔画像から特徴量を抽出する処理と、
特徴量空間内での座標変換を行う変換器を用いて、前記抽出された特徴量から構成されるベクトルを変換する処理と、
前記抽出された特徴量と変換後のベクトルを構成する特徴量とに基づいて前記新規登録者の顔定義情報を生成する処理と、
前記生成された顔定義情報を前記顔照合装置の記憶手段に登録する処理と、を実行させる
プログラム。
【請求項１１】
前記変換器は、第１条件下で撮影された顔画像から得られた特徴量のベクトルを、前記第１条件とは異なる第２条件下で撮影された同一人の顔画像から得られる特徴量のベクトルに変換するためのものである
請求項１０に記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００７−２２６４４１（Ｐ２００７−２２６４４１Ａ）
【公開日】平成１９年９月６日（２００７．９．６）
【国際特許分類】
【出願番号】特願２００６−４５７２３（Ｐ２００６−４５７２３）
【出願日】平成１８年２月２２日（２００６．２．２２）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成１９年９月６日（２００７．９．６）
【国際特許分類】
【出願日】平成１８年２月２２日（２００６．２．２２）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]