顔照合装置
【課題】少ない画像からでも信頼性の高い顔登録を行うことのできる技術を提供する。
【解決手段】特徴量ベクトル抽出部１４が、新規登録者の登録画像から特徴量を抽出し、特徴量ベクトルを生成する。仮想特徴量ベクトル生成部１５が、特徴量空間内での座標変換を行う特徴量変換器を用いて、特徴量ベクトルを変換する。そして、登録情報生成部１６が、元の特徴量ベクトルと変換後の仮想特徴量ベクトルに基づいて、新規登録者の顔定義情報を生成し、登録情報記憶部１９に登録する。当該特徴量変換器は、登録画像の撮影条件が未知であっても変換可能な変換器である。
【解決手段】特徴量ベクトル抽出部１４が、新規登録者の登録画像から特徴量を抽出し、特徴量ベクトルを生成する。仮想特徴量ベクトル生成部１５が、特徴量空間内での座標変換を行う特徴量変換器を用いて、特徴量ベクトルを変換する。そして、登録情報生成部１６が、元の特徴量ベクトルと変換後の仮想特徴量ベクトルに基づいて、新規登録者の顔定義情報を生成し、登録情報記憶部１９に登録する。当該特徴量変換器は、登録画像の撮影条件が未知であっても変換可能な変換器である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔照合装置に関し、特に顔照合装置に顔を登録するための技術に関する。
【背景技術】
【０００２】
顔認識技術を応用した顔照合装置では、顔の登録及び照合に画像が用いられる。よって、登録や照合に用いる画像の撮影条件（照明、顔の向き、表情、年齢など）の違いが、照合精度に大きく影響を与えうる。
【０００３】
登録及び照合するときの撮影条件が同じであれば精度の高い顔照合が行えるが、互いの撮影条件が異なる場合、顔照合の精度は低くなる。
【０００４】
一般に、顔照合の精度を上げる方法として、登録時に、様々な条件で撮影された多数の顔画像を登録するという方法がある。
【０００５】
しかし、様々な条件での撮影は登録を行うユーザに多大な負担を課すため好ましくないし、照合時に登録時と同じ条件で撮影すること自体も困難なことが多い。一方、免許証やパスポートなどの以前に撮影された（少数の）顔画像を登録して顔照合処理に用いたいというニーズもある。
【０００６】
特許文献１には、異なる条件下で撮影された複数の画像から外的な変動要素を抽出し、当該抽出された外的な変動要素を、登録の際に撮影された画像に付加することによって、当該画像とは別の撮影条件下の画像を仮想的に生成し、当該生成された画像から特徴量を抽出・登録する画像認識装置が開示されている。
【０００７】
しかし、この画像認識装置では、外的な変動要素を抽出するために用いられた画像とは異なる撮影条件下の画像を生成することができない。そのため、高精度な画像認識を行うには、様々な条件で撮影された膨大な数の画像を用いなければならず、撮影者などにとって大きな負担となる（被写体が人物などである場合は、被写体にとっても大きな負担となる）。更に、この画像認識装置では、顔画像を生成してから特徴量を抽出するため、生成される顔画像の数が多い場合（高精度な画像認識を行うには様々な撮影条件下の画像を生成する必要がある）、処理負荷が膨大になってしまう。
【特許文献１】特開２００６−５３７７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、少ない顔画像からでも信頼性の高い顔登録を効率的に行うことのできる技術を提供することにある。
【０００９】
また、本発明の更なる目的は、当該顔登録に用いる顔画像の撮影条件が未知であっても信頼性の高い顔登録を効率的に行うことのできる、汎用性に優れた技術を提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するために本発明では、以下の構成を採用する。
【００１１】
本発明に係る顔照合装置は、登録者の顔を定義する顔定義情報を記憶可能な記憶手段と
、照合対象者の顔画像から抽出された特徴量を前記記憶手段内の顔定義情報と比較することによって前記照合対象者の顔照合を行う照合手段と、新規登録者の顔定義情報を生成して前記記憶手段に登録する登録手段と、を備える。
【００１２】
記憶手段に登録できる登録者（顔定義情報）の数は１つでもよいし、複数でもよい。また、照合手段による顔照合は、照合対象者が本人であるか否かを確かめる本人認証（一対一の照合）でもよいし、照合対象者が誰であるか識別する個人識別（一対多の照合）でもよい。
【００１３】
上記顔照合装置において、前記登録手段は、前記新規登録者の顔画像から特徴量を抽出する特徴量抽出手段と、変換器を用いて、前記抽出された特徴量から前記新規登録者の顔定義情報を生成する顔定義情報生成手段と、を有する。
【００１４】
そして、前記変換器は、顔画像から抽出された特徴量空間内の特徴量のベクトルを、当該ベクトルから個人差を表す情報成分を除去するために、前記特徴量空間とは異なる空間である条件変動空間に写像する写像手段と、前記条件変動空間内において、予め設定された基準変動ベクトルと前記写像されたベクトルとの差分ベクトルを、撮影条件の差を表すベクトルとして求める差分ベクトル算出手段と、前記差分ベクトルを前記条件変動空間から前記特徴量空間へ逆写像する逆写像手段と、前記特徴量空間内において、前記逆写像されたベクトルを前記抽出された特徴量のベクトルに加算することにより前記顔定義情報を構成する特徴量のベクトルを生成する特徴量ベクトル生成手段と、を有する。
【００１５】
この登録手段（変換器を含む）では、特徴量のベクトルから個人差を表す情報成分を除去するために、特徴量空間とは異なる空間である条件変動空間を考える。特徴量空間内のベクトルを条件変動空間に写像することによって、当該ベクトルから個人差を表す情報成分を除去することができる。顔画像から算出された特徴量のベクトルは撮影条件の影響を含んでいるため、当該ベクトルから個人差を表す情報成分を除去したベクトルは、撮影条件を表す情報成分が強調されたベクトルとみなすことができる。
【００１６】
ここで、特徴量は、画像から抽出可能な、顔の特徴を表すパラメータである。どのような種類の特徴量を選択するか、また何個の特徴量を用いるかは任意に設定できる。本明細書では、特徴量の組を「（特徴量空間内の）ベクトル」と呼ぶ。
【００１７】
特徴量空間は、各々の特徴量の各次元を軸にもつ多次元空間である。顔画像から抽出された特徴量（の組）は、この特徴量空間上の点（元）となる。
【００１８】
また、この登録手段では、条件変動空間内に基準変動ベクトルが予め設定されている。条件変動空間内のベクトルは、撮影条件を表す情報成分が強調されたベクトルとみなせるため、条件変動空間内のベクトルの差は、撮影条件の差に対応するとみなすことができる。そのため、基準変動ベクトルと条件変動空間に写像された新規登録者のベクトルとの差分ベクトルも撮影条件の差を表すベクトルとみなせる。
【００１９】
そして、その差分ベクトルを特徴量空間に逆写像することにより、当該撮影条件の差を特徴量空間内のベクトルとして表すことができる。上記差分ベクトルは撮影条件の差を表すベクトルとみなせるため、新規登録者の顔画像から抽出された特徴量のベクトルに上記逆写像されたベクトルを加算することによって得られるベクトルは、当該新規登録者の顔画像とは異なる条件で撮影された同一人の顔画像の特徴量のベクトルとみなすことができる。
【００２０】
また、条件変動空間内に、互いに異なる基準変動ベクトルが複数設定されているとよい
。これらの基準変動ベクトルは、互いに異なる撮影条件を表すベクトルに相当する。それぞれの基準変動ベクトルを用いて新規登録者の顔画像から算出されたベクトルを変換することで、新規登録者の１枚の顔画像から、異なる条件で撮影された複数の顔画像の特徴量を生成することができる。一人の新規登録者に対して複数の条件で撮影を行う必要が無いので、効率的である。このようにして生成された特徴量と顔画像から抽出された特徴量とから顔定義情報（登録者の顔の定義）を生成することにより、正確且つ信頼性の高い顔登録を行うことができる。
【００２１】
更に、新規登録者の撮影条件が未知であっても上記変換を行うことができるため、汎用性に優れている。なお、条件変動空間の次元は特徴量空間の次元よりも低次元であるとよい。特徴量空間よりも低次元にすることにより、特徴量空間内で変換処理を行うよりも少ない処理で変換を行うことができる。
【００２２】
ここで、「（撮影）条件」としては、例えば、照明（明るさ）、顔の向き、表情、年齢、化粧方法、装着物（眼鏡、マスクなど）の有無、髪型、画像の解像度など、画像から抽出される特徴量に影響を与えうる様々な条件を選ぶことができる。
【００２３】
前記条件変動空間は、撮影条件とベクトルとが一対一に対応するように定義された空間（人の違いによるベクトルの違いが生じない空間）であることが好ましい。撮影条件とベクトルとが一対一に対応していれば、上記変換の精度が向上し、ひいては、より正確な顔定義情報を生成することができる。
【００２４】
前記条件変動空間は、条件特徴量の主成分分析の結果に基づいて決定された成分で構成される空間であり、前記条件特徴量は、様々な条件で撮影された複数の顔画像から抽出された特徴量のそれぞれから、その人物の特徴量の平均を減算することによって得られる特徴量であることが好ましい。
【００２５】
顔画像から抽出された特徴量は、個人差を表す情報成分に、変動成分である撮影条件の影響が付加されたものと考えられる。或る人物の特徴量の平均をとると、変動成分が減少し、その人の個人差を表す情報成分が強調される。
【００２６】
よって、当該抽出された特徴量から、その人物の特徴量の平均を減算することによって得られる条件特徴量は、当該抽出された特徴量から個人差を表す情報成分が除去された特徴量とみなすことができる。すなわち、条件特徴量は、撮影条件を表す情報成分が強調された特徴量とみなせる。
【００２７】
このような条件特徴量を主成分分析することによって、撮影条件の変動に非常に敏感な成分を得ることができる。当該成分を軸とする空間を条件変動空間と定義すれば、特徴量空間よりも少ない次元の空間として条件変動空間を定義することができる。このようにして定義された条件変動空間では、特徴量の個人差がベクトルの違いとして表されず、撮影条件の違いがベクトルの違いとして明確に表される。なお、条件変動空間を構成する成分の数はいくつであってもよい（例えば、第１主成分と第２主成分を軸とする２次元空間を条件変動空間としてもよい）。
【００２８】
条件変動空間を得るために用いる顔画像は、様々な条件で撮影された複数の顔画像であることが好ましいが、ユーザ（変換器の作成者など）は、条件特徴量を求めるために「どの人物の顔画像か」ということさえ把握していればよく、それぞれの顔画像の撮影条件を把握する必要は無い。これにより、ユーザの負担を減らすことができる。
【００２９】
なお、条件特徴量を求めるための顔画像は１人の顔画像であってもよいし、複数人の顔
画像であってもよい。当該顔画像は登録者の顔画像でなくてもよい。例えば、雑誌などに載っている顔画像であってもよいし、不特定多数の人物を集め、夫々の人物を撮影することによって得られた顔画像であってもよい。当該顔画像として複数人の顔画像を用いる場合、それぞれの人物について同じ数、同じ条件の顔画像を用いる必要は無い。
【００３０】
前記条件変動空間内の基準変動ベクトルは、様々な条件で撮影された複数の顔画像から抽出された特徴量を前記条件変動空間に写像することによって得られるベクトルの分布に基づいて決定されるベクトルであることが好ましい。
【００３１】
複数の顔画像から抽出された特徴量を前記条件変動空間に写像することにより、各顔画像の撮影条件のばらつきを条件変動空間内のベクトルの分布として表すことができる。当該分布を得ることにより、ユーザは、撮影条件を網羅するように基準変動ベクトルを設定することができる。
【００３２】
当該分布を得るために用いる顔画像は、様々な条件で撮影された複数の顔画像であることが好ましいが、ユーザ（変換器の作成者など）は、それぞれの顔画像の撮影条件を把握する必要は無い。当該顔画像は条件変動空間を得るために用いた顔画像であってもよい。
【００３３】
前記変換器は、元のベクトルをＶ１、変換後のベクトルをＶ２、としたとき、例えば、下記式で表される。
Ｖ２＝Ｖ１＋ＡＴ（Ｂ−ＡＶ１）
但し、Ａ：特徴量空間から条件変動空間への写像行列
Ｂ：基準変動ベクトル
【００３４】
また、本発明は、上記手段の少なくとも一部を有する顔照合装置として捉えてもよいし、上記処理の少なくとも一部を含む顔登録方法、または、かかる方法を実現するための顔登録プログラムやそのプログラムを記憶した記憶媒体として捉えることもできる。なお、上記手段及び処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
【発明の効果】
【００３５】
本発明に係る顔照合装置では、少ない顔画像からでも信頼性の高い顔登録を効率的に行うことができる。また、本発明に係る顔照合装置では、当該顔登録に用いる顔画像の撮影条件が未知でもよく、汎用性に優れている。
【発明を実施するための最良の形態】
【００３６】
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。
【００３７】
図１は、本発明の実施形態に係る顔照合装置の機能構成を示すブロック図である。この顔照合装置は、顔画像を用いて照合対象者の本人認証又は個人識別を行う装置であり、例えば、カメラ付きのコンピュータや携帯電話におけるセキュリティ装置、侵入者検知を行う監視装置、入退室管理やドアの錠制御を行う装置などの様々な用途に応用可能である。
【００３８】
顔照合装置は、図１に示す複数の機能要素、すなわち画像入力部１０、画像記憶部１１、顔検出部１２、特徴点検出部１３、特徴量ベクトル抽出部１４、仮想特徴量ベクトル生成部１５、登録情報生成部１６、照合部１７、特徴量変換器記憶部１８、登録情報記憶部１９を備えている。本実施形態では、これらの機能要素は、演算処理装置がソフトウエア（プログラム）を実行し、必要に応じて記憶装置・撮像装置・入力装置などのハードウエア資源を制御することで実現される。ただし、これらの機能要素を専用のチップで構成しても構わない。顔照合装置は、これらの機能要素を適宜組み合わせて、「照合機能」と「
登録機能」の２つのメイン機能を実現する。以下、メイン機能のそれぞれについて詳しく説明する。
【００３９】
＜照合機能＞
照合機能は、照合対象者の顔画像から抽出された特徴量を、予め登録されている登録者の顔定義情報と比較することによって、照合対象者の顔照合を行う機能である。本実施形態では、照合機能は、画像入力部１０、画像記憶部１１、顔検出部１２、特徴点検出部１３、特徴量ベクトル抽出部１４、照合部１７、登録情報記憶部１９から構成される。
【００４０】
図２のフローチャートに沿って照合機能の構成と処理の流れを説明する。
【００４１】
照合機能が起動すると、画像入力部１０から照合対象者の顔画像（以下、「照合画像」と呼ぶ。）が入力される（ステップＳ１０）。入力された照合画像は、画像記憶部１１に格納される。
【００４２】
画像入力部１０は、照合画像を顔照合装置へ入力するためのインタフェースであり、どのような既存技術を用いて構成されてもよい。例えば、ネットワークを介して照合画像が入力される場合はネットワークインタフェースが画像入力部に該当し、デジタルカメラ・スキャナ・コンピュータ・記憶装置等の外部機器から照合画像が入力される場合は外部機器と顔照合装置を有線又は無線で接続する通信インタフェースが画像入力部に該当し、メモリ・ＣＤ・ＤＶＤ等の記録媒体から照合画像が入力される場合は記録媒体のリーダが画像入力部に該当する。また、顔照合装置がＣＣＤやＣＭＯＳセンサ等からなる撮像装置を具備し、その撮像装置で照合対象者を撮影するのであれば、撮像装置が画像入力部に該当する。
【００４３】
画像記憶部１１は、処理対象となる画像を一時的に記憶する記憶装置である。この記憶装置としては、揮発性メモリや不揮発性メモリなど、どのような具体的技術が適用されてもよい。
【００４４】
次に、顔検出部１２が、照合画像から人の顔を検出し、顔の位置や大きさ等を特定する（ステップＳ１１）。
【００４５】
顔検出部１２による顔検出処理は、既存のどのような技術が適用されてもよい。一例を挙げると、（１）顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出する手法、（２）顔の器官（目、鼻、耳など）に基づくテンプレートマッチングによって顔を検出する手法、（３）クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出する手法、（４）肌の色に近い領域を検出し、その領域を顔として検出する手法、（５）ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出する手法、などがある。自動で顔を検出するのではなく、人が顔の位置や大きさを指定してもよい。なお、照合画像から複数の人の顔が検出された場合には、顔の大きさ、向き、位置などの所定の基準に基づいて処理対象とする顔を決定すればよい。
【００４６】
次に、特徴点検出部１３が、顔検出部１２によって検出された顔から複数の特徴点を検出する（ステップＳ１２）。特徴点とは、特徴量の抽出基準となる点のことであり、顔の中のどの点を特徴点として選ぶかは予め決められている。例えば、眼の中心、鼻の頂点、口の端点など、複数箇所が特徴点として選ばれる。
【００４７】
特徴点検出部１３による特徴点検出処理は、既存のどのような技術が適用されてもよい。一例を挙げると、（１）特徴点の位置を示すパターンをあらかじめ学習し、その学習デ
ータを使用したマッチングを行うことによって特徴点を検出する手法、（２）検出された顔の内側において、エッジの検出やパターンマッチングを行うことにより、顔の器官の端点を検出し、それを基準として特徴点を検出する手法、などがある。自動で特徴点を検出するのではなく、人が顔器官もしくは特徴点の位置を指定してもよい。
【００４８】
次に、特徴量ベクトル抽出部１４が、検出された特徴点をもとに特徴量を抽出する（ステップＳ１３）。特徴量の種類はどのようなものを採用してもよい。例えば、特徴点近傍の濃淡値やその周期性・方向性、特徴点の位置関係などを特徴量として採用できる。特徴量の個数についても、期待する照合精度に応じて任意に設定できる。一般的には、数十〜数百の特徴量が抽出される。このようにして照合画像から抽出された特徴量の組は、特徴量のベクトルとよばれる。このベクトルは顔の特徴を数値化したものといえる。人によって顔の特徴が相違するのと同様、人によってベクトルの傾向（向き、大きさ）が相違する。なお、特徴量ベクトル抽出部１４で算出されたベクトルは、特徴量の各次元を軸とする特徴量空間内のベクトルである。
【００４９】
照合部１７は、照合画像から得られた特徴量のベクトルを、登録情報記憶部１９に登録されている登録者の顔定義情報と比較することによって、顔照合を行い、その判定結果を出力する（ステップＳ１４）。なお、登録情報記憶部１９には、予め、一人又は複数の登録者の顔定義情報が登録されている。顔定義情報は、登録者の顔（つまり、登録者の顔から抽出される特徴量のベクトルの傾向）を定義するものといえる。
【００５０】
照合部１７による顔照合処理についても、既存のどのような技術が適用されてもよい。例えば、本人認証の場合は、照合画像の特徴量のベクトルと登録者（本人）の顔定義情報との類似度を算出し、その類似度が所定のしきい値より大きいときに本人と判定すればよい。個人識別の場合は、複数の登録者のそれぞれについて類似度を算出し、類似度の大きさに基づいて照合対象者がどの登録者に該当するかを判定すればよい。
【００５１】
この照合部１７における顔照合の精度は、顔定義情報の精度（信頼性）に大きく左右される。では次に、顔定義情報の生成及び登録を担う登録機能について説明する。
【００５２】
＜登録機能＞
登録機能は、新規登録者の顔定義情報を生成して装置に登録する機能である。本実施形態では、登録機能は、画像入力部１０、画像記憶部１１、顔検出部１２、特徴点検出部１３、特徴量ベクトル抽出部１４、仮想特徴量ベクトル生成部１５、登録情報生成部１６、特徴量変換器記憶部１８から構成される。
【００５３】
図３のフローチャートに沿って、登録機能の構成と処理の流れを説明する。
【００５４】
登録機能が起動すると、画像入力部１０から新規登録者の顔画像（以下、「登録画像」とよぶ。）が入力される（ステップＳ２０）。入力された登録画像は、画像記憶部１１に格納される。
【００５５】
そして、顔検出部１２が登録画像から人の顔を検出し、特徴点検出部１３が特徴点を検出し、特徴量ベクトル抽出部１４が新規登録者の特徴量のベクトルを算出する（ステップＳ２１〜Ｓ２３）。顔画像から特徴量を抽出する一連の処理については、顔照合時のものと同じである。
【００５６】
次に、仮想特徴量ベクトル生成部１５が、特徴量変換器記憶部１８から特徴量変換器を読み出し（ステップＳ２４）、その特徴量変換器を用いて、ステップＳ２３で得られた特徴量のベクトルを変換する（ステップＳ２５）。変換後のベクトルも特徴量空間内のベク
トルである。
【００５７】
同一人を撮影した２枚の顔画像からそれぞれ特徴量のベクトルを算出したとき、両画像の撮影条件が同じなら、ベクトルの傾向（向き、大きさ）もほぼ同じになる。しかし、撮影条件（例えば、照明、顔の向き、表情、年齢、化粧方法、装着物の有無、髪型、画像の解像度など）が異なれば、その条件の相違に応じた傾向の違いがベクトルにも現れる。特徴量変換器によるベクトルの変換は、このような撮影条件の相違によるベクトルの変化を仮想的に求めるものである。換言すれば、特徴量変換器は、ある条件下で撮影された顔画像から得られた特徴量のベクトルを、他の条件下で撮影された同一人の顔画像から得られる特徴量のベクトルに変換するもの、といえる。以下、変換前の条件を「元条件」、変換後の条件を「仮想条件」、変換前の特徴量のベクトルを「元ベクトル」、変換後の特徴量のベクトルを「仮想ベクトル」とよぶ。
【００５８】
本実施形態では、元条件が未知であっても元ベクトルから仮想ベクトルに変換することのできる特徴量変換器を予め作成し（具体的な作成方法は後述する）、特徴量変換器記憶部１８に格納しておく。
【００５９】
上記処理によって元ベクトルから一つ又は複数の仮想ベクトルが生成されたら、登録情報生成部１６が、元ベクトルと仮想ベクトルに基づいて（つまり、登録画像から直接抽出された特徴量と変換後の特徴量とに基づいて）新規登録者の顔定義情報を生成し、登録情報記憶部１９に登録する（ステップＳ２６）。
【００６０】
このようにして生成された顔定義情報は、登録画像の撮影条件（元条件）だけでなく、他の撮影条件（仮想条件）をも考慮したものとなる。よって、元ベクトルのみから顔定義情報を生成するのに比べて、顔定義情報の精度を向上することができ、ひいては顔照合の判定精度の向上を図ることができる。
【００６１】
図４は、（ａ）元ベクトルのみから顔定義情報を生成した場合と、（ｂ）元ベクトルと仮想ベクトルから顔定義情報を生成した場合との精度の比較を表している。図４は、Ｃ氏とＤ氏の顔定義情報が登録されており、Ｃ氏が顔照合を行った際、当該照合画像が登録時とは異なる条件下で撮影された顔画像であった場合を例示したものである（なお、図４の例では、登録時の顔画像の撮影条件は未知である）。図中、ＰＣはＣ氏の登録画像から得られた元ベクトルを示し、ＰＣｘは元ベクトルＰＣから生成された仮想ベクトルを示し、ＦＣはＣ氏の顔定義情報を示す。また、ＰＤはＤ氏の登録画像から得られた元ベクトルを示し、ＰＤｘは元ベクトルＰＤから生成された仮想ベクトルを示し、ＦＤはＤ氏の顔定義情報を示す。また、Ｓは、Ｃ氏の照合画像から得られた特徴量のベクトルを示す。なお、ここでは、説明をわかりやすくするため、Ｘ、Ｙの２つの特徴量からなる２次元特徴量空間を示しているが、実際の装置では数十〜数百次元の特徴量空間が用いられる。
【００６２】
登録画像から得られる元ベクトルＰＣ、ＰＤは特徴量空間上の一点にすぎず、その撮影条件も未知であるため、元ベクトルＰＣ、ＰＤのみから顔定義情報ＦＣ、ＦＤの外延を正確に決定することは難しい。よって、登録画像と異なる条件下で撮影された照合画像を用いて顔照合を行おうとすると、図４（ａ）に示すように、Ｃ氏の照合画像であるにもかかわらず、Ｄ氏の顔であると誤判定される可能性がある。
【００６３】
これに対して、図４（ｂ）に示すように、元ベクトルＰＣ、ＰＤから他の条件２、３、４の仮想ベクトルＰＣ２〜ＰＣ４、ＰＤ２〜ＰＤ４を生成し（Ｃ氏とＤ氏で変換の傾向が異なるのは、元ベクトルＰＣ、ＰＤの撮影条件を表す情報成分が異なっていたことを意味する）、それら複数の条件のベクトルから顔定義情報ＦＣ、ＦＤを生成すると、より正確な外延を決定することができる。これにより撮影条件の違いに対するロバスト性を向上さ
せることができ、登録画像とは異なる条件の照合画像を用いても、正確に判定できるようになる。
【００６４】
本実施形態の手法では、撮影条件の変動を、ベクトルの変換という簡単な処理で実現している（つまり、特徴量ベースの変換処理。）。よって、従来のような画像ベースの変換処理に比べて、メモリ容量及び計算コストを大幅に削減することができる。しかも、登録時の撮影条件が未知でもよいことや、ベクトルの変換という処理が特徴量の種類や顔登録・顔照合の手法（アルゴリズム）に依存しないことなどから、特徴量を用いる顔照合技術全般に汎用的に適用できるものと考えられる。
【００６５】
＜特徴量変換器＞
特徴量変換器は、上述したように、元ベクトルを仮想ベクトルに変換するためのものである。特徴量変換器は、図５に示す特徴量変換器作成部５１の機能によって作成される。特徴量変換器作成部５１は、図５に示す画像入力部１０、画像記憶部１１、顔検出部１２、特徴点検出部１３、特徴量ベクトル抽出部１４を用いて特徴量変換器を作成し、特徴量変換器記憶部１８に記憶させる。
【００６６】
図６のフローチャートに沿って、特徴量変換器が作成されるまでの流れの一例について説明する。
【００６７】
まず、画像入力部１０から複数の顔画像（以下、「学習用画像」とよぶ。）を入力する（ステップＳ３０）。入力された学習用画像は画像記憶部１１に格納される。
【００６８】
学習用画像は誰の顔画像でもよく、例えば、雑誌やインターネットで公開されている人物の顔写真などでもよいし、特徴量変換器を作成するために撮影された顔画像であってもよい。
【００６９】
図８は、学習用画像の一例を示す図である。図８の例では、撮影条件１及び撮影条件３の下で撮影されたイさんの顔画像、撮影条件２〜４の下で撮影されたロさんの顔画像、撮影条件１〜４の下で撮影されたハさんの顔画像、撮影条件２及び撮影条件４の下で撮影されたニさんの顔画像を学習用画像としている。
【００７０】
図８の例では、４人の顔画像を学習用画像としているが、学習用画像は一人の人物の顔画像であってもよいし、複数の人物の顔画像であってもよい。なお、学習用画像は、条件変動空間を正確（撮影条件とベクトルの対応関係が一対一に近いほど正確な条件変動空間とする）に定義でき、且つ、条件変動空間内でのベクトルの分布の大まかな形が把握できる程度の数だけあればよい。条件変動空間は、特徴量空間とは異なる空間である。特徴量空間内のベクトルを条件変動空間に写像することにより、当該ベクトルから個人差を表す情報成分を除去することができる（条件変動空間の定義方法は後述する）。
【００７１】
また、様々な撮影条件の顔画像を入力できれば必要十分であるため、図８に示すように、学習用画像として複数の人物の顔画像を入力する場合、それぞれの人物について同じ数、同じ条件の学習用画像を入力する必要は無い。ただし、全ての学習用画像を合わせたものが、全ての環境に対応していることが望ましい。それにより、条件変動空間をより正確に定義でき、且つ、条件変動空間内のベクトルの分布の形状もより正確に把握することができ、ひいては、全ての撮影条件（環境変化）に対応できる特徴量変換器を作成することができる。
【００７２】
次に、顔検出部１２が学習用画像のそれぞれから人の顔を検出し、特徴点検出部１３が特徴点を検出し、特徴量ベクトル抽出部１４が学習用画像ごとの特徴量のベクトルを算出
する（ステップＳ３１〜Ｓ３３）。顔画像から特徴量を抽出する一連の処理については、顔照合時及び顔登録時のものと同じである。図８の例では、撮影条件１の下で撮影されたイさん及びハさんの顔画像から、それぞれベクトルＶイ１、Ｖハ１が算出され、撮影条件２の下で撮影されたロさん、ハさん、及び、ニさんの顔画像から、それぞれベクトルＶロ２、Ｖハ２、Ｖニ２が算出され、撮影条件３の下で撮影されたイさん、ロさん、及び、ハさんの顔画像から、それぞれベクトルＶイ３、Ｖロ３、Ｖハ３が算出され、撮影条件４の下で撮影されたロさん、ハさん、及び、ニさんの顔画像から、それぞれベクトルＶロ４、Ｖハ４、Ｖニ４が算出される。
【００７３】
そして、特徴量変換器作成部５１が、人物ごとに、その人物の特徴量の平均値（平均特徴量）を算出する（ステップＳ３４）。具体的には、平均特徴量は、その人物の特徴量の総和を求め（総和は一般的なベクトルの足し算により求めればよい）、当該総和を顔画像の枚数で除算することにより求まる。顔画像から抽出された特徴量は、個人差を表す情報成分に、変動成分である撮影条件の影響が付加されたものと考えられる。或る人物の特徴量の平均をとると、変動成分が減少し、その人の個人差を表す情報成分が強調される。つまり、平均特徴量は、その人の個人差を表す情報成分が強調された特徴量である。図８の例では、ベクトルＶイ１及びベクトルＶイ３を用いてイさんの平均特徴量ＶイＡが算出され、ベクトルＶロ２、ベクトルＶロ３、及び、ベクトルＶロ４を用いてロさんの平均特徴量ＶロＡが算出され、ベクトルＶハ１、ベクトルＶハ２、ベクトルＶハ３、及び、ベクトルＶハ４を用いてハさんの平均特徴量ＶハＡが算出され、ベクトルＶニ２及びベクトルＶニ4を用いてニさんの平均特徴量ＶニＡが算出される。なお、学習用画像として、その人
の様々な撮影条件下の顔画像を用いれば、平均特徴量として、その人の個人差を表す情報成分がより強調された特徴量を得ることができる（撮影条件の影響がより少ない特徴量を得ることができる）。
【００７４】
次に、特徴量変換器作成部５１が、ステップＳ３３で抽出された特徴量から、撮影条件を表す情報成分が強調された特徴量（条件特徴量）を算出する（ステップＳ３５）。具体的には、条件特徴量は、当該抽出された特徴量からその人の平均特徴量を減算することにより求まる。このようにして求められた条件特徴量は、当該抽出された特徴量から個人差を表す情報成分が除去された特徴量とみなせる。すなわち、当該条件特徴量は、撮影条件を表す情報成分が強調された特徴量とみなすことができる。
【００７５】
図９に、図８に示す学習用画像から条件特徴量を算出した例を示す。図９の例では、Ｖイ１からＶイＡを減算することにより条件特徴量Ｖイ１´が算出され、Ｖハ１からＶハＡを減算することにより条件特徴量Ｖハ１´が算出される。他の学習用画像についても同様に条件特徴量が算出される。
【００７６】
そして、特徴量変換器作成部５１が、条件変動空間を定義する（ステップＳ３６）。具体的には、ステップＳ３５で算出された条件特徴量の主成分分析の結果に基づいて決定された成分で構成される空間を条件変動空間とする。
【００７７】
上述したように、条件特徴量は、撮影条件を表す情報成分が強調された特徴量とみなすことができる。このような条件特徴量を主成分分析することによって、撮影条件の変動に非常に敏感な成分を得ることができる。当該成分を軸とする空間を条件変動空間と定義すれば、特徴量空間よりも少ない次元の空間として条件変動空間を定義することができる（条件変動空間を構成する成分の数はいくつであってもよい（第１主成分と第２主成分を軸とする２次元空間を条件変動空間とするなど））。このようにして定義された条件変動空間では、特徴量の個人差がベクトルの違いとして表されず、撮影条件の違いがベクトルの違いとして明確に表される。すなわち、条件変動空間内のベクトルは、撮影条件を表す情報成分が強調されたベクトルとみなせる。そのため、特徴量空間内のベクトルを条件変動
空間に写像することにより、当該ベクトルから個人差を表す情報成分を除去することができる。
【００７８】
例えば、同じ撮影条件で撮影されたＥ氏とＦ氏の顔画像から算出された特徴量のベクトルは、Ｅ氏とＦ氏の顔立ちがよほど似ていない限り、特徴量空間内ではそれぞれ方向・大きさの異なるベクトルとなるが（図７（ａ）のＰＥ及びＰＦ）、それらのベクトルは、条件変動空間内では略等しいベクトルとなる（図７（ｂ）のｐＥ及びｐＦ）。図７のｐＥとｐＦが完全に一致するような空間を定義することができれば（すなわち、撮影条件とベクトルとが一対一に対応するような空間が定義できれば）なおよい。そのような空間が定義できれば、元ベクトルから仮想ベクトルへの変換の精度が向上し、ひいては、より正確な顔定義情報を生成することができる。
【００７９】
次に、特徴量変換器作成部５１が、ステップＳ３３で算出されたベクトルを、条件変動空間に写像する（ステップＳ３７）。これにより、各学習用画像の撮影条件のばらつきを条件変動空間内のベクトルの分布として表すことができる。なお、当該写像は、特徴量空間と条件変動空間の定義に基づいて写像行列を作成し、当該行列をステップＳ３３で算出されたベクトルに乗算することにより実現することができる。図７（ｂ）に条件変動空間内に写像されたベクトルの一例を示す。図７（ｂ）の例では、当該写像された複数のベクトル７１が形状７２を形成していることがわかる。
【００８０】
次に、特徴量変換器作成部５１（又は、ユーザ）が、条件変動空間内のベクトルの分布（ステップＳ３７で条件変動空間に写像されたベクトルの分布）に基づいていくつかの基準点（基準変動ベクトル）を設定する（ステップＳ３８）。当該分布に基づいて基準変動ベクトルを設定することにより、撮影条件を網羅するような基準変動ベクトルを設定することができる。基準変動ベクトルは、当該分布に基づいて設定すればどのように選択されたベクトルであってもよい。例えば、条件変動空間の軸に沿った当該分布の最大値、最小値を基準変動ベクトルとして選択してもよいし、分布の密な部分から数多く選択してもよいし、当該分布の輪郭上から選択してもよいし、当該分布内でランダムに選択してもよい。基準変動ベクトルはいくつ設定してもよく、基準変動ベクトルの設定数だけ登録画像の特徴量ベクトルの変換を行うことができる（つまり、基準変動ベクトルの設定数が多ければ多いほど高精度な顔定義情報を生成することができる）。図７（ｂ）の例では、形状７２の輪郭上の５つの点が基準点７３ａ〜７３ｄ及び基準点Ｂとして決定される。
【００８１】
なお、上述したように、学習用画像は、条件変動空間（の各軸）、及び、当該条件変動空間内のベクトルの分布を得るために用いられるため、様々な条件で撮影された複数の顔画像であれば、夫々の撮影条件を把握していなくてもよい。そのため、変換器作成時の負担を減らすことができる。ただし、学習用画像が複数の人物の顔画像である場合、条件変動空間を得るには「どの人物の顔画像か」ということは把握していなければならない（ステップＳ３４で人物ごとの平均特徴量を算出するため）。なお、条件変動空間を得るための学習用画像と当該分布を得るための学習用画像は異なるものであってもよい。
【００８２】
特徴量変換器は、条件変動空間及び基準変動ベクトルを用いて作成される。以下に、特徴量変換器を用いた顔定義情報生成処理の一例を示す。
【００８３】
＜顔定義情報生成処理＞
特徴量変換器は、以下の式により元ベクトルＶ１から仮想ベクトルＶ２への変換を行う。
Ｖ２＝Ｖ１＋ＡＴ（Ｂ−ＡＶ１）
但し、Ａ：特徴量空間から条件変動空間への写像行列
Ｂ：基準変動ベクトル
【００８４】
図７及び上記の式を用いて顔定義情報生成処理を説明する。図７（ａ）の空間は特徴量空間、（ｂ）の空間は条件変動空間である。図７ではどちらの空間も２次元で表記されているが、２次元に限らず何次元でもよい。ただし、条件変動空間の方が特徴量空間より低次元になることが好ましい（上述したように条件変動空間を定義すれば、特徴量空間より低次元にすることが可能である）。条件変動空間を低次元にするほど少ない処理で変換が行える。
【００８５】
まず、変換器は特徴量空間内の元ベクトルＶ１を条件変動空間に写像する（Ｓ１）。具体的には、元ベクトルＶ１は、写像行列Ａによって条件変動空間に写像される。当該写像は、元ベクトルＶ１から個人差を表す情報成分を除去するためのものであり、これにより、元ベクトルＶ１は、撮影条件を表す情報成分が強調されたベクトルｖ１に変換される（ｖ１は上記式中のＡＶ１に相当する）。
【００８６】
次に、条件変動空間内において、予め設定された基準変動ベクトルＢとベクトルｖ１との差分ベクトルｖ３（上記式中のＢ−ＡＶ１に相当）を算出する（Ｓ２）。条件変動空間内のベクトルは撮影条件を表す情報成分が強調されたベクトルとみなせるため、条件変動空間内のベクトルの差は撮影条件の差に対応すると考えることができる。すなわち、差分ベクトルｖ３も、撮影条件の差を表すベクトルであると考えられる。
【００８７】
そして、当該差分ベクトルを条件変動空間から特徴量空間へ逆写像する（Ｓ３）。具体的には、差分ベクトルｖ３は、写像行列Ａの転置行列ＡＴによって特徴量空間に逆写像される。これにより、撮影条件の差を表すベクトル（差分ベクトル）を条件変動空間内のベクトルから特徴量空間内のベクトルに変換することができる。図７の例では、条件変動空間内の差分ベクトルｖ３が、特徴量空間内のベクトルＶ３（上記式中のＡＴ（Ｂ−ＡＶ１）に相当）に変換される。
【００８８】
次に、特徴量空間内において、当該逆写像されたベクトルＶ３を元ベクトルＶ１に加算する（Ｓ４）。上述したように、当該逆写像されたベクトルＶ３は撮影条件の差を表すベクトルとみなせるため、当該ベクトルＶ３を元ベクトルＶ１に加算することは、元ベクトルＶ１に撮影条件の差を加算することに相当する。すなわち、加算することにより得られるベクトルは、登録画像の撮影条件とは異なる条件における同一人の特徴量のベクトル、とみなすことができる。上記変換（計算）により、仮想ベクトルＶ２を得ることができる。
【００８９】
上記処理（Ｓ２〜Ｓ４の処理）を予め設定された他の４つの基準変動ベクトル７３ａ〜７３ｄそれぞれについても行い、合計５つの仮想ベクトルを得る（本実施形態で得られる仮想ベクトルの数は５つであるが、仮想ベクトルは設定された基準変動ベクトルの数だけ得られる。）。そして、元ベクトルと５つの仮想ベクトルから登録者の顔定義情報を生成する。
【００９０】
以上述べたように、本実施形態では、特徴量空間の他に、特徴量空間より低次元の空間であり、特徴量空間内のベクトルを、撮影条件を表す情報成分が強調されたベクトルとして表すことのできる空間として条件変動空間を定義し、条件変動空間内に撮影条件を網羅するような基準変動ベクトルを設定する。そして、顔登録の際に、登録画像の特徴量のベクトルを条件変動空間内に写像し、予め定められた基準変動ベクトルとの差分ベクトルを特徴量空間に逆写像し、登録画像のベクトルに加算する。これにより、新規登録者の１枚の顔画像から、当該新規登録者の異なる条件で撮影された顔画像の特徴量を効率的に生成することができる。様々な条件で撮影された新規登録者の顔画像から抽出される特徴量を得ることにより、正確な顔定義情報を生成することができ、ひいては顔照合の判定精度の
向上を図ることができる。
【００９１】
また、元ベクトルＶ１が、どのような撮影条件の顔画像から算出されたベクトルであっても（登録画像の撮影条件が未知であっても）、当該元ベクトルＶ１を条件変動空間に写像し、写像後のベクトルｖ１を得ることができる。そして、写像後のベクトルｖ１と基準変動ベクトルの差分ベクトルｖ３を特徴量空間に逆写像し、逆写像後のベクトルＶ３を得ることにより、仮想ベクトルＶ２を得ることができる。登録画像の撮影条件が未知でもよいため、汎用性に優れている。
【００９２】
なお、本実施形態では、抽出された特徴量からその人の平均特徴量を減算することにより条件特徴量を算出しているが、条件特徴量の算出方法はこの方法に限らない。例えば、学習用画像のうち、全ての人物について共通の撮影条件の下で撮影された顔画像がある場合には、当該撮影条件の下で撮影された顔画像の特徴量を基準として、条件特徴量を算出してもよい。この方法を用いれば、平均特徴量を算出せずに条件特徴量を得ることができる。
【００９３】
図１０は、図８の例とは異なる学習用画像の一例を示す図である。図１０の例では、各人物（イさん、ロさん、ハさん、ニさん）について共通の撮影条件（撮影条件２）があることがわかる。そこで、撮影条件２の下で撮影された顔画像の特徴量を基準とする。図８の例では、イさんについてはベクトルＶイ２が、ロさんについてはベクトルＶロ２が、ハさんについてはベクトルＶハ２が、ニさんについてはベクトルＶニ２が、基準となる。
【００９４】
そして、図１１に示すように、抽出された特徴量から基準となる特徴量を減算することにより条件特徴量を算出することができる。図１１の例では、Ｖイ１からＶイ２を減算することにより条件特徴量Ｖイ１´が算出され、Ｖハ１からＶハ２を減算することにより条件特徴量Ｖハ１´が算出される。他の学習用画像についても同様に条件特徴量を算出する。ただし、撮影条件２の下で撮影された顔画像の特徴量を基準とするため、撮影条件２における条件特徴量は、どの人物についても０になる。
【図面の簡単な説明】
【００９５】
【図１】図１は、顔照合装置の機能構成を示すブロック図である。
【図２】図２は、照合機能の処理の流れを示すフローチャートである。
【図３】図３は、登録機能の処理の流れを示すフローチャートである。
【図４】図４（ａ）は、元ベクトルのみから顔定義情報を生成した場合の誤判定を示す図であり、図４（ｂ）は、元ベクトルと仮想ベクトルから顔定義情報を生成した場合の正確な判定を示す図である。
【図５】図５は、特徴量変換器を作成するための機能構成を示すブロック図である。
【図６】図６は、特徴量変換器の作成の流れを示すフローチャートである。
【図７】図７は、特徴量の変換の流れを示す図であり、（ａ）は、特徴量空間を示す図であり、（ｂ）は、条件変動空間を示す図である。
【図８】図８は、学習用画像の一例を示す図である。
【図９】図９は、条件特徴量の算出方法の一例を示す図である。
【図１０】図１０は、学習用画像の一例を示す図である。
【図１１】図１１は、条件特徴量の算出方法の一例を示す図である。
【符号の説明】
【００９６】
１０ 画像入力部
１１ 画像記憶部
１２ 顔検出部
１３ 特徴点検出部
１４ 特徴量ベクトル抽出部
１５ 仮想特徴量ベクトル生成部
１６ 登録情報生成部
１７ 照合部
１８ 特徴量変換器記憶部
１９ 登録情報記憶部
５１ 特徴量変換器作成部
【技術分野】
【０００１】
本発明は、顔照合装置に関し、特に顔照合装置に顔を登録するための技術に関する。
【背景技術】
【０００２】
顔認識技術を応用した顔照合装置では、顔の登録及び照合に画像が用いられる。よって、登録や照合に用いる画像の撮影条件（照明、顔の向き、表情、年齢など）の違いが、照合精度に大きく影響を与えうる。
【０００３】
登録及び照合するときの撮影条件が同じであれば精度の高い顔照合が行えるが、互いの撮影条件が異なる場合、顔照合の精度は低くなる。
【０００４】
一般に、顔照合の精度を上げる方法として、登録時に、様々な条件で撮影された多数の顔画像を登録するという方法がある。
【０００５】
しかし、様々な条件での撮影は登録を行うユーザに多大な負担を課すため好ましくないし、照合時に登録時と同じ条件で撮影すること自体も困難なことが多い。一方、免許証やパスポートなどの以前に撮影された（少数の）顔画像を登録して顔照合処理に用いたいというニーズもある。
【０００６】
特許文献１には、異なる条件下で撮影された複数の画像から外的な変動要素を抽出し、当該抽出された外的な変動要素を、登録の際に撮影された画像に付加することによって、当該画像とは別の撮影条件下の画像を仮想的に生成し、当該生成された画像から特徴量を抽出・登録する画像認識装置が開示されている。
【０００７】
しかし、この画像認識装置では、外的な変動要素を抽出するために用いられた画像とは異なる撮影条件下の画像を生成することができない。そのため、高精度な画像認識を行うには、様々な条件で撮影された膨大な数の画像を用いなければならず、撮影者などにとって大きな負担となる（被写体が人物などである場合は、被写体にとっても大きな負担となる）。更に、この画像認識装置では、顔画像を生成してから特徴量を抽出するため、生成される顔画像の数が多い場合（高精度な画像認識を行うには様々な撮影条件下の画像を生成する必要がある）、処理負荷が膨大になってしまう。
【特許文献１】特開２００６−５３７７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、少ない顔画像からでも信頼性の高い顔登録を効率的に行うことのできる技術を提供することにある。
【０００９】
また、本発明の更なる目的は、当該顔登録に用いる顔画像の撮影条件が未知であっても信頼性の高い顔登録を効率的に行うことのできる、汎用性に優れた技術を提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するために本発明では、以下の構成を採用する。
【００１１】
本発明に係る顔照合装置は、登録者の顔を定義する顔定義情報を記憶可能な記憶手段と
、照合対象者の顔画像から抽出された特徴量を前記記憶手段内の顔定義情報と比較することによって前記照合対象者の顔照合を行う照合手段と、新規登録者の顔定義情報を生成して前記記憶手段に登録する登録手段と、を備える。
【００１２】
記憶手段に登録できる登録者（顔定義情報）の数は１つでもよいし、複数でもよい。また、照合手段による顔照合は、照合対象者が本人であるか否かを確かめる本人認証（一対一の照合）でもよいし、照合対象者が誰であるか識別する個人識別（一対多の照合）でもよい。
【００１３】
上記顔照合装置において、前記登録手段は、前記新規登録者の顔画像から特徴量を抽出する特徴量抽出手段と、変換器を用いて、前記抽出された特徴量から前記新規登録者の顔定義情報を生成する顔定義情報生成手段と、を有する。
【００１４】
そして、前記変換器は、顔画像から抽出された特徴量空間内の特徴量のベクトルを、当該ベクトルから個人差を表す情報成分を除去するために、前記特徴量空間とは異なる空間である条件変動空間に写像する写像手段と、前記条件変動空間内において、予め設定された基準変動ベクトルと前記写像されたベクトルとの差分ベクトルを、撮影条件の差を表すベクトルとして求める差分ベクトル算出手段と、前記差分ベクトルを前記条件変動空間から前記特徴量空間へ逆写像する逆写像手段と、前記特徴量空間内において、前記逆写像されたベクトルを前記抽出された特徴量のベクトルに加算することにより前記顔定義情報を構成する特徴量のベクトルを生成する特徴量ベクトル生成手段と、を有する。
【００１５】
この登録手段（変換器を含む）では、特徴量のベクトルから個人差を表す情報成分を除去するために、特徴量空間とは異なる空間である条件変動空間を考える。特徴量空間内のベクトルを条件変動空間に写像することによって、当該ベクトルから個人差を表す情報成分を除去することができる。顔画像から算出された特徴量のベクトルは撮影条件の影響を含んでいるため、当該ベクトルから個人差を表す情報成分を除去したベクトルは、撮影条件を表す情報成分が強調されたベクトルとみなすことができる。
【００１６】
ここで、特徴量は、画像から抽出可能な、顔の特徴を表すパラメータである。どのような種類の特徴量を選択するか、また何個の特徴量を用いるかは任意に設定できる。本明細書では、特徴量の組を「（特徴量空間内の）ベクトル」と呼ぶ。
【００１７】
特徴量空間は、各々の特徴量の各次元を軸にもつ多次元空間である。顔画像から抽出された特徴量（の組）は、この特徴量空間上の点（元）となる。
【００１８】
また、この登録手段では、条件変動空間内に基準変動ベクトルが予め設定されている。条件変動空間内のベクトルは、撮影条件を表す情報成分が強調されたベクトルとみなせるため、条件変動空間内のベクトルの差は、撮影条件の差に対応するとみなすことができる。そのため、基準変動ベクトルと条件変動空間に写像された新規登録者のベクトルとの差分ベクトルも撮影条件の差を表すベクトルとみなせる。
【００１９】
そして、その差分ベクトルを特徴量空間に逆写像することにより、当該撮影条件の差を特徴量空間内のベクトルとして表すことができる。上記差分ベクトルは撮影条件の差を表すベクトルとみなせるため、新規登録者の顔画像から抽出された特徴量のベクトルに上記逆写像されたベクトルを加算することによって得られるベクトルは、当該新規登録者の顔画像とは異なる条件で撮影された同一人の顔画像の特徴量のベクトルとみなすことができる。
【００２０】
また、条件変動空間内に、互いに異なる基準変動ベクトルが複数設定されているとよい
。これらの基準変動ベクトルは、互いに異なる撮影条件を表すベクトルに相当する。それぞれの基準変動ベクトルを用いて新規登録者の顔画像から算出されたベクトルを変換することで、新規登録者の１枚の顔画像から、異なる条件で撮影された複数の顔画像の特徴量を生成することができる。一人の新規登録者に対して複数の条件で撮影を行う必要が無いので、効率的である。このようにして生成された特徴量と顔画像から抽出された特徴量とから顔定義情報（登録者の顔の定義）を生成することにより、正確且つ信頼性の高い顔登録を行うことができる。
【００２１】
更に、新規登録者の撮影条件が未知であっても上記変換を行うことができるため、汎用性に優れている。なお、条件変動空間の次元は特徴量空間の次元よりも低次元であるとよい。特徴量空間よりも低次元にすることにより、特徴量空間内で変換処理を行うよりも少ない処理で変換を行うことができる。
【００２２】
ここで、「（撮影）条件」としては、例えば、照明（明るさ）、顔の向き、表情、年齢、化粧方法、装着物（眼鏡、マスクなど）の有無、髪型、画像の解像度など、画像から抽出される特徴量に影響を与えうる様々な条件を選ぶことができる。
【００２３】
前記条件変動空間は、撮影条件とベクトルとが一対一に対応するように定義された空間（人の違いによるベクトルの違いが生じない空間）であることが好ましい。撮影条件とベクトルとが一対一に対応していれば、上記変換の精度が向上し、ひいては、より正確な顔定義情報を生成することができる。
【００２４】
前記条件変動空間は、条件特徴量の主成分分析の結果に基づいて決定された成分で構成される空間であり、前記条件特徴量は、様々な条件で撮影された複数の顔画像から抽出された特徴量のそれぞれから、その人物の特徴量の平均を減算することによって得られる特徴量であることが好ましい。
【００２５】
顔画像から抽出された特徴量は、個人差を表す情報成分に、変動成分である撮影条件の影響が付加されたものと考えられる。或る人物の特徴量の平均をとると、変動成分が減少し、その人の個人差を表す情報成分が強調される。
【００２６】
よって、当該抽出された特徴量から、その人物の特徴量の平均を減算することによって得られる条件特徴量は、当該抽出された特徴量から個人差を表す情報成分が除去された特徴量とみなすことができる。すなわち、条件特徴量は、撮影条件を表す情報成分が強調された特徴量とみなせる。
【００２７】
このような条件特徴量を主成分分析することによって、撮影条件の変動に非常に敏感な成分を得ることができる。当該成分を軸とする空間を条件変動空間と定義すれば、特徴量空間よりも少ない次元の空間として条件変動空間を定義することができる。このようにして定義された条件変動空間では、特徴量の個人差がベクトルの違いとして表されず、撮影条件の違いがベクトルの違いとして明確に表される。なお、条件変動空間を構成する成分の数はいくつであってもよい（例えば、第１主成分と第２主成分を軸とする２次元空間を条件変動空間としてもよい）。
【００２８】
条件変動空間を得るために用いる顔画像は、様々な条件で撮影された複数の顔画像であることが好ましいが、ユーザ（変換器の作成者など）は、条件特徴量を求めるために「どの人物の顔画像か」ということさえ把握していればよく、それぞれの顔画像の撮影条件を把握する必要は無い。これにより、ユーザの負担を減らすことができる。
【００２９】
なお、条件特徴量を求めるための顔画像は１人の顔画像であってもよいし、複数人の顔
画像であってもよい。当該顔画像は登録者の顔画像でなくてもよい。例えば、雑誌などに載っている顔画像であってもよいし、不特定多数の人物を集め、夫々の人物を撮影することによって得られた顔画像であってもよい。当該顔画像として複数人の顔画像を用いる場合、それぞれの人物について同じ数、同じ条件の顔画像を用いる必要は無い。
【００３０】
前記条件変動空間内の基準変動ベクトルは、様々な条件で撮影された複数の顔画像から抽出された特徴量を前記条件変動空間に写像することによって得られるベクトルの分布に基づいて決定されるベクトルであることが好ましい。
【００３１】
複数の顔画像から抽出された特徴量を前記条件変動空間に写像することにより、各顔画像の撮影条件のばらつきを条件変動空間内のベクトルの分布として表すことができる。当該分布を得ることにより、ユーザは、撮影条件を網羅するように基準変動ベクトルを設定することができる。
【００３２】
当該分布を得るために用いる顔画像は、様々な条件で撮影された複数の顔画像であることが好ましいが、ユーザ（変換器の作成者など）は、それぞれの顔画像の撮影条件を把握する必要は無い。当該顔画像は条件変動空間を得るために用いた顔画像であってもよい。
【００３３】
前記変換器は、元のベクトルをＶ１、変換後のベクトルをＶ２、としたとき、例えば、下記式で表される。
Ｖ２＝Ｖ１＋ＡＴ（Ｂ−ＡＶ１）
但し、Ａ：特徴量空間から条件変動空間への写像行列
Ｂ：基準変動ベクトル
【００３４】
また、本発明は、上記手段の少なくとも一部を有する顔照合装置として捉えてもよいし、上記処理の少なくとも一部を含む顔登録方法、または、かかる方法を実現するための顔登録プログラムやそのプログラムを記憶した記憶媒体として捉えることもできる。なお、上記手段及び処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
【発明の効果】
【００３５】
本発明に係る顔照合装置では、少ない顔画像からでも信頼性の高い顔登録を効率的に行うことができる。また、本発明に係る顔照合装置では、当該顔登録に用いる顔画像の撮影条件が未知でもよく、汎用性に優れている。
【発明を実施するための最良の形態】
【００３６】
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。
【００３７】
図１は、本発明の実施形態に係る顔照合装置の機能構成を示すブロック図である。この顔照合装置は、顔画像を用いて照合対象者の本人認証又は個人識別を行う装置であり、例えば、カメラ付きのコンピュータや携帯電話におけるセキュリティ装置、侵入者検知を行う監視装置、入退室管理やドアの錠制御を行う装置などの様々な用途に応用可能である。
【００３８】
顔照合装置は、図１に示す複数の機能要素、すなわち画像入力部１０、画像記憶部１１、顔検出部１２、特徴点検出部１３、特徴量ベクトル抽出部１４、仮想特徴量ベクトル生成部１５、登録情報生成部１６、照合部１７、特徴量変換器記憶部１８、登録情報記憶部１９を備えている。本実施形態では、これらの機能要素は、演算処理装置がソフトウエア（プログラム）を実行し、必要に応じて記憶装置・撮像装置・入力装置などのハードウエア資源を制御することで実現される。ただし、これらの機能要素を専用のチップで構成しても構わない。顔照合装置は、これらの機能要素を適宜組み合わせて、「照合機能」と「
登録機能」の２つのメイン機能を実現する。以下、メイン機能のそれぞれについて詳しく説明する。
【００３９】
＜照合機能＞
照合機能は、照合対象者の顔画像から抽出された特徴量を、予め登録されている登録者の顔定義情報と比較することによって、照合対象者の顔照合を行う機能である。本実施形態では、照合機能は、画像入力部１０、画像記憶部１１、顔検出部１２、特徴点検出部１３、特徴量ベクトル抽出部１４、照合部１７、登録情報記憶部１９から構成される。
【００４０】
図２のフローチャートに沿って照合機能の構成と処理の流れを説明する。
【００４１】
照合機能が起動すると、画像入力部１０から照合対象者の顔画像（以下、「照合画像」と呼ぶ。）が入力される（ステップＳ１０）。入力された照合画像は、画像記憶部１１に格納される。
【００４２】
画像入力部１０は、照合画像を顔照合装置へ入力するためのインタフェースであり、どのような既存技術を用いて構成されてもよい。例えば、ネットワークを介して照合画像が入力される場合はネットワークインタフェースが画像入力部に該当し、デジタルカメラ・スキャナ・コンピュータ・記憶装置等の外部機器から照合画像が入力される場合は外部機器と顔照合装置を有線又は無線で接続する通信インタフェースが画像入力部に該当し、メモリ・ＣＤ・ＤＶＤ等の記録媒体から照合画像が入力される場合は記録媒体のリーダが画像入力部に該当する。また、顔照合装置がＣＣＤやＣＭＯＳセンサ等からなる撮像装置を具備し、その撮像装置で照合対象者を撮影するのであれば、撮像装置が画像入力部に該当する。
【００４３】
画像記憶部１１は、処理対象となる画像を一時的に記憶する記憶装置である。この記憶装置としては、揮発性メモリや不揮発性メモリなど、どのような具体的技術が適用されてもよい。
【００４４】
次に、顔検出部１２が、照合画像から人の顔を検出し、顔の位置や大きさ等を特定する（ステップＳ１１）。
【００４５】
顔検出部１２による顔検出処理は、既存のどのような技術が適用されてもよい。一例を挙げると、（１）顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出する手法、（２）顔の器官（目、鼻、耳など）に基づくテンプレートマッチングによって顔を検出する手法、（３）クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出する手法、（４）肌の色に近い領域を検出し、その領域を顔として検出する手法、（５）ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出する手法、などがある。自動で顔を検出するのではなく、人が顔の位置や大きさを指定してもよい。なお、照合画像から複数の人の顔が検出された場合には、顔の大きさ、向き、位置などの所定の基準に基づいて処理対象とする顔を決定すればよい。
【００４６】
次に、特徴点検出部１３が、顔検出部１２によって検出された顔から複数の特徴点を検出する（ステップＳ１２）。特徴点とは、特徴量の抽出基準となる点のことであり、顔の中のどの点を特徴点として選ぶかは予め決められている。例えば、眼の中心、鼻の頂点、口の端点など、複数箇所が特徴点として選ばれる。
【００４７】
特徴点検出部１３による特徴点検出処理は、既存のどのような技術が適用されてもよい。一例を挙げると、（１）特徴点の位置を示すパターンをあらかじめ学習し、その学習デ
ータを使用したマッチングを行うことによって特徴点を検出する手法、（２）検出された顔の内側において、エッジの検出やパターンマッチングを行うことにより、顔の器官の端点を検出し、それを基準として特徴点を検出する手法、などがある。自動で特徴点を検出するのではなく、人が顔器官もしくは特徴点の位置を指定してもよい。
【００４８】
次に、特徴量ベクトル抽出部１４が、検出された特徴点をもとに特徴量を抽出する（ステップＳ１３）。特徴量の種類はどのようなものを採用してもよい。例えば、特徴点近傍の濃淡値やその周期性・方向性、特徴点の位置関係などを特徴量として採用できる。特徴量の個数についても、期待する照合精度に応じて任意に設定できる。一般的には、数十〜数百の特徴量が抽出される。このようにして照合画像から抽出された特徴量の組は、特徴量のベクトルとよばれる。このベクトルは顔の特徴を数値化したものといえる。人によって顔の特徴が相違するのと同様、人によってベクトルの傾向（向き、大きさ）が相違する。なお、特徴量ベクトル抽出部１４で算出されたベクトルは、特徴量の各次元を軸とする特徴量空間内のベクトルである。
【００４９】
照合部１７は、照合画像から得られた特徴量のベクトルを、登録情報記憶部１９に登録されている登録者の顔定義情報と比較することによって、顔照合を行い、その判定結果を出力する（ステップＳ１４）。なお、登録情報記憶部１９には、予め、一人又は複数の登録者の顔定義情報が登録されている。顔定義情報は、登録者の顔（つまり、登録者の顔から抽出される特徴量のベクトルの傾向）を定義するものといえる。
【００５０】
照合部１７による顔照合処理についても、既存のどのような技術が適用されてもよい。例えば、本人認証の場合は、照合画像の特徴量のベクトルと登録者（本人）の顔定義情報との類似度を算出し、その類似度が所定のしきい値より大きいときに本人と判定すればよい。個人識別の場合は、複数の登録者のそれぞれについて類似度を算出し、類似度の大きさに基づいて照合対象者がどの登録者に該当するかを判定すればよい。
【００５１】
この照合部１７における顔照合の精度は、顔定義情報の精度（信頼性）に大きく左右される。では次に、顔定義情報の生成及び登録を担う登録機能について説明する。
【００５２】
＜登録機能＞
登録機能は、新規登録者の顔定義情報を生成して装置に登録する機能である。本実施形態では、登録機能は、画像入力部１０、画像記憶部１１、顔検出部１２、特徴点検出部１３、特徴量ベクトル抽出部１４、仮想特徴量ベクトル生成部１５、登録情報生成部１６、特徴量変換器記憶部１８から構成される。
【００５３】
図３のフローチャートに沿って、登録機能の構成と処理の流れを説明する。
【００５４】
登録機能が起動すると、画像入力部１０から新規登録者の顔画像（以下、「登録画像」とよぶ。）が入力される（ステップＳ２０）。入力された登録画像は、画像記憶部１１に格納される。
【００５５】
そして、顔検出部１２が登録画像から人の顔を検出し、特徴点検出部１３が特徴点を検出し、特徴量ベクトル抽出部１４が新規登録者の特徴量のベクトルを算出する（ステップＳ２１〜Ｓ２３）。顔画像から特徴量を抽出する一連の処理については、顔照合時のものと同じである。
【００５６】
次に、仮想特徴量ベクトル生成部１５が、特徴量変換器記憶部１８から特徴量変換器を読み出し（ステップＳ２４）、その特徴量変換器を用いて、ステップＳ２３で得られた特徴量のベクトルを変換する（ステップＳ２５）。変換後のベクトルも特徴量空間内のベク
トルである。
【００５７】
同一人を撮影した２枚の顔画像からそれぞれ特徴量のベクトルを算出したとき、両画像の撮影条件が同じなら、ベクトルの傾向（向き、大きさ）もほぼ同じになる。しかし、撮影条件（例えば、照明、顔の向き、表情、年齢、化粧方法、装着物の有無、髪型、画像の解像度など）が異なれば、その条件の相違に応じた傾向の違いがベクトルにも現れる。特徴量変換器によるベクトルの変換は、このような撮影条件の相違によるベクトルの変化を仮想的に求めるものである。換言すれば、特徴量変換器は、ある条件下で撮影された顔画像から得られた特徴量のベクトルを、他の条件下で撮影された同一人の顔画像から得られる特徴量のベクトルに変換するもの、といえる。以下、変換前の条件を「元条件」、変換後の条件を「仮想条件」、変換前の特徴量のベクトルを「元ベクトル」、変換後の特徴量のベクトルを「仮想ベクトル」とよぶ。
【００５８】
本実施形態では、元条件が未知であっても元ベクトルから仮想ベクトルに変換することのできる特徴量変換器を予め作成し（具体的な作成方法は後述する）、特徴量変換器記憶部１８に格納しておく。
【００５９】
上記処理によって元ベクトルから一つ又は複数の仮想ベクトルが生成されたら、登録情報生成部１６が、元ベクトルと仮想ベクトルに基づいて（つまり、登録画像から直接抽出された特徴量と変換後の特徴量とに基づいて）新規登録者の顔定義情報を生成し、登録情報記憶部１９に登録する（ステップＳ２６）。
【００６０】
このようにして生成された顔定義情報は、登録画像の撮影条件（元条件）だけでなく、他の撮影条件（仮想条件）をも考慮したものとなる。よって、元ベクトルのみから顔定義情報を生成するのに比べて、顔定義情報の精度を向上することができ、ひいては顔照合の判定精度の向上を図ることができる。
【００６１】
図４は、（ａ）元ベクトルのみから顔定義情報を生成した場合と、（ｂ）元ベクトルと仮想ベクトルから顔定義情報を生成した場合との精度の比較を表している。図４は、Ｃ氏とＤ氏の顔定義情報が登録されており、Ｃ氏が顔照合を行った際、当該照合画像が登録時とは異なる条件下で撮影された顔画像であった場合を例示したものである（なお、図４の例では、登録時の顔画像の撮影条件は未知である）。図中、ＰＣはＣ氏の登録画像から得られた元ベクトルを示し、ＰＣｘは元ベクトルＰＣから生成された仮想ベクトルを示し、ＦＣはＣ氏の顔定義情報を示す。また、ＰＤはＤ氏の登録画像から得られた元ベクトルを示し、ＰＤｘは元ベクトルＰＤから生成された仮想ベクトルを示し、ＦＤはＤ氏の顔定義情報を示す。また、Ｓは、Ｃ氏の照合画像から得られた特徴量のベクトルを示す。なお、ここでは、説明をわかりやすくするため、Ｘ、Ｙの２つの特徴量からなる２次元特徴量空間を示しているが、実際の装置では数十〜数百次元の特徴量空間が用いられる。
【００６２】
登録画像から得られる元ベクトルＰＣ、ＰＤは特徴量空間上の一点にすぎず、その撮影条件も未知であるため、元ベクトルＰＣ、ＰＤのみから顔定義情報ＦＣ、ＦＤの外延を正確に決定することは難しい。よって、登録画像と異なる条件下で撮影された照合画像を用いて顔照合を行おうとすると、図４（ａ）に示すように、Ｃ氏の照合画像であるにもかかわらず、Ｄ氏の顔であると誤判定される可能性がある。
【００６３】
これに対して、図４（ｂ）に示すように、元ベクトルＰＣ、ＰＤから他の条件２、３、４の仮想ベクトルＰＣ２〜ＰＣ４、ＰＤ２〜ＰＤ４を生成し（Ｃ氏とＤ氏で変換の傾向が異なるのは、元ベクトルＰＣ、ＰＤの撮影条件を表す情報成分が異なっていたことを意味する）、それら複数の条件のベクトルから顔定義情報ＦＣ、ＦＤを生成すると、より正確な外延を決定することができる。これにより撮影条件の違いに対するロバスト性を向上さ
せることができ、登録画像とは異なる条件の照合画像を用いても、正確に判定できるようになる。
【００６４】
本実施形態の手法では、撮影条件の変動を、ベクトルの変換という簡単な処理で実現している（つまり、特徴量ベースの変換処理。）。よって、従来のような画像ベースの変換処理に比べて、メモリ容量及び計算コストを大幅に削減することができる。しかも、登録時の撮影条件が未知でもよいことや、ベクトルの変換という処理が特徴量の種類や顔登録・顔照合の手法（アルゴリズム）に依存しないことなどから、特徴量を用いる顔照合技術全般に汎用的に適用できるものと考えられる。
【００６５】
＜特徴量変換器＞
特徴量変換器は、上述したように、元ベクトルを仮想ベクトルに変換するためのものである。特徴量変換器は、図５に示す特徴量変換器作成部５１の機能によって作成される。特徴量変換器作成部５１は、図５に示す画像入力部１０、画像記憶部１１、顔検出部１２、特徴点検出部１３、特徴量ベクトル抽出部１４を用いて特徴量変換器を作成し、特徴量変換器記憶部１８に記憶させる。
【００６６】
図６のフローチャートに沿って、特徴量変換器が作成されるまでの流れの一例について説明する。
【００６７】
まず、画像入力部１０から複数の顔画像（以下、「学習用画像」とよぶ。）を入力する（ステップＳ３０）。入力された学習用画像は画像記憶部１１に格納される。
【００６８】
学習用画像は誰の顔画像でもよく、例えば、雑誌やインターネットで公開されている人物の顔写真などでもよいし、特徴量変換器を作成するために撮影された顔画像であってもよい。
【００６９】
図８は、学習用画像の一例を示す図である。図８の例では、撮影条件１及び撮影条件３の下で撮影されたイさんの顔画像、撮影条件２〜４の下で撮影されたロさんの顔画像、撮影条件１〜４の下で撮影されたハさんの顔画像、撮影条件２及び撮影条件４の下で撮影されたニさんの顔画像を学習用画像としている。
【００７０】
図８の例では、４人の顔画像を学習用画像としているが、学習用画像は一人の人物の顔画像であってもよいし、複数の人物の顔画像であってもよい。なお、学習用画像は、条件変動空間を正確（撮影条件とベクトルの対応関係が一対一に近いほど正確な条件変動空間とする）に定義でき、且つ、条件変動空間内でのベクトルの分布の大まかな形が把握できる程度の数だけあればよい。条件変動空間は、特徴量空間とは異なる空間である。特徴量空間内のベクトルを条件変動空間に写像することにより、当該ベクトルから個人差を表す情報成分を除去することができる（条件変動空間の定義方法は後述する）。
【００７１】
また、様々な撮影条件の顔画像を入力できれば必要十分であるため、図８に示すように、学習用画像として複数の人物の顔画像を入力する場合、それぞれの人物について同じ数、同じ条件の学習用画像を入力する必要は無い。ただし、全ての学習用画像を合わせたものが、全ての環境に対応していることが望ましい。それにより、条件変動空間をより正確に定義でき、且つ、条件変動空間内のベクトルの分布の形状もより正確に把握することができ、ひいては、全ての撮影条件（環境変化）に対応できる特徴量変換器を作成することができる。
【００７２】
次に、顔検出部１２が学習用画像のそれぞれから人の顔を検出し、特徴点検出部１３が特徴点を検出し、特徴量ベクトル抽出部１４が学習用画像ごとの特徴量のベクトルを算出
する（ステップＳ３１〜Ｓ３３）。顔画像から特徴量を抽出する一連の処理については、顔照合時及び顔登録時のものと同じである。図８の例では、撮影条件１の下で撮影されたイさん及びハさんの顔画像から、それぞれベクトルＶイ１、Ｖハ１が算出され、撮影条件２の下で撮影されたロさん、ハさん、及び、ニさんの顔画像から、それぞれベクトルＶロ２、Ｖハ２、Ｖニ２が算出され、撮影条件３の下で撮影されたイさん、ロさん、及び、ハさんの顔画像から、それぞれベクトルＶイ３、Ｖロ３、Ｖハ３が算出され、撮影条件４の下で撮影されたロさん、ハさん、及び、ニさんの顔画像から、それぞれベクトルＶロ４、Ｖハ４、Ｖニ４が算出される。
【００７３】
そして、特徴量変換器作成部５１が、人物ごとに、その人物の特徴量の平均値（平均特徴量）を算出する（ステップＳ３４）。具体的には、平均特徴量は、その人物の特徴量の総和を求め（総和は一般的なベクトルの足し算により求めればよい）、当該総和を顔画像の枚数で除算することにより求まる。顔画像から抽出された特徴量は、個人差を表す情報成分に、変動成分である撮影条件の影響が付加されたものと考えられる。或る人物の特徴量の平均をとると、変動成分が減少し、その人の個人差を表す情報成分が強調される。つまり、平均特徴量は、その人の個人差を表す情報成分が強調された特徴量である。図８の例では、ベクトルＶイ１及びベクトルＶイ３を用いてイさんの平均特徴量ＶイＡが算出され、ベクトルＶロ２、ベクトルＶロ３、及び、ベクトルＶロ４を用いてロさんの平均特徴量ＶロＡが算出され、ベクトルＶハ１、ベクトルＶハ２、ベクトルＶハ３、及び、ベクトルＶハ４を用いてハさんの平均特徴量ＶハＡが算出され、ベクトルＶニ２及びベクトルＶニ4を用いてニさんの平均特徴量ＶニＡが算出される。なお、学習用画像として、その人
の様々な撮影条件下の顔画像を用いれば、平均特徴量として、その人の個人差を表す情報成分がより強調された特徴量を得ることができる（撮影条件の影響がより少ない特徴量を得ることができる）。
【００７４】
次に、特徴量変換器作成部５１が、ステップＳ３３で抽出された特徴量から、撮影条件を表す情報成分が強調された特徴量（条件特徴量）を算出する（ステップＳ３５）。具体的には、条件特徴量は、当該抽出された特徴量からその人の平均特徴量を減算することにより求まる。このようにして求められた条件特徴量は、当該抽出された特徴量から個人差を表す情報成分が除去された特徴量とみなせる。すなわち、当該条件特徴量は、撮影条件を表す情報成分が強調された特徴量とみなすことができる。
【００７５】
図９に、図８に示す学習用画像から条件特徴量を算出した例を示す。図９の例では、Ｖイ１からＶイＡを減算することにより条件特徴量Ｖイ１´が算出され、Ｖハ１からＶハＡを減算することにより条件特徴量Ｖハ１´が算出される。他の学習用画像についても同様に条件特徴量が算出される。
【００７６】
そして、特徴量変換器作成部５１が、条件変動空間を定義する（ステップＳ３６）。具体的には、ステップＳ３５で算出された条件特徴量の主成分分析の結果に基づいて決定された成分で構成される空間を条件変動空間とする。
【００７７】
上述したように、条件特徴量は、撮影条件を表す情報成分が強調された特徴量とみなすことができる。このような条件特徴量を主成分分析することによって、撮影条件の変動に非常に敏感な成分を得ることができる。当該成分を軸とする空間を条件変動空間と定義すれば、特徴量空間よりも少ない次元の空間として条件変動空間を定義することができる（条件変動空間を構成する成分の数はいくつであってもよい（第１主成分と第２主成分を軸とする２次元空間を条件変動空間とするなど））。このようにして定義された条件変動空間では、特徴量の個人差がベクトルの違いとして表されず、撮影条件の違いがベクトルの違いとして明確に表される。すなわち、条件変動空間内のベクトルは、撮影条件を表す情報成分が強調されたベクトルとみなせる。そのため、特徴量空間内のベクトルを条件変動
空間に写像することにより、当該ベクトルから個人差を表す情報成分を除去することができる。
【００７８】
例えば、同じ撮影条件で撮影されたＥ氏とＦ氏の顔画像から算出された特徴量のベクトルは、Ｅ氏とＦ氏の顔立ちがよほど似ていない限り、特徴量空間内ではそれぞれ方向・大きさの異なるベクトルとなるが（図７（ａ）のＰＥ及びＰＦ）、それらのベクトルは、条件変動空間内では略等しいベクトルとなる（図７（ｂ）のｐＥ及びｐＦ）。図７のｐＥとｐＦが完全に一致するような空間を定義することができれば（すなわち、撮影条件とベクトルとが一対一に対応するような空間が定義できれば）なおよい。そのような空間が定義できれば、元ベクトルから仮想ベクトルへの変換の精度が向上し、ひいては、より正確な顔定義情報を生成することができる。
【００７９】
次に、特徴量変換器作成部５１が、ステップＳ３３で算出されたベクトルを、条件変動空間に写像する（ステップＳ３７）。これにより、各学習用画像の撮影条件のばらつきを条件変動空間内のベクトルの分布として表すことができる。なお、当該写像は、特徴量空間と条件変動空間の定義に基づいて写像行列を作成し、当該行列をステップＳ３３で算出されたベクトルに乗算することにより実現することができる。図７（ｂ）に条件変動空間内に写像されたベクトルの一例を示す。図７（ｂ）の例では、当該写像された複数のベクトル７１が形状７２を形成していることがわかる。
【００８０】
次に、特徴量変換器作成部５１（又は、ユーザ）が、条件変動空間内のベクトルの分布（ステップＳ３７で条件変動空間に写像されたベクトルの分布）に基づいていくつかの基準点（基準変動ベクトル）を設定する（ステップＳ３８）。当該分布に基づいて基準変動ベクトルを設定することにより、撮影条件を網羅するような基準変動ベクトルを設定することができる。基準変動ベクトルは、当該分布に基づいて設定すればどのように選択されたベクトルであってもよい。例えば、条件変動空間の軸に沿った当該分布の最大値、最小値を基準変動ベクトルとして選択してもよいし、分布の密な部分から数多く選択してもよいし、当該分布の輪郭上から選択してもよいし、当該分布内でランダムに選択してもよい。基準変動ベクトルはいくつ設定してもよく、基準変動ベクトルの設定数だけ登録画像の特徴量ベクトルの変換を行うことができる（つまり、基準変動ベクトルの設定数が多ければ多いほど高精度な顔定義情報を生成することができる）。図７（ｂ）の例では、形状７２の輪郭上の５つの点が基準点７３ａ〜７３ｄ及び基準点Ｂとして決定される。
【００８１】
なお、上述したように、学習用画像は、条件変動空間（の各軸）、及び、当該条件変動空間内のベクトルの分布を得るために用いられるため、様々な条件で撮影された複数の顔画像であれば、夫々の撮影条件を把握していなくてもよい。そのため、変換器作成時の負担を減らすことができる。ただし、学習用画像が複数の人物の顔画像である場合、条件変動空間を得るには「どの人物の顔画像か」ということは把握していなければならない（ステップＳ３４で人物ごとの平均特徴量を算出するため）。なお、条件変動空間を得るための学習用画像と当該分布を得るための学習用画像は異なるものであってもよい。
【００８２】
特徴量変換器は、条件変動空間及び基準変動ベクトルを用いて作成される。以下に、特徴量変換器を用いた顔定義情報生成処理の一例を示す。
【００８３】
＜顔定義情報生成処理＞
特徴量変換器は、以下の式により元ベクトルＶ１から仮想ベクトルＶ２への変換を行う。
Ｖ２＝Ｖ１＋ＡＴ（Ｂ−ＡＶ１）
但し、Ａ：特徴量空間から条件変動空間への写像行列
Ｂ：基準変動ベクトル
【００８４】
図７及び上記の式を用いて顔定義情報生成処理を説明する。図７（ａ）の空間は特徴量空間、（ｂ）の空間は条件変動空間である。図７ではどちらの空間も２次元で表記されているが、２次元に限らず何次元でもよい。ただし、条件変動空間の方が特徴量空間より低次元になることが好ましい（上述したように条件変動空間を定義すれば、特徴量空間より低次元にすることが可能である）。条件変動空間を低次元にするほど少ない処理で変換が行える。
【００８５】
まず、変換器は特徴量空間内の元ベクトルＶ１を条件変動空間に写像する（Ｓ１）。具体的には、元ベクトルＶ１は、写像行列Ａによって条件変動空間に写像される。当該写像は、元ベクトルＶ１から個人差を表す情報成分を除去するためのものであり、これにより、元ベクトルＶ１は、撮影条件を表す情報成分が強調されたベクトルｖ１に変換される（ｖ１は上記式中のＡＶ１に相当する）。
【００８６】
次に、条件変動空間内において、予め設定された基準変動ベクトルＢとベクトルｖ１との差分ベクトルｖ３（上記式中のＢ−ＡＶ１に相当）を算出する（Ｓ２）。条件変動空間内のベクトルは撮影条件を表す情報成分が強調されたベクトルとみなせるため、条件変動空間内のベクトルの差は撮影条件の差に対応すると考えることができる。すなわち、差分ベクトルｖ３も、撮影条件の差を表すベクトルであると考えられる。
【００８７】
そして、当該差分ベクトルを条件変動空間から特徴量空間へ逆写像する（Ｓ３）。具体的には、差分ベクトルｖ３は、写像行列Ａの転置行列ＡＴによって特徴量空間に逆写像される。これにより、撮影条件の差を表すベクトル（差分ベクトル）を条件変動空間内のベクトルから特徴量空間内のベクトルに変換することができる。図７の例では、条件変動空間内の差分ベクトルｖ３が、特徴量空間内のベクトルＶ３（上記式中のＡＴ（Ｂ−ＡＶ１）に相当）に変換される。
【００８８】
次に、特徴量空間内において、当該逆写像されたベクトルＶ３を元ベクトルＶ１に加算する（Ｓ４）。上述したように、当該逆写像されたベクトルＶ３は撮影条件の差を表すベクトルとみなせるため、当該ベクトルＶ３を元ベクトルＶ１に加算することは、元ベクトルＶ１に撮影条件の差を加算することに相当する。すなわち、加算することにより得られるベクトルは、登録画像の撮影条件とは異なる条件における同一人の特徴量のベクトル、とみなすことができる。上記変換（計算）により、仮想ベクトルＶ２を得ることができる。
【００８９】
上記処理（Ｓ２〜Ｓ４の処理）を予め設定された他の４つの基準変動ベクトル７３ａ〜７３ｄそれぞれについても行い、合計５つの仮想ベクトルを得る（本実施形態で得られる仮想ベクトルの数は５つであるが、仮想ベクトルは設定された基準変動ベクトルの数だけ得られる。）。そして、元ベクトルと５つの仮想ベクトルから登録者の顔定義情報を生成する。
【００９０】
以上述べたように、本実施形態では、特徴量空間の他に、特徴量空間より低次元の空間であり、特徴量空間内のベクトルを、撮影条件を表す情報成分が強調されたベクトルとして表すことのできる空間として条件変動空間を定義し、条件変動空間内に撮影条件を網羅するような基準変動ベクトルを設定する。そして、顔登録の際に、登録画像の特徴量のベクトルを条件変動空間内に写像し、予め定められた基準変動ベクトルとの差分ベクトルを特徴量空間に逆写像し、登録画像のベクトルに加算する。これにより、新規登録者の１枚の顔画像から、当該新規登録者の異なる条件で撮影された顔画像の特徴量を効率的に生成することができる。様々な条件で撮影された新規登録者の顔画像から抽出される特徴量を得ることにより、正確な顔定義情報を生成することができ、ひいては顔照合の判定精度の
向上を図ることができる。
【００９１】
また、元ベクトルＶ１が、どのような撮影条件の顔画像から算出されたベクトルであっても（登録画像の撮影条件が未知であっても）、当該元ベクトルＶ１を条件変動空間に写像し、写像後のベクトルｖ１を得ることができる。そして、写像後のベクトルｖ１と基準変動ベクトルの差分ベクトルｖ３を特徴量空間に逆写像し、逆写像後のベクトルＶ３を得ることにより、仮想ベクトルＶ２を得ることができる。登録画像の撮影条件が未知でもよいため、汎用性に優れている。
【００９２】
なお、本実施形態では、抽出された特徴量からその人の平均特徴量を減算することにより条件特徴量を算出しているが、条件特徴量の算出方法はこの方法に限らない。例えば、学習用画像のうち、全ての人物について共通の撮影条件の下で撮影された顔画像がある場合には、当該撮影条件の下で撮影された顔画像の特徴量を基準として、条件特徴量を算出してもよい。この方法を用いれば、平均特徴量を算出せずに条件特徴量を得ることができる。
【００９３】
図１０は、図８の例とは異なる学習用画像の一例を示す図である。図１０の例では、各人物（イさん、ロさん、ハさん、ニさん）について共通の撮影条件（撮影条件２）があることがわかる。そこで、撮影条件２の下で撮影された顔画像の特徴量を基準とする。図８の例では、イさんについてはベクトルＶイ２が、ロさんについてはベクトルＶロ２が、ハさんについてはベクトルＶハ２が、ニさんについてはベクトルＶニ２が、基準となる。
【００９４】
そして、図１１に示すように、抽出された特徴量から基準となる特徴量を減算することにより条件特徴量を算出することができる。図１１の例では、Ｖイ１からＶイ２を減算することにより条件特徴量Ｖイ１´が算出され、Ｖハ１からＶハ２を減算することにより条件特徴量Ｖハ１´が算出される。他の学習用画像についても同様に条件特徴量を算出する。ただし、撮影条件２の下で撮影された顔画像の特徴量を基準とするため、撮影条件２における条件特徴量は、どの人物についても０になる。
【図面の簡単な説明】
【００９５】
【図１】図１は、顔照合装置の機能構成を示すブロック図である。
【図２】図２は、照合機能の処理の流れを示すフローチャートである。
【図３】図３は、登録機能の処理の流れを示すフローチャートである。
【図４】図４（ａ）は、元ベクトルのみから顔定義情報を生成した場合の誤判定を示す図であり、図４（ｂ）は、元ベクトルと仮想ベクトルから顔定義情報を生成した場合の正確な判定を示す図である。
【図５】図５は、特徴量変換器を作成するための機能構成を示すブロック図である。
【図６】図６は、特徴量変換器の作成の流れを示すフローチャートである。
【図７】図７は、特徴量の変換の流れを示す図であり、（ａ）は、特徴量空間を示す図であり、（ｂ）は、条件変動空間を示す図である。
【図８】図８は、学習用画像の一例を示す図である。
【図９】図９は、条件特徴量の算出方法の一例を示す図である。
【図１０】図１０は、学習用画像の一例を示す図である。
【図１１】図１１は、条件特徴量の算出方法の一例を示す図である。
【符号の説明】
【００９６】
１０ 画像入力部
１１ 画像記憶部
１２ 顔検出部
１３ 特徴点検出部
１４ 特徴量ベクトル抽出部
１５ 仮想特徴量ベクトル生成部
１６ 登録情報生成部
１７ 照合部
１８ 特徴量変換器記憶部
１９ 登録情報記憶部
５１ 特徴量変換器作成部
【特許請求の範囲】
【請求項１】
登録者の顔を定義する顔定義情報を記憶可能な記憶手段と、
照合対象者の顔画像から抽出された特徴量を前記記憶手段内の顔定義情報と比較することによって前記照合対象者の顔照合を行う照合手段と、
新規登録者の顔定義情報を生成して前記記憶手段に登録する登録手段と、を備え、
前記登録手段は、
前記新規登録者の顔画像から特徴量を抽出する特徴量抽出手段と、
変換器を用いて、前記抽出された特徴量から前記新規登録者の顔定義情報を生成する顔定義情報生成手段と、を有し、
前記変換器は、
顔画像から抽出された特徴量空間内の特徴量のベクトルを、当該ベクトルから個人差を表す情報成分を除去するために、前記特徴量空間とは異なる空間である条件変動空間に写像する写像手段と、
前記条件変動空間内において、予め設定された基準変動ベクトルと前記写像されたベクトルとの差分ベクトルを、撮影条件の差を表すベクトルとして求める差分ベクトル算出手段と、
前記差分ベクトルを前記条件変動空間から前記特徴量空間へ逆写像する逆写像手段と、
前記特徴量空間内において、前記逆写像されたベクトルを前記抽出された特徴量のベクトルに加算することにより前記顔定義情報を構成する特徴量のベクトルを生成する特徴量ベクトル生成手段と、を有する
ことを特徴とする顔照合装置。
【請求項２】
前記条件変動空間は、撮影条件とベクトルとが一対一に対応するように定義された空間である
ことを特徴とする請求項１に記載の顔照合装置。
【請求項３】
前記条件変動空間は、条件特徴量の主成分分析の結果に基づいて決定された成分で構成される空間であり、
前記条件特徴量は、様々な条件で撮影された複数の顔画像から抽出された特徴量のそれぞれから、その人物の特徴量の平均を減算することによって得られる特徴量である
ことを特徴とする請求項１〜請求項２のいずれか１項に記載の顔照合装置。
【請求項４】
前記条件変動空間内の基準変動ベクトルは、様々な条件で撮影された複数の顔画像から抽出された特徴量を前記条件変動空間に写像することによって得られるベクトルの分布に基づいて決定されるベクトルである
ことを特徴とする請求項１〜請求項３のいずれか１項に記載の顔照合装置。
【請求項５】
元のベクトルをＶ１、変換後のベクトルをＶ２、としたとき、
前記変換器は、
Ｖ２＝Ｖ１＋ＡＴ（Ｂ−ＡＶ１）
但し、Ａ：特徴量空間から条件変動空間への写像行列
Ｂ：基準変動ベクトル
である
ことを特徴とする請求項１〜請求項４のいずれか１項に記載の顔照合装置。
【請求項６】
登録者の顔を定義する顔定義情報を記憶可能な記憶手段を備え、照合対象者の顔画像から抽出された特徴量を前記記憶手段内の顔定義情報と比較することによって前記照合対象者の顔照合を行う顔照合装置
に対して新規登録者の顔を登録するための顔登録方法であって、
情報処理装置が、
新規登録者の顔画像から特徴量を抽出し、
変換器を用いて、前記抽出された特徴量から前記新規登録者の顔定義情報を生成し、
前記生成された顔定義情報を前記顔照合装置の記憶手段に登録する
顔登録方法であって、
前記変換器は、
顔画像から抽出された特徴量空間内の特徴量のベクトルを、当該ベクトルから個人差を表す情報成分を除去するために、前記特徴量空間とは異なる空間である条件変動空間に写像する写像手段と、
前記条件変動空間内において、予め設定された基準変動ベクトルと前記写像されたベクトルとの差分ベクトルを、撮影条件の差を表すベクトルとして求める差分ベクトル算出手段と、
前記差分ベクトルを前記条件変動空間から前記特徴量空間へ逆写像する逆写像手段と、
前記特徴量空間内において、前記逆写像されたベクトルを前記抽出された特徴量のベクトルに加算することにより前記顔定義情報を構成する特徴量のベクトルを生成する特徴量ベクトル生成手段と、を有する
ことを特徴とする顔登録方法。
【請求項７】
登録者の顔を定義する顔定義情報を記憶可能な記憶手段を備え、照合対象者の顔画像から抽出された特徴量を前記記憶手段内の顔定義情報と比較することによって前記照合対象者の顔照合を行う顔照合装置
に対して新規登録者の顔を登録するための顔登録プログラムであって、
情報処理装置に、
新規登録者の顔画像から特徴量を抽出する処理と、
変換器を用いて、前記抽出された特徴量から前記新規登録者の顔定義情報を生成する処理と、
前記生成された顔定義情報を前記顔照合装置の記憶手段に登録する処理と、
を実行させる顔登録プログラムであって、
前記変換器は、
顔画像から抽出された特徴量空間内の特徴量のベクトルを、当該ベクトルから個人差を表す情報成分を除去するために、前記特徴量空間とは異なる空間である条件変動空間に写像する写像手段と、
前記条件変動空間内において、予め設定された基準変動ベクトルと前記写像されたベクトルとの差分ベクトルを、撮影条件の差を表すベクトルとして求める差分ベクトル算出手段と、
前記差分ベクトルを前記条件変動空間から前記特徴量空間へ逆写像する逆写像手段と、
前記特徴量空間内において、前記逆写像されたベクトルを前記抽出された特徴量のベクトルに加算することにより前記顔定義情報を構成する特徴量のベクトルを生成する特徴量ベクトル生成手段と、を有する
ことを特徴とする顔登録プログラム。
【請求項１】
登録者の顔を定義する顔定義情報を記憶可能な記憶手段と、
照合対象者の顔画像から抽出された特徴量を前記記憶手段内の顔定義情報と比較することによって前記照合対象者の顔照合を行う照合手段と、
新規登録者の顔定義情報を生成して前記記憶手段に登録する登録手段と、を備え、
前記登録手段は、
前記新規登録者の顔画像から特徴量を抽出する特徴量抽出手段と、
変換器を用いて、前記抽出された特徴量から前記新規登録者の顔定義情報を生成する顔定義情報生成手段と、を有し、
前記変換器は、
顔画像から抽出された特徴量空間内の特徴量のベクトルを、当該ベクトルから個人差を表す情報成分を除去するために、前記特徴量空間とは異なる空間である条件変動空間に写像する写像手段と、
前記条件変動空間内において、予め設定された基準変動ベクトルと前記写像されたベクトルとの差分ベクトルを、撮影条件の差を表すベクトルとして求める差分ベクトル算出手段と、
前記差分ベクトルを前記条件変動空間から前記特徴量空間へ逆写像する逆写像手段と、
前記特徴量空間内において、前記逆写像されたベクトルを前記抽出された特徴量のベクトルに加算することにより前記顔定義情報を構成する特徴量のベクトルを生成する特徴量ベクトル生成手段と、を有する
ことを特徴とする顔照合装置。
【請求項２】
前記条件変動空間は、撮影条件とベクトルとが一対一に対応するように定義された空間である
ことを特徴とする請求項１に記載の顔照合装置。
【請求項３】
前記条件変動空間は、条件特徴量の主成分分析の結果に基づいて決定された成分で構成される空間であり、
前記条件特徴量は、様々な条件で撮影された複数の顔画像から抽出された特徴量のそれぞれから、その人物の特徴量の平均を減算することによって得られる特徴量である
ことを特徴とする請求項１〜請求項２のいずれか１項に記載の顔照合装置。
【請求項４】
前記条件変動空間内の基準変動ベクトルは、様々な条件で撮影された複数の顔画像から抽出された特徴量を前記条件変動空間に写像することによって得られるベクトルの分布に基づいて決定されるベクトルである
ことを特徴とする請求項１〜請求項３のいずれか１項に記載の顔照合装置。
【請求項５】
元のベクトルをＶ１、変換後のベクトルをＶ２、としたとき、
前記変換器は、
Ｖ２＝Ｖ１＋ＡＴ（Ｂ−ＡＶ１）
但し、Ａ：特徴量空間から条件変動空間への写像行列
Ｂ：基準変動ベクトル
である
ことを特徴とする請求項１〜請求項４のいずれか１項に記載の顔照合装置。
【請求項６】
登録者の顔を定義する顔定義情報を記憶可能な記憶手段を備え、照合対象者の顔画像から抽出された特徴量を前記記憶手段内の顔定義情報と比較することによって前記照合対象者の顔照合を行う顔照合装置
に対して新規登録者の顔を登録するための顔登録方法であって、
情報処理装置が、
新規登録者の顔画像から特徴量を抽出し、
変換器を用いて、前記抽出された特徴量から前記新規登録者の顔定義情報を生成し、
前記生成された顔定義情報を前記顔照合装置の記憶手段に登録する
顔登録方法であって、
前記変換器は、
顔画像から抽出された特徴量空間内の特徴量のベクトルを、当該ベクトルから個人差を表す情報成分を除去するために、前記特徴量空間とは異なる空間である条件変動空間に写像する写像手段と、
前記条件変動空間内において、予め設定された基準変動ベクトルと前記写像されたベクトルとの差分ベクトルを、撮影条件の差を表すベクトルとして求める差分ベクトル算出手段と、
前記差分ベクトルを前記条件変動空間から前記特徴量空間へ逆写像する逆写像手段と、
前記特徴量空間内において、前記逆写像されたベクトルを前記抽出された特徴量のベクトルに加算することにより前記顔定義情報を構成する特徴量のベクトルを生成する特徴量ベクトル生成手段と、を有する
ことを特徴とする顔登録方法。
【請求項７】
登録者の顔を定義する顔定義情報を記憶可能な記憶手段を備え、照合対象者の顔画像から抽出された特徴量を前記記憶手段内の顔定義情報と比較することによって前記照合対象者の顔照合を行う顔照合装置
に対して新規登録者の顔を登録するための顔登録プログラムであって、
情報処理装置に、
新規登録者の顔画像から特徴量を抽出する処理と、
変換器を用いて、前記抽出された特徴量から前記新規登録者の顔定義情報を生成する処理と、
前記生成された顔定義情報を前記顔照合装置の記憶手段に登録する処理と、
を実行させる顔登録プログラムであって、
前記変換器は、
顔画像から抽出された特徴量空間内の特徴量のベクトルを、当該ベクトルから個人差を表す情報成分を除去するために、前記特徴量空間とは異なる空間である条件変動空間に写像する写像手段と、
前記条件変動空間内において、予め設定された基準変動ベクトルと前記写像されたベクトルとの差分ベクトルを、撮影条件の差を表すベクトルとして求める差分ベクトル算出手段と、
前記差分ベクトルを前記条件変動空間から前記特徴量空間へ逆写像する逆写像手段と、
前記特徴量空間内において、前記逆写像されたベクトルを前記抽出された特徴量のベクトルに加算することにより前記顔定義情報を構成する特徴量のベクトルを生成する特徴量ベクトル生成手段と、を有する
ことを特徴とする顔登録プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００９−３１９９１（Ｐ２００９−３１９９１Ａ）
【公開日】平成２１年２月１２日（２００９．２．１２）
【国際特許分類】
【出願番号】特願２００７−１９４６８１（Ｐ２００７−１９４６８１）
【出願日】平成１９年７月２６日（２００７．７．２６）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２１年２月１２日（２００９．２．１２）
【国際特許分類】
【出願日】平成１９年７月２６日（２００７．７．２６）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]