説明

顔画像照合装置

【課題】登録顔画像に他人の顔画像を含めないよう更新する顔画像照合装置を提供する。
【解決手段】予め記憶している顔画像を順次入力される入力顔画像にて更新しつつ、顔画像にて本人を照合する顔画像照合装置において、予め3以上の顔画像を記憶している記憶部と、前記記憶部に記憶している3以上の顔画像について相互に類似している度合を示す相互類似度を算出し、前記相互類似度が最も大きい顔画像と入力顔画像との類似度が更新閾値を超えている場合に当該入力顔画像にて記憶している顔画像を更新する更新手段とを有する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、顔画像を用いて本人認証を行う顔画像照合装置に関し、特に予め登録している本人の登録顔画像を順次更新していく顔画像照合装置に関する。
【背景技術】
【0002】
近年、高度のセキュリティが必要とされる施設において利用者の入退室を管理する場合や機密データへのアクセスを制限する場合などに、身体的特徴をもとに本人を確認するいわゆる生体認証(バイオメトリクス)の手法が利用されている。身体的特徴には、指紋、眼球の虹彩、顔等の身体的特徴が用いられる。
【0003】
顔画像を用いた顔画像照合装置においては、照合時にビデオカメラ等にて撮影した入力顔画像と、予め登録している本人の顔画像である登録顔画像を照合して、入力顔画像が本人かどうか判定する。かかる顔画像照合装置は、部屋への入室管理に使用され、照合結果が本人と判定されれば扉の電気錠を解錠し、本人でないとされれば解錠せず警告等を行う。顔画像照合装置の利点は、不正利用の場合にビデオカメラの履歴をみることにより不審者の特定が容易であることがあげられる。
【0004】
ところで、人間の顔は、加齢・眼鏡の交換・化粧の具合などにより変動するため、登録顔画像を全く更新しないと、本人であっても本人でないと判定することがある。
このため、従来、顔画像照合装置では、適宜、登録顔画像を更新している。例えば、特許文献1には、本人と確認できたときの入力顔画像を登録顔画像に入れ替えて順次更新する本人確認装置が提案されている。
【特許文献1】特開平9−319877
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、生体認証の分野では、本人の入力顔画像を本人と判定する本人受理を100%に近づけ、他人の入力顔画像を本人と判定する他人受理を0%に近づけることを目指してはいるが、他人受理を0%にすることは、実際には非常に困難で、一定の割合で他人受理が発生するおそれがある。
【0006】
特許文献1に開示されているように、入力顔画像を用いて直接登録顔画像に入れ替えて更新すると、他人受理が発生したときの他人の入力顔画像が登録顔画像になってしまう恐れがある。登録顔画像に他人の顔画像が含まれると、他人受理率が当然上昇し、顔画像照合装置としての性能劣化を招くという課題があった。
【0007】
他方、顔画像照合装置は、本人と判定する入力顔画像は、本人の顔画像であることが圧倒的に多く、他人の顔画像である可能性は極めて少ないことが統計的に分かっている。
そこで、本発明は、顔画像照合装置において本人と判定された顔画像の統計的な性質を利用し、登録顔画像に他人の顔画像を含めないよう更新する顔画像照合装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
かかる課題を解決するために、本発明は、予め記憶している顔画像を順次入力される入力顔画像にて更新しつつ、顔画像にて本人を照合する顔画像照合装置において、予め3以上の顔画像を記憶している記憶部と、記憶部に記憶している3以上の顔画像について相互に類似している度合を示す相互類似度を算出し、相互類似度が最も大きい顔画像と入力顔画像との類似度が更新閾値を超えている場合に当該入力顔画像にて記憶している顔画像を更新する更新手段とを有した顔画像照合装置を提供する。
かかる構成により、第一の発明は、他人の顔画像に比較し、相互類似度が大きくなる本人の顔画像にて更新の判断を行うことができる。
【0009】
また、本発明の好適な態様では、更新手段は、前回の更新時からの所定期間内において本人の顔画像である可能性が最も高い入力顔画像を用いて更新処理を行う。
かかる態様では、入力顔画像の入力があるたびには更新せずに、所定期間ごとに最適な入力顔画像を用いて更新するので、他人の顔画像にて更新される可能性を低減することができる。
【0010】
また、本発明の好適な態様では、記憶部に予め記憶されている顔画像は、本人照合の基準となる登録顔画像に対応つけられた3以上の候補顔画像であり、更新手段は、前記登録顔画像と入力顔画像との類似度が本人であると判定する照合閾値を超えた入力顔画像を用いて更新処理を行う候補顔画像更新手段を有する。
かかる態様では、入力顔画像の中でも、登録顔画像との類似度からは本人であるとされた顔画像に限定されるので、他人の顔画像が候補顔画像に紛れる可能性が少なくなる。
【0011】
更に、好適な態様としては、更新手段が、登録顔画像の劣化の状況を判定し、劣化していると判定した場合に前記候補顔画像にて登録顔画像を更新する登録顔画像更新手段を持たせる。
かかる態様では、登録顔画像が容易に候補顔画像にて更新されてしまうことを防止できる。
【発明の効果】
【0012】
本発明によれば、加齢等の顔の変化に対応しつつ、他人の顔画像にて、照合に利用される予め記憶された顔画像に他人の顔画像が紛れ込むのを低減することができる。
【発明を実施するための最良の形態】
【0013】
以下、図を参照して、本発明にかかる顔画像照合装置を、出入口の扉に電気錠が設置されている部屋へのアクセス制御システムに適用した第一の実施形態を説明する。
【0014】
図1は、本発明にかかる顔画像照合装置100を備えたアクセス制御システム10全体の構成を示すブロック図である。アクセス制御システム10は、顔画像照合装置100、利用者の顔を撮影する撮像素子、レンズなどから構成されるカメラ150、利用者が操作して利用者情報(IDコードなど)を入力するキースイッチであるテンキー151、顔画像照合装置100からの出力に基づいて動作する扉に設置された電気錠160から構成されている。
【0015】
また、顔画像照合装置100は、接続しているカメラ150から顔画像を取得するインターフェースである入力部102、接続しているテンキー151から利用者情報を取得するインターフェースである選択入力部103、照合に使用する各種顔画像やプログラム等を記憶する記憶部104、顔画像から特徴を抽出するモジュールである特徴抽出部105、2つの顔画像の特徴を照合し判定するモジュールである照合部106、記憶部104に記憶される登録顔画像104a・候補顔画像104bを更新するためのモジュールである更新部107、接続している電気錠160に施錠または解錠信号を出力する出力部108、照合結果等を表示する表示部109、顔画像照合装置100の全体処理の制御を行う制御部101から構成されている。
【0016】
次に、顔画像照合装置100の各部について、詳細に説明する。
選択入力部103は、利用者によりテンキー151から入力された利用者を特定する番号(ID番号)を取得し、制御部101に出力する。例えば、オフィスビルなどでは、社員番号を入力する。テンキーの代わりにタッチパネルや、ICカードリーダーを用いてもよい。
【0017】
入力部102は、利用者がテンキー151を操作して入力したID番号が予め登録されたID番号であれば、カメラ150によって撮影された人物の顔画像を含む入力画像を取得し、制御部101に出力する。なお、入力画像取得のタイミングは、超音波センサ等を設置し、利用者の接近を検知することをトリガーとしてもよい。
【0018】
記憶部104は、フラッシュメモリやハードディスクなどの記憶媒体で実現し、利用者ごとの登録顔画像104a、複数の候補顔画像104b、登録顔画像104aと候補顔画像104bに関連づけられる利用者毎のID番号、および、撮像部102にて取得された入力画像を一時的に記憶する。本実施の形態では、画像そのものを記憶しているが、特徴抽出部105にて抽出された特徴量を各種顔画像に変えて記憶しておいても良い。特徴量を記憶すれば、必要な記憶容量の削減や処理スピードの向上を図ることができる。
【0019】
このほか、図示していないが、記憶部104には、特徴抽出部105で実行されるプログラムである抽出モジュール、照合部106にて実行されるプログラムである照合モジュール、更新部107にて実行されるプログラムである更新モジュール、それらの処理にて用いられる照合閾値、更新閾値、処理の状態を表すフラグなどの各種パラメータを記憶する。
【0020】
ここで、登録顔画像104aと、候補顔画像104bについて説明する。
登録顔画像104aは、本人照合の基準となる顔画像であって、入力顔画像が許可された本人の顔画像であるかを照合するときに使用する。なお、登録顔画像104aは、利用者1人につき1枚または2枚以上用意し、候補顔画像から後述する登録顔画像更新手段1071にて更新される。
【0021】
候補顔画像104bは、登録顔画像104aの更新に使用する顔画像であって、登録顔画像104aと照合して本人であると判定された入力顔画像である。なお、本実施の形態では、候補顔画像104bを登録顔画像104aの1枚につき3枚を用意しているが、3枚以上であればよい。また、候補顔画像104bは、後述する候補顔画像更新手段1072にて更新される。
登録顔画像104aを1人の利用者につき2枚以上用意する場合は、登録顔画像104a毎に候補顔画像104bを用意し、照合したときの判定に用いた登録顔画像104aに対応させる。
【0022】
登録顔画像104a、複数の候補顔画像104b、およびID番号は、対応付けられて記憶部104に記憶される。このID番号ごとの組が、顔画像照合装置100の利用者許可者ごとに記憶されている。
【0023】
特徴抽出部105、照合部106、および更新部107は、図示していないが記憶部104に記憶されている各種プログラムであるモジュールを制御部101にて実行される機能ブロックとして模式的に示している。
【0024】
特徴抽出部105は、入力画像から顔領域を切り出した入力顔画像を生成する顔画像切出手段1051と、入力顔画像・登録顔画像104aおよび候補顔画像104bの各種顔画像から照合に有用な特徴量を算出する特徴量算出手段1052を有する。
【0025】
顔画像切出手段1051は、予め多数の顔画像と顔が写っていない非顔画像にて学習させたニューラルネットを用いて、入力部102から入力された入力画像から入力顔画像を生成する。
【0026】
具体的なニューラルネットの学習方法は、先ず、予め多数の顔画像と顔が写っていない非顔画像を学習用として用意する。次に、学習用顔画像は手動で両目の位置を抽出し、両目の位置をそろえることで顔の位置や向きを正規化し、顔領域を切り出したのちに一定のサイズ(例えば32×32画素)に正規化する。さらに、各顔領域内の輝度の平均と分散をあらかじめ定められた一定の値になるよう正規化することで明るさの違いの影響を軽減し、学習用顔画像セットとする。一方の非顔画像も、画像中の適当な部位を切り出して、画像サイズと輝度の平均・分散を顔画像セットと同様に正規化し、学習用非顔画像セットとする。なお、ニューラルネットは、一般的な、入力層、中間層、出力層の3階層のものを用いている。
かかるニューラルネットに対し、顔画像と非顔画像を入力し、顔画像を入力したときは出力が1に、非顔画像を入力したときには出力が0になるように正解を与え、ニューラルネットに学習させる。学習方法は、一般的な誤差逆伝搬法を用いる。このようにして学習した識別機は、顔画像が入力されると1に近い値を、非顔画像が入力されると0に近い値を出力するようになる。画像をニューラルネットに画像を入力したときに、ニューラルネットから出力される出力値を顔検出スコアと呼ぶ。
【0027】
したがって、顔画像切出手段1051は、入力画面から任意の領域を矩形に切り出し、学習時と同じ正規化(ここでは、サイズを32×32画素に、輝度の平均と分散を学習時と同じ設定値に正規化)をした後に、ニューラルネットに入力する。切り出す矩形の場所と大きさを変えて、画面全体をサーチし、最も顔検出スコアが大きかった矩形について、顔検出スコアがあらかじめ定められた閾値以上であれば、その矩形を顔領域として抽出する。かかる矩形の顔領域の画像を入力顔画像として切り出し、記憶部104に記憶させる。
【0028】
特徴量算出手段1052は、記憶部104に記憶されている入力顔画像、登録顔画像104a、候補顔画像104bから本人判定のための特徴量を算出する。
具体的には、特徴量を抽出したい顔画像から目尻、目頭、口の端部、口の中心などの人の特徴を呈する特徴点をテンプレートマッチング法にて抽出する。テンプレートマッチング法は、目尻等の特徴点ごとに予め用意したテンプレート画像と入力画像をずらしマッチング処理する一般的な方法なので、詳細な説明は省略する。他の方法を用いても良い。
【0029】
次に特徴量算出手段1052は、抽出された各特徴点に対して、特徴点を中心に設定しガボールフィルタを作用させ、各特徴点近傍における方向、周波数、広がり、位置等の特徴量を算出する。ガボールフィルタを使用することにより、特徴点の周囲の局所的な画像から特徴量を算出できるので、照明の変化などによる全体的な輝度の変化の影響を避けつつ、特徴量を抽出することが可能となる。そして、特徴量算出手段1052は、算出した特徴量を顔画像とともに記憶部104に記憶する。なお、特徴点の部位や、特徴の種類に応じて重み付けをしてもよい。また、生体的特徴を現すパラメータであれば、本実施例に限らず、他のパラメータを用いても良い。
【0030】
照合部106は、記憶部104に記憶された入力顔画像、登録顔画像または候補顔画像のうち2枚を比較し、同一人物の顔画像か否かの照合を行う。照合部106は、類似度算出手段1061と判定手段1062からなる。
【0031】
類似度算出手段1061は、2枚の顔画像について、特徴抽出部105にて算出した特徴量同士の類似度を算出する。例えば、入力顔画像の特徴量と、登録顔画像の特徴量を記憶部104からそれぞれ読み出す。次に、各特徴量をベクトルとみなし、各ベクトルの差を計算した差分ベクトルの長さの逆数が類似度である。類似度は、概念的に2枚の画像が類似している度合である。このため、本実施の形態では特徴量ベクトルを用いて数値化を試みているが、これに限られるものではなく、ユークリッド距離など他の方式を用いても良い。類似度算出手段1061にて算出した類似度は、判定手段1062または更新部107へ送出する。
【0032】
判定手段1062は、入力顔画像が登録顔画像104aの顔画像の本人か否かを判定する。すなわち、判定手段1062は、類似度算出手段1061にて算出された類似度と、記憶部104に予め記憶されている照合閾値とを比較して、入力顔画像が登録顔画像104aの本人であるかどうかの判定を行う。判定結果が、本人と判定された場合は、出力部108を介して電気錠160に出力され、電気錠160を解錠する。なお、本人でない場合は、出力しない。また、判定結果は、表示部109に判定結果として出力され、本人であれば照合OKの旨、本人でなければ照合NGの旨を表示部109にて利用者に表示される。
【0033】
更新部107は、登録顔画像104aの更新を行う登録顔画像更新手段1071と、候補顔画像104bの更新を行う候補顔画像更新手段1072を有している。
登録顔画像更新手段1071は、複数の候補顔画像104bから他人の顔画像の可能性の低いものを特定し、登録顔画像104aを更新する。
【0034】
登録顔画像更新手段1071は、判定手段1062にて本人であると判定し、且つ登録顔画像更新可フラグがONの場合に処理を開始し、複数の候補顔画像104bから登録顔画像104aを更新する候補顔画像104bを選択し、選択した候補顔画像104bにて登録顔画像104aを更新する処理である。
【0035】
具体的には、登録顔画像更新手段1071は、記憶部104から更新対象となった登録顔画像104aに対応する3枚の候補顔画像104bを読み出す。次に、類似度算出手段1061に読み出した候補顔画像104bの類似度を算出させて、図4に示すように3つの類似度を取得する。ここでは、候補顔画像1と候補顔画像2との類似度を類似度A、候補顔画像2と候補顔画像3との類似度を類似度B、候補顔画像3と候補顔画像1との類似度を類似度Cと便宜的に呼ぶ。
【0036】
次に、候補顔画像がその他の候補顔画像と相互に類似する程度である相互類似度を算出する。具体的には、候補顔画像1では、類似度Aおよび類似度Cの平均値を相互類似度1として算出する。候補顔画像2では、類似度Bおよび類似度Aの平均値を相互類似度2として算出する。候補顔画像3では、類似度Cおよび類似度Bの平均値を相互類似度3として算出する。すなわち、「相互類似度1=(類似度A+類似度C)/2」「相互類似度2=(類似度B+類似度A)/2」「相互類似度3=(類似度C+類似度B)/2」にて、各候補顔画像の相互類似度を算出する。
【0037】
次に、各候補顔画像の相互類似度を比較し、最も類似度が高い候補顔画像104bを特定する。例えば、比較結果が相互類似度1>相互類似度2>相互類似度3との結果であれば、相互類似度1が最も類似度が高いので、候補顔画像1を特定する。そして、特定した候補顔画像1にて登録顔画像104aを更新する。
【0038】
ここで、相互類似度が最も高い候補顔画像104bとは、複数の候補顔画像の何れにも似ている度合が最も高いので、候補顔画像のうち最も本人の顔画像の可能性が高く、他人の顔画像である可能性が最も低い候補顔画像である。
【0039】
アクセス制御システム10の運用では、他人による詐称行為や他人受理によって他人の顔画像が候補顔画像104bに紛れる頻度と比べれば、本人の顔画像が候補顔画像104bとなる方が圧倒的に多い。したがって、他人の候補顔画像104bは、複数の候補顔画像104bの中で他の候補顔画像104bとの類似度が低いので、逆に本人の候補顔画像104bは相互類似度が最も高いものとなる。なお、本実施の形態では、相互類似度が最も高い候補顔画像104bにて更新するようにしたが、候補顔画像104bの数を多くすれば、最高でなくてもある程度上位になっている候補顔画像104bを特定するようにしても良い。
【0040】
本実施の形態では、候補顔画像104bのみについて相互類似度を求めるとしていたが、登録顔画像104aも併せて相互類似度を求めても良い。
【0041】
次に、候補顔画像更新手段1072を説明する。候補顔画像更新手段1072は、判定手段1062にて本人であると判定した場合に処理を開始し、複数の候補顔画像104bの内最も他人の顔画像の可能性が高いものと、入力顔画像を入れ替えて更新する。
【0042】
候補顔画像更新手段1072の処理について、図3を参照し詳細に説明する。図3は、候補顔画像更新手段の処理フローである。
まず、S200では、後述するS208にて求めた候補顔画像104bの相互類似度のうち、最も高い候補顔画像を特定し、記憶部104から読み出す。ここでは、候補顔画像1が特定されたとする。ここで、相互類似度の最も高い候補顔画像1を選択するのは、候補顔画像1が最も他人の顔画像である可能性が低く、本人の顔画像の可能性が高いからである。そして、候補顔画像1と入力顔画像の類似度(類似度1)を類似度算出手段1061にて算出する。
【0043】
S202では、かかる候補顔画像1との類似度1が、記憶部104に記憶されている更新閾値を超えているか否か比較し、候補顔画像104bの更新をするかどうかを判定する。すなわち、類似度1が更新閾値以下の場合は、入力顔画像は候補顔画像104bの更新には不適切であると判定し、更新せずに、この候補顔画像更新処理を終了する。
【0044】
S202にて、類似度1が更新閾値より大きい場合は、入力顔画像は候補顔画像104bの更新に適切なものであると判定し、S204に進む。更新閾値は、類似度算出方法・照合精度等に依存する。候補顔画像104bは、登録顔画像104aに更新される可能性があるので、他人の可能性を極力排斥する必要があるので、更新閾値は高く設定する方がよい。他方、あまり高い更新閾値を設定すると、加齢等による本人の顔変化に追従できなくなる。したがって、更新閾値は、これらの要素を考慮しつつ、経験的に決定される。
【0045】
S204では、S200と同様に、類似度算出手段1061にて候補顔画像2と入力顔画像の類似度(類似度2)、候補顔画像3と入力顔画像の類似度(類似度3)を算出する。
【0046】
S206では、類似度1、類似度2および類似度3の中で、最小の類似度である候補顔画像104bを選択し、候補顔画像104bを入力顔画像で置き換える。
【0047】
入力顔画像との類似度が最小な候補顔画像104bとは、本人と判定された入力顔画像と最も似ていない候補顔画像104bであることを意味している。他人受理が発生し、且つ候補顔画像104bに他人の顔画像が紛れ込んでいたとしても、他人の候補顔画像との類似度は、本人の候補顔画像よりも低いので、候補顔画像104bに紛れ込んでいる他人の候補顔画像を入力顔画像に更新することができる。よって、他人の顔画像が候補顔画像104bに紛れても、いち早く当該候補顔画像104aを本人の入力顔画像にて更新することが可能となる。
【0048】
S208では、更新された候補顔画像104bの相互類似度を算出する。
候補顔画像更新手段1072は、更新された候補顔画像104bを含めて相互の類似度を算出させて、3つの類似度を取得する。登録顔画像更新手段1071の場合と同様に、候補顔画像1と候補顔画像2との類似度を相互類似度A、候補顔画像2と候補顔画像3との類似度を類似度B、候補顔画像3と候補顔画像1との類似度を類似度Cと便宜的に呼ぶ。
【0049】
次に、候補顔画像がその他の候補顔画像と相互に類似する程度である相互類似度を算出する。具体的には、候補顔画像1では、類似度Aおよび類似度Cの平均値を相互類似度1として算出する。候補顔画像2では、類似度Bおよび類似度Aの平均値を相互類似度2として算出する。候補顔画像3では、類似度Cおよび類似度Bの平均値を相互類似度3として算出する。すなわち、「相互類似度1=(類似度A+類似度C)/2」「相互類似度2=(類似度B+類似度A)/2」「相互類似度3=(類似度C+類似度B)/2」にて、各候補顔画像の相互類似度を算出する。
【0050】
次に、各候補顔画像の相互類似度を比較し、最も類似度が高い候補顔画像104bを特定する。例えば、比較結果が相互類似度1>相互類似度2>相互類似度3との結果であれば、相互類似度1が最も類似度が高いので、S200にて使用する候補顔画像1を選択し、候補顔画像更新手段1072の処理を終了する。
【0051】
ここで、相互類似度が最も高い候補顔画像104bとは、複数の候補顔画像の何れにも似ている度合が最も高いので、複数の候補顔画像104bのうち最も本人の顔画像の可能性が高い候補顔画像104bである。
【0052】
アクセス制御システム10の運用では、他人による詐称行為や他人受理によって他人の顔画像が紛れる頻度に比べると、本人による正しい本人受理による本人の顔画像が候補顔画像104bになる方が圧倒的に多い。したがって、本人の候補顔画像104bは、複数の候補顔画像104bの中で他の候補顔画像104bとの類似度が最も高くなる。
【0053】
出力部108は、判定手段1062にて本人であると判定した場合、顔画像照合装置100に接続されている外部の機器である電気錠160に対して、解錠信号または施錠信号を出力するインターフェースである。
【0054】
表示部109は、本実施の形態では、LEDにて実現しているが、液晶表示装置やタッチパネルを用いて、テンキー151と共用としてもよい。
【0055】
制御部101は、CPU、DSP,メモリ等により実現され、顔画像照合装置100の各部を記憶部104等に記憶されている各種プログラムにしたがって制御する。
【0056】
以上のように構成されたアクセス制御システム10の照合動作及び顔画像の更新動作について図2および図5に示されたフロー図を用いて説明する。なお、以下の説明では、初期設定として、顔画像照合装置100について特別な権限をもつ管理者が、各利用者の顔を撮影して、登録顔画像104aを記憶部104に記憶済みであり、ID番号の設定も終了しているとする。また、候補顔画像104bは、初期状態では登録顔画像104aをコピーして記憶しておく。
【0057】
図2は、第一の実施形態にかかる照合動作および更新動作の全体を示すフロー図である。
S100では、利用者がテンキー151を操作して自分のID番号を選択操作すると、選択入力部103からID番号が入力される。制御部101では、入力されたID番号が記憶部104に記憶されているID番号と一致しているか否かを判定し、一致していればステップS102へ進む。他方、図示していないが、一致するID番号が記憶されていなければ、照合動作することなく終了する。
【0058】
S102では、制御部101は、入力部102を制御し、カメラ150にて撮影した利用者の顔部分を含む入力画像を取得する。
【0059】
S104では、照合部106にて利用者が本人か否かの照合処理を行う。
先ず、特徴抽出部105の顔画像切出手段1051にて、入力画像から顔領域を切り出し、入力顔画像を生成し記憶部104へ一旦記憶する。
次に、特徴抽出部105の特徴量算出手段1052にて、記憶部104に記憶された登録顔画像104aと入力顔画像のそれぞれの特徴量を算出する。なお、本実施の形態では、記憶部104に登録顔画像を記憶し照合のたびに特徴量を算出しているが、登録顔画像104aを画像そのものではなく特徴量を記憶しているときは、入力顔画像についてのみ行う。次いで、照合部106の類似度算出手段1061にて、入力顔画像と登録顔画像104cの特徴量から類似度を算出する。この類似度を類似度Sとする。
【0060】
S106では、判定手段1062にて、記憶部104に記憶されている本人判定用の照合閾値と類似度Sを比較し、類似度Sが照合閾値より大きいならば照合成功(利用者は許可者本人である)として、処理をS110に進み、類似度Sが照合閾値以下ならば照合失敗(利用者は他人)として処理をS108に進む。
【0061】
ここで、照合閾値は、特徴量の定義方法に依存するものであり、経験的に決定されるものである。例えば、あらかじめ多数の顔画像を用いて実験を行い、閾値と他人受入率、本人拒否率の関係を調べた上で、顔照合装置の用途に応じた適切な照合精度を確保できるように決定する。
【0062】
S108では、照合失敗の旨を表示部109に出力し、S100のID番号の入力を待つ。当然、かかる場合は、電気錠160への施錠または解錠の信号は出力されない。
S110では、出力部108から接続されている電気錠160に施錠または解錠信号を出力するとともに、表示部109に照合成功の旨を表示する。
【0063】
S112では、更新部107の候補顔画像更新手段1072にて候補顔画像更新処理を行う。
【0064】
S114では、登録顔画像更新条件判定を行う。登録顔画像更新条件判定とは、登録顔画像104aが更新すべき程度に劣化しているか否かを判定する処理である。図5を参照して、かかる処理について説明する。
【0065】
図5は、当該処理に関するフロー図である。登録劣化カウンタは0、登録顔画像更新許可フラグはOFFをそれぞれ初期値としている。
S300では、S112にて候補顔画像更新の際(S200)に算出した類似度1と、S104にて算出した類似度を比較する。類似度Sは登録顔画像104bと入力顔画像の類似度であり、類似度1は複数の候補顔画像104bの相互類似度が最高のものと入力顔画像の類似度である。このため、類似度Sが類似度1より小さいという状態は、登録顔画像104aよりも候補顔画像104bの方が、入力顔画像と類似していることを示している。従って、このような状態が続くのであれば、登録顔画像104aを候補顔画像104bで置き換えた方が良いことになる。
そこで、類似度Sが類似度1より小さい場合は、登録劣化カウンタの値に1加算し(S304)、次のS306に処理を移す。他方、類似度Sが類似度1以上の場合は、登録劣化カウンタを0にリセットし(S302)、登録顔画像更新条件判定処理(S114)を終了する。
【0066】
S306では、登録劣化カウンタが所定数をカウントしたか否か判定する。この所定数は、経験的に求められる。多く設定すると、登録顔画像104aの劣化への対応が遅くなり、少なく設定すると劣化への対応は早くなるが頻繁に登録顔画像104aが更新されることによる他人の顔画像による更新リスクが高くなる。所定数は、これらを考慮し、経験的に決められる。
【0067】
S306にて、所定数に達していないと判断すると、登録顔画像更新条件判定処理を終了する。他方、所定数に達していれば、S308へ進む。
【0068】
S308では、登録顔画像更新許可フラグをON、および、登録劣化カウンタを0クリアし、登録顔画像更新条件判定処理を終了する。
【0069】
図2に戻って、S116では、登録顔画像更新許可フラグがONになっているかどうかを調べ、ONになっている場合にはS118へ進む。他方、OFFの場合は登録顔画像の更新は行わず、S100に戻り、再度テンキー151の操作がされるのを待つ。
【0070】
S118では、登録顔画像更新手段1071にて登録顔画像104aを更新する処理を実行し、S119にて登録顔画像更新許可フラグをOFFにしてS100に戻る。
【0071】
次に、第一の実施形態では、照合の度に候補顔画像104bを更新するかどうかの判断を行っていたが、候補顔画像104bの更新を所定期間毎に行うようにしても良い。例えば、オフィスビルでは極端に利用者が減る週末に更新する運用に適したものである。
【0072】
具体的には、図2において照合成功と判断されたS106のYESと補顔画像更新処理であるS112の間へ、図6に示す予備顔画像更新処理を追加することにより実現される。かかる処理は、記憶部104に記憶されている予備顔画像更新手段(不図示)として、処理プログラムのモジュールが制御部101にて実行される。図6は、予備顔画像更新手段の処理フローである。
【0073】
予備画像更新処理は、図2のステップS106においてYESと判断されることにより、開始される。
S500では、図3におけるS208にて算出した相互類似度が最も高い候補顔画像104bを特定し、特定された当該候補顔画像104bと入力顔画像との類似度を類似度算出手段1061にて算出する。
【0074】
S502では、S500にて算出した類似度が、記憶されている予備顔画像の保持スコアより大きいか否か判定する。S502にて、小さいと判定した場合は、予備顔画像を更新せずにS505に進み、大きいと判定すればS504に進む。なお、保持スコアは、照合閾値が初期値として設定されている。
【0075】
S504では、予備顔画像を今回の入力顔画像にて更新し、S500にて算出した類似度にて保持スコアを更新する。
【0076】
S505では、前回、候補顔画像104bを更新して以後、一定期間が経過したか否かを判定する。一定期間が経過していない場合は、候補顔画像104bの更新を行わず、S114に進む。一定期間が経過している場合は、S506に進む。
【0077】
S506では、保持スコアを照合閾値にリセットし、図2におけるS112の処理に進む。
【0078】
S112において、第一の実施の形態では、入力顔画像に対して処理を行っているが、第二の実施の形態では現在記憶されている予備顔画像に対して処理を行う点と、S505における一定時間が起算される点が異なる。
【0079】
予備顔画像は、既にS106にて照合成功の結果が得られている顔画像であり、かつ、一定期間内で他人の顔画像の恐れが少ない候補顔画像104bと入力顔画像との類似度が最も大きかったものである。仮にこの期間に他人受理があっても、一般的には候補顔画像104bとの類似度は他人よりも本人の方が高くなるため、この期間内に本人もアクセス制御システム10を利用していれば、予備顔画像が他人の顔画像である可能性は極めて低い。このことは、アクセス制御システム10について、通常の運用であれば、他人による詐称行為や他人受理の頻度に比べると、本人による正しい本人受理の方が圧倒的に多い、ということができることを利用したものである。
【0080】
第一の実施形態では、照合の度に候補顔画像104bの更新の判断を行い、処理対象は候補顔画像104b全体であるが、一旦、候補顔画像104bが更新された場合に、一定期間はその更新された候補顔画像104bのみ更新を許すことにして、それ以外の候補顔画像104bは更新させないようにしても良い。その一定期間が過ぎるまでに本人がアクセス制御システム10の操作を行えば、悪意のある他人の顔画像で候補顔画像104bが更新されていても、その他人の顔画像となっている候補顔画像104bが更新されるため、登録顔画像104aが誤って他人の顔画像で更新される危険性を下げることができる。
【0081】
さらに、登録顔画像の更新は、全体を更新するのではなく、目や鼻や口などの、顔の部品毎に更新を行っても良い。この場合、相互類似度や相互類似度平均も、部品毎に求める。即ち、部品毎に相互類似度平均が最大となる候補顔画像の部品を採用し、登録顔画像のその部品とする。
【図面の簡単な説明】
【0082】
【図1】発明にかかる顔画像照合装置を備えたアクセス制御システム全体の構成を示すブロック図
【図2】第一の実施形態にかかる照合動作および更新動作の全体を示すフロー図
【図3】第一の実施形態にかかる候補顔画像更新手段の処理を示すフロー図
【図4】候補顔画像の相互類似度を示す概念図
【図5】第一の実施形態にかかる登録顔画像更新条件判定処理を示すフロー図
【図6】第二の実施形態にかかる予備顔画像の更新処理を示すフロー図
【符号の説明】
【0083】
10 アクセス制御システム
100 顔画像照合装置
101 制御部
102 入力部
103 選択入力部
104 記憶部
104a 登録顔画像
104b 候補顔画像
105 特徴抽出部
106 照合部
107 更新部
1071 登録顔画像更新手段
1072 候補顔画像更新手段
108 出力部
109 表示部
150 カメラ
151 テンキー
160 電気錠



【特許請求の範囲】
【請求項1】
予め記憶している顔画像を順次入力される入力顔画像にて更新しつつ、顔画像にて本人を照合する顔画像照合装置において、
予め3以上の顔画像を記憶している記憶部と、
前記記憶部に記憶している3以上の顔画像について相互に類似している度合を示す相互類似度を算出し、前記相互類似度が最も大きい顔画像と入力顔画像との類似度が更新閾値を超えている場合に当該入力顔画像にて記憶している顔画像を更新する更新手段と、
を有することを特徴とした顔画像照合装置。
【請求項2】
前記更新手段は、前回の更新時から所定期間内において本人の顔画像である可能性が最も高い入力顔画像を用いて更新処理を行う請求項1に記載の顔画像照合装置。
【請求項3】
前記記憶部に予め記憶されている顔画像は、本人照合の基準となる登録顔画像に対応付けられた3以上の候補顔画像であり、
前記更新手段は、前記登録顔画像と入力顔画像との類似度が本人であると判定する照合閾値を超えた入力顔画像を用いて更新処理を行う候補顔画像更新手段を有する請求項1または請求項2に記載の顔画像照合装置。
【請求項4】
前記更新手段は、前記登録顔画像の劣化の状況を判定し、劣化していると判定した場合に前記候補顔画像にて登録顔画像を更新する登録顔画像更新手段を更に有する請求項3に記載の顔画像照合装置。



【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2007−299186(P2007−299186A)
【公開日】平成19年11月15日(2007.11.15)
【国際特許分類】
【出願番号】特願2006−126337(P2006−126337)
【出願日】平成18年4月28日(2006.4.28)
【出願人】(000108085)セコム株式会社 (596)
【Fターム(参考)】