説明

個人認証装置及び個人認証方法

【課題】顔特徴データを用いて個人認証を行う個人認証装置において、認証完了までに要する時間を短縮する個人認証装置を提供する。
【解決手段】登録顔データベース150には、同一人について、粗照合用顔特徴データと本照合用顔特徴データとが紐付けて登録されている。検出部120は、遠距離カメラ11から遠距離顔画像、近距離カメラ21から近距離近距離顔画像をリアルタイムで入力する。抽出部130は、遠距離顔画像から粗照合用顔特徴データを抽出し、近距離顔画像から本照合用顔特徴データを抽出する。照合部140は、登録顔データベース150から、抽出された粗照合用顔特徴データに一致する粗照合用顔特徴データを検索し、1以上の粗照合用顔特徴データがヒットするとその粗照合用顔特徴データに紐づけられた本照合用顔特徴データを特定し、特定した本照合用顔特徴データのなかに抽出された本照合用対象データと一致するものがあるか判定する。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は個人を認証する個人認証装置に関する。
【背景技術】
【0002】
下記の特許文献1(特開2008−108243号)によると、下記の特許文献1における図1のように、ユーザに認識され易いカメラと、認識されにくいカメラとでユーザを撮像して顔照合することで、不審者らしい人物かどうかの判定を実施した上で、顔照合によるユーザの認証が実現される。しかし、2つのカメラでの撮像完了後、撮像した顔画像から特徴量となる顔データを読み取り、登録済みの全顔データとの照合を実施するため、認証完了までに長時間を要するという課題がある。
【特許文献1】特開2008−108243号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
この発明は、顔特徴データを用いて個人認証を行う個人認証装置において、認証完了までに要する時間を短縮する個人認証装置の提供を目的とする。
【課題を解決するための手段】
【0004】
この発明の個人認証装置は、
遠距離の位置にいる人物の顔を含む画像である遠距離顔画像と、前記人物の顔を含む画像であって前記遠距離の位置よりも近距離の位置において撮影された近距離顔画像とをリアルタイムで入力する顔画像入力部と、
前記遠距離顔画像から前記人物の顔の特徴を示すデータであって第1の照合に使用される顔特徴データである第1照合用対象データを抽出すると共に、前記近距離顔画像から前記人物の顔の特徴を示すデータであって第2の照合に使用される顔特徴データである第2照合用対象データを抽出する抽出部と、
前記第1の照合に使用される真正な顔特徴データである第1照合用顔特徴データと前記第2の照合に使用される真正な顔特徴データである第2照合用顔特徴データとが同一人について対応付けられた複数人ぶんの情報をデータベースとして格納する格納装置の前記データベースのなかから前記抽出部によって抽出された前記第1照合用対象データに一致すると認められる前記第1照合用顔特徴データを前記第1の照合によって検索し、1以上の前記第1照合用顔特徴データがヒットするとヒットした前記第1照合用顔特徴データに対応する前記第2照合用顔特徴データを前記第2の照合によって特定し、特定された前記第2照合用顔特徴データのなかに前記抽出部により抽出された前記第2照合用対象データと一致すると認められる前記第2照合用顔特徴データがあるかどうかを判定する照合部と
を備えたことを特徴とする。
【発明の効果】
【0005】
この発明の個人認証装置により、顔特徴データを用いて個人認証を行う個人認証装置において、認証完了までに要する時間を短縮する個人認証装置を提供することができる。
【発明を実施するための最良の形態】
【0006】
実施の形態1.
図1〜図4を参照して、実施の形態1の個人認証装置100を説明する。個人認証装置100は、顔特徴データを用いた本照合による個人認証を実行する場合、まず粗照合によって本照合の候補となる本照合用の顔特徴データを絞り込んでおき、本照合の際には、絞り込まれた本照合用の顔特徴データを用いて本照合を実行する装置である。これにより、認証完了までの時間を短縮する。
【0007】
図1は、個人認証装置100のブロック図である。個人認証装置100は、近づいてくるユーザ1を狭画角の遠距離カメラ11で撮像して粗照合(第1の照合)し、個人認証装置100の前に立ったユーザ1を近距離カメラ21で撮像して本照合(第2の照合)する。これにより、個人認証装置100は、短時間で高精度な個人認証を行う。個人認証装置100は、上位システム2(所定の出力先の一例)に照合結果を出力する。
【0008】
図1に示すように、個人認証装置100は、遠距離カメラ11、近距離カメラ21、検出部120、抽出部130、照合部140、登録顔データベース150(格納装置の一例)を備える。検出部120は遠距離顔検出部12、近距離顔検出部22から構成され、抽出部130は、粗照合用顔特徴データ抽出部13、顔特徴データ抽出部23から構成され、照合部140は、粗照合部14、本照合部24から構成される。
【0009】
(撮影カメラ)
(1)遠距離カメラ11は、個人認証装置100からある程度(例えば、10m程度)離れた場所(位置)にいるユーザ1の顔を撮像可能な程度の解像度であり、近距離カメラ21に比べて画角の狭いカメラである。
(2)近距離カメラ21は、個人認証装置100にある程度(例えば、1m程度)近い場所(位置)にいるユーザ1の顔を撮像可能な程度の解像度であり、遠距離カメラ11に比べて画角の広いカメラである。図1に示すように、遠距離カメラ11と近距離カメラ21とは、通常、個人認証装置100のケースに組み込まれている。なお、後述のように、遠距離カメラ11と近距離カメラ21とは、単一のカメラで実現されても構わない。
【0010】
(検出部120)
(3)遠距離顔検出部12は、遠距離カメラ11で撮像した画像(遠距離顔画像)を入力し、入力した遠距離顔画像からユーザ1の顔画像を検出して切り出す機能を有する。
(4)近距離顔検出部22は、近距離カメラ21で撮像した画像(近距離顔画像)を入力し、入力した距離顔画像からユーザ1の顔画像を検出して切り出す機能を有する。
【0011】
(抽出部130)
(5)粗照合用顔特徴データ抽出部13は、遠距離顔検出部12で切り出したユーザ1の顔画像から、粗照合(顔の輪郭や口や鼻等の大きさや位置関係といった比較的はっきりした特徴をもとにした顔照合)用の顔特徴データを抽出する機能を有する。
(6)顔特徴データ抽出部23は、近距離顔検出部22で検出したユーザ1の顔画像から、粗照合用の顔の特徴データと本照合(目、鼻、口等の顔パーツの形や位置関係といった個人識別に有効な特徴をもとにした顔照合)用の顔の特徴データを抽出する機能を有する。
【0012】
(照合部140)
(7)粗照合部14は、粗照合用顔特徴データ抽出部13で抽出された粗照合用顔特徴データと登録顔データベース150に保存されている粗照合用顔特徴データとを照合し、本照合部24へ照合結果を出力する機能を有する。照合結果は、本照合の候補となる本照合用の顔特徴データである。
(8)本照合部24は、顔特徴データ抽出部23で抽出された本照合用顔特徴データと登録顔データベース150に保存された本照合用顔特徴データの中で粗照合の結果がOKだった(選択された)本照合用の顔特徴データとを照合し、上位システム200や顔特徴データ抽出部23へ照合結果を出力する機能を有する。
【0013】
(登録顔データベース)
(9)登録顔データベース150は、顔特徴データ抽出部23で抽出された粗照合用顔特徴データと本照合用顔特徴データとを紐付けて保存する。
【0014】
図1の個人認証装置100は、個人認証装置100に組み込まれた遠距離カメラ11によって個人認証装置100に近づいてくるユーザ1を撮像して粗照合用顔特徴データを読み取り、登録済みの「真正な粗照合用顔特徴データ」と粗照合して、本人らしき「本照合用の顔特徴データ」をあらかじめ絞り込んでおく。あらかじめ絞り込むことで、ユーザ1が個人認証装置100の近くに来た時に個人認証装置100に組み込まれている近距離カメラ21によって撮影された近距離顔画像から取得される本照合用の顔特徴データを使用して実施する本照合では、登録済みの全ての「真正な本照合用顔特徴データ」とは照合をせず、粗照合で絞り込まれた本人らしき「真正な本照合用の顔特徴データ」に対してのみ本照合を実施すればよいことが特徴である。
【0015】
(遠距離カメラ11と近距離カメラ21との兼用)
また、遠距離カメラ11と近距離カメラ21は画角以外は共通化が可能である。このため、レンズを切り替え可能な「単一の撮影カメラ」によって遠距離カメラ11と近距離カメラ21とを兼用し、遠距離顔検出部12と近距離顔検出部22、粗照合用顔特徴データ抽出部13と顔特徴データ抽出部23、粗照合部14と本照合部24を、それぞれ共通のハードウェアで実現してもよい。これにより、装置の外形サイズを小さくすることができる点も特徴である。
【0016】
図2は、登録顔データベース150に粗照合用の顔特徴データと、本照合用の顔特徴データとを対応付けて登録する登録処理の動作を示すフローチャートである。図2を参照して登録処理の動作を説明する。
【0017】
(登録の動作)
まず、起動完了した個人認証装置100の手前1m程度の位置にユーザ1の顔を配置(S11)すると、常に撮像している近距離カメラ21が、配置されたユーザ1の顔を撮像(S12)して近距離顔検出部22に撮像画像を出力する。
【0018】
近距離顔検出部22は入力された撮像画像から、ユーザ1の顔を検出して切り出し(S13のYES,S14)、ユーザ1の顔画像を顔特徴データ抽出部23に出力する。ここでの顔の検出とは、例えばいろいろな大きさの眉毛や目のパターンを近距離カメラ21で撮像した画像に対してパターンマッチングして、いずれかのパターンがマッチすればマッチした位置をもとに顔画像の領域の当てをつけて切り出す等である。
【0019】
顔特徴データ抽出部23は、入力されたユーザ1の顔画像から、粗照合(=顔の輪郭や口や鼻等の大きさや位置関係といった比較的はっきりした特徴をもとにした顔照合)用の顔の特徴データと、本照合(=目、鼻、口等の顔パーツの形や位置関係といった個人識別に有効な特徴をもとにした顔照合)用の顔の特徴データを抽出する(S15)。
【0020】
本照合部24は、抽出された本照用の顔特徴データと、登録顔データベース150に保存された本照合用顔特徴データとの一致率が、照合閾値より大きいかどうかを照合処理して確認する(S16)。
【0021】
(データベースが空のとき)
このとき、登録顔データベース150が空であれば(S17のYES)、顔特徴データ抽出部23は、抽出された本照合用の顔特徴データと粗照合用の顔特徴データを登録顔データベース150に保存する(S20b)。
【0022】
(データベースが空ではないとき)
また、登録顔データベース150が空でなく(S17のNO)、本照合部24の照合処理により、抽出された本照合用の顔特徴データと登録顔データベース150に保存された本照合用顔特徴データの一致率が照合閾値より大きい場合(S18のYES,すでに登録済の場合が相当)、本照合部24は、顔特徴データ抽出部23と外部システム2とに照合結果OKを出力する(S19)。S18でNOの場合(データベースにデータは格納されているが、今回登録しようとしているデータは未登録の場合が相当)、一定時前に照合OKであったことを条件(S20aのYES)に、顔特徴データ抽出部23で抽出された本照合用の顔特徴データと粗照合用の顔特徴データとを登録顔データベース150に保存する(S20b)。ここで、「一定時前に照合OK」(S20aのYES)とは、新たにユーザのデータを登録する場合には、このユーザには正規の管理者が付き添って登録行うことを想定しており、S20aは、まず既登録の正規の管理者が登録処理を行い(S17のNO、S18のYESと進む)、その後に、今回登録しようとするユーザの新規登録の処理を実行する場合を想定したものである。
【0023】
以上により、ユーザ1の顔特徴データ登録は完了する。
【0024】
(照合処理の動作)
図3は、個人認証装置100による照合処理(粗照合と本照合)の動作を示すフローチャートである。図3を参照して照合処理の動作を説明する。
【0025】
(遠距離顔画像の撮影及び処理)
まず、起動完了した個人認証装置100の手前10m程度の位置にユーザ1の顔を配置(S21)すると、常に撮像している遠距離カメラ11が、配置されたユーザ1の顔を撮像(S22)して遠距離顔検出部12に撮像画像(遠距離顔画像)を出力する。
【0026】
(検出:切り出し)
すなわち、遠距離顔検出部12は、遠距離カメラ11によって撮像された遠距離顔画像をリアルタイムで入力する。遠距離顔検出部12は入力された撮像画像から、ユーザ1の顔を検出して切り出し(S23のYES、S24)、ユーザ1の顔画像を粗照合用顔特徴データ抽出部13に出力する。ここでの顔の検出とは、例えばいろいろな大きさの口や鼻のパターンを遠距離カメラ11で撮像した画像に対してパターンマッチングして、いずれかのパターンがマッチすれば、マッチした位置をもとに顔画像の領域の当てをつけて切り出す等である。
【0027】
(抽出)
粗照合用顔特徴データ抽出部13は、入力されたユーザ1の顔画像から、粗照合用顔特徴データを抽出(S25)し、粗照合部14に渡す。
【0028】
(粗照合)
粗照合部14は、抽出された粗照合用顔特徴データ(以下、「抽出粗照合用データ」という)と登録顔データベース150に保存されている粗照合用顔特徴データ(以下、「保存粗照合用データ」という)との間で粗照合処理(第1の照合)を行い、「抽出粗照合用データ」との一致率が照合閾値よりも大きい「保存粗照合用データ」が存在するかどうかを検索する(S26、S27)。粗照合部14は、一致率が照合閾値よりも大きい「保存粗照合用データ」がヒットした場合は、ヒットした「保存粗照合用データ」と対応づけられて登録顔データベース150に保存(格納)されている本照合用顔特徴データ(以下、「保存本照合用データ」という)を本照合部24に出力する(S28)。通常は複数の「保存粗照合用データ」がヒットし、これらに対応する複数の「保存本照合用データ」が本照合部24に出力(絞り込み)される。
【0029】
(近距離顔画像の撮影及び処理)
次に、個人認証装置100の手前1m程度の位置にユーザ1の顔を配置すると(S31)、常に撮像している近距離カメラ21が配置されたユーザ1の顔を撮像(S32)して近距離顔検出部22に撮像画像(近距離顔画像)を出力する。
【0030】
(検出:切り出し)
すなわち、近距離顔検出部22は、近距離カメラ21によって撮影された近距離顔画像をリアルタイムで入力する。近距離顔検出部22は入力された撮像画像から、ユーザ1の顔を検出して切り出し(S33のYES、S34)、ユーザ1の顔画像を顔特徴データ抽出部23に出力する。ここでの顔の検出とは、例えばいろいろな大きさの眉毛や目のパターンを近距離カメラ21で撮像した画像に対してパターンマッチングして、いずれかのパターンがマッチすればマッチした位置をもとに顔画像の領域の当てをつけて切り出す等である。
【0031】
(抽出)
顔特徴データ抽出部23は、入力されたユーザ1の顔画像から、粗照合用顔特徴データと本照合用顔特徴データ(以下、「抽出本照合用データ」という)を抽出し(S35)、本照合部24に渡す。
【0032】
(本照合)
本照合部24は、「抽出本照合用データ」と、粗照合部14から入力された「保存本照合用データ」との間で本照合(第2の照合)を行い、入力された「保存本照合用データ」のなかに「抽出本照合用データ」との一致率が照合閾値よりも大きいものが存在するかを判定する(S36、S37)。本照合部24は、「抽出本照合用データ」との間で、一致率が照合閾値よりも大きい「保存本照合用データ」が存在する場合(S37のYES)、顔特徴データ抽出部23と上位システム200とに、照合結果OKの通知を出力する(S40)。
【0033】
本照合部24は、一致率が照合閾値よりも大きい「保存本照合用データ」が存在しなかった場合(S37のNO)、「抽出本照合用データ」を登録顔データベース150に格納されている本照合用の顔特徴データとの一致率の判定を行い(S39)、一致率が照合閾値よりも大きい本照合用の顔特徴データが存在する場合(S38、S39のYES)、顔特徴データ抽出部23と上位システム200とに、照合結果OKの通知を出力(S40)し、一致率が照合閾値よりも大きい本照合用の顔特徴データが存在しない場合(S39のNO)は、処理を終了する。
【0034】
以上により、照合時の動作は完了する。
【0035】
図4は、個人認証装置100のハードウェア構成の一例を示す図である。図4を参照して個人認証装置100のハードウェア構成を簡単に説明する。
【0036】
図4は、コンピュータで実現される個人認証装置100のハードウェア資源の一例を示す図である。図4において、個人認証装置100は、プログラムを実行するCPU810(Central Processing Unit)を備えている。CPU810は、バス825を介してROM(Read Only Memory)811、RAM(Random Access Memory)812、表示装置813、操作キー814、通信ボード815、遠距離カメラ816、近距離カメラ817、磁気ディスク装置820と接続され、これらのハードウェアデバイスを制御する。磁気ディスク装置820の代わりに、光ディスク装置、フラッシュメモリなどの記憶装置でもよい。
【0037】
RAM812は、揮発性メモリの一例である。ROM811、磁気ディスク装置820等の記憶媒体は、不揮発性メモリの一例である。これらは、格納装置あるいは記憶部の一例である。通信ボード815は、ネットワーク(LAN等)に接続されている。
【0038】
磁気ディスク装置820には、オペレーティングシステム821(OS)、ウィンドウシステム822、プログラム群823、ファイル群824が記憶されている。プログラム群823のプログラムは、CPU810、オペレーティングシステム821、ウィンドウシステム822により実行される。
【0039】
上記プログラム群823には、以上に説明した実施の形態1の説明において「〜部」として説明した機能を実行するプログラムが記憶されている。プログラムは、CPU810により読み出されて実行される。すなわち、プログラムは、「〜部」としてコンピュータを機能させるものである。あるいは、「〜部」の手順や方法をコンピュータに実行させるものである。
【0040】
実施の形態1では個人認証装置100について説明したが、個人認証装置100は、個人認証方法として把握することも可能である。
【0041】
以上のように、実施の形態1の個人認証装置100によれば、粗照合によって、予め本照合用の顔特徴データを絞り込むので、本照合で実施する照合回数が少なくなり、個人認証装置100の前に立ち止まって照合操作を行う認証時間を短縮することが可能となる。また、二重の照合で高い認証精度を実現し、照合の再操作を軽減できるため、操作完了までに個人認証装置100の消費電力量を抑えることが可能となる。
【0042】
実施の形態1の個人認証装置100は判定結果を上位システム200に送信するので、上位システム200は判定結果を迅速に取得することができる。
【0043】
実施の形態1の個人認証装置100によれば、S37でNOの場合には、登録顔データベース150に格納されている本照合用の顔特徴データとの一致率の判定が行われるので、粗照合で「保存本照合用データ」がヒットしなかった場合でも、確実に認証処理を実行できる。
【0044】
実施の形態1の個人認証装置100によれば、レンズを切り替えることにより、遠距離カメラ11と近距離カメラ21とを兼用することで、遠距離顔検出部12と近距離顔検出部22、粗照合用顔特徴データ抽出部13と顔特徴データ抽出部23、粗照合部14と本照合部24を、それぞれ共通のハードウェアで実現できるので、装置をコンパクト化することができる。
【図面の簡単な説明】
【0045】
【図1】実施の形態1における個人認証装置100のブロック図。
【図2】実施の形態1における登録動作を示すフローチャート。
【図3】実施の形態1における照合動作を示すフローチャート。
【図4】実施の形態1における個人認証装置100のハードウェア構成の一例。
【符号の説明】
【0046】
1 ユーザ、11 遠距離カメラ、12 遠距離顔検出部、13 粗照合用顔特徴データ抽出部、14 粗照合部、21 近距離カメラ、22 近距離顔検出部、23 顔特徴データ抽出部、24 本照合部、100 個人認証装置、120 検出部、130 抽出部、140 照合部、150 登録顔データベース、200 上位システム。

【特許請求の範囲】
【請求項1】
遠距離の位置にいる人物の顔を含む画像である遠距離顔画像と、前記人物の顔を含む画像であって前記遠距離の位置よりも近距離の位置において撮影された近距離顔画像とをリアルタイムで入力する顔画像入力部と、
前記遠距離顔画像から前記人物の顔の特徴を示すデータであって第1の照合に使用される顔特徴データである第1照合用対象データを抽出すると共に、前記近距離顔画像から前記人物の顔の特徴を示すデータであって第2の照合に使用される顔特徴データである第2照合用対象データを抽出する抽出部と、
前記第1の照合に使用される真正な顔特徴データである第1照合用顔特徴データと前記第2の照合に使用される真正な顔特徴データである第2照合用顔特徴データとが同一人について対応付けられた複数人ぶんの情報をデータベースとして格納する格納装置の前記データベースのなかから前記抽出部によって抽出された前記第1照合用対象データに一致すると認められる前記第1照合用顔特徴データを前記第1の照合によって検索し、1以上の前記第1照合用顔特徴データがヒットするとヒットした前記第1照合用顔特徴データに対応する前記第2照合用顔特徴データを前記第2の照合によって特定し、特定された前記第2照合用顔特徴データのなかに前記抽出部により抽出された前記第2照合用対象データと一致すると認められる前記第2照合用顔特徴データがあるかどうかを判定する照合部と
を備えたことを特徴とする個人認証装置。
【請求項2】
前記照合部は、
特定された前記第2照合用顔特徴データのなかに前記抽出部により抽出された前記第2照合用対象データと一致すると認められる前記前記本照合用顔特徴データがあると判定した場合には、判定結果を所定の出力先に出力することを特徴とする請求項1記載の個人認証装置。
【請求項3】
前記照合部は、
特定された前記第2照合用顔特徴データのなかに前記抽出部により抽出された前記第2照合用対象データと一致すると認められる前記前記本照合用顔特徴データがないと判定した場合には、前記DB格納部に格納されている前記データベースのなかに前記抽出部により抽出された前記第2照合用対象データと一致すると認められる前記第2照合用顔特徴データがあるかどうかを判定することを特徴とする請求項2記載の個人認証装置。
【請求項4】
前記個人認証装置は、
さらに、
遠距離撮影用レンズを使用して前記遠距離顔画像を撮影すると共に、前記遠距離撮影用レンズから近距離撮影用レンズに切り替えることにより前記近距離顔画像を撮影する撮影カメラを備え、
前記顔画像入力部は、
前記撮影カメラから、前記遠距離顔画像と前記近距離顔画像とを入力することを特徴とする請求項1〜3のいずれかに記載の個人認証装置。
【請求項5】
個人認証装置が実行する個人認証方法において、
(1)顔画像入力部が、
遠距離の位置にいる人物の顔を含む画像である遠距離顔画像と、前記人物の顔を含む画像であって前記遠距離の位置よりも近距離の位置において撮影された近距離顔画像とをリアルタイムで入力し、
(2)抽出部が、
前記遠距離顔画像から前記人物の顔の特徴を示すデータであって第1の照合に使用される顔特徴データである第1照合用対象データを抽出すると共に、前記近距離顔画像から前記人物の顔の特徴を示すデータであって第2の照合に使用される顔特徴データである第2照合用対象データを抽出し、
(3)照合部が、
前記第1の照合に使用される真正な顔特徴データである第1照合用顔特徴データと前記第2の照合に使用される真正な顔特徴データである第2照合用顔特徴データとが同一人について対応付けられた複数人ぶんの情報をデータベースとして格納する格納装置の前記データベースのなかから前記抽出部によって抽出された前記第1照合用対象データに一致すると認められる前記第1照合用顔特徴データを前記第1の照合によって検索し、1以上の前記第1照合用顔特徴データがヒットするとヒットした前記第1照合用顔特徴データに対応する前記第2照合用顔特徴データを前記第2の照合によって特定し、特定された前記第2照合用顔特徴データのなかに前記抽出部により抽出された前記第2照合用対象データと一致すると認められる前記第2照合用顔特徴データがあるかどうかを判定する
ことを特徴とする個人認証方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate


【公開番号】特開2010−108200(P2010−108200A)
【公開日】平成22年5月13日(2010.5.13)
【国際特許分類】
【出願番号】特願2008−278984(P2008−278984)
【出願日】平成20年10月30日(2008.10.30)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】