顔画像照合装置
【課題】入力顔画像の照合精度を向上させた顔画像照合装置を実現する。
【解決手段】順次取得された複数の入力顔画像を予め登録された登録顔画像と照合する顔画像照合装置であって、複数の登録人物のそれぞれについて、登録顔画像としてこの登録人物の顔向きが相互に異なる複数の顔画像を記憶する記憶部と、入力顔画像ごとに、登録顔画像との類似度を算出する類似度算出手段と、類似度が所定以上の登録顔画像に投票するとともに、複数の入力顔画像の時間的に連続する所定数分について登録顔画像ごとに投票値を集計して投票集計値を求める投票手段と、投票集計値によって複数の登録人物のいずれかを入力顔画像の人物として決定する人物決定手段と、を有するように構成する。
【解決手段】順次取得された複数の入力顔画像を予め登録された登録顔画像と照合する顔画像照合装置であって、複数の登録人物のそれぞれについて、登録顔画像としてこの登録人物の顔向きが相互に異なる複数の顔画像を記憶する記憶部と、入力顔画像ごとに、登録顔画像との類似度を算出する類似度算出手段と、類似度が所定以上の登録顔画像に投票するとともに、複数の入力顔画像の時間的に連続する所定数分について登録顔画像ごとに投票値を集計して投票集計値を求める投票手段と、投票集計値によって複数の登録人物のいずれかを入力顔画像の人物として決定する人物決定手段と、を有するように構成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像処理装置に関し、特に、複数の入力画像中の人物の顔画像を照合する顔画像照合装置に関する。
【背景技術】
【０００２】
従来、オフィスの部屋の入り口などにおいて、利用者が扉の前に立って認証装置による認証を受け、認証されると入室が許可される入退室管理システムが利用されている。この入退室管理システムでは、扉の前で入室しようとしている利用者の顔を扉の近くなどに設置された認証用カメラで撮影し、撮影した画像から抽出された入力顔画像と予めシステムに登録されている入室許可対象者の顔画像とを照合する。そして、入力顔画像の人物がシステムに登録されている入室許可対象者の登録顔画像のいずれかと一致すると、撮影された人物は、入室が許可されるべき者として認証され、扉の電気錠が解錠されるので部屋に入ることができる。
【０００３】
ここで、顔画像同士の照合を精度良く実施するためには、顔画像に映されている人物の顔向きが互いに同じ方向を向いていることが好ましい。互いに異なる方向を向いた顔が映されている顔画像を用いて照合処理を行うと、目、鼻、口などの顔の特徴的な部位の顔画像上の形状および位置が異なっているために、照合精度が低下するおそれがある。加えて、顔向きによっては顔画像中に見えない特徴的な部位があることもあり、照合精度が一層低下するおそれがある。
【０００４】
そこで、登録する複数の人物のそれぞれについて顔向きが異なる複数の登録顔画像を用意し、それぞれの顔向きの登録顔画像と入力顔画像との類似度に基づいて、最も類似する登録顔画像の人物を入力顔画像の人物であると判定する顔画像認証装置がある（特許文献１を参照）。特許文献１に開示された顔画像認証装置によれば、様々な顔向きの登録顔画像から入力顔画像と最も類似度が高い登録顔画像の人物が特定され、入力顔画像と同じ顔向きの登録顔画像が最も類似すると判定されることが期待される。
【０００５】
また、顔画像だけでなく指紋画像など人物に関する複数の固有データを利用して、撮影した人物と登録されている人物との照合を行う顔特定装置が開示されている（特許文献２を参照）。この顔特定装置では、カメラなどで取得した顔画像および指紋画像などの特定対象の人物に関する複数の固有データと予め装置に登録されている人物に関する同様の固有データとの複数の類似度を算出し、算出した複数の類似度を統合して、特定対象の人物と登録されている人物との照合を行う。複数の類似度を統合する方法として、類似度の総和を算出する方法が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２４５３３８号公報
【特許文献２】特開２００５−２４２８９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載された顔画像認証装置では、入力顔画像と、入力顔画像に映っている人物と異なる人物で入力顔画像に映っている顔向きと異なる顔向きの登録顔画像との類似度が想定以上に高くなる場合がある。このため、この顔画像認証装置は、入力顔画像の人物を他人であると誤って判定したり（他人受け入れ）、逆に本人でないと判定したり（本人棄却）して照合に失敗することがある。この照合の失敗は、顔の表情や照明の多少の変化があっても本人であると判定できるように、入力顔画像と登録顔画像との多少の違いを許容して一致すると判定するために起きると考えられる。
【０００８】
一方、特許文献２に記載された顔特定装置は、顔向きを考慮しておらず、単純に各登録人物について複数の類似度の平均、総和もしくは積などを求めて、類似度の統合を行う。したがって、この顔特定装置では、入力顔画像と入力顔画像と異なる人物で異なる顔向きの登録顔画像との類似度が非常に高くなると、その非常に高い類似度が統合後の類似度に影響を及ぼすおそれがある。その結果、入力顔画像の人物と異なる人物の統合後の類似度が非常に高くなり、入力顔画像の人物を他人であると誤って判定する他人受入れや本人棄却が発生してしまうという問題がある。
【０００９】
本発明の目的は、入力顔画像の照合精度を向上させた顔画像照合装置を提供することである。
【課題を解決するための手段】
【００１０】
かかる課題を解決するための本発明の一つの実施形態によれば、順次取得された複数の入力顔画像を予め登録された登録顔画像と照合する顔画像照合装置が提供される。かかる顔画像照合装置は、複数の登録人物のそれぞれについて、登録顔画像としてこの登録人物の顔向きが相互に異なる複数の顔画像を記憶する記憶部と、入力顔画像ごとに、登録顔画像との類似度を算出する類似度算出手段と、類似度が所定以上の登録顔画像に投票するとともに、複数の入力顔画像の時間的に連続する所定数分について登録顔画像ごとに投票値を集計して投票集計値を求める投票手段と、投票集計値によって複数の登録人物のいずれかを入力顔画像の人物として決定する人物決定手段と、を有する。
【００１１】
かかる顔画像照合装置において、人物決定手段は、登録人物ごとの投票集計値の総和が最大の登録人物を入力顔画像の人物として決定することが好ましい。
【００１２】
また、かかる顔画像照合装置において、人物決定手段は、投票集計値が最大の登録人物を入力顔画像の人物として決定することが好ましい。
【００１３】
さらに、かかる顔画像照合装置において、人物決定手段は、投票手段が集計する入力顔画像の時間的に連続する所定数に基づき予め定めた照合用閾値を投票集計値が超えている登録人物を入力顔画像の人物として決定することが好ましい。
【発明の効果】
【００１４】
本発明によれば、入力顔画像の照合精度を向上させた顔画像照合装置を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施例に係るウォークスルー型の入退室管理システムの構成を示すブロック図である。
【図２】本実施例に係る登録顔データの一例を示す図である。
【図３】撮像部が歩行中の人物を時系列に撮影した複数の入力画像を示す図である。
【図４】本実施例に係る投票手段の投票処理を示す図である。
【図５】人物Ａの入力顔画像と人物Ａの登録顔データの各登録顔画像との類似度が記憶された類似度テーブルを立体棒グラフで示す図である。
【図６】人物Ａの入力顔画像と人物Ｂの登録顔データの各登録顔画像との類似度が記憶された類似度テーブルを立体棒グラフで示す図である。
【図７】人物Ａの入力顔画像と人物Ｃの登録顔データの各登録顔画像との類似度が記憶された類似度テーブルを立体棒グラフで示す図である。
【図８】人物Ａ〜Ｃの登録顔データと時刻ｔ、ｔ＋１およびｔ＋２における人物Ａの入力顔画像および時系列投票テーブルと投票集計テーブルとの関係を示す図である。
【図９】本実施例に係る顔データ登録装置による登録顔データの登録処理の一例を示すフローチャートである。
【図１０】本実施例に係る顔照合装置による顔照合処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１６】
本願の発明者は、入力顔画像と入力顔画像の人物本人の様々な顔向きの登録顔画像との類似度は、顔向きが同じ場合に最も高いが、入力顔画像の顔向きに角度が近い場合においてもある程度高いという知見を得た。さらに、他人の顔画像であっても、同じ顔向きおよびそれに角度が近い顔向きの登録顔画像との類似度はある程度高くなるという知見を得た。また、上述したように、入力顔画像と、入力顔画像に映っている人物と異なる人物で入力顔画像に映っている顔向きと異なる顔向きの登録顔画像との類似度が非常に高くなった場合においても、この高い類似度を示した登録顔画像の顔向きと異なる顔向きの登録顔画像との類似度は高くならないという知見を得た。
【００１７】
これらの知見に基づいて、本発明に係る顔画像照合装置は、登録人物ごとに複数の顔向きの登録顔画像を有する登録顔データを記憶する。かかる顔画像照合装置は、取得した入力画像ごとに、入力顔画像と登録されている各登録人物の様々な顔向きの登録顔画像との類似度を求め、この類似度に基づいて入力顔画像に類似する登録顔画像を選択し、選択した登録顔画像に対応する人物と顔向きに対して投票を行う。そして、顔画像照合装置は、投票の結果、最も多く投票された人物を入力顔画像の人物であると判定する。これにより、本発明に係る顔画像照合装置は、入力顔画像が入力顔画像の人物と全く顔向きが異なる他人の登録顔データに対して類似度が非常に高くなった場合でも、この他人を入力顔画像の人物であると誤って判定するのを防止することができ、顔照合の照合精度を向上させることができる。
【００１８】
本発明に係る顔画像照合装置は、特に、利用者が認証のためにゲートなどの入り口の前で立ち止まらなくても、歩行中の利用者を入り口の天井付近に設置した認証用カメラなどで自動的に連写し、撮影された利用者の複数の顔画像を用いて顔認証を行う「ウォークスルー」型の入退室管理システムの顔照合装置に適用可能である。ウォークスルー型の入退室管理システムでは、利用者は、例えば、廊下の天井付近に設置された認証用カメラの撮影領域を通過するだけで、いわゆるウォークスルーで認証されて入室を許可されることが可能となる。このため、利用者は、入り口付近の認証用カメラの前で一旦立ち止まり、正面方向などの予め決められた方向に顔を向ける必要がないので、ウォークスルー型の入退室管理システムは、利用者に非常に高い利便性をもたらす。このようなウォークスルー型の入退室管理システムでは、カメラの撮影領域を通過する利用者の時間と共に刻々と顔向きが変わる複数の画像が撮影されるので、本発明に係る顔画像照合装置は、顔向きの異なる複数の入力顔画像とシステムに予め登録されている顔向きの異なる複数の登録顔画像との類似度に基づいて、上述したように顔照合を行うことができる。
【００１９】
以下、本発明に係る顔画像照合装置をウォークスルー型の入退室管理システムの顔照合装置に適用した一実施例について、図を参照しつつ説明する。
【００２０】
図１は、本発明の一実施例に係るウォークスルー型の入退室管理システム１の構成を示すブロック図である。図１に示すように、かかるウォークスルー型の入退室管理システム１は、撮像部１０および３０と、顔データ登録装置２０と、顔照合装置４０と、顔照合結果処理部５０と、を有する。撮像部１０と顔データ登録装置２０、撮像部３０と顔照合装置４０、顔データ登録装置２０と顔照合装置４０および顔照合装置４０と顔照合結果処理部５０の間は、それぞれ、種々の形式の通信ケーブルもしくは内部配線などの有線通信、あるいは、電波もしくは赤外線などの無線通信によって接続することができる。
【００２１】
撮像部１０は、例えば、ＣＣＤ素子もしくはＣ−ＭＯＳ素子などの撮像素子、光学系部品、Ａ／Ｄ変換器などを含む公知のカメラを用いることができる。このカメラは、近赤外波長帯に感度を有する白黒タイプでもよいが、肌色部分の抽出が容易になるよう可視光波長帯に感度を有するカラータイプが好ましい。また、カメラの解像度などの精度は、顔データ登録装置２０および顔照合装置４０の記憶容量、処理能力、顔照合装置４０が所望する顔照合の精度などに応じて適切なものを用いることができる。さらに、登録用画像は、多階調の画素値で表されるカラー画像でもグレースケール画像でもよいが、８ビット程度の輝度分解能を持つカラー画像が好ましい。
【００２２】
撮像部１０は、入室が許可される社員などの入室許可対象者を撮影し、得られた２次元画像データを顔データ登録装置２０が登録する登録人物の登録用画像として通信などを介して顔データ登録装置２０に送る。
【００２３】
顔データ登録装置２０は、例えば、いわゆるコンピュータなどの情報処理装置によって構成することができる。顔データ登録装置２０は、撮像部１０から受け取った登録人物の登録用画像を用いて、登録人物の様々な顔向きの登録顔画像を有する登録顔データと顔向きに関する角度情報を生成する。そして顔データ登録装置２０は、生成した登録顔データおよび角度情報をＣＤ−ＲＯＭ、ＤＶＤ−Ｒ／Ｗおよび／もしくはフラッシュメモリなどのコンピュータ読み取り可能な記憶媒体あるいは通信などを介して顔照合装置４０に登録することができる。
【００２４】
図１に示すように、顔データ登録装置２０は、画像入力インタフェース部２１０と、制御部２２０と、記憶部２３０と、登録顔データ出力インタフェース部２４０と、を有する。
【００２５】
画像入力インタフェース部２１０は、制御部２２０が撮像部１０から登録人物の登録用画像を受け取るインタフェース部である。したがって、画像入力インタフェース部２１０は、撮像部１０と顔データ登録装置２０とを接続する通信の方式に従って、例えば、ＬＡＮ、ユニバーサルシリアルバス（ＵＳＢ）、ＳＣＳＩ、無線ＬＡＮもしくは赤外線通信などに対応する適切な通信インタフェースアダプタなどを含んで構成される。
【００２６】
制御部２２０は、プロセッサとその周辺回路を含んで構成され、プロセッサが記憶部２３０に記憶された各種プログラムを実行することによって、顔データ登録装置２０の登録顔データの登録処理を制御する。プロセッサおよび記憶部２３０は、マイクロプロセッサもしくはＡＳＩＣなどを含んで構成されてもよい。プロセッサが実行するプログラムは、ＣＤ−ＲＯＭおよび／もしくはＤＶＤ−Ｒ／Ｗなどのコンピュータ読み取り可能な記憶媒体もしくは通信などによって提供されて記憶部２３０に記憶されてもよく、ファームウェアとして提供されてもよい。
【００２７】
制御部２２０は、撮像部１０から画像入力インタフェース部２１０を介して登録人物の登録用画像を受け取り、受け取った登録用画像を用いて登録人物の様々な顔向きの登録顔画像を生成し、登録顔データとして記憶部２３０に記憶させる。また、制御部２２０は、記憶部２３０に記憶させた登録顔データを登録顔データ出力インタフェース部２４０を介して顔照合装置４０に送ることができる。
【００２８】
図２は、本実施例に係る登録顔データ４２２の一例を示す図である。各登録顔データ４２２は、例えば、登録人物の識別情報などの各登録人物に関する人物情報に対応付けて記憶される。図２に示すように、登録顔データ４２２は、様々な顔向きの登録顔画像を含む。この例では、真正面を向いた「角度Ａ１３」の登録顔画像を中心に、上下方向（ピッチ角）と左右方向（ヨー角）にそれぞれ１５度刻みで±３０度まで顔向きを変えた５×５＝２５種類の顔向きの登録顔画像が登録顔データ４２２に含まれる。したがって、例えば、図２に示した登録顔データ４２２が１００人分登録されている場合、２５×１００＝２５００枚の登録顔画像が登録顔データ４２２として記憶部２３０に記憶されることになる。
【００２９】
なお、以下、顔向きの種類は図２に示した２５種類として説明するが、本発明はこれに限定されない。例えば、撮像部１０の撮影範囲、顔データ登録装置２０および顔照合装置４０の記憶容量、処理能力および顔照合装置４０の所望の照合精度などに応じて、ピッチ角およびヨー角の刻み幅や範囲を任意に変えて登録顔画像の数を増減することができる。例えば、制御部２２０は、撮像部１０の撮影範囲がピッチ角±３０度およびヨー角±４５度であれば、ピッチ角およびヨー角の刻み幅をそれぞれ１５度として、５×７＝３５種類の顔向きの登録顔画像を生成してもよい。さらに、制御部２２０は、７×７＝４９種類もしくは９×９＝８１種類の顔向きの登録顔画像を生成してもよい。ただし、照合精度の観点からは、ピッチ角およびヨー角の刻み幅は１５度以下が好ましい。
【００３０】
登録顔データ４２２の各登録顔画像は、その顔向きに対応付けて記憶部２３０に記憶される。例えば、制御部２２０は、図２に示すように２５種類の顔向きに「角度Ａ１」〜「角度Ａ２５」という識別名もしくは識別番号などの顔向き識別情報を割り当て、この顔向き識別情報に各登録顔画像を対応付けて記憶部２３０に記憶させることができる。
【００３１】
また、制御部２２０は、各顔向き識別情報に、その顔向きのピッチ角とヨー角との組み合わせを角度情報として対応付けて記憶部２３０に記憶させることができる。例えば、図２に示すように、ピッチ角＝０度およびヨー角＝０度の真正面を向いた顔向き「角度Ａ１３」を中心として、２５種類の顔向き「角度Ａ１」〜「角度Ａ２５」は、１５度刻みで±３０度までの５種類のピッチ角と５種類のヨー角との２５種類の組み合わせに対応付けられる。
【００３２】
図２の例では、「角度Ａ１１」は、向かって左に角度３０度の顔向きでピッチ角＝０度およびヨー角＝−３０度、「角度Ａ１５」は、向かって右に角度３０度の顔向きでピッチ角＝０度およびヨー角＝＋３０度、「角度Ａ３」は、上に３０度の顔向きでピッチ角＝−３０度およびヨー角＝０度、「角度Ａ２３」は、下に３０度の顔向きでピッチ角＝＋３０度およびヨー角＝０度の組み合わせの角度情報に対応付けられる。
【００３３】
なお、制御部２２０は、例えば、上記５種類のピッチ角およびヨー角にそれぞれ０〜４の番号を付けて０〜４の２個の番号の組み合わせを顔向き識別情報とし、ピッチ角およびヨー角の刻み幅および個数を角度情報として記憶してもよい。
【００３４】
図１に示すように、制御部２２０は、登録用顔画像抽出手段２２１０と、３次元顔モデル生成手段２２２０と、登録顔データ生成手段２２３０と、を有する。制御部２２０は、記憶部２３０に記憶されたこれらの手段を実行するプログラムをプロセッサが実行することによって、顔データ登録装置２０における登録顔データ４２２の登録処理を制御する。
【００３５】
登録用顔画像抽出手段２２１０は、撮像部１０から画像入力インタフェース部２１０を介して受け取った登録用画像から、人物の顔が写っている顔領域を登録用顔画像として抽出する。
【００３６】
顔領域を抽出するために、登録用顔画像抽出手段２２１０は、公知の様々な方法を用いることができる。例えば、登録用顔画像抽出手段２２１０は、登録用画像中の部分領域から１つもしくは複数の特徴量を算出し、その特徴量が人物の顔に対応すると考えられる所定の条件を満たす場合に、その部分領域を顔領域として抽出してもよい。具体的には、登録用顔画像抽出手段２２１０は、例えば、Ｓｏｂｅｌフィルタなどを用いてエッジ画素抽出を行い、その部分領域内におけるエッジ画素の方向分布、またはそのエッジ近傍の輝度分布などの特徴量を算出することができる。また、予め、人物の顔を撮影した複数の画像から、これらの特徴量の値を求めてその範囲を決定することにより、上述した所定の条件を予め決定することができる。
【００３７】
顔領域を抽出するための別の方法として、登録用顔画像抽出手段２２１０は、予め準備した顔領域のテンプレートを用いて登録用画像とのテンプレートマッチングを行ったり、登録用画像のエッジ画像から顔もしくは頭部領域の輪郭形状のエッジ分布を検出したりすることによって、顔領域を抽出してもよい。また、登録用顔画像抽出手段２２１０は、これらの公知の方法を組み合わせて顔領域を抽出してもよい。
【００３８】
３次元顔モデル生成手段２２２０は、登録用顔画像抽出手段２２１０から受け取った登録用顔画像から３次元顔モデルを生成する。３次元顔モデルとは、登録顔データ生成手段２２３０が登録人物の頭部を再現して様々な顔向きの登録顔画像を生成するためのものである。
【００３９】
３次元顔モデルを生成するために、３次元顔モデル生成手段２２２０は、様々な公知の３次元顔モデル生成方法のいずれかを用いることができる。例えば、３次元顔モデル生成手段２２２０は、特開２００９−２１１１５１号公報に記載されているように、顔の凹凸情報および特徴点の３次元配置情報などを含む３次元顔形状データに、登録用顔画像の肌の色およびテクスチャ情報などをマッピングして、３次元顔モデルを生成することができる。
【００４０】
登録顔データ生成手段２２３０は、３次元顔モデル生成手段２２２０から受け取った３次元顔モデルから登録顔データ４２２を生成する。
【００４１】
このために、登録顔データ生成手段２２３０は、３次元顔モデルから様々な顔向きの２次元顔画像を取得する様々な公知の方法のいずれかを用いることができる。例えば、登録顔データ生成手段２２３０は、上述の特開２００９−２１１１５１号公報に記載されているように、３次元顔モデルの頭部を様々な方向に変えて再現し、これを２次元空間に投影することによって様々な顔向きの登録顔画像を生成することができる。ここで、登録顔画像は、画素値などの画像データそのものでもよいが、特徴点の配置情報および／もしくテクスチャ情報などの登録人物の顔の特徴を示す画像データから取得可能な任意の情報を含んでもよい。
【００４２】
記憶部２３０は、顔データ登録装置２０が各種動作を実行するためのプログラムおよびデータを記憶し、例えばＲＡＭ、ＲＯＭおよび／もしくはＥＰＲＯＭなどの半導体メモリを含んで構成される。また、記憶部２３０は、ハードディスクなどの磁気記憶媒体、ならびに／あるいは、ＣＤ−ＲＯＭおよび／もしくはＤＶＤ−Ｒ／Ｗなどの光記憶媒体と、そのアクセス装置とを含んでもよい。
【００４３】
登録顔データ出力インタフェース部２４０は、制御部２２０が生成した登録顔データ４２２を顔照合装置４０に送るインタフェース部である。したがって、登録顔データ出力インタフェース部２４０は、画像入力インタフェース部２１０と同様に、顔データ登録装置２０と顔照合装置４０とを接続する通信の方式に従って適切な通信インタフェースアダプタなどを含んで構成される。なお、登録顔データ４２２がコンピュータ読み取り可能な記憶媒体によって顔データ登録装置２０から顔照合装置４０に渡される場合、登録顔データ出力インタフェース部２４０はなくてもよい。
【００４４】
撮像部３０は、顔照合装置４０が照合する歩行中の人物を複数回撮影し、撮影して取得した複数の２次元画像データを入力画像として通信などを介して顔照合装置４０に順次送る。
【００４５】
本実施例において、撮像部３０は、例えば、オフィスビルの入室を管理する部屋の入り口前の廊下の天井付近に設置された１つもしくは複数の監視カメラであり、例えば、ＣＣＤ素子もしくはＣ−ＭＯＳ素子などの撮像素子、光学系部品、Ａ／Ｄ変換器などを含む公知のカメラを用いることができる。撮像部３０のカメラは、撮像部１０のカメラと同様に、近赤外波長帯に感度を有する白黒タイプでもよいが、肌色部分の抽出が容易になるよう可視光波長帯に感度を有するカラータイプが好ましい。また、撮像部３０のカメラの解像度などの精度は、監視領域の状況や所望する顔照合の精度に応じて適切なものを用いることができる。さらに、入力画像は、登録用画像と同様に、多階調の画素値で表されるカラー画像でもグレースケール画像でもよいが、８ビット程度の輝度分解能を持つカラー画像が好ましい。撮像部３０は、監視領域を所定の時間間隔（例えば、１００ｍｓｅｃ）ごとに撮影し、取得した監視画像を入力画像として顔照合装置４０に順次送ることができる。
【００４６】
図３は、オフィスビルなどで入室を管理する部屋の入り口前の廊下の天井付近に設置された監視カメラが、歩行中の部屋の利用者を時系列に撮影した複数の入力画像を示す図である。図３には、時刻ｔ、ｔ＋１およびｔ＋２の各時刻において、監視カメラが撮影領域を移動する利用者の顔を撮影して得られた入力顔画像４２１ｔ０、４２１ｔ１および４２１ｔ２が示されている。監視カメラの前を通過する利用者の顔向きは時間と共に少しずつ変わるため、入力顔画像４２１ｔ０、４２１ｔ１および４２１ｔ２には少しずつ顔向きが異なる利用者の顔が映っている。
【００４７】
顔照合装置４０は、例えば、いわゆるコンピュータなどの情報処理装置によって構成することができる。そして顔照合装置４０は、撮像部３０から受け取った入力画像中の人物が、顔照合装置４０に登録されている入室許可対象者などの登録人物と一致するか否かを照合し、照合結果を通信などによって顔照合結果処理部５０に送る。
【００４８】
図１に示すように、顔照合装置４０は、画像入力インタフェース部４１０と、記憶部４２０と、登録顔データ入力インタフェース部４３０と、制御部４４０と、顔照合結果出力インタフェース部４５０と、を有する。
【００４９】
画像入力インタフェース部４１０は、制御部４４０が撮像部３０から入力画像を受け取るインタフェース部である。したがって、画像入力インタフェース部４１０は、上述の画像入力インタフェース部２１０と同様に、撮像部３０と顔照合装置４０とを接続する通信の方式に従って適切な通信インタフェースアダプタなどを含んで構成される。
【００５０】
記憶部４２０は、顔照合装置４０が各種動作を実行するためのプログラムおよびデータを記憶し、上述の記憶部２３０と同様に、例えばＲＡＭ、ＲＯＭおよび／もしくはＥＰＲＯＭなどの半導体メモリを含んで構成される。また、記憶部４２０は、ハードディスクなどの磁気記憶媒体、ならびに／あるいは、ＣＤ−ＲＯＭおよび／もしくはＤＶＤ−Ｒ／Ｗなどの光記憶媒体と、そのアクセス装置とを含んでもよい。
【００５１】
上述したように、記憶部４２０には、顔データ登録装置２０が生成した登録顔データ４２２が顔データ登録装置２０からコンピュータ読み取り可能な記憶媒体あるいは通信などを介して送られ記憶されている。
【００５２】
登録顔データ入力インタフェース部４３０は、制御部４４０が顔データ登録装置２０から通信などによって登録顔データ４２２を受け取るインタフェース部である。したがって、登録顔データ入力インタフェース部４３０は、上述の画像入力インタフェース部２１０と同様に、顔データ登録装置２０と顔照合装置４０とを接続する通信の方式に従って適切な通信インタフェースアダプタなどを含んで構成される。なお、登録顔データ４２２がコンピュータ読み取り可能な記憶媒体によって顔データ登録装置２０から渡される場合、登録顔データ入力インタフェース部４３０はなくてもよい。
【００５３】
制御部４４０は、上述の制御部２２０と同様に、プロセッサとその周辺回路を含んで構成され、プロセッサによって記憶部４２０に記憶された各種プログラムを実行することによって、顔照合装置４０の顔照合処理を制御する。プロセッサが実行するプログラムは、制御部２２０と同様に提供されて記憶部４２０に記憶される。
【００５４】
図１に示すように、制御部４４０は、入力顔画像抽出手段４４１１と、類似度算出手段４４１２と、投票テーブル更新手段４４１３と、投票手段４４１４と、人物決定手段４４１５と、を有し、記憶部４２０に記憶されたこれらの手段を実行するプログラムをプロセッサが実行することによって、顔照合装置４０における顔照合処理を制御する。制御部４４０は、撮像部３０から画像入力インタフェース部４１０を介して入力画像を順次受け取り、受け取った入力画像を記憶部４２０に記憶された登録顔データ４２２と照合し、その照合結果を顔照合結果出力インタフェース部４５０を介して顔照合結果処理部５０に送る。
【００５５】
入力顔画像抽出手段４４１１は、撮像部３０から画像入力インタフェース部４１０を介して受け取った入力画像から、上述の登録用顔画像抽出手段２２１０と同様に人物の顔が写っている顔領域を抽出して入力顔画像とする。この入力顔画像は、上述した登録顔画像と同様に、入力画像から得られる入力画像の人物の顔の特徴を示す任意の情報を含んでもよい。
【００５６】
類似度算出手段４４１２は、入力顔画像抽出手段４４１１が抽出した入力顔画像と記憶部４２０に記憶されているすべての登録顔データ４２２のすべての顔向きの登録顔画像との類似度を算出する。そして、類似度算出手段４４１２は、算出した類似度を登録顔画像の人物および顔向きに対応付けて類似度テーブルとして記憶部４２０に記憶する。ここで、類似度テーブルとは、１人分の登録顔データ４２２ごとに用意され、各登録顔データ４２２に含まれるすべての登録顔画像の顔向きの数だけ類似度が記憶される領域を有するテーブルである。記憶部４２０には、記憶部４２０に記憶されているすべての登録顔データ４２２に対応する登録人物の人数分の類似度テーブルが記憶されている。
【００５７】
類似度は、入力顔画像と登録顔画像とが類似するほど、線形的もしくは非線形的に増加もしくは減少する値であればよい。以下では、類似度は、類似するほど増加する値として説明する。本実施例では、入力顔画像および各登録顔画像は２次元顔画像であるので、類似度算出手段４４１２は、一般的な方法を用いて類似度を算出することができる。
【００５８】
例えば、類似度算出手段４４１２は、特徴点の配置情報およびテクスチャ情報などの画像の特徴を用いて入力顔画像と登録顔画像との類似度（すなわち、入力顔画像に映った顔と登録顔画像に映った顔との類似度）を求めることができる。類似度算出手段４４１２は、それぞれの特徴を単独で用いて類似度を求めてもよいが、複数の特徴を併用した方が類似度の精度が高くなるため、本実施例では複数の特徴を併用して類似度を求める。
【００５９】
画像間の類似度を算出する具体的な計算方法は、目的に応じて様々な方法がある。例えば、特徴点の配置情報およびテクスチャ情報の２つの画像の特徴を用いる場合、次の式（１）のように類似度を求めることができる。
類似度（ｐ，ｑ）＝αＦ（ｐ，ｑ）＋βＧ（ｐ，ｑ） （１）
【００６０】
ここで、ｐ、ｑは比較対象の画像、α、βは所定の係数、Ｆ（）は特徴点の位置の一致の度合いを評価する関数、Ｇ（）はテクスチャの一致の度合いを評価する関数である。
【００６１】
上記関数Ｆ（）は、例えば、入力顔画像および登録顔画像の各特徴点の座標について、対応する特徴点間のユークリッド距離の総和の逆数を求める関数でもよい。
【００６２】
また、上記関数Ｇ（）は、例えば、特許第２６９０１３２号公報に開示されているように、入力顔画像および登録顔画像の対応する特徴点近傍のテクスチャ同士を比較して、そのヒストグラムマッチングにおける差の逆数を求める関数でもよい。あるいは、上記関数Ｇ（）は、入力顔画像および登録顔画像の両目と両口角点とを結んだ逆台形の領域について、大きさ、輝度および色を正規化したヒストグラムマッチングの差の逆数を求める関数でもよい。
【００６３】
なお、上述したように、類似度算出手段４４１２は、他の顔画像の特徴を用いて類似度を算出する場合、上記Ｆ（）およびＧ（）の代わりに、その特徴の一致の度合いを求めるのに適した関数を用いて類似度を算出することができる。あるいは、類似度算出手段４４１２は、入力顔画像と登録顔画像とのパターンマッチングによって入力顔画像と登録顔画像との類似度を算出してもよい。
【００６４】
投票テーブル更新手段４４１３は、記憶部４２０に記憶された投票集計テーブルから過去に取得された入力画像に関する古い投票値を取り除く。ここで、投票集計テーブルとは、１人分の登録顔データ４２２ごとに用意され、各登録顔データ４２２に含まれるすべての登録顔画像の顔向きの数だけ投票集計値が記憶される領域を有するテーブルである。したがって、記憶部４２０に記憶されているすべての登録顔データ４２２に対応する登録人物の人数分の投票集計テーブルが記憶部４２０に記憶されている。投票集計テーブルには、その時点までに順次撮影された複数の入力画像に関して、入力顔画像に類似するすべての登録顔画像の人物および顔向きに対応して集計された投票値が、投票集計値として、後述の投票手段４４１４によって記憶されている。投票手段４４１４による投票値の集計方法および投票集計テーブルへの記憶方法については、後の投票手段４４１４の説明で詳述する。
【００６５】
例えば、投票テーブル更新手段４４１３は、所定時間ごとに、投票集計テーブルに記憶されている投票集計値のそれぞれに１より小さい所定の比率を掛けることができる。これにより、投票テーブル更新手段４４１３は、それ以前に取得された入力画像に関して累積された各投票値がその後に取得される入力画像に関して累積されていく各投票値に与える影響を徐々に減らすことができ、時間の経過と共に投票集計テーブルから古い投票値を取り除いていくことができる。
【００６６】
また、最新の所定枚数以内の入力画像に関して時系列投票テーブルが記憶部４２０に記憶されている場合、投票テーブル更新手段４４１３は、所定時間ごとに記憶されている時系列投票テーブルのうち一番古い入力画像に関する時系列投票テーブルを破棄することによって、投票集計テーブルから最も古い投票値を取り除くことができる。ここで、時系列投票テーブルとは、１人分の登録顔データ４２２ごとに用意され、各登録顔データ４２２に含まれるすべての登録顔画像の顔向きの数だけ投票値が記憶される領域を有するテーブルである。したがって、記憶部４２０に記憶されているすべての登録顔データ４２２に対応する登録人物の人数分の時系列投票テーブルが、記憶部４２０に、入力画像の撮影時刻ごとに入力画像の枚数分記憶されている。時系列投票テーブルには、それぞれの撮影時刻に撮影された入力画像に関して、入力顔画像に類似するすべての登録顔画像のそれぞれの人物および顔向きに対応して投票値が後述の投票手段４４１４によって記憶される。投票集計テーブルに記憶されている投票集計値は、それぞれ、時系列投票テーブルに記憶されている投票値を、人物および顔向きごとに最新の所定枚数以内の入力画像のすべてについて集計した値である。したがって、投票テーブル更新手段４４１３は、一番古い入力画像に関する時系列投票テーブルを破棄することによって、投票集計テーブルから最も古い投票値を取り除くことができる。なお、上記所定枚数は、１０枚程度が好ましい。また、投票テーブル更新手段４４１３が投票集計テーブルの更新に時系列投票テーブルを使用しない場合、時系列投票テーブルはなくてもよい。投票手段４４１４による投票値の時系列投票テーブルへの記憶方法については、下記の投票手段４４１４の説明で詳述する。
【００６７】
図４は、本実施例に係る投票手段４４１４の投票処理を示す図である。図４（ａ）は、登録顔データ４２２の例を示し、図４（ｂ）および図４（ｃ）は、それぞれ、この登録顔データ４２２の人物に対応する時系列投票テーブル４２４１および４２４２の例を示す。上述したように、時系列投票テーブルは常に必要ではないが、以下では、投票手段４４１４が投票集計テーブルの投票集計値に加算していく投票値を説明するのに用いる。
【００６８】
投票手段４４１４は、記憶部４２０に記憶された類似度テーブルの類似度を読み出し、類似度が所定の投票用閾値以上である登録顔画像を入力顔画像４２１に類似すると判定する。所定の投票用閾値は、例えば、テスト用の入力画像と登録顔画像との類似度の平均値および分散を求め、平均値に分散の２倍を加えた値とすることができる。
【００６９】
また、投票手段４４１４は、類似度テーブルに記憶されたすべての類似度のうち上位Ｎ個以内の登録顔画像を入力顔画像４２１に類似すると判定してもよい。この場合、Ｎは、正の整数であり、登録顔画像の総数の例えば１〜３％であるのが好ましい。例えば、上述したように全部で２５００枚の登録顔画像が登録顔データ４２２として記憶部４２０に記憶されている場合、Ｎは２５〜７５でもよい。
【００７０】
あるいは、投票手段４４１４は、人物ごとに類似度が上位所定数以内の登録顔画像を入力顔画像４２１に類似すると判定してもよい。この場合の所定数Ｍは、正の整数であり、１〜３などでもよい。
【００７１】
例えば、投票手段４４１４は、図４（ａ）に示した登録顔画像のうち、符号４２２１に示す１つの登録顔画像のみを入力顔画像４２１に類似すると判定したとする。これは、登録顔データ４２２の人物が入力顔画像４２１の人物と異なる場合に起きやすい。この場合、投票手段４４１４は、投票集計テーブルの登録顔画像４２２１の顔向き「角度Ａ１２」に対応する投票集計値に、例えば、投票値”１”を加算する。図４（ｂ）の時系列投票テーブル４２４１には、登録顔画像４２２１の顔向き「角度Ａ１２」に対応する箇所に、加算される投票値”１”が示され、他は”０”である。
【００７２】
同様に、投票手段４４１４は、図４（ａ）に示した登録顔画像のうち、符号４２２２で示す枠で囲まれた９つの登録顔画像を入力顔画像４２１に類似すると判定したとする。これは、登録顔データ４２２の人物が入力顔画像４２１の人物と同じである場合に起きやすい。すなわち、入力顔画像４２１の人物が登録顔データ４２２の人物本人であるため、登録顔画像の顔向きが多少異なっても入力顔画像４２１に類似すると判定されたことを示す。
【００７３】
この場合、投票手段４４１４は、投票集計テーブルの登録顔画像４２２２の顔向き「角度Ａ６」〜「角度Ａ８」、「角度Ａ１１」〜「角度Ａ１３」および「角度Ａ１６」〜「角度Ａ１８」に対応する投票集計値に、例えば、投票値”１”を加算することができる。図４（ｃ）の時系列投票テーブル４２４２には、登録顔画像４２２２の顔向き「角度Ａ６」〜「角度Ａ８」、「角度Ａ１１」〜「角度Ａ１３」および「角度Ａ１６」〜「角度Ａ１８」に対応する９箇所に、加算される投票値”１”が示され、他は”０”である。
【００７４】
次に、入力顔画像と入力顔画像と異なる人物で異なる顔向きの登録顔画像との類似度が突出して高いため入力顔画像の人物を他人と誤って判定してしまう誤判定が、投票手段４４１４の投票によっていかに回避されるかについて説明する。
【００７５】
図５〜図７は、それぞれ、時刻ｔにおける人物Ａの入力顔画像４２１ａｔ０と、人物Ａ〜Ｃの登録顔データ４２２ａ〜ｃの各登録顔画像との類似度が記憶された類似度テーブル４２３ａ〜ｃを立体棒グラフで示した図である。ここで、入力顔画像４２１ａｔ０の顔向きは「角度Ａ１２」であるとする。
【００７６】
図５には、人物Ａの入力顔画像４２１ａｔ０と本人である人物Ａの登録顔データ４２２ａの各登録顔画像との類似度が記憶された類似度テーブル４２３ａの例が示されている。図５の類似度テーブル４２３ａでは、登録顔データ４２２ａが入力顔画像４２１ａｔ０の人物Ａ本人のものであるため、入力顔画像４２１ａｔ０と同じ顔向き「角度Ａ１２」の登録顔画像４２２ａ１との類似度４２３ａ１が最も高い値を示している。また、類似度４２３ａ１の周囲の顔向きの登録顔画像４２２ａ２との類似度も一定以上の高い値を示している。これは、登録顔データ４２２ａが入力顔画像４２１ａｔ０の人物Ａ本人のものであるため、顔の特徴点配置情報や色情報（テクスチャ）などが共通しており、多少顔向きが異なっても類似度が高くなるからである。
【００７７】
図６には、時刻ｔにおける人物Ａの入力顔画像４２１ａｔ０と他人である人物Ｂの登録顔データ４２２ｂの各登録顔画像との類似度が記憶された類似度テーブル４２３ｂの例が示されている。図６の類似度テーブル４２３ｂでは、登録顔データ４２２ｂの人物Ｂが入力顔画像４２１ａｔ０の人物Ａと異なるため、類似度は図５の類似度テーブル４２３ａほど高くない。それでもなお、登録顔画像４２２ｂ１および４２２ｂ２と入力顔画像４２１ａｔ０との類似度４２３ｂ１および４２３ｂ２が所定の投票用閾値以上になっている。
【００７８】
類似度テーブル４２３ｂの類似度のうち、類似度４２３ｂ１は、他に比べてやや高い値を示している。これは、登録顔画像４２２ｂ１の顔向き「角度Ａ１２」が入力顔画像４２１ａｔ０と同じであるため、顔画像の特徴点の配置が類似するので類似度が高くなったと考えられる。登録顔画像４２２ｂ２の類似度４２３ｂ２については後述する。
【００７９】
図７には、時刻ｔにおける人物Ａの入力顔画像４２１ａｔ０と他人である人物Ｃの登録顔データ４２２ｃの各登録顔画像との類似度が記憶された類似度テーブル４２３ｃの例が示されている。図７の類似度テーブル４２３ｃでは、図６の類似度テーブル４２３ｂと同様に、登録顔データ４２２ｃの人物Ｃが入力顔画像４２１ａｔ０の人物Ａと異なるため、類似度は図５の類似度テーブル４２３ａほど高くない。それでもなお、登録顔画像４２２ｃ１と入力顔画像４２１ａｔ０との類似度４２３ｃ１が所定の投票用閾値以上になっている。
【００８０】
類似度テーブル４２３ｃの類似度のうち、類似度４２３ｃ１は、他に比べてやや高い値を示している。これは、図６の登録顔画像４２２ｂ１と同様に、登録顔画像４２２ｃ１の顔向き「角度Ａ１２」が入力顔画像４２１ａｔ０と同じであるため、顔画像の特徴点の配置が類似するので類似度が高くなったと考えられる。
【００８１】
一方、図６の類似度テーブル４２３ｂにおいて、類似度４２３ｂ２が他に比べて突出して類似度が高い。これは、鼻尖点のように、抽出に失敗すると直ちに他の特徴点の位置情報に影響を与えてしまう顔の特徴点の抽出に失敗した場合に発生しやすい。このような場合、人物Ａの入力顔画像４２１ａｔ０から抽出された特徴点の配置と、人物Ｂの異なる顔向きの登録顔画像４２２ｂ２から抽出された特徴点の配置とが互いに非常に接近してしまい、また、結果として特徴点近傍のテクスチャ同士が類似してしまうことで、類似度が想定以上に高くなることがある。
【００８２】
図５および図６の例では、人物Ａのやや向かって左を向いた顔向き「角度Ａ１２」の入力顔画像４２１ａｔ０と人物Ａよりも丸顔である人物Ｂの向かって右を向いた顔向き「角度Ａ１５」の登録顔画像４２２ｂ２との類似度４２３ｂ２が、本人の同じ顔向き「角度Ａ１２」の登録顔画像４２２ａ１との類似度４２３ａ１より高くなっている。この場合、入力顔画像４２１ａｔ０と各登録顔データ４２２ａ〜ｃの各登録顔画像との類似度のうち、単純に最も高い値を示すものを選択すると、人物Ｂが入力顔画像４２１ａｔ０の人物であると誤って判定されることになる。
【００８３】
このような誤判定を防止するため、投票手段４４１４は、類似度テーブルに記憶された類似度を参照して類似すると判定した登録顔画像を選択し、選択した登録顔画像に対応づけられた人物と顔向きに対して投票する。この投票手段４４１４の投票処理は、複数の入力顔画像について行う。
【００８４】
図８は、人物Ａ〜Ｃの登録顔データ４２２ａ〜ｃと時刻ｔ、ｔ＋１およびｔ＋２における人物Ａの入力顔画像４２１ｔ０〜２ならびに時系列投票テーブル４２４ａｔ０〜２、４２４ｂｔ０〜２および４２４ｃｔ０〜２と投票集計テーブル４２５ａ〜ｃとの関係を示す図である。図８の人物Ａ〜Ｃの登録顔データ４２２ａ〜ｃおよび時刻ｔにおける入力顔画像４２１ｔ０は、図５〜図７の人物Ａ〜Ｃの登録顔データ４２２ａ〜ｃおよび入力顔画像４２１ｔ０に対応する。図８を参照しながら、投票手段４４１４によって入力顔画像４２１ａｔ０〜２の人物Ａ本人の登録顔画像に投票が集まる様子を説明する。
【００８５】
図８に示すように、時刻ｔにおいて、顔向き「角度Ａ１２」の人物Ａの入力顔画像４２１ａｔ０が得られたとする。そして、この入力顔画像４２１ａｔ０と人物Ａ〜Ｃの登録顔データ４２２ａ〜ｃのそれぞれについて、図５〜７で示したように、類似度テーブル４２３ａ〜ｃに記憶された登録顔画像４２２ａ２、４２２ｂ１、４２２ｂ２および４２２ｃ２が入力顔画像４２１ａｔ０に類似する登録顔画像として選択されたとする。この場合、投票手段４４１４は、時系列投票テーブル４２４ａｔ０〜ｃｔ０に示すように、人物Ａ〜Ｃのそれぞれに対して投票集計テーブルの登録顔画像４２２ａ２、４２２ｂ１、４２２ｂ２および４２２ｃ１の顔向きに対応する投票集計値に、例えば、投票値“１”を加算する。
【００８６】
例えば、図８の時系列投票テーブル４２４ａｔ０において「○」で囲まれた投票値“１”は、人物Ａの顔向き「角度Ａ１２」に対応しており、入力顔画像４２１ａｔ０の人物Ａ本人の入力顔画像４２１ａｔ０と同じ顔向き「角度Ａ１２」とその近傍の顔向きの登録顔画像が入力顔画像４２１ａｔ０に類似すると判定されて投票値“１”が加算されることを示している。また、時系列投票テーブル４２４ｂｔ０および４２４ｃｔ０において「△」で囲まれた投票値“１”は、人物ＢおよびＣの顔向き「角度Ａ１２」に対応しており、入力顔画像４２１ａｔ０の人物Ａとは他人の人物ＢおよびＣであるが入力顔画像４２１ａｔ０と同じ顔向き「角度Ａ１２」の登録顔画像が入力顔画像４２１ａｔ０に類似すると判定されて投票値“１”が加算されることを示している。さらに、時系列投票テーブル４２４ｂｔ０において「□」で囲まれた投票値“１”は、人物Ｂの顔向き「角度Ａ１５」に対応しており、入力顔画像４２１ａｔ０の人物Ａと他人の人物Ｂで異なる顔向き「角度Ａ１５」の登録顔画像が偶発的に入力顔画像４２１ａｔ０に類似してしまい投票値“１”が加算されることを示している。
【００８７】
時刻ｔ＋１では、人物Ａの顔向きが少し変わり、顔向き「角度Ａ１１」の入力顔画像４２１ａｔ１が得られたとする。このため、入力顔画像４２１ａｔ１は、入力顔画像４２１ａｔ１の人物Ａの登録顔データ４２２ａのうちで入力顔画像４２１ａｔ１と同じ顔向き「角度Ａ１１」の登録顔画像との類似度が最も高く、顔向き「角度Ａ１１」に角度が近い顔向きの登録顔画像との類似度も一定以上の高い値になる。
【００８８】
この場合、時系列投票テーブル４２４ａｔ１において「○」で囲まれた投票値“１”は、入力顔画像４２１ａｔ１と同じ人物Ａで同じ顔向き「角度Ａ１１」に対応しており、入力顔画像４２１ａｔ１の人物Ａ本人の入力顔画像４２１ａｔ１と同じ顔向き「角度Ａ１１」とその近傍の顔向きの登録顔画像が入力顔画像４２１ａｔ１に類似すると判定されて投票値“１”が加算されることを示している。また、時系列投票テーブル４２４ｂｔ１および４２４ｃｔ１において「△」で囲まれた投票値“１”は、人物ＢおよびＣの顔向き「角度Ａ１１」に対応しており、入力顔画像４２１ａｔ１の人物Ａとは他人の人物ＢおよびＣであるが入力顔画像４２１ａｔ１と同じ顔向き「角度Ａ１１」の登録顔画像が入力顔画像４２１ａｔ１に類似すると判定されて投票値“１”が加算されることを示している。
【００８９】
時刻ｔ＋２では、人物Ａの顔向きがさらに変わり、顔向き「角度Ａ２１」の入力顔画像４２１ａｔ２が得られたとする。このため、入力顔画像４２１ａｔ２は、入力顔画像４２１ａｔ２の人物Ａの登録顔データ４２２ａのうちで顔向き「角度Ａ２１」の登録顔画像との類似度が最も高く、顔向き「角度Ａ２１」に角度が近い顔向きの登録顔画像との類似度も一定以上の高い値になる。
【００９０】
この場合、時系列投票テーブル４２４ａｔ２において「○」で囲まれた投票値“１”は、人物Ａの顔向き「角度Ａ２１」に対応しており、入力顔画像４２１ａｔ２の人物Ａ本人の入力顔画像４２１ａｔ２と同じ顔向き「角度Ａ２１」とその近傍の顔向きの登録顔画像が入力顔画像４２１ａｔ２に類似すると判定されて投票値“１”が加算されることが示されている。また、時系列投票テーブル４２４ｂｔ２および４２４ｃｔ２において「△」で囲まれた投票値“１”は、人物ＢおよびＣの顔向き「角度Ａ２１」に対応しており、入力顔画像４２１ａｔ２の人物Ａとは他人の人物ＢおよびＣであるが入力顔画像４２１ａｔ２と同じ顔向き「角度Ａ２１」の登録顔画像が入力顔画像４２１ａｔ２に類似すると判定されて投票値“１”が加算されることを示している。さらに、時系列投票テーブル４２４ｃｔ２において「□」で囲まれた投票値“１”は、人物Ｃの顔向き「角度Ａ２５」に対応しており、入力顔画像４２１ａｔ０の人物Ａと異なる人物Ｃで異なる顔向き「角度Ａ２５」の登録顔画像が、図５の登録顔画像４２２ｂ２と同様に、偶発的に入力顔画像４２１ａｔ２に類似してしまい投票値“１”が加算されることを示している。この人物Ｃの顔向き「角度Ａ２５」の登録顔画像の入力顔画像４２１ａｔ２との類似度は、入力顔画像４２１ａｔ２と同じ人物Ａで同じ顔向き「角度Ａ２１」の登録画像の類似度より高いとする。
【００９１】
図８に示される例において単純に入力顔画像との類似度が一番高い登録顔画像の人物を入力顔画像の人物であると判定すると、入力顔画像４２１ａｔ０と人物Ｂの顔向き「角度Ａ１５」の登録顔画像との類似度が入力顔画像４２１ａｔ０と人物Ａの顔向き「角度Ａ１２」の登録顔画像との類似度より高いので、入力顔画像４２１ａｔ０の人物は人物Ｂであると誤って判定されてしまう。また、入力顔画像４２１ａｔ２と人物Ｃの顔向き「角度Ａ２５」の登録顔画像との類似度が入力顔画像４２１ａｔ２と人物Ａの顔向き「角度Ａ２１」の登録顔画像との類似度より高いので、入力顔画像４２１ａｔ２の人物は人物Ｃであると誤って判定されてしまう。
【００９２】
そこで、本発明に係る投票手段４４１４は、投票集計テーブル４２５ａ〜ｃに示すように、人物Ａ〜Ｃのそれぞれについて、時系列投票テーブル４２４ａｔ０〜２、４２４ｂｔ０〜２および４２４ｃｔ０〜２で示された時刻ｔ、ｔ＋１およびｔ＋２における投票値の総和をそれぞれ算出して、算出した投票値の総和を投票集計値としてそれぞれ投票集計テーブル４２５ａ〜ｃに記憶する。すると、投票集計テーブル４２５ａ〜ｃに記憶された投票集計値のうち、人物Ａの顔向き「角度Ａ１６」および「角度Ａ１７」の投票集計値が“３”となり、最大である。これは、ウォークスルー型認証のように、撮影領域を通過する利用者の顔を時系列に撮影すると、撮影された利用者の顔向きは変化するものの、その変化は緩やかになるからである。したがって、入力顔画像の人物Ａに対する投票値に関しては、入力顔画像と同じ顔向きとその顔向きに角度が近い顔向きにおいて投票値が加算されるため、投票の結果、投票集計値は高くなる。一方、人物ＢおよびＣに対しては、投票集計テーブル４２５ｂおよび４２５ｃに示すように、人物Ａのように高い投票値にならない。これは、ウォークスルー型の顔認証のように顔向きが少しずつ異なる複数の入力顔画像が得られる場合においても、入力顔画像と入力顔画像の人物と他人の登録顔画像との類似度が入力顔画像の人物本人の登録顔画像との類似度より高くなるのは、上述したように特徴点の抽出の失敗などにより突発的に起きるため、他人の登録顔画像との類似度は、入力顔画像と少し顔向きが異なると直ちに低くなるという傾向があるからである。
【００９３】
人物決定手段４４１５は、投票手段４４１４による投票結果が記憶された投票集計テーブルより、投票集計値が最大である人物を最も多く投票された人物として選び、入力顔画像の人物であると決定する。例えば、図８の投票集計テーブル４２５ａ〜ｃでは、人物決定手段４４１５は、最大の投票集計値”３”を有する投票集計テーブル４２５ａに対応する人物Ａを選択する。そして、人物決定手段４４１５は、その最大の投票集計値”３”を所定の照合用閾値と比較し、最大の投票集計値”３”が照合用閾値以上であれば、人物Ａを入力顔画像４２１ｔ０〜２の人物、すなわち、入力画像に映った人物であると決定する。照合用閾値は、投票手段４４１４において用いられる時系列投票テーブルの枚数に応じて定められ、例えば、その枚数の３０％とすることができる。
【００９４】
なお、人物決定手段４４１５は、投票集計テーブルにおける各顔向きの投票集計値をさらに人物ごとに合計して最大の総和を得た人物を入力顔画像の人物として選択してもよい。例えば、図８に示される例では、人物Ａの投票集計テーブル４２５ａで各顔向きの投票集計値を合計すると２１、人物Ｂの投票集計テーブル４２５ｂで各顔向きの投票集計値を合計すると４、人物Ｃの投票集計テーブル４２５ｃで各顔向きの投票集計値を合計すると４になる。この場合、人物ごとの投票集計値の総和が最大の２１となる人物Ａが入力顔画像４２１ａｔ０〜２の人物として選択される。なお、投票集計テーブルに登録人物の人数分の投票集計値を記憶する領域を用意し、この投票集計テーブルにおいて、投票手段４４１４が入力顔画像に類似する登録顔画像に対応する人物に対して投票しても同様の結果が得られる。さらに、人物決定手段４４１５は、すべての投票集計テーブルに記憶されている各顔向きに対する投票集計値のうち最大の投票集計値を有し、かつ、投票集計テーブルにおける各顔向きの投票集計値を人物ごとに合計して最大の総和を得た登録人物を入力顔画像の人物としてもよい。
【００９５】
また、上述の例では、投票手段４４１４は、各時刻において人物ごとかつ顔向きごとに投票された結果を、複数の入力画像にわたって累積して総和を算出している。しかしながら、投票手段４４１４は、投票する顔向きを入力顔画像の顔向きとその顔向きに角度が近い顔向きに限定し、限定された顔向きの投票値の総和を人物ごとに算出してもよい。すなわち、投票手段４４１４は、各時刻において類似度テーブルに記憶された類似度に基づいて入力顔画像に類似すると判定された登録顔画像の顔向きに対して投票し、投票値の総和が最大となった顔向きをその時刻における入力顔画像の顔向きであると推定する。投票手段４４１４は、この推定した顔向きから一定範囲内の角度の顔向き（例えば「４近傍」「８近傍」もしくは「２４近傍」など）に限定して、各時刻における各人物に対する投票値の総和ｖ＿ｓｕｍ（ｉ、ｔ）を求める。ここで、添え字ｉは登録された人物に関する識別子、ｔは時刻を表す。そして、投票手段４４１４は、全撮影時刻、例えば図８の例ではｔ、ｔ＋１およびｔ＋２の３つの時刻について、人物ごとのｖ＿ｓｕｍ（ｉ、ｔ）、ｖ＿ｓｕｍ（ｉ、ｔ＋１）およびｖ＿ｓｕｍ（ｉ、ｔ＋２）の全総和ｖ＿ｓｕｍ＿ａｌｌ（ｉ）を求める。このとき、投票手段４４１４は、例えば、投票集計テーブルにおいて登録顔画像の顔向きが推定した入力顔画像の顔向きに近いほど大きな重みを投票値に付けて人物ごとの投票値の全総和を集計してもよい。
【００９６】
この場合、人物決定手段４４１５は、その人物ごとの全総和ｖ＿ｓｕｍ＿ａｌｌ（ｉ）のうち最大値に対応する人物ｉを入力顔画像の人物であると判定する。これにより、登録顔画像の顔向きが多少違っても、入力顔画像の本人であれば類似度が高くなる一方、他人であれば類似度が低くなるという特性を活かして、顔照合の照合精度を向上させることができる。また、ウォークスルーで時系列に撮影された入力顔画像のように、顔向きの変化が緩やかな場合だけでなく、顔向きが急に変化する場合でも、推定した顔向きに角度が近い顔向きについてのみ投票値の総和を求めるので、顔照合の照合精度を高めることが可能となる。
【００９７】
上述したように、投票手段４４１４は、入力顔画像４２１ａｔ０〜２に類似すると判定された登録顔画像の各人物および各顔向きについて投票値を集計する。これにより、本発明に係る顔照合装置４０は、図６の登録顔データ４２２ｂの登録顔画像４２２ｂ２のように、人物Ａと顔の形状が異なる人物Ｂの異なる顔向き「角度Ａ１５」の登録顔画像と人物Ａの入力顔画像４２１ａｔ０の類似度が想定外に高くなったとしても、人物Ｂが入力顔画像４２１ａｔ０〜２の人物として誤って判定されるのを回避できる。
【００９８】
顔照合結果出力インタフェース部４５０は、制御部４４０が顔照合の照合結果を、顔照合結果処理部５０に送るためのインタフェース部である。したがって、顔照合結果出力インタフェース部４５０は、上述の画像入力インタフェース部２１０と同様に、顔照合結果処理部５０と顔照合装置４０とを接続する通信の方式に従って適切な通信インタフェースアダプタなどを含んで構成される。
【００９９】
顔照合結果処理部５０は、顔照合装置４０から通信を介して照合結果を受け取り、この照合結果に基づいて適切な処理を行う。顔照合結果処理部５０は、顔照合装置４０と分離した１つもしくは複数の装置でもよく、顔照合装置４０と一体でもよい。
【０１００】
例えば、顔照合結果処理部５０は、電気信号によってドアの施錠／解錠を行う電気錠でもよい。そして、顔照合装置４０が入力画像中の人物が登録されている入室許可対象者のいずれかであるという照合結果を電気信号によって電気錠に送ると、電気錠は、ドアを解錠して入室を許可し、そうでない場合、電気錠は、ドアに施錠をしたまま入室を禁止することができる。
【０１０１】
また、例えば、顔照合結果処理部５０は、ディスプレイ、ランプ、アラームもしくはスピーカなどのユーザ出力装置を有する警報装置などでもよい。そして、顔照合結果処理部５０は、顔照合装置４０から入力画像中の人物が入室許可対象者のいずれでもないという照合結果を受け取った場合、照合結果を適切な形式でユーザ出力装置に出力して、入室許可対象者でない者が入室しようとしたことを職員や保安員などに報知してもよい。
【０１０２】
次に、図９および図１０を参照しながら、本実施例のウォークスルー型の入退室管理システム１の処理の流れについて説明する。
【０１０３】
図９は、本実施例に係る顔データ登録装置２０による登録顔データ４２２の登録処理の一例を示すフローチャートである。図９を参照しながら、本実施例のウォークスルー型の入退室管理システム１における顔データ登録装置２０の登録顔データ４２２の登録処理について説明する。顔データ登録装置２０の制御部２２０は、撮像部１０から画像入力インタフェース部２１０を介して登録用画像を受け取ると、以下の処理を開始する。
【０１０４】
制御部２２０は、撮像部１０から受け取った登録用画像を登録用顔画像抽出手段２２１０に渡す。そして、登録用顔画像抽出手段２２１０は、受け取った登録用画像から顔領域を抽出して登録用顔画像を生成する（ステップＳ１１０）。
【０１０５】
３次元顔モデル生成手段２２２０は、登録用顔画像抽出手段２２１０が抽出した登録用顔画像のデータを３次元顔形状データにマッピングして、登録人物の３次元顔モデルを生成する（ステップＳ１２０）。
【０１０６】
登録顔データ生成手段２２３０は、３次元顔モデル生成手段２２２０が生成した３次元顔モデルの頭部を様々な方向に変えて再現して生成した様々な顔向きの登録顔画像を登録顔データ４２２として記憶部２３０に記憶させる（ステップＳ１３０）。
【０１０７】
制御部２２０は、すべての登録人物の登録用画像についてステップＳ１１０〜ステップＳ１４０の処理を繰り返した後、記憶部２３０に記憶されたすべての登録顔データ４２２を登録顔データ出力インタフェース部２４０を介して顔照合装置４０に送ることができる。
【０１０８】
なお、制御部２２０は、上述したように、撮像部１０から撮影した登録人物の登録用画像が送られると、随時、送られた登録用画像を登録用顔画像抽出手段２２１０に渡してもよいが、これらの登録用画像はビデオテープもしくはハードディスクなどの記憶媒体に録画データとして一旦保存されてもよい。そして制御部２２０は、記憶部媒体に保存された録画データを記憶部２３０のアクセス装置などによって読み取り、読み取った録画データから１フレームずつ切り出して登録用画像として登録用顔画像抽出手段２２１０に渡してもよい。
【０１０９】
図１０は、本実施例に係る顔照合装置４０による顔照合処理の一例を示すフローチャートである。図１０を参照しながら、本実施例のウォークスルー型の入退室管理システム１における顔照合装置４０の顔照合処理について説明する。登録人物の登録顔データ４２２は、図９で説明したように顔データ登録装置２０によって生成されて、顔照合装置４０の記憶部４２０に記憶されているものとする。顔照合装置４０の制御部４４０は、撮像部３０から画像入力インタフェース部４１０を介して入力画像を順次受け取ると、以下の処理を実行する。
【０１１０】
制御部４４０は、撮像部３０から受け取った入力画像を入力顔画像抽出手段４４１１に渡す。そして、入力顔画像抽出手段４４１１は、受け取った入力画像から、上述した登録用顔画像抽出手段２２１０と同様に人物の顔領域を抽出し入力顔画像として記憶部４２０に記憶する（ステップＳ２１０）。
【０１１１】
なお、ステップＳ２１０において、入力画像中に複数の人物が撮影されている場合、入力顔画像抽出手段４４１１は、入力画像から複数の顔領域を抽出する。この場合、制御部４４０は、入力画像に含まれる複数の入力顔画像のそれぞれについて、ステップＳ２１０〜Ｓ２７０の処理を繰り返す。
【０１１２】
類似度算出手段４４１２は、入力顔画像抽出手段４４１１が抽出した入力顔画像と記憶部４２０に記憶されている各登録人物の登録顔データ４２２の様々な顔向きの登録顔画像との類似度をそれぞれ算出する。そして、類似度算出手段４４１２は、算出した類似度を、登録人物ごとに各登録顔画像の顔向き識別情報に対応付けて類似度テーブルに記憶する（ステップＳ２２０）。例えば、登録されている登録人物が１００人で、図２に示したように１人につき２５枚の登録顔画像が登録されている場合、類似度算出手段４４１２は、２５×１００＝２５００枚の登録顔画像と入力顔画像との類似度を求めて類似度テーブルに記憶してもよい。
【０１１３】
投票テーブル更新手段４４１３は、過去に取得した入力画像に関して投票集計テーブルの投票集計値に加算された古い投票値を投票集計テーブルから取り除く（ステップＳ２３０）。
【０１１４】
投票手段４４１４は、類似度算出手段４４１２が類似度テーブルに記憶した類似度を参照して入力顔画像に類似する登録顔画像を選択し、選択した登録顔画像の人物および顔向きに対して投票集計テーブルで投票する（ステップＳ２４０）。ステップＳ２１０において入力画像から複数の入力顔画像が抽出され、抽出された複数の入力顔画像のそれぞれについて画像追跡を行っている場合、投票手段４４１４は、追跡する入力顔画像ごとに、上述の投票集計テーブルでの投票を行ってもよい。
【０１１５】
人物決定手段４４１５は、投票手段４４１４が投票した投票集計テーブルを参照して、投票集計値が最大である人物を入力顔画像の人物として選択する（ステップＳ２５０）。
【０１１６】
人物決定手段４４１５は、ステップＳ２５０で選択した最大の投票集計値が照合用閾値以上であるか否かを判定する（ステップＳ２６０）。
【０１１７】
最大の投票集計値が照合用閾値未満の場合（ステップＳ２６０のＮｏ）、制御部４４０は、ステップＳ２１０に戻り、撮像部３０から入力画像を受け取る。そして、制御部４４０は、受け取った入力画像を入力顔画像抽出手段４４１１に渡し、ステップＳ２１０〜Ｓ２７０の処理を繰り返す。
【０１１８】
最大の投票集計値が照合用閾値以上の場合（ステップＳ２６０のＹｅｓ）、人物決定手段４４１５は、選択した最大の投票集計値に対応する人物を入力画像に入力顔画像の人物であると決定して照合結果として出力する（ステップＳ２７０）。制御部４４０は、人物決定手段４４１５から入力顔画像の人物が登録人物のいずれかであると判定されたことおよび／もしくは入力顔画像の人物であると判定された登録人物に関する人物情報などを照合結果として受け取り、この照合結果を顔照合結果出力インタフェース部４５０によって顔照合結果処理部５０に送り、処理を終了する。
【０１１９】
本発明に係る顔画像照合装置によれば、入力顔画像と入力顔画像と異なる人物で顔向きが異なる登録顔画像との類似度が非常に高いため入力顔画像の人物を他人と誤って判定してしまう他人受け入れもしくは本人棄却を防止することができるので、顔照合の照合精度を向上させることができる。
【０１２０】
なお、本発明に係る顔画像照合装置は、ウォークスルー型の入退室管理システムだけでなく、利用者が部屋の入り口の前で一旦立ち止まって入室の許可を得るための顔認証を行う入退室管理システムの顔照合装置に適用することができる。この顔照合装置では、例えば、部屋の入り口前などに設置された複数のカメラによって様々な角度から撮影された様々な顔向きの利用者の画像を複数の入力画像として、上述したウォークスルー型の入退室管理システムの顔照合装置と同様の顔照合処理を行うことができる。
【０１２１】
また、本発明は、店舗内の店内監視システムなどにおいて監視カメラの監視画像から不審者を検出するために顔照合を行う顔照合装置などに適用することができる。この店内監視システムの顔照合装置では、過去に不正行為を行った前歴のある要監視対象者などの顔画像を登録顔データとして予め登録しておき、監視画像から抽出された入力顔画像と予め登録された登録顔画像とを照合する。この場合、顔照合装置は、監視カメラから時系列に撮影された複数の監視画像を入力画像として、上述の顔照合装置と同様に顔照合を行うことができる。また、この顔照合装置は、店舗内の複数の場所に設置された複数の監視カメラが撮影した複数の監視画像を入力画像とすることができる。そして顔照合装置は、入力画像中の人物が登録顔データが登録されている要監視対象者のいずれかであると判定すると、その旨を警報装置などの顔照合結果処理装置を通じて店員や保安員などの監視者に報知する。
【０１２２】
また、例えば、上述の店内監視システムにおいて、撮像部から送られた入力画像は、ビデオテープもしくはハードディスクなどの記憶媒体に録画データとして一旦保存されてもよい。この場合、顔照合装置の制御部は、記憶媒体に保存された録画データを記憶部のアクセス装置などによって読み取り、読み取った録画データから１フレームずつ切り出して入力画像とすることができる。そして顔照合装置は、上述したように入力画像中の人物が登録顔データの登録人物であるか否かを照合することによって、保存された録画データ中に要監視対象者などの不審者が写っていないか分析することができる。
【０１２３】
さらに、上述した実施例では、顔データ登録装置２０と顔照合装置４０とは別個の装置であったが、本発明に係る顔データ登録装置２０と顔照合装置４０とは同一の装置でもよい。この場合、顔データ登録装置用の撮像部１０、画像入力インタフェース部２１０、制御部２２０および／もしくは記憶部２３０は、それぞれ、顔照合装置４０用の撮像部３０、画像入力インタフェース部４１０、制御部４４０および／もしくは記憶部４２０と共通でもよい。また、登録顔データ出力インタフェース部２４０および登録顔データ入力インタフェース部４３０は不要である。例えば、店内監視システムの一実施例において、顔データ登録装置の制御部は、店舗内の監視カメラなどの撮像部から受け取った監視画像に不審者が含まれていると判定した場合、この監視画像を登録用画像として登録顔データの登録処理を行ってもよい。
【産業上の利用可能性】
【０１２４】
本発明は、認証システムおよび監視システムなどにおける様々な顔照合装置に適用することができる。
【符号の説明】
【０１２５】
１ ウォークスルー型入退室管理システム
１０ 撮像部
２０ 顔データ登録装置
３０ 撮像部
４０ 顔照合装置
５０ 顔照合結果処理部
２１０ 画像入力インタフェース部
２２０ 制御部
２３０ 記憶部
２４０ 登録顔データ出力インタフェース部
４１０ 画像入力インタフェース部
４２０ 記憶部
４３０ 登録顔データ入力インタフェース部
４４０ 制御部
４５０ 顔照合結果出力インタフェース部
２２１０ 登録用顔画像抽出手段
２２２０ ３次元顔モデル生成手段
２２３０ 登録顔データ生成手段
４４１１ 入力顔画像抽出手段
４４１２ 類似度算出手段
４４１３ 投票テーブル更新手段
４４１４ 投票手段
４４１５ 人物決定手段
【技術分野】
【０００１】
本発明は、顔画像処理装置に関し、特に、複数の入力画像中の人物の顔画像を照合する顔画像照合装置に関する。
【背景技術】
【０００２】
従来、オフィスの部屋の入り口などにおいて、利用者が扉の前に立って認証装置による認証を受け、認証されると入室が許可される入退室管理システムが利用されている。この入退室管理システムでは、扉の前で入室しようとしている利用者の顔を扉の近くなどに設置された認証用カメラで撮影し、撮影した画像から抽出された入力顔画像と予めシステムに登録されている入室許可対象者の顔画像とを照合する。そして、入力顔画像の人物がシステムに登録されている入室許可対象者の登録顔画像のいずれかと一致すると、撮影された人物は、入室が許可されるべき者として認証され、扉の電気錠が解錠されるので部屋に入ることができる。
【０００３】
ここで、顔画像同士の照合を精度良く実施するためには、顔画像に映されている人物の顔向きが互いに同じ方向を向いていることが好ましい。互いに異なる方向を向いた顔が映されている顔画像を用いて照合処理を行うと、目、鼻、口などの顔の特徴的な部位の顔画像上の形状および位置が異なっているために、照合精度が低下するおそれがある。加えて、顔向きによっては顔画像中に見えない特徴的な部位があることもあり、照合精度が一層低下するおそれがある。
【０００４】
そこで、登録する複数の人物のそれぞれについて顔向きが異なる複数の登録顔画像を用意し、それぞれの顔向きの登録顔画像と入力顔画像との類似度に基づいて、最も類似する登録顔画像の人物を入力顔画像の人物であると判定する顔画像認証装置がある（特許文献１を参照）。特許文献１に開示された顔画像認証装置によれば、様々な顔向きの登録顔画像から入力顔画像と最も類似度が高い登録顔画像の人物が特定され、入力顔画像と同じ顔向きの登録顔画像が最も類似すると判定されることが期待される。
【０００５】
また、顔画像だけでなく指紋画像など人物に関する複数の固有データを利用して、撮影した人物と登録されている人物との照合を行う顔特定装置が開示されている（特許文献２を参照）。この顔特定装置では、カメラなどで取得した顔画像および指紋画像などの特定対象の人物に関する複数の固有データと予め装置に登録されている人物に関する同様の固有データとの複数の類似度を算出し、算出した複数の類似度を統合して、特定対象の人物と登録されている人物との照合を行う。複数の類似度を統合する方法として、類似度の総和を算出する方法が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２４５３３８号公報
【特許文献２】特開２００５−２４２８９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載された顔画像認証装置では、入力顔画像と、入力顔画像に映っている人物と異なる人物で入力顔画像に映っている顔向きと異なる顔向きの登録顔画像との類似度が想定以上に高くなる場合がある。このため、この顔画像認証装置は、入力顔画像の人物を他人であると誤って判定したり（他人受け入れ）、逆に本人でないと判定したり（本人棄却）して照合に失敗することがある。この照合の失敗は、顔の表情や照明の多少の変化があっても本人であると判定できるように、入力顔画像と登録顔画像との多少の違いを許容して一致すると判定するために起きると考えられる。
【０００８】
一方、特許文献２に記載された顔特定装置は、顔向きを考慮しておらず、単純に各登録人物について複数の類似度の平均、総和もしくは積などを求めて、類似度の統合を行う。したがって、この顔特定装置では、入力顔画像と入力顔画像と異なる人物で異なる顔向きの登録顔画像との類似度が非常に高くなると、その非常に高い類似度が統合後の類似度に影響を及ぼすおそれがある。その結果、入力顔画像の人物と異なる人物の統合後の類似度が非常に高くなり、入力顔画像の人物を他人であると誤って判定する他人受入れや本人棄却が発生してしまうという問題がある。
【０００９】
本発明の目的は、入力顔画像の照合精度を向上させた顔画像照合装置を提供することである。
【課題を解決するための手段】
【００１０】
かかる課題を解決するための本発明の一つの実施形態によれば、順次取得された複数の入力顔画像を予め登録された登録顔画像と照合する顔画像照合装置が提供される。かかる顔画像照合装置は、複数の登録人物のそれぞれについて、登録顔画像としてこの登録人物の顔向きが相互に異なる複数の顔画像を記憶する記憶部と、入力顔画像ごとに、登録顔画像との類似度を算出する類似度算出手段と、類似度が所定以上の登録顔画像に投票するとともに、複数の入力顔画像の時間的に連続する所定数分について登録顔画像ごとに投票値を集計して投票集計値を求める投票手段と、投票集計値によって複数の登録人物のいずれかを入力顔画像の人物として決定する人物決定手段と、を有する。
【００１１】
かかる顔画像照合装置において、人物決定手段は、登録人物ごとの投票集計値の総和が最大の登録人物を入力顔画像の人物として決定することが好ましい。
【００１２】
また、かかる顔画像照合装置において、人物決定手段は、投票集計値が最大の登録人物を入力顔画像の人物として決定することが好ましい。
【００１３】
さらに、かかる顔画像照合装置において、人物決定手段は、投票手段が集計する入力顔画像の時間的に連続する所定数に基づき予め定めた照合用閾値を投票集計値が超えている登録人物を入力顔画像の人物として決定することが好ましい。
【発明の効果】
【００１４】
本発明によれば、入力顔画像の照合精度を向上させた顔画像照合装置を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施例に係るウォークスルー型の入退室管理システムの構成を示すブロック図である。
【図２】本実施例に係る登録顔データの一例を示す図である。
【図３】撮像部が歩行中の人物を時系列に撮影した複数の入力画像を示す図である。
【図４】本実施例に係る投票手段の投票処理を示す図である。
【図５】人物Ａの入力顔画像と人物Ａの登録顔データの各登録顔画像との類似度が記憶された類似度テーブルを立体棒グラフで示す図である。
【図６】人物Ａの入力顔画像と人物Ｂの登録顔データの各登録顔画像との類似度が記憶された類似度テーブルを立体棒グラフで示す図である。
【図７】人物Ａの入力顔画像と人物Ｃの登録顔データの各登録顔画像との類似度が記憶された類似度テーブルを立体棒グラフで示す図である。
【図８】人物Ａ〜Ｃの登録顔データと時刻ｔ、ｔ＋１およびｔ＋２における人物Ａの入力顔画像および時系列投票テーブルと投票集計テーブルとの関係を示す図である。
【図９】本実施例に係る顔データ登録装置による登録顔データの登録処理の一例を示すフローチャートである。
【図１０】本実施例に係る顔照合装置による顔照合処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１６】
本願の発明者は、入力顔画像と入力顔画像の人物本人の様々な顔向きの登録顔画像との類似度は、顔向きが同じ場合に最も高いが、入力顔画像の顔向きに角度が近い場合においてもある程度高いという知見を得た。さらに、他人の顔画像であっても、同じ顔向きおよびそれに角度が近い顔向きの登録顔画像との類似度はある程度高くなるという知見を得た。また、上述したように、入力顔画像と、入力顔画像に映っている人物と異なる人物で入力顔画像に映っている顔向きと異なる顔向きの登録顔画像との類似度が非常に高くなった場合においても、この高い類似度を示した登録顔画像の顔向きと異なる顔向きの登録顔画像との類似度は高くならないという知見を得た。
【００１７】
これらの知見に基づいて、本発明に係る顔画像照合装置は、登録人物ごとに複数の顔向きの登録顔画像を有する登録顔データを記憶する。かかる顔画像照合装置は、取得した入力画像ごとに、入力顔画像と登録されている各登録人物の様々な顔向きの登録顔画像との類似度を求め、この類似度に基づいて入力顔画像に類似する登録顔画像を選択し、選択した登録顔画像に対応する人物と顔向きに対して投票を行う。そして、顔画像照合装置は、投票の結果、最も多く投票された人物を入力顔画像の人物であると判定する。これにより、本発明に係る顔画像照合装置は、入力顔画像が入力顔画像の人物と全く顔向きが異なる他人の登録顔データに対して類似度が非常に高くなった場合でも、この他人を入力顔画像の人物であると誤って判定するのを防止することができ、顔照合の照合精度を向上させることができる。
【００１８】
本発明に係る顔画像照合装置は、特に、利用者が認証のためにゲートなどの入り口の前で立ち止まらなくても、歩行中の利用者を入り口の天井付近に設置した認証用カメラなどで自動的に連写し、撮影された利用者の複数の顔画像を用いて顔認証を行う「ウォークスルー」型の入退室管理システムの顔照合装置に適用可能である。ウォークスルー型の入退室管理システムでは、利用者は、例えば、廊下の天井付近に設置された認証用カメラの撮影領域を通過するだけで、いわゆるウォークスルーで認証されて入室を許可されることが可能となる。このため、利用者は、入り口付近の認証用カメラの前で一旦立ち止まり、正面方向などの予め決められた方向に顔を向ける必要がないので、ウォークスルー型の入退室管理システムは、利用者に非常に高い利便性をもたらす。このようなウォークスルー型の入退室管理システムでは、カメラの撮影領域を通過する利用者の時間と共に刻々と顔向きが変わる複数の画像が撮影されるので、本発明に係る顔画像照合装置は、顔向きの異なる複数の入力顔画像とシステムに予め登録されている顔向きの異なる複数の登録顔画像との類似度に基づいて、上述したように顔照合を行うことができる。
【００１９】
以下、本発明に係る顔画像照合装置をウォークスルー型の入退室管理システムの顔照合装置に適用した一実施例について、図を参照しつつ説明する。
【００２０】
図１は、本発明の一実施例に係るウォークスルー型の入退室管理システム１の構成を示すブロック図である。図１に示すように、かかるウォークスルー型の入退室管理システム１は、撮像部１０および３０と、顔データ登録装置２０と、顔照合装置４０と、顔照合結果処理部５０と、を有する。撮像部１０と顔データ登録装置２０、撮像部３０と顔照合装置４０、顔データ登録装置２０と顔照合装置４０および顔照合装置４０と顔照合結果処理部５０の間は、それぞれ、種々の形式の通信ケーブルもしくは内部配線などの有線通信、あるいは、電波もしくは赤外線などの無線通信によって接続することができる。
【００２１】
撮像部１０は、例えば、ＣＣＤ素子もしくはＣ−ＭＯＳ素子などの撮像素子、光学系部品、Ａ／Ｄ変換器などを含む公知のカメラを用いることができる。このカメラは、近赤外波長帯に感度を有する白黒タイプでもよいが、肌色部分の抽出が容易になるよう可視光波長帯に感度を有するカラータイプが好ましい。また、カメラの解像度などの精度は、顔データ登録装置２０および顔照合装置４０の記憶容量、処理能力、顔照合装置４０が所望する顔照合の精度などに応じて適切なものを用いることができる。さらに、登録用画像は、多階調の画素値で表されるカラー画像でもグレースケール画像でもよいが、８ビット程度の輝度分解能を持つカラー画像が好ましい。
【００２２】
撮像部１０は、入室が許可される社員などの入室許可対象者を撮影し、得られた２次元画像データを顔データ登録装置２０が登録する登録人物の登録用画像として通信などを介して顔データ登録装置２０に送る。
【００２３】
顔データ登録装置２０は、例えば、いわゆるコンピュータなどの情報処理装置によって構成することができる。顔データ登録装置２０は、撮像部１０から受け取った登録人物の登録用画像を用いて、登録人物の様々な顔向きの登録顔画像を有する登録顔データと顔向きに関する角度情報を生成する。そして顔データ登録装置２０は、生成した登録顔データおよび角度情報をＣＤ−ＲＯＭ、ＤＶＤ−Ｒ／Ｗおよび／もしくはフラッシュメモリなどのコンピュータ読み取り可能な記憶媒体あるいは通信などを介して顔照合装置４０に登録することができる。
【００２４】
図１に示すように、顔データ登録装置２０は、画像入力インタフェース部２１０と、制御部２２０と、記憶部２３０と、登録顔データ出力インタフェース部２４０と、を有する。
【００２５】
画像入力インタフェース部２１０は、制御部２２０が撮像部１０から登録人物の登録用画像を受け取るインタフェース部である。したがって、画像入力インタフェース部２１０は、撮像部１０と顔データ登録装置２０とを接続する通信の方式に従って、例えば、ＬＡＮ、ユニバーサルシリアルバス（ＵＳＢ）、ＳＣＳＩ、無線ＬＡＮもしくは赤外線通信などに対応する適切な通信インタフェースアダプタなどを含んで構成される。
【００２６】
制御部２２０は、プロセッサとその周辺回路を含んで構成され、プロセッサが記憶部２３０に記憶された各種プログラムを実行することによって、顔データ登録装置２０の登録顔データの登録処理を制御する。プロセッサおよび記憶部２３０は、マイクロプロセッサもしくはＡＳＩＣなどを含んで構成されてもよい。プロセッサが実行するプログラムは、ＣＤ−ＲＯＭおよび／もしくはＤＶＤ−Ｒ／Ｗなどのコンピュータ読み取り可能な記憶媒体もしくは通信などによって提供されて記憶部２３０に記憶されてもよく、ファームウェアとして提供されてもよい。
【００２７】
制御部２２０は、撮像部１０から画像入力インタフェース部２１０を介して登録人物の登録用画像を受け取り、受け取った登録用画像を用いて登録人物の様々な顔向きの登録顔画像を生成し、登録顔データとして記憶部２３０に記憶させる。また、制御部２２０は、記憶部２３０に記憶させた登録顔データを登録顔データ出力インタフェース部２４０を介して顔照合装置４０に送ることができる。
【００２８】
図２は、本実施例に係る登録顔データ４２２の一例を示す図である。各登録顔データ４２２は、例えば、登録人物の識別情報などの各登録人物に関する人物情報に対応付けて記憶される。図２に示すように、登録顔データ４２２は、様々な顔向きの登録顔画像を含む。この例では、真正面を向いた「角度Ａ１３」の登録顔画像を中心に、上下方向（ピッチ角）と左右方向（ヨー角）にそれぞれ１５度刻みで±３０度まで顔向きを変えた５×５＝２５種類の顔向きの登録顔画像が登録顔データ４２２に含まれる。したがって、例えば、図２に示した登録顔データ４２２が１００人分登録されている場合、２５×１００＝２５００枚の登録顔画像が登録顔データ４２２として記憶部２３０に記憶されることになる。
【００２９】
なお、以下、顔向きの種類は図２に示した２５種類として説明するが、本発明はこれに限定されない。例えば、撮像部１０の撮影範囲、顔データ登録装置２０および顔照合装置４０の記憶容量、処理能力および顔照合装置４０の所望の照合精度などに応じて、ピッチ角およびヨー角の刻み幅や範囲を任意に変えて登録顔画像の数を増減することができる。例えば、制御部２２０は、撮像部１０の撮影範囲がピッチ角±３０度およびヨー角±４５度であれば、ピッチ角およびヨー角の刻み幅をそれぞれ１５度として、５×７＝３５種類の顔向きの登録顔画像を生成してもよい。さらに、制御部２２０は、７×７＝４９種類もしくは９×９＝８１種類の顔向きの登録顔画像を生成してもよい。ただし、照合精度の観点からは、ピッチ角およびヨー角の刻み幅は１５度以下が好ましい。
【００３０】
登録顔データ４２２の各登録顔画像は、その顔向きに対応付けて記憶部２３０に記憶される。例えば、制御部２２０は、図２に示すように２５種類の顔向きに「角度Ａ１」〜「角度Ａ２５」という識別名もしくは識別番号などの顔向き識別情報を割り当て、この顔向き識別情報に各登録顔画像を対応付けて記憶部２３０に記憶させることができる。
【００３１】
また、制御部２２０は、各顔向き識別情報に、その顔向きのピッチ角とヨー角との組み合わせを角度情報として対応付けて記憶部２３０に記憶させることができる。例えば、図２に示すように、ピッチ角＝０度およびヨー角＝０度の真正面を向いた顔向き「角度Ａ１３」を中心として、２５種類の顔向き「角度Ａ１」〜「角度Ａ２５」は、１５度刻みで±３０度までの５種類のピッチ角と５種類のヨー角との２５種類の組み合わせに対応付けられる。
【００３２】
図２の例では、「角度Ａ１１」は、向かって左に角度３０度の顔向きでピッチ角＝０度およびヨー角＝−３０度、「角度Ａ１５」は、向かって右に角度３０度の顔向きでピッチ角＝０度およびヨー角＝＋３０度、「角度Ａ３」は、上に３０度の顔向きでピッチ角＝−３０度およびヨー角＝０度、「角度Ａ２３」は、下に３０度の顔向きでピッチ角＝＋３０度およびヨー角＝０度の組み合わせの角度情報に対応付けられる。
【００３３】
なお、制御部２２０は、例えば、上記５種類のピッチ角およびヨー角にそれぞれ０〜４の番号を付けて０〜４の２個の番号の組み合わせを顔向き識別情報とし、ピッチ角およびヨー角の刻み幅および個数を角度情報として記憶してもよい。
【００３４】
図１に示すように、制御部２２０は、登録用顔画像抽出手段２２１０と、３次元顔モデル生成手段２２２０と、登録顔データ生成手段２２３０と、を有する。制御部２２０は、記憶部２３０に記憶されたこれらの手段を実行するプログラムをプロセッサが実行することによって、顔データ登録装置２０における登録顔データ４２２の登録処理を制御する。
【００３５】
登録用顔画像抽出手段２２１０は、撮像部１０から画像入力インタフェース部２１０を介して受け取った登録用画像から、人物の顔が写っている顔領域を登録用顔画像として抽出する。
【００３６】
顔領域を抽出するために、登録用顔画像抽出手段２２１０は、公知の様々な方法を用いることができる。例えば、登録用顔画像抽出手段２２１０は、登録用画像中の部分領域から１つもしくは複数の特徴量を算出し、その特徴量が人物の顔に対応すると考えられる所定の条件を満たす場合に、その部分領域を顔領域として抽出してもよい。具体的には、登録用顔画像抽出手段２２１０は、例えば、Ｓｏｂｅｌフィルタなどを用いてエッジ画素抽出を行い、その部分領域内におけるエッジ画素の方向分布、またはそのエッジ近傍の輝度分布などの特徴量を算出することができる。また、予め、人物の顔を撮影した複数の画像から、これらの特徴量の値を求めてその範囲を決定することにより、上述した所定の条件を予め決定することができる。
【００３７】
顔領域を抽出するための別の方法として、登録用顔画像抽出手段２２１０は、予め準備した顔領域のテンプレートを用いて登録用画像とのテンプレートマッチングを行ったり、登録用画像のエッジ画像から顔もしくは頭部領域の輪郭形状のエッジ分布を検出したりすることによって、顔領域を抽出してもよい。また、登録用顔画像抽出手段２２１０は、これらの公知の方法を組み合わせて顔領域を抽出してもよい。
【００３８】
３次元顔モデル生成手段２２２０は、登録用顔画像抽出手段２２１０から受け取った登録用顔画像から３次元顔モデルを生成する。３次元顔モデルとは、登録顔データ生成手段２２３０が登録人物の頭部を再現して様々な顔向きの登録顔画像を生成するためのものである。
【００３９】
３次元顔モデルを生成するために、３次元顔モデル生成手段２２２０は、様々な公知の３次元顔モデル生成方法のいずれかを用いることができる。例えば、３次元顔モデル生成手段２２２０は、特開２００９−２１１１５１号公報に記載されているように、顔の凹凸情報および特徴点の３次元配置情報などを含む３次元顔形状データに、登録用顔画像の肌の色およびテクスチャ情報などをマッピングして、３次元顔モデルを生成することができる。
【００４０】
登録顔データ生成手段２２３０は、３次元顔モデル生成手段２２２０から受け取った３次元顔モデルから登録顔データ４２２を生成する。
【００４１】
このために、登録顔データ生成手段２２３０は、３次元顔モデルから様々な顔向きの２次元顔画像を取得する様々な公知の方法のいずれかを用いることができる。例えば、登録顔データ生成手段２２３０は、上述の特開２００９−２１１１５１号公報に記載されているように、３次元顔モデルの頭部を様々な方向に変えて再現し、これを２次元空間に投影することによって様々な顔向きの登録顔画像を生成することができる。ここで、登録顔画像は、画素値などの画像データそのものでもよいが、特徴点の配置情報および／もしくテクスチャ情報などの登録人物の顔の特徴を示す画像データから取得可能な任意の情報を含んでもよい。
【００４２】
記憶部２３０は、顔データ登録装置２０が各種動作を実行するためのプログラムおよびデータを記憶し、例えばＲＡＭ、ＲＯＭおよび／もしくはＥＰＲＯＭなどの半導体メモリを含んで構成される。また、記憶部２３０は、ハードディスクなどの磁気記憶媒体、ならびに／あるいは、ＣＤ−ＲＯＭおよび／もしくはＤＶＤ−Ｒ／Ｗなどの光記憶媒体と、そのアクセス装置とを含んでもよい。
【００４３】
登録顔データ出力インタフェース部２４０は、制御部２２０が生成した登録顔データ４２２を顔照合装置４０に送るインタフェース部である。したがって、登録顔データ出力インタフェース部２４０は、画像入力インタフェース部２１０と同様に、顔データ登録装置２０と顔照合装置４０とを接続する通信の方式に従って適切な通信インタフェースアダプタなどを含んで構成される。なお、登録顔データ４２２がコンピュータ読み取り可能な記憶媒体によって顔データ登録装置２０から顔照合装置４０に渡される場合、登録顔データ出力インタフェース部２４０はなくてもよい。
【００４４】
撮像部３０は、顔照合装置４０が照合する歩行中の人物を複数回撮影し、撮影して取得した複数の２次元画像データを入力画像として通信などを介して顔照合装置４０に順次送る。
【００４５】
本実施例において、撮像部３０は、例えば、オフィスビルの入室を管理する部屋の入り口前の廊下の天井付近に設置された１つもしくは複数の監視カメラであり、例えば、ＣＣＤ素子もしくはＣ−ＭＯＳ素子などの撮像素子、光学系部品、Ａ／Ｄ変換器などを含む公知のカメラを用いることができる。撮像部３０のカメラは、撮像部１０のカメラと同様に、近赤外波長帯に感度を有する白黒タイプでもよいが、肌色部分の抽出が容易になるよう可視光波長帯に感度を有するカラータイプが好ましい。また、撮像部３０のカメラの解像度などの精度は、監視領域の状況や所望する顔照合の精度に応じて適切なものを用いることができる。さらに、入力画像は、登録用画像と同様に、多階調の画素値で表されるカラー画像でもグレースケール画像でもよいが、８ビット程度の輝度分解能を持つカラー画像が好ましい。撮像部３０は、監視領域を所定の時間間隔（例えば、１００ｍｓｅｃ）ごとに撮影し、取得した監視画像を入力画像として顔照合装置４０に順次送ることができる。
【００４６】
図３は、オフィスビルなどで入室を管理する部屋の入り口前の廊下の天井付近に設置された監視カメラが、歩行中の部屋の利用者を時系列に撮影した複数の入力画像を示す図である。図３には、時刻ｔ、ｔ＋１およびｔ＋２の各時刻において、監視カメラが撮影領域を移動する利用者の顔を撮影して得られた入力顔画像４２１ｔ０、４２１ｔ１および４２１ｔ２が示されている。監視カメラの前を通過する利用者の顔向きは時間と共に少しずつ変わるため、入力顔画像４２１ｔ０、４２１ｔ１および４２１ｔ２には少しずつ顔向きが異なる利用者の顔が映っている。
【００４７】
顔照合装置４０は、例えば、いわゆるコンピュータなどの情報処理装置によって構成することができる。そして顔照合装置４０は、撮像部３０から受け取った入力画像中の人物が、顔照合装置４０に登録されている入室許可対象者などの登録人物と一致するか否かを照合し、照合結果を通信などによって顔照合結果処理部５０に送る。
【００４８】
図１に示すように、顔照合装置４０は、画像入力インタフェース部４１０と、記憶部４２０と、登録顔データ入力インタフェース部４３０と、制御部４４０と、顔照合結果出力インタフェース部４５０と、を有する。
【００４９】
画像入力インタフェース部４１０は、制御部４４０が撮像部３０から入力画像を受け取るインタフェース部である。したがって、画像入力インタフェース部４１０は、上述の画像入力インタフェース部２１０と同様に、撮像部３０と顔照合装置４０とを接続する通信の方式に従って適切な通信インタフェースアダプタなどを含んで構成される。
【００５０】
記憶部４２０は、顔照合装置４０が各種動作を実行するためのプログラムおよびデータを記憶し、上述の記憶部２３０と同様に、例えばＲＡＭ、ＲＯＭおよび／もしくはＥＰＲＯＭなどの半導体メモリを含んで構成される。また、記憶部４２０は、ハードディスクなどの磁気記憶媒体、ならびに／あるいは、ＣＤ−ＲＯＭおよび／もしくはＤＶＤ−Ｒ／Ｗなどの光記憶媒体と、そのアクセス装置とを含んでもよい。
【００５１】
上述したように、記憶部４２０には、顔データ登録装置２０が生成した登録顔データ４２２が顔データ登録装置２０からコンピュータ読み取り可能な記憶媒体あるいは通信などを介して送られ記憶されている。
【００５２】
登録顔データ入力インタフェース部４３０は、制御部４４０が顔データ登録装置２０から通信などによって登録顔データ４２２を受け取るインタフェース部である。したがって、登録顔データ入力インタフェース部４３０は、上述の画像入力インタフェース部２１０と同様に、顔データ登録装置２０と顔照合装置４０とを接続する通信の方式に従って適切な通信インタフェースアダプタなどを含んで構成される。なお、登録顔データ４２２がコンピュータ読み取り可能な記憶媒体によって顔データ登録装置２０から渡される場合、登録顔データ入力インタフェース部４３０はなくてもよい。
【００５３】
制御部４４０は、上述の制御部２２０と同様に、プロセッサとその周辺回路を含んで構成され、プロセッサによって記憶部４２０に記憶された各種プログラムを実行することによって、顔照合装置４０の顔照合処理を制御する。プロセッサが実行するプログラムは、制御部２２０と同様に提供されて記憶部４２０に記憶される。
【００５４】
図１に示すように、制御部４４０は、入力顔画像抽出手段４４１１と、類似度算出手段４４１２と、投票テーブル更新手段４４１３と、投票手段４４１４と、人物決定手段４４１５と、を有し、記憶部４２０に記憶されたこれらの手段を実行するプログラムをプロセッサが実行することによって、顔照合装置４０における顔照合処理を制御する。制御部４４０は、撮像部３０から画像入力インタフェース部４１０を介して入力画像を順次受け取り、受け取った入力画像を記憶部４２０に記憶された登録顔データ４２２と照合し、その照合結果を顔照合結果出力インタフェース部４５０を介して顔照合結果処理部５０に送る。
【００５５】
入力顔画像抽出手段４４１１は、撮像部３０から画像入力インタフェース部４１０を介して受け取った入力画像から、上述の登録用顔画像抽出手段２２１０と同様に人物の顔が写っている顔領域を抽出して入力顔画像とする。この入力顔画像は、上述した登録顔画像と同様に、入力画像から得られる入力画像の人物の顔の特徴を示す任意の情報を含んでもよい。
【００５６】
類似度算出手段４４１２は、入力顔画像抽出手段４４１１が抽出した入力顔画像と記憶部４２０に記憶されているすべての登録顔データ４２２のすべての顔向きの登録顔画像との類似度を算出する。そして、類似度算出手段４４１２は、算出した類似度を登録顔画像の人物および顔向きに対応付けて類似度テーブルとして記憶部４２０に記憶する。ここで、類似度テーブルとは、１人分の登録顔データ４２２ごとに用意され、各登録顔データ４２２に含まれるすべての登録顔画像の顔向きの数だけ類似度が記憶される領域を有するテーブルである。記憶部４２０には、記憶部４２０に記憶されているすべての登録顔データ４２２に対応する登録人物の人数分の類似度テーブルが記憶されている。
【００５７】
類似度は、入力顔画像と登録顔画像とが類似するほど、線形的もしくは非線形的に増加もしくは減少する値であればよい。以下では、類似度は、類似するほど増加する値として説明する。本実施例では、入力顔画像および各登録顔画像は２次元顔画像であるので、類似度算出手段４４１２は、一般的な方法を用いて類似度を算出することができる。
【００５８】
例えば、類似度算出手段４４１２は、特徴点の配置情報およびテクスチャ情報などの画像の特徴を用いて入力顔画像と登録顔画像との類似度（すなわち、入力顔画像に映った顔と登録顔画像に映った顔との類似度）を求めることができる。類似度算出手段４４１２は、それぞれの特徴を単独で用いて類似度を求めてもよいが、複数の特徴を併用した方が類似度の精度が高くなるため、本実施例では複数の特徴を併用して類似度を求める。
【００５９】
画像間の類似度を算出する具体的な計算方法は、目的に応じて様々な方法がある。例えば、特徴点の配置情報およびテクスチャ情報の２つの画像の特徴を用いる場合、次の式（１）のように類似度を求めることができる。
類似度（ｐ，ｑ）＝αＦ（ｐ，ｑ）＋βＧ（ｐ，ｑ） （１）
【００６０】
ここで、ｐ、ｑは比較対象の画像、α、βは所定の係数、Ｆ（）は特徴点の位置の一致の度合いを評価する関数、Ｇ（）はテクスチャの一致の度合いを評価する関数である。
【００６１】
上記関数Ｆ（）は、例えば、入力顔画像および登録顔画像の各特徴点の座標について、対応する特徴点間のユークリッド距離の総和の逆数を求める関数でもよい。
【００６２】
また、上記関数Ｇ（）は、例えば、特許第２６９０１３２号公報に開示されているように、入力顔画像および登録顔画像の対応する特徴点近傍のテクスチャ同士を比較して、そのヒストグラムマッチングにおける差の逆数を求める関数でもよい。あるいは、上記関数Ｇ（）は、入力顔画像および登録顔画像の両目と両口角点とを結んだ逆台形の領域について、大きさ、輝度および色を正規化したヒストグラムマッチングの差の逆数を求める関数でもよい。
【００６３】
なお、上述したように、類似度算出手段４４１２は、他の顔画像の特徴を用いて類似度を算出する場合、上記Ｆ（）およびＧ（）の代わりに、その特徴の一致の度合いを求めるのに適した関数を用いて類似度を算出することができる。あるいは、類似度算出手段４４１２は、入力顔画像と登録顔画像とのパターンマッチングによって入力顔画像と登録顔画像との類似度を算出してもよい。
【００６４】
投票テーブル更新手段４４１３は、記憶部４２０に記憶された投票集計テーブルから過去に取得された入力画像に関する古い投票値を取り除く。ここで、投票集計テーブルとは、１人分の登録顔データ４２２ごとに用意され、各登録顔データ４２２に含まれるすべての登録顔画像の顔向きの数だけ投票集計値が記憶される領域を有するテーブルである。したがって、記憶部４２０に記憶されているすべての登録顔データ４２２に対応する登録人物の人数分の投票集計テーブルが記憶部４２０に記憶されている。投票集計テーブルには、その時点までに順次撮影された複数の入力画像に関して、入力顔画像に類似するすべての登録顔画像の人物および顔向きに対応して集計された投票値が、投票集計値として、後述の投票手段４４１４によって記憶されている。投票手段４４１４による投票値の集計方法および投票集計テーブルへの記憶方法については、後の投票手段４４１４の説明で詳述する。
【００６５】
例えば、投票テーブル更新手段４４１３は、所定時間ごとに、投票集計テーブルに記憶されている投票集計値のそれぞれに１より小さい所定の比率を掛けることができる。これにより、投票テーブル更新手段４４１３は、それ以前に取得された入力画像に関して累積された各投票値がその後に取得される入力画像に関して累積されていく各投票値に与える影響を徐々に減らすことができ、時間の経過と共に投票集計テーブルから古い投票値を取り除いていくことができる。
【００６６】
また、最新の所定枚数以内の入力画像に関して時系列投票テーブルが記憶部４２０に記憶されている場合、投票テーブル更新手段４４１３は、所定時間ごとに記憶されている時系列投票テーブルのうち一番古い入力画像に関する時系列投票テーブルを破棄することによって、投票集計テーブルから最も古い投票値を取り除くことができる。ここで、時系列投票テーブルとは、１人分の登録顔データ４２２ごとに用意され、各登録顔データ４２２に含まれるすべての登録顔画像の顔向きの数だけ投票値が記憶される領域を有するテーブルである。したがって、記憶部４２０に記憶されているすべての登録顔データ４２２に対応する登録人物の人数分の時系列投票テーブルが、記憶部４２０に、入力画像の撮影時刻ごとに入力画像の枚数分記憶されている。時系列投票テーブルには、それぞれの撮影時刻に撮影された入力画像に関して、入力顔画像に類似するすべての登録顔画像のそれぞれの人物および顔向きに対応して投票値が後述の投票手段４４１４によって記憶される。投票集計テーブルに記憶されている投票集計値は、それぞれ、時系列投票テーブルに記憶されている投票値を、人物および顔向きごとに最新の所定枚数以内の入力画像のすべてについて集計した値である。したがって、投票テーブル更新手段４４１３は、一番古い入力画像に関する時系列投票テーブルを破棄することによって、投票集計テーブルから最も古い投票値を取り除くことができる。なお、上記所定枚数は、１０枚程度が好ましい。また、投票テーブル更新手段４４１３が投票集計テーブルの更新に時系列投票テーブルを使用しない場合、時系列投票テーブルはなくてもよい。投票手段４４１４による投票値の時系列投票テーブルへの記憶方法については、下記の投票手段４４１４の説明で詳述する。
【００６７】
図４は、本実施例に係る投票手段４４１４の投票処理を示す図である。図４（ａ）は、登録顔データ４２２の例を示し、図４（ｂ）および図４（ｃ）は、それぞれ、この登録顔データ４２２の人物に対応する時系列投票テーブル４２４１および４２４２の例を示す。上述したように、時系列投票テーブルは常に必要ではないが、以下では、投票手段４４１４が投票集計テーブルの投票集計値に加算していく投票値を説明するのに用いる。
【００６８】
投票手段４４１４は、記憶部４２０に記憶された類似度テーブルの類似度を読み出し、類似度が所定の投票用閾値以上である登録顔画像を入力顔画像４２１に類似すると判定する。所定の投票用閾値は、例えば、テスト用の入力画像と登録顔画像との類似度の平均値および分散を求め、平均値に分散の２倍を加えた値とすることができる。
【００６９】
また、投票手段４４１４は、類似度テーブルに記憶されたすべての類似度のうち上位Ｎ個以内の登録顔画像を入力顔画像４２１に類似すると判定してもよい。この場合、Ｎは、正の整数であり、登録顔画像の総数の例えば１〜３％であるのが好ましい。例えば、上述したように全部で２５００枚の登録顔画像が登録顔データ４２２として記憶部４２０に記憶されている場合、Ｎは２５〜７５でもよい。
【００７０】
あるいは、投票手段４４１４は、人物ごとに類似度が上位所定数以内の登録顔画像を入力顔画像４２１に類似すると判定してもよい。この場合の所定数Ｍは、正の整数であり、１〜３などでもよい。
【００７１】
例えば、投票手段４４１４は、図４（ａ）に示した登録顔画像のうち、符号４２２１に示す１つの登録顔画像のみを入力顔画像４２１に類似すると判定したとする。これは、登録顔データ４２２の人物が入力顔画像４２１の人物と異なる場合に起きやすい。この場合、投票手段４４１４は、投票集計テーブルの登録顔画像４２２１の顔向き「角度Ａ１２」に対応する投票集計値に、例えば、投票値”１”を加算する。図４（ｂ）の時系列投票テーブル４２４１には、登録顔画像４２２１の顔向き「角度Ａ１２」に対応する箇所に、加算される投票値”１”が示され、他は”０”である。
【００７２】
同様に、投票手段４４１４は、図４（ａ）に示した登録顔画像のうち、符号４２２２で示す枠で囲まれた９つの登録顔画像を入力顔画像４２１に類似すると判定したとする。これは、登録顔データ４２２の人物が入力顔画像４２１の人物と同じである場合に起きやすい。すなわち、入力顔画像４２１の人物が登録顔データ４２２の人物本人であるため、登録顔画像の顔向きが多少異なっても入力顔画像４２１に類似すると判定されたことを示す。
【００７３】
この場合、投票手段４４１４は、投票集計テーブルの登録顔画像４２２２の顔向き「角度Ａ６」〜「角度Ａ８」、「角度Ａ１１」〜「角度Ａ１３」および「角度Ａ１６」〜「角度Ａ１８」に対応する投票集計値に、例えば、投票値”１”を加算することができる。図４（ｃ）の時系列投票テーブル４２４２には、登録顔画像４２２２の顔向き「角度Ａ６」〜「角度Ａ８」、「角度Ａ１１」〜「角度Ａ１３」および「角度Ａ１６」〜「角度Ａ１８」に対応する９箇所に、加算される投票値”１”が示され、他は”０”である。
【００７４】
次に、入力顔画像と入力顔画像と異なる人物で異なる顔向きの登録顔画像との類似度が突出して高いため入力顔画像の人物を他人と誤って判定してしまう誤判定が、投票手段４４１４の投票によっていかに回避されるかについて説明する。
【００７５】
図５〜図７は、それぞれ、時刻ｔにおける人物Ａの入力顔画像４２１ａｔ０と、人物Ａ〜Ｃの登録顔データ４２２ａ〜ｃの各登録顔画像との類似度が記憶された類似度テーブル４２３ａ〜ｃを立体棒グラフで示した図である。ここで、入力顔画像４２１ａｔ０の顔向きは「角度Ａ１２」であるとする。
【００７６】
図５には、人物Ａの入力顔画像４２１ａｔ０と本人である人物Ａの登録顔データ４２２ａの各登録顔画像との類似度が記憶された類似度テーブル４２３ａの例が示されている。図５の類似度テーブル４２３ａでは、登録顔データ４２２ａが入力顔画像４２１ａｔ０の人物Ａ本人のものであるため、入力顔画像４２１ａｔ０と同じ顔向き「角度Ａ１２」の登録顔画像４２２ａ１との類似度４２３ａ１が最も高い値を示している。また、類似度４２３ａ１の周囲の顔向きの登録顔画像４２２ａ２との類似度も一定以上の高い値を示している。これは、登録顔データ４２２ａが入力顔画像４２１ａｔ０の人物Ａ本人のものであるため、顔の特徴点配置情報や色情報（テクスチャ）などが共通しており、多少顔向きが異なっても類似度が高くなるからである。
【００７７】
図６には、時刻ｔにおける人物Ａの入力顔画像４２１ａｔ０と他人である人物Ｂの登録顔データ４２２ｂの各登録顔画像との類似度が記憶された類似度テーブル４２３ｂの例が示されている。図６の類似度テーブル４２３ｂでは、登録顔データ４２２ｂの人物Ｂが入力顔画像４２１ａｔ０の人物Ａと異なるため、類似度は図５の類似度テーブル４２３ａほど高くない。それでもなお、登録顔画像４２２ｂ１および４２２ｂ２と入力顔画像４２１ａｔ０との類似度４２３ｂ１および４２３ｂ２が所定の投票用閾値以上になっている。
【００７８】
類似度テーブル４２３ｂの類似度のうち、類似度４２３ｂ１は、他に比べてやや高い値を示している。これは、登録顔画像４２２ｂ１の顔向き「角度Ａ１２」が入力顔画像４２１ａｔ０と同じであるため、顔画像の特徴点の配置が類似するので類似度が高くなったと考えられる。登録顔画像４２２ｂ２の類似度４２３ｂ２については後述する。
【００７９】
図７には、時刻ｔにおける人物Ａの入力顔画像４２１ａｔ０と他人である人物Ｃの登録顔データ４２２ｃの各登録顔画像との類似度が記憶された類似度テーブル４２３ｃの例が示されている。図７の類似度テーブル４２３ｃでは、図６の類似度テーブル４２３ｂと同様に、登録顔データ４２２ｃの人物Ｃが入力顔画像４２１ａｔ０の人物Ａと異なるため、類似度は図５の類似度テーブル４２３ａほど高くない。それでもなお、登録顔画像４２２ｃ１と入力顔画像４２１ａｔ０との類似度４２３ｃ１が所定の投票用閾値以上になっている。
【００８０】
類似度テーブル４２３ｃの類似度のうち、類似度４２３ｃ１は、他に比べてやや高い値を示している。これは、図６の登録顔画像４２２ｂ１と同様に、登録顔画像４２２ｃ１の顔向き「角度Ａ１２」が入力顔画像４２１ａｔ０と同じであるため、顔画像の特徴点の配置が類似するので類似度が高くなったと考えられる。
【００８１】
一方、図６の類似度テーブル４２３ｂにおいて、類似度４２３ｂ２が他に比べて突出して類似度が高い。これは、鼻尖点のように、抽出に失敗すると直ちに他の特徴点の位置情報に影響を与えてしまう顔の特徴点の抽出に失敗した場合に発生しやすい。このような場合、人物Ａの入力顔画像４２１ａｔ０から抽出された特徴点の配置と、人物Ｂの異なる顔向きの登録顔画像４２２ｂ２から抽出された特徴点の配置とが互いに非常に接近してしまい、また、結果として特徴点近傍のテクスチャ同士が類似してしまうことで、類似度が想定以上に高くなることがある。
【００８２】
図５および図６の例では、人物Ａのやや向かって左を向いた顔向き「角度Ａ１２」の入力顔画像４２１ａｔ０と人物Ａよりも丸顔である人物Ｂの向かって右を向いた顔向き「角度Ａ１５」の登録顔画像４２２ｂ２との類似度４２３ｂ２が、本人の同じ顔向き「角度Ａ１２」の登録顔画像４２２ａ１との類似度４２３ａ１より高くなっている。この場合、入力顔画像４２１ａｔ０と各登録顔データ４２２ａ〜ｃの各登録顔画像との類似度のうち、単純に最も高い値を示すものを選択すると、人物Ｂが入力顔画像４２１ａｔ０の人物であると誤って判定されることになる。
【００８３】
このような誤判定を防止するため、投票手段４４１４は、類似度テーブルに記憶された類似度を参照して類似すると判定した登録顔画像を選択し、選択した登録顔画像に対応づけられた人物と顔向きに対して投票する。この投票手段４４１４の投票処理は、複数の入力顔画像について行う。
【００８４】
図８は、人物Ａ〜Ｃの登録顔データ４２２ａ〜ｃと時刻ｔ、ｔ＋１およびｔ＋２における人物Ａの入力顔画像４２１ｔ０〜２ならびに時系列投票テーブル４２４ａｔ０〜２、４２４ｂｔ０〜２および４２４ｃｔ０〜２と投票集計テーブル４２５ａ〜ｃとの関係を示す図である。図８の人物Ａ〜Ｃの登録顔データ４２２ａ〜ｃおよび時刻ｔにおける入力顔画像４２１ｔ０は、図５〜図７の人物Ａ〜Ｃの登録顔データ４２２ａ〜ｃおよび入力顔画像４２１ｔ０に対応する。図８を参照しながら、投票手段４４１４によって入力顔画像４２１ａｔ０〜２の人物Ａ本人の登録顔画像に投票が集まる様子を説明する。
【００８５】
図８に示すように、時刻ｔにおいて、顔向き「角度Ａ１２」の人物Ａの入力顔画像４２１ａｔ０が得られたとする。そして、この入力顔画像４２１ａｔ０と人物Ａ〜Ｃの登録顔データ４２２ａ〜ｃのそれぞれについて、図５〜７で示したように、類似度テーブル４２３ａ〜ｃに記憶された登録顔画像４２２ａ２、４２２ｂ１、４２２ｂ２および４２２ｃ２が入力顔画像４２１ａｔ０に類似する登録顔画像として選択されたとする。この場合、投票手段４４１４は、時系列投票テーブル４２４ａｔ０〜ｃｔ０に示すように、人物Ａ〜Ｃのそれぞれに対して投票集計テーブルの登録顔画像４２２ａ２、４２２ｂ１、４２２ｂ２および４２２ｃ１の顔向きに対応する投票集計値に、例えば、投票値“１”を加算する。
【００８６】
例えば、図８の時系列投票テーブル４２４ａｔ０において「○」で囲まれた投票値“１”は、人物Ａの顔向き「角度Ａ１２」に対応しており、入力顔画像４２１ａｔ０の人物Ａ本人の入力顔画像４２１ａｔ０と同じ顔向き「角度Ａ１２」とその近傍の顔向きの登録顔画像が入力顔画像４２１ａｔ０に類似すると判定されて投票値“１”が加算されることを示している。また、時系列投票テーブル４２４ｂｔ０および４２４ｃｔ０において「△」で囲まれた投票値“１”は、人物ＢおよびＣの顔向き「角度Ａ１２」に対応しており、入力顔画像４２１ａｔ０の人物Ａとは他人の人物ＢおよびＣであるが入力顔画像４２１ａｔ０と同じ顔向き「角度Ａ１２」の登録顔画像が入力顔画像４２１ａｔ０に類似すると判定されて投票値“１”が加算されることを示している。さらに、時系列投票テーブル４２４ｂｔ０において「□」で囲まれた投票値“１”は、人物Ｂの顔向き「角度Ａ１５」に対応しており、入力顔画像４２１ａｔ０の人物Ａと他人の人物Ｂで異なる顔向き「角度Ａ１５」の登録顔画像が偶発的に入力顔画像４２１ａｔ０に類似してしまい投票値“１”が加算されることを示している。
【００８７】
時刻ｔ＋１では、人物Ａの顔向きが少し変わり、顔向き「角度Ａ１１」の入力顔画像４２１ａｔ１が得られたとする。このため、入力顔画像４２１ａｔ１は、入力顔画像４２１ａｔ１の人物Ａの登録顔データ４２２ａのうちで入力顔画像４２１ａｔ１と同じ顔向き「角度Ａ１１」の登録顔画像との類似度が最も高く、顔向き「角度Ａ１１」に角度が近い顔向きの登録顔画像との類似度も一定以上の高い値になる。
【００８８】
この場合、時系列投票テーブル４２４ａｔ１において「○」で囲まれた投票値“１”は、入力顔画像４２１ａｔ１と同じ人物Ａで同じ顔向き「角度Ａ１１」に対応しており、入力顔画像４２１ａｔ１の人物Ａ本人の入力顔画像４２１ａｔ１と同じ顔向き「角度Ａ１１」とその近傍の顔向きの登録顔画像が入力顔画像４２１ａｔ１に類似すると判定されて投票値“１”が加算されることを示している。また、時系列投票テーブル４２４ｂｔ１および４２４ｃｔ１において「△」で囲まれた投票値“１”は、人物ＢおよびＣの顔向き「角度Ａ１１」に対応しており、入力顔画像４２１ａｔ１の人物Ａとは他人の人物ＢおよびＣであるが入力顔画像４２１ａｔ１と同じ顔向き「角度Ａ１１」の登録顔画像が入力顔画像４２１ａｔ１に類似すると判定されて投票値“１”が加算されることを示している。
【００８９】
時刻ｔ＋２では、人物Ａの顔向きがさらに変わり、顔向き「角度Ａ２１」の入力顔画像４２１ａｔ２が得られたとする。このため、入力顔画像４２１ａｔ２は、入力顔画像４２１ａｔ２の人物Ａの登録顔データ４２２ａのうちで顔向き「角度Ａ２１」の登録顔画像との類似度が最も高く、顔向き「角度Ａ２１」に角度が近い顔向きの登録顔画像との類似度も一定以上の高い値になる。
【００９０】
この場合、時系列投票テーブル４２４ａｔ２において「○」で囲まれた投票値“１”は、人物Ａの顔向き「角度Ａ２１」に対応しており、入力顔画像４２１ａｔ２の人物Ａ本人の入力顔画像４２１ａｔ２と同じ顔向き「角度Ａ２１」とその近傍の顔向きの登録顔画像が入力顔画像４２１ａｔ２に類似すると判定されて投票値“１”が加算されることが示されている。また、時系列投票テーブル４２４ｂｔ２および４２４ｃｔ２において「△」で囲まれた投票値“１”は、人物ＢおよびＣの顔向き「角度Ａ２１」に対応しており、入力顔画像４２１ａｔ２の人物Ａとは他人の人物ＢおよびＣであるが入力顔画像４２１ａｔ２と同じ顔向き「角度Ａ２１」の登録顔画像が入力顔画像４２１ａｔ２に類似すると判定されて投票値“１”が加算されることを示している。さらに、時系列投票テーブル４２４ｃｔ２において「□」で囲まれた投票値“１”は、人物Ｃの顔向き「角度Ａ２５」に対応しており、入力顔画像４２１ａｔ０の人物Ａと異なる人物Ｃで異なる顔向き「角度Ａ２５」の登録顔画像が、図５の登録顔画像４２２ｂ２と同様に、偶発的に入力顔画像４２１ａｔ２に類似してしまい投票値“１”が加算されることを示している。この人物Ｃの顔向き「角度Ａ２５」の登録顔画像の入力顔画像４２１ａｔ２との類似度は、入力顔画像４２１ａｔ２と同じ人物Ａで同じ顔向き「角度Ａ２１」の登録画像の類似度より高いとする。
【００９１】
図８に示される例において単純に入力顔画像との類似度が一番高い登録顔画像の人物を入力顔画像の人物であると判定すると、入力顔画像４２１ａｔ０と人物Ｂの顔向き「角度Ａ１５」の登録顔画像との類似度が入力顔画像４２１ａｔ０と人物Ａの顔向き「角度Ａ１２」の登録顔画像との類似度より高いので、入力顔画像４２１ａｔ０の人物は人物Ｂであると誤って判定されてしまう。また、入力顔画像４２１ａｔ２と人物Ｃの顔向き「角度Ａ２５」の登録顔画像との類似度が入力顔画像４２１ａｔ２と人物Ａの顔向き「角度Ａ２１」の登録顔画像との類似度より高いので、入力顔画像４２１ａｔ２の人物は人物Ｃであると誤って判定されてしまう。
【００９２】
そこで、本発明に係る投票手段４４１４は、投票集計テーブル４２５ａ〜ｃに示すように、人物Ａ〜Ｃのそれぞれについて、時系列投票テーブル４２４ａｔ０〜２、４２４ｂｔ０〜２および４２４ｃｔ０〜２で示された時刻ｔ、ｔ＋１およびｔ＋２における投票値の総和をそれぞれ算出して、算出した投票値の総和を投票集計値としてそれぞれ投票集計テーブル４２５ａ〜ｃに記憶する。すると、投票集計テーブル４２５ａ〜ｃに記憶された投票集計値のうち、人物Ａの顔向き「角度Ａ１６」および「角度Ａ１７」の投票集計値が“３”となり、最大である。これは、ウォークスルー型認証のように、撮影領域を通過する利用者の顔を時系列に撮影すると、撮影された利用者の顔向きは変化するものの、その変化は緩やかになるからである。したがって、入力顔画像の人物Ａに対する投票値に関しては、入力顔画像と同じ顔向きとその顔向きに角度が近い顔向きにおいて投票値が加算されるため、投票の結果、投票集計値は高くなる。一方、人物ＢおよびＣに対しては、投票集計テーブル４２５ｂおよび４２５ｃに示すように、人物Ａのように高い投票値にならない。これは、ウォークスルー型の顔認証のように顔向きが少しずつ異なる複数の入力顔画像が得られる場合においても、入力顔画像と入力顔画像の人物と他人の登録顔画像との類似度が入力顔画像の人物本人の登録顔画像との類似度より高くなるのは、上述したように特徴点の抽出の失敗などにより突発的に起きるため、他人の登録顔画像との類似度は、入力顔画像と少し顔向きが異なると直ちに低くなるという傾向があるからである。
【００９３】
人物決定手段４４１５は、投票手段４４１４による投票結果が記憶された投票集計テーブルより、投票集計値が最大である人物を最も多く投票された人物として選び、入力顔画像の人物であると決定する。例えば、図８の投票集計テーブル４２５ａ〜ｃでは、人物決定手段４４１５は、最大の投票集計値”３”を有する投票集計テーブル４２５ａに対応する人物Ａを選択する。そして、人物決定手段４４１５は、その最大の投票集計値”３”を所定の照合用閾値と比較し、最大の投票集計値”３”が照合用閾値以上であれば、人物Ａを入力顔画像４２１ｔ０〜２の人物、すなわち、入力画像に映った人物であると決定する。照合用閾値は、投票手段４４１４において用いられる時系列投票テーブルの枚数に応じて定められ、例えば、その枚数の３０％とすることができる。
【００９４】
なお、人物決定手段４４１５は、投票集計テーブルにおける各顔向きの投票集計値をさらに人物ごとに合計して最大の総和を得た人物を入力顔画像の人物として選択してもよい。例えば、図８に示される例では、人物Ａの投票集計テーブル４２５ａで各顔向きの投票集計値を合計すると２１、人物Ｂの投票集計テーブル４２５ｂで各顔向きの投票集計値を合計すると４、人物Ｃの投票集計テーブル４２５ｃで各顔向きの投票集計値を合計すると４になる。この場合、人物ごとの投票集計値の総和が最大の２１となる人物Ａが入力顔画像４２１ａｔ０〜２の人物として選択される。なお、投票集計テーブルに登録人物の人数分の投票集計値を記憶する領域を用意し、この投票集計テーブルにおいて、投票手段４４１４が入力顔画像に類似する登録顔画像に対応する人物に対して投票しても同様の結果が得られる。さらに、人物決定手段４４１５は、すべての投票集計テーブルに記憶されている各顔向きに対する投票集計値のうち最大の投票集計値を有し、かつ、投票集計テーブルにおける各顔向きの投票集計値を人物ごとに合計して最大の総和を得た登録人物を入力顔画像の人物としてもよい。
【００９５】
また、上述の例では、投票手段４４１４は、各時刻において人物ごとかつ顔向きごとに投票された結果を、複数の入力画像にわたって累積して総和を算出している。しかしながら、投票手段４４１４は、投票する顔向きを入力顔画像の顔向きとその顔向きに角度が近い顔向きに限定し、限定された顔向きの投票値の総和を人物ごとに算出してもよい。すなわち、投票手段４４１４は、各時刻において類似度テーブルに記憶された類似度に基づいて入力顔画像に類似すると判定された登録顔画像の顔向きに対して投票し、投票値の総和が最大となった顔向きをその時刻における入力顔画像の顔向きであると推定する。投票手段４４１４は、この推定した顔向きから一定範囲内の角度の顔向き（例えば「４近傍」「８近傍」もしくは「２４近傍」など）に限定して、各時刻における各人物に対する投票値の総和ｖ＿ｓｕｍ（ｉ、ｔ）を求める。ここで、添え字ｉは登録された人物に関する識別子、ｔは時刻を表す。そして、投票手段４４１４は、全撮影時刻、例えば図８の例ではｔ、ｔ＋１およびｔ＋２の３つの時刻について、人物ごとのｖ＿ｓｕｍ（ｉ、ｔ）、ｖ＿ｓｕｍ（ｉ、ｔ＋１）およびｖ＿ｓｕｍ（ｉ、ｔ＋２）の全総和ｖ＿ｓｕｍ＿ａｌｌ（ｉ）を求める。このとき、投票手段４４１４は、例えば、投票集計テーブルにおいて登録顔画像の顔向きが推定した入力顔画像の顔向きに近いほど大きな重みを投票値に付けて人物ごとの投票値の全総和を集計してもよい。
【００９６】
この場合、人物決定手段４４１５は、その人物ごとの全総和ｖ＿ｓｕｍ＿ａｌｌ（ｉ）のうち最大値に対応する人物ｉを入力顔画像の人物であると判定する。これにより、登録顔画像の顔向きが多少違っても、入力顔画像の本人であれば類似度が高くなる一方、他人であれば類似度が低くなるという特性を活かして、顔照合の照合精度を向上させることができる。また、ウォークスルーで時系列に撮影された入力顔画像のように、顔向きの変化が緩やかな場合だけでなく、顔向きが急に変化する場合でも、推定した顔向きに角度が近い顔向きについてのみ投票値の総和を求めるので、顔照合の照合精度を高めることが可能となる。
【００９７】
上述したように、投票手段４４１４は、入力顔画像４２１ａｔ０〜２に類似すると判定された登録顔画像の各人物および各顔向きについて投票値を集計する。これにより、本発明に係る顔照合装置４０は、図６の登録顔データ４２２ｂの登録顔画像４２２ｂ２のように、人物Ａと顔の形状が異なる人物Ｂの異なる顔向き「角度Ａ１５」の登録顔画像と人物Ａの入力顔画像４２１ａｔ０の類似度が想定外に高くなったとしても、人物Ｂが入力顔画像４２１ａｔ０〜２の人物として誤って判定されるのを回避できる。
【００９８】
顔照合結果出力インタフェース部４５０は、制御部４４０が顔照合の照合結果を、顔照合結果処理部５０に送るためのインタフェース部である。したがって、顔照合結果出力インタフェース部４５０は、上述の画像入力インタフェース部２１０と同様に、顔照合結果処理部５０と顔照合装置４０とを接続する通信の方式に従って適切な通信インタフェースアダプタなどを含んで構成される。
【００９９】
顔照合結果処理部５０は、顔照合装置４０から通信を介して照合結果を受け取り、この照合結果に基づいて適切な処理を行う。顔照合結果処理部５０は、顔照合装置４０と分離した１つもしくは複数の装置でもよく、顔照合装置４０と一体でもよい。
【０１００】
例えば、顔照合結果処理部５０は、電気信号によってドアの施錠／解錠を行う電気錠でもよい。そして、顔照合装置４０が入力画像中の人物が登録されている入室許可対象者のいずれかであるという照合結果を電気信号によって電気錠に送ると、電気錠は、ドアを解錠して入室を許可し、そうでない場合、電気錠は、ドアに施錠をしたまま入室を禁止することができる。
【０１０１】
また、例えば、顔照合結果処理部５０は、ディスプレイ、ランプ、アラームもしくはスピーカなどのユーザ出力装置を有する警報装置などでもよい。そして、顔照合結果処理部５０は、顔照合装置４０から入力画像中の人物が入室許可対象者のいずれでもないという照合結果を受け取った場合、照合結果を適切な形式でユーザ出力装置に出力して、入室許可対象者でない者が入室しようとしたことを職員や保安員などに報知してもよい。
【０１０２】
次に、図９および図１０を参照しながら、本実施例のウォークスルー型の入退室管理システム１の処理の流れについて説明する。
【０１０３】
図９は、本実施例に係る顔データ登録装置２０による登録顔データ４２２の登録処理の一例を示すフローチャートである。図９を参照しながら、本実施例のウォークスルー型の入退室管理システム１における顔データ登録装置２０の登録顔データ４２２の登録処理について説明する。顔データ登録装置２０の制御部２２０は、撮像部１０から画像入力インタフェース部２１０を介して登録用画像を受け取ると、以下の処理を開始する。
【０１０４】
制御部２２０は、撮像部１０から受け取った登録用画像を登録用顔画像抽出手段２２１０に渡す。そして、登録用顔画像抽出手段２２１０は、受け取った登録用画像から顔領域を抽出して登録用顔画像を生成する（ステップＳ１１０）。
【０１０５】
３次元顔モデル生成手段２２２０は、登録用顔画像抽出手段２２１０が抽出した登録用顔画像のデータを３次元顔形状データにマッピングして、登録人物の３次元顔モデルを生成する（ステップＳ１２０）。
【０１０６】
登録顔データ生成手段２２３０は、３次元顔モデル生成手段２２２０が生成した３次元顔モデルの頭部を様々な方向に変えて再現して生成した様々な顔向きの登録顔画像を登録顔データ４２２として記憶部２３０に記憶させる（ステップＳ１３０）。
【０１０７】
制御部２２０は、すべての登録人物の登録用画像についてステップＳ１１０〜ステップＳ１４０の処理を繰り返した後、記憶部２３０に記憶されたすべての登録顔データ４２２を登録顔データ出力インタフェース部２４０を介して顔照合装置４０に送ることができる。
【０１０８】
なお、制御部２２０は、上述したように、撮像部１０から撮影した登録人物の登録用画像が送られると、随時、送られた登録用画像を登録用顔画像抽出手段２２１０に渡してもよいが、これらの登録用画像はビデオテープもしくはハードディスクなどの記憶媒体に録画データとして一旦保存されてもよい。そして制御部２２０は、記憶部媒体に保存された録画データを記憶部２３０のアクセス装置などによって読み取り、読み取った録画データから１フレームずつ切り出して登録用画像として登録用顔画像抽出手段２２１０に渡してもよい。
【０１０９】
図１０は、本実施例に係る顔照合装置４０による顔照合処理の一例を示すフローチャートである。図１０を参照しながら、本実施例のウォークスルー型の入退室管理システム１における顔照合装置４０の顔照合処理について説明する。登録人物の登録顔データ４２２は、図９で説明したように顔データ登録装置２０によって生成されて、顔照合装置４０の記憶部４２０に記憶されているものとする。顔照合装置４０の制御部４４０は、撮像部３０から画像入力インタフェース部４１０を介して入力画像を順次受け取ると、以下の処理を実行する。
【０１１０】
制御部４４０は、撮像部３０から受け取った入力画像を入力顔画像抽出手段４４１１に渡す。そして、入力顔画像抽出手段４４１１は、受け取った入力画像から、上述した登録用顔画像抽出手段２２１０と同様に人物の顔領域を抽出し入力顔画像として記憶部４２０に記憶する（ステップＳ２１０）。
【０１１１】
なお、ステップＳ２１０において、入力画像中に複数の人物が撮影されている場合、入力顔画像抽出手段４４１１は、入力画像から複数の顔領域を抽出する。この場合、制御部４４０は、入力画像に含まれる複数の入力顔画像のそれぞれについて、ステップＳ２１０〜Ｓ２７０の処理を繰り返す。
【０１１２】
類似度算出手段４４１２は、入力顔画像抽出手段４４１１が抽出した入力顔画像と記憶部４２０に記憶されている各登録人物の登録顔データ４２２の様々な顔向きの登録顔画像との類似度をそれぞれ算出する。そして、類似度算出手段４４１２は、算出した類似度を、登録人物ごとに各登録顔画像の顔向き識別情報に対応付けて類似度テーブルに記憶する（ステップＳ２２０）。例えば、登録されている登録人物が１００人で、図２に示したように１人につき２５枚の登録顔画像が登録されている場合、類似度算出手段４４１２は、２５×１００＝２５００枚の登録顔画像と入力顔画像との類似度を求めて類似度テーブルに記憶してもよい。
【０１１３】
投票テーブル更新手段４４１３は、過去に取得した入力画像に関して投票集計テーブルの投票集計値に加算された古い投票値を投票集計テーブルから取り除く（ステップＳ２３０）。
【０１１４】
投票手段４４１４は、類似度算出手段４４１２が類似度テーブルに記憶した類似度を参照して入力顔画像に類似する登録顔画像を選択し、選択した登録顔画像の人物および顔向きに対して投票集計テーブルで投票する（ステップＳ２４０）。ステップＳ２１０において入力画像から複数の入力顔画像が抽出され、抽出された複数の入力顔画像のそれぞれについて画像追跡を行っている場合、投票手段４４１４は、追跡する入力顔画像ごとに、上述の投票集計テーブルでの投票を行ってもよい。
【０１１５】
人物決定手段４４１５は、投票手段４４１４が投票した投票集計テーブルを参照して、投票集計値が最大である人物を入力顔画像の人物として選択する（ステップＳ２５０）。
【０１１６】
人物決定手段４４１５は、ステップＳ２５０で選択した最大の投票集計値が照合用閾値以上であるか否かを判定する（ステップＳ２６０）。
【０１１７】
最大の投票集計値が照合用閾値未満の場合（ステップＳ２６０のＮｏ）、制御部４４０は、ステップＳ２１０に戻り、撮像部３０から入力画像を受け取る。そして、制御部４４０は、受け取った入力画像を入力顔画像抽出手段４４１１に渡し、ステップＳ２１０〜Ｓ２７０の処理を繰り返す。
【０１１８】
最大の投票集計値が照合用閾値以上の場合（ステップＳ２６０のＹｅｓ）、人物決定手段４４１５は、選択した最大の投票集計値に対応する人物を入力画像に入力顔画像の人物であると決定して照合結果として出力する（ステップＳ２７０）。制御部４４０は、人物決定手段４４１５から入力顔画像の人物が登録人物のいずれかであると判定されたことおよび／もしくは入力顔画像の人物であると判定された登録人物に関する人物情報などを照合結果として受け取り、この照合結果を顔照合結果出力インタフェース部４５０によって顔照合結果処理部５０に送り、処理を終了する。
【０１１９】
本発明に係る顔画像照合装置によれば、入力顔画像と入力顔画像と異なる人物で顔向きが異なる登録顔画像との類似度が非常に高いため入力顔画像の人物を他人と誤って判定してしまう他人受け入れもしくは本人棄却を防止することができるので、顔照合の照合精度を向上させることができる。
【０１２０】
なお、本発明に係る顔画像照合装置は、ウォークスルー型の入退室管理システムだけでなく、利用者が部屋の入り口の前で一旦立ち止まって入室の許可を得るための顔認証を行う入退室管理システムの顔照合装置に適用することができる。この顔照合装置では、例えば、部屋の入り口前などに設置された複数のカメラによって様々な角度から撮影された様々な顔向きの利用者の画像を複数の入力画像として、上述したウォークスルー型の入退室管理システムの顔照合装置と同様の顔照合処理を行うことができる。
【０１２１】
また、本発明は、店舗内の店内監視システムなどにおいて監視カメラの監視画像から不審者を検出するために顔照合を行う顔照合装置などに適用することができる。この店内監視システムの顔照合装置では、過去に不正行為を行った前歴のある要監視対象者などの顔画像を登録顔データとして予め登録しておき、監視画像から抽出された入力顔画像と予め登録された登録顔画像とを照合する。この場合、顔照合装置は、監視カメラから時系列に撮影された複数の監視画像を入力画像として、上述の顔照合装置と同様に顔照合を行うことができる。また、この顔照合装置は、店舗内の複数の場所に設置された複数の監視カメラが撮影した複数の監視画像を入力画像とすることができる。そして顔照合装置は、入力画像中の人物が登録顔データが登録されている要監視対象者のいずれかであると判定すると、その旨を警報装置などの顔照合結果処理装置を通じて店員や保安員などの監視者に報知する。
【０１２２】
また、例えば、上述の店内監視システムにおいて、撮像部から送られた入力画像は、ビデオテープもしくはハードディスクなどの記憶媒体に録画データとして一旦保存されてもよい。この場合、顔照合装置の制御部は、記憶媒体に保存された録画データを記憶部のアクセス装置などによって読み取り、読み取った録画データから１フレームずつ切り出して入力画像とすることができる。そして顔照合装置は、上述したように入力画像中の人物が登録顔データの登録人物であるか否かを照合することによって、保存された録画データ中に要監視対象者などの不審者が写っていないか分析することができる。
【０１２３】
さらに、上述した実施例では、顔データ登録装置２０と顔照合装置４０とは別個の装置であったが、本発明に係る顔データ登録装置２０と顔照合装置４０とは同一の装置でもよい。この場合、顔データ登録装置用の撮像部１０、画像入力インタフェース部２１０、制御部２２０および／もしくは記憶部２３０は、それぞれ、顔照合装置４０用の撮像部３０、画像入力インタフェース部４１０、制御部４４０および／もしくは記憶部４２０と共通でもよい。また、登録顔データ出力インタフェース部２４０および登録顔データ入力インタフェース部４３０は不要である。例えば、店内監視システムの一実施例において、顔データ登録装置の制御部は、店舗内の監視カメラなどの撮像部から受け取った監視画像に不審者が含まれていると判定した場合、この監視画像を登録用画像として登録顔データの登録処理を行ってもよい。
【産業上の利用可能性】
【０１２４】
本発明は、認証システムおよび監視システムなどにおける様々な顔照合装置に適用することができる。
【符号の説明】
【０１２５】
１ ウォークスルー型入退室管理システム
１０ 撮像部
２０ 顔データ登録装置
３０ 撮像部
４０ 顔照合装置
５０ 顔照合結果処理部
２１０ 画像入力インタフェース部
２２０ 制御部
２３０ 記憶部
２４０ 登録顔データ出力インタフェース部
４１０ 画像入力インタフェース部
４２０ 記憶部
４３０ 登録顔データ入力インタフェース部
４４０ 制御部
４５０ 顔照合結果出力インタフェース部
２２１０ 登録用顔画像抽出手段
２２２０ ３次元顔モデル生成手段
２２３０ 登録顔データ生成手段
４４１１ 入力顔画像抽出手段
４４１２ 類似度算出手段
４４１３ 投票テーブル更新手段
４４１４ 投票手段
４４１５ 人物決定手段
【特許請求の範囲】
【請求項１】
順次取得された複数の入力顔画像を予め登録された登録顔画像と照合する顔画像照合装置であって、
複数の登録人物のそれぞれについて、前記登録顔画像として該登録人物の顔向きが相互に異なる複数の顔画像を記憶する記憶部と、
前記入力顔画像ごとに、前記登録顔画像との類似度を算出する類似度算出手段と、
前記類似度が所定以上の前記登録顔画像に投票するとともに、前記複数の入力顔画像の時間的に連続する所定数分について前記登録顔画像ごとに投票値を集計して投票集計値を求める投票手段と、
前記投票集計値によって前記複数の登録人物のいずれかを前記入力顔画像の人物として決定する人物決定手段と、
を有することを特徴とする顔画像照合装置。
【請求項２】
前記人物決定手段は、前記登録人物ごとの前記投票集計値の総和が最大の登録人物を前記入力顔画像の人物として決定する、請求項１に記載の顔画像照合装置。
【請求項３】
前記人物決定手段は、前記投票集計値が最大の登録人物を前記入力顔画像の人物として決定する、請求項１または２のいずれか１項に記載の顔画像照合装置。
【請求項４】
前記人物決定手段は、前記投票手段が集計する前記入力顔画像の時間的に連続する所定数に基づき予め定めた照合用閾値を前記投票集計値が超えている登録人物を前記入力顔画像の人物として決定する、請求項２または３のいずれか１項に記載の顔画像照合装置。
【請求項１】
順次取得された複数の入力顔画像を予め登録された登録顔画像と照合する顔画像照合装置であって、
複数の登録人物のそれぞれについて、前記登録顔画像として該登録人物の顔向きが相互に異なる複数の顔画像を記憶する記憶部と、
前記入力顔画像ごとに、前記登録顔画像との類似度を算出する類似度算出手段と、
前記類似度が所定以上の前記登録顔画像に投票するとともに、前記複数の入力顔画像の時間的に連続する所定数分について前記登録顔画像ごとに投票値を集計して投票集計値を求める投票手段と、
前記投票集計値によって前記複数の登録人物のいずれかを前記入力顔画像の人物として決定する人物決定手段と、
を有することを特徴とする顔画像照合装置。
【請求項２】
前記人物決定手段は、前記登録人物ごとの前記投票集計値の総和が最大の登録人物を前記入力顔画像の人物として決定する、請求項１に記載の顔画像照合装置。
【請求項３】
前記人物決定手段は、前記投票集計値が最大の登録人物を前記入力顔画像の人物として決定する、請求項１または２のいずれか１項に記載の顔画像照合装置。
【請求項４】
前記人物決定手段は、前記投票手段が集計する前記入力顔画像の時間的に連続する所定数に基づき予め定めた照合用閾値を前記投票集計値が超えている登録人物を前記入力顔画像の人物として決定する、請求項２または３のいずれか１項に記載の顔画像照合装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−２１５８９６（Ｐ２０１１−２１５８９６Ａ）
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願番号】特願２０１０−８３６０２（Ｐ２０１０−８３６０２）
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
[ Back to top ]