顔認識装置、顔認識方法、及び通行制御装置
【課題】 短い処理時間で、より高い精度で人物を認識する事ができる顔認識装置、顔認識方法、及び通行制御装置を提供する。
【解決手段】 顔認識装置（１００）は、予め登録情報を記憶する登録情報記憶手段（１０８）と、人物の少なくとも顔を含む画像が連続して入力される画像入力手段（１０２Ａ）と、を具備する。顔認識装置は、前記画像入力手段から入力された連続した画像から前記人物の顔領域を画像毎に検出する。顔認識装置は、前記画像毎に検出した顔領域の位置及びサイズに基づいて前記人物の認証意思の有無を判定する。顔認識装置は、前記検出した複数枚の顔領域の画像と前記登録情報記憶手段により記憶されている登録情報とに基づいて照合を行う第１の照合方式と、前記検出した少なくとも１枚以上の顔領域の画像と前記登録情報記憶手段により記憶されている登録情報とに基づいて照合を行う第２の照合方式とのいずれかを選択し、前記人物が予め登録された人物であるか否かを判定する。
【解決手段】 顔認識装置（１００）は、予め登録情報を記憶する登録情報記憶手段（１０８）と、人物の少なくとも顔を含む画像が連続して入力される画像入力手段（１０２Ａ）と、を具備する。顔認識装置は、前記画像入力手段から入力された連続した画像から前記人物の顔領域を画像毎に検出する。顔認識装置は、前記画像毎に検出した顔領域の位置及びサイズに基づいて前記人物の認証意思の有無を判定する。顔認識装置は、前記検出した複数枚の顔領域の画像と前記登録情報記憶手段により記憶されている登録情報とに基づいて照合を行う第１の照合方式と、前記検出した少なくとも１枚以上の顔領域の画像と前記登録情報記憶手段により記憶されている登録情報とに基づいて照合を行う第２の照合方式とのいずれかを選択し、前記人物が予め登録された人物であるか否かを判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラにより取得した撮影対象者の顔画像に基づいて撮影対象者の顔を認識する顔認識装置、顔認識方法、及び通行制御装置に関する。
【背景技術】
【０００２】
一般に、顔認識装置は、ビデオカメラなどのカメラを有している。人物がカメラの前に立ち止まってカメラのレンズに顔を向けた場合、顔認識装置は、この人物（対象人物）の顔画像をカメラにより撮影する。カメラは、撮影した画像を顔認識装置に入力する。
【０００３】
顔認識装置は、入力された画像から顔領域を検出する。顔認識装置は、顔領域の画像（顔画像）の特徴情報を抽出する。顔認識装置は、予め登録情報として、人物の顔の特徴情報を複数記憶している。顔認識装置は、顔画像から抽出した特徴情報と、登録情報とを照合し、一致する特徴情報が存在するか否か認証（顔認証）を行なう。これにより、顔認識装置は、人物を認識する。例えば、通行制御装置に用いられている顔認識装置は、一致する特徴情報が存在すると判定した場合、対象人物は通行が許可された人物であると判断する。
【０００４】
通常、顔認識装置は、複数枚人物の顔画像を撮影した上で特徴情報を抽出する。この為、人物がカメラの前に立ち止まってから撮影を行う場合、認証が完了するまでに時間がかかるという問題がある。そこで、歩行中の人物（歩行者）を撮像して画像を取得し、認証を行なう個人認証システムが提供されている（例えば特許文献１参照）。
【特許文献１】特開２００５−２７５８６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記したような個人認証システムは、人物の歩行している姿を撮影する為のスペースを確保する必要がある。この為に装置を設置する事ができる場所に制限が生じるという問題がある。
【０００６】
また、上記したような個人認証システムでは、顔の見え方（角度など）、歩き方、または、照明条件などの変動の為に、歩行者の顔画像を安定して得る事が難しい。この為、認証の制度が低下するという問題がある。
【０００７】
本発明の一形態における目的は、短い処理時間で、より高い精度で人物を認識する事ができる顔認識装置、顔認識方法、及び通行制御装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の一実施形態に係る顔認識装置は、予め登録情報を記憶する登録情報記憶手段と、人物の少なくとも顔を含む画像が連続して入力される画像入力手段と、前記画像入力手段から入力された連続した画像から前記人物の顔領域を画像毎に検出する顔検出手段と、前記顔検出手段により画像毎に検出した顔領域の位置及びサイズに基づいて前記人物の認証意思の有無を判定する動作判定手段と、前記顔検出手段により検出した顔領域の画像と前記登録情報記憶手段により記憶されている登録情報とに基づいて第１の照合方式により照合を行う第１の照合手段と、前記顔検出手段により検出した顔領域の画像と前記登録情報記憶手段により記憶されている登録情報とに基づいて第２の照合方式により照合を行う第２の照合手段と、前記第１の照合手段と前記第２の照合手段とのいずれかを選択する選択手段と、前記選択手段により選択した照合手段により、前記人物が予め登録された人物であるか否かを判定する認識手段と、を具備する。
【０００９】
また、本発明の一実施形態に係る顔認識方法は、予め登録情報を記憶する登録情報記憶手段と、人物の少なくとも顔を含む画像が連続して入力される画像入力手段と、を具備する顔認識装置に用いられる顔認識方法であって、前記画像入力手段から入力された連続した画像から前記人物の顔領域を画像毎に検出し、前記画像毎に検出した顔領域の位置及びサイズに基づいて前記人物の認証意思の有無を判定し、前記検出した複数枚の顔領域の画像と前記登録情報記憶手段により記憶されている登録情報とに基づいて照合を行う第１の照合方式と、前記検出した少なくとも１枚以上の顔領域の画像と前記登録情報記憶手段により記憶されている登録情報とに基づいて照合を行う第２の照合方式とのいずれかを選択し、前記選択した照合方式により、前記人物が予め登録された人物であるか否かを判定する。
【００１０】
また、本発明の一実施形態に係る通行制御装置は、通行が制限されるエリアに設けられたドアの開閉を制御する通行制御装置であって、通行を許可する人物の登録情報を予め記憶する登録情報記憶手段と、人物の少なくとも顔を含む画像が連続して入力される画像入力手段と、前記画像入力手段から入力された連続した画像から前記人物の顔領域を画像毎に検出する顔検出手段と、前記顔検出手段により画像毎に検出した顔領域の位置及びサイズに基づいて前記人物の認証意思の有無を判定する動作判定手段と、前記顔検出手段により検出した顔領域の画像と前記登録情報記憶手段により記憶されている登録情報とに基づいて第１の照合方式により照合を行う第１の照合手段と、前記顔検出手段により検出した顔領域の画像と前記登録情報記憶手段により記憶されている登録情報とに基づいて第２の照合方式により照合を行う第２の照合手段と、前記第１の照合手段と前記第２の照合手段とのいずれかを選択する選択手段と、前記選択手段により選択した照合手段により、前記人物が予め登録された人物であるか否かを判定する認識手段と、前記認識手段により前記人物が予め登録された人物であると判定した場合、通行が制限されるエリアに設けられたドアを開くように制御するゲート制御手段と、を具備する。
【発明の効果】
【００１１】
この発明の一形態によれば、短い処理時間で、より高い精度で人物を認識する事ができる顔認識装置、顔認識方法、及び通行制御装置を提供することができる。
【発明を実施するための最良の形態】
【００１２】
以下、図を参照しながら、本発明の第１の実施形態に係る顔認識装置、顔認識方法、及び通行制御装置について詳細に説明する。
図１は、本発明の第１の実施形態に係る顔認識装置１００の構成例を概略的に説明するためのブロック図である。顔認識装置１００は、例えば、通行を許可する人物を制限する通行制御装置などに組み込まれていると仮定する。顔認識装置１００は、特定の人物のみが通行を許可される場所、例えば、ビル及び企業の建物などのエントランス、若しくは、娯楽施設及び交通機関などのゲートなどに設置されると想定される。
【００１３】
なお、顔認識装置１００は、取得した顔画像から得た特徴情報と予め登録情報として登録されている特徴情報とを照合し、特徴情報の一致する人物が少なくとも１名存在するか否かを判定する構成であると仮定する。
【００１４】
図１に示すように、顔認識装置１００は、入力部１０１と制御部１０２とを備えている。入力部１０１は、外部から情報を取得するためのユニットである。入力部１０１は、カメラ１０３及び操作部１０４を備えている。
【００１５】
カメラ１０３は、撮像手段である。カメラ１０３は、例えば、ｉｎｄｕｓｔｒｉａｌ ｔｅｌｅｖｉｓｉｏｎ（IＴＶ）カメラなどにより構成される。カメラ１０３は、所定範囲の動画像（複数枚の連続画像）を撮像する。これにより、カメラ１０３は、歩行者の顔を含む画像を撮像する。カメラ１０３は、撮像した画像を図示しないＡ／Ｄ変換器によりディジタル変換し、逐次制御部１０２に送信する。なお、カメラの代わりにスキャナにより写真をスキャンし、登録情報の追加、照合、及び検索が行われるような構成であってもよい。
【００１６】
操作部１０４は、操作者（歩行者を含む）に操作を入力させる為の操作手段である。操作部１０４は、例えば、入力キー、若しくはカードリーダなどにより構成される。操作部１０４は、入力キーにより入力された入力情報、若しくは、カードリーダにより歩行者の所持するカード（例えば、ＩＣカードなど）から読み取った情報を制御部１０２に送信する。
【００１７】
これにより、顔認識装置１００は、顔認証のみで人物の認証を行なう１：Ｎ照合と、顔認証と識別情報の照合により人物の認証を行なう１：１及び１：ｎ照合とのいずれかにより人物の認証を行なう事ができる。１：Ｎ照合は、登録情報と一致する顔が、複数人数（Ｎ人）のうちの中に存在するか否か認証を行なう方法である。
【００１８】
１：１及び１：ｎ照合は、１名、またはＮ人より少ない少人数（ｎ人）の認証を行なう為の方法である。１：１及び１：ｎ照合が用いられる場合、顔認識装置１００は、顔認証を行なうと共に、入力キー、若しくはカードリーダにより入力される識別情報による認証を行う。
【００１９】
またさらに、入力部１０１は、歩行者に対して、顔認証の状況等を逐次表示する表示部を備えていてもよい。また、操作部１０４と表示部が一体に構成されてもよい。この場合、操作部及び表示部はタッチパネルとして機能する。
【００２０】
制御部１０２は、入力部１０１により入力された情報に基づいて種々の処理を行うユニットである。制御部１０２は、顔検出部１０５、動作判定部１０６、認識部１０７、登録情報記憶部１０８、出力部１０９、及びゲート制御部１１０を備えている。また、さらに、制御部１０２は、インターフェース１０２Ａ及びインターフェース１０２Ｂを備えている。
【００２１】
インターフェース１０２Ａ及びインターフェース１０２Ｂは、制御部１０２の外部からの信号を受信する。インターフェース１０２Ａは、カメラ１０３に接続されている。インターフェース１０２Ａには人物の少なくとも顔を含む画像がカメラ１０３から連続して入力される。即ち、インターフェース１０２Ａは、画像入力手段として機能する。
【００２２】
インターフェース１０２Ｂは、操作部１０４に接続されている。インターフェース１０２Ｂには操作者による操作信号が操作部１０４から入力される。即ち、インターフェース１０２Ｂは、操作入力手段として機能する。
【００２３】
顔検出部１０５は、顔検出手段として機能する。顔検出部１０５は、カメラ１０３により撮像された入力画像において人物の顔が写っている領域（顔領域）を検出する。即ち、顔検出部１０５は、カメラ１０３の撮影範囲内を移動する人物（歩行者）の顔の画像（顔画像）及び位置を入力画像に基づいて検出する。
【００２４】
顔検出部１０５は、たとえば、入力画像において、あらかじめ用意されたテンプレートを移動させながら相関値を求めることにより、顔領域を検出する。ここでは、顔検出部１０５は、最も高い相関値が算出された位置を顔領域として検出する。
【００２５】
顔領域を検出する方法は、種々の方法がある。本実施形態に係る顔認識装置１００は、例えば、固有空間法、または部分空間法などの他の顔領域を検出する為の方法を用いても実現することが出来る。
【００２６】
また、顔認識装置１００は、検出された顔領域から、例えば、目、鼻、及び口などの顔の部位の位置を検出することもできる。具体的には、たとえば、文献［１］（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ２１７０−２１７７（１９９７年）、文献［２］（湯浅真由美、中島朗子：「高精度顔特徴点検出に基づくデジタルメイクシステム」第１０回画像センシングシンポジウム予稿集，ｐｐ２１９−２２４（２００４）などに開示されている方法により実現可能である。
【００２７】
なお、本実施形態では、顔画像を用いて認証を行なう構成を例に挙げて説明する。しかし、本発明を実現する為の構成はこれに限定されない。例えば、虹彩、網膜、及び目の画像を用いて認証を行なう構成であってもよい。この場合、顔認識装置１００は、画像中の目の領域を検出し、カメラをズームし、目の画像を拡大して取得することが出来る。
【００２８】
いずれの場合でも、顔認識装置１００は、二次元に画素が複数配列された画像として扱うことができる情報を取得する。
【００２９】
１枚の入力画像から１つの顔を抽出する場合、顔認識装置１００は、画像全体に対してテンプレートとの相関値を求め、最大となる位置及びサイズを顔領域として検出する。
【００３０】
１枚の入力画像から複数の顔を抽出する場合、顔認識装置１００は、画像全体に対する相関値の局所最大値を求め、１枚の画像内での重なりを考慮して顔の候補位置を絞り込む。さらに、顔認識装置１００は、連続して入力された過去の画像との関係性（時間的な推移）も考慮して複数の顔領域を同時に検出する。
【００３１】
なお、本実施の形態では、顔認識装置１００は、人物の顔領域の検出を行なう事を例として説明しているがこれに限定されない。例えば、顔認識装置１００は、人物領域の検出を行なう事もできる。例えば、文献［３］（松日楽信人、小川秀樹、吉見卓：「人と共存する生活支援ロボット」東芝レビューＶｏｌ．６０ Ｎｏ．７，ｐｐ１１２−１１５（２００５）に開示されている技術を利用することで、顔認識装置１００は、人物領域の検出を行なう事が可能になる。
【００３２】
なお、カメラ１０３は、画像を連続して取得し、１フレームずつ制御部１０２に送信する。このため、顔検出部１０５は、画像が入力される毎に逐次顔領域を検出する。
【００３３】
動作判定部１０６は、動作判定手段として機能する。動作判定部１０６は、顔検出部１０５により検出された顔領域の画像（顔画像）に基づいて、人物の動作を判断する。動作判定部１０６は、顔領域の位置及びサイズから、人物が認証を行なおうとしているか否か、即ち、認証意思（照合意思）が有るか否かを判断する。
【００３４】
動作判定部１０６は、顔検出部１０５により検出された顔領域の座標を管理する。動作判定部１０６は、顔検出部１０５により顔領域が検出された場合、１つ前のフレームとで顔領域が検出された座標及びサイズを比較する。比較の結果に基づいて、動作判定部１０６は、２つのフレームにおいてそれぞれ検出された顔領域が同じ人物のものであるか否かを判定する。
【００３５】
同一人物であると判定した場合、動作判定部１０６は、同一人物であるとして二つの顔画像を対応付ける。即ち、動作判定部１０６は、連続して入力される画像に写り込んでいる同一人物を追跡する。
【００３６】
なお、この場合、動作判定部１０６は、異なる人物を同一人物であると対応付けない為に、１つ前のフレームとで顔領域の画像のパターンのマッチングを行う。マッチングの結果で、予め定める閾値以上の差がある場合、動作判定部１０６は、前フレームと現フレームとで検出された顔領域の人物は異なる人物であると判定するように構成されていてもよい。
【００３７】
上記したように、同一人物の顔領域を追跡することにより、歩行者の動作を判定することが出来る。例えば、顔領域のサイズが大きくなる場合、顔認識装置１００は、歩行者が本装置に近づいていると判断することが出来る。また、複数のフレームに写り込んでいる歩行者の顔領域のうちの同一人物であるものを対応付けることにより、顔認証に用いる情報量を増やすことが出来る。これにより、より正確に顔認証を行なう事ができる。
【００３８】
また、例えば図２に示すように、撮像した入力画像１０中の顔領域のサイズと、予め定める枠１１のサイズとが同程度になった場合、動作判定部１０６は、歩行者が認証を試みている（照合意思がある）と判定することができる。
【００３９】
枠１１のサイズは、本装置のカメラ１０３の正面に人物が立っている場合の顔領域のサイズが想定されて設定される。即ち、撮像した入力画像１０中の顔領域のサイズと、予め定める枠１１のサイズとが同程度になった場合、動作判定部１０６は、歩行者が本装置に近づき、カメラ１０３に顔を見せている状態であると判定する。また、前フレームから現フレームにかけての顔領域の座標の変化が予め定める閾値未満である場合、動作判定部１０６は、人物が立ち止まったと判定する。即ち、動作判定部１０６は、人物が立ち止まったと判定した場合、照合意思があると判定する。
【００４０】
また、動作判定部１０６は、操作部１０４により操作が入力された場合、操作者（歩行者）に照合意思があると判断する。動作判定部１０６は、照合意思があると判定した場合に照合結果を出力するように、照合結果を出力するタイミングを制御する。
【００４１】
認識部１０７は、顔検出部１０５により検出された顔画像に基づいて特徴情報（顔特徴）を抽出する。登録情報記憶部１０８は、人物の顔の特徴情報を登録情報として記憶している。登録情報記憶部１０８は、登録情報記憶手段として機能する。即ち、登録情報記憶部１０８は、本装置において認識の対象となる人物の顔画像から抽出された特徴情報を予め記憶している。
【００４２】
認識部１０７は、抽出した特徴情報と、登録情報記憶部１０８に記憶されている特徴情報とで照合を行う。即ち、認識部１０７は、顔画像から抽出した特徴情報と一致若しくは近似する特徴情報が登録情報記憶部１０８に記憶されているか否か判定する。この場合、認識部１０７は、認識手段と機能する。
【００４３】
認識部１０７は、複数の照合方式を備えている。認識部１０７は、認証に用いることができる顔画像の枚数に基づいて、照合方式を適宜選択する。即ち、認識部１０７は、動作判定部１０６により照合意思を確認するまでに取得した顔画像の枚数に基づいて、照合方式を適宜選択する。
【００４４】
例えば、認識部１０７は、第１の照合方式と、第２の照合方式とを備えている。第１の照合方式が選択される場合、認識部１０７は、複数枚の顔画像を統合し、１つの特徴情報抽出し、抽出した特徴情報により照合を行う。即ち、この場合、認識部１０７は、第１の照合手段として機能する。
【００４５】
第２の照合方式が選択される場合、認識部１０７は、複数枚の顔画像毎に特徴情報を抽出し、抽出した各特徴情報毎に照合を行う。即ち、この場合、認識部１０７は、第２の照合手段として機能する。
【００４６】
第１の照合方式は、複数の画像を統合して特徴情報を抽出する為、第２の照合方式に比べて精度が高い。しかし、第１の照合方式を行なう為に、顔画像が所定枚数以上必要である。
【００４７】
第１の照合方式を行なう為に必要な顔画像の所定枚数は、任意に設定することができる。しかし、認識部１０７による照合の精度は、顔画像の枚数に比例して高くなる。例えば、特徴情報を抽出するために用いる顔画像が少ない場合、人物の顔の動きなどの変動に対応することが出来ない可能性が有る。この為、要望される照合の精度に応じて必要な顔画像の枚数が制限される。
【００４８】
そこで、本実施形態に係る顔認識装置１００の認識部１０７は、処理時間に余裕がある場合、第１の照合方式を利用し、照合の精度を優先する。また、認識部１０７は、処理時間に余裕がない場合、第２の照合方式を利用し、照合の処理時間を優先する。
【００４９】
認識部１０７は、照合方式の選択を行う選択手段として機能する。即ち、認識部１０７は、認証意思を確認するまでに所定枚数以上の顔画像を取得できた場合に第１の照合方式を選択する。また、認識部１０７は、認証意思を確認するまでに所定枚数以上の顔画像を取得できなかった場合に第２の照合方式を選択する。
【００５０】
即ち、顔認識装置１００は、歩行者の動作に合わせて適宜照合方式を選択することができる。この為、顔認識装置１００は、短い処理時間で、且つ、高い精度で照合を行うことが出来る。
【００５１】
第１の照合方式、及び第２の照合方式について図３乃至図５を参照し詳細に説明する。
【００５２】
図３は、第１の照合方式について説明するための説明図である。
【００５３】
上記した第１の照合方式は、たとえば、文献［４］（福井和広、山口修、前田賢一：「動画像を用いた顔認識システム」電子情報通信学会研究報告ＰＲＭＵ、ｖｏｌ９７、Ｎｏ．１１３、ｐｐ１７−２４（１９９７）、文献［５］（前田賢一、渡辺貞一：「局所的構造を導入したパターン・マッチング法」電子情報通信学会論文誌（Ｄ）、ｖｏｌ．Ｊ６８−Ｄ、Ｎｏ．３、ｐｐ３４５―３５２（１９８５）などに開示されている相互部分空間法を用いることにより実現可能である。
【００５４】
顔検出部１０５は、顔の部品の位置を検出し、検出した顔の部品の位置に基づいて、顔領域の画像（顔画像）を切り出す。即ち、顔検出部１０５は、入力画像から、顔領域（ｍピクセル×ｎピクセルの領域の画像）を切り出す。認識部１０７は、顔検出部１０５により切り出された顔領域の画像の濃淡情報を特徴情報として抽出する。
【００５５】
ここでは、ｍピクセル×ｎピクセルの領域の画像の濃淡の値がそのまま濃淡情報として用いられる。即ち、ｍ×ｎピクセルの次元の情報を特徴ベクトルとして用いる。認識部１０７は、単純類似度法により複数の画像の類似度を算出する。即ち、認識部１０７は、ベクトルとベクトルの長さをそれぞれ「１」とするように単純類似度法により正規化を行なう。認識部１０７は、内積を計算することにより、複数の特徴ベクトルの間の類似性を示す類似度を算出する。カメラ１０３により取得した画像が一枚である場合、上記した処理により画像の特徴を抽出することができる。
【００５６】
また、認識結果を出力する為に、複数の連続した画像により構成される動画像を用いることにより、顔認識装置１００は、より精度の高い認識処理を行うことができる。この為、本実施形態では、動画像を用いた認識処理を例に挙げて説明を行う。
【００５７】
動画像を用いた認識処理を行う場合、カメラ１０３は、撮影領域を連続して撮影する。顔検出部１０５は、カメラ１０３により撮影された連続の複数の画像から、顔領域の画像（ｍ×ｎピクセルの画像）をそれぞれ切り出す。認識部１０７は、切り出した複数の顔領域の画像の特徴ベクトルを各画像毎に取得する。認識部１０７は、取得した画像毎の特徴ベクトルから相関行列を求める。
【００５８】
認識部１０７は、特徴ベクトルの相関行列から、例えば、Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ展開（ＫＬ展開）等により正規直交ベクトルを求める。これにより、認識部１０７は、連続した画像おいて、顔の特徴を示す部分空間を算出し、特定することが出来る。
【００５９】
部分空間を算出する場合、認識部１０７は、特徴ベクトルの相関行列（または、共分散行列）を求める。認識部１０７は、特徴ベクトルの相関行列をＫＬ展開することにより正規直交ベクトル（固有ベクトル）を求める。これにより、認識部１０７は、部分空間を算出する。
【００６０】
認識部１０７は、固有値に対応する固有ベクトルを、固有値の大きな順にｋ個選ぶ。認識部１０７は、ｋ個選んだ固有ベクトルの集合を用いて、部分空間を表現する。
【００６１】
本実施の形態では、認識部１０７は、特徴ベクトルに基づき、相関行列「Ｃｄ＝ΦｄΔｄΦｄＴ」を求める。認識部１０７は、相関行列「Ｃｄ＝ΦｄΔｄΦｄＴ」と対角化して、固有ベクトルの行列Φｄを求める。この情報、即ち、行列Φｄは、認識対象である人物の顔の特徴を示す部分空間である。
【００６２】
登録情報記憶部１０８は、上記の方法により計算された部分空間を登録情報として記憶する。なお、登録情報記憶部１０８が記憶している特徴情報は、例えばｍ×ｎピクセルの特徴ベクトルである。しかし、登録情報記憶部１０８が記憶している特徴情報は、特徴の抽出が行われる前の状態の顔画像であってもよい。また、登録情報記憶部１０８が記憶している特徴情報は、部分空間を示す情報、若しくは、ＫＬ展開が行われる前の状態の相関行列であってもよい。
【００６３】
認識部１０７は、算出した部分空間と、登録情報記憶部１０８に記憶されている１つまたは複数の特徴情報（ここでは部分空間を示す情報）とで類似度を算出する。これにより、認識部１０７は、カメラ１０３により撮影した画像中に、予め登録された人物が写っているか否か判定する。
【００６４】
複数の部分空間の間の類似度を算出する為の方法は、種々の方法がある。上述の方法では、予め記憶されている登録情報の中の認識データと、入力されるデータとが部分空間として表現される。即ち、相互部分空間法は、予め登録情報記憶部１０８に記憶されている顔特徴情報と、カメラ１０３により撮影された画像に基づいて作成された特徴情報とを部分空間として特定する。この方法では、この２つの部分空間により形成される「角度」が類似度として算出される。
【００６５】
ここでは、入力される画像に基づいて算出された部分空間を入力部分空間と称して説明する。認識部１０７は、入力データ列（カメラ１０３により撮影された画像）に基づいて相関行列「Ｃｉｎ＝ΦｉｎΔｉｎΦｉｎＴ」を求める。
【００６６】
認識部１０７は、相関行列「Ｃｉｎ＝ΦｉｎΔｉｎΦｉｎＴ」と対角化を行い、固有ベクトルΦｉｎを求める。認識部１０７は、Φｉｎにより特定される部分空間と、Φｄにより特定される部分空間とで類似度を算出する。即ち、認識部１０７は、２つの部分空間の間の類似度（０．０〜１．０）を求める。
【００６７】
入力画像内に複数の顔領域が存在する場合、認識部１０７は、各顔領域に対して順番に認識の処理を行なう。すなわち、認識部１０７は、登録情報記憶部１０８に保存されている特徴情報（登録情報）と、顔領域の画像とで類似度を総当りで計算する。これにより、認識部１０７は、入力画像内の全ての人物に対して認識の処理の結果を得ることができる。たとえば、Ｘ人の人物がＹ人分の辞書を記憶している本装置に向かって歩いてきた場合、認識部１０７は、認識の処理、即ち、類似度の計算をＸ×Ｙ回おこなう。これにより、認識部１０７は、Ｘ人のうちの全員に対して認識の処理の結果を出力できる。
【００６８】
登録情報記憶部１０８に保存されている登録情報と一致する画像が入力された複数の画像の中に見つからなかった場合、即ち、認識部１０７による認識の結果が出力されなかった場合、認識部１０７は、次にカメラ１０３により撮影される画像（次のフレームの画像）に基づいて再び認識の処理を行う。
【００６９】
この場合、認識部１０７は、部分空間に入力される相関行列、即ち、１つのフレームに関する相関行列を、過去の複数のフレームに関する相関行列の和に追加する。認識部１０７は、再び、固有ベクトルの計算を行う。認識部１０７は、再び、部分空間の作成を行なう。これにより、認識部１０７は、入力画像に関する部分空間の更新を行う。
【００７０】
歩行する人物の顔画像を連続して撮影して照合を行なう場合、認識部１０７は、逐次部分空間の更新を行う。即ち、認識部１０７は、画像が入力される度に、認識の処理を行う。これにより、照合の精度が、撮影した画像の枚数に応じて徐々に高まる。
【００７１】
図４及び図５は、第２の照合方式について説明するための説明図である。
【００７２】
上記した第２の照合方式は、たとえば、文献［６］（エルッキ・オヤ著、小川英光、佐藤誠訳、「パターン認識と部分空間法」、産業図書、１９８６年）、及び文献［７］（東芝（小坂谷達夫）：「画像認識装置、方法およびプログラム」特許公報 特開２００７−４７６７）などに開示されている方法を用いることにより実現可能である。
【００７３】
文献６には、部分空間法により予め複数の顔画像から作成した登録情報としての部分空間への射影により人物を認識する方法が記載されている。図４に示すように、文献６に記載されている方法を用いる場合、認識部１０７は、１枚の画像を用いて照合を行なう事ができる。
【００７４】
文献７には、１枚の画像に対してモデルを利用して、例えば、顔の向き及び状態などを意図的に変化させた画像（摂動画像）を作成する方法が記載されている。この場合、図５に示すように、顔の向き及び状態などが異なる複数の摂動画像を用いて、上記の第１の照合方式により照合を行うことが出来る。
【００７５】
認識部１０７は、摂動を行う場合、顔検出部１０５により検出した顔の各部の座標を任意の方向に摂動させることにより摂動画像を生成する。なお、摂動させる量はどのような範囲であってもよい。また、摂動させる顔の部分（顔の特徴点）の種類は、どの部分であってもよい。また、摂動させる顔の部分（顔の特徴点）の種類は、複数種類であってもよい。
【００７６】
登録情報記憶部１０８は、個人の識別情報をキーとして人物の顔の特徴情報を登録情報として記憶している。即ち、登録情報記憶部１０８は、識別情報と顔特徴情報とを対応付けて記憶する。なお、登録情報記憶部１０８は、１つの識別情報と複数の顔特徴情報を対応付けて記憶してもよい。撮影した画像に基づいて人物の認識を行う場合、顔認識装置１００は、複数の顔特徴情報を認識に利用するようにしてもよい。また、登録情報記憶部１０８は、顔認識装置１００の外部に設けられていてもよい。
【００７７】
出力部１０９は、たとえば、入力部１０１からの入力画像、顔検出部１０５で検出した顔領域の画像若しくは特徴情報を出力する。また、出力部１０９は、認識部１０７による認識結果を外部機器に出力する。出力部１０９は、例えば、ゲート制御部１１０に対して認識結果を出力する。
【００７８】
ゲート制御部１１０は、ゲート制御手段として機能する。ゲート制御部１１０は、図１に示す顔認識装置１００の近傍に設置されているドア１１１の制御を行う。例えば、認識結果ＯＫである場合に出力部１０９から出力される通行可能信号を受信した場合、ゲート制御部１１０は、ドア１１１を開放する。これにより、歩行者は、ドア１１１を通過できる。なお、ゲート制御部１１０は、通行可能信号が検知されなくなった場合、ドア１１１を閉鎖する。
【００７９】
また、入力部１０１若しくは制御部１０２が表示部を備えている場合、出力部１０９は、認識部１０７による認識結果を表示部に出力する。表示部は、認識結果を受信した場合、受信した認識結果を表示する。これにより、顔認識装置１００は、歩行者に対して認識結果を報知することが出来る。に応じて外部機器への制御信号（ゲート装置へのゲート制御信号等）を出力する。また、表示部は、例えば監視用モニタとして外部に設けられていてもよい。
【００８０】
例えば、出力部１０９は、登録情報記憶部１０８により記憶されている複数の特徴情報のうち、入力された顔画像に近いものを表示するように表示画面を作成し、出力する。また、出力部１０９は、照合の結果、類似度が予め定められる閾値以上である場合に警報を鳴らすように外部機器に信号を出力する。またさらに、出力部１０９は、照合の結果、類似度が予め定められる閾値以上である場合にゲート制御部１１０に対して通行可能信号を出力する。
【００８１】
制御部１０２は、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、及び、不揮発性メモリなどの構成を備えている。ＣＰＵは、制御部１０２により行われる制御を司るものである。ＣＰＵは、ＲＯＭあるいは不揮発性メモリに記憶されている制御プログラムや制御データに基づいて動作することにより、種々の処理手段として機能する。即ち、上記した顔検出部１０５、動作判定部１０６、及び認識部１０７により行われる処理は、ＣＰＵがプログラムを実行することにより実現される。
【００８２】
ＲＡＭは、ＣＰＵのワーキングメモリとして機能する揮発性のメモリである。即ち、ＲＡＭは、ＣＰＵが処理中のデータなどを一時保管する記憶手段として機能する。また、ＲＡＭは、入力部から受信したデータを一時保管する。ＲＯＭは、予め制御用のプログラムや制御データなどが記憶されている不揮発性のメモリである。
【００８３】
不揮発性メモリは、例えば、ＥＥＰＲＯＭあるいはＨＤＤなどの、データの書き込み及び書換えが可能な記憶媒体により構成される。不揮発性メモリには、当該顔認識装置１００の運用用途に応じて制御プログラムや種々のデータが書込まれる。
【００８４】
図６は、図１に示す顔認識装置１００における処理を説明するためのフローチャートである。
【００８５】
カメラ１０３は、撮影領域の画像を撮像し、取得する（ステップＳ１１）。カメラ１０３は、取得した画像を制御部１０２の顔検出部１０５に入力する。顔検出部１０５は、カメラ１０３から入力された画像（入力画像）において人物の顔が写っている領域（顔領域）を検出する（ステップＳ１２）。
動作判定部１０６は、顔検出部１０５により顔領域が検出された場合、１つ前のフレームとで顔領域が検出された座標及びサイズを比較する（ステップＳ１３）。
【００８６】
動作判定部１０６は、比較の結果に基づいて、２つのフレームにおいてそれぞれ検出された顔領域が同じ人物のものであるか否かを判定する。この為に、動作判定部１０６は、１つ前のフレームとで顔領域が検出された座標及びサイズの差があらかじめ定める閾値以内であるか否か判定する（ステップＳ１４）。
【００８７】
差が閾値以内であると判定した場合（ステップＳ１４、ＹＥＳ）、動作判定部１０６は、前フレームと現フレームとで検出された顔領域の人物は同一人物であると判定する（ステップＳ１５）。また、差が閾値を越えていると判定した場合（ステップＳ１４、ＮＯ）、動作判定部１０６は、前フレームと現フレームとで検出された顔領域の人物は異なる人物であると判定する（ステップＳ１６）。
【００８８】
動作判定部１０６は、人物の顔領域が所定位置にあるか否か判定する（ステップＳ１７）。即ち、動作判定部１０６は、図２に示すように、カメラ１０３により撮像した入力画像１０中の顔領域のサイズと、予め定める枠１１のサイズとが同程度になったか否か判定する。
【００８９】
人物の顔領域が所定位置にないと判定した場合（ステップＳ１７、ＮＯ）、動作判定部１０６は、操作部１０４により識別情報が入力されたか否か判定する（ステップＳ１８）。識別情報の入力が確認されない場合（ステップＳ１８、ＮＯ）、動作判定部１０６は、照合意思が確認されない（照合意思未確認）と判定する（ステップＳ１９）。顔認識装置１００は、照合意思未確認と判定した場合、ステップＳ１１に移行し、次のフレームの画像を取得する。
【００９０】
ステップＳ１７において、人物の顔領域が所定位置に存在すると判定した場合（ステップＳ１７、ＹＥＳ）、若しくは、ステップＳ１８において、識別情報の入力を確認した場合（ステップＳ１８、ＹＥＳ）、動作判定部１０６は、照合意思があると判定する（ステップＳ２０）。
【００９１】
認識部１０７は、動作判定部１０６により照合意思を確認するまでに、認証する人物の顔画像が所定枚数以上撮影されたか否か判定する（ステップＳ２１）。認識部１０７は、照合意思を確認するまでに所定枚数以上の顔画像を取得できたと判定した場合（ステップＳ２１、ＹＥＳ）、第１の照合方式を選択する（ステップＳ２２）。また、認識部１０７は、照合意思を確認するまでに所定枚数以上の顔画像を取得できなかったと判定した場合（ステップＳ２１、ＮＯ）、第２の照合方式を選択する（ステップＳ２３）。
【００９２】
認識部１０７は、選択した照合方式により、人物の認証を行なう（ステップＳ２４）。即ち、認識部１０７は、顔検出部１０５により検出された顔画像に基づいて特徴情報を抽出する。認識部１０７は、抽出した特徴情報と、登録情報記憶部１０８に記憶されている特徴情報とで照合を行う。即ち、認識部１０７は、顔画像から抽出した特徴情報と一致若しくは近似する特徴情報が登録情報記憶部１０８に記憶されているか否か判定する。
【００９３】
認識部１０７による認証の結果、ＯＫと判定した場合（ステップＳ２４、ＹＥＳ）、出力部１０９は、通行可能信号を外部機器、若しくはゲート制御部１１０に出力する（ステップＳ２５）。
【００９４】
また、認識部１０７による認証の結果、ＮＧと判定した場合（ステップＳ２４、ＮＯ）、出力部１０９は、照合が失敗した旨を外部機器、若しくは表示部などに出力する（ステップＳ２６）。これにより、顔認識装置１００は、照合がＮＧであることを歩行者に対して報知する。
【００９５】
上記したように、本実施形態に係る顔認識装置は、複数の照合方式を備えている。顔認識装置は、連続して画像を撮像し、人物の顔領域を逐次検出する。顔認識装置は、連続的に検出される顔領域の位置、及び座標に基づいて、人物の動作を判定する。顔認識装置は、判定した人物の動作に基づいて、上述の複数の縫合方式のうちの１つの照合方式を選択し、認証を行なう。これにより、顔認識装置は、人物の動作に併せて最適な照合方式を選択することが出来る。
【００９６】
この結果、短い処理時間で、より高い精度で人物を認識する事ができる顔認識装置、顔認識方法、及び通行制御装置を提供することができる。
【００９７】
なお、本実施形態では、第１の照合方式と第２の照合方式との２つの内の１つを選択する構成として説明したが、これに限定されない。例えば、３つ以上の照合方式の中から、撮影枚数、及び処理時間などに基づいて段階的に切り替える構成であってもよい。
【００９８】
また、本実施形態では、顔認識装置１００が入力部１０１を備えているとして説明したが、これに限定されない。入力部１０１は、顔認識装置１００の外部に設置されていてもよい。即ち、人物の顔画像と、人物による操作に基づく操作信号とを取得する構成であれば、如何なるものであってもよい。
【００９９】
カメラ１０３は、撮像手段である。カメラ１０３は、例えば、ｉｎｄｕｓｔｒｉａｌ ｔｅｌｅｖｉｓｉｏｎ（IＴＶ）カメラなどにより構成される。カメラ１０３は、所定範囲の動画像（複数枚の連続画像）を撮像する。これにより、カメラ１０３は、歩行者の顔を含む画像を撮像する。カメラ１０３は、撮像した画像を図示しないＡ／Ｄ変換器によりディジタル変換し、逐次制御部１０２に送信する。なお、カメラの代わりにスキャナにより写真をスキャンし、登録情報の追加、照合、及び検索が行われるような構成であってもよい。
【０１００】
操作部１０４は、操作者（歩行者を含む）に操作を入力させる為の操作手段である。操作部１０４は、例えば、入力キー、若しくはカードリーダなどにより構成される。操作部１０４は、入力キーにより入力された入力情報、若しくは、カードリーダにより歩行者の所持するカード（例えば、ＩＣカードなど）から読み取った情報を制御部１０２に送信する。
【０１０１】
これにより、顔認識装置１００は、顔認証のみで人物の認証を行なう１：Ｎ照合と、顔認証と識別情報の照合により人物の認証を行なう１：１及び１：ｎ照合とのいずれかにより人物の認証を行なう事ができる。１：Ｎ照合は、登録情報と一致する顔が、複数人数（Ｎ人）のうちの中に存在するか否か認証を行なう方法である。
【０１０２】
１：１及び１：ｎ照合は、１名、またはＮ人より少ない少人数（ｎ人）の認証を行なう為の方法である。１：１及び１：ｎ照合が用いられる場合、顔認識装置１００は、顔認証を行なうと共に、入力キー、若しくはカードリーダにより入力される識別情報による認証を行う。
【０１０３】
またさらに、入力部１０１は、歩行者に対して、顔認証の状況等を逐次表示する表示部を備えていてもよい。また、操作部１０４と表示部が一体に構成されてもよい。この場合、操作部及び表示部はタッチパネルとして機能する。
【０１０４】
制御部１０２は、入力部１０１により入力された情報に基づいて種々の処理を行うユニットである。制御部１０２は、顔検出部１０５、動作判定部１０６、認識部１０７、登録情報記憶部１０８、出力部１０９、及びゲート制御部１１０を備えている。また、さらに、制御部１０２は、インターフェース１０２Ａ及びインターフェース１０２Ｂを備えている。
【０１０５】
インターフェース１０２Ａ及びインターフェース１０２Ｂは、制御部１０２の外部からの信号を受信する。インターフェース１０２Ａは、カメラ１０３に接続されている。インターフェース１０２Ａには人物の少なくとも顔を含む画像がカメラ１０３から連続して入力される。即ち、インターフェース１０２Ａは、画像入力手段として機能する。
【０１０６】
インターフェース１０２Ｂは、操作部１０４に接続されている。インターフェース１０２Ｂには操作者による操作信号が操作部１０４から入力される。即ち、インターフェース１０２Ｂは、操作入力手段として機能する。
【０１０７】
次に、本発明の第２の実施形態に係る顔認識装置、顔認識方法、及び通行制御装置について、図を参照しながら詳細に説明する。
図７は、本発明の第２の実施形態に係る顔認識装置２００の構成例を概略的に説明するためのブロック図である。顔認識装置２００は、入力部２０１、制御部２０２、入力インターフェース２０２Ａ、入力インターフェース２０２Ｂ、カメラ２０３、操作部２０４、顔検出部２０５、動作判定部２０６、認識部２０７、登録情報記憶部２０８、出力部２０９、及びゲート制御部２１０などを備えている。
【０１０８】
なお、入力部２０１、入力インターフェース２０２Ａ、入力インターフェース２０２Ｂ、カメラ２０３、操作部２０４、顔検出部２０５、動作判定部２０６、登録情報記憶部２０８、出力部２０９、及びゲート制御部２１０の構成は、第１の実施例における入力部１０１、入力インターフェース１０２Ａ、入力インターフェース１０２Ｂ、カメラ１０３、操作部１０４、顔検出部１０５、動作判定部１０６、登録情報記憶部１０８、出力部１０９、及びゲート制御部１１０と同様の構成である為、その詳細な説明を省略する。
【０１０９】
第２の実施形態に係る顔認識装置２００の認識部２０７は、カメラ２０３により連続的に取得する画像に基づいて、逐次照合を行う。
【０１１０】
即ち、認識部２０７は、動作判定部２０６により照合意思が確認されていない場合でも、カメラ２０３により取得した画像に基づいて、照合を行う。この場合、認識部２０７は、第２の照合方式を用いて照合を行う。
【０１１１】
しかし、第２の照合方式は、第１の照合方式に比べて精度が低い。この為、認識部２０７は、類似度を比較する場合に用いる閾値を通常より高い値（精査閾値）に設定した上で第２の照合方式により照合を行う。精査閾値は、通常の照合に用いられる閾値より値が高い閾値である。即ち、照合ＯＫと判定するために、よりより高い類似度が求められる。精査閾値は、予め制御部１０２が有する図示しないＲＯＭまたは不揮発性メモリなどに記憶される。
【０１１２】
図８は、図７に示す顔認識装置２００における処理を説明するためのフローチャートである。なお、ステップＳ３１乃至ステップＳ４６は、図６に示すステップＳ１１乃至ステップＳ２６と同様の処理であるので、詳細な説明を省略する。
【０１１３】
動作判定部２０６により、人物の顔領域が所定位置にないと判定し、且つ、操作部２０４による識別情報の入力が確認されない場合、動作判定部２０６は、照合意思が確認されない（照合意思未確認）と判定する（ステップＳ４６）。
【０１１４】
顔認識装置２００は、照合意思未確認と判定した場合、認識部２０７により現フレームの画像に基づいて照合処理を行う。即ち、認識部２０７は、照合処理に用いる照合方式として第２の照合方式を選択する（ステップＳ４７）。この場合、認識部２０７は、誤処理を起こさない為の通常より高めの閾値を設定する。
【０１１５】
認識部２０７は、選択した第２の照合方式により、人物の認証を行なう（ステップＳ４８）。即ち、認識部２０７は、顔検出部２０５により検出された顔画像に基づいて特徴情報を抽出する。認識部２０７は、抽出した特徴情報と、登録情報記憶部２０８に記憶されている特徴情報とで照合を行う。即ち、認識部２０７は、顔画像から抽出した特徴情報と一致若しくは近似する特徴情報が登録情報記憶部２０８に記憶されているか否か判定する。
【０１１６】
認識部２０７による認証の結果、ＯＫと判定した場合（ステップＳ４８、ＹＥＳ）、出力部２０９は、通行可能信号を外部機器、若しくはゲート制御部２１０に出力する（ステップＳ４３）。
【０１１７】
また、認識部２０７による認証の結果、ＮＧと判定した場合（ステップＳ４８、ＮＯ）、顔認識装置２００は、ステップＳ３１に移行し、次のフレームの画像を取得する。
【０１１８】
上記したように、第２の実施形態に係る顔認識装置２００によると、動作判定部２０６により照合意思を確認するまでに照合ＯＫと判定した場合、歩行者がカメラ２０３の前で立ち止まる必要がない。この為、顔認識装置２００は、動作判定部２０６により照合意思を確認してから行う照合に比べて、早く照合結果を出力することができる。
【０１１９】
また、動作判定部２０６により照合意思を確認するまでに照合ＯＫと判定できなかった場合、顔認識装置２００は、閾値を通常の値に設定し直した上で第１の実施形態に係る顔認識装置１００と同様の処理により照合を行うことができる。
【０１２０】
この結果として、短い処理時間で、より高い精度で人物を認識する事ができる顔認識装置、顔認識方法、及び通行制御装置を提供することができる。
【０１２１】
次に、本発明の第３の実施形態に係る顔認識装置、顔認識方法、及び通行制御装置について、図を参照しながら詳細に説明する。
図９は、本発明の第３の実施形態に係る顔認識装置３００の構成例を概略的に説明するためのブロック図である。顔認識装置３００は、入力部３０１、制御部３０２、入力インターフェース３０２Ａ、入力インターフェース３０２Ｂ、カメラ３０３、操作部３０４、顔検出部３０５、動作判定部３０６、認識部３０７、登録情報記憶部３０８、出力部３０９、及びゲート制御部３１０などを備えている。
【０１２２】
なお、入力部３０１、入力インターフェース３０２Ａ、入力インターフェース３０２Ｂ、カメラ３０３、操作部３０４、顔検出部３０５、登録情報記憶部３０８、出力部３０９、及びゲート制御部３１０の構成は、第１の実施例における入力部１０１、入力インターフェース１０２Ａ、入力インターフェース１０２Ｂ、カメラ１０３、操作部１０４、顔検出部１０５、登録情報記憶部１０８、出力部１０９、及びゲート制御部１１０と同様の構成である為、その詳細な説明を省略する。
【０１２３】
第３の実施形態に係る顔認識装置３００の認識部３０７は、照合処理において照合ＮＧと判定した場合、照合処理のリトライ（２回目の照合処理）を行う。
【０１２４】
即ち、認識部３０７は、まず第１の実施形態と同様に、１回目の照合処理を行う。１回目の照合処理において、照合ＮＧと判定した場合、動作判定部３０６は、現フレームの画像に移りこんでいる人物と前フレームに移りこんでいる人物とが同一人物であるか否か判定する。即ち、動作判定部３０６は、照合意思の確認をした後も、人物の顔領域の追跡を行う。
【０１２５】
なお、動作判定部３０６は、第１の実施形態と同様の処理により人物が同一人物であるか否かを判定する構成であってもよいし、前フレームまでの画像を利用してパターン・マッチングを追加し、同一人物であるか否かを判定する構成であってもよい。
【０１２６】
認識部３０７は、設定記憶部３０７ａを備えている。設定記憶部３０７ａは、設定記憶手段として機能する。設定記憶部３０７ａは、２回目の照合処理に用いられる照合方式を選択させるための情報を記憶する。即ち、認識部３０７は、２回目の照合処理を行う場合、設定記憶部３０７ａに記憶されている情報を参照する。
【０１２７】
例えば、設定記憶部３０７ａに記憶されている情報が、第１の照合方式を示す情報である場合、認識部３０７は、第１の照合方式を選択し、２回目の照合処理を行う。また、例えば、設定記憶部３０７ａに記憶されている情報が、第２の照合方式を示す情報である場合、認識部３０７は、第２の照合方式を選択し、２回目の照合処理を行う。
【０１２８】
なお、設定記憶部３０７ａに記憶されている情報は、適宜変更することが出来る。第１の照合方式は、第２の照合方式に比べて照合の精度が高い。この反面、第１の照合方式は、処理に時間がかかる。例えば、連続して照合が失敗することがないように、２回目の照合に第１の照合方式を用いるような設定が考えられる。また、２回目の照合にかかる時間を短縮する必要がある場合、２回目の照合に第２の照合方式を用いるような設定が考えられる。
【０１２９】
認識部３０７は、動作判定部３０６により前回の照合処理に用いた画像に写り込んでいる人物と、現フレームに移りこんでいる人物とが同一人物であると判定した場合、設定記憶部３０７ａを参照する。これにより、認識部３０７は、２回目の照合処理に用いる照合方式を選択する。認識部３０７は、選択した照合方式を用いて２回目の照合を行う。
【０１３０】
図１０は、図９に示す顔認識装置３００における処理を説明するためのフローチャートである。
【０１３１】
顔認識装置３００は、図６のステップＳ１１乃至ステップＳ２４で述べたように、１回目の照合処理を行う（ステップＳ５１）。
【０１３２】
１回目の照合において、照合ＮＧと判定した場合（ステップＳ５２、ＮＯ）、顔認識装置３００のカメラ３０３は、撮影領域の画像を撮像し、取得する（ステップＳ５３）。カメラ３０３は、取得した画像を制御部３０２の顔検出部３０５に入力する。顔検出部３０５は、カメラ３０３から入力された画像（入力画像）において人物の顔が写っている領域（顔領域）を検出する（ステップＳ５４）。
動作判定部３０６は、顔検出部３０５により顔領域が検出された場合、１つ前のフレームとで顔領域が検出された座標及びサイズを比較する（ステップＳ１３）。即ち、動作判定部３０６は、１回目の照合に用いた画像において検出された顔領域と座標及びサイズの比較を行う。
【０１３３】
動作判定部３０６は、比較の結果に基づいて、２つのフレームにおいてそれぞれ検出された顔領域が同じ人物のものであるか否かを判定する。この為に、動作判定部３０６は、１つ前のフレームとで顔領域が検出された座標及びサイズの差があらかじめ定める閾値以内であるか否か判定する（ステップＳ５６）。
【０１３４】
差が閾値を越えていると判定した場合（ステップＳ５６、ＮＯ）、動作判定部３０６は、前フレームと現フレームとで検出された顔領域の人物は異なる人物であると判定する（ステップＳ５７）。この場合、顔認識装置３００は、１回目の照合処理に移行する。即ち、顔認識装置３００は、ステップＳ５１に移行する。
【０１３５】
ステップＳ５６の判定において、差が閾値以内であると判定した場合（ステップＳ５６、ＹＥＳ）、動作判定部３０６は、前フレームと現フレームとで検出された顔領域の人物は同一人物であると判定する（ステップＳ５８）。
【０１３６】
認識部３０７は、動作判定部３０６により前回の照合処理に用いた画像に写り込んでいる人物と、現フレームに移りこんでいる人物とが同一人物であると判定した場合、リトライ時の照合方式を確認する（ステップＳ５９）。即ち、認識部３０７は、設定記憶部３０７ａを参照する。
【０１３７】
設定記憶部３０７ａに記憶されている情報が、第１の照合方式を示す情報である場合、認識部３０７は、第１の照合方式を選択する（ステップＳ６０）。また、設定記憶部３０７ａに記憶されている情報が、第２の照合方式を示す情報である場合、認識部３０７は、第２の照合方式を選択する（ステップＳ６１）。認識部３０７は、選択した照合方式を用いて２回目の照合処理を行う（ステップＳ６２）。
【０１３８】
１回目の照合処理において認証ＯＫと判定した場合（ステップＳ５２、ＹＥＳ）、若しくは、２回目の照合処理において認証ＯＫと判定した場合（ステップＳ６２、ＹＥＳ）、出力部３０９は、通行可能信号を外部機器、若しくはゲート制御部３１０に出力する（ステップＳ６３）。
【０１３９】
また、２回目の照合処理において認証ＮＧと判定した場合（ステップＳ６２、ＮＯ）、出力部３０９は、照合が失敗した旨を外部機器、若しくは表示部などに出力する（ステップＳ６４）。これにより、顔認識装置３００は、照合がＮＧであることを歩行者に対して報知する。
【０１４０】
上記したように、第３の実施形態に係る顔認識装置３００によると、照合が失敗した場合、続けて２回目の照合を行う。また、顔認識装置３００は、２回目の照合に用いる照合方式を予め選択に基づいて設定することができる。この為、運用形態に適した状態で、２回目の照合を行うことが出来る。
【０１４１】
この結果として、短い処理時間で、より高い精度で人物を認識する事ができる顔認識装置、顔認識方法、及び通行制御装置を提供することができる。
【０１４２】
なお、本実施形態では、１回目の照合が失敗した場合に２回目の照合を行う構成として説明したがこれに限定されない。照合を繰り返す回数は、如何なる回数であってもよい。また、顔認識装置は、照合に用いる照合方式を、各回の照合毎に設定することが出来る。また、顔認識装置は、照合に用いる照合方式を、照合を行った回数に基づいて選択する構成であってもよい。
【０１４３】
次に、本発明の第４の実施形態に係る顔認識装置、顔認識方法、及び通行制御装置について、図を参照しながら詳細に説明する。
図１１は、本発明の第３の実施形態に係る顔認識装置４００の構成例を概略的に説明するためのブロック図である。顔認識装置４００は、入力部４０１、制御部４０２、入力インターフェース４０２Ａ、入力インターフェース４０２Ｂ、カメラ４０３、操作部４０４、顔検出部４０５、動作判定部４０６、認識部４０７、登録情報記憶部４０８、再登録部４０９、出力部４１０、及びゲート制御部４１１などを備えている。
【０１４４】
なお、入力部４０１、入力インターフェース４０２Ａ、入力インターフェース４０２Ｂ、カメラ４０３、操作部４０４、顔検出部４０５、動作判定部４０６、出力部４１０、及びゲート制御部４１１の構成は、第１の実施例における入力部１０１、入力インターフェース１０２Ａ、入力インターフェース１０２Ｂ、カメラ１０３、操作部１０４、顔検出部１０５、動作判定部１０６、出力部１０９、及びゲート制御部１１０と同様の構成である為、その詳細な説明を省略する。
【０１４５】
第４の実施形態に係る顔認識装置４００は、登録情報の登録時に特徴情報を抽出する為に用いた方法と同じ方法を用いて、カメラ４０３により取得した顔画像から特徴情報を抽出する。また、顔認識装置４００は、登録している登録情報を、カメラ４０３により取得した顔画像に基づいて更新する。
【０１４６】
登録情報記憶部４０８は、認識の対象の人物の顔の特徴情報と、この特徴情報を抽出するために用いた特徴情報の計算方法を示す情報（登録時の照合方式）をあわせて記憶する。
【０１４７】
認識部４０７は、動作判定部４０６による判定結果に基づき、検出された顔画像から特徴情報を抽出する。この場合、認識部４０７は、登録情報記憶部４０８により記憶されている特徴情報の照合方式を示す情報（照合方式情報）を参照する。認識部４０７は、参照した照合方式情報に基づいて、複数の照合方式のうちの１つを選択する。即ち、認識部４０７は、登録情報記憶部４０８に記憶されている特徴情報を抽出するために用いた方法と同じ方法で顔画像から特徴情報の抽出を行う照合方式を選択する。
【０１４８】
認識部４０７は、選択した照合方式を用いて、予め登録された顔の特徴情報と、入力された画像から抽出した顔の特徴情報とを照合し、一致するか否か判定する。
【０１４９】
再登録部４０９は、必要に応じて、登録情報記憶部４０８に記憶されている顔の特徴情報の置き換え、または追加を行う。
【０１５０】
なお、認識部４０７による照合処理は、上述した第１の実施形態、第２の実施形態、及び第３の実施形態のどの方法を用いても実現することが出来る。より照合の精度を高めるために、登録情報記憶部４０８に記憶されている「登録時の照合方式」と同じ方法を用いて特徴情報を計算することが望ましい。認識部４０７は、登録時の照合方式と同じ方法を用いて特徴情報を計算し、予め登録されている特徴情報との類似度の演算を行う。
【０１５１】
登録時の照合方式は、一般的に登録者の全員が同じ照合方式を用いる場合が多い。この為、例えば、登録者の全員が第１の照合方式で登録されている場合、認識部４０７は、第一の照合方式を優先的に選択する。また、人によって登録時の照合方式が異なる場合、認識部４０７は、上記の第１の実施形態、若しくは、第２の実施形態で記載したように、動作に応じて照合方式を選択する構成であってもよい。
【０１５２】
またさらに、認識部４０７は、動作に応じて選択した照合方式により登録された特徴情報のみを照合の対象として類似度の演算を行う構成であってもよい。また、認識部４０７は、後述する再登録部４０９で優先される特徴情報をベースに類似度の演算を行う構成であってもよい。
【０１５３】
登録情報記憶部４０８は、認識の対象の人物の顔の特徴情報と、この特徴情報を抽出するために用いた特徴情報の計算方法を示す情報（登録時の照合方式）をあわせて記憶する。登録情報記憶部４０８は、初めて利用者が登録を行った時に用いられていた照合方式を示す情報を特徴情報と対応付けて記憶する。
【０１５４】
例えば、異なる向きから顔を撮影して取得した複数枚の顔画像に基づいて第１の照合方式により抽出した特徴情報を記憶する場合、登録情報記憶部４０８は、第１の照合方式を示す情報を特徴情報と対応付けて記憶する。また、例えば、１枚の顔画像に基づいて第２の照合方式により抽出した特徴情報を記憶する場合、登録情報記憶部４０８は、第２の照合方式を示す情報を特徴情報と対応付けて記憶する。
【０１５５】
登録情報記憶部４０８は、必要に応じて、特徴情報を算出するために利用した顔画像の枚数も記憶する。これにより、顔認識装置４００は、特徴情報の再登録を行う場合、学習している顔画像の枚数を参考情報として利用することができる。
【０１５６】
再登録部４０９は、登録情報記憶部４０８に記憶されている顔の特徴情報の更新、または追加を行なう。例えば、顔の特徴情報を登録情報記憶部４０８に記憶してから時間が経過した場合、照合の精度が低下する可能性がある。これは、顔に経年変化が生じるためである。また、照合時の顔の向き、立ち位置、及び照明条件の違いなどの為に、照合の精度が低下する可能性がある。
【０１５７】
再登録部４０９は、管理者の操作に基づいて、明示的に登録情報の更新を行う。
【０１５８】
または、再登録部４０９は、認証処理の終了後、認証の対象である人物により、操作部４０４から正しい識別情報及びパスワードが入力された場合、登録情報の更新を行う。この場合、再登録部４０９は、直前の認証処理に用いた顔画像を用いて、登録情報の更新を行う。なお、再登録部４０９は、認証処理の終了後、識別情報及びパスワードの確認を行うことなく、自動的に登録情報の更新を行う構成であってもよい。
【０１５９】
図１２は、図１１に示す顔認識装置４００における処理を説明するためのフローチャートである。なお、ステップＳ７１乃至ステップＳ８０は、図６に示すステップＳ１１乃至ステップＳ２０と同様の処理であるので、詳細な説明を省略する。
【０１６０】
認識部４０７は、動作判定部４０６により照合意思を確認するまでに、認証する人物の顔画像が所定枚数以上撮影されたか否か判定する（ステップＳ８１）。認識部４０７は、照合意思を確認するまでに所定枚数以上の顔画像を取得できたと判定した場合（ステップＳ８１、ＹＥＳ）、登録情報記憶部４０８を参照し、優先する照合方式を確認する（ステップＳ８２）。優先する照合方式が第１の照合方式である場合、認識部４０７は、第１の照合方式を選択する（ステップＳ８３）。
【０１６１】
また、認識部４０７は、照合意思を確認するまでに所定枚数以上の顔画像を取得できなかったと判定した場合（ステップＳ８１、ＮＯ）、若しくは、ステップＳ８２の確認の結果、優先すべき照合方式が第２の照合方式である場合、認識部４０７は、第２の照合方式を選択する（ステップＳ８４）。
【０１６２】
認識部４０７は、選択した照合方式により、人物の認証を行なう（ステップＳ８５）。即ち、認識部４０７は、顔検出部４０５により検出された顔画像に基づいて特徴情報を抽出する。認識部４０７は、抽出した特徴情報と、登録情報記憶部４０８に記憶されている特徴情報とで照合を行う。即ち、認識部４０７は、顔画像から抽出した特徴情報と一致若しくは近似する特徴情報が登録情報記憶部４０８に記憶されているか否か判定する。
【０１６３】
認識部４０７による認証の結果、ＯＫと判定した場合（ステップＳ８５、ＹＥＳ）、再登録部４０９は、必要に応じて登録情報記憶部４０８に記憶されている登録情報の更新（再登録）を行う（ステップＳ８６）。出力部４１０は、通行可能信号を外部機器、若しくはゲート制御部４１１に出力する（ステップＳ８７）。
【０１６４】
また、認識部４０７による認証の結果、ＮＧと判定した場合（ステップＳ８５、ＮＯ）、出力部４１０は、照合が失敗した旨を外部機器、若しくは表示部などに出力する（ステップＳ８８）。これにより、顔認識装置４００は、照合がＮＧであることを歩行者に対して報知する。
【０１６５】
上記したように、第４の実施形態に係る顔認識装置４００は、登録情報を記憶する場合、顔認識装置４００は、特徴情報の抽出に用いた照合方式を示す情報を対応付けて記憶する。顔認識装置４００は、認証処理を行う場合、登録情報に対応付けられている照合方式を示す情報に基づいて照合方式を選択する。これにより、照合の精度を高めることが出来る。
【０１６６】
また、顔認識装置４００は、認証処理が正常に行なわれた場合、必要に応じて登録情報の更新、または追加などを行う。顔認識装置４００は、記憶している特徴情報を、予め定めた照合方式により抽出した特徴情報に置き換えることが出来る。この為、顔認識装置４００は、記憶している特徴情報を、例えば、精度の高い第１の照合方式により抽出した特徴情報に移行させることができる。
【０１６７】
この結果として、短い処理時間で、より高い精度で人物を認識する事ができる顔認識装置、顔認識方法、及び通行制御装置を提供することができる。
【０１６８】
なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具現化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【０１６９】
【図１】図１は、本発明の第１の実施形態に係る顔認識装置１００の構成例を概略的に説明するためのブロック図である。
【図２】図２は、図１に示す顔認識装置の動作判定部の処理を概略的に説明するための説明図である。
【図３】図３は、第１の照合方式について説明するための説明図である。
【図４】図４は、第２の照合方式について説明するための説明図である。
【図５】図５は、第２の照合方式について説明するための説明図である。
【図６】図６は、図１に示す顔認識装置１００における処理を説明するためのフローチャートである。
【図７】図７は、本発明の第２の実施形態に係る顔認識装置の構成例を概略的に説明するためのブロック図である。
【図８】図８は、図７に示す顔認識装置における処理を説明するためのフローチャートである。
【図９】図９は、本発明の第３の実施形態に係る顔認識装置の構成例を概略的に説明するためのブロック図である。
【図１０】図１０は、図９に示す顔認識装置における処理を説明するためのフローチャートである。
【図１１】図１１は、本発明の第４の実施形態に係る顔認識装置の構成例を概略的に説明するためのブロック図である。
【図１２】図１２は、図１１に示す顔認識装置における処理を説明するためのフローチャートである。
【符号の説明】
【０１７０】
１０…入力画像、１１…枠、１００…顔認識装置、１０１…入力部、１０２…制御部、１０３…カメラ、１０４…操作部、１０５…顔検出部、１０６…動作判定部、１０７…認識部、１０８…登録情報記憶部、１０９…出力部、１１０…ゲート制御部、１１１…ドア、２００…顔認識装置、２０１…入力部、２０２…制御部、２０３…カメラ、２０４…操作部、２０５…顔検出部、２０６…動作判定部、２０７…認識部、２０８…登録情報記憶部、２０９…出力部、２１０…ゲート制御部、３００…顔認識装置、３０１…入力部、３０２…制御部、３０３…カメラ、３０４…操作部、３０５…顔検出部、３０６…動作判定部、３０７…認識部、３０７ａ…設定記憶部、３０８…登録情報記憶部、３０９…出力部、３１０…ゲート制御部、４００…顔認識装置、４０１…入力部、４０２…制御部、４０３…カメラ、４０４…操作部、４０５…顔検出部、４０６…動作判定部、４０７…認識部、４０８…登録情報記憶部、４０９…再登録部、４１０…出力部、４１１…ゲート制御部。
【技術分野】
【０００１】
本発明は、カメラにより取得した撮影対象者の顔画像に基づいて撮影対象者の顔を認識する顔認識装置、顔認識方法、及び通行制御装置に関する。
【背景技術】
【０００２】
一般に、顔認識装置は、ビデオカメラなどのカメラを有している。人物がカメラの前に立ち止まってカメラのレンズに顔を向けた場合、顔認識装置は、この人物（対象人物）の顔画像をカメラにより撮影する。カメラは、撮影した画像を顔認識装置に入力する。
【０００３】
顔認識装置は、入力された画像から顔領域を検出する。顔認識装置は、顔領域の画像（顔画像）の特徴情報を抽出する。顔認識装置は、予め登録情報として、人物の顔の特徴情報を複数記憶している。顔認識装置は、顔画像から抽出した特徴情報と、登録情報とを照合し、一致する特徴情報が存在するか否か認証（顔認証）を行なう。これにより、顔認識装置は、人物を認識する。例えば、通行制御装置に用いられている顔認識装置は、一致する特徴情報が存在すると判定した場合、対象人物は通行が許可された人物であると判断する。
【０００４】
通常、顔認識装置は、複数枚人物の顔画像を撮影した上で特徴情報を抽出する。この為、人物がカメラの前に立ち止まってから撮影を行う場合、認証が完了するまでに時間がかかるという問題がある。そこで、歩行中の人物（歩行者）を撮像して画像を取得し、認証を行なう個人認証システムが提供されている（例えば特許文献１参照）。
【特許文献１】特開２００５−２７５８６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記したような個人認証システムは、人物の歩行している姿を撮影する為のスペースを確保する必要がある。この為に装置を設置する事ができる場所に制限が生じるという問題がある。
【０００６】
また、上記したような個人認証システムでは、顔の見え方（角度など）、歩き方、または、照明条件などの変動の為に、歩行者の顔画像を安定して得る事が難しい。この為、認証の制度が低下するという問題がある。
【０００７】
本発明の一形態における目的は、短い処理時間で、より高い精度で人物を認識する事ができる顔認識装置、顔認識方法、及び通行制御装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の一実施形態に係る顔認識装置は、予め登録情報を記憶する登録情報記憶手段と、人物の少なくとも顔を含む画像が連続して入力される画像入力手段と、前記画像入力手段から入力された連続した画像から前記人物の顔領域を画像毎に検出する顔検出手段と、前記顔検出手段により画像毎に検出した顔領域の位置及びサイズに基づいて前記人物の認証意思の有無を判定する動作判定手段と、前記顔検出手段により検出した顔領域の画像と前記登録情報記憶手段により記憶されている登録情報とに基づいて第１の照合方式により照合を行う第１の照合手段と、前記顔検出手段により検出した顔領域の画像と前記登録情報記憶手段により記憶されている登録情報とに基づいて第２の照合方式により照合を行う第２の照合手段と、前記第１の照合手段と前記第２の照合手段とのいずれかを選択する選択手段と、前記選択手段により選択した照合手段により、前記人物が予め登録された人物であるか否かを判定する認識手段と、を具備する。
【０００９】
また、本発明の一実施形態に係る顔認識方法は、予め登録情報を記憶する登録情報記憶手段と、人物の少なくとも顔を含む画像が連続して入力される画像入力手段と、を具備する顔認識装置に用いられる顔認識方法であって、前記画像入力手段から入力された連続した画像から前記人物の顔領域を画像毎に検出し、前記画像毎に検出した顔領域の位置及びサイズに基づいて前記人物の認証意思の有無を判定し、前記検出した複数枚の顔領域の画像と前記登録情報記憶手段により記憶されている登録情報とに基づいて照合を行う第１の照合方式と、前記検出した少なくとも１枚以上の顔領域の画像と前記登録情報記憶手段により記憶されている登録情報とに基づいて照合を行う第２の照合方式とのいずれかを選択し、前記選択した照合方式により、前記人物が予め登録された人物であるか否かを判定する。
【００１０】
また、本発明の一実施形態に係る通行制御装置は、通行が制限されるエリアに設けられたドアの開閉を制御する通行制御装置であって、通行を許可する人物の登録情報を予め記憶する登録情報記憶手段と、人物の少なくとも顔を含む画像が連続して入力される画像入力手段と、前記画像入力手段から入力された連続した画像から前記人物の顔領域を画像毎に検出する顔検出手段と、前記顔検出手段により画像毎に検出した顔領域の位置及びサイズに基づいて前記人物の認証意思の有無を判定する動作判定手段と、前記顔検出手段により検出した顔領域の画像と前記登録情報記憶手段により記憶されている登録情報とに基づいて第１の照合方式により照合を行う第１の照合手段と、前記顔検出手段により検出した顔領域の画像と前記登録情報記憶手段により記憶されている登録情報とに基づいて第２の照合方式により照合を行う第２の照合手段と、前記第１の照合手段と前記第２の照合手段とのいずれかを選択する選択手段と、前記選択手段により選択した照合手段により、前記人物が予め登録された人物であるか否かを判定する認識手段と、前記認識手段により前記人物が予め登録された人物であると判定した場合、通行が制限されるエリアに設けられたドアを開くように制御するゲート制御手段と、を具備する。
【発明の効果】
【００１１】
この発明の一形態によれば、短い処理時間で、より高い精度で人物を認識する事ができる顔認識装置、顔認識方法、及び通行制御装置を提供することができる。
【発明を実施するための最良の形態】
【００１２】
以下、図を参照しながら、本発明の第１の実施形態に係る顔認識装置、顔認識方法、及び通行制御装置について詳細に説明する。
図１は、本発明の第１の実施形態に係る顔認識装置１００の構成例を概略的に説明するためのブロック図である。顔認識装置１００は、例えば、通行を許可する人物を制限する通行制御装置などに組み込まれていると仮定する。顔認識装置１００は、特定の人物のみが通行を許可される場所、例えば、ビル及び企業の建物などのエントランス、若しくは、娯楽施設及び交通機関などのゲートなどに設置されると想定される。
【００１３】
なお、顔認識装置１００は、取得した顔画像から得た特徴情報と予め登録情報として登録されている特徴情報とを照合し、特徴情報の一致する人物が少なくとも１名存在するか否かを判定する構成であると仮定する。
【００１４】
図１に示すように、顔認識装置１００は、入力部１０１と制御部１０２とを備えている。入力部１０１は、外部から情報を取得するためのユニットである。入力部１０１は、カメラ１０３及び操作部１０４を備えている。
【００１５】
カメラ１０３は、撮像手段である。カメラ１０３は、例えば、ｉｎｄｕｓｔｒｉａｌ ｔｅｌｅｖｉｓｉｏｎ（IＴＶ）カメラなどにより構成される。カメラ１０３は、所定範囲の動画像（複数枚の連続画像）を撮像する。これにより、カメラ１０３は、歩行者の顔を含む画像を撮像する。カメラ１０３は、撮像した画像を図示しないＡ／Ｄ変換器によりディジタル変換し、逐次制御部１０２に送信する。なお、カメラの代わりにスキャナにより写真をスキャンし、登録情報の追加、照合、及び検索が行われるような構成であってもよい。
【００１６】
操作部１０４は、操作者（歩行者を含む）に操作を入力させる為の操作手段である。操作部１０４は、例えば、入力キー、若しくはカードリーダなどにより構成される。操作部１０４は、入力キーにより入力された入力情報、若しくは、カードリーダにより歩行者の所持するカード（例えば、ＩＣカードなど）から読み取った情報を制御部１０２に送信する。
【００１７】
これにより、顔認識装置１００は、顔認証のみで人物の認証を行なう１：Ｎ照合と、顔認証と識別情報の照合により人物の認証を行なう１：１及び１：ｎ照合とのいずれかにより人物の認証を行なう事ができる。１：Ｎ照合は、登録情報と一致する顔が、複数人数（Ｎ人）のうちの中に存在するか否か認証を行なう方法である。
【００１８】
１：１及び１：ｎ照合は、１名、またはＮ人より少ない少人数（ｎ人）の認証を行なう為の方法である。１：１及び１：ｎ照合が用いられる場合、顔認識装置１００は、顔認証を行なうと共に、入力キー、若しくはカードリーダにより入力される識別情報による認証を行う。
【００１９】
またさらに、入力部１０１は、歩行者に対して、顔認証の状況等を逐次表示する表示部を備えていてもよい。また、操作部１０４と表示部が一体に構成されてもよい。この場合、操作部及び表示部はタッチパネルとして機能する。
【００２０】
制御部１０２は、入力部１０１により入力された情報に基づいて種々の処理を行うユニットである。制御部１０２は、顔検出部１０５、動作判定部１０６、認識部１０７、登録情報記憶部１０８、出力部１０９、及びゲート制御部１１０を備えている。また、さらに、制御部１０２は、インターフェース１０２Ａ及びインターフェース１０２Ｂを備えている。
【００２１】
インターフェース１０２Ａ及びインターフェース１０２Ｂは、制御部１０２の外部からの信号を受信する。インターフェース１０２Ａは、カメラ１０３に接続されている。インターフェース１０２Ａには人物の少なくとも顔を含む画像がカメラ１０３から連続して入力される。即ち、インターフェース１０２Ａは、画像入力手段として機能する。
【００２２】
インターフェース１０２Ｂは、操作部１０４に接続されている。インターフェース１０２Ｂには操作者による操作信号が操作部１０４から入力される。即ち、インターフェース１０２Ｂは、操作入力手段として機能する。
【００２３】
顔検出部１０５は、顔検出手段として機能する。顔検出部１０５は、カメラ１０３により撮像された入力画像において人物の顔が写っている領域（顔領域）を検出する。即ち、顔検出部１０５は、カメラ１０３の撮影範囲内を移動する人物（歩行者）の顔の画像（顔画像）及び位置を入力画像に基づいて検出する。
【００２４】
顔検出部１０５は、たとえば、入力画像において、あらかじめ用意されたテンプレートを移動させながら相関値を求めることにより、顔領域を検出する。ここでは、顔検出部１０５は、最も高い相関値が算出された位置を顔領域として検出する。
【００２５】
顔領域を検出する方法は、種々の方法がある。本実施形態に係る顔認識装置１００は、例えば、固有空間法、または部分空間法などの他の顔領域を検出する為の方法を用いても実現することが出来る。
【００２６】
また、顔認識装置１００は、検出された顔領域から、例えば、目、鼻、及び口などの顔の部位の位置を検出することもできる。具体的には、たとえば、文献［１］（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ２１７０−２１７７（１９９７年）、文献［２］（湯浅真由美、中島朗子：「高精度顔特徴点検出に基づくデジタルメイクシステム」第１０回画像センシングシンポジウム予稿集，ｐｐ２１９−２２４（２００４）などに開示されている方法により実現可能である。
【００２７】
なお、本実施形態では、顔画像を用いて認証を行なう構成を例に挙げて説明する。しかし、本発明を実現する為の構成はこれに限定されない。例えば、虹彩、網膜、及び目の画像を用いて認証を行なう構成であってもよい。この場合、顔認識装置１００は、画像中の目の領域を検出し、カメラをズームし、目の画像を拡大して取得することが出来る。
【００２８】
いずれの場合でも、顔認識装置１００は、二次元に画素が複数配列された画像として扱うことができる情報を取得する。
【００２９】
１枚の入力画像から１つの顔を抽出する場合、顔認識装置１００は、画像全体に対してテンプレートとの相関値を求め、最大となる位置及びサイズを顔領域として検出する。
【００３０】
１枚の入力画像から複数の顔を抽出する場合、顔認識装置１００は、画像全体に対する相関値の局所最大値を求め、１枚の画像内での重なりを考慮して顔の候補位置を絞り込む。さらに、顔認識装置１００は、連続して入力された過去の画像との関係性（時間的な推移）も考慮して複数の顔領域を同時に検出する。
【００３１】
なお、本実施の形態では、顔認識装置１００は、人物の顔領域の検出を行なう事を例として説明しているがこれに限定されない。例えば、顔認識装置１００は、人物領域の検出を行なう事もできる。例えば、文献［３］（松日楽信人、小川秀樹、吉見卓：「人と共存する生活支援ロボット」東芝レビューＶｏｌ．６０ Ｎｏ．７，ｐｐ１１２−１１５（２００５）に開示されている技術を利用することで、顔認識装置１００は、人物領域の検出を行なう事が可能になる。
【００３２】
なお、カメラ１０３は、画像を連続して取得し、１フレームずつ制御部１０２に送信する。このため、顔検出部１０５は、画像が入力される毎に逐次顔領域を検出する。
【００３３】
動作判定部１０６は、動作判定手段として機能する。動作判定部１０６は、顔検出部１０５により検出された顔領域の画像（顔画像）に基づいて、人物の動作を判断する。動作判定部１０６は、顔領域の位置及びサイズから、人物が認証を行なおうとしているか否か、即ち、認証意思（照合意思）が有るか否かを判断する。
【００３４】
動作判定部１０６は、顔検出部１０５により検出された顔領域の座標を管理する。動作判定部１０６は、顔検出部１０５により顔領域が検出された場合、１つ前のフレームとで顔領域が検出された座標及びサイズを比較する。比較の結果に基づいて、動作判定部１０６は、２つのフレームにおいてそれぞれ検出された顔領域が同じ人物のものであるか否かを判定する。
【００３５】
同一人物であると判定した場合、動作判定部１０６は、同一人物であるとして二つの顔画像を対応付ける。即ち、動作判定部１０６は、連続して入力される画像に写り込んでいる同一人物を追跡する。
【００３６】
なお、この場合、動作判定部１０６は、異なる人物を同一人物であると対応付けない為に、１つ前のフレームとで顔領域の画像のパターンのマッチングを行う。マッチングの結果で、予め定める閾値以上の差がある場合、動作判定部１０６は、前フレームと現フレームとで検出された顔領域の人物は異なる人物であると判定するように構成されていてもよい。
【００３７】
上記したように、同一人物の顔領域を追跡することにより、歩行者の動作を判定することが出来る。例えば、顔領域のサイズが大きくなる場合、顔認識装置１００は、歩行者が本装置に近づいていると判断することが出来る。また、複数のフレームに写り込んでいる歩行者の顔領域のうちの同一人物であるものを対応付けることにより、顔認証に用いる情報量を増やすことが出来る。これにより、より正確に顔認証を行なう事ができる。
【００３８】
また、例えば図２に示すように、撮像した入力画像１０中の顔領域のサイズと、予め定める枠１１のサイズとが同程度になった場合、動作判定部１０６は、歩行者が認証を試みている（照合意思がある）と判定することができる。
【００３９】
枠１１のサイズは、本装置のカメラ１０３の正面に人物が立っている場合の顔領域のサイズが想定されて設定される。即ち、撮像した入力画像１０中の顔領域のサイズと、予め定める枠１１のサイズとが同程度になった場合、動作判定部１０６は、歩行者が本装置に近づき、カメラ１０３に顔を見せている状態であると判定する。また、前フレームから現フレームにかけての顔領域の座標の変化が予め定める閾値未満である場合、動作判定部１０６は、人物が立ち止まったと判定する。即ち、動作判定部１０６は、人物が立ち止まったと判定した場合、照合意思があると判定する。
【００４０】
また、動作判定部１０６は、操作部１０４により操作が入力された場合、操作者（歩行者）に照合意思があると判断する。動作判定部１０６は、照合意思があると判定した場合に照合結果を出力するように、照合結果を出力するタイミングを制御する。
【００４１】
認識部１０７は、顔検出部１０５により検出された顔画像に基づいて特徴情報（顔特徴）を抽出する。登録情報記憶部１０８は、人物の顔の特徴情報を登録情報として記憶している。登録情報記憶部１０８は、登録情報記憶手段として機能する。即ち、登録情報記憶部１０８は、本装置において認識の対象となる人物の顔画像から抽出された特徴情報を予め記憶している。
【００４２】
認識部１０７は、抽出した特徴情報と、登録情報記憶部１０８に記憶されている特徴情報とで照合を行う。即ち、認識部１０７は、顔画像から抽出した特徴情報と一致若しくは近似する特徴情報が登録情報記憶部１０８に記憶されているか否か判定する。この場合、認識部１０７は、認識手段と機能する。
【００４３】
認識部１０７は、複数の照合方式を備えている。認識部１０７は、認証に用いることができる顔画像の枚数に基づいて、照合方式を適宜選択する。即ち、認識部１０７は、動作判定部１０６により照合意思を確認するまでに取得した顔画像の枚数に基づいて、照合方式を適宜選択する。
【００４４】
例えば、認識部１０７は、第１の照合方式と、第２の照合方式とを備えている。第１の照合方式が選択される場合、認識部１０７は、複数枚の顔画像を統合し、１つの特徴情報抽出し、抽出した特徴情報により照合を行う。即ち、この場合、認識部１０７は、第１の照合手段として機能する。
【００４５】
第２の照合方式が選択される場合、認識部１０７は、複数枚の顔画像毎に特徴情報を抽出し、抽出した各特徴情報毎に照合を行う。即ち、この場合、認識部１０７は、第２の照合手段として機能する。
【００４６】
第１の照合方式は、複数の画像を統合して特徴情報を抽出する為、第２の照合方式に比べて精度が高い。しかし、第１の照合方式を行なう為に、顔画像が所定枚数以上必要である。
【００４７】
第１の照合方式を行なう為に必要な顔画像の所定枚数は、任意に設定することができる。しかし、認識部１０７による照合の精度は、顔画像の枚数に比例して高くなる。例えば、特徴情報を抽出するために用いる顔画像が少ない場合、人物の顔の動きなどの変動に対応することが出来ない可能性が有る。この為、要望される照合の精度に応じて必要な顔画像の枚数が制限される。
【００４８】
そこで、本実施形態に係る顔認識装置１００の認識部１０７は、処理時間に余裕がある場合、第１の照合方式を利用し、照合の精度を優先する。また、認識部１０７は、処理時間に余裕がない場合、第２の照合方式を利用し、照合の処理時間を優先する。
【００４９】
認識部１０７は、照合方式の選択を行う選択手段として機能する。即ち、認識部１０７は、認証意思を確認するまでに所定枚数以上の顔画像を取得できた場合に第１の照合方式を選択する。また、認識部１０７は、認証意思を確認するまでに所定枚数以上の顔画像を取得できなかった場合に第２の照合方式を選択する。
【００５０】
即ち、顔認識装置１００は、歩行者の動作に合わせて適宜照合方式を選択することができる。この為、顔認識装置１００は、短い処理時間で、且つ、高い精度で照合を行うことが出来る。
【００５１】
第１の照合方式、及び第２の照合方式について図３乃至図５を参照し詳細に説明する。
【００５２】
図３は、第１の照合方式について説明するための説明図である。
【００５３】
上記した第１の照合方式は、たとえば、文献［４］（福井和広、山口修、前田賢一：「動画像を用いた顔認識システム」電子情報通信学会研究報告ＰＲＭＵ、ｖｏｌ９７、Ｎｏ．１１３、ｐｐ１７−２４（１９９７）、文献［５］（前田賢一、渡辺貞一：「局所的構造を導入したパターン・マッチング法」電子情報通信学会論文誌（Ｄ）、ｖｏｌ．Ｊ６８−Ｄ、Ｎｏ．３、ｐｐ３４５―３５２（１９８５）などに開示されている相互部分空間法を用いることにより実現可能である。
【００５４】
顔検出部１０５は、顔の部品の位置を検出し、検出した顔の部品の位置に基づいて、顔領域の画像（顔画像）を切り出す。即ち、顔検出部１０５は、入力画像から、顔領域（ｍピクセル×ｎピクセルの領域の画像）を切り出す。認識部１０７は、顔検出部１０５により切り出された顔領域の画像の濃淡情報を特徴情報として抽出する。
【００５５】
ここでは、ｍピクセル×ｎピクセルの領域の画像の濃淡の値がそのまま濃淡情報として用いられる。即ち、ｍ×ｎピクセルの次元の情報を特徴ベクトルとして用いる。認識部１０７は、単純類似度法により複数の画像の類似度を算出する。即ち、認識部１０７は、ベクトルとベクトルの長さをそれぞれ「１」とするように単純類似度法により正規化を行なう。認識部１０７は、内積を計算することにより、複数の特徴ベクトルの間の類似性を示す類似度を算出する。カメラ１０３により取得した画像が一枚である場合、上記した処理により画像の特徴を抽出することができる。
【００５６】
また、認識結果を出力する為に、複数の連続した画像により構成される動画像を用いることにより、顔認識装置１００は、より精度の高い認識処理を行うことができる。この為、本実施形態では、動画像を用いた認識処理を例に挙げて説明を行う。
【００５７】
動画像を用いた認識処理を行う場合、カメラ１０３は、撮影領域を連続して撮影する。顔検出部１０５は、カメラ１０３により撮影された連続の複数の画像から、顔領域の画像（ｍ×ｎピクセルの画像）をそれぞれ切り出す。認識部１０７は、切り出した複数の顔領域の画像の特徴ベクトルを各画像毎に取得する。認識部１０７は、取得した画像毎の特徴ベクトルから相関行列を求める。
【００５８】
認識部１０７は、特徴ベクトルの相関行列から、例えば、Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ展開（ＫＬ展開）等により正規直交ベクトルを求める。これにより、認識部１０７は、連続した画像おいて、顔の特徴を示す部分空間を算出し、特定することが出来る。
【００５９】
部分空間を算出する場合、認識部１０７は、特徴ベクトルの相関行列（または、共分散行列）を求める。認識部１０７は、特徴ベクトルの相関行列をＫＬ展開することにより正規直交ベクトル（固有ベクトル）を求める。これにより、認識部１０７は、部分空間を算出する。
【００６０】
認識部１０７は、固有値に対応する固有ベクトルを、固有値の大きな順にｋ個選ぶ。認識部１０７は、ｋ個選んだ固有ベクトルの集合を用いて、部分空間を表現する。
【００６１】
本実施の形態では、認識部１０７は、特徴ベクトルに基づき、相関行列「Ｃｄ＝ΦｄΔｄΦｄＴ」を求める。認識部１０７は、相関行列「Ｃｄ＝ΦｄΔｄΦｄＴ」と対角化して、固有ベクトルの行列Φｄを求める。この情報、即ち、行列Φｄは、認識対象である人物の顔の特徴を示す部分空間である。
【００６２】
登録情報記憶部１０８は、上記の方法により計算された部分空間を登録情報として記憶する。なお、登録情報記憶部１０８が記憶している特徴情報は、例えばｍ×ｎピクセルの特徴ベクトルである。しかし、登録情報記憶部１０８が記憶している特徴情報は、特徴の抽出が行われる前の状態の顔画像であってもよい。また、登録情報記憶部１０８が記憶している特徴情報は、部分空間を示す情報、若しくは、ＫＬ展開が行われる前の状態の相関行列であってもよい。
【００６３】
認識部１０７は、算出した部分空間と、登録情報記憶部１０８に記憶されている１つまたは複数の特徴情報（ここでは部分空間を示す情報）とで類似度を算出する。これにより、認識部１０７は、カメラ１０３により撮影した画像中に、予め登録された人物が写っているか否か判定する。
【００６４】
複数の部分空間の間の類似度を算出する為の方法は、種々の方法がある。上述の方法では、予め記憶されている登録情報の中の認識データと、入力されるデータとが部分空間として表現される。即ち、相互部分空間法は、予め登録情報記憶部１０８に記憶されている顔特徴情報と、カメラ１０３により撮影された画像に基づいて作成された特徴情報とを部分空間として特定する。この方法では、この２つの部分空間により形成される「角度」が類似度として算出される。
【００６５】
ここでは、入力される画像に基づいて算出された部分空間を入力部分空間と称して説明する。認識部１０７は、入力データ列（カメラ１０３により撮影された画像）に基づいて相関行列「Ｃｉｎ＝ΦｉｎΔｉｎΦｉｎＴ」を求める。
【００６６】
認識部１０７は、相関行列「Ｃｉｎ＝ΦｉｎΔｉｎΦｉｎＴ」と対角化を行い、固有ベクトルΦｉｎを求める。認識部１０７は、Φｉｎにより特定される部分空間と、Φｄにより特定される部分空間とで類似度を算出する。即ち、認識部１０７は、２つの部分空間の間の類似度（０．０〜１．０）を求める。
【００６７】
入力画像内に複数の顔領域が存在する場合、認識部１０７は、各顔領域に対して順番に認識の処理を行なう。すなわち、認識部１０７は、登録情報記憶部１０８に保存されている特徴情報（登録情報）と、顔領域の画像とで類似度を総当りで計算する。これにより、認識部１０７は、入力画像内の全ての人物に対して認識の処理の結果を得ることができる。たとえば、Ｘ人の人物がＹ人分の辞書を記憶している本装置に向かって歩いてきた場合、認識部１０７は、認識の処理、即ち、類似度の計算をＸ×Ｙ回おこなう。これにより、認識部１０７は、Ｘ人のうちの全員に対して認識の処理の結果を出力できる。
【００６８】
登録情報記憶部１０８に保存されている登録情報と一致する画像が入力された複数の画像の中に見つからなかった場合、即ち、認識部１０７による認識の結果が出力されなかった場合、認識部１０７は、次にカメラ１０３により撮影される画像（次のフレームの画像）に基づいて再び認識の処理を行う。
【００６９】
この場合、認識部１０７は、部分空間に入力される相関行列、即ち、１つのフレームに関する相関行列を、過去の複数のフレームに関する相関行列の和に追加する。認識部１０７は、再び、固有ベクトルの計算を行う。認識部１０７は、再び、部分空間の作成を行なう。これにより、認識部１０７は、入力画像に関する部分空間の更新を行う。
【００７０】
歩行する人物の顔画像を連続して撮影して照合を行なう場合、認識部１０７は、逐次部分空間の更新を行う。即ち、認識部１０７は、画像が入力される度に、認識の処理を行う。これにより、照合の精度が、撮影した画像の枚数に応じて徐々に高まる。
【００７１】
図４及び図５は、第２の照合方式について説明するための説明図である。
【００７２】
上記した第２の照合方式は、たとえば、文献［６］（エルッキ・オヤ著、小川英光、佐藤誠訳、「パターン認識と部分空間法」、産業図書、１９８６年）、及び文献［７］（東芝（小坂谷達夫）：「画像認識装置、方法およびプログラム」特許公報 特開２００７−４７６７）などに開示されている方法を用いることにより実現可能である。
【００７３】
文献６には、部分空間法により予め複数の顔画像から作成した登録情報としての部分空間への射影により人物を認識する方法が記載されている。図４に示すように、文献６に記載されている方法を用いる場合、認識部１０７は、１枚の画像を用いて照合を行なう事ができる。
【００７４】
文献７には、１枚の画像に対してモデルを利用して、例えば、顔の向き及び状態などを意図的に変化させた画像（摂動画像）を作成する方法が記載されている。この場合、図５に示すように、顔の向き及び状態などが異なる複数の摂動画像を用いて、上記の第１の照合方式により照合を行うことが出来る。
【００７５】
認識部１０７は、摂動を行う場合、顔検出部１０５により検出した顔の各部の座標を任意の方向に摂動させることにより摂動画像を生成する。なお、摂動させる量はどのような範囲であってもよい。また、摂動させる顔の部分（顔の特徴点）の種類は、どの部分であってもよい。また、摂動させる顔の部分（顔の特徴点）の種類は、複数種類であってもよい。
【００７６】
登録情報記憶部１０８は、個人の識別情報をキーとして人物の顔の特徴情報を登録情報として記憶している。即ち、登録情報記憶部１０８は、識別情報と顔特徴情報とを対応付けて記憶する。なお、登録情報記憶部１０８は、１つの識別情報と複数の顔特徴情報を対応付けて記憶してもよい。撮影した画像に基づいて人物の認識を行う場合、顔認識装置１００は、複数の顔特徴情報を認識に利用するようにしてもよい。また、登録情報記憶部１０８は、顔認識装置１００の外部に設けられていてもよい。
【００７７】
出力部１０９は、たとえば、入力部１０１からの入力画像、顔検出部１０５で検出した顔領域の画像若しくは特徴情報を出力する。また、出力部１０９は、認識部１０７による認識結果を外部機器に出力する。出力部１０９は、例えば、ゲート制御部１１０に対して認識結果を出力する。
【００７８】
ゲート制御部１１０は、ゲート制御手段として機能する。ゲート制御部１１０は、図１に示す顔認識装置１００の近傍に設置されているドア１１１の制御を行う。例えば、認識結果ＯＫである場合に出力部１０９から出力される通行可能信号を受信した場合、ゲート制御部１１０は、ドア１１１を開放する。これにより、歩行者は、ドア１１１を通過できる。なお、ゲート制御部１１０は、通行可能信号が検知されなくなった場合、ドア１１１を閉鎖する。
【００７９】
また、入力部１０１若しくは制御部１０２が表示部を備えている場合、出力部１０９は、認識部１０７による認識結果を表示部に出力する。表示部は、認識結果を受信した場合、受信した認識結果を表示する。これにより、顔認識装置１００は、歩行者に対して認識結果を報知することが出来る。に応じて外部機器への制御信号（ゲート装置へのゲート制御信号等）を出力する。また、表示部は、例えば監視用モニタとして外部に設けられていてもよい。
【００８０】
例えば、出力部１０９は、登録情報記憶部１０８により記憶されている複数の特徴情報のうち、入力された顔画像に近いものを表示するように表示画面を作成し、出力する。また、出力部１０９は、照合の結果、類似度が予め定められる閾値以上である場合に警報を鳴らすように外部機器に信号を出力する。またさらに、出力部１０９は、照合の結果、類似度が予め定められる閾値以上である場合にゲート制御部１１０に対して通行可能信号を出力する。
【００８１】
制御部１０２は、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、及び、不揮発性メモリなどの構成を備えている。ＣＰＵは、制御部１０２により行われる制御を司るものである。ＣＰＵは、ＲＯＭあるいは不揮発性メモリに記憶されている制御プログラムや制御データに基づいて動作することにより、種々の処理手段として機能する。即ち、上記した顔検出部１０５、動作判定部１０６、及び認識部１０７により行われる処理は、ＣＰＵがプログラムを実行することにより実現される。
【００８２】
ＲＡＭは、ＣＰＵのワーキングメモリとして機能する揮発性のメモリである。即ち、ＲＡＭは、ＣＰＵが処理中のデータなどを一時保管する記憶手段として機能する。また、ＲＡＭは、入力部から受信したデータを一時保管する。ＲＯＭは、予め制御用のプログラムや制御データなどが記憶されている不揮発性のメモリである。
【００８３】
不揮発性メモリは、例えば、ＥＥＰＲＯＭあるいはＨＤＤなどの、データの書き込み及び書換えが可能な記憶媒体により構成される。不揮発性メモリには、当該顔認識装置１００の運用用途に応じて制御プログラムや種々のデータが書込まれる。
【００８４】
図６は、図１に示す顔認識装置１００における処理を説明するためのフローチャートである。
【００８５】
カメラ１０３は、撮影領域の画像を撮像し、取得する（ステップＳ１１）。カメラ１０３は、取得した画像を制御部１０２の顔検出部１０５に入力する。顔検出部１０５は、カメラ１０３から入力された画像（入力画像）において人物の顔が写っている領域（顔領域）を検出する（ステップＳ１２）。
動作判定部１０６は、顔検出部１０５により顔領域が検出された場合、１つ前のフレームとで顔領域が検出された座標及びサイズを比較する（ステップＳ１３）。
【００８６】
動作判定部１０６は、比較の結果に基づいて、２つのフレームにおいてそれぞれ検出された顔領域が同じ人物のものであるか否かを判定する。この為に、動作判定部１０６は、１つ前のフレームとで顔領域が検出された座標及びサイズの差があらかじめ定める閾値以内であるか否か判定する（ステップＳ１４）。
【００８７】
差が閾値以内であると判定した場合（ステップＳ１４、ＹＥＳ）、動作判定部１０６は、前フレームと現フレームとで検出された顔領域の人物は同一人物であると判定する（ステップＳ１５）。また、差が閾値を越えていると判定した場合（ステップＳ１４、ＮＯ）、動作判定部１０６は、前フレームと現フレームとで検出された顔領域の人物は異なる人物であると判定する（ステップＳ１６）。
【００８８】
動作判定部１０６は、人物の顔領域が所定位置にあるか否か判定する（ステップＳ１７）。即ち、動作判定部１０６は、図２に示すように、カメラ１０３により撮像した入力画像１０中の顔領域のサイズと、予め定める枠１１のサイズとが同程度になったか否か判定する。
【００８９】
人物の顔領域が所定位置にないと判定した場合（ステップＳ１７、ＮＯ）、動作判定部１０６は、操作部１０４により識別情報が入力されたか否か判定する（ステップＳ１８）。識別情報の入力が確認されない場合（ステップＳ１８、ＮＯ）、動作判定部１０６は、照合意思が確認されない（照合意思未確認）と判定する（ステップＳ１９）。顔認識装置１００は、照合意思未確認と判定した場合、ステップＳ１１に移行し、次のフレームの画像を取得する。
【００９０】
ステップＳ１７において、人物の顔領域が所定位置に存在すると判定した場合（ステップＳ１７、ＹＥＳ）、若しくは、ステップＳ１８において、識別情報の入力を確認した場合（ステップＳ１８、ＹＥＳ）、動作判定部１０６は、照合意思があると判定する（ステップＳ２０）。
【００９１】
認識部１０７は、動作判定部１０６により照合意思を確認するまでに、認証する人物の顔画像が所定枚数以上撮影されたか否か判定する（ステップＳ２１）。認識部１０７は、照合意思を確認するまでに所定枚数以上の顔画像を取得できたと判定した場合（ステップＳ２１、ＹＥＳ）、第１の照合方式を選択する（ステップＳ２２）。また、認識部１０７は、照合意思を確認するまでに所定枚数以上の顔画像を取得できなかったと判定した場合（ステップＳ２１、ＮＯ）、第２の照合方式を選択する（ステップＳ２３）。
【００９２】
認識部１０７は、選択した照合方式により、人物の認証を行なう（ステップＳ２４）。即ち、認識部１０７は、顔検出部１０５により検出された顔画像に基づいて特徴情報を抽出する。認識部１０７は、抽出した特徴情報と、登録情報記憶部１０８に記憶されている特徴情報とで照合を行う。即ち、認識部１０７は、顔画像から抽出した特徴情報と一致若しくは近似する特徴情報が登録情報記憶部１０８に記憶されているか否か判定する。
【００９３】
認識部１０７による認証の結果、ＯＫと判定した場合（ステップＳ２４、ＹＥＳ）、出力部１０９は、通行可能信号を外部機器、若しくはゲート制御部１１０に出力する（ステップＳ２５）。
【００９４】
また、認識部１０７による認証の結果、ＮＧと判定した場合（ステップＳ２４、ＮＯ）、出力部１０９は、照合が失敗した旨を外部機器、若しくは表示部などに出力する（ステップＳ２６）。これにより、顔認識装置１００は、照合がＮＧであることを歩行者に対して報知する。
【００９５】
上記したように、本実施形態に係る顔認識装置は、複数の照合方式を備えている。顔認識装置は、連続して画像を撮像し、人物の顔領域を逐次検出する。顔認識装置は、連続的に検出される顔領域の位置、及び座標に基づいて、人物の動作を判定する。顔認識装置は、判定した人物の動作に基づいて、上述の複数の縫合方式のうちの１つの照合方式を選択し、認証を行なう。これにより、顔認識装置は、人物の動作に併せて最適な照合方式を選択することが出来る。
【００９６】
この結果、短い処理時間で、より高い精度で人物を認識する事ができる顔認識装置、顔認識方法、及び通行制御装置を提供することができる。
【００９７】
なお、本実施形態では、第１の照合方式と第２の照合方式との２つの内の１つを選択する構成として説明したが、これに限定されない。例えば、３つ以上の照合方式の中から、撮影枚数、及び処理時間などに基づいて段階的に切り替える構成であってもよい。
【００９８】
また、本実施形態では、顔認識装置１００が入力部１０１を備えているとして説明したが、これに限定されない。入力部１０１は、顔認識装置１００の外部に設置されていてもよい。即ち、人物の顔画像と、人物による操作に基づく操作信号とを取得する構成であれば、如何なるものであってもよい。
【００９９】
カメラ１０３は、撮像手段である。カメラ１０３は、例えば、ｉｎｄｕｓｔｒｉａｌ ｔｅｌｅｖｉｓｉｏｎ（IＴＶ）カメラなどにより構成される。カメラ１０３は、所定範囲の動画像（複数枚の連続画像）を撮像する。これにより、カメラ１０３は、歩行者の顔を含む画像を撮像する。カメラ１０３は、撮像した画像を図示しないＡ／Ｄ変換器によりディジタル変換し、逐次制御部１０２に送信する。なお、カメラの代わりにスキャナにより写真をスキャンし、登録情報の追加、照合、及び検索が行われるような構成であってもよい。
【０１００】
操作部１０４は、操作者（歩行者を含む）に操作を入力させる為の操作手段である。操作部１０４は、例えば、入力キー、若しくはカードリーダなどにより構成される。操作部１０４は、入力キーにより入力された入力情報、若しくは、カードリーダにより歩行者の所持するカード（例えば、ＩＣカードなど）から読み取った情報を制御部１０２に送信する。
【０１０１】
これにより、顔認識装置１００は、顔認証のみで人物の認証を行なう１：Ｎ照合と、顔認証と識別情報の照合により人物の認証を行なう１：１及び１：ｎ照合とのいずれかにより人物の認証を行なう事ができる。１：Ｎ照合は、登録情報と一致する顔が、複数人数（Ｎ人）のうちの中に存在するか否か認証を行なう方法である。
【０１０２】
１：１及び１：ｎ照合は、１名、またはＮ人より少ない少人数（ｎ人）の認証を行なう為の方法である。１：１及び１：ｎ照合が用いられる場合、顔認識装置１００は、顔認証を行なうと共に、入力キー、若しくはカードリーダにより入力される識別情報による認証を行う。
【０１０３】
またさらに、入力部１０１は、歩行者に対して、顔認証の状況等を逐次表示する表示部を備えていてもよい。また、操作部１０４と表示部が一体に構成されてもよい。この場合、操作部及び表示部はタッチパネルとして機能する。
【０１０４】
制御部１０２は、入力部１０１により入力された情報に基づいて種々の処理を行うユニットである。制御部１０２は、顔検出部１０５、動作判定部１０６、認識部１０７、登録情報記憶部１０８、出力部１０９、及びゲート制御部１１０を備えている。また、さらに、制御部１０２は、インターフェース１０２Ａ及びインターフェース１０２Ｂを備えている。
【０１０５】
インターフェース１０２Ａ及びインターフェース１０２Ｂは、制御部１０２の外部からの信号を受信する。インターフェース１０２Ａは、カメラ１０３に接続されている。インターフェース１０２Ａには人物の少なくとも顔を含む画像がカメラ１０３から連続して入力される。即ち、インターフェース１０２Ａは、画像入力手段として機能する。
【０１０６】
インターフェース１０２Ｂは、操作部１０４に接続されている。インターフェース１０２Ｂには操作者による操作信号が操作部１０４から入力される。即ち、インターフェース１０２Ｂは、操作入力手段として機能する。
【０１０７】
次に、本発明の第２の実施形態に係る顔認識装置、顔認識方法、及び通行制御装置について、図を参照しながら詳細に説明する。
図７は、本発明の第２の実施形態に係る顔認識装置２００の構成例を概略的に説明するためのブロック図である。顔認識装置２００は、入力部２０１、制御部２０２、入力インターフェース２０２Ａ、入力インターフェース２０２Ｂ、カメラ２０３、操作部２０４、顔検出部２０５、動作判定部２０６、認識部２０７、登録情報記憶部２０８、出力部２０９、及びゲート制御部２１０などを備えている。
【０１０８】
なお、入力部２０１、入力インターフェース２０２Ａ、入力インターフェース２０２Ｂ、カメラ２０３、操作部２０４、顔検出部２０５、動作判定部２０６、登録情報記憶部２０８、出力部２０９、及びゲート制御部２１０の構成は、第１の実施例における入力部１０１、入力インターフェース１０２Ａ、入力インターフェース１０２Ｂ、カメラ１０３、操作部１０４、顔検出部１０５、動作判定部１０６、登録情報記憶部１０８、出力部１０９、及びゲート制御部１１０と同様の構成である為、その詳細な説明を省略する。
【０１０９】
第２の実施形態に係る顔認識装置２００の認識部２０７は、カメラ２０３により連続的に取得する画像に基づいて、逐次照合を行う。
【０１１０】
即ち、認識部２０７は、動作判定部２０６により照合意思が確認されていない場合でも、カメラ２０３により取得した画像に基づいて、照合を行う。この場合、認識部２０７は、第２の照合方式を用いて照合を行う。
【０１１１】
しかし、第２の照合方式は、第１の照合方式に比べて精度が低い。この為、認識部２０７は、類似度を比較する場合に用いる閾値を通常より高い値（精査閾値）に設定した上で第２の照合方式により照合を行う。精査閾値は、通常の照合に用いられる閾値より値が高い閾値である。即ち、照合ＯＫと判定するために、よりより高い類似度が求められる。精査閾値は、予め制御部１０２が有する図示しないＲＯＭまたは不揮発性メモリなどに記憶される。
【０１１２】
図８は、図７に示す顔認識装置２００における処理を説明するためのフローチャートである。なお、ステップＳ３１乃至ステップＳ４６は、図６に示すステップＳ１１乃至ステップＳ２６と同様の処理であるので、詳細な説明を省略する。
【０１１３】
動作判定部２０６により、人物の顔領域が所定位置にないと判定し、且つ、操作部２０４による識別情報の入力が確認されない場合、動作判定部２０６は、照合意思が確認されない（照合意思未確認）と判定する（ステップＳ４６）。
【０１１４】
顔認識装置２００は、照合意思未確認と判定した場合、認識部２０７により現フレームの画像に基づいて照合処理を行う。即ち、認識部２０７は、照合処理に用いる照合方式として第２の照合方式を選択する（ステップＳ４７）。この場合、認識部２０７は、誤処理を起こさない為の通常より高めの閾値を設定する。
【０１１５】
認識部２０７は、選択した第２の照合方式により、人物の認証を行なう（ステップＳ４８）。即ち、認識部２０７は、顔検出部２０５により検出された顔画像に基づいて特徴情報を抽出する。認識部２０７は、抽出した特徴情報と、登録情報記憶部２０８に記憶されている特徴情報とで照合を行う。即ち、認識部２０７は、顔画像から抽出した特徴情報と一致若しくは近似する特徴情報が登録情報記憶部２０８に記憶されているか否か判定する。
【０１１６】
認識部２０７による認証の結果、ＯＫと判定した場合（ステップＳ４８、ＹＥＳ）、出力部２０９は、通行可能信号を外部機器、若しくはゲート制御部２１０に出力する（ステップＳ４３）。
【０１１７】
また、認識部２０７による認証の結果、ＮＧと判定した場合（ステップＳ４８、ＮＯ）、顔認識装置２００は、ステップＳ３１に移行し、次のフレームの画像を取得する。
【０１１８】
上記したように、第２の実施形態に係る顔認識装置２００によると、動作判定部２０６により照合意思を確認するまでに照合ＯＫと判定した場合、歩行者がカメラ２０３の前で立ち止まる必要がない。この為、顔認識装置２００は、動作判定部２０６により照合意思を確認してから行う照合に比べて、早く照合結果を出力することができる。
【０１１９】
また、動作判定部２０６により照合意思を確認するまでに照合ＯＫと判定できなかった場合、顔認識装置２００は、閾値を通常の値に設定し直した上で第１の実施形態に係る顔認識装置１００と同様の処理により照合を行うことができる。
【０１２０】
この結果として、短い処理時間で、より高い精度で人物を認識する事ができる顔認識装置、顔認識方法、及び通行制御装置を提供することができる。
【０１２１】
次に、本発明の第３の実施形態に係る顔認識装置、顔認識方法、及び通行制御装置について、図を参照しながら詳細に説明する。
図９は、本発明の第３の実施形態に係る顔認識装置３００の構成例を概略的に説明するためのブロック図である。顔認識装置３００は、入力部３０１、制御部３０２、入力インターフェース３０２Ａ、入力インターフェース３０２Ｂ、カメラ３０３、操作部３０４、顔検出部３０５、動作判定部３０６、認識部３０７、登録情報記憶部３０８、出力部３０９、及びゲート制御部３１０などを備えている。
【０１２２】
なお、入力部３０１、入力インターフェース３０２Ａ、入力インターフェース３０２Ｂ、カメラ３０３、操作部３０４、顔検出部３０５、登録情報記憶部３０８、出力部３０９、及びゲート制御部３１０の構成は、第１の実施例における入力部１０１、入力インターフェース１０２Ａ、入力インターフェース１０２Ｂ、カメラ１０３、操作部１０４、顔検出部１０５、登録情報記憶部１０８、出力部１０９、及びゲート制御部１１０と同様の構成である為、その詳細な説明を省略する。
【０１２３】
第３の実施形態に係る顔認識装置３００の認識部３０７は、照合処理において照合ＮＧと判定した場合、照合処理のリトライ（２回目の照合処理）を行う。
【０１２４】
即ち、認識部３０７は、まず第１の実施形態と同様に、１回目の照合処理を行う。１回目の照合処理において、照合ＮＧと判定した場合、動作判定部３０６は、現フレームの画像に移りこんでいる人物と前フレームに移りこんでいる人物とが同一人物であるか否か判定する。即ち、動作判定部３０６は、照合意思の確認をした後も、人物の顔領域の追跡を行う。
【０１２５】
なお、動作判定部３０６は、第１の実施形態と同様の処理により人物が同一人物であるか否かを判定する構成であってもよいし、前フレームまでの画像を利用してパターン・マッチングを追加し、同一人物であるか否かを判定する構成であってもよい。
【０１２６】
認識部３０７は、設定記憶部３０７ａを備えている。設定記憶部３０７ａは、設定記憶手段として機能する。設定記憶部３０７ａは、２回目の照合処理に用いられる照合方式を選択させるための情報を記憶する。即ち、認識部３０７は、２回目の照合処理を行う場合、設定記憶部３０７ａに記憶されている情報を参照する。
【０１２７】
例えば、設定記憶部３０７ａに記憶されている情報が、第１の照合方式を示す情報である場合、認識部３０７は、第１の照合方式を選択し、２回目の照合処理を行う。また、例えば、設定記憶部３０７ａに記憶されている情報が、第２の照合方式を示す情報である場合、認識部３０７は、第２の照合方式を選択し、２回目の照合処理を行う。
【０１２８】
なお、設定記憶部３０７ａに記憶されている情報は、適宜変更することが出来る。第１の照合方式は、第２の照合方式に比べて照合の精度が高い。この反面、第１の照合方式は、処理に時間がかかる。例えば、連続して照合が失敗することがないように、２回目の照合に第１の照合方式を用いるような設定が考えられる。また、２回目の照合にかかる時間を短縮する必要がある場合、２回目の照合に第２の照合方式を用いるような設定が考えられる。
【０１２９】
認識部３０７は、動作判定部３０６により前回の照合処理に用いた画像に写り込んでいる人物と、現フレームに移りこんでいる人物とが同一人物であると判定した場合、設定記憶部３０７ａを参照する。これにより、認識部３０７は、２回目の照合処理に用いる照合方式を選択する。認識部３０７は、選択した照合方式を用いて２回目の照合を行う。
【０１３０】
図１０は、図９に示す顔認識装置３００における処理を説明するためのフローチャートである。
【０１３１】
顔認識装置３００は、図６のステップＳ１１乃至ステップＳ２４で述べたように、１回目の照合処理を行う（ステップＳ５１）。
【０１３２】
１回目の照合において、照合ＮＧと判定した場合（ステップＳ５２、ＮＯ）、顔認識装置３００のカメラ３０３は、撮影領域の画像を撮像し、取得する（ステップＳ５３）。カメラ３０３は、取得した画像を制御部３０２の顔検出部３０５に入力する。顔検出部３０５は、カメラ３０３から入力された画像（入力画像）において人物の顔が写っている領域（顔領域）を検出する（ステップＳ５４）。
動作判定部３０６は、顔検出部３０５により顔領域が検出された場合、１つ前のフレームとで顔領域が検出された座標及びサイズを比較する（ステップＳ１３）。即ち、動作判定部３０６は、１回目の照合に用いた画像において検出された顔領域と座標及びサイズの比較を行う。
【０１３３】
動作判定部３０６は、比較の結果に基づいて、２つのフレームにおいてそれぞれ検出された顔領域が同じ人物のものであるか否かを判定する。この為に、動作判定部３０６は、１つ前のフレームとで顔領域が検出された座標及びサイズの差があらかじめ定める閾値以内であるか否か判定する（ステップＳ５６）。
【０１３４】
差が閾値を越えていると判定した場合（ステップＳ５６、ＮＯ）、動作判定部３０６は、前フレームと現フレームとで検出された顔領域の人物は異なる人物であると判定する（ステップＳ５７）。この場合、顔認識装置３００は、１回目の照合処理に移行する。即ち、顔認識装置３００は、ステップＳ５１に移行する。
【０１３５】
ステップＳ５６の判定において、差が閾値以内であると判定した場合（ステップＳ５６、ＹＥＳ）、動作判定部３０６は、前フレームと現フレームとで検出された顔領域の人物は同一人物であると判定する（ステップＳ５８）。
【０１３６】
認識部３０７は、動作判定部３０６により前回の照合処理に用いた画像に写り込んでいる人物と、現フレームに移りこんでいる人物とが同一人物であると判定した場合、リトライ時の照合方式を確認する（ステップＳ５９）。即ち、認識部３０７は、設定記憶部３０７ａを参照する。
【０１３７】
設定記憶部３０７ａに記憶されている情報が、第１の照合方式を示す情報である場合、認識部３０７は、第１の照合方式を選択する（ステップＳ６０）。また、設定記憶部３０７ａに記憶されている情報が、第２の照合方式を示す情報である場合、認識部３０７は、第２の照合方式を選択する（ステップＳ６１）。認識部３０７は、選択した照合方式を用いて２回目の照合処理を行う（ステップＳ６２）。
【０１３８】
１回目の照合処理において認証ＯＫと判定した場合（ステップＳ５２、ＹＥＳ）、若しくは、２回目の照合処理において認証ＯＫと判定した場合（ステップＳ６２、ＹＥＳ）、出力部３０９は、通行可能信号を外部機器、若しくはゲート制御部３１０に出力する（ステップＳ６３）。
【０１３９】
また、２回目の照合処理において認証ＮＧと判定した場合（ステップＳ６２、ＮＯ）、出力部３０９は、照合が失敗した旨を外部機器、若しくは表示部などに出力する（ステップＳ６４）。これにより、顔認識装置３００は、照合がＮＧであることを歩行者に対して報知する。
【０１４０】
上記したように、第３の実施形態に係る顔認識装置３００によると、照合が失敗した場合、続けて２回目の照合を行う。また、顔認識装置３００は、２回目の照合に用いる照合方式を予め選択に基づいて設定することができる。この為、運用形態に適した状態で、２回目の照合を行うことが出来る。
【０１４１】
この結果として、短い処理時間で、より高い精度で人物を認識する事ができる顔認識装置、顔認識方法、及び通行制御装置を提供することができる。
【０１４２】
なお、本実施形態では、１回目の照合が失敗した場合に２回目の照合を行う構成として説明したがこれに限定されない。照合を繰り返す回数は、如何なる回数であってもよい。また、顔認識装置は、照合に用いる照合方式を、各回の照合毎に設定することが出来る。また、顔認識装置は、照合に用いる照合方式を、照合を行った回数に基づいて選択する構成であってもよい。
【０１４３】
次に、本発明の第４の実施形態に係る顔認識装置、顔認識方法、及び通行制御装置について、図を参照しながら詳細に説明する。
図１１は、本発明の第３の実施形態に係る顔認識装置４００の構成例を概略的に説明するためのブロック図である。顔認識装置４００は、入力部４０１、制御部４０２、入力インターフェース４０２Ａ、入力インターフェース４０２Ｂ、カメラ４０３、操作部４０４、顔検出部４０５、動作判定部４０６、認識部４０７、登録情報記憶部４０８、再登録部４０９、出力部４１０、及びゲート制御部４１１などを備えている。
【０１４４】
なお、入力部４０１、入力インターフェース４０２Ａ、入力インターフェース４０２Ｂ、カメラ４０３、操作部４０４、顔検出部４０５、動作判定部４０６、出力部４１０、及びゲート制御部４１１の構成は、第１の実施例における入力部１０１、入力インターフェース１０２Ａ、入力インターフェース１０２Ｂ、カメラ１０３、操作部１０４、顔検出部１０５、動作判定部１０６、出力部１０９、及びゲート制御部１１０と同様の構成である為、その詳細な説明を省略する。
【０１４５】
第４の実施形態に係る顔認識装置４００は、登録情報の登録時に特徴情報を抽出する為に用いた方法と同じ方法を用いて、カメラ４０３により取得した顔画像から特徴情報を抽出する。また、顔認識装置４００は、登録している登録情報を、カメラ４０３により取得した顔画像に基づいて更新する。
【０１４６】
登録情報記憶部４０８は、認識の対象の人物の顔の特徴情報と、この特徴情報を抽出するために用いた特徴情報の計算方法を示す情報（登録時の照合方式）をあわせて記憶する。
【０１４７】
認識部４０７は、動作判定部４０６による判定結果に基づき、検出された顔画像から特徴情報を抽出する。この場合、認識部４０７は、登録情報記憶部４０８により記憶されている特徴情報の照合方式を示す情報（照合方式情報）を参照する。認識部４０７は、参照した照合方式情報に基づいて、複数の照合方式のうちの１つを選択する。即ち、認識部４０７は、登録情報記憶部４０８に記憶されている特徴情報を抽出するために用いた方法と同じ方法で顔画像から特徴情報の抽出を行う照合方式を選択する。
【０１４８】
認識部４０７は、選択した照合方式を用いて、予め登録された顔の特徴情報と、入力された画像から抽出した顔の特徴情報とを照合し、一致するか否か判定する。
【０１４９】
再登録部４０９は、必要に応じて、登録情報記憶部４０８に記憶されている顔の特徴情報の置き換え、または追加を行う。
【０１５０】
なお、認識部４０７による照合処理は、上述した第１の実施形態、第２の実施形態、及び第３の実施形態のどの方法を用いても実現することが出来る。より照合の精度を高めるために、登録情報記憶部４０８に記憶されている「登録時の照合方式」と同じ方法を用いて特徴情報を計算することが望ましい。認識部４０７は、登録時の照合方式と同じ方法を用いて特徴情報を計算し、予め登録されている特徴情報との類似度の演算を行う。
【０１５１】
登録時の照合方式は、一般的に登録者の全員が同じ照合方式を用いる場合が多い。この為、例えば、登録者の全員が第１の照合方式で登録されている場合、認識部４０７は、第一の照合方式を優先的に選択する。また、人によって登録時の照合方式が異なる場合、認識部４０７は、上記の第１の実施形態、若しくは、第２の実施形態で記載したように、動作に応じて照合方式を選択する構成であってもよい。
【０１５２】
またさらに、認識部４０７は、動作に応じて選択した照合方式により登録された特徴情報のみを照合の対象として類似度の演算を行う構成であってもよい。また、認識部４０７は、後述する再登録部４０９で優先される特徴情報をベースに類似度の演算を行う構成であってもよい。
【０１５３】
登録情報記憶部４０８は、認識の対象の人物の顔の特徴情報と、この特徴情報を抽出するために用いた特徴情報の計算方法を示す情報（登録時の照合方式）をあわせて記憶する。登録情報記憶部４０８は、初めて利用者が登録を行った時に用いられていた照合方式を示す情報を特徴情報と対応付けて記憶する。
【０１５４】
例えば、異なる向きから顔を撮影して取得した複数枚の顔画像に基づいて第１の照合方式により抽出した特徴情報を記憶する場合、登録情報記憶部４０８は、第１の照合方式を示す情報を特徴情報と対応付けて記憶する。また、例えば、１枚の顔画像に基づいて第２の照合方式により抽出した特徴情報を記憶する場合、登録情報記憶部４０８は、第２の照合方式を示す情報を特徴情報と対応付けて記憶する。
【０１５５】
登録情報記憶部４０８は、必要に応じて、特徴情報を算出するために利用した顔画像の枚数も記憶する。これにより、顔認識装置４００は、特徴情報の再登録を行う場合、学習している顔画像の枚数を参考情報として利用することができる。
【０１５６】
再登録部４０９は、登録情報記憶部４０８に記憶されている顔の特徴情報の更新、または追加を行なう。例えば、顔の特徴情報を登録情報記憶部４０８に記憶してから時間が経過した場合、照合の精度が低下する可能性がある。これは、顔に経年変化が生じるためである。また、照合時の顔の向き、立ち位置、及び照明条件の違いなどの為に、照合の精度が低下する可能性がある。
【０１５７】
再登録部４０９は、管理者の操作に基づいて、明示的に登録情報の更新を行う。
【０１５８】
または、再登録部４０９は、認証処理の終了後、認証の対象である人物により、操作部４０４から正しい識別情報及びパスワードが入力された場合、登録情報の更新を行う。この場合、再登録部４０９は、直前の認証処理に用いた顔画像を用いて、登録情報の更新を行う。なお、再登録部４０９は、認証処理の終了後、識別情報及びパスワードの確認を行うことなく、自動的に登録情報の更新を行う構成であってもよい。
【０１５９】
図１２は、図１１に示す顔認識装置４００における処理を説明するためのフローチャートである。なお、ステップＳ７１乃至ステップＳ８０は、図６に示すステップＳ１１乃至ステップＳ２０と同様の処理であるので、詳細な説明を省略する。
【０１６０】
認識部４０７は、動作判定部４０６により照合意思を確認するまでに、認証する人物の顔画像が所定枚数以上撮影されたか否か判定する（ステップＳ８１）。認識部４０７は、照合意思を確認するまでに所定枚数以上の顔画像を取得できたと判定した場合（ステップＳ８１、ＹＥＳ）、登録情報記憶部４０８を参照し、優先する照合方式を確認する（ステップＳ８２）。優先する照合方式が第１の照合方式である場合、認識部４０７は、第１の照合方式を選択する（ステップＳ８３）。
【０１６１】
また、認識部４０７は、照合意思を確認するまでに所定枚数以上の顔画像を取得できなかったと判定した場合（ステップＳ８１、ＮＯ）、若しくは、ステップＳ８２の確認の結果、優先すべき照合方式が第２の照合方式である場合、認識部４０７は、第２の照合方式を選択する（ステップＳ８４）。
【０１６２】
認識部４０７は、選択した照合方式により、人物の認証を行なう（ステップＳ８５）。即ち、認識部４０７は、顔検出部４０５により検出された顔画像に基づいて特徴情報を抽出する。認識部４０７は、抽出した特徴情報と、登録情報記憶部４０８に記憶されている特徴情報とで照合を行う。即ち、認識部４０７は、顔画像から抽出した特徴情報と一致若しくは近似する特徴情報が登録情報記憶部４０８に記憶されているか否か判定する。
【０１６３】
認識部４０７による認証の結果、ＯＫと判定した場合（ステップＳ８５、ＹＥＳ）、再登録部４０９は、必要に応じて登録情報記憶部４０８に記憶されている登録情報の更新（再登録）を行う（ステップＳ８６）。出力部４１０は、通行可能信号を外部機器、若しくはゲート制御部４１１に出力する（ステップＳ８７）。
【０１６４】
また、認識部４０７による認証の結果、ＮＧと判定した場合（ステップＳ８５、ＮＯ）、出力部４１０は、照合が失敗した旨を外部機器、若しくは表示部などに出力する（ステップＳ８８）。これにより、顔認識装置４００は、照合がＮＧであることを歩行者に対して報知する。
【０１６５】
上記したように、第４の実施形態に係る顔認識装置４００は、登録情報を記憶する場合、顔認識装置４００は、特徴情報の抽出に用いた照合方式を示す情報を対応付けて記憶する。顔認識装置４００は、認証処理を行う場合、登録情報に対応付けられている照合方式を示す情報に基づいて照合方式を選択する。これにより、照合の精度を高めることが出来る。
【０１６６】
また、顔認識装置４００は、認証処理が正常に行なわれた場合、必要に応じて登録情報の更新、または追加などを行う。顔認識装置４００は、記憶している特徴情報を、予め定めた照合方式により抽出した特徴情報に置き換えることが出来る。この為、顔認識装置４００は、記憶している特徴情報を、例えば、精度の高い第１の照合方式により抽出した特徴情報に移行させることができる。
【０１６７】
この結果として、短い処理時間で、より高い精度で人物を認識する事ができる顔認識装置、顔認識方法、及び通行制御装置を提供することができる。
【０１６８】
なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具現化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【０１６９】
【図１】図１は、本発明の第１の実施形態に係る顔認識装置１００の構成例を概略的に説明するためのブロック図である。
【図２】図２は、図１に示す顔認識装置の動作判定部の処理を概略的に説明するための説明図である。
【図３】図３は、第１の照合方式について説明するための説明図である。
【図４】図４は、第２の照合方式について説明するための説明図である。
【図５】図５は、第２の照合方式について説明するための説明図である。
【図６】図６は、図１に示す顔認識装置１００における処理を説明するためのフローチャートである。
【図７】図７は、本発明の第２の実施形態に係る顔認識装置の構成例を概略的に説明するためのブロック図である。
【図８】図８は、図７に示す顔認識装置における処理を説明するためのフローチャートである。
【図９】図９は、本発明の第３の実施形態に係る顔認識装置の構成例を概略的に説明するためのブロック図である。
【図１０】図１０は、図９に示す顔認識装置における処理を説明するためのフローチャートである。
【図１１】図１１は、本発明の第４の実施形態に係る顔認識装置の構成例を概略的に説明するためのブロック図である。
【図１２】図１２は、図１１に示す顔認識装置における処理を説明するためのフローチャートである。
【符号の説明】
【０１７０】
１０…入力画像、１１…枠、１００…顔認識装置、１０１…入力部、１０２…制御部、１０３…カメラ、１０４…操作部、１０５…顔検出部、１０６…動作判定部、１０７…認識部、１０８…登録情報記憶部、１０９…出力部、１１０…ゲート制御部、１１１…ドア、２００…顔認識装置、２０１…入力部、２０２…制御部、２０３…カメラ、２０４…操作部、２０５…顔検出部、２０６…動作判定部、２０７…認識部、２０８…登録情報記憶部、２０９…出力部、２１０…ゲート制御部、３００…顔認識装置、３０１…入力部、３０２…制御部、３０３…カメラ、３０４…操作部、３０５…顔検出部、３０６…動作判定部、３０７…認識部、３０７ａ…設定記憶部、３０８…登録情報記憶部、３０９…出力部、３１０…ゲート制御部、４００…顔認識装置、４０１…入力部、４０２…制御部、４０３…カメラ、４０４…操作部、４０５…顔検出部、４０６…動作判定部、４０７…認識部、４０８…登録情報記憶部、４０９…再登録部、４１０…出力部、４１１…ゲート制御部。
【特許請求の範囲】
【請求項１】
予め登録情報を記憶する登録情報記憶手段と、
人物の少なくとも顔を含む画像が連続して入力される画像入力手段と、
前記画像入力手段から入力された連続した画像から前記人物の顔領域を画像毎に検出する顔検出手段と、
前記顔検出手段により画像毎に検出した顔領域の位置及びサイズに基づいて前記人物の認証意思の有無を判定する動作判定手段と、
前記顔検出手段により検出した顔領域の画像と前記登録情報記憶手段により記憶されている登録情報とに基づいて第１の照合方式により照合を行う第１の照合手段と、
前記顔検出手段により検出した顔領域の画像と前記登録情報記憶手段により記憶されている登録情報とに基づいて第２の照合方式により照合を行う第２の照合手段と、
前記第１の照合手段と前記第２の照合手段とのいずれかを選択する選択手段と、
前記選択手段により選択した照合手段により、前記人物が予め登録された人物であるか否かを判定する認識手段と、
を具備することを特徴とする顔認識装置。
【請求項２】
前記選択手段は、前記動作判定手段により前記人物の認証意思を確認するまでに前記人物の顔領域が検出された画像が所定枚数以上存在すると判定した場合、前記第１の照合方式を選択し、前記動作判定手段により前記人物の認証意思を確認するまでに前記人物の顔領域が検出された画像が所定枚数未満存在すると判定した場合、前記第２の照合方式を選択することを特徴とする請求項１に記載の顔認識装置。
【請求項３】
前記選択手段は、前記動作判定手段により前記人物の認証意思が確認されない場合、前記第２の照合方式を選択し、
前記認識手段は、精査閾値を用いて前記第２の照合手段により前記人物が予め登録された人物であるか否かを判定する、
ことを特徴とする請求項１に記載の顔認識装置。
【請求項４】
前記動作判定手段は、前記認識手段により、前フレームに写り込んでいる前記人物が予め登録された人物ではないと判定した場合、現フレームに写り込んでいる人物と前フレームに写り込んでいる人物とが同一人物で有るか否か判定し、
前記認識手段は、前記動作判定手段により同一人物であると判定した場合、再び、前記人物が予め登録された人物であるか否かを判定するリトライを行う、
ことを特徴とする請求項１に記載の顔認識装置。
【請求項５】
前記認識手段によるリトライに用いる照合方式を選択させるための情報を予め記憶する設定記憶手段をさらに具備し、
前記選択手段は、前記設定記憶手段により記憶されている情報に基づいて前記第１の照合手段と前記第２の照合手段とのいずれかを選択する、
ことを特徴とする請求項４に記載の顔認識装置。
【請求項６】
前記登録情報記憶手段は、画像から特徴情報を抽出するために用いた照合方式を示す照合方式情報を登録情報と対応付けて記憶し、
前記選択手段は、前記動作判定手段により前記人物の認証意思を確認するまでに前記人物の顔領域が検出された画像が所定枚数以上存在すると判定した場合、前記登録情報記憶手段により記憶されている照合方式情報が示す照合方式と同じ照合方式を選択する、
ことを特徴とする請求項１に記載の顔認識装置。
【請求項７】
前記動作判定手段は、前記画像入力手段から入力された画像から前記顔検出手段により検出された顔領域の位置及びサイズと１つ前のフレームの画像から検出された顔領域の位置及びサイズとの差が所定値未満であると判断した場合に前記人物に認証意思があると判定することを特徴とする請求項１に記載の顔認識装置。
【請求項８】
前記人物による操作が入力される操作入力手段をさらに具備し、
前記動作判定手段は、前記操作入力手段により操作が入力されたと判断した場合に前記人物に認証意思があると判定することを特徴とする請求項１に記載の顔認識装置。
【請求項９】
前記認識手段は、前記選択手段により前記第１の照合方式が選択された場合、複数の画像に基づいて特徴情報を抽出し、前記登録情報記憶手段に記憶されている登録情報と照合を行うことを特徴とする請求項１に記載の顔認識装置。
【請求項１０】
前記認識手段は、前記選択手段により前記第２の照合方式が選択された場合、少なくとも１枚以上の画像に基づいて特徴情報を抽出し、前記登録情報記憶手段に記憶されている登録情報と照合を行うことを特徴とする請求項１に記載の顔認識装置。
【請求項１１】
予め登録情報を記憶する登録情報記憶手段と、人物の少なくとも顔を含む画像が連続して入力される画像入力手段と、を具備する顔認識装置に用いられる顔認識方法であって、
前記画像入力手段から入力された連続した画像から前記人物の顔領域を画像毎に検出し、
前記画像毎に検出した顔領域の位置及びサイズに基づいて前記人物の認証意思の有無を判定し、
前記検出した複数枚の顔領域の画像と前記登録情報記憶手段により記憶されている登録情報とに基づいて照合を行う第１の照合方式と、前記検出した少なくとも１枚以上の顔領域の画像と前記登録情報記憶手段により記憶されている登録情報とに基づいて照合を行う第２の照合方式とのいずれかを選択し、
前記選択した照合方式により、前記人物が予め登録された人物であるか否かを判定する、
ことを特徴とする顔認識方法。
【請求項１２】
通行が制限されるエリアに設けられたドアの開閉を制御する通行制御装置であって、
通行を許可する人物の登録情報を予め記憶する登録情報記憶手段と、
人物の少なくとも顔を含む画像が連続して入力される画像入力手段と、
前記画像入力手段から入力された連続した画像から前記人物の顔領域を画像毎に検出する顔検出手段と、
前記顔検出手段により画像毎に検出した顔領域の位置及びサイズに基づいて前記人物の認証意思の有無を判定する動作判定手段と、
前記顔検出手段により検出した顔領域の画像と前記登録情報記憶手段により記憶されている登録情報とに基づいて第１の照合方式により照合を行う第１の照合手段と、
前記顔検出手段により検出した顔領域の画像と前記登録情報記憶手段により記憶されている登録情報とに基づいて第２の照合方式により照合を行う第２の照合手段と、
前記第１の照合手段と前記第２の照合手段とのいずれかを選択する選択手段と、
前記選択手段により選択した照合手段により、前記人物が予め登録された人物であるか否かを判定する認識手段と、
前記認識手段により前記人物が予め登録された人物であると判定した場合、通行が制限されるエリアに設けられたドアを開くように制御するゲート制御手段と、
を具備することを特徴とする通行制御装置。
【請求項１】
予め登録情報を記憶する登録情報記憶手段と、
人物の少なくとも顔を含む画像が連続して入力される画像入力手段と、
前記画像入力手段から入力された連続した画像から前記人物の顔領域を画像毎に検出する顔検出手段と、
前記顔検出手段により画像毎に検出した顔領域の位置及びサイズに基づいて前記人物の認証意思の有無を判定する動作判定手段と、
前記顔検出手段により検出した顔領域の画像と前記登録情報記憶手段により記憶されている登録情報とに基づいて第１の照合方式により照合を行う第１の照合手段と、
前記顔検出手段により検出した顔領域の画像と前記登録情報記憶手段により記憶されている登録情報とに基づいて第２の照合方式により照合を行う第２の照合手段と、
前記第１の照合手段と前記第２の照合手段とのいずれかを選択する選択手段と、
前記選択手段により選択した照合手段により、前記人物が予め登録された人物であるか否かを判定する認識手段と、
を具備することを特徴とする顔認識装置。
【請求項２】
前記選択手段は、前記動作判定手段により前記人物の認証意思を確認するまでに前記人物の顔領域が検出された画像が所定枚数以上存在すると判定した場合、前記第１の照合方式を選択し、前記動作判定手段により前記人物の認証意思を確認するまでに前記人物の顔領域が検出された画像が所定枚数未満存在すると判定した場合、前記第２の照合方式を選択することを特徴とする請求項１に記載の顔認識装置。
【請求項３】
前記選択手段は、前記動作判定手段により前記人物の認証意思が確認されない場合、前記第２の照合方式を選択し、
前記認識手段は、精査閾値を用いて前記第２の照合手段により前記人物が予め登録された人物であるか否かを判定する、
ことを特徴とする請求項１に記載の顔認識装置。
【請求項４】
前記動作判定手段は、前記認識手段により、前フレームに写り込んでいる前記人物が予め登録された人物ではないと判定した場合、現フレームに写り込んでいる人物と前フレームに写り込んでいる人物とが同一人物で有るか否か判定し、
前記認識手段は、前記動作判定手段により同一人物であると判定した場合、再び、前記人物が予め登録された人物であるか否かを判定するリトライを行う、
ことを特徴とする請求項１に記載の顔認識装置。
【請求項５】
前記認識手段によるリトライに用いる照合方式を選択させるための情報を予め記憶する設定記憶手段をさらに具備し、
前記選択手段は、前記設定記憶手段により記憶されている情報に基づいて前記第１の照合手段と前記第２の照合手段とのいずれかを選択する、
ことを特徴とする請求項４に記載の顔認識装置。
【請求項６】
前記登録情報記憶手段は、画像から特徴情報を抽出するために用いた照合方式を示す照合方式情報を登録情報と対応付けて記憶し、
前記選択手段は、前記動作判定手段により前記人物の認証意思を確認するまでに前記人物の顔領域が検出された画像が所定枚数以上存在すると判定した場合、前記登録情報記憶手段により記憶されている照合方式情報が示す照合方式と同じ照合方式を選択する、
ことを特徴とする請求項１に記載の顔認識装置。
【請求項７】
前記動作判定手段は、前記画像入力手段から入力された画像から前記顔検出手段により検出された顔領域の位置及びサイズと１つ前のフレームの画像から検出された顔領域の位置及びサイズとの差が所定値未満であると判断した場合に前記人物に認証意思があると判定することを特徴とする請求項１に記載の顔認識装置。
【請求項８】
前記人物による操作が入力される操作入力手段をさらに具備し、
前記動作判定手段は、前記操作入力手段により操作が入力されたと判断した場合に前記人物に認証意思があると判定することを特徴とする請求項１に記載の顔認識装置。
【請求項９】
前記認識手段は、前記選択手段により前記第１の照合方式が選択された場合、複数の画像に基づいて特徴情報を抽出し、前記登録情報記憶手段に記憶されている登録情報と照合を行うことを特徴とする請求項１に記載の顔認識装置。
【請求項１０】
前記認識手段は、前記選択手段により前記第２の照合方式が選択された場合、少なくとも１枚以上の画像に基づいて特徴情報を抽出し、前記登録情報記憶手段に記憶されている登録情報と照合を行うことを特徴とする請求項１に記載の顔認識装置。
【請求項１１】
予め登録情報を記憶する登録情報記憶手段と、人物の少なくとも顔を含む画像が連続して入力される画像入力手段と、を具備する顔認識装置に用いられる顔認識方法であって、
前記画像入力手段から入力された連続した画像から前記人物の顔領域を画像毎に検出し、
前記画像毎に検出した顔領域の位置及びサイズに基づいて前記人物の認証意思の有無を判定し、
前記検出した複数枚の顔領域の画像と前記登録情報記憶手段により記憶されている登録情報とに基づいて照合を行う第１の照合方式と、前記検出した少なくとも１枚以上の顔領域の画像と前記登録情報記憶手段により記憶されている登録情報とに基づいて照合を行う第２の照合方式とのいずれかを選択し、
前記選択した照合方式により、前記人物が予め登録された人物であるか否かを判定する、
ことを特徴とする顔認識方法。
【請求項１２】
通行が制限されるエリアに設けられたドアの開閉を制御する通行制御装置であって、
通行を許可する人物の登録情報を予め記憶する登録情報記憶手段と、
人物の少なくとも顔を含む画像が連続して入力される画像入力手段と、
前記画像入力手段から入力された連続した画像から前記人物の顔領域を画像毎に検出する顔検出手段と、
前記顔検出手段により画像毎に検出した顔領域の位置及びサイズに基づいて前記人物の認証意思の有無を判定する動作判定手段と、
前記顔検出手段により検出した顔領域の画像と前記登録情報記憶手段により記憶されている登録情報とに基づいて第１の照合方式により照合を行う第１の照合手段と、
前記顔検出手段により検出した顔領域の画像と前記登録情報記憶手段により記憶されている登録情報とに基づいて第２の照合方式により照合を行う第２の照合手段と、
前記第１の照合手段と前記第２の照合手段とのいずれかを選択する選択手段と、
前記選択手段により選択した照合手段により、前記人物が予め登録された人物であるか否かを判定する認識手段と、
前記認識手段により前記人物が予め登録された人物であると判定した場合、通行が制限されるエリアに設けられたドアを開くように制御するゲート制御手段と、
を具備することを特徴とする通行制御装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−８６４０３（Ｐ２０１０−８６４０３Ａ）
【公開日】平成２２年４月１５日（２０１０．４．１５）
【国際特許分類】
【出願番号】特願２００８−２５６４８７（Ｐ２００８−２５６４８７）
【出願日】平成２０年１０月１日（２００８．１０．１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２２年４月１５日（２０１０．４．１５）
【国際特許分類】
【出願日】平成２０年１０月１日（２００８．１０．１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]