顔認証装置および入退場管理装置
【課題】あらかじめ登録する顔画像は正面からの顔画像だけでよく、辞書登録時の負担軽減や辞書容量の節約になるとともに、認証対象者が歩行中等でも精度よく顔認証を行なうことができる顔認証装置および入退場管理装置を提供する。
【解決手段】歩行者を認証対象とし、当該歩行者から取得した顔画像をあらかじめ登録された顔画像と照合することにより当該歩行者はあらかじめ登録された人物であるかを判定する顔認証装置において、複数のカメラで複数の角度から撮影した顔画像の中から正面の顔画像を選択し、この選択した正面の顔画像を照合に用いる。
【解決手段】歩行者を認証対象とし、当該歩行者から取得した顔画像をあらかじめ登録された顔画像と照合することにより当該歩行者はあらかじめ登録された人物であるかを判定する顔認証装置において、複数のカメラで複数の角度から撮影した顔画像の中から正面の顔画像を選択し、この選択した正面の顔画像を照合に用いる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば、歩行者を認証対象とし、当該歩行者から取得した顔画像をあらかじめ登録された顔画像と照合することにより当該歩行者はあらかじめ登録された人物であるかを判定する顔認証装置、および、この顔認証装置を用いてセキュリティを必要とする部屋や施設等の入退場対象エリアに対する入退場を管理する入退場管理装置に関する。
【背景技術】
【０００２】
一般に、顔認証装置を用いた入退場管理装置は、ビデオカメラなどのカメラを有していて、認証対象者の顔画像をカメラが撮像して入力し、この入力された顔画像をあらかじめ登録されている顔画像（辞書情報）と照合することにより当該人物はあらかじめ登録された人物であるかを判定し、あらかじめ登録された人物である場合、入退場対象エリア（部屋や施設等）のドアを開放するようになっている（たとえば、特許文献１参照）。
【０００３】
ところで、この種の顔認証装置（入退場管理装置）では、あらかじめ登録された顔画像の角度と照合時に入力された顔画像の角度が異なると認証精度が低下する。特に、認証対象者の移動中に顔認証を行なう歩行者顔認証では、歩行者（認証対象者）の正面の顔画像を安定して捉えることが課題となる。
【０００４】
そこで、左右２つのカメラを有し、いずれか一方のカメラで撮像した顔画像が正面ならば、あらかじめ登録しておいた正面の顔画像との照合を行ない、また、いずれか一方のカメラで撮像した顔画像が横向きならば、あらかじめ登録しておいた横向きの顔画像との照合を行なうようにした技術が考えられている（たとえば、特許文献２参照）。
【特許文献１】特開２００４−１８５２６２号公報
【特許文献２】特開２００２−２８８６７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記した従来の公知技術では、正面からの顔画像だけでなく横向きの顔画像もあらかじめ登録しておく必要があり、また、そのために辞書登録時の利用者の負担が大きく、辞書として登録する必要量も多くなってしまう。
【０００６】
そこで、本発明は、あらかじめ登録する顔画像は正面からの顔画像だけでよく、辞書登録時の負担軽減や辞書容量の節約になるとともに、認証対象者が歩行中等でも精度よく顔認証を行なうことができる顔認証装置および入退場管理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の顔認証装置は、認証対象者の少なくとも顔の特徴情報を含む画像をそれぞれ異なる複数の角度から撮像する複数の撮像手段と、この複数の撮像手段から得られる複数の画像の中から最適な正面からの顔画像を選択する入力画像選択手段と、この入力画像選択手段により選択された正面からの顔画像をあらかじめ登録された顔画像と照合することにより当該認証対象者はあらかじめ登録された人物であるか否かを判定する認証手段とを具備している。
【０００８】
また、本発明の入退場管理装置は、移動する認証対象者が入退場対象エリアに設けられた入退場用ゲートに到達するまでに当該認証対象者の顔認証を行ない、その認証結果に基づき前記入退場用ゲートを開閉制御する入退場管理装置において、前記入退場用ゲートの近傍にそれぞれ設置され、認証対象者の少なくとも顔の特徴情報を含む画像をそれぞれ異なる複数の角度から撮像する複数の撮像手段と、この複数の撮像手段から得られる複数の画像の中から最適な正面からの顔画像を選択する入力画像選択手段と、この入力画像選択手段により選択された正面からの顔画像をあらかじめ登録された顔画像と照合することにより当該認証対象者はあらかじめ登録された人物であるか否かを判定する認証手段と、この認証手段の判定結果に基づき前記入退場用ゲートを開閉制御するゲート制御手段とを具備している。
【発明の効果】
【０００９】
本発明によれば、複数の撮像手段で複数の角度から撮影した顔画像の中から正面の顔画像を選択し、この選択した正面の顔画像を照合に用いることにより、照合対象となる辞書情報として正面からの顔画像のみを登録しておけばよく、辞書登録時の負担軽減や辞書容量の節約になる顔認証装置および入退場管理装置を提供できる。
【００１０】
また、本発明によれば、複数の撮像手段で複数の角度から撮影した顔画像の中から正面の顔画像を選択し、この選択した正面の顔画像を照合に用いることにより、歩行者の顔画像など、正面からの顔画像を取得しにくい場合でも、安定して正面からの顔画像を取得でき、認証対象者が歩行中等でも精度よく顔認証を行なうことができる顔認証装置および入退場管理装置を提供できる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態について図面を参照して説明する。
図１〜図３は、本実施の形態に係る顔認証装置が適用される入退場管理装置における画像入力用カメラ（撮像手段）の配置状態を模式的に示すものである。図において、通路１１は、たとえば、入退場対象エリア（部屋や施設等）の入退場用ゲートとしてのドア１２が設けられた入口に連通されていて、この入口（ドア１２）に向って図示矢印Ａ方向に認証対象者（以下、歩行者ともいう）Ｍが通路１１を通行するものとする。
【００１２】
ドア１２の外側（通路１１側）には、認証対象者Ｍの少なくとも顔の特徴情報を含む画像をそれぞれ異なる複数の角度から撮像する複数（この例では３つ）の撮像手段としてカメラ１３，１４，１５が設置されている。カメラ１３，１４，１５は、たとえば、ＣＣＤセンサなどの撮像素子を用いたテレビジョンカメラから構成されていて、カメラ１３は認証対象者Ｍの進行方向Ａに対する正面に設置され、カメラ１４，１５はカメラ１３の両側部にそれぞれ設置されている。
【００１３】
これにより、３つのカメラ１３，１４，１５の各視野１３ａ，１４ａ，１５ａは、図１および図２に破線で示すようになり、歩行者Ｍの通過時に当該歩行者Ｍの少なくとも顔が通過する位置を確実に撮像できるように設置位置が設定されている。
【００１４】
図４は、本実施の形態に係る顔認証装置が適用される入退場管理装置の構成を概略的に示すものである。この入退場管理装置は、図１〜図３で説明したカメラ１３，１４，１５、入力画像選択手段としての入力画像選択部２１、顔検出手段としての顔領域検出部２２、顔特徴抽出手段としての顔特徴抽出部２３、辞書記憶手段としての顔照合辞書部２４、顔照合手段としての顔照合部２５、表示手段としての表示部２６、ゲート制御手段としてのドア制御部２７、および、全体的な制御を司る制御手段としての認証制御部２８を有して構成されている。
【００１５】
以下、各構成要素について詳細に説明する。
入力画像選択部２１は、たとえば、カメラ１３，１４，１５の各視野１３ａ，１４ａ，１５ａ内に認証対象者Ｍが出現したことを、図示しない人間センサあるいはカメラ１３，１４，１５からの画像により検知されると、カメラ１３，１４，１５から得られる３つの画像の中から最適な正面からの顔画像を選択し、この選択した正面の顔画像を顔領域検出部２２に送る。
【００１６】
ここで、入力画像選択部２１において、顔の正面画像（正面からの顔画像）を特定（選択）する方法の具体例について説明する。まず、カメラ１３，１４，１５から得られる３つの入力画像に対し、それぞれ顔領域検出部２２と同様な手法により顔領域の検出を行なう。次に、図５に示すように、検出した３つの顔領域内の画像に対し顔の輪郭ａを抽出するとともに、目ｂ、鼻ｃ、口ｄ等の各特徴点を抽出する。
【００１７】
次に、図５に示すように、抽出した顔の輪郭ａの面積Ｓ１を算出するとともに、抽出した各特徴点ｂ，ｃ，ｄ間の距離から特徴点の分布面積Ｓ２を求める。次に、求めた輪郭面積Ｓ１に対する分布面積Ｓ２の割合Ｓ３（＝Ｓ２／Ｓ１）を求める。次に、求めた割合Ｓ３が最大となる入力画像を正面からの顔画像（最も正面に近い顔画像）として特定し、この特定した正面の顔画像を選択する。
【００１８】
たとえば、ドア１２に正面を向いて歩いてきた歩行者Ｍの顔画像を撮像した場合、カメラ１３，１４，１５からは例えば図６に示すような３つの画像１３ｂ，１４ｂ，１５ｂが取得される。これらの画像１３ｂ，１４ｂ，１５ｂの中で、顔の輪郭に対して顔の特徴点が一番広範囲に分布しているカメラ１３の画像１３ｂが一番正面に近い顔画像であると判断できる。
【００１９】
同様に、たとえば、右を向いて歩いてきた歩行者Ｍの顔画像を撮像した場合、カメラ１３，１４，１５からは例えば図７に示すような３つの画像１３ｂ，１４ｂ，１５ｂが取得される。これらの画像１３ｂ，１４ｂ，１５ｂの中で、顔の輪郭に対して顔の特徴点が一番広範囲に分布しているカメラ１４の画像１４ｂが一番正面に近い顔画像であると判断できる。
このようにして、３つのカメラ１３，１４，１５により取得された画像１３ｂ，１４ｂ，１５ｂから一番正面に近い顔画像であると判断されたものを正面の顔画像として選択するものである。
【００２０】
なお、顔の正面画像を特定する方法は、上記方法に限定されるものではなく、その他の方法であってもよい。
【００２１】
顔領域検出部２２は、入力画像選択部２１から送られた画像から認証対象者Ｍの顔領域を検出する。これは、たとえば、文献（福井，山口．”形状抽出とパターン照合の組合せによる顔特徴点抽出”，信学論，（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−Ｈ，Ｎｏ．８，ｐｐ．２１７０−２１７７，１９９７）に記載されている方法などを用いることで、精度の高い顔領域の検出が実現可能である。
【００２２】
顔領域検出部２２で検出された顔領域情報は、顔特徴抽出部２３に送られる。顔特徴抽出部２３は、照合時に利用する特徴量を抽出するもので、たとえば、顔領域検出部２２により得られる顔領域情報から、顔の特徴点を基準に一定の大きさ、形状に切り出し、その濃淡情報を特徴量として用いる。ここでは、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用い、ｍ×ｎ次元の情報を特徴ベクトルとして用いる。これらのデータから特徴ベクトルの相関行列を求め、周知のＫ−Ｌ展開による正規直交ベクトルを求めることにより、部分空間を計算する。部分空間の計算法は、特徴ベクトルの相関行列（または共分散行列）を求め、そのＫ−Ｌ展開による正規直交ベクトル（固有ベクトル）を求めることにより、部分空間を計算する。部分空間は、固有値に対応する固有ベクトルを固有値の大きな順にｋ個選び、その固有ベクトル集合を用いて表現する。本実施の形態では、相関行列Ｃｄを特徴ベクトルから求め、相関行列
【数１】
と対角化して、固有ベクトルの行列Φを求める。この部分空間は、人物の同定を行なうための顔特徴情報として利用する。この情報をあらかじめ登録しておいて、それを辞書として登録しておけばよい。また、後で述べるように、識別を行なうための顔特徴情報として部分空間自身を利用してもよい。算出した顔特徴情報は、顔照合辞書部２４および顔照合部２５に送られる。
【００２３】
顔照合辞書部２４は、顔特徴抽出部２３から得られた顔特徴情報を辞書情報として保持し、認証対象者Ｍとの類似度を計算できるようにしている。保持された顔特徴情報は必要に応じて顔照合部２５に出力される。
【００２４】
顔照合部２５は、顔特徴抽出部２３で抽出された認証対象者Ｍの顔特徴情報と顔照合辞書部２４に記憶されている顔特徴情報（辞書情報）との類似度を求め、求めた類似度があらかじめ設定された判定用閾値以上である場合、当該認証対象者Ｍはあらかじめ登録された人物であると判定し、求めた類似度が判定用閾値以上でない場合、当該認証対象者Ｍはあらかじめ登録された人物でないと判定する。この顔照合処理には、たとえば、文献（山口．福井．前田，”動画像を用いた顔認識システム”，信学技報ＰＲＭＵ９７−５０，ｐｐ．１７−２３，１９９７−０６）に記載されている相互部分空間法を用いることで実現可能である。得られた顔照合結果は認証制御部２８に送られる。
【００２５】
表示部２６は、たとえば、ドア１２の近傍に設置されていて、認証対象者Ｍに対して、現在の顔認証の状況を表示するものであり、液晶表示器またはＣＲＴ表示器などから構成されている。
【００２６】
ドア制御部２７は、ドア１２に対し開閉を指示するドア制御信号を送る。すなわち、たとえば、認証制御部２８からのドア通過可能信号がオンのときは開錠を行ない、ドア通行可能信号がオフのときは開錠せずに警告音を出して認証対象者Ｍの通行を阻止する。
【００２７】
認証制御部２８は、本装置全体の制御を行なうもので、その制御内容は、たとえば、顔照合部２５から得られる顔照合結果に基づいて表示部２６に対し表示制御情報を出力するとともに、ドア制御部２７に対しドア通行制御信号を出力する。
【００２８】
次に、上記のような構成において、図８に示すフローチャートを参照して全体的な動作を説明する。
たとえば、カメラ１３，１４，１５の各視野１３ａ，１４ａ，１５ａ内に歩行者Ｍが出現したことを、図示しない人間センサあるいはカメラ１３，１４，１５からの画像により検知されると（ステップＳＴ１）、カメラ１３，１４，１５は当該歩行者Ｍの顔画像を撮像し、入力画像選択部２１へ送る（ステップＳＴ２）。入力画像選択部２１は、カメラ１３，１４，１５から得られる３つの画像の中から最適な正面からの顔画像を選択する。
【００２９】
すなわち、まず、たとえば、カメラ１３から得られる入力画像に対し、顔領域検出部２２と同様な手法により顔領域の検出を行ない、検出した３つの顔領域内の画像に対し顔の輪郭ａを抽出するとともに（ステップＳＴ３）、目ｂ、鼻ｃ、口ｄ等の各特徴点を抽出する（ステップＳＴ４）。
【００３０】
次に、抽出した顔の輪郭ａの面積Ｓ１を算出するとともに（ステップＳＴ５）、抽出した各特徴点ｂ，ｃ，ｄ間の距離から特徴点の分布面積Ｓ２を求める（ステップＳＴ６）。次に、求めた輪郭面積Ｓ１に対する分布面積Ｓ２の割合Ｓ３（＝Ｓ２／Ｓ１）を求める（ステップＳＴ７）。
【００３１】
次に、全てのカメラに対して割合Ｓ３の算出処理が終了したか否かをチェックし（ステップＳＴ８）、全てのカメラに対して終了していない場合、ステップＳＴ３に戻って上記同様な処理を繰り返すことにより、次のカメラに対する処理、この例ではカメラ１４に対する割合Ｓ３の算出処理を行なう。
【００３２】
ステップＳＴ８におけるチェックの結果、全てのカメラ１４に対する割合Ｓ３の算出処理が終了した場合、カメラ１３，１４，１５から得られた３つの画像の中から、上記したように求めた割合Ｓ３が最大となる画像を正面からの顔画像（最も正面に近い顔画像）として特定し、この特定した正面の顔画像を選択する（ステップＳＴ９）。
【００３３】
次に、選択された正面の顔画像を用いて照合処理を行なう（ステップＳＴ１０，ＳＴ１１）。すなわち、まず、顔領域検出部２２は、入力画像選択部２１から送られた画像から歩行者Ｍの顔領域を検出する。次に、顔特徴抽出部２３は、顔領域検出部２２により得られる顔領域情報から、照合時に利用する特徴量を抽出する。
【００３４】
次に、顔照合部２５は、顔特徴抽出部２３で抽出された歩行者Ｍの顔特徴情報と顔照合辞書部２４に記憶されている顔特徴情報（辞書情報）との類似度を求め、求めた類似度があらかじめ設定された判定用閾値以上である場合、当該歩行者Ｍはあらかじめ登録された人物であると判定し、求めた類似度が判定用閾値以上でない場合、当該歩行者Ｍはあらかじめ登録された人物でないと判定する。
【００３５】
ステップＳＴ１０，ＳＴ１１における照合の結果、当該歩行者Ｍはあらかじめ登録された人物であると判定された場合、ドア１２の開錠を行ない、当該歩行者Ｍに対し通過を許可し（ステップＳＴ１２）、当該歩行者Ｍはあらかじめ登録された人物でないと判定された場合、ドア１２は開錠せずに警告音を出し、当該歩行者Ｍに対し通過を不許可とする（ステップＳＴ１３）。
【図面の簡単な説明】
【００３６】
【図１】本発明の実施の形態に係る顔認証装置が適用される入退場管理装置における画像入力用カメラの配置状態を概略的に示す模式図。
【図２】図１において横から見た模式図。
【図３】図１において上から見た模式図。
【図４】本発明の実施の形態に係る顔認証装置が適用される入退場管理装置の構成を概略的に示すブロック図。
【図５】顔の輪郭面積および特徴点の分布面積を求める方法を説明するための図。
【図６】歩行者が正面を向いて歩いてきた場合の３つのカメラから得られる３つの画像の一例を示す図。
【図７】歩行者が右を向いて歩いてきた場合の３つのカメラから得られる３つの画像の一例を示す図。
【図８】全体的な動作を説明するフローチャート。
【符号の説明】
【００３７】
Ｍ…認証対象者（歩行者）、１１…通路、１２…ドア（入退場用ゲート）、１３，１４，１５…カメラ（撮像手段）、１３ａ，１４ａ，１５ａ…視野、２１…入力画像選択部（入力画像選択手段）、２２…顔領域検出部（顔検出手段）、２３…顔特徴抽出部（顔特徴抽出手段）、２４…顔照合辞書部（辞書記憶手段）、２５…顔照合部（顔照合手段）、２６…表示部（表示手段）、２７…ドア制御部（ゲート制御手段）、２８…認証制御部（制御手段）。
【技術分野】
【０００１】
本発明は、たとえば、歩行者を認証対象とし、当該歩行者から取得した顔画像をあらかじめ登録された顔画像と照合することにより当該歩行者はあらかじめ登録された人物であるかを判定する顔認証装置、および、この顔認証装置を用いてセキュリティを必要とする部屋や施設等の入退場対象エリアに対する入退場を管理する入退場管理装置に関する。
【背景技術】
【０００２】
一般に、顔認証装置を用いた入退場管理装置は、ビデオカメラなどのカメラを有していて、認証対象者の顔画像をカメラが撮像して入力し、この入力された顔画像をあらかじめ登録されている顔画像（辞書情報）と照合することにより当該人物はあらかじめ登録された人物であるかを判定し、あらかじめ登録された人物である場合、入退場対象エリア（部屋や施設等）のドアを開放するようになっている（たとえば、特許文献１参照）。
【０００３】
ところで、この種の顔認証装置（入退場管理装置）では、あらかじめ登録された顔画像の角度と照合時に入力された顔画像の角度が異なると認証精度が低下する。特に、認証対象者の移動中に顔認証を行なう歩行者顔認証では、歩行者（認証対象者）の正面の顔画像を安定して捉えることが課題となる。
【０００４】
そこで、左右２つのカメラを有し、いずれか一方のカメラで撮像した顔画像が正面ならば、あらかじめ登録しておいた正面の顔画像との照合を行ない、また、いずれか一方のカメラで撮像した顔画像が横向きならば、あらかじめ登録しておいた横向きの顔画像との照合を行なうようにした技術が考えられている（たとえば、特許文献２参照）。
【特許文献１】特開２００４−１８５２６２号公報
【特許文献２】特開２００２−２８８６７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記した従来の公知技術では、正面からの顔画像だけでなく横向きの顔画像もあらかじめ登録しておく必要があり、また、そのために辞書登録時の利用者の負担が大きく、辞書として登録する必要量も多くなってしまう。
【０００６】
そこで、本発明は、あらかじめ登録する顔画像は正面からの顔画像だけでよく、辞書登録時の負担軽減や辞書容量の節約になるとともに、認証対象者が歩行中等でも精度よく顔認証を行なうことができる顔認証装置および入退場管理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の顔認証装置は、認証対象者の少なくとも顔の特徴情報を含む画像をそれぞれ異なる複数の角度から撮像する複数の撮像手段と、この複数の撮像手段から得られる複数の画像の中から最適な正面からの顔画像を選択する入力画像選択手段と、この入力画像選択手段により選択された正面からの顔画像をあらかじめ登録された顔画像と照合することにより当該認証対象者はあらかじめ登録された人物であるか否かを判定する認証手段とを具備している。
【０００８】
また、本発明の入退場管理装置は、移動する認証対象者が入退場対象エリアに設けられた入退場用ゲートに到達するまでに当該認証対象者の顔認証を行ない、その認証結果に基づき前記入退場用ゲートを開閉制御する入退場管理装置において、前記入退場用ゲートの近傍にそれぞれ設置され、認証対象者の少なくとも顔の特徴情報を含む画像をそれぞれ異なる複数の角度から撮像する複数の撮像手段と、この複数の撮像手段から得られる複数の画像の中から最適な正面からの顔画像を選択する入力画像選択手段と、この入力画像選択手段により選択された正面からの顔画像をあらかじめ登録された顔画像と照合することにより当該認証対象者はあらかじめ登録された人物であるか否かを判定する認証手段と、この認証手段の判定結果に基づき前記入退場用ゲートを開閉制御するゲート制御手段とを具備している。
【発明の効果】
【０００９】
本発明によれば、複数の撮像手段で複数の角度から撮影した顔画像の中から正面の顔画像を選択し、この選択した正面の顔画像を照合に用いることにより、照合対象となる辞書情報として正面からの顔画像のみを登録しておけばよく、辞書登録時の負担軽減や辞書容量の節約になる顔認証装置および入退場管理装置を提供できる。
【００１０】
また、本発明によれば、複数の撮像手段で複数の角度から撮影した顔画像の中から正面の顔画像を選択し、この選択した正面の顔画像を照合に用いることにより、歩行者の顔画像など、正面からの顔画像を取得しにくい場合でも、安定して正面からの顔画像を取得でき、認証対象者が歩行中等でも精度よく顔認証を行なうことができる顔認証装置および入退場管理装置を提供できる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態について図面を参照して説明する。
図１〜図３は、本実施の形態に係る顔認証装置が適用される入退場管理装置における画像入力用カメラ（撮像手段）の配置状態を模式的に示すものである。図において、通路１１は、たとえば、入退場対象エリア（部屋や施設等）の入退場用ゲートとしてのドア１２が設けられた入口に連通されていて、この入口（ドア１２）に向って図示矢印Ａ方向に認証対象者（以下、歩行者ともいう）Ｍが通路１１を通行するものとする。
【００１２】
ドア１２の外側（通路１１側）には、認証対象者Ｍの少なくとも顔の特徴情報を含む画像をそれぞれ異なる複数の角度から撮像する複数（この例では３つ）の撮像手段としてカメラ１３，１４，１５が設置されている。カメラ１３，１４，１５は、たとえば、ＣＣＤセンサなどの撮像素子を用いたテレビジョンカメラから構成されていて、カメラ１３は認証対象者Ｍの進行方向Ａに対する正面に設置され、カメラ１４，１５はカメラ１３の両側部にそれぞれ設置されている。
【００１３】
これにより、３つのカメラ１３，１４，１５の各視野１３ａ，１４ａ，１５ａは、図１および図２に破線で示すようになり、歩行者Ｍの通過時に当該歩行者Ｍの少なくとも顔が通過する位置を確実に撮像できるように設置位置が設定されている。
【００１４】
図４は、本実施の形態に係る顔認証装置が適用される入退場管理装置の構成を概略的に示すものである。この入退場管理装置は、図１〜図３で説明したカメラ１３，１４，１５、入力画像選択手段としての入力画像選択部２１、顔検出手段としての顔領域検出部２２、顔特徴抽出手段としての顔特徴抽出部２３、辞書記憶手段としての顔照合辞書部２４、顔照合手段としての顔照合部２５、表示手段としての表示部２６、ゲート制御手段としてのドア制御部２７、および、全体的な制御を司る制御手段としての認証制御部２８を有して構成されている。
【００１５】
以下、各構成要素について詳細に説明する。
入力画像選択部２１は、たとえば、カメラ１３，１４，１５の各視野１３ａ，１４ａ，１５ａ内に認証対象者Ｍが出現したことを、図示しない人間センサあるいはカメラ１３，１４，１５からの画像により検知されると、カメラ１３，１４，１５から得られる３つの画像の中から最適な正面からの顔画像を選択し、この選択した正面の顔画像を顔領域検出部２２に送る。
【００１６】
ここで、入力画像選択部２１において、顔の正面画像（正面からの顔画像）を特定（選択）する方法の具体例について説明する。まず、カメラ１３，１４，１５から得られる３つの入力画像に対し、それぞれ顔領域検出部２２と同様な手法により顔領域の検出を行なう。次に、図５に示すように、検出した３つの顔領域内の画像に対し顔の輪郭ａを抽出するとともに、目ｂ、鼻ｃ、口ｄ等の各特徴点を抽出する。
【００１７】
次に、図５に示すように、抽出した顔の輪郭ａの面積Ｓ１を算出するとともに、抽出した各特徴点ｂ，ｃ，ｄ間の距離から特徴点の分布面積Ｓ２を求める。次に、求めた輪郭面積Ｓ１に対する分布面積Ｓ２の割合Ｓ３（＝Ｓ２／Ｓ１）を求める。次に、求めた割合Ｓ３が最大となる入力画像を正面からの顔画像（最も正面に近い顔画像）として特定し、この特定した正面の顔画像を選択する。
【００１８】
たとえば、ドア１２に正面を向いて歩いてきた歩行者Ｍの顔画像を撮像した場合、カメラ１３，１４，１５からは例えば図６に示すような３つの画像１３ｂ，１４ｂ，１５ｂが取得される。これらの画像１３ｂ，１４ｂ，１５ｂの中で、顔の輪郭に対して顔の特徴点が一番広範囲に分布しているカメラ１３の画像１３ｂが一番正面に近い顔画像であると判断できる。
【００１９】
同様に、たとえば、右を向いて歩いてきた歩行者Ｍの顔画像を撮像した場合、カメラ１３，１４，１５からは例えば図７に示すような３つの画像１３ｂ，１４ｂ，１５ｂが取得される。これらの画像１３ｂ，１４ｂ，１５ｂの中で、顔の輪郭に対して顔の特徴点が一番広範囲に分布しているカメラ１４の画像１４ｂが一番正面に近い顔画像であると判断できる。
このようにして、３つのカメラ１３，１４，１５により取得された画像１３ｂ，１４ｂ，１５ｂから一番正面に近い顔画像であると判断されたものを正面の顔画像として選択するものである。
【００２０】
なお、顔の正面画像を特定する方法は、上記方法に限定されるものではなく、その他の方法であってもよい。
【００２１】
顔領域検出部２２は、入力画像選択部２１から送られた画像から認証対象者Ｍの顔領域を検出する。これは、たとえば、文献（福井，山口．”形状抽出とパターン照合の組合せによる顔特徴点抽出”，信学論，（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−Ｈ，Ｎｏ．８，ｐｐ．２１７０−２１７７，１９９７）に記載されている方法などを用いることで、精度の高い顔領域の検出が実現可能である。
【００２２】
顔領域検出部２２で検出された顔領域情報は、顔特徴抽出部２３に送られる。顔特徴抽出部２３は、照合時に利用する特徴量を抽出するもので、たとえば、顔領域検出部２２により得られる顔領域情報から、顔の特徴点を基準に一定の大きさ、形状に切り出し、その濃淡情報を特徴量として用いる。ここでは、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用い、ｍ×ｎ次元の情報を特徴ベクトルとして用いる。これらのデータから特徴ベクトルの相関行列を求め、周知のＫ−Ｌ展開による正規直交ベクトルを求めることにより、部分空間を計算する。部分空間の計算法は、特徴ベクトルの相関行列（または共分散行列）を求め、そのＫ−Ｌ展開による正規直交ベクトル（固有ベクトル）を求めることにより、部分空間を計算する。部分空間は、固有値に対応する固有ベクトルを固有値の大きな順にｋ個選び、その固有ベクトル集合を用いて表現する。本実施の形態では、相関行列Ｃｄを特徴ベクトルから求め、相関行列
【数１】
と対角化して、固有ベクトルの行列Φを求める。この部分空間は、人物の同定を行なうための顔特徴情報として利用する。この情報をあらかじめ登録しておいて、それを辞書として登録しておけばよい。また、後で述べるように、識別を行なうための顔特徴情報として部分空間自身を利用してもよい。算出した顔特徴情報は、顔照合辞書部２４および顔照合部２５に送られる。
【００２３】
顔照合辞書部２４は、顔特徴抽出部２３から得られた顔特徴情報を辞書情報として保持し、認証対象者Ｍとの類似度を計算できるようにしている。保持された顔特徴情報は必要に応じて顔照合部２５に出力される。
【００２４】
顔照合部２５は、顔特徴抽出部２３で抽出された認証対象者Ｍの顔特徴情報と顔照合辞書部２４に記憶されている顔特徴情報（辞書情報）との類似度を求め、求めた類似度があらかじめ設定された判定用閾値以上である場合、当該認証対象者Ｍはあらかじめ登録された人物であると判定し、求めた類似度が判定用閾値以上でない場合、当該認証対象者Ｍはあらかじめ登録された人物でないと判定する。この顔照合処理には、たとえば、文献（山口．福井．前田，”動画像を用いた顔認識システム”，信学技報ＰＲＭＵ９７−５０，ｐｐ．１７−２３，１９９７−０６）に記載されている相互部分空間法を用いることで実現可能である。得られた顔照合結果は認証制御部２８に送られる。
【００２５】
表示部２６は、たとえば、ドア１２の近傍に設置されていて、認証対象者Ｍに対して、現在の顔認証の状況を表示するものであり、液晶表示器またはＣＲＴ表示器などから構成されている。
【００２６】
ドア制御部２７は、ドア１２に対し開閉を指示するドア制御信号を送る。すなわち、たとえば、認証制御部２８からのドア通過可能信号がオンのときは開錠を行ない、ドア通行可能信号がオフのときは開錠せずに警告音を出して認証対象者Ｍの通行を阻止する。
【００２７】
認証制御部２８は、本装置全体の制御を行なうもので、その制御内容は、たとえば、顔照合部２５から得られる顔照合結果に基づいて表示部２６に対し表示制御情報を出力するとともに、ドア制御部２７に対しドア通行制御信号を出力する。
【００２８】
次に、上記のような構成において、図８に示すフローチャートを参照して全体的な動作を説明する。
たとえば、カメラ１３，１４，１５の各視野１３ａ，１４ａ，１５ａ内に歩行者Ｍが出現したことを、図示しない人間センサあるいはカメラ１３，１４，１５からの画像により検知されると（ステップＳＴ１）、カメラ１３，１４，１５は当該歩行者Ｍの顔画像を撮像し、入力画像選択部２１へ送る（ステップＳＴ２）。入力画像選択部２１は、カメラ１３，１４，１５から得られる３つの画像の中から最適な正面からの顔画像を選択する。
【００２９】
すなわち、まず、たとえば、カメラ１３から得られる入力画像に対し、顔領域検出部２２と同様な手法により顔領域の検出を行ない、検出した３つの顔領域内の画像に対し顔の輪郭ａを抽出するとともに（ステップＳＴ３）、目ｂ、鼻ｃ、口ｄ等の各特徴点を抽出する（ステップＳＴ４）。
【００３０】
次に、抽出した顔の輪郭ａの面積Ｓ１を算出するとともに（ステップＳＴ５）、抽出した各特徴点ｂ，ｃ，ｄ間の距離から特徴点の分布面積Ｓ２を求める（ステップＳＴ６）。次に、求めた輪郭面積Ｓ１に対する分布面積Ｓ２の割合Ｓ３（＝Ｓ２／Ｓ１）を求める（ステップＳＴ７）。
【００３１】
次に、全てのカメラに対して割合Ｓ３の算出処理が終了したか否かをチェックし（ステップＳＴ８）、全てのカメラに対して終了していない場合、ステップＳＴ３に戻って上記同様な処理を繰り返すことにより、次のカメラに対する処理、この例ではカメラ１４に対する割合Ｓ３の算出処理を行なう。
【００３２】
ステップＳＴ８におけるチェックの結果、全てのカメラ１４に対する割合Ｓ３の算出処理が終了した場合、カメラ１３，１４，１５から得られた３つの画像の中から、上記したように求めた割合Ｓ３が最大となる画像を正面からの顔画像（最も正面に近い顔画像）として特定し、この特定した正面の顔画像を選択する（ステップＳＴ９）。
【００３３】
次に、選択された正面の顔画像を用いて照合処理を行なう（ステップＳＴ１０，ＳＴ１１）。すなわち、まず、顔領域検出部２２は、入力画像選択部２１から送られた画像から歩行者Ｍの顔領域を検出する。次に、顔特徴抽出部２３は、顔領域検出部２２により得られる顔領域情報から、照合時に利用する特徴量を抽出する。
【００３４】
次に、顔照合部２５は、顔特徴抽出部２３で抽出された歩行者Ｍの顔特徴情報と顔照合辞書部２４に記憶されている顔特徴情報（辞書情報）との類似度を求め、求めた類似度があらかじめ設定された判定用閾値以上である場合、当該歩行者Ｍはあらかじめ登録された人物であると判定し、求めた類似度が判定用閾値以上でない場合、当該歩行者Ｍはあらかじめ登録された人物でないと判定する。
【００３５】
ステップＳＴ１０，ＳＴ１１における照合の結果、当該歩行者Ｍはあらかじめ登録された人物であると判定された場合、ドア１２の開錠を行ない、当該歩行者Ｍに対し通過を許可し（ステップＳＴ１２）、当該歩行者Ｍはあらかじめ登録された人物でないと判定された場合、ドア１２は開錠せずに警告音を出し、当該歩行者Ｍに対し通過を不許可とする（ステップＳＴ１３）。
【図面の簡単な説明】
【００３６】
【図１】本発明の実施の形態に係る顔認証装置が適用される入退場管理装置における画像入力用カメラの配置状態を概略的に示す模式図。
【図２】図１において横から見た模式図。
【図３】図１において上から見た模式図。
【図４】本発明の実施の形態に係る顔認証装置が適用される入退場管理装置の構成を概略的に示すブロック図。
【図５】顔の輪郭面積および特徴点の分布面積を求める方法を説明するための図。
【図６】歩行者が正面を向いて歩いてきた場合の３つのカメラから得られる３つの画像の一例を示す図。
【図７】歩行者が右を向いて歩いてきた場合の３つのカメラから得られる３つの画像の一例を示す図。
【図８】全体的な動作を説明するフローチャート。
【符号の説明】
【００３７】
Ｍ…認証対象者（歩行者）、１１…通路、１２…ドア（入退場用ゲート）、１３，１４，１５…カメラ（撮像手段）、１３ａ，１４ａ，１５ａ…視野、２１…入力画像選択部（入力画像選択手段）、２２…顔領域検出部（顔検出手段）、２３…顔特徴抽出部（顔特徴抽出手段）、２４…顔照合辞書部（辞書記憶手段）、２５…顔照合部（顔照合手段）、２６…表示部（表示手段）、２７…ドア制御部（ゲート制御手段）、２８…認証制御部（制御手段）。
【特許請求の範囲】
【請求項１】
認証対象者の少なくとも顔の特徴情報を含む画像をそれぞれ異なる複数の角度から撮像する複数の撮像手段と、
この複数の撮像手段から得られる複数の画像の中から最適な正面からの顔画像を選択する入力画像選択手段と、
この入力画像選択手段により選択された正面からの顔画像をあらかじめ登録された顔画像と照合することにより当該認証対象者はあらかじめ登録された人物であるか否かを判定する認証手段と、
を具備したことを特徴とする顔認証装置。
【請求項２】
前記複数の撮像手段は、前記認証対象者の進行方向に対する正面に設置された少なくとも１つの第１の撮像手段と、この第１の撮像手段の両側部にそれぞれ設置された少なくとも１つの第２、第３の撮像手段とから構成されていることを特徴とする請求項１記載の顔認証装置。
【請求項３】
前記入力画像選択手段は、前記複数の撮像手段から得られる複数の画像に対してそれぞれ顔の輪郭および目、鼻、口などの特徴点を抽出し、これら抽出された輪郭の面積および特徴点の分布面積をそれぞれ求め、これら求めた輪郭面積に対する特徴点の分布面積の割合が最大のものを最適な正面からの顔画像として選択することを特徴とする請求項１記載の顔認証装置。
【請求項４】
移動する認証対象者が入退場対象エリアに設けられた入退場用ゲートに到達するまでに当該認証対象者の顔認証を行ない、その認証結果に基づき前記入退場用ゲートを開閉制御する入退場管理装置において、
前記入退場用ゲートの近傍にそれぞれ設置され、認証対象者の少なくとも顔の特徴情報を含む画像をそれぞれ異なる複数の角度から撮像する複数の撮像手段と、
この複数の撮像手段から得られる複数の画像の中から最適な正面からの顔画像を選択する入力画像選択手段と、
この入力画像選択手段により選択された正面からの顔画像をあらかじめ登録された顔画像と照合することにより当該認証対象者はあらかじめ登録された人物であるか否かを判定する認証手段と、
この認証手段の判定結果に基づき前記入退場用ゲートを開閉制御するゲート制御手段と、
を具備したことを特徴とする入退場管理装置。
【請求項５】
前記複数の撮像手段は、前記認証対象者の進行方向に対する正面に設置された少なくとも１つの第１の撮像手段と、この第１の撮像手段の両側部にそれぞれ設置された少なくとも１つの第２、第３の撮像手段とから構成されていることを特徴とする請求項４記載の入退場管理装置。
【請求項６】
前記入力画像選択手段は、前記複数の撮像手段から得られる複数の画像に対してそれぞれ顔の輪郭および目、鼻、口などの特徴点を抽出し、これら抽出された輪郭の面積および特徴点の分布面積をそれぞれ求め、これら求めた輪郭面積に対する特徴点の分布面積の割合が最大のものを最適な正面からの顔画像として選択することを特徴とする請求項４記載の入退場管理装置。
【請求項１】
認証対象者の少なくとも顔の特徴情報を含む画像をそれぞれ異なる複数の角度から撮像する複数の撮像手段と、
この複数の撮像手段から得られる複数の画像の中から最適な正面からの顔画像を選択する入力画像選択手段と、
この入力画像選択手段により選択された正面からの顔画像をあらかじめ登録された顔画像と照合することにより当該認証対象者はあらかじめ登録された人物であるか否かを判定する認証手段と、
を具備したことを特徴とする顔認証装置。
【請求項２】
前記複数の撮像手段は、前記認証対象者の進行方向に対する正面に設置された少なくとも１つの第１の撮像手段と、この第１の撮像手段の両側部にそれぞれ設置された少なくとも１つの第２、第３の撮像手段とから構成されていることを特徴とする請求項１記載の顔認証装置。
【請求項３】
前記入力画像選択手段は、前記複数の撮像手段から得られる複数の画像に対してそれぞれ顔の輪郭および目、鼻、口などの特徴点を抽出し、これら抽出された輪郭の面積および特徴点の分布面積をそれぞれ求め、これら求めた輪郭面積に対する特徴点の分布面積の割合が最大のものを最適な正面からの顔画像として選択することを特徴とする請求項１記載の顔認証装置。
【請求項４】
移動する認証対象者が入退場対象エリアに設けられた入退場用ゲートに到達するまでに当該認証対象者の顔認証を行ない、その認証結果に基づき前記入退場用ゲートを開閉制御する入退場管理装置において、
前記入退場用ゲートの近傍にそれぞれ設置され、認証対象者の少なくとも顔の特徴情報を含む画像をそれぞれ異なる複数の角度から撮像する複数の撮像手段と、
この複数の撮像手段から得られる複数の画像の中から最適な正面からの顔画像を選択する入力画像選択手段と、
この入力画像選択手段により選択された正面からの顔画像をあらかじめ登録された顔画像と照合することにより当該認証対象者はあらかじめ登録された人物であるか否かを判定する認証手段と、
この認証手段の判定結果に基づき前記入退場用ゲートを開閉制御するゲート制御手段と、
を具備したことを特徴とする入退場管理装置。
【請求項５】
前記複数の撮像手段は、前記認証対象者の進行方向に対する正面に設置された少なくとも１つの第１の撮像手段と、この第１の撮像手段の両側部にそれぞれ設置された少なくとも１つの第２、第３の撮像手段とから構成されていることを特徴とする請求項４記載の入退場管理装置。
【請求項６】
前記入力画像選択手段は、前記複数の撮像手段から得られる複数の画像に対してそれぞれ顔の輪郭および目、鼻、口などの特徴点を抽出し、これら抽出された輪郭の面積および特徴点の分布面積をそれぞれ求め、これら求めた輪郭面積に対する特徴点の分布面積の割合が最大のものを最適な正面からの顔画像として選択することを特徴とする請求項４記載の入退場管理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００７−２０６８９８（Ｐ２００７−２０６８９８Ａ）
【公開日】平成１９年８月１６日（２００７．８．１６）
【国際特許分類】
【出願番号】特願２００６−２３８４９（Ｐ２００６−２３８４９）
【出願日】平成１８年１月３１日（２００６．１．３１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成１９年８月１６日（２００７．８．１６）
【国際特許分類】
【出願日】平成１８年１月３１日（２００６．１．３１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]