画像処理装置及び入退室管理システム
【課題】 精度の高い顔認証を提供する。
【解決手段】 顔認証における登録画像または照明用画像について、同じ人物の複数の画像を入力して各画像から顔領域を検出し、検出された顔領域をそれぞれ正規化し、複数枚の正規化顔画像の間の相関値を計算する。そして、相関値の分布において平均からのズレが所定値より小さい正規化顔画像のみを選択する。登録時には、選択された顔画像をデータベースに登録する。また、照合時には、登録顔画像と照合用顔画像をと比較して同一人物であるか否かを判定する判定部とを備える。
【解決手段】 顔認証における登録画像または照明用画像について、同じ人物の複数の画像を入力して各画像から顔領域を検出し、検出された顔領域をそれぞれ正規化し、複数枚の正規化顔画像の間の相関値を計算する。そして、相関値の分布において平均からのズレが所定値より小さい正規化顔画像のみを選択する。登録時には、選択された顔画像をデータベースに登録する。また、照合時には、登録顔画像と照合用顔画像をと比較して同一人物であるか否かを判定する判定部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、顔画像を比較して同一人物であるか否かを判定する画像処理や、それを用いた入退室管理に関するものである。
【背景技術】
【０００２】
オフィスなどにおいて、顔認証を用いた入退室管理システムが使用されている。訪問者があると、カメラで顔が撮影され、登録されていた顔と同一であると認証されると、入室が許可される。顔認証アルゴリズムでは、登録時に、撮影した画像の中から顔領域を検出した後、その顔の向き、大きさ、輝度値分布などが正規化された顔画像を生成する。顔が傾いている場合は、一定の向き（正立）に正規化される。照合時も、同様に正規化された顔画像を生成する。そして、この正規化された登録顔画像と正規化された照合用顔画像との間で認証処理が行われる。
【０００３】
顔認証システムにおいて、同一人物の顔どうしであっても、顔向き変化、瞬きを含めた表情変化、及び、照明変化の度合いが大きいと認証率が低下するという問題がある。従来は、顔が含まれる画像から、顔の向き、大きさ、輝度値分布などが正規化された正規化画像を生成する顔検出アルゴリズムの開発、また、正規化後に顔画像に含まれる顔の向き、表情変化、照明変化にロバストな顔認証アルゴリズムの開発が行われてきた。
【０００４】
たとえば、山口、福井、前田による「動画像を用いた顔認識システム」（信学技報PRMU97-50, pp.17-24, 1997）では、顔認識において顔向きや表情変化といった変動を吸収するため、動画の時系列画像を用いる。ここで、登録画像と照合画像に部分空間を用い、顔画像から瞳、鼻孔などの特徴点を抽出し、それを基に顔領域の位置やサイズを正規化する。特開２０００−３００６５号公報に記載されたパターン認識では、同様に、登録画像と照合画像に部分空間を用いている。ここで、登録画像として複数枚の画像を動画像として撮影し、これらの画像を主成分分析することで、基底ベクトルからなる部分空間を生成する。また、同様に照合時にも複数枚の顔画像を撮影し、部分空間を生成する。ここで、照明変動や経年変動によるパターン変化を取り除くため、認識に不必要な部分空間を取り除いておく。照合画像と登録画像との類似度は、この部分空間のなす角度で求められる。
【０００５】
一方、特開平１０−２３２９３４号公報に記載された顔画像登録では、人物の顔を連続的に撮影して顔画像の学習データとして用いる。ここで、抽出された顔領域から求まる特徴量（瞳、鼻孔など）をあらかじめ設定された基準と比較し、大きく特徴量の位置が変化した場合、たとえば、目を閉じた画像や口を開けた画像を学習画像から自動的に取り除く。したがって、瞬きによる表情変化などによる変動は除去できる。
【非特許文献１】山口、福井、前田、「動画像を用いた顔認識システム」、信学技報PRMU97-50, pp.17-24, 1997
【特許文献１】特開２０００−３００６５号公報
【特許文献２】特開平１０−２３２９３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、従来の顔認識の認識にはなお問題がある。たとえば、登録画像と照合画像とに部分空間を用いる前述の手法では、部分空間の生成時に、多数の照明や顔向きの変動を持った画像を取得する必要がある。この時、それらの画像の中に、たとえば瞬きによる表情変化として目が閉じている顔画像が含まれていた場合や、正規化顔画像生成時の正規化誤差が含まれていた場合には、認証率が大きく低下するという問題がある。特に、登録時と照合時との間の一方にのみ、そのような画像変動が含まれる場合に大きな問題となる。
【０００７】
また、大きく特徴量の位置が変化した顔画像を取り除く前述の顔登録では、悪影響を及ぼす変動として、これら特徴点から計算できる瞬きなどの表情変化は排除できる。しかし、登録時および照合時の画像の変動のうち、認証率を悪化させる要素は、特徴点により求められるものだけではない。認証率を悪化させる画像には、たとえば、顔を所望の大きさに切り出す正規化における計算誤差が大きい画像や、明示的に分かりづらい照明変化が生じている画像も含まれる。したがって、特徴点からは求められないそのような認証率を悪化させる変動は除去できない。
【０００８】
本発明の目的は、精度の高い顔認証を提供することである。
【課題を解決するための手段】
【０００９】
本発明に係る第１の画像処理装置は、同じ人物の複数の画像を入力して各画像から顔領域を検出する照合用顔検出部と、前記顔検出部により検出された前記顔領域をそれぞれ正規化して正規化顔画像を生成する照合用正規化処理部と、前記正規化処理部により生成された複数枚の正規化顔画像の間の相関値を計算する照合用相関値計算部と、 前記相関値の分布において、生成された複数枚の正規化画像全体の相関値の分散を第１しきい値と比較して、第１しきい値より小さければ、すべての正規化画像を選択し、その他の場合、前記の複数の正規化画像の中の各々について、当該正規化画像の相関値の分散を第２しきい値と比較し、第２しきい値より小さい場合に当該正規化画像を選択する照合顔画像選択部と、登録用正規化顔画像またはこの正規化顔画像から計算される顔の特徴量が登録されているデータベースから読み出した登録用正規化顔画像またはそれらの登録用正規化顔画像から計算される顔の特徴量を、選択された照合用正規化顔画像またはそれらの照合用正規化顔画像から計算される顔の特徴量と比較して同一人物であるか否かを判定する判定部とを備える。
【００１０】
本発明に係る第２の画像処理装置は、同じ人物の複数の画像を入力して各画像から顔領域を検出する照合用顔検出部と、前記顔検出部により検出された前記顔領域をそれぞれ正規化して正規化顔画像を生成する照合用正規化処理部と、前記正規化処理部により生成された複数枚の正規化顔画像の間の相関値を計算する照合用相関値計算部と、 前記相関値の分布において、生成された複数枚の正規化画像全体の相関値の分散を第１しきい値と比較して、第１しきい値より小さければ、すべての正規化画像を選択し、その他の場合、前記の複数の正規化画像の中の各々について、当該正規化画像の相関値の分散を第２しきい値と比較し、第２しきい値より小さい場合に当該正規化画像を選択する照合顔画像選択部と、前記データベースから読み出した登録用正規化顔画像または登録用正規化顔画像から計算される顔の特徴量を、選択された照合用正規化顔画像または照合用正規化顔画像から計算される顔の特徴量と比較して同一人物であるか否かを判定する判定部とを備える。
【００１１】
本発明に係る入退室管理システムは、入室者を撮影するカメラと、前記カメラで撮影された１人の人物の複数の画像を入力し、データベースに登録されている人物と同一であるか否かを判定する前記画像処理装置と、前記画像処理装置が同一人物であると判定すると解錠される電気錠を備えるドアとからなる。
【発明の効果】
【００１２】
登録画像の候補顔画像間、照合用画像の候補顔画像間、照合用候補画像と登録された顔画像間など、複数の顔画像間での相関値を事前に計算して、条件の異なる画像が登録されるのを、また、照合に用いられるのを排除するので、顔の向き、瞬きを含む表情変化などにロバストな精度の高い画像処理装置を実現できる。照明アルゴリズムとは別に、画像を排除する際に、事前に瞬き検知などの排除に必要な特徴量抽出を行う必要がない。
【発明を実施するための最良の形態】
【００１３】
以下、添付の図面を参照して発明の実施の形態を説明する。
【００１４】
図１は、オフィスなどで使用される入退室管理システムを示す。このシステムでは、ＩＣカードにより登録者のＩＤを指定して顔認証を行う（１：１認証）。登録者のＩＤを指定することにより照合すべき顔画像が指定できる。顔画像の初期登録時には、ＩＣカード（たとえば非接触ＩＣカード）により登録者のＩＤを指定した後に、ユーザーインタフェース１０に設置されるカメラ１６で登録者の顔を複数枚撮影する。そして、画像処理により正規化顔画像を作成して、登録画像データベース５４に記憶しておく。照合時には、訪問者が入室しようとするとき、ユーザーインタフェース１０のカードインタフェース１２においてＩＣカード１４を読み取らせて、身元を明らかにする。このとき、カメラ１６は、訪問者の顔画像を撮影する。画像処理装置２０は、登録画像データベース５４から、登録者のＩＤに対応する登録用画像を読み出す。一方、カメラ１６で撮影された画像から画像処理により照合用正規化顔画像を作成し、登録画像と比較して、同一人物かどうかを判定する。同一人物であると判定すると、ドア３０の電気錠を解錠して、入室を許可する。なお、ＩＣカードの代わりに、ＩＤ番号などを入力するようにしてもよい。
【００１５】
図２は、顔認証のための画像処理装置２０の構成を示す。画像処理装置２０は、通常のコンピュータと同様の構成を備える。全体を制御するＣＰＵ４０は、プログラムやデータを記憶したＲＯＭ４２やワークエリアであるＲＡＭ４４に接続される。ＣＰＵ４０は、さらに、顔認証のための画像処理プログラムを含む各種プログラムやデータを記憶するハードディスクドライブ４６や、入力用のキーボード４８とマウス５０や、表示装置としてのモニタ５２に接続される。ＣＰＵ４０は、登録顔画像を記憶する登録画像データベース５４を備えるが、これは、ハードディスクドライブ４６と一体化されていてもよい。また、ＣＰＵ４０は、入出力インタフェース５６を介して、ユーザーインタフェース１０のカードインタフェース１２やカメラ１６およびドア３０の電気錠３２に接続される。
【００１６】
この発明では、同じ人物について撮影された複数の顔画像について、画像間の相関値を登録前に計算することで、条件（姿勢、表情など）が異なる特定の顔画像が登録されるのを排除する。これにより、認証に不適切な顔画像を事前に登録から排除する。したがって、正規化後に画像に残される顔の向き、表情変化、照明変化などの過度のばらつきをなくせるので、認証率低下を防止でき、精度の高い画像処理装置を実現する。なお、照合アルゴリズムとは別に、画像を排除する際に、事前に瞬き検知などの排除に必要な特徴量抽出を行う必要はない。
【００１７】
次に、第１の実施の形態の画像登録時の画像処理について説明する。図３は、画像処理装置２０の画像処理プログラムの処理を示す。このプログラムは、顔認証装置２０のハードディスクドライブ４６に記憶されＣＰＵ４０により実行されるが、たとえばユーザーインタフェース１０に設けた登録ボタン（図示しない）を押すことにより起動される。まず、カメラ１６を作動させて顔画像を連続的に撮影して、それらの画像を入力する。そして、各画像においてパターンマッチングなどを用いて顔領域を検出し（Ｓ１０）、目、鼻、口などの特徴点を抽出して、その顔の向き、大きさ、輝度値分布などが補正された正規化顔画像を生成する（Ｓ１２）。正規化の手法としては公知の適当な手法を用いればよい。正規化画像の大きさは、たとえば目の位置を元に一定の大きさや目と鼻の位置を基に正規化される。次に、生成された複数枚の正規化顔画像の間の相関値を計算する（Ｓ１４）。相関値の計算には、パターンマッチングなどの公知の適当な照合アルゴリズムを用いることができるが、後述の照合アルゴリズムを用いるとさらに効果的である。次に、相関値の分布パターンから特定の顔画像のみを選択する（Ｓ１６）。分布パターンからの選択方法としては、たとえば、相関値の平均値を求め、平均値よりあるしきい値以下の範囲に含まれる正規化画像を除いて選択する。また、たとえばガウス分布を推定して、ズレの大きい画像を除くようにしてもよい。そして、こうして選択された複数の正規化顔画像を登録画像データベース５４に登録する（Ｓ１８）。また、正規化画像でなく、正規化画像から輝度値情報からなる濃淡データを登録してもよい。また、正規化顔画像そのものではなく、正規化顔画像から計算される顔の特徴量を登録するようにしてもよい。登録される顔の特徴量は、たとえば、目、鼻、口といったパーツの位置、または、ＦＦＴを適用した結果得られる周波数と振幅の情報、または、主成分分析（ＰＣＡ）を適用して得られる基底ベクトルの係数などである。
【００１８】
相関値の計算（Ｓ１４)では、たとえば類似度を相関値として計算する。類似度は公知の適当な手法で計算すればよい。たとえば、顔のパーツごとに判断してもよい。登録時に撮影した複数の画像をA0、A1、A2、A3とすると、図４に示すように、画像Ａｍと画像Ａｎの間の相関値として類似度Ａｍｎを計算する。もちろん、画像の数は４枚には限られない。撮影した複数の画像内に目の瞬き、顔の傾きなどの姿勢変化、切りだしのずれなどの正規化誤差などの認証精度に悪影響を与える変動要因が入っていると、類似値の分布を表す類似度ヒストグラムには、同一人物の顔画像に関するものであるにもかかわらず類似度の低いデータが存在する。したがって、顔画像の選択（Ｓ１６）において、相関値の分布において平均からのズレが所定値より小さい画像を選択するようにすればよい。たとえば、次に説明するように、画像間で計算される類似度の分布パターンから得られる平均、分散を用いて、認証精度に悪影響を与える画像を事前に排除できる。
【００１９】
いまたとえば画像Ａ１が目の瞬きにより目を閉じた状態の顔画像であるか、または、顔画像の切り出し位置がずれた場合であって、認証精度に悪影響を与える変動要因を含んでいるが、他の画像Ａ０、Ａ２、Ａ３が認証精度に悪影響を与える変動を含まない場合は、画像Ａ１の他の画像との類似度Ａｍｎ（ｍまたはｎ＝１）は、他の画像どうしの間の類似度に比べて低い。したがって、平均類似度が低くなると共に、類似度の分布においてばらつきが大きくなり、分散も大きくなる傾向がある。一方、認証精度に悪影響を与える変動を含まない画像A0, A02, A03の間の類似度Ａｍｎ（ｍ，ｎ≠０）は、すべて類似度が高いため平均類似度が高く、かつ、分散が小さな局所的な分布を持つ。
【００２０】
図５において、上側に、本人画像間の姿勢などのばらつきによる類似度のばらつきの１例を示す。先に述べたように、認証精度に悪影響を与える変動要因が入っている画像があると、類似値の分布を表す類似度ヒストグラムには、同一人物の顔画像に関するものであるにもかかわらず類似度の低いデータが存在する。図５に示されるように、類似度分布は、類似度が大きな多数のデータと、類似度が小さい少数のデータからなる。前者は、認証精度に悪影響を与える変動要因が入っていない画像同士の類似度であり、認証精度に悪影響を与える変動要因が入っている画像が含まれない場合は、後者のデータは含まれない。前者のデータは、先に説明しているように、平均類似度が高く、かつ、分散が小さい。一方、後者は、認証精度に悪影響を与える変動要因が入っている画像とそのような変動要因が入っていない他の画像との類似度であり、認証精度に悪影響を与える変動要因が入っている画像が含まれる場合に現れる。そのような変動要因が入っている画像が含まれる場合、類似度の分布においてばらつきが大きくなり、分散も大きくなる。したがって、画像間で計算される類似度の分布パターンを分析することにより、認証精度に悪影響を与える変動要因が入っている画像を排除できる。たとえば、類似度ヒストグラムにおいて、類似度の平均値より高い類似度のデータと離れて分布している、類似度の低いデータを生じている画像を判別し排除すればよい。参考のため、図５の下側に、本人と他人の画像の間のばらつきによる類似度のばらつきを示すが、この場合、類似度は広い範囲で分布し、分散が大きい。類似度が広い範囲内で分布する点では上側の例と同様であるが、類似度が大きいものと小さいものに分かれることはない。
【００２１】
顔画像選択の１例では、認証精度に悪影響を与える変動要因が入っていない画像どうしの類似度のみからなる分布は、分散が小さいので、分散を適当な閾値と比較することにより判別する。また、認証精度に悪影響を与える変動要因が入っている画像を含む場合、図５の上側に示すように、そのような画像の他の画像との類似値は、他の類似値の高いデータと離れて分布しているので、個々の画像の類似度の分散（ばらつき）を適当な閾値と比較することにより、そのような変動要因が入っている画像を判別し、排除できる。
【００２２】
図６は、上述の顔画像の選択（Ｓ１６）において、類似度の平均、分散を用いた画像の選択（排除）の１例を示す。まず画像セット全体の類似度の分散値Vallを計算する（Ｓ１６０）。分散値が閾値V1より小さな場合は（Ｓ１７０でＮＯ）、現在の画像セットを全て用いる（Ｓ１６４）。前に述べたように、認証精度に悪影響を与える変動を含まない画像の間の類似度は、平均類似度が高く分散が小さな局所的な分布を持つ。そこで、閾値Vallを、平均類似度が高く分散が小さな分布を含むように設定する。そして、画像全体の分散が閾値V1より小さい場合は、認証精度に悪影響を与える変動を含む画像が存在しないと判断して、すべての顔画像を選択する。
【００２３】
一方、分散値Vallがある閾値V0より大きな場合は（Ｓ１６２でＮＯ）、各画像について採用するか排除するかを判断する。前に述べたように、認証精度に悪影響を与える変動要因を含んでいる画像がある場合は、その画像の他の画像との類似度は、認証精度に悪影響を与える変動要因を含まない他の多くの画像どうしの間の類似度に比べてかなり低い。そこで、類似度分布の分散の閾値Viを、認証精度に悪影響を与える変動要因を含んでいる画像を含まないように設定する。すなわち、画像Iiごとに他の画像との類似度Siを求め（Ｓ１６６）、類似度分布の分散値Viを求める（Ｓ１６８）。そして、各画像について、その画像Iiの分散値が閾値V1より大きな場合は（Ｓ１７０でＹＥＳ）、その画像Iiを認証精度に悪影響を与る変動を含む画像として排除する（Ｓ１７２）。こうして、分散値が閾値V1より小さな顔画像のみを選択する。好ましくは、さらに、ステップＳ１６２に戻り、画像Iiを削除した画像群を新たな画像群としてVallを計算する。このように、VallがVoよりも小さくなるまで排除処理を行う。以上に説明した顔画像選択処理は、他の実施の形態における顔画像選択処理でも採用される。
【００２４】
同一人物でも、表情変化が無い画像同士では類似値は大きいが、表情の異なる画像同士では、類似値が小さい。表情変化の一例であるまばたきの場合、連続的に画像を取得した際、目が開いている画像の割合が多く、目が閉じている画像の割合は少ないので、目が開いている画像同士の相関に比べて、目が開いている画像と目が閉じている画像との間では相関が低い。ここで、図６の処理では、類似値分布の平均値よりある閾値V1以上小さい顔画像、すなわち目が閉じている顔画像を登録時に排除するので、照合画像は目が開いているが、登録画像は目が閉じていることでおきる認証時の失敗事例を減らすことができ、したがって、認証精度の高い認証システムが構築可能となる。また、顔向きの変化にも同じことがいえ、連続的に撮影した結果得られた正規化顔画像の相関値を計算することで、向きの異なりの度合いが大きな顔画像を登録から排除する。これにより、照合画像の顔の向きと登録画像の顔の向きとが異なることによって起きる認証時の失敗事例を減らすことができ、認証精度の高い認証システムが構築できる。なお、顔の向きの異なりは、正規化が失敗したことが原因であるものも含まれる。以上に説明したように、顔画像登録の際に、相関値の計算（Ｓ１４）において画像間での類似値を登録前に計算して、顔画像の選択（Ｓ１６）において、条件が異なる特定の顔画像が登録されるのを排除できるので、認証精度を高めることができる。
【００２５】
次に、図７に示される第２の実施の形態の画像照合時の画像処理プログラムについて説明する。この画像処理プログラムは、顔認証装置２０のハードディスクドライブ４６に記憶されＣＰＵ４０により実行される。この画像処理プログラムは、たとえば、ユーザーインタフェース１０のカードインタフェース１２においてＩＣカード１４が検出されたときに起動される。まず、カメラ１６により撮影された顔画像中から顔領域を検出し（Ｓ１００）、次に、顔の傾きや大きさなどを補正した正規化顔画像を生成する（Ｓ１０２）。これを複数の連続的に撮影される顔画像について行う。次に、生成された複数枚の正規化顔画像中の相関値を計算する（Ｓ１０４）。そして、その相関値の分布に基づいて照合に用いる顔画像を選択する（Ｓ１０６）。ここで、画像登録の場合と同様に、複数の照合用画像中に含まれるまばたきなどの表情変化、顔向き変化のばらつきによる認証率低下の原因となる顔画像を排除することで、認証精度の高い画像処理装置が構築可能となる。たとえば、図６の顔画像選択の処理を採用する。次に、登録画像から得られた参照画像と、選択された照合用顔画像と相関値を計算し（Ｓ１０８）、同一人物であるか否かを判定する（Ｓ１１０）。参照画像として、登録者のＩＤで指定された登録者の顔画像全部を用いてもよく、また、登録者の複数の登録画像を平均化して得られた平均顔を用いてもよい。後者の場合、照合時間が短縮できる。登録者と同一人物と判定すると、ドア３０の電気錠３２を解錠する信号を送る。相関値の計算において、任意の適当な照合アルゴリズムを用いることが可能であるが、画像処理装置で用いる照合アルゴリズムと同じ照合アルゴリズムを用いると、認証精度に悪影響を与える画像を直接的に排除できるため、より効果的である。
【００２６】
画像処理装置では、図３と図７の処理を並列に行ってもよいが、図８に示すように、顔画像の登録時と照合時とで同じ相関値計算手法を用いると、画像処理が効率的に行える。この場合、たとえば図８に示される第３の実施形態の画像処理プログラムを用いる。顔画像を登録する場合、カメラ１６により撮影された複数の顔画像中からそれぞれ顔領域を検出し（Ｓ２００）、次に、顔の傾きや大きさなどを補正した正規化顔画像を生成する（Ｓ２０２）。次に、生成された複数枚の正規化顔画像中の相関値を計算する（Ｓ２０４）。次に、相関値の分布パターンから特定の顔画像のみを選択する（Ｓ２０６）。ここで、認証に影響を与える顔画像を検出して排除する。たとえば図６の処理を採用する。画像の登録の場合（Ｓ２０８でＹＥＳ）、次に、選択された正規化顔画像を登録画像データベース５４に登録する（Ｓ２１０）。
【００２７】
一方、照合を行う場合は、ステップＳ２００，Ｓ２０２、Ｓ２０４において、カメラ１６により撮影された照合用の顔画像において正規化顔画像を生成し、相関値を計算する。相関値の計算は、登録時と同じアルゴリズムで行われる。画像の照合（Ｓ２０８でＮＯ）の場合、次に、ＩＣカードに対応する登録画像から得られた参照画像を登録画像データベース５４から読み出し、選択された照合用顔画像と相関値を計算し（Ｓ２１２）、相関値から同一人物であるか否かを判定する（Ｓ２１４）。
【００２８】
登録時と照合時とでは、照明環境の違いにより、顔認証の失敗が起こることがある。第４の実施の形態の画像処理では、照合用顔画像の輝度値分布と登録時画像の輝度値分布との差を減じることで、この照明環境の違いによる認証の失敗事例を少なくできる。図９は、第４の実施の形態の画像処理プログラムを示す。この画像処理プログラムは、顔認証装置２０のハードディスクドライブ４６に記憶されＣＰＵ４０により実行される。
【００２９】
顔画像を登録する場合は、まず、カメラ１６により撮影された複数の顔画像中から顔領域を検出し（Ｓ３００）、次に、顔の傾きや大きさなどを補正した正規化顔画像を生成する（Ｓ３０２）。これを複数の連続的に撮影される顔画像について行う。次に、生成された複数枚の正規化顔画像中の相関値を計算する（Ｓ３０４）。相関値の計算する際には、任意の照合アルゴリズムを用いることが可能であるが、前述の照合アルゴリズムをそのまま用いるとさらに効果的である。次に、相関値の分布パターンから特定の顔画像のみを選択する（Ｓ３０６）。たとえば、図６の顔画像選択処理を採用する。こうして、認証に影響を与えるものを検出して排除する。画像の登録の場合（３０８でＹＥＳ）、次に、選択された正規化顔画像のみ、または、それらの正規化顔画像から計算される顔のパーツの位置などの特徴量と輝度値情報のセットとを登録画像データベース５４に登録する（Ｓ３１０）。
【００３０】
一方、照合の場合は、ステップＳ３００，Ｓ３０２、Ｓ３０４において、同じアルゴリズムを用いて、カメラ１６により撮影された照合用の顔画像において正規化顔画像を生成し、相関値を計算する。画像の照合の場合（Ｓ３０８でＮＯ）、次に、ＩＣカードに対応する登録画像から得られた参照画像を登録画像データベース５４から読み出し、登録画像から得られた参照画像の輝度値分布と選択された照合画像の輝度値分布との相関値を計算して（Ｓ３１２）、次に、照合用顔画像の輝度値分布と登録顔画像の輝度値分布との差分が最小になるように照合画像の輝度値を補正し（Ｓ３１４）、補正された輝度値を持つ照合画像を用いて得られた相関値から同一人物であるか否かを判定する（Ｓ３１６）。たとえば、画素毎の差分値の二乗誤差を計算し、照合画像の処理では、この二乗誤差が最小となるように、照合画像の輝度値を補正する。上述のように、照合用顔画像の輝度値分布と登録顔画像の輝度値分布との差を減じるので、顔画像の登録時と照合時とでの照明環境の違いによる認証の失敗事例を少なくすることができる。
【００３１】
登録画像の候補顔画像の間、照合用画像の候補顔画像の間、照合用画像と登録された顔画像の間など、複数の顔画像の間での相関値を計算することにより、顔の向き、表情、明るさのばらつきを相関値のばらつきとして検出し、相関値の値から認証に影響を与えるものを検出し、または、相関値の値に基づき認証に最適な画像となるように画像処理をする。これにより、認証率の低下をもたらす輝度値を補正できるので、正規化時に変動が残りやすい照明変動要因を軽減でき、顔の向き、表情変化、まばたき、環境変化などにロバストな画像処理装置を実現できる。
【００３２】
また、図１に示す入退室管理システムでは、ＩＣカードを用いるが、本発明はこれに限られず、登録者のＩＤを指定しないシステムであってもよい。この場合、照合用顔画像は、登録画像データベース５４に登録されている多数の人物の顔画像と比較される。この点を除いて顔認証は上述の実施の形態と同様の処理を行えばよい。
【００３３】
カラー画像は、現状では、グレーデータに変換して照合に用いているが、カラー画像自体を認証に用いる場合も、グレーデータと同様な問題が生じる。したがって、カラー画像の場合も、相関値を計算して、認証に影響与えるようなばらつきの大きい画像を排除することにより、認証率を向上できる。
【図面の簡単な説明】
【００３４】
【図１】入退室管理システムの構成を示す図
【図２】顔認証装置のブロック図
【図３】第１の実施の形態の画像処理のフローチャート
【図４】相関値の計算を説明するための図
【図５】本人の画像間と他人の画像間の類似度のヒストグラム
【図６】顔画像の選択のフローチャート
【図７】第２の実施の形態の画像処理のフローチャート
【図８】第３の実施の形態の画像処理のフローチャート
【図９】第４の実施の形態の画像処理のフローチャート
【符号の説明】
【００３５】
１０ ユーザーインタフェース１０、 １２ カードインタフェース、 １４ ＩＣカード、 １６ カメラ、 ２０ 顔認証装置、 ３０ ドア、 ３２ 電気錠、 ４０ ＣＰＵ、 ４６ ハードディスクドライブ、 ５２ モニタ、 ５４ 登録画像データベース。
【技術分野】
【０００１】
この発明は、顔画像を比較して同一人物であるか否かを判定する画像処理や、それを用いた入退室管理に関するものである。
【背景技術】
【０００２】
オフィスなどにおいて、顔認証を用いた入退室管理システムが使用されている。訪問者があると、カメラで顔が撮影され、登録されていた顔と同一であると認証されると、入室が許可される。顔認証アルゴリズムでは、登録時に、撮影した画像の中から顔領域を検出した後、その顔の向き、大きさ、輝度値分布などが正規化された顔画像を生成する。顔が傾いている場合は、一定の向き（正立）に正規化される。照合時も、同様に正規化された顔画像を生成する。そして、この正規化された登録顔画像と正規化された照合用顔画像との間で認証処理が行われる。
【０００３】
顔認証システムにおいて、同一人物の顔どうしであっても、顔向き変化、瞬きを含めた表情変化、及び、照明変化の度合いが大きいと認証率が低下するという問題がある。従来は、顔が含まれる画像から、顔の向き、大きさ、輝度値分布などが正規化された正規化画像を生成する顔検出アルゴリズムの開発、また、正規化後に顔画像に含まれる顔の向き、表情変化、照明変化にロバストな顔認証アルゴリズムの開発が行われてきた。
【０００４】
たとえば、山口、福井、前田による「動画像を用いた顔認識システム」（信学技報PRMU97-50, pp.17-24, 1997）では、顔認識において顔向きや表情変化といった変動を吸収するため、動画の時系列画像を用いる。ここで、登録画像と照合画像に部分空間を用い、顔画像から瞳、鼻孔などの特徴点を抽出し、それを基に顔領域の位置やサイズを正規化する。特開２０００−３００６５号公報に記載されたパターン認識では、同様に、登録画像と照合画像に部分空間を用いている。ここで、登録画像として複数枚の画像を動画像として撮影し、これらの画像を主成分分析することで、基底ベクトルからなる部分空間を生成する。また、同様に照合時にも複数枚の顔画像を撮影し、部分空間を生成する。ここで、照明変動や経年変動によるパターン変化を取り除くため、認識に不必要な部分空間を取り除いておく。照合画像と登録画像との類似度は、この部分空間のなす角度で求められる。
【０００５】
一方、特開平１０−２３２９３４号公報に記載された顔画像登録では、人物の顔を連続的に撮影して顔画像の学習データとして用いる。ここで、抽出された顔領域から求まる特徴量（瞳、鼻孔など）をあらかじめ設定された基準と比較し、大きく特徴量の位置が変化した場合、たとえば、目を閉じた画像や口を開けた画像を学習画像から自動的に取り除く。したがって、瞬きによる表情変化などによる変動は除去できる。
【非特許文献１】山口、福井、前田、「動画像を用いた顔認識システム」、信学技報PRMU97-50, pp.17-24, 1997
【特許文献１】特開２０００−３００６５号公報
【特許文献２】特開平１０−２３２９３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、従来の顔認識の認識にはなお問題がある。たとえば、登録画像と照合画像とに部分空間を用いる前述の手法では、部分空間の生成時に、多数の照明や顔向きの変動を持った画像を取得する必要がある。この時、それらの画像の中に、たとえば瞬きによる表情変化として目が閉じている顔画像が含まれていた場合や、正規化顔画像生成時の正規化誤差が含まれていた場合には、認証率が大きく低下するという問題がある。特に、登録時と照合時との間の一方にのみ、そのような画像変動が含まれる場合に大きな問題となる。
【０００７】
また、大きく特徴量の位置が変化した顔画像を取り除く前述の顔登録では、悪影響を及ぼす変動として、これら特徴点から計算できる瞬きなどの表情変化は排除できる。しかし、登録時および照合時の画像の変動のうち、認証率を悪化させる要素は、特徴点により求められるものだけではない。認証率を悪化させる画像には、たとえば、顔を所望の大きさに切り出す正規化における計算誤差が大きい画像や、明示的に分かりづらい照明変化が生じている画像も含まれる。したがって、特徴点からは求められないそのような認証率を悪化させる変動は除去できない。
【０００８】
本発明の目的は、精度の高い顔認証を提供することである。
【課題を解決するための手段】
【０００９】
本発明に係る第１の画像処理装置は、同じ人物の複数の画像を入力して各画像から顔領域を検出する照合用顔検出部と、前記顔検出部により検出された前記顔領域をそれぞれ正規化して正規化顔画像を生成する照合用正規化処理部と、前記正規化処理部により生成された複数枚の正規化顔画像の間の相関値を計算する照合用相関値計算部と、 前記相関値の分布において、生成された複数枚の正規化画像全体の相関値の分散を第１しきい値と比較して、第１しきい値より小さければ、すべての正規化画像を選択し、その他の場合、前記の複数の正規化画像の中の各々について、当該正規化画像の相関値の分散を第２しきい値と比較し、第２しきい値より小さい場合に当該正規化画像を選択する照合顔画像選択部と、登録用正規化顔画像またはこの正規化顔画像から計算される顔の特徴量が登録されているデータベースから読み出した登録用正規化顔画像またはそれらの登録用正規化顔画像から計算される顔の特徴量を、選択された照合用正規化顔画像またはそれらの照合用正規化顔画像から計算される顔の特徴量と比較して同一人物であるか否かを判定する判定部とを備える。
【００１０】
本発明に係る第２の画像処理装置は、同じ人物の複数の画像を入力して各画像から顔領域を検出する照合用顔検出部と、前記顔検出部により検出された前記顔領域をそれぞれ正規化して正規化顔画像を生成する照合用正規化処理部と、前記正規化処理部により生成された複数枚の正規化顔画像の間の相関値を計算する照合用相関値計算部と、 前記相関値の分布において、生成された複数枚の正規化画像全体の相関値の分散を第１しきい値と比較して、第１しきい値より小さければ、すべての正規化画像を選択し、その他の場合、前記の複数の正規化画像の中の各々について、当該正規化画像の相関値の分散を第２しきい値と比較し、第２しきい値より小さい場合に当該正規化画像を選択する照合顔画像選択部と、前記データベースから読み出した登録用正規化顔画像または登録用正規化顔画像から計算される顔の特徴量を、選択された照合用正規化顔画像または照合用正規化顔画像から計算される顔の特徴量と比較して同一人物であるか否かを判定する判定部とを備える。
【００１１】
本発明に係る入退室管理システムは、入室者を撮影するカメラと、前記カメラで撮影された１人の人物の複数の画像を入力し、データベースに登録されている人物と同一であるか否かを判定する前記画像処理装置と、前記画像処理装置が同一人物であると判定すると解錠される電気錠を備えるドアとからなる。
【発明の効果】
【００１２】
登録画像の候補顔画像間、照合用画像の候補顔画像間、照合用候補画像と登録された顔画像間など、複数の顔画像間での相関値を事前に計算して、条件の異なる画像が登録されるのを、また、照合に用いられるのを排除するので、顔の向き、瞬きを含む表情変化などにロバストな精度の高い画像処理装置を実現できる。照明アルゴリズムとは別に、画像を排除する際に、事前に瞬き検知などの排除に必要な特徴量抽出を行う必要がない。
【発明を実施するための最良の形態】
【００１３】
以下、添付の図面を参照して発明の実施の形態を説明する。
【００１４】
図１は、オフィスなどで使用される入退室管理システムを示す。このシステムでは、ＩＣカードにより登録者のＩＤを指定して顔認証を行う（１：１認証）。登録者のＩＤを指定することにより照合すべき顔画像が指定できる。顔画像の初期登録時には、ＩＣカード（たとえば非接触ＩＣカード）により登録者のＩＤを指定した後に、ユーザーインタフェース１０に設置されるカメラ１６で登録者の顔を複数枚撮影する。そして、画像処理により正規化顔画像を作成して、登録画像データベース５４に記憶しておく。照合時には、訪問者が入室しようとするとき、ユーザーインタフェース１０のカードインタフェース１２においてＩＣカード１４を読み取らせて、身元を明らかにする。このとき、カメラ１６は、訪問者の顔画像を撮影する。画像処理装置２０は、登録画像データベース５４から、登録者のＩＤに対応する登録用画像を読み出す。一方、カメラ１６で撮影された画像から画像処理により照合用正規化顔画像を作成し、登録画像と比較して、同一人物かどうかを判定する。同一人物であると判定すると、ドア３０の電気錠を解錠して、入室を許可する。なお、ＩＣカードの代わりに、ＩＤ番号などを入力するようにしてもよい。
【００１５】
図２は、顔認証のための画像処理装置２０の構成を示す。画像処理装置２０は、通常のコンピュータと同様の構成を備える。全体を制御するＣＰＵ４０は、プログラムやデータを記憶したＲＯＭ４２やワークエリアであるＲＡＭ４４に接続される。ＣＰＵ４０は、さらに、顔認証のための画像処理プログラムを含む各種プログラムやデータを記憶するハードディスクドライブ４６や、入力用のキーボード４８とマウス５０や、表示装置としてのモニタ５２に接続される。ＣＰＵ４０は、登録顔画像を記憶する登録画像データベース５４を備えるが、これは、ハードディスクドライブ４６と一体化されていてもよい。また、ＣＰＵ４０は、入出力インタフェース５６を介して、ユーザーインタフェース１０のカードインタフェース１２やカメラ１６およびドア３０の電気錠３２に接続される。
【００１６】
この発明では、同じ人物について撮影された複数の顔画像について、画像間の相関値を登録前に計算することで、条件（姿勢、表情など）が異なる特定の顔画像が登録されるのを排除する。これにより、認証に不適切な顔画像を事前に登録から排除する。したがって、正規化後に画像に残される顔の向き、表情変化、照明変化などの過度のばらつきをなくせるので、認証率低下を防止でき、精度の高い画像処理装置を実現する。なお、照合アルゴリズムとは別に、画像を排除する際に、事前に瞬き検知などの排除に必要な特徴量抽出を行う必要はない。
【００１７】
次に、第１の実施の形態の画像登録時の画像処理について説明する。図３は、画像処理装置２０の画像処理プログラムの処理を示す。このプログラムは、顔認証装置２０のハードディスクドライブ４６に記憶されＣＰＵ４０により実行されるが、たとえばユーザーインタフェース１０に設けた登録ボタン（図示しない）を押すことにより起動される。まず、カメラ１６を作動させて顔画像を連続的に撮影して、それらの画像を入力する。そして、各画像においてパターンマッチングなどを用いて顔領域を検出し（Ｓ１０）、目、鼻、口などの特徴点を抽出して、その顔の向き、大きさ、輝度値分布などが補正された正規化顔画像を生成する（Ｓ１２）。正規化の手法としては公知の適当な手法を用いればよい。正規化画像の大きさは、たとえば目の位置を元に一定の大きさや目と鼻の位置を基に正規化される。次に、生成された複数枚の正規化顔画像の間の相関値を計算する（Ｓ１４）。相関値の計算には、パターンマッチングなどの公知の適当な照合アルゴリズムを用いることができるが、後述の照合アルゴリズムを用いるとさらに効果的である。次に、相関値の分布パターンから特定の顔画像のみを選択する（Ｓ１６）。分布パターンからの選択方法としては、たとえば、相関値の平均値を求め、平均値よりあるしきい値以下の範囲に含まれる正規化画像を除いて選択する。また、たとえばガウス分布を推定して、ズレの大きい画像を除くようにしてもよい。そして、こうして選択された複数の正規化顔画像を登録画像データベース５４に登録する（Ｓ１８）。また、正規化画像でなく、正規化画像から輝度値情報からなる濃淡データを登録してもよい。また、正規化顔画像そのものではなく、正規化顔画像から計算される顔の特徴量を登録するようにしてもよい。登録される顔の特徴量は、たとえば、目、鼻、口といったパーツの位置、または、ＦＦＴを適用した結果得られる周波数と振幅の情報、または、主成分分析（ＰＣＡ）を適用して得られる基底ベクトルの係数などである。
【００１８】
相関値の計算（Ｓ１４)では、たとえば類似度を相関値として計算する。類似度は公知の適当な手法で計算すればよい。たとえば、顔のパーツごとに判断してもよい。登録時に撮影した複数の画像をA0、A1、A2、A3とすると、図４に示すように、画像Ａｍと画像Ａｎの間の相関値として類似度Ａｍｎを計算する。もちろん、画像の数は４枚には限られない。撮影した複数の画像内に目の瞬き、顔の傾きなどの姿勢変化、切りだしのずれなどの正規化誤差などの認証精度に悪影響を与える変動要因が入っていると、類似値の分布を表す類似度ヒストグラムには、同一人物の顔画像に関するものであるにもかかわらず類似度の低いデータが存在する。したがって、顔画像の選択（Ｓ１６）において、相関値の分布において平均からのズレが所定値より小さい画像を選択するようにすればよい。たとえば、次に説明するように、画像間で計算される類似度の分布パターンから得られる平均、分散を用いて、認証精度に悪影響を与える画像を事前に排除できる。
【００１９】
いまたとえば画像Ａ１が目の瞬きにより目を閉じた状態の顔画像であるか、または、顔画像の切り出し位置がずれた場合であって、認証精度に悪影響を与える変動要因を含んでいるが、他の画像Ａ０、Ａ２、Ａ３が認証精度に悪影響を与える変動を含まない場合は、画像Ａ１の他の画像との類似度Ａｍｎ（ｍまたはｎ＝１）は、他の画像どうしの間の類似度に比べて低い。したがって、平均類似度が低くなると共に、類似度の分布においてばらつきが大きくなり、分散も大きくなる傾向がある。一方、認証精度に悪影響を与える変動を含まない画像A0, A02, A03の間の類似度Ａｍｎ（ｍ，ｎ≠０）は、すべて類似度が高いため平均類似度が高く、かつ、分散が小さな局所的な分布を持つ。
【００２０】
図５において、上側に、本人画像間の姿勢などのばらつきによる類似度のばらつきの１例を示す。先に述べたように、認証精度に悪影響を与える変動要因が入っている画像があると、類似値の分布を表す類似度ヒストグラムには、同一人物の顔画像に関するものであるにもかかわらず類似度の低いデータが存在する。図５に示されるように、類似度分布は、類似度が大きな多数のデータと、類似度が小さい少数のデータからなる。前者は、認証精度に悪影響を与える変動要因が入っていない画像同士の類似度であり、認証精度に悪影響を与える変動要因が入っている画像が含まれない場合は、後者のデータは含まれない。前者のデータは、先に説明しているように、平均類似度が高く、かつ、分散が小さい。一方、後者は、認証精度に悪影響を与える変動要因が入っている画像とそのような変動要因が入っていない他の画像との類似度であり、認証精度に悪影響を与える変動要因が入っている画像が含まれる場合に現れる。そのような変動要因が入っている画像が含まれる場合、類似度の分布においてばらつきが大きくなり、分散も大きくなる。したがって、画像間で計算される類似度の分布パターンを分析することにより、認証精度に悪影響を与える変動要因が入っている画像を排除できる。たとえば、類似度ヒストグラムにおいて、類似度の平均値より高い類似度のデータと離れて分布している、類似度の低いデータを生じている画像を判別し排除すればよい。参考のため、図５の下側に、本人と他人の画像の間のばらつきによる類似度のばらつきを示すが、この場合、類似度は広い範囲で分布し、分散が大きい。類似度が広い範囲内で分布する点では上側の例と同様であるが、類似度が大きいものと小さいものに分かれることはない。
【００２１】
顔画像選択の１例では、認証精度に悪影響を与える変動要因が入っていない画像どうしの類似度のみからなる分布は、分散が小さいので、分散を適当な閾値と比較することにより判別する。また、認証精度に悪影響を与える変動要因が入っている画像を含む場合、図５の上側に示すように、そのような画像の他の画像との類似値は、他の類似値の高いデータと離れて分布しているので、個々の画像の類似度の分散（ばらつき）を適当な閾値と比較することにより、そのような変動要因が入っている画像を判別し、排除できる。
【００２２】
図６は、上述の顔画像の選択（Ｓ１６）において、類似度の平均、分散を用いた画像の選択（排除）の１例を示す。まず画像セット全体の類似度の分散値Vallを計算する（Ｓ１６０）。分散値が閾値V1より小さな場合は（Ｓ１７０でＮＯ）、現在の画像セットを全て用いる（Ｓ１６４）。前に述べたように、認証精度に悪影響を与える変動を含まない画像の間の類似度は、平均類似度が高く分散が小さな局所的な分布を持つ。そこで、閾値Vallを、平均類似度が高く分散が小さな分布を含むように設定する。そして、画像全体の分散が閾値V1より小さい場合は、認証精度に悪影響を与える変動を含む画像が存在しないと判断して、すべての顔画像を選択する。
【００２３】
一方、分散値Vallがある閾値V0より大きな場合は（Ｓ１６２でＮＯ）、各画像について採用するか排除するかを判断する。前に述べたように、認証精度に悪影響を与える変動要因を含んでいる画像がある場合は、その画像の他の画像との類似度は、認証精度に悪影響を与える変動要因を含まない他の多くの画像どうしの間の類似度に比べてかなり低い。そこで、類似度分布の分散の閾値Viを、認証精度に悪影響を与える変動要因を含んでいる画像を含まないように設定する。すなわち、画像Iiごとに他の画像との類似度Siを求め（Ｓ１６６）、類似度分布の分散値Viを求める（Ｓ１６８）。そして、各画像について、その画像Iiの分散値が閾値V1より大きな場合は（Ｓ１７０でＹＥＳ）、その画像Iiを認証精度に悪影響を与る変動を含む画像として排除する（Ｓ１７２）。こうして、分散値が閾値V1より小さな顔画像のみを選択する。好ましくは、さらに、ステップＳ１６２に戻り、画像Iiを削除した画像群を新たな画像群としてVallを計算する。このように、VallがVoよりも小さくなるまで排除処理を行う。以上に説明した顔画像選択処理は、他の実施の形態における顔画像選択処理でも採用される。
【００２４】
同一人物でも、表情変化が無い画像同士では類似値は大きいが、表情の異なる画像同士では、類似値が小さい。表情変化の一例であるまばたきの場合、連続的に画像を取得した際、目が開いている画像の割合が多く、目が閉じている画像の割合は少ないので、目が開いている画像同士の相関に比べて、目が開いている画像と目が閉じている画像との間では相関が低い。ここで、図６の処理では、類似値分布の平均値よりある閾値V1以上小さい顔画像、すなわち目が閉じている顔画像を登録時に排除するので、照合画像は目が開いているが、登録画像は目が閉じていることでおきる認証時の失敗事例を減らすことができ、したがって、認証精度の高い認証システムが構築可能となる。また、顔向きの変化にも同じことがいえ、連続的に撮影した結果得られた正規化顔画像の相関値を計算することで、向きの異なりの度合いが大きな顔画像を登録から排除する。これにより、照合画像の顔の向きと登録画像の顔の向きとが異なることによって起きる認証時の失敗事例を減らすことができ、認証精度の高い認証システムが構築できる。なお、顔の向きの異なりは、正規化が失敗したことが原因であるものも含まれる。以上に説明したように、顔画像登録の際に、相関値の計算（Ｓ１４）において画像間での類似値を登録前に計算して、顔画像の選択（Ｓ１６）において、条件が異なる特定の顔画像が登録されるのを排除できるので、認証精度を高めることができる。
【００２５】
次に、図７に示される第２の実施の形態の画像照合時の画像処理プログラムについて説明する。この画像処理プログラムは、顔認証装置２０のハードディスクドライブ４６に記憶されＣＰＵ４０により実行される。この画像処理プログラムは、たとえば、ユーザーインタフェース１０のカードインタフェース１２においてＩＣカード１４が検出されたときに起動される。まず、カメラ１６により撮影された顔画像中から顔領域を検出し（Ｓ１００）、次に、顔の傾きや大きさなどを補正した正規化顔画像を生成する（Ｓ１０２）。これを複数の連続的に撮影される顔画像について行う。次に、生成された複数枚の正規化顔画像中の相関値を計算する（Ｓ１０４）。そして、その相関値の分布に基づいて照合に用いる顔画像を選択する（Ｓ１０６）。ここで、画像登録の場合と同様に、複数の照合用画像中に含まれるまばたきなどの表情変化、顔向き変化のばらつきによる認証率低下の原因となる顔画像を排除することで、認証精度の高い画像処理装置が構築可能となる。たとえば、図６の顔画像選択の処理を採用する。次に、登録画像から得られた参照画像と、選択された照合用顔画像と相関値を計算し（Ｓ１０８）、同一人物であるか否かを判定する（Ｓ１１０）。参照画像として、登録者のＩＤで指定された登録者の顔画像全部を用いてもよく、また、登録者の複数の登録画像を平均化して得られた平均顔を用いてもよい。後者の場合、照合時間が短縮できる。登録者と同一人物と判定すると、ドア３０の電気錠３２を解錠する信号を送る。相関値の計算において、任意の適当な照合アルゴリズムを用いることが可能であるが、画像処理装置で用いる照合アルゴリズムと同じ照合アルゴリズムを用いると、認証精度に悪影響を与える画像を直接的に排除できるため、より効果的である。
【００２６】
画像処理装置では、図３と図７の処理を並列に行ってもよいが、図８に示すように、顔画像の登録時と照合時とで同じ相関値計算手法を用いると、画像処理が効率的に行える。この場合、たとえば図８に示される第３の実施形態の画像処理プログラムを用いる。顔画像を登録する場合、カメラ１６により撮影された複数の顔画像中からそれぞれ顔領域を検出し（Ｓ２００）、次に、顔の傾きや大きさなどを補正した正規化顔画像を生成する（Ｓ２０２）。次に、生成された複数枚の正規化顔画像中の相関値を計算する（Ｓ２０４）。次に、相関値の分布パターンから特定の顔画像のみを選択する（Ｓ２０６）。ここで、認証に影響を与える顔画像を検出して排除する。たとえば図６の処理を採用する。画像の登録の場合（Ｓ２０８でＹＥＳ）、次に、選択された正規化顔画像を登録画像データベース５４に登録する（Ｓ２１０）。
【００２７】
一方、照合を行う場合は、ステップＳ２００，Ｓ２０２、Ｓ２０４において、カメラ１６により撮影された照合用の顔画像において正規化顔画像を生成し、相関値を計算する。相関値の計算は、登録時と同じアルゴリズムで行われる。画像の照合（Ｓ２０８でＮＯ）の場合、次に、ＩＣカードに対応する登録画像から得られた参照画像を登録画像データベース５４から読み出し、選択された照合用顔画像と相関値を計算し（Ｓ２１２）、相関値から同一人物であるか否かを判定する（Ｓ２１４）。
【００２８】
登録時と照合時とでは、照明環境の違いにより、顔認証の失敗が起こることがある。第４の実施の形態の画像処理では、照合用顔画像の輝度値分布と登録時画像の輝度値分布との差を減じることで、この照明環境の違いによる認証の失敗事例を少なくできる。図９は、第４の実施の形態の画像処理プログラムを示す。この画像処理プログラムは、顔認証装置２０のハードディスクドライブ４６に記憶されＣＰＵ４０により実行される。
【００２９】
顔画像を登録する場合は、まず、カメラ１６により撮影された複数の顔画像中から顔領域を検出し（Ｓ３００）、次に、顔の傾きや大きさなどを補正した正規化顔画像を生成する（Ｓ３０２）。これを複数の連続的に撮影される顔画像について行う。次に、生成された複数枚の正規化顔画像中の相関値を計算する（Ｓ３０４）。相関値の計算する際には、任意の照合アルゴリズムを用いることが可能であるが、前述の照合アルゴリズムをそのまま用いるとさらに効果的である。次に、相関値の分布パターンから特定の顔画像のみを選択する（Ｓ３０６）。たとえば、図６の顔画像選択処理を採用する。こうして、認証に影響を与えるものを検出して排除する。画像の登録の場合（３０８でＹＥＳ）、次に、選択された正規化顔画像のみ、または、それらの正規化顔画像から計算される顔のパーツの位置などの特徴量と輝度値情報のセットとを登録画像データベース５４に登録する（Ｓ３１０）。
【００３０】
一方、照合の場合は、ステップＳ３００，Ｓ３０２、Ｓ３０４において、同じアルゴリズムを用いて、カメラ１６により撮影された照合用の顔画像において正規化顔画像を生成し、相関値を計算する。画像の照合の場合（Ｓ３０８でＮＯ）、次に、ＩＣカードに対応する登録画像から得られた参照画像を登録画像データベース５４から読み出し、登録画像から得られた参照画像の輝度値分布と選択された照合画像の輝度値分布との相関値を計算して（Ｓ３１２）、次に、照合用顔画像の輝度値分布と登録顔画像の輝度値分布との差分が最小になるように照合画像の輝度値を補正し（Ｓ３１４）、補正された輝度値を持つ照合画像を用いて得られた相関値から同一人物であるか否かを判定する（Ｓ３１６）。たとえば、画素毎の差分値の二乗誤差を計算し、照合画像の処理では、この二乗誤差が最小となるように、照合画像の輝度値を補正する。上述のように、照合用顔画像の輝度値分布と登録顔画像の輝度値分布との差を減じるので、顔画像の登録時と照合時とでの照明環境の違いによる認証の失敗事例を少なくすることができる。
【００３１】
登録画像の候補顔画像の間、照合用画像の候補顔画像の間、照合用画像と登録された顔画像の間など、複数の顔画像の間での相関値を計算することにより、顔の向き、表情、明るさのばらつきを相関値のばらつきとして検出し、相関値の値から認証に影響を与えるものを検出し、または、相関値の値に基づき認証に最適な画像となるように画像処理をする。これにより、認証率の低下をもたらす輝度値を補正できるので、正規化時に変動が残りやすい照明変動要因を軽減でき、顔の向き、表情変化、まばたき、環境変化などにロバストな画像処理装置を実現できる。
【００３２】
また、図１に示す入退室管理システムでは、ＩＣカードを用いるが、本発明はこれに限られず、登録者のＩＤを指定しないシステムであってもよい。この場合、照合用顔画像は、登録画像データベース５４に登録されている多数の人物の顔画像と比較される。この点を除いて顔認証は上述の実施の形態と同様の処理を行えばよい。
【００３３】
カラー画像は、現状では、グレーデータに変換して照合に用いているが、カラー画像自体を認証に用いる場合も、グレーデータと同様な問題が生じる。したがって、カラー画像の場合も、相関値を計算して、認証に影響与えるようなばらつきの大きい画像を排除することにより、認証率を向上できる。
【図面の簡単な説明】
【００３４】
【図１】入退室管理システムの構成を示す図
【図２】顔認証装置のブロック図
【図３】第１の実施の形態の画像処理のフローチャート
【図４】相関値の計算を説明するための図
【図５】本人の画像間と他人の画像間の類似度のヒストグラム
【図６】顔画像の選択のフローチャート
【図７】第２の実施の形態の画像処理のフローチャート
【図８】第３の実施の形態の画像処理のフローチャート
【図９】第４の実施の形態の画像処理のフローチャート
【符号の説明】
【００３５】
１０ ユーザーインタフェース１０、 １２ カードインタフェース、 １４ ＩＣカード、 １６ カメラ、 ２０ 顔認証装置、 ３０ ドア、 ３２ 電気錠、 ４０ ＣＰＵ、 ４６ ハードディスクドライブ、 ５２ モニタ、 ５４ 登録画像データベース。
【特許請求の範囲】
【請求項１】
同じ人物の複数の画像を入力して各画像から顔領域を検出する照合用顔検出部と、
前記顔検出部により検出された前記顔領域をそれぞれ正規化して正規化顔画像を生成する照合用正規化処理部と、
前記正規化処理部により生成された複数枚の正規化顔画像の間の相関値を計算する照合用相関値計算部と、
前記相関値の分布において、生成された複数枚の正規化画像全体の相関値の分散を第１しきい値と比較して、第１しきい値より小さければ、すべての正規化画像を選択し、その他の場合、前記の複数の正規化画像の中の各々について、当該正規化画像の相関値の分散を第２しきい値と比較し、第２しきい値より小さい場合に当該正規化画像を選択する照合顔画像選択部と、
登録用正規化顔画像またはこの正規化顔画像から計算される顔の特徴量が登録されているデータベースから読み出した登録用正規化顔画像またはそれらの登録用正規化顔画像から計算される顔の特徴量を、選択された照合用正規化顔画像または前記照合用正規化顔画像から計算される顔の特徴量と比較して同一人物であるか否かを判定する判定部と
を備える画像処理装置。
【請求項２】
さらに、
同じ人物の複数の画像を入力して各画像から顔領域を検出する登録用顔検出部と、
前記顔検出部により検出された前記顔領域をそれぞれ正規化して正規化顔画像を生成する登録用正規化処理部と、
前記正規化処理部により生成された複数枚の正規化顔画像の間の相関値を計算する登録用相関値計算部と、
前記相関値の分布において、生成された複数枚の正規化画像全体の相関値の分散を第１しきい値と比較して、第１しきい値より小さければ、すべての正規化画像を選択し、その他の場合、前記の複数の正規化画像の中の各々について、当該正規化画像の相関値の分散を第２しきい値と比較し、第２しきい値より小さい場合に当該正規化画像を選択する照合顔画像選択部と、
選択された正規化顔画像または前記正規化顔画像から計算される顔の特徴量を前記データベースに登録する登録部と
を備える、請求項１に記載された画像処理装置。
【請求項３】
前記登録用顔画像検出部と前記照合用顔画像検出部とが同一であり、
前記登録用正規化処理部と前記照合用顔検出部とが同一であり、
前記登録用相関値計算部と前記照合用相関値計算部とが同一であり、
前記登録顔画像選択部と前記照合用顔画像選択部とが同一であり、
登録の場合に、前記登録部は、選択された正規化顔画像またはそれらの正規化顔画像から計算される顔の特徴量を前記データベースに登録し、
照合の場合に、前記判定部は、選択された照合用正規化顔画像または照合用正規化顔画像から計算される顔の特徴量と、前記データベースから読み出した前記正規化顔画像または前記正規化顔画像から計算される顔の特徴量と比較して同一人物であるか否かを判定する
請求項２に記載された画像処理装置。
【請求項４】
前記登録部は、前記登録正規化顔画像または前記登録正規化顔画像から計算される特徴量と輝度値情報のセットを前記データベースに登録し、
前記照合用相関値計算部は、登録画像から得られた参照画像の輝度値分布と選択された照合画像の輝度値分布との相関値を計算し、
さらに、照合画像の輝度値分布と登録画像との輝度値分布との差分が最小になるように照合画像の輝度値を補正する照合画像補正部を備え、
前記判定部は、前記照合画像補正部により補正された照合画像を用いて前記判定をする
ことを特徴とする請求項２または３に記載された画像処理装置。
【請求項５】
前記判定部は、前記データベースから読み出した１人の人物の複数の前記正規化顔画像またはそれらの複数の正規化顔画像を平均化して得られた平均顔画像を照合用正規化顔画像と比較する、請求項１〜５のいずれかに記載された画像処理装置。
【請求項６】
同じ人物の複数の画像を入力して各画像から顔領域を検出する登録用顔検出部と、
前記顔検出部により検出された前記顔領域をそれぞれ正規化して正規化顔画像を生成する登録用正規化処理部と、
前記正規化処理部により生成された複数枚の正規化顔画像の間の相関値を計算する登録用相関値計算部と、
前記相関値の分布において、生成された複数枚の正規化画像全体の相関値の分散を第１しきい値と比較して、第１しきい値より小さければ、すべての正規化画像を選択し、その他の場合、前記の複数の正規化画像の中の各々について、当該正規化画像の相関値の分散を第２しきい値と比較し、第２しきい値より小さい場合に当該正規化画像を選択する照合顔画像選択部と、
選択された正規化顔画像または前記正規化顔画像から計算される顔の特徴量を前記データベースに登録する登録部と
を備える画像処理装置。
【請求項７】
前記照合顔画像選択部は、
さらに、第２しきい値より大きなしきい値を持つ正規化画像を除去した正規化画像群を新たに正規化画像全体として、相関値の分散を計算し、この処理を正規化画像全体の相関値の分散が第１閾値より小さくなるまで繰り返すことを特徴とする請求項２または６に記載された画像処理装置。
【請求項８】
入室者を撮影するカメラと、
前記カメラで撮影された１人の人物の複数の画像を入力し、データベースに登録されている人物と同一であるか否かを判定する請求項１〜５のいずれかに記載された画像処理装置と、
前記画像処理装置が同一人物であると判定すると解錠される電気錠を備えるドアと
からなる入退室管理システム。
【請求項９】
さらに、入室者の身元を確認する入力手段を備え、
前記画像処理装置は、前記データベースに登録されている、前記身元に対応する人物の正規化画像を照合用正規化画像と比較することを特徴とする請求項７に記載された入退室管理システム。
【請求項１】
同じ人物の複数の画像を入力して各画像から顔領域を検出する照合用顔検出部と、
前記顔検出部により検出された前記顔領域をそれぞれ正規化して正規化顔画像を生成する照合用正規化処理部と、
前記正規化処理部により生成された複数枚の正規化顔画像の間の相関値を計算する照合用相関値計算部と、
前記相関値の分布において、生成された複数枚の正規化画像全体の相関値の分散を第１しきい値と比較して、第１しきい値より小さければ、すべての正規化画像を選択し、その他の場合、前記の複数の正規化画像の中の各々について、当該正規化画像の相関値の分散を第２しきい値と比較し、第２しきい値より小さい場合に当該正規化画像を選択する照合顔画像選択部と、
登録用正規化顔画像またはこの正規化顔画像から計算される顔の特徴量が登録されているデータベースから読み出した登録用正規化顔画像またはそれらの登録用正規化顔画像から計算される顔の特徴量を、選択された照合用正規化顔画像または前記照合用正規化顔画像から計算される顔の特徴量と比較して同一人物であるか否かを判定する判定部と
を備える画像処理装置。
【請求項２】
さらに、
同じ人物の複数の画像を入力して各画像から顔領域を検出する登録用顔検出部と、
前記顔検出部により検出された前記顔領域をそれぞれ正規化して正規化顔画像を生成する登録用正規化処理部と、
前記正規化処理部により生成された複数枚の正規化顔画像の間の相関値を計算する登録用相関値計算部と、
前記相関値の分布において、生成された複数枚の正規化画像全体の相関値の分散を第１しきい値と比較して、第１しきい値より小さければ、すべての正規化画像を選択し、その他の場合、前記の複数の正規化画像の中の各々について、当該正規化画像の相関値の分散を第２しきい値と比較し、第２しきい値より小さい場合に当該正規化画像を選択する照合顔画像選択部と、
選択された正規化顔画像または前記正規化顔画像から計算される顔の特徴量を前記データベースに登録する登録部と
を備える、請求項１に記載された画像処理装置。
【請求項３】
前記登録用顔画像検出部と前記照合用顔画像検出部とが同一であり、
前記登録用正規化処理部と前記照合用顔検出部とが同一であり、
前記登録用相関値計算部と前記照合用相関値計算部とが同一であり、
前記登録顔画像選択部と前記照合用顔画像選択部とが同一であり、
登録の場合に、前記登録部は、選択された正規化顔画像またはそれらの正規化顔画像から計算される顔の特徴量を前記データベースに登録し、
照合の場合に、前記判定部は、選択された照合用正規化顔画像または照合用正規化顔画像から計算される顔の特徴量と、前記データベースから読み出した前記正規化顔画像または前記正規化顔画像から計算される顔の特徴量と比較して同一人物であるか否かを判定する
請求項２に記載された画像処理装置。
【請求項４】
前記登録部は、前記登録正規化顔画像または前記登録正規化顔画像から計算される特徴量と輝度値情報のセットを前記データベースに登録し、
前記照合用相関値計算部は、登録画像から得られた参照画像の輝度値分布と選択された照合画像の輝度値分布との相関値を計算し、
さらに、照合画像の輝度値分布と登録画像との輝度値分布との差分が最小になるように照合画像の輝度値を補正する照合画像補正部を備え、
前記判定部は、前記照合画像補正部により補正された照合画像を用いて前記判定をする
ことを特徴とする請求項２または３に記載された画像処理装置。
【請求項５】
前記判定部は、前記データベースから読み出した１人の人物の複数の前記正規化顔画像またはそれらの複数の正規化顔画像を平均化して得られた平均顔画像を照合用正規化顔画像と比較する、請求項１〜５のいずれかに記載された画像処理装置。
【請求項６】
同じ人物の複数の画像を入力して各画像から顔領域を検出する登録用顔検出部と、
前記顔検出部により検出された前記顔領域をそれぞれ正規化して正規化顔画像を生成する登録用正規化処理部と、
前記正規化処理部により生成された複数枚の正規化顔画像の間の相関値を計算する登録用相関値計算部と、
前記相関値の分布において、生成された複数枚の正規化画像全体の相関値の分散を第１しきい値と比較して、第１しきい値より小さければ、すべての正規化画像を選択し、その他の場合、前記の複数の正規化画像の中の各々について、当該正規化画像の相関値の分散を第２しきい値と比較し、第２しきい値より小さい場合に当該正規化画像を選択する照合顔画像選択部と、
選択された正規化顔画像または前記正規化顔画像から計算される顔の特徴量を前記データベースに登録する登録部と
を備える画像処理装置。
【請求項７】
前記照合顔画像選択部は、
さらに、第２しきい値より大きなしきい値を持つ正規化画像を除去した正規化画像群を新たに正規化画像全体として、相関値の分散を計算し、この処理を正規化画像全体の相関値の分散が第１閾値より小さくなるまで繰り返すことを特徴とする請求項２または６に記載された画像処理装置。
【請求項８】
入室者を撮影するカメラと、
前記カメラで撮影された１人の人物の複数の画像を入力し、データベースに登録されている人物と同一であるか否かを判定する請求項１〜５のいずれかに記載された画像処理装置と、
前記画像処理装置が同一人物であると判定すると解錠される電気錠を備えるドアと
からなる入退室管理システム。
【請求項９】
さらに、入室者の身元を確認する入力手段を備え、
前記画像処理装置は、前記データベースに登録されている、前記身元に対応する人物の正規化画像を照合用正規化画像と比較することを特徴とする請求項７に記載された入退室管理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００７−４３２１（Ｐ２００７−４３２１Ａ）
【公開日】平成１９年１月１１日（２００７．１．１１）
【国際特許分類】
【出願番号】特願２００５−１８１３９６（Ｐ２００５−１８１３９６）
【出願日】平成１７年６月２２日（２００５．６．２２）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成１９年１月１１日（２００７．１．１１）
【国際特許分類】
【出願日】平成１７年６月２２日（２００５．６．２２）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]