顔画像の特徴抽出方法及び識別信号作成方法
【課題】照明変動に対するロバスト性を向上させながら、高速かつコンパクトな顔画像の特徴抽出方法及び識別信号作成方法を提供すること。
【解決手段】複数の顔画像を、それぞれ奇数分割のパターンで且つそれぞれ異なるブロックサイズにより分割する工程と、前記分割された各々のブロックに対して直交変換を行い、変換係数を算出する工程と、算出された変換係数から遺伝的アルゴリズム（ＧＡ）に基づき、所定の変換係数を選択する工程と、選択された変換係数の位置を記憶する工程とを有する。
【解決手段】複数の顔画像を、それぞれ奇数分割のパターンで且つそれぞれ異なるブロックサイズにより分割する工程と、前記分割された各々のブロックに対して直交変換を行い、変換係数を算出する工程と、算出された変換係数から遺伝的アルゴリズム（ＧＡ）に基づき、所定の変換係数を選択する工程と、選択された変換係数の位置を記憶する工程とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像の特徴抽出方法及び識別信号作成方法に関し、詳しくは、照明変動に対するロバスト性を向上させながら、高速かつコンパクトな顔画像の特徴抽出方法及び識別信号作成方法に関する。
【背景技術】
【０００２】
従来、個人識別に用いる生体情報には、顔、指紋、静脈、虹彩などがあるが、顔を用いた個人識別は非接触で行うことができるため、ユーザの利便性が高い。
【０００３】
また顔を見て相手を識別することは日常的に行われている動作であるため、ユーザの心理的負担も軽いと考えられる。
【０００４】
しかし顔画像は、同一人物であっても照明条件や顔向き、表情によって見た目が大きく変動するため顔画像の撮影条件によって認識性能が大きく変化する。
【０００５】
顔画像認識の手法を大きく二つの手法に分けると、顔画像の濃淡パターンを特徴とする手法とグラフマッチングを行う手法に分けられる。
【０００６】
前者の代表的な手法には、顔画像に主成分分析を行い固有顔と呼ばれる基底ベクトルを作成するEigenfacesが挙げられる（非特許文献１）。
【０００７】
また、後者には、顔画像にGabor Waveletフィルタを適用する手法が挙げられる（非特許文献２、非特許文献３）。
【０００８】
前記Gabor Waveletフィルタを用いる手法は、顔向きや照明変動に対しても安定した認識性能が出せるため、多くの研究や製品などで用いられている。
【０００９】
しかし、顔画像から作成されるテンプレートデータが、数キロバイトになることや、計算量が比較的多くなるため、組み込み機器など計算資源の限られた環境で動作させることが難しい。
【００１０】
離散コサイン変換（ＤＣＴ）は、直交変換の一つであるが、信号のエネルギーが低周波領域に集中する傾向があるため、画像圧縮に用いた場合、他の直交変換よりも効果的に画像を圧縮することができる。つまり画像にＤＣＴを行うことによって、変換前の画像が持つ情報の大部分を低周波領域のＤＣＴ係数で保存することができる。
【００１１】
このようなＤＣＴの特徴からパターンマッチングや顔画像認識にＤＣＴを用いる手法が開発されてきた（非特許文献４、５）。
【００１２】
しかし、ＤＣＴ係数は対象とする画像の見た目に左右されるため、顔画像に照明変動が生じると認識性能が低下することがあった。
【非特許文献１】M. Turk and A. Pentland, “Face recognition using eigenfaces,” IEEE Proc. Conf. on Computer Vision and Pattern Recognition, pp.586-591, 1991.
【非特許文献２】L.Wiskott, J.M. Fellous, N. Kruger and C. Malsburg, “Face recognition by elastic bunch graph matching,” IEEE Trans. Pattern Anal. Mach. Intell., vol.19, no.7, 775 - 779, 1997.
【非特許文献３】平山高嗣, 岩井儀雄, 谷内田正彦, “顔認証のための顔位置推定と個人識別の統合”, 信学論（D-II）, vol.J-88-D-II, no.2, pp.276-290, 2005.
【非特許文献４】Z. M. Hafed and M. D. Levine, “Face Recognition Using the Discrete Cosine Transform”, International Journal of Computer Vision, vol.43, no.3, 167-188, 2001.
【非特許文献５】H.K. Ekenel and R. Stiefelhagen, “Local Appearance based Face Recognition Using Discrete Cosine Transform,” EUSIPCO 2005, Antalya, Turkey, 2005.
【発明の開示】
【発明が解決しようとする課題】
【００１３】
そこで、本発明は、照明変動に対するロバスト性を向上させながら、高速かつコンパクトな顔画像の特徴抽出方法及び識別信号作成方法を提供することにある。
【００１４】
本発明の他の課題は以下の記載によって明らかとなる。
【課題を解決するための手段】
【００１５】
上記課題は、以下の各発明によって解決される。
【００１６】
（請求項１）
複数の顔画像を、それぞれ奇数分割のパターンで且つそれぞれ異なるブロックサイズにより分割する工程と、
前記分割された各々のブロックに対して直交変換を行い、変換係数を算出する工程と、
算出された変換係数から遺伝的アルゴリズム（ＧＡ）に基づき、所定の変換係数を選択する工程と、
選択された変換係数の位置を記憶する工程とを有することを特徴とする顔画像の特徴抽出方法。
【００１７】
（請求項２）
複数の顔画像を、それぞれ奇数分割のパターンで且つそれぞれ異なるブロックサイズにより分割する工程と、
前記分割された各々のブロックに対して直交変換を行い、変換係数を算出する工程と、
算出された変換係数を正規化する工程と、
正規化された変換係数を量子化する工程と、
量子化された変換係数から遺伝的アルゴリズム（ＧＡ）に基づき、所定の変換係数を選択する工程と、
選択された変換係数の位置を記憶する工程とを有することを特徴とする顔画像の特徴抽出方法。
【００１８】
（請求項３）
直交変換が、ＤＣＴであることを特徴とする請求項１又は２記載の顔画像の特徴抽出方法。
【００１９】
（請求項４）
請求項１、２又は３記載の顔画像の特徴抽出方法によって記憶された特徴抽出位置に基づいて、
登録対象者の複数の顔画像を、それぞれ奇数分割のパターンで且つそれぞれ異なるブロックサイズにより分割する工程と、
前記分割された各々のブロックに対して直交変換を行い、変換係数を算出する工程と、
算出された変換係数と前記特徴抽出位置とに基づいて抽出された変換係数からテンプレートを作成する工程とを有することを特徴とする識別信号作成方法。
【００２０】
（請求項５）
請求項１、２又は３記載の顔画像の特徴抽出方法によって記憶された特徴抽出位置に基づいて、
登録対象者の複数の顔画像を、それぞれ奇数分割のパターンで且つそれぞれ異なるブロックサイズにより分割する工程と、
前記分割された各々のブロックに対して直交変換を行い、変換係数を算出する工程と、
算出された変換係数を正規化する工程と、
正規化された変換係数を量子化する工程と、
量子化された変換係数と前記特徴抽出位置とに基づいて抽出された変換係数からテンプレートを作成する工程とを有することを特徴とする識別信号作成方法。
【００２１】
（請求項６）
直交変換が、ＤＣＴであることを特徴とする請求項４又は５記載の識別信号作成方法。
【発明の効果】
【００２２】
本発明によれば、照明変動に対するロバスト性を向上させながら、高速かつコンパクトな顔画像の特徴抽出方法及び識別信号作成方法を提供することができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の好ましい実施の形態について説明する。
【００２４】
図１は、本発明に係る特徴ベクトル抽出情報処理に係る一例を説明するフローチャートであり、同図に基づいて特徴ベクトル抽出情報作成処理を説明する。
【００２５】
まず、顔画像を入力する（Ｓ１）。説明を簡単にするために、入力された顔画像のサイズは、縦６０×横６０pixelsとして説明する。また、後述する特徴点を選択する処理であるので、約３０００枚の顔画像に基づいて特徴ベクトルの選択を行う。
【００２６】
次に、入力顔画像をマルチブロック分割する（Ｓ２）。
【００２７】
マルチブロック分割とは、顔画像を複数の異なるサイズで分割する方法である。
【００２８】
従来、後述するＤＣＴを行う際、顔画像全体にＤＣＴを行う手法と、顔画像を同一サイズ（例えば、４×４pixels、８×８pixels）に分割してＤＣＴを行う手法が取られていた。
【００２９】
顔画像全体でＤＣＴを行う場合、目・鼻・口などの顔器官の位置やサイズの特徴を効果的に取り出すことができるが、照明変動が生じた場合、顔画像の見た目が大きく変化するため、その影響でＤＣＴ係数が変動し認識性能が低下する。
【００３０】
また、顔画像を同一サイズに分割してＤＣＴを行う場合、顔画像全体に対してＤＣＴを行う場合より、照明変動に対処することが出来るが、局所領域のＤＣＴでは顔器官の位置やサイズなどの特徴が少なくなり個人識別性能が低下してしまう。従って、同一サイズの分割手法では、顔認証には適していない。
【００３１】
そこで、顔画像をマルチブロック分割することにより、上記の手法の欠点を補うことができる。つまり、顔機能の位置、サイズの特徴を効果的に取り出しつつ、照明変動に対して効果的に対処できる。
【００３２】
本発明におけるマルチブロック分割は、顔画像データが、縦６０×横６０pixelsであった場合、ブロックのサイズを、２０×２０、２０×１２、１２×２０、１２×１２の異なる４種類のブロックサイズに分割する。つまり、顔画像全体のサイズを、１／３、１／５のサイズとなる奇数分割によって、顔画像を分割する。
【００３３】
奇数分割とは、顔画像の縦方向、横方向へ奇数による分割をすることであり、例えば、顔画像の縦方向へ３分割若しくは５分割、横方向へ３分割若しくは５分割する。
【００３４】
奇数分割を行うのは、人の顔が左右対称であり、顔の中央には鼻、口があるため、これらの器官の特徴を抽出しやすくするためである。偶数分割では、鼻、口を分割することになってしまうため、それらの器官の特徴が抽出できなくなる問題がある。
【００３５】
つまり、複数の顔画像を、それぞれ奇数分割のパターンで且つそれぞれ異なるブロックサイズで分割することが本発明におけるマルチブロック分割である。
【００３６】
では、マルチブロック分割の必要性を表１に基づいて説明する。
【００３７】
表１には、ＤＣＴ係数と周波数の関係（信号長の１／２までを表示）が示されている。
【００３８】
表１に示すように複数のブロックサイズでＤＣＴを行うことによって、単一のブロックサイズ（例えば、８×８pixels、表１では８の信号長）を用いるよりも多くの種類の周波数成分を抽出することができる。顔画像のように類似度の高い画像から固有の特徴を取り出すためには、できるだけ多くの周波数成分を抽出する方が顔の特徴の小さな違いも表現でき効果的であると考えられる。ただし、表１からもわかるように、使用するブロックサイズ（信号長）が近い値の場合（例えば、２０と１８を用いる場合など）、抽出できる周波数成分が近いものとなるため、抽出される情報も似たものとなる。このため使用するブロックサイズには、ある程度の間隔がある方がよいと考えられる。
【００３９】
【表１】
【００４０】
顔画像データのマルチブロック分割した例を図２に示す。
【００４１】
図２において、（ａ）は、顔画像全体から１ブロック当たり２０×２０pixelsで分割した例である。つまり、縦３分割、横３分割したパターンである。（ｂ）は、顔画像全体から１ブロック当たり２０×１２pixelsで分割した例である。つまり、縦３分割、横５分割したパターンである。（ｃ）は、顔画像全体から１ブロック当たり１２×２０pixelsで分割した例である。つまり、縦５分割、横３分割したパターンである。（ｄ）は、顔画像全体から１ブロック当たり１２×１２pixelsで分割した例である。つまり、縦５分割、横５分割したパターンである。
【００４２】
従来、顔画像を分割した場合、隣接ブロックの境界線上をオーバーラップすることで、ブロック間の歪みを軽減する。
【００４３】
しかし、１種類のブロック分割で、画像を復元する場合、オーバーラップをしないと、境界線に歪みが生じてしまう。
【００４４】
本発明においては、複数のサイズで分割することにより、１種類のブロック分割で区切られている画像も他のブロック分割では、１つのブロックに収まっているため、オーバーラップを必要としない。なぜなら、顔画像を復元する必要がないためである。更に、いずれかのブロックにおいて周波数成分を抽出することができれば、問題ないためである。
【００４５】
ここで、本発明では、４種類のブロックサイズを用いた場合の説明をしているが、特に限定はされず、光の影響、多くの周波数成分を抽出するための分割であれば、本発明に十分適用可能である。従って、マルチブロック分割は、分割する際の、種類の増減だけでなく、位置等の移動に対しても、十分に対処可能である。
【００４６】
次に、分割されたブロックをＤＣＴにより周波数成分に変換し、ＤＣＴ係数を算出する（Ｓ３）。具体的には、図２（ａ）〜（ｄ）において、分割されたブロックすべてに対してＤＣＴにより周波数成分に変換し、ＤＣＴ係数を算出する。図２（ａ）で算出されるＤＣＴ係数の個数は、２０×２０×９＝３６００個のＤＣＴ係数が算出される。図２（ｂ）〜（ｄ）も同様に各ブロックに対して行われるため、ここでは、４枚の画像を用いているため、３６００×４＝１４４００個のＤＣＴ係数が算出されることになる。
【００４７】
また、前記Ｓ２において、マルチブロック分割を行い、ＤＣＴによる周波数成分への変換を行うため、本発明におけるＤＣＴを、以下「マルチブロックＤＣＴ」とも呼ぶ。
【００４８】
ここで、算出されたＤＣＴ係数は、分割したパターンにより、周波数成分が異なるため、より多くの周波数成分が、人の顔画像から抽出される結果となる。
【００４９】
ＤＣＴは画像圧縮や音声圧縮などによく用いられており、画像情報を周波数領域へ変換する手法の一つである。画像にＤＣＴを行うと画像情報は左上の少数の低周波成分に集まるため画像情報の少ない高周波成分をカットすることによって効果的な圧縮が行うことができる。
【００５０】
ここで、画像の情報が少数の低周波成分に集まるという性質から、低周波成分の少数のＤＣＴ係数のみで元の画像情報の大部分を表現できると考えられる。本発明では、このようなＤＣＴの特徴をパターン認識に応用することによって、少ない情報で顔画像の識別を行う。
【００５１】
２次元のＤＣＴは、数式１で与えられる。
【００５２】
【数１】
【００５３】
ただし
【数２】
【００５４】
であり、Ｍ、Ｎは画像の縦および横方向の画素数である。
【００５５】
次に、ＤＣＴにより算出されたＤＣＴ係数を正規化する（Ｓ４）。
【００５６】
顔画像の変化による同一人物間のＤＣＴ係数の変動を小さくするため、以下の数式３を用いて周波数成分ごとにＤＣＴ係数の正規化を行う。
【００５７】
【数３】
【００５８】
【００５９】
【数４】
【００６０】
次に、正規化されたＤＣＴ係数を量子化する（Ｓ５）。
【００６１】
顔画像から作成される顔データがコンパクトになるように、一つのＤＣＴ係数を１バイトの変数に格納できるようにする。そのためＤＣＴ係数を−１２７〜＋１２７の範囲の整数値に量子化する。
【００６２】
この量子化を経ることで、ＤＣＴ係数が１バイト（８ビット）に抑えられ、更に整数値にされるので、計算速度をより高速化させることが可能になる。
【００６３】
本発明では、量子化されたＤＣＴ係数を特徴ベクトルと呼ぶ。
【００６４】
次に、特徴ベクトルを、遺伝的アルゴリズムを用いて選択する（Ｓ６）。
【００６５】
Ｓ５までの処理により得られた顔画像の特徴ベクトルは顔画像の画素数と同じ次元数を持つため、複数のブロックサイズで行うＤＣＴでは得られる特徴ベクトルの次元数が非常に大きくなる。
【００６６】
顔画像を用いて個人識別を行う場合、すべてのＤＣＴ係数を必要としない。
【００６７】
従来法では、ＤＣＴ係数のエネルギーが集まる低周波成分のみを用いていたが、この手法では、個人の特徴が強く現れるＤＣＴ係数だけでなく、個人の特徴が少なく識別に不要なＤＣＴ係数も多く含まれるため、結果として識別性能を低くする原因になっていた。また、これまでの実験から個人識別に必要なＤＣＴ係数は低周波成分だけでなく、高周波成分にもあることがわかった。
【００６８】
そこで、本発明では、遺伝的アルゴリズム（ＧＡ）を用いて個人識別を行うために必要な最小限の特徴ベクトルを選択する。これによって従来よりも少ない特徴ベクトルを用いて効果的な個人識別を行うことができる。
【００６９】
つまり、遺伝的アルゴリズム（ＧＡ）は、ＤＣＴ係数のどの周波数成分が、より人物の識別に適しているかを導き出すための方法である。
【００７０】
遺伝的アルゴリズム（ＧＡ）は以下の方法で行うことで特徴ベクトルが選択される。
【００７１】
まず、コード化を行い、特徴ベクトル全体を一つの個体として表現する。各個体の遺伝子のビットが各特徴ベクトルに対応し、ビットのオン、オフによって、その特徴ベクトルを使用するかしないかを決定する。
【００７２】
次に、適応度を求める。ＧＡは世代の更新時に適応度の高い個体を優先的に残しながら集団を生成する。本発明では、個体の適応度を認識性能から求める。つまり、目標とする他人受入率を設定し、その他人受入率以下となる場合において本人拒否率が小さい個体を適応度の高い個体とする。
【００７３】
次に、選択を行う。選択は、交叉に先立って集団の中から交叉させる親個体を適応度に応じて確率的に選ぶ操作である。本発明では、選択にトーナメント方式を用いる。トーナメント方式とは、一つの親個体を選択する際に集団の中から二つの個体を取りだし、適応度の高い個体を親個体とする手法である。
【００７４】
次に、交叉を行う。交叉は、選択された二つの親個体間で遺伝子を組み換えることによって新しい個体を作成することである。本発明では、交叉法として一様交叉を用いる。
【００７５】
次に、突然変異確率を設定する。突然変異は、各個体の遺伝子のビットを突然変異確率に従って変更する操作である。突然変異によって局所解に陥ることを避けることができ、大域的な解の探索が可能となる。本発明では、突然変異確率を０．１％とした。
【００７６】
前記工程を経ることで、特徴ベクトルの位置を選択することができる。
【００７７】
本発明では、画像サイズが６０×６０pixelsの顔画像を約３０００人分用いて特徴ベクトルの位置を決定した。ここでＧＡによって選択された特徴ベクトルの位置を特徴点と呼ぶ。
【００７８】
目標他人受入率を０．１％未満としてＧＡによって決定された特徴ベクトルは約４５０点であった。このことからマルチブロック分割によるＤＣＴで得られたＤＣＴ係数の個数（１人当たり１人の顔画像を４枚用いた場合６０×６０×４＝１４４００）の約１／３６のデータ量で顔画像の認識ができることがわかった。
【００７９】
図３にＧＡによって選択された特徴点の例を示す。図中の白い画素で表されている位置が特徴点である。ここで、図３に示す特徴点は、図２（ａ）〜（ｄ）の４枚の顔画像を並べた場合の例である。具体的には、図２（ａ）が左上、図２（ｂ）が右上、図２（ｃ）が左下、図２（ｄ）が右下というようにする。しかし、並べ方は特に限定されない。
【００８０】
前記特徴点の位置が抽出情報であり、特徴ベクトル抽出情報とする。この特徴ベクトル抽出情報を用いることで、識別信号を容易に作成することができる。
【００８１】
この特徴ベクトル抽出情報は、以下識別信号を作成する際、どの人物の顔画像に対しても用いることができる。
【００８２】
次に、識別信号作成処理について図４に基づいて説明する。
【００８３】
まず、図１に基づいて説明した特徴ベクトル選択処理と同様に、登録対象者の顔画像を入力する（Ｓ１０）。登録対象者とは、後述するテンプレートの人物であり、後に認証をするための判断基準となるテンプレート作成の基になる人物である。顔画像データのサイズは、特徴ベクトル選択処理で説明した６０×６０pixelsとして以後説明する。
【００８４】
次に、図１に基づいて説明した特徴ベクトル選択処理のＳ２〜Ｓ５までの処理を登録対象者１人の顔画像に対して同様に行うので、説明を省略する（Ｓ１１〜Ｓ１４）。
【００８５】
次に、特徴ベクトル選択処理で作成された特徴ベクトル抽出情報に基づいて、登録対象者の特徴ベクトルを抽出する（Ｓ１５）。例えば、事前に記憶している特徴ベクトル抽出情報を図示しない記憶部等から呼び出し、Ｓ１４で特徴ベクトルと併せて処理を行う。具体的には、特徴ベクトル抽出情報は、図４に示した白枠の位置であり、特徴ベクトルは、登録対象者の特徴ベクトルである。従って、白い枠の位置に該当する特徴ベクトルを抽出することができる。
【００８６】
次に、抽出した量子化されたＤＣＴ係数を、テンプレート化する（Ｓ１６）。並べ方は特に限定されないが、例えば、図４に示した白い枠を左上から右へ一列ずつ並べていくように、白い枠に該当した特徴ベクトルを並べる。
【００８７】
前記までの工程により作成されたテンプレートが識別信号となる。これにより、認証時に、人物を識別することが可能となる。また、識別信号のみで、犯罪等のときにおける犯人の顔画像のテンプレート化により、対象者を割り出したり、閾値等を設定することで、人相の近い人物等を呼び出すことも可能となる。
【００８８】
更に、カメラに対しての顔向きが上下左右２０度〜３０度程度であれば、本発明で適用可能である。
【００８９】
ＤＣＴのブロックサイズが大きいほど、信号の低周波成分の情報を抽出できるため、信号の小さな変化に対して影響を受けにくい。カメラに対しての顔向きが上下左右２０度〜３０度程度の場合、それによる顔の器官の位置ずれは２pixels程度である。顔画像を局所領域のブロックに分割して処理を行う場合、顔の傾きの変化による顔の器官の位置のずれはブロックサイズが小さいほど大きな影響を受ける。なぜなら、ブロック内に存在していた顔の器官が位置ずれによって存在しなくなる場合が生じるからである。
【００９０】
本発明においても顔画像を局所領域のブロックに分割しているが、小さな正方形のブロックだけでなく複数種類のブロックサイズを使用している。
【００９１】
小さなブロックサイズでは算出されるＤＣＴ係数が顔の器官の位置ずれによって影響を受けるが、大きなブロックサイズではその影響が少ないため、マルチブロックＤＣＴによって顔画像から取り出されるＤＣＴ係数全体の影響は小さくなる。また、数式４によって同一人物間のＤＣＴ係数の変動が小さくなるようにＤＣＴ係数を正規化しているため、顔の傾きの変化によるＤＣＴ係数の変動も小さくすることができる。
【００９２】
以上のことから、顔の傾きが変化することによって生じる特徴ベクトルの変動が小さなものとなるため、カメラに対して顔向きが上下左右２０度〜３０度程度である場合にも認証が可能となる。
【００９３】
また、本発明では、直交変換をＤＣＴによる周波数成分への変換で説明したが、これに限定されず、例えば、ＤＳＴ（離散的サイン変換）による周波数成分への変換を用いても、適用可能である。
【００９４】
では、実際の認証工程を以下に説明する。
【００９５】
まず、次の手順で撮影された画像から顔画像を切り出し、位置やサイズ、回転などを揃える正規化を行う。
【００９６】
（１）撮影された画像から顔と瞳の位置を検出する。
【００９７】
（２）検出された瞳の位置を基準として瞳間隔が３６pixelsとなるように拡大縮小を行い、６０×６０pixelsの顔画像を切り出す。
【００９８】
（３）切り出された顔画像にlog関数を用いた非線形濃度変換を行い、さらに局所的な領域に対して次数式５で正規化を行う。
【００９９】
【数５】
【０１００】
ここで、ｍ、σは局所領域の平均値と標準偏差であり、ｍ0、σ0は多くの顔画像から実験的に求めた平均値と標準偏差でｍ0＝１５０、σ0＝５０である。
【０１０１】
以上の手順で正規化された顔画像に対して、マルチブロックＤＣＴを行い、顔画像を特徴ベクトルに変換する。さらに遺伝的アルゴリズムによって決定された特徴点上の特徴ベクトルを１次元信号として取り出す。これが各顔画像から作成される顔データとなる。この顔データに次の数式６で表される相互相関を用いて認識率（類似度）ｒを計算する。
【０１０２】
【数６】
【０１０３】
ここで、Ｎは顔データのサイズ（特徴ベクトル数）、ｆｉ、ｇｉはそれぞれ登録時、認証（照合）時の顔画像から作成された顔データ（特徴ベクトル）である。
【実施例】
【０１０４】
本発明の認識性能を評価するために、照明条件を変えて撮影した約５０００枚の顔画像を用いて認識実験を行った。
【０１０５】
ここでは、本発明と他の技術との認識性能を比較するために、ＦＡＲ（他人受入率）が０．１％のときのＦＲＲ（本人拒否率）の値で評価する。ＦＡＲとＦＲＲはそれぞれ次の数式７で表される。
【０１０６】
【数７】
【０１０７】
表２に認識性能の比較結果を示す。表２より、本発明は、照明変動の有無にかかわらず従来法よりも認識性能が高く、照明変動のある場合には従来法より１０％以上本人拒否率が低いことがわかる。
【０１０８】
また処理時間についても、市販のパソコン（Dell Dimension 8400, Intel Pentium4-3.2GHz（Dell,Intel,Pentiumはいずれも登録商標））上で計測した結果、顔画像から顔データへの変換に1.1ミリ秒、登録顔データと認証顔データの照合に0.0007ミリ秒（秒間140万枚の照合、１億回の照合時間から算出）と非常に高速であることがわかった。このことから、顔画像を顔データに変換してサーバー等に登録しておけば、非常に高速に顔の検索を行うことができる。
【０１０９】
【表２】
【０１１０】
本発明によると、離散コサイン変換と遺伝的アルゴリズムを用いた高速かつコンパクトな顔認識手法を提供できる。また高速な認識と照明変動に対するロバスト性を向上させるためにマルチブロックＤＣＴを提供できる。更に、ＤＣＴ係数の量子化と遺伝的アルゴリズムを用いた特徴ベクトルの選択を行うことによって、１枚の顔画像から作成される顔データのサイズは約４５０バイトとなり、従来法と比べて非常に小さくなる効果を発揮する。
【０１１１】
照明変動が生じる環境で撮影された顔画像を用いた実験によって、従来法と比べて本発明は照明変動に対してロバスト性を持つことがわかった。また認識速度についても、市販のパソコン上で顔画像を撮影して顔の切り出しから認識を行うまで約１００ミリ秒と非常に高速である。
【０１１２】
以上のことから、膨大な顔画像を保存しているようなデータベースから目的の顔を検索するようなシステムでは非常に効果的であると考えられる。また本発明は、高速な認識が可能であるため監視カメラなどと組み合わせたリアルタイム顔認識システムの開発を可能にすると考えられる。
【産業上の利用可能性】
【０１１３】
本発明は、コンパクトかつ高速性を重視しているため、特に少ないメモリが要求される携帯端末等、リアルタイムな認証を要求されるような監視カメラ等への実装に適している。
【図面の簡単な説明】
【０１１４】
【図１】本発明に係る特徴ベクトル抽出情報処理に係る一例を説明するフローチャート
【図２】（ａ）は、縦３分割、横３分割による分割例を示す図、（ｂ）は、縦３分割、横５分割による分割例を示す図、（ｃ）は、縦５分割、横３分割による分割例を示す図（ｄ）は、縦５分割、横５分割による分割例を示す図
【図３】本発明に係る特徴ベクトル抽出情報の一例を示す図
【図４】本発明に係るテンプレート作成処理に係る一例を説明するフローチャート
【技術分野】
【０００１】
本発明は、顔画像の特徴抽出方法及び識別信号作成方法に関し、詳しくは、照明変動に対するロバスト性を向上させながら、高速かつコンパクトな顔画像の特徴抽出方法及び識別信号作成方法に関する。
【背景技術】
【０００２】
従来、個人識別に用いる生体情報には、顔、指紋、静脈、虹彩などがあるが、顔を用いた個人識別は非接触で行うことができるため、ユーザの利便性が高い。
【０００３】
また顔を見て相手を識別することは日常的に行われている動作であるため、ユーザの心理的負担も軽いと考えられる。
【０００４】
しかし顔画像は、同一人物であっても照明条件や顔向き、表情によって見た目が大きく変動するため顔画像の撮影条件によって認識性能が大きく変化する。
【０００５】
顔画像認識の手法を大きく二つの手法に分けると、顔画像の濃淡パターンを特徴とする手法とグラフマッチングを行う手法に分けられる。
【０００６】
前者の代表的な手法には、顔画像に主成分分析を行い固有顔と呼ばれる基底ベクトルを作成するEigenfacesが挙げられる（非特許文献１）。
【０００７】
また、後者には、顔画像にGabor Waveletフィルタを適用する手法が挙げられる（非特許文献２、非特許文献３）。
【０００８】
前記Gabor Waveletフィルタを用いる手法は、顔向きや照明変動に対しても安定した認識性能が出せるため、多くの研究や製品などで用いられている。
【０００９】
しかし、顔画像から作成されるテンプレートデータが、数キロバイトになることや、計算量が比較的多くなるため、組み込み機器など計算資源の限られた環境で動作させることが難しい。
【００１０】
離散コサイン変換（ＤＣＴ）は、直交変換の一つであるが、信号のエネルギーが低周波領域に集中する傾向があるため、画像圧縮に用いた場合、他の直交変換よりも効果的に画像を圧縮することができる。つまり画像にＤＣＴを行うことによって、変換前の画像が持つ情報の大部分を低周波領域のＤＣＴ係数で保存することができる。
【００１１】
このようなＤＣＴの特徴からパターンマッチングや顔画像認識にＤＣＴを用いる手法が開発されてきた（非特許文献４、５）。
【００１２】
しかし、ＤＣＴ係数は対象とする画像の見た目に左右されるため、顔画像に照明変動が生じると認識性能が低下することがあった。
【非特許文献１】M. Turk and A. Pentland, “Face recognition using eigenfaces,” IEEE Proc. Conf. on Computer Vision and Pattern Recognition, pp.586-591, 1991.
【非特許文献２】L.Wiskott, J.M. Fellous, N. Kruger and C. Malsburg, “Face recognition by elastic bunch graph matching,” IEEE Trans. Pattern Anal. Mach. Intell., vol.19, no.7, 775 - 779, 1997.
【非特許文献３】平山高嗣, 岩井儀雄, 谷内田正彦, “顔認証のための顔位置推定と個人識別の統合”, 信学論（D-II）, vol.J-88-D-II, no.2, pp.276-290, 2005.
【非特許文献４】Z. M. Hafed and M. D. Levine, “Face Recognition Using the Discrete Cosine Transform”, International Journal of Computer Vision, vol.43, no.3, 167-188, 2001.
【非特許文献５】H.K. Ekenel and R. Stiefelhagen, “Local Appearance based Face Recognition Using Discrete Cosine Transform,” EUSIPCO 2005, Antalya, Turkey, 2005.
【発明の開示】
【発明が解決しようとする課題】
【００１３】
そこで、本発明は、照明変動に対するロバスト性を向上させながら、高速かつコンパクトな顔画像の特徴抽出方法及び識別信号作成方法を提供することにある。
【００１４】
本発明の他の課題は以下の記載によって明らかとなる。
【課題を解決するための手段】
【００１５】
上記課題は、以下の各発明によって解決される。
【００１６】
（請求項１）
複数の顔画像を、それぞれ奇数分割のパターンで且つそれぞれ異なるブロックサイズにより分割する工程と、
前記分割された各々のブロックに対して直交変換を行い、変換係数を算出する工程と、
算出された変換係数から遺伝的アルゴリズム（ＧＡ）に基づき、所定の変換係数を選択する工程と、
選択された変換係数の位置を記憶する工程とを有することを特徴とする顔画像の特徴抽出方法。
【００１７】
（請求項２）
複数の顔画像を、それぞれ奇数分割のパターンで且つそれぞれ異なるブロックサイズにより分割する工程と、
前記分割された各々のブロックに対して直交変換を行い、変換係数を算出する工程と、
算出された変換係数を正規化する工程と、
正規化された変換係数を量子化する工程と、
量子化された変換係数から遺伝的アルゴリズム（ＧＡ）に基づき、所定の変換係数を選択する工程と、
選択された変換係数の位置を記憶する工程とを有することを特徴とする顔画像の特徴抽出方法。
【００１８】
（請求項３）
直交変換が、ＤＣＴであることを特徴とする請求項１又は２記載の顔画像の特徴抽出方法。
【００１９】
（請求項４）
請求項１、２又は３記載の顔画像の特徴抽出方法によって記憶された特徴抽出位置に基づいて、
登録対象者の複数の顔画像を、それぞれ奇数分割のパターンで且つそれぞれ異なるブロックサイズにより分割する工程と、
前記分割された各々のブロックに対して直交変換を行い、変換係数を算出する工程と、
算出された変換係数と前記特徴抽出位置とに基づいて抽出された変換係数からテンプレートを作成する工程とを有することを特徴とする識別信号作成方法。
【００２０】
（請求項５）
請求項１、２又は３記載の顔画像の特徴抽出方法によって記憶された特徴抽出位置に基づいて、
登録対象者の複数の顔画像を、それぞれ奇数分割のパターンで且つそれぞれ異なるブロックサイズにより分割する工程と、
前記分割された各々のブロックに対して直交変換を行い、変換係数を算出する工程と、
算出された変換係数を正規化する工程と、
正規化された変換係数を量子化する工程と、
量子化された変換係数と前記特徴抽出位置とに基づいて抽出された変換係数からテンプレートを作成する工程とを有することを特徴とする識別信号作成方法。
【００２１】
（請求項６）
直交変換が、ＤＣＴであることを特徴とする請求項４又は５記載の識別信号作成方法。
【発明の効果】
【００２２】
本発明によれば、照明変動に対するロバスト性を向上させながら、高速かつコンパクトな顔画像の特徴抽出方法及び識別信号作成方法を提供することができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の好ましい実施の形態について説明する。
【００２４】
図１は、本発明に係る特徴ベクトル抽出情報処理に係る一例を説明するフローチャートであり、同図に基づいて特徴ベクトル抽出情報作成処理を説明する。
【００２５】
まず、顔画像を入力する（Ｓ１）。説明を簡単にするために、入力された顔画像のサイズは、縦６０×横６０pixelsとして説明する。また、後述する特徴点を選択する処理であるので、約３０００枚の顔画像に基づいて特徴ベクトルの選択を行う。
【００２６】
次に、入力顔画像をマルチブロック分割する（Ｓ２）。
【００２７】
マルチブロック分割とは、顔画像を複数の異なるサイズで分割する方法である。
【００２８】
従来、後述するＤＣＴを行う際、顔画像全体にＤＣＴを行う手法と、顔画像を同一サイズ（例えば、４×４pixels、８×８pixels）に分割してＤＣＴを行う手法が取られていた。
【００２９】
顔画像全体でＤＣＴを行う場合、目・鼻・口などの顔器官の位置やサイズの特徴を効果的に取り出すことができるが、照明変動が生じた場合、顔画像の見た目が大きく変化するため、その影響でＤＣＴ係数が変動し認識性能が低下する。
【００３０】
また、顔画像を同一サイズに分割してＤＣＴを行う場合、顔画像全体に対してＤＣＴを行う場合より、照明変動に対処することが出来るが、局所領域のＤＣＴでは顔器官の位置やサイズなどの特徴が少なくなり個人識別性能が低下してしまう。従って、同一サイズの分割手法では、顔認証には適していない。
【００３１】
そこで、顔画像をマルチブロック分割することにより、上記の手法の欠点を補うことができる。つまり、顔機能の位置、サイズの特徴を効果的に取り出しつつ、照明変動に対して効果的に対処できる。
【００３２】
本発明におけるマルチブロック分割は、顔画像データが、縦６０×横６０pixelsであった場合、ブロックのサイズを、２０×２０、２０×１２、１２×２０、１２×１２の異なる４種類のブロックサイズに分割する。つまり、顔画像全体のサイズを、１／３、１／５のサイズとなる奇数分割によって、顔画像を分割する。
【００３３】
奇数分割とは、顔画像の縦方向、横方向へ奇数による分割をすることであり、例えば、顔画像の縦方向へ３分割若しくは５分割、横方向へ３分割若しくは５分割する。
【００３４】
奇数分割を行うのは、人の顔が左右対称であり、顔の中央には鼻、口があるため、これらの器官の特徴を抽出しやすくするためである。偶数分割では、鼻、口を分割することになってしまうため、それらの器官の特徴が抽出できなくなる問題がある。
【００３５】
つまり、複数の顔画像を、それぞれ奇数分割のパターンで且つそれぞれ異なるブロックサイズで分割することが本発明におけるマルチブロック分割である。
【００３６】
では、マルチブロック分割の必要性を表１に基づいて説明する。
【００３７】
表１には、ＤＣＴ係数と周波数の関係（信号長の１／２までを表示）が示されている。
【００３８】
表１に示すように複数のブロックサイズでＤＣＴを行うことによって、単一のブロックサイズ（例えば、８×８pixels、表１では８の信号長）を用いるよりも多くの種類の周波数成分を抽出することができる。顔画像のように類似度の高い画像から固有の特徴を取り出すためには、できるだけ多くの周波数成分を抽出する方が顔の特徴の小さな違いも表現でき効果的であると考えられる。ただし、表１からもわかるように、使用するブロックサイズ（信号長）が近い値の場合（例えば、２０と１８を用いる場合など）、抽出できる周波数成分が近いものとなるため、抽出される情報も似たものとなる。このため使用するブロックサイズには、ある程度の間隔がある方がよいと考えられる。
【００３９】
【表１】
【００４０】
顔画像データのマルチブロック分割した例を図２に示す。
【００４１】
図２において、（ａ）は、顔画像全体から１ブロック当たり２０×２０pixelsで分割した例である。つまり、縦３分割、横３分割したパターンである。（ｂ）は、顔画像全体から１ブロック当たり２０×１２pixelsで分割した例である。つまり、縦３分割、横５分割したパターンである。（ｃ）は、顔画像全体から１ブロック当たり１２×２０pixelsで分割した例である。つまり、縦５分割、横３分割したパターンである。（ｄ）は、顔画像全体から１ブロック当たり１２×１２pixelsで分割した例である。つまり、縦５分割、横５分割したパターンである。
【００４２】
従来、顔画像を分割した場合、隣接ブロックの境界線上をオーバーラップすることで、ブロック間の歪みを軽減する。
【００４３】
しかし、１種類のブロック分割で、画像を復元する場合、オーバーラップをしないと、境界線に歪みが生じてしまう。
【００４４】
本発明においては、複数のサイズで分割することにより、１種類のブロック分割で区切られている画像も他のブロック分割では、１つのブロックに収まっているため、オーバーラップを必要としない。なぜなら、顔画像を復元する必要がないためである。更に、いずれかのブロックにおいて周波数成分を抽出することができれば、問題ないためである。
【００４５】
ここで、本発明では、４種類のブロックサイズを用いた場合の説明をしているが、特に限定はされず、光の影響、多くの周波数成分を抽出するための分割であれば、本発明に十分適用可能である。従って、マルチブロック分割は、分割する際の、種類の増減だけでなく、位置等の移動に対しても、十分に対処可能である。
【００４６】
次に、分割されたブロックをＤＣＴにより周波数成分に変換し、ＤＣＴ係数を算出する（Ｓ３）。具体的には、図２（ａ）〜（ｄ）において、分割されたブロックすべてに対してＤＣＴにより周波数成分に変換し、ＤＣＴ係数を算出する。図２（ａ）で算出されるＤＣＴ係数の個数は、２０×２０×９＝３６００個のＤＣＴ係数が算出される。図２（ｂ）〜（ｄ）も同様に各ブロックに対して行われるため、ここでは、４枚の画像を用いているため、３６００×４＝１４４００個のＤＣＴ係数が算出されることになる。
【００４７】
また、前記Ｓ２において、マルチブロック分割を行い、ＤＣＴによる周波数成分への変換を行うため、本発明におけるＤＣＴを、以下「マルチブロックＤＣＴ」とも呼ぶ。
【００４８】
ここで、算出されたＤＣＴ係数は、分割したパターンにより、周波数成分が異なるため、より多くの周波数成分が、人の顔画像から抽出される結果となる。
【００４９】
ＤＣＴは画像圧縮や音声圧縮などによく用いられており、画像情報を周波数領域へ変換する手法の一つである。画像にＤＣＴを行うと画像情報は左上の少数の低周波成分に集まるため画像情報の少ない高周波成分をカットすることによって効果的な圧縮が行うことができる。
【００５０】
ここで、画像の情報が少数の低周波成分に集まるという性質から、低周波成分の少数のＤＣＴ係数のみで元の画像情報の大部分を表現できると考えられる。本発明では、このようなＤＣＴの特徴をパターン認識に応用することによって、少ない情報で顔画像の識別を行う。
【００５１】
２次元のＤＣＴは、数式１で与えられる。
【００５２】
【数１】
【００５３】
ただし
【数２】
【００５４】
であり、Ｍ、Ｎは画像の縦および横方向の画素数である。
【００５５】
次に、ＤＣＴにより算出されたＤＣＴ係数を正規化する（Ｓ４）。
【００５６】
顔画像の変化による同一人物間のＤＣＴ係数の変動を小さくするため、以下の数式３を用いて周波数成分ごとにＤＣＴ係数の正規化を行う。
【００５７】
【数３】
【００５８】
【００５９】
【数４】
【００６０】
次に、正規化されたＤＣＴ係数を量子化する（Ｓ５）。
【００６１】
顔画像から作成される顔データがコンパクトになるように、一つのＤＣＴ係数を１バイトの変数に格納できるようにする。そのためＤＣＴ係数を−１２７〜＋１２７の範囲の整数値に量子化する。
【００６２】
この量子化を経ることで、ＤＣＴ係数が１バイト（８ビット）に抑えられ、更に整数値にされるので、計算速度をより高速化させることが可能になる。
【００６３】
本発明では、量子化されたＤＣＴ係数を特徴ベクトルと呼ぶ。
【００６４】
次に、特徴ベクトルを、遺伝的アルゴリズムを用いて選択する（Ｓ６）。
【００６５】
Ｓ５までの処理により得られた顔画像の特徴ベクトルは顔画像の画素数と同じ次元数を持つため、複数のブロックサイズで行うＤＣＴでは得られる特徴ベクトルの次元数が非常に大きくなる。
【００６６】
顔画像を用いて個人識別を行う場合、すべてのＤＣＴ係数を必要としない。
【００６７】
従来法では、ＤＣＴ係数のエネルギーが集まる低周波成分のみを用いていたが、この手法では、個人の特徴が強く現れるＤＣＴ係数だけでなく、個人の特徴が少なく識別に不要なＤＣＴ係数も多く含まれるため、結果として識別性能を低くする原因になっていた。また、これまでの実験から個人識別に必要なＤＣＴ係数は低周波成分だけでなく、高周波成分にもあることがわかった。
【００６８】
そこで、本発明では、遺伝的アルゴリズム（ＧＡ）を用いて個人識別を行うために必要な最小限の特徴ベクトルを選択する。これによって従来よりも少ない特徴ベクトルを用いて効果的な個人識別を行うことができる。
【００６９】
つまり、遺伝的アルゴリズム（ＧＡ）は、ＤＣＴ係数のどの周波数成分が、より人物の識別に適しているかを導き出すための方法である。
【００７０】
遺伝的アルゴリズム（ＧＡ）は以下の方法で行うことで特徴ベクトルが選択される。
【００７１】
まず、コード化を行い、特徴ベクトル全体を一つの個体として表現する。各個体の遺伝子のビットが各特徴ベクトルに対応し、ビットのオン、オフによって、その特徴ベクトルを使用するかしないかを決定する。
【００７２】
次に、適応度を求める。ＧＡは世代の更新時に適応度の高い個体を優先的に残しながら集団を生成する。本発明では、個体の適応度を認識性能から求める。つまり、目標とする他人受入率を設定し、その他人受入率以下となる場合において本人拒否率が小さい個体を適応度の高い個体とする。
【００７３】
次に、選択を行う。選択は、交叉に先立って集団の中から交叉させる親個体を適応度に応じて確率的に選ぶ操作である。本発明では、選択にトーナメント方式を用いる。トーナメント方式とは、一つの親個体を選択する際に集団の中から二つの個体を取りだし、適応度の高い個体を親個体とする手法である。
【００７４】
次に、交叉を行う。交叉は、選択された二つの親個体間で遺伝子を組み換えることによって新しい個体を作成することである。本発明では、交叉法として一様交叉を用いる。
【００７５】
次に、突然変異確率を設定する。突然変異は、各個体の遺伝子のビットを突然変異確率に従って変更する操作である。突然変異によって局所解に陥ることを避けることができ、大域的な解の探索が可能となる。本発明では、突然変異確率を０．１％とした。
【００７６】
前記工程を経ることで、特徴ベクトルの位置を選択することができる。
【００７７】
本発明では、画像サイズが６０×６０pixelsの顔画像を約３０００人分用いて特徴ベクトルの位置を決定した。ここでＧＡによって選択された特徴ベクトルの位置を特徴点と呼ぶ。
【００７８】
目標他人受入率を０．１％未満としてＧＡによって決定された特徴ベクトルは約４５０点であった。このことからマルチブロック分割によるＤＣＴで得られたＤＣＴ係数の個数（１人当たり１人の顔画像を４枚用いた場合６０×６０×４＝１４４００）の約１／３６のデータ量で顔画像の認識ができることがわかった。
【００７９】
図３にＧＡによって選択された特徴点の例を示す。図中の白い画素で表されている位置が特徴点である。ここで、図３に示す特徴点は、図２（ａ）〜（ｄ）の４枚の顔画像を並べた場合の例である。具体的には、図２（ａ）が左上、図２（ｂ）が右上、図２（ｃ）が左下、図２（ｄ）が右下というようにする。しかし、並べ方は特に限定されない。
【００８０】
前記特徴点の位置が抽出情報であり、特徴ベクトル抽出情報とする。この特徴ベクトル抽出情報を用いることで、識別信号を容易に作成することができる。
【００８１】
この特徴ベクトル抽出情報は、以下識別信号を作成する際、どの人物の顔画像に対しても用いることができる。
【００８２】
次に、識別信号作成処理について図４に基づいて説明する。
【００８３】
まず、図１に基づいて説明した特徴ベクトル選択処理と同様に、登録対象者の顔画像を入力する（Ｓ１０）。登録対象者とは、後述するテンプレートの人物であり、後に認証をするための判断基準となるテンプレート作成の基になる人物である。顔画像データのサイズは、特徴ベクトル選択処理で説明した６０×６０pixelsとして以後説明する。
【００８４】
次に、図１に基づいて説明した特徴ベクトル選択処理のＳ２〜Ｓ５までの処理を登録対象者１人の顔画像に対して同様に行うので、説明を省略する（Ｓ１１〜Ｓ１４）。
【００８５】
次に、特徴ベクトル選択処理で作成された特徴ベクトル抽出情報に基づいて、登録対象者の特徴ベクトルを抽出する（Ｓ１５）。例えば、事前に記憶している特徴ベクトル抽出情報を図示しない記憶部等から呼び出し、Ｓ１４で特徴ベクトルと併せて処理を行う。具体的には、特徴ベクトル抽出情報は、図４に示した白枠の位置であり、特徴ベクトルは、登録対象者の特徴ベクトルである。従って、白い枠の位置に該当する特徴ベクトルを抽出することができる。
【００８６】
次に、抽出した量子化されたＤＣＴ係数を、テンプレート化する（Ｓ１６）。並べ方は特に限定されないが、例えば、図４に示した白い枠を左上から右へ一列ずつ並べていくように、白い枠に該当した特徴ベクトルを並べる。
【００８７】
前記までの工程により作成されたテンプレートが識別信号となる。これにより、認証時に、人物を識別することが可能となる。また、識別信号のみで、犯罪等のときにおける犯人の顔画像のテンプレート化により、対象者を割り出したり、閾値等を設定することで、人相の近い人物等を呼び出すことも可能となる。
【００８８】
更に、カメラに対しての顔向きが上下左右２０度〜３０度程度であれば、本発明で適用可能である。
【００８９】
ＤＣＴのブロックサイズが大きいほど、信号の低周波成分の情報を抽出できるため、信号の小さな変化に対して影響を受けにくい。カメラに対しての顔向きが上下左右２０度〜３０度程度の場合、それによる顔の器官の位置ずれは２pixels程度である。顔画像を局所領域のブロックに分割して処理を行う場合、顔の傾きの変化による顔の器官の位置のずれはブロックサイズが小さいほど大きな影響を受ける。なぜなら、ブロック内に存在していた顔の器官が位置ずれによって存在しなくなる場合が生じるからである。
【００９０】
本発明においても顔画像を局所領域のブロックに分割しているが、小さな正方形のブロックだけでなく複数種類のブロックサイズを使用している。
【００９１】
小さなブロックサイズでは算出されるＤＣＴ係数が顔の器官の位置ずれによって影響を受けるが、大きなブロックサイズではその影響が少ないため、マルチブロックＤＣＴによって顔画像から取り出されるＤＣＴ係数全体の影響は小さくなる。また、数式４によって同一人物間のＤＣＴ係数の変動が小さくなるようにＤＣＴ係数を正規化しているため、顔の傾きの変化によるＤＣＴ係数の変動も小さくすることができる。
【００９２】
以上のことから、顔の傾きが変化することによって生じる特徴ベクトルの変動が小さなものとなるため、カメラに対して顔向きが上下左右２０度〜３０度程度である場合にも認証が可能となる。
【００９３】
また、本発明では、直交変換をＤＣＴによる周波数成分への変換で説明したが、これに限定されず、例えば、ＤＳＴ（離散的サイン変換）による周波数成分への変換を用いても、適用可能である。
【００９４】
では、実際の認証工程を以下に説明する。
【００９５】
まず、次の手順で撮影された画像から顔画像を切り出し、位置やサイズ、回転などを揃える正規化を行う。
【００９６】
（１）撮影された画像から顔と瞳の位置を検出する。
【００９７】
（２）検出された瞳の位置を基準として瞳間隔が３６pixelsとなるように拡大縮小を行い、６０×６０pixelsの顔画像を切り出す。
【００９８】
（３）切り出された顔画像にlog関数を用いた非線形濃度変換を行い、さらに局所的な領域に対して次数式５で正規化を行う。
【００９９】
【数５】
【０１００】
ここで、ｍ、σは局所領域の平均値と標準偏差であり、ｍ0、σ0は多くの顔画像から実験的に求めた平均値と標準偏差でｍ0＝１５０、σ0＝５０である。
【０１０１】
以上の手順で正規化された顔画像に対して、マルチブロックＤＣＴを行い、顔画像を特徴ベクトルに変換する。さらに遺伝的アルゴリズムによって決定された特徴点上の特徴ベクトルを１次元信号として取り出す。これが各顔画像から作成される顔データとなる。この顔データに次の数式６で表される相互相関を用いて認識率（類似度）ｒを計算する。
【０１０２】
【数６】
【０１０３】
ここで、Ｎは顔データのサイズ（特徴ベクトル数）、ｆｉ、ｇｉはそれぞれ登録時、認証（照合）時の顔画像から作成された顔データ（特徴ベクトル）である。
【実施例】
【０１０４】
本発明の認識性能を評価するために、照明条件を変えて撮影した約５０００枚の顔画像を用いて認識実験を行った。
【０１０５】
ここでは、本発明と他の技術との認識性能を比較するために、ＦＡＲ（他人受入率）が０．１％のときのＦＲＲ（本人拒否率）の値で評価する。ＦＡＲとＦＲＲはそれぞれ次の数式７で表される。
【０１０６】
【数７】
【０１０７】
表２に認識性能の比較結果を示す。表２より、本発明は、照明変動の有無にかかわらず従来法よりも認識性能が高く、照明変動のある場合には従来法より１０％以上本人拒否率が低いことがわかる。
【０１０８】
また処理時間についても、市販のパソコン（Dell Dimension 8400, Intel Pentium4-3.2GHz（Dell,Intel,Pentiumはいずれも登録商標））上で計測した結果、顔画像から顔データへの変換に1.1ミリ秒、登録顔データと認証顔データの照合に0.0007ミリ秒（秒間140万枚の照合、１億回の照合時間から算出）と非常に高速であることがわかった。このことから、顔画像を顔データに変換してサーバー等に登録しておけば、非常に高速に顔の検索を行うことができる。
【０１０９】
【表２】
【０１１０】
本発明によると、離散コサイン変換と遺伝的アルゴリズムを用いた高速かつコンパクトな顔認識手法を提供できる。また高速な認識と照明変動に対するロバスト性を向上させるためにマルチブロックＤＣＴを提供できる。更に、ＤＣＴ係数の量子化と遺伝的アルゴリズムを用いた特徴ベクトルの選択を行うことによって、１枚の顔画像から作成される顔データのサイズは約４５０バイトとなり、従来法と比べて非常に小さくなる効果を発揮する。
【０１１１】
照明変動が生じる環境で撮影された顔画像を用いた実験によって、従来法と比べて本発明は照明変動に対してロバスト性を持つことがわかった。また認識速度についても、市販のパソコン上で顔画像を撮影して顔の切り出しから認識を行うまで約１００ミリ秒と非常に高速である。
【０１１２】
以上のことから、膨大な顔画像を保存しているようなデータベースから目的の顔を検索するようなシステムでは非常に効果的であると考えられる。また本発明は、高速な認識が可能であるため監視カメラなどと組み合わせたリアルタイム顔認識システムの開発を可能にすると考えられる。
【産業上の利用可能性】
【０１１３】
本発明は、コンパクトかつ高速性を重視しているため、特に少ないメモリが要求される携帯端末等、リアルタイムな認証を要求されるような監視カメラ等への実装に適している。
【図面の簡単な説明】
【０１１４】
【図１】本発明に係る特徴ベクトル抽出情報処理に係る一例を説明するフローチャート
【図２】（ａ）は、縦３分割、横３分割による分割例を示す図、（ｂ）は、縦３分割、横５分割による分割例を示す図、（ｃ）は、縦５分割、横３分割による分割例を示す図（ｄ）は、縦５分割、横５分割による分割例を示す図
【図３】本発明に係る特徴ベクトル抽出情報の一例を示す図
【図４】本発明に係るテンプレート作成処理に係る一例を説明するフローチャート
【特許請求の範囲】
【請求項１】
複数の顔画像を、それぞれ奇数分割のパターンで且つそれぞれ異なるブロックサイズにより分割する工程と、
前記分割された各々のブロックに対して直交変換を行い、変換係数を算出する工程と、
算出された変換係数から遺伝的アルゴリズム（ＧＡ）に基づき、所定の変換係数を選択する工程と、
選択された変換係数の位置を記憶する工程とを有することを特徴とする顔画像の特徴抽出方法。
【請求項２】
複数の顔画像を、それぞれ奇数分割のパターンで且つそれぞれ異なるブロックサイズにより分割する工程と、
前記分割された各々のブロックに対して直交変換を行い、変換係数を算出する工程と、
算出された変換係数を正規化する工程と、
正規化された変換係数を量子化する工程と、
量子化された変換係数から遺伝的アルゴリズム（ＧＡ）に基づき、所定の変換係数を選択する工程と、
選択された変換係数の位置を記憶する工程とを有することを特徴とする顔画像の特徴抽出方法。
【請求項３】
直交変換が、ＤＣＴであることを特徴とする請求項１又は２記載の顔画像の特徴抽出方法。
【請求項４】
請求項１、２又は３記載の顔画像の特徴抽出方法によって記憶された特徴抽出位置に基づいて、
登録対象者の複数の顔画像を、それぞれ奇数分割のパターンで且つそれぞれ異なるブロックサイズにより分割する工程と、
前記分割された各々のブロックに対して直交変換を行い、変換係数を算出する工程と、
算出された変換係数と前記特徴抽出位置とに基づいて抽出された変換係数からテンプレートを作成する工程とを有することを特徴とする識別信号作成方法。
【請求項５】
請求項１、２又は３記載の顔画像の特徴抽出方法によって記憶された特徴抽出位置に基づいて、
登録対象者の複数の顔画像を、それぞれ奇数分割のパターンで且つそれぞれ異なるブロックサイズにより分割する工程と、
前記分割された各々のブロックに対して直交変換を行い、変換係数を算出する工程と、
算出された変換係数を正規化する工程と、
正規化された変換係数を量子化する工程と、
量子化された変換係数と前記特徴抽出位置とに基づいて抽出された変換係数からテンプレートを作成する工程とを有することを特徴とする識別信号作成方法。
【請求項６】
直交変換が、ＤＣＴであることを特徴とする請求項４又は５記載の識別信号作成方法。
【請求項１】
複数の顔画像を、それぞれ奇数分割のパターンで且つそれぞれ異なるブロックサイズにより分割する工程と、
前記分割された各々のブロックに対して直交変換を行い、変換係数を算出する工程と、
算出された変換係数から遺伝的アルゴリズム（ＧＡ）に基づき、所定の変換係数を選択する工程と、
選択された変換係数の位置を記憶する工程とを有することを特徴とする顔画像の特徴抽出方法。
【請求項２】
複数の顔画像を、それぞれ奇数分割のパターンで且つそれぞれ異なるブロックサイズにより分割する工程と、
前記分割された各々のブロックに対して直交変換を行い、変換係数を算出する工程と、
算出された変換係数を正規化する工程と、
正規化された変換係数を量子化する工程と、
量子化された変換係数から遺伝的アルゴリズム（ＧＡ）に基づき、所定の変換係数を選択する工程と、
選択された変換係数の位置を記憶する工程とを有することを特徴とする顔画像の特徴抽出方法。
【請求項３】
直交変換が、ＤＣＴであることを特徴とする請求項１又は２記載の顔画像の特徴抽出方法。
【請求項４】
請求項１、２又は３記載の顔画像の特徴抽出方法によって記憶された特徴抽出位置に基づいて、
登録対象者の複数の顔画像を、それぞれ奇数分割のパターンで且つそれぞれ異なるブロックサイズにより分割する工程と、
前記分割された各々のブロックに対して直交変換を行い、変換係数を算出する工程と、
算出された変換係数と前記特徴抽出位置とに基づいて抽出された変換係数からテンプレートを作成する工程とを有することを特徴とする識別信号作成方法。
【請求項５】
請求項１、２又は３記載の顔画像の特徴抽出方法によって記憶された特徴抽出位置に基づいて、
登録対象者の複数の顔画像を、それぞれ奇数分割のパターンで且つそれぞれ異なるブロックサイズにより分割する工程と、
前記分割された各々のブロックに対して直交変換を行い、変換係数を算出する工程と、
算出された変換係数を正規化する工程と、
正規化された変換係数を量子化する工程と、
量子化された変換係数と前記特徴抽出位置とに基づいて抽出された変換係数からテンプレートを作成する工程とを有することを特徴とする識別信号作成方法。
【請求項６】
直交変換が、ＤＣＴであることを特徴とする請求項４又は５記載の識別信号作成方法。
【図１】
【図４】
【図２】
【図３】
【図４】
【図２】
【図３】
【公開番号】特開２００９−２１１４２５（Ｐ２００９−２１１４２５Ａ）
【公開日】平成２１年９月１７日（２００９．９．１７）
【国際特許分類】
【出願番号】特願２００８−５３９５２（Ｐ２００８−５３９５２）
【出願日】平成２０年３月４日（２００８．３．４）
【出願人】（５０２２９７０７０）株式会社グローバル・セキュリティ・デザイン (6)
【Ｆターム（参考）】
【公開日】平成２１年９月１７日（２００９．９．１７）
【国際特許分類】
【出願日】平成２０年３月４日（２００８．３．４）
【出願人】（５０２２９７０７０）株式会社グローバル・セキュリティ・デザイン (6)
【Ｆターム（参考）】
[ Back to top ]