顔認識装置及び顔認識方法、ガボア・フィルタ適用装置、並びにコンピュータ・プログラム
【課題】ガボア・フィルタ係数の種類や数を固定することなく、十分な性能で顔画像の認識を行なう。
【解決手段】入力した顔画像内のフィルタの適用場所に応じてフィルタの種類や数を任意に設定して、さまざまな認識の認識率を向上する。また、フィルタ係数をガウス関数により演算された値とサイン関数又はコサイン関数により演算された値に分割して、ガウス関数の特性、サイン関数とコサイン関数の周期性を利用してＲＯＭデータを削減し、ハードウェア規模の縮小を図る。
【解決手段】入力した顔画像内のフィルタの適用場所に応じてフィルタの種類や数を任意に設定して、さまざまな認識の認識率を向上する。また、フィルタ係数をガウス関数により演算された値とサイン関数又はコサイン関数により演算された値に分割して、ガウス関数の特性、サイン関数とコサイン関数の周期性を利用してＲＯＭデータを削減し、ハードウェア規模の縮小を図る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像などに含まれる顔画像を認識する顔認識装置及び顔認識方法、ガボア・フィルタ適用装置、並びにコンピュータ・プログラムに係り、特に、窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現されるガボア・フィルタを用いて顔画像の特徴量を抽出する顔認識装置及び顔認識方法、ガボア・フィルタ適用装置、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、ガボア・フィルタ係数の種類や数を固定することなく、十分な性能で顔画像の認識を行なう顔認識装置及び顔認識方法、ガボア・フィルタ適用装置、並びにコンピュータ・プログラムに係り、特に、ハードウェア規模や演算負荷の増加を招来することなく十分な性能でガボア・フィルタを利用した顔画像の認識処理を行なう顔認識装置及び顔認識方法、ガボア・フィルタ適用装置、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００３】
顔認識の技術は、ユーザに負担をかけない個人認証システムをはじめとして、性別の識別など、マンマシン・インターフェースに幅広く適用が可能である。初期は横顔を使った認識技術も検討されたが、現在は、正面画像の認識技術が中心となっている。
【０００４】
顔認識システムは、ＣＣＤカメラなどによる撮像画像から顔パターンを抽出する顔抽出処理と、抽出された顔パターンを基に顔を認識する顔認識で構成される。顔パターンを抽出する（顔画像の特徴量を抽出する）顔抽出処理若しくは顔認識処理には、例えば、方位選択性を持ち周波数成分の異なる複数のフィルタを用いることにより、顔画像の特徴量を抽出する「ガボア・フィルタリング（Ｇａｂｏｒ Ｆｉｌｔｅｒｉｎｇ）」を適用することができる（例えば、特許文献１を参照のこと）。
【０００５】
人間の視覚細胞には、ある特定の方位に対して選択性を持つ細胞が存在することが既に判明されている。これは、垂直の線に対して発火する細胞と、水平の線に反応する細胞で構成される。ガボア・フィルタは、これと同様に、方向選択性を持つ複数のフィルタで構成される空間フィルタである。
【０００６】
ガボア・フィルタは、窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現される。フィルタ窓の大きさは例えば２４×２４固定とする。また、周波数ｆを５種類、角度θを８方向とすると、４０種類のガボア・フィルタが構成される。
【０００７】
ガボア・フィルタの演算は、ガボア・フィルタを適用する画素とガボア・フィルタの係数との畳み込みである。ガボア・フィルタの係数は、周波数応答がコサイン関数からなる実部と周波数応答がサイン関数からなる虚部に分離することができ、それぞれに畳み込み演算を実施し、それぞれの成分を合成して１個のスカラ値からなるガボア・フィルタ結果を求めることができる。このような演算を、周波数ｆと角度θを切り替えながら最大４０種類のガボア・フィルタを適用し、得られた最大４０個のスカラ値の組を「ガボア・ジェット」と呼ぶ。顔画像データ上で水平方向及び垂直方向に一定間隔で検出される特徴量抽出位置毎に、局所特徴量としてガボア・ジェットが求められる。ガボア・ジェットは、特徴量抽出位置のある程度の位置のずれや変形に対して、不変であるという特徴を有している。
【０００８】
登録顔画像に関しては、あらかじめ特徴量抽出位置毎のガボア・ジェットが算出されている。そして、同じ特徴量抽出位置における入力顔のガボア・ジェットと登録顔のガボア・ジェットの類似度を演算し、複数の特徴量抽出位置における類似度の集合である類似度ベクトルが求められる。続いて、サポート・ベクタ・マシーン（ＳＶＭ）によるクラス判定を行なって、入力顔画像と登録顔画像の認識を行なう。サポート・ベクタ・マシーンは、類似度ベクトルの境界面の値を、例えば、＋１又は−１と判定する境界面（値が０である位置の面）からの距離を算出し、ｉｎｔｒａ−ｐｅｒｓｏｎａｌ ｃｌａｓｓ又はｅｘｔｒａ−ｐｅｒｓｏｎａｌ ｃｌａｓｓのいずれに属するかを判断する。ｉｎｔｒａ−ｐｅｒｓｏｎａｌ ｃｌａｓｓに属すると判断される類似度ベクトルが存在しない場合には、未登録の人物の顔が入力されたと判断される（例えば、非特許文献１を参照のこと）。また、１つのサポート・ベクタ・マシーンが多くの顔画像を学習（すなわち登録）することで、新たに入力された顔画像が登録されている（学習済みの）顔画像と一致するのか（ｉｎｔｒａ−ｐｅｒｓｏｎａｌ ｃｌａｓｓに属するのか）、又は、一致しないのか（ｅｘｔｒａ−ｐｅｒｓｏｎａｌ ｃｌａｓｓに属するのか）を判定することができる（例えば、特許文献２、特許文献３を参照のこと）。サポート・ベクタ・マシーンは、パターン認識の分野で最も学習汎化能力が高いと当業界では評価されている。
【０００９】
上述したように、ガボア・フィルタリングでは、周波数応答に用いるガボア関数の周波数ｆと角度θを切り替えながら最大４０種類のガボア・フィルタを適用して演算を行なう。このように多数のフィルタ係数をガボア・フィルタ演算の度に逐次用意することは計算機にとって演算負荷が高く、処理時間が長くなってしまう。ここで、フィルタ係数の種類や数を固定（制限）することで、演算負荷は軽減されるが、この場合は十分な認識性能が得られなくなってしまう。
【００１０】
また、ガボア・フィルタのすべてのフィルタ係数を単純にＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）データとして格納すると、ハードウェア規模が増大してしまう。例えば、医用画像の処理にガボア・フィルタを用いる場合など（例えば、特許文献４を参照のこと）、比較的高価な装置を用いることが許容されている場合においては、ハードウェア規模や演算負荷の問題は無視し得るであろう。他方、小型・携行型のデジタルカメラにおいても、顔認識技術を搭載することにより、人物撮影における合焦時間の短縮を図る、主要被写体が最適露出となるようにダイナミックレンジ圧縮処理を行なう、といったさまざまなアプリケーションが可能となるが、ガボア・フィルタリングを実施する際のハードウェア規模や演算負荷の問題が重大なネックとなる。
【００１１】
【特許文献１】特開２００６−４０４１号公報
【特許文献２】特再ＷＯ０３／０１９４７５号公報
【特許文献３】特開２００６−４００３号公報
【特許文献４】特開２００５−２１３３４号公報
【非特許文献１】Ｂ．ｓｈｏｌｋｏｐｆ外著“Ａｄｖａｎｃｅ ｉｎ Ｋｅｒｎｅｌ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｌｅａｒｎｉｎｇ”（Ｔｈｅ ＭＩＴ Ｐｒｅｓｓ、１９９９．）
【発明の開示】
【発明が解決しようとする課題】
【００１２】
本発明の目的は、窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現されるガボア・フィルタを用いて顔画像の特徴量を好適に抽出することができる、優れた顔認識装置及び顔認識方法、ガボア・フィルタ適用装置、並びにコンピュータ・プログラムを提供することにある。
【００１３】
本発明のさらなる目的は、ガボア・フィルタ係数の種類や数を固定することなく、十分な性能で顔画像の認識を行なうことができる、優れた顔認識装置及び顔認識方法、ガボア・フィルタ適用装置、並びにコンピュータ・プログラムを提供することにある。
【００１４】
本発明のさらなる目的は、ハードウェア規模や演算負荷の増加を招来することなく十分な性能でガボア・フィルタを利用した顔画像の認識処理を行なうことができる、優れた顔認識装置及び顔認識方法、ガボア・フィルタ適用装置、並びにコンピュータ・プログラムを提供することにある。
【課題を解決するための手段】
【００１５】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、入力顔画像と登録顔画像の認識を行なう顔認識装置であって、
認識処理の対象となる顔画像を入力する顔画像入力手段と、
前記の入力画像の特徴量抽出位置毎に、窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現されるガボア・フィルタの応答関数の周波数と角度を切り替えながら、該ガボア・フィルタ係数と画素の畳み込み演算を行なって、フィルタの種類に応じた個数のスカラ値からなるガボア・ジェットを求めるガボア・フィルタ適用手段と、
特徴量抽出位置毎に、入力顔画像のガボア・ジェットと登録顔画像のガボア・ジェットの類似度を演算し、複数の特徴量抽出位置における類似度の集合からなる類似度ベクトルを求める類似度演算手段と、
該類似度ベクトルを基に入力顔画像と登録顔画像が一致するか否かを判定する一致判定手段を備え、
前記ガボア・フィルタ適用手段は、ガウス関数を演算して得られるフィルタ窓の値を格納するフィルタ窓ＲＯＭと、サイン関数を演算して得られる応答関数の値を格納するフィルタの角度毎のサインＲＯＭと、コサイン関数を演算して得られる応答関数の値を格納するフィルタの角度毎のコサインＲＯＭと、これらのＲＯＭから読み出されるガウス関数を演算して得られる値とサイン関数並びにコサイン関数を演算して得られる値を乗算してガボア・フィルタ係数を算出するガボア・フィルタ係数算出手段を備え、該ガボア・フィルタ係数算出手段によって算出されたガボア・フィルタ係数による前記の入力顔画像の畳み込み演算を行なう、
ことを特徴とする顔認識装置である。
【００１６】
顔抽出処理若しくは顔認識処理には、例えば、方位選択性を持ち周波数成分の異なる複数のフィルタで顔画像の特徴量を抽出するガボア・フィルタリングを適用することができる。ガボア・フィルタは、窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現される。ガボア・フィルタで画像を畳み込むことで、ガボア・フィルタと方向の一致する輪郭線だけを抽出することができる。
【００１７】
入力顔画像のある特徴量抽出位置において、応答関数の周波数と角度を切り替えながらガボア・フィルタの演算を行なうことで、フィルタの種類に応じた個数のスカラ値からなるガボア・フィルタ結果すなわちガボア・ジェットが得られる。そして、特徴量抽出位置毎に入力顔画像と登録顔画像のガボア・ジェットの類似度を算出して、類似度の集合である類似度ベクトルが求められ、この類似度ベクトルを基に入力顔画像と登録顔画像の一致判定を行なうことができる。
【００１８】
ガボア・フィルタで画像を畳み込むことで、ガボア・フィルタと方向の一致する輪郭線だけを好適に抽出することができるので、顔認識に限らず、パターン認識やその他のさまざまな画像処理に適用することができる。
【００１９】
しかしながら、多数のガボア・フィルタ係数をガボア・フィルタ演算の度に逐次用意することは計算機にとって演算負荷が高く、処理時間が長くなってしまう。また、ガボア・フィルタのフィルタ係数を単純にＲＯＭデータとして格納すると、ハードウェア規模が増大してしまうという問題がある。
【００２０】
そこで、本発明に係る顔認識装置では、ガボア・フィルタが窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とすることに着目して、ガボア・フィルタ係数を格納するＲＯＭデータの削減を図っている。前記ガボア・フィルタ適用手段は、ガウス関数を演算して得られるフィルタ窓の値を格納するフィルタ窓ＲＯＭと、サイン関数を演算して得られる応答関数の値を格納するフィルタの角度毎のサインＲＯＭと、コサイン関数を演算して得られる応答関数の値を格納するフィルタの角度毎のコサインＲＯＭを備えており、ガボア・フィルタ係数算出手段は、これらのＲＯＭから読み出されるガウス関数を演算して得られる値とサイン関数並びにコサイン関数を演算して得られる値を乗算してガボア・フィルタ係数を算出するように構成されている。
【００２１】
すなわち、フィルタ係数をガウス関数により演算された値とサイン関数又はコサイン関数により演算された値に分割して扱うことによって、ガボア・フィルタのすべてのフィルタ係数を単純にＲＯＭデータとして格納する場合よりも、ハードウェア規模を削減することができる。また、これらのＲＯＭから読み出されるガウス関数を演算して得られる値とサイン関数並びにコサイン関数を演算して得られる値を乗算することで、ガボア・フィルタ係数を容易に求めることができるので、演算負荷は高くない。
【００２２】
さらに、本発明に係る顔認識装置では、ガウス関数の特性、サイン関数とコサイン関数の周期性を利用して、冗長性を排して最小限のデータのみをＲＯＭに格納することで、ハードウェア規模の縮小を実現している。
【００２３】
前記ガボア・フィルタ適用手段は、８方向の角度からなるガボア・フィルタを適用するために、サイン関数により演算された０度と９０度の方向に対する応答関数の値を格納する０度及び９０度サインＲＯＭと、コサイン関数により演算された０度と９０度の方向に対する応答関数の値を格納する０度及び９０度コサインＲＯＭと、サイン関数により演算された４５度と１３５度の方向に対する応答関数の値を格納する４５度及び１３５度サインＲＯＭと、コサイン関数により演算された４５度と１３５度の方向に対する応答関数の値を格納する４５度及び１３５度コサインＲＯＭを備える。
【００２４】
また、０度と４５度、４５度と９０度、９０度と１３５度、１３５度と１８０度それぞれの中心角である２２．５度、６７．５度、１１２．５度、１５７．５度の各想定角に関しては、サイン関数並びにコサイン関数の周期性がないため、サイン関数とコサイン関数の周期性を持つ近傍の２７度、６３度、１１７度、１５３度の角度に近似して、サイン関数により演算された２７度、６３度、１１７度、１５３度の方向に対する応答関数の値を格納する２７度６３度１１７度１５３度サインＲＯＭと、コサイン関数により演算された２７度、６３度、１１７度、１５３度の方向に対する応答関数の値を格納する２７度６３度１１７度１５３度コサインＲＯＭを備える。
【００２５】
また、前記の各ＲＯＭは、それぞれの角度のサイン関数又はコサイン関数から得られた値から重複を排除して、最小限のワード数からなるＲＯＭデータを格納するようにする。
【００２６】
この場合、特徴量抽出位置を前記フィルタ窓ＲＯＭ、フィルタの角度毎のサインＲＯＭ及びコサインＲＯＭ上のアドレスに変換するアドレス変換手段を備え、前記ガボア・フィルタ係数算出手段は、前記アドレス変換手段によって特徴量抽出位置から変換されたアドレスに従って、前記フィルタ窓ＲＯＭ、フィルタの角度毎のサインＲＯＭ及びコサインＲＯＭからフィルタ窓の値並びにフィルタの角度毎の応答関数の値を読み出し、これらを乗算して該当する特徴量抽出位置におけるガボア・フィルタ係数を求めることができる。
【００２７】
したがって、本発明によれば、ガウス関数の特性、サイン関数とコサイン関数の周期性を利用して、冗長性を排して最小限のデータのみをＲＯＭに格納することで、ハードウェア規模の縮小を実現することができる。
【００２８】
また、本発明に係る顔認識装置は、各特徴量抽出位置において適用されるフィルタの種類を記録するフィルタ種別記録手段と、特徴量抽出位置毎に前記フィルタ種別記録手段における記録内容に従って前記の各ＲＯＭから該当するフィルタ係数を構成するためのフィルタ窓の値及び応答関数の値を選択的に読み出して前記ガボア・フィルタ係数算出手段に渡す選択手段をさらに備えていても良い。
【００２９】
このような場合、入力した顔画像内のフィルタの適用場所（特徴量抽出位置の位置）に応じてフィルタの種類や数を任意に設定することができる。この結果、顔認識、笑顔認識、性別認識など、さまざまな認識の認識率を向上することができる。また、フィルタの種類や数を固定した場合（すべての特徴量抽出位置で全フィルタを適用する場合）よりも処理時間を短縮することができる。
【００３０】
また、本発明の第２の側面は、入力顔画像と登録顔画像の認識を行なうための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータに対し、
認識処理の対象となる顔画像を入力する顔画像入力手順と、
前記の入力画像の特徴量抽出位置毎に、窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現されるガボア・フィルタの応答関数の周波数と角度を切り替えながら、該ガボア・フィルタ係数と画素の畳み込み演算を行なって、フィルタの種類に応じた個数のスカラ値からなるガボア・ジェットを求めるガボア・フィルタ適用手順と、
特徴量抽出位置毎に、入力顔画像のガボア・ジェットと登録顔画像のガボア・ジェットの類似度を演算し、複数の特徴量抽出位置における類似度の集合からなる類似度ベクトルを求める類似度演算手順と、
該類似度ベクトルを基に入力顔画像と登録顔画像が一致するか否かを判定する一致判定手順を実行させ、
前記ガボア・フィルタ適用手順では、ガウス関数を演算して得られるフィルタ窓の値を格納するフィルタ窓ＲＯＭと、サイン関数を演算して得られる応答関数の値を格納するフィルタの角度毎のサインＲＯＭと、コサイン関数を演算して得られる応答関数の値を格納するフィルタの角度毎のコサインＲＯＭを用い、これらのＲＯＭから読み出されるガウス関数を演算して得られる値とサイン関数並びにコサイン関数を演算して得られる値を乗算してガボア・フィルタ係数を算出するガボア・フィルタ係数算出手順を実行して、該算出されたガボア・フィルタ係数による前記の入力顔画像の畳み込み演算を行なう、
ことを特徴とするコンピュータ・プログラムである。
【００３１】
本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、本発明の第１の側面に係る顔認識装置と同様の作用効果を得ることができる。
【発明の効果】
【００３２】
本発明によれば、窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現されるガボア・フィルタを用いて顔画像の特徴量を好適に抽出することができる、優れた顔認識装置及び顔認識方法、ガボア・フィルタ適用装置、並びにコンピュータ・プログラムを提供することができる。
【００３３】
また、本発明によれば、ガボア・フィルタ係数の種類や数を固定することなく、十分な性能で顔画像の認識を行なうことができる、優れた顔認識装置及び顔認識方法、ガボア・フィルタ適用装置、並びにコンピュータ・プログラムを提供することができる。
【００３４】
また、本発明によれば、ハードウェア規模や演算負荷の増加を招来することなく、十分な性能でガボア・フィルタを利用した顔画像の認識処理を行なうことができる、優れた顔認識装置及び顔認識方法、ガボア・フィルタ適用装置、並びにコンピュータ・プログラムを提供することができる。
【００３５】
本発明に係る顔認識装置は、ガボア・フィルタが窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とすることに着目して、ガボア・フィルタ係数を格納するＲＯＭデータの削減を図っている。すなわち、フィルタ係数をガウス関数により演算された値とサイン関数又はコサイン関数により演算された値に分割して、さらにガウス関数の特性、サイン関数とコサイン関数の周期性を利用して、冗長性を排して最小限のデータのみをＲＯＭに格納することで、ハードウェア規模の縮小を実現することができる。
【００３６】
また、本発明に係る顔認識装置によれば、入力した顔画像内のフィルタの適用場所（特徴量抽出位置の位置）に応じてフィルタの種類や数を任意に設定することができる。この結果、顔認識、笑顔認識、性別認識など、さまざまな認識の認識率を向上することができる。また、フィルタの種類や数を固定した場合（すべての特徴量抽出位置で全フィルタを適用する場合）よりも処理時間を短縮することができる。
【００３７】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【発明を実施するための最良の形態】
【００３８】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００３９】
顔認識システムは、入力画像から顔画像を抽出する顔抽出処理と、抽出された顔画像を認識する顔認識で構成されることは既に述べた通りである。ここでは、まず顔検出と顔認識について改めて定義しておく。
【００４０】
顔検出は、ある１枚の画像（１枚の写真や動画像の１ピクチャ（フィールド又はフレーム）に当たる）に対して、人物顔を検出しその位置と大きさを求める処理である。１枚の画において複数の顔が存在することがある。一方、顔認識とは検出されたある１個の顔が以前に登録された顔と同一人物かを識別することを言う。
【００４１】
図１には、本発明の一実施形態に係る顔認識システムの全体構成を模式的に示している。図示のシステム１は、画縮小器１１と、顔検出器１２と、両目位置検出器１３と、顔認識器１４と、複数枚の画像を蓄えるメモリ（ＳＤＲＡＭ）１５で構成される。また、顔検出器１２と、両目位置検出器１３と、顔認識器１４内部にローカル・メモリ（ＳＤＲＡＭ）を備えている。本システム１への入力は画像であり、本システム１からの出力（Ｙｅｓ／Ｎｏ）は同一人物か否かを示すフラグである。
【００４２】
画縮小器１１では、入力画像に対し水平及び垂直の各方向にそれぞれ１／２にした縮小画像を作成し、原入力画像とともにＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）１５に格納する。図１に示す例では、入力画像を画１、入力画像に対し水平及び垂直方向にそれぞれ１／２にした縮小画像を画１／２、入力画像に対し水平及び垂直方向にそれぞれ１／４にした縮小画像を画１／４として、これら３枚の画像を作成して、ＳＤＲＡＭ１５に格納する。
【００４３】
縮小画像を作成する際、演算精度を考慮すると、入力画像から直接それぞれの縮小画像を作成する方法が望ましい。但し、ハードウェアの規模を考慮して、１／２縮小を順番に施す方法、つまり、始めに入力画像（画１）から画１／２を作成し、次に作成された画１／２から画１／４を作成する方法で実現するようにしてもよい。
【００４４】
顔検出器１２では、入力画像とＳＤＲＡＭ１５に格納されているすべての縮小画像に対して顔を検出し、検出された顔の大きさと顔の位置を求める。顔の位置の検出に関しては、画像全体を検出することで処理速度を考慮しなければ容易に実現可能である。一方、いろいろな大きさの顔の検出に関しては、画像の解像度と検出顔の大きさの相対関係の問題で、画像の解像度を固定にする方法（すなわち、入力画像に対していろいろな大きさの顔検出器を用意する方法）と、検出顔の大きさを固定にする方法（検出できる顔の大きさが固定された１つの顔検出器を用い、入力画像をいろいろな解像度に縮小して検出する方法）が考えられるが、後者の方法が現実的である。したがって、図１に示すように、顔検出器１２では、画縮小器１１で作成された画１、画１／２、画１／４の各縮小画像に対して、２４×２４画素内に顔が存在するか否かを識別する。
【００４５】
なお、縮小率の刻みが１／２、１／４では粗過ぎて精度が不十分である場合には、例えば画縮小器１１で画７／８、画６／８、画５／８の縮小率の画像をさらに作成し、顔検出器１２でそれぞれの縮小率の画像に対しても顔検出を行なうようにすれば良い。
【００４６】
顔検出の特徴抽出として２点画素差分方式を適用することができる。これは、２４×２４画素内において顔の特徴を抽出し易い２点の画素の差分をさまざまな２点で行なう方式である。また、識別器演算としてａｄａｂｏｏｓｔアルゴリズムを用いることができる。
【００４７】
両目位置検出器１３では、両目位置検出は、顔画像を顔認識するための準備として、顔検出器１２によって検出された顔に対して解像度を上げた画像の顔を正規化するために、左右の目の位置を特定する。すなわち、両目位置を検出して、顔検出によって得られた顔の大きさ、顔の位置から、その顔画像の解像度を上げた顔の大きさ、顔の位置、顔の角度を求める。
【００４８】
顔検出器１２では２４×２４画素の解像度で顔検出が行なわれ、顔認識器１４では６０×６６画素の解像度で顔認識が行なわれる。言い換えると、顔認識器１４に必要な解像度は、顔検出器１２のそれより精度を要求される。そこで、顔検出器で検出された顔が画１／２とすると、それよりも解像度の高い画１の同等の顔が存在する場所で且つ目が存在する顔の上部で左右の目を検出する。
【００４９】
両目位置検出の特徴抽出として２点画素差分方式を適用することができる。２点画素差分方式の適用範囲も２４×２４画素であり、顔検出器１２と同じであるので、顔検出器１２と同一のハードウェアで処理時間をシリアルにして実現することができる。
【００５０】
顔認識器１４では、両目位置検出器１３によって左右の目位置が特定された顔画像から顔の大きさ、位置、角度を求め、それらに応じて顔を正規化して６０×６６画素の内部のＳＲＡＭに一旦蓄えて、登録画像と一致するか否かを調べる。
【００５１】
本実施形態では、顔認識器１４は、顔認識の特徴抽出としてガボア・フィルタリングを適用する。また、識別器演算としてｇｅｎｔｌｅｂｏｏｓｔを用いる。正規化された顔画像にガボア・フィルタを適用して得られた結果と、以前に登録された画像にガボア・フィルタを適用して得られた結果との類似度を求める。そして、求められた類似度に対してｇｅｎｔｌｅｂｏｏｓｔを施すことによって、登録画と一致したか否か識別する。
【００５２】
図２には、顔認識器１４の構成例を示している。図示の顔認識器１４は、顔画像入力部１４１と、ガボア・フィルタ適用部１４２と、類似度算出部１４３と、一致判定部１４４を備えている。
【００５３】
顔画像入力部１４１は、初めに、両目位置検出で検出された両目位置から顔認識に必要である解像度に相当する顔画像を、ＳＤＲＡＭ１５から、顔認識器１４にローカルのＳＲＡＭ１に転送する。次いで、両目位置情報から顔の大きさ、顔の位置、顔の角度を求め、ＳＲＡＭ１にある顔画像を正規化して、顔認識に必要な顔画像を作成して、顔認識器１４にローカルのＳＲＡＭ２に格納する。つまり、顔画像入力部１４１では、両目位置情報からＳＲＡＭ２の固定した座標に右目、左目の位置を合わせるように、ＳＲＡＭ１の顔画像を縮小、シフト、回転変換して顔認識に必要な顔画像をＳＲＡＭ２に作成する（図３を参照のこと）。
【００５４】
ガボア・フィルタ適用部１４２は、画像入力部１４１において正規化された顔画像に対してガボア・フィルタを適用する。
【００５５】
ガボア・フィルタは、窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現される。本実施形態では、フィルタ窓は、図４Ａに示すように２４×２４画素固定とする。そして、図４Ｂに示すような特定の周波数成分のサイン関数又はコサイン関数からなる応答関数にフィルタ窓をかけると、図４Ｃに示すようなガボア・フィルタを作成することができる。また、例えば、０度、２２．５度、４５度、６７．５度、９０度、１１２．５度、１３５度、１５７．５度と２２．５度ずつずらした８方向のサイン関数又はコサイン関数からなる応答関数に対してそれぞれフィルタ窓をかけると、図４Ｄに示すように８通りのガボア・フィルタを作成することができる。さらに、低周波域から高周波域に至る５種類の周波数ｆの応答関数について、同様に８方向の角度θでフィルタ窓をかけることで、図４Ｅに示すように合計で４０種類のガボア・フィルタが構成される。ガボア・フィルタ（ガボア・カーネルＫ（ｘ，ｙ））は、以下の演算式で表される。
【００５６】
【数１】
【００５７】
ガボア・フィルタの演算は、ガボア・フィルタＧi（ｘ，ｙ）を適用する画素Ｉ（ｘ，ｙ）とガボア・フィルタの係数との畳み込みである。ガボア・フィルタの係数は、周波数応答がコサイン関数からなる実部Ｒｅ（ｘ，ｙ）と周波数応答がサイン関数Ｉｍ（ｘ，ｙ）からなる虚部に分離することができ、それぞれに畳み込み演算を実施し、それぞれの成分を合成して、１個のスカラ値からなるガボア・フィルタ結果Ｊi（ｘ，ｙ）を求めることができる。但し、（ｘ，ｙ）は特徴量抽出位置の画素位置を示し、ｉは上述した４０通りのガボア・フィルタのうちｉ番目であることを示す。
【００５８】
【数２】
【００５９】
画像の特徴量抽出位置（ｘ，ｙ）において最大４０種類のガボア・フィルタを適用して得られた最大４０スカラ値の組｛Ｊ1，Ｊ2，…，Ｊ40｝をガボア・ジェットと呼ぶ。
【００６０】
類似度算出部１４３は、入力画像について算出されたガボア・ジェットＧＳと登録画像のガボア・ジェットＧＲに正規化相関演算を行ない、特徴量抽出位置毎の類似度ｄを求める。
【００６１】
【数３】
【００６２】
本実施形態では、正規化された６０×６６画素の顔画像のうち、特徴量が抽出し易い８２箇所の特徴量抽出位置（図５を参照のこと）において、正規化相関演算を行ない、類似度を求める。この結果、ｄ0、ｄ1、…、ｄ81の８２箇所の各特徴量抽出位置で求められた正規化相関演算結果を要素とする類似度ベクトルＤが得られる。
【００６３】
【数４】
【００６４】
なお、上記では「最大４０種類」のガボア・フィルタを適用することを記述したが、これは８２箇所のすべての特徴量抽出位置において４０種類すべてのガボア・フィルタを適用する必要はないことを意味する。何種類のガボア・フィルタを適用するかは、類似度を抽出する特徴量抽出位置の場所に依存し、場所に応じてガボア・フィルタの種類とその数（ガボア・ジェットの要素数）が異なる。
【００６５】
一致判定部１４４は、入力画と登録画間の類似度ベクトルに基づいて、両画像の一致を判定する。本実施形態では、識別器演算としてｇｅｎｔｌｅｂｏｏｓｔを用いる。ここでは、以下の演算式を用いてｇｅｎｔｌｅｂｏｏｓｔを算出する。但し、同式中のａ、ｑ、ｂは辞書としてあらかじめ登録されているものとする。
【００６６】
【数５】
【００６７】
そして、以下の判別式に従って、入力画が登録画と一致するかどうかを判定する。
【００６８】
【数６】
【００６９】
なお、本実施形態では、一致判定にｇｅｎｔｌｅｂｏｏｓｔを用いているが、本発明の要旨は必ずしもこれに限定されるものではない。例えば、サポート・ベクタ・マシーンを用いて類似ベクトルの境界面の値をクラス判定して、顔画像の一致を判定するようにしてもよい。
【００７０】
図６には、ガボア・フィルタ適用部１４２の構成例を示している。図示のガボア・フィルタ適用部１４２は、制御信号発生部から供給される制御信号に従って動作する。図７には、制御信号発生部の内部構成を示している。また、図８には、この制御信号発生部が出力する制御信号を図解している。
【００７１】
図７に示すように、制御信号発生部は、特徴量抽出位置を指定する特徴量抽出位置カウンタ、特徴量抽出位置毎のフィルタの種類を指定するフィルタ種類カウンタ、２４×２４画素からなるフィルタ窓のＹ及びＸを指定する窓Ｙカウンタ並びに窓Ｘカウンタを備えている。
【００７２】
図５に示したように、１画像（すなわち１つの顔）に対して８２箇所でそれぞれ特徴量を抽出するため、特徴量抽出位置カウンタは、特徴量抽出位置を示すための０〜８１のカウンタである。特徴両抽出位置の場所に応じて、適用されるガボア・フィルタの種類と数が異なる。また、図６に示したガボア・フィルタ適用部１４２では４並列でフィルタ演算を行なう。
【００７３】
図８に示す例では、特徴量抽出位置０（ｐｏｓ０）において４×７＝２８種類のガボア・フィルタを適用し、特徴量抽出位置１（ｐｏｓ１）において４×３＝１２種類のガボア・フィルタを適用する。入力した顔画像内のフィルタの適用場所（特徴量抽出位置の位置）に応じてフィルタの種類や数を任意に設定することができる。何種類のガボア・フィルタを適用するかは、特徴量抽出位置の場所｛ｄ0、ｄ1、…ｄ81｝に依存し、場所に応じてガボア・フィルタの種類とその数（ガボア・ジェットの要素数）が異なる（前述）。ここで、フィルタの種類は最大で４０、フィルタ演算の並列数は４であることから、フィルタ種類カウンタは０〜９のカウンタである。
【００７４】
１個のガボア・フィルタに対しては（４並列なので合計４個）、０〜２３のｙ方向のカウンタ（窓Ｙ）と０〜２３のx方向のカウンタ（窓Ｘ）を用意し（図９を参照のこと）、処理時間は２４×２４＝５７６クロック（固定クロック時間）となる。
【００７５】
本実施形態では、４０（＝８方向×５通りの周波数）種類のガボア・フィルタが使用される。ガボア・フィルタの係数は、ガウス関数により演算されたフィルタ窓（２４×２４）と、コサイン関数からなる実部並びにサイン関数からなる虚部により演算され、ハードウェアとしてＲＯＭを用いて実現することができる。ここで、すべてのフィルタ係数をＲＯＭに格納する場合、係数のビット長を１６ビットと仮定すると、２４×２４×４０×２×１６＝７２０Ｋビットと大容量になる。そこで、以下では、ＲＯＭに格納すべき係数のデータ量削減について考察する。
【００７６】
ガボア・フィルタ係数は、ガウス関数により演算されたフィルタ窓の値と、サイン関数及びコサイン関数によりそれぞれ演算された応答関数の値の乗算で求められる。したがって、ガウス関数により演算されたフィルタ窓の値、サイン関数により演算された値、並びにコサイン関数により演算された値をそれぞれＲＯＭに格納して用意し、乗算器を使って乗算を行なうことで、ガボア・フィルタ係数を求めることができる。これによって、４０種類のガボア・フィルタの係数をすべて格納する場合に比べ、ＲＯＭデータのサイズを削減することができる。
【００７７】
また、ガウス関数がピークを中心に対称的であることや、サイン関数及びコサイン関数が周期関数であること、すなわち同じ値が繰り返し出現するという冗長性に着目して、ガウス関数により演算されたフィルタ窓の値、サイン関数により演算された値、並びにコサイン関数により演算された値を格納するそれぞれのＲＯＭのサイズをさらに削減することができる。
【００７８】
まず、フィルタ窓の冗長性について考えてみる。図１０Ａ及び図１０Ｂには、ガウス関数により演算される２４×２４固定のフィルタ窓の位置ＸＹ毎の値を示している。図４Ａからも分るように、（０，０）にピークを持ち、ピークから離れるに従って０に近づくが、（０，０）に対し点対称となる。そして、図１０からも分るように、ガウス関数により演算された２４×２４（＝５７６ワード）のフィルタ窓では７８ワードが複数の窓位置ＸＹで繰り返し出現するから、図１０Ａ中において太枠で示した７８ワードのみが必要なデータとなる。
【００７９】
また、サイン関数とコサイン関数により演算された値は、０度と９０度、４５度と１３５度、並びに、２７度と６３度と１１７度と１５３度では、それぞれ同じ値となるから、サイン関数とコサイン関数の周期性を考慮して、サイン関数とコサイン関数により演算される応答関数に必要なＲＯＭデータのサイズを削減することができる。
【００８０】
図１１Ａ及び図１１Ｂには、サイン関数により演算された０度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示している。また、図１２Ａ及び図１２Ｂには、コサイン関数により演算された０度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示している。０度のＸとＹを入れ替えると９０度の関係となるという、サイン関数とコサイン関数の周期性を考慮すると、１２ワードが複数の窓位置ＸＹで繰り返し出現するから、図１２Ａ中において太枠で示した１２ワードのみが当該角度の応答関数を構成するために必要なデータとなる。
【００８１】
図１３Ａ及び図１３Ｂには、サイン関数により演算された１３５度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示し、図１３Ｃ及び図１３Ｄには、サイン関数により演算された１３５度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示している。また、図１４Ａ及び図１４Ｂには、コサイン関数により演算された４５度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示し、図１４Ｃ及び図１４Ｄには、コサイン関数により演算された１３５度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示している。サイン関数とコサイン関数の周期性を考慮すると、２４ワードが複数の窓位置ＸＹで繰り返し出現するから、図１３Ａ及び図１４Ａ中に太枠で示した合計２４ワードのみが当該角度の応答関数を構成するために必要なデータとなる。
【００８２】
サイン関数及びコサイン関数からなる応答関数の残りの４方向に関しては、当初、０度と４５度、４５度と９０度、９０度と１３５度、１３５度と１８０度それぞれの中心角である２２．５度、６７．５度、１１２．５度、１５７．５度を想定していた（図４Ｃを参照のこと）。ところが、これらの想定角度では、サイン関数並びにコサイン関数の周期性が見出せず、上記と同様のデータ削減を行なうことができない。そこで、これらの想定角の近傍で、サイン関数とコサイン関数の周期性を考慮してデータを削減することができる、２７度、６３度、１１７度、１５３度の角度に近似して、これら４方向に対してサイン関数及びコサイン関数からなる応答関数で代用することにした。
【００８３】
２７度、６３度、１１７度、１５３度の角度はそれぞれ下式で求めることができ、サイン関数とコサイン関数の間で周期性があることを理解できよう。
【００８４】
【数７】
【００８５】
図１５Ａ及び図１５Ｂには、サイン関数により演算された２７度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示している。また、図１６Ａ及び図１６Ｂには、コサイン関数により演算された２７度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示している。サイン関数とコサイン関数の周期性を考慮すると、３５ワードが複数の窓位置ＸＹで繰り返し出現するから、図１５Ａ及び図１６Ａに太枠で示したそれぞれ３５ワードのみが当該角度の応答関数を構成するために必要なデータとなる。
【００８６】
このようにして、ガボア・フィルタを構成するフィルタ窓、及び８方向の応答関数に必要なデータを以下のように削減することができる。
【００８７】
（１）ガウス関数により演算される２４×２４固定のフィルタ窓に必要なＲＯＭデータを７８ワードとする。
（２）サイン関数及びコサイン関数により演算された０度と９０度の方向に対する応答関数を構成するために必要なＲＯＭデータを１２ワードとする。
（３）サイン関数及びコサイン関数により演算された４５度と１３５度の方向に対する応答関数を構成するために必要なＲＯＭデータを２４ワードとする。
（４）応答関数の残りの４方向となる２２．５度、６７．５度、１１２．５度、１５７．５度の各想定角に関してはサイン関数並びにコサイン関数の周期性が見出せないことから、サイン関数とコサイン関数の周期性のある２７度、６３度、１１７度、１５３度の角度に近似した応答関数で代用することで、これらの方向に対する応答関数を構成するために必要なＲＯＭデータをそれぞれ３５ワードとする。
【００８８】
これらの必要最小限となるワード数のＲＯＭデータをそれぞれガウスＲＯＭ、０度及び９０度サインＲＯＭ、０度及び９０度コサインＲＯＭ、４５度及び１３５度サインＲＯＭ、４５度及び１３５度コサインＲＯＭ、２７度６３度１１７度１５３度サインＲＯＭ、２７度６３度１１７度１５３度コサインＲＯＭに格納する。そして、アドレス作成部において、制御信号発生部の窓Ｙカウンタ並びに窓Ｘカウンタから出力される窓Ｙ及び窓Ｘの制御信号を変換して、これらの各ＲＯＭのアドレスを作成することによって、ガウス関数から演算された値、並びに、サイン関数及びコサイン関数から演算された値を読み出すことができる。
【００８９】
ガウスＲＯＭ用アドレス作成部は、例えば図１７に示すアドレス変換テーブルを参照することによって、窓Ｙ及び窓Ｘの制御信号からガウスＲＯＭ上の該当アドレスを早見することができる。
【００９０】
また、０度及び９０度サインＲＯＭ用アドレス作成部は、例えば図１８Ａ及び図１８Ｂに示すアドレス変換テーブルを参照することによって、窓Ｙ及び窓Ｘの制御信号から、サイン関数により演算された０度及び９０度方向の応答関数の値を格納した０度及び９０度サインＲＯＭ上の該当アドレスをそれぞれ早見することができる。あるいは、０度及び９０度サインＲＯＭ用アドレス作成部は、次式に従って窓Ｙ及び窓Ｘの制御信号から０度及び９０度サインＲＯＭ上の該当アドレスに変換することができる。
【００９１】
【数８】
【００９２】
また、０度及び９０度コサインＲＯＭアドレス作成部は、例えば図１９Ａ及び図１９Ｂに示すアドレス変換テーブルを参照することによって、窓Ｙ及び窓Ｘの制御信号から、コサイン関数により演算された０度及び９０度方向の応答関数の値を格納した０度及び９０度コサインＲＯＭ上の該当アドレスをそれぞれ早見することができる。あるいは、０度及び９０度コサインＲＯＭ用アドレス作成部は、次式に従って窓Ｙ及び窓Ｘの制御信号から０度及び９０度コサインＲＯＭ上の該当アドレスに変換することができる。
【００９３】
【数９】
【００９４】
また、４５度及び１３５度サインＲＯＭアドレス作成部は、例えば図２０Ａ及び図２０Ｂに示すアドレス変換テーブルを参照することによって、窓Ｙ及び窓Ｘの制御信号から、サイン関数により演算された４５度及び１３５度方向の応答関数の値を格納した４５度及び１３５度サインＲＯＭ上の該当アドレスをそれぞれ早見することができる。あるいは、４５度及び１３５度サインＲＯＭ用アドレス作成部は、次式に従って窓Ｙ及び窓Ｘの制御信号から４５度及び１３５度サインＲＯＭ上の該当アドレスに変換することができる。
【００９５】
【数１０】
【００９６】
また、４５度及び１３５度コサインＲＯＭアドレス作成部は、例えば図２１Ａ及び図２１Ｂに示すアドレス変換テーブルを参照することによって、窓Ｙ及び窓Ｘの制御信号から、コサイン関数により演算された４５度及び１３５度方向の応答関数の値を格納した４５度及び１３５度コサインＲＯＭ上の該当アドレスをそれぞれ早見することができる。あるいは、４５度及び１３５度コサインＲＯＭ用アドレス作成部は、次式に従って窓Ｙ及び窓Ｘの制御信号から４５度及び１３５度コサインＲＯＭ上の該当アドレスに変換することができる。
【００９７】
【数１１】
【００９８】
また、２７度６３度１１７度１５３度サインＲＯＭアドレス作成部は、例えば図２２Ａ〜図２２Ｄに示すアドレス変換テーブルを参照することによって、窓Ｙ及び窓Ｘの制御信号から、サイン関数により演算された２７度、６３度、１１７度、１５３度の各方向の応答関数の値を格納した２７度６３度１１７度１５３度サインＲＯＭ上の該当アドレスをそれぞれ早見することができる。あるいは、２７度６３度１１７度１５３度サインＲＯＭ用アドレス作成部は、次式に従って窓Ｙ及び窓Ｘの制御信号から２７度６３度１１７度１５３度サインＲＯＭ上の該当アドレスに変換することができる。
【００９９】
【数１２】
【０１００】
また、２７度６３度１１７度１５３度コサインＲＯＭアドレス作成部は、例えば図２３Ａ〜図２３Ｄに示すアドレス変換テーブルを参照することによって、窓Ｙ及び窓Ｘの制御信号から、コサイン関数により演算された２７度、６３度、１１７度、１５３度の各方向の応答関数の値を格納した２７度６３度１１７度１５３度コサインＲＯＭ上の該当アドレスをそれぞれ早見することができる。あるいは、２７度６３度１１７度１５３度コサインＲＯＭ用アドレス作成部は、次式に従って窓Ｙ及び窓Ｘの制御信号から２７度６３度１１７度１５３度コサインＲＯＭ上の該当アドレスに変換することができる。
【０１０１】
【数１３】
【０１０２】
ここで、サイン関数により演算された値のアドレス割り当てとコサイン関数により演算された値のアドレス割り当てのＲＯＭのアドレスへの変換式は同じである。
【０１０３】
上述したように、８２箇所のすべての特徴量抽出位置において４０種類すべてのガボア・フィルタを適用する必要はなく、何種類のガボア・フィルタを適用するかは、特徴量抽出位置の場所｛ｄ0，ｄ1，…，ｄ81｝に依存し、場所に応じてガボア・フィルタの種類とその数（ガボア・ジェットの要素数）が異なる。このような操作を実現するために、ガボア・フィルタ適用部１４２内には、フィルタ種別ＳＲＡＭとセレクタが配設される。まず、入力画のすべての特徴量抽出位置｛ｄ0，ｄ1，…，ｄ81｝において、それぞれ適用されるフィルタの種類をフィルタ種別ＳＲＡＭに書き込む。すなわち、
【０１０４】
特徴量抽出位置０（ｐｏｓ０）では、ｐｏｓ００，ｐｏｓ０１，…，ｐｏｓ０２７，
特徴量抽出位置１（ｐｏｓ１）では、ｐｏｓ１０，ｐｏｓ１１，…，ｐｏｓ０１１，
【０１０５】
制御信号発生部から入力される特徴量抽出位置のアドレスに応じて、該当位置において適用されるフィルタの位置がフィルタ種別ＳＲＡＭから読み出される。そして、セレクタは、当該特徴量抽出位置において必要なフィルタ係数（サイン関数及びコサイン関数から演算された応答関数）を上述した各係数格納ＲＯＭから選択して、後段のフィルタ演算部に渡す。
【０１０６】
図６に示したガボア・フィルタ適用部１４２では、フィルタ演算部は４並列で構成されている。但し、並列数は４個に限定される訳ではなく、フィルタ適用数や処理速度、ハードウェア規模を考慮して決定される設計事項である。
【０１０７】
フィルタ演算部では、ＳＤＲＡＭ１５から画像ＳＲＡＭに取り込まれた処理対象画像（入力画）に対して、ガボア・フィルタを適用する。具体的には、特徴量抽出位置に応じてセレクタで選択されたサインＲＯＭ及びコサインＲＯＭから得られた値と、ガウスＲＯＭから得られた値を乗算して各ガウス・フィルタ係数を算出し、２４×２４の各ガウス・フィルタ係数と処理対象画像の２４×２４画素との畳み込み演算を行ない、それぞれの結果を合成する。本実施形態では、合成を絶対値和で近似している。合成の精度が必要な場合には、両者の２乗和のルート演算を行なう。
【０１０８】
なお、図６に示したガボア・フィルタ適用部１４２の構成では、フィルタ種別の選択肢が限定されてしまうという問題がある。何故ならば、サイン関数及びコサイン関数により演算して得た応答関数に関して、２７度と６３度と１１７度と１５３度（ある周波数に限定する）でＲＯＭデータを共有しているため、これらの演算をフィルタ演算の並列化を利用して同時実行することができないからである。したがって、この４種のフィルタしか適用しない場合は４並列化の中で３並列分のハードウェア資源が無駄になる。
【０１０９】
この問題を解決するために、図２４に示すように、それぞれの角度のＲＯＭデータを独立に割り当てた構成としてもよい。これにより、ＲＯＭデータの容量は大きくなるが、任意のフィルタ種類構成を最小の時間で処理可能に実現することができる。
【産業上の利用可能性】
【０１１０】
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【０１１１】
本明細書では、顔認識装置に適用した実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではない。ガボア・フィルタは、人間の視覚細胞にはある特定の方位に対して選択性を持つ細胞が存在するということに着眼し、方向選択性を持つ複数のフィルタで構成される空間フィルタであり、具体的には窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現される。ガボア・フィルタで画像を畳み込むことで、ガボア・フィルタと方向の一致する輪郭線だけを抽出することができる。本発明は、ガボア・フィルタを用いてパターン認識やその他のさまざまな画像処理を行なう装置に好適に適用することができる。
【０１１２】
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【図面の簡単な説明】
【０１１３】
【図１】図１は、本発明の一実施形態に係る顔認識システムの全体構成を模式的に示した図である。
【図２】図２は、顔認識器１４の構成例を示した図である。
【図３】図３は、検出された顔画像を、縮小、シフト、回転変換して顔認識に必要な顔画像に正規化する様子を示した図である。
【図４Ａ】図４Ａは、２４×２４画素固定で構成されるガウス関数からなるフィルタ窓を示した図である。
【図４Ｂ】図４Ｂは、サイン関数又はコサイン関数からなる応答関数を示した図である。
【図４Ｃ】図４Ｃは、図４Ｂに示した応答関数に図４Ａに示したフィルタ窓をかけて得られるガボア・フィルタを示した図である。
【図４Ｄ】図４Ｄは、２２．５度ずつずらした８方向の応答関数についてそれぞれフィルタ窓をかけて得られる８通りのガボア・フィルタを示した図である。
【図４Ｅ】図４Ｅは、５種類の周波数ｆの応答関数について、同様に８方向の角度θでフィルタ窓をかけて得られる４０種類のガボア・フィルタを示した図である。
【図５】図５は、正規化された６０×６６画素の顔画像に設けられた８２箇所の特徴量抽出位置を示した図である。
【図６】図６は、ガボア・フィルタ適用部１４２の構成例を示した図である。
【図７】図７は、制御信号発生部の内部構成を示した図である。
【図８】図８は、図７に示した制御信号発生部が出力する制御信号を示した図である。
【図９】図９は、フィルタ窓の構成を示した図である。
【図１０Ａ】図１０Ａは、ガウス関数により演算される２４×２４固定のフィルタ窓の位置ＸＹ毎の値を示した図である。
【図１０Ｂ】図１０Ｂは、ガウス関数により演算される２４×２４固定のフィルタ窓の位置ＸＹ毎の値を示した図である。
【図１１Ａ】図１１Ａは、サイン関数により演算された０度と９０度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示した図である。
【図１１Ｂ】図１１Ｂは、サイン関数により演算された０度と９０度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示した図である。
【図１２Ａ】図１２Ａは、コサイン関数により演算された０度と９０度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示した図である。
【図１２Ｂ】図１２Ｂは、コサイン関数により演算された０度と９０度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示した図である。
【図１３Ａ】図１３Ａは、サイン関数により演算された４５度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示した図である。
【図１３Ｂ】図１３Ｂは、サイン関数により演算された４５度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示した図である。
【図１３Ｃ】図１３Ｃは、サイン関数により演算された１３５度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示した図である。
【図１３Ｄ】図１３Ｄは、サイン関数により演算された１３５度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示した図である。
【図１４Ａ】図１４Ａは、コサイン関数により演算された４５度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示した図である。
【図１４Ｂ】図１４Ｂは、コサイン関数により演算された４５度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示した図である。
【図１４Ｃ】図１４Ｃは、コサイン関数により演算された１３５度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示した図である。
【図１４Ｄ】図１４Ｄは、コサイン関数により演算された１３５度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示した図である。
【図１５Ａ】図１５Ａは、サイン関数により演算された２７度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示した図である。
【図１５Ｂ】図１５Ｂは、サイン関数により演算された２７度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示した図である。
【図１６Ａ】図１６Ａは、コサイン関数により演算された２７度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示した図である。
【図１６Ｂ】図１６Ｂは、コサイン関数により演算された２７度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示した図である。
【図１７】図１７は、窓Ｙ及び窓Ｘの制御信号からガウスＲＯＭのアドレスを早見するためのアドレス変換テーブルの構成例を示した図である。
【図１８Ａ】図１８Ａは、窓Ｙ及び窓Ｘの制御信号から、サイン関数により演算された０度方向の応答関数の値を格納した０度サイン及び９０度サインＲＯＭのアドレスを早見するためのアドレス変換テーブルの構成例を示した図である。
【図１８Ｂ】図１８Ｂは、窓Ｙ及び窓Ｘの制御信号から、サイン関数により演算された９０度方向の応答関数の値を格納した０度及び９０度サインＲＯＭのアドレスを早見するためのアドレス変換テーブルの構成例を示した図である。
【図１９Ａ】図１９Ａは、窓Ｙ及び窓Ｘの制御信号から、コサイン関数により演算された０度方向の応答関数の値を格納した０度及び９０度コサインＲＯＭのアドレスを早見するためのアドレス変換テーブルの構成例を示した図である。
【図１９Ｂ】図１９Ｂは、窓Ｙ及び窓Ｘの制御信号から、コサイン関数により演算された９０度方向の応答関数の値を格納した０度及び９０度コサインＲＯＭのアドレスを早見するためのアドレス変換テーブルの構成例を示した図である。
【図２０Ａ】図２０Ａは、窓Ｙ及び窓Ｘの制御信号から、サイン関数により演算された４５度方向の応答関数の値を格納した４５度及び１３５度サインＲＯＭのアドレスを早見するためのアドレス変換テーブルの構成例を示した図である。
【図２０Ｂ】図２０Ｂは、窓Ｙ及び窓Ｘの制御信号から、サイン関数により演算された１３５度方向の応答関数の値を格納した４５度及び１３５度サインＲＯＭのアドレスを早見するためのアドレス変換テーブルの構成例を示した図である。
【図２１Ａ】図２１Ａは、窓Ｙ及び窓Ｘの制御信号から、コサイン関数により演算された４５度方向の応答関数の値を格納した４５度及び１３５度コサインＲＯＭのアドレスを早見するためのアドレス変換テーブルの構成例を示した図である。
【図２１Ｂ】図２１Ｂは、窓Ｙ及び窓Ｘの制御信号から、コサイン関数により演算された１３５度方向の応答関数の値を格納した４５度及び１３５度コサインＲＯＭのアドレスを早見するためのアドレス変換テーブルの構成例を示した図である。
【図２２Ａ】図２２Ａは、窓Ｙ及び窓Ｘの制御信号から、サイン関数により演算された２７度方向の応答関数の値を格納した２７度６３度１１７度１５３度サインＲＯＭのアドレスを早見するためのアドレス変換テーブルの構成例を示した図である。
【図２２Ｂ】図２２Ｂは、窓Ｙ及び窓Ｘの制御信号から、サイン関数により演算された６３度方向の応答関数の値を格納した２７度６３度１１７度１５３度サインＲＯＭのアドレスを早見するためのアドレス変換テーブルの構成例を示した図である。
【図２２Ｃ】図２２Ｃは、窓Ｙ及び窓Ｘの制御信号から、サイン関数により演算された１１７度方向の応答関数の値を格納した２７度６３度１１７度１５３度サインＲＯＭのアドレスを早見するためのアドレス変換テーブルの構成例を示した図である。
【図２２Ｄ】図２２Ｄは、窓Ｙ及び窓Ｘの制御信号から、サイン関数により演算された１５３度方向の応答関数の値を格納した２７度６３度１１７度１５３度サインＲＯＭのアドレスを早見するためのアドレス変換テーブルの構成例を示した図である。
【図２３Ａ】図２３Ａは、窓Ｙ及び窓Ｘの制御信号から、コサイン関数により演算された２７度方向の応答関数の値を格納した２７度６３度１１７度１５３度コサインＲＯＭのアドレスを早見するためのアドレス変換テーブルの構成例を示した図である。
【図２３Ｂ】図２３Ｂは、窓Ｙ及び窓Ｘの制御信号から、コサイン関数により演算された６３度方向の応答関数の値を格納した２７度６３度１１７度１５３度コサインＲＯＭのアドレスを早見するためのアドレス変換テーブルの構成例を示した図である。
【図２３Ｃ】図２３Ｃは、窓Ｙ及び窓Ｘの制御信号から、コサイン関数により演算された１１７度方向の応答関数の値を格納した２７度６３度１１７度１５３度コサインＲＯＭのアドレスを早見するためのアドレス変換テーブルの構成例を示した図である。
【図２３Ｄ】図２３Ｄは、窓Ｙ及び窓Ｘの制御信号から、コサイン関数により演算された１５３度方向の応答関数の値を格納した２７度６３度１１７度１５３度コサインＲＯＭのアドレスを早見するためのアドレス変換テーブルの構成例を示した図である。
【図２４】図２４は、ガボア・フィルタ適用部１４２の変形例を示した図である。
【符号の説明】
【０１１４】
１…顔認識システム
１１…画縮小器
１２…顔検出器
１３…両目位置検出器
１４…顔認識器
１５…メモリ
１４１…顔画像入力部
１４２…ガボア・フィルタ適用部
１４３…類似度算出部
１４４…一致判定部
【技術分野】
【０００１】
本発明は、撮影画像などに含まれる顔画像を認識する顔認識装置及び顔認識方法、ガボア・フィルタ適用装置、並びにコンピュータ・プログラムに係り、特に、窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現されるガボア・フィルタを用いて顔画像の特徴量を抽出する顔認識装置及び顔認識方法、ガボア・フィルタ適用装置、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、ガボア・フィルタ係数の種類や数を固定することなく、十分な性能で顔画像の認識を行なう顔認識装置及び顔認識方法、ガボア・フィルタ適用装置、並びにコンピュータ・プログラムに係り、特に、ハードウェア規模や演算負荷の増加を招来することなく十分な性能でガボア・フィルタを利用した顔画像の認識処理を行なう顔認識装置及び顔認識方法、ガボア・フィルタ適用装置、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００３】
顔認識の技術は、ユーザに負担をかけない個人認証システムをはじめとして、性別の識別など、マンマシン・インターフェースに幅広く適用が可能である。初期は横顔を使った認識技術も検討されたが、現在は、正面画像の認識技術が中心となっている。
【０００４】
顔認識システムは、ＣＣＤカメラなどによる撮像画像から顔パターンを抽出する顔抽出処理と、抽出された顔パターンを基に顔を認識する顔認識で構成される。顔パターンを抽出する（顔画像の特徴量を抽出する）顔抽出処理若しくは顔認識処理には、例えば、方位選択性を持ち周波数成分の異なる複数のフィルタを用いることにより、顔画像の特徴量を抽出する「ガボア・フィルタリング（Ｇａｂｏｒ Ｆｉｌｔｅｒｉｎｇ）」を適用することができる（例えば、特許文献１を参照のこと）。
【０００５】
人間の視覚細胞には、ある特定の方位に対して選択性を持つ細胞が存在することが既に判明されている。これは、垂直の線に対して発火する細胞と、水平の線に反応する細胞で構成される。ガボア・フィルタは、これと同様に、方向選択性を持つ複数のフィルタで構成される空間フィルタである。
【０００６】
ガボア・フィルタは、窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現される。フィルタ窓の大きさは例えば２４×２４固定とする。また、周波数ｆを５種類、角度θを８方向とすると、４０種類のガボア・フィルタが構成される。
【０００７】
ガボア・フィルタの演算は、ガボア・フィルタを適用する画素とガボア・フィルタの係数との畳み込みである。ガボア・フィルタの係数は、周波数応答がコサイン関数からなる実部と周波数応答がサイン関数からなる虚部に分離することができ、それぞれに畳み込み演算を実施し、それぞれの成分を合成して１個のスカラ値からなるガボア・フィルタ結果を求めることができる。このような演算を、周波数ｆと角度θを切り替えながら最大４０種類のガボア・フィルタを適用し、得られた最大４０個のスカラ値の組を「ガボア・ジェット」と呼ぶ。顔画像データ上で水平方向及び垂直方向に一定間隔で検出される特徴量抽出位置毎に、局所特徴量としてガボア・ジェットが求められる。ガボア・ジェットは、特徴量抽出位置のある程度の位置のずれや変形に対して、不変であるという特徴を有している。
【０００８】
登録顔画像に関しては、あらかじめ特徴量抽出位置毎のガボア・ジェットが算出されている。そして、同じ特徴量抽出位置における入力顔のガボア・ジェットと登録顔のガボア・ジェットの類似度を演算し、複数の特徴量抽出位置における類似度の集合である類似度ベクトルが求められる。続いて、サポート・ベクタ・マシーン（ＳＶＭ）によるクラス判定を行なって、入力顔画像と登録顔画像の認識を行なう。サポート・ベクタ・マシーンは、類似度ベクトルの境界面の値を、例えば、＋１又は−１と判定する境界面（値が０である位置の面）からの距離を算出し、ｉｎｔｒａ−ｐｅｒｓｏｎａｌ ｃｌａｓｓ又はｅｘｔｒａ−ｐｅｒｓｏｎａｌ ｃｌａｓｓのいずれに属するかを判断する。ｉｎｔｒａ−ｐｅｒｓｏｎａｌ ｃｌａｓｓに属すると判断される類似度ベクトルが存在しない場合には、未登録の人物の顔が入力されたと判断される（例えば、非特許文献１を参照のこと）。また、１つのサポート・ベクタ・マシーンが多くの顔画像を学習（すなわち登録）することで、新たに入力された顔画像が登録されている（学習済みの）顔画像と一致するのか（ｉｎｔｒａ−ｐｅｒｓｏｎａｌ ｃｌａｓｓに属するのか）、又は、一致しないのか（ｅｘｔｒａ−ｐｅｒｓｏｎａｌ ｃｌａｓｓに属するのか）を判定することができる（例えば、特許文献２、特許文献３を参照のこと）。サポート・ベクタ・マシーンは、パターン認識の分野で最も学習汎化能力が高いと当業界では評価されている。
【０００９】
上述したように、ガボア・フィルタリングでは、周波数応答に用いるガボア関数の周波数ｆと角度θを切り替えながら最大４０種類のガボア・フィルタを適用して演算を行なう。このように多数のフィルタ係数をガボア・フィルタ演算の度に逐次用意することは計算機にとって演算負荷が高く、処理時間が長くなってしまう。ここで、フィルタ係数の種類や数を固定（制限）することで、演算負荷は軽減されるが、この場合は十分な認識性能が得られなくなってしまう。
【００１０】
また、ガボア・フィルタのすべてのフィルタ係数を単純にＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）データとして格納すると、ハードウェア規模が増大してしまう。例えば、医用画像の処理にガボア・フィルタを用いる場合など（例えば、特許文献４を参照のこと）、比較的高価な装置を用いることが許容されている場合においては、ハードウェア規模や演算負荷の問題は無視し得るであろう。他方、小型・携行型のデジタルカメラにおいても、顔認識技術を搭載することにより、人物撮影における合焦時間の短縮を図る、主要被写体が最適露出となるようにダイナミックレンジ圧縮処理を行なう、といったさまざまなアプリケーションが可能となるが、ガボア・フィルタリングを実施する際のハードウェア規模や演算負荷の問題が重大なネックとなる。
【００１１】
【特許文献１】特開２００６−４０４１号公報
【特許文献２】特再ＷＯ０３／０１９４７５号公報
【特許文献３】特開２００６−４００３号公報
【特許文献４】特開２００５−２１３３４号公報
【非特許文献１】Ｂ．ｓｈｏｌｋｏｐｆ外著“Ａｄｖａｎｃｅ ｉｎ Ｋｅｒｎｅｌ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｌｅａｒｎｉｎｇ”（Ｔｈｅ ＭＩＴ Ｐｒｅｓｓ、１９９９．）
【発明の開示】
【発明が解決しようとする課題】
【００１２】
本発明の目的は、窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現されるガボア・フィルタを用いて顔画像の特徴量を好適に抽出することができる、優れた顔認識装置及び顔認識方法、ガボア・フィルタ適用装置、並びにコンピュータ・プログラムを提供することにある。
【００１３】
本発明のさらなる目的は、ガボア・フィルタ係数の種類や数を固定することなく、十分な性能で顔画像の認識を行なうことができる、優れた顔認識装置及び顔認識方法、ガボア・フィルタ適用装置、並びにコンピュータ・プログラムを提供することにある。
【００１４】
本発明のさらなる目的は、ハードウェア規模や演算負荷の増加を招来することなく十分な性能でガボア・フィルタを利用した顔画像の認識処理を行なうことができる、優れた顔認識装置及び顔認識方法、ガボア・フィルタ適用装置、並びにコンピュータ・プログラムを提供することにある。
【課題を解決するための手段】
【００１５】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、入力顔画像と登録顔画像の認識を行なう顔認識装置であって、
認識処理の対象となる顔画像を入力する顔画像入力手段と、
前記の入力画像の特徴量抽出位置毎に、窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現されるガボア・フィルタの応答関数の周波数と角度を切り替えながら、該ガボア・フィルタ係数と画素の畳み込み演算を行なって、フィルタの種類に応じた個数のスカラ値からなるガボア・ジェットを求めるガボア・フィルタ適用手段と、
特徴量抽出位置毎に、入力顔画像のガボア・ジェットと登録顔画像のガボア・ジェットの類似度を演算し、複数の特徴量抽出位置における類似度の集合からなる類似度ベクトルを求める類似度演算手段と、
該類似度ベクトルを基に入力顔画像と登録顔画像が一致するか否かを判定する一致判定手段を備え、
前記ガボア・フィルタ適用手段は、ガウス関数を演算して得られるフィルタ窓の値を格納するフィルタ窓ＲＯＭと、サイン関数を演算して得られる応答関数の値を格納するフィルタの角度毎のサインＲＯＭと、コサイン関数を演算して得られる応答関数の値を格納するフィルタの角度毎のコサインＲＯＭと、これらのＲＯＭから読み出されるガウス関数を演算して得られる値とサイン関数並びにコサイン関数を演算して得られる値を乗算してガボア・フィルタ係数を算出するガボア・フィルタ係数算出手段を備え、該ガボア・フィルタ係数算出手段によって算出されたガボア・フィルタ係数による前記の入力顔画像の畳み込み演算を行なう、
ことを特徴とする顔認識装置である。
【００１６】
顔抽出処理若しくは顔認識処理には、例えば、方位選択性を持ち周波数成分の異なる複数のフィルタで顔画像の特徴量を抽出するガボア・フィルタリングを適用することができる。ガボア・フィルタは、窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現される。ガボア・フィルタで画像を畳み込むことで、ガボア・フィルタと方向の一致する輪郭線だけを抽出することができる。
【００１７】
入力顔画像のある特徴量抽出位置において、応答関数の周波数と角度を切り替えながらガボア・フィルタの演算を行なうことで、フィルタの種類に応じた個数のスカラ値からなるガボア・フィルタ結果すなわちガボア・ジェットが得られる。そして、特徴量抽出位置毎に入力顔画像と登録顔画像のガボア・ジェットの類似度を算出して、類似度の集合である類似度ベクトルが求められ、この類似度ベクトルを基に入力顔画像と登録顔画像の一致判定を行なうことができる。
【００１８】
ガボア・フィルタで画像を畳み込むことで、ガボア・フィルタと方向の一致する輪郭線だけを好適に抽出することができるので、顔認識に限らず、パターン認識やその他のさまざまな画像処理に適用することができる。
【００１９】
しかしながら、多数のガボア・フィルタ係数をガボア・フィルタ演算の度に逐次用意することは計算機にとって演算負荷が高く、処理時間が長くなってしまう。また、ガボア・フィルタのフィルタ係数を単純にＲＯＭデータとして格納すると、ハードウェア規模が増大してしまうという問題がある。
【００２０】
そこで、本発明に係る顔認識装置では、ガボア・フィルタが窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とすることに着目して、ガボア・フィルタ係数を格納するＲＯＭデータの削減を図っている。前記ガボア・フィルタ適用手段は、ガウス関数を演算して得られるフィルタ窓の値を格納するフィルタ窓ＲＯＭと、サイン関数を演算して得られる応答関数の値を格納するフィルタの角度毎のサインＲＯＭと、コサイン関数を演算して得られる応答関数の値を格納するフィルタの角度毎のコサインＲＯＭを備えており、ガボア・フィルタ係数算出手段は、これらのＲＯＭから読み出されるガウス関数を演算して得られる値とサイン関数並びにコサイン関数を演算して得られる値を乗算してガボア・フィルタ係数を算出するように構成されている。
【００２１】
すなわち、フィルタ係数をガウス関数により演算された値とサイン関数又はコサイン関数により演算された値に分割して扱うことによって、ガボア・フィルタのすべてのフィルタ係数を単純にＲＯＭデータとして格納する場合よりも、ハードウェア規模を削減することができる。また、これらのＲＯＭから読み出されるガウス関数を演算して得られる値とサイン関数並びにコサイン関数を演算して得られる値を乗算することで、ガボア・フィルタ係数を容易に求めることができるので、演算負荷は高くない。
【００２２】
さらに、本発明に係る顔認識装置では、ガウス関数の特性、サイン関数とコサイン関数の周期性を利用して、冗長性を排して最小限のデータのみをＲＯＭに格納することで、ハードウェア規模の縮小を実現している。
【００２３】
前記ガボア・フィルタ適用手段は、８方向の角度からなるガボア・フィルタを適用するために、サイン関数により演算された０度と９０度の方向に対する応答関数の値を格納する０度及び９０度サインＲＯＭと、コサイン関数により演算された０度と９０度の方向に対する応答関数の値を格納する０度及び９０度コサインＲＯＭと、サイン関数により演算された４５度と１３５度の方向に対する応答関数の値を格納する４５度及び１３５度サインＲＯＭと、コサイン関数により演算された４５度と１３５度の方向に対する応答関数の値を格納する４５度及び１３５度コサインＲＯＭを備える。
【００２４】
また、０度と４５度、４５度と９０度、９０度と１３５度、１３５度と１８０度それぞれの中心角である２２．５度、６７．５度、１１２．５度、１５７．５度の各想定角に関しては、サイン関数並びにコサイン関数の周期性がないため、サイン関数とコサイン関数の周期性を持つ近傍の２７度、６３度、１１７度、１５３度の角度に近似して、サイン関数により演算された２７度、６３度、１１７度、１５３度の方向に対する応答関数の値を格納する２７度６３度１１７度１５３度サインＲＯＭと、コサイン関数により演算された２７度、６３度、１１７度、１５３度の方向に対する応答関数の値を格納する２７度６３度１１７度１５３度コサインＲＯＭを備える。
【００２５】
また、前記の各ＲＯＭは、それぞれの角度のサイン関数又はコサイン関数から得られた値から重複を排除して、最小限のワード数からなるＲＯＭデータを格納するようにする。
【００２６】
この場合、特徴量抽出位置を前記フィルタ窓ＲＯＭ、フィルタの角度毎のサインＲＯＭ及びコサインＲＯＭ上のアドレスに変換するアドレス変換手段を備え、前記ガボア・フィルタ係数算出手段は、前記アドレス変換手段によって特徴量抽出位置から変換されたアドレスに従って、前記フィルタ窓ＲＯＭ、フィルタの角度毎のサインＲＯＭ及びコサインＲＯＭからフィルタ窓の値並びにフィルタの角度毎の応答関数の値を読み出し、これらを乗算して該当する特徴量抽出位置におけるガボア・フィルタ係数を求めることができる。
【００２７】
したがって、本発明によれば、ガウス関数の特性、サイン関数とコサイン関数の周期性を利用して、冗長性を排して最小限のデータのみをＲＯＭに格納することで、ハードウェア規模の縮小を実現することができる。
【００２８】
また、本発明に係る顔認識装置は、各特徴量抽出位置において適用されるフィルタの種類を記録するフィルタ種別記録手段と、特徴量抽出位置毎に前記フィルタ種別記録手段における記録内容に従って前記の各ＲＯＭから該当するフィルタ係数を構成するためのフィルタ窓の値及び応答関数の値を選択的に読み出して前記ガボア・フィルタ係数算出手段に渡す選択手段をさらに備えていても良い。
【００２９】
このような場合、入力した顔画像内のフィルタの適用場所（特徴量抽出位置の位置）に応じてフィルタの種類や数を任意に設定することができる。この結果、顔認識、笑顔認識、性別認識など、さまざまな認識の認識率を向上することができる。また、フィルタの種類や数を固定した場合（すべての特徴量抽出位置で全フィルタを適用する場合）よりも処理時間を短縮することができる。
【００３０】
また、本発明の第２の側面は、入力顔画像と登録顔画像の認識を行なうための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータに対し、
認識処理の対象となる顔画像を入力する顔画像入力手順と、
前記の入力画像の特徴量抽出位置毎に、窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現されるガボア・フィルタの応答関数の周波数と角度を切り替えながら、該ガボア・フィルタ係数と画素の畳み込み演算を行なって、フィルタの種類に応じた個数のスカラ値からなるガボア・ジェットを求めるガボア・フィルタ適用手順と、
特徴量抽出位置毎に、入力顔画像のガボア・ジェットと登録顔画像のガボア・ジェットの類似度を演算し、複数の特徴量抽出位置における類似度の集合からなる類似度ベクトルを求める類似度演算手順と、
該類似度ベクトルを基に入力顔画像と登録顔画像が一致するか否かを判定する一致判定手順を実行させ、
前記ガボア・フィルタ適用手順では、ガウス関数を演算して得られるフィルタ窓の値を格納するフィルタ窓ＲＯＭと、サイン関数を演算して得られる応答関数の値を格納するフィルタの角度毎のサインＲＯＭと、コサイン関数を演算して得られる応答関数の値を格納するフィルタの角度毎のコサインＲＯＭを用い、これらのＲＯＭから読み出されるガウス関数を演算して得られる値とサイン関数並びにコサイン関数を演算して得られる値を乗算してガボア・フィルタ係数を算出するガボア・フィルタ係数算出手順を実行して、該算出されたガボア・フィルタ係数による前記の入力顔画像の畳み込み演算を行なう、
ことを特徴とするコンピュータ・プログラムである。
【００３１】
本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、本発明の第１の側面に係る顔認識装置と同様の作用効果を得ることができる。
【発明の効果】
【００３２】
本発明によれば、窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現されるガボア・フィルタを用いて顔画像の特徴量を好適に抽出することができる、優れた顔認識装置及び顔認識方法、ガボア・フィルタ適用装置、並びにコンピュータ・プログラムを提供することができる。
【００３３】
また、本発明によれば、ガボア・フィルタ係数の種類や数を固定することなく、十分な性能で顔画像の認識を行なうことができる、優れた顔認識装置及び顔認識方法、ガボア・フィルタ適用装置、並びにコンピュータ・プログラムを提供することができる。
【００３４】
また、本発明によれば、ハードウェア規模や演算負荷の増加を招来することなく、十分な性能でガボア・フィルタを利用した顔画像の認識処理を行なうことができる、優れた顔認識装置及び顔認識方法、ガボア・フィルタ適用装置、並びにコンピュータ・プログラムを提供することができる。
【００３５】
本発明に係る顔認識装置は、ガボア・フィルタが窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とすることに着目して、ガボア・フィルタ係数を格納するＲＯＭデータの削減を図っている。すなわち、フィルタ係数をガウス関数により演算された値とサイン関数又はコサイン関数により演算された値に分割して、さらにガウス関数の特性、サイン関数とコサイン関数の周期性を利用して、冗長性を排して最小限のデータのみをＲＯＭに格納することで、ハードウェア規模の縮小を実現することができる。
【００３６】
また、本発明に係る顔認識装置によれば、入力した顔画像内のフィルタの適用場所（特徴量抽出位置の位置）に応じてフィルタの種類や数を任意に設定することができる。この結果、顔認識、笑顔認識、性別認識など、さまざまな認識の認識率を向上することができる。また、フィルタの種類や数を固定した場合（すべての特徴量抽出位置で全フィルタを適用する場合）よりも処理時間を短縮することができる。
【００３７】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【発明を実施するための最良の形態】
【００３８】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００３９】
顔認識システムは、入力画像から顔画像を抽出する顔抽出処理と、抽出された顔画像を認識する顔認識で構成されることは既に述べた通りである。ここでは、まず顔検出と顔認識について改めて定義しておく。
【００４０】
顔検出は、ある１枚の画像（１枚の写真や動画像の１ピクチャ（フィールド又はフレーム）に当たる）に対して、人物顔を検出しその位置と大きさを求める処理である。１枚の画において複数の顔が存在することがある。一方、顔認識とは検出されたある１個の顔が以前に登録された顔と同一人物かを識別することを言う。
【００４１】
図１には、本発明の一実施形態に係る顔認識システムの全体構成を模式的に示している。図示のシステム１は、画縮小器１１と、顔検出器１２と、両目位置検出器１３と、顔認識器１４と、複数枚の画像を蓄えるメモリ（ＳＤＲＡＭ）１５で構成される。また、顔検出器１２と、両目位置検出器１３と、顔認識器１４内部にローカル・メモリ（ＳＤＲＡＭ）を備えている。本システム１への入力は画像であり、本システム１からの出力（Ｙｅｓ／Ｎｏ）は同一人物か否かを示すフラグである。
【００４２】
画縮小器１１では、入力画像に対し水平及び垂直の各方向にそれぞれ１／２にした縮小画像を作成し、原入力画像とともにＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）１５に格納する。図１に示す例では、入力画像を画１、入力画像に対し水平及び垂直方向にそれぞれ１／２にした縮小画像を画１／２、入力画像に対し水平及び垂直方向にそれぞれ１／４にした縮小画像を画１／４として、これら３枚の画像を作成して、ＳＤＲＡＭ１５に格納する。
【００４３】
縮小画像を作成する際、演算精度を考慮すると、入力画像から直接それぞれの縮小画像を作成する方法が望ましい。但し、ハードウェアの規模を考慮して、１／２縮小を順番に施す方法、つまり、始めに入力画像（画１）から画１／２を作成し、次に作成された画１／２から画１／４を作成する方法で実現するようにしてもよい。
【００４４】
顔検出器１２では、入力画像とＳＤＲＡＭ１５に格納されているすべての縮小画像に対して顔を検出し、検出された顔の大きさと顔の位置を求める。顔の位置の検出に関しては、画像全体を検出することで処理速度を考慮しなければ容易に実現可能である。一方、いろいろな大きさの顔の検出に関しては、画像の解像度と検出顔の大きさの相対関係の問題で、画像の解像度を固定にする方法（すなわち、入力画像に対していろいろな大きさの顔検出器を用意する方法）と、検出顔の大きさを固定にする方法（検出できる顔の大きさが固定された１つの顔検出器を用い、入力画像をいろいろな解像度に縮小して検出する方法）が考えられるが、後者の方法が現実的である。したがって、図１に示すように、顔検出器１２では、画縮小器１１で作成された画１、画１／２、画１／４の各縮小画像に対して、２４×２４画素内に顔が存在するか否かを識別する。
【００４５】
なお、縮小率の刻みが１／２、１／４では粗過ぎて精度が不十分である場合には、例えば画縮小器１１で画７／８、画６／８、画５／８の縮小率の画像をさらに作成し、顔検出器１２でそれぞれの縮小率の画像に対しても顔検出を行なうようにすれば良い。
【００４６】
顔検出の特徴抽出として２点画素差分方式を適用することができる。これは、２４×２４画素内において顔の特徴を抽出し易い２点の画素の差分をさまざまな２点で行なう方式である。また、識別器演算としてａｄａｂｏｏｓｔアルゴリズムを用いることができる。
【００４７】
両目位置検出器１３では、両目位置検出は、顔画像を顔認識するための準備として、顔検出器１２によって検出された顔に対して解像度を上げた画像の顔を正規化するために、左右の目の位置を特定する。すなわち、両目位置を検出して、顔検出によって得られた顔の大きさ、顔の位置から、その顔画像の解像度を上げた顔の大きさ、顔の位置、顔の角度を求める。
【００４８】
顔検出器１２では２４×２４画素の解像度で顔検出が行なわれ、顔認識器１４では６０×６６画素の解像度で顔認識が行なわれる。言い換えると、顔認識器１４に必要な解像度は、顔検出器１２のそれより精度を要求される。そこで、顔検出器で検出された顔が画１／２とすると、それよりも解像度の高い画１の同等の顔が存在する場所で且つ目が存在する顔の上部で左右の目を検出する。
【００４９】
両目位置検出の特徴抽出として２点画素差分方式を適用することができる。２点画素差分方式の適用範囲も２４×２４画素であり、顔検出器１２と同じであるので、顔検出器１２と同一のハードウェアで処理時間をシリアルにして実現することができる。
【００５０】
顔認識器１４では、両目位置検出器１３によって左右の目位置が特定された顔画像から顔の大きさ、位置、角度を求め、それらに応じて顔を正規化して６０×６６画素の内部のＳＲＡＭに一旦蓄えて、登録画像と一致するか否かを調べる。
【００５１】
本実施形態では、顔認識器１４は、顔認識の特徴抽出としてガボア・フィルタリングを適用する。また、識別器演算としてｇｅｎｔｌｅｂｏｏｓｔを用いる。正規化された顔画像にガボア・フィルタを適用して得られた結果と、以前に登録された画像にガボア・フィルタを適用して得られた結果との類似度を求める。そして、求められた類似度に対してｇｅｎｔｌｅｂｏｏｓｔを施すことによって、登録画と一致したか否か識別する。
【００５２】
図２には、顔認識器１４の構成例を示している。図示の顔認識器１４は、顔画像入力部１４１と、ガボア・フィルタ適用部１４２と、類似度算出部１４３と、一致判定部１４４を備えている。
【００５３】
顔画像入力部１４１は、初めに、両目位置検出で検出された両目位置から顔認識に必要である解像度に相当する顔画像を、ＳＤＲＡＭ１５から、顔認識器１４にローカルのＳＲＡＭ１に転送する。次いで、両目位置情報から顔の大きさ、顔の位置、顔の角度を求め、ＳＲＡＭ１にある顔画像を正規化して、顔認識に必要な顔画像を作成して、顔認識器１４にローカルのＳＲＡＭ２に格納する。つまり、顔画像入力部１４１では、両目位置情報からＳＲＡＭ２の固定した座標に右目、左目の位置を合わせるように、ＳＲＡＭ１の顔画像を縮小、シフト、回転変換して顔認識に必要な顔画像をＳＲＡＭ２に作成する（図３を参照のこと）。
【００５４】
ガボア・フィルタ適用部１４２は、画像入力部１４１において正規化された顔画像に対してガボア・フィルタを適用する。
【００５５】
ガボア・フィルタは、窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現される。本実施形態では、フィルタ窓は、図４Ａに示すように２４×２４画素固定とする。そして、図４Ｂに示すような特定の周波数成分のサイン関数又はコサイン関数からなる応答関数にフィルタ窓をかけると、図４Ｃに示すようなガボア・フィルタを作成することができる。また、例えば、０度、２２．５度、４５度、６７．５度、９０度、１１２．５度、１３５度、１５７．５度と２２．５度ずつずらした８方向のサイン関数又はコサイン関数からなる応答関数に対してそれぞれフィルタ窓をかけると、図４Ｄに示すように８通りのガボア・フィルタを作成することができる。さらに、低周波域から高周波域に至る５種類の周波数ｆの応答関数について、同様に８方向の角度θでフィルタ窓をかけることで、図４Ｅに示すように合計で４０種類のガボア・フィルタが構成される。ガボア・フィルタ（ガボア・カーネルＫ（ｘ，ｙ））は、以下の演算式で表される。
【００５６】
【数１】
【００５７】
ガボア・フィルタの演算は、ガボア・フィルタＧi（ｘ，ｙ）を適用する画素Ｉ（ｘ，ｙ）とガボア・フィルタの係数との畳み込みである。ガボア・フィルタの係数は、周波数応答がコサイン関数からなる実部Ｒｅ（ｘ，ｙ）と周波数応答がサイン関数Ｉｍ（ｘ，ｙ）からなる虚部に分離することができ、それぞれに畳み込み演算を実施し、それぞれの成分を合成して、１個のスカラ値からなるガボア・フィルタ結果Ｊi（ｘ，ｙ）を求めることができる。但し、（ｘ，ｙ）は特徴量抽出位置の画素位置を示し、ｉは上述した４０通りのガボア・フィルタのうちｉ番目であることを示す。
【００５８】
【数２】
【００５９】
画像の特徴量抽出位置（ｘ，ｙ）において最大４０種類のガボア・フィルタを適用して得られた最大４０スカラ値の組｛Ｊ1，Ｊ2，…，Ｊ40｝をガボア・ジェットと呼ぶ。
【００６０】
類似度算出部１４３は、入力画像について算出されたガボア・ジェットＧＳと登録画像のガボア・ジェットＧＲに正規化相関演算を行ない、特徴量抽出位置毎の類似度ｄを求める。
【００６１】
【数３】
【００６２】
本実施形態では、正規化された６０×６６画素の顔画像のうち、特徴量が抽出し易い８２箇所の特徴量抽出位置（図５を参照のこと）において、正規化相関演算を行ない、類似度を求める。この結果、ｄ0、ｄ1、…、ｄ81の８２箇所の各特徴量抽出位置で求められた正規化相関演算結果を要素とする類似度ベクトルＤが得られる。
【００６３】
【数４】
【００６４】
なお、上記では「最大４０種類」のガボア・フィルタを適用することを記述したが、これは８２箇所のすべての特徴量抽出位置において４０種類すべてのガボア・フィルタを適用する必要はないことを意味する。何種類のガボア・フィルタを適用するかは、類似度を抽出する特徴量抽出位置の場所に依存し、場所に応じてガボア・フィルタの種類とその数（ガボア・ジェットの要素数）が異なる。
【００６５】
一致判定部１４４は、入力画と登録画間の類似度ベクトルに基づいて、両画像の一致を判定する。本実施形態では、識別器演算としてｇｅｎｔｌｅｂｏｏｓｔを用いる。ここでは、以下の演算式を用いてｇｅｎｔｌｅｂｏｏｓｔを算出する。但し、同式中のａ、ｑ、ｂは辞書としてあらかじめ登録されているものとする。
【００６６】
【数５】
【００６７】
そして、以下の判別式に従って、入力画が登録画と一致するかどうかを判定する。
【００６８】
【数６】
【００６９】
なお、本実施形態では、一致判定にｇｅｎｔｌｅｂｏｏｓｔを用いているが、本発明の要旨は必ずしもこれに限定されるものではない。例えば、サポート・ベクタ・マシーンを用いて類似ベクトルの境界面の値をクラス判定して、顔画像の一致を判定するようにしてもよい。
【００７０】
図６には、ガボア・フィルタ適用部１４２の構成例を示している。図示のガボア・フィルタ適用部１４２は、制御信号発生部から供給される制御信号に従って動作する。図７には、制御信号発生部の内部構成を示している。また、図８には、この制御信号発生部が出力する制御信号を図解している。
【００７１】
図７に示すように、制御信号発生部は、特徴量抽出位置を指定する特徴量抽出位置カウンタ、特徴量抽出位置毎のフィルタの種類を指定するフィルタ種類カウンタ、２４×２４画素からなるフィルタ窓のＹ及びＸを指定する窓Ｙカウンタ並びに窓Ｘカウンタを備えている。
【００７２】
図５に示したように、１画像（すなわち１つの顔）に対して８２箇所でそれぞれ特徴量を抽出するため、特徴量抽出位置カウンタは、特徴量抽出位置を示すための０〜８１のカウンタである。特徴両抽出位置の場所に応じて、適用されるガボア・フィルタの種類と数が異なる。また、図６に示したガボア・フィルタ適用部１４２では４並列でフィルタ演算を行なう。
【００７３】
図８に示す例では、特徴量抽出位置０（ｐｏｓ０）において４×７＝２８種類のガボア・フィルタを適用し、特徴量抽出位置１（ｐｏｓ１）において４×３＝１２種類のガボア・フィルタを適用する。入力した顔画像内のフィルタの適用場所（特徴量抽出位置の位置）に応じてフィルタの種類や数を任意に設定することができる。何種類のガボア・フィルタを適用するかは、特徴量抽出位置の場所｛ｄ0、ｄ1、…ｄ81｝に依存し、場所に応じてガボア・フィルタの種類とその数（ガボア・ジェットの要素数）が異なる（前述）。ここで、フィルタの種類は最大で４０、フィルタ演算の並列数は４であることから、フィルタ種類カウンタは０〜９のカウンタである。
【００７４】
１個のガボア・フィルタに対しては（４並列なので合計４個）、０〜２３のｙ方向のカウンタ（窓Ｙ）と０〜２３のx方向のカウンタ（窓Ｘ）を用意し（図９を参照のこと）、処理時間は２４×２４＝５７６クロック（固定クロック時間）となる。
【００７５】
本実施形態では、４０（＝８方向×５通りの周波数）種類のガボア・フィルタが使用される。ガボア・フィルタの係数は、ガウス関数により演算されたフィルタ窓（２４×２４）と、コサイン関数からなる実部並びにサイン関数からなる虚部により演算され、ハードウェアとしてＲＯＭを用いて実現することができる。ここで、すべてのフィルタ係数をＲＯＭに格納する場合、係数のビット長を１６ビットと仮定すると、２４×２４×４０×２×１６＝７２０Ｋビットと大容量になる。そこで、以下では、ＲＯＭに格納すべき係数のデータ量削減について考察する。
【００７６】
ガボア・フィルタ係数は、ガウス関数により演算されたフィルタ窓の値と、サイン関数及びコサイン関数によりそれぞれ演算された応答関数の値の乗算で求められる。したがって、ガウス関数により演算されたフィルタ窓の値、サイン関数により演算された値、並びにコサイン関数により演算された値をそれぞれＲＯＭに格納して用意し、乗算器を使って乗算を行なうことで、ガボア・フィルタ係数を求めることができる。これによって、４０種類のガボア・フィルタの係数をすべて格納する場合に比べ、ＲＯＭデータのサイズを削減することができる。
【００７７】
また、ガウス関数がピークを中心に対称的であることや、サイン関数及びコサイン関数が周期関数であること、すなわち同じ値が繰り返し出現するという冗長性に着目して、ガウス関数により演算されたフィルタ窓の値、サイン関数により演算された値、並びにコサイン関数により演算された値を格納するそれぞれのＲＯＭのサイズをさらに削減することができる。
【００７８】
まず、フィルタ窓の冗長性について考えてみる。図１０Ａ及び図１０Ｂには、ガウス関数により演算される２４×２４固定のフィルタ窓の位置ＸＹ毎の値を示している。図４Ａからも分るように、（０，０）にピークを持ち、ピークから離れるに従って０に近づくが、（０，０）に対し点対称となる。そして、図１０からも分るように、ガウス関数により演算された２４×２４（＝５７６ワード）のフィルタ窓では７８ワードが複数の窓位置ＸＹで繰り返し出現するから、図１０Ａ中において太枠で示した７８ワードのみが必要なデータとなる。
【００７９】
また、サイン関数とコサイン関数により演算された値は、０度と９０度、４５度と１３５度、並びに、２７度と６３度と１１７度と１５３度では、それぞれ同じ値となるから、サイン関数とコサイン関数の周期性を考慮して、サイン関数とコサイン関数により演算される応答関数に必要なＲＯＭデータのサイズを削減することができる。
【００８０】
図１１Ａ及び図１１Ｂには、サイン関数により演算された０度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示している。また、図１２Ａ及び図１２Ｂには、コサイン関数により演算された０度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示している。０度のＸとＹを入れ替えると９０度の関係となるという、サイン関数とコサイン関数の周期性を考慮すると、１２ワードが複数の窓位置ＸＹで繰り返し出現するから、図１２Ａ中において太枠で示した１２ワードのみが当該角度の応答関数を構成するために必要なデータとなる。
【００８１】
図１３Ａ及び図１３Ｂには、サイン関数により演算された１３５度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示し、図１３Ｃ及び図１３Ｄには、サイン関数により演算された１３５度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示している。また、図１４Ａ及び図１４Ｂには、コサイン関数により演算された４５度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示し、図１４Ｃ及び図１４Ｄには、コサイン関数により演算された１３５度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示している。サイン関数とコサイン関数の周期性を考慮すると、２４ワードが複数の窓位置ＸＹで繰り返し出現するから、図１３Ａ及び図１４Ａ中に太枠で示した合計２４ワードのみが当該角度の応答関数を構成するために必要なデータとなる。
【００８２】
サイン関数及びコサイン関数からなる応答関数の残りの４方向に関しては、当初、０度と４５度、４５度と９０度、９０度と１３５度、１３５度と１８０度それぞれの中心角である２２．５度、６７．５度、１１２．５度、１５７．５度を想定していた（図４Ｃを参照のこと）。ところが、これらの想定角度では、サイン関数並びにコサイン関数の周期性が見出せず、上記と同様のデータ削減を行なうことができない。そこで、これらの想定角の近傍で、サイン関数とコサイン関数の周期性を考慮してデータを削減することができる、２７度、６３度、１１７度、１５３度の角度に近似して、これら４方向に対してサイン関数及びコサイン関数からなる応答関数で代用することにした。
【００８３】
２７度、６３度、１１７度、１５３度の角度はそれぞれ下式で求めることができ、サイン関数とコサイン関数の間で周期性があることを理解できよう。
【００８４】
【数７】
【００８５】
図１５Ａ及び図１５Ｂには、サイン関数により演算された２７度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示している。また、図１６Ａ及び図１６Ｂには、コサイン関数により演算された２７度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示している。サイン関数とコサイン関数の周期性を考慮すると、３５ワードが複数の窓位置ＸＹで繰り返し出現するから、図１５Ａ及び図１６Ａに太枠で示したそれぞれ３５ワードのみが当該角度の応答関数を構成するために必要なデータとなる。
【００８６】
このようにして、ガボア・フィルタを構成するフィルタ窓、及び８方向の応答関数に必要なデータを以下のように削減することができる。
【００８７】
（１）ガウス関数により演算される２４×２４固定のフィルタ窓に必要なＲＯＭデータを７８ワードとする。
（２）サイン関数及びコサイン関数により演算された０度と９０度の方向に対する応答関数を構成するために必要なＲＯＭデータを１２ワードとする。
（３）サイン関数及びコサイン関数により演算された４５度と１３５度の方向に対する応答関数を構成するために必要なＲＯＭデータを２４ワードとする。
（４）応答関数の残りの４方向となる２２．５度、６７．５度、１１２．５度、１５７．５度の各想定角に関してはサイン関数並びにコサイン関数の周期性が見出せないことから、サイン関数とコサイン関数の周期性のある２７度、６３度、１１７度、１５３度の角度に近似した応答関数で代用することで、これらの方向に対する応答関数を構成するために必要なＲＯＭデータをそれぞれ３５ワードとする。
【００８８】
これらの必要最小限となるワード数のＲＯＭデータをそれぞれガウスＲＯＭ、０度及び９０度サインＲＯＭ、０度及び９０度コサインＲＯＭ、４５度及び１３５度サインＲＯＭ、４５度及び１３５度コサインＲＯＭ、２７度６３度１１７度１５３度サインＲＯＭ、２７度６３度１１７度１５３度コサインＲＯＭに格納する。そして、アドレス作成部において、制御信号発生部の窓Ｙカウンタ並びに窓Ｘカウンタから出力される窓Ｙ及び窓Ｘの制御信号を変換して、これらの各ＲＯＭのアドレスを作成することによって、ガウス関数から演算された値、並びに、サイン関数及びコサイン関数から演算された値を読み出すことができる。
【００８９】
ガウスＲＯＭ用アドレス作成部は、例えば図１７に示すアドレス変換テーブルを参照することによって、窓Ｙ及び窓Ｘの制御信号からガウスＲＯＭ上の該当アドレスを早見することができる。
【００９０】
また、０度及び９０度サインＲＯＭ用アドレス作成部は、例えば図１８Ａ及び図１８Ｂに示すアドレス変換テーブルを参照することによって、窓Ｙ及び窓Ｘの制御信号から、サイン関数により演算された０度及び９０度方向の応答関数の値を格納した０度及び９０度サインＲＯＭ上の該当アドレスをそれぞれ早見することができる。あるいは、０度及び９０度サインＲＯＭ用アドレス作成部は、次式に従って窓Ｙ及び窓Ｘの制御信号から０度及び９０度サインＲＯＭ上の該当アドレスに変換することができる。
【００９１】
【数８】
【００９２】
また、０度及び９０度コサインＲＯＭアドレス作成部は、例えば図１９Ａ及び図１９Ｂに示すアドレス変換テーブルを参照することによって、窓Ｙ及び窓Ｘの制御信号から、コサイン関数により演算された０度及び９０度方向の応答関数の値を格納した０度及び９０度コサインＲＯＭ上の該当アドレスをそれぞれ早見することができる。あるいは、０度及び９０度コサインＲＯＭ用アドレス作成部は、次式に従って窓Ｙ及び窓Ｘの制御信号から０度及び９０度コサインＲＯＭ上の該当アドレスに変換することができる。
【００９３】
【数９】
【００９４】
また、４５度及び１３５度サインＲＯＭアドレス作成部は、例えば図２０Ａ及び図２０Ｂに示すアドレス変換テーブルを参照することによって、窓Ｙ及び窓Ｘの制御信号から、サイン関数により演算された４５度及び１３５度方向の応答関数の値を格納した４５度及び１３５度サインＲＯＭ上の該当アドレスをそれぞれ早見することができる。あるいは、４５度及び１３５度サインＲＯＭ用アドレス作成部は、次式に従って窓Ｙ及び窓Ｘの制御信号から４５度及び１３５度サインＲＯＭ上の該当アドレスに変換することができる。
【００９５】
【数１０】
【００９６】
また、４５度及び１３５度コサインＲＯＭアドレス作成部は、例えば図２１Ａ及び図２１Ｂに示すアドレス変換テーブルを参照することによって、窓Ｙ及び窓Ｘの制御信号から、コサイン関数により演算された４５度及び１３５度方向の応答関数の値を格納した４５度及び１３５度コサインＲＯＭ上の該当アドレスをそれぞれ早見することができる。あるいは、４５度及び１３５度コサインＲＯＭ用アドレス作成部は、次式に従って窓Ｙ及び窓Ｘの制御信号から４５度及び１３５度コサインＲＯＭ上の該当アドレスに変換することができる。
【００９７】
【数１１】
【００９８】
また、２７度６３度１１７度１５３度サインＲＯＭアドレス作成部は、例えば図２２Ａ〜図２２Ｄに示すアドレス変換テーブルを参照することによって、窓Ｙ及び窓Ｘの制御信号から、サイン関数により演算された２７度、６３度、１１７度、１５３度の各方向の応答関数の値を格納した２７度６３度１１７度１５３度サインＲＯＭ上の該当アドレスをそれぞれ早見することができる。あるいは、２７度６３度１１７度１５３度サインＲＯＭ用アドレス作成部は、次式に従って窓Ｙ及び窓Ｘの制御信号から２７度６３度１１７度１５３度サインＲＯＭ上の該当アドレスに変換することができる。
【００９９】
【数１２】
【０１００】
また、２７度６３度１１７度１５３度コサインＲＯＭアドレス作成部は、例えば図２３Ａ〜図２３Ｄに示すアドレス変換テーブルを参照することによって、窓Ｙ及び窓Ｘの制御信号から、コサイン関数により演算された２７度、６３度、１１７度、１５３度の各方向の応答関数の値を格納した２７度６３度１１７度１５３度コサインＲＯＭ上の該当アドレスをそれぞれ早見することができる。あるいは、２７度６３度１１７度１５３度コサインＲＯＭ用アドレス作成部は、次式に従って窓Ｙ及び窓Ｘの制御信号から２７度６３度１１７度１５３度コサインＲＯＭ上の該当アドレスに変換することができる。
【０１０１】
【数１３】
【０１０２】
ここで、サイン関数により演算された値のアドレス割り当てとコサイン関数により演算された値のアドレス割り当てのＲＯＭのアドレスへの変換式は同じである。
【０１０３】
上述したように、８２箇所のすべての特徴量抽出位置において４０種類すべてのガボア・フィルタを適用する必要はなく、何種類のガボア・フィルタを適用するかは、特徴量抽出位置の場所｛ｄ0，ｄ1，…，ｄ81｝に依存し、場所に応じてガボア・フィルタの種類とその数（ガボア・ジェットの要素数）が異なる。このような操作を実現するために、ガボア・フィルタ適用部１４２内には、フィルタ種別ＳＲＡＭとセレクタが配設される。まず、入力画のすべての特徴量抽出位置｛ｄ0，ｄ1，…，ｄ81｝において、それぞれ適用されるフィルタの種類をフィルタ種別ＳＲＡＭに書き込む。すなわち、
【０１０４】
特徴量抽出位置０（ｐｏｓ０）では、ｐｏｓ００，ｐｏｓ０１，…，ｐｏｓ０２７，
特徴量抽出位置１（ｐｏｓ１）では、ｐｏｓ１０，ｐｏｓ１１，…，ｐｏｓ０１１，
【０１０５】
制御信号発生部から入力される特徴量抽出位置のアドレスに応じて、該当位置において適用されるフィルタの位置がフィルタ種別ＳＲＡＭから読み出される。そして、セレクタは、当該特徴量抽出位置において必要なフィルタ係数（サイン関数及びコサイン関数から演算された応答関数）を上述した各係数格納ＲＯＭから選択して、後段のフィルタ演算部に渡す。
【０１０６】
図６に示したガボア・フィルタ適用部１４２では、フィルタ演算部は４並列で構成されている。但し、並列数は４個に限定される訳ではなく、フィルタ適用数や処理速度、ハードウェア規模を考慮して決定される設計事項である。
【０１０７】
フィルタ演算部では、ＳＤＲＡＭ１５から画像ＳＲＡＭに取り込まれた処理対象画像（入力画）に対して、ガボア・フィルタを適用する。具体的には、特徴量抽出位置に応じてセレクタで選択されたサインＲＯＭ及びコサインＲＯＭから得られた値と、ガウスＲＯＭから得られた値を乗算して各ガウス・フィルタ係数を算出し、２４×２４の各ガウス・フィルタ係数と処理対象画像の２４×２４画素との畳み込み演算を行ない、それぞれの結果を合成する。本実施形態では、合成を絶対値和で近似している。合成の精度が必要な場合には、両者の２乗和のルート演算を行なう。
【０１０８】
なお、図６に示したガボア・フィルタ適用部１４２の構成では、フィルタ種別の選択肢が限定されてしまうという問題がある。何故ならば、サイン関数及びコサイン関数により演算して得た応答関数に関して、２７度と６３度と１１７度と１５３度（ある周波数に限定する）でＲＯＭデータを共有しているため、これらの演算をフィルタ演算の並列化を利用して同時実行することができないからである。したがって、この４種のフィルタしか適用しない場合は４並列化の中で３並列分のハードウェア資源が無駄になる。
【０１０９】
この問題を解決するために、図２４に示すように、それぞれの角度のＲＯＭデータを独立に割り当てた構成としてもよい。これにより、ＲＯＭデータの容量は大きくなるが、任意のフィルタ種類構成を最小の時間で処理可能に実現することができる。
【産業上の利用可能性】
【０１１０】
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【０１１１】
本明細書では、顔認識装置に適用した実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではない。ガボア・フィルタは、人間の視覚細胞にはある特定の方位に対して選択性を持つ細胞が存在するということに着眼し、方向選択性を持つ複数のフィルタで構成される空間フィルタであり、具体的には窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現される。ガボア・フィルタで画像を畳み込むことで、ガボア・フィルタと方向の一致する輪郭線だけを抽出することができる。本発明は、ガボア・フィルタを用いてパターン認識やその他のさまざまな画像処理を行なう装置に好適に適用することができる。
【０１１２】
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【図面の簡単な説明】
【０１１３】
【図１】図１は、本発明の一実施形態に係る顔認識システムの全体構成を模式的に示した図である。
【図２】図２は、顔認識器１４の構成例を示した図である。
【図３】図３は、検出された顔画像を、縮小、シフト、回転変換して顔認識に必要な顔画像に正規化する様子を示した図である。
【図４Ａ】図４Ａは、２４×２４画素固定で構成されるガウス関数からなるフィルタ窓を示した図である。
【図４Ｂ】図４Ｂは、サイン関数又はコサイン関数からなる応答関数を示した図である。
【図４Ｃ】図４Ｃは、図４Ｂに示した応答関数に図４Ａに示したフィルタ窓をかけて得られるガボア・フィルタを示した図である。
【図４Ｄ】図４Ｄは、２２．５度ずつずらした８方向の応答関数についてそれぞれフィルタ窓をかけて得られる８通りのガボア・フィルタを示した図である。
【図４Ｅ】図４Ｅは、５種類の周波数ｆの応答関数について、同様に８方向の角度θでフィルタ窓をかけて得られる４０種類のガボア・フィルタを示した図である。
【図５】図５は、正規化された６０×６６画素の顔画像に設けられた８２箇所の特徴量抽出位置を示した図である。
【図６】図６は、ガボア・フィルタ適用部１４２の構成例を示した図である。
【図７】図７は、制御信号発生部の内部構成を示した図である。
【図８】図８は、図７に示した制御信号発生部が出力する制御信号を示した図である。
【図９】図９は、フィルタ窓の構成を示した図である。
【図１０Ａ】図１０Ａは、ガウス関数により演算される２４×２４固定のフィルタ窓の位置ＸＹ毎の値を示した図である。
【図１０Ｂ】図１０Ｂは、ガウス関数により演算される２４×２４固定のフィルタ窓の位置ＸＹ毎の値を示した図である。
【図１１Ａ】図１１Ａは、サイン関数により演算された０度と９０度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示した図である。
【図１１Ｂ】図１１Ｂは、サイン関数により演算された０度と９０度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示した図である。
【図１２Ａ】図１２Ａは、コサイン関数により演算された０度と９０度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示した図である。
【図１２Ｂ】図１２Ｂは、コサイン関数により演算された０度と９０度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示した図である。
【図１３Ａ】図１３Ａは、サイン関数により演算された４５度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示した図である。
【図１３Ｂ】図１３Ｂは、サイン関数により演算された４５度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示した図である。
【図１３Ｃ】図１３Ｃは、サイン関数により演算された１３５度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示した図である。
【図１３Ｄ】図１３Ｄは、サイン関数により演算された１３５度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示した図である。
【図１４Ａ】図１４Ａは、コサイン関数により演算された４５度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示した図である。
【図１４Ｂ】図１４Ｂは、コサイン関数により演算された４５度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示した図である。
【図１４Ｃ】図１４Ｃは、コサイン関数により演算された１３５度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示した図である。
【図１４Ｄ】図１４Ｄは、コサイン関数により演算された１３５度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示した図である。
【図１５Ａ】図１５Ａは、サイン関数により演算された２７度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示した図である。
【図１５Ｂ】図１５Ｂは、サイン関数により演算された２７度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示した図である。
【図１６Ａ】図１６Ａは、コサイン関数により演算された２７度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示した図である。
【図１６Ｂ】図１６Ｂは、コサイン関数により演算された２７度の方向に対する応答関数の２４×２４の各窓位置ＸＹにおける値を示した図である。
【図１７】図１７は、窓Ｙ及び窓Ｘの制御信号からガウスＲＯＭのアドレスを早見するためのアドレス変換テーブルの構成例を示した図である。
【図１８Ａ】図１８Ａは、窓Ｙ及び窓Ｘの制御信号から、サイン関数により演算された０度方向の応答関数の値を格納した０度サイン及び９０度サインＲＯＭのアドレスを早見するためのアドレス変換テーブルの構成例を示した図である。
【図１８Ｂ】図１８Ｂは、窓Ｙ及び窓Ｘの制御信号から、サイン関数により演算された９０度方向の応答関数の値を格納した０度及び９０度サインＲＯＭのアドレスを早見するためのアドレス変換テーブルの構成例を示した図である。
【図１９Ａ】図１９Ａは、窓Ｙ及び窓Ｘの制御信号から、コサイン関数により演算された０度方向の応答関数の値を格納した０度及び９０度コサインＲＯＭのアドレスを早見するためのアドレス変換テーブルの構成例を示した図である。
【図１９Ｂ】図１９Ｂは、窓Ｙ及び窓Ｘの制御信号から、コサイン関数により演算された９０度方向の応答関数の値を格納した０度及び９０度コサインＲＯＭのアドレスを早見するためのアドレス変換テーブルの構成例を示した図である。
【図２０Ａ】図２０Ａは、窓Ｙ及び窓Ｘの制御信号から、サイン関数により演算された４５度方向の応答関数の値を格納した４５度及び１３５度サインＲＯＭのアドレスを早見するためのアドレス変換テーブルの構成例を示した図である。
【図２０Ｂ】図２０Ｂは、窓Ｙ及び窓Ｘの制御信号から、サイン関数により演算された１３５度方向の応答関数の値を格納した４５度及び１３５度サインＲＯＭのアドレスを早見するためのアドレス変換テーブルの構成例を示した図である。
【図２１Ａ】図２１Ａは、窓Ｙ及び窓Ｘの制御信号から、コサイン関数により演算された４５度方向の応答関数の値を格納した４５度及び１３５度コサインＲＯＭのアドレスを早見するためのアドレス変換テーブルの構成例を示した図である。
【図２１Ｂ】図２１Ｂは、窓Ｙ及び窓Ｘの制御信号から、コサイン関数により演算された１３５度方向の応答関数の値を格納した４５度及び１３５度コサインＲＯＭのアドレスを早見するためのアドレス変換テーブルの構成例を示した図である。
【図２２Ａ】図２２Ａは、窓Ｙ及び窓Ｘの制御信号から、サイン関数により演算された２７度方向の応答関数の値を格納した２７度６３度１１７度１５３度サインＲＯＭのアドレスを早見するためのアドレス変換テーブルの構成例を示した図である。
【図２２Ｂ】図２２Ｂは、窓Ｙ及び窓Ｘの制御信号から、サイン関数により演算された６３度方向の応答関数の値を格納した２７度６３度１１７度１５３度サインＲＯＭのアドレスを早見するためのアドレス変換テーブルの構成例を示した図である。
【図２２Ｃ】図２２Ｃは、窓Ｙ及び窓Ｘの制御信号から、サイン関数により演算された１１７度方向の応答関数の値を格納した２７度６３度１１７度１５３度サインＲＯＭのアドレスを早見するためのアドレス変換テーブルの構成例を示した図である。
【図２２Ｄ】図２２Ｄは、窓Ｙ及び窓Ｘの制御信号から、サイン関数により演算された１５３度方向の応答関数の値を格納した２７度６３度１１７度１５３度サインＲＯＭのアドレスを早見するためのアドレス変換テーブルの構成例を示した図である。
【図２３Ａ】図２３Ａは、窓Ｙ及び窓Ｘの制御信号から、コサイン関数により演算された２７度方向の応答関数の値を格納した２７度６３度１１７度１５３度コサインＲＯＭのアドレスを早見するためのアドレス変換テーブルの構成例を示した図である。
【図２３Ｂ】図２３Ｂは、窓Ｙ及び窓Ｘの制御信号から、コサイン関数により演算された６３度方向の応答関数の値を格納した２７度６３度１１７度１５３度コサインＲＯＭのアドレスを早見するためのアドレス変換テーブルの構成例を示した図である。
【図２３Ｃ】図２３Ｃは、窓Ｙ及び窓Ｘの制御信号から、コサイン関数により演算された１１７度方向の応答関数の値を格納した２７度６３度１１７度１５３度コサインＲＯＭのアドレスを早見するためのアドレス変換テーブルの構成例を示した図である。
【図２３Ｄ】図２３Ｄは、窓Ｙ及び窓Ｘの制御信号から、コサイン関数により演算された１５３度方向の応答関数の値を格納した２７度６３度１１７度１５３度コサインＲＯＭのアドレスを早見するためのアドレス変換テーブルの構成例を示した図である。
【図２４】図２４は、ガボア・フィルタ適用部１４２の変形例を示した図である。
【符号の説明】
【０１１４】
１…顔認識システム
１１…画縮小器
１２…顔検出器
１３…両目位置検出器
１４…顔認識器
１５…メモリ
１４１…顔画像入力部
１４２…ガボア・フィルタ適用部
１４３…類似度算出部
１４４…一致判定部
【特許請求の範囲】
【請求項１】
入力顔画像と登録顔画像の認識を行なう顔認識装置であって、
認識処理の対象となる顔画像を入力する顔画像入力手段と、
前記の入力画像の特徴量抽出位置毎に、窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現されるガボア・フィルタの応答関数の周波数と角度を切り替えながら、該ガボア・フィルタ係数と画素の畳み込み演算を行なって、フィルタの種類に応じた個数のスカラ値からなるガボア・ジェットを求めるガボア・フィルタ適用手段と、
特徴量抽出位置毎に、入力顔画像のガボア・ジェットと登録顔画像のガボア・ジェットの類似度を演算し、複数の特徴量抽出位置における類似度の集合からなる類似度ベクトルを求める類似度演算手段と、
該類似度ベクトルを基に入力顔画像と登録顔画像が一致するか否かを判定する一致判定手段を備え、
前記ガボア・フィルタ適用手段は、ガウス関数を演算して得られるフィルタ窓の値を格納するフィルタ窓ＲＯＭと、サイン関数を演算して得られる応答関数の値を格納するフィルタの角度毎のサインＲＯＭと、コサイン関数を演算して得られる応答関数の値を格納するフィルタの角度毎のコサインＲＯＭと、これらのＲＯＭから読み出されるガウス関数を演算して得られる値とサイン関数並びにコサイン関数を演算して得られる値を乗算してガボア・フィルタ係数を算出するガボア・フィルタ係数算出手段を備え、該ガボア・フィルタ係数算出手段によって算出されたガボア・フィルタ係数による前記の入力顔画像の畳み込み演算を行なう、
ことを特徴とする顔認識装置。
【請求項２】
前記フィルタ窓ＲＯＭ、前記のフィルタの角度毎のサインＲＯＭ及びコサインＲＯＭは、ガウス関数の特性、並びにサイン関数とコサイン関数の周期性に基づいて、冗長性のない最小限のＲＯＭデータを格納し、
特徴量抽出位置を前記フィルタ窓ＲＯＭ、フィルタの角度毎のサインＲＯＭ及びコサインＲＯＭ上のアドレスに変換するアドレス変換手段をさらに備え、
前記ガボア・フィルタ係数算出手段は、前記アドレス変換手段によって特徴量抽出位置から変換されたアドレスに従って、前記フィルタ窓ＲＯＭ、フィルタの角度毎のサインＲＯＭ及びコサインＲＯＭからフィルタ窓の値並びにフィルタの角度毎の応答関数の値を読み出し、これらを乗算して該当する特徴量抽出位置におけるガボア・フィルタ係数を求める、
ことを特徴とする請求項１に記載の顔認識装置。
【請求項３】
前記ガボア・フィルタ適用手段は、８方向の角度からなるガボア・フィルタを適用するために、
サイン関数により演算された０度と９０度の方向に対する応答関数の値を格納する０度及び９０度サインＲＯＭと、コサイン関数により演算された０度と９０度の方向に対する応答関数の値を格納する０度及び９０度コサインＲＯＭと、サイン関数により演算された４５度と１３５度の方向に対する応答関数の値を格納する４５度及び１３５度サインＲＯＭと、コサイン関数により演算された４５度と１３５度の方向に対する応答関数の値を格納する４５度及び１３５度コサインＲＯＭを備えるとともに、
０度と４５度、４５度と９０度、９０度と１３５度、１３５度と１８０度それぞれの中心角である２２．５度、６７．５度、１１２．５度、１５７．５度の各想定角を、サイン関数とコサイン関数の周期性を持つ近傍の２７度、６３度、１１７度、１５３度の角度に近似して、サイン関数により演算された２７度、６３度、１１７度、１５３度の方向に対する応答関数の値を格納する２７度６７度１１７度１５３度サインＲＯＭと、コサイン関数により演算された２７度、６３度、１１７度、１５３度の方向に対する応答関数の値を格納する２７度６７度１１７度１５３度コサインＲＯＭを備え、
前記の各ＲＯＭは、それぞれの角度のサイン関数又はコサイン関数から得られた値から重複を排除して、最小限のワード数からなるＲＯＭデータを格納する、
ことを特徴とする請求項２に記載の顔認識装置。
【請求項４】
各特徴量抽出位置において適用されるフィルタの種類を記録するフィルタ種別記録手段と、
特徴量抽出位置毎に前記フィルタ種別記録手段における記録内容に従って前記の各ＲＯＭから該当するフィルタ係数を構成するためのフィルタ窓の値及び応答関数の値を選択的に読み出して前記ガボア・フィルタ係数算出手段に渡す選択手段と、
をさらに備えることを特徴とする請求項２に記載の顔認識装置。
【請求項５】
入力顔画像と登録顔画像の認識を行なう顔認識方法であって、
認識処理の対象となる顔画像を入力する顔画像入力ステップと、
前記の入力画像の特徴量抽出位置毎に、窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現されるガボア・フィルタの応答関数の周波数と角度を切り替えながら、該ガボア・フィルタ係数と画素の畳み込み演算を行なって、フィルタの種類に応じた個数のスカラ値からなるガボア・ジェットを求めるガボア・フィルタ適用ステップと、
特徴量抽出位置毎に、入力顔画像のガボア・ジェットと登録顔画像のガボア・ジェットの類似度を演算し、複数の特徴量抽出位置における類似度の集合からなる類似度ベクトルを求める類似度演算ステップと、
該類似度ベクトルを基に入力顔画像と登録顔画像が一致するか否かを判定する一致判定ステップを備え、
前記ガボア・フィルタ適用ステップでは、ガウス関数を演算して得られるフィルタ窓の値を格納するフィルタ窓ＲＯＭと、サイン関数を演算して得られる応答関数の値を格納するフィルタの角度毎のサインＲＯＭと、コサイン関数を演算して得られる応答関数の値を格納するフィルタの角度毎のコサインＲＯＭを用い、これらのＲＯＭから読み出されるガウス関数を演算して得られる値とサイン関数並びにコサイン関数を演算して得られる値を乗算してガボア・フィルタ係数を算出するガボア・フィルタ係数算出ステップを備え、該算出されたガボア・フィルタ係数による前記の入力顔画像の畳み込み演算を行なう、
ことを特徴とする顔認識方法。
【請求項６】
窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現されるガボア・フィルタの応答関数の周波数と角度を切り替えながら、該ガボア・フィルタ係数と空間データとの畳み込み演算を行なって、フィルタの種類に応じた個数のスカラ値からなるガボア・ジェットを求めるガボア・フィルタ適用装置であって、
ガウス関数を演算して得られるフィルタ窓の値を格納するフィルタ窓ＲＯＭと、
サイン関数を演算して得られる応答関数の値を格納するフィルタの角度毎のサインＲＯＭと、
コサイン関数を演算して得られる応答関数の値を格納するフィルタの角度毎のコサインＲＯＭと、
前記の各ＲＯＭから読み出される、ガウス関数を演算して得られる値とサイン関数並びにコサイン関数を演算して得られる値とを乗算して、ガボア・フィルタ係数を算出するガボア・フィルタ係数算出手段と、
該ガボア・フィルタ係数算出手段によって算出されたガボア・フィルタ係数によって畳み込み演算を行なう畳み込み演算手段と、
を具備することを特徴とするガボア・フィルタ適用装置。
【請求項７】
前記フィルタ窓ＲＯＭ、前記のフィルタの角度毎のサインＲＯＭ及びコサインＲＯＭは、ガウス関数の特性、並びにサイン関数とコサイン関数の周期性に基づいて、冗長性のない最小限のＲＯＭデータを格納し、
空間データの処理対象となる特徴量抽出位置を前記フィルタ窓ＲＯＭ、フィルタの角度毎のサインＲＯＭ及びコサインＲＯＭ上のアドレスに変換するアドレス変換手段をさらに備え、
前記ガボア・フィルタ係数算出手段は、前記アドレス変換手段によって特徴量抽出位置から変換されたアドレスに従って、前記フィルタ窓ＲＯＭ、フィルタの角度毎のサインＲＯＭ及びコサインＲＯＭからフィルタ窓の値並びにフィルタの角度毎の応答関数の値を読み出し、これらを乗算して該当する特徴量抽出位置におけるガボア・フィルタ係数を求める、
ことを特徴とする請求項６に記載のガボア・フィルタ適用装置。
【請求項８】
サイン関数により演算された０度と９０度の方向に対する応答関数の値を格納する０度及び９０度サインＲＯＭと、コサイン関数により演算された０度と９０度の方向に対する応答関数の値を格納する０度及び９０度コサインＲＯＭと、サイン関数により演算された４５度と１３５度の方向に対する応答関数の値を格納する４５度及び１３５度サインＲＯＭと、コサイン関数により演算された４５度と１３５度の方向に対する応答関数の値を格納する４５度及び１３５度コサインＲＯＭを備えるとともに、
０度と４５度、４５度と９０度、９０度と１３５度、１３５度と１８０度それぞれの中心角である２２．５度、６７．５度、１１２．５度、１５７．５度の各想定角を、サイン関数とコサイン関数の周期性を持つ近傍の２７度、６３度、１１７度、１５３度の角度に近似して、サイン関数により演算された２７度、６３度、１１７度、１５３度の方向に対する応答関数の値を格納する２７度６７度１１７度１５３度サインＲＯＭと、コサイン関数により演算された２７度、６３度、１１７度、１５３度の方向に対する応答関数の値を格納する２７度６７度１１７度１５３度コサインＲＯＭを備え、
前記の各ＲＯＭは、それぞれの角度のサイン関数又はコサイン関数から得られた値から重複を排除して、最小限のワード数からなるＲＯＭデータを格納する、
ことを特徴とする請求項７に記載のガボア・フィルタ適用装置。
【請求項９】
各特徴量抽出位置において適用されるフィルタの種類を記録するフィルタ種別記録手段と、
特徴量抽出位置毎に前記フィルタ種別記録手段における記録内容に従って前記の各ＲＯＭから該当するフィルタ係数を構成するためのフィルタ窓の値及び応答関数の値を選択的に読み出して前記ガボア・フィルタ係数算出手段に渡す選択手段と、
をさらに備えることを特徴とする請求項７に記載のガボア・フィルタ適用装置。
【請求項１０】
入力顔画像と登録顔画像の認識を行なうための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータに対し、
認識処理の対象となる顔画像を入力する顔画像入力手順と、
前記の入力画像の特徴量抽出位置毎に、窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現されるガボア・フィルタの応答関数の周波数と角度を切り替えながら、該ガボア・フィルタ係数と画素の畳み込み演算を行なって、フィルタの種類に応じた個数のスカラ値からなるガボア・ジェットを求めるガボア・フィルタ適用手順と、
特徴量抽出位置毎に、入力顔画像のガボア・ジェットと登録顔画像のガボア・ジェットの類似度を演算し、複数の特徴量抽出位置における類似度の集合からなる類似度ベクトルを求める類似度演算手順と、
該類似度ベクトルを基に入力顔画像と登録顔画像が一致するか否かを判定する一致判定手順を実行させ、
前記ガボア・フィルタ適用手順では、ガウス関数を演算して得られるフィルタ窓の値を格納するフィルタ窓ＲＯＭと、サイン関数を演算して得られる応答関数の値を格納するフィルタの角度毎のサインＲＯＭと、コサイン関数を演算して得られる応答関数の値を格納するフィルタの角度毎のコサインＲＯＭを用い、これらのＲＯＭから読み出されるガウス関数を演算して得られる値とサイン関数並びにコサイン関数を演算して得られる値を乗算してガボア・フィルタ係数を算出するガボア・フィルタ係数算出手順を実行して、該算出されたガボア・フィルタ係数による前記の入力顔画像の畳み込み演算を行なう、
ことを特徴とするコンピュータ・プログラム。
【請求項１】
入力顔画像と登録顔画像の認識を行なう顔認識装置であって、
認識処理の対象となる顔画像を入力する顔画像入力手段と、
前記の入力画像の特徴量抽出位置毎に、窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現されるガボア・フィルタの応答関数の周波数と角度を切り替えながら、該ガボア・フィルタ係数と画素の畳み込み演算を行なって、フィルタの種類に応じた個数のスカラ値からなるガボア・ジェットを求めるガボア・フィルタ適用手段と、
特徴量抽出位置毎に、入力顔画像のガボア・ジェットと登録顔画像のガボア・ジェットの類似度を演算し、複数の特徴量抽出位置における類似度の集合からなる類似度ベクトルを求める類似度演算手段と、
該類似度ベクトルを基に入力顔画像と登録顔画像が一致するか否かを判定する一致判定手段を備え、
前記ガボア・フィルタ適用手段は、ガウス関数を演算して得られるフィルタ窓の値を格納するフィルタ窓ＲＯＭと、サイン関数を演算して得られる応答関数の値を格納するフィルタの角度毎のサインＲＯＭと、コサイン関数を演算して得られる応答関数の値を格納するフィルタの角度毎のコサインＲＯＭと、これらのＲＯＭから読み出されるガウス関数を演算して得られる値とサイン関数並びにコサイン関数を演算して得られる値を乗算してガボア・フィルタ係数を算出するガボア・フィルタ係数算出手段を備え、該ガボア・フィルタ係数算出手段によって算出されたガボア・フィルタ係数による前記の入力顔画像の畳み込み演算を行なう、
ことを特徴とする顔認識装置。
【請求項２】
前記フィルタ窓ＲＯＭ、前記のフィルタの角度毎のサインＲＯＭ及びコサインＲＯＭは、ガウス関数の特性、並びにサイン関数とコサイン関数の周期性に基づいて、冗長性のない最小限のＲＯＭデータを格納し、
特徴量抽出位置を前記フィルタ窓ＲＯＭ、フィルタの角度毎のサインＲＯＭ及びコサインＲＯＭ上のアドレスに変換するアドレス変換手段をさらに備え、
前記ガボア・フィルタ係数算出手段は、前記アドレス変換手段によって特徴量抽出位置から変換されたアドレスに従って、前記フィルタ窓ＲＯＭ、フィルタの角度毎のサインＲＯＭ及びコサインＲＯＭからフィルタ窓の値並びにフィルタの角度毎の応答関数の値を読み出し、これらを乗算して該当する特徴量抽出位置におけるガボア・フィルタ係数を求める、
ことを特徴とする請求項１に記載の顔認識装置。
【請求項３】
前記ガボア・フィルタ適用手段は、８方向の角度からなるガボア・フィルタを適用するために、
サイン関数により演算された０度と９０度の方向に対する応答関数の値を格納する０度及び９０度サインＲＯＭと、コサイン関数により演算された０度と９０度の方向に対する応答関数の値を格納する０度及び９０度コサインＲＯＭと、サイン関数により演算された４５度と１３５度の方向に対する応答関数の値を格納する４５度及び１３５度サインＲＯＭと、コサイン関数により演算された４５度と１３５度の方向に対する応答関数の値を格納する４５度及び１３５度コサインＲＯＭを備えるとともに、
０度と４５度、４５度と９０度、９０度と１３５度、１３５度と１８０度それぞれの中心角である２２．５度、６７．５度、１１２．５度、１５７．５度の各想定角を、サイン関数とコサイン関数の周期性を持つ近傍の２７度、６３度、１１７度、１５３度の角度に近似して、サイン関数により演算された２７度、６３度、１１７度、１５３度の方向に対する応答関数の値を格納する２７度６７度１１７度１５３度サインＲＯＭと、コサイン関数により演算された２７度、６３度、１１７度、１５３度の方向に対する応答関数の値を格納する２７度６７度１１７度１５３度コサインＲＯＭを備え、
前記の各ＲＯＭは、それぞれの角度のサイン関数又はコサイン関数から得られた値から重複を排除して、最小限のワード数からなるＲＯＭデータを格納する、
ことを特徴とする請求項２に記載の顔認識装置。
【請求項４】
各特徴量抽出位置において適用されるフィルタの種類を記録するフィルタ種別記録手段と、
特徴量抽出位置毎に前記フィルタ種別記録手段における記録内容に従って前記の各ＲＯＭから該当するフィルタ係数を構成するためのフィルタ窓の値及び応答関数の値を選択的に読み出して前記ガボア・フィルタ係数算出手段に渡す選択手段と、
をさらに備えることを特徴とする請求項２に記載の顔認識装置。
【請求項５】
入力顔画像と登録顔画像の認識を行なう顔認識方法であって、
認識処理の対象となる顔画像を入力する顔画像入力ステップと、
前記の入力画像の特徴量抽出位置毎に、窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現されるガボア・フィルタの応答関数の周波数と角度を切り替えながら、該ガボア・フィルタ係数と画素の畳み込み演算を行なって、フィルタの種類に応じた個数のスカラ値からなるガボア・ジェットを求めるガボア・フィルタ適用ステップと、
特徴量抽出位置毎に、入力顔画像のガボア・ジェットと登録顔画像のガボア・ジェットの類似度を演算し、複数の特徴量抽出位置における類似度の集合からなる類似度ベクトルを求める類似度演算ステップと、
該類似度ベクトルを基に入力顔画像と登録顔画像が一致するか否かを判定する一致判定ステップを備え、
前記ガボア・フィルタ適用ステップでは、ガウス関数を演算して得られるフィルタ窓の値を格納するフィルタ窓ＲＯＭと、サイン関数を演算して得られる応答関数の値を格納するフィルタの角度毎のサインＲＯＭと、コサイン関数を演算して得られる応答関数の値を格納するフィルタの角度毎のコサインＲＯＭを用い、これらのＲＯＭから読み出されるガウス関数を演算して得られる値とサイン関数並びにコサイン関数を演算して得られる値を乗算してガボア・フィルタ係数を算出するガボア・フィルタ係数算出ステップを備え、該算出されたガボア・フィルタ係数による前記の入力顔画像の畳み込み演算を行なう、
ことを特徴とする顔認識方法。
【請求項６】
窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現されるガボア・フィルタの応答関数の周波数と角度を切り替えながら、該ガボア・フィルタ係数と空間データとの畳み込み演算を行なって、フィルタの種類に応じた個数のスカラ値からなるガボア・ジェットを求めるガボア・フィルタ適用装置であって、
ガウス関数を演算して得られるフィルタ窓の値を格納するフィルタ窓ＲＯＭと、
サイン関数を演算して得られる応答関数の値を格納するフィルタの角度毎のサインＲＯＭと、
コサイン関数を演算して得られる応答関数の値を格納するフィルタの角度毎のコサインＲＯＭと、
前記の各ＲＯＭから読み出される、ガウス関数を演算して得られる値とサイン関数並びにコサイン関数を演算して得られる値とを乗算して、ガボア・フィルタ係数を算出するガボア・フィルタ係数算出手段と、
該ガボア・フィルタ係数算出手段によって算出されたガボア・フィルタ係数によって畳み込み演算を行なう畳み込み演算手段と、
を具備することを特徴とするガボア・フィルタ適用装置。
【請求項７】
前記フィルタ窓ＲＯＭ、前記のフィルタの角度毎のサインＲＯＭ及びコサインＲＯＭは、ガウス関数の特性、並びにサイン関数とコサイン関数の周期性に基づいて、冗長性のない最小限のＲＯＭデータを格納し、
空間データの処理対象となる特徴量抽出位置を前記フィルタ窓ＲＯＭ、フィルタの角度毎のサインＲＯＭ及びコサインＲＯＭ上のアドレスに変換するアドレス変換手段をさらに備え、
前記ガボア・フィルタ係数算出手段は、前記アドレス変換手段によって特徴量抽出位置から変換されたアドレスに従って、前記フィルタ窓ＲＯＭ、フィルタの角度毎のサインＲＯＭ及びコサインＲＯＭからフィルタ窓の値並びにフィルタの角度毎の応答関数の値を読み出し、これらを乗算して該当する特徴量抽出位置におけるガボア・フィルタ係数を求める、
ことを特徴とする請求項６に記載のガボア・フィルタ適用装置。
【請求項８】
サイン関数により演算された０度と９０度の方向に対する応答関数の値を格納する０度及び９０度サインＲＯＭと、コサイン関数により演算された０度と９０度の方向に対する応答関数の値を格納する０度及び９０度コサインＲＯＭと、サイン関数により演算された４５度と１３５度の方向に対する応答関数の値を格納する４５度及び１３５度サインＲＯＭと、コサイン関数により演算された４５度と１３５度の方向に対する応答関数の値を格納する４５度及び１３５度コサインＲＯＭを備えるとともに、
０度と４５度、４５度と９０度、９０度と１３５度、１３５度と１８０度それぞれの中心角である２２．５度、６７．５度、１１２．５度、１５７．５度の各想定角を、サイン関数とコサイン関数の周期性を持つ近傍の２７度、６３度、１１７度、１５３度の角度に近似して、サイン関数により演算された２７度、６３度、１１７度、１５３度の方向に対する応答関数の値を格納する２７度６７度１１７度１５３度サインＲＯＭと、コサイン関数により演算された２７度、６３度、１１７度、１５３度の方向に対する応答関数の値を格納する２７度６７度１１７度１５３度コサインＲＯＭを備え、
前記の各ＲＯＭは、それぞれの角度のサイン関数又はコサイン関数から得られた値から重複を排除して、最小限のワード数からなるＲＯＭデータを格納する、
ことを特徴とする請求項７に記載のガボア・フィルタ適用装置。
【請求項９】
各特徴量抽出位置において適用されるフィルタの種類を記録するフィルタ種別記録手段と、
特徴量抽出位置毎に前記フィルタ種別記録手段における記録内容に従って前記の各ＲＯＭから該当するフィルタ係数を構成するためのフィルタ窓の値及び応答関数の値を選択的に読み出して前記ガボア・フィルタ係数算出手段に渡す選択手段と、
をさらに備えることを特徴とする請求項７に記載のガボア・フィルタ適用装置。
【請求項１０】
入力顔画像と登録顔画像の認識を行なうための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータに対し、
認識処理の対象となる顔画像を入力する顔画像入力手順と、
前記の入力画像の特徴量抽出位置毎に、窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現されるガボア・フィルタの応答関数の周波数と角度を切り替えながら、該ガボア・フィルタ係数と画素の畳み込み演算を行なって、フィルタの種類に応じた個数のスカラ値からなるガボア・ジェットを求めるガボア・フィルタ適用手順と、
特徴量抽出位置毎に、入力顔画像のガボア・ジェットと登録顔画像のガボア・ジェットの類似度を演算し、複数の特徴量抽出位置における類似度の集合からなる類似度ベクトルを求める類似度演算手順と、
該類似度ベクトルを基に入力顔画像と登録顔画像が一致するか否かを判定する一致判定手順を実行させ、
前記ガボア・フィルタ適用手順では、ガウス関数を演算して得られるフィルタ窓の値を格納するフィルタ窓ＲＯＭと、サイン関数を演算して得られる応答関数の値を格納するフィルタの角度毎のサインＲＯＭと、コサイン関数を演算して得られる応答関数の値を格納するフィルタの角度毎のコサインＲＯＭを用い、これらのＲＯＭから読み出されるガウス関数を演算して得られる値とサイン関数並びにコサイン関数を演算して得られる値を乗算してガボア・フィルタ係数を算出するガボア・フィルタ係数算出手順を実行して、該算出されたガボア・フィルタ係数による前記の入力顔画像の畳み込み演算を行なう、
ことを特徴とするコンピュータ・プログラム。
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１１Ａ】
【図１１Ｂ】
【図１２Ａ】
【図１２Ｂ】
【図１３Ａ】
【図１３Ｂ】
【図１３Ｃ】
【図１３Ｄ】
【図１４Ａ】
【図１４Ｂ】
【図１４Ｃ】
【図１４Ｄ】
【図１５Ａ】
【図１５Ｂ】
【図１６Ａ】
【図１６Ｂ】
【図１７】
【図１８Ａ】
【図１８Ｂ】
【図１９Ａ】
【図１９Ｂ】
【図２０Ａ】
【図２０Ｂ】
【図２１Ａ】
【図２１Ｂ】
【図２２Ａ】
【図２２Ｂ】
【図２２Ｃ】
【図２２Ｄ】
【図２３Ａ】
【図２３Ｂ】
【図２３Ｃ】
【図２３Ｄ】
【図２４】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図４Ｄ】
【図４Ｅ】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１１Ａ】
【図１１Ｂ】
【図１２Ａ】
【図１２Ｂ】
【図１３Ａ】
【図１３Ｂ】
【図１３Ｃ】
【図１３Ｄ】
【図１４Ａ】
【図１４Ｂ】
【図１４Ｃ】
【図１４Ｄ】
【図１５Ａ】
【図１５Ｂ】
【図１６Ａ】
【図１６Ｂ】
【図１７】
【図１８Ａ】
【図１８Ｂ】
【図１９Ａ】
【図１９Ｂ】
【図２０Ａ】
【図２０Ｂ】
【図２１Ａ】
【図２１Ｂ】
【図２２Ａ】
【図２２Ｂ】
【図２２Ｃ】
【図２２Ｄ】
【図２３Ａ】
【図２３Ｂ】
【図２３Ｃ】
【図２３Ｄ】
【図２４】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図４Ｄ】
【図４Ｅ】
【公開番号】特開２００８−１５２５３０（Ｐ２００８−１５２５３０Ａ）
【公開日】平成２０年７月３日（２００８．７．３）
【国際特許分類】
【出願番号】特願２００６−３３９７４８（Ｐ２００６−３３９７４８）
【出願日】平成１８年１２月１８日（２００６．１２．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２０年７月３日（２００８．７．３）
【国際特許分類】
【出願日】平成１８年１２月１８日（２００６．１２．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]