パターン特徴抽出方法及びその装置
【課題】本発明は、入力のパターン特徴ベクトルから、判別に有効な特徴ベクトルを抽出
し、特徴次元を圧縮する際に、判別に有効な特徴量の削減を抑制し、より効率の良い特徴
抽出を行うための特徴ベクトルの変換技術を提供することにある。
【解決手段】入力のパターンの特徴量をその要素のベクトルに分解し、それぞれの特徴
ベクトルについて各々判別分析によって得られる判別行列を予め用意し、その判別行列に
よって規定される判別空間に各特徴ベクトルを射影して次元を圧縮した後に、得られた特
徴ベクトルを合わせて、再度判別行列によって再度射影 することによって、特徴ベクト
ルを算出する。
し、特徴次元を圧縮する際に、判別に有効な特徴量の削減を抑制し、より効率の良い特徴
抽出を行うための特徴ベクトルの変換技術を提供することにある。
【解決手段】入力のパターンの特徴量をその要素のベクトルに分解し、それぞれの特徴
ベクトルについて各々判別分析によって得られる判別行列を予め用意し、その判別行列に
よって規定される判別空間に各特徴ベクトルを射影して次元を圧縮した後に、得られた特
徴ベクトルを合わせて、再度判別行列によって再度射影 することによって、特徴ベクト
ルを算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パターン認識の分野における画像特徴抽出方法および画像特徴抽出装置、な
らびにそのプログラムに関し、入力特徴ベクトルから、認識に有効な特徴ベクトルを抽出
し、特徴次元を圧縮するための特徴ベクトルの変換技術に関する。
【背景技術】
【０００２】
従来より、パターン認識の分野では、入力されたパターンから特徴ベクトルを抽出し、
その特徴ベクトルから識別に有効な特徴ベクトルを抽出し、各々のパターンから得られた
特徴ベクトルを比較することによって、例えば、文字や人物の顔などのパターンの類似度
を判定することが行われている。
【０００３】
例えば、顔認識の場合では、目の位置等によって正規化された顔画像の画素値をラスタ
ー走査することで、一次元特徴ベクトルに変換し、この特徴ベクトルを入力特徴ベクトル
として用い、主成分分析（非特許文献１：Ｍｏｇｈａｄｄａｍ他， ”Ｐｒｏｂａｂｉｌ
ｉｓｔｉｃ Ｖｉｓｕａｌ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉ
ｏｎ”， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎＰａｔｔｅｒｎ Ａｎａｌｙｓｉ
ｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ． １７， Ｎｏ．
７， ｐｐ．６９６−７１０， １９９７）や特徴ベクトルの主成分に対して線形判別
分析（非特許文献２：Ｗ． Ｚｈａｏ他， ”Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓ
ｉｓ ｏｆ Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔｓ ｆｏｒ Ｆａｃｅ Ｒｅｃｏ
ｇｎｉｔｉｏｎ，” Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｔｈｉｒｄ
Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｕｔｏｍａｔｉｃ Ｆａ
ｃｅ ａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ， ｐｐ． ３３６−３４１，
１９９８）を行うことで次元を削減し、得られた特徴ベクトルを用いて、顔による個人
の同定等を行う。
【０００４】
これらの方法では、予め用意した学習サンプルに対して、共分散行列やク ラス内共分
散行列・クラス間共分散行列を計算し、それらの共分散行列における固有値問題の解とし
て得られる基底ベクトルを求め、これらの基底ベクトルを用いて、入力特徴ベクトルの特
徴を変換する。
【０００５】
ここで、線形判別分析についてより詳しく説明する。
線形判別分析は、Ｎ次元特徴ベクトルｘがあるときに、この特徴ベクトルをある変換行
列Ｗによって変換したときに得られるＭ次元ベクトルｙ（＝ＷＴｘ）のクラス内共分散行
列 ＳＷに対するクラス間共分散行列ＳＢの比を最大化するような変換行列Ｗを求める方
法である。このような分散比の評価関数として、行列式を用いて評価式の（数１）が定
義される。
【０００６】
【数１】
【０００７】
ここで、クラス内共分散行列ΣＷおよびクラス間共分散行列ΣＢは、学習サンプルにお
ける特徴ベクトルｘの集合におけるＣ個のクラスωｉ（ｉ＝１，２，．．．，Ｃ；それら
のデータ数ｎｉ）のそれぞれの内部における共分散行列Σｉとクラスの間の共分散行列で
あり、それぞれ（数２）および（数３）によって表される。
【０００８】
【数２】
【０００９】
【数３】
【００１０】
ここで、ｍｉはクラスωｉの平均ベクトル（数４）、ｍはパターン全体におけるｘの平
均ベクトルである（数５）。
【００１１】
【数４】
【００１２】
【数５】
【００１３】
各クラスωｉの事前確率Ｐ（ωｉ）が、予めサンプル数ｎｉを反映しているならば、Ｐ
（ω ｉ）＝ｎｉ／ｎを仮定すれ ばよい。そうでなく等確率を仮定できるならば、Ｐ（
ωｉ）＝１／Ｃとすればよい。
【００１４】
（数１）を最大にする変換行列Ｗは、列ベクトルｗｉの固有値問題である（数６）のＭ
個の大きい固有値に対応する一般化された固有ベクトルのセットとして求められる。この
ようにして求められた変換行列Ｗを判別行列と呼ぶ。
【００１５】
【数６】
【００１６】
なお従来の線形判別分析法については、例えば、非特許文献５：「パターン識別」 （
Ｒｉｃｈａｒｄ Ｏ． Ｄｕｄａ他、尾上守夫監訳、新技術コミュニケーションズ，２０
０１年， ｐｐ．１１３−１２２）に記載されている。
【００１７】
入力特徴ベクトルｘの次元数が特に大きい場合、少ない学習データを用いた場合にはΣ
Ｗが正則ではなくなり、（数６）の固有値問題を通常の方法では解くことができなくなる
。
【００１８】
また、特許文献１：特開平７−２９６１６９号公報でも述べられているように、共分散
行列の固有値が小さい高次成分は、パラメータの推定誤差が大きいことが知られており、
これが認識精度に悪影響を与える。
【００１９】
このため、前述のＷ． Ｚｈａｏらの論文では入力特徴ベクトルの主成分分析を行い、
固有値が大きな主成分に対して、判別分析を適用している。つまり、図２に示すように、
主成分分析によって得られる基底行列を用いて入力特徴ベクトルを射影することで主成分
を抽出した後に、判別分析によって得られる判別行列を基底行列として、主成分を射影す
ることで、識別に有効な特徴ベクトルの抽出を行う。
【００２０】
また、特許文献１：特開平７−２９６１６９号公報に記載されている特徴変換行列の演
算方式では、 全共分散行列ΣＴの高次の固有値及び対応する固有ベクトルを削除等する
ことによって、次元数を削減し、削減された特徴空間において、判別分析を適用している
。これも全共分散行列の高次の固有値及び対応する固有ベクトルを削除することが主成分
分析によって、固有値が大きな主成分のみの空間で判別分析を行うという意味では、Ｗ．
Ｚｈａｏの方法と同様に 高次特徴を除去し、安定なパラメータ推定を行う効果をもた
らす。
【先行技術文献】
【特許文献】
【００２１】
【特許文献１】特開平７−２９６１６９号公報
【非特許文献】
【００２２】
【非特許文献１】Ｍｏｇｈａｄｄａｍ他， ”Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｖｉｓｕａｌ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ． １７， Ｎｏ． ７， ｐｐ．６９６−７１０， １９９７）
【００２３】
【非特許文献２】Ｗ． Ｚｈａｏ他，”Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ ｏｆ Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔｓ ｆｏｒ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ，” Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｔｈｉｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｕｔｏｍａｔｉｃ Ｆａｃｅ ａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ， ｐｐ． ３３６−３４１， １９９８）
【００２４】
【非特許文献３】Ｋｅｒｎｅｌ−ｂａｓｅｄ Ｏｐｔｉｍｉｚｅｄ Ｆｅａｔｕｒｅ Ｖｅｃｔｏｒｓ Ｓｅｌｅｃｔｉｏｎ ａｎｄ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ ｆｏｒ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ，”Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ＩＡＰＲ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＩＣＰＲ）， Ｖｏｌ．ＩＩ， ｐｐ． ３６２−３６５， ２００２
【００２５】
【非特許文献４】Ｇｅｎｅｒａｌｉｚｅｄ Ｄｉｓｃｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ Ｕｓｉｎｇ ａ Ｋｅｒｎｅｌ Ａｐｐｒｏａｃｈ，”Ｎｕｅｕｒａｌ Ｃｏｍｐｕｔａｔｉｏｎ， Ｖｏｌ．１２， ｐｐ２３８５−２４０４， ２０００
【００２６】
【非特許文献５】「パターン識別」 （Ｒｉｃｈａｒｄ Ｏ． Ｄｕｄａ他、尾上守夫監訳、新技術コミュニケーションズ，２００１年， ｐｐ．１１３−１２２）
【発明の概要】
【発明が解決しようとする課題】
【００２７】
しかしながら、全共分散行列ΣＴを用いた主成分分析は、特徴空間内での分散が大きい
軸方向に順番に直交する軸を選択しているに過ぎず、パターン識別の性能とは無関係に特
徴軸の選択が行われる。このために、パターン識別に有効な特徴軸が失われる。
【００２８】
例えば、特徴ベクトルｘが３つの要素からなっており（ｘ＝ （ｘ１，ｘ２，ｘ３）Ｔ
）、ｘ１やｘ２の分散は大きいが、パターン識別には無関係な特徴であり、ｘ３ はパタ
ーン識別には有効だが、分散が小さい場合（クラス間分散／クラス内分散、つまりフィッ
シャ比が大きいが、それぞれの分散の値自体はｘ１やｘ２に比較して十分に小さい場合）
に主成分分析を行ない、２次元だけを選択すると、ｘ１やｘ２に関わる特徴空間が選択さ
れてしまい、識別に有効なｘ３の寄与は無視されてしまう。
【００２９】
この現象を図を用いて説明すれば、図３の（ａ）が ｘ１とｘ２が張る平面におおよそ
垂直な方向から見たデータの分布で、黒丸と白丸がクラスの違うデータ点を表していると
する。ｘ１と ｘ２が張る空間（この図では、平面）で見た場合、黒丸と白丸を識別でき
ないが、図３（ｂ）のようにこの平面と直交するｘ３の特徴軸で見ると、黒丸の白丸は分
離すること ができる。しかし、分散の大きい軸を選択してしまうと、ｘ１とｘ２で張る
平面が 特徴空間として選ばれ図３の（ａ）を見て判別を行おうとすることに等しく、判
別を行うことが困難となる。
【００３０】
これは、従来の技術で、主成分分析や（全）共分散行列の固有値の小さい空間を削除す
るという技術では避けられない現象である。
【００３１】
本発明は、前述のような従来技術の問題点に鑑み、入力のパターン特徴ベクトルから、
判別に有効な特徴ベクトルを抽出し、特徴次元を圧縮する際に、判別に有効な特徴量の削
減を抑制し、より効率の良い特徴抽出を行うための特徴ベクトルの変換技術を提供するこ
とにある。
【課題を解決するための手段】
【００３２】
本発明によれば、パターン特徴を線形変換を用いて特徴次元を圧縮するパターン特徴抽
出方法において、パターン特徴を複数の特徴ベクトルｘｉで表現し、それぞれの特徴ベク
トルｘｉに対して、線形判別分析により求められる各特徴ベクトルの判別行列Ｗｉを予め
求め、さらにそれらの判別行列を用いてベクトルｘｉを線形変換することによって得られ
る各ベクトルｙｉを合わせた特徴ベクトルｙについて、線形判別分析により判別行列ＷＴ
を予め求めておき、前記の判別行列Ｗｉおよび判別行列ＷＴによって特定される線形変換
によって、パターンの特徴ベクトルを変換することで、特徴次元を圧縮することを特徴と
する。
【００３３】
前記のパターン特徴抽出方法において、パターン特徴を複数の特徴ベクトルｘｉに分割
し、それぞれの特徴ベクトルｘｉについて、判別行列Ｗｉを用いて、線形変換ｙｉ＝Ｗｉ
Ｔｘｉを行い特徴ベクトルｙｉを算出し、算出された特徴ベクトルｙｉを合わせたベクト
ルｙについて、判別行列ＷＴを用いて、線形変換ｚ＝ＷＴＴｙを計算し、特徴ベクトルｚ
を算出することで、パターン特徴の次元数を圧縮することを特徴とする。
【００３４】
また、前記のパターン特徴抽出方法において、それぞれの判別行列ＷｉおよびＷ Ｔに
よって特定される行列Ｗを予め計算しておき、前記行列Ｗを用いて、入力特徴ベクトルｘ
ｉを合わせた特徴ベクトルｘと行列Ｗの線形変換ｚ＝ＷＴｘを計算し、特徴ベクトルｚを
算出することで、パターン特徴の次元数を圧縮してもよい。
【００３５】
この発明を画像に対して適用する場合には、画像から特徴量を抽出し、得られた特徴を
線形変換を用いて特徴次元を圧縮することで画像特徴を抽出することを特徴とする画像特
徴抽出方法において、画像中の予め定めた複数のサンプル点集合Ｓｉについて、複数のサ
ンプル点から得られる画素値からなる特徴ベクトルｘｉとして抽出し、それぞれの特徴ベ
クトルｘｉに対して、線形 判別分析により求められる各特徴ベクトルの判別行列Ｗｉを
予め求め、さらにそれらの判別行列を用いて ベクトルｘｉを線形変換することによって
得られる各ベクトルｙｉを合わせた特徴ベクトルｙについて、線形判別分析により判別行
列ＷＴを予め求めておき、前記判別行列Ｗｉおよび前記判別行列ＷＴによって特定される
線形変換によって、画像サンプル集合毎の特徴ベクトルを変換することで、画像から特徴
量を抽出することを特徴とする。
【００３６】
その一つの方法として、複数のサンプル点からなる複数の特徴ベクトルｘｉについて、
判別行列Ｗｉを用いて、線形変換ｙｉ＝ＷｉＴｘｉを行い特徴ベクトルｙｉを算出し、算
出された特徴ベクトルｙｉを合わせたベクトルｙについて、判別行列ＷＴを用いて、線形
変換ｚ＝ＷＴＴｙを計算し、特徴ベクトルｚを算出することで、画像から特徴量を抽出す
ればよい。
【００３７】
また、前述の画像特徴抽出方法において、それぞれの判別行列ＷｉおよびＷＴによって
特定される行列Ｗを予め計算しておき、前記行列Ｗを用いて、特徴ベクトルｘｉを合わせ
たベクトルｘと行列Ｗの線形変換ｚ＝ＷＴｘを計算し、特徴ベクトルｚを算出することで
、画像から特徴量を抽出してもよい。
【００３８】
また、画像を予め定めた複数の局所領域に分割し、その複数の局所領域毎に特徴量を抽
出し、それらの特徴量を特徴ベクトルｘｉとして表現し、それぞれの特徴ベクトルｘｉに
対して、線形判別分析により求められる各特徴ベクトルの判別行列Ｗｉを予め求め、さら
にそれらの判別行列を用いてベクトルｘｉを線形変換することによって得られる各ベクト
ルｙｉを合わせた特徴ベクトルｙについて、線形判別分析により判別行列ＷＴを予め求め
ておき、前記判別行列Ｗｉおよび前記判別行列ＷＴによって特定される線形変換によって
、局所領域の特徴ベクトルを変換することで、画像から特徴量を抽出すればよい。
【００３９】
前述の画像特徴抽出方法において、画像の局所領域の特徴ベクトルｘｉについて、 判
別行列Ｗｉを用いて、線形変換ｙｉ＝ＷｉＴｘｉを行い特徴ベクトルｙｉを算出し、算出
された特徴ベクトルｙｉを合わせたベクトルｙについて、判別行列ＷＴを用いて、線形変
換ｚ＝ＷＴＴｙを計算 し、特徴ベクトルｚを算出することで、画像から特徴量を抽出す
る。
【００４０】
あるいは、前述の画像特徴抽出方法において、それぞれの判別行列ＷｉおよびＷＴによ
って特定される行列Ｗを予め計算しておき、前記行列Ｗを用いて、特徴ベクトルｘｉを合
わせたベクトルｘと行列Ｗの線形変換ｚ＝ＷＴｘを計算し、特徴ベクトルｚを算出するこ
とで、画像から特徴量を抽出してもよい。
【００４１】
本発明の画像から特徴量を抽出することを特徴とする画像特徴抽出方法の有効な実施方
法として、画像から特徴量を抽出し、得られた特徴を線形変換を用いて特徴次元を圧縮す
ることで画像特徴を抽出することを特徴とする画像特徴抽出方法において、画像を二次元
フーリエ変換し、二次元フーリエ変換の実数成分と虚数成分を特徴ベクトルｘ１として抽
出し、二次元フーリエ変換のパワースペクトラムを算出し、そのパワースペクトラムを特
徴ベクトルｘ２として抽出し、それぞれの特徴ベクトルｘｉ（ｉ＝１，２）に対して、線
形判別分析により求められる各特徴ベクトルの判別行列Ｗｉを求め、さらにそれらの判別
行列を用いてベクトルｘｉを線形変換することによって得られる各ベクトルｙｉを合わせ
た特徴ベクトルｙについて、線形判別分析により判別行列ＷＴを予め求めておき、前記判
別行列Ｗｉおよび前記判別行列ＷＴによって特定される線形変換によって特徴ベクトルを
変換することを特徴とする。
【００４２】
また、画像から特徴量を抽出し、得られた特徴を線形変換を用いて特徴次元を圧縮する
ことで画像特徴を抽出することを特徴とする画像特徴特徴抽出方法において、画像を二次
元フーリエ変換し、二次元フーリエ変換の実数成分と虚数成分を特徴ベクトルｘ１として
抽出し、二次元フーリエ変換のパワースペクトラムを算出し、そのパワースペクトラムを
特徴ベクトルｘ２として抽出し、それぞれの特徴ベクトルｘｉ（ｉ＝１，２）の主成分に
対して、線形判別分析により求められる各特徴ベクトルの判別行列Ｗｉを求め、さらにそ
れらの判別行列を用いてベクトルｘｉを線形変換することによって得られる各ベクトルｙ
ｉを合わせた特徴ベクトルｙについて、線形判別分析により判別行列ＷＴを予め求めてお
き、特徴ベクトルｘｉの主成分に対する判別行列 Ｗｉおよび判別行列ＷＴによって特定
される線形変換によって、フーリエ成分の実成分と虚成分に対する特徴ベクトルｘ１とフ
ーリエ成分のパワースペクトラムに対する特徴ベクトルｘ２を次元削減するように変換す
ることで、画像から特徴量を抽出することを特徴とする。
【００４３】
前述の画像特徴抽出方法において、 フーリエ変換による実数成分と虚数成分による特
徴ベクトルｘ１を主成分に変換する変換行列Ψ１と、その主成分に対する判別行列Ｗ１に
よって表される基底行列Φ１（＝（Ｗ１ＴΨ１Ｔ）Ｔ）を用いて、特徴ベクトルｘ１の主
成分の判別特徴を線形変換ｙ１＝Φ１Ｔｘ１により算出し、得られた特徴ベクトルｙ１の
大きさを予め定めた大きさに正規化し、また、フーリエ変換によるパワースペクトラムに
よる特徴ベクトルｘ２を主成分に変換する変換行列Ψ２と、その主成分に対する判別行列
Ｗ２によって表される基底行列Φ２（＝（Ｗ２ＴΨ２Ｔ）Ｔ）を用いて、特徴ベクトルｘ
２の主成分の判別特徴を線形変換ｙ２＝Φ２Ｔｘ２により算出し、得られた特徴ベクトル
ｙ２の大きさを予め定めた大きさに正規化し、二つの特徴ベクトルｙ１とｙ２を合わせた
特徴ベクトルｙについて、判別行列ＷＴを用いて、線形変換ｚ＝ＷＴＴｙを計算し、特徴
ベクトルｚを算出することで、画像から特徴量を抽出することを特徴とする。
【発明の効果】
【００４４】
本発明によるパターン特徴抽出により、入力のパターン特徴ベクトルから、その要素ベ
クトル毎に判別分析による判別に有効な特徴ベクトルを抽出し、得られた特徴ベクトルを
再度判別分析による判別行列を用いた特徴抽出を行うことで、特徴次元を圧縮する際に、
判別に有効な特徴量の削減を抑制し、より効率の良い特徴抽出を行うための特徴ベクトル
の変換を行うことができる。
【００４５】
特にパターンの特徴量が多いにも関わらず、判別分析を行う際に必要な学習サンプル数
が限られているような場合に特に有効であり、必ずしも主成分分析を用いることなく、識
別に有効な特徴の損失を抑えた上で特徴次元数を削減することができる。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施形態によるパターン特徴抽出装置の構成を示すブロック図である。
【図２】従来技術を説明するための図である。
【図３】パターン特徴の分布を説明するための図である。
【図４】本発明による第二の実施形態によるパターン特徴抽出装置の構成を示すブロック図である。
【図５】本発明による実施形態を説明するための図である。
【図６】本発明による実施形態を説明するための図である。
【図７】本発明による第三の実施形態による顔画像マッチングシステムの 構成を示すブロック図である。
【図８】本発明による実施形態を説明するための図である。
【図９】本発明による実施形態を説明するための図である。
【図１０】本発明による実施形態を説明するための図である。
【図１１】本発明による実施形態を説明するための図である。
【図１２】本発明による実施形態を説明するための図である。
【図１３】本発明による実施形態を説明するための図である。
【図１４】本発明による実施形態を説明するための図である。
【図１５】本発明の第五の実施の形態における顔記述の一例を示すための図である。
【図１６】本発明の第五の実施の形態におけるバイナリー表現文法（Ｂｉｎａｒｙ ＲｅｐｒｅｓｅｎｔａｔｉｏｎＳｙｎｔａｘ）を用いた場合の規則の一例を示す図である。
【図１７】本発明の第５の実施の形態におけるフーリエ特徴（ＦｏｕｒｉｅｒＦｅａｔｕｒｅ）を抽出するための説明図である。
【図１８】本発明の第５の実施の形態におけるフーリエスペクトルの走査方法の一例を示すための図である。
【図１９】本発明の第５の実施の形態におけるフーリエスペクトルの走査規則の一例を示すためのテーブルである。
【図２０】本発明の第５の実施の形態におけるＣｅｎｔｒａｌＦｏｕｒｉｅｒＦｅａｔｕｒｅ要素のためのフーリエ空間における走査領域の一例を示すテーブルである。
【図２１】本発明の第５の実施の形態におけるブロック図の一例を示す図である。
【発明を実施するための形態】
【００４７】
（第一の実施の形態）
本発明の実施の形態について図面を参照して詳細に説明する。図１は、本発明のパター
ン特徴抽出装置を用いたパターン特徴抽出装置を示すブロック図である。
【００４８】
以下、パターン特徴抽出装置について詳細に説明する。
図１に示すように、本発明によるパターン特徴抽出装置は、入力特徴ベクトルｘ１を線形
変換する第１の線形変換手段１１と、入力特徴ベクトルｘ２を線形変換する第２の線形変
換手段１２と、線形変換手段１１と線形変換手段１２によって変換し、次元削減された特
徴ベクトルを入力として、線形変換を行う第３の線形変換手段１３を備える。前述のそれ
ぞれの線形変換手段は、それぞれ対応した判別行列記憶手段１４、１５、１６に記憶され
ている予め学習によって求めておいた判別行列を用いて、判別分析による基底変換を行う
。
【００４９】
入力される特徴ベクトルｘ１、ｘ２は、文字認識や顔認識などでそれらの目的に応じて
抽出される特徴量であり、例えば画像の勾配特性から計算される方向特徴や画像の画素値
そのものである濃淡特徴等で、複数の要素がある。この際に、例えば、Ｎ１個の方向特徴
を一方の特徴ベクトルｘ１として、もう一方のＮ２個の濃淡値を特徴ベクトルｘ２として
入力する。
【００５０】
判別行列記憶手段１４や判別行列記憶手段１５は、特徴ベクトルｘ１および特徴ベクト
ルｘ２について、線形判別分析を行い、これにより得られる判別行列Ｗ１、Ｗ２をそれぞ
れ記憶する。
【００５１】
判別行列は、前述したように予め用意した学習サンプルにおける特徴ベクトルについて
、そのクラスに応じて、クラス内共分散行列ΣＷ（（数２））、クラス間共分散行列ΣＢ
（（数３））を計算すればよい。また、各クラスωｉの事前確率Ｐ（ωｉ）は、サンプル
数ｎｉを反映させて、Ｐ（ωｉ）＝ｎｉ／ｎとすればよい。
【００５２】
これらの共分散行列に対して、（数６）で表される固有値問題の大きい固有値に対応す
る固有ベクトルｗｉを選択することで、判別行列を予め求めておくことができる。
【００５３】
それぞれの特徴ベクトルｘ１、ｘ２について、入力特徴次元Ｎ１やＮ２よりも小さいＭ
１次元、Ｍ２次元の基底を選ぶとすると、判別基底への射影変換によってそれぞれＭ１、
Ｍ２次元の特徴ベクトルｙ１、ｙ２を得ることができる。
【００５４】
【数７】
【００５５】
ここで、Ｗ１、Ｗ２の行列の大きさは、それぞれＭ１×Ｎ１、Ｍ２×Ｎ２となる。
射影する特徴空間の次元数Ｍ１、Ｍ２を大幅に小さくすることによって、効率良く特徴次
元数を削減でき、データ量の削減や高速化に効果があるが、特徴次元数を大幅に小さくし
すぎる場合には、判別性能の劣化をもたらす。これは、特徴次元数を削減することによっ
て、判別に有効な特徴量が失われるためである。
【００５６】
このため、特徴ベクトルの次元数Ｍ１やＭ２等は、学習サンプル数との兼ね合いに影響
されやすい量であり、実験に基づいて定めることが望ましい。
【００５７】
第３の線形変換手段１３では、第１および第２の線形変換手段によって計算されたｙ１
、ｙ２を入力特徴ベクトルｙとして、判別空間への射影を行う。判別行列記憶手段１６に
登録しておく判別行列Ｗ３は、第１、第２の判別行列を計算した場合と同様に学習サンプ
ルから求める。但し、入力特徴ベクトルｙは次の（数８）で表されるように、要素を並べ
たベクトルである。
【００５８】
【数８】
【００５９】
（数７）と同様に基底行列Ｗ３（行列の大きさは、Ｌ×（Ｍ１＋Ｍ２））によって、Ｌ
次元の特徴ベクトルｙを（数９）により射影し、出力となる特徴ベクトルｚを得る。
【００６０】
【数９】
【００６１】
このように特徴ベクトルをそれぞれ分割して、少ない次元数の特徴ベクトルの学習サン
プルに対して、線形判別分析を行うことによって、高い次元の特徴成分で生じやすい推定
誤りを抑制し、且つ、判別に有効な特徴を捉えることができる。
【００６２】
前述の例では、３つの線形変換手段を備えて、並列的・段階的に処理を行う場合につい
て示したが、線形判別手段は、基本的に積和演算器を備えていれば実現できるので、線形
変換を行う入力特徴ベクトルに合わせて、読み出す判別行列を切替え線形変換手段を使い
回すように実現することも可能である。このように一つの線形変換手段を使うことで、必
要な演算器の規模を小さくすることができる。
【００６３】
さらに、出力特徴ベクトルｚの演算は、（数７）、（数８）、（数９）から分かるよう
に、（数１０）と書き表すことができる。
【００６４】
【数１０】
【００６５】
つまり、各判別行列を用いた線形変換は、一つの行列による線形変換にまとめることが
できる。段階的な演算を行う場合の積和演算回数は、Ｌ×（Ｍ１＋Ｍ２）＋Ｍ１Ｎ１＋Ｍ
２Ｎ２であり、一つの行列にまとめた場合には、Ｌ×（Ｎ１＋Ｎ２）となり、例えば、Ｎ
１＝Ｎ２＝５００、Ｍ１＝Ｍ２＝２００、Ｌ＝１００ とした場合には、段階的な演算で
２４０，０００回の積和演算が必要となり、後者の演算では１００，０００回の積和演算
が必要となり、後者のような一括演算を行う場合の方が演算量が少なく、高速な演算が可
能となる。式からも分かるように最終的な次元数Ｌを小さくする場合には、一括的な演算
方法を用いた方が演算量を削減することができ、有効である。
【００６６】
（第二の実施の形態）
さて、前述の例では、方向特徴と濃淡特徴というように特徴の種類が異なる場合の特徴
を融合する際に、それぞれの特徴毎に判別分析を施した特徴ベクトルに対して、繰り返し
判別分析を行っているが、一つの特徴に対する複数要素を複数の特徴ベクトルに分割して
、それぞれの要素集合を入力特徴として判別分析し、その射影されたベクトルをさらに判
別分析しても構わない。
【００６７】
第二の実施例では、顔画像の特徴抽出装置について説明する。
第二の発明による顔画像特徴抽出装置では、図４に示すように入力顔画像の濃淡特徴を
分解する画像特徴分解手段４１と、特徴ベクトルに対応する判別行列に従って特徴ベクト
ルを射影する線形変換手段４２と、前記のそれぞれの判別行列を記憶する判別行列記憶手
段４３を備えている。
【００６８】
顔画像の特徴抽出する技術については、前述のＷ．Ｚｈａｏらの論文に示されているよ
うに、顔画像を目位置などで位置合わせした後に、その濃淡値をベクトル特徴とする方法
がある。
【００６９】
第二の発明でも原特徴としてはどうように画像の画素の濃淡値を入力特徴として取り扱
うが、画像サイズが例えば左右の目の中心位置を（１４，２３）、（２９，２３）の座標
に正規化した４２×５４画素＝２３５２次元と大きな画像特徴となる。このような大きな
特徴次元では、限られた学習サンプルを用いて直接的に線形判別分析を行っても精度良い
特徴抽出を行うことは困難であり、画像特徴の要素を分解し、その分解された特徴に対し
て判別分析を行い、判別行列を求めることで、主成分分析等を適用した場合に生じる特徴
の劣化を抑制する。
【００７０】
画像特徴を分解するための方法の一つが画像を分割することであり、例えば、図５に示
すように画像を一つの大きさが１４×１８画素（＝２５２次元）の大きさに９分割し、そ
れぞれの大きさの局所画像を特徴ベクトルｘｉ（ｉ＝１，２，３，．．．，９）とし、そ
れぞれの部分画像に対して学習サンプルを用いて判別分析を行い、それぞれの特徴ベクト
ルに対応する判別行列Ｗｉを求めておく。
【００７１】
なお、画像を分割する際に領域間にオーバーラップを持たせておくことで、その境界領
域の画素間の相関に基づく特徴量を特徴ベクトルに反映させることができるので、オーバ
ーラップをさせてサンプルするようにしておいてもよい。
【００７２】
特徴次元数が２５２次元と原画像より大幅に少なくなることで、人数で数百人程度の各
人の画像を数枚、計数千枚程度の顔画像をサンプルとすることで、判別分析による基底行
列を精度を保って計算することができる。これが原特徴のまま（２３５２次元）と大きい
場合には、判別分析による特徴で性能を得るためには、数千名以上の顔画像サンプルを必
要となることが予想されるが、実際問題としてこのような大規模な画像データを収集する
ことは困難であるために、実現できない。
【００７３】
第一段階の判別特徴によって、例えば、各局所領域毎に２０次元の特徴に 圧縮すると
すると、それらの出力特徴ベクトルは、９領域×２０次元＝１８０次元の特徴ベクトルと
なる。この特徴ベクトルに対してさらに判別分析を行うことで、次元数を例えば５０次元
程度に効率的に圧縮できる。この第二段階目の判別行列も判別行列記憶手段４３に記憶し
、線形変換手段４２により、第一段階の判別特徴の１８０次元ベクトルを入力として、再
度判別分析を行う。なお、予め第一段目の判別行列と第二段目の判別行列を（数１０）で
示したように予め計算しておいてもよいが、２５２次元×９領域を２０次元×９領域に圧
縮し、その１８０次元を５０次元に変換する場合では、二段階に分けて計算した方が使用
メモリも、演算量も半分以下となるので、効率的である。
【００７４】
このように局所的・段階的に判別分析を適用することで、識別能力の高い顔特徴を抽出
することができるようになる。これは、文字認識でいえば、例えば「大」と「犬」の識別
を行おうとしたときに、文字画像全体を主成分分析して固有値が大きい成分抜き出すと、
「大」と「犬」を識別する「｀」の特徴が失われてしまいやすい（このため、類似文字識
別では主成分分析による固有値が大きい部分の特徴よりも、ある特定の高次特徴を用いる
ことが行われる場合もある）。局所領域に分割して判別特徴を抜き出すことの有効性は、
文字認識 における類似文字識別における現象と類似しており、識別しやすい特徴を空間
的に限定することで、全体的に主成分の判別分析を行う場合よりも、単位次元 あたり
の精度を確保できるようになると考えられる。
【００７５】
また、画像特徴分割手段４１では、局所領域毎に画像を分割して、特徴ベクトルを構成
するのではなく、画像全体からサンプリングして分割してもよい。例えば、一次特徴を９
分の１の２５２次元の９つのベクトルに分割する場合には、図６に示すように３ｘ３の領
域からサンプリングする。つまり、サンプリングされた画像は、僅かな位置の違いのある
縮小画像となる。この縮小画像をラスター走査することで、９つの特徴ベクトルに変換す
る。このような特徴ベクトルを一次ベクトルとして判別成分を計算し、その判別成分を統
合して再度判別分析を行ってもよい。
【００７６】
（第三の実施の形態）
本発明による別の実施の形態について図面を参照して詳細に説明する。図７は、本発明
の顔メタデータ生成装置を用いた顔画像マッチングシステムを示すブロック図である。
【００７７】
以下、顔画像マッチングシステムについて詳細に説明する。
図１に示すように、本発明による顔画像マッチングシステムでは、顔画像を入力する顔
画像入力部７１と、顔メタデータを生成する顔メタデータ生成部７２と、抽出された顔メ
タデータを蓄積する顔メタデータ蓄積部７３と、顔メタデータから顔の類似度を算出する
顔類似度算出部７４と、顔画像を蓄積する顔画像データベース７５と、画像の登録要求・
検索要求に応じて、画像の入力・メタデータの生成・メタデータの蓄積・顔類似度の算出
の制御を行う制御部７６と顔画像や他の情報を表示するディスプレイの表示部７７と、が
設けられている。
【００７８】
また、顔メタデータ生成部７２は、入力された顔画像から顔領域を切り出す領域切り出
し手段７２１と、切り出された領域の顔特徴を抽出する顔パターン特徴抽出手段７２２に
よって構成され、顔の特徴ベクトルを抽出することで、顔画像に関するメタデータを生成
する。
【００７９】
顔画像の登録時には、スキャナあるいはビデオカメラなどの画像入力部７１で顔写真等
を顔の大きさや位置を合わせた上で入力する。あるいは、人物の顔を直接ビデオカメラな
どから入力しても構わない。この場合には、前述のＭｏｈａｄｄａｍの文献に示されてい
るような顔検出技術を用いて、入力された画像の顔位置を検出し、顔画像の大きさ等を自
動的に正規化する方がよいであろう。
【００８０】
また、入力された顔画像は必要に応じて顔画像データベース７５に登録する。顔画像登
録と同時に、顔メタデータ生成部７２によって顔メタデータを生成し、顔メタデータ蓄積
部７３に蓄積する。
【００８１】
検索時には登録時と同様に顔画像入力部７１によって顔画像を入力し、顔メタデータ生
成部７２にて顔メタデータを生成する。生成された顔メタデータは、一旦顔メタデータ蓄
積部７３に登録するか、または、直接に顔類似度算出部７４へ送られる。
【００８２】
検索では、予め入力された顔画像がデータベース中にあるかどうかを確認する場合（顔
同定）には、顔メタデータ蓄積部７３に登録されたデータの一つ一つとの類似度を算出す
る。最も類似度が高い結果に基づいて制御部７６では、顔画像データベース７５から、顔
画像を選び、表示部７７等に顔画像の表示を行い、検索画像と登録画像における顔の同一
性を作業者が確認する。
【００８３】
一方、予めＩＤ番号等で特定された顔画像と検索の顔画像が一致するかどうかを確認す
る場合（顔識別）では、特定されたＩＤ番号の顔画像と一致するか、否かを顔類似度算出
部７４にて計算し、予め決められた類似度よりも類似度が低い場合には、一致しないと判
定し、類似度が高い場合には一致すると判定し、その結果を表示部７７に表示する。この
システムを入室管理用に用いるならば、顔画像を表示する変わりに、制御部７６から自動
ドアに対して、その開閉制御信号を送ることで、自動ドアの制御によって入室管理を行う
ことができる。
【００８４】
上記のように、顔画像マッチングシステムは動作するが、このような動作はコンピュー
タシステム上で実現することもできる。例えば、次に詳述するようなメタデータ生成を実
行するメタデータ生成プログラム及び類似度算出プログラムをそれぞれメモリに格納して
おき、これらをプログラム制御プロセッサによってそれぞれ実行することで、顔画像マッ
チングを実現することができる。
【００８５】
次に、この顔画像マッチングシステムの動作、特に顔メタデータ生成部７２と顔類似度
算出部７４について、詳細に説明する。
【００８６】
（１）顔メタデータ生成
顔メタデータ生成部７２では、位置と大きさを正規化した画像Ｉ（ｘ，ｙ）を用いて、
顔特徴量を抽出する。位置と大きさの正規化は、例えば、目位置が（１６，２４）、（３
１，２４）、サイズが４６×５６画素となるように画像を正規化しておくとよい。以下で
は、このサイズに画像が正規化されている場合について説明する。
【００８７】
次に、領域切り出し手段７２１によって顔画像の予め設定した顔画像の複数の局所領域
を切り出す。例えば、上記の画像を例えば、一つは正規化した画像全体（これをｆ（ｘ，
ｙ）とする）ともう一つは、顔を中心とした中心領域の３２×３２画素の領域ｇ（ｘ，ｙ
）である。 これは、両目の位置が（９，１２）と（２４，１２）の位置となるように切
り出せばよい。
【００８８】
顔の中心領域を前述のように切り出すのは、これは髪型等に影響をされない範囲を切り
出すことで、髪型の変化するような場合（例えば、家庭内ロボットで顔照合を用いる際に
入浴前後で髪型が変化しても照合できるようにするため）でも安定な特徴を抽出するため
のものであるが、髪型等が変化しない場合 （映像クリップ中におけるシーン内の人物同
定などの場合）には、髪型を含んだ形で照合を行うことで照合性能の向上が期待できるの
で、髪型を含んだような 大きな顔画像と顔の中心部分の小さな顔画像に対して、顔画像
を切り出す。
【００８９】
次に顔画像特徴抽出手段７２２では、切り出された二つの領域ｆ（ｘ，ｙ）を２次元の
離散フーリエ変換によって、フーリエ変換し、顔画像の特徴を抽出する。
【００９０】
図８に顔画像特徴抽出手段７２２のより詳しい構成について示す。この顔画像特徴抽出
手段では、正規化し切り出された画像を離散フーリエ変換するフーリエ変換手段８１と、
フーリエ変換したフーリエ周波数成分のパワースペクトラムを算出するフーリエパワー算
出手段８２と、フーリエ変換手段８１によって算出されたフーリエ周波数成分の実成分と
虚成分をラスター走査した特徴ベクトルによって、１次元特徴ベクトルとみなして、その
特徴ベクトルの主成分に対して判別特徴を抽出する線形変換手段８３とその変換のための
基底行列を記憶する基底行列記憶手段８４、および、パワースペクトラムを同様に主成分
の判別特徴を抽出する線形変換手段８５とその変換のための基底行列を記憶する基底行列
記憶手段８６を備える。さらに、フーリエ特徴の実数成分と虚数成分の判別特徴、および
、パワースペクトルの判別特徴をそれぞれ大きさ１のベクトルに正規化し、その二つの特
徴ベクトルを統合したベクトルに対して、そのベクトルの判別特徴を算出する線形変換手
段８８とその判別特徴のための判別行列を記憶する判別行列記憶手段８９を備える。
【００９１】
このような構成によって、フーリエ周波数特徴を抽出した後に、フーリエ周波数成分の
実数部と虚数部を要素とした特徴ベクトルと、パワースペクトラムを要素とした特徴ベク
トルに対して、それぞれ主成分の判別特徴を計算し、それぞれを統合した特徴ベクトルに
対して再度判別特徴を計算することで、顔の特徴量を計算する。
【００９２】
以下では、それぞれの動作についてより詳しく説明する。
フーリエ変換手段８１では、入力された画像ｆ（ｘ，ｙ）（ｘ＝０，１，２，．．．Ｍ
−１，ｙ＝０，１，２，．．．，Ｎ−１）に対して、（数１１）に従って、２次元の離散
フーリエ変換し、そのフーリエ特徴Ｆ（ｕ，ｖ）を計算する。この方法は広く知られてお
り、例えば、文献（Ｒｏｓｅｎｆｅｌｄら、”ディジタル画像処理”、ｐｐ．２０−２６
，近代科学社）に述べられているので、ここでは説明を省略する。
【００９３】
【数１１】
【００９４】
フーリエパワー算出手段では、（数１２）に従ってフーリエ特徴Ｆ（ｕ，ｖ）の大きさ
を求めフーリエパワースペクトラム｜Ｆ（ｕ，ｖ）｜を算出する。
【００９５】
【数１２】
【００９６】
このようにして得られる二次元のフーリエスペクトルＦ（ｕ，ｖ）や｜Ｆ（ｕ，ｖ）｜
は２次元の実成分のみの画像を変換しているので、得られるフーリエ周波数成分は対称
なものとなる。このため、これらのスペクトル画像Ｆ（ｕ，ｖ）、｜Ｆ（ｕ，ｖ）｜ は
ｕ＝０，１，．．．，Ｍ−１； ｖ＝０，１，．．．，Ｎ−１のＭ×Ｎ個の成分を持つが
、その半分の成分 ｕ＝０，１，．．．，Ｍ−１； ｖ＝０，１，．．．，Ｎ−１のＭ×
Ｎ／２個の成分と、残りの半分の成分は、実質的に同等な成分となる。このため、特徴ベ
クトルとしては、半分の成分を用いて、以降の処理を行えばよい。当然のことながら、特
徴ベクトルの要素として用いられない成分をフーリエ変換手段８１やフーリエパワー算出
手段８２の演算で省略することで、演算の簡略化を図ることができる。
【００９７】
次に、線形変換手段８３では、周波数特徴として抽出された特徴量をベクトルとして取
り扱う。予め規定しておく部分空間は、学習用の顔画像セットを用意し、対応する切り出
し領域の周波数特徴ベクトルの主成分の判別分析によって得られる基底ベクトル（固有ベ
クトル）によって定める。この基底ベクトルの求め方については、Ｗ． Ｚｈａｏの文献
をはじめとして様々は文献で説明されている一般的に広く知られた方法であるので、ここ
では説明を省略する。ここで判別分析を直接行わないのは、フーリエ変換によって得られ
る特徴ベクトルの次元数が判別分析を直接取り扱うには大きすぎるためであり、既に指摘
したような主成分判別分析における問題点は残るものの第一段階目の特徴ベクトルの抽出
としては、一つの選択ではある。また、ここに判別分析を繰り返す方法による基底行列を
用いて構わない。
【００９８】
つまり、基底行列記憶手段８４に記憶する主成分の判別行列Φ１は、周波数特徴の実成
分と虚成分をラスター走査によって１次元化した特徴ベクトルｘ１の主成分の判別分析を
行うことによって予め学習サンプルから求めることができる。ここで、フーリエ特徴は複
素数として取り扱う必要は必ずしもなく、虚数成分も単なる別の特徴要素として、実数と
して取り扱って構わない。
【００９９】
主成分への基底行列をΨ１、その主成分のベクトルを判別分析した判別行列をＷ１とす
れば、主成分の判別行列Φ１は、（数１３）によって書き表される。
【０１００】
【数１３】
【０１０１】
なお、主成分分析によって削減する次元数は、もとの特徴フーリエ特徴の１／１０程度
（２００次元前後）にすればよく、その後、この判別行列によって７０次元程度に削減す
る。この基底行列を予め学習サンプルから計算しておき、 基底行列記憶手段８４に記憶
される情報として用いる。
【０１０２】
フーリエパワースペクトラム｜Ｆ（ｕ，ｖ）｜についても同様にそのスペクトルをラス
ター走査によって、１次元特徴ベクトルｘ２として表し、その特徴ベクトルの主成分の判
別分析を行うことによって得られる基底行列Φ２Ｔ＝Ψ２ＴＷ ２Ｔを学習サンプルから
予め求めておく。
【０１０３】
このように、フーリエ特徴のそれぞれの成分について主成分判別特徴を計算することで
、フーリエ成分の実成分と虚成分の特徴ベクトルｘ１の主成分の判別特徴ｙ１と、パワー
スペクトルの特徴ベクトルｘ２の主成分の判別特徴ｙ２を得ることができる。
【０１０４】
正規化手段８７では、得られた特徴ベクトルの大きさをそれぞれ例えば長さ１の単位ベ
クトルに正規化する。ここで、ベクトルを測る原点をどこにするかで、ベクトル長は変わ
るので、その基準位置も予め定めておく必要があるが、これは射影された特徴ベクトルｙ
ｉの学習サンプルから求めた平均ベクトルｍｉを用いて、基準点とすればよい。平均ベク
トルを基準点とすることで、基準点の周りに特徴ベクトルが分布するようになり、特にガ
ウシアン分布であるならば、等方的に分布するようになるので、特徴ベクトルを最終的に
量子化するような場合の分布域 の領域を限定することが容易にできるようになる。
【０１０５】
つまり、特徴ベクトルｙｉをその平均ベクトルｍｉによって、単位ベクトルに正規化し
たベクトルｙｉｏは、（数１４）と表される。
【０１０６】
【数１４】
【０１０７】
このように正規化手段を設け、フーリエパワーの実数と虚数に関わる特徴ベクトルｙ１
と、パワーに関わる特徴ベクトルｙ２を単位ベクトルに正規化しておくことで、異種の特
徴量である二つの特徴量の間の大きさの正規化をしておき、特徴ベクトルの分布特性を安
定化させることができる。また、既に次元削減の過程で判別に 必要な特徴空間の中での
大きさを正規化しているので、削除された雑音をより多く含む特徴空間で正規化する場合
よりも、雑音に影響されにくい正規化が実 現できるためである。この正規化により、単
なる線形変換では除去が難しい全体的な照明強度に比例する変動成分のような変動要素の
影響をとり除くことができる。
【０１０８】
このように正規化した特徴ベクトルｙ１ｏとｙ２ｏを（数８）と同様 に一つの特徴ベ
クトルｙに統合し、統合された特徴ベクトルｙに対して、線形判別分析を行い得られる基
底行列Ｗ３を用いて判別空間に射影することで、出力特徴ベクトルｚを得ることができる
。このための判別行列Ｗ３を判別行列記憶手段８９に記憶し ておき、線形変換手段８８
では、このための射影の演算を行い、例えば、２４次元の特徴ベクトルｚを算出する。
【０１０９】
なお、出力特徴ベクトルｚを、一要素あたり例えば５ビットに量子化する場合には、各
要素の大きさを正規化しておく必要があるが、例えば、各要素の分散値に応じて、正規化
を施しておく。
【０１１０】
つまり、特徴ベクトルｚの各要素ｚｉの学習サンプルにおける標準偏差の値σｉを求め
ておき、ｚｏ ＝ １６ｚｉ／３σｉというように正規化を施し、これを例えば５ビッ
トなら、−１６から１５の値に量子化すればよい。
【０１１１】
この際の正規化は、各要素に標準偏差の逆数をかけている演算となるので、σｉを対角
要素とする行列Σを考えると、正規化されたベクトルｚｏは、ｚｏ＝Σｚとなる。つまり
、単なる線形変換であるので、予め、判別行列Ｗ３に対してΣを（数１５）のように施し
ておいてもよい。
【０１１２】
【数１５】
【０１１３】
このように正規化しておくことで、量子化に必要な値域補正を行うことができる利点が
あるばかりではなく、標準偏差値による正規化であるので、照合時にパターン間距離のノ
ルムを演算する際に単なるＬ２ノルムを計算するだけで、マハラノビス距離による演算を
行うことが可能となり、照合時における演算量を削減することが可能となる。
【０１１４】
このように顔画像特徴抽出手段１２２では、正規化された画像ｆ（ｘ，ｙ）に対して特
徴ベクトルｚｆを抽出する際の説明を行ったが、顔の中心部分のみを切り出した画像ｇ（
ｘ，ｙ）に対しても、前述と同様に顔画像特徴抽出手段１２２によって特徴ベクトルｚｇ
を抽出する。二つの特徴ベクトルｚｆと特徴ベクトルｚｇを顔メタデータ生成部を顔特徴
量ｚとして抽出する。
【０１１５】
なお、前述したように上記顔メタデータ生成手順をコンピュータプログラ ムによって
コンピュータに実行させることもできる。
【０１１６】
（２）顔類似度算出
次に顔類似度算出部７４の動作について説明する。
【０１１７】
顔類似度算出部７４では、二つの顔メタデータから得られるそれぞれＫ次 元特徴ベク
トルｚ１、ｚ２を用いて、二つの顔の間の類似度ｄ（ｚ１，ｚ２）を算出する。
【０１１８】
例えば、（数１６）の二乗距離によって類似度を算出する。
【０１１９】
【数１６】
【０１２０】
αｉは重み係数で例えば各特徴次元ｚｉの標準偏差の逆数等を用いればマハラノビス距
離による計算となり、予め（数１５）等によって特徴ベクトルを正規化してある場合には
、基底行列が予め分散値によって正規化してあるので、前述の通り マハラノビス距離と
なっている。また、（数３）の比較する各特徴ベクトルのなす余弦によって類似度を算出
してもよい。
【０１２１】
【数１７】
【０１２２】
なお、距離を用いた場合には値が大きいほど類似度は小さいこと（顔が似ていない）を
意味し、余弦を用いた場合には値が大きいほど類似度が大きいこと（顔が似ている）を意
味する。
【０１２３】
ここまでの説明では、一枚の顔画像が登録され、一枚の顔画像を用いて検索する場合に
ついて説明したが、一人の顔に対して複数の画像が登録され、一枚の顔画像を用いて検索
する場合には、例えば、登録側の複数の顔メタデータをそれぞれ、類似度の算出をすれば
よい。
【０１２４】
同様に１つの顔当たりの複数枚の画像登録と複数画像による検索の場合も、 各組み合
わせの類似度の平均や最小値を求めることで、類似度を算出することで、一つの顔データ
に対する類似度を算出することができる。これは、動画像を複数画像と見倣すことで、本
発明のマッチングシステムを動画像における顔認識に対しても適用できることを意味する
。
【０１２５】
以上、本発明を実施の形態を適宜図面を参照して説明したが、本発明は、コンピュータ
が実行可能なプログラムによっても実現できることは言うまでもない。
【０１２６】
（第四の実施の形態）
本発明による別の実施の形態について図面を参照して詳細に説明する。本発明は、第３
の発明における顔メタデータ生成部７２を改良するものである。第３の発明では、入力顔
画像をフーリエ変換を行うことで得られるフーリエ周波数成分の実数部と虚数部を要素と
した特徴ベクトルと、パワースペクトラムを要素とした特徴ベクトルに対して、それぞれ
の主成分の判別特徴を計算し、それぞれを統合した特徴ベクトルに対して再度判別特徴を
計算することで、顔の特徴量を計算している。この場合、フーリエパワースペクトルが入
力画像全体の特徴量を反映しているために、入力画素にノイズが多い成分（例えば、相対
的な位置が変化しやすい口の周りの画素など）もパワースペクトルの中に他の画素と等し
く反映されてしまい、判別分析によって有効な特徴量を選択しても、十分な性能が得られ
ない場合があった。このような場合には入力画像を領域分割し、その局所領域毎にフーリ
エ変換し、各局所領域毎のパワースペクトルを特徴量として、判別分析することで、局所
的に判別性能が悪い（クラス内分散が大きい）領域の特徴量の影響を判別分析によって、
低減することができる。
【０１２７】
図９は実施例を説明するための図で、特徴抽出処理のフローを表している。この実施例
では、例えば、３２ｘ３２画素の領域を１６ｘ１６画素の４領域、８ｘ８画素の１６領域
、４ｘ４画素の６４領域、２ｘ２画素の２５６領域、１ｘ１画素の１０２４領域（実質的
に入力画像と同じなので、入力画像そのままでよい）に分割し、その各々の分割された領
域でフーリエ変換を行う。この処理フローをまとめた図が図１０である。このようにして
得られた各領域のパワースペクトル全ての１０２４ｘ５次元＝５１２０次元の特徴量を抽
出する。この次元数では通常の学習データが少ない場合では次元数が多いので、予め主成
分分析を行い、次元数を削減するような主成分分析の基底を求めておく。例えば、次元数
としては３００次元程度が適当である。この次元数の特徴ベクトルについてさらに判別分
析を行い、次元数を削減し、判別性能のよい特徴軸に対応する基底を求める。主成分分析
と判別分析に対応する基底を予め計算しておく（これをＰＣＬＤＡ射影基底Ψとする）。
【０１２８】
５１２０次元の特徴をこのＰＣＬＤＡ基底を用いた射影基底Ψを用いて線形演算によっ
て射影することで、判別特徴ｚを得ることができる。さらに量子化等を施すことで、顔の
特徴量となる。なお、５１２０次元の特徴量はフーリエパワースペクトルの対称性等を考
慮したり、高周波成分を除去して、予め使わないことにすれば、次元数を削減でき、高速
な学習、必要とされるデータ量の削減、高速な特徴抽出を可能とすることができるので、
適宜次元数を削減することが望ましい。
【０１２９】
このように領域をブロック化し、フーリエスペクトラムを多重化することで、画像特徴
と同値な特徴量（１０２４分割の場合）から、順に平行移動の普遍性を持った特徴量と局
所的な特徴量の表現を多重に持つことができる。その多重で冗長な特徴表現の中から、判
別分析によって、識別に有効な特徴量を選択することで、コンパクトで識別性能のよい特
徴量を得ることができる。フーリエパワースペクトルは、画像に対して非線形な演算であ
り、これは画像を単に線形演算によって処理する判別分析を適用するだけでは得られない
有効な特徴量を計算することができる。ここでは主成分に対して線形判別分析を行う場合
について説明したが、カーネル判別分析（Ｋｅｒｎｅｌ Ｆｉｓｈｅｒ Ｄｉｓｃｒｉｍ
ｉｎａｎｔ Ａｎａｌｙｓｉｓ，ＫＦＤＡあるいはＫｅｒｎｅｌＤｉｓｃｒｉｍｉｎａｎ
ｔ Ａｎａｌｙｓｉｓ： ＫＤＡ 、Ｇｅｎｅｒａｌｉｚｅｄ Ｄｉｓｃｒｉｍｉｎａｎ
ｔ Ａｎａｌｙｓｉｓ： ＧＤＡなどと呼ばれるカーネルテクニックを用いた判別分析）
を用いて、２段階目の特徴抽出を行っても構わない。例えば、カーネル判別分析について
は、Ｑ． Ｌｉｕ らの文献（非特許文献３：”Ｋｅｒｎｅｌ−ｂａｓｅｄ Ｏｐｔｉｍ
ｉｚｅｄ Ｆｅａｔｕｒｅ Ｖｅｃｔｏｒｓ Ｓｅｌｅｃｔｉｏｎ ａｎｄ Ｄｉｓｃｒ
ｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ ｆｏｒ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ，”Ｐ
ｒｏｃｅｅｄｉｎｇ ｏｆ ＩＡＰＲ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎ
ｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＩＣＰＲ）， Ｖｏｌ．ＩＩ，
ｐｐ． ３６２−３６５， ２００２）やＧ． Ｂａｕｄａｔ の文献（非特許文献４
：”Ｇｅｎｅｒａｌｉｚｅｄ Ｄｉｓｃｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ Ｕｓｉｎｇ
ａ Ｋｅｒｎｅｌ Ａｐｐｒｏａｃｈ，”Ｎｅｕｒａｌ Ｃｏｍｐｕｔａｔｉｏｎ，
Ｖｏｌ．１２， ｐｐ２３８５−２４０４，２０００）に詳しく解説されているので、そ
れらを参照されたい。 このようにカーネル判別分析を用いて特徴を抽出することで、非
線形による特徴抽出の効果をさらに発揮することができ、有効な特徴を抽出することがで
きる。
【０１３０】
しかし、この場合、５１２０次元と大きな特徴ベクトルを取り扱うので、主成分分析を
行う場合でも、大量のメモリ、大量の学習データが必要となる。図１１は、このような問
題を避けるべく、各ブロック毎に主成分分析・判別分析を個別に行い、その後、２段階で
判別分析（Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ： ＬＤＡ）を
行うことで、演算量を削減することができる。この場合には、各領域毎に１０２４次元（
対称性を考慮して半分にすると、５１２次元）の特徴量を用いて、主成分分析と判別分析
を行い基底行列Ψｉ（ｉ＝０，１，２，．．，５）を求めておく。そして、その後それぞ
れの平均値を用いて特徴ベクトルを正規化し、二段階目のＬＤＡ射影を行う。このように
ブロック毎に処理を行うことで、学習の際に要求されるデータ数や計算機資源を減少させ
ることができ、学習の最適化の時間削減等を行うことできる。なお、高速に演算を行いた
い場合には、ベクトル正規化の処理を省き、予めＰＣＬＤＡ射影の基底行列とＬＤＡ射影
の基底行列を計算しておくことで、演算の高速化を図ることができる。
【０１３１】
図１２はまた別の実施例を説明するための図で、特徴抽出処理のフローを表している。
この実施例では、このような領域分割を複数段階（図では２段階）で行い、局所領域のフ
ーリエパワースペクトルが持つ並進普遍性と、局所領域の信頼性を考慮するように多重に
パワースペクトラムを多重な解像度で抽出し、判別分析のための特徴量として抽出し、そ
の中で判別分析で求められた最も優れた特徴空間利用して、特徴抽出を行う。
【０１３２】
例えば、入力画像ｆ（ｘ，ｙ）が３２ｘ３２画素の場合には、図１０に示すように全体
画像のパワースペクトル｜Ｆ（ｕ，ｖ）｜とそれを４分割した１６ｘ１６画素の４つの領
域のそれぞれのパワースペクトラム｜Ｆ１１（ｕ，ｖ）｜， ｜Ｆ１２（ｕ，ｖ）｜ ，
｜Ｆ１３（ｕ，ｖ）｜ ，｜Ｆ１４（ｕ，ｖ）｜、８ｘ８画素の１６個の領域に分割した
｜Ｆ２１（ｕ，ｖ）｜， ｜Ｆ２１（ｕ，ｖ）｜，・・・，｜Ｆ２１６（ｕ，ｖ）｜を特
徴ベクトルを抽出する。但し、実画像のフーリエパワースペクトルの対称性を考慮して、
その１／２を抽出すればよい。また、判別分析における特徴ベクトルの大きさが大きくな
ることを避けるために、判別に対して高周波成分をサンプリングしないで、特徴ベクトル
を構成してもよい。例えば、低周波成分に対応する１／４のスペクトルをサンプリングし
て特徴ベクトルを構成することで、必要となる学習サンプル数を低減したり、学習や認識
に必要な処理時間の軽減を行うことができる。また、学習データ数が少ない場合には、予
め主成分分析して特徴次元数を減らした後に判別分析を行っても良い。
【０１３３】
さて、このように抽出した特徴ベクトルｘ２ｆを用いて、予め用意した学習セットを用
いて判別分析を行い、その基底行列Ψ２ｆを求めておく。図９では主成分に対する判別特
徴の抽出（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉ
ｎａｎｔ Ａｎａｌｙｓｉｓ： ＰＣＬＤＡ）の射影を行っている例を示している。特徴
ベクトルｘ２ｆを基底行列Ψ２ｆを用いて射影し、その射影された特徴ベクトルの平均と
大きさを正規化し、特徴ベクトルｙ２ｆを算出する。
【０１３４】
同様にフーリエ周波数の実数成分と虚数成分を統合した特徴ベクトルｘ２ｆについても
、基底行列Ψ１ｆを用いて線形演算処理により特徴ベクトルを射影し、次元数を削減した
特徴ベクトルを求め、そのベクトルの平均と大きさを正規化した特徴ベクトルｙ１ｆを算
出する。これらを統合した特徴ベクトルを判別基底Ψ３ｆを用いて、再度射影し、特徴ベ
クトルｚｆを得る。これを例えば５ｂｉｔに量子化することで、顔特徴量を抽出する。
【０１３５】
なお、入力が４４ｘ５６画素の大きさに正規化された顔画像である場合には、中心部分
の３２ｘ３２画素に上述の処理を施して、顔特徴量を抽出するとともに、顔全体の４４ｘ
５６画素の領域についても、４４ｘ５６画素の全体領域と、２２ｘ２８画素の４領域、１
１ｘ１４画素の１６画素に多重に分割した領域についてそれぞれ顔特徴量を抽出する。図
１３は、別の実施例を表しており、各局所領域毎に実数成分と虚数成分とパワースペクト
ルを合わせてＰＣＬＤＡを行う場合や、図１４のように実数成分と虚数成分を合わせた特
徴とパワースペクトルとを個別にＰＣＬＤＡ射影し、最後にＬＤＡ射影を行っている例で
ある。
【０１３６】
（第五の実施の形態）
本発明による別の実施の形態について図面を用いて詳細に説明する。
【０１３７】
本発明を用いた顔特徴記述方法および顔特徴の記述子の実施例を表わす。図１５には、
顔の特徴記述の一例として、ＩＳＯ／ＩＥＣ ＦＤＩＳ １５９３８−３“Ｉｎｆｏｒｍ
ａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ Ｍｕｌｔｉｍｅｄｉａ ｃｏｎｔｅｎｔ ｄｅｓ
ｃｒｉｐｔｉｏｎ ｉｎｔｅｒｆａｃｅ− Ｐａｒｔ３： Ｖｉｓｕａｌ”におけるＤＤ
Ｌ表現文法（Ｄｅｓｃｒｉｐｔｉｏｎ Ｄｅｆｉｎｉｔｉｏｎ Ｌａｎｇｕａｇｅ Ｒｅ
ｐｒｅｓｅｎｔａｔｉｏｎ Ｓｙｎｔａｘ）を用いて顔特徴量の記述について表わしてい
る。
【０１３８】
ここでは、ＡｄｖａｎｃｅｄＦａｃｅＲｅｃｏｇｎｉｔｉｏｎと名付けた顔特徴の記述
について、それぞれ”ＦｏｕｒｉｅｒＦｅａｔｕｒｅ”，”ＣｅｎｔｒａｌＦｏｕｒｉｅ
ｒＦｅａｔｕｒｅ”と名付ける要素を有しており、ＦｏｕｉｒｅｒＦｅａｔｕｒｅやＣｅ
ｎｔｒａｌＦｏｕｒｉｅｒＦｅａｔｕｒｅは、符号なし５ビットの整数でそれぞれ２４次
元から６３次元の要素を持つことができることを表わしている。図１６は、そのデータ表
現に対してバイナリー表現文法（Ｂｉｎａｒｙ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ Ｓｙｎ
ｔａｘ）を用いた場合の規則を表わしており、ＦｏｕｒｉｅｒＦｅａｔｕｒｅ、Ｃｅｎｔ
ｒａｌＦｏｕｒｉｅｒＦｅａｔｕｒｅの配列要素の大きさを符号なし６ビットの整数でｎ
ｕｍＯｆＦｏｕｒｉｅｒＦｅａｔｕｒｅ、ｎｕｍＯｆＣｅｎｔｒａｌＦｏｕｒｉｅｒに格
納し、ＦｏｕｒｉｅｒＦｅａｔｕｒｅ、ＣｅｎｔｒａｌＦｏｕｒｅｉｒＦｅａｔｕｒｅの
それぞれの要素が５ビットの符号なし整数で格納されることを表わしている。
【０１３９】
本発明を用いたこのような顔特徴の記述子について、より詳細に説明する。
●ｎｕｍＯｆＦｏｕｒｉｅｒＦｅａｔｕｒｅ
このフィールドは、ＦｏｕｒｉｅｒＦｅａｔｕｒｅの配列の大きさを規定する。値の許容
範囲は、２４から６３である。
●ｎｕｍＯｆＣｅｎｔｒａｌＦｏｕｒｉｅｒＦｅａｔｕｒｅ
このフィールドは、ＣｅｎｔｒａｌＦｏｕｒｉｅｒＦｅａｔｕｒｅの配列の大きさを規定
する。値の許容範囲は、２４から６３である。
●ＦｏｕｒｉｅｒＦｅａｔｕｒｅ
この要素は、正規化顔画像のフーリエ特性の階層的ＬＤＡに基づく顔特徴を表している。
正規化顔画像は、原画像を各行４６個の輝度値を持つ５６行の画像に大きさを変換するこ
とによって得られる。正規化画像における両目の中心位置は、右目、左目がそれぞれ、２
４行目の１６列目及び３１列目に位置していなければならない。
【０１４０】
ＦｏｕｒｉｅｒＦｅａｔｕｒｅの要素は、二つの特徴ベクトルから抽出される。一つは
、フーリエスペクトルベクトルｘ１ｆであり、もう一つは、マルチブロックフーリエ強度
ベクトルｘ２ｆである。図１７は、フーリエ特徴の抽出過程を図示している。正規化画像
が与えられたら、その要素を抽出するために、次の５つの処理ステップを実行しなければ
ならない。
【０１４１】
（１）フーリエスペクトルベクトルｘ１ｆの抽出
（２）マルチブロックフーリエ強度ベクトルｘ２ｆの抽出
（３）ＰＣＬＤＡ基底行列Ψ１ｆ、Ψ２ｆを用いた特徴ベクトルの射影と、単位ベクト
ルｙ１ｆ、ｙ２ｆへの正規化
（４）ＬＤＡ基底行列Ψ３ｆを用いた、単位ベクトルの結合フーリエベクトルの射影
（５）射影ベクトルＺｆの量子化
【０１４２】
ＳＴＥＰ−１） フーリエスペクトルベクトルの抽出
与えられた正規化画像ｆ（ｘ，ｙ）に対するフーリエスペクトルＦ（ｕ，ｖ）を（数１
８）式により計算する。
【０１４３】
【数１８】
【０１４４】
ここで、Ｍ＝４６、Ｎ＝５６である。フーリエスペクトルベクトルｘ１ｆは、フーリエ
スペクトルを走査して得られる成分の集合によって定義される。図１８は、フーリエスペ
クトルの走査方法を示している。走査は、フーリエ空間における二つの領域、領域Ａと領
域Ｂ、に対して実行される。走査規則を図１９にまとめる。ここで、ＳＲ（ｕ， ｖ）は
、領域Ｒの左上の座標を表し、ＥＲ（ｕ，ｖ） は領域Ｒの右下の点をそれぞれ表す。そ
れ故に、フーリエスペクトルベクトルｘ１ｆは（数１９）式によって表現される。
【０１４５】
【数１９】
ｘ１ｆの次元数は６４４次元である。
【０１４６】
ＳＴＥＰ ２） マルチブロックフーリエ強度ベクトルの抽出
マルチブロックフーリエ強度ベクトルを正規化顔画像の部分画像のフーリエ強度から抽
出する。部分画像としては、（ａ） 全体画像、（ｂ） ４分の１画像、（ｃ） １６分
の１画像の３つのタイプの画像が使われる。
【０１４７】
（ａ）全体画像
全体画像ｆ１０（ｘ，ｙ）は、正規化画像ｆ（ｘ，ｙ）の画像境界の両側の列を取り除
き、４４ｘ５６の画像サイズに切り出すことで得ることができる。これは、（数２０）式
によって与えられる。
【０１４８】
【数２０】
【０１４９】
（ｂ）４分の１画像
４分の１画像は、全体画像ｆ１０（ｘ，ｙ）を４ブロックｆｋ１（ｘ，ｙ）（ｋ＝１，
２，３，４）に等分割することによって、得ることができる。
【０１５０】
【数２１】
ここで、ｓｋ１＝（ｋ−１）％２、ｔｋ１＝（ｋ−１）／２ である。
【０１５１】
（ｃ）１６分の１画像
１６分の１画像は、ｆ１０（ｘ，ｙ）を１６ブロックｆｋ２（ｘ，ｙ）（ｋ＝１，２，
３，・・・，１６）に等分割することによって得られ、次式によって与えられる。
【０１５２】
【数２２】
ここで、ｓｋ２＝（ｋ−１）％４、ｔｋ２＝（ｋ−１）／４ である。
【０１５３】
これらの画像から、フーリエ強度｜Ｆｋｊ（ｕ，ｖ）｜を次の（数２３）式のように計
算する。
【０１５４】
【数２３】
Ｍｊは各々の部分画像の幅を表し、Ｍ０＝４４， Ｍ１＝２２， Ｍ２＝１１である。
Ｎｊは部分画像の高さを表し、Ｎ０＝５６， Ｎ１＝２８， Ｎ２＝１４である。
【０１５５】
マルチブロックフーリエ強度ベクトルは、１） 全体画像（ｋ＝１）， ２） ４分の
１画像（ｋ＝１，２，３，４）， 及び ３） １６分の１画像（ｋ＝１，２，・・・，
１６）の順に、各々の強度｜Ｆｋｊ（ｕ，ｖ）｜の低周波数領域を走査することによって
得られる。走査領域は、図１９に定義している。
【０１５６】
それ故に、マルチブロックフーリエ強度ベクトルｘ２ｆは、（数２４）式で表現される
。
【０１５７】
【数２４】
ｘ２ｆの次元数は８５６次元である。
【０１５８】
ＳＴＥＰ ３） ＰＣＬＤＡ 射影とベクトル正規化
フーリエスペクトルベクトルｘ１ｆとマルチブロックフーリエ強度ベクトルｘ２ｆをそ
れぞれＰＣＬＤＡ基底行列Ψ１ｆとΨ２ｆを用いて射影し、単位ベクトルｙ１ｆとｙ２ｆ
に正規化する。正規化ベクトルｙｋｆ （ｋ＝１，２） は次式によって与えられる。
【０１５９】
【数２５】
ここで、ＰＣＬＤＡ 基底行列Ψｋｆと平均ベクトルｍｋｆは、ｘｋｆの主成分の判別
分析によって得られる基底行列と射影して得られる平均ベクトルであり、予め計算してあ
るテーブルを参照する。ｙ１ｆとｙ２ｆ の次元数はそれぞれ７０次元と８０次元である
。
【０１６０】
ＳＴＥＰ ４） 結合フーリエベクトルのＬＤＡ射影
正規化ベクトルｙ１ｆとｙ２ｆを１５０次元の結合フーリエベクトルｙ３ｆを成すよう
に連結し、ＬＤＡ基底行列を用いて射影する。射影ベクトルｚｆは次式で与えられる。
【０１６１】
【数２６】
【０１６２】
ＳＴＥＰ ５） 量子化
ｚｆの要素を次式を用いて５ビットの符号なし整数の範囲に丸める。
【０１６３】
【数２７】
【０１６４】
量子化された要素は、ＦｏｕｒｉｅｒＦｅａｔｕｒｅの配列として保存する。Ｆｏｕｒ
ｉｅｒＦｅａｔｕｒｅ［０］ は、量子化された第一要素ｗ０ｆを表し、Ｆｏｕｒｉｅｒ
Ｆｅａｔｕｒｅ［ｎｕｍＯｆＦｏｕｒｉｅｒＦｅａｔｕｒｅ−１］ は、第ｎｕｍＯｆＦ
ｏｕｒｉｅｒＦｅａｔｕｒｅ番目の要素ｗｆｎｕｍＯｆＦｏｕｒｉｅｒＦｅａｔｕｒｅ−
１に対応する。
【０１６５】
●ＣｅｎｔｒａｌＦｏｕｒｉｅｒＦｅａｔｕｒｅ
この要素は、正規化顔画像の中心部分のフーリエ特性の階層的ＬＤＡに基づく顔特徴を
表している。ＣｅｎｔｒａｌＦｏｕｒｉｅｒＦｅａｔｕｒｅはＦｏｕｒｉｅｒＦｅａｔｕ
ｒｅと同様な方法により抽出する。
【０１６６】
中心部分ｇ（ｘ，ｙ）は、次式に示すように画像ｆ（ｘ，ｙ）の始点（７，１２）から
３２ｘ３２画素の大きさに切り出すことによって得られる。
【０１６７】
【数２８】
【０１６８】
ＳＴＥＰ １） フーリエスペクトルベクトルの抽出
ｇ（ｘ，ｙ） のフーリエスペクトルＧ（ｕ，ｖ）を（数２９）式によって計算する。
【０１６９】
【数２９】
ここで、Ｍ＝３２， Ｎ＝３２である。２５６次元のフーリエスペクトルベクトルｘ１
ｇ は、フーリエスペクトルＧ（ｕ，ｖ）を図２０で定義したように走査することによっ
て得ることができる。
【０１７０】
ＳＴＥＰ ２） マルチブロックフーリエ強度ベクトルの抽出
マルチブロックフーリエ強度ベクトルｘ２ｇを（ａ） 中心部分ｇ１０（ｘ，ｙ），
（ｂ） ４分の１画像ｇｋ１（ｘ，ｙ）（ｋ＝１，２，３，４）， 及び（ｃ） １６分
の１画像ｇｋ２（ｘ，ｙ）（ｋ＝１，２，３，・・・，１６）のフーリエ強度から抽出す
る。
【０１７１】
（ａ）中心部分
【０１７２】
【数３０】
【０１７３】
（ｂ）４分の１画像
【０１７４】
【数３１】
ここで、ｓｋ１＝（ｋ−１）％２、ｔｋ１（ｋ−１）／２ である。
【０１７５】
（ｃ）１６分の１画像
【０１７６】
【数３２】
ここで、ｓｋ２＝（ｋ−１）％４、ｔｋ２＝（ｋ−１）／４ である。
【０１７７】
それぞれの画像のフーリエ強度｜Ｇｋｊ（ｕ，ｖ）｜を、（数３３）式のように計算す
る。
【０１７８】
【数３３】
ここで、Ｍ０＝３２，Ｍ１＝１６， Ｍ２＝８， Ｎ０＝３２， Ｎ１＝１６， Ｎ２
＝８である。マルチブロックフーリエ強度ベクトルｘ２ｇは、図２０に定義するようにそ
れぞれの強度｜Ｇｋｊ（ｕ，ｖ）｜を走査することによって得られる。
【０１７９】
ＳＴＥＰ ３−５）の処理は、ＦｏｕｒｉｅｒＦｅａｔｕｒｅと同じである。Ｃｅｎｔ
ｒａｌＦｏｕｒｉｅｒＦｅａｔｕｒｅのための基底行列Ψ１ｇ，Ψ２ｇ，Ψ３ｇ および
平均ベクトルｍ１ｇ，ｍ２ｇ もまたそれぞれの予め計算してテーブルとして用意してお
いたものを参照する。
【０１８０】
ＣｅｎｔｒａｌＦｏｕｒｉｅｒＦｅａｔｕｒｅの配列の大きさは、ｎｕｍＯｆＣｅｎｔ
ｒａｌＦｏｕｒｉｅｒＦｅａｔｕｒｅに制限される。
【０１８１】
このようにして得られた顔特徴記述データは、記述長がコンパクトでありながら、高い
認識性能を有する顔特徴の記述データとなり、データの保存や伝送に効率的な表現となる
。
【０１８２】
なお、本発明をコンピュータで動作可能なプログラムで実現してもかまわない。この場
合、第五の実施の形態であれば、図１７中のステップ１〜ステップ５で示された機能をコ
ンピュータが読み取り可能なプログラムで記述し、このプログラムをコンピュータ上で機
能させることで本発明を実現可能である。また図１７に記載された例を装置として構成す
る場合は、図２１のブロック図に記載された機能の全部または一部を実現すればよい。
【符号の説明】
【０１８３】
１１： 第一の線形変換手段１１
１２： 第二の線形変換手段１２
１３： 第三の線形変換手段１３
１４： 第一の判別行列記憶手段１４
１５： 第二の判別行列記憶手段１５
１６： 第三の判別行列記憶手段１６
【技術分野】
【０００１】
本発明は、パターン認識の分野における画像特徴抽出方法および画像特徴抽出装置、な
らびにそのプログラムに関し、入力特徴ベクトルから、認識に有効な特徴ベクトルを抽出
し、特徴次元を圧縮するための特徴ベクトルの変換技術に関する。
【背景技術】
【０００２】
従来より、パターン認識の分野では、入力されたパターンから特徴ベクトルを抽出し、
その特徴ベクトルから識別に有効な特徴ベクトルを抽出し、各々のパターンから得られた
特徴ベクトルを比較することによって、例えば、文字や人物の顔などのパターンの類似度
を判定することが行われている。
【０００３】
例えば、顔認識の場合では、目の位置等によって正規化された顔画像の画素値をラスタ
ー走査することで、一次元特徴ベクトルに変換し、この特徴ベクトルを入力特徴ベクトル
として用い、主成分分析（非特許文献１：Ｍｏｇｈａｄｄａｍ他， ”Ｐｒｏｂａｂｉｌ
ｉｓｔｉｃ Ｖｉｓｕａｌ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉ
ｏｎ”， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎＰａｔｔｅｒｎ Ａｎａｌｙｓｉ
ｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ． １７， Ｎｏ．
７， ｐｐ．６９６−７１０， １９９７）や特徴ベクトルの主成分に対して線形判別
分析（非特許文献２：Ｗ． Ｚｈａｏ他， ”Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓ
ｉｓ ｏｆ Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔｓ ｆｏｒ Ｆａｃｅ Ｒｅｃｏ
ｇｎｉｔｉｏｎ，” Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｔｈｉｒｄ
Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｕｔｏｍａｔｉｃ Ｆａ
ｃｅ ａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ， ｐｐ． ３３６−３４１，
１９９８）を行うことで次元を削減し、得られた特徴ベクトルを用いて、顔による個人
の同定等を行う。
【０００４】
これらの方法では、予め用意した学習サンプルに対して、共分散行列やク ラス内共分
散行列・クラス間共分散行列を計算し、それらの共分散行列における固有値問題の解とし
て得られる基底ベクトルを求め、これらの基底ベクトルを用いて、入力特徴ベクトルの特
徴を変換する。
【０００５】
ここで、線形判別分析についてより詳しく説明する。
線形判別分析は、Ｎ次元特徴ベクトルｘがあるときに、この特徴ベクトルをある変換行
列Ｗによって変換したときに得られるＭ次元ベクトルｙ（＝ＷＴｘ）のクラス内共分散行
列 ＳＷに対するクラス間共分散行列ＳＢの比を最大化するような変換行列Ｗを求める方
法である。このような分散比の評価関数として、行列式を用いて評価式の（数１）が定
義される。
【０００６】
【数１】
【０００７】
ここで、クラス内共分散行列ΣＷおよびクラス間共分散行列ΣＢは、学習サンプルにお
ける特徴ベクトルｘの集合におけるＣ個のクラスωｉ（ｉ＝１，２，．．．，Ｃ；それら
のデータ数ｎｉ）のそれぞれの内部における共分散行列Σｉとクラスの間の共分散行列で
あり、それぞれ（数２）および（数３）によって表される。
【０００８】
【数２】
【０００９】
【数３】
【００１０】
ここで、ｍｉはクラスωｉの平均ベクトル（数４）、ｍはパターン全体におけるｘの平
均ベクトルである（数５）。
【００１１】
【数４】
【００１２】
【数５】
【００１３】
各クラスωｉの事前確率Ｐ（ωｉ）が、予めサンプル数ｎｉを反映しているならば、Ｐ
（ω ｉ）＝ｎｉ／ｎを仮定すれ ばよい。そうでなく等確率を仮定できるならば、Ｐ（
ωｉ）＝１／Ｃとすればよい。
【００１４】
（数１）を最大にする変換行列Ｗは、列ベクトルｗｉの固有値問題である（数６）のＭ
個の大きい固有値に対応する一般化された固有ベクトルのセットとして求められる。この
ようにして求められた変換行列Ｗを判別行列と呼ぶ。
【００１５】
【数６】
【００１６】
なお従来の線形判別分析法については、例えば、非特許文献５：「パターン識別」 （
Ｒｉｃｈａｒｄ Ｏ． Ｄｕｄａ他、尾上守夫監訳、新技術コミュニケーションズ，２０
０１年， ｐｐ．１１３−１２２）に記載されている。
【００１７】
入力特徴ベクトルｘの次元数が特に大きい場合、少ない学習データを用いた場合にはΣ
Ｗが正則ではなくなり、（数６）の固有値問題を通常の方法では解くことができなくなる
。
【００１８】
また、特許文献１：特開平７−２９６１６９号公報でも述べられているように、共分散
行列の固有値が小さい高次成分は、パラメータの推定誤差が大きいことが知られており、
これが認識精度に悪影響を与える。
【００１９】
このため、前述のＷ． Ｚｈａｏらの論文では入力特徴ベクトルの主成分分析を行い、
固有値が大きな主成分に対して、判別分析を適用している。つまり、図２に示すように、
主成分分析によって得られる基底行列を用いて入力特徴ベクトルを射影することで主成分
を抽出した後に、判別分析によって得られる判別行列を基底行列として、主成分を射影す
ることで、識別に有効な特徴ベクトルの抽出を行う。
【００２０】
また、特許文献１：特開平７−２９６１６９号公報に記載されている特徴変換行列の演
算方式では、 全共分散行列ΣＴの高次の固有値及び対応する固有ベクトルを削除等する
ことによって、次元数を削減し、削減された特徴空間において、判別分析を適用している
。これも全共分散行列の高次の固有値及び対応する固有ベクトルを削除することが主成分
分析によって、固有値が大きな主成分のみの空間で判別分析を行うという意味では、Ｗ．
Ｚｈａｏの方法と同様に 高次特徴を除去し、安定なパラメータ推定を行う効果をもた
らす。
【先行技術文献】
【特許文献】
【００２１】
【特許文献１】特開平７−２９６１６９号公報
【非特許文献】
【００２２】
【非特許文献１】Ｍｏｇｈａｄｄａｍ他， ”Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｖｉｓｕａｌ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ． １７， Ｎｏ． ７， ｐｐ．６９６−７１０， １９９７）
【００２３】
【非特許文献２】Ｗ． Ｚｈａｏ他，”Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ ｏｆ Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔｓ ｆｏｒ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ，” Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｔｈｉｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｕｔｏｍａｔｉｃ Ｆａｃｅ ａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ， ｐｐ． ３３６−３４１， １９９８）
【００２４】
【非特許文献３】Ｋｅｒｎｅｌ−ｂａｓｅｄ Ｏｐｔｉｍｉｚｅｄ Ｆｅａｔｕｒｅ Ｖｅｃｔｏｒｓ Ｓｅｌｅｃｔｉｏｎ ａｎｄ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ ｆｏｒ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ，”Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ＩＡＰＲ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＩＣＰＲ）， Ｖｏｌ．ＩＩ， ｐｐ． ３６２−３６５， ２００２
【００２５】
【非特許文献４】Ｇｅｎｅｒａｌｉｚｅｄ Ｄｉｓｃｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ Ｕｓｉｎｇ ａ Ｋｅｒｎｅｌ Ａｐｐｒｏａｃｈ，”Ｎｕｅｕｒａｌ Ｃｏｍｐｕｔａｔｉｏｎ， Ｖｏｌ．１２， ｐｐ２３８５−２４０４， ２０００
【００２６】
【非特許文献５】「パターン識別」 （Ｒｉｃｈａｒｄ Ｏ． Ｄｕｄａ他、尾上守夫監訳、新技術コミュニケーションズ，２００１年， ｐｐ．１１３−１２２）
【発明の概要】
【発明が解決しようとする課題】
【００２７】
しかしながら、全共分散行列ΣＴを用いた主成分分析は、特徴空間内での分散が大きい
軸方向に順番に直交する軸を選択しているに過ぎず、パターン識別の性能とは無関係に特
徴軸の選択が行われる。このために、パターン識別に有効な特徴軸が失われる。
【００２８】
例えば、特徴ベクトルｘが３つの要素からなっており（ｘ＝ （ｘ１，ｘ２，ｘ３）Ｔ
）、ｘ１やｘ２の分散は大きいが、パターン識別には無関係な特徴であり、ｘ３ はパタ
ーン識別には有効だが、分散が小さい場合（クラス間分散／クラス内分散、つまりフィッ
シャ比が大きいが、それぞれの分散の値自体はｘ１やｘ２に比較して十分に小さい場合）
に主成分分析を行ない、２次元だけを選択すると、ｘ１やｘ２に関わる特徴空間が選択さ
れてしまい、識別に有効なｘ３の寄与は無視されてしまう。
【００２９】
この現象を図を用いて説明すれば、図３の（ａ）が ｘ１とｘ２が張る平面におおよそ
垂直な方向から見たデータの分布で、黒丸と白丸がクラスの違うデータ点を表していると
する。ｘ１と ｘ２が張る空間（この図では、平面）で見た場合、黒丸と白丸を識別でき
ないが、図３（ｂ）のようにこの平面と直交するｘ３の特徴軸で見ると、黒丸の白丸は分
離すること ができる。しかし、分散の大きい軸を選択してしまうと、ｘ１とｘ２で張る
平面が 特徴空間として選ばれ図３の（ａ）を見て判別を行おうとすることに等しく、判
別を行うことが困難となる。
【００３０】
これは、従来の技術で、主成分分析や（全）共分散行列の固有値の小さい空間を削除す
るという技術では避けられない現象である。
【００３１】
本発明は、前述のような従来技術の問題点に鑑み、入力のパターン特徴ベクトルから、
判別に有効な特徴ベクトルを抽出し、特徴次元を圧縮する際に、判別に有効な特徴量の削
減を抑制し、より効率の良い特徴抽出を行うための特徴ベクトルの変換技術を提供するこ
とにある。
【課題を解決するための手段】
【００３２】
本発明によれば、パターン特徴を線形変換を用いて特徴次元を圧縮するパターン特徴抽
出方法において、パターン特徴を複数の特徴ベクトルｘｉで表現し、それぞれの特徴ベク
トルｘｉに対して、線形判別分析により求められる各特徴ベクトルの判別行列Ｗｉを予め
求め、さらにそれらの判別行列を用いてベクトルｘｉを線形変換することによって得られ
る各ベクトルｙｉを合わせた特徴ベクトルｙについて、線形判別分析により判別行列ＷＴ
を予め求めておき、前記の判別行列Ｗｉおよび判別行列ＷＴによって特定される線形変換
によって、パターンの特徴ベクトルを変換することで、特徴次元を圧縮することを特徴と
する。
【００３３】
前記のパターン特徴抽出方法において、パターン特徴を複数の特徴ベクトルｘｉに分割
し、それぞれの特徴ベクトルｘｉについて、判別行列Ｗｉを用いて、線形変換ｙｉ＝Ｗｉ
Ｔｘｉを行い特徴ベクトルｙｉを算出し、算出された特徴ベクトルｙｉを合わせたベクト
ルｙについて、判別行列ＷＴを用いて、線形変換ｚ＝ＷＴＴｙを計算し、特徴ベクトルｚ
を算出することで、パターン特徴の次元数を圧縮することを特徴とする。
【００３４】
また、前記のパターン特徴抽出方法において、それぞれの判別行列ＷｉおよびＷ Ｔに
よって特定される行列Ｗを予め計算しておき、前記行列Ｗを用いて、入力特徴ベクトルｘ
ｉを合わせた特徴ベクトルｘと行列Ｗの線形変換ｚ＝ＷＴｘを計算し、特徴ベクトルｚを
算出することで、パターン特徴の次元数を圧縮してもよい。
【００３５】
この発明を画像に対して適用する場合には、画像から特徴量を抽出し、得られた特徴を
線形変換を用いて特徴次元を圧縮することで画像特徴を抽出することを特徴とする画像特
徴抽出方法において、画像中の予め定めた複数のサンプル点集合Ｓｉについて、複数のサ
ンプル点から得られる画素値からなる特徴ベクトルｘｉとして抽出し、それぞれの特徴ベ
クトルｘｉに対して、線形 判別分析により求められる各特徴ベクトルの判別行列Ｗｉを
予め求め、さらにそれらの判別行列を用いて ベクトルｘｉを線形変換することによって
得られる各ベクトルｙｉを合わせた特徴ベクトルｙについて、線形判別分析により判別行
列ＷＴを予め求めておき、前記判別行列Ｗｉおよび前記判別行列ＷＴによって特定される
線形変換によって、画像サンプル集合毎の特徴ベクトルを変換することで、画像から特徴
量を抽出することを特徴とする。
【００３６】
その一つの方法として、複数のサンプル点からなる複数の特徴ベクトルｘｉについて、
判別行列Ｗｉを用いて、線形変換ｙｉ＝ＷｉＴｘｉを行い特徴ベクトルｙｉを算出し、算
出された特徴ベクトルｙｉを合わせたベクトルｙについて、判別行列ＷＴを用いて、線形
変換ｚ＝ＷＴＴｙを計算し、特徴ベクトルｚを算出することで、画像から特徴量を抽出す
ればよい。
【００３７】
また、前述の画像特徴抽出方法において、それぞれの判別行列ＷｉおよびＷＴによって
特定される行列Ｗを予め計算しておき、前記行列Ｗを用いて、特徴ベクトルｘｉを合わせ
たベクトルｘと行列Ｗの線形変換ｚ＝ＷＴｘを計算し、特徴ベクトルｚを算出することで
、画像から特徴量を抽出してもよい。
【００３８】
また、画像を予め定めた複数の局所領域に分割し、その複数の局所領域毎に特徴量を抽
出し、それらの特徴量を特徴ベクトルｘｉとして表現し、それぞれの特徴ベクトルｘｉに
対して、線形判別分析により求められる各特徴ベクトルの判別行列Ｗｉを予め求め、さら
にそれらの判別行列を用いてベクトルｘｉを線形変換することによって得られる各ベクト
ルｙｉを合わせた特徴ベクトルｙについて、線形判別分析により判別行列ＷＴを予め求め
ておき、前記判別行列Ｗｉおよび前記判別行列ＷＴによって特定される線形変換によって
、局所領域の特徴ベクトルを変換することで、画像から特徴量を抽出すればよい。
【００３９】
前述の画像特徴抽出方法において、画像の局所領域の特徴ベクトルｘｉについて、 判
別行列Ｗｉを用いて、線形変換ｙｉ＝ＷｉＴｘｉを行い特徴ベクトルｙｉを算出し、算出
された特徴ベクトルｙｉを合わせたベクトルｙについて、判別行列ＷＴを用いて、線形変
換ｚ＝ＷＴＴｙを計算 し、特徴ベクトルｚを算出することで、画像から特徴量を抽出す
る。
【００４０】
あるいは、前述の画像特徴抽出方法において、それぞれの判別行列ＷｉおよびＷＴによ
って特定される行列Ｗを予め計算しておき、前記行列Ｗを用いて、特徴ベクトルｘｉを合
わせたベクトルｘと行列Ｗの線形変換ｚ＝ＷＴｘを計算し、特徴ベクトルｚを算出するこ
とで、画像から特徴量を抽出してもよい。
【００４１】
本発明の画像から特徴量を抽出することを特徴とする画像特徴抽出方法の有効な実施方
法として、画像から特徴量を抽出し、得られた特徴を線形変換を用いて特徴次元を圧縮す
ることで画像特徴を抽出することを特徴とする画像特徴抽出方法において、画像を二次元
フーリエ変換し、二次元フーリエ変換の実数成分と虚数成分を特徴ベクトルｘ１として抽
出し、二次元フーリエ変換のパワースペクトラムを算出し、そのパワースペクトラムを特
徴ベクトルｘ２として抽出し、それぞれの特徴ベクトルｘｉ（ｉ＝１，２）に対して、線
形判別分析により求められる各特徴ベクトルの判別行列Ｗｉを求め、さらにそれらの判別
行列を用いてベクトルｘｉを線形変換することによって得られる各ベクトルｙｉを合わせ
た特徴ベクトルｙについて、線形判別分析により判別行列ＷＴを予め求めておき、前記判
別行列Ｗｉおよび前記判別行列ＷＴによって特定される線形変換によって特徴ベクトルを
変換することを特徴とする。
【００４２】
また、画像から特徴量を抽出し、得られた特徴を線形変換を用いて特徴次元を圧縮する
ことで画像特徴を抽出することを特徴とする画像特徴特徴抽出方法において、画像を二次
元フーリエ変換し、二次元フーリエ変換の実数成分と虚数成分を特徴ベクトルｘ１として
抽出し、二次元フーリエ変換のパワースペクトラムを算出し、そのパワースペクトラムを
特徴ベクトルｘ２として抽出し、それぞれの特徴ベクトルｘｉ（ｉ＝１，２）の主成分に
対して、線形判別分析により求められる各特徴ベクトルの判別行列Ｗｉを求め、さらにそ
れらの判別行列を用いてベクトルｘｉを線形変換することによって得られる各ベクトルｙ
ｉを合わせた特徴ベクトルｙについて、線形判別分析により判別行列ＷＴを予め求めてお
き、特徴ベクトルｘｉの主成分に対する判別行列 Ｗｉおよび判別行列ＷＴによって特定
される線形変換によって、フーリエ成分の実成分と虚成分に対する特徴ベクトルｘ１とフ
ーリエ成分のパワースペクトラムに対する特徴ベクトルｘ２を次元削減するように変換す
ることで、画像から特徴量を抽出することを特徴とする。
【００４３】
前述の画像特徴抽出方法において、 フーリエ変換による実数成分と虚数成分による特
徴ベクトルｘ１を主成分に変換する変換行列Ψ１と、その主成分に対する判別行列Ｗ１に
よって表される基底行列Φ１（＝（Ｗ１ＴΨ１Ｔ）Ｔ）を用いて、特徴ベクトルｘ１の主
成分の判別特徴を線形変換ｙ１＝Φ１Ｔｘ１により算出し、得られた特徴ベクトルｙ１の
大きさを予め定めた大きさに正規化し、また、フーリエ変換によるパワースペクトラムに
よる特徴ベクトルｘ２を主成分に変換する変換行列Ψ２と、その主成分に対する判別行列
Ｗ２によって表される基底行列Φ２（＝（Ｗ２ＴΨ２Ｔ）Ｔ）を用いて、特徴ベクトルｘ
２の主成分の判別特徴を線形変換ｙ２＝Φ２Ｔｘ２により算出し、得られた特徴ベクトル
ｙ２の大きさを予め定めた大きさに正規化し、二つの特徴ベクトルｙ１とｙ２を合わせた
特徴ベクトルｙについて、判別行列ＷＴを用いて、線形変換ｚ＝ＷＴＴｙを計算し、特徴
ベクトルｚを算出することで、画像から特徴量を抽出することを特徴とする。
【発明の効果】
【００４４】
本発明によるパターン特徴抽出により、入力のパターン特徴ベクトルから、その要素ベ
クトル毎に判別分析による判別に有効な特徴ベクトルを抽出し、得られた特徴ベクトルを
再度判別分析による判別行列を用いた特徴抽出を行うことで、特徴次元を圧縮する際に、
判別に有効な特徴量の削減を抑制し、より効率の良い特徴抽出を行うための特徴ベクトル
の変換を行うことができる。
【００４５】
特にパターンの特徴量が多いにも関わらず、判別分析を行う際に必要な学習サンプル数
が限られているような場合に特に有効であり、必ずしも主成分分析を用いることなく、識
別に有効な特徴の損失を抑えた上で特徴次元数を削減することができる。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施形態によるパターン特徴抽出装置の構成を示すブロック図である。
【図２】従来技術を説明するための図である。
【図３】パターン特徴の分布を説明するための図である。
【図４】本発明による第二の実施形態によるパターン特徴抽出装置の構成を示すブロック図である。
【図５】本発明による実施形態を説明するための図である。
【図６】本発明による実施形態を説明するための図である。
【図７】本発明による第三の実施形態による顔画像マッチングシステムの 構成を示すブロック図である。
【図８】本発明による実施形態を説明するための図である。
【図９】本発明による実施形態を説明するための図である。
【図１０】本発明による実施形態を説明するための図である。
【図１１】本発明による実施形態を説明するための図である。
【図１２】本発明による実施形態を説明するための図である。
【図１３】本発明による実施形態を説明するための図である。
【図１４】本発明による実施形態を説明するための図である。
【図１５】本発明の第五の実施の形態における顔記述の一例を示すための図である。
【図１６】本発明の第五の実施の形態におけるバイナリー表現文法（Ｂｉｎａｒｙ ＲｅｐｒｅｓｅｎｔａｔｉｏｎＳｙｎｔａｘ）を用いた場合の規則の一例を示す図である。
【図１７】本発明の第５の実施の形態におけるフーリエ特徴（ＦｏｕｒｉｅｒＦｅａｔｕｒｅ）を抽出するための説明図である。
【図１８】本発明の第５の実施の形態におけるフーリエスペクトルの走査方法の一例を示すための図である。
【図１９】本発明の第５の実施の形態におけるフーリエスペクトルの走査規則の一例を示すためのテーブルである。
【図２０】本発明の第５の実施の形態におけるＣｅｎｔｒａｌＦｏｕｒｉｅｒＦｅａｔｕｒｅ要素のためのフーリエ空間における走査領域の一例を示すテーブルである。
【図２１】本発明の第５の実施の形態におけるブロック図の一例を示す図である。
【発明を実施するための形態】
【００４７】
（第一の実施の形態）
本発明の実施の形態について図面を参照して詳細に説明する。図１は、本発明のパター
ン特徴抽出装置を用いたパターン特徴抽出装置を示すブロック図である。
【００４８】
以下、パターン特徴抽出装置について詳細に説明する。
図１に示すように、本発明によるパターン特徴抽出装置は、入力特徴ベクトルｘ１を線形
変換する第１の線形変換手段１１と、入力特徴ベクトルｘ２を線形変換する第２の線形変
換手段１２と、線形変換手段１１と線形変換手段１２によって変換し、次元削減された特
徴ベクトルを入力として、線形変換を行う第３の線形変換手段１３を備える。前述のそれ
ぞれの線形変換手段は、それぞれ対応した判別行列記憶手段１４、１５、１６に記憶され
ている予め学習によって求めておいた判別行列を用いて、判別分析による基底変換を行う
。
【００４９】
入力される特徴ベクトルｘ１、ｘ２は、文字認識や顔認識などでそれらの目的に応じて
抽出される特徴量であり、例えば画像の勾配特性から計算される方向特徴や画像の画素値
そのものである濃淡特徴等で、複数の要素がある。この際に、例えば、Ｎ１個の方向特徴
を一方の特徴ベクトルｘ１として、もう一方のＮ２個の濃淡値を特徴ベクトルｘ２として
入力する。
【００５０】
判別行列記憶手段１４や判別行列記憶手段１５は、特徴ベクトルｘ１および特徴ベクト
ルｘ２について、線形判別分析を行い、これにより得られる判別行列Ｗ１、Ｗ２をそれぞ
れ記憶する。
【００５１】
判別行列は、前述したように予め用意した学習サンプルにおける特徴ベクトルについて
、そのクラスに応じて、クラス内共分散行列ΣＷ（（数２））、クラス間共分散行列ΣＢ
（（数３））を計算すればよい。また、各クラスωｉの事前確率Ｐ（ωｉ）は、サンプル
数ｎｉを反映させて、Ｐ（ωｉ）＝ｎｉ／ｎとすればよい。
【００５２】
これらの共分散行列に対して、（数６）で表される固有値問題の大きい固有値に対応す
る固有ベクトルｗｉを選択することで、判別行列を予め求めておくことができる。
【００５３】
それぞれの特徴ベクトルｘ１、ｘ２について、入力特徴次元Ｎ１やＮ２よりも小さいＭ
１次元、Ｍ２次元の基底を選ぶとすると、判別基底への射影変換によってそれぞれＭ１、
Ｍ２次元の特徴ベクトルｙ１、ｙ２を得ることができる。
【００５４】
【数７】
【００５５】
ここで、Ｗ１、Ｗ２の行列の大きさは、それぞれＭ１×Ｎ１、Ｍ２×Ｎ２となる。
射影する特徴空間の次元数Ｍ１、Ｍ２を大幅に小さくすることによって、効率良く特徴次
元数を削減でき、データ量の削減や高速化に効果があるが、特徴次元数を大幅に小さくし
すぎる場合には、判別性能の劣化をもたらす。これは、特徴次元数を削減することによっ
て、判別に有効な特徴量が失われるためである。
【００５６】
このため、特徴ベクトルの次元数Ｍ１やＭ２等は、学習サンプル数との兼ね合いに影響
されやすい量であり、実験に基づいて定めることが望ましい。
【００５７】
第３の線形変換手段１３では、第１および第２の線形変換手段によって計算されたｙ１
、ｙ２を入力特徴ベクトルｙとして、判別空間への射影を行う。判別行列記憶手段１６に
登録しておく判別行列Ｗ３は、第１、第２の判別行列を計算した場合と同様に学習サンプ
ルから求める。但し、入力特徴ベクトルｙは次の（数８）で表されるように、要素を並べ
たベクトルである。
【００５８】
【数８】
【００５９】
（数７）と同様に基底行列Ｗ３（行列の大きさは、Ｌ×（Ｍ１＋Ｍ２））によって、Ｌ
次元の特徴ベクトルｙを（数９）により射影し、出力となる特徴ベクトルｚを得る。
【００６０】
【数９】
【００６１】
このように特徴ベクトルをそれぞれ分割して、少ない次元数の特徴ベクトルの学習サン
プルに対して、線形判別分析を行うことによって、高い次元の特徴成分で生じやすい推定
誤りを抑制し、且つ、判別に有効な特徴を捉えることができる。
【００６２】
前述の例では、３つの線形変換手段を備えて、並列的・段階的に処理を行う場合につい
て示したが、線形判別手段は、基本的に積和演算器を備えていれば実現できるので、線形
変換を行う入力特徴ベクトルに合わせて、読み出す判別行列を切替え線形変換手段を使い
回すように実現することも可能である。このように一つの線形変換手段を使うことで、必
要な演算器の規模を小さくすることができる。
【００６３】
さらに、出力特徴ベクトルｚの演算は、（数７）、（数８）、（数９）から分かるよう
に、（数１０）と書き表すことができる。
【００６４】
【数１０】
【００６５】
つまり、各判別行列を用いた線形変換は、一つの行列による線形変換にまとめることが
できる。段階的な演算を行う場合の積和演算回数は、Ｌ×（Ｍ１＋Ｍ２）＋Ｍ１Ｎ１＋Ｍ
２Ｎ２であり、一つの行列にまとめた場合には、Ｌ×（Ｎ１＋Ｎ２）となり、例えば、Ｎ
１＝Ｎ２＝５００、Ｍ１＝Ｍ２＝２００、Ｌ＝１００ とした場合には、段階的な演算で
２４０，０００回の積和演算が必要となり、後者の演算では１００，０００回の積和演算
が必要となり、後者のような一括演算を行う場合の方が演算量が少なく、高速な演算が可
能となる。式からも分かるように最終的な次元数Ｌを小さくする場合には、一括的な演算
方法を用いた方が演算量を削減することができ、有効である。
【００６６】
（第二の実施の形態）
さて、前述の例では、方向特徴と濃淡特徴というように特徴の種類が異なる場合の特徴
を融合する際に、それぞれの特徴毎に判別分析を施した特徴ベクトルに対して、繰り返し
判別分析を行っているが、一つの特徴に対する複数要素を複数の特徴ベクトルに分割して
、それぞれの要素集合を入力特徴として判別分析し、その射影されたベクトルをさらに判
別分析しても構わない。
【００６７】
第二の実施例では、顔画像の特徴抽出装置について説明する。
第二の発明による顔画像特徴抽出装置では、図４に示すように入力顔画像の濃淡特徴を
分解する画像特徴分解手段４１と、特徴ベクトルに対応する判別行列に従って特徴ベクト
ルを射影する線形変換手段４２と、前記のそれぞれの判別行列を記憶する判別行列記憶手
段４３を備えている。
【００６８】
顔画像の特徴抽出する技術については、前述のＷ．Ｚｈａｏらの論文に示されているよ
うに、顔画像を目位置などで位置合わせした後に、その濃淡値をベクトル特徴とする方法
がある。
【００６９】
第二の発明でも原特徴としてはどうように画像の画素の濃淡値を入力特徴として取り扱
うが、画像サイズが例えば左右の目の中心位置を（１４，２３）、（２９，２３）の座標
に正規化した４２×５４画素＝２３５２次元と大きな画像特徴となる。このような大きな
特徴次元では、限られた学習サンプルを用いて直接的に線形判別分析を行っても精度良い
特徴抽出を行うことは困難であり、画像特徴の要素を分解し、その分解された特徴に対し
て判別分析を行い、判別行列を求めることで、主成分分析等を適用した場合に生じる特徴
の劣化を抑制する。
【００７０】
画像特徴を分解するための方法の一つが画像を分割することであり、例えば、図５に示
すように画像を一つの大きさが１４×１８画素（＝２５２次元）の大きさに９分割し、そ
れぞれの大きさの局所画像を特徴ベクトルｘｉ（ｉ＝１，２，３，．．．，９）とし、そ
れぞれの部分画像に対して学習サンプルを用いて判別分析を行い、それぞれの特徴ベクト
ルに対応する判別行列Ｗｉを求めておく。
【００７１】
なお、画像を分割する際に領域間にオーバーラップを持たせておくことで、その境界領
域の画素間の相関に基づく特徴量を特徴ベクトルに反映させることができるので、オーバ
ーラップをさせてサンプルするようにしておいてもよい。
【００７２】
特徴次元数が２５２次元と原画像より大幅に少なくなることで、人数で数百人程度の各
人の画像を数枚、計数千枚程度の顔画像をサンプルとすることで、判別分析による基底行
列を精度を保って計算することができる。これが原特徴のまま（２３５２次元）と大きい
場合には、判別分析による特徴で性能を得るためには、数千名以上の顔画像サンプルを必
要となることが予想されるが、実際問題としてこのような大規模な画像データを収集する
ことは困難であるために、実現できない。
【００７３】
第一段階の判別特徴によって、例えば、各局所領域毎に２０次元の特徴に 圧縮すると
すると、それらの出力特徴ベクトルは、９領域×２０次元＝１８０次元の特徴ベクトルと
なる。この特徴ベクトルに対してさらに判別分析を行うことで、次元数を例えば５０次元
程度に効率的に圧縮できる。この第二段階目の判別行列も判別行列記憶手段４３に記憶し
、線形変換手段４２により、第一段階の判別特徴の１８０次元ベクトルを入力として、再
度判別分析を行う。なお、予め第一段目の判別行列と第二段目の判別行列を（数１０）で
示したように予め計算しておいてもよいが、２５２次元×９領域を２０次元×９領域に圧
縮し、その１８０次元を５０次元に変換する場合では、二段階に分けて計算した方が使用
メモリも、演算量も半分以下となるので、効率的である。
【００７４】
このように局所的・段階的に判別分析を適用することで、識別能力の高い顔特徴を抽出
することができるようになる。これは、文字認識でいえば、例えば「大」と「犬」の識別
を行おうとしたときに、文字画像全体を主成分分析して固有値が大きい成分抜き出すと、
「大」と「犬」を識別する「｀」の特徴が失われてしまいやすい（このため、類似文字識
別では主成分分析による固有値が大きい部分の特徴よりも、ある特定の高次特徴を用いる
ことが行われる場合もある）。局所領域に分割して判別特徴を抜き出すことの有効性は、
文字認識 における類似文字識別における現象と類似しており、識別しやすい特徴を空間
的に限定することで、全体的に主成分の判別分析を行う場合よりも、単位次元 あたり
の精度を確保できるようになると考えられる。
【００７５】
また、画像特徴分割手段４１では、局所領域毎に画像を分割して、特徴ベクトルを構成
するのではなく、画像全体からサンプリングして分割してもよい。例えば、一次特徴を９
分の１の２５２次元の９つのベクトルに分割する場合には、図６に示すように３ｘ３の領
域からサンプリングする。つまり、サンプリングされた画像は、僅かな位置の違いのある
縮小画像となる。この縮小画像をラスター走査することで、９つの特徴ベクトルに変換す
る。このような特徴ベクトルを一次ベクトルとして判別成分を計算し、その判別成分を統
合して再度判別分析を行ってもよい。
【００７６】
（第三の実施の形態）
本発明による別の実施の形態について図面を参照して詳細に説明する。図７は、本発明
の顔メタデータ生成装置を用いた顔画像マッチングシステムを示すブロック図である。
【００７７】
以下、顔画像マッチングシステムについて詳細に説明する。
図１に示すように、本発明による顔画像マッチングシステムでは、顔画像を入力する顔
画像入力部７１と、顔メタデータを生成する顔メタデータ生成部７２と、抽出された顔メ
タデータを蓄積する顔メタデータ蓄積部７３と、顔メタデータから顔の類似度を算出する
顔類似度算出部７４と、顔画像を蓄積する顔画像データベース７５と、画像の登録要求・
検索要求に応じて、画像の入力・メタデータの生成・メタデータの蓄積・顔類似度の算出
の制御を行う制御部７６と顔画像や他の情報を表示するディスプレイの表示部７７と、が
設けられている。
【００７８】
また、顔メタデータ生成部７２は、入力された顔画像から顔領域を切り出す領域切り出
し手段７２１と、切り出された領域の顔特徴を抽出する顔パターン特徴抽出手段７２２に
よって構成され、顔の特徴ベクトルを抽出することで、顔画像に関するメタデータを生成
する。
【００７９】
顔画像の登録時には、スキャナあるいはビデオカメラなどの画像入力部７１で顔写真等
を顔の大きさや位置を合わせた上で入力する。あるいは、人物の顔を直接ビデオカメラな
どから入力しても構わない。この場合には、前述のＭｏｈａｄｄａｍの文献に示されてい
るような顔検出技術を用いて、入力された画像の顔位置を検出し、顔画像の大きさ等を自
動的に正規化する方がよいであろう。
【００８０】
また、入力された顔画像は必要に応じて顔画像データベース７５に登録する。顔画像登
録と同時に、顔メタデータ生成部７２によって顔メタデータを生成し、顔メタデータ蓄積
部７３に蓄積する。
【００８１】
検索時には登録時と同様に顔画像入力部７１によって顔画像を入力し、顔メタデータ生
成部７２にて顔メタデータを生成する。生成された顔メタデータは、一旦顔メタデータ蓄
積部７３に登録するか、または、直接に顔類似度算出部７４へ送られる。
【００８２】
検索では、予め入力された顔画像がデータベース中にあるかどうかを確認する場合（顔
同定）には、顔メタデータ蓄積部７３に登録されたデータの一つ一つとの類似度を算出す
る。最も類似度が高い結果に基づいて制御部７６では、顔画像データベース７５から、顔
画像を選び、表示部７７等に顔画像の表示を行い、検索画像と登録画像における顔の同一
性を作業者が確認する。
【００８３】
一方、予めＩＤ番号等で特定された顔画像と検索の顔画像が一致するかどうかを確認す
る場合（顔識別）では、特定されたＩＤ番号の顔画像と一致するか、否かを顔類似度算出
部７４にて計算し、予め決められた類似度よりも類似度が低い場合には、一致しないと判
定し、類似度が高い場合には一致すると判定し、その結果を表示部７７に表示する。この
システムを入室管理用に用いるならば、顔画像を表示する変わりに、制御部７６から自動
ドアに対して、その開閉制御信号を送ることで、自動ドアの制御によって入室管理を行う
ことができる。
【００８４】
上記のように、顔画像マッチングシステムは動作するが、このような動作はコンピュー
タシステム上で実現することもできる。例えば、次に詳述するようなメタデータ生成を実
行するメタデータ生成プログラム及び類似度算出プログラムをそれぞれメモリに格納して
おき、これらをプログラム制御プロセッサによってそれぞれ実行することで、顔画像マッ
チングを実現することができる。
【００８５】
次に、この顔画像マッチングシステムの動作、特に顔メタデータ生成部７２と顔類似度
算出部７４について、詳細に説明する。
【００８６】
（１）顔メタデータ生成
顔メタデータ生成部７２では、位置と大きさを正規化した画像Ｉ（ｘ，ｙ）を用いて、
顔特徴量を抽出する。位置と大きさの正規化は、例えば、目位置が（１６，２４）、（３
１，２４）、サイズが４６×５６画素となるように画像を正規化しておくとよい。以下で
は、このサイズに画像が正規化されている場合について説明する。
【００８７】
次に、領域切り出し手段７２１によって顔画像の予め設定した顔画像の複数の局所領域
を切り出す。例えば、上記の画像を例えば、一つは正規化した画像全体（これをｆ（ｘ，
ｙ）とする）ともう一つは、顔を中心とした中心領域の３２×３２画素の領域ｇ（ｘ，ｙ
）である。 これは、両目の位置が（９，１２）と（２４，１２）の位置となるように切
り出せばよい。
【００８８】
顔の中心領域を前述のように切り出すのは、これは髪型等に影響をされない範囲を切り
出すことで、髪型の変化するような場合（例えば、家庭内ロボットで顔照合を用いる際に
入浴前後で髪型が変化しても照合できるようにするため）でも安定な特徴を抽出するため
のものであるが、髪型等が変化しない場合 （映像クリップ中におけるシーン内の人物同
定などの場合）には、髪型を含んだ形で照合を行うことで照合性能の向上が期待できるの
で、髪型を含んだような 大きな顔画像と顔の中心部分の小さな顔画像に対して、顔画像
を切り出す。
【００８９】
次に顔画像特徴抽出手段７２２では、切り出された二つの領域ｆ（ｘ，ｙ）を２次元の
離散フーリエ変換によって、フーリエ変換し、顔画像の特徴を抽出する。
【００９０】
図８に顔画像特徴抽出手段７２２のより詳しい構成について示す。この顔画像特徴抽出
手段では、正規化し切り出された画像を離散フーリエ変換するフーリエ変換手段８１と、
フーリエ変換したフーリエ周波数成分のパワースペクトラムを算出するフーリエパワー算
出手段８２と、フーリエ変換手段８１によって算出されたフーリエ周波数成分の実成分と
虚成分をラスター走査した特徴ベクトルによって、１次元特徴ベクトルとみなして、その
特徴ベクトルの主成分に対して判別特徴を抽出する線形変換手段８３とその変換のための
基底行列を記憶する基底行列記憶手段８４、および、パワースペクトラムを同様に主成分
の判別特徴を抽出する線形変換手段８５とその変換のための基底行列を記憶する基底行列
記憶手段８６を備える。さらに、フーリエ特徴の実数成分と虚数成分の判別特徴、および
、パワースペクトルの判別特徴をそれぞれ大きさ１のベクトルに正規化し、その二つの特
徴ベクトルを統合したベクトルに対して、そのベクトルの判別特徴を算出する線形変換手
段８８とその判別特徴のための判別行列を記憶する判別行列記憶手段８９を備える。
【００９１】
このような構成によって、フーリエ周波数特徴を抽出した後に、フーリエ周波数成分の
実数部と虚数部を要素とした特徴ベクトルと、パワースペクトラムを要素とした特徴ベク
トルに対して、それぞれ主成分の判別特徴を計算し、それぞれを統合した特徴ベクトルに
対して再度判別特徴を計算することで、顔の特徴量を計算する。
【００９２】
以下では、それぞれの動作についてより詳しく説明する。
フーリエ変換手段８１では、入力された画像ｆ（ｘ，ｙ）（ｘ＝０，１，２，．．．Ｍ
−１，ｙ＝０，１，２，．．．，Ｎ−１）に対して、（数１１）に従って、２次元の離散
フーリエ変換し、そのフーリエ特徴Ｆ（ｕ，ｖ）を計算する。この方法は広く知られてお
り、例えば、文献（Ｒｏｓｅｎｆｅｌｄら、”ディジタル画像処理”、ｐｐ．２０−２６
，近代科学社）に述べられているので、ここでは説明を省略する。
【００９３】
【数１１】
【００９４】
フーリエパワー算出手段では、（数１２）に従ってフーリエ特徴Ｆ（ｕ，ｖ）の大きさ
を求めフーリエパワースペクトラム｜Ｆ（ｕ，ｖ）｜を算出する。
【００９５】
【数１２】
【００９６】
このようにして得られる二次元のフーリエスペクトルＦ（ｕ，ｖ）や｜Ｆ（ｕ，ｖ）｜
は２次元の実成分のみの画像を変換しているので、得られるフーリエ周波数成分は対称
なものとなる。このため、これらのスペクトル画像Ｆ（ｕ，ｖ）、｜Ｆ（ｕ，ｖ）｜ は
ｕ＝０，１，．．．，Ｍ−１； ｖ＝０，１，．．．，Ｎ−１のＭ×Ｎ個の成分を持つが
、その半分の成分 ｕ＝０，１，．．．，Ｍ−１； ｖ＝０，１，．．．，Ｎ−１のＭ×
Ｎ／２個の成分と、残りの半分の成分は、実質的に同等な成分となる。このため、特徴ベ
クトルとしては、半分の成分を用いて、以降の処理を行えばよい。当然のことながら、特
徴ベクトルの要素として用いられない成分をフーリエ変換手段８１やフーリエパワー算出
手段８２の演算で省略することで、演算の簡略化を図ることができる。
【００９７】
次に、線形変換手段８３では、周波数特徴として抽出された特徴量をベクトルとして取
り扱う。予め規定しておく部分空間は、学習用の顔画像セットを用意し、対応する切り出
し領域の周波数特徴ベクトルの主成分の判別分析によって得られる基底ベクトル（固有ベ
クトル）によって定める。この基底ベクトルの求め方については、Ｗ． Ｚｈａｏの文献
をはじめとして様々は文献で説明されている一般的に広く知られた方法であるので、ここ
では説明を省略する。ここで判別分析を直接行わないのは、フーリエ変換によって得られ
る特徴ベクトルの次元数が判別分析を直接取り扱うには大きすぎるためであり、既に指摘
したような主成分判別分析における問題点は残るものの第一段階目の特徴ベクトルの抽出
としては、一つの選択ではある。また、ここに判別分析を繰り返す方法による基底行列を
用いて構わない。
【００９８】
つまり、基底行列記憶手段８４に記憶する主成分の判別行列Φ１は、周波数特徴の実成
分と虚成分をラスター走査によって１次元化した特徴ベクトルｘ１の主成分の判別分析を
行うことによって予め学習サンプルから求めることができる。ここで、フーリエ特徴は複
素数として取り扱う必要は必ずしもなく、虚数成分も単なる別の特徴要素として、実数と
して取り扱って構わない。
【００９９】
主成分への基底行列をΨ１、その主成分のベクトルを判別分析した判別行列をＷ１とす
れば、主成分の判別行列Φ１は、（数１３）によって書き表される。
【０１００】
【数１３】
【０１０１】
なお、主成分分析によって削減する次元数は、もとの特徴フーリエ特徴の１／１０程度
（２００次元前後）にすればよく、その後、この判別行列によって７０次元程度に削減す
る。この基底行列を予め学習サンプルから計算しておき、 基底行列記憶手段８４に記憶
される情報として用いる。
【０１０２】
フーリエパワースペクトラム｜Ｆ（ｕ，ｖ）｜についても同様にそのスペクトルをラス
ター走査によって、１次元特徴ベクトルｘ２として表し、その特徴ベクトルの主成分の判
別分析を行うことによって得られる基底行列Φ２Ｔ＝Ψ２ＴＷ ２Ｔを学習サンプルから
予め求めておく。
【０１０３】
このように、フーリエ特徴のそれぞれの成分について主成分判別特徴を計算することで
、フーリエ成分の実成分と虚成分の特徴ベクトルｘ１の主成分の判別特徴ｙ１と、パワー
スペクトルの特徴ベクトルｘ２の主成分の判別特徴ｙ２を得ることができる。
【０１０４】
正規化手段８７では、得られた特徴ベクトルの大きさをそれぞれ例えば長さ１の単位ベ
クトルに正規化する。ここで、ベクトルを測る原点をどこにするかで、ベクトル長は変わ
るので、その基準位置も予め定めておく必要があるが、これは射影された特徴ベクトルｙ
ｉの学習サンプルから求めた平均ベクトルｍｉを用いて、基準点とすればよい。平均ベク
トルを基準点とすることで、基準点の周りに特徴ベクトルが分布するようになり、特にガ
ウシアン分布であるならば、等方的に分布するようになるので、特徴ベクトルを最終的に
量子化するような場合の分布域 の領域を限定することが容易にできるようになる。
【０１０５】
つまり、特徴ベクトルｙｉをその平均ベクトルｍｉによって、単位ベクトルに正規化し
たベクトルｙｉｏは、（数１４）と表される。
【０１０６】
【数１４】
【０１０７】
このように正規化手段を設け、フーリエパワーの実数と虚数に関わる特徴ベクトルｙ１
と、パワーに関わる特徴ベクトルｙ２を単位ベクトルに正規化しておくことで、異種の特
徴量である二つの特徴量の間の大きさの正規化をしておき、特徴ベクトルの分布特性を安
定化させることができる。また、既に次元削減の過程で判別に 必要な特徴空間の中での
大きさを正規化しているので、削除された雑音をより多く含む特徴空間で正規化する場合
よりも、雑音に影響されにくい正規化が実 現できるためである。この正規化により、単
なる線形変換では除去が難しい全体的な照明強度に比例する変動成分のような変動要素の
影響をとり除くことができる。
【０１０８】
このように正規化した特徴ベクトルｙ１ｏとｙ２ｏを（数８）と同様 に一つの特徴ベ
クトルｙに統合し、統合された特徴ベクトルｙに対して、線形判別分析を行い得られる基
底行列Ｗ３を用いて判別空間に射影することで、出力特徴ベクトルｚを得ることができる
。このための判別行列Ｗ３を判別行列記憶手段８９に記憶し ておき、線形変換手段８８
では、このための射影の演算を行い、例えば、２４次元の特徴ベクトルｚを算出する。
【０１０９】
なお、出力特徴ベクトルｚを、一要素あたり例えば５ビットに量子化する場合には、各
要素の大きさを正規化しておく必要があるが、例えば、各要素の分散値に応じて、正規化
を施しておく。
【０１１０】
つまり、特徴ベクトルｚの各要素ｚｉの学習サンプルにおける標準偏差の値σｉを求め
ておき、ｚｏ ＝ １６ｚｉ／３σｉというように正規化を施し、これを例えば５ビッ
トなら、−１６から１５の値に量子化すればよい。
【０１１１】
この際の正規化は、各要素に標準偏差の逆数をかけている演算となるので、σｉを対角
要素とする行列Σを考えると、正規化されたベクトルｚｏは、ｚｏ＝Σｚとなる。つまり
、単なる線形変換であるので、予め、判別行列Ｗ３に対してΣを（数１５）のように施し
ておいてもよい。
【０１１２】
【数１５】
【０１１３】
このように正規化しておくことで、量子化に必要な値域補正を行うことができる利点が
あるばかりではなく、標準偏差値による正規化であるので、照合時にパターン間距離のノ
ルムを演算する際に単なるＬ２ノルムを計算するだけで、マハラノビス距離による演算を
行うことが可能となり、照合時における演算量を削減することが可能となる。
【０１１４】
このように顔画像特徴抽出手段１２２では、正規化された画像ｆ（ｘ，ｙ）に対して特
徴ベクトルｚｆを抽出する際の説明を行ったが、顔の中心部分のみを切り出した画像ｇ（
ｘ，ｙ）に対しても、前述と同様に顔画像特徴抽出手段１２２によって特徴ベクトルｚｇ
を抽出する。二つの特徴ベクトルｚｆと特徴ベクトルｚｇを顔メタデータ生成部を顔特徴
量ｚとして抽出する。
【０１１５】
なお、前述したように上記顔メタデータ生成手順をコンピュータプログラ ムによって
コンピュータに実行させることもできる。
【０１１６】
（２）顔類似度算出
次に顔類似度算出部７４の動作について説明する。
【０１１７】
顔類似度算出部７４では、二つの顔メタデータから得られるそれぞれＫ次 元特徴ベク
トルｚ１、ｚ２を用いて、二つの顔の間の類似度ｄ（ｚ１，ｚ２）を算出する。
【０１１８】
例えば、（数１６）の二乗距離によって類似度を算出する。
【０１１９】
【数１６】
【０１２０】
αｉは重み係数で例えば各特徴次元ｚｉの標準偏差の逆数等を用いればマハラノビス距
離による計算となり、予め（数１５）等によって特徴ベクトルを正規化してある場合には
、基底行列が予め分散値によって正規化してあるので、前述の通り マハラノビス距離と
なっている。また、（数３）の比較する各特徴ベクトルのなす余弦によって類似度を算出
してもよい。
【０１２１】
【数１７】
【０１２２】
なお、距離を用いた場合には値が大きいほど類似度は小さいこと（顔が似ていない）を
意味し、余弦を用いた場合には値が大きいほど類似度が大きいこと（顔が似ている）を意
味する。
【０１２３】
ここまでの説明では、一枚の顔画像が登録され、一枚の顔画像を用いて検索する場合に
ついて説明したが、一人の顔に対して複数の画像が登録され、一枚の顔画像を用いて検索
する場合には、例えば、登録側の複数の顔メタデータをそれぞれ、類似度の算出をすれば
よい。
【０１２４】
同様に１つの顔当たりの複数枚の画像登録と複数画像による検索の場合も、 各組み合
わせの類似度の平均や最小値を求めることで、類似度を算出することで、一つの顔データ
に対する類似度を算出することができる。これは、動画像を複数画像と見倣すことで、本
発明のマッチングシステムを動画像における顔認識に対しても適用できることを意味する
。
【０１２５】
以上、本発明を実施の形態を適宜図面を参照して説明したが、本発明は、コンピュータ
が実行可能なプログラムによっても実現できることは言うまでもない。
【０１２６】
（第四の実施の形態）
本発明による別の実施の形態について図面を参照して詳細に説明する。本発明は、第３
の発明における顔メタデータ生成部７２を改良するものである。第３の発明では、入力顔
画像をフーリエ変換を行うことで得られるフーリエ周波数成分の実数部と虚数部を要素と
した特徴ベクトルと、パワースペクトラムを要素とした特徴ベクトルに対して、それぞれ
の主成分の判別特徴を計算し、それぞれを統合した特徴ベクトルに対して再度判別特徴を
計算することで、顔の特徴量を計算している。この場合、フーリエパワースペクトルが入
力画像全体の特徴量を反映しているために、入力画素にノイズが多い成分（例えば、相対
的な位置が変化しやすい口の周りの画素など）もパワースペクトルの中に他の画素と等し
く反映されてしまい、判別分析によって有効な特徴量を選択しても、十分な性能が得られ
ない場合があった。このような場合には入力画像を領域分割し、その局所領域毎にフーリ
エ変換し、各局所領域毎のパワースペクトルを特徴量として、判別分析することで、局所
的に判別性能が悪い（クラス内分散が大きい）領域の特徴量の影響を判別分析によって、
低減することができる。
【０１２７】
図９は実施例を説明するための図で、特徴抽出処理のフローを表している。この実施例
では、例えば、３２ｘ３２画素の領域を１６ｘ１６画素の４領域、８ｘ８画素の１６領域
、４ｘ４画素の６４領域、２ｘ２画素の２５６領域、１ｘ１画素の１０２４領域（実質的
に入力画像と同じなので、入力画像そのままでよい）に分割し、その各々の分割された領
域でフーリエ変換を行う。この処理フローをまとめた図が図１０である。このようにして
得られた各領域のパワースペクトル全ての１０２４ｘ５次元＝５１２０次元の特徴量を抽
出する。この次元数では通常の学習データが少ない場合では次元数が多いので、予め主成
分分析を行い、次元数を削減するような主成分分析の基底を求めておく。例えば、次元数
としては３００次元程度が適当である。この次元数の特徴ベクトルについてさらに判別分
析を行い、次元数を削減し、判別性能のよい特徴軸に対応する基底を求める。主成分分析
と判別分析に対応する基底を予め計算しておく（これをＰＣＬＤＡ射影基底Ψとする）。
【０１２８】
５１２０次元の特徴をこのＰＣＬＤＡ基底を用いた射影基底Ψを用いて線形演算によっ
て射影することで、判別特徴ｚを得ることができる。さらに量子化等を施すことで、顔の
特徴量となる。なお、５１２０次元の特徴量はフーリエパワースペクトルの対称性等を考
慮したり、高周波成分を除去して、予め使わないことにすれば、次元数を削減でき、高速
な学習、必要とされるデータ量の削減、高速な特徴抽出を可能とすることができるので、
適宜次元数を削減することが望ましい。
【０１２９】
このように領域をブロック化し、フーリエスペクトラムを多重化することで、画像特徴
と同値な特徴量（１０２４分割の場合）から、順に平行移動の普遍性を持った特徴量と局
所的な特徴量の表現を多重に持つことができる。その多重で冗長な特徴表現の中から、判
別分析によって、識別に有効な特徴量を選択することで、コンパクトで識別性能のよい特
徴量を得ることができる。フーリエパワースペクトルは、画像に対して非線形な演算であ
り、これは画像を単に線形演算によって処理する判別分析を適用するだけでは得られない
有効な特徴量を計算することができる。ここでは主成分に対して線形判別分析を行う場合
について説明したが、カーネル判別分析（Ｋｅｒｎｅｌ Ｆｉｓｈｅｒ Ｄｉｓｃｒｉｍ
ｉｎａｎｔ Ａｎａｌｙｓｉｓ，ＫＦＤＡあるいはＫｅｒｎｅｌＤｉｓｃｒｉｍｉｎａｎ
ｔ Ａｎａｌｙｓｉｓ： ＫＤＡ 、Ｇｅｎｅｒａｌｉｚｅｄ Ｄｉｓｃｒｉｍｉｎａｎ
ｔ Ａｎａｌｙｓｉｓ： ＧＤＡなどと呼ばれるカーネルテクニックを用いた判別分析）
を用いて、２段階目の特徴抽出を行っても構わない。例えば、カーネル判別分析について
は、Ｑ． Ｌｉｕ らの文献（非特許文献３：”Ｋｅｒｎｅｌ−ｂａｓｅｄ Ｏｐｔｉｍ
ｉｚｅｄ Ｆｅａｔｕｒｅ Ｖｅｃｔｏｒｓ Ｓｅｌｅｃｔｉｏｎ ａｎｄ Ｄｉｓｃｒ
ｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ ｆｏｒ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ，”Ｐ
ｒｏｃｅｅｄｉｎｇ ｏｆ ＩＡＰＲ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎ
ｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＩＣＰＲ）， Ｖｏｌ．ＩＩ，
ｐｐ． ３６２−３６５， ２００２）やＧ． Ｂａｕｄａｔ の文献（非特許文献４
：”Ｇｅｎｅｒａｌｉｚｅｄ Ｄｉｓｃｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ Ｕｓｉｎｇ
ａ Ｋｅｒｎｅｌ Ａｐｐｒｏａｃｈ，”Ｎｅｕｒａｌ Ｃｏｍｐｕｔａｔｉｏｎ，
Ｖｏｌ．１２， ｐｐ２３８５−２４０４，２０００）に詳しく解説されているので、そ
れらを参照されたい。 このようにカーネル判別分析を用いて特徴を抽出することで、非
線形による特徴抽出の効果をさらに発揮することができ、有効な特徴を抽出することがで
きる。
【０１３０】
しかし、この場合、５１２０次元と大きな特徴ベクトルを取り扱うので、主成分分析を
行う場合でも、大量のメモリ、大量の学習データが必要となる。図１１は、このような問
題を避けるべく、各ブロック毎に主成分分析・判別分析を個別に行い、その後、２段階で
判別分析（Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ： ＬＤＡ）を
行うことで、演算量を削減することができる。この場合には、各領域毎に１０２４次元（
対称性を考慮して半分にすると、５１２次元）の特徴量を用いて、主成分分析と判別分析
を行い基底行列Ψｉ（ｉ＝０，１，２，．．，５）を求めておく。そして、その後それぞ
れの平均値を用いて特徴ベクトルを正規化し、二段階目のＬＤＡ射影を行う。このように
ブロック毎に処理を行うことで、学習の際に要求されるデータ数や計算機資源を減少させ
ることができ、学習の最適化の時間削減等を行うことできる。なお、高速に演算を行いた
い場合には、ベクトル正規化の処理を省き、予めＰＣＬＤＡ射影の基底行列とＬＤＡ射影
の基底行列を計算しておくことで、演算の高速化を図ることができる。
【０１３１】
図１２はまた別の実施例を説明するための図で、特徴抽出処理のフローを表している。
この実施例では、このような領域分割を複数段階（図では２段階）で行い、局所領域のフ
ーリエパワースペクトルが持つ並進普遍性と、局所領域の信頼性を考慮するように多重に
パワースペクトラムを多重な解像度で抽出し、判別分析のための特徴量として抽出し、そ
の中で判別分析で求められた最も優れた特徴空間利用して、特徴抽出を行う。
【０１３２】
例えば、入力画像ｆ（ｘ，ｙ）が３２ｘ３２画素の場合には、図１０に示すように全体
画像のパワースペクトル｜Ｆ（ｕ，ｖ）｜とそれを４分割した１６ｘ１６画素の４つの領
域のそれぞれのパワースペクトラム｜Ｆ１１（ｕ，ｖ）｜， ｜Ｆ１２（ｕ，ｖ）｜ ，
｜Ｆ１３（ｕ，ｖ）｜ ，｜Ｆ１４（ｕ，ｖ）｜、８ｘ８画素の１６個の領域に分割した
｜Ｆ２１（ｕ，ｖ）｜， ｜Ｆ２１（ｕ，ｖ）｜，・・・，｜Ｆ２１６（ｕ，ｖ）｜を特
徴ベクトルを抽出する。但し、実画像のフーリエパワースペクトルの対称性を考慮して、
その１／２を抽出すればよい。また、判別分析における特徴ベクトルの大きさが大きくな
ることを避けるために、判別に対して高周波成分をサンプリングしないで、特徴ベクトル
を構成してもよい。例えば、低周波成分に対応する１／４のスペクトルをサンプリングし
て特徴ベクトルを構成することで、必要となる学習サンプル数を低減したり、学習や認識
に必要な処理時間の軽減を行うことができる。また、学習データ数が少ない場合には、予
め主成分分析して特徴次元数を減らした後に判別分析を行っても良い。
【０１３３】
さて、このように抽出した特徴ベクトルｘ２ｆを用いて、予め用意した学習セットを用
いて判別分析を行い、その基底行列Ψ２ｆを求めておく。図９では主成分に対する判別特
徴の抽出（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉ
ｎａｎｔ Ａｎａｌｙｓｉｓ： ＰＣＬＤＡ）の射影を行っている例を示している。特徴
ベクトルｘ２ｆを基底行列Ψ２ｆを用いて射影し、その射影された特徴ベクトルの平均と
大きさを正規化し、特徴ベクトルｙ２ｆを算出する。
【０１３４】
同様にフーリエ周波数の実数成分と虚数成分を統合した特徴ベクトルｘ２ｆについても
、基底行列Ψ１ｆを用いて線形演算処理により特徴ベクトルを射影し、次元数を削減した
特徴ベクトルを求め、そのベクトルの平均と大きさを正規化した特徴ベクトルｙ１ｆを算
出する。これらを統合した特徴ベクトルを判別基底Ψ３ｆを用いて、再度射影し、特徴ベ
クトルｚｆを得る。これを例えば５ｂｉｔに量子化することで、顔特徴量を抽出する。
【０１３５】
なお、入力が４４ｘ５６画素の大きさに正規化された顔画像である場合には、中心部分
の３２ｘ３２画素に上述の処理を施して、顔特徴量を抽出するとともに、顔全体の４４ｘ
５６画素の領域についても、４４ｘ５６画素の全体領域と、２２ｘ２８画素の４領域、１
１ｘ１４画素の１６画素に多重に分割した領域についてそれぞれ顔特徴量を抽出する。図
１３は、別の実施例を表しており、各局所領域毎に実数成分と虚数成分とパワースペクト
ルを合わせてＰＣＬＤＡを行う場合や、図１４のように実数成分と虚数成分を合わせた特
徴とパワースペクトルとを個別にＰＣＬＤＡ射影し、最後にＬＤＡ射影を行っている例で
ある。
【０１３６】
（第五の実施の形態）
本発明による別の実施の形態について図面を用いて詳細に説明する。
【０１３７】
本発明を用いた顔特徴記述方法および顔特徴の記述子の実施例を表わす。図１５には、
顔の特徴記述の一例として、ＩＳＯ／ＩＥＣ ＦＤＩＳ １５９３８−３“Ｉｎｆｏｒｍ
ａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ Ｍｕｌｔｉｍｅｄｉａ ｃｏｎｔｅｎｔ ｄｅｓ
ｃｒｉｐｔｉｏｎ ｉｎｔｅｒｆａｃｅ− Ｐａｒｔ３： Ｖｉｓｕａｌ”におけるＤＤ
Ｌ表現文法（Ｄｅｓｃｒｉｐｔｉｏｎ Ｄｅｆｉｎｉｔｉｏｎ Ｌａｎｇｕａｇｅ Ｒｅ
ｐｒｅｓｅｎｔａｔｉｏｎ Ｓｙｎｔａｘ）を用いて顔特徴量の記述について表わしてい
る。
【０１３８】
ここでは、ＡｄｖａｎｃｅｄＦａｃｅＲｅｃｏｇｎｉｔｉｏｎと名付けた顔特徴の記述
について、それぞれ”ＦｏｕｒｉｅｒＦｅａｔｕｒｅ”，”ＣｅｎｔｒａｌＦｏｕｒｉｅ
ｒＦｅａｔｕｒｅ”と名付ける要素を有しており、ＦｏｕｉｒｅｒＦｅａｔｕｒｅやＣｅ
ｎｔｒａｌＦｏｕｒｉｅｒＦｅａｔｕｒｅは、符号なし５ビットの整数でそれぞれ２４次
元から６３次元の要素を持つことができることを表わしている。図１６は、そのデータ表
現に対してバイナリー表現文法（Ｂｉｎａｒｙ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ Ｓｙｎ
ｔａｘ）を用いた場合の規則を表わしており、ＦｏｕｒｉｅｒＦｅａｔｕｒｅ、Ｃｅｎｔ
ｒａｌＦｏｕｒｉｅｒＦｅａｔｕｒｅの配列要素の大きさを符号なし６ビットの整数でｎ
ｕｍＯｆＦｏｕｒｉｅｒＦｅａｔｕｒｅ、ｎｕｍＯｆＣｅｎｔｒａｌＦｏｕｒｉｅｒに格
納し、ＦｏｕｒｉｅｒＦｅａｔｕｒｅ、ＣｅｎｔｒａｌＦｏｕｒｅｉｒＦｅａｔｕｒｅの
それぞれの要素が５ビットの符号なし整数で格納されることを表わしている。
【０１３９】
本発明を用いたこのような顔特徴の記述子について、より詳細に説明する。
●ｎｕｍＯｆＦｏｕｒｉｅｒＦｅａｔｕｒｅ
このフィールドは、ＦｏｕｒｉｅｒＦｅａｔｕｒｅの配列の大きさを規定する。値の許容
範囲は、２４から６３である。
●ｎｕｍＯｆＣｅｎｔｒａｌＦｏｕｒｉｅｒＦｅａｔｕｒｅ
このフィールドは、ＣｅｎｔｒａｌＦｏｕｒｉｅｒＦｅａｔｕｒｅの配列の大きさを規定
する。値の許容範囲は、２４から６３である。
●ＦｏｕｒｉｅｒＦｅａｔｕｒｅ
この要素は、正規化顔画像のフーリエ特性の階層的ＬＤＡに基づく顔特徴を表している。
正規化顔画像は、原画像を各行４６個の輝度値を持つ５６行の画像に大きさを変換するこ
とによって得られる。正規化画像における両目の中心位置は、右目、左目がそれぞれ、２
４行目の１６列目及び３１列目に位置していなければならない。
【０１４０】
ＦｏｕｒｉｅｒＦｅａｔｕｒｅの要素は、二つの特徴ベクトルから抽出される。一つは
、フーリエスペクトルベクトルｘ１ｆであり、もう一つは、マルチブロックフーリエ強度
ベクトルｘ２ｆである。図１７は、フーリエ特徴の抽出過程を図示している。正規化画像
が与えられたら、その要素を抽出するために、次の５つの処理ステップを実行しなければ
ならない。
【０１４１】
（１）フーリエスペクトルベクトルｘ１ｆの抽出
（２）マルチブロックフーリエ強度ベクトルｘ２ｆの抽出
（３）ＰＣＬＤＡ基底行列Ψ１ｆ、Ψ２ｆを用いた特徴ベクトルの射影と、単位ベクト
ルｙ１ｆ、ｙ２ｆへの正規化
（４）ＬＤＡ基底行列Ψ３ｆを用いた、単位ベクトルの結合フーリエベクトルの射影
（５）射影ベクトルＺｆの量子化
【０１４２】
ＳＴＥＰ−１） フーリエスペクトルベクトルの抽出
与えられた正規化画像ｆ（ｘ，ｙ）に対するフーリエスペクトルＦ（ｕ，ｖ）を（数１
８）式により計算する。
【０１４３】
【数１８】
【０１４４】
ここで、Ｍ＝４６、Ｎ＝５６である。フーリエスペクトルベクトルｘ１ｆは、フーリエ
スペクトルを走査して得られる成分の集合によって定義される。図１８は、フーリエスペ
クトルの走査方法を示している。走査は、フーリエ空間における二つの領域、領域Ａと領
域Ｂ、に対して実行される。走査規則を図１９にまとめる。ここで、ＳＲ（ｕ， ｖ）は
、領域Ｒの左上の座標を表し、ＥＲ（ｕ，ｖ） は領域Ｒの右下の点をそれぞれ表す。そ
れ故に、フーリエスペクトルベクトルｘ１ｆは（数１９）式によって表現される。
【０１４５】
【数１９】
ｘ１ｆの次元数は６４４次元である。
【０１４６】
ＳＴＥＰ ２） マルチブロックフーリエ強度ベクトルの抽出
マルチブロックフーリエ強度ベクトルを正規化顔画像の部分画像のフーリエ強度から抽
出する。部分画像としては、（ａ） 全体画像、（ｂ） ４分の１画像、（ｃ） １６分
の１画像の３つのタイプの画像が使われる。
【０１４７】
（ａ）全体画像
全体画像ｆ１０（ｘ，ｙ）は、正規化画像ｆ（ｘ，ｙ）の画像境界の両側の列を取り除
き、４４ｘ５６の画像サイズに切り出すことで得ることができる。これは、（数２０）式
によって与えられる。
【０１４８】
【数２０】
【０１４９】
（ｂ）４分の１画像
４分の１画像は、全体画像ｆ１０（ｘ，ｙ）を４ブロックｆｋ１（ｘ，ｙ）（ｋ＝１，
２，３，４）に等分割することによって、得ることができる。
【０１５０】
【数２１】
ここで、ｓｋ１＝（ｋ−１）％２、ｔｋ１＝（ｋ−１）／２ である。
【０１５１】
（ｃ）１６分の１画像
１６分の１画像は、ｆ１０（ｘ，ｙ）を１６ブロックｆｋ２（ｘ，ｙ）（ｋ＝１，２，
３，・・・，１６）に等分割することによって得られ、次式によって与えられる。
【０１５２】
【数２２】
ここで、ｓｋ２＝（ｋ−１）％４、ｔｋ２＝（ｋ−１）／４ である。
【０１５３】
これらの画像から、フーリエ強度｜Ｆｋｊ（ｕ，ｖ）｜を次の（数２３）式のように計
算する。
【０１５４】
【数２３】
Ｍｊは各々の部分画像の幅を表し、Ｍ０＝４４， Ｍ１＝２２， Ｍ２＝１１である。
Ｎｊは部分画像の高さを表し、Ｎ０＝５６， Ｎ１＝２８， Ｎ２＝１４である。
【０１５５】
マルチブロックフーリエ強度ベクトルは、１） 全体画像（ｋ＝１）， ２） ４分の
１画像（ｋ＝１，２，３，４）， 及び ３） １６分の１画像（ｋ＝１，２，・・・，
１６）の順に、各々の強度｜Ｆｋｊ（ｕ，ｖ）｜の低周波数領域を走査することによって
得られる。走査領域は、図１９に定義している。
【０１５６】
それ故に、マルチブロックフーリエ強度ベクトルｘ２ｆは、（数２４）式で表現される
。
【０１５７】
【数２４】
ｘ２ｆの次元数は８５６次元である。
【０１５８】
ＳＴＥＰ ３） ＰＣＬＤＡ 射影とベクトル正規化
フーリエスペクトルベクトルｘ１ｆとマルチブロックフーリエ強度ベクトルｘ２ｆをそ
れぞれＰＣＬＤＡ基底行列Ψ１ｆとΨ２ｆを用いて射影し、単位ベクトルｙ１ｆとｙ２ｆ
に正規化する。正規化ベクトルｙｋｆ （ｋ＝１，２） は次式によって与えられる。
【０１５９】
【数２５】
ここで、ＰＣＬＤＡ 基底行列Ψｋｆと平均ベクトルｍｋｆは、ｘｋｆの主成分の判別
分析によって得られる基底行列と射影して得られる平均ベクトルであり、予め計算してあ
るテーブルを参照する。ｙ１ｆとｙ２ｆ の次元数はそれぞれ７０次元と８０次元である
。
【０１６０】
ＳＴＥＰ ４） 結合フーリエベクトルのＬＤＡ射影
正規化ベクトルｙ１ｆとｙ２ｆを１５０次元の結合フーリエベクトルｙ３ｆを成すよう
に連結し、ＬＤＡ基底行列を用いて射影する。射影ベクトルｚｆは次式で与えられる。
【０１６１】
【数２６】
【０１６２】
ＳＴＥＰ ５） 量子化
ｚｆの要素を次式を用いて５ビットの符号なし整数の範囲に丸める。
【０１６３】
【数２７】
【０１６４】
量子化された要素は、ＦｏｕｒｉｅｒＦｅａｔｕｒｅの配列として保存する。Ｆｏｕｒ
ｉｅｒＦｅａｔｕｒｅ［０］ は、量子化された第一要素ｗ０ｆを表し、Ｆｏｕｒｉｅｒ
Ｆｅａｔｕｒｅ［ｎｕｍＯｆＦｏｕｒｉｅｒＦｅａｔｕｒｅ−１］ は、第ｎｕｍＯｆＦ
ｏｕｒｉｅｒＦｅａｔｕｒｅ番目の要素ｗｆｎｕｍＯｆＦｏｕｒｉｅｒＦｅａｔｕｒｅ−
１に対応する。
【０１６５】
●ＣｅｎｔｒａｌＦｏｕｒｉｅｒＦｅａｔｕｒｅ
この要素は、正規化顔画像の中心部分のフーリエ特性の階層的ＬＤＡに基づく顔特徴を
表している。ＣｅｎｔｒａｌＦｏｕｒｉｅｒＦｅａｔｕｒｅはＦｏｕｒｉｅｒＦｅａｔｕ
ｒｅと同様な方法により抽出する。
【０１６６】
中心部分ｇ（ｘ，ｙ）は、次式に示すように画像ｆ（ｘ，ｙ）の始点（７，１２）から
３２ｘ３２画素の大きさに切り出すことによって得られる。
【０１６７】
【数２８】
【０１６８】
ＳＴＥＰ １） フーリエスペクトルベクトルの抽出
ｇ（ｘ，ｙ） のフーリエスペクトルＧ（ｕ，ｖ）を（数２９）式によって計算する。
【０１６９】
【数２９】
ここで、Ｍ＝３２， Ｎ＝３２である。２５６次元のフーリエスペクトルベクトルｘ１
ｇ は、フーリエスペクトルＧ（ｕ，ｖ）を図２０で定義したように走査することによっ
て得ることができる。
【０１７０】
ＳＴＥＰ ２） マルチブロックフーリエ強度ベクトルの抽出
マルチブロックフーリエ強度ベクトルｘ２ｇを（ａ） 中心部分ｇ１０（ｘ，ｙ），
（ｂ） ４分の１画像ｇｋ１（ｘ，ｙ）（ｋ＝１，２，３，４）， 及び（ｃ） １６分
の１画像ｇｋ２（ｘ，ｙ）（ｋ＝１，２，３，・・・，１６）のフーリエ強度から抽出す
る。
【０１７１】
（ａ）中心部分
【０１７２】
【数３０】
【０１７３】
（ｂ）４分の１画像
【０１７４】
【数３１】
ここで、ｓｋ１＝（ｋ−１）％２、ｔｋ１（ｋ−１）／２ である。
【０１７５】
（ｃ）１６分の１画像
【０１７６】
【数３２】
ここで、ｓｋ２＝（ｋ−１）％４、ｔｋ２＝（ｋ−１）／４ である。
【０１７７】
それぞれの画像のフーリエ強度｜Ｇｋｊ（ｕ，ｖ）｜を、（数３３）式のように計算す
る。
【０１７８】
【数３３】
ここで、Ｍ０＝３２，Ｍ１＝１６， Ｍ２＝８， Ｎ０＝３２， Ｎ１＝１６， Ｎ２
＝８である。マルチブロックフーリエ強度ベクトルｘ２ｇは、図２０に定義するようにそ
れぞれの強度｜Ｇｋｊ（ｕ，ｖ）｜を走査することによって得られる。
【０１７９】
ＳＴＥＰ ３−５）の処理は、ＦｏｕｒｉｅｒＦｅａｔｕｒｅと同じである。Ｃｅｎｔ
ｒａｌＦｏｕｒｉｅｒＦｅａｔｕｒｅのための基底行列Ψ１ｇ，Ψ２ｇ，Ψ３ｇ および
平均ベクトルｍ１ｇ，ｍ２ｇ もまたそれぞれの予め計算してテーブルとして用意してお
いたものを参照する。
【０１８０】
ＣｅｎｔｒａｌＦｏｕｒｉｅｒＦｅａｔｕｒｅの配列の大きさは、ｎｕｍＯｆＣｅｎｔ
ｒａｌＦｏｕｒｉｅｒＦｅａｔｕｒｅに制限される。
【０１８１】
このようにして得られた顔特徴記述データは、記述長がコンパクトでありながら、高い
認識性能を有する顔特徴の記述データとなり、データの保存や伝送に効率的な表現となる
。
【０１８２】
なお、本発明をコンピュータで動作可能なプログラムで実現してもかまわない。この場
合、第五の実施の形態であれば、図１７中のステップ１〜ステップ５で示された機能をコ
ンピュータが読み取り可能なプログラムで記述し、このプログラムをコンピュータ上で機
能させることで本発明を実現可能である。また図１７に記載された例を装置として構成す
る場合は、図２１のブロック図に記載された機能の全部または一部を実現すればよい。
【符号の説明】
【０１８３】
１１： 第一の線形変換手段１１
１２： 第二の線形変換手段１２
１３： 第三の線形変換手段１３
１４： 第一の判別行列記憶手段１４
１５： 第二の判別行列記憶手段１５
１６： 第三の判別行列記憶手段１６
【特許請求の範囲】
【請求項１】
入力正規化画像から顔特徴を抽出するパターン特徴抽出方法であって、
予め定められた計算式を用いて入力正規化顔画像に対するフーリエスペクトルを計算することで、フーリエスペクトルベクトルを求めるステップと、
正規化画像の部分画像のフーリエ強度から、マルチブロックフーリエ強度ベクトルの抽出を行うステップと、
フーリエスペクトルベクトルと前記マルチブロック強度ベクトルとを線形判別分析して求められる判別行列を用いた特徴ベクトルの射影を行い、それぞれの正規化ベクトルを得るステップと、
それぞれの正規化ベクトルを連結し、連結された結合フーリエベクトルを線形判別分析して求められる第２の判別行列を用いて射影を行い、射影により得られる射影ベクトルを得るステップと、
を含むことを特徴とするパターン特徴抽出方法。
【請求項２】
前記フーリエスペクトルベクトルを求めるステップは、前記入力正規化画像をフーリエ変換し、得られるフーリエスペクトルの実成分と虚成分をサンプリングした成分を要素とするベクトルをフーリエスペクトルベクトルとして抽出することを特徴とする請求項2に記載のパターン特徴抽出方法。
【請求項３】
前記マルチブロックフーリエ強度ベクトルの抽出を行うステップは、前記入力正規化画像を複数の部分画像の分割し、各々の部分画像のフーリエ強度を算出し、それぞれの部分画像のフーリエ強度を要素とするベクトルをマルチブロックフーリエ強度ベクトルとして抽出することを特徴とする請求項１または２に記載のパターン特徴抽出方法。
【請求項４】
前記正規化ベクトルを得るステップは、前記フーリエスペクトルベクトルの主成分の線形判別分析によって得られる判別行列を用いて、フーリエスペクトルベクトルを射影し、射影されたベクトルの大きさを正規化するステップと、
前記マルチブロックフーリエ強度ベクトルの主成分の線形判別分析によって得られる判別行列を用いて、マルチブロックフーリエ強度ベクトルを射影し、射影されたベクトルの大きさを正規化するステップとからなることを特徴とする請求項１乃至３のいずれか1項に記載のパターン特徴抽出方法。
【請求項５】
入力正規化画像から顔特徴を抽出するパターン特徴抽出装置であって、
予め定められた計算式を用いて入力正規化顔画像に対するフーリエスペクトルを計算することで、フーリエスペクトルベクトルを求めるフーリエスペクトル生成手段と、
正規化画像の部分画像のフーリエ強度から、マルチブロックフーリエ強度ベクトルの抽出を行うマルチブロックフーリエ強度ベクトル抽出手段と、
フーリエスペクトルベクトルと前記マルチブロック強度ベクトルとを線形判別分析して求められる判別行列を用いた特徴ベクトルの射影を行い、それぞれの正規化ベクトルを得る正規化ベクトル生成手段と、
それぞれの正規化ベクトルを連結し、連結された結合フーリエベクトルを線形判別分析して求められる第２の判別行列を用いて射影を行い、射影により得られる射影ベクトルを得る射影ベクトル生成手段と、
を含むことを特徴とするパターン特徴抽出装置。
【請求項６】
前記フーリエスペクトルベクトル生成手段は、前記入力正規化画像をフーリエ変換し、得られるフーリエスペクトルの実成分と虚成分をサンプリングした成分を要素とするベクトルをフーリエスペクトルベクトルとして抽出することを特徴とする請求項５に記載のパターン特徴抽出装置。
【請求項７】
前記マルチブロックフーリエ強度ベクトル抽出手段は、前記入力正規化画像を複数の部分画像の分割し、各々の部分画像のフーリエ強度を算出し、それぞれの部分画像のフーリエ強度を要素とするベクトルをマルチブロックフーリエ強度ベクトルとして抽出することを特徴とする請求項５または６に記載のパターン特徴抽出装置。
【請求項８】
前記正規化ベクトル生成手段は、前記フーリエスペクトルベクトルの主成分の線形判別分析によって得られる判別行列を用いて、フーリエスペクトルベクトルを射影し、射影されたベクトルの大きさを正規化するフーリエスペクトルベクトル正規化手段と、
前記マルチブロックフーリエ強度ベクトルの主成分の線形判別分析によって得られる判別行列を用いて、マルチブロックフーリエ強度ベクトルを射影し、射影されたベクトルの大きさを正規化するマルチブロックフーリエ強度ベクトル手段とからなることを特徴とする請求項５乃至７のいずれか1項に記載のパターン特徴抽出装置。
【請求項９】
コンピュータに
予め定められた計算式を用いて入力正規化顔画像に対するフーリエスペクトルを計算することで、フーリエスペクトルベクトルを求める処理と、
正規化画像の部分画像のフーリエ強度から、マルチブロックフーリエ強度ベクトルの抽出を行う処理と、
フーリエスペクトルベクトルと前記マルチブロック強度ベクトルとを線形判別分析して求められる判別行列を用いた特徴ベクトルの射影を行い、それぞれの正規化ベクトルを得る処理と、
それぞれの正規化ベクトルを連結し、連結された結合フーリエベクトルを線形判別分析して求められる第２の判別行列を用いて射影を行い、射影により得られる射影ベクトルを得る処理と、
を実行させるためのパターン特徴抽出プログラム。
【請求項１０】
前記フーリエスペクトルベクトルを求める処理は、前記入力正規化画像をフーリエ変換し、得られるフーリエスペクトルの実成分と虚成分をサンプリングした成分を要素とするベクトルをフーリエスペクトルベクトルとして抽出することを特徴とする請求項９に記載のパターン特徴抽出プログラム。
【請求項１１】
前記マルチブロックフーリエ強度ベクトルの抽出を行う処理は、前記入力正規化画像を複数の部分画像の分割し、各々の部分画像のフーリエ強度を算出し、それぞれの部分画像のフーリエ強度を要素とするベクトルをマルチブロックフーリエ強度ベクトルとして抽出することを特徴とする請求項９または１０に記載のパターン特徴抽出プログラム。
【請求項１２】
前記正規化ベクトルを得る処理は、前記フーリエスペクトルベクトルの主成分の線形判別分析によって得られる判別行列を用いて、フーリエスペクトルベクトルを射影し、射影されたベクトルの大きさを正規化する処理と、
前記マルチブロックフーリエ強度ベクトルの主成分の線形判別分析によって得られる判別行列を用いて、マルチブロックフーリエ強度ベクトルを射影し、射影されたベクトルの大きさを正規化する処理とからなることを特徴とする請求項９乃至１１のいずれか1項に記載のパターン特徴抽出プログラム。
【請求項１】
入力正規化画像から顔特徴を抽出するパターン特徴抽出方法であって、
予め定められた計算式を用いて入力正規化顔画像に対するフーリエスペクトルを計算することで、フーリエスペクトルベクトルを求めるステップと、
正規化画像の部分画像のフーリエ強度から、マルチブロックフーリエ強度ベクトルの抽出を行うステップと、
フーリエスペクトルベクトルと前記マルチブロック強度ベクトルとを線形判別分析して求められる判別行列を用いた特徴ベクトルの射影を行い、それぞれの正規化ベクトルを得るステップと、
それぞれの正規化ベクトルを連結し、連結された結合フーリエベクトルを線形判別分析して求められる第２の判別行列を用いて射影を行い、射影により得られる射影ベクトルを得るステップと、
を含むことを特徴とするパターン特徴抽出方法。
【請求項２】
前記フーリエスペクトルベクトルを求めるステップは、前記入力正規化画像をフーリエ変換し、得られるフーリエスペクトルの実成分と虚成分をサンプリングした成分を要素とするベクトルをフーリエスペクトルベクトルとして抽出することを特徴とする請求項2に記載のパターン特徴抽出方法。
【請求項３】
前記マルチブロックフーリエ強度ベクトルの抽出を行うステップは、前記入力正規化画像を複数の部分画像の分割し、各々の部分画像のフーリエ強度を算出し、それぞれの部分画像のフーリエ強度を要素とするベクトルをマルチブロックフーリエ強度ベクトルとして抽出することを特徴とする請求項１または２に記載のパターン特徴抽出方法。
【請求項４】
前記正規化ベクトルを得るステップは、前記フーリエスペクトルベクトルの主成分の線形判別分析によって得られる判別行列を用いて、フーリエスペクトルベクトルを射影し、射影されたベクトルの大きさを正規化するステップと、
前記マルチブロックフーリエ強度ベクトルの主成分の線形判別分析によって得られる判別行列を用いて、マルチブロックフーリエ強度ベクトルを射影し、射影されたベクトルの大きさを正規化するステップとからなることを特徴とする請求項１乃至３のいずれか1項に記載のパターン特徴抽出方法。
【請求項５】
入力正規化画像から顔特徴を抽出するパターン特徴抽出装置であって、
予め定められた計算式を用いて入力正規化顔画像に対するフーリエスペクトルを計算することで、フーリエスペクトルベクトルを求めるフーリエスペクトル生成手段と、
正規化画像の部分画像のフーリエ強度から、マルチブロックフーリエ強度ベクトルの抽出を行うマルチブロックフーリエ強度ベクトル抽出手段と、
フーリエスペクトルベクトルと前記マルチブロック強度ベクトルとを線形判別分析して求められる判別行列を用いた特徴ベクトルの射影を行い、それぞれの正規化ベクトルを得る正規化ベクトル生成手段と、
それぞれの正規化ベクトルを連結し、連結された結合フーリエベクトルを線形判別分析して求められる第２の判別行列を用いて射影を行い、射影により得られる射影ベクトルを得る射影ベクトル生成手段と、
を含むことを特徴とするパターン特徴抽出装置。
【請求項６】
前記フーリエスペクトルベクトル生成手段は、前記入力正規化画像をフーリエ変換し、得られるフーリエスペクトルの実成分と虚成分をサンプリングした成分を要素とするベクトルをフーリエスペクトルベクトルとして抽出することを特徴とする請求項５に記載のパターン特徴抽出装置。
【請求項７】
前記マルチブロックフーリエ強度ベクトル抽出手段は、前記入力正規化画像を複数の部分画像の分割し、各々の部分画像のフーリエ強度を算出し、それぞれの部分画像のフーリエ強度を要素とするベクトルをマルチブロックフーリエ強度ベクトルとして抽出することを特徴とする請求項５または６に記載のパターン特徴抽出装置。
【請求項８】
前記正規化ベクトル生成手段は、前記フーリエスペクトルベクトルの主成分の線形判別分析によって得られる判別行列を用いて、フーリエスペクトルベクトルを射影し、射影されたベクトルの大きさを正規化するフーリエスペクトルベクトル正規化手段と、
前記マルチブロックフーリエ強度ベクトルの主成分の線形判別分析によって得られる判別行列を用いて、マルチブロックフーリエ強度ベクトルを射影し、射影されたベクトルの大きさを正規化するマルチブロックフーリエ強度ベクトル手段とからなることを特徴とする請求項５乃至７のいずれか1項に記載のパターン特徴抽出装置。
【請求項９】
コンピュータに
予め定められた計算式を用いて入力正規化顔画像に対するフーリエスペクトルを計算することで、フーリエスペクトルベクトルを求める処理と、
正規化画像の部分画像のフーリエ強度から、マルチブロックフーリエ強度ベクトルの抽出を行う処理と、
フーリエスペクトルベクトルと前記マルチブロック強度ベクトルとを線形判別分析して求められる判別行列を用いた特徴ベクトルの射影を行い、それぞれの正規化ベクトルを得る処理と、
それぞれの正規化ベクトルを連結し、連結された結合フーリエベクトルを線形判別分析して求められる第２の判別行列を用いて射影を行い、射影により得られる射影ベクトルを得る処理と、
を実行させるためのパターン特徴抽出プログラム。
【請求項１０】
前記フーリエスペクトルベクトルを求める処理は、前記入力正規化画像をフーリエ変換し、得られるフーリエスペクトルの実成分と虚成分をサンプリングした成分を要素とするベクトルをフーリエスペクトルベクトルとして抽出することを特徴とする請求項９に記載のパターン特徴抽出プログラム。
【請求項１１】
前記マルチブロックフーリエ強度ベクトルの抽出を行う処理は、前記入力正規化画像を複数の部分画像の分割し、各々の部分画像のフーリエ強度を算出し、それぞれの部分画像のフーリエ強度を要素とするベクトルをマルチブロックフーリエ強度ベクトルとして抽出することを特徴とする請求項９または１０に記載のパターン特徴抽出プログラム。
【請求項１２】
前記正規化ベクトルを得る処理は、前記フーリエスペクトルベクトルの主成分の線形判別分析によって得られる判別行列を用いて、フーリエスペクトルベクトルを射影し、射影されたベクトルの大きさを正規化する処理と、
前記マルチブロックフーリエ強度ベクトルの主成分の線形判別分析によって得られる判別行列を用いて、マルチブロックフーリエ強度ベクトルを射影し、射影されたベクトルの大きさを正規化する処理とからなることを特徴とする請求項９乃至１１のいずれか1項に記載のパターン特徴抽出プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２００９−１４０５１３（Ｐ２００９−１４０５１３Ａ）
【公開日】平成２１年６月２５日（２００９．６．２５）
【国際特許分類】
【出願番号】特願２００９−１３７６４（Ｐ２００９−１３７６４）
【出願日】平成２１年１月２６日（２００９．１．２６）
【分割の表示】特願２００３−６８９１６（Ｐ２００３−６８９１６）の分割
【原出願日】平成１５年３月１３日（２００３．３．１３）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２１年６月２５日（２００９．６．２５）
【国際特許分類】
【出願日】平成２１年１月２６日（２００９．１．２６）
【分割の表示】特願２００３−６８９１６（Ｐ２００３−６８９１６）の分割
【原出願日】平成１５年３月１３日（２００３．３．１３）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]